CN103493094A - 包含液体媒介中的湍流效应的图像数据的处理 - Google Patents

Abstract

本发明涉及处理连续的数字图像数据的方法，该数字图像数据由浸入包含湍流现象的液体(如浸入核反应堆堆芯中的水)里的摄像机所采集，该湍流现象引起图像像素明显位移的效果。该处理方法有利于包括：-对湍流影响图像像素的效应建模，以及-通过时间平均图像的建模解卷积。

Description

包含液体媒介中的湍流效应的图像数据的处理

本发明涉及数字图像数据的处理。

尤其是，主要针对连续图像(典型的是按拍摄顺序排序)的处理。这些图像数据由摄像机采集，且尤其是由浸入存在湍流的液体中的摄像机所采集。比如，这些湍流效应可能是由于液体媒介中存在的不均匀而引起，比如在温度上存在局部差异。这样的湍流现象引起图像像素明显位移的效果。比如，对应于图像边缘区域中的温度局部差异就会引起湍流现象，已经证实所摄图像的效果会受到图像边缘中的像素的明显位移(相对于原始位置)的干扰，这种位移随着时间(以随机方式)而变化。

这些变化的随机特性使得难以(或甚至不可能)在处理图像中从图像中去除湍流的效应。

本发明旨在改善这种情况。为此目的，提供了适用于处理上述类型图像数据的方法，尤其是，所述方法包括：

-对湍流影响图像像素的效应建模，及，

-通过所述时间平均图像的建模进行解卷积。

有利的是，确实已经观察到有可能对湍流效应进行完美建模，但需要相对较长的时间。于是，图像像素随着时间的平均使得湍流效应“受到挤压”。获得均匀、柔和的图像。为了使得图像清晰，通过呈现湍流效应的模型对图像进行解卷积处理。

当然，虽然假设摄像机拍摄的场景是固定的，但是在本说明书中稍后说明的一个实施方式涉及摄像机相对于静态场景平移的情况。

在一有利的实施方式中，上述湍流效应的建模包括针对与湍流效应有关的平移矢量u进行概率密度模型h(u)的估算。尤其是，已经观察到，采取特别有利的方式，对湍流影响图像像素的效应的概率建模使得迄今随机湍流建模的问题得到完美的解决。

有利建模的一个示例为指数衰减类型，且可由类型方程表示为矢量u的函数：

$h_{\mathrm{\σ}}\left(u\right)=\frac{A}{{\mathrm{\σ}}^2}\exp \{-\frac{B\left|\right|u\left|\right|}{\mathrm{\σ}}\}$

其中：

-σ表示矢量u的模的常态标准偏差，

-A和B为正的实常数，比如A＝3/π及

可以具有其它实施方式且以下会对此进行说明。

就时间平均图像的估算而言，在一个可能的实施方式中，包括通过遗忘因子(此后用α表示)功率加权的平均，且各自作为时间函数而衰减。

在时间n对具有矢量坐标x的像素进行估算的平均图像可以表示为：

$I_{\mathrm{\α}}(x,n)=\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{k}I(x,n-k)$

α项是对应于遗忘因子的实数。

实际上，时间平均图像可以通过递归时域滤波来估算。

因此，对于时间n的时域滤波器的第n次输出以I_f(x，n)表示且平均图像I_α(x，n)由公式相联系：

I_f(x，n)＝αI_f(x，n-1)+(1-α)I(x，n)

$I_{\mathrm{\α}}(x,n)=\frac{1}{1-{\mathrm{\α}}^n}{I}_f(x,n)$

执行过的测试显示：遗忘因子α最好是接近于1且又小于1。若选择的数值等于0.99可获得良好的结果。

现在，就通过建模来解卷积而言，有利于包括线性空间滤波的应用，其表达式与上述建模相对应。

有利的是，空间滤波可以是Wiener型，尽管其它实施方式也是有可能的。

空间滤波器，比如在谱域中可由类型表达式来指定：

$W_{\mathrm{\σ}}\left(f\right)=\frac{H_{\mathrm{\σ}}^{*}\left(f\right)}{{\left|\right|H_{\mathrm{\σ}}\left(f\right)\left|\right|}^2+\frac{S_b\left(f\right)}{S_{\mathrm{sharp}}\left(f\right)}},$ if‖f‖≤f_c

W_σ(f)＝0，if‖f‖＞f_c

其中：

-f是二维傅里叶变换之后归一化的两个频率的二维矢量，

-f_c是滤波器的截止频率，用于消除任意潜在频谱混叠，

-S_b(f)和S_sharp(f)各自分别是待确定的噪声和清晰图像的频谱功率密度，及，

-H_σ(f)是湍流效应h(u)的概率密度的二维傅里叶变换。

该表达式的简化意味着根据以下类型关系式来考虑空间滤波器：

$W_{\mathrm{\σ}}\left(f\right)=\frac{H_{\mathrm{\σ}}\left(f\right)}{H_{\mathrm{\σ}}^2\left(f\right)+\mathrm{RBS}}$

其中RBS项表示为某些参数的函数，这些参数以RBS在10^-2和10^-4之间的范围内的方式来选择。

利用上述类型的关系式：

$h_{\mathrm{\σ}}\left(u\right)=\frac{A}{{\mathrm{\σ}}^2}\exp \{-\frac{B\left|\right|u\left|\right|}{\mathrm{\σ}}\},$

湍流效应h(u)的概率密度的二维傅里叶变换H_σ(f)可表示为：

$H_{\mathrm{\σ}}\left(f\right)={(1+C(\mathrm{\σ}\·{\left|\right|f\left|\right|)}^2)}^{-\frac{3}{2}}$

其中C是正的实常数，而σ是以像素数量计算的正的实数。

考虑到常数A和B的数值已经在上面给出且完全限定了二维傅里叶变换H_σ(f)，则该变换可表示为：

$H_{\mathrm{\σ}}\left(f\right)={(1+\frac{2}{3}{(\mathrm{\π\σ}\·|\left|f\right|\left|\right)}^2)}^{-\frac{3}{2}}$

尤其是，所进行的测试显示：σ项有利于选择在0和30像素之间。如上所述，本发明提供摄像机放置相对于静态场景平移的实施方式。在这种情况下，上述的处理可以保留，而尽管如此，在时间n处随后出现的图像上，会发出对时间n-1处的图像像素执行重新定位的警报，然后考虑摄像机的平移速度。

因此，在该实施方式中，将先前图像重新定位为当前图像是针对平均图像的估算来进行的。

该递归时域滤波继而利用重新定位和归一化进行，且在一示例实施方式中，整个处理包括步骤：

-重新设定：

I_f(x，1)＝0  N(x，1)＝0，

-递归时域滤波：

I_f(x，n)＝(1-α)I(x，n)+αI_f(x+[δ_n，n-1]，n-1)，

其中

[δ_n，n-1]＝([δx_n，n-1]，[δy_n，n-1])

对应于行位移x和/或列位移y的矢量，被四舍五入为在当前图像n和先前图像n-1之间最接近的整数，该矢量由摄像机的平移而引起，

-更新归一化矩阵N，利用如下条件：

-以及归一化时域滤波器的输出，利用如下条件：

$I_m(x,n)=\frac{1}{N(x,n)}{I}_f(x,n)$

本发明还涉及计算机程序，包含当处理器执行该程序时实施上述方法的指令。该程序的通用算法的流程图之示例如图3所示，下面会对此进行详细说明。

本发明也涉及处理图像数据的装置，其包括：用于处理连续数字图像数据的输入，这些数据由浸入包含湍流现象的液体中的摄像机采集，该湍流现象具有使得图像像素明显平移的效应。尤其是，该装置进一步包括用于实施上述方法的计算部件。这类计算部件包括用于实施诸如上述计算机程序指令的处理器和工作存储器。

本发明有利地应用于，但并不限于，处理由浸入核装置水中的摄像机所采集的图像数据，从而拍摄燃料元件组件。在本发明的背景中，该方法的使用在本文中至少包括：

-根据所采集和处理的图像来确定燃料元件组件的状态。

比如，在所采集和处理的图像中，可以确定燃料元件组件的至少一个标识符。

该实施方式有利于允许监视和检查在堆芯中的组件结构。

在本发明背景中，该方法的使用可进一步包括：

-测量在所述图像中的燃料元件组件之间的间隔。

该实施方式有利于允许精确地监视和检查在堆芯中的组件的各自位置。

最终，可以理解的是，在本发明背景中，在这类使用架构中实施该方法允许整体检查组件的状态，不管是在反应堆大厅中的反应容器中的水中，还是在核燃料芯块的存储池中。

本发明还涉及用于执行这类使用的设施，包括至少一个摄像机，优选地防辐射泄漏并且坚固的，连接着实施本发明的上述类型的装置。

本发明的其它优点和特征，将通过参考附图阅读下列非限定性示例实施方式的详细说明而清晰，附图包括：

-图1示意性地显示了实施本发明架构中的核反应堆堆芯以及包括实施本发明的摄像机和装置的设施，

-图2示意性地显示了本发明一实施方式中的方法的步骤，以未处理的及实施本发明进行处理的图像来支撑，

-图3示意性显示了在摄像机可平移的实施方式中的方法步骤的流程图，

-图4显示了在应用图3所示步骤之后所获得的清晰图像。

首先参考图1，图示位于装有水的容器ENC中的反应堆堆芯包括多个核燃料元件组件ASS(例如，各个组件通常包括多个燃料棒)。各个组件ASS包括标识符ID(在图4中以白圆圈圈出)且这些组件通过组件间的间隔EC相互隔开。

然后，摄像机CAM提供对组件ASS的拍摄，且尤其是拍摄这些组件之间称之为“S孔”的区域(图1未示出)和/或至少一组件标识符ID。那么，由摄像机获得的图像使得：

-比如，对于S孔来说，可在有效时间中识别出孔的变形，以便减小在用作稳定组件的插销上固定燃料元件组件的危险，及

-对于读取组件标识符来说，要确保各个燃料元件组件位于在预定型芯面中的指定位置上。

这些图像由浸入在浸没这些组件的水中的摄像机CAM来拍摄。由于原位置处的水温差异(导致水体指数的局部变化)，形成光学湍流现象TUR。本发明提供影响图像的湍流的建模以及使用该湍流模型来处理所采集的图像。一有利的实施方式允许采集所要处理的这些图像的摄像机平移，尤其是采用适合于平移速度的图像重新定位技术。

再次参考图1，摄像机CAM连接着用于处理采集图像的装置DIS，其通常包括：

-接口INT，用于接收所采集的图像数据，

-处理器PROC和工作存储器MEM，用于处理这些图像数据，

-输出接口OUT，用于调整图像信号并传给屏幕ECR，然后展示出处理过的图像IMT(处理后图像的一个示例如图4所示)。

因此，本发明方法的使用有利于远程视频监控，特别在燃料元件重新装载的尾声，当前是构成核电站产生电力的停堆操作中的重要步骤。这些远程视频监控的执行是为了证实型芯面(籍助于组件部件的识别)和为了精确地确定组件的位置(籍助于比如在组件之间间隙的测量)。此外，远程视频监控还允许比如定位所要证实的组件。

该方法还有利于处理图像(相片)系列的应用，以便帮助所有或者部分组件元件的位置的计算，以及检查组件比如核燃料芯块中的组件的状态。

这些远程视频的检查常常难以理解，由于燃料元件释放的热量在水中引起湍流现象。面对这些困难，开发了用于处理所拍摄序列的技术。该处理的算法已经设计为可实时操作(因而有能力处理一帧一帧传输的视频数据流)。

全球来看，该处理基于湍流对图像像素产生效应的概率建模。该湍流模型使得恢复处理算法被限定为如下两个步骤：

-第一时域滤波，允许获得稳定的且柔和的图像(显示的是，该柔和图像对应于初始清晰图像(未知的)与线性空间滤波器的卷积，其表达式精确等于湍流矢量的概率密度)；

-第二滤波，是比如为Wiener型的空间滤波，允许初始图像变得清晰(通过线性解卷积而获得)。

上述包括两个步骤的处理方法适用于摄像机为静态状态。由于时域滤波器的收敛时间，优选地在获得令人满意的恢复图像之前需将摄像机固定几秒钟。在一个有利的实施方式中，继而提出摄像机移动(通常是平移运动，相应于最常见的情况)情况下的图像处理技术。

在摄像机平移的情况下，提供图像重新定位的步骤(可选的但又有利的)，以便允许时域滤波器可适应摄像机的变化。该图像重新定位是籍助于摄像机运动的初步估算来进行的。性能特性是满意的，有利的是，相对于静态摄像机处理的效果来说，没有质量损失。

之后，如第一步骤，说明由于湍流的衰减模型的一个示例。

之后，I(x，n，c)表示基于所接收到的第n张原始图像上坐标为x＝(x，y)且分量c(c＝1、2、3分别是指红、绿、蓝分量)的像素数值。由于处理操作对于三个分量都是相同的，那么就不再提及要处理的分量，简化标记符号且将I(x，n，c)简写为I(x，n)。

在理想(不存在湍流、静态摄像机、固定场景)的条件下，所摄序列的图像I(x，n)是对单个且具有相同清晰度、初始且连续的图像取样而得到的，其中这些清晰图像用I_sharp(x)表示且I(x，n)＝I_sharp(x)。

于是，考虑到在存在湍流的情况下，图像的各个像素都会从其初始位置位移。用u_x，n表示的矢量对应于在图像n中的像素x的位移，可表示为：

I(x，n)＝I_sharp(x+u_x，n)

此外，由湍流引起的位移是随机的。寻找位移矢量u_x，n的解析式似乎不是可以预见的事情。

然后，提供了这些位移的概率性说明。该湍流矢量u_x，n被认为是根据某些概率密度的随机矢量，可表示为：

h_x，n(u)

假定湍流现象在时间和空间上都是稳态的(在如水的液体媒介的情况下)，可以认为概率密度不取决于x或n，且可表示为：

h_x，n(u)＝h(u)

其中h(u)是湍流对于任意指定图像n和任意指定像素x的概率密度。

此后的处理操作基于稳态湍流现象的假设。确实，通过I_m(x，n)来表示在时间n进行平均的图像，可定义为：

$I_m(x,n)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}I(x,k),$

很显然，该平均图像收敛于稳定的图像I_stable(x)，该稳定图像等于初始清晰图像(未知的)与湍流的概率密度的的卷积：

$I_{\mathrm{stable}}\left(x\right)=\underset{n\→\∞}{\lim }{I}_m(x,n)=[I_{\mathrm{sharp}}\⊗h]\left(x\right)$

因此，为了修复未知的清晰图像，平均图像只需要通过湍流h(u)的概率密度来解卷积。由于这个概率密度是未知的，下面提供经验模型，用于讨论基于两个如下物理方面考量的概率密度的变化：

-湍流现象大致为各向同性且概率密度必须独立于矢量u的角度

-像素的微小位移比起象素的大的位移更为频繁：因此，当降低矢量u的模时，则必然降低数值h(u)。

当然，在选择模型之时涉及其它因素。比如，设置针对h(u)可调整其参数的以及特别是针对傅里叶变换可调整的解析式是可行的。已经证实适用于所有这些假设的简单模型是指数衰减类型的，比如：

$h_{\mathrm{\σ}}\left(u\right)=\frac{3}{\mathrm{\π}{\mathrm{\σ}}^2}\exp \{-\frac{\sqrt{6}\left|\right|u\left|\right|}{\mathrm{\σ}}\}$

在该公式中，σ表示湍流矢量模的标准偏差(平均偏差)。这个参数允许在根据考虑的所摄序列的湍流水平中出现差异。

作为变形，可以使用高斯模型。然而，对指数模型进行的测试已经给出了良好的结果。其它类型的模型，与高斯模型或者指数模型相比，呈现出较慢的衰减，当然可以视其为进一步的变形。

于是，有可能估算在两个处理步骤中的初始图像。作为第一步骤，原始图像的序列是时间平均的。该平均图像收敛于稳定的图像I_stable(x)，该稳定图像I_stable(x)等于未知的清晰图像(在湍流现象不存在的时候可以观察到)与湍流的概率密度的卷积，可表示为：

$I_{\mathrm{stable}}\left(x\right)=\underset{n\→\∞}{\lim }{I}_m(x,n)=[I_{\mathrm{sharp}}\⊗h]\left(x\right)$

那么，利用湍流的概率密度进行的平均图像的解卷积，作为第二步骤，使得初始清晰图像得以估算。

图2显示了对实时组件图像处理的两个主要步骤。第一(时域)滤波器F1允许从图像IM_n、IM_n-1等序列开始获得平均、稳定且柔和的图像ISF。

第二(空间解卷积)滤波器F2允许从柔和图像ISF开始恢复初始清晰图像IN。

下面对时域滤波F1进行说明。

如果拍摄场景是固定的(忽视湍流效应)，很显然，是指灯光、缩放因素等等，所获得的第n张平均图像可表示为：

$I_m(x,n)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}I(x,k)$

在该公式中，将相同的加权分配给各幅图像。为了处理场景中的任意潜在变化(灯光和其它等)，优选的是在平均图像中将更多的加权分配给比过去的图像更近的图像。为了在时间n平均图像，图像I_α(x，n)可表示为：

$I_{\mathrm{\α}}(x,n)=\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{k}I(x,n-k)$

α项是遗忘因子，其允许将或多或少的重要性分配给过去的图像(如滤波器的历史存储)。以下列项归一化：

$\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^n}$

使得权重α^k的几何之和等于1，即：

$\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\α}}^k=1$

公式I_α(x，n)可以是遵循归一化步骤的递归时域滤波形式。时域滤波的第n次输出表示为I_f(x，n)且归一化后的输出图像表示为I_α(x，n)，则两者的联系为：

I_f(x，n)＝αI_f(x，n-1)+(1-α)I(x，n)

$I_{\mathrm{\α}}(x,n)=\frac{1}{1-{\mathrm{\α}}^n}{I}_f(x,n)$

为遗忘因子α所选择的数值确定了时域滤波器的性能特点。为了估算这些性能特点，在第n张图像的像素x和目标稳定图像的像素x之间的平均平方差被定义为：

${\mathrm{\Γ}}_{\mathrm{\α}}^2(x,n)=E\left\{{(I_{\mathrm{\α}}(x,n)-I_{\mathrm{stable}}\left(x\right))}^2\right\}$

然后，有可能定义整幅图像n的平均平方差：

${\mathrm{\Γ}}_{\mathrm{\α}}^2\left(n\right)=\frac{1}{N_{\mathrm{pixels}}}\underset{x}{\mathrm{\Σ}}{\mathrm{\Γ}}_{\mathrm{\α}}^2(x,n)$

在固定场景的情况下，忽略该湍流效应，很显然：

${\mathrm{\Γ}}_{\mathrm{\α}}^2\left(n\right)=\frac{(1-{\mathrm{\α}}^{2n})(1-\mathrm{\α})}{{(1-{\mathrm{\α}}^n)}^2(1+\mathrm{\α})}{\mathrm{\Σ}}^2$

其中∑²是原始图像中的像素的平均方差。收敛之后(当n趋向于无限之时)，时域滤波的归一化输出之残差平方差可以为：

${\mathrm{\Γ}}_{\mathrm{\α}}^2(\∞)=\left(\frac{1-\mathrm{\α}}{1+\mathrm{\α}}\right){\mathrm{\Σ}}^2$

对于各种不同数值的遗忘因子α，计算标准偏差作为所处理图像的数量的函数的演变，结果显示，在静态场景的情况下，优先选择α尽可能的大。然而，在可变场景的情况下，遗忘因子α的选择是来自在用于适应场景改变的较短时间(小α)和较小的残余标准偏差(大α)之间的折衷。如果，比如，在时间n₀时场景的突然变化(比如灯光的变化)，然而时域滤波器已经收敛，则显示在时间n时的时滤波器输出和稳定图像之间的标准偏差变为：

${\mathrm{\Γ}}_{\mathrm{\α}}^2\left(n\right)=\left(\frac{1-\mathrm{\α}}{1+\mathrm{\α}}\right){\mathrm{\Σ}}^2+{\mathrm{\α}}^{2(n-n_0)}{\mathrm{\Δ}}^2$

其中Δ表示由场景改变引起的平均差值水平。

因此，遗忘因子α越大，则收敛时间越长(若α＝0.99时，约300幅图像或需时12秒)，但对于能够稳定化的输出图像来说，残余标准偏差足够小(若α＝0.99时为0.07)。通过减少所选择的α值，提高收敛速度(若α＝0.95时，约50幅图像或需时2秒)，但是残余标准偏差也会增加(若α＝0.95时为0.16)。输出图像并非完全稳定，甚至在收敛之后也不会完全稳定。

在一个当前实施方式中，遗忘因子优选设定为0.99，这是在固定场景(忽略湍流效应)情况下的优化值。然而，这里所呈现的处理足够灵活地适应所摄场景(通常是灯光改变)中的频繁变化。

尤其是，在摄像机移动(下面会说明)的情况下，场景的各个元素仅仅只能观察到图像减小的数量。优选降低遗忘因子，以便对收敛时间赋予比残余方差更为重要的意义。

现在以一个示例性实施方式来说明本发明方法的第二步骤所涉及的空间滤波。

根据上述衰减模型，归一化之后的输出I_α(x，n)变得等于稳定图像I_stable(x)(未知清晰图像与湍流的概率密度的卷积)，其中噪声b(x，n)以平均方差加入，表示为：

${\mathrm{\Γ}}_{\mathrm{\α}}^2\left(n\right)=\frac{(1-{\mathrm{\α}}^{2n})(1-\mathrm{\α})}{{(1-{\mathrm{\α}}^n)}^2(1+\mathrm{\α})}{\mathrm{\Σ}}^2$

可以表示为：

$I_{\mathrm{\α}}(x,n)=[I_{\mathrm{sharp}}\⊗h_{\mathrm{\σ}}]\left(x\right)+b(x,n)$

因而，从输出I_α(x，n)开始来估算清晰图像归结为线性空间解卷积的问题。优化复原滤波器由Wiener公式限定，在空间域中表示为：

$W_{\mathrm{\σ}}\left(f\right)=\frac{H_{\mathrm{\σ}}^{*}\left(f\right)}{{\left|\right|H_{\mathrm{\σ}}\left(f\right)\left|\right|}^2+\frac{S_b\left(f\right)}{S_{\mathrm{sharp}}\left(f\right)}},$ if‖f‖≤f_c

W_σ(f)＝0，if‖f‖＞f_c

其中：

-f是2D傅里叶变换之后的两个归一化频率的二维矢量(f＝(f，g))，

-f_c是滤波器的截止频率，允许消除在输入图像中的任意潜在频谱混叠，

-S_b(f)和S_sharp(f)各自分别为待恢复的噪声和清晰图像的频谱功率密度，及，

-H_σ(f)是h(u)的2D傅里叶变换。

利用针对h(u)所选择的指数模型，则：

$H_{\mathrm{\σ}}\left(f\right)={\mathrm{TF}}_{2D}\left\{h_{\mathrm{\σ}}\left(u\right)\right\}={(1+\frac{2}{3}{\left(\mathrm{\π\σ}\right|\left|f\right|\left|\right)}^2)}^{-\frac{3}{2}}$

在第一步骤中，假设噪声和图像具有恒定的频谱功率密度(图像和白噪声，S_b(f)和S_sharp(f)都是恒定的)。考虑到概率密度的傅里叶变换是实数，则用于恢复图像的优化滤波器表示为：

$W_{\mathrm{\σ}}\left(f\right)=\frac{H_{\mathrm{\σ}}\left(f\right)}{H_{\mathrm{\σ}}^2\left(f\right)+\mathrm{RBS}}$

这里，RBS项表示“信号与噪声比率”，其对应于在时域滤波器输出处的噪声功率和清晰图像(未知)的功率之间的比值。该恢复滤波器包括两种参数：RBS和σ。这两个参数对滤波器的频率响应产生影响。为了获得RBS的数量级，可以考虑清晰图像(未知)具有在范围P中相对均匀分布的像素数值。很显然，由像素数值的方差因此为P²/12。时域滤波器的收敛之后，输出时残余的方差等于(1-α)/(1+α).∑²，其中∑²是原始图像上噪声的方差，而α是滤波器的遗忘因子。因此，对于比值RBS：

$\mathrm{RBS}=\frac{\left(\frac{1-\mathrm{\α}}{1+\mathrm{\α}}\right){\mathrm{\Σ}}^2}{\left(\frac{P^2}{12}\right)}=12.\left(\frac{1-\mathrm{\α}}{1+\mathrm{\α}}\right)\·{\left(\frac{\mathrm{\Σ}}{P}\right)}^2$

比如，对于“噪声/图像范围”比值，在处理之前，为∑/P＝0.1，而遗忘因子α＝0.99，那么获得的RBS为6.10^-4。这个结果给出了RBS优化值的数量级。

比值RBS可以根据在已处理图像上进行的各种测试来经验固定。通常，已经证实了，当RBS趋向为0，则解卷积滤波器倾向于成为1/H_σ(f)的逆滤波器，成为高通且对噪声更敏感。RBS的值太低，因而会形成有噪声的恢复图像(已经在处理过的图像上观察到“颗粒状”噪声)。如果RBS趋向于无限，则解卷积滤波器趋向于成为柔和滤波器H_σ(f)。RBS值太高，因而会形成柔和的恢复图像。根据测试，RBS的优化值在10^-4 and 10^-2之间，这样可选择10^-3作为默认值。

参数σ允许恢复滤波器适于湍流效应的标准偏差(平均偏差)。通常，如果σ小于湍流效应的真实标准偏差，则时间滤波后的图像(在空间滤波器的输入处)的柔和不会完全减弱。如果σ高于湍流效应的真实标准偏差，则图像的高频大大放大且使得该图像衰减。σ的优化值绝对取决于湍流效应的水平以及缩放因子(当缩放因子较大时，湍流效应可以较大程度衰减视频序列)。σ优化数值的一个示例在湍流低水平的情况下处于8个象素的范围内。相反，具有高缩放因子的湍流高水平下，σ优化值约为30像素。那么，可以理解的是，σ可以在0和30像素之间选择。在处理操作期间，这个参数可以随着所采集的图像而更新且取决于所采集的图像的质量。

此后，讨论考虑拍摄图像的摄像机的平移的一个实施方式。

之前所呈现的处理包含来自时域滤波器的归一化输出的解卷积，可表示为：

$I_{\mathrm{\α}}(x,n)=\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}^{n-k}I(x,k)$

然而，如果摄像机移动且原始图像相对彼此位移，则上述这个平均就不再有意义。在摄像机平移的情况下，各幅图像k都相对当前图像n位移某个矢量δ_n，k。如果各幅图像根据其位移的函数而重新定位，则上述公式变为：

$I_{\mathrm{\α}}(x,n)=\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^{n\left(x\right)}}\underset{k=n-n\left(x\right)+1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}^{n-k}\tilde{I}(x+{\mathrm{\δ}}_{\mathrm{nk}},k)$

δ_nk＝(δx_nk，δy_nk)是在图像k和图像n之间的某列(沿着x)和某行(沿着y)上发生位移的矢量，且n(x)表示包含重新定位之后像素x的连续图像的数量。

表达式记为：

$\tilde{I}(x+{\mathrm{\δ}}_{\mathrm{nk}},k)$

是原始图像在x+δ_nk处的插值。

由于对静态摄像机恢复的情况下，平均图像可以为遵循归一化的递归滤波器形式。此处的归一化比静态摄像机情况更为复杂，因为可得的图像数量取决于所考虑的图像区域(利用像素归一化)。然而，可以表示为：

$I_f(x,n)=(1-\mathrm{\α})I(x,n)+\mathrm{\α}{\tilde{I}}_f(x+[{\mathrm{\δ}}_{n,n-1}],n-1),$

$I_{\mathrm{\α}}(x,n)=\frac{1}{1-{\mathrm{\α}}^{n\left(x\right)}}{I}_f(x,n).$

因此，这些表达式涉及滤波器(时间n-1)之前输出的插值。

为了避免耗费处理功率的插值操作，可选择简化滤波方程式，表示为如下：

I_f(x，n)＝(1-α)I(x，n)+αI_f(x+[δ_n，n-1]，n-1)，

$I_{\mathrm{\α}}(x,n)=\frac{1}{1-{\mathrm{\α}}^{n\left(x\right)}}{I}_f(x,n)$

在该表达式中，行和列位移矢量，被四舍五入为最接近的整数，位于在当前图像n和先前图像n-1之间，可表示为如下：

[δ_n，n-1]＝([δx_n，n-1]，[δy_n，n-1]).

据显示，只要计算各个像素的一个归一化矩阵：

N(x，n)＝1-α^n(x)

当等于1的恒定图像被设定为所有像素的输入之时，可通过计算重新定位的时域滤波器的输出来计算。

最后，具有重新定位和归一化的时域滤波的完整操作可根据如下四个步骤表示为：

-重新设定：

I_f(x，1)＝0 N(x，1)＝0，

-时域滤波：

-更新归一化矩阵：

N(x，n)＝(1-α)×1+αN(x+[δ_n，n-1]，n-1)

-时域滤波器输出的归一化：

$I_m(x,n)=\frac{1}{N(x,n)}{I}_f(x,n)$

因此，当接受到各幅图像时：

-在第一步骤中，估算在当前图像n和先前图像n-1之间的位移δ_n，n-1，

-该位移被用于重新定位时域滤波器，及，

-用于计算各个像素的归一化矩阵，

-接着，由时域滤波器归一化后的输出通过空间滤波器进行解卷积。

之前已讨论过在静态摄像机情况下的解卷积方法。

下文讨论估算在两幅图像之间的平移。有多种类型的方法来估算在各幅图像之间的位移。这里偏爱简单的技术，以便可以预见实时的处理操作。最简单的方法包括寻找在图像之间的最大相关性。为了不敏感于噪声、湍流效应以及灯光的变化，优选地不对图像自身进行处理而是只对图像的轮廓进行处理。估算在两幅图像之间的位移因而包括两个步骤。在第一步骤中，两幅“轮廓”图像通过对初始图像的滤波而获得。在第二步骤中，计算在两幅图像之间的相互相关的矩阵。相互相关最大值的坐标表示在两幅图像之间的行和列的位移。

允许获得轮廓的图像的滤波器为Sobel滤波器，可表示为：

$x\∈\left[\begin{array}{cc}-M_{\mathrm{Sobel}}& M_{\mathrm{Sobel}}\end{array}\right]:\mathrm{Sobel}\left(x\right)=\frac{-x}{\sqrt{2\mathrm{\π}}.{\mathrm{\σ}}_{\mathrm{Sobel}}^3}\exp \left\{\frac{-x^2}{2{\mathrm{\σ}}_{\mathrm{Sobel}}^2}\right\}$

其中σ_sobel控制滤波器的通带，而M_sobel是滤波窗口的尺寸。这些参数的有利数值为σ_sobel＝0.9像素，M_sobel＝5.σ_sobel。

使用相同的滤波器来过滤图像I(x，y)的行而后过滤列，从而获得由I_contour(x，y)表示的轮廓图像：

$I_{\mathrm{temp}}(x,y)=\underset{k=-M_{\mathrm{Sobel}}}{\overset{M_{\mathrm{Sobel}}}{\mathrm{\Σ}}}\mathrm{Sobel}\left(k\right).I(x-k,y)$

$I_{\mathrm{contour}}(x,y)=\underset{k=-M_{\mathrm{Sobel}}}{\overset{M_{\mathrm{Sobel}}}{\mathrm{\Σ}}}\mathrm{Sobel}\left(k\right).I_{\mathrm{temp}}(x,y-k)$

于是，在两幅轮廓图像I¹ _contour(x，y)和I² _contour(x，y)之间的相互关系可表示为：

$\mathrm{\γ}(\mathrm{\δx},\mathrm{\δy})=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{I}_{\mathrm{contour}}^1(x,y)I_{\mathrm{contour}}^2(x+\mathrm{\δx},y+\mathrm{\δy})$

为了大体上减少计算时间，

γ(δx，γy)项可以通过使用快速傅里叶变换而获得：

$\mathrm{\γ}(\mathrm{\δx},\mathrm{\δy})=\mathrm{IFFT}\left\{\mathrm{FFT}\right\{I_{\mathrm{contour}}^1(x,y)\}\×\mathrm{FFT}\{I_{\mathrm{contour}}^2(N_{\mathrm{columns}}-x,N_{\mathrm{rows}}-y)\left\}\right\},$

为了进一步减少计算时间，移动的估算仅仅对图像的单个信道进行。可以是交替接收原始图像的行的情况。在这种情况下，优选仅仅只保持在相互相关图像中的每一其它行(比如偶数行)。最近，在某些情况下，视频序列包含被覆盖的数据(通常是日期和时间，反应器的名字、被拍摄组件的坐标)。当然，推荐不使用这个区域的图像用于估算位移。

现在，讨论重新定位的计算。

为了重新定位在两幅图像之间时域滤波的连续输出，第一方案包括计算各个时间点n在当前图像n和先前图像n-1之间的位移δ_n，n-1。然而，测试已经表明，该方法不能应用于摄像机运动较慢(频繁)的情况。这可以解释为：假设例如摄像机的平移为每幅图像0.3行以及列平移为零，在连续两幅图像之间的相关矩阵大体上在δ_n，n-1＝([0]，[0.3])＝(0，0)时为最大值。因此，没有检测到平移且没有重新定位图像，然而，摄像机的运动需要大约每十幅图像3行的真实重新定位。

为了能够遵循缓慢平移(通常每幅图像小于0.5行和列)，下面介绍另一种方法。该位移不是在当前图像n和先前图像n-1之间进行估算，而是在当前图像n和参考图像δ_n，ref之间进行估算。

于是，δ_n，n-1项可以简单归纳为：

δ_n，n-1＝δ_n，ref-δ_n-1，ref

以下表1显示了在速度为每幅图像0.3行变化速度情况下所作的处理。在该示例中，每10幅图像中平均有三幅位移图像确实进行了估算。当当前图像已经显著位移时，更新参考图像。已经将最大位移固定为20个像素的阈值数值，其允许摄像机的运动可具有高于1/20(或者每幅图像0.05行/列)的可控速度，因而发现足够多的可预见的应用情况。

表1

图3概括了在移动状态下的图像处理的各种步骤：

-在步骤S1中，使用当前图像IM_n(时间n)来估算位移，以及在步骤S1中所估算出的位移超过阈值数值(测试S6)的情况下，在步骤S7中更新阈值数值，

-在步骤S2中，计算重新定位，

-在步骤S3中进行时域滤波，和在步骤S4中进行像素的归一化，以及，

-在步骤S5中进行空间滤波，以便获得清晰的图像IN。

该处理的性能特性是静态的，相对于使用静态摄像机进行的处理来说，没有质量损失。然而，当摄像机在静止几秒钟之后开始移动之时，会出现一些失真现象。然而这些失真现象不会在功能上存在问题。如图4所示，这些失真现象(在该图中用黑色箭头来表示行)既不会阻碍组件数量(在白色圆圈中，圈住“2D EL”)的读取，也不会阻碍组件之间间距(双白色箭头)的计算。此外，这些失真可采用简单的图像处理技术来减小。

本发明不限于上述通过示例所说明的实施方式；其可以扩展为其它变形。

在上述示例中，时域滤波器对视频序列连续图像执行简单的平均化。在该平均化中，可以包括对质量较好(或者较差)的图像赋予更高(或者更低)的加权。更具体的说，时域滤波器可以由组合更多相关图像的处理操作来取代。然而，这些方法假设了一个或者多个质量指标的限定，对图像有兴趣的区域(包含组件部件号的区域)进行计算。

上述空间滤波器对图像整体进行操作。作为变形，可以预见，集中对有兴趣的区域进行处理。尤其是，“现有技术”信息，比如包含数量区域的二元性可纳入恢复处理。

此外，现今空间滤波对整幅图像执行Wiener解卷积。诸如使用小波的其它解卷积处理技术也都可使用。

再者，应该注意到，为了对比度的均衡，使用直方图进行局部均衡的对比度增强技术是有利的。

Claims (25)

1.用于处理连续数字图像数据的方法，该数字图像数据由浸入包含湍流现象的液体里的摄像机采集，该湍流现象引起图像像素的明显位移，其特征在于，所述方法包括：

-对湍流影响图像像素的效应建模，以及，

-通过时间平均图像的所述建模进行解卷积。

2.如权利要求1所述的方法，其特征在于，所述建模包括对与湍流效应相关的平移矢量u的概率密度的模型进行估算。

3.如权利要求2所述的方法，其特征在于，所述模型是指数衰减类型。

4.如权利要求3所述的方法，其特征在于，所述模型h_σ(u)由下列类型方程式表示为矢量u的函数：

$h_{\mathrm{\σ}}\left(u\right)=\frac{A}{{\mathrm{\σ}}^2}\exp \{-\frac{B\left|\right|u\left|\right|}{\mathrm{\σ}}\}$

其中；

-σ表示矢量u模的标准偏差，

-A和B都是正的实常数。

5.如权利要求4所述的方法，其特征在于，所述A＝3/π且

6.如上述权利要求中任一项所述的方法，其特征在于，所述时间平均图像通过对遗忘因子功率的平均加权进行估算，且随着时间函数而递减。

7.如权利要求6所述的方法，其特征在于，所述在时间n对具有矢量坐标x的像素估算的平均图像I_α(x，n)可表示为：

$I_{\mathrm{\α}}(x,n)=\frac{1-\mathrm{\α}}{1-{\mathrm{\α}}^n}\underset{k=0}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{k}I(x,n-k)$

α项是对应于遗忘因子的实数。

8.如上述权利要求中任一项所述的方法，其特征在于，所述时间平均图像是由递归时域滤波来估算的。

9.如权利要求8结合权利要求7所述的方法，其特征在于，所述时域滤波的第n次输出，对时间n来说，表示为I_f(x，n)，且平均图像I_α(x，n)可由下列公式相联系：

I_f(x，n)＝αI_f(x，n-1)+(1-α)I(x，n)

$I_{\mathrm{\α}}(x,n)=\frac{1}{1-{\mathrm{\α}}^n}{I}_f(x,n).$

10.如权利要求6、7和9中任一项所述的方法，其特征在于，所述遗忘因子α选择为等于0.99。

11.如上述权利要求中任一项所述的方法，其特征在于，所述解卷积包括线性空间滤波器的应用，其具有对应于所述建模的表达式。

12.如权利要求11所述的方法，其特征在于，所述滤波是Wiener类型的。

13.如权利要求12结合权利要求2所述的方法，其特征在于，所述空间滤波器在频谱域中可表示为；

$W_{\mathrm{\σ}}\left(f\right)=\frac{H_{\mathrm{\σ}}^{*}\left(f\right)}{{\left|\right|H_{\mathrm{\σ}}\left(f\right)\left|\right|}^2+\frac{S_b\left(f\right)}{S_{\mathrm{sharp}}\left(f\right)}},$ if‖f‖≤f_c

W_σ(f)＝0，if‖f‖＞f_c

其中，

-f是二维傅里叶变换之后归一化两个频率的二维矢量，

-f_c是滤波器的截断频率，用于消除任意潜在的频谱混叠，

-S_b(f)和S_sharp(f)分别是待确定的噪声和清晰图像的频谱功率密度，以及，

-H_σ(f)是湍流h_σ(u)效应的概率密度的二维傅里叶变换。

14.如权利要求13所述的方法，其特征在于，所述空间滤波器可表示为：

$W_{\mathrm{\σ}}\left(f\right)=\frac{H_{\mathrm{\σ}}\left(f\right)}{H_{\mathrm{\σ}}^2\left(f\right)+\mathrm{RBS}}$

其中，RBS项表示为某些参数的函数，该参数选择为使得RBS项位于10^-2和10^-4之间的范围中。

15.如权利要求13和14结合权利要求4中任一项所述的方法，其特征在于，所述湍流h_σ(u)效应的概率密度的二维傅里叶变换H_σ(f)可表示为：

$H_{\mathrm{\σ}}\left(f\right)={(1+C{(\mathrm{\σ}\·|\left|f\right|\left|\right)}^2)}^{-\frac{3}{2}}$

其中C为正的实常数，而σ是按像素数量计算的正的实数。

16.如权利要求15所述的方法，其特征在于，所述二维傅里叶变换H_σ(f)可表示为：

$H_{\mathrm{\σ}}\left(f\right)={(1+\frac{2}{3}{(\mathrm{\π\σ}\·|\left|f\right|\left|\right)}^2)}^{-\frac{3}{2}}$

σ在0和30像素之间的范围内。

17.如上述权利要求中任一项所述的方法，其中所述摄像机平移运动，其特征在于，所述先前图像的重新定位应用于当前图像，用于估算平均图像。

18.如权利要求17结合权利要求8所述的方法，其特征在于，还包括利用重新定位和归一化进行的时域滤波。

19.如权利要求18结合权利要求9所述的方法，其特征在于，还包括如下步骤：

-重新设定：

I_f(x，1)＝0 N(x，1)＝0，

-递归时域滤波：

I_f(x，n)＝(1-α)I(x，n)+αI_f(x+[δ_n，n-1]，n-1)，

其中

[δ_n，n-1]＝([δx_n，n-1]，[δy_n，n-1])

对应于行位移x和/或列位移y矢量，可四舍五入为在当前图像n和先前图像n-1之间最接近的整数，该矢量由摄像机的平移引起，

-更新归一化矩阵N：

N(x，n)＝(1-α)×1+αN(x+[δ_n，n-1]，n-1)

-及归一化时域滤波的输出：

$I_m(x,n)=\frac{1}{N(x,n)}{I}_f(x,n).$

20.计算机程序，包含当处理器(PROC)执行该程序时实施上述权利要求中任一项所述方法的指令。

21.用于处理图像数据的装置，包括用于处理连续数字图像数据的输入，该数字图像数据由浸入包括湍流现象的液体里的摄像机采集，该湍流现象引起图像像素明显平移的效果，

其特征在于，还包括实施上述权利要求1-19中任一项所述方法的计算部件。

22.应用如权利要求1-19中任一项所述方法来处理由浸入核反应装置水中的摄像机所采集的图像数据，摄像机用于拍摄燃料元件组件，其特征在于，所述应用至少包括：

-根据所采集和所处理的图像来确定燃料元件组件的状态。

23.如权利要求22所述的应用，其特征在于，还至少包括：

-确定在所述所采集和所处理的图像中的燃料元件组件的至少一个标识符。

24.如权利要求22和23中任一项所述的应用，其特征在于，还包括：

-测量在所述图像中的燃料元件组件之间的间隔。

25.用于实施权利要求22至24中任一项所述应用的设施，其特征在于，包括至少一个摄像机和如权利要求21所述的一个装置。

Images