CN103985106A - 用于对强噪声图像进行多帧融合的设备和方法 - Google Patents

Abstract

提供一种用于对强噪声图像进行多帧融合的设备和方法。所述设备包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

Description

用于对强噪声图像进行多帧融合的设备和方法

技术领域

本申请涉及图像融合技术，更具体地说，涉及一种用于对强噪声图像进行多帧融合以增强图像细节的设备和方法。

背景技术

随着图像技术的发展，图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像(其中分辨率差别、灰度等级差别可能很大)的复合融合，为信息的高效提取提供了良好的处理手段，取得明显效益。

通常，由于拍摄环境复杂，在拍摄的图像中会存在一定强度的噪声。当对具有强噪声的图像进行融合时，由于强噪声具有类似于图像中的细节的特性，会造成强噪声和图像细节不易被区分，同时强噪声会影响在进行图像融合时所进行的运动估计的精度，这些都致使现有的图像融合技术的效果不佳，无法很好地保持图像中的细节和边缘信息。

总上所述，现有的图像融合方法不能在对强噪声图像进行有效融合的同时保持图像中的细节和边缘信息。

发明内容

本发明的目的在于提供一种对强噪声图像进行多帧融合的设备和方法。

根据本发明的一方面，提供一种用于对强噪声图像进行多帧融合的设备，包括：图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元，用于计算基准图像相对于参考图像的运动矢量；图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

在所述设备中，图像预处理单元可计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。其中，图像预处理单元还可计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。

在所述设备中，图像预处理单元可计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。

在所述设备中，运动估计单元可包括：全图运动矢量确定单元，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；块运动矢量确定单元，将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，块的运动矢量为基准图像相对于参考图像的运动矢量。

在所述设备中，图像融合单元可将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，可利用与融合点相应的权值对融合点和细节点或非细节点进行融合。

在所述设备中，图像融合单元可将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，可将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。

在所述设备中，当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则图像融合单元可将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合。当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元可将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则可将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并可利用与D1相应的权值对D0和D1进行融合。

根据本发明的另一方面，提供一种用于对强噪声图像进行多帧融合的方法，包括：从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；计算基准图像相对于参考图像的运动矢量；分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

在所述方法中，选取基准图像的步骤可包括：计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。

在所述方法中，选取参考图像的步骤还可包括：计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。

在所述方法中，估计基准图像的噪声强度等级的步骤可包括：计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。

在所述方法中，计算参考图像的运动矢量的步骤可包括：在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，块的运动矢量为基准图像相对于参考图像的运动矢量。

在所述方法中，对基准图像和参考图像进行融合的步骤可包括：将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。

在所述方法中，可将基准图像中的像素点确定为细节点或非细节点的步骤可包括：将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。

在所述方法中，对基准图像和参考图像进行融合的步骤可包括：

当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则可将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合；

当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则可将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则可将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并可利用与D1相应的权值对D0和D1进行融合。

根据本发明示例性实施例的用于对强噪声图像进行多帧融合的设备和方法，能够有效地消除强噪声图像中的强噪声。

附图说明

通过下面结合附图对本发明示例性实施例的描述，本发明的上述和其它目的和特点将会变得更加清楚，其中：

图1是示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的设备的框图；

图2是示出根据本发明的示例性实施例的多帧图像融合设备中的运动估计单元的框图；

图3是示出根据本发明的示例性实施例的用于描述全图运动矢量确定过程的示例的示图；

图4是示出根据本发明的示例性实施例的用于描述在计算像素平均值和平均梯度时所使用的预定领域的示图；

图5是示出根据本发明的示例性实施例的基于噪声强度等级的权值曲线；

图6是示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的方法的流程图；

图7是示出根据本发明的示例性实施例的用于对图像进行预处理的过程的流程图；

图8是示出根据本发明的示例性实施例的用于计算基准图像相对于参考图像的运动矢量的过程的流程图。

具体实施方式

现将详细描述本发明的示例性实施例，所述示例性实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的设备(在下文中被称为“多帧图像融合设备”)的框图。这里，作为示例，所述多帧图像融合设备可用于针对用户通过桌上型计算机、膝上型计算机、智能手机、平板电脑、数字相机等各种电子产品捕获图像或进行图像处理时有效地去除图像噪声以保持图像细节。

如图1所示，多帧图像融合设备包括：图像预处理单元10，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；运动估计单元20，用于计算基准图像相对于参考图像的运动矢量；图像融合单元30，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。这些单元可由数字信号处理器、现场可编程门阵列等通用硬件处理器来实现，也可通过专用芯片等专用硬件处理器来实现，还可完全通过计算机程序来以软件方式实现。并且，本发明构思可适用于各种操作系统，例如，Window系列、Android系列、Mac系列等。

参照图1，图像预处理单元10用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级。具体说来，图像预处理单元10可计算多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。作为示例，图像预处理单元10可通过以下等式(1)来计算每个图像的平均梯度G_A：

$G\_A=\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{j=0}{\overset{N}{\mathrm{\Σ}}}{G}_{i,j}/(M\×N)---\left(1\right)$

其中，M和N分别为以像素为单位时图像的宽度和高度；G_i,j为位于坐标(i,j)处的像素的梯度，可通过以下等式(2)来计算：

$G_{i,j}=\sqrt{{((\mathrm{pr}-\mathrm{pl})/2)}^2+{((\mathrm{pd}-\mathrm{pu})/2)}^2}---\left(2\right)$

其中，pu、pd、pl和pr分别为当前像素p0上方、下方、左侧和右侧的相邻像素的像素值。在这种情况下，图像预处理单元10可计算多帧图像中除了基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。其中，可将所述第一预定阈值设置为与基准图像的平均梯度相关，例如，可将所述第一预定阈值设置为基准图像的平均梯度的0.88倍。确定基准图像和参考图像的方法不限于此，可采用其他方法来确定基准图像和参考图像。

图像预处理单元10可计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。具体说来，图像预处理单元10可将基准图像划分为多个块，然后利用等式(3)和等式(4)来计算每个块的像素平均值p₀和方差p_v，之后计算所述多个块的方差的平均值p_v-mean，最后将确定为基准图像的噪声强度nl。

$p_0=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{p}_{i,j}/(m\×n)---\left(3\right)$

$p_v=\left(\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{(p_{i,j}-p_0)}^2\right)/(m\×n)---\left(4\right)$

其中，m和n分别为以像素为单位时块的宽度和高度。在此基础上，可根据噪声强度nl与预定阈值的关系来确定噪声强度等级，例如，当nl<3时，可将噪声强度等级确定为弱噪声；当3≤nl<5时，可将噪声强度等级确定为中等噪声；当5≤nl时，可将噪声强度等级确定为强噪声。

运动估计单元20用于计算基准图像相对于参考图像的运动矢量。具体说来，当图像预处理单元10确定了多帧图像中的基准图像和参考图像之后，运动估计单元20可通过计算基准图像和参考图像之间的绝对差值和(SAD)来确定基准图像相对于参考图像的运动矢量。

作为优选方式，以下参照图2来描述根据本发明的示例性实施例的多帧图像融合设备中的运动估计单元20的示例性结构。

图2是示出根据本发明的示例性实施例的多帧图像融合设备中的运动估计单元的框图。参照图2，运动估计单元20可包括：全图运动矢量确定单元210，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；块运动矢量确定单元220，用于将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。

具体说来，全图运动矢量确定单元210可通过本领域技术人员已知的搜索算法来确定基准图像相对于参考图像的全图运动矢量。作为优选方式，以下参考图3来描述根据本发明的示例性实施例的确定全图运动矢量的过程。

图3是示出根据本发明的示例性实施例的用于描述全图运动矢量确定过程的示图。参照图3，全图运动矢量确定单元210首先对以像素为单位时宽度和高度分别为W0和H0的基准图像I0进行裁边处理，来产生宽度和高度分别为W1＝W0-2E和H1＝H0-2E的基准图像I1，即，将基准图像I0的上方、下方、左侧和右侧各裁掉宽度为E的边。例如，当基准图像I0为1080×720的图像时，分别将基准图像I0的宽度和高度裁掉200，即，将基准图像I0的上方、下方、左侧和右侧各裁掉宽度为100的边，形成880×520的基准图像I1。

然后，全图运动矢量确定单元210对基准图像I1进行下采样来形成采样后的基准图像I2，这样可降低确定运动矢量时所需要的计算量。作为示例，全图运动矢量确定单元210可对基准图像I1进行3次1/2下采样来形成采样后的基准图像I2。之后，全图运动矢量确定单元210通过在2E×2E(例如，200×200)搜索范围内进行运动搜索，基于绝对差值和(SAD)来确定基准图像I2相对于参考图像P1的运动矢量。作为示例，当E＝100，且I2为I1经过3次1/2下采样后所形成的图像时，由于基准图像I2是进行3次1/2下采样后形成的图像，所以可利用采样后的基准图像I2在参考图像P1中以像素为单位进行步长为8的遍历搜索，在每次搜索时计算基准图像I2和参考图像P1中相应像素点之间的SAD，并将在200×200搜索范围内的SAD最小时的运动矢量确定为基准图像I2相对于参考图像P1的运动矢量V’。

之后，全图运动矢量确定单元210对运动矢量V’进行修正来最终获得全图运动矢量V。具体说来，全图运动矢量确定单元210对基准图像I2进行1次2倍上采样来形成基准图像I3。然后，以运动矢量I2所指向的参考图像P1中的像素点为原点，在参考图像P1中进行3×3范围内的运动搜索，在每次搜索时计算基准图像I3和参考图像P1中相应像素点之间的SAD，并将在3×3搜索范围内的SAD最小时的运动矢量确定为基准图像I3相对于参考图像P1的运动矢量V”。之后，全图运动矢量确定单元210以类似的过程对基准图像I3进行2倍上采样并确定相应的修正后的运动矢量，直到上采样后的图像的分辨率变得与I2相同并确定相应的运动矢量为止。通过上述过程可最终获得基准图像I的全图运动矢量V。以上确定全图运动矢量的过程仅为示例，本发明不限于此。

此外，由于图像中可能会存在局部旋转、平移等运动，全图运动矢量V可能无法准确地表示基准图像中的像素相对于参考图像的运动，因此为了获得更加准确的运动矢量以便在进行图像融合时有效地减小噪声的影响，需要由块运动矢量确定单元220对全图运动矢量V进行修正。

具体说来，在全图运动矢量确定单元210确定全图运动矢量V之后，块运动矢量确定单元220将基准图像I0划分为多个块，然后每个块以全图运动矢量V所指向的参考图像P1中的相应像素点为原点，在参考图像P1中进行第二预定搜索范围内的运动搜索，在每次搜索时计算当前块与参考图像P1中相应像素块之间的SAD，并将在第二预定搜索范围内的SAD最小时的运动矢量确定为当前块相对于参考图像P1的运动矢量，并最终确定所有块相对于参考图像P1的运动矢量。其中，所有块的运动矢量被确定为基准图像I0相对于参考图像P1的运动矢量。

作为优选方式，为了进一步减小在计算每个块相对于参考图像的运动矢量时所需的计算量，块运动矢量确定单元220可将块B0进行2次1/2下采样来形成块B1，然后针对块B1以全图运动矢量V所指向的参考图像P1中的像素点为原点，在参考图像P1中进行第二预定搜索范围内的运动搜索，并将第二预定搜索范围内的SAD最小的运动矢量确定为块B1相对于参考图像P1的运动矢量B_V’。然后，块运动矢量确定单元220将块B1进行1次2倍上采样来形成B2。在此基础上，块运动矢量确定单元220以运动矢量B_V’所指向的参考图像P1中的像素点为原点，在参考图P1中进行3×3搜索范围内的运动搜索，并将在3×3搜索范围内的块B2和参考图像P1中相应像素块之间的SAD最小时的运动矢量确定为块B2相对于参考图像P1的运动矢量B_V”。之后，块运动矢量确定单元220以类似的过程对块B2进行1次2倍上采样并确定相应的运动矢量B_V”’，并且，运动矢量B_V”’为块B0相对于参考图像P1的最终的运动矢量。其中，所述第二预定搜索范围是与图像的尺寸相关的范围，例如，当图像为1920×1080时，可将所述第二预定搜索范围设置为30×30。以上确定块的运动矢量的过程仅为示例，本发明不限于此。

再次参照图1，图像融合单元30用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

作为优选方式，以下参照图4和图5来描述根据本发明的示例性实施例的对基准图像和参考图像进行融合的过程。

图4是示出根据本发明的示例性实施例的用于描述在计算像素平均值和平均梯度时所使用的预定领域的示例的示图，图5是示出根据本发明的示例性实施例的基于噪声强度等级的权值曲线。

参照图4，图像融合单元30计算基准图像中的像素点D0的预定邻域范围内的像素点的像素平均值(m₀)和平均梯度(g₀)，其中，所述预定领域的大小与图像分辨率相关，在图4中，对于800万像素分辨率的图像来说，

可将所述预定领域设置为以当前像素点D0为中心的5×5的区域。作为示例，图像融合单元30可以通过等式(5)来计算像素点D0的预定邻域范围内的像素点的像素平均值m₀：

$m_0=\underset{i=0}{\overset{L}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L}{\mathrm{\&Sigma;}}}{m}_{i,j}/(L\&times;L)---\left(5\right)$

其中，L为以像素为单位时预定邻域的长度，m_i,j为预定邻域中的第i行第j列像素的像素值。同时，图像融合单元30可通过将等式(1)和等式(2)中的M和N设置为L来计算预定领域的平均梯度g₀。此外，图像融合单元30通过类似的处理来计算基于运动矢量的与基准图像中的D0相应的参考图像中的相应像素点D1的预定领域范围内的像素点的像素平均值m₁和平均梯度g₁。

在此基础上，图像融合单元30可通过分析像素平均值m₀和m₁以及平均梯度g₀和g₁，根据图像预处理单元10计算出的基准图像的噪声强度nl，利用等式(6)计算参考图像中的相应像素点D1的用于进行图像融合的权值W1。

$W\left(x\right)=\left\{\begin{array}{c}1.0,x\&le;x_0\\ \frac{1}{{(x_0-x_1)}^2}{(x-x_1)}^2,x_0<x\&le;x_1\\ 0,x>x_1\end{array}\right.---\left(6\right)$

其中，x＝|m₀-m₁|×|g₀-g₁|；x₀和x1在基于nl将基准图像的噪声强度等级确定为弱噪声时分别被设置为3和15，在将噪声强度等级确定为中等噪声时分别被设置为5和16，在将噪声等级确定为强噪声时分别被设置为9和17。其中，噪声强度nl的等级由图像预处理单元10来确定。如图5中所示，分别示出了弱噪声权值曲线、中等噪声权值曲线和强噪声权值曲线的示例的曲线图。其中，x轴为|m₀-m₁|×|g₀-g₁|，y轴为不同噪声强度等级下参考图像中的像素点所具有的用于进行图像融合的权值。

在此基础上，图像融合单元30可根据参考图像中的像素点的权值对基准图像和参考图像进行融合。具体说来，图像融合单元30将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。

作为示例，图像融合单元30将基准图像中的像素点D0的像素值(d0)与在像素点D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的像素点D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。其中，所述第二预定阈值与噪声强度nl相关，例如，可将所述第二预定阈值设置为nl2。

然后，当像素点D0被确定为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点D1的像素值d1与在相应像素点D1的预定邻域范围内的像素点的像素平均值m1之差的绝对值(|d1-m1|)，则图像融合单元30将D1确定为融合点，并利用与D1相应的权值通过等式(7)对D0和D1进行融合。

${d_0}^{\&prime;}=({\mathrm{\&Sigma;}}_{n=1}^{\mathrm{picNums}}{W}_n{d}_n+W_{\max }{d}_0)/({\mathrm{\&Sigma;}}_{n=1}^{\mathrm{picNums}}{W}_n+W_{\max })---\left(7\right)$

其中，d₀'为融合后获得的与基准图像中的D0相应的像素值，picNums为参考图像的数量，W_n为第n个参考图像中的相应像素点的权值，d_n为第n个参考图像中的相应像素点的像素值，W_max为最大权值。

当像素点D0被确定为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元30将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于预定数量，则将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并利用与D1相应的权值对D0和D1进行融合。其中，例如，当d0≥m0并且d1≥m1时或当d0≤m0并且d1≤m1时，可确定d0相对于m0的方向性和d1相对于m1的方向性一致。具体说来，由于图像中的噪声点具有与图像中的细节点类似的特性，因此需要在像素点D0被初步确定为细节点的条件下，通过判断多个参考图像中满足一定条件的参考图像的数量是否大于预定数量，来确定像素点D0是真的细节点还是强噪声点。例如，如果多个参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于所述多个参考图像的数量的80％，则图像融合单元30可将D0确定为强噪声点，并通过对所述多个参考图像中的相应像素点D1的像素值进行中值滤波来替换D0；反之则将D0点确定为真的细节点，然后在d0相对于m0的方向性和d1相对于m1的方向性一致的情况下，将D1确定为融合点，并利用以上的等式(7)对所述多个参考图像中的融合点和D0进行融合。其中，例如，当d0≥m0并且d1≥m1时或当d0≤m0并且d1≤m1时，可确定d0相对于m0的方向性和d1相对于m1的方向性一致。类似地，通过对基准图像中的所有像素点进行以上处理来最终获得融合后的图像。

例如，当利用配置有根据本发明的示例性实施例的多帧图像融合设备的智能手机在夜间进行拍照时，多帧图像融合设备可迅速采集10张图像，利用上述过程选择基准图像和参考图像然后对基准图像和参考图像进行融合，来有效地去除由于光照低所产生的强噪声，从而很好地保持图像的细节以产生优质图像。

图6是示出根据本发明的示例性实施例的用于对强噪声图像进行多帧融合的方法的流程图。图6所示的方法可由图1所示的设备来执行，也可全部由计算机程序软件来执行。

参照图6，在步骤S10，由图像预处理单元10从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级。

作为优选方式，以下参照图7来描述根据本发明的示例性实施例的用于选取基准图像和参考图像并估计基准图像的噪声强度等级的图像预处理过程。

图7是示出根据本发明的示例性实施例的用于对图像进行预处理的过程的流程图。参照图7，在步骤S110，由图像预处理单元10读取多帧图像并计算所述多帧图像中的每个图像的平均梯度。例如，当用户在夜间用智能手机进行拍照时，图像预处理单元10从智能手机拍摄的多帧连续图像中读取10帧图像并计算每个图像的平均梯度。具体说来，可通过以上的等式(1)和等式(2)来计算每个图像的平均梯度G_A。

然后在步骤S120，由图像预处理单元10将所述多帧图像中的具有最大平均梯度的图像确定为基准图像。之后进行到步骤S130，由图像预处理单元10计算所述多帧图像中除了基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像，将比值小于第一预定阈值的图像确定为模糊图像，并丢弃模糊图像。其中，可将所述第一预定阈值设置为与基准图像的平均梯度相关，例如，可将所述第一预定阈值设置为基准图像的平均梯度的0.88倍。

在步骤S140，可由图像预处理单元10计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。具体说来，可由图像预处理单元10将基准图像划分为多个块，然后利用以上的等式(3)和等式(4)计算每个块的像素平均值p₀和方差p_v，之后计算所述多个块的方差的平均值p_v-mean，最后将确定为基准图像的噪声强度nl。在此基础上，可根据噪声强度nl与预定阈值的关系来确定噪声强度等级，例如，当nl<3时，可将噪声强度等级确定为弱噪声；当3≤nl<5时，可将噪声强度等级确定为中等噪声；当5≤nl时，可将噪声强度等级确定为强噪声。以上图7中的操作步骤的执行顺序仅示例，可适当地改变图7中的操作步骤的执行顺序。

再次参照图6，在步骤S20，由运动估计单元20计算基准图像相对于参考图像的运动矢量。作为示例，当基准图像和参考图像被确定后，可由运动估计单元20通过计算基准图像和参考图像之间的绝对差值和(SAD)来确定基准图像相对于参考图像的运动矢量。

作为优选方式，以下参照图8来描述根据本发明的示例性实施例的计算基准图像相对于参考图像的运动矢量的过程。

图8是示出根据本发明的示例性实施例的用于计算基准图像相对于参考图像的运动矢量的过程的流程图。参照图8，在步骤S210，由运动估计单元20读取基准图像和参考图像。

然后在步骤S220，由运动估计单元20在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量。

作为优选方式，参照图3，首先对以像素为单位时的宽度和高度分别为W0和H0的基准图像I0进行裁边处理，来产生宽度和高度分别为W1＝W0-2E和H1＝H0-2E的基准图像I1，即，将基准图像I0的上方、下方、左侧和右侧各裁掉宽度为E的边。例如，当基准图像I0为1080×720的图像时，分别将基准图像I0的宽度和高度裁掉200，形成880×520的基准图像I1。然后，对基准图像I1进行下采样来形成采样后的基准图像I2，这样可降低确定运动矢量时所需要的计算量。作为示例，由全图运动矢量确定单元210对基准图像I1进行3次1/2下采样来形成采样后的基准图像I2。之后，通过在2E×2E(例如，200×200)搜索范围内进行运动搜索，基于绝对差值和(SAD)来确定基准图像I2相对于参考图像P1的运动矢量。作为示例，当E＝100，且I2为I1经过3次1/2下采样所形成的图像时，由于基准图像I2是进行3次1/2下采样后形成的图像，所以可利用采样后的基准图像I2在参考图像P1中进行步长为8的遍历搜索，在每次搜索时计算基准图像I2和参考图像P1中相应像素点之间的SAD，并将200×200搜索范围内的SAD最小时的运动矢量确定为基准图像I2相对于参考图像P1的运动矢量V’。最后，对运动矢量V’进行修正来最终获得全图运动矢量V。具体说来，由全图运动矢量确定单元210对基准图像I2进行1次2倍上采样来形成基准图像I3。然后，以运动矢量I2所指向的参考图像P1中的像素点为原点，在参考图像P1中进行3×3范围内的运动搜索，在每次搜索时计算基准图像I3和参考图像P1中相应像素点之间的SAD，并将在3×3搜索范围内的SAD最小时的运动矢量确定为基准图像I3相对于参考图像P1的运动矢量V”。之后，由全图运动矢量确定单元210以类似的过程对基准图像I3进行2倍上采样并确定相应的修正后的运动矢量，直到上采样后的图像的分辨率变得与I2相同并确定相应的运动矢量为止。通过上述过程可最终获得基准图像I的全图运动矢量V。

在步骤S230，由运动估计单元20将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量。其中，所有块的运动矢量被确定为基准图像I0相对于参考图像P1的运动矢量。

作为优选方式，为了进一步减小在计算每个块相对于参考图像的运动矢量时所需的计算量，可由块运动矢量确定单元220将块B0进行2次1/2下采样来形成块B1，然后针对块B1以全图运动矢量V所指向的参考图像P1中的像素点为原点，在参考图像P1中进行第二预定搜索范围内的运动搜索，并将第二预定搜索范围内的SAD最小的运动矢量确定为块B1相对于参考图像P1的运动矢量B_V’。然后，将块B1进行1次2倍上采样来形成B2。在此基础上，由块运动矢量确定单元220以运动矢量B_V’所指向的参考图像P1中的像素点为原点，在参考图P1中进行3×3搜索范围内的运动搜索，并将在3×3搜索范围内的块B2和参考图像P1中相应像素块之间的SAD最小时的运动矢量确定为块B2相对于参考图像P1的运动矢量B_V”。之后，以类似的过程对块B2进行2倍上采样并确定相应的运动矢量B_V”’，并且，运动矢量B_V”’为块B0相对于参考图像P1的最终的运动矢量。其中，所述第二预定搜索范围是与图像的尺寸相关的范围，例如，当图像为1920×1080时，可将所述第二预定搜索范围设置为30×30。

再次参照图6，在步骤S30，由图像融合单元30分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

具体说来，参照图4，由图像融合单元30计算基准图像中的像素点D0的预定邻域范围内的像素点的像素平均值(m₀)和平均梯度(g₀)，其中，所述预定领域的大小与图像分辨率相关，例如，对于800万像素分辨率的图像来说，可将所述预定邻域设置为以当前像素点D0为中心的5×5的区域。作为示例，可由图像融合单元30通过以上的等式(5)来计算像素点D0的预定邻域范围内的像素点的像素平均值m₀，并且可通过以上的等式(1)和等式(2)来计算预定邻域的平均梯度g₀。此外，可通过类似的处理来计算基于运动矢量的与基准图像中的D0相应的参考图像中的相应像素点D1的预定领域范围内的像素点的像素平均值m₁和平均梯度g₁。

在此基础上，通过分析像素平均值m₀和m₁以及平均梯度g₀和g₁，根据通过步骤S10计算出的基准图像的噪声强度nl，利用以上的等式(6)计算参考图像中的相应像素点D1的用于进行图像融合的权值W1。

之后，可由图像融合单元30根据参考图像中的像素点的权值对基准图像和参考图像进行融合。具体说来，可由图像融合单元30将基准图像中的像素点确定为细节点和非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。

作为示例，可将基准图像中的像素点D0的像素值(d0)与在像素点D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的像素点D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。其中，所述第二预定阈值与噪声强度nl相关，例如，可将所述第二预定阈值设置为nl/2。

然后，当像素点D0被确定为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点D1的像素值d1与在相应像素点D1的预定邻域范围内的像素点的像素平均值m1之差的绝对值(|d1-m1|)，则将D1确定为融合点,并利用与D1相应的权值通过以上的等式(7)对D0和D1进行融合。

此外，当像素点D0被确定为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则可将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于预定数量，则将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并利用与D1相应的权值对D0和D1进行融合。具体说来，由于图像中的噪声点具有与图像中的细节点类似的特性，因此需要在像素点D0被初步确定为细节点的条件下，通过判断多个参考图像中满足一定条件的参考图像的数量是否大于预定数量，来确定像素点D0是真的细节点还是强噪声点。例如，如果多个参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于所述多个参考图像的数量的80％，则可由图像融合单元30将D0确定为强噪声点，并通过对所述多个参考图像中的相应像素点D1的像素值进行中值滤波来替换D0；反之则将D0点确定为真的细节点，然后在d0相对于m0的方向性和d1相对于m1的方向性一致的情况下，将D1确定为融合点，并利用以上的等式(7)对所述多个参考图像中的融合点和D0进行融合。类似地，通过对基准图像中的所有像素点进行以上处理来最终获得融合后的图像。

本发明的以上各个实施例仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种改变和修改，其中，本发明的范围在权利要求及其等同物中限定。

Claims (16)

1.一种用于对强噪声图像进行多帧融合的设备，包括：

图像预处理单元，用于从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；

运动估计单元，用于计算基准图像相对于参考图像的运动矢量；以及

图像融合单元，用于分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

2.如权利要求1所述的设备，其中，图像预处理单元计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。

3.如权利要求2所述的设备，其中，图像预处理单元计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。

4.如权利要求1所述的设备，其中，图像预处理单元计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。

5.如权利要求1所述的设备，其中，运动估计单元包括：

全图运动矢量确定单元，用于在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；

块运动矢量确定单元，将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量，

其中，块的运动矢量为基准图像相对于参考图像的运动矢量。

6.如权利要求1所述的设备，其中，图像融合单元将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。

7.如权利要求6所述的设备，其中，图像融合单元将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。

8.如权利要求6所述的设备，其中，

当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则图像融合单元将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合；

当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则图像融合单元将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并利用与D1相应的权值对D0和D1进行融合。

9.一种用于对强噪声图像进行多帧融合的方法，包括：

从多帧图像中选取基准图像和参考图像，并估计基准图像的噪声强度等级；

计算基准图像相对于参考图像的运动矢量；

分别计算基准图像中的像素点的预定邻域范围内的像素点的第一像素平均值和第一平均梯度以及参考图像中基于运动矢量的相应像素点的预定邻域范围内的像素点的第二像素平均值和第二平均梯度，基于第一像素平均值和第一平均梯度、第二像素平均值和第二平均梯度以及所述噪声强度等级计算所述相应像素点的权值，并根据参考图像中的像素点的权值对基准图像和参考图像进行融合。

10.如权利要求9所述的方法，其中，选取基准图像的步骤包括：

计算所述多帧图像中的每个图像的平均梯度，将具有最大平均梯度的图像确定为基准图像。

11.如权利要求10所述的方法，其中，选取参考图像的步骤包括：

计算所述多帧图像中除基准图像之外的其他图像中的每个图像的平均梯度与基准图像的平均梯度的比值，将比值大于或等于第一预定阈值的图像确定为参考图像。

12.如权利要求9所述的方法，其中，估计基准图像的噪声强度等级的步骤包括：

计算基准图像的方差，并基于所述方差的大小来估计基准图像的噪声强度等级。

13.如权利要求9所述的方法，其中，计算参考图像的运动矢量的步骤包括：

在第一预定搜索范围内计算基准图像和参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为基准图像相对于参考图像的全图运动矢量；

将基准图像划分为多个块，并基于所述全图运动矢量针对每个块在第二预定搜索范围内计算与参考图像之间的绝对差值和，当绝对差值和最小时，将相应的运动矢量确定为块的运动矢量，

其中，块的运动矢量为基准图像相对于参考图像的运动矢量。

14.如权利要求9所述的方法，其中，对基准图像和参考图像进行融合的步骤包括：

将基准图像中的像素点确定为细节点或非细节点，并且当在参考图像中基于运动矢量与所述像素点相应的像素点被确定为融合点时，利用与融合点相应的权值对融合点和细节点或非细节点进行融合。

15.如权利要求14所述的方法，其中，将基准图像中的像素点确定为细节点或非细节点的步骤包括：

将基准图像中的像素点(D0)的像素值(d0)与在D0的预定邻域范围内的像素点的像素平均值(m0)之差的绝对值(|d0-m0|)小于第二预定阈值的像素点确定为非细节点，将基准图像中的D0的|d0-m0|大于或等于第二预定阈值的像素点确定为细节点。

16.如权利要求14所述的方法，其中，对基准图像和参考图像进行融合的步骤包括：

当D0为非细节点时，如果1.5×|d0-m0|大于参考图像中的基于运动矢量的相应像素点(D1)的像素值(d1)与在D1的预定邻域范围内的像素点的像素平均值(m1)之差的绝对值(|d1-m1|)，则将D1确定为融合点并利用与D1相应的权值对D0和D1进行融合；

当D0为细节点时，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量大于或等于预定数量，则将D0确定为强噪声点，并对D1的像素值进行中值滤波来替换D0，如果参考图像中满足|d0-d1|大于第三预定阈值的条件的参考图像的数量小于所述预定数量，则将d0相对于m0的方向性和d1相对于m1的方向性一致的D1确定为融合点，并利用与D1相应的权值对D0和D1进行融合。