CN103778615A - 基于区域相似性的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于区域相似性的图像融合方法。该方法的处理过程是：首先对多聚焦图像进行均值滤波处理，并对处理后的多聚集图像采用基于提升静态小波变化(LSWT)的融合算法确定初始融合图像；在初始融合图像中，采用基于均方根误差(RMSE)提取相似区域，并构造逻辑矩阵，据此提取多聚焦图像的聚焦区域；最后，应用结构相似度作为聚焦区域的权重系数，并采用加权法得到最终的融合图像。实验结果表明：用本文发明的方法得出的融合图像与原始图像有更高的相似度，并且对于含有噪声的多聚焦图像而言，融合效果优于已有的融合方法。

Description

基于区域相似性的多聚焦图像融合方法

技术领域

本发明属于图像处理领域，具体设计图像分解和图像融合方法，用于目标识别。

背景技术

由于光学成像系统的景深范围有限，很难获得对同一场景内所有目标都清晰的成像，使得成像在聚焦区域清晰，离焦区域模糊。通过采用融合技术，对同一场景的多幅不同聚焦图像按照一定的融合准则进行融合处理，提取各自的清晰区域组合场景中所有目标都清晰的信息更全面更准确的新图像，便于人眼观察或计算机的进一步处理。

常用的多聚焦图像融合方法包括传统的多分辩率系数融合法和图像分块提取融合法。前者如拉普拉斯金字塔法、低通率金字塔法、梯度金字塔法和小波变化法等，此类方法先对源图像进行多分辩率分解，在不同分辨率层次上对源图像分解系数利用不同测量进行融合，然后再重构融合图像。其实质是在某一源图像较清晰像素点和与其对应位置的另一源图像较模糊像素点之间作一均衡，以尽可能少地系数较清晰像素点的清晰度来提升较模糊像素点的清晰度，因此，此类方法在多聚焦图像融合中的表现往往差强人意。为更好地提升多聚焦图像的融合效果，使源图像中的清晰区域能在融合图像中被保留，图像分块提取融合法被提出，如基于对比度的分块融合法、基于视觉特性的分块融合法和自适应分块搜索的融合法。这类方法实时性效果好，且计算比较简单。但由于分块大小难以控制，容易导致融合图像边缘出现阶梯结构。

值得注意的是，上述两类融合算法均是在假定多聚焦图像没有受到噪声污染的情况下使用的。在实际采集图像的过程中，往往因环境或传感器因素采集到的图像含有噪声。因此，传统的融合算法应用于受噪声污染的多聚焦图像的融合效果比较差。

发明内容

本发明的目的在于针对高斯噪声干扰下的多聚焦图像的融合，提出了一种基于区域相似性的多聚焦图像融合方法。

为了实现上述目的，本发明对图像融合处理，包括如下过程：

步骤1：采用均值滤波器对两幅多聚焦图像A和B进行滤波处理，得到滤波后的多聚焦图像，分别记为A′和B′；

步骤2：采用提升静态小波变化(LSWT)算法和反提升静态小波变化对两幅多聚焦图像A′和B′进行分解和重构，得到初步融合图像F；

其中，低频子带系数的选择采用公式(1)：

$I_F^L(x,y)=\frac{I_{A^{\′}}^L(x,y)+I_{B^{\′}}^L(x,y)}{2}---\left(1\right)$

高频子带系数的选择采用公式(2)：

$I_F^{l,k}(x,y)=\left\{\begin{array}{c}{I}_{A^{\&prime;}}^{l,k}(x,y),\left|I_{A^{\&prime;}}^{l,k}(x,y)\right|\&GreaterEqual;\left|I_{B^{\&prime;}}^{l,k}(x,y)\right|\\ I_{B^{\&prime;}}^{l,k}(x,y),\left|I_{A^{\&prime;}}^{l,k}(x,y)\right|<\left|I_{B^{\&prime;}}^{l,k}(x,y)\right|\end{array}\right.---\left(2\right)$

其中，I_F，I_A′，I_B′分别为初步融合图像F和多聚焦图像A′、B′的灰度值。

步骤3：应用公式(3)计算初步融合图像F和多聚焦图像A′、B′之间的均方根误差，并应用公式(4)构造逻辑矩阵z，对初步融合图像F进行区域划分。

${\mathrm{RMSE}}_{A^{\&prime;}}(x,y)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(x+a,y+b)-I_{A^{\&prime;}}(x+a,y+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}$ (3)

${\mathrm{RMSE}}_{B^{\&prime;}}(x,y)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(x+a,y+b)-I_{B^{\&prime;}}(x+a,y+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}$

$z(x,y)=\left\{\begin{array}{cc}1,\mathrm{if}& {\mathrm{RMSE}}_{A^{\&prime;}}(x,y)\&le;{\mathrm{RMSE}}_{B^{\&prime;}}(x,y)\\ 0,\mathrm{if}& {\mathrm{RMSE}}_{A^{\&prime;}}(x,y)>{\mathrm{RMSE}}_{B^{\&prime;}}(x,y)\end{array}\right.---\left(4\right)$

步骤4：应用公式(5)计算初步融合图像F中各个聚焦区域的权重。

$W_H^F(x,y,p,q)=\exp \{\underset{i=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=-r}{\overset{r}{\mathrm{\&Sigma;}}}{H}_{(x,y)}(i,j)\&CenterDot;(I_F(x+i,y+j)-I_F(p+i,q+j))\},$

(5)

$H^F(i,j)=\frac{e^{-k{(I_F(x,y)-I_F(i,j))}^2}}{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{e}^{-k{(I_F(x,y)-I_F(i,j))}^2}}$

步骤5：应用公式(6)得到最终的融合图像。

$I_{\mathrm{FF}}(x,y)=\frac{\underset{(p,q)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{W}_H(x,y,p,q)I(p,q)}{\underset{(p,q)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{W}_H(x,y,p,q)}---\left(6\right)$

其中，

$I(p,q)=\left\{\begin{array}{cc}{I}_A(x,y)& \mathrm{ifz}(x,y)=1\\ I_B(x,y)& \mathrm{ifz}(x,y)=0\end{array}\right.$

本发明首先采用变域中的LSWT算法确定初始融合图像，并应用融合评价指标中的均方根误差法对多聚焦图像进行聚焦区域划分，并应用结构相似度确定各个聚焦区域的权重系数，最后应用加权法得到最终的融合图像。实验结果表明，本发明方法不仅能充分提取源图像信息注入到融合图像中，而且能有效抑制噪声的影响，得到比传统融合方法更优的视觉效果。

附图说明

图1是本发明的流程图；

图2是基于LSWT的初始图像融合流程；

图3是不同融合方法关于无噪声干扰下的多聚焦图像融合效果图，其中：

(a)左聚焦图像；

(b)右聚焦图像；

(c)DWT融合效果；

(d)Contourlet融合效果；

(e)LSWT融合效果；

(f)采用本发明的融合效果。

图4是不同融合方法关于有噪声干扰下的多聚焦图像融合效果图，其中：

(a)左聚焦带噪声图像；

(b)右聚焦带噪声图像；

(c)DWT融合效果；

(d)Contourlet融合效果；

(e)LSWT融合效果；

(f)采用本发明的融合效果。

具体实施方式

参照图1，本发明的具体过程包括：

步骤1：采用均值滤波器对两幅多聚焦图像A和B进行滤波处理，得到滤波后的多聚焦图像，分别记为A′和B′。

由于多聚焦图像均受到高斯噪声的影响，在传统去噪算法中，均值滤波器是去除高斯噪声的最有力的工具。因此，本发明采用均值滤波器分别对两幅多聚焦图像A和B进行滤波处理，得到滤波后的多聚焦图像A′和B′，其中，

$A^{\&prime;}(x,y)=\frac{1}{m^{\&prime;}{n}^{\&prime;}}\underset{(s,t)\&Element;S_{\mathrm{xy}}}{\mathrm{\&Sigma;}}A(s,t)$

$B^{\&prime;}(x,y)=\frac{1}{m^{\&prime;}{n}^{\&prime;}}\underset{(s,t)\&Element;S_{\mathrm{xy}}}{\mathrm{\&Sigma;}}B(s,t)$

这里，S_xy表示窗口大小为n′×m′的图像块。

步骤2：采用LSWT算法对两幅多聚焦图像A′和B′进行融合，得到初步融合图像I_F；

参照图2，具体步骤如下：

步骤2.1：两幅多聚焦图像A′和B′经过LSWT分解后，分别得到高频系数为

得到的低频系数为

其中，l表示尺度，k表示方向。

步骤2.2：根据两幅多聚焦图像A′和B′的低频系数和高频系数，分别应用公式(7)和公式(8)确定初步融合图像I_F的低频系数和高频系数。

$I_F^l(x,y)=\frac{I_{A^{\&prime;}}^l(x,y)+I_{B^{\&prime;}}^l(x,y)}{2}---\left(7\right)$

$I_F^{l,k}(x,y)=\left\{\begin{array}{c}{I}_{A^{\&prime;}}^{l,k}(x,y),\left|I_{A^{\&prime;}}^{l,k}(x,y)\right|\&GreaterEqual;\left|I_{B^{\&prime;}}^{l,k}(x,y)\right|\\ I_{B^{\&prime;}}^{l,k}(x,y),\left|I_{A^{\&prime;}}^{l,k}(x,y)\right|<\left|I_{B^{\&prime;}}^{l,k}(x,y)\right|\end{array}\right.---\left(8\right)$

步骤2.3：将

和

进行反LSWT变换，得到初步融合图像I_F。

步骤3：分别应用公式(9)和公式(10)计算初步融合图像I_F和多聚焦图像A′、B′之间的均方根误差。

${\mathrm{RMSE}}_{A^{\&prime;}}(x,y)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(x+a,y+b)-I_{A^{\&prime;}}(x+a,y+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}---\left(9\right)$

${\mathrm{RMSE}}_{B^{\&prime;}}(x,y)={\left(\frac{\underset{a=-M}{\overset{M}{\mathrm{\&Sigma;}}}\underset{b=-N}{\overset{N}{\mathrm{\&Sigma;}}}{(I_F(x+a,y+b)-I_{B^{\&prime;}}(x+a,y+b))}^2}{(2M+1)(2N+1)}\right)}^{1/2}---\left(10\right)$

均方根误差针对图像融合属于越小越优型，通过比较RMSE_A′(x，y)与RMSE_B′(x，y)之间的大小，构造逻辑图像z。其中，

$z(x,y)=\left\{\begin{array}{cc}1,\mathrm{if}& {\mathrm{RMSE}}_{A^{\&prime;}}(x,y)\&le;{\mathrm{RMSE}}_{B^{\&prime;}}(x,y)\\ 0,\mathrm{if}& {\mathrm{RMSE}}_{A^{\&prime;}}(x,y)>{\mathrm{RMSE}}_{B^{\&prime;}}(x,y)\end{array}\right.$

步骤4：应用公式(11)计算初步融合图像F中各个聚焦区域的权重。

$W_H^F(x,y,p,q)=\exp \{\underset{i=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=-r}{\overset{r}{\mathrm{\&Sigma;}}}{H}_{(x,y)}(i,j)\&CenterDot;(I_F(x+i,y+j)-I_F(p+i,q+j))\},$

$H^F(i,j)=\frac{e^{-k{(I_F(x,y)-I_F(i,j))}^2}}{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{e}^{-k{(I_F(x,y)-I_F(i,j))}^2}}---\left(11\right)$

步骤5：应用公式(12)得到最终的融合图像。

$I_{\mathrm{FF}}(x,y)=\frac{\underset{(p,q)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{W}_H(x,y,p,q)I(p,q)}{\underset{(p,q)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{W}_H(x,y,p,q)}---\left(12\right)$

其中，

$I(p,q)=\left\{\begin{array}{cc}{I}_A(x,y)& \mathrm{ifz}(x,y)=1\\ I_B(x,y)& \mathrm{ifz}(x,y)=0\end{array}\right.$

为了验证本发明算法的性能，对无噪和带噪的多聚焦图像分别进行了融合实验。实验中，除了视觉效果以外，我们还采用互信息(MI)、Q^AB/F作为客观评价指标。采用这两个指标是因为图像融合的目的是融合信息，并且他们不一定要求知道理想的融合图像。其中MI用来度量源图像有多少信息转移到融合结果中，Q^AB F是利用Sobel边缘检测来衡量有多少边缘细节信息从源图像转移到融合图像。二者的值越大，说明融合的效果越好。

本实验分别采用DWT变换、Contourlet变换和LSWT变换融合方法对无噪声的多聚焦图像进行融合，融合结果如图3和表1所示。

表1 不同融合方法性能评价比较

参见图3，图3(a)和图3(b)分别为左聚焦图像和右聚焦图像，图3(c)-(f)分别为DWT图像融合算法、Contourlet图像融合算法、LSWT图像融合算法和本发明算法的图像融合效果图。

表1给出了可观评价指标MI与Q^AB/F的数值。进一步证实了本文算法的有效性与优越性，与视觉上所得出的结论是一致的。

本实验分别采用DWT变换、Contourlet变换和LSWT变换融合方法对有噪声的多聚焦图像进行融合，其中，多聚焦图像携带高斯白噪声(方差为0.01)，融合结果如图4所述。由于MI和Q^AB/F仅能反映不同算法在提取图像信方面的能力，不能表达融合图像与源图像之间的噪声含量的变化。为此，采用改进的峰值信噪比(VPSNR)作为客观评价指标，其中VPSNR的计算公式如式(13)所式：

$\mathrm{VPSNR}=10(\log \frac{255}{{\mathrm{\&sigma;}}_{n,f}^2}-\log \frac{255}{{\mathrm{\&sigma;}}_n^2})---\left(13\right)$

其中，

分别为融合图像和噪声源图像的方差。显然，融合图像中所含噪声越小，VPSNR值越大。当VPSNR趋于0时，表明融合图像的噪声含量与源图像的噪声含量相接近；VPSNR值小于0，则表明融合图像的噪声含量较源图像大。

这四种融合算法的融合评价指标值见表2所示。

表2 含噪声多聚焦图像不同融合方法性能评价比较

通过图3、图4的效果和表1、表2的评价指标值可以看出，用本发明提出的方法得到的融合图像包含最多的图像信息，不但有良好的视觉效果，还包含丰富的信息，而且取得了了良好的融合效果。

Claims (5)

1.一种基于区域相似性的多聚焦图像融合方法，包括如下过程：

步骤1：采用均值滤波器对两幅多聚焦图像A和B进行滤波处理，得到滤波后的多聚焦图像，分别记为A′和B′；

步骤2：采用提升静态小波变换(LSWT)对处理后的多聚焦图像A′和B′进行融合，得到初步融合图像F；

步骤3：应用公式(1)计算初步融合图像F和多聚焦图像A′、B′之间的均方根误差(RMSE)，并应用公式(2)构造逻辑图像Z，对初步融合图像F进行区域划分。

(1)

其中，I_F，I_A′，I_B′分别为初步融合图像F和多聚焦图像A′、B′的灰度值。

步骤4：应用结构像素度计算初步融合图像F中各个区域的权重，公式见(3)。

步骤5：应用公式(4)得到最终的融合图像。

其中，

。

2.根据权利要求1所述的多聚焦图像融合方法，其特征在于步骤1对多聚焦图像采用均值滤波器对多聚焦图像进行初步去噪声处理。 

3.根据权利要求1所述的多聚焦图像融合方法，其特征在于步骤2对多聚焦图像A′和B′采用LSWT进行初步融合，其中低频融合算法和高频融合算法分别为公式(5)和公式(6)。

。

4.根据权利要求1所述的多聚焦图像融合方法，其特征在于步骤3通过计算多聚焦图像与初步融合图像之间的均方根误差构造逻辑图像。

5.根据权利要求1所述的多聚焦图像融合方法，其特征在于步骤4通过计算聚焦区域的结构相似度确定聚焦区域的权重系数。 

Images