CN103413283A - 一种基于二维emd和改进局部能量的多聚焦图像融合方法 - Google Patents

Abstract

本发明涉及一种基于二维EMD和改进局部能量的多聚焦图像融合方法，首先对源图像进行二维EMD分解，然后采用基于改进局部能量的极大值准则和加权平均融合规则相结合的方法对相应频率段上的本征模函数（IMF）分量进行处理。当对应的两幅源图像二维EMD分解后的IMF分量相位相同时，融合图像对应的IMF分量采用局部能量极大值准则；相位相反时，融合图像对应的IMF分量采用局部能量加权平均方法确定。融合规则克服了传统融合方法对窗口内各个像素包含的独立信息考虑不足的缺点。最后，融合结果通过对融合分量进行二维EMD逆变换得到。因此，将二维EMD和改进局部能量相结合，可以大大提高融合后图像的质量，对应用系统的后续处理和图像显示具有重要意义和使用价值。

Description

一种基于二维EMD和改进局部能量的多聚焦图像融合方法

技术领域

本发明属于数字图像处理方法，涉及多聚焦图像融合方法，数据信息融合领域，具体涉及一种基于二维EMD和改进局部能量的多聚焦图像融合方法，可以应用于各种军用或民用的多聚焦图像融合系统。

背景技术

多聚焦图像融合是指因镜头聚焦不同而形成的多个图像通过一定处理，得到目标聚焦都清晰的结果图像。

目前常用的多聚焦图像融合方法主要是基于小波变换或者更高层次的小波算法。尽管基于小波的图像融合算法能够非常优秀的将图像分解并得到很好的融合结果，但选取小波基函数^[1]一直是很困难的问题。而且基于小波变换的图像融合是对每个像素或小区域的局部特征进行融合，这会导致失去局部特征相关性较强的特性。然而，具有自适应特性的二维经验模态分解（EMD）算法^[2,3]能够根据信号特征将信号自适应地进行多尺度分解，产生自适应的基函数，通过Hilbert变换对每一层所分解的函数处理得到分析信号的频率。该算法分解得到的高、低频分量尺度相近、相关性较强。高频显示图像形状特征及轮廓，低频显示图像整体信息。

基于二维EMD的多聚焦图像融合算法的研究^[4-6]主要集中在本征模函数（IMF）分量融合规则上，如：绝对值最大准则、局部方差准则、局部梯度准则及局部能量准则等。其中，以区域窗口能量为标度的局部能量准则是一种非常有效的融合方法。由于图像信号绝对强度的变化可以通过局部能量反映，而图像信号强度变化大的点反映了图像的显著特征，但该规则有对窗口内各个像素包含的独立信息考虑不足的缺点。因此使用基于二维EMD和改进局部能量的多聚焦图像融合算法克服了传统的融合算法得到的融合图像存在边缘失真及光谱扭曲的现象。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于二维EMD和改进局部能量的多聚焦图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

技术方案

一种基于二维EMD和改进局部能量的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准，并利用线性变换方法将两幅源图像的灰度方位映射到一个一致的灰度区间，得到预处理后的两幅图像A和B；

步骤2：对预处理后的图像A进行二维EMD算法分解得到IMF分量

对预处理后的图像B进行二维EMD算法分解得到IMF分量

步骤3：按融合规则对步骤2得到的预处理后两幅图像A和B各自的分量

和分量

进行融合，得到融合后的分量IMF_F(x,y)；

所述的融合规则为：当图像A和图像B的IMF系数

与

正负符号相同（包含系数为零），按 ${\mathrm{IMF}}_F^j(x,y)=\left\{\begin{array}{c}{\mathrm{IMF}}_A^j(x,y),E_A^j(x,y)\&GreaterEqual;E_B^j(x,y)\\ {\mathrm{IMF}}_B^j(x,y),E_A^j(x,y)<E_A^j(x,y)\end{array}\right.$ 对图像进行融合，得到融合系数

当图像A和图像B的IMF系数

与

正负符号相反（包含系数为零），按 $\left\{\begin{array}{c}{\mathrm{IMF}}_F^j(x,y)=w_A\&times;{\mathrm{IMF}}_A^j(x,y)+w_B\&times;{\mathrm{IMF}}_B^j(x,y)\\ w_A=E_A^j(x,y)/[E_A^j(x,y)+E_B^j(x,y)]\\ w_B=1-w_A\end{array}\right.$ 对图像进行融合，得到融合系数

其中

与

分别为IMF系数在第j级分量的第x行和第y列像素点的值，

是由公式 $E_A^j(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}W(m,n){\left[{\mathrm{IMF}}_A^j(x+m,y+n)\right)]}^2$ 以（x，y）像素为中心的m×n大小邻域的所有像素的局部能量，

是由公式 $E_B^j(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}W(m,n){\left[{\mathrm{IMF}}_B^j(x+m,y+n)\right)]}^2$ 以（x，y）像素为中心的m×n大小邻域的所有像素的局部能量，m×n邻域大小为3×3，其中W在式中为加权模板，取值为 $W=\frac{1}{12}\left[\begin{array}{ccc}1& 1& 1\\ 1& 4& 1\\ 1& 1& 1\end{array}\right];$

步骤4：对步骤3得到的融合后的分量IMF_F(x,y)进行EMD逆变换，得到融合图像。

有益效果

本发明提出的一种基于二维EMD和改进局部能量的多聚焦图像融合方法，首先对源图像进行二维EMD分解，不仅克服了基于小波变换的图像融合局部特征相关性不强的问题，并且避免了传统小波方法小波基函数选取困难的问题。然后采用基于改进局部能量的极大值准则和加权平均融合规则相结合的方法对相应频率段上的本征模函数（IMF）分量进行处理。当对应的两幅源图像二维EMD分解后的IMF分量相位相同时，融合图像对应的IMF分量采用局部能量极大值准则；相位相反时，融合图像对应的IMF分量采用局部能量加权平均方法确定。融合规则克服了传统融合方法对窗口内各个像素包含的独立信息考虑不足的缺点。最后，融合结果通过对融合分量进行二维EMD逆变换得到。因此，将二维EMD和改进局部能量相结合，可以大大提高融合后图像的质量，对应用系统的后续处理和图像显示具有重要意义和使用价值。

附图说明

图1：本发明方法的基本流程图

图2：多聚焦图像融合方法示意图

图3：使用本方法完成多聚焦图像融合的例子

(a)聚焦于左侧的源图像

(b)聚焦于右侧的源图像

(c)理想融合图像

(d)基于二维EMD和极大值准则的融合图像

(e)基于二维EMD和加权平均的融合图像

(f)基于小波变换和局部能量的多聚焦图像融合图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Core2CPU2.93GHz计算机，2GB内存，128M显卡，运行的软件环境是：matlab2010b和windows XP。我们用Matlab软件实现了本发明的提出的方法。该实验所用的两幅灰度图像和理想图像取自于www.imagefusion.org。

本发明具体实施如下：

步骤1：采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准，并利用线性变换方法将两幅源图像的灰度方位映射到一个一致的灰度区间，得到预处理后的两幅图像A和B；

步骤2：对预处理后的图像A进行二维EMD算法分解得到IMF分量对预处理后的图像B进行二维EMD算法分解得到IMF分量

步骤3：按融合规则对步骤2得到的预处理后两幅图像A和B各自的分量

和分量

进行融合，得到融合后的分量

所述的融合规则为：当图像A和图像B的IMF系数

与

正负符号相同（包含系数为零），按 ${\mathrm{IMF}}_F^j(x,y)=\left\{\begin{array}{c}{\mathrm{IMF}}_A^j(x,y),E_A^j(x,y)\&GreaterEqual;E_B^j(x,y)\\ {\mathrm{IMF}}_B^j(x,y),E_A^j(x,y)<E_A^j(x,y)\end{array}\right.$ 对图像进行融合，得到融合系数

当图像A和图像B的IMF系数与

正负符号相反（包含系数为零），按 $\left\{\begin{array}{c}{\mathrm{IMF}}_F^j(x,y)=w_A\&times;{\mathrm{IMF}}_A^j(x,y)+w_B\&times;{\mathrm{IMF}}_B^j(x,y)\\ w_A=E_A^j(x,y)/[E_A^j(x,y)+E_B^j(x,y)]\\ w_B=1-w_A\end{array}\right.$ 对图像进行融合，得到融合系数

其中

与

分别为IMF系数在第j级分量的第x行和第y列像素点的值，

是由公式 $E_A^j(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}W(m,n){\left[{\mathrm{IMF}}_A^j(x+m,y+n)\right)]}^2$ 以（x，y）像素为中心的m×n大小邻域的所有像素的局部能量，

是由公式 $E_B^j(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}W(m,n){\left[{\mathrm{IMF}}_B^j(x+m,y+n)\right)]}^2$ 以（x，y）像素为中心的m×n大小邻域的所有像素的局部能量，m×n邻域大小为3×3，其中W在式中为加权模板，取值为 $W=\frac{1}{12}\left[\begin{array}{ccc}1& 1& 1\\ 1& 4& 1\\ 1& 1& 1\end{array}\right];$

步骤4：对步骤3得到的融合后的分量

进行EMD逆变换，得到融合图像。

图3为待融合的多聚焦图像和融合处理后的图像，本发明所得的融合结果与其他融合方法所得的融合结果进行对比，评价结果如表1所示。图像的均方根误差（RMSE）越小，表明融合图像和理想图像越接近，融合质量和融合效果越好；信息熵越大表明融合图像包含信息更多，融合结果更好；高的峰值信噪比代表好的融合质量和融合效果。

表1融合结果评价

融合图像	均方根误差	信息熵	峰值信噪比
				（d）	15.0543	7.2900	55.0226
（e）	13.3888	7.2967	58.0270
				（f）	12.144	7.4025	60.158
（g）	10.7169	7.4692	63.3835

Claims (1)

1.一种基于二维EMD和改进局部能量的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准，并利用线性变换方法将两幅源图像的灰度方位映射到一个一致的灰度区间，得到预处理后的两幅图像A和B；

步骤2：对预处理后的图像A进行二维EMD算法分解得到IMF分量对预处理后的图像B进行二维EMD算法分解得到IMF分量

步骤3：按融合规则对步骤2得到的预处理后两幅图像A和B各自的分量

和分量

进行融合，得到融合后的分量IMF_F(x,y)；

所述的融合规则为：当图像A和图像B的IMF系数

与

正负符号相同（包含系数为零），按 ${\mathrm{IMF}}_F^j(x,y)=\left\{\begin{array}{c}{\mathrm{IMF}}_A^j(x,y),E_A^j(x,y)\&GreaterEqual;E_B^j(x,y)\\ {\mathrm{IMF}}_B^j(x,y),E_A^j(x,y)<E_A^j(x,y)\end{array}\right.$ 对图像进行融合，得到融合系数

当图像A和图像B的IMF系数与

正负符号相反（包含系数为零），按 $\left\{\begin{array}{c}{\mathrm{IMF}}_F^j(x,y)=w_A\&times;{\mathrm{IMF}}_A^j(x,y)+w_B\&times;{\mathrm{IMF}}_B^j(x,y)\\ w_A=E_A^j(x,y)/[E_A^j(x,y)+E_B^j(x,y)]\\ w_B=1-w_A\end{array}\right.$ 对图像进行融合，得到融合系数

其中

与分别为IMF系数在第j级分量的第x行和第y列像素点的值，

是由公式 $E_A^j(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}W(m,n){\left[{\mathrm{IMF}}_A^j(x+m,y+n)\right)]}^2$ 以（x，y）像素为中心的m×n大小邻域的所有像素的局部能量，是由公式 $E_B^j(x,y)=\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}W(m,n){\left[{\mathrm{IMF}}_B^j(x+m,y+n)\right)]}^2$ 以（x，y）像素为中心的m×n大小邻域的所有像素的局部能量，m×n邻域大小为3×3，其中W在式中为加权模板，取值为 $W=\frac{1}{12}\left[\begin{array}{ccc}1& 1& 1\\ 1& 4& 1\\ 1& 1& 1\end{array}\right];$

步骤4：对步骤3得到的融合后的分量IMF_F(x,y)进行EMD逆变换，得到融合图像。

Images