CN101447072A - 基于金字塔形的经验模态分解图像融合方法 - Google Patents

Abstract

本发明公开一种基于金字塔形的经验模态分解图像融合方法，包括，首先将输入的源图像分别经过金字塔形的经验模态分解方法分解成一系列具有高频特性的金字塔结构的细节图像组和一个具有低频特性的近似图像组；其次对分解后的细节图像和近似图像组进行融合；最后对融合后的细节图像和近似图像进行金字塔形的经验模态分解的逆变换，得到融合后的图像。其中，金字塔形的经验模态分解方法包括将待分解的图像进行一次经验模态分解，且分解成本征模型函数的图像和趋势图像；将趋势图像通过一次金字塔形分解生成近似图像和差异图像；将差异图像和本特征模型函数的图像相加得到细节图像。本发明优点在于分解表示冗余度低，分解运算速度快，图像融合质量高。

Description

基于金字塔形的经验模态分解图像融合方法

技术领域

本发明涉及一种图像融合方法，特别是涉及一种结合金字塔形分解和经验模态分解的图像融合方法。

背景技术

图像融合是一种将两幅或多幅来自相同或不同类型传感器的同一场景的图像进行信息融合的技术，它以生成对此场景更为精确、更为全面、更为可靠的图像描述或解释(一般是复合图像)，这种描述或解释更适合人的视觉感知或计算机的处理。

目前，获得高质量图像传感器很多，譬如：前视红外，可见光，CT，MRI，毫米波雷达图像，激光成像雷达，合成孔径雷达等。由于成像原理的不同和技术条件的限制，任何一个单一图像数据都不能全面的反映目标对象的特性，是具有一定的应用范围的局限性。而图像融合则是充分利用了多个被融合图像中包含的冗余信息和互补信息，最大限度获得目标和场景的完整信息描述。但由于图像融合的性能依赖于使用环境，任何一个独立的传感器都有其功能的局限性。多源图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。图像融合通常有多幅输入图像，通过融合处理形成一幅合成图像，而这幅合成图像包括所有输入图像的相关信息，能够对目标场景进行更好地解释。随着图像融合技术的发展，图像融合技术广泛运用于目标识别、机器人、医学和军事等领域。

根据图像融合处理所处的不同的阶段，图像融合处理通常可在三个不同层次上进行：像素级融合、特征级融合、决策级融合。像素级的图像融合是最低层次的图像融合，融合过程直接作用于校准后的图像上，这样融合后的图像根据像输入图像像素点集的物理特性采用融合的技术对图像进行合并。特征级的图像融合则是中间层次上的融合，其先从原始多源图像中提取有用特征，然后根据特征信息对多源信息进行分类、汇集和综合。目前典型的图像特征包括边缘、角点、线等。决策级的图像融合是最高层次的图像融合，在进行融合处理前，要先对从各个传感器获得的源图像进行最高层次的抽象，通常对图像进行信息抽取和分类，建立对同一目标的初步判决结论，然后对来自不同传感器的决策进行融合处理，最终获得联合判决。

其中，基于像素级多源图像融合算法有很多种，其大致可分为非基于多分辨率变换的图像融合算法和基于多分辨率变换的图像融合算法两大类。非基于多分辨率变换的图像融合算法包括：加权平均方法、非线性方法、彩色映射法、最优化方法以及人工神经网络方法等。基于多分辨率变换的图像融合算法也叫基于多尺度的图像融合算法，是目前公认的最有效的最有发展前途的图像融合算法。基于多分辨率变换的图像融合算法首先对输入图像采用特定的方法进行多层的不同分辨率分解，然后对分解后的图像表示按照一定的融合规则进行选取或合并，从而得到最后的融合图像。

金字塔和小波是目前研究最多也是运用最广的多分辨率图像融合方法。然而金字塔和小波都依赖于预先定义的滤波器或小波函数，并且相同的应用采用不同的滤波器或小波函数其图像融合效果差别很大。金字塔和小波分解希望得到物理上具有相互关联的多尺度表示，但是没有理论证明其分解表示能完全实现图像的物理特性表示。目前，有人提出了经验模态分解empirical mode decomposition(EMD)的自适应多尺度分解方法，该方法不需要预先定义滤波器或小波函数(参考文献：Huang NE，Shen Z，Long SR，Wu ML，Shih HH，Zheng Q，Yen NC，Tung CC，and LiuHH.The empirical mode decomposition and Hilbert spectrum for nonlinearand nonstationary time series analysis.Proc.R.Soc.London A，vol.454，pp.903-995，1998.)。该所述经验模态分解能够较好地对非线性和非稳态的图像数据进行分析，并且该方法也很快延伸到图像融合中并取得了较好的效果。虽然经验模态分解的图像融合方法比金字塔和小波融合方法具有一定的优越性，但是其也具有明显的不足，一是图像分解的冗余度大，分解后的表示占用较多的存贮空间，所以不太适用于存贮空间小，网络带宽低或实时性要求高的图像融合系统需要。

发明内容

鉴于上述技术不足的地方，本发明的主要目的在于提供一种图像分解冗余度小，分解后的表示占有存贮空间小，并且网络带宽占用率低和实时性能高，且图像融合质量高、速度快的图像融合方法。

为了实现上述目的，本发明采用了下述技术方案：

本发明所述基于金字塔形的经验模态分解图像融合方法结合了金字塔形和经验模态分解两种技术，包括如下步骤：

1)将输入的源图像分别经过金字塔形的经验模态分解方法分解成一系列具有高频特性的金字塔结构的细节图像组和一个具有低频特性的近似图像组；

2)分别对分解后的一系列具有高频特性的细节图像组和一个具有低频特性的近似图像组进行融合；

3)对融合后的一系列细节图像和近似图像进行金字塔形的经验模态分解的逆变换，进而得到融合后的图像。

其中，所述金字塔形的经验模态分解方法包括以下步骤：A、将待分解的图像进行一次经验模态分解(Empirical Mode Decomposition，简称EMD)，且分解成本征模型函数(Intrinsic Mode Functions，简称IMF)的图像和趋势图像；B、将趋势图像进一次金字塔形分解，分解成近似图像和差异图像；C、将差异图像和本特征模型函数的图像进一步相加得到细节图像。

此外，所述细节图像和近似图像为采用不同的融合规则进行融合。

相比现有技术，本发明所述基于金字塔形的经验模态分解图像融合方法具有分解表示冗余度低，冗余度小于4/3，且分解运算速度快，保留了经验模态分解的优点，并且该方法由于是一个完全重构的图像分解方法，故该融合方法所得到的图像融合质量比较高。

附图说明

图1为本发明所述基于金字塔形的经验模态分解图像融合方法的步骤流程图；

图2为本发明所述基于金字塔形的经验模态分解图像融合方法中所述金字塔形的经验模态分解方法的一次分解的功能模块示意图；

图3为本发明所述基于金字塔形的经验模态分解图像融合方法中所述金字塔形的经验模态分解方法的一次分解的数据流程示意图；

图4为本发明所述基于金字塔形的经验模态分解图像融合方法中所述金字塔形分解的示意图。

具体实施方式

下面结合附图以及具体实施例来对本发明所述基于金字塔形的经验模态分解图像融合方法作进一步的详细说明。

本发明所述融合方法是基于金字塔形的经验模态分解两种技术进行图像融合的方法，保持了金字塔形和经验模态分解(Empirical ModeDecomposition，简称EMD)的优点，使得冗余度相比现有的融合方法而言得到了降低，冗余度小于4/3，并且分解运算速度快，且融合后的图像质量高。

参照图1中所示，本发明基于金字塔形的经验模态分解图像融合方法为包括如下步骤：首先，将输入的源图像分别经过金字塔形的经验模态分解方法分解成一系列具有高频特性的金字塔结构的细节图像组和一个具有低频特性的近似图像组(步骤10)；其次，对分解后的一系列具有高频特性的细节图像组和近似图像组进行融合(步骤11)；最后，将融合后的细节图像和近似图像进行金字塔形的经验模态分解的逆变换，进而得到融合后的图像(步骤12和步骤13)。

其中，参见图2和图3中所示，所述金字塔形的经验模态分解方法包括以下步骤：步骤100：将待分解的源图像30进行一次经验模态分解31，且分解成本征模型函数(Intrinsic Mode Functions，简称IMF)图像310和趋势图像311；步骤101：将趋势图像311进一次金字塔形分解32，分解成近似图像321和差异图像320；步骤102：将差异图像320和本征模型函数图像310进一步相加得到细节图像33。

此外，如果需要对图像作进一步的分解，则在上述步骤102后，继续将近似图像321作为下一层分解的输入图像，如此重复步骤100、步骤101和步骤102，进行N层分解，进而得到一系列具有高频特性的金字塔结构的细节图像33组和一具有低频特性的近似图像321组。

另外，在所述基于金字塔形的经验模态分解图像融合方法中，对于上述步骤11中所述细节图像和近似图像因为包含的信息不同，为采用不同的融合规则进行融合。

(1)由于细节图像中包括图像边缘等重要信息。为了更好满足人的视觉系统的需要，因此细节图像的融合规则一般是选择突出信息强的边缘、线或区域边界信息，即需要采用选择较大的细节图像值，这也叫基于能量的选择。

于实际应用中，对于细节图像组，在本发明中为采用窗口能量最大的选择原则，另外，由于考虑到周围点的情况，在计算能量时可加入窗口的概念，如下：

$E_S\left(\stackrel{\→}{n}\right)=\underset{\mathrm{\Δn}\∈W}{\mathrm{\Σ}}w\left(\mathrm{\Δ}\stackrel{\→}{n}\right){\left|d_S(\stackrel{\→}{n}+\mathrm{\Δ}\stackrel{\→}{n})\right|}^2$

其中，W是窗口的大小，可以5×5、3×3或者是1×1，w(△n)为窗口内对应点权值的大小，其值围绕窗口中心点对称分布且权值和等于1，所述结果E_s就是结果基于能量的判断依据。具体融合规则如下：

①将，

，...对应，计算细节图像中每一点的窗口能量；

②融合后的细节图像

每一点选择相同位置点窗口能量最大点所对应的细节图像

中对应点值；

③按照①、②的步骤得到其它各层的融合后细节图像

，其中，k＝1，2，...，N。

(2)由于近似图像中包含目标场景大量的纹理信息，因此对于近似图像组，为采用权值相加的融合规则，即通过采用权值相加的融合原则去有效的保留图像的纹理信息，同时能够克服图像噪声的影响。公式如下：

$A_F=\underset{i\∈I}{\mathrm{\Σ}}{\mathrm{\λ}}_i{A}_i$

其中，λ_i表示输入图像i对应的融合权值，A_i是输入图像i分解后的近似图像，A_F是融合后图像的近似图像，I是输入图像的集合。

此外，最简单的融合权值是各输入图像权值相等，即均值融合，也可以采用较复杂的融合权值，例如基于主元分析((Principal componentanalysis，简称PCA))融合算法。

结合图1、图2、图3和图4，下述为本发明所述基于金字塔形的经验模态分解图像融合方法的具体实施步骤，如下：

首先，将输入的源图像(假定源图像为X_i，i＝1，2...)分别经过N层金字塔形的经验模态分解方法分解成一系列具有高频特性的金字塔结构的细节图像组

和一个具有低频特性的近似图像组

(见图1中所示步骤10)，其中，k表示分解的层数，且k＝1，2，...，N。具体分解步骤如下：

1)将待分解的图像(初始时 $A_i^0=X,$ 为输入的源图像)进行一次经验模态分解，且分解成本征模型函数的图像

和趋势图像

(步骤100)，见如下所示。

$A_i^k(m,n)={\mathrm{IMF}}_i^{k+1}(m,n)+R_i^{k+1}(m,n)$

2)采用金子塔形分解对将趋势图像

作进一步分解，且分解成近似图像

和差异图像

(步骤101)。

$R_i^{k+1}\→\{L_i^{k+1},A_i^{k+1}\}$

其中，于实际应用中，所述近似图像的大小为输入图像的1/4，为趋势图像进行滤波后，长和宽进行下采样的结果。所述差异图像为近似图像在表示趋势图像时的差异结果，其大小和趋势图像大小相同。

3)将差异图像

和本征模型函数的图像

相加得到细节图像

(步骤102)。

$D_i^{k+1}={\mathrm{IMF}}_i^{k+1}+L_i^{k+1}$

在实际应用中，用户在对图像进行一次分解后，如果需要对图像进行进一步分解，则可将上述过程产生的近似图像

作为下一层分解的输入图像。如此重复进行N层分解便可得到了一系列具有高频特性的金字塔结构的细节图像组和一个具有低频特性的近似图像组

上述过程可表示如下：

$X_i\→\{D_i^1,A_i^1\}\→\{D_i^1,D_i^2,A_i^2\}\→L\→\{D_i^1,L,D_i^{N-1},D_i^N,A_i^N\}$

其次，对分解后的具有高频特性的细节图像组

和具有低频特性的近似图像组

进行融合(见图1中所示步骤11)。

最后，对融合后的金字塔结构的细节图像和近似图像

进行金字塔形的经验模态分解的逆变换，从得到融合后的图像F。其中，F＝1，2，...，N(见图1中所示步骤12和步骤13)。

其中，且参照图3中所示，所述经验模态分解可以将信号自适应分解为有限数量且具有良好行为的本征模型函数，该本征模型函数的获取过程是一个筛选过程，一个迭代的过程。该所述经验模态分解的算法步骤如下：

1)对待分解图像进行初始化，此时，趋势图像R＝X(X为待分解的图像)；

2)令图像H＝R进入筛选过程；

3)对图像H进行极值点求解，找出区域极大值点集和区域极小值点集；

4)分别对区域极大值点集和区域极小值点集进行平面插值，进而得出图像H的上下包络面，根据上下包络面求出图像H的均值M；

5)根据H(m，n)＝H(m，n)-M(m，n)，进一步判断H是否满足本征模型函数定义，如不满足，则跳到步骤3；反之，则继续往下执行；

6)根据内蕴模函数IMF(m，n)＝H(m，n)，迭代出了一个IMF；

7)R(m，n)＝R(m，n)-IMF(m，n)，如果还需要进一步分解，则转到步骤2。

如上述，在经过L层经验模态分解后，最终的分解过程可以表示为：

$\left\{\begin{array}{cc}X(m,n)={\mathrm{IMF}}_1(m,n)+R_1(m,n)& \\ R_i(m,n)={\mathrm{IMF}}_{i+1}(m,n)+R_{i+1}(m,n)& 1\≤i\≤L-1\end{array}\right.$

或者

$X(m,n)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{IMF}}_j(m,n)+R_L(m,n)$

其中，IMF_j表示第j个本征模型函数，R_L则是经过L层分解后的趋势图像。

所述金字塔形分解为对经过经验模态分解后的趋势图像

进行一次金字塔分解，参照图4所示，该所述金字塔形分解的具体过程如下：

首先，采用低通滤波器或高斯滤波器对趋势图像

进行滤波，并在滤波后对滤波后的图像进行采样，从而得到近似图像

(步骤400)。近似图像

表示如下：

$A_i^{k+1}(m,n)=\mathrm{\Σ}\underset{u,v=-2}{\overset{2}{\mathrm{\Σ}}}w(u,v)R_i^{k+1}(2m+u,2n+v)$

其中，w(u，v)是可分离的低通滤波器，即w(u，v)＝w′(u)w′(v)，当w′(0)＝a，则w′(1)＝w′(-1)＝0.5，w′(2)＝w′(-2)＝a/2，且通常a的值取0.4。

由于，所述近似图像并不能完全代表分解前的趋势图像

因此为了完美重构趋势图像，则必须记录近似图像和趋势图像的差异值。但是由于近似图像大小和趋势图像大小并不相等，故在计算差异时需要对近似图像进行插值运算(步骤401)，该插值运算可以看作上面运算的逆运算。所述插值运算结果公式表示为：

${R\′}_i^{k+1}(m,n)=4\mathrm{\Σ}\underset{u,v=-2}{\overset{2}{\mathrm{\Σ}}}w(u,v)A_i^{k+1}(\frac{m+u}{2},\frac{n+v}{2})$

其中，w(u，v)是可分离的低通滤波器：w(u，v)＝w′(u)w′(v)，w′(0)＝a，w′(1)＝w′(-1)＝0.5，w′(2)＝w′(-2)＝a/2，通常a的值取0.4，求和时只有整数的位置点才参与计算。

最后，则将趋势图像

和插值运算结果

的差值定义为差异图像L_i ^k+1(步骤402)。

$L_i^{k+1}(m,n)=R_i^{k+1}(m,n)-{R\′}_i^{k+1}(m,n).$

Claims (6)

1.一种基于金字塔形的经验模态分解图像融合方法，其特征在于，包括以下步骤：

1)将输入的源图像分别经过金字塔形的经验模态分解方法分解成一系列具有高频特性的金字塔结构的细节图像组和一个具有低频特性的近似图像组；

2)对分解后的具有高频特性的细节图像组和低频特性的近似图像组进行融合；

3)将融合后的细节图像和近似图像进行金字塔形的经验模态分解的逆变换，进而得到融合后的图像；

其中，所述金字塔形的经验模态分解方法进一步包括如下步骤：

A、将待分解的图像进行一次经验模态分解，且分解成本特征模型函数的图像和趋势图像；

B、将趋势图像进一次金字塔形分解，分解成近似图像和差异图像；

C、将差异图像和本征模型函数的图像进一步相加得到细节图像。

2.根据权利要求1所述基于金字塔形的经验模态分解图像融合方法，其特征在于，所述细节图像采用窗口能量最大的选择融合原则。

3.根据权利要求1所述基于金字塔形的经验模态分解图像融合方法，其特征在于，所述近似图像采用权值相加的融合规则。

4.根据权利要求1所述基于金字塔形的经验模态分解图像融合方法，其特征在于，且在需要对图像作进一步分解的情况下，所述金字塔形的经验模态分解方法还进一步包括，在步骤C后，将金字塔形分解而得的近似图像作为下一层分解的输入图像，进一步重复步骤A、步骤B和步骤C，进而得到具有高频特性的金字塔结构的细节图像和低频特性的近似图像。

5.根据权利要求3所述基于金字塔形的经验模态分解图像融合方法，其特征在于，所述权值相加的融合规则为均值融合。

6.根据权利要求3所述基于金字塔形的经验模态分解图像融合方法，其特征在于，所述权值相加的融合规则为采用基于主元分析的融合算法。

Images