CN101226635A - 基于梳状波和拉普拉斯塔形分解的多源图像融合方法 - Google Patents

Abstract

本发明公开了一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法，它涉及图像处理技术领域，其目的在于采用该方法可以充分提取图像的纹理特征，对纹理区域和边缘区域有很好的融合效果，并且能够抑制融合图像中的条纹状失真。该方法的实现步骤为：输入源图像，分别对其进行拉普拉斯塔形分解；求得最终融合图像拉普拉斯塔形分解系数的低频分量；进行逆塔形变换；对仅含源图像高频信息的图像在Brushlet变换域中进行融合；求得最终融合图像拉普拉斯塔形分解系数的高频分量；对得到的最终融合图像拉普拉斯塔形分解系数的低频分量和高频分量，作逆塔形变换得到最终的融合图像。该方法可用于合成孔径雷达SAR图像、航拍图像、医学图像和红外图像的预处理阶段。

Description

基于梳状波和拉普拉斯塔形分解的多源图像融合方法

技术领域

本发明属于图像处理技术领域，涉及该技术在多源图像融合领域中的应用，具体地说是一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法。该方法可用于合成孔径雷达SAR图像、航拍图像、医学图像和红外图像的预处理阶段。

背景技术

图像融合是数据融合的一个重要分支。各种单一传感器获取的图像数据在几何、光谱、时间和空间分辨率等方面存在明显的局限性和差异性，所以仅仅利用一种传感器图像数据是难以满足实际需求的，特别是在未来战争中，电磁环境将异常复杂，无论是空战、海战还是陆战以至于陆、海、空相结合的立体战争，都将日益依赖于各种传感器设备。为了对观测目标有一个更加全面、清晰、准确的理解与认识，人们迫切希望寻求一种综合利用各类图像数据的技术。因此把不同的图像数据的各自优势和互补性综合起来加以利用就显得非常重要和实用。多源图像融合可以用于SAR图像，航拍图像，医学图像，红外图像的处理，对国民经济的发展，国防现代化的建设都有实际的作用。因此，关于多源图像融合技术的研究具有重要的战略意义和社会效益。

目前应用最为广泛的多源图像融合方法是基于小波变换的方法。该方法首先将源图像进行小波变换，得到包含源图像细节信息的高频分量和包含源图像光谱信息的低频分量，然后用不同的融合算子分别对源图像的高频分量和低频分量进行融合，得到融合图像的高频分量和低频分量，最后对融合图像的高频分量和低频分量进行小波逆变换，得到最终的融合图像。

但是随着研究的深入，人们发现小波变换不能充分利用图像本身特有的几何特征，不是最优的或者说最稀疏的函数表示方法。小波变换在表示点状奇异性是最优的，而对于图像中边缘、轮廓，曲线等这些二维信息的表示却不是最优的，导致大量无效的分解。而且小波变换不具有平移不变性，这样就导致了对含有线状区域的目标进行融合时，会在融合图像的边缘附近产生模糊现象和锯齿状效应，影响融合图像的视觉效果。

纹理是图像中最为常见，也是最为重要的特征之一，如遥感图像中的各种地貌特征、农作物、人工地物和居民区等，都可以看作为具有一定分布范围、方向和粗细度的纹理，医学图像中各种组织和器官也呈现出不同的纹理。梳状波Brushlet变换是一种新的图像分析工具，可以有效地捕捉图像的方向纹理信息。在图像融合中，利用Brushlet变换可以避免，在融合图像中产生使用小波变换对图像融合时，在融合图像中产生的边缘模糊及锯齿现象。然而在使用Brushlet变换对图像进行融合时，会在融合图像的均匀区域引入一种条纹状失真，特别是在待融合的多源图像的对比度差别很大的时候，条纹状失真非常严重，影响到融合图像的视觉效果。因此有必要研究一种新的融合方法，能够有效抑制或避免融合图像的失真。

发明内容

本发明的目的在于：为了克服现有技术中，简单地采用基于变换的方法在融合图像中存在引入失真的问题，提出了一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法，该方法可以充分提取图像的纹理特征，对纹理区域和边缘区域有很好的融合效果，并且能够抑制融合图像中的条纹状失真。

本发明的技术方案是：首先对源图像作拉普拉斯分解，将源图像拉普拉斯分解系数的低频分量直接进行平均，作为最终融合图像拉普拉斯分解系数的低频分量，然后对源图像低频分量置零后的拉普拉斯系数作逆塔形变换，得到仅含有源图像高频信息的图像，对该图像在Brushlet变换域中进行融合，得到仅含有源图像高频信息的融合图像，对这幅融合图像进行拉普拉斯塔形分解，提取分解系数中高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量，利用得到的最终融合图像拉普拉斯分解系数的低频分量和高频分量，作逆塔形变换，得到最终的融合图像。本发明技术方案的具体实现过程如下：

(1)、输入源图像I₁(x，y)和I₂(x，y)，分别对其进行拉普拉斯塔形分解，得到源图像的拉普拉斯塔形分解系数，其中包括低频分量和高频分量，源图像I₁(x，y)的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为L₁和H₁，源图像I₂(x，y)的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为L₂和H₂；

(2)、对步骤(1)得到的源图像拉普拉斯塔形分解系数低频分量L₁和L₂直接进行平均，作为最终融合图像拉普拉斯塔形分解系数的低频分量L_F，即L_F＝(L₁+L₂)/2；

(3)、分别将源图像I₁(x，y)和I₂(x，y)低频分量置零后的拉普拉斯塔形分解系数进行逆塔形变换，得到仅含源图像I₁(x，y)高频信息的图像I₁ ^H(x，y)和仅含源图像I₂(x，y)高频信息的图像I₂ ^H(x，y)；

(4)、对步骤(3)得到的仅含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)在Brushlet变换域中进行融合，得到仅含源图像高频信息的融合图像I_F ^H(x，y)；

(5)、对步骤(4)中得到的图像I_F ^H(x，y)作拉普拉斯塔形分解，得到图像I_F ^H(x，y)的拉普拉斯塔形分解系数，取其中的高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量H_F；

(6)、对步骤(2)得到的最终融合图像拉普拉斯塔形分解系数的低频分量L_F和步骤(5)得到的最终融合图像拉普拉斯塔形分解系数的高频分量H_F，作逆塔形变换得到最终的融合图像I_F(x，y)。

上述的基于梳状波和拉普拉斯塔形分解的多源图像融合方法，所说的对仅含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)在Brushlet变换域中进行融合，其方法如下：

(1)、将含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)分别进行Brushlet变换，得到图像I₁ ^H(x，y)和I₂ ^H(x，y)的Brushlet分解系数，其中包括类低频分量和高频分量，图像I₁ ^H(x，y)的Brushlet分解系数的类低频分量和高频分量分别表示为L₁ ^H和H₁ ^H，图像I₂ ^H(x，y)的Brushlet分解系数的类低频分量和高频分量分别表示为L₂ ^H和H₂ ^H；

(2)、对类低频分量L₁ ^H和L₂ ^H直接进行平均，作为I₁ ^H(x，y)和I₂ ^H(x，y)的融合图像的Brushlet分解系数的低频分量L_F ^H，即 $L_F^H=(L_1^H+L_2^H)/2,$ 并且对图像I₁ ^H(x，y)的高频分量和图像I₂ ^H(x，y)的高频分量，采用局域方差融合算子进行融合，得到I₁ ^H(x，y)和I₂ ^H(x，y)的融合图像的Brushlet系数的高频分量H_F ^H；

(3)、对仅含源图像高频分量的融合图像的Brushlet变换的类低频分量L_F ^H和高频分量H_F ^H，作Brushlet逆变换，得到仅含源图像高频信息的融合图像I_F ^H(x，y)。

本发明与现有技术相比具有以下优点：

1、本发明可以有效保留源图像中的纹理和边缘信息，抑制了易在融合图像中产生的边缘模糊现象和条纹状失真，能够得到目标场景清晰、详细的融合图像。

2、本发明中用到的拉普拉斯塔形分解相当于滤波器运算，而Brushlet变换采用的是快速傅立叶变换，所以整体方法运算速度快，可以进行实时处理。

附图说明

图1是本发明的实现流程图

图2是本发明对厂区遥感图像融合结果比较图

图3是本发明对高光谱光学相机拍摄的林区图像融合结果比较图

图4是本发明对医学图像融合结果比较图

具体实施方式

参照图1、它是本发明的实现流程图。结合图1对本发明的实现步骤及具体实施方式说明如下：

1、输入源图像I₁(x，y)和I₂(x，y)，分别对其进行拉普拉斯塔形分解

拉普拉斯塔形分解是图像的一种多分辨率表示方法。拉普拉斯塔形分解的基本思想是，首先，对源图像进行低通滤波和下采样得到一个粗尺度的近似图像，即分解得到的低通近似图像，把这个近似图像经过插值、滤波，再计算它和源图像的差值，就得到分解的高频分量。下一级分解是在得到的低通近似图像上进行，迭代完成多尺度分解，最后得到图像拉普拉斯塔形分解系数，其中包括低频分量和高频分量。分析滤波器Q和综合滤波器G为归一化滤波器，具有对称性。为了实现完全重构，要求Q和G在2采样下为正交或双正交。设源图像表示为C₀，金字塔第一层得到的低通采样图像为C₁，第二层用同样的低通滤波器滤波再采样得到C₂，p为当前分解层，p≥1，迭代过程可用公式(1)、(2)表示：

c_p(i，j)＝Σq(m，n)c_p-1(2i+m，2j+n)    (1)

$b_p(i,j)=c_{p-1}(i,j)-\mathrm{\Σg}(m,n)c_p(\frac{i-m}{2},\frac{j-n}{2})---\left(2\right)$

若进行P层拉普拉斯分解，则图像空间V分解为W₁、W₂、...W_P、V_P共P+1个子空间。其中V_P为低频空间，W_P为各层的高频子空间。

$V=V_P\text{\⊕}\left(\underset{p=1}{\overset{P}{\⊕}}{W}_p\right)---\left(3\right)$

值得注意的是，应该设置好拉普拉斯塔形分解的层数P，因为如果分解层数太低，会使得最后得到的低频分量中仍然残留很多图像的细节信息；如果分解层数太高，会使得最后得到的高频分量中含有较多的光谱信息，不利于下一步的融合。一般情况下，分解层数P设置为3～5层，本发明采用3层拉普拉斯塔形分解。输入源图像I₁(x，y)，对其进行3层拉普拉斯塔形分解，即C₀＝I₁(x，y)，P＝3，由迭代公式(1)、(2)得到源图像I₁(x，y)的拉普拉斯塔形分解系数的低频分量L₁＝C₃(i，j)和高频分量H₁＝{b₃，b₂，b₁}。同理，可以得到输入源图像I₂(x，y)的拉普拉斯塔形分解系数的低频分量L₂和高频分量H₂。

2、求得最终融合图像拉普拉斯塔形分解系数的低频分量L_F

因为图像的低频分量中含有图像的大部分光谱信息，几乎没有细节信息，采用直接平均的方法可以很好地融合图像的低频分量，所以本发明中对源图像拉普拉斯塔形分解系数低频分量L₁和L₂直接进行平均，作为最终融合图像拉普拉斯塔形分解系数的低频分量L_F，即L_F＝(L₁+L₂)/2。

3、进行逆塔形变换

逆塔形变换是一种图像重构方法，相当于图像分解的逆过程。本发明使用得到的拉普拉斯分解系数，重构图像，就是把高频分量作为偏差不断地加回到由低频粗略信号得到的原始信号的估计中，这个过程可以用迭代方法来实现。分别将源图像I₁(x，y)和I₂(x，y)低频分量置零后的拉普拉斯塔形分解系数进行拉普拉斯逆塔形变换，得到仅含源图像I₁(x，y)高频信息的图像I₁ ^H(x，y)和仅含源图像I₂(x，y)高频信息的图像I₂ ^H(x，y)。

4、对仅含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)在Brushlet变换域中进行融合

为了能够抑制单独采用Brushlet变换融合多源图像时带来的条纹状失真，必须将待融合图像中低频分量分离，只对仅含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)在Brushlet变换域中进行融合；

(1)、将含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)分别进行Brushlet变换，得到图像I₁ ^H(x，y)和I₂ ^H(x，y)的Brushlet分解系数，其中包括类低频分量和高频分量，图像I₁ ^H(x，y)的Brushlet分解系数的类低频分量和高频分量分别表示为L₁ ^H和H₁ ^H，图像I₂ ^H(x，y)的Brushlet分解系数的类低频分量和高频分量分别表示为L₂ ^H和H₂ ^H。在信号处理中，常用一个光滑的窗函数将信号分成相邻的区间，然后在每一个区间内进行局部傅里叶分析。Brushlet就是基于以上思想来构造具有时频局部化性质的标准正交基。Brushlet变换具有类似于小波包的多层结构，能对Fourier域进行极佳的分解。Brushlet的第1层分解把Fourier平面分成4个象限，Brushlet系数被分为4部分，对应的方向为π/4+kπ/2，k＝0，1，2，3，Brushlet的第2层分解进一步把每个象限分为4个部分，共16个Brushlet系数的集合，共分为12个方向。Brushlet系数阵列关于原点是反对称的，环绕着原点的4个子带为低频纹理分量，其余均为高频纹理，多层分解是对上一层的方向继续加以细分，但层数过多会有明显的频率混叠，故而一般选取1～3层分解，值得注意的是，Brushlet是复值函数，其系数实际上可以分为实部和虚部两个部分，且实部和虚部分别关于原点反对称。如果Brushlet分解的层数过低，会使得高频分量和低频分量不能完全分离，如果分解层数过高，会导致频域的过分割，产生频率混叠现象，这对最终的融合结果有很大的影响，本发明选择3层Brushlet分解；

(2)、对类低频分量L₁ ^H和L₂ ^H直接进行平均，作为I₁ ^H(x，y)和I₂ ^H(x，y)的融合图像的Brushlet分解系数的低频分量L_F ^H，即 $L_F^H=(L_1^H+L_2^H)/2,$ 并且对图像I₁ ^H(x，y)的高频分量H₁ ^H和图像I₂ ^H(x，y)的高频分量H₂ ^H，采用局域方差融合算子进行融合，得到I₁ ^H(x，y)和I₂ ^H(x，y)的融合图像的Brushlet系数的高频分量H_F ^H，采用局域方差融合算子对高频分量进行融合的过程如下：

首先分别计算高频分量H₁ ^H和H₂ ^H中每个高频系数的局域方差，每个高频系数的局域方差，是以该高频系数为中心的W×W窗口区域内的方差，W可以取为3，5或7，采用局域方差算子对高频分量进行融合时，可以提取当前高频系数的整个窗口区域内的信息，充分考虑了图像的特征是由一个区域而非一个单独的系数来体现，本发明中W＝3，高频系数H₁ ^H(x，y)的局域方差记为var₁(x，y)，相应的，高频系数H₂ ^H(x，y)的局域方差记为var₂(x，y)，然后计算局域方差var₁(x，y)和var₂(x，y)之间的相关程度cor var，有：

$\mathrm{corvar}(x,y)=2\×{\mathrm{var}}_1(x,y)\×{\mathrm{var}}_2(x,y)/({\mathrm{var}}_1^2(x,y)+{\mathrm{var}}_2^2(x,y))----\left(4\right)$

如果cor var(x，y)≥factor，其中factor相当于衡量局域方差var₁(x，y)和var₂(x，y)之间相关程度cor var强弱的一个阈值，factor∈[0.5，1]，本发明中factor取为0.7，则：ω₁(x，y)＝1/2-(1-cot var(x，y))/2，ω₂(x，y)＝1-ω₁(x，y)，

$H_F^H(x,y)={\mathrm{\ω}}_1(x,y)\×H_1^H(x,y)+{\mathrm{\ω}}_2(x,y)\×H_2^H(x,y)---\left(5\right)$

如果cor var(x，y)＜factor，则

$H_F^H(x,y)=\left\{\begin{array}{cc}{H}_1^H(x,y),& {\mathrm{var}}_1(x,y)\&GreaterEqual;{\mathrm{var}}_2(x,y)\\ H_2^H(x,y),& {\mathrm{var}}_1(x,y)<{\mathrm{var}}_2(x,y)\end{array}\right.---\left(6\right)$

(3)、对仅含源图像高频分量的融合图像的Brushlet变换的类低频分量L_F ^H(x，y)和高频分量H_F ^H(x，y)，作Brushlet逆变换，得到仅含源图像高频信息的融合图像I_F ^H(x，y)。

5、求得最终融合图像拉普拉斯塔形分解系数的高频分量H_F(x，y)

仅含源图像高频信息的融合图像I_F ^H(x，y)作拉普拉斯塔形分解，得到图像I_F ^H(x，y)的拉普拉斯塔形分解系数，取其中的高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量H_F(x，y)。

6、对得到的最终融合图像拉普拉斯塔形分解系数的低频分量L_F(x，y)和最终融合图像拉普拉斯塔形分解系数的高频分量H_F(x，y)，作逆塔形变换得到最终的融合图像I_F(x，y)

值得注意的是，本发明所提出的方法要求源图像至少达到像素级配准，没有达到配准要求的源图像需先单独进行配准操作，然后再用本方法进行融合操作。本发明所提出的方法是对两幅源图像进行的融合，当融合三幅或三幅以上图像时，须先对源图像两两进行融合，再将融合结果两两进行融合，直到得到最终融合结果。

仿真试验中，将本发明所提出的方法与基于小波的多源图像融合方法和单独采用Brushlet变换的多源图像融合方法进行对比。试验用到的源图像来自于曼彻斯特大学图像融合计划University of Manchester image fusion research programme的融合图像数据库，且已经过像素级配准。

参照图2，它是本发明对厂区遥感图像融合结果比较图。其中图2(a)、图2(b)分别是采用不同传感器对厂区拍摄的遥感图像，图2(c)是采用基于小波的多源图像融合方法得到的融合结果，图2(d)是单独采用Brushlet变换融合多源图像的结果，图2(e)是采用本发明方法得到的融合结果，图2(f)、图2(g)和图2(h)分别是图2(c)、图2(d)和图2(e)的局部放大图。

观察图2(c)、图2(d)和图2(e)可以看到三种方法都能够将源图的基本信息融合到结果图中，但是图2(c)中在边缘处有明显的锯齿和模糊失真现象，特别是在源图像灰度对比度差别大的地方，失真非常明显。图2(g)中则有明显的纹理失真现象，这种细小的纹理失真在图2(d)中不是很明显，但是局部放大之后，同样是在源图像灰度对比度差别大的地方，这种纹理失真就非常明显了。图2(e)是采用本发明方法所得的结果，可见融合图像较好地保留了源图像的边缘和纹理信息，并抑制失真。

参照图3，它是本发明对高光谱光学相机拍摄的源图像融合结果比较图。图3(a)、(b)是高光谱光学照相机不同时刻获取的源图像，图3(c)是采用基于小波的多源图像融合方法得到的融合结果，图3(d)是单独采用Brushlet变换融合多源图像的结果，图3(e)是采用本发明的方法得到的融合结果。图3(f)、图3(g)和图3(h)分别是图3(c)、图3(d)和图3(e)的局部放大图。

如图3(d)所示，单独采用Brushlet变换方法的融合结果中有很明显的条纹状失真，这是由于两幅源图相同目标区域的灰度对比度较大，导致条纹状失真非常明显。图3(c)中，基于小波的多源图像融合方法在融合结果的树梢处，有很明显的失真，这种失真经过放大后，如图3(f)所示，已经明显的影响了融合结果的视觉效果。而本发明的方法，在利用Brushlet变换融合图像之前，已经用拉普拉斯塔形分解分离了图像的低频分量，所以没有条纹状失真，而且在树梢处也非常清晰，没有失真出现。在视觉效果上，如图3(e)和图3(h)所示，无论从整体观察，还是细节分析，都是最好的结果。

参照图4，它是本发明对医学图像融合结果比较图，其中图4(a)是CT图像，图4(b)是NMR图像，图4(c)是采用基于小波的多源图像融合方法得到的融合结果，图4(d)是单独采用Brushlet变换融合多源图像的结果，图4(e)是采用本发明的方法得到的融合结果。图4(f)、图4(g)和图4(h)分别是图4(c)、图4(d)和图4(e)的局部放大图。

由于医学图像的特殊性，需要专门的背景知识来判断融合结果的好坏，这里仅单纯的对图像视觉效果进行评价。三种方法都比较好的融合了两幅源图像的信息，图4(c)中的脑膜处的融合较好，但图4(d)中的脑内部的信息融合得并不算很出色。从图4(f)、图4(g)的细节上看，基于小波的图像融合方法和单独采用Brushlet变换的图像融合的结果中，都仍有锯齿或条纹状的失真。而本发明的方法，如图4(h)保持了边缘的平滑，没有失真的出现。

图像融合结果的评价分为主观评价和客观评价，由于图像的评价还是处于研究阶段，没有一个足够完善的客观参数评价体系来对图像进行全方面的评价，所以对图像的融合结果还是以主观评价为主，客观参数评价为辅。主观评价是通过目视效果，对图像的光谱、细节、边缘进行视觉评估，客观评价就是利用图像统计参数进行判定。本发明试验结果采用结构相似度作为客观平价指标。

结构相似度SSIM是由Wang提出的一种评价压缩图像时的结构性衰减的指标。Pradhan等人将这个指标用于图像融合的评价上，证明这个客观评价指标在一定程度上可以反映图像的融合质量。

由于原始的SSIM是依据亮度、对比度和结构信息来衡量两幅图像的相似度。按照Pradhan等人的方法，用于融合图像结果比较时，只用考虑图像的结构信息。为了直接衡量两幅图像之间的结构信息，两幅图像必须调整到相同的亮度和对比度。一个长度为N的信号k的亮度可以由其均值μ_k近似：

${\mathrm{\&mu;}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{k}_i$

而信号的对比度可以由其方差σ_k近似：

${\mathrm{\&sigma;}}_k=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(k_i-{\mathrm{\&mu;}}_k)}^2}$

设两幅图像为k和l，首先将两幅图调整到零均值单位方差：

$k^{\&prime;}=\frac{k-{\mathrm{\&mu;}}_k}{{\mathrm{\&sigma;}}_k}$ $l`=\frac{l-{\mathrm{\&mu;}}_l}{{\mathrm{\&sigma;}}_l}$

结构相似度S(k，l)就定义为归一化的两幅图k`和l`的相关系数：

$S(k,l)=\frac{{\mathrm{\&sigma;}}_{k`l`}}{{\mathrm{\&sigma;}}_{k`}{\mathrm{\&sigma;}}_{l`}}$

由于图像中各个位置的亮度和对比度并不一致，需要在一个小的区域内对其进行估计。所以可以在一个大小为k×k的滑窗Z内计算结构相似度。对于一个大小为A×A的矩阵，整个图像的SSIM就是所有局部结构相似度近似值的平均：

$\mathrm{SSIM}=\frac{1}{A}\underset{Z}{\mathrm{\&Sigma;}}S$

表1融合结果的结构相似度比较

SSIM	厂区图像			林区图像			医学图像
										SSIM1F	SSIM2F	SSIMrms	SSIM1F	SSIM2F	SSIMrms	SSIM1F	SSIM2F	SSIMrms
	小波	0.4811	0.8625	0.9876	0.7814	0.8074	1.1236	0.2678	0.6320										0.6864
Brushlet										0.2989	0.5989	0.6693	0.6370	0.6210	0.8896	0.2682	0.3877	0.4714
	本发明的方法	0.4744	0.8769	0.9970	0.8019	0.7955	1.1296	0.2697	0.6436										0.6978

表1是对三组图像融合结果的结构相似度的比较。SSIM_1F是源图I₁(x，y)和融合结果I_F的结构相似度，SSIM_2F是源图I₂和融合结果I_F的结构相似度。则两者的均方根 $\mathrm{SSI}{M}_{\mathrm{rms}}=\sqrt{{{\mathrm{SSIM}}_{1F}}^2+{{\mathrm{SSIM}}_{2F}}^2}$ 表示了融合结果与两幅源图的总体结构相似度，可以反映融合效果。

可以看出，在三组图像的融合结果参数对比中，本发明所提方法的SSIM均方根SSIM_rms都是最大的，表示融合结果同源图的结构最为相似，本发明所提方法的结果最能够反映源图的信息。

所以不管在最后融合图像的视觉质量，即主观评价上，还是在客观参数的评价上，本发明提出的方法都具有优越性，与现有的传统图像融合方法相比可以取得更好的效果。

Claims (2)

1.一种基于梳状波和拉普拉斯塔形分解的多源图像融合方法，其具体实现步骤如下：

(1)、输入源图像I₁(x，y)和I₂(x，y)，分别对其进行拉普拉斯塔形分解，得到源图像的拉普拉斯塔形分解系数，其中包括低频分量和高频分量，源图像I₁(x，y)的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为L₁和H₁，源图像I₂(x，y)的拉普拉斯塔形分解系数的低频分量和高频分量分别表示为L₂和H₂；

(2)、对步骤(1)得到的源图像拉普拉斯塔形分解系数低频分量L₁和L₂直接进行平均，作为最终融合图像拉普拉斯塔形分解系数的低频分量L_F，即L_F＝(L₁+L₂)/2；

(3)、分别将源图像I₁(x，y)和I₂(x，y)低频分量置零后的拉普拉斯塔形分解系数进行逆塔形变换，得到仅含源图像I₁(x，y)高频信息的图像I₁ ^H(x，y)和仅含源图像I₂(x，y)高频信息的图像I₂ ^H(x，y)；

(4)、对步骤(3)得到的仅含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)在Brushlet变换域中进行融合，得到仅含源图像高频信息的融合图像I_F ^H(x，y)；

(5)、对步骤(4)中得到的图像I_F ^H(x，y)作拉普拉斯塔形分解，得到图像I_F ^H(x，y)的拉普拉斯塔形分解系数，取其中的高频分量作为最终融合图像拉普拉斯塔形分解系数的高频分量H_F；

(6)、对步骤(2)得到的最终融合图像拉普拉斯塔形分解系数的低频分量L_F和步骤(5)得到的最终融合图像拉普拉斯塔形分解系数的高频分量H_F，作逆塔形变换得到最终的融合图像I_F(x，y)。

2.根据权利要求1所述的基于梳状波和拉普拉斯塔形分解的多源图像融合方法，所说的对仅含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)在Brushlet变换域中进行融合，其方法如下：

(1)、将含源图像高频信息的图像I₁ ^H(x，y)和I₂ ^H(x，y)分别进行Brushlet变换，得到图像I₁ ^H(x，y)和I₂ ^H(x，y)的Brushlet分解系数，其中包括类低频分量和高频分量，图像I₁ ^H(x，y)的Brushlet分解系数的类低频分量和高频分量分别表示为L₁ ^H和H₁ ^H，图像I₂ ^H(x，y)的Brushlet分解系数的类低频分量和高频分量分别表示为L₂ ^H和H₂ ^H；

(2)、对类低频分量L₁ ^H和L₂ ^H直接进行平均，作为I₁ ^H(x，y)和I₂ ^H(x，y)的融合图像的Brushlet分解系数的低频分量L_F ^H，即

并且对图像I₁ ^H(x，y)的高频分量和图像I₂ ^H(x，y)的高频分量，采用局域方差融合算子进行融合，得到I₁ ^H(x，y)和I₂ ^H(x，y)的融合图像的Brushlet系数的高频分量H_F ^H；

(3)、对仅含源图像高频分量的融合图像的Brushlet变换的类低频分量L_F ^H和高频分量H_F ^H，作Brushlet逆变换，得到仅含源图像高频信息的融合图像I_F ^H(x，y)。

Images