CN104200452A - 基于谱图小波变换的红外与可见光图像融合方法及其装置 - Google Patents

Abstract

本发明公开了一种基于谱图小波变换的红外与可见光图像融合方法，按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。本发明还公开了一种基于谱图小波变换的红外与可见光图像融合装置，通过本发明能够更好地表示不规则区域图像；采用双边滤波获得图像融合的权重，有效地提升融合图像的清晰度、对比度及信息量等，能够得到融合效果更好的图像。

Description

基于谱图小波变换的红外与可见光图像融合方法及其装置

技术领域

本发明属于图像融合处理技术领域，具体涉及一种基于谱图小波变换的红外与可见光图像融合方法及其装置。

背景技术

图像融合在图像分析和计算机视觉方面有着重要的意义。通过图像融合技术可以将从不同成像传感器获取同一场景的图像有机组合成一幅图像，其能有效地互补不同成像传感器所获取图像的优势，形成一幅能真实清晰反映客观场景的图像，以便对图像进一步分析、理解以及目标的检测与识别等。

从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮，其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合系统，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。

随着新的信息理论的不断发展及国外内学者对图像融合不断深入全面地研究，图像融合研究取得了较大的进步。近年来，国内外学者提出了许多图像融合方法，其中，基于多尺度变换的图像融合方法是目前被广泛采用的方法，如文章《Image sequence fusion using ashift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291，因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想。此后，KorS等人便提出了基于提升小波变换的特征级图像融合方法，参见文章《Feature level fusion of multimodal medical images in lifting wavelettransform domain》，Engineering in Medicine and Biology Society,2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482，该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，还是难以满足要求。随着非下采样轮廓波变换(NSCT)的兴起，学者们已将NSCT应用于图像融合中，参见《Image fusion based onnonsubsampled contourlet transform for infrared and visible light image》，Infrared Physics&Technology,2013,61:94-100.该方法获得的融合图像细节较丰富，纹理较清晰，视觉效果优于前两种方法，这是由于NSCT具有：(1)高度冗余性，与有用信息有关的NSCT系数在各个细节子带内呈现稀疏性分布；(2)NSCT采用的是具有各向异性的Contourlet基，是的各个细节子带“描述”的是源图像在不同方向上的细节信息，因此具有多方向选择性；而且，这种基于NSCT的图像融合方法对低频子带系数和带通方向子带系数分别采用基于区域视觉特性和交互梯度融合规则。但NSCT也有自身的不足：由于NSCT采用的方向滤波器为扇形滤波器的非下采样滤波器组，通过此滤波器获得带通方向子带系数；从而使得基于NSCT的图像融合方法的计算量较大，不利于实际应用。为了克服NSCT的不足，Glenn Easley等便提了《Sparse directional image representations using the discreteshearlet transform》(NSST)，其优势在于：剪切变换对剪切操作没有方向数目的限制、剪切操作的支撑没有大小限制，而且，离散剪切变换的逆变换仅仅需要剪切滤波器的合成，而不是方向滤波器组的逆向合成；因此，NSST不仅能够更好地对源图像进行稀疏表达，而且其运行速度也比NSCT快。鉴于NSST的上述优势，学者们便已将NSST理论引入到图像融合中，参见文章《Technique for gray-scalevisual light and infrared image fusion based on non-subsampled shearlettransform》，Infrared Physics&Technology,2014,63:110-118；该方法对经NSST分解得到的低频子带系数和高频子带系数分别采用区域能量均值和局部方向对比度的融合规则进行融合，所得到的融合图像相对基于NSCT所得的融合图像，清晰度和空间活跃度有所提升，但是信息量、对比度等依然相对较低，整体效果还是不尽人意。

发明内容

本发明的目的是提供一种基于谱图小波变换的红外与可见光图像融合方法及其装置，能够对不规则区域图像进行很好地稀疏表示，充分利用图像的空间一致性，提高融合图像的清晰度、对比度、信息量等，以得到图像质量更好的融合图像。

为达到上述目的，本发明采取的技术方案为：

本发明实施例提供一种基于谱图小波变换的红外与可见光图像融合方法，该方法为：按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

上述方案中，所述对红外图像与可见光图像进行4层谱图小波进行分解获得低频子带系数和高频子带系数为：对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数l_I、红外图像I的高频子带系数可见光图像V的低频子带系数l_V、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4。

上述方案中，所述根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合之前，该方法还包括：

对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像H_I和可见光图像V的高通滤波图像H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对所述获得到的红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G为大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器，参数μ_g与δ_g任意取值，这里参数μ_g与δ_g均为5，δ_g表示标准差。

上述方案中，所述根据融合规则对所述获得的低频子带系数和不同尺度上的高频子带系数进行融合为：

根据所述显著特性图X_I与X_V获得红外图像I与可见光图像V融合的权重图Q_I和Q_V:

如果在像素位置m处在像素m处权重图Q_I取1，否则权重图Q_I取0；

如果在像素位置m处在像素m处权重图Q_V取1，否则权重图Q_V取0；

其中，与分别为红外图像I与可见光图像V在像素位置m处的显著性特征值；

对所述获得红外图像I与可见光图像V融合的权重图Q_I与Q_V分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数l_I和l_V融合权重图W_I和W_V：

$W_I=Q_I*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

$W_V=Q_V*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

其中，σ_u(σ_u取10)与σ_ν(σ_ν取10)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9。

上述方案中，所述对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像为：

对所述获得的红外图像I和可见光图像V的低频子带系数l_I和l_V进行加权融合，获得融合低频子带系数C_l：

C_l(i,j)＝W_I(i,j)l_I(i,j)+W_V(i,j)l_V(i,j)

其中，(i,j)为像素的空间位置；

根据所述获得的红外图像I和可见光图像V的融合权重图，对权重图Q_I和Q_V分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和(ρ＝1,2,3,4)的融合权重图和

$W_I^{\mathrm{\ρ}}=Q_I*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

$W_V^{\mathrm{\ρ}}=Q_V*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

其中，σ_u(σ_u取10000)与σ_ν(σ_ν取10000)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9；

对所述获得的红外图像I和可见光图像V的高频子带系数和进行加权融合，得到不同尺度高频子带融合系数

$C_h^{\mathrm{\ρ}}(i,j)=W_I^{\mathrm{\ρ}}(i,j)h_I^{\mathrm{\ρ}}(i,j)+W_V^{\mathrm{\ρ}}(i,j)h_V^{\mathrm{\ρ}}(i,j)$

其中，(i,j)为像素的空间位置；

对所述获得的红外图像I和可见光图像V融合后的低频子带系数C_l和高频子带系数进行谱图小波逆变换，获得融合后的图像F。

本发明实施例还提供一种基于谱图小波变换的红外与可见光图像融合装置，该装置包括：分解单元、融合单元、谱图小波逆变换单元，其中:

所述分解单元，用于按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，将获得的低频子带系数和高频子带系数发送到所述融合单元；

所述融合单元，用于根据融合规则对所述接收到的低频子带系数和不同分解尺度上的高频子带系数进行融合，将融合后的低频子带系数和高频子带系数发送给到所述谱图小波逆变换单元。

所述谱图小波逆变换单元，用于对所述接收到的融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

上述方案中，所述分解单元，具体用于对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数l_I、红外图像I的高频子带系数可见光图像V的低频子带系数l_V、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4。

上述方案中，该装置还包括拉普拉斯滤波单元，用于对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像H_I和可见光图像V的高通滤波图像H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对所述获得到的红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G为大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器，参数μ_g与δ_g任意取值，这里参数μ_g与δ_g均为5，δ_g表示标准差。

上述方案中，所述融合单元，用于根据所述显著特性图X_I与X_V获得红外图像与可见光图像融合的权重图Q_I和Q_V:

如果在像素位置m处在像素m处权重图Q_I取1，否则权重图Q_I取0；

如果在像素位置m处在像素m处权重图Q_V取1，否则权重图Q_V取0；

其中，与分别为红外图像与可见光图像在像素位置m处的显著性特征值；

对所述获得红外图像I和可见光图像V融合的权重图Q_I与Q_V分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数l_I和l_V融合权重图W_I和W_V：

$W_I=Q_I*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

$W_V=Q_V*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

其中，σ_u(σ_u取10)与σ_ν(σ_ν取10)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9。

上述方案中，所述谱图小波逆变换单元，用于对所述获得的红外图像I和可见光图像V的低频子带系数l_I和l_V进行加权融合，获得融合低频子带系数C_l：

C_l(i,j)＝W_I(i,j)l_I(i,j)+W_V(i,j)l_V(i,j)

其中，(i,j)为像素的空间位置；

根据所述获得的红外图像I和可见光图像V的融合权重图，对权重图Q_I和Q_V分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和(ρ＝1,2,3,4)的融合权重图和

$W_I^{\mathrm{\ρ}}=Q_I*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

$W_V^{\mathrm{\ρ}}=Q_V*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

其中，σ_u(σ_u取10000)与σ_ν(σ_ν取10000)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9；

对所述获得的红外图像I和可见光图像V的高频子带系数和进行加权融合，得到不同尺度高频子带融合系数

$C_h^{\mathrm{\ρ}}(i,j)=W_I^{\mathrm{\ρ}}(i,j)h_I^{\mathrm{\ρ}}(i,j)+W_V^{\mathrm{\ρ}}(i,j)h_V^{\mathrm{\ρ}}(i,j)$

其中，(i,j)为像素的空间位置；

对所述获得的红外图像I和可见光图像V融合后的低频子带系数C_l和高频子带系数进行谱图小波逆变换，获得融合后的图像F。

本发明具有以下优点：

1、本发明采用了谱图小波变换对源图像进行稀疏表示，与传统的多尺度几何分析方法相比，本方法结合小波变换和谱图理论的优势可以更好地表示不规则区域图像；

2、本发明采用双边滤波获得图像融合的权重，由于其充分考虑了图像的空间一致性，从而获得更优的融合权重，以便有效地提升融合图像的清晰度、对比度及信息量等，得到融合效果更好的图像。

仿真实验证明，本发明对红外与可见光图像融合问题，融合图像较清晰，视觉效果较好，客观评价指标较优，是一种有效可行的图像融合方法。

附图说明

图1是本发明实施例提供的基于谱图小波变换的红外与可见光图像融合方法的流程示意图；

图2是本发明实施例提供的基于谱图小波变换的红外与可见光图像融合装置的结构示意图；

图3本发明使用的第一组Flower源红外图像；

图4本发明使用的第一组Flower源可见光图像；

图5本发明使用的第二组UN camp源红外图像；

图6本发明使用的第二组UN camp源可见光图像；

图7是采用现有技术中第一种方法融合红外与可见光Flower图像的结果图；

图8是采用现有技术中第二种方法融合红外与可见光Flower图像的结果图；

图9是采用现有技术中第三种方法融合红外与可见光Flower图像的结果图；

图10是采用现有技术中第四种方法融合红外与可见光Flower图像的结果图；

图11是采用本发明融合红外与可见光Flower图像的结果图；

图12是采用现有技术中第一种方法融合红外与可见光UN camp图像的结果图；

图13是采用现有技术中第二种方法融合红外与可见光UN camp图像的结果图；

图14是采用现有技术中第三种方法融合红外与可见光UN camp图像的结果图；

图15是采用现有技术中第四种方法融合红外与可见光UN camp图像的结果图；

图16是采用本发明融合红外与可见光UN camp图像的结果图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明提供一种基于谱图小波变换的红外与可见光图像融合方法，按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

本发明实施例提供一种基于谱图小波变换的红外与可见光图像融合方法，如图1所示，由以下步骤实现：

步骤101：按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数。

具体的，对输入的红外图像I和可见光图像V进行谱图小波分解，得到两幅图像的低频子带系数l_I和l_V及不同尺度上的高频子带系数和ρ表示不同的分解尺度，ρ＝1,2,3,4。

谱图小波变换与其它多尺度分析处理图像相类似，也是将图像分解为低频子带系数和高频子带系数。将多尺度分析方法应用于图像融合时，选择不同的多尺度分析方法对融合结果的影响是相当大的，同时，对低频子带系数和高频子带系数的融合规则的选择也对融合效果起着至关重要的作用。由于低频子带系数是源图像在不同尺度下的逼近信号，高频子带系数是源图像在不同尺度上的细节信息；因此，对低频子带系数和高频子带系数应该选择较优的融合规则，这样便能够获得更好的融合图像。

步骤102：根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合。

具体的，对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对所述获得到的红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G为大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器，参数μ_g与δ_g任意取值，这里参数μ_g与δ_g均为5，δ_g表示标准差。

对红外图像I和可见光图像V经谱图小波分解后的低频子带系数l_I和l_V进行融合：

因为，图像的主要信息都集中于其低频子带中，而且，图像的低频子带系数反映的是图像的能量分布。鉴于红外成像传感器和可见光成像传感器的成像原理的不同从而使得同一物体在两种图像中的灰度分布特性通常有很大的差异。对经多尺度分析分解的图像低频系数采用传统的加权平均融合规则等，会降低融合图像的质量。因此，本发明对红外与可见光图像的低频系数选择双边滤波融合规则，以提高图像融合质量。

低频子带系数融合过程如下：

对红外图像I和可见光图像V进行拉普拉斯滤波，得到高通滤波图像H_I和H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对经拉普拉斯滤波处理的高通滤波图像H_I和H_V的系数的绝对值采用高斯滤波处理，构造图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G是大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器；参数μ_g与δ_g均为5；

由显著特性图确定图像融合的权重图:

其中，与分别为源红外图像与可见光图像在像素位置m处的显著性特征值；

对所述获得红外图像I与可见光图像V融合的权重图Q_I与Q_V分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数l_I和l_V融合权重图W_I和W_V：

$W_I=Q_I*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

$W_V=Q_V*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

其中，σ_u(σ_u取10)与σ_ν(σ_ν取10)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9。

对所述获得的红外图像I和可见光图像V的低频子带系数l_I和l_V进行加权融合，获得融合低频子带系数C_l：

C_l(i,j)＝W_I(i,j)l_I(i,j)+W_V(i,j)l_V(i,j)

其中，(i,j)为像素的空间位置；

对红外图像I和可见光图像V的不同尺度高频子带系数和进行融合，ρ＝1,2,3,4，具体融合步骤如下：

对权重图Q_I与Q_V分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和(ρ＝1,2,3,4)的融合权重图和：

$W_I^{\mathrm{\ρ}}=Q_I*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

$W_V^{\mathrm{\ρ}}=Q_V*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

其中，σ_u(σ_u取10000)与σ_ν(σ_ν取10000)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9；

对经谱图小波分解后的红外图像I和可见光图像V的高频子带系数和(ρ＝1,2,3,4)进行加权融合，得到不同尺度高频子带融合系数

$C_h^{\mathrm{\ρ}}(i,j)=W_I^{\mathrm{\ρ}}(i,j)h_I^{\mathrm{\ρ}}(i,j)+W_V^{\mathrm{\ρ}}(i,j)h_V^{\mathrm{\ρ}}(i,j)$

其中，(i,j)为像素的空间位置；

步骤103：对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

具体的，对红外图像I和可见光图像V融合后的低频子带系数C_l和高频子带系数(ρ＝1,2,3,4)进行谱图小波逆变换就得到了融合后的图像F。

本发明实施例还提供一种基于谱图小波变换的红外与可见光图像融合装置，如图2所示，该装置包括：分解单元1、融合单元2、谱图小波逆变换单元3，其中:

所述分解单元1，用于按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，将获得的低频子带系数和高频子带系数发送到所述融合单元；

所述融合单元2，用于根据融合规则对所述接收到的低频子带系数和不同分解尺度上的高频子带系数进行融合，将融合后的低频子带系数和高频子带系数发送给到所述谱图小波逆变换单元。

所述谱图小波逆变换单元3，用于对所述接收到的融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

所述分解单元1，具体用于对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数l_I、红外图像I的高频子带系数可见光图像V的低频子带系数l_V、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4。

该装置还包括拉普拉斯滤波单元，用于对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对所述获得到的红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G为大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器，参数μ_g与δ_g任意取值，这里参数μ_g与δ_g均为5，δ_g表示标准差。

所述融合单元2，具体用于根据所述显著特性图X_I与X_V获得红外图像与可见光图像融合的权重图Q_I和Q_V:

如果在像素位置m处在像素m处权重图Q_I取1，否则权重图Q_I取0；

如果在像素位置m处在像素m处权重图Q_V取1，否则权重图Q_V取0；

其中，与分别为红外图像与可见光图像在像素位置m处的显著性特征值；

对所述获得红外图像I和可见光图像V融合的权重图Q_I与Q_V分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数l_I和l_V融合权重图W_I和W_V：

$W_I=Q_I*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

$W_V=Q_V*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

其中，σ_u(σ_u取10)与σ_ν(σ_ν取10)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9。

所述谱图小波逆变换单元3，具体用于对所述获得的红外图像I和可见光图像V的低频子带系数l_I和l_V进行加权融合，获得融合低频子带系数C_l：

C_l(i,j)＝W_I(i,j)l_I(i,j)+W_V(i,j)l_V(i,j)

其中，(i,j)为像素的空间位置；

根据所述获得的红外图像I和可见光图像V的融合权重图，对权重图Q_I和Q_V分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和(ρ＝1,2,3,4)的融合权重图和

$W_I^{\mathrm{\ρ}}=Q_I*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

$W_V^{\mathrm{\ρ}}=Q_V*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

其中，σ_u(σ_u取10000)与σ_ν(σ_ν取10000)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9；

对所述获得的红外图像I和可见光图像V的高频子带系数和进行加权融合，得到不同尺度高频子带融合系数

$C_h^{\mathrm{\ρ}}(i,j)=W_I^{\mathrm{\ρ}}(i,j)h_I^{\mathrm{\ρ}}(i,j)+W_V^{\mathrm{\ρ}}(i,j)h_V^{\mathrm{\ρ}}(i,j)$

其中，(i,j)为像素的空间位置；

对所述获得的红外图像I和可见光图像V融合后的低频子带系数C_l和高频子带系数进行谱图小波逆变换，获得融合后的图像F。

本发明的效果可以通过仿真实验具体说明：

1.实验条件

实验中采用的图像数据是两组已配准的红外与可见光图像，大小分别为262×188和320×240，图像来源于http：//www.imagefusion.org/，第一组为Flower图像，如图3和图4，其中图3为红外图像，图4为可见光图像，第二组为UNcamp图像，如图5和图6，其中图5为红外图像，图6为可见光图像。

2.实验内容

实验1，用本发明的方法和现有的四种融合方法对Flower图像进行融合实验，融合结果如图7～11，其中图7为文章《Image sequencefusion using a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291.图8为文章《Feature level fusion of multimodal medical images in liftingwavelet transform domain》，Engineering in Medicine and BiologySociety,2004.IEMBS'04.26th Annual International Conference of theIEEE.IEEE,2004,1:1479-1482.图9为文章《Image fusion based onnonsubsampled contourlet transform for infrared and visible light image》，Infrared Physics&Technology,2013,61:94-100.图10为文章《Technique for gray-scale visual light and infrared image fusion basedon non-subsampled shearlet transform》，Infrared Physics&Technology,2014,63:110-118.图11为本发明的图像融合结果图。

从图7～11可见，本发明的融合方法和现有的四种融合方法相比，视觉效果更高、目标和场景都更清晰，文章《Image sequence fusionusing a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291、文章《Feature level fusion of multimodal medical images in lifting wavelettransform domain》，Engineering in Medicine and Biology Society,2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482、文章《Image fusion based on nonsubsampledcontourlet transform for infrared and visible light image》，InfraredPhysics&Technology,2013,61:94-100与文章《Technique forgray-scale visual light and infrared image fusion based onnon-subsampled shearlet transform》，Infrared Physics&Technology,2014,63:110-118.的融合方法的融合结果和本发明方法相比对比度较低，目标相对较暗，视觉效果较差。

实验2，用本发明的方法和现有的四种融合方法对UN camp图像进行融合实验，融合结果如图8～12，其中图8为文章《Image sequencefusion using a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.International Conference on.IEEE,1997,3:288-291.图9为文章《Feature level fusion of multimodal medical images in liftingwavelet transform domain》，Engineering in Medicine and BiologySociety,2004.IEMBS'04.26th Annual International Conference of theIEEE.IEEE,2004,1:1479-1482.图10为文章《Image fusion based onnonsubsampled contourlet transform for infrared and visible light image》，Infrared Physics&Technology,2013,61:94-100.图11为文章《Technique for gray-scale visual light and infrared image fusion basedon non-subsampled shearlet transform》，Infrared Physics&Technology,2014,63:110-118.图12为本发明的图像融合结果图。

从图8～12可见，本发明的融合方法和现有的四种融合方法相比，视觉效果更高、目标和场景都更清晰，文章《Image sequence fusionusing a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291、文章《Feature level fusion of multimodal medical images in lifting wavelettransform domain》，Engineering in Medicine and Biology Society,2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482、文章《Image fusion based on nonsubsampledcontourlet transform for infrared and visible light image》，InfraredPhysics&Technology,2013,61:94-100与文章《Technique forgray-scale visual light and infrared image fusion based onnon-subsampled shearlet transform》，Infrared Physics&Technology,2014,63:110-118的融合方法的融合结果和本发明方法相比对比度较低，目标(人)不清晰，目标与背景不易被区分，视觉效果较差。

将本发明的融合方法与文章《Image sequence fusion using ashift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291.的融合方法、文章《Feature level fusion of multimodal medical images in lifting wavelettransform domain》，Engineering in Medicine and Biology Society,2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482.的融合方法、、文章《Image fusion based onnonsubsampled contourlet transform for infrared and visible light image》，Infrared Physics&Technology,2013,61:94-100.的融合方法以及文章《Technique for gray-scale visual light and infrared image fusion basedon non-subsampled shearlet transform》，Infrared Physics&Technology,2014,63:110-118.的融合方法在七种图像质量评价指标上进行比较，来客观评价本发明的效果。五种融合方法在第一组Flower红外图像与可见光图像上的融合客观评价指标如表1：

表1 第一组红外图像与可见光图像融合客观评价指标

表2 第二组红外图像与可见光图像融合客观评价指标

表1与表2中：

SWT表示文章RockingerO,“Image sequence fusion using ashift-invariant wavelet transform,”Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291.的融合方法。

LWT表示文章Kor S,TiwaryU,“Feature level fusion of multimodalmedical images in lifting wavelet transform domain,”Engineering inMedicine and Biology Society,2004.IEMBS'04.26th AnnualInternational Conference of the IEEE.IEEE,2004,1:1479-1482.的融合方法。

NSCT表示文章AduJ,GanJ,WangY,etal.Image fusion based onnonsubsampled contourlet transform for infrared and visible lightimage[J].Infrared Physics&Technology,2013,61:94-100.的融合方法。

NSST表示文章KongW.Technique for gray-scale visual light andinfrared image fusion based on non-subsampled shearlet transform[J].Infrared Physics&Technology,2014,63:110-118.的融合方法。

SD表示标准差，SP表示图像清晰度，AG表示平均梯度，Entropy表示信息熵，FS表示融合对称性，SF表示空间频率，Q^AB/F表示边缘保持度。

由表1可见，本发明的方法在多项指标上明显优于上述的四篇文章的方法，另外一项指标也比较接近。

由表2可见，本发明的方法在多项指标上明显优于上述四篇文章的方法，另外两项项指标也差异较小。

上述实验证明，本发明提出的红外与可见光图像融合方法对红外与可见光图像融合问题能取得较好的视觉效果。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (10)

1.一种基于谱图小波变换的红外与可见光图像融合方法，其特征在于：该方法为：按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合，对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

2.根据权利要求1所述的基于谱图小波变换的红外与可见光图像融合方法，其特征在于：所述对红外图像与可见光图像进行4层谱图小波进行分解获得低频子带系数和高频子带系数为：对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数l_I、红外图像I的高频子带系数可见光图像V的低频子带系数l_V、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4。

3.根据权利要求1或2所述的基于谱图小波变换的红外与可见光图像融合方法，其特征在于：所述根据融合规则对所述获得的低频子带系数和不同分解尺度上的高频子带系数进行融合之前，该方法还包括：

对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像H_I和可见光图像V的高通滤波图像H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对所述获得到的红外图像I的高通滤波图像H_I和可见光图像V的高通滤波图像H_V的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G为大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器，参数μ_g与δ_g任意取值，这里参数μ_g与δ_g均为5，δ_g表示标准差。

4.根据权利要求3所述的基于谱图小波变换的红外与可见光图像融合方法，其特征在于：所述根据融合规则对所述获得的低频子带系数和不同尺度上的高频子带系数进行融合为：

根据所述显著特性图X_I与X_V获得红外图像I与可见光图像V融合的权重图Q_I和Q_V:

如果在像素位置m处在像素m处权重图Q_I取1，否则权重图Q_I取0；

如果在像素位置m处在像素m处权重图Q_V取1，否则权重图Q_V取0；

其中，与分别为红外图像I与可见光图像V在像素位置m处的显著性特征值；

对所述获得红外图像I与可见光图像V融合的权重图Q_I与Q_V分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数l_I和l_V融合权重图W_I和W_V：

$W_I=Q_I*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

$W_V=Q_V*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

其中，σ_u(σ_u取10)与σ_ν(σ_ν取10)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9。

5.根据权利要求4所述的基于谱图小波变换的红外与可见光图像融合方法，其特征在于：所述对所述融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像为：

对所述获得的红外图像I和可见光图像V的低频子带系数l_I和l_V进行加权融合，获得融合低频子带系数C_l：

C_l(i,j)＝W_I(i,j)l_I(i,j)+W_V(i,j)l_V(i,j)

其中，(i,j)为像素的空间位置；

根据所述获得的红外图像I和可见光图像V的融合权重图，对权重图Q_I和Q_V分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和(ρ＝1,2,3,4)的融合权重图和

$W_I^{\mathrm{\ρ}}=Q_I*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

$W_V^{\mathrm{\ρ}}=Q_V*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

其中，σ_u(σ_u取10000)与σ_ν(σ_ν取10000)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9；

对所述获得的红外图像I和可见光图像V的高频子带系数和进行加权融合，得到不同尺度高频子带融合系数

$C_h^{\mathrm{\ρ}}(i,j)=W_I^{\mathrm{\ρ}}(i,j)h_I^{\mathrm{\ρ}}(i,j)+W_V^{\mathrm{\ρ}}(i,j)h_V^{\mathrm{\ρ}}(i,j)$

其中，(i,j)为像素的空间位置；

对所述获得的红外图像I和可见光图像V融合后的低频子带系数C_l和高频子带系数进行谱图小波逆变换，获得融合后的图像F。

6.一种基于谱图小波变换的红外与可见光图像融合装置，其特征在于：该装置包括：分解单元、融合单元、谱图小波逆变换单元，其中:

所述分解单元，用于按照四层分解尺度对红外图像与可见光图像进行谱图小波分解获得低频子带系数和高频子带系数，将获得的低频子带系数和高频子带系数发送到所述融合单元；

所述融合单元，用于根据融合规则对所述接收到的低频子带系数和不同分解尺度上的高频子带系数进行融合，将融合后的低频子带系数和高频子带系数发送给到所述谱图小波逆变换单元。

所述谱图小波逆变换单元，用于对所述接收到的融合后的低频子带系数和高频子带系数进行谱图小波逆变换获取融合的图像。

7.根据权利要求6所述的基于谱图小波变换的红外与可见光图像融合装置，其特征在于：所述分解单元，具体用于对输入的红外图像I和可见光图像V进行谱图小波分解，分别获得红外图像I的低频子带系数l_I、红外图像I的高频子带系数可见光图像V的低频子带系数l_V、可见光图像V的高频子带系数其中，ρ表示不同的分解尺度，ρ＝1,2,3,4。

8.根据权利要求6或7所述的基于谱图小波变换的红外与可见光图像融合装置，其特征在于：该装置还包括拉普拉斯滤波单元，用于对红外图像I和可见光图像V进行拉普拉斯滤波，分别获得红外图像I的高通滤波图像H_I和可见光图像V的高通滤波图像H_V：

H_I＝I*L

H_V＝V*L

其中，L是一个11×11的拉普拉斯滤波器；

对所述获得到的红外图像I的高通滤波图像H_I和可见光图像V高通滤波图像H_V的系数的绝对值采用高斯滤波处理，构造所述高通滤波图像H_I和H_V的显著特性图X_I与X_V：

$X_I=\left|H_I\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

$X_V=\left|H_V\right|*G_{{\mathrm{\μ}}_g,{\mathrm{\δ}}_g}$

其中，G为大小为(2μ_g+1)(2δ_g+1)的高斯低通滤波器，参数μ_g与δ_g任意取值，这里参数μ_g与δ_g均为5，δ_g表示标准差。

9.根据权利要求8所述的基于谱图小波变换的红外与可见光图像融合装置，其特征在于：所述融合单元，用于根据所述显著特性图X_I与X_V获得红外图像与可见光图像融合的权重图Q_I和Q_V:

如果在像素位置m处在像素m处权重图Q_I取1，否则权重图Q_I取0；

如果在像素位置m处在像素m处权重图Q_V取1，否则权重图Q_V取0；

其中，与分别为红外图像与可见光图像在像素位置m处的显著性特征值；

对所述获得红外图像I和可见光图像V融合的权重图Q_I与Q_V分别进行双边滤波获得红外图像I和可见光图像V的低频子带系数l_I和l_V融合权重图W_I和W_V：

$W_I=Q_I*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

$W_V=Q_V*F_{{\mathrm{\σ}}_u,{\mathrm{\σ}}_v}$

其中，σ_u(σ_u取10)与σ_ν(σ_ν取10)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9。

10.根据权利要求9所述的基于谱图小波变换的红外与可见光图像融合装置，其特征在于：所述谱图小波逆变换单元，用于对所述获得的红外图像I和可见光图像V的低频子带系数l_I和l_V进行加权融合，获得融合低频子带系数C_l：

C_l(i,j)＝W_I(i,j)l_I(i,j)+W_V(i,j)l_V(i,j)

其中，(i,j)为像素的空间位置；

根据所述获得的红外图像I和可见光图像V的融合权重图，对权重图Q_I和Q_V分别进行双边滤波，获得红外图像I和可见光图像V在不同尺度上高频子带系数和(ρ＝1,2,3,4)的融合权重图和

$W_I^{\mathrm{\ρ}}=Q_I*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

$W_V^{\mathrm{\ρ}}=Q_V*F_{{\mathrm{\σ}}_{u,{\mathrm{\σ}}_v}}^{\mathrm{\ρ}}$

其中，σ_u(σ_u取10000)与σ_ν(σ_ν取10000)分别是双边滤波中控制空间距离和灰度距离的参数；双边滤波选择的滤波窗口大小为9×9；

对所述获得的红外图像I和可见光图像V的高频子带系数和进行加权融合，得到不同尺度高频子带融合系数

$C_h^{\mathrm{\ρ}}(i,j)=W_I^{\mathrm{\ρ}}(i,j)h_I^{\mathrm{\ρ}}(i,j)+W_V^{\mathrm{\ρ}}(i,j)h_V^{\mathrm{\ρ}}(i,j)$

其中，(i,j)为像素的空间位置；

对所述获得的红外图像I和可见光图像V融合后的低频子带系数C_l和高频子带系数进行谱图小波逆变换，获得融合后的图像F。