CN115147691A - 一种基于多方向梯度滤波的多模态遥感图像融合方法 - Google Patents

Abstract

本发明公开了一种基于多方向梯度滤波的多模态图像融合方法，包括：获取不同模态的源图像并进行拉普拉斯分解，得到拉普拉斯金字塔序列，该序列均包括一个低频层和多个高频层；将低频层代入滤波优化问题中求解，以求解结果为显著层对应计算残差层；其中问题优化目标至少包括滤波前后图像的亮度分布相似性以及滤波后的八方向总梯度；基于目标源图像的显著层计算显著层融合因子，并计算残差层融合因子；基于两种因子进行显著层融合以及残差层融合，并利用两种融合结果得到低频层融合结果；进行高频层融合，并基于高频层融合结果以及低频层融合结果采用拉普拉斯逆变换法进行图像重构，得到多模融合图像。本发明可提高多模态图像融合质量。

Description

一种基于多方向梯度滤波的多模态遥感图像融合方法

技术领域

本发明属于图像处理领域，具体涉及一种基于多方向梯度滤波的多模态图像融合方法。

背景技术

近年来，多传感器技术和计算机视觉技术发展如火如荼，在此背景下，多传感器图像融合技术得到广泛应用。例如，在遥感领域，大量遥感图像的融合将具有互补性的源图像进行合并，获得清晰度高、信息量大且纹理细节丰富的融合图像，实现对探测场景的精准描述，为更方便更全面地认识环境和自然资源提供了技术途径。在医学领域，多模态图像融合技术极大地提高了计算机辅助诊疗的能力，在很大程度上节约了医学检查时间。在各个领域的需求牵引下，各国学者对多传感器图像融合技术的研究也越来越重视。

多模态图像融合是指将不同模态的传感器所获得的同一地理坐标下的景物图像或同一传感器在不同时刻所获得的同一地理坐标下的景物图像经过滤波去噪、时间配准、空间对齐以及重采样之后，通过图像融合技术进行融合；融合后的图像突破了单源图像在空间分辨率、物理属性、信息量以及清晰度等方面的局限性，具有较高的图像质量，从而有利于对物理现象和事件进行定位、识别和精确解译。

根据信息表征层次的不同、多模态图像融合可分为三个等级，分别为像素级、特征级以及决策级。与特征级和决策级图像融合相比，像素级图像融合更具有普适性，其处理对象为图像像素，利用某种图像融合策略提取源图像中的有用信息剔除冗余信息，更大程度上保留源图像的特征和背景信息，所获得的融合结果表现出高度的全面性、精准性以及可靠性。

现有的像素级多模态图像融合方法存在多种。例如，有NSST(NonsubsampledShearlet Transform，非下采样剪切波变换)方法以及LatLRR(latent low-rankrepresentation，潜在低秩表示)方法等。这类现有方法的大致过程包括：通过对多模态图像进行图层分解，获取图像不同性质的表征信息，通过构建相应的融合策略进行图层融合，最后经过逆重构操作得到相应的多模融合图像。

然而，利用现有方法所得到的多模融合图像存在对比度低、边缘模糊等问题，图像质量有待进一步提高。

发明内容

为了解决现有技术中所存在的上述问题，本发明提供了一种基于多方向梯度滤波的多模态遥感图像融合方法。

本发明要解决的技术问题通过以下技术方案实现：

一种基于多方向梯度滤波的多模态图像融合方法，包括：

获取待进行融合的多张不同模态的源图像，并对每张所述源图像均进行拉普拉斯分解，得到多个拉普拉斯金字塔序列；其中，每个所述拉普拉斯金字塔序列均包括一个低频层和多个高频层；

将每个所述低频层均代入至一滤波优化问题中进行迭代求解，得到该低频层对应的滤波结果，并以该滤波结果为该低频层对应的显著层，计算该低频层对应的残差层；其中，所述滤波优化问题是以滤波效果为优化目标的优化问题，所述优化目标至少包括滤波前后图像的亮度分布相似性以及滤波后的八方向总梯度；

基于目标源图像的显著层计算显著层融合因子，并基于各残差层计算残差层融合因子；其中，所述目标源图像为所述多张不同模态的源图像中的红外图像或SAR图像；

基于所述显著层融合因子和所述残差层融合因子对不同模态的源图像分别进行显著层融合以及残差层融合，并利用显著层融合结果和残差层融合结果得到低频层融合结果；

对不同模态的源图像进行高频层融合，并基于高频层融合结果以及所述低频层融合结果采用拉普拉斯逆变换法进行图像重构，得到多模融合图像。

可选地，所述滤波优化问题为：

其中，用O表示迭代过程中的滤波图像，O_c表示所述滤波图像的任一像素点c的像素值，该像素点c的坐标为(x,y)，I_c表示低频层I中坐标同为(x,y)的像素点的像素值；||·||₂表示L₂范数；

分别表示左、右、上、下、右上、右下、左上、左下共八个方向的梯度算子；P_c,l、P_c,r、P_c,u、P_c,d、P_c,ru、P_c,rd、P_c,lu、P_c,ld分别为

对应的惩罚系数；每个所述惩罚系数均是根据对应的梯度算子进行计算得到的；O^*为迭代求解得到的最优解，即所述滤波结果。

可选地，所述惩罚系数的计算方式如下：

其中，direct表示方向，分别为左、右、上、下、右上、右下、左上、左下；α为预设的梯度阈值，β为预设的斜率控制因子，P_max为预设的最大惩罚系数。

可选地，基于目标源图像的显著层计算显著层融合因子的方式，包括：

m＝mean2(A₁)，

λ＝10*m,

s＝std2(A₁)，

R＝|A₁|，

其中，粗体的A₁表示目标源图像的显著层，未加粗的A₁表示该显著层的任一像素点，R为A₁的模值，R_max为该显著层的所有像素点中的最大模值；mean2(·)表示求平均值，std2(·)表示求标准差；w为对应于所述目标源图像的一显著层融合因子，对应于非目标源图像的显著层融合因子根据w确定。

可选地，所述基于各残差层计算残差层融合因子，包括：

采用Sobel算子计算每个残差层的Sobel梯度图；

利用高斯滤波器对每个所述Sobel梯度图进行扩散，得到对应的扩散梯度图；

基于各扩散梯度图分别计算各残差层对应的残差层融合因子。

可选地，所述基于各扩散梯度图分别计算各残差层对应的残差层融合因子，包括：

其中，

表示第k∈[1，K]个残差层对应的扩散梯度图，S_R表示各扩散梯度图的总和，K为所述多张不同模态的源图像的总张数，K≥2。

可选地，所述高斯滤波器的高斯滤波模板以及标准差的值均取5。

可选地，所述对不同模态的源图像进行高频层融合，包括：

利用绝对值取大策略对不同模态的源图像进行高频层融合。

可选地，所述多张不同模态的源图像具有不可忽略的视差；

在对每张所述源图像均进行拉普拉斯分解之前，所述多模态图像融合方法还包括：对所获取的多张不同模态的源图像进行配准对齐。

可选地，所述多张不同模态的源图像中包含有可见光图像；

所述多模态图像融合方法还包括：

在对所获取的多张不同模态的源图像进行配准对齐之前，对所述可见光图像进行IHS变换，并提取变换结果中的I分量形成新的图像，来替换所述可见光图像作为源图像；

以及，在得到所述多模融合图像之后，对所述多模融合图像进行IHS逆变换。

本发明提供的基于多方向梯度滤波的多模态遥感图像融合方法中，利用拉普拉斯金字塔的多尺度性以及多方向梯度滤波的多方向性提取了源图像中不同尺度的基础信息和不同方向的纹理信息，由此可剔除源图像中的噪声边缘和细小的纹理信息，更好地保留了图像的整体亮度和边缘信息，从而使多模融合图像具有较高的对比度、且边缘清晰，提高了多模融合图像的图像质量。

本发明中，基于目标源图像的显著层来动态地计算显著层融合因子，即采用了一种自适应模糊耦合机制实现显著层融合；并且，本发明中在基于各残差层计算残差层融合因子的过程中，采用了一种梯度显著性映射策略来实现残差层的融合，具体是利用高斯滤波器对残差层的Sobel梯度图进行扩散，并基于各扩散梯度图分别计算各残差层对应的残差层融合因子。由此，在利用显著层融合结果和残差层融合结果得到低频层融合结果后，可以使低频层融合结果能够尽可能保留红外图像或SAR图像中的显著信息以及可见光图像中的纹理细节信息，进一步地提高了多模融合图像的质量。

此外，本发明中还利用了绝对值取大策略对不同模态的源图像进行高频层融合，使得融合后的高频层能最大程度地保留源图像的边缘信息，由此可更进一步提高多模融合图像的质量。

以下将结合附图及对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于多方向梯度滤波的多模态图像融合方法的流程图；

图2是拉普拉斯金字塔分解的过程示意图；

图3是根据图1所示方法对包含有可见光图像的2张多模图像进行融合时的流程示意图；

图4(a)示出了一组待进行融合的可见光图像和SAR图像；

图4(b)中分别示出了利用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法对图4(a)中两张图像进行融合得到的多模融合图像；

图5(a)示出了另一组待进行融合的可见光图像和SAR图像；

图5(b)中分别示出了利用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法对图5(a)中两张图像进行融合得到的多模融合图像；

图6(a)为一组待进行融合的可见光图像和红外图像；

图6(b)中分别示出了利用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法对图6(a)中两张图像进行融合得到的多模融合图像；

图7(a)为一组待进行融合的可见光图像和红外图像；

图7(b)中分别示出了利用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法对图7(a)中两张图像进行融合得到的多模融合图像。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

多模态图像融合技术也称异源图像融合处理技术，其可对同一地物目标所对应的多传感器图像信息进行多方面、深层次的组合筛选，在整合优化互补信息的同时剔除掉冗余信息。

异源图像的成像机理以及图像表征形式差别明显，能分别获取到目标在不同电磁波谱段的信息，具有明显的互补性和融合价值。但是不容忽视的是，异源图像间的灰度差异以及因不可忽略的视差导致的几何扭曲使得一般的图像融合结果出现光谱失真以及对比度低等现象，图像质量较差。

因此，针对以上问题，为了提高多模态图像融合质量，本发明实施例提供了一种基于多方向梯度滤波的多模态图像融合方法，来实现异源图像的高质量融合，从而获取信息度丰富的融合结果。本发明实施例提供的多模态图像融合方法是一种像素级的多模态图像融合方法。

参见图1所示，本发明实施例提供的该多模态图像融合方法包括以下步骤：

S1：获取待进行融合的多张不同模态的源图像，并对每张源图像均进行拉普拉斯分解，得到多个拉普拉斯金字塔序列；其中，每个拉普拉斯金字塔序列均包括一个低频层和多个高频层。

这里，待进行融合的多张不同模态的源图像可以包括可见光图像、红外图像以及SAR(合成孔径雷达)图像中的任意两种或全部的三种。其中，当源图像包括可见光图像时，可以对可见光图像进行IHS(也称作HSI)变换，并提取变换结果中的I分量形成新的图像，来替换可见光图像作为源图像。IHS是一种数字图像模型，它以色调(Hue，简写为H)、饱和度(Saturation，简写为S)和亮度(Intensity，简写为I)三种基本特征分量来感知颜色。

其中，IHS变换的过程如下：

其中，R、G、B分别是可见光图像的R分量、G分量以及B分量；V₁和V₂是中间变量；H、S、I分别是HIS变换结果中的H分量、S分量、I分量。

金字塔分解是多尺度融合领域的一种主要实现手段，也是研究最广泛的图像分解算法。拉普拉斯金字塔是对高斯金字塔的一种改进，也被称之为预测残差金字塔，其优势在于可以对图像进行最大程度的还原且分解速度较快。拉普拉斯金字塔分解的过程可以参见图2所示，图2表示的是在一维空间中由低层到高层的分解过程，实际的分解过程是在二维空间进行的。

具体而言，将原始的源图像作为高斯金字塔的最底层图像，该图像可以看作R行C列的数组I₀，每一个像素值代表该位置的强度。金字塔第一层的图像是底层图像的低通滤波和下采样之后的结果，然后金字塔第二层的图像是在第一层图像基础上进行低通滤波和下采样所得到的，以此类推构造高斯金字塔。分解过程可用公式进行表示如下：

1≤l≤N,0≤j≤R_l,0≤j≤C_l；

其中，I_l(i,j)表示第l层高斯金字塔图像，N表示金字塔总层数。R_l和C_l表示第l层高斯金字塔图像的行数和列数，ω(m,n)为一个二维的窗函数，其定义为：ω(m,n)＝h(m)×h(n)；其中，h(·)为满足以下约束条件的高斯密度分布函数：

h(i)＝h(-i)，

h(0)+h(-2)+h(2)＝h(-1)+h(1)。

根据窗函数的定义，通过计算可得实际分解过程中使用的窗函数ω(m,n)为：

通过以上公式，对每张源图像均进行拉普拉斯分解，可以得到该张源图像的高斯金字塔子图像序列I₀,I₁,…,I_N。

构造完所有的高斯金字塔子图像序列之后，将相邻层之间两两相减即可得到对应的拉普拉斯金字塔序列。在这一过程中，由于相邻层的高斯金字塔子图的尺寸各不相同，不满足矩阵差分运算的要求；因此，在每次做矩阵差分运算之前对上层相邻的高斯金字塔子图进行升采样，使得上层和下层的高斯金字塔子图的尺寸一致，从而满足矩阵差分运算的要求。

具体的，将I_l进行插值膨胀之后变为

此时

的尺寸大小和I_l-1一致，用公式表示如下：

1≤l≤N,0≤j≤R_l,0≤j≤C_l；

其中，

经过插值膨胀之后，可得到一系列的插值序列

然后用该插值序列实现相邻层之间两两相减，即可得到拉普拉斯金字塔序列LP₁,LP₂,…,LP_N。其中，第l层拉普拉斯金字塔图像的定义如下：

其中，经历升采样的次数最多、图像最为模糊的LP_N为低频层，剩余的均为高频图层。

S2：将每个低频层均代入至一滤波优化问题中进行迭代求解，得到该低频层对应的滤波结果，并以该滤波结果为该低频层对应的显著层，计算该低频层对应的残差层；其中，滤波优化问题是以滤波效果为优化目标的优化问题，优化目标至少包括滤波前后图像的亮度分布相似性以及滤波后的八方向总梯度。

在一种实现方式中，上述滤波优化问题可以为：

其中，为了保留源图像的亮度分布，对滤波图像的亮度分布进行了限制，使其像素的亮度分布与源图像尽可能相似，因此定义了误差e₁；并且，为了尽可能去除较小的无用梯度变化，比如噪声边缘的梯度变化，对滤波图像在八个方向的总梯度e₂进行了限制。

该滤波优化问题的表达式中，O表示迭代过程中的滤波图像，O_c表示所述滤波图像的任一像素点c的像素值，该像素点c的坐标为(x,y)，I_c表示低频层I中坐标同为(x,y)的像素点的像素值；||·||₂表示L₂范数；

分别表示左、右、上、下、右上、右下、左上、左下共八个方向的梯度算子；O^*为迭代求解得到的最优解，即迭代求解得到的滤波结果。

可以理解的是，基于该滤波优化问题所得到的滤波结果，既可以在亮度分布方面与源图像保持相似，又可以对细小纹理以及噪声等无用的小梯度值进行去除，保留更多有用的梯度。

在另一种实现方式中，为了在剔除细小纹理或噪声等同时更多地保留大梯度的边缘，可以通过引入梯度阈值来区分边缘、细小纹理和噪声。同时，基于该梯度阈值设计惩罚系数，对于梯度较大的边缘给予较小的惩罚系数，而对于梯度较小的纹理和噪声应当给予较大的惩罚系数；由此，上述滤波优化问题可以进一步优化为：

其中，P_c,l、P_c,r、P_c,u、P_c,d、P_c,ru、P_c,rd、P_c,lu、P_c,ld分别为

对应的惩罚系数；每个惩罚系数均是根据对应的梯度算子进行计算得到的，计算方式如下：

其中，direct表示方向，分别为左、右、上、下、右上、右下、左上、左下；α为预设的梯度阈值，β为预设的斜率控制因子，P_max为预设的最大惩罚系数。

利用滤波优化问题得到低频层对应的滤波结果后，该滤波结果即为低频层对应的显著层。然后，用低频层减去显著层，即得到低频层对应的残差层。

S3：基于目标源图像的显著层计算显著层融合因子，并基于各残差层计算残差层融合因子；其中，目标源图像为多张不同模态的源图像中的红外图像或SAR图像。

具体的，当待进行融合的多张不同模态的源图像包括可见光图像以及红外图像时，目标源图像即为其中的红外图像。当待进行融合的多张不同模态的源图像包括可见光图像以及SAR图像时，目标源图像即为其中的SAR图像。当待进行融合的多张不同模态的源图像包括红外图像以及SAR图像时，可以在这两者之间选取目标源图像，具体选取原则可根据源图像的成像质量来确定，优先选取成像质量更高的一种模态下的图像作为目标源图像。同理，当待进行融合的多张不同模态的源图像包括可见光图像、红外图像以及SAR图像三种图像时，选取目标源图像的原则不变。

其中，基于目标源图像的显著层计算显著层融合因子的方式，可以基于一种自适应模糊耦合函数来计算，其定义如下：

m＝mean2(A₁)，

λ＝10*m,

s＝std2(A₁)，

R＝|A₁|，

其中，粗体的A₁表示目标源图像的显著层，是一个矩阵图像；未加粗的A₁表示该矩阵图像的任一像素点，R为A₁的模值，R_max为该矩阵图像的所有像素点中的最大模值；mean2(·)表示求平均值，std2(·)表示求标准差；P∈[0,1]；w为对应于目标源图像的一显著层融合因子，具体是对应于目标源图像的显著层中像素点A₁的因子；对应于非目标源图像的显著层融合因子根据w确定。具体而言，若非目标源图像仅包括可见光图像，则对应于可见光图像的一显著层融合因子为1-w；若非目标源图像除了包括可见光图像之外，还包括一红外图像或SAR图像，则对应于该红外图像或SAR图像的显著层融合因子为w'，0＜w'＜w，对应于可见光图像的显著层融合因子为1-w-w'。

本发明实施例中，w反映了目标源图像的显著层的明暗特性分布，w越大代表明暗特性越明显。在实际的融合过程中，为避免融合图像的对比度的损失，在构建自适应模糊耦合函数时，应使w尽量大。因此，在其他计算显著层融合因子的方式中，λ也可以取10*m以外的其他值，如8*m或者12*m等，以此来试出更大的w。或者，也可以采用其他方式来对R进行归一化得到P，这都是合理且可实现的；任何基于目标源图像的显著层动态自适应地计算显著层融合因子的方式，均可以应用到本发明实施例中。

残差层主要反应低频图层中的小梯度变化，包括细小纹理和噪声，因此可以根据图像的梯度构造残差层的梯度显著性映射矩阵，从而基于该梯度显著性映射矩阵实现残差层的融合，使得融合后的残差层尽可能保留可见光图像中的纹理信息。

具体的，该步骤S3中基于各残差层计算残差层融合因子的方式存在多种。

示例性的，在一种计算方式中，基于各残差层计算残差层融合因子，可以包括：

(1)采用Sobel算子计算每个残差层的Sobel梯度图；

这里，Sobel梯度图即是所构造的梯度显著性映射矩阵；所采用的Sobel算子用公式表示为：

Sobel(S(x,y))＝|(S_(x+1,y-1)+2S_(x+1,y)+S_(x+1,y+1)-S_(x-1,y-1)+2S_(x-1,y)+S_(x-1,y+1))|+|(S_(x-1,y+1)+2S_(x,y+1)+S_(x+1,y+1)-S_(x-1,y-1)+2S_(x,y-1)+S_(x+1,y-1))|；

其中，Sobel(·)表示Sobel算子，S(x,y)表示残差层中坐标为(x,y)的像素点，S_(x,y-1)、S_(x,y+1)、S_(x-1,y)、S_(x+1,y)、S_(x-1,y-1)、S_(x+1,y-1)、S_(x-1,y+1)、S_(x+1,y+1)分别为该像素点的上、下、左、右、左上、右上、左下、右下的像素点。

假设用S_k表示残差层图像，G_k表示残差层图像对应的Sobel梯度图，则计算残差层的Sobel梯度图的过程可以用如下公式来表示：

G_k＝Sobel(S_k)；

其中，k∈[1，K]，K为待进行融合的多张不同模态的源图像的总张数，K≥2。

(2)基于各Sobel梯度图分别计算各残差层对应的残差层融合因子。

具体的计算方式如下：

其中，S_k表示第k个残差层对应的Sobel梯度图，S表示各Sobel梯度图的总和。

在另一种计算方式中，为了增大梯度对残差层融合因子的影响，基于各残差层计算残差层融合因子，可以包括：

(1)采用Sobel算子计算每个残差层的Sobel梯度图。

该步骤(1)的计算方式与上一种计算方式中相同。

(2)利用高斯滤波器对每个Sobel梯度图进行扩散，得到对应的扩散梯度图。

具体的，该步骤可以用公式进行表示如下：

其中，Gaussian(·)表示高斯滤波算子，G_k表示残差层图像对应的Sobel梯度图，δ表示其标准差，r表示其高斯滤波模板，δ和r的具体取值可预先试出；例如，δ和r可以均取5，并不局限于此。

可以理解的试，此时扩散梯度图即是所构造的梯度显著性映射矩阵。

(3)基于各扩散梯度图分别计算各残差层对应的残差层融合因子。

具体的，计算方式如下：

其中，

表示第k∈[1，K]个残差层对应的扩散梯度图，S_R表示各扩散梯度图的总和。

S4：基于显著层融合因子和残差层融合因子对不同模态的源图像分别进行显著层融合以及残差层融合，并利用显著层融合结果和残差层融合结果得到低频层融合结果。

其中，显著层融合的过程为求取对应于各模态源图像的显著层的加权平均。

举例而言，若各模态源图像包括可见光图像和红外图像，则显著层融合的过程可表示为FA＝w*A₁+(1-w)*A₂；其中，A₁此时表示的是红外图像的显著层，w为其对应的显著层融合因子，A₂此时表示的是可见光图像的显著层；FA表示显著层融合结果。

同理，残差层层融合的过程也是求取对应于各模态源图像的残差层的加权平均。

举例而言，若各模态源图像包括可见光图像和SAR图像，则显著层融合的方式可表示为

其中，S₁代表SAR图像对应的残差层，

为其对应的残差层融合因子；S₂代表可见光图像对应的残差层，

为其对应的残差层融合因子，FS表示残差层融合结果。

得到显著层融合结果和残差层融合结果后，便可以得到低频层融合结果FL＝FA+FS。

S5：对不同模态的源图像进行高频层融合，并基于高频层融合结果以及低频层融合结果采用拉普拉斯逆变换法进行图像重构，得到多模融合图像。

优选地，可以采用绝对值取大策略对不同模态的源图像进行高频层融合。可以理解的是，图像的高频部分通常包含图像的边缘轮廓信息，并且这部分信息可以表示图像相应位置的信息丰富度。在图像分解过程中，绝对值较大的高频系数对应于亮度突然变化的点，即图像中对比度变化较大的边缘特征，如边界、亮线和区域轮廓。高频部分绝对值越大对应位置的信息越详细，因此利用绝对值取大策略实现高频层的融合可以得到边缘信息丰富的高频融合图像。

举例而言，假设不同模态的源图像包括两张，则利用绝对值取大策略进行高频层融合的过程可以用公式表示如下：

其中，0≤l<N，

和

为分别位于两张不同模态源图像的高频层中相同位置处的两个像素点，FH_l为这两个像素点的高频层融合值，

位于目标源图像中。

得到高频层融合结果后，结合低频层融合结果，采用拉普拉斯逆变换进行图像重构，具体过程如下：

其中，将低频层融合结果FL作为第l＝N层的高低频融合结果F_N，逐层对第l∈[0，N-1]层的高频层融合结果FH_l以及第l+1层的高低频融合结果F_l+1进行融合，最终得到多模融合图像F₀。融合过程中，为了便于进行矩阵求和，对F_l+1进行插值膨胀，得到

在一个实施例中，参加图3所示，若待进行配准的多张不同模态的源图像中包含有可见光图像，则在得到多模融合图像之后，再对该多模融合图像进行IHS逆变换，从而恢复颜色信息，得到彩色的多模融合图像。

其中，IHS逆变换的过程如下所示：

V₁＝S cos(H)，

V₂＝S sin(H)，

其中，分量I即是待进行IHS变换的多模融合图像，其余各参数的释义可参加上文对IHS变换的描述，此处不再赘述。

本发明实施例提供的基于多方向梯度滤波的多模态遥感图像融合方法中，利用拉普拉斯金字塔的多尺度性以及多方向梯度滤波的多方向性提取了源图像中不同尺度的基础信息和不同方向的纹理信息，由此可剔除源图像中的噪声边缘和细小的纹理信息，更好地保留了图像的整体亮度和边缘信息，从而使多模融合图像具有较高的对比度、且边缘清晰，提高了融合图像的图像质量。

本发明实施例中，基于目标源图像的显著层来动态地计算显著层融合因子，即采用了一种自适应模糊耦合机制实现显著层融合；并且，本发明中采用了一种梯度显著性映射策略来实现残差层的融合，具体是在基于各残差层计算残差层融合因子的过程中，利用高斯滤波器对残差层的Sobel梯度图进行扩散，并基于各扩散梯度图分别计算各残差层对应的残差层融合因子。由此，在利用显著层融合结果和残差层融合结果得到低频层融合结果后，可以使低频层融合结果能够尽可能保留红外图像或SAR图像中的显著信息以及可见光图像中的纹理细节信息，进一步地提高了多模融合图像的质量。

此外，本发明实施例中还可利用绝对值取大策略对不同模态的源图像进行高频层融合，使得融合后的高频层能最大程度地保留源图像的边缘信息，由此也可更进一步提高多模融合图像的质量。

可选地，在一种实现方式中，若多张不同模态的源图像具有不可忽略的视差，则在对每张源图像均进行拉普拉斯分解之前，还可以先行对所获取的多张不同模态的源图像进行配准对齐。

这里，对图像进行配准对齐可以采用现有的SIFT(Scale-invariant FeatureTransform，尺度不变特征变换)方法实现，本发明实施例不再进行赘述。

下面采用试验结果对本发明实施例的有益效果进行进一步验证和说明。

图4(a)为一组待进行融合的可见光图像和SAR图像；其中，左侧为可见光图像，右侧为SAR图像；图4(b)中分别示出了采用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法，对图4(a)中两张图像进行融合得到的融合图像。

图5(a)为另二组待进行融合的可见光图像和SAR图像，其中，左侧为可见光图像，右侧为SAR图像；图5(b)中分别示出了采用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法，对图5(a)中两张图像进行融合得到的多模融合图像。

图4(b)和图5(b)在实际中均为彩色图像，其中利用本发明实施例所提供方法得到的多模融合图像具有更好的视觉效果，色彩失真小，色彩信息保持得较好。

基于以上试验结果，表1给出了利用三种不同方法所得到的多模融合图像的性能分析对比结果。

表1

该表1中，AG表示平均梯度，E表示信息熵，PSNR表示峰值信噪比，QABF表示融合质量，RMSE表示均方根误差，SF表示空间频率，SSIM表示结构相似性，VIF为基于视觉信息保真度的指标。

表1中，加粗的数值为同一指标中最好的结果。从表1可以看出，利用本发明实施例所提供方法得到多模融合图像锁具有的高性能指标更多，这说明了本发明实施例所提供方法具有更好的优势。

图6(a)为一组待进行融合的可见光图像和红外图像，其中，左侧为可见光图像，右侧为红外图像；图6(b)中分别示出了采用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法，对图6(a)中两张图像进行融合得到的多模融合图像。

图7(a)为另一组待进行融合的可见光图像和红外图像，其中左侧为可见光图像，右侧为红外图像；图7(b)中分别示出了采用现有NSST方法、现有LatLRR方法以及本发明实施例所提供方法，对图7(a)中两张图像进行融合得到的多模融合图像。

图6(b)和图7(b)在实际中均为彩色图像，其中利用本发明实施例所提供方法得到的多模融合图像具有更好的视觉效果，色彩信息保持得较好；并且，利用本发明实施例所提供方法得到的多模融合图像中，对红外图像的显著性区域保持得较好；例如，在图6(b)的各子图的左下角处，本发明更多的保留了屋顶以及树冠的显著性特征，而同一区域在另外两种对比方法中的显著性则不够强。而在图7(b)的各子图中，本发明更多的保留了远处行人的显著性特征，而同一区域在另外两种对比方法中的显著性则不够强。

基于以上试验结果，表2给出了利用三种不同方法所得到的多模融合图像的性能分析对比结果。

表2

同样从表2可以看出，本发明实施例所提供方法在相比之下具有较好的优势。

本发明实施例中，首先将拉普拉斯金字塔分解与多方向梯度滤波进行结合提取源图像不同尺度的基础信息和不同方向的细节信息，以此来剔除源图像中的噪声边缘和细小的纹理信息，更好地保留图像的整体亮度和边缘信息。其次，本发明实施例设计来自适应模糊耦合机制和梯度显著性映射策略实现显著层和残差层的融合，再对融合后的显著层和残差层进行相加重构作为融合后的低频层，使得低频层融合结果能够尽可能保留红外图像或SAR图像中的显著信息以及可见光图像中的纹理细节信息。最后设计绝对值取大策略实现高频层的融合，使得融合后的高频层能最大程度地保留源图像的边缘信息，将融合后的低频层和高频层进行重构，得到的多模融合图像具有较高的图像质量。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于多方向梯度滤波的多模态图像融合方法，其特征在于，包括：

获取待进行融合的多张不同模态的源图像，并对每张所述源图像均进行拉普拉斯分解，得到多个拉普拉斯金字塔序列；其中，每个所述拉普拉斯金字塔序列均包括一个低频层和多个高频层；

将每个所述低频层均代入至一滤波优化问题中进行迭代求解，得到该低频层对应的滤波结果，并以该滤波结果为该低频层对应的显著层，计算该低频层对应的残差层；其中，所述滤波优化问题是以滤波效果为优化目标的优化问题，所述优化目标至少包括滤波前后图像的亮度分布相似性以及滤波后的八方向总梯度；

基于目标源图像的显著层计算显著层融合因子，并基于各残差层计算残差层融合因子；其中，所述目标源图像为所述多张不同模态的源图像中的红外图像或SAR图像；

基于所述显著层融合因子和所述残差层融合因子对不同模态的源图像分别进行显著层融合以及残差层融合，并利用显著层融合结果和残差层融合结果得到低频层融合结果；

对不同模态的源图像进行高频层融合，并基于高频层融合结果以及所述低频层融合结果采用拉普拉斯逆变换法进行图像重构，得到多模融合图像。

2.根据权利要求1所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述滤波优化问题为：

其中，用O表示迭代过程中的滤波图像，O_c表示所述滤波图像的任一像素点c的像素值，该像素点c的坐标为(x,y)，I_c表示低频层I中坐标同为(x,y)的像素点的像素值；||·||₂表示L₂范数；

分别表示左、右、上、下、右上、右下、左上、左下共八个方向的梯度算子；P_c,l、P_c,r、P_c,u、P_c,d、P_c,ru、P_c,rd、P_c,lu、P_c,ld分别为

对应的惩罚系数；每个所述惩罚系数均是根据对应的梯度算子进行计算得到的；O^*为迭代求解得到的最优解，即所述滤波结果。

3.根据权利要求2所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述惩罚系数的计算方式如下：

其中，direct表示方向，分别为左、右、上、下、右上、右下、左上、左下；α为预设的梯度阈值，β为预设的斜率控制因子，P_max为预设的最大惩罚系数。

4.根据权利要求1所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，基于目标源图像的显著层计算显著层融合因子的方式，包括：

m＝mean2(A₁)，

λ＝10*m,

s＝std2(A₁)，

R＝|A₁|，

其中，粗体的A₁表示目标源图像的显著层，未加粗的A₁表示该显著层的任一像素点，R为A₁的模值，R_max为该显著层的所有像素点中的最大模值；mean2(·)表示求平均值，std2(·)表示求标准差；w为对应于所述目标源图像的一显著层融合因子，对应于非目标源图像的显著层融合因子根据w确定。

5.根据权利要求1所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述基于各残差层计算残差层融合因子，包括：

采用Sobel算子计算每个残差层的Sobel梯度图；

利用高斯滤波器对每个所述Sobel梯度图进行扩散，得到对应的扩散梯度图；

基于各扩散梯度图分别计算各残差层对应的残差层融合因子。

6.根据权利要求5所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述基于各扩散梯度图分别计算各残差层对应的残差层融合因子，包括：

其中，

表示第k∈[1，K]个残差层对应的扩散梯度图，S_R表示各扩散梯度图的总和，K为所述多张不同模态的源图像的总张数，K≥2。

7.根据权利要求5所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述高斯滤波器的高斯滤波模板以及标准差的值均取5。

8.根据权利要求1所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述对不同模态的源图像进行高频层融合，包括：

利用绝对值取大策略对不同模态的源图像进行高频层融合。

9.根据权利要求1所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述多张不同模态的源图像具有不可忽略的视差；

在对每张所述源图像均进行拉普拉斯分解之前，所述多模态图像融合方法还包括：对所获取的多张不同模态的源图像进行配准对齐。

10.根据权利要求9所述的基于多方向梯度滤波的多模态图像融合方法，其特征在于，所述多张不同模态的源图像中包含有可见光图像；

所述多模态图像融合方法还包括：

在对所获取的多张不同模态的源图像进行配准对齐之前，对所述可见光图像进行IHS变换，并提取变换结果中的I分量形成新的图像，来替换所述可见光图像作为源图像；

以及，在得到所述多模融合图像之后，对所述多模融合图像进行IHS逆变换。

Images