CN112950518B - 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 - Google Patents

Abstract

本发明涉及一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到对应的低秩子层和显著性子层；再分别对两个低秩子层进行多尺度分解，提取细节层，加权合并后得到增强图层；利用基于改进的视觉显著映射的加权引导图像滤波算法对两个低秩子层进行融合，得到低秩子层融合图像；利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层进行融合，得到显著性子层融合图像；增强图层、低秩子层融合图像和显著性子层融合图像相加重构后得到最终的融合图像。本发明能够保留源图像丰富的细节信息，同时还提高了融合图像的清晰度、对比度，融合性能良好。

Description

基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法

技术领域

本发明涉及图像融合技术领域，特别是涉及一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法及系统。

背景技术

由于单一图像传感器无法获得更加全面丰富的场景信息，存在一定的局限性，因此，人们倾向于利用多个传感器捕获图像进行图像融合，即通过一定算法提取和整合来自同一场景、同一时刻多幅图像的有效信息进行多方位融合，以获取良好的视觉效果和丰富的细节信息。因此，图像融合在军事、计算机视觉、遥感探测、医学成像等领域皆掀起研究热潮，具有非常广泛、重要的应用价值。其中，红外与可见光图像融合是图像融合领域研究的基础，因此红外图像与可见光图像融合成为研究的重点与热点。

红外成像与可见光成像的机理不同，两种图像具有不同的特性。可见光图像的空间分辨率较高、背景信息丰富，它们适合于人类的视觉感知。但易受光照差、烟雾，恶劣天气条件影响。红外图像依据探测器不同，能够感知不同波段的热辐射，具有较强的夜视、透雾能力，但分辨率低。于是，人们利用其互补信息弥补各自成像的不足进行图像融合，使得融合图像信息更丰富、可理解性更好。

目前，图像融合算法大体包括以下几大类：基于空间域的融合、基于多尺度变换(MST)的融合、基于边缘保持滤波器的融合、基于稀疏表示的融合、基于神经网络的融合。其中，最早出现的是加权平均、主成分分析等基于空间域的融合方法。研究最广泛的是基于多尺度变换域的融合算法，典型的方法包括离散小波变换(DWT)、双树复小波变换(DT-CWT)、曲线变换(CVT)、非下采样轮廓波变换(NSCT)等。除此之外，基于边缘保持滤波器、稀疏表示和神经网络的方法及其他方法也逐渐被引入图像融合领域。

JiayiMa等人提出了一种基于梯度转移和总变差最小化的红外与可见光图像融合(“Infrared and visible image fusion via gradient transfer and total variationminimization”,Information Fusion,2016,31:100-109.)，称为梯度转移融合(GTF)。该图像融合方法将融合问题表示为l₁-TV最小化问题，其中数据保真项保持红外图像的主要强度分布，正则化项保持可见光图像的梯度变化，使得融合后的图像看上去像是具有较高分辨率的红外图像，目标清晰可见，但却丢失一部分源图像的细节纹理信息，同时存在伪影。

Y.Liu等人提出了一种基于卷积稀疏表示的图像融合(“Image fusion withconvolutional sparse representation”,IEEE Signal Process.Lett.,vol.23,no.12,pp.1882–1886,Dec.2016.)。该图像融合方法利用两尺度图像分解得到了基础层和细节层，采用最大值策略和平均策略对不同图像类型的基础层进行融合，利用细节层的卷积稀疏表示对加权融合结果进行编码，该方法改善了传统稀疏表示融合方法中保留重要细节的能力，但边缘区域存在几个伪影。

H.Li等人提出一种基于字典学习和低秩表示的多聚焦图像融合(“Multi-focusimage fusion using dictionary learning and low-rank representation,”inProc.Int.Conf.Image Graph.Cham,Switzerland:Springer,2017,pp.675–686.)，使用低秩表示进行特征提取，但在局部结构保存能力上具有一定局限性，在此基础上进行了一些性能和结构的改进，提出了一种新的基于潜在低秩表示(LatLRR)的图像融合方法，采用加权平均策略对低秩部分进行融合，通过求和策略对显著性部分进行简单的融合，但正因为简单的加权融合策略，使得源图像信息未被充分利用，融合图像的视觉效果还有待提升。

已有的一些文献提出了一定的融合方法(如前文所述)，但这些传统融合方法的融合图像仍存在对比度较低，清晰度不够，细节纹理丰富性不足等问题，从而导致视觉效果不佳。因此，提供一种具有良好融合性能的红外图像与可见光图像融合方法是极其重要的。

发明内容

为解决现有的红外图像与可见光图像融合方法的融合图像的视觉效果一般，仍存在对比度较低，清晰度不够，细节纹理丰富性不足等问题，本发明提供一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法。

为实现上述目的，本发明采取如下的技术方案：

一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，包括以下步骤：

步骤1：利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到所述红外图像的低秩子层IR_lrr和显著性子层IR_sal以及所述可见光图像的低秩子层VIS_lrr和显著性子层VIS_sal；

步骤2：利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像；

将低秩子层IR_lrr对应的多个细节层图像进行相加处理后得到图像I_{D_IR}，将低秩子层VIS_lrr对应的多个细节层图像进行相加处理后得到图像I_{D_VIS}，再将图像I_{D_IR}和图像I_{D_VIS}输入到CNN网络中，得到相应的权重映射；

根据所述权重映射对图像I_{D_IR}和图像I_{D_VIS}进行加权合并，得到增强图层D_f；

其中，利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像的过程包括以下步骤：

按照如下的基于滚动引导图像滤波的多尺度分解公式分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解：

I_D ^j＝I_B ^j-1-I_B ^j＝I_B ^j-1-RGIF(I_B ^j-1,σ_s ^j,σ_r,H)，j＝1,2...,N (2)

其中，I_D ^j为多尺度分解后的第j层的细节层图像，I_B ^j为多尺度分解第j层的基础层图像，I_B ⁰为未经分解的首次输入图像，RGIF(·)表示滚动引导图像滤波的迭代引导滤波算子，

为第j层的正则化参数，σ_r为滤波窗口半径，H为迭代次数，N为多尺度分解的层数；

滚动引导图像滤波的迭代引导滤波算子RGIF(·)的计算过程如下：

利用高斯滤波器对当前的输入图像I进行小结构平滑，并且高斯滤波器的输出图像G作为下一步的引导图像；

为保证引导图像G与引导图像滤波后的输出图像之间的局部线性关系，求解输入图像I与引导图像滤波后的输出图像q之间的成本函数的最优解，确定最优线性系数，并根据所述最优线性系数得到引导图像滤波后的输出图像q，该图像将作为下一步引导图像滤波的引导图像，此时，输入图像仍然为I，反复迭代H次后得到经过滚动引导图像滤波的基础层图像I_B＝RGIF(I,σ_s,σ_r,H)；

步骤3：利用基于改进的视觉显著映射的加权引导图像滤波算法对低秩子层IR_lrr和低秩子层VIS_lrr进行融合，得到低秩子层融合图像B_f；步骤3包括以下步骤：

步骤31：确定低秩子层IR_lrr和低秩子层VIS_lrr中每个像素的显著性值，得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的视觉显著性映射图；

步骤32：将步骤31得到的两幅视觉显著性映射图进行逐像素的显著性值大小比较，显著性值较大的像素的初始权重映射值设置为1，反之设置为0，完成全部像素的比较之后得到对应的初始权重映射图；

步骤33：分别以低秩子层IR_lrr和低秩子层VIS_lrr作为引导图像，以其对应的初始权重映射图作为输入图像，利用引导图像滤波算法分别对初始权重映射图进行优化，得到对应的最终权重图；

步骤34：利用逐像素加权融合策略对步骤33得到的最终权重图进行融合，融合后得到低秩子层融合图像B_f；

步骤4：利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层IR_sal和显著性子层VIS_sal进行融合，得到显著性子层融合图像S_f；步骤4包括以下步骤：

步骤41：分别对显著性子层IR_sal和显著性子层VIS_sal进行拉普拉斯金字塔分解，得到对应的分解层L_A ^l和分解层L_B ^l；

步骤42：分别计算分解层L_A ^l和分解层L_B ^l中以某一像素(m,n)为中心的局部能量特征，得到对应的局部能量特征E_A ^l和局部能量特征E_B ^l；

步骤43：计算局部能量特征E_A ^l和局部能量特征E_B ^l之间的能量相似度M_AB ^l(m,n)，并将能量相似度M_AB ^l(m,n)与阈值th进行比较以及对局部能量特征E_A ^l和局部能量特征E_B ^l进行比较，根据比较结果确定融合系数；

步骤44：根据步骤43确定的融合系数对分解层L_A ^l和分解层L_B ^l进行加权融合，得到分解层融合图像L_F ^l(m,n)，最后通过拉普拉斯逆变换重建显著性子层融合图像S_f；

步骤5：将增强图层D_f、低秩子层融合图像B_f和显著性子层融合图像S_f进行相加重构，得到最终的融合图像F＝B_f+D_f+S_f。

本发明涉及一种通过潜在低秩表示嵌套滚动引导图像滤波增强来实现红外图像和可见光图像融合的方法，该方法以潜在低秩表示作为图像分解工具，以具有边缘感知的多尺度滚动引导图像滤波作为图像增强手段，对低秩图像进行多尺度感知分解，提取细节层信息，获得增强图层，解决图像融合过程中对比度损失、融合图像清晰度较低的问题，并且以基于改进的视觉显著映射的加权引导图像滤波算法和基于金字塔分解的区域能量特征自适应加权算法作为子层融合规则，使得最终融合图像不仅保留了源图像丰富的细节信息，还提高了融合图像的清晰度、对比度，在信息的丰富性上、对比度、清晰度上做出了贡献，在视觉效果和客观观评价方面均优于其他融合方法，展现了良好的融合性能，为获得更清晰的场景信息和更好的目标特征提供了强有力保障。

附图说明

图1为本发明实施例提出的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法的流程图；

图2为基于滚动引导图像滤波的多尺度分解的过程示意图；

图3为滚动引导图像滤波的过程示意图；

图4为仿真实验中待融合的三组红外与可见光图像对；

图5为针对第(1)组红外与可见光图像对，本发明的图像融合结果与其他五种方法的融合结果的对比图；

图6为针对第(2)组红外与可见光图像对，本发明的图像融合结果与其他五种方法的融合结果的对比图；

图7为针对第(3)组红外与可见光图像对，本发明的图像融合结果与其他五种方法的融合结果的对比图。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

本发明所提出的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法的整体流程图如图1所示，主要包括图像分解、增强图层获取、低秩子层融合、显著性子层融合和最终图像融合步骤。

步骤1：利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到红外图像的低秩子层IR_lrr和显著性子层IR_sal以及可见光图像的低秩子层VIS_lrr和显著性子层VIS_sal。

在本步骤中，首先选取一对待融合的红外和可见光图像对，利用潜在低秩表示将图像对进行分解，分解公式如下：

其中，X是源图像数据矩阵，Z、L分别是低秩系数矩阵和显著系数矩阵，E是稀疏噪声部分，λ为常数，本实施例中λ可以取0.6。

利用增广拉格朗日乘子法求解满足分解公式(1)的最小优化问题，求解后得到低秩部分(XZ)、显著性部分(LZ)和稀疏噪声部分(E)。抛弃稀疏噪声部分，获得红外图像分解后的低秩子层IR_lrr、显著性子层IR_sal及可见光图像分解后的低秩子层VIS_lrr、显著性子层VIS_sal。

步骤2：利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，提取更多细节层，得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的多个细节层图像；然后将低秩子层IR_lrr对应的多个细节层图像进行相加处理后得到图像I_{D_IR}，将低秩子层VIS_lrr对应的多个细节层图像进行相加处理后得到图像I_{D_VIS}，再将图像I_{D_IR}和图像I_{D_VIS}输入到CNN网络中，得到相应的权重映射；根据权重映射对图像I_{D_IR}和图像I_{D_VIS}进行加权合并，得到增强图层D_f。

在本步骤中，基于滚动引导图像滤波的多尺度分解的过程为：

I_D ^j＝I_B ^j-1-I_B ^j＝I_B ^j-1-RGIF(I_B ^j-1,σ_s ^j,σ_r,H)，j＝1,2...,N (2)

其中，I_D ^j为多尺度分解后的第j层的细节层图像，RGIF(·)表示滚动引导图像滤波的迭代引导滤波算子，H代表迭代次数，σ_r滤波窗口半径，

为第j层的正则化参数，N为多尺度分解的层数。I_B为经RGIF分解后的基础层图像，I_B ^j为多尺度分解第j层的基础层图像，特别说明，I_B ⁰为未经分解的首次输入图像，即为I_B1 ⁰＝VIS_lrr,I_B2 ⁰＝IR_lrr。可选地，本实施例中迭代次数H＝4，多尺度分解的层数N＝4，滤波窗口半径σ_r＝0.02，正则化参数σ_s第一次取3，多尺度分解过程时，依次变成原来的2倍，即

低秩子层IR_lrr和低秩子层VIS_lrr通过4次多尺度分解，分别得到4个细节层图像，分别记为I_D1 ¹,I_D1 ²,I_D1 ³,I_D1 ⁴，I_D2 ¹,I_D2 ²,I_D2 ³,I_D2 ⁴，多尺度分解提取4个细节层图像的过程如图2所示，需要指出的是，图2仅示出了对低秩子层VIS_lrr进行4次多尺度分解得到4个细节层图像I_D1 ¹,I_D1 ²,I_D1 ³,I_D1 ⁴的过程。

将获得的I_D1 ¹,I_D1 ²,I_D1 ³,I_D1 ⁴、I_D2 ¹,I_D2 ²,I_D2 ³,I_D2 ⁴分别进行相加处理，即

随后将图像I_{D_IR}和图像I_{D_VIS}输入到CNN网络中得到相对应的权重映射D(i,j)(参见：Y.Liu,X.Chen,J.Cheng,H.Peng,and Z.Wang,“Multi-focusimage fusion with a deep convolutional neural network,”Information Fusion,vol.36,pp.191–207,2017.)，根据权重映射D(i,j)对图像I_{D_IR}和图像I_{D_VIS}进行加权合并，即可得到增强图层D_f：

D_f＝D(i,j)I_{D_IR}(i,j)+(1-D(i,j))I_{D_VIS}(i,j) (3)

参见图3，滚动引导图像滤波的迭代引导滤波算子RGIF(·)的计算过程如下：

步骤21：RGIF过程的第一步是利用高斯滤波器对当前的输入图像I进行小结构平滑，并且高斯滤波器的输出图像G作为下一步的引导图像，具体公式如下：

其中，

为归一化因子，m为n周围的像素，S_n是n像素点周围的像素集合，I_m表示输入图像中的m像素点的灰度值，σ_s为标准差。经高斯滤波输出后的图像将作为下一步的引导图像。

步骤22：RGIF过程的第二步是采用引导图像滤波(Guided Image Filtering,GIF)进行边缘恢复，引导图像滤波的关键是引导图像G与滤波输出图像之间的局部线性关系，具体公式如下：

q_i＝a_kG_i+b_k，i∈ω_k (5)

其中a_k，b_k是线性系数常数，ω_k是以引导图像G中的像素k为中心、半径为σ_r的滤波窗口。为了确定线性系数，使输出图像q与步骤21的输入图像I之间的差异最小化，保证引导图像G与引导图像滤波后的输出图像q之间的局部线性关系，利用成本函数确定线性系数的最优解，即最小化成本函数E(a_k,b_k)：

其中，σ_s是惩罚较大a_k的正则化参数。通过求解可得：

其中，μ_k和δ_k ²是引导图像G在局部窗口的平均值和方差，|ω|是局部滤波窗口ω_k的像素数，

是输入图像在局部滤波窗口中的平均值。于是，我们可以得到经引导图像滤波后的输出图像q。

步骤23：将步骤22中得到的经引导图像滤波后的输出图像q作为下一步引导图像滤波的引导图像，输入图像依旧为I，经反复迭代H次后，可得到滚动引导图像滤波RGIF的输出图像为：

I_B＝RGIF(I,σ_s,σ_r,H) (9)

其中，I_B为经滚动引导图像滤波后的基础层图像。

本发明中增强图层D_f的获取方法不局限于利用滚动引导图像滤波，还可以利用其他保边滤波器(例如加权引导滤波、加权最小二乘法滤波器等)实现增强图层的获取。

步骤3：利用基于改进的视觉显著映射的加权引导图像滤波算法对低秩子层IR_lrr和低秩子层VIS_lrr进行融合，得到低秩子层融合图像B_f。

步骤3具体包括如下步骤：

步骤31：首先，利用公式(10)确定低秩子层IR_lrr和低秩子层VIS_lrr中每个像素的显著性值，从而得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的视觉显著性映射图。若图像I中p像素的强度值为I_p，则p像素的显著性值V(p)为：

其中，W为图像I的总像素数。

步骤32：将步骤31得到的两幅显著性映射图进行逐像素的显著性值大小比较，并且显著性值较大的像素的初始权重映射值设置为1，即若V_ir(i,j)＞V_vis(i,j)，则初始权重映射P_ir(i,j)＝1，P_vis(i,j)＝0，反之，若V_ir(i,j)＜V_vis(i,j)，则初始权重映射P_ir(i,j)＝0，P_vis(i,j)＝1。完成两幅显著性映射图中全部像素的比较之后，便得到两幅显著性映射图各自对应的初始权重映射图。

步骤33：分别以低秩子层IR_lrr和低秩子层VIS_lrr作为引导图像，以其对应的初始权重映射图作为输入图像，利用引导图像滤波算法分别对初始权重映射图进行优化，得到对应的最终权重图w_ir和w_vis，具体公式如下：

参数ε、r分别为正则化参数和局部窗口半径，在本实施例中，参数ε、r分别赋值为45和0.1，GIF_r,ε(·)为步骤22中的引导图像滤波。

步骤34：利用逐像素加权融合策略对步骤33得到的最终权重图w_ir和w_vis进行融合，融合后得到低秩子层融合图像B_f，其公式如下：

B_f＝w_irIR_lrr(i,j)+w_visVIS_lrr(i,j) (12)

步骤4：利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层IR_sal和显著性子层VIS_sal进行融合，得到显著性子层融合图像S_f。

步骤4具体包括如下步骤：

步骤41：分别对显著性子层IR_sal和显著性子层VIS_sal进行拉普拉斯金字塔分解，得到对应的分解层L_A ^l和分解层L_B ^l，具体公式如下：

L_A ^l＝laplacian(IR_Sal)

L_B ^l＝laplacian(VIS_Sal) (13)

其中，L_A ^l和L_B ^l分别表示显著性子层IR_sal、显著性子层VIS_sal部分的拉普拉斯金字塔分解，l表示分解层次。在本实施例中，l赋值为8。

步骤42：针对每个分解层L_A ^l和L_B ^l，计算以某一像素(m,n)为中心的局部能量特征，得到对应的局部能量特征E_A ^l和局部能量特征E_B ^l，计算公式如下：

其中，w是区域窗口，p、q分别是在区域窗口中相对于中心像素(m,n)的相邻像素在x方向和y方向上的偏移量，在本实施例中，区域窗口w的是大小为3×3，且

步骤43：通过定义一个类似于两个局部窗口的协方差，来表征局部能量特征E_A ^l和局部能量特征E_B ^l之间的能量相似度M_AB ^l(m,n)，即：

比较能量相似度M_AB ^l(m,n)和阈值th之间的大小，及各分解层的局部能量特征E_A ^l、E_B ^l之间的大小，以根据比较结果确定融合系数。融合系数的确定规则如下所示：

其中，w₁、w₂分别为局部能量特征E_A ^l、局部能量特征E_B ^l对应的融合系数。在本实施例中，阈值th赋值为0.6。

步骤44：根据步骤43确定的融合系数，利用公式(17)所示的加权公式对分解层L_A ^l和分解层L_B ^l进行加权融合，得到每层的分解层融合图像L_F ^l(m,n)，最后通过拉普拉斯逆变换重建显著性子层融合图像S_f。

L_F ^l(m,n)＝w₁L_A ^l(m,n)+w₂L_B ^l(m,n) (17)

步骤5：将步骤2获得的增强图层D_f、步骤3获得的低秩子层融合图像B_f、步骤4获得的显著性子层融合图像S_f进行相加重构，得到最终的融合图像F＝B_f+D_f+S_f。

本实施例提供一种通过潜在低秩表示嵌套滚动引导图像滤波增强来实现红外图像和可见光图像融合的方法，该方法以潜在低秩表示作为图像分解工具，以具有边缘感知的多尺度滚动引导图像滤波作为图像增强手段，对低秩图像进行多尺度感知分解，提取细节层信息，获得增强图层，解决图像融合过程中对比度损失、融合图像清晰度较低的问题，并且以基于改进的视觉显著映射的加权引导图像滤波算法和基于金字塔分解的区域能量特征自适应加权算法作为子层融合规则，使得最终融合图像不仅保留了源图像丰富的细节信息，还提高了融合图像的清晰度、对比度，在信息的丰富性上、对比度、清晰度上做出了贡献，在视觉效果和客观观评价方面均优于其他融合方法，展现了良好的融合性能，为获得更清晰的场景信息和更好的目标特征提供了强有力保障。

为进一步证明本发明所提出的图像融合方法的有效性，本发明进行了相关仿真实验。本发明实验仿真平台是在Intel Core i7-10510U CPU，8GB运行内存，64位Windows10系统上实现的；编程环境为MATLAB2014b。

为了测试本发明的有效性，我们在公开可用的TNO数据集中对3组红外与可见光图像对进行了实验，3组红外与可见光图像对如图4所示。选取了经典流行的五种融合方法进行比较，从主观和客观评价方法分别进行分析。这些方法包括：a)交叉双边滤波器融合方法(CBF)(参见：B.K.Shreyamsha Kumar,“Image fusion based on pixel signifificanceusing cross bilateral fifilter,”Signal,Image Video Process.,vol.9,no.5,pp.1193–1204,Jul.2015.)；b)基于卷积稀疏表示(ConvSR)的方法(参见：Y.Liu,X.Chen,R.K.Ward,and Z.Jane Wang,“Image fusion with convolutional sparserepresentation,”IEEE Signal Process.Lett.,vol.23,no.12,pp.1882–1886,Dec.2016.)；c)基于多分辨率奇异值分解(MSVD)的方法(参见：Naidu V P S.Image FusionTechnique using Multi-resolution Singular Value Decomposition[J].DefenceScience Journal,2011,61(5):479-484.)；d)基于梯度转移融合方法(GTF)(参见：JiayiMa,Chen Chen,Chang Li,Jun Huang.Infrared and visible image fusion viagradient transfer and total variation minimization[J].Information Fusion,2016,31:100-109.)；e)基于双数复小波(DTCWT)的方法(参见：Lewis J J,Robert J.O’Callaghan,Nikolov S G,et al.Pixel-and region-based image fusion with complexwavelets[J].Information Fusion,2007,8(2):119-130)。

从主观方面来看，针对第(1)组红外与可见光图像对，本发明融合的红外和可见光图像与其他五种方法融合的红外和可见光图像的对比结果如图5所示，其中图5(a)为CBF方法的融合图像，图5(b)为ConvSR方法的融合图像，图5(c)为MSVD方法的融合图像，图5(d)为GTF方法的融合图像，图5(e)为DTCWT方法的融合图像，图5(f)为本发明方法的融合图像。从图5中可以看出，图5(a)方法产生较多伪影，影响图像的视觉效果；图5(d)方法融合后的图像中，布条背景过于黯淡，物体边缘信息较为模糊，融合图像整体感觉不符合人类视觉感受。从图像中的垃圾桶、窗户等细节可以看出，图5(b)、图5(c)、图5(e)、图5(f)方法都有效保留了细节信息，但图5(b)、图5(c)、图5(e)方法融合的图像对比度有待提升。通过对比分析可知，本发明的图像融合方法有效保留了细节信息，对比度信息，融合图像较为清晰，具有良好的视觉效果。

针对第(2)组红外与可见光图像对，本发明融合的红外和可见光图像与其他五种方法融合的红外和可见光图像的对比结果如图6所示，其中图6(a)为CBF方法的融合图像，图6(b)为ConvSR方法的融合图像，图6(c)为MSVD方法的融合图像，图6(d)为GTF方法的融合图像，图6(e)为DTCWT方法的融合图像，图6(f)为本发明方法的融合图像。从图6中可以清晰地看出，图6(a)方法产生严重的伪影，对视觉效果产生严重影响；图6(b)、图6(e)方法融合的树冠产生了少量的伪影，可以清晰的看出树冠的轮廓边缘有些许的白影；图6(d)方法融合的目标图像比较明显，但是图像过于模糊，导致图像轮廓边界不清，纹理细节信息保留较差，同时融合图像天空背景过于偏黑，一定程度上影响获取信息的错误；图6(c)方法在树冠、人及玻璃门的轮廓边缘处产生了小光晕；此外，图6(b)、图6(c)、图6(e)方法的融合图像对比度信息明显低于本发明融合方法，视觉效果不佳。再次通过比对各方法中灌木丛及玻璃门融合效果，可明显的看出本发明融合图像的灌木丛更为清晰，玻璃门处光线分明，具有良好可视性。

针对第(3)组红外与可见光图像对，本发明融合的红外和可见光图像与其他五种方法融合的红外和可见光图像的对比结果如图7所示，其中图7(a)为CBF方法的融合图像，图7(b)为ConvSR方法的融合图像，图7(c)为MSVD方法的融合图像，图7(d)为GTF方法的融合图像，图7(e)为DTCWT方法的融合图像，图7(f)为本发明方法的融合图像。从图7的行军图中，针对行军图的士兵及小车的融合情况看，图7(c)方法不同程度的丢失轮胎纹理细节；同样的，士兵在轮廓边缘处存在模糊的现象；除此之外，我们比对山坡上树林的融合效果，图7(a)方法融合的树林偏上的部分几乎与图像背景融为一体，很难确定树林的边缘图；图7(b)方法的树林边缘也存在边界不清情况；图7(c)、7(d)方法融合的树林虽然与图像背景存在界限，但是树林间的纹理边缘较模糊，信息不够丰富，观感上不佳；图7(e)方法存在些许伪影可见；本发明融合方法的树林具有较为清晰的纹路，可清晰看见树林之间的觥筹交错，图像整体具有较好的对比度。

从客观评价方法来看，选取5种不同类型的评价指标定量评估算法的优劣性，分别是互信息(MI)；多尺度结构相似度(MS-SSIM)；标准差(SD)；基于相似性度量的边缘(Q_abf)及视觉保真度VIF。MI反映了融合图像包含源图像的信息量程度；MS-SSIM衡量融合图像和源图像之间的整体结构相似度；SD反映了图像的对比度或者清晰度；Q_abf是测量了从源图像到融合图像的边缘信息多少；VIF度量描绘的时融合图像的信息保真度，与人类视觉系统一致。以上各个指标，其值越大，代表融合效果越好。图4所示三组红外与可见光图像对在不同方法下的客观评价值如表1、表2、表3所示。

从表1、表2、表3总结可知，针对三组图像对，本发明的融合方法在MI、MS_SSIM、SD、VIF指标上均高于其他融合方法，因此，融合图像包含更多源图像的信息量，图像对比度明显，看起来更加清晰，更符合人类视觉感受。而在Q_abf指标中，本发明的融合方法与其他融合方法相比处于中上等水平，说明融合图像的边缘信息保存良好。

表1

表2

表3

综上所述，本发明的红外和可见光图像融合方法可以更好的保留细节信息，在图像整体的清晰度及对比度上具有明显的优势，比其他方法的融合效果更好，更有利于增强图像的可理解性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，包括以下步骤：

步骤1：利用潜在低秩表示将待融合的红外图像和可见光图像分别进行分解，得到所述红外图像的低秩子层IR_lrr和显著性子层IR_sal以及所述可见光图像的低秩子层VIS_lrr和显著性子层VIS_sal；

步骤2：利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像；

将低秩子层IR_lrr对应的多个细节层图像进行相加处理后得到图像I_{D_IR}，将低秩子层VIS_lrr对应的多个细节层图像进行相加处理后得到图像I_{D_VIS}，再将图像I_{D_IR}和图像I_{D_VIS}输入到CNN网络中，得到相应的权重映射；

根据所述权重映射对图像I_{D_IR}和图像I_{D_VIS}进行加权合并，得到增强图层D_f；

其中，利用滚动引导图像滤波分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解，得到对应的多个细节层图像的过程包括以下步骤：

按照如下的基于滚动引导图像滤波的多尺度分解公式分别对低秩子层IR_lrr和低秩子层VIS_lrr进行多尺度分解：

I_D ^j＝I_B ^j-1-I_B ^j＝I_B ^j-1-RGIF(I_B ^j-1,σ_s ^j,σ_r,H)，j＝1,2...,N (2)

其中，I_D ^j为多尺度分解后的第j层的细节层图像，I_B ^j为多尺度分解第j层的基础层图像，I_B ⁰为未经分解的首次输入图像，RGIF(·)表示滚动引导图像滤波的迭代引导滤波算子，

为第j层的正则化参数，σ_r为滤波窗口半径，H为迭代次数，N为多尺度分解的层数；

滚动引导图像滤波的迭代引导滤波算子RGIF(·)的计算过程如下：

利用高斯滤波器对当前的输入图像I进行小结构平滑，并且高斯滤波器的输出图像G作为下一步的引导图像；

为保证引导图像G与引导图像滤波后的输出图像之间的局部线性关系，求解输入图像I与引导图像滤波后的输出图像q之间的成本函数的最优解，确定最优线性系数，并根据所述最优线性系数得到引导图像滤波后的输出图像q，该图像将作为下一步引导图像滤波的引导图像，此时，输入图像仍然为I，反复迭代H次后得到经过滚动引导图像滤波的基础层图像I_B＝RGIF(I,σ_s,σ_r,H)；

步骤3：利用基于改进的视觉显著映射的加权引导图像滤波算法对低秩子层IR_lrr和低秩子层VIS_lrr进行融合，得到低秩子层融合图像B_f；步骤3包括以下步骤：

步骤31：确定低秩子层IR_lrr和低秩子层VIS_lrr中每个像素的显著性值，得到低秩子层IR_lrr和低秩子层VIS_lrr分别对应的视觉显著性映射图；

步骤32：将步骤31得到的两幅视觉显著性映射图进行逐像素的显著性值大小比较，显著性值较大的像素的初始权重映射值设置为1，反之设置为0，完成全部像素的比较之后得到对应的初始权重映射图；

步骤33：分别以低秩子层IR_lrr和低秩子层VIS_lrr作为引导图像，以其对应的初始权重映射图作为输入图像，利用引导图像滤波算法分别对初始权重映射图进行优化，得到对应的最终权重图；

步骤34：利用逐像素加权融合策略对步骤33得到的最终权重图进行融合，融合后得到低秩子层融合图像B_f；

步骤4：利用基于金字塔分解的区域能量特征自适应加权融合方法对显著性子层IR_sal和显著性子层VIS_sal进行融合，得到显著性子层融合图像S_f；步骤4包括以下步骤：

步骤41：分别对显著性子层IR_sal和显著性子层VIS_sal进行拉普拉斯金字塔分解，得到对应的分解层L_A ^l和分解层L_B ^l；

步骤42：分别计算分解层L_A ^l和分解层L_B ^l中以某一像素(m,n)为中心的局部能量特征，得到对应的局部能量特征E_A ^l和局部能量特征E_B ^l；

步骤43：计算局部能量特征E_A ^l和局部能量特征E_B ^l之间的能量相似度M_AB ^l(m,n)，并将能量相似度M_AB ^l(m,n)与阈值th进行比较以及对局部能量特征E_A ^l和局部能量特征E_B ^l进行比较，根据比较结果确定融合系数；

步骤44：根据步骤43确定的融合系数对分解层L_A ^l和分解层L_B ^l进行加权融合，得到分解层融合图像L_F ^l(m,n)，最后通过拉普拉斯逆变换重建显著性子层融合图像S_f；

步骤5：将增强图层D_f、低秩子层融合图像B_f和显著性子层融合图像S_f进行相加重构，得到最终的融合图像F＝B_f+D_f+S_f。

2.根据权利要求1所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，

迭代次数H＝4，多尺度分解的层数N＝4，滤波窗口半径σ_r＝0.02，正则化参数

3.根据权利要求1所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，局部能量特征E_A ^l和局部能量特征E_B ^l的计算公式如下：

其中，w为区域窗口，p、q分别是在区域窗口中相对于中心像素(m,n)的相邻像素在x方向和y方向上的偏移量。

4.根据权利要求1所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，能量相似度M_AB ^l(m,n)的计算公式如下：

其中，w为区域窗口，p、q分别是在区域窗口中相对于中心像素(m,n)的相邻像素在x方向和y方向上的偏移量。

5.根据权利要求3或4所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，

区域窗口w的是大小为3×3，且

6.根据权利要求1或3所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，按照如下规则确定融合系数：

其中，w₁、w₂分别为局部能量特征E_A ^l、局部能量特征E_B ^l对应的融合系数。

7.根据权利要求6所述的基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法，其特征在于，

阈值th的值为0.6。

Images