CN111986132A - 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法 - Google Patents

Abstract

本发明涉及图像领域，具体为一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，有效的解决了红外与可见光图像融合中的特征损失严重、显著目标不突出的问题。通过DLatLRR将源图像分解为低秩部分、显著部分及稀疏噪声，并基于VGG 16的特征提取算法对低秩部分进行融合，最后对融合后的低秩部分和显著部分进行图像重建得到融合图像。本发明算法的融合图像不仅清晰度高、层次鲜明，细节信息丰富，受噪声影响小，而且图像的对比度较高，场景中的显著区域、目标相对更加突出。

Description

一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法

技术领域

本发明涉及图像领域，具体为一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法。

背景技术

图像融合作为信息融合技术的一个重要分支，能够整合多幅图像所包含的有效信息，得到空间分辨率与光谱分辨率较高的融合图像。可见光传感器所成图像空间分辨率高、背景信息丰富，但是成像易受环境影响；红外传感器所成的图像虽然质量差，但是成像稳定，二者在时空上的相关性与场景描述时的信息互补性为其融合提供了可能。

目前，国内外众多学者对红外与可见光图像融合算法进行了研究。如：基于滤波的图像融合采用滤波算法将图像分解为不同的图像层，通过分层融合实现红外与可见光图像的融合。基于变换域的图像融合采用多尺度几何变换将图像分解为不同的子带，通过子带的融合实现红外与可见光图像的融合。基于稀疏域的图像融合采用学习字典对图像进行稀疏表示，通过稀疏向量的融合实现红外与可见光图像的融合。随着深度学习的兴起，新型的卷积神经网络已逐渐渗透到图像融合领域，以其强大的自主学习能力提取图像的深层次特征辅助图像的融合。

发明内容

针对红外与可见光图像融合中的特征损失严重、显著目标不突出的问题，本发明提供了一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，通过DLatLRR将源图像分解为低秩部分、显著部分及稀疏噪声，并基于VGG 16的特征提取算法对低秩部分进行融合，最后对融合后的低秩部分和显著部分进行图像重建得到融合图像。本发明算法的融合图像不仅清晰度高、层次鲜明，细节信息丰富，受噪声影响小，而且图像的对比度较高，场景中的显著区域、目标相对更加突出。

为了实现所述目的，本发明采用的具体实施方案如下：

一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，包括：

S1、对红外与可见光图像进行潜在低秩表示DLatLRR(分解)，得到对应的低秩部分、显著部分及稀疏噪声；

S2、分别采用VGG·Net模型和联合特征加权算法分别对低秩部分与显著部分进行融合；

S3、对融合得到的低秩部分和显著部分进行图像重建，得到融合图像。

所述对红外与可见光图像进行潜在低秩表示DLatLRR的方式为：

S101、确定LatLRR的红外与可见光图像数学模型；

S102、分别对数据模型中矩阵组合进行双极性优化处理，得到图像低秩部分、显著部分及稀疏噪声。

所述低秩部分融合步骤为：

S2011、将红外与可见光图像的低秩部分分别输入VGG·16网络，提取第i个卷积组的输出，根据L1范数对输出的多通道特征图进行压缩，得到单通道特征图；

S2012、根据单通道特征图，计算初始的归一化自适应权重；

S2013、采用上采样对归一化自适应权重的图形进行尺寸重整，得到尺寸大小与原始低秩部分一致的四组权重图，并以此分别对红外与可见光图像的低秩部分进行融合；

S2014、对四组权重融合后的低秩部分根据绝对值最大准则同一位置的四个值进行选取，得到融合的低秩部分。

所述显著部分融合步骤为：

S2021、通过红外与可见光源图像的显著图构建显著度权重；

S2022、通过源图像显著部分的区域能量构建能量权重；

S2023、将显著度权重和能量权重整合，并对显著部分进行融合。

所述图像重建时需舍弃稀疏噪声。

本发明的有益效果在于：本发明算法的融合图像不仅清晰度高、层次鲜明，细节信息丰富，受噪声影响小，而且图像的对比度较高，场景中的显著区域、目标相对更加突出。

附图说明

图1为本发明流程示意图；

图2为本发明效果展示图；

具体实施方式

实施例1

本发明提出了一种低秩表示分解与深度神经网络相结合的图像融合算法。首先，对源图像进行潜在低秩表示DLatLRR，得到相应的低秩部分、显著部分及稀疏噪声。然后，分别采用VGG Net模型和联合特征加权算法分别对低秩部分与显著部分进行融合，舍弃二者的稀疏噪声。最后，对融合得到的低秩部分和显著部分进行图像重建，得到最终的融合图像。

设待融合的红外图像为IR，可见光图像为VIS，二者融合后的图像为F。利用本发明算法对图像融合时大致可分为图像分解、分解部分融合、图像重建等步骤。具体内容如下：

步骤一：图像分解

LatLRR的数学模型可分为两种情况：

(1)原始数据无噪声：

(2)原始数据含噪声：

其中，Q为原始数据矩阵，Z为原始数据最优的低秩表示系数矩阵，L为显著系数矩阵，E为稀疏噪声矩阵，||·||_*为核范数，||·||₁为L1范数，λ＞0为正则化平衡系数。当λ→+∞时，式(2)无限趋近于式(1)。上述两式均可看作带有核范数的凸优化问题，由增广拉格朗日乘子(ALM)算法求解。

当原始数据为红外与可见光图像时，分别对式(2)所得的QZ与LQ进行双极性优化处理，计算公式如下：

Y＝min{max[X,0],1} (3)

其中，X为处理前的数据，Y为处理后的数据。经过式(3)处理后得到图像的低秩部分QZ、显著部分LQ，结合稀疏噪声E，实现红外与可见光图像的潜在低秩表示DLatLRR。

步骤二：低秩部分融合

VGG·Net采用5段卷积结构，每段包含2～3个卷积层，相邻卷积层之间没有连接池化层，仅在每段卷积的末尾处连接一个最大池化层。所有的卷积层均采用小卷积核，不仅可以减少网络参数的数量，而且能够增加网络中的非线性单元，从而捕获来自不同方向上像素的变化，使得网络学习特征的能力更强，同时还可以避免大卷积核带来的参数爆炸的影响。

图像输入VGG·Net后，按顺序经过一系列的卷积核和池化核，提取图像中的主要特征信息并对其进行压缩，以简化网络的计算复杂度；经过五个连续的卷积组后，用三个全连接层来综合卷积层提取到的图像特征，每个全连接层之间添加随机失活，以防止过拟合与梯度消散等问题，最后经softmax输出结果。

VGG·16的网络深度为16层，五个卷积组依次包含2、2、3、3、3个卷积层，共13个卷积层，每个卷积组后接一个最大池化层，共5个池化层，第5个池化层之后跟3个全连接层，最后一个全连接层之后接softmax分类器。当输入VGG 16的图像大小为NxN时，各个卷积层的参数及池化后输出的特征图大小如表1所示。

表1 VGG 16结构参数

卷积组	卷积	通道数	池化	输出
					1(1_1,1_2)	3×3,1	64	Max,2×2	N×N
2(2_1,2_2)	3×3,1	128	Max,2×2	N/2×N/2
					3(3_1,3_2)	3×3,1	256	Max,2×2	N/4×N/4
4(4_1,4_2,4_3)	3×3,1	512	Max,2×2	N/8×N/8
					5(5_1,5_2,5_3)	3×3,1	512	Max,2×2	N/16×N/16

低秩部分类似于源图像的平滑版本，包含图像的大部分有效信息，为了更好的对其进行融合，引入VGG 16卷积神经网络提取图像的深度特征辅助设计融合规则。卷积层作为卷积神经网络的基本结构之一，能够通过卷积运算提取图像的特征，且随着卷积层数的加深，提取到的图像特征也越来越抽象。

根据表1可知，VGG 16网络的第五个卷积组所提取的图像特征过于抽象，且输出的特征图尺寸与源图像细节内容图差距过大，因此本算法以前四个卷积组的输出为基础构建权重图，指导红外图像与可见光图像的低秩部分融合。具体融合步骤如下：

首先，将红外与可见光图像的低秩部分{G_VIS,G_IR}分别输入VGG 16网络，提取第i个卷积组的输出

i＝1,2,3,4，分别代表第一、二、三、四个卷积组，m为第i个卷积组输出特征图的通道数，根据卷积核的数量决定， m∈{1,2,...,M}，M＝64×2^i-1。根据表1中所示VGG 16网络中各卷积层所包含的卷积核数量可知，O^i,1:M是一个M维的向量，O^i,1:M(x,y)表示O^i,m在位置(x,y)处的值，根据L1范数对输出的多通道特征图进行压缩，得到单通道特征图

计算公式如下：

其次，为了使融合后的图像更加的自然，引入3x3的均值滤波对单通道特征图进行平滑，而后计算初始的归一化自适应权重

公式如下：

再次，卷积神经网络中的池化层是一种数据下采样操作，池化后的特征图大小变为原来的

s为池化算子的步长。VGG 16中的池化步长固定为2，不同的卷积组输出的特征图大小为原图的

根据图像融合的尺寸一致原则，采用上采样对权重图

进行尺寸重整，得到尺寸大小与原始低秩部分一致的四组权重图

并以此分别对红外与可见光图像的低秩部分进行融合，计算公式如下：

最后，通过四组权重融合后的低秩部分，每个位置(x,y)处都有四个值，根据绝对值最大准则对同一位置的四个值进行选取，得到融合的低秩部分G_F：

根据上式可知，通过综合VGG 16多个卷积组的特征提取结果指导图像低秩部分进行融合，相较于单一的利用网络模型的最终输出进行融合的算法，能够尽量减少图像细节的丢失，更加全面的提取并保留图像的深度特征与有效信息，提升融合效果。

步骤三：显著部分融合

显著部分{S_IR,S_VIS}的融合分为三个阶段：第一阶段主要通过红外与可见光源图像的显著图构建显著度权重，第二阶段主要通过源图像显著部分的区域能量构建能量权重，第三阶段是将前两阶段所得权重进行整合，并对显著部分进行融合。

阶段一

基于视觉显著图能够反映图像显著特征的特性，本发明提出以视觉显著图作为联合权重的组成部分。设图像I，在像素p处的显著度V(p)可根据该像素的强度Ip与其余像素间的整体差异进行计算，公式如下：

其中，j代表图像的像素，T为像素总数，I^j为像素j处的灰度等级。

构建显著度权重时，先根据式(9)遍历计算源图像IR与VIS各个像素点的显著度，输出两者的显著图{V_IR,V_VIS}；然后在其基础上结合改进的均值加权法计算显著度权重{α₁,α₂}，计算公式如下：

根据式(9)可知，如果在某个位置的显著度V_IR与V_VIS相等，则上式退变为传统的均值加权；如果V_IR相对于V_VIS较大，则该位置的显著度权重α₁大于0.5，相应的红外图像对显著度权重的贡献较大，反之，当显著度V_IR相对于V_VIS较小时，该位置的α₂大于0.5，则可见光图像的贡献较大。

阶段二

基于区域的图像融合方法大体分为基于区域能量、基于区域梯度和基于区域方差等三类。基于区域梯度和方差的融合均未充分考虑像素间的相关性，无法体现图像的局部特征，具有片面性；只有基于区域能量的融合规则考虑到图像特征是由该区域内多个像素共同表征，且同一区域内的像素具有较强的相关性。因此，本发明以区域能量理论结合自适应性准则计算区域能量权重系数，根据区域中心像素及其所对应区域能量的不断变化，调整加权系数自适应的变化，达到融合图像的本身特征并充分保留细节的目的。

构建能量权重时，先以滑动窗口分别对图像IR、VIS的显著部分{S_IR,S_VIS}进行区域分割，求得以像素(m,n)为中心的区域能量E_IR(m,n)和E_VIS(m,n)，计算公式如下：

其中，(m',n')为区域窗口内的像素相对于中心像素的相对偏移量，X'、Y'为区域窗口的最大行、列坐标，窗口大小一般取3×3，

为窗口系数。通过中心像素的不断移动，得到显著部分的能量分布图{E_IR,E_VIS}；然后根据区域能量自适应准则构建能量权重{β₁,β₂}，计算公式如下：

根据式(11)可知，若某一区域的能量越大，则与之相对应的加权系数就越大，在最终的能量权重图中所占的比例就越高；反之，较小的区域能量对应较小的加权系数，对能量权重图的贡献也就越小，符合图像本身特征对权重系数的影响。

阶段三

根据阶段一获得的显著度权重图{α₁,α₂}与阶段二获得的能量权重图{β₁,β₂}，结合自适应准则计算联合权重图{γ₁,γ₂}，计算公式如下：

然后，通过自适应联合权重对显著部分{S_IR,S_VIS}进行加权融合，得到融合后的显著部分S_F，计算公式如下：

S_F(x,y)＝γ₁(x,y)×S_IR(x,y)+γ₂(x,y)×S_VIS(x,y) (13)

根据上式可知，在图像显著度与区域能量的双重约束下，不仅能够保留图像本身的特征，而且能够突显显著性特征，提升场景的辨识度。

步骤四：图像重建

根据不同的融合规则得到融合后的低秩部分G_F与显著部分S_F后，舍弃稀疏噪声{N_IR,N_VIS}，进行图像重建，得到融合后的图像F，计算公式如下：

F＝G_F+S_F (14)

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，其特征在于，包括：

S1、对红外与可见光图像进行潜在低秩表示DLatLRR(分解)，得到对应的低秩部分、显著部分及稀疏噪声；

S2、分别采用VGG·Net模型和联合特征加权算法分别对低秩部分与显著部分进行融合；

S3、对融合得到的低秩部分和显著部分进行图像重建，得到融合图像。

2.根据权利要求1所述的一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，其特征在于：所述S1中，对红外与可见光图像进行潜在低秩表示DLatLRR的方式为：

S101、确定LatLRR的红外与可见光图像数学模型；

S102、分别对数据模型中矩阵组合进行双极性优化处理，得到图像低秩部分、显著部分及稀疏噪声。

3.根据权利要求1所述的一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，其特征在于：所述低秩部分融合步骤为：

S2011、将红外与可见光图像的低秩部分分别输入VGG·16网络，提取第i个卷积组的输出，根据L1范数对输出的多通道特征图进行压缩，得到单通道特征图；

S2012、根据单通道特征图，计算初始的归一化自适应权重；

S2013、采用上采样对归一化自适应权重的图形进行尺寸重整，得到尺寸大小与原始低秩部分一致的四组权重图，并以此分别对红外与可见光图像的低秩部分进行融合；

S2014、对四组权重融合后的低秩部分根据绝对值最大准则同一位置的四个值进行选取，得到融合的低秩部分。

4.根据权利要求1所述的一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，其特征在于：所述显著部分融合步骤为：

S2021、通过红外与可见光源图像的显著图构建显著度权重；

S2022、通过源图像显著部分的区域能量构建能量权重；

S2023、将显著度权重和能量权重整合，并对显著部分进行融合。

5.根据权利要求1所述的一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，其特征在于：所述图像重建时需舍弃稀疏噪声。

Images