CN113139585B - 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种基于统一多尺度密集连接网络的红外与可见光图像融合方法。该方法具体包括以下步骤：（1）构建多尺度密集连接特征编码子网络。特征编码子网络提取两类图像的多尺度深度特征；（2）设计正则化双注意力融合层。采用空间和通道正则化注意力模块，对多尺度深度特征进行增强和合并得到最终的融合特征；（3）构建多尺度密集连接特征解码子网络。特征解码子网络重构最终的融合特征得到融合图像。本发明克服了现有深度学习融合方法不能有效提取源图像的多尺度深度特征，不能有效对多尺度深度特征进行增强，从而导致融合图像中目标亮度降低和纹理细节信息丢失的问题，可应用于在遥感探测、医疗诊断、智能驾驶、安全监控等领域。

Description

一种基于统一多尺度密集连接网络的红外与可见光图像融合 方法

技术领域

本发明涉及图像处理、人工智能领域的图像融合方法，具体为一种基于统一多尺度密集连接网络的红外与可见光图像融合方法。

背景技术

红外与可见光图像融合技术是将两类图像合成一幅有利于人眼观察和进一步信息处理的融合图像。红外成像传感器可以获取突出的目标区域信息，可以全天时全天候工作，但获得的图像往往缺乏结构特征和纹理细节。相反，可见光图像传感器可以获取丰富的场景信息和纹理细节，但无法捕捉热目标信息，容易受到光照条件改变和天气变化的影响。由于红外和可见光成像机制的不同，这两类图像具有较强的互补信息，得到的融合图像应具有优越的场景再现和更好的视觉感知能力。因此，图像融合技术可以提高红外与可见光成像传感器的协同探测能力，广泛应用于遥感探测、医疗诊断、智能驾驶、安全监控等领域。

目前，红外和可见光图像融合技术大致可以分为传统融合方法和深度学习融合方法。传统融合方法通常采用统一的特征变换或特征表示来解决融合问题，例如多尺度变换融合方法和稀疏表示融合方法。传统融合方法通常忽略源图像的特征差异性，不加区分地提取相似的显著特征，这样不可避免地影响图像融合性能。此外，人为设计的变换参数、特征表示和计算复杂一直是限制其应用的难点。近年来，由于卷积运算在特征提取方面的强大能力以及大数据驱动的模式下，基于深度学习的融合方法已经成为图像融合任务中最有前途和最有吸引力的方向。基于深度学习的融合方法虽然取得了令人满意的效果，但还存在一些不足。首先，这些方法依赖于最后一层的特征，而忽略了中间层的特征相关性，深度特征不能够充分利用，阻碍了图像融合任务的表征能力。其次，这些方法不能有效提取多尺度深度特征，而粗细尺度特征可以更好地表示不同目标的空间信息，缺乏多尺度深度特征易导致融合图像的细节缺失。最后，这些方法只注重局部特征的提取，而没有考虑到它们的全局相关性，缺乏对是深度特征进行增强，易导致融合图像的目标区域亮度降低和纹理细节模糊。

综上所述，急需一种能够有效提取图像多尺度深度特征，强化深度特征的表征能力，增强有用信息时抑制无关信息，进而提高可见光与红外图像的融合效果。

发明内容

本发明为了解决现有深度学习融合方法不能有效提取源图像的多尺度深度特征，不能有效对多尺度深度特征进行增强，从而导致融合图像中目标亮度降低和纹理细节信息丢失的问题，提出一种基于统一多尺度密集连接网络的红外与可见光图像融合方法。

本发明是一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，包括以下步骤：

1、构建多尺度密集连接特征编码子网络。特征编码子网络提取两类图像的多尺度深度特征。编码子网络采用横向密集跳转连接和纵向密集下采样连接，所有的不同层、不同尺度的深度特征都被用于特征表示，提高了编码子网络的特征提取和特征表征能力。

上述的编码子网络由四个普通卷积模块和六个组合卷积模块组成。普通卷积模块使用3×3卷积核，普通卷积模块EConv1，EConv2，EConv3，EConv4的输入通道数分别为1，16，32，48，输出通道数分别为16，32，48，64。组合卷积模块由1×1和3×3两个卷积层构成，ECB20，ECB30，ECB31，ECB40，ECB41和ECB42的输入通道数分别是48，80，208，112，288，752，输出通道数分别为64，96，256，128，304，1024，其中对于组合卷积模块，1×1卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1，填充为0，紧跟修正线性单元(ReLU)。

上述的横向密集跳转连接。在编码子网络中，在第三、第四尺度中建立横向密集跳转连接，采用通道连接(concatenation)方式，将EConv3的输出跳转到ECB31的输入，EConv4的输出跳转到ECB41和ECB42的输入，ECB40的输出跳转到ECB42的输入。通过横向密集跳转连接，所有中间层的深度特征都被用于特征表示，提高了多尺度深度特征的表征能力。

上述的纵向密集下采样连接。在编码子网络中，在所有尺度中建立纵向密集连接，采用下采样操作的方式，将EConv1的输出连接到EConv2和ECB20的输入，EConv2的输出连接到EConv3和ECB30的输入，ECB20的输出连接到ECB31的输入，EConv3的输出连接到EConv4和ECB40的输入，ECB30的输出连接到ECB41的输入，ECB31的输出连接到ECB42的输入。通过纵向密集下采样连接，所有尺度特征被利用，进一步提高深度特征的表征能力。

上述的下采样操作，分别采用了2×2平均池化、2×2最大池化和步长为2的步长卷积。经过实验验证，步长卷积取得最优融合性能，因此最终步长为2的步长卷积作为下采样操作。

2、设计正则化双注意力融合层。对于红外和可见光图像的多尺度深度特征，经过空间L_p正则化注意力模块后，得到两类图像的空间注意力融合特征；经过通道L_p注意力模块后，得到两类图像的通道注意力融合特征，最后将空间和通道注意力融合特征进行加权得到最终的融合特征。

上述的空间注意力特征融合过程，对于红外和可见光图像的多尺度深度特征Φ_I、Φ_V，分别沿着通道方向计算对应位置像素的L_p范数，得到各自的空间注意力映射矩阵

和

分别表示为：

和

然后用Softmax操作计算红外和可见光图像的空间加权系数

和

分别表示为

和

最后，将红外和可见光图像的空间加权系数与对应的深度特征相乘得到空间注意力融合特征

其中，(i,j)表示像素位置，C表示深度特征通道数。

上述的通道注意力特征融合过程，对于红外和可见光图像的多尺度深度特征Φ_I、Φ_V，分别计算对应通道特征图的L_p范数，得到各自的通道注意力映射向量

和

分别表示为：

和

然后用Softmax操作计算红外和可见光图像的通道加权系数

和

分别表示为

和

最后，将红外和可见光图像的通道加权系数与对应的深度特征相乘得到通道注意力融合特征

其中，c表示深度特征通道索引，且c＝1,2,…C。

上述的空间和通道注意力特征融合过程中，在计算L_p范数时，选择p＝1、p＝2和p＝∞，分别表示L₁、L₂和L_∞范数，采用三种范数计算方式得到三种融合结果。

上述的空间和通道注意力特征融合。将红外图像和可见光图像的空间和通道注意力融合特征进行简单加权得到最终的融合特征

3、构建多尺度密集连接特征解码子网络。特征解码子网络重构最终的融合特征得到融合图像。解码子网络采用横向密集跳转连接和纵向密集上采样连接，所有的不同层、不同尺度的深度特征都被用于特征重构，提高了解码子网络的特征重构能力。

上述的解码子网络构成由一个普通卷积模块和六个组合卷积模块组成。普通卷积模块DConv1使用3×3卷积核，输入输出通道数分别为16，1。组合卷积模块由两个3×3卷积层构成，组合卷积模块DCB30，DCB20，DCB21，DCB10，DCB11和DCB12的输入通道数分别是1280，320，384，80，96，112，输出通道数分别为256，64，64，16，16，16，其中，对于组合卷积模块，第一个3×3卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1，填充为0，紧跟修正线性单元(ReLU)。

上述的横向密集跳转连接。在解码子网络中，在第一、第二尺度中采用横向密集跳转连接，采用通道连接(concatenation)方式，将第二尺度的最终融合特征跳转连接到DBC21的输入，将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入，将DCB10的输出跳转连接到DCB12的输入。通过横向密集跳转连接，所有中间层的深度特征都被用于特征重构，提高多尺度深度特征的重构能力。

上述的纵向密集上采样连接。在解码子网络中，在所有尺度中建立纵向密集连接，采用上采样操作方式，将第四尺度的最终融合特征连接到DCB30的输入，第三尺度的最终融合特征连接到DCB20的输入，第二尺度的最终融合特征连接到DCB10的输入，将DCB30的输出连接到DCB21的输入，DCB20的输出连接到DCB11的输入，DCB21的输出连接到DCB12的输入。通过纵向密集上采样连接，所有尺度特征被用于特征重构，进一步提高了多尺度深度特征的重构能力。在这里，上采样操作采用双线性插值算法。

本发明与现有深度学习融合技术相比，具有以下优点：

1、本发明将密集连接嵌入编码和解码子网络中，编码网络可以有效提取图像的多尺度深度特征，解码子网络可以有效重构多尺度深度特征，所有的不同层、不同尺度的深度特征都被利用，能够有效增强多尺度深度特征表征能力和重构能力，进而提高图像融合性能；

2、本发明采用空间和通道正则化注意力模型，从空间和通道维度对多尺度深度特征进行增强和合并，增强有用信息同时抑制无关信息，使融合图像在突出红外图像目标信息同时保留可见光图像丰富的细节信息；

3、本发明建立了面向红外与可见光的统一多尺度密集连接网络融合方法，融合效果明显提升，该方法也可以应用于多模态图像、多聚焦图像和医学图像融合，对图像融合领域具有很高的应用价值。

附图说明

图1为本发明所述方法的融合示意图；

图2为本发明所述方法的训练示意图；

图3为本发明所述方法的双正则化注意力特征融合示意图；

图4为红外图像；

图5为可见光图像；

图6为L₁正则化融合图像；

图7为L₂正则化融合图像；

图8为L_∞正则化融合图像。

具体实施方式

一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，包括以下步骤：

S1：构建多尺度密集连接特征编码子网络。特征编码子网络包括四个普通卷积模块和六个组合卷积模块，提取两类图像的多尺度深度特征。

S11：编码子网络构成。编码网络由四个普通卷积模块和六个组合卷积模块组成。普通卷积模块使用3×3卷积核，普通卷积模块EConv1，EConv2，EConv3，EConv4的输入通道数分别为1，16，32，48，输出通道数分别为16，32，48，64。组合卷积模块由1×1和3×3两个卷积层构成，ECB20，ECB30，ECB31，ECB40，ECB41和ECB42的输入通道数分别是48，80，208，112，288，752，输出通道数分别为64，96，256，128，304，1024，其中对于组合卷积模块，1×1卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1，填充为0，紧跟修正线性单元(ReLU)。

S12：横向密集跳转连接。在编码子网络中，在第三、第四尺度中建立横向密集跳转连接，采用通道连接(concatenation)方式，将EConv3的输出跳转到ECB31的输入，EConv4的输出跳转到ECB41和ECB42的输入，ECB40的输出跳转到ECB42的输入。通过横向密集跳转连接，所有中间层的深度特征都被用于特征表示，提高了多尺度深度特征的表征能力。

S13：纵向密集下采样连接。在编码子网络中，在所有尺度中建立纵向密集连接，采用下采样操作的方式，将EConv1的输出连接到EConv2和ECB20的输入，EConv2的输出连接到EConv3和ECB30的输入，ECB20的输出连接到ECB31的输入，EConv3的输出连接到EConv4和ECB40的输入，ECB30的输出连接到ECB41的输入，ECB31的输出连接到ECB42的输入。通过纵向密集下采样连接，所有尺度特征被利用，进一步提高深度特征的表征能力。对于下采样操作，分别采用了2×2平均池化、2×2最大池化和步长为2的步长卷积。经过实验验证，步长卷积取得最优融合性能，因此最终步长为2的步长卷积作为下采样操作。

S2：设计正则化双注意力融合层。采用空间和通道L_p正则化注意力模块，对多尺度深度特征进行增强和合并得到最终的融合特征。

S21：空间注意力特征融合。对于红外和可见光图像的多尺度深度特征Φ_I、Φ_V，分别沿着通道方向计算对应位置像素的L_p范数，得到各自的空间注意力映射矩阵

和

分别表示为：

和

然后用Softmax操作计算红外和可见光图像的空间加权系数

和

分别表示为

和

最后，将红外和可见光图像的空间加权系数与对应的深度特征相乘得到空间注意力融合特征

其中，(i,j)表示像素位置，C表示深度特征通道数。

S22：通道注意力特征融合。对于红外和可见光图像的多尺度深度特征Φ_I、Φ_V，分别计算对应通道特征图的L_p范数，得到各自的通道注意力映射向量

和

分别表示为：

和

然后用Softmax操作计算红外和可见光图像的通道加权系数

和

分别表示为

和

最后，将红外和可见光图像的通道加权系数与对应的深度特征相乘得到通道注意力融合特征

其中，c表示深度特征通道索引，且c＝1,2,…C。

S23：对于空间和通道注意力模块，在计算L_p范数时，选择p＝1、p＝2和p＝∞，分别表示L₁、L₂和L_∞范数，采用三种范数计算方式得到三种融合结果。

S24：空间和通道注意力特征融合。将红外图像和可见光图像的空间和通道注意力融合特征进行简单加权得到最终的融合特征

S3：构建多尺度密集连接特征解码子网络。特征解码子网络包括一个普通卷积模块和六个组合卷积模块，重构最终的融合特征得到融合图像。

S31：解码子网络构成。解码子网络由一个普通卷积模块和六个组合卷积模块组成。普通卷积模块DConv1使用3×3卷积核，输入输出通道数分别为16，1。组合卷积模块由两个3×3卷积层构成，组合卷积模块DCB30，DCB20，DCB21，DCB10，DCB11和DCB12的输入通道数分别是1280，320，384，80，96，112，输出通道数分别为256，64，64，16，16，16，其中，对于组合卷积模块，第一个3×3卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1，填充为0，紧跟修正线性单元(ReLU)。

S32：横向密集跳转连接。在解码子网络中，在第一、第二尺度中采用横向密集跳转连接，采用通道连接(concatenation)方式，将第二尺度的最终融合特征跳转连接到DBC21的输入，将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入，将DCB10的输出跳转连接到DCB12的输入。通过横向密集跳转连接，所有中间层的深度特征都被用于特征重构，提高多尺度深度特征的重构能力。

S33：纵向密集上采样连接。在解码子网络中，在所有尺度中建立纵向密集连接，采用上采样方式，将第四尺度的最终融合特征连接到DCB30的输入，第三尺度的最终融合特征连接到DCB20的输入，第二尺度的最终融合特征连接到DCB10的输入，将DCB30的输出连接到DCB21的输入，DCB20的输出连接到DCB11的输入，DCB21的输出连接到DCB12的输入。通过纵向密集上采样连接，所有尺度特征被用于特征重构，进一步提高了多尺度深度特征的重构能力。在这里，上采样方法采用双线性插值算法。

S4：网络模型训练。采用MS-COCO图像数据集，对输入可见光图像进行灰度化和尺寸调整，采用多尺度结构相似度和L₁为损失函数对网络模型进行训练，得到网络模型的超参数；

S41：训练数据集选定。从MS-COCO图像数据集选择80000张可见光图像作为训练集，将图像灰度范围转到[0,255]，尺寸转换为256×256。

S42：训练参数设定。总的损失函数由多尺度结构相似度损失函数L_{MS_SSIM}和L₁损失函数构成，表示为L_Total＝(1-β)L_l1+βL_{MS_SSIM}，其中，多尺度结构相似度损失函数表示为L_{MS_SSIM}＝1-MS-SSIM(O,I)，L₁损失函数表示为

M和N表示图像的大小，I和O表示输入和输出的图像，MS-SSIM表示多尺度结构相似度算子，β为控制网络平衡的超参数，在本发明中，β取值为0.87。batchsize和epoch大小分别为4和4，学习率为0.001。

Claims (7)

1.一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：包括以下步骤：

构建多尺度密集连接特征编码子网络：特征编码子网络包括四个普通卷积模块EConv1、EConv2、EConv3、EConv4和六个组合卷积模块ECB20、ECB30、ECB31、ECB40、ECB41和ECB42；特征编码子网络提取两类图像的多尺度深度特征；编码子网络采用横向密集跳转连接和纵向密集下采样连接，所有的不同层、不同尺度的深度特征都被用于特征表示，提高了编码子网络的特征提取和表征能力；

设计正则化双注意力融合层：对于红外和可见光图像的多尺度深度特征Φ_I、Φ_V，经过空间L_p正则化注意力模块，分别沿着通道方向计算对应位置像素的L_p范数，得到各自的空间注意力映射矩阵

和

分别表示为：

和

然后用Softmax操作计算红外和可见光图像的空间加权系数

和

分别表示为

和

最后，将红外和可见光图像的空间加权系数与对应的深度特征相乘得到空间注意力融合特征

其中，(i,j)表示像素位置，C表示深度特征通道数，同时，经过通道L_p正则化注意力模块，计算对应通道特征图的L_p范数，得到各自的通道注意力映射向量

和

分别表示为：

和

然后用Softmax操作计算红外和可见光图像的通道加权系数

和

分别表示为

和

最后，将红外和可见光图像的通道加权系数与对应的深度特征相乘得到通道注意力融合特征

其中，c表示深度特征通道索引，且c＝1,2,…C；最后将空间和通道注意力融合特征进行加权得到最终的融合特征；

构建多尺度密集连接特征解码子网络：解码子网络包括一个普通卷积模块DConv1和六个组合卷积模块DCB30、DCB20、DCB21、DCB10、DCB11和DCB12，特征解码子网络重构最终的融合特征得到融合图像，解码子网络采用横向密集跳转连接和纵向密集上采样连接，所有的不同层、不同尺度的深度特征都被用于特征重构，提高了解码子网络的特征重构能力；

在训练阶段，采用MS-COCO图像数据集，对输入可见光图像进行灰度化和尺寸调整，采用多尺度结构相似度和L₁为损失函数对网络模型进行训练，得到网络模型的超参数。

2.根据权利要求1所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：提取多尺度深度特征的编码子网络包括四个普通卷积模块和六个组合卷积模块，普通卷积模块使用3×3卷积核，普通卷积模块EConv1，EConv2，EConv3，EConv4的输入通道数分别为1，16，32，48，输出通道数分别为16，32，48，64；组合卷积模块由1×1和3×3两个卷积层构成，ECB20，ECB30，ECB31，ECB40，ECB41和ECB42的输入通道数分别是48，80，208，112，288，752，输出通道数分别为64，96，256，128，304，1024，其中对于组合卷积模块，1×1卷积层的输出通道数是输入通道数的一半，所有卷积层的步长为1，填充为0，紧跟修正线性单元。

3.根据权利要求2所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：重构多尺度深度特征的解码子网络包括一个普通卷积模块和六个组合卷积模块，普通卷积模块DConv1使用3×3卷积核，输入输出通道数分别为16，1，组合卷积模块由两个3×3卷积层构成，组合卷积模块DCB30，DCB20，DCB21，DCB10，DCB11和DCB12的输入通道数分别是1280，320，384，80，96，112，输出通道数分别为256，64，64，16，16，16，其中，对于组合卷积模块，第一个3×3卷积层的输出通道数是输入通道数的一半，所有卷积层的步长为1，填充为0，紧跟修正线性单元。

4.根据权利要求3所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：在编码子网络中，在第三、第四尺度中建立横向密集跳转连接，采用通道连接方式，将EConv3的输出跳转到ECB31的输入，EConv4的输出跳转到ECB41和ECB42的输入，ECB40的输出跳转到ECB42的输入，通过横向密集跳转连接，所有中间层的深度特征都被用于特征表示，提高了多尺度深度特征的表征能力；在编码子网络中，在所有尺度中建立纵向密集连接，采用下采样的方式，将EConv1的输出连接到EConv2和ECB20的输入，EConv2的输出连接到EConv3和ECB30的输入，ECB20的输入连接到ECB31的输入，EConv3的输出连接到EConv4和ECB40的输入，ECB30的输出连接到ECB41的输入，ECB31的输出连接到ECB42的输入，通过纵向密集下采样连接，所有尺度特征被利用，进一步提高深度特征的表征能力。

5.根据权利要求4所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：在解码子网络中，在第一、第二尺度中采用横向密集跳转连接，采用通道连接方式，将第二尺度的最终融合特征跳转连接到DBC21的输入，将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入，将DCB10的输出跳转连接到DCB12的输入，通过横向密集跳转连接，所有中间层的深度特征都被用于特征重构，提高多尺度深度特征的重构能力；在解码子网络中，在所有尺度中建立纵向密集连接，采用上采样方式，将第四尺度的最终融合特征连接到DCB30的输入，第三尺度的最终融合特征连接到DCB20的输入，第二尺度的最终融合特征连接到DCB10的输入，将DCB30的输出连接到DCB21的输入，DCB20的输出连接到DCB11的输入，DCB21的输出连接到DCB12的输入，通过纵向密集上采样连接，所有尺度特征被用于特征重构，进一步提高了多尺度深度特征的重构能力。

6.根据权利要求4所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：对于2×2平均池化、2×2最大池化和步长为2的步长卷积的下采样操作，步长卷积取得最优融合性能，因此最终步长为2的步长卷积作为下采样操作。

7.根据权利要求1所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法，其特征在于：计算L_p范数时，对于空间和通道正则化注意力模块，选择p＝1、p＝2和p＝∞，分别表示L₁、L₂和L_∞范数，采用了这种三种范数计算方式，得到三种融合结果。

Images