CN118172559A - 基于语义分割及边缘特征和梯度特征提取的图像融合方法 - Google Patents

Abstract

本申请提供了一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，涉及新一代信息技术领域。本发明包括以下步骤：S1、获取网络训练集和网络测试集；S2、构建基于语义分割及边缘特征和梯度特征提取的神经网络；S3、计算总体损失L_overall，并基于总体损失L_overall训练基于语义分割及边缘特征和梯度特征提取的神经网络，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；S4、将红外图像和可见光图像输入至步骤S3得到的基于语义分割及边缘特征和梯度特征提取的神经网络模型中前向传播一次，得到彩色融合图像。本申请得到的融合图像更适用于后续的分割任务。

Description

基于语义分割及边缘特征和梯度特征提取的图像融合方法

技术领域

本发明属于新一代信息技术领域，具体公开了一种基于语义分割及边缘特征和梯度特征提取的图像融合方法。

背景技术

红外图像与可见光图像融合是一种常见的信息融合技术，在军事和民用领域都有很广泛的应用。将红外图像与可见光图像这两种不同模态的图像进行融合，主要是由于红外图像具有目标散发出的红外信息，能有效地突出显著目标，但是纹理细节信息较少；可见光图像存在大量的纹理细节，但是无法有效地突出显著目标。因此，将红外图像与可见光图像进行融合可将红外图像和可见光图像中的互补信息有效地融合到一张图像中。目前，现有的红外图像与可见光图像融合技术中主要包括传统图像融合方法和深度学习图像融合方法。而现有的深度学习图像融合方法主要存在下述问题：特征提取不充分，得到的融合图像在后续分割任务中表现不佳。针对上述问题，本申请提出了一种基于语义分割及边缘特征和梯度特征提取的图像融合方法。

发明内容

为了弥补现有技术的不足，本申请提出了一种基于语义分割及边缘特征和梯度特征提取的图像融合方法。

本发明的技术方案为：

一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，包括如下步骤：

S1、获取网络训练集和网络测试集；

S2、构建基于语义分割及边缘特征和梯度特征提取的神经网络，所述基于语义分割及边缘特征和梯度特征提取的神经网络包括依次连接的图像空间转换模块、图像融合网络以及语义分割网络；其中，图像空间转换模块用于对可见光图像进行处理，得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像；图像融合网络用于对红外图像和Y通道图像进行图像融合得到包含丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征的单通道图像，并将单通道图像与Cb通道图像和Cr通道图像进行通道拼接和格式转换得到彩色融合图像；语义分割网络用于对彩色融合图像进行语义分割，得到分割图像；

S3、计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失L_overall，并基于总体损失L_overall训练基于语义分割及边缘特征和梯度特征提取的神经网络，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；其中，已配对源图像是指输入至基于语义分割及边缘特征和梯度特征提取的神经网络的已配对的原始红外图像和原始可见光图像；

S4、将红外图像和可见光图像输入至步骤S3得到的基于语义分割及边缘特征和梯度特征提取的神经网络模型中前向传播一次，得到彩色融合图像。

优选地，选用MSRS数据集中的训练集作为网络训练集；并从MSRS数据集中的测试集中随机选取20对已经配准的正常光场景下的红外图像和可见光图像以及20对已经配准的低光场景下的红外图像和可见光图像，构成网络测试集。

优选地，图像融合网络包括两个特征提取单元，其中一个特征提取单元用于提取红外图像中的全局特征、局部特征、边缘特征和梯度特征；另一个特征提取单元与图像空间转换模块的输出端连接，用于提取Y通道图像中的全局特征、局部特征、边缘特征和梯度特征；两个特征提取单元均与Concat层连接，Concat层依次连接三个卷积块Ⅰ、一个卷积块Ⅱ以及一个格式转换模块；其中，Concat层用于对两个特征提取单元输出的特征图进行通道拼接；第一个卷积块Ⅰ至第三个卷积块Ⅰ分别用于对输入其中的特征图进行降维操作；卷积块Ⅱ用于降维操作，并利用Tan h 激活层将像素值映射到特定范围，得到单通道融合图像；格式转换模块用于将单通道融合图像转换成彩色融合图像。

优选地，特征提取单元包括两个全局特征和局部特征提取模块以及两个边缘特征和梯度特征提取模块，第一个全局特征和局部特征提取模块、第一个边缘特征和梯度特征提取模块、第二个全局特征和局部特征提取模块以及第二个边缘特征和梯度特征提取模块依次连接；两个全局特征和局部特征提取模块均用于对输入其中的图像或者特征图进行升维操作以及对全局特征和局部特征进行提取的操作，输出具有包含丰富的全局特征和局部特征的特征图；两个边缘特征和梯度特征提取模块均是用于进行输入其中的特征图中的边缘特征和梯度特征进行提取，输出具有丰富的边缘特征和梯度特征的特征图。

优选地，全局特征和局部特征提取模块，包括分支Ⅰ和分支Ⅱ；分支Ⅰ包括采用密集连接方式连接的第一个卷积块Ⅲ、第一个卷积块Ⅳ、第一个Add层、第二个卷积块Ⅳ以及第二个Add层；分支Ⅱ包括依次连接的第二个卷积块Ⅲ、Transformer块以及第三个卷积块Ⅳ，第一个卷积块Ⅲ和第二个卷积块Ⅲ的输入端并联，第三个卷积块Ⅳ的输出端与第二个Add层的输入端连接；其中，分支Ⅰ用于提取输入至全局特征和局部特征提取模块的图像或者特征图中更多的局部特征，并进行升维；分支Ⅱ用于对输入全局特征和局部特征提取模块中的图像或者特征图进行全局特征提取，并进行升维；其中，分支Ⅱ中的第二个卷积块Ⅲ用于对输入至全局特征和局部特征提取模块的图像或者特征图进行特征提取，并进行升维，Transformer块用于对第二个卷积块Ⅲ输出的特征图进行全局特征提取，输出具有全局特征依赖关系的特征图，第三个卷积块Ⅳ用于对Transformer块输出的特征图再次进行全局特征提取，得到具有全局特征的特征图；而分支Ⅰ中的第二个Add层用于对第一个卷积块Ⅲ输出的特征图、第一个卷积块Ⅳ输出的特征图、第二个卷积块Ⅳ输出的特征图以及第三个卷积块Ⅳ输出的特征图进行逐元素相加，输出具有丰富的全局特征和局部特征的特征图。

优选地，边缘和梯度保持模块包括三个分支，第一分支由依次连接的第一个卷积块Ⅴ、第一个卷积块Ⅵ以及第二个卷积块Ⅴ构成，第二分支由依次连接的第二个卷积块Ⅵ与Sobel算子连接构成，第三分支由依次连接的第三个卷积块Ⅵ和Scharr算子构成，第一分支、第二分支和第三分支并联，第一分支、第二分支和第三分支的输出端均与Add层相连接；其中，第一分支中第一个卷积块Ⅴ和第二个卷积块Ⅴ均用于对输入其中的特征图进行降低参数操作，第一个卷积块Ⅵ用于对输入其中的特征图进行特征提取操作；第二分支中第二个卷积块Ⅵ用于对输入其中的特征图进行特征提取，Sobel算子用于对第二个卷积块Ⅵ输出的特征图中的梯度特征进行提取，输出具有丰富梯度特征的特征图；第三分支中第三个卷积块Ⅵ用于对输入其中的特征图进行特征提取，Scharr算子用于对第三个卷积块Ⅵ输出的特征图中的目标边缘特征进行提取，输出具有丰富边缘特征特征图；而Add层则用于对第一分支中第二个卷积块Ⅴ输出的特征图、第二分支中Sobel算子输出的具有丰富梯度特征的特征图以及第三分支中Scharr算子输出的具有丰富边缘特征的特征图进行逐元素相加，得到具有丰富的边缘特征和梯度特征的特征图。

优选地，语义分割网络采用的是现有的轻量级语义分割网络LiteSeg。

优选地，步骤S3具体步骤如下：

S3-1：将网络训练集中的可见光图像输入至图像空间转换模块，图像空间转换模块将可见光图像转化为YCbCr图像空间，然后，将可见光图像的Y通道图像、Cb通道图像和Cr通道图像分别分离出来，得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像；

S3-2：网络训练集中的红外图像和步骤S3-1得到的Y通道图像输入至基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络中，得到单通道融合图像；而后，单通道融合图像、Cb通道图像以及Cr通道图像均输入至图像融合网络中的格式转换模块中，格式转换模块将单通道融合图像、Cb通道图像以及Cr通道图像融合在一起，得到YCbCr颜色空间，而后，格式转换模块将YCbCr颜色空间进行格式转换，得到彩色融合图像；而后，语义分割网络LiteSeg对彩色融合图像进行分割，得到分割图像，而后，计算分割图像以及已配对源图像相对应的标签之间的语义损失，计算彩色融合图像与已配对源图像之间的内容损失，而后基于语义损失和内容损失计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失L_overall，并利用计算出的总体损失L_overall迭代更新基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络以及语义分割网络LiteSeg的参数，迭代训练4个过程，每一个迭代训练过程中迭代训练20000次，迭代训练4个过程后，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；其中，已配对源图像是指输入至基于语义分割及边缘特征和梯度特征提取的神经网络的已配对的原始红外图像和原始可见光图像。

优选地，所述总体损失L_overall包括内容损失L_cont和语义损失L_sea，总体损失L_overall与内容损失L_cont和语义损失L_sea的关系，如式（1）所示：

（1）

式（1）中，ζ作为平衡因子用于平衡内容损失L_cont和语义损失L_sea，本申请中对基于语义分割及边缘特征和梯度特征提取的神经网络进行训练时共迭代训练4个过程，其中，第一个迭代训练过程至第四个迭代训练过程中的ζ分别设置为0、1、2和3。

与现有技术相比，本发明的有益效果如下：

本申请所构建的全局特征和局部特征提取模块能够提取全局特征和局部特征，输出具有包含丰富的全局特征和局部特征的特征图，边缘特征和梯度特征提取模块能够提取边缘特征和梯度特征，输出具有丰富的边缘特征和梯度特征的特征图。由于本申请构建的特征提取单元中的第一个全局特征和局部特征提取模块能够输出包含丰富的全局特征和局部特征的特征图，而第一个边缘特征和梯度特征提取模块对第一个全局特征和局部特征提取模块输出的特征图中的边缘特征和梯度特征进行提取，因此，第一个边缘特征和梯度特征提取模块输出的特征图中包含了丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征，而第二个全局特征和局部特征提取模块又是对第一个边缘特征和梯度特征提取模块输出的特征图中的全局特征和局部特征进行提取，第二个边缘和梯度特征是对第一个边缘特征和梯度特征提取模块输出的特征图中的边缘特征和梯度特征进行提取，因此，特征提取单元输出的特征图中包含了丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征；两个特征提取单元输出的特征图后续只是依次经过Concat层的通道拼接、第一个卷积块Ⅰ至第三个卷积块Ⅰ的降维操作、卷积块Ⅱ的降维处理以及格式转换模块的通道拼接和格式转换处理，因此，本申请图像融合网络输出的彩色融合图像中包含了丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征。而后，本申请利用语义分割网络对彩色融合图像进行分割，得到分割图像，而后，计算分割图像以及已配对源图像相对应的标签之间的语义损失，计算彩色融合图像与已配对源图像之间的内容损失，而后基于语义损失和内容损失计算总体损失L_overall，而后基于总体损失L_overall训练基于语义分割及边缘特征和梯度特征提取的神经网络，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；其中，已配对源图像是指输入至基于语义分割及边缘特征和梯度特征提取的神经网络的已配对的原始红外图像和原始可见光图像。

通过本申请所述融合方法方法得到的融合图像进行分割测试可知，利用DeepLabV3+网络对本申请所述的图像融合方法得到的融合图像进行分割，能够分割出与源图像更加接近的结果，且分割图像中语义目标的区域范围更大，显然，本申请所述融合方法得到的融合图像更适用于后续的分割任务，这也证明了本申请所述的图像融合方法得到的融合图像能够保存更为丰富的语义信息。

附图说明

图1为本发明一种基于基于语义分割及边缘特征和梯度特征提取的图像融合方法的总体流程图；

图2为本发明中图像融合网络和语义分割网络的连接关系示意图；

图3为图2中全局和局部特征保持模块的网络结构示意图；

图4为图2中边缘和梯度保持模块的网络结构示意图；

图5为本发明所述图像融合方法以及七种现有图像融合方法基于图像融合网络的测试集得到的融合图像；其中，图5中，(a)图表示用于输入的可见光图像原始图像、(b)图是用于输入的红外图像原始图像、(c)图至(j)图分别表示NestFuse图像融合方法、MDLatLRR图像融合方法、FusionGAN图像融合方法、DATFuse图像融合方法、PIAFusion图像融合方法、BTSFusion图像融合方法、U2Fusion图像融合方法以及本发明所述图像融合方法得到的融合图像；

图6为利用DeepLab V3+网络对本发明所述图像融合方法以及八种现有图像融合方法得到的融合图像进行全景分割的测试效果展示图；图6中，(a)图和(b)图为输入至DeepLab V3+网络中的 MSRS数据集中的红外图像与可见光图像，(c)图和(d)图为利用DeepLab V3+网络对输入的可见光图像以及红外图像进行图像分割测试的测试效果展示图，(e)图至(l)图分别表示利用 DeepLab V3+网络对 NestFuse图像融合方法、MDLatLRR图像融合方法、FusionGAN图像融合方法、DATFuse图像融合方法、PIAFusion图像融合方法、BTSFusion图像融合方法、U2Fusion图像融合方法以及本申请所述图像融合方法生成的融合图像进行图像分割的测试效果展示图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本实施例提供的一种基于语义信息增强的红外与可见光图像融合方法，其总体流程图如图1所示，具体包括以下步骤：

S1、获取网络训练集和网络测试集；

本申请选用MSRS数据集中的训练集作为本申请的网络训练集；MSRS数据集中的训练集中包括 1083 对已经配准的红外图像和可见光图像，且MSRS数据集中的训练集中的可见光图像包括正常光场景下的可见光图像和低光场景下的可见光图像；

并从MSRS数据集中的测试集中随机选取20对已经配准的正常光场景下的红外图像和可见光图像以及20对已经配准的低光场景下的红外图像和可见光图像，构成本申请的网络测试集；

本申请中选用的MSRS数据集为现有的数据集，该现有的MSRS数据集中存在已经划分好的测试集和训练集，并且具有相应的标签，MSRS数据集的获取的网址为：GitHub-Linfeng-Tang/MSRS:MSRS: Multi-Spectral Road Scenarios for Practical Infraredand Visible Image Fusion。

S2、构建基于语义分割及边缘特征和梯度特征提取的神经网络，所述基于语义分割及边缘特征和梯度特征提取的神经网络包括依次连接的图像空间转换模块、图像融合网络以及语义分割网络，如图2所示；

其中，图像空间转换模块用于将可见光图像进行处理，得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像；图像融合网络用于对红外图像和可见光图像的Y通道图像进行图像融合得到包含丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征的单通道图像，并将单通道图像与Cb通道图像和Cr通道图像进行通道拼接和格式转换得到彩色融合图像；语义分割网络用于对彩色融合图像进行语义分割，得到分割图像；本申请中语义分割网络得到的分割图像用于计算其与已配对源图像相对应的标签之间的语义损失。

本申请中图像融合网络包括两个特征提取单元，其中一个特征提取单元用于提取红外图像中的全局特征、局部特征、边缘特征和梯度特征；另一个特征提取单元与图像空间转换模块的输出端连接，用于提取可见光图像的Y通道图像中的全局特征、局部特征、边缘特征和梯度特征；两个特征提取单元的结构相同、参数设置也相同；两个特征提取单元均与Concat层连接，Concat层依次连接三个卷积块Ⅰ、一个卷积块Ⅱ以及一个格式转换模块，其中，第一个卷积块Ⅰ至第三个卷积块Ⅰ结构相同，均包括一个卷积核大小为3×3的卷积层以及与该卷积层连接的LReLU激活层，卷积块Ⅱ包括一个卷积核大小为1×1的卷积层以及与该卷积层连接的Tan h激活层；其中，Concat层用于对两个特征提取单元输出的特征图进行通道拼接；第一个卷积块Ⅰ至第三个卷积块Ⅰ分别用于对输入其中的特征图进行降维操作；卷积块Ⅱ用于降维操作，并利用Tan h 激活层将像素值映射到特定范围，得到红外图像与可见光图像的Y通道图像的融合图像，即单通道融合图像，由于特征提取单元输出的是包含丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征的特征图，而该特征图后续只是依次经过Concat层的通道拼接、第一个卷积块Ⅰ至第三个卷积块Ⅰ的降维操作以及卷积块Ⅱ的降维处理，因此，单通道融合图像中也包含了丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征；本申请中格式转换模块用于将单通道融合图像与Cb通道图像和Cr通道图像进行通道拼接和格式转换得到彩色融合图像；

其中，特征提取单元包括两个全局特征和局部特征提取模块以及两个边缘特征和梯度特征提取模块，第一个全局特征和局部特征提取模块、第一个边缘特征和梯度特征提取模块、第二个全局特征和局部特征提取模块以及第二个边缘特征和梯度特征提取模块依次连接；第一个全局特征和局部特征提取模块以及第二个全局特征和局部特征提取模块的结构相同、功能也相同，两个全局特征和局部特征提取模块均是用于对输入其中的图像或者特征图进行升维操作以及对全局特征和局部特征进行提取的操作，输出具有包含丰富的全局特征和局部特征的特征图；第一个边缘特征和梯度特征提取模块以及第二个边缘特征和梯度特征提取模块的结构相同、功能也相同，两个边缘特征和梯度特征提取模块均是用于进行输入其中的特征图中的边缘特征和梯度特征进行提取，输出具有丰富的边缘特征和梯度特征的特征图；由于第一个全局特征和局部特征提取模块输出的特征图为包含丰富的全局特征和局部特征的特征图，而第一个边缘特征和梯度特征提取模块对第一个全局特征和局部特征提取模块输出的特征图中的边缘特征和梯度特征进行提取，因此，第一个边缘特征和梯度特征提取模块输出的特征图中包含了丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征，而第二个全局特征和局部特征提取模块又是对第一个边缘特征和梯度特征提取模块输出的特征图中的全局特征和局部特征进行提取，第二个边缘和梯度特征是对第一个边缘特征和梯度特征提取模块输出的特征图中的边缘特征和梯度特征进行提取，因此，特征提取单元输出的特征图中包含了丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征；

全局特征和局部特征提取模块的结构，如图3所示，包括分支Ⅰ和分支Ⅱ；分支Ⅰ包括采用密集连接方式连接的第一个卷积块Ⅲ、第一个卷积块Ⅳ、第一个Add层、第二个卷积块Ⅳ以及第二个Add层；分支Ⅱ包括依次连接的第二个卷积块Ⅲ、Transformer块以及第三个卷积块Ⅳ，第一个卷积块Ⅲ和第二个卷积块Ⅲ的输入端并联，第三个卷积块Ⅳ的输出端与第二个Add层的输入端连接；其中，第一个卷积块Ⅳ、第二个卷积块Ⅳ和第三个卷积块Ⅳ的结构相同，均包括一个卷积核大小为3×3的卷积层以及与该卷积层连接的LReLU激活层；第一个卷积块Ⅲ和第二个卷积块Ⅲ的结构相同，均包括一个卷积核大小为1×1的卷积层以及与该卷积层连接的LReLU激活层；

其中，采用密集连接的第一个卷积块Ⅲ、第一个卷积块Ⅳ、第一个Add层、第二个卷积块Ⅳ以及第二个Add层的分支Ⅰ用于提取输入至全局特征和局部特征提取模块的图像或者特征图中更多的局部特征，并进行升维；本申请中由于第一个全局特征和局部特征提取模块输入的是可见光图像的Y通道图像或者红外图像，因此，第一个全局特征和局部特征提取模块的分支Ⅰ用于提取输入至全局特征和局部特征提取模块的图像（即可见光图像的Y通道图像或者红外图像）中更多的局部特征；而第二个全局特征和局部特征提取模块输入的是特征图，因此，第二个全局特征和局部特征提取模块的分支Ⅰ用于提取输入至全局特征和局部特征提取模块的特征图中更多的局部特征；

而分支Ⅱ用于对输入全局特征和局部特征提取模块中的图像或者特征图进行全局特征提取，并进行升维；其中，分支Ⅱ中的第二个卷积块Ⅲ用于对输入至全局特征和局部特征提取模块的图像或者特征图进行特征提取，并进行升维，Transformer块用于对第二个卷积块Ⅲ输出的特征图进行全局特征提取，输出具有全局特征依赖关系的特征图，第三个卷积块Ⅳ用于对Transformer块输出的特征图再次进行全局特征提取，得到具有全局特征的特征图；本申请中由于第一个全局特征和局部特征提取模块输入的可见光图像的Y通道图像或者红外图像，因此，第一个全局特征和局部特征提取模块的分支Ⅱ中第二个卷积块Ⅲ是对输入其中的图像（即可见光图像的Y通道图像或者红外图像）进行特征提取和升维操作，得到升维后的特征图；而第二个全局特征和局部特征提取模块输入的是特征图，因此，第二个全局特征和局部特征提取模块的分支Ⅱ中第二个卷积块Ⅲ是对输入其中的特征图进行特征提取和升维操作，得到升维后的特征图；

而分支Ⅰ中的第二个Add层用于对第一个卷积块Ⅲ输出的特征图、第一个卷积块Ⅳ输出的特征图、第二个卷积块Ⅳ输出的特征图以及第三个卷积块Ⅳ输出的特征图进行逐元素相加，输出具有丰富的全局特征和局部特征的特征图。

边缘和梯度保持模块的结构，如图4所示，包括三个分支，第一分支由依次连接的第一个卷积块Ⅴ、第一个卷积块Ⅵ以及第二个卷积块Ⅴ构成，第二分支由依次连接的第二个卷积块Ⅵ与Sobel算子连接构成，第三分支由依次连接的第三个卷积块Ⅵ和Scharr算子构成，第一分支、第二分支和第三分支并联，第一分支、第二分支和第三分支的输出端均与Add层相连接，具体来说，第一分支中第二个卷积块Ⅴ的输出端、第二分支中Sobel算子的输出端以及第三分支中Scharr算子的输出端均与Add层相连接。其中，第一个卷积块Ⅴ和第二个卷积块Ⅴ的结构相同，均包括一个卷积核大小为1×1的卷积层以及与该卷积层连接的LReLU激活层；第一个卷积块Ⅵ、第二个卷积块Ⅵ和第三个卷积块Ⅵ的结构相同，均包括一个卷积核大小为3×3的卷积层以及与该卷积层连接的LReLU激活层；

其中，第一分支中第一个卷积块Ⅴ和第二个卷积块Ⅴ均用于对输入其中的特征图进行降低参数操作，第一个卷积块Ⅵ用于对输入其中的特征图进行特征提取操作；

第二分支中第二个卷积块Ⅵ用于对输入其中的特征图进行特征提取，Sobel算子用于对第二个卷积块Ⅵ输出的特征图中的梯度特征进行提取，输出具有丰富梯度特征的特征图；

第三分支中第三个卷积块Ⅵ用于对输入其中的特征图进行特征提取，Scharr算子用于对第三个卷积块Ⅵ输出的特征图中的目标边缘特征进行提取，输出具有丰富边缘特征特征图；

而Add层则用于对第一分支中第二个卷积块Ⅴ输出的特征图、第二分支中Sobel算子输出的具有丰富梯度特征的特征图以及第三分支中Scharr算子输出的具有丰富边缘特征的特征图进行逐元素相加，得到具有丰富的边缘特征和梯度特征的特征图。

本申请中语义分割网络采用的是现有的轻量级语义分割网络LiteSeg源自于论文《LiteSeg: A Novel Lightweight ConvNet for Semantic Segmentation》），该语义分割网络用于对将图像融合网络输出的彩色融合图像进行分割，得到分割图像。

S3、计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失L_overall，并基于总体损失L_overall训练基于语义分割及边缘特征和梯度特征提取的神经网络，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；

具体步骤如下：

S3-1：将网络训练集中的可见光图像输入至图像空间转换模块，图像空间转换模块将可见光图像转化为YCbCr图像空间，然后，将可见光图像的Y通道图像、Cb通道图像和Cr通道图像分别分离出来，得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像；

S3-2：网络训练集中的红外图像和步骤S3-1得到的Y通道图像输入至基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络中，得到单通道融合图像；而后，单通道融合图像、Cb通道图像以及Cr通道图像均输入至图像融合网络中的格式转换模块中，格式转换模块将单通道融合图像、Cb通道图像以及Cr通道图像融合在一起，得到YCbCr颜色空间，而后，格式转换模块将YCbCr颜色空间进行格式转换，得到彩色融合图像；而后，语义分割网络LiteSeg对彩色融合图像进行分割，得到分割图像，而后，计算分割图像以及已配对源图像相对应的标签之间的语义损失，计算彩色融合图像与已配对源图像之间的内容损失，而后基于语义损失和内容损失计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失L_overall，并利用计算出的总体损失L_overall迭代更新基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络以及语义分割网络LiteSeg的参数，迭代训练4个过程，每一个迭代训练过程中迭代训练20000次，迭代训练4个过程即迭代训练80000次后，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；本申请中，已配对源图像是指输入至基于语义分割及边缘特征和梯度特征提取的神经网络的已配对的原始红外图像和原始可见光图像。

在对基于语义分割及边缘特征和梯度特征提取的神经网络进行迭代训练的过程中，本申请使用Adam优化器来优化基于语义分割及边缘特征和梯度特征提取的神经网络，学习率设置为0.001，batchsize设置为4；同时使用小批量梯度随机下降来优化语义分割网络，batchsize为8，初始学习率为0.01。本申请所述的图像融合网络是在RTX 3090 的PyTorch平台上运行的。

本申请中通过总体损失L_overall对基于语义分割及边缘特征和梯度特征提取的神经网络进行约束以求得到更小的损失和质量更高的融合图像；本申请所述的总体损失L_overall包括内容损失L_cont和语义损失L_sea，总体损失L_overall与内容损失L_cont和语义损失L_sea的关系，如式（1）所示：

（1）

式（1）中，ζ作为平衡因子用于平衡内容损失L_cont和语义损失L_sea，本申请中对基于语义分割及边缘特征和梯度特征提取的神经网络进行训练时共迭代训练4个过程，其中，第一个迭代训练过程至第四个迭代训练过程中的ζ分别设置为0、1、2和3。

式（1）中，内容损失L_cont又包含强度损失L_int和梯度损失L_gra，其中，内容损失L_cont与强度损失L_int和梯度损失L_gra内容损失之间的关系，如式（2）所示：

（2）

式（2）中，η为超参数，用于平衡强度损失和纹理损失，本申请中η=10。

式（2）中，强度损失L_int的计算公式，如式（3）所示：

（3）

式（3）中，H和W代表输入至基于语义分割及边缘特征和梯度特征提取的神经网络的红外图像和可见光图像的高度和宽度，I_f表示训练过程中图像融合网络输出的彩色融合图像，I_i表示输入至基于语义分割及边缘特征和梯度特征提取的神经网络的红外图像，I_v表示输入至基于语义分割及边缘特征和梯度特征提取的神经网络的可见光图像，max( )代表最大元素选择操作，代表L₁范数。

式（2）中，梯度损失L_gra的计算公式，如式（4）所示：

（4）

式（3）中，代表梯度计算，/>代表绝对值计算，max( )代表最大元素选择操作，代表L₁范数，/>表示对训练过程中图像融合网络输出的彩色融合图像进行梯度计算，/>表示对输入至基于语义分割及边缘特征和梯度特征提取的神经网络的红外图像进行梯度计算，/>表示对输入至基于语义分割及边缘特征和梯度特征提取的神经网络的可见光图像进行梯度计算。

此外，本申请中语义损失L_sea包括主语义损失L_pr和辅助语义损失L_sup，其中，语义损失L_sea与主语义损失L_pr和辅助语义损失L_sup的关系，如式（5）所示，

（5）

式（5）中，λ为超参数，λ用于平衡主语义损失和辅助语义损失，本申请中λ=0.1。

式（5）中，主语义损失L_pr的计算公式，如式（6）所示，辅助语义损失L_sup的计算公式，如式（7）所示：

（6）

（7）

式（6）中，H和W代表彩色融合图像的高度和宽度，C代表彩色融合图像的通道数，L_so代表由标签L_s转化而来的one-hot向量，表示高度为h、宽度为w、通道数为c的L_so向量，/>表示高度为h、宽度为w、通道数为c的分割结果L_s向量；本申请中标签L_s是指与输入至基于语义分割及边缘特征和梯度特征提取的神经网络的网络训练集中已配对的红外图像和可见光图像相对应的标签；

式（7）中，H和W代表彩色融合图像的高度和宽度，C代表彩色融合图像的通道数，L_sr表示语义分割网络LiteSeg对图像融合网络得到的彩色融合图像进行分割的辅助分割结果，表示高度为h、宽度为w、通道数为c的L_so向量，/>表示高度为h,宽度为w、通道数为c的辅助分割结果L_sr向量。

S4、将红外图像和可见光图像输入至步骤S3得到的基于语义分割及边缘特征和梯度特征提取的神经网络模型中前向传播一次，得到彩色融合图像。

测试：

利用网络测试集对本申请所述的图像融合方法以及七种现有的图像融合方法采用相同的测试策略进行测试，测试结果如表1以及图5中(a)图至(j)图所示。其中，七种现有的图像融合方法包括NestFuse图像融合方法（源自论文《An Infrared and Visible ImageFusion Architecture Based on Nest Connection and Spatial/Channel AttentionModels》）、MDLatLRR图像融合方法（源自论文《 A Novel Decomposition Method forInfrared and Visible Image Fusion》）、FusionGAN图像融合方法（源自论文《 AGenerative Adversarial Network for Infrared and Visible Image Fusion》）、DATFuse图像融合方法（源自论文《 Infrared and Visible Image Fusion via DualAttention Transformer》）、PIAFusion图像融合方法（源自论文《A Progressive Infraredand Visible Image Fusion Network Based on Illumination Aware》）、BTSFusion图像融合方法（源自论文《Fusion of Infrared and Visible Image Via a Mechanism ofBalancing Texture and Salience》）、U2Fusion图像融合方法（源自论文《 A UnifiedUnsupervised Image Fusion Network》）。本申请采用的测试策略为：直接将本申请所述的网络测试集中的红外图像和可见光图像输入至本申请所述的图像融合方法中的图像融合网络以及上述七种现有的图像融合方法中的图像融合网络中生成融合图像。

表1 本申请所述的图像融合方法以及七种现有的图像融合方法采用相同的测试策略进行测试的测试结果。

	SD	VIF	AG	EN	QAB/F	SCD
							MDLatLRR图像融合方法	29.2763	0.7751	2.0501	6.0139	0.5065	1.5369
FusionGAN图像融合方法	17.4637	0.7733	2.3241	5.6528	0.0498	0.8592
							NestFuse图像融合方法	31.1481	0.7457	1.3108	5.0401	0.4775	1.5648
PIAFusion图像融合方法	38.6364	1.0210	1.8081	6.0380	0.5645	1.6811
							U2Fusion图像融合方法	16.5340	0.4290	2.8461	4.0655	0.2540	0.8592
DATFuse图像融合方法	38.1349	1.0443	2.8204	6.2050	0.6173	1.6612
							BTSFusion图像融合方法	31.0793	0.5455	1.4139	5.7945	0.5811	1.3867
Ours	38.3124	1.0546	2.8239	6.2160	0.6796	1.7470

表1中，SD能够反映融合图像的对比度以及分布，人类视觉系统往往更能被具有高对比度的区域所吸引，因此，融合图像的SD值越高，说明融合图像具有越好的对比度；VIF表示基于自然场景统计和人类视觉系统量化融合图像与源图像之间共享的信息量，VIF越高意味着融合结果越符合人类视觉感知；AG用于测量融合图像的梯度信息并以此来表征融合图像的纹理细节，融合图像具有越高的AG值，意味着融合图像中包含越丰富的梯度信息；EN表示基于信息论计算融合图像中所包含的信息量，EN值越高，意味着融合图像所包含的信息越丰富；Q^AB/F用于测量从源图像转移到融合图像的边缘信息，Q^AB/F值越高，代表从源图像转移到融合图像的边缘信息越多；SCD值通过测量融合图像与源图像的差异来表征融合算法的优劣，SCD值越高，意味着融合图像所包含的源图像中的信息越丰富。另外，表1中Ours表示本申请所述的图像融合方法。

由表1可以看出，本申请所述的图像融合方法在定量指标上表现较为出色，具体来说：

1）本申请所述的图像融合方法得到的融合图像的SD测试值为38.3124，虽然相较于PIAFusion图像融合方法（上述现有技术中SD测试值最高的图像融合方法）的SD测试值38.6364略低，但是，这也能够说明，本申请所述的图像融合方法得到的融合图像能够取得较高的SD测试值，从而也说明了，本申请所述的图像融合方法得到的融合图像具有较佳的对比度；

2）本申请所述的图像融合方法能够取得较高的VIF值，本申请所述的图像融合方法得到的VIF值相较于现有技术中DATFuse图像融合方法（该方法在所有现有技术中得到的VIF值最高）提高0.98%；这说明本申请所述的图像融合方法的视觉效果得到有效增强，更符合人类视觉感知；

3）本申请所述的图像融合方法能够取得较高的AG值，本申请所述的图像融合方法得到的AG值为2.8239，虽然，相较于现有技术U2Fusion图像融合方法（该方法在所有现有技术中得到的AG值最高）得到的AG值2.8461略低，但是，这也能够说明，本申请所述的图像融合方法得到的融合图像能够取得较高的AG测试值，从而也说明了，本申请所述的图像融合方法得到的融合图像包含了较为丰富的梯度信息；

4）本申请所述的图像融合方法能够取得较高的EN值，本申请所述的图像融合方法得到的EN值相较于现有技术中DATFuse图像融合方法（该方法在所有现有技术中得到的EN值最高）提高0.17%，说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够包含更多的信息量，图像效果也就更好；

5）本申请所述的图像融合方法能够取得较高的Q^AB/F值，本申请所述的图像融合方法得到的Q^AB/F值相较于现有技术PIAFusion图像融合方法（该方法在所有现有技术中得到的Q^AB/F值最高）提高10.09%，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像中包含了更丰富的边缘信息；

6）本申请所述的图像融合方法能够取得较高的SCD值，本申请所述的图像融合方法得到的SCD值相较于现有技术PIAFusion图像融合方法（该方法在所有现有技术中得到的SCD值最高）提高3.92%，表明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合图像所包含的来自源图像中的信息更加丰富；

此外，从图5中(a)图至(j)图还可以看出，本申请所述的图像融合方法能够保留更多的细节信息，同时亮度相较于其他方法更加符合人的主观视觉，并且更加明亮。

除此之外，本申请还利用DeepLab V3+网络（出自于论文《 Encoder-Decoder withAtrous Separable Convolution for Semantic Image Segmentation》）对本申请所述图像融合方法以及上述现有的七种图像融合方法中的图像融合网络进行全景分割测试，测试结果如图6中(a)图至(l)图所示。从图6中(a)图至(l)图可以看出，本申请所述的图像融合方法得到的融合图像相较于上述现有的七种图像融合方法，利用DeepLab V3+网络对本申请所述的图像融合方法得到的融合图像进行分割，能够分割出与源图像更加接近的结果，且分割图像中语义目标的区域范围更大，本申请所述的语义目标是指植被和汽车这两个目标，这也证明了本申请所述的图像融合方法得到的融合图像能够保存更为丰富的语义信息。

Claims (9)

1.一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：包括如下步骤：

S1、获取网络训练集和网络测试集；

S2、构建基于语义分割及边缘特征和梯度特征提取的神经网络，所述基于语义分割及边缘特征和梯度特征提取的神经网络包括依次连接的图像空间转换模块、图像融合网络以及语义分割网络；其中，图像空间转换模块用于对可见光图像进行处理，得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像；图像融合网络用于对红外图像和Y通道图像进行图像融合得到包含丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征的单通道图像，并将单通道图像与Cb通道图像和Cr通道图像进行通道拼接和格式转换得到彩色融合图像；语义分割网络用于对彩色融合图像进行语义分割，得到分割图像；

S3、计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失L_overall，并基于总体损失L_overall训练基于语义分割及边缘特征和梯度特征提取的神经网络，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；

S4、将红外图像和可见光图像输入至步骤S3得到的基于语义分割及边缘特征和梯度特征提取的神经网络模型中前向传播一次，得到彩色融合图像。

2.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：选用MSRS数据集中的训练集作为网络训练集；并从MSRS数据集中的测试集中随机选取20对已经配准的正常光场景下的红外图像和可见光图像以及20对已经配准的低光场景下的红外图像和可见光图像，构成网络测试集。

3.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：图像融合网络包括两个特征提取单元，其中一个特征提取单元用于提取红外图像中的全局特征、局部特征、边缘特征和梯度特征；另一个特征提取单元与图像空间转换模块的输出端连接，用于提取Y通道图像中的全局特征、局部特征、边缘特征和梯度特征；两个特征提取单元均与Concat层连接，Concat层依次连接三个卷积块Ⅰ、一个卷积块Ⅱ以及一个格式转换模块；其中，Concat层用于对两个特征提取单元输出的特征图进行通道拼接；第一个卷积块Ⅰ至第三个卷积块Ⅰ分别用于对输入其中的特征图进行降维操作；卷积块Ⅱ用于降维操作，并利用Tan h 激活层将像素值映射到特定范围，得到单通道融合图像；格式转换模块用于将单通道融合图像转换成彩色融合图像。

4.根据权利要求3所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：特征提取单元包括两个全局特征和局部特征提取模块以及两个边缘特征和梯度特征提取模块，第一个全局特征和局部特征提取模块、第一个边缘特征和梯度特征提取模块、第二个全局特征和局部特征提取模块以及第二个边缘特征和梯度特征提取模块依次连接；两个全局特征和局部特征提取模块均用于对输入其中的图像或者特征图进行升维操作以及对全局特征和局部特征进行提取的操作，输出具有包含丰富的全局特征和局部特征的特征图；两个边缘特征和梯度特征提取模块均是用于进行输入其中的特征图中的边缘特征和梯度特征进行提取，输出具有丰富的边缘特征和梯度特征的特征图。

5.根据权利要求4所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：全局特征和局部特征提取模块，包括分支Ⅰ和分支Ⅱ；分支Ⅰ包括采用密集连接方式连接的第一个卷积块Ⅲ、第一个卷积块Ⅳ、第一个Add层、第二个卷积块Ⅳ以及第二个Add层；分支Ⅱ包括依次连接的第二个卷积块Ⅲ、Transformer块以及第三个卷积块Ⅳ，第一个卷积块Ⅲ和第二个卷积块Ⅲ的输入端并联，第三个卷积块Ⅳ的输出端与第二个Add层的输入端连接；其中，分支Ⅰ用于提取输入至全局特征和局部特征提取模块的图像或者特征图中更多的局部特征，并进行升维；分支Ⅱ用于对输入全局特征和局部特征提取模块中的图像或者特征图进行全局特征提取，并进行升维；其中，分支Ⅱ中的第二个卷积块Ⅲ用于对输入至全局特征和局部特征提取模块的图像或者特征图进行特征提取，并进行升维，Transformer块用于对第二个卷积块Ⅲ输出的特征图进行全局特征提取，输出具有全局特征依赖关系的特征图，第三个卷积块Ⅳ用于对Transformer块输出的特征图再次进行全局特征提取，得到具有全局特征的特征图，而分支Ⅰ中的第二个Add层用于对第一个卷积块Ⅲ输出的特征图、第一个卷积块Ⅳ输出的特征图、第二个卷积块Ⅳ输出的特征图以及第三个卷积块Ⅳ输出的特征图进行逐元素相加，输出具有丰富的全局特征和局部特征的特征图。

6.根据权利要求4所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：边缘和梯度保持模块包括三个分支，第一分支由依次连接的第一个卷积块Ⅴ、第一个卷积块Ⅵ以及第二个卷积块Ⅴ构成，第二分支由依次连接的第二个卷积块Ⅵ与Sobel算子连接构成，第三分支由依次连接的第三个卷积块Ⅵ和Scharr算子构成，第一分支、第二分支和第三分支并联，第一分支、第二分支和第三分支的输出端均与Add层相连接；其中，第一分支中第一个卷积块Ⅴ和第二个卷积块Ⅴ均用于对输入其中的特征图进行降低参数操作，第一个卷积块Ⅵ用于对输入其中的特征图进行特征提取操作；第二分支中第二个卷积块Ⅵ用于对输入其中的特征图进行特征提取，Sobel算子用于对第二个卷积块Ⅵ输出的特征图中的梯度特征进行提取操作，输出具有丰富梯度特征的特征图；第三分支中第三个卷积块Ⅵ用于对输入其中的特征图进行特征提取，Scharr算子用于对第三个卷积块Ⅵ输出的特征图中的目标边缘特征进行特征提取操作，输出具有丰富边缘特征特征图；而Add层则用于对第一分支中第二个卷积块Ⅴ输出的特征图、第二分支中Sobel算子输出的具有丰富梯度特征的特征图以及第三分支中Scharr算子输出的具有丰富边缘特征的特征图进行逐元素相加，得到具有丰富的边缘特征和梯度特征的特征图。

7.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：语义分割网络采用的是现有的轻量级语义分割网络LiteSeg。

8.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：步骤S3具体步骤如下：

S3-1：将网络训练集中的可见光图像输入至图像空间转换模块，图像空间转换模块将可见光图像转化为YCbCr图像空间，然后，将可见光图像的Y通道图像、Cb通道图像和Cr通道图像分别分离出来，得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像；

S3-2：网络训练集中的红外图像和步骤S3-1得到的Y通道图像输入至基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络中，得到单通道融合图像；而后，单通道融合图像、Cb通道图像以及Cr通道图像均输入至图像融合网络中的格式转换模块中，格式转换模块将单通道融合图像、Cb通道图像以及Cr通道图像融合在一起，得到YCbCr颜色空间，而后，格式转换模块将YCbCr颜色空间进行格式转换，得到彩色融合图像；而后，语义分割网络LiteSeg对彩色融合图像进行分割，得到分割图像，而后，计算分割图像以及已配对源图像相对应的标签之间的语义损失，计算彩色融合图像与已配对源图像之间的内容损失，而后基于语义损失和内容损失计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失L_overall，并利用计算出的总体损失L_overall，迭代更新基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络以及语义分割网络LiteSeg的参数，迭代训练4个过程，得到基于语义分割及边缘特征和梯度特征提取的神经网络模型；其中，已配对源图像是指输入至基于语义分割及边缘特征和梯度特征提取的神经网络的已配对的原始红外图像和原始可见光图像。

9.根据权利要求8所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法，其特征在于：所述总体损失L_overall包括内容损失L_cont和语义损失L_sea，总体损失L_overall与内容损失L_cont和语义损失L_sea的关系，如式（1）所示：

（1）

式（1）中，ζ作为平衡因子用于平衡内容损失L_cont和语义损失L_sea，本申请中对基于语义分割及边缘特征和梯度特征提取的神经网络进行训练时共迭代训练4个过程，其中，第一个迭代训练过程至第四个迭代训练过程中的ζ分别设置为0、1、2和3。