CN116109538A - 一种基于简单门单元特征提取的图像融合方法 - Google Patents

Abstract

本发明属于图像融合领域，公开了一种基于简单门单元特征提取的图像融合方法，用于解决基于深度学习的图像融合方法对不同成像模式的相机拍摄的复杂多模态图像处理的网络复杂度高与融合效果欠佳的问题，本发明包括：将多模态图像A₁、A₂通过简单门单元特征提取网络进行特征提取，随后进行交叉注意融合，重复N次结构渐进式融合，分别提取出多模态特征X₁、X₂，将X₁、X₂在通道上进行拼接，融合多模态图像的特征，最后重构出融合图像C，计算融合图像C与多模态图像A₁、A₂的损失，更新网络模型参数。本发明能够有效实现复杂多模态图像的融合，具有特征信息提取较好、参数量少、推理速度快和鲁棒性较强等特点。

Description

一种基于简单门单元特征提取的图像融合方法

技术领域：

本发明涉及一种图像融合方法，具体涉及一种基于简单门单元特征提取的图像融合方法。

背景技术：

随着时代的进步，单一源图像提供的信息无法满足人类视觉的需求或者对目标的识别探测需求，因此需要不同成像模式的相机拍摄多模态图像，并通过图像融合的手段获取更丰富细节信息的融合图像。

图像融合技术通过将不同传感器或者不同位置、时间、亮度等的同一场景的两幅或者多幅图像的所有信息叠加互补，整合到单幅融合图像中，以全面地表征成像场景并促进后续的视觉任务。相对于单一的源图像而言，融合图像可以更加清晰地获得目标所在的场景信息，对图像的质量和清晰度有着明显的改善。

传统的图像融合方法相对比较成熟，其需要人工设计复杂的融合规则，具有较高图像融合的人工成本以及计算成本。对于复杂多模态图像，高度依赖人工设计的特征，很难为其设计出通用特征提取方法。近年来随着深度学习的兴起，基于深度学习的图像融合方法也是涌现，为图像融合提供新的思路。然而现阶段基于深度学习的图像融合方法，网络复杂度高，计算量大，对于复杂多模态图像，还可能存在特征提取不准确，图像融合效果差等问题。

发明内容：

本发明的目的在于克服现有技术的不足，提供一种基于简单门单元特征提取的图像融合方法，所述图像融合方法可以实现对复杂多模态图像进行融合，具有特征信息提取较好、参数量少、推理速度快的特点。

本发明解决上述技术问题的技术方案是：

一种基于简单门单元特征提取的图像融合方法，包括以下步骤：

(S1)、利用不同成像模式相机拍摄出多模态图像，记为图像A₁、A₂；

(S2)、将多模态图像A₁、A₂作为网络的输入，分别经过基于简单门单元的卷积模块提取特征得A_e1、A_e2，并且将A_e1、A_e2经交叉注意融合模块进行特征交叉融合，分别得A_f1，A_f2，并重复此结构N次，渐进融合，分别得多模态特征X₁，X₂；

(S3)、将X₁和X₂在通道上进行拼接，得到多模态图像的融合特征，随后经过图像重构器重构出融合图像C；

(S4)、计算神经网络输出的融合图像与输入图像之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值收敛，则停止更新网络模型参数，得到一个训练完成的神经网络。

优选的，在步骤(S1)中，所述多模态图像包括但不限于可见光图像、短波红外图像、中波红外图像、长波红外图像、偏振图像。

优选的，在步骤(S2)中，模块重复的次数N的可取范围，3≤N≤6。

优选的，在步骤(S2)中，所述基于简单门单元的卷积模块采用残差连接，包括层标准化、卷积核大小为3*3的卷积层、简单的门单元、简化通道注意力模块、卷积核大小为1*1的卷积层。

优选的，所述的简单的门单元代替了激活函数，其将输入张量在通道的维度上平均分为两块，并做元素级乘法，即让两个矩阵对应位置元素进行乘积。

优选的，在步骤(S2)中，交叉注意融合模块所述的融合结果A_f1，A_f2的函数表达式为：

A_f1＝A_e2×α^T+A_e1       (1)

A_f2＝A_e1×α+A_e2      (2)

上式中α为交叉权重，T为转置运算。

优选的，在步骤(S2)中，交叉注意融合模块中A_e1、A_e2、分别经过层标准化、卷积核大小为1*1的卷积层得X₁、X₂，X₁与X₂ ^T经过点积，再经归一化指数函数得到交叉权重α。

优选的，在步骤(S2)中，图像重构器包括卷积核大小为3*3的卷积层、卷积核大小为1*1的卷积层。

优选的，在步骤(S4)中，所述神经网络的损失函数所述损失函数Loss为SSIM损失与背景内容损失相结合，损失函数的表达式如下：

L_SSIM＝1-kSSIM(A₁，C)-(1-k)SSIM(A₂，C)    (3)

Loss＝δL_SSIM+(1-δ)L_back       (5)

上式中

为梯度算子，h、w分别为图像的高和宽，k、δ可针对输入的不同模态图像取不同的值，k、δ取值范围为，0＜k＜1，0＜δ＜1。

本发明与现有技术相比具有以下的有益效果：

1、本发明的基于简单门单元特征提取的图像融合方法在基于残差结构与简单门单元的卷积模块和残差前馈网络的特征提取网络中，采用简单的门单元替代掉传统的非线性激活函数和采用简化通道注意力模块，旨在完成原有的功能下，有效减少计算量。简单的门单元将输入张量在通道的维度上平均分为两块，并做元素级乘法，即让两个矩阵对应位置元素进行乘积，既引入了非线性，也降低计算量。通道注意力模块可以动态调控各通道的权重，从而重新校准特征来提高网络的表示能力，同时简化的操作，也降低了计算量，有利于提高融合图像的质量。

2、本发明的基于简单门单元特征提取的图像融合方法采用边提取边融合的渐进式融合方法，这样可以实现在不同的特征层、不同的尺度实现特征融合，有利于提取复杂多模态图像特征，以便提高后续融合的效果。

3、本发明的基于简单门单元特征提取的图像融合方法采用交叉注意融合模块，来执行双向交叉特征交互，旨在用一种模态增强另一种模态，并且相互增强。考虑到不同模态特征间存在一定的联系，利用点积计算求得不同模态特征间的关系向量，即交叉权重，随后计算两特征间的双向交叉注意，以相互补充和增强特征。交叉注意有利于解决特征模态不平衡问题，有效地整合了复杂多模态图像间的特征，促进网络形态交互。

附图说明：

图1为本发明的基于简单门单元特征提取的图像融合方法的流程框图。

图2为本发明的基于简单门单元特征提取的图像融合方法的特征提取中基于简单门单元的卷积模块的结构简图。

图3为本发明的基于简单门单元特征提取的图像融合方法使用简化通道注意力模块的结构图。

图4为本发明的基于简单门单元特征提取的图像融合方法的使用的交叉注意融合模块的结构简图。

具体实施方式：

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1-图4，本发明的基于简单门单元特征提取的图像融合方法包括以下步骤：

(S1)、利用不同成像模式相机拍摄出多模态图像，记为图像A₁、A₂；

(S2)、将多模态图像A₁、A₂作为网络的输入，分别经过基于简单门单元的卷积模块提取特征得A_e1、A_e2，并且将A_e1、A_e2经交叉注意融合模块进行特征交叉融合，分别得A_f1，A_f2，并重复此结构N次，渐进融合，分别得多模态特征X₁，X₂；

(S3)、将X₁和X₂在通道上进行拼接，得到多模态图像的融合特征，随后经过图像重构器重构出融合图像C；

(S4)、计算神经网络输出的融合图像与输入图像之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值收敛到0.3，则停止更新网络模型参数，得到一个训练完成的神经网络。

参见图2-图3，在步骤(S2)中，所述基于简单门单元的卷积模块采用残差连接，包括层标准化、卷积核大小为3*3的卷积层、简单的门单元、简化通道注意力模块、卷积核大小为1*1的卷积层。

参见图4，交叉注意融合模块所述的融合结果A_f1，A_f2的函数表达式为：

A_f1＝A_e2×α^T+A_e1       (1)

A_f2＝A_e1×α+A_e2      (2)

上式中α为交叉权重，T为转置运算。

参见图3，交叉注意融合模块中A_e1、A_e2、分别经过层标准化、卷积核大小为1*1的卷积层得X₁、X₂，X₁与X₂ ^T经过点积，再经归一化指数函数得到交叉权重α。

另外，本实施例中所述神经网络的损失函数所述损失函数Loss为SSIM损失与背景内容损失相结合，损失函数的表达式如下：

L_SSIM＝1-kSSIM(A₁，C)-(1-k)SSIM(A₂，C)    (3)

Loss＝δL_SSIM+(1-δ)L_back        (5)

上式中

为Sobel算子，h、w分别为图像的高和宽，k、δ可针对输入的不同模态图像取不同的值，k、δ取值范围为，0＜k＜1，0＜δ＜1。

另外，本实施例中所述多模态图像A₁为可见光图像，A₂为中波或长波红外图像，图像分辨率640*512。

另外，本实施例中所述的特征提取和交叉注意融合模块的重复的次数N可取4。

上述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于简单门单元特征提取的图像融合方法，其特征在于，包括以下步骤：

(S1)、利用不同成像模式相机拍摄出多模态图像，记为图像A₁、A₂；

(S2)、将多模态图像A₁、A₂作为网络的输入，分别经过基于简单门单元的卷积模块提取特征得A_e1、A_e2，并且将A_e1、A_e2经交叉注意融合模块进行特征交叉融合，分别得A_f1，A_f2，并重复此结构N次，渐进融合，分别得多模态特征X₁，X₂；

(S3)、将X₁和X₂在通道上进行拼接，得到多模态图像的融合特征，随后经过图像重构器重构出融合图像C；

(S4)、计算神经网络输出的融合图像与输入图像之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值收敛，则停止更新网络模型参数，得到一个训练完成的神经网络。

2.根据权利要求1所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S1)中，所述多模态图像包括但不限于可见光图像、短波红外图像、中波红外图像、长波红外图像、偏振图像。

3.根据权利要求1所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S2)中，模块重复的次数N的可取范围，3≤N≤6。

4.根据权利要求1所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S2)中，所述基于简单门单元的卷积模块采用残差连接，包括层标准化、卷积核大小为3*3的卷积层、简单的门单元、简化通道注意力模块、卷积核大小为1*1的卷积层。

5.根据权利要求4所述基于简单门单元特征提取的图像融合方法，其特征在于，所述的简单的门单元代替了激活函数，其将输入张量在通道的维度上平均分为两块，并做元素级乘法，即让两个矩阵对应位置元素进行乘积。

6.根据权利要求1所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S2)中，交叉注意融合模块所述的融合结果A_f1，A_f2的函数表达式为：

A_f1＝A_e2×α^T+A_e1    (1)

A_f2＝A_e1×α+A_e2    (2)

上式中α为交叉权重，T为转置运算。

7.根据权利要求6所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S2)中，交叉注意融合模块中A_e1、A_e2、分别经过层标准化、卷积核大小为1*1的卷积层得X₁、X₂，X₁与X₂ ^T经过点积，再经归一化指数函数得到交叉权重α。

8.根据权利要求1所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S2)中，图像重构器包括卷积核大小为3*3的卷积层、卷积核大小为1*1的卷积层。

9.根据权利要求1所述的基于简单门单元特征提取的图像融合方法，其特征在于，在步骤(S4)中，所述神经网络的损失函数采用用于比较融合结果图像与融合前图像相似程度的损失函数，所述损失函数Loss为SSIM损失与背景内容损失相结合，损失函数的表达式如下：

L_SSIM＝1-kSSIM(A₁，C)-(1-k)SSIM(A₂，C)    (3)

Loss＝δL_SSIM+(1-δ)L_back    (5)

上式中

为梯度算子，h、w分别为图像的高和宽，k、δ可针对输入的不同模态图像取不同的值，k、δ取值范围为，0＜k＜1，0＜δ＜1。

Images