CN117036875B - 一种基于融合注意力gan的红外弱小移动目标生成算法 - Google Patents

Abstract

本发明公开了一种基于融合注意力GAN的红外弱小移动目标生成算法，针对可见光与红外源图像，在两个生成器和两个判别器中均构建融合多尺度注意机制，生成融合注意力图，并与输入图像融合。利用准备好的可见光、红外弱小移动目标数据集训练网络模型，生成红外弱小移动目标数据。相较于现有技术，本发明能够有效提取可见光图像中弱小目标特征信息，保留红外图像中存在的丰富背景细节，信息丰富，且图像质量高，可作为对红外弱小移动目标数据集的补充。

Description

一种基于融合注意力GAN的红外弱小移动目标生成算法

技术领域

本发明涉及人工智能领域，具体涉及一种红外弱小移动目标生成算法。

背景技术

环境的多样化以及可见光条件的限制，加之高于热力学零度的物体都会向外辐射红外线，其中红外线穿透云雾的能力比较强，受光照强度的影响很小，在白天和夜晚都可以实现很好的目标检测效果，使得红外成像成为目标检测的主要手段之一。红外弱小移动目标的检测跟踪，在海面舰船搜索定位、应急救援、海面实时自动侦察和态势评估等方面具有广阔的应用前景。随着信息技术的日益发展，计算机视觉逐渐代替人类对目标进行识别、检测，解决人工成本和精确度问题。基于深度学习与红外弱小目标检测算法的结合已经成为重要的研究方向。基于卫星平台和高空无人机的红外成像系统，由于成像距离较远，目标往往表现出“弱”“小”特征。红外图像的对比度比较低、纹理特征比较弱、受到的干扰比较多，检测目标在海上云雾相似背景的影响之下，会成为弱小目标，一般的目标识别算法很难适用于弱小目标检测。

注意力机制是人类视觉系统固有的一种筛选图像信息和聚焦显著物体的信息处理机制，深度学习中注意力机制借鉴了人类的视觉注意力思维方式。人类可以通过快速浏览整体图像，迅速寻找出需要重点关注的区域，从而抑制次要信息对整体的影响，极大地提高了视觉信息处理的效率与准确性。深度卷积神经网络在经过多层卷积处理后将产生大量的高维特征图，这些由各层网络生成的特征图包含输入图像的各种纹理、特征、形态等信息。在增加相应计算量的前提下，使最终深度网络模型的输出更多地受到包含关键区域特征图的影响。数据是深度学习的基础，然而数据获取难度大、成本高且数据流通度不高导致公开的红外弱小移动数据集太少，难以满足神经网络训练需求。

目前主流的红外数据生成方案主要是基于生成对抗网络利用可见光图像数据生成，部分是利用红外图像数据进行扩充。生成对抗网络(generative adversarialnetwork，GAN)旨在生成不存在于真实世界的数据,在传统图像仿真领域,图像的仿真需经过建模、添加纹理和光照、渲染等一系列复杂的步骤。GAN网络的出现简化了这一过程，其利用深度神经网络模型构建生成器和判别器，生成器负责生成伪样本，而判别器用于分辨样本的真伪，生成器和判别器之间采用对抗博弈的方法自动学习样本数据的真实分布，从而实现图像的样本扩增。在动态博弈的过程中，GAN网络的生成器和判别器取样于随机噪声。这些方法针对大尺度目标生成的图像质量往往较好，但弱小目标由于缺乏结构、纹理、颜色等可用特征，目标往往会受到噪声干扰，同时网络算法不能较好的学习背景中的有效特征，因此生成的图像质量往往较差，难以满足红外弱小目标检测、跟踪需求。

因此，需要一种新的技术方案以解决上述问题。

发明内容

为了解决现有技术所产生的问题，本发明提供了一种生成质量高、信息丰富红外移动目标的基于融合注意力GAN的红外弱小移动目标生成算法。

为达到上述目的，本发明基于融合注意力GAN的红外弱小移动目标生成算法可采用如下技术方案：

一种基于融合注意力GAN的红外弱小移动目标生成算法，包括以下步骤：

1)从弱小移动目标数据集中获取可见光形式图像和红外形式图像，作为源图像；

2)在GAN的生成器中构建融合多尺度注意机制；

3)将融合多尺度注意机制引入残差模块及图像处理过程，与源图像融合计算注意力图；

4)在生成器中使用上采样和卷积方法处理图像，生成目标图像；

5)在GAN的判别器中构建融合多尺度注意机制，与输入图像融合计算注意力图，并输出合格的特征图像；

6)引入感知损失，构建损失函数处理特征图像并生成最终图像，重建源图像；

7)基于上述模型进行训练，满足使用精度要求后，将可见光移动目标图像输入该模型，则生成红外弱小移动目标图像。

进一步的，所述的融合多尺度注意机制，通过设置不同尺寸的内核大小捕获多尺度特征，在每个尺度中，基于该尺度特征将通道注意力和空间注意力串联融合。

进一步的，所述的串联融合中，将输入特征上采样，同时通道注意力和空间注意力将输入特征压缩，对压缩后的结果进行全连接和激活操作，得到注意力权重，将注意力权重和上采样后的输入特征进行信道乘法并输出注意力图。

进一步的，所述的通道注意力机制将该尺度特征通过全局平均池化压缩，并输出通道注意力图；

其中，压缩过程为：

式中，z代表压缩后的特征结果，F_sq代表压缩函数，H代表特征图高，W代表特征图宽，u_c(i,j)代表(i,j)处的原始特征，c表示原始特征通道个数。

通道注意力权重计算过程为：

s＝F_ex(z,W)＝σ(g(z,W)＝σ(W₂δ(W₁z))

式中，σ表示sigmoid函数，s表示学习到的通道注意力，F_ex代表激活函数，W代表全连接操作，g(z,W)代表对压缩后的特征结果进行全连接操作，W₁代表第一个全连接层，W₂代表第二个全连接层,δ(W₁z)代表对压缩后的特征结果进行全连接操作，然后进行ReLU激活操作。

进一步的，所述的空间注意力机制将通道注意力图通过全局平均池化以及最大池化操作压缩，并输出空间注意力图；

其中，压缩过程为：

式中，M_s(F)代表空间注意力特征，F代表原始H×W×C特征，f^7*7代表7×7的卷积层，AvgPool代表平均池化操作，MaxPool代表最大池化操作,代表对原始特征进行平均池化操作，/>代表对原始特征进行最大池化操作。

进一步的，将所述注意力图通过归一化操作，将不同尺度的注意力图基于特征权重以通道方式串联起来，基于最大选择策略在注意力映射操作中关注可区分的空间位置，计算最终的融合注意力图。

进一步的，所述特征权重表示为：

式中，代表某一位置原始k个特征经过s次池化的结果，/>表示全局平均池化结果，W₁大小为1*1*k。

进一步的，所述的生成器为可见光生成器和红外生成器。

进一步的，所述的判别器为可见光判别器和红外判别器。

进一步的，所述的步骤6)利用最小二乘法构建对抗损失和循环一致性损失，损失函数Loss表达式为：

Loss＝Loss_GAN+Loss_cycle+Loss_identity.。

式中，Loss_GAN表示对抗损失，Loss_cycle表示循环一致性损失，Loss_identity表示感知损失。

本发明具有如下有益效果：

1、本发明通过基于多尺度特征实现通道注意力与空间注意力的串联融合，选择性地更多地关注重要结构信息而忽略不相关的信息；在生成对抗网络的判别器中引入融合多尺度注意力机制，提升判别器对生成图像中重点关注信息的判断能力，生成的红外弱小移动目标数据质量更高。

2、在生成对抗网络的两个生成器中引入融合多尺度注意机制，该机制不仅能够保留可见光图像中的弱小目标特征，同时能够保留红外图像中背景细节信息，信息更丰富，为弱小移动目标检测等工作提供数据支持。

附图说明

图1为基于本发明算法的总体流程图；

图2为生成器融合多尺度注意机制示意图；

图3为生成器中图像处理的流程图；

图4为引入融合多尺度注意机制的残差模块示意图；

图5为判别器中图像处理的流程图；

图6为判别器D_x融合多尺度注意机制示意图；

图7为判别器D_y融合多尺度注意机制示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

请参阅图1，本发明公开了一种基于融合注意力GAN的红外弱小移动目标生成算法，包括以下步骤：

1)从弱小移动目标数据集中获取可见光形式图像和红外形式图像，作为源图像；

2)在GAN的生成器中构建融合多尺度注意机制；

3)将融合多尺度注意机制引入残差模块及图像处理过程，与源图像融合计算注意力图；

4)在生成器中使用上采样和卷积方法处理图像，生成目标图像；

5)在GAN的判别器中构建融合多尺度注意机制，与输入图像融合计算注意力图，并输出合格的特征图像；

6)引入感知损失，构建损失函数处理特征图像并生成最终图像，重建源图像；

7)基于上述模型进行训练，满足使用精度要求后，将可见光移动目标图像输入该模型，则生成红外弱小移动目标图像。

其中，生成器通过学习源图像的真实图像分布从而使由生成器生成的中间图像更加真实，以满足判别器的要求。判别器则需要对接收到的输入图像进行真假判别。步骤5)所述的输入图像为源图像及生成器生成的目标图像。整个过程中生成器与判别器相互博弈，通过不断地优化、循环处理，使生成器生成的图像更加真实，而判别器识别图像真假的能力更强，最终使GAN网络达到动态平衡：生成器生成的图像接近于真实图像，而判别器识别不出真假图像。

请参阅图2，步骤2)中，融合多尺度注意机制通过设置不同尺寸的内核大小捕获输入图像的多尺度特征，在每个尺度中，基于该尺度特征将通道注意力和空间注意力串联融合，进而在通道和空间维度提取更多的有效信息。串联融合中，将输入特征上采样，同时通道注意力和空间注意力将输入特征压缩，将H×W×C特征图压缩成1×1×C。对压缩后的结果进行全连接和激活操作，得到注意力权重，将注意力权重和上采样后的输入特征进行信道乘法并输出注意力图。生成注意力图的具体过程如下：

通道注意力机制将该尺度特征通过全局平均池化压缩，对压缩后的结果进行全连接和激活操作，得到通道注意力权重，将通道注意力权重和上采样后的该尺度特征进行信道乘法，并输出通道注意力图；

其中，压缩过程为：

式中，z代表压缩后的特征结果，F_sq代表压缩函数，H代表特征图高，W代表特征图宽，u_c(i,j)代表(i,j)处的原始特征，c表示原始特征通道个数。

通道注意力权重计算过程为：

s＝F_ex(z,W)＝σ(g(z,W)＝σ(W₂δ(W₁z))

式中，σ表示sigmoid函数，s表示学习到的通道注意力，F_ex代表激活函数，W代表全连接操作，g(z,W)代表对压缩后的特征结果进行全连接操作，W₁代表第一个全连接层，W₂代表第二个全连接层,δ(W₁z)代表对压缩后的特征结果进行全连接操作，然后进行ReLU激活操作。

空间注意力机制将通道注意力图通过全局平均池化以及最大池化操作压缩，对压缩后的结果进行全连接和激活操作，得到注意力权重，将注意力权重和上采样后的通道注意力图进行信道乘法，并输出空间注意力图；

其中，压缩过程为：

式中，M_s(F)代表空间注意力特征，F代表原始H×W×C特征，f^7*7代表7×7的卷积层，AvgPool代表平均池化操作，MaxPool代表最大池化操作,代表对原始特征进行平均池化操作，/>代表对原始特征进行最大池化操作。

最终，通过归一化操作计算上述空间注意力图，将不同尺度的注意力图基于特征权重以通道方式串联起来，基于最大选择策略在注意力映射操作中关注可区分的空间位置，计算最终的融合注意力图；

其中，不同尺度获取的特征权重表示为：

式中，代表某一位置原始k个特征经过s次池化的结果，/>表示全局平均池化结果，W₁大小为1*1*k。

请参阅图3和图4，生成器主要由编码器、转换器和解码器三部分组成。在生成对抗网络的生成器中，采用上采样和卷积操作替换原始网络中的反卷积操作。步骤3)和4)中依次按照卷积方法、残差模块处理源图像，并通过卷积法和上采样方法进行后续处理之后加入融合多尺度注意机制输出最终融合注意力图。步骤3)中，转换器通过n个残差块将前一步得到的特征向量转换为目标特征向量，残差块由卷积层、ReLU激活函数、融合多尺度注意机制间的密集连接与残差连接两种方式组成，用来增加生成器网络的深度并以此提高特征提取的能力，防止网络梯度消失，分主次处理不同的特征。

本实施例中，请参阅图1，生成器包括可见光生成器G和红外生成器F，可见光生成器G将红外图像生成可见光图像，红外生成器F将可见光图像生成红外图像。由源可见光图像生成红外中间图像到重建可见光图像和有源红外图像生成可见光中间图像到重建红外图像为两组重构过程，避免全部输入图像映射到同一张图像中，满足网络架构的循环一致性，约束重构图像与输入源图像尽可能相似。

请参阅图5至图7，步骤5)中，向判别器中导入生成器中生成的目标图像和源图像。在判别器中将多尺度池化结果与融合多尺度机制提取到的特征进行融合，通过构建残差连接实现目标特征的有效提取。判别器为可见光判别器D_x和红外判别器D_y。可见光判别器D_x用于将输入的可见光图像与源可见光图像进行比较并判别相似性，如果概率大于50％，那么输入图像与真实图像相似，判断为真，从CycleGAN网络中输出作为特征图像，否则，将该输入图像重新作为源图像输入循环模型，重新经过步骤3)至5)；同理，红外判别器D_y判断生成的红外图像和真实红外图像之间的相似度。

其中，两个判别器中的融合多尺度注意力机制根据判断对象的不同有所差异。可见光判别器D_X利用2×2和4×4内核，注重捕获背景细节信息。红外判别器D_y利用1×1卷积和2×2内核，注重捕获目标信息。用于提升判别器对感兴趣目标及区域信息的判别能力。

步骤6)中，在模型中引入感知损失，提高待生成图像和源图像在语意间的相似度；同时利用最小二乘法构建对抗损失和循环一致性损失，实现整理损失函数Loss的构建，并对判别器输出的特征图像进一步处理。损失函数Loss表达式为：

Loss＝Loss_GAN+Loss_cycle+Loss_identity；.

式中，Loss_GAN代表对抗损失，保证生成器和判别器相互进化，Loss_cycle代表循环一致性损失，使用L1范数计算，保证生成器的输出图像与输入图像只是风格不同，而内容相同，Loss_identity代表感知损失，保证生成的图像色调一致。

步骤7)中，基于可见光和红外弱小移动目标数据集，将该数据集按照比例拆分成训练集和测试集；使用训练集对GAN模型进行训练，然后利用测试集数据对训练模型结果进行验证。满足精度要求后，向该模型输入可见光弱小移动目标图像，经步骤2)至6)的模型处理，生成红外弱小移动目标图像，为弱小移动目标检测等工作提供数据支持。

综上，本发明一种基于融合注意力生成对抗网络的红外弱小移动目标生成算法具有数据质量高、信息丰富的特点，可用于弱小移动目标检测作为数据支持。

Claims (10)

1.一种基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，包括以下步骤：

1)从弱小移动目标数据集中获取可见光形式图像和红外形式图像，作为源图像；

2)在GAN的生成器中构建融合多尺度注意机制；

3)将融合多尺度注意机制引入残差模块及图像处理过程，与源图像融合计算注意力图；

4)在生成器中使用上采样和卷积方法处理图像，生成目标图像；

5)在GAN的判别器中构建融合多尺度注意机制，与输入图像融合计算注意力图，并输出合格的特征图像；

6)引入感知损失，构建损失函数处理特征图像并生成最终图像，重建源图像；

7)基于上述模型进行训练，满足使用精度要求后，将可见光移动目标图像输入该模型，则生成红外弱小移动目标图像。

2.根据权利要求1所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的融合多尺度注意机制，通过设置不同尺寸的内核大小捕获多尺度特征，在每个尺度中，基于该尺度特征将通道注意力和空间注意力串联融合。

3.根据权利要求2所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的串联融合中，将输入特征上采样，同时通道注意力和空间注意力将输入特征压缩，对压缩后的结果进行全连接和激活操作，得到注意力权重，将注意力权重和上采样后的输入特征进行信道乘法并输出注意力图。

4.根据权利要求3所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的通道注意力机制将该尺度特征通过全局平均池化压缩，并输出通道注意力图；

其中，压缩过程为：

式中，z代表压缩后的特征结果，F_sq代表压缩函数，H代表特征图高，W代表特征图宽，u_c(i,j)代表(i,j)处的原始特征，c表示原始特征通道个数；

通道注意力权重计算过程为：

s＝F_ex(z,W)＝σ(g(z,W)＝σ(W₂δ(W₁z))

式中，σ表示sigmoid函数，s表示学习到的通道注意力，F_ex代表激活函数，W代表全连接操作，g(z,W)代表对压缩后的特征结果进行全连接操作，W₁代表第一个全连接层，W₂代表第二个全连接层,δ(W₁z)代表对压缩后的特征结果进行全连接操作，然后进行ReLU激活操作。

5.根据权利要求3所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的空间注意力机制将通道注意力图通过全局平均池化以及最大池化操作压缩，并输出空间注意力图；

其中，压缩过程为：

式中，M_s(F)代表空间注意力特征，F代表原始H×W×C特征，f^7*7代表7×7的卷积层，AvgPool代表平均池化操作，MaxPool代表最大池化操作,代表对原始特征进行平均池化操作，/>代表对原始特征进行最大池化操作。

6.根据权利要求3所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，将所述注意力图通过归一化操作，将不同尺度的注意力图基于特征权重以通道方式串联起来，基于最大选择策略在注意力映射操作中关注可区分的空间位置，计算最终的融合注意力图。

7.根据权利要求6所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述特征权重表示为：

式中，f_s ^k(i,j)代表某一位置原始k个特征经过s次池化的结果，表示全局平均池化结果，W₁大小为1*1*k。

8.根据权利要求1所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的生成器为可见光生成器和红外生成器。

9.根据权利要求1所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的判别器为可见光判别器和红外判别器。

10.根据权利要求1所述的基于融合注意力GAN的红外弱小移动目标生成算法，其特征在于，所述的步骤6)利用最小二乘法构建对抗损失和循环一致性损失，损失函数Loss表达式为：

Loss＝Loss_GAN+Loss_cycle+Loss_identity.

式中，Loss_GAN表示对抗损失，Loss_cycle表示循环一致性损失，Loss_identity表示感知损失。