CN115661443A - 复杂环境的多尺度正向特征增益红外弱小目标检测方法 - Google Patents

Abstract

本发明公开了一种复杂环境的多尺度正向特征增益红外弱小目标检测方法，构建并训练多尺度特征增强聚合网络，利用该网络中的残差特征补偿模块对红外图像进行背景抑制、目标增强操作。利用多尺度特征增强聚合网络中的选择性特征融合模块提取、学习并融合红外图像中的多种不同尺度的特征。本发明主要解决在复杂背景下的红外图像中检测其中的弱小目标问题，具有增强目标、抑制背景效果好，充分提取不同尺度特征获得红外目标各层次信息，检测红外弱小目标准确率高的优点。

Description

复杂环境的多尺度正向特征增益红外弱小目标检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及红外图像处理技术领域中的一种复杂环境的多尺度正向特征增益红外弱小目标检测方法。本发明采用多尺度正向特征增益的方法对红外弱小目标检测，可用于对复杂背景下红外弱小目标进行检测。

背景技术

由于复杂的背景如大气云层、红外辐射、目标红外干涉手段等的干扰，再加上探测距离和目标的存在一定的反检测技术，目标通常表现为缺少形状、尺度、纹理等特征信息的少像素目标，甚至会出现只占一个像素的极端情况。但是现有技术不能很好地利用上下文信息，导致检测性能有限。

中北大学在其申请的专利文献“基于多特征融合的红外弱小目标检测方法”(专利申请号：202111078520.0，申请公布号CN113822352A)中公开了一种基于多特征融合的红外弱小目标检测方法。该方法实现的具体步骤是，第一步,基于红外弱小目标局部灰度值大的性质，利用目标与邻域背景的灰度对比度对真实目标进行增强、部分复杂背景进行抑制。第二步,利用红外弱小目标自身灰度信息符合二维高斯分布的特性，通过计算红外弱小目标边缘像素点与中心像素点之间的距离和灰度差的协方差来检测目标，得到显着图一。第三步,利用红外弱小目标与邻域相似度低的特性，通过计算相似性因子来检测目标，得到显着图二。第四步,将显着图一与显着图二进行点乘，通过融合红外弱小目标多种特性得到最终显着图，对最终显着图计算简单阈值进行分割得到最终检测结果。该方法存在的不足之处是，由于该方法利用目标与邻域背景的灰度对比度，对真实目标进行增强、部分复杂背景进行抑制，仅适用于对比度较低的图像，而对比度较高的图像使用该方法则会过度增强产生失真。且第一步中背景抑制为部分图像，增强仅限于目标与邻域的局部区域，丢失含有红外小目标的重要信息。

电子科技大学在其申请的专利文献“一种基于卷积神经网络的红外小目标检测方法”(专利申请号201710758679.4，申请公布号CN 107563433 A)中公开了一种基于卷积神经网络的红外小目标检测方法。该方法实现的具体步骤是，第一步，通过测试数据训练卷积神经网络确定网络参数；第二步，红外图像进行频谱残差法SR得到目标的候选区域；第三步，使用卷积神经网络对候选区域进行多尺度滑窗遍历检测，得到候选区域的初步分类结果；第四步，对候选区域的初步分类结果进行非极大值抑制，将所有重叠度最大的块的轮廓作为最终的目标边框。该方法存在的不足之处是，该方法经过红外图像进行频谱残差法SR得到目标的候选区域，使得频谱残差法的图像已丢失部分低层尺度特征，之后进行多尺度检测会导致特征提取语义细节丢失提高误警虚警率。非极大值抑制操作极可能剔除两相近的目标导致检测失效，且未对背景进行有效的抑制可能受复杂背景的干扰。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出了一种复杂环境的多尺度正向特征增益红外弱小目标检测方法，用于解决对比度较高的图像由于过度增强产生的失真问题；丢失含有红外小目标的重要信息的问题，以及特征提取语义细节丢失提高误警虚警率的问题。

实现本发明目的的技术思路是，本发明构建一个多尺度特征增强聚合网络。该网络包括残差特征补偿模块、选择性特征融合模块以及基于U-Net的骨干网络。残差特征补偿模块使用不同大小卷积核收集不同空间尺度上的特征，利用待测图像与特征提取过的图像直接作差，再利用线性标度增强符合要求的多尺度特征。即可在放大目标特征的同时抑制背景噪声，有效解决现有技术未对背景进行有效抑制以及对比度较高的图像由于过度增强产生的失真的问题。本发明构建一个选择性特征融合网络利用低中精炼法使不同层次特征相互学习，即选择性地利用低中高三种空间的特征以不同的组合方式进行融合，原始图像的低中高三种图像特征都被提取并相互学习融合从而解决丢失含有红外小目标的重要信息的问题。本发明设计基于U-Net的骨干网络将经过第一个子网络的目标被增强、背景被抑制的图像提取低中高三种不同层次特征，三种特征再输入第二个子网络。骨干网络将所有子模块串联，在增强目标抑制背景的前提下充分提取不同尺度特征获得红外目标各层次信息以解决特征提取语义细节丢失提高误警虚警率的问题。

为实现上述目的，本发明具体实现步骤包括如下：

步骤1，构建残差特征补偿模块：

步骤1.1，搭建一个残差特征补偿模块，该模块中的输入层，卷积层组，拼接单元、卷积层，减法单元，激活层，乘法单元、加法单元、输出层依次串联，输入层分别与减法单元和加法单元相连；其中，卷积层组由两个卷积层组成；

步骤1.2,将输入层的通道参数设置为16；将卷积层组中的两个卷积层的卷积核大小分别设置为5×5，3×3，滑动步长均设置为1，输出通道设置为16；将残差特征补偿模块中的卷积层的卷积核大小设置为1×1，滑动步长设置为1；激活层中的激活函数采用ReLU；将乘法单元设置为将图像乘以线性放大因子β，β为在[1,4]的取值范围内选取的任意一个实数；

步骤2，构建选择性特征融合模块：

搭建一个包括第一输入层、第二输入层、第三输入层、低精炼子模块，中精炼子模块、加法单元、输出层的选择性特征融合模块；其中：

所述低精炼子模块、加法单元、输出层依次串联；低精炼子模块由输入组、反卷积组、卷积组、内积单元依次串联组成，输入组与内积单元连接；输入组由第一输入层、第二输入层、第三输入层组成；卷积组由三个卷积层组成；反卷积组由两个反卷积层组成；将第一至第三输入层通道参数分别设置为64，32，16；将反卷积组中两个反卷积层卷积核大小均设置为3×3，滑动步长均设置为1；将卷积层组中三个卷积层卷积核大小均设置为3×3，滑动步长均设置为1；将输出通道设置为16；

所述中精炼子模块与加法单元连接，第一输入层与乘法单元相连；中精炼子模块由第二输入层、池化层、激活层、乘法单元、反卷积层依次串联而成；将池化层的池化窗口尺寸设置为2×2，滑动步长设置为2，池化层的激活函数采用ReLU；激活层中的激活函数采用Sigmoid函数；将反卷积层中卷积核大小设置为3×3，滑动步长设置为1；

步骤3，构建残差卷积组、残差反卷积组：

步骤3.1，搭建第一至第三残差卷积组，每个残差卷积组由四个结构和参数均相同的残差卷积单元依次串联而成；所述残差卷积单元的结构为，输入层、第一卷积层、第一池化层、第二卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连；第一、第二池化层的激活函数采用ReLU，将三个残差卷积组中的第一、第二卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道分别设置为16、32、64；

步骤3.2，搭建第一、第二残差反卷积组，每个残差反卷积组由四个结构和参数均相同的残差反卷积单元依次串联而成；所述残差反卷积单元的结构为，输入层、第一反卷积层、第一池化层、第二反卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连；第一、第二池化层的激活函数采用ReLU，将两个残差反卷积组中的第一、第二反卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道分别设置为32、16；

步骤4，构建多尺度特征增强聚合网络：

步骤4.1，搭建一个U-Net子模块包括输入层、第一残差卷积组、第二残差卷积组、第三残差卷积组、第一合并单元、第一残差反卷积组、第二合并单元、第二残差反卷积组、第一输出层、第二输出层、第三输出层，其结构为：输入层、第一残差卷积组、第二残差卷积组、第三残差卷积组、第一合并单元、第二合并单元、第二残差反卷积组依次串联；第一残差卷积组还与第二合并单元相连，第二残差卷积组还与第一合并单元相连，第三残差卷积组还与第一输出层相连，第一残差反卷积组还与第二输出层相连，第二残差反卷积组还与第三输出层相连；

步骤4.2，将输入层、卷积层、残差特征补偿模块、U-Net子模块、选择性特征融合模块、输出层依次串联组成多尺度特征增强聚合网络；将卷积层卷积核大小设置为3×3，滑动步长设置为1，输出通道设置为16；

步骤5，生成训练集：

步骤5.1，选取至少400张红外图像组成样本集；

步骤5.2，将样本集中的红外图像依次进行随机镜像、随机放缩、扩充裁剪、高斯模糊处理；

步骤5.3，将每张处理后的图像进行归一化处理，将归一化处理后的所有样本组成训练集；

步骤6，训练多尺度特征增强聚合网络：

将训练集输入到多尺度特征增强聚合网络中，利用交并比损失函数计算所选取的红外图像输入到多尺度特征增强聚合网络后，多尺度特征增强聚合网络的损失值，利用随机梯度下降法的梯度优化算法对网络参数进行优化，迭代更新多尺度特征增强聚合网络的权重值，直至网络的交并比损失函数收敛为止，得到训练好的多尺度特征增强聚合网络；

步骤7，对红外弱小目标进行检测：

步骤7.1，将待检测的红外图像依次进行裁剪、归一化处理；

步骤7.2，将归一化处理后的红外图像输入到训练好的多尺度特征增强聚合网络中检测图像中的红外小目标；将网络输出图像中由多个像素值为1的像素点组成的区域作为检测到的小目标区域，像素值为0的像素点代表未检测到小目标的区域。

与现有技术相比，本发明具有以下优点：

第一，本发明设计的残差特征补偿模块，用于对图像进行增强目标、抑制背景的初步处理。该残差特征补偿部分利用待测图像与特征提取过的图像直接作差，对整个图像的作差操作能够关注图像的全局来抑制复杂背景，且增强目标的关键参数线性放大因子可以灵活调整大小防止对比度高的图像被过度增强产生失真。全局的关注使得丢失含有红外小目标的重要信息的问题得以解决。使得本发明检测适用的图像类型更加广泛、检测的红外小目标的信息更加完整，提高了检测的红外小目标的准确性。

第二，本发明在对不同层次特征融合的过程中，通过自相关融合将中高层级特征映射到低层特征上获得低精炼特征，使低层特征充分学习了高层特征信息，避免了频谱残差法的图像使部分低层尺度特征丢失的问题；由于中精炼法将提炼的中层特征与高层特征右乘从而有效地学习了高层次特征。两种精炼特征相加融合使得本发明具有不同层级特征充分学习融合，防止提取语义细节丢失，降低了误警虚警率的优点。

第三，本发明多尺度特征增强聚合网络利用了U-Net算法提取不同层次图像特征，由于U-Net算法本身已经对原始图像不同层次特征进行了初步提取和融合操作，因此输入选择性特征融合模块后的低中高三种特征进行了更深层的学习和融合，两次对特征的学习和融合之后，多尺度检测极大程度地避免了特征提取语义细节丢失。避免了非极大值抑制操作极可能剔除两相近的目标导致检测失效的问题。多层次、多阶段地特征提取使得本发明具有关注每个不同小目标的信息、不同层次特征融合充分的优点。

附图说明

图1为本发明实现的流程图；

图2为本发明残差特征补偿模块的结构示意图；

图3为本发明选择性特征融合模块的结构示意图；

图4为本发明残差卷积组、残差反卷积组的结构示意图；

图5为本发明U-Net子模块、多尺度特征增强聚合网络的结构示意图；

图6为本发明实施例中待测红外图像的示意图；

图7为本发明实施例的待测红外图像中红外弱小目标的真实位置和形状示意图；

图8为本发明检测出实施例中的待测红外图像中红外弱小目标的位置和形状示意图；

具体实施方式

以下结合附图和实施例，对本发明做进一步的描述。

参照图1和实施例，对本发明的实现步骤做进一步的描述。

步骤1，生成训练集、测试集。

步骤1.1，本发明的实施例是从公开的SIRST数据集中选取427张红外图像组成样本集，将样本集中80％的图像组成训练样本集，20％的图像组成测试样本集。

步骤1.2，为了保证对网络的训练效果，将训练样本集中的红外图像进行数据增广处理。即对训练样本集中的每张红外图像依次进行随机镜像、随机放缩、扩充裁剪、高斯模糊操作后，得到每张图像均为480×480规格的处理后的图像；

步骤1.3，将每张处理后的图像输入到torchvision模块中进行归一化处理，将归一化处理后的所有训练样本组成训练集。

步骤2，构建残差特征补偿模块。

参照图2，对本发明构建的残差特征补偿模块的结构做进一步的描述。

步骤2.1，搭建一个残差特征补偿模块，该模块中的输入层，卷积层组，拼接单元、卷积层，减法单元，激活层，乘法单元、加法单元、输出层依次串联，输入层分别与减法单元和加法单元相连；其结构为，卷积层组由两个卷积层组成。

步骤2.2，设置残差特征补偿模块的参数如下。

将输入层的通道参数设置为16；将卷积层组中的两个卷积层的卷积核大小分别设置为5×5，3×3，滑动步长均设置为1，输出通道设置为16；将残差特征补偿模块中的卷积层的卷积核大小设置为1×1，滑动步长设置为1。激活层中的激活函数采用ReLU。将乘法单元设置为将图像乘以线性放大因子β，β为在[1,4]的取值范围内选取的任意一个实数。本发明的实施例中β＝2。

步骤3，构建选择性特征融合模块。

参照图3，对本发明构建的选择性特征融合模块的结构做进一步的描述。

搭建一个包括第一输入层、第二输入层、第三输入层、低精炼子模块，中精炼子模块、加法单元、输出层的选择性特征融合模块。其结构为：

所述低精炼子模块、加法单元、输出层依次串联。低精炼子模块由输入组、反卷积组、卷积组、内积单元依次串联组成，输入组与内积单元连接。输入组由第一输入层、第二输入层、第三输入层组成。卷积组由三个卷积层组成。反卷积组由两个反卷积层组成。将第一至第三输入层通道参数分别设置为64，32，16。将反卷积组中两个反卷积层卷积核大小均设置为3×3，滑动步长均设置为1。将卷积层组中三个卷积层卷积核大小均设置为3×3，滑动步长均设置为1；将输出通道设置为16。

所述中精炼子模块与加法单元连接，第一输入层与乘法单元相连。中精炼子模块由第二输入层、池化层、激活层、乘法单元、反卷积层依次串联而成。将池化层的池化窗口尺寸设置为2×2，滑动步长设置为2，池化层的激活函数采用ReLU；激活层中的激活函数采用Sigmoid函数。将反卷积层中卷积核大小设置为3×3，滑动步长设置为1。

步骤4，构建残差卷积组、残差反卷积组。

参照图4，对本发明构建的残差卷积组、残差反卷积组的结构做进一步的描述。

步骤4.1，搭建第一残差卷积组，第一残差卷积组由四个结构和参数均相同的残差卷积单元依次串联而成；所述残差卷积单元的结构为，输入层、第一卷积层、第一池化层、第二卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连。第一、第二池化层的激活函数采用ReLU，将第一、第二卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道均设置为16。

步骤4.2，搭建第二残差卷积组，第二残差卷积组由四个结构和参数均相同的残差卷积单元依次串联而成；所述残差卷积单元的结构为，输入层、第一卷积层、第一池化层、第二卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连。第一、第二池化层的激活函数采用ReLU，将第一、第二卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道均设置为32。

步骤4.3，搭建第三残差卷积组，第三残差卷积组由四个结构和参数均相同的残差卷积单元依次串联而成；所述残差卷积单元的结构为，输入层、第一卷积层、第一池化层、第二卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连。第一、第二池化层的激活函数采用ReLU，将第一、第二卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道均设置为64。

步骤4.4，搭建第一残差反卷积组，第一残差反卷积组由四个结构和参数均相同的残差反卷积单元依次串联而成；所述残差反卷积单元的结构为，输入层、第一反卷积层、第一池化层、第二反卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连。第一、第二池化层的激活函数采用ReLU，将第一、第二反卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道均设置为32。

步骤4.5，搭建第二残差反卷积组，第二残差反卷积组由四个结构和参数均相同的残差反卷积单元依次串联而成；所述残差反卷积单元的结构为，输入层、第一反卷积层、第一池化层、第二反卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连。第一、第二池化层的激活函数采用ReLU，将第一、第二反卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道均设置为16。

步骤5，构建多尺度特征增强聚合网络。

参照图5，对本发明构建的U-Net子模块、多尺度特征增强聚合网络的结构做进一步的描述。

步骤5.1，搭建一个U-Net子模块包括输入层、第一残差卷积组、第二残差卷积组、第三残差卷积组、第一合并单元、第一残差反卷积组、第二合并单元、第二残差反卷积组、第一输出层、第二输出层、第三输出层，其结构为：输入层、第一残差卷积组、第二残差卷积组、第三残差卷积组、第一合并单元、第二合并单元、第二残差反卷积组依次串联；第一残差卷积组还与第二合并单元相连，第二残差卷积组还与第一合并单元相连，第三残差卷积组还与第一输出层相连，第一残差反卷积组还与第二输出层相连，第二残差反卷积组还与第三输出层相连；

步骤5.2，将输入层、卷积层、残差特征补偿模块、U-Net子模块、选择性特征融合模块、输出层依次串联组成多尺度特征增强聚合网络。将卷积层卷积核大小设置为3×3，滑动步长设置为1，输出通道设置为16。

步骤6，训练多尺度特征增强聚合网络：

将训练集输入到多尺度特征增强聚合网络中，利用交并比损失函数计算所选取的红外图像输入到多尺度特征增强聚合网络后，多尺度特征增强聚合网络的损失值，利用随机梯度下降法的梯度优化算法对网络参数进行优化，迭代更新多尺度特征增强聚合网络的权重值，直至网络的交并比损失函数收敛为止，得到训练好的多尺度特征增强聚合网络。

所述的交并比损失函数如下：

其中，loss表示输入到多尺度特征增强聚合网络中的红外图像，经过一轮迭代后，输出的网络损失值，∑表示求和操作，N表示训练集中图像样本的总数，n表示训练集中图像样本的索引，p_n表示预测输入红外图像中每个像素属于真实目标的概率，r_n表示输入图像中每个像素的类别，∈表示修正因子，∈的取值为在(0,0.1)的取值范围内选取的任意一个实数，其作用是防止分数的分母为零。

步骤7，对红外弱小目标进行检测：

步骤7.1，将测试集中的每张红外图像按照480×480规格裁剪，并使用torchvision模块进行归一化操作，得到预处理后的每张红外图像。

步骤7.2，将每张预处理后的红外图像输入到训练好的多尺度特征增强聚合网络中检测图像中的红外小目标。网络输出的红外图像中由多个像素值为1的像素点组成的区域作为检测到的小目标区域，像素值为0的像素点代表未检测到小目标的区域。

下面结合本发明的实施例和图6、7、8，对本发明做进一步的描述。

图6为本发明实施例中是从测试集中选取一张未经任何预处理的原始红外图像，该图像中的待测弱小目标被隐藏在复杂的云层背景下，且占有极少的像素点，即使是人眼也很难观测到。对该图像进行预处理后输入到本发明构建并训练好的多尺度特征增强聚合网络中，该网络输出的红外弱小目标检测结果图如图7所示。图7中位于中央的白色弱小像素点显示检测出图6中弱小目标的位置，右下角白色方框中显示所述检测出的弱小目标的形状。

图8为本发明测试集中与图6所述待测红外图像相对应的该红外弱小目标的真实位置和真实形状图。图7中位于中央的白色弱小像素点为待测红外图像中弱小目标的真实位置信息，右下角白色方框中显示该弱小目标的真实形状。

将图7与图8进行对比，显然利用本发明所述方法检测出红外弱小目标的位置、形状信息与真实信息相似度很高，说明本发明构建并训练好的多尺度特征增强聚合网络增强目标、抑制背景效果明显，多尺度特征提取准确、融合效果良好，使红外弱小目标检测中的虚警误警率大大降低。

Claims (2)

1.一种复杂环境的多尺度正向特征增益红外弱小目标检测方法，其特征在于，构建并训练多尺度特征增强聚合网络，利用该网络中的残差特征补偿模块对红外图像进行背景抑制、目标增强操作；利用选择性特征融合模块提取、学习并融合红外图像中的多种不同尺度的特征；该检测方法的步骤包括如下：

步骤1，构建残差特征补偿模块：

步骤1.1，搭建一个残差特征补偿模块，该模块中的输入层，卷积层组，拼接单元、卷积层，减法单元，激活层，乘法单元、加法单元、输出层依次串联，输入层分别与减法单元和加法单元相连；其中，卷积层组由两个卷积层组成；

步骤1.2,将输入层的通道参数设置为16；将卷积层组中的两个卷积层的卷积核大小分别设置为5×5，3×3，滑动步长均设置为1，输出通道设置为16；将残差特征补偿模块中的卷积层的卷积核大小设置为1×1，滑动步长设置为1；激活层中的激活函数采用ReLU；将乘法单元设置为将图像乘以线性放大因子β，β为在[1,4]的取值范围内选取的任意一个实数；

步骤2，构建选择性特征融合模块：

搭建一个包括第一输入层、第二输入层、第三输入层、低精炼子模块，中精炼子模块、加法单元、输出层的选择性特征融合模块；其中：

所述低精炼子模块、加法单元、输出层依次串联；低精炼子模块由输入组、反卷积组、卷积组、内积单元依次串联组成，输入组与内积单元连接；输入组由第一输入层、第二输入层、第三输入层组成；卷积组由三个卷积层组成；反卷积组由两个反卷积层组成；将第一至第三输入层通道参数分别设置为64，32，16；将反卷积组中两个反卷积层卷积核大小均设置为3×3，滑动步长均设置为1；将卷积层组中三个卷积层卷积核大小均设置为3×3，滑动步长均设置为1；将输出通道设置为16；

所述中精炼子模块与加法单元连接，第一输入层与乘法单元相连；中精炼子模块由第二输入层、池化层、激活层、乘法单元、反卷积层依次串联而成；将池化层的池化窗口尺寸设置为2×2，滑动步长设置为2，池化层的激活函数采用ReLU；激活层中的激活函数采用Sigmoid函数；将反卷积层中卷积核大小设置为3×3，滑动步长设置为1；

步骤3，构建残差卷积组、残差反卷积组：

步骤3.1，搭建第一至第三残差卷积组，每个残差卷积组由四个结构和参数均相同的残差卷积单元依次串联而成；所述残差卷积单元的结构为，输入层、第一卷积层、第一池化层、第二卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连；第一、第二池化层的激活函数采用ReLU，将三个残差卷积组中的第一、第二卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道分别设置为16、32、64；

步骤3.2，搭建第一、第二残差反卷积组，每个残差反卷积组由四个结构和参数均相同的残差反卷积单元依次串联而成；所述残差反卷积单元的结构为，输入层、第一反卷积层、第一池化层、第二反卷积层、加法单元、第二池化层、输出层依次串联，输入层还与加法单元相连；第一、第二池化层的激活函数采用ReLU，将两个残差反卷积组中的第一、第二反卷积层卷积核大小均设置为3×3，滑动步长均设置为1，输出通道分别设置为32、16；

步骤4，构建多尺度特征增强聚合网络：

步骤4.1，搭建一个U-Net子模块包括输入层、第一残差卷积组、第二残差卷积组、第三残差卷积组、第一合并单元、第一残差反卷积组、第二合并单元、第二残差反卷积组、第一输出层、第二输出层、第三输出层，其结构为：输入层、第一残差卷积组、第二残差卷积组、第三残差卷积组、第一合并单元、第二合并单元、第二残差反卷积组依次串联；第一残差卷积组还与第二合并单元相连，第二残差卷积组还与第一合并单元相连，第三残差卷积组还与第一输出层相连，第一残差反卷积组还与第二输出层相连，第二残差反卷积组还与第三输出层相连；

步骤4.2，将输入层、卷积层、残差特征补偿模块、U-Net子模块、选择性特征融合模块、输出层依次串联组成多尺度特征增强聚合网络；将卷积层卷积核大小设置为3×3，滑动步长设置为1，输出通道设置为16；

步骤5，生成训练集：

步骤5.1，选取至少400张红外图像组成样本集；

步骤5.2，将样本集中的红外图像依次进行随机镜像、随机放缩、扩充裁剪、高斯模糊处理；

步骤5.3，将每张处理后的图像进行归一化处理，将归一化处理后的所有样本组成训练集；

步骤6，训练多尺度特征增强聚合网络：

将训练集输入到多尺度特征增强聚合网络中，利用交叉熵骰子混合损失函数计算所选取的红外图像输入到多尺度特征增强聚合网络后，多尺度特征增强聚合网络的损失值，利用随机梯度下降法的梯度优化算法对网络参数进行优化，迭代更新多尺度特征增强聚合网络的权重值，直至网络的交叉熵骰子混合损失函数收敛为止，得到训练好的多尺度特征增强聚合网络；

步骤7，对红外弱小目标进行检测：

步骤7.1，将待检测的红外图像依次进行裁剪、归一化处理；

步骤7.2，将归一化处理后的红外图像输入到训练好的多尺度特征增强聚合网络中检测图像中的红外小目标；将网络输出图像中由多个像素值为1的像素点组成的区域作为检测到的小目标区域，像素值为0的像素点代表未检测到小目标的区域。

2.根据权利要求1中所述的基于多尺度特征增强聚合网络的检测红外图像中小目标的方法，其特征在于，步骤5中所述的交叉熵骰子混合损失函数如下:

其中，loss表示输入到多尺度特征增强聚合网络中的红外图像，经过一轮迭代后，输出的网络损失值，∑表示求和操作，N表示训练集中图像样本的总数，n表示训练集中图像样本的索引，p_n表示预测输入红外图像中每个像素属于真实目标的概率，r_n表示输入图像中每个像素的类别，∈表示修正因子，∈的取值为在(0,0.1)的取值范围内选取的任意一个实数，其作用是防止分数的分母为零。

Images