CN115661573A - 红外弱小目标的检测方法、装置、计算设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，特别涉及一种红外弱小目标的检测方法、装置、计算设备及存储介质。其中，方法包括：获取待检测的红外弱小目标图像；将红外弱小目标图像输入至预先训练生成的检测模型中；其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；得到红外弱小目标图像的检测结果。本方案可以使检测模型具有较强的语义分割能力，可以提高对复杂背景下红外弱小目标的检测能力。

Description

红外弱小目标的检测方法、装置、计算设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，特别涉及一种红外弱小目标的检测方法、装置、计算设备及存储介质。

背景技术

红外预警、搜索、制导等技术都寻求在很远的距离上发现目标，越远的发现距离代表越充分的预警和响应时间，这意味着需要检测到尺寸更小、灰度更低的目标，但上述问题对红外弱小目标检测的准确率和复杂背景下的健壮性提出了挑战。近年来，军事领域和工业、医疗等民用领域都开始广泛使用红外目标检测技术，且取得了巨大成功。这些领域的特殊需求促进了对更高检测率和更低虚警率的算法的研究和应用。

然而，现有的红外弱小目标检测和分割算法依赖于对目标和背景进行建模，一般适用于均匀的连续背景，对目标和背景亮度剧烈变化、目标与背景差异不明显等复杂背景下，检测结果虚警率高，检测率低。

发明内容

为了解决现有的红外弱小目标检测方法虚警率高，检测率低的问题，本发明实施例提供了一种红外弱小目标的检测方法、装置、计算设备及存储介质。

第一方面，本发明实施例提供了一种红外弱小目标的检测方法，包括：

获取待检测的红外弱小目标图像；

将所述红外弱小目标图像输入至预先训练生成的检测模型中；其中，所述检测模型基于预设的神经网络训练得到，所述预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；

得到所述红外弱小目标图像的检测结果。

优选的，所述特征融合网络包括第一特征融合模块和第二特征融合模块；

所述检测模型的训练方式，包括：

获取多个被标注有标签的训练样本；

将多个所述训练样本输入至所述骨干网络中，以利用所述骨干网络中的四个残差网络分别对每一个所述训练样本进行第一阶段特征提取、第二阶段特征提取、第三阶段特征提取和第四阶段特征提取，以得到每一个阶段特征提取后的特征图；

将所述第四阶段特征提取后的特征图输入至所述上下文特征提取网络中的每个空洞卷积层中，以得到每一个所述训练样本对应的扩张特征图；

将所述扩张特征图和所述第三阶段特征提取后的特征图输入至所述第一特征融合模块中，得到每一个所述训练样本对应的第一融合特征图；

将所述第一融合特征图和所述第二阶段特征提取后的特征图输入至所述第二特征融合模块，得到每一个所述训练样本对应的第二融合特征图；

将所述第二融合特征图输入至所述全卷积网络，以得到每一个所述训练样本的检测结果；

根据每一个所述训练样本的检测结果和每一个所述训练样本对应的标签，调整所述神经网络的网络参数，直至得到符合预期的检测模型。

优选的，在所述得到每一个所述训练样本对应的第二融合特征图之后，在所述将所述第二融合特征图输入至所述全卷积网络之前，还包括：对每一个所述训练样本对应的所述第二融合特征图进行上采样。

优选的，所述上下文特征提取网络包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层；

所述将所述第四阶段特征提取后的特征图输入至所述上下文特征提取网络中的每个空洞卷积层中，以得到每一个所述训练样本对应的扩张特征图，包括：

将每一个所述训练样本对应的所述第四阶段特征提取后的特征图输入至所述第一空洞卷积层中，以对所述第四阶段特征提取后的特征图进行第一次扩张，得到第一特征图；

将所述第一特征图和所述第四阶段特征提取后的特征图进行级联后输入至所述第二空洞卷积层中，得到第二特征图；

将所述第二特征图、所述第四阶段特征提取后的特征图以及所述第一特征图进行级联后输入至所述第三空洞卷积层中，得到第三特征图；

将所述第三特征图、所述第四阶段特征提取后的特征图、所述第一特征图以及所述第二特征图进行级联后输入至所述第四空洞卷积层中，得到第四特征图；

将所述第四特征图、所述第四阶段特征提取后的特征图、所述第一特征图、所述第二特征图以及所述第三特征图进行级联后输入至所述第五空洞卷积层中，得到第五特征图；

将所述第五特征图、所述第四阶段特征提取后的特征图、所述第一特征图、所述第二特征图、所述第三特征图以及所述第四特征图进行级联后，得到每一个所述训练样本对应的扩张特征图。

优选的，所述第一特征融合模块包括空间注意力分支和通道注意力分支；

所述将所述扩张特征图和所述第三阶段特征提取后的特征图输入至所述第一特征融合模块，得到每一个所述训练样本对应的第一融合特征图，包括：

将所述扩张特征图进行插值，并将插值后的扩张特征图的通道数降至与所述第三阶段特征提取后的特征图的通道数相同后与所述第三阶段特征提取后的特征图相加，得到第一融合图；

将所述第一融合图分别输入至所述空间注意力分支和所述通道注意力分支中，并将所述空间注意力分支和所述通道注意力分支输出的特征图相加，得到第二融合图；

将所述第二融合图与插值、降通道数之后的扩张特征图相乘后的结果，与所述第二融合图与所述第三阶段特征提取后的特征图相乘后的结果相加，得到第一融合特征图。

优选的，所述空间注意力分支包括两个卷积核均为1×1的卷积层；所述通道注意力分支包括自适应池化层和一维卷积层。

优选的，所述第二特征融合模块与所述第一特征融合模块的网络结构相同。

第二方面，本发明实施例还提供了一种红外弱小目标的检测装置，包括：

获取单元，用于获取待检测的红外弱小目标图像；

检测单元，用于将所述红外弱小目标图像输入至预先训练生成的检测模型中；其中，所述检测模型基于预设的神经网络训练得到，所述预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；

输出单元，用于得到所述红外弱小目标图像的检测结果。

第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。

本发明实施例提供了一种红外弱小目标的检测方法、装置、计算设备及存储介质，首先将待检测的红外弱小目标图像输入至预先训练生成的检测模型中，其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络。因此，可以利用检测模型中的骨干网络对待检测的红外弱小目标图像进行特征提取，并利用上下文特征提取网络引入红外弱小目标周围的上下文信息，接着利用特征融合网络将骨干网络和上下文特征提取网络提取的特征进行融合，使检测模型具有较强的语义分割能力，以此来提高检测模型对复杂背景下红外弱小目标的检测能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种红外弱小目标的检测方法流程图；

图2是本发明一实施例提供的另一种红外弱小目标的检测方法流程图；

图3是本发明一实施例提供的一种电子设备的硬件架构图；

图4是本发明一实施例提供的一种红外弱小目标的检测装置结构图；

图5是本发明一实施例提供的另一种红外弱小目标的检测装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如前所述，现有的红外弱小目标检测和分割算法依赖于对目标和背景进行建模，一般适用于均匀的连续背景，对目标和背景亮度剧烈变化、目标与背景差异不明显等复杂背景下，检测结果虚警率高，检测率低。

为了解决上述技术问题，发明人可以考虑利用上下文特征提取网络提取整幅图像的全局信息，然后利用特征融合网络进行特征融合，以此来提高检测模型的语义分割能力，提高对复杂背景下红外弱小目标的检测率，降低虚警率。

下面描述以上构思的具体实现方式。

请参考图1，本发明实施例提供了一种红外弱小目标的检测方法，该方法包括：

步骤100：获取待检测的红外弱小目标图像；

步骤102：将红外弱小目标图像输入至预先训练生成的检测模型中；其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；

步骤104：得到红外弱小目标图像的检测结果。

本发明实施例中，首先将待检测的红外弱小目标图像输入至预先训练生成的检测模型中，其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络。因此，可以利用检测模型中的骨干网络对待检测的红外弱小目标图像进行特征提取，并利用上下文特征提取网络引入红外弱小目标周围的上下文信息，接着利用特征融合网络将骨干网络和上下文特征提取网络提取的特征进行融合，使检测模型具有较强的语义分割能力，以此来提高检测模型对复杂背景下红外弱小目标的检测能力。

下面描述图1所示的各个步骤的执行方式。

针对步骤100：

需要说明的是，本步骤中的待检测的红外弱小目标图像可以包含任一类别的红外弱小目标，也可以不包含红外弱小目标，在此不做具体限定。并且，待检测的红外弱小目标图像不具有标签。

针对步骤102：

在一些实施方式中，特征融合网络包括第一特征融合模块和第二特征融合模块。

那么，接下来对检测模型的构建过程进行说明。

在一些实施方式中，检测模型的训练方式，可以包括如下步骤S1-S4：

步骤S1，获取多个被标注有标签的训练样本。

在步骤S1中，获取在实际环境下拍摄到的若干张红外弱小目标图像，并且手动标注这些图像中的红外弱小目标的位置和形状，以此来作为训练样本。

步骤S2，将多个训练样本输入至骨干网络中，以利用骨干网络中的四个残差网络分别对每一个训练样本进行第一阶段特征提取、第二阶段特征提取、第三阶段特征提取和第四阶段特征提取，以得到每一个阶段特征提取后的特征图。

在步骤S2中，骨干网络包括四个阶段的残差网络，且每个阶段的残差网络均包含4个残差块。首先，将每个训练样本输入至第一阶段残差网络中进行第一阶段特征提取；然后，将第一阶段特征提取后的特征图输入至第二阶段残差网络中进行第二阶段特征提取；接着，将第二阶段特征提取后的特征图输入至第三阶段残差网络中进行第三阶段特征提取；最后，将第三阶段特征提取后的特征图输入至第四阶段残差网络中进行第四阶段特征提取，得到第四阶段特征提取后的特征图。

其中，从第一阶段到第四阶段，输入的特征图的尺度逐渐减小，特征层数逐渐增加。由于不同尺度特征图上包含的特征不相同，本实施例中靠前的阶段提取的特征图中包含有丰富的细节特征,而靠后的阶段提取的特征图中包含有丰富的语义特征，利用骨干网络串联连接的四个残差网络对训练样本进行多尺度的特征提取，可以获取红外弱小目标的多尺度特征，有利于提高检测模型的检测率。

步骤S3，将第四阶段特征提取后的特征图输入至上下文特征提取网络中的每个空洞卷积层中，以得到每一个训练样本对应的扩张特征图。

在步骤S3中，使用多个空洞卷积层对第四阶段特征提取后的特征图进行上下文特征提取，在不减小特征分辨率的同时扩大感受野，同时不会显著增加模型大小。

步骤S4，将扩张特征图和第三阶段特征提取后的特征图输入至第一特征融合模块中，得到每一个训练样本对应的第一融合特征图。

在步骤S4中，利用第一特征融合模块将上下文特征提取网络获得的扩张特征图和骨干网络中第三阶段特征提取后的特征图进行融合，旨在融合不同尺度的特征，其中，第三阶段特征提取后的特征图相对尺度较大，保留了图像边缘、轮廓等局部细节信息，有利于目标定位，而上下文特征提取网络获得的扩张特征图得尺度最小，包含有更加抽象的语义信息，但对细节的感知能力较差，将两者融合起来得到的第一融合特征图不但包含丰富的语义信息，还包含目标细节，有利于红外弱小目标的检测。

步骤S5，将第一融合特征图和第二阶段特征提取后的特征图输入至第二特征融合模块，得到每一个训练样本对应的第二融合特征图。

在步骤S5中，为了构建更细粒度的特征和具有更加丰富语义信息的特征，利用第二特征融合模块将步骤S4得到的第一融合特征图和骨干网络中第二阶段特征提取后的特征图进行融合，以得到具有更强描述性的第二融合特征图，提高对红外弱小目标的检测率，降低虚警率。

步骤S6，将第二融合特征图输入至全卷积网络，以得到每一个训练样本的检测结果。

步骤S7，根据每一个训练样本的检测结果和每一个训练样本对应的标签，调整神经网络的网络参数，直至得到符合预期的检测模型。

在步骤S7中，在将每一批次的训练样本输入至预设的神经网络后，均需计算和存储神经网络中每层的参数，根据损失函数计算现有参数和手动标注结果的偏差值；根据偏差值求误差梯度，并以此作为下一批次的训练样本更新神经网络参数的依据，直至得到符合预期的检测模型。

在一些实施方式中，在步骤S5之后，在步骤S6之前，还包括：对每一个训练样本对应的第二融合特征图进行上采样。

在本实施例中，为了使全卷积网络输出的检测结果与每一个训练样本原始的尺寸相同，这样可以清楚地看到红外弱小目标位于原图中的位置，而一个训练样本对应的第二融合特征图的尺寸小于每一个训练样本原始的尺寸，故而，需要对每一个训练样本对应的第二融合特征图进行上采样之后再输入至全卷积网络，以得到每一个训练样本与原图尺寸相同的检测结果。

在一些实施方式中，上下文特征提取网络包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层。

那么，步骤S3可以包括：

将每一个训练样本对应的第四阶段特征提取后的特征图输入至第一空洞卷积层中，以对第四阶段特征提取后的特征图进行第一次扩张，得到第一特征图；

将第一特征图和第四阶段特征提取后的特征图进行级联后输入至第二空洞卷积层中，得到第二特征图；

将第二特征图、第四阶段特征提取后的特征图以及第一特征图进行级联后输入至第三空洞卷积层中，得到第三特征图；

将第三特征图、第四阶段特征提取后的特征图、第一特征图以及第二特征图进行级联后输入至第四空洞卷积层中，得到第四特征图；

将第四特征图、第四阶段特征提取后的特征图、第一特征图、第二特征图以及第三特征图进行级联后输入至第五空洞卷积层中，得到第五特征图；

将第五特征图、第四阶段特征提取后的特征图、第一特征图、第二特征图、第三特征图以及第四特征图进行级联后，得到每一个训练样本对应的扩张特征图。

在本实施例中，上下文特征提取网络中的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层的扩张率分别为1，3，6，12，18；本实施例中通过密集链接的方式连接不同扩张率的空洞卷积层，可以增加每个空洞卷积层的特征分辨率。各个空洞卷积层的密集链接和每个空洞卷积层的扩张率的选择，可以覆盖足够大的感受野，形成足够密集的特征，能够有效增强对多尺度红外弱小目标和上下文的感受能力。

在一些实施方式中，第一特征融合模块包括空间注意力分支和通道注意力分支。

那么，步骤S4可以包括：

将扩张特征图进行插值，并将插值后的扩张特征图的通道数降至与第三阶段特征提取后的特征图的通道数相同后与第三阶段特征提取后的特征图相加，得到第一融合图；

将第一融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第二融合图；

将第二融合图与插值、降通道数之后的扩张特征图相乘后的结果，与第二融合图与第三阶段特征提取后的特征图相乘后的结果相加，得到第一融合特征图。

在本实施例中，在第一特征融合模块中，由于步骤S3得到的扩张特征图的尺寸较小，通道数较多，为了使扩张特征图和第三阶段特征提取后的特征图能够更好地融合，可以先对步骤S3得到的每一个训练样本对应的扩张特征图进行插值至与第三阶段特征提取后的特征图的尺寸相同后，再使用1×1卷积将插值后的扩张特征图的通道数降至与第三阶段特征提取后的特征图的通道数相同后，与第三阶段特征提取后的特征图相加，得到第一融合图；为了突出红外弱小目标的本身信息，保留有价值的特征，剔除无价值的特征，本实施例将第一融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第二融合图；最后，将第二融合图与插值、降通道数之后得到的扩张特征图相乘后的结果，与第二融合图与第三阶段特征提取后的特征图相乘后的结果相加，得到含有丰富语义信息和目标细节的第一融合特征图。

在一些实施方式中，空间注意力分支包括两个卷积核均为1×1的卷积层；通道注意力分支包括自适应池化层和一维卷积层。

在本实施例中，将第一融合图分别输入至空间注意力分支和通道注意力分支中，空间注意力分支使用两个1×1卷积在第一融合图上输出权重；通道注意力分支首先使用自适应池化将输入变为C×1×1大小，之后使用1维卷积捕获附近5个通道上的跨通道交互，以在各个通道上生成权重。如此，可以利用空间注意力分支和通道注意力分支突出第一融合图中的红外弱小目标的本身信息，保留有价值的特征，剔除无价值的特征。

在一些实施方式中，第二特征融合模块与第一特征融合模块的网络结构相同。

在本实施例中，为了构建更细粒度的特征和具有更加丰富语义信息的特征，可以使第二特征融合模块与第一特征融合模块的网络结构相同，那么步骤S5可以包括：

将第一融合特征图进行插值，并将插值后的第一融合特征图的通道数降至与第二阶段特征提取后的特征图的通道数相同后与第二阶段特征提取后的特征图相加，得到第三融合图；

将第三融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第四融合图；

将第四融合图与插值、降通道数之后的第一融合特征图相乘后的结果，与第四融合图与第二阶段特征提取后的特征图相乘后的结果相加，得到第二融合特征图。

在本实施例中，将第三融合图分别输入至空间注意力分支和通道注意力分支中，空间注意力分支使用两个1×1卷积在第一融合图上输出权重；通道注意力分支首先使用自适应池化将输入变为C×1×1大小，之后使用1维卷积捕获附近5个通道上的跨通道交互，以在各个通道上生成权重。如此，可以利用空间注意力分支和通道注意力分支突出第三融合图中的红外弱小目标的本身信息，保留有价值的特征，剔除无价值的特征，以得到具有更强描述性的第二融合特征图，提高对红外弱小目标的检测率，降低虚警率。

综上，为检测模型的构建过程。

针对步骤104：

将待检测的红外弱小目标图像输入到利用上述方法构建的检测模型中，可以得到待检测的红外弱小目标图像的检测结果。本实施例的检测结果为确定出红外弱小目标图像中的红外弱小目标。

为了检验本实施例中所提出的方法对红外弱小目标的分割检测性能，故在测试集上实际测试了分割检测性能，并形成了平均交并比(mIOU)，召回率(PD)，虚警率(FA)作为评价指标，如表1所示。

表1

	交并比(％)	检测率(％)	虚警率(×10<sup>-6</sup>)
				本发明	76.85	99.08	8.22

当检测结果需要得到红外弱小目标的类别和检测框时，本发明实施例提供了另一种红外弱小目标的检测方法。

请参考图2，本发明实施例提供了另一种红外弱小目标的检测方法，该方法包括：

步骤200：获取待检测的红外弱小目标图像；

步骤202：将红外弱小目标图像输入至预先训练生成的检测模型中；其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和检测头模块；

步骤204：根据检测头模块的输出结果，得到对红外弱小目标图像的检测结果。

本发明实施例中，首先将待检测的红外弱小目标图像输入至预先训练生成的检测模型中，其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和检测头模块；因此，可以利用检测模型中的骨干网络对待检测的红外弱小目标图像进行特征提取，并利用上下文特征提取网络引入红外弱小目标周围的上下文信息，接着利用特征融合网络将骨干网络和上下文特征提取网络提取的特征进行融合，最后使用无预设锚框的检测头模块对红外弱小目标图像进行检测，以此来提高检测模型对红外弱小目标的检测能力。

下面描述图2所示的各个步骤的执行方式。

针对步骤200：

需要说明的是，本步骤中的待检测的红外弱小目标图像可以包含任一类别的红外弱小目标，也可以不包含红外弱小目标，在此不做具体限定。并且，待检测的红外弱小目标图像不具有标签。

针对步骤202：

在一些实施方式中，检测头模块包括第一检测头和第二检测头。

那么，接下来对检测模型的构建过程进行说明。

在一些实施方式中，检测模型的训练方式，可以包括如下步骤H1-H4：

步骤H1，获取多个被标注有标签的训练样本；

在步骤H1中，获取在实际环境下拍摄到的若干张红外弱小目标图像，并且手动标注这些图像中的红外弱小目标的类别和标注框，以此来作为训练样本。

步骤H2，将多个训练样本输入至骨干网络中，以利用骨干网络中的四个残差网络分别对每一个训练样本进行第一阶段特征提取、第二阶段特征提取、第三阶段特征提取和第四阶段特征提取，以得到每一个阶段特征提取后的特征图。

在步骤H2中，骨干网络包括四个阶段的残差网络，且每个阶段的残差网络均包含4个残差块。首先，将每个训练样本输入至第一阶段残差网络中进行第一阶段特征提取；然后，将第一阶段特征提取后的特征图输入至第二阶段残差网络中进行第二阶段特征提取；接着，将第二阶段特征提取后的特征图输入至第三阶段残差网络中进行第三阶段特征提取；最后，将第三阶段特征提取后的特征图输入至第四阶段残差网络中进行第四阶段特征提取，得到第四阶段特征提取后的特征图。

其中，从第一阶段到第四阶段，输入的特征图的尺度逐渐减小，特征层数逐渐增加。由于不同尺度特征图上包含的特征不相同，本实施例中靠前的阶段提取的特征图中包含有丰富的细节特征,而靠后的阶段提取的特征图中包含有丰富的语义特征，利用骨干网络串联连接的四个残差网络对训练样本进行多尺度的特征提取，可以获取红外弱小目标的多尺度特征，有利于提高检测模型的检测率。

步骤H3，将第四阶段特征提取后的特征图输入至上下文特征提取网络中的每个空洞卷积层中，以得到每一个训练样本对应的扩张特征图。

在步骤H3中，使用多个空洞卷积层对第四阶段特征提取后的特征图进行上下文特征提取，在不减小特征分辨率的同时扩大感受野，同时不会显著增加模型大小。

在一些实施方式中，上下文特征提取网络包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层。

那么，步骤H3可以包括：

将每一个训练样本对应的第四阶段特征提取后的特征图输入至第一空洞卷积层中，以对第四阶段特征提取后的特征图进行第一次扩张，得到第一特征图；

将第一特征图和第四阶段特征提取后的特征图进行级联后输入至第二空洞卷积层中，得到第二特征图；

将第二特征图、第四阶段特征提取后的特征图以及第一特征图进行级联后输入至第三空洞卷积层中，得到第三特征图；

将第三特征图、第四阶段特征提取后的特征图、第一特征图以及第二特征图进行级联后输入至第四空洞卷积层中，得到第四特征图；

将第四特征图、第四阶段特征提取后的特征图、第一特征图、第二特征图以及第三特征图进行级联后输入至第五空洞卷积层中，得到第五特征图；

将第五特征图、第四阶段特征提取后的特征图、第一特征图、第二特征图、第三特征图以及第四特征图进行级联后，得到每一个训练样本对应的扩张特征图。

在本实施例中，上下文特征提取网络中的第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层的扩张率分别为1，3，6，12，18；本实施例中通过密集链接的方式连接不同扩张率的空洞卷积层，可以增加每个空洞卷积层的特征分辨率。各个空洞卷积层的密集链接和每个空洞卷积层的扩张率的选择，可以覆盖足够大的感受野，形成足够密集的特征，能够有效增强对多尺度红外弱小目标和上下文的感受能力。

步骤H4，利用特征融合网络，基于第三阶段特征提取后的特征图和扩张特征图，得到每一个训练样本对应的第一融合特征图，并在得到第一融合特征图之后，基于第一融合特征图和第二阶段特征提取后的特征图，得到每一个训练样本对应的第二融合特征图。

在步骤H4中，特征融合网络包括第一特征融合模块和第二特征融合模块。首先，利用第一特征融合模块将上下文特征提取网络获得的扩张特征图和骨干网络中第三阶段特征提取后的特征图进行融合，以得到每一个训练样本对应的第一融合特征图，旨在融合不同尺度的特征，其中，第三阶段特征提取后的特征图相对尺度较大，保留了图像边缘、轮廓等局部细节信息，有利于目标定位，而上下文特征提取网络获得的扩张特征图得尺度最小，包含有更加抽象的语义信息，但对细节的感知能力较差，将两者融合起来得到的第一融合特征图不但包含丰富的语义信息，还包含目标细节，有利于红外弱小目标的检测。然后，利用第二特征融合模块将第一融合特征图和骨干网络中第二阶段特征提取后的特征图进行融合，以构建更细粒度的特征和具有更加丰富语义信息的特征，得到具有更强描述性的第二融合特征图，提高对红外弱小目标的检测率，降低虚警率。

在一些实施方式中，第一特征融合模块包括空间注意力分支和通道注意力分支。

那么，步骤“利用特征融合网络，基于第三阶段特征提取后的特征图和扩张特征图，得到每一个训练样本对应的第一融合特征图”，可以包括：

将扩张特征图进行插值，并将插值后的扩张特征图的通道数降至与第三阶段特征提取后的特征图的通道数相同后与第三阶段特征提取后的特征图相加，得到第一融合图；

将第一融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第二融合图；

将第二融合图与插值、降通道数之后的扩张特征图相乘后的结果，与第二融合图与第三阶段特征提取后的特征图相乘后的结果相加，得到第一融合特征图。

在本实施例中，在第一特征融合模块中，由于步骤H3得到的扩张特征图的尺寸较小，通道数较多，为了使扩张特征图和第三阶段特征提取后的特征图能够更好地融合，可以先对步骤H3得到的每一个训练样本对应的扩张特征图进行插值至与第三阶段特征提取后的特征图的尺寸相同后，再使用1×1卷积将插值后的扩张特征图的通道数降至与第三阶段特征提取后的特征图的通道数相同后，与第三阶段特征提取后的特征图相加，得到第一融合图；为了突出红外弱小目标的本身信息，保留有价值的特征，剔除无价值的特征，本实施例将第一融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第二融合图；最后，将第二融合图与插值、降通道数之后得到的扩张特征图相乘后的结果，与第二融合图与第三阶段特征提取后的特征图相乘后的结果相加，得到含有丰富语义信息和目标细节的第一融合特征图。

在一些实施方式中，空间注意力分支包括两个卷积核均为1×1的卷积层；通道注意力分支包括自适应池化层和一维卷积层。

在本实施例中，将第一融合图分别输入至空间注意力分支和通道注意力分支中，空间注意力分支使用两个1×1卷积在第一融合图上输出权重；通道注意力分支首先使用自适应池化将输入变为C×1×1大小，之后使用1维卷积捕获附近5个通道上的跨通道交互，以在各个通道上生成权重。如此，可以利用空间注意力分支和通道注意力分支突出第一融合图中的红外弱小目标的本身信息，保留有价值的特征，剔除无价值的特征，以得到具有更强描述性的第一融合特征图，提高对红外弱小目标的检测率，降低虚警率。

在一些实施方式中，第二特征融合模块与第一特征融合模块的网络结构相同。

在本实施例中，为了构建更细粒度的特征和具有更加丰富语义信息的特征，可以使第二特征融合模块与第一特征融合模块的网络结构相同，那么步骤“基于第一融合特征图和第二阶段特征提取后的特征图，得到每一个训练样本对应的第二融合特征图”，可以包括：

将第一融合特征图进行插值，并将插值后的第一融合特征图的通道数降至与第二阶段特征提取后的特征图的通道数相同后与第二阶段特征提取后的特征图相加，得到第三融合图；

将第三融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第四融合图；

将第四融合图与插值、降通道数之后的第一融合特征图相乘后的结果，与第四融合图与第二阶段特征提取后的特征图相乘后的结果相加，得到第二融合特征图。

在本实施例中，将第三融合图分别输入至空间注意力分支和通道注意力分支中，空间注意力分支使用两个1×1卷积在第一融合图上输出权重；通道注意力分支首先使用自适应池化将输入变为C×1×1大小，之后使用1维卷积捕获附近5个通道上的跨通道交互，以在各个通道上生成权重。如此，可以利用空间注意力分支和通道注意力分支突出第三融合图中的红外弱小目标的本身信息，保留有价值的特征，剔除无价值的特征，以得到具有更强描述性的第二融合特征图，提高对红外弱小目标的检测率，降低虚警率。

步骤H5，将第一融合特征图和第二融合特征图分别输入至第一检测头和第二检测头，以得到每一个训练样本的输出结果。

在步骤H5中，由于第一融合特征图和第二融合特征图的尺度不同，且包含的语义特征和细节特征不同，因此，使用第一检测头和第二检测头分别对第一融合特征图和第二融合特征图进行检测，以提高检测模型的多尺度检测能力。

步骤H6，根据每一个训练样本的输出结果和每一个训练样本对应的标签，调整神经网络的网络参数，直至得到符合预期的检测模型。

在步骤H6中，在将每一批次的训练样本输入至预设的神经网络后，均需计算和存储神经网络中每层的参数，根据损失函数计算现有参数和标签的偏差值；根据偏差值求误差梯度，并以此作为下一批次的训练样本更新神经网络参数的依据，直至得到符合预期的检测模型。

在一些实施方式中，第一检测头和第二检测头共享同一组网络参数；第一检测头和第二检测头利用分组归一化方式训练网络参数。

在本实施例中，第一检测头和第二检测头共享同一组网络参数，可以显著减少参数量，并解决训练时输入目标的尺度不均衡问题。另外，第一检测头和第二检测头中均使用了分组归一化(Group Norm)方法。这是由于两个检测头共享同一组网络参数，不希望在训练阶段每个检测头中的归一化操作都独立保存一套参数，若使用批次归一化(Batch Norm)会造成每个检测头都对批次归一化层更新参数，造成参数混乱，对推理结果产生极不利的影响。而分组归一化层的参数与批次大小无关，可在推理阶段直接计算得到，不会造成参数混乱的问题。

在一些实施方式中，第一检测头和第二检测头均包括分类分支、回归分支和中心度分支。

那么，步骤H5可以包括：

将第一融合特征图和第二融合特征图分别输入至第一检测头的分类分支和第二检测头的分类分支，得到第一融合特征图和第二融合特征图中每一个像素点的分类结果；

将第一融合特征图分别输入至第一检测头的回归分支和中心度分支，将第二融合特征图分别输入至第二检测头的回归分支和中心度分支，得到第一融合特征图的回归结果和第二融合特征图的回归结果。

在本实施例中，分类分支通过4层卷积层和1层输出层将输入特征图变为(B×H×W×C),其中B代表批次大小，H,W代表输入特征图的尺寸，C代表分类数，分类分支的分类结果为对每个输入特征图中的点的类别分类。回归分支通过4层卷积层和1层输出层回归点到输入特征图的相应边界的偏移量，其输出形状为(B×H×W×4)。中心度分支通过4层卷积层和1层输出层回归每个点的中心度。

在一些实施方式中，回归分支和中心度分支共享同一组卷积层。

在本实施例中，由于回归分支和中心度分支均需获取每个点的位置，因此为了减少网络参数，回归分支和中心度分支可以共享同一组卷积层，本实施例中，中心度分支和回归分支共享前4层卷积层，输出形状为(B×H×W×1)。

综上，为检测模型的构建过程。

针对步骤204：

在一些实施方式中，将待检测的红外弱小目标图像输入至根据上述构建过程训练生成的检测模型中后，检测模型中的检测头模块的输出结果包括第一目标特征图的分类结果和回归结果，以及第二目标特征图的分类结果和回归结果；其中，第一目标特征图的分类结果和回归结果为利用检测模型中的第一检测头，对红外弱小目标图像经过检测模型中的特征融合网络后得到的第一目标特征图的输出结果；第二目标特征图的分类结果和回归结果为利用检测模型中的第二检测头，对红外弱小目标图像经过检测模型中的特征融合网络后得到的第二目标特征图的输出结果。

那么，步骤204可以包括：

分别将第一目标特征图和第二目标特征图中的每个像素点，映射回红外弱小目标图像中，以分别根据第一目标特征图和第二目标特征图对应的分类结果确定出初始目标；

根据第一目标特征图和第二目标特征图对应的回归结果，生成每一个初始目标的备选框；

计算每一个初始目标在红外弱小目标图像中的中心像素点至对应的备选框的距离，以根据距离对每一个初始目标进行筛选，得到红外弱小目标；

计算每一个红外弱小目标在红外弱小目标图像中的中心像素点至对应的备选框的归一化距离，以根据归一化距离对红外弱小目标对应的备选框进行筛选，得到红外弱小目标的检测框。

在本实施例中，利用上述检测模型对待检测的红外弱小目标图像的输出结果为类似语义分割的像素级分类和定位结果，为了实现目标检测，还需要将输出结果转换回目标。

以第一目标特征图为例，将第一目标特征图上的每个像素点映射回它们在原图的位置，即在待检测的红外弱小目标图像中的位置，若步长为s，这些像素点在原图上的位置可能落在大小为s²的区域中，即第一目标特征图上每个点可以映射成大小为s²的网格区域。根据第一目标特征图对应的分类结果确定出初始目标，初始目标包括各种类别的红外弱小目标。然后，根据第一目标特征图对应的回归结果，以每个初始目标为中心生成备选框。第二目标特征图中的初始目标和每个初始目标对应的备选框的确定方式与第一目标特征图相同。

接着，计算每一个初始目标在红外弱小目标图像中的中心像素点至对应的备选框的距离。

在本实施例中，距离是通过如下公式进行计算的：

式中，距离为(l^*,t^*,r^*,b^*)，l^*、t^*、r^*和b^*分别为初始目标在红外弱小目标图像中的中心像素点至对应的备选框的左侧距离、上侧距离、右侧距离和下侧距离，

为备选框的左上角点的坐标，

为备选框的右下角点的坐标。

需要说明的是，由于第一目标特征图和第二目标特征图的尺度不同，即步长不同，那么第一目标特征图和第二目标特征图上的初始目标映射回原图的面积就不同，适合检测的目标的尺寸就不同。在本实施例中，第一目标特征图的尺寸小于第二目标特征图的尺寸，分别是红外弱小目标图像尺寸的1/16和1/8(即设置步长为16，8)，那么步长越大，初始目标映射回原图的面积就越大，越适合检测大目标，因此第一目标特征图适合检测较大的目标，第二目标特征图适合检测较小的目标。

因此，可以分别预先定义第一检测头和第二检测头可检测目标的尺寸上限和尺寸下限区间(floor,celling)，就可以限制每个检测头检测的目标的尺寸。

举例来说，由于第一检测头检测第一目标特征图，而第一目标特征图适合检测较大的目标，那么对限制第一检测头可检测目标的尺寸上限和尺寸下限区间为(16,32]。同理，限制第二检测头可检测目标的尺寸上限和尺寸下限区间为(0,16]。那么，当根据第一检测头的输出得到的初始目标在红外弱小目标图像中的中心像素点至对应的备选框的距离超过尺寸上限和尺寸下限区间，即

则把这个初始目标记为负样本。通过这一方法，限制了每个检测头能学习的目标的尺寸，这样不仅可以检测重叠在一起的目标，不会将重叠在一起的目标认为是一个目标，还可以减少两个检测头重复检测同一个目标的概率。故而，可以根据距离对每一个初始目标进行筛选，得到红外弱小目标。

最后，每一个红外弱小目标对应的备选框可能严重偏离真实框中心，在无预设锚框的方法中则通过中心度值抑制偏离目标的框。具体地，计算每一个红外弱小目标在红外弱小目标图像中的中心像素点至对应的备选框的归一化距离。

在本发明实施例中，归一化距离是通过如下公式进行计算的：

式中，Centerness为归一化距离，l^*、t^*、r^*和b^*分别为红外弱小目标在红外弱小目标图像中的中心像素点至对应的备选框的左侧距离、上侧距离、右侧距离和下侧距离。

由上式可知，Centerness值域在(0,1]，这个值越大，代表点越接近真实框的中心，以此点为中心的框有更大的Centerness权重。通过置信度和Centerness对框进行排序并使用非极大值抑制即可筛选掉低质量的框，得到红外弱小目标的检测框。

如图3、图4所示，本发明实施例提供了一种红外弱小目标的检测装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种红外弱小目标的检测装置所在计算设备的一种硬件架构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在计算设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。

如图4所示，本实施例提供的一种红外弱小目标的检测装置，包括：

获取单元401，用于获取待检测的红外弱小目标图像；

检测单元402，用于将红外弱小目标图像输入至预先训练生成的检测模型中；其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；

输出单元403，用于得到红外弱小目标图像的检测结果。

在本发明的一个实施例中，检测单元402中，特征融合网络包括第一特征融合模块和第二特征融合模块；

检测模型的训练方式，包括：

获取多个被标注有标签的训练样本；

将多个训练样本输入至骨干网络中，以利用骨干网络中的四个残差网络分别对每一个训练样本进行第一阶段特征提取、第二阶段特征提取、第三阶段特征提取和第四阶段特征提取，以得到每一个阶段特征提取后的特征图；

将第四阶段特征提取后的特征图输入至上下文特征提取网络中的每个空洞卷积层中，以得到每一个训练样本对应的扩张特征图；

将扩张特征图和第三阶段特征提取后的特征图输入至第一特征融合模块中，得到每一个训练样本对应的第一融合特征图；

将第一融合特征图和第二阶段特征提取后的特征图输入至第二特征融合模块，得到每一个训练样本对应的第二融合特征图；

将第二融合特征图输入至全卷积网络，以得到每一个训练样本的检测结果；

根据每一个训练样本的检测结果和每一个训练样本对应的标签，调整神经网络的网络参数，直至得到符合预期的检测模型。

在本发明的一个实施例中，检测单元402中，在执行得到每一个训练样本对应的第二融合特征图之后，在执行将第二融合特征图输入至全卷积网络之前，还用于：对每一个训练样本对应的第二融合特征图进行上采样。

在本发明的一个实施例中，检测单元402中，上下文特征提取网络包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层；

在执行将第四阶段特征提取后的特征图输入至上下文特征提取网络中的每个空洞卷积层中，以得到每一个训练样本对应的扩张特征图时，用于执行：

将每一个训练样本对应的第四阶段特征提取后的特征图输入至第一空洞卷积层中，以对第四阶段特征提取后的特征图进行第一次扩张，得到第一特征图；

将第一特征图和第四阶段特征提取后的特征图进行级联后输入至第二空洞卷积层中，得到第二特征图；

将第二特征图、第四阶段特征提取后的特征图以及第一特征图进行级联后输入至第三空洞卷积层中，得到第三特征图；

将第三特征图、第四阶段特征提取后的特征图、第一特征图以及第二特征图进行级联后输入至第四空洞卷积层中，得到第四特征图；

将第四特征图、第四阶段特征提取后的特征图、第一特征图、第二特征图以及第三特征图进行级联后输入至第五空洞卷积层中，得到第五特征图；

将第五特征图、第四阶段特征提取后的特征图、第一特征图、第二特征图、第三特征图以及第四特征图进行级联后，得到每一个训练样本对应的扩张特征图。

在本发明的一个实施例中，检测单元402中，第一特征融合模块包括空间注意力分支和通道注意力分支；

在执行将扩张特征图和第三阶段特征提取后的特征图输入至第一特征融合模块，得到每一个训练样本对应的第一融合特征图时，用于执行：

将扩张特征图进行插值，并将插值后的扩张特征图的通道数降至与第三阶段特征提取后的特征图的通道数相同后与第三阶段特征提取后的特征图相加，得到第一融合图；

将第一融合图分别输入至空间注意力分支和通道注意力分支中，并将空间注意力分支和通道注意力分支输出的特征图相加，得到第二融合图；

将第二融合图与插值、降通道数之后的扩张特征图相乘后的结果，与第二融合图与第三阶段特征提取后的特征图相乘后的结果相加，得到第一融合特征图。

在本发明的一个实施例中，检测单元402中，空间注意力分支包括两个卷积核均为1×1的卷积层；通道注意力分支包括自适应池化层和一维卷积层。

在本发明的一个实施例中，检测单元402中，第二特征融合模块与第一特征融合模块的网络结构相同。

如图5所示，本实施例提供的另一种红外弱小目标的检测装置，包括：

获取单元501，用于获取待检测的红外弱小目标图像；

检测单元502，用于将红外弱小目标图像输入至预先训练生成的检测模型中；其中，检测模型基于预设的神经网络训练得到，预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和检测头模块；

回归单元503，用于根据检测头模块的输出结果，得到对红外弱小目标图像的检测结果。

在本发明的一个实施例中，检测单元502中，检测头模块包括第一检测头和第二检测头；

检测模型的训练方式，包括：

获取多个被标注有标签的训练样本；

将多个训练样本输入至骨干网络中，以利用骨干网络中的四个残差网络分别对每一个训练样本进行第一阶段特征提取、第二阶段特征提取、第三阶段特征提取和第四阶段特征提取，以得到每一个阶段特征提取后的特征图；

将第四阶段特征提取后的特征图输入至上下文特征提取网络中的每个空洞卷积层中，以得到每一个训练样本对应的扩张特征图；

利用特征融合网络，基于第三阶段特征提取后的特征图和扩张特征图，得到每一个训练样本对应的第一融合特征图，并在得到第一融合特征图之后，基于第一融合特征图和第二阶段特征提取后的特征图，得到每一个训练样本对应的第二融合特征图；

将第一融合特征图和第二融合特征图分别输入至第一检测头和第二检测头，以得到每一个训练样本的输出结果；

根据每一个训练样本的输出结果和每一个训练样本对应的标签，调整神经网络的网络参数，直至得到符合预期的检测模型。

在本发明的一个实施例中，检测单元502中，第一检测头和第二检测头共享同一组网络参数；第一检测头和第二检测头利用分组归一化方式训练网络参数。

在本发明的一个实施例中，检测单元502中，第一检测头和第二检测头均包括分类分支、回归分支和中心度分支；

在执行将第一融合特征图和第二融合特征图分别输入至第一检测头和第二检测头，以得到每一个训练样本的输出结果时，用于执行：

将第一融合特征图和第二融合特征图分别输入至第一检测头的分类分支和第二检测头的分类分支，得到第一融合特征图和第二融合特征图中每一个像素点的分类结果；

将第一融合特征图分别输入至第一检测头的回归分支和中心度分支，将第二融合特征图分别输入至第二检测头的回归分支和中心度分支，得到第一融合特征图的回归结果和第二融合特征图的回归结果。

在本发明的一个实施例中，检测单元502中，回归分支和中心度分支共享同一组卷积层。

在本发明的一个实施例中，检测单元502中，检测头模块的输出结果包括第一目标特征图的分类结果和回归结果，以及第二目标特征图的分类结果和回归结果；第一目标特征图的分类结果和回归结果为利用检测模型中的第一检测头，对红外弱小目标图像经过检测模型中的特征融合网络后得到的第一目标特征图的输出结果；第二目标特征图的分类结果和回归结果为利用检测模型中的第二检测头，对红外弱小目标图像经过检测模型中的特征融合网络后得到的第二目标特征图的输出结果；

回归单元503，在执行根据检测头模块的输出结果，得到对红外弱小目标图像的检测结果时，用于执行：

分别将第一目标特征图和第二目标特征图中的每个像素点，映射回红外弱小目标图像中，以分别根据第一目标特征图和第二目标特征图对应的分类结果确定出初始目标；

根据第一目标特征图和第二目标特征图对应的回归结果，生成每一个初始目标的备选框；

计算每一个初始目标在红外弱小目标图像中的中心像素点至对应的备选框的距离，以根据距离对每一个初始目标进行筛选，得到红外弱小目标；

计算每一个红外弱小目标在红外弱小目标图像中的中心像素点至对应的备选框的归一化距离，以根据归一化距离对红外弱小目标对应的备选框进行筛选，得到红外弱小目标的检测框。

在本发明的一个实施例中，回归单元503中，距离是通过如下公式进行计算的：

式中，距离为(l^*,t^*,r^*,b^*)，l^*、t^*、r^*和b^*分别为初始目标在红外弱小目标图像中的中心像素点至对应的备选框的左侧距离、上侧距离、右侧距离和下侧距离，

为备选框的左上角点的坐标，

为备选框的右下角点的坐标；

归一化距离是通过如下公式进行计算的：

式中，Centerness为归一化距离，l^*、t^*、r^*和b^*分别为红外弱小目标在红外弱小目标图像中的中心像素点至对应的备选框的左侧距离、上侧距离、右侧距离和下侧距离。

可以理解的是，本发明实施例示意的结构并不构成对一种红外弱小目标的检测装置的具体限定。在本发明的另一些实施例中，一种红外弱小目标的检测装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种红外弱小目标的检测方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种红外弱小目标的检测方法。

具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种红外弱小目标的检测方法，其特征在于，包括：

获取待检测的红外弱小目标图像；

将所述红外弱小目标图像输入至预先训练生成的检测模型中；其中，所述检测模型基于预设的神经网络训练得到，所述预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；

得到所述红外弱小目标图像的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述特征融合网络包括第一特征融合模块和第二特征融合模块；

所述检测模型的训练方式，包括：

获取多个被标注有标签的训练样本；

将多个所述训练样本输入至所述骨干网络中，以利用所述骨干网络中的四个残差网络分别对每一个所述训练样本进行第一阶段特征提取、第二阶段特征提取、第三阶段特征提取和第四阶段特征提取，以得到每一个阶段特征提取后的特征图；

将所述第四阶段特征提取后的特征图输入至所述上下文特征提取网络中的每个空洞卷积层中，以得到每一个所述训练样本对应的扩张特征图；

将所述扩张特征图和所述第三阶段特征提取后的特征图输入至所述第一特征融合模块中，得到每一个所述训练样本对应的第一融合特征图；

将所述第一融合特征图和所述第二阶段特征提取后的特征图输入至所述第二特征融合模块，得到每一个所述训练样本对应的第二融合特征图；

将所述第二融合特征图输入至所述全卷积网络，以得到每一个所述训练样本的检测结果；

根据每一个所述训练样本的检测结果和每一个所述训练样本对应的标签，调整所述神经网络的网络参数，直至得到符合预期的检测模型。

3.根据权利要求2所述的方法，其特征在于，在所述得到每一个所述训练样本对应的第二融合特征图之后，在所述将所述第二融合特征图输入至所述全卷积网络之前，还包括：对每一个所述训练样本对应的所述第二融合特征图进行上采样。

4.根据权利要求2所述的方法，其特征在于，所述上下文特征提取网络包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层和第五空洞卷积层；

所述将所述第四阶段特征提取后的特征图输入至所述上下文特征提取网络中的每个空洞卷积层中，以得到每一个所述训练样本对应的扩张特征图，包括：

将每一个所述训练样本对应的所述第四阶段特征提取后的特征图输入至所述第一空洞卷积层中，以对所述第四阶段特征提取后的特征图进行第一次扩张，得到第一特征图；

将所述第一特征图和所述第四阶段特征提取后的特征图进行级联后输入至所述第二空洞卷积层中，得到第二特征图；

将所述第二特征图、所述第四阶段特征提取后的特征图以及所述第一特征图进行级联后输入至所述第三空洞卷积层中，得到第三特征图；

将所述第三特征图、所述第四阶段特征提取后的特征图、所述第一特征图以及所述第二特征图进行级联后输入至所述第四空洞卷积层中，得到第四特征图；

将所述第四特征图、所述第四阶段特征提取后的特征图、所述第一特征图、所述第二特征图以及所述第三特征图进行级联后输入至所述第五空洞卷积层中，得到第五特征图；

将所述第五特征图、所述第四阶段特征提取后的特征图、所述第一特征图、所述第二特征图、所述第三特征图以及所述第四特征图进行级联后，得到每一个所述训练样本对应的扩张特征图。

5.根据权利要求2所述的方法，其特征在于，所述第一特征融合模块包括空间注意力分支和通道注意力分支；

所述将所述扩张特征图和所述第三阶段特征提取后的特征图输入至所述第一特征融合模块，得到每一个所述训练样本对应的第一融合特征图，包括：

将所述扩张特征图进行插值，并将插值后的扩张特征图的通道数降至与所述第三阶段特征提取后的特征图的通道数相同后与所述第三阶段特征提取后的特征图相加，得到第一融合图；

将所述第一融合图分别输入至所述空间注意力分支和所述通道注意力分支中，并将所述空间注意力分支和所述通道注意力分支输出的特征图相加，得到第二融合图；

将所述第二融合图与插值、降通道数之后的扩张特征图相乘后的结果，与所述第二融合图与所述第三阶段特征提取后的特征图相乘后的结果相加，得到第一融合特征图。

6.根据权利要求5所述的方法，其特征在于，所述空间注意力分支包括两个卷积核均为1×1的卷积层；所述通道注意力分支包括自适应池化层和一维卷积层。

7.根据权利要求5或6所述的方法，其特征在于，所述第二特征融合模块与所述第一特征融合模块的网络结构相同。

8.一种红外弱小目标的检测装置，其特征在于，包括：

获取单元，用于获取待检测的红外弱小目标图像；

检测单元，用于将所述红外弱小目标图像输入至预先训练生成的检测模型中；其中，所述检测模型基于预设的神经网络训练得到，所述预设的神经网络包括由四个残差网络串联而成的骨干网络、由多个空洞卷积层组成的上下文特征提取网络、特征融合网络和全卷积网络；

输出单元，用于得到所述红外弱小目标图像的检测结果。

9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。

Images