CN114419490A - 一种基于注意力金字塔的sar船只目标检测方法 - Google Patents

Abstract

本发明提供一种基于注意力金字塔的SAR船只目标检测方法，将SAR图像输入到特征提取网络得到初步的特征提取结果；对初步提取到的特征输入到基于通道注意力和空间注意力的特征金字塔网络，得到更加精细化的特征提取结果。相较于传统的SAR图像船只检测方法，本方案通过先对SAR图像完成初步的特征提取，然后利用通道注意力和空间注意力特征金字塔网络对提取到的初步特征进行精修，提高了船只的检测和识别精度；尤其在针对复杂背景下的船只检测任务，本方案提出的基于通道注意力和空间注意力的特征金子塔网络可以使模型具有更高的检测和识别效果。

Description

一种基于注意力金字塔的SAR船只目标检测方法

技术领域

本发明涉及合成孔径雷达目标检测技术领域，尤其涉及一种基于注意力金字塔的SAR船只目标检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，简称SAR)是一种有源的微波成像传感器，并具有全天时、全天候提供高分辨率图像的优势。由于SAR的成像方式不受云雨、天气等自然因素的影响，所以SAR图像被广泛应用于军事和民用领域。

但由于SAR自身成像方式的特点，会导致图像上会被添加一种叫做散斑噪声的乘性噪声，从而对SAR图像中的目标检测造成困扰，尤其针对含有陆地、沿海等复杂背景下的船只检测，这种问题变得尤为突出。

发明内容

本发明提供了一种基于注意力金字塔的SAR船只目标检测方法，主要解决的技术问题是：如何提高在复杂背景下的SAR图像船只目标检测精度。

为解决上述技术问题，本发明提供一种基于注意力金字塔的SAR船只目标检测方法，包括：

获取待测SAR图像，输入到特征提取网络，得到具有不同分辨率大小的初步提取的特征图C_i；所述i大于等于2；特征图C_i的分辨率为所述待测SAR图像的1/2ⁱ；

将初步特征提取特征图输入混合注意力特征金字塔网络，输出得到精细化提取的特征图P_i′；其中，混合注意力特征金字塔网络包括特征金字塔网络，和由空间注意力网络与通道注意力网络并行组成的混合注意力网络，所述特征金字塔网络用于将至少部分所述初步提取的特征图C_i进行信息融合，所述混合注意力网络基于融合结果F进行精细化提取，得到所述精细化提取的特征图P_i′；

将所述精细化提取的特征图P_i′输入分类和回归子网络，输出船只检测目标。

可选的，所述特征提取网络包括ResNet-50网络。

可选的，所述输入到特征提取网络，得到具有不同分辨率大小的初步提取的特征图C_i包括：

通过ResNet-50网络进行特征提取，获得相当于所述待测SAR图像分辨率大小1/4、1/8、1/16、1/32的特征图，分别记作C2、C3、C4、C5。

可选的，所述分类和回归子网络采用3x3卷积级联网络。

可选的，所述特征金字塔网络用于将至少部分所述初步提取的特征图C_i进行信息融合包括：

调整所选取的各特征图C_i的通道数保持一致，调整后的特征图记作T_i；所述i大于等于3；

通过对前一特征图T_i-1进行上采样结果与当前特征图T_i进行求和，得到融合后的特征图M_i；

通过对融合后的特征图M_i进行连接合并得到所述融合结果F。

可选的，在所述对融合后的特征图M_i进行连接合并之前，还包括：对融合后的特征图M_i利用3x3的卷积进行缓解，得到卷积后的特征图记作P_i。

可选的，所述混合注意力网络基于融合结果F进行精细化提取包括：

利用所述通道注意力网络，计算所述融合结果F的第一得分score_ca；

利用所述空间注意力网络，计算所述融合结果F的第二得分score_sa；

基于所述第一得分score_ca与所述第二得分score_sa相加求和，计算得到混合注意力得分score；

将所述混合注意力得分score与所述融合结果F相乘作为混合注意力网络的输出特征图，记作U；

对混合注意力网络的输出特征图U的分辨率进行调整，使输出特征图U中各特征图P_i的分辨率分别与初步提取的特征图C_i的分辨率相一致，得到所述精细化提取的特征图P_i′。

可选的，还包括判断所述精细化提取的特征图P_i′中分辨率最小的特征图P′_imin是否达到设定分辨率阈值，若否，对P′_imin利用步长为2的卷积进行下采样得到P′_i+1，并判断P′_i+1是否达到该设定分辨率阈值，再次对P′_i+1利用步长为2的卷积进行下采样得到P′_i+2，以此类推，直至精细化提取的特征图P_i′中存在分辨率达到所述设定分辨率阈值的特征图。

可选的，所述设定分辨率阈值为所述待测SAR图像的分辨率的1/128。

可选的，所述i∈[2,5]。

本发明的有益效果是：

本发明提供了一种基于注意力金字塔的SAR船只目标检测方法，将SAR图像输入到特征提取网络得到初步的特征提取结果；对初步提取到的特征输入到基于通道注意力和空间注意力的特征金字塔网络，得到更加精细化的特征提取结果。相较于传统的SAR图像船只检测方法，本方案通过先对SAR图像完成初步的特征提取，然后利用通道注意力和空间注意力特征金字塔网络对提取到的初步特征进行精修，提高了船只的检测和识别精度；尤其在针对复杂背景下的船只检测任务，本方案提出的基于通道注意力和空间注意力的特征金子塔网络可以使模型具有更高的检测和识别效果。

附图说明

图1为本发明的基于注意力金字塔的SAR船只目标检测方法流程示意图；

图2为本发明的基于混合注意力的特征金字塔网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

本实施例提供一种基于注意力金字塔的SAR船只目标检测方法，其流程如图1所示。首先，将SAR图像输入特征提取网络，输出初步的特征提取结果；将初步提取到的特征图输入基于空间注意力和通道注意力的混合注意力特征金字塔网络中得到精细化的特征提取结果；将精细化的特征提取结果送入到分类和回归子网络中得到最终的船只检测结果。

本方案具体实现过程如下：

步骤一、特征的初步提取

将SAR图像输入到图像分类网络的主干网络，主干网络包括在ImageNet数据集上训练好的ResNet-50网络，通过ResNet-50网络进行特征提取，得到初步的特征提取结果。

ResNet-50网络具有较大的感受野，特征提取效果较好，并具有运行速度较快的优势。ResNet-50网络的训练过程可采用现有的任意方式，此并非本发明的重点，故在此不再赘述，只需输入SAR图像完成特征的初步提取即可。

可选的，ResNet-50网络对输入的SAR图像进行特征提取，得到初步的特征提取结果包括：获得原图分辨率大小1/4(C2)、1/8(C3)、1/16(C4)、1/32(C5)的特征图。

本发明可基于如下的带有混合注意力的特征金字塔网络，实现对初步特征完成进一步的精细化提取，从而提高复杂背景下的船只检测精度。

步骤二、特征精细化提取

请参见图2，包括如下步骤：

a1.特征金字塔网络完成多尺度特征的信息融合

将特征提取网络输出的C3、C4、C5特征图，送入到基于空间注意力和通道注意力的混合注意力特征金字塔网络，完成不同分辨率特征图之间信息的融合和特征的精细化提取。

本实施例中，基于空间注意力和通道注意力的混合注意力特征金字塔网络，主要包括特征金字塔网络(FPN)和由空间注意力网络和通道注意力网络并行组成的混合注意力网络(CSA-Net)。

特征金字塔网络(FPN)用于将初步提取的具有不同分辨率大小的特征图进行信息的融合和特征图的重建，混合注意力网络(CSA-Net)是基于注意力机制对从FPN网络产生的特征图提取利于分类和回归任务中有用的显著性特征，同时混合注意力网络会根据网络计算出来的损失不断地更新参数，自主去寻找最适合分类和回归的特征。

利用特征金字塔网络完成信息融合。本实施例中特征金字塔网络包括横向连接和自上而下的特征融合。其中横向连接用于调整C3、C4、C5特征图的通道数，使不同分辨率大小特征图的通道数保持一致；具体的，可利用1x1卷积进行通道数的调整，请参见如下公式(1)：

T_i＝Conv_1×1(C_i) i＝3,4,5； (1)

这里通道数的选择调整为256(具体可灵活设置，对此不做限制)，调整后的特征图分别记作T3、T4、T5。

自上而下的特征融合用于完成不同分辨率特征图间的信息交流，增强高分辨率特征图的语义信息。具体的，将通道数调整后的特征图T3、T4、T5按照自上而下的方式进行插值和基于元素相加的方式，得到融合后的特征图M3、M4、M5，请参见如下公式(2)：

M_i＝Upsample(T_i-1)+T_i i＝3,4,5； (2)

同时为了消除插值过程中的混叠效应，对融合后的特征图M3、M4、M5，各自利用3x3的卷积进行缓解得到卷积后的特征图记作P3、P4、P5，请参见如下公式(3)：

P_i＝Conv_3×3(M_i) i＝3,4,5； (3)

将P3、P4、P5的特征图按通道维度进行合并，请参见如下公式(4)：

F＝concat(P₃,P₄,P₅)； (4)

最终得到特征金字塔网络的输出结果F。

a2.基于混合注意力机制完成对融合特征的精细化提取

将上述融合后的特征图按通道维度进行拼接，并输入到带有空间注意力和通道注意力的特征融合网络中，得到精修后的特征，为了满足原始特征金字塔的输出形式，这里对精修后的特征图进行分辨率大小的调整，输出具有不同感受野大小的特征图。

将特征金字塔的输出结果F送入混合注意力网络中产生混合注意力得分score，其中混合注意力得分score是通道注意力得分score_ca与空间注意力得分score_sa相加的结果。

其中，通道注意力得分score_ca采用如下公式(5)的计算方式：

score_ca＝CA(F)； (5)

空间注意力得分score_sa采用如下公式(6)的计算方式：

score_sa＝SA(F)； (6)

混合注意力得分score是通道注意力得分score_ca与空间注意力得分score_sa相加的结果，参见如下公式(7)：

score＝score_ca+score_sa； (7)

将score与F相乘作为混合注意力网络的输出特征图，记作U，参见如下公式(8)：

U＝F*score； (8)

为了遵循特征金字塔网络的输出范式，满足后续分类和回归子网络的需要，对混合注意力网络的输出结果U进行分辨率的调整，使输出特征图的分辨率分别与特征提取网络的输出C3、C4、C5特征图的分辨率相对应，即分别为输入图像的1/8、1/16、1/32，并分别记作P3’，P4’，P5’，请参见如下公式(9)：

P_i′＝resize(U) i＝3,4,5； (9)

同时，为了更好的检测不同尺度物体，对P5’利用步长为2的卷积进行下采样得到P6’，请参见如下公式(10)：

P′₆＝Conv_3×3(P′₅)； (10)

P6’特征图的分辨率为输入图像的1/64。进一步的，对P6’利用步长为2的卷积进行下采样得到P7’，P7’特征图的分辨率为输入图像的1/128，请参见如下公式(11)：

P′₇＝Conv_3×3(P′₆)； (11)

P7’特征图的分辨率为输入图像的1/128，此时P7’特征图的分辨率达到了设定分辨率阈值，停止对P7’特征图进一步进行下采样处理。当然也可以灵活设置设定分辨率阈值，对此不做限制。

步骤三、分类和回归子网络完成船只检测

将步骤二中得到的不同分辨率大小的精修特征图送入到分类和回归子网络中得到船只的检测结果。分类和回归子网络采用3x3卷积级联网络。通过卷积的级联结构可以提供准确的分类和定位结果。

为了提高复杂背景下SAR图像的船只目标检测精度，本发明在特征融合金字塔网络的基础上，进一步对特征融合网络进行优化，考虑到SAR图像中复杂的背景环境与船只目标检测结果息息相关，影响船只目标检测结果的精度，因此如何提高融合后特征的表达能力是关键。本发明在常规特征金字塔网络的基础上进行改进，将原网络融合后的具有不同分辨率大小的特征图，先在通道维度进行拼接，然后输入基于空间注意力和通道注意力的混合注意力网络中，完成特征图的精细化提取，最后再重建出不同分辨率大小的特征图，以此送入到分类和回归子网络中得到船只的检测结果。

显然，本领域的技术人员应该明白，上述本发明的各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于注意力金字塔的SAR船只目标检测方法，其特征在于，包括：

获取待测SAR图像，输入到特征提取网络，得到具有不同分辨率大小的初步提取的特征图C_i；所述i大于等于2；特征图C_i的分辨率为所述待测SAR图像的1/2ⁱ；

将初步特征提取特征图输入混合注意力特征金字塔网络，输出得到精细化提取的特征图P_i′；其中，混合注意力特征金字塔网络包括特征金字塔网络，和由空间注意力网络与通道注意力网络并行组成的混合注意力网络，所述特征金字塔网络用于将至少部分所述初步提取的特征图C_i进行信息融合，所述混合注意力网络基于融合结果F进行精细化提取，得到所述精细化提取的特征图P_i′；

将所述精细化提取的特征图P_i′输入分类和回归子网络，输出船只检测目标。

2.如权利要求1所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述特征提取网络包括ResNet-50网络。

3.如权利要求2所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述输入到特征提取网络，得到具有不同分辨率大小的初步提取的特征图C_i包括：

通过ResNet-50网络进行特征提取，获得相当于所述待测SAR图像分辨率大小1/4、1/8、1/16、1/32的特征图，分别记作C2、C3、C4、C5。

4.如权利要求1所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述分类和回归子网络采用3x3卷积级联网络。

5.如权利要求1-4任一项所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述特征金字塔网络用于将至少部分所述初步提取的特征图C_i进行信息融合包括：

调整所选取的各特征图C_i的通道数保持一致，调整后的特征图记作T_i；所述i大于等于3；

通过对前一特征图T_i-1进行上采样结果与当前特征图T_i进行求和，得到融合后的特征图M_i；

通过对融合后的特征图M_i进行连接合并得到所述融合结果F。

6.如权利要求5所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，在所述对融合后的特征图M_i进行连接合并之前，还包括：对融合后的特征图M_i利用3x3的卷积进行缓解，得到卷积后的特征图记作P_i。

7.如权利要求6所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述混合注意力网络基于融合结果F进行精细化提取包括：

利用所述通道注意力网络，计算所述融合结果F的第一得分score_ca；

利用所述空间注意力网络，计算所述融合结果F的第二得分score_sa；

基于所述第一得分score_ca与所述第二得分score_sa相加求和，计算得到混合注意力得分score；

将所述混合注意力得分score与所述融合结果F相乘作为混合注意力网络的输出特征图，记作U；

对混合注意力网络的输出特征图U的分辨率进行调整，使输出特征图U中各特征图P_i的分辨率分别与初步提取的特征图C_i的分辨率相一致，得到所述精细化提取的特征图P_i′。

8.如权利要求7所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，还包括判断所述精细化提取的特征图P_i′中分辨率最小的特征图P′_imin是否达到设定分辨率阈值，若否，对P′_imin利用步长为2的卷积进行下采样得到P′_i+1，并判断P′_i+1是否达到该设定分辨率阈值，再次对P′_i+1利用步长为2的卷积进行下采样得到P′_i+2，以此类推，直至精细化提取的特征图P_i′中存在分辨率达到所述设定分辨率阈值的特征图。

9.如权利要求8所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述设定分辨率阈值为所述待测SAR图像的分辨率的1/128。

10.如权利要求9所述的基于注意力金字塔的SAR船只目标检测方法，其特征在于，所述i∈[2,5]。

Images