CN117058556B - 基于自监督蒸馏的边缘引导sar图像舰船检测方法 - Google Patents

Abstract

本发明公开了基于自监督蒸馏的边缘引导SAR图像舰船检测方法，包括采用无标签的SAR图像数据集，通过自监督蒸馏学习训练网络ResNet‑18；将带有标签的SAR图像目标检测数据集图像输入ResNet‑18进行特征提取，获得特征图；采用频域和空间域的特征融合来预测图像边缘；采用边缘特征对特征图进行边缘引导后输入空洞金字塔池化网络中进行多尺度融合，得到多个尺度的特征；将多个尺度的特征送入检测模块获得检测结果，通过检测结果与标签计算检测损失，训练网络。本发明能够快速有效地检测复杂背景下遥感SAR图像的各种尺度的目标，为多源干扰环境条件下的军事侦察、无人作战系统等多种军事任务提供稳定可靠的技术支撑。

Description

基于自监督蒸馏的边缘引导SAR图像舰船检测方法

技术领域

本发明属于舰船目标检测技术领域，具体涉及基于自监督蒸馏的边缘引导SAR图像舰船检测方法。

背景技术

合成孔径雷达(SAR)作为一种主动式的对地观测系统，能够获取任何特定区域的全天时和全天候成像数据。近年来，利用机载和星载SAR技术获取海量高分辨率SAR图像已成为了发展趋势。与此同时，如何从这些SAR图像中自动化地提取兴趣场景和敏感目标等也愈发重要。

舰船是海上活动的主要载体，无论是在军事上还是民用领域上对舰船进行检测都具有重要意义。大部分基于深度学习的舰船目标检测算法都被部署在地面应用系统中，由卫星先将数据传输到地面站，再由技术人员进行处理，然而此过程缺乏时效性。星载舰船目标检测算法大都以传统算法为主，部分深度学习算法虽然通过简化模型部署到了星载处理平台，但这类目标检测算法往往存在检测精度低，检测速度慢等问题。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供基于自监督蒸馏的边缘引导SAR图像舰船检测方法，提出基于自监督蒸馏和边缘引导的轻量级目标检测网络模型，利用自监督蒸馏学习在不要求人工标注的情况下获取一个性能良好的轻量级骨干网络，在此基础上利用边缘引导的特征与多尺度信息融合有效提升了目标检测性能，有助于对海域舰船进行监管，保障海域安全，在支持部署到星载处理平台的前提下，提高模型精度以及检测速度的同时保证对舰船检测的实时性，能够快速有效地检测复杂背景下遥感SAR图像的各种尺度的目标，为多源干扰环境条件下的军事侦察、无人作战系统等多种军事任务提供稳定可靠的技术支撑。

为实现上述技术目的，本发明采取的技术方案为：

基于自监督蒸馏的边缘引导SAR图像舰船检测方法，包括以下步骤：

S1、采用无标签的SAR图像数据集，通过自监督蒸馏学习训练轻量级网络ResNet-18；

S2、将带有标签的SAR图像目标检测数据集图像输入ResNet-18进行特征提取，获得特征图；

S3、基于特征图，采用频域和空间域的特征融合来预测图像边缘，得到边缘特征；

S4、采用边缘特征对特征图进行边缘引导后输入空洞金字塔池化网络生成不同尺度的特征图；

S5、将新S4生成的特征图送入检测模块获得检测结果。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤S1通过自监督蒸馏学习训练轻量级网络ResNet-18，具体包括以下子步骤：

S101、获取无标签的SAR图像数据集；

S102、对无标签的SAR图像数据集中的图像进行增强操作，生成两个样本；

S103、以ResNet-152作为教师模型，ResNet-18作为学生模型和动量模型，将两个样本送入各模型；

S104、各模型生成的结果通过多层感知机进行编码生成嵌入向量；

S105、对学生模型和动量模型生成的嵌入向量计算相似度并进行对比学习；

S106、采用教师模型生成的嵌入向量对学生模型对应的嵌入向量进行约束使其趋于一致。

上述的步骤S2包括以下子步骤：

S201、获取带有标签的SAR图像目标检测数据集；

S202、将SAR图像目标检测数据集中的图像输入ResNet-18进行特征提取，获得不同尺度特征图，包括大小分别为原图大小1/4、1/8、1/16、1/32的特征图P1、P2、P3、P4。

上述的步骤S3包括以下子步骤：，

S301、特征图P1通过傅里叶卷积获得特征图F1；

S302、通过双线性插值法将特征图P2、P3、P4扩张到与F1相同尺度，并通过1×1卷积将扩张后的P2、P3、P4通道数减半；

S303、F1依次与通道数减半后P2、P3、P4的特征相加并通过1×1卷积使F1与将要相加的特征图通道数对齐，得到融合后的特征图；

S304、将融合后的特征图通过空间注意力模块计算得到边缘预测图，得到预测的边缘及边缘特征。

上述的傅里叶卷积公式如下：

其中，是表示傅里叶卷积后的二维矩阵，x是输入图像的二维矩阵，u,v表示在傅里叶卷积后的二维矩阵中的位置，H,W表示图像的长宽，h,w表示在输入图像上的位置。

上述的步骤S4包括以下子步骤：

S401、将边缘特征下采样后与特征图相乘后再加上特征图；

S402、将S401得到的特征通过卷积、平均池化和sigmoid生成注意力权重；

S403、将最初的特征图与注意力权重相乘后卷积得到边缘引导的特征；

S404、将边缘引导的特征输入空洞金字塔池化网络进行多尺度融合。

上述的步骤S5包括以下子步骤：

S501、对空洞金字塔池化网络得到的三多尺度的特征图特征进行预测，得到预测结果；

S502、根据预测结果和真值标签计算检测损失，检测损失包括分类损失、置信度损失和回归损失。

上述的分类损失和置信度损失使用BCEWithLogitsLoss，回归损失使用EIoULoss：

其中，x_i和y_i分别表示预测结果和真值标签对应的预测类别与真实类别，n表示总类别数,B_p和B_g分别表示预测框与真实框，c表示预测框和真实框最小包围框中心点，ρ²表示计算两点欧式距离，b,b^gt分别表示预测框和真实框的中心点，w,w^gt分别表示预测框和真实框的宽，h,h^gt分别表示预测框和真实框的搞，C_w,C_h表示最小包围框的框和高。

本发明具有以下有益效果：

本发明使用自监督蒸馏技术训练一个轻量级骨干网络，通过引入自监督蒸馏学习可以有效利用大量缺乏人工标注的SAR图像数据集训练轻量级骨干网络，该网络计算耗时短且有优异的特征提取能力，更适合部署在星载处理平台上；与此同时，在特征提取的基础上，通过基于边缘引导和多尺度信息融合的方法，充分挖掘数据中各种尺度的目标信息提升模型检测精度，有效地提升了目标检测性能且对计算耗时影响较小，从而在星载处理平台上实现高精度的实时舰船目标检测，满足星载处理平台上部署的要求，且能够保证检测的高精度和实时性，解决了在星载处理平台上实现高精度实时检测的技术需求，有助于海洋舰船检测，辅助领海监管工作。

附图说明

图1为本发明基于自监督蒸馏的边缘引导SAR图像舰船检测方法的流程示意图；

图2为本发明中自监督蒸馏的结构示意图；

图3为本发明基于自监督蒸馏的边缘引导SAR图像舰船检测方法的结构示意图；

图4为本发明中边缘引导模块的结构示意图；

图5为本发明中输入图像、真实结果与目标检测推理结果的展示图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

如图1-5所示，本发明基于自监督蒸馏的边缘引导SAR图像舰船检测方法，利用自监督蒸馏学习在不要求人工标注的情况下获取一个性能良好的轻量级骨干网络，在此基础上利用边缘引导的特征与多尺度信息融合有效提升了目标检测性能，有助于对海域舰船进行监管，保障海域安全，所述方法具体包括：

S1、采用无标签的SAR图像数据集，通过自监督蒸馏学习训练轻量级网络ResNet-18；

可以通过无需标注的数据集训练一个性能优良的轻量级骨干网络，步骤S1通过自监督蒸馏学习训练轻量级网络ResNet-18，具体包括以下子步骤：

S101、获取无标签的SAR图像数据集；即在无标签的SAR图像数据集上通过对比学习训练一个大模型ResNet-152；

S102、对无标签的SAR图像数据集中的图像进行增强操作，生成两个样本；具体输入图片通过剪裁、遮挡等数据增强操作生成两个样本；

S103、以ResNet-152作为教师模型，ResNet-18作为学生模型和动量模型，将两个样本送入各模型；

S104、各模型生成的结果通过多层感知机进行编码生成嵌入向量；

S105、对学生模型和动量模型生成的嵌入向量计算相似度并进行对比学习；

S106、采用教师模型生成的嵌入向量对学生模型对应的嵌入向量进行约束使其趋于一致。

S2、将带有标签的SAR图像目标检测数据集图像输入ResNet-18进行特征提取，获得特征图；

步骤S2包括以下子步骤：

S201、借助人工获取带有标签的SAR图像目标检测数据集，以用来训练下游任务。

标签格式如下：

x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄,类名,是否为难分类对象

其中x_i,y_i表示目标框角点坐标，顺序依次为左上、右上、右下、左下；

S202、将SAR图像目标检测数据集中的图像输入ResNet-18进行特征提取，获得不同尺度特征图，大小分别为原图大小的1/4、1/8、1/16、1/32，命名为特征图P1、P2、P3、P4。

S3、基于特征图，采用频域和空间域的特征融合来预测图像边缘，得到边缘特征；

P1通过傅里叶卷积得到F1特征后再依次与P2、P3、P4融合用来预测图像边缘，步骤S3包括以下子步骤：，

S301、特征图P1通过傅里叶卷积获得特征图F1，傅里叶卷积公式如下：

其中，是表示傅里叶卷积后的二维矩阵，x是输入图像的二维矩阵，u,v表示在傅里叶卷积后的二维矩阵中的位置，H,W表示图像的长宽，h,w表示在输入图像上的位置。

S302、通过双线性插值法将特征图P2、P3、P4扩张到与F1相同尺度，并通过1×1卷积将扩张后的P2、P3、P4通道数减半；

S303、F1依次与通道数减半后P2、P3、P4的特征相加并通过1×1卷积使F1与将要相加的特征图通道数对齐，得到融合后的特征图；

S304、将融合后的特征图通过空间注意力模块，特征图先后通过3×3空洞率为1的卷积和5×5空洞率为2的卷积生成两个特征图，堆叠平均池化和最大池化后的特征，再经过1×1卷积和sigmoid函数生成边缘预测图，得到边缘特征。通过使用不同的感受野提升预测不同尺度舰船边缘的精度并避免陆地区域边缘干扰。

还包括S305、根据预测的边缘与真实标签(即带有标签的SAR图像目标检测数据集)，计算预测损失，使用DiceLoss：

其中，S_i,x,y和G_i,x,y分别表示在像素点(x,y)处预测值和真实值。

可以理解的是，自监督主要运用在了训练一个优异的轻量级骨干网络，针对实际任务还需要对具体任务进行训练，上述损失主要是为了训练模型预测边缘。

S4、采用边缘特征对特征图进行边缘引导后输入空洞金字塔池化网络中进行多尺度融合，得到多个尺度的特征；

步骤S4包括以下子步骤：

S401、将边缘特征下采样后与特征图P1相乘后再加上特征图P1；

S402、将S401得到的特征通过卷积、平均池化和sigmoid生成注意力权重；

S403、将最初的特征图与注意力权重相乘后卷积得到边缘引导的特征；

S404、对于特征图P2、P3、P4重复上述的步骤最终得到C1、C2、C3、C4，将边缘引导的特征输入空洞金字塔池化网络进行多尺度融合，该S404将相邻特征通过上采样至相同尺度后堆叠，例如C1、C2，再由1×1卷积融合通道特征，生成的特征图等分成四份，依次堆叠，每次堆叠后使用空洞卷积提取特征，卷积核大小3×3，空洞率逐次增加，特征图等分减小了计算量，同时不同的空洞卷积有助于多尺度信息提取，最后将得到原图大小1/4、1/8、1/16的特征图。

S5、将多个尺度的特征送入检测模块获得检测结果，以及通过检测结果与标签计算检测损失，训练下游任务目标检测网络。

步骤S5包括以下子步骤：

S501、对空洞金字塔池化网络生成的三个尺度的特征图特征进行预测，检测模块以精简为主，经过两次卷积后得到定向检测框预测结果，三个尺度的特征图分别用于预测不同尺度的舰船，可以避免较小的舰船在尺度较小的特征图中被遗漏，得到预测结果；

S502、根据预测结果和真值标签计算检测损失，检测损失包括分类损失、置信度损失和回归损失；

分类损失和置信度损失使用BCEWithLogitsLoss，回归损失使用EIoULoss：

其中，x_i和y_i分别表示预测结果和真值标签对应的预测类别与真实类别，n表示总类别数,B_p和B_g分别表示预测框与真实框，c表示预测框和真实框最小包围框中心点，ρ²表示计算两点欧式距离，b,b^gt分别表示预测框和真实框的中心点，w,w^gt分别表示预测框和真实框的宽，h,h^gt分别表示预测框和真实框的搞，C_w,C_h表示最小包围框的框和高。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.基于自监督蒸馏的边缘引导SAR图像舰船检测方法，其特征在于，包括以下步骤：

S1、采用无标签的SAR图像数据集，通过自监督蒸馏学习训练轻量级网络ResNet-18；

S2、将带有标签的SAR图像目标检测数据集图像输入ResNet-18进行特征提取，获得特征图；

S3、基于特征图，采用频域和空间域的特征融合来预测图像边缘，得到边缘特征；

S4、采用边缘特征对特征图进行边缘引导后输入空洞金字塔池化网络生成不同尺度的特征图；

S5、将新S4生成的特征图送入检测模块获得检测结果；

步骤S1通过自监督蒸馏学习训练轻量级网络ResNet-18，具体包括以下子步骤：

S101、获取无标签的SAR图像数据集；

S102、对无标签的SAR图像数据集中的图像进行增强操作，生成两个样本；

S103、以ResNet-152作为教师模型，ResNet-18作为学生模型和动量模型，将两个样本送入各模型；

S104、各模型生成的结果通过多层感知机进行编码生成嵌入向量；

S105、对学生模型和动量模型生成的嵌入向量计算相似度并进行对比学习；

S106、采用教师模型生成的嵌入向量对学生模型对应的嵌入向量进行约束使其趋于一致；

步骤S4包括以下子步骤：

S401、将边缘特征下采样后与特征图相乘后再加上特征图；

S402、将S401得到的特征通过卷积、平均池化和sigmoid生成注意力权重；

S403、将最初的特征图与注意力权重相乘后卷积得到边缘引导的特征；

S404、将边缘引导的特征输入空洞金字塔池化网络中将不同尺度的特征图从小到大相邻融合，生成原图尺寸1/4、1/8，1/16的特征图C1、C2、C3。

2.根据权利要求1所述的基于自监督蒸馏的边缘引导SAR图像舰船检测方法，其特征在于，步骤S2包括以下子步骤：

S201、获取带有标签的SAR图像目标检测数据集；

S202、将SAR图像目标检测数据集中的图像输入ResNet-18进行特征提取，获得不同尺度特征图，包括大小分别为原图大小1/4、1/8、1/16、1/32的特征图P1、P2、P3、P4。

3.根据权利要求2所述的基于自监督蒸馏的边缘引导SAR图像舰船检测方法，其特征在于，步骤S3包括以下子步骤：

S301、特征图P1通过傅里叶卷积获得特征图F1；

S302、通过双线性插值法将特征图P2、P3、P4扩张到与F1相同尺度，并通过1×1卷积将扩张后的P2、P3、P4通道数减半；

S303、F1依次与通道数减半后P2、P3、P4的特征相加并通过1×1卷积使F1与将要相加的特征图通道数对齐，得到融合后的特征图；

S304、将融合后的特征图通过空间注意力模块计算得到边缘预测图，得到预测的边缘及边缘特征。

4.根据权利要求3所述的基于自监督蒸馏的边缘引导SAR图像舰船检测方法，其特征在于，傅里叶卷积公式如下：

其中，是表示傅里叶卷积后的二维矩阵，x是输入图像的二维矩阵，u,v表示在傅里叶卷积后的二维矩阵中的位置，H,W表示图像的长宽，h,w表示在输入图像上的位置。

5.根据权利要求1所述的基于自监督蒸馏的边缘引导SAR图像舰船检测方法，其特征在于，步骤S5包括以下子步骤：

S501、对空洞金字塔池化网络得到的三多尺度的特征图特征进行预测，得到预测结果；

S502、根据预测结果和真值标签计算检测损失，检测损失包括分类损失、置信度损失和回归损失。

6.根据权利要求5所述的基于自监督蒸馏的边缘引导SAR图像舰船检测方法，其特征在于，分类损失和置信度损失使用BCEWithLogitsLoss，回归损失使用EIoULoss：

其中，x_i和y_i分别表示预测结果和真值标签对应的预测类别与真实类别，n表示总类别数,B_p和B_g分别表示预测框与真实框，c表示预测框和真实框最小包围框中心点，ρ²表示计算两点欧式距离，b,b^gt分别表示预测框和真实框的中心点，w,w^gt分别表示预测框和真实框的宽，h,h^gt分别表示预测框和真实框的搞，C_w,C_h表示最小包围框的框和高。