CN118397256B - Sar图像舰船目标检测方法及装置 - Google Patents

Abstract

本发明提供一种SAR图像舰船目标检测方法及装置，涉及计算机视觉技术领域，该方法首先获取待检测SAR图像；然后将待检测SAR图像输入至舰船目标检测模型，得到舰船目标检测模型输出的目标检测结果。舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到，标注框包括部件标注框和整体标注框，相比传统的整体对象标注，提供更详细的部件信息，有助于提高目标检测的性能。部件标注框应用整体标注框，结合SAR图像样本中舰船目标样本所在的目标区域的高斯热力图自动得到，减少传统手动标注过程中的人工依赖，使得目标检测过程更为高效和精确，降低标注成本。避免模型训练过程中出现的过拟合现象，使舰船目标检测模型的泛化性更强。

Description

SAR图像舰船目标检测方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种SAR图像舰船目标检测方法及装置。

背景技术

随着全球数字化信息时代的迅猛发展，遥感技术在军事、民用等多个领域发挥着越来越重要的作用。合成孔径雷达（Synthetic Aperture Radar，SAR）作为遥感技术中的一种，以其全天候、全天时的监视能力，在各领域均显示出独特的优势。因此，提高SAR图像中的目标检测性能至关重要。

近年来，针对SAR图像的舰船目标检测问题，学术界和工业界提出了多种解决方案。其中，基于卷积神经网络（Convolutional Neural Networks，CNN）的方法因其在特征自动学习方面的优势，已被广泛研究并应用于自然图像的目标检测任务中。然而，尽管在自然图像的目标检测上表现优异，CNN直接应用于SAR图像中的舰船目标检测任务却面临较大挑战。原因在于，SAR图像独特的俯拍视角和相干成像特性使得其图像特征和表现形式与自然图像迥异，这些因素都会干扰舰船目标的准确检测。针对SAR图像的这些挑战，研究人员已经提出了多种改进方法。

然而，在训练CNN时，通常需要通过人工对SAR图像样本中舰船目标样本的部件进行手动标注，这不仅会增加标注成本，繁琐耗时且依赖大量人工输入，效率较低，还可能存在标注出错的问题。而且，受限于标注成本和访问限制，客观存在一些小样本，在通过小样本对CNN进行训练时会产生严重的过拟合现象，导致CNN泛化性较差。

发明内容

本发明提供一种SAR图像舰船目标检测方法及装置，用以解决存在的缺陷。

本发明提供一种SAR图像舰船目标检测方法，包括：

获取待检测SAR图像；

将所述待检测SAR图像输入至舰船目标检测模型，得到所述舰船目标检测模型输出的目标检测结果；

其中，所述舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到；所述标注框包括部件标注框和整体标注框，所述部件标注框应用所述整体标注框基于如下步骤确定：

确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并基于所述高斯热力图，确定所述目标区域的像素协方差矩阵中的最大特征向量，基于所述最大特征向量确定舰船目标样本的主轴方向；

基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框。

根据本发明提供的一种SAR图像舰船目标检测方法，所述基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框，包括：

确定所述整体标注框上与所述主轴方向的锐角夹角小的目标框边，并确定所述目标框边的中点与所述整体标注框的中心点的连线上，对应于所述高斯热力图中位置置信度与预设阈值的差值最小的目标点，以及所述目标点关于所述整体标注框的中心点的对称点；

基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框。

根据本发明提供的一种SAR图像舰船目标检测方法，所述部件标注框包括第一标注框和第二标注框；

所述基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框，包括：

将所述目标点以及所述对称点分别确定为所述第一标注框和所述第二标注框的一个顶点；

基于所述整体标注框的顶点，确定所述第一标注框和所述第二标注框的顶点的对角线点；

其中，所述第一标注框的中心点、所述第二标注框的中心点与所述整体标注框的中心点均在一条直线上。

根据本发明提供的一种SAR图像舰船目标检测方法，所述确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，具体包括：

基于所述目标区域中各像素点的灰度值，确定非标准化高斯分布的最大似然参数；

将所述非标准化高斯分布进行中心标准化，得到标准化高斯分布；

基于所述标准化高斯分布，计算所述目标区域内各像素点的位置置信度，并基于所述目标区域内各像素点的位置置信度，确定所述高斯热力图。

根据本发明提供的一种SAR图像舰船目标检测方法，所述舰船目标检测模型基于如下步骤训练得到：

将所述SAR图像样本输入至初始目标检测模型，得到所述初始目标检测模型输出的所述SAR图像样本中的候选锚框以及所述候选锚框的预测概率和位置向量；

确定所述候选锚框中属于所述舰船目标样本的备选锚框，以及所述备选锚框中的整体锚框和部件类锚框，并基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框；

确定所述部件锚框的中心点连线，并计算所述整体锚框的中心点到所述中心点连线的垂直距离，基于所述垂直距离，构建空间位置约束项；

基于所述空间位置约束项、分类误差以及定位误差，计算复合损失函数，并基于所述复合损失函数，对所述初始目标检测模型的结构参数进行迭代优化，得到所述舰船目标检测模型；

其中，所述分类误差基于所述备选锚框的预测概率确定，所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量确定。

根据本发明提供的一种SAR图像舰船目标检测方法，所述基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框，包括：

基于所述位置依赖交并比，对所述部件类锚框进行筛选，得到目标锚框；

将所述整体锚框以及所述部件类锚框映射至所述高斯热力图上，并计算所述目标锚框的中心点在所述高斯热力图上的像素值；

基于所述目标锚框的中心点在所述高斯热力图上的像素值，对所述目标锚框进行筛选，得到所述部件锚框。

根据本发明提供的一种SAR图像舰船目标检测方法，所述分类误差基于所述预测概率，应用交叉熵损失函数或Focal Loss确定；所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量，应用平滑L1损失函数确定。

本发明还提供一种SAR图像舰船目标检测装置，包括：

图像获取模块，用于获取待检测SAR图像；

目标检测模块，用于将所述待检测SAR图像输入至舰船目标检测模型，得到所述舰船目标检测模型输出的目标检测结果；

其中，所述舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到；所述标注框包括部件标注框和整体标注框；

还包括部件自动标注模块，用于应用所述整体标注框基于如下步骤确定所述部件标注框：

确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并基于所述高斯热力图，确定所述目标区域的像素协方差矩阵中的最大特征向量，基于所述最大特征向量确定舰船目标样本的主轴方向；

基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的SAR图像舰船目标检测方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的SAR图像舰船目标检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的SAR图像舰船目标检测方法。

本发明提供的SAR图像舰船目标检测方法及装置，该方法首先获取待检测SAR图像；然后将待检测SAR图像输入至舰船目标检测模型，得到舰船目标检测模型输出的目标检测结果。该舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到，采用的标注框包括部件标注框和整体标注框，相比传统的整体对象标注，提供了更详细的部件信息，有助于提高目标检测的性能。采用的部件标注框应用整体标注框，结合SAR图像样本中舰船目标样本所在的目标区域的高斯热力图自动得到，可以减少传统手动标注过程中的人工依赖，使得目标检测过程更为高效和精确，降低标注成本。进而，可以避免模型训练过程中出现的过拟合现象，使训练得到的舰船目标检测模型的泛化性更强。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的SAR图像舰船目标检测方法的流程示意图；

图2是本发明提供的SAR图像舰船目标检测方法中目标区域的高斯热力图示意图；

图3是本发明提供的SAR图像舰船目标检测方法中整体锚框与部件类锚框之间的中心点距离和PIOU的取值的关系示意图；

图4是本发明提供的SAR图像舰船目标检测方法中垂直距离的计算示意图；

图5是本发明提供的SAR图像舰船目标检测方法中确定部件锚框的流程示意图；

图6是本发明提供的SAR图像舰船目标检测方法中舰船目标检测模型的训练方法流程示意图；

图7是本发明提供的SAR图像舰船目标检测装置的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

由于现有技术中，在训练用于对SAR图像舰船目标进行检测的CNN时，手动标注SAR图像样本中舰船目标样本的部件，不仅会增加标注成本，繁琐耗时且依赖大量人工输入，效率较低，还可能存在标注出错的问题。而且，受限于标注成本和访问限制，客观存在一些小样本，在通过小样本对CNN进行训练时会产生严重的过拟合现象，导致CNN泛化性较差，进而影响对SAR图像舰船目标的检测结果的准确性。

图1为本发明实施例中提供的一种SAR图像舰船目标检测方法的流程示意图，如图1所示，该方法包括：

S1，获取待检测SAR图像；

S2，将所述待检测SAR图像输入至舰船目标检测模型，得到所述舰船目标检测模型输出的目标检测结果；

其中，所述舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到；所述标注框包括部件标注框和整体标注框，所述部件标注框应用所述整体标注框基于如下步骤确定：

确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并基于所述高斯热力图，确定所述目标区域的像素协方差矩阵中的最大特征向量，基于所述最大特征向量确定舰船目标样本的主轴方向；

基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框。

具体地，本发明实施例中提供的SAR图像舰船目标检测方法，其执行主体为SAR图像舰船目标检测装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。

首先执行步骤S1，获取待检测SAR图像，该待检测SAR图像是通过SAR采集得到的图像，待检测SAR图像中可以包含有一个或多个舰船目标，由实际情况确定。

SAR图像舰船目标检测装置可以与SAR连接，SAR可以将采集得到的待检测SAR图像传输至SAR图像舰船目标检测装置。

然后执行步骤S2，引入舰船目标检测模型，将待检测SAR图像输入至舰船目标检测模型，通过舰船目标检测模型对待检测SAR图像进行特征提取，得到特征图，并通过特征图得到目标检测结果。该目标检测结果可以包括待检测SAR图像中所包含的舰船目标的整体检测框以及舰船目标的部件检测框。整体检测框可以对应覆盖待检测SAR图像中所包含的舰船目标，部件检测框可以对应覆盖舰船目标的部件。

该舰船目标检测模型可以是YOLO系列模型，也可以是全卷积网络（FullyConvolutional Network，FCN）、特征金字塔网络（Feature Pyramid Network，FPN）或U-net等深度学习模型。若该舰船目标检测模型为FPN，则通过对待检测SAR图像进行特征提取，可以得到多个尺度的特征图，不同尺度的特征图用于对不同大小的舰船目标进行检测。进而，通过各尺度的特征图，可以得到待检测SAR图像中所包含的各不同大小的舰船目标的整体检测框以及舰船目标的部件检测框。此处，特征图的尺度个数可以根据需要进行设置，例如可以设置为5个，也可以是其他个数，此处不作具体限定。

可以理解的是，舰船目标的部件可以包括头部和尾部，因此部件检测框可以包括头部检测框和尾部检测框。

该舰船目标检测模型可以利用带有标注框的SAR图像样本对初始目标检测模型进行训练得到，该初始目标检测模型的结构与舰船目标检测模型的结构相同，不同点仅在于结构参数不同，初始目标检测模型的结构参数可以通过初始化得到，通过对初始目标检测模型进行训练，可以实现对初始目标检测模型的结构参数进行迭代更新，最终得到舰船目标检测模型。

SAR图像样本可以包括多个，多个SAR图像样本可以构成用于训练初始目标检测模型的SAR图像样本集。此处，各SAR图像样本可以取自于SAR数据集，该SAR数据集可以包括SSDD SAR数据集和/或HRSID数据集。

每个SAR图像样本中均可以包括一个或多个舰船目标样本，且每个SAR图像样本中各舰船目标样本均携带有标注框，该标注框可以包括部件标注框和整体标注框，部件标注框可以包括头部标注框和尾部标注框。

每个SAR图像样本中各舰船目标样本的位置信息及类别信息都被写入一个标签文件，每个舰船目标样本的位置信息可以通过每个舰船目标样本的整体标注框的位置信息进行表示。

由此可知，每个SAR图像样本中各舰船目标样本的整体标注框可以是已知的，或者是通过人工标注的，也可以通过高斯热力图自动标注得到，该整体标注框内的区域即为舰船目标样本所在的目标区域。本发明实施例的重点在于自动确定每个SAR图像样本中各舰船目标样本的部件标注框，并将该部件标注框的位置信息添加到标签文件中。

本发明实施例中，可以将SAR图像样本集中的舰船目标样本按照预设比例划分为训练集和测试集，训练集用于对初始目标检测模型进行训练，测试集用于对训练得到的模型进行测试，如果测试通过则将训练得到的模型作为舰船目标检测模型，如果测试未通过则对训练得到的模型进行继续训练，直至测试通过。

其中，预设比例可以根据需要进行设定，例如可以为7:3，也可以是其他比例，此处不作具体限定。

此处，对于每个SAR图像样本中的每个舰船目标样本，该舰船目标样本的部件标注框均可以是应用该舰船目标样本的整体标注框，并通过如下步骤得到：

首先，确定SAR图像样本中舰船目标样本所在的目标区域的高斯热力图。此处，可以根据目标区域的灰度特征计算二维高斯分布，确定目标区域的方位敏感的高斯热力图，该高斯热力图可以用于模拟目标区域中各像素点的重要性，以确保目标区域中舰船目标样本的中心点具有最高的置信度，目标区域中除中心点外的其他像素点的置信度根据二维高斯分布规律逐渐降低。

此后，利用高斯热力图，结合单值分解（Singular Value Decomposition，SVD）算法确定目标区域的像素协方差矩阵中的最大特征向量，该最大特征向量的方向可以作为舰船目标样本的主轴方向。

此后，可以利用舰船目标样本的主轴方向、整体标注框以及高斯热力图中的位置置信度，确定舰船目标样本的部件标注框。整体标注框与部件标注框存在两个约束条件，其一为整体标注框的中心点与部件标注框的中心点在一条直线上，该直线的方向可以是舰船目标样本的主轴方向；其二为部件标注框与整体标注框存在共用的顶点。

进而，由于高斯热力图中的每个位置点都对应有一个置信度，即位置置信度，因此可以结合舰船目标样本的主轴方向以及高斯热力图中的位置置信度，确定出舰船目标样本的部件标注框上的一个顶点，该顶点区别于整体标注框的各顶点。

结合上述两个约束条件，则可以确定出舰船目标样本的部件标注框上与确定出的顶点处于对角位置的顶点，即确定出的顶点的对角点。

确定了舰船目标样本的部件标注框上的一个顶点及其对角点，即可得到舰船目标样本的部件标注框。

在对初始目标检测模型进行训练时，可以将舰船目标样本输入至初始目标检测模型，得到初始目标检测模型的输出结果，然后根据输出结果与舰船目标样本携带的标注框，计算损失函数，最后根据损失函数，更新初始目标检测模型的结构参数；迭代执行上述的输入过程以及计算过程，直至损失函数收敛或达到预设迭代次数，得到舰船目标检测模型。其中，预设迭代次数可以根据需要进行设置，此处不作具体限定。

本发明实施例中提供的SAR图像舰船目标检测方法，首先获取待检测SAR图像；然后将待检测SAR图像输入至舰船目标检测模型，得到舰船目标检测模型输出的目标检测结果。该舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到，采用的标注框包括部件标注框和整体标注框，相比传统的整体对象标注，提供了更详细的部件信息，有助于提高目标检测的性能。采用的部件标注框应用整体标注框，结合SAR图像样本中舰船目标样本所在的目标区域的高斯热力图自动得到，可以减少传统手动标注过程中的人工依赖，使得目标检测过程更为高效和精确，降低标注成本。进而，可以避免模型训练过程中出现的过拟合现象，使训练得到的舰船目标检测模型的泛化性更强。

在上述实施例的基础上，所述基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框，包括：

确定所述整体标注框上与所述主轴方向的锐角夹角小的目标框边，并确定所述目标框边的中点与所述整体标注框的中心点的连线上，对应于所述高斯热力图中位置置信度与预设阈值的差值最小的目标点，以及所述目标点关于所述整体标注框的中心点的对称点；

基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框。

具体地，在确定部件标注框时，可以借助于主轴方向，确定整体标注框上与主轴方向的锐角夹角小的目标框边。整体标注框与部件标注框均为矩形框，矩形框上相邻框边相互垂直，矩形框包括水平方向的两个框边和竖直方向的两个框边。此处，可以分别计算整体标注框在各方向的框边与主轴方向之间的锐角夹角，然后选取锐角夹角小的整体标注框上的框边作为目标框边。

此后，可以确定目标框边的中点与整体标注框的中心点的连线表达式，在目标框边的中点与整体标注框的中心点的连线上，可以确定对应于高斯热力图中位置置信度与预设阈值的差值最小的目标点。该预设阈值可以根据需要进行设置，例如可以是0.5。由此，可以在连线上确定对应于高斯热力图中位置置信度最接近预设阈值的目标点。进而，可以在连线上确定目标点关于整体标注框的中心点的对称点。

此后，利用目标点、对称点以及整体标注框的顶点，可以确定部件标注框。例如，由于部件标注框包括头部标注框和尾部标注框，因此可以将目标点作为一个标注框的顶点，将对称点作为另一个标注框的顶点，同时，利用整体标注框的顶点，结合上述的约束条件，可以确定两个标注框的各顶点，进而可以确定所需的部件标注框。

本发明实施例中，借助于高斯热力图中的位置置信度，可以快速自动化确定部件标注框。

在上述实施例的基础上，所述部件标注框包括第一标注框和第二标注框；

所述基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框，包括：

将所述目标点以及所述对称点分别确定为所述第一标注框和所述第二标注框的一个顶点；

基于所述整体标注框的顶点，确定所述第一标注框和所述第二标注框的顶点的对角线点；

其中，所述第一标注框的中心点、所述第二标注框的中心点与所述整体标注框的中心点均在一条直线上。

具体地，本发明实施例中，可以将部件标注框中的两个标注框区分为第一标注框和第二标注框，在确定第一标注框和第二标注框的位置之后，可以根据舰船目标样本的主轴方向，从中确定头部标注框和尾部标注框。例如，可以将沿主轴方向排序的标注框依次作为尾部标注框和头部标注框。

在确定部件标注框时，可以将目标点确定为第一标注框的一个顶点，将对称点作为第二标注框的一个顶点。

此后，选取整体标注框的一个顶点作为第一标注框的顶点的对角线点，选取整体标注框的另一个顶点作为第二标注框的顶点的对角线点，进而确定第一标注框和第二标注框。其中，选取整体标注框的顶点可以通过第一标注框的中心点、第二标注框的中心点与整体标注框的中心点均在一条直线上这一约束条件实现。

例如，如图2所示，为目标区域的高斯热力图。EFGH为整体标注框的各顶点，EFGH内为目标区域，B为整体标注框的中心点，从B出发的向量v为舰船目标样本的主轴方向，框边EF和HG与主轴方向的锐角夹角均为β，框边EH和FG与主轴方向的锐角夹角均为α，若α≥β，则将框边EF和HG作为目标框边。图2中仅示出了将框边EF作为目标框边的情况，A为目标框边的中点，AB上的C为高斯热力图中位置置信度最接近预设阈值的目标点。D为AB上C关于B的对称点。由此，可以将C作为第一标注框的一个顶点，H作为C的对角点，将D作为第二标注框的一个顶点，F作为D的对角点。最终，ICJH为第一标注框的各顶点，AFKD为第二标注框的各顶点。

本发明实施例中，借助于整体标注框与部件标注框之间的位置约束，可以使得到的各部件标注框位置更加准确。

在上述实施例的基础上，所述确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，具体包括：

基于所述目标区域中各像素点的灰度值，确定非标准化高斯分布的最大似然参数；

将所述非标准化高斯分布进行中心标准化，得到标准化高斯分布；

基于所述标准化高斯分布，计算所述目标区域内各像素点的位置置信度，并基于所述目标区域内各像素点的位置置信度，确定所述高斯热力图。

具体地，在确定高斯热力图时，可以先利用目标区域中各像素点的灰度值，确定非标准化高斯分布的最大似然参数。最大似然参数可以包括非标准化高斯分布的均值向量和协方差矩阵。

非标准化高斯分布可以表示为：

其中，代表像素点的坐标向量，是均值向量，是协方差矩阵，表示协方差矩阵的行列式。

均值向量和协方差矩阵可以通过如下公式计算得到：

其中，表示像素点的灰度值。

此后，将非标准化高斯分布进行中心标准化，得到标准化高斯分布，进而利用标准化高斯分布，计算目标区域内各像素点的位置置信度。位置置信度的计算公式可以表示为：

其中，为像素点的位置置信度，k为调节因子参数，用于调整高斯函数中心点到边缘的衰减速度。

最后，利用目标区域内各像素点的位置置信度，确定高斯热力图。

由于舰船目标在SAR图像中通常占据较小的像素比例，低前景比率导致SAR图像中除舰船目标位置以外的有用特征信息提取不足，现有算法技术难以进行精确的定位和分类；在复杂的海洋和海岸背景下，常见的背景物体与舰船在形状和大小上可能相似，现有算法技术的训练过程中易产生误检。因此，到目前为止，SAR图像舰船目标检测的准确性和鲁棒性仍依赖于挖掘有限的SAR图像中的更多有用信息和提升检测网络的训练优化方法。

在上述实施例的基础上，所述舰船目标检测模型基于如下步骤训练得到：

将所述SAR图像样本输入至初始目标检测模型，得到所述初始目标检测模型输出的所述SAR图像样本中的候选锚框以及所述候选锚框的预测概率和位置向量；

确定所述候选锚框中属于所述舰船目标样本的备选锚框，以及所述备选锚框中的整体锚框和部件类锚框，并基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框；

确定所述部件锚框的中心点连线，并计算所述整体锚框的中心点到所述中心点连线的垂直距离，基于所述垂直距离，构建空间位置约束项；

基于所述空间位置约束项、分类误差以及定位误差，计算复合损失函数，并基于所述复合损失函数，对所述初始目标检测模型的结构参数进行迭代优化，得到所述舰船目标检测模型；

其中，所述分类误差基于所述备选锚框的预测概率确定，所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量确定。

具体地，在对初始目标检测模型进行训练时，可以先将SAR图像样本输入至初始目标检测模型，初始目标检测模型的输出结果包括SAR图像样本中的候选锚框以及候选锚框的预测概率和位置向量。候选锚框包括多个，每个候选锚框均对应有预测概率以及位置向量。

此后，可以根据每个候选锚框的预测概率，确定属于舰船目标样本的候选锚框作为备选锚框，该备选锚框可以作为舰船目标样本的正标签，则除该备选锚框之外的候选锚框都可以作为舰船目标样本的负标签。例如，若某一候选锚框的预测概率大于指定概率，则可以确定该候选锚框属于舰船目标样本，进而该候选锚框为备选锚框。其中，指定概率可以根据需要进行设定，此处不作具体限定。

备选锚框可以包括整体锚框和部件类锚框，即有，其中，为备选锚框，为整体锚框，为部件类锚框。

此后，可以计算整体锚框与部件类锚框之间的位置依赖交并比（PositionIntersection Over Union，PIoU），该位置依赖交并比是指整体锚框内的区域和部件类锚框内的区域之间的重叠面积，与整体锚框内的区域和部件类锚框内的区域中的最小面积之间的比值。即有：

其中，A表示整体锚框内的区域，B表示部件类锚框内的区域，表示A和B之间的重叠面积，为A的面积，为B的面积，为A和B中的最小面积。

当整体锚框内的区域和部件类锚框内的区域部分重叠时，PIoU＜1，当部件类锚框包含在整体锚框之内时，PIOU=1。

如图3所示，为整体锚框与部件类锚框之间的中心点距离和PIOU的取值的关系。图3中，拐点为部件类锚框包含在整体锚框之内且部分框边重合的情况。

与一般的IoU略有不同，IoU中两个锚框的贡献是相等的，两个锚框的大小差异不会影响最终的IoU，但由于部件类锚框的宽高比范围较大，如果按照IOU的方式计算，可能会保留一些与实际宽高比相差较大的部件类锚框，影响模型的训练和优化。因此，PIoU主要关注的是部件类锚框内的区域与整体锚框内的区域之间的重叠程度，从而有效避免由于形状差异造成的匹配误差，降低失配的可能性。

利用整体锚框与部件类锚框之间的位置依赖交并比，结合高斯热力图，可以对部件类锚框进行筛选，进而得到与整体锚框匹配的部件锚框。该部件锚框可以包括头部锚框和尾部锚框。

此后，可以确定头部锚框和尾部锚框的中心点连线，并计算整体锚框的中心点到中心点连线的垂直距离。此处，可以先确定整体锚框的中心点到中心点连线的垂直投影点，然后计算整体锚框的中心点与垂直投影点之间的距离，并将该距离确定为垂直距离。

如图4所示，为整体锚框的中心点坐标，为头部锚框的中心点坐标，为尾部锚框的中心点坐标，为垂直投影点的中心点坐标。

利用该垂直距离构建空间位置约束项，即有：

其中，为第i个整体锚框的空间位置约束项，为第i个整体锚框对应的垂直距离。

最后，利用该空间距离约束项，可以对分类误差进行优化，结合优化结果以及定位误差，确定复合损失函数。即有：

其中，L为复合损失函数，N_cls为分类任务中整体锚框的个数，N_reg为定位任务中整体锚框的个数，为第i个整体锚框对应的分类误差，为第i个整体锚框对应的定位误差，为第i个整体锚框的预测概率，为第i个整体锚框对应的标签概率，表示第i个整体锚框能够正确预测舰船目标样本的存在，表示第i个整体锚框不能正确预测舰船目标样本的存在，表示第i个整体锚框的位置向量，表示第i个整体标注框的位置向量。是加权系数，用于平衡分类误差和定位误差的重要性。

在复合损失函数中，采用Iverson括号来确定参与定位误差计算的整体锚框的个数，当时，才计算该整体锚框的定位误差。

此后，利用复合损失函数，对初始目标检测模型的结构参数进行迭代优化，当达到预设迭代次数或复合损失函数收敛，得到舰船目标检测模型。

本发明实施例中，引入了一种包含分类误差和定位误差的复合损失函数，可以使训练得到的舰船目标检测模型在复杂环境中提高舰船目标检测的精准度和效率。而且，在该复合损失函数中，通过空间距离约束项调整不同锚框的权重，使得对应于更小的垂直距离的整体锚框具有更高的权重，可以增强复合损失函数的有效性，提高预测框的空间准确性和舰船目标检测模型的性能。

在上述实施例的基础上，所述基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框，包括：

基于所述位置依赖交并比，对所述部件类锚框进行筛选，得到目标锚框；

将所述整体锚框以及所述部件类锚框映射至所述高斯热力图上，并计算所述目标锚框的中心点在所述高斯热力图上的像素值；

基于所述目标锚框的中心点在所述高斯热力图上的像素值，对所述目标锚框进行筛选，得到所述部件锚框。

具体地，在确定与整体锚框匹配的部件锚框时，可以先利用位置依赖交并比，对部件类锚框进行筛选，得到目标锚框。例如，可以将整体锚框与每个部件类锚框的位置依赖交并比与交并比阈值进行比较，选取位置依赖交并比大于交并比阈值的部件类锚框作为目标锚框。其中，交并比阈值可以根据需要进行设定，例如可以是0.3，也可以是其他数值，此处不作具体限定。

同步地，可以根据初始目标检测模型的下采样倍率，将整体锚框以及部件类锚框映射至高斯热力图上，并计算目标锚框的中心点在高斯热力图上的像素值。

利用目标锚框的中心点在高斯热力图上的像素值，对目标锚框进行筛选，得到部件锚框。其中，可以将该像素值与指定像素值进行比较，将像素值大于指定像素值的目标锚框作为部件锚框。

如图5所示，在确定部件锚框时，对于SAR图像样本，确定其中的备选锚框，利用位置依赖交并比，对其中的部件类锚框进行筛选，得到PIoU>0.3的目标锚框，如图5中的（a）。

确定SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并将整体锚框以及部件类锚框映射至高斯热力图上，如图5中的（b）。

最后，计算目标锚框的中心点在高斯热力图上的像素值。目标锚框的中心点分别为、、、，目标锚框的中心点在高斯热力图上的像素值可以通过确定目标锚框的中心点在高斯曲线（Gauss Curve）上的纵坐标取值得到。

通过将目标锚框的中心点在高斯热力图上的像素值与指定像素值进行比较，将像素值大于指定像素值的目标锚框作为部件锚框。此时，SAR图像样本中每个舰船目标样本对应有一个整体锚框以及两个部件锚框。

在上述实施例的基础上，所述分类误差基于所述预测概率，应用交叉熵损失函数或Focal Loss确定；所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量，应用平滑L1损失函数确定。

具体地，根据初始目标检测模型的结构不同，采用不同的损失函数计算分类误差。若初始目标检测模型为两阶段主干网，则使用交叉熵损失作为，若初始目标检测模型为单阶段主干网，则使用Focal Loss，以适应不同检测任务的需求。

对于定位误差，无论初始目标检测模型是两阶段主干网还是单阶段主干网，均使用平滑L1损失（smooth L1）损失函数来计算定位损失，其计算公式为：

在分类任务中，引入了空间距离约束项，整体锚框的中心点到头部锚框和尾部锚框的中心点连线的垂直距离越小，空间距离约束项的取值越接近1，相应的锚框在复合损失函数中的权重越高，从而提高那些与部件位置关系密切的锚框的置信度。

如图6所示，为本发明实施例中提供的一种SAR图像舰船目标检测方法中舰船目标检测模型的训练方法流程示意图。

首先，获取SAR数据集；

然后，生成SAR数据集中舰船目标样本所在的目标区域的高斯热力图，实现对舰船目标样本的部件自动标注。

此后，获取整体标注框和部件标注框，结合SAR数据集中的SAR图像，构建SAR图像样本集。

此后，将SAR图像样本集中的各SAR图像样本输入至初始目标检测模型，得到SAR图像样本中的候选锚框以及所述候选锚框的预测概率和位置向量。

结合高斯热力图，确定与整体锚框匹配的部件锚框，实现部件锚框关系建模。

此后，引入空间位置约束项，构建复合损失函数，对初始目标检测模型的结构参数进行迭代优化，得到舰船目标检测模型。

如图7所示，在上述实施例的基础上，本发明实施例中提供了一种SAR图像舰船目标检测装置，包括：

图像获取模块71，用于获取待检测SAR图像；

目标检测模块72，用于将所述待检测SAR图像输入至舰船目标检测模型，得到所述舰船目标检测模型输出的目标检测结果；

其中，所述舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到；所述标注框包括部件标注框和整体标注框；

还包括部件自动标注模块73，用于应用所述整体标注框基于如下步骤确定所述部件标注框：

确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并基于所述高斯热力图，确定所述目标区域的像素协方差矩阵中的最大特征向量，基于所述最大特征向量确定舰船目标样本的主轴方向；

基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框。

在上述实施例的基础上，本发明实施例中提供的SAR图像舰船目标检测装置，所述部件标注框确定模块，具体用于：

确定所述整体标注框上与所述主轴方向的锐角夹角小的目标框边，并确定所述目标框边的中点与所述整体标注框的中心点的连线上，对应于所述高斯热力图中位置置信度与预设阈值的差值最小的目标点，以及所述目标点关于所述整体标注框的中心点的对称点；

基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框。

在上述实施例的基础上，本发明实施例中提供的SAR图像舰船目标检测装置，所述部件标注框包括第一标注框和第二标注框；

所述部件标注框确定模块，还具体用于：

将所述目标点以及所述对称点分别确定为所述第一标注框和所述第二标注框的一个顶点；

基于所述整体标注框的顶点，确定所述第一标注框和所述第二标注框的顶点的对角线点；

其中，所述第一标注框的中心点、所述第二标注框的中心点与所述整体标注框的中心点均在一条直线上。

在上述实施例的基础上，本发明实施例中提供的SAR图像舰船目标检测装置，所述部件标注框确定模块，还具体用于：

基于所述目标区域中各像素点的灰度值，确定非标准化高斯分布的最大似然参数；

将所述非标准化高斯分布进行中心标准化，得到标准化高斯分布；

基于所述标准化高斯分布，计算所述目标区域内各像素点的位置置信度，并基于所述目标区域内各像素点的位置置信度，确定所述高斯热力图。

在上述实施例的基础上，本发明实施例中提供的SAR图像舰船目标检测装置，还包括模型训练模块，用于：

将所述SAR图像样本输入至初始目标检测模型，得到所述初始目标检测模型输出的所述SAR图像样本中的候选锚框以及所述候选锚框的预测概率和位置向量；

确定所述候选锚框中属于所述舰船目标样本的备选锚框，以及所述备选锚框中的整体锚框和部件类锚框，并基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框；

确定所述部件锚框的中心点连线，并计算所述整体锚框的中心点到所述中心点连线的垂直距离，基于所述垂直距离，构建空间位置约束项；

基于所述空间位置约束项、分类误差以及定位误差，计算复合损失函数，并基于所述复合损失函数，对所述初始目标检测模型的结构参数进行迭代优化，得到所述舰船目标检测模型；

其中，所述分类误差基于所述备选锚框的预测概率确定，所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量确定。

在上述实施例的基础上，本发明实施例中提供的SAR图像舰船目标检测装置，所述模型训练模块，具体用于：

基于所述位置依赖交并比，对所述部件类锚框进行筛选，得到目标锚框；

将所述整体锚框以及所述部件类锚框映射至所述高斯热力图上，并计算所述目标锚框的中心点在所述高斯热力图上的像素值；

基于所述目标锚框的中心点在所述高斯热力图上的像素值，对所述目标锚框进行筛选，得到所述部件锚框。

在上述实施例的基础上，本发明实施例中提供的SAR图像舰船目标检测装置，所述分类误差基于所述预测概率，应用交叉熵损失函数或Focal Loss确定；所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量，应用平滑L1损失函数确定。

具体地，本发明实施例中提供的SAR图像舰船目标检测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器（Processor）810、通信接口（Communications Interface）820、存储器（Memory）830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各实施例中提供的SAR图像舰船目标检测方法。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的SAR图像舰船目标检测方法。可以理解的是，该计算机可读存储介质可以是非暂态计算机可读存储介质，也可以是暂态计算机可读存储介质，此处不作具体限定。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的SAR图像舰船目标检测方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种SAR图像舰船目标检测方法，其特征在于，包括：

获取待检测SAR图像；

将所述待检测SAR图像输入至舰船目标检测模型，得到所述舰船目标检测模型输出的目标检测结果；

其中，所述舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到；所述标注框包括部件标注框和整体标注框，所述部件标注框应用所述整体标注框基于如下步骤确定：

确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并基于所述高斯热力图，确定所述目标区域的像素协方差矩阵中的最大特征向量，基于所述最大特征向量确定舰船目标样本的主轴方向；

基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框；

所述基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框，包括：

确定所述整体标注框上与所述主轴方向的锐角夹角小的目标框边，并确定所述目标框边的中点与所述整体标注框的中心点的连线上，对应于所述高斯热力图中位置置信度与预设阈值的差值最小的目标点，以及所述目标点关于所述整体标注框的中心点的对称点；

基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框；

所述部件标注框包括第一标注框和第二标注框；

所述基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框，包括：

将所述目标点以及所述对称点分别确定为所述第一标注框和所述第二标注框的一个顶点；

基于所述整体标注框的顶点，确定所述第一标注框和所述第二标注框的顶点的对角线点；

其中，所述第一标注框的中心点、所述第二标注框的中心点与所述整体标注框的中心点均在一条直线上。

2.根据权利要求1所述的SAR图像舰船目标检测方法，其特征在于，所述确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，具体包括：

基于所述目标区域中各像素点的灰度值，确定非标准化高斯分布的最大似然参数；

将所述非标准化高斯分布进行中心标准化，得到标准化高斯分布；

基于所述标准化高斯分布，计算所述目标区域内各像素点的位置置信度，并基于所述目标区域内各像素点的位置置信度，确定所述高斯热力图。

3.根据权利要求1-2中任一项所述的SAR图像舰船目标检测方法，其特征在于，所述舰船目标检测模型基于如下步骤训练得到：

将所述SAR图像样本输入至初始目标检测模型，得到所述初始目标检测模型输出的所述SAR图像样本中的候选锚框以及所述候选锚框的预测概率和位置向量；

确定所述候选锚框中属于所述舰船目标样本的备选锚框，以及所述备选锚框中的整体锚框和部件类锚框，并基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框；

确定所述部件锚框的中心点连线，并计算所述整体锚框的中心点到所述中心点连线的垂直距离，基于所述垂直距离，构建空间位置约束项；

基于所述空间位置约束项、分类误差以及定位误差，计算复合损失函数，并基于所述复合损失函数，对所述初始目标检测模型的结构参数进行迭代优化，得到所述舰船目标检测模型；

其中，所述分类误差基于所述备选锚框的预测概率确定，所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量确定。

4.根据权利要求3所述的SAR图像舰船目标检测方法，其特征在于，所述基于所述整体锚框与所述部件类锚框之间的位置依赖交并比，以及所述高斯热力图，确定与所述整体锚框匹配的部件锚框，包括：

基于所述位置依赖交并比，对所述部件类锚框进行筛选，得到目标锚框；

将所述整体锚框以及所述部件类锚框映射至所述高斯热力图上，并计算所述目标锚框的中心点在所述高斯热力图上的像素值；

基于所述目标锚框的中心点在所述高斯热力图上的像素值，对所述目标锚框进行筛选，得到所述部件锚框。

5.根据权利要求3所述的SAR图像舰船目标检测方法，其特征在于，所述分类误差基于所述预测概率，应用交叉熵损失函数或Focal Loss确定；所述定位误差基于所述备选锚框的位置向量以及所述标注框的位置向量，应用平滑L1损失函数确定。

6.一种SAR图像舰船目标检测装置，其特征在于，包括：

图像获取模块，用于获取待检测SAR图像；

目标检测模块，用于将所述待检测SAR图像输入至舰船目标检测模型，得到所述舰船目标检测模型输出的目标检测结果；

其中，所述舰船目标检测模型基于带有标注框的SAR图像样本进行训练得到；所述标注框包括部件标注框和整体标注框；

还包括部件自动标注模块，用于应用所述整体标注框基于如下步骤确定所述部件标注框：

确定所述SAR图像样本中舰船目标样本所在的目标区域的高斯热力图，并基于所述高斯热力图，确定所述目标区域的像素协方差矩阵中的最大特征向量，基于所述最大特征向量确定舰船目标样本的主轴方向；

基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框；

所述基于所述主轴方向、所述整体标注框以及所述高斯热力图中的位置置信度，确定所述部件标注框，包括：

确定所述整体标注框上与所述主轴方向的锐角夹角小的目标框边，并确定所述目标框边的中点与所述整体标注框的中心点的连线上，对应于所述高斯热力图中位置置信度与预设阈值的差值最小的目标点，以及所述目标点关于所述整体标注框的中心点的对称点；

基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框；

所述部件标注框包括第一标注框和第二标注框；

所述基于所述目标点、所述对称点以及所述整体标注框的顶点，确定所述部件标注框，包括：

将所述目标点以及所述对称点分别确定为所述第一标注框和所述第二标注框的一个顶点；

基于所述整体标注框的顶点，确定所述第一标注框和所述第二标注框的顶点的对角线点；

其中，所述第一标注框的中心点、所述第二标注框的中心点与所述整体标注框的中心点均在一条直线上。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的SAR图像舰船目标检测方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的SAR图像舰船目标检测方法。