CN115272859A

CN115272859A - 一种多尺度sar图像目标检测方法、装置、设备和介质

Info

Publication number: CN115272859A
Application number: CN202210921568.1A
Authority: CN
Inventors: 李刚; 张宇; 王学谦; 姜智卓; 刘瑜; 何友
Original assignee: Tsinghua University; Shenzhen International Graduate School of Tsinghua University
Current assignee: Tsinghua University; Shenzhen International Graduate School of Tsinghua University
Priority date: 2022-08-02
Filing date: 2022-08-02
Publication date: 2022-11-01

Abstract

本发明提供了一种多尺度SAR图像目标检测方法、装置、设备和介质，利用轻量化卷积神经网络对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图；按空间分辨率从低到高的顺序，将所述多种空间分辨率的特征图逐层融合，得到多种空间分辨率的多尺度特征图；利用所述多种空间分辨率的多尺度特征图中最高空间分辨率的多尺度特征图进行目标检测，得到目标的中心点概率热图和所述目标的尺寸；根据所述目标的中心点概率热图和所述目标的尺寸，确定所述目标在所述SAR图像中的位置框。本发明采用轻量化的网络结构并直接利用目标中心点概率热图和尺寸来预测目标位置，提升了检测速度，同时基于多个检测子模型进行监督训练，保证了目标检测精度。

Description

一种多尺度SAR图像目标检测方法、装置、设备和介质

技术领域

本发明涉及图像处理领域，特别是一种多尺度SAR图像目标检测方法、装置、设备和介质。

背景技术

由于SAR图像不受光照和天气的影响，基于SAR图像的船舶检测在海上安全和管理任务中的有着重要的应用前景。近年来，随着深度神经网络技术的发展，基于深度神经网络的舰船检测方法开始主导这个领域，但由于其网络的参数量大，导致检测过程耗时较多。

为了解决这个问题，有必要提出一种具有多级辅助监督结构的轻量级检测器，通过简化网络结构提升检测速度并使用多层级监督训练提升检测准确性，实现高效多尺度SAR舰船目标的检测。

发明内容

鉴于上述问题，本发明实施例提供了一种多尺度SAR图像目标检测方法、装置、设备和介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，提供了一种多尺度SAR图像目标检测方法，包括：

利用轻量化神经网络对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图；

按空间分辨率从低到高的顺序，将所述多种空间分辨率的特征图逐层融合，得到多种空间分辨率的多尺度特征图；

利用所述多种空间分辨率的多尺度特征图中最高空间分辨率的多尺度特征图进行目标检测，得到目标的中心点概率热图和所述目标的尺寸；

根据所述目标的中心点概率热图和所述目标的尺寸，确定所述目标在所述SAR图像中的位置框。

可选地，利用所述多种空间分辨率的多尺度特征图中空间分辨率最高的多尺度特征图进行目标检测，是通过预先训练的检测模型中对应于最高空间分辨率的检测子模型实现的；所述目标检测模型包括与所述多种空间分辨率一一对应的多个检测子模型；所述方法还包括：

以每一种空间分辨率的特征图样本为训练数据，对所述对应的检测子模型进行训练，每种空间分辨率的特征图样本携带目标标记信息；

根据所述多个检测子模型的总损失函数值，对所述多个检测子模型进行模型参数更新，得到训练完毕的检测模型。

可选地，所述多个检测子模型中每个检测子模型包括并行的中心点概率预测子模型和尺寸预测子模型，所述中心点概率预测子模型用于输出目标的中心点概率热图，所述尺寸坐标预测子模型用于输出目标的宽、高尺寸值；所述方法还包括：

通过编码器将每种空间分辨率的特征图样本携带目标标记信息转换为对应的检测子模型的输出格式；

根据所述多个检测子模型各自输出的预测值和转换结果，按照以下公式计算所述多个检测模型的中心点总损失函数值和尺寸总损失值；

所述多个检测模型的中心点总损失函数值计算公式为：

其中，y_i,j∈[0,1]，是中心点概率图样本中位置(i,j)处的像素的真值、

是中心点概率图样本中位置(i,j)处的像素的预测值，N_pos表示标定值为1的像素的数量总和，v是网络超参数，(W^[k],H^[k])分别表示第k种分辨率的特征图的宽和高；

所述多个检测模型的尺寸总损失值计算公式为：

其中，y_i,j,m和

分别表示在每种空间分辨率特征图样本的位置(i,j)处的像素的真值和预测值；

按照以下公式计算所述多个检测子模型的总损失函数值：

L_total＝L_cls+λL_size

其中，λ是为了平衡两项损失的超参数。

可选地，根据所述目标的中心点概率热图和所述目标的尺寸，确定所述目标在所述SAR图像中的位置框，包括：

通过解码器在所述目标的中心点概率热图中筛选出峰值点，并根据预先设置的阈值选出所述目标的中心点；

根据所述目标的中心点，按照以下公式计算所述目标在所述SAR图像中的位置框：

其中，(b_left,b_top)和(b_right,b_bottom)表示所述目标的外接矩形的左上角和右下角的坐标，

表示取整操作，(x,y)表示所述目标的中心点的坐标，t_w,t_h为所述目标的尺寸，所述尺寸的转换方式为：

其中，(W_b,H_b)表示目标外接矩形的宽和高，(W,H)表示所述最高空间分辨率的多尺度特征图的宽和高。

可选地，多种空间分辨率的特征图样本，是按照以下步骤得到的：

对原始分辨率的特征图样本的标注信息进行多次缩放，得到多种空间分辨率的特征图样本。

本发明实施例第二方面还提供了一种多尺度SAR图像目标检测装置，包括：

特征提取模块，用于利用轻量化卷积神经网络对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图；

特征融合模块，用于按空间分辨率从低到高的顺序，将所述多种空间分辨率的特征图逐层融合，得到多种空间分辨率的多尺度特征图；

目标检测模块，用于利用所述多种空间分辨率的多尺度特征图中最高空间分辨率的多尺度特征图进行目标检测，得到目标的中心点概率热图和所述目标的尺寸；

位置确定模块，用于根据所述目标的中心点概率热图和所述目标的尺寸，确定所述目标在所述SAR图像中的位置框。

在一些实施例中，所述装置还包括：

模型训练模块，用于以每一种空间分辨率的特征图样本为训练数据，对所述对应的检测子模型进行训练，每种空间分辨率的特征图样本携带目标标记信息；

参数更新模块，用于根据所述多个检测子模型的总损失函数值，对所述多个检测子模型进行模型参数更新，得到训练完毕的检测模型。

在一些实施例中，所述模型训练模块包括：

标记信息转换模块，用于通过编码器将每种空间分辨率的特征图样本携带目标标记信息转换为对应的检测子模型的输出格式；

损失函数值计算模块，用于根据所述多个检测子模型各自输出的预测值和转换结果，计算所述多个检测模型的中心点总损失函数值和尺寸坐标总损失值。

本发明实施例第三方面还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现本实施例第一方面所述的多尺度SAR图像目标检测方法。

本发明实施例第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现本实施例第一方面所述的多尺度SAR图像目标检测方法。

本发明实施例包括以下优点：

本发明实施例中，利用轻量化卷积神经网络对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图，按空间分辨率从低到高的顺序，将所述多种空间分辨率的特征图逐层融合，得到多种空间分辨率的多尺度特征图，利用所述多种空间分辨率的多尺度特征图中最高空间分辨率的多尺度特征图进行目标检测，得到目标的中心点概率热图和所述目标的尺寸坐标，根据所述目标的中心点概率热图和所述目标的尺寸坐标，确定所述目标在所述SAR图像中的位置框。由于本发明实施例中，对不同空间分辨率的特征图进行过多层级的特征融合，并是利用特征融合后空间分辨率最高的多尺度特征图进行目标检测，弥补了小参数量带来的特征提取不够全面的问题，简化了网络的结构，并在检测时通过直接输出中心点概率热图和目标的尺寸坐标来预测目标位置，省略了基于中心点位移量的预测，提升了检测速度，同时在训练过程中，利用不同分辨率真值模板在多个检测子模型进行监督训练，提升了检测模型的准确性，进而保证了目标检测精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多尺度SAR图像目标检测方法步骤流程图；

图2是本发明实施例提供的一种轻量化检测器的网络结构示意图；

图3是本发明实施例提供的一种多层级监督训练示意图；

图4是本发明实施例提供的一种多尺度SAR图像目标检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种多尺度SAR图像目标检测方法，参照图1，图1为本发明实施例提供的一种多尺度SAR图像目标检测方法步骤流程图，如图1所示，所述方法包括：

步骤S101：利用轻量化卷积神经网络对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图。

利用轻量化卷积神经网络对SAR图像进行逐层特征提取，并利用池化层缩小特征的空间分辨率以扩大视觉感受野并有效提取图像中的全域语义信息，得到多种空间分辨的特征图，其中，一个层级的卷积块提取一种对应的空间分辨的特征图。

在本实施例中，用于对SAR图像进行逐层特征提取的网络是基于传统Resnet网络结构进行轻量化裁剪而得到的，具体结构如图2左边所示，图2为本实施例提供的一种轻量化检测器的网络结构示意图，将空间分辨率相同的相邻的卷积层称为一个卷积块，即为一个层级，表示为Bn，n为当前层级的卷积块中特征的空间分辨率。与传统Resnet相比，为减少网络参量，将每一个级别的卷积块的通道数量减少，每一个级别的卷积块(表示为B512、B256、B128、B64、B32、B16)中的通道数量分别设置为8、16、24、32、48和64，为了保持网络深度，将第三级和第四级的卷积块堆叠三次，将第二级和第五级的卷积块堆叠四次。

步骤S102：按空间分辨率从低到高的顺序，将所述多种空间分辨率的特征图逐层融合，得到多种空间分辨率的多尺度特征图。

在步骤S101提取的多种空间分辨率的特征图中，选择N个层级对应的N种不同空间分辨率的特征图，进行多层级的特征融合处理，其中，N根据实际需要而确定，将N种空间分辨率的特征图输入到三个串联模型中进行融合处理，进而得到了N种空间分辨率的多尺度特征图。三个串联模型具体包括：第一个模型是特征金字塔模型，实现将高层级的语义特征融合到各个低层级，即将低空间分辨率的特征图中的语义特征依次从低到高逐层融合到各高空间分辨率的特征图中；第二个模型是自适应特征融合模型，利用网络的自学习能力调节各个层级的融合权重，即调节各不同分辨特征图的融合权重；第三个模型也是特征金字塔模型，用于强化高层语义特征向低层级的共享，即进一步将低分辨的特征图中的语义特征共享至高分辨率的特征图。

示例地，如图2所示，选择其中4个层级(层级1、层级2、层级3、层级4)的不同空间分辨率的特征图进行逐层的特征融合，对应的空间分辨了分别为256、128、64、32，将4各层级对应的特征图输入到模型1(即特征金字塔模型)、到模块2(即自适应特征融合模型)、模块3(即特征金字塔模型)中进行融合处理，最终得到4种不同空间分辨率的多尺度特征图，其中，层级1对应的最高空间分辨率的多尺度特征图中包含的语义特征和空间特征最丰富。

在本实施例中，通过对多种空间分辨率的特征进行融合处理，提升了多尺度特征图中目标特征的表征，特别在空间分辨率最高的多尺度特征图中，同时包含了丰富的语义特征和空间特征，弥补了在步骤S101特征提取过程中，通过减少每个层级卷积块通道数造成小参数量带来的特征提取不够全面的问题。

步骤S103：利用所述多种空间分辨率的多尺度特征图中最高空间分辨率的多尺度特征图进行目标检测，得到目标的中心点概率热图和所述目标的尺寸。

由于空间分辨率最高的多尺度特征图中同时具备较丰富的语义特征和空间特征，因此在对目标进行检测时仅利用空间分辨率最高的多尺度特征图进行检测。通过目标检测模型对多尺度特征图进行目标检测，并输出目标的中心点的概率热图和目标的尺寸坐标，其中，中心点的概率热图是多尺度特征图中各目标中心所在位置的预测，目标的尺寸坐标是多尺度特征图中表征各目标外接矩形框尺寸与当前特征图尺寸之间的关系。

可选地，利用所述多种空间分辨率的多尺度特征图中空间分辨率最高的多尺度特征图进行目标检测，是通过预先训练的检测模型中对应于最高空间分辨率的检测子模型实现的；所述目标检测模型包括与所述多种空间分辨率一一对应的多个检测子模型。

将各层级不同空间分辨率的多尺度特征图输入到检测模型进行检测，即分别将每个层级对应的不同空间分辨率的多尺度特征图分别输入至对应的检测子网络中，且不同空间分辨率的多尺度特征与检测子模型一一对应。最终利用最高空间分辨率的多尺度特征图以及对应的检测子模型进行目标检测。例如，在图2中，将层级1、层级2、层级3和层级4的多尺度特征图分别输入至检测模型中相同层级的检测子模型中，并利用最高空间分辨率的多尺度特征图对应的层级1进行目标检测，并在利用层级1对应的检测子模型输出检测结果。

用于目标检测的检测模型是经过预先训练而得到的模型，在进行目标检测前，还需要对检测模型进行训练，具体训练包括：

在对目标检测模块进行训练时，将多种空间分辨率的特征图样本分别输入至对应空间分辨率的检测子模型中，一个目标检测子模型仅输入一种空间分辨率的特征图样本，以使检测模型在各层级中都能关注到目标区域，同时通过计目标检测模型总的损失函数值，即各检测子模型总的损失函数值，并根据总的损失函数值对整个目标检测模型的参数进行优化。由于是同时对多个检测子模型进行训练，检测模型能够同时关注不同空间分辨率的目标区域，进而实现多个检测子模型相互监督，以保证了检测结果的准确性。

其中，多种空间分辨率的特征图样本，是按照以下步骤得到的：

特征图样本的空间分辨率与相应的检测子模型对应，在每种不同空间分辨率的特征图样本中均含有目标标记的信息，每种不同的空间分辨率的特征图样本通过对原始空间分辨率的特征图样本的标注信息直接缩放到相关级别的空间分辨率大小而生成的。

示例地，如图3所示，图3为本实施提供的一种多层级监督训练示意图，将四种不同空间分辨的特征图样本(GT_1、GT_2、GT_3、GT_4)来训练四个层级的检测子模型，每种不同空间分辨的特征图样本与每个层级的检测子模型一一对应，使网络在各层级都能关注到目标区域。

可选地，所述多个检测子模型中每个检测子模型包括并行的中心点概率预测子模型和尺寸坐标预测子模型，所述中心点概率预测子模型用于输出目标的中心点概率热图，所述尺寸坐标预测子模型用于输出目标的宽、高尺寸值。

每个检测子模型包含并行的中心点概率预测子模型和尺寸坐标预测子模型，中心点概率预测子模型用于输出目标中心点概率，包含一个3×3、通道为8的卷积层和一个1×1、通道为1的卷积层，尺寸坐标预测子模型用于输出目标的尺寸坐标，包含一个3×3、通道为8的卷积层和一个1×1、通道为2的卷积层。

所述方法还包括：

通过编码器将每种空间分辨率的特征图样本携带目标标记信息转换为对应的检测子模型的输出格式。

每个检测子模型的输出格式为特征图中每一个像素点对应的三个输出值(p_c,t_w,t_h)，其中p_c是中心点概率预测子模型的输出值，表示当前像素点为目标中心的概率；t_w,t_h是尺寸预测子模型的输出值，即目标的尺寸，其转换过程为：

其中，(W_b,H_b)表示目标外接矩形的宽和高，(W,H)表示当前特征图的宽和高。

所述多个检测模型的中心点总损失函数值计算公式为：

其中，y_i,j∈[0,1]是中心点概率图中位置(i,j)上的真值、

是该点的网络预测值，N_pos表示标定值为1的像素的数量总和，v是网络超参数，(W^[k],H^[k])分别表示第k个层级中的特征图的宽和高；

所述多个检测模型的尺寸总损失值计算公式为：

其中，y_i,j,m和

按照以下公式计算所述多个检测子模型的总损失函数值：

L_total＝L_cls+λL_size

其中，λ是为了平衡两项损失的超参数。

在本实施例中，将不同空间分辨率的特征图样本输入对个层级检测子网络进行训练，使目标检测模块能够在各层级都能关注到目标区域，并根据多个检测子模型总损失函数值来优化目标检测模块参数，使各层级检测子模块相互监督，提高检测模型的准确率。在进行目标预测时，由于空间分辨率最高的多尺度特征图同时具备丰富的语义特征和空间特征，因此仅采用空间分辨率最高的多尺度特征图进行目标检测，并利用最高空间分辨率对应的检测子模型进行检测，输出目标中心概率热图和目标的尺寸。

步骤S104：根据所述目标的中心点概率热图和所述目标的尺寸，确定所述目标在所述SAR图像中的位置框。

在进行目标检测时，从检测模型中输出的是目标的中心点概率热图和目标的尺寸，还需要经过解码器将其转换为最终的检测结果，即将检测到的目标在特征图中用相应大小矩形框标记出来。

A1：通过解码器在所述目标的中心点概率热图中筛选出峰值点，并根据预先设置的阈值选出所述目标的中心点。

根据概率热图中各峰值点的概率值与阈值的大小关系判断该峰值点是不是目标中心点，具体的，将阈值设置为m，当峰值点的概率值大于m的点判断为目标中心点，峰值点的概率值不大于m的点不是目标中心点，其中m根据实际情况而确定。

A2：根据所述目标的中心点，按照以下公式计算所述目标在所述SAR图像中的位置框：

表示取整操作，(x,y)表示所述目标的中心点的坐标。

根据目标中心的坐标，按照上述公式可以计算目标外接矩形的左上角和右下角的坐标，进而根据目标中心点的坐标、目标外接矩形的左上角和右下角的坐标就可以在多尺度特征图中标记出目标。具体的，如图2所示，将检测出来的目标在多尺度特征图中用矩形框标记出来。

本实施例中，直接通过中心点的位置和以及目标外接矩形的宽高来预测目标位置，省略了传统基于中心点位移量的预测，而且不需要计算复杂度较高的非极大值抑制算法，提升了检测效率。

本发明实施例还提供了一种多尺度SAR图像目标检测装置，参照图4，图4是本申请实施例提供的一种多尺度SAR图像目标检测装置的结构示意图，如图4所示，所述装置包括：

特征提取模块，用于对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图；

在一种实施例中，所述装置，还包括：

在一种实施例中，所述模型训练模块，包括：

损失函数值计算模块，用于根据所述多个检测子模型各自输出的预测值和转换结果，计算所述多个检测模型的中心点总损失函数值和尺寸总损失值。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行本实施例所述的多尺度SAR图像目标检测方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的多尺度SAR图像目标检测方法。

本发明实施例提供了一多尺度SAR图像目标检测方法、装置、设备和介质，所述方法包括：利用轻量化卷积神经网络对SAR图像进行逐层特征提取，得到所述SAR图像的多种空间分辨率的特征图，按空间分辨率从低到高的顺序，将所述多种空间分辨率的特征图逐层融合，得到多种空间分辨率的多尺度特征图，利用所述多种空间分辨率的多尺度特征图中最高空间分辨率的多尺度特征图进行目标检测，得到目标的中心点概率热图和所述目标的尺寸坐标，根据所述目标的中心点概率热图和所述目标的尺寸坐标，确定所述目标在所述SAR图像中的位置框。由于本发明实施例中，对不同空间分辨率的特征图进行过多层级的特征融合，并利用特征融合后空间分辨率最高的多尺度特征图进行目标检测，弥补了小参数量带来的特征提取不够全面的问题，简化了网络的结构，并在检测时通过直接输出中心点概率热图和目标的尺寸坐标来预测目标位置，省略了基于中心点位移量的预测，提升了检测速度，同时在训练过程中，利用不同分辨率真值模板在多个检测子模型进行监督训练，提升了检测模型的准确性，进而保证了目标检测精度。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种多尺度SAR图像目标检测方法、装置、设备和介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。