CN113723558A - 基于注意力机制的遥感图像小样本舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的遥感图像小样本舰船检测方法，并应用于遥感图像小样本舰船检测任务当中。包括：将支持集中的支持图像和查询集中的查询图像均输入至权重共享网络中进行特征提取，分别对应输出目标平均特征图和查询图像特征图；将目标平均特征图进行平均池化后得到目标平均特征图的下采样结果S_k，通过将目标平均特征图的下采样结果作为卷积核，在查询图像特征图做可分离卷积的方式，计算查询集和支持集的相似性，输出注意力特征图；对注意力特征图进行预测，输出检测结果。在提取目标特征阶段，采用多分支并行的网络结构，可以在提取特征的阶段使用标签信息，并添加了注意力模块，提高了网络快速学习新目标特征的能力。

Description

基于注意力机制的遥感图像小样本舰船检测方法

技术领域

本发明涉及模式识别与机器学习技术领域，更具体的说是涉及遥感图像分析和舰船检测分类。

背景技术

深度学习作为近几年兴起的人工智能技术，广受国家、社会各界的关注。其极大推动了计算机视觉和机器语言等领域的发展和落地应用。作为广受大家关注的重要技术，无数的科研工作人员为之投入了很多努力，深度学习现在已经在广泛地使用在社会生活的各个方面，比如人脸识别，自动驾驶，语音助手等。近几年来，目标检测算法取得了很大的突破。具有代表性的算法主要有基于两阶段的RCNN系列和一阶段的YOLO系列。但是基于深度学习的目标检测算法是基于数据驱动的，需要标注大量的数据。部分特殊类别的并没有足够的样本数据。因此，小样本学习应运而生。

小样本舰船检测是一种特殊的遥感图像目标检测问题，目的是在不需要大量样本作为训练数据的情况下，在遥感图像中检测到待检测的舰船。小样本舰船检测其特殊性在于可以避免深度学习算法对数据量的硬性要求，从而直接缓解获取数据难，标注数据耗时耗力的问题。

当前小样本学习问题主要有三种解决办法：基于数据增广的方法，基于度量学习的方法和基于元学习的方法。

基于数据增广的方法思路清晰简单，不会对现有的目标检测模型有改动。主要是使用有限的样本对数据进行扩充，比如将图像进行旋转、翻转、裁剪、拼接、缩放等。此方法依旧顺从了深度学习数据需求量大的问题，并未从根本上解决小样本学习的问题。对于新生成的数据，由于不是真实场景下的生成的图像，会影响数据的分布情况，进而让模型学习到错误的知识。

基于度量学习的方法是对模型进行改进，在特征空间中使同类物体距离变近，异类物体距离变远。其代表方法是孪生网络(Siamese Networks)、匹配网络(MatchingNetworks)、原型网络(Prototype Networks)等。基于度量学习的方法对模型性能的提升效果有限。

基于元学习的方法本质上是将训练过成中一次次的学习看作是不同的任务，目的是让模型在面对新任务的时候有最好的初始化参数。元学习的代表算法有MAML。目前元学习应用于分类任务较多，应用于检测任务的算法较少，难度较大。

因此，如何让模型快速学习到舰船目标的特征是小样本舰船检测技术亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于注意力机制的遥感图像小样本舰船检测方法，提高了网络快速学习新目标特征的能力，提高了遥感图像小样本舰船检测的准确率和效率。

为了实现上述目的，本发明采用如下技术方案：

基于注意力机制的遥感图像小样本舰船检测方法，包括：

将支持集中的支持图像和查询集中的查询图像均输入至权重共享网络中进行特征提取，分别对应输出目标平均特征图和查询图像特征图；

将所述目标平均特征图进行平均池化后得到目标平均特征图的下采样结果S_k，通过将目标平均特征图的下采样结果作为卷积核，在查询图像特征图做可分离卷积的方式，计算所述查询集和所述支持集的相似性，输出注意力特征图；

对所述注意力特征图进行预测，输出检测结果。

优选的，查询集和支持集的相似性具体计算公式为：

G_{h，w，c，k}＝∑_i，jS_k·Y_{h+i-1，w+j-1，c，k}，i，j∈{1，…，b}

其中，G_{h，w，c，k}表示注意力特征图，S_k表示卷积核，k＝1,2,3，表示三种不同的尺度，h,w代表查询图像特征图纵向，横向的原点，i,j代表卷积核滑动后纵向和横向的坐标，c表示查询图像特征图通道坐标，因为查询图像特征图的大小是b×b×c，所以i,j的范围是[1,...,b]。

网络中的损失函数计算公式为：

其中，Iou表示预测框与真值框的交并比，ρ表示欧氏距离，b，b^gt表示预测框与真值框的中心距离，c表示预测框与真值框的最小闭包框的对角线距离，α表示折中参数，

v表示测量宽高比的一致性参数，

w^gt，h^gt代表真值框的宽和高，w，h代表预测框的宽和高。

优选的，所述权重共享网络包括k+1个分支，其中，k个分支用于提取k张支持图像的特征，一个分支用于提取查询图像的特征；每个所述分支均采用Yolo v5骨干网络作为特征提取器进行特征提取，输出三个不同尺度的特征图。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于注意力机制的遥感图像小样本舰船检测方法，在提取目标特征阶段，采用多分支并行的网络结构，可以在提取特征的阶段使用标签信息，并添加了注意力模块，提高了网络快速学习新目标特征的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的基于注意力机制的遥感图像小样本舰船检测方法示意图。

图2附图为实验效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于注意力机制的遥感图像小样本舰船检测方法，如图1所示，包括以下步骤：

步骤一：给定目标特写的小图像，将其作为支持图像，并将支持图像的集合称为支持集。将包含目标且具有标签的大图像称为查询图像，将查询图像的集合称为查询集。

每个训练步骤中，将K个不同类别，每个类别输入N张支持图像至权重共享网络中进行特征提取，同时输入查询图像至权重共享网络中进行特征提取，其中权重共享网络具有k+1个分支，每个分支都有共享权重，一个用于提取查询图像的特征，其他分支用于提取k张支持图像的特征。

步骤二：经过特征提取后，得到三个不同尺度的支持图像的目标平均特征图，以及三个不同尺度的查询图像特征图。

将支持集的目标平均特征图采用平均池化的方式进行下采样，下采样得到卷积核，定义为S_k，其中k＝1,2,3，表示三种不同的尺度。通过以下公式计算查询集和支持集的相似性：

G_{h，w，c，k}＝∑_i，jS_k·Y_{h+i-1，w+j-1，c，k}，i，j∈{1，…，b}

其中,G_{h，w，c，k}代表注意力特征图.S_k作为卷积核，采用可分离式卷积的方式在查询图像特征图上进行卷积操作。k＝1,2,3，表示三种不同的尺度，h,w代表查询图像特征图特征图纵向，横向的原点，i,j代表卷积核滑动后纵向和横向的坐标，c表示通道坐标。因为查询图像特征图的宽、高、通道坐标大小是b×b×c，所以i,j的范围是[1,...,b]。

步骤三：将注意力特征图输入至预测模块进行预测；

步骤四：在遥感图像小样本舰船检测任务中，采用CIoULoss作为损失函数，CIoULoss的计算方式如以下公式：

其中，Iou表示预测框与真值框的交并比，ρ表示欧氏距离，b，b^gt表示预测框与真值框的中心距离，c表示预测框与真值框的最小闭包框的对角线距离，α表示折中参数，

v表示测量宽高比的一致性参数，

w^gt，h^gt代表真值框的宽和高，w，h代表预测框的宽和高。

进一步，由于Yolo算法在检测任务中展现了出色的准确性和快速性，将采用YoloV5的骨干网络作为特征提取器，以提取支持图像和查询图像的特征。为了准确地检测不同尺度的目标，特征提取器提取了三个不同尺度的特征图，每个尺度的特征图都集成了多层特征映射的信息。

在实验部分，使用了HRSC2016遥感图像数据集的舰船部分。其中，共有1055张遥感图像，共包含19类舰船目标。

在HRSC2016数据集上，达到了13％的准确率，27％的召回率，3.7％的mAP50，说明本发明提高了网络快速学习新目标特征的能力，提高了遥感图像小样本舰船检测的准确率和效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.基于注意力机制的遥感图像小样本舰船检测方法，其特征在于，包括：

将支持集中的支持图像和查询集中的查询图像均输入至权重共享网络中进行特征提取，分别对应输出目标平均特征图和查询图像特征图；

将所述目标平均特征图进行平均池化后得到目标平均特征图的下采样结果S_k，通过将目标平均特征图的下采样结果作为卷积核，在查询图像特征图做可分离卷积的方式，计算所述查询集和所述支持集的相似性，输出注意力特征图；

对所述注意力特征图进行预测，输出检测结果。

2.根据权利要求1所述的基于注意力机制的遥感图像小样本舰船检测方法，其特征在于，查询集和支持集的相似性具体计算公式为：

G_{h，w，c，k}＝∑_i，jS_k·Y_{h+i-1，w+j-1，c，k}，i，j∈{1，…，b}

其中，G_{h，w，c，k}表示注意力特征图，S_k表示卷积核，k＝1，2，3，表示三种不同的尺度，h，w代表查询图像特征图纵向，横向的原点，i，j代表卷积核滑动后纵向和横向的坐标，c表示查询图像特征图通道坐标，b表示查询图像特征图的高和宽。

3.根据权利要求1所述的基于注意力机制的遥感图像小样本舰船检测方法，其特征在于，网络中的损失函数计算公式为：

其中，Iou表示预测框与真值框的交并比，ρ表示欧氏距离，b，b^gt表示预测框与真值框的中心距离，c表示预测框与真值框的最小闭包框的对角线距离，α表示折中参数，

v表示测量宽高比的一致性参数，

w^gt，h^gt代表真值框的宽和高，w，h代表预测框的宽和高。

4.根据权利要求1所述的基于注意力机制的遥感图像小样本舰船检测方法，其特征在于，所述权重共享网络包括k+1个分支，其中，k个分支用于提取k张支持图像的特征，一个分支用于提取查询图像的特征；每个所述分支均采用Yolo v5骨干网络作为特征提取器进行特征提取，输出三个不同尺度的特征图。

Images