CN114677596A - 一种基于注意力模型的遥感图像船舶检测方法和装置 - Google Patents

Abstract

本发明公开一种基于注意力模型的遥感图像船舶检测方法和装置，该方法包括：步骤一，收集船舶遥感图像，使用标注信息对图像数据集进行数据扩充；步骤二，对收集的遥感图像进行预处理，得到船舶检测模型训练使用的数据集；步骤三，将训练数据集里的图像输入到针对小尺寸目标改进过的YOLOV5注意力模型中，进行训练，得到训练好的遥感船舶检测模型；步骤四，将待检测的遥感图像裁剪，后输入到训练好的遥感船舶检测模型中，输出船舶的边界框和置信度；将所有裁剪图的边界框映射回原始遥感图像，经过置信度阈值过滤和非极大值抑制过滤重复目标后，获得最终的检测结果。本发明解决了遥感图像中船舶分布稀疏、尺寸过小导致的检测困难的问题。

Description

一种基于注意力模型的遥感图像船舶检测方法和装置

技术领域

本发明属于计算机视觉、目标检测领域，尤其涉及到一种基于注意力模型的遥感图像船舶检测方法和装置。

背景技术

近年来智能科学技术不断发展，海洋战略地位也日益提高，为了提高对于海洋的监管与控制能力，各国逐渐加大了海洋监测的研究。船舶作为海洋交通中的重要工具，对重点海域的船舶进行定位在国防、贸易等领域具有重大意义。由于船舶检测识别的场景大多在辽阔的海面，通常采用遥感卫星或者无人机航拍的手段进行图像采集。然而在遥感或者航拍场景下，采集到的图像通常会出现船舶目标过小、分布稀疏、受云层、光照等外界环境影响等问题，导致海上船舶难以识别。传统的船舶检测方法大多依靠轮廓检测、模板匹配等手段，对于遥感图像中的船舶识别效果不佳。近年来，随着计算机算力的不断爬升和人工智能的日渐成熟，深度学习技术的应用为诸多领域的发展带来了巨大的促进作用，特别是在计算机视觉领域中的图像分类、物体检测和图像分割等任务上展现出了强大的性能。目前主流的目标检测方法大多都基于深度学习方法发展而来。然而对于遥感图像中的船舶检测问题，主流的目标检测方法均表现不佳，需要进行针对性优化。在深度学习领域，优化的方向主要集中于数据和网络结构。数据，作为深度学习的驱动力，对于模型的训练至关重要。充足的训练数据不仅可以缓解模型在训练时的过拟合问题，而且可以进一步扩大参数搜索空间，帮助模型进一步朝着全局最优解优化。然而，遥感图像船舶检测任务中，海洋上的船舶分布稀疏，很难获取到充足训练样本。因此，如何通过数据增广的手段增加训练样本数量成为了解决船舶识别问题的重要方向。网络结构决定了神经网络的特性，主流的目标检测网络大多对中大尺寸的目标有更好的识别准确率，因为目标图像的尺寸直接关系到了图像的质量，更高的分辨率意味着包含更多的细节信息，有助于精确定位到目标。然而在遥感图像中，船舶目标大多是极小的目标，很难有效提取出丰富的细节信息，因此有必要针对目标检测网络进行修改，使其更专注于小目标的识别。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于注意力模型的遥感图像船舶检测方法和装置，其具体技术方案如下：

一种基于注意力模型的遥感图像船舶检测方法，包括以下步骤：

步骤一，收集船舶遥感图像，使用标注信息对遥感图像数据集进行数据扩充；

步骤二，对步骤一收集的遥感图像进行预处理，得到船舶检测模型训练使用的数据集；

步骤三，将训练数据集里的图像输入到针对小尺寸目标改进过的YOLOV5注意力模型中，进行船舶目标检测模型的训练，得到训练好的遥感船舶检测模型；

步骤四，将需要进行船舶检测的遥感图像依步骤二的方式进行裁剪，后输入到训练好的遥感船舶检测模型中，输出船舶的边界框和置信度；将所有裁剪图的边界框映射回原始遥感图像，经过置信度阈值过滤和非极大值抑制过滤重复目标后，获得最终的检测结果。

进一步地，所述步骤一具体为：收集船舶遥感图像，通过船舶标注方法标注出图像中船舶的边界框和轮廓，得到船舶轮廓的标注信息，截取出对应的船舶图片，组成船舶图片库，将船舶图片库中的图片随机挑选数张合成到遥感图像中，对每张遥感图像进行同样的合成方式得到扩充数据集。

进一步地，所述船舶标注方法为边界框标注法结合多边形分割标注法，通过找到遥感图像中船舶的位置，使用矩形边界框包络船舶，并将船舶的位置信息以边界框的中心点坐标（x,y），边界框的宽度w和长度h的格式输出为标签，在边界框内，找到船舶的几何顶点，使用点连线的方式，以不规则多边形的形式勾勒出船舶轮廓，标签格式为各定点坐标的集合{（x_i,y_i）}。

进一步地，所述扩充数据集的合成方式为使用截取出的船舶图片，在原始遥感图像中已标注的边界框之外的区域进行像素点替换，并生成新增船舶对应的边界框坐标，加入到边界框标签中，重复此操作以获得船舶扩充数据集。

进一步地，所述步骤二具体为：将数据扩充过的遥感图像裁剪成低像素的图像，并且在裁剪图边缘加入内边距作为缓冲区，对裁剪过的图像进行水平翻转、去噪、亮度增强和对比度增强处理，得到训练数据集。

进一步地，所述步骤三具体为：

将得到训练数据集中的遥感图像输入针对小尺寸目标改进过的YOLOV5注意力模型后，通过该模型的Backbone骨干网络部分提取特征，再将特征送入Neck颈部网络部分进行上采样、拼接聚合成不同尺度的特征图，最后通过Head头部网络部分回归预测获得船舶目标的边界框和置信度，其中置信度表示此边界框含有船舶目标的概率；

再使用预测得到的边界框和置信度与标注得到的真实边界框和置信度的误差，以最小平方和的形式计算损失函数，采用随机梯度下降优化算法迭代更新网络权重，以训练网络模型，得到训练好的遥感船舶检测模型。

进一步地，所述针对小尺寸目标改进过的YOLOV5注意力模型是以YOLOV5X模型作为基准，在模型的Backbone骨干网络部分使用结合了通道注意力和空间注意力的CBAM卷积中的注意力模块；Head头部网络部分在三个检测头的基础上，增加了用于检测小尺度目标的检测头；Neck颈部网络部分对应于所述Head头部网络部分的检测头结构，增加了特征图上采样的模块。

进一步地，所述边界框映射的方式是将裁剪图中边界框中心的坐标（x₁，y₁）分别加上此裁剪图左上角顶点在原图中的坐标（x₂，y₂），获得新的边界框(x₁+x₂,y₁+y₂,w,h)。

进一步地，所述置信度阈值过滤和非极大值抑制过滤的具体方式是：将经过训练好的船舶检测模型获得的所有边界框依置信度由大到小排序，从最大的边界框开始，计算此框与其他边界框的交并比IoU，过滤掉置信度低于置信度阈值t₁和交并比IoU大于NMS阈值t₂的边框，获得最终的检测结果。

一种基于注意力模型的遥感图像船舶检测装置，包括一个或多个处理器，用于实现所述的基于注意力模型的遥感图像船舶检测方法。

本发明的有益效果：

本发明考虑到遥感船舶检测应用中遇到的实际问题，在数据和网络结构层面使用多种手段提升检测效果，使用数据扩充的手段有效地增加了训练数据；将遥感图像进行裁剪，变相增大了船舶在图像中的相对尺寸，并且解决了遥感图像中船舶分布稀疏、尺寸过小导致的检测困难的问题，减少了无关信息的干扰；在网络中加入CBAM模块，使用注意力模型提取图片全局信息以提升特征图质量，实现了目标检测网络中通道注意力和空间注意力的结合增加了针对小目标的检测头，提升了对小尺寸船只检测率，具有重大的应用价值。

附图说明

图1是本发明的一种基于注意力模型的遥感图像船舶检测方法流程示意图；

图2是本发明中公开的基于小样本数据增强和注意力模型的遥感图像船舶检测方法具体的应用流程图；

图3是本发明使用的图片裁剪方法示意图；

图4是本发明使用的遥感检测模型的整体网络结构图；

图5是本发明使用的遥感检测模型的YOLOV5 Backbone骨干网络部分的网络结构图；

图6是本发明YOLOV5 Backbone骨干网络部分中使用的结合了通道注意力和空间注意力的CBAM卷积层中的注意力模块的示意图；

图7是本发明的一种基于注意力模型的遥感图像船舶检测装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。

如图1和图2所示，本发明的基于小样本数据增强和注意力模型的遥感图像船舶检测方法，包括如下步骤：

步骤一，收集船舶遥感图像，使用标注信息对遥感图像数据集进行数据扩充；

具体的，收集船舶遥感图像，通过船舶标注方法标注出图像中船舶的边界框和轮廓，得到船舶轮廓的标注信息，截取出对应的船舶图片，组成船舶图片库，将船舶图片库中的图片随机挑选数张合成到遥感图像中，对每张遥感图像进行同样的合成方式得到扩充数据集。

其中，船舶标注方法为边界框标注法结合多边形分割标注法，通过找到遥感图像中船舶的位置，使用矩形边界框包络船舶，并将船舶的位置信息以边界框的中心点坐标（x,y），边界框的宽度w和长度h的格式输出为标签，在边界框内，找到船舶的几何顶点，使用点连线的方式，以不规则多边形的形式勾勒出船舶轮廓，标签格式为各定点坐标的集合{（x_i,y_i）}。

扩充数据集的合成方式为使用截取出的船舶图片，在原始遥感图像中已标注的边界框之外的区域进行像素点替换，并生成新增船舶对应的边界框坐标，加入到边界框标签中。重复本操作以获得足量的船舶扩充数据集。

本实施例使用了25幅由北京市遥感信息研究所公开的遥感船舶图像作为训练集。使用矩形边界框和多边形分割标注船舶之后共获得168只船只样本。通过将船舶样本复制的手段，使每张遥感图像中增加到40只船舶样本，共得到1000只船舶样本作为扩充数据集。

步骤二，对步骤一收集的遥感图像进行预处理，得到船舶检测模型训练使用的数据集；

将数据扩充过的高像素遥感图像裁剪成低像素的小图，并且在裁剪图边缘加入内边距作为缓冲区，防止船舶目标被一分为二而难以识别。对裁剪过的图像进行水平翻转、去噪、亮度增强和对比度增强处理，得到训练数据集。

统计原始遥感图像尺寸的平均像素值，将其中长边的像素值记为X；统计步骤一中边界框标注得到的边界框尺寸的平均像素值，将其中长边的像素值记为Y。将32的倍数中最接近X/40的数值设定为裁剪后小图的像素值，将Y设定为裁剪的内边距。所述裁剪的方法如图3所示。

本实施例中，统计原始遥感图像尺寸的平均像素值，约20000 × 20000像素；统计步骤一中边界框标注得到的边界框尺寸的平均像素值，约为100 × 100像素。将32的倍数中最接近20000/40的数值设定为裁剪后小图的像素值，即512，将100设定为裁剪的内边距，对扩充数据集中的25幅遥感图像进行裁剪。每张遥感图像可裁剪为2500张左右的小图，合计共125000张裁剪图。对裁剪后的数据进行水平翻转，去噪，亮度增强和对比度增强等图像预处理。

步骤三，将训练数据集里的图像输入到针对小尺寸目标改进过的YOLOV5注意力模型中，进行船舶目标检测模型的训练，得到训练好的遥感船舶检测模型。

所述针对小尺寸目标改进过的YOLOV5注意力模型的网络结构如图4所示，以YOLOV5X模型作为基准，如图5所示的Backbone骨干网络部分使用结合了通道注意力和空间注意力的如图6所示的CBAM（Convolutional Block Attention Module, 卷积模块的注意力机制模块）卷积层中的注意力模块替换原有的SPP模块，加入了图像的全局信息提升输出的特征图质量；Head头部网络部分在原版的三个检测头的基础上，增加了一个专门用于检测小尺度目标的检测头，可以提升对微小船只的检测能力；Neck颈部网络部分为了配合Head头部网络部分的四头结构，增加了一个特征图上采样的模块，输出经过三次上采样而来的高分辨率、低层次的特征图，用于小尺度目标检测头的检测。

遥感图像输入模型后通过Backbone骨干网络部分提取特征，再将特征送入Neck颈部网络部分进行上采样、拼接聚合成不同尺度的特征图，最后通过Head部分回归预测获得船舶目标的边界框(x,y,w,h)和置信度c，其中置信度表示此边界框含有船舶目标的概率。

本实施例中，将通过步骤二中得到的图像分批次输入船舶目标检测模型的Backbone骨干网络部分，通过Neck颈部网络部分的上采样和特征融合，输出4个不同分辨率的特征图到Head头部网络部分，通过回归预测的手段获得船舶目标的边界框(x,y,w,h)和置信度c。使用预测得到的边界框和置信度与标注得到的真实边界框和置信度的误差，以最小平方和的形式计算损失函数，采用SGD随机梯度下降优化算法迭代更新网络权重，以32的批次大小，训练网络模型100个轮回，得到训练好的遥感船舶检测模型。

步骤四，将需要进行船舶检测的遥感图像依步骤二的手段进行裁剪，后输入到训练好的遥感船舶检测模型中，输出船舶的边界框和置信度；将所有裁剪图的边界框映射回原始遥感图像，经过置信度阈值过滤和非极大值抑制过滤重复目标后，获得最终的检测结果。

所述边界框映射具体映射的方式是将裁剪图中边界框中心的坐标（x₁，y₁）分别加上此裁剪图左上角顶点在原图中的坐标（x₂，y₂），获得新的边界框(x₁+x₂,y₁+y₂,w,h)。

所述置信度阈值过滤和非极大值抑制过滤的具体方式是：将经过训练好的船舶检测模型获得的所有边界框依置信度由大到小排序，从最大的边界框开始，计算此框与其他边界框的交并比IoU，过滤掉置信度低于置信度阈值t₁和交并比IoU大于NMS阈值（Non-Maximum Suppression，非极大值抑制）t₂的边框，获得最终的检测结果。

本实施例中，将需要进行检测的遥感图片裁剪为512 × 512像素，100像素内边距的小图。依次送入训练好的船舶检测模型，得到输出的边界框坐标和置信度。将边界框中心点的坐标加上裁剪图左上顶点在原图中的坐标以得到边界框在原图中的坐标。将遥感图上所有的边界框依照置信度由大到小排序，从最大的边界框开始，计算此框与其他边界框的交并比IoU，过滤掉置信度低于置信度阈值0.4和IoU大于NMS阈值0.5的边框，获得最终的检测结果。

其中交并比IOU的计算公式为：

IoU=Area of Overlap / Area of Union，

其中，Area of Overlap代表边界框1与边界框2的交集区域面积；

Area of Union 代表边界框1与边界框2的并集区域面积；

如下表1所示，是基于本发明上述实施例所提供的方法在23幅遥感船舶图像测试集上的表现。从上至下依次陈列了用于对照的其他基准方法与本实施例的结果，采用 F1分数作为评价指标，F1 分数定义如下：

F1=2PR／(P+R)，

其中：

R（召回率）= 检测正确的目标数量／（检测正确的数量+漏检目标的数量），

P（精确率）= 检测正确的目标数量／（检测正确目标的数量+误检目标的数量）；

说明：首先计算预测目标框和真实标记框的交并比IoU，若 IoU 值＞=0.5 则预测正确（若预测框中与真实目标框有交集的预测框有 n 个，且存在大于 IoU 阈值的检测框，那么视作正确预测该类型目标 1 个，错误预测（n-1) 个，若不存在大于 IoU 阈值的检测框记错误预测 n 个）。然后计算船只检测的精确率 P 和召回率 R，得出 F1 分数。

表1：遥感船舶图像评测指标

。

与前述一种基于注意力模型的遥感图像船舶检测方法的实施例相对应，本发明还提供了一种基于注意力模型的遥感图像船舶检测装置的实施例。

参见图7，本发明实施例提供的一种基于注意力模型的遥感图像船舶检测装置，包括一个或多个处理器，用于实现上述实施例中的基于注意力模型的遥感图像船舶检测方法。

本发明基于注意力模型的遥感图像船舶检测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明基于注意力模型的遥感图像船舶检测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于注意力模型的遥感图像船舶检测方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于注意力模型的遥感图像船舶检测方法，其特征在于，包括以下步骤：

步骤一，收集船舶遥感图像，使用标注信息对遥感图像数据集进行数据扩充；

步骤二，对步骤一收集的遥感图像进行预处理，得到船舶检测模型训练使用的数据集；

步骤三，将训练数据集里的图像输入到针对小尺寸目标改进过的YOLOV5注意力模型中，进行船舶目标检测模型的训练，得到训练好的遥感船舶检测模型；

步骤四，将需要进行船舶检测的遥感图像依步骤二的方式进行裁剪，后输入到训练好的遥感船舶检测模型中，输出船舶的边界框和置信度；将所有裁剪图的边界框映射回原始遥感图像，经过置信度阈值过滤和非极大值抑制过滤重复目标后，获得最终的检测结果。

2.如权利要求1所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述步骤一具体为：收集船舶遥感图像，通过船舶标注方法标注出图像中船舶的边界框和轮廓，得到船舶轮廓的标注信息，截取出对应的船舶图片，组成船舶图片库，将船舶图片库中的图片随机挑选数张合成到遥感图像中，对每张遥感图像进行同样的合成方式得到扩充数据集。

3.如权利要求2所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述船舶标注方法为边界框标注法结合多边形分割标注法，通过找到遥感图像中船舶的位置，使用矩形边界框包络船舶，并将船舶的位置信息以边界框的中心点坐标（x,y），边界框的宽度w和长度h的格式输出为标签，在边界框内，找到船舶的几何顶点，使用点连线的方式，以不规则多边形的形式勾勒出船舶轮廓，标签格式为各定点坐标的集合{（x_i,y_i）}。

4.如权利要求2所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述扩充数据集的合成方式为使用截取出的船舶图片，在原始遥感图像中已标注的边界框之外的区域进行像素点替换，并生成新增船舶对应的边界框坐标，加入到边界框标签中，重复此操作以获得船舶扩充数据集。

5.如权利要求2所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述步骤二具体为：将数据扩充过的遥感图像裁剪成低像素的图像，并且在裁剪图边缘加入内边距作为缓冲区，对裁剪过的图像进行水平翻转、去噪、亮度增强和对比度增强处理，得到训练数据集。

6.如权利要求5所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述步骤三具体为：

将得到训练数据集中的遥感图像输入针对小尺寸目标改进过的YOLOV5注意力模型后，通过该模型的骨干网络部分提取特征，再将特征送入颈部网络部分进行上采样、拼接聚合成不同尺度的特征图，最后通过头部网络部分回归预测获得船舶目标的边界框和置信度，其中置信度表示此边界框含有船舶目标的概率；

再使用预测得到的边界框和置信度与标注得到的真实边界框和置信度的误差，以最小平方和的形式计算损失函数，采用随机梯度下降优化算法迭代更新网络权重，以训练网络模型，得到训练好的遥感船舶检测模型。

7.如权利要求6所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述针对小尺寸目标改进过的YOLOV5注意力模型是以YOLOV5X模型作为基准，在模型的骨干网络部分使用结合了通道注意力和空间注意力的CBAM卷积中的注意力模块；头部网络部分在三个检测头的基础上，增加了用于检测小尺度目标的检测头；颈部网络部分对应于所述头部网络部分的检测头结构，增加了特征图上采样的模块。

8.如权利要求6所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述边界框映射的方式是将裁剪图中边界框中心的坐标（x₁，y₁）分别加上此裁剪图左上角顶点在原图中的坐标（x₂，y₂），获得新的边界框(x₁+x₂,y₁+y₂,w,h)。

9.如权利要求6所述的一种基于注意力模型的遥感图像船舶检测方法，其特征在于，所述置信度阈值过滤和非极大值抑制过滤的具体方式是：将经过训练好的船舶检测模型获得的所有边界框依置信度由大到小排序，从最大的边界框开始，计算此框与其他边界框的交并比IoU，过滤掉置信度低于置信度阈值t₁和交并比IoU大于NMS阈值t₂的边框，获得最终的检测结果。

10.一种基于注意力模型的遥感图像船舶检测装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-9中任一项所述的基于注意力模型的遥感图像船舶检测方法。

Images