CN113610024A - 一种多策略的深度学习遥感影像小目标检测方法 - Google Patents

Abstract

一种多策略的深度学习遥感影像小目标检测方法：对每一个遥感影像中的目标进行标注，制作样本，将小目标复制到遥感图像样本其它位置，整体构成小目标检测样本集；将深度学习目标检测框架作为目标检测模型，利用遥感影像典型目标检测样本集对目标检测模型进行训练，再构建并利用小目标检测复合样本集对训练后的目标检测模型进行微调训练，在微调训练过程中通过增加包含小目标样本的训练采样频率、增加32像素尺度锚点的数量措施进行训练；利用微调训练完成的目标检测模型对遥感影像进行目标检测，建立被测遥感影像多尺度金字塔、增加32像素尺度锚点的数量、降低32像素尺度候选区确认的IoU阈值至0.5。本发明提高小目标检测的准确率。

Description

一种多策略的深度学习遥感影像小目标检测方法

技术领域

本发明涉及一种遥感影像目标检测识别技术。特别是涉及一种多策略的深度学习遥感影像小目标检测方法。

背景技术

在遥感影像目标检测领域中可以进行小目标检测的方法主要有如下几种，但它们在准确性和鲁棒性上均存在某些缺陷：

(1)基于手工特征构建的小目标检测算法，先在输入的原始图像上寻找可能存在目标的区域，然后对每一个区域进行特征提取，并送入分类器模型进行判断，最后分类器模型认为是目标的区域进行筛选等后处理操作从而得到结果。由于缺乏有效的图像表示，人们别无选择，只能设计复杂的特征表示，并使用各种加速技术来耗尽有限的计算资源。

(2)基于多尺度深度学习的小目标检测方法，在一个卷积神经网络中，低层的特征往往能很好的表示图像的纹理、边缘等细节信息，而高层特征往往能很好的表示图像的语义信息，但是相应的随着卷积池化的进行也会忽略掉一些细节信息。针对这一因素，研究人员引入多尺度的思想，提出了DSSD算法，在每一个尺度提取的特征图上都进行预测，对小目标的检测相比于YOLO算法有较好的提升，由于DSSD引入了ResNet模型，有着更为复杂的残差连接和横向连接，并且在模型中的预测模块和反卷积模块添加了额外层，引入额外开销，导致DSSD算法在预测速度较慢。

(3)基于超分辨率的小目标检测方法，由于小目标在图像中所占像素少、分辨率低，所以小目标检测的另一种直接方法是生成高分辨率图像作为检测模型的输入。虽然这样提升了输入图像的分辨率有益于小目标的检测，但也带来了其他问题，超分辨率模型与检测模型是相互独立训练的，经由超分辨率模型生成的高分辨率输入图像中也包括无需检测以及对检测不必要的对象和因素，而输入图像分辨率的增加使得整体架构的过分沉重，模型的训练和预测时间都会大幅增加，同时超分辨率会增加一些可能是错误的目标细节，降低了在实际应用的可能性。

发明内容

本发明所要解决的技术问题是，提供一种具有效率高、鲁棒性能好、准确率高等特点，适合用于遥感小目标检测识别等领域的多策略的深度学习遥感影像小目标检测方法。

本发明所采用的技术方案是：一种多策略的深度学习遥感影像小目标检测方法，包括如下步骤：

1)对每一个遥感影像中的目标进行标注，制作样本，将小目标复制到遥感图像样本其它位置，整体构成小目标检测样本集；

2)将深度学习目标检测框架作为目标检测模型，对该模型进行训练，利用遥感影像典型目标检测样本集对目标检测模型进行训练，再构建并利用小目标检测复合样本集对训练后的目标检测模型进行微调训练，在微调训练过程中通过增加包含小目标样本的训练采样频率、增加32像素尺度锚点的数量措施进行训练；

3)利用微调训练完成的目标检测模型对遥感影像进行目标检测，通过建立被测遥感影像多尺度金字塔、增加32像素尺度锚点的数量、降低32像素尺度候选区确认的IoU阈值至0.5，提高小目标检测的准确率。

本发明的一种多策略的深度学习遥感影像小目标检测方法，克服了现有方法中小目标检测准确率不高、计算耗时大等问题，改善了遥感影像小目标检测的性能，具有较好的实际应用和精准检测的性能，能够满足遥感影像智能解译、场景理解、小目标检测识别的应用要求。可用于遥感影像智能解译、遥感影像场景理解、对地侦察、精确打击等应用场景。

附图说明

图1是本发明一种多策略的深度学习遥感影像小目标检测方法的流程图；

图2是本发明中小目标抠图复制示意图；

图3是本发明中小目标检测训练示意图；

图4是本发明中小目标检测运行示意图；

图5是本发明中小目标标检测效果对比图。

具体实施方式

下面结合实施例和附图对本发明的一种多策略的深度学习遥感影像小目标检测方法做出详细说明。

如图1所示，本发明的一种多策略的深度学习遥感影像小目标检测方法，包括如下步骤：

1)对每一个遥感影像中的目标进行标注，制作样本，将小目标复制到遥感图像样本其它位置，整体构成小目标检测样本集；具体流程图如图2所示，包括：

(1.1)对每一个遥感影像中的目标进行标注，制作初始样本，包括目标的位置和类别；

(1.2)判断目标大小，小于25*25像素的目标为小目标；

(1.3)在含有小目标的样本图像中，将没有与其他任何目标重叠的小目标抠出，随机复制到该样本图像中的其它位置，并确保不遮挡其它已标注的目标，且被复制的小目标的边缘与其他目标边缘相差5像素以上，从而构成小目标检测样本集。

2)将深度学习目标检测框架作为目标检测模型，对该模型进行训练，利用遥感影像典型目标检测样本集对目标检测模型进行训练，所述的遥感影像典型目标检测样本集采用DIOR样本集或是LEVIR样本集或是DOTA样本集。再构建并利用小目标检测复合样本集对训练后的目标检测模型进行微调训练，在微调训练过程中通过增加包含小目标样本的训练采样频率、增加32像素尺度锚点的数量措施进行训练；具体流程图如图3所示，包括：

(2.1)利用遥感影像典型目标检测样本集对由深度学习目标检测框架构成目标检测模型进行训练，所述的深度学习目标检测框架采用Fast-RCNN或是Faster-RCNN或是FPN；

(2.2)构建小目标检测复合样本集，包括所述的小目标检测样本集，以及从遥感影像典型目标检测样本集中得到的含有小目标的样本集，所述含有小目标的样本集判断的标准为每一张图像中包含有小于80*80的目标即纳入含有小目标的样本集；

(2.3)利用小目标检测复合样本集对训练后的目标检测模型进行微调训练，训练过程中对含有小于25*25目标的样本增加采样频率，同时，对于候选区域选取过程中的锚点，增加32像素尺度的锚点数量。

3)利用微调训练完成的目标检测模型对遥感影像进行目标检测，通过建立被测遥感影像多尺度金字塔、增加32像素尺度锚点的数量、降低32像素尺度候选区确认的IoU阈值至0.5，提高小目标检测的准确率；具体流程图如图4所示，包括：

(3.1)对被检测遥感影像进行多尺度重建，包括两个尺度的下采样和两个尺度的上采样和未进行采样的被检测遥感影像；

(3.2)对5个尺度的被检测遥感影像均采用微调训练完成的目标检测模型进行目标检测，同时，增加32像素尺度的锚点数量；

(3.3)在32像素尺度下选择的候选区的IoU阈值大于0.3则认为是目标区域，其他尺寸候选区IoU阈值大于0.5则认为是目标区域；

(3.4)将所有尺度获得的目标区进行合并，形成最终的目标检测结果。

在具体实施过程中，利用未经过训练学习的包含有小目标的遥感影像进行测试，对比世界主流的遥感小目标检测方法，表1为对比的结果，图5为典型的检测结果对比图。通过对比实验可以看出，本发明的方法在遥感影像小目标检测的位置精准度、检测准确率等方面性能较好，更加适应于遥感影像小目标检测的应用场景。

表1遥感影像小目标检测结果对比表

小目标检测方法	平均准确率(％)
		FPN+Faster RCNN	78.2
YOLO v4	82.4
		本发明方法	93.1

Claims (5)

1.一种多策略的深度学习遥感影像小目标检测方法，其特征在于，包括如下步骤：

1)对每一个遥感影像中的目标进行标注，制作样本，将小目标复制到遥感图像样本其它位置，整体构成小目标检测样本集；

2)将深度学习目标检测框架作为目标检测模型，对该模型进行训练，利用遥感影像典型目标检测样本集对目标检测模型进行训练，再构建并利用小目标检测复合样本集对训练后的目标检测模型进行微调训练，在微调训练过程中通过增加包含小目标样本的训练采样频率、增加32像素尺度锚点的数量措施进行训练；

3)利用微调训练完成的目标检测模型对遥感影像进行目标检测，通过建立被测遥感影像多尺度金字塔、增加32像素尺度锚点的数量、降低32像素尺度候选区确认的IoU阈值至0.5，提高小目标检测的准确率。

2.根据权利要求1所述的一种多策略的深度学习遥感影像小目标检测方法，其特征在于，步骤1)包括：

(1.1)对每一个遥感影像中的目标进行标注，制作初始样本，包括目标的位置和类别；

(1.2)判断目标大小，小于25*25像素的目标为小目标；

(1.3)在含有小目标的样本图像中，将没有与其他任何目标重叠的小目标抠出，随机复制到该样本图像中的其它位置，并确保不遮挡其它已标注的目标，且被复制的小目标的边缘与其他目标边缘相差5像素以上，从而构成小目标检测样本集。

3.根据权利要求1所述的一种多策略的深度学习遥感影像小目标检测方法，其特征在于，步骤2)包括：

(2.1)利用遥感影像典型目标检测样本集对由深度学习目标检测框架构成目标检测模型进行训练，所述的深度学习目标检测框架采用Fast-RCNN或是Faster-RCNN或是FPN；

(2.2)构建小目标检测复合样本集，包括所述的小目标检测样本集，以及从遥感影像典型目标检测样本集中得到的含有小目标的样本集，所述含有小目标的样本集判断的标准为每一张图像中包含有小于80*80的目标即纳入含有小目标的样本集；

(2.3)利用小目标检测复合样本集对训练后的目标检测模型进行微调训练，训练过程中对含有小于25*25目标的样本增加采样频率，同时，对于候选区域选取过程中的锚点，增加32像素尺度的锚点数量。

4.根据权利要求1或2所述的一种多策略的深度学习遥感影像小目标检测方法，其特征在于，所述的遥感影像典型目标检测样本集采用DIOR样本集或是LEVIR样本集或是DOTA样本集。

5.根据权利要求1所述的一种多策略的深度学习遥感影像小目标检测方法，其特征在于，步骤3)包括：

(3.1)对被检测遥感影像进行多尺度重建，包括两个尺度的下采样和两个尺度的上采样和未进行采样的被检测遥感影像；

(3.2)对5个尺度的被检测遥感影像均采用微调训练完成的目标检测模型进行目标检测，同时，增加32像素尺度的锚点数量；

(3.3)在32像素尺度下选择的候选区的IoU阈值大于0.3则认为是目标区域，其他尺寸候选区IoU阈值大于0.5则认为是目标区域；

(3.4)将所有尺度获得的目标区进行合并，形成最终的目标检测结果。

Images