CN113705640B - 基于遥感影像快速构建飞机检测数据集的方法 - Google Patents

Abstract

本发明公开了一种基于遥感影像快速构建飞机检测数据集的方法，包括对原始遥感影像中的飞机目标进行标注；设置对遥感影像进行裁剪的切片尺寸；对原始遥感影像中的可停放但无飞机目标区域进行标注；在可停放但无飞机目标区域中随机放置一些飞机目标贴片，并对飞机目标贴片边缘进行平滑处理；对处理后的遥感影像进行裁剪，形成遥感影像切片，裁剪过程中按比例保留没有飞机目标的负样本；对切片进行旋转、亮度调整、比例缩放的操作增加样本的多样性。本发明能够基于有限的遥感影像快速构建一定规模的检测数据集，数据集兼顾正负样本，提高了影像中负样本的利用效率，保证了样本的多样性，基于此数据集训练的模型具有较高准确率，较低的虚警率。

Description

基于遥感影像快速构建飞机检测数据集的方法

技术领域

本发明属于计算机视觉数据增强领域，尤其涉及一种基于遥感影像快速构建飞机检测数据集的方法。

背景技术

相比于文本、音频等信息，以图像形式存在的信息具有显示直观、包含信息量大的优点，对图像信息的提取是当前信息处理的一个重要方向。传统的图像信息提取方式主要为人工判读，但随着图像数量的指数级增长，人工判读的方式已经无法适应当前实际情况的需要。利用机器学习进行智能判读图像已成为目前的研究热点之一，而数据集的构建是机器学习训练模型的重要基础。

在数据集的构建过程中，一般要求样本的数量要充足，样本数量越多，训练出来的模型效果越好，模型的泛化能力越强。但是实际中，样本数量不足或者样本质量不佳的问题较为常见，这就需要对样本做数据增强，利用数据增强方法合成的数据和真实的数据相比既具有语义上的相似性，同时又能呈现出文本上的多样性，加入合成的数据后，神经网络能够更加稳定地训练(张晓峰，基于生成对抗网络的数据增强方法，计算机系统应用，2019年10月)。目前常用的传统数据增强方法有旋转、平移、缩放、随机遮挡、随机裁剪、翻转、亮度调整、噪声扰动等。

遥感影像的获取比较难，因此难以获得大量的数据集，且遥感影像画幅较大，对遥感影像数据的标注工作量大，因此需要一种数据增强方法，通过标注少量遥感影像，即可形成具有一定规模且符合模型训练需求的数据集。

遥感影像画幅较大，一张影像中飞机目标的数量不等，较少的3-5架，较多的50-60架，按照常规做法需要对影像进行切片操作，形成大量的切片，以10000x10000像素的遥感影像来说，切片尺寸为1000*1000像素，重叠区域200像素，则一张影像裁剪后生成的切片超过140张，势必会有大量的切片中没有包含目标，如果丢弃这些没有目标的切片，会造成数据浪费，尤其是机场中可停放区域中的无目标区域，是很好的训练样本，虽然这些区域在训练集影像中没有停放飞机，但在未来实际检测时极有可能停放飞机，所以提前让模型学习这些背景区域对未来模型的泛化性有较大影响。例如，专利“一种人-物交互检测数据集的构建方法”中提出了一种人物交互检测数据集的构建方法,用于解决现有技术中存在的因数据集中的图片之间缺少因果关系导致的人物动态交互检测精度较低的技术问题(谢雪梅李启越金星李科正，一种人-物交互检测数据集的构建方法，CN111191620A)。但是，如果全部保留这些切片，会造成负样本(没有包含飞机目标的切片)数量远超正样本(包含飞机目标的切片)数量，影响检测模型的训练效果。

发明内容

发明目的：本发明所要解决的技术问题是针对机器学习对数据需求量大、遥感影像检测数据标注成本高、且现有数据增强方式对负样本利用率低的问题，提供一种基于感影像快速构建飞机检测数据集的方法。

为了解决上述技术问题，本发明公开了一种基于感影像快速构建飞机检测数据集的方法，包括：

步骤S1：标注原始遥感影像中的飞机目标；利用垂直于坐标轴的矩形框标注原始遥感影像中的飞机目标，以及可停放但无目标区域，记录矩形框在影像中的坐标，形成对应的标注文件；

步骤S2：统计标注文件中用于标注原始遥感影像中飞机目标的矩形框的面积，根据最大矩形框面积设置遥感影像裁剪时的相邻切片间重叠区域面积；根据遥感影像的分辨率设置切片尺寸；

步骤S3：标注原始遥感影像中可停放但无飞机目标区域；利用垂直于坐标轴的矩形框标注原始遥感影像中可停放但无飞机目标区域，记录矩形框在影像中的坐标，形成对应的标注文件；

步骤S4：用矩形框在步骤S3标注出的可停放但无飞机目标区域内滑动，随机选择无飞机目标区域，采用贴图的方式随机放置飞机目标贴片，并采用双线性插值的方式对新放置的飞机目标贴片与背景遥感影像进行平滑处理；

步骤S5：按步骤S2中的切片尺寸以及相邻切片间重叠区域面积，对经步骤S4处理后的遥感影像进行裁剪，形成遥感影像切片；所述遥感影像切片中包含有飞机目标的正样本，以及没有飞机目标的负样本；按比例保留负样本，形成包含负样本的数据集；

步骤S6：对数据集中的切片进行旋转、等比例缩放、亮度调整，用来增强样本的多样性。

进一步地，用矩形标注框的左上角和右下角的坐标表示原始遥感影像中所有的飞机目标以及可停放但无飞机目标区域，形成的对应标注文件示例如下：

{type:’xx飞机’,XY:[x1,y1,x2,y2]}

{type:’可停放但无飞机目标区域’,XY:[x3,y3,x4,y4]}

其中，“xx飞机”用于记录飞机目标的类型，x1、x3为矩形标注框左上角横坐标，y1、y3为矩形标注框左上角纵坐标，x2、x4为矩形标注框右下角横坐标，y2、y4为矩形标注框右下角纵坐标。

进一步地，所述步骤S2中，统计标注文件中用于标注原始遥感影像中飞机目标的矩形框的最大面积，记为L，将切片的重叠区域设置为[L/10+1]*10。

进一步地，所述步骤S2中，根据遥感影像的分辨率设置切片尺寸：

(1)当遥感影像分辨率优于0.3米，裁剪切片设为1000×800像素；

(2)当遥感影像分辨率介于0.3米至0.5米，裁剪切片设为800×600像素；

(3)当遥感影像分辨率不到0.5米，裁剪切片设为600×400像素。

进一步地，所述步骤S3包括：

步骤S31：通过遥感影像的分辨率α和用于标注飞机目标的最大矩形框面积L计算可停放但无飞机目标区域的最小面积K，K＝[L/α]+20，其中，[]表示高斯取整；

步骤S32：依次打开所有遥感影像，用矩形框标注出该遥感影像上的可停放但无飞机目标区域，并记录这些区域的位置，形成对应的标注文件。

更进一步的，所述步骤S32中，用矩形框标注遥感影像上的可停放但无飞机目标区域，包括：

(1)在该遥感影像上所有可停放但无飞机目标的区域内，采用最大面积矩形框S标注一个矩形可停放但无飞机目标区域；

(2)比较当前标注区域S与步骤S31中计算出的飞机目标区域的最小面积K，若 S小于K，则结束该遥感影像的标注；若S不小于K，则形成对应标注文件；

(3)去除该遥感影像上所有可停放但无飞机目标的区域内已标记的矩形可停放但无飞机目标区域，转入(1)。

更进一步的，所述最大面积矩形框S，在执行完步骤(3)后，根据当前可停放但无飞机目标区域，重新设置面积。

进一步地，所述步骤S4包括：

步骤S41：设置滑动窗口的大小；

步骤S42：从标注文件中读取原始遥感影像中所有的可停放但无飞机目标区域；

步骤S43：使滑动窗口在经步骤S42读取的区域内滑动，随机选择若干个滑动窗口大小的区域；

步骤S44：从原始遥感影像中随机裁剪对应数量的真实飞机目标，形成飞机目标贴片，粘贴至步骤S43选中的区域中；

步骤S45：采用双线性插值的方式对步骤S44中获得的新放置的飞机目标贴片与背景遥感影像进行平滑处理。

步骤S46：重复上述步骤S43-S45，直到可停放但无飞机目标区域区域内不再有可停放但无飞机目标区域或者粘贴飞机目标贴片数量达到预设上限。

进一步地，所述步骤S41中，通过设置不同的滑动窗口大小来控制贴片目标的稀疏度，滑动窗口越大，新增的贴片目标越少，滑动窗口越小，新增的贴片目标越多。

进一步地，所述步骤S45具体为：

(1)选择贴片与背景相接的6个像素点，其中贴片上3个像素点，背景上3个像素点；

(2)采用双线性插值方式依次计算每一行、每一列贴片与背景相邻处的6个点的像素值。

进一步地，所述步骤S5包括：

步骤S51：对经步骤S4处理后的遥感影像进行裁切，分别存放包含飞机目标的切片和没有飞机目标的切片，同时生成与切片对应的标注文件，并将包含飞机目标的切片全部放入数据集中；

步骤S52：统计数据集中包含飞机目标的切片数量，记为N；从没有飞机目标的切片中随机挑选N/4个切片，加入数据集；若没有飞机目标的切片总数不足N/4，则全选。

进一步地，所述步骤S6中，对切片进行旋转、亮度调整、比例缩放的操作增加样本的多样性，缩放比例为0.8～1.2；根据生成的数据集规模以及再次扩充需求，可以选择0次，1次或多次亮度调整和等比例缩放操作。

有益效果：针对上述难题，本方法在数据增强时采用了在可停放区域中的无目标区域中随机粘贴目标的方式和按一定比例随机保留不包含飞机目标的切片(负样本) 的方式，既可以扩充数据集，增加训练样本的多样性，也能让检测模型较好的学习负样本的特征，从而能提高检测模型的学习效果，提高检测准确率。该方法相比于现有技术有以下几个优点：

(1)原始遥感影像标注时，按照目标实际边界标注，此标注既可以用于训练飞机检测模型，也可以用于构建分类数据集训练分类模型，没有增加额外的标注工作量；

(2)采用在可停放区域中的无目标区域中随机粘贴目标的方式，并对粘贴的目标进行平滑处理，可以大幅提升影像数据的利用效率，尤其是机场中可停放区域中的无目标区域，可以让数据集更广泛的包含这些区域，充分供模型学习；

(3)采用按比例随机保留负样本的方式，能让检测模型更好的学习负样本的特征，从而能提高检测模型的学习效果，降低虚警率。

附图说明

图1是本发明中基于遥感影像快速构建飞机检测数据集流程图示意图；

图2是本发明中飞机目标标注示例示意图；

图3是本发明中标记可停放但无目标区域示意图；

图4是本发明中在无目标区域中随机粘贴飞机目标后的效果示意图；

图5是本发明个对新放置的飞机目标贴片与背景遥感影像进行平滑处理过程中，像素点的选择示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做更进一步的具体说明。

如图1所示，本发明提供一种基于遥感影像快速构建飞机检测数据集的方法，包括：

步骤S1：标注原始遥感影像中的飞机目标，利用垂直于坐标轴的矩形框标注原始遥感影像中的飞机目标，记录矩形框在影像中的坐标，形成相应的标注文件；

如图2所示，记录矩形框在影像中的坐标，形成相应的标注文件，标注文件如下：

{type:’飞机型号1’,XY:[57,141,160,241]，

type:’飞机型号1’,XY:[428,117,539,230]}；

步骤S2：统计标注文件中用于标注原始遥感影像中飞机目标的矩形框的面积，将统计到的最大标注框面积记为L；

根据最大矩形框面积L设置遥感影像裁剪时的相邻切片间重叠区域面积为 [L/10+1]*10；

根据遥感影像的分辨率设置切片尺寸，设置方法如下：

(1)当遥感影像分辨率优于0.3米，裁剪切片设为1000×800像素；

(2)当遥感影像分辨率介于0.3米至0.5米，裁剪切片设为800×600像素；

(3)当遥感影像分辨率不到0.5米，裁剪切片设为600×400像素。

步骤S3：标注原始遥感影像中可停放但无飞机目标区域；利用垂直于坐标轴的矩形框标注原始遥感影像中可停放但无飞机目标区域，记录矩形框在影像中的坐标，形成对应的标注文件，包括：

步骤S31：通过遥感影像的分辨率α和用于标注飞机目标的最大矩形框面积L计算可停放但无飞机目标区域的最小面积K，K＝[L/α]+20，其中，[]表示高斯取整；

步骤S32：依次打开所有遥感影像，用矩形框标注出该遥感影像上的可停放但无飞机目标区域，并记录这些区域的位置，形成对应的标注文件，具体为：

(1)在该遥感影像上所有可停放但无飞机目标的区域内，采用最大面积矩形框S标注一个矩形可停放但无飞机目标区域；

(2)比较当前标注区域S与步骤S31中计算出的飞机目标区域的最小面积K，若 S小于K，则结束该遥感影像的标注；若S不小于K，则形成对应标注文件；

如图3所示，记录矩形框在影像中的坐标，形成相应的标注文件，标注文件如下：

{type:’可停放但无飞机目标区域’,XY:[16,252,650,445]}；

(3)去除该遥感影像上所有可停放但无飞机目标的区域内已标记的矩形可停放但无飞机目标区域，转入(1)。

其中，所述最大面积矩形框S，在执行完步骤(3)后，根据当前可停放但无飞机目标区域，重新设置面积。

步骤S4：用矩形框在步骤S3标注出的可停放但无飞机目标区域内滑动，随机选择无飞机目标区域，采用贴图的方式随机放置飞机目标贴片，并采用双线性插值的方式对新放置的飞机目标贴片与背景遥感影像进行平滑处理，包括：

步骤S41：设置滑动窗口的大小；通过设置不同的滑动窗口大小来控制贴片目标的稀疏度，滑动窗口越大，新增的贴片目标越少，滑动窗口越小，新增的贴片目标越多；

步骤S42：从标注文件中读取原始遥感影像中所有的可停放但无目标区域；

步骤S43：使滑动窗口在经步骤S42读取的区域内滑动，随机选择若干个滑动窗口大小的区域；

步骤S44：从原始遥感影像中随机裁剪对应数量的真实飞机目标，形成飞机目标贴片，粘贴至步骤S43选中的区域中，如图4所示，并生成对应标注文件，示例如下：

{type:’飞机型号1’,XY:[57,141,160,241]，

type:’飞机型号1’,XY:[428,117,539,230]，

type:’飞机型号1’,XY:[297,320,424,528]}；

步骤S45：采用双线性插值的方式对步骤S44中获得的新放置的飞机目标贴片与背景遥感影像进行平滑处理，包括：

(1)选择贴片与背景相接的6个像素点，其中贴片上3个像素点，背景上3个像素点；如图5所示，中间灰色区域为贴片，其余为背景，以某一行为例，选取的相邻6 个像素点为B、C、D、E、F、G。其中B、C、D三个点在背景图片上，E、F、G三个点在贴片上；A、H分别为B、G相邻的点，M、N和P、Q分别是A、H相邻的点，记这些点的像素值分别为f(A),f(B),…,f(H),f(M),f(N),f(P),f(Q)；

(2)根据M、N、P、Q的像素值重新计算B、C、D、E、F、G的像素值，计算公式如下：

依次计算每一行、每一列贴片与背景相邻处的6个点的像素值。

步骤S46：重复上述步骤S43-S45，直到可停放但无飞机目标区域区域内不再有可停放但无飞机目标区域或者粘贴飞机目标贴片数量达到预设上限；例如，可将粘贴飞机目标贴片数量上限设为原始目标数量的30％。

步骤S5：按步骤S2中的切片尺寸以及相邻切片间重叠区域面积，对经步骤S4处理后的遥感影像进行裁剪，形成遥感影像切片；所述遥感影像切片中包含有飞机目标的正样本，以及没有飞机目标的负样本；按比例保留负样本，形成包含负样本的数据集；具体为：

步骤S51：对经步骤S4处理后的遥感影像进行裁切，分别存放包含飞机目标的切片和没有飞机目标的切片，同时生成与切片对应的标注文件，并将包含飞机目标的切片全部放入数据集中；

步骤S52：统计数据集中包含飞机目标的切片数量，记为N；从没有飞机目标的切片中随机挑选N/4个切片，加入数据集；若没有飞机目标的切片总数不足N/4，则全选。

步骤S6：对数据集中的切片进行旋转、等比例缩放、亮度调整，用来增强样本的多样性；缩放比例为0.8～1.2，且根据生成的数据集规模以及再次扩充需求，可以选择 0次，1次或多次亮度调整和等比例缩放操作。

实施例

原始数据集中共有32张遥感影像，影像分辨率为0.5m，影像大小介于6000×6000像素与15000×15000像素之间，单张遥感影像上飞机目标数量最少的4个目标，最多的57个目标，一共有飞机目标748个目标。

根据遥感影像的分辨率设置切片尺寸为600×400像素，切片的重叠区域150像素。

若直接切片，包含飞机目标的切片数量为583张。按照80％和20％的比例设置训练集和测试集。

在数据增强策略上分别对保留负样本、在可停放但无目标区域内粘贴目标以及是否采用双线性插值方式进行平滑处理等三种策略进行消融实验；旋转、亮度调整、比例缩放等常规操作默认都采用，不做消融实验。

构建飞机目标检测神经网络模型，在上述数据增强方法下开展目标检测实验；本实验室将所有飞机目标看作一个类别，实验结果如下表所示，其中map是在IOU为0.5 情况下计算。

实验数据表明：(1)采用了保留负样本的策略后，模型的检测精准会有所提升；(2)如果仅采用在可停放但无目标区域内粘贴目标，而不进行双线性插值平滑处理，检测精度会有小幅提升，而结合了平滑处理后，提升幅度会明显提升；(3)同时采用三种策略后，可以大幅提升模型的检测精度。

本发明提供了一种基于遥感影像快速构建飞机检测数据集的方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.基于遥感影像快速构建飞机检测数据集的方法，其特征在于，包括：

步骤S1：标注原始遥感影像中的飞机目标；利用垂直于坐标轴的矩形框标注原始遥感影像中的飞机目标，记录矩形框在影像中的坐标，形成对应的标注文件；

步骤S2：统计标注文件中用于标注原始遥感影像中飞机目标的矩形框的面积，根据最大矩形框面积设置遥感影像裁剪时的相邻切片间重叠区域面积；根据遥感影像的分辨率设置切片尺寸；

步骤S3：标注原始遥感影像中可停放但无飞机目标区域；利用垂直于坐标轴的矩形框标注原始遥感影像中可停放但无飞机目标区域，记录矩形框在影像中的坐标，形成对应的标注文件；

步骤S4：用矩形框在步骤S3标注出的可停放但无飞机目标区域内滑动，随机选择无飞机目标区域，采用贴图的方式随机放置飞机目标贴片，并采用双线性插值的方式对新放置的飞机目标贴片与背景遥感影像进行平滑处理；

步骤S5：按步骤S2中的切片尺寸以及相邻切片间重叠区域面积，对经步骤S4处理后的遥感影像进行裁剪，形成遥感影像切片；所述遥感影像切片中包含有飞机目标的正样本，以及没有飞机目标的负样本；按比例保留负样本，形成包含负样本的数据集；

步骤S6：对数据集中的切片进行旋转、等比例缩放、亮度调整，用来增强样本的多样性。

2.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，用垂直于坐标轴的矩形框标注原始遥感影像中所有的飞机目标以及可停放但无飞机目标区域，形成的标注文件中，飞机目标的位置以及可停放但无飞机目标区域的位置用矩形框左上角与右下角的坐标表示。

3.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S2中，统计标注文件中用于标注原始遥感影像中飞机目标的矩形框的最大面积，记为L，将切片的重叠区域设置为[L/10+1]*10。

4.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S2中，根据遥感影像的分辨率α设置切片尺寸的方法如下：

(1)当遥感影像分辨率α优于0.3米，裁剪切片设为1000×800像素；

(2)当遥感影像分辨率α介于0.3米至0.5米，裁剪切片设为800×600像素；

(3)当遥感影像分辨率α不到0.5米，裁剪切片设为600×400像素。

5.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S3包括：

步骤S31：通过遥感影像的分辨率α和用于标注飞机目标的最大矩形框面积L计算可停放但无飞机目标区域的最小面积K，K＝[L/α]+20，其中，[]表示高斯取整；

步骤S32：依次打开所有遥感影像，用矩形框标注出该遥感影像上的可停放但无飞机目标区域，并记录这些区域的位置，形成对应的标注文件。

6.根据权利要求5所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S32中，用矩形框标注遥感影像上的可停放但无飞机目标区域，包括：

(1)在该遥感影像上所有可停放但无飞机目标的区域内，采用最大面积矩形框S标注一个矩形可停放但无飞机目标区域；

(2)比较当前标注区域S与步骤S31中计算出的飞机目标区域的最小面积K，若S小于K，则结束该遥感影像的标注；若S不小于K，则形成对应标注文件；

(3)去除该遥感影像上所有可停放但无飞机目标的区域内已标记的矩形可停放但无飞机目标区域，转入(1)。

7.根据权利要求6所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述最大面积矩形框S，在执行完步骤(3)后，根据当前可停放但无飞机目标区域，重新设置面积。

8.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S4包括：

步骤S41：设置滑动窗口的大小；

步骤S42：从标注文件中读取原始遥感影像中所有的可停放但无飞机目标区域；

步骤S43：使滑动窗口在步骤S42读取的区域内滑动，随机选择若干个滑动窗口大小的区域；

步骤S44：从原始遥感影像中随机裁剪对应数量的真实飞机目标，形成飞机目标贴片，粘贴至步骤S43选中的区域中；

步骤S45：采用双线性插值的方式对步骤S44中获得的新放置的飞机目标贴片与背景遥感影像进行平滑处理；

步骤S46：重复上述步骤S43-S45，直到可停放但无飞机目标区域内不再有可停放但无飞机目标区域或者粘贴飞机目标贴片数量达到预设上限。

9.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S5包括：

步骤S51：对经步骤S4处理后的遥感影像进行裁切，分别存放包含飞机目标的切片和没有飞机目标的切片，同时生成与切片对应的标注文件，并将包含飞机目标的切片全部放入数据集中；

步骤S52：统计数据集中包含飞机目标的切片数量，记为N；从没有飞机目标的切片中随机挑选N/4个切片，加入数据集；若没有飞机目标的切片总数不足N/4，则全选。

10.根据权利要求1所述的基于遥感影像快速构建飞机检测数据集的方法，其特征在于，所述步骤S6中，根据生成的数据集规模以及再次扩充需求，选择0次，1次或多次亮度调整和等比例缩放操作。