CN112613350A - 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法 - Google Patents

Abstract

一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，包括构建训练数据集并对训练数据集进行预处理，搭建用于高分辨率光学遥感图像飞机检测的目标检测网络，得到预训练好的光学遥感图像飞机目标检测网络，构建微调训练数据集，进而对预训练好的目标检测网络进行微调训练，得到训练好的光学遥感图像飞机目标检测网络，构建测试数据集，利用训练好的光学遥感图像飞机目标检测网络对测试数据集进行检测；本发明提供的方法，能提高遥感图像目标检测的准确度。

Description

一种基于深度神经网络的高分辨率光学遥感图像飞机目标检 测方法

技术领域

本发明属于图像识别技术领域。更具体地说，本发明涉及一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法。

背景技术

随着计算机技术的发展和硬件性能的提升，深度神经网络逐渐在多个领域取得进展；深度神经网络是一种建立模拟人脑进行分析学习的神经网络，并模仿人脑的机制来解释数据的机器学习技术，是机器学习的一个重要分支；通过模仿人脑神经层模型结构可以学习不同层次的特征，组合低层次特征最后得到抽象的高层次特征，由多个非线性映射层组成的深度神经网络拥有强大的函数表达能力。

随着遥感技术的快速发展，高分辨率光学遥感影像数据不断丰富，高分辨率光学遥感影像有着丰富的空间信息以及清晰的几何结构和纹理信息,可以对一些遥感目标进行精确识别；遥感目标检测是指在遥感图像中找到兴趣目标的具体位置并识别其类别；飞机是一种重要的军事战略目标,对光学遥感图像中的飞机目标进行检测,在军用和民用领域都有着重要的意义；但是遥感图像中存在的背景、光照及纹理变化等因素严重影响分类器性能，光学遥感图像中的飞机目标受到噪声、气候、光照强度、阴影和遮挡等因素干扰,会对目标内部细节的结构和纹理信息产生影响,给高分辨率图像中的目标检测带来较大的挑战,从而影响检测准确率。

基于深度神经网络的目标检测方法在近几年来发展迅猛，其旨在从图像中定位感兴趣的区域，准确判断每个区域中目标的类别，并给出每个目标的边界框；这种基于端到端的训练，将目标的特征提取、特征选择和特征分类融合在同一模型中，实现了性能与效率的整体优化，在遥感方面也得到应用；在海量的遥感数据中，深度神经网络的神经网络可以提取出检测目标物体最有效的特征，提高了目标检测的效率和准确率。

发明内容

本发明的目的是要提供一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，以提高对遥感图像中较小型的飞机目标的检测性能。

一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，包括以下步骤：

步骤S1：构建并预处理训练数据集：利用数据增强的方法构建训练数据集并对训练数据集进行预处理；

步骤S2：搭建目标检测网络：搭建基于YOLOv3的针对遥感图像小目标检测而改进的目标检测网络；

步骤S3：预训练目标检测网络；

步骤S4：构建微调训练数据集；

步骤S5：对预训练好的目标检测网络进行微调训练；

步骤S6：构建测试数据集；

步骤S7：利用训练好的目标检测网络对测试数据集进行检测。

进一步地，步骤S1中，数据集图片的预处理为通过滑动窗口式的方法，对图片与标注框进行裁剪，并对DOTA数据集进行初步扩充操作。

进一步地，步骤S1中，数据增强的方法包括对数据集图片的多种变化操作：多角度的旋转、水平翻转与垂直翻转、缩放、色彩抖动、对比度调节、亮度调整、噪声扰动以及模糊滤波。

进一步地，步骤S2中，所述搭建的目标检测网络，具体为：

目标检测网络为基于YOLOv3的针对遥感图像小目标检测而改进的目标检测网络，其主干特征提取网络为基于Darknet-53的特征提取网络：首先取消按13×13大小划分的特征层的提取，删减了大型尺度的特征，接着加入具有更加细微特征的按104×104大小划分的特征层的提取，提高了网络对尺度小而分布密集的目标的检测能力，最后在较浅的特征层里增加了卷积层和残差层的数量，以提高下面深层特征层的细粒度；在特征提取网络后面添加卷积层与上采样层的组合作为预测网络；

进一步地，步骤S3中，所述预训练的过程中，训练数据集中的图片样本被缩放为416×416大小后，分批进入目标检测网络中进行逻辑回归预测训练。

进一步地，步骤S4中，所述构建微调训练数据集，具体为：

首先通过Google Earth人工截取图像采集到合适分辨率的RGB三通道彩色遥感数据集，然后借助开源工具LabelImg手动标注待检测目标物边框用于目标检测，最后随机选取80％的数据集作为微调训练数据集，其余作为步骤S6的测试数据集。

进一步地，步骤S5中，所述对预训练好的目标检测网络进行微调训练中，在冻结网络较浅的大部分层后，仅开放后面较深的层在微调训练数据集上微调网络模型，并得到最终的模型文件；微调训练在训练过程中加快模型收敛的同时还能避免由于训练数据集过少而引起的过拟合问题，使训练出的网络具有更好的泛化能力。

进一步地，步骤S7中，在所述利用训练好的目标检测网络对测试数据集进行检测中，通过结合深层语义信息与浅层语义信息的多尺度跨层检测，对按不同大小划分的特征层的独立预测，提高了对小目标的检测精度，具体为：

利用步骤S5中微调训练好的目标检测网络和步骤S6中构建好的测试数据集进行端到端的目标检测：

(1)边界框的预测：利用预测相对位置的方法预测出边界框中心点的相对坐标，使用逻辑回归预测每个边界框具体类别的得分；

(2)类别预测：使用多个独立的Logistic分类器完成分类，使用二分交叉熵作为损失函数；

(3)多尺度预测：利用尺度融合的方式，结合深层语义信息与浅层语义信息，从三种不同尺度的特征层上进行预测；对倒数第一个特征层的输出进行5次卷积处理后，一部分继续做2次卷积处理得到第一个特征图谱，做第一次预测，一部分经过1次卷积处理和上采样处理与倒数第二个特征层的输出结合并先后进行5次和2次卷积处理后得到第二个特征图谱，做第二次预测；对经过5次卷积处理的与倒数第二个特征层的输出结合的输出进行1次卷积处理和上采样处理并与倒数第三个特征层的输出结合进行7次卷积处理得到第三个特征图谱，做第三次预测；

(4)在进行得分排序与非极大抑制筛选掉绝大多数多余的边界框后后得到最终的预测结果。

本发明的有益效果是：

本发明对YOLOv3目标检测网络进行了改进并应用在飞机遥感图像的检测中，通过数据增强的方法构建训练数据集并对训练数据集进行预处理，数据增强的方法扩充了训练数据集，避免了训练数据集样本少而导致的过拟合的问题，使训练出的网络具有更好的泛化能力，图像预处理可以提高图像的质量，以便后续提取目标稳定的特征；目标检测网络的主干特征提取网络对Darknet-53网络进行了改进，提高了网络对尺度小而分布密集的目标的检测能力；对目标检测网络进行了迁移学习，用训练数据集中的样本对搭建的目标检测网络进行预训练后再转移到微调训练数据集中进行微调训练，模型的收敛速度大大加快，能得到较好的精度。

附图说明

图1是本发明的流程示意图

图2是本发明中用数据增强的方法得到的训练数据集样本示意图

图3是本发明中提出的改进的YOLOv3网络结构示意图

图4是本发明YOLOv3网络中Darknetconv2d_BN_Leaky结构

图5是本发明预训练目标检测网络过程中loss值的变化折线图

图6是本发明微调训练目标检测网络过程中loss值的变化折线图

图7是本发明训练好的目标检测网络对较大型飞机目标检测效果的示意图

图8是本发明训练好的目标检测网络对较小且密集的飞机目标检测效果的示意图

具体实施方式

现结合实例和说明书附图，对本发明实例中的技术方案进行进一步的详细地说明。

如图1所示，本发明包括以下步骤：

步骤S1：构建并预处理训练数据集，具体如下：

采用的遥感数据集为DOTA，DOTA数据集(全称A Large-scale Dataset forObject DeTection in Aerial Images)是用于航拍图像中的目标检测的大型图像数据集，利用图像标签筛选其中包含飞机目标的影像，用608×608的滑窗，设置152的重叠度，最大程度避免把一幅图中的目标截断，对DOTA数据集中的样本进行切割，生成608×608大小的图片和相应的txt格式的标签文件；如图2所示，用数据增强的方法对得到的图片进行多角度的旋转、水平翻转与垂直翻转、缩放、色彩抖动、对比度调节、亮度调整、噪声扰动以及模糊滤波的操作，共得到20940个样本以及相对应的标签文件；将预处理过的DOTA数据集图像png格式和标签的txt格式转成VOC2007的jpg和xml格式。

步骤S2：搭建目标检测网络，其为针对小型目标检测而优化的改进的YOLOv3网络，网络结构如图3所示，具体如下：

主干特征提取网络是基于Darknet-53的特征提取网络，其重要特点是使用了残差网络，Darknet-53中的残差卷积就是进行一次3×3、步长为2的卷积，然后保存该卷积层，再进行一次1×1的卷积和一次3×3的卷积，把卷积后的结果加上卷积层作为最后的结果；

Darknet-53的每一个残差块部分使用了Darknetconv2d_BN_Leaky结构，如图4所示，它是三个操作的组合，即：

1个Darknet的2维卷积Conv2D层；1个批正则化BN层；1个LeakyReLU层，LeakyReLU与ReLU的区别在于，ReLU将所有的负值设为零，而LeakyReLU则给负值一个斜率，数学表达式中的a_i取0.1，具体为：

YOLOv3网络可以提取多特征层进行目标检测，这里从三种不同尺度的特征层上进行预测；首先取消按13×13大小划分的特征层的提取，接着加入具有更加细微特征的按104×104大小划分的特征层的提取，最后在较浅的特征层里增加了卷积层和残差层的数量。

步骤S3：预训练目标检测网络，配置环境如下：

OS	Windows 10
		CPU	I5 10400
GPU	NVIDIA RTX 2080

具体步骤如下：

将训练批次大小设为8，最大迭代次数为2500，每一次训练迭代从训练数据集中选取数量为批次大小的图像输入待训练模型进行逻辑回归预测训练，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代，训练迭代次数达到最大迭代次数时，完成一个世代；将初始学习率设为0.001，后续学习率如下表所示：

Epoch	Learning rate
		1	0.001
10	0.0005
		17	0.00025
28	0.000125
		30	0.0000625
34	0.00003125
		36	0.000015625

在训练完50个世代后得到预训练好的目标检测网络模型，预训练过程中loss值的变化过程如图5所示。

步骤S4：构建微调训练数据集，具体如下：

首先通过Google Earth截取机场图像采集到包含大量飞机目标的合适分辨率的RGB三通道彩色遥感图像，然后借助开源工具LabelImg手动标注待检测目标物边框用于目标检测，最后随机选取80％的数据集作为微调训练数据集，其余作为步骤S6的测试数据集。

步骤S5：对预训练好的目标检测网络进行微调训练，具体如下：

冻结网络前两个特征层，不对其有后续的调整权值，在微调训练数据集上微调网络模型，将训练批次大小设为4，最大迭代次数为5000，从数据集中选取图像输入模型进行逻辑回归预测训练，训练迭代次数达到最大迭代次数时，完成一个世代的训练，在完成50个世代的训练后得到最终的模型文件，训练过程中loss值的变化过程如图6所示。

步骤S7：利用训练好的目标检测网络对测试数据集进行检测，具体如下：

利用训练好的最终的模型对测试数据集进行端到端的目标检测：

(1)边界框的预测：利用预测相对位置的方法预测出边界框中心点的相对坐标，公式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，c_x和c_y是特征图中网格单元的坐标，t_x和t_y是预测的坐标偏移值，t_w和t_h是尺度缩放，b_x,b_y,b_w和b_h是边界框相对于特征图的位置和宽高，使用逻辑回归预测每个边界框具体类别的得分，计算公式如下：

Score＝Pr(Classi|Object)*Pr(Object)*IOU；

其中，Pr(Classi|Object)为类别条件概率，Pr(Object)表示网格单元有一个目标物体的概率，IOU为正确的标注与预测区域的交并比；

(2)类别预测：使用多个独立的Logistic分类器完成分类，使用二分交叉熵作为损失函数；

(3)多尺度预测：利用尺度融合的方式，结合深层语义信息与浅层语义信息，从三种不同尺度的特征层上进行预测；对倒数第一个特征层，即按26×26大小划分的特征层的输出进行5次卷积处理后，一部分继续做2次卷积处理得到第一个特征图谱，做第一次预测，一部分经过1次卷积处理和上采样处理与倒数第二个特征层，即按52×52大小划分的特征层的输出结合并先后进行5次和2次卷积处理后得到第二个特征图谱，做第二次预测；对经过5次卷积处理的与倒数第二个特征层的输出结合的输出进行1次卷积处理和上采样处理并与倒数第三个特征层，即按104×104大小划分的特征层的输出结合进行7次卷积处理得到第三个特征图谱，做第三次预测；

(4)在进行得分排序与非极大抑制筛选掉绝大多数多余的边界框后后得到最终的预测结果，对于每一类边界框，取出得分大于阈值的边界框和得分，阈值取0.5，使用非极大抑制，去除重合程度高的边界框，获得预测框在原图上的位置得到最终的目标检测结果，最终的预测结果如图7和图8所示，可以看出改进后的目标检测网络对较大型的飞机目标和小而密集的飞机目标都有良好的检测效果。

Claims (8)

1.一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：该方法包括以下步骤：

步骤S1：构建并预处理训练数据集：利用数据增强的方法构建训练数据集并对训练数据集进行预处理；

步骤S2：搭建目标检测网络：搭建基于YOLOv3的针对遥感图像小目标检测而改进的目标检测网络；

步骤S3：预训练目标检测网络；

步骤S4：构建微调训练数据集；

步骤S5：对预训练好的目标检测网络进行微调训练；

步骤S6：构建测试数据集；

步骤S7：利用训练好的目标检测网络对测试数据集进行检测。

2.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S1中，数据集图片的预处理为通过滑动窗口式的方法，对图片与标注框进行裁剪，并对DOTA数据集进行初步扩充操作。

3.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S1中，数据增强的方法包括对数据集图片的多种变化操作：多角度的旋转、水平翻转与垂直翻转、缩放、色彩抖动、对比度调节、亮度调整、噪声扰动以及模糊滤波。

4.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S2中，所述搭建的目标检测网络，具体为：

目标检测网络为基于YOLOv3、且适用遥感图像目标检测的目标检测网络，其主干特征提取网络为基于Darknet-53的特征提取网络：首先取消按13×13大小划分的特征层的提取；接着加入按104×104大小划分、具有细微特征提取的特征层；最后在预设指定特征层里增加卷积层和残差层的数量；在特征提取网络后面添加卷积层与上采样层的组合作为预测网络。

5.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S3中，所述预训练的过程中，训练数据集中的图片样本被缩放为416×416大小后，分批进入目标检测网络中进行逻辑回归预测训练。

6.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S4中，所述构建微调训练数据集，具体为：

首先通过Google Earth人工截取图像采集到合适分辨率的RGB三通道彩色遥感数据集，然后借助开源工具LabelImg手动标注待检测目标物边框用于目标检测，最后随机选取80％的数据集作为微调训练数据集，其余作为步骤S6的测试数据集。

7.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S5中，所述对预训练好的目标检测网络进行微调训练中，在冻结网络的指定各层后，仅开放后面指定深度的层，在微调训练数据集上微调网络模型，并得到最终的模型文件。

8.如权利要求1中所述的基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法，其特征在于：步骤S7中，在所述利用训练好的目标检测网络对测试数据集进行检测中，通过结合深层语义信息与浅层语义信息的多尺度跨层检测，对按不同大小划分的特征层的独立预测，具体为：

利用步骤S5中微调训练好的目标检测网络和步骤S6中构建好的测试数据集进行端到端的目标检测：

(1)边界框的预测：利用预测相对位置的方法预测出边界框中心点的相对坐标，使用逻辑回归预测每个边界框的具体类别的得分；

(2)类别预测：使用多个独立的Logistic分类器完成分类，使用二分交叉熵作为损失函数；

(3)多尺度预测：利用尺度融合的方式，结合深层语义信息与浅层语义信息，从三种不同尺度的特征层上进行预测；对倒数第一个特征层的输出进行5次卷积处理后，一部分继续做2次卷积处理得到第一个特征图谱，做第一次预测，一部分经过1次卷积处理和上采样处理与倒数第二个特征层的输出结合并先后进行5次和2次卷积处理后得到第二个特征图谱，做第二次预测；对经过5次卷积处理的与倒数第二个特征层的输出结合的输出进行1次卷积处理和上采样处理并与倒数第三个特征层的输出结合进行7次卷积处理得到第三个特征图谱，做第三次预测；

(4)在进行得分排序与非极大抑制筛选掉绝大多数多余的边界框后后得到最终的预测结果。

Images