CN108427912B - 基于稠密目标特征学习的光学遥感图像目标检测方法 - Google Patents

Abstract

本发明公开了一种基于稠密目标特征学习的光学遥感图像目标检测方法，主要解决现有技术中深层卷积导致小目标信息被过滤掉的问题。本发明的具体步骤如下：(1)搭建一个共25层的稠密目标特征网络并设置每层参数；(2)构造训练样本集和训练类标集；(3)获取稠密目标特征网络的深浅特征；(4)对稠密目标特征网络的深浅特征进行融合；(5)获取目标候选框特征集；(6)进行稠密池化；(7)构造测试样本集；(8)对测试样本集进行检测。本发明具有对光学遥感图像的深浅特征提取好，目标检测的精度高的优点。

Description

基于稠密目标特征学习的光学遥感图像目标检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及光学遥感图像目标检测技术领域中的一种基于稠密目标特征学习的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的地物目标进行识别和检测。

背景技术

目标检测技术是计算机视觉领域的核心问题之一，遥感目标检测是以遥感卫星捕捉到的影像为数据源，采用图像处理技术对影像中感兴趣目标进行定位和分类。遥感目标检测是遥感应用技术中重要的一环，可以在高科技军事对抗中，捕捉攻击目标，提供精确的位置信息等，在军事领域有至关重要的意义。

随着遥感技术的进一步发展，所获得的光学遥感数据也越来越丰富。如何对图像做出快速而准确的解译，如何有效地对目标进行分类或检测，已成为迫切需要解决的一个难题。

Shaoqing Ren在其发表的论文“Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks”(神经信息处理系统进展大会NIPS(NeuralInformation Processing Systems蒙特利尔国际会议论文2015年)中提出了一种基于区域生成网络RPN(Region Proposal Networks)的目标检测方法。该方法首先利用基础网络VGG-16卷积特征层来生成候选区域，即训练区域生成网络RPN，快速的生成高质量的候选框，取代了原来的选择性搜索SS(Selective Search)；然后根据预测的高质量的候选框，在卷积的高级语义特征上进行感兴趣区域ROI(Region of Interest)池化，将池化后的特征接全连接层，分别预测候选框的类别和位置偏移；最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non Maximum Suppression)，得到最后的检测结果。该方法能够准确丰富的表示目标的特征，并且能够很好地提取目标候选框，通过共享卷积参数减少候选框提取时间等优点，但是，该方法仍然存在的不足之处是，由于小目标的信息经过卷积层特征提取和感兴趣区域ROI池化后被过滤掉了，只能检测较大尺度的目标，对于密集小目标的检测准确率偏低。

中国科学院大学在其申请的专利文献“一种基于深度学习的鲁棒性舰船目标检测方法”(专利申请号：CN201710677418.X，公开号：CN107563303A)中提出了一种深度学习的遥感图像目标检测方法。该方法首先对训练样本进行处理并训练，得到训练分类器；之后对待检测的遥感图像进行预处理并进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；然后训练特征提取网络，结合海陆分割区域的旋转不变深度特征，通过多层卷积得到特征图并用深层卷积预测目标；最后利用分类激活特征图的方法得到舰船这一类别的响应图，对得到的响应图求连通域，得到初步检测框，对舰船的参数进行估计，得到带有检测框的结果图。该方法通过训练分类器进行海陆分离来辅助遥感图像的特征进行检测，能够预测鲁棒性的目标检测的结果，减少由并排摆放引发的舰船漏检，但是，该方法仍然存在的不足之处是，由于要使用多层卷积获取特征图并用深层卷积预测目标，未考虑目标的多尺度特征而导致目标信息利用不充分，导致密集小目标的检测效果并不理想。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于稠密目标特征学习的光学遥感图像目标检测方法。本发明与现有其他光学遥感图像目标检测方法相比，能够提取出光学遥感图像的深层特征和浅层特征的融合特征，使用融合处理后的图像特征提取出目标候选框特征集，再对目标候选框特征集进行稠密池化，可得到较高的光学遥感图像小目标检测精度。

本发明实现上述目的的思路是：先搭建一个共25层的稠密目标特征网络并设置每层参数，构造训练样本集和训练类标集，再获取稠密目标特征网络的深浅特征并进行融合，然后获取目标候选框特征集并进行稠密池化，训练好网络之后构造测试样本集，最后将测试样本集送入训练好的稠密目标特征网络中并合并得到光学遥感图像的最终分类结果。

本发明实现的具体步骤包括如下：

(1)搭建一个25层的稠密目标特征网络并设置网络的每层参数；

(2)构造训练样本集和训练类标集：

(2a)从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的6帧不连续的光学遥感图像，作为待训练光学遥感图像；

(2b)以待训练的每一帧光学遥感图像中每个飞机和舰船的目标的中心位置为切割中心点，切割出400×400×3和600×600×3的两个小区域，将所有飞机和舰船的目标切割出的两个小区域组成切割小区域，将所有切割小区域中所有遥感图像的像素组成训练样本集；

(2c)将待训练的光学遥感图像上的飞机和舰船的位置以及之对应的类别，均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别，将映射后所有飞机和舰船的目标的位置和类别组成小区域的类标，将所有切割小区域的类标组成训练类标集；

(3)获取稠密目标特征网络的深浅特征：

将训练样本集和训练类标集输入到稠密目标特征网络，得到训练样本集在稠密目标特征网络中的第十个卷积层的浅层细节特征和第一个上采样层的深层高级语义特征；

(4)对稠密目标特征网络的深浅特征进行融合：

(4a)将浅层细节特征和深层高级语义特征在通道上进行叠加，得到在稠密目标特征网络中飞机和舰船目标信息更丰富的融合的特征；

(4b)将融合后的特征输入到稠密目标特征网络中进行迭代训练，直至稠密目标特征网络的损失值小于预先设定的极小值0.0001，得到训练好的稠密目标特征网络；

(4c)将训练样本集输入到训练好的稠密目标特征网络中，得到目标候选框集；

(5)获取目标候选框特征集：

(5a)将目标候选框集中的每一个目标候选框，同时映射到稠密目标特征网络中的第十个卷积层的特征图、第十三个卷积层的特征图和第一个上采样层的特征图上，将每个目标候选框在三个特征图上的特征，组成该目标候选框的原始特征，将所有目标候选框的原始特征组成该目标候选框原始特征集；

(5b)将目标候选框集中的每一个目标候选框缩小0.8倍后，同时映射到稠密目标特征网络中的第十个卷积层的特征图、第十三个卷积层的特征图和第一个上采样层的特征图上，将每个目标候选框缩小后的三个特征图上的特征，组成目标候选框的缩小特征，将所有目标候选框的缩小特征，组成目标候选框缩小特征集；

(6)进行稠密池化：

(6a)利用面积比例公式，计算每一个目标候选框的面积比例值，得到每个目标候选框的面积比例值，设置阈值参数为0.1，将候选框的面积比例值小于阈值参数的该候选框原始特征集和该候选框缩小特征集进行稠密连接池化，将候选框的面积比例值大于等于阈值参数的该候选框原始特征集进行稠密连接池化；

(6b)将训练样本集和训练类标集输入稠密目标特征网络，得到最终训练好的网络；

(7)构造测试样本集：

(7a)从遥感卫星上实时接收的光学遥感影像中，再随机选取含有飞机和舰船目标的2帧不连续的光学遥感图像，作为待检测光学遥感图像；

(7b)对每一帧待检测的光学遥感图像进行重叠度为50的划窗切块，切割出400×400×3的所有小区域，将所有切割小区域中光学遥感图像的像素组成测试样本集；

(8)对测试样本集进行检测：

(8a)将测试样本集输入到训练好的稠密目标特征网络中，得到测试样本集中每个样本的检测框和置信度；

(8b)将每个样本的检测框和置信度映射到待检测的光学遥感图像中，对所有检测框和与置信度进行非极大值抑制处理，得到最终的光学遥感图像检测结果。

本发明与现有的技术相比具有以下优点：

第一，由于本发明搭建了稠密目标特征网络，网络中使用了一系列卷积层、池化层、上采样层，将样本集在网络训练中得到的第十个卷积层的浅层细节特征和第一个上采样层的深层高级语义特征在通道上叠加，融合了待检测光学遥感图像的深浅特征，克服了现有技术中通过深层卷积预测目标，小目标信息不丰富的问题，使得本发明提高了小目标检测的准确率，同时保证了小目标和非小目标检测的整体准确性。

第二，由于本发明使用稠密目标特征网络的融合特征提取出目标候选框特征集，在对目标候选框特征集进行稠密池化，进行分类和回归，克服了现有技术中未考虑目标的多尺度特征而导致目标信息利用不充分的问题，使得本发明能够充分保证目标特征的完整性从而提高了目标检测的精度。

附图说明

图1是本发明的流程图；

图2是本发明构建的稠密目标特征网络的结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的步骤做进一步的详细描述。

步骤1.搭建一个25层的稠密目标特征网络并设置网络的每层参数。

所述的稠密目标特征网络，其结构为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个上采样层→RPN分类回归层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层。

附图2是本发明的稠密目标特征网络的结构示意图，其中，图2(a)是稠密目标特征网络的整体框架示意图，附图2(b)是稠密池化连接示意图。

附图2(a)中的卷积网包括第一至第九个卷积层共九个卷积层和第一至第三个共三个池化层，附图2(a)中的单向箭头表示特征连接，附图2(a)中的矩形块表示稠密目标特征网络卷积特征图，附图2(a)中的第十至第十三共四个卷积层分别表示稠密目标特征网络的第十至第十三共四个卷积层，附图2(a)中的第一个上采样层表示稠密目标特征网络的第一个上采样层，附图2(a)中的ROI池化层表示稠密目标特征网络的感兴趣区域池化层，附图2(a)中的RPN分类回归层表示稠密目标特征网络的RPN分类回归层。

附图2(b)中的第十个卷积层表示稠密目标特征网络的第十个卷积层，附图2(b)中的第十三个卷积层表示稠密目标特征网络的第十三个卷积层，附图2(b)中的第一个上采样层表示稠密目标特征网络的第一个上采样层，附图2(b)中实线框表示原始的目标候选框，附图2(b)中虚线框表示缩小0.8倍的目标候选框，附图2(b)中的7表示感兴趣区域池化输出大小值。

各层的参数设置如下：

将输入层特征映射图的总数设置为3个。

将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点。

将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点。

将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。

将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。

将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点。

将第一个上采样层的特征映射图的总数设置为512个，反卷积核尺度设置为3×3个节点。

将ROI池化层的特征映射图的输出尺寸设置为7×7个节点。

将第一个全连接层的特征映射图的总数设置为4096。

将第二个全连接层的特征映射图的总数设置为256。

将RPN分类回归层中的分类特征映射图的尺寸设置为18个，回归特征映射图的尺寸设置为36个。

将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为4个。

步骤2.构造训练样本集和训练类标集。

从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的6帧不连续的光学遥感图像，作为待训练光学遥感图像。

以待训练的每一帧光学遥感图像中每个飞机和舰船的目标的中心位置为切割中心点，切割出400×400×3和600×600×3的两个小区域，将所有飞机和舰船的目标切割出的两个小区域组成切割小区域，将所有切割小区域中所有遥感图像的像素组成训练样本集。

将待训练的光学遥感图像上的飞机和舰船的位置以及之对应的类别，均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别，将映射后所有飞机和舰船的目标的位置和类别组成小区域的类标，将所有切割小区域的类标组成训练类标集。

步骤3.获取稠密目标特征网络的深浅特征。

将训练样本集和训练类标集输入到稠密目标特征网络，得到训练样本集在稠密目标特征网络中的第十个卷积层的浅层细节特征和第一个上采样层的深层高级语义特征。

步骤4.对稠密目标特征网络的深浅特征进行融合。

将浅层细节特征和深层高级语义特征在通道上进行叠加，得到在稠密目标特征网络中目标信息更丰富的融合的特征。

将融合后的特征输入到稠密目标特征网络中进行迭代训练，直至稠密目标特征网络的损失值小于预先设定的极小值0.0001，得到训练好的稠密目标特征网络。

将训练样本集输入到训练好的稠密目标特征网络中，得到目标候选框集。

步骤5.获取目标候选框原始特征集和缩小特征集。

将目标候选框集中的每一个目标候选框，同时映射到稠密目标特征网络中的第十个卷积层的特征图、第十三个卷积层的特征图和第一个上采样层的特征图上，将每个目标候选框在三个特征图上的特征，组成该目标候选框的原始特征，将所有目标候选框的原始特征组成该目标候选框原始特征集。

将目标候选框集中的每一个目标候选框缩小0.8倍后，同时映射到稠密目标特征网络中的第十个卷积层的特征图、第十三个卷积层的特征图和第一个上采样层的特征图上，将每个目标候选框缩小后的三个特征图上的特征，组成目标候选框的缩小特征，将所有目标候选框的缩小特征，组成目标候选框缩小特征集。

步骤6.进行稠密池化。

利用面积比例公式，计算每一个目标候选框的面积比例值，得到每个目标候选框的面积比例值，设置阈值参数为0.1，将候选框的面积比例值小于阈值参数的该候选框原始特征集和该候选框缩小特征集进行稠密连接池化，将候选框的面积比例值大于等于阈值参数的该候选框原始特征集进行稠密连接池化。

所述的面积比例公式如下：

其中，w表示候选框的宽度，h表示候选框的高度，W表示小区域的宽度，H表示小区域的高度。

将训练样本集和训练类标集输入稠密目标特征网络，得到最终训练好的模型。

步骤7.构造测试样本集。

从遥感卫星上实时接收的光学遥感影像中，再随机选取含有飞机和舰船目标的2帧不连续的光学遥感图像，作为待检测光学遥感图像。

对每一帧待检测的光学遥感图像进行重叠度为50的划窗切块，切割出400×400×3的所有小区域，将所有切割小区域中光学遥感图像的像素组成测试样本集。

步骤8.对测试样本集进行检测。

将测试样本集输入到训练好的稠密目标特征网络中，得到测试样本集中每个样本的检测框和置信度。

将每个样本的检测框和置信度映射到待检测的光学遥感图像中，对所有检测框和与置信度进行非极大值抑制处理，得到最终的光学遥感图像检测结果。

所述的非极大值抑制NMS处理是指：对所有检测框按照置信度从高到低进行排序，保留检测框之间重叠度低和置信度高的候选框，丢弃检测框之间重叠度高和置信度低的候选框。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真条件：

本发明的仿真实验是在主频2.40GHz*16的Intel(R)Xeon(R)E5-2630CPU、内存64GB的硬件环境和caffe的软件环境下进行的。

2.仿真内容与结果分析：

使用本发明的方法和快速区域卷积神经网络的方法对旧金山海湾地区光学遥感图像进行目标检测，将相关网络参数设置如下表1所示：

表1 网络参数设置表

网络参数	快速区域卷积神经网络	本发明
			学习率	0.001	0.001
迭代次数	40000 30000 40000 30000	40000 30000 40000 30000
			目标候选框数目	64	64
阈值参数	/	0.1

将得到的目标检测结果与真实的目标标记进行对比，根据下述两个公式：

召回率＝总检测正确目标数/总实际目标数

准确率＝总检测正确目标数/总检测目标数

绘制准确率-召回率曲线，根据曲线的面积得到目标检测的检测精度，将多个类别的求均值得到平均精度。

本发明的方法和快速区域卷积神经网络的方法的平均精度如下表2所示：

表2 平均精度对比结果一览表

测试集准确率	快速区域卷积神经网络	本发明
			飞机	0.9887	0.9958
舰船	0.5666	0.6090
			平均精度	0.7776	0.8024

从表2中可以可看出，快速区域卷积神经网络的检测平均精度为77.76％，本发明方法的检测平均精度为80.24％，本发明方法与快速区域卷积神经网络方法相比，飞机准确率提高了0.71％，舰船准确率提高了4.24％，平均精度提高了2.48％，目标检测精度较高。

综上，本发明通过构建一个稠密目标特征网络，将光学遥感图像的深层语义信息和浅层细节信息进行融合，更好的描述了光学遥感图像中目标的多尺度信息，使用融合处理后的图像特征提取出目标候选框特征集，再对目标候选框特征集进行稠密池化，保证了小目标特征信息的完整性，增强了稠密目标特征网络的泛化能力，从而提高了目标检测准率。

Claims (3)

1.一种基于稠密目标特征学习的光学遥感图像目标检测方法，其特征在于，该方法是对光学遥感图像在稠密目标特征网络的深浅特征进行融合处理，使用融合处理后的图像特征对待检测目标候选框特征集进行稠密池化，将稠密池化后多个目标特征连接起来，对光学遥感图像中的飞机和舰船目标进行分类和回归，该方法的具体步骤包括如下：

(1)搭建一个25层的稠密目标特征网络并设置网络的每层参数；

(2)构造训练样本集和训练类标集：

(2a)从遥感卫星上实时接收的光学遥感影像中，随机选取含有飞机和舰船目标的6帧不连续的光学遥感图像，作为待训练光学遥感图像；

(2b)以待训练的每一帧光学遥感图像中每个飞机和舰船的目标的中心位置为切割中心点，切割出400×400×3和600×600×3的两个小区域，将所有飞机和舰船的目标切割出的两个小区域组成切割小区域，将所有切割小区域中所有遥感图像的像素组成训练样本集；

(2c)将待训练的光学遥感图像上的飞机和舰船的位置以及之对应的类别，均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别，将映射后所有飞机和舰船的目标的位置和类别组成小区域的类标，将所有切割小区域的类标组成训练类标集；

(3)获取稠密目标特征网络的深浅特征：

将训练样本集和训练类标集输入到稠密目标特征网络，得到训练样本集在稠密目标特征网络中的第十个卷积层的浅层细节特征和第一个上采样层的深层高级语义特征；

(4)对稠密目标特征网络的深浅特征进行融合：

(4a)将浅层细节特征和深层高级语义特征在通道上进行叠加，得到在稠密目标特征网络中飞机和舰船目标信息更丰富的融合的特征；

(4b)将融合后的特征输入到稠密目标特征网络中进行迭代训练，直至稠密目标特征网络的损失值小于预先设定的极小值0.0001，得到训练好的稠密目标特征网络；

(4c)将训练样本集输入到训练好的稠密目标特征网络中，得到目标候选框集；

(5)获取目标候选框特征集：

(5a)将目标候选框集中的每一个目标候选框，同时映射到稠密目标特征网络中的第十个卷积层的特征图、第十三个卷积层的特征图和第一个上采样层的特征图上，将每个目标候选框在三个特征图上的特征，组成该目标候选框的原始特征，将所有目标候选框的原始特征组成该目标候选框原始特征集；

(5b)将目标候选框集中的每一个目标候选框缩小0.8倍后，同时映射到稠密目标特征网络中的第十个卷积层的特征图、第十三个卷积层的特征图和第一个上采样层的特征图上，将每个目标候选框缩小后的三个特征图上的特征，组成目标候选框的缩小特征，将所有目标候选框的缩小特征，组成目标候选框缩小特征集；

(6)进行稠密池化：

(6a)利用面积比例公式，计算每一个目标候选框的面积比例值，得到每个目标候选框的面积比例值，设置阈值参数为0.1，将候选框的面积比例值小于阈值参数的该候选框原始特征集和该候选框缩小特征集进行稠密连接池化，将候选框的面积比例值大于等于阈值参数的该候选框原始特征集进行稠密连接池化；

(6b)将训练样本集和训练类标集输入稠密目标特征网络，得到最终训练好的网络；

(7)构造测试样本集：

(7a)从遥感卫星上实时接收的光学遥感影像中，再随机选取含有飞机和舰船目标的2帧不连续的光学遥感图像，作为待检测光学遥感图像；

(7b)对每一帧待检测的光学遥感图像进行重叠度为50的划窗切块，切割出400×400×3的所有小区域，将所有切割小区域中光学遥感图像的像素组成测试样本集；

(8)对测试样本集进行检测：

(8a)将测试样本集输入到训练好的稠密目标特征网络中，得到测试样本集中每个样本的检测框和置信度；

(8b)将每个样本的检测框和置信度映射到待检测的光学遥感图像中，对所有检测框和与置信度进行非极大值抑制处理，得到最终的光学遥感图像检测结果；

所述的非极大值抑制处理是指：对所有检测框按照置信度从高到低进行排序，保留检测框之间重叠度低和置信度高的候选框，丢弃检测框之间重叠度高和置信度低的候选框。

2.根据权利要求1所述的基于稠密目标特征学习的光学遥感图像目标检测方法，其特征在于，步骤(1)中所述的稠密目标特征网络结构为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个上采样层→RPN分类回归层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层；

各层的参数设置如下：

将输入层特征映射图的总数设置为3个；

将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；

将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；

将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；

将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；

将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点；

将第一个上采样层的特征映射图的总数设置为512个，反卷积核尺度设置为3×3个节点；

将ROI池化层的特征映射图的输出尺寸设置为7×7个节点；

将第一个全连接层的特征映射图的总数设置为4096；

将第二个全连接层的特征映射图的总数设置为256；

将RPN分类回归层中的分类特征映射图的尺寸设置为18个，回归特征映射图的尺寸设置为36个；

将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为4个。

3.根据权利要求1所述的基于稠密目标特征学习的光学遥感图像目标检测方法，其特征在于，步骤(6a)中所述的面积比例公式如下：

其中，w表示候选框的宽度，h表示候选框的高度，W表示小区域的宽度，H表示小区域的高度。

Images