CN111881932B - 一种军用飞机的FasterRCNN目标检测算法 - Google Patents

Abstract

本发明提供一种军用飞机的Faster RCNN目标检测算法。该方法包括：将原有特征提取网络中的池化层用步长为2的卷积层进行替换，在一定程度上保留原特征图中所有信息；并且利用两个不同的特征图进行融合处理，从而保证最终的特征图中包含低层的位置信息和高层的语义信息，如此基于该最终的特征图进行后续处理，可以提高目标检测算法的准确度。

Description

一种军用飞机的FasterRCNN目标检测算法

技术领域

本发明涉及目标检测技术领域，尤其涉及一种军用飞机的Faster RCNN目标检测算法。

背景技术

在目标检测与识别技术的发展历程中，针对飞机目标的检测与识别的研究一直是学术热点。而遥感影像的特点使得目标检测与识别在对其进行检测与识别时的难度较大，检测结果远不如对自然照片的检测与识别精确。早期针对遥感影像中的目标检测的主要任务是排除影像复杂背景的干扰，设计有效的特征提取方法，实现对目标的检测与识别。随着近年来深度学习概念的提出，目标检测从传统的图像处理方法到现如今的RCNN系列、YOLO系列等方法，检测速度和精度都达到了新的高度，也为针对遥感影像的目标检测与识别带来了发展的契机。

2016年任少卿等人在已有的目标检测算法的基础上，提出Faster RCNN目标检测算法。区别于传统检测算法，Faster RCNN将卷积神经网络用于候选区域的生成，是一个可以生成高质量候选区域的区域推荐网络(Region Proposal Network,RPN)，RPN将原来的外部候选区域推荐用卷积神经网络代替，计算效率得到极大的提升。FasterRCNN集成了区域推荐，特征金字塔以及锚框等思想，在Fast RCNN基础上形成了完整的端到端网络，进一步优化了卷积神经网络输出的特征并进行共享，候选区域的生成与检测的融合使网络参数得到进一步共享，减少了运算量，而且网络的一体化使得模型可以在GPU上运行，在保证精度的同时大大提高了速度。经典Faster RCNN目标检测框架如图1所示。经典的Faster RCNN检测框架(Ren S , He K , Girshick R , et al. Faster R-CNN: Towards Real-TimeObject Detection with Region Proposal Networks[J]. IEEE Transactions onPattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149)，采用的特征提取网络为VGG16深度神经网络模型，共由13个卷积层组成，经过特征提取以后，图像下采样倍率为32倍，该模型的组织结构如图2所示。Faster RCNN检测过程可看作RPN和FastRCNN两部分，RPN负责目标候选区域的生成，Fast RCNN负责学习候选区域特征以及对候选区域分类以及边框回归。FasterRCNN共有两个输出，一个对候选区域类别进行判断，另一个对候选区域坐标进行回归。然而针对Faster RCNN的特征提取网络中的池化操作而言，无论是最大池化还是平均池化，都会对特征图进行一定的压缩，导致特征图中的一些信息被过滤掉，且还存在不同特征图利用不充分的问题。

发明内容

针对传统Faster RCNN算法中池化操作导致部分特征损失以及不同特征图利用不充分的问题，本发明提供一种军用飞机的Faster RCNN目标检测算法。

本发明提供的一种飞机的Faster RCNN目标检测算法，包括：将原有Faster RCNN算法的特征提取网络中的池化层替换为3×3卷积层，并将卷积层的步长设置为2。

进一步地，在替换最后一个池化层的卷积层与原有的后续神经网络层之间增加一层输出维度为512的3×3卷积层。

进一步地，所述原有Faster RCNN算法中的特征提取网络采用VGG16深度神经网络模型。

进一步地，所述目标检测算法还包括：

将VGG16深度神经网络模型中原有的第11层卷积层输出的特征图记为第一类特征图，对所述第一类特征图进行上采样，得到第二类特征图；

将新增加的所述输出维度为512的3×3卷积层所输出的特征图记为第三类特征图，对所述第二类特征图和所述第三类特征图进行融合连接得到最终的特征图。

进一步地，所述目标检测算法中的特征提取网络和RPN网络中的训练方法具体为：

步骤1：选取5种类型飞机的遥感影像构建数据集；

步骤2：先对RPN网络进行训练，根据在ImageNet数据集上预训练得到的参数对特征提取网络进行初始化操作，然后在步骤1构建的数据集上进行微调；

步骤3：对分类和回归网络进行训练，然后在步骤1构建的数据集上进行微调；

步骤4：在得到步骤3训练后的参数后，再次对RPN网络进行微调；

步骤5：再次对分类和回归网络进行微调。

本发明的有益效果：

本发明提供的一种飞机的Faster RCNN目标检测算法，首先，将原有特征提取网络中的池化层用步长为2的卷积层进行替换，在一定程度上保留原特征图中所有信息；其次，利用两个不同的特征图进行融合处理，从而保证最终的特征图中包含低层的位置信息和高层的语义信息，如此基于该最终的特征图进行后续处理，可以提高目标检测算法的准确度。

附图说明

图1为现有技术中的经典Faster RCNN目标检测算法的检测框架示意图；

图2为现有技术中的经典Faster RCNN目标检测算法的特征提取网络的结构示意图；

图3为本发明实施例提供的一种军用飞机的Faster RCNN目标检测算法的特征提取网络的结构示意图；

图4为本发明实施例提供的切片前的原始飞机遥感影像和切片后的部分飞机影像切片的示意图；

图5为本发明实施例提供的RPN训练时的正样本和负样本的示意图；

图6为本发明实施例提供的采用经典Faster RCNN目标检测算法和本发明的目标检测算法的检测结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相对于原有的Faster RCNN算法而言，如图3所示，本发明实施例提供的一种军用飞机的Faster RCNN目标检测算法，其主要是对原有Faster RCNN算法中的特征提取网络进行改进。本发明实施例中，原有Faster RCNN算法中的特征提取网络采用VGG16深度神经网络模型。

针对原有Faster RCNN算法的特征提取网络中的池化操作而言，无论是最大池化还是平均池化，都会对特征图进行一定的压缩，导致特征图中的一些信息被过滤掉。基于此，本发明实施例采用卷积操作代替原来网络结构中的池化操作，并且为了达到与池化操作同样的下采样倍率，在进行卷积的时候将步长设置为2，从而实现2倍的下采样，作为一种可实施方式，本发明实施例将原有FasterRCNN算法的特征提取网络中的所有池化层均替换为3×3卷积层，且将替换的所有3×3卷积层的步长均设置为2。

在卷积神经网络对图像进行特征提取过程中，所提特征逐渐抽象，目标的位置信息相对损失较大，一些像素级目标在卷积过程中容易丢失信息，使得最终输出特征图质量降低，而输入RPN网络的特征图质量会影响锚框的准确性，并影响最终识别结果。故增加非顶层的特征图(即利用两种特征图进行融合，生成最后的特征图)进行目标检测与识别，可以提供更多边缘和位置信息，有效提升检测的准确率。

本发明实施例通过利用卷积操作代替池化操作，可以发现不同的卷积层所提取的特征的区别，浅层的卷积操作更侧重学习基本的边缘特征，而越深层的卷积层所学习到的特征越抽象，更加侧重于目标的语义特征。因此，卷积神经网络的顶层特征图对目标类别的语义信息比较敏感，而对姿态、光照、关节和位置等边缘信息敏感度较差，经过多次卷积和最大池化操作，顶层的特征图对信息进行了高度的提炼，其中精确定位信息相对较少。

在上述实施例的基础上，在替换最后一个池化层的卷积层与原有的后续神经网络层之间增加一层输出维度为512的3×3卷积层。具体地，增加的该卷积层可以起到过渡作用。

原有Faster RCNN目标检测算法还存在不同特征图利用不充分的问题，为了解决该问题，在上述各实施例的基础上，本发明实施例采用了特征融合的思想，具体为：

将VGG16深度神经网络模型中原有的第11层卷积层输出的特征图记为第一类特征图（即图3中的Feature Map1），对所述第一类特征图进行上采样，得到第二类特征图（即图3中的Feature Map2）；

将新增加的所述输出维度为512的3×3卷积层所输出的特征图记为第三类特征图（即图3中的Feature Map3），对所述第二类特征图和所述第三类特征图进行融合连接得到最终的特征图。

具体地，得到最终的特征图之后，可以按照原有Faster RCNN目标检测算法的后续处理流程基于该特征图进行处理，此处不再赘述。

为了验证本发明提供的飞机的Faster RCNN目标检测算法的有效性，本发明还还提供以下验证实验。

数据集样本数据来源：通过对互联网资料的搜集与分析，选定五种当前较为主流的军用飞机作为遥感影像目标检测的类别，分别为A类轰炸机、B类轰炸机、C类战斗机、D类运输机和E类运输机。

数据集划分及规模：考虑到过大的影像，输入网络结构，效果很差。因此在获得所需数据后，需要对军用战机影像进行切片，最终数据集的规模如表所示。其中，切片指的是将原始大尺寸的遥感影像，按照一定的大小进行裁剪，比如，一张4000*4000的遥感影像，按照800*800的进行裁剪，可以裁剪出25张小的遥感影像，这种尺寸级别的影像，能够直接输入网络结构中。数据集按照训练集0.6，测试集0.4的比例进行划分，最终形成的数据集规模如表1所示：

表1数据集规模统计表

进行切片后的战机影像示意图如图4所示，图4中，（a）为切片前的原始飞机遥感影像；（b）、（c）、（d）均为飞机影像切片。

实验环境及超参数设置：本实验采用的硬件环境：Intel Core i9处理器；NVIDIAGeForce GTX 1080 显卡，显存为8G；内存为32G。软件环境：pycharm+tensorlfow+python3.6。

对于本实验构建的军用飞机数据集，总共训练了40k次，前20k次迭代的学习率为0.001，后10k次迭代的学习率为0.0001，剩下的10k次迭代的学习率为0.00001，每批次训练样本（batch size）设置为2。权重衰减为0.0001，动量为0.9。优化器选择是MomentumOptimizer。

在训练过程中，本实验对图像进行随机旋转，并减去均值[103.939,116.779,123.68]，该均值来自 ImageNet。减去均值可以集中输入数据的各个维度，有利于模型的训练。

评价方法及策略：基于深度学习的目标检测与识别采用单分类混淆矩阵模式，通过计算模型在测试集中的AP以及mAP来对模型进行评价。实际为目标且被正确识别为目标的个数称为TP；实际为非目标但被识别为目标的个数称为FP；实际为目标但被识别为非目标的个数称为FN；实际为非目标但被识别为目标的个数称为TN。Precision表示准确率，为预测样本中实际正样本数与所有正样本数的比值，即

Recall即召回率，为预测样本中实际样本数与预测样本数的比值，即

实验结果：由于Faster RCNN包含特征提取网络和RPN两个独立的网络结构，在完成目标检测与识别任务时，通过两部分网络的共同作用进行，每个网络的性能都会影响到整体的检测效果。因此在训练时需要独立训练网络，本发明采取交替训练的方式进行，具体为：

步骤1：选取5种类型飞机的遥感影像构建数据集，本实验的数据集即为表1所列出的数据集；

步骤2：先对RPN网络进行训练，根据在ImageNet数据集上预训练得到的参数对特征提取网络进行初始化操作，然后在步骤1构建的数据集上进行微调；

步骤3：对分类和回归网络进行训练，然后在步骤1构建的数据集上进行微调；

步骤4：在得到步骤3训练后的参数后，再次对RPN网络进行微调；

步骤5：再次对分类和回归网络进行微调。

对网络的训练遵循以上步骤，通过对原始方法和本发明方法的识别结果进行对比，在数据集上对本发明方法进行实验，为了提升可视化效果，采用tensorboard对RPN训练过程进行可视化，可视化结果如图5所示，显示了训练过程中生成的正负样本示例，图5中，（a）为RPN训练时的正样本示例，（b）为RPN训练时的负样本示例。

利用数据集对模型进行训练，由于在采集样本时存在一定难度，所获取的样本数据量不平衡，因此检测结果在样本之间存在一定的差距。检测结果统计如表2所示。

表2 数据集目标检测实验结果

从上述实验结果可以看出，本发明方法在检测结果上有较为提升，就单类别的AP而言，E类运输机检测结果均高于其他类别的AP值，主要原因是该类目标的样本数量大于他类目标的样本数量，B类轰炸机由于样本量最少，模型学习不充分；采用本发明方法后，B类轰炸机的准确率得到大幅度提升，说明在样本数据量较少时采用特征图融合对目标检测的准确率提升帮助较大。

图6为经典方法和本发明方法检测结果的对比图，（a）为采用经典Faster RCNN目标检测算法的检测结果，（b）为采用本发明方法的检测结果。从对比结果中，可以看出，本发明方法可以检测出图片最上方边缘处的飞机（而经典Faster RCNN目标检测算法则明显漏检了）经典方法存在飞机目标漏检的情况，包围框位置精度也不如本发明方法准确。证明本发明方法对模型检测性能的提升具有一定帮助。从表2中数据可以发现对样本量少的数据，帮助效果更大。

从上述实验可以看出，本发明提供的一种飞机的Faster RCNN目标检测算法，通过提出一种将特征提取网络中的池化操作替换为卷积操作的全卷积特征提取网络，可有效提高经典Faster RCNN方法检测的准确率。且实验结果表明，在样本数量较少的前提下，简化的特征提取网络能够保留更多的信息，可以向RPN网络输入更丰富的边缘及语义信息，能够获得较好的目标检测效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。。

Claims (1)

1.一种军用飞机的Faster RCNN目标检测算法，其特征在于，将原有Faster RCNN算法的特征提取网络中的池化层替换为3×3卷积层，并将卷积层的步长设置为2；在替换最后一个池化层的卷积层与原有的后续神经网络层之间增加一层输出维度为512的3×3卷积层；所述原有Faster RCNN算法中的特征提取网络采用VGG16深度神经网络模型；将VGG16深度神经网络模型中原有的第11层卷积层输出的特征图记为第一类特征图，对所述第一类特征图进行上采样，得到第二类特征图；将新增加的所述输出维度为512的3×3卷积层所输出的特征图记为第三类特征图，对所述第二类特征图和所述第三类特征图进行融合连接得到最终的特征图；

所述目标检测算法中的特征提取网络和RPN网络中的训练方法具体为：

步骤1：选取5种类型飞机的遥感影像构建数据集；

步骤2：先对RPN网络进行训练，根据在ImageNet数据集上预训练得到的参数对特征提取网络进行初始化操作，然后在步骤1构建的数据集上进行微调；

步骤3：对分类和回归网络进行训练，然后在步骤1构建的数据集上进行微调；

步骤4：在得到步骤3训练后的参数后，再次对RPN网络进行微调；

步骤5：再次对分类和回归网络进行微调。