CN109034210A - 基于超特征融合与多尺度金字塔网络的目标检测方法 - Google Patents

Abstract

本发明涉及一种基于超特征融合与多尺度金字塔网络的目标检测方法，包括利用深度卷积神经网络提取具有不同特征信息的分层多尺度特征图；进行超特征融合；构建新的多尺度金字塔网络；根据不同层分别构建不同大小和长宽比的目标候选框；构建一个新的用于多特征提取且能够防止梯度消失的卷积模块；利用多任务损失函数对多类别分类器和边界框回归器进行联合训练优化实现图像分类和目标定位功能。本发明利用深度卷积网络对目标的特征提取能力，考虑超特征融合方法改善特征表达能力，生成了一个新的模块防止梯度消失而且能更有效地帮助训练和提取特征，构建了用于目标检测的全卷积神经网络，提高了算法的检测精度，获得了良好的目标检测结果。

Description

基于超特征融合与多尺度金字塔网络的目标检测方法

技术领域

本发明属于计算机视觉目标检测技术领域，尤其是一种基于超特征融合与多尺度金字塔网络的目标检测方法。

背景技术

计算机视觉研究的目的是使用计算机来实现人类对客观世界的感知、识别和理解功能。目标检测(Object Detection)是计算机视觉中最常见的技术，且在计算机视觉理论研究领域受到了广泛关注,具有广阔的应用前景。目标检测技术作为计算机视觉领域的核心研究课题之一，通过分析提取目标特征，进而获得目标的类别和位置信息。目标检测技术融合了图像处理、模式识别、人工智能、计算机视觉等许多领域的前沿技术,在智能化交通系统、智能监控系统、人机交互、自动驾驶、图像检索、智能机器人等诸多领域得到了广泛的应用。

目标检测技术是通过提取图像或视频中目标的特征进行分析，进而将图像或视频帧的目标进行分类和定位。目标检测是计算机视觉中基础又极为重要的任务，其性能的好坏将直接影响后续的目标跟踪、动作识别以及行为理解等中高级任务的性能。然而，图像中的目标通常具有多种尺度、多种形态，同时也面临自然世界的环境因素影响，例如光照、遮挡、复杂背景等，因此基于计算机视觉的目标检测仍然面临着巨大的挑战并且需要进一步研究。

传统的目标检测方法通常采用复杂的人工设计特征，比如尺度不变特征转换(Scale invariant feature transform,SIFT)、方向梯度直方图(Histogram ofgradient,HoG)等来获取原始输入中和目标有关的特征信息实现目标检测。由于复杂的识别背景和目标本身的动态变化增加了目标识别的难度，传统手工设计的特征适应能力并不强。传统检测模型在很大程度上依赖于特定的目标检测任务，而且传统检测模型分离了特征提取和分类器训练，也阻碍了传统检测模型获得更符合目标特性的特征描述。得益于计算机硬件计算速度的极大提升、大数据集的诞生以及深度学习的发展，目标检测性能表现更为优异。深度学习技术应用于计算机视觉领域之后，目前流行的目标检测算法均使用卷积神经网络来进行特征提取。2012年多伦多大学研究人员使用卷积神经网络(Convolutional Neural Network，CNN)获得了ImageNet大规模视觉识别竞赛(ImageNetLarge Scale Visual Recognition Challenge,ILSVRC)目标检测和图像分类两个项目的冠军，并且错误率远远低于传统机器学习方法，卷积神经网络开始被广泛应用于计算机视觉领域。之后科研人员设计了很多新型卷积神经网络结构提升了图像分类的准确率，比如VGGnet研究了卷积核大小与网络深度对识别率的影响，ResNet应用旁支通路进一步增加了网络层数，GoogLeNet研究了应用不同卷积核提取多尺度特征的方法，DenseNet通过密集连接方式实现了了特征的再利用。

当前主流的目标检测算法可大致分为如下两类：基于区域的算法和基于回归的算法。2014年美国伯克利大学团队提出R-CNN，将区域候选方法与卷积神经网络结合起来显著提高了目标检测的精度。之后的改进版本如SPPnet、Fast R-CNN和Faster R-CNN进一步提升了检测的精度和速度，特别是Faster R-CNN提出区域候选网络和检测网络共享卷积特征，解决了产生候选区域的瓶颈问题。2017年FAIR提出FPN利用深度卷积网络内在的分层特征来构建特征金字塔用于多尺度目标检测。2016年华盛顿大学团队提出新的目标检测方法YOLO，将整个目标检测过程作为回归问题来解决，YOLO检测速度快，但精度相较基于区域候选的方法较低。YOLO只考虑利用最高层特征用于识别，随后提出的SSD利用来自卷积神经网络的不同层特征分别进行预测来解决多尺度目标检测问题。2017年提出的DSSD利用反卷积引入额外的上下文信息改善目标检测精度。

综上所述，虽然目标检测算法经过了几十年的发展已经取得了不错的效果，卷积神经网络的出现更是将目标检测精度提升了很多，但是很多问题还是有待改善，例如,如何更有效地丰富目标特征信息，如何融合特征以及解决深度卷积神经网络训练可能出现的梯度消失问题等。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理且精度高的基于超特征融合与多尺度金字塔网络的目标检测方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于超特征融合与多尺度金字塔网络的目标检测方法，包括以下步骤：

步骤1、利用深度卷积神经网络提取具有不同特征信息的分层多尺度特征图；

步骤2、基于池化操作和反卷积操作对步骤1产生的分层多尺度特征进行维度的处理，进而利用通道维度连接方式完成超特征融合；

步骤3、基于步骤2生成的融合超特征添加多个卷积层构建新的多尺度金字塔网络；

步骤4、基于步骤3产生的多尺度特征图，根据不同层分别构建不同大小和长宽比的目标候选框；

步骤5、构建一个新的用于多特征提取且能够防止梯度消失的卷积模块；

步骤6、利用多任务损失函数对多类别分类器和边界框回归器进行联合训练优化实现图像分类和目标定位功能。

所述步骤1的具体实现方法包含以下步骤：

⑴构建一个全卷积网络用于特征提取：在初始用于图像分类的卷积神经网络中去掉全连接层，并添加一个新的卷积层；

⑵将带有图片类别和目标边框标注的图片输入到卷积神经网络，产生相应的具有不同特征信息的分层多尺度特征图。

所述步骤2的具体实现方法包含以下步骤：

⑴基于原始卷积网络分层特征添加3*3*512的卷积层，使得分层特征通道维度保持一致；

⑵添加批规整化层，用于减弱不同层分布的影响，加速网络的训练；

⑶提取的多层多尺度特征进行融合：对浅层特征添加最大池化层，使得其维度减半，对高层特征添加反卷积层，使得其维度扩大；

⑷对步骤⑶处理后的特征在通道维度进行连接，再添加一个卷积层使其通道数恢复原始大小。

所述步骤3的具体实现方法包含以下步骤：

⑴基于融合超特征添加一个卷积层，提取新的特征，并且使特征图的维度减半；

⑵重复步骤⑴，添加多个卷积层得到多尺度金字塔特征。

所述步骤4的具体实现方法包含以下步骤：

⑴对不同层构建大小不同的目标候选框，从浅层到高层候选框尺度逐渐增大；

⑵对每个候选框设计多种不同长宽比，使得候选框尽可能涵盖存在多样性的目标。

所述步骤5的具体实现方法包含以下步骤：

⑴首先针对分层金字塔特征输入，并行地添加多个不同卷积核大小的卷积层，然后对其多个输出进行对应元素的累加融合，最后对融合特征添加一个卷积层；

⑵添加一个旁支通路对原始分层金字塔特征和步骤⑴的输出进行对应元素的叠加得到最终输出。

所述步骤6的具体实现方法包含以下步骤：

⑴利用Softmax分类器对多类别目标计算分类得分，利用边界框回归对边框进行调整；

⑵利用多任务损失函数对多类别分类器和边界框回归器进行联合优化训练，实现图像分类和目标定位。

本发明的优点和积极效果是：

本发明利用深度卷积网络对目标的特征提取能力进行图像特征提取，考虑超特征融合方法改善特征表达能力，生成了一个新的模块防止梯度消失而且能更有效地帮助训练和提取特征，构建了用于目标检测的全卷积神经网络，提高了算法的检测精度，获得了良好的目标检测结果。

附图说明

图1是本发明的超特征融合与多尺度金字塔网络生成框架图；

图2是本发明的实现多特征融合和防止梯度消失问题的卷积模块结构图；

图3是本发明的目标检测整体结构图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于超特征融合与多尺度金字塔网络的目标检测方法，如图3所示，包括以下步骤：

步骤1、利用深度卷积神经网络提取具有不同特征信息的分层多尺度特征图。

本步骤的具体实现方法如下：

(1)首先构建一个全卷积网络用于特征提取，在初始用于图像分类的卷积神经网络中去掉全连接层，并添加一个新的卷积层，其得到的特征图维度相应地随着层数增加而减少一半；

(2)将带有图片类别和目标边框标注的图片输入到卷积神经网络，产生相应的具有不同特征信息的分层多尺度特征图。

步骤2、基于池化操作和反卷积操作对步骤1产生的分层多尺度特征进行维度的处理，进而利用通道维度连接方式完成超特征融合。

如图1所示，本步骤的具体实现方法如下：

(1)首先基于原始卷积网络分层特征添加3*3*512的卷积层，使得分层特征通道维度保持一致；

(2)添加批规整化层，减弱不同层分布的影响，加速网络的训练；

(3)考虑对提取的多层多尺度特征进行融合，首先对浅层特征添加最大池化层，使得其维度减半，对高层特征添加反卷积层，使得其维度扩大；

(4)对步骤(3)处理后的特征在通道维度进行连接，再添加一个卷积层使其通道数恢复原始大小。

步骤3、基于步骤2的融合超特征添加多个卷积层构建新的多尺度金字塔网络。

如图1所示，本步骤的具体实现方法如下：

(1)基于融合超特征添加一个卷积层，提取新的特征，并且特征图的维度减半；

(2)重复步骤(1)，添加多个卷积层得到多尺度金字塔特征。

步骤4、基于步骤3产生的多尺度特征图，根据不同层分别构建不同大小和长宽比的目标候选框。

本步骤的具体实现方法如下：

(1)考虑卷积神经网络内在的分层特性以及不同层神经元感受野的不同，对不同层设计大小不同的目标候选框，从浅层到高层候选框尺度逐渐增大；

(2)由于自然图片中目标长宽比例存在的多样性，对每个候选框设计多种不同长宽比，使得候选框尽可能涵盖存在多样性的目标。

步骤5、构建一个新的卷积模块用于多特征提取，同时能够有效防止梯度消失问题。

如图2所示，本步骤的具体实现方法如下：

(1)针对分层金字塔特征输入，并行地添加多个不同卷积核大小的卷积层，然后对其多个输出进行对应元素的累加融合，再对融合特征添加一个卷积层；

(2)添加一个旁支通路对原始分层金字塔特征和步骤(1)的输出进行对应元素的叠加得到最终输出。

步骤6、利用多任务损失函数对多类别分类器和边界框回归器进行联合训练优化实现图像分类和目标定位。

本步骤的具体实现方法如下：

(1)利用Softmax分类器对多类别目标计算分类得分，利用边界框回归对边框进行调整；

(2)利用多任务损失函数对多类别分类器和边界框回归器进行联合优化训练，实现图像分类和目标定位。

下面按照本发明的方法进行实验，说明本发明的实验效果。

测试环境：Ubuntu16.04，Python 2.7，GTX 1080Ti GPU

测试序列：所选测试序列来自目标检测的PASCAL VOC数据集。其中包含的目标均为日常生活常见种类，共20个类别，包括人类、动物(鸟、猫、牛、狗、马、羊)、交通工具(飞机、自行车、船、公共汽车、小轿车、摩托车、火车)、室内(瓶子、椅子、餐桌、盆栽植物、沙发、电视)。PASCAL VOC2007目标检测数据集共包含9,963张图片，24,640个被标记的目标物体。

测试指标：本发明主要使用精度mAP(mean average precision)指标对检测结果进行评价。mAP是目标检测结果的平均准确度测量，是目标检测算法评测最常用的指标，对不同算法进行测试比较，证明本发明在目标检测领域能够得到较好的结果。

测试结果如下：

表1不同超特征融合算法的实验结果

方法	训练集	测试集	精度
				原始特征	07+12	07	70.4
元素叠加	07+12	07	73.3
				本发明	07+12	07	74.3
本发明++	07+12	07	74.6

表1是应用卷积神经网络提取的不同图像特征进行目标检测在PASCAL VOC2007测试集上的精度结果，它们后端采用了相同的检测框架。其中精度是平均精度mAP。可以看出本发明所提出的超特征融合方法能够有效改善初始特征表达能力，“本发明++”表示应用两个超特征融合模块能进一步提升检测表现。

表2不同目标检测器检测性能比较

方法	训练集	测试集	精度	速度(FPS)
					FastR-CNN	07+12	07	70.0	0.5
FasterR-CNN	07+12	07	73.2	7
					YOLO	07+12	07	66.4	21
SSD300	07+12	07	74.3	59
					本发明	07+12	07	74.6	20

表2基于PASCAL VOC数据集流行的目标检测器的检测性能比较，可以看出本发明在mAP上优于其他目标检测算法。Faster R-CNN为典型的基于区域的目标检测算法代表，本发明的mAP为74.6％，比Faster R-CNN的检测精度提高了1.4％，本发明的检测速度为20FPS，接近于实时检测，检测速度比Faster R-CNN快两倍。SSD为典型的基于回归方法的检测器，本发明的检测精度也更高。上述结果表明本发明算法所产生的目标检测结果拥有更高的精度，而且能更好地解决多尺度目标检测的难题。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (7)

1.一种基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于包括以下步骤：

步骤1、利用深度卷积神经网络提取具有不同特征信息的分层多尺度特征图；

步骤2、基于池化操作和反卷积操作对步骤1产生的分层多尺度特征进行维度的处理，进而利用通道维度连接方式完成超特征融合；

步骤3、基于步骤2生成的融合超特征添加多个卷积层构建新的多尺度金字塔网络；

步骤4、基于步骤3产生的多尺度特征图，根据不同层分别构建不同大小和长宽比的目标候选框；

步骤5、构建一个新的用于多特征提取且能够防止梯度消失的卷积模块；

步骤6、利用多任务损失函数对多类别分类器和边界框回归器进行联合训练优化实现图像分类和目标定位功能。

2.根据权利要求1所述的基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于：所述步骤1的具体实现方法包含以下步骤：

⑴构建一个全卷积网络用于特征提取：在初始用于图像分类的卷积神经网络中去掉全连接层，并添加一个新的卷积层；

⑵将带有图片类别和目标边框标注的图片输入到卷积神经网络，产生相应的具有不同特征信息的分层多尺度特征图。

3.根据权利要求1所述的基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于：所述步骤2的具体实现方法包含以下步骤：

⑴基于原始卷积网络分层特征添加3*3*512的卷积层，使得分层特征通道维度保持一致；

⑵添加批规整化层，用于减弱不同层分布的影响，加速网络的训练；

⑶提取的多层多尺度特征进行融合：对浅层特征添加最大池化层，使得其维度减半，对高层特征添加反卷积层，使得其维度扩大；

⑷对步骤⑶处理后的特征在通道维度进行连接，再添加一个卷积层使其通道数恢复原始大小。

4.根据权利要求1所述的基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于：所述步骤3的具体实现方法包含以下步骤：

⑴基于融合超特征添加一个卷积层，提取新的特征，并且使特征图的维度减半；

⑵重复步骤⑴，添加多个卷积层得到多尺度金字塔特征。

5.根据权利要求1所述的基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于：所述步骤4的具体实现方法包含以下步骤：

⑴对不同层构建大小不同的目标候选框，从浅层到高层候选框尺度逐渐增大；

⑵对每个候选框设计多种不同长宽比，使得候选框尽可能涵盖存在多样性的目标。

6.根据权利要求1所述的基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于：所述步骤5的具体实现方法包含以下步骤：

⑴首先针对分层金字塔特征输入，并行地添加多个不同卷积核大小的卷积层，然后对其多个输出进行对应元素的累加融合，最后对融合特征添加一个卷积层；

⑵添加一个旁支通路对原始分层金字塔特征和步骤⑴的输出进行对应元素的叠加得到最终输出。

7.根据权利要求1所述的基于超特征融合与多尺度金字塔网络的目标检测方法，其特征在于：所述步骤6的具体实现方法包含以下步骤：

⑴利用Softmax分类器对多类别目标计算分类得分，利用边界框回归对边框进行调整；

⑵利用多任务损失函数对多类别分类器和边界框回归器进行联合优化训练，实现图像分类和目标定位。