CN110738113A - 一种基于邻近尺度特征滤除与转移的物体检测方法 - Google Patents

Abstract

本发明涉及一种基于邻近尺度特征滤除与转移的物体检测方法，包含下列步骤：收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每一个物体的坐标位置，每一个物体的类别，每一张图像的语义分割结果，以其作为图像标签信息。设计物体检测主干卷积神经网络，基于该主干卷积神经网络，提取多层级的物体特征。得到尺度敏感的物体多层级特征。基于尺度敏感的多层级特征，建立尺度敏感的物体检测子，回归和分类对应尺度的物体。输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数。迭代的更新参数，待代价函数曲线收敛时，模型训练完毕。

Description

一种基于邻近尺度特征滤除与转移的物体检测方法

技术领域

本发明涉及计算机视觉领域中高性能的物体检测方法，特别是涉及采用深度学习方法进行图像/视频中物体检测的方法。

背景技术

人工智能成为国际竞争的新焦点。基于深度学习的物体检测技术作为人工智能领域的一项关键技术，在智能监控、人机交互、辅助驾驶以及当前重点发展的无人驾驶中具有广泛重要的应用。物体检测技术主要实现对场景中人、车以及其他感兴趣类别物体的实时位置检测与识别，实现对场景的深度理解。

以自动驾驶系统为例，物体检测技术用于检测道路上行驶的车辆、行人以及障碍物等，辅助实现车辆行驶、变道、刹车等操作，保证车辆的安全行驶。其具体应用过程示例如图1所示。实现自动驾驶系统中的物体检测，首先通过车载相机捕获现实驾驶场景中的视频/图像信息；进一步地，将相机采集的图像/视频信息输入到已经嵌入车辆系统中的物体检测算法中；运行物体检测算法，输出所检测到的物体的位置信息和类别信息；辅助车辆决策系统，根据物体检测的结果，制定车辆行驶路线，实现安全的自动驾驶。作为自动驾驶中的关键技术，物体检测的性能直接关系到车辆的安全程度，提升物体检测精度和效率是进一步推动自动驾驶技术发展的关键。

现有的物体检测方法主要是基于深度学习的物体检测方法。Girshick等人[1][2]提出基于深度卷积神经网络的物体检测算法，通过神经网络提取深度特征并生成候选框，进而对候选框进行再次回归得到最终的检测结果，该方法是一种双阶段的物体检测方法。Redmon等人[6]为进一步提升物体检测的效率，提出一种单阶段的物体检测算法，即通过卷积神经网络直接回归出物体位置和分类结果，显著提升了物体检测的效率。然而，由于真实场景中不同物体的尺寸不同，且实际物体距离相机的远近程度不同，造成在成像图像/视频中不同物体存在较大的尺度差异。该尺度问题成为限制物体检测性能提升的瓶颈。如图1中的图像所示，图片中存在较大尺度的车辆，尺度较小的行人，以及远处微小尺度的行人，如何同时检测出各个尺度的物体是提升物体检测性能的关键。

现有的缓解尺度问题的方法主要有：Liu等人[3]提出在多个特征尺度上检测对应尺度的物体，实现多尺度物体检测。Lin[4][5]提出一种自顶向下的特征金字塔的方法，实现特征的多层级融合，并在特定层的特征上检测对应尺度的物体。现有的多尺度物体检测的方法主要聚焦在设计多个尺度敏感的检测子，一定尺度上提升了物体检测的性能。然而，这些方法忽略了多尺度物体检测中对尺度敏感特征的需求。在检测小物体时，其所采用的特征不仅包含了小尺度的物体特征，也包含了中尺度和大尺度物体的特征，由于大中尺度物体特征通常较为显著，其对小物体的检测造成干扰，限制了尺度敏感检测子的检测性能。此外，由于检测大尺度物体的检测子采用深层特征，在金字塔中，该特征没有得到增强，使得金字塔对大尺度物体的检测性能提升有限，仍然存在物体检测效果不佳的问题，无法有效满足实际物体检测的需要。

参考文献：

[1]R.Girshick.Fast R-CNN.IEEE International Conference on ComputerVision.IEEE Computer Society,2015:1440-1448.

[2]S.Ren,K.He,R.Girshick,et al.Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks.IEEE Transactions on PatternAnalysis&Machine Intelligence,2015,39(6):1137-1149.

[3]W.Liu,D.Anguelov,D.Erhan,et al.SSD:Single Shot MultiBoxDetector.European Conference on Computer Vision.Springer,Cham,2016:21-37.

[4]T.-Y.Lin,P.Dollar,R.Girshick,et al.Feature Pyramid Networks forObject Detection.CVPR,2016:936-944.

[5]T.-Y.Lin,P.Goyal,R.Girshick,K.He,and P.Dollar.Focal loss for denseobject detection.CoRR,abs/1708.02002,2017.

[6]J.Redmon,S.K.Divvala,R.Girshick,and A.Farhadi.You only look once:Unified,real-time object detection.In CVPR,2016.

发明内容

本发明的目的是克服现有的基于深度卷积神经网络的物体检测算法检测精度较低，无法有效解决存在的物体尺度复杂多变的问题，提出了一种基于邻近尺度特征滤除与转移的物体检测方法，提升对多尺度物体检测的性能，进一步促进物体检测在众多领域中的应用。技术方案如下：

一种基于邻近尺度特征滤除与转移的物体检测方法，主要包含下列步骤：

1)收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每一个物体的坐标位置，每一个物体的类别，每一张图像的语义分割结果，以其作为图像标签信息。将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用。

2)设计物体检测主干卷积神经网络，基于该主干卷积神经网络，提取多层级的物体特征。其中浅层特征包含所有尺度物体的特征，中层特征包含中尺度与大尺度物体特征，深层特征包含大尺度的物体特征。

3)通过邻近的较深层特征，生成大中尺度物体的注意力。结合该注意力和浅层特征得到大中尺度物体在浅层特征上的特征信息，在浅层特征上滤除该特征得到小尺度敏感特征，同时将这些特征转移到较深层，用于增强对应尺度的物体特征，得到尺度敏感的物体多层级特征。

4)基于尺度敏感的多层级特征，建立尺度敏感的物体检测子，回归和分类对应尺度的物体。

5)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数。迭代的更新参数，待代价函数曲线收敛时，模型训练完毕。

6)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该模型计算得到图像的检测结果，即物体的位置和类别信息。

本发明所述方法，通过邻近尺度特征滤除与转移机制，滤除浅层特征中的除小尺度物体外的其他尺度物体特征，生成小物体敏感的特征；同时通过特征转移增强深度特征，进而生成各个尺度敏感的特征，实现多尺度物体检测。该机制能够有效解决真实场景中物体尺度复杂多变的问题，有效的分解复杂的检测任务，能够实现对图像中感兴趣物体的精确检测(精确的输出物体的位置以及物体的类别信息)，进一步促进本发明方法在智能监控、辅助驾驶、自动驾驶等众多领域的应用，提升不同任务场景下的安全性。

附图说明

图1中描述了在自动驾驶中实现物体检测的应用示例，图示中的检测算法为本发明方法。

图2中描述了传统的多尺度物体检测方法示例，该检测方法无法克服尺度复杂多变问题，造成部分物体漏检。

图3本发明提出的一种基于邻近尺度特征滤除与转移的物体检测方法示例，本方法能够有效解决物体尺度复杂多变造成检测不准的问题，能够将图像中的各个尺度物体精确的检测出来。

具体实施方式

本发明主要针对当前物体检测方法无法有效解决多尺度检测的问题，设计一种新型的多尺度物体检测算法，以有效提升物体检测的精度。具体地，本专利提出一种基于邻近尺度特征滤除与转移的物体检测方法，通过深层特征对大中尺度物体的注意力，引导滤除在浅层特征中的大中尺度物体特征，引导生成小尺度敏感的特征，用于检测小物体。进一步地，通过将其他尺度物体在浅层上的特征引导到深层特征，进一步增强其他尺度物体的特征，用于检测其他尺度物体。通过引入该邻近尺度特征滤除与转移机制，能够有效提升多尺度物体检测的性能。本发明提出的方法可用于上述介绍的领域中实现高精度的物体检测。

图2描述了传统的多尺度物体检测方法的示例。具体地，该类方法将原始图像输入到所设计的卷积神经网络中，通过提取不同层级的特征，经过不同尺度的检测子，将每个检测子输出的检测结果进行合并，得到最终的检测结果。但是该方法所采用的不同层级的特征，是尺度无关的特征，仍然无法解决当前严重的尺度变化问题。

图3描述了本专利提出的基于邻近尺度特征滤除与转移的物体检测方法示例。具体地，该物体检测网络主要包含主干网络(1-K3)，邻近尺度特征滤除与转移模块(NET)，和对应的不同尺度的检测子。主干网络主要提取图像的特征，并提取多层级的金字塔特征(K1-K3，图示提取了3个层级的特征，本发明不限制提取的层级数)。由于提取的多层级金字塔特征(K1-K3)是尺度无关的特征，为解决尺度复杂多变的问题，在K1-K2和K2-K3上应用NET模块，生成尺度敏感的特征S1-S3。本发明不限制NET作用的层级特征，直接在K1和K3之间也可应用NET模块。进一步地，根据生成的尺度敏感特征，建立尺度敏感的多个检测子(每个尺度对应一个检测子)，预测物体位置、类别与置信度信息。

具体地，本专利的具体实施方式包含以下几个步骤：

第一步：准备训练所用数据集

(1)准备标注好的图像。所准备的图像应能包含所感兴趣的所有类别的物体，同时每张图像中需至少包含某一类物体中的一个物体。由于基于深度神经网络的物体检测方法是一种有监督的学习方法，因此需要对所准备的图像进行标注。具体地，需要标注的信息应至少包括：每一个物体的坐标位置，每一个物体的类别，每一张图像的语义分割结果。

(2)处理数据集。将所准备的数据集划分为训练数据集、验证数据集和测试数据集。训练数据集用于训练模型，验证数据集用于验证并挑选设计的哪种结构为最优，测试数据集用于测试训练模型的最终性能。

(3)增强数据。为提升模型的检测精度，应对数据进行增强。增强的方式包括但不限于：随机翻转，随机裁剪，加入随机噪声，图像缩放等。

第二步：设计基于邻近尺度特征滤除与转移的物体检测网络。本发明以图3为例，阐述该网络的设计流程。

(1)设计该网络的主干子网络。主干子网络由卷积层、池化层、归一化层、非线性激活层等常用的深度卷积神经网络模块组成。考虑到检测网络中，经常采用

ImageNet预训练的网络参数以初始化检测的主干网络，主干网络可以选取ResNet，DenseNet，ResNeXt等网络结构，用以提取图像的基础特征。

(2)提取网络的多层级金字塔特征(K1-K3)，该特征为尺度无关特征。由于经过池化等下采样操作会丢失信息，因此K1中包含大中小三种尺度物体的特征，K2中只包含大中尺度物体的特征，K3中只包含大尺度物体的特征。

(3)利用K2特征，经过注意力模块，生成大中尺度注意力，其在特征图中关注大中尺度物体的信息。注意力模块主要包含卷积层、上采样层和Sigmoid激活函数层。将该注意力与K1特征进行逐元素相乘得到K1中所包含的大中尺度物体的特征N。

(4)采用特征滤除模块E，包含但不限于特征相减、卷积等操作，从K1中滤除大中尺度物体特征N，得到小物体特征S1。

(5)采用特征转移模块T，包含但不限于特征相加、并联、卷积等融合操作，将大中尺度物体特征N与K2融合得到增强后的大中尺度物体特征K2’。

(6)在K2’和K3上采用步骤(3)-(5)中的邻近尺度特征滤除与转移模块(NET)，得到中尺度物体敏感的特征S2，与大尺度物体敏感特征S3.在实际设计中，不限制划分的尺度等级，不限制采用的NET模块的连接方式(邻近连接或者跳连接)。

(7)根据得到的尺度敏感特征S1-S3，设计三种尺度对应的检测子，包含但不限于卷积层、ReLU,Softmax层。

(8)设计监督网络所用的损失代价函数：L＝L_reg+βL_cls。其中L_reg为检测子网络的回归损失，常采用的为Smooth L1损失函数。L_cls为检测子网络的分类损失，常采用的为SoftmaxLoss函数。β为损失权重，通常由手工设定。

(9)初始化网络中的参数。参数包括卷积层的滤波器参数，归一化层的参数，以及需要手工设定如损失权重、学习率、权重衰减系数等参数。主干网络通常由预训练的权重进行初始化，其他参数则采用Gaussian、Xavier等方法对其进行随机初始化。

第三步：训练本专利的基于语义分割增强的深度卷积神经网络用于物体检测。

(1)前向计算：(结合图3说明)

a)将训练图像输入网络中，通过主干子网络的各层计算，得到多层级特征K1-K3。

b)经过邻近尺度特征滤除与转移模块(NET)，根据第二步中(3)-(6)，生成尺度敏感的特征S1-S3。

c)基于尺度敏感特征S1-S3，计算每一个尺度检测子的预测结果。

d)根据预测结果和真实标签，计算物体框的回归损失与类别分类损失，并计算总损失L.

(2)反向传播：

通过反向传播(BP)算法，计算每一层参数的梯度，采用梯度下降法(SGD)更新该网络中的所有可学习的参数。

(3)迭代训练：

迭代的进行上述的(1)前向传播和(2)反向传播过程，不断的更新参数。停止标准可以选择损失函数的损失值趋近于收敛(在一个稳定值附近波动，无明显变化)停止迭代信号。

第四步：将上述训练得到的本专利的基于邻近尺度特征滤除与转移的物体检测网络应用于实际中。

(1)若为测试模型性能，准备测试集。准备的测试集应具有如训练图像一样的数据标注格式，并计算测试结果的mAP指标作为性能度量。若为实际应用测试，则不需具备标注信息，将训练好的模型嵌入到实际计算设备中。

(2)采集图像，并将输入图像输入已经训练好的模型中进行测试。

e)将训练图像输入网络中，根据第三步中的a)～c)计算，得到各检测子的预测结果，合并所有检测结果。

f)保留置信度较高的框作为最终的物体检测输出，采用非极大值抑制(NMS)方法，移除同一位置重叠较大的物体检测框，输出物体的位置和物体的类别信息。

g)为可视化，可将物体的检测框和对应的类别信息显示在图像上。若在测试集上进行测试，可计算测试结果的mAP指标以测试检测模型的性能。

为进一步证明本发明方法的有益效果，设计一种基于邻近尺度特征滤除与转移的物体检测网络，并在公开数据库上进行验证。设计的物体检测网络采用基于VGG16和ResNet101作为主干网络，对于300×300分辨率的输入图像，提取六个金字塔层级，并采用跳连接方式实现邻近尺度特征滤除与转移，基于生成的尺度敏感特征，构建六个尺度敏感检测子。对于512×512分辨率输入图像，提取七个金字塔层级，并采用跳连接方式实现邻近尺度特征滤除与转移，基于生成的尺度敏感特征，构建七个尺度敏感检测子。采用的公开数据库为MS COCO数据集[http://cocodataset.org]，在训练集上训练，在测试集上进行测试。采用COCO的评价指标mAP指标作为性能度量指标，该指标越高证明检测精度越高。APs代表小物体检测的性能，APm代表中尺度物体检测的性能，APl代表大尺度物体检测的性能。

所实现的检测网络，以SSD[W.Liu,D.Anguelov,D.Erhan,et al.SSD:Single ShotMultiBox Detector.European Conference on Computer Vision.Springer,Cham,2016:21-37]作为基线方法，对比本发明所设计的网络性能，如表一所示。表一证明，本实验所提方法在公平对比条件下，相对于本方法的基线方法SSD有较大的性能提升。此外，所实现的本发明方法性能明显优于先前最好的单阶段检测网络RFBNet[S.Liu,D.Huang,andY.Wang.Receptive field block net for accurate and fast object detection.InECCV,2018.]。进一步地，本发明方法在各个尺度物体检测的指标上均有显著提升，优于其他方法。实验证明，本发明方法能够有效解决多尺度物体检测的问题，提升物体检测的性能。同时采用ResNet101作为主干网络，本方法能够达到实时的物体检测(27帧每秒，38.5％mAP)，能够同时有效满足当前对物体检测的性能和效率需求，证明本发明方法的优越性。

表一物体检测方法性能比较

Claims (1)

1.一种基于邻近尺度特征滤除与转移的物体检测方法，主要包含下列步骤：

1)收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每一个物体的坐标位置，每一个物体的类别，每一张图像的语义分割结果，以其作为图像标签信息；将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用。

2)设计物体检测主干卷积神经网络，基于该主干卷积神经网络，提取多层级的物体特征；其中浅层特征包含所有尺度物体的特征，中层特征包含中尺度与大尺度物体特征，深层特征包含大尺度的物体特征；

3)通过邻近的较深层特征，生成大中尺度物体的注意力；结合该注意力和浅层特征得到大中尺度物体在浅层特征上的特征信息，在浅层特征上滤除该特征得到小尺度敏感特征，同时将这些特征转移到较深层，用于增强对应尺度的物体特征，得到尺度敏感的物体多层级特征；

4)基于尺度敏感的多层级特征，建立尺度敏感的物体检测子，回归和分类对应尺度的物体；

5)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代的更新参数，待代价函数曲线收敛时，模型训练完毕；

6)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该模型计算得到图像的检测结果，即物体的位置和类别信息。

Images