CN109522930A - 一种基于遮挡类型预测的物体检测方法 - Google Patents

Abstract

本发明涉及一种基于遮挡类型预测的深度学习物体检测方法，包括：收集包含多种不同类别物体的图像，并标注每张图像中的所有感兴趣物体；设计基于遮挡类型预测的深度学习物体检测算法，用以有效实现物体检测，根据得到的候选检测框，使用候选区域池化层，将每一个候选检测框对应的特征图裁剪到同一大小，遮挡类别分类网络连接在这一特征上，由两个全连接层，和一个逻辑回归层组成，预测每一个候选检测框的遮挡类别；根据遮挡类别分类网络的结果，不同遮挡类别的物体将会使用对应的物体检测网络，物体检测网络由两个全连接层和逻辑回归层，预测每一个候选检测框的类别和位置；模型训练。

Description

一种基于遮挡类型预测的物体检测方法

技术领域

本发明涉及自动驾驶、视屏监控，人机交互等计算机领域中的物体检测方法，特别是遮挡物体检测的方法和基于深度卷积神经网络进行的物体检测方法。

背景技术

物体检测是指输入一幅图像和视频序列，输出为图像中存在物体的位置和类别。物体检测被广泛应用于自动驾驶，视频监控，行人再识别，人流量监控等计算机视觉任务中。图1展示了物体检测中的两个应用。在图1(a)中，红色的矩形框表示现在的物体检测算法能检测到的物体，黄色的矩形框代表现在的物体检测算法不能检测到的物体。

在图1(a)中，我们可以看到图像右侧有一个被汽车遮挡的行人，并且目前的物体检测算法并不能检测到这个行人。如果这是一辆无人驾驶汽车，这个行人不能被检测到，那么就很有可能发生交通事故。因此，检测遮挡物体在实际应用中有非常重要的意义。但是，现在的物体检测算法在检测遮挡物体时仍然存在很多的不足。

在图2中，是传统的基于深度神经网络的物体检测算法(简称为FasterR-CNN[1])的网络结构。传统的基于深度神经网络的物体检测算法可以分为两个部分。第一部分是区域建议网络(简称为RPN)，它的作用是产生可能存在物体的候选检测窗口。第二部分，根据产生的候选检测窗口，进行进一步分类和定位，输出最终的检测结果。

尽管传统的基于深度神经网络的物体检测算法(FasterR-CNN)取得了很大的成功，但是依然存在很严重的问题。在传统的方法中，在产生物体的候选检测框之后，对于所有的候选检测框使用同一个预测模块，对这个检测框进行分类和定位。这样的做法是不合理的。正如我们所知道的，一个完全可见的物体，与一个遮挡的物体的是完全不一样的。使用同一个预测模块对完全可见的物体和遮挡的物体进行预测是不合理的。

在FasterR-CNN之后，提出了一些改进的方法。多尺度神经网络(简称为MSCNN[2])在不同的卷积层生成候选检测框，可以更好的生成更高质量的候选检测窗口。特征金字塔网络(简称为FPN[3])利用自上而下的跨层连接将不同卷积层输出的特征图进行融合。将高语义级别低分辨率的特征图进行上采样同低语义级别高分辨率的特征图进行融合(点对点的像素相加)，用于提升低语义级别高分辨率特征图的语义级别，使得所有的特征图都具有较高的语义级别，从而更好的生成候选物体检测窗口，从而提高物体检测的性能尤其是小尺度物体的检测。但是这些方法，改进的都是FasterR-CNN的第一部分。这些方法中，产生的候选检测框相较于FasterR-CNN有了很大的提高，但是在FasterR-CNN的第二部分，这些方法仍然存在与Faster R-CNN一样的问题：在预测阶段，完全可见的物体与遮挡的物体使用同一个预测模块进行预测。

参考文献：

[1]S.Ren,K.He,R.Girshick,and J.Sun,Faster R-CNN:Towards Real-TimeObject Detection with Region Proposal Networks,IEEE Trans.PatternAnalysis andMachine Intelligence,vol.39,no.6,pp.1137-1149,2017.

[2]Z.Cai,Q.Fan,R.S.Feris,and N.Vasconcelos,A Unified Multi-scale DeepConvolutional Neural Network for Fast Object Detection,Proc.EuropeanConference on ComputerVision,2016.

[3]T.Lin,P.Dollar,R.Girshick,K.He,B.Hariharan,and S.Belongie,FeaturePyramid Networks for Object Detection,Proc.IEEE ComputerVision and PatternRecognition,2017.

发明内容

本发明的目的是提供一种遮挡物体检测性能更高的物体检测方法。本发明主要是针对Faster R-CNN的第二部分中存在的问题进行改进，提高遮挡物体的检测性能。具体地，本发明提出一种基于遮挡类型预测的物体检测算法，通过加入遮挡类型预测网络，对于每一个不同的遮挡类型使用不同的预测模块。技术方案如下：

一种基于遮挡类型预测的深度学习物体检测方法，包括下列步骤：

1)收集包含多种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容包括物体的位置和类别，以及该物体的遮挡类别；

2)图像集划分；将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；

3)设计基于遮挡类型预测的深度学习物体检测算法，用以有效实现物体检测，包括：

①设计主干网络；包括多个卷积块，每个卷积块由多个卷积层构成，不同卷积块之间由池化层连接；

②设计物体候选框提取网络：物体候选框提取网络连接在主干网络的特征层上，由多个卷积层组成，得到特征图每个位置属于物体的概率和位置偏移量，根据相关概率和位置偏移量可以得到输入图像的候选检测框；

③设计遮挡类别分类网络：根据得到的候选检测框，使用候选区域池化层，将每一个候选检测框对应的特征图裁剪到同一大小，遮挡类别分类网络连接在这一特征上，由两个全连接层，和一个逻辑回归层组成，预测每一个候选检测框的遮挡类别；

④设计基于遮挡类别的物体检测网络，根据遮挡类别分类网络的结果，不同遮挡类别的物体将会使用对应的物体检测网络，物体检测网络由两个全连接层和逻辑回归层，预测每一个候选检测框的类别和位置；

⑤使用非极大值抑制对上一步中得到的重叠度较高的物体检测窗口进行合并，得到最终的物体检测结果；

⑥选择合适的损失函数，设置训练迭代次数，初始化参数；

4)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代的更新参数，待代价函数曲线收敛时，模型训练完毕；

5)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该模型可以计算得到图像物体检测结果，辅助实际应用场景中的决策。

附图说明

图1物体检测的应用示例

图2传统的基于深度卷积神经网络的物体检测网络(Faster R-CNN)结构示意图

图3本发明提出的基于遮挡预测的物体检测网络结构示意图

图4四种遮挡类型的示例

图5本发明所提出方法的具体实施方法

具体实施方式

本发明提出的基于遮挡类型预测的物体检测方法。改进传统的基于深度卷积神经网络的物体检测网络的第二部分。在传统的基于深度卷积神经网络的物体检测网络的第一部分之后加入遮挡分类网络，将第一部分中产生的候选的物体检测窗口，分为四个类(完全可见的，水平遮挡的，竖直遮挡，其他遮挡的)。分类之后，对于不同的类，使用不同的预测模块，对候选物体检测框的位置和类别进行预测。这与现有的方法是完全不同的，现有的方法并不对候选物体检测框根据它的遮挡类型进行分类，只是用一个预测模块，对所有的候选物体检测框(包括完全可见的和遮挡的)进行预测，而我们的方法中我们先将候选物体检测框根据遮挡类型进行分类，再根据不同的遮挡类型使用不同的预测模块进行预测。

采用本发明提出的基于遮挡类型预测的物体检测方法，对不同遮挡类型的物体采用不同的预测模块，能够很好地解决遮挡物体检测性能不好的问题。

我们首先介绍所提出的基于遮挡类型预测的物体检测网络，然后介绍如何将所提出的基于遮挡类型预测的物体检测网络用于物体检测。

图3展示了本发明的网络结构图。本发明由两部分组成。第一部分是区域建议网络(RPN)。第二部分是遮挡类型分类网络和对应四种不同的遮挡类型的预测，模块。

本发明中的区域建议网络可以使用传统的基于深度卷积网络的物体检测网络(Faster RCNN)。也可以使用其他的基于Faster R-CNN的改进网络，比如MSCNN、FPN等。区域建议网络的作用是产生可能存在物体的候选窗口，提供给第二部分的网络进行进一步的分类与定位。

遮挡类型分类网络由卷积层，全连接层，softmax层组成。遮挡类型分类网络的输入是通过候选区域池化层的特征。我们知道，分类网络要求输入的尺寸是固定的。候选区域池化层的作用是将提取特征图中属于候选窗口中的特征到固定的尺寸。将这个固定尺寸的特征输入到遮挡类型分类网络中是合理的。遮挡类型分类网络的输出是这个候选窗口的遮挡类别。

在遮挡类型分类网络对候选窗口的遮挡类型进行分类之后，对于每一个不同的遮挡类型，我们使用不同的预测模块对这个候选窗口的类别和位置进行预测。预测模块的输入是通过候选区域池化层之后的特征。输出是候选窗口的位置和类别。

我们将遮挡类型分为四类：完全可见的，水平遮挡的，竖直遮挡的，其他遮挡的。图4展示了四种遮挡类型的示例图。在制作训练数据集时，我们根据可见部分框的标注和整个物体框的标注，计算出每种遮挡类型的标签。在可见部分框的与整个物体框的标注一致时，则整个物体是完全可见的；当可见部分框的高度小于整个物体框的高度时，这个物体是水平遮挡的；当可见部分框的宽度小于整个物体框的宽度时，这个物体是竖直遮挡的；当可见部分框有多个时，这个物体被标注为其他遮挡。

在训练阶段中，当一个候选物体检测框的特征通过遮挡类型预测网络的，如果预测结果是正确的，那么这个候选框的特征就会通过预测的遮挡类型的预测模块；如果预测结果是错误的，那么这个候选框的特征就不会通过预测的遮挡类型的预测模块，而是通过标签中的正确的遮挡类型所对应的预测模块。

物体检测的任务是将一幅图像中的物体定位和分类。我们将一幅图像输入本发明提出的网络结构中，RPN会产生可能存在物体的候选检测框，然后遮挡类型分类网络将会将候选检测框的遮挡类型进行分类，根据分类的结果，每一个候选检测框内的特征将会被输入到对应的预测模块中，最后预测模块输出候选框的类别和位置。

图5给出了本发明所提出方法的流程图，主要步骤如下：

步骤1：准备训练的数据集。数据集中包括图像，以及每张图像所对应的标注信息。标注信息包括图像中存在的物体的类别，位置，遮挡类型。

步骤2：构建网络结果，设置训练阶段的超参数(包括学习率，迭代次数，卷积层的初始化方式)，设定训练的损失函数，初始化网络的参数。

步骤3：根据反向传播算法，不断更新网络参数，当达到迭代次数时，所学习到的权重参数为最终的网络参数。

步骤4：给定测试图像，

步骤5：将测试图像输入到训练好的网络中，RPN将会输出候选的物体检测框，遮挡类型分类网络将候选的物体检测框分为不同的遮挡类型，根据不同的遮挡类型，使用与之对应的预测模块，对候选检测框进行预测，最终输出候选检测框的类别和位置。

步骤6：使用非极大值抑制对步骤5中得到的重叠度较高的物体检测窗口进行合并，得到最终的物体检测结果。

为了将本发明提出的网络结构应用到物体检测中，我们需要经过训练阶段和测试阶段。训练阶段的目的是，通过梯度下降算法，得到最优的网络参数。测试阶段是使用训练阶段得到的网络参数，可以完成物体检测任务。

首先，我们介绍一下具体的训练过程：

步骤1：准备训练的数据集，包括训练图像和每张图像所对应的标签。标签信息包括图像中存在的物体的类别和位置，以及物体的遮挡类别。

步骤2：构造基于遮挡类型预测的物体检测网络(如图3所示)。在遮挡分类网络和预测模块中的类别预测模块后加入softmax损失函数，在预测模块中的位置预测模块后加入边框回归损失函数。

步骤3：设置训练阶段的超参数(包括学习率，迭代次数，初始化方式)。

步骤4：按照设置好的初始化方式，初始化网络中各层的参数。

步骤5：使用深度卷积神经网络中的反响传播算法更新网络中的权重参数。达到迭代次数时的网络参数为最终学习到的网络参数。

然后，我们介绍一下具体的测试过程：

步骤1：给定一张测试图像。

步骤2：将图像输入我们已经训练好的网络。RPN网络可以提取出可能存在物体的候选检测窗口。遮挡分类网络会把每一个生成的候选检测窗口分类为不同的遮挡类别。根据得到的遮挡类别，这个候选窗口的特征将会被输入到对应的预测模块中，最后预测模块将会输出这个候选窗口的类别和位置。

步骤3：使用非极大值抑制合并步骤2中得到的重叠度较高的物体检测窗口。

Claims (1)

1.一种基于遮挡类型预测的深度学习物体检测方法，包括下列步骤：

1)收集包含多种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容包括物体的位置和类别，以及该物体的遮挡类别；

2)图像集划分；将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；

3)设计基于遮挡类型预测的深度学习物体检测算法，用以有效实现物体检测，包括：

①设计主干网络；包括多个卷积块，每个卷积块由多个卷积层构成，不同卷积块之间由池化层连接；

②设计物体候选框提取网络：物体候选框提取网络连接在主干网络的特征层上，由多个卷积层组成，得到特征图每个位置属于物体的概率和位置偏移量，根据相关概率和位置偏移量可以得到输入图像的候选检测框；

③设计遮挡类别分类网络：根据得到的候选检测框，使用候选区域池化层，将每一个候选检测框对应的特征图裁剪到同一大小，遮挡类别分类网络连接在这一特征上，由两个全连接层，和一个逻辑回归层组成，预测每一个候选检测框的遮挡类别；

④设计基于遮挡类别的物体检测网络，根据遮挡类别分类网络的结果，不同遮挡类别的物体将会使用对应的物体检测网络，物体检测网络由两个全连接层和逻辑回归层，预测每一个候选检测框的类别和位置；

⑤使用非极大值抑制对上一步中得到的重叠度较高的物体检测窗口进行合并，得到最终的物体检测结果；

⑥选择合适的损失函数，设置训练迭代次数，初始化参数；

4)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代的更新参数，待代价函数曲线收敛时，模型训练完毕；

5)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该模型可以计算得到图像物体检测结果，辅助实际应用场景中的决策。