CN110852255B - 一种基于u型特征金字塔的交通目标检测方法 - Google Patents

Abstract

本发明涉及一种基于U型特征金字塔的交通目标检测方法。提出了一种U型模块，并利用级联方式构建多级的图像特征金字塔，来解决多尺度的问题。为了证明U型模块的有效性，我们还设计了一种新的单目标检测器，U‑FPNDet，该模型首先利用基础网络提取出基础特征图，然后利用级联的U型模块将基础特征图构建出多级特征金字塔，最后在每一级金字塔上运行检测网络得出最后的结果。

Description

一种基于U型特征金字塔的交通目标检测方法

技术领域

本发明涉及模式识别与计算机视觉领域，特别是一种基于U型特征金字塔的交通目标检测方法。

背景技术

在早期的工作中，使用目标和背景的相对运动差异信息来达到检测车辆的目的，可适应的背景建模方法，例如高斯混合模型，线性西格玛模型等由于背景比运动目标出现的频率高，通过建立背景模型的分布，当出现运动目标时，背景模型的分布就会发生改变，从而定位出车辆的位置，这种技术被广泛的应用于车辆检测中。光流也是一种常用的方法用来解决车辆检测的问题，通过模拟物体随时间运动的模式来聚集车辆时空信息的常用技术。此外，光流法还结合了对称追踪和手工提取的外形特征来提高检测器的性能。然而，这种方法不能够区分更细的子类别移动目标，例如车，公共汽车，行人等。总之，这些方法需要很多复杂的后处理方法来提高模型的精度，例如车辆阴影检测和车辆的遮挡处理等，这样会造成时间上的消耗，没有办法实现实时检测。

接下来，一些基于手工特征提取的统计学习方法也被应用于从图像中直接检测车辆，首先通过一些特征描述算子来描述图像中我们感兴趣的目标，然后再通过训练一些分类器来把图像区域中的目标分为不同的子类，例如车辆和非车辆。这些特征特区算子可能是HOG，SURF，Gabor，和Haar-like等，而分类器则大多数使用支持向量机，人工神经网络，或者是Adaboost算法。更多先进的方法像DPM等都是应用手工特取的特征，并描述车辆的每一部分的方法，这些方法或者手工提取的特征，对图像中车辆特征的重构和表示，能力都十分有限，没有办法解决复杂场景下的车辆检测问题。

发明内容

本发明的目的在于解释上述问题，提供一种基于U型特征金字塔的交通目标检测方法。

为实现上述目的，本发明的技术方案是：一种基于U型特征金字塔的交通目标检测方法，按照如下步骤实现：

步骤S1、获取自动驾驶数据集，并将自动驾驶数据集转换成交通目标检测模型可识别的格式；

步骤S2、利用完成格式转换的自动驾驶数据集训练基础网络，并将基础网络输出的特征图进行深度融合，在此基础上，得到基础特征图；

步骤S3、将得到的基础特征图通过若干个U型模块，得到多级特征金字塔；

步骤S4、根据得到的多级特征金字塔，在每一级上分别运行检测网络，然后利用非极大值抑制算法，将最后的检测结果融合在一起。

在本发明一实施例中，所述步骤S1具体实现如下：

步骤S11、采用公开的KITTI自动驾驶数据集，利用COCO数据集转换脚本，将标签信息转换成json文件；

步骤S12、将json文件和图片文件分别放入不同的文件夹下，制作成标准的COCO数据集格式；

步骤S13、将制作好的COCO数据集文件备用，用于搭建的交通目标检测模型训练。

在本发明一实施例中，在所述步骤S2，通过如下步骤得到基础特征图：

步骤S21、利用完成格式转换的自动驾驶数据集训练VGG16基础网络；

步骤S22、将VGG16基础网络最后三个模块输出的特征图，分别利用1×1的卷积核进行卷积，之后进行上采样，将特征图归一化相同的尺寸，最后把归一化的特征图聚合在一起，得到基础特征图；VGG16基础网络的特征提取过程由以下关系式表述：

其中，x是图像数据，Y1,Y2,Y3是最后三个模块输出的特征图，c1,c2,c3分别是三个1×1卷积核模块，W1,W2,W3分别是VGG16网络最后三个模块卷积层的权重，b1,b2,b3分别是VGG16网络最后三个模块卷积层的偏置，F表示最后得到的基础特征图。

在本发明一实施例中，所述步骤S3具体实现如下：

步骤S31、将得到的基础特征图输入特征金字塔网络，所述特征金字塔网络是由U型模块级联在一起构成的，而每个U型模块中基础特征图都是先经过N个卷积层，然后再经过上采样恢复到之前的分辨率，并将特征图输出，由此构成N个特征图的单级特征金字塔；

步骤S32、将单级特征金字塔聚合成多维的特征金字塔，即通过将M个U型模块分别级联在一起，得到M×N维的特征金字塔。

在本发明一实施例中，所述步骤S4具体实现如下：

步骤S41、在得到的M×N维的特征金字塔的每一层运行检测网络，其中检测网络由回归子网络和分类子网络构成，每个子网络都是由全卷积神经网络组成；

步骤S42、在分类子网络中，采用Focal loss作为训练时的loss函数，具体定义如下

上式中，p是分类子网络预测类别为1时的概率值，定义

然后重写公式(2)，得到CE(p,y)＝CE(p_t)＝-log(p_t)；

为解决类别不平衡问题，在交叉熵函数前加一个平衡权重的因子α∈[0，1]，在实际中，α作为一个模型的超参数，可以在验证集中被训练得到，即

然后就可以得到改进后的交叉熵函数

CE(p,y)＝CE(p_t)＝-α_tlog(p_t) (5)

将区别难分样本的模块因子(1-p_t)^γ加入交叉熵函数中，最后，Focal loss定义为：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t) (6)

其中，α＝0.25，γ＝2；

步骤S43、在回归子网络中，为每一个anchor都分配一个最匹配的真实框，回归子网络的输出是拟合anchor和这个真实框的差值；

步骤S44、对于特征图width×high上的任意一点，会产生K个anchor box，分类子网络的学习任务是利用Focal loss学习K个anchor的类别，而回归子网络是拟合真实坐标框和K个anchor之间的距离；经过回归子网络和分类子网络，分别得到width×hight×K个预测值，再利用非极大值抑制算法分别得到最后的S个预测框，即可得到最后的交通目标检测结果。

相较于现有技术，本发明具有以下有益效果：

1、为了解决尺度变化的问题，我们设计了一种U型模块，该模块可以很好的提取图像中的尺度信息；通过将U型模块级联起来，能够构建包含更加丰富尺度信息的特征金字塔；

2、将特征金字塔整合到现有的retinaNet框架中，设计了一种新的单阶段检测器，并应用于自动驾驶中车辆检测的场景中，实验结果表明，该模型能够解决现有模型在构建特征金字塔方面能力不足的现象；能够较好的处理尺度变化的问题；

3、新构建的特征金字塔能够较好的整合到其他检测器的框架体系中，具有很强的扩展性和很好的适应性，这种构建特征金字塔的方式也会给其他的模型带来提高；会对以后设计更加具有代表性，包含更多尺度信息的检测器带来新的启发。

附图说明

图1为本发明一种基于U型特征金字塔的交通目标检测方法的流程图。

图2为本发明中UFPNDet的网络结构图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于U型特征金字塔的交通目标检测方法。我们的目标是构建一个更加有效的特征金字塔来检测不同尺度的目标，并且解决之前特征金字塔方法的不足，首先，我们设计了一个U型模块，来得到更加丰富的尺度信息，然后在此基础上，利用U型模块，重新构建特征金字塔，然后在每一层的特征金子塔上分别进行预测，我们在训练阶段的回归网络中使用了L1损失作为计算损失的方式，而分类网络使用了Focal loss作为计算损失的方式。图2为本发明中采用的UFPNDet的网络结构图，该网络结构包括我们的系统一共包含三个子网络，在阶段一，图像首先经过的主干网络，以VGG16为例，我们分别利用block3，4，5的特征图，block4的特征图上采样2倍，block5的特征图上采样4倍，分别加到block3上，这样可以充分利用主干网络中每一层的特征图，经过阶段一，我们得到了基础的特征图。然后基础特征图经过阶段二的U型模块，这些U型模块采用级联的方式串行连接在一起，每经过一个U型模块，就会产生一个特征金字塔，然后将每一级的特征金字塔聚合在一起，这样产生的特征金字塔将会包含更丰富的尺度信息，阶段二最终输出的是聚合的特征金字塔。最后，聚合的特征金字塔被送入第三阶段的检测网络，其中主要包含分类和定位子网络，分类和定位子网络在金字塔的每一层上都要运行一次所以，总共M×N层的特征金字塔，我们一共运行了M×N次，由于检测网络是利用retinaNet的检测分支，由十分轻量级的全卷积神经网络构成，所以消耗的时间很少，其中用于分类的子网络，将会产生特征图W×H×KA个预测值。

以下为本发明的具体实现过程。

如图1所示，本发明的一种基于U型特征金字塔的交通目标检测方法，按照如下步骤实现：

步骤S1、获取自动驾驶数据集，并将自动驾驶数据集转换成交通目标检测模型可识别的格式；

步骤S2、利用完成格式转换的自动驾驶数据集训练基础网络，并将基础网络输出的特征图进行深度融合，在此基础上，得到基础特征图；

步骤S3、将得到的基础特征图通过若干个U型模块，得到多级特征金字塔；

步骤S4、根据得到的多级特征金字塔，在每一级上分别运行检测网络，然后利用非极大值抑制算法，将最后的检测结果融合在一起。

在本发明一实施例中，所述步骤S1具体实现如下：

步骤S11、采用公开的KITTI自动驾驶数据集，利用COCO数据集转换脚本，将标签信息转换成json文件；

步骤S12、将json文件和图片文件分别放入不同的文件夹下，制作成标准的COCO数据集格式；

步骤S13、将制作好的COCO数据集文件备用，用于搭建的交通目标检测模型训练。

在本实施例中，在所述步骤S2，通过如下步骤得到基础特征图：

步骤S21、利用完成格式转换的自动驾驶数据集训练VGG16基础网络；

步骤S22、将VGG16基础网络最后三个模块输出的特征图，分别利用1×1的卷积核进行卷积，之后进行上采样，将特征图归一化相同的尺寸，最后把归一化的特征图聚合在一起，得到基础特征图；VGG16基础网络的特征提取过程由以下关系式表述：

其中，x是图像数据，Y1,Y2,Y3是最后三个模块输出的特征图，c1,c2,c3分别是三个1×1卷积核模块，W1,W2,W3分别是VGG16网络最后三个模块卷积层的权重，b1,b2,b3分别是VGG16网络最后三个模块卷积层的偏置，F表示最后得到的基础特征图。

在本实施例中，所述步骤S3具体实现如下：

步骤S31、将得到的基础特征图输入特征金字塔网络，所述特征金字塔网络是由U型模块级联在一起构成的，而每个U型模块中基础特征图都是先经过N个卷积层，然后再经过上采样恢复到之前的分辨率，并将特征图输出，由此构成N个特征图的单级特征金字塔；

步骤S32、将单级特征金字塔聚合成多维的特征金字塔，即通过将M个U型模块分别级联在一起，得到M×N维的特征金字塔。在实践中，我们将N的值取为5，M的值取为2，经过级联的U型模块，会产生5×2维的特征金字塔。

在本实施例中，所述步骤S4具体实现如下：

步骤S41、在得到的M×N(即5×2)维的特征金字塔的每一层运行检测网络，其中检测网络由回归子网络和分类子网络构成，每个子网络都是由全卷积神经网络组成；

步骤S42、在分类子网络中，我们使用Focal loss作为训练时的loss函数，Focalloss被设计的目的是解决单阶段检测器中，类别不平衡的问题，与单阶段目标检测器不同的是，由于双阶段检测器中存在着候选区域产生的步骤，所以经过区域生成网络或者是Select Search方法预先筛选的，所以正负样本的比例不会相差太多，而单目标检测器由于在训练阶段，会产生大量无用的anchor，而真实存在的目标却十分稀少，这样就会造成很多anchor box都是被划分为负样本(例如1：10000)，而Focal loss就是为了解决这一问题所产生的。而Focal loss是交叉熵函数的改进版。

上式中，p是分类子网络预测类别为1时的概率值，定义

然后重写公式(2)，得到CE(p,y)＝CE(p_t)＝-log(p_t)；

解决类别不平衡问题的方法最简单的是在交叉熵函数前加一个平衡权重的因子α∈[0，1]，在实际中，α作为一个模型的超参数，可以在验证集中被训练得到，即

然后就可以得到改进后的交叉熵函数

CE(p,y)＝CE(p_t)＝-α_tlog(p_t) (5)

在具有大量样本类别不均的情况下，改进的交叉熵函数只是可以简单的区分正负样本，但对如何区分难分样本和简单样本就没有很好的效果，所谓难分样本，指的是模型对某类样本学习困难，难以学习其特征，导致成为难分样本，而解决难分样本的方法是通过模型预测的概率值pt，使用1-pt来表示样本难分的程度。因此，再次基础上，区别难分样本的模块因子(1-p_t)^γ可以加入交叉熵函数中，最后，Focal loss可以被定义成：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t) (6)

其中，α＝0.25，γ＝2；

步骤S43、在回归子网络中，为每一个anchor都分配一个最匹配的真实框，回归子网络的输出是拟合anchor和这个真实框的差值；

步骤S44、对于特征图width×high上的任意一点，会产生K个anchor box，分类子网络的学习任务是利用Focal loss学习k个anchor的类别，而回归子网络是拟合真实坐标框和k个anchor之间的距离；经过回归子网络和分类子网络，分别得到width×hight×K个预测值，再利用非极大值抑制算法分别得到最后的S个预测框，即可得到最后的交通目标检测结果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (2)

1.一种基于U型特征金字塔的交通目标检测方法，其特征在于，按照如下步骤实现：

步骤S1、获取自动驾驶数据集，并将自动驾驶数据集转换成交通目标检测模型可识别的格式；

步骤S2、利用完成格式转换的自动驾驶数据集训练基础网络，并将基础网络输出的特征图进行深度融合，在此基础上，得到基础特征图；

步骤S3、将得到的基础特征图通过若干个U型模块，得到多级特征金字塔；

步骤S4、根据得到的多级特征金字塔，在每一级上分别运行检测网络，然后利用非极大值抑制算法，将最后的检测结果融合在一起；

在所述步骤S2，通过如下步骤得到基础特征图：

步骤S21、利用完成格式转换的自动驾驶数据集训练VGG16基础网络；

步骤S22、将VGG16基础网络最后三个模块输出的特征图，分别利用1×1的卷积核进行卷积，之后进行上采样，将特征图归一化相同的尺寸，最后把归一化的特征图聚合在一起，得到基础特征图；VGG16基础网络的特征提取过程由以下关系式表述：

其中，x是图像数据，Y1,Y2,Y3是最后三个模块输出的特征图，c1,c2,c3分别是三个1×1卷积核模块，W1,W2,W3分别是VGG16网络最后三个模块卷积层的权重，b1,b2,b3分别是VGG16网络最后三个模块卷积层的偏置，F表示最后得到的基础特征图；

所述步骤S3具体实现如下：

步骤S31、将得到的基础特征图输入特征金字塔网络，所述特征金字塔网络是由U型模块级联在一起构成的，而每个U型模块中基础特征图都是先经过N个卷积层，然后再经过上采样恢复到之前的分辨率，并将特征图输出，由此构成N个特征图的单级特征金字塔；

步骤S32、将单级特征金字塔聚合成多维的特征金字塔，即通过将M个U型模块分别级联在一起，得到M×N维的特征金字塔；

所述步骤S4具体实现如下：

步骤S41、在得到的M×N维的特征金字塔的每一层运行检测网络，其中检测网络由回归子网络和分类子网络构成，每个子网络都是由全卷积神经网络组成；

步骤S42、在分类子网络中，采用Focal loss作为训练时的loss函数，具体定义如下

上式中，p是分类子网络预测类别为1时的概率值，定义

然后重写公式(2)，得到CE(p,y)＝CE(p_t)＝-log(p_t)；

为解决类别不平衡问题，在交叉熵函数前加一个平衡权重的因子α∈[0，1]，在实际中，α作为一个模型的超参数，可以在验证集中被训练得到，即

然后就可以得到改进后的交叉熵函数

CE(p,y)＝CE(p_t)＝-α_tlog(p_t) (5)

将区别难分样本的模块因子(1-p_t)^γ加入交叉熵函数中，最后，Focal loss定义为：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t) (6)

其中，α＝0.25，γ＝2；

步骤S43、在回归子网络中，为每一个anchor都分配一个最匹配的真实框，回归子网络的输出是拟合anchor和这个真实框的差值；

步骤S44、对于特征图width×high上的任意一点，会产生K个anchor box，分类子网络的学习任务是利用Focal loss学习k个anchor的类别，而回归子网络是拟合真实坐标框和k个anchor之间的距离；经过回归子网络和分类子网络，分别得到width×hight×K个预测值，再利用非极大值抑制算法分别得到最后的S个预测框，即可得到最后的交通目标检测结果。

2.根据权利要求1所述的一种基于U型特征金字塔的交通目标检测方法，其特征在于，所述步骤S1具体实现如下：

步骤S11、采用公开的KITTI自动驾驶数据集，利用COCO数据集转换脚本，将标签信息转换成json文件；

步骤S12、将json文件和图片文件分别放入不同的文件夹下，制作成标准的COCO数据集格式；

步骤S13、将制作好的COCO数据集文件备用，用于搭建的交通目标检测模型训练。

Images