CN109902677A - 一种基于深度学习的车辆检测方法 - Google Patents

Abstract

本发明适用于车辆检测领域，提供了一种基于深度学习的车辆检测方法，所述车辆检测方法包括以下步骤：S1：通过视频流获取若干包含车辆的图片，并在图片上做好人工标注，按比例划分为检测模型的训练集和验证集；S2：基于DDN构建目标检测PDN网络：S3：在目标检测PDN网络上使用训练集进行模型训练，并选出验证集表现最优的模型；S4：基于最优的模型，在GPU服务器上进行预测，实现对视频流进行目标检测。解决现有技术中在实际的目标检测中，通常是对视频进行处理，需要算法能实时进行目标检测，少部分研究者的方法在速度上满足了需求，但是会以牺牲精度为代价，精度低使得应用无法落地，大量的漏检和误检不可接受的技术问题。

Description

一种基于深度学习的车辆检测方法

技术领域

本发明属于车辆检测领域，尤其涉及一种基于深度学习的车辆检测方法。

背景技术

目标检测是计算机视觉领域中一个重要的课题，主要任务是从图像中定位感兴趣的目标，需要准确地判断每个目标的具体类别，并给出每个目标的边界框。由于视角、遮挡、姿态等因素引起目标发生形变，导致目标检测成为一个具有挑战性的任务。

传统目标检测方法主要分为预处理、窗口滑动、特征提取、 特征选择、特征分类和后处理六个步骤。传统目标检测一般是通过设计一些较好的人工特征，然后使用分类器进行分类。随着目标检测精度和速度要求越来越高，传统方法已经不能满足需求了。近年来，深度学习技术得到了广泛的应用，产生了一系列目标检测算法，例如RCNN、Fast-RCNN、Faster-RCNN，YOLO,SSD及其一系列衍生算法，但是这些检测技术或由于精度低或检测耗时过长并不能很好的应用到商业产品中。目前的目标检测算法很难满足实际应用的需求，在科研领域，大部分研究者只关注目标检测精度（使用mAP度量），会设计出很复杂的网络加一些很复杂的方法和一些训练技巧，然后在公开数据集上得到一个较好的成绩，但是这很难直接应用到实际中去。在实际的目标检测通常是对视频进行处理，需要算法能实时进行目标检测。少部分研究者的方法在速度上满足了需求，但是会以牺牲精度为代价，精度低使得应用无法落地，大量的漏检和误检不可接受。

发明内容

本发明的目的在于提供一种基于深度学习的车辆检测方法，旨在解决现有技术中在实际的目标检测中，通常是对视频进行处理，需要算法能实时进行目标检测，少部分研究者的方法在速度上满足了需求，但是会以牺牲精度为代价，精度低使得应用无法落地，大量的漏检和误检不可接受的技术问题。

本发明是这样实现的，一种基于深度学习的车辆检测方法，所述车辆检测方法包括以下步骤：

步骤S1：通过视频流获取若干包含车辆的图片，并在图片上做好人工标注，按比例划分为检测模型的训练集和验证集；

步骤S2：基于DDN构建目标检测PDN网络；

步骤S3：在目标检测PDN网络上使用训练集进行模型训练，并选出验证集表现最优的模型；

步骤S4：基于最优的模型，在GPU服务器上进行预测，实现对视频流进行目标检测。

本发明的进一步技术方案是：所述步骤S1中的人工标注包括目标类别及目标包围框，所述目标类别包括轿车、货车及卡车，所述目标包围框为将每一张图片中的车辆都用矩形框框出，矩形框为目标车辆的最小外接矩形，对应产生的XML文件，在XML文件中，记录图片中每个目标车辆的坐标，包含左上角坐标x，左上角坐标y，宽度w和高度h，同时删掉模糊图片或者难以标注的图片，同时利用ImageNet、Pascal VOC及COCO公开数据集作为补充数据集，将含有车辆的图片挑选出来，由于这部分图片自带标注文件，可以直接使用，将上述数据按照等比例混合，按照9:1的比例划分为检测模型的训练集和验证集，训练集用于模型训练，验证集不参与模型训练，用于验证模型的训练效果。

本发明的进一步技术方案是：所述步骤S2中的目标检测PDN网络为以DDN网络作为骨干网络，检测部分借鉴FPN思想，使用特征融合的手段进行多层检测，并且使用浅层的大的特征图检测小目标，使用深层的含更多语义信息的特征图检测大目标。

本发明的进一步技术方案是：所述步骤S3中的模型训练包括零开始训练法及使用预训练模型法。

本发明的进一步技术方案是：所述零开始训练法为直接在步骤1中的数据集上进行训练，权重参数全部使用随机初始化的方法，将步骤1中的训练集，根据实际数据集调整anchors的尺寸分布，该分布由K-means算法得到，使用1-IoU作为距离度量，其中IoU表示先验候选框与标记框之间面积的交并比，计算公式如下:

上式中A表示先验候选框，B表示标记框，∩表示A与B的交集，∪表示A与B的并集，并通过左右翻转、随机裁剪、色彩抖动对数据进行数据增强操作，通过学习率、批量大小、优化方法不断调整超参数来训练PDN网络。

本发明的进一步技术方案是：所述使用预训练模型法为先把DDN单独在ImageNet上训练分类模型，通过调整一些超参数训练出一个较好的分类模型，然后把训练好的模型参数作为PDN的骨干网络的初始化参数，后面检测部分的一些层使用随机初始化方法，然后在步骤1中的数据集上进行训练，并通过左右翻转、随机裁剪、色彩抖动对数据进行数据增强操作，通过学习率、批量大小、优化方法不断调整超参数来训练PDN网络。

本发明的进一步技术方案是：所述最优的模型为在训练过程，每经过1轮存储一次模型，并将该模型在验证集上测试，根据车辆检测的精度mAP选择最优的模型。

本发明的进一步技术方案是：所述在GPU服务器上进行预测为构建网络的前向推断过程，前向推断过程的网络结构与训练时的结构是相同的，只是没有计算损失和回传损失的过程，输入参数为图像数据、返回为预测结果，输入图片做一个简单的预处理，然后传给网络的输入，该网络可以自适应任何尺寸的图片，网络内部会自动做缩放，并可以进行一定后处理，在对视频进行目标检测时，通过加入卡尔曼滤波器进行跟踪，使得检测过程更加平滑和稳定。

本发明的有益效果是：基于深度学习车辆检测方法充分利用了深度学习的准确度高的性质，鲁棒性好，能够适应外界环境的各种变化。通过使用设计构建DDN网络，该网络有较高的精度和较低的计算量，保证了实时性的要求，具有很高的实用性。

附图说明

图1是本发明实施例提供的一种基于深度学习的车辆检测方法的步骤流程图；

图2是本发明实施例提供的一种基于深度学习的车辆检测方法的DDN网络结构图；

图3是本发明实施例提供的一种基于深度学习的车辆检测方法的PDN网络结构图；

图4是本发明实施例提供的一种基于深度学习的车辆检测方法的目标检测流程；

图5是本发明实施例提供的一种基于深度学习的车辆检测方法的目标检测原图；

图6是本发明实施例提供的一种基于深度学习的车辆检测方法的目标检测结果图。

具体实施方式

图1-6示出了本发明提供的一种基于深度学习的车辆检测方法，所述车辆检测方法包括以下步骤：

步骤1）获取数据，通过视频流获取若干包含车辆的图片，并在图片上做好人工标注，按比例划分为检测模型的训练集和验证集；人工标注包含两个部分，目标类别和目标包围框；所述目标类别包括轿车、货车及卡车的一系列类别的车，所述的人工标注是指：使用标注工具将每一张图片中的车辆都用矩形框框出，矩形框为目标车辆的最小外接矩形，对应产生的XML文件，在XML文件中，记录图中每个目标的坐标，包含左上角坐标x，左上角坐标y，宽度w和高度h，同时删掉模糊图片或者难以标注的图片，同时利用ImageNet、Pascal VOC、COCO等公开数据集作为补充数据集，将含有车辆的图片挑选出来，由于这部分图片自带标注文件，可以直接使用，将上述数据按照等比例混合，按照9:1的比例划分为检测模型的训练集和验证集，训练集用于模型训练，验证集不参与模型训练，用于验证模型的训练效果。

步骤2）网络构建。基于DDN(Dilated-Darknet-Network，扩张卷积暗网络)构建目标检测PDN网络，检测部分借鉴FPN（Feature Pyramid Networks，特征金字塔网络）思想和加入转置卷积，具体网络结构图见图2和图3。其中图2中：Residual Block表示残差模块，Dilated Residual Block表示扩张残差模块，Global Pooling表示全局池化，softmax表示使用e指数进行归一化函数，图3中，Inuputs表示输入，conv2D表示2维卷积，ResidualBlock表示残差模块，Dilated Rsidual Block表示扩展卷积残差模块，Concat表示在通道维度上进行拼接，Transposed conv2D表示转置卷积，predict表示预测过程，在三个不同的尺度进行预测。

所述的DDN网络是指：由48层1*1卷积或者3*3卷积网络构成的全卷积网络，在网络最后一个模块使用Dilated Convolution（扩张卷积），扩张卷积的最大优点在于不做池化或者下采样的操作，可以增大感受野，让每个卷积输出都包含较大范围的信息，同时尽可能保留较大的特征图和图像的空间信息，这对于小目标检测非常关键。对于目标检测问题，使用扩张卷积可以极大的保留空间信息。使用扩张卷积时，由于特征图不减小，这会极大增加计算量，与一般的网络结构不同，DDN网络在最后一个模块里，所有卷积的通道数都设置为256，实验证明，该卷积层通道数是256（记为DDN-256网络）和通道数是1024(记为DDN-1024网络)相比，精度几乎没有下降或下降很少（由实际数据集决定），但是极大减少了计算量。另外，在最后一个模块中只有4个残差模块，在这里使用Bottleneck结构（瓶颈结构），通过在每个模块的首尾分别添加1*1的卷积可以进一步减少计算量，加快预测速度，同时可以增加网络的深度和增加非线性，提升网络精度。在分类任务中，与Resnet101（101层的残差网络）对比，准确率接近，但是速度更快。在ImageNet数据集上DDN网络的top-1准确率（预测概率最大的是正确类别）分别是77.1%（DDN-256网络）和77.3%（DDN-1024网络），Resnet101的top-1准确率是77.1%。

所述PDN网络结构见图3所示，整个网络以DDN网络作为骨干网络，检测部分借鉴FPN思想，使用特征融合的手段进行多层检测，整体思路可以概括为，使用浅层的大的特征图检测小目标，使用深层的含更多语义信息的特征图检测大目标。在FPN中，通过融合深层的含有较多语义信息的特征和浅层的语义信息较少的特征，可以更好定位各种尺度的目标。在网络的损失函数部分加入了Focal loss（焦点损失）和OHEM（Online hard examplemining，在线困难样本挖掘）方法。在线困难样本挖掘方法是在计算损失的时候重点关注比较难的样本，即损失比较大的那些样本，通过加权的方式来处理不同大小的损失。焦点损失可以让网络更加关注难识别的样本，设计加权损失函数，减少简单样本损失在总的损失中的比例，进行难例挖掘，可以进一步提升精度。焦点损失公式如下：

上式中表示目标检测结果中类别的识别概率，取值0-1之间，越大表示可能性越高，log自然对数，γ表示焦点参数(focal parameter),是一个0-1之间的数，当γ=0时，焦点损失是普通的交叉熵损失函数，是一个调制系数，是一个0-1之间的数，用来控制正负样本在总的损失中的比重。

步骤3）模型训练，在目标检测PDN网络上使用训练集进行模型训练，并选出验证集表现最优的模型。

所述模型训练有两种训练方法：

方法1是指从零开始训练，直接在步骤1中的数据集上进行训练，权重参数全部使用随机初始化的方法。将步骤1中的训练集，根据实际数据集调整anchors（先验候选框）的尺寸分布，该分布由K-means算法得到，使用(1-IoU)作为距离度量，其中IoU表示先验候选框与标记框之间面积的交并比。计算公式如下:

上式中A表示先验候选框，B表示标记框，∩表示A与B的交集（重合部分面积），∪表示A与B的并集（A与B的总面积，其中重合的部分只算一次）。

对数据进行左右翻转、随机裁剪、色彩抖动等数据增强操作，不断调整学习率、批量大小（batch_size）、优化方法等超参数来训练PDN网络。

方法2是指使用预训练模型，先把DDN单独在ImageNet上训练分类模型，通过调整一些超参数训练出一个较好的分类模型，然后把训练好的模型参数作为PDN的骨干网络的初始化参数，后面检测部分的一些层使用随机初始化方法，然后在步骤1中的数据集上进行训练，数据增强的操作同方法1。

一般情况，方法2较方法1的精度更高，收敛更快，训练时间更短。

步骤4）最优模型预测，基于最优的模型，在GPU服务器上进行预测，实现对视频流进行目标检测，具体的预测流程见图4。

所述的预测是：构建网络的前向推断过程，前向推断过程的网络结构与训练时的结构是相同的，只是没有计算损失和回传损失的过程。输入参数为图像数据、返回为预测结果，输入图片做一个简单的预处理，然后传给网络的输入，该网络可以自适应任何尺寸的图片，网络内部会自动做缩放。并可以进行一定后处理，在对视频进行目标检测时，通过加入卡尔曼滤波器进行跟踪，使得检测过程更加平滑和稳定。

关于两个网络结构的说明：图2是一个分类网络由一系列卷积层、池化层、激活层等组成，作为图3检测方法的骨干网络，需要先在ImageNet数据集上进行训练，将训练好的权重作为PDN网络的初始化权重，其中新添加的层使用随机初始化，比如检测部分（右半部分）是新加的层需要随机初始化权重。图3是该方法的整体网络结构，左半部分是去掉全连接层的DDN，作为特征提取层，右半部分分别在三个不同的层次进行预测，形成一个金字塔网络，其中深层具有更大的感受野，预测大目标，浅层预测小目标。

该方法是一种基于回归的目标检测算法。其首先将输入的图片划分为的网格(具体大小由最后一层特征图大小决定)，如果图片中某一个物体的中心恰好落在了其中的任意一个网格中，那么该网格便需要对这个物体进行检测。每一个网格会根据预先设定好的Q个（本发明是使用9个，3层每层3个）候选边框初始进行预测。因此对于一张待预测的图片，其候选边框数量为。每一个候选边框均需要对五个值进行预测。分别为:x，y，w，h，C。其中 x，y 表示候选边框的中心点的横纵坐标，w，h 表示的是候选边框的宽和高。但需要注意的是这四个值均应根据图像分辨率大小进行归一化后再进行训练。C 表示的是候选边框的置信度，即:

其中表示的是网格中存在目标的概率值，若对于一个网格中出现了目标物体，则的值为1；若没有出现目标物体，则的值为0，即置信度C的值也为0。 为预测目标框与真实目标框的面积交并比。当网格中存在目标时，其还需要对目标类别进行预测，用条件概率 进行表示。将类别预测得到的值与候选边框置信度C进行相乘，最终得到的是某个类别M的置信度。

网络结构是使用PDN网络，损失函数部分分为定位损失和类别损失，定位损失使用yolo论文中的L2损失，类别损失使用焦点损失。定位损失公式：

上式是本方法的定位损失。λ是一个控制定位损失在总的损失占比的系数，默认是5，因为定位损失相对分类损失更重要，所以占比更重。S表示最后卷积的特征图的大小，A表示每个区域生成锚框的个数，默认是5，是一个0-1函数，如果第i行j列的区域有目标，取值为1，否则取值0.x,y,h,w分别表示中心点的坐标，和预测框的高和宽，其中下标带了^表示是真实值，没带的表示预测值。

基于深度学习车辆检测方法充分利用了深度学习的准确度高的性质，鲁棒性好，能够适应外界环境的各种变化。通过使用设计构建DDN网络，该网络有较高的精度和较低的计算量，保证了实时性的要求，具有很高的实用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的车辆检测方法，其特征在于，所述车辆检测方法包括以下步骤：

步骤S1：通过视频流获取若干包含车辆的图片，并在图片上做好人工标注，按比例划分为检测模型的训练集和验证集；

步骤S2：基于DDN构建目标检测PDN网络；

步骤S3：在目标检测PDN网络上使用训练集进行模型训练，并选出验证集表现最优的模型；

步骤S4：基于最优的模型，在GPU服务器上进行预测，实现对视频流进行目标检测。

2.根据权利要求1所述的车辆检测方法，其特征在于，所述步骤S1中的人工标注包括目标类别及目标包围框，所述目标类别包括轿车、货车及卡车，所述目标包围框为将每一张图片中的车辆都用矩形框框出，矩形框为目标车辆的最小外接矩形，对应产生的XML文件，在XML文件中，记录图片中每个目标车辆的坐标，包含左上角坐标x，左上角坐标y，宽度w和高度h，同时删掉模糊图片或者难以标注的图片，同时利用ImageNet、Pascal VOC及COCO公开数据集作为补充数据集，将含有车辆的图片挑选出来，由于这部分图片自带标注文件，可以直接使用，将上述数据按照等比例混合，按照9:1的比例划分为检测模型的训练集和验证集，训练集用于模型训练，验证集不参与模型训练，用于验证模型的训练效果。

3.根据权利要求2所述的车辆检测方法，其特征在于，所述步骤S2中的目标检测PDN网络为以DDN网络作为骨干网络，检测部分借鉴FPN思想，使用特征融合的手段进行多层检测，并且使用浅层的大的特征图检测小目标，使用深层的含更多语义信息的特征图检测大目标。

4.根据权利要求3所述的车辆检测方法，其特征在于，所述步骤S3中的模型训练包括零开始训练法及使用预训练模型法。

5.根据权利要求4所述的车辆检测方法，其特征在于，所述零开始训练法为直接在步骤1中的数据集上进行训练，权重参数全部使用随机初始化的方法，将步骤1中的训练集，根据实际数据集调整anchors的尺寸分布，该分布由K-means算法得到，使用1-IoU作为距离度量，其中IoU表示先验候选框与标记框之间面积的交并比，计算公式如下:

上式中A表示先验候选框，B表示标记框，∩表示A与B的交集，∪表示A与B的并集，并通过左右翻转、随机裁剪、色彩抖动对数据进行数据增强操作，通过学习率、批量大小、优化方法不断调整超参数来训练PDN网络。

6.根据权利要求4所述的车辆检测方法，其特征在于，所述使用预训练模型法为先把DDN单独在ImageNet上训练分类模型，通过调整一些超参数训练出一个较好的分类模型，然后把训练好的模型参数作为PDN的骨干网络的初始化参数，后面检测部分的一些层使用随机初始化方法，然后在步骤1中的数据集上进行训练，并通过左右翻转、随机裁剪、色彩抖动对数据进行数据增强操作，通过学习率、批量大小、优化方法不断调整超参数来训练PDN网络。

7.根据权利要求5或6任一项所述的车辆检测方法，其特征在于，所述最优的模型为在训练过程，每经过1轮存储一次模型，并将该模型在验证集上测试，根据车辆检测的精度mAP选择最优的模型。

8.根据权利要求7所述的车辆检测方法，其特征在于，所述在GPU服务器上进行预测为构建网络的前向推断过程，前向推断过程的网络结构与训练时的结构是相同的，只是没有计算损失和回传损失的过程，输入参数为图像数据、返回为预测结果，输入图片做一个简单的预处理，然后传给网络的输入，该网络可以自适应任何尺寸的图片，网络内部会自动做缩放，并可以进行一定后处理，在对视频进行目标检测时，通过加入卡尔曼滤波器进行跟踪，使得检测过程更加平滑和稳定。