CN106909936B - 一种基于双车辆可变形部件模型的车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于双车辆可变形部件模型的车辆检测方法，属于物体检测技术领域。该方法采用训练双车辆可变形部件模型，并对图像分区域匹配和对匹配结果进行融合，来减少车辆检测中多车辆检测下被遮挡车辆检测的漏检情况。本发明在部分遮挡车辆的检测中优于已有算法，保证检测效率的同时提升了检测效果，确保了整体算法的有效性，能够满足安全驾驶辅助技术应用中的实时性要求。

Description

一种基于双车辆可变形部件模型的车辆检测方法

技术领域

本发明属于物体检测技术领域，具体涉及一种基于双车辆可变形部件模型的车辆检测方法。

背景技术

计算机视觉是在图像处理的基础上发展起来的新兴学科，在信号处理、计算机科学和工程、神经生理学、认知科学和各种智能应用方面有着广阔的发展前景。尤其近些年来，物体检测技术取得了快速发展，在实际应用和理论研究两个方面都发挥着越来越重要的作用。而车辆检测作为物体检测领域比较常见的一种，已逐渐成为人工智能和计算机视觉等领域重要的研究内容。

随着计算机技术的发展，以计算机视觉为代表的被动式信息感知方式逐步成为车辆检测研究的热点，车载计算机视觉感知方式能够获得传统主动式传感器无法比及的丰富信息量。同时，视觉系统成本低、安装方便的优势使之更适合在需要配备ADAS的中低端车型中使用。

当前科研人员采用更通用并具有鲁棒性的特征，如HOG特征、Haar-like特征来对车辆进行检测，这些特征可被直接用来对图像中的目标进行分类和检测。其过程为：把样本图像分割为若干像素的单元，每相邻的4个单元组成一个检测方块，用检测方块对样本图像进行从左到右、从上至下依次滑动扫描，扫描的步长为一个单元，从而得到车辆的特征描述，并将此特征描述反馈给分类器，分类器将判定样本图像中是否含有车辆。HOG特征是一种解释型的图像特征，可用来确定车辆的姿态。Haar-like特征不仅非常适用于检测水平、垂直、对称的结构，还通过使用积分图使特征提取加快，因而可用CPU进行实时计算。但是这种使用检测方块滑动扫描的方法存在一个难点，即对部分遮挡的车辆检测效果差，因为车辆在样本图像中被遮挡，扫描窗口得不到完整的车辆特征，这使得分类器不可避免的产生误判。针对这个难点，本发明提出双车辆可变形部件模型(双DPM)，对样本图像中的完整车辆和被部分遮挡车辆进行综合分析，可以有效避免某个部分的缺失对整体检测结果的影响。

目前被部分遮挡车辆的检测一直是基于机器视觉的车辆检测技术中的难点。中国专利(CN102156989)公开了一种视频帧中车辆遮挡检测与分割方法，该方法首先采用减背景的方法得到运动物体，并对前景运动车辆进行去空洞处理，得到完整的前景运动车辆，构建车辆前景的统计模型，在此基础上采用加入纠错机制的统计模型判断运动团块中是否有车辆发生遮挡，在判定车辆发生遮挡的情况下，根据得到的遮挡点标定遮挡区域，采用sobel算子提取遮挡区域的横向边缘信息，然后将遮挡区域的边缘和前景边缘结合起来，即可得到完整的车辆分割结果。该方法存在的不足之处是对视频帧中车辆的处理过程步骤多，且计算量大，从而对计算机中央处理器、图形处理器、运行内存等硬件要求极高，不然会影响车辆检测实时性。

目前，在车辆检测领域有多种算法，其中可变形部件模型(DPM)是公认的较好的车辆检测模型。车辆检测算法的主要思想是将车辆拆分成多个部件，并且各个部件的位置可以在一定范围内移动，再用一个粗略的车辆特征和几个车辆局部特征来描述车辆信息。中国专利(CN104200236A)公开了基于DPM的快速目标检测方法，该方法采用已经训练好的分类器，即由包含单个目标物体的训练集训练出来的模型进行目标识别。该方法存在的不足之处是由于目标物体会存在遮挡，现有的可变形部件模型(DPM)对多车目标环境中的目标检测效果差，漏检率高。

因此提出将两个车辆，一个完整的车辆和被完整车辆部分遮挡的车辆，作为原始训练集进行训练，得到双车辆可变形部件模型，并以此模型来进行车辆检测。实验结果表明，双车辆可变形部件模型对多车辆检测时容易出现的漏检情况有较大程度的改善。

发明内容

一种基于双车辆可变形部件模型的车辆检测方法，包括以下步骤：

S1，基于双车辆可变形部件模型的训练

根据训练数据集是否含有目标车辆及目标车辆的特征，训练目标车辆模板，该模板包括全局根模板、部件模板以及全局根模板与部件模板的空间位置关系；

S2，模型匹配及融合

由S1训练好双车辆可变形部件模型后，用单车辆可变形部件模型对输入图像进行匹配，从而得到包含车辆的目标矩形框；然后对输入图像进行分区域处理，对双车辆可变形部件模型的不同区域赋予权值；双车辆可变形部件模型响应值与权值的乘积加上单车辆可变形部件模型响应值即为最终融合结果。

进一步，所述S1具体为：

S1.1，训练数据集的准备，包括原始正样本和原始负样本；

S1.2，使用不含隐形变量的支持向量机训练得到一个初始化根模板F₀；

S1.3，用初始化根模板F₀与原始正样本的目标矩形框显著重叠50％以上对原始正样本进行筛选，得到更新后正样本，更新后正样本和原始负样本重新训练，更新全局根模板；

S1.4，用贪心算法在目标矩形框中依次选取六个部件模板；

S1.5，用全局根模板进行滑动扫描，重新构建正负样本，并在新的样本集上进行训练，更新双车辆可变形部件模型参数。

进一步，所述训练数据集是否含有目标车辆及目标车辆的特征指的是初始化根模板F₀得分最高的一个位置。

进一步，所述S1使用隐变量支持向量机来训练双车辆可变形部件模型。

进一步，所述全局根模板用于描述车辆整体特征，所述部件模板用于描述车辆局部特征。

本发明的有益效果：

本发明包含双车辆可变形部件模型的训练和模型的匹配及融合两个过程，在模型训练过程中，通过训练数据集得到双车辆可变形部件模型；在模型匹配及融合过程中，将训练好的双车辆可变形部件模型对检测窗口进行匹配，并对匹配结果进行融合得到最终的包含车辆的矩形框。本发明可以充分减少单车辆可变形部件模型对遮挡车辆的漏检情况，降低了漏检率。

附图说明

图1为一种基于双车辆可变形部件模型的车辆检测方法流程图；

图2为原始正样本和更新后正样本实例图；

图3为负样本难例实例图；

图4为可视化双车辆可变形部件模型图，(a)行为两车辆横向遮挡模型图，(b)行为两车辆斜向遮挡模型图，(c)行为两车辆纵向遮挡模型图，(d)列为全局根模板模型图，(e)列为部件模板模型图，(f)列为部件模板相对于全局根模板的空间位置模型图；

图5为模型匹配及融合流程图；

图6为实施例一多种车辆检测算法在样本库下的ROC曲线图；

图7为实施例二多种车辆检测算法在样本库下的ROC曲线图；

图8为多种车辆检测算法对遮挡车辆检测实例图。

具体实施方式

本发明实施例提供了一种基于双车辆可变形部件模型的车辆检测方法，其中基于本发明的实施例，本领域的其他技术人员在没有做出创造性劳动的前提下所获得的实施例，都属于本发明所保护的范围。

如图1所示，一种基于双车辆可变形部件模型的车辆检测方法流程图，包括以下步骤：

步骤1：基于双车辆的可变形部件模型的训练；

用隐变量支持向量机(Latent variable Support Vector Machine，LSVM)来训练双车辆可变形部件模型。

①人工裁剪一个图像尺寸大小相同的训练数据集。训练数据集中包括包含双车辆的原始正样本7200张和不包含车辆的任意原始负样本23600张。

②初始化全局根模板(全局根模板用于描述车辆整体特征)。根据训练数据集中目标矩形框大小的统计值，自动选择全局根模板的尺寸，使用不含隐藏变量的支持向量机(Support Vector Machine，SVM)训练得到一个初始化根模板F₀。

③更新全局根模板。通过②得到的初始化根模板F₀，在训练数据集原始的、未经缩放处理的正样本图像上使用该全局根模板，且在与原始正样本的目标矩形框显著重叠50％以上的条件下，找到初始化根模板F₀得分最高的一个位置，并根据以上结果更新原始正样本。如图2所示，黑色目标矩形框表示原始正样本，灰色目标矩形框表示更新后正样本。用更新后正样本和原始负样本重新训练，更新全局根模板。

④初始化部件模板(部件模板用于描述车辆局部特征)。在③更新后的全局根模板上使用贪心算法(贪心算法是指不从整体最优上加以考虑，它所做出的仅是在某种意义上的局部最优解)找出目标矩形框内对应的所有权值，计算所有权值的范数，范数最大的位置作为第一个部件的位置。随后将当前目标矩形框内的权值清零，然后继续搜索下一个部件的位置，直到选出六个部件的位置，最终使得六个部件的面积相同，且六个部件的面积之和达到全局根模板总面积的4/5以上。

⑤更新双车辆可变形部件模型。重新构建正负样本，并在新的样本集上进行训练，得到新的双车辆可变形部件模型参数。对于新的正样本，在保证与原始正样本至少1/2重叠的情况下，用重新构建的全局根模板在所有可能的位置和尺度上进行滑动扫描；并在滑动扫描过程中选出得分最高的位置作为新的正样本，放入样本图像缓冲区中。对于新的负样本，则选择重新构建的全局根模板在原始负样本滑动扫描时得分最高的位置作为新的负样本，即检测难度很大的负样本难例，如图3左下角虚线框所示。同时去掉检测难度很小的常规负样本，如图3右上角实线框所示。重复上述正负样本更新过程，不断向样本图像缓冲区输送新的正负样本，并利用样本图像缓冲区中的正负样本进行训练，更新双车辆可变形部件模型参数。

①-⑤都将训练数据存储下来，训练完成后，最终结果被放在cachedir目录里；若某一步骤出现错误，下次重新运行时可自动加载上次保存的数据；训练出来的可视化双车辆可变形部件模型如图4所示。

步骤二：模型匹配及融合；

用双车辆可变形部件模型在图像中对车辆进行匹配时，用根位置(即六个部件的位置)来表示图像中已经被判定为包含车辆目标的检测窗口(即⑤中的滑动扫描)所在位置，即每个根位置表示有车辆目标被检测到。在图像金字塔的每一层根据各个部件的最佳位置计算每个根位置的综合得分，综合得分表示该层全局根模板响应值与经过变换和降采样的部件模板响应值之和。

设

其中，R_i,l(x,y)是存放第i个模板在特征金字塔第l_i层卷积后的响应值的数组，F_i′表示滤波器F₀的权值向量，

表示变形特征，H表示特征金字塔，(x，y，l)表示第i个滤波器在特征金字塔第l层图像的(x，y)的位置；当i＝0时，表示全局根模板，当i>0时，表示部件模板。

然后对式(1)进行转换来允许具有D_i，l(x，y)空间不确定性，用D_i，l(x，y)来表示将第i个部件在特征金字塔l层的最优位置的响应值，则

其中，D_i,l(x,y)数组表示对根位置综合得分中第i个部件模板的贡献值，d_i表示一个四维向量。

l_i层的根位置综合得分则是将全局根模板响应值与各个部件模板的贡献值相加得到的，即：

其中，(x₀,y₀)表示全局根模板的位置，λ表示为获得某一层的两倍分辨率而需要在图像金字塔中向下搜索的层数，v_i表示一个二维向量。

在模型训练过程中通过训练得到单车辆可变形部件模型和双车辆可变形部件模型后，就可使用模型对输入图像进行匹配。

通过匹配得到了所有部件模板的响应值，接下来需要将所有的响应值进行融合。首先使用单车辆可变形部件模型对输入图像进行匹配得到包含车辆的目标矩形框，然后对输入图像进行分区域处理，在不同的区域赋予双车辆可变形部件模型响应值不同的权值。单车辆可变形部件模型响应值作为根位置响应值的主要贡献者，双车辆可变形部件模型作为根位置响应值的辅助贡献者。匹配及融合过程如图5所示。

步骤三：实验结果与分析

本发明将训练得到的双车辆可变形部件模型进行有效性实验。实验图片来自于KITTI标准数据集，KITTI训练集含有图片7481张，其中含有车辆约35000辆；KITTI测试集含有图片7518张，其中含有车辆约27000辆。实验分为两组，第一组实验为传统车辆检测算法、单车辆可变形部件模型、双车辆可变形部件模型对样本库中不含遮挡车辆的单个车辆进行检测效果的对比。第二组实验为传统车辆检测算法、单车辆可变形部件模型、双车辆可变形部件模型对样本库中含有遮挡车辆的多车辆进行检测效果的对比。特别地，本发明用来做对比的传统车辆检测算法为Haar+Adaboost分类器、HOG+LSVM分类器和Haaris+SIFT算法。实验平台为Intel酷睿2双核2.67G处理器，4G内存，操作系统为Windows 7，编程软件为Microsoft Visual 2013、MATLAB 2015b。并在结果中用矩形框表示目标车辆。

此外，感受性曲线(receiver operating characteristic curve，简称ROC曲线)用来作为各车辆检测方法的性能评价指标。以上两组实验均以每幅图像的误检率(FalsePositive Per Image，FPPI)作为横坐标，以真正类率(Ture Positive Rate，TPR)作为纵坐标。

实施例一

本发明所设计的双车辆可变形部件模型与单车辆可变形部件模型和传统的车辆检测算法对样本库中的单个车辆的检测率进行综合比较，结果如图6所示；当FPPI取1时，双车辆可变形部件模型、单车辆可变形部件模型、Haar+Adaboost分类器、HOG+LSVM分类器和Haaris+SIFT算法的检测率分别为91.58％，94.75％，90.87％，89.62％，84.37％。

实施例二

本发明所设计的双车辆可变形部件模型与传统的单车辆可变形部件模型和传统车辆检测算法在KITTI标准数据集下对含有被部分遮挡的多车辆检测情况进行综合比较，结果如图7所示；当FPPI取1时，双车辆可变形部件模型、单车辆可变形部件模型、Haar+Adaboost分类器、HOG+LSVM分类器和Haaris+SIFT算法的检测率分别为86.37％，61.30％，71.34％，67.45％，72.78％。

此外，为方便直观对比，给出实施过程中各算法在KITTI标准数据集下对遮挡车辆的检测实例，如图8所示的五组实例。

以上结果可以直观看出，单车辆可变形部件模型和传统分类器对车辆被遮挡情况下车辆检测存在较高的漏检率和误检率，而双车辆可变形部件模型则表现较好，能够在多车辆路况下多个视角地将被遮挡车辆有效地检测出来，使被遮挡车辆的漏检率大幅降低。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (5)

1.一种基于双车辆可变形部件模型的车辆检测方法，其特征在于，包括以下步骤：

S1，基于双车辆可变形部件模型的训练

根据训练数据集是否含有目标车辆及目标车辆的特征，训练目标车辆模板，该模板包括全局根模板、部件模板以及全局根模板与部件模板的空间位置关系；

S2，模型匹配及融合

由S1训练好双车辆可变形部件模型后，用单车辆可变形部件模型对输入图像进行匹配，从而得到包含车辆的目标矩形框；然后对输入图像进行分区域处理，对双车辆可变形部件模型的不同区域赋予权值；双车辆可变形部件模型响应值与权值的乘积加上单车辆可变形部件模型响应值即为最终融合结果。

2.根据权利要求1所述的一种基于双车辆可变形部件模型的车辆检测方法，其特征在于，所述S1具体为：

S1.1，训练数据集的准备，包括原始正样本和原始负样本；

S1.2，使用不含隐形变量的支持向量机训练得到一个初始化根模板F₀；

S1.3，用初始化根模板F₀与原始正样本的目标矩形框显著重叠50％以上对原始正样本进行筛选，得到更新后正样本，更新后正样本和原始负样本重新训练，更新全局根模板；

S1.4，用贪心算法在目标矩形框中依次选取六个部件模板；

S1.5，用全局根模板进行滑动扫描，重新构建正负样本，并在新的样本集上进行训练，更新双车辆可变形部件模型参数。

3.根据权利要求2所述的一种基于双车辆可变形部件模型的车辆检测方法，其特征在于，所述训练数据集是否含有目标车辆及目标车辆的特征指的是初始化根模板F₀得分最高的一个位置。

4.根据权利要求1所述的一种基于双车辆可变形部件模型的车辆检测方法，其特征在于，所述S1使用隐变量支持向量机来训练双车辆可变形部件模型。

5.根据权利要求1所述的一种基于双车辆可变形部件模型的车辆检测方法，其特征在于，所述全局根模板用于描述车辆整体特征，所述部件模板用于描述车辆局部特征。

Images