CN103942560B - 一种智能交通监控系统中的高分辨率视频车辆检测方法 - Google Patents

Abstract

本发明属于智能交通和视频监控技术领域，涉及一种基于高分辨率视频的车辆检测方法。本发明结合智能交通系统的实际应用情况，将视频车辆检测问题视为车头（或车尾）区域的检测问题，为便于描述以车头区域为例；首先在高分辨率监控视频中设置车辆检测的感兴趣区域，利用感兴趣区域中的梯度密度信息和车头区域的结构信息生成一系列的候选区域；使用监督学习方法离线训练车辆与背景的二分类器，其中正样本满足车头的结构约束；使用分类器对候选区域进行验证，将分类为车辆的候选区域标记为车辆区域；使用聚类方法滤除误检并合并多个检测结果，得到最终的车辆检测结果。本发明可以有效地去除误检，提高车辆检测的准确率；操作简单，应用前景广阔。

Description

一种智能交通监控系统中的高分辨率视频车辆检测方法

技术领域

本发明属于智能交通和视频监控技术领域，具体为一种基于高分辨率视频的车辆检测方法，用于智能交通监控系统中快速定位车辆目标。

背景技术

随着计算机视觉和成像技术的发展，基于视频的智能交通监控系统逐渐得到了广泛的应用。其中车辆检测是智能交通监控系统的核心技术，系统对监控场景的高层语义理解，如车辆轨迹获取、车辆行为分析、异常事件检测等，都很大程度上依赖于车辆检测的结果。因此高效、鲁棒的车辆检测方法对于智能交通监控系统具有重要的意义。

目前的视频车辆检测方法可分为两类。一类方法将车辆看成是场景中主要的运动目标，通过运动目标检测方法(如帧间差、背景建模)定位车辆。此类方法存在许多缺陷。首先场景中的阴影和遮挡会给运动目标检测带来很大的干扰，需要添加复杂的阴影和遮挡处理策略；其次，运动目标检测方法通常不能处理光照突变以及复杂的动态场景，限制了此类方法的应用场景；此外，运动目标检测很难处理高分辨视频，通常需要进行降采样，丢失了有用的细节信息。

另一类在视频中检测车辆的方法是，训练一个判别车辆与背景的二分类器，在视频中将分类为车辆的局部区域标记为车辆。此类方法能有效地处理复杂的动态场景，对交通场景中阴影、光照、天气条件等因素具有较好的稳定性，能够保证较高的检测精度。然而，此类方法通常采用滑动窗口作为搜索策略，处理高分辨率视频时往往会带来极大的计算量，从而不利于实际应用。

目前，为了获得行驶中的车辆以及驾驶员的清晰图像，高清摄像机在智能交通系统中已经得到了广泛的应用。同时，高清摄像机提供的高分辨率视频包含了丰富的细节信息，有利于提高车辆检测的准确率。

发明内容

本发明的目的是克服现有车辆检测技术无法有效处理高分辨率视频的不足，提高复杂交通场景中的车辆检测率，从而提供一种基于高分辨率视频的车辆检测方法。该方法能在高清摄像机获取的高分辨率图像中快速且准确地检测车辆，为后续的交通监控任务提供有效的基础信息。

本发明的主要内容为：结合智能交通系统的实际应用情况，将视频车辆检测问题视为车头(或车尾)区域的检测问题，为了便于描述以车头区域为例，车尾区域类似；首先在高分辨率监控视频中设置车辆检测的感兴趣区域，利用感兴趣区域中的梯度密度信息和车头区域的结构信息在感兴趣区域中生成一系列的候选区域；使用监督学习方法离线训练车辆与背景的二分类器，其中正样本满足车头的结构约束；然后使用分类器对候选区域进行验证，将分类为车辆的候选区域标记为车辆区域；最后使用聚类方法滤除误检并合并真实车辆区域周围的多个检测结果，得到最终的车辆检测结果。

本发明的实现步骤如下：

步骤一：感兴趣区域设置与网格化

设置感兴趣区域，将感兴趣区域网格化为若干个同样大小的胞元；

步骤二：特征提取与显著性计算

对每一个胞元，记其对应图像区域为C，则该区域内的每个像素点的水平梯度值C_x(i,j)可由下式计算：

C_x(i,j)＝|C(i+1,j)-C(i-1,j)|. (1)

其中C(i,j)为该位置的灰度值，该区域内水平梯度值的密度定义为：

其中|C|为该区域内的像素点总数。以每个胞元内的水平梯度值的密度为特征，将所有特征值大于给定阈值的胞元标记为显著性胞元；采用以下两个步骤滤除其他垂直边缘密集的区域，只保留车头或车尾区域内属于车灯和车牌的显著性胞元：

(i)车灯和车牌的正下方是平滑的车身或路面，滤除与正下方梯度密度相近的显著性胞元；

(ii)车灯和车牌区域是梯度密集的区域，滤除水平方向邻域内包含空间连续的显著性胞元个数少于3个的显著性胞元；

最终得到的显著性胞元即代表了感兴趣区域内可能存在的属于车灯和车牌的显著性部件；

步骤三：候选区域生成

车灯与车牌具有明显的结构信息，即两个车灯位置偏上且左右对称，车牌偏下且居中；利用此结构约束，使用滑动窗口搜索，将满足特定结构信息的区域标记为候选区域，具体步骤为：

(i)根据先验知识确定车头或车尾区域的大小，使用固定大小的滑动窗口进行搜索；对每个扫描窗口统计相应部件位置的显著性胞元个数；

(ii)车牌部件相对车灯部件具有更高的可靠性，为车牌部件对应位置的显著性胞元个数赋以大于车灯部件的权值；

(iii)将显著性胞元个数大于给定阈值的窗口标记为候选区域；

步骤四：收集训练样本并进行人工标注

步骤五：离线训练车辆分类器

步骤六：使用车辆分类器进行候选区域验证，通过验证的区域即为车辆区域。有益效果

本发明与其它视频车辆检测方法相比，具有以下几个方面的优势：

(1)能很好的适应复杂交通场景中的运动阴影、光照变化、恶劣天气、部分遮挡等因素，无需额外的后处理过程。

(2)通过梯度密度以及结构约束生成车辆的候选区域，针对高分辨率视频无需降采样操作，充分利用了图像的细节信息，有效地去除误检，提高车辆检测的准确率。

(3)检测过程中所涉及到的操作简单，具有很高的计算效率，能够高效地处理高分辨率图像，适用于目前广泛采用的高清摄像机，应用前景广阔。

附图说明

图1智能交通监控系统中的高分辨率视频车辆检测流程图；

图2监控场景示例；其中，(a)多车道监控场景图像，矩形框表示场景中的车头区域，(b)车头区域示例；

图3感兴趣区域与网格化示意图；其中，(a)感兴趣区域，(b)扫描窗口，实心胞元表示部件位置，(c)网格化示意图，实心网格表示可能对应车头部件的显著性胞元，矩形框表示最终车辆检测结果；

图4正负样本示例；其中，(a)正样本示例，(b)负样本示例；

具体实施方式

本发明提出的智能交通监控系统中的高分辨率视频车辆检测方法的流程图如图1所示，具体实施步骤如下：

步骤一：感兴趣区域设置与网格化

智能交通监控系统中，通常使用一个高清摄像机进行多车道视频监控图像采集，摄像机的视场对准同一方向的多个车道，实时地采集多个车道的视频监控图像，如图2(a)所示。本发明将视频车辆检测问题视为车头(或车尾)区域的检测问题，为了便于描述我们以车头区域为例，如图2(b)，车尾区域类似。

考虑到在交通监控场景里，车辆检测是在一个视频中进行，因此可以将车辆检测的范围限制在一个感兴趣区域中，避免了在视频的每帧图像中进行全局搜索，如图3(a)所示。同时，为提高计算效率并充分利用高分辨率视频中的细节信息，感兴趣区域被网格化为若干个固定大小的胞元，如图3(c)所示。接下来的计算都以胞元为单位。

步骤二：特征提取与显著性计算

对一个固定位置的胞元，记其对应图像区域为C，则该区域内的每个像素点的水平梯度值可由下式计算：

C_x(i,j)＝|C(i+1,j)-C(i-1,j)|. (1)

该区域内水平梯度值的密度定义为：

其中|C|为该区域内的像素点总数。以每个胞元内的水平梯度值的密度为特征，将所有特征值大于给定阈值的胞元标记为显著性胞元。通常情况下，交通监控场景中的车头区域都包含特定的显著性部件，特别是左右对称的两个车前灯和车牌。同时，车头区域内的显著性部件也具有梯度信息丰富的特点。我们结合先验知识，采用以下两个步骤滤除其他垂直边缘密集的区域(如车身边缘、车身上的文字等)，只保留车头区域内属于显著性部件的显著性胞元：

(iii)车灯和车牌的正下方应当是平滑的车身或路面，因此滤除与正下方梯度密度相近的显著性胞元；

(iv)车灯和车牌区域是梯度密集的区域，因此滤除水平方向邻域内包含空间连续的显著性胞元个数少于3个的显著性胞元。

最终计算得到的显著性胞元即代表了感兴趣区域内可能存在的车头区域的显著性部件，如图3(c)所示。

步骤三：候选区域生成

如图2(b)所示，车头区域内的车灯与车牌具有明显的结构信息，即两个车前灯位置偏上且左右对称，车牌偏下且居中。利用此结构约束，我们使用滑动窗口搜索满足特定结构信息的区域，标记为候选区域。具体步骤为：

(iv)根据先验知识确定车头区域的大小，使用固定大小的滑动窗口进行搜索。对每个扫描窗口统计相应部件位置的显著性胞元个数，扫描窗口如图2(b)中所示；

(v)考虑到车牌部件相对车灯部件具有更高的可靠性，为车牌部件对应位置的显著性胞元个数赋以大于车灯部件的权值；

(vi)将显著性胞元个数大于某个阈值的窗口标记为候选区域。

步骤四：收集训练样本并进行人工标注

为保证分类效果，应从具有代表性的多个监控视频中采集训练样本并进行准确的人工标注。所选监控视频应包含不同地点(十字路口、高速公路等)、不同时段(黎明、白天、黄昏、夜间等)和不同天气(晴天、多云、雨等)条件下拍摄的视频片段，保证所选视频的多样性。

采集正负样本的具体步骤为：在每帧视频图像中提取进入感兴趣区域的车头区域，保证提取的车头区域包含车灯和车牌部件，将这些区域归一化到固定大小，标记为正样本。同时在车头区域附近采集只包含部分车头的区域，以及车身上其他纹理丰富的区域(如车窗、车身文字等)，将这些区域归一化到固定大小，标记为负样本。值得注意的是，采集正负样本时应使用固定宽高比的窗口，并使正样本集尽量覆盖各种车型的车头区域，负样本集尽量覆盖易错分的背景区域。

研究表明大量的负样本可以显著地提高分类精度，因此我们从所选监控视频中选取若干不包含车头区域的图像，使用多个尺度但固定宽高比的滑动窗口密集采样了大量的图像区域，归一化到固定大小作为额外的负样本，加入到负样本集中用于分类器训练。一些具有代表性的正负样本如图4所示。

步骤五：离线训练车辆分类器

使用梯度方向直方图(Histogram of Oriented Gradients，HOG)描述一个固定大小的图像区域，将所有正负样本表示为相同维度的特征向量，并采用支持向量机(SupportVector Machine，SVM)训练得到准确的车辆分类器。

HOG特征将图像区域分为若干固定大小的单元格，统计每个单元格内的梯度方向形成直方图，并在多个单元格组成的块中对梯度方向直方图进行归一化，最后将每个块的直方图连接在一起形成图像区域的HOG特征。HOG特征描述了图像区域的边缘信息，在行人检测上取得了很好的效果，也在其他类型的目标检测问题中逐步得到应用。本发明采用HOG特征描述目标区域，不仅考虑到车辆的边缘和纹理信息较为丰富，还充分利用了HOG特征计算效率较高的优点。

我们使用SVM作为候选区域的分类器。SVM是统计学习理论中的重要学习方法之一，它建立在VC维理论和结构风险原理基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。SVM的最大特点是根据结构风险最小化准则，以最大化分类间隔构造最优分类超平面来提高分类器的泛化能力，较好地解决了高维数、非线性、局部极小点等问题，在训练样本数目相对较少的情况下也能取得很好的分类效果。

给定步骤四采集的正负样本的HOG特征，记为其中x_i∈R^d是第i个训练样本的d维HOG特征向量，y_i∈{+1,-1}是对应的标签，+1表示正样本，-1表示负样本。SVM的目标函数定义为

其中α∈R^N为模型参数，C为松弛系数，K为核函数，通常采用径向基函数核：

K(x_i,x_j)＝exp(-γ||x_i-x_j||²), (4)

其中γ＞0。给定训练样本，以及参数C和γ，式(3)可由序贯最小优化算法快速求解。对于一个测试数据x∈R^d，SVM的分类函数为

其中sgn为符号函数。实际训练过程中，使用了交叉验证和网格搜索的方法选择最优的参数C和γ。

步骤六：使用车辆分类器进行候选区域验证

使用分类器对候选区域进行验证，将分类为车辆的候选区域标记为车辆区域。考虑到真实车辆区域周围应有多个检测结果，将单独出现的检测结果滤除，并使用聚类方法合并重叠的多个检测结果，得到最终的车辆检测结果。

针对步骤三生成的每个候选区域，使用离线训练的SVM分类器进行进一步的验证。具体步骤为：将每个候选区域归一化到固定大小(与训练分类器时使用的图像大小一致)；提取HOG特征作为该区域的描述；使用SVM分类器计算该区域被分类为车辆的置信度，将置信度高于某个阈值的候选区域标记为车辆区域。显然，在真实的车辆区域附近会有多个置信度较高的候选区域。因此，我们将单独出现的高置信度区域滤除，并使用mean shift聚类方法合并重叠的多个候选区域，得到最终的车辆检测结果。

Claims (1)

1.一种智能交通监控系统中的高分辨率视频车辆检测方法，其特征在于,具体实现步骤如下：

步骤一：感兴趣区域设置与网格化

设置感兴趣区域，将感兴趣区域网格化为若干个同样大小的胞元；

步骤二：特征提取与显著性计算

对每一个胞元，记其对应图像区域为C，则图像区域内的每个像素点的水平梯度C_x(i,j)值由下式计算获得：

C_x(i,j)＝|C(i+1,j)-C(i-1,j)| (1)

其中C(i,j)为灰度值，则图像区域内的水平梯度值的密度定义为：

${\mathrm{\ρ}}_C=\frac{1}{\left|C\right|}\underset{(i,j)\∈C}{\Σ}{C}_x(i,j),---\left(2\right)$

其中|C|为图像区域内的像素点总数；以每个胞元内的水平梯度值的密度为特征，将所有特征值大于给定阈值的胞元标记为显著性胞元；采用以下两个步骤滤除其他垂直边缘密集的区域，只保留车头或车尾区域内属于车灯和车牌的显著性胞元：

(i)车灯和车牌的正下方是平滑的车身或路面，滤除与正下方梯度密度相近的显著性胞元；

(ii)车灯和车牌区域是梯度密集的区域，滤除水平方向邻域内包含空间连续的显著性胞元个数少于给定阈值的显著性胞元；

最终得到的显著性胞元即代表了感兴趣区域内可能存在的属于车灯和车牌的显著性部件；

步骤三：候选区域生成

车灯与车牌具有明显的结构信息，即两个车灯位置偏上且左右对称，车牌偏下且居中；利用此结构约束，使用滑动窗口搜索，将满足特定结构信息的区域标记为候选区域，具体步骤为：

(i)根据先验知识确定车头或车尾区域的大小，使用固定大小的滑动窗口进行搜索；对每个扫描窗口统计相应部件位置的显著性胞元个数；

(ii)车牌部件相对车灯部件具有更高的可靠性，为车牌部件对应位置的显著性胞元个数赋以大于车灯部件的权值；

(iii)将显著性胞元个数大于给定阈值的窗口标记为候选区域；

步骤四：收集训练样本并进行人工标注

步骤五：离线训练车辆分类器

步骤六：使用车辆分类器进行候选区域验证，通过验证的区域即为车辆区域。