CN106372619A - 一种车辆鲁棒检测及分车道到达累计曲线估计方法 - Google Patents

Abstract

本发明公开一种车辆鲁棒检测及分车道到达累计曲线估计方法，首先非拥堵区域的检测，避免针对交通拥堵停驶车辆进行复杂遮挡处理及检测的无谓工作。然后，基于假设生成和验证框架，融合AdaBoost分类器与车底阴影检测结果，得到鲁棒的车辆检测结果。最后，使用投影畸变车辆稳定特征将车辆位置划归特定的车道，准确估计分车道车辆到达累计曲线。本发明能够有效避免针对车辆遮挡的复杂处理过程，实现了高峰时段交通拥堵状态实时进行鲁棒的车辆检测并准确地获取交通参数，对解决车辆到达率和车头时距调查成本高、工作量大、不确定因素多等问题具有实际的意义。

Description

一种车辆鲁棒检测及分车道到达累计曲线估计方法

技术领域

本发明属于智能交通系统(机器视觉和图像处理)及交通流参数采集技术领域，尤其涉及一种面向交通拥堵的车辆鲁棒检测及分车道到达累计曲线估计方法。

背景技术

基于视频的交通流监测与分析是智能交通系统(Intelligent TransportationSystems，简称ITS)的重要内容。基于视频的车辆检测技术以安装维护方便、直观性强、扩展与改进的空间大等优点而被广泛采用，是交通流数据采集的重要技术(KASTRINAKI V,ZERVAKIS M,KALAITZAKIS K.A survey of video processing techniques for trafficapplications[J].Image and Vision Computing,2003,21(4):359–381)。该技术无疑代表了未来交通流信息检测技术的发展方向，其研究与应用具有重要的理论意义和实用价值。

近年来，基于视频的车辆检测技术迅速发展，已经部分解决了影响视频车辆检测器性能的环境干扰问题(复杂环境(LAI A N,YOON H,LEE G.Robust backgroundextraction scheme using histogram-wise for real-time tracking in urbantraffic video[C].8th IEEE International Conference on Computer andInformation Technology,2008:845-850)，阴影(HSIEH J W,YU S H,CHEN Y S,etal.Automatic traffic surveillance system for vehicle tracking andclassification[J].IEEE Transactions on Intelligent Transportation Systems,2006,7(2):175-187)及夜晚低亮度(CHEN Y L,WU B F,HUANG H Y,et al.A real-timevision system for nighttime vehicle detection and traffic surveillance[J].IEEE Transactions on Industrial Electronics,2011,58(5):2030–2044))，能够达到初步实用的要求。但是针对交通拥堵所导致的视频图像中粘连车辆的辨识、车辆遮挡的识别等问题，现有视频车辆检测技术的应用性能还有明显的差距。辛乐等通过半人工标定方式获取了不同环境视频检测的交通参数真实数据，以此分析和比较TRAFICON这一视频检测标准在复杂场景实际运行的性能(辛乐,陈阳舟.基于半人工标定的视频检测交通参数基准数据获取[J].中国科技论文,2015,10(7):788-793)。在高峰期间交通拥堵情况下，由TRAFICON检测系统所得的交通流量出现了大量的漏检，无法满足基本的交通参数获取需要。

同时，城市道路交通拥堵问题日益严重。在早晚高峰大交通量情况下，车辆需要多次走停甚至长时间等待才能通过拥堵瓶颈点。现实中交通视频监控多采用低位摄像机架设方式。相对于高空摄像机(杨建国，刘勇，贾凡.从高空摄像中获取车辆瞬态信息和驾驶行为[J].西安交通大学学报,2009,43(4):116-120)和航空摄像机(AZEVEDO C L，CARDOSO J L，BEN-AKIVA M.Automatic vehicle trajectory extraction by aerial remote sensing[J].Procedia-Social and Behavioral Sciences,2014,111:849-858)等方式，低位摄像机成本更低、可靠性更高(近距离处理)、应用更广。但在走停状态下，车辆间距变小，在低角度摄像机视野范围内相互遮挡严重，造成车辆检测以及交通参数计算的准确性较差。考虑到大交通量交通拥堵情况下车辆行为的复杂性，车辆检测算法必须具有较高的鲁棒性，并准确计算交通流量等基本参数，这无疑将有助于推动视频车辆检测技术更广范的应用。

针对交通拥堵车辆鲁棒分割及跟踪这一问题，有效处理车辆遮挡至关重要。目前，国内外研究人员对解决交通视频车辆遮挡行了大量尝试，主要归结为基于车辆特征的跟踪及分析(COIFMANA B,BEYMER D,MCLAUCHLANB P,et al.A real-time computer visionsystem for vehicle tracking and traffic surveillance[J].TransportationResearch Part C,1998,6:271-288)和基于显式遮挡模型表达及推理(JIA Y,ZHANGC.Front-view vehicle detection by markov chain monte carlo method[J].PatternRecognition,2009,42(3):313–321)(KAMIJO S,MATSUSHITA Y,IKEUCHI K,et al.TrafficMonitoring and Accident Detection at Intersections[J].IEEE Transactions onIntelligent Transportation Systems,2000,1(2):108-118)的两种方案。前一种方案注重车辆特征的跟踪，从根本上解决了部分遮挡问题，并针对运动轨迹进行后处理，使其合理分组成为各个车辆。后一种方案通过对车辆相互遮挡关系建立显式模型表达，根据概率推理方法得到被遮挡车辆的有效跟踪结果。这两种方案都具有较高的计算复杂度，对各种天气和光照条件也并非适用。

车辆到达率是反映交通断面状态的重要指标之一，其与通行能力的比较能够反映交通断面欠饱和、临界饱和和过饱和的状态(MAY A D.Traffic flow fundamentals[M].Prentice Hall,1990)。车头时距(Headway)及其分布特性是微观交通分析中的一个重要参数，它直接反映了交通流状态、驾驶员行为特性、路段或交叉口通行能力及服务水平，是计算通行能力、优化信号配时、构建车辆跟驰模型的最基本和最常用的参数(LEE TH.Saturation headways and lost times at signalized intersections[D].Doctoraldissertation of University of Kansa,1995)。基于视频图像处理方法完成交通拥堵情况的车辆到达累计曲线，对解决车辆到达率和车头时距调查成本高、工作量大、不确定因素多等问题具有实际的意义。

发明内容

本发明提出一种面向交通拥堵的车辆鲁棒检测方法，该方法能够有效避免常用方法针对车辆遮挡的复杂处理过程。当发生交通拥堵时，车辆速度降低而缓行，前后连续两辆车的车头间距不断减小。若交通拥堵持续加剧，车辆进入连续走停状态，车头间距进一步减小。在车辆完全停止而依次排队时，车头间距最小。与此相对应，车辆之间的遮挡程度不断加剧，造成低角度相机车辆检测的极大困难。当车辆排队开始消散，车辆启动前移并不断加速到适当的速度，车头间距将增加，足够低角度相机的近距离准确车辆检测。对于计算交通流参数的目标而言，当交通处于拥堵状态时(车速小于5Km/h)，实际并不需要进行车辆检测，因为已经对交通流参数有了基本判断(阻塞车流量)。因此，本发明针对车辆拥堵或非拥堵区域进行区分，从而完成非拥堵区域的检测，以此来避免交通拥堵时针对严重遮挡的停驶或走停车辆进行检测的无谓工作。

同时，本发明由车辆鲁棒检测结果实时估计分车道车辆到达累计曲线，实现针对交通检测断面分车道详细交通参数的有效分析。相对于传统时空轨迹模型，车辆累计曲线(N-curves)使用起来更简单和灵活(NEWELL G F.A simplified theory of kinematicwaves in highway traffic[J].Transportation Research Part B:Methodological,1993,27(4):281-287)(HURDLE V F and SON B.Shock wave and cumulative arrivaland departure models[J].Transportation Research Record,2001,1776:159-166)，是输入输出模型(SHARMA A,BULLOCK D M,BONNESON J A.Input-output and hybridtechniques for real-time prediction of delay and maximum queue length atsignalized intersections[J].Transportation Research Record,2007,2035:69-80)的重要组成内容。车辆到达累计曲线表达了随时间变化的已通过检测线的车辆累积数量。通过分析车辆到达累计曲线很容易得到交通流基本参数。相比传统的基于环形线圈的车辆累计曲线估计工作(PITSTICK M E.Measuring delay and simulating performance atisolated signalized intersections using cumulative curves[J].TransportationResearch Record,1990,1287:34-41)，本发明基于视频图像处理方法的车辆检测技术可以获取更多的信息，对交通拥堵复杂场景车辆检测也更加方便。基于以上两点，本发明实际上有效避免了车辆拥堵严重遮挡这一具有挑战性的问题，实现了交通拥堵情况下车辆的鲁棒检测的准确计算。

为解决上述问题，本发明采用如下的技术方案：

一种车辆鲁棒检测及分车道到达累计曲线估计方法包括以下步骤：

步骤1、离线设置感兴趣区域：设置车道线、车辆检测有效区域以及车辆到达检测线；

步骤2、非拥堵区域检测：对车辆检测有效区域进行车辆存在检测、车辆运动检测以及基于局部细分的非拥堵区域检测；

步骤3、基于特征融合的车辆鲁棒检测，其包括：

步骤3.1、基于AdaBoost级联分类器的车辆检测

采用人工标记车辆样本的方式来获取初始训练样本集，以此样本集训练AdaBoost级联分类器，在交通视频每帧图像中检测到的车辆候选区域可表示为多个矩形块，其中每个矩形块P⁽¹⁾为：

P⁽¹⁾＝{x,y,w,h,t}

其中，(x,y)是该矩形区域左上角像素坐标，(w,h)是宽度和高度，t是从初始观察时间开始算起的图像帧累计数，

当前图像帧的所有矩形块可表示为：

其中，P_i ⁽¹⁾是第i个候选矩形块，其总数为N；

步骤3.2、车底阴影检测

采用三水平最大类间方差法实现车底阴影检测，即，确定两个灰度阈值，T₁和T₂，通过各像素灰度值与这两个阈值的比较，能够将车辆检测有效区域R分为三个区域：高灰度值区域R_h、中间灰度值区域R_m和低灰度值区域R_l，分别定义为：

R_h＝{(x,y)∈M|I(x,y)≥T₁}

R_m＝{(x,y)∈M|T₁＞I(x,y)≥T₂}

R_l＝{(x,y)∈M|other}

其中，R_l就是所选定的车底阴影候选区域，

所述低灰度值区域R_l经过形态学处理以及连通分量分析，得到所检测的车底阴影候选区域，可描述为：

P⁽²⁾＝{x,y,w,h,t}，其中，(x,y)是该矩形区域左上角像素坐标，(w,h)是宽度和高度，t是从初始观察时间开始算起的图像帧累计数，

当前图像帧中所有车底阴影检测矩形块可表示为：

其中，是第j个候选矩形块，其总数为M；

步骤3.3、车辆融合鲁棒检测

采用基于假设生成和检验框架的车辆融合检测算法，即，对于候选队列Ψ⁽¹⁾中的每辆车，依次比较其与候选队列Ψ⁽²⁾任意一辆车的距离d，当该距离小于预定义的距离标准G_d时，该车辆位置保留；否则，该车辆位置被丢弃；融合AdaBoost级联分类器与车底阴影两种车辆检测结果，能够鲁棒确定车辆的存在性以及具体位置，当前图像帧中最终检测到的车辆可表示为：Ψ＝{P₁,Λ,P_i,Λ,P_j,Λ,P_L}，其中，其总数为L；

步骤4：分车道车辆到达累计曲线估计

步骤4.1：分车道车辆定位

设车辆与路面接触的稳健点选定为车辆在路面上的投影点，给定非拥堵区域车辆的鲁棒检测结果，车辆稳定点P_s可表示为：

P_S＝(x+w/2,y+h,t)

其中，位置坐标(x+w/2,y+h)是各车辆矩形区域下边沿基线的中间点，

每条车道线段P₁P₂则由两个端点P₁和P₂所定义，根据两向量叉积方法，计算车辆稳健特征点P_s相对于车道线段P₁P₂方向可以通过下式中的正负号表示

其中，×表示两向量和的叉积，因此同时与这两个向量正交，并服从右手规则，

该两向量叉积相当于计算如下行列式

$DET=\left|\begin{array}{ccc}{x}_1& x_2& x_S\\ y_1& y_2& y_S\\ 1& 1& 1\end{array}\right|$

其中，(x_i,y_i)两值是各点P_i,i∈{1,2,S}的坐标，

车辆稳健特征点P_S相对于该线段P₁P₂的方向只需对该值DET符号进行判断，如果符号为正，P_S位于右侧的车道，如果符号为负，则正好相反；利用同样的方法，依次用各车道线段的两端点值P₁和P₂代入DET的计算公式，与车辆稳健特征点P_S进行计算；最终车辆所属车道的索引号index由这些DET符号的第一次变化所确定；则经过分车道定位后的每辆车可被描述为

P＝{x,y,w,h,index,t}

步骤4.2：分车道车辆到达累计曲线估计

车辆跨越分车道检测线时刻的估计，可以使用车辆分车道定位的计算几何算法来确定；车辆仍由稳健特征点P_S来表示，检测线段P₁P₂的两端点P₁和P₂则由分车道检测线段来定义；每一帧都需要处理DET行列式，其符号的变化时间直接对应了所估计的车辆到达时刻T_i ^Arri，同时可以获得分车道累计到达车辆数分车道车辆到达累计曲线ArriPro(t)就是在时间轴上将车辆到达累计数沿着车辆到达时刻T_i ^Arri展开，即：

$Arri\mathrm{Pr}o=\{(T_i^{Arri},N_i^{Arri}):i\∈\{0,t\left\}\right\}.$

作为优选，步骤2具体包括以下步骤：

步骤2.1：车辆存在检测

设E(x,y)为边缘灰度图像中像素点(x,y)的灰度值，G_e为设定的边缘灰度阈值，车辆检测有效区域R内满足阈值条件的像素点集合A为：

A＝{(x,y)∈R|E(x,y)≥G_e}

设S(A)是集合A中像素的个数，S(R)是车辆检测有效区域R中所有像素的个数，因此在R中，边缘灰度密度d_e(R)为：

$d_e\left(R\right)=\frac{S\left(A\right)}{S\left(R\right)}$

设边缘灰度密度阈值为D_e，则该检测区域R内车辆是否存在V_p(R)的判断准则为：

$V_p\left(R\right)=\left\{\begin{array}{cc}true& d_e\left(R\right)\&GreaterEqual;D_e\\ false& d_e\left(R\right)<D_e\end{array}\right.$

步骤2.2：车辆运动检测

采用相邻三帧差法提取原始图像中车辆的运动信息，设F_t、F_t-1和F_t-2分别为相邻三帧灰度图像，G_f为设定的运动灰度阈值，采用三帧差法后，车辆检测有效区域R内满足阈值条件的像素点的集合B为：

设S(B)是集合B中像素的个数，S(R)仍是检测区域R中所有像素的个数，因此R中的帧差灰度密度d_f(R)为：

$d_f\left(R\right)=\frac{S\left(B\right)}{S\left(R\right)}$

设帧差灰度密度阈值为D_f，则该检测区域R内车辆是否运动V_m(R)的判断准则为：

$V_m\left(R\right)=\left\{\begin{array}{cc}true& d_f\left(R\right)\&GreaterEqual;D_f\\ false& d_f\left(R\right)<D_f\end{array}\right.$

步骤2.3：基于局部细分的非拥堵区域检测

将检测有效区域R进一步细分成多个局部区域R_ij，其中，i∈{0,1,2,3},j∈{0,1,Λ,K-1}，i对应不同的车道，而j对应分车道内具体局部细分，K是局部小区域的数目，

针对每个R_ij进行以上两步骤介绍的车辆存在和运动检测具体处理，各个R_ij内发生拥堵的判断条件如下表示：

与现有技术相比，本发明具有以下明显优势：

(1)本发明提出了一种面向交通拥堵的车辆鲁棒检测方法，通过检测车辆非拥堵区域避免了针对车辆遮挡的复杂处理过程，并在此基础上有效融合基于Haar特征的AdaBoost级联分类器和车底阴影车辆检测检测结果，实现高峰时段交通拥堵状态实时准确地车辆鲁棒检测。

(2)本发明提出了一种基于视频图像处理车辆检测技术的分车道到达累计曲线估计方法，实现了交通拥堵情况下交通参数的准确计算，对解决车辆到达率和车头时距调查成本高、工作量大、不确定因素多等问题具有实际的意义。

(3)本发明可以获取交通拥堵路段分车道车辆到达率以及车头时距及其分布等详细交通特性参数，以此作为传统交通数据的重要补充。

附图说明

图1本发明所涉及方法的总体框图；

图2a-2b感兴趣区域设置；

图3a-3b低角度摄像机设置及交通拥堵视频采集；

图4正负训练样本；

图5a-5c车辆边缘图像和帧差图像；

图6a-6e基于局部细分的非拥堵区域检测；

图7a-7d基于特征融合的车辆鲁棒检测；

图8a-8b基于稳健点的分车道车辆定位；

图9a-9b车辆通过分车道检测线时刻的估计；

图10a-10b分车道车辆到达累计曲线；

图11a-11b车头时距及其分布。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

如图1所示，本发明实施例提供一种面向交通拥堵的车辆鲁棒检测及分车道到达累计曲线估计方法包括以下步骤：

步骤1：离线设置感兴趣区域

设置车道线、车辆检测有效区域R以及车辆到达检测线；

步骤2：非拥堵区域检测；

步骤2.1：车辆存在检测

设E(x,y)为边缘灰度图像中像素点(x,y)的灰度值，G_e为设定的边缘灰度阈值，车辆检测有效区域R内满足阈值条件的像素点集合A为：

A＝{(x,y)∈R|E(x,y)≥G_e}

设S(A)是集合A中像素的个数，S(R)是车辆检测有效区域R中所有像素的个数，因此在R中，边缘灰度密度d_e(R)为：

$d_e\left(R\right)=\frac{S\left(A\right)}{S\left(R\right)}$

设边缘灰度密度阈值为D_e，则该检测区域R内车辆是否存在V_p(R)的判断准则为：

$V_p\left(R\right)=\left\{\begin{array}{cc}true& d_e\left(R\right)\&GreaterEqual;D_e\\ false& d_e\left(R\right)<D_e\end{array}\right.$

步骤2.2：车辆运动检测

采用相邻三帧差法提取原始图像中车辆的运动信息，设F_t、F_t-1和F_t-2分别为相邻三帧灰度图像，G_f为设定的运动灰度阈值，采用三帧差法后，车辆检测有效区域R内满足阈值条件的像素点的集合B为：

设S(B)是集合B中像素的个数，S(R)仍是检测区域R中所有像素的个数，因此R中的帧差灰度密度d_f(R)为：

$d_f\left(R\right)=\frac{S\left(B\right)}{S\left(R\right)}$

设帧差灰度密度阈值为D_f，则该检测区域R内车辆是否运动V_m(R)的判断准则为：

$V_m\left(R\right)=\left\{\begin{array}{cc}true& d_f\left(R\right)\&GreaterEqual;D_f\\ false& d_f\left(R\right)<D_f\end{array}\right.$

步骤2.3：基于局部细分的非拥堵区域检测

为了提高车辆存在和运动检测的准确性，本发明将检测有效区域R进一步细分成多个局部区域R_ij。为了满足分车道处理的需要，沿着车辆前进方向划分各车道R_ij：R_ij，i∈{0,1,2,3},j∈{0,1,Λ,K-1}。其中，i对应不同的车道，而j对应分车道内具体局部细分，K是局部小区域的数目。

针对每个R_ij进行以上两步骤介绍的车辆存在和运动检测具体处理。各个R_ij内发生拥堵的判断条件如下表示：

本发明关于局部细分区域发生拥堵的判断标准是车辆存在但处于停驶状态。将各个局部区域R_ij的车辆拥堵判断结果集合在一起，就是车辆检测有效R内拥堵区域检测结果。对应于车辆正常运动状态的非拥堵区域则限定为车辆拥堵区域的补集。后续的处理步骤就只限定在已检测到的车辆非拥堵区域内进行。

步骤3：基于特征融合的车辆鲁棒检测

步骤3.1：基于AdaBoost级联分类器的车辆检测

本发明应用基于Haar特征的AdaBoost级联分类器进行车辆检测。采用人工标记车辆样本的方式来获取初始训练样本集，以此样本集训练AdaBoost级联分类器。在交通视频每帧图像中检测到的车辆候选区域可表示为多个矩形块，其中每个矩形块P⁽¹⁾可使用以下信息来描述：1)位置；2)大小；3)车辆通过检测线的时间

P⁽¹⁾＝{x,y,w,h,t}

其中，(x,y)是该矩形区域左上角像素坐标，(w,h)是宽度和高度，t是从初始观察时间开始算起的图像帧累计数。当前图像帧的所有矩形块可表示为：

${\mathrm{\&Psi;}}^{\left(1\right)}=\{P_1^{\left(1\right)},\mathrm{\&Lambda;},P_i^{\left(1\right)},\mathrm{\&Lambda;},P_N^{\left(1\right)}\}$

其中，P_i ⁽¹⁾是第i个候选矩形块，其总数为N。

步骤3.2：车底阴影检测

车底阴影区域在相邻像素中始终具有最低的亮度。车底阴影是白天交通视频中车辆存在的典型线索之一，能够在存在遮挡的复杂情况下快速准确进行车辆检测，满足一般位置低角度摄像机的需要。现在已有多种不同的检测方法，能够将交通视频图像中的车底阴影所在最暗像素区域与其它像素区域有效分开。本发明采用三水平最大类间方差法，即三水平Otsu阈值分割方法，实现车底阴影检测。该方法确定两个灰度阈值，T₁和T₂，通过各像素灰度值与这两个阈值的比较，能够将车辆检测有效区域R分为三个区域：高灰度值区域R_h，中间灰度值区域R_m和低灰度值区域R_l，分别定义为：

R_h＝{(x,y)∈M|I(x,y)≥T₁}

R_m＝{(x,y)∈M|T₁＞I(x,y)≥T₂}

R_l＝{(x,y)∈M|other}

其中，R_l就是所选定的车底阴影候选区域。

低灰度值区域R_l二值化图像只是一组连通团块。经过一系列的后处理，包括形态学处理以及连通分量分析等，就成为所检测的车底阴影候选区域，可描述为：

P⁽²⁾＝{x,y,w,h,t}

其中，(x,y)是该矩形区域左上角像素坐标，(w,h)是宽度和高度，t是从初始观察时间开始算起的图像帧累计数。当前图像帧中所有车底阴影检测矩形块可表示为：

${\mathrm{\&Psi;}}^{\left(2\right)}=\{P_1^{\left(2\right)},\mathrm{\&Lambda;},P_j^{\left(2\right)},\mathrm{\&Lambda;},P_M^{\left(2\right)}\}$

其中，是第j个候选矩形块，其总数为M。

步骤3.3：车辆融合鲁棒检测

设定Adaboost级联分类器具有较高的车辆检测率(通过扩大AdaBoost车辆检测器的参数范围)。考虑到Adaboost级联分类器针对不同条件所具有的总体可靠性，在同一辆车的邻近区域，将会检测到多个候选矩形，基于AdaBoost级联分类器的车辆检测结果的误检率比较高。本发明具体采用基于假设生成和检验框架的车辆融合检测算法：对于候选队列Ψ⁽¹⁾中的每辆车，依次比较其与候选队列Ψ⁽²⁾任意一辆车的距离d。当该距离小于预定义的距离标准G_d时，该车辆位置保留；否则，该车辆位置被丢弃。本发明融合AdaBoost级联分类器与车底阴影两种车辆检测结果，能够鲁棒确定车辆的存在性以及具体位置。当前图像帧中最终检测到的车辆可表示为：

Ψ＝{P₁,Λ,P_i,Λ,P_j,Λ,P_L}

其总数为L。

步骤4：分车道车辆到达累计曲线估计

步骤4.1：分车道车辆定位

由于车身高度以及低角度摄像机透视投影畸变效应的原因，当车辆显示在图像平面上时往往会出现在多个车道上，不可避免地存在将车辆在多条车道间的误定位问题，影响分车道交通流参数的准确计算。本发明用车辆与路面接触的稳健点(Stable feature)来解决这一问题。稳健点选定为车辆在路面上的投影点。该点相对于路面的高度为0，因此不受透视投影畸变的影响，从而确保车辆和车道区域之间的正确关系。给定非拥堵区域车辆的鲁棒检测结果P，车辆稳定点P_s可表示为如下3参数：

P_S＝(x+w/2,y+h,t)

其中，位置坐标(x+w/2,y+h)是各车辆矩形区域下边沿基线的中间点。

分车道车辆定位的核心问题是如何确定各车辆所在的车道区域索引号。每条车道都由两条车道线段所决定。每条车道线段P₁P₂则由两个端点P₁和P₂所定义。借助于解析几何中向量的概念，本发明规定车道线段P₁P₂具有方向。根据两向量叉积方法，计算车辆稳健特征点P_s相对于车道线段P₁P₂方向可以通过下式中的正负号表示

其中，×表示两向量和的叉积，因此同时与这两个向量正交，并服从右手规则。该两向量叉积相当于计算如下行列式

$DET=\left|\begin{array}{ccc}{x}_1& x_2& x_S\\ y_1& y_2& y_S\\ 1& 1& 1\end{array}\right|$

其中，(x_i,y_i)两值是各点P_i,i∈{1,2,S}的坐标。车辆稳健特征点P_S相对于该线段P₁P₂的方向只需对该值DET符号进行判断。如果符号为正，P_S位于右侧的车道。如果符号为负，则正好相反。利用同样的方法，依次用各车道线段的两端点值P₁和P₂代入DET的计算公式，与车辆稳健特征点P_S进行计算。最终车辆所属车道的索引号index由这些DET符号的第一次变化所确定。则经过分车道定位后的每辆车可被描述为

P＝{x,y,w,h,index,t}

步骤4.2：分车道车辆到达累计曲线估计

假设不考虑车辆换道行为，同一车道上的车辆形成到达队列依次行进，依序通过了分车道检测线。车辆跨越分车道检测线时刻的估计，仍然可以使用前一步骤车辆分车道定位的计算几何算法来确定。车辆仍由稳健特征点P_S来表示，而检测线段P₁P₂的两端点P₁和P₂则由分车道检测线段来定义。每一帧都需要处理DET行列式，其符号的变化时间直接对应了所估计的车辆到达时刻T_i ^Arri，同时可以获得分车道累计到达车辆数分车道车辆到达累计曲线ArriPro(t)就是在时间轴上将车辆到达累计数沿着车辆到达时刻T_i ^Arri展开：

$Arri\mathrm{Pr}o=\{(T_i^{Arri},N_i^{Arri}):i\&Element;\{0,t\left\}\right\}$

步骤4.3：交通流基本参数计算

分车道累计到达曲线ArriPro(t)包含了分车道累计到达车辆数和车辆到达时刻T_i ^Arri。如果在时间间隔ΔT内，ΔN辆车穿过到达检测线，则车辆到达率可以计算为

$q=\frac{\mathrm{\&Delta;}N}{\mathrm{\&Delta;}T}$

其中ΔT＝t_j+1-t_j，单位为车辆数/小时(vehicles per hour，简称vph)。

本发明选定2分钟为记录到达车辆累计数的周期。

车头时距是指同向行驶的连续两辆机动车通过检测线的时间差,定义为从第i辆车(后保险杠)越过检测线至第i+1辆车(后保险杠)越过检测线所经历的时间。根据车辆到达时刻T_i ^Arri，车头时距可计算如下

$h_i=T_{i+1}^{Arri}-T_i^{Arri}$

其中，h_i表示第i辆车的车头时距,单位为秒(s)。根据多车的数据进一步得到车头时距的分布特性。

本发明实施例在安装VC2008和OpenCV2.4.5的PC机上实现。

本发明实施例方法的流程图如图1所示，包括以下步骤：

步骤1：离线设置感兴趣区域

图2表示了在输入图像上离线设置感兴趣区域的具体过程，后续的视频处理过程就不再改动。图2中各图具体内容表示如下：a.原始视频图像；b.感兴趣区域离线设置结果。首先手动交互设置交通断面内所有的车道线，如图2b中沿着车道线绘制的细灰线①所示。各车道线段分别由两端点定义。各车道车辆行驶区域由相邻两条车道线段决定。将上述分车道行驶区域适当扩展，得到图2b中黑色矩形框所示的车辆有效检测区域②，不妨定义为R。该区域的大小为324×248(整个图像帧的范围为728×576)，位于低角度摄像机视野范围中最为清晰的下半部分。本文将在该区域中限定Adaboost级联分类器完成遍历，有助于降低计算复杂度。在靠近交通场景下方的位置，垂直于车辆行进方向将车道线端点相连，由此设置记录车辆分车道到达的检测线③，如图2b白色线段所示。

步骤2：交通拥堵视频采集

本发明试验所用交通拥堵视频是利用固定架设在北京三环路华威桥交叉口入口路段的摄像机拍摄的，如图3所示。图3中各图具体内容表示如下：a.低角度摄像机架设；b.交通拥堵视频采集及车道依次排序。监控摄像机固定架设在路面以上约6米的位置，形成低位摄像机架设方式。整个拍摄过程选定为早高峰时间段(上午7:00至9:00)，所有视频序列总时长达到150分钟，大约34个信号灯周期。视频序列帧率是每秒25帧，图像分辨率为720×576。

由于受到红绿信号灯的配时控制，交叉口入口路段的车流表现出强烈的非均衡性：红灯期间车辆停车排队；绿灯期间车辆起动而排队消散。因此，在红灯期间车辆排队过程中车头间距不断减少直至停车间距。当早高峰时段，交叉口入口路段车辆排队不断累积，直到超过所架设的摄像机位置，形成了交通拥堵试验环境。

在实际处理视频之前，设置感兴趣区域，包括划定分车道范围的车道线①、车辆检测有效区域②以及车辆到达检测线③，如图2所示。各车道由中间隔离带开始具体分为0号至3号，如图3b所示。

步骤3：车辆分类器的训练过程及相关参数设置

为了基于AdaBoost级联分类器的车辆识别算法能够有效检测车辆，本文从不同的交通监控视频中手工选定了6668张图像用于正样本。同时，收集了8031幅图片作为负样本，其中2454幅是从现有交通视频背景图中抓取获得的，4014幅是从文献(OVERETT G,PETERSSON L,BREWER N,et al.A new pedestrian dataset for supervisedlearning.IEEE Intelligent Vehicles Symposium,2008:373-378)提供的网址下载的，1563幅是从互联网上搜索到的，部分正负样本见图4。所有图像样本的尺寸都按比例缩小为28×28。

本发明采用三水平Otsu阈值自适应分割方法，完成了车底阴影区域分割的两个阈值T₁和T₂的设置。车辆融合鲁棒检测距离标准G_d选定为图像坐标系中的25个像素。

步骤4：算法处理过程及总体分析

步骤4.1非拥堵区域检测

非拥堵区域检测的具体处理流程主要包括车辆存在、运动检测以及非拥堵区域检测等。首先，分别采用数学形态学和相邻三帧差法生成边缘图像和帧差图像，提取出视频图像中车辆的边缘和运动信息。其次，分别通过边缘图像和帧差图像中像素点的灰度密度来判断车辆是否存在和是否运动。最后，根据分车道车辆检测有效区域内车辆存在但静止的条件划定车辆拥堵区域。对应于车辆正常运动状态的非拥堵区域则限定为车辆拥堵区域的补集。在具体的应用过程中，本发明将分车道车辆检测有效区域进一步细分成多个局部区域，以便提高车辆存在和运动检测的准确性。后续的车辆融合鲁棒检测和分车道到达累计曲线的实时估计等工作就只限定在已检测到的车辆非拥堵区域内进行。图5表示了针对不同交通状态的车辆边缘图像和帧差图像处理结果(以后所有的图像处理结果，将只表示车辆检测有效区域R内的局部图像)，各图具体内容表示如下：a.原始图像；b.边缘图像；c.帧差图像。采用形态学边缘检测算法提取出原始图像(图5a)中车辆的边缘信息(图5b)。本发明采用相邻三帧差法提取原始图像中车辆的运动信息，如图5c所示。图6表示了基于局部细分的非拥堵区域检测具体过程，各图具体内容表示如下：a.分车道的局部细分结果；b.按照局部细分的边缘图像；c.按照局部细分的帧差图像；d.车辆有效检测区域R内非拥堵区域检测结果；e.原始图像重叠了非拥堵区域的结果。车辆检测有效R内拥堵区域检测结果，如图6d和图6e中灰色区域和黑色底影所示。对应于车辆正常运动状态的非拥堵区域则限定为车辆拥堵区域的补集。

步骤4.2基于特征融合的车辆鲁棒检测

本发明应用基于Haar特征的AdaBoost级联分类器进行车辆检测，其中的初始训练集采用人工标记车辆图像样本的方式来获取。车底阴影区域在相邻像素中始终具有最低的亮度。车底阴影是白天交通视频中车辆存在的典型线索之一，能够在存在遮挡的复杂情况下快速准确进行车辆检测，满足一般位置低角度摄像机的需要。为了实现低角度摄像机遮挡情况下车辆鲁棒检测，本发明使用假设生成和验证框架融合以上两种检测结果：本发明扩大了AdaBoost车辆检测器的参数范围，这将导致同一图像区域具有更多的车辆检测结果；利用车底阴影分割结果对基于AdaBoost级联分类器的车辆检测结果进行验证。图7表示了基于特征融合的车辆鲁棒检测具体过程，各图具体内容表示如下：a.基于AdaBoost级联分类器的车辆检测结果；b.基于车底阴影分割的车辆检测结果；c.在同一帧图像中同时显示两种方法车辆检测结果；d.基于特征融合的车辆鲁棒检测结果。

步骤4.3分车道划分及跨越检测线时刻的估计

给定非拥堵区域的车辆融合鲁棒检测结果，本发明实时估计各车辆通过分车道检测线的时刻，并将其表达为分车道检测线上的车辆到达累计曲线，即随时间不断变化的分车道车辆到达的累计数。在分车道估计车辆到达累计曲线之前必须完成以下两个步骤：(1)使用投影畸变车辆稳定特征实现分车道车辆定位，即将车辆位置划归到特定的车道，消除车辆在多条车道间的误定位问题，如图8所示。图8中各图具体内容表示如下：a.车辆融合鲁棒检测结果；b.分车道车辆定位结果。(2)准确估计各车辆跨越分车道检测线的具体时刻,如图9所示。图9中各图具体内容表示如下：a.车辆准备通过分车道检测线；b.车辆已经通过分车道检测线。

本发明使用有8核英特尔至强CPU(主频为3.30GHz)和8GB内存的64位计算机。基于AdaBoost级联分类器的车辆检测需要多尺度遍历整个感兴趣区域。本发明进行了初步的优化，并使用了英特尔的线程构建模块(TBB)多核处理方案来加速处理。后续的处理过程，只需要在针对车辆检测矩形区域进行一些简单的几何计算。每帧的平均处理时间约为66.23ms，通过简单跳帧处理后(每两帧处理一次)，就可以得到实时计算过程。

步骤5：分车道到达累积曲线估计及算法性能分析

步骤5.1：分车道到达累计曲线的估计

图10a显示了交通拥堵复杂情况下所有四条车道(0号至3号车道)车辆到达累积曲线估计结果(估计结果总图)。其中，纵轴表示车辆到达累积计数值横轴表示各车辆到达的具体时刻T_i ^Arri，以帧数表示(每25帧为1秒)。同时人工标注了各车辆到达分车道检测线的具体时刻并累积计数，通过定量对比分析来验证本文实时算法的准确性，见图10b所示(第0号车道到达累计曲线结果与真实数据的比较)。图10清楚地显示了交叉口入口路段车辆随上游信号灯周期调控呈现阶段性到达的规律，以及受本地交叉口信号灯调控的车辆停车排队及消散过程中完全停止、走走停停或正常移动状态。为了保证车辆到达累计曲线估计结果的准确性，本发明删除掉车头时距小于20帧(<500ms)的数据。

表1分车道车辆到达累计曲线估计算法性能分析

步骤5.2：算法性能分析

本发明计算平均均方根误差(the average Root Mean Square Error，简记为RMSE)进行性能对比：

${\mathrm{RMSE}}_n=\frac{\sqrt{({\hat{N}}_i-N_i)({\hat{N}}_i-N_i)}}{{\hat{N}}_i^{Arri}}$

其中，是随时间变化的累计车辆数估计值，是由人工标注的累计车辆数真实值，时间间隔周期选定为2分钟，即n＝1,2,Λ。表1描述了最终的性能评估结果。由于篇幅的限制，这里只针对第1号车道进行了性能评价。可以看到，车辆累积计数的错误率随着时间不断累积，但并不会影响交通流参数的计算。经过多信号配时周期的错误率分析，本发明算法估计分车道车辆到达曲线的平均错误率小于3.31％，达到了较为满意的结果。

步骤6：交通拥堵状态交通流参数计算

步骤6.1：计算分车道到达率

本发明首先按照当量交通量(Passenger Car Equivalents，简称PCU)计算了分车道车辆到达率，如表2所示。由于城市道路的交通组成主要以小汽车和公共汽车为主，根据实际观察本文实验交叉口入口路段小汽车占总流量的比率达到90％，而公共汽车占10％。公共汽车相对于小汽车的折算系数取为2.0。N是2分钟周期内越过检测线的分车道车辆数，而q是分车道车辆到达率。在高峰时段分车道车辆到达率从132vph变化到627vph。

表2分车道到达率

步骤6.2：计算分车道车头时距及其分布

本发明总共获取了559个车头时距数据，如图11所示，各图具体内容表示如下：a.车头时距；b.车头时距分布。图11a的分车道车头时距数据(从上到下依次为车道0,1,2,3)显示了交叉口入口路段随上游信号灯周期调控而车辆呈现阶段性到达的规律。在图11b中，不再区分各车道而统一分析车头时距，其分布特性呈现多峰值的特点。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种车辆鲁棒检测及分车道到达累计曲线估计方法，其特征在于，包括以下步骤：

步骤1、离线设置感兴趣区域：设置车道线、车辆检测有效区域以及车辆到达检测线；

步骤2、非拥堵区域检测：对车辆检测有效区域进行车辆存在检测、车辆运动检测以及基于局部细分的非拥堵区域检测；

步骤3、基于特征融合的车辆鲁棒检测，其包括：

步骤3.1、基于AdaBoost级联分类器的车辆检测

采用人工标记车辆样本的方式来获取初始训练样本集，以此样本集训练AdaBoost级联分类器，在交通视频每帧图像中检测到的车辆候选区域可表示为多个矩形块，其中每个矩形块P⁽¹⁾为：

P⁽¹⁾＝{x,y,w,h,t}

其中，(x,y)是该矩形区域左上角像素坐标，(w,h)是宽度和高度，t是从初始观察时间开始算起的图像帧累计数，

当前图像帧的所有矩形块可表示为：

其中，是第i个候选矩形块，其总数为N；

步骤3.2、车底阴影检测

采用三水平最大类间方差法实现车底阴影检测，即，确定两个灰度阈值，T₁和T₂，通过各像素灰度值与这两个阈值的比较，能够将车辆检测有效区域R分为三个区域：高灰度值区域R_h、中间灰度值区域R_m和低灰度值区域R_l，分别定义为：

R_h＝{(x,y)∈M|I(x,y)≥T₁}

R_m＝{(x,y)∈M|T₁＞I(x,y)≥T₂}

R_l＝{(x,y)∈M|other}

其中，R_l就是所选定的车底阴影候选区域，

所述低灰度值区域R_l经过形态学处理以及连通分量分析，得到所检测的车底阴影候选区域，可描述为：

P⁽²⁾＝{x,y,w,h,t}，其中，(x,y)是该矩形区域左上角像素坐标，(w,h)是宽度和高度，t是从初始观察时间开始算起的图像帧累计数，

当前图像帧中所有车底阴影检测矩形块可表示为：

其中，是第j个候选矩形块，其总数为M；

步骤3.3、车辆融合鲁棒检测

采用基于假设生成和检验框架的车辆融合检测算法，即，对于候选队列Ψ⁽¹⁾中的每辆车，依次比较其与候选队列Ψ⁽²⁾任意一辆车的距离d，当该距离小于预定义的距离标准G_d时，该车辆位置保留；否则，该车辆位置被丢弃；融合AdaBoost级联分类器与车底阴影两种车辆检测结果，能够鲁棒确定车辆的存在性以及具体位置，当前图像帧中最终检测到的车辆可表示为：Ψ＝{P₁,Λ,P_i,Λ,P_j,Λ,P_L}，其中，其总数为L；

步骤4：分车道车辆到达累计曲线估计

步骤4.1：分车道车辆定位

设车辆与路面接触的稳健点选定为车辆在路面上的投影点，给定非拥堵区域车辆的鲁棒检测结果，车辆稳定点P_s可表示为：

P_S＝(x+w/2,y+h,t)

其中，位置坐标(x+w/2,y+h)是各车辆矩形区域下边沿基线的中间点，

每条车道线段P₁P₂则由两个端点P₁和P₂所定义，根据两向量叉积方法，计算车辆稳健特征点P_s相对于车道线段P₁P₂方向可以通过下式中的正负号表示

其中，×表示两向量和的叉积，因此同时与这两个向量正交，并服从右手规则，

该两向量叉积相当于计算如下行列式

$DET=\left|\begin{array}{ccc}{x}_1& x_2& x_S\\ y_1& y_2& y_S\\ 1& 1& 1\end{array}\right|$

其中，(x_i,y_i)两值是各点P_i,i∈{1,2,S}的坐标，

车辆稳健特征点P_S相对于该线段P₁P₂的方向只需对该值DET符号进行判断，如果符号为正，P_S位于右侧的车道，如果符号为负，则正好相反；利用同样的方法，依次用各车道线段的两端点值P₁和P₂代入DET的计算公式，与车辆稳健特征点P_S进行计算；最终车辆所属车道的索引号index由这些DET符号的第一次变化所确定；则经过分车道定位后的每辆车可被描述为

P＝{x,y,w,h,index,t}

步骤4.2：分车道车辆到达累计曲线估计

车辆跨越分车道检测线时刻的估计，可以使用车辆分车道定位的计算几何算法来确定；车辆仍由稳健特征点P_S来表示，检测线段P₁P₂的两端点P₁和P₂则由分车道检测线段来定义；每一帧都需要处理DET行列式，其符号的变化时间直接对应了所估计的车辆到达时刻T_i ^Arri，同时可以获得分车道累计到达车辆数分车道车辆到达累计曲线ArriPro(t)就是在时间轴上将车辆到达累计数沿着车辆到达时刻T_i ^Arri展开，即：

$Arri\mathrm{Pr}o=\{(T_i^{Arri},N_i^{Arri}):i\&Element;\{0,t\left\}\right\}.$

2.如权利要求1所述的车辆鲁棒检测及分车道到达累计曲线估计方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1：车辆存在检测

设E(x,y)为边缘灰度图像中像素点(x,y)的灰度值，G_e为设定的边缘灰度阈值，车辆检测有效区域R内满足阈值条件的像素点集合A为：

A＝{(x,y)∈R|E(x,y)≥G_e}

设S(A)是集合A中像素的个数，S(R)是车辆检测有效区域R中所有像素的个数，因此在R中，边缘灰度密度d_e(R)为：

$d_e\left(R\right)=\frac{S\left(A\right)}{S\left(R\right)}$

设边缘灰度密度阈值为D_e，则该检测区域R内车辆是否存在V_p(R)的判断准则为：

$V_p\left(R\right)=\left\{\begin{array}{cc}true& d_e\left(R\right)\&GreaterEqual;D_e\\ false& d_e\left(R\right)<D_e\end{array}\right.$

步骤2.2：车辆运动检测

采用相邻三帧差法提取原始图像中车辆的运动信息，设F_t、F_t-1和F_t-2分别为相邻三帧灰度图像，G_f为设定的运动灰度阈值，采用三帧差法后，车辆检测有效区域R内满足阈值条件的像素点的集合B为：

B＝{(x,y)∈R||F_t(x,y)-F_t-1(x,y)|≥G_f

∨|F_t-1(x,y)-F_t-2(x,y)|≥G_f}

设S(B)是集合B中像素的个数，S(R)仍是检测区域R中所有像素的个数，因此R中的帧差灰度密度d_f(R)为：

$d_f\left(R\right)=\frac{S\left(B\right)}{S\left(R\right)}$

设帧差灰度密度阈值为D_f，则该检测区域R内车辆是否运动V_m(R)的判断准则为：

$V_m\left(R\right)=\left\{\begin{array}{cc}true& d_f\left(R\right)\&GreaterEqual;D_f\\ false& d_f\left(R\right)<D_f\end{array}\right.$

步骤2.3：基于局部细分的非拥堵区域检测

将检测有效区域R进一步细分成多个局部区域R_ij，其中，i∈{0,1,2,3},j∈{0,1,Λ,K-1}，i对应不同的车道，而j对应分车道内具体局部细分，K是局部小区域的数目，

针对每个R_ij进行以上两步骤介绍的车辆存在和运动检测具体处理，各个R_ij内发生拥堵的判断条件如下表示：