CN104952244A - 一种多特征融合的交通视频数据采集处理方法 - Google Patents

Abstract

本发明公开了一种多特征融合的交通视频数据采集处理方法，该方法包括步骤为：(1)在交通视频图像上划分虚拟区域；(2)计算虚拟区域的前景像素比例；确定边缘强度的标准差SD_e；确定车辆检测方向∠VD；(3)根据(2)步图像处理得到的前景像素比例、边缘强度的标准差SD_e、车辆检测方向∠VD计算车辆存在信心级数；(4)统计CL的数据即可确定监测到的车辆数。本技术方案的优点在于：(1)综合利用虚拟线圈内的前景面积、纹理变化、像素运动等特征来检测车辆，通过将这三种特征有效融合，使得车辆检测算法能够抵抗不良天气和光照的影响；(2)根据单个虚拟线圈内的像素运动向量来估计车辆速度，避免了双线圈测速法固有的车辆错误匹配问题。

Description

一种多特征融合的交通视频数据采集处理方法

技术领域

本发明属于道路交通视频图像数据采集和处理技术领域，具体来说是一种基于多特征融合的交通视频数据采集处理方法，从而克服复杂多样的交通场景和天气条件对图像数据处理的影响，提高检测道路车辆和车速的准确度。

背景技术

在智能交通系统应用、交通管理、交通仿真和交通流理论研究中，一项非常重要的工作就是对交通信息的采集。目前绝大多数交通信息采集设备能够提供的信息主要是单一车型的流量、速度、密度等宏观参数，这些交通信息并不区分车辆类型。采集多车型交通信息对于交通管理和理论研究具有重要意义。传统的交通信息采集方法主要有：地埋式感应线圈法、红外线检测法和超声波检测法等。这些传统方法的成本高、维护困难；而且中国的道路交通环境复杂，导致这些传统方法不能有效地分辨车型。随着视频处理技术的快速发展，基于视频的交通信息采集方法得到广泛应用。相比传统的交通信息采集方法，视频检测系统具有安装简单、维护方便、采集参数多等优点，而且可以在复杂交通场景下有效识别车型。

视频交通数据采集主要有两种研究方法：车辆跟踪法和虚拟区域法。车辆跟踪法首先识别和分割交通视频中的车辆，通过车辆跟踪建立相邻帧之间的车辆对应关系，获取车辆运动轨迹，采集交通数据；虚拟区域法则是模拟地感线圈的工作原理，由用户在图像的关键位置上划定虚拟区域，根据虚拟区域内的像素变化来判断是否存在车辆，从而采集交通数据。这两种方法各有特色。车辆跟踪法从车辆轨迹获得交通数据更加精确，这些信息来源于时间域也来源于空间域，其缺陷在于当交通密度较大时，车辆遮挡严重降低跟踪精度，因此车辆跟踪法通常用于高速公路的监测。与之相比，虚拟区域法不能充分利用图像的空间域信息，因而获得的交通数据比较有限，但其优点在于不受交通状况的限制，全天侯工作时的鲁棒性较好，更加适合实际应用。

现有的商业交通视频检测器主要采用虚拟区域法，但从其实用评估报告来看普遍存在以下缺陷：在车灯反光、运动阴影、恶劣天气、摄像机晃动等条件下，交通检测数据结果错误率较高，例如，由于车灯反光导致夜晚的检测错误率达到74.3％；由于雨雪天气导致的检测错误率即使在白天也高达16.3％，而夜晚的检测错误率高达50％。如何优化交通视频图像数据的检测方法，确保检测率对车灯反光、运动阴影、光照剧烈变化、摄像机晃动等干扰具有较强的免疫能力是交通视频数据采集处理前沿性研究方向。

发明内容

本发明的目的是为了：(1)减少视频图像交通信息监测中由于车灯反光、运动阴影、光照剧烈变化、摄像机晃动等干扰导致的检测错误率高的缺陷；(2)减少双线圈测速法的错误匹配。

实现上述目的本发明的技术方案为，一种多特征融合的交通视频数据采集处理方法，该方法包括步骤为：(1)在交通视频图像上划分虚拟区域；(2)计算虚拟区域的前景像素比例；对所有前景像素,将中值滤波后的输入图像亮度与背景亮度相减得到差分图像做Ede形态学边缘检测,从而确定边缘强度的标准差SD_e；记录虚拟区域中的前景区域的平均运动向量FMV_i，根据虚拟区域记录的FMV_i次数n，确定车辆检测方向∠VD；(3)根据(2)步图像处理得到的前景像素比例、边缘强度的标准差SD_e、车辆检测方向∠VD计算车辆存在信心级数CL，CL∈{0,1,...,k}；CL＝0为最低信心级数，表示虚拟区域内没有车辆；CL＝K为最高信心级数，表示虚拟区域被车辆占有；CL取中间值表示过渡状态；K取2-4范围的整数，与监控场景有关：车速越高，K越小；车速越低，K越大，CL始终处于0-K之间:当CL达到K时,不再增加；达到0时，不再减少；(4)统计CL的数据即可确定监测到的车辆数。

上述步骤中，划分虚拟区域是横向边界小于车道线间距，纵向边界小于普通轿车长度的四边形区域；同时虚拟区域分别沿横向和纵向划分两条特征线a₁、a₂和b₁、b₂，从而将虚拟区域横向和纵向等分为3段，a₁，a₂，b₁和b₂上的前景像素比例依次为FR_a1，FR_a2，FR_b1和FR_b2，它们决定了4条特征线的被占有情况。这种横向和纵向二次通过特征线的划分方式，能够减小“一辆车投影到两条车道"带给算法的不利影响以及同一车道上前后车辆的间距太小，虚拟区域可能被两辆车同时占有的问题。

上述步骤(2)中，车辆检测方向同时采用边缘强度的标准差SD_e的参数实现了增加运动车辆和前景噪声的区分度，避免双线圈测速法的错误匹配问题。

上述步骤(3)中，CL的计算过程为：设定CL初始值为0，当FR_vl>0.2and(FR_a1>0.2orFR_a2)and(FR_b1>0.2orFR_b2>0.2)andSD_e>T_SDand时，CL增加1；当

${\mathrm{FR}}_{\mathrm{vl}}<0.1\mathrm{or}({\mathrm{FR}}_{a1}<0.1\mathrm{and}{\mathrm{FR}}_{a2}<0.1)\mathrm{or}({\mathrm{FR}}_{b1}<0.1\mathrm{and}{\mathrm{FR}}_{b2}<0.1)\mathrm{or}{\mathrm{SD}}_e<T_{\mathrm{SD}}\mathrm{or}|\&angle;\mathrm{FMV}-\&angle;\mathrm{VD}|>\frac{\mathrm{\&pi;}}{4}$ 时，CL减1；上式中的TSD是纹理变化的阈值，选择范围为[0,512]。上述CL的计算方法体现了特征级融合的思想，上式中，如果虚拟区域内的前景像素比例大于闽值，并且特征线上的前景像素比例也大于阈值，表示虚拟线圈内存在前景车辆或噪声干扰；这时需要利用纹理变化特征加以区分，如果SD_e大于阈值，表示很可能是前景车辆，因为噪声几乎不改变背景路面的纹理；最后利用像素运动特征进行验证，如果运动方向与道路方向一致，表示虚拟线圈内很可能存在车辆运动，于是增加信心级数；在式中，如果虚拟区域内的前景像素比例小于阈值，或者特征线上的前景像素比例小于阈值，表示虚拟线圈内前景面积太小，肯定不是车辆；否则，如果纹理变化特征SD_e小于阈值，表示虚拟线圈内是前景噪声，肯定不是车辆；否则，如果像素运动方向与道路方向偏差较大，表示可能是摄像机晃动或前景干扰引起像素变化，肯定不是车辆，于是减少信心级数。融合三种特征来检测车辆，效果好于利用任何单一特征的效果。

上述方法中，当检测到车辆时，根据此时虚拟区域的前景区域的平均运动向量FMV可计算车辆的瞬时速度V_inst，对多次虚拟区域得到瞬时速度做中值滤波处理确定车辆平均速度v。根据车辆在虚拟区域的存在时间O，即车辆占据虚拟线圈的时间、虚拟区域长度及车辆平均速度v；可以计算车辆长度L＝V×O-d；这里d选择为虚拟区域长度的1/3。

本申请的优点在于：(1)综合利用虚拟区域内的前景面积、纹理变化、像素运动等特征来检测车辆，通过将这三种特征有效融合，使得车辆检测算法能够抵抗不良天气和光照的影响；(2)根据单个虚拟线圈内的像素运动向量来估计车辆速度，避免了双线圈测速法固有的车辆错误匹配问题。

附图说明

图1为本发明所述方法的流程图；

图2为本发明图像上的虚拟区域图；

图3为本发明中前景与背景差分的形态学边缘强度与标准差的计算过程图；

图4A为本发明白天视频的车辆图像；

图4B利用发明的方法对白天视频的车辆图像进行速度计算；

图5A为本发明夜晚视频的车辆图像；

图5B利用发明的方法对夜晚视频的车辆图像进行速度计算。

具体实施方式

下面对本发明的技术方案进行具体描述，如图1所示为本发明所述的多特征融合的交通视频数据采集处理方法，该方法包括步骤为：(1)在交通视频图像上划分虚拟区域；在图像上沿车道方向划分四边形虚拟线圈，每条车道上至少一个，虚拟区域的宽度略小于车道宽度，长度近似为普通轿车的长度，如图2所示。由于摄像机侧向安装，公交车等大型车辆经常大面积遮挡相邻车道；此外跨车道行驶的车辆会在相邻两条车道上都产生投影。单独依靠虚拟区域内的前景像素比例很难处理这些情况，于是在线圈内增加两条沿车道方向的特征线a₁和a₂，它们的端点将线圈上下两条边等分为三段。假设线圈被车辆占有时，a₁和a₂中至少有一条线被车辆占有。根据该假设，车辆必须投射到a₁和a₂之间的区域才算占有线圈，这样能够明显减小“一辆车投影到两条车道"”带给算法的不利影响。另外，如果同一车道上前后车辆的间距太小，虚拟区域有可能被两辆车同时占有。依靠线圈内的前景像素比例、特征线a₁和a₂都很难处理这种情况。于是在虚拟区域内增加两条垂直于车道方向的特征线b₁和b₂，它们的端点将线圈左右两条边等分为三段，如图2所示。假设线圈被车辆占有时，b₁和b₂中至少有一条线被车辆占有。也即车辆必须投射到b₁和b₂之间的区域才算占有线圈，由于该区域被两辆车同时占有的可能性很小，使得有可能将前后车辆分开；

(2)计算虚拟区域的前景像素比例，a₁，a₂，b₁和b₂上的前景像素比例依次为FR_a1，FR_a2，FR_b1和FR_b2，它们决定了4条特征线的被占有情况；在交通监控中，背景消减法容易受车灯反光、运动阴影、光照剧烈变化等因素的干扰，前景区域通常包含很多噪声。必须寻找更加鲁棒的车辆特征，消除前景噪声的影响。前景噪声几乎不改变背景路面的纹理，而运动车辆显著改变背景纹理。于是选择虚拟区域内前景与背景差分的形态学边缘强度的标准差作为车辆特征，对所有前景像素,将中值滤波后的输入图像亮度与背景亮度相减得到差分图像做Ede形态学边缘检测,从而确定边缘强度的标准差SD_e，其过程如图3所示；交通视频检测器大多具有定向检测功能，但是其检测方向需要人为设定，不够灵活。本方法在在算法初始化阶段，首先处理一段含有运动车辆的视频，提取虚拟线圈内的前景像素；如果前景面积较大，满足FR_vl>0.2，则记录此时前景区域的平均运动向量，记为FMV_i；假设某虚拟线圈共记录了n次FMV_i，则可以估计它的车辆检测方向：

记录虚拟区域中的前景区域的平均运动向量FMV_i，根据虚拟区域记录的FMV_i次数n，确定车辆检测方向∠VD；

(3)根据(2)步图像处理得到的前景像素比例、边缘强度的标准差SD_e、车辆检测方向∠VD计算车辆存在信心级数CL，CL∈{0,1,...,k}；CL＝0为最低信心级数，表示虚拟区域内没有车辆；CL＝K为最高信心级数，表示虚拟区域被车辆占有；CL取中间值表示过渡状态；K取2-4范围的整数，与监控场景有关：车速越高，K越小；车速越低，K越大，CL始终处于0-K之间:当CL达到K时,不再增加；达到0时，不再减少；CL的计算过程为：设定CL初始值为0，当FR_vl>0.2and(FR_a1>0.2orFR_a2)and(FR_b1>0.2orFR_b2>0.2)andSD_e>T_SDand时，CL增加1；当

${\mathrm{FR}}_{\mathrm{vl}}<0.1\mathrm{or}({\mathrm{FR}}_{a1}<0.1\mathrm{and}{\mathrm{FR}}_{a2}<0.1)\mathrm{or}({\mathrm{FR}}_{b1}<0.1\mathrm{and}{\mathrm{FR}}_{b2}<0.1)\mathrm{or}{\mathrm{SD}}_e<T_{\mathrm{SD}}\mathrm{or}|\&angle;\mathrm{FMV}-\&angle;\mathrm{VD}|>\frac{\mathrm{\&pi;}}{4}$ 时，CL减1；上式中的TSD是纹理变化的阈值，选择范围为[0,512]。

(4)统计CL的数据即可确定监测到的车辆数，当检测到车辆时，根据此时虚拟区域的前景区域的平均运动向量FMV可计算车辆的瞬时速度V_inst，对多次虚拟区域得到瞬时速度做中值滤波处理确定车辆平均速度v。根据车辆在虚拟区域的存在时间O，即车辆占据虚拟线圈的时间、虚拟区域长度及车辆平均速度v；可以计算车辆长度L＝V×O-d；这里d选择为虚拟区域长度的1/3。

根据车辆长度L，可以将车辆粗略分为小型车、中型车、大型车三类，如表1所示。

表1不同车辆长度表

用不同场景和天气条件下的视频对所述数据采集系统进行测试。测试了10段视频,包括2段晴天视频、2段阴天视频、2段雾天视频、1段雨天视频、2段夜晚视频和1段黎明视频。这些视频代表了现实中最常见的场景状况，表2列出了实验结果。

表2对测试视频进行车辆计数的实验结果

实验结果表明，本发明算法能够处理不同交通场景和天气条件。总体来说,白天检测错误率在5％左右,夜晚检测错误率在15％左右。由于算法融合了虚拟区域内的前景面积、纹理变化、像素运动等特征,检测精度不易受到天气条件和光照变化的影响,在雨天、雾天和夜晚等环境下,算法性能并不显著下降。

为了测试本发明的方法对对车速估计功能,选取了在北京市中关村东路拍摄了1段白天视频和1段夜晚视频。白天视频的拍摄时间是上午11点,夜晚视频的拍摄时间是晚上7点,属于晚高峰。通过对前景角点像素做运动估计,并利用摄像机标定结果,我们获得了每辆车的速度,建立了车辆速度直方图,如图4A、4B和图5A、5B。计算可得，白天视频的空间平均速度V_s＝46.47Km/h,时间平均速度V_t＝47.88Km/h；夜晚视频的空间平均速度V_s＝32.33Km/h，时间平均速度V_t＝36.46Km/h，夜晚视频平均速度的下降主要是由于交通晚高峰造成的。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (7)

1.一种多特征融合的交通视频数据采集处理方法，其特征在于，该方法包括步骤为：(1)在交通视频图像上划分虚拟区域；(2)计算虚拟区域的前景像素比例；对所有前景像素,将中值滤波后的输入图像亮度与背景亮度相减得到差分图像做Ede形态学边缘检测,从而确定边缘强度的标准差SD_e；记录虚拟区域中的前景区域的平均运动向量FMV_i，根据虚拟区域记录的FMV_i次数n，确定车辆检测方向∠VD；(3)根据(2)步图像处理得到的前景像素比例、边缘强度的标准差SD_e、车辆检测方向∠VD计算车辆存在信心级数CL，CL∈{0,1,...,k}；CL＝0为最低信心级数，表示虚拟区域内没有车辆；CL＝K为最高信心级数，表示虚拟区域被车辆占有；CL取中间值表示过渡状态；K取2-4范围的整数，与监控场景有关：车速越高，K越小；车速越低，K越大，CL始终处于0-K之间:当CL达到K时,不再增加；达到0时，不再减少；(4)统计CL的数据即可确定监测到的车辆数。

2.根据权利要求1所述的多特征融合的交通视频数据采集处理方法，其特征在于，步骤(1)中划分虚拟区域是横向边界小于车道线间距，纵向边界小于普通轿车长度的四边形区域。

3.根据权利要求2所述的多特征融合的交通视频数据采集处理方法，其特征在于，虚拟区域分别沿横向和纵向划分两条特征线a₁、a₂和b₁、b₂，从而将虚拟区域横向和纵向等分为3段，a₁，a₂，b₁和b₂上的前景像素比例依次为FR_a1，FR_a2，FR_b1和FR_b2，它们决定了4条特征线的被占有情况。

4.根据权利要求1所述的多特征融合的交通视频数据采集处理方法，其特征在于，步骤(2)中，车辆检测方向

5.根据权利要求1所述的多特征融合的交通视频数据采集处理方法，其特征在于，步骤(3)中，CL的计算过程为：设定CL初始值为0，当FR_vl>0.2and(FR_a1>0.2orFR_a2)and(FR_b1>0.2orFR_b2>0.2)andSD_e>T_SDand时，CL增加1；当

${\mathrm{FR}}_{\mathrm{vl}}<0.1\mathrm{or}({\mathrm{FR}}_{a1}<0.1\mathrm{and}{\mathrm{FR}}_{a2}<0.1)\mathrm{or}({\mathrm{FR}}_{b1}<0.1\mathrm{and}{\mathrm{FR}}_{b2}<0.1)\mathrm{or}{\mathrm{SD}}_e<T_{\mathrm{SD}}\mathrm{or}|\&angle;\mathrm{FMV}-\&angle;\mathrm{VD}|>\frac{\mathrm{\&pi;}}{4}$ 时，CL减1；上式中的TSD是纹理变化的阈值，选择范围为[0,512]。

6.根据权利要求1、2、3、4或5所述的多特征融合的交通视频数据采集处理方法，其特征在于，当检测到车辆时，根据此时虚拟区域的前景区域的平均运动向量FMV可计算车辆的瞬时速度V_inst，对多次虚拟区域得到瞬时速度做中值滤波处理确定车辆平均速度v。

7.根据权利要求6所述的多特征融合的交通视频数据采集处理方法，其特征在于，根据车辆在虚拟区域的存在时间O，即车辆占据虚拟线圈的时间、虚拟区域长度及车辆平均速度v；可以计算车辆长度L＝V×O-d；这里d选择为虚拟区域长度的1/3。