CN102254428A - 一种基于视频处理的交通拥塞检测方法 - Google Patents

Abstract

本发明公开了一种基于视频分析技术的交通拥塞检测方法，在视频分割及关键帧提取的基础上通过获取视频镜头的平均相异度、关键帧数、平均光流场能量三个拥堵特征量，采用多分类SVM方法实现交通拥堵检测。本发明给出了一种新的交通拥堵检测方法，避免了现有技术中难以完整或正确地获取交通量、车速、密度等交通参数的问题，并且不需要跟踪车辆的运行轨迹，检测交通拥堵状态的结果较为准确，可以很好地辅助交通部门了解交通拥堵状态。

Description

一种基于视频处理的交通拥塞检测方法

技术领域

本发明属于数字视频处理领域，具体涉及一种基于视频分析技术的交通拥塞检测方法。

背景技术

随着社会经济及城市化的发展，机动车数量增长迅速，城市交通拥堵问题日益严重。及时而正确地判别道路的交通拥堵状态，是采取合理的交通拥堵预警、诱导车辆进行合理的道路分配行驶以主动避免交通拥堵的前提。因此，以发现道路上交通拥堵状态为目的的道路拥堵自动判别方法（ACI）已成为智能交通系统研究中的重要领域之一。

目前，视频监控技术已经进入了全数字化与网络化阶段。城市交通监控网络的扩展推动了视频分析技术应用于处理交通数据信息的发展。未来的智能视频监控系统必将成为交通行业的主流，视频分析技术会成为交通管理的有力工具。

视频图像不仅是最直观的交通信息，同时也是信息量最大的交通信息源。将视频分析技术引入交通视频监控，通过对视频图像的分析可以获取丰富的交通数据信息。在交通拥堵识别方法中，常用的方法基于交通流理论基础之上，通过描述交通状态的变量（交通量、车速、密度等）来实施判别。由于光流矢量直接反映了车流速度的大小和方向，通过研究光流在视频监控区域下道路运动信息的强弱变化规律也可以实现对交通拥堵状态的判别。

以上单独的交通流变量并不能真实全面地反映交通状况。神经网络、聚类算法、贝叶斯网络等方法考虑以上的一种或多种交通参数实现交通状态的识别，提高了识别的准确性。然而，城市交通的交通参数采集受到多种因素的限制，难以采集到完整或准确的交通流数据。这种缺陷会传递到后续的识别过程中，最终影响到上述方法的识别准确率。

另外的一些道路监控系统通过定位和跟踪监控区域内的车辆，分析车辆的运行轨迹来判断交通拥堵事件的发生。这种方法的准确性严重依赖于车辆跟踪的结果。而光线的强弱、车辆的速度和车辆遮挡等现象使车辆跟踪效果并不理想。

发明内容

本发明的目的是提供一种基于视频分析技术的交通拥塞检测方法，以避免常用的基于交通流理论判断交通拥堵方法中难以完整或正确地获取交通参数的问题，并且不需要跟踪车辆的运行轨迹。

为了达到以上目的，本发明采用的技术方案是：一种基于视频处理的交通拥塞检测方法，包括下列步骤：

(1) 获取待检测的视频流，所述视频流中含有至少11帧连续的视频图像；获取所述视频图像的背景图像；

(2) 在视频图像的车辆驶入及驶出的监控区域边缘各设置一条垂直于车辆行驶方向的虚拟检测线；

(3) 对输入的视频流进行分割，由各帧视频图像与背景图像的相异度确定该帧视频图像的运动趋势；根据视频流中各帧视频图像运动趋势的变化将视频流分割成由多个连续的视频图像构成的镜头，每一镜头由至少一个子镜头构成；

(4) 针对每一视频镜头，计算该镜头各帧的平均相异度；提取视频镜头的关键帧，计算关键帧数；

(5) 计算视频镜头的平均光流场能量；

(6) 设置交通拥堵状态为畅通、轻度拥堵、拥堵及严重拥堵；构建多分类SVM支持向量机，所述支持向量机的输入为镜头的平均相异度、镜头的关键帧数、镜头的平均光流场能量，输出为交通拥堵状态中的两项，经过训练，获得6个SVM支持向量机，将步骤(4)、(5)中获得的数据输入SVM支持向量机，采用投票法即获得所需检测的交通拥堵状态。

上述技术方案中，所述步骤(1)中背景图像的获取是现有技术，例如，可以采用多帧图像平均法，将运动的车辆看作噪声，用累加平均的方法来消除噪声，利用车辆运行一段时间的序列图像进行平均来得到道路背景图像。

上述技术方案中，所述步骤(3)中的视频流分割方法为：

a)计算某一帧视频图像的后L帧的平均相异度与前L帧的平均相异度之差，获得当前帧的运动趋势，后L帧与前L帧的平均相异度之差大于零表示当前帧的运动趋势为增加；反之，运动趋势为减少；L为大于或等于5的整数；

所述相异度的计算公式为：

式中，ColDis(i,b)指当前帧视频图像与背景图像的相异度，ColSim(i,b)指当前帧视频图像与背景图像的相似度，i表示视频帧序列的第i帧，b表示背景图像；相似度的计算为现有技术，例如，可以采用直方图相交法实现。

b)采用步骤a)的方法计算视频流中各帧视频图像的运动趋势，如果当前帧与其前一帧有相反的运动趋势，则检测是否有车辆进入或离开监控区域，如有车辆进入或离开监控区域，则设定前一帧为一个镜头的末尾帧，当前帧为下一个镜头的起始帧，否则当前帧为当前镜头的一个子镜头边缘帧。

所述视频镜头的平均相异度为镜头内所有帧与背景图像的相异度的和的平均值。

上述技术方案中，所述是否有车辆进入或离开监控区域的检测方法为，与背景图像相比，当前帧的视频图像中，运动物体覆盖检测线的部分占检测线的比例大于设定阈值时，认为有车辆进入或离开监控区域，所述阈值在15%～30%之间选取。

所述步骤(4)中的关键帧是指镜头中最能够反映视频镜头主要内容的关键图像帧。关键帧的提取方法是，计算一个子镜头中各帧视频图像与背景图像的平均相异度，选择与背景图像的相异度最接近于该子镜头的平均相异度的帧为关键帧。

所述关键帧数即为镜头内的子镜头数目，镜头的首帧、末尾帧及其中间的子镜头边缘帧将当前镜头按照时间的顺序分割为一系列的子镜头。

上述技术方案中，所述步骤(5)中采用Lucas-Kanade算法计算镜头内各关键帧的光流场矢量U，根据得到的光流场矢量计算光流场能量。镜头光流场能量即为镜头关键帧的平均光流场能量和的平均值。

所述光流场能量计算公式为：

式中，Ge指光流场能量，U指光流场矢量，N指帧图像的像素数目。

上述技术方案中，所述步骤(6)中的多分类SVM采用了一对一分类法。使用视频镜头的平均相异度、关键帧数、平均光流场能量特征训练k（k-1）/2个SVM，k是评估的交通拥堵状态数。由所有的SVM对于输入的镜头进行交通拥堵状态判断，利用投票方法，累计各类拥堵状态的得票数，选择最后票数最多所对应的类别就是镜头的所属交通拥堵状态类别。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

1.本发明给出了一种全新的交通拥堵检测方法，提高了交通拥堵状态评估的准确率，具有很好的鲁棒性。

2.本发明在视频分割及关键帧提取的基础上获得视频镜头的平均相异度、关键帧数、平均光流场能量三个特征，避免了难以完整或正确地获取交通量、车速、密度等交通参数的问题，并且不需要跟踪车辆的运行轨迹。

3.实验证明，本发明的基于视频分析技术的交通拥堵检测方法是可行的，通过与其他多种交通拥堵检测方法的比较，验证了该方法优于交通参数判断法、光流场法、车辆轨迹跟踪法等交通拥堵检测方法。提高了交通拥堵状态评估的准确率，为智能交通系统提供了一种新的交通拥堵检测方法。

4.将本发明应用于智能交通系统中，评估交通拥堵状态的结果较为准确，可以很好地辅助交通部门判断交通拥堵状态。

附图说明

附图1实施例中一种基于视频分析技术的交通拥堵检测方法总体流程图；

附图2实施例中视频分割流程图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图及实施例对本发明作进一步描述：

实施例一：图1为本发明实施的基于视频分析技术的交通拥塞检测方法的流程图，数据文件为包含运动车辆的视频文件。

步骤一：采用多帧图像平均法获得视频监控区域的背景图像。由于平均帧数的增加会改善噪声消除的效果，优选的技术方案为预先读入连续的500帧视频图像进行平均。

步骤二：在视频图像的车辆驶入及驶出的监控区域边缘各设置一条垂直于车辆行驶方向的虚拟检测线。当视频中的车辆经过虚拟检测线时，检测线位置上的图像像素值会由于车辆的覆盖而发生改变，当运动物体覆盖检测线的宽度大于某个阈值时，就认为有车辆进入或离开监控区域的状态发生。优选的阈值为检测线宽度的15%。

步骤三：读入视频文件，并且对其进行镜头分割。具体步骤如下（参见图2）：

步骤1：定义一个2L+1大小的时间窗，优选时间窗大小为11帧。输入视频初始帧序号设定为1，初始时间窗内包含了视频帧序列的第1到第11帧。

步骤2：设定输入视频的初始帧为第一个镜头的首帧。

步骤3：采用HSV颜色空间的直方图表示视频帧图像的颜色特征，色调H分为8份，饱和度S和亮度V分别分为4份。使用直方图相交法依次计算时间窗内各帧与背景图像的相似度。其计算公式如下所述：

  式中，ColSim(i,b)指当前帧与背景帧的相似度，i表示视频帧序列的第i帧，b表示背景帧，

和

分别指当前帧及背景帧的HSV颜色空间的直方图，N是指帧图像的像素数目。

根据相似度的计算结果，通过下式计算当前帧与背景帧的相异度。

    式中，ColDis(i,b)指当前帧与背景帧的相异度。

步骤4：依下式分别计算时间窗中心帧及其前一帧的运动趋势。

式中，

指帧的运动趋势。

表示帧的运动有增加的趋势；反之，运动趋势减少。

步骤4：如果两帧的运动趋势出现变化，区分镜头边缘帧与子镜头边缘帧。否则，执行步骤5。具体步骤如下：

步骤4-1：如果在时间窗内有车辆进入或离开视频监控区域，判别中心帧为下一个镜头的起始帧，前一帧为当前镜头的末尾帧。

步骤4-2：如果没有在时间窗内探测到有车辆进入或离开监控区，将中心帧判别为子镜头的边缘帧。

步骤5：时间窗沿时间轴方向滑动一帧。

步骤6：如果时间窗已到达视频的末帧，将视频的末帧判别为当前镜头的末尾帧；否则重复执行步骤3—步骤5，直到时间窗到达视频的末帧。

由步骤三判别出的首帧、末尾帧及其中间帧按照时间的顺序构成镜头。镜头的首帧、末尾帧及其中间的子镜头边缘帧将当前镜头按照时间的顺序分割为一系列的子镜头。如果当前镜头中不存在子镜头边缘帧，认为当前镜头只有一个子镜头，子镜头即为当前镜头。

步骤四：计算镜头平均相异度。所述视频镜头平均相异度的计算公式为：

式中，指分割出的第z个视频镜头的平均相异度，u是指镜头的第一帧在整个视频帧序列中的序号，v是指镜头的最后一帧在整个视频帧序列中的序号。

步骤五：在镜头中的各个子镜头中选取其中的一幅视频帧图像作为关键帧，选取的帧与背景图像的相异度最接近子镜头的平均相异度。镜头关键帧数即为镜头内的子镜头数目。

步骤六：采用Lucas-Kanade算法计算镜头内各关键帧的光流场矢量U。计算镜头内各关键帧的光流场能量。光流场能量计算公式如下：

式中，Ge指光流场能量，U指光流场矢量，N指帧图像的像素数目。

镜头光流场能量即为镜头关键帧的平均光流场能量和的平均值。

步骤七：为准确地评估四种交通拥堵状态：畅通、轻度拥堵、拥堵及严重拥堵。本发明采用多分类SVM的一对一分类方法，构造了六个SVM，分别为畅通—轻度拥堵SVM、畅通—拥堵SVM、畅通—严重拥堵SVM、轻度拥堵—拥堵SVM、轻度拥堵—严重拥堵SVM及拥堵—严重拥堵SVM。训练样本选择了不同时间段、存在不同的拥堵状态，总计300分钟的监控视频。经上述步骤分割镜头，提取视频镜头的平均相异度、关键帧数、平均光流场能量三个特征量，并由交通专业人士标注镜头的拥堵状态等级。

本示例中选择输入300分钟的监控视频实时地评估交通拥堵状态。通过步骤一到步骤六的执行，分割了1165个镜头，并对各镜头提取平均相异度、关键帧数、平均光流场能量三个特征参数。由六个SVM分别进行交通拥堵状态判别。最后，利用投票方法，一个SVM判断镜头属于第i 类交通拥堵状态就意味着第i 类交通拥堵状态获得一票， 所有的SVM对镜头进行判别，累计最后票数最多的类别就是镜头的所属交通拥堵状态类别。评估的各镜头拥堵状态与人工识别的结果对比见表1。

表1 本发明方法与人工识别的结果对比表

根据表1的结果，本示例中的拥堵状态评估的识别率分别为：畅通状态97.71%，轻度拥堵状态95.21%，拥堵状态94.27%，严重拥堵96.94%。因此，本发明方法基本上能够识别以上四种拥堵状态，达到了使用的要求。

实施例二：为说明实施例一中的HSV直方图的H、S、V分块参数的优选性，本示例采用HSV颜色空间的直方图色调H分为8份，饱和度S和亮度V分别分为3份。选择实施例一中的视频，根据其同样的具体实施步骤评估交通拥堵状态。其识别率分别为：畅通状态91.57%，轻度拥堵状态89.63%，拥堵状态87.26%，严重拥堵89.80%。基本上也能够识别各种拥堵状态，然而各类拥堵状态的识别率低于实施例一。

Claims (5)

1.一种基于视频处理的交通拥塞检测方法，其特征在于，包括下列步骤：

(1) 获取待检测的视频流，所述视频流中含有至少11帧连续的视频图像；获取所述视频图像的背景图像；

(2) 在视频图像的车辆驶入及驶出的监控区域边缘各设置一条垂直于车辆行驶方向的虚拟检测线；

(3) 对输入的视频流进行分割，由各帧视频图像与背景图像的相异度确定该帧视频图像的运动趋势；根据视频流中各帧视频图像运动趋势的变化将视频流分割成由多个连续的视频图像构成的镜头，每一镜头由至少一个子镜头构成；

(4) 针对每一视频镜头，计算该镜头各帧的平均相异度；提取视频镜头的关键帧，计算关键帧数；

(5) 计算视频镜头的平均光流场能量；

(6) 设置交通拥堵状态为畅通、轻度拥堵、拥堵及严重拥堵；构建多分类SVM支持向量机，所述支持向量机的输入为镜头的平均相异度、镜头的关键帧数、镜头的平均光流场能量，输出为交通拥堵状态中的两项，经过训练，获得6个SVM支持向量机，将步骤(4)、(5)中获得的数据输入SVM支持向量机，采用投票法即获得所需检测的交通拥堵状态。

2.根据权利要求1所述的交通拥塞检测方法，其特征在于：所述步骤(3)中的视频流分割方法为：

a)计算某一帧视频图像的后L帧的平均相异度与前L帧的平均相异度之差，获得当前帧的运动趋势，后L帧与前L帧的平均相异度之差大于零表示当前帧的运动趋势为增加；反之，运动趋势为减少；L为大于或等于5的整数；

所述相异度的计算公式为：

式中，ColDis(i,b)指当前帧视频图像与背景图像的相异度，ColSim(i,b)指当前帧视频图像与背景图像的相似度，i表示视频帧序列的第i帧，b表示背景图像；

b)采用步骤a)的方法计算视频流中各帧视频图像的运动趋势，如果当前帧与其前一帧有相反的运动趋势，则检测是否有车辆进入或离开监控区域，如有车辆进入或离开监控区域，则设定前一帧为一个镜头的末尾帧，当前帧为下一个镜头的起始帧，否则当前帧为当前镜头的一个子镜头边缘帧。

3.根据权利要求2所述的交通拥塞检测方法，其特征在于：所述是否有车辆进入或离开监控区域的检测方法为，与背景图像相比，当前帧的视频图像中，运动物体覆盖检测线的部分占检测线的比例大于设定阈值时，认为有车辆进入或离开监控区域，所述阈值在15%～30%之间选取。

4.根据权利要求1所述的交通拥塞检测方法，其特征在于：所述步骤(4)中关键帧的提取方法是，计算一个子镜头中各帧视频图像与背景图像的平均相异度，选择与背景图像的相异度最接近于该子镜头的平均相异度的帧为关键帧。

5.根据权利要求4所述的交通拥塞检测方法，其特征在于：所述关键帧数即为镜头内的子镜头数目，镜头的首帧、末尾帧及其中间的子镜头边缘帧将当前镜头按照时间的顺序分割为一系列的子镜头。

Images