CN102819952B - 一种基于视频检测技术的车辆违法变道检测方法 - Google Patents

Abstract

本发明公开了一种基于视频检测技术的车辆违法变道检测方法。传统的交通事件检测需在道路下面物理埋设大量环形线圈检测器或在路边安装超声波检测器。本发明具体步骤如下：步骤(1)运动车辆检测；步骤(2)基于分水岭算法的运动车辆定位；步骤(3)基于二级特征匹配的卡尔曼滤波跟踪；其中步骤（1）包括预处理、背景建模、运动目标提取、后处理；步骤(2)包括输入建立的背前景二值化图像、对输入的背前景二值化图像进行V-S分水岭算法、开辟内存以存放统计信息并建立领域链表、合并极小区和相似区域、输出运动目标的区域统计信息。本发明抗干扰能力强，能有效消除孤立噪声，更准确的提取车辆前景信息有较好的帮助。

Description

一种基于视频检测技术的车辆违法变道检测方法

技术领域

本发明属于智能交通技术领域，涉及图像处理和视频检测技术，具体是一种基于视频检测技术的车辆违法变道检测方法。

背景技术

随着我国经济社会建设的飞速发展，汽车保有量也一步步攀升。汽车保有量的攀升使得道路交通拥挤加剧、交通事故频繁、能源浪费严重、环境质量恶化等。

其中违法变道是很常见的一种交通违规事件，据统计有超过半数的交通事故都和违法变道有关系，由此可见其危害性巨大。所以违法变道的检测具有重要的实际意义。

传统的交通事件检测系统需在道路下面物理埋设大量环形线圈检测器或在路边安装超声波检测器。它们的缺点环形线圈检测器需要破环现有的公路地面以安装地感线圈，都存在工作寿命、使用环境及可靠性问题。而视频检测技术是一种计算机视觉技术、数字图像处理技术、模式识别技术相结合的检测技术，相比传统的检测技术有如下优点：

1.检测范围广：能对视线范围200米以内的车辆进行跟踪检测，检测的车道数可达到8条

2.安装维护无干扰：由于视频检测器往往是安装在路侧或中央隔离带上，因此安装及维护不需要关闭车道，也不需要开挖、破坏路面，维护方便低耗；传统的感应线圈检测器在损坏时，需要开挖路面进行维护而视频检测设备发生问题时，可直接摘除或修理设备；不需要关闭车道或开挖路面，减少了维护费用。

3.检测参数丰富：能够检测交通流量、速度、密度、占有率等基本交通参数；还能检测排队、逆行、停车、行程时间、延误、散落物、事件、拥挤等，这是一般的感应线圈检测器无法比拟的。

4.可视性：能够将实时的图像传给交通管理者，实现监视的职能；

5.检测可靠性高：能够全天候工作不受雨、雪等恶劣天气的影响；

6.检测准确度高：大部分参数检测的精度在90%以上；

7.技术成熟：国内外对视频检测技术的研究及应用比较成熟，新的技术也在不断发展。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于视频检测技术的车辆违法变道。检测方法，来克服传统物理埋设的交通事件检测器的缺点，。

本发明解决其技术问题所采用的技术方案如下：

步骤(1).运动车辆检测

视频信号由视频帧序列组成，运动车辆检测就是在视频帧序列的每一帧中提取运动车辆；

选择基于差异深度积累背景差分法的目标检测算法，该方法在背景建模过程中引入差异深度矩阵来记录图像的变化，具体如下：

1-1.预处理

将输入的视频帧图像从RGB格式转换为8位灰度图。

1-2.背景建模

首先，选取预处理后视频帧序列中相邻的i、j两帧图像做差，然后对得到的差值图像进行如下二值化处理，

    （1）

其中，

是一个经过优化的门限值，i、j是相邻的两帧图像，

,

分别表示第i帧图像和第j帧图像在

处的像素值；

是像素点处的差值进行二值化处理后的值；

根据式（1），若二值化处理后的差值

为1，则该差值是运动车辆造成的或由噪声引起；若二值化处理后的差值

为0，则该差值是背景引起的。

当差值

为1，对相邻的几帧图像中同一位置像素的变化引入“记忆”过程，来区分该差值是由运动车辆造成，或由噪声引起；并为图像的每一个像素设置一个记录其像素值变化的变量

，由此形成一个差异深度矩阵

 (2)

其中, 为第

帧图像中

处像素值变化的变量，

是差异深度，

为正整数，一般可取

；

若，则说明在

帧内，该像素值变化不大，此时将此像素动态更新至如下背景模型：

  (3)

其中

为前

帧图像建立的背景模型，为第

帧图像，

为更新速度，其取值范围为［0，1］，根据经验，

取值在[0.05，0.1]区间时背景更新效果较好。

1-3.运动目标提取

根据步骤1-2建立好的背景模型，将当前帧图像

与背景模型

做差得出差值图像

：

   （4）

根据Otsu算法求得差值图像

的最佳阈值，提取运动目标，建立背前景二值化图像，具体如下：

若差值图像

大于最佳阈值，则将该像素点置为1，代表目标车辆。

若差值图像

小于最佳阈值，则将该像素点置为0，代表路面背景。

1-4.后处理

通过数学形态学中的开操作和闭操作来进行后处理，消除运动目标提取阶段留下的空洞和噪声点，改善前景二值图的空域连通性。

步骤(2).基于分水岭算法的运动车辆定位

采用分水岭分割算法来对运动目标进行定位，具体如下：

2-1.输入步骤1-3建立的背前景二值化图像。

2-2.对输入的背前景二值化图像进行V-S分水岭算法，具体步骤如下：

2-2-1.排序 

计算视频帧图像中各点的像素值的梯度，得梯度值图像G。根据图像G中各梯度值的概率密度计算出该像素点的排序位置，并将各梯度值存入相应的排序数组中，得到一个梯度层级集合

，h为梯度值，

表示梯度为h的像素集合。

2-2-2.浸没

按梯度值h值从低到高，对每一级梯度层级集合

进行浸没处理，具体步骤如下：

（1）模拟浸没过程，处理一个梯度层级h，首先将该梯度层级中所有领域已被标识的点加入到一个先进先出的队列FIFO中。

（2）若FIFO非空，则弹出队列的首元素，如果该像素点的邻域点已被标记，则将其标签值赋给该像素点，若领点尚未被标识则将该邻点加入到FIFO队列中，循环执行该步骤，直到FIFO队列为空。

（3）再次扫描

层级的每个像素点，如还有未被标识的邻域点，即表示发现了新的极小区；此时，将该区域的标识值加1，并将该标识值赋给未标识的邻域点，作为其标签值；接着，从该像素点出发重新执行步骤2-2-2的浸没过程，以标识该极小区的所有像素点。

（4）梯度值h加1，处理下一层级，直到

中所有层级处理完毕。

2-3.开辟内存以存放统计信息，并根据V-S算法处理得到的标记图像初始化内存空间，建立领域链表。

2-4.合并极小区和相似区域

采用区域合并方法来解决过分割问题，即基于区域合并的方法，将像素个数过小的区域和RGB均值相似的区域合并到邻域中。

2-5.输出运动目标的区域统计信息，包括目标中心位置、大小信息，根据区域的最小和最大坐标得到运动目标的最小外接矩形框，并在原图像上将其框出。

步骤(3).基于二级特征匹配的卡尔曼滤波跟踪

基于卡尔曼滤波的运动目标跟踪关键在于对时间轴上各帧检测出的运动目标区域建立对应关系，即确定运动目标的运动轨迹，具体步骤如下：

3-1.目标特征提取：对检测出的运动目标，用一个矩形框标定该区域，并提取每个区域的中心坐标及长宽特征。

3-2.建立链表：为每一个运动目标建立一个链表，存放步骤(2)提取的特征。

3-3.状态向量建模：根据步骤3-1提取的目标特征，建立状态向量模型。

3-4.卡尔曼预测：根据步骤3-3建立的状态向量建模，用卡尔曼滤波的时间更新方程预测下一帧运动目标可能出现的位置，位置预测如下：

其中和分别是

帧和

帧的状态向量，

是确定已知的矩阵。

3-5.目标匹配：

基于步骤3-4的预测区域，搜索最佳匹配目标。

在匹配过程选取目标区域的几何特征和核直方图特征作为匹配标准，基于目标区域的几何特征匹配又可分为基于中心坐标的匹配和基于区域长宽的匹配；首先对目标区域作几何特征匹配，如能找到最佳匹配则无需做下一级匹配；如果几何特征匹配结果不唯一，则继续做核直方图匹配；

3-6.模型更新：

用卡尔曼滤波的测量更新方程进行模型更新。

步骤(4).违法变道检测

设H时刻车辆在车道的位置为，且车道边线的位置为

，则车辆运动轨迹距车道边线的像素距离为

跟踪N帧时间内，计算目标运动轨迹距道路边线平均距离E，并且求出离散程度S即：

离散程度S反映了目标运动轨迹与道路边线之间距离的离散程度，若车辆在正常行驶，则离散度较小，S的值较小；若车辆变道行驶，则离散度变大，对应的S值相对较大，且当S>T1时，视为变道事件，表达式为：

其中：当Ch_Events的值等于1时表示变道事件，否则，为正常行驶。T1为阈值，根据不同的交通场景，T1的取值有所不同，具体值可以通过实验统计得到，在这里T1通常取8。

本发明有益效果如下：

本发明在背景建模方面通过引入差异深度矩阵“记忆”像素的变化，抗干扰能力强，能有效消除孤立噪声，抗干扰能力强，对成功准确的提取车辆前景信息有较好的帮助。

本发明在车辆跟踪阶段采用二级特征匹配，保证了跟踪结果的准确性。

本发明会对车辆违法变道行为发出变道警告，使监控人员及时做出相应的安全措施，有效防止交通事故的发生。

附图说明

图1 基于背景差分的目标检测流程图；

图2分水岭定位算法流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

步骤(1).运动车辆检测

视频信号由视频帧序列组成，运动车辆检测就是在视频帧序列的每一帧中提取运动车辆。

针对隧道应用中光照复杂多变、噪声较大的特点，选择基于差异深度积累背景差分法的目标检测算法，该方法在背景建模过程中引入差异深度矩阵来记录图像的变化，从而可以达到区分噪声和真正的运动目标的效果，进而可以基本消除噪声的影响。基于差异深度积累背景差分法的目标检测流程图如图1所示：

1-1.预处理

将输入的视频帧图像从RGB格式转换为8位灰度图。

1-2.背景建模

首先，选取预处理后视频帧序列中相邻的i、j两帧图像做差，然后对得到的差值图像进行二值化处理，

    （1）

其中，

是一个经过优化的门限值，i、j是相邻的两帧图像，

,

分别表示第i帧图像和第j帧图像在

处的像素值；

是像素点

处的差值进行二值化处理后的值；

根据式（1），若二值化处理后的差值为1，则该差值是运动车辆造成的或由噪声引起；若二值化处理后的差值

为0，则该差值是背景引起的。

当差值

为1，对相邻的几帧图像中同一位置像素的变化引入“记忆”过程，来区分该差值是由运动车辆造成，或由噪声引起；并为图像的每一个像素设置一个记录其像素值变化的变量

，由此形成一个差异深度矩阵

 (2)

其中, 

为第

帧图像中

处像素值变化的变量，

是差异深度，

为正整数，一般可取

；

若，则说明在

帧内，该像素值变化不大，此时将此像素动态更新至如下背景模型：

  (3)

其中

为前帧图像建立的背景模型，为第帧图像，为更新速度，其取值范围为［0，1］，根据经验，

取值在[0.05，0.1]区间时背景更新效果较好。

1-3.运动目标提取

根据步骤1-2建立好的背景模型，将当前帧图像

与背景模型

做差得出差值图像

：

   （4）

根据Otsu算法求得差值图像

的最佳阈值，提取运动目标，建立背前景二值化图像，具体如下：

若差值图像

大于最佳阈值，则将该像素点置为1，代表目标车辆。

若差值图像小于最佳阈值，则将该像素点置为0，代表路面背景。

1-4.后处理

通过数学形态学中的开操作和闭操作来进行后处理，消除运动目标提取阶段留下的空洞和噪声点，改善前景二值图的空域连通性。

步骤(2).基于分水岭算法的运动车辆定位

采用分水岭分割算法来对运动目标进行定位，具体算法如图2所示：

2-1.输入步骤1-3建立的背前景二值化图像。

2-2.对输入的背前景二值化图像进行V-S分水岭算法，具体步骤如下：

2-2-1.排序 

计算视频帧图像中各点的像素值的梯度，得梯度值图像G。根据图像G中各梯度值的概率密度计算出该像素点的排序位置，并将各梯度值存入相应的排序数组中。从而，可得到一个梯度层级集合

，h为梯度值，

表示梯度为h的像素集合。

2-2-2.浸没

按梯度值h值从低到高，对每一级梯度层级集合进行浸没处理。具体步骤如下：

（1）模拟浸没过程，处理一个梯度层级h，首先将该梯度层级中所有领域已被标识的点加入到一个先进先出的队列FIFO中。

（2）若FIFO非空，则弹出队列的首元素，如果该像素点的邻域点已被标记，则将其标签值赋给该像素点，若领点尚未被标识则将该邻点加入到FIFO队列中，循环执行该步骤，直到FIFO队列为空。

（3）再次扫描

层级的每个像素点，如还有未被标识的邻域点，即表示发现了新的极小区。此时，将该区域的标识值加1，并将该标识值赋给未标识的邻域点，作为其标签值。接着，从该像素点出发重新执行步骤2-2-2的浸没过程，以标识该极小区的所有像素点。

（4）梯度值h加1，处理下一层级，直到

中所有层级处理完毕。

2-3.开辟内存以存放统计信息，并根据V-S算法处理得到的标记图像初始化内存空间，建立领域链表。

2-4.合并极小区和相似区域

分水岭分割算法受噪声和量化误差的影响，传统的形态梯度算法会在本来均匀一致的区域内产生过多的局部“谷底”，这些“谷底”会在分水岭变换中引入众多的“伪集水盆地”，从而最终导致过分割。本发明采用区域合并方法来解决过分割问题，即基于区域合并的方法。将像素个数过小的区域和RGB均值相似的区域合并到邻域中。

2-5.输出运动目标的区域统计信息，包括目标中心位置、大小等信息。根据区域的最小和最大坐标得到运动目标的最小外接矩形框，并在原图像上将其框出。

步骤(3).基于二级特征匹配的卡尔曼滤波跟踪

基于卡尔曼滤波的运动目标跟踪关键在于对时间轴上各帧检测出的运动目标区域建立对应关系，即确定运动目标的运动轨迹，具体步骤如下：

3-1.目标特征提取：对检测出的运动目标，用一个矩形框标定该区域，并提取每个区域的中心坐标及长宽特征。

3-2.建立链表：为每一个运动目标建立一个链表，存放步骤(2)提取的特征。

3-3.状态向量建模：根据步骤3-1提取的目标特征，建立状态向量模型。

3-4.卡尔曼预测：根据步骤3-3建立的状态向量建模，用卡尔曼滤波的时间更新方程预测下一帧运动目标可能出现的位置，位置预测如下：

其中和

分别是

帧和

帧的状态向量，

是确定已知的矩阵。

3-5.目标匹配：基于步骤3-4的预测区域，搜索最佳匹配目标。

本发明在匹配过程选取目标区域的几何特征和核直方图特征作为匹配标准。基于目标区域的几何特征匹配又可分为基于中心坐标的匹配和基于区域长宽的匹配。核直方图计算量较大，为了兼顾多运动目标跟踪的实时性和准确性，将运动目标的特征匹配过程分为两级，首先对目标区域作几何特征匹配，如能找到最佳匹配则无需做下一级匹配；如果几何特征匹配结果不唯一，则继续做核直方图匹配。这样在保证跟踪结果的准确性同时又减少了计算量。

3-6.模型更新：用卡尔曼滤波的测量更新方程进行模型更新。

步骤(4).违法变道检测

设H时刻车辆在车道的位置为

，且车道边线的位置为

，则车辆运动轨迹距车道边线的像素距离为

跟踪N帧时间内，计算目标运动轨迹距道路边线平均距离E，并且求出离散程度S即：

离散程度S反映了目标运动轨迹与道路边线之间距离的离散程度，若车辆在正常行驶，则离散度较小，S的值较小；若车辆变道行驶，则离散度变大，对应的S值相对较大。因此可以设定阈值T1，当S>T1时，视为变道事件，并将

置为1，表达式为：

其中：当

的值等于1时表示变道事件，否则，为正常行驶。T1为阈值，根据不同的交通场景，T1的取值有所不同，具体值可以通过实验统计得到，在这里T1通常取8。

Claims (1)

1.一种基于视频检测技术的车辆违法变道检测方法，其特征在于包括如下步骤：

步骤(1).运动车辆检测

视频信号由视频帧序列组成，运动车辆检测就是在视频帧序列的每一帧中提取运动车辆；

选择基于差异深度积累背景差分法的目标检测算法，并在该方法在背景建模过程中引入差异深度矩阵来记录图像的变化，具体如下：

1-1.预处理

将输入的视频帧图像从RGB格式转换为8位灰度图；

1-2.背景建模

首先，选取预处理后视频帧序列中相邻的i、j两帧图像做差，然后对得到的差值图像进行如下二值化处理，

$d_{\mathrm{ij}}(x,y)=\begin{array}{c}\left\{\begin{array}{c}1,|f(x,y,t_i)-f(x,y,t_j)|>T\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)\end{array}$

其中，T是一个经过优化的门限值，i、j是相邻的两帧图像，f(x,y,t_i),f(x,y,t_j)分别表示第i帧图像和第j帧图像在（x,y）处的像素值；d_ij（x,y）是像素点（x,y）处的差值进行二值化处理后的值；

根据式（1），若二值化处理后的差值d_ij（x,y）为1，则该差值是运动车辆造成的或由噪声引起；若二值化处理后的差值d_ij（x,y）为0，则该差值是背景引起的；

当差值d_ij（x,y）为1，对相邻的几帧图像中同一位置像素的变化引入“记忆”过程，来区分该差值是由运动车辆造成，或由噪声引起；并为图像的每一个像素设置一个记录其像素值变化的变量D(x,y,t_k)，由此形成一个差异深度矩阵

$D(x,y,t_k)=\left\{\begin{array}{c}D(x,y,t_{k-1})+1,d_{\mathrm{ij}}(x,y)=0\mathrm{andD}(x,y,t_{k-1})<\mathrm{\&lambda;}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

其中,D(x,y,t_k)为第^k帧图像中（x,y）处像素值变化的变量，λ是差异深度，λ为正整数，取λ＝3；

若D(x,y,t_k)＝λ，则说明在λ帧内，该像素值变化不大，此时将此像素动态更新至如下背景模型：

B(x,y,t_k)=α·f(x,y,t_k)+(1-α)·B(x,y,t_k-1)    (3)

其中B(x,y,t_k)为前k帧图像建立的背景模型，f(x,y,t_k)为第k帧图像，α为更新速度，其取值范围为［0，1］；

1-3.运动目标提取

根据步骤1-2建立好的背景模型，将当前帧图像f(x,y,t_k)与背景模型B(x,y,t_k)做差得出差值图像B_d(x,y,t_k)：

B_d(x,y,t_k)=|f(x,y,t_k)-B(x,y,t_k)|    （4）

根据Otsu算法求得差值图像B_d(x,y,t_k)的最佳阈值，提取运动目标，建立背前景二值化图像，具体如下：

若差值图像B_d(x,y,t_k)大于最佳阈值，则将该像素点置为1，代表目标车辆；

若差值图像B_d(x,y,t_k)小于最佳阈值，则将该像素点置为0，代表路面背景；

1-4.后处理

通过数学形态学中的开操作和闭操作来进行后处理，消除运动目标提取阶段留下的空洞和噪声点，改善前景二值图的空域连通性；

步骤(2).基于分水岭算法的运动车辆定位

采用分水岭分割算法来对运动目标进行定位，具体如下：

2-1.输入步骤1-3建立的背前景二值化图像；

2-2.对输入的背前景二值化图像进行V-S分水岭算法，具体步骤如下：

2-2-1.排序

计算视频帧图像中各点的像素值的梯度，得梯度值图像G；根据图像G中各梯度值的概率密度计算出该像素点的排序位置，并将各梯度值存入相应的排序数组中，得到一个梯度层级集合D_h，h为梯度值，D_h表示梯度为h的像素集合；

2-2-2.浸没

按梯度值h值从低到高，对每一级梯度层级集合D_h进行浸没处理，具体步骤如下：

a.模拟浸没过程，处理一个梯度层级h，首先将该梯度层级中所有领域已被标识的点加入到一个先进先出的队列FIFO中；

b.若FIFO非空，则弹出队列的首元素，如果该像素点的邻域点已被标记，则将其标签值赋给该像素点，若邻域点尚未被标识则将该邻域点加入到FIFO队列中，循环执行该步骤，直到FIFO队列为空；

c.再次扫描D_h层级的每个像素点，如还有未被标识的邻域点，即表示发现了新的极小区；此时，将该区域的标识值加1，并将该标识值赋给未标识的邻域点，作为其标签值；接着，从该像素点出发重新执行步骤2-2-2的浸没过程，以标识该极小区的所有像素点；

d.梯度值h加1，处理下一层级，直到D_h中所有层级处理完毕；

2-3.开辟内存以存放统计信息，并根据V-S算法处理得到的标记图像初始化内存空间，建立领域链表；

2-4.合并极小区和相似区域

采用区域合并方法来解决过分割问题，即基于区域合并的方法，将像素个数过小的区域和RGB均值相似的区域合并到邻域中；

2-5.输出运动目标的区域统计信息，包括目标中心位置、大小信息，根据区域的最小和最大坐标得到运动目标的最小外接矩形框，并在原图像上将其框出；

步骤(3).基于二级特征匹配的卡尔曼滤波跟踪

基于卡尔曼滤波的运动目标跟踪关键在于对时间轴上各帧检测出的运动目标区域建立对应关系，即确定运动目标的运动轨迹，具体步骤如下：

3-1.目标特征提取：对检测出的运动目标，用一个矩形框标定该区域，并提取每个区域的中心坐标及长宽特征；

3-2.建立链表：为每一个运动目标建立一个链表，存放步骤(2)提取的特征；

3-3.状态向量建模：根据步骤3-1提取的目标特征，建立状态向量模型；

3-4.卡尔曼预测：根据步骤3-3建立的状态向量建模，用卡尔曼滤波的时间更新方程预测下一帧运动目标可能出现的位置，位置预测如下：

${\hat{x}}_{k,k-1}=A_{k.k-1}\&CenterDot;{\hat{x}}_{k-1}$

其中

和分别是k-1帧和k帧的状态向量，A_k,k-1是确定已知的矩阵；

3-5.目标匹配

基于步骤3-4的预测区域，搜索最佳匹配目标；

在匹配过程选取目标区域的几何特征和核直方图特征作为匹配标准，基于目标区域的几何特征匹配又可分为基于中心坐标的匹配和基于区域长宽的匹配；首先对目标区域作几何特征匹配，如能找到最佳匹配则无需做下一级匹配；如果几何特征匹配结果不唯一，则继续做核直方图匹配；

3-6.模型更新

用卡尔曼滤波的测量更新方程进行模型更新；

步骤(4).违法变道检测

设H时刻车辆在车道的位置为A(x_i,y_i)，且车道边线的位置为O(x_j,y_j)，则车辆运动轨迹距车道边线的像素距离为

OA_i＝|x_i-x_l|

跟踪N帧时间内，计算目标运动轨迹距道路边线平均距离E，并且求出离散程度S即：

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x_i-E)}^2$

若车辆正常行驶，则离散度较小，S的值较小；若车辆变道行驶，则离散度变大，对应的S值相对较大，且当S>T1时，视为变道事件，表达式为：

$\mathrm{Ch}\_\mathrm{Events}=\left\{\begin{array}{cc}1& \mathrm{if}(S>T1)\\ 0& \mathrm{others}\end{array}\right.$

其中：当Ch_Events的值等于1时表示变道事件，否则，为正常行驶；T1为阈值,T1取8。

Images