CN102324183B - 基于复合虚拟线圈的车辆检测与抓拍方法 - Google Patents

Abstract

本发明公开了一种基于复合虚拟线圈的车辆检测与抓拍方法，包括：(1)对交通视频的图像序列进行背景重建，获得摄像机监控区域的背景图像；(2)生成复合虚拟线圈；(3)提取车辆区域；(4)更新车辆行驶信息表；(5)根据车辆行驶信息表中每一项代表的车辆区域与虚拟线圈的位置关系，保存三张记录车辆违章过程的图像，实现违章车辆抓拍。本发明解决了传统虚拟线圈法抓拍时机选取不灵活和抓拍准确率低的问题，克服了传统虚拟线圈无法检测和抓拍压分道线和违章转弯车辆的缺陷，相对于传统虚拟线圈法，该方法具有抓拍时机选取灵活、抓拍准确率高，并且能对不按车道行驶的车辆进行检测和抓拍的优点。

Description

基于复合虚拟线圈的车辆检测与抓拍方法

技术领域

本发明属于智能交通监控领域，具体涉及一种通过分析交通视频图像进行车辆检测与违章车辆抓拍的方法，适用于城市道路和高速公路场景的应用。

背景技术

车辆检测与车辆违章抓拍是智能交通系统(ITS)中关键和基础的部分，关系到车流量统计、车辆测速和车牌识别的准确性，对于分析交通状况、改善交通秩序、保障交通安全起到重要作用。传统的车辆检测与抓拍方法主要是物理感应线圈法，即将通有交变电流的感应线圈埋于路面下，当车辆通过或停止在线圈上方时，通过检测线圈回路中感应电流的变化就可以检测出车辆。该方法的优点是检测精度高、成本低，缺点是需要破坏路面，并且后期维护成本高。

近年来，利用视频技术，进行车辆检测与抓拍已经成为智能交通监控领域的研究热点，该方法具有安装调试简单、无需破坏路面、检测范围广和获取的交通信息量大的特点。目前，基于视频的车辆检测与抓拍方法主要有：检测线法、传统虚拟线圈法和模型匹配的方法。

检测线法的基本原理：是在待检测图像车道区域垂直于车辆行驶方向的合适位置设置检测线，初始化建立检测线位置上的背景图像并进行更新，当有车辆经过检测线时，检测线上的图像会由于车辆的覆盖而发生变化，分析这种变化就可以对车辆进行检测。该方法具有思路简单、计算量小、实时性好，并且可以同时检测多条车道。但是由于只关注检测线上图像的变化，丢失了视频中的大量有用信息，并且检测线极易受到环境变化的影响，导致产生的误差较大。

模型匹配法的基本原理：是对视频图像进行运动目标检测，得到车辆候选区域，利用车辆候选区域的边缘、形状、大小和颜色等特征建立车辆模型，与预先建立好的车辆模型库进行匹配，来实现运动车辆的检测。该方法的优点在于最大限度的利用视频中的车辆信息，能获得较为全面交通参数，但是在实际应用场景中，车型和车辆姿态千变万化，难以建立通用的车辆模型库，并且车辆特征的提取过程和车辆模型的建立过程复杂，计算量大，无法满足实时性要求。

传统虚拟线圈的基本原理：是在待检测图像中停车线两侧(垂直于车辆行驶方向)的每个车道区域内分别设置一个矩形虚拟线圈，通过分析虚拟线圈内的图像特征的变化来检测车辆，结合交通信号灯的状态确定抓拍时机，对违章车辆进行抓拍。该方法除了具有思路简单、计算量小和实时性好的优点外，相对于检测线法，虚拟线圈能保留图像更多有效信息，抗干扰性和准确性更高。但是，由于虚拟线圈位置设置固定，无法检测和抓拍不按道行驶的车辆。

相对于检测线法，传统虚拟线圈法具有更好的抗干扰性和准确性，并且能获得更多的交通参数；相对于模型匹配法，传统虚拟线圈具有思路简单、计算量小和实时性好的特点。在性能上，传统虚拟线圈法能在检测线法和模型匹配法之间达到平衡，因此在实际的交通监管系统中得到了广泛的应用。

发明内容

本发明的目的在于，针对传统虚拟线圈法的不足提出一种基于复合虚拟线圈的车辆检测与抓拍方法，即结合车辆检测技术和虚拟线圈技术，有效克服传统虚拟线圈无法检测和抓拍非车道车辆的局限性，提高了车辆检测与抓拍的准确率。

本发明提出的技术方案如下：

一种基于复合虚拟线圈的车辆检测与抓拍方法，包括如下具体过程：

步骤一、背景图像重建

利用交通视频的图像序列信息，采用基于区域灰度统计特征的背景重建技术，得到摄像机监控区域的背景图像。

步骤二、生成复合虚拟线圈

通过人机界面交互的方式设置监控车道的停车线，利用停车线位置和车道数目信息，在每个车道停车线的上下两端，即垂直于车辆行驶方向上分别生成两级复合虚拟线圈。

步骤三、提取车辆区域

首先，采用背景差分法进行车辆检测，得到前景(包含运动车辆)二值图，并根据该二值图进行背景图像更新。

其次，利用阴影消除和抑制技术，将前景二值图中属于阴影的前景像素点置为背景像素点。

最后，对消除阴影的前景二值图，进行形态学处理、空洞填充和区域平滑，得到准确的车辆区域二值图。

步骤四、更新车辆行驶信息表

初始时建立空的车辆行驶信息表，将得到的每一幅车辆区域的二值图，进行下面的处理来更新车辆行驶信息表。

首先，对车辆区域二值图进行区域标记，即不同的车辆区域用不同的标记表示，得到车辆区域标记图。

其次，如果车辆行驶信息表为空，则将当前车辆区域标记图中的车辆区域的信息依次加入到车辆行驶信息表中，并在车辆行驶信息表中标记为有效车辆区域。否则，先将车辆行驶信息表中的所有项都置为无效车辆区域，再对车辆区域标记图中的不同车辆区域依次进行判断，来更新车辆行驶信息表。其中，判断条件为：(1)若车辆区域的信息与车辆行驶信息表中的项匹配，则对该项进行更新，并标记为有效车辆区域；(2)若车辆区域的信息与车辆行驶信息表中的所有项都不匹配，则将该车辆区域的信息加入车辆行驶信息表中，并标记为有效车辆区域。

最后，删除车辆行驶信息表中标记为无效车辆区域的项。

步骤五、车辆抓拍

根据车辆行驶信息表中每一项代表的车辆区域与虚拟线圈的位置关系，保存三张记录车辆违章过程的图像。

本发明能够达到的有益效果如下：

本发明是在传统虚拟线圈法的基础上进行改进的，一方面，利用交通视频序列图提取车辆区域，建立车辆行驶信息表，再根据车辆区域与虚拟线圈的位置关系对违章车辆进行抓拍，解决了传统虚拟线圈法抓拍时机选取不灵活和抓拍准确率低的问题。另一方面，通过生成的复合虚拟线圈，解决了传统虚拟线圈无法检测和抓拍压分道线和违章转弯车辆的问题。相对于传统虚拟线圈法，该方法具有抓拍时机选取灵活、抓拍准确率高，并且能对不按车道行驶的车辆进行检测和抓拍的优点。

附图说明

图1复合虚拟线圈位置示意图

图2车辆驶入状态示意图

图3车辆通行状态示意图

图4车辆驶出状态示意图

图5车辆压分道线状态示意图

图6车辆违章右转状态示意图

图7虚拟线圈状态更新示意图

图8车辆抓拍效果图

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

步骤一、背景图像重建

交通视频序列图以路面区域为主，而路面区域的灰度相近，变化不大。因此，可以采用基于路面灰度的统计特征对背景图像进行重建，具体步骤如下：

1.为了克服噪声造成的灰度波动和减少计算量，对交通视频序列图进行抽样分块处理：按照视频序列图的顺序，从第一帧开始每隔一定帧数抽取一帧图像，得到抽样图像SF(x，y)，将抽样图像SF(x，y)按照灰度转化公式转化为灰度图SG(x，y)，并对抽样灰度图SG(x，y)建立分块图像SB(x，y)，分块图像SB(x，y)中每个点的灰度值对应抽样灰度图SG(x，y)中相应块的灰度均值。

$\mathrm{SB}(x,y)=\frac{1}{N^2}\underset{x_1=N\·x}{\overset{x_1+N-1}{\mathrm{\Σ}}}\underset{y_1=N\·y}{\overset{y_1+N-1}{\mathrm{\Σ}}}\mathrm{SG}(x_1,y_1)---\left(1\right)$

其中，(x，y)代表分块图SB(x，y)上像素点的位置，(x₁，y₁)代表抽样灰度图SG(x，y)上像素点的位置，分块大小为N×N，本实施例中对768×288的视频设置分块大小为9×9。

2.初始时将路面近似灰度值gray标记为-1，对当前抽样灰度图SG(x，y)按照如下方式来更新路面灰度近似值gray：

(1)对抽样灰度图SG(x，y)进行直方图统计，在0～255之间寻找波峰对应的灰度值Hmax。

(2)统计直方图中Hmax两侧一定间隔形成的灰度区间范围内像素点的总数Sum。

$\mathrm{Sum}=\underset{i=H\max -\mathrm{\Δ}}{\overset{H\max +\mathrm{\Δ}}{\mathrm{\Σ}}}\mathrm{hist}\left[i\right]---\left(2\right)$

其中，hist[i]表示灰度值为i的像素点数目，Δ为Hmax两侧的间隔，Hmax-Δ～Hmax+Δ为统计像素点总数Sum的灰度区间。

(3)判断Sum的值是否大于阈值T₀，如果大于T₀，则更新路面灰度近似值gray为Hmax；否则，保留路面灰度近似值gray的原始值。

$T_0=\frac{h\·w}{2}---\left(3\right)$

其中，h和w分别为抽样灰度图SG(x，y)的高度和宽度。

3.从第三帧抽样分块图SB(x，y)开始，如果路面灰度近似值gray更新过(不为标记值-1)，则按照如下方式提取当前抽样图SF(x，y)中的稳定背景块，加入到背景图像Back(x，y)中的对应位置；否则，返回第2个步骤对下一个抽样帧进行处理。

(1)当前抽样分块图与其前面的两帧抽样分块图，形成连续三帧抽样分块图，如果满足：在相同位置的像素点，当前抽样分块图与其前面两帧抽样分块图的差值的绝对值之和小于阈值T₁，本实施例中设置T₁的值为20，则将该点对应于当前抽样图像SF(x，y)中的块标记为疑似背景块。

|SB(t，x，y)-SB(t-1，x，y)|+|SB(t，x，y)-SB(t-2，x，y)|＜T₁    (4)

其中，SB(t-2，x，y)、SB(t-1，x，y)和SB(t，x，y)表示连续三帧抽样分块图在坐标为(x，y)处的灰度值，SB(t，x，y)为当前抽样分块图。

(2)对于当前抽样分块图SB(t，x，y)中标记为疑似背景块点的像素，判断其灰度值与路面灰度近似值gray的差值的绝对值是否小于阈值T₂，本实施例中设置T₂的值为35，如果小于阈值T₂，则将疑似背景块标记修改为稳定背景块；否则，将疑似背景块标记修改为无效背景块。

(3)将当前抽样图像SF(x，y)中的稳定背景块加入到背景图像Back(x，y)中的对应位置。

4.统计背景图像Back(x，y)中图像块的数目，如果大于阈值T₃，则背景图像重建过程执行完毕；否则，返回第2个步骤对下一个抽样帧进行处理。

T₃＝h_n·w_n·99％    (5)

其中，h_n＝h/N和w_n＝w/N分别表示分块后图像的高度和宽度。

步骤二、生成复合虚拟线圈

1.采用人机界面交互的方式，对视频图像中监控区域的停车线位置进行设置。

2.根据停车线位置和车道数目信息，对每个车道在停车线上下两端，垂直于车辆行驶方向上分别生成两级矩形虚拟线圈。第一级虚拟线圈：位于每个车道区域内的中间位置，且宽度小于车道宽度，本实施例中宽度约为2/3个车道宽度，高度为20～30个像素；第二级虚拟线圈：位于第一级相邻虚拟线圈之间，以车道分隔线为对称轴，宽度和高度与第一级虚拟线圈相同，设置效果如图1所示。

步骤三、提取车辆区域

1.对于交通视频序列图像与背景图像，将对应位置的像素点在R、G、B三个颜色通道上相减，利用差值的绝对值与阈值T₄进行比较，得到当前车辆区域粗分割二值图。

V＝|F(x，y)-Back(x，y)|    (6)

$B(x,y)=\left\{\begin{array}{c}0,V_i<T_4\\ 1,\mathrm{else}\end{array}\right.,$ i＝R，G，B    (7)

其中，F(x，y)为当前视频序列图，V_i为当前视频序列图F(x，y)与背景图像Back(x，y)在R、G、B三个颜色通道上差值的绝对值，本实施例中设置分割阈值T₄为60，B(x，y)为车辆区域粗分割二值图，即高为h，宽为w的0-1型矩阵，其中0表示背景点，1表示前景点。

2.对背景图像中的每个像素点，按照下面的公式进行更新：

$\mathrm{Back}(x,y)=\left\{\begin{array}{c}\mathrm{\&eta;F}(x,y)+(1-\mathrm{\&eta;})\mathrm{Back}(x,y),B(x,y)=1\\ \mathrm{Back}(x,y),B(x,y)=0\end{array}\right.---\left(8\right)$

其中，η表示背景图像的学习率。

3.将当前视频图像F(x，y)中的像素，从RGB颜色空间转换到HSV颜色空间，利用经典的HSV颜色空间阴影检测算法，判断B(x，y)中的前景点是否为阴影点，如果是阴影点，则将该点置为0，否则保留原值。

4.对车辆区域二值图像B(x，y)，进行形态学处理、空洞填充和区域平滑，得到准确的车辆区域。

步骤四、更新车辆行驶信息表

初始时建立空的车辆行驶信息表List，将当前车辆区域二值图B(x，y)，按照下面的步骤进行处理来更新车辆行驶信息表List：

1.将当前车辆区域二值图B(x，y)进行区域标记，即不同的车辆区域用不同的标记表示，得到车辆区域信息数组Car[K]，其中K为最大标记值，数组Car[K]中的每一项包含车辆区域的面积，以及车辆区域的外接矩形在二值图B(x，y)中的上、下、左、右坐标值。

2.如果车辆行驶信息表List为空，则将当前车辆区域信息数组Car[K]加入到车辆行驶信息表List(N＝K)，其中N表示车辆行驶信息表包含的车辆区域数目，标记List中的每一项为有效车辆区域。否则，先将当前车辆行驶信息表List的每一项都置为无效车辆区域，再对车辆区域信息数组Car[K]进行判断，来更新车辆行驶信息表。其中，判断条件为：计算车辆区域Car[i](i＝0，1，…，K)与车辆行驶信息表List中每一项的重合面积，再根据公式(9)来判断是否匹配，如果匹配，则更新车辆行驶信息表中该项的信息，并标记该项为有效车辆区域；否则，将该车辆区域信息加入到车辆行驶信息表，并标记为有效车辆区域。

其中，A表示车辆区域Car[i]和车辆行驶信息表中第j项List[j]的重合面积，Car[i].area表示标记为i的车辆区域的面积，List[j].area表示车辆行驶信息表第j项车辆区域的面积，M表示匹配情况，0表示不匹配，1表示匹配。

3.由于视频监控区域中车辆是不断的驶入和驶出，对于驶出的车辆已经检测完毕，没有必要继续对其进行跟踪判断，因此删除车辆行驶信息表中标记为无效车辆区域的项，该项表示的就是驶出的车辆。

步骤五、车辆抓拍

根据车辆行驶信息表中每一项表示的车辆区域与虚拟线圈的位置关系，进行违章车辆抓拍，车辆抓拍的具体步骤如下：

1.对每个车道内的第一级虚拟线圈，根据虚拟线圈和车辆区域在图像中的坐标位置信息，计算车辆行驶信息表中的每一项与虚拟线圈的水平重合度H_M和垂直重合度V_M。

2.如果List[j](j＝0，1，…，N)与虚拟线圈的水平重合度H_M大于0，且垂直重合度V_M大于虚拟线圈宽度LoopW的1/2，判断该项代表的车辆区域行驶在当前车道，若交通信号灯当前为红灯状态，则在List[j]中记录当前车道号和标记车辆违法类型为闯红灯，同时按照步骤4中的抓拍模式，在List[j]中保存车辆违章闯红灯过程的三张图像。

3.如果List[j](j＝0，1，…，N)与虚拟线圈的水平重合度H_M大于0，且垂直重合度V_M满足：LoopW/4＜V_M＜LoopW/2，则计算List[j]与相邻车道第一级虚拟线圈的水平重合度和垂直重合度，如果满足：H_M＞0且V_M＞LoopW/4，则判断List[j]代表的车辆区域压分道线行驶，在List[j]中标记车辆违法类型为压分道线，并根据List[j]与第二级虚拟线圈的位置关系，按照步骤4中的抓拍模式，在List[j]中保存车辆违章压分道线过程的三张图像。

4.按照如下模式，保存车辆违章过程的三张图片用于违章取证：

(1)当车辆区域进入停车线之前的虚拟线圈时，抓拍第一张全景图片；

(2)当车辆区域进入停车线之后的虚拟线圈时，抓拍第二张全景图片；

(3)当车辆区域离开停车线之后的虚拟线圈时，抓拍第三张全景图片。

Claims (4)

1.一种基于复合虚拟线圈的车辆检测与抓拍方法，包括如下具体步骤：

（1）背景图像重建

对交通视频的图像序列进行背景重建，获得摄像机监控区域的背景图像；

（2）生成复合虚拟线圈

在步骤（1）中获得的背景图像上设置监控车道的停车线，利用停车线位置和车道数目信息，在每个车道停车线的上下两端，即垂直于车辆行驶方向上分别生成两级复合虚拟线圈，其中，所述两级复合线圈中的第一级虚拟线圈位于每个车道区域内的中间位置，且宽度小于车道宽度；第二级虚拟线圈位于第一级相邻虚拟线圈之间，以车道分隔线为对称轴，宽度和高度与第一级虚拟线圈相同；

（3）提取车辆区域

首先，采用背景差分法进行车辆检测，获得前景二值图，并根据该前景二值图进行背景图像更新；

其次，将前景二值图中属于阴影的前景像素点置为背景像素点，以消除阴影；

最后，对消除阴影的前景二值图，进行形态学处理、空洞填充和区域平滑，得到车辆区域二值图；

（4）更新车辆行驶信息表

初始时建立空的车辆行驶信息表，将得到的每一幅车辆区域二值图，进行如下处理来更新车辆行驶信息表：

首先，对车辆区域二值图进行区域标记，即不同的车辆区域用不同的标记表示，得到车辆区域标记图；

其次，如果车辆行驶信息表为空，则将当前车辆区域标记图中的车辆区域的信息依次加入到车辆行驶信息表中，并在车辆行驶信息表中标记为有效车辆区域，否则，先将车辆行驶信息表中的所有项都置为无效车辆区域，再判断每个标记车辆区域与车辆行驶信息表中项是否匹配，以更新车辆行驶信息表；

最后，删除车辆行驶信息表中标记为无效车辆区域的项；

（5）车辆抓拍

根据车辆行驶信息表中每一项代表的车辆区域与虚拟线圈的位置关系，保存三张记录车辆违章过程的图像，即可实现违章车辆抓拍。

2.根据权利要求1所述的方法，其特征在于，所述步骤（1）中，对背景图像的重建采用基于路面灰度的统计特征进行，具体步骤如下：

（1.1）对交通视频序列图像进行抽样分块处理：

首先，按照视频序列图的顺序，从第一帧开始每隔一定帧数抽取一帧图像，得到抽样图像SF(x,y)，将抽样图像SF(x,y)按照灰度转化公式转化为灰度图SG(x,y)，并对抽样灰度图SG(x,y)建立分块图像SB(x,y)，分块图像SB(x,y)中每个点的灰度值对应抽样灰度图SG(x,y)中相应块的灰度均值，即：

$\mathrm{SB}(x,y)=\frac{1}{N^2}\underset{x_1=N\&CenterDot;x}{\overset{x_1+N-1}{\mathrm{\&Sigma;}}}\underset{y_1=N\&CenterDot;y}{\overset{y_1+N-1}{\mathrm{\&Sigma;}}}\mathrm{SG}(x_1,y_1)$

上式中，(x,y)代表分块图SB(x,y)上像素点的位置，(x₁,y₁)代表抽样灰度图SG(x,y)上像素点的位置，分块大小为N×N，N为正整数；

（1.2）初始时将路面近似灰度值gray标记为-1，对当前抽样灰度图SG(x,y)按照如下方式来更新路面灰度近似值gray：

（1.2.1）对抽样灰度图SG(x,y)进行直方图统计，在0～255之间寻找波峰对应的灰度值Hmax；

（1.2.2）统计直方图中Hmax两侧一定间隔形成的灰度区间范围内像素点的总数Sum：

$\mathrm{Sum}=\underset{i=H\max -\mathrm{\&Delta;}}{\overset{H\max +\mathrm{\&Delta;}}{\mathrm{\&Sigma;}}}\mathrm{hist}\left[i\right]$

其中，hist[i]表示灰度值为i的像素点数目，△为Hmax两侧的间隔，Hmax-△～Hmax+△为统计像素点总数Sum的灰度区间；

（1.2.3）判断Sum的值是否大于阈值T₀，如果大于T₀，则更新路面灰度近似值gray为Hmax；否则，保留路面灰度近似值gray的原始值，其中，

$T_0=\frac{h\&CenterDot;w}{2}$

式中，h和w分别为抽样灰度图SG(x,y)的高度和宽度；

（1.3）从第三帧抽样分块图SB(x,y)开始，如果路面灰度近似值gray更新过，即不为标记值-1，则按照如下方式提取当前抽样图SF(x,y)中的稳定背景块，加入到背景图像Back(x,y)中的对应位置；否则，返回步骤（1.2）对下一个抽样帧进行处理：

（1.3.1）在相同位置的像素点，当前抽样分块图与其前面两帧抽样分块图的差值的绝对值之和小于阈值T₁，则将该点对应于当前抽样图像SF(x,y)中的块标记为疑似背景块，即：

|SB(t,x,y)-SB(t-1,x,y)|+|SB(t,x,y)-SB(t-2,x,y)|＜T₁

其中，SB(t-2,x,y)、SB(t-1,x,y)和SB(t,x,y)表示连续三帧抽样分块图在坐标为(x,y)处的灰度值，SB(t,x,y)为当前抽样分块图；

（1.3.2）对于当前抽样分块图SB(t,x,y)中标记为疑似背景块点的像素，判断其灰度值与路面灰度近似值gray的差值的绝对值是否小于阈值T₂，如果小于阈值T₂，则将疑似背景块标记修改为稳定背景块；否则，将疑似背景块标记修改为无效背景块；

（1.3.3）将当前抽样图像SF（x,y）中的稳定背景块加入到背景图像Back(x,y)中的对应位置；

（1.4）统计背景图像Back(x,y)中图像块的数目，如果大于阈值T₃，则背景图像重建过程执行完毕；否则，返回步骤（1.2）对下一个抽样帧进行处理，其中，

T₃＝h_n·w_n·99%

式中，h_n=h／N和w_n=w／N分别表示分块后图像的高度和宽度。

3.根据权利要求1或2所述的方法，其特征在于，所述的步骤（4）中，所述判断的条件具体为：

（1）若车辆区域的信息与车辆行驶信息表中的项匹配，则对该项进行更新，并标记为有效车辆区域；

（2）若车辆区域的信息与车辆行驶信息表中的所有项都不匹配，则将该车辆区域的信息加入车辆行驶信息表中，并标记为有效车辆区域。

4.根据权利要求1或2所述的方法，其特征在于，所述的步骤（5）中，所述三张记录车辆违章过程的图像具体过程为：

（1）车辆区域进入停车线之前的虚拟线圈时，抓拍第一张全景图片；

（2）车辆区域进入停车线之后的虚拟线圈时，抓拍第二张全景图片；

（3）车辆区域离开停车线之后的虚拟线圈时，抓拍第三张全景图片。

Images