CN102737505A - 利用影像侦测违规车辆的系统及方法 - Google Patents

Abstract

一种利用影像侦测违规车辆的方法包括：接收摄像装置实时拍摄的交通信号灯的影像及该交通信号灯所在路口的交通状况的影像；分析该交通信号灯的影像，侦测该交通信号灯中的红色信号灯是否为亮；当侦测结果为红色信号灯亮时，通过所述交通状况的影像及移动对象侦测算法判断是否有车辆越过该路口的道路停止线；及当有车辆越过该道路停止线时，从该交通状况的影像中识别出该车辆的车牌号，并记录该车牌号。本发明还提供一种利用影像侦测违规车辆的系统。利用本发明，可以有效地预防车辆违规及交通事故。

Description

利用影像侦测违规车辆的系统及方法

技术领域

本发明涉及一种违规车辆监控系统及方法，尤其涉及一种利用影像侦测违规车辆的系统及方法。

背景技术

目前现有的超速闯红灯照相装置，为采用感应线圈侦测的方式。当红灯亮起，可以通知该照相装置拍摄穿越十字路口的违规车辆。然而，实行此种方式，必须先在道路的停止线前方开挖道路并埋设感应线圈，该开挖道路的方式既费时又费力，同时开挖道路对使用者会造成极大的不方便。此外，由于该方式需要车辆直接压过感应线圈的埋设点才可以获得精确的侦测结果，当感应线圈经过长期车辆辗压而断裂或失去感应功能时，整体维修工程也会相当的麻烦。

至于雷达侦测照相装置，不但成本高，而且只能侦测车辆违规超速，对于其它道路状况，例如：车流量、平均车速、车种等，则无法进行处理。因此，该雷达侦测照相装置的功能会受到限制，如无法自动记录所侦测的数据并加以分析、运用或配合目前的道路管控，且不方便于系统的维护与改良。

发明内容

鉴于以上内容，有必要提供一种利用影像侦测违规车辆的方法，能以较少的人力和较佳的便利性达到监控违规车辆的目的，从而有效地预防车辆违规及交通事故。

所述利用影像侦测违规车辆的方法包括：影像获取步骤，接收摄像装置实时拍摄的交通信号灯的影像及该交通信号灯所在路口的交通状况的影像，该交通信号灯至少包括一个红色信号灯和一个绿色信号灯；交通信号灯侦测步骤，分析该交通信号灯的影像，侦测该交通信号灯中的红色信号灯是否为亮；违规车辆侦测步骤，当侦测结果为红色信号灯亮时，通过所述交通状况的影像及移动对象侦测算法判断是否有车辆越过该路口的道路停止线；及车牌识别步骤，当有车辆越过该道路停止线时，从该交通状况的影像中识别出该车辆的车牌号，并记录该车牌号。

此外，还有必要提供一种利用影像侦测违规车辆的系统，能以较少的人力和较佳的便利性达到监控违规车辆的目的，从而有效地预防车辆违规及交通事故。

所述利用影像侦测违规车辆的系统包括：影像获取模块，用于接收摄像装置实时拍摄的交通信号灯的影像及该交通信号灯所在路口的交通状况的影像，该交通信号灯至少包括一个红色信号灯和一个绿色信号灯；交通信号灯侦测模块，用于分析该交通信号灯的影像，侦测该交通信号灯中的红色信号灯是否为亮；违规车辆侦测模块，用于当侦测结果为红色信号灯亮时，通过所述交通状况的影像及移动对象侦测算法判断是否有车辆越过该路口的道路停止线；及车牌识别模块，用于当有车辆越过该道路停止线时，从该交通状况的影像中识别出该车辆的车牌号，并记录该车牌号。

相较于现有技术，本发明所述的利用影像侦测违规车辆的系统及方法，可根据监控设备所拍摄影像的区域亮度变化量，来监控交通信号灯的变化，并根据影像内容进行交通监控，在整体设定上具有相当大的弹性，可以进一步整合交通流量控管或车牌识别等功能，同时也可通过有线或无线网络传输数据给警政单位，以达到有效预防违规及交通事故的目的。

附图说明

图1是本发明利用影像侦测违规车辆的系统较佳实施例的运行环境示意图。

图2是图1中的侦测系统较佳实施例的功能模块图。

图3是本发明利用影像侦测违规车辆的方法较佳实施例的作业流程图。

图4是图3步骤S02的具体方法流程图。

图5是本发明车辆越过道路停止线的示意图。

图6(A)和图6(B)是交通信号灯的示意图。

图7是本发明另一个实施例中利用影像侦测违规车辆的系统的运行环境示意图。

主要元件符号说明

监控设备	1
		交通信号灯	2
终端服务器	3
		摄像装置	10
侦测系统	12
		存储单元	14
处理器	16
		传输装置	18
影像获取模块	120
		交通信号灯侦测模块	122
违规车辆侦测模块	124
		车牌识别模块	126
车辆	A、B、C

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

如图1所示，是本发明利用影像侦测违规车辆的系统(以下简称为“侦测系统12”)较佳实施例的运行环境示意图。所述侦测系统12是具有特定功能的软件程序段，该软件程序段被存储在监控设备1的存储单元14中，且能够被安装在该监控设备1内的处理器16执行以实现违规车辆的侦测。如图2所示，所述侦测系统12包括影像获取模块120、交通信号灯侦测模块122、违规车辆侦测模块124及车牌识别模块126，其具体功能将在图3至图4中进行详细描述。

所述监控设备1还包括至少一个摄像装置10(图中仅示意一个)。该摄像装置10用于拍摄街道交叉路口的交通信号灯2，并于交通信号灯2中的红色信号灯亮时拍摄经过道路停止线的车辆，该道路停止线如图5中的虚线所示。其中，所述交通信号灯2包括红色信号灯、黄色信号灯和绿色信号灯，在其他实施例中，该交通信号灯2也可以仅包括红色信号灯和绿色信号灯。本实施例以交通信号灯2包括红、黄和绿三种颜色的信号灯为例，如图6(A)和图6(B)中所示。

参见图5为本发明车辆越过道路停止线的示意图。该图示意了一个设置有交通信号灯2的交叉路口，监控设备1设置在相对于交通信号灯2的位置上，可以监控路口交通状况。为了对相对位置间的各个车道上的车辆进行侦测监控，监控设备1须安装在较高的位置处，例如：路灯、交通标志、其它交通信号灯柱、升降型的支撑柱或高架杆上。当有违规车辆A出现时能立即判断并进行摄影拍照，所述侦测系统12安装在该监控设备1内，以便实时接收摄像装置10所拍摄的影像以进行违规车辆判断。

在其他实施例中，所述侦测系统12也可以安装在一个与监控设备1相连的电子装置内。该电子装置与监控设备1安装在同一个能拍摄到交通信号灯2的位置处。

如图3所示，是本发明利用影像侦测违规车辆的方法较佳实施例的作业流程图。

步骤S01，摄像装置10实时拍摄所述交通信号灯2的工作状态及该交通信号灯2所在路口的交通状况，所述影像获取模块120获取该交通信号灯2的影像及该路口的交通状况的影像。

步骤S02，交通信号灯侦测模块122通过分析该交通信号灯2的影像，来侦测该交通信号灯2中的红色信号灯是否为亮。具体流程如图4中的描述。

若步骤S02中的判断结果为红色信号灯没有亮，则返回步骤S01。

若步骤S02中的判断结果为红色信号灯亮，则于步骤S03，违规车辆侦测模块124通过摄像装置10所拍摄的影像侦测出是否有车辆越过该路口的道路停止线，并由此确定是否有车辆违规，即闯红灯。若侦测结果为没有车辆越过该道路停止线，则结束流程。若侦测结果为有车辆越过该道路停止线，则进入步骤S04。

具体而言，参考图5所示，违规车辆侦测模块124将以图中虚线所示的道路停止线作为判断是否违规的分界线，利用移动对象侦测算法得到影像画面中移动物体(如车辆A)及其移动方向，再判断该移动物体是否超越该道路停止线，若有移动物体超越该道路停止线，则进一步判断该移动物体的面积是否符合一般车辆的大小，且判断该移动物体的移动方向是否为图5中的第一方向，若以上判断条件皆属实，则违规车辆侦测模块124判定该移动物体为违规车辆，并认定该车辆违规闯红灯。

在本实施例中，所述移动对象侦测算法可以为背景相减法(background subtraction)，即扣除影像画面中不变的静止背景区，剩余未被扣除的残余区块即为移动物体所在区块。在其他实施例中，所述移动对象侦测算法还可以为光流侦测法(optical flow)，该光流侦测法从相邻两影像画面中找出光流的变化，即利用同一物体上的点在前后影像间的位移向量来识别移动物体及其移动方向。在另一个实施例中，所述移动对象侦测算法也可以为时间差异法(temporal differencing)，该时间差异法是指将相邻的两张影像相减，求出影像中物体的变化量，并累积连续影像中的微量变化，找出物体的移动范围，并由此范围判定是否为移动物体及识别出该移动物体的移动方向。

步骤S04，车牌识别模块126从所述摄像装置10所拍摄的影像中识别出该车辆的车牌号，并记录该车牌号。本实施例中，所述车牌号识别一般包括三个步骤，分别是车牌定位、车牌分割与字符识别，其中，用作车牌定位的算法可以是AdaBoost、类神经网络算法等。

如图4所示，是图3步骤S02的具体方法流程图。

步骤S200，交通信号灯侦测模块122接收摄像装置10所拍摄的交通信号灯2的影像。

为了克服外界环境光对摄像装置10所拍摄影像的影响，步骤S202，交通信号灯侦测模块122利用HSI(Hue-Saturation-Intensity(Lightness))颜色模型分析该影像，以过滤出影像中交通信号灯2可能出现的区块。

该HSI颜色模型用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度，通过将色调、饱和度和亮度分开计算，可以有效避免像素灰阶受到外界光线明暗程度的影响。具体而言，首先根据以下计算公式将影像由RGB空间转换成HSI空间：

$H={\cos }^{-1}\left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-G)(G-B)]}^{\frac{1}{2}}}\right\}$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right],$ $I=\frac{1}{3}(R+G+B)$

其中，RGB分别是红色、绿色和蓝色像素的灰阶值，若以八位表示灰阶则其RGB的灰阶范围落在0和255之间，经过以上换算，H则是0度到360度，S落在0至1之间，I的范围会介于0至255之间。

步骤S204，交通信号灯侦测模块122对红色、绿色与黄色三种颜色的信号灯进行判断，以去除影像中非信号灯的区块，即将三种颜色信号灯的区块从所接收的影像中过滤出来。

具体而言，为了实现对红色、绿色与黄色三种信号灯的颜色进行判断的目的，本实施例先为红色、绿色与黄色信号灯的色彩分别设定一个相对应的临界值作撷取判断。例如，对红色信号灯的颜色的判断条件定义如下：

$\left\{\begin{array}{c}{H}_{R,1}\≤\mathrm{Hue}\≤H_{R,2}\\ S_{R,1}\≤\mathrm{Saturation}\\ I_{R,1}\≤\mathrm{Intensity}\end{array}\right.$

以上表示判断红色信号灯的颜色的色调范围介于H_R，1与H_R，2之间，且饱和度与亮度分别大于S_R，1与I_R，1，其中，H_R，1、H_R，2、S_R，1与I_R，1为该红色信号灯的颜色判断的临界值。

同理，对于绿色及黄色信号灯颜色的判断条件分别如下：

$\left\{\begin{array}{c}{H}_{G,1}\≤\mathrm{Hue}\≤H_{G,2}\\ S_{G,1}\≤\mathrm{Saturation}\\ I_{G,1}\≤\mathrm{Intensity}\end{array}\right.,$ $\left\{\begin{array}{c}{H}_{Y,1}\≤\mathrm{Hue}\≤H_{Y,2}\\ S_{Y,1}\≤\mathrm{Saturation}\\ I_{Y,1}\≤\mathrm{Intensity}\end{array}\right.$

以上表示判断绿色信号灯颜色的色调范围介于H_G，1与H_G，2之间，且饱和度与亮度分别大于S_G，1与I_G，1。而判断黄色信号灯色彩的色调范围必须介于H_Y，1与H_Y，2之间，且饱和度与亮度分别大于S_Y，1与I_Y，1。

步骤S206，根据信号灯区块的像素数目、信号灯区块的矩形框的宽高比例，进一步确认步骤S204中过滤后的区块是否确实为三种颜色信号灯的区块。

具体而言，由于交通安全法规定同一灯面的各镜面应采用相同的尺寸，横排的交通信号灯2中各镜面的中心线应连成水平线，如图6(A)所示，横排由左而右依次为圆形红色信号灯、圆形黄色信号灯、圆形绿色信号灯。纵排的交通信号灯2中各镜面的中心线应连成垂直线，如图6(B)所示，其由上至下依次为圆形红色信号灯、圆形黄色信号灯、圆形绿色信号灯。因此，可以根据信号灯区块的像素数目、信号灯区块的矩形框的宽高比例，从所接收的影像中将大部分的非信号灯的区块去除。以数学式表示条件如下：

区块像素数≥θ

lower_bound≤包含颜色区块的矩形框的宽高比例≤upper_bound

其中，θ为用户设定的像素数门槛值，lower_bound和upper_bound为用户设定的区块宽高比例范围。

步骤S208，交通信号灯侦测模块122利用各种颜色信号灯的相对位置进一步识别出各信号灯，并判断红色信号灯是否为亮。也就是说，交通信号灯2在影像中的位置与信号灯顺序为固定，可以视作已知，若要简化判断过程，可以事先设定交通信号灯2所在区块与各信号灯的位置，仅对该区块进行三种颜色信号灯的颜色撷取，再根据所撷取颜色的位置判断红灯是否亮，省略之后的筛选过程，简化整体流程。

具体而言，交通信号灯侦测模块122可以建立固定大小与型式的屏蔽(mask)扫描影像中交通信号灯2所在的区块，将屏蔽运算结果与一个设定的临界值做比较，就可以判断出红色信号灯是否亮。

例如，以侦测横排的交通信号灯2为例，由于最左侧为红灯，若要侦测红色信号灯是否为亮，则可以设计屏蔽如下：

$\left[\begin{array}{ccccccccccccccc}1& 1& 1& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]$

以侦测纵排的交通信号灯2为例，由于最上侧为红灯，若要侦测红色信号灯是否为亮，则可以设计屏蔽如下：

$\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$

其中，屏蔽的大小是由交通信号灯2在影像中所占大小来决定，屏蔽值则根据所判断的信号灯为红色信号灯、黄色信号灯或绿色信号灯而设计。

另外，本实施例还可以箭头表示交通信号灯2来设置屏蔽，并以设置的屏蔽作为判断基准。例如，针对具有左转绿灯的横排信号灯所设计的屏蔽如下：

$\left[\begin{array}{cccccccccccccccccccc}0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 1& 1& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]$

在此需说明的是，当交通信号灯2中仅有红色和绿色信号灯时，侦测该交通信号灯2中的红色信号灯是否为亮的方法与图4中描述的方法相同。当交通信号灯2中只有一个信号灯进行红、绿变化时，可通过侦测像素值的方式判断红色信号灯是否为亮。

如图7所示，是本发明另一个实施例中利用影像侦测违规车辆的系统的运行环境示意图。

在该图中，监控设备1还可以通过传输装置18将所拍摄的影像传送至终端服务器3(如警政单位的终端服务器)，其中，该传输装置18可以是有线网络、无线局域网络(Wireless Fidelity，WiFi)、微波存取全球互通(Worldwide Interoperability for Microwave Access，WiMax)、分码多任务(Code Division Multiple Access，CDMA)或整合封包无线电服务技术(General Packet Radio Service，GPS)。

所述终端服务器3可以利用所取得的影像进行交通状态统计，以及之后违规取缔事实的运用。例如，警政单位通过该终端服务器3可以计算交通流量或获取车祸肇事影像等。为了让搜证更加明确且不会产生争议，该终端服务器3还可以通知摄像装置10连续拍摄违规车辆，并为每一张影像附加详细的违规时间，以达到佐证的作用。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种利用影像侦测违规车辆的方法，其特征在于，该方法包括：

影像获取步骤，接收摄像装置实时拍摄的交通信号灯的影像及该交通信号灯所在路口的交通状况的影像，该交通信号灯至少包括一个红色信号灯和一个绿色信号灯；

交通信号灯侦测步骤，分析该交通信号灯的影像，侦测该交通信号灯中的红色信号灯是否为亮；

违规车辆侦测步骤，当侦测结果为红色信号灯亮时，通过所述交通状况的影像及移动对象侦测算法判断是否有车辆越过该路口的道路停止线；及

车牌识别步骤，当有车辆越过该道路停止线时，从该交通状况的影像中识别出该车辆的车牌号，并记录该车牌号。

2.如权利要求1所述的利用影像侦测违规车辆的方法，其特征在于，所述交通信号灯侦测步骤包括如下步骤：

HSI颜色模型步骤，利用HSI颜色模型分析上述交通信号灯的影像，以过滤出该影像中交通信号灯所在的区块；

过滤步骤，为每种颜色信号灯设定一个相对应的临界值作为撷取条件，从所述影像中过滤出各信号灯的区块；

确认步骤，根据各信号灯区块的像素数目、信号灯区块的矩形框的宽高比例，进一步确认上述过滤后的区块是否是信号灯的区块；及

信号灯识别步骤，当上述区块是信号灯的区块时，利用各种颜色信号灯的相对位置识别信号灯，以判断出红色信号灯是否为亮。

3.如权利要求2所述的利用影像侦测违规车辆的方法，其特征在于，所述信号灯识别步骤包括：

建立固定大小与型式的屏蔽；

扫描影像中交通信号灯所在的区块得到屏蔽运算结果；及

将屏蔽运算结果与一个设定的临界值做比较，以识别出红色信号灯是否亮。

4.如权利要求1所述的利用影像侦测违规车辆的方法，其特征在于，所述违规车辆侦测步骤包括如下步骤：

将所述路口的道路停止线作为判断是否违规的分界线；

利用移动对象算法得到影像画面中移动物体及其移动方向；

判断该移动物体是否超越所述道路停止线；

当该移动物体超越该道路停止线时，判断该移动物体的面积是否符合各种车辆的大小，且判断该移动物体的移动方向是否满足第一方向；及

若该移动物体的面积符合车辆的大小且该移动物体的移动方向满足所述第一方向，则判定该移动物体为违规车辆，并认定该车辆违规闯红灯。

5.如权利要求4所述的利用影像侦测违规车辆的方法，其特征在于，所述移动对象侦测算法包括背景相减法、光流侦测法、时间差异法。

6.如权利要求1所述的利用影像侦测违规车辆的方法，其特征在于，所述车牌识别步骤包括：车牌定位、车牌分割与字符识别，其中，用作车牌定位的算法是AdaBoost或类神经网络算法。

7.一种利用影像侦测违规车辆的系统，其特征在于，该系统包括：

影像获取模块，用于接收摄像装置实时拍摄的交通信号灯的影像及该交通信号灯所在路口的交通状况的影像，该交通信号灯至少包括一个红色信号灯和一个绿色信号灯；

交通信号灯侦测模块，用于分析该交通信号灯的影像，侦测该交通信号灯中的红色信号灯是否为亮；

违规车辆侦测模块，用于当侦测结果为红色信号灯亮时，通过所述交通状况的影像及移动对象侦测算法判断是否有车辆越过该路口的道路停止线；及

车牌识别模块，用于当有车辆越过该道路停止线时，从该交通状况的影像中识别出该车辆的车牌号，并记录该车牌号。

8.如权利要求7所述的利用影像侦测违规车辆的系统，其特征在于，所述交通信号灯侦测模块通过以下步骤侦测红色信号灯是否为亮：

利用HSI颜色模型分析上述交通信号灯的影像，以过滤出该影像中交通信号灯所在的区块；

为每种颜色信号灯设定一个相对应的临界值作为撷取条件，从所述影像中过滤出各信号灯的区块；

根据各信号灯区块的像素数目、信号灯区块的矩形框的宽高比例，进一步确认上述过滤后的区块是否是信号灯的区块；及

当上述区块是信号灯的区块时，利用各种颜色信号灯的相对位置识别信号灯，以判断出红色信号灯是否为亮。

9.如权利要求7所述的利用影像侦测违规车辆的系统，其特征在于，所述违规车辆侦测模块通过以下步骤判断是否有车辆越过该路口的道路停止线：

将所述路口的道路停止线作为判断是否违规的分界线；

利用移动对象算法得到影像画面中移动物体及其移动方向；

判断该移动物体是否超越所述道路停止线；

当该移动物体超越该道路停止线时，判断该移动物体的面积是否符合各种车辆的大小，且判断该移动物体的移动方向是否满足第一方向；及

若该移动物体的面积符合车辆的大小且该移动物体的移动方向满足所述第一方向，则判定该移动物体为违规车辆，并认定该车辆违规闯红灯。

10.如权利要求7所述的利用影像侦测违规车辆的系统，其特征在于，所述车牌识别模块通过车牌定位、车牌分割与字符识别从交通状况的影像中识别出违规车辆的车牌号，其中，用作车牌定位的算法是AdaBoost或类神经网络算法。

Images