CN103366569B - 实时抓拍交通违章车辆的方法及系统 - Google Patents

Abstract

本发明公开了一种实时抓拍交通违章车辆的方法及系统。该系统由球型监控摄像机和数据处理控制器组成。球型监控摄像机架设在道路上方，全景拍摄道路上所有车辆的运动情况，并将视频通过网络接口实时传送到数据处理控制器；在数据处理控制器中通过视频图像信息处理等技术，实时检测并保存所有运动物体的运动状态和轨迹，并判断其是否存在违章行驶行为；如果有违章行驶行为，进行快速跟踪抓拍。本发明可以通过云台转动和镜头变焦抓拍，一个球机可以清晰地监控抓拍较大范围，能对各种违章行驶行为起到很好的震慑作用，保证城市交通的安全与畅通。

Description

实时抓拍交通违章车辆的方法及系统

技术领域

本发明属于智能交通技术领域，具体而言是利用视频图像处理技术实现交通监管和违章抓拍的系统装置。

背景技术

近年来，随着中国经济的高速发展，城市化进程的迅速加快，汽车产业蓬勃发展，汽车保有量迅速上升，交通拥堵已经变得日益严重。拥堵不但给出行带来极大不便，更造成巨大的资源浪费和经济损失，已成为各大中型城市亟需解决的问题。怎样高效的利用有限的道路资源和交通设施，使之发挥最大的通行能力已经受到各方的高度关注。智能交通系统（ITS）正是在这种背景下应运而生。它的本质是通过传感技术、信号处理技术、控制技术等现代科技与交通工程的综合应用，将交通系统实施信息化、智能化、社会化的改造，使整个交通管理建立在一种大范围、全方位发挥作用，实时、准确、高效的交通运输管理系统上，更合理的引导、控制交通行为，保证道路的畅通、有序，从而最大限度的发挥交通基础设施的潜力。

智能交通的最新发展趋势是基于视频分析与处理技术的系统，相比于传统的交通控制系统大多利用感应线圈、压电检测器、微波检测区和雷达等监测技术，视频监控的优势在于：能提供现场视频画面，更直观，信息量大，单个摄像头可监控多个车道；一套设备可以完成例如车流量信息，车速信息，排队信息，占道行驶，车辆信息，交通事故等多种信息的监控；通过对违规车辆的抓拍，能够为交通监管部门的处罚提供依据等。

目前交通监管系统中使用的多是固定角度固定焦距的摄像系统。因为其拍摄角度和是焦距不能灵活变动，导致系统抓拍的距离范围很小，一般最远有效抓拍距离仅为30至40米。这严重的制约了基于视频信息处理的交通交管系统的应用。所以，这类系统一般应用于交叉路口，桥梁和隧道的出入口，高架入口等交通关键节点上，如果希望能监控整条道路的交通情况就必须每30米安装一套系统，无疑代价将会很大。

发明内容

发明目的：现有系统对非节点的大部分路面难以监管，特别是对于这部分道路上发生的越双黄线的占到行驶和逆行等违章行为都无法得到有效监管。为此本发明提出一种采用球型监控摄像机的实时抓拍交通违章车辆的方法及系统。

技术方案：实时抓拍交通违章车辆的方法，包括如下步骤，

第一步：在系统安装时在监控范围内设置系统运行参数，包括监控的道路范围、双黄线位置；

第二步：在监控道路上设置球型摄像机预置位点；在监控道路上每隔5到10米设定一个抓拍点，预置位点包括云台水平方向和垂直方向的角度以及变焦倍数，用球型监控摄像机对准抓拍点并适当增大变焦倍数；所述预置位点信息保存在球型监控摄像机的内部存储器。

第三步：提取路面环境背景；采取排序法提取路面环境背景。

第四步：球型监控摄像机实时采集路面上车辆行驶状况的视频信号，并将视频信号通过网络接口传输到数据处理控制器中；所述数据处理控制器对视频信号进行处理，检测、识别运动车辆，提取车辆运动轨迹信息；

具体为：对所述视频信号进行解码，抓取单帧图像；

对所述图像进行灰度化处理；对所述图像进行二值化处理，用背景相减法将每帧图像减去已经提取的背景，利用相减后图像灰度特征来寻找一个阈值，把小于此阈值的点视为背景部分，赋0值，大于此阈值的点视为前景，赋值为255；

腐蚀与膨胀：对二值化后的图像采取形态学滤波操作，用腐蚀算法除去孤立的噪声点，细化边缘，而用膨胀算法填充目标区域中的空洞；

检测跟踪运动目标；提取运动轨迹信息，即不同的视频帧中运动目标出现在图像中的像素位置。

第五步：判断车辆的行驶是否存在违章，如果有，进行追踪抓拍；如判定有违章行为，则预测违章车辆在一个触发-对准延迟时间后将会出现的位置；预测的方法是：假设违章车辆的运动状态在接下来的一个触发-对准延迟时间内不发生大的改变；根据该运动目标最新一段时间里的运动轨迹信息，即不同的视频帧中运动目标出现在图像中的像素位置，通过线性预测计算出一个触发-对准延迟时间后该运动目标将出现在视频图像中的位置，计算该位置与哪个预置位点最接近，开启录像功能，驱动球型监控摄像机变焦对准预置位点，拍摄视频。如果没有，进入第六步；

第六步：视频背景更新，完成之后进入第四步，循环执行。根据周围光照环境做出自适应的背景调整，以便能在不同光照条件和天气情况下工作。

实时抓拍交通违章车辆的系统，所述系统包括网络球型监控摄像机和数据处理控制器，其中所述球型监控摄像机安装在道路正上方的横杆上，数据处理控制器安放在旁边的小型机柜中，并用网络连接线连接；球型监控摄像机实时采集路面上车辆行驶状况的视频信号，并将视频信号通过网络接口设备传输到数据处理控制器；数据处理控制器对视频信号进行处理，检测、识别并提取车辆运动轨迹信息，判定车辆违章与否。

本发明采用上述技术方案，具有以下有益效果：该发明可以实现动态追踪抓拍长距离范围内的道路上发生的超速，越双黄线的占到行驶和逆行等违章行为，如果每隔约150米安装一个上述装置，就可以实现全路域全天候的交通视频监管和违章抓拍，大幅完善了视频交通监管系统的功能，扩大了视频交通监管系统的应用场景，能对各种违章行驶行为起到很好的震慑作用，保证城市交通的安全与畅通。具体的，第一，大幅提高了单个视频交通监管系统的有效监控范围，使全道路的交通视频监管成为可能。第二，填补针对越双黄线的占到行驶和逆行的抓拍功能空白。第三，单个摄像机即可完成整个监控区域的监控，并且可对整个监控区域内的违章车辆进行车牌聚焦抓拍。第四，可在此平台基础上方便的实现功能扩充，一套设备监管多种违章行为，可整合取代多套其他系统，有效降低交通监管的成本。

附图说明

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的视频信息处理流程示意图；

图3为本发明实施例的系统结构框图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

该方法流程图如图1所示，具体如下：

第一步：通过友好的人机交互界面，通过简单的鼠标操作即可在系统安装时确定所有系统运行的参数如：监控的道路范围，双黄线位置等信息。这些参数信息以文本文档的形式存储在计算机硬盘中，系统掉电也不会丢失，重新上电后无需重新标定。

第二步：为实现更快速的驱动球技实现抓拍，利用球型监控摄像机的预置位功能。在监控道路上每隔5到10米设定一个抓拍点，预置位点包括云台水平方向和垂直方向的角度，变焦倍数，其取值正好对准抓拍点位置。变焦倍数的确定原则是：如果汽车在抓拍点位置上违章行驶，摄像机能清晰的抓拍到该汽车的车牌--车牌的横向像素不低于法定取证要求（目前为110像素），并使整个汽车在图像中居中、可见。

第三步：背景提取：本系统中采取排序法提取背景。假设视频序列中大部分时间背景像素点是没有运动物体遮挡的，即假设一定时间内运动物体一直停在某处的概率很小，也就是说背景中每个像素在大部分时间处于显露状态，这个假设是符合实际情况的。算法步骤为：从视频序列中提取M帧图像，记为(f₁,f₂,…,f_M)；用表示第k帧图像中(x,y)坐标处的亮度分量，然后对按照递增或递减的顺序进行排序，取有序数列的中心点值作为背景模型(x,y)像素点取值。

第四步：常态下，球型监控摄像机在初始位置上全景俯拍整个监管区域。球型监控摄像机拍摄的数字视频用网线传送到控制计算机，控制计算机对视频信号进行处理，处理流程如图2所示，具体为：

(1)图像灰度化处理：数字图像处理的许多算法都是针对灰度图像或二值图像，另外考虑减小运算量，所以把抓取得到的RGB彩色图像数据转化为灰度图，图像的各种后续算法处理都在灰度图上进行。转换公式如下：

Gray＝0.30*R+0.59*G+0.11*B。

(2)图像二值化：在处理过程中系统采用背景相减法，将每帧图像减去已经提取的背景，这样得到的图像在没有汽车等前景目标的区域灰度值接近于0，而有汽车等前景目标的区域的剩余值相对较大。图像二值化是利用相减后图像灰度特征来寻找一个阈值，把小于此阈值的点视为背景部分，赋0值（黑色），大于此阈值的点视为前景，赋值为255（白色），这样把图像的前景目标和背景加以显著地区分。由此可见确定一个恰到好处的阈值将直接影响目标区分的正确性，是算法的关键。基于实时性考虑，本次设计采用的是Otsu法，它是建立在一幅图像的灰度直方图基础上的，依据类间距离极大准则来确定区域分割门限。

(3)腐蚀与膨胀：二值化后的图像往往由于图像噪声的影响，背景中的一些像素会被检测为前景点，而前景的一些像素也会被认为是背景点而在运动物体内产生空洞现象，所以需要对二值化后的图像采取形态学滤波操作，腐蚀算法主要用于除去孤立的噪声点，细化边缘，而膨胀算子则用于填充目标区域中的空洞。

利用背景相减法得到的图像只有0和255两种灰度值的图像。腐蚀处理的方法就是统计某个255点周围的白色点数（此处255代表前景，0代表背景）的个数，如果小于一定数值就将该点消去。图像的膨胀处理是对图像的每个像素点进行遍历，如果一个点的灰度值为255，则将它周围的8个点都设置为255.假设腐蚀已经将图像中细小的早点全部处理干净,则膨胀处理不会产生新的噪点。而是扩展前景物体的边界点，填充运动物体内的空洞，同时可以使一些相邻距离较短的区域进行连接。简而言之，就是使前景目标呈现更完整更规则的形态。

(4)运动目标检测：经过以上处理，图像上只剩下前景区域的一个个白色的连通区域。现在需要统计标识出各个连通区域，并计算出各个连通区域的大小。标记算法描述：对像素矩阵从上往下扫描一次，若当前像素是0（即黑），且其左、左上、上、右上都没有标记值，则给予标定，若左、左上、上方、右上的任一像素具有特征值，则按顺时针优先级予以标定；对像素矩阵从下往上扫描一次，若当前像素有特征值，且其左、左下、下或右下的元素存在特征值，则按左、左下、下方、右下的顺序集顺序重新予以标记值；最后反向扫描一次，扫描完毕后每个物体都有自己唯一的特征值。

(5)运动目标筛选和合并：考虑到实际视频场景中，运动物体存在着近大远小的问题，针对远、中、近需要设置不同的面积阈值，对每个区域的面积进行统计，将小于一定阈值的区域视为噪声，直接消去。由于实际处理中发现一辆车可能被分成了多个连通区域，尤其是距离较近的目标，所以必须对这些矩形进行合并。合并后的最小外接矩形为两个目标区域的外接矩形。同样出于存在透视关系，必须对图像进行区分，对每个区域分别设定合并阈值，这里采用距离对矩形本身大小进行归一化。由于车辆分裂多发生在竖直方向上，故进行合并时主要在竖直方向进行，如果两个矩形存在包含关系，或者上下方向上中心距离小于3个像素，或者上下方向上归一化距离小于0.7，就将两个矩形合并。至此，就已经检测出视频中所有的运动物体并保存了他们的大小和位置，还可以根据其大小和长宽比例进一步筛选目标。比如，人的长宽比例和汽车的长宽比有明显区别，可以据此筛选出行人目标或是汽车目标。

(6)运动目标跟踪：跟踪是指第k帧中的模板在第k十1帧中找到最匹配的目标区域。影响跟踪的四个因素为：模板的表示，候选目标的表示，相似度的衡量和搜索的策略。本装置选择利用汽车的位置来进行汽车跟踪，步骤如下：第k帧中共有n个汽车目标，k+1帧中共有m个汽车目标。由于第k帧和第k+1帧时间间隔很短，目标汽车运动的距离不会很长，所以同一辆汽车在第k帧和第k+1帧中的位置会有重叠面积。所以要得到第k帧中汽车i在k+1帧中和哪个目标是同一辆车，可以计算第k帧中汽车i与k+1帧中所有的目标的重叠面积。如果k+1帧m个目标中的目标j与第k帧中汽车i重叠面积最大，则将汽车j视为第k帧中汽车i与k+1帧的汽车j是同一辆汽车，保存其新的位置。通过不同帧中同一汽车的位置就可以知道汽车的运动方向和轨迹。再加上帧间的时差就可以计算出汽车的运动速度。对于在第k帧中出现，在第k+1帧中无法找到匹配的目标时，认为此车已经驶出摄像范围。而在第k帧中没有出现，而第k+1帧中出现的汽车目标，认为是刚刚驶进摄像监控范围的汽车目标。

(7)运动轨迹信息提取：上一步骤中，已经获得了运动汽车从进入镜头到当前时刻的所有轨迹信息。根据每一视频帧运动目标出现在图像中的像素位置。

第五步：违章判定与抓拍：根据运动汽车当前位置信息与保存的双黄线位置比对，如果存在相互重叠，则判定为占道行驶。根据汽车运动方向判断，是否为逆向行驶。如果存在上述违章行为，则进行抓拍，否则，进行第六步。

追踪抓拍：如判定有违章行为，则预测违章汽车在一个触发-对准延迟时间后将会出现的位置。“触发-对准延迟时间”定义为球机完成云台移动、镜头变焦、镜头聚焦到预置位的过程所需的时间。不同的球机该时间不同，优选的是在1-4秒左右。预测的方法是：假设违章车辆的运动状态在这一触发-对准延迟时间内不发生大的改变（比如突然停止、突然倒车、紧急转向等）。根据该运动目标最新一段时间里的运动轨迹信息（即不同的视频帧中运动目标出现在图像中的像素位置）通过线性预测计算出一个触发-对准延迟时间后该运动目标将出现在视频图像中的位置，并计算该位置与哪个预置位点最接近，开启录像功能，驱动球型监控摄像机变焦对准预置位点，拍摄视频影像。

第六步：视频背景更新：随着时间的推移，光照以及一些不可预测的路面情况等外部条件的不断变化，使路面背景亮度发生缓慢的变化，要保证系统长时间正常运行，需要进行背景更新保证背景的实时性。其基本原理是用视频序列的已提取背景和当前帧的加权平均来更新背景。由于当前帧中含有前景目标，因此更新前要分割前景和背景，仅用当前帧的背景像素修正当前背景。合成瞬时背景后，通过瞬时背景和当前背景的加权平均得到更新后的背景。

图3为该系统的结构框图，包括网络球型监控摄像机和数据处理控制器，优选的，该数据处理控制器可以为工业控制计算机，其中球型监控摄像机安装在道路正上方的横杆上，工业控制计算机安放在旁边的小型机柜中，并用网络连接线连接；球型监控摄像机实时采集路面上车辆行驶状况的视频信号，并将视频信号通过网络接口设备传输到工业控制计算机；工业控制计算机对视频信号进行处理，检测、识别并提取车辆运动轨迹信息，判定车辆违章与否。如果有违章行驶行为，预测该车辆的位置，并与球型监控摄像机内部的预置位点对比，找到最匹配的预置位点，实现快速抓拍。

Claims (8)

1.实时抓拍交通违章车辆的方法，其特征在于，包括如下步骤，

第一步：在系统安装时在监控范围内设置系统运行参数，包括监控的道路范围、双黄线位置；

第二步：在监控道路上设置球型摄像机预置位点；在监控道路上每隔5到10米设定一个抓拍点，预置位点包括云台水平方向和垂直方向的角度以及变焦倍数，用球型监控摄像机对准抓拍点并适当增大变焦倍数；

第三步：提取路面环境背景；

第四步：球型监控摄像机实时采集路面上车辆行驶状况的视频信号，并将视频信号通过网络接口传输到数据处理控制器中；所述数据处理控制器对视频信号进行处理，检测、识别运动车辆，提取车辆轨迹信息；

第五步：判断车辆的行驶是否存在违章，如果有，进行追踪抓拍，然后也进入第六步；如果没有，直接进入第六步；

第六步：视频背景更新，完成之后进入第四步，循环执行 。

2.如权利要求1所述的实时抓拍交通违章车辆的方法，其特征在于：所述预置位点信息保存在球型监控摄像机的内部存储器。

3.如权利要求1所述的实时抓拍交通违章车辆的方法，其特征在于：所述第三步中采取排序法提取路面环境背景。

4.如权利要求1所述的实时抓拍交通违章车辆的方法，其特征在于：所述第四步的实现方法是：

对所述视频信号进行解码，抓取单帧图像；

对抓取的单帧图像进行灰度化处理；对灰度化后的图像进行二值化处理，用背景相减法将每帧图像减去已经提取的背景，利用相减后图像灰度特征来寻找一个阈值，把小于此阈值的点视为背景部分，赋0值，大于此阈值的点视为前景，赋值为255；

腐蚀与膨胀：对二值化后的图像采取形态学滤波操作，用腐蚀算法除去孤立的噪声点，细化边缘，而用膨胀算法填充目标区域中的空洞；

检测跟踪运动目标；提取运动轨迹信息，即不同的视频帧中运动目标出现在图像中的像素位置。

5.如权利要求1所述的实时抓拍交通违章车辆的方法，其特征在于：所述第五步的追踪抓拍方法是：如判定有违章行为，则预测违章车辆在一个触发-对准延迟时间后将会出现的位置；预测的方法是：假设违章车辆的运动状态在接下来的一个触发-对准延迟时间内不发生大的改变；根据该运动目标最新一段时间里的运动轨迹信息，通过线性预测计算出一个触发-对准延迟时间后该运动目标将出现在视频图像中的位置，并计算该位置与哪个预置位点最接近，开启录像功能，驱动球型监控摄像机变焦对准预置位点，拍摄视频。

6.如权利要求1所述的实时抓拍交通违章车辆的方法，其特征在于：所述第六步中，根据周围光照环境做出自适应的背景调整，以便能在不同光照条件和天气情况下工作。

7.实时抓拍交通违章车辆的系统，其特征在于：所述系统包括网络球型监控摄像机和数据处理控制器，其中所述球型监控摄像机安装在道路正上方的横杆上，数据处理控制器安放在旁边的小型机柜中，并用网络连接线连接；球型监控摄像机实时采集路面上车辆行驶状况的视频信号，并将视频信号通过网络接口设备传输到数据处理控制器；数据处理控制器对视频信号进行处理，检测、识别并提取车辆运动参数，判定车辆违章与否；在监控道路上每隔5到10米设定一个抓拍点，预置位点包括云台水平方向和垂直方向的角度以及变焦倍数，用球型监控摄像机对准抓拍点并适当增大变焦倍数。

8.如权利要求7所述的实时抓拍交通违章车辆的系统，其特征在于：数据处理控制器对视频信号进行处理实现方法是：

对所述视频信号进行解码，抓取单帧图像；

对抓取的单帧图像进行灰度化处理；对灰度化后的图像进行二值化处理，用背景相减法将每帧图像减去已经提取的背景，利用相减后图像灰度特征来寻找一个阈值，把小于此阈值的点视为背景部分，赋0值，大于此阈值的点视为前景，赋值为255；

腐蚀与膨胀：对二值化后的图像采取形态学滤波操作，用腐蚀算法除去孤立的噪声点，细化边缘，而用膨胀算法填充目标区域中的空洞；

检测跟踪运动目标；提取运动轨迹信息，即不同的视频帧中运动目标出现在图像中的像素位置。