CN106571039A - 一种高速公路违章行为自动抓拍系统 - Google Patents

Abstract

一种高速公路违章行为自动抓拍系统，包括前端抓拍单元、网络传输单元、检测单元以及管理服务器，其中，前端抓拍单元获取检测场景中的实时视频，网络传输单元将实时视频传输到检测单元，检测单元获得视频后，运用目标分割、轨迹跟踪、分析，寻找存在倒车、逆行及违章停车的异常行为的车辆，并给出目标车辆所在位置，控制云台转动，使目标车辆车牌处于前端抓拍单元捕获图像的中心，控制前端抓拍单元镜头变焦，调整目标在图像中的大小，使其适合进行车牌识别分析，确定车牌后，前端抓拍单元控制电动变倍镜头恢复到广角监控模式，并进行远景、近景及车牌的抓拍，同时将抓拍结果上传至管理服务器单元。

Description

一种高速公路违章行为自动抓拍系统

技术领域

本发明属于智能交通设备技术领域，特别涉及一种高速公路违章行为自动抓拍系统。

背景技术

随着城市机动车保有量的迅速增长，以及部分驾驶人员的文明驾驶意识比较薄弱，违章逆行、倒车以及违法停车等行为在高速公路上时有发生，这些行为大大降低了道路通行能力，极易造成交通事故发生交通堵塞，以上行为已成为高速公路交通管理整治中的难题，严重影响道路交通环境及行人安全。

目前对于高速公路的交通违法行为的监管主要依赖于交警现场执法或者使用人工操作监控系统。监控执法人员工作负荷较大，极大的浪费宝贵的警力资源。如何解决对违法行为现场执法警力不足和易受干扰影响的问题成为现实的需要。

发明内容

本发明提出了一种用于高速公路的违章行为自动抓拍系统，利用机器视觉代替人工视觉自动进行车辆目标提取、违章行为自动判定、自动跟踪放大、自动车牌识别，兼具机器连续工作优势和人类部分认知能力，准确、快速地对机动车违章行为进行抓拍、证据提取和记录保存。

本发明是一种高速公路违章行为自动抓拍系统，包括前端抓拍单元、网络传输单元、检测单元以及管理服务器，

其中，前端抓拍单元获取检测场景中的实时视频，网络传输单元将实时视频传输到检测单元，

检测单元获得视频后，运用目标分割、轨迹跟踪、分析，寻找存在倒车、逆行及违章停车的异常行为的车辆，并给出目标车辆所在位置，控制云台转动，使目标车辆车牌处于前端抓拍单元捕获图像的中心，控制前端抓拍单元镜头变焦，调整目标在图像中的大小，使其适合进行车牌识别分析，

确定车牌后，前端抓拍单元控制电动变倍镜头恢复到广角监控模式，并进行远景、近景及车牌的抓拍，同时将抓拍结果上传至管理服务器单元。

前端抓拍单元包括智能摄像机、云台和电动三可变镜头，图像获取、图像分析、云台控制、镜头控制以及通信功能都由智能摄像机完成；

云台主要用来实现抓拍前端的翻转，以便摄像机镜头对准位于检测区域内不同位置的目标；

电动三可变镜头主要用来实现变倍、聚焦以及光圈控制功能，以便抓拍位于不同距离的清晰的目标图像。

进一步的，采用Vibe背景建模方法进行目标分割，具体步骤包括：

背景建模，即

假设v(x)代表图像中位于位置x的像素的欧式颜色距离值，v_i代表索引i的背景样本值，每一个背景像素x通过N个背景样本值的集合建模，该集合表示为：

M(x)＝{v₁,v₂,…,v_N} (1)

背景样本值抽样自先前的图像帧，

为了通过模型M(x)来分类一个新的像素，需要定义个以v(x)为球心，半径为R的球S_Rv(x)，并以此球基准比较该像素点与样本集合最近的距离，

当所述球体包含样本模型M(x)中的像素点基数(定义为#)大于或等于一个给定阈值#_min，则v(x)将被分类为背景，即，将阈值#_min与#{S_Rv(x)∩{v₁,v₂,…,v_N}}对比；

单帧初始化背景建模，即

假设邻域像素具有相似的时空分布，基于此假设，选择像素点的空间邻域的像素值作为该像素的背景模型样本，即在第一帧时，算法在像素点的邻域内随机取点来组成背景样本集合，在每个像素点的把联通邻域随机挑选样本；

背景模型更新，即

为了适应不断变化的背景，采用保守的更新策略和前景点计数方法相结合，前景点计数方法是对像素点进行统计，如果某个像素点连续K次被检测为前景，则将其更新为背景点，

具体背景模型更新方法是：当一个像素点被分类为背景点时，该点有的概率更新背景模型，在其样本集中随机选择一个样本点用此像素点进行填充更新，

同时，该点有的概率更新其邻域点的背景模型，在其样本集中随机选择一个样本点用此像素点进行填充更新，

当前景点连续K次被检测为前景时，将它变为背景点，然后其有的概率更新自己的背景模型，依次不断的向外扩散更新。

对于轨迹跟踪，选择Mean-shift目标跟踪算法获得目标运动轨迹，包括步骤：

目标模型描述，即

对于已分割出的目标，假设其中有n个像素，其位置为{z_i}_i＝1...n，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图。目标模型的q_u概率密度(u＝1,...,m)可表示为：

其中，表示以目标中心为原点的归一化像素位置，(x₀,y₀)为目标中心坐标，

K是核函数，常选用Epanechikov核函数，b(z_i)表示z_i处像素属于哪个直方图区间，u为直方图的颜色索引，

δ[b(z_i)-u]函数的作用是判断目标区域中像素z_i处的灰度值是否属于直方图中第u个单元，C为归一化系数；

候选模型描述，在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f，计算当前帧的候选目标区域直方图，该区域的像素用{z_i}_i＝1...n表示，则候选模型的概率密度为：h为核函数窗口大小，决定着权重分布，其他参数同目标模型描述；

相似性度量，采用Bhattacharyya系数作为相似性函数，其定义为：相似函数越大则两个模型越相似，将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是在本帧中目标的位置；

Mean-shift迭代过程，即均值漂移的迭代过程，也就是目标位置搜索的过程，为使相似函数最大，对进行泰勒展开，得到Bhattacharyya系数的近似表达：

其中只有第二项随f变化，其极大化过程就可以通过候选区域中心向真实区域中心的Meanshift迭代方程完成：

其中，g(x)＝-K'(x)，Mean-shift方法就是从f_k起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复。

对于违章行为判定包括，违章停车判定、违章逆行车辆判定和违章倒车车辆判定，倒车与逆行行为检测方法相同，

违章停车判定，当在禁停区域内检测到有目标出现后，则要进一步确定该目标状态，对目标出现区域进行纹理分析判断其是否处于停车状态，当其停车时间到达规定值时，则对其进行报警，

停驶车辆识别，将用户设置的检测区域即禁停区域分割出来，，利用分割目标的面积与检测区域面积构成的占空比特征，将其空间特性加以表征，区域内目标的占空比定义为：

S＝a/A

a为分割目标面积；

A为检测区域面积。

以占空比作为辨识参量，滤除非机动车及行人等对象在检测区域的静止造成的干扰，进而有效地识别违章停驶车辆，

步骤如下：

A)对检测区域内存在分割结果时，即满足下式的像素点，则表明该点存在前景物体经过

pBinImg[i]＝255

B)当有前景物体经过时，则开始统计时间序列上检测区域内像素值变化情况：

pDif(i,t+1)＝pImg(i,t+1)-pImg(i,t)

上式中，

pDif(i,t+1)为第t+1帧与第t帧对应像素差结果；

pImg(i,t+1)为第t+1帧图像灰度值；

pImg(i,t)为第t帧图像灰度值，

C)基于物体的运动特性与颜色特性，像素值在短期内不存在均匀渐变的情况，若有

|pDif(i,t+k)|≤ω

ω为稳定度，

若在连续j帧内均有

|pDif(i,t+k+m)|≤ω,m＝0,1,…,j-1

则确定像素点进入稳定状态；

D)当进入稳态后，计算当前像素点与背景点的差值：

pDif Img(i,t+k+j)＝p Img(i,t+k+j)-pBak Img(i,t-1)

当差值满足下式时，则表明当前像素点状态由前景静止物体占据，否则仍为初始背景，

pDif Img(i,t+k+j)≥G

E)根据前景对象的占空比S判别对象类型，若满足下式时，则认为该前景对象为车辆。

S≥γ

γ为占空比分类阈值，本方法取γ＝0.25。

F)由进入稳定状态时刻开始统计车辆停驶时间，根据不同禁停区域的具体违章要求，确定违章停车发生，实现自动报警；

对于违章逆行车辆判定，通过对车辆目标轨迹进行跟踪，根据其轨迹方向判

断是否有逆行行为发生，具体实现步骤为：

1)采用角点跟踪算法，目标运行过程中，用变模板正向最小差值匹配跟踪算法，同步寻找角点在每帧图像中出现的位置，每当找到新的目标位置，则用当前位置信息更新模版数据；

2)对每行像素进行车辆正确行驶方向的标定，由于采样频率及车辆速度的限制，设定在相邻三个像素范围内其运动轨迹呈均匀变化，此时计算误差较小；

3)从图像下边沿第0行像素开始分别对各行像素进行方向标定，对于远离摄像机方向为行驶正方向的路段，其第k行方向矢量分别为：

对于驶向摄像机方向为行驶正方向的路段，其第k行方向矢量分别为：

4)根据对于逆行车辆，其轨迹方向与车辆正确行驶方向的夹角具有一定特征，将车辆发生逆行时跟踪轨迹与标定车道线正确行驶方向的夹角定义为120°，规定对于每条目标运动轨迹，当其与车道正常行驶方向夹角超过120°的数量大于设定的阈值时，则判定该条运动轨迹为逆行轨迹，即被跟踪车辆出现逆行行为；5)为标定车道线的车辆正确行驶矢量，为轨迹实际运动矢量，其中，则车辆实际行驶方向与规定的车辆正确行驶方向的夹角θ可表示为：

6)检测过程中，当θ＞120°时，则将相应计数器加1，当满足逆行条件数量大于设定阈值时，则可判定当前跟踪车辆逆行。

对于抓拍的具体步骤：

当车辆在禁停区域停止时进行违章停车抓拍，超过预设时间后，对前面违章停车进行确认(牌照比对)，

如果确认为同一辆车，则将四张图片及停车录像视频上传至中心服务器，否则不予上传，

第一张为全景场景图片，第二张为车辆近景(包含车牌特写)，第三张为N min后的全景场景图片，第四张为N min后的车辆近景(包含车牌特写)。

与现有技术相比，采用本发明具有以下的技术效果：

1、大场景违章事件检测

电动变倍镜头、智能相机选用高清摄像机，保证整个监控范围内车辆图像清晰，保证最远端车辆图像上包含足够的像素点供事件检测判断；在检测算法上，采用车辆跟踪的方式，跟踪每一辆车的运动轨迹，根据运动轨迹判断车辆状态，这种方式可以有效减少误判、漏判的发生。

2、车辆精确定位

对违章车辆处罚的依据包含车辆远景图片和车牌号清晰的车辆近景图片，当违章自动抓拍前端发现违章事件后，需要获得违章车辆的精确位置信息才能够控制云台翻转、镜头变焦拍摄违章车辆的近景图片，如果车辆定位不精确就无法抓拍到有效的车辆近景图片。本发明的自动抓拍装置采用三维模型映射整个监控视场，保证车辆近景图像抓拍精度。

3、云台、镜头精确控制

在100米监控范围内拍摄车辆的近景图像，视场角范围约为2°～23°，变焦范围在20倍左右，要拍摄大小适中、图像清晰的车辆近景图片需要精确控云台和镜头，特别是拍摄视场远端图像，整个视场角只有2°，云台控制稍有误差就会丢失目标。本发明的自动抓拍装置，采用螺纹螺杆驱动方式的高精度云台，角度控制精度达0.1°，并采用预置位镜头与云台配合，可精确捕捉视场内的所有车辆目标。

4、无效记录的处理

基于视频的全自动违章车辆检测系统不可避免会产生无效的记录，如车牌号码无法识别的记录、车牌不完整的记录以及重复的记录，当这些记录数量达到一定的比例，会给违章记录处理人员带来庞大的工作量，整个系统将失去其可用性。本发明的自动抓拍装置采取前端抓拍单元和管理服务器双重记录过滤方式，过滤规则可灵活设置，可有效控制无效记录的数量，保证整个系统的抓拍有效率。

附图说明

图1本发明的系统架构图；

图2本发明系统中抓拍前端部件连接示意图；

图3本发明系统中抓拍前端与管理服务器连接示意图，3-a是抓拍前端与管理服务器有线连接，3-b是抓拍前端与管理服务器无线连接。

图4本发明系统抓拍流程；

图5本发明实施例中Vibe算法分类示意图；

图6本发明实施例中Mean-shift原理示意图；

图7本发明实施例中运动物体通过检测区域和进入检测区域停止两种运动某像素点灰度值变化情况示意图；

图8本发明实施例中复杂场景中车道正确行驶方向设置设意图；

图9本发明系统中服务器软件系统结构图。

具体实施方式

本发明能够自动识别整个监控场景中的违法行为，自动识别违章车辆车牌号码，并将违章车辆信息及违章证据上传至服务器供交管人员处理，整个过程全部自动完成无需人工干预，其中系统架构图如图1所示。

本发明的系统架构包括，前端抓拍单元、网络传输单元、检测单元以及管理服务器单元。

前端抓拍单元采用高清智能球机，为了实现远距离的快速抓拍，特选择500万高清智能球机，其实际抓拍距离可达到200米。抓拍前端由智能摄像机、云台、电动三可变镜头和护罩构成。智能摄像机是抓拍前端的核心，图像获取、图像分析、云台控制、镜头控制以及通信功能都由智能摄像机完成；云台主要用来实现抓拍前端的翻转，以便摄像机镜头对准位于检测区域内不同位置的目标；电动三可变镜头主要用来实现变倍、聚焦以及光圈控制功能，以便抓拍位于不同距离的清晰的目标图像；护罩用来装载智能摄像机和镜头，并提供防水、防尘保护，以及雨刮、加热、散热等功能。智能摄像机、云台和镜头的连接关系如图2所示。

网络传输单元将智能球机捕获的实时视频，传送到管理服务器。网络传输单元可以采用有线网络连接(如以太网)，也可以采用无线网络连接(如GPRS、3G等)。抓拍前端与管理服务器连接如图3所示。

本发明的软件主要包括抓拍软件和服务器软件。其中抓拍软件主要实现违章车辆检测、云台控制、车牌聚焦、车牌识别等功能。管理服务器单元实现违章记录存储、违章记录管理、违章事件联动处理、抓拍前端控制管理等功能。

抓拍前端软件中的图像采集部分由智能相机完成，采集的图像缓存于内存中的图像缓冲池中。为保证算法的实时性，避免任务切换带来的延时，将检测算法放在读取图像的任务中，保证不低于每秒25帧的处理速率，同时，为了保证系统运行流畅，检测算法的处理时间应不高于35毫秒。

在检测算法生效前，需要划定检测区域并配置一些检测参数以及预置位信息。为了提高系统扩展性，计划提供四个预置位，利用相机内置的RTC时钟芯片，使抓拍前端可以自动完成定时切换预置位的功能，以实现在不同时段对不同区域进行检测。

抓拍前端采用广角镜头监测整个监控区域，跟踪监控区域内的每一辆车的运动轨迹，当通过轨迹跟踪的方式发现违章事件后，确定停驶车辆的重心和面积(大小)，控制云台使目标位于图像的中心，通过控制镜头变焦，调整目标在图像中的大小，使其适合做进一步图像分析即车牌号识别，车牌号识别完成后抓拍相机恢复到广角监控模式继续做违章事件检测。

视频从违章事件触发即开始缓存于内存中，当取证结束后，进行抓拍有效性判断，若结果有效则将事件消息通过自定协议上传至中心调度服务器，照片及视频则上传至FTP服务器。

抓拍前端软件通过socket通信方式与服务器软件通信，违章事件消息通过自定协议发送至中心调度服务器，照片及视频上传至FTP服务器。若遇到网络故障，例如物理层断线或网络拥塞，系统可将违章数据保存在智能相机自带的SD卡中，当网络恢复时重新发送。

为便于文件的管理，系统需要在SD卡上实现FAT32文件系统，提高文件的可维护性。

为保证证据的可信度，避免RTC时钟芯片的误差过大，需要系统的时间与中心调度服务器同步。本系统中将实现一种网络校时功能(NTP或自定义协议校时)，以一定周期更新系统时间，更新RTC时钟芯片，该周期长度作为系统参数可配置。

抓拍前端提供基于H.264编码的实时视频，通过UDP发送至中心调度服务器。

前端抓拍软件主要算法如下，系统抓拍流程如图4所示：

违章抓拍设备通过抓拍两张全景及两张近景图片，录制整个违章过程作为后期违章处罚依据，并将证据数据上传至服务器，方便后期查找校对。系统抓拍流程如图4所示：

相机设定检测预置位，当检测范围内出现违章事件时，则抓拍第一张全景图片并开始录制视频，转动云台并调节镜头焦距、光圈等，进行近景拍摄，通过目标匹配算法查找全景中出现的违章车辆，如果匹配成功则抓拍近景图片，并在间隔一定时间后，抓拍第二张近景图片，保证违章事件持续了一段时间，抓拍结束后，返回预置位，抓拍第二张全景图片并结束视频录制，抓拍图片需保证车牌清晰，且四张图片能够完整记录车辆违章过程。证据保存结束后，将提醒检测软件进行报警，同时将数据上传至服务器，至此抓拍结束，相机返回预置位，准备下次违章事件的检测。

前端抓拍软件涉及的主要算法介绍如下：

一、视频解码

由于抓拍前端采用不同厂家的摄像机获取视频，各厂家解码的视频格式存在一定的差异，因此需要将其转化为软件可处理的视频格式(即YUV420格式)。

本发明采用的常用视频解码方法主要为SDK方式解码及RTSP协议解码。SDK方式解码是指根据各相机厂家提供的SDK获得其最终解码视频格式(可能为RGB、h264、YUV420、YUV422等)将其转化为软件需要的YUV420格式。

RTSP解码方式是指根据现已成熟的RTSP协议，根据各相机厂家RTSP协议特有的URL格式，获取解码后的h264格式视频，并通过ffmpeg解码方式将其解码成YUV420格式视频。

由于在违章车辆抓拍过程中，需要清晰的获得违章车辆车牌，因此在视频解码过程中，需要根据厂商提供的SDK，获得对应相机的云台控制程序，通过抓拍软件实现相机的云台、聚焦、焦距等控制。

二、目标分割

本发明采用Vibe背景建模方法进行目标分割。其主要思路为：

1.背景建模

假设v(x)代表图像中位于位置x的像素的欧式颜色距离值，v_i代表索引i的背景样本值。每一个背景像素x通过N个背景样本值的集合建模，该集合表示为：

M(x)＝{v₁,v₂,…,v_N} (1)

背景样本值抽样自先前的图像帧。

为了通过模型M(x)来分类一个新的像素，需要定义个以v(x)为球心，半径为R的球S_Rv(x)，并以此球基准比较该像素点与样本集合最近的距离。当上述球体包含样本模型M(x)中的像素点基数(定义为#)大于或等于一个给定阈值#_min，则v(x)将被分类为背景。也就是说，将阈值#_min与#{S_Rv(x)∩{v₁,v₂,…,v_N}}对比。

图5描述了在2-D欧式色彩空间内(C₁,C₂)，一个像素的背景样本集与一个新的像素v(x)的对比过程。通过计算以v(x)为圆心，半径为R的圆内包含背景模型M(x)集合中的像素点个数分类v(x)。

图5表明一个新的像素值v(x)通过计算N次与模型样本的距离进行分类，该距离以一个欧式距离阈值R来判断。通过大量实验表明当R＝20(对于单通道图像)，最小基数#_min为2分类具有较好的效果。不需要在算法分类过程中适应修正这些参数也不需要对图像中不同位置的像素值修改参数。

2.单帧初始化背景建模

假设邻域像素具有相似的时空分布，基于此假设，选择像素点的空间邻域的像素值作为该像素的背景模型样本，即在第一帧时，算法在像素点的邻域内随机取点来组成背景样本集合。在每个像素点的把联通邻域随机挑选样本。

3.背景模型更新

为了适应不断变化的背景，如光照、背景物体的变更等，该方法采用的更新方法为：保守的更新策略和前景点计数方法相结合。

保守的更新策略即前景点永远不会被用来填充背景模型，如一块静止的区域被错误的检测为前景，那么就会一直被当作物体来对待，会引起死锁效应。

前景点计数方法：对像素点进行统计，如果某个像素点连续K次被检测为前景，则将其更新为背景点。

具体更新方法如下：

当一个像素点被分类为背景点时，该点有的概率更新背景模型，在其样本集中随机选择一个样本点用此像素点进行填充更新。同时，该点有的概率更新其邻域点的背景模型，方法同上。此外，当前景点连续K次被检测为前景时，将它变为背景点，然后其有的概率更新自己的背景模型。依次不断的向外扩散更新。

三、轨迹跟踪

本发明选择Mean-shift目标跟踪算法获得目标运动轨迹。其基本原理为通过分别计算目标区域和候选区域内像素的特征值概率得到关于目标模型和候选模型的描述，利用相似函数度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean-shift向量，获得目标的真实位置，达到跟踪的目的。

图6为该方法的原理示意图。目标跟踪开始于数据点(空心圆点)表示的是中心点，上标表示的是迭代次数，周围的黑色圆点表示不断移动中的窗口样本点，虚线圆圈代表的是密度估计窗口的大小)。箭头表示样本点相对于核函数中心点的漂移向量，平均的漂移向量会指向样本点最密集的方向，即梯度方向。由于Mean-shift方法是收敛的，因此在当前帧中通过反复迭代搜索特征空间中样本点最密集的区域，搜索点沿着样本点密度增加的方向“漂移”到局部密度极大点点也就是被认为的目标位置，从而达到跟踪的目的，跟踪过程结束。

1.目标模型描述

对于已分割出的目标，假设其中有n个像素，其位置为{z_i}_i＝1...n，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图。目标模型的q_u概率密度(u＝1,...,m)可表示为：

其中，表示以目标中心为原点的归一化像素位置，(x₀,y₀)为目标中心坐标。K是核函数，常选用Epanechikov核函数，b(z_i)表示z_i处像素属于哪个直方图区间，u为直方图的颜色索引。δ[b(z_i)-u]函数的作用是判断目标区域中像素z_i处的灰度值是否属于直方图中第u个单元。C为归一化系数。

2.候选模型描述

在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f，计算当前帧的候选目标区域直方图。该区域的像素用{z_i}_i＝1...n表示，则候选模型的概率密度为：h为核函数窗口大小，决定着权重分布，其他参数同目标模型描述。

3.相似性度量

相似性函数用于描述目标模型和候选目标之间的相似程度。本发明采用Bhattacharyya系数作为相似性函数，其定义为：相似函数越大则两个模型越相似。将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是在本帧中目标的位置。

4.Mean-shift迭代过程

均值漂移的迭代过程，也就是目标位置搜索的过程。为使相似函数最大，对上式进行泰勒展开，得到Bhattacharyya系数的近似表达：

上式中只有第二项随f变化，其极大化过程就可以通过候选区域中心向真实区域中心的Meanshift迭代方程完成：

其中，g(x)＝-K'(x)，Mean-shift方法就是从f_k起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复。

四、违章行为判定

1.违章停车判定

当在禁停区域内检测到有目标出现后，则要进一步确定该目标状态，本方法对目标出现区域进行纹理分析判断其是否处于停车状态，当其停车时间到达规定值时，则对其进行报警，具体实现过程如下。

1)静止目标检测

通常情况下，每个像素的背景值在较长时间内保持相对稳定，当前景物体通过时，该点的像素值将发生变化，且运动物体通过时像素的变化度大于背景值自身(由环境影响)的变化度。因此，当在禁停区域内检测到像素点在时间序列上的灰度值发生较大变化时，即可确定存在前景物体。而检测到的时间序列像素值变化可能由通过禁停区域的运动物体(并未改变运动状态)和进入区域并停止的物体形成。因此，有效的停车检测首先必须剔除由于运动前景物体经过造成的像素值变化的情况。

当背景像素值发生突然变化，并在短时间内重新恢复到初始背景状态值时，表明有运动物体通过该区域，但并未停止；当背景像素值发生突变，并且在随后的一段时间序列保持像素变化值稳定，则表明该背景像素点被进入禁停区域且停止的前景物体占据，存在可能的违章停车现象。另外，由于受到周围环境及光线变化的影响，背景图像像素值可能会在较长的时间序列上发生扰动，而短时内无法体现，图7为运动物体通过检测区域和进入检测区域且停止两种情况下的某像素点灰度值变化。

2)停驶车辆识别

由于我国特有的混合交通环境，道路上机动车、非机动车、行人混行严重，在道路禁停区域检测到的静止物体可能为自行车、行人或其他非机动车辆。因此，需要对违章停驶的机动车辆进行有效地识别。

本发明将用户设置的检测区域即禁停区域分割出来，，利用分割目标的面积与检测区域面积构成的占空比特征，将其空间特性加以表征。区域内目标的占空比定义为：

S＝a/A

上式中，a为分割目标面积；

A为检测区域面积。

以占空比作为辨识参量，滤除非机动车及行人等对象在检测区域的静止造成的干扰，进而有效地识别违章停驶车辆。

算法步骤如下：

A)对检测区域内存在分割结果时，即满足下式的像素点，则表明该点存在前景物体经过

pBinImg[i]＝255

B)当有前景物体经过时，则开始统计时间序列上检测区域内像素值变化情况：

pDif(i,t+1)＝pImg(i,t+1)-pImg(i,t)

上式中，pDif(i,t+1)为第t+1帧与第t帧对应像素差结果；

pImg(i,t+1)为第t+1帧图像灰度值；

pImg(i,t)为第t帧图像灰度值。

C)基于物体的运动特性与颜色特性，像素值在短期内不可能存在均匀渐变的情况，因此若有

|pDif(i,t+k)|≤ω

上式中，ω为稳定度，本方法中取其为3。

若在连续j帧(本方法中取j＝25，此值也可根据用户实际处罚依据进

行修改)内均有

|pDif(i,t+k+m)|≤ω,m＝0,1,…,j-1

则确定像素点进入稳定状态。

D)当进入稳态后，计算当前像素点与背景点的差值：

pDifImg(i,t+k+j)＝pImg(i,t+k+j)-pBakImg(i,t-1)

当差值满足下式时，则表明当前像素点状态由前景静止物体占据，否则

仍为初始背景。

pDifImg(i,t+k+j)≥G

E)根据前景对象的占空比S判别对象类型，若满足下式时，则认为该前景对象为车辆。

S≥γ

上式中，γ为占空比分类阈值，本方法取γ＝0.25。

F)由进入稳定状态时刻开始统计车辆停驶时间，根据不同禁停区域的具体违章要求，确定违章停车发生，实现自动报警。

2.违章逆行车辆判定

机动车辆逆行行为检测，通过对车辆目标轨迹进行跟踪，根据其轨迹方向判断是否有逆行行为发生，具体实现步骤为：

1)采用角点跟踪算法，目标运行过程中，用变模板正向最小差值匹配跟踪算法，同步寻找角点在每帧图像中出现的位置，每当找到新的目标位置，则用当前位置信息更新模版数据；

2)对每行像素进行车辆正确行驶方向的标定，由于采样频率及车辆速度的限制，设定在相邻三个像素范围内其运动轨迹呈均匀变化，此时计算误差较小；

3)从图像下边沿第0行像素开始分别对各行像素进行方向标定，对于远离摄像机方向为行驶正方向的路段，其第k行方向矢量分别为：

对于驶向摄像机方向为行驶正方向的路段，其第k行方向矢量分别为：

4)根据对于逆行车辆，其轨迹方向与车辆正确行驶方向的夹角具有一定特征，将车辆发生逆行时跟踪轨迹与标定车道线正确行驶方向的夹角定义为120°，规定对于每条目标运动轨迹，当其与车道正常行驶方向夹角超过120°的数量大于设定的阈值时，则判定该条运动轨迹为逆行轨迹，即被跟踪车辆出现逆行行为，复杂场景中车道正确行驶方向设置设意图如图8所示；

5)为标定车道线的车辆正确行驶矢量，为轨迹实际运动矢量，其中，则车辆实际行驶方向与规定的车辆正确行驶方向的夹角θ可表示为：

6)在实际检测过程中，当θ＞120°时，则将相应计数器加1，当满足逆行条件数量大于设定阈值时，则可判定当前跟踪车辆逆行；

3.违章倒车车辆判定。本发明中倒车与逆行行为检测方法相同，此处不再赘述。

五、车牌识别及车牌居中

当确定有违章事件发生时，调用车牌识别软件，确定违章车辆车牌，同时根据车牌所在位置调整相机云台、焦距及聚焦使车牌能够位于图像中央且清晰显示。

六、违章抓拍

当车辆在禁停区域停止时进行违章停车抓拍，超过一定时间(时间可调节)后，对前面违章停车进行确认(牌照比对)，如果确认为同一辆车，则将四张图片及停车录像视频上传至中心服务器，否则不予上传。第一张为全景场景图片，第二张为车辆近景(包含车牌特写)，第三张为N min后的全景场景图片，第四张为Nmin后的车辆近景(包含车牌特写)。

服务器软件运行于系统服务器上，包括3部分服务：中心调度服务、web服务、FTP服务。服务器软件在后台运行，用户通过浏览器查看抓拍记录、浏览违章情况，系统结构如图9所示。

Claims (6)

1.一种高速公路违章行为自动抓拍系统，包括前端抓拍单元、网络传输单元、检测单元以及管理服务器，

其中，前端抓拍单元获取检测场景中的实时视频，网络传输单元将实时视频传输到检测单元，

检测单元获得视频后，运用目标分割、轨迹跟踪、分析，寻找存在倒车、逆行及违章停车的异常行为的车辆，并给出目标车辆所在位置，控制云台转动，使目标车辆车牌处于前端抓拍单元捕获图像的中心，控制前端抓拍单元镜头变焦，调整目标在图像中的大小，使其适合进行车牌识别分析，

确定车牌后，前端抓拍单元控制电动变倍镜头恢复到广角监控模式，并进行远景、近景及车牌的抓拍，同时将抓拍结果上传至管理服务器单元。

2.如权利要求1所述高速公路违章行为自动抓拍系统，其特征在于，前端抓拍单元包括智能摄像机、云台和电动三可变镜头，图像获取、图像分析、云台控制、镜头控制以及通信功能都由智能摄像机完成；

云台主要用来实现抓拍前端的翻转，以便摄像机镜头对准位于检测区域内不同位置的目标；

电动三可变镜头主要用来实现变倍、聚焦以及光圈控制功能，以便抓拍位于不同距离的清晰的目标图像。

3.如权利要求1所述高速公路违章行为自动抓拍系统，其特征在于，采用Vibe背景建模方法进行目标分割，具体步骤包括：

背景建模，即

假设v(x)代表图像中位于位置x的像素的欧式颜色距离值，v_i代表索引i的背景样本值，每一个背景像素x通过N个背景样本值的集合建模，该集合表示为：

M(x)＝{v₁,v₂,…,v_N} (1)

背景样本值抽样自先前的图像帧，

为了通过模型M(x)来分类一个新的像素，需要定义个以v(x)为球心，半径为R的球S_Rv(x)，并以此球基准比较该像素点与样本集合最近的距离，

当所述球体包含样本模型M(x)中的像素点基数(定义为#)大于或等于一个给定阈值#_min，则v(x)将被分类为背景，即，将阈值#_min与#{S_Rv(x)∩{v₁,v₂,…,v_N}}对比；

单帧初始化背景建模，即

假设邻域像素具有相似的时空分布，基于此假设，选择像素点的空间邻域的像素值作为该像素的背景模型样本，即在第一帧时，算法在像素点的邻域内随机取点来组成背景样本集合，在每个像素点的把联通邻域随机挑选样本；

背景模型更新，即

为了适应不断变化的背景，采用保守的更新策略和前景点计数方法相结合，前景点计数方法是对像素点进行统计，如果某个像素点连续K次被检测为前景，则将其更新为背景点，

具体背景模型更新方法是：当一个像素点被分类为背景点时，该点有的概率更新背景模型，在其样本集中随机选择一个样本点用此像素点进行填充更新，

同时，该点有的概率更新其邻域点的背景模型，在其样本集中随机选择一个样本点用此像素点进行填充更新，

当前景点连续K次被检测为前景时，将它变为背景点，然后其有的概率更新自己的背景模型，依次不断的向外扩散更新。

4.如权利要求1所述高速公路违章行为自动抓拍系统，其特征在于，对于轨迹跟踪，选择Mean-shift目标跟踪算法获得目标运动轨迹，包括步骤：

目标模型描述，即

对于已分割出的目标，假设其中有n个像素，其位置为{z_i}_i＝1...n，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图。目标模型的q_u概率密度(u＝1,...,m)可表示为：

$q_u=C\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|z_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(z_i\right)-u\]$

$C=1/\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|z_i^{*}\right|{|}^2)$

$z_i^{*}={\left(\frac{{(x_i-x_0)}^2+{(y_i-y_0)}^2}{x_0^2+y_0^2}\right)}^{0.5}$

其中，表示以目标中心为原点的归一化像素位置，(x₀,y₀)为目标中心坐标，

K是核函数，常选用Epanechikov核函数，b(z_i)表示z_i处像素属于哪个直方图区间，u为直方图的颜色索引，

δ[b(z_i)-u]函数的作用是判断目标区域中像素z_i处的灰度值是否属于直方图中第u个单元，C为归一化系数；

候选模型描述，在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f，计算当前帧的候选目标区域直方图，该区域的像素用{z_i}_i＝1...n表示，则候选模型的概率密度为：h为核函数窗口大小，决定着权重分布，其他参数同目标模型描述；

相似性度量，采用Bhattacharyya系数作为相似性函数，其定义为：相似函数越大则两个模型越相似，将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是在本帧中目标的位置；

Mean-shift迭代过程，即均值漂移的迭代过程，也就是目标位置搜索的过程，为使相似函数最大，对进行泰勒展开，得到Bhattacharyya系数的近似表达：

$\mathrm{\ρ}(p,q)\≈\frac{1}{2}\underset{i=1}{\overset{m}{\Σ}}\sqrt{p_u\left(f_0\right)q_u}+\frac{C}{2}\underset{i=1}{\overset{n}{\Σ}}{w}_i\left(\right|\left|\frac{f-z_i}{h}\right|{|}^2)$

$w_i=\underset{i=1}{\overset{m}{\Σ}}\sqrt{\frac{q_u}{p_u\left(f\right)}}\mathrm{\δ}\[b\left(z_i\right)-u\]$

其中只有第二项随f变化，其极大化过程就可以通过候选区域中心向真实区域中心的Meanshift迭代方程完成：

$f_{k+1}=f_k+\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i(f_k-z_i)g\left(\right|\left|\frac{f_k-z_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{f_k-z_i}{h}\right|{|}^2)}$

其中，g(x)＝-K'(x)，Mean-shift方法就是从f_k起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复。

5.如权利要求1所述高速公路违章行为自动抓拍系统，其特征在于，对于违章行为判定包括，违章停车判定、违章逆行车辆判定和违章倒车车辆判定，倒车与逆行行为检测方法相同，

违章停车判定，当在禁停区域内检测到有目标出现后，则要进一步确定该目标状态，对目标出现区域进行纹理分析判断其是否处于停车状态，当其停车时间到达规定值时，则对其进行报警，

停驶车辆识别，将用户设置的检测区域即禁停区域分割出来，，利用分割目标的面积与检测区域面积构成的占空比特征，将其空间特性加以表征，区域内目标的占空比定义为：

S＝a/A

a为分割目标面积；

A为检测区域面积。

以占空比作为辨识参量，滤除非机动车及行人等对象在检测区域的静止造成的干扰，进而有效地识别违章停驶车辆，

步骤如下：

A)对检测区域内存在分割结果时，即满足下式的像素点，则表明该点存在前景物体经过

pBinImg[i]＝255

B)当有前景物体经过时，则开始统计时间序列上检测区域内像素值变化情况：

pDif(i,t+1)＝pImg(i,t+1)-pImg(i,t)

上式中，

pDif(i,t+1)为第t+1帧与第t帧对应像素差结果；

pImg(i,t+1)为第t+1帧图像灰度值；

pImg(i,t)为第t帧图像灰度值，

C)基于物体的运动特性与颜色特性，像素值在短期内不存在均匀渐变的情况，若有

|pDif(i,t+k)|≤ω

ω为稳定度，

若在连续j帧内均有

|pDif(i,t+k+m)|≤ω,m＝0,1,…,j-1

则确定像素点进入稳定状态；

D)当进入稳态后，计算当前像素点与背景点的差值：

pDifImg(i,t+k+j)＝pImg(i,t+k+j)-pBakImg(i,t-1)

当差值满足下式时，则表明当前像素点状态由前景静止物体占据，否则仍为初始背景，

pDifImg(i,t+k+j)≥G

E)根据前景对象的占空比S判别对象类型，若满足下式时，则认为该前景对象为车辆。

S≥γ

γ为占空比分类阈值，本方法取γ＝0.25。

F)由进入稳定状态时刻开始统计车辆停驶时间，根据不同禁停区域的具体违章要求，确定违章停车发生，实现自动报警；

对于违章逆行车辆判定，通过对车辆目标轨迹进行跟踪，根据其轨迹方向判断是否有逆行行为发生，具体实现步骤为：

1)采用角点跟踪算法，目标运行过程中，用变模板正向最小差值匹配跟踪算法，同步寻找角点在每帧图像中出现的位置，每当找到新的目标位置，则用当前位置信息更新模版数据；

2)对每行像素进行车辆正确行驶方向的标定，由于采样频率及车辆速度的限制，设定在相邻三个像素范围内其运动轨迹呈均匀变化，此时计算误差较小；

3)从图像下边沿第0行像素开始分别对各行像素进行方向标定，对于远离摄像机方向为行驶正方向的路段，其第k行方向矢量分别为：

$\left\{\begin{array}{cc}(Lane\&lsqb;1\&rsqb;.x-Lane\&lsqb;0\&rsqb;.x,1)& k=0\\ (Lane\&lsqb;k+1\&rsqb;.x-Lane\&lsqb;k-1\&rsqb;.x,2)& 0<k<hei-1\\ (Lane\&lsqb;hei-1\&rsqb;.x-Lane\&lsqb;hei-2\&rsqb;.x,1)& k=hei-1\end{array}\right.$

对于驶向摄像机方向为行驶正方向的路段，其第k行方向矢量分别为：

$\left\{\begin{array}{cc}(Lane\&lsqb;0\&rsqb;.x-Lane\&lsqb;1\&rsqb;.x,-1)& k=0\\ (Lane\&lsqb;k-1\&rsqb;.x-Lane\&lsqb;k+1\&rsqb;.x,-2)& 0<k<hei-1\\ (Lane\&lsqb;hei-2\&rsqb;.x-Lane\&lsqb;hei-1\&rsqb;.x,-1)& k=hei-1\end{array}\right.$

4)根据对于逆行车辆，其轨迹方向与车辆正确行驶方向的夹角具有一定特征，将车辆发生逆行时跟踪轨迹与标定车道线正确行驶方向的夹角定义为120°，规定对于每条目标运动轨迹，当其与车道正常行驶方向夹角超过120°的数量大于设定的阈值时，则判定该条运动轨迹为逆行轨迹，即被跟踪车辆出现逆行行为；

5)为标定车道线的车辆正确行驶矢量，为轨迹实际运动矢量，其中， 则车辆实际行驶方向与规定的车辆正确行驶方向的夹角θ可表示为：

$\mathrm{\&theta;}=\left|arccos\left(\frac{x_1{x}_2+y_1{y}_2}{\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}\right)\right|$

6)检测过程中，当θ＞120°时，则将相应计数器加1，当满足逆行条件数量大于设定阈值时，则可判定当前跟踪车辆逆行。

6.如权利要求1所述高速公路违章行为自动抓拍系统，其特征在于，对于抓拍的具体步骤：

当车辆在禁停区域停止时进行违章停车抓拍，超过预设时间后，对前面违章停车进行确认(牌照比对)，

如果确认为同一辆车，则将四张图片及停车录像视频上传至中心服务器，否则不予上传，

第一张为全景场景图片，第二张为车辆近景(包含车牌特写)，第三张为Nmin后的全景场景图片，第四张为Nmin后的车辆近景(包含车牌特写)。