CN105185118B

CN105185118B - 一种基于视频检测的违章车辆检测装置及其方法

Info

Publication number: CN105185118B
Application number: CN201510670812.1A
Authority: CN
Inventors: 向奎; 薛杨柳; 张仁辉
Original assignee: Wuhan Fiberhome Digtal Technology Co Ltd
Current assignee: Wuhan Fiberhome Digtal Technology Co Ltd
Priority date: 2015-10-13
Filing date: 2015-10-13
Publication date: 2017-12-01
Anticipated expiration: 2035-10-13
Also published as: CN105185118A

Abstract

本发明提供了一种基于视频检测的违章车辆检测装置及其方法，该违章车辆检测装置包括设有光学镜头的智能违章车辆检测球机，该智能违章车辆检测球机包括图像传感器、信号采集转换器、信号驱动器、可编程逻辑处理器、录像编码器、存储器、中心处理器、图像处理器及智能云台PTZ控制，其中：光学镜头经图像传感器、信号采集转换器与可编程逻辑处理器信号相连；可编程逻辑处理器经信号驱动器与图像传感器信号相连时经录像编码器与中心处理器信号相连，还经存储器、图像处理器与中心处理器信号相连，中心处理器与智能云台PTZ控制器相连，藉由前述构造，解决了车辆违章监测的技术问题，达成了对运动目标快速、精确定位的良好效果。

Description

一种基于视频检测的违章车辆检测装置及其方法

技术领域

本发明涉及电子技术领域，尤指提供一种基于视频检测的违章车辆检测装置及其方法。具体指，一种基于多帧差分与级联分类器相结合的检测和光流与模板相匹配的跟踪方法的违章车辆检测装置及其方法。

背景技术

随着我国经济的快速发展，私家车辆和公共车辆急剧增加，车辆的违章行为也成几何倍数增长。为了提升社会治安水平，降低道路交通中的各种违章行为，机动车辆的检测与跟踪技术得到广泛的关注。在平安城市和智慧城市的建设过程中，基于模式识别和人工智能的车辆检测和跟踪技术迅速地推广应用，被广泛应用于违章停车、治安卡口等交通场景中。

目前，使用较多的车辆跟踪方法有帧间差分、背景差分以及先定位特征点再对特征点进行跟踪等。

帧间差分方法的缺陷在于不能很好是解决光照的影响，光照会造成阴影区域，致使运动车辆存在粘连情况，无法准确的定位到车辆目标；

背景差分方法缺点在于建模时间较长，背景更新速度较慢，在光照变化情况下，无法有效的去除阴影，无法准确的把车辆目标提取出来，得不到车辆的准确位置。

直接提取特征点跟踪方法，会存在一部分错误的特征点，影响车辆跟踪的轨迹，无法稳定快速的实现车辆跟踪。

采用先定位车辆目标，在目标中定位感兴趣区域，提取特征点，然后对特征点和特征点区域实现实时稳定的跟踪，能够真实的反应车辆的行动轨迹，从移动轨迹能够准确地判断车辆是否存在违章行为。

发明内容

为解决上述技术问题，本发明的主要目的在于提供一种基于视频检测的违章车辆检测装置及其方法。

为达成上述目的，本发明应用的技术方案是：提供一种基于视频检测的违章车辆检测装置，包括设有光学镜头的智能违章车辆检测球机，该智能违章车辆检测球机包括图像传感器、信号采集转换器、信号驱动器、可编程逻辑处理器、录像编码器、存储器、中心处理器、图像处理器及智能云台PTZ控制，其中：光学镜头经图像传感器、信号采集转换器与可编程逻辑处理器信号相连；可编程逻辑处理器经信号驱动器与图像传感器信号相连时经录像编码器与中心处理器信号相连，还经存储器、图像处理器与中心处理器信号相连，中心处理器与智能云台PTZ控制器相连。

在本实施例中优选：图像传感器、信号采集转换器、可编程逻辑处理器、信号驱动器和图像传感器共同构成图像采集回路。

在本实施例中优选：可编程逻辑处理器、录像编码器和中心处理器共同构成图像视频编码存储系统。

在本实施例中优选：可编程逻辑处理器、存储器、图像处理器、中心处理器和智能云台PTZ控制器共同构成图像智能分析系统。

在本实施例中优选：图像处理器为主频750Mhz的TI C674x或TMS320DM81X处理器。

为达成上述目的，本发明应用的技术方案是：提供一种实用基于视频检测的违章车辆检测装置的方法，包括以违章车辆检测装置为载体设置的智能违章停车检测系统、异常车辆事件检测系统、占用专用车道检测系统、交通流信息检测系统，其中：违章车辆检测方法包括：

步骤一，球机图像采集，包括从球机视频流中取一帧图像后，计算彩色图像的灰度图像；

步骤二，利用多帧差分和AdaBoost级联分器模型检测车辆；

步骤三，结合AdaBoost检测到的车辆目标和多帧差分检测到的车辆目标，对两者计算重叠区域，并对候选区域打分，精确获得车辆目标；

步骤四，判断上一帧处理完之后，是否存在跟踪目标：当存在跟踪目标时，使用中值流和模板匹配相结合的方法对跟踪列表中的目标进行跟踪，更新目标位置和目标轨迹信息；当不存在跟踪目标时，把当前帧检测到的目标加入到跟踪列表当中，准备下一帧对其进行跟踪；

步骤五，在跟踪列表中进行查找是否有新增加目标：当查到新目标时，把当前帧检测到的目标加入到跟踪列表当中，准备下一帧对其进行跟踪；当未查到新目标时，更新当前所跟踪的目标的轨迹信息和当前的跟踪列表信息；

步骤六，对目标进行违章分析和抓拍后，将当前帧灰度图存入到跟踪缓存，并对非车辆区域进行背景积分图更新，为下一帧检测和跟踪做准备。

在本实施例中优选：利用多帧差分和AdaBoost级联分器模型检测车辆包括使用AdaBoost级联分类器检测车辆，导入训练好的级联分类器模板，把灰度图放入级联分类器检测车辆目标，还包括多帧差分提取运动目标，获得车辆目标位置信息，对当前帧灰度图像进行边缘化处理，并把当前帧与前一帧的灰度图像进行差分处理，分别对所得到的图像进行二值化处理，然后在进行形态学操作，求连通域得到候选目标位置。

在本实施例中优选：步骤五还包括提取感兴趣区域中的特征点构成特征点集，对特征点集进行一次前向光流跟踪，得到跟踪点集，对获得的前向光流点集进行一次反向光流跟踪，得到跟踪点集，对初始特征点集和反向光流特征点集进行匹配，排除错误点，得到匹配正确点集，判断匹配正确点集的数量是否大于匹配正确数量阈值，当大于正确数量阈值时，对匹配正确的前向光流点集和初始获得的特征点集求取位移，得到一个位移矢量；否则，对原始点集区域在当前帧图像中进行模板匹配，获得最佳匹配位置，若匹配失败，删除跟踪目标。

在本实施例中优选：步骤六还包括判断车辆目标是否出现压线、越线、逆行和违法停车违章行为，当存在违章行为时，球机进行云台控制，抓拍图像，叠加违章信息，组包发送到平台；当不存在违章行为时，将当前帧灰度图存入到跟踪缓存，并对非车辆区域进行背景积分图更新，为下一帧检测和跟踪做准备。

本发明与现有技术相比，其有益的效果是：实现了对违章车辆的实时监测，达成了对运动目标快速、精确定位的良好效果。

附图说明

图1是本实施例的方框结构示意图。

图2a、图2b是实施例流程图。

图3是本实施例应用示意图。

具体实施方式

下面结合具体实施例及附图对本发明作进一步详细说明。下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明的技术方案，而不应当理解为对本发明的限制。

在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。

请参阅图1所示，本发明提供一种基于视频检测的违章车辆检测装置(如智能违章车辆检测球机)，包括光学镜头(LENS)、图像传感器2、信号采集转换器3、信号驱动器(HV)4、可编程逻辑处理器(FPGA)5、录像编码器(H264)6、存储器(SDRAM)7、中心处理器(ARM)、图像处理器(DSP)9、智能云台PTZ控制1，其中：光学镜头1和图像传感器2前后连接，图像传感器2、信号采集转换器3、可编程逻辑处理器5、信号驱动器4和图像传感器2，构成回路实现图像序列采集功能。在本实施例中，可编程逻辑处理器5、录像编码器6和中心处理器8依次连接，实现图像视频编码存储功能；同时，可编程逻辑处理器5、存储器7、图像处理器9、中心处理器8和智能云台PTZ控制10依次相连，实现对图像序列智能分析功能。在本实施例中，图像处理器9是主频750Mhz的高性能DSP图像处理器，本装置选用TI C674x、TMS320DM81X等系列的DSP处理器。DSP图像处理器9实现本发明提出的基于视频检测的违章车辆检测方法，并将违章车辆的相关结果通过ARM控制中心传输给平台。

请再参阅图1并结合参阅图2所示，本发明提供一种基于视频检测的违章车辆检测方法，该方法所包括的步骤：

a、从球机视频流中取当前帧图像F_n；

b、计算彩色图像F_n的灰度图；

具体方法为：

Y_n(i,j)＝0.229×B_n(i,j)+0.587×G_n(i,j)+0.114×R_n(i,j)，B_n(i,j)、G_n(i,j)、R_n(i,j)分别是第n帧图像的第i行第j列蓝色、绿色和红色通道数据，Y_n(i,j)为第n帧灰度图像第i行第j列上的灰度值；

c、使用AdaBoost级联分类器检测车辆；

具体而言，本步骤包括以下子步骤：

c1、导入训练好的级联分类器模板；

c2、把灰度图Y_n放入级联分类器检测车辆目标M_Cars；

具体方法为：

采集一定数量的正负样本训练一个级联分类器，分类器利用车辆具有丰富的边缘信息，训练车辆检测模板，导入到算法单元中，然后利用haar特征检测视频流中的车辆目标；

d、多帧差分提取运动目标，获得车辆目标位置信息；

具体而言，本步骤包括以下子步骤：

d1、对当前帧灰度图像Y_n进行canny边缘化处理，得到边缘图E_n，并对前k帧使用均值方法构建背景积分图其中A_i为Y_i所对应的积分图；

d2、对边缘图E_n进行二值化处理，阈值的选取使用大津阈值方法，二值化处理得到二值图B_en；

d3、对当前图像Y_n和前一帧图像Y_n-1进行差分D_n＝Y_n-Y_n-1得到边缘图像D_n；

d4、对边缘图D_n进行二值化处理，阈值的选取使用大津阈值方法，二值化处理得到二值图B_sn；

d5、对二值图B_en和二值图B_sn进行“与”操作B_&＝B_en&B_sn，然后对B_&进行膨胀操作，再求取连通区域，得到车辆目标的候选位置信息D_Cars；

e、结合AdaBoost检测到的车辆目标M_Cars和多帧差分检测到的车辆目标D_Cars，对连着计算重叠区域，计算重叠区域的积分图信息，比较相同区域与背景积分图的差值，作为候选区域的分数值，排除分数较小候选目标，精确获得车辆目标；

具体方法为：

Rect[i]＝overlap(M_Cars,D_Cars)，计算两种检测方法的重叠区域，得到第i个候选区域Rect[i]；

S_Rect[i]＝abs(I_{n_Rect[i]}-I_{b_Rect[i]})，其中S_Rect[i]为第i个区域的分值，I_{n_Rect[i]}为第i个区域的第n帧(当前帧)积分图，I_{b_Rect[i]}为第i个区域的背景积分图；

本检测方法的优点在于结合了级联分类器和多帧差分方法，能够更充分的利用车辆的边缘信息，更精确快速地定位到车辆目标；

f、判断上一帧处理完之后，是否依然存在跟踪目标，存在跟踪目标则进入步骤g，否则跳转到步骤i；

g、使用中值流和模板匹配相结合的方法对跟踪列表中的目标进行跟踪，更新目标位置和目标轨迹信息；

具体而言，本步骤包括以下子步骤：

g1、提取感兴趣区域中的N个特征点构成特征点集Points[N]；

g2、对特征点集Points[N]进行一次前向光流跟踪，得到点集LKPoints[N]；

g3、对g2获得的前向光流点集LKPoints[N]进行一次反向光流跟踪，得到点集LKBackPoints[N]；

g4、对特征点集Points[N]和反向光流特征点集LKBackPoints[N]进行匹配，

Max(abs(LKBackPoints[i].x-Points[i].x),abs(LKBackPoints[i].y-Points[i].y))＜1，满足条件即匹配准确，排除跟踪错误点，得到匹配正确点集Points[M]和LKBackPoints[M]；

g5、判断匹配正确点集的数量GoodPoint是否大于匹配正确数量阈值PointTh，大于正确数量阈值则进入g6，否则进入步骤g7；

g6、对匹配正确的前向光流点集LKBackPoints[M]和初始获得的特征点集Points[M]求取位移，求取方法为：

得到位移矢量(d_x,d_y)；

g7、对原始点集区域Rect[i]在当前帧图像中进行模板匹配，获得最佳匹配位置，若匹配失败，删除跟踪目标；

g8、根据步骤g7获得的最佳匹配位置，计算目标的位移矢量；

g9、根据步骤g6或者g8得到的位移矢量对当前跟踪目标进行位移更新，得到目标在当前帧的位置；

g10、重复步骤g1～g9对跟踪列表中所有目标进行跟踪，得到所有目标在当前帧的位置信息，并更新所有目标的轨迹信息；

本步骤的优点是使用了前向和反向进行光流跟踪，并且对跟踪的特征点进行精确匹配，排除误差点，更重要地是结合了感兴趣区域进行匹配，弥补特征点匹配数量较少时目标的漂移，因此该步骤对车辆目标的运动跟踪非常准确；

h、对新增加目标在跟踪列表中进行查找，是否为新目标，若是新目标则进入步骤i，否则进入步骤j；

i、把当前帧检测到的目标加入到跟踪列表当中，准备下一帧对其进行跟踪；

j、更新当前所跟踪的目标的轨迹信息和当前的跟踪列表信息；

k、对目标进行违章分析和抓拍；

具体而言，本步骤包括以下子步骤：

k1、判断车辆目标是否出现压线、越线、逆行和违法停车等违章行为，若是则进入步骤k2，否则进入步骤l；

k2、球机进行云台控制，抓拍图像，叠加违章信息，组包发送到平台；

具体方法为：接收到违章抓拍指令，球机ARM控制中心根据目标位置进行云台控制，对违章目标进行近距离违章抓拍，并把违章时间、地点和违章类型叠加打包发送到平台；

l、将当前帧灰度图Y_n存入到跟踪缓存，并对非车辆区域进行背景积分图更新I_b＝I_b×α+A_i×(1-α)，为下一帧检测和跟踪做准备；

重复步骤a～步骤l的操作。

请再参阅图1并结合参阅图3所示，本发明提供一种基于视频检测的违章车辆检测装置的应用方法，该方法包括：

在智能违章停车检测系统301、异常车辆事件检测系统302、占用专用车道检测系统303、交通流信息检测系统304中使用，实现上述系统前端数据采集功能、违章车辆检测功能和违章信息上传功能。

本发明提供了一种基于多帧差分和Adaboost级联分类器结合的目标检测方法和一种基于特征点和感兴趣区域匹配的目标跟踪方法，通过这两种方法可以在智能违章车辆检测球机中实现车辆目标的提取和跟踪，然后根据目标轨迹，实现车辆的违章抓拍功能，即实现了具有实用价值的智能违章车辆检测应用方法及装置。

Claims

1.一种基于视频检测的违章车辆检测方法，所述违章车辆检测方法采用违章车辆检测装置，所述违章车辆检测装置包括设有光学镜头的智能违章车辆检测球机，该智能违章车辆检测球机包括图像传感器、信号采集转换器、信号驱动器、可编程逻辑处理器、录像编码器、存储器、中心处理器、图像处理器及智能云台PTZ控制，光学镜头经图像传感器、信号采集转换器与可编程逻辑处理器信号相连；可编程逻辑处理器经信号驱动器与图像传感器信号相连时经录像编码器与中心处理器信号相连，还经存储器、图像处理器与中心处理器信号相连，中心处理器与智能云台PTZ控制器相连；

图像传感器、信号采集转换器、可编程逻辑处理器、信号驱动器和图像传感器共同构成图像采集回路；

可编程逻辑处理器、录像编码器和中心处理器共同构成图像视频编码存储系统；

可编程逻辑处理器、存储器、图像处理器、中心处理器和智能云台PTZ控制器共同构成图像智能分析系统；

图像处理器为主频750Mhz的TI C674x或TMS320DM81X处理器；

所述违章车辆检测方法包括以违章车辆检测装置为载体设置的智能违章停车检测系统、异常车辆事件检测系统、占用专用车道检测系统、交通流信息检测系统；

其特征在于，违章车辆检测方法包括：

步骤二，利用多帧差分和AdaBoost级联分器模型检测车辆；

步骤三，结合AdaBoost检测到的车辆目标和多帧差分检测到的车辆目标，对两者计算重叠区域，并对候选区域打分，比较相同区域与背景积分图的差值，作为候选区域的分数值，排除分数较小候选目标，精确获得车辆目标；

2.如权利要求1所述的基于视频检测的违章车辆检测方法，其特征在于：利用多帧差分和AdaBoost级联分器模型检测车辆包括使用AdaBoost级联分类器检测车辆，导入训练好的级联分类器模板，把灰度图放入级联分类器检测车辆目标，还包括多帧差分提取运动目标，获得车辆目标位置信息，对当前帧灰度图像进行边缘化处理，并把当前帧与前一帧的灰度图像进行差分处理，分别对所得到的图像进行二值化处理，然后在进行形态学操作，求连通域得到候选目标位置。

3.如权利要求2所述的基于视频检测的违章车辆检测方法，其特征在于：步骤五还包括提取感兴趣区域中的特征点构成特征点集，对特征点集进行一次前向光流跟踪，得到跟踪点集，对获得的前向光流点集进行一次反向光流跟踪，得到跟踪点集，对初始特征点集和反向光流特征点集进行匹配，排除错误点，得到匹配正确点集，判断匹配正确点集的数量是否大于匹配正确数量阈值，当大于正确数量阈值时，对匹配正确的前向光流点集和初始获得的特征点集求取位移，得到一个位移矢量；否则，对原始点集区域在当前帧图像中进行模板匹配，获得最佳匹配位置，若匹配失败，删除跟踪目标。

4.如权利要求3所述的基于视频检测的违章车辆检测方法，其特征在于：步骤六还包括判断车辆目标是否出现压线、越线、逆行和违法停车违章行为，当存在违章行为时，球机进行云台控制，抓拍图像，叠加违章信息，组包发送到平台；当不存在违章行为时，将当前帧灰度图存入到跟踪缓存，并对非车辆区域进行背景积分图更新，为下一帧检测和跟踪做准备。