CN107358170A - 一种基于移动机器视觉的车辆违章压线识别方法 - Google Patents

Abstract

本发明提供基于移动机器视觉技术的车载违章压线识别装置的方法，包括基于Hough变换、透视原理的道路标线识别方法，以及基于车底阴影检测的车辆定位方法。结合Hough变换、透视原理的检测方法可以排除环境纹理，较为准确地识别出道路标线。并且结合车底阴影检测的定位方法可以在各种光线环境下定位车辆。本发明具有成本低、运行效率高、识别准确率高、安装方便等特点，可以提高城市道路交通执法的有效性。

Description

一种基于移动机器视觉的车辆违章压线识别方法

技术领域

本发明涉及机器视觉领域，具体说是一种利用多种图像处理方法高效率、低成本的移动摄像头拍摄视频中的违章压线车辆的自动识别方法。

背景技术

城市交通系统常面临违规行为监测力度不够的问题。为了保证监测的有效性和覆盖性，防止交通参与者通过各种方式逃避监测，提高城市交通系统的效率和可靠性，亟需建立科学、有效的交通行为监控系统。

目前进行可移动的交通视频监测比较困难，原因主要是移动摄像头拍摄的图像变化多端，很难针对单一模式进行有效分析识别；移动设备的计算能力和存储空间有限，不能满足对复杂环境的实时分析与计算；设备与服务中心交换数据的带宽较窄，不能实时地传递较高质量的视频。鉴于有如上的这些困难，交通视频监测系统往往使用有线且静止不动的摄像头。

对于违章压线行为，一个检测设备成本很高，且只能检测一些固定的地点。对这些固定的地点，很多导航、电子狗系统的数据库都进行了记录，违章者只要在这些固定地点小心驾驶，在其他路段违章也不会受到处罚。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种可处理移动摄像头拍摄视频、处理效率高、硬件要求低、基于移动机器视觉的违章压线自动识别方法。

本发明的目的至少通过如下技术方案之一实现。

一种基于移动机器视觉的车辆违章压线识别方法，其包括：

(1)进行车道线提取前的图像强化；

(2)结合透视原理进行调整；

(3)通过Hough变换识别视频中的道路标线；

(4)进行阴影提取前的图像强化；

(5)搜索可能为车辆底部阴影的矩形阴影区域，对搜索到的矩形阴影区域进行过滤；

(6)排除重复阴影区域；

(7)根据道路标线位置和车辆底部阴影位置，判断车辆是否存在违章压线行为，若是，截取图片，否则不截取图片。

进一步地，步骤(1)具体步骤如下：

(1.1)提高图像对比度，使车道线与路面的颜色差异更大；

(1.2)通过3×3中值滤波，减少图像噪声，保留边缘；

(1.3)通过形态学检测边缘，体现边缘两侧的对比度；

(1.4)通过二值化，提取出图像中的边缘以便后续计算；

(1.5)通过逐帧与，与前若干帧进行与计算，消除二值化后图像中的随机噪声；

(1.6)通过先膨胀再腐蚀的闭运算，消除图像内的孔洞，使断开的车道线边缘闭合。

进一步地，步骤(2)具体包括：

(2.1)在图像约20％高度位置规定一条横向检测线，并对这条线进行游程长度编码；

(2.2)筛出所有在给定的两个阈值长度内的游程，求出游程的中点，作为可能的车道线起始点；

(2.3)在图像大约中心位置规定一个检测圆，并假设车道线灭点包含在这个圆内。

进一步地，步骤(3)具体包括：

(3.1)从所有可能的车道线起始点开始，对检测圆做两条切线，并在这两条切线的夹角中按设定的角度步长并从起始点向检测圆方向进行搜索；对每个角度，都找出最长的连续白色像素线段，并排除这些线段中短于或长于指定阈值的线段；能够搜索出线段的车道线起始点，称为激活的车道线起始点；

(3.2)对上一步得到的线段求角度平均值，就得出从每个起始点开始的可能车道线角度，并由此角度得出对应的线段；

(3.3)对这些线段两两之间求出在检测圆内的交点，然后求出这些交点的平均点并加入历史平均点列表中；

(3.4)对历史平均点列表按照给定的距离和次数计算各点的邻域点密度，同时排除偏离度大的点；对这些点，使用它们的邻域点密度作为权值求平均点，就得出此帧的车道线灭点位置；此灭点与各个激活的车道线起始点的连线就是车道线初步定位的结果。

进一步地，步骤(4)具体包括：

(4.1)通过色阶调整，提高图像对比度，使路面与车辆阴影的颜色差异更大；

(4.2)通过3×3中值滤波，减少图像噪声；

(4.3)检测线中段的灰度平均值，乘以一个经验系数作为阈值进行二值化，分离车辆阴影与路面；

(4.4)通过闭运算，即先膨胀再腐蚀，消除阴影内的孔洞。

进一步地，步骤(5)具体包括：

统计原图中可能的阴影区域内平均灰度值g₀、阴影区域向下偏移设定距离的区域内平均灰度值g₀、强化后图像中向下偏移设定距离的区域内平均灰度值g_t；

如果g_r-g₀在给定的范围内，且g_t小于设定阈值，就说明这个阴影矩形可信，否则排除；

将可信的阴影矩形扩张以包含整个车辆的图像，称为车辆位置并记录。

进一步地，步骤(6)具体包括：

定义两个矩形r₁,r₂的重合度并定义r_u为一个恰好包含r₁,r₂的最小矩形；其中，intersect(r₁,r₂)即求r₁,r₂两个矩形的相交区域，area(r₁)即矩形r₁的面积，min(a₁,a₂)即取a₁,a₂两个数值中较小的值。

移除当前帧得出的车辆位置中所有q大于指定阈值的成对矩形，用它们的r_u进行替换，迭代计算直到没有q能满足指定阈值，这时得到矩形集合R_c并添加到历史数据中；收集前若干帧的数据，也进行同样的操作，得到矩形集合R_h；

合并R_c和R_h，并从中移除所有q大于指定阈值的成对矩形，得集合R_T；

合并R_T和R_c，并计算其中所有q大于指定阈值的成对矩形的r_u，整合得结果集合R_f。

本发明与现有技术相比所产生的有益效果是：

提高了视频检测技术的适应性，突破了传统的帧差法、背景差法等只能识别静态背景的局限，为移动视频识别技术提出了新的理论和方法，实现了在移动的背景下以较高的效率识别对象的目标；只需在移动的车辆上安装摄像设备即可进行抓拍执法，方便快捷。摆脱了固定安装地点的束缚，明显扩大执法的覆盖范围，增强了交通执法的震慑力，具有深刻的社会意义；具有可扩充性。如果要扩展执法监测系统规模，则可以减少除摄像设备以外的基础设施(如龙门架、线缆等)的支出，具有良好的经济性；较低的计算能力和带宽需求、较理想的检出率和误检率。

附图说明

图1为基于移动机器视觉的车辆违章压线识别方法的实现流程示意图。

图2为实例中的一种系统拓扑图。

图3为车道线识别前经图像强化后的图像。

图4为透视原理调整示意图。

图5车道线定位结果示意图

图6为阴影检测结果示意图。

图7为违章车辆抓拍示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

图1为本实例的基于移动机器视觉的车辆违章压线识别方法流程示意图，图2为一种实例拓扑图。

可将搭载使用本方法的抓拍和视频图像处理设备安装于公交车等道路车辆上，开启设备进行抓拍。

对于拍摄到的视频，车载设备做出本方法所描述的一系列处理，详细步骤如下：

进行车道线提取前的图像强化；

结合透视原理进行调整；

通过Hough变换识别视频中的道路标线；

进行阴影提取前的图像强化；

搜索可能为车辆底部阴影的矩形阴影区域；

对搜索到的矩形阴影区域进行过滤；

排除重复阴影区域。

根据道路标线位置和车辆底部阴影位置，判断车辆是否存在违章压线行为；

若是，截取图片。

其中车道线提取前的图像强化的具体步骤如下：

提高图像对比度，使车道线与路面的颜色差异更大；

通过3×3中值滤波，减少图像噪声，同时又比较好地保留边缘；

通过形态学检测边缘，体现边缘两侧的对比度；

通过二值化，提取出图像中的边缘以便后续计算；

通过逐帧与，与前若干帧进行与计算，消除二值化后图像中的随机噪声；

通过先膨胀再腐蚀的闭运算，消除图像内的孔洞，使断开的车道线边缘闭合。

强化后的图像如图3。

结合图4，结合透视原理进行调整的详细步骤如下：

在图像下部规定一条检测线，并对这条线进行游程长度编码；

给定高、低两个阈值，即车道线起始点宽度限制阈值，筛出所有长度在低阈值与高阈值之间的游程，并求出游程的中点，作为可能的车道线起始点；

在图像大约中心位置规定一个检测圆，并假设车道线灭点包含在这个圆内。

通过Hough变换识别视频中的道路标线的详细步骤为：

从所有可能的车道线起始点开始，对检测圆做两条切线，并在这两条切线的夹角中按一定的角度步长并从起始点向检测圆方向进行搜索。对每个角度，都找出最长的连续白色像素线段，并排除这些线段中短于或长于指定阈值的线段。能够搜索出线段的车道线起始点，称为激活的车道线起始点。

对上一步得到的线段求角度平均值，就得出从每个起始点开始的可能车道线角度，并由此角度得出对应的线段；

对这些线段两两之间求出在检测圆内的交点，然后求出这些交点的平均点并加入历史平均点列表中；

对历史平均点列表按照给定的距离和次数计算各点的邻域点密度，同时排除偏离度大的点。对这些点，使用它们的邻域点密度作为权值求平均点，就得出此帧的车道线灭点位置。此灭点与各个激活的车道线起始点的连线就是车道线初步定位的结果，如图5。

进行阴影提取前的图像强化的详细步骤为：

通过色阶调整，提高图像对比度，使路面与车辆阴影的颜色差异更大；

通过3×3中值滤波，减少图像噪声；

检测线中段的灰度平均值，乘以一个经验系数作为阈值进行二值化，分离车辆阴影与路面；

通过闭运算，即先膨胀再腐蚀，消除阴影内的孔洞。

搜索可能为车辆底部阴影的矩形阴影区域的详细步骤为：

在上述步骤所检测出的车道线上进行连续采样，获取具有连续白色像素特征的线段区域，将这特征线段称为l，将l向y轴投影获得线段l_y，并令l的中点与l_y的中点为同一点。对l_y，向其左右两侧每隔一个单位长度都分别进行采样，直到出现黑色像素为止。求出两侧所有采样距离的平均值并相加，就获得了车辆底部阴影矩形区域的宽度。而l_y的长度即车辆底部阴影矩形区域的高度，这样就求出了车辆底部阴影矩形区域的位置和大小。若车辆底部阴影矩形区域的宽高比在指定的范围内，就认为它反映了车辆阴影的特征；反之则将其排除。

对搜索到的矩形阴影区域进行过滤的详细步骤为：

统计原图中可能的阴影区域内平均灰度值g₀、阴影区域向下偏移一定距离的区域内平均灰度值g₀、强化后图像中向下偏移一定距离的区域内平均灰度值g_t；

如果g_r-g₀在给定的范围内，且g_t小于某个阈值，就说明这个阴影矩形可信，否则排除；

将可信的阴影矩形扩张以包含整个车辆的图像，称为车辆位置并记录。

如果将上一步所得到的范围作为结果图像保存，得到的图像有许多都是连续和重复的。可以通过结合前若干帧的历史矩形区域数据进行排除，排除重复阴影区域的详细步骤为：

定义两个矩形r₁,r₂的重合度并定义r_u为一个恰好包含r₁,r₂的最小矩形；

移除当前帧得出的车辆位置中所有q大于指定阈值的成对矩形，用它们的r_u进行替换，迭代计算直到没有q能满足指定阈值，这时得到矩形集合R_c并添加到历史数据中。收集前若干帧的数据，也进行同样的操作，得到矩形集合R_h；

合并R_c和R_h，并从中移除所有q大于指定阈值的成对矩形，得集合R_T；

合并R_T和R_c，并计算其中所有q大于指定阈值的成对矩形的r_u，整合得结果集合R_f。对每个R_f中的矩形区域，从原图中截取图像并保存，就得到了可能有违章行为的车辆图像。

阴影检测结果如图6。

抓拍到的车辆图片如图7，在完成截图的保存后，可以将得到的图片上传并作人工识别，确定车辆是否确实存在违章压线行为，并记录车牌号等信息。

Claims (7)

1.一种基于移动机器视觉的车辆违章压线识别方法，其特征在于，包括：

(1)进行车道线提取前的图像强化；

(2)结合透视原理进行调整；

(3)通过Hough变换识别视频中的道路标线；

(4)进行阴影提取前的图像强化；

(5)搜索可能为车辆底部阴影的矩形阴影区域，对搜索到的矩形阴影区域进行过滤；

(7)排除重复阴影区域；

(7)根据道路标线位置和车辆底部阴影位置，判断车辆是否存在违章压线行为，若是，截取图片，否则不截取图片。

2.根据权利要求1所述的基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(1)具体步骤如下：

(1.1)提高图像对比度，使车道线与路面的颜色差异更大；

(1.2)通过3×3中值滤波，减少图像噪声，保留边缘；

(1.3)通过形态学检测边缘，体现边缘两侧的对比度；

(1.4)通过二值化，提取出图像中的边缘以便后续计算；

(1.5)通过逐帧与，与前若干帧进行与计算，消除二值化后图像中的随机噪声；

(1.6)通过先膨胀再腐蚀的闭运算，消除图像内的孔洞，使断开的车道线边缘闭合。

3.根据权利要求1所述的基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(2)具体包括：

(2.1)在图像下部规定一条检测线，并对这条线进行游程长度编码；

(2.2)给定高、低两个阈值，即车道线起始点宽度限制阈值，筛出所有长度在低阈值与高阈值之间的游程，并求出游程的中点，作为可能的车道线起始点；

(2.3)在图像大约中心位置规定一个检测圆，并假设车道线灭点包含在这个圆内。

4.根据权利要求1所述的基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(3)具体包括：

(3.1)从所有可能的车道线起始点开始，对检测圆做两条切线，并在这两条切线的夹角中按设定的角度步长并从起始点向检测圆方向进行搜索；对每个角度，都找出最长的连续白色像素线段，并排除这些线段中短于或长于指定阈值的线段；能够搜索出线段的车道线起始点，称为激活的车道线起始点；

(3.2)对上一步得到的线段求角度平均值，就得出从每个起始点开始的可能车道线角度，并由此角度得出对应的线段；

(3.3)对这些线段两两之间求出在检测圆内的交点，然后求出这些交点的平均点并加入历史平均点列表中；

(3.4)对历史平均点列表按照给定的距离和次数计算各点的邻域点密度，同时排除偏离度大的点；对这些点，使用它们的邻域点密度作为权值求平均点，就得出此帧的车道线灭点位置；此灭点与各个激活的车道线起始点的连线就是车道线初步定位的结果。

5.根据权利要求1所述的一种基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(4)具体包括：

(4.1)通过色阶调整，提高图像对比度，使路面与车辆阴影的颜色差异更大；

(4.2)通过3×3中值滤波，减少图像噪声；

(4.3)检测线中段的灰度平均值，乘以一个经验系数作为阈值进行二值化，分离车辆阴影与路面；

(4.4)通过闭运算，即先膨胀再腐蚀，消除阴影内的孔洞。

6.根据权利要求1所述的基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(5)具体包括：

统计原图中可能的阴影区域内平均灰度值g₀、阴影区域向下偏移设定距离的区域内平均灰度值g₀、强化后图像中向下偏移设定距离的区域内平均灰度值g_t；

如果g_r-g₀在给定的范围内，且g_t小于设定阈值，就说明这个阴影矩形可信，否则排除；

将可信的阴影矩形扩张以包含整个车辆的图像，称为车辆位置并记录。

7.根据权利要求1所述的基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(6)具体包括：

定义两个矩形r₁,r₂的重合度并定义r_u为一个恰好包含r₁,r₂的最小矩形；其中，intersect(r₁,r₂)即求r₁,r₂两个矩形的相交区域，area(r₁)为矩形r₁的面积，area(r₂)为矩形r₂的面积，min(a₁,a₂)即取a₁,a₂两个数值中较小的值；

移除当前帧得出的车辆位置中所有q大于指定阈值的成对矩形，用它们的r_u进行替换，迭代计算直到没有q能满足指定阈值，这时得到矩形集合R_c并添加到历史数据中；收集前若干帧的数据，也进行同样的操作，得到矩形集合R_h；

合并R_c和R_h，并从中移除所有q大于指定阈值的成对矩形，得集合R_T；

合并R_T和R_c，并计算其中所有q大于指定阈值的成对矩形的r_u，整合得结果集合R_f。