CN103996053B - 基于机器视觉的车道偏离报警方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的车道偏离报警方法。车道偏离决策报警是安全辅助驾驶中的一种重要的智能交通系统，能够在车辆偏离车道或有偏离车道的趋势时，对状态疲惫或注意力不集中的驾驶员进行警告和提示，使其修正行车方向。本发明实时获取车道数字图像后，通过图像均衡化灰度处理、图像边缘检测与二值化处理、图像Hough变换和车道线特征提取的步骤对车道数字图像进行处理，检测实时车道数字图像中的左右车道线，进行车道偏离决策。本发明具有良好的车道检测效果和准确的车道偏离决策能力，实时性和抗干扰性强，检测车道准确率和偏离决策成功率较高，决策一帧道路图像所需时间短，能够满足车道偏离决策报警系统的要求。

Description

基于机器视觉的车道偏离报警方法

技术领域

本发明涉及一种行车安全报警方法，具体涉及一种基于机器视觉的车道偏离报警方法。

背景技术

据调查，约有50%的汽车事故是由于车辆偏离道路正常行驶车道引起的。车道偏离决策报警系统是安全辅助驾驶（Safety Driving Assist，SDA）中的一种重要的智能交通系统，能够在车辆偏离车道或有偏离车道的趋势时，对状态疲惫或注意力不集中的驾驶员进行警告和提示，使其修正行车方向，从而减少车道偏离事故的发生，对交通车辆行车安全具有重要的意义。

发明内容

本发明的目的是提供一种基于机器视觉的车道偏离报警方法，能实时有效地检测出道路图像左、右车道线，对车道偏离情况进行报警和提示。

本发明所采用的技术方案是：

基于机器视觉的车道偏离报警方法，其特征在于：

由以下步骤实现：

步骤一：通过车头中央位置安装的摄像机和视频采集卡，实时获取车道数字图像；

步骤二：对获取的车道数字图像进行处理，检测实时车道数字图像中的左右车道线，具体步骤包括：

（1）车道线检测模型的建立：

建立直角坐标系，车道线位于x轴下方、y轴右方，设定一个阈值 y_k，定位y= y_k以下的部分为感兴趣区域，只对感兴趣区域进行处理，再选择一个分界点y_m ，把在y= y_m以下的车道线当作直线来处理，将车道线检测简化为车道数字图像中、感兴趣区域内的直线的检测；

（2）图像均衡化灰度处理：

统计车道数字图像中各灰度值的计数，得到图像的直方图；利用直方图均衡化累积分布函数计算各灰度值的累积分布函数值；遍历图像，利用该像素灰度值对应的累积分布函数值与最大灰度值的乘积来替换它；

直方图均衡化累积分布函数表示为：

式中，i=0,1，...k,k=0,1,...L, L为灰度级范围，p_r(r_i)为图像中具有第i级灰度值出现的概率，N是道路图像的总像素数；

（3）图像边缘检测与二值化处理：

采用Sobel算子，利用像素点上下左右邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘检测，平滑图像噪声，获取边缘方向信息，所取的Sobel算子如下：

道路图像进行边缘检测后，对其进行二值化处理，减少图像的存储容量；

（4）图像Hough变换：

将代表车道的直线上的点坐标变换到过点的直线的系数域，通过利用点-线的对偶性使直线的提取问题转化为计数问题；

Hough变换的直线极坐标方程如下：

式中，ρ为图像空间中直线到原点的距离，θ为直线与x轴的夹角；涉及的两个平面中，xy为图像平面，ρθ为参数平面；

利用直线坐标方程将图像平面上同一直线上的点变换为参数平面上的一个点（ρ，θ），提取道路直线的Hough变换步骤如下：

a、在ρ和θ合适的最大值和最小值之间建立一个离散的参数空间；

b、建立一个累加器A（ρ，θ），并置每个元素为0；

c、在ρθ参数空间内，对每一点做Hough变换，计算出网格上所有点的（ρ，θ）值，并在相应的累加器加1；

d、累加器结束后，根据A（ρ，θ）的值判断共线的点，通过（ρ，θ）值得到点所在的直线；

（5）车道线特征提取：

a、设左、右车道线与x轴所形成的夹角分别为α和β，α的取值范围控制在（100°，170°）之间，β的范围控制在（10°，80°）之间，剔除不符合要求的直线；

b、提取直线的直线长度L_Line、距图像中间长度L_Center和距图像底部的长度L_Bottom三个特征，分别对左、右车道线所在的左、右两半部分感兴趣区域中的直线段求出三个特征值的取值范围为R_l，R_c，R_b；

c、分别求出左、右两半部分感兴趣区域中直线段综合判定系数值最大的直线，道路线综合判定系数为：

式中，w_i为特征值的权值，将其设定为W=(0.4,0.3,0.3), V_i为特征值的取值，

左、右两半部分感兴趣区域中综合判定系数最大的直线即为道路的左、右车道线；

步骤三：在实时检测到的左、右车道线的基础上，进行车道偏离决策，当车辆偏离正常的车道或有驶出车道的趋势时，通过显示设备和报警电路发出报警信息，给驾驶员以提醒或警告以修正车辆的行车方向，具体步骤包括：

（1）环境突变、车道转弯或换道时，采集视频中当前帧和上一帧图像车道线发生突变，或检测不到车道线，此时则判定当前图像帧失效，舍去当前帧的车道偏离报警决策；

（2）在直角坐标系中再次设定两条辅助水平直线y=y_b和y=y_t；设Hough变换中左、右车道线线段的上、下端点坐标为（x_Lt，y_Lt），（x_Lb，y_Lb）和（x_Rt，y_Rt），（x_Rb，y_Rb），则左、右车道线与y=y_b交点的水平坐标X_Lb和X_Rb分别为：

左、右车道线与y=y_t交点的水平坐标X_Lt和X_Rt分别为：

y=y_t与左、右车道线两交点的中点A的坐标为

y=y_b与左、右车道线交点的中点B的坐标为

直线AB的斜率为K_AB

设定左、右阈值X_Lb’和X_Rb’和直线AB斜率值阈值K_L和K_R；

设定X_B为左、右车道线与y=y_b交点的水平坐标X_Lb 和X_Rb的中点，X_B ^‘为左、右阈值X_Lb ^’和X_Rb ^’的中点；

（3）车道偏离决策，具体步骤包括：

a、判断车道线是否有效，是则继续，否则结束；

b、判断左车道线是否存在，是则继续，否则说明车辆偏离右车道线，警示驾驶员左转；

c、判断是否X_Lb＜X_Lb’或X_B＜X_B’，是则说明车辆偏离右车道线，警示驾驶员左转，否则继续；

d、判断右车道线是否存在，是则继续，否则说明车辆偏离左车道线，警示驾驶员右转；

e、判断是否X_Rb＞X_Rb’或X_B＞X_B’， 是则说明车辆偏离左车道线，警示驾驶员右转，否则继续；

f、判断是否K_AB＞K_R， 是则说明车辆有偏离右车道线的趋势，提示驾驶员左转，否则继续；

g、判断是否K_AB＜K_L， 是则说明车辆有偏离左车道线的趋势，提示驾驶员右转，否则说明车辆平稳行驶。

本发明具有以下优点：

本发明具有良好的车道检测效果和准确的车道偏离决策能力，实时性和抗干扰性强，能实时有效地检测出道路图像左、右车道线，检测车道准确率为98.23%，车道偏离决策成功率为97.64%，决策一帧道路图像所需时间为60ms，能够满足车道偏离决策报警系统的要求。

附图说明

图1为本发明硬件系统结构。

图2为车道线检测模型图。

图3为图像边缘检测与二值化处理后的图像。

图4为Hough变换后的图像。

图5为车道线检测效果图。

图6为提取的车道线。

图7为五种车道偏离模型。

图8为车辆车道偏离决策流程图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明涉及的基于机器视觉的车道偏离报警方法，基于机器视觉技术对车道偏离进行决策报警，所涉及的硬件系统如图1所示。汽车在高速行驶的过程中，系统它通过摄像机和视频采集卡获取车道图像，计算机对数字图像进行处理，检测实时图像的左、右车道线，在此基础上进行车道偏离决策，当车辆偏离正常的车道或有驶出车道的趋势时，系统通过显示设备和报警电路发出报警信息，给驾驶员以提醒或警告以修正车辆的行车方向。具体由以下步骤实现：

步骤一：通过车头中央位置安装的摄像机和视频采集卡，实时获取车道数字图像.

步骤二：对获取的车道数字图像进行处理，检测实时车道数字图像中的左右车道线，具体步骤包括：

（1）车道线检测模型的建立：

道路图像中车道线检测是车道偏离决策报警系统的基础。道路图像中包括许多干扰信息，如道路两旁的树木，天空，路标等。建立直角坐标系，如图2所示，车道线位于x轴下方、y轴右方，设定一个阈值 y_k，定位y= y_k以下的部分为感兴趣区域，只对感兴趣区域进行处理，再选择一个分界点y_m ，把在y= y_m以下的车道线当作直线来处理，将车道线检测简化为车道数字图像中、感兴趣区域内的直线的检测，从而提高车道检测的实时性。

（2）图像均衡化灰度处理：

光源与照明对机器视觉系统的好坏有很大的关系。对于不同光照下的道路图像，其灰度值会有很大的差别。在强光照或光线较暗的图像，车道线和背景的对比度不大，图像的灰度变化范围比较窄。为提高系统的适应性与抗干扰性，可对车道图像进行直方图均衡化灰度处理。直方图均衡化的思想是把原始的灰度直方图均匀地扩充到整个灰度级的范围中，从而达到增强图像整体对比度的效果，更好地体现出图像的车道信息。

统计车道数字图像中各灰度值的计数，得到图像的直方图；利用直方图均衡化累积分布函数计算各灰度值的累积分布函数值；遍历图像，利用该像素灰度值对应的累积分布函数值与最大灰度值的乘积来替换它，直方图均衡化累积分布函数表示为：

式中，i=0,1，...k,k=0,1,...L, L为灰度级范围，p_r(r_i)为图像中具有第i级灰度值出现的概率，N是道路图像的总像素数。

（3）图像边缘检测与二值化处理：

车道线检测主要对车道边缘线进行检测，边缘检测是采用某种算法来提取图像对象与背景间的交界线。图像的灰度变化情况可以用图像灰度分布的梯度来反映，因此可以用局部图像微分技术来获得边缘检测算子。

采用Sobel算子，利用像素点上下左右邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘检测，平滑图像噪声，获取边缘方向信息，所取的Sobel算子如下：

道路图像进行边缘检测后，对其进行二值化处理，减少图像的存储容量，从而提高车道的检测速度。图像边缘检测与二值化处理后图像如图3所示。

（4）图像Hough变换：

将代表车道的直线上的点坐标变换到过点的直线的系数域，通过利用点-线的对偶性（即图像空间里共线的点对应参数空间里相交的直线）使直线的提取问题转化为计数问题；

Hough变换的直线极坐标方程如下：

式中，ρ为图像空间中直线到原点的距离，θ为直线与x轴的夹角；涉及的两个平面中，xy为图像平面，ρθ为参数平面。

利用直线坐标方程将图像平面上同一直线上的点变换为参数平面上的一个点（ρ，θ），提取道路直线的Hough变换步骤如下：

a、在ρ和θ合适的最大值和最小值之间建立一个离散的参数空间；

b、建立一个累加器A（ρ，θ），并置每个元素为0；

c、在ρθ参数空间内，对每一点做Hough变换，计算出网格上所有点的（ρ，θ）值，并在相应的累加器加1；

d、累加器结束后，根据A（ρ，θ）的值判断共线的点，通过（ρ，θ）值得到点所在的直线。

Hough变换后的图像如图4所示。

（5）车道线特征提取：

由图4可以看出对图像进行Hough变换后，仍存在很多干扰直线，因此需要把这些干扰直线滤除。将Hough变换后的直线拟合参数，经适当的变换到图像坐标系，可获得所有直线的坐标方程和直线段起点和终点坐标。

通常情况下左车道线位于图像的左半部分，右车道线位于图像的右半部分，将图像感兴趣区域分成左右两部分，分别识别左车道线和右车道线。在图像感兴趣区域中，图像中间是道路路面，相对比较平整，对Hough变换的干扰最小，况且道路线就在中间道路的两边，因此提取车道线特征时采取由下到上，从中间向左、右两边搜索直线的算法，对每条直线进行搜索。道路直线特征提取的步骤如下：

a、设左、右车道线与x轴所形成的夹角分别为α和β，α的取值范围控制在（100°，170°）之间，β的范围控制在（10°，80°）之间，剔除不符合要求的直线，检测效果如图5所示。

b、提取直线的直线长度L_Line、距图像中间长度L_Center和距图像底部的长度L_Bottom三个特征，分别对左、右车道线所在的左、右两半部分感兴趣区域中的直线段求出三个特征值的取值范围为R_l，R_c，R_b；

c、分别求出左、右两半部分感兴趣区域中直线段综合判定系数值最大的直线，道路线综合判定系数为：

式中，w_i为特征值的权值，将其设定为W=(0.4,0.3,0.3), V_i为特征值的取值，

左、右两半部分感兴趣区域中综合判定系数最大的直线即为道路的左、右车道线，提取的车道线如图6所示。

步骤三：在实时检测到的左、右车道线的基础上，进行车道偏离决策，当车辆偏离正常的车道或有驶出车道的趋势时，通过显示设备和报警电路发出报警信息，给驾驶员以提醒或警告以修正车辆的行车方向。车辆的行车状态主要有车辆正常行驶、车辆向左微偏、车辆向右微偏、车辆左车道偏离，车辆右车道偏离，其偏离模型如图7所示。

偏离决策报警的具体步骤包括：

（1）环境突变、车道转弯或换道时，采集视频中当前帧和上一帧图像车道线发生突变，或检测不到车道线，此时则判定当前图像帧失效，舍去当前帧的车道偏离报警决策；

（2）在直角坐标系中再次设定两条辅助水平直线y=y_b和y=y_t；设Hough变换中左、右车道线线段的上、下端点坐标为（x_Lt，y_Lt），（x_Lb，y_Lb）和（x_Rt，y_Rt），（x_Rb，y_Rb），则左、右车道线与y=y_b交点的水平坐标X_Lb和X_Rb分别为：

左、右车道线与y=y_t交点的水平坐标X_Lt和X_Rt分别为：

y=y_t与左、右车道线两交点的中点A的坐标为

y=y_b与左、右车道线交点的中点B的坐标为

直线AB的斜率为K_AB

设定左、右阈值X_Lb’和X_Rb’和直线AB斜率值阈值K_L和K_R；

设定X_B为左、右车道线与y=y_b交点的水平坐标X_Lb 和X_Rb的中点，X_B ^‘为左、右阈值X_Lb ^’和X_Rb ^’的中点；

（3）车道偏离决策，如图8所示，具体步骤包括：

a、判断车道线是否有效，是则继续，否则结束；

b、判断左车道线是否存在，是则继续，否则说明车辆偏离右车道线，警示驾驶员左转；

c、判断是否X_Lb＜X_Lb’或X_B＜X_B’，是则说明车辆偏离右车道线，警示驾驶员左转，否则继续；

d、判断右车道线是否存在，是则继续，否则说明车辆偏离左车道线，警示驾驶员右转；

e、判断是否X_Rb＞X_Rb’或X_B＞X_B’， 是则说明车辆偏离左车道线，警示驾驶员右转，否则继续；

f、判断是否K_AB＞K_R， 是则说明车辆有偏离右车道线的趋势，提示驾驶员左转，否则继续；

g、判断是否K_AB＜K_L， 是则说明车辆有偏离左车道线的趋势，提示驾驶员右转，否则说明车辆平稳行驶。

通过对车道检测和车道偏离决策分析，本技术方案检测车道准确率为98.23%，车道偏离决策成功率为97.64%，决策一帧道路图像所需时间为60ms，实验结果表明车道检测和车道偏离决策算法有效地检测跟踪车道线，准确地进行车道偏离决策，具有较好是实时性和抗干扰性。因此该系统能够提高驾驶员行车的安全性，起到辅助车辆导航的作用。

本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (1)

1.基于机器视觉的车道偏离报警方法，其特征在于：

由以下步骤实现：

步骤一：通过车头中央位置安装的摄像机和视频采集卡，实时获取车道数字图像；

步骤二：对获取的车道数字图像进行处理，检测实时车道数字图像中的左右车道线，具体步骤包括：

（1）车道线检测模型的建立：

建立直角坐标系，车道线位于x轴下方、y轴右方，设定一个阈值 y_k，定位y= y_k以下的部分为感兴趣区域，只对感兴趣区域进行处理，再选择一个分界点y_m ，把在y= y_m以下的车道线当作直线来处理，将车道线检测简化为车道数字图像中、感兴趣区域内的直线的检测；

（2）图像均衡化灰度处理：

统计车道数字图像中各灰度值的计数，得到图像的直方图；利用直方图均衡化累积分布函数计算各灰度值的累积分布函数值；遍历图像，利用图像中各灰度值的计数所对应的累积分布函数值与最大灰度值的乘积来替换它；

直方图均衡化累积分布函数表示为：

式中，i=0,1，...k,k=0,1,...L, L为灰度级范围，p_r(r_i)为图像中具有第i级灰度值出现的概率，N是道路图像的总像素数；

（3）图像边缘检测与二值化处理：

采用Sobel算子，利用像素点上下左右邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘检测，平滑图像噪声，获取边缘方向信息，所取的Sobel算子如下：

道路图像进行边缘检测后，对其进行二值化处理，减少图像的存储容量；

（4）图像Hough变换：

将代表车道的直线上的点坐标变换到过点的直线的系数域，通过利用点-线的对偶性使直线的提取问题转化为计数问题；

Hough变换的直线极坐标方程如下：

式中，ρ为图像空间中直线到原点的距离，θ为直线与x轴的夹角；涉及的两个平面中，xy为图像平面，ρθ为参数平面；

利用直线坐标方程将图像平面上同一直线上的点变换为参数平面上的一个点（ρ，θ），提取道路直线的Hough变换步骤如下：

a、在ρ和θ合适的最大值和最小值之间建立一个离散的参数空间；

b、建立一个累加器A（ρ，θ），并置每个元素为0；

c、在ρθ参数空间内，对每一点做Hough变换，计算出网格上所有点的（ρ，θ）值，并在相应的累加器加1；

d、累加器结束后，根据A（ρ，θ）的值判断共线的点，通过（ρ，θ）值得到点所在的直线；

（5）车道线特征提取：

a、设左、右车道线与x轴所形成的夹角分别为α和β，α的取值范围控制在（100°，170°）之间，β的范围控制在（10°，80°）之间，剔除不符合要求的直线；

b、提取直线的直线长度L_Line、距图像中间长度L_Center和距图像底部的长度L_Bottom三个特征，分别对左、右车道线所在的左、右两半部分感兴趣区域中的直线段求出三个特征值的取值范围为R_l，R_c，R_b；

c、分别求出左、右两半部分感兴趣区域中直线段综合判定系数值最大的直线，道路线综合判定系数为：

式中，w_i为特征值的权值，将其设定为W=(0.4,0.3,0.3), V_i为特征值的取值，

左、右两半部分感兴趣区域中综合判定系数最大的直线即为道路的左、右车道线；

步骤三：在实时检测到的左、右车道线的基础上，进行车道偏离决策，当车辆偏离正常的车道或有驶出车道的趋势时，通过显示设备和报警电路发出报警信息，给驾驶员以提醒或警告以修正车辆的行车方向，具体步骤包括：

（1）环境突变、车道转弯或换道时，采集视频中当前帧和上一帧图像车道线发生突变，或检测不到车道线，此时则判定当前图像帧失效，舍去当前帧的车道偏离报警决策；

（2）在直角坐标系中再次设定两条辅助水平直线y=y_b和y=y_t；设Hough变换中左、右车道线线段的上、下端点坐标为（x_Lt，y_Lt），（x_Lb，y_Lb）和（x_Rt，y_Rt），（x_Rb，y_Rb），则左、右车道线与y=y_b交点的水平坐标X_Lb和X_Rb分别为：

左、右车道线与y=y_t交点的水平坐标X_Lt和X_Rt分别为：

y=y_t与左、右车道线两交点的中点A的坐标为

y=y_b与左、右车道线交点的中点B的坐标为

直线AB的斜率为K_AB

设定左、右阈值X_Lb’和X_Rb’和直线AB斜率值阈值K_L和K_R；

设定X_B为左、右车道线与y=y_b交点的水平坐标X_Lb 和X_Rb的中点，X_B ^‘为左、右阈值X_Lb ^’和X_Rb ^’的中点；

（3）车道偏离决策，具体步骤包括：

a、判断车道线是否有效，是则继续，否则结束；

b、判断左车道线是否存在，是则继续，否则说明车辆偏离右车道线，警示驾驶员左转；

c、判断是否X_Lb＜X_Lb’或X_B＜X_B’，是则说明车辆偏离右车道线，警示驾驶员左转，否则继续；

d、判断右车道线是否存在，是则继续，否则说明车辆偏离左车道线，警示驾驶员右转；

e、判断是否X_Rb＞X_Rb’或X_B＞X_B’， 是则说明车辆偏离左车道线，警示驾驶员右转，否则继续；

f、判断是否K_AB＞K_R， 是则说明车辆有偏离右车道线的趋势，提示驾驶员左转，否则继续；

g、判断是否K_AB＜K_L， 是则说明车辆有偏离左车道线的趋势，提示驾驶员右转，否则说明车辆平稳行驶。