CN111753749A - 一种基于特征匹配的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于特征匹配的车道线检测方法，其特点是对车载前视单目视频采集的视频进行图像处理，利用图像像素信息提取车道线的线型与颜色属性信息，具体包括：选取感兴趣区域、图像灰度化、图像滤波、边缘检测和基于特征匹配筛选车道线等步骤。本发明与现有技术相比具有准确度高，且可适用于不同天气、光照与交通拥堵情况的复杂驾驶环境，进一步提高了车道线检测的准确性与鲁棒性，与基于机器视觉的车道线检测算法相比，可有效提高检测准确率，同时可适用于多种复杂驾驶环境。

Description

一种基于特征匹配的车道线检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于特征匹配的车道线检 测识别方法。

背景技术

车道偏离预警系统是指当车辆偏离车道时系统将通过语音、方向盘震动 等形式提醒驾驶员采取相应措施，从而有效预防车道偏离带所导致的交通事 故。其前提是准确检测车道线，现有基于传统机器视觉的车道线检测算法仅 针对通用的图像检测方法进行研究，未充分考虑车道线自身特征，导致算法 应用场景受限，检测准确度低。

发明内容

本发明的目的是针对现有技术不足而提供的一种基于特征匹配的 车道线检测方法，采用对车载前视单目视频采集的图像进行处理，基于灭点、 车道线间隔和车道线宽度三个特征拟合车道线参数，利用图像像素信息提取 车道线的线型与颜色属性信息，车道线检测算法准确度高，且可适用于不同 天气、光照与交通拥堵情况的复杂驾驶环境，进一步提高了车道线检测的准 确性与鲁棒性。

实现本发明目的具体技术方案是：一种基于特征匹配的车道线检测方法， 其特点是采用对车载前视单目视频采集的图像进行处理，利用图像像素信息 提取车道线的线型与颜色属性信息，其车道线检测具体包括下述步骤：

(一)图像预处理

a、选取感兴趣区域

选取待检图像中某矩形部分作为感兴趣区域，后续图像处理步骤 均针对该矩形部分，可有效提高算法运行效率，同时减少图像中的噪声干扰。 矩形应满足以下条件：宽度大于图像中相邻车道线间距，高度设置为1/8H(H 为待检图像高度)，矩形位于待检图像中央下部。

b、灰度化

对感兴趣区域图像进行灰度化处理，常见的灰度化方法有：分量 法、最大值法、平均值法和加权平均法，选择经灰度化处理后使得图像携带 信息量最大的灰度化方法，图像信息量采用信息熵度量。即对感兴趣区域图 像分别采用以上四种灰度化方法进行处理，然后按照下述(1)式计算灰度化后 图像的信息熵，选取信息熵最大的图像对应的灰度化方法：

c、滤波

采用改进的中值滤波方法对步骤b的灰度图像进行滤波处理，该方 法是对处理窗口中所有像素点的灰度值排序，若待处理中心点的像素值是排 序序列中的最大值或最小值，那么判定该像素点为噪声点，用排序序列的中 值替换其灰度值；若中心点的像素值不是排序序列的最大值或最小值，那么 该中心点有可能是图像的边缘轮廓点，则不对该点进行处理。假设采用3*3 的处理窗口，窗口中各像素点的灰度值为f₁,f₂,f₃…f₉，待处理的窗口中心点 像素值为f₅，对像素点灰度值进行排序f_sort1,f_sort2,f_sort3…f_sort9，根据下述(2)式计算滤波后中心点像素值：

d、边缘检测

边缘检测可有效提取图像边缘信息，这是后续车道线检测的基础， Canny边缘检测法需用户提供高低阈值，阈值的设定会对边缘检测结果造成 影响。在实际的道路图像中，图像像素点灰度值受光照、阴影影响较大，若 将高低阈值设为恒定值，会使一部分图像中待检的边缘像素点丢失，而另一 部分图像检测出无意义的噪声边缘。本发明依据图像特征，自适应地计算高 低阈值使边缘检测效果最佳，其原理是首先采用初始阈值将待处理图像像素 分为两类，分别计算两类像素值的均值与方差，然后不断迭代，找到使类间 方差达到最大的阈值。假设待处理图像的灰度值范围为[g1,g2],用初始阈值T(g1<T<g2)将图像像素划分为前景点和背景点两类。前景点占总像素点的 比例为ω0，平均灰度值为μ0；背景点占总像素点的比例为ω1，平均灰度 值为μ1；图像的总平均灰度为μ，按下述(3-1)和(3-2)式计算前景点和背 景点的类间方差为σ²：

μ＝ω0*μ0+ω1*μ1

(3-1)；

σ²＝ω0*(μ0-μ)²+ω1*(μ1-μ)² (3-2)；

联立(3-1)和(3-2)式得下述(4)式计算类间方差σ²：

σ²＝ω0*ω1*(μ0-μ1)² (4)；

当类间方差σ²达到最大时的分割阈值T为最佳阈值，采用下述(5)) 式计算Canny算子的高低阈值，最后基于自适应阈值采用Canny边缘检测法 处理滤波图像得到边缘图像：

(二)基于特征检测车道线

a、提取备选车道线

采用霍夫直线检测算法对边缘结果图像进行处理，提取边缘检测图 像中的线段作为备选车道线。

b、基于车道线特征筛选车道线

以灭点、车道间隔与车道标线宽度为车道线特征，利用成像平面 中平行车道线相交于灭点的透视投影现象，提取与灭点的距离在阈值范围内 的备选车道线集合，并从备选车道线集合中提取满足左右两条车道间隔为固 定值条件的车道线线对集合；同样利用车道线特征，从车道线线对集合中提 取满足车道标线宽度为固定值条件的车道线对为该帧图像检测的左右车道 线，然后将左、右车道线交点为下一帧待检图像的灭点，其初始图像帧的灭 点由人工标定获得。对于异常丢失帧现象，则采用预测模型估计该帧车道线 的拟合参数，提取车道线位置信息。

c、基于像素特征提取车道线属性信息

提取单帧图像的车道线线型和颜色信息：以车道线与感兴趣区域 上下边的交点作为平行四边形上下边的中点，以二倍车道线宽度作为上下边 的边长，构造出一个平行四边形区域，那么车道线必定落在这个平行四边形 中。利用车道线的像素信息对车道线的线型和颜色进行识别：从平行四边形 上边开始，向下边进行两次行扫描。第一次行扫描时，记录每一行中每一个 像素的R、G、B三个通道的值，最后计算得到平行四边形中所有像素R、G和B通道的均值。第二次行扫描时，根据行内像素特征判定该行属于以下哪 一种情况：情况1)：该行存在车道线，且车道线为白色；情况2)：该行存 在车道线，且车道线为黄色；情况3)：该行不存在车道线。第二次行扫描完 成后，计算每种情况的总占比，即可判定该帧图像车道线的线型及颜色。

多帧综合判定车道线线型与颜色信息：通过比较连续多帧图像的 属性信息最终确定车道线的线型和颜色，当车辆发生变道后应重复车道线属 性信息提取步骤以更新车道线属性信息。

本发明与现有技术相比具有算法准确度高，且可适用于不同天气、光 照与交通拥堵情况的复杂驾驶环境，进一步提高了车道线检测的准确性与鲁 棒性，与基于机器视觉的车道线检测算法相比，可有效提高检测准确率，同 时可适用于多种复杂驾驶环境。

附图说明

图1为本发明流程图；

图2为图像预处理流程图；

图3为单帧车道线位置信息提取流程图；

图4为多帧综合判定车道线属性信息流程图。

具体实施方式

通过以下具体实施例对本发明作进一步的详细说明。

实施例1

参阅附图1，本发明采用对车载前视单目视频采集的图像进行处 理，基于灭点、车道线间隔和车道线宽度三个特征拟合车道线参数，利用图 像像素信息提取车道线的线型与颜色属性信息，其车道线检测具体包括下述 步骤：

步骤1：采集视频数据

对车载前视单目视频采集设备采集的视频进行图像处理以提取车道线 位置信息与属性信息。

步骤2：图像预处理

对车载前视单目视频采集设备采集的视频图像数据进行预处理，具体包 括：选取感兴趣区域、灰度化、滤波和边缘检测。图像预处理的目的是为最 大程度的剔除图像中与目标物体——车道线无关的信息，同时增强相关信息 的可检测性，从而提高目标提取与物体检测的可靠性。

参阅附图2，按下述步骤进行图像的预处理：

步骤2.1：选取感兴趣区域

为有效提高算法运行效率，同时减少图像中非目标检测物体的干扰，需 要选择感兴趣区域。针对车载前视图像的车道线提取问题，感兴趣区域应满 足以下条件：区域为矩形；矩形宽度大于图像中相邻车道线间距，矩形高度 设置为1/8H(H为待检图像高度)，矩形位于图像中间下部区域。

步骤2.2：图像灰度化

图像的灰度化是将图像从三通道的R、G、B彩色空间转换到单通道的 灰度空间的过程。对图像进行灰度化预处理，可以减少后续图像操作的计算 量，加快图像处理速度。常见的灰度化有：分量法、最大值法、平均值法和 加权平均法，选择经灰度化处理后使得图像携带信息量最大的灰度化方法， 图像信息量采用信息熵度量。即对感兴趣区域图像分别采用以上四种灰度化 方法进行处理，然后按下述(1)式计算灰度化后图像的信息熵，选取信息熵最 大的图像对应的灰度化方法：

步骤2.3：图像滤波

为了尽量保留图像轮廓边缘信息，同时有效滤除车载图像中普遍存在 的椒盐噪声的需求，采用以下滤波方法对灰度图像进行滤波处理。其主要思 想是对处理窗口中所有像素点的灰度值排序，若待处理中心点的像素值是排 序序列中的最大值或最小值，那么判定该像素点为噪声点，并用排序序列的 中值替换其灰度值。若中心点的像素值不是排序序列的最大值或最小值，那 么该中心点有可能是图像的边缘轮廓点，则不对该点进行处理。假设采用3* 3的处理窗口，窗口中各像素点的灰度值为f₁,f₂,f₃…f₉，待处理的窗口中心点像素值为f₅，对像素点灰度值进行排序f_sort1,f_sort2,f_sort3…f_sort9，那么经滤波 处理后，窗口中心点的灰度值g按下述(2)式计算：

步骤2.4：边缘检测

采用自适应阈值的Canny边缘检测算法对滤波图像进行处理，该算法能 依据图像特征，自适应地计算高低阈值使边缘检测效果最佳。其原理是首先 采用初始阈值将待处理图像像素分为两类，分别计算两类像素值的均值与方 差，然后不断迭代，找到使类间方差达到最大的阈值。假设待处理图像的灰 度值范围为[g1,g2]，用初始阈值T(g1<T<g2)将图像像素划分为前景点和背 景点两类。前景点占总像素点的比例为ω0；平均灰度值为μ0；背景点占总 像素点的比例为ω1；平均灰度值为μ1；图像的总平均灰度为μ；前景点和 背景点的类间方差为σ²，其计算如下述(3-1)和(3-2)式：

μ＝ω0*μ0+ω1*μ1

(3-1)

σ²＝ω0*(μ0-μ)²+ω1*(μ1-μ)² (3-2)；

联立上述两式得下述(4)式计算类间方差σ²：

σ²＝ω0*ω1*(μ0-μ1)²

(4)

当类间方差σ²达到最大时的分割阈值T为最佳阈值，并计算Canny 算子的高低阈值，最后基于自适应阈值采用Canny边缘检测法处理滤波图像 得到边缘图像，所述Canny算子的高低阈值由下述(5)式计算：

步骤3：基于特征检测车道线

参阅附图3，本步骤在图像预处理的基础上，利用车道线特征拟合车道 线参数，获取车道线位置信息，并提取车道线颜色、线型属性信息，主要包 含以下步骤：

步骤3.1：提取备选车道线

采用霍夫直线检测算法提取边缘检测图像中的线段作为备选车道线，其 结果包含大量伪车道线，因此需基于特征匹配对霍夫直线检测结果进行筛选。

步骤3.2：基于车道线特征筛选车道线

利用成像平面中平行车道线相交于灭点的透视投影现象，提取与灭点的 距离在阈值范围内的备选车道线集合R₁，然后从集合R₁中提取满足左、右两 条车道间隔为固定值条件的车道线线对集合R₂(l_left,l_right)，其伪代码详见下 述算法1：

同样，利用车道线特征，从集合R₂中提取满足车道标线宽度为固 定值条件的车道线对(l_left,l_right)，那么该线对为该帧图像检测的左、右车道 线，其伪代码详见下述算法2；

最后，将左、右车道线交点作为下一帧待检图像的灭点，其初始 图像帧的灭点由人工标定获得。为保障检测准确率、减少非车道线物体的误 检测情况，以上三个特征筛选条件设置较严苛，导致易产生异常丢失帧现象。 异常丢失帧是指该帧图像中存在清晰车道线，但车道线线型为虚线，可能存 在虚线的虚部恰巧位于感兴趣区域的情况，基于特征的车道线筛选法会误判 该图像不存在车道线。针对异常丢失帧情况，采用预测模型估计该帧车道线 的拟合参数。预测算法的原理是：在车道线检测过程中实时记录正确检测帧 中左、右车道线的拟合参数，若当前图像帧被判定为异常丢失帧，则提取出 能正确检测历史帧的左、右车道线与感兴趣区下边的交点，用交点坐标与帧 数拟合得到二次方程，然后将当前丢失帧帧数代入二次方程求得当前帧左、 右车道线与感兴趣区下边的交点，左、右交点与灭点的连线即是该帧图像的 左、右车道线，其伪代码详见下述算法3：

步骤3.3：基于像素特征提取车道线属性信息

车道线属性信息包括车道线线型与颜色信息、车道线的颜色(黄色或白色) 和车道线的型态(虚线或实线)传达不同的交通信息，采用如下方法识别车道 线的线型与颜色：

步骤3.3.1：以车道线与感兴趣区域上下边的交点作为平行四边形上下 边的中点，以二倍车道线宽度作为上下边的边长，构造出一个平行四边形区 域，那么车道线必定落在这个平行四边形中。利用车道线的像素信息对车道 线的线型与颜色进行识别：从平行四边形上边开始，向下边进行两次行扫描。

第一次行扫描时，记录每一行中每一个像素的R、G、B三个通道的值， 最后计算得到平行四边形中所有像素R通道的均值、G通道的均值以及B通 道的均值，其伪代码详见下述算法4：

第二次行扫描时，根据行内像素特征判定该行属于以下哪一种情况： 情况1)：该行存在车道线，且车道线为白色；情况2)：该行存在车道线， 且车道线为黄色；情况3)：该行不存在车道线。第二次行扫描完成后，计算 每种情况的总占比，即可判定该帧图像车道线的线型及颜色，其伪代码详见 下述算法5：

参阅附图4，多帧综合判定车道线线型与颜色信息：通过比较连续 多帧图像的属性信息，最终确定车道线的线型与颜色；当车辆发生变道后， 应重复车道线属性信息提取步骤，以更新车道线属性信息。由于不同光照、 阴影等复杂驾驶环境会影响车载前视图像像素值，因此依据单帧图像提取的 车道线属性信息准确度较低，需要结合多帧图像识别结果综合判断。该方法 是通过比较连续多帧图像(本实施例设置为30帧)的属性信息确定最终车 道线的线型与颜色。需注意当车辆发生变道后，应重复车道线属性信息提取 步骤以更新车道线属性信息，其伪代码详见下述算法6：

以上只是对本发明作进一步说明，并非用以限制本发明专利， 凡为本发明等效实施，均应包含于本发明专利的权利要求范围之内。

Claims (1)

1.一种基于特征匹配的车道线检测方法，其特征在于采用对车载前视单目视频采集的图像进行处理，利用图像像素信息提取车道线的线型与颜色属性信息，其车道线检测具体包括下述步骤：

(一)图像预处理

a)选取感兴趣区域

选取待检图像中央的下部某矩形部分作为感兴趣区域，该矩形宽度大于图像中相邻车道线间距，其高度为待检图像高度的1/8；

b)灰度化处理

分别采用分量法、最大值法、平均值法和加权平均法对感兴趣区域图像进行灰度化处理，并按下述(1)式计算灰度化图像的信息熵，选取信息熵最大的图像所对应的灰度化法：

c)滤波处理

对上述灰度化图像进行中值滤波处理，所述中值滤波处理采用对处理窗口中所有像素点的灰度值排序，若待处理中心点的像素值是排序序列中的最大或最小值，则判定该像素点为噪声点，并用排序序列的中值替换其灰度值；反之该中心点为图像的边缘轮廓点，则不对该中心点进行处理；所述中心点的像素值按下述(2)式计算：

d)边缘检测

采用初始阈值将待处理图像像素分为前景点和背景点两类，并分别计算两类像素值的均值与方差，然后不断迭代，找到使类间方差σ²达到最大的阈值，当类间方差σ²达到最大时的分割阈值T为最佳阈值，最后基于自适应阈值采用Canny边缘检测法处理滤波图像得到边缘结果图像；

所述类间方差σ²由下述(4)式计算求得：

σ²＝ω0*ω1*(μ0-μ1)² (4)

式中：ω0为前景点占总像素点的比例；ω1为背景点占总像素点的比例；μ0为前景点平均灰度值；μ1为背景点平均灰度值；

所述Canny边缘检测采用下述(5)式计算Canny算子的高低阈值；

(二)基于特征检测车道线

a)提取备选车道线

采用霍夫直线检测算法对边缘结果图像进行处理，提取边缘检测图像中的线段为备选车道线；

b)筛选车道线筛选

基于车道线的灭点、车道间隔和车道标线宽度特征筛选车道线，所述车道线筛选利用成像平面中平行车道线相交于灭点的透视投影，提取与灭点的距离在阈值范围内的备选车道线集合，然后从备选车道线集合中提取满足左、右两条车道间隔为固定值条件的车道线线对集合，并从车道线线对集合中提取满足车道标线宽度为固定值条件的车道线对为该帧图像检测的左、右车道线，然后将左、右车道线交点作为下一帧待检图像的灭点，其初始图像帧的灭点由人工标定获得，对于异常丢失帧现象，则采用预测模型估计该帧车道线的拟合参数，提取车道线位置信息；

c)提取车道线属性信息

c-1、基于像素特征提取提取单帧图像的车道线线型与颜色信息：以车道线与感兴趣区域上、下边的交点为平行四边形上、下边的中点，并以二倍车道线宽度为上、下边的边长，构造出一个落有车道线的平行四边形区域；

c-2、利用车道线的像素信息对车道线的线型和颜色进行识别：从平行四边形上边开始，向下边进行两次行扫描，所述第一次行扫描记录每一行中每一个像素的R、G、B三个通道的值，并计算平行四边形中所有像素R、G和B三个通道的均值；所述第二次行扫描根据行内像素特征判定该行属于：存在车道线，且车道线为白色、存在车道线，且车道线为黄色或不存在车道线三种情况，第二次行扫描完成后，计算每种情况的总占比，即可判定该帧图像车道线的线型及颜色；

c-3、多帧综合判定车道线线型与颜色信息：通过比较连续多帧图像的属性信息，最终确定车道线的线型与颜色，当车辆发生变道后应重复车道线属性信息提取步骤，以更新车道线属性信息。

Images