CN111444778B

CN111444778B - 一种车道线检测方法

Info

Publication number: CN111444778B
Application number: CN202010142235.XA
Authority: CN
Inventors: 邹斌; 郑全慧; 王亚萌
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2020-03-04
Filing date: 2020-03-04
Publication date: 2023-10-17
Anticipated expiration: 2040-03-04
Also published as: CN111444778A

Abstract

本发明公开了一种车道线检测方法，属于智能汽车技术。通过安装车辆上的车载摄像头获取道路图像，然后实时对道路图像进行处理，以识别车辆前方的左、右两侧车道线。本发明的车道线检测方法有以下优点：一是鲁棒性好，能够减少路面颜色、阴影等干扰像素对车道线检测的影响，准确率高；二是加入了车道线跟踪算法，不仅减少了环境因素的干扰，同时也减少了图像处理区域，提高算法的实时性。

Description

一种车道线检测方法

技术领域

本发明涉及智能汽车技术，具体涉及汽车车道线检测方法。

背景技术

随着汽车普及程度的日益增高，道路交通事故频发、交通拥堵加剧等问题日益突出。通过大量的数据分析，93.12％的交通事故是由于驾驶员操作不当导致车辆偏离目标车道造成的。因此如何增强汽车行驶的安全性逐渐成为科学研究人员关注的热点，现已有越来越多的学者开始对智能驾驶技术展开深入研究，如车道保持系统和车道偏离预警系统。而准确识别车道线则是实现这些智能驾驶技术的基础。

现有的车道线检测算法大都以霍夫直线检测算法为基础，但这种方法仅能针对直线检测，适用范围小。而针对曲线的检测算法的计算复杂度较高，实时性较差，且容易受到环境噪声的干扰，不能够在复杂道路环境下长期稳定工作。

发明内容

本发明要解决的技术问题是，针对现有技术存在的上述问题，提供一种车道线检测算法，实时地对道路图像进行处理，在弯曲路段也能实现高精度检测，且能够抵抗路面颜色、阴影等环境噪声干扰，以达到准确识别车道线的目的。

为解决上述技术问题，本发明采用如下技术路线：

一种车道线检测方法，其特征在于包括以下五个步骤：

步骤S1、通过车载摄像头采集原始道路图像；

步骤S2、图像预处理：基于多阈值过滤方法对原始的道路图像进行预处理，包括截取道路图像的下半区域作为初始感兴趣区域，对该区域分别进行灰度处理、颜色空间变换、梯度阈值过滤、颜色空间阈值过滤，最后得到多阈值过滤后的二值图；

步骤S3、车道线像素提取：将步骤S2获取的道路的二值化图像通过逆透视变换转换为俯瞰视图，并在俯瞰视图下基于滑动窗口得到俯瞰视图下二值化图像的像素统计图，在滑动窗口沿车道线推移的过程中，基于滑动窗口的推移进行车道线像素提取；

步骤S4、车道线拟合：选用抛物线作为车道线拟合的目标模型，并利用随机采样一致性算法对步骤S3提取的车道线有效像素进行拟合；

步骤S5、利用车道线跟踪算法进行动态调整：

在连续帧的车道线检测中，利用动态自适应ROI对当前帧的车道线位置进行预测，假设前一帧的检测到的车道线坐标位为(X,Y)，其中X代表图像矩阵的行数，Y代表图像矩阵的列数；将该坐标分别向左、右两个方向各平移d个像素单位，然后以(X±d，Y)之间的带状区域作为当前帧的ROI，d的大小随车速和道路曲率的变化而自适应调节。

进一步的，上述技术方案中，步骤S5中通过继承方法对车道线跟踪算法进行进一步完善，即当前动态自适应ROI内没有检测到车道线时或漏检时，直接将上一帧的检测结果继承下来；当漏检次数超过继承帧数阈值T_m时，重新利用滑动窗口进行车道线检测。

进一步的，上述技术方案中，步骤S2中梯度阈值过滤是利用Sobel算子计算各像素位置的梯度幅值与方向，选择适当的阈值约束，得到梯度阈值过滤后的二值化图像；颜色空间阈值过滤是分别利用HLS、Lab和Luv颜色空间中S、b、L通道分量进行阈值分割，得到颜色空间阈值过滤后的二值化图像；最后将梯度阈值过滤和颜色空间阈值过滤后的二值化图像结合。

进一步的，上述技术方案中，步骤S2中x方向梯度幅值阈值范围是[35，100]，全局梯度幅值阈值范围是[50,100]，方向梯度范围是[0.7,1.3]。

进一步的，上述技术方案中，步骤S2中S通道阈值过滤范围是[180,255]，b通道阈值过滤范围是[155,200]，L通道阈值过滤范围是[-100,100]。

进一步的，上述技术方案中，步骤S3车道线像素提取包括如下步骤：

S31将道路的二值化图像通过逆透视变换转换为俯瞰视图，公式为：

式中，为相机的内参矩阵，/>是相机标定的外参矩阵，S为比例因子，/>是图像坐标系，/>为俯瞰视图下的全局坐标系，上述未知参数可通过相机标定得到；

S32基于滑动窗口的车道线像素提取：在俯瞰视图下，首先根据图像大小确定滑窗数量，滑窗高度以及滑窗宽度，然后将图像按行压缩，得到俯瞰视图下二值化图像的像素统计图，使统计图左半区域的最高点对应的横坐标作为左滑动窗口基点的初始横坐标，同理确定右半区域基点的初始横坐标。再根据基点坐标、滑窗宽度、滑窗高度确定滑窗边界，统计滑窗区域内的所有非零像素点的坐标，并将这些点的横坐标的平均值作为下一个滑动窗口的起始基点坐标，依次叠加至最后一个滑动窗口，从而得到俯瞰视图下车道线的有效像素。

进一步的，上述技术方案中，步骤S3中滑窗宽度为滑窗高度的2倍；而滑窗个数与滑窗高度则由图像大小确定，三者关系为：图片高度＝滑窗个数×滑窗高度。

进一步的，上述技术方案中，步骤S4包括如下具体步骤：

S41、车道线模型选取：选用抛物线作为车道线拟合的目标模型，公式如下：

y₁＝ax₁ ²+bx₁+c

x₁和y₁分别代表着图像矩阵的列数和行数，a，b和c是待求的未知参数；

S42、车道线拟合方法：基于选中的车道线模型，利用随机采样一致性算法对提取的车道线有效像素进行拟合，步骤如下：

S421、从被观测数据中随机抽取n个数据点作为曲线拟合时假设的正确数据；

S422、设置迭代的最大次数K，当循环次数i＜K时，用S421中的n个数据点计算出车道线模型a、b、c三个参数值，从而得到抛物线模型M；

S423、计算其他数据点到曲线M之间的距离d，并设定某一固定阈值t，当d＜t时则认为该点位车道线上的点，同时将车道线包含的点数加1，当总点数占整个有效数据点集的比例P超过某一阈值时，即认为本次估计的曲线满足条件，并将其标记位有效模型，并以P作为该有效曲线的评分；

S424、当d≥t时认为曲线模型不满足条件，则重复步骤S421至S423，重新进行样本的随机抽取和模型估计，直至模型满足要求或循环次数i达到最大次数K；

S425、最后比较各个有效曲线的评分大小，选出P值最大的抛物线模型作为最终车道线拟合模型。

进一步的，上述技术方案中，步骤S4中车道线数据总点数占整个有效数据点集的比例P超过70％时，则认定估计的有效曲线满足条件。

进一步的，上述技术方案中，步骤S5中d的取值通过测试获得。

与基于滑动窗口的车道线检测相比，基于动态姿势ROI的车道线检测算法的ROI区域可随车速和道路曲率动态变化，对各种道路工况有更强的适应性，鲁棒性也更好。此外还有效降低了算法的复杂度，有助于提高车道线检测算法的实时性。

综上所述，本发明的车道线检测方法具有以下优点：

一是鲁棒性好，能够减少路面颜色、阴影等干扰像素对车道线检测的影响，准确率高；二是加入了车道线跟踪算法，不仅减少了环境因素的干扰，同时大大减少了图像处理区域，提高算法的实时性。

附图说明

图1是本发明车道线检测方法的流程示意图。

图2是本发明图像预处理步骤的流程示意图。

图3是本发明逆透视变换后得到的俯瞰视图。

图4是本发明滑窗检测流程图。

图5是本发明滑窗检测的结果图示。

图6是本发明随机采样一致性算法流程图。

图7是本发明动态自适应ROI原理图。

图8是本发明的车道线跟踪算法的流程示意图。

图9是本发明的车道线检测结果图示。

图10为本发明俯瞰视图下二值化图像的像素统计图。

图11是本发明原始图像和截取图像的下半区域示范图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，下面结合实例和附图对本发明实现方法和原理进一步说明。

根据本发明实施的车道线检测方法，如图1所示，其包含以下几个步骤：

步骤一、利用车载摄像机获取道路图像；

步骤二、对步骤一获取的图像进行图像预处理：首先截取道路图像的下半区域(将道路图像从中间一分为二，下半部分为ROI区域，如图11(a)和(b)所示)作为初始感兴趣区域(Region of Interest，ROI)，之后对该区域分别进行灰度处理、颜色空间变换、梯度阈值过滤、颜色空间阈值过滤，最后得到多阈值过滤后的二值图。其中梯度阈值过滤是利用Sobel算子计算各像素位置的梯度幅值与方向，选择适当的阈值约束，得到梯度阈值过滤后的二值化图像；颜色空间阈值过滤是分别利用HLS、Lab和Luv颜色空间中S、b、L分量进行阈值分割，得到经颜色空间阈值过滤后的二值化图像，最后将梯度阈值过滤和基于颜色空间阈值过滤后的二值化图像结合。步骤二的具体流程如图2所示。

进一步的，上述技术方案中，步骤二中梯度阈值过滤包括沿x方向的梯度幅值过滤全局梯度幅值过滤以及方向梯度过滤，x方向梯度幅值阈值范围是[35，100]，全局梯度幅值阈值范围是[50,100]，方向梯度范围是[0.7,1.3]。

进一步的，上述技术方案中，步骤二中S通道阈值过滤范围是[180,255]，b通道阈值过滤范围是[155,200]，L通道阈值过滤范围是[-100,100]。

步骤三车道线像素提取，具体包括如下步骤：

1)为进一步降低环境噪声影响，将步骤二获取的道路的二值化图像通过逆透视变换转换位俯瞰视图，公式为：

式中，为相机的内参矩阵，/>是相机标定的外参矩阵，S为比例因子，/>是图像坐标系，/>为俯瞰视图下的全局坐标系，内参矩阵中fx和fy与焦距相关，而cx和cy是摄像机的光学中心在像素坐标系中的位置，对应着图像矩阵的中心坐标。而外参矩阵中各参数主要说明了车载摄像机相对于世界坐标系的安装角度。上述相机的内外参矩阵各参数可通过相机标定得到。经过逆透视变换后的俯瞰视图如图3所示。图3中，1为干扰像素、2为车道线的有效像素，是我们期望得到的目标像素。

2)基于滑动窗口的车道线像素提取：在俯瞰视图下，首先根据图像大小确定滑窗数量、滑窗高度以及滑窗宽度，然后将图像按行压缩，得到俯瞰视图下二值化图像的像素统计图(如图10所示)，使统计图内左半区域的最高点对应的横坐标作为左滑动窗口基点的初始横坐标，同理确定右半区域基点的初始横坐标。再根据基点坐标、滑窗宽度、滑窗高度确定滑窗边界，统计滑窗区域内的所有非零像素点的坐标，并将这些点横坐标的平均值作为下一个滑动窗口的起始基点坐标，依次叠加至最后一个滑动窗口，从而得到俯瞰视图下车道线的有效像素。基于滑动窗口的车道线像素提取(简称滑窗检测)流程如图4所示，检测结果如图5所示。其中2为有效像素，3为滑动窗口，4为拟合的车道线结果。

步骤四、车道线拟合，具体包括如下步骤：

1)车道线模型选取：选用抛物线作为车道线拟合的目标模型，公式如下：

y₁＝ax₁ ²+bx₁+c

x₁和y₁分别代表着图像矩阵的列数和行数，a，b和c是待求的未知参数。

2)车道线拟合方法：利用随机采样一致性算法(Random Sample Consensus,RANSAC)对步骤三提取的车道线有效像素进行拟合，该随机采样一致性算法的流程图如图6所示，其基本步骤如下：

(1)从被观测数据中随机抽取n个数据点作为曲线拟合时假设的正确数据；

(2)设置迭代的最大次数K，当循环次数i＜K时，用(1)中的n个数据点计算出车道线模型a、b、c三个参数值，从而得到抛物线模型M；

(3)计算其他数据点到曲线M之间的距离d，并设定某一固定阈值t，当d＜t时则认为给点位车道线上的点，同时将车道线包含的点数加1，当总点数占整个有效数据点集的比例S超过某一阈值时，即认为本次估计的曲线满足条件，并将其标记位有效模型，并以S作为该曲线的评分。

(4)当d≥t时，则重复步骤(1)至(3)，重新进行样本的随机抽取和模型估计，直至模型满足要求或循环次数i达到最大次数K。

(5)最后比较各个有效曲线的评分大小，选出S值最大的抛物线模型作为最终车道线拟合模型。

进一步的，上述技术方案中，步骤S4中n的取值为3即可求出车道线模型a，b，c的参数值。由于存在三个未知数a,b,c，通过3个数据点即可进行求解，所以在随机采样一致性算法中n取了3。

步骤五、车道线跟踪步骤：

在连续帧的车道线检测中，由于帧与帧之间具有一定的相似性，因此可利用动态自适应ROI(感兴趣区域)对当前帧的车道线位置进行预测，其原理图如图7所示。假设前一帧的检测到的车道线坐标位(X,Y)，将该坐标分别向左、右两个方向平移d个像素单位，然后以(X±d，Y)之间的带状区域作为当前帧的ROI，d的大小可随车速和道路曲率的变化而自适应调节。

为防止出现因为车道线缺失而导致的车道线漏检现象，本发明通过继承方法对车道线跟踪算法进行进一步完善，即当前动态自适应ROI内没有检测到车道线时，可直接将上一帧的检测结果继承下来。此外还设置了继承帧数阈值T_m，当漏检次数超过该阈值时，重新利用滑动窗口进行车道线检测。车道线跟踪算法的基本流程如图8所示。在车道线跟踪步骤完成后的车道线检测结果如图9所示。图9中各部分内容如下：2为车道线有效像素，4为车道线的拟合结果，5为由车道线跟踪算法确定的ROI区域边界。

优势对比：与基于滑动窗口的车道线检测相比，基于动态姿势ROI的车道线检测算法的ROI区域可随车速和道路曲率动态变化，对各种道路工况有更强的适应性，鲁棒性也更好。此外还有效降低了算法的复杂度，有助于提高车道线检测算法的实时性。根据实验测试对比，基于滑动窗口的车道线检测的单帧耗时为159ms，而，基于动态姿势ROI的车道线检测算法的单帧耗时37ms。

Claims

1.一种车道线检测方法，其特征在于以下几个步骤，

步骤一、通过车载摄像头采集原始道路图像；

步骤二、图像预处理：

基于多阈值过滤方法对原始的道路图像进行预处理，包括截取道路图像的下半区域作为初始感兴趣区域ROI、灰度处理、梯度阈值过滤、颜色空间阈值过滤，其中梯度阈值过滤是利用Sobel算子计算各像素位置的梯度幅值与方向，选择阈值约束，得到梯度阈值过滤后的二值化图像，梯度阈值过滤包括沿x方向的梯度幅值过滤全局梯度幅值过滤以及方向梯度过滤；颜色空间阈值过滤是分别利用HLS、Lab和Luv颜色空间中S、b、L分量进行阈值分割，得到经颜色空间阈值过滤后的二值化图像；最后将梯度阈值过滤和颜色空间阈值过滤后的二值化图像结合；

步骤三、车道线像素提取：

1）为进一步降低环境噪声影响，将道路的二值化图像通过逆透视变换转换为俯瞰视图，公式为：

式中，为相机的内参矩阵，/>是相机标定的外参矩阵，S为比例因子，/>是图像坐标系，/>为俯瞰视图下的全局坐标系，公式中未知参数通过相机标定得到；

2）基于滑动窗口的车道线像素提取：在俯瞰视图下，首先根据图像大小确定滑窗数量，滑窗高度以及滑窗宽度，然后将图像按行压缩，得到俯瞰视图下二值化图像的像素统计图，使统计图左半区域的最高点对应的横坐标作为左滑动窗口基点的初始横坐标，同理确定右半区域基点的初始横坐标；再根据基点坐标、滑窗宽度、滑窗高度确定滑窗边界，统计滑窗区域内的所有非零像素点的坐标，并将这些点横坐标的平均值作为下一个滑动窗口的起始基点坐标，依次叠加至最后一个滑动窗口，从而得到俯瞰视图下车道线的有效像素；

步骤四、车道线拟合：

1）车道线模型选取：选用抛物线作为车道线拟合的目标模型，公式如下：

；

和/>分别代表着图像矩阵的列数和行数，a，b和c是待求的未知参数；

2）车道线拟合方法：利用随机采样一致性算法RANSAC对提取的车道线有效像素进行拟合，其基本步骤如下：

（1）从被观测数据中随机抽取n个数据点作为曲线拟合时假设的正确数据；

（2）设置迭代的最大次数K，当循环次数i＜K时，用（1）中的n个数据点计算出车道线拟合的目标模型a、b、c三个参数值，从而得到抛物线模型M；

（3）计算其他数据点到曲线M之间的距离d，并设定某一固定阈值t，当d＜t时则认为该点为车道线上的点，同时将车道线包含的点数加1，当总点数占整个有效数据点集的比例S超过某一阈值时，即认为本次估计的曲线满足条件，并将其标记为有效模型，并以S作为该曲线的评分；

（4）当d≥t时，则重复步骤（1）至（3），重新进行样本的随机抽取和模型估计，直至模型满足要求或循环次数i达到最大次数K；

（5）最后比较各个有效曲线的评分大小，选出S值最大的抛物线模型作为最终车道线拟合模型；

步骤五、车道线跟踪：

在连续帧的车道线检测中，利用动态自适应ROI对当前帧的车道线位置进行预测；假设前一帧的检测到的车道线坐标为（X,Y），将该坐标分别向左、右两个方向平移d个像素单位，然后以（X±d，Y）之间的带状区域作为当前帧的ROI，d的大小随车速和道路曲率的变化而自适应调节；

当前动态自适应ROI内没有检测到车道线时，直接将上一帧的检测结果继承下来；此外还设置了继承帧数阈值T_m，当漏检次数超过该阈值时，重新利用滑动窗口进行车道线检测。

2.如权利要求1所述的车道线检测方法，其特征在于，步骤二中x方向梯度幅值阈值范围是[35，100]，全局梯度幅值阈值范围是[50,100]，方向梯度范围是[0.7,1.3]。

3.如权利要求1所述的车道线检测方法，其特征在于，步骤二中S通道阈值过滤范围是[180,255]，b通道阈值过滤范围是[155,200]，L通道阈值过滤范围是[-100,100]。

4.如权利要求1所述的车道线检测方法，其特征在于，步骤三中滑窗宽度为滑窗高度的2倍；而滑窗个数与滑窗高度则由图像大小确定，三者关系为：图片高度=滑窗个数×滑窗高度。

5.如权利要求1所述的车道线检测方法，其特征在于，步骤四中n的取值为3即可求出车道线模型a，b，c的参数值。

6.如权利要求1所述的车道线检测方法，其特征在于，步骤四中车道线数据总点数占整个有效数据点集的比例S超过70%时，则认定估计的曲线满足条件。

7.如权利要求1所述的车道线检测方法，其特征在于，步骤五中d的取值通过测试获得。