CN104008387A - 一种基于特征点分段线性拟合的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于特征点分段线性拟合的车道线检测方法，主要包括以下步骤：进行图像读取；对读取的图像进行感兴趣区域读取；对提取的感兴趣区域图像进行边缘提取；对感兴趣道路边缘图像二值化；对二值化后的边缘图像提取特征点，得到候选特征点向量集合；对候选特征点向量集合进行滤波，得到滤波后的特征点向量；对滤波后的特征点向量采用最小二乘法进行分段线性拟合，得到候选车道线方程；识别车道线方程；根据视频帧的特点，对已识别出的车道线进行跟踪，输出最终的车道线。该方法能有效检测出道路的车道线，具有良好的抗干扰能力和容错性，同时该方法运算量小，实现简单，实用性较强。

Description

一种基于特征点分段线性拟合的车道线检测方法

技术领域

本发明涉及智能交通领域，尤其涉及一种基于特征点分段线性拟合的车道线检测方法。

背景技术

作为移动机器人的一种，智能车辆可广泛应用于工业、农业、军事和公路公共交通等领域，具有重要的研究和应用价值。目前，虽然国内外在智能车辆研究方面取得了实质性进展，但从实用性角度来看，目前的智能车辆距离实现完全意义的自主驾驶还有一定差距。为实现自主导航，现有智能车普遍将视觉导航作为其主要的导航方式。在智能车辆处理的众多视觉信息中，车道线信息作为关键的道路信息，其检测技术也是实现智能车视觉导航的核心技术之一。

目前，针对车道线检测问题提出的众多算法可基本上分为基于特征和基于模型的方法。其中，基于特征的方法主要是利用车道线具有的颜色特征、几何特征、尺寸特征和形状特征等对车道线进行提取。这类方法对道路形状不敏感，算法鲁棒性高，但该类方法对阴影和水迹较为敏感，算法计算量较大，实时性较差。

基于模型的方法首先将道路图像转化为灰度图像，通过对图像进行预处理，提取出图像边缘，然后通过对车道线建模，将道路检测问题转换为道路模型求解问题，最终检测出车道线。这类方法检测出的道路较完整，且一般只用较少的参数即可表示整个道路。该类方法对阴影、水迹等具有较强的抗干扰能力，方法研究较多且应用较广泛。

在上述两类方法中，常采用Hough变换提取直线特征作为车道线识别的依据。而实现Hough变换的算法复杂度较高且内存需求较大，不利于提高算法实时性。

发明内容

本发明的目的就是为了解决上述问题，提供了一种基于特征点分段线性拟合的车道线检测方法，首先对输入的道路图像进行预处理；然后提取出道路图像中与车道线相关的特征点并根据提取出的特征点采用最小二乘法对车道线进行分段线性拟合，以检测出车道线；最后根据检测出的车道线对下一帧道路图像进行车道线跟踪。该方法能有效检测出结构化道路的车道线，具有良好的抗干扰能力和容错性。同时该方法运算量小，实现简单，实用性较强。

为了实现上述目的，本发明采用如下技术方案：

一种基于特征点分段线性拟合的车道线检测方法，主要包括以下步骤：进行图像读取；对读取的图像进行感兴趣区域读取；对提取的感兴趣区域图像进行边缘提取；对提取的边缘图像进行二值化处理；对二值化后的边缘图像提取特征点，得到候选特征点向量集合；对得到的候选特征点向量集合进行滤波，得到滤波后的特征点向量集合。

对滤波后的特征点向量进行分段拟合，得到车道线方程；判断是否识别出车道线方程；对下一帧视频图像中的车道线进行跟踪，输出最终的车道线检测结果。

具体步骤如下：

步骤(1)：开始，读取图像。

步骤(2)：将图像中的感兴趣区域提取出来，并将感兴趣区域图像保存到相应位置。主要通过对图像进行剪裁，提取出结构化道路图像中的有效道路区域，即车辆可行驶区域的图像，删除非道路区域以便后续处理。

步骤(3)：对提取到的感兴趣区域用Sobel算子提取边缘图像。

步骤(4)：对提取到的边缘图像采用阈值法进行二值化，得到二值化的感兴趣区域道路边缘图像。

步骤(5)：对二值化的感兴趣区域道路边缘图像进行特征点提取，得到两个候选特征点向量集合。

步骤(6)：对两个候选特征点向量集合进行滤波去除噪声后，得到滤波后的两个特征点向量集合。

步骤(7)：对两个特征点向量集合采用最小二乘法进行分段拟合。

步骤(8)：判断两个特征点向量集合拟合是否完成，如果完成则进入步骤(9)；如果未完成则返回步骤(7)。

步骤(9)：对得到的多条拟合直线判断以识别出车道线方程。

步骤(10)：判断是否识别出车道线方程，如果是则转步骤11，如果否则返回步骤(9)。

步骤(11)：根据识别出的车道线方程，对下一帧视频图像中的车道线进行跟踪。

步骤(12)：输出最终的车道线检测结果。

所述步骤(5)的特征点提取方法为：根据车道线具有两条平行且相距较近边缘的特点，通过提取距离图像中心线较近的边缘点实现特征点的提取。

所述步骤(6)的对两个候选特征点向量集合进行滤波的方法为通过设置阈值并计算由步骤(5)得到的水平方向特征点间的距离实现特征点的滤波。

所述步骤(7)中对特征点向量集合采用最小二乘法进行分段拟合的方法为：通过采用分段拟合的方法对提取出的特征点进行直线拟合。对给定的特征点，通过设置拟合误差，采用最小二乘法自动实现特征点的直线拟合。

所述步骤(7)的具体方法为：

7-1)设置最大拟合误差predErr、数据步长step；初始化分段初始数据序号Ninit＝1和分段结束数据序号Nend＝1。

7-2)令分段结束数据序号Nend＝Ninit+step，采用最小二乘法对序号在Ninit和Nend间的特征点集Pl_Ninit,Nend＝{pl_Ninit,pl_Ninit+1,…,pl_Nend}进行函数拟合。

7-3)当一个特征点分段确定后，更新分段初始数据序号Ninit＝Nend+1；当满足拟合误差的特征点集的结束数据序号Nend＝k时，特征点数据分段拟合过程结束，否则转到步骤7-2)继续进行分段拟合。

所述7-2)的具体方法为：

假设拟合直线方程表示为y＝ax+b，特征点集Pl_Ninit,Nend内的数据可表示为：

Y＝Hα    (1)

其中，a和b为直线拟合系数，Y＝[y_Ninit,y_Ninit+1,…y_Nend]^T，α＝[a,b]^T，H＝[h_Ninit,h_Ninit+1,…,h_Nend]^T，h_i＝[x_i,1]^T，Ninit≤i≤Nend，x_i表示特征点pl_i的横坐标。

采用最小二乘法可得式(1)中α的估计值和模型输出值Y的估计值分别为：

$\widehat{\mathrm{\α}}={\left(H^{T}H\right)}^{-1}{H}^{T}Y$

$\hat{Y}=H\widehat{\mathrm{\α}}$

设拟合特征点集Pl_Ninit，Nend的最大拟合误差为y_i表示特征点pl_i的纵坐标值，表示y_i的估计值。

若y_emax≤predErr，则更新分段结束数据序号Nend＝Nend+step；否则，Nend＝Nend-1，继续对数据段内的特征点集进行数据拟合直到满足拟合误差为止。

当特征点集拟合误差满足要求后，记录特征点序号Ninit和Nend间的特征点作为一个特征点分段。

所述步骤(9)中对得到的多条拟合直线判断以识别出车道线方程的方法为：对拟合出的多条直线，通过判断各直线与图像中心线间的距离提取具有最小距离的直线作为车道线方程。

所述步骤(11)中对车道线进行跟踪的方法为：根据前一帧已检测到的车道线，通过设置固定的搜索区域实现当前视频帧的车道线检测。若在搜索区域内无法实现车道线检测，则作为异常情况进行相应处理。

所述感兴趣区域指结构化道路图像中的有效道路区域，即道路图像中车辆可行驶和可视道路区域的图像。

本发明的有益效果：本发明根据结构化车道线的特点，通过提取车道线特征点，采用最小二乘法对特征点进行拟合，从而实现了结构化道路车道线的检测。该方法能有效检测出结构化道路的车道线，具有良好的抗干扰能力和容错性，该方法运算量小，实现简单，具有一定的通用性和实用性。该发明的成果可直接应用于智能车辆，移动机器人等领域，具有广阔的应用前景。

附图说明

图1为本发明一种基于特征点分段线性拟合的车道线检测方法方案流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

实现本发明的系统结构所需的基本的硬件条件为：一台主频为2.4GHZ,内存为1G的计算机，所需软件条件为：编程环境为Visual C++6.0。

一种基于特征点分段线性拟合的车道线检测方法，具体步骤如下：

步骤(1)：开始，读取图像。

步骤(2)：将图像中的感兴趣区域提取出来，并将感兴趣区域图像保存到相应位置。主要通过对图像进行剪裁，提取出结构化道路图像中的有效道路区域，即车辆可行驶区域的图像，删除非道路区域图以便后续处理。

步骤(3)：对提取到的感兴趣区域用Sobel算子提取边缘图像。

步骤(4)：对提取到的边缘图像采用阈值法进行二值化，得到二值化的感兴趣区域道路边缘图像。

步骤(5)：对二值化的感兴趣区域道路边缘图像进行特征点提取，得到两个候选特征点向量集合。

步骤(6)：对两个候选特征点向量集合进行滤波去除噪声后，得到滤波后的两个特征点向量集合。

步骤(7)：对特征点向量集合采用最小二乘法进行分段拟合。

步骤(8)：判断两个特征点向量集合拟合是否完成，如果完成则进入步骤(9)；如果未完成则返回步骤(7)。

步骤(9)：对得到的多条拟合直线判断以识别出车道线方程。

步骤(10)：判断是否识别出车道线方程，如果是则转步骤11，如果否则返回步骤(9)。

步骤(11)：根据识别出的车道线方程，对下一帧视频图像中的车道线进行跟踪。

步骤(12)：输出最终的车道线检测结果。

所述步骤(5)的特征点提取方法为：根据车道线具有两条平行且相距较近边缘的特点，通过提取距离图像中心线较近的边缘点实现特征点的提取。

步骤(5-1)以ImB的中线l/2为分界线，将ImB分成左右两个图像ImBL和ImBR，并设置ImB坐标轴。

步骤(5-2)按从上到下的顺序分别统计ImBL和ImBR中离l/2中线最近边缘点和次近边缘点的距离值以及最近边缘点的坐标。假设ImBL第i行距离中线最近的边缘点坐标为pl_i＝(x_i,y_i)，距离值为dis_1,i＝l/2-x_i，次近边缘点距离中线的距离值为dis_2i，则可生成候选特征点向量PL_i＝[dis_2,i,dis_1,i,x_i,y_i]。分别统计ImBL和ImBR每一行的特征点向量，生成特征点集合PL＝{PL₁,PL₂,…,PL_h}和PR＝{PR₁,PR₂,…,PR_h}。特别地，当ImBL或ImBR某行中无距离中线最近或次近的边缘点，则该行对应的特征点向量为空。

所述步骤(6)的对两个候选特征点向量集合进行滤波的方法为通过设置阈值并计算由步骤(5)得到的水平方向特征点间的距离实现特征点的滤波。

步骤(6-1)设置特征点向量中最近边缘点距离dis₁与次近边缘点距离dis₂差值的最大值dis_max，当PL中的第i个特征点向量PL_i＝[dis_2,i,dis_1,i,x_i,y_i]满足dis_2,i＞0且dis_2,i-dis_1,i≤dis_max时，则保留PL_i，否则去除该特征点向量PL_i。

步骤(6-2)假设经上一步滤波后得到的PL和PR分别包含m和n个特征点向量，即PLf₁＝{PL₁,PL₂,…,PL_m}、PRf₁＝{PR₁,PR₂,…,PR_n}，其中PL_i和PR_j中所对应的下标i和j分别表示特征点向量序号，1≤i≤m，1≤j≤n。对于PLf₁，依次取其中的特征点向量PL_i，当i＝1时，PLf₁′＝{PL₁}；当i>1时，若|dis_1,i-dis_1,i-1|≤disn_max，则将PL_i保存到PLf₁′；若|dis_1,i-dis_1,i-1|＞disn_max，则统计PLf₁′中特征点的个数num，若num＜n_min,则从PLf₁中去除PLf₁′所包含的特征点，清空PLf₁′。其中，disn_max为设置的相邻特征点最近距离值之差的最大值，即n_min为设置的最少相邻特征点的个数。

经上述滤波过程，可分别获得PL和PR所对应滤波后的特征点集PLf和PRf。

所述步骤(7)中对特征点向量集合采用最小二乘法进行分段拟合的方法为：通过采用分段拟合的方法对提取出的特征点进行直线拟合。对给定的特征点，通过设置拟合误差，采用最小二乘法自动实现特征点的直线拟合。

步骤(7-1)初始化。设置最大拟合误差predErr、数据步长step；初始化分段初始数据序号Ninit＝1和分段结束数据序号Nend＝1。为了提高拟合效率，一般step取step≥2。

步骤(7-2)分段拟合。令分段结束数据序号Nend＝Ninit+step，采用最小二乘法对序号在Ninit和Nend间的特征点集Pl_Ninit,Nend＝{pl_Ninit,pl_Ninit+1,…,pl_Nend}进行函数拟合。假设拟合直线方程表示为y＝ax+b，其中，a和b为直线待定系数。特征点集Pl_Ninit,Nend内的数据可表示为：

Y＝Hα    (1)

其中，Y＝[y_Ninit,y_Ninit+1,…y_Nend]^T，α＝[a,b]^T，H＝[h_Ninit,h_Ninit+1,…,h_Nend]^T，h_i＝[x_i,1]^T，Ninit≤i≤Nend，采用最小二乘法可得式(1)中α的估计值和Y的估计值分别为：

$\widehat{\mathrm{\α}}={\left(H^{T}H\right)}^{-1}{H}^{T}Y$

$\hat{Y}=H\widehat{\mathrm{\α}}$

设拟合特征点集Pl_Ninit,Nend的最大拟合误差为

若y_emax≤predErr，则更新分段结束数据序号Nend＝Nend+step；否则，Nend＝Nend-1，继续对数据段内的特征点集进行数据拟合直到满足拟合误差为止。当特征点集拟合误差满足要求后，记录特征点序号Ninit和Nend间的特征点作为一个数据分段。

步骤(7-3)拟合结束。当一个特征点分段确定后，更新分段初始数据序号Ninit＝Nend+1。当满足拟合误差的特征点集的结束数据序号Nend＝k时，特征点数据分段拟合过程结束，否则转到步骤(7-2)继续进行分段拟合。

所述步骤(9)中对得到的多条拟合直线判断以识别出车道线方程的方法为：对拟合出的多条直线，通过判断各直线与图像中心线间的距离提取具有最小距离的直线作为车道线方程。

步骤(9-1)求直线特征向量。假设特征点集Pl拟合得到N≥2条直线方程，其中直线L_i对应的特征点集合为Pl_i，1≤i≤N，假设Pl_i内包含n_i个特征点，求出该n_i个特征点与道路图像l/2中线距离值的平均值为d_i。为表示直线L_i的特性，本文定义直线L_i的特征向量为FL_i＝[d_i,n_i,a_i,b_i]。

步骤(9-2)直线方程提取。求出特征点集Pl拟合的所有N条直线的特征向量，假设第j条直线L_j的距离平均值d_j满足且n_j≥Ln_min，则选择直线L_j为车道线；否则，删除L_j，继续判断其它直线是否满足要求。其中，Ln_min为设定的车道线最少特征点个数。

所述步骤(11)中对车道线进行跟踪的方法为：根据前一帧已检测到的车道线，通过设置固定的搜索区域实现当前视频帧的车道线检测。若在搜索区域内无法实现车道线检测，则作为异常情况进行相应处理。

步骤(11-1)根据前一图像帧中车道线的位置，设置当前图像帧车道线的搜索区域；

步骤(11-2)对车道线跟踪区域进行预处理，即求边缘并进行二值化，然后提取出跟踪区域内的候选车道线特征点并进行相应的特征点滤波。

步骤(11-3)对提取出的特征点采用最小二乘法进行数据拟合求出候选的车道线直线方程。若得到多条候选车道线方程，假设上一帧相应位置所对应车道线方程的斜率为a，则分别比较a与每条候选直线方程的斜率，取斜率与a最接近的直线方程作为当前数据帧车道线的直线方程。

步骤(11-4)若根据车道线跟踪区域的信息无法提取车道线方程，则将帧图像分成左右两个图像ImBL和ImBR，采用步骤(11-2)和(11-3)的方法分别提取该两个图像内的车道线方程。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于特征点分段线性拟合的车道线检测方法，其特征是：主要包括以下步骤： 

进行图像读取；对读取的图像进行感兴趣区域读取；对提取的感兴趣区域图像进行边缘提取；对提取的边缘图像进行二值化处理；对二值化后的边缘图像提取特征点，得到候选特征点向量集合；对得到的候选特征点向量集合进行滤波，得到滤波后的特征点向量集合； 

对滤波后的特征点向量进行分段拟合，得到车道线方程；判断是否识别出车道线方程；对下一帧视频图像中的车道线进行跟踪，输出最终的车道线检测结果。 

2.如权利要求1所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，具体步骤如下： 

步骤(1)：开始，读取图像； 

步骤(2)：将图像中的感兴趣区域提取出来，并将感兴趣区域图像保存到相应位置； 

步骤(3)：对提取到的感兴趣区域用Sobel算子提取边缘图像； 

步骤(4)：对提取到的边缘图像采用阈值法进行二值化，得到二值化的感兴趣区域道路边缘图像； 

步骤(5)：对二值化的感兴趣区域道路边缘图像进行特征点提取，得到两个候选特征点向量集合； 

步骤(6)：对两个候选特征点向量集合进行滤波去除噪声后，得到滤波后的两个特征点向量集合； 

步骤(7)：对特征点向量集合采用最小二乘法进行分段拟合； 

步骤(8)：判断两个特征点向量集合拟合是否完成，如果完成则进入步骤(9)；如果未完成则返回步骤(7)； 

步骤(9)：对得到的多条拟合直线判断以识别出车道线方程； 

步骤(10)：判断是否识别出车道线方程，如果是则转步骤11，如果否则返回步骤(9)； 

步骤(11)：根据识别出的车道线方程，对下一帧视频图像中的车道线进行跟踪； 

步骤(12)：输出最终的车道线检测结果。 

3.如权利要求2所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述步骤(5)的特征点提取方法为：根据车道线具有两条平行且相距较近边缘的特点，通过提取距离图像中心线较近的边缘点实现特征点的提取。 

4.如权利要求2所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述步骤(6)的对特征点滤波的方法为：对两个候选特征点向量集合进行滤波的方法为通过设 置阈值并计算由步骤(5)得到的水平方向特征点间的距离实现特征点的滤波。 

5.如权利要求2所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述步骤(7)中对特征点向量集合采用最小二乘法进行分段拟合的方法为：通过采用分段拟合的方法对提取出的特征点进行直线拟合，对给定的特征点，通过设置拟合误差，采用最小二乘法自动实现特征点的直线拟合。 

6.如权利要求5所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述步骤(7)的具体方法为： 

7-1)设置最大拟合误差predErr、数据步长step；初始化分段初始数据序号Ninit＝1和分段结束数据序号Nend＝1； 

7-2)令分段结束数据序号Nend＝Ninit+step，采用最小二乘法对序号在Ninit和Nend间的特征点集Pl_Ninit,Nend＝{pl_Ninit,pl_Ninit+1,…,pl_Nend}进行函数拟合； 

7-3)当一个特征点分段确定后，更新分段初始数据序号Ninit＝Nend+1；当满足拟合误差的特征点集的结束数据序号Nend＝k时，特征点数据分段拟合过程结束，否则转到步骤(7-2)继续进行分段拟合。 

7.如权利要求6所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述7-2)的具体方法为： 

假设拟合直线方程表示为y＝ax+b，特征点集Pl_Ninit,Nend内的数据可表示为： 

Y＝Hα    (1) 

其中，a和b为直线拟合系数，Y＝[y_Ninit,y_Ninit+1,…y_Nend]^T，α＝[a,b]^T，H＝[h_Ninit,h_Ninit+1,…,h_Nend]^T，h_i＝[x_i,1]^T，Ninit≤i≤Nend，x_i表示特征点pl_i的横坐标值； 

采用最小二乘法可得式(1)中α的估计值和模型输出值Y的估计值分别为： 

设拟合特征点集Pl_Ninit,Nend的最大拟合误差为yi表示特征点pl_i的纵坐标值，表示y_i的估计值； 

若y_emax≤predErr，则更新分段结束数据序号Nend＝Nend+step；否则，Nend＝Nend-1，继续对数据段内的特征点集进行数据拟合直到满足拟合误差为止； 

当特征点集拟合误差满足要求后，记录特征点序号Ninit和Nend间的特征点作为一个特征点分段。 

8.如权利要求2所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述步骤(9)中对得到的多条拟合直线判断以识别出车道线方程的方法为：对拟合出的多条直线，通过判断各直线与图像中心线间的距离提取具有最小距离的直线作为车道线方程。 

9.如权利要求2所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述步骤(11)中对车道线进行跟踪的方法为：根据前一帧已检测到的车道线，通过设置固定的搜索区域实现当前视频帧图像的车道线检测；若在搜索区域内无法实现车道线检测，则将帧图像分成左右两个图像ImBL和ImBR，分别提取该两个图像内的车道线方程。 

10.如权利要求1或2所述的一种基于特征点分段线性拟合的车道线检测方法，其特征是，所述感兴趣区域指结构化道路图像中的有效道路区域，即道路图像中车辆可行驶和可视道路区域的图像。