CN104408460A - 一种车道线检测及跟踪检测方法 - Google Patents

Abstract

本发明公开了一种车道线检测及跟踪检测方法，属于图像处理技术领域。本发明的车道线检测方法包括，基于单应性矩阵H对预处理后的图像进行进行逆透视变换处理，再将处理后的图像进行分块和直线检测，然后将最上和最小图像块的各直线的端点作为拟合点，得到一条光滑的曲线x，并基于曲线x权值，选取权值最大的曲线作为当前帧图像的车道线对。本发明的车道线跟踪检测方法包括，首先基于上述检测方法输出第一帧图像的车道线对，后续帧的车道线则基于循环结构跟踪器检测出当前帧的目标区域来确定，该跟踪器的参数来自上一帧的车道线坐标；当检测失误时，则再次使用上述检测方法输出一帧。本发明用于车道线检测处理，其鲁棒性，实时性，识别率高。

Description

一种车道线检测及跟踪检测方法

技术领域

本发明属于图像处理技术领域，具体涉及车道线的检测。

背景技术

每年全世界范围内都有很多人因为车辆行驶偏离而丧生于车祸当中，为了避免这样的事情发生，人们提出了一种智能辅助驾驶系统，能够在一定程度上预警驾驶员，达到减少此类事故发生的效果。车道线检测便是智能驾驶辅助系统中很重要的一部分，在此领域已经提出了一系列获得良好效果的算法，其中包括基于模板、基于纹理、基于区域的算法。

为实时性的限制，即使一些著名的算法有较高的检测和跟踪率，但因为它们需要耗费大量的处理时间，所以很难应用到实际当中，比如Yue Wang利用B-Snake进行车道线检测的算法。一些算法在光照较弱和车道线缺失的情况下也能够获得较好的检测效果，但是对于弯道检测却有较高的错误率，比如Massimo Bertozzi利用立体视觉系统进行车道线检测的算法。

其他的一些算法，比如Canny/Hough Estimation of Vanishing Points(CHEVP)，该算法通过在车道检测图片上确定消失点的位置来定位车道线，但是该算法中通过消失点确定车道线的鲁棒性很弱，因为该算法假设每个区域内的车掉线都相交于同一个消失点，但是由于噪声和其他干扰的原因，每个区域内的真实车道线并不会交于同一个消失点，以至于其鲁棒性很弱，另外，该算法还无法处理车道线缺失的情况，并且对于初始化的参数比较敏感，鲁棒性较弱。

发明内容

本发明的目的在于，针对现有的车道线检测方法存在的缺陷，提出一种鲁棒性强的车道线检测方法。

本发明的车道线检测方法，包括下列步骤：

步骤1：采集道路视频图像；

步骤2：基于所述视频图像的前N(N≥2)帧图像，获取单应性矩阵H：

分别将每帧图像转换为灰度图像，并进行边缘检测输出边缘图像；并将边缘图像横向分为T(T≥2)个图像块，每个边缘图像块的宽度等于边缘图像的宽度；

对每个边缘图像，分别进行初始化消失线检测：对每个图像块进行直线检测，得到每个图像块所对应的直线集；并基于直线集中的每对直线的交点确定边缘图像的消失线的坐标；基于预设的滑动窗口，检测出N个消失线最集中的纵坐标区域，取该纵坐标区域中任意纵坐标为当前所有边缘图像的初始化消失线坐标；

在图像I_i的初始化消失线下方的图像块中确定一对车道线段对，其中图像I_i表示前N帧图像中的任意一帧图像；

定义所述车道线段对的端点为控制点；在垂直于边缘图像的水平坐标上确定两条平行的直线l1和l2，定义为所述车道线段对的坐标转换线段，分别在直线l1和l2上任意取两点作为对应控制点的转换点，基于所述控制点和转换点，计算单应性矩阵H；

步骤3：对道路视频图像的每帧图像进行车道检测处理：

步骤301：对当前帧图像进行灰度处理，并进行边缘检测输出边缘图像；

步骤302：基于所述单应性矩阵H对所述边缘检测图像进行逆透视变换处理：在边缘检测图像取相交点以下的各像素点，基于所述单应性矩阵H进行逆透视变换，得到图像I_con；

步骤303：将图像I_con横向分为K个图像块，其中各图像块的宽度等于图像I_con的宽度，用k从上到下用对各图像块进行标识，其中k＝1,2,…,K，且K大于等于3；

分别对图像块进行直线检测，得到各图像块的直线集，并存储每条直线中点坐标和直线长度；

将图像块1和图像块K所对应的各直线集的每条直线的端点作为拟合点，从图像块1和图像块K中分别取两个拟合点组成一组，基于每组拟合端点得到一条光滑的曲线x，若曲线x与图像I_con底端的交点在图像I_con的中心点右边，则定义为右曲线；否则定义为左曲线；

基于公式分别计算每条曲线x的权值，其中p表示直线中点，θ表示图像块2到图像块K-1的所有直线中点(共K-2个图像块中所有中点)，d_x(p)表示直线中点到曲线x的直线距离，当d_x(p)小于等于3个像素点时，P(d_x(p)＜3)的取值为1，否则为0；表示经过直线中点p的直线的长度；

步骤304：从各左右曲线中，分别取最大权值的曲线为当前图像I_con的车道线对，根据单应性矩阵H进行坐标变换，输出当前帧图像的车道线对。

与现有技术相比，本发明的检测方法精确度高，对初始化参数不较敏感。

为了进一步提升车道检测处理的处理效率，本发明在上述车道检测处理增加了跟踪处理步骤，通过检测和跟踪的协调处理得到车道线的准确位置，本发明的车道线跟踪检测方法包括下列步骤：

步骤S1：采集道路视频图像；

步骤S2：基于视频图像的前N(N≥2)帧图像，获取单应性矩阵H：

步骤S3：基于上述步骤3的检测处理过程，输出道路视频图像的第一帧图像的车道线对；

步骤S4：检测输出所述道路视频图像第t帧图像的车道线，其中t大于1：

基于上一帧的车道线对确定上一帧的目标区域(左右车道线分别对应一个目标区域)：包括车道线对的左车道线的最小矩形区域，以及包括车道线对的右车道线的最小矩形区域；

基于颜色核函数将上一帧的目标区域内各像素值的维数转换为11维像素值，再根据主成分分析方法PCA，将得到的11维像素值转换为2维像素值；

根据上一帧的目标区域，基于循环结构跟踪器检测出当前帧的目标区域；

对当前帧的目标区域进行Gaussian-like滤波处理输出拟合点，将该拟合点拟合成光滑曲线，得到当前帧的车道线对。

为了能实现对弯道的检测，本发明的车道线跟踪检测方法还包括步骤S5：判断当前帧与上一帧的车道线交点的距离差是否小于或等于预设阈值，若是，基于所述步骤S4对下一帧图像进行车道线检测；否则，基于本发明的车道线检测方法中的步骤3对下一帧图像进行车道线检测，即基于当前帧和上一帧的对比信息，判断下一帧是采用跟踪处理(步骤S4)，还是检测处理(本发明的车道线检测方法中的步骤3)。

另外，为了适应对阴影、遮挡情况的车道线检测，本发明的车道线跟踪检测方法的步骤S5还包括，若当前帧与上一帧的车道线交点的距离差小于或等于预设阈值，继续判断当前帧与上一帧的车道线的直方图的差值是否小于或等于预设阈值，若是，基于所述步骤S4对下一帧图像进行车道线检测；否则，基于本发明的车道线检测方法中的步骤3对下一帧图像进行车道线检测。

综上所述，本发明的有益效果是：车道线检测处理的鲁棒性，实时性，识别率高，且可以用于弯道检测，另外对阴影、遮挡情况的车道线检测也能适用。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明具体实施方式的处理流程图；

图2是本发明具体实施方式中，基于单应性矩阵H对边缘检测图像进行逆透视变换处理的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

首先利用摄像头采集道路视频图像，产生连续的视频流；

然后，基于视频图像的前N(N≥2)帧图像，获取单应性矩阵H，基于现有的车道线检测处理步骤，分别确定每帧图像所对应的消失线坐标，再基于预设的滑动窗口(窗口大小可自行基于检测的精细度进行设定，本具体实施方式中，设定高度为5，宽度为1)，检测出N个消失线最集中的纵坐标区域，取该区域的任意纵坐标为前N帧的初始化消失线坐标；在图像I_i(表示前N帧图像中的任意一帧图像)的初始化消失线下方的任意图像块中确定一对车道线段对，如图1-a中所示的由点P11和点P12所构成的线段、点P21和点P22所构成的线段；定义该车道线段对的端点(点P11、点P12、点P21、点P22)为控制点；在垂直于边缘图像的水平坐标上确定两条平行的直线l1和l2，定义为当前车道线段对的坐标转换线段，分别在直线l1和l2上任意取两点作为对应控制点的转换点，即点Q11为点P11的转换点，点Q21为点P21的转换点，基于坐标的转换对应关系 $\left|\begin{array}{cc}P11& P12\\ P21& P22\end{array}\right|\×H=\left|\begin{array}{cc}Q11& Q12\\ Q21& Q22\end{array}\right|,$ 可计算得到单应性矩阵H，用于后续车道线检测处理时的逆透视变换处理。

参加图2，本具体实施方式中车道线的检测处理具体为：

S100：获取一帧图像；

S200：判断检测标志位DETE(初始值设置为1)是否为1，若是，则执行步骤S300；否则执行步骤S800；

S300：将当前图像转换为灰度图像，并进行边缘检测输出边缘图像；

S400：基于单应性矩阵H对边缘检测图像进行逆透视变换处理：在边缘检测图像取相交点以下的各像素点，基于所述单应性矩阵H进行逆透视变换，得到图像I_con，即根据矩阵H将边缘图像转化为世界坐标下的3-D图像中Z＝0的切面图，如图1-b所示(图1-b为图1-a的Z＝0的切面图)。

S500：将图像I_con横向分为K(K与预处理时划分块数相同)个图像块，其中各图像块的宽度等于图像I_con的宽度，用k从上到下用对各图像块进行标识，其中k＝1,2,…,K，且K≥3,分别对图像块进行直线检测，得到各图像块的直线集，并存储每条直线中点坐标和直线长度；

S600：将图像块1和图像块K所对应的各直线集的每条直线的端点作为拟合点，从图像块1和图像块K中分别取两个拟合点组成一组，基于每组拟合端点得到一条光滑的曲线x，若曲线x与图像I_con底端的交点在图像I_con的中心点右边，则定义为右曲线；否则定义为左曲线；

基于检测函数分别计算每条曲线x的权值，其中p表示直线中点，θ表示图像块2到图像块K-1的所有直线中点(共K-2个图像块中所有中点)，d_x(p)表示直线中点到曲线x的直线距离，当d_x(p)小于等于3个像素点时，P(d_x(p)＜3)的取值为1，否则为0；表示经过直线中点p的直线的长度；

从各左右曲线中，分别取最大权值的曲线为当前图像I_con的车道线对；

S700：根据单应性矩阵H对当前图像I_con的车道线对进行坐标变换，输出当前帧图像的车道线对，并将标志位DETE置为0；

S800：基于上一帧的目标区域的图像信息更新循环结构跟踪器的参数信息；

所述目标区域为：包括车道线对的左车道线的最小矩形区域，以及包括车道线对的右车道线的最小矩形区域；

基于颜色核函数(具体可参考文献：Learning Color Names for Real-World Applications,IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.18,NO.7,JULY 2009)将上一帧的目标区域内各像素值的维数转换为11维像素值，再根据主成分分析方法PCA(PrincipalComponent Analysis)，将得到的11维像素值转换为2维像素值，得到上一帧的目标区域的图像信息，将11维像素值转换为2维像素值是为了降低跟踪检测器处理的复杂度；

S900：根据当前循环结构跟踪器参数，基于循环结构跟踪器检测出当前帧的目标区域；

S100：对得到的当前帧的目标区域进行Gaussian-like滤波处理输出拟合点，将该拟合点拟合成光滑曲线，得到当前帧的车道线对；

S110：判断检测是否失误，即首先判断当前帧与上一帧的车道线交点的距离差是否小于或等于预设阈值(通常可设置为5-10)，若是，则继续判断当前帧与上一帧的车道线的直方图(即不同像素值所报考的像素点个数所构成的直方图)的差值是否小于或等于预设阈值(通常可设置为20-40)，若两项均小于或等于预设阈值，则判断为检测正确；若其中一项大于预设阈值，则判断为检测失误；当检测失误时，执行步骤S120；检测正确时，执行步骤S130；

S120：将标志位DETE置为1，并执行步骤S140；

S130：将标志位DETE置为0，并执行步骤S140；

S140：判断是否结束检测，若否，则执行步骤S100。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (4)

1.一种车道线检测方法，其特征在于，包括下列步骤：

步骤1：采集道路视频图像；

步骤2：基于所述视频图像的前N帧图像，获取单应性矩阵H，其中N大于等于2：

分别将每帧图像转换为灰度图像，并进行边缘检测输出边缘图像；将所述边缘图像横向分为T个图像块，T大于等于2，所述边缘图像块的宽度等于边缘图像的宽度；

对每个边缘图像，分别进行初始化消失线检测：对每个图像块进行直线检测，得到每个图像块所对应的直线集；并基于所述直线集中的每对直线的交点确定边缘图像的消失线的坐标；基于预设的滑动窗口，检测出所述N个消失线最集中的纵坐标区域，取所述纵坐标区域的任意纵坐标为当前所有边缘图像的初始化消失线坐标；

在图像I_i的初始化消失线下方的图像块中确定一对车道线段对，其中图像I_i表示前N帧图像中的任意一帧图像；

定义所述车道线段对的端点为控制点；在垂直于边缘图像的水平坐标上确定两条平行的直线l1和l2，定义为所述车道线段对的坐标转换线段，分别在直线l1和l2上任意取两点作为对应控制点的转换点，基于所述控制点和转换点，计算单应性矩阵H；

步骤3：对道路视频图像的每帧图像进行车道检测处理：

步骤301：对当前帧图像进行灰度处理，并进行边缘检测输出边缘图像；

步骤302：基于所述单应性矩阵H对所述边缘检测图像进行逆透视变换处理：在边缘检测图像取相交点以下的各像素点，基于所述单应性矩阵H进行逆透视变换，得到图像I_con；

步骤303：将图像I_con横向分为K个图像块，其中各图像块的宽度等于图像I_con的宽度，用k从上到下用对各图像块进行标识，其中k＝1,2,…,K，且K大于等于3；

分别对图像块进行直线检测，得到各图像块的直线集，并存储每条直线中点坐标和直线长度；

将图像块1和图像块K所对应的各直线集的每条直线的端点作为拟合点，从图像块1和图像块K中分别取两个拟合点组成一组，基于每组拟合端点得到一条光滑的曲线x，若曲线x与图像I_con底端的交点在图像I_con的中心点右边，则定义为右曲线；否则定义为左曲线；

基于公式分别计算每条曲线x的权值，其中p表示直线中点，θ表示图像块2到图像块K-1的所有直线中点(共K-2个中点)，d_x(p)表示直线中点到曲线x的直线距离，当d_x(p)小于等于3个像素点时，P(d_x(p)＜3)的取值为1，否则为0；表示经过直线中点p的直线的长度；

步骤304：从各左右曲线中，分别取最大权值的曲线为当前图像I_con的车道线对，根据单应性矩阵H进行坐标变换，输出当前帧图像的车道线对。

2.一种车道线的跟踪检测方法，其特征在于，包括下列步骤：

步骤S1：采集道路视频图像；

步骤S2：基于权利要求1的步骤2得到获取单应性矩阵H：

步骤S3：基于权利要求1的步骤3，输出所述道路视频图像的第一帧图像的车道线对；

步骤S4：检测输出所述道路视频图像第t帧图像的车道线，其中t大于1：

基于上一帧的车道线对确定上一帧的目标区域：包括所述车道线对的左车道线的最小矩形区域，以及包括所述车道线对的右车道线的最小矩形区域；

基于颜色核函数将上一帧的目标区域内各像素值的维数转换为11维像素值，再根据主成分分析方法PCA，将得到的11维像素值转换为2维像素值；

根据上一帧的目标区域，基于循环结构跟踪器检测出当前帧的目标区域；

对当前帧的目标区域进行Gaussian-like滤波处理输出拟合点，将所述拟合点拟合成光滑曲线，得到当前帧的车道线对。

3.如权利要求2所述的方法，其特征在于，还包括步骤S5：判断当前帧与上一帧的车道线交点的距离差是否小于或等于预设阈值，若是，基于所述步骤S4对下一帧图像进行车道线检测；否则，基于权利要求1的步骤3对下一帧图像进行车道线检测。

4.如权利要求3所述的方法，其特征在于，所述步骤S5还包括，若当前帧与上一帧的车道线交点的距离差小于或等于预设阈值，继续判断当前帧与上一帧的车道线的直方图的差值是否小于或等于预设阈值，若是，基于所述步骤S4对下一帧图像进行车道线检测；否则，基于权利要求1的步骤3对下一帧图像进行车道线检测。