CN110414385A - 一种基于单应性变换和特征窗口的车道线检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于单应性变换和特征窗口的车道线检测方法及系统。本方法重新设置视频图像的大小；利用摄像机内部参数对图像失真进行校准；对图像进行多边形填充，得到一块ROI区域；融合图像的颜色、直方图均衡化和梯度特征，经形态学滤波后阈值化处理得到二值图像；进行单应性变换，得到变换后的平面车道线的二值图像；使用特征提取窗口搜索车道线像素点并进行多项式拟合，确定车道线方程；通过透视变换将车道线投影到原图，完成车道线检测追踪的可视化。本发明可以检测弯曲车道线，对光照、车道线缺损和路面阴影有较好的鲁棒性，算法确定单帧图像中车道线边界耗时0.0387秒，保证了算法的实时性，充分证明本发明有较好的应用价值。

Description

一种基于单应性变换和特征窗口的车道线检测方法及系统

技术领域

本发明涉及图像处理及道路安全技术领域，具体涉及一种基于单应性变换和特征窗口的车道线检测方法及系统。

背景技术

车道线检测方法分很多种，Nima Zarbakht等人提出将图像从RGB颜色空间转换到YCbCr颜色空间和HSV颜色空间，利用梯度检测算子来实现车道线检测。Jamel Baili等人提出了一种基于特征的车道检测方法，利用水平差分滤波器简化了边缘检测过程，利用改进的霍夫变换将检测到的边缘点分组成直线。钱基德等人采用Soberx边缘检测算子检测车道线边缘信息，然后在感兴趣区域的基础上，使用改进的霍夫变换检测出可能的车道线。以上车道线检测方法容易受到光照，路面阴影和车道线缺损的影响，无法对弯曲的车道线进行检测，难以应对复杂的城市道路，易受到其他边缘噪声的影响。

发明内容

发明目的：本发明提供一种基于单应性变换和特征窗口的车道线检测方法及系统，解决弯曲车道线检测难的问题，同时研究一种对光照，车道线缺损，路面阴影等有较好鲁棒性的算法，保证车道线检测的精确度和实时性。

技术方案：本发明所述一种基于单应性变换和特征窗口的车道线检测方法，包括以下步骤：

(1)获取视频图像，在保证清晰度的基础上，缩小图像的尺寸并固定其大小，得到IMG0；

(2)利用拍摄的棋盘图像，计算出对应摄像机矩阵和畸变系数，对图像的失真进行校准，得到校准后的图像IMG1；

(3)设置六个顶点坐标，对IMG1进行多边形填充，得到一块包含车道线的梯形ROI区域的图像IMG2，将ROI区域外的像素置为0；

(4)采用多特征融合方法，即融合IMG2图像中车道线的颜色特征，直方图均衡化特征和梯度特征，得到图像IMG3，对IMG3进行高级形态学闭操作，得到处理后的二值图像IMG4；

(5)按逆时针方向，设置四个顶点坐标，对IMG4图像进行单应性变换，将ROI区域内的车道线图像投影到平面，得到变换后的包含车道线的平面二值图像IMG5，其尺寸和IMG0相同；

(6)基于特征提取窗口的车道线检测，对IMG5图像进行直方图统计，根据统计的峰值确定左，右车道线特征提取窗口的起始位置；在IMG5图像上，从起始位置，自底向上统计窗口内的非0像素点；对统计的左，右两条车道线像素点分别进行二次多项式拟合，以此确定左右车道线的边界；若在当前帧中同时检测到左右车道线，设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合；

(7)在IMG5图像上，对左右车道线中间的像素点进行颜色标记；然后对IMG5进行透视变换，将标记后的车道线区域投影在图像IMG1上得到IMG6，实现车道线检测追踪的可视化。

所述IMG0长度范围为[750,400]像素，宽度范围为[480,240]像素。

所述步骤(4)包括以下步骤：

(41)将IMG2从RGB颜色空间转换到HSV颜色空间，对H通道，S通道和V通道进行阈值化处理，得到处理后的二值图像；

(42)将IMG2灰度化，然后对其进行直方图均衡化操作，通过设置阈值，得到处理后的二值图像；

(43)将IMG2灰度化，使用横向和纵向的Sobel算子对图像分别进行滤波，得到处理后的图像S_x和S_y，横向和纵向的Sobel算子如下所示：

其中，sobel_x为横向Sobel算子，sobel_y为纵向Sobel算子；

(44)通过公式计算S_xy，接着进过阈值化操作得到二值图像，S_xy的计算公式如下所示：

式中S_x和S_y分别是sobel_x和sobel_y对IMG2图像滤波之后的结果，max()是求最大的像素值；

(45)将(41)、(42)和(43)处理后的二值图像进行像素的逻辑或运算，得到多特征融合后的二值图像IMG3；

(46)使用高级形态学闭操作，对IMG3进行形态学滤波，得到处理后的二值图像IMG4。

所述步骤(6)包括以下步骤：

(61)设置特征提取窗口的长和宽，根据直方图统计得到的峰值点，确定特征提取窗口的起始位置，自底向上，统计窗口内的非0像素点的横纵坐标值x和y，下一窗口的起始位置根据当前窗口统计的非0像素点的所有横坐标x的均值来确定；

(62)根据窗口内统计的所有非0像素点的x和y值，拟合其二次多项式方程：

f(x)＝by²+cy+d

其中，x为车道线横坐标值，y为车道线的纵坐标值，记图像IMG5的高为H，则y的范围为(1-H)，式中b，c．d为多项式系数；

(63)当在当前帧中同时检测到左右车道线，在下一帧图像中检测车道线时，设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合。

步骤(7)所述的实现车道线追踪的可视化过程如下：

根据步骤(6)中拟合的左右车道线边界方程，对车道线中间部分的像素点进行颜色标记，然后求得IMG5转换到IMG1的透视变换矩阵，根据该矩阵，将经过颜色标的图像投影到IMG1得到图像IMG6，完成车道线追踪的可视化。

本发明还提供一种基于单应性变换和特征提取窗口的车道线检测系统，包括：

图像预处理模块，用于读入视频图像，重新设置图像的尺寸并固定其大小，然后利用拍摄的棋盘图像，计算出对应摄像机矩阵和畸变系数，对图像的失真进行校准；

多边形填充模块，根据定义的六个顶点，对校准后的图像进行多边形填充，得到一块包含车道线的梯形ROI区域，同时将ROI区域外像素点的值都置为0；

多特征融合模块，将输入图像的颜色空间转换到HSV颜色空间，通过设定阈值，得到包含车道线颜色特征的二值图像；将输入图像灰度化，进行直方图均衡化操作，通过设定阈值，得到二值图像；使用Sobel梯度检测算子对输入图像进行滤波，经过阈值化操作得到包含梯度特征的二值图像；然后融合以上三种特征，再对融合特征后的图像进行形态学滤波，得到最终处理后的二值图像；

车道线边界拟合模块，计算输入图像的直方图，根据直方图的峰值点确定左右车道线特征提取窗口的起始位置，对左，右车道线分别使用车道线特征提取窗口，从起始位置，自底向上统计窗口内的非0像素点；对统计的左，右两条车道线像素点分别进行二次多项式拟合，以此确定左右车道线的边界；若在当前帧中同时检测到左右车道线，设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合；

车道线区域可视化模块，根据拟合的左右车道线方程，对左右车道线中间区域的像素点进行颜色标记，然后对处理后的图像进行透视变换，将该图像投影在原始输入图像上，实现车道线检测追踪的可视化。

有益效果：与现有技术相比，本发明的有益效果：1、采用多特征融合的方法，有效克服了光照，阴影，黄色车道线难检测的问题；2、采用特征提取窗口的方式搜索车道线，对车道线缺损和弯曲车道线适应性好；3、单帧图像中确定车道线边界耗时0.0387秒，实时性好。

附图说明

图1为本发明的方法流程图；

图2为多边形填充后的效果图；

图3为多特征融合的方法流程图；

图4为单应性变换之前的图像；

图5为单应性变换之后的图像；

图6确定左右车道线边界方程的算法流程图；

图7为统计的像素直方图；

图8为车道线检测追踪的可视化效果图。

具体实施方式

下面结合附图对本发明作进一步的说明。本实施方式中涉及大量变量，现将个变量作如下说明，如表1所示。

表1变量说明表

如图1所示，本发明实施例公开的一种基于单应性变换和特征提取窗口的车道线检测方法，包括如下步骤：

本实例使用的视频数据是用摄像头采集的以司机第一视角拍摄的视频图像，视频包含光照变化，周围物体在车道线上产生阴影，车道线缺损，黄色车道线，车道线弯曲和车道线与地面颜色接近的行车环境，本方法对该视频数据进行处理，检测车道线并进行可视化。

(1)获取视频图像，重新设置图像的尺寸并固定其大小；

输入原始视频后，为了减少不必要的运算和保证图像的清晰度，缩小图像的尺寸并固定其大小，得到IMG0，其中，IMG0长度范围为[750,400]像素，宽度范围为[480,240]像素。本实施方式中获取的原始视频图像的长和宽分别为1280像素和720像素，本方法重新将视频图像的长和宽分别设置为768像素和432像素，得到图像IMG0，以便于下一步的操作。

(2)利用拍摄的棋盘图像，计算出对应摄像机矩阵和畸变系数，对图像的失真进行校准，得到校准后的图像IMG1；

首先利用摄像机拍摄20张不同角度的棋盘图像，接着利用opencv(Open SourceComputer Vision Library)中的findChessboardConers()函数找到棋盘图像中的棋盘角，然后再利用opencv中的calibrateCamera()函数计算摄像机矩阵mtx和畸变系数dis，最后利用opencv中的undistort()函数根据mtx和dis对输入图像失真进行校准，得到校准后的图像IMG1。

(3)设置六个顶点坐标，对IMG1进行多边形填充，得到一块包含车道线的梯形ROI(RegionofIntertest)区域的图像IMG2，将ROI区域外的像素置为0；

在实际操作中，设置了六个坐标点：r1(0,0)，r2(img_w,0)，r3(img_w,img_h)，r4(470,240)，r5(375,240)和r6(0,img_h)，其中，img_w为IMG1的长，img_h为IMG1的宽，对IMG1进行多边形填充，即将多边形内的像素点的值设置为0，多边形外像素点的值不变，保留一块包含车道线的感兴趣区域ROI(Region Of Interest)，这样可以大大加快车道线检测的速度，避免不必要的运算。图2展示了多边形填充之后的效果图IMG2。

(4)由于单一特征收集到的车道线信息有限，为了提高车道线检测的精确性，这里采用多特征融合方法，如图3所示，即融合IMG2图像中车道线的颜色特征，直方图均衡化特征和梯度特征，得到图像IMG3，对IMG3进行高级形态学闭操作，得到处理后的二值图像IMG4；

具体操作为：将IMG2图像从RGB颜色空间转换到HSV颜色空间，设置H，S和V通道的阈值分别为：0<H<50，70<S<255，70<V<255，然后根据该阈值，得到二值化图像IMG2_1；将IMG2图像灰度化，然后进行直方图均衡化操作，选择阈值范围[250,255]，得到二值化图像IMG2_2；将IMG2图像灰度化，然后利用下式计算图像S_xy，然后使用阈值[50,1]得到二值化图像IMG2_3；

式中S_x和S_y分别是sobel_x和sobel_y对IMG2图像滤波之后的结果，max()是求最大的像素值；

接着使用多特征融合方法，即将二值图像IMG2_1，IMG2_2，IMG2_3图像进行逻辑或操作，得到多特征融合后的图像IMG3；最后使用值为1，大小为5×5的滤波器对IMG3进行形态学滤波闭操作，得到处理后的二值图像IMG4。

(5)按逆时针方向，设置四个顶点坐标：A(img_w，img_h-6)，B(0,img_h-6)，C(328,276)，D(439,276)，其中，img_w和img_h分别是IMG4的长和宽，接着对IMG4图像进行单应性变换，将四个顶点围城的区域内的车道线图像投影到二维平面，得到变换后的包含车道线的平面二值图像IMG5，其尺寸和IMG4相同，图4为变换前的图像，图5为变换后的图像。

(6)确定左右车道线边界方程的算法流程图如图6所示，L1表示上一帧图像中是否检测到了左车道线，L2表示上一帧图像中是否检测到了右车道线。具体操作为：首先判断上一帧图像中是否同时检测到了左右车道线，若否，则使用特征提取窗口的方式寻找非0像素点。若是，则利用前一帧拟合的左右车道线边界方程来寻找非0像素点。之所以采用两种方法，主要是特征提取窗口寻找非0像素点时时间复杂度较高。

特征提取窗口寻找非0像素点的具体方法为：对步骤(5)中的IMG5进行直方图统计，统计的像素直方图如图7所示，直方图的横坐标取值范围和IMG5图像的长一样，纵坐标为像素密度。根据统计的直方图的峰值确定左右车道线特征提取窗口的起始位置sl和sr。设置特征提取窗口的长为80px，宽为44px，根据sl和sr的值，在IMG5图像上，从起始位置，自底向上统计特征提取窗口内的非0像素点的横坐标x和纵坐标y。

利用前一帧拟合的左右车道线边界方程寻找非0像素点的具体方法为：设置横向偏移量offset的值为50，若上一帧图像的左车道线边界方程为f(x)，则左车道线新非0像素点的寻找范围为[f(x)-50，f(x)+50]，右车道线新非0像素点的寻找范围类似。

根据统计的左右车道线的所有非0像素点的x和y值，分别拟合左右车道线的二次多项式方程f(x)_L和f(x)_R，多项式方程如下所示：

f(x)_L＝by²+cy+d

f(x)_R＝my²+ny+k

其中，x为车道线横坐标值，y为车道线的纵坐标值，记图像IMG5的高为h，则y的范围为[1，h]，式中b，c，d，m，n，k为多项式系数；

(7)在IMG5图像上，对[f(x)_L，f(x)_R]范围内的像素点进行颜色标记；然后对IMG5进行透视变换，将标记后的车道线区域投影在图像IMG1上得到图像IMG6，实现车道线检测追踪的可视化，图8为最终的可视化效果。

本发明公开的一种基于单应性变换和特征提取窗口的车道线检测系统，包括：图像预处理模块，用于读入视频图像，并进行降采样操作，将视频图像固定到某一尺寸，然后利用拍摄的棋盘图像，计算出对应摄像机矩阵和畸变系数，对图像的失真进行校准。多边形填充模块，根据定义的六个顶点，对校准后的图像进行多边形填充，得到一块包含车道线的梯形ROI区域，同时将ROI区域外像素点的值都置为0。多特征融合模块，将输入图像的颜色空间转换到HSV颜色空间，通过设定阈值，得到包含车道线颜色特征的二值图像；将输入图像灰度化，进行直方图均衡化操作，通过设定阈值，得到二值图像；使用sobel梯度检测算子对输入图像进行滤波，经过阈值化操作得到包含梯度特征的二值图像；然后融合以上三种特征，再对融合特征后的图像进行形态学滤波，得到最终处理后的二值图像。车道线边界拟合模块，计算输入图像的直方图，根据直方图的峰值点确定左右车道线特征提取窗口的起始位置，对左，右车道线分别使用10个车道线特征提取窗口，总共20个，从起始位置，自底向上统计窗口内的非0像素点；对统计的左，右两条车道线像素点分别进行二次多项式拟合，以此确定左右车道线的边界；若在当前帧中同时检测到左右车道线，则设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合。车道线区域可视化模块，根据拟合的左右车道线方程，对左右车道线中间区域的像素点进行颜色标记，然后对处理后的图像进行透视变换，将该图像投影在原图上，实现车道线检测追踪的可视化。该系统可以实现上述的基于单应性变换和特征提取窗口的车道线检测，属于同一发明构思，具体细节参照上述方法实施例，此处不在赘述。

Claims (6)

1.一种基于单应性变换和特征窗口的车道线检测方法，其特征在于，包括以下步骤：

(1)获取视频图像，在保证清晰度的基础上，缩小图像的尺寸并固定其大小，得到IMG0；

(2)利用拍摄的棋盘图像，计算出对应摄像机矩阵和畸变系数，对图像的失真进行校准，得到校准后的图像IMG1；

(3)设置六个顶点坐标，对IMG1进行多边形填充，得到一块包含车道线的梯形ROI区域的图像IMG2，将ROI区域外的像素置为0；

(4)采用多特征融合方法，即融合IMG2图像中车道线的颜色特征，直方图均衡化特征和梯度特征，得到图像IMG3，对IMG3进行高级形态学闭操作，得到处理后的二值图像IMG4；

(5)按逆时针方向，设置四个顶点坐标，对IMG4图像进行单应性变换，将ROI区域内的车道线图像投影到平面，得到变换后的包含车道线的平面二值图像IMG5，其尺寸和IMG0相同；

(6)基于特征提取窗口的车道线检测，对IMG5图像进行直方图统计，根据统计的峰值确定左，右车道线特征提取窗口的起始位置；在IMG5图像上，从起始位置，自底向上统计窗口内的非0像素点；对统计的左，右两条车道线像素点分别进行二次多项式拟合，以此确定左右车道线的边界；若在当前帧中同时检测到左右车道线，设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合；

(7)在IMG5图像上，对左右车道线中间的像素点进行颜色标记；然后对IMG5进行透视变换，将标记后的车道线区域投影在图像IMG1上得到IMG6，实现车道线检测追踪的可视化。

2.根据权利要求1所述的一种基于单应性变换和特征窗口的车道线检测方法，其特征在于，所述IMG0长度范围为[750,400]像素，宽度范围为[480,240]像素。

3.根据权利要求1所述的一种基于单应性变换和特征窗口的车道线检测方法，其特征在于，所述步骤(4)包括以下步骤：

(41)将IMG2从RGB颜色空间转换到HSV颜色空间，对H通道，S通道和V通道进行阈值化处理，得到处理后的二值图像；

(42)将IMG2灰度化，然后对其进行直方图均衡化操作，通过设置阈值，得到处理后的二值图像；

(43)将IMG2灰度化，使用横向和纵向的Sobel算子对图像分别进行滤波，得到处理后的图像S_x和S_y，横向和纵向的Sobel算子如下所示：

其中，sobel_x为横向Sobel算子，sobel_y为纵向Sobel算子；

(44)通过公式计算S_xy，接着进过阈值化操作得到二值图像，S_xy的计算公式如下所示：

式中S_x和S_y分别是sobel_x和sobel_y对IMG2图像滤波之后的结果，max()是求最大的像素值；

(45)将(41)、(42)和(43)处理后的二值图像进行像素的逻辑或运算，得到多特征融合后的二值图像IMG3；

(46)使用高级形态学闭操作，对IMG3进行形态学滤波，得到处理后的二值图像IMG4。

4.根据权利要求1所述的一种基于单应性变换和特征窗口的车道线检测方法，其特征在于，所述步骤(6)包括以下步骤：

(61)设置特征提取窗口的长和宽，根据直方图统计得到的峰值点，确定特征提取窗口的起始位置，自底向上，统计窗口内的非0像素点的横纵坐标值x和y，下一窗口的起始位置根据当前窗口统计的非0像素点的所有横坐标x的均值来确定；

(62)根据窗口内统计的所有非0像素点的x和y值，拟合其二次多项式方程：

f(x)＝by²+cy+d

其中，x为车道线横坐标值，y为车道线的纵坐标值，记图像IMG5的高为H，则y的范围为(1-H)，式中b，c，d为多项式系数；

(63)当在当前帧中同时检测到左右车道线，在下一帧图像中检测车道线时，设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合。

5.根据权利要求1所述的一种基于单应性变换和特征窗口的车道线检测方法，其特征在于，步骤(7)所述的实现车道线追踪的可视化过程如下：

根据步骤(6)中拟合的左右车道线边界方程，对车道线中间部分的像素点进行颜色标记，然后求得IMG5转换到IMG1的透视变换矩阵，根据该矩阵，将经过颜色标的图像投影到IMG1得到图像IMG6，完成车道线追踪的可视化。

6.一种基于单应性变换和特征提取窗口的车道线检测系统，其特征在于，包括：

图像预处理模块，用于读入视频图像，重新设置图像的尺寸并固定其大小，然后利用拍摄的棋盘图像，计算出对应摄像机矩阵和畸变系数，对图像的失真进行校准；

多边形填充模块，根据定义的六个顶点，对校准后的图像进行多边形填充，得到一块包含车道线的梯形ROI区域，同时将ROI区域外像素点的值都置为0；

多特征融合模块，将输入图像的颜色空间转换到HSV颜色空间，通过设定阈值，得到包含车道线颜色特征的二值图像；将输入图像灰度化，进行直方图均衡化操作，通过设定阈值，得到二值图像；使用Sobel梯度检测算子对输入图像进行滤波，经过阈值化操作得到包含梯度特征的二值图像；然后融合以上三种特征，再对融合特征后的图像进行形态学滤波，得到最终处理后的二值图像；

车道线边界拟合模块，计算输入图像的直方图，根据直方图的峰值点确定左右车道线特征提取窗口的起始位置，对左，右车道线分别使用车道线特征提取窗口，从起始位置，自底向上统计窗口内的非0像素点；对统计的左，右两条车道线像素点分别进行二次多项式拟合，以此确定左右车道线的边界；若在当前帧中同时检测到左右车道线，设置一定的横向偏移量，在已经拟合的车道线横向偏移量范围内寻找新的非0像素点，用于下一帧图像中车道线的拟合；

车道线区域可视化模块，根据拟合的左右车道线方程，对左右车道线中间区域的像素点进行颜色标记，然后对处理后的图像进行透视变换，将该图像投影在原始输入图像上，实现车道线检测追踪的可视化。