CN107895151A

CN107895151A - 一种强光照条件下基于机器视觉的车道线检测方法

Info

Publication number: CN107895151A
Application number: CN201711185913.5A
Authority: CN
Inventors: 韩毅; 马浩越; 丁振森
Original assignee: Changan University
Current assignee: Changan University
Priority date: 2017-11-23
Filing date: 2017-11-23
Publication date: 2018-04-10

Abstract

本发明公开了一种强光照条件下基于机器视觉的车道线检测方法，属于汽车智能辅助驾驶系统技术领域。在提取过程中对图像进行区域划分，再对图像预处理，增强图像的对比度和图像的边缘，并且利用二维直方图法对强光照图像进行分割。然后再对图像进行边缘提取，并利用Hough变换得到车道候选线，通过卡尔曼滤波法实现对车道线的实时跟踪。本发明速度快且鲁棒性好，在强光照条件下可以获得良好的车道线检测效果，提高了车辆动态识别车道线的能力。

Description

一种强光照条件下基于机器视觉的车道线检测方法

技术领域

本发明涉及一种强光照条件下基于机器视觉的车道线检测方法，属于汽车智能辅助驾驶系统领域。

背景技术

汽车在高速公路或高等级公路上行驶时，由于路面状况良好，速度相对较高，且行驶平稳。这种情况下，车辆长时间高速行驶，容易导致驾驶员疲劳驾驶，反应迟钝，很可能对车辆的横向位置产生错觉和误判。如果在这种状态下行驶，就可能会与旁车道的车辆或防护栏发生碰撞，甚至可能直接脱离路面。由于汽车的行驶速度很高，这类事故一旦发生，就会造成非常严重的交通事故。

现阶段，运用计算机辅助驾驶系统等科技手段保障行车的安全成为一种趋势，实现这类系统的首要工作就是对车道线进行检测识别。目前车道线识别的方法主要分为两种：图像特征法和模型匹配法。但是阴影遮挡、光线变化、噪声、车道边界或者标志线不连续等因素都可能造成车道线的无法识别。

现有车道线检测技术在强光照射条件下检测车道线的识别率低，对图像没有很好预处理。而且原有的算法比较复杂、效率低，实时性差，因此，在实际的研究过程中要将各种干扰因素考虑进来，并结合相应的方法，提高强光照射条件下车道线识别的准确率。

发明内容

本发明的目的在于提供一种强光照条件下基于机器视觉的车道线检测方法。

为了实现上述目的，本发明采用了以下技术方案：

对采集的路况图像利用纵向灰度跃变搜索确定感兴趣区(ROI)，对路况图像的感兴趣区进行预处理后对图像感兴趣区中的车道线进行边缘提取，然后利用Hough变换法拟合车道线，并采用卡尔曼滤波的方法实时跟踪车道线；所述预处理中，首先将采集的图像变为灰度图像，然后利用直方图锥形非均匀拉伸算法进行强光照条件下的图像对比度增强，其次采用Prewitt算子对图像进行边缘增强，最后利用二维直方图法来分割图像。

纵向灰度跃变搜索的具体做法是在一幅已灰度化的路况图像中，从最顶端(或底端)开始，依次累加图像数据的每一行像素灰度值，然后向下(或向上)对尚未处理的每一行执行同样的操作，然后根据每一行像素灰度值累加结果进行极值搜索。利用该方法能够有效找到灰度跃变像素行，从而去除大块对车道线特征检测与识别无用的区域(水平线以上的背景区域)，获得感兴趣区。

对获得的感兴趣区区域的图像进行预处理，采用的具体步骤如下：首先从图像采集装置中获得感兴趣区区域的图像对图像进行对比度增强，得到校正后的图像

在强光照条件下，为了能较好地提取出车道线边界，需要进行对比度增强处理。本发明采用基于灰度直方图锥形非均匀拉伸算法来增强图像对比度。该算法的基本思想是首先将图像灰度直方图均匀的灰度轴按灰度分布不均匀插值，即灰度分布高的区域插值较多，灰度分布低的区域插值较少，然后对插值后的灰度轴按插值点均匀化，从而实现直方图非均匀拉伸。

对获得的经对比度增强的感兴趣区区域的图像(图像)进行边缘增强。具体步骤如下：

把Prewitt算子的h₃和h₄两个模板结合起来对图像进行边缘增强，即对图像左边的一半使用h₄模板，对图像右边的一半使用h₃模板，其中：

利用基于二维灰度直方图的阈值分割算法分割经过边缘增强后的图像。该算法既利用了像素点的灰度分布信息，也利用了像素点的邻域空间相关信息，考虑的范围由单点的灰度值转变成该点的灰度和其邻域的灰度均值的结合，分割效果和抗噪能力都有了很大的提高。

选取车道线模型：因为车辆大部分时间是行驶在直道上的，高等级公路上即使有弯道，弯道的曲率也很小，可以近似当作直道处理。为了提高识别的实时性，采用直线模型作为车道线的模型。

对灰度化图像车道线边缘提取：在实际车辆行驶的道路环境中，车道线一般都具有比周围路面更高的亮度，进行灰度化处理后，车道线的灰度值较高。由按行扫描的灰度图可知，车道线部分的值比其两边的值都要高，形成一个波峰，呈现从左到右是先升后降趋势，利用这些特征，通过计算相邻图像像素的变化来判断车道线的边缘。

基于Hough变换的车道线拟合方法：Hough变换检测直线的抗噪性能很强，能将断开的边缘连接起来，非常适合用于检测不连续的车道线。它根据图像空间和Hough参数空间的对偶性原理，将图像中每个特征点映射到参数空间的累加阵列的多个单元中，统计各个单元的计数以检测出极值，从而确定是否存在直线并获得直线参数。

检测出车道线后，基于卡尔曼滤波进行车道线跟踪：对结构化道路而言，连续两帧图像中车道线位置相差不大，不会有大的突变。因此可以利用相邻帧之间车道线位置的相关性，用前一帧图像获得的信息引导下一帧车道线的检测，以实现车道线的实时跟踪。

本发明的有益效果体现在：

本发明通过以上预处理去除强照光条件下干扰，预处理中，首先通过直方图锥形非均匀拉伸算法增强对比度，然后利用Prewitt算子进行边缘增强，最后对强光照图像进行分割，即进行二维直方图法图像分割。本发明对强照光条件下采集的路况图像进行相应的预处理矫正，利用车道线像素的信息进行车道线检测和趋势的判断，算法具有良好的实时性和可靠性，可以高效、准确地检测跟踪车道线。并且检测速度快、鲁棒性好，在强光照条件下可以获得良好的车道线检测效果，提高了车辆动态识别车道线的能力。

附图说明

图1为本发明所述的车道线检测方法的流程图；

图2为本发明实施例中的感兴趣区域；

图3(a)为本发明实施例中的直方图锥形非均匀拉伸前的原图；

图3(b)为本发明实施例中的直方图锥形非均匀拉伸后的效果图；

图4(a)为本发明实施例中的45°Prewitt算子边缘增强后的效果图；

图4(b)为本发明实施例中的135°Prewitt算子边缘增强后的效果图；

图5为二维直方图分割示意图；

图6为本发明实施例中的实际路况图像一(a)以及实际路况图像二(b)的二维直方图初步分割的结果；

图7为本发明实施例中的实际路况图像一(a)以及实际路况图像二(b)二维直方图最终分割的结果；

图8为本发明实施例中的实际路况图像一(a)以及实际路况图像二(b)的车道线实验检测结果。

具体实施方式

以下结合附图和实施例对本发明技术方案的内容、所实现目的及效果进行详细说明。

一、总体思路

为了提高车道线识别的实时性和可靠性，提出一种强光照条件下基于机器视觉的车道线检测方法。在提取过程中对图像进行区域划分，再对感兴趣区的区域图像预处理，增强图像的对比度和图像的边缘，并且利用二维直方图法对强光照图像进行分割。再对图像进行边缘提取，利用Hough变换得到拟合候选车道线，并通过卡尔曼滤波法实现对车道线的实时跟踪，如图1所示。

二、确定感兴趣区域

利用安装于车辆前方的摄像机采集路况图像。根据路况图像内各类场景的层次布局特性和显见程度，路况图像可以分为三大区域：车道区域、两旁背景区域和上方天空区域。一般情况下，两旁背景区域由于行人、建筑物、树木等复杂因素的存在，且又随着车辆的移动而频繁变化，所以边缘、颜色及纹理特征最为复杂；上方天空区域的视觉特征则简单许多，通常仅发生小范围的明暗变化及相对很小的边缘变化，以及由于云层、雨雾及空气粉尘的存在导致的色调变化，而对黄昏或夜间环境，这些特征的变化尤为微弱。上方天空区域与其它两类区域之间在灰度值上的区分度相当可观，而且图像中，前景与背景也通常会出现区分度较大的分层布局特性，因此，采用一种检测水平线(Horizon Line)的方法，并称之为纵向灰度跃变搜索法，即利用前景与背景对象的灰度对比信息去搜索场景对象之间的“分界线”(即水平线)。

在结构化的公路上，对识别车道线有用的信息主要是集中在图像的中下部，通过纵向灰度跃变搜索法，确定感兴趣区的范围，从而缩小图像有效检测区域的范围，如图2所示水平线(Horizon Line)以下区域为感兴趣区。

纵向灰度跃变搜索的具体做法是在一幅已灰度化的路况图像中，从最顶端(或底端)开始，依次累加图像数据的每一行像素灰度值，然后向下(或向上)对尚未处理的每一行执行同样的操作，然后根据每一行像素灰度值累加结果进行极值搜索。

由于采集的路况视频图像中相邻帧的图像之间有很大的相关性，大部分图像信息对于车道线检测是无用的，通过设置对检测车道线有用的感兴趣区，一方面可以降低算法的运算量，另一方面还能简化车道线的识别。

三、对感兴趣区域图像预处理

对上一步中获得的感兴趣区区域的图像进行预处理，本方法采用的具体步骤如下：

(1)首先对感兴趣区区域的图像进行对比度增强，得到校正后的图像。具体包括如下步骤：

在强光照条件下，为了能较好地提取出车道线边界，需要进行对比度增强处理。而本发明采用的方法是基于灰度直方图锥形非均匀拉伸算法来增强图像对比度。该方法的基本思想是首先将图像直方图均匀的灰度轴按灰度分布不均匀插值，即灰度分布高的区域插值较多，灰度分布低的区域插值较少，然后对插值后的灰度轴按插值点均匀化，从而实现直方图非均匀拉伸，如图3(a)、图3(b)所示。

直方图非均匀插值是对图像灰度直方图n均匀分层的灰度轴不均匀拉伸为k分层的过程，具体包括以下步骤：

若设图像的灰度范围是m₀～m_n，相应的灰度分布值为通常直方图的灰度轴被均匀划分为n等分，则直方图包络曲线下的总面积为：

若要将直方图拉伸为k(k>n)分层，即拉伸后的灰度范围为g₀～g_k，则需要向m_i～m_i+1中插值，即将区间m_i:m_i+1重新分段。设每一区间的分段数为k_i，为了确保重新分段后每个区间的面积相等，且总面积为S，则每个区间的面积S′为：

由上式可知，每一区间的分段数k_i与灰度分布成正比，即灰度分布高的区间分段数比分布低的区间多。

将直方图非均匀插值后的灰度轴按点在区间g₀～g_k内均匀化，即可实现直方图锥形非均匀拉伸的效果。这里所说的锥形非均匀拉伸是指各区间的内插区间呈锥形分布，灰度分布高的区间比分布低的区间拉伸幅度大，设拉伸后的m_i对应灰度值变为m_i′，则有：

对图像灰度直方图进行拉伸时，除了拉伸区间的灰度需要计算，其他区间的灰度值也需要计算。

若直方图中需要拉伸的区间的灰度值为拉伸后的区间的灰度值为假设并且那么有灰度在区间和上的灰度值没有确定。本发明用线性的方法确定其灰度值，若灰度轴上某点的灰度值在区间上，其对应的灰度值h_i为：

其中，i为插值之前的灰度值。

若灰度值在区间上，那么其对应的灰度值h_i为：

其中，i为插值之前的灰度值。

还可以对图像进行二次锥形非均匀拉伸，即对已经用直方图锥形非均匀拉伸算法拉伸后的图像再次使用直方图锥形非均匀拉伸算法进行对比度增强。

(2)对上一步中获得的经对比度增强的感兴趣区区域的图像(图3b)进行边缘增强。具体包括如下步骤：

Prewitt算子是一阶差分的边缘增强算子。对于3×3的卷积掩模，在8个方向上估计梯度，具有最大幅值的卷积给出梯度方向。下面给出了Prewitt算子在四个方向上的3×3掩模模板：

上面的模板中，h₁和h₂分别为水平和垂直方向的掩模模板，h₃和h₄分别表示45°和135°方向上的掩模模板。

结构化道路的路况图像中，车道线是有方向性的。在采集的道路图像中，左边的车道线向右偏，右边的车道线向左偏，正好与模板中的135°和45°相匹配，因此把Prewitt算子的h₃和h₄两个模板结合起来对同一幅图像进行边缘增强，即对图像左边的一半使用h₄模板，结果参见图4(b)，对图像右边的一半使用h₃模板，结果参见图4(a)。

(3)采用二维灰度直方图阈值分割算法对图像进行初步分割和最终分割，把明显的与车道线有关联的有用信息提取出来，进一步的将背景去除掉。具体包括如下步骤：

由于很多图像目标区域与目标区域，背景区域与背景区域的像素点之间相关性很强，像素点的灰度值和邻域灰度均值比较接近，而目标和背景的边界附近像素点以及噪声的灰度值和邻域灰度均值之间的差异明显，且图像中每个像素点，都可以形成一灰度二元组，即像素点灰度，像素点邻域平均灰度。

通常情况下选定一组阈值(T,S)，将二维灰度直方图分割成如图5所示的4个区域。

其中f(x,y)为待处理图像的像素(x,y)的灰度值，g(x,y)为像素(x,y)的n×n邻域灰度均值，其计算式如下：

上式中n一般为奇数，且n/2取整，并有0≤f(x,y)≤L-1，0g(x,y)≤L-1。区域1为均小于S和T的区域，和目标(或背景)对应，区域3为大于S和T的区域，和背景(或目标)对应，而区域2和区域4为只满足一个阈值S或者一个阈值T，而不满足另外一个分割阈值的区域，这两个区域表示边界点和噪声点。

在二维灰度直方图中，利用矩不变法确定出阈值(S,T)，区域1为像素的灰度值小于S，并且其3×3邻域的灰度均值小于T的像素的总和，此区域的像素被认为是背景，把属于区域1的像素的灰度值全部赋为0；相反的区域3为像素灰度值大于S，并且其3×3邻域的灰度均值大于T的像素的总和；此区域的像素被认为是目标，把属于区域3的像素的灰度值全部赋为255。而对于区域2和区域4，暂时不做任何处理。基于二维灰度直方图阈值分割算法，进行初步分割的结果如图6(a)、图6(b)所示。

经过初步分割，确定了部分目标和部分背景，也确定了有哪些像素属于区域2和区域4。对属于区域2和区域4的像素点重新制定阈值对其进行分割。

基于二维灰度直方图阈值分割算法，进行最终分割的过程为：

首先，确定像素是否属于区域1或区域3，如果不属于即为区域2或区域4中的像素；

然后，对属于区域2和区域4的像素再利用矩不变法求出一组新的阈值(S,T′)，其中，T′为像素的5×5邻域的灰度均值的阈值。计算出阈值后，将属于此时新的二维直方图中区域3的像素点为目标，其余为背景。基于二维灰度直方图阈值分割算法，进行最终分割结果如图7(a)、图7(b)所示。

利用二维直方图阈值分割算法对图像进行了初步分割和最终分割，取得了满意的分割效果，为后续的车道线的识别工作奠定了良好的基础。

四、车道线模型

因为车辆大部分时间是行驶在直道上的，高等级公路上即使有弯道，弯道的曲率也很小，可以近似当作直道处理。为了提高识别的实时性，本发明采用直线模型作为车道线的模型。

五、对预处理后的灰度化图像进行车道线边缘提取

在实际车辆行驶的道路环境中，车道线一般都具有比周围路面更高的亮度，进行灰度化处理后，车道线的灰度值较高。由按行扫描的灰度图可知，车道线部分的值比其两边的值都要高，形成一个波峰：呈现从左到右是先升后降趋势，利用这些特征，通过计算相邻图像像素的变化来判断车道线的边缘。

六、车道线拟合

基于Hough变换的车道线检测方法：Hough变换检测直线的抗噪性能很强，能将断开的边缘连接起来，非常适合用于检测不连续的车道线。它根据图像空间和Hough参数空间的对偶性原理，将图像中每个特征点映射到参数空间的累加阵列的多个单元中，统计各个单元的计数以检测出极值，从而确定是否存在直线并获得直线参数。如图8(a)、图8(b)所示。

七、基于卡尔曼滤波车道线跟踪

检测出车道线，基于卡尔曼滤波进行车道线跟踪：对结构化道路而言，连续两帧图像中车道线位置相差不大，不会有大的突变。因此可以利用相邻帧之间车道线位置的相关性，用前一帧图像获得的信息引导下一帧车道线的检测，以实现车道线的实时跟踪。

Claims

1.一种强光照条件下基于机器视觉的车道线检测方法，其特征在于：该检测方法包括以下步骤：

对采集的路况图像灰度化后设置感兴趣区，对路况图像的感兴趣区进行预处理后利用Hough变换法于所述感兴趣区内拟合车道线；所述预处理中，首先利用直方图锥形非均匀拉伸算法进行强光照条件下的图像对比度增强，然后采用Prewitt算子对图像进行边缘增强，最后根据检测目标和背景的边界处像素点以及噪声点的灰度值与邻域灰度均值之间的差异，利用二维直方图法进行图像分割，从而提取出与车道线有关的信息。

2.如权利要求1所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：根据路况图像中前景与背景的灰度对比信息，采用纵向灰度跃变搜索确定所述前景与背景的水平分界线，路况图像中水平分界线以下的区域即为感兴趣区。

3.如权利要求1所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述强光照条件下的图像对比度增强具体包括以下步骤：首先将图像灰度直方图均匀的灰度轴按灰度分布不均匀插值，即灰度分布高的区域插值较多，灰度分布低的区域插值较少，然后对插值后的灰度轴按插值点均匀化。

4.如权利要求3所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述不均匀插值是对图像灰度直方图n均匀分层的灰度轴不均匀拉伸为k分层的过程，具体包括以下步骤：

1)根据图像的灰度范围m₀～m_n，将灰度直方图均匀划分为n等分；

2)若灰度范围相应的灰度分布值为将区间m_i∶m_i+1重新分段，确保重新分段后每一分段对应的区间的面积S′相等，且总面积为S，

5.如权利要求4所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：

<mrow> <msup> <mi>S</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <msub> <mi>H</mi> <msub> <mi>m</mi> <mi>i</mi> </msub> </msub> <mo>+</mo> <msub> <mi>H</mi> <msub> <mi>m</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </msub> <mo>)</mo> <mo>/</mo> <mn>2</mn> <mo>&times;</mo> <mn>1</mn> </mrow> <msub> <mi>k</mi> <mi>i</mi> </msub> </mfrac> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <msub> <mi>H</mi> <msub> <mi>m</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </msub> <mo>+</mo> <msub> <mi>H</mi> <msub> <mi>m</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>2</mn> </mrow> </msub> </msub> <mo>)</mo> <mo>/</mo> <mn>2</mn> <mo>&times;</mo> <mn>1</mn> </mrow> <msub> <mi>k</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mfrac> </mrow>

其中，k_i为每一区间的分段数。

6.如权利要求4所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述均匀化具体包括以下步骤：若图像灰度直方图经非均匀拉伸为k分层后的灰度范围为g₀～g_k，将图像灰度直方图不均匀插值后的灰度轴按点在区间g₀～g_k内均匀化，m_i对应灰度值变为m_i′：

<mrow> <msup> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>&prime;</mo> </msup> <mo>=</mo> <msub> <mi>g</mi> <mn>0</mn> </msub> <mo>+</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>k</mi> <mi>l</mi> </msub> <mo>.</mo> </mrow>

7.如权利要求1所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述锥形非均匀拉伸是指图像灰度直方图包络曲线下各区间的内插区间呈锥形分布，灰度分布高的区间比分布低的区间拉伸幅度大。

8.如权利要求1所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述边缘增强具体包括以下步骤：将Prewitt算子的h₃和h₄两个模板结合起来对图像进行边缘增强，对图像左边的一半使用h₄模板，对图像右边的一半使用h₃模板，其中：

9.如权利要求1所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述利用二维直方图法进行图像分割具体包括以下步骤：

1)初步分割

在图像二维灰度直方图中，利用矩不变法确定出阈值(S,T)，对于根据阈值(S,T)划分为四个区域的图像二维灰度直方图，将属于区域1的像素的灰度值全部赋为0；将属于区域3的像素的灰度值全部赋为255；其中，区域1为像素的灰度值小于S，并且该像素3×3邻域的灰度均值小于T的像素的总和；区域3为像素灰度值大于S，并且该像素3×3邻域的灰度均值大于T的像素的总和；

2)最终分割

对属于区域2和区域4的像素再利用根据矩不变法求出的一组阈值(S,T′)，并根据该组阈值对初步分割确定的属于区域2和区域4的像素进行划分，以确定的新的区域3内的像素为检测目标。

10.如权利要求1所述的强光照条件下基于机器视觉的车道线检测方法，其特征在于：所述检测方法还包括以下步骤：根据当前帧路况图像内拟合得到的车道线信息以及相邻帧之间车道线位置的相关性，利用卡尔曼滤波的方法，用前一帧图像获得的信息引导下一帧车道线的检测，从而实时跟踪车道线。