CN101608924A - 一种基于灰度估计和级联霍夫变换的车道线检测方法 - Google Patents

Abstract

一种基于灰度估计和级联霍夫变换的车道线检测方法，属于图象处理技术领域，涉及图像分割和图像直线几何特征检测，同时涉及智能车辆导航，主要适用于辅助安全驾驶系统。本发明首先对采集的车辆前方路况原始图像I的敏感区域进行灰度估计将其划分为车辆阴影区域、路面非标志区域以及路面标志区域(含前方车辆的车身区域)；然后采用数学形态学方法从路面灰度估计所划分的区域中得到路面标志区域的边界图像；随后对路面标志区域的边界图像进行霍夫变换以提取其中的直线图像特征；最后，通过对路面标志边缘消失点的搜索实现了对车道线的检测。本发明与同类方法相比，具有稳定性强，适用场合较为广泛等优点。

Description

一种基于灰度估计和级联霍夫变换的车道线检测方法

技术领域

本发明属于图象处理技术领域，涉及图像分割和图像直线几何特征检测，同时涉及智能车辆导航，主要适用于智能交通领域中的辅助安全驾驶系统。

背景技术

智能交通系统是一项庞大的社会性的系统工程，包括辅助安全驾驶系统、交通管理系统、商用车辆运营系统、电子收费系统、公共交通运营系统、应急管理系统、车辆控制系统等。其中，辅助安全驾驶系统是这个系统之中成本较小，与民众关系较为密切，而具有相当明显的社会效应的重要组成部分，具有巨大的社会经济发展潜力，能够显著地提高交通的安全水平，增加交通的机动性，降低汽车运输对环境的影响，提高汽车运输生产率和经济效益。其中，相对雷达、激光、超声波、红外线等传感器进行感知道路环境，视觉传感系统具有不可忽视的优点。在实际生活中，驾驶员通过视觉可以获得90％以上的环境信息，并且视觉采集设备具有相对廉价，直观，通用性强等优点。

车道线是最基本的交通标志，也是汽车行驶时的基本约束。在基于视觉的智能车辆导航系统中，车道线的识别与跟踪是一个基本的、必须的功能，它能防止汽车偏离车道，为导航提供参照，同时也是进行障碍物检测的基本前提。因此它是汽车辅助安全驾驶系统和自主导航系统中不可缺少的部分。从上世纪九十年代中、后期，美国、德国、日本等发达国家对车道偏离预警技术进行了比较集中的研究，并且已成功研制出一些各具特色的车道偏离警告系统。这些系统通过预先给驾驶员以警告信息，提醒驾驶员采取正确的操作措施，达到防止这类事故或者降低这类事故的伤害程度的目的。

现有的车道线检测相关的方法通常包括下列一些功能：

(1)车道线检测。车道线检测方法一般来说有几种模式：模板匹配法的原理是用与车道线的宽度等特征相一致的模板对车道线进行直接匹配，以达到分割车道线的目的，它的缺点在于难以选择恰当的几何道路模板，以及计算复杂性较高的问题。特征匹配法计算主要集中在图像处理以及如何进行特征值的抽象化，这种方法避免了模板匹配法过于依赖特定车道线特征的缺点，对不同的道路具有一定的自适应性。也有较为简化的(例如逐行扫描获取灰度峰值)基于形态学的车道线识别，能够针对一些特定情况对车道进行快速检测。上述相关方法详见文献ZENG Zhi-Hong.Lane Detection and Car Tracking on the Highway，ACTAAUTOMATICA SINICA.Vol·29，No·3 May，2003和苗冬霜.基于单目视觉的道路检测与跟踪的研究.燕山大学工学硕士学位论文，2006.4。

(2)利用通用的图像块动态聚类的方法，对路面区域进行分割。这种方法属于通用的图像分割方法，因此在各种不同的情况下都具有良好的稳定性，尤其擅长于对于非结构性的道路的分割，它的缺点在于无法利用已有的约束条件对问题进行简化，往往使计算量偏大。详见文献Jill D.Crisman et al.UNSCARF，A Color Vision System for the Detection of UnstructuredRoads，Proceedings of the 1991 IEEE International Conference on Robotics and AutomationSacramento，California-April 1991.

(3)利用反透视变换消除摄像机透视效应的影响，并且借助公路本身的几何参数，例如道路的曲率等，对前方道路的情况进行拟合和估计。它首先利用精确的摄像机参数标定所建立起来的图像坐标与真实坐标的变换关系，将车辆前方的路面区域平铺在二维水平面空间之中，随后使用几何曲线模型在二维水平面上对道路的走向进行直接的拟合估计。这种方法的缺点在于对摄像机参数标定和安装的精度要求相当高，因为坐标系之间存在的变换关系会将摄像机参数误差放大，尤其是在距离摄像机较远的前方。详见文献Massimo Bertozzi et al，GOLD：A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection，IEEETRANSACTIONS ON IMAGE PROCESSING，VOL.7，NO.1，JANUARY 1998。

发明内容

本发明的任务是提供一种基于灰度估计和级联霍夫变换的车道线检测方法，与同类方法相比，具有稳定性强，适用场合较为广泛等优点。

为了方便地描述本发明内容，首先对一些概念进行说明。

概念1.摄像机标定和摄像机参数：摄像机参数由摄像机的成像几何模型所决定，要从二维图像中恢复物体的三维信息，必须先确定摄像机的各个成像参数。通过实验求出这些参数的过程被称为摄像机标定。摄像机参数包括内部参数和外部参数，内部参数包括主点坐标和有效焦距等，外部参数包括摄像机的位置和朝向等。见文献邹凤娇.摄像机标定及相关技术研究.四川大学硕士学位论文.2005.5.10等。

概念2.敏感区域：是指在某些特定的应用场合，能够预先确定感兴趣的对象总是会出现在图像之中的某些区域。计算可以被限制在敏感区域之内，其它非敏感的图像区域则会被直接忽略，这样能够有效地减少计算量并简化问题。

概念3.霍夫变换：即Hough变换，其基本思想是点-线的对偶性，即图像空间里共线的点对应参数空间里相交的直线；反过来，参数空间相交于同一点的所有直线在图像空间里都有共线的点与之对应。利用霍夫变换可以将直线特征搜索问题转化为参数空间之中最大值搜索问题，是直线特征提取领域中使用最为广泛的算法之一。

概念4.消失点：Vanish Point(又称“灭点”)，它具有一个重要的性质，即真实世界的三维空间之中，任意一组不与主光轴垂直的平行直线，在图像之中的延长线都将汇聚到一点，这一点被称为消失点。车道线本身近似于一组平行直线，因此确定消失点的位置对车道线的识别具有重要作用。

本发明详细技术方案如下：

一种基于灰度估计和级联霍夫变换的车道线检测方法，如图1所示，包括以下步骤：

步骤1：采集车辆前方路况原始图像I。车辆行进过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像I。

步骤2：创建敏感区域模版图像I_mask。根据摄像机的内部参数和外部参数，将摄像头视野中地平线之下、两侧边界之内的区域划分成敏感区域，而将其它区域划分成非敏感区域；创建车辆前方路况原始图像I同样大小的敏感区域模版图像I_mask。其中：摄像机内部参数包括主点坐标和有效焦距，摄像机外部参数包括摄像机的位置和朝向；敏感区域模版图像I_mask中，将敏感区域内的像素值设为1，将非敏感区域内的像素值设为0。

步骤3：对步骤1所采集的车辆前方路况原始图像I进行Canny边缘提取计算(详见文献Canny J.A computational approach to edge detection.IEEE-PAMI 1986.)，得到Canny边缘提取结果图像I_edge，在Canny边缘提取结果图像I_edge中，边缘像素值设为1，非边缘像素值设为0。

步骤4：计算车辆前方路况原始图像I中位于步骤2确定的敏感区域内且在步骤3确定的边缘下方的所有像素点的灰度平均值S和均方差(标准差)δ，然后利用灰度平均值S和均方差δ设定两个阈值S-3δ与S+3δ，通过阈值S-3δ和阈值S+3δ将车辆前方路况原始图像I中敏感区域之内的部分划分为R₁、R₂和R₃三类区域，其中R₁表示灰度值S小于阈值S-3δ的区域，为车辆阴影区域；R₂表示灰度值S大于等于阈值S-3δ且小于阈值S+3δ的区域，为路面非标志区域；R₃表示灰度值S大于等于阈值S+3δ的区域，为路面标志区域，其中包含前方车辆的车身区域。

步骤5：因为车道线标志的边缘只可能出现在步骤4确定的区域R₂和区域R₃之间，所以采用计算区域R₂的膨胀与区域R₃的交集的方法计算初步的车道线标志的边缘图像R_edge，即：

$R_{\mathrm{edge}}=R_3\∩(R_2\⊕D)$

其中：符号

表示形态学膨胀运算，符号“∩”表示取交集，D为一个3×3的十字模版。

以上获得的车道线标志的边缘图像R_edge不光包括希望提取的车道线边缘区域，也包含可能造成干扰的车身区域与道路区域的结合部分的边缘区域；在车道线标志的边缘图像R_edge中每列像素进行由下至上的扫描，如果当前扫描像素点的坐标位于车辆阴影区域R₁之内，则将R_edge中该像素正上方的所有像素点的像素值置为0，得到最终的车道线标志的边缘图像R′_dege。

步骤6：针对最终的车道线标志的边缘图像R′_edge进行霍夫变换，并提取直线特征。具体包括以下步骤：

步骤6-1：遍历图像R′_edge中的每个像素点(x，y)，计算ρ＝xcos(θ)+ysin(θ)：θ∈[0°～180°)，得到所有经过像素点(x，y)的直线组{(ρ，θ)：θ∈[0°～180°)}；其中：(x，y)表示图像R′_edge中的像素点的位置；ρ表示经过像素点(x，y)的直线距离坐标原点，即图像R′_edge中心的距离；θ表示角度，且θ∈[0°～180°)。

步骤6-2：将图像R′_edge中所有像素点(x，y)的直线组{(ρ，θ)：θ∈[0°～180°)}映射到H(ρ，θ)空间，得到ρ-θ参数空间累加图像H；

步骤6-3：在ρ-θ参数空间累加图像H的大小为[(-ρ_w，-θ_w)，(ρ_w，θ_w)]的窗口强度最大值集合中，寻找前面n(n≥6)个较大的窗口强度最大值，并保证每两个局部强度最大值之间的位置关系，即(ρ_i，θ_i)和(ρ_j，θ_j)之间的关系满足条件：

其中，ρ_w表示窗口[(-ρ_w，-θ_w)，(ρ_w，θ_w)]的半长度，取值范围可以是[1，5]；θ_w表示窗口[(-ρ_w，-θ_w)，(ρ_w，θ_w)]的半宽度，取值范围可以是[1，5]。

步骤7：将步骤6找出的ρ-θ参数空间中的n个直线特征位置参数(ρ_i，θ_i)及其对应的ρ-θ参数空间中强度值H(ρ_i，θ_i)映射到与边缘图像R′_edge等大的图像空间之中，得到含有n条直线的图像I′，然后对图像I′进行全局平滑计算，并找出图像I′中的最大值坐标点并作为车道边缘共同的消失点P_V(x_V，y_V)。

步骤8：在P_V(x_V，y_V)下方ω∈[0，180]范围的区域之内搜索属于区域R₃的像素，将对应在ω方向之上的属于R₃的像素个数统计为直方图R(0:180)，然后使用高斯平滑滤波模板对直方图R(0:180)进行平滑滤波运算，并在R(0:180)之中搜索大于R(0:180)中最大值R_max的λ倍的局部峰值R_max1，R_max2...R_maxm所对应的角度值ω_max1，ω_max2...ω_maxm。其中，λ的取值范围为[0.2，0.5]。

步骤9：以消失点P_V(x_V，y_V)作为起点，分别以ω_max1，ω_max2...ω_maxm为方向作射线，得到的射线即为最终的车道线。

通过以上步骤，我们就从车辆前方路况原始图像I中检测出车道线。

上述步骤中，需要特殊说明的是：

1.步骤3中，Canny边缘提取的高低两个阈值取为边缘强度图的最大值的0.2倍和0.1倍，与取固定阈值相比，具有更好的适应性。

2.步骤4中，我们假定路面区域灰度分布呈高斯分布，根据高斯分布的特点以及95％分布准则(即保证95％的样本的值在高低阈值之间)，我们取S+3δ与S-3δ为路面区域的高低阈值。

3.步骤6中，我们利用窗口屏蔽计算保证每两个局部峰值之间的距离，是为了尽量避免霍夫变换在参数空间之中的分布效应对直线提取结果造成干扰而设置的。

4.步骤7和步骤8中，我们采用平滑运算对图像I′和直方图R(0:180)进行的滤波处理，是为了避免相对离散的输入数据在累加空间之中产生过多的虚假局部峰值而采用的。

本发明提出一种基于路面灰度估计和级联霍夫变换的结构性道路中车道线检测方法。首先对采集的车辆前方路况原始图像I的敏感区域进行灰度估计将其划分为车辆阴影区域、路面非标志区域以及路面标志区域(含前方车辆的车身区域)；然后采用数学形态学方法从路面灰度估计所划分的区域中得到路面标志区域的边界图像；随后对路面标志区域的边界图像进行霍夫变换以提取其中的直线图像特征；最后，通过对路面标志边缘消失点的搜索实现了对车道线的检测。

本发明的创新之处在于：

本发明充分利用了车辆前方图像中不同灰度值所代表的区域的特点，借助了高斯分布模型参数估计方法，准确地对车道区域进行了阈值分割，进而有效地对车道线边缘进行提取，并且基于车道线的近似平行的特性，采用了级联霍夫变换对直线特征和直线特征的消失点进行了较为精确的识别和判定。其中多个关键步骤(包括Canny边缘提取、路面灰度估计和车道区域分割、霍夫变换等)都采用了具有较强适应性和一定的容错性的算法，大大提高了本发明的稳定性和健壮性。

附图说明

图1是本发明提供的基于灰度估计和级联霍夫变换的车道线检测方法的流程示意图。

具体实施方式

采用本发明的方法，首先使用C++语言编写车道检测软件；然后将摄像机安装在汽车前窗内部，对摄像机的各种参数进行标定，并在车辆行驶过程之中对前方图像进行采集；随后，把拍摄到的车辆原始图像作为源数据输入到车道检测软件中进行处理；实验共采集若干种行驶情况之下的数百张源图像，在行驶较为稳定时，本发明的车道检测算法成功率大于90％，在剧烈颠簸造成图像严重模糊时，车道检测成功率也能够达到60％以上，对于656×491大小的较高分辨率的原图像，平均每幅图像处理时间约为0.3s，运行环境为WinXP 2GHz，编译器为Visual Studio 2005C++。

综上所述，本发明的方法充分利用道路灰度特征和车道线的平行直线特征，从而实现了准确地从所提供的输入源图像中检测出车道线的方法。

Claims (1)

1、一种基于灰度估计和级联霍夫变换的车道线检测方法，包括以下步骤：

步骤1：采集车辆前方路况原始图像I；

车辆行进过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像I；

步骤2：创建敏感区域模版图像I_mask；

根据摄像机的内部参数和外部参数，将摄像头视野中地平线之下、两侧边界之内的区域划分成敏感区域，而将其它区域划分成非敏感区域；创建车辆前方路况原始图像I同样大小的敏感区域模版图像I_mask；其中：摄像机内部参数包括主点坐标和有效焦距，摄像机外部参数包括摄像机的位置和朝向；敏感区域模版图像I_mask中，将敏感区域内的像素值设为1，将非敏感区域内的像素值设为0；

步骤3：对步骤1所采集的车辆前方路况原始图像I进行Canny边缘提取计算(详见文献Canny J.A computational approach to edge detection.IEEE-PAMI 1986.)，得到Canny边缘提取结果图像I_edge，在Canny边缘提取结果图像I_edge中，边缘像素值设为1，非边缘像素值设为0；

步骤4：计算车辆前方路况原始图像I中位于步骤2确定的敏感区域内且在步骤3确定的边缘下方的所有像素点的灰度平均值S和均方差(标准差)δ，然后利用灰度平均值S和均方差δ设定两个阈值S-3δ与S+3δ，通过阈值S-3δ和阈值S+3δ将车辆前方路况原始图像I中敏感区域之内的部分划分为R₁、R₂和R₃三类区域，其中R₁表示灰度值S小于阈值S-3δ的区域，为车辆阴影区域；R₂表示灰度值S大于等于阈值S-3δ且小于阈值S+3δ的区域，为路面非标志区域；R₃表示灰度值S大于等于阈值S+3δ的区域，为路面标志区域，其中包含前方车辆的车身区域；

步骤5：因为车道线标志的边缘只可能出现在步骤4确定的区域R₂和区域R₃之间，所以采用计算区域R₂的膨胀与区域R₃的交集的方法计算初步的车道线标志的边缘图像R_edge，即：

$R_{\mathrm{edge}}=R_3\∩(R_2\⊕D)$

其中：符号

表示形态学膨胀运算，符号“∩”表示取交集，D为一个3×3的十字模版；

以上获得的车道线标志的边缘图像R_edge不光包括希望提取的车道线边缘区域，也包含可能造成干扰的车身区域与道路区域的结合部分的边缘区域；在车道线标志的边缘图像R_edge中每列像素进行由下至上的扫描，如果当前扫描像素点的坐标位于车辆阴影区域R₁之内，则将R_edge中该像素正上方的所有像素点的像素值置为0，得到最终的车道线标志的边缘图像R′_edge；

步骤6：针对最终的车道线标志的边缘图像R′_edge进行霍夫变换，并提取直线特征；

具体包括以下步骤：

步骤6-1：遍历图像R′_edge中的每个像素点(x，y)，计算ρ＝xcos(θ)+ysin(θ)：θ∈[0°～180°)，得到所有经过像素点(x，y)的直线组{(ρ，θ)：θ∈[0°～180°)}；其中：(x，y)表示图像R′_edge中的像素点的位置；ρ表示经过像素点(x，y)的直线距离坐标原点，即图像R′_edge中心的距离；θ表示角度，且θ∈[0°～180°)；

步骤6-2：将图像R′_edge中所有像素点(x，y)的直线组{(ρ，θ)：θ∈[0°～180°)}映射到H(ρ，θ)空间，得到ρ-θ参数空间累加图像H；

步骤6-3：在ρ-θ参数空间累加图像H的大小为[(-ρ_w，-θ_w)，(ρ_w，θ_w)]的窗口强度最大值集合中，寻找前面n(n≥6)个较大的窗口强度最大值，并保证每两个局部强度最大值之间的位置关系，即(ρ_i，θ_i)和(ρ_j，θ_j)之间的关系满足条件：

其中，ρ_w表示窗口[(-ρ_w，-θ_w)，(ρ_w，θ_w)]的半长度，取值范围可以是[1，5]；θ_w表示窗口[(-ρ_w，-θ_w)，(ρ_w，θ_w)]的半宽度，取值范围可以是[1，5]；

步骤7：将步骤6找出的ρ-θ参数空间中的n个直线特征位置参数(ρ_i，θ_i)及其对应的ρ-θ参数空间中强度值H(ρ_i，θ_i)映射到与边缘图像R′_edge等大的图像空间之中，得到含有n条直线的图像I′，然后对图像I′进行全局平滑计算，并找出图像I′中的最大值坐标点并作为车道边缘共同的消失点P_V(x_V，y_V)；

步骤8：在P_V(x_V，y_V)下方ω∈[0，180]范围的区域之内搜索属于区域R₃的像素，将对应在ω方向之上的属于R₃的像素个数统计为直方图R(0:180)，然后使用高斯平滑滤波模板对直方图R(0:180)进行平滑滤波运算，并在R(0:180)之中搜索大于R(0:180)中最大值R_max的λ倍的局部峰值R_max1，R_max2...R_maxm所对应的角度值ω_max1，ω_max2...ω_maxm；其中，λ的取值范围为[0.2，0.5]；

步骤9：以消失点P_V(x_V，y_V)作为起点，分别以ω_max1，ω_max2...ω_maxm为方向作射线，得到的射线即为最终的车道线。

Images