CN102663744B - 梯度点对约束下的复杂道路检测方法 - Google Patents

Abstract

本发明涉及一种基于梯度点对约束下的复杂道路检测方法。现有的道路检测方法，由于受阴影及路面破损的影响，检测效果不理想、准确性和可靠性较差，无法满足交通安全的需求。本发明首先根据结构化道路两侧车道线的平行透视关系，利用梯度点对得到车道宽度信息和消失点坐标，然后利用梯度点对估计车道中线双曲线模型的参数，在此基础上实现两侧车道线的检测。本发明可以在阴影、路面破损、其他路面标识及车辆遮挡等情况下准确可靠地提取直线以及曲线车道，并能够有效地实现虚线和实线道路的检测，充分体现了复杂道路检测的可靠性和鲁棒性。

Description

梯度点对约束下的复杂道路检测方法

技术领域

本发明属于车道检测领域，特别涉及一种基于梯度点对约束下的复杂道路检测方法。

背景技术

近年来，随着高速公路的迅猛发展和汽车数量的不断增加，交通事故的发生率也在逐年攀升，已严重威胁到人民的生命财产安全。据统计，2008年全球大约有50万人死于道路交通事故。而据我国公安部交通管理局通报，2009年中国共发生道路交通事故238351起，造成67759人死亡，275125人受伤，直接财产损失9.1亿元。我国因道路交通事故而死亡的人数远远超过了发达国家。在此背景下，开展能够提高汽车驾驶安全性和经济性的相关研究将具有重要的意义和发展前景。但在复杂的交通场景中，车道线的检测常面临路边树木及建筑物阴影的干扰、车道上其它行驶车辆的遮挡、路面破损造成车道线缺失以及路面其他交通标识影响等问题，使得在复杂行车环境下实现准确可靠的车道检测依然面临着很多困难。

发明内容

为了克服实际复杂交通场景下阴影、遮挡及路面其他交通标识对车道线检测的影响，本发明提出了基于梯度点对约束下的复杂道路检测方法。该方法根据结构化道路的几何特征，利用道路两边车道线具有相反梯度方向的性质作为约束，获得可靠的车道中点坐标，在此基础上，根据两侧车道线的平行透视关系及基于线性双曲线函数描述的车道模型，分别利用两次Hough变换获得车道的消失点坐标、车道宽度以及车道中线参数的估计，最终实现道路两侧车道线的可靠检测。其具体内容如下：

步骤1.图像边缘检测

利用Sobel算子和形态学滤波方法对原始图像进行边缘检测，得到二值化图像bw；

步骤2.基于梯度点对约束的中点提取

我们定义梯度方向向左的梯度点为左梯度点，反之为右梯度点。在二值化图像bw利用梯度点对约束提取车道中线点集的过程如下：

步骤2.1提取一行中的左梯度点集和右梯度点集 $G_{\mathrm{right}}=\left\{(u_i^r,r_i^r)\right|i=\mathrm{1,2}...\}.$

步骤2.2将G_left中的点和G_right中的点组成梯度点对，如果梯度点对的距离大于设定的阈值，则该梯度点对将被认为是有效的梯度点对，计算该梯度点对的中值作为该行车道中点的坐标，梯度点对间的距离作为该行车道宽度的估计。

步骤2.3对每一行的梯度点集做步骤2.2处理，从而可以得到候选的车道宽度点集Dis＝{(d_i，r_i)|i＝1，2…}和车道中线点集 $\mathrm{Mid}=\left\{(u_i^m,r_i^m)\right|i=\mathrm{1,2}...\}.$

步骤3.车道宽度及消失点坐标估计

根据平行透视投影原理，图像坐标系下的车道宽度d和世界坐标系下的车道宽度D满足如下关系：

d＝k(r-vp_y)    (1)

其中，反映了车道宽度经透视变换后满足的约束关系。其中，f为摄像机的焦距，H是摄像机相对地面的高度，vp_y是两车道边界在图像中消失线的纵坐标值，r是图像空间中车道边界点的行坐标值。

对车道宽度候选点集Dis利用Hough变换公式(1)进行Hough变换，实现未知参数k和消失点vp_y的估计。

步骤4.线性双曲线车道模型参数估计

设定线性双曲线模型公式如下：

u＝a/(r-vp_y)+b(r-vp_y)+c＝f₁(r)+f₂(r)+c    (2)

式中，a，b，c是线性双曲线模型的参数，u，r分别是图像空间中车道边界点的列坐标值和行坐标值，vp_y是车道线的消失点坐标值。f₁(r)＝a/(r-vp_y)，f₂(r)＝b(r-vp_y)。在线性双曲线模型中，参数a反映了道路的弯曲程度，参数b反映了道路相对于图像坐标系原点的斜率，参数c是车道线与u轴的交点，参数vp_y反映了两侧车道线经透视变换后的交点。

在获得消失点坐标vp_y的基础上，根据公式(2)再次利用Hough变换公式(1)计算线性双曲线模型中的未知参数a，b，c。

步骤5.算法实现

假设检测到的车道中线点为L_mid＝(u_m，r_m)，则车道的左侧边界点L_left＝(u₁，r₁)和右侧边界点L_right＝(u_r，r_r)可表示为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_1={\mathrm{\μ}}_m-0.5d={\mathrm{\μ}}_m-0.5k(r-{\mathrm{vp}}_y)\\ {\mathrm{\μ}}_r={\mathrm{\μ}}_m+0.5d={\mathrm{\μ}}_m+0.5k(r-{\mathrm{vp}}_y)\\ r_1=r_r=r_m\end{array}\right.---\left(3\right)$

根据获得的车道宽度信息和车道中线信息，利用公式(3)实现不同道路环境下左右侧车道线的检测。

本发明有益效果：

1、利用梯度点对约束的策略以及平行透视关系，可以利用道路更多的几何信息，实现对消失点的准确定位和车道宽度参数的估计。

2、基于梯度点对约束提取车道中线及利用两次Hough变换，可以有效克服路面破损、阴影及车辆遮挡对车道识别的影响。

3、利用线性双曲线模型描述车道中线，能够实现不同环境下直线和曲线道路的识别。

附图说明

图1(a)为原始图像；

图1(b)为梯度点对图像；

图2(a)为世界坐标系下的平行车道；

图2(b)为图像坐标系下的平行车道；

图3为线性双曲线模型。

具体实施方式

下面结合附图和具体实例对本发明做出进一步说明。

本发明提出了一种基于梯度点对约束下的复杂道路检测方法，该方法通过利用结构化道路两侧车道线具有相对或相反梯度方向的性质，进一步将结构化车道所具有的几何特征信息加入到车道检测中，将两侧车道线的检测转化为对车道中线的线性双曲线模型参数以及车道透视投影参数的估计，并利用两次Hough变换最终实现了对车道两侧车道线的检测。其具体步骤如下：

步骤1.图像边缘检测

利用Sobel算子和形态学滤波方法对原始图像进行边缘检测，得到二值化图像bw，图1(a)和图1(b)所示。

为了消除噪声对边缘图像的影响，本发明分别采用形态学滤波及连通域判别的方法，消除噪声及连通区域面积小于阈值的连通域，从而获得准确可靠的边缘图像。最后根据Sobel算子的检测结果，可以获得车道边缘的水平梯度信息。在水平梯度方向上，车道标志线是一对具有相对或相反梯度方向的点对，如图1(b)所示，我们定义梯度方向向左的梯度点为左梯度点，反之为右梯度点。

步骤2.基于梯度点对约束的中点提取

本发明利用梯度点对约束提取车道中线点集的过程如下：

步骤2.1提取一行中的左梯度点集和右梯度点集 $G_{\mathrm{right}}=\left\{(u_i^r,r_i^r)\right|i=\mathrm{1,2}...\};$

步骤2.2将G_left中的点和G_right中的点组成梯度点对，如果梯度点对的距离大于设定的阈值，则该梯度点对将被认为是有效的梯度点对，计算该梯度点对的中值作为该行车道中点的坐标，梯度点对间的距离作为该行车道宽度的估计；

步骤2.3对每一行的梯度点集做上述处理，从而可以得到候选的车道宽度点集Dis＝{(d_i，r_i)|i＝1，2…}和车道中线点集

步骤3.车道宽度及消失点坐标估计

本发明在结构化道路梯度点对约束的基础上获得车道宽度点集，通过一次Hough变换实现消失点坐标和车道宽度的估计。

如图2(a)所示，道路在世界坐标系下是平行的，右侧车道标志线可看作是左侧车道标志线平移一定车道宽度D的结果，D＝x_r-x₁，其中x₁，x_r是世界坐标系下左右侧车道边界点P_L(x₁，y)和P_R(x_r，y)在x轴的坐标值。经透视投影变换后如图2(b)所示，在图像坐标系下，边界点p_r(u_r，r)和p₁(u₁，r)对应的车道宽度为d＝u_r-u₁。

根据平行透视投影原理，图像坐标系下的车道宽度d和世界坐标系下的车道宽度D满足如下关系：

d＝k(r-vp_y)    (1)

其中，反映了车道宽度经透视变换后满足的约束关系。其中，f为摄像机的焦距，H是摄像机相对地面的高度，vp_y是两车道边界在图像中消失线的纵坐标值，r是图像空间中车道边界点的行坐标值。

显然，如果在图像坐标系中获得了每个行坐标r对应的车道宽度d，我们可以根据公式(1)直接估算参数k和消失点坐标vp_y，而不需要涉及摄像机参数。因Hough变换可以较好的克服离群点的影响，使得对参数的估计更为鲁棒，因此，本发明根据梯度点对约束所获得的车道宽度信息Dis，利用Hough变换实现公式(1)中消失点坐标vp_y和平行透视投影参数k的估计。

步骤4.线性双曲线车道模型参数估计

本发明采用线性双曲线模型实现车道中线的检测，其表达式为：

u＝a/(r-vp_y)+b(r-vp_y)+c＝f₁(r)+f₂(r)+c    (2)

式中，a，b，c是线性双曲线模型的参数，u，r分别是图像空间中车道边界点的列坐标值和行坐标值，vp_y是车道线的消失点坐标值，f₁(r)＝a/(r-vp_y)，f₂(r)＝b(r-vp_y)。在线性双曲线模型中，参数a反映了道路的弯曲程度，参数b反映了道路相对于图像坐标系原点的斜率，参数c是车道线与u轴的交点，参数vp_y反映了两侧车道线经透视变换后的交点。在线性双曲线模型中，根据计算的参数值不同，可以实现直线道路，左转弯道路和右转弯道路的检测。其几何意义如图3所示。

图3中虚线为车道中线，对于远端道路BC，即当r-vp_y＜δ时，f₂(r)＜bδ，且随r减小，f₂(r)减小，而f₁(r)增大。此时u主要由a/(r-vp_y)项决定，可以描述远端道路为曲线的状况。同理，对于近处道路AB，当r-vp_y＞δ时，f₁(r)＜a/δ，且随r增大，f₁(r)减小，而f₂(r)增大，此时u主要由b(r-vp_y)项决定，可以实现近处道路为直线的检测。

在获得消失点坐标vp_y的基础上，根据公式(2)再次利用Hough变换公式(1)计算线性双曲线模型中的未知参数a，b，c；

步骤5.算法实现

在获得车道中线和车道宽度参数的基础上，可以实现两侧车道线的检测。假设检测到的车道中线点为L_mid＝(u_m，r_m)，则车道的左侧边界点L_left＝(u₁，r₁)和右侧边界点L_right＝(u_r，r_r)可表示为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_1={\mathrm{\μ}}_m-0.5d={\mathrm{\μ}}_m-0.5k(r-{\mathrm{vp}}_y)\\ {\mathrm{\μ}}_r={\mathrm{\μ}}_m+0.5d={\mathrm{\μ}}_m+0.5k(r-{\mathrm{vp}}_y)\\ r_1=r_r=r_m\end{array}\right.---\left(3\right)$

根据获得的车道宽度信息和车道中线信息，利用公式(3)实现不同道路环境下左右侧车道线的检测。

Claims (1)

1.梯度点对约束下的复杂道路检测方法，其特征在于该方法包括以下步骤：

步骤1.图像边缘检测；

利用Sobel算子和形态学滤波方法对原始图像进行边缘检测，得到二值化图像bw；

步骤2.基于梯度点对约束的中点提取；

定义梯度方向向左的梯度点为左梯度点，反之为右梯度点；在二值化图像bw中利用梯度点对约束提取车道中线点集的过程如下：

步骤2.1提取一行中的左梯度点集和右梯度点集 $G_{\mathrm{right}}=\left\{(u_i^r,r_i^r)\right|i=\mathrm{1,2}...\};$

步骤2.2将G_left中的点和G_right中的点组成梯度点对，如果梯度点对的距离大于设定的阈值，则该梯度点对将被认为是有效的梯度点对，计算该梯度点对的中值作为该车道中点的坐标，梯度点对间的距离作为该车道宽度的估计；

步骤2.3对每一行的梯度点集做步骤2.2处理，从而可以得到候选的车道宽度点集Dis＝{(d_i,r_i)|i＝1,2…}和车道中线点集 $\mathrm{Mid}=\left\{(u_i^m,r_i^m)\right|i=\mathrm{1,2}...\};$

步骤3.车道宽度及消失点坐标估计；

根据透视原理，图像坐标系下的车道宽度d和世界坐标系下的车道宽度D满足如下关系：

d＝k(r-vp_y)    (1)

其中,反映了车道宽度经透视变换后满足的约束关系；其中，f为摄像机的焦距，H是摄像机相对地面的高度，vp_y是两车道边界在图像中消失线的纵坐标值，r是图像空间中车道边界点的行坐标值；

对车道宽度候选点集Dis利用Hough变换公式(1)进行Hough变换，实现未知参数k和vp_y的估计；

步骤4.线性双曲线车道模型参数估计；

设定线性双曲线模型公式如下：

u＝a/(r-vp_y)+b(r-vp_y)+c＝f₁(r)+f₂(r)+c    (2)

式中，a，b，c是线性双曲线模型的参数，u，r分别是图像空间中车道边界点的列坐标值和行坐标值；f₁(r)＝a/(r-vp_y),f₂(r)＝b(r-vp_y)；在线性双曲线模型中，参数a反映了道路的弯曲程度，参数b反映了道路相对于图像坐标系原点的斜率，参数c是车道线与u轴的交点，参数vp_y反映了两侧车道线经透视变换后的交点；

在获得vp_y的基础上，根据公式(2)再次利用Hough变换公式(1)计算线性双曲线模型中的未知参数a，b，c；

步骤5.算法实现

假设检测到的车道中线点为L_mid＝(u_m,r_m)，则车道的左侧边界点L_left＝(u_l,r_l)和右侧边界点L_right＝(u_r,r_r)可表示为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_1={\mathrm{\μ}}_m-0.5d={\mathrm{\μ}}_m-0.5k(r-{\mathrm{vp}}_y)\\ {\mathrm{\μ}}_r={\mathrm{\μ}}_m+0.5d={\mathrm{\μ}}_m+0.5k(r-{\mathrm{vp}}_y)\\ r_1=r_r=r_m\end{array}\right.---\left(3\right)$

根据获得的车道宽度信息和车道中线信息，利用公式(3)实现不同道路环境下左右侧车道线的检测。