CN101620732A - 道路行驶线的视觉检测方法 - Google Patents

Abstract

本发明公开了一种道路行驶线的视觉检测方法。第一步，对于一幅给定的原始道路图像，通过边缘检测将图像中的所有边缘检测出来，得到一幅边缘图像；第二步，对左右车道线分别定义基于方向优先级的搜索规则，利用该规则对边缘图像进行搜索，在搜索时记录每条搜索路径，从而将边缘图像转换成候选线段的集合；第三步，对候选线段集合中的每条线段进行Hough变换，在Hough空间中统计线段的共线点数，过滤共线点小于T2的线段；第四步，利用原始图像的亮度信息，对第三步处理后剩下的候选线段进行一系列的变换处理，消除路面裂纹，新旧路面交接规则边缘干扰，识别出车道线，完成车道线的定位。本发明方案遵循由粗到精的思想，较现有方案定位准确，实时性高。

Description

道路行驶线的视觉检测方法

所属技术领域

本发明涉及智能交通系统中的智能车辆技术，尤其是一种道路行驶线的视觉检测方法。

背景技术

道路行驶线(又称车道线)的检测与定位是智能车辆系统中的关键组成部分，已成为相关科研机构，以及汽车生产厂家研发的焦点。其中，以机器视觉作为主要的环境感知手段被公认为最有效的感知方式之一。

现有方法大多基于这样一个事实：结构化道路中存在一些白色或黄色的标记，这些标记可作为车道线的特殊模式。从而，车道线检测问题转化为一幅给定道路图像中的特定模式(车道线)识别问题。

光学成像系统中透视效果的存在，使得道路中的两条平行边缘映射为图像空间中的两条相交线，道路的几何信息在成像过程中丢失了。用逆投影映射(Inverse Perspective Mapping，IPM)来消除透视效果，利用道路的几何特征来完成车道线检测，这种方法计算量大，需特殊硬件配合。

为降低计算量，可基于感兴趣区域(Region of Interest，ROI)的车道线提取方法。以空间和时间连续性作为限制，将算法的处理区域由整幅图像缩减为车辆前方的某一特定区域，在该区域中能更加有效的检测出车道线。然而，ROI的选取至关重要，选择不当将会导致算法失效。

考虑到公路在建造时都具有一定的模型，可通过对道路建模来降低检测过程的复杂性。用回旋曲线作为车道线模型，并假设车道线之间具有某一固定的宽度，以此作为限制条件来增强对算法的约束，便于在图像中快速定位满足限制条件的行驶标记，但当道路模型较为复杂，如道路宽度发生变化，或车道线缺失时检测效果不理想。

发明内容

为克服现有的道路行驶线检测方法无法同时兼顾定位准确性和高实时性的缺点，本发明提供一种道路行驶线的视觉检测方法。

本发明所采用的技术方案是：

(1)、对于一幅给定的原始道路图像，首先通过边缘检测将图像中的所有边缘检测出来，得到一幅边缘图像；

(2)、对左右车道线分别定义基于方向优先级的搜索规则，利用该规则对步骤(1)得到的边缘图像进行搜索，在搜索的同时记录每条搜索路径，定义阈值T1，过滤掉线段长度小于T1的线段，从而将边缘图像转换成候选线段的集合，T1取值在15～30之间；

该步骤所使用的方向优先级定义为：

任取一个3×3的窗口，当前像素位置(窗口正中间的像素)具有8个邻接像素，对左车道线而言，搜索方向仅限于90度，45度和0度3个方向，90度方向为最高优先级，45度其次，0度为最低；对右车道线而言，搜索方向仅限于90度，135度和180度3个方向，90度方向为最高优先级，135度其次，180度为最低；

该步骤所使用的左车道线搜索规则为：

(A)、从边缘图像左下角开始，对边缘图像从左向右、从下到上进行行扫描，如果当前像素是边缘点，则初始化一条候选线段，并将该像素的坐标作为起始点记录下来，否则，继续向后扫描，直到发现边缘点，转到第(B)步；

(B)、根据针对左车道线定义的方向优先级，依次判断当前点的3个方向是否存在边缘点，如未发现某优先级方向上存在边缘点，跳转到第(C)步，否则，记录该点坐标，并移动到新的边缘点，重复该过程直到没有满足要求的连续边缘点，结束对本候选线段的搜索。

(C)、重复以上过程，继续扫描候选线段，直到整幅边缘图像的边缘点全部被遍历，结束对左车道候选线段的搜索。

右车道候选线段的搜索规则与左车道的搜索过程类似，区别为步骤(A)中搜索起始点位于边缘图像的右下角，步骤(B)中使用的方向优先级为针对右车道线定义的方向优先级；

(3)、对候选线段集合中的每条线段进行Hough变换，在Hough空间中统计线段的共线点数，定义阈值T2，过滤共线点小于T2的线段，T2取值在15～25之间；

(4)、最后，利用原始图像的亮度信息，对步骤(3)处理后剩下的候选线段进行一系列的变换处理，消除路面裂纹，新旧路面交接等规则边缘等干扰，识别出车道线，完成车道线的定位；

在经过步骤(3)之后，剩下的少量候选线段中，主要是车道线，路面裂缝以及新旧路面的分界线，先进行以下变换处理：

(A)、根据候选线段先原始图像中的位置，分别与线段的纵向长度为1/3、1/2、2/3处读取一行亮度数据。

(B)、使用5点高斯滤波器对其进行平滑处理。

(C)、对平滑后的数据进行逐点差分处理，差分模板为[-2，2]。

(D)、对差分后的结果取绝对值，并再次进行5点高斯平滑处理。

(F)、在步骤(C)处理后的数据直方图中，车道线和裂纹都表现为正负两个峰值，而新旧路面仅有一个峰值，而步骤(D)处理后的数据直方图中，车道线具有两个正峰值，而路面裂纹和新旧路面仅包含一处峰值，结合这两个特征即可识别出车道线，从而完成对车道线的检测。

本发明的有益效果是，本发明是一种由粗到精的车道线检测方法，包括边缘检测、基于方向优先级搜索、基于霍夫的大曲率消除、车道线识别4个步骤。充分挖掘车道线的先验信息，在算法的每步当中，都增强符合车道线特征的边缘，削弱不符合的边缘，在后续的步骤中依次过滤掉干扰信息，最终实现对车道线准确定位。

在第(1)步中，本发明采用了Canny边缘检测方法，在使用该方法检测图像中的边缘时，其检测边缘的完整性，边缘定位的准确性已得到业界人士的肯定。因此，用该方法不但能完整的检测出图像中的边缘，还具有定位准确的优势，而车道线的边缘也包括在其中，这一步即为“粗”。

在第(2)步中，本发明针对左右车道线分别定义了基于方向优先级的搜索规则。第一，将左右车道线的检测分离开来，使得本发明适用于变宽道路，以及某一车道线缺失的情况；第二，利用本步骤定义的规则对边缘图像进行搜索之后，例如阴影等复杂纹理的边缘将变为短小的线段被过滤，而车道线构成的边缘将被保持，使得本发明对路面阴影同样具有适应性，这一步增强了符合车道线特征的边缘，削弱不符合的边缘，体现了“精”。

在第(3)步中，本发明使用Hough变换来统计候选线段的直线度，进一步过滤掉干扰线段。但传统的Hough法无法满足实时性要求。以孙丰荣于2001年在《计算机学报》24卷第10期公开的一种快速Hough变换算法为准，现有方法的计算开销为O(N²logN)，而经过本发明第(2)步的搜索规则处理后，边缘点被组合成k条线段，不失一般性，设每条线段包含的数据点相同，Hough变换的计算量变为O(N₂logN/k)k²，计算开销大幅降低。此外，每条记录中仅保存一条线段，只需输出具有最高投票率的结果，输出稳定且唯一。该步在进一步增强符合车道线特征的边缘，削弱不符合的边缘的同时，大幅提高的算法的实时性。

在第(4)步中，本发明针对剩下的少量候选线段的特征，利用原始图像的亮度信息，以及候选线段在图像中的位置，通过简单的变换，完成车道线的检测。

因此，本发明较现有方案具有：实时性高、定位准确的优点，且对道路变宽，路面阴影等情况存在下的道路行驶线的检测任务具有适应性。

附图说明

图1是本发明的方法流程图。

图2是搜索规则示意图。

具体实施方式

下面结合附图对发明的实施做出进一步说明。图1是本发明的方法流程图，如图1所示，该方法包括以下四个步骤。

步骤101：对于一幅给定的道路图像，首先通过边缘检测中的方法，将图像中的所有边缘尽可能完整的检测出来，得到一幅边缘图像。具体为：

(1)平滑图像

用二维高斯函数对原始图像f(x，y)进行平滑除噪，得到平滑图像I(x，y)，设二维高斯函数为

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})---\left(1\right)$

其梯度矢量为

$\▿G(x,y)={\left[\begin{array}{cc}\∂G/\∂x& \∂G/\∂y\end{array}\right]}^T---\left(2\right)$

为提高算法效率，将式(2)分解为2个行列一维滤波器，

$\frac{\∂G}{\∂x}=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^4}\mathrm{xexp}(-\frac{x^2}{2{\mathrm{\σ}}^2})\exp (-\frac{y^2}{2{\mathrm{\σ}}^2})$

$\frac{\∂G}{\∂y}=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^4}\mathrm{yexp}(-\frac{y^2}{2{\mathrm{\σ}}^2})\exp (-\frac{x^2}{2{\mathrm{\σ}}^2})---\left(3\right)$

其中，σ为滤波器参数，控制平滑的长度。高斯平滑后的输出图像I(x，y)为

$I(x,y)=\▿G(x,y)*f(x,y)---\left(4\right)$

其中，“*”代表卷积。

(2)计算梯度方向和幅值

在2×2邻域中通过一阶差分计算I(x，y)的梯度方向θ(x，y)和幅值M(x，y)，

M(x，y)＝arctan(I_x(x，y)/I_y(x，y))

                                             (5)

$\mathrm{\θ}(x,y)=\sqrt{I_x{(x,y)}^2+I_y{(x,y)}^2}$

其中

I_x(i，j)＝(I(i+1，j)-I(i，j)+I(i+1，j+1)-I(i，j+1))/2

                                                        (6)

I_y(i，j)＝(I(i，j+1)-I(i，j)+I(i+1，j+1)-I(i+1，j))/2

(3)对梯度幅值进行非极大值抑制

为精确定位边缘，只需保留幅值局部变化最大的边缘点，即需要进行非极大值抑制。使用3×3尺寸，包含8个方向的邻域进行梯度幅值差值。将像素点(x，y)的梯度幅值M(x，y)与该点梯度方向上的2个梯度幅值的差值结果进行比较，若该点的梯度幅值小于梯度方向上2个相邻像素点的梯度差值结果，则将该点从边缘候选点集中除去。如此循环，直到所有的局部非极大值都被消除。

(4)用双阈值方法连接边缘

选取高低两个阈值T_H，T_L，对非极大值抑制后的图像分别进行阈值化处理，从而得到一个高阈值检测结果和一个低阈值检测结果。在高阈值图像中连接边缘轮廓，当连接到端点时，从低阈值图像中寻找弱边缘点，弥补高阈值分割图像中的边缘间隙。

本101步骤还可使用的边缘检测方法包括：Sobel方法、Roberts方法、Prewitt方法、Laplace方法等，但Canny方法以其定位准确性和边缘检测的完整性为本发明的最优选择，其他方法次之。

步骤102：对左右车道线分别定义基于方向优先级的搜索规则，对边缘图像进行搜索，将每条搜索路径记录下来，从而将边缘图像转换成了候选线段的集合。在这一步中，复杂纹理的边缘特征被削弱，而车道线的边缘特征被保持。

在经过步骤101之后，各种目标的轮廓信息保存在边缘图像中。下面给出基于方向优先级的搜索规则，用于削弱路面干扰(阴影等具有复杂纹理的边缘)。

不失一般性，以左车道线为例说明搜索规则，对右车道的搜索具有相似的性质。取一个3×3的窗口，如图2(a)所示。当前像素点(灰色方块)具有8个邻接像素，但考虑车道线的延伸方向(从左向右)，仅有3个方向能够满足右车道线的纵、横向连贯性，见图2(a)中标出的3个箭头方向。在此基础上，定义90度方向为最高优先级，45度其次，0度为最低。左车道的搜索规则为：

(1)从图像左下角开始，对边缘图像从左向右进行行扫描。如果当前像素是边缘点，则初始化一条候选线段，并将该像素的坐标作为起始点记录下来。否则，继续向后扫描，直到发现边缘点，转到第(2)步。

(2)根据方向优先级，依次判断当前点的3个方向是否存在边缘点。如未发现某优先级方向上存在边缘点，跳转到第(3)步。否则，记录该点坐标，并移动到新的边缘点，重复该过程直到没有满足要求的连续边缘点，结束该候选线段的搜索。

(3)继续行扫描，直到整幅边缘图像的边缘点全部被遍历，结束对左车道候选线段的搜索。

右车道候选线段的搜索规则与左车道的搜索过程类似，不同的是起始点位于边缘图像的右下角，搜索规则如图2(b)所示。

搜索完成之后，将得到n条候选线段的记录，每条记录中按顺序存放组成线段的点坐标，记录的长度代表该线段的像素个数。选择一个阈值T1，过滤掉长度小于T1的线段。

步骤103：对候选线段集合中的每条线段进行Hough变换，在Hough空间中统计线段的共线点数，过滤共线点较少(曲率较大)的线段。复杂纹理的边缘将被消除，直线度较好或具有光滑曲率的线段被保留。

用Hough变换消除大曲率线段的算法如下：

(1)将参数空间(ρ，θ)分为m×n等分，并初始化累加器A_m×n。m、n的取值视输入图像的尺寸而定。例如，320×240大小的图像，取值可分别为350、90。

(2)从待检测线段中取出一条，记为点集(x_i，y_i)，其中i＝0，1，...，l，l为该点集中的元素个数，根据式(7)将(x_i，y_i)变换到参数空间，

ρ_k＝x_icosθ_k+y_i sinθ_k  k＝1，2，...90    (7)

在参数空间中寻找(ρ_k，θ_k)在A_m×n中对应的元素，并令

A_m×n(m，n)＝A_m×n(m，n)+1               (8)

(3)当该线段上所有的点都经过第(2)步遍历后，寻找累加器A_m×n中的最大值，记录下来，该值对应该候选线段中共线点的数量。

(4)循环(2)，(3)两步，直到所有的候选曲线都被遍历。选择一个阈值T2，过滤掉共线点数小于该阈值的线段。T2在本发明中的取值为15。

步骤104：利用图像的亮度信息，对剩下的少量候选线段进行一系列的变换处理，消除路面裂纹，新旧路面交接等规则边缘等干扰，识别出车道线，完成车道线的定位。

在经过步骤103之后，剩下的少量候选线段中，主要是车道线，路面裂缝以及新旧路面的分界线。下面给出如何利用图像亮度信息来识别车道线的方法。

(1)根据候选线段先原始图像中的位置，分别与线段的纵向长度为1/3、1/2、2/3处读取一行亮度数据。

(2)使用5点高斯滤波器对其进行滤波，对噪声像素进行平滑处理。

(3)对平滑后的数据进行逐点差分处理，差分模板为[-2，2]。

(4)对差分后的结果取绝对值，并再次进行5点高斯平滑处理。

在步骤(3)处理后的数据直方图中，车道线和裂纹都表现为正负两个峰值，而新旧路面仅有一个峰值。而步骤(4)处理后的数据直方图中，车道线具有两个正峰值，而路面裂纹和新旧路面仅包含一处峰值。结合这两个特征即可识别出目标的类型，从而完成对车道线的检测。

Claims (3)

1.一种道路行驶线的视觉检测方法，其特征是，该方法包括以下步骤：

(1)、对于一幅给定的原始道路图像，首先通过边缘检测方法将图像中的所有边缘检测出来，得到一幅边缘图像；

(2)、对左右车道线分别定义基于方向优先级的搜索规则，利用该规则对步骤(1)得到的边缘图像进行搜索，在搜索的同时记录每条搜索路径，定义阈值T1，过滤掉线段长度小于T1的线段，从而将边缘图像转换成候选线段的集合，T1取值在15～30之间；

该步骤所使用的方向优先级定义为：

任取一个3×3的窗口，当前像素位置，即窗口正中间的像素具有8个邻接像素，对左车道线而言，搜索方向仅限于90度，45度和0度3个方向，90度方向为最高优先级，45度其次，0度为最低；对右车道线而言，搜索方向仅限于90度，135度和180度3个方向，90度方向为最高优先级，135度其次，180度为最低；

该步骤所使用的左车道线搜索规则为：

(A)、从边缘图像左下角开始，对边缘图像从左向右、从下到上进行行扫描，如果当前像素是边缘点，则初始化一条候选线段，并将该像素的坐标作为起始点记录下来，否则，继续向后扫描，直到发现边缘点，转到第(B)步；

(B)、根据针对左车道线定义的方向优先级，依次判断当前点的3个方向是否存在边缘点，如未发现某优先级方向上存在边缘点，跳转到第(C)步，否则，记录该点坐标，并移动到新的边缘点，重复该过程直到没有满足要求的连续边缘点，结束对本候选线段的搜索；

(C)、重复以上过程，继续扫描候选线段，直到整幅边缘图像的边缘点全部被遍历，结束对左车道候选线段的搜索；

右车道候选线段的搜索规则与左车道的搜索过程类似，区别为步骤(A)中搜索起始点位于边缘图像的右下角，步骤(B)中使用的方向优先级为针对右车道线定义的方向优先级；

(3)、对候选线段集合中的每条线段进行Hough变换，在Hough空间中统计线段的共线点数，定义阈值T2，过滤共线点小于T2的线段，T2取值在15～25之间；

(4)、在经过步骤(3)之后，剩下的少量候选线段中，主要是车道线，路面裂缝以及新旧路面的分界线，最后，利用原始图像的亮度信息，对步骤(3)处理后剩下的候选线段进行一系列的变换处理，消除路面裂纹，新旧路面交接的规则边缘干扰，然后识别出车道线，完成车道线的定位，具体方式如下：

(A)、根据候选线段先原始图像中的位置，分别与线段的纵向长度为1/3、1/2、2/3处读取一行亮度数据；

(B)、使用5点高斯滤波器对其进行平滑处理；

(C)、对平滑后的数据进行逐点差分处理，差分模板为[-2，2]；

(D)、对差分后的结果取绝对值，并再次进行5点高斯平滑处理；

(F)、在步骤(C)处理后的数据直方图中，车道线和裂纹都表现为正负两个峰值，而新旧路面仅有一个峰值，而步骤(D)处理后的数据直方图中，车道线具有两个正峰值，而路面裂纹和新旧路面仅包含一处峰值，结合这两个特征即可识别出车道线，从而完成对车道线的检测。

2.根据权利要求1所述的一种道路行驶线的视觉检测方法，其特征是：所述步骤(1)所使用的原始道路图像为灰度图像，边缘检测方法为Canny方法。

3.根据权利要求1所述的一种道路行驶线的视觉检测方法，其特征是：所述步骤(2)所使用的基于方向优先级的搜索规则，在其搜索过程中，以链表形式分别记录满足相应搜索规则的边缘点的坐标，以及每条候选线段的长度。

Images