CN102722705A - 一种基于ransac算法的多车道线检测方法 - Google Patents

Abstract

本发明涉及一种基于RANSAC算法的多车道线检测方法，包括以下步骤：步骤1，采集车辆前方路况的原始图像，即：智能车在行驶过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像；步骤2，将步骤1得到的原始图像经过逆透变换得到逆透视图；步骤3，利用二维的高斯核对步骤2得到的逆透视图进行图像预处理；步骤4，对预处理后的图像进行Hough变换，得到车道候选线，并针对车道候选线利用Hough变换进行快速RANSAC验证，得到修正后的车道候选线；步骤5，对步骤4中得到的修正后的车道候选线进行后处理。因此，本发明具有如下优点：稳定性强，识别多车道线，能很好的解决弯曲的车道问题。

Description

一种基于RANSAC算法的多车道线检测方法

技术领域

本发明涉及一种多车道线检测方法，尤其是涉及一种基于RANSAC算法的多车道线检测方法。

背景技术

智能车的研究和发展的最重要的领域之一就是道路安全，目前这些已经越来越受到关注。交通事故已成为“世界第一害”，而中国是世界上交通事故死亡人数最多的国家之一。从二十世纪八十年代末中国交通事故年死亡人数首次超过五万人至今，中国(未包括港澳台地区)每年交通事故50万起，因交通事故死亡人数均超过10万人，已经连续十余年居世界第一。汽车自动驾驶是汽车技术发展的必然趋势，已经成为各国汽车领域研究的热点。自动驾驶能大大的减少交通事故，而车道线提取就是自动驾驶中的关键技术之一。目前汽车制造商已经采取了一些安全措施如刹车防抱死系统、空气袋、控制牵引力和电子稳定控制来阻止或最大可能的减少事故的伤害。未来将会有更多的技术应用到汽车上。最新的数据显示，车道偏移检测是目前的一个主要的研究区域，它可以很大限度的减少事故的发生。相对于激光雷达，毫米波雷达，红外线等传感器进行道路可行驶区域的感知，基于视觉的感知系统耗用成本较小，且基于视觉的感知设备具有直观，通用性强等优点。

车道线是最基本的交通标志，是汽车安全行驶时的基本约束，在智能车系统中，车道线的识别是一个最基本，必须，关键的功能。，实际上，国内外研究人员提出了很多基于视觉的车道线检测方法。然而，由于不同地方环境的差异如阴影、车辆遮挡、脏的道路线、相机的自运动、变化的光照情况以及其他的图像缺陷因素，这个问题目前仍然没有很好的解决。

下面简单介绍一下这些技术。目前，主要有两种方法来进行结构化道路的检测：基于模板和基于特征的方法。基于模板的方法[3-8]已经广泛的用于车道线的检测和跟踪，并且采用如直线、抛物线和曲线模型来匹配道路边界。实际上，一些简单的模型如直线模型不能够提供精确的匹配，但是却能够很好的解决图像中的缺陷。另一方面，一些复杂的模型如抛物线或曲线模型，能够更灵活的适应不同的道路边界，但是这种模型对图像的缺陷和噪声更敏感。基于特征的方法主要是根据一些特征提取边缘，然后用这些特征根据之前定义的规则来创建道路线。这种方法最大的优势就是对道路的形状不敏感，具有很高的鲁棒性。Lee提出了一个基于特征的机器视觉系统来估计道路边界。这个系统采用了边缘分布函数来检测车道线的位置，并且实验结果显示即使有阴影、光照变化、糟糕的道路情况这些干扰时，它也能很好的提取道路边界。然而，由于采用的是直线模型（通过Hough变换得到的）来匹配道路边界，边缘分布函数在比较弯曲的道路时会提取失败。Jung和Kelber采用了一个修正的边缘分布函数来满足车道线的跟踪。在跟踪阶段，采用线性和抛物线的车道线模型，这样可以跟踪那些弯曲的路况。在Lee或Jung等人的工作中，主要是用Hough变换来检测车道线边缘。然而，在检测阶段如何提取弯曲的车道线问题目前仍然没有解决。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种具有稳定性强，识别多车道线，能很好的解决弯曲的车道问题的一种基于RANSAC算法的多车道线检测方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于RANSAC算法的多车道线检测方法，其特征在于，包括以下步骤：

步骤1，采集车辆前方路况的原始图像，即：智能车在行驶过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像；

步骤2，将步骤1得到的原始图像经过逆透变换得到逆透视图；

步骤3，利用二维的高斯核对步骤2得到的逆透视图进行图像预处理；

步骤4，对预处理后的图像进行Hough变换，得到候选车道线，并针对车道候选线利用Hough变换进行快速RANSAC验证，得到修正后的车道候选线；

步骤5，对步骤4中得到的修正后的车道候选线进行后处理。

在上述的一种基于RANSAC算法的多车道线检测方法，所述步骤2中，经过逆透变换得到逆透视图的具体方法如下：

步骤2.1，定义转换矩阵，所述转换矩阵由世界坐标，中心在相机光学中心，一个相机坐标，一个图片坐标构成，所述世界坐标根据摄像机的内参数和外参数得到，所述摄像机的内参数包括焦距长度和光学中心；所述摄像机外参数包括俯仰角、水平角度和相机距离地面的高度；

步骤2.2，将原始图像任意一点，经过步骤1的转换矩阵进行矩阵变换，到对应的路面坐标下的点，所述对应的路面坐标下的点所有点组成逆透视图。

在上述的一种基于RANSAC算法的多车道线检测方法，所述步骤3中，利用二维的高斯核对车道图像进行预处理，具体方法是：竖直方向采用平滑高斯函数：

其中，σ_y是根据所要检测的车道线长度来变化的，y为像素y的坐标；水平方向则采用二阶差分高斯函数：

其中，σ_x是根据检测的车道线宽度调整的，x为像素x的坐标。

在上述的一种基于RANSAC算法的多车道线检测方法，所述步骤4中，对从步骤3得到的预处理后的图像进行Hough变换包括以下步骤:

步骤4.1：对图片二值化预处理,找到图片中的“白点”，也就是要处理的边缘，假设其在直角坐标系下的坐标为（x，y），对其进行坐标变换ρ＝xcos(θ)+ysin(θ)，其中0＜θ＜π，得到参数空间累加图像；

步骤4.2：量化步骤4.1中的参数θ，将其变成[0,π)的每一个量化弧度，用其量化值与（x，y）求出ρ，然后将对应的(ρ，θ)计数器加1；

步骤4.3：比较参数空间数组元素值的大小，最大值对应的(ρ_j,θ_j)即为我们所求的直线方程：ρ＝x*cos(θ)+y*sin(θ)；

步骤4.4：定义所有直线都是平行的，取每条直线的中点，判断每个中点之间的距离，如果两个点之间的距离在设定的阈值范围之外时，便判断这两条直线不属于一组车道线。

在上述的一种基于RANSAC算法的多车道线检测方法，包括以下步骤：

步骤5.1：用RANSAC直线匹配法来给出初始估计，即：首先采用一个矩形框，该矩形框使得从步骤4获选的直线完整的被矩形框包围住。然后在该矩形框里对以给定的初始直线对所有可能的点进行RANSAC直线验证，得到初始估计的车道候选线；

步骤5.2：采用快速RANSAC算法来匹配贝塞尔曲线，即针对步骤5.1得到的初始估计的候选车道线，设定一个矩形框，该矩形框刚好完全包住该直线，在这个矩形框里面进行RANSAC验证，所用的曲线为三阶贝塞尔曲线。

在上述的一种基于RANSAC算法的多车道线检测方法，对步骤5中得到的修正后的候选车道线进行后处理的具体方法是：基于在图像坐标和世界坐标两个坐标系下进行的处理，具体包括以下步骤：

步骤6.1，定位：使用步骤5得到候选车道线作为初始曲线，然后从曲线中得到抽样点，按照这些抽样点的方向进行延伸；接着，通过这条直线来计算像素的位置得到这条线的灰度信息，并且用平滑高斯核进行卷积，找到得到的结果的最大值；此外，还要对新检测到的点进行角度的验证，并且如果它离预测的位置很远，将排除这个点；最后，用定位点重新对曲线进行匹配；

步骤6.2，延长：在步骤6.1得到的曲线的两端按照点的角度方向进行延长；

步骤6.3，几何验证：对步骤5得到的候选车道线和步骤6.2的得到的延长的线进行几何验证，去除掉长度过短的和弯曲度过大的线。

因此，本发明具有如下优点：稳定性强，识别多车道线，能很好的解决弯曲的车道问题。

附图说明

图1是本发明的方法流程示意图。

图2是本发明中Hough变换的方法流程示意图。

图3是本发明中RANSAC曲线验证算法流程示意图。

图4是本发明RANSAC曲线验证抽取采样点的示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

为了方便地描述本发明内容，首先对一些概念进行说明。

概念1：摄像机标定和摄像机参数：摄像机参数有摄像机的成像几何模型所决定，要从二维图像中恢复物体的三维信息，必须先确定摄像机的参数，参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。摄像机参数包括内部参数和外部参数，内部参数包括焦距长度和光学中心等，外部参数包括俯仰角、水平角度和相机距离地面的高度等。

概念2：Hough变换：Hough变换的策略就是把满足某种曲线方程的所有点变换到参数空间中表示这条曲线的一个点上去,在参数空间中的这个点上产生大的记数.Hough直线变换的基本理论是图像中的任何点都可能是一些候选直线集合的一部分。

概念3：RANSAC：RANSAC是Random Sample Consensus的简称，它是根据一组包含异常数据的样本数据集，通过迭代的方法计算出数据的数学模型参数，得到有效样本数据的非确定性的算法。它于1981年由Fischler和Bolles最先提出。

RANSAC的基本假设是：

（1）数据由“局内点”组成，例如：数据的分布可以用一些模型参数来解释；给定一组（通常很小的）局内点，存在一个可以估计模型参数的过程；而该模型能够解释或者适用于局内点

（2）“局外点”是不能适应该模型的数据；局外点产生的原因有：噪声的极值；错误的测量方法；对数据的错误假设。

（3）除此之外的数据属于噪声。

概念4：贝赛尔曲线：贝赛尔曲线的每一个顶点都有两个控制点，用于控制在该顶点两侧的曲线的弧度。它是应用于二维图形应用程序的数学曲线。曲线的定义有四个点：起始点、终止点（也称锚点）以及两个相互分离的中间点。滑动两个中间点，贝塞尔曲线的形状会发生变化

实施例：

基于RANSAC算法的实时城市多车道线检测方法，如图所示，包括以下步骤：

步骤1：采集车辆前方路况的原始图像。智能车在行驶过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像。

步骤2：由原始图像得到逆透视图（Inverse Perpective Mapping,IPM）。根据相机的内参数（焦距长度和光学中心）和外参数（俯仰角、水平角度和相机距离地面的高度）得到世界坐标，中心在相机光学中心，一个相机坐标，一个图片坐标的转换矩阵。对于图片中任意一点，经过矩阵变换，都可以变换到对应的路面坐标下的点。

步骤3：对逆透视图进行图像预处理。本发明利用二维的高斯核对车道图像进行预处理，竖直方向采用平滑高斯，它的σ_y是根据所要检测的车道线长度来变化的：

水平方向则采用二阶差分高斯，它的σ_x是根据检测的车道线宽度(根据经验值来设定)调整的：

$f_u\left(x\right)=\frac{1}{{\mathrm{\σ}}_x^2}\exp (-\frac{x^2}{2{\mathrm{\σ}}_x^2})(1-\frac{x^2}{{\mathrm{\σ}}_x^2}).$

步骤4：对预处理后的图像进行Hough变换。具体包括以下步骤:

步骤4-1：对图片二值化预处理,找到图片中的“白点”，也就是要处理的边缘，假设其在直角坐标系下的坐标为（x，y），对其进行坐标变换ρ＝xcos(θ)+ysin(θ)，其中0＜θ＜π。在实际的操作中，θ要转变为离散的数组θ₁,θ₁，…θ_j，ρ也就是相应的有ρ₁,ρ₁,…ρ_j。

步骤4-2：量化参数θ，将其变成[0,π)的每一个量化弧度，用其量化值与（x，y）求出ρ，然后将对应的(ρ，θ)计数器加1。

步骤4-3：最后一步比较参数空间数组元素值的大小，最大值对应的(ρ_j,θ_j)即为我们所求的直线方程。共线方程为ρ＝x*cos(θ)+y*sin(θ)。

步骤4-4：由于实际路面的车道线之间都有一定的距离，所以要去除那些不是车道线的直线。这里，我们假定所有直线都是平行的，取每条直线的中点，然后判断每个中点之间的距离，如果两个点之间的距离在一定的阈值范围之外时，我们便判断这两条直线不属于一组车道线。

步骤5：对Hough变换得到的候选线进行快速RANSAC验证：

步骤5-1：RANSAC直线验证主要是对Hough变换得到的车道线进行验证，首先采用一个矩形框，该矩形框使得直线完整的被矩形框包围住。然后在该矩形框里对以给定的初始直线对所有可能的点进行RANSAC直线验证。

步骤5-2：对处理结果进行改进的快速RANSAC曲线验证：RANSAC曲线验证的主要目的就是找出车道线可能出现的弯曲的情况。普通的RANSAC算法中，我们会通过计算每个点到三阶贝塞尔曲线的距离来判断该点的好坏，然而，这个算法需要对每个点去计算一个五阶方程，算法的复杂度很高。本发明采用一个更为有效的迭代方法的判断曲线好坏的方法。之前的算法已经给了候选的直线，这里，我们要进行RANSAC曲线验证，并且重新定位该直线。首先，对于之前的候选直线，我们设定一个矩形框，该矩形框刚好完全包住该直线，我们在这个矩形框里面进行RANSAC验证。我们用之前的候选直线作为RANSAC曲线匹配的初始线，所用的曲线为三阶贝塞尔曲线，它的优点是它的四个控制点刚好形成一个包围曲线本身的多边形边界

三阶贝塞尔曲线定义如下：

$Q\left(t\right)=T\left(t\right)\mathrm{MP}=\left[\begin{array}{cccc}{t}^3& t^2& t& 1\end{array}\right]\left[\begin{array}{cccc}-1& 3& -3& 1\\ 3& -6& 3& 0\\ -3& 3& 0& 0\\ 1& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{P}_0\\ P_1\\ P_2\\ P_3\end{array}\right]$

其中t∈[0,1]，Q(0)=P0,Q(1)=P3，其中P1和P2为曲线形状的控制点。RANSAC曲线验证的方法如下：

先获取抽样点：获取的抽样点为感兴趣区域中的点；匹配曲线：选取一些点，对贝塞尔曲线进行最小二乘匹配，计算每个点到三阶贝塞尔曲线的距离来判断该点的好坏，采用一个更为有效的迭代方法的计算曲线的score（一种判断好坏的标准），然后计算属于曲线的像素点的值。Score的计算如下：

score＝s(1+k₁l'+k₂θ′)   （2）

s为原始Spline的score（Spline的像素值总和），k1和k2限制参数。l'＝(l/v)-1其中l为Spline的长度，v为图像宽度θ’为标准曲线的角度，θ'＝(θ-1)/2，θ＝(cos(θ₁)+cos(θ₂))/2，如图4所示。

步骤6：对候选线进行后处理。后处理是在图像坐标和世界坐标两个坐标系下进行的处理，主要为了更好的定位曲线并且将其在图片中延伸。具体包括以下步骤:

步骤6-1：定位：使用候选车道线作为初始曲线，然后从曲线中得到抽样点，按照这些抽样点的方向进行延伸。接着，我们通过这条直线来计算像素的位置得到这条线的灰度信息，并且用平滑高斯核进行卷积，找到得到的结果的最大值。这能够让我们更好的对曲线上的点进行定位，以此更好的对车道线进行匹配。此外，还要对新检测到的点进行角度的验证，并且如果它离预测的位置很远，我们将排除这个点。最后，我们用定位点重新对曲线进行匹配。

步骤6-2：延长：在曲线的位置经过改进之后，为了给出一个更好的匹配曲线，我们在原始的图片和逆透视变换之后的图片中对曲线进行延长。我们采用的方法就是在检测到的曲线的两端按照点的角度方向进行延长。

步骤6-3：几何验证：完成之前的两步后，我们对原始的线和延长的线进行几何验证来保证他们不是非常的弯曲或短，这些情况下的线将在RANSAC直线匹配的时候被取代。还要进行一些验证，以确保在逆透视变换的图中匹配的曲线看起来是竖直的，否则，他们会被当做无效的曲线而被去除。

通过以上的步骤，我们就可以从安装在车辆上的摄像机获取的路况原始图像中检测出车道线。

上述步骤中，需要特殊说明的是：

1：步骤2中，得到逆透视图像的好坏会很大影响后面步骤的效果，所以通过摄像机标定得到的内，外参数要比较准确。

2：步骤3中，滤波器是专门针对特定宽度的、竖直的、二值化图中的白线来设计的，当然也能处理那些类似直线的线。对x和y方向采用不同的核要比采用一个单独的核要快，通过从滤波后的图像中选取q%的分位数值，并且去除那些低于阈值(如我们只保留最大为(q-1)%的点的值)的点来保留最大的那些像素值。本发明设定q为97.5%。

3：步骤6-2中，我们对延长的部分进行平滑高斯滤波从而得到灰度的卷积峰。如果这个卷积峰小于一定的阈值，它表明在均匀的区域没有线，如果变化的方向超过一定的阈值时，它表明车道线不能再继续延长。这两种情况下，我们都不采用这个峰值。

本发明提出基于RANSAC算法的实时城市多车道线检测方法，首先将原始图像变为鸟瞰图，又叫逆透视变换（Inverse Perpective Mapping,IPM）。然后通过预处理对图像进行滤波和二值化，之后采取Hough变换提取出车道线，根据车道线的特征排除不是车道线的直线，然后对所选取的直线进行RANSAC直线验证，给出初步的估计，接着进行RANSAC曲线验证，以找出可能出现弯曲的情况，最后在原始图和逆透视变换图中进行延长和验证。

本发明充分利用了车道线的出现区域和色彩，几何特征，借助高斯滤波，二值化等图像处理，提取出比较准确的候选线，并且基于车道线的固有近似垂直的特征，采用RANSAC算法对候选线进行进一步的验证。并且考虑到在智能车的实时使用，采用了快速的RANSAC算法。大大提高了本发明的稳定性和鲁棒性。

具体到应用中，首先使用C++语言编写车道线检测程序，然后将摄像机安装在智能车上方。对摄像头的内外参数进行标定，并在车辆行驶过程之中对前方道路情况进行图像采集，然后对采集到的原始图像进行车道线的识别，并把车道线信息传递给下层处理。（本发明的车道线检测算法在只检测智能车本车道的车道线时，检测率达到95%以上，多车道检测时，检测率也有90%以上。）对于640*480的高分辨率的图像时，处理速度可以达到15帧每秒，可以完成实时要求。运行环境为Windows XP，CPU Intel Pentium（R）2.5GHz，RAM 2G，编译器为Visio Studio 2010，。

综上所述，本发明对于结构化和非结构化车道线都有很好的稳定性和准确性，并在各种复杂道路情况下进行了验证，取得了很好的效果。同时算法处理实时性很高，很好的满足了智能车实时检测车道线的要求。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于RANSAC算法的多车道线检测方法，其特征在于，包括以下步骤：

步骤1，采集车辆前方路况的原始图像，即：智能车在行驶过程中，通过安装在车辆上的摄像机采集车辆前方路况原始图像；

步骤2，将步骤1得到的原始图像经过逆透变换得到逆透视图；

步骤3，利用二维的高斯核对步骤2得到的逆透视图进行图像预处理；

步骤4，对预处理后的图像进行Hough变换，得到候选车道线，并针对车道候选线利用Hough变换进行快速RANSAC验证，得到修正后的车道候选线；

步骤5，对步骤4中得到的修正后的车道候选线进行后处理。

2.根据权利要求1所述的一种基于RANSAC算法的多车道线检测方法，其特征在于，所述步骤2中，经过逆透变换得到逆透视图的具体方法如下：

步骤1，定义转换矩阵，所述转换矩阵由世界坐标，中心在相机光学中心，一个相机坐标，一个图片坐标构成，所述世界坐标根据摄像机的内参数和外参数得到，所述摄像机的内参数包括焦距长度和光学中心；所述摄像机外参数包括俯仰角、水平角度和相机距离地面的高度；

步骤2，将原始图像任意一点，经过步骤1的转换矩阵进行矩阵变换，到对应的路面坐标下的点，所述对应的路面坐标下的点所有点组成逆透视图。

3.根据权利要求1所述的一种基于RANSAC算法的多车道线检测方法，其特征在于，所述步骤3中，利用二维的高斯核对车道图像进行预处理，具体方法是：竖直方向采用平滑高斯函数：

其中，σ_y是根据所要检测的车道线长度来变化的，y为像素y的坐标；水平方向则采用二阶差分高斯函数：

其中，σ_x是根据检测的车道线宽度调整的，x为像素x的坐标。

4.根据权利要求1所述的一种基于RANSAC算法的多车道线检测方法，其特征在于，所述步骤4中，对从步骤3得到的预处理后的图像进行Hough变换包括以下步骤:

步骤4.1：对图片二值化预处理,找到图片中的“白点”，也就是要处理的边缘，假设其在直角坐标系下的坐标为（x，y），对其进行坐标变换ρ＝xcos(θ)+ysin(θ)，其中0＜θ＜π，得到参数空间累加图像；

步骤4.2：设置ρ和θ的取值范围，定量化步骤4.1中的参数θ，将其变成[0,π)的每一个量化弧度，用其量化值与（x，y）求出ρ，然后将对应的(ρ,θ)计数器加1；

步骤4.3：比较参数空间数组元素值的大小，最大值对应的(ρ，θ)即为所求的直线方程：ρ＝x*cos(θ)+y*sin(θ)；

步骤4.4：定义所有直线都是平行的，取每条直线的中点，判断每个中点之间的距离，如果两个点之间的距离在设定的阈值范围之外时，便判断这两条直线不属于一组车道线。

5.根据权利要求1所述的一种基于RANSAC算法的多车道线检测方法，其特征在于，所述步骤4中进行快速RANSAC验证包括以下步骤：

步骤5.1：用RANSAC直线匹配法来给出初始估计，即：首先采用一个矩形框，该矩形框使得从步骤4获选的直线完整的被矩形框包围住，然后在该矩形框里对以给定的初始直线对所有可能的点进行RANSAC直线验证，得到初始估计的候选车道线；

步骤5.2：采用快速RANSAC算法来匹配贝塞尔曲线，即针对步骤5.1得到的初始估计的候选车道线，设定一个矩形框，该矩形框刚好完全包住该直线，在这个矩形框里面进行RANSAC验证，所用的曲线为三阶贝塞尔曲线。

6.根据权利要求1所述的一种基于RANSAC算法的多车道线检测方法，其特征在于，对步骤5中得到的修正后的候选车道线进行后处理的具体方法是：基于在图像坐标和世界坐标两个坐标系下进行的处理，具体包括以下步骤：

步骤6.1，定位：使用步骤5得到候选车道线作为初始曲线，然后从曲线中得到抽样点，按照这些抽样点的方向进行延伸；接着，通过这条直线来计算像素的位置得到这条线的灰度信息，并且用平滑高斯核进行卷积，找到得到的结果的最大值；此外，还要对新检测到的点进行角度的验证，并且如果它离预测的位置很远，将排除这个点；最后，用定位点重新对曲线进行匹配；

步骤6.2，延长：在步骤6.1得到的曲线的两端按照点的角度方向进行延长；

步骤6.3，几何验证：对步骤5得到的候选车道线和步骤6.2的得到的延长的线进行几何验证，去除掉长度过短的和弯曲度过大的线。

Images