CN108647664B - 一种基于环视图像的车道线检测方法 - Google Patents

Abstract

本发明公开了一种能够应对复杂路况的车道线检测方法，该方法包括：在360度环视图像下，取较为显著的颜色和形状作为目标特征实现对车道线的检测；基于车道线的颜色特征，实现路况图像的背景分割。其次，基于车道线的形状特征，提出一种具有较强针对性的模板匹配算法，提取出车道线的边缘候选点；为准确定位车道线的位置，基于度量相似度对候选点聚类分簇，再以RANSAC算法对车道线进行直线拟合。最终，高效而准确地提取出车道线。本发明检测车道线具有效率高、稳健性强、实时性高的优点。

Description

一种基于环视图像的车道线检测方法

技术领域

本发明涉及图像处理和智能驾驶领域，特别涉及一种基于环视图像的车道线检测方法及系统。

背景技术

安全是围绕汽车的永恒主题。随着公路交通特别是高速公路交通的飞速发展，恶性交通事故呈不断上升趋势，死于交通事故人数逐年增多，直接导致的经济损失数额庞大，交通安全和车辆行驶安全已经成为社会的热点和人们关注的焦点。

相关调查显示，交通事故的发生除了少数由道路本身、恶劣天气引起，更多的是驾驶员人为因素造成，交通事故统计分析指出，美国及一些欧洲国家因驾驶员原因造成的事故高达80％～90％，主要的成因有疲劳驾驶、注意力不集中、车道偏离等，其中车道偏离引起的交通事故比例达到30％。与以安全带和安全气囊为主的事故发生后的被动保护措施相比，在事故发生前预警规避的主动安全技术对于解决汽车交通安全问题起着更为重要的作用。因此，开发出一种车道偏离预警系统能够有效减少因车道偏离引起的交通事故。

车道线检测是基于安装在车辆上的摄像头实时采集道路图像，再利用基于图像处理的手段对道路车道线进行准确的检测。开发出一种适用场景广泛的、实时的、鲁棒性高的车道线检测是实现车道偏离预警系统中最为基础、重要的一环。

目前存在的车道线检测算法主要是基于视觉特征检测车道线。利用车道线几何、边缘、颜色和梯度等特征，再结合感兴趣区域，提取和分析当前获取的道路信息，从而将车道线从道路背景中分割出来；还有一些是基于数学几何模型拟合车道线，车道线大多为直线或曲线，因此可以基于某种数学几何模型，如直线、双曲线、抛物线等，再以最小二乘、Snake样条等拟合方法来确定车道线。然而，大多算法对于先验知识有较大的依赖。例如，一些算法依赖人为设定的感兴趣区域，而一旦感兴趣区域设置错误，算法将会完全失效。还有一些算法依赖于检测消失点，而消失点的检测本身就存在很大的不确定性。

发明内容

为解决现有技术问题，本发明的目的是提供一种基于环视图像的车道线检测方法，其能够精确地、实时地检测出复杂路况下的车道标识线。

本申请技术方案如下。

一种基于环视图像的车道线检测方法，包括如下步骤：

步骤1，利用安装于车身四周的摄像头采集路况图像，基于纹理映射实现四路路况图像的拼接，得到具有360度俯视效果的图像作为环视图像；

步骤2，基于车道线的颜色特征实现道路背景分割：以车道线的颜色特征为依据，实现车道线与路面背景的分割；颜色特征是车道线最为显著的特征之一。因此，本发明以车道线的颜色特征为依据，实现车道线与路面背景的分割。

步骤3，建立车道线形状特征的匹配模板，基于模板匹配提取候选点：在环视图像中，车道线呈矩形或条形，且横向宽度一致，车道线具有类矩阵的形状特征；

步骤4，基于相似度对候选点聚类：为实现车道线的提取，本发明基于候选点之间的相似度对候选点进行聚类；基于候选点之间的横坐标相似度对候选点聚类，聚类得到的每一个簇视为同一条车道线中的点。

步骤5，基于随机抽样一致算法拟合出车道线：在环视图像中，车道线视为直线，而直线模型更易于拟合，能够一定程度上提高算法效率。因此本发明选取直线模型作为车道线模型。

步骤1具体包括以下步骤：

(101)：标定车载摄像头，获取映射关系：放置预先制作的标定模板，从摄像头采集的图像中检测标定模板中的特征点，依据多个标定模板的相对车辆的距离以及车辆规格信息，建立世界坐标系与图像坐标系的映射关系；

(102)：根据纹理映射关系获取环视图像。

步骤2具体包括以下步骤：

(201)：步骤1获取的环视图像为原始采集得到的RGB颜色空间下的图像，提取R通道，为I_R；

(202)：将RGB颜色空间下的环视图像转化到HSL颜色空间，提取S通道，为I_S；

(203)：通道线性融合：依据公式：I＝0.5*I_R+0.5*I_S，并将通道I归一化到0～255；

(204)：依据公式：

实现车道线与路面背景分割，获得二值图像，其中，I_bin为分割得到的二值图像，值为255的像素是车道线所在区域，T为用于分割的全局阈值。

步骤3具体包括以下步骤：

(301)：基于步骤2获得的车道线与路面背景分割后的二值图像，设第col行对应的横坐标为row；

(302)：建立车道线形状特征的匹配模板，W₁为单条车道线的宽度，W₂为两条车道线之间的距离；从col＝0开始历遍当前行的像素，当像素值不为零时，如果row到row+W₁之间的像素值均不为零，且row+W₁到row+W₁+W₂位置之间的像素点均为零，且row+W₁+W₂到row+2×W₁+W₂位置之间的像素值均不为零，进入步骤(303)；

(303)：记录当前位置L(col,row)，同时得到位置L₁(col,row+W₁)，L₂(col,row+W₁+W₂)，L₃(col,row+2×W₁+W₂)的坐标；

(304)：得到L(col,row)、L₁(col,row+W₁)、L₂(col,row+W₁+W₂)和L₃(col,row+2×W₁+W₂)的坐标后，求取点L与L₁，L₂与L₃的中点，L与L₁，L₂与L₃的中点为车道线候选位置点。

步骤4包括以下步骤：

(401)：依据相似度度量公式，

i∈[0,n]，计算候选点i和簇C_t之间的相似度，其中，x_i为候选点i的横坐标，n为所有候选点的数目，

为第t个簇内第j个点的横坐标，S_i即为候选点i与簇C_t之间的相似度；m为第t个簇内点的个数；

(402)：依据相似度分簇，当S_i小于阈值时，认为候选点i为簇C_t内的点；若候选点i与当前已有的簇都不相似，则再创建新簇，放入候选点i。

步骤5具体包括以下步骤：

(501)：抽样拟合点：对于簇C_t，从前半部分点集中随机抽样一个点A，再从后半部分点集中随机抽样一个点B；

(502)：求取直线模型参数：两个抽样点A、B确定一条可能车道线；

(503)：计算拟合误差：依据公式，

其中，d为拟合误差，d_i为簇内未抽样到的点与拟合得到的直线的距离，r为未抽样点的个数；

(504)：选取最优拟合直线：迭代步骤501-503，比较每次迭代得到直线的拟合误差，保存拟合误差最小的直线参数；迭代完成后，得到最终的车道线。

本发明的有益效果包括：

(1)采用将环视图像应用于车道线的检测，极大地提高车道线检测的准确率、稳健性；通过一次标定即可获取准确的先验知识，避免人为设定而导致的不确定性，而且在环视图像的基础上实现车道线，在一定程度上过滤了环境噪声，极大地提高了车道线检测的准确性。

(2)融合车道线的多种特征，包括颜色特征、形状特征等，进一步地提高车道线检测的准确度。

(3)该方法抛弃传统的边缘检测、霍夫变换等检测手段，极大地提高算法的效率，实时性高，资源利用率高。

附图说明

下面结合附图和实施例对本发明进一步说明；

图1为本发明一种基于环视图像的车道线检测方法流程示意图；

图2为本发明一种基于环视图像的车道线检测方法的环视图像；

图3为本发明为获取环视图像所提出的标定模板；

图4为本发明实例中基于车道线的颜色特征实现的道路背景分割；

图5为本发明实例中基于车道线的形状特征提取候选车道线点的匹配模板；

图6为本发明实施例的匹配模板匹配后图像示意图；

图7为本发明一实例中依据相似度聚类得到的簇；

图8为本发明一实例中车道线检测结果图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效，且为了使该评价方法易于明白了解，下面结合具体实施例，进一步阐述本发明。

如图2所示，本发明检测车道线的流程图，主要包括基于纹理映射生成环视图像，基于颜色特征实现道路背景的分割，基于模板匹配提取候选点，基于相似度对候选点聚类和基于RANSAC拟合出车道线。

如图1所示，本实施例一种基于环视图像的车道线检测方法，包括如下步骤：

步骤1，利用安装于车身四周的摄像头采集路况图像，基于纹理映射实现四路路况图像的拼接，得到具有360度俯视效果的图像作为环视图像；如图2所示；

步骤2，基于车道线的颜色特征实现道路背景分割：在标准结构化道路中，车道线为白色或黄色，路面颜色为深色背景，以车道线的颜色特征为依据，实现车道线与路面背景的分割；颜色特征是车道线最为显著的特征之一。因此，本发明以车道线的颜色特征为依据，实现车道线与路面背景的分割。

步骤3，建立车道线形状特征的匹配模板，基于模板匹配提取候选点：在环视图像中，车道线呈矩形或条形，且横向宽度一致，车道线具有类矩阵的形状特征；经过步骤2车道线与路面背景分割后，车道线的形状特征更为显著。基于这一特性，本发明设计了一种针对车道线形状特征的匹配模板；如图5所示。其中，W₁为单条车道线的宽度，W₂为两条车道线之间的距离，也是车道宽度。历遍环视图像中的每行，判断图像每行的像素值是否符合如图5所示的特征模板。

步骤4，基于相似度对候选点聚类：为实现车道线的提取，本发明基于候选数据点之间的相似度对候选点进行聚类；基于候选点之间的横坐标相似度对候选点聚类，聚类得到的每一个簇视为同一条车道线中的点。

步骤5，基于RANSAC(随机抽样一致算法，Random Sample Consensus)拟合出车道线：在环视图像中，车道线视为直线，而直线模型更易于拟合，能够一定程度上提高算法效率。因此本发明选取直线模型作为车道线模型。随机抽样一致算法(Random SampleConsensus)采用迭代的方式估算出高精度的数学模型参数，在已知模型的条件下从包含离群点(即噪声点)的数据集中求取模型参数。在环视图像中，车道线视为直线，而直线模型更易于拟合，能够一定程度上提高算法效率。因此本发明选取直线模型作为车道线模型。同时，为了减少拟合迭代次数和保证拟合准确，用来拟合的控制点分别从簇中的前后两半部分抽样。

步骤1具体包括以下步骤：

(101)：标定车载摄像头，获取映射关系：放置预先制作的标定模板，从摄像头采集的图像中检测标定模板中的特征点，依据多个标定模板的相对车辆的距离以及车辆规格信息，建立世界坐标系与图像坐标系的映射关系；如图2所示；

(102)：根据纹理映射关系获取环视图像。依据步骤(101)得到的映射关系，将实际路况图像中的每个像素一一映射至环视图像中，最终得到拼接准确、清晰的环视图像。

在计算机视觉领域，存在多种类型的颜色空间来描述颜色信息。相比于最为简单、常见的RGB三通道模型而言，HLS颜色空间重新映射RGB模型，比RGB模型更具有视觉直观性。其中，HLS分别代表色调(Hue)，饱和度(Saturation)和亮度(Lightness)。

在HLS颜色空间中，表征饱和度的S分量能够有效地突出车道线，而在RGB颜色空间中，R分量较G、B而言，更能表征车道线。因此，本发明同时提取出HLS颜色模型中的S分量以及RGB颜色空间的R分量，然后将两者线性融合，再以阈值分割的手段实现车道线与道路背景的分割。如图4所示为经过背景分割后的道路图像。

步骤2具体包括以下步骤：

(201)：步骤1获取的环视图像为原始采集得到的RGB颜色空间下的图像，提取R通道，为I_R；

(202)：将RGB颜色空间下的环视图像转化到HSL颜色空间，提取S通道，为I_S；

(203)：通道线性融合：依据公式：I＝0.5*I_R+0.5*I_S，并将通道I归一化到0～255；

(204)：依据公式：

实现车道线与路面背景分割，获得二值图像，其中，I_bin为分割得到的二值图像，值为255的像素是车道线所在区域，T为用于分割的全局阈值。

步骤3具体包括以下步骤：

(301)：基于步骤2获得的车道线与路面背景分割后的二值图像，设第col行对应的横坐标为row；

(302)：建立车道线形状特征的匹配模板，W₁为单条车道线的宽度，W₂为两条车道线之间的距离；从col＝0开始历遍当前行的像素，当像素值不为零时，如果row到row+W₁之间的像素值均不为零，且row+W₁到row+W₁+W₂位置之间的像素点均为零，且row+W₁+W₂到row+2×W₁+W₂位置之间的像素值均不为零，进入步骤(303)；

(303)：记录当前位置

同时得到位置L₁(col,row+W₁)，L₂(col,row+W₁+W₂)，L₃(col,row+2×W₁+W₂)的坐标；

(304)：得到L(col,row)、L₁(col,row+W₁)、L₂(col,row+W₁+W₂)和L₃(col,row+2×W₁+W₂)的坐标后，求取点L与L₁，L₂与L₃的中点，L与L₁，L₂与L₃的中点为车道线候选位置点。

经过模板匹配后，得到如图6所示的离散点，即为单个车道线的左右边缘的中线。另外，对于不同的结构化道路而言，W₁与W₂的值虽然并非固定不变，但是总是在一定范围内。因此，在实际操作时，将W₁，W₂设置在一定区间内。

步骤4包括以下步骤：

(401)：依据相似度度量公式，

i∈[0,n]，计算候选点i和簇C_t之间的相似度，其中，x_i为候选点i的横坐标，n为所有候选点的数目，

为第t个簇内第j个点的横坐标，S_i即为候选点i与簇C_t之间的相似度；m为第t个簇内点的个数；

(402)：依据相似度分簇，当S_i小于阈值时，认为候选点i为簇C_t内的点；若候选点i与当前已有的簇都不相似，则再创建新簇，放入候选点i。

如图7所示，以不同颜色表示不同的簇，一个簇对应于一条可能的车道线。

步骤5具体包括以下步骤：

(501)：抽样拟合点：对于簇C_t，从前半部分点集中随机抽样一个点A，再从后半部分点集中随机抽样一个点B；

(502)：求取直线模型参数：两个抽样点A、B确定一条可能车道线；

(503)：计算拟合误差：依据公式，

其中，d为拟合误差，d_i为簇内未抽样到的点与拟合得到的直线的距离，r为未抽样点的个数；

(504)：选取最优拟合直线：迭代步骤501-503，比较每次迭代得到直线的拟合误差，保存拟合误差最小的直线参数；迭代完成后，得到最终的车道线，如图8所示。

本领域内的技术人员可以对本发明进行改动或变型的设计但不脱离本发明的思想和范围。因此，如果本发明的这些修改和变型属于本发明权利要求及其等同的技术范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于环视图像的车道线检测方法，其特征在于：

包括如下步骤：

步骤1，利用安装于车身四周的摄像头采集路况图像，基于纹理映射实现四路路况图像的拼接，得到具有360度俯视效果的图像作为环视图像；

步骤2，基于车道线的颜色特征实现道路背景分割；

步骤3，建立车道线形状特征的匹配模板，基于模板匹配提取候选点：在环视图像中，车道线呈矩形或条形，且横向宽度一致，车道线具有类矩阵的形状特征；

步骤4，基于相似度对候选点聚类：基于候选点之间的横坐标相似度对候选点聚类，聚类得到的每一个簇视为同一条车道线中的点；

步骤5，基于随机抽样一致算法拟合出车道线：选取直线模型作为车道线模型；

步骤2具体包括以下步骤：

(201)：步骤1获取的环视图像为原始采集得到的RGB颜色空间下的图像，提取R通道，为I_R；

(202)：将RGB颜色空间下的环视图像转化到HSL颜色空间，提取S通道，为I_S；

(203)：通道线性融合：依据公式：I＝0.5*I_R+0.5*I_S，并将通道I归一化到0～255；

(204)：依据公式：

实现车道线与路面背景分割，获得二值图像，其中，I_bin为分割得到的二值图像，值为255的像素是车道线所在区域，T为用于分割的全局阈值；

步骤3具体包括以下步骤：

(301)：基于步骤2获得的车道线与路面背景分割后的二值图像，设第col行对应的横坐标为row；

(302)：建立车道线形状特征的匹配模板，W₁为单条车道线的宽度，W₂为两条车道线之间的距离；从col＝0开始历遍当前行的像素，当像素值不为零时，如果row到row+W₁之间的像素值均不为零，且row+W₁到row+W₁+W₂位置之间的像素点均为零，且row+W₁+W₂到row+2×W₁+W₂位置之间的像素值均不为零，进入步骤(303)；

(303)：记录当前位置L(col，row)同时得到位置L₁(col,row+W₁)，L₂(col,row+W₁+W₂)，L₃(col,row+2×W₁+W₂)的坐标；

(304)：得到L(col,row)、L₁(col,row+W₁)、L₂(col,row+W₁+W₂)和L₃(col,row+2×W₁+W₂)的坐标后，求取点L与L₁，L₂与L₃的中点，L与L₁，L₂与L₃的中点为车道线候选位置点。

2.根据权利要求1所述一种基于环视图像的车道线检测方法，其特征在于，

步骤1具体包括以下步骤：

(101)：标定车载摄像头，获取映射关系：放置预先制作的标定模板，从摄像头采集的图像中检测标定模板中的特征点，依据若干标定模板的相对车辆的距离以及车辆规格信息，建立世界坐标系与图像坐标系的映射关系；

(102)：根据纹理映射关系获取环视图像。

3.根据权利要求书1所述的一种基于环视图像的车道线检测方法，其特征在于：步骤4包括以下步骤：

(401)：依据相似度度量公式，

计算候选点i和簇C_t之间的相似度，其中，x_i为候选点i的横坐标，n为所有候选点的数目，

为第t个簇内第j个点的横坐标，S_i即为候选点i与簇C_t之间的相似度；m为第t簇内点的个数；

(402)：依据相似度分簇，当S_i小于阈值时，认为候选点i为簇C_t内的点；若候选点i与当前已有的簇都不相似，则再创建新簇，放入候选点i。

4.根据权利要求书1所述的一种基于环视图像的车道线检测方法，其特征在于：步骤5具体包括以下步骤：

(501)：抽样拟合点：对于簇C_t，从前半部分点集中随机抽样一个点A，再从后半部分点集中随机抽样一个点B；

(502)：求取直线模型参数：两个抽样点A、B确定一条可能车道线；

(503)：计算拟合误差：依据公式：

其中，d为拟合误差，d_i为簇内未抽样到的点与拟合得到的直线的距离，r为未抽样点的个数；

(504)：选取最优拟合直线：迭代步骤501-503，比较每次迭代得到直线的拟合误差，保存拟合误差最小的直线参数；迭代完成后，得到最终的车道线。

Images