CN109858438A - 一种基于模型拟合的车道线检测方法 - Google Patents

Abstract

本发明提供一种基于模型拟合的车道线检测方法，步骤包括：将彩色行车图像R、G、B三个通道的值进行加权平均得到灰度图像；对所述灰度图像进行高斯滤波；对所述高斯滤波后的灰度图像采用Canny算法获得边缘信息点并提取感兴趣区域内的边缘信息；根据所述边缘信息建立模型假设，给每一个所述模型假设赋予相应的权重，通过计算信息熵和自适应阈值去除低权重的模型假设；采用聚类算法提取与车道线相关的模型假设；将所述模型假设的参数拟合为直线，将相关的属于同一车道线的直线合并，叠加显示在所述彩色行车图像中。本发明提供了一种基于模型拟合的车道线检测方法，可应用于汽车安全辅助驾驶系统及车载行车记录仪中车道偏离时的预警。

Description

一种基于模型拟合的车道线检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于模型拟合的车道线检测方法。

背景技术

车道检测技术是汽车自动驾驶及安全辅助驾驶系统的关键技术之一，通过车载摄像头的视觉方法进行准确、快速的车道线检测，可以为行驶中的车辆在车道偏离时进行预警。常见的视觉方法是先对图像进行阈值化，然后采用边缘检测算法提取车道线的轮廓，最后利用随机抽样一致(RANSAC)等算法检测车道线。

发明人在研究传统的基于RANSAC的车道线检测方式时发现其存在一定的局限性。首先，RANSAC算法主要针对图像中仅存在一条直线而提出的，当图像数据中包括多条直线(车道线)时，需要通过“拟合-和-移除”机制的方法完成(即需要拟合一条直线后将其对应的内点移除后继续拟合下一条直线)，然而当一条直线估计不准确时，将导致对数据中剩余直线的估计错误。其次，还需要指定拟合直线的数目才能终止算法运行，这样RANSAC就不能适用于未知车道线数目的检测任务。最后，RANSAC算法在每一次直线拟合的迭代过程中需要通过设定阈值寻找属于该直线的内点，阈值过低或过高导致内点数目的变化，都会使RANSAC无法找到合理的车道线结构。

发明内容

本发明要解决的技术问题，在于提供一种基于模型拟合的车道线检测方法，能够准确地在车载摄像头拍摄的图像中同时寻找出多条车道线，并且不需要指定内点阈值及图像中车道线的数目。

本发明一种基于模型拟合的车道线检测方法，具体包括如下步骤：

步骤10、将彩色行车图像R、G、B三个通道的值进行加权平均得到灰度图像；

步骤20、对所述灰度图像进行高斯滤波；

步骤30、对所述高斯滤波后的灰度图像采用Canny算法获得边缘信息，选择一个指定多边形区域作为车道线检测的感兴趣区域，提取所述感兴趣区域内的边缘信息；

步骤40、根据步骤30的边缘信息建立模型假设，采用最小二乘法进行参数计算，给每一个所述模型假设赋予相应的权重，通过计算信息熵和自适应阈值去除低权重的模型假设；

步骤50、采用聚类算法提取与车道线相关的模型假设；

步骤60、将所述模型假设的参数拟合为直线，将相关的属于同一车道线的直线合并，叠加显示在所述彩色行车图像中。

进一步的，所述步骤40包括：

步骤41、假设所述感兴趣区域内的边缘信息包括N个边缘像素数据点，随机采样M个点子集，每个所述子集包括两个数据点，建立M个模型假设Θ＝{θ₁,θ₂,...,θ_M}；

步骤42、给每一个所述模型假设赋予相应的权重w_m，计算公式为：

其中，S_m是通过IKOSE方法得到的自适应内点噪声尺度，n_m是第m个模型假设的内点数目，r_i ^m是第i个数据点相对于第m个模型假设的残差，ψ(·)和h_m是核函数及其对应的带宽；

步骤43、计算信息熵I_m和自适应阈值E，公式为：

I_m＝-log₂(p_m)

其中，p_m为第m个模型假设的先验概率；

步骤44、去除信息熵I_m小于自适应阈值E的模型假设，得到M′个模型假设及其对应的权重W＝{w₁,w₂,...,w_M′}；

进一步的，所述步骤50包括：

步骤51、定义模型假设θ_i和θ_j之间的Tanimoto距离为：

其中，<·,·>和||·||分别表示标准内积和相应导出范数，为偏好函数，其公式为：

步骤52、根据所得到的Tanimoto距离和权重计算模型假设两两之间的最小距离δ(θ_i)，定义为MTD⁺，计算公式为：

其中，

Ω(θ_i)为所有模型假设层中比θ_i拥有权重值更大的模型假设；

步骤53、将所有模型假设根据得到的MTD⁺值进行从大到小的排序得到找到从到中具有最大降幅的模型假设拥有比更大MTD⁺值的模型假设即为检测到的与车道线相关的模型假设。

本发明具有如下优点：利用聚类算法寻找与车道线相关的模型结构，可以准确地在车载摄像头拍摄的图像中同时寻找出多条车道线；不需要指定内点阈值及图像中车道线的数目，可以根据不同车道线的情况自动确定其内点噪声尺度，提取与车道线相关的数据点信息，准确性高。本发明可应用于汽车安全辅助驾驶系统及车载行车记录仪中车道偏离时的预警。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明实施例的车道线检测方法流程图。

图2是本发明实施例彩色行车图像转换得到灰度图像。

图3是本发明实施例高斯滤波后的灰度图像。

图4是本发明实施例Canny算法获得的边缘点。

图5是本发明实施例指定的车道线区域示意图。

图6是本发明实施例车道线边缘信息。

图7是本发明实施例检测到的车道线。

图8是本发明实施例合并后的车道线。

具体实施方式

如图1所示，本发明实施例的车道线检测方法如下：

一种基于模型拟合的车道线检测方法，包括如下步骤：

步骤10、将彩色行车图像R、G、B三个通道的值进行加权平均得到灰度图像；

步骤20、对所述灰度图像进行高斯滤波；

步骤30、对所述高斯滤波后的灰度图像采用Canny算法获得边缘信息，选择一个指定多边形区域作为车道线检测的感兴趣区域，提取所述感兴趣区域内的边缘信息；

步骤40、根据步骤30的边缘信息建立模型假设，采用最小二乘法进行参数计算，给每一个所述模型假设赋予相应的权重，通过计算信息熵和自适应阈值去除低权重的模型假设；

步骤50、采用聚类算法提取与车道线相关的模型假设；

步骤60、将所述模型假设的参数拟合为直线，将相关的属于同一车道线的直线合并，叠加显示在所述彩色行车图像中。

所述步骤40包括：

步骤41、假设所述感兴趣区域内的边缘信息包括N个边缘像素数据点，随机采样M个点子集，每个所述子集包括两个数据点，建立M个模型假设Θ＝{θ₁,θ₂,...,θ_M}；

步骤42、给每一个所述模型假设赋予相应的权重w_m，计算公式为：

其中，S_m是通过IKOSE方法得到的自适应内点噪声尺度，n_m是第m个模型假设的内点数目(即在模型假设的内点噪声尺度S_m范围内的数据点)，r_i ^m是第i个数据点相对于第m个模型假设的残差，ψ(·)和h_m是核函数及其对应的带宽；

步骤43、计算信息熵I_m和自适应阈值E，公式为：

I_m＝-log₂(p_m)

其中，p_m为第m个模型假设的先验概率；

步骤44、去除信息熵I_m小于自适应阈值E的模型假设，得到M′个模型假设及其对应的权重W＝{w₁,w₂,...,w_M′}；

所述步骤50包括：

步骤51、定义模型假设θ_i和θ_j之间的Tanimoto距离为：

其中，<·,·>和||·||分别表示标准内积和相应导出范数，为偏好函数，其公式为：

步骤52、根据所得到的Tanimoto距离和权重计算模型假设两两之间的最小距离δ(θ_i)，定义为MTD⁺，计算公式为：

其中，

Ω(θ_i)为所有模型假设层中比θ_i拥有权重值更大的模型假设；

步骤53、将所有模型假设根据得到的MTD⁺值进行从大到小的排序得到找到从到中具有最大降幅的模型假设拥有比更大MTD⁺值的模型假设即为检测到的与车道线相关的模型假设。

请参阅图1至8，下面结合一具体实施例对本发明做进一步说明：

步骤10、将彩色行车图像R、G、B三个通道的值进行加权平均得到灰度图像；

由于边缘检测主要是针对图像的灰度变化进行度量、检测和定位的，因此需要将原始的彩色行车图像转换到灰度空间。原始的彩色图像由R、G、B三个通道信息组成，比如，根据公式(1)将图像各个通道的值进行加权平均便可得到灰度图像，如图2所示。

Gray＝0.299*R+0.587*G+0.114*B (1)

步骤20、对所述灰度图像进行高斯滤波；

图像中存在的一些噪声信息会影响后续边缘检测算法的效果，因此采用高斯滤波器对图像进行平滑处理，以减少噪声对于边缘信息提取的影响。通过高斯平滑滤波可以抑制图像中的噪声以及防止一些不期望的单独突出的位置被识别为边缘。比如，采用5×5大小的高斯卷积核对图像进行高斯平滑，处理后图像中的一些像素噪点得到了一定程度的抑制，图3为平滑后的灰度图像。

步骤30、对所述高斯滤波后的灰度图像采用Canny算法获得边缘信息，选择一个指定多边形区域作为车道线检测的感兴趣区域，提取所述感兴趣区域内的边缘信息；

Canny算法是一种有效而又相对简单的边缘检测算法，可以利用它从平滑后的灰度图像中提取边缘信息，提取结果如图4所示，可以看到通过Canny算法获得的边缘信息，不仅包括需要的车道线边缘，同时还包括一些不需要的其它物体和背景的边缘信息。因此，根据车载摄像头相对车的固定位置，选择一个指定的多边形区域作为车道线检测的感兴趣区域，可以快速排除与车道线无关的边缘信息，如图5所示。提取感兴趣区域中的边缘信息即可得到图像中与车道线相关的边缘信息，如图6所示。

步骤40、根据步骤30的边缘信息建立模型假设，采用最小二乘法进行参数计算，给每一个所述模型假设赋予相应的权重，通过计算信息熵和自适应阈值去除低权重的模型假设，具体如下：

利用Canny算法获得车道线感兴趣区域的边缘点信息，假设得到了N个边缘像素数据点X＝{x₁,x₂,...,x_N}，根据模型拟合方法思想随机采样M个点子集(其中每个子集包含2个数据点)，假设由这2个数据点((x₁,y₁),(x₂,y₂))构成的直线方程为y＝ax+b，其中θ＝(a,b)即为模型假设对应的参数，通过最小二乘法对参数进行计算：

可以得到M个模型假设Θ＝{θ₁,θ₂,...,θ_M}；

给每一个模型假设赋予相应的权重，公式为：

其中，S_m是通过IKOSE方法估计得到的自适应内点噪声尺度，n_m是第m个模型假设的内点数目(即在模型假设的内点噪声尺度S_m范围内的数据点)，r_i ^m是第i个数据点相对于第m个模型假设的残差，ψ(·)和h_m是核函数及其对应的带宽，利用Epanechnikov核函数作为ψ(·)进行权重计算，其带宽h_m可表示为：

当所有模型假设都被赋予权重值后，利用信息论方法去除一些低权重的模型假设。

假设所有模型假设的权重表示为W＝{w₁,w₂,...,w_M}，利用公式

q_m＝max(W)-w_m (5)

表示第m个模型假设的权重与所有模型假设中的最大权重之间的间隔，该模型假设的先验概率p_m可以通过规范化q_m得到，公式如下：

接下来，第m个模型假设相应的信息熵定义为：

I_m＝-log₂(p_m) (7)

可以得到用于选择包含较多信息量的模型假设的自适应阈值:

去除信息量I小于E的模型假设，得到包含信息量更多的模型假设及其相应的权重W＝{w₁,w₂,...,w_M′}(M′为通过信息论分析方法保留下来的模型假设的个数)，这样可以减少一些错误模型假设的干扰，在权重更高、包含信息量更多的模型假设中估计车道线的数目和参数，提高方法的鲁棒性。

步骤50、采用聚类算法提取与车道线相关的模型假设；

采用聚类算法从包含信息量更多的模型假设中得到与真实车道线模型相关的聚类中心。本发明采用一个非常高效的不需要给定聚类数量的基于密度估计的聚类方法进行车道线模型结构的估计，其方法主要是通过分析数据点的两个特性(即具有较高的密度值和远离所有密度比它大的数据点)来得到聚类中心点。

本发明实施例将与需要检测的车道线相关的模型假设刻画为含有三个特性：(a)具有较高的权重值，(b)远离所有权重值比它大的模型假设，(c)具有较高的密度值。

为了表示模型假设的特性，本发明实施例利用Tanimoto距离(简称T-distance)计算模型假设两两之间的相似程度，定义模型假设θ_i和θ_j之间的T-distance如下：

其中，<·,·>和||·||分别表示标准内积和相应导出范数；为偏好函数，其公式为：

接下来，两个模型假设之间的最小距离可以根据所得到的T-distance和权重进行计算，定义它为MTD⁺：

其中

Ω(θ_i)表示所有模型假设层中比θ_i拥有权重值更高的模型假设，M′为通过信息论分析方法保留下来的模型假设的个数。

当一个模型假设拥有全局或局部最高权重值时，它所对应的MTD⁺将比其邻域内的模型假设对应的MTD⁺高。因此，可以通过寻找含有异常大MTD⁺的模型假设作为与车道线直线结构相关的聚类中心。

为了获得车道线对应结构的模型数目和参数，将所有模型假设根据计算出的MTD⁺值进行从大到小的排序，即找到从到中具有最大降幅的模型假设拥有比更大MTD⁺值的模型假设即为检测到的与车道线相关的模型假设。

可以看出，采用聚类算法提取与真实车道线模型相关的聚类中心，可以同时找到多条车道线，无需指定拟合直线的数目，适用于未知车道线数目的检测任务。

步骤60、将所述模型假设的参数拟合为直线，将相关的属于同一车道线的直线合并，叠加显示在所述彩色行车图像中。

将模型假设相应的参数θ_m作为检测到的车道线对应的二维平面的直线y＝ax+b的参数，并将其在彩色行车图像中标记出来，如图7所示。由于车道线具有左右两条边缘线，因此一条车道线会检测到两条相关的结果，进一步将相关的属于同一车道线的结果合并，叠加显示在所述彩色行车图像中，可得到最终如图8所示的车道线检测结果。

本发明一种基于模型拟合的车道线检测方法，利用聚类算法寻找与车道线相关的模型结构，可以准确地在车载摄像头拍摄的图像中同时寻找出多条车道线；不需要指定内点阈值及图像中车道线的数目，利用IKOSE方法得到自适应的内点噪声尺度，可以根据不同车道线的情况自动确定其内点噪声尺度，提取与车道线相关的数据点信息，准确性高。本发明提出的一种基于模型拟合的车道线检测方法，可应用于汽车安全辅助驾驶系统及车载行车记录仪中车道偏离时的预警。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (3)

1.一种基于模型拟合的车道线检测方法，其特征在于，所述方法包括如下步骤：

步骤10、将彩色行车图像R、G、B三个通道的值进行加权平均得到灰度图像；

步骤20、对所述灰度图像进行高斯滤波；

步骤30、对所述高斯滤波后的灰度图像采用Canny算法获得边缘信息，选择一个指定多边形区域作为车道线检测的感兴趣区域，提取所述感兴趣区域内的边缘信息；

步骤40、根据步骤30的边缘信息建立模型假设，采用最小二乘法进行参数计算，给每一个所述模型假设赋予相应的权重，通过计算信息熵和自适应阈值去除低权重的模型假设；

步骤50、采用聚类算法提取与车道线相关的模型假设；

步骤60、将所述模型假设的参数拟合为直线，将相关的属于同一车道线的直线合并，叠加显示在所述彩色行车图像中。

2.根据权利要求1所述的一种基于模型拟合的车道线检测方法，其特征在于，所述步骤40包括：

步骤41、假设所述感兴趣区域内的边缘信息包括N个边缘像素数据点，随机采样M个点子集，每个所述子集包括两个数据点，建立M个模型假设Θ＝{θ₁,θ₂,...,θ_M}；

步骤42、给每一个所述模型假设赋予相应的权重w_m，计算公式为：

其中，S_m是通过IKOSE方法得到的自适应内点噪声尺度，n_m是第m个模型假设的内点数目，r_i ^m是第i个数据点相对于第m个模型假设的残差，ψ(·)和h_m是核函数及其对应的带宽；

步骤43、计算信息熵I_m和自适应阈值E，公式为：

I_m＝-log₂(p_m)

其中，p_m为第m个模型假设的先验概率；

步骤44、去除信息熵I_m小于自适应阈值E的模型假设，得到M′个模型假设及其对应的权重W＝{w₁,w₂,...,w_M′}。

3.根据权利要求1所述的一种基于模型拟合的车道线检测方法，其特征在于，所述步骤50包括：

步骤51、定义模型假设θ_i和θ_j之间的Tanimoto距离为：

其中，<·，·>和||·||分别表示标准内积和相应导出范数，为偏好函数，其公式为：

步骤52、根据所得到的Tanimoto距离和权重计算模型假设两两之间的最小距离δ(θ_i)，定义为MTD⁺，计算公式为：

其中，

Ω(θ_i)为所有模型假设层中比θ_i拥有权重值更大的模型假设；

步骤53、将所有模型假设根据得到的MTD⁺值进行从大到小的排序得到找到从到中具有最大降幅的模型假设并将拥有比更大MTD⁺值的模型假设作为检测到的与车道线相关的模型假设对应的参数。