CN107944388A - 一种车道线检测方法、装置及终端 - Google Patents

Abstract

本发明提供一种车道线检测方法、装置及终端，涉及图像处理技术领域，该方法包括：获取包含车道线的灰度图中第一像素点所在行的车道线宽度；若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点；基于所述车道线上的像素点进行二值化处理，并基于处理后的二值图提取车道线，以提升夜间车道线检测的准确度。

Description

一种车道线检测方法、装置及终端

技术领域

本发明涉及图像处理技术领域，尤其涉及一种车道线检测方法、装置及终端。

背景技术

随着科学技术的高速发展以及人民生活水平的日益提高，汽车已成为人们出行的主要代步工具，但由于驾驶人员的驾驶技术参差不齐，交通事故日益频发。

为了提升道路交通安全，汽车辅助驾驶技术应运而生。其中，车道线检测是汽车辅助驾驶中的重要组成部分，通过车道线检测可预防驾驶人员偏离车道，提供安全驾驶保障。

目前车道线检测过程主要包括：对输入图像进行二值化处理；对二值化处理后的图像进行边缘提取；再对边缘提取后的图像进行霍夫变换检测出车道线。当该检测方法应用于夜间环境时，由于光照不均匀(路灯下、车前灯、车尾灯区域亮度明显高于周围区域)，很难确定用于二值化处理的全局阈值，采用自适应阈值又会产生很多噪点，因此，导致最终车道线检测的准确度不高。

发明内容

本发明为了解决现有车道线检测准确度不高的问题，提供一种车道线检测方法、装置及终端，用以提升车道线检测的准确度。

为实现上述发明目的，本发明提供了如下技术方案：

第一方面，本发明提供一种车道线检测方法，所述方法包括：

获取包含车道线的灰度图中第一像素点所在行的车道线宽度；

若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点；

基于所述车道线上的像素点进行二值化处理；

基于处理后的二值图提取车道线。

可选的，所述获取包含车道线的灰度图中第一像素点所在行的车道线宽度，包括：

基于预设的车道线宽度方程和所述第一像素点所在行，确定所述第一像素点所在行的车道线宽度，其中，所述车道线宽度方程用于表示像素点所在行与车道线宽度的关系。

可选的，所述若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点，包括：

若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，且所述第二像素点之间的灰度值的差值小于预设的第二灰度阈值，则确定所述第一像素点为车道线上的像素点。

可选的，所述基于预设的车道线宽度方程和所述第一像素点所在行，确定所述第一像素点所在行的车道线宽度之前，还包括：

采集包含车道线的样本；

统计所述样本中每一行的车道线宽度；

基于统计的车道线宽度和预设的车道线宽度模型执行最小二乘法，确定所述车道线宽度模型中的系数，得到所述车道线宽度方程。

可选的，所述车道线宽度模型为线性模型。

第二方面，本发明提供一种车道线检测装置，所述装置包括：

获取单元，用于获取包含车道线的灰度图中第一像素点所在行的车道线宽度；

确定单元，用于若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点；

处理单元，用于基于所述车道线上的像素点进行二值化处理；

提取单元，用于基于处理后的二值图提取车道线。

第三方面，本发明提供一种车道线检测终端，包括摄像头组件、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述任一所述的一种车道线检测方法。

由以上描述可以看出，本发明根据车道线具有近大远小、车道线上像素点的灰度值明显高于车道线两侧像素点的灰度值的成像特点，获取第一像素点所在行的车道线宽度，当第一像素点的灰度值与距离其左右车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值时，确定第一像素点为车道线上的像素点。这里需要说明的是，相距车道线宽度的两个像素点的灰度值的差值基本不受光照影响，或者说，相距车道线宽度的两个像素点的灰度值受光照影响的程度相同，因此，可利用相距车道线宽度的两个像素点的灰度值的差值初步检测出车道线。

此外，由于斑马线等标识线的宽度明显大于车道线宽度，因此，通过相距车道线宽度的两个像素点的灰度值进行比较，可将斑马线等宽度较大的标识线过滤掉，即斑马线上的像素点不会被识别为车道线上的像素点，大大缩小了车道线可能存在的范围，在此基础上，基于确定出的可能为车道线上的像素点进行二值化处理，可得到较为准确的包含车道线的二值图，在此二值图上继续提取车道线，可提升车道线检测的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例示出的一种车道线检测方法流程图；

图2A是本发明实施例示出的包含车道线的夜间道路场景的图像；

图2B是本发明实施例示出的包含车道线的感兴趣区域的灰度图；

图2C是采用现有二值化技术处理后的二值图；

图2D是本发明实施例示出的包含车道线的二值图；

图3是本发明实施例示出的车道线宽度统计图；

图4是本发明实施例示出的车道线宽度方程对应直线的示意图；

图5A是本发明实施例示出的车道线的示意图；

图5B是本发明实施例示出的斑马线的示意图；

图6是本发明实施例示出的中值滤波后的图像；

图7是本发明实施例示出的轮廓提取图；

图8是本发明实施例示出筛选后的车道线轮廓图；

图9是本发明实施例示出使用hough变换检测车道线的效果图；

图10是本发明实施例示出的一种车道线检测装置的结构示意图；

图11是本发明实施例示出的车道线检测终端的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明提供一种车道线检测方法，该方法获取第一像素点所在行的车道线宽度，当第一像素点的灰度值与其所在行上相距车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值时，确定该第一像素点为车道线上的像素点，再基于确定出的车道线上的像素点进行二值化处理，基于处理后的二值图提取车道线。

参见图1，为本发明车道线检测方法的一个实施例流程图，该实施例对车道线检测的过程进行描述。

步骤101，获取包含车道线的灰度图中第一像素点所在行的车道线宽度。

在辅助驾驶应用中，利用车载摄像机沿行驶道路拍摄，获取包含车道线的图像，该图像通常为彩色图像。本发明通过调整摄像机的高度以及倾斜角度使道路消失点位于图像的中心位置，参见图2A，为拍摄的包含车道线的夜间道路场景的图像，其中，道路消失点位于图像的中心位置，从而不需要增加识别道路消失点的运算量。

选取道路消失点以下的区域作为感兴趣区域，即包含了整个路面的区域，后续处理均在该感兴趣区域内执行，从而降低了计算的复杂度，提高了车道线检测的实时性。

可选的，感兴趣区域的确定方法不仅限于基于路面消失点来确定，还可以预设整幅图像的等部分设定为感兴趣区域，这里对感兴趣区域的确定方法不做限定。

将感兴趣区域的图像转化为灰度图，如图2B所示。

在包含车道线的灰度图中，获取像素点(记为第一像素点)所在行的车道线宽度，具体为，基于预设的车道线宽度方程和第一像素点所在行，确定第一像素点所在行的车道线宽度，其中，车道线宽度方程用于表示像素点所在行与车道线宽度的关系。

在一种可选的实施方式中，可通过采集包含车道线的样本来拟合出车道线宽度方程，具体为，统计样本中每一行的车道线宽度，再基于统计的车道线宽度和预设的车道线宽度模型执行最小二乘法，确定车道线宽度模型中的各个系数，得到车道线宽度方程。其中，本发明基于车道线成像时近大远小的特点，以及为了降低运算量，可选线性模型作为车道线宽度模型，来表示车道线宽度的变化。

例如，该车道线宽度模型可表示为：

h_θ(xⁱ)＝k×xⁱ+b 公式(1)

其中，xⁱ代表第i行，k和b为模型中待确定的系数，h_θ(xⁱ)为第xⁱ行的车道线宽度。

假设，基于样本统计的第xⁱ行的车道线宽度为yⁱ，其中，i＝1,2,…,n。

基于统计的车道线宽度yⁱ和车道线宽度模型h_θ(xⁱ)执行最小二乘法，执行最小二乘法的代价函数可表示为：

其中，ε为惩罚项，以提高对噪声的鲁棒性，即抗干扰能力，动态调节车道线在图像中的宽度。

对公式(2)采用梯度下降算法得到最优的k和b，将计算得到的k和b代入公式(1)，即得到线性的车道线宽度方程。

现以一具体实施例说明确定车道线宽度方程的过程：

样本(所有样本拍摄时的摄像机高度、倾斜角度均相同)尺寸为1280×720(列数×行数)，基于采集到的样本中的感兴趣区域(例如，第360行至第719行)进行车道线宽度统计，得到如图3所示的车道线宽度统计图，其中，横坐标为行数，纵坐标为车道线宽度。

预设车道线宽度模型为h_θ(xⁱ)＝k×xⁱ+b，其中，xⁱ为行数，取值范围从第360行至第719行，h_θ(xⁱ)为第xⁱ行的车道线宽度。

为了使基于该模型得到的车道线宽度方程更好的拟合图3中统计的车道线宽度，即，使代价函数最小，可采用梯度下降算法计算k和b，其中，yⁱ为图3中统计的车道线宽度，n为360，ε为1，计算得到最优的k为0.1028，b为-34，则车道线宽度方程为h_θ(xⁱ)＝0.1028×xⁱ-34，该方程对应图4中的斜实线。

当确定第一像素点所在行后，代入上述车道线宽度方程即可，例如，第一像素点所在行为第500行，则可得出该第一像素点所在行的车道线宽度为17.4。

步骤102，若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点。

本步骤利用车道线上像素点的灰度值明显高于车道线两侧像素点的灰度值的特点，对第一像素点的灰度值与距离第一像素点车道线宽度处的第二像素点的灰度值进行比较，若第一像素点的灰度值与其所在行上相距车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则可初步确定第一像素点为车道线上的像素点，具体可通过如下公式表示：

I_left＝I(x,y)-I(x-d,y)>t₁ 公式(3)

I_right＝I(x,y)-I(x+d,y)>t₁ 公式(4)

其中，d为第一像素点所在行的车道线宽度；I(x,y)为第一像素点的灰度值；I(x-d,y)为第一像素点左侧距离第一像素点d处的第二像素点的灰度值；I(x+d,y)为第一像素点右侧距离第一像素点d处的第二像素点的灰度值；t₁为预设的第一灰度阈值；I_left为第一像素点与位于其左侧的第二像素点的灰度值的差值；I_right为第一像素点与位于其右侧的第二像素点的灰度值的差值。当I_left>t₁且I_right>t₁时，可初步确定第一像素点为车道线上的像素点。如图5A所示，若p为车道线510上的像素点，p所在行的车道线宽度为d，则分别位于p左侧和右侧的距离为d处的像素点q1和q2的灰度值一定明显小于p的灰度值。

需要说明的是，相距车道线宽度的两个像素点的灰度值的差值基本不受光照影响，或者说，相距车道线宽度的两个像素点的灰度值受光照影响的程度基本相同，因此，在夜间等光照不均匀的场景下，仍可利用相距车道线宽度的两个像素点的灰度值的差值初步确定位于车道线上的像素点。

此外，本发明通过对第一像素点以及距离第一像素点车道线宽度处的第二像素点进行灰度值比较，还可将斑马线等明显宽于车道线的标识线过滤掉，如图5B所示，像素点p位于斑马线520上，像素点p所在行的车道线宽度为d，则从图5B中可以看出，位于像素点p左侧距离为d处的像素点q1为非斑马线上的像素点，其灰度值一定小于像素点p的灰度值，但是，位于像素点p右侧距离为d处的像素点q2位于斑马线520上，像素点q2的灰度值与像素点p的灰度值接近，像素点q2与像素点p的灰度值的差值小于第一灰度阈值，因此，可确定像素点p不是车道线上的像素点，从而将斑马线等明显宽于车道线的标识线过滤掉，缩小了可能为车道线的区域，降低了对后续车道线检测的干扰。

进一步地，在确定第一像素点的灰度值与其所在行上相距车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值时，可进一步判断第二像素点之间的灰度值的差值是否小于预设的第二灰度阈值，若第二像素点之间的灰度值的差值小于预设的第二灰度阈值，说明位于第一像素点左右两侧的第二像素点的灰度值接近，即位于同一物体(路面)上的可能性极大，因此，可进一步确定第一像素点为车道线上的像素点。

步骤103，基于所述车道线上的像素点进行二值化处理。

由前述描述可知，通过执行步骤102已大大缩小可能存在车道线的范围，基于步骤102确定的可能位于车道线上的像素点进行二值化处理，例如，将初步确定为车道线上的像素点的灰度值设置为255，非车道线上的像素点的灰度值设置为0，以得到较为准确的包含车道线的二值图，如图2D所示，该二值图中已将斑马线、栅栏等干扰因素过滤掉。

步骤104，基于处理后的二值图提取车道线。

对二值图执行中值滤波，去除部分噪点，过滤后生成的图像如图6所示。利用轮廓查找算法查找中值滤波后图像中的轮廓，将查找到的轮廓移至彩色图像中，并对轮廓内部进行填充，得到如图7所示的轮廓提取图。

利用预设的约束条件对提取的轮廓进行过滤，过滤掉非车道线上的像素点，进一步缩小有效车道线的范围。其中，该约束条件可以为：轮廓面积大于预设的面积阈值；和/或，轮廓的最小外接矩形的长度大于预设的长度阈值；和/或，轮廓的长度和宽度的比值大于预设的比例阈值；和/或，轮廓的最小外接矩形的偏转角度大于第一角度阈值且小于第二角度阈值，则对应轮廓可能为车道线。经过上述约束条件的筛选后，得到如图8所示车道线轮廓图。

然后，在最初拍摄的图像(图2A)上基于筛选后的车道线轮廓执行hough(霍夫)变换，检测出车道线，如图9所示。在车辆行驶过程中，如果遇到车道线损坏或者没有车道线的图像，可使用之前检测到的可靠车道线来代替，有效提升检测车道线的鲁棒性和稳定性。

从上述描述可以看出，本发明利用车道线近大远小、车道线上像素点的灰度值明显高于车道线两侧像素点的灰度值的成像特点，获取第一像素点所在行的车道线宽度，当第一像素点的灰度值与距离其左右车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值时，确定第一像素点为车道线上的像素点。由于相距车道线宽度的两个像素点的灰度值受光照影响的程度基本相同，因此，该处理过程不受夜间关照条件的影响，且可将斑马线等明显宽于车道线的物体过滤掉，缩小可能存在车道线的范围，在此基础上，基于确定出的可能为车道线上的像素点进行二值化处理，可得到较为准确的包含车道线的二值图，在此二值图上继续提取车道线，可提升车道线检测的准确度。

参考图2A所示为一台车载摄像机拍摄的包含车道线的夜间道路场景的图像，图2B所示为包含车道线的感兴趣区域的灰度图，若在图2B的基础上直接采用现有二值化处理方法，例如，OTSU(大津法或最大类间方差法)，可得到图2C所示二值图。参考图2C所示，由于夜间关照不均匀的影响，无法准确设置用于二值化处理的阈值，导致图2C中出现较多噪点，且图2C中明显存在斑马线、栅栏等非车道线区域，干扰后续车道线检测的准确度。

但是，参考图2D所示，图2D所示的二值图是采用本发明实施例的车道线检测方法在缩小可能存在车道线的区域后，基于可能为车道线上的像素点和非车道线的像素点进行二值化处理后的二值图。由于本发明实施例基于车道线近大远小、车道线上像素点的灰度值明显高于车道线两侧像素点的灰度值的成像特点，确定车道线宽度，并基于相距车道线宽度的两个像素点的灰度值的差值来确定车道线上的像素点，从而避免了关照不均匀的影响，降低了二值化处理后二值图中的噪点，同时，将斑马线、栅栏等宽度明显宽于车道线的非车道线区域过滤掉，降低了对后续车道线检测的干扰，因此，可提升车道线检测的准确度。

与前述车道线检测方法的实施例相对应，本发明还提供了车道线检测装置的实施例。

请参考图10，为本发明一个实施例中的车道线检测装置的结构示意图。该车道线检测装置10包括：获取单元1001、确定单元1002、处理单元1003以及提取单元1104，其中：

获取单元1001，用于获取包含车道线的灰度图中第一像素点所在行的车道线宽度；

确定单元1002，用于若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点；

处理单元1003，用于基于所述车道线上的像素点进行二值化处理；

提取单元1104，用于基于处理后的二值图提取车道线。

进一步地，

所述获取单元1001，具体用于基于预设的车道线宽度方程和所述第一像素点所在行，确定所述第一像素点所在行的车道线宽度，其中，所述车道线宽度方程用于表示像素点所在行与车道线宽度的关系。

进一步地，

所述确定单元1002，具体用于若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，且所述第二像素点之间的灰度值的差值小于预设的第二灰度阈值，则确定所述第一像素点为车道线上的像素点。

进一步地，所述装置还包括：

统计单元，用于采集包含车道线的样本；统计所述样本中每一行的车道线宽度；基于统计的车道线宽度和预设的车道线宽度模型执行最小二乘法，确定所述车道线宽度模型中的系数，得到车道线宽度方程。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本发明还提供了车道线检测终端的实施例，请参考图11，为本发明一个实施例中的车道线检测终端的结构示意图。该车道线检测终端11包括处理器1101、存储器1102、摄像头组件1103，其中：

处理器1101是该终端11的控制中心，利用各种接口和线路连接整个该终端的各个部分，通过运行或执行存储在存储器1102内的计算机程序，实现上述像素点视差值计算方法中对应步骤。可选的，处理器1101可包括一个或多个处理核心。

存储器1102可用于存储计算机程序，处理器1101通过运行存储在存储器1102的计算机程序，实现上述像素点视差值计算方法中对应步骤。存储器1102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

摄像头组件1103用于采集图像，该摄像头组件1103可以包括至少两个摄像头，该至少两个摄像头可以分别为双目摄像头的左摄像头和右摄像头。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种车道线检测方法，其特征在于，所述方法包括：

获取包含车道线的灰度图中第一像素点所在行的车道线宽度；

若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点；

基于所述车道线上的像素点进行二值化处理；

基于处理后的二值图提取车道线。

2.根据权利要求1所述的方法，其特征在于，所述获取包含车道线的灰度图中第一像素点所在行的车道线宽度，包括：

基于预设的车道线宽度方程和所述第一像素点所在行，确定所述第一像素点所在行的车道线宽度，其中，所述车道线宽度方程用于表示像素点所在行与车道线宽度的关系。

3.根据权利要求1所述的方法，其特征在于，所述若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点，包括：

若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，且所述第二像素点之间的灰度值的差值小于预设的第二灰度阈值，则确定所述第一像素点为车道线上的像素点。

4.根据权利要求2所述的方法，其特征在于，所述基于预设的车道线宽度方程和所述第一像素点所在行，确定所述第一像素点所在行的车道线宽度之前，还包括：

采集包含车道线的样本；

统计所述样本中每一行的车道线宽度；

基于统计的车道线宽度和预设的车道线宽度模型执行最小二乘法，确定所述车道线宽度模型中的系数，得到所述车道线宽度方程。

5.根据权利要求4所述的方法，其特征在于，所述车道线宽度模型为线性模型。

6.一种车道线检测装置，其特征在于，所述装置包括：

获取单元，用于获取包含车道线的灰度图中第一像素点所在行的车道线宽度；

确定单元，用于若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，则确定所述第一像素点为车道线上的像素点；

处理单元，用于基于所述车道线上的像素点进行二值化处理；

提取单元，用于基于处理后的二值图提取车道线。

7.根据权利要求6所述的装置，其特征在于：

所述获取单元，具体用于基于预设的车道线宽度方程和所述第一像素点所在行，确定所述第一像素点所在行的车道线宽度，其中，所述车道线宽度方程用于表示像素点所在行与车道线宽度的关系。

8.根据权利要求6所述的装置，其特征在于：

所述确定单元，具体用于若所述第一像素点的灰度值与其所在行上相距所述车道线宽度处的第二像素点的灰度值的差值均大于预设的第一灰度阈值，且所述第二像素点之间的灰度值的差值小于预设的第二灰度阈值，则确定所述第一像素点为车道线上的像素点。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

统计单元，用于采集包含车道线的样本；统计所述样本中每一行的车道线宽度；基于统计的车道线宽度和预设的车道线宽度模型执行最小二乘法，确定所述车道线宽度模型中的系数，得到所述车道线宽度方程。

10.一种车道线检测终端，包括摄像头组件、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-5任一所述车道线检测方法。