CN107832732B - 基于三叉树遍历的车道线检测方法 - Google Patents

Abstract

本发明公开了基于三叉树遍历的车道线检测方法，涉及图像处理领域，通过提取代表车道线中心线的候选特征点，减少了需要处理的像素点数，提高了算法的计算效率。通过对车道线和噪声的特征点进行分析，提出了一个与参数空间无关的滤除伪特征点的方法，避免使用参数空间转换和复杂的数学运算，提高了车道线检测的准确性。并提出了一个车道线预测模型对特殊的路况进行车道线预测，该模型保存内部记忆，根据图像序列过去至现在的变化趋势预测特殊路况下的车道线。对车道线适当合理的预测，提高了检测结果的正确率。

Description

基于三叉树遍历的车道线检测方法

技术领域

本发明涉及图像处理领域，特别是涉及基于三叉树遍历的车道线检测方法。

背景技术

道路标志检测和道路车道线检测、车道偏离报警等应用的引入使车载智能系统的发展更为迅速。道路车道线检测是车载智能系统体系架构中的一个关键技术。因为道路场景的多变性和不确定性，使得车道线检测成为一个具有挑战性的课题。在车道线检测技术中，实时性和准确性是主要研究目标，也是体现一个系统整体性能好坏的主要指标。

在众多道路车道线检测方法中，基于机器视觉的方法已成为主流的发展趋势。根据其检测原理，大体上可以分为四类：基于霍夫变换的方法，基于立体视觉的方法，基于线性回归的方法，基于机器学习的方法。

基于霍夫变换的改进方法有较高的误判率和计算复杂度，当路况信息比较复杂时，经典霍夫变换不具有可行性，且该类方法对于弯曲道路的检测效果较差。基于立体视觉的方法的检测范围有很大的局限性，鲁棒性较差。基于线性回归的方法有较低的计算成本，但对噪声非常敏感，严重降低检测算法的准确性。基于机器学习的方法作为一个比较好的数据分类工具已经在一些实际场景中应用，然而，当构建的数据集不充分时，其检测效果会大幅下降。

发明内容

本发明实施例提供了基于三叉树遍历的车道线检测方法，可以解决现有技术中存在的问题。

本发明提供了一种基于三叉树遍历的车道线检测方法，其特征在于，该方法包括以下步骤：

选择原始图像中的感兴趣区域，该感兴趣区域是以中心线L_mid为中心向两侧扩展的一片区域；

对感兴趣区域中的图像进行分割和膨胀处理，以获取有意义的前景像素，进而提取有效特征点；

在膨胀图像的基础上，采用基于车道线左右边缘点的中间点提取算法，获取代表车道线的候选特征点；

把一串连续的候选特征点称作一个像素条B(x,y)，把每个像素条看做三叉树，顺序地遍历所有的三叉树，以滤除候选特征点中的伪特征点；

伪特征点被滤除之后，根据中心线y＝L_mid将图像分为左右两部分，使用RANSAC算法分别对其中的有效特征点进行拟合，得到拟合的车道线；

当有效特征点图内无特征点时，拟合算法无法进行，使用预测算法来预测车道线：

假设已扫描n帧图像，检测结果集R和权重集W分别为：

R＝{(k_i,b_i)|i＝1,2....n} (1)

其中，w_i为第i帧图像的预测权值，k_i、b_i分别为第i帧图像检测到的或预测的斜率值和截距值；

则第n+1帧图像的车道线预测模型为：

其中，k_n+1、b_n+1分别为第n+1帧图像的斜率和截距的预测值。

本发明实施例中的基于三叉树遍历的车道线检测方法，通过提取代表车道线中心线的候选特征点，减少了需要处理的像素点数，提高了算法的计算效率。通过对车道线和噪声的特征点进行分析，提出了一个与参数空间无关的滤除伪特征点的方法，避免使用参数空间转换和复杂的数学运算，提高了车道线检测的准确性。并提出了一个车道线预测模型对特殊的路况进行车道线预测，该模型保存内部记忆，根据图像序列过去至现在的变化趋势预测特殊路况下的车道线。对车道线适当合理的预测，提高了检测结果的正确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于三叉树遍历的车道线检测方法的流程图；

图2为图像预处理效果示意图，其中a为原始图像，b为感兴趣区域的图像，c为分割后的图像，d为膨胀后的图像；

图3为候选特征点的提取过程示意图；

图4为提取候选特征点的结果以及两个不同位置的车道线局部放大图；

图5为车道线斜率示意图；

图6为当判别分数为1的像素条后得到的有效特征点效果图，其中a为数量约束的结果，b为参数约束的效果；

图7为车道线拟合结果示意图；

图8为最小二乘法和RANSAC算法的拟合结果对比图，其中a为有强噪声在的特征点，b为使用最小二乘法的拟合效果图，c为使用RANSAC算法的拟合效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明提供了基于三叉树遍历的车道线检测方法，该方法包括以下步骤：

步骤100，选择原始图像中的感兴趣区域ROI，该感兴趣区域ROI是以中心线L_mid为中心向两侧扩展的一片区域，中心线L_mid定义为：

其中，Col(P_i(x,y))表示车道线特征点的列坐标，Count(P(x,y)表示特征点个数，感兴趣区域ROI超出图像部分将自动被截断。第一帧选取中间560×180区域作为感兴趣区域ROI，如图2所示，a为原始图像，b为选取的感兴趣区域ROI。

步骤110，对感兴趣区域中的图像进行分割和膨胀处理，以获取有意义的前景像素，进而提取有效特征点。选取的灰度化转换模型为：

P_gray＝0.2989×R+0.5870×G+0.1140×B (2)

其中，R、G、B分别为图像的红、绿、蓝通道。然后使用目前广泛使用的Otsu方法对灰度化的图像进行二值化分割处理。最后使用式(3)所示的结构元素对分割后的图像进行水平膨胀：

se＝[111 … 111] (3)

其中se为一个大小为1×13的平坦结构元素。图2中c显示了图像分割的效果图，由图可见车道线及一些亮度较高的物体被分割出来，较暗像素被滤除。d显示了膨胀后的图像，由图可见车道线和噪声在水平方向上被膨胀，大部分孤立噪声被融合。

步骤120，选取候选特征点：在膨胀图像的基础上，采用基于车道线左右边缘点的中间点提取算法，获取代表车道线的候选特征点。图3展示了候选特征点的提取过程，其中的实心点为提取的候选特征点。

候选特征点的选取方法为：从左至右、从上至下逐行扫描当前图像，并设yLeft、yRight和yMiddle为三个变量，分别存储车道线或噪声的左边缘点、右边缘点和候选特征点的坐标。在对当前行进行扫描时，把遇到的第一个前景像素点的列坐标P_L存入yLeft中，继续向右扫描，寻找首个背景像素点，获得其列坐标P_R，将P_R-1存入yRight中。

因此可以得到左、右边缘点之间的距离dist为：

dist＝yRight-yLeft (4)

根据车道宽度的时序一致性，车道线的左右边缘之间的距离不会变化太大，使用当前帧的距离约束，候选特征点的提取模型为：

当λ(P)＝1时，说明检测到候选特征点，否则本次没有检测到候选特征点，从yRight后的第二个像素点继续扫描，直到图像扫描完毕。其中[α₁,α₂]是车道线的宽度取值范围，它是根据车道线宽度的时序一致性得到的，α₃是ROI的宽度。候选特征点的列坐标yMiddle可以使用如下公式计算得到：

yMiddle＝(yLeft+yRight)/2 (6)

然后添加该特征点到候选特征点集中。

图4显示了提取候选特征点的结果和两个不同位置的车道局部放大图。在该图中，车道线和噪声的特征点都被提取出来。

步骤130，滤除伪特征点：为了从候选特征点中滤除伪特征点，把一串连续的候选特征点称作一个像素条B(x,y)(单个候选特征点看做像素条的特例)。考虑到存在垂直像素条，把每个像素条看做三叉树而不是二叉树。由图4可知，一颗三叉树一般只有一个子树，即左半图像一般只有左子树，右半图像一般只有右子树。并且，车道线拟合直线的斜率值k总是在一个有限范围[-k_max,k_max]之内，如图5所示。类似地，车道线拟合直线的截距值b和感兴趣区域的中心线y＝L_mid的距离也应该在某个确定的范围内。每个像素条中特征点的数量P_num：

数量P_num应该满足数量约束，属于车道线的像素条的检测模型为：

λ(B)＝1表示像素条B(x,y)属于当前帧中的一个车道线，k_L和k_R分别代表左子树或右子树的拟合直线的斜率值。α₄和α₅分别是数量阈值和截距阈值。公式(8)中的规则是建立在如下观测之上：属于一个车道线的像素条是连续的，有一定数量的特征点，且它的斜率值在某个区间内。所有的三叉树被顺序地遍历，在遍历期间，伪特征点被滤除。

步骤130具体包括以下子步骤：

Step 1：遍历像素条B(x,y)中的特征点并计数，然后将每个特征点的坐标保存到位置矩阵Pos中：Pos＝{(x,y)|p(x,y)∈B(x,y)}，其中Pos的大小为P_num×2。

Step 2：检测被扫描像素条是否满足表达式(9)给出的约束条件。方程(9)中给出的标准用来确定某个像素条是否满足噪声的特征条件：

其中，α₄是数量阈值。

Step 3：使用最小二乘法在位置矩阵Pos上拟合可代表被扫描像素条的直线y＝kx+b，其中k、b分别为拟合直线的斜率值和截距值。

Step 4：检测被扫描像素条的斜率k和截距b是否满足斜率和截距约束。当前图像中具有噪声的特征形态的像素条可以使用方程(10)和方程(11)中给出的条件来滤除：

其中，车道线拟合直线的斜率值k总在一个有限范围[-k_max,k_max]之内，k_L和k_R分别代表左子树和右子树的拟合直线的斜率值，α₅是截距阈值。

Step 5：滤除被扫描像素条。使用数量约束和参数约束(包括斜率和截距约束)得到的判别分数

来确定检测到的像素条是否是噪声：

Step 6：如果

表示像素条B(x,y)属于噪声；如果

还需要根据预测约束

进一步判断该像素条是否属于一个车道线，由于在时间轴上连续帧的车道线变化不大，采用预测约束

来进一步做判别：

其中，α₆和α₇是两个阈值，用于限制检测结果中类车道线噪声的数量，当

时，表示被检测的像素条为噪声；当

时，表示被检测的像素条为车道线像素条，将该像素条添加到有效特征点图中。

图6显示了判别分数

为1的像素条得到的有效特征点的效果图。对比图4可以看到，包含特征点个数少、拟合直线的参数不满足要求的伪像素条已被很好地滤除，数量约束和参数约束的效果分别如图6中a、b所示。

步骤140，车道线拟合：伪特征点被滤除之后，根据中心线y＝L_mid将图像分为左右两部分，使用RANSAC算法分别对其中的有效特征点进行拟合，得到拟合的车道线。

在对图6中b的有效特征点进行拟合时，最小二乘法可以得到正确结果，如图7所示。但对图8中a的有效特征点进行拟合时，由于有强噪声在伪特征点滤除阶段中未被很好地滤除，最小二乘法的拟合结果发生错误，如图8中b所示，这是因为最小二乘法总是尽量去适应包括噪声在内的所有特征点。

RANSAC算法是一种可根据包含局外点(噪声点)的观测数据集，通过迭代方式估计数学模型参数的方法。算法的迭代次数k’可以从理论结果推断，如式(14)所示：

其中，p表示迭代过程中从数据集内随机选取出的点均为局内点(有效特征点)的概率，w表示每次从数据集中选取一个局内点的概率，N表示估计模型需要选定的点的个数。

RANSAC算法能得出一个仅用局内点计算出的模型，且有足够高的概率和较好的鲁棒性。图8中c为RANSAC算法对a中的有效特征点进行拟合的结果，可以看到车道线被正确地拟合。

步骤150，车道线预测：当由于车辆颠簸造成的暂时白光，或光线严重缺失时造成的黑影等现象发生时，会导致有效特征点图内无特征点，拟合算法无法进行，此时使用预测算法来预测车道线。

假设已扫描n帧图像，检测结果集R和权重集W分别为：

R＝{(k_i,b_i)|i＝1,2....n} (15)

其中，w_i为第i帧图像的预测权值，k_i、b_i分别为第i帧图像检测到的或预测的斜率值和截距值。

则第n+1帧图像的车道线预测模型为：

其中，k_n+1、b_n+1分别为第n+1帧图像的斜率和截距的预测值。像循环神经网络的隐藏层更新模型一样，上述的预测模型根据方程(17)记忆并考虑了之前已检测的n帧图像的信息，因而能更好地预测下一帧图像的信息。当然记忆会随着时间流逝逐渐忘却，即图像的信息越久，对预测的影响越小。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于三叉树遍历的车道线检测方法，其特征在于，该方法包括以下步骤：

选择原始图像中的感兴趣区域，该感兴趣区域是以中心线L_mid为中心向两侧扩展的一片区域；

对感兴趣区域中的图像进行分割和膨胀处理，以获取有意义的前景像素，进而提取有效特征点；

在膨胀图像的基础上，采用基于车道线左右边缘点的中间点提取算法，获取代表车道线的候选特征点；

把一串连续的候选特征点称作一个像素条B(x,y)，把每个像素条看做三叉树，顺序地遍历所有的三叉树，以滤除候选特征点中的伪特征点；

伪特征点被滤除之后，根据中心线y＝L_mid将图像分为左右两部分，使用RANSAC算法分别对其中的有效特征点进行拟合，得到拟合的车道线；

当有效特征点图内无特征点时，拟合算法无法进行，使用预测算法来预测车道线：

假设已扫描n帧图像，检测结果集R和权重集W分别为：

R＝{(k_i,b_i)|i＝1,2,....,n} (1)

其中，w_i为第i帧图像的预测权值，k_i、b_i分别为第i帧图像检测到的或预测的斜率值和截距值；

则第n+1帧图像的车道线预测模型为：

其中，k_n+1、b_n+1分别为第n+1帧图像的斜率和截距的预测值。

2.如权利要求1所述的基于三叉树遍历的车道线检测方法，其特征在于，对感兴趣区域中的图像进行分割处理时选取的灰度化转换模型为：

P_gray＝0.2989×R+0.5870×G+0.1140×B (4)

其中，R、G、B分别为图像的红、绿、蓝通道，然后使用Otsu方法对灰度化的图像进行二值化分割处理，最后使用式(5)所示的结构元素对分割后的图像进行水平膨胀：

se＝[111…111] (5)

其中se为一个大小为1×13的平坦结构元素。

3.如权利要求1所述的基于三叉树遍历的车道线检测方法，其特征在于，候选特征点的选取方法为：从左至右、从上至下逐行扫描当前图像，并设yLeft、yRight和yMiddle为三个变量，分别存储车道线或噪声的左边缘点、右边缘点和候选特征点的坐标，在对当前行进行扫描时，把遇到的第一个前景像素点的列坐标P_L存入yLeft中，继续向右扫描，寻找首个背景像素点，获得其列坐标P_R，将P_R-1存入yRight中；

因此可以得到左、右边缘点之间的距离dist为：

dist＝yRight-yLeft (6)

根据车道宽度的时序一致性，使用当前帧的距离约束，候选特征点的提取模型为：

当λ(P)＝1时，说明检测到候选特征点，否则本次没有检测到候选特征点，从yRight后的第二个像素点继续扫描，直到图像扫描完毕；其中[α₁,α₂]是车道线的宽度取值范围，它是根据车道线宽度的时序一致性得到的，α₃是感兴趣区域的宽度，候选特征点的列坐标yMiddle使用如下公式计算得到：

yMiddle＝(yLeft+yRight)/2 (8)

添加该特征点到候选特征点集中。

4.如权利要求1所述的基于三叉树遍历的车道线检测方法，其特征在于，滤除候选特征点中伪特征点的方法，具体包括：

遍历像素条B(x,y)中的特征点并计数，然后将每个特征点的坐标保存到位置矩阵Pos中：Pos＝{(x,y)|p(x,y)∈B(x,y)}，其中Pos的大小为P_num×2；

每个像素条中特征点的数量P_num：

检测被扫描像素条是否满足表达式(10)给定的约束条件：

其中，α₄是数量阈值，使用最小二乘法在位置矩阵Pos上拟合代表被扫描像素条的直线y＝kx+b，其中k、b分别为拟合直线的斜率值和截距值；

检测被扫描像素条的斜率k和截距b是否满足斜率和截距约束，当前图像中具有噪声的特征形态的像素条使用方程(11)和方程(12)中给出的条件来滤除：

其中，车道线拟合直线的斜率值k总在一个有限范围[-k_max,k_max]之内，k_L和k_R分别代表左子树和右子树的拟合直线的斜率值，α₅是截距阈值，滤除被扫描像素条，使用数量约束和参数约束，包括斜率和截距约束，得到的判别分数

来确定检测到的像素条是否是噪声：

如果

表示像素条B(x,y)属于噪声。

5.如权利要求4所述的基于三叉树遍历的车道线检测方法，其特征在于，如果

还需要根据预测约束

进一步判断该像素条是否属于一个车道线，由于在时间轴上连续帧的车道线变化不大，采用预测约束

来进一步做判别：

其中，α₆和α₇是两个阈值，用于限制检测结果中类车道线噪声的数量，当

时，表示该像素条为噪声；当

时，表示该像素条为车道线像素条。

Images