CN109948552B - 一种复杂交通环境中的车道线检测的方法 - Google Patents

Abstract

本发明公开了一种复杂交通环境中的车道线检测的方法，首先，将车载摄像头获取的视频序列映射到包含路面信息的俯瞰图，然后通过梯度增强方法将彩色俯瞰图转换为灰度图像达到增大车道线像素和地面像素之间的对比度的目的，再利用边缘提取方法生成车道线候选像素，之后使用RANSC方法来拟合车道线，并从俯瞰图中裁剪出候选的车道线图像以用于验证和语义识别，将验证过的车道线参数反馈为RANSC的几何约束，最后估计消失点位置以更新车载摄像头的外参数。本方法具有受复杂交通环境影响小，检测精度高的优点。

Description

一种复杂交通环境中的车道线检测的方法

技术领域

本发明涉及图像处理目标检测领域，特别是涉及一种复杂交通环境中的车道线检测的方法。

背景技术

车道线是道路路面上用于引导车辆按规定路线行驶，保证车流通行秩序的标志线。在由车载摄像头拍摄的图像中进行车道线检测，可以帮助计算机了解驾驶环境(如前方道路的几何形状和主车辆在道路上的侧向位置)，是实现ADAS 和自动驾驶系统的重要步骤，同时也是车道偏离预警系统和驾驶员意图预测系统的支撑技术。

与交通标志一样，车道线被设计用于指导司机驾驶安全并遵守交通法规。不同形式的车道线(实线，虚线，以及黄线或白线)均代表着不同的含义，识别车道标记的类型可探索车道线的潜在语义(如减速或禁止换道)，有助于实现车道变换辅助系统和车辆违章检测系统。到目前为止，关于车道线语义识别方面的研究很少。

在过去的二十年中，国内外研究者对车道线检测的相关技术进行了大量的研究，提出了很多车道线检测的方法，同时许多车道偏离预警的产品已经出现在市场上。当车道线清晰可见且具有明确的几何形状时，其中大部分产品的检测效果良好。然而由于现有的绝大部分车道线检测方法都只检测左右车道线，且仅通过一些几何约束条件对拟合出的假设车道线进行验证。因而在多车道线检测模式下仍存在如下挑战：

1、当车辆驶向更宽或更窄的道路时，车道的数量会增加或减少。此时如果在算法中采用固定的待检测车道线数目，则会漏检车道线或产生虚假的车道线。

2、拥挤交通中其它车辆、行人以及其它障碍物对车道线的遮挡，以及障碍物自身丰富的边缘，在车道线检测过程中形成干扰，则会产生许多虚假目标。

3、当车道线磨损严重，甚至当道面上不存在车道线时，会检测到一些虚假的车道线。

4、车道线检测算法的准确性与车道线候选像素生成步骤紧密相关。然而道路旁的树木、建筑和路面上的车辆行人等投射在路面上的阴影均会在车道线检测过程中形成干扰。同时，道路上存在许多具有与车道线相似纹理的路基，防护栏等。这些背景像素被认为是候选的车道线像素则会严重影响模型拟合结果的准确性。

发明内容

本发明的目的在于克服现有技术中，存在的车道数量变化、车道线遮挡、车道线磨损、投射在路面上的阴影，会影响车道线检测结果的准确性，提供一种复杂交通环境中的车道线检测的方法，以适用于各种交通环境的车道线检测。

为了实现上述发明目的，本发明提供了以下技术方案：

一种复杂交通环境中的车道线检测的方法，该方法包括如下步骤：

步骤一、使用逆投影方法将摄像头获取的视频序列映射到包含道路信息的俯瞰图；

步骤二、对映射后的俯瞰图进行梯度增强；

步骤三、对梯度增强后的俯瞰图用边缘提取方法提取出车道线候选像素；

步骤四、通过颜色约束和几何约束的RANSC方法，将车道线候选像素拟合为车道线；

步骤五、对拟合的车道线进行验证；将验证通过的车道线的斜率参数作为拟合下一条车道线的几何约束；

步骤六、对验证通过的车道线的像素，通过最小二乘方法来估计车道线的空间位置参数。

优选的，所述逆投影方法：

路平面上任意一点P(x,y＝0,z)在图像平面内的对应点为p(r,c)，并用p点颜色值替代P点颜色值，形成路平面的俯瞰图；世界坐标(x,y)与图像坐标(r,c)之间的对应关系为，

其中，拍摄所述视频序列的摄像机的偏航角和滚转角均为0，俯角为

f为焦距，H为架设高度，z为P点到摄像点的水平距离，(r₀,c₀)为摄像机的主点坐标。

优选的，所述梯度增强的方法：

采用动态生成的转换矢量[w_r,w_g,w_b]确定所述俯瞰图的灰度值y:

y＝w_rR+w_gG+w_bB (2)

其中(R,G,B)分别代表红色，绿色和蓝色的颜色值；转换矢量[w_r,w_g,w_b]通过线性判别分析来更新，线性判别分析的训练集由已检测到的车道线像素和路面像素组成。

优选的，所述边缘提取的方法：

采用两个对称核K_l和K_r来分别提取左边缘梯度和右边缘梯度，I为IPM图像；

将大于左、右两边的像素灰度值并且左、右边缘梯度之和大于梯度阈值T_e的像素作为车道线候选像素；

其中，梯度阈值T_e由自适应的阈值分割算法确定。

优选的，所述边缘提取的方法还包括：

使用两个窗口遍历整个边缘图E(x,y)，去除噪声斑点，即，

其中

和

分别为上、下窗口内存在边缘值的行数值，T_u为R_u(x,y)的阈值，T_d为R_d(x,y)的阈值、T_ud为 R_u(x,y)与R_d(x,y)和的阈值，ε(t)为单位阶跃函数。

优选的，所述RANSC方法包括：

a)假设模型生成：随机抽样具有相似颜色的两个点p和q，满足

(R_p-R_q)²+(G_p-G_q)²+(B_p-B_q)²＜T_c (6)

其中，T_c为判定相似颜色的阈值；点p和q组成的直线参数

平均RGB 向量

b)几何约束验证：估计的直线参数

的范围被缩小为[A_d,A_u]，

其中，a由前面拟合车道线或前一帧的估计结果决定，A₀为斜率阈值；如果假设模型的参数不在参数范围内，返回步骤a)重新生成假设模型；

c)假设模型验证：计算所有车道线候选像素与假设模型之间的距离和颜色一致程度的总和：

第一项表示距离一致程度，第二项表示R，G和B颜色的一致程度；对D_t的最大值D_m及其相应的候选点集合，使用最小二乘法估计车道模型参数

优选的，所述对车道线进行验证的方法：

从所述俯瞰图中裁剪出车道线图像：

其中

I是俯瞰图，r＝0,1,...,n_r-1，c＝-N_c,...,0,...,N_c，n_r和n_c分别是俯瞰图的行数和列数，车道线图像的大小为n_r×(2N_c+1)；

采用HoG特征图来描述裁剪出的车道线图像中车道线的外观轮廓，并用支持向量机(SVM)验证所述车道线图像中是否有车道线；

以及，验证所述车道线图像中车道线为实线还是虚线；

车道线像素的颜色值被预测为：

v＝w_r′R+w′_gG+w_b′B (12)

其中，[w_r′,w′_g,w_b′]由线性判别分析方法确定；投影后，黄色和白色车道标记通过颜色阈值T_color来区分。

优选的，所述估计消失点的坐标以及根据消失点位置重新计算摄像头的方法：

一对线段(L_i,L_j)的交点在图像平面服从高斯分布：

其中，(m_ij；x,m_ij；x)为(L_i,L_j)的交点坐标，而σ_ij为标准差：

其中，τ_i为线段强度值，即车道线长度l_i与宽度w_i之比τ_i＝l_iw_i；α_i为拟合出来的车道线L_i的分类置信度；

车道线的置信概率表决函数P(x,y)为：

其中，N为线段数目。

优选的，利用车道线的置信概率表决函数来估计消失点的坐标，并根据消失点位置重新计算摄像头的拍摄位置以及角度；

消失点的位置可估计为：

V(x,y)＝argmax(P(x,y)) (16)

消失点的横坐标

车载摄像机与地平面之间的俯仰角更新为：

优选的，所述步骤五还包括，根据对拟合的车道线的验证结果，进行语义识别分类：白色实线，白色虚线，黄色实线，黄色虚线。

与现有技术相比，本发明的有益效果：

现有技术中车道线检测方法只检测左右车道线，且仅通过一些几何约束条件对拟合出的假设车道线进行验证。本发明不假设路面上有具体几条车道线，而是根据车道线候选像素的情况拟合多条车道线，然后把这些车道线都进行验证，去除那些虚假的车道线，且不会漏检车道线。

通过逆投影方法映射到不包含路边建筑物、树木、天空的俯瞰图，以消除包括路边建筑物、树木、天空的不相关信息。

对映射后的俯瞰图进行梯度增强，将彩色的俯瞰图转换为灰度图像，并增大车道线像素和其他像素之间对比度。

对于梯度增强后的俯瞰图进行边缘提取，获得车道线候选像素，以达到去除车辆、路基、阴影的影响，并车道线保存完整的目的。

通过颜色约束和几何约束的RANSC方法来拟合车道线，使车道线模型拟合更加高效。

根据消失点位置重新计算摄像头的拍摄位置以及角度，克服了车辆在遇到上下坡以及颠簸路况时，影响摄像头拍摄的情况。

附图说明：

图1为车载摄像头坐标系与世界坐标系之间的关系示意图。

图2为本发明提供的在复杂交通环境中车道线检测的方法的流程图。

图3为脊算子左边缘核、脊算子右边缘核的示意图。

图4为使用不同算子生成的车道线候选像素的结果示意图。

图5为俯瞰图中的拟合结果、车道线图像及其相应的HoG特征图的示意图。

图6为不同颜色车道线像素在RGB空间中的分布示意图。

图7为不同颜色车道线像素投影值的直方图分布示意图。

图8为不同颜色车道线的错误率与阈值的关系示意图。

图9为使用正确和错误的俯仰角的逆投影结果的示意图。

图10为不同车道线检测的精度-召回率曲线示意图。

图11为不同车道线检测的精度-召回率曲线示意图。

图12为阈值与不同车道线召回率之间的关系示意图。

图13为测试集中车道线检测及语义识别结果展示的示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

下面参照附图和具体实施例对本发明提供的在复杂交通环境中的车道线检测的方法进行详细说明。

本发明提供的在复杂交通环境中的车道线检测的方法进行包括按顺序进行的下列步骤：

步骤一、使用逆投影方法将摄像头获取的视频序列映射到包含道路信息的俯瞰图。

本实施通过架设在前挡风玻璃的车载摄像头获取行车视频序列。摄像机坐标系X_c-Y_c-Z_c与世界坐标系X_w-Y_w-Z_W之间的关系如图1所示，以车身纵轴线为Z_W轴，地平面为X_W-Z_W平面。为了车道线检测的方法不失一般性，本实施假设摄像机成像模型为针孔模型，摄像机的偏航角和滚转角均为0，摄像机俯角为

如图2所示。

除了车道线之外，车载摄像头还捕捉到了许多不相关的信息，例如道路上的车辆，车道附近的树木和建筑物。检测整个图像不仅增加了计算量，而且增加了计算难度。将捕获的图像映射到俯瞰图将消除大部分不相关的信息，因此车道线提取将变得更有效。

俯瞰图映射的实质是找出路平面上任意一点P(x,y＝0,z)在图像平面内的对应点为p(r,c)，并用p点颜色值替代P点颜色值，形成路平面的俯瞰图。此时世界坐标(x,y)与图像坐标(r,c)之间的对应关系为，

其中，H为摄像点的高度，z为P点到摄像点的水平距离，f为焦距，点(r₀， c₀)为摄像机的主点坐标。

步骤二、对映射后的俯瞰图进行梯度增强。

通过梯度增强方法将彩色俯瞰图转换为灰度图像达到增大车道线像素和其他像素之间对比度的目的，梯度增强包括如下步骤：

S1建立一彩色RGB图像采集模型，用以捕获图像的RGB值，

S2基于RGB值的变化动态生成一转换向量，通过所述转换向量将图像的当前帧转换为灰度图像用以提供最大车道梯度，

S3对转化后的灰度图像进行车道线检测，并提取训练数据，

S4根据所述训练数据采用LDA算法训练更新上述转换向量，更新后的转换向量中包括：增强白色车道梯度和增强黄色车道梯度，

对视频序列的每一帧图像重复上述S2～S4，实现连续地转换。

为了解决光照条件多变的问题，本方法采用动态生成的转换矢量[w_r,w_g,w_b] 将彩色图像转换为灰度图像以产生最大的车道梯度，即灰度值y：

y＝w_rR+w_gG+w_bB (2)

其中转换矢量通过线性判别分析(Linear Discriminant Analysis，LDA)来更新，线性判别分析的训练集由已检测到的车道线像素和路面像素组成。这样便可保证投影后的灰度值y在车道线像素和路面像素间具有最佳的可分性。

步骤三、对梯度增强后的俯瞰图用边缘提取方法提取出车道线候选像素。

根据车道线上像素的灰度值高于其左、右像素，提出一种车道线的边缘提取规则，即同时大于左、右两边的像素灰度值，且左、右边缘梯度之和大于阈值才被认为是车道线像素候选；其中，该阈值由自适应的阈值分割算法确定。

车道线的脊特征(灰-白-灰模式)表明车道线上像素的灰度值高于其左、右像素，所以本边缘提取方法定义了如图3所示两个5×5的对称核K_l和K_r来分别提取左边缘梯度和右边缘梯度，I为IPM图像。

将大于左、右两边的像素灰度值并且左、右边缘梯度之和大于梯度阈值T_e的像素作为车道线候选像素。

式(3)中的卷积计算可以通过积分图像方法来进行加速，并且由自适应的阈值分割算法——OTSU方法确定梯度阈值T_e。然而除了真正的车道线的边缘外，本方法可能会产生一些孤立的小斑点。这些噪声斑点会增加计算成本并影响车道线拟合精度。首先使用两个大小为3×5的窗口遍历整个边缘图E(x,y)，然后通过比较R_u(x,y)，R_d(x,y)以及它们之和与对应的阈值T_u、T_d和T_ud来去除噪声斑点，即，

其中

和

分别为上、下窗口内存在边缘值的行数值，ε(t)为单位阶跃函数。

使用脊算子、Canny算子和cLoG算子生成车道线候选像素的结果如图4所示。可以看出，与Canny算子和cLoG算子相比，脊算子可以去除车辆，路基和阴影的大部分边缘，并且车道线的保存相对完整。

步骤四、通过颜色约束和几何约束的RANSC方法，将车道线候选像素拟合为车道线。

随机抽样一致算法(Random Sample Consensus，RANSC)在车道线模型拟合中有很大的优势。由于车道线的像素应该具有相似的颜色，因此使用相似颜色的像素估计车道线模型将大大减少RANSAC的迭代次数。此外，在大多数情况下，道路上有不止一条车道线，RANSC将多次用于提取车道线，而车道线实际上是彼此平行的，因此使用之前估计的车道线的参数来约束后续的估计也会大大减少RANSC的迭代次数。甚至因为前后两帧中的车道线差异应该很小，参数范围也同样可以缩小。有了上述两个约束条件，车道线模型拟合将更加高效。在此基础上，提出了一种双约束RANSAC(D-RANSAC)算法。该算法由T次循环组成，每个循环包括，

a)假设模型生成：随机抽样具有相似颜色的两个点p和q，满足

(R_p-R_q)²+(G_p-G_q)²+(B_p-B_q)²＜T_c (6)

其中(R,G,B)分别代表红色，绿色和蓝色的颜色值。其中，T_t为判定相似颜色的阈值；点p和q组成的直线参数

因此，平均RGB向量

b)几何约束验证：由于同一帧图像中车道线之间的斜率参数差异应该很小，因此估计的直线参数

的范围被缩小为[A_d,A_u]，

其中，a由前面拟合车道线或前一帧的估计结果决定，A₀为斜率阈值。如果假设模型的参数不在参数范围内，则认为是不正确的假设，返回步骤a)重新生成假设模型；

c)假设模型验证：计算所有候选车道线像素与假设模型之间的距离和颜色一致程度的总和，如公式(8)所示。公式(8)中第一项测量距离一致程度，第二项测量R，G和B颜色的一致程度。

最后，找到D_t的最大值D_m及其相应的候选点集合，然后使用最小二乘法(LeastSquare，LS)估计车道模型参数

步骤五、对拟合的车道线进行验证；将验证通过的车道线的斜率参数作为拟合下一条车道线的几何约束。

对车道线进行验证，并进行语义识别分类；验证后的车道线的斜率参数反馈为D-RANSC的几何约束；

由于可见车道线的数量在实际交通状况中并不固定，而现有的大多数方法仅检测主车道的左右两条车道线或固定数量的车道线。当候选像素中存在较多噪声和干扰时，车道线检测精度和检测率都不乐观。因此，车道线检测的结果非常依赖于车道线候选生成的准确性。事实上在俯瞰图中，仍然存在一些与车道线几何相似的物体，例如道路标记，护栏，车辆上的某些部件等等，这意味着无法保证检测的正确性。图5(a)显示了俯瞰图的车道线拟合结果，其中待拟合的车道线数量固定为4。在俯瞰图中有两条可见的虚车道线和一条可见的实车道线。可以看到，实车道线旁边的花坛也被检测为车道线，因为它与车道平行且边缘相似。此外，识别车道线的类型还可以帮助驾驶员了解其潜在的语义以避免违章驾驶。因此，为了解决这些问题，本方法增加了车道验证和语义识别的步骤。

不同形状的车道线表示不同的含义。事实上，车道线的类型不过是白色/黄色，实/虚车道线及其组合。因此，本方法将任务划分为三步。首先验证拟合出的车道线假设，然后将车道线区分为实线和虚线，最后确定车道线的颜色。这样就可以进一步提高车道线检测的精度，并且可以识别车道线的潜在语义。

由于车道线具有固定的纹理轮廓特征，因此我们首先从俯瞰图中裁剪出车道线图像，该图像由上一步中估计的车道线模型的N_c像素宽度内的像素组成，如下所示：

其中

I是俯瞰图，r＝0,1,...,n_r-1，c＝-N_c,...,0,...,N_c，n_r和n_c分别是俯瞰图的行数和列数，因此车道线图像的大小为n_r×(2N_c+1)。本文中N_c＝5。按照等式(2-21)裁剪之后，车道线的斜率被校正了，因此车道线图像的类间方差会降低。

由于HoG特征强大的外观轮廓表达能力，它被用来描述车道线的外观轮廓。图5(b)展示了检测到的车道线图像L及其相应的HoG特征图F，可以看到，实车道线、虚车道线和花坛边缘的HoG特征图也是可区分的，即便是车道线部分地被车辆遮挡时。由于支持向量机(SVM)强大的分类能力，它被用来进行车道线验证(见式(10))和实线/虚线区分(见式(11))。

图6展示了RGB空间中黄色和白色车道线像素的分布情况，表明黄色和白色车道线像素在RGB空间中是可分离的。车道线像素的颜色值可以被预测为：

v＝w_r′R+w′_gG+w_b′B (12)

其中，[w_r′,w′_g,w_b′]由线性判别分析方法确定。投影后，黄色和白色车道标记分布在不同的区域，如图7所示。因此，它们可以通过颜色阈值T_color来区分(如图8所示)，该颜色阈值是两个类车道标记错误率的平衡点。

使用式(12)和颜色阈值T_color识别从车道线上随机选择M个像素的颜色，并通过投票确定车道线的颜色。这样，车道线上的阴影和污点对车道颜色识别的影响就较小。

步骤六、对验证通过的车道线的像素，通过最小二乘方法来估计车道线的空间位置参数。

随着车辆行驶，不可避免地要下坡上坡，或者遇到颠簸的路况，因此相机的俯仰角度将会改变。显然，错误的俯仰角对逆投影结果有不利影响。当逆投影中使用的俯仰角与真实值差距很大时，车道线将在俯视图中不平行(如图9所示)，这将导致车道线的几何约束无效，因此更新俯仰角是必要的。本方法将在俯瞰图中检测到的车道线像素映射到图像坐标系，然后使用最小二乘法估计透视图中车道线参数，最后利用改进的车道线的置信概率表决函数来估计消失点的坐标。

假设一对线段(L_i,L_j)的交点被认为在图像平面服从高斯分布，如式(13)所示：

其中，(m_ij；x,m_ij；x)为(L_i,L_j)的交点坐标，而σ_ij为标准差，

其中，τ_i为线段强度值，即车道线长度l_i与宽度w_i之比τ_i＝l_iw_i；α_i为线段L_i为车道线的分类置信度，由车道线验证函数给出(见式(10))。因此，对于具有较高线段强度值及车道线分类置信度的一对线段，式(13)中描述的高斯模型具有更尖锐和更窄的分布，也就是说，(m_ij；x,m_ij；x)是消失点的概率更高。因此，车道线的置信概率表决函数P(x,y)为：

其中，N为线段数目。最后消失点的位置可估计为，

V(x,y)＝argmax(P(x,y)) (16)

由于消失点的横坐标

因此，车载摄像机与地平面之间的俯仰角为

本实施例在不同的交通环境下(如高峰时段，低照度和下雨天)进行了验证。测试环境按照不同的交通环境划分成了“简易”、“拥挤”、“光照不良”和“多标记”四种情况。其中“简易”情况为车道线清晰可见且来往车流较少；“拥挤”情况为来往车辆密集，车道线存在较多的遮挡；“光照不良”情况为车辆行驶在光线较差的隧道中。“多标记”情况为路面上有大量的其他道路交通标记(如箭头形的道路标记，斑马线，警告标记等)，并且来往车辆密集。精度和召回率被用于评估本节中提到的数据集上的车道线检测器。

其中，TP，FP和FN分别指被检测出的正样本数量(Truth positive)，错误检测数目(False positive)和漏检数目(False negative)。精确率越高说明误检越少，而召回率越高说明漏检越少。

表1所提车道线检测算法在多车道模式和主车道模式下的精度和召回率

表1显示了本方法在测试集上多车道模式和主车道模式的精确率和召回率。可以看出，主车道模式下的精度和召回率基本上都高于多车道模式下的，这是由于主车道线相对于其他车道线更清晰，遮挡相对较少，并且对于车道数量和位置有一定的先验知识车道线。由于“简易”子集中大多数车道线清晰可见且干扰较少，其无论是在主车道模式还是在多车道模式下检测精度和召回率都是令人满意的。在主车道模式下，“隧道”子集的检测精度和召回率远高于多车道模式，这是主车道的光线较强，遮挡和干扰少于其他车道的原因。由于“拥挤”子集中有大量的遮挡情况，检测召回率略低于“简易子集”。由于“多标记”子集中存在大量遮挡，同时路面上存在与车道线具有相似的特征的其他道路标记(如导向标记，汉字，斑马线等)，因此其召回率低于其他子集。令人惊喜的是，这四个子集的检测精度没有太大的差异，这意味着该算法可以过滤大部分的错误检测结果。虽然，我们希望精度越高越好，同时召回率越高越好，但实际上这两者是矛盾的，因此，精度-召回率曲线更能说明检测算法的性能。图10描绘了车道线的检测精度-召回率曲线。图11进一步描绘了为实车道线和虚车道线的精度-召回率曲线。显然，在相同的检测精度下，实车道线的召回率高于虚车道线，这是由于虚车道线的形状更加多样化，更加类似于其他车道标记，尤其是导向标记。

在语义识别任务中，实车道线的识别率与虚车道线的识别率一样重要，所以用实车道线的召回率，实车道线的召回率和总召回率来评价语义鉴别性能，其中总召回率实际上是正确率(accuracy)，即，

其中TS，TB，FS和FB分别指正确检测的实车道线数量，正确检测的虚车道线数量，错误检测成实车道线的数量和错误检测成虚车道线的数量。如图12所示，随着分类器阈值的增加，虚车道线的召回率呈上升趋势，实车道线的召回率呈下降趋势，而正确率呈现先上升后下降的趋势。因此，选择对应于最大的正确率的阈值是最为合适的。

如表2所示，实车道线的召回率低于虚车道线，尤其是在“拥挤”子集和“多标记”子集中。这是由于实车道线被遮挡时以断续的形式存在，这与虚车道线相似，容易被误判为虚车道线。

表2车道线语义识别性能

图13分别展示了测试集上的车道线检测及语义识别结果，“简单”子集如图13(a)，“隧道”子集如图13(b)，“拥挤”子集如图13(c)，“多标记”子集如图13(d)，其中第一列图像是车载摄像头拍摄的原始图像，第二列图像是俯瞰图中的车道线检测结果，第三列图像是原始图像中的车道线检测及语义识别结果，其中字母“S”、“D”、“W”和“Y”分别表示实线，虚线，白线和黄线，数字表示车道线的置信度。如图所示，本方法在复杂的交通环境中仍然可以可靠地检测车道线并识别其语义，无论是在车道线清晰，少遮挡的情况、或大量的阴影、或不良照明条件、或密集交通的情况、或复杂的路面标记。

Claims (9)

1.一种复杂交通环境中的车道线检测的方法，其特征在于，该方法包括如下步骤：

步骤一、使用逆投影方法将摄像头获取的视频序列映射到包含道路信息的俯瞰图；

步骤二、对映射后的俯瞰图进行梯度增强；

步骤三、对梯度增强后的俯瞰图用边缘提取方法提取出车道线候选像素；

步骤四、通过颜色约束和几何约束的RANSAC方法，将车道线候选像素拟合为车道线；具体包括：

a)假设模型生成：随机抽样具有相似颜色的两个点p和q，满足

(R_p-R_q)²+(G_p-G_q)²+(B_p-B_q)²＜T_c (6)

其中，T_c为判定相似颜色的阈值；点p和q组成的直线参数

平均RGB向量

b)几何约束验证：估计的直线参数

的范围被缩小为[A_d,A_u]，

其中，a由前面拟合车道线或前一帧的估计结果决定，A₀为斜率阈值；如果假设模型的参数不在参数范围内，返回步骤a)重新生成假设模型；

c)假设模型验证：计算所有车道线候选像素与假设模型之间的距离和颜色一致程度的总和：

σ_d ²为距离方差，

为颜色方差；对D_i的最大值D_m及其相应的候选点集合，使用最小二乘法估计车道模型参数

步骤五、对拟合的车道线进行验证；将验证通过的车道线的斜率参数作为拟合下一条车道线的几何约束；

步骤六、对验证通过的车道线的像素，通过最小二乘方法来估计车道线的空间位置参数。

2.根据权利要求1所述的复杂交通环境中的车道线检测的方法，其特征在于，所述逆投影方法：

路平面上任意一点P(x,y＝0,z)在图像平面内的对应点为p(r,c)，并用p点颜色值替代P点颜色值，形成路平面的俯瞰图；世界坐标(x,y,z)与图像坐标(r,c)之间的对应关系为，

其中，拍摄所述视频序列的摄像机的偏航角和滚转角均为0，俯角为

f为焦距，H为架设高度，z为P点到摄像点的水平距离，(r₀,c₀)为摄像机的主点坐标。

3.根据权利要求2所述的复杂交通环境中的车道线检测的方法，其特征在于，所述梯度增强的方法：

采用动态生成的转换矢量[w_r,w_g,w_b]确定所述俯瞰图的灰度值y:

y＝w_rR+w_gG+w_bB (2)

其中(R,G,B)分别代表红色，绿色和蓝色的颜色值；转换矢量[w_r,w_g,w_b]通过线性判别分析来更新，线性判别分析的训练集由已检测到的车道线像素和路面像素组成。

4.根据权利要求3所述的复杂交通环境中的车道线检测的方法，其特征在于，所述边缘提取的方法：

采用两个对称核K_l和K_r来分别提取左边缘梯度和右边缘梯度，I为IPM图像；

将大于左、右两边的像素灰度值并且左、右边缘梯度之和大于梯度阈值T_e的像素作为车道线候选像素；

其中，梯度阈值T_e由自适应的阈值分割算法确定。

5.根据权利要求4所述的复杂交通环境中的车道线检测的方法，其特征在于，所述边缘提取的方法还包括：

使用两个窗口遍历整个边缘图E(x,y)，去除噪声斑点，即，

其中

和

分别为上、下窗口内存在边缘值的行数值，T_u为R_u(x,y)的阈值，T_d为R_d(x,y)的阈值、T_ud为R_u(x,y)与R_d(x,y)和的阈值，ε(t)为单位阶跃函数。

6.根据权利要求5所述的复杂交通环境中的车道线检测的方法，其特征在于，所述对拟合的车道线进行验证的方法：

从所述俯瞰图中裁剪出N_c像素宽度内的车道线图像：

其中

I是俯瞰图，r＝0,1,...,n_r-1，c＝-N_c,...,0,...,N_c，n_r和n_c分别是俯瞰图的行数和列数，车道线图像的大小为n_r×(2N_c+1)；

采用HoG特征图来描述裁剪出的车道线图像中车道线的外观轮廓，并用支持向量机(SVM)验证所述车道线图像中是否有车道线；

以及，验证所述车道线图像中车道线为实线还是虚线；

车道线像素的颜色值被预测为：

v＝w′_rR+w′_gG+w′_bB (12)

其中，[w′_r,w′_g,w′_b]由线性判别分析方法确定；投影后，黄色和白色车道标记通过颜色阈值T_color来区分。

7.根据权利要求6所述的复杂交通环境中的车道线检测的方法，其特征在于，估计消失点的坐标以及根据消失点位置重新计算摄像头的方法：

一对线段(L_i,L_j)的交点在图像平面服从高斯分布：

其中，(m_ij；x，m_ij；y)为(L_i,L_j)的交点坐标，而σ_ij为标准差：

其中，τ_i为线段强度值，即车道线长度l_i与宽度w_i之比τ_i＝l_i/w_i；α_i为拟合出来的车道线L_i的分类置信度；

车道线的置信概率表决函数P(x,y)为：

其中，N为线段数目。

8.根据权利要求7所述的复杂交通环境中的车道线检测的方法，其特征在于，利用车道线的置信概率表决函数来估计消失点的坐标，并根据消失点位置重新计算摄像头的拍摄位置以及角度；

消失点的位置可估计为：

V(x,y)＝arg max(P(x,y)) (16)

消失点的横坐标

车载摄像机与地平面之间的俯仰角更新为：

9.根据权利要求1所述的复杂交通环境中的车道线检测的方法，其特征在于，所述步骤五还包括，根据对拟合的车道线的验证结果，进行语义识别分类：白色实线，白色虚线，黄色实线，黄色虚线。

Images