CN106778593A - 一种基于多地面标志融合的车道级定位方法 - Google Patents

Abstract

本发明公开一种基于多地面标志融合的车道级定位方法，包括：步骤1、获取车辆道路图像；步骤2、对所述道路图像进行灰度处理和滤波处理；步骤3、对步骤2中处理后的道路图像进行车道线检测；步骤4、对道路图像进行停止线检测；步骤5、对道路图像进行斑马线检测；步骤6、根据车道线、斑马线和停止线实时定位车辆在车道中的位置。本发明融合路面多个标志线信息进行精确的道路车道线定位，不仅能适用于车辆的驾驶安全预警功能，也能融入到无人驾驶中的纯视觉系统进行车道线巡线和路口转弯。

Description

一种基于多地面标志融合的车道级定位方法

技术领域

本发明属于智能辅助驾驶技术和自动驾驶技术领域，尤其涉及一种基于多地面标志融合的车道级定位方法。

背景技术

近年来，自动驾驶技术的进步引起了研究人员，媒体和公众的关注和兴趣。2015年，Google无人驾驶车正式开上美国加州的公路进行测试。其他大型汽车制造商和公司已普遍承认,无人驾驶汽车走进人们的生活，并深刻地影响着人们的生存状态只是一个时间问题。车辆定位在智能交通系统中起着根本和关键作用，因为它是更高层次的前任务操作。之前，大部分的定位方法依赖全球导航卫星系统和惯性导航系统,但当GPS在某些环境下失去信号后，他们将无法继续估计车辆的位置。车道级的定位以车道巡线弥补了自主驾驶车辆的驾驶这个不足。车道检测技术是满足强劲的需求和低成本产品的最好的选择。一些成功的视觉应用程序已经完全可以应用于半自治的驾驶技术中，例如Mobileye公司的纯视觉ACC系统，车道偏离警示系统,以及车道改变协助等。

发明内容

本发明要解决的技术问题是，提供一种基于多地面标志融合的车道级定位方法。

本发明利用安装在智能车内后视镜正下方的AVT摄像头采集的图像实时地提供车辆的横向偏离距离和在路口时的纵向距离信息，进而知道车辆的实时在车道中的位置，本发明采取了如下的技术方案：

步骤1、获取车辆道路图像；

步骤2、对所述道路图像进行灰度处理和滤波处理；

步骤3、对步骤2中处理后的道路图像进行车道线检测；

步骤4、对道路图像进行停止线检测；

步骤5、对道路图像进行斑马线检测；

步骤6、根据车道线、斑马线和停止线实时定位车辆在车道中的位置。

作为优选，步骤3具体包括：

步骤3-1：设置图像的感兴趣区域；

步骤3-2：通过计算相邻图像像素的变化来判断车道线的边缘，以提取图像特征，

首先计算灰度图像中局部路面的平均灰度值avg(x,y)用于评估道路路面的灰度强度，设某点是(x,y)，满足y∈[0,h)且x∈[2,w-2)。x,y分别是像素点的列和行，w是图像的宽度，h是图像的高度。则有相邻图像像素的均值为：

其中，t＝5，

然后计算边缘提取阈值T，其计算公式表达如下：

其中avg_(x,y)为点(x,y)水平线附近的均值，

同时，计算边缘的升变点e_p和降变点e_v，

e_p∈{f(x+2,y)-f(x,y)＞T}

e_v∈{f(x+2,y)-f(x,y)＜-T}

f(x,y)为当前点(x,y)的灰度值，f(x+2,y)为该点水平方向的间隔点的灰度值；

步骤3-3：车道线模型

经过特征点提取后得到的车道线候选域，通过Hough变换得到各场内的直线；

步骤3-4：车道线聚类

在得到的各场内的直线后，需要做直线的场内合并和分区合并两方面，其中，场内合并引入了两个相似性度量，即距离相似度和方向相似度，设P₁(x₁,y₁)和P₂(x₂,y₂)为直线L₁的两个端点，其倾斜角为θ₁；P₃(x₃,y₃)和P₄(x₄,y₄)为直线L₂的两个端点，其倾斜角为θ₂；连接点P₂和P₃间的直线倾斜角为θ，则：

dis＝|(x₃-x₂)sinθ₁-(y₃-y₂)cosθ₁|

+|(x₃-x₂)sinθ₂-(y₃-y₂)cosθ₂|dir＝|θ₁-θ|+|θ₂-θ|

将距离和方向上具有近似一致性的直线聚类成一类，对属于同一类的所有直线上的车道线特征点进行最小二乘直线拟合，得到获选车道线；

步骤3-5：车道线估计

通过以上步骤可以得到比较不错的车道线候选集，通过消失点约束方法进行筛选，设消失点为(x_p,y_p),候选线直线离消失点的距离是否满足小于指定阈值T_p,其T_p取值为20。

作为优选，步骤6具体为：通过车道线得到横向的偏离距离，同时通过斑马线和停止线得到离路口的纵向距离，即

横向距离计算如下：计算IPM图中轴线中点离左右两车道线边缘的横坐标距离D^r和D^l，ΔD＝D^r-D^l，当ΔD＞0时，偏向左车道线；当ΔD＜0时，偏向右车道线；当ΔD＝0时，没有发生偏移；

纵向距离计算公式为：S＝K+D，其中，S是停止线或斑马线的中心点离车的距离，D是图像距离，K是视野最近距离。

车辆定位在智能交通系统中起着根本和关键作用，因为它是更高层次的前任务操作，然而,高成本的激光雷达成本阻止了这种系统成为汽车应用广泛的商品。车道级的定位以车道巡线弥补了自主驾驶车辆的驾驶这个不足。车道检测技术是满足强劲的需求和低成本产品的最好的选择。本文利用安装在智能车上的摄像头获取的实时图像；通过学习图像的场景信息，判定归属的场景得到适合的场景参数；再进行图像处理，分别检测图像中存在的车道线信息、斑马线信息和停止线信息；然后将得到地面标志线信息通过图像逆透视变换后得到IMP图像；再通过车道线的虚拟中心线进行横向偏离距离计算和路口的纵向距离计算，并同时提供车道线的线形判别；综合定位结果与线形判别，预测驾驶道路下的环境。本发明融合路面多个标志线信息进行精确的道路车道线定位，不仅能适用于车辆的驾驶安全预警功能，也能融入到无人驾驶中的纯视觉系统进行车道线巡线和路口转弯等。

附图说明

图1本发明的流程示意图；

图2车道线检测算法图；

图3车道感兴趣区域图像；

图4相似度度量图像，其中，图4(a)为距离相似度示意图，图4(b)方向相似度示意图；

图5车道线分区合并图；

图6卡尔曼滤波的状态转换图像；

图7斑马线双极性表示图；

图8 S＝K+D模型图。

具体实施方式

本发明实施例提供一种基于多地面标志融合的车道级定位方法，利用安装在智能车内后视镜正下方的AVT摄像头采集的图像实时地提供车辆的横向偏离距离和在路口时的纵向距离信息，进而知道车辆的实时在车道中的位置，如图1所示，本发明采取了如下的技术方案：

步骤1：传感器安装与标定

将摄像机安装在智能车辆后视镜的正下方并与车体的纵向坐标轴平行，安装摄像机时，应保证能够采集到车辆两侧清晰的车道线图像；对摄像头进行标定，标定的视野范围为：宽1500cm，远2000cm。

步骤2：图像的预处理

根据车道线特征，先对图像进行灰度处理，灰度处理的公式为G_ray＝R*0.5+G*0.5，其中R、G分别代表红蓝通道分量值，G_ray表示转换后的像素的灰度值。然后对图像进行中值滤波，本实验中采用3×3的方形领域对图像进行滤波处理。

步骤3：车道线检测

车道线检测是本研究中最重要的一部分，本发明中提出了一种更加鲁棒的实时车道线检测构架模型，如图2所示。其中在灰度化和滤波是与停止线和斑马线检测共有的步骤，已经在步骤2中实现。车道线检测关键步骤如下。

步骤3-1：设置图像的感兴趣区域ROI设置，即ROI设置

在视觉中车道线近处可近似为直线，也可证明曲线在分段后呈现直线特性，因此，本发明中车道线检测采取分段检测，并根据消失点划定检测区域，如图3所示。区域C基本上是天空图像，基本不包含车道标识线信息，由A和B组成的就是车道感兴趣区域.近视野的方向反映了车道的切线方向,斜率与汽车偏离车道中心的距离有关；而远视野的方向则反映了车道的曲率,用于估计汽车行驶方向偏离正前方的角度。

步骤3-2：特征提取

车道线的灰度值要比其两边的值要高，形成一个波峰；呈现从左到右是先升后降趋势；车道线区域内均值较高时，均值与其峰顶值相差较大。我们利用这些特性，通过计算相邻图像像素的变化来判断车道线的边缘。

首先计算灰度图像中局部路面的平均灰度值avg(x,y)用于评估道路路面的灰度强度。设某点是(x,y)，满足y∈[0,h)且x∈[2,w-2)。x,y分别是像素点的列和行，w是图像的宽度，h是图像的高度。则有相邻图像像素的均值为：

t＝5能取得很好的效果。

然后计算边缘提取阈值T,其计算公式表达如下：

其中avg_(x,y)为点(x,y)水平线附近的均值。

同时，计算边缘的升变点e_p和降变点e_v。

e_p∈{f(x+2,y)-f(x,y)＞T}

e_v∈{f(x+2,y)-f(x,y)＜-T}

f(x,y)为当前点(x,y)的灰度值，f(x+2,y)为该点水平方向的间隔点的灰度值。

由于车道线的升变点和降变点在图像中是成对出现的，并且之间满足一定的距离。比较升变点和降变点的宽度，剔除不满足的点。

Δw＝e_p(x)-e_v(x)

若Δw＞W，则认为是不可能出现的车道线，则要舍弃。其中，e_p(x)和e_v(x)分别表示升变点和降变点的列像素坐标，W为车道线在图像中占有的最大的像素个数。

步骤3-3：车道线模型

经过特征点提取后得到的车道线候选域，通过Hough变换得到各场内的直线，其中，Hough变换的参数空间为矩阵H(ρ,θ)，并满足Δθ＝2，θ∈[105°,160°]∪[20°,75°]，Δρ＝1，

步骤3-4：车道线聚类

在得到的各场内的直线后，需要做直线的场内合并和分区合并两方面。其中场内合并引入了两个相似性度量，即距离相似度和方向相似度，如图4所示。其中，P₁(x₁,y₁)和P₂(x₂,y₂)为直线L₁的两个端点，其倾斜角为θ₁；P₃(x₃,y₃)和P₄(x₄,y₄)为直线L₂的两个端点，其倾斜角为θ₂；连接点P₂和P₃间的直线倾斜角为θ。则：

dis＝|(x₃-x₂)sinθ₁-(y₃-y₂)cosθ₁|

+|(x₃-x₂)sinθ₂-(y₃-y₂)cosθ₂|dir＝|θ₁-θ|+|θ₂-θ|

将距离和方向上具有近似一致性的直线聚类成一类，对属于同一类的所有直线上的车道线特征点进行最小二乘直线拟合，得到获选车道线。

对于分段型车道，建立车道模型时要将各段连接起来，车道线连接分直线连接和曲线连接，比较两直线的斜率或者是两曲线在同一点的曲率，结合要合并两线段之间的距离，将属于同一条车道线的线段连接起来。本发明中分区合并如图5所示，在直线连接方式中，A和B是直线L1的两个端点，C和D是直线L2的两个端点，B’和C’分别是两直线在分隔线上的交点，K1，K2分别表示直线段L1和L2的斜率。若|k1-k2|<Tk，且满足d＝|xb’-xc’|<Td1,则连接A和D，组成合并后的线段。在弯道线连接方式中，若曲线S1的B在S2的C上方，分别延长S1、S2两个端点至分隔线的B’和C’，d＝|xb’-xc’|<Td2,则取S1，S1的B和S2的D，这3个点来确定合并后的新的弯道线段。

步骤3-5：车道线估计

通过以上步骤可以得到比较不错的车道线候选集，这里加入消失点约束方法进行筛选。设消失点为(x_p,y_p),候选线直线离消失点的距离是否满足小于指定阈值T_p,实验中T_p取值为20。

步骤3-6：帧间关联

在实际采集系统以及大部分的智能车辆系统中，车载相机直接获得的是视频流信息，视频流中的相邻两帧图像间往往具有很大的冗余性。车辆运动在时间上和空间上都具有连续性，由于车载相机的采样频率快，在图像帧的采样周期内，车辆只是前进了一段很短的距离，道路场景的变化十分微小，表现为前后帧间的车道线位置变化缓慢，因此前一帧图像为后一帧图像提供了非常强的车道线位置信息。为了提高车道线识别算法的稳定性和准确性，引入了帧间关联性约束，包括单帧关联和kalman滤波2种方式。

1.单帧关联：假设在当前帧中检测到的车道线个数为m条，用集合L＝{L₁,L₂,Λ,L_m}表示；保存的历史帧中检测到的车道线数有n个，用集合E＝{E₁,E₂,Λ,E_n}表示；帧间关联约束滤波器用K表示，令K＝{K₁,K₂,Λ,K_n}。

首先建立一个C＝m×n的矩阵，矩阵C中的元素c_ij表示当前帧中的第i条直线L_i和历史帧中的第j条直线E_j间的距离Δd_ij，其中Δd_ij的计算公式为：A,B分别代表的是直线L_i、E_j的两个端点。接下来，在R＝{1，2，Λi}行中，统计每个i行的Δd_ij在Δd_ij＜T内的个数e，如果e＜1，当前车道线信息没有满足关联的前帧，作为新的车道线边缘并删除R集合中的i；如果e＝1，则可认为当前帧L_i和前帧E_j车道边缘在连续空间内是同一个,置V_i＝Φ和删除R集合中的i；如果e＞1，记录在{V_i}中统计j列的Δd_ij在Δd_ij≠0的V_j，得到(Δd_ij)_min＝min{V_j}(V_j≠0)，如果则得到当前帧L_i和前帧E_j车道边缘在连续空间内是同一个,置V_j＝Φ和和删除R集合中的i，当R＝Φ时，结束。

通过上述方法，我们可以涉及当前帧和先前帧车道线信息。但是我们想要更稳定的信息，如当前帧和前三帧的关联，这种方法不适用。卡尔曼是这个问题的一个很好的解决方案。卡尔曼滤波器用于实时预测每个车道的运动状态。运动状态与当前观察相匹配。通过使用卡尔曼滤波器来计算预测协方差误差。通过预测误差来校正当前观测值。信息作为卡尔曼滤波器的输入，以便预测下一帧中的目标以准备状态信息的移动。卡尔曼滤波跟踪车道线位置可以归纳为先验预测模块和后验校正模块，如图6所示。

步骤4：停止线检测

停止线检测主要是在特征提取基础上进行Hough约束变换并进行条件约束。本发明中将车道线信息进而应用到停止线的检测过程中，在大绝大数情况下，车道线是停止线之间是可以看似成垂直的，我们统计了大量数据集，得到车道线与停止线的锐角夹角是不小于20度的。因此，假设停止线检测时的Hough约束变换的参数空间为矩阵H(ρ,θ′)，它一定要满足θ′∈[θ-20°,θ+20°],其中θ为检测到的车道线所有角度的平均值。

步骤5：斑马线检测；

斑马线具有明显的双极性特点，如图7所示。本发明包括以下步骤：

1：垂直上升边缘与下降边缘检测；

2：上升边缘与下降边缘匹配得到白线；

3：根据方向、间隔等特征信息将数条白线组合为斑马线。

步骤6：定位

实现定位前，需要得到IPM图，这一步的关键是在摄像机标定，已经在第一步完成。因此，这里我们通过车道线得到横向的偏离距离，同时通过斑马线和停止线得到离路口的纵向距离。

1横向距离：计算IPM图中轴线中点离左右两车道线边缘的横坐标距离D^r和D^l，若没有检测到车道线，距离指定为固定车宽的一半，实验中设定为150(单位统一为厘米)。所以有ΔD＝D^r-D^l，当ΔD＞0时，偏向左车道线；当ΔD＜0时，偏向右车道线；当ΔD＝0时，没有发生偏移。

2.纵向距离：通过S＝K+D模型，如图8所示。其中S是停止线或斑马线的中心点离车的距离，D是图像距离，K是视野最近距离。

步骤7：将检测的结果显示或发送给决策者，以便及时进行调整。

其中在远近处计算时，可能有相对的一个误差，这个误差利用帧间关联的连续性，可以减少。即当连续5帧图像误差ΔD′＞T_D，则重新初始化，并将最新的检测结果发给或显示给决策者。

上述方案需要特别说明是的：

作为优选，步骤1中安装的摄像机要能够采集到车辆两侧清晰的车道线图像；要求具有自动曝光、感兴趣区域可设置、自动白平衡等功能；

作为优选，步骤1中标定的视野范围要根据摄像头的最大分辨率来定，实验中设计为宽1500cm,远2000cm的视野较为合适。

作为优选，步骤3-1的特征点提取是车道线检测的重要模块，计算边缘提取阈值T时，要根据实际道路进行调整，在高速道路下，我们设的阈值将是最合适的。此外，在车道线不明显的情况下，通过特征点提取后车道线信息将可能会大大减少甚至为空，对于这种情况，我们在算法中设计了增加车道线可靠点模块。这要求在做IPM时，保留一份图像作为备份，在特征点提取较少时，我们对比两份图像，在区域内增加车道线信息。公式如下：

{(x₁,y₁),Λ,(x_n,y_n)}∈{(x₁,y₁),Λ,(x_m,y_m),(x_m+1,y_m+1)Λ,(x_m+k,y_m+k)}

作为优选，步骤6中的实际距离与像素距离的比值k的计算方法：将智能车辆停摆在车道内并与车道线平行，从鸟瞰图像中计算两条相邻车道线内的水平像素距离P(单位pixel)，然后测量出一条车道的宽度W(单位cm)，则k＝W/p；Δx不要求是一个精确值。

Claims (3)

1.一种基于多地面标志融合的车道级定位方法，其特征在于，包括以下步骤：

步骤1、获取车辆道路图像；

步骤2、对所述道路图像进行灰度处理和滤波处理；

步骤3、对步骤2中处理后的道路图像进行车道线检测；

步骤4、对道路图像进行停止线检测；

步骤5、对道路图像进行斑马线检测；

步骤6、根据车道线、斑马线和停止线实时定位车辆在车道中的位置。

2.如权利要求1所述的基于多地面标志融合的车道级定位方法，其特征在于，步骤3具体包括：

步骤3-1：设置图像的感兴趣区域；

步骤3-2：通过计算相邻图像像素的变化来判断车道线的边缘，以提取图像特征，

首先计算灰度图像中局部路面的平均灰度值avg(x,y)用于评估道路路面的灰度强度，设某点是(x,y)，满足y∈[0,h)且x∈[2,w-2)。x,y分别是像素点的列和行，w是图像的宽度，h是图像的高度。则有相邻图像像素的均值为：其中，t＝5，

然后计算边缘提取阈值T，其计算公式表达如下：

$T=\left\{\begin{array}{cc}\frac{{\mathrm{avg}}_{(x,y)}}{12}& {\mathrm{avg}}_{(x,y)}>200\\ \frac{{\mathrm{avg}}_{(x,y)}}{5}& 50<{\mathrm{avg}}_{(x,y)}\&le;200\\ \frac{{\mathrm{avg}}_{(x,y)}}{10}& other\end{array}\right.$

其中avg_(x,y)为点(x,y)水平线附近的均值，

同时，计算边缘的升变点e_p和降变点e_v，

e_p∈{f(x+2,y)-f(x,y)＞T}

e_v∈{f(x+2,y)-f(x,y)＜-T}

f(x,y)为当前点(x,y)的灰度值，f(x+2,y)为该点水平方向的间隔点的灰度值；

步骤3-3：车道线模型

经过特征点提取后得到的车道线候选域，通过Hough变换得到各场内的直线；

步骤3-4：车道线聚类

在得到的各场内的直线后，需要做直线的场内合并和分区合并两方面，其中，场内合并引入了两个相似性度量，即距离相似度和方向相似度，设P₁(x₁,y₁)和P₂(x₂,y₂)为直线L₁的两个端点，其倾斜角为θ₁；P₃(x₃,y₃)和P₄(x₄,y₄)为直线L₂的两个端点，其倾斜角为θ₂；连接点P₂和P₃间的直线倾斜角为θ，则：

dir＝|θ₁-θ|+|θ₂-θ|

将距离和方向上具有近似一致性的直线聚类成一类，对属于同一类的所有直线上的车道线特征点进行最小二乘直线拟合，得到获选车道线；

步骤3-5：车道线估计

通过以上步骤可以得到比较不错的车道线候选集，通过消失点约束方法进行筛选，设消失点为(x_p,y_p),候选线直线离消失点的距离是否满足小于指定阈值T_p,其T_p取值为20。

3.如权利要求1所述的基于多地面标志融合的车道级定位方法，其特征在于，步骤6具体为：通过车道线得到横向的偏离距离，同时通过斑马线和停止线得到离路口的纵向距离，即，

横向距离计算如下：计算IPM图中轴线中点离左右两车道线边缘的横坐标距离D^r和D^l，ΔD＝D^r-D^l，当ΔD＞0时，偏向左车道线；当ΔD＜0时，偏向右车道线；当ΔD＝0时，没有发生偏移；

纵向距离计算公式为：S＝K+D，其中，S是停止线或斑马线的中心点离车的距离，D是图像距离，K是视野最近距离。