CN103308056A - 一种道路标线检测方法 - Google Patents

Abstract

本发明公开了一种用于车辆辅助驾驶或自动驾驶领域下的道路标线检测方法。本发明可以将车辆与道路的相对位置信息提供给车辆驾驶员或车载系统，用于减少因偏离车道导致的交通事故。本发明以安装在车辆四周的多个标定的图像传感器为信息获取来源，使用基于自适应梯度阈值的边缘检测方法提取图像边缘点，之后通过霍夫变换的改进方法快速从边缘信息中提取直线，并根据标定信息对直线进行反向求解将多角度信息融合在以车辆为中心的坐标系中，最后基于平行标线模型统计直线信息用于获得道路标线与车辆的位置关系。本发明的特点是可以选择检测角度的范围、算法计算量小，易于实现。

Description

一种道路标线检测方法

技术领域

本发明涉及车辆辅助驾驶技术领域，特别是一种用于实时系统的快速道路标线检测方法。 

背景技术

汽车的发明改变了人类的出行方式，它以其便捷性和快速性有力地推动商品和人员的流动，对经济和社会的发展起着重要作用。随着生产技术的不断发展，新的生产方式减少了汽车的单位生产时间，降低了汽车的单位价格，使得汽车成为了一种大众产品。截至2010年，全球约有总数为10亿辆的各式汽车，并且这个数字仍在高速增长。然而，伴随着汽车保有量的增加，交通安全问题越发突出。在中国每年发生交通事故50万余起，交通事故死亡人数超过10万人，每年因交通事故引发的经济损失可达数百亿元。 

美国的研究数据表明，90％以上的交通事故都是由驾驶员失误造成的，进一步的研究发现，如果在车前安装防碰撞报警系统就可以减少62％的汽车追尾事故。可见，为了减少交通事故，有必要研究稳定可靠的智能型机器设备辅助或者取代人类完成驾驶任务，进而提高行车安全。 

目前，各个国家已经相继开展无人驾驶车辆的研究，但是受限于技术的发展，机器完全取代人类完成车辆驾驶还需要一段时间。现世的智能型车辆往往采用辅助驾驶系统来保证驾驶人员的安全。例如高端车型中已经可以见到的自动泊车辅助系统、刹车辅助系统、倒车辅助系统、行车辅助系统、车道保持辅助系统等。其中车道保持辅助系统的关键技术是道路标线的检测，通过它可以计算车辆与道路标线的位置关系，进而可以提醒驾驶人员车辆的行驶状态，可以有效解决疲劳驾驶或者人为疏忽而产生的道路偏离问题，增加安全性。 

道路标线检测的关键问题是如何提取道路标线的特征，以及使用何种 模型来拟合出道路标线。由于道路标线所处的环境受到天气、光照和道路情况等多种因素的影响，复杂度低的检测算法难以找到适应环境变化的特征和模型，而复杂度高的检测算法通常无法保证系统的反应速度，难于应用于高速行驶的车辆。 

因此，有必要提出一种准确有效的道路标线检测方法。 

发明内容

为了克服上述缺陷，本发明提出了一种道路标线检测方法，其基于自适应阈值进行道路标线边缘特征提取。 

根据本发明提供的道路标线检测方法包括步骤：步骤1，在车体四周安装一个或多个图像传感器；步骤2，对每个图像传感器进行标定，以将图像中获得的检测结果还原到车辆坐标系中；步骤3，利用安装在车辆上的图像传感器获取图像I；步骤4，对获取的图像进行尺度缩放，后续的操作的对象为缩放后的图像I_p；步骤5，对缩放后的图像I_p计算其水平和垂直方向上的梯度图像G_x和G_y；步骤6，对缩放后的图像I_p计算其梯度图像|G|和简化的梯度方向图像；步骤7，对梯度图像|G|计算一个高阈值T_H，使大于高阈值T_H的像素占总像素的一定比例，并人为设置低阈值T_L；步骤8，对于缩放后的图像I_p的每一像素点，其对应的梯度图像|G|中的梯度大于T_H的则认为该点是边缘点，小于T_H大于T_L的认为是候选点，其余点为小于设置阈值T_L的非边缘点，进行舍弃；步骤9，从边缘点出发，搜索该边缘点3×3邻域，如果存在候选点并且其简化的梯度方向与出发点相同，则该候选点提升为边缘点，通过此方法最终可以获取到边缘图像E；步骤10，对边缘图像E的每一个像素点使用具有梯度约束的霍夫变换，在ρθ参数空间中进行累加器更新；步骤11，对累加器进行排序，如果有累加器值超过设置阈值T，则认为该累加值坐标(ρ，θ)为直线的参数；步骤12，使用直线参数(ρ，θ)，在边缘图像E中找到该直线上的第一个左边界点，并假设为左端点；步骤13，从假设的左边界点出发，以参数(ρ，θ)确定的直线方向为中轴，计算角度范围阈值α内的最近点，如果二者距离小于阈值d，则进行连接，否则将当前最近点作为新假设的左端点，最后连接的点作为右端点；步骤14，使用步骤13连接的每一个点，对累加器进 行反向更新，即使用该点对对应的累加器减去一个计数，之后对累加器重新排序，如果仍有累加器值超过T，则认为图像中仍有直线，跳到第12步骤，否则继续下一步骤；步骤15，对从所有图像中提取的直线端点进行尺度回放，并经过逆投影操作将回放后的直线端点统一到车辆坐标系中；步骤16，根据车辆坐标系中的直线端点计算车辆坐标系的直线参数(ρ_w，θ_w)，在ρ_Wθ_W参数空间中搜索一对点，二者的差值满足Δρ_w∈(W±δ)， 

其中W是道路宽度，是车道线夹角，δ，σ分别为允许的误差，之后使用该参数点对对应的两条直线作为一对道路标线；步骤17，以距离车辆最近的一对道路标线，作为当前车道的道路标线；步骤18，计算当前车辆与当前道路标线的位置，并以当前道路标线为基础，搜索是否存在其它车道。 

本发明的方法可以有效应对光源变化，并且通过引入简化的快速梯度方向计算方法可以根据方向进行道路标线边缘提取。之后，通过将简化的梯度方向引入到霍夫变换，提出了一种具有梯度约束的快速直线提取方法。利用多传感器的标定信息，将从多角度提取到的直线端点转换到以车辆为中心的坐标系中。最后基于平行标线模型统计直线端点信息用于获得道路标线与车辆的位置关系，进而推算出道路宽度、车道数目的信息。 

利用本发明的效果，具体包含以下有益效果：1)可以使用多个图像传感器增加获取道路标线的稳定性。2)可以根据环境变化自动计算提取边缘所需的阈值大小。3)在霍夫变换中引入简化的梯度方向信息，提高了直线检测的精度和速度。同时，提出的累加器反向更新和端点连接方法提高了直线检测的稳定性。4)通过对直线端点进行逆投影将多角度信息统一到以车辆为原点的坐标系中，方法的计算量小。5)可以根据当前道路标线信息推算是否存在其它车道。 

附图说明

图1是本发明的道路标线检测方法的流程图。 

图2是本发明图像传感器标定示意图。 

图3是本发明简化梯度方向计算示意图。 

图4是本发明自适应阈值计算示意图。 

图5是本发明端点连接示意图。 

图6是本发明道路标线搜索示意图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。 

本发明提出了一种道路标线检测方法，该方法包含六个处理过程，依次为标定、图像缩放、边缘提取、直线提取、逆投影和道路标线检测，其中标定需在图像传感器安装之后进行，如果位置不发生改变不需要重新标定。 

标定是为了将从图像中获得的检测结果还原到车辆坐标系中。本方法依靠安装在车辆四周的图像传感器获取道路标线信息，具体的安装方式如图1所示，其中X轴和Y轴在水平面上以车辆中心为原点。由于透视效应的存在，在传感器获取的图像平面中物体的位置关系与真实世界不符，需要通过标定获取图像传感器在以车辆为中心的XYZ轴上的位移参数l、d、h和偏转参数α、γ、θ，进而还原真实的几何关系。 

在图像缩放过程中，对获取图像I进行尺度为1/p的缩放，后续所有操作的对象为缩放后的图像I_p。 

在边缘提取过程中，本发明对缩放后的图像I_p使用Sobel算子以获得对应的水平和垂直方向上的梯度图像G_x和G_y。之后，根据公式|G|＝|G_x|+|G_y|获取梯度图像。在获取梯度方向之前，本发明将梯度方向划分为8个区间，如图2所示。之后，计算Θ＝G_y/G_x，通过查找正切表确定Θ落入的区间，并使用该区间代替像素点的简化梯度方向D_θ。通过假设图像中只有P％的像素点是边缘点，可以推出阈值T_H，如图3。那么所有梯度大于T_H的像素点为边缘点，而小于设置阈值T_L的点为非边缘点，介于两者之间的被认为是候选点。从边缘点出发，搜索其3×3邻域，如果存在候选点并且其简化的梯度方向与出发点相同，则该候选点提升为边缘点，通过此方法最终可以获取到边缘图像E。 

在直线提取过程中，将直线方程写为极坐标形式：ρ＝u·cosθ+v·sinθ，其中(u，v)是边缘点在图像中的位置，ρ为极坐标下的半径小于图像的长边， θ为角度。使用已知的边缘点(u，v)计算(ρ，θ)的可能值，其中θ的范围为(D_θ-1，D_θ+1)。对于所有可能的(ρ，θ)建立累加器，如果有边缘点(u，v)对应(ρ，θ)，则累加器增加一个计数。再完成所有边缘点计算后，对累加器进行排序，如果有累加器值超过阈值T，则认为该累加器坐标(ρ，θ)为直线的参数，并以此参数在图像中找到该直线上的第一个左边界点，并假设为左端点。从假设的左边界点出发，以参数(ρ，θ)确定的直线方向为中轴，计算角度范围α内的最近点，如果二者距离小于d，则进行连接，如图4；否则将当前最近点作为新假设的左端点。最后连接的点作为右端点。之后，对累加器进行反向更新并重新排序，如果仍有累加器值超过T，则认为图像中仍有直线，继续上述操作，找到所有直线的端点。 

在逆投影过程中，首先将所有图像获取的直线端点进行尺度回放，之后根据公式(1)计算其在车辆坐标系中的位置，其中n×m是图像的分辨率。 

$u(x,y,0)=\frac{A(x,y,0)-(\mathrm{\γ}-\mathrm{\α})}{\frac{2\mathrm{\α}}{n-1}}$

$v(x,y,0)=\frac{B(x,y,0)-(\mathrm{\θ}-\mathrm{\α})}{\frac{2\mathrm{\α}}{m-1}}---\left(1\right)$

其中， $A={\tan }^{-1}\left(\frac{y-l}{x-d}\right)$ $B={\tan }^{-1}\left(\frac{h}{\sqrt{{(x-d)}^2+{(y-l)}^2}}\right)$

在道路标线检测过程中，首先根据车辆坐标系中的直线端点计算车辆坐标系的直线参数(ρ_w，θ_w)，在ρ_Wθ_W参数空间中搜索满足Δρ_w∈(W±δ)， 

的参数点对，其中W是道路宽度，是车道线夹角，δ，σ分别为误差。之后使用该参数点对对应的两条直线作为一对道路标线；以距离车辆最近的一对道路标线，作为当前车道的道路标线，计算当前车辆与当前道路标线的位置，并以当前道路标线为基础，搜索是否存在其它车道。 

图6为本发明的道路标线检测方法的详细流程图，参照图6，该方法包括以下各步骤： 

步骤1，在车体四周安装n个图像传感器，n是大于等于1的整数。 

本发明依靠安装在车辆四周的图像传感器获取道路标线信息，具体的安装方式如图1所示，其中X是车辆的横轴，Y是车辆的纵轴，以车辆中心为原点。 

步骤2，对每个图像传感器进行标定，计算其相对于车辆中心XYZ轴上的位移参数l、d、h和偏转参数α、γ、θ。 

标定是为了将从图像中获得的检测结果还原到车辆坐标系中。由于透视效应的存在，在传感器获取的图像平面中物体的位置关系与真实世界不符，需要通过标定获取位移参数l、d、h和偏转参数α、γ、θ，进而使用逆投影还原真实的几何关系。 

步骤3，利用安装在车辆上的图像传感器获取图像I。 

步骤4，对获取的图像进行尺度缩放，尺度为1/p，后续所有操作的对象为缩放后的图像I_p； 

步骤5，对缩放后的图像I_p计算其水平和垂直方向上的梯度图像G_x和D_y。 

在该步骤，对缩放后的图像I_p使用Sobel算子以获得对应的水平和垂直方向上的梯度图像G_x和G_y。 

步骤6，对缩放后的图像I_p计算其梯度图像和简化的梯度方向图像。 

在该步骤，根据公式|G|＝|G_x|+|G_y|获取梯度图像。在获取梯度方向之前，本发明将梯度方向划分为8个区间，如图2所示。之后，计算Θ＝G_y/G_x，通过查找正切表确定Θ落入的区间，并使用该区间代替像素点的简化梯度方向D_θ。 

步骤7，对梯度图像|G|计算一个高阈值T_H，使大于高阈值T_H的像素占总像素的N％，并人为设置低阈值T_L；在该步骤，通过假设图像中只有N％的像素点是边缘点，可以推出阈值T_H，如图3所示。其中N的取值可根据实际情况来人为规定。 

步骤8，对于缩放后的图像I_p每一像素点，其对应的梯度图像|G|中的梯度大于T_H的则认为该点是边缘点，小于T_H大于T_L的认为是候选点，其余点为小于设置阈值T_L的非边缘点，进行舍弃。 

步骤9，从边缘点出发，搜索其3×3邻域，如果存在候选点并且其简化的梯度方向与出发边缘点相同，则该候选点提升为边缘点，最后获取到 边缘图像E。 

步骤10，对边缘图像E的每一个像素点使用具有梯度约束的霍夫变换，在ρθ参数空间中进行累加器更新，即给对应累加器增加一个计数。 

在该步骤，将直线方程写为极坐标形式：ρ＝u·cosθ+v·sinθ，其中(u，v)是边缘点在图像中的位置，ρ为极坐标下的半径小于图像的最长边，θ为角度。使用已知的边缘点(u，v)计算(ρ，θ)的可能值，其中θ的范围为(D_θ-1，D_θ+1)。对于所有可能的(ρ，θ)建立累加器，如果有边缘点(u，v)对应(ρ，θ)，则累加器增加一个计数。 

步骤11，对累加器进行排序，如果有累加器值超过设置阈值T，则认为该累加值坐标(ρ，θ)为直线的参数。 

当步骤10中完成所有边缘点计算后，在步骤11对累加器进行排序，如果有累加器值超过阈值T，则认为该累加器坐标(ρ，θ)为直线的参数。步骤12，使用确定的直线参数(ρ，θ)，在边缘图像E中找到该直线上的第一个左边界点，并假设为左端点。 

步骤13，从假设的左边界点出发，以参数(ρ，θ)确定的直线方向为中轴，计算角度范围阈值α内的最近点，如果二者距离小于阈值d，则进行连接，如图4所示，否则将当前最近点作为新假设的左端点。最后连接的点作为右端点。 

步骤14，使用步骤13连接的每一个点，对累加器进行反向更新，即使用该点对对应的累加器减去一个计数。之后对累加器重新排序，如果仍有累加器值超过T，则认为图像中仍有直线，跳到第12步骤，否则继续下一步骤。 

步骤15，对从所有图像中提取的直线端点进行尺度回放，并经过逆投影操作将回放后的直线端点统一到车辆坐标系中。 

在逆投影过程中，根据上面公式(1)计算经尺度回放后的直线端点在车辆坐标系中的位置，其中n×m是图像的分辨率。 

$u(x,y,0)=\frac{A(x,y,0)-(\mathrm{\γ}-\mathrm{\α})}{\frac{2\mathrm{\α}}{n-1}}$

$v(x,y,0)=\frac{B(x,y,0)-(\mathrm{\θ}-\mathrm{\α})}{\frac{2\mathrm{\α}}{m-1}}$

其中， $A={\tan }^{-1}\left(\frac{y-l}{x-d}\right)$ $B={\tan }^{-1}\left(\frac{h}{\sqrt{{(x-d)}^2+{(y-l)}^2}}\right)$

步骤16，根据车辆坐标系中的直线端点计算车辆坐标系的直线参数(ρ_w，θ_w)，在ρ_Wθ_W参数空间中搜索满足Δρ_w∈(W±δ)，

的参数点对，也就是该点对中两个点的差值满足Δρ_w∈(W±δ)，

其中W是道路宽度，

是车道线夹角，δ，σ分别为允许的误差。之后使用该参数点对对应的两条直线作为一对道路标线。 

步骤17，以距离车辆最近的一对道路标线，作为当前车道的道路标线； 

步骤18，计算当前车辆与当前道路标线的位置，并以当前道路标线为基础，搜索是否存在其它车道。 

完成上述操作后，读取下一帧图像，从第3步开始循环运行。 

利用本发明的上述道路标线检测方法，可以：1)使用多个图像传感器增加获取道路标线的稳定性。2)根据环境变化自动计算提取边缘所需的阈值大小。3)在霍夫变换中引入简化的梯度方向信息，提高了直线检测的精度和速度。同时，提出的累加器反向更新和端点连接方法提高了直线检测的稳定性。4)通过对直线端点进行逆投影将多角度信息统一到以车辆为原点的坐标系中，方法的计算量小。5)根据当前道路标线信息推算是否存在其它车道。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (9)

1.一种道路标线检测方法，该方法包括步骤：

步骤1，在车体四周安装一个或多个图像传感器；

步骤2，对每个图像传感器进行标定，以将图像中获得的检测结果还原到车辆坐标系中；

步骤3，利用安装在车辆上的图像传感器获取图像I；

步骤4，对获取的图像进行尺度缩放，后续的操作的对象为缩放后的图像I_p；

步骤5，对缩放后的图像I_p计算其水平和垂直方向上的梯度图像G_x和G_y；

步骤6，对缩放后的图像I_p计算其梯度图像|G|和简化的梯度方向图像；

步骤7，对梯度图像|G|计算一个高阈值T_H，使大于高阈值T_H的像素占总像素的一定比例，并人为设置低阈值T_L；

步骤8，对于缩放后的图像I_p的每一像素点，其对应的梯度图像|G|中的梯度大于T_H的则认为该点是边缘点，小于T_H大于T_L的认为是候选点，其余点为小于设置阈值T_L的非边缘点，进行舍弃；

步骤9，从边缘点出发，搜索该边缘点3×3邻域，如果存在候选点并且其简化的梯度方向与出发点相同，则该候选点提升为边缘点，通过此方法最终可以获取到边缘图像E；

步骤10，对边缘图像E的每一个像素点使用具有梯度约束的霍夫变换，在ρθ参数空间中进行累加器更新；

步骤11，对累加器进行排序，如果有累加器值超过设置阈值T，则认为该累加值坐标(ρ，θ)为直线的参数；

步骤12，使用直线参数(ρ，θ)，在边缘图像E中找到该直线上的第一个左边界点，并假设为左端点；

步骤13，从假设的左边界点出发，以参数(ρ，θ)确定的直线方向为中轴，计算角度范围阈值α内的最近点，如果二者距离小于阈值d，则进行连接，否则将当前最近点作为新假设的左端点，最后连接的点作为右端点；

步骤14，使用步骤13连接的每一个点，对累加器进行反向更新，即使用该点对对应的累加器减去一个计数，之后对累加器重新排序，如果仍有累加器值超过T，则认为图像中仍有直线，跳到第12步骤，否则继续下一步骤；

步骤15，对从所有图像中提取的直线端点进行尺度回放，并经过逆投影操作将回放后的直线端点统一到车辆坐标系中；

步骤16，根据车辆坐标系中的直线端点计算车辆坐标系的直线参数(ρ_w，θ_w)，在ρ_wθ_w参数空间中搜索一对点，二者的差值满足Δρ_w∈(W±δ)，

其中W是道路宽度，是车道线夹角，δ，σ分别为允许的误差，之后使用该参数点对对应的两条直线作为一对道路标线；

步骤17，以距离车辆最近的一对道路标线，作为当前车道的道路标线；

步骤18，计算当前车辆与当前道路标线的位置，并以当前道路标线为基础，搜索是否存在其它车道。

2.根据权利要求1所述的方法，其特征在于，步骤1进一步包括：安装所述图像传感器时使X轴和Y轴在水平面上以车辆中心为原点。

3.根据权利要求1所述的方法，其特征在于，步骤5进一步包括：缩放后的图像I_p使用Sobel算子以获得对应的水平和垂直方向上的梯度图像G_x和G_y。

4.根据权利要求1所述的方法，其特征在于，步骤6进一步包括：根据公式|G|＝|G_x|+|G_y|获取梯度图像。

5.根据权利要求4所述的方法，其特征在于，步骤6进一步包括：将梯度方向划分为8个区间，计算Θ＝G_y/G_x，通过查找正切表确定Θ落入的区间，并使用该区间代替像素点的简化梯度方向D_θ。

6.根据权利要求5所述的方法，其特征在于，步骤8进一步包括：从边缘点出发，搜索其3×3邻域，如果存在候选点并且其简化的梯度方向与出发点相同，则该候选点变为边缘点，通过此方法最终可以获取到边缘图像E。

7.根据权利要求6所述的方法，其特征在于，步骤10进一步包括：在该步骤，将直线方程写为极坐标形式：ρ＝u·cosθ+v·sinθ，其中(u，v)是边缘点在图像中的位置，ρ为极坐标下的半径小于图像的长边，θ为角度，使用已知的边缘点(u，v)计算(ρ，θ)的可能值，其中θ的范围为(D_θ-1，D_θ+1)，对于所有可能的(ρ，θ)建立累加器，如果有边缘点(u，v)对应(ρ，θ)，则累加器增加一个计数。

8.根据权利要求1-7所述的方法，其特征在于，在步骤18之后，读取下一帧图像，从步骤3开始循环运行。

9.根据权利要求1所述的方法，其特征在于，步骤15进一步包括：

首先将所有图像获取的直线端点进行尺度回放，之后根据下面的公式计算经尺度回放后的直线端点在车辆坐标系中的位置：

$u(x,y,0)=\frac{A(x,y,0)-(\mathrm{\γ}-\mathrm{\α})}{\frac{2\mathrm{\α}}{n-1}}$

$v(x,y,0)=\frac{B(x,y,0)-(\mathrm{\θ}-\mathrm{\α})}{\frac{2\mathrm{\α}}{m-1}}$

$A={\tan }^{-1}\left(\frac{y-l}{x-d}\right)$ $B={\tan }^{-1}\left(\frac{h}{\sqrt{{(x-d)}^2+{(y-l)}^2}}\right)$

其中n×m是图像的分辨率，l、d、h是以车辆为中心的XYZ轴上的位移参数，α、γ、θ是偏转参数。

Images