CN107895375A - 基于视觉多特征的复杂道路线提取方法 - Google Patents

Abstract

本发明公开了一种基于视觉多特征的复杂道路线提取方法，包括如下步骤：(1)摄像头标定；(2)透视变换矫正；(3)图像滤波及兴趣点提取；(4)快速LSD线检测；(5)伪道路线剔除及合并；(6)左右边界查找；(7)道路线信息提取。本发明的有益效果为：本发明解决了复杂场景下道路线提取的实时性差与鲁棒性低的问题；在两个挑战性数据集Caltech和SLD都获得较高的性能，道路线提取完整性平均精度达到92％，单帧平均运行时间35ms，充分验证了本发明的有效性。

Description

基于视觉多特征的复杂道路线提取方法

技术领域

本发明涉及道路安全技术领域，尤其是一种基于视觉多特征的复杂道路线提取方法。

背景技术

道路线提取是车道偏离预警系统和辅助/自动驾驶的重要环节。由于实际场景中道路线复杂多变、油漆量不足及光照环境影响等，给成像设备带来诸多挑战，同时也影响道路线信息提取，因此，针对复杂道路线提取方法研究是亟需攻破的难题。

针对传统道路线提取，当前主要方法是通过提取道路线边缘图或二值图，利用直线检测技术Hough或Radon生成道路线，结合图像信息去除干扰噪声。目前，国内外学者在复杂道路线提取方面的研究很少。樊超等在论文“基于改进RANSAC算法的车道线识别方法”中提出在特征提取基础上提出一种改进的随机抽样一致算法，能有效解决光照变化和车道线破损等路况，但不适用于车道曲线转弯场景，且算法的时间复杂度较高。Ajaykumar R等在论文“Automated Lane Detection by K-means Clustering:A MachineLearningApproach”中提出应用k-means聚类对得到道路线轮廓进行修正，该算法优点是能提取到全部车道线，对车道线形状并不敏感，然而对于光照的变化却不够鲁棒。

发明内容

本发明所要解决的技术问题在于，提供一种基于视觉多特征的复杂道路线提取方法，能够解决复杂场景下道路线提取的实时性差与鲁棒性性低的问题。

为解决上述技术问题，本发明提供一种基于视觉多特征的复杂道路线提取方法，包括如下步骤：

(1)摄像头标定；将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵；

(2)透视变换矫正；利用标定参数点矩阵将道路图转化为自上而下的俯视图，俯视图的计算主要是通过透视变换完成，透视变换要求识别道路形状中的四个顶点坐标，并且四个坐标点应保持一定的排列顺序，坐标数据排列顺序采用逆时针且数据进行归一化处理；

(3)图像滤波及兴趣点提取；对透视变换得到的俯视图进行快速高斯滤波；对滤波后图像进行竖直方向上的边缘增强，计算竖直方向上Sobel边缘Image1，利用HSV颜色空间的S通道和RGB颜色空间的R通道进行阈值化处理得到Image2和Image3，通过滑动窗口搜索计算Image1、Image2和Image3满足组合条件下的二值图像；

(4)快速LSD线检测；利用快速LSD线检测对上步骤(3)得到二值图像进行直线提取，获得直线集合S；检测方式采用增强改进方法LSD_REFINE_ADV，将带弧度的线或曲线拆成多个可以逼近原线段的直线，计算出虚警数量参数，通过增加精度阈值，减少尺寸进一步精确查找直线；

(5)伪道路线剔除及合并；根据道路线与摄像头成像关系对直线集合S进行修正和处理；通过仰角范围限定能排除不符合道路曲线的直线，接着对确定两个或多个直线进行合并，评估两个直线合并条件应满足距离阈值和倾角阈值；

(6)左右边界查找；对线检测结果计算其列投影，设定峰值截取阈值，利用投影向量峰值位置关系判断得到道路线左右边界的中心点坐标；在左右边界中心周围向上滑动窗口来查找并计算道路线延伸区域，延伸区域可由多个子窗口构成，多个子窗口相互连接从二值图像的底部到顶部；子窗口由底部起点搜索，子窗口中心坐标排列方向表示道路线延伸方向；

(7)道路线信息提取；计算左右边界曲线的曲率半径和相对于车道中线的偏移位置；可以通过左右边界的回归系数来计算曲率；将最近的N帧像素偏移差值进行加权平滑，通过标定参数计算偏移位置。

优选的，步骤(1)中，摄像头标定具体包括如下步骤：

(11)根据针孔摄像头参数模型，摄像头内部参数主要是指标定主点坐标(c_x,c_y)和焦距像素点分量f_x,f_y；标定内部参数时，只考虑车辆坐标系与摄像头坐标系重合，要求摄像头成像平面与棋盘平面尽可能平行，计算棋盘图像的内角点，根据棋盘图像坐标与摄像头坐标转换关系，计算摄像头标定内部参数；

(12)摄像头外部参数主要是指标定摄像头坐标系与车辆坐标系的相对空间关系，主要参数为摄像头与前方道路的俯仰角和相对高度h；标定外部参数时，车辆坐标系不与摄像头坐标系重合，为精确计算坐标转换关系，选取多幅棋盘图像进行内角点检测，计算摄像头标定外部参数。

优选的，步骤(3)中，S通道典型阈值范围[170,255]，R通道的典型阈值范围[200,255]。

优选的，步骤(4)中，通过LSD检测得到直线集合为S＝{s₁,s₂,......s_k}，每个定位直线s_i(i＝1,2,......k}表示为：

s_i＝{x_1i,y_1i,x_2i,y_2i,θ_i},(i＝1,2,......k)

其中(x_1i,y_1i)，(x_2i,y_2i)为直线s_i上起点和终点坐标，θ_i为直线s_i的倾斜角，可由下式得到：

优选的，步骤(5)中，经过LSD线检测后，可能会存在某些错误的定位直线，需要进行修正和处理；车辆和摄像头在道路的左右边界移动，对于检测直线s_i依据中线区域分为s_L和s_R，其中θ_L定义直线ag与直线ae的夹角，反映age左边界曲线变化情况，θ_R定义直线cg与直线ce的夹角，反映ceg右边界曲线变化情况；

根据摄像头标定关系，s_L和s_R可由下式表示：

s_L＝{s_i ^L|x_1i≤w/2-1,θ_L∈[θ_LS,θ_LE]},(i＝1,2,......k)

s_R＝{s_i ^R|x_1i>w/2,θ_R∈[θ_RS,θ_RE]},(i＝1,2,......k)

其中w表示当前摄像头视场范围宽度，[θ_LS,θ_LE]，[θ_RS,θ_RE]分别为左边界和右边界仰角限定范围，θ_LS,θ_LE,θ_RS,θ_RE的值可根据y_1i的值进行调整。

优选的，θ_LS、θ_LE、θ_RS、θ_RE的典型取值为20°、80°、100°和160°。

优选的，步骤(7)中，左右边界曲线y＝f(x)在某一点(x₀,y₀)上的曲率半径被定义为近似圆的半径，曲率半径的计算公式为：

通过左右边界的回归系数来计算曲率。

本发明的有益效果为：本发明解决了复杂场景下道路线提取的实时性差与鲁棒性低的问题；在两个挑战性数据集Caltech和SLD都获得较高的性能，道路线提取完整性平均精度达到92％，单帧平均运行时间35ms，充分验证了本发明的有效性。

附图说明

图1为本发明的方法流程示意图。

图2为本发明的中线角度特征关系示意图。

具体实施方式

如图1所示，一种基于视觉多特征的复杂道路线提取方法，包括如下步骤：

S1：摄像头标定

将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；其次，利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵。所述标定参数点矩阵刻画摄像头内外部参数标定对应关系。

根据针孔摄像头参数模型，摄像头内部参数主要是指标定主点坐标(c_x,c_y)，和焦距像素点分量f_x,f_y。标定内部参数时，只考虑车辆坐标系与摄像头坐标系重合，要求摄像头成像平面与棋盘平面尽可能平行，计算棋盘图像的内角点，根据棋盘图像坐标与摄像头坐标转换关系，计算摄像头标定内部参数。

摄像头外部参数主要是指标定摄像头坐标系与车辆坐标系的相对空间关系，主要参数为摄像头与前方道路的俯仰角和相对高度h。标定外部参数时，车辆坐标系不与摄像头坐标系重合，为精确计算坐标转换关系，选取多幅棋盘图像进行内角点检测，计算摄像头标定外部参数。

S2：透视变换矫正

为了更精确计算道路线的曲率，需要将道路图转化为自上而下的俯视图。俯视图的计算主要是通过透视变换完成，透视变换要求识别道路形状中的四个顶点坐标，并且四个坐标点应保持一定的排列顺序。为提高透视变换矫正的鲁棒性，这里坐标数据排列顺序采用逆时针且数据进行归一化处理，用以确保此方法可识别多条道路线。

S3：滤波及兴趣点提取

为减少光照及环境干扰噪声的影响，需要对矫正后图像的进行滤波。道路线提取要求滤波算法尽可能时间复杂度低，且尽可能不丢失道路信息，综合考虑上述因素，选取快速高斯滤波。快速高斯滤波是通过一维高斯核对图像进行逐行滤波，再对得到结果进行逐列滤波。

道路线有明显的竖直边缘特征，对滤波后图像进行竖直边缘增强，计算竖直方向上Sobel边缘Image1，利用HSV颜色空间的S通道和RGB颜色空间的R通道进行阈值化处理得到Image2和Image3，通过滑动窗口搜索计算Image1、Image2和Image3满足组合条件下的二值图像。其中S通道典型阈值范围[170,255]，R通道的典型阈值范围[200,255]。

S4：快速LSD线检测

快速LSD线检测不依赖于参数调整，可应用于复杂场景下线定位。对上步骤得到的二值图像进行LSD线检测，检测方式采用增强改进LSD_REFINE_ADV，将带弧度的线或曲线拆成多个可以逼近原线段的直线，计算出错误警告数量参数，通过增加精度阈值，减少尺寸进一步精确查找直线。通过LSD检测得到直线集合为S＝{s₁,s₂,......s_k}，每个定位直线s_i(i＝1,2,......k}表示为：

s_i＝{x_1i,y_1i,x_2i,y_2i,θ_i},(i＝1,2,......k)

其中(x_1i,y_1i)，(x_2i,y_2i)为直线s_i上起点和终点坐标，θ_i为直线s_i的倾斜角，可由下式得到：

该步骤所述LSD线检测原理及具体实现方式可参考OpenCV中类cv::line_descriptor::LSDDetector。

S5：伪道路线剔除及合并

经过LSD线检测后，可能会存在某些错误的定位直线，如道路边角或左右边界交叉等，因此需要进行修正和处理。车辆和摄像头在道路的左右边界移动，对于检测直线s_i依据中线区域分为s_L和s_R，如图2所示，abhf构成区域s_L，bcdf构成区域s_R，其中θ_L定义直线ag与直线ae的夹角，反映age左边界曲线变化情况，θ_R定义直线cg与直线ce的夹角，反映ceg右边界曲线变化情况。

根据摄像头标定关系，s_L和s_R可由下式表示：

s_L＝{s_i ^L|x_1i≤w/2-1,θ_L∈[θ_LS,θ_LE]},(i＝1,2,......k)

s_R＝{s_i ^R|x_1i>w/2,θ_R∈[θ_RS,θ_RE]},(i＝1,2,......k)

其中w表示当前摄像头视场范围宽度，[θ_LS,θ_LE]，[θ_RS,θ_RE]分别为左边界和右边界仰角限定范围，θ_LS,θ_LE,θ_RS,θ_RE的值可根据y_1i的值进行调整。通常θ_LS、θ_LE、θ_RS、θ_RE的典型取值为20°、80°、100°和160°。

通过仰角范围限定能排除不符合道路曲线的直线，接着对确定两个或多个直线进行合并。评估两个直线合并应满足距离阈值和倾角阈值，距离阈值的计算是通过欧几里得距离实现。如果两条直线关系满足距离和倾角阈值，那么这两条直线将会被合并一条新直线，新直线定义为两条直线的中心线。

S6：左右边界查找

对上步骤中得到的线检测结果计算其列投影，投影向量中的峰值区域代表着车道线列位置区域坐标，设定峰值截取阈值，利用投影向量峰值位置关系判断得到道路线左右边界的中心点坐标；其次，在左右边界中心周围向上滑动窗口来查找并计算道路线延伸区域，延伸区域可由m个子窗口构成，m个子窗口相互连接从二值图像的底部到顶部；子窗口由底部起点搜索，窗口像素宽度为W，向上搜索窗口内的非零像素点，当非零像素点积累大于T时，窗口的中心被重新定义，子窗口中心坐标排列方向表示道路线延伸方向。通常m典型取值为9，W的典型取值为80，T的典型取值为50。

S7：道路线信息提取

根据上一步骤得到左右边界，计算左右边界曲线的曲率半径和相对于车道中线的偏移位置。左右边界曲线y＝f(x)在某一点(x₀,y₀)上的曲率半径被定义为近似圆的半径，曲率半径的计算公式为：

图像中y的值从下到下增加，通常会选择图像底部y值来计算，实际求解中可以通过左右边界的回归系数来计算曲率。

偏移位置反映着车道中心与图像中心的偏移，而图像中心是摄像头视场的中心，因此需要将相应像素进行距离转换。为得到高可信度的测量值，将最近的N帧像素偏移差值进行加权平滑，通过标定参数计算偏移位置，N的典型取值为5。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (7)

1.一种基于视觉多特征的复杂道路线提取方法，其特征在于，包括如下步骤：

(1)摄像头标定；将输入图像源转化灰度图像，计算灰度图像的梯度，得到梯度图像；利用梯度图像计算棋盘网格的特征点坐标，通过迭代获取对应位置的坐标映射关系，计算标定参数点矩阵；

(2)透视变换矫正；利用标定参数点矩阵将道路图转化为自上而下的俯视图，俯视图的计算主要是通过透视变换完成，透视变换要求识别道路形状中的四个顶点坐标，并且四个坐标点应保持一定的排列顺序，坐标数据排列顺序采用逆时针且数据进行归一化处理；

(3)图像滤波及兴趣点提取；对透视变换得到的俯视图进行快速高斯滤波；对滤波后图像进行竖直方向上的边缘增强，计算竖直方向上Sobel边缘Image1，利用HSV颜色空间的S通道和RGB颜色空间的R通道进行阈值化处理得到Image2和Image3，通过滑动窗口搜索计算Image1、Image2和Image3满足组合条件下的二值图像；

(4)快速LSD线检测；利用快速LSD线检测对上步骤(3)得到二值图像进行直线提取，获得直线集合S；检测方式采用增强改进方法LSD_REFINE_ADV，将带弧度的线或曲线拆成多个可以逼近原线段的直线，计算出虚警数量参数，通过增加精度阈值，减少尺寸进一步精确查找直线；

(5)伪道路线剔除及合并；根据道路线与摄像头成像关系对直线集合S进行修正和处理；通过仰角范围限定能排除不符合道路曲线的直线，接着对确定两个或多个直线进行合并，评估两个直线合并条件应满足距离阈值和倾角阈值；

(6)左右边界查找；对线检测结果计算其列投影，设定峰值截取阈值，利用投影向量峰值位置关系判断得到道路线左右边界的中心点坐标；在左右边界中心周围向上滑动窗口来查找并计算道路线延伸区域，延伸区域可由多个子窗口构成，多个子窗口相互连接从二值图像的底部到顶部；子窗口由底部起点搜索，子窗口中心坐标排列方向表示道路线延伸方向；

(7)道路线信息提取；计算左右边界曲线的曲率半径和相对于车道中线的偏移位置；可以通过左右边界的回归系数来计算曲率；将最近的N帧像素偏移差值进行加权平滑，通过标定参数计算偏移位置。

2.如权利要求1所述的基于视觉多特征的复杂道路线提取方法，其特征在于，步骤(1)中，摄像头标定具体包括如下步骤：

(11)根据针孔摄像头参数模型，摄像头内部参数主要是指标定主点坐标(c_x,c_y)和焦距像素点分量f_x,f_y；标定内部参数时，只考虑车辆坐标系与摄像头坐标系重合，要求摄像头成像平面与棋盘平面尽可能平行，计算棋盘图像的内角点，根据棋盘图像坐标与摄像头坐标转换关系，计算摄像头标定内部参数；

(12)摄像头外部参数主要是指标定摄像头坐标系与车辆坐标系的相对空间关系，主要参数为摄像头与前方道路的俯仰角和相对高度h；标定外部参数时，车辆坐标系不与摄像头坐标系重合，为精确计算坐标转换关系，选取多幅棋盘图像进行内角点检测，计算摄像头标定外部参数。

3.如权利要求1所述的基于视觉多特征的复杂道路线提取方法，其特征在于，步骤(3)中，S通道典型阈值范围[170,255]，R通道的典型阈值范围[200,255]。

4.如权利要求1所述的基于视觉多特征的复杂道路线提取方法，其特征在于，步骤(4)中，通过LSD检测得到直线集合为S＝{s₁,s₂,......s_k}，每个定位直线s_i(i＝1,2,......k}表示为：

s_i＝{x_1i,y_1i,x_2i,y_2i,θ_i},(i＝1,2,......k)

其中(x_1i,y_1i)，(x_2i,y_2i)为直线s_i上起点和终点坐标，θ_i为直线s_i的倾斜角，可由下式得到：

<mrow> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mn>180</mn> <mi>&amp;pi;</mi> </mfrac> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mrow> <mn>2</mn> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>y</mi> <mrow> <mn>1</mn> <mi>i</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>x</mi> <mrow> <mn>2</mn> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <mn>1</mn> <mi>i</mi> </mrow> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>.</mo> </mrow>

5.如权利要求1所述的基于视觉多特征的复杂道路线提取方法，其特征在于，步骤(5)中，经过LSD线检测后，可能会存在某些错误的定位直线，需要进行修正和处理；车辆和摄像头在道路的左右边界移动，对于检测直线s_i依据中线区域分为s_L和s_R，其中θ_L定义直线ag与直线ae的夹角，反映age左边界曲线变化情况，θ_R定义直线cg与直线ce的夹角，反映ceg右边界曲线变化情况；

根据摄像头标定关系，s_L和s_R可由下式表示：

s_L＝{s_i ^L|x_1i≤w/2-1,θ_L∈[θ_LS,θ_LE]},(i＝1,2,......k)

s_R＝{s_i ^R|x_1i>w/2,θ_R∈[θ_RS,θ_RE]},(i＝1,2,......k)

其中w表示当前摄像头视场范围宽度，[θ_LS,θ_LE]，[θ_RS,θ_RE]分别为左边界和右边界仰角限定范围，θ_LS,θ_LE,θ_RS,θ_RE的值可根据y_1i的值进行调整。

6.如权利要求5所述的基于视觉多特征的复杂道路线提取方法，其特征在于，θ_LS、θ_LE、θ_RS、θ_RE的典型取值为20°、80°、100°和160°。

7.如权利要求1所述的基于视觉多特征的复杂道路线提取方法，其特征在于，步骤(7)中，左右边界曲线y＝f(x)在某一点(x₀,y₀)上的曲率半径被定义为近似圆的半径，曲率半径的计算公式为：

<mrow> <mi>R</mi> <mi>c</mi> <mi>u</mi> <mi>r</mi> <mo>=</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>d</mi> <mi>y</mi> </mrow> <mrow> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> <mrow> <mn>3</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> <mfrac> <mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> <mi>y</mi> </mrow> <mrow> <msup> <mi>dx</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mfrac> </mrow>

通过左右边界的回归系数来计算曲率。