CN111881878B - 一种环视复用的车道线识别方法 - Google Patents

Abstract

本发明公开了一种环视复用的车道线识别方法，通过复用360°全景环视系统前视鱼眼摄像头拍摄的图像，采用基于改进的SUSAN角点检测算法，能够更为准确的识别车道线。针对车道线占感兴趣区域比例小的问题，提出一种将感兴趣区域进行分块划分的车道线区域提取改进方法，从而提升检测车道线信息的准确性。针对Hough变换的计算效率低且易受干扰，从而造成车道线错检、漏检的情况，本发明基于分段直线模型，在限制极角的基础上,采用将极角极径的参数空间进行分块处理的方法，从而提高Hough变换的计算效率以及精确度。最终将已经识别好车道线的前视图像与其左、右以及后视角图像进行俯视变换、图像拼接算法，形成一幅能够识别车道线的全景环视图。

Description

一种环视复用的车道线识别方法

技术领域

本发明涉及道路交通中车道线的识别技术领域，具体涉及一种环视复用的车道线识别方法。

背景技术

交通事故中因驾驶员注意力不集中、超速或存在视线盲区而导致事故发生的状况越来越多。相关研究显示，在驾驶员行驶过程所获得的全部信息中，通过视觉获取的信息占比80％。而在众多的交通事故之中，绝大部分都是因驾驶员注意力不集中、超速或由视线盲区而导致事故的发生。因而解决视线盲区问题以及车道线检测问题有着极为重要的意义。而现有的车道线检测技术只是针对于车辆前方的视角，从而忽略了车身其他方向的视野，极大程度增加了由于盲区问题而带来交通隐患。

发明内容

针对现有技术的不足，本发明旨在提供一种环视复用的车道线识别方法。

为了实现上述目的，本发明采用如下技术方案：

一种环视复用的车道线识别方法，包括如下步骤：

S1、畸变校正：

采用360°环视系统的前视鱼眼摄像头对车辆前方、左方、右方和后方的视角进行360°的拍摄，并对前视鱼眼摄像头拍摄的图像进行畸形矫正，所述畸形矫正的过程为：输入拍摄的图像，提取角点坐标，根据角点坐标构造参数方程并将参数求解出来，通过最小二乘法进行参数估计，并利用最大似然估计法对参数进行优化，最终求解出畸变参数，从而完成畸变校正；

S2、对步骤S1中经过畸形矫正后的图像进行基于消失点的感兴趣区域提取；

S3、车道线区域提取：

将步骤S2中提取得到的感兴趣区域图像进行灰度化处理；将得到的灰度化图像进行分块处理，从上至下分为距离相等的四行，从左至右分为等距离的十列，由此形成的每一个小矩形中根据左下角的角平分线将小矩形进行划分成两个三角形；找出车道线存在的分块区域，舍弃掉分块区域的第四行车道线信息；将左侧检测出来的车道线区域以及右侧检测出来的车道线区域分别进行合并，得到最终的车道线区域；

S4、对步骤S3中得到的车道线区域进行边缘检测；

S5、选择车道线模型：将左侧车道线区域和右侧车道线区域分别沿着水平方向均分为z个部分；

S6、对步骤S5中划分的每部分线段进行检测车道线检测，具体过程如下：

S6.1、设δ为极角、γ为极径,左侧车道线区域中的待检测线段的极角δ_l取值范围为25°到75°,右侧车道线区域中的待检测线段的极角δ_r取值范围为105°到155°；将各待检测线段的极角和极径分别均分e块和均分f块，在极角取值范围为25°到75°、极角取值范围为105°到155°限定下的参数空间范围下，设该参数空间下左侧车道线区域与右侧车道线区域的累加器为g_l(δ_il,γ_jl)和g_r(δ_ir,γ_jr)，0＜i＜s，0＜j＜t，其中s←e-1，t←f-1；

S6.2、为步骤S6.1中的分块区域进行分配累加器；将所述参数空间下所对应的图像像素坐标系内的各个点(m_i,l_i)以及对应的极角δ_i代入到公式γ_j←m_i cosδ_i+l_i sinδ_i中，将极径求出来，如果极径能够在对应的参数空间内的坐标系下找到，则相应的累加器加1；如果还有未被检测的图像像素的点，则继续求得下一个图像像素的极径,否则找到每个累加器的最大值，最终拟合出车道线；

S7、将车辆各个方向的视角的图像均完成车道线检测后，拼接生成环视图像。

进一步地，步骤S1中，所述提取角点坐标的过程为：将SUSAN角点检测算法的检测模块设置为24像素的检测模板，声明变量a为检测模板中含有像素点的个数；开始遍历需要矫正的图像的像素点，当核心点处于角点时，a←3||a←9||a←18；当核心点处于边缘时，a←12；当模板完全处于目标区域时，0＜＝a＜3||3＜a＜9||9＜a＜12||12＜a＜18||18＜a＜24；若存在下一个像素点，则检测a的数值；否则结束角点检测。

进一步地，步骤S2的具体过程为：

对于完成畸形矫正后的图像，由于消失点以下的车道线宽度与所在的行是成正比的，比例系数用k表示，设d_i1和d_i2分别为所在行的最小车道线宽度和最大车道线宽度，l_i为第i行图像，c为消失线所在行，n为图像的所有列值，d_i1←k₁×l_i，d_i2←k₂×l_i，i←c,c+1,...n；k₁、k₂分别为最小车道线宽度、最大车道线宽度分别与所在的行的比例系数；将边缘点在消失线上的投影位置与角度记录在180×Q的map空间内，Q为空间的列向量数；对感兴趣区域内的道路特征点进行逐行搜索，将消失线下方的灰度图像提取出来，并筛选出车道线的特征点，记消失点横坐标为x_v，Δ_xf(x_i,y_j)为水平方向边缘检测后的图像灰度值，Δ_yf(x_i,y_j)为垂直方向边缘检测后的图像灰度值，若Δ_xf(x_i,y_j1)大于水平像素点幅值阈值，i＝c,c+1...n,j1＝1,2,3,...Q-1，则该点的位置为上升沿，若Δ_xf(x_i,y_j2)小于负的水平像素点幅值阈值，i＝c,c+1...n,j2＝1,2,3,...Q-1，则该点的位置为下降沿，当|y_j2-y_j1|＞d_i1并且|y_j2-y_j1|＜d_i2时，则此刻的下降沿就是所需的投影点，之后进行投影计算：

运用投票空间进行消失点检测：

是特征点处的方向角，将候选消失点与特征点之间进行连线，连线的方向是/>x_p为消失点在x轴的坐标，当满足方向角偏差阈值σ时，即可进行投票，即找到投票最多的就是消失点的所在坐标，即确定消失点坐标后即可确定感兴趣区域。

进一步地，步骤S4的具体过程为：

读取步骤S3中得到的车道线区域，首先通过高斯滤波器平滑曲面，核大小为(2o+1)*(2o+1)的高斯滤波器核公式为：

其中o为卷积核矩阵的大小，(u,v)为像素的坐标，δ为方差，μ为均值；

然后计算图像梯度强度和方向，本实施例中选择Sobel算子将像素点在水平以及垂直方向上的差分G_x、G_y计算出来，然后得到梯度强度和方向：

其后进行非极大值抑制：设置两个阈值，一个为上界，一个为下界，如果边缘点梯度强度大小大于上界值，则该边缘点为真实边缘点，如果边缘像素点梯度强度大小小于下界值，则将其抑制掉；小于或等于上界值并且大于或等于下界值之间的边缘点，会被暂时保留；

然后进行滞后边界追踪。

进一步地，步骤S7的具体过程为：

将前方视角、后方视角、左方视角、右方视角的图像进行俯视变换，然后进行图像拼接；在图像拼接时先分割前视图、后视图，再分别与左视图、右视图进行配准；(u,v)为图像像素坐标，w_left为左视图图像宽度，w_right为右视图图像宽度，w_{front_left}为前视图左半部分图像宽度，w_{front_right}为前视图右半分图像宽度，w_{down_left}为后视图左半部分图像宽度，w_{down_right}为后视图右半部分图像宽度，h_left为左视图高度，h_right为右视图的高度；

左视图left与前视图左半部分图像front_left的拼接缝为：

左视图left与后视图左半部分图像down_left的拼接缝为：

右视图right与前视图右半部分图像front_right的拼接缝为：

右视图right与后视图右半部分图像down_right的拼接缝为：

本发明的有益效果在于：

1)本发明通过复用360°全景环视系统前视鱼眼摄像头拍摄的图像上进行车道线检测，采用基于改进的SUSAN角点检测算法，能够更为准确的识别车道线，从而改善畸变校正的效果，使畸变校正后的图像能够满足识别车道线的效果。

2)针对车道线占感兴趣区域比例小的问题，本发明提出一种将感兴趣区域进行分块划分的车道线区域提取改进方法，从而提升检测车道线信息的准确性。

3)针对Hough变换的计算效率低且易受干扰，从而造成车道线错检、漏检的情况，本发明基于分段直线模型，在限制极角的基础上,采用将极角极径的参数空间进行分块处理的方法，从而提高Hough变换的计算效率以及精确度。

4)本发明最终将已经识别好车道线的前视图像与其左、右以及后视角图像进行俯视变换、图像拼接算法，形成一幅能够识别车道线的全景环视图。

具体实施方式

以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本实施例提供一种环视复用的车道线识别方法，包括如下步骤：

S1、畸变校正：

采用360°环视系统的前视鱼眼摄像头对车辆前方、左方、右方和后方的视角进行360°的拍摄，并对前视鱼眼摄像头拍摄的图像进行畸形矫正，所述畸形矫正的过程为：输入拍摄的图像，提取角点坐标，根据角点坐标构造参数方程并将参数求解出来，通过最小二乘法进行参数估计，并利用最大似然估计法对参数进行优化，最终求解出畸变参数，从而完成畸变校正。

本实施例中，所述提取角点坐标的过程为：将SUSAN角点检测算法的检测模块设置为24像素的检测模板，声明变量a为检测模板中含有像素点的个数；开始遍历需要矫正的图像的像素点，当核心点处于角点时，a←3||a←9||a←18；当核心点处于边缘时，a←12；当模板完全处于目标区域时，0＜＝a＜3||3＜a＜9||9＜a＜12||12＜a＜18||18＜a＜24；若存在下一个像素点，则检测a的数值；否则结束角点检测。

需要说明的是，本实施例方法是在复用了360°环视系统的前视鱼眼摄像头的基础上进行车道线检测，而鱼眼摄像头与普通摄像头不同，并不采用直线透视的方式，而是采用一种特殊的映射方式。因此，鱼眼摄像头具有非常宽的视角，在获得宽视角的同时，拍摄的图片会产生较大程度的畸变，且图像越靠近中心，畸变程度越小，越靠近图像边缘，畸变越大。由于本实施例方法是在鱼眼摄像头拍摄的图像上进行车道线识别，而鱼眼图像的畸变现象，将会导致无法识别车道线，因此需要先校正鱼眼图像。而相机标定一般采用的标定工具对提取图像角点是需要手动进行的，因此提取角点的精确性以及提取效率将会降低，这将严重影响鱼眼图像畸变校正的效果。本实施例方法采用基于SUSAN的自动提取角点改进算法，将传统的SUSAN角点检测算法的37像素的检测模板优化为24像素的检测模板后进行角点检测。

S2、对步骤S1中经过畸形矫正后的图像进行基于消失点的感兴趣(ROI)区域提取。

对于完成畸形矫正后的图像，由于消失点以下的车道线宽度与所在的行是成正比的，比例系数用k表示，设d_i1和d_i2分别为所在行的最小车道线宽度和最大车道线宽度，l_i为第i行图像，c为消失线所在行，n为图像的所有列值，d_i1←k₁×l_i，d_i2←k₂×l_i，i←c,c+1,...n；k₁、k₂分别为最小车道线宽度、最大车道线宽度分别与所在的行的比例系数。将边缘点在消失线上的投影位置与角度记录在180×Q的map空间内，Q为空间的列向量数，对感兴趣区域内的道路特征点进行逐行搜索，将消失线下方的灰度图像提取出来，并筛选出车道线的特征点，记消失点横坐标为x_v，Δ_xf(x_i,y_j)为水平方向边缘检测后的图像灰度值，Δ_yf(x_i,y_j)为垂直方向边缘检测后的图像灰度值，若Δ_xf(x_i,y_j1)大于水平像素点幅值阈值，i＝c,c+1...n,j1＝1,2,3,...Q-1，则该点的位置为上升沿，若Δ_xf(x_i,y_j2)小于负的水平像素点幅值阈值，i＝c,c+1...n,j2＝1,2,3,...Q-1，则该点的位置为下降沿，当|y_j2-y_j1|＞d_i1并且|y_j2-y_j1|＜d_i2时，则此刻的下降沿就是所需的投影点，之后进行投影计算：

运用投票空间进行消失点检测：

是特征点处的方向角，将候选消失点与特征点之间进行连线，连线的方向是/>x_p为消失点在x轴的坐标，当满足方向角偏差阈值σ时，即可进行投票，即找到投票最多的就是消失点的所在坐标，即确定消失点坐标后即可确定感兴趣区域。

S3、车道线区域提取。

将步骤S2中提取得到的感兴趣区域图像进行灰度化处理；将得到的灰度化图像进行分块处理，从上至下分为距离相等的四行，从左至右分为等距离的十列，由此形成的每一个小矩形中根据左下角的角平分线将小矩形进行划分成两个三角形；找出车道线存在的分块区域，舍弃掉分块区域的第四行车道线信息；将左侧检测出来的车道线区域以及右侧检测出来的车道线区域分别进行合并，得到最终的车道线区域。

S4、边缘检测。

读取步骤S3中得到的车道线区域，首先通过高斯滤波器平滑曲面，核大小为(2o+1)*(2o+1)的高斯滤波器核公式为：

其中o为卷积核矩阵的大小，(u,v)为像素的坐标，δ为方差，μ为均值。

然后计算图像梯度强度和方向，本实施例中选择Sobel算子将像素点在水平以及垂直方向上的差分G_x、G_y计算出来，然后得到梯度强度和方向：

其后进行非极大值抑制：设置两个阈值，一个为上界，一个为下界，如果边缘点梯度强度大小大于上界值，则该边缘点为真实边缘点，如果边缘像素点梯度强度大小小于下界值，则将其抑制掉。小于或等于上界值并且大于或等于下界值之间的边缘点，会被暂时保留；

然后进行滞后边界追踪。

S5、选择车道线模型：

将左侧车道线区域和右侧车道线区域分别沿着水平方向均分为z个部分，一般z设置为可调整的，z→1,2,3,4,…，根据实验效果来确定z的取值。本实施例方法中z选取4。

S6、对步骤S5中划分的每部分线段进行检测车道线检测，具体过程如下：

S6.1、设δ为极角、γ为极径,左侧车道线区域中的待检测线段的极角δ_l取值范围为25°到75°,右侧车道线区域中的待检测线段的极角δ_r取值范围为105°到155°；将各待检测线段的极角和极径分别均分e块和均分f块，在极角取值范围为25°到75°、极角取值范围为105°到155°限定下的参数空间范围下，设该参数空间下左侧车道线区域与右侧车道线区域的累加器为g_l(δ_il,γ_jl)和g_r(δ_ir,γ_jr)，0＜i＜s，0＜j＜t，其中s←e-1，t←f-1；

S6.2、为步骤S6.1中的分块区域进行分配累加器；将所述参数空间下所对应的图像像素坐标系内的各个点(m_i,l_i)以及对应的极角δ_i代入到公式γ_j←m_i cosδ_i+l_i sinδ_i中，将极径求出来，如果极径能够在对应的参数空间内的坐标系下找到，则相应的累加器加1；如果还有未被检测的图像像素的点，则继续求得下一个图像像素的极径,否则找到每个累加器的最大值，最大值为所述参数空间的坐标也就是所需检测的直线参数，得到直线参数后将其进行输出，即可拟合出车道线。

需要说明的是，针对鱼眼摄像头可视距离短的问题，可以通过延长拟合好的车道线进来解决。

S7、环视图像生成。

将前方视角、后方视角、左方视角、右方视角的图像进行俯视变换，然后进行图像拼接；在图像拼接时先分割前视图、后视图，再分别与左视图、右视图进行配准。(u,v)为图像像素坐标，w_left为左视图图像宽度，w_right为右视图图像宽度，w_{front_left}为前视图左半部分图像宽度，w_{front_right}为前视图右半分图像宽度，w_{down_left}为后视图左半部分图像宽度，w_{down_right}为后视图右半部分图像宽度，h_left为左视图高度，h_right为右视图的高度。

左视图left与前视图左半部分图像front_left的拼接缝为：

左视图left与后视图左半部分图像down_left的拼接缝为：

右视图right与前视图右半部分图像front_right的拼接缝为：

右视图right与后视图右半部分图像down_right的拼接缝为：

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (5)

1.一种环视复用的车道线识别方法，其特征在于：包括如下步骤：

S1、畸变校正：

采用360°环视系统的前视鱼眼摄像头对车辆前方、左方、右方和后方的视角进行360°的拍摄，并对前视鱼眼摄像头拍摄的图像进行畸形矫正，所述畸形矫正的过程为：输入拍摄的图像，提取角点坐标，根据角点坐标构造参数方程并将参数求解出来，通过最小二乘法进行参数估计，并利用最大似然估计法对参数进行优化，最终求解出畸变参数，从而完成畸变校正；

S2、对步骤S1中经过畸形矫正后的图像进行基于消失点的感兴趣区域提取；

S3、车道线区域提取：

将步骤S2中提取得到的感兴趣区域图像进行灰度化处理；将得到的灰度化图像进行分块处理，从上至下分为距离相等的四行，从左至右分为等距离的十列，由此形成的每一个小矩形中根据左下角的角平分线将小矩形进行划分成两个三角形；找出车道线存在的分块区域，舍弃掉分块区域的第四行车道线信息；将左侧检测出来的车道线区域以及右侧检测出来的车道线区域分别进行合并，得到最终的车道线区域；

S4、对步骤S3中得到的车道线区域进行边缘检测；

S5、选择车道线模型：将左侧车道线区域和右侧车道线区域分别沿着水平方向均分为z个部分；

S6、对步骤S5中划分的每部分线段进行检测车道线检测，具体过程如下：

S6.1、设δ为极角、γ为极径,左侧车道线区域中的待检测线段的极角δ_l取值范围为25°到75°,右侧车道线区域中的待检测线段的极角δ_r取值范围为105°到155°；将各待检测线段的极角和极径分别均分e块和均分f块，在极角取值范围为25°到75°、极角取值范围为105°到155°限定下的参数空间范围下，设该参数空间下左侧车道线区域与右侧车道线区域的累加器为g_l(δ_il,γ_jl)和g_r(δ_ir,γ_jr)，0＜i＜s，0＜j＜t，其中s＝e-1，t＝f-1；

S6.2、为步骤S6.1中的分块区域进行分配累加器；将所述参数空间下所对应的图像像素坐标系内的各个点(m_i,l_i)以及对应的极角δ_i代入到公式γ_j＝m_icosδ_i+l_isinδ_i中，将极径求出来，如果极径能够在对应的参数空间内的坐标系下找到，则相应的累加器加1；如果还有未被检测的图像像素的点，则继续求得下一个图像像素的极径,否则找到每个累加器的最大值，最终拟合出车道线；

S7、将车辆各个方向的视角的图像均完成车道线检测后，拼接生成环视图像。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，所述提取角点坐标的过程为：将SUSAN角点检测算法的检测模块设置为24像素的检测模板，声明变量a为检测模板中含有像素点的个数；开始遍历需要矫正的图像的像素点，当核心点处于角点时，a＝3或a＝9或a＝18；当核心点处于边缘时，a＝12；当模板完全处于目标区域时，0＜＝a＜3或3＜a＜9或9＜a＜12或12＜a＜18或18＜a＜24；若存在下一个像素点，则检测a的数值；否则结束角点检测。

3.根据权利要求1所述的方法，其特征在于，步骤S2的具体过程为：

对于完成畸形矫正后的图像，由于消失点以下的车道线宽度与所在的行是成正比的，比例系数用k表示，设d_i1和d_i2分别为所在行的最小车道线宽度和最大车道线宽度，l_i为第i行图像，c为消失线所在行，n为图像的所有列值，d_i1＝k₁×l_i，d_i2＝k₂×l_i，i＝c,c+1,...n；k₁、k₂分别为最小车道线宽度、最大车道线宽度分别与所在的行的比例系数；将边缘点在消失线上的投影位置与角度记录在180×Q的map空间内，Q为空间的列向量数；对感兴趣区域内的道路特征点进行逐行搜索，将消失线下方的灰度图像提取出来，并筛选出车道线的特征点，记消失点横坐标为x_v，Δ_xf(x_i,y_j)为水平方向边缘检测后的图像灰度值，Δ_yf(x_i,y_j)为垂直方向边缘检测后的图像灰度值，若Δ_xf(x_i,y_j1)大于水平像素点幅值阈值，i＝c,c+1...n,j1＝1,2,3,...Q-1，则该点的位置为上升沿，若Δ_xf(x_i,y_j2)小于负的水平像素点幅值阈值，i＝c,c+1...n,j2＝1,2,3,...Q-1，则该点的位置为下降沿，当|y_j2-y_j1|＞d_i1并且|y_j2-y_j1|＜d_i2时，则此刻的下降沿就是所需的投影点，之后进行投影计算：

运用投票空间进行消失点检测：

是特征点处的方向角，将候选消失点与特征点之间进行连线，连线的方向是x_p为消失点在x轴的坐标，当满足方向角偏差阈值σ时，即可进行投票，即找到投票最多的就是消失点的所在坐标，即确定消失点坐标后即可确定感兴趣区域。

4.根据权利要求1所述的方法，其特征在于，步骤S4的具体过程为：

读取步骤S3中得到的车道线区域，首先通过高斯滤波器平滑曲面，核大小为(2o+1)*(2o+1)的高斯滤波器核公式为：

其中o为卷积核矩阵的大小，(u,v)为像素的坐标，σ为方差，μ为均值；

然后计算图像梯度强度和方向，选择Sobel算子将像素点在水平以及垂直方向上的差分G_x、G_y计算出来，然后得到梯度强度和方向：

其后进行非极大值抑制：设置两个阈值，一个为上界，一个为下界，如果边缘点梯度强度大小大于上界值，则该边缘点为真实边缘点，如果边缘像素点梯度强度大小小于下界值，则将其抑制掉；小于或等于上界值并且大于或等于下界值之间的边缘点，会被暂时保留；

然后进行滞后边界追踪。

5.根据权利要求1所述的方法，其特征在于，步骤S7的具体过程为：

将前方视角、后方视角、左方视角、右方视角的图像进行俯视变换，然后进行图像拼接；在图像拼接时先分割前视图、后视图，再分别与左视图、右视图进行配准；(u,v)为图像像素坐标，w_left为左视图图像宽度，w_right为右视图图像宽度，w_{front_left}为前视图左半部分图像宽度，w_{front_right}为前视图右半部分图像宽度，w_{down_left}为后视图左半部分图像宽度，w_{down_right}为后视图右半部分图像宽度，h_left为左视图高度，h_right为右视图的高度；

左视图left与前视图左半部分图像front_left的拼接缝为：

左视图left与后视图左半部分图像down_left的拼接缝为：

右视图right与前视图右半部分图像front_right的拼接缝为：

右视图right与后视图右半部分图像down_right的拼接缝为：