CN109886175A - 一种直线与圆弧相结合的车道线检测方法 - Google Patents

Abstract

本发明提供一种直线与圆弧相结合的车道线检测方法，包括以下步骤：S1、通过对图像局部区域灰度直方图统计，进行行驶场景判断；S2、设置车道线检测感兴趣区域；S3、在图像下边界和消失点之间构造车道线宽拟合函数；S4、获取车道线候选点，进行筛选与链接，得到直线候选点；S5、采用向上搜索的方式，利用最小二乘法获取直线并进行筛选，得到车道线候选直线；S6、依据车道宽度与左右车道线角度限制，进行车道线的匹配，得到直线车道线检测结果；S7、直线车道线逆投影到IPM图中，构造车道线曲线圆弧集合；S8、图像坐标系中，车道线曲线圆弧和曲率半径的生成；具有方法合理、适应性好、降低硬件要求、准确性和实时性高的优点。

Description

一种直线与圆弧相结合的车道线检测方法

技术领域

本发明属于汽车安全技术领域，具体涉及一种直线与圆弧相结合的车道线检测方法。

背景技术

近年来，随着汽车行业的发展，车辆的普及，交通安全也逐渐得到人们的重视，而汽车安全的研究重心也从以碰撞安全为主的被动安全转为以预防碰撞为中心的主动安全，这也将是未来的智能交通体系中的重要组成部分。在汽车主动安全系统中，车道线的正确识别是车道偏离预警与车道保持的重要前提。

在车道线检测与提取方面，主要是利用车道线的边缘特征，结合图像分割的边缘点来拟合车道线，但在比较复杂的行驶环境中，如光照的变化、道路的阴影、路障、阴雨天建筑物的倒影以及车道线的尖端与破损等等，车道线边缘的提取较为困难，容易造成车道线信息的丢失，从而导致车道线检测失败或者造成误识别。而在车道线拟合方面，常规使用的霍夫变换、最小二乘法等直线模型不能够实现对弯道的拟合。而基于高次曲线模型、或贝塞尔等曲线模型计算量较大，实时性较差。已有的抛物线拟合以及分段直线拟合，虽然在一定程度上实现了弯曲车道线的拟合，但是，对于曲率半径较大的车道线，拟合准确性不高。

因此需要一种方法合理、适应性好、降低硬件要求、准确性和实时性高的直线与圆弧相结合的车道线检测方法。

发明内容

本发明的目的是提供一种直线与圆弧相结合的车道线检测方法，针对现有车道线检测中车道线识别对复杂环境的适应性，以及弯道曲线拟合的准确性和实时性问题，提出了一种直线和圆弧相结合的车道线检测方法。

本发明提供了如下的技术方案：

一种直线与圆弧相结合的车道线检测方法，包括以下步骤：S1、通过摄像头获取车辆行驶的前方车道N帧图像信息，摄像头的图像分辨率为m*n；以图像左上角为坐标原点0，水平向右为x轴，垂直向下为y轴，建立图像坐标系；图像坐标系中图像消失点V的坐标为(v_x，v_y)；通过对图像局部区域灰度直方图统计，判断行驶场景为白天或夜晚；S2、设定图像左右边界点分别为E、F；图像的左右下边界点分别为G、H；根据图像边界点和消失点V，设置车道线检测感兴趣区域S₁和S₂；S3、设车道线宽度为w，在图像下边界和消失点V之间构造车道线宽拟合函数；S4、根据车道线宽度w与设定阈值，获取车道线候选点，进行筛选与链接，得到直线候选点；S5、在感兴趣区域S₁内，采用向上搜索的方式，利用最小二乘法获取直线并进行筛选，得到车道线候选直线，从而得到直线车道线集合U；S6、根据车道线集合U中的直线与图像边界得到左右车道线角度限制，依据车道线宽度w与左右车道线角度限制，进行车道线的匹配，得到直线车道线检测结果；S7、把车道线匹配后的集合U中直线车道线逆投影到IPM图中，构造车道线曲线圆弧集合；S8、根据IPM图中曲线，在图像坐标系中，车道线曲线圆弧和曲率半径的生成。

优选的，所述S1中，取图像坐标系中四个点(v_x-100，0)、(v_x+100，0)、(v_x-100，v_y-50)、(v_x+100，v_y-50)形成的图像局部区域；分9个bins计算该图像局部区域的灰度直方图，设定阈值为T₁，若落在前三个bin的像素点的综合小于T₁，则是夜晚，否则是白天；并累计计算N帧图像；根据上述白天夜晚场景判断结果，设置白天图像的二值化阈值为th₁，夜晚图像二值化阈值为th₂。

优选的，所述S2中，构造感兴趣区域及其左右边界,

左边界L₁：

式中，y₁是图像左边界点E的y方向坐标值；

右边界L₂：

图像消失点V的下方，设定上边界L₃：

y＝v_y+30；

设定S₁和S₂的分界线L₄：

y＝v_y+150；

下边界L₅：

y＝m；

L₃与L₁和L₂的交点分别为A、B；L₄与L₁和L₂的交点分别为C、D；CEGHFD六个点形成的区域为直线检测感兴趣区域S₁、AEGHFB六个点形成的区域是曲线检测感兴趣区域S₂，曲线检测感兴趣区域S₂包含直线检测的感兴趣区域S₁。

优选的，所述S3中，从图像下边界点到消失点处，随着y坐标值的减小车道线宽度w越来越小。设在在图像下边界处车道线宽w＝h，在消失点处，车道线宽w＝0，构造车道线宽度w随坐标y的变化拟合函数:

优选的，所述S4中，在感兴趣区域S₁和S₂内，取不同的y的坐标值分别横向扫描图像中任意一点P(p_x，p_y)以及与之对应的P₁(p_x-w，p_y)和P2(p_x+w，p_y)，P点、P₁点和P₂点的像素值分别为value(P)、value(P₁)和value(P₂)，P点为车道线候选点，则满足下式：

(value(p)-value(p₁))＞th and (value(p)-value(p₂))＞th

式中，白天th＝th₁、夜晚th＝th₂。通过白天和夜晚场景的判断，并设置不同的阈值，有效提高不同场景下车道线检测的可靠性；在此基础上，根据不同y坐标值下的车道线宽度w限制，筛除上述车道线候选点P中孤立的点，再链接间断的点，使其成短线段，求取短线段的中点，作为直线车道线的候选点。

优选的，所述S5中，在感兴趣区域S₁内，根据y坐标值采取向上搜索的方式，获取可能在一条直线上的直线候选点的集合R，利用最小二乘法拟合各个集合R中的点，得到车道线候选直线集合W，同时对集合W中同一条直线上的点按照y方向坐标进行排序；

在集合W中，设任一车道线候选直线的两个端点坐标分别(xi,yi)和(xj,yj)，计算直线的倾角：

若车道线候选直线与下边界L₅的交点X₀(x₀，m)满足下式，则保留该候选直线，否则剔除，从而得到直线车道线集合U；

x₀＜v_x+(v_y+100)*tanθ and x₀＞v_x+(v_y-100)*tanθ；

优选的，所述S6中，集合U中的直线l₁与图像下边界L₅的交点(x_u1，y_u1)、直线l₂与图像底边的交点(x_u2，y_u2)满足|x_u1-x_u2-w|＜200且直线l₁的倾角θ₁与直线l₂的倾角θ₂满足：|θ₁|+|θ₂|＜90，则直线车道线匹配成功，并根据直线倾角，判定是左车道线还是右车道线。

优选的，所述S7中，把车道线匹配后的集合U中直线车道线与图像边界的交点(x_u，y_u)转换到逆透视变换IPM图中的对应点P_IPM(X_u0,Y_u0)，并计算在IPM图中直线的倾角。

设置不同的曲率半径r，根据P_IPM(X_u0,Y_u0)和构造曲线圆弧的圆心O(Xo,Yo)，从而得到曲线集合Q；

Xo＝X_u0+r*cosθ_IPMu

Yo＝Y_u0-r*sinθ_IPMu

根据圆心坐标O以及半径r计算IPM图中不同的Y坐标所对应的X坐标：

优选的，所述S8中，将IPM图中圆弧曲线上X坐标值投影变换到图像坐标系中。在图像坐标系的曲线感兴趣区域S₂内，统计集合Q中各圆弧曲线所经过车道线候选点的数目，以经过直线候选点数目最多来确定候选曲线，利用方差计算来对候选曲线进行筛选，从而得到与直线车道线相对应的曲线车道线，所得的曲率半径即为当前本车所在道路弯道的曲率半径值；根据车道线直线和曲线拟合结果，得到完整的左、右车道线lk1和lk2。

本发明的有益效果是：

本发明一种直线与圆弧相结合的车道线检测方法，通过白天夜晚场景判断，选取不同的二值化阈值，提高了车道线检测的可靠性和对复杂环境的适应性；以车道线候选点的形式自下向上按不同方向搜索，减少了搜索区域，降低车道线检测方法对硬件运算能力的要求；车辆前方近处采用直线拟合，以直线拟合的结果，求取曲线拟合的起点以及与圆心，避免高次曲线或贝塞尔曲线存在复杂运算问题，提高了车道线检测的准确性和实时性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明方法流程示意图；

图2为本发明中车道线检测感兴趣区域示意图；

图3为本发明中直线检测示意图；

图4为本发明IPM图中圆弧曲线生成示意图；

图5为本发明中车道线曲线检测结果示意图。

具体实施方式

如图1-5所示，一种直线与圆弧相结合的车道线检测方法，包括以下步骤：S1、通过摄像头获取车辆行驶的前方车道N帧图像信息，摄像头的图像分辨率为m*n；以图像左上角为坐标原点0，水平向右为x轴，垂直向下为y轴，建立图像坐标系；图像坐标系中图像消失点V的坐标为(v_x，v_y)；通过对图像局部区域灰度直方图统计，判断行驶场景为白天或夜晚；S2、设定图像左右边界点分别为E、F；图像的左右下边界点分别为G、H；根据图像边界点和消失点V，设置车道线检测感兴趣区域S₁和S₂；S3、设车道线宽度为w，在图像下边界和消失点V之间构造车道线宽拟合函数；S4、根据车道线宽度w与设定阈值，获取车道线候选点，进行筛选与链接，得到直线候选点；S5、在感兴趣区域S₁内，采用向上搜索的方式，利用最小二乘法获取直线并进行筛选，得到车道线候选直线，从而得到直线车道线集合U；S6、根据车道线集合U中的直线与图像边界得到左右车道线角度限制，依据车道线宽度w与左右车道线角度限制，进行车道线的匹配，得到直线车道线检测结果；S7、把车道线匹配后的集合U中直线车道线逆投影到IPM图中，构造车道线曲线圆弧集合；S8、根据IPM图中曲线，在图像坐标系中，车道线曲线圆弧和曲率半径的生成。

具体的，所述S1中，取图像坐标系中四个点(v_x-100，0)、(v_x+100，0)、(v_x-100，v_y-50)、(v_x+100，v_y-50)形成的图像局部区域；分9个bins计算该图像局部区域的灰度直方图，设定阈值为T₁，若落在前三个bin的像素点的综合小于T₁，则是夜晚，否则是白天；并累计计算N帧图像；根据上述白天夜晚场景判断结果，设置白天图像的二值化阈值为th₁，夜晚图像二值化阈值为th₂。

具体的，所述S2中，构造感兴趣区域及其左右边界,

左边界L₁：

式中，y₁是图像左边界点E的y方向坐标值；

右边界L₂：

图像消失点V的下方，设定上边界L₃：

y＝v_y+30；

设定S₁和S₂的分界线L₄：

y＝v_y+150；

下边界L₅：

y＝m；

L₃与L₁和L₂的交点分别为A、B；L₄与L₁和L₂的交点分别为C、D；CEGHFD六个点形成的区域为直线检测感兴趣区域S₁、AEGHFB六个点形成的区域是曲线检测感兴趣区域S₂，曲线检测感兴趣区域S₂包含直线检测的感兴趣区域S₁。

具体的，所述S3中，从图像下边界点到消失点处，随着y坐标值的减小车道线宽度w越来越小。设在在图像下边界处车道线宽w＝h，在消失点处，车道线宽w＝0，构造车道线宽度w随坐标y的变化拟合函数:

具体的，所述S4中，在感兴趣区域S₁和S₂内，取不同的y的坐标值分别横向扫描图像中任意一点P(p_x，p_y)以及与之对应的P₁(p_x-w，p_y)和P2(p_x+w，p_y)，P点、P₁点和P₂点的像素值分别为value(P)、value(P₁)和value(P₂)，P点为车道线候选点，则满足下式：

(value(p)-value(p₁))＞th and (value(p)-value(p₂))＞th

式中，白天th＝th₁、夜晚th＝th₂。通过白天和夜晚场景的判断，并设置不同的阈值，有效提高不同场景下车道线检测的可靠性；在此基础上，根据不同y坐标值下的车道线宽度w限制，筛除上述车道线候选点P中孤立的点，再链接间断的点，使其成短线段，求取短线段的中点，作为直线车道线的候选点。

具体的，所述S5中，在感兴趣区域S₁内，根据y坐标值采取向上搜索的方式，获取可能在一条直线上的直线候选点的集合R，利用最小二乘法拟合各个集合R中的点，得到车道线候选直线集合W，同时对集合W中同一条直线上的点按照y方向坐标进行排序；

在集合W中，设任一车道线候选直线的两个端点坐标分别(xi,yi)和(xj,yj)，计算直线的倾角：

若车道线候选直线与下边界L₅的交点X₀(x₀，m)满足下式，则保留该候选直线，否则剔除，从而得到直线车道线集合U；

x₀＜v_x+(v_y+100)*tanθ and x₀＞v_x+(v_y-100)*tanθ；

具体的，所述S6中，集合U中的直线l₁与图像下边界L₅的交点(x_u1，y_u1)、直线l₂与图像底边的交点(x_u2，y_u2)满足|x_u1-x_u2-w|＜200且直线l₁的倾角θ₁与直线l₂的倾角θ₂满足：|θ₁|+|θ₂|＜90，则直线车道线匹配成功，并根据直线倾角，判定是左车道线还是右车道线。

具体的，所述S7中，把车道线匹配后的集合U中直线车道线与图像边界的交点(x_u，y_u)转换到逆透视变换IPM图中的对应点P_IPM(X_u0,Y_u0)，并计算在IPM图中直线的倾角。

设置不同的曲率半径r，根据P_IPM(X_u0,Y_u0)和构造曲线圆弧的圆心O(Xo,Yo)，从而得到曲线集合Q；

Xo＝X_u0+r*cosθ_IPMu

Yo＝Y_u0-r*sinθ_IPMu

根据圆心坐标O以及半径r计算IPM图中不同的Y坐标所对应的X坐标：

具体的，所述S8中，将IPM图中圆弧曲线上X坐标值投影变换到图像坐标系中。在图像坐标系的曲线感兴趣区域S₂内，统计集合Q中各圆弧曲线所经过车道线候选点的数目，以经过直线候选点数目最多来确定候选曲线，利用方差计算来对候选曲线进行筛选，从而得到与直线车道线相对应的曲线车道线，所得的曲率半径即为当前本车所在道路弯道的曲率半径值；根据车道线直线和曲线拟合结果，得到完整的左、右车道线lk1和lk2。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种直线与圆弧相结合的车道线检测方法，其特征在于，包括以下步骤：

S1、通过摄像头获取车辆行驶的前方车道N帧图像信息，摄像头的图像分辨率为m*n；以图像左上角为坐标原点0，水平向右为x轴，垂直向下为y轴，建立图像坐标系；图像坐标系中图像消失点V的坐标为(v_x，v_y)；通过对图像局部区域灰度直方图统计，判断行驶场景为白天或夜晚；

S2、设定图像左右边界点分别为E、F；图像的左右下边界点分别为G、H；根据图像边界点和消失点V，设置车道线检测感兴趣区域S₁和S₂；

S3、设车道线宽度为w，在图像下边界和消失点V之间构造车道线宽拟合函数；

S4、根据车道线宽度w与设定阈值，获取车道线候选点，进行筛选与链接，得到直线候选点；

S5、在感兴趣区域S₁内，采用向上搜索的方式，利用最小二乘法获取直线并进行筛选，得到车道线候选直线，从而得到直线车道线集合U；

S6、根据车道线集合U中的直线与图像边界得到左右车道线角度限制，依据车道线宽度w与左右车道线角度限制，进行车道线的匹配，得到直线车道线检测结果；

S7、把车道线匹配后的集合U中直线车道线逆投影到IPM图中，构造车道线曲线圆弧集合；

S8、根据IPM图中曲线，在图像坐标系中，车道线曲线圆弧和曲率半径的生成。

2.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S1中，取图像坐标系中四个点(v_x-100，0)、(v_x+100，0)、(v_x-100，v_y-50)、(v_x+100，v_y-50)形成的图像局部区域；分9个bins计算该图像局部区域的灰度直方图，设定阈值为T₁，若落在前三个bin的像素点的综合小于T₁，则是夜晚，否则是白天；并累计计算N帧图像；根据上述白天夜晚场景判断结果，设置白天图像的二值化阈值为th₁，夜晚图像二值化阈值为th₂。

3.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S2中，构造感兴趣区域及其左右边界,

左边界L₁：

式中，y₁是图像左边界点E的y方向坐标值；

右边界L₂：

图像消失点V的下方，设定上边界L₃：

y＝v_y+30；

设定S₁和S₂的分界线L₄：

y＝v_y+150；

下边界L₅：

y＝m；

L₃与L₁和L₂的交点分别为A、B；L₄与L₁和L₂的交点分别为C、D；CEGHFD六个点形成的区域为直线检测感兴趣区域S₁、AEGHFB六个点形成的区域是曲线检测感兴趣区域S₂，曲线检测感兴趣区域S₂包含直线检测的感兴趣区域S₁。

4.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S3中，从图像下边界点到消失点处，随着y坐标值的减小车道线宽度w越来越小。设在在图像下边界处车道线宽w＝h，在消失点处，车道线宽w＝0，构造车道线宽度w随坐标y的变化拟合函数:

5.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S4中，在感兴趣区域S₁和S₂内，取不同的y的坐标值分别横向扫描图像中任意一点P(p_x，p_y)以及与之对应的P₁(p_x-w，p_y)和P2(p_x+w，p_y)，P点、P₁点和P₂点的像素值分别为value(P)、value(P₁)和value(P₂)，P点为车道线候选点，则满足下式：

(value(p)-value(p₁))＞th and(value(p)-value(p₂))＞th

式中，白天th＝th₁、夜晚th＝th₂。通过白天和夜晚场景的判断，并设置不同的阈值，有效提高不同场景下车道线检测的可靠性；在此基础上，根据不同y坐标值下的车道线宽度w限制，筛除上述车道线候选点P中孤立的点，再链接间断的点，使其成短线段，求取短线段的中点，作为直线车道线的候选点。

6.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S5中，在感兴趣区域S₁内，根据y坐标值采取向上搜索的方式，获取可能在一条直线上的直线候选点的集合R，利用最小二乘法拟合各个集合R中的点，得到车道线候选直线集合W，同时对集合W中同一条直线上的点按照y方向坐标进行排序；

在集合W中，设任一车道线候选直线的两个端点坐标分别(xi,yi)和(xj,yj)，计算直线的倾角：

若车道线候选直线与下边界L₅的交点X₀(x₀，m)满足下式，则保留该候选直线，否则剔除，从而得到直线车道线集合U；

x₀＜v_x+(v_y+100)*tanθ and x₀＞v_x+(v_y-100)*tanθ。

7.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S6中，集合U中的直线l₁与图像下边界L₅的交点(x_u1，y_u1)、直线l₂与图像底边的交点(x_u2，y_u2)满足|x_u1-x_u2-w|＜200且直线l₁的倾角θ₁与直线l₂的倾角θ₂满足：|θ₁|+|θ₂|＜90，则直线车道线匹配成功，并根据直线倾角，判定是左车道线还是右车道线。

8.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S7中，把车道线匹配后的集合U中直线车道线与图像边界的交点(x_u，y_u)转换到逆透视变换IPM图中的对应点P_IPM(X_u0,Y_u0)，并计算在IPM图中直线的倾角。

设置不同的曲率半径r，根据P_IPM(X_u0,Y_u0)和构造曲线圆弧的圆心O(Xo,Yo)，从而得到曲线集合Q；

Xo＝X_u0+r*cosθ_IPMu

Yo＝Y_u0-r*sinθ_IPMu

根据圆心坐标O以及半径r计算IPM图中不同的Y坐标所对应的X坐标：

9.根据权利要求1所述的一种直线与圆弧相结合的车道线检测方法，其特征在于，所述S8中，将IPM图中圆弧曲线上X坐标值投影变换到图像坐标系中。在图像坐标系的曲线感兴趣区域S₂内，统计集合Q中各圆弧曲线所经过车道线候选点的数目，以经过直线候选点数目最多来确定候选曲线，利用方差计算来对候选曲线进行筛选，从而得到与直线车道线相对应的曲线车道线，所得的曲率半径即为当前本车所在道路弯道的曲率半径值；根据车道线直线和曲线拟合结果，得到完整的左、右车道线lk1和lk2。