CN105975957A - 一种基于车道线边缘的道路平面检测方法 - Google Patents

Abstract

本发明公开了一种基于车道线边缘的道路平面检测方法，包括以下步骤：通过双目立体视觉系统采集图像并进行预处理；对预处理后的图像进行Canny边缘检测，并利用Hough变换的方法提取车道线边缘；基于车道线边缘，通过最小二乘法求解道路平面系数，得到道路平面方程。本发明基于车道线边缘进行道路平面检测，能够在双目立体视觉系统的基线与道路平面不平行的情况下，实现道路平面的精确检测，减少了车辆侧倾和颠簸对道路平面检测带来的影响；本发明通过匹配成功的车道线的点进行道路平面拟合，较少依赖匹配成功的地面点个数及其分布情况，即使地面点匹配个数较少且分布集中，也能实现较好的道路平面检测效果，更具有实用价值。

Description

一种基于车道线边缘的道路平面检测方法

技术领域

本发明涉及汽车安全辅助驾驶系统，特别是一种道路平面检测方法。

背景技术

随着社会经济和科学技术的发展，汽车已经成为人们生活中必不可少的一部分，智能化也成为汽车发展的必然趋势。作为汽车智能化的一个研究方向，汽车安全辅助驾驶系统也日渐普及，并在一定程度上减少了交通事故的发生频率，而道路平面检测对于汽车安全辅助驾驶系统来说是必不可少的一部分，特别对于车载立体视觉技术而言，道路平面检测是基于立体视觉的车辆检测方法和车辆前方可通行性分析方法实现的前提。因此，准确有效地检测道路平面是提高汽车智能化程度的关键因素。

目前，在车载立体视觉系统中，常用的道路平面检测方法是V视差法。基于V视差方法检测道路平面的前提是道路平面与由两个摄像机组成的双目立体视觉系统的基线平行，此时，道路平面投影到V视差图后为一条直线，根据该直线方程可以检测到道路平面。但是，在车辆行驶过程中，很难保证双目立体视觉系统的基线与道路平面平行，这时，道路平面投影至V视差图后则不再为一条直线，因此，通过V视差法将很难准确地检测到道路平面。此外，基于V视差的道路平面检测方法严重依赖视差图中成功匹配的地面点个数及分布情况，当匹配的路面点较少或分布集中时，路面检测将失效。

发明内容

为解决现有技术存在的上述问题，本发明要提出一种能够不受双目立体视觉系统的基线与道路平面之间是否平行的影响，并且较少依赖视差图中成功匹配的路面点个数及分布的基于车道线边缘的道路平面检测方法。

为实现上述目的，本发明的技术方案如下：一种基于车道线边缘的道路平面检测方法，包括以下步骤：

A、采集图像并进行预处理

通过车载双目立体视觉系统即车上水平安装的左右两个摄像机采集到车辆前方包含车道线的左右两幅图像，然后用双目立体视觉系统的标定数据对左右两幅图像进行双目校正，选取校正后的左图像进行预处理：先将其转换为灰度图像，然后采用中值滤波的方法进行噪声消除。

B、提取车道线边缘

利用步骤A得到的预处理后的左图像进行车道线边缘提取。首先，采用Canny算子对左图像进行边缘检测；然后，将左图像等分为左右两个图像区域，通过Hough变换的方法分别检测两个图像区域中的线段；最后，对于每个区域，在Hough变换检测到的所有线段中，选取与水平方向夹角中的锐角小于60°的线段，并在满足条件的所有线段中选取最长的线段作为车道线边缘。

C、基于车道线边缘拟合道路平面

以图像的左上角为原点，向下为v轴正方向，向右为u轴正方向，以此建立图像坐标系(u,v)，根据步骤B检测到的车道线边缘，获得车道线边缘在左图像中的端点坐标，由此得到每条车道线在左图像坐标系(u,v)下的方程为：

$v=\frac{v_2-v_1}{u_2-u_1}\&CenterDot;u+\frac{v_1{u}_2-v_2{u}_1}{u_2-u_1},u_1<u<u_2---\left(1\right)$

式中，(u₁,v₁)和(u₂,v₂)为车道线边缘线段的两个端点在图像坐标系下的坐标。

通过立体视觉匹配算法，获得双目立体视觉系统采集到的左右图像的视差图，在图像坐标系(u,v)的基础上，以视差值d为第三个坐标轴建立视差图坐标系(u,v,d)，然后在视差图中找出所有满足车道线方程且视差值d不为零的点(u_i,v_i,d_i)(d_i≠0，i＝1,2,…,n)，其中，(u_i,v_i)为视差图中满足公式(1)的点的坐标，d_i为该点的视差值，n为满足条件的点的个数，所有满足条件的点(u_i,v_i,d_i)构成特征点集Ω_d。假设道路平面在以双目立体视觉系统中的左摄像机光心为原点的世界坐标系(X,Y,Z)下的表达式为：

Y＝a₀X+a₁Z+a₂ (2)

式中，a₀、a₁和a₂为方程的三个系数。

根据立体视觉的投影原理，得到空间中的点在世界坐标系下的坐标(X,Y,Z)与在左图像中成像点的坐标(u,v)之间的关系为：

$Z=\frac{f\&CenterDot;b}{d},Y=\frac{b\&CenterDot;(v-c_y)}{d},X=\frac{b\&CenterDot;(u-c_x)}{d}---\left(3\right)$

式中，d为视差值，b为左右两个摄像机的基线距，f为摄像机焦距，u和v分别为空间的点在左图像中成像点的横坐标和纵坐标，c_x和c_y分别为双目校正后左图像坐标系原点与校正前左图像坐标系原点的横向和纵向偏移。

将公式(3)代入公式(2)中，得到道路平面在视差图坐标系(u,v,d)下的方程为：

$v=a_{0}u+\frac{a_{2}d}{b}+c_y-a_0{c}_x+a_{1}f---\left(4\right)$

由于u和d前的系数均为常数，所以道路平面上的点投影到视差图坐标系中后仍为平面，其方程为：

v＝k₀u+k₁d+k₂ (5)

式中，利用特征点集Ω_d，通过最小二乘拟合的方法求解系数k₀、k₁和k₂，具体求解方法如下式所示：

$\begin{array}{ccc}\left[\begin{array}{ccc}\&Sigma;u_i^2& \&Sigma;u_i{d}_i& \&Sigma;u_i\\ \&Sigma;u_i{d}_i& \&Sigma;d_i^2& \&Sigma;d_i\\ \&Sigma;u_i& \&Sigma;d_i& n\end{array}\right]\left[\begin{array}{c}{k}_0\\ k_1\\ k_2\end{array}\right]=\left[\begin{array}{c}\&Sigma;u_i{v}_i\\ \&Sigma;d_i{v}_i\\ \&Sigma;v_i\end{array}\right]& i=1,2,\mathrm{...},n& (u_i,v_i,d_i)\&Element;{\mathrm{\&Omega;}}_d\end{array}---\left(6\right)$

式中，n为特征点集Ω_d中的点的数量，(u_i,v_i,d_i)为特征点集中Ω_d的点在视差图坐标系下的坐标。

求出三个系数k₀、k₁和k₂后，代入公式(5)中，即得到道路平面在视差图坐标系下的方程，然后在视差图中找到所有满足该方程的点(u_i,v_i,d_i)，这些点构成的点集Ω即为需要检测的道路平面。

与现有技术相比，本发明具有以下有益效果：

1、本发明基于车道线边缘进行道路平面检测，能够在双目立体视觉系统的基线与道路平面不平行的情况下，实现道路平面的精确检测。

2、本发明通过匹配成功的车道线的点进行道路平面拟合，较少依赖匹配成功的地面点个数及其分布情况，即使地面点匹配个数较少且分布集中，也能实现较好的道路平面检测效果，更具有实用价值。

附图说明：

本发明共有附图5张，其中：

图1是基于车道线边缘的道路平面检测方法流程图；

图2是预处理后的图像；

图3是车道线边缘提取结果；

图4是图像的视差图；

图5是道路平面检测结果。

具体实施方式：

以下结合技术方案和附图详细叙述本发明的具体实施方式，如图1所示，

一种基于车道线特征的道路平面检测方法，包括以下步骤：

A、图像采集与预处理

通过车载双目立体视觉系统(车上水平安装的左右两个摄像机)采集到车辆前方包含车道线的左右两幅图像，然后用双目立体视觉系统的标定数据对图像进行双目校正，选取校正后的左图进行预处理：先将其转换为灰度图，然后采用中值滤波的方法进行噪声消除。预处理后的图像如图2所示。

B、车道线边缘提取

利用上一步得到的预处理后的左图进行车道线边缘提取。首先，采用Canny算子对左图像进行边缘检测；然后，将左图像等分为左右两个部分，通过Hough变换的方法分别检测两个图像区域中的直线；最后，对于每个区域，在Hough变换检测到的所有线段中，选取与水平方向夹角中的锐角小于60°的线段，并在满足条件的所有线段中选取最长的线段作为车道线边缘。在原图中绘制检测到的车道线边缘，如图3所示。

C、基于车道线边缘的道路平面拟合

以图像的左上角为原点，向下为v轴正方向，向右为u轴正方向，以此建立图像坐标系(u,v)，根据上一步检测到的车道线边缘，可以获得车道线边缘在左图像中的端点坐标，由此得到每条车道线在左图像坐标系(u,v)下的方程为：

$v=\frac{v_2-v_1}{u_2-u_1}\&CenterDot;u+\frac{v_1{u}_2-v_2{u}_1}{u_2-u_1},u_1<u<u_2---\left(1\right)$

式中，(u₁,v₁)和(u₂,v₂)为车道线边缘的两个端点在图像坐标系下的坐标。

根据上一步检测到的车道线边缘，可以获得车道线边缘端点在左图像中的坐标，第一条车道线端点坐标分别为(210,266)和(438,210)，第二条车道线端点坐标分别为(846,374)和(650,216)。将数据带入公式(1)，得到两条车道线的方程分别为：v＝-4.0714u+317.5789，v＝0.8061u-307.9796。

通过立体视觉匹配算法，获得双目立体视觉系统采集到的左右图像的视差图，如图4所示。在图像坐标系(u,v)的基础上，以视差值d为第三个坐标轴建立视差图坐标系(u,v,d)，然后在视差图中找出所有满足车道线方程且视差值d不为零的点(u_i,v_i,d_i)(d_i≠0，i＝1,2,…,n)，其中，(u_i,v_i)为视差图中满足公式(1)的点的坐标，d_i为该点的视差值，n为满足条件的点的个数，所有满足条件的点构成特征点集Ω_d。假设道路平面在以双目立体视觉系统中的左摄像机光心为原点的世界坐标系(X,Y,Z)下的表达式为：

Y＝a₀X+a₁Z+a₂ (2)

式中，a₀、a₁和a₂为方程的三个系数。

根据立体视觉的投影原理，得到空间中的点在世界坐标系下的坐标(X,Y,Z)与在左图像中成像点的坐标(u,v)之间的关系为：

$Z=\frac{f\&CenterDot;b}{d},Y=\frac{b\&CenterDot;(v-c_y)}{d},X=\frac{b\&CenterDot;(u-c_x)}{d}---\left(3\right)$

式中，d为视差值，b为两个摄像机的基线距，f为摄像机焦距，u和v分别为空间的点在左图像中成像点的横坐标和纵坐标，c_x和c_y分别为双目校正后左图像坐标系原点与校正前左图像坐标系原点的横向和纵向偏移。

将公式(3)代入公式(2)中，可以得到道路平面在视差图坐标系(u,v,d)下的方程为：

$v=a_{0}u+\frac{a_{2}d}{b}+c_y-a_0{c}_x+a_{1}f---\left(4\right)$

由于u和d前的系数均为常数，所以道路平面上的点投影到视差图坐标系中后仍为平面，其方程为：

v＝k₀u+k₁d+k₂ (5)

式中，利用特征点集Ω_d，通过最小二乘拟合的方法求解系数k₀、k₁和k₂，具体求解方法如下式所示：

$\begin{array}{ccc}\left[\begin{array}{ccc}\&Sigma;u_i^2& \&Sigma;u_i{d}_i& \&Sigma;u_i\\ \&Sigma;u_i{d}_i& \&Sigma;d_i^2& \&Sigma;d_i\\ \&Sigma;u_i& \&Sigma;d_i& n\end{array}\right]\left[\begin{array}{c}{k}_0\\ k_1\\ k_2\end{array}\right]=\left[\begin{array}{c}\&Sigma;u_i{v}_i\\ \&Sigma;d_i{v}_i\\ \&Sigma;v_i\end{array}\right]& i=1,2,\mathrm{...},n& (u_i,v_i,d_i)\&Element;{\mathrm{\&Omega;}}_d\end{array}---\left(6\right)$

式中，n为特征点集Ω_d中的点的数量，(u_i,v_i,d_i)为特征点集Ω_d中的点在视差图坐标系下的坐标。

求出三个系数为：k₀＝-0.0046，k₁＝3.0232，k₂＝176.8722，代入公式(5)中，得到道路平面在视差图坐标系下的方程为：v＝-0.0046u+3.0232d+176.8722，然后在视差图中找到所有满足该方程的点(u_i,v_i,d_i)，这些点构成的点集Ω即为需要检测的道路平面，检测结果如图5所示。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种基于车道线边缘的道路平面检测方法，其特征在于：包括以下步骤：

A、采集图像并进行预处理

通过车载双目立体视觉系统即车上水平安装的左右两个摄像机采集到车辆前方包含车道线的左右两幅图像，然后用双目立体视觉系统的标定数据对左右两幅图像进行双目校正，选取校正后的左图像进行预处理：先将其转换为灰度图像，然后采用中值滤波的方法进行噪声消除；

B、提取车道线边缘

利用步骤A得到的预处理后的左图像进行车道线边缘提取；首先，采用Canny算子对左图像进行边缘检测；然后，将左图像等分为左右两个图像区域，通过Hough变换的方法分别检测两个图像区域中的线段；最后，对于每个区域，在Hough变换检测到的所有线段中，选取与水平方向夹角中的锐角小于60°的线段，并在满足条件的所有线段中选取最长的线段作为车道线边缘；

C、基于车道线边缘拟合道路平面

以图像的左上角为原点，向下为v轴正方向，向右为u轴正方向，以此建立图像坐标系(u,v)，根据步骤B检测到的车道线边缘，获得车道线边缘在左图像中的端点坐标，由此得到每条车道线在左图像坐标系(u,v)下的方程为：

$\begin{array}{cc}v=\frac{v_2-v_1}{u_2-u_1}\&CenterDot;u+\frac{v_1{u}_2-v_2{u}_1}{u_2-u_1},& u_1<u<u_2\end{array}---\left(1\right)$

式中，(u₁,v₁)和(u₂,v₂)为车道线边缘线段的两个端点在图像坐标系下的坐标；

通过立体视觉匹配算法，获得双目立体视觉系统采集到的左右图像的视差图，在图像坐标系(u,v)的基础上，以视差值d为第三个坐标轴建立视差图坐标系(u,v,d)，然后在视差图中找出所有满足车道线方程且视差值d不为零的点(u_i,v_i,d_i)(d_i≠0，i＝1,2,…,n)，其中，(u_i,v_i)为视差图中满足公式(1)的点的坐标，d_i为该点的视差值，n为满足条件的点的个数，所有满足条件的点(u_i,v_i,d_i)构成特征点集Ω_d；假设道路平面在以双目立体视觉系统中的左摄像机光心为原点的世界坐标系(X,Y,Z)下的表达式为：

Y＝a₀X+a₁Z+a₂ (2)

式中，a₀、a₁和a₂为方程的三个系数；

根据立体视觉的投影原理，得到空间中的点在世界坐标系下的坐标(X,Y,Z)与在左图像中成像点的坐标(u,v)之间的关系为：

$Z=\frac{f\&CenterDot;b}{d},Y=\frac{b\&CenterDot;(v-c_y)}{d},X=\frac{b\&CenterDot;(u-c_x)}{d}---\left(3\right)$

式中，d为视差值，b为左右两个摄像机的基线距，f为摄像机焦距，u和v分别为空间的点在左图像中成像点的横坐标和纵坐标，c_x和c_y分别为双目校正后左图像坐标系原点与校正前左图像坐标系原点的横向和纵向偏移；

将公式(3)代入公式(2)中，得到道路平面在视差图坐标系(u,v,d)下的方程为：

$v=a_{0}u+\frac{a_{2}d}{b}+c_y-a_0{c}_x+a_{1}f---\left(4\right)$

由于u和d前的系数均为常数，所以道路平面上的点投影到视差图坐标系中后仍为平面，其方程为：

v＝k₀u+k₁d+k₂ (5)

式中，k₀＝a₀，k₃＝c_y-a₀c_x+a₁f，利用特征点集Ω_d，通过最小二乘拟合的方法求解系数k₀、k₁和k₂，具体求解方法如下式所示：

$\begin{array}{ccc}\left[\begin{array}{ccc}\&Sigma;u_i^2& \&Sigma;u_i{d}_i& \&Sigma;u_i\\ \&Sigma;u_i{d}_i& \&Sigma;d_i^2& \&Sigma;d_i\\ \&Sigma;u_i& \&Sigma;d_i& n\end{array}\right]\left[\begin{array}{c}{k}_0\\ k_1\\ k_2\end{array}\right]=\left[\begin{array}{c}\&Sigma;u_i{v}_i\\ \&Sigma;d_i{v}_i\\ \&Sigma;v_i\end{array}\right]& i=1,2,\mathrm{...},n& (u_i,v_i,d_i)\&Element;{\mathrm{\&Omega;}}_d\end{array}---\left(6\right)$

式中，n为特征点集Ω_d中的点的数量，(u_i,v_i,d_i)为特征点集中Ω_d的点在视差图坐标系下的坐标；

求出三个系数k₀、k₁和k₂后，代入公式(5)中，即得到道路平面在视差图坐标系下的方程，然后在视差图中找到所有满足该方程的点(u_i,v_i,d_i)，这些点构成的点集Ω即为需要检测的道路平面。