CN102737248B - 复杂路况下的车道线特征点提取方法与装置 - Google Patents

Abstract

本发明涉及复杂路况下的车道线特征点提取方法与装置，方法包括：用车载设备获得道路的灰度图像；根据道路图像对车道线特征点提取的重要程度将灰度图像划分为不考虑区域和感兴趣区域（ROI）；对感兴趣区域（ROI）进行平滑滤波处理；对平滑滤波处理后的感兴趣区域（ROI）利用基于结构张量场水平集外在曲率进行二值化处理，提取车道线的特征点。本发明能够解决现有方法对车道线存在光照变化、阴影遮挡、破损或污迹覆盖等复杂路况下，车道线特征点提取鲁棒性低的问题。

Description

复杂路况下的车道线特征点提取方法与装置

技术领域

本发明属于汽车智能辅助驾驶系统技术领域，涉及复杂路况下的车道线特征点提取方法，特别是一种基于结构张量场水平集外在曲率的特征点提取法。

背景技术

近年来，随着我国经济的快速发展，客货运量的增加，我国公路建设路程迅猛增长，特别是高速公路的快速发展，大大缓解了我国经济发展给交通运输业带来的压力。但是随着公路建设路程的增长、汽车保有量的增加、车流量的加大以及行车速度的提高，道路交通事故呈逐年恶化的态势，特别是特大恶性交通事故频繁发生，给人们的生命财产和国民经济造成了巨大的损失。例如，2009年，中国汽车保有量约占世界汽车保有量的百分之三，但交通事故死亡人数却占世界的百分之十六。据公安部交通管理局通报，2009年，全国共发生道路交通事故238351起，造成67759人死亡、275125人受伤，直接财产损失9.1亿元。因此研究车道偏离预警系统，辅助驾驶员在单调驾驶环境中保持车辆在车道内行驶，已经成为国内外的研究重点。

在安全辅助驾驶系统中，车道线的正确检测是该系统正常工作的基本前提和关键技术。检测过程分为两步：首先，对车道线的特征点进行提取，然后基于假定的车道线模型对提取出的特征点进行拟合。由此可知车道线特征点提取是对车道线进行正确检测至关重要的一步。

国内外研究人员已经提出了很多基于视觉的车道线检测算法，其中大部分算法都是基于车道线的边缘特征。例如，利用边缘检测提取特征点再用Hough变换或其改进算法来匹配直线车道线模型，采用二次曲线、双曲线和样条曲线车道模型并通过对特征点拟合获得车道线参数以及运用方向可调滤波器提出特征点并通过特征点来拟合组合车道模型。

然而当光照变化、阴影遮挡车道线、车道线破损、污迹覆盖车道线等情况存在使道路图像变得复杂时，车道线边缘与路面的对比度降低，此时基于边缘的方法和很难确定一个合适的阈值来滤除噪声边缘而仅保留车道线边缘信息，故在此情况下，此类方法很难进行正确的特征点提取。

发明内容

本发明的目的是提供一种复杂路况的车道线特征点提取方法，以解决现有方法对车道线存在光照变化、阴影遮挡、破损或污迹覆盖等复杂路况下，车道线特征点提取鲁棒性低的问题。另外，本发明还提供了一种基于上述特征点提取方法的提取装置。

为实现上述目的，本发明的特征点提取方法方案是：一种复杂路况下的车道线特征点提取方法，步骤如下：

（1）用车载设备获得道路的灰度图像；

（2）根据道路图像对车道线特征点提取的重要程度将灰度图像划分为不考虑区域和感兴趣区域（ROI）；

（3）对感兴趣区域（ROI）进行平滑滤波处理；

（4）对平滑滤波处理后的感兴趣区域（ROI），利用基于结构张量场水平集外在曲率进行二值化处理，提取车道线的特征点。

步骤（1）中，通过车载视觉系统将采集到的彩色道路图像转换为灰度图像。

步骤（2）中，根据道路图像对特征点提取的重要程度将图像划分为3个区域：左车道线存在区域、右车道线存在区域和不考虑区域，其中，左车道线存在区域和右车道线存在区域一起构成感兴趣区域（ROI），设道路图像ROI为f(u,v)，其中u代表行v代表列，定义感兴趣区域（ROI）的左上角为坐标原点。

步骤(3)中，采用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)对ROI进行平滑滤波处理，滤波结果为F(u,v)，其中：

$G(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_v)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_u{\mathrm{\σ}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{\mathrm{\σ}}_u^2}+\frac{v^2}{{\mathrm{\σ}}_v^2})\}$

σ_u从车道消失线位置到底部按照下式依次增加：

${\mathrm{\σ}}_u=k\frac{c_1}{(u_{\max }-u_{\mathrm{vanish}}-1)}+c_0,k=\mathrm{0,1,2},...,u_{\max }-u_{\mathrm{vanish}}-1$

u_max对应于u的最大值，u_vanish对应于车道在道路图像中消失线的u坐标，σ_v、c₀以及c₁均为依赖于道路图像的参数。

步骤(4)中，利用结构张量场水平集外在曲率方法进行二值化处理的具体过程如下：

1)为了凸显车道线方向，分别计算F(u,v)的横向一阶差分梯度w_v和纵向一阶差分梯度w_u：

$\left[\begin{array}{c}{w}_u\\ w_v\end{array}\right]=\left[\begin{array}{c}\frac{F(u+1,v)-F(u-1,v)}{2}\\ \frac{F(u,v+1)-F(u,v-1)}{2}\end{array}\right];$

2）对w_v和w_u进行归一化，得到归一化梯度向量w'(u,v)：

$w^{\′}(u,v)=\left[\begin{array}{c}{w_u}^{\′}\\ {w_v}^{\′}\end{array}\right]=\left[\begin{array}{c}\frac{w_u}{r}\\ \frac{w_v}{r}\end{array}\right]$

其中， $r=\sqrt{w_u^2(u,v)+w_v^2(u,v)};$

3）构造F(u,v)的结构张量S(u,v)：

$S(u,v)=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]$ 其中， $\left\{\begin{array}{c}a=G(u,v,{\mathrm{\σ}}_o)*{\left({w_u}^{\′}\right)}^2\\ b=G(u,v,{\mathrm{\σ}}_o)*\left({w_u}^{\′}{w_v}^{\′}\right)\\ c=G(u,v,{\mathrm{\σ}}_o)*{\left({w_v}^{\′}\right)}^2\end{array}\right.$

式中, $G(u,v,{\mathrm{\σ}}_o)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_o^2}\exp \{-\frac{u^2+v^2}{2{\mathrm{\σ}}_o^2}\},$ σ_o为其标准差，符号*表示卷积；

4）计算S(u,v)的特征值λ₁(u,v)和λ₂(u,v)，其中：

${\mathrm{\λ}}_1(u,v)=\frac{a+c+\sqrt{{(a-c)}^2+{4b}^2}}{2}$

${\mathrm{\λ}}_2(u,v)=\frac{a+c-\sqrt{{(a-c)}^2+{4b}^2}}{2}$

5）计算S(u,v)的最大特征值所对应的归一化特征向量w^Δ(u,v)：

$w^{\mathrm{\Δ}}(u,v)=\left[\begin{array}{c}{w_u}^{\mathrm{\Δ}}\\ {w_v}^{\mathrm{\Δ}}\end{array}\right]=\left[\begin{array}{c}\frac{2b}{\sqrt{{4b}^2+{[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}^2}}\\ \frac{a-c+\sqrt{{(a-c)}^2+4b^2}}{\sqrt{{4b}^2+[a-c+\sqrt{{(a-c)}^2+4b^2}]}}\end{array}\right];$

6）把w^Δ(u,v)投影到归一化梯度向量w'(u,v)上得p(u,v)：

p(u,v)＝(w^Δ(u,v))^T·w'(u,v)

式中符号“T”和“·”表示矩阵转置和矩阵相乘。

7）计算一个新的矢量

$\tilde{w}(u,v)=\mathrm{sign}\left(p(u,v)\right)w^{\mathrm{\Δ}}(u,v)$

其中sign是一个符号函数，满足 $\mathrm{sign}\left(x\right)=\left\{\begin{array}{cc}-1& \mathrm{ifx}<0\\ 0& \mathrm{ifx}=0\\ 1& \mathrm{ifx}>0\end{array}\right.$

8）在以点(u,v)为中心像素的邻域内计算矢量的散度其中：

$\widetilde{\mathrm{\&rho;}}(u,v)=-\mathrm{div}\left(\tilde{w}(u,v)\right)=-\frac{d}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k=-\frac{2}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k$

式中r表示组成以点(u,v)为中心的邻域像素数，d表示函数f(u,v)的维数，n表示各邻域像素的单位法向量，符号“·”表示求数量积；

9）采用归一化置信度D(u,v,m)∈[0,1]来衡量点(u,v)方向，根据上述步骤4）计算得到的λ₁(u,v)和λ₂(u,v)，得到：

$D(u,v,m)=1-e^{-{\left({\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)\right)}^2/{2m}^2}$

${\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)={\mathrm{\&Sigma;}}_{i=1}^2{\mathrm{\&Sigma;}}_{j=i+1}^2{({\mathrm{\&lambda;}}_i(u,v)-{\mathrm{\&lambda;}}_j(u,v))}^2$

式中，m是依赖于道路图像的参数；

10)对点(u,v)进行二值化处理从而提取出车道线特征点，其中：

$f(u,v)=\left\{\begin{array}{c}1,\mathrm{ifD}\&CenterDot;\widetilde{\mathrm{\&rho;}}(u,v)>K\\ 0,\mathrm{else}\end{array}\right.$

式中K≥0，满足f(u,v)＝1的点为特征点；

11)，遍历感兴趣区域(ROI)，重复1)-10)，得到所有特征点。

本发明的装置方案是：一种复杂路况下的车道线特征点提取装置，包括：

利用车载设备获得道路的灰度图像的采集模块；

根据道路图像对车道线特征点提取的重要程度将灰度图像划分为不考虑区域和感兴趣区域（ROI）的划分模块；

对感兴趣区域（ROI）进行平滑滤波处理的滤波模块；

对进行平滑滤波处理后的感兴趣区域（ROI），利用基于结构张量场水平集外在曲率进行二值化处理，提取车道线的特征点的计算提取模块。

所述采集模块通过车载视觉系统将采集到的彩色道路图像转换为灰度图像。

所述划分模块根据道路图像对特征点提取的重要程度将图像划分为3个区域：左车道线存在区域、右车道线存在区域和不考虑区域，其中，左车道线存在区域和右车道线存在区域一起构成感兴趣区域（ROI），设道路图像ROI为f(u,v)，其中u代表行v代表列，定义感兴趣区域（ROI）的左上角为坐标原点。

所述滤波模块采用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)对ROI进行平滑滤波处理，滤波结果为F(u,v)，其中：

$G(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_u{\mathrm{\&sigma;}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{\mathrm{\&sigma;}}_u^2}+\frac{v^2}{{\mathrm{\&sigma;}}_v^2})\}$

σ_u从车道消失线位置到底部按照下式依次增加：

${\mathrm{\&sigma;}}_u=k\frac{c_1}{(u_{\max }-u_{\mathrm{vanish}}-1)}+c_0,k=\mathrm{0,1,2},...,u_{\max }-u_{\mathrm{vanish}}-1$

u_max对应于u的最大值，u_vanish对应于车道在道路图像中消失线的u坐标，σ_v、c₀以及c₁均为依赖于道路图像的参数。

所述计算提取模块利用结构张量场水平集外在曲率方法进行二值化处理的过程如下：

1)为了凸显车道线方向，分别计算F(u,v)的横向一阶差分梯度w_v和纵向一阶差分梯度w_u：

$\left[\begin{array}{c}{w}_u\\ w_v\end{array}\right]=\left[\begin{array}{c}\frac{F(u+1,v)-F(u-1,v)}{2}\\ \frac{F(u,v+1)-F(u,v-1)}{2}\end{array}\right];$

2）对w_v和w_u进行归一化，得到归一化梯度向量w'(u,v)：

$w^{\&prime;}(u,v)=\left[\begin{array}{c}{w_u}^{\&prime;}\\ {w_v}^{\&prime;}\end{array}\right]=\left[\begin{array}{c}\frac{w_u}{r}\\ \frac{w_v}{r}\end{array}\right]$

其中， $r=\sqrt{w_u^2(u,v)+w_v^2(u,v)};$

3）构造F(u,v)的结构张量S(u,v)：

$S(u,v)=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]$ 其中， $\left\{\begin{array}{c}a=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_u}^{\&prime;}\right)}^2\\ b=G(u,v,{\mathrm{\&sigma;}}_o)*\left({w_u}^{\&prime;}{w_v}^{\&prime;}\right)\\ c=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_v}^{\&prime;}\right)}^2\end{array}\right.$

式中, $G(u,v,{\mathrm{\&sigma;}}_o)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_o^2}\exp \{-\frac{u^2+v^2}{2{\mathrm{\&sigma;}}_o^2}\},$ σ_o为其标准差，符号*表示卷积；

4）计算S(u,v)的特征值λ₁(u,v)和λ₂(u,v)，其中：

${\mathrm{\&lambda;}}_1(u,v)=\frac{a+c+\sqrt{{(a-c)}^2+{4b}^2}}{2}$

${\mathrm{\&lambda;}}_2(u,v)=\frac{a+c-\sqrt{{(a-c)}^2+{4b}^2}}{2}$

5）计算S(u,v)的最大特征值所对应的归一化特征向量w^Δ(u,v)：

$w^{\mathrm{\&Delta;}}(u,v)=\left[\begin{array}{c}{w_u}^{\mathrm{\&Delta;}}\\ {w_v}^{\mathrm{\&Delta;}}\end{array}\right]=\left[\begin{array}{c}\frac{2b}{\sqrt{{4b}^2+{[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}^2}}\\ \frac{a-c+\sqrt{{(a-c)}^2+4b^2}}{\sqrt{{4b}^2+[a-c+\sqrt{{(a-c)}^2+4b^2}]}}\end{array}\right];$

6）把w^Δ(u,v)投影到归一化梯度向量w'(u,v)上得p(u,v)：

p(u,v)＝(w^Δ(u,v))^T·w'(u,v)

式中符号“T”和“·”表示矩阵转置和矩阵相乘。

7）计算一个新的矢量

$\tilde{w}(u,v)=\mathrm{sign}\left(p(u,v)\right)w^{\mathrm{\&Delta;}}(u,v)$

其中sign是一个符号函数，满足： $\mathrm{sign}\left(x\right)=\left\{\begin{array}{cc}-1& \mathrm{ifx}<0\\ 0& \mathrm{ifx}=0\\ 1& \mathrm{ifx}>0\end{array}\right.$

8）在以点(u,v)为中心像素的邻域内计算矢量的散度其中：

$\widetilde{\mathrm{\&rho;}}(u,v)=-\mathrm{div}\left(\tilde{w}(u,v)\right)=-\frac{d}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k=-\frac{2}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k$

式中r表示组成以点(u,v)为中心的邻域像素数，d表示函数f(u,v)的维数，n表示各邻域像素的单位法向量，符号“·”表示求数量积；

9）采用归一化置信度D(u,v,m)∈[0,1]来衡量点(u,v)方向，根据上述步骤4）计算得到的λ₁(u,v)和λ₂(u,v)，得到：

$D(u,v,m)=1-e^{-{\left({\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)\right)}^2/{2m}^2}$

${\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)={\mathrm{\&Sigma;}}_{i=1}^2{\mathrm{\&Sigma;}}_{j=i+1}^2{({\mathrm{\&lambda;}}_i(u,v)-{\mathrm{\&lambda;}}_j(u,v))}^2$

式中，m是依赖于道路图像的参数；

10)对点(u,v)进行二值化处理从而提取出车道线特征点，其中：

$f(u,v)=\left\{\begin{array}{c}1,\mathrm{ifD}\&CenterDot;\widetilde{\mathrm{\&rho;}}(u,v)>K\\ 0,\mathrm{else}\end{array}\right.$

式中K≥0，满足f(u,v)＝1的点为特征点；

11)，遍历感兴趣区域(ROI)，重复1)-10)，得到所有特征点。

本发明所提出的复杂路况下车道线特征点提取方法是将车载设备采集的原始道路图像经灰度化、感兴趣区域划分和平滑滤波处理后，应用基于结构张量场水平集外在曲率提取车道线特征点信息。此方法根据车道线局部结构信息来判定某点是否为特征点，即不依赖于车道线与路面的对比度，对于光照变化、阴影遮挡或污迹覆盖等造成的低对比度道路图像，此方法可有效地确定特征点，从而提取出正确的车道线特征信息。

附图说明

图1是特征点提取算法流程图;

图2是道路分区示意图;

图3是感兴趣区域示意图;

图4是特征向量方向示意图;

图5是四邻域散度计算示意图。

具体实施方式

特征点提取方法实施例

本发明的车道线特征点提取方法包括：道路图像的灰度化、感兴趣区域的划分、平滑滤波以及应用结构张量场水平集外在曲率方法提取车道线特征信息。

具体实施步骤：

1、首先通过车载视觉系统采集道路彩色图像，然后将得到的彩色图像经灰度化转换为灰度图像。灰度化采用如下形式：

$\left\{\begin{array}{c}{V}_{\mathrm{gray}}=0.30R+0.59G+0.11B\\ V_{\mathrm{gray}}=R=G=B\end{array}\right.----\left(a\right)$

式中，V_gray代表灰度化后的像素灰度值，R、G、B分别代表RGB彩色模型的三个分量。

2、将灰度图像进行感兴趣区域的划分。根据道路图像对特征点提取的重要程度将其按图2划分为3个区域：左车道线存在区域A1、右车道线存在区域A2以及不考虑区域A3，区域A1、A2一起构成感兴趣区域。A1、A2、A3面积大小可根据道路图像采集设备安装在车辆上的位置、采集设备参数的标定过程以及一些外部条件来确定。由于A3区域主要为天空区域，基本不含车道线信息，车道线特征点提取时直接将其作为背景处理，即只在感兴趣区域A1和A2中进行特征点提取。

3、如图3所示，假设道路图像ROI为f(u,v)，其中u代表行v代表列，定义ROI的左上角为坐标原点。在感兴趣区域ROI内利用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)进行平滑滤波，其中：

$G(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_u{\mathrm{\&sigma;}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{\mathrm{\&sigma;}}_u^2}+\frac{v^2}{{\mathrm{\&sigma;}}_v^2})\}---\left(b\right);$

鉴于现实道路车道线映射到图像上的一些特征，G(u,v,σ_u,σ_v)在u方向滤波的标准差σ_u从消失线位置到底部按照式(c)依次增加：

${\mathrm{\&sigma;}}_u=k\frac{c_1}{(u_{\max }-u_{\mathrm{vanish}}-1)}+c_0,k=\mathrm{0,1,2},...,u_{\max }-u_{\mathrm{vanish}}-1---\left(c\right)$

式(b)、(c)中，u_max对应于u的最大值，u_vanish对应于车道在道路图像中消失线的u坐标，σ_v是G(u,v,σ_u,σ_v)在v方向滤波的标准差，σ_v、c₀以及c₁均为依赖于道路图像的参数。滤波后道路图像为F(u,v)，其中：

F(u,v)＝G(u,v,σ_u,σ_v)*f(u,v)  (d)；

4、对F(u,v)利用基于结构张量场的水平集外在曲率进行车道线特征点提取，具体包含以下步骤：

4.1分别计算F(u,v)的横向一阶差分梯度w_v和纵向一阶差分梯度w_u：

$\left[\begin{array}{c}{w}_u\\ w_v\end{array}\right]=\left[\begin{array}{c}\frac{F(u+1,v)-F(u-1,v)}{2}\\ \frac{F(u,v+1)-F(u,v-1)}{2}\end{array}\right]---\left(e\right)$

4.2为了得到精确的方向特性尽量减少梯度模对其影响，对w_v和w_u进行归一化，得到归一化梯度向量w'(u,v)：

$w^{\&prime;}(u,v)=\left[\begin{array}{c}{w_u}^{\&prime;}\\ {w_v}^{\&prime;}\end{array}\right]=\left[\begin{array}{c}\frac{w_u}{r}\\ \frac{w_v}{r}\end{array}\right]---\left(f\right)$

其中， $r=\sqrt{w_u^2(u,v)+w_v^2(u,v)};$

4.3当车道线存在光照变化、阴影遮挡、破损以及污迹覆盖等情况，此时车道线与路面的对比度下降，从而计算出的梯度方向可能不再指向灰度值变化最大的方向，即垂直于车道线方向，故此对梯度场进行滤波。

构造F(u,v)的结构张量S(u,v)：

$S(u,v)=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]---\left(g\right)$

而

$\left\{\begin{array}{c}a=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_u}^{\&prime;}\right)}^2\\ b=G(u,v,{\mathrm{\&sigma;}}_o)*\left({w_u}^{\&prime;}{w_v}^{\&prime;}\right)\\ c=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_v}^{\&prime;}\right)}^2\end{array}\right.---\left(h\right)$

式(h)中, $G(u,v,{\mathrm{\&sigma;}}_o)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_o^2}\exp \{-\frac{u^2+v^2}{2{\mathrm{\&sigma;}}_o^2}\},$ σ_o为其标准差。

4.4计算结构张量S(u,v)的特征值λ₁(u,v)和λ₂(u,v)，其中，

${\mathrm{\&lambda;}}_1(u,v)=\frac{a+c+\sqrt{{(a-c)}^2+{4b}^2}}{2}---\left(i\right)$

${\mathrm{\&lambda;}}_2(u,v)=\frac{a+c-\sqrt{{(a-c)}^2+{4b}^2}}{2}---\left(j\right)$

4.5计算结构张量S(u,v)的最大特征值所对应的归一化特征向量w^Δ(u,v)：

$w^{\mathrm{\&Delta;}}(u,v)=\left[\begin{array}{c}{w_u}^{\mathrm{\&Delta;}}\\ {w_v}^{\mathrm{\&Delta;}}\end{array}\right]=\left[\begin{array}{c}\frac{2b}{\sqrt{{4b}^2+{[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}^2}}\\ \frac{a-c+\sqrt{{(a-c)}^2+4b^2}}{\sqrt{{4b}^2+[a-c+\sqrt{{(a-c)}^2+4b^2}]}}\end{array}\right]---\left(k\right)$

如图4所示，w^Δ(u,v)为对应于垂直于车道线方向的特征向量。

4.6由于w^Δ(u,v)确定的是一个方向场，即图4中只说明w^Δ(u,v)的方向是垂直于车道线方向但并没有明确指向哪个方向；而下面的计算需要w^Δ(u,v)有一个明确的指向，即需要一个矢量场。故计算一个新的矢量包括以下两步：

首先，把w^Δ(u,v)投影到归一化梯度向量w'(u,v)上得p(u,v):

p(u,v)＝(w^Δ(u,v))^T·w'(u,v)  (l)

然后

$\tilde{w}(u,v)=\mathrm{sign}\left(p(u,v)\right)w^{\mathrm{\&Delta;}}(u,v)---\left(m\right)$

式(l)中符号“T”和“·”表示矩阵转置和矩阵相乘，式（m）中sign是一个符号函数其满足： $\mathrm{sign}\left(x\right)=\left\{\begin{array}{cc}-1& \mathrm{ifx}<0\\ 0& \mathrm{ifx}=0\\ 1& \mathrm{ifx}>0\end{array}\right.$

4.7在以点(u,v)为中心像素的邻域内计算矢量的散度其中：

$\widetilde{\mathrm{\&rho;}}(u,v)=-\mathrm{div}\left(\tilde{w}(u,v)\right)=-\frac{d}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k=-\frac{2}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k---\left(n\right)$

式（n）中r表示组成以点(u,v)为中心的邻域像素数，d表示函数f(u,v)的维数，n表示各邻域像素的单位法向量，符号“·”表示求数量积；

考虑到车道线特征点提取的实时性需要一般取r=4，若如图5所示，则可得：

$\widetilde{\mathrm{\&rho;}}[u,v]=-\frac{1}{2}\left({\tilde{w}}_u\right[u,v+1]-{\tilde{w}}_u[u,v-1]+{\tilde{w}}_v[u+1,v]-{\tilde{w}}_v[u-1,v\left]\right)---\left(o\right)$

4.8为了尽可能地去除道路图像中其他物体的存在对特征点提取的干扰，采用一个置信度来衡量其方向。对点(u,v)方向假设一个归一化值D(u,v,m)∈[0,1]，并且D可由式（i）、（j）S(u,v)的特征值来计算：

$D(u,v,m)=1-e^{-{\left({\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)\right)}^2/{2m}^2}---\left(p\right)$

${\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)={\mathrm{\&Sigma;}}_{i=1}^2{\mathrm{\&Sigma;}}_{j=i+1}^2{({\mathrm{\&lambda;}}_i(u,v)-{\mathrm{\&lambda;}}_j(u,v))}^2---\left(q\right)$

即当λ₁(u,v)、λ₂(u,v)接近时，这意味着各向同性为道路图像中的平坦区域，即非车道线区域，则此时D的值就接近于0，反之则D的值较大。式(p)中c是依赖于道路图像的参数。

4.9对点(u,v)进行二值化处理从而提取出车道线特征点，其中：

$f(u,v)=\left\{\begin{array}{c}1,\mathrm{ifD}\&CenterDot;\widetilde{\mathrm{\&rho;}}(u,v)>K\\ 0,\mathrm{else}\end{array}\right.---\left(r\right)$

4.10不同路况K(K≥0)的值可能会有所不同，然而由于和n都是归一化向量则有：

$|{\tilde{w}}^T\&CenterDot;n|=\left|\right|\tilde{w}\left|\right|\left|\right|n\left|\right|\left|\cos \left(\mathrm{angle}(\tilde{w},n)\right)\right|\&le;1---\left(s\right)$

故 $|D\&CenterDot;\widetilde{\mathrm{\&rho;}}(u,v)|=\frac{2D}{r}|{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k|\&le;\frac{2D}{r}\left|{\mathrm{\&Sigma;}}_{k=1}^{r}1\right|=2D---\left(t\right)$

由于D∈[0,1]，故K在取值时可只在区间K∈[0,2]内取值；

4.11重复4.1-4.9，遍历ROI得特征点提取结果，其中：

在以上方法的基础上，基于设定的车道线模型对提取出的特征点进行拟合就能够实现车道线的检测。

特征点提取装置实施例

特征点提取装置包括：

利用车载设备获得道路的灰度图像的采集模块；

根据道路图像对车道线特征点提取的重要程度将灰度图像划分为不考虑区域和感兴趣区域（ROI）的划分模块；

对感兴趣区域（ROI）进行平滑滤波处理的滤波模块；

对感兴趣区域（ROI）利用基于结构张量场水平集外在曲率进行二值化处理，提取车道线的特征点的计算提取模块。

采集模块、划分模块、滤波模块、计算提取模块分别与方法实施例中步骤（1）——（4）对应，各模块实现对应步骤的功能，在此不再赘述。

Claims (8)

1.一种复杂路况下的车道线特征点提取方法，其特征在于，步骤如下：

(1)用车载设备获得道路的灰度图像；

(2)根据道路图像对车道线特征点提取的重要程度将灰度图像划分为不考虑区域和感兴趣区域ROI；

(3)对感兴趣区域ROI进行平滑滤波处理；

(4)对感兴趣区域ROI利用基于结构张量场水平集外在曲率进行二值化处理，提取车道线的特征点；

步骤(4)中，利用结构张量场水平集外在曲率方法进行二值化处理的具体过程如下：

1)为了凸显车道线方向，分别计算F(u,v)的横向一阶差分梯度w_v和纵向一阶差分梯度w_u，设道路图像ROI为f(u,v)，其中u代表行v代表列，F(u,v)为采用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)对ROI进行平滑滤波处理的滤波结果：

$\left[\begin{array}{c}{w}_u\\ w_v\end{array}\right]=\left[\begin{array}{c}\frac{F(u+1,v)-F(u-1,v)}{2}\\ \frac{F(u,v+1)-F(u,v-1)}{2}\end{array}\right];$ σ_u为G(u,v,σ_u,σ_v)在u方向的滤波标准差，σ_v为

G(u,v,σ_u,σ_v)在v方向滤波的标准差；

2)对w_v和w_u进行归一化，得到归一化梯度向量w′(u,v)：

$w^{\&prime;}(u,v)=\left[\begin{array}{c}\frac{w_u}{r}\\ \frac{w_v}{r}\end{array}\right]$

其中， $r=\sqrt{w_u^2(u,v)+w_v^2(u,v)};$

3)构造F(u,v)的结构张量S(u,v)：

$S(u,v)=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]$ 其中 $\left\{\begin{array}{c}a=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_u}^{\&prime;}\right)}^2\\ b=G(u,v,{\mathrm{\&sigma;}}_o)*\left({w_u}^{\&prime;}{w_v}^{\&prime;}\right)\\ c=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_v}^{\&prime;}\right)}^2\end{array}\right.,$

式中, $G(u,v,{\mathrm{\&sigma;}}_o)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}_o^2}\exp \{-\frac{u^2+v^2}{{2\mathrm{\&sigma;}}_o^2}\},$ σ_o为其标准差，符号*表示卷积；

4)计算S(u,v)的特征值λ₁(u,v)和λ₂(u,v)，其中：

${\mathrm{\&lambda;}}_1(u,v)=\frac{a+c+\sqrt{{(a-c)}^2+{4b}^2}}{2}$

${\mathrm{\&lambda;}}_2(u,v)=\frac{a+c-\sqrt{{(a-c)}^2+{4b}^2}}{2}$

5)计算S(u,v)的最大特征值所对应的归一化特征向量w^Δ(u,v)：

$w^{\mathrm{\&Delta;}}(u,v)=\left[\begin{array}{c}\frac{2b}{\sqrt{{4b}^2+{[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}^2}}\\ \frac{a-c+\sqrt{{(a-c)}^2+{4b}^2}}{\sqrt{{4b}^2+[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}}\end{array}\right];$

6)把w^Δ(u,v)投影到归一化梯度向量w′(u,v)上得p(u,v)：

p(u,v)＝(w^Δ(u,v))^T·w′(u,v)

式中符号“T”和“·”表示矩阵转置和矩阵相乘；

7)计算一个新的矢量

$\tilde{w}(u,v)=\mathrm{sign}\left(p(u,v)\right)w^{\mathrm{\&Delta;}}(u,v)$

其中sign是一个符号函数，满足： $\mathrm{sign}\left(x\right)=\left\{\begin{array}{ccc}-1& \mathrm{if}& x<0\\ 0& \mathrm{if}& x=0\\ 1& \mathrm{if}& x>0\end{array}\right.$

8)在以点(u,v)为中心像素的邻域内计算矢量的散度其中：

$\widetilde{\mathrm{\&rho;}}(u,v)=-\mathrm{div}\left(\tilde{w}(u,v)\right)=-\frac{d}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k=-\frac{2}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k$

式中r表示组成以点(u,v)为中心的邻域像素数，n表示各邻域像素的单位法向量，符号“·”表示求数量积，d表示函数f(u,v)的维数；

9)采用归一化置信度D(u,v,m)∈[0,1]来衡量点(u,v)方向，根据上述步骤4)计算得到的λ₁(u,v)和λ₂(u,v)，得到：

$D(u,v,m)=1-e^{-{\left({\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)\right)}^2/{2m}^2}$

${\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)={\mathrm{\&Sigma;}}_{i=1}^2{\mathrm{\&Sigma;}}_{j=i+1}^2{({\mathrm{\&lambda;}}_i(u,v)-{\mathrm{\&lambda;}}_j(u,v))}^2$

式中，m是依赖于道路图像的参数；

10)对点(u,v)进行二值化处理从而提取出车道线特征点，其中：

$f(u,v)=\left\{\begin{array}{c}1,\mathrm{ifD}\&CenterDot;\widetilde{\mathrm{\&rho;}}(u,v)>K\\ 0,\mathrm{else}\end{array}\right.$

式中K≥0，满足f(u,v)＝1的点为特征点；

11)，遍历感兴趣区域ROI，重复1)-10)，得到所有特征点。

2.根据权利要求1所述的复杂路况下的车道线特征点提取方法，其特征在于，步骤(1)中，通过车载视觉系统将采集到的彩色道路图像转换为灰度图像。

3.根据权利要求2所述的复杂路况下的车道线特征点提取方法，其特征在于，步骤(2)中，根据道路图像对特征点提取的重要程度将图像划分为3个区域：左车道线存在区域、右车道线存在区域和不考虑区域，其中，左车道线存在区域和右车道线存在区域一起构成感兴趣区域ROI，设道路图像ROI为f(u,v)，其中u代表行v代表列，定义感兴趣区域ROI的左上角为坐标原点。

4.根据权利要求3所述的一种复杂路况下的车道线特征点提取方法，其特征在于，步骤(3)中，采用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)对ROI进行平滑滤波处理，滤波结果为F(u,v)，其中：

$G(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}_u{\mathrm{\&sigma;}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{\mathrm{\&sigma;}}_u^2}+\frac{v^2}{{\mathrm{\&sigma;}}_v^2})\}$

σ_u从车道消失线位置到底部按照下式依次增加：

${\mathrm{\&sigma;}}_u=k\frac{c_1}{(u_{\max }-u_{\mathrm{vanish}}-1)}+c_0,$ k＝0，1，2，…，u_max-u_vanish-1

u_max对应于u的最大值，u_vanish对应于车道在道路图像中消失线的u坐标，σ_v、c₀以及c₁均为依赖于道路图像的参数。

5.一种复杂路况下的车道线特征点提取装置，其特征在于，包括：

利用车载设备获得道路的灰度图像的采集模块；

根据道路图像对车道线特征点提取的重要程度将灰度图像划分为不考虑区域和感兴趣区域ROI的划分模块；

对感兴趣区域ROI进行平滑滤波处理的滤波模块；

对感兴趣区域ROI利用基于结构张量场水平集外在曲率进行二值化处理，提取车道线的特征点的计算提取模块；

所述计算提取模块利用结构张量场水平集外在曲率方法进行二值化处理的过程如下：

1)为了凸显车道线方向，分别计算F(u,v)的横向一阶差分梯度w_v和纵向一阶差分梯度w_u，设道路图像ROI为f(u,v)，其中u代表行v代表列，F(u,v)为采用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)对ROI进行平滑滤波处理的滤波结果：

$\left[\begin{array}{c}{w}_u\\ w_v\end{array}\right]=\left[\begin{array}{c}\frac{F(u+1,v)-F(u-1,v)}{2}\\ \frac{F(u,v+1)-F(u,v-1)}{2}\end{array}\right];$

2)对w_v和w_u进行归一化，得到归一化梯度向量w′(u,v)：

$w^{\&prime;}(u,v)=\left[\begin{array}{c}\frac{w_u}{r}\\ \frac{w_v}{r}\end{array}\right]$

其中， $r=\sqrt{w_u^2(u,v)+w_v^2(u,v)};$

3)构造F(u,v)的结构张量S(u,v)：

$S(u,v)=\left[\begin{array}{cc}a& b\\ b& c\end{array}\right]$ 其中 $\left\{\begin{array}{c}a=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_u}^{\&prime;}\right)}^2\\ b=G(u,v,{\mathrm{\&sigma;}}_o)*\left({w_u}^{\&prime;}{w_v}^{\&prime;}\right)\\ c=G(u,v,{\mathrm{\&sigma;}}_o)*{\left({w_v}^{\&prime;}\right)}^2\end{array}\right.,$

式中, $G(u,v,{\mathrm{\&sigma;}}_o)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}_o^2}\exp \{-\frac{u^2+v^2}{{2\mathrm{\&sigma;}}_o^2}\},$ σ_o为其标准差，符号*表示卷积；

4)计算S(u,v)的特征值λ₁(u,v)和λ₂(u,v)，其中：

${\mathrm{\&lambda;}}_1(u,v)=\frac{a+c+\sqrt{{(a-c)}^2+{4b}^2}}{2}$

${\mathrm{\&lambda;}}_2(u,v)=\frac{a+c-\sqrt{{(a-c)}^2+{4b}^2}}{2}$

5)计算S(u,v)的最大特征值所对应的归一化特征向量w^Δ(u,v)：

$w^{\mathrm{\&Delta;}}(u,v)=\left[\begin{array}{c}\frac{2b}{\sqrt{{4b}^2+{[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}^2}}\\ \frac{a-c+\sqrt{{(a-c)}^2+{4b}^2}}{\sqrt{{4b}^2+[a-c+\sqrt{{(a-c)}^2+{4b}^2}]}}\end{array}\right];$

6)把w^Δ(u,v)投影到归一化梯度向量w′(u,v)上得p(u,v)：

p(u,v)＝(w^Δ(u,v))^T·w′(u,v)

式中符号“T”和“·”表示矩阵转置和矩阵相乘；

7)计算一个新的矢量

$\tilde{w}(u,v)=\mathrm{sign}\left(p(u,v)\right)w^{\mathrm{\&Delta;}}(u,v)$

其中sign是一个符号函数，满足： $\mathrm{sign}\left(x\right)=\left\{\begin{array}{ccc}-1& \mathrm{if}& x<0\\ 0& \mathrm{if}& x=0\\ 1& \mathrm{if}& x>0\end{array}\right.$

8)在以点(u,v)为中心像素的邻域内计算矢量的散度其中：

$\widetilde{\mathrm{\&rho;}}(u,v)=-\mathrm{div}\left(\tilde{w}(u,v)\right)=-\frac{d}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k=-\frac{2}{r}{\mathrm{\&Sigma;}}_{k=1}^r{{\tilde{w}}_k}^T\&CenterDot;n_k$

式中r表示组成以点(u,v)为中心的邻域像素数，n表示各邻域像素的单位法向量，符号“·”表示求数量积，d表示函数f(u,v)的维数；

9)采用归一化置信度D(u,v,m)∈[0,1]来衡量点(u,v)方向，根据上述步骤4)计算得到的λ₁(u,v)和λ₂(u,v)，得到：

$D(u,v,m)=1-e^{-{\left({\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)\right)}^2/{2m}^2}$

${\mathrm{\&lambda;}}_{\mathrm{\&Delta;}}(u,v)={\mathrm{\&Sigma;}}_{i=1}^2{\mathrm{\&Sigma;}}_{j=i+1}^2{({\mathrm{\&lambda;}}_i(u,v)-{\mathrm{\&lambda;}}_j(u,v))}^2$

式中，m是依赖于道路图像的参数；

10)对点(u,v)进行二值化处理从而提取出车道线特征点，其中：

$f(u,v)=\left\{\begin{array}{c}1,\mathrm{ifD}\&CenterDot;\widetilde{\mathrm{\&rho;}}(u,v)>K\\ 0,\mathrm{else}\end{array}\right.$

式中K≥0，满足f(u,v)＝1的点为特征点；

11)，遍历感兴趣区域ROI，重复1)-10)，得到所有特征点。

6.根据权利要求5所述的复杂路况下的车道线特征点提取装置，其特征在于，所述采集模块通过车载视觉系统将采集到的彩色道路图像转换为灰度图像。

7.根据权利要求6所述的复杂路况下的车道线特征点提取装置，其特征在于，所述划分模块根据道路图像对特征点提取的重要程度将图像划分为3个区域：左车道线存在区域、右车道线存在区域和不考虑区域，其中，左车道线存在区域和右车道线存在区域一起构成感兴趣区域ROI，设道路图像ROI为f(u,v)，其中u代表行v代表列，定义感兴趣区域ROI的左上角为坐标原点。

8.根据权利要求7所述的一种复杂路况下的车道线特征点提取装置，其特征在于，所述滤波模块采用二维各向异性高斯滤波器G(u,v,σ_u,σ_v)对ROI进行平滑滤波处理，滤波结果为F(u,v)，其中：

$G(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}_u{\mathrm{\&sigma;}}_v}\exp \{-\frac{1}{2}(\frac{u^2}{{\mathrm{\&sigma;}}_u^2}+\frac{v^2}{{\mathrm{\&sigma;}}_v^2})\}$

σ_u从车道消失线位置到底部按照下式依次增加：

${\mathrm{\&sigma;}}_u=k\frac{c_1}{(u_{\max }-u_{\mathrm{vanish}}-1)}+c_0,$ k＝0，1，2，…，u_max-u_vanish-1

u_max对应于u的最大值，u_vanish对应于车道在道路图像中消失线的u坐标，σ_v、c₀以及c₁均为依赖于道路图像的参数。