CN104008645B - 一种适用于城市道路车道线预测及预警方法 - Google Patents

Abstract

本发明公开了一种适用于城市道路车道线预测及预警方法，首先，对采集到的道路图像降采样，设定感兴趣检测区域，灰度化，滤波增强，用Canny算子进行边缘检测，将边缘检测后的图像二值化，映射到Hough平面，用改进的Hough变换提取车道线；然后，采用经典Kalman滤波算法预测车道线参数，建立感兴趣区域，用最小二乘法对感兴趣区域内的车道线进行拟合，得到最优预测值。最后，将道路路面信息和汽车当前位置信息相结合，建立基于横向距离的车道偏离报警模型，实现偏离报警。本发明提出的车道线识别算法具有良好的实时性和鲁棒性，车道偏离报警模型计算简单，报警准确。

Description

一种适用于城市道路车道线预测及预警方法

技术领域

本发明属于汽车主动安全技术领域，涉及一种适用于城市道路车道线预测及预警方法。

背景技术

随着社会经济的快速发展，汽车的数量越来越多，这给人们的生活带来便捷的同时，也带来了频发的交通事故。据统计，每年世界范围内的公路交通事故中大约有1000万人受伤，这些事故直接造成的经济损失约占世界GDP的13％。根据美国联邦公路局估计，美国2002年所有致命的公路交通事故中大约有44％与车辆偏离车道有关。为了有效减少和避免车道偏离交通事故的发生，国内外研究机构和汽车研发、生产厂商越来越重视车道偏离报警系统(LaneDepartureWarningSystem，LDWS)的研究。它是一种辅助驾驶员减少车辆无意识的车道偏离，以防发生交通事故的系统。随着计算机视觉技术的快速发展，基于视觉的LDWS具有成本低廉、信息量丰富等优点，因此机器视觉技术被广泛地应用于车道偏离报警系统中。

基于视觉的车道偏离报警系统的研究主要是针对车道线的检测以及在此基础上的车道偏离报警决策。当前基于视觉的车道线检测算法可以归纳为基于道路特征的方法和基于道路模型的方法。基于特征的方法一般根据车道线的颜色、边缘特征等进行识别，算法简单，但是仅适用于光照良好的干净路面，其抗干扰性和鲁棒性不佳。基于模型的方法通常采用直线、曲线、分段直线、样条曲线模型等来进行车道线识别，该方法鲁棒性好，但是模型越复杂，确定模型参数值的计算量也就越大。目前的车道偏离决策主要有以下几种：基于当前车道位置的CCP(Car'scurrentposition)报警模型；基于车辆将横越车道边界时间的TLC(TimetoLaneCrossing)报警模型；基于左右车道线在图像中夹角和的方法等。

前面提出的车道检测和偏离报警的算法大部分都是针对路况优越的结构化道路进行的。而对于城市半结构化道路，由于路况复杂多变、车道标识线缺损、受污染严重、路面干扰标识较多等诸多因素，现有算法出现了道路模型适应性不强、车道线可识别性不高、受干扰严重等问题，进而导致车道偏离报警准确性较低。因此，针对城市道路环境，需要研究出一种鲁棒性好、准确性高、实时性好的车道识别方法，进而建立一个预报准确、及时的偏离报警系统，达到辅助驾驶的目的。

发明内容

为了克服上述现有技术的不足，本发明提供了一种适用于城市道路车道线预测及预警方法，是一种抗干扰性强、准确性高、实时性好的城市道路车道线检测方法，并且在准确检测出车道线的基础之上，进行及时预报和准确的偏离报警。

一种适用于城市道路车道线预测及预警方法，包括以下几个步骤：

步骤1：实时获取行车道路图像，并以道路图像的下半部分作为道路感兴趣区域ROI；

步骤2：图像预处理；

对道路感兴趣区域ROI依次进行灰度化处理、高斯滤波处理、边缘检测及二值化处理获得道路预处理图像；

步骤3：采用Hough变换对道路预处理图像进行车道线检测，获得当前帧图像的车道线的直线方程y＝kx+b，设置预测次数T初始值为0；

利用Hough变换对道路预处理图像进行车道线检测，获得车道线方程y＝kx+b，其中，x和y表示车道线上任意点的横坐标和纵坐标，图像的底边为x轴，图像底边的中垂线为y轴，垂直向上为y轴正方向，以x轴和y轴的交点作为坐标原点，k和b由车道线的极坐标参数极径ρ和极角转换获得；

步骤4：若当前帧为第一帧图像，则将车道线检测值存储到存储器中；否则，将当前帧图像的车道线检测值与预测器对上一帧图像输出的车道线参数预测值做差值，将获得的差值c与设定的阈值范围[m,n]进行比较，如果差值满足m≤c≤n，则将当前帧图像的车道线检测值代替存储器中的车道线参数，否则以预测器输出的车道线参数预测值代替存储器中的车道线参数；

步骤5：判断预测次数T是否小于设定阈值T0，若小于，则将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域，预测次数T加1，并进入步骤6；否则，进入步骤7；

步骤6：从车道线感兴趣区域中任意提取n个数据点，采用最小二乘法进行拟合，获得当前帧图像的车道线参数预测值；

步骤7：利用前面步骤中获取的车道线参数、车道线位置和道路图像大小，对车辆行车路线进行偏离报警；

计算车辆与所在车道左右车道线之间的横向距离，如果任一横向距离小于预先设定的安全距离阈值，则判定车辆发生了车道偏离，否则，车辆未发生车道偏离，返回步骤1。

假设当前像平面对称轴为x₀，道路区域对称轴为x₁，假设开始行驶时，汽车中心线与车道平行。当汽车行驶在道路中心时对称轴x₀和x₁重合，如果车辆行驶发生偏移时，x₀和x₁之间必然有较大的偏差。计算出像平面对称轴x₀距离左右车道线的距离d_l和d_r，设置一个安全距离阈值H＝0.4*W(W为图像的宽度),当min(d_l,d_r)>H时，表明车辆处于正常行驶状态；否则，如果d_l<H，则表明车辆向左侧车道偏离，若d_r<H，则表明车辆向右侧车道偏离。根据偏离的具体情况，报警系统对驾驶员做出相应的提醒，以及时对车辆行驶状态做出调整，避免发生无意识的车道偏离。

城市道路车道线检测基于以下道路模型假设：

(1)基于直线模型假设。根据城市道路的特征以及相机拍摄的区域，将近视野范围内的车道线定义为直线模型：y＝kx+b。

(2)左右车道线平行假设。无论直道、弯道或者弯路等，都假设近视场范围内的左右两车道线是相互平行的，延长线相交于远处消隐点。

(3)车道线连续性假设。对于虚线车道线或者被车辆遮挡的车道线，假设其间断区域也存在虚拟的边缘点，当作连续的车道线来处理。

边缘点位置的可预测性假设。对视频序列进行处理时，由于车速较快，相机的采集速度(25帧/s)较快，视频流中相邻两帧图像中车道线位置变化比较小，因此边缘点位置具有可预测性。

所述步骤5将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域，具体过程如下：

步骤A：建立Kalman预测器的状态方程、观测方程和预测器方程；

把第n帧的车道线参数作为观测值输入Kalman预测器，得到下一帧(n+1帧)图像车道线位置的预测，计算出搜索区域；

Kalman预测器的状态方程和观测方程如下:

$\left\{\begin{array}{c}x(n+1)=\mathrm{Gx}\left(n\right)+w\left(n\right)\\ z\left(n\right)=\mathrm{Hx}\left(n\right)+v\left(n\right)\end{array}\right.---\left(1\right)$

式中，x(n+1)和x(n)分别为系统第n+1帧和第n帧的状态向量；w(n)为系统噪声向量，v(n)观测噪声向量；G是状态转移矩阵；H是测量矩阵；z(n)为观测向量；

设定车道线为左车道线，x_l和z_l的定义如下：

$\left\{\begin{array}{c}{x}_l=(\arctan \left(k_l\right),b_l,u,v)\\ z_l=(\arctan \left(k_l\right),b_l)\end{array}\right.---\left(2\right)$

上式中,k_l和b_l为左边车道线的斜率和截距；u和v分别表示直线斜率k_l和截距b_l对应的变化速度；

Kalman预测器方程如下式：

$\left\{\begin{array}{c}k\left(n\right)=p\left(n\right|n-1)H^T{[\mathrm{Hp}\left(n\right|n-1)H^T+R]}^{-1}\\ k_p=\mathrm{Gk}\left(n\right)\\ \mathrm{\&epsiv;}\left(n\right)=z\left(n\right)-\mathrm{Hx}\left(n\right|n-1)\\ x(n+1|n)=\mathrm{Gx}\left(n\right|n-1)+k_p\left(n\right)\mathrm{\&epsiv;}\left(n\right)\\ p(n+1|n)=G[p\left(n\right|n-1)-p\left(n\right|n-1)H^T(\mathrm{Hp}\left(n\right|n-1)H^T\\ +R{)}^{-1}\mathrm{Hp}\left(n\right|n-1)]G^T+Q\end{array}\right.---\left(3\right)$

方程中，x(n+1|n)为根据第n帧状态预测第n+1帧的预测值；p(n+1|n)是对应于x(n+1|n)的预测误差协方差矩阵；k(n)为Kalman预测器增益；ε(n)为n帧的观测值与预测值之间的偏差量；Q和R分别为系统动态方程和测量方程的误差协方差矩阵；

步骤B：对步骤A方程式中的各矩阵设定初始值；

状态转移矩阵G为:

$G=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

系统测量矩阵H为：

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

以相邻两帧图像第t帧和第t+1帧为例，初始状态向量x_l(0)为：

$x_l\left(0\right)=\left[\begin{array}{c}\arctan \left(k_l(t+1)\right)\\ b_l(t+1)\\ \arctan \left(k_l(t+1)\right)-\arctan \left(k_l\left(t\right)\right)\\ b_l(t+1)-b_l\left(t\right)\end{array}\right]$

预测误差协方差矩阵初始值p_l(0)定义为：

$p_l\left(0\right)=\left[\begin{array}{cccc}9& 0& 0& 0\\ 0& 25& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 4\end{array}\right]$

系统动态方程的误差协方差矩阵Q表示如下：

$Q=\left[\begin{array}{cccc}{[x_l\left(0\right)\left(1\right)*0.2]}^2& 0& 0& 0\\ 0& {[x_l\left(0\right)\left(2\right)*0.2]}^2& 0& 0\\ 0& 0& {[x_l\left(0\right)\left(3\right)*0.2]}^2& 0\\ 0& 0& 0& {[x_l\left(0\right)\left(4\right)*0.2]}^2\end{array}\right]$

测量方程的误差协方差矩阵R表述为：

$Q=\left[\begin{array}{cc}{[x_l\left(0\right)\left(1\right)*0.1]}^2& 0\\ 0& {[x_l\left(0\right)\left(2\right)*0.1]}^2\end{array}\right]$

步骤C：根据步骤A和步骤B中的状态预测方程和更新方程以及各初始值，每一帧图像的状态向量x_l(n+1)和相应的预测误差协方差矩阵p_l(n+1)将被估计，利用卡尔曼预测算法预测左边车道线的感兴趣区域；

进入跟踪后，道路左边车道线斜率搜索的范围界定为tan[x_l(n+1|n)(1)±p₁(1,1)]，截距搜索范围界定为x_l(n+1|n)(2)±p₁(2,2)；得到下一帧图像的状态向量和相应的协方差矩阵；

利用卡尔曼预测算法最终确定左边车道的感兴趣区域为：

(kl₁,bl₁,kl₂,bl₂)＝(tan[x_l(n+1|n)(1)-p₁(1,1)],x_l(n+1|n)(2)-p₁(2,2)),tan[x_l(n+1|n)(1)+p₁(1,1)],x_l(n+1|n)(2)+p₁(2,2))(4)

等式左边(kl₁,bl₁)和(kl₂,bl₂)为左边车道线感兴趣区域的限定边界线，其中kl₁和bl₁分别为上面那条限定边界线的斜率和截距，kl₂和bl₂为下面限定边界线的斜率和截距；右边是用卡尔曼滤波方程式相关结果表示的计算式；其中p₁(1,1)和p₁(2,2)分别为对应于x_l(n+1|n)的预测误差协方差矩阵p_l(n+1|n)中的元素，x_l(n+1|n)为根据第n帧状态预测第n+1帧的预测值，x_l(n+1|n)(1)是x_l(n+1|n)中的第一个元素，x_l(n+1|n)(2)是x_l(n+1|n)中的第二个元素。

重复上述步骤，得到右边车道线感兴趣区域为：

(kr₁,br₁,kr₂,br₂)＝(tan[x_r(n+1|n)(1)-p_r(1,1)],x_r(n+1|n)(2)-p_r(2,2)),tan[x_r(n+1|n)(1)+p_r(1,1)],x_r(n+1|n)(2)+p_r(2,2))(5)

等式左边(kr₁,br₁)和(kr₂,br₂)为右边车道线感兴趣区域的限定边界线，其中kr₁和br₁分别为上面那条限定边界线的斜率和截距，kr₂和br₂为下面限定边界线的斜率和截距；右边是用卡尔曼滤波方程式相关结果表示的计算式；其中p_r(1,1)和p_r(2,2)分别为对应于x_r(n+1|n)的预测误差协方差矩阵p_r(n+1|n)中的元素，x_r(n+1|n)为根据第n帧状态预测第n+1帧的预测值，x_r(n+1|n)(1)是x_r(n+1|n)中的第一个元素，x_r(n+1|n)(2)是x_r(n+1|n)中的第二个元素。

所述采用Hough变换对道路预处理图像进行车道线检测时，将道路预处理图像平均分为左右两半，得到左半图像和右半图像，依次对左半图像和右半图像进行Hough变换获得左半图像中左车道线和右半图像中右车道线在极坐标上的参数ρ和θ：左半图像中的像素点的Hough变换范围是-5°<θ_l<-85°，右半图像中的像素点的Hough变换范围是5°<θ_r<85°，其中θ_l和θ_r分别表示左半图像中的像素点的极角和右半图像中的像素点的极角。

基于先验知识改进的Hough变换：

Hough变换是一种依据全局统计信息的曲线提取方法，从图像空间点向参数空间对应位置进行点数累加并搜索参数空间的峰值来获得曲线方程。它是一种具有很好的鲁棒性，能处理道路图像中车道线被部分遮挡、缺损等情况下的车道检测算法。传统的Hough变换是对图像中的每个像素点都作180°的变换，然而感兴趣的区域只占图像的一部分，这样会增加图像处理的复杂度和工作量，达不到实时性的要求，所以本发明对传统的Hough变换算法进行了一些改进:

1)检测区域设置为图像的下半部分。降采样后的图像尺寸为320×240，使用Hough变换处理图像的下半部分，即ROI图像部分。

2)左右车道线的位置特征。因为左右车道线分别位于图像检测区域的左半部分和右半部分，所以可以对检测区域左右两块分别进行检测。在进行Hough变换时，对于在道路图像左半部分像素点只作θ_l(-5°<θ_l<-85°)的变换，右半部分像素点θ_r(5°<θ_r<85°)的变换。

利用改进的Hough变换可以提取出左右车道线在极坐标上的参数ρ和θ，进而可以得到车道线在直角坐标上的参数k和b。

有益效果

与现有技术相比，本发明的有益效果有：

1、针对城市道路上汽车的车道保持要求而提出，能够有效减少和避免无意识的车道偏离交通事故的发生，提高汽车的主动安全性能。

2、实时性好，每秒钟可以处理25帧图片；本发明基于城市道路假设模型，利用改进的Hough变换进行车道线检测，该算法通过设置感兴趣区域减少搜索范围，提高了检测效率。

3、车道线识别准确性高，抗干扰强；本发明改进了车道线跟踪算法，极大地提高了车道线识别的准确性和鲁棒性，为准确地进行城市道路检测提供了有力的保证。在道路状况良好的条件下，车道线识别率可以达到将近98％；路况复杂的条件下识别率也可以达到93％以上。

4、车道偏离报警模型简单、有效；本发明提出了一种无需进行相机参数标定的车道偏离报警模型，计算简单、准确性高，提高了偏离报警的实时性。

附图说明

图1为本发明的车道线检测及跟踪整体流程图；

图2为道路图像感兴趣区域ROI；

图3为车道线感兴趣区域；

图4为车道偏离示意图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

本发明在城市道路上采集视频图像，采集设备为工业相机，实验计算平台为笔记本电脑。

本发明针对城市半结构化道路路况复杂多变、车道标识线缺损、受污染严重、路面干扰标识和车辆较多等因素，基于道路直线模型，提出了一种适用于城市道路的具有良好实时性和鲁棒性的车道线识别方法，流程图如图1所示。在准确检测出车道线的基础之上，建立基于横向距离的车道偏离报警模型，实现辅助驾驶。

一种适用于城市道路车道线预测及预警方法，包括以下几个步骤：

步骤1：实时获取行车道路图像，并以道路图像的下半部分作为道路感兴趣区域ROI；

步骤2：图像预处理；

对道路感兴趣区域ROI依次进行灰度化处理、高斯滤波处理、边缘检测及二值化处理获得道路预处理图像；

步骤3：采用Hough变换对道路预处理图像进行车道线检测，获得当前帧图像的车道线的直线方程y＝kx+b，设置预测次数T初始值为0；

利用Hough变换对道路预处理图像进行车道线检测，获得车道线方程y＝kx+b，其中，x和y表示车道线上任意点的横坐标和纵坐标，图像的底边为x轴，图像底边的中垂线为y轴，垂直向上为y轴正方向，以x轴和y轴的交点作为坐标原点，k和b由车道线的极坐标参数极径ρ和极角转换获得；

步骤4：若当前帧为第一帧图像，则将车道线检测值存储到存储器中；否则，将当前帧图像的车道线检测值与预测器对上一帧图像输出的车道线参数预测值做差值，将获得的差值c与设定的阈值范围[m,n]进行比较，如果差值满足m≤c≤n，则将当前帧图像的车道线检测值代替存储器中的车道线参数，否则以预测器输出的车道线参数预测值代替存储器中的车道线参数；

步骤5：判断预测次数T是否小于设定阈值T0，若小于，则将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域，预测次数T加1，并进入步骤6；否则，进入步骤7；

步骤6：从车道线感兴趣区域中任意提取n个数据点，采用最小二乘法进行拟合，获得当前帧图像的车道线参数预测值；

步骤7：利用前面步骤中获取的车道线参数、车道线位置和道路图像大小，对车辆行车路线进行偏离报警；

计算车辆与所在车道左右车道线之间的横向距离，如果任一横向距离小于预先设定的安全距离阈值，则判定车辆发生了车道偏离，否则，车辆未发生车道偏离，返回步骤1。

具体实施步骤如下：

1、车载视频采集设备的安装

摄像机安装在汽车前挡风玻璃的正中央偏上位置，离地平面的垂直高度大约1.3米，相机的光轴平行于车辆底盘所在平面，朝向车辆行驶的正前方。将相机连接到笔记本计算控制平台，调试好相机焦距、光圈、采集速度和曝光时间等软硬件参数。

采集速度是25帧每秒，曝光时间为动态设置，在采集视频图像之前，将摄像机的焦距、光圈调试到最佳位置，以使采集到的图像为最清晰状态。

2、道路图像预处理

相机的采集速度设置为25帧/秒，图像大小为640*480。为了实现算法的实时性，将图像降采样为320*240大小，截取降采样后图像的下半部分创建算法执行区域ROI(如图2所示)。根据相机的安装情况、视角参数以及拍摄到的图像信息可知，图像的上半部分基本上是天空和远处的建筑物等无关信息，为了减少预处理的时间、突出车道线感兴趣区域，在图像预处理时只考虑图像的下半部分(即感兴趣区域ROI)。

对感兴趣区域进行一系列的图像预处理步骤如下：

步骤1：对ROI图像灰度化，用于去除颜色信息，提高处理速度；

步骤2：对ROI高斯滤波，二维高斯滤波具有可分离特性，先使用[121]模板在水平方向进行一维高斯滤波，然后使用[121]^[T]模板在竖直方向进行一维高斯滤波；

步骤3：边缘检测，采用Canny边缘检测算子来进行车道边缘的提取，它能在抑制噪声和边缘检测之间取得较好的平衡；

步骤4：二值化，采用自适应阈值法提取阈值T，对图像进行二值化处理；

3、采用改进的Hough变换进行车道线检测

道路图像预处理后，使用改进的霍夫变换进行车道线检测，将检测区域分为左右两块，分别进行检测。对于在道路图像左半部分像素点只作θ_l(-5°<θ_l<-85°)的变换，右半部分像素点θ_r(5°<θ_r<85°)的变换。

4、车道线跟踪

通过运用第3步的车道线检测方法，虽然可以初步提取出车道线的参数、位置和方向信息，但是由于城市道路的结构比较复杂，存在很多干扰车道线识别的因素，所以接下来引入车道线跟踪模块。

4.1、基于Kalman预测器建立感兴趣区域

把第n帧的车道线参数作为观测值输入Kalman预测器，得到下一帧(n+1帧)图像车道线位置的预测，计算出搜索区域。

Kalman预测器的状态方程和观测方程如下(1):

$\left\{\begin{array}{c}x(n+1)=\mathrm{Gx}\left(n\right)+w\left(n\right)\\ z\left(n\right)=\mathrm{Hx}\left(n\right)+v\left(n\right)\end{array}\right.---\left(1\right)$

式中，x(n+1)和x(n)分别为系统第n+1帧和第n帧的状态向量；w(n)为系统噪声向量，v(n)观测噪声向量；G是状态转移矩阵；H是测量矩阵；z(n)为观测向量。

以左车道线为例，x和z的定义如下(2)：

$\left\{\begin{array}{c}{x}_l=(\arctan \left(k_l\right),b_l,u,v)\\ z_l=(\arctan \left(k_l\right),b_l)\end{array}\right.---\left(2\right)$

上式中,k_l和b_l为左边车道线的斜率和截距；u和v分别表示直线斜率k_l和截距b_l对应的变化速度。

Kalman预测器方程为式(3)：

$\left\{\begin{array}{c}k\left(n\right)=p\left(n\right|n-1)H^T{[\mathrm{Hp}\left(n\right|n-1)H^T+R]}^{-1}\\ k_p=\mathrm{Gk}\left(n\right)\\ \mathrm{\&epsiv;}\left(n\right)=z\left(n\right)-\mathrm{Hx}\left(n\right|n-1)\\ x(n+1|n)=\mathrm{Gx}\left(n\right|n-1)+k_p\left(n\right)\mathrm{\&epsiv;}\left(n\right)\\ p(n+1|n)=G[p\left(n\right|n-1)-p\left(n\right|n-1)H^T(\mathrm{Hp}\left(n\right|n-1)H^T\\ +R{)}^{-1}\mathrm{Hp}\left(n\right|n-1)]G^T+Q\end{array}\right.---\left(3\right)$

方程中，x(n+1|n)为根据第n帧状态预测第n+1帧的预测值；p(n+1|n)是对应于x(n+1|n)的预测误差协方差矩阵；k(n)为Kalman预测器增益；ε(n)为n帧的观测值与预测值之间的偏差量；Q和R分别为系统动态方程和测量方程的误差协方差矩阵。

状态转移矩阵可以表示为:

$G=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

为了观测道路区域的各个状态变量，选取系统测量矩阵为：

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

为了应用卡尔曼滤波预测，必须确定状态变量的初始状态和误差方差矩阵的初始值。可以假设两帧图像是第t帧和第t+1帧，初始状态向量x_l(0)可以表示为：

$x_l\left(0\right)=\left[\begin{array}{c}\arctan \left(k_l(t+1)\right)\\ b_l(t+1)\\ \arctan \left(k_l(t+1)\right)-\arctan \left(k_l\left(t\right)\right)\\ b_l(t+1)-b_l\left(t\right)\end{array}\right]$

由于误差协方差矩阵可以随着图像反复更新，最终将收敛，故可以将它设置一个较大的初值。假设预测位置的斜率离实际位置有±3°的误差，截距误差有±5个像素，斜率变化和截距变化误差为±2。由此，误差协方差矩阵p_l(0)可以定义为：

$p_l\left(0\right)=\left[\begin{array}{cccc}9& 0& 0& 0\\ 0& 25& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 4\end{array}\right]$

确定了x_l(0)和p_l(0)后，还需要估计系统动态方程和测量方程的误差协方差矩阵Q和R。本专利认为误差协方差矩阵的对角元素应该是以状态变量的初始状态为圆心的一定区域内的值。由此用x_l(0)乘以20％取平方，状态变量噪声的协方差矩阵可以表示如下：

$Q=\left[\begin{array}{cccc}{[x_l\left(0\right)\left(1\right)*0.2]}^2& 0& 0& 0\\ 0& {[x_l\left(0\right)\left(2\right)*0.2]}^2& 0& 0\\ 0& 0& {[x_l\left(0\right)\left(3\right)*0.2]}^2& 0\\ 0& 0& 0& {[x_l\left(0\right)\left(4\right)*0.2]}^2\end{array}\right]$

考虑到观测的状态变量应该更接近均值，测量方程的误差协方差矩阵R表述为：

$Q=\left[\begin{array}{cc}{[x_l\left(0\right)\left(1\right)*0.1]}^2& 0\\ 0& {[x_l\left(0\right)\left(2\right)*0.1]}^2\end{array}\right]$

根据状态预测方程和更新方程以及各初始值，每一帧图像状态向量x_l(n+1)和相应的协方差矩阵p_l(n+1)被估计。。因此进入跟踪后，道路左边车道线斜率搜索的范围界定为tan[x_l(n+1|n)(1)±p₁(1,1)]，截距搜索范围界定为x_l(n+1|n)(2)±p₁(2,2)。可以得到下一帧图像的状态向量和相应的协方差矩阵。如图3所示，利用卡尔曼预测算法最终确定左边车道的感兴趣区域为：

(kl₁,bl₁,kl₂,bl₂)＝(tan[x_l(n+1|n)(1)-p₁(1,1)],x_l(n+1|n)(2)-p₁(2,2)),tan[x_l(n+1|n)(1)+p₁(1,1)],x_l(n+1|n)(2)+p₁(2,2))(4)

等式左边(kl₁,bl₁)和(kl₂,bl₂)为左边车道线感兴趣区域的限定边界线，其中kl₁和bl₁分别为上面那条限定边界线的斜率和截距，kl₂和bl₂为下面限定边界线的斜率和截距；右边是用卡尔曼滤波方程式相关结果表示的计算式，用来计算等式左边相应的参数。其中p₁(1,1)和p₁(2,2)

分别为对应于x_l(n+1|n)的预测误差协方差矩阵p_l(n+1|n)中的元素，x_l(n+1|n)为根据第n帧状态预测第n+1帧的预测值，x_l(n+1|n)(1)是x_l(n+1|n)中的第一个元素，x_l(n+1|n)(2)是x_l(n+1|n)中的第二个元素。

同理，右边车道线感兴趣区域为：

(kr₁,br₁,kr₂,br₂)＝(tan[x_r(n+1|n)(1)-p_r(1,1)],x_r(n+1|n)(2)-p_r(2,2)),tan[x_r(n+1|n)(1)+p_r(1,1)],x_r(n+1|n)(2)+p_r(2,2))(5)

等式左边(kr₁,br₁)和(kr₂,br₂)为右边车道线感兴趣区域的限定边界线，其中kr₁和br₁分别为上面那条限定边界线的斜率和截距，kr₂和br₂为下面限定边界线的斜率和截距；右边是用卡尔曼滤波方程式相关结果表示的计算式，用来计算等式左边相应的参数。其中p_r(1,1)和p_r(2,2)

分别为对应于x_r(n+1|n)的预测误差协方差矩阵p_r(n+1|n)中的元素，x_r(n+1|n)为根据第n帧状态预测第n+1帧的预测值，x_r(n+1|n)(1)是x_r(n+1|n)中的第一个元素，x_r(n+1|n)(2)是x_r(n+1|n)中的第二个元素。

4.2、最小二乘法拟合车道线参数

用最小二乘法对图3感兴趣区域内的车道线进行拟合，提取出车道线参数，用拟合的方法可以提高车道线预测的实时性和准确性。具体方法见步骤5。

5、建立基于横向距离的车道偏离报警模型

在上面车道检测及跟踪部分中，获得了汽车所在车道左右边界线，这两条左右车道线将道路区域从图形中区分出来。根据道路图像特征和车道线数据信息，建立基于横向距离的车道偏离报警模型。

基于横向距离的车道偏离报警模型的基本思想：通过计算车辆与所在车道左右车道线之间的横向距离，来判断是否发生车道偏离的方法。如果横向距离大于预先设定的安全距离阈值，就认为车辆行驶正常，否则就认为车辆发生了车道偏离。

车道偏离示意图如图4所示，表明了车辆向车道右侧偏离的情况。假设当前像平面对称轴为x₀，道路区域对称轴为x₁，假设开始行驶时，汽车中心线与车道平行。当汽车行驶在道路中心时对称轴x₀和x₁重合，如果车辆行驶发生偏移时，x₀和x₁之间必然有较大的偏差。计算出像平面对称轴x₀距离左右车道线的距离d_l和d_r，设置一个安全距离阈值H＝0.4*W(W为图像的宽度),当min(d_l,d_r)>H时，表明车辆处于正常行驶状态；否则，如果d_l<H，则表明车辆向左侧车道偏离，若d_r<H，则表明车辆向右侧车道偏离。根据偏离的具体情况，报警系统对驾驶员做出相应的提醒，以及时对车辆行驶状态做出调整，避免发生无意识的车道偏离。

Claims (2)

1.一种适用于城市道路车道线预测及预警方法，其特征在于，包括以下几个步骤：

步骤1：实时获取行车道路图像，并以道路图像的下半部分作为道路感兴趣区域ROI；

步骤2：图像预处理；

对道路感兴趣区域ROI依次进行灰度化处理、高斯滤波处理、边缘检测及二值化处理获得道路预处理图像；

步骤3：采用Hough变换对道路预处理图像进行车道线检测，获得当前帧图像的车道线的直线方程y＝kx+b，设置预测次数T初始值为0；

利用Hough变换对道路预处理图像进行车道线检测，获得车道线方程y＝kx+b，其中，x和y表示车道线上任意点的横坐标和纵坐标，图像的底边为x轴，图像底边的中垂线为y轴，垂直向上为y轴正方向，以x轴和y轴的交点作为坐标原点，k和b由车道线的极坐标参数极径ρ和极角转换获得；

步骤4：若当前帧为第一帧图像，则将车道线检测值存储到存储器中；否则，将当前帧图像的车道线检测值与预测器对上一帧图像输出的车道线参数预测值做差值，将获得的差值c与设定的阈值范围[m,n]进行比较，如果差值满足m≤c≤n，则将当前帧图像的车道线检测值代替存储器中的车道线参数，否则以预测器输出的车道线参数预测值代替存储器中的车道线参数；

步骤5：判断预测次数T是否小于设定阈值T0，若小于，则将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域，预测次数T加1，并进入步骤6；否则，进入步骤7；

步骤6：从车道线感兴趣区域中任意提取n个数据点，采用最小二乘法进行拟合，获得当前帧图像的车道线参数预测值；

步骤7：利用前面步骤中获取的车道线参数、车道线位置和道路图像大小，对车辆行车路线进行偏离报警；

计算车辆与所在车道左右车道线之间的横向距离，如果任一横向距离小于预先设定的安全距离阈值，则判定车辆发生了车道偏离，否则，车辆未发生车道偏离，返回步骤1；

所述步骤5将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域，具体过程如下：

步骤A：建立Kalman预测器的状态方程、观测方程和预测器方程；

把第n帧的车道线参数作为观测值输入Kalman预测器，得到下一帧(n+1帧)图像车道线位置的预测，计算出搜索区域；

Kalman预测器的状态方程和观测方程如下:

式中，x(n+1)和x(n)分别为系统第n+1帧和第n帧的状态向量；w(n)为系统噪声向量，v(n)观测噪声向量；G是状态转移矩阵；H是测量矩阵；z(n)为观测向量；

设定车道线为左车道线，x_l和z_l的定义如下：

上式中,k_l和b_l为左边车道线的斜率和截距；u和v分别表示直线斜率k_l和截距b_l对应的变化速度；

Kalman预测器方程如下式：

方程中，x(n+1|n)为根据第n帧状态预测第n+1帧的预测值；p(n+1|n)是对应于x(n+1|n)的预测误差协方差矩阵；k(n)为Kalman预测器增益；ε(n)为n帧的观测值与预测值之间的偏差量；Q和R分别为系统动态方程和测量方程的误差协方差矩阵；

步骤B：对步骤A方程式中的各矩阵设定初始值；

状态转移矩阵G为:

系统测量矩阵H为：

以相邻两帧图像第t帧和第t+1帧为例，初始状态向量x_l(0)为：

预测误差协方差矩阵初始值p_l(0)定义为：

系统动态方程的误差协方差矩阵Q表示如下：

测量方程的误差协方差矩阵R表述为：

步骤C：根据步骤A和步骤B中的状态预测方程和更新方程以及各初始值，每一帧图像的状态向量x_l(n+1)和相应的预测误差协方差矩阵p_l(n+1)将被估计，利用卡尔曼预测算法预测左边车道线的感兴趣区域；

进入跟踪后，道路左边车道线斜率搜索的范围界定为tan[x_l(n+1|n)(1)±p₁(1,1)]，截距搜索范围界定为x_l(n+1|n)(2)±p₁(2,2)；得到下一帧图像的状态向量和相应的协方差矩阵；

利用卡尔曼预测算法最终确定左边车道的感兴趣区域为：

(kl₁,bl₁,kl₂,bl₂)＝(tan[x_l(n+1|n)(1)-p₁(1,1)],x_l(n+1|n)(2)-p₁(2,2)),

(4)

tan[x_l(n+1|n)(1)+p₁(1,1)],x_l(n+1|n)(2)+p₁(2,2))

等式左边(kl₁,bl₁)和(kl₂,bl₂)为左边车道线感兴趣区域的限定边界线，其中kl₁和bl₁分别为上面那条限定边界线的斜率和截距，kl₂和bl₂为下面限定边界线的斜率和截距；右边是用卡尔曼滤波方程式相关结果表示的计算式；其中p₁(1,1)和p₁(2,2)分别为对应于x_l(n+1|n)的预测误差协方差矩阵p_l(n+1|n)中的元素，x_l(n+1|n)为根据第n帧状态预测第n+1帧的预测值，x_l(n+1|n)(1)是x_l(n+1|n)中的第一个元素，x_l(n+1|n)(2)是x_l(n+1|n)中的第二个元素；

重复上述步骤，得到右边车道线感兴趣区域为：

(kr₁,br₁,kr₂,br₂)＝(tan[x_r(n+1|n)(1)-p_r(1,1)],x_r(n+1|n)(2)-p_r(2,2)),

(5)

tan[x_r(n+1|n)(1)+p_r(1,1)],x_r(n+1|n)(2)+p_r(2,2))

等式左边(kr₁,br₁)和(kr₂,br₂)为右边车道线感兴趣区域的限定边界线，其中kr₁和br₁分别为上面那条限定边界线的斜率和截距，kr₂和br₂为下面限定边界线的斜率和截距；右边是用卡尔曼滤波方程式相关结果表示的计算式；其中p_r(1,1)和p_r(2,2)分别为对应于x_r(n+1|n)的预测误差协方差矩阵p_r(n+1|n)中的元素，x_r(n+1|n)为根据第n帧状态预测第n+1帧的预测值，x_r(n+1|n)(1)是x_r(n+1|n)中的第一个元素，x_r(n+1|n)(2)是x_r(n+1|n)中的第二个元素。

2.根据权利要求1所述的适用于城市道路车道线预测及预警方法，其特征在于，所述采用Hough变换对道路预处理图像进行车道线检测时，将道路预处理图像平均分为左右两半，得到左半图像和右半图像，依次对左半图像和右半图像进行Hough变换获得左半图像中左车道线和右半图像中右车道线在极坐标上的参数ρ和θ：左半图像中的像素点的Hough变换范围是-5°<θ_l<-85°，右半图像中的像素点的Hough变换范围是5°<θ_r<85°，其中θ_l和θ_r分别表示左半图像中的像素点的极角和右半图像中的像素点的极角。