CN104008645B - 一种适用于城市道路车道线预测及预警方法 - Google Patents
一种适用于城市道路车道线预测及预警方法 Download PDFInfo
- Publication number
- CN104008645B CN104008645B CN201410260194.9A CN201410260194A CN104008645B CN 104008645 B CN104008645 B CN 104008645B CN 201410260194 A CN201410260194 A CN 201410260194A CN 104008645 B CN104008645 B CN 104008645B
- Authority
- CN
- China
- Prior art keywords
- lane line
- image
- equation
- lane
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于城市道路车道线预测及预警方法,首先,对采集到的道路图像降采样,设定感兴趣检测区域,灰度化,滤波增强,用Canny算子进行边缘检测,将边缘检测后的图像二值化,映射到Hough平面,用改进的Hough变换提取车道线;然后,采用经典Kalman滤波算法预测车道线参数,建立感兴趣区域,用最小二乘法对感兴趣区域内的车道线进行拟合,得到最优预测值。最后,将道路路面信息和汽车当前位置信息相结合,建立基于横向距离的车道偏离报警模型,实现偏离报警。本发明提出的车道线识别算法具有良好的实时性和鲁棒性,车道偏离报警模型计算简单,报警准确。
Description
技术领域
本发明属于汽车主动安全技术领域,涉及一种适用于城市道路车道线预测及预警方法。
背景技术
随着社会经济的快速发展,汽车的数量越来越多,这给人们的生活带来便捷的同时,也带来了频发的交通事故。据统计,每年世界范围内的公路交通事故中大约有1000万人受伤,这些事故直接造成的经济损失约占世界GDP的13%。根据美国联邦公路局估计,美国2002年所有致命的公路交通事故中大约有44%与车辆偏离车道有关。为了有效减少和避免车道偏离交通事故的发生,国内外研究机构和汽车研发、生产厂商越来越重视车道偏离报警系统(LaneDepartureWarningSystem,LDWS)的研究。它是一种辅助驾驶员减少车辆无意识的车道偏离,以防发生交通事故的系统。随着计算机视觉技术的快速发展,基于视觉的LDWS具有成本低廉、信息量丰富等优点,因此机器视觉技术被广泛地应用于车道偏离报警系统中。
基于视觉的车道偏离报警系统的研究主要是针对车道线的检测以及在此基础上的车道偏离报警决策。当前基于视觉的车道线检测算法可以归纳为基于道路特征的方法和基于道路模型的方法。基于特征的方法一般根据车道线的颜色、边缘特征等进行识别,算法简单,但是仅适用于光照良好的干净路面,其抗干扰性和鲁棒性不佳。基于模型的方法通常采用直线、曲线、分段直线、样条曲线模型等来进行车道线识别,该方法鲁棒性好,但是模型越复杂,确定模型参数值的计算量也就越大。目前的车道偏离决策主要有以下几种:基于当前车道位置的CCP(Car'scurrentposition)报警模型;基于车辆将横越车道边界时间的TLC(TimetoLaneCrossing)报警模型;基于左右车道线在图像中夹角和的方法等。
前面提出的车道检测和偏离报警的算法大部分都是针对路况优越的结构化道路进行的。而对于城市半结构化道路,由于路况复杂多变、车道标识线缺损、受污染严重、路面干扰标识较多等诸多因素,现有算法出现了道路模型适应性不强、车道线可识别性不高、受干扰严重等问题,进而导致车道偏离报警准确性较低。因此,针对城市道路环境,需要研究出一种鲁棒性好、准确性高、实时性好的车道识别方法,进而建立一个预报准确、及时的偏离报警系统,达到辅助驾驶的目的。
发明内容
为了克服上述现有技术的不足,本发明提供了一种适用于城市道路车道线预测及预警方法,是一种抗干扰性强、准确性高、实时性好的城市道路车道线检测方法,并且在准确检测出车道线的基础之上,进行及时预报和准确的偏离报警。
一种适用于城市道路车道线预测及预警方法,包括以下几个步骤:
步骤1:实时获取行车道路图像,并以道路图像的下半部分作为道路感兴趣区域ROI;
步骤2:图像预处理;
对道路感兴趣区域ROI依次进行灰度化处理、高斯滤波处理、边缘检测及二值化处理获得道路预处理图像;
步骤3:采用Hough变换对道路预处理图像进行车道线检测,获得当前帧图像的车道线的直线方程y=kx+b,设置预测次数T初始值为0;
利用Hough变换对道路预处理图像进行车道线检测,获得车道线方程y=kx+b,其中,x和y表示车道线上任意点的横坐标和纵坐标,图像的底边为x轴,图像底边的中垂线为y轴,垂直向上为y轴正方向,以x轴和y轴的交点作为坐标原点,k和b由车道线的极坐标参数极径ρ和极角转换获得;
步骤4:若当前帧为第一帧图像,则将车道线检测值存储到存储器中;否则,将当前帧图像的车道线检测值与预测器对上一帧图像输出的车道线参数预测值做差值,将获得的差值c与设定的阈值范围[m,n]进行比较,如果差值满足m≤c≤n,则将当前帧图像的车道线检测值代替存储器中的车道线参数,否则以预测器输出的车道线参数预测值代替存储器中的车道线参数;
步骤5:判断预测次数T是否小于设定阈值T0,若小于,则将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域,预测次数T加1,并进入步骤6;否则,进入步骤7;
步骤6:从车道线感兴趣区域中任意提取n个数据点,采用最小二乘法进行拟合,获得当前帧图像的车道线参数预测值;
步骤7:利用前面步骤中获取的车道线参数、车道线位置和道路图像大小,对车辆行车路线进行偏离报警;
计算车辆与所在车道左右车道线之间的横向距离,如果任一横向距离小于预先设定的安全距离阈值,则判定车辆发生了车道偏离,否则,车辆未发生车道偏离,返回步骤1。
假设当前像平面对称轴为x0,道路区域对称轴为x1,假设开始行驶时,汽车中心线与车道平行。当汽车行驶在道路中心时对称轴x0和x1重合,如果车辆行驶发生偏移时,x0和x1之间必然有较大的偏差。计算出像平面对称轴x0距离左右车道线的距离dl和dr,设置一个安全距离阈值H=0.4*W(W为图像的宽度),当min(dl,dr)>H时,表明车辆处于正常行驶状态;否则,如果dl<H,则表明车辆向左侧车道偏离,若dr<H,则表明车辆向右侧车道偏离。根据偏离的具体情况,报警系统对驾驶员做出相应的提醒,以及时对车辆行驶状态做出调整,避免发生无意识的车道偏离。
城市道路车道线检测基于以下道路模型假设:
(1)基于直线模型假设。根据城市道路的特征以及相机拍摄的区域,将近视野范围内的车道线定义为直线模型:y=kx+b。
(2)左右车道线平行假设。无论直道、弯道或者弯路等,都假设近视场范围内的左右两车道线是相互平行的,延长线相交于远处消隐点。
(3)车道线连续性假设。对于虚线车道线或者被车辆遮挡的车道线,假设其间断区域也存在虚拟的边缘点,当作连续的车道线来处理。
边缘点位置的可预测性假设。对视频序列进行处理时,由于车速较快,相机的采集速度(25帧/s)较快,视频流中相邻两帧图像中车道线位置变化比较小,因此边缘点位置具有可预测性。
所述步骤5将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域,具体过程如下:
步骤A:建立Kalman预测器的状态方程、观测方程和预测器方程;
把第n帧的车道线参数作为观测值输入Kalman预测器,得到下一帧(n+1帧)图像车道线位置的预测,计算出搜索区域;
Kalman预测器的状态方程和观测方程如下:
式中,x(n+1)和x(n)分别为系统第n+1帧和第n帧的状态向量;w(n)为系统噪声向量,v(n)观测噪声向量;G是状态转移矩阵;H是测量矩阵;z(n)为观测向量;
设定车道线为左车道线,xl和zl的定义如下:
上式中,kl和bl为左边车道线的斜率和截距;u和v分别表示直线斜率kl和截距bl对应的变化速度;
Kalman预测器方程如下式:
方程中,x(n+1|n)为根据第n帧状态预测第n+1帧的预测值;p(n+1|n)是对应于x(n+1|n)的预测误差协方差矩阵;k(n)为Kalman预测器增益;ε(n)为n帧的观测值与预测值之间的偏差量;Q和R分别为系统动态方程和测量方程的误差协方差矩阵;
步骤B:对步骤A方程式中的各矩阵设定初始值;
状态转移矩阵G为:
系统测量矩阵H为:
以相邻两帧图像第t帧和第t+1帧为例,初始状态向量xl(0)为:
预测误差协方差矩阵初始值pl(0)定义为:
系统动态方程的误差协方差矩阵Q表示如下:
测量方程的误差协方差矩阵R表述为:
步骤C:根据步骤A和步骤B中的状态预测方程和更新方程以及各初始值,每一帧图像的状态向量xl(n+1)和相应的预测误差协方差矩阵pl(n+1)将被估计,利用卡尔曼预测算法预测左边车道线的感兴趣区域;
进入跟踪后,道路左边车道线斜率搜索的范围界定为tan[xl(n+1|n)(1)±p1(1,1)],截距搜索范围界定为xl(n+1|n)(2)±p1(2,2);得到下一帧图像的状态向量和相应的协方差矩阵;
利用卡尔曼预测算法最终确定左边车道的感兴趣区域为:
(kl1,bl1,kl2,bl2)=(tan[xl(n+1|n)(1)-p1(1,1)],xl(n+1|n)(2)-p1(2,2)),tan[xl(n+1|n)(1)+p1(1,1)],xl(n+1|n)(2)+p1(2,2))(4)
等式左边(kl1,bl1)和(kl2,bl2)为左边车道线感兴趣区域的限定边界线,其中kl1和bl1分别为上面那条限定边界线的斜率和截距,kl2和bl2为下面限定边界线的斜率和截距;右边是用卡尔曼滤波方程式相关结果表示的计算式;其中p1(1,1)和p1(2,2)分别为对应于xl(n+1|n)的预测误差协方差矩阵pl(n+1|n)中的元素,xl(n+1|n)为根据第n帧状态预测第n+1帧的预测值,xl(n+1|n)(1)是xl(n+1|n)中的第一个元素,xl(n+1|n)(2)是xl(n+1|n)中的第二个元素。
重复上述步骤,得到右边车道线感兴趣区域为:
(kr1,br1,kr2,br2)=(tan[xr(n+1|n)(1)-pr(1,1)],xr(n+1|n)(2)-pr(2,2)),tan[xr(n+1|n)(1)+pr(1,1)],xr(n+1|n)(2)+pr(2,2))(5)
等式左边(kr1,br1)和(kr2,br2)为右边车道线感兴趣区域的限定边界线,其中kr1和br1分别为上面那条限定边界线的斜率和截距,kr2和br2为下面限定边界线的斜率和截距;右边是用卡尔曼滤波方程式相关结果表示的计算式;其中pr(1,1)和pr(2,2)分别为对应于xr(n+1|n)的预测误差协方差矩阵pr(n+1|n)中的元素,xr(n+1|n)为根据第n帧状态预测第n+1帧的预测值,xr(n+1|n)(1)是xr(n+1|n)中的第一个元素,xr(n+1|n)(2)是xr(n+1|n)中的第二个元素。
所述采用Hough变换对道路预处理图像进行车道线检测时,将道路预处理图像平均分为左右两半,得到左半图像和右半图像,依次对左半图像和右半图像进行Hough变换获得左半图像中左车道线和右半图像中右车道线在极坐标上的参数ρ和θ:左半图像中的像素点的Hough变换范围是-5°<θl<-85°,右半图像中的像素点的Hough变换范围是5°<θr<85°,其中θl和θr分别表示左半图像中的像素点的极角和右半图像中的像素点的极角。
基于先验知识改进的Hough变换:
Hough变换是一种依据全局统计信息的曲线提取方法,从图像空间点向参数空间对应位置进行点数累加并搜索参数空间的峰值来获得曲线方程。它是一种具有很好的鲁棒性,能处理道路图像中车道线被部分遮挡、缺损等情况下的车道检测算法。传统的Hough变换是对图像中的每个像素点都作180°的变换,然而感兴趣的区域只占图像的一部分,这样会增加图像处理的复杂度和工作量,达不到实时性的要求,所以本发明对传统的Hough变换算法进行了一些改进:
1)检测区域设置为图像的下半部分。降采样后的图像尺寸为320×240,使用Hough变换处理图像的下半部分,即ROI图像部分。
2)左右车道线的位置特征。因为左右车道线分别位于图像检测区域的左半部分和右半部分,所以可以对检测区域左右两块分别进行检测。在进行Hough变换时,对于在道路图像左半部分像素点只作θl(-5°<θl<-85°)的变换,右半部分像素点θr(5°<θr<85°)的变换。
利用改进的Hough变换可以提取出左右车道线在极坐标上的参数ρ和θ,进而可以得到车道线在直角坐标上的参数k和b。
有益效果
与现有技术相比,本发明的有益效果有:
1、针对城市道路上汽车的车道保持要求而提出,能够有效减少和避免无意识的车道偏离交通事故的发生,提高汽车的主动安全性能。
2、实时性好,每秒钟可以处理25帧图片;本发明基于城市道路假设模型,利用改进的Hough变换进行车道线检测,该算法通过设置感兴趣区域减少搜索范围,提高了检测效率。
3、车道线识别准确性高,抗干扰强;本发明改进了车道线跟踪算法,极大地提高了车道线识别的准确性和鲁棒性,为准确地进行城市道路检测提供了有力的保证。在道路状况良好的条件下,车道线识别率可以达到将近98%;路况复杂的条件下识别率也可以达到93%以上。
4、车道偏离报警模型简单、有效;本发明提出了一种无需进行相机参数标定的车道偏离报警模型,计算简单、准确性高,提高了偏离报警的实时性。
附图说明
图1为本发明的车道线检测及跟踪整体流程图;
图2为道路图像感兴趣区域ROI;
图3为车道线感兴趣区域;
图4为车道偏离示意图。
具体实施方式
下面将结合附图和实施例对本发明做进一步的说明。
本发明在城市道路上采集视频图像,采集设备为工业相机,实验计算平台为笔记本电脑。
本发明针对城市半结构化道路路况复杂多变、车道标识线缺损、受污染严重、路面干扰标识和车辆较多等因素,基于道路直线模型,提出了一种适用于城市道路的具有良好实时性和鲁棒性的车道线识别方法,流程图如图1所示。在准确检测出车道线的基础之上,建立基于横向距离的车道偏离报警模型,实现辅助驾驶。
一种适用于城市道路车道线预测及预警方法,包括以下几个步骤:
步骤1:实时获取行车道路图像,并以道路图像的下半部分作为道路感兴趣区域ROI;
步骤2:图像预处理;
对道路感兴趣区域ROI依次进行灰度化处理、高斯滤波处理、边缘检测及二值化处理获得道路预处理图像;
步骤3:采用Hough变换对道路预处理图像进行车道线检测,获得当前帧图像的车道线的直线方程y=kx+b,设置预测次数T初始值为0;
利用Hough变换对道路预处理图像进行车道线检测,获得车道线方程y=kx+b,其中,x和y表示车道线上任意点的横坐标和纵坐标,图像的底边为x轴,图像底边的中垂线为y轴,垂直向上为y轴正方向,以x轴和y轴的交点作为坐标原点,k和b由车道线的极坐标参数极径ρ和极角转换获得;
步骤4:若当前帧为第一帧图像,则将车道线检测值存储到存储器中;否则,将当前帧图像的车道线检测值与预测器对上一帧图像输出的车道线参数预测值做差值,将获得的差值c与设定的阈值范围[m,n]进行比较,如果差值满足m≤c≤n,则将当前帧图像的车道线检测值代替存储器中的车道线参数,否则以预测器输出的车道线参数预测值代替存储器中的车道线参数;
步骤5:判断预测次数T是否小于设定阈值T0,若小于,则将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域,预测次数T加1,并进入步骤6;否则,进入步骤7;
步骤6:从车道线感兴趣区域中任意提取n个数据点,采用最小二乘法进行拟合,获得当前帧图像的车道线参数预测值;
步骤7:利用前面步骤中获取的车道线参数、车道线位置和道路图像大小,对车辆行车路线进行偏离报警;
计算车辆与所在车道左右车道线之间的横向距离,如果任一横向距离小于预先设定的安全距离阈值,则判定车辆发生了车道偏离,否则,车辆未发生车道偏离,返回步骤1。
具体实施步骤如下:
1、车载视频采集设备的安装
摄像机安装在汽车前挡风玻璃的正中央偏上位置,离地平面的垂直高度大约1.3米,相机的光轴平行于车辆底盘所在平面,朝向车辆行驶的正前方。将相机连接到笔记本计算控制平台,调试好相机焦距、光圈、采集速度和曝光时间等软硬件参数。
采集速度是25帧每秒,曝光时间为动态设置,在采集视频图像之前,将摄像机的焦距、光圈调试到最佳位置,以使采集到的图像为最清晰状态。
2、道路图像预处理
相机的采集速度设置为25帧/秒,图像大小为640*480。为了实现算法的实时性,将图像降采样为320*240大小,截取降采样后图像的下半部分创建算法执行区域ROI(如图2所示)。根据相机的安装情况、视角参数以及拍摄到的图像信息可知,图像的上半部分基本上是天空和远处的建筑物等无关信息,为了减少预处理的时间、突出车道线感兴趣区域,在图像预处理时只考虑图像的下半部分(即感兴趣区域ROI)。
对感兴趣区域进行一系列的图像预处理步骤如下:
步骤1:对ROI图像灰度化,用于去除颜色信息,提高处理速度;
步骤2:对ROI高斯滤波,二维高斯滤波具有可分离特性,先使用[121]模板在水平方向进行一维高斯滤波,然后使用[121][T]模板在竖直方向进行一维高斯滤波;
步骤3:边缘检测,采用Canny边缘检测算子来进行车道边缘的提取,它能在抑制噪声和边缘检测之间取得较好的平衡;
步骤4:二值化,采用自适应阈值法提取阈值T,对图像进行二值化处理;
3、采用改进的Hough变换进行车道线检测
道路图像预处理后,使用改进的霍夫变换进行车道线检测,将检测区域分为左右两块,分别进行检测。对于在道路图像左半部分像素点只作θl(-5°<θl<-85°)的变换,右半部分像素点θr(5°<θr<85°)的变换。
4、车道线跟踪
通过运用第3步的车道线检测方法,虽然可以初步提取出车道线的参数、位置和方向信息,但是由于城市道路的结构比较复杂,存在很多干扰车道线识别的因素,所以接下来引入车道线跟踪模块。
4.1、基于Kalman预测器建立感兴趣区域
把第n帧的车道线参数作为观测值输入Kalman预测器,得到下一帧(n+1帧)图像车道线位置的预测,计算出搜索区域。
Kalman预测器的状态方程和观测方程如下(1):
式中,x(n+1)和x(n)分别为系统第n+1帧和第n帧的状态向量;w(n)为系统噪声向量,v(n)观测噪声向量;G是状态转移矩阵;H是测量矩阵;z(n)为观测向量。
以左车道线为例,x和z的定义如下(2):
上式中,kl和bl为左边车道线的斜率和截距;u和v分别表示直线斜率kl和截距bl对应的变化速度。
Kalman预测器方程为式(3):
方程中,x(n+1|n)为根据第n帧状态预测第n+1帧的预测值;p(n+1|n)是对应于x(n+1|n)的预测误差协方差矩阵;k(n)为Kalman预测器增益;ε(n)为n帧的观测值与预测值之间的偏差量;Q和R分别为系统动态方程和测量方程的误差协方差矩阵。
状态转移矩阵可以表示为:
为了观测道路区域的各个状态变量,选取系统测量矩阵为:
为了应用卡尔曼滤波预测,必须确定状态变量的初始状态和误差方差矩阵的初始值。可以假设两帧图像是第t帧和第t+1帧,初始状态向量xl(0)可以表示为:
由于误差协方差矩阵可以随着图像反复更新,最终将收敛,故可以将它设置一个较大的初值。假设预测位置的斜率离实际位置有±3°的误差,截距误差有±5个像素,斜率变化和截距变化误差为±2。由此,误差协方差矩阵pl(0)可以定义为:
确定了xl(0)和pl(0)后,还需要估计系统动态方程和测量方程的误差协方差矩阵Q和R。本专利认为误差协方差矩阵的对角元素应该是以状态变量的初始状态为圆心的一定区域内的值。由此用xl(0)乘以20%取平方,状态变量噪声的协方差矩阵可以表示如下:
考虑到观测的状态变量应该更接近均值,测量方程的误差协方差矩阵R表述为:
根据状态预测方程和更新方程以及各初始值,每一帧图像状态向量xl(n+1)和相应的协方差矩阵pl(n+1)被估计。。因此进入跟踪后,道路左边车道线斜率搜索的范围界定为tan[xl(n+1|n)(1)±p1(1,1)],截距搜索范围界定为xl(n+1|n)(2)±p1(2,2)。可以得到下一帧图像的状态向量和相应的协方差矩阵。如图3所示,利用卡尔曼预测算法最终确定左边车道的感兴趣区域为:
(kl1,bl1,kl2,bl2)=(tan[xl(n+1|n)(1)-p1(1,1)],xl(n+1|n)(2)-p1(2,2)),tan[xl(n+1|n)(1)+p1(1,1)],xl(n+1|n)(2)+p1(2,2))(4)
等式左边(kl1,bl1)和(kl2,bl2)为左边车道线感兴趣区域的限定边界线,其中kl1和bl1分别为上面那条限定边界线的斜率和截距,kl2和bl2为下面限定边界线的斜率和截距;右边是用卡尔曼滤波方程式相关结果表示的计算式,用来计算等式左边相应的参数。其中p1(1,1)和p1(2,2)
分别为对应于xl(n+1|n)的预测误差协方差矩阵pl(n+1|n)中的元素,xl(n+1|n)为根据第n帧状态预测第n+1帧的预测值,xl(n+1|n)(1)是xl(n+1|n)中的第一个元素,xl(n+1|n)(2)是xl(n+1|n)中的第二个元素。
同理,右边车道线感兴趣区域为:
(kr1,br1,kr2,br2)=(tan[xr(n+1|n)(1)-pr(1,1)],xr(n+1|n)(2)-pr(2,2)),tan[xr(n+1|n)(1)+pr(1,1)],xr(n+1|n)(2)+pr(2,2))(5)
等式左边(kr1,br1)和(kr2,br2)为右边车道线感兴趣区域的限定边界线,其中kr1和br1分别为上面那条限定边界线的斜率和截距,kr2和br2为下面限定边界线的斜率和截距;右边是用卡尔曼滤波方程式相关结果表示的计算式,用来计算等式左边相应的参数。其中pr(1,1)和pr(2,2)
分别为对应于xr(n+1|n)的预测误差协方差矩阵pr(n+1|n)中的元素,xr(n+1|n)为根据第n帧状态预测第n+1帧的预测值,xr(n+1|n)(1)是xr(n+1|n)中的第一个元素,xr(n+1|n)(2)是xr(n+1|n)中的第二个元素。
4.2、最小二乘法拟合车道线参数
用最小二乘法对图3感兴趣区域内的车道线进行拟合,提取出车道线参数,用拟合的方法可以提高车道线预测的实时性和准确性。具体方法见步骤5。
5、建立基于横向距离的车道偏离报警模型
在上面车道检测及跟踪部分中,获得了汽车所在车道左右边界线,这两条左右车道线将道路区域从图形中区分出来。根据道路图像特征和车道线数据信息,建立基于横向距离的车道偏离报警模型。
基于横向距离的车道偏离报警模型的基本思想:通过计算车辆与所在车道左右车道线之间的横向距离,来判断是否发生车道偏离的方法。如果横向距离大于预先设定的安全距离阈值,就认为车辆行驶正常,否则就认为车辆发生了车道偏离。
车道偏离示意图如图4所示,表明了车辆向车道右侧偏离的情况。假设当前像平面对称轴为x0,道路区域对称轴为x1,假设开始行驶时,汽车中心线与车道平行。当汽车行驶在道路中心时对称轴x0和x1重合,如果车辆行驶发生偏移时,x0和x1之间必然有较大的偏差。计算出像平面对称轴x0距离左右车道线的距离dl和dr,设置一个安全距离阈值H=0.4*W(W为图像的宽度),当min(dl,dr)>H时,表明车辆处于正常行驶状态;否则,如果dl<H,则表明车辆向左侧车道偏离,若dr<H,则表明车辆向右侧车道偏离。根据偏离的具体情况,报警系统对驾驶员做出相应的提醒,以及时对车辆行驶状态做出调整,避免发生无意识的车道偏离。
Claims (2)
1.一种适用于城市道路车道线预测及预警方法,其特征在于,包括以下几个步骤:
步骤1:实时获取行车道路图像,并以道路图像的下半部分作为道路感兴趣区域ROI;
步骤2:图像预处理;
对道路感兴趣区域ROI依次进行灰度化处理、高斯滤波处理、边缘检测及二值化处理获得道路预处理图像;
步骤3:采用Hough变换对道路预处理图像进行车道线检测,获得当前帧图像的车道线的直线方程y=kx+b,设置预测次数T初始值为0;
利用Hough变换对道路预处理图像进行车道线检测,获得车道线方程y=kx+b,其中,x和y表示车道线上任意点的横坐标和纵坐标,图像的底边为x轴,图像底边的中垂线为y轴,垂直向上为y轴正方向,以x轴和y轴的交点作为坐标原点,k和b由车道线的极坐标参数极径ρ和极角转换获得;
步骤4:若当前帧为第一帧图像,则将车道线检测值存储到存储器中;否则,将当前帧图像的车道线检测值与预测器对上一帧图像输出的车道线参数预测值做差值,将获得的差值c与设定的阈值范围[m,n]进行比较,如果差值满足m≤c≤n,则将当前帧图像的车道线检测值代替存储器中的车道线参数,否则以预测器输出的车道线参数预测值代替存储器中的车道线参数;
步骤5:判断预测次数T是否小于设定阈值T0,若小于,则将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域,预测次数T加1,并进入步骤6;否则,进入步骤7;
步骤6:从车道线感兴趣区域中任意提取n个数据点,采用最小二乘法进行拟合,获得当前帧图像的车道线参数预测值;
步骤7:利用前面步骤中获取的车道线参数、车道线位置和道路图像大小,对车辆行车路线进行偏离报警;
计算车辆与所在车道左右车道线之间的横向距离,如果任一横向距离小于预先设定的安全距离阈值,则判定车辆发生了车道偏离,否则,车辆未发生车道偏离,返回步骤1;
所述步骤5将存储器中的车道线参数输入Kalman预测器建立车道线感兴趣区域,具体过程如下:
步骤A:建立Kalman预测器的状态方程、观测方程和预测器方程;
把第n帧的车道线参数作为观测值输入Kalman预测器,得到下一帧(n+1帧)图像车道线位置的预测,计算出搜索区域;
Kalman预测器的状态方程和观测方程如下:
式中,x(n+1)和x(n)分别为系统第n+1帧和第n帧的状态向量;w(n)为系统噪声向量,v(n)观测噪声向量;G是状态转移矩阵;H是测量矩阵;z(n)为观测向量;
设定车道线为左车道线,xl和zl的定义如下:
上式中,kl和bl为左边车道线的斜率和截距;u和v分别表示直线斜率kl和截距bl对应的变化速度;
Kalman预测器方程如下式:
方程中,x(n+1|n)为根据第n帧状态预测第n+1帧的预测值;p(n+1|n)是对应于x(n+1|n)的预测误差协方差矩阵;k(n)为Kalman预测器增益;ε(n)为n帧的观测值与预测值之间的偏差量;Q和R分别为系统动态方程和测量方程的误差协方差矩阵;
步骤B:对步骤A方程式中的各矩阵设定初始值;
状态转移矩阵G为:
系统测量矩阵H为:
以相邻两帧图像第t帧和第t+1帧为例,初始状态向量xl(0)为:
预测误差协方差矩阵初始值pl(0)定义为:
系统动态方程的误差协方差矩阵Q表示如下:
测量方程的误差协方差矩阵R表述为:
步骤C:根据步骤A和步骤B中的状态预测方程和更新方程以及各初始值,每一帧图像的状态向量xl(n+1)和相应的预测误差协方差矩阵pl(n+1)将被估计,利用卡尔曼预测算法预测左边车道线的感兴趣区域;
进入跟踪后,道路左边车道线斜率搜索的范围界定为tan[xl(n+1|n)(1)±p1(1,1)],截距搜索范围界定为xl(n+1|n)(2)±p1(2,2);得到下一帧图像的状态向量和相应的协方差矩阵;
利用卡尔曼预测算法最终确定左边车道的感兴趣区域为:
(kl1,bl1,kl2,bl2)=(tan[xl(n+1|n)(1)-p1(1,1)],xl(n+1|n)(2)-p1(2,2)),
(4)
tan[xl(n+1|n)(1)+p1(1,1)],xl(n+1|n)(2)+p1(2,2))
等式左边(kl1,bl1)和(kl2,bl2)为左边车道线感兴趣区域的限定边界线,其中kl1和bl1分别为上面那条限定边界线的斜率和截距,kl2和bl2为下面限定边界线的斜率和截距;右边是用卡尔曼滤波方程式相关结果表示的计算式;其中p1(1,1)和p1(2,2)分别为对应于xl(n+1|n)的预测误差协方差矩阵pl(n+1|n)中的元素,xl(n+1|n)为根据第n帧状态预测第n+1帧的预测值,xl(n+1|n)(1)是xl(n+1|n)中的第一个元素,xl(n+1|n)(2)是xl(n+1|n)中的第二个元素;
重复上述步骤,得到右边车道线感兴趣区域为:
(kr1,br1,kr2,br2)=(tan[xr(n+1|n)(1)-pr(1,1)],xr(n+1|n)(2)-pr(2,2)),
(5)
tan[xr(n+1|n)(1)+pr(1,1)],xr(n+1|n)(2)+pr(2,2))
等式左边(kr1,br1)和(kr2,br2)为右边车道线感兴趣区域的限定边界线,其中kr1和br1分别为上面那条限定边界线的斜率和截距,kr2和br2为下面限定边界线的斜率和截距;右边是用卡尔曼滤波方程式相关结果表示的计算式;其中pr(1,1)和pr(2,2)分别为对应于xr(n+1|n)的预测误差协方差矩阵pr(n+1|n)中的元素,xr(n+1|n)为根据第n帧状态预测第n+1帧的预测值,xr(n+1|n)(1)是xr(n+1|n)中的第一个元素,xr(n+1|n)(2)是xr(n+1|n)中的第二个元素。
2.根据权利要求1所述的适用于城市道路车道线预测及预警方法,其特征在于,所述采用Hough变换对道路预处理图像进行车道线检测时,将道路预处理图像平均分为左右两半,得到左半图像和右半图像,依次对左半图像和右半图像进行Hough变换获得左半图像中左车道线和右半图像中右车道线在极坐标上的参数ρ和θ:左半图像中的像素点的Hough变换范围是-5°<θl<-85°,右半图像中的像素点的Hough变换范围是5°<θr<85°,其中θl和θr分别表示左半图像中的像素点的极角和右半图像中的像素点的极角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410260194.9A CN104008645B (zh) | 2014-06-12 | 2014-06-12 | 一种适用于城市道路车道线预测及预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410260194.9A CN104008645B (zh) | 2014-06-12 | 2014-06-12 | 一种适用于城市道路车道线预测及预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104008645A CN104008645A (zh) | 2014-08-27 |
CN104008645B true CN104008645B (zh) | 2015-12-09 |
Family
ID=51369280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410260194.9A Active CN104008645B (zh) | 2014-06-12 | 2014-06-12 | 一种适用于城市道路车道线预测及预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104008645B (zh) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268513B (zh) * | 2014-09-17 | 2017-10-31 | 百度在线网络技术(北京)有限公司 | 道路引导数据的获取方法及装置 |
CN104392212B (zh) * | 2014-11-14 | 2017-09-01 | 北京工业大学 | 一种基于视觉的道路信息检测及前方车辆识别方法 |
CN105774901B (zh) * | 2014-12-26 | 2019-01-29 | 比亚迪股份有限公司 | 车道保持控制系统及方法及车辆 |
CN104657710A (zh) * | 2015-02-06 | 2015-05-27 | 哈尔滨工业大学深圳研究生院 | 一种利用车载单帧图像进行道路检测的方法 |
JP6637686B2 (ja) * | 2015-06-30 | 2020-01-29 | 株式会社デンソーテン | 情報提示装置、車載装置、情報提示システムおよび情報提示方法 |
CN108028022B (zh) * | 2015-09-30 | 2021-06-15 | 索尼公司 | 图像处理装置、图像处理方法和车辆控制系统 |
CN106599760B (zh) * | 2015-10-14 | 2020-11-06 | 国网智能科技股份有限公司 | 一种变电站巡检机器人行驶区域计算方法 |
CN105398403B (zh) * | 2015-11-30 | 2017-12-12 | 奇瑞汽车股份有限公司 | 一种汽车 |
CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
CN106056100B (zh) * | 2016-06-28 | 2019-03-08 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
CN106355951A (zh) * | 2016-09-22 | 2017-01-25 | 深圳市元征科技股份有限公司 | 控制车辆行驶的方法及装置 |
CN106529443B (zh) * | 2016-11-03 | 2019-09-06 | 温州大学 | 改进霍夫变化检测车道线的方法 |
CN106529459A (zh) * | 2016-11-04 | 2017-03-22 | 杭州奥腾电子股份有限公司 | 基于交互标定的车道线检测方法 |
CN106525056A (zh) * | 2016-11-04 | 2017-03-22 | 杭州奥腾电子股份有限公司 | 利用陀螺仪传感器进行车道线检测的方法 |
CN106682646B (zh) * | 2017-01-16 | 2020-12-22 | 北京新能源汽车股份有限公司 | 一种车道线的识别方法及装置 |
CN107045629B (zh) * | 2017-04-19 | 2020-06-26 | 南京理工大学 | 一种多车道线检测方法 |
CN107284455B (zh) * | 2017-05-16 | 2019-06-21 | 浙江理工大学 | 一种基于图像处理的adas系统 |
CN107229908B (zh) * | 2017-05-16 | 2019-11-29 | 浙江理工大学 | 一种车道线检测方法 |
CN107229063A (zh) * | 2017-06-26 | 2017-10-03 | 奇瑞汽车股份有限公司 | 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 |
CN107451539B (zh) * | 2017-07-13 | 2020-11-27 | 华域汽车系统股份有限公司 | 一种车道偏离预警方法及系统 |
CN107590451A (zh) * | 2017-09-04 | 2018-01-16 | 中国科学院长春光学精密机械与物理研究所 | 一种车道线检测方法 |
CN109670387A (zh) * | 2017-10-17 | 2019-04-23 | 天津所托瑞安汽车科技有限公司 | 一种基于全景视觉分析的车辆主动安全预警系统及方法 |
CN108447305B (zh) * | 2018-04-21 | 2020-09-04 | 上海交通大学 | 一种礼让行人预警方法及预警系统 |
CN108615242B (zh) * | 2018-05-04 | 2021-07-27 | 重庆邮电大学 | 一种高速护栏跟踪方法 |
CN108932472A (zh) * | 2018-05-23 | 2018-12-04 | 中国汽车技术研究中心有限公司 | 一种基于车道线检测的自动驾驶行驶区域判别方法 |
CN109035759B (zh) * | 2018-06-13 | 2021-02-02 | 重庆邮电大学 | 一种护栏检测评估方法 |
CN108922172B (zh) * | 2018-06-19 | 2021-03-05 | 上海理工大学 | 基于车辆特征矩阵序列变化分析的道路拥堵监测系统 |
CN108960183B (zh) * | 2018-07-19 | 2020-06-02 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别系统及方法 |
CN109345593B (zh) * | 2018-09-04 | 2022-04-26 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
JP6697522B2 (ja) * | 2018-09-28 | 2020-05-20 | 株式会社Subaru | 区画線認識装置 |
CN109300139B (zh) * | 2018-09-30 | 2021-10-15 | 百度在线网络技术(北京)有限公司 | 车道线检测方法和装置 |
DE102018221780A1 (de) * | 2018-12-14 | 2020-06-18 | Robert Bosch Gmbh | Verfahren zur Vorbereitung und/oder Durchführung eines den Fahrer eines Fahrzeuges unterstützenden Lenkeingriffes |
CN109740550A (zh) * | 2019-01-08 | 2019-05-10 | 哈尔滨理工大学 | 一种基于单目视觉的车道线检测与跟踪方法 |
CN109977776B (zh) * | 2019-02-25 | 2023-06-23 | 驭势(上海)汽车科技有限公司 | 一种车道线检测方法、装置及车载设备 |
CN111797658A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 车道线识别方法、装置、存储介质及电子设备 |
CN110203210A (zh) * | 2019-06-19 | 2019-09-06 | 厦门金龙联合汽车工业有限公司 | 一种车道偏离预警方法、终端设备及存储介质 |
CN112130550B (zh) * | 2019-06-24 | 2024-03-12 | 北京市商汤科技开发有限公司 | 一种道路图像处理方法、装置、电子设备及存储介质 |
CN110598517B (zh) * | 2019-06-25 | 2023-11-24 | 一汽奔腾轿车有限公司 | 一种弯道车道偏离的检测方法 |
CN110956652A (zh) * | 2019-11-20 | 2020-04-03 | 国网浙江省电力有限公司电力科学研究院 | 变电站人员提前越线告警方法 |
CN111626180B (zh) * | 2020-05-22 | 2022-10-14 | 清华大学 | 基于偏振成像的车道线检测方法及其装置 |
CN111611942B (zh) * | 2020-05-22 | 2022-03-22 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
CN111721316A (zh) * | 2020-06-22 | 2020-09-29 | 重庆大学 | 一种高性能的车道线识别感兴趣区域预测方法 |
CN112307953A (zh) * | 2020-10-29 | 2021-02-02 | 无锡物联网创新中心有限公司 | 一种基于聚类的自适应逆透视变换车道线识别方法及系统 |
CN112200148B (zh) * | 2020-11-06 | 2024-01-26 | 中国计量大学 | 一种去中心化的交通诚信评价系统 |
CN112329694A (zh) * | 2020-11-17 | 2021-02-05 | 深圳技术大学 | 一种车道线自动识别的方法、装置及可读存储介质 |
CN112347971A (zh) * | 2020-11-18 | 2021-02-09 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习实线变道检测方法 |
CN113903014B (zh) * | 2021-12-07 | 2022-05-17 | 智道网联科技(北京)有限公司 | 车道线预测方法、装置及电子设备、计算机可读存储介质 |
CN114503946A (zh) * | 2022-01-24 | 2022-05-17 | 海南大学 | 基于高帧率动态帧差精准识别的渔场投喂系统及方法 |
CN115410362B (zh) * | 2022-08-17 | 2024-07-16 | 咪咕音乐有限公司 | 盲道通行引导方法、设备、存储介质及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103117005A (zh) * | 2011-11-16 | 2013-05-22 | 财团法人工业技术研究院 | 车道偏移警示方法及系统 |
CN103383733A (zh) * | 2013-05-16 | 2013-11-06 | 浙江智尔信息技术有限公司 | 一种基于半机器学习的车道视频检测方法 |
CN103440785A (zh) * | 2013-08-08 | 2013-12-11 | 华南师范大学 | 一种快速的车道偏移警示方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011081892A1 (de) * | 2011-08-31 | 2013-02-28 | Robert Bosch Gmbh | Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug |
-
2014
- 2014-06-12 CN CN201410260194.9A patent/CN104008645B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103117005A (zh) * | 2011-11-16 | 2013-05-22 | 财团法人工业技术研究院 | 车道偏移警示方法及系统 |
CN103383733A (zh) * | 2013-05-16 | 2013-11-06 | 浙江智尔信息技术有限公司 | 一种基于半机器学习的车道视频检测方法 |
CN103440785A (zh) * | 2013-08-08 | 2013-12-11 | 华南师范大学 | 一种快速的车道偏移警示方法 |
Non-Patent Citations (1)
Title |
---|
一种基于单目视觉的车道偏离检测与预警方法;郭子逸;《机械制造》;20120531;第50卷(第573期);正文87页右栏-89页左栏 * |
Also Published As
Publication number | Publication date |
---|---|
CN104008645A (zh) | 2014-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104008645B (zh) | 一种适用于城市道路车道线预测及预警方法 | |
CN109829403B (zh) | 一种基于深度学习的车辆防碰撞预警方法及系统 | |
CN103177246B (zh) | 基于动态区域划分的双模型车道线识别方法 | |
CN103996053B (zh) | 基于机器视觉的车道偏离报警方法 | |
CN104992145B (zh) | 一种矩采样车道跟踪检测方法 | |
CN104537841B (zh) | 无牌车辆违章检测方法及其检测系统 | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN101739829B (zh) | 一种基于视频的车辆超速监控方法及系统 | |
Low et al. | Simple robust road lane detection algorithm | |
CN101608924B (zh) | 一种基于灰度估计和级联霍夫变换的车道线检测方法 | |
CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
CN105005771A (zh) | 一种基于光流点轨迹统计的车道线实线的检测方法 | |
CN103310213B (zh) | 车辆检测方法和装置 | |
CN103914688A (zh) | 一种城市道路障碍物识别系统 | |
CN103440785B (zh) | 一种快速的车道偏移警示方法 | |
CN109886175B (zh) | 一种直线与圆弧相结合的车道线检测方法 | |
CN102324017A (zh) | 一种基于fpga的车道线检测方法 | |
CN105654073A (zh) | 一种基于视觉检测的速度自动控制方法 | |
CN103593981A (zh) | 一种基于视频的车型识别方法 | |
CN105574502A (zh) | 一种自助发卡机违章行为自动检测方法 | |
Arshad et al. | Lane detection with moving vehicles using color information | |
CN202911633U (zh) | 基于多信息融合的混合动力车车道标识线动态检测装置 | |
CN203020184U (zh) | 一种基于双ccd的纯电动汽车车道标识线检测装置 | |
Wennan et al. | Lane detection in some complex conditions | |
CN106355152A (zh) | 识别当前道路车辆的方法、系统及行车记录仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |