CN103213579B

CN103213579B - 一种相机参数和车辆系统无关的车道偏离提前预警方法

Info

Publication number: CN103213579B
Application number: CN201310118056.2A
Authority: CN
Inventors: 徐向华; 高瑞胜
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2013-04-07
Filing date: 2013-04-07
Publication date: 2015-08-19
Anticipated expiration: 2033-04-07
Also published as: CN103213579A

Abstract

本发明公开一种相机参数和车辆系统无关的车道偏离提前预警方法。基于图像信息和车道模型相结合的车道偏离预警方法要么不能实现提前预警要么对于相机参数和车辆系统依赖性较强。针对这一问题，本发明首先用CCP(Car's Current Position)车道偏离决策方法计算本车头部与同一参考车道中线的横向距离，称作ccpData；然后根据过去一段时间内的一组ccpData使用灰色预测方法预测未来一段时间内的ccpData，判断未来某时刻是否发生车道偏离，并提前发出偏离预警。本发明中使用CCP方法为本预警方法的相机参数与车辆系统无关性奠定了基础，利用灰色预测方法估计将来可能会发生车道偏离事件的时刻，实现车道偏离提前预警功能。

Description

一种相机参数和车辆系统无关的车道偏离提前预警方法

技术领域

本发明主要涉及基于视觉的车道偏离预警(Lane Departure Warning based on Vision)领域，特别涉及一种基于CCP(Car's Current Position)和灰色预测的车道偏离预警方法。

背景技术

随着经济的飞速发展，人们对汽车的需求量不断攀升，交通事故的发生率也随之快速增长，安全驾驶也成为了社会关注的焦点之一。在所有的交通事故中，因驾驶员注意力不集中而造成的车道偏离事故所占比例高达37.4%。因此，如何减少因车辆偏离而导致的交通事故的发生率，成为当今社会的重大挑战。调查表明，如果能够提前0.5秒预警，交通事故的发生率将会降低60%。车道偏离预警技术是解决这一问题的有效解决方案。车道偏离预警技术是基于视觉的车道偏离预警系统的核心技术之一，预警效果的好坏直接决定着整个系统的实用性，因此研究车道偏离预警方法具有重要意义。

目前，基于视觉的车道偏离预警方法可以归纳为两类：基于图像信息的方法和基于图像信息与道路模型相结合的方法。

基于图像信息的车道偏离预警方法，利用了物体从真实的三维世界转化到图像中的二维平面过程中车辆和车道的一些关联特征，例如图像平面内车道与车辆位置变化的剧烈程度直接反应了真实三维空间中车道与车辆位置变化的剧烈程度，图像中车道线与左右车道线夹角的差别与真实三维空间中车辆与左右车道线夹角的差别直接相关。这种方法的优点在于其不需要相机参数和车辆系统，但其缺点也是明显的，即往往会因为考虑信息不全面而出现许多错误判断。

基于图像信息和车道模型相结合的车道偏离预警方法，使用图像信息和几何模型，通过严格的数学推导，可以得到高准确度的车道偏离预警决策。然而，这种方法一般会建立图像平面和真实空间的几何模型，需要相机参数和车辆行驶状态，对相机和车辆系统的依赖性较强，不易实现大众化；此类方法中，对相机和车辆系统依赖性较弱的CCP方法只能判断当前时刻车辆是否发生车道偏离，但是不能提前预警车道偏离事件的发生，所以不能给驾驶员提供足够的预警时间采取必要措施纠正偏离车道现象。

发明内容

为摆脱车道偏离方法对相机和车辆系统的依赖性且能实现提前车道偏离预警功能，本发明提供一种相机参数和车辆系统无关的车道偏离提前预警方法。其主要思想为：通过分析两类方法的优缺点，发现CCP方法具有准确度高且不依赖相机参数和车辆系统的优势，但其存在一个明显的不足，即只能判断当前时刻车辆是否发生车道偏离，未实现提前预警的功能。针对这一弊端，通过深入分析CCP数据得知，同一视频段中的CCP数据具有短时间相关性，而对不同视频段中的CCP数据具有随机性。这正符合灰色预测的特性：对样本量少、随机性高的数据具有较好的预测效果，因此在保持CCP方法优势的基础上，使用灰色预测实现提前预警功能。

已知图像中当前车道的两条车道线被检测出。本发明解决其技术问题的技术方案是：

步骤1—计算CCP数据：

根据CCP方法计算每帧图片中本车前部中心距离同一参考车道中线的横向距离，记为ccpData，根据每帧图片的车道线信息可以得到一个当前时刻的ccpData。

步骤2—灰色预测：

当ccpData连续累计大于等于15个数据时，使用符合其数据特点的灰色预测方法预测将来一段时间内的ccpData，记为predictCCPData。

步骤3—提前预警时间计算：

当将来一段时间内的所有预测值predictCCPData中存在一个符合车道偏离现象时提前发出预警，并计算预警时间；否则不发出预警。

1、CCP方法：

在基于图像信息和车道模型相结合的车道偏离预警方法中，发现CCP方法具有准确度高且不依赖相机参数与车辆系统的优势，本发明使用CCP方法为本发明所提出的能提前预警的车道偏离方法摆脱对相机参数和车辆系统的依赖性奠定了基础。CCP方法比较直观，主要是根据车辆相对于当前车道的位置信息，计算车辆与当前车道中线的距离，并以此为依据判断当前时刻车辆是否发生车道偏离。

2、灰色预测：

CCP方法计算本车前部中点与当前车道中线的距离Dist，根据Dist可以判断当前时刻本车是否偏离车道。但是，CCP方法只能判断当前时刻车辆是否发车道偏离现象而不能实现提前一定时间预警的功能。通过分析CCP数据得知，其对同一视频段具有短时间相关性，对不同视频段具有随机性，这正符合灰色预测的特性：对样本量少、随机性高的数据具有较好的预测效果。基于此，本发明使用灰色预测方法实现车道偏离提前预警功能。

本发明具有的有益效果是：

1、使用CCP方法准确计算本车与同一参考车道中线的距离，保持了CCP方法不依赖相机参数与车辆系统的优势，为本发明所提出的方法摆脱对相机参数和车辆系统的依赖性奠定了基础。

2、使用符合CCP数据特点的灰色预测方法预估未来一定时间内的CCP数据，提供了提前预警所需的数据，且具有较高准确度和快速计算能力。

附图说明

图1是车道偏离预警方法执行步骤。

图2是车道线和本车头部在像平面中的成像示意图。

图3是车辆与同一参考车道中线的距离(ccpData)。

图4是车道偏离预警方法流程图。

具体实施方式

下面结合附图和具体实施应用过程对本发明进一步说明：

参照图1执行步骤来说明本发明的实施过程：

步骤1—计算CCP数据：

此处的CCP数据是指当前时刻车辆前部中点相对于同一条车道中线的横向距离。每帧图片中都可计算得出一个CCP数据，从连续多帧图片中得出的CCP数据称为CCP数据序列。

观察图2车道线和汽车头部在像平面中的成像示意图，直线AF和DE是当前车道的左右车道线在像平面中的成像，相交于点P。众所周知，相机不可能一次照出前方所有角度范围内物体的像，每台相机的像平面都有一个有效成像区域，假设图2中的虚线框为这个有效成像区域，虚线框大小也即相机中图像的大小。AF和DE与图像底边的交点分别为F和E；线段BC代表车辆头部的像，其中点记为M；连接BP、MP、CP分别交图像底边于点H、N、G。

建立直角坐标系{O,U,V}，U轴与虚线框底边重合，原点O为虚线框底边的中点，过O且垂直U轴的直线为V轴。因为摄像机安装在本车头部的中间，所以可近似看做M在V轴上。设在U轴上本车宽度为w_vehicle，即线段HG的长度，车道宽度为w_lane，即线段FE的长度。设FE的中点为J，J的坐标记为(u_J, v_J)，类似的A的坐标记为(u_A, v_A)等，其它各点的坐标也类似此法表示。从车道检测方法中可以得到P(u_P, v_P)、F(u_F, v_F)、E(u_E, v_E)的坐标，假设M(0,v_M)、ρ=w_lane/w_vehicle均已知，则N(u_N, 0)点的U坐标值为：

u_N =- v_M u_P /( v_P - v_M)

J(u_J, 0)点的U坐标值为：

u_J =( u_E+ u_F)/2

U轴上车道宽度为w_lane为：

w_lane= u_E - u_F

所以U轴上本车前部中点与当前车道中线的距离Dist为：

Dist= u_N – u_J =- v_M u_P /( v_P - v_M)- ( u_E+ u_F)/2

其中u_P、v_P、u_E、u_F可通过车道位置信息获取；-v_M=H* w_Lane/W，H为相机的高度，W为车道的实际宽度。

一般地，在车辆行驶过程中，不同时刻的当前车道可能不是同一条车道，这样计算的Dist数据在某时刻可能出现较大跳跃，跳跃大小为车道宽度。这不利于对Dist的预测，所以需将其转化为相对于同一条车道中线的距离，记为CCP数据：ccpData。可以使用一个变量cvtNum，初始值为0；当车辆向左横穿车道线使当前车道变为另一个车道时，cvtNum的值减一；当向右横穿车道使当前车道变为另一个车道时，cvtNum的值增一；则在第k帧中，车辆头部中点与原始参考车道中线的距离为：ccpData[k]=Dist[k]+cvtNum*w_Lane。按照上述处理得出的ccpData就变得连续了。

步骤2—灰色预测

分析步骤1中计算的结果：ccpData。如图3所示，是在三段不同路段下计算出的本车与同一参考车道中间线的横向距离(ccpData)。一方面，本车与同一车道中线的距离所决定的曲线可能呈现各种形状，具有随机性，这是由道路环境的复杂性、实时性和驾驶员的行驶习惯等多种因素共同作用的结果。图像的形成过程和车辆震荡等因素进一步加剧了ccpData的不确定性；另一方面，ccpData具有短时间内的相关性，即在短时间内同来自于同一段视频的ccpData具有前后关联性。然而，此时的短时间不能更换成任意长时间，因为在行车的过程中驾驶员会根据当前的交通环境随时调整车辆方向和速度，ccpData的前后关联性会随时间增加而减小。

随机性使得找不到一个函数或分布能适应所有ccpData；短时间相关性决定了只能使用最近的少量历史数据来预测未来数据，这正符合了灰色预测方法的特性。实验表明，使用前1秒的ccpData预测最佳。

假设视频帧率为f帧每秒（具体计算时可能不会每帧都被处理，可根据实际处理的帧数调整f值），则使用前f帧的ccpData预测未来的数据。按照步骤1中的方法，已经知道当前帧之前的f-1帧和当前帧图片中的CCP数据，按时间顺序分别记为ccpData[0]、ccpData[1]、…、ccpData[f-1]。设ccpData的累加数列为accuCCPData：

accuCCPData[i]= ccpData[0]+ ccpData[1]+…+ ccpData[i]，i=0,1,…, f-1

则ccpData为accuCCPData的灰导数，即满足条件：ccpData[i]= accuCCPData[i]- accuCCPData[i-1]。

对accuCCPData中每个数的邻域做如下运算：

Z[i]=α*accuCCPData[i+1]+(1-α)* accuCCPData[i], i=0,1,…, f-2

建立方程组：

令

, ,

可使用最小二成方法求解a、b的值，公式如下：

于是得到累加数列的预测值：

predictData[k]=(ccpData[0]-b/a)*e^-a*(k+f)+b/a, k=1, 2, …

从而相应地原始序列的预测值为：

predictCCPData[k]= predictData [k+1]- predictData [k], k=0, 1, …

其中predictData [0]= accuCCPData[f-1]。

步骤3—提前预警

假设实现提前t秒预警，则需要预测f*t个CCP数据，记为predictCCPData[1]、predictCCPData[2]、…、predictCCPData[f*t]。

预警具体步骤如下：

Step1：如果满足| ccpData[f]- cvtNum*w_Lane |>(w_lane-w_vehicle)/2，则发出预警并提示正在发生车道偏离事件，算法结束；否则转到Step2。

Step2：如果存在i(0<=i<=f*t-1)满足| predictCCPData[i]- cvtNum*w_Lane |>(w_lane-w_vehicle)/2，设满足此条件的最小的值记为i，则发出预警，并提示(i+1)/f秒后本车会发生车道偏离；否则不发出警报。

具体流程：

所需参数：（1）相机的实际高度H；（2）车道的实际宽度W；（3）本车宽度与车道宽度的比值λ；（4）每秒实际处理的帧数f；（5）提前预警时间t。

参照图4，车道偏离预警方法流程如下：

Step1：数据初始化。车道变换状态cvtNum=0；当前帧数frmNum=0；车道位置被正确检测的帧数laneFrmNum=0；历史CCP数据ccpData[f+1]，循环数组中CCP数据的开始位置ccpBegin=0和结束位置ccpEnd=0；图片底部车道的宽度laneWidth=0。

Step2：如果frmNum-laneFrmNum>2，转到Step1。

Step3：frmNum++；如果有车道位置信息则laneFrmNum++。

Step4：保存当前帧中图片底部的车道宽度curLaneWidth，如果laneFrmNum ==1，则laneWidth=curLaneWidth；否则laneWidth=0.1* curLaneWidth+ 0.9*curLaneWidth。

Step5：根据图像中车道位置信息可知，图2中，消失点p的坐标(v_P, u_P)和点E、F的坐标(u_E, 0)、(u_F, 0)；M点的坐标(0, v_M)，v_M=-H*laneWidth/W；在U轴上，本车中点与当前车道中线的距离（即线段NJ的长度）dist= - v_M* u_P / ( v_P - v_M)- ( u_E+ u_F) / 2。

Step6：如果当前帧的车道在上一帧车道的左边，则cvtNum--；否则如果当前帧的车道在上一帧车道的右边，则cvtNum++。将dist转化为与同一车道中线的距离ccpData[ccpEnd]= dist+cvtNum*laneWidth。

Step7：ccpEnd=(ccpEnd+1)%f，如果(ccpEnd-ccpBegin+f)可以被f整除，说明历史数据足够多，则ccpBegin=(ccpBegin+1)%f；否则转到Step2。

Step8：本车宽度vehicleWidth=λ*laneWidth。如果满足|dist|>(laneWidth- vehicleWidth)/2，则发出预警并提示正在发生车道偏离事件，转到Step2。

Step9：累加数据accuCCPData[i]=ccpData[ccpBegin]+ccpData[(ccpBegin+ 1)%f]+…+ ccpData[(ccpBegin+i)%f]，i=0,1,…, f-1。Z[i]=0.9*accuCCPData[i+1] +0.1* accuCCPData[i], i=0,1,2,…, f-2。建立(f-2)行1列矩阵Y和(f-2)行2列矩阵B，令Y[i][0]= accuCCPData[i]，i=0,1,…, f-2；B[i][0]=-Z[i], B[i][1]=1, i=0,1,…, f-2。U=(B^TB)^-1B^TY。

Step10：令a=U[0], b=U[1]。predictData[i]=(ccpData[0]-b/a)*e-a*(i+f-1)+b/a, i=1, 2, …, f*t；predictData[0]=accuCCPData[f-1]。原始数据的预测值predictCCPData[i] = predictData[i+1] - predictData[i], i=0, 1, 2, …, f*t-1。

Step11：如果存在i(0<=i<=f*t-1)满足| predictCCPData[i] – cvtNum * laneWidth| > (laneWidth - vehicleWidth) / 2，设满足此条件的最小值记为k，则发出报警，并提示(k+1)*f秒后本车会发生车道偏离，转到Step2；否则不发出警报，转到Step2。

Claims

1.一种相机参数和车辆系统无关的车道偏离提前预警方法，设摄像机安装于车辆前挡风玻璃中间并朝向正前方，即摄像机的俯仰角、航偏角、旋转角均为零，并能获取车道图像；其特征在于：使用CCP车道偏离决策方法，获取每帧图片中本车前部中心距离同一参考车道中线的横向距离，并以此距离为基础借助灰色预测方法判断未来某时刻是否发生车道偏离，其具体步骤为：

步骤1—计算ccpData：

CCP方法是一种车道偏离决策方法，根据CCP方法计算每帧图片中本车前部中心距离同一参考车道中线的横向距离，记为ccpData，根据每帧图片的车道线信息得到一个当前时刻的ccpData；

步骤2—灰色预测：

当ccpData连续累计大于等于15个数据时，使用符合其数据特点的灰色预测方法预测将来一段时间内的ccpData，记为predictCCPData；

步骤3—提前预警：

当将来一段时间内的所有预测值predictCCPData中存在一个符合车道偏离现象时发出预警，并给出未来何时本车会发生车道偏离事件，否则不发出预警。