CN104129389B - 一种有效判别车辆行驶状态的方法及其装置 - Google Patents

一种有效判别车辆行驶状态的方法及其装置 Download PDF

Info

Publication number
CN104129389B
CN104129389B CN201410383420.2A CN201410383420A CN104129389B CN 104129389 B CN104129389 B CN 104129389B CN 201410383420 A CN201410383420 A CN 201410383420A CN 104129389 B CN104129389 B CN 104129389B
Authority
CN
China
Prior art keywords
vehicle
lane line
laterdis
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410383420.2A
Other languages
English (en)
Other versions
CN104129389A (zh
Inventor
李玲
韩春立
曾风俊
严江江
陈群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN201410383420.2A priority Critical patent/CN104129389B/zh
Publication of CN104129389A publication Critical patent/CN104129389A/zh
Application granted granted Critical
Publication of CN104129389B publication Critical patent/CN104129389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及车道线识别技术领域,尤其涉及一种有效判别车辆行驶状态的方法及其装置,方法包括以下步骤:相机标定获取外部参数;获取图像帧的车道线;实时计算车辆与车道线的切入角,利用车轮与左右车道线的横向距离,切入角及自车速度信息,判断车辆行驶状态,给出危险预警;装置包括:判别参数获取单元、判别参数计算单元、车辆行驶状态判别单元;判别参数获取单元、判别参数计算单元、车辆行驶状态判别单元依次连接。本发明的有益效果在于:1、能够准确识别车道线,恶劣环境下的车道线检测率高;2、计算复杂性低、实时性高;3、利用切入角、横向距离及横向速度,提供车道偏离的自适应预警,避免提早预警或延迟预警等错误信号带来的干扰。

Description

一种有效判别车辆行驶状态的方法及其装置
技术领域
本发明涉及车道线识别技术领域,尤其涉及一种有效判别车辆行驶状态的方法及其装置。
背景技术
车道偏离预警系统是汽车辅助驾驶系统中重要的一部分,用于提醒驾驶员由于疲劳、分心等无意识行为偏离正常车道行驶时,发出预警信号以防止危险的发生,现有的车辆预警方案主要分为车辆行驶轨迹估计法和基于图像处理技术的预警方法。
车辆行驶轨迹估计法应用多传感器,测量车辆的行驶速度、前轮摆角信息等,但高速情况下,由于前轮摆角及其变化率都很小,由传感器所得到的观测值,很可能包含了较大比例的噪声信号,得到的预测轨迹与实际轨迹偏差较大,针对该缺点有应用结合车辆运动学、动力学模型对未来一段时间内车辆的可能行驶轨迹进行预测的方法,但真实情况下车辆运动轨迹复杂,所使用模型较难模拟真实情况,且该方法计算复杂性较高。
随着图像处理技术的发展,基于单目视觉的车道线识别技术逐渐成熟,通过图像分割,检测车道线边缘点,应用车道线模型模拟真实车道线,制定预警策略进行车辆预警方案的方法得到广泛应用,但由于车道线检测受到光照、地面条件的影响,检测结果存在干扰信息,影响正确车道线的识别,从而影响车辆预警。
车道偏离系统中最早、最晚报警线的设置至关重要,若最早预警线设置太早,或最晚报警线设置太滞后,均会造成错误及不及时的预警,影响驾驶员的行驶,同时对于一个新进驾驶员,长时间压线、或长时间在车道内靠左(右)侧行驶是一种很容易犯的错误,不但影响他人行驶,也会养成不良的驾驶习惯,但车道偏离系统只对偏离车道线给予提醒,未对上述状态进行提醒。
发明内容
本发明为克服上述的不足之处,目的在于提供一种有效判别车辆行驶状态的方法与装置,包括车辆长时间压左车道线或右车道线行驶、长时间在车道内靠左或靠右行驶,触发自适应车道偏离预警,通过相机标定技术,实时计算车辆与车道线的切入角,利用车轮与左右车道线的横向距离,切入角及自车速度信息,判断车辆行驶状态,给出危险预警。
本发明是通过以下技术方案达到上述目的:一种有效判别车辆行驶状态的方法,包括以下步骤:
1)相机标定获取外部参数步骤:摄像机拍摄得到图像帧,根据相机内部参数及基于消失点的标定原理,计算得到相机的外部参数,建立像平面坐标系与路面坐标系的转换关系;
2)获取当前图像帧的车道线步骤:包括图像预处理,图像分割,特征点提取及Hough检测车道线;
3)判断车辆行驶路径状态步骤:
3.1)根据步骤1)、2)计算获得车辆与车道线的切入角、车轮与车道线横向距离,传感器获得车辆速度后计算得到车辆横向速度;
3.2)识别稳定车道线,比较左车轮与左车道线的横向距离laterDisL、右车轮与右车道线的横向距离laterDisR的数值大小,判断车辆是否正常行驶,若正常驾驶则继续步骤3.1),若否则跳入下一步;
3.3)记录车辆靠近左车道线的趋势trendL、车辆靠近右车道线的趋势trendR、切入角θ,判断车辆危险驾驶类型;
3.4)判断车辆是否满足车道偏离预警,若是则根据车道线宽度及车辆横向速度制定自适应预警方案,发出车道偏离最早报警和最晚报警预警信号;若否则进入下一步;
3.5)判断车辆的车轮是否长时间压线行驶,若是则发出长时间压线预警信号;若否则为长时间侧向行驶,发出长时间侧向行驶预警信号。
作为优选,所述步骤2)中图像分割采用分块子图像自适应阈值分割方法,将图像分割为N个子图像,对每个子图像应用Ostu算法进行阈值分割。
作为优选,所述步骤2)中本发明提取车道线采用直线模型y=kx+b,Hough变换原理是将图像空间中的直线检测问题转化到参数空间,参数空间直线检测模型采用ρ=x*cos(theta)+y*sin(theta),其中:(x,y)表示图像中像素点坐标位置,ρ是从原点引到图像中直线的垂线长度,ρ的取值由图像大小决定,最大值为图像对角线长度,theta是垂线与x轴正向的夹角。通过对二维Hough累计矩阵H(ρ,θ)进行投票统计,选取其中最大的五个值对应的五条直线作为候选车道线,对检测得到的候选车道线进行筛选,利用车道线上点的组成数量、消失点、车道实际宽度、实际路面中左右车道线平行作为筛选条件,对检测到直线是否为车道线进行判断,得到车道线。
作为优选,所述步骤3)的步骤3.1)具体包括以下步骤:
3.1.1)选取图像中车道线上两点(x1,y1)、(x2,y2)反映射到路面坐标系中,其路面坐标为(Rx1,Ry1)、(Rx2,Ry2),利用直线模型拟合路面坐标中车道线,计算该直线的斜率k及截距b,再计算切入角θ;
3.1.2)选取图像中与车轮对应的车道线上的点,将其坐标反映射到路面坐标,即为车轮与车道线的横向距离,根据标定中图像中心点选取的不同,横向距离的求取方式也不同,若图像中心点在图像下边缘中心处,则反映射得到的距离则为车轮距车道线的横向距离laterDis;若图像中心点在摄像头下方处,则需利用摄像头安装高度H、俯仰角Pitch,及切入角θ进行修改,此时laterDis=tanθ*H*tan(Pitch);
3.1.3)通过安装在车辆上的速度传感器得到车辆行驶速度vspeed,则车辆横向速度laterVel=vspeed*sinθ;
作为优选,所述步骤3.2)具体包括以下步骤:
3.2.1)在识别出车道线后,设定数组lanewidth记录当前帧车道线路面坐标中的实际宽度,计算相邻N帧lanewidth之间差值,当相邻帧间差值范围在0.3~0.5m内,则检测出车道线稳定;
3.2.2)车轮与车道线横向距离包括左车轮与左车道线的距离laterDisL、右车轮与右车道线的距离laterDisR,当│laterDisL-laterDisR│≤Δd,0.3≤Δd≤0.75m时,车辆正常行驶,否则车辆属于非正常行驶状态。
作为优选,所述步骤3.3)具体包括以下步骤:
3.3.1)设定变量记录当前帧laterDisL、laterDisR的值,trendL、trendR记录车辆靠近左、右车道线的趋势,比较当前帧laterDisL、laterDisR与前帧大小,判断车辆是否有靠近左、右车道线的趋势,若当前帧laterDisL、laterDisR小于前帧值,则trendL或trendR累加;
3.3.2)根据参数条件判断车辆危险驾驶类型:
a)若当前车辆满足下列条件:①│laterDisL-laterDisR│≤Δd;②trendL<MAXTREND或trendR<MAXTREND;③切入角θ≤minthre;其中,1°≤minthre≤3°,MAXTREND=5;则认为当前车辆行驶安全,不发出预警信号;
b)若当前车辆满足条件:trendL≥MAXTREND,且minthre≤θ≤maxthre,则认为当前车辆偏左行驶;
c)若当前车辆满足条件:trendR≥MAXTREND,且minthre≤θ≤maxthre,则认为当前车辆偏右行驶;
其中:minthre、maxthre分别表示切入角的最小值、最大值,根据车辆车身大小及行驶速度的不同,可取范围为6°≤maxthre≤10°。
一种有效判别车辆行驶状态的装置,包括:判别参数获取单元、判别参数计算单元、车辆行驶状态判别单元;所述判别参数获取单元包括:相机标定子单元、车道线识别子单元、传感器获取车辆自身信息子单元;判别参数计算单元包括:实际坐标计算子单元、距离修正子单元、计算子单元;车辆行驶状态判别单元包括:状态判定阈值设置子单元、比较记录子单元、状态判别子单元;所述判别参数获取单元与判别参数计算单元连接,判别参数计算单元与车辆行驶状态判别单元连接;所述判别参数获取单元为判别参数计算单元提供输入参数信息,判别参数计算单元根据输入参数信息计算切入角、横向距离以及车辆横向速度;车辆行驶状态判别单元根据计算得到的判别参数设置判定规则,判断是否满足设定规则,确定车辆的行驶状态。
本发明的有益效果在于:
1、分块子图像自适应阈值分割,能有效克服白天光照、夜间灯光影响以及车道线磨损较为严重时车道线边缘点分割率低的问题,提高了恶劣条件下的车道线检测率,同时对Hough检测到的直线设置约束条件进行判断,去除大部分干扰信息,提高车道线检测的正确率。
2、采用切入角及车轮与横向距离判断车辆行驶趋势,其中切入角根据基于消失点的标定实时计算,避免了采用传感器采集切入角信号时,由于噪声信号的影响,使得切入角误差过大的问题,同时利用帧与帧间横向距离判断车辆行驶趋势,避免了采用模型方法的计算复杂度,满足实时性需求。实验及路测证明该方法简单且有效。
3、利用切入角、横向距离及横向速度等信息,提供车道偏离系统中的自适应预警,避免提早预警或延迟预警等错误信号给驾驶员带来的干扰,同时提供常见的危险行驶信号,包括车辆长时间压左(右)车道线行驶,或长时间在车道内靠左(右)行驶,为驾驶员特别是新手,提供一种安全驾驶辅助功能。
附图说明
图1是本发明一种有效判断车辆行驶状态的方法的步骤流程示意图;
图2是车辆行驶路径状态判断的流程示意图;
图3是本发明实施例车道偏离预警的原理示意图;
图4是本发明一种优选判断车辆行驶状态的装置的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此:
实施例1:如图1所示,一种有效判别车辆行驶状态的方法,该方法包括以下步骤:
(1)基于消失点的相机标定:将摄像头安装于车前端挡风玻璃处,根据摄像头内部参数,利用相机标定技术,获取外部参数,外部参数包括:摄像头安装高度H、俯仰角Pitch、翻转角Roll及朝向角Yaw。
该步骤具体为:
1)XwYwZw表示路面坐标系,UV为像平面坐标系,俯仰角Pitch为相机光轴与路面的夹角,记为角度t,朝向角Yaw为光轴与路面车道的夹角,记为角度p,翻转角Roll表示为相机坐标系绕Z轴旋转的角度,记为角度s,l为平移向量的模值,则路面坐标到像平面坐标转换关系如下:
u v 1 = 1 Z c K 0 R T 0 1 X w Y w Z w 1 - - - ( 1 )
其中
R = cos ( p ) cos ( s ) + sin ( t ) sin ( p ) sin ( s ) - sin ( t ) cos ( p ) sin ( s ) - sin ( p ) cos ( s ) cos ( t ) sin ( s ) sin ( t ) sin ( p ) cos ( s ) + cos ( p ) sin ( s ) sin ( p ) sin ( s ) + sin ( t ) cos ( p ) cos ( s ) - cos ( t ) cos ( s ) - cos ( t ) sin ( p ) cos ( t ) cos ( p ) - sin ( t )
对上述公式进行反映射变换,即得到路面坐标系(Zw=0)与像平面坐标系的转换关系:
X w = l [ u s c o s ( p ) s i n ( t ) + v s s i n ( p ) ] v s cos ( t ) + f x s i n ( t ) Y w = l [ - u s sin ( p ) s i n ( t ) + v s cos ( p ) ] v s cos ( t ) + f y s i n ( t ) - - - ( 2 )
u s = ( u - u 0 ) cos ( s ) + ( v - v 0 ) sin ( s ) v s = ( u - u 0 ) sin ( s ) - ( v - v 0 ) cos ( s )
其中(u0,v0)表示图像的主点位置,(fx,fy)表示世界单位中的像素数目;
2)利用消失点属性,得到相机安装参数与消失点间对应关系,求解相机外部参数。具体属性应用为:
a.在空间坐标系下,有三条直线两两正交时(如路面坐标系的xyz坐标轴),这三条直线投影到相机坐标系下组成的单位向量也两两正交,设VQ,VR,VS为上述所对应的三个消失点,其在相机坐标系下的坐标值分别为VQ=(xQ,yQ,-f),VR=(xR,yR,-f),VS=(xS,yS,-f);
b.从摄像机的成像模型中可知,在空间坐标系下处于同一条摄像机光线上的点在像平面上的投影其坐标值也相同,即投影点的坐标变换与相机的安装距离无关系,只与安装的角度有关。
设路面坐标系中xyz轴方向上的三个单位向量分别为v1(1,0,0),v2(0,1,0),v3(0,0,1),在这三个方向上形成的消失点在相机坐标系下分别为v1'(x1u,y1v,-f),v2'(x2u,y2v,-f),v3'(x3u,y3v,-f),则旋转矩阵R可由以上三个消失点的坐标位置表示,具体的转换公式如下:
R = v ′ = v 1 v 2 v 3 = x 2 u x 2 u 2 + y 2 v 2 + f 2 x 1 u x 1 u 2 + y 1 v 2 + f 2 x 3 u x 3 u 2 + y 3 v 2 + f 2 y 2 v x 2 u 2 + y 2 v 2 + f 2 y 1 v x 1 u 2 + y 1 v 2 + f 2 x 3 v x 3 u 2 + y 3 v 2 + f 2 - f x 2 u 2 + y 2 v 2 + f 2 - f x 1 u 2 + y 1 v 2 + f 2 - f x 3 u 2 + y 3 v 2 + f 2
(2)对由摄像头获取的图像进行车道线识别,主要包括:
1)图像预处理:为减少噪声干扰,首先对图像进行高斯滤波,再应用Sobel边缘检测算子3×3模板,分别对图像进行水平、垂直方向边缘检测,得到水平和垂直方向图Ix、Iy,则边缘图像经过该处理增强了车道线边缘信息;
2)自适应二值分割:为避免白天光照及夜间灯光影响,使车道线分割失效的问题,本发明采用基于分块子图像的自适应二值分割算法,将图像消失点以下部分分割为N个子图像,对每个子图像分别应用Otsu算法计算自适应阈值;
3)特征点对提取:由于基于子图像的自适应阈值分割,在分割出车道线边缘信息的同时也增加了噪声信号,为去除噪声同时保留车道线边缘点,本发明的提取步骤为:
a.采用3×3腐蚀模板进行滤波,滤波方向为垂直方向,可去除大部分噪声,同时保留车道线边缘点;
b.从滤波后二值图像下边缘开始,逐行扫描各像素点,对于像素值为255的点,利用车道线边缘点灰度值大于左右两侧像素点灰度值特性,在原始灰度图中判断该点是否为车道线边缘点,具体规则为:判断该点左侧N个像素点的平均灰度值与该点灰度值的差值是否在设定的阈值内,本发明中阈值设置为左侧N个像素点平均灰度值的一半,其中N=16,同理判断该点右侧N个像素点平均灰度值与该点灰度差值是否满足要求;
4)Hough检测车道线:本发明采用直线模型y=kx+b,由投票机制得到ρ=x*cos(theta)+y*sin(theta)的最值,选取其最大的五个值,即检测到的五条直线作为候选车道线,对检测得到的候选车道线进行筛选,筛选条件为:
①投票累计值小于设定阈值的为干扰点组成的直线,应排除,本发明中阈值设定为15;
②检测到直线与消失线(消失点所在位置的水平直线)的交点与消失点的距离大于设定阈值,阈值可根据图像宽度Width设置,本发明中设置为Width/8~Width/5;
③检测到左右两侧直线间的距离,应满足实际车道宽度,在初始识别阶段设置宽度范围为2.5~5m,跟踪阶段可根据前N帧图像检测到的稳定直线,实时计算车道宽度,本发明中5≤N≤15,判断当前帧检测到左右直线是否为干扰线;
④利用实际路面坐标中,左右两侧车道线平行原理,选取图像坐标中两点,根据公式(2)反映射到路面坐标,利用直线模型计算实际两直线,判断图像中检测到左右直线是否平行,若不平行则为干扰线;
(3)根据识别到的车道线信息与标定得到的外部参数,判断车辆行驶路径状态,如图2所示,具体步骤为:
1)计算车辆切入角θ、车辆与车道线横向距离laterDis、车辆横向速度laterVel:
a.依据标定原理,选取图像中车道线上两点映射到路面坐标,模拟出路面坐标中车辆相对于车道线的方程,具体实现为:选取图像中车道线上两点(x1,y1)、(x2,y2),依据公式(2)分别计算这两点对应的路面坐标(Rx1,Ry1)、(Rx2,Ry2),利用直线模型计算该直线的斜率k及截距b,则切入角θ=90-arctan(k);
b.以车轮为参考点,计算车辆到车道线的横向距离,选取图像中车道线上与车轮垂直的点,依据公式(2)计算该点在路面坐标系中的坐标(Rx,Ry),该坐标的x分量值为车轮距车道线的横向距离laterDis,由于标定中图像中心点选取的不同,横向距离的求取方式也不同,具体方式为:
①若图像中心点在图像下边缘中心处,依据公式(2)得到的距离则为车轮距车道线的横向距离laterDis;
②若图像中心点在摄像头下方处,则需利用摄像头安装高度H、俯仰角Pitch,及切入角θ进行修改,laterDis=tanθ*H*tan(Pitch);
c.通过安装在车辆上的速度传感器得到车辆行驶速度vspeed,则车辆横向速度:
laterVel=vspeed*sinθ;
2)判断车辆行驶路径状态,具体流程为:
a.在识别出车道线后,设定数组lanewidth记录当前帧车道线路面坐标中的实际宽度,计算相邻N帧lanewidth之间差值,当相邻帧间差值范围在0.3~0.5m内,则检测出车道线稳定,再由步骤1)中b得到左车轮与左车道线的距离、右车轮与右车道线的距离,分别表示为laterDisL、laterDisR,比较两者大小,即│laterDisL-laterDisR│≤Δd,其中Δd的取值由当前lanewidth动态设置,本实施例设置2.5≤lanewidth≤5m,则0.3≤Δd≤0.75m;
b.设定变量记录当前帧laterDisL、laterDisR的值,trendL、trendR记录车辆靠近左、右车道线的趋势,比较当前帧laterDisL、laterDisR与前帧大小,判断车辆是否有靠近左、右车道线的趋势,若当前帧laterDisL、laterDisR小于前帧值,则trendL或trendR累加;
c.若当前帧车辆相关信息满足以下条件:①│laterDisL-laterDisR│≤Δd,②trendL<MAXTREND或trendR<MAXTREND,③切入角θ≤minthre,经过实际路测及理论计算,本发明中设置1°≤minthre≤3°,MAXTREND=5,则认为当前车辆行驶安全,不发出预警信号,若不满足上述条件,则跳到步骤d;
d.为叙述方便下述步骤中均只讨论左侧危险预警,若trendL≥MAXTREND,且minthre≤θ≤maxthre,本发明中6°≤maxthre≤10°,结合通过安装在车身上的传感器获取的车辆自身速度信息,设定条件判定发出何种预警信号,具体实施为:
①设置车辆靠近车道内左侧的最小距离mindis,mindis的取值由当前lanewidth动态设置,如2.5≤lanewidth≤5m,则0.3≤mindis≤0.5m,若当前帧满足laterDisL≤mindis,记录该帧后连续M帧的laterDisL,及当前帧与上帧的距离差ΔL=laterVel*ΔT,其中ΔT为帧与帧间的时间间隔,若帧与帧间laterDisL差值小于ΔL,则trendL自减,若trendL<MAXTREND且当前帧与前帧车道线位置信息在0.1~0.3m的范围内变动,则记录车辆在车道内靠左行驶的帧数N自加,则在车道内靠左侧行驶时间Tk=N*ΔT,当Tk>MAXTIME时,发出长时间在车道内靠左侧行驶的预警信息,其中5≤MAXTIME≤15s,MAXTIME可根据用户需求修改;
②若不满足步骤c及步骤d①中条件,则判断是否发出车道偏离预警信号,其中设置该系统中的最早、最晚报警线,该两线的位置至关重要,若最早预警线设置太早,或最晚报警线设置太滞后,均会造成错误及不及时的预警,影响驾驶员的行驶,本发明中,根据车辆行驶速度、切入角及车道宽度等信息,设置最早及最晚预警线,以保证预警的准确性,同时采用自适应的预警方案,即根据当前车道宽度与车辆横向速度与设定阈值间的关系,设置最早及最晚预警线,最早及最晚报警线可参见图3,具体方式为:
i.当0.5≤laterVel<1m/s时,最早报警线设置为车道线内侧,当trendL=MAXTREND时,计算车辆偏离车道线的偏离时间Tp=laterDisL/laterVel,若Tp/ΔT为非整数,则车辆会在最早报警线外侧报警,且实际切入角的计算存在误差,则最晚报警线设置为:Llate=ΔT*laterVel+ΔT*sinerrθ*vSpeed,其中errθ为计算切入角与实际切入角间的误差,1°≤errθ≤3°,则当前速度下最晚报警线为最早报警线往外0.2~0.35m。
ii.当1≤laterVel<1.5m/s时,最早报警线可根据当前车道宽度动态设置,本发明设置为距离车道线内侧往内0.3~0.5m,最晚报警线的设置方式同上述步骤i相同,该速度下的最晚报警线为最早报警线往外0.35~0.5m。
iii.当laterVel≥1.5m/s时,最早报警线设置为距离车道线内侧再往内0.5~0.75m,最晚报警线设置为最早报警线往外0.5~0.75m。
③当laterDisL在最早及最晚报警线区域内,判断该帧后连续M帧laterDisL是否满足在报警区域内条件,若满足,设置变量warnum记录帧数,则长时间压线时间Ty=warnum*ΔT,若Ty>MAXTIME,则发出长时间压线行驶预警信号,本发明中5≤MAXTIME≤15s,且可根据用户需求修改。
本发明实施例还提供了一种有效判别车辆行驶状态的装置,参见图4,包括:
1)判别参数获取单元,该单元分为相机标定、车道线识别及传感器获取车辆信息子单元,相机标定子单元用于建立像平面坐标系与路面坐标系的转换关系,车道线识别子单元用于检测道路中的车道线,并提供车道线相关参数,传感器获取车辆信息子单元用于获取车辆自身速度,该单元为判别参数计算单元提供输入信息;
2)判别参数计算单元,用于计算车辆参考点(选取为车轮)与车道线间的横向距离laterDis,车辆与车道线间的切入角θ,及车辆自身横向速度;
3)车辆行驶状态判别单元,根据计算得到的判别参数,设置判定规则,判断是否满足设定规则,确定车辆的行驶状态;
其中,所述判别参数计算单元包括:
2.1)实际坐标计算子单元,用于计算图像中指定像素点在路面坐标系中位置,选取图像中车道线上两点(x1,y1)、(x2,y2)反映射到路面坐标系中,其路面坐标对应为(Rx1,Ry1)、(Rx2,Ry2),车道线在图像下边缘像素点(x,y),路面坐标对应为(Rx,Ry);
2.2)距离修正子单元,根据相机标定方式的不同,利用摄像头安装高度H、俯仰角Pitch,及切入角θ,修正车辆参考点(车轮)与车道线的横向距离laterDis;
2.3)计算子单元,利用实际坐标计算单元中得到的(Rx1,Ry1)及(Rx2,Ry2),采用直线模型,拟合路面坐标中对应的车道线,计算该直线的斜率k及截距b,即得到切入角θ,横向距离laterDis=Rx,依据本发明采用标定,修正后laterDis=tanθ*H*tan(Pitch),车辆横向速度laterVel=vspeed*sinθ,其中vspeed为车辆自身速度;
车辆行驶状态判别单元包括:
3.1)状态判定阈值设置子单元,用于设置与车辆行驶状态判别相关参数的阈值,包括:车辆靠近左(右)侧最小距离mindis,mindis的取值由车道宽度lanewidth动态设置,如2.5≤lanewidth≤5m,则0.3≤mindis≤0.5m,车辆靠近左(右)侧最小距离内行驶时间maxTk,5≤maxTk≤15s可在此范围内设置,车辆压线行驶时间maxTy,5≤maxTy≤15s,车道偏离预警系统中,不同速度下最早及最晚报警延迟线设置,i.当0.5≤laterVel<1m/s时,最早报警线设置为车道线内侧,最晚报警线为最早报警线往外0.2~0.35m。ii.当1≤laterVel<1.5m/s时,最早报警线设置为距离车道线内侧往内0.3~0.5m,最晚报警线为最早报警线往外0.35~0.5m。iii.当laterVel≥1.5m/s时,最早报警线设置为距离车道线内侧再往内0.5~0.75m,最晚报警线设置为最早报警线往外0.5~0.75m,均可根据用户需求修改;
3.2)比较记录子单元,用于记录车辆偏离趋势trend,车辆靠车道左(右)侧行驶时间Tk,及压线行驶时间Ty,比较相邻两帧间的横向距离差,若满足设定条件,则偏离趋势trend自加,记录当前帧trend值,Tk=N*ΔT,Ty=warnum*ΔT,其中ΔT为帧间的时间间隔,N为在mindis范围内连续行驶的帧数,warnum为在预警区域内连续行驶的帧数;
3.3)状态判别子单元,根据车辆偏离趋势trend,切入角θ,左右侧横向距离laterDisL、laterDisR,及横向速度laterVel,设置状态判别条件,判断当前帧laterDisL、laterDisR,切入角θ及偏离趋势trend与设置的阈值间关系,判定是否危险驾驶,若是,则根据当前帧laterDisL与mindis的关系,比较时间Tk与预设最长压线时间maxTk,判断是否发出长时间在车道内靠左侧行驶的预警信号,若不满足上述条件,则发出车道偏离预警,判断laterDiLs是否在预警区域内,比较Ty与预设最大压线时间maxTy,判断是否发出长时间压线预警信号;
以上的所述乃是本发明的具体实施例及所运用的技术原理,若依本发明的构想所作的改变,其所产生的功能作用仍未超出说明书及附图所涵盖的精神时,仍应属本发明的保护范围。

Claims (7)

1.一种有效判别车辆行驶状态的方法,其特征在于包括以下步骤:
1)相机标定获取外部参数步骤:摄像机拍摄得到图像帧,根据相机内部参数及基于消失点的标定原理,计算得到相机的外部参数,建立像平面坐标系与路面坐标系的转换关系;
2)获取当前图像帧的车道线步骤:包括图像预处理,图像分割,特征点提取及Hough检测车道线;
3)判断车辆行驶路径状态步骤:
3.1)根据步骤1)、2)计算获得车辆与车道线的切入角、车轮与车道线横向距离,传感器获得车辆速度后计算得到车辆横向速度;
3.2)识别稳定车道线,比较左车轮与左车道线的横向距离laterDisL、右车轮与右车道线的横向距离laterDisR的数值大小,判断车辆是否正常行驶,若正常驾驶则继续步骤3.1),若否则跳入下一步;
3.3)记录车辆靠近左车道线的趋势trendL、车辆靠近右车道线的趋势trendR、切入角θ,判断车辆危险驾驶类型;
3.4)判断车辆是否满足车道偏离预警,若是则根据车道线宽度及车辆横向速度制定自适应预警方案,发出车道偏离最早报警和最晚报警预警信号;若否则进入下一步;
3.5)判断车辆的车轮是否长时间压线行驶,若是则发出长时间压线预警信号;若否则为长时间侧向行驶,发出长时间侧向行驶预警信号。
2.根据权利要求1所述的一种有效判别车辆行驶状态的方法,其特征在于,所述步骤2)中图像分割采用分块子图像自适应阈值分割方法,将图像分割为N个子图像,对每个子图像应用Ostu算法进行阈值分割。
3.根据权利要求2所述的一种有效判别车辆行驶状态的方法,其特征在于,所述步骤2)中Hough检测车道线采用直线模型y=kx+b,经投票得到ρ=x*cos(theta)+y*sin(theta)的值,其中,x表示图像中像素点的横坐标位置,y表示图像中像素点的纵坐标位置;ρ是从原点引到图像中直线的垂线长度,ρ的取值由图像大小决定,最大值为图像对角线长度;theta是垂线与x轴正向的夹角;选取其中最大的五个值对应的五条直线作为候选车道线,对检测得到的候选车道线进行筛选,利用车道线上点的组成数量、消失点、车道实际宽度、实际路面中左右车道线平行作为筛选条件,对检测到直线是否为车道线进行判断,得到车道线。
4.根据权利要求3所述的一种有效判别车辆行驶状态的方法,其特征在于,所述步骤3)的步骤3.1)具体包括以下步骤:
3.1.1)选取图像中车道线上两点(x1,y1)、(x2,y2)反映射到路面坐标系中,其路面坐标为(Rx1,Ry1)、(Rx2,Ry2),利用直线模型拟合路面坐标中车道线,计算该直线的斜率k及截距b,再计算切入角θ;
3.1.2)选取图像中与车轮对应的车道线上的点,将其坐标反映射到路面坐标,即为车轮与车道线的横向距离,根据标定中图像中心点选取的不同,横向距离的求取方式也不同,若图像中心点在图像下边缘中心处,则反映射得到的距离则为车轮距车道线的横向距离laterDis;若图像中心点在摄像头下方处,则需利用摄像头安装高度H、俯仰角Pitch,及切入角θ进行修改,此时laterDis=tanθ*H*tan(Pitch);
3.1.3)通过安装在车辆上的速度传感器得到车辆行驶速度vspeed,则车辆横向速度laterVel=vspeed*sinθ。
5.根据权利要求4所述的一种有效判别车辆行驶状态的方法,其特征在于,所述步骤3.2)具体包括以下步骤:
3.2.1)在识别出车道线后,设定数组lanewidth记录当前帧车道线路面坐标中的实际宽度,计算相邻N帧lanewidth之间差值,当相邻帧间差值范围在0.3~0.5m内,则检测出车道线稳定;
3.2.2)车轮与车道线横向距离包括左车轮与左车道线的距离laterDisL、右车轮与右车道线的距离laterDisR,当│laterDisL-laterDisR│≤Δd,当0.3≤Δd≤0.75m时,车辆正常行驶,否则车辆属于非正常行驶状态。
6.根据权利要求5所述的一种有效判别车辆行驶状态的方法,其特征在于,所述步骤3.3)具体包括以下步骤:
3.3.1)设定变量记录当前帧laterDisL、laterDisR的值,trendL、trendR记录车辆靠近左、右车道线的趋势,比较当前帧laterDisL、laterDisR与前帧大小,判断车辆是否有靠近左、右车道线的趋势,若当前帧laterDisL、laterDisR小于前帧值,则trendL或trendR累加;
3.3.2)根据参数条件判断车辆危险驾驶类型:
a)若当前车辆满足下列条件:①│laterDisL-laterDisR│≤Δd;②trendL<MAXTREND或trendR<MAXTREND;③切入角θ≤minthre;其中,1°≤minthre≤3°,MAXTREND=5;则认为当前车辆行驶安全,不发出预警信号;
b)若当前车辆满足条件:trendL≥MAXTREND,且minthre≤θ≤maxthre,则认为当前车辆偏左行驶;
c)若当前车辆满足条件:trendR≥MAXTREND,且minthre≤θ≤maxthre,则认为当前车辆偏右行驶;
其中:minthre、maxthre分别表示切入角的最小值、最大值,根据车辆车身大小及行驶速度的不同,可取范围为6°≤maxthre≤10°。
7.一种应用如权利要求1所述方法的装置,其特征在于包括:判别参数获取单元、判别参数计算单元、车辆行驶状态判别单元;所述判别参数获取单元包括:相机标定子单元、车道线识别子单元、传感器获取车辆自身信息子单元;判别参数计算单元包括:实际坐标计算子单元、距离修正子单元、计算子单元;车辆行驶状态判别单元包括:状态判定阈值设置子单元、比较记录子单元、状态判别子单元;所述判别参数获取单元与判别参数计算单元连接,判别参数计算单元与车辆行驶状态判别单元连接;所述判别参数获取单元为判别参数计算单元提供输入参数信息,判别参数计算单元根据输入参数信息计算切入角、横向距离以及车辆横向速度;车辆行驶状态判别单元根据计算得到的判别参数设置判定规则,判断是否满足设定规则,确定车辆的行驶状态。
CN201410383420.2A 2014-08-06 2014-08-06 一种有效判别车辆行驶状态的方法及其装置 Active CN104129389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410383420.2A CN104129389B (zh) 2014-08-06 2014-08-06 一种有效判别车辆行驶状态的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410383420.2A CN104129389B (zh) 2014-08-06 2014-08-06 一种有效判别车辆行驶状态的方法及其装置

Publications (2)

Publication Number Publication Date
CN104129389A CN104129389A (zh) 2014-11-05
CN104129389B true CN104129389B (zh) 2017-02-01

Family

ID=51802333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410383420.2A Active CN104129389B (zh) 2014-08-06 2014-08-06 一种有效判别车辆行驶状态的方法及其装置

Country Status (1)

Country Link
CN (1) CN104129389B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786929A (zh) * 2015-03-25 2015-07-22 王方圆 车道偏离报警系统
CN105951573B (zh) * 2016-05-24 2019-01-22 徐州市公路工程总公司 一种划线机的红外导向警示组件
TWI611961B (zh) * 2016-06-01 2018-01-21 緯創資通股份有限公司 車道線影像分析方法、影像分析裝置及其電腦可讀取式媒體
CN105966398B (zh) * 2016-06-21 2017-05-31 广州鹰瞰信息科技有限公司 一种对车辆偏离车道进行预警的方法和装置
CN106295560B (zh) * 2016-08-09 2019-06-18 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN106256606B (zh) * 2016-08-09 2017-11-03 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106485917B (zh) * 2016-09-28 2019-11-22 上海海积信息科技股份有限公司 一种判决车辆变更车道的方法和装置
CN106525056A (zh) * 2016-11-04 2017-03-22 杭州奥腾电子股份有限公司 利用陀螺仪传感器进行车道线检测的方法
CN107066952A (zh) * 2017-03-15 2017-08-18 中山大学 一种车道线检测方法
CN107341478A (zh) 2017-07-11 2017-11-10 京东方科技集团股份有限公司 一种辅助驾驶系统的车辆检测方法及其装置
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
CN107963079A (zh) * 2017-10-10 2018-04-27 宝沃汽车(中国)有限公司 车辆的车道偏离检测方法、系统及车辆
CN108470142B (zh) * 2018-01-30 2021-09-03 西安电子科技大学 基于逆透视投影和车道距离约束的车道定位方法
CN110163039B (zh) * 2018-03-15 2020-11-24 北京航空航天大学 判定车辆行驶状态的方法、设备、存储介质以及处理器
CN108528336B (zh) * 2018-04-18 2021-05-18 福州大学 一种车辆压线提前预警系统
CN108657065A (zh) * 2018-04-23 2018-10-16 南京航空航天大学 一种汽车主动防撞辅助控制装置及其控制方法
US10586456B2 (en) 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
CN108805932A (zh) * 2018-06-11 2018-11-13 合肥越明交通电子科技有限公司 一种高精度智能评判车辆特征点所在地理位置的方法
CN109087361B (zh) * 2018-07-19 2021-01-26 北京航空航天大学 一种基于单目摄像头的前向物体横向距离标定方法
CN109080536B (zh) * 2018-08-28 2021-07-02 格陆博科技有限公司 一种车道偏离预警系统
CN109383371A (zh) * 2018-09-19 2019-02-26 行为科技(北京)有限公司 一种adas产品车道偏离报警系统
CN109470254B (zh) * 2018-10-31 2020-09-08 百度在线网络技术(北京)有限公司 地图车道线的生成方法、装置、系统及存储介质
CN111497870A (zh) * 2019-01-14 2020-08-07 厦门歌乐电子企业有限公司 一种车辆越车道线行驶提醒装置及方法
CN110210363B (zh) * 2019-05-27 2022-09-06 中国科学技术大学 一种基于车载图像的目标车辆压线检测方法
CN111753605A (zh) * 2019-06-11 2020-10-09 北京京东尚科信息技术有限公司 车道线定位方法、装置、电子设备及可读介质
CN110458050B (zh) * 2019-07-25 2023-06-06 清华大学苏州汽车研究院(吴江) 基于车载视频的车辆切入检测方法及装置
CN112406884B (zh) * 2019-08-20 2022-03-15 北京地平线机器人技术研发有限公司 车辆行驶状态的识别方法和装置、存储介质、电子设备
CN110610137B (zh) * 2019-08-21 2022-04-15 北京地平线机器人技术研发有限公司 检测车辆行驶状态的方法、装置以及电子设备、存储介质
CN110738219A (zh) * 2019-10-15 2020-01-31 腾讯科技(深圳)有限公司 图像中线条提取方法和装置、存储介质及电子装置
CN112937572A (zh) * 2021-02-01 2021-06-11 邵阳学院 一种车辆危险行为的防控方法、装置、系统及存储介质
CN113449635B (zh) * 2021-06-28 2023-10-31 吉林大学 一种基于驾驶习惯的车道偏离预警方法
CN113487878A (zh) * 2021-07-12 2021-10-08 重庆长安新能源汽车科技有限公司 一种机动车违章压线行驶检测方法及系统
CN113469133A (zh) * 2021-07-26 2021-10-01 奥特酷智能科技(南京)有限公司 一种基于深度学习的车道线检测方法
CN115320553A (zh) * 2022-08-30 2022-11-11 桂林电子科技大学 一种面向弯道情况下aeb系统的前车定位判断方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161938B2 (ja) * 2004-06-01 2008-10-08 トヨタ自動車株式会社 走行制御装置
CN102320298B (zh) * 2011-06-09 2014-05-21 中国人民解放军国防科学技术大学 一种基于单芯片的车道偏离提醒装置
CN102303609B (zh) * 2011-06-16 2013-11-06 广东铁将军防盗设备有限公司 车道偏离预警系统及方法
CN102785667A (zh) * 2012-08-29 2012-11-21 浙江海康集团有限公司 基于双目的车道偏离和前防撞预警集成警示系统及方法
CN103496370B (zh) * 2013-10-15 2018-01-30 扬州瑞控汽车电子有限公司 一种车道偏离预警方法

Also Published As

Publication number Publication date
CN104129389A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
CN104129389B (zh) 一种有效判别车辆行驶状态的方法及其装置
US11816983B2 (en) Helmet wearing determination method, helmet wearing determination system, helmet wearing determination apparatus, and program
CN104881955B (zh) 一种驾驶员疲劳驾驶检测方法及系统
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
US20140348390A1 (en) Method and apparatus for detecting traffic monitoring video
JP5776795B2 (ja) 立体物検出装置
CN104077756B (zh) 一种基于车道线置信度的方向滤波方法
CN101894271A (zh) 汽车偏离车道线角度和距离的视觉计算及预警方法
CN104573646A (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN106682646A (zh) 一种车道线的识别方法及装置
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
US9189691B2 (en) Three-dimensional object detection device and three-dimensional object detection method
CN107462223A (zh) 一种公路转弯前行车视距自动测量装置及测量方法
CN103593671B (zh) 基于三摄像机协同的大范围车道线视觉检测方法
CN110059683A (zh) 一种基于端到端神经网络的大角度车牌倾斜矫正方法
CN101984478A (zh) 基于双目视觉车道线检测的非正常s型驾驶预警方法
CN110379168A (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN105426868A (zh) 一种基于自适应感兴趣区域的车道检测方法
CN106600955A (zh) 检测交通状态的方法、装置和电子设备
Cheng et al. A vehicle detection approach based on multi-features fusion in the fisheye images
CN103021179A (zh) 基于实时监控视频中的安全带检测方法
Kamble et al. Lane departure warning system for advanced drivers assistance
CN114663859A (zh) 灵敏准确的复杂路况车道偏移实时预警系统
Dai et al. A vehicle detection method via symmetry in multi-scale windows
Ge et al. A real-time lane detection algorithm based on intelligent ccd parameters regulation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Yuhang District, Hangzhou City, Zhejiang Province, 311121 West 1500 No. 1 building 3114

Applicant after: Zhong electricity Haikang Group Co.,Ltd

Address before: Ma Cheng Road Hangzhou City, Zhejiang province 310012 No. 36

Applicant before: Zhong electricity Haikang Group Co.,Ltd

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant