CN106295560B - 基于车载双目相机和分段式pid控制的车道保持方法 - Google Patents

基于车载双目相机和分段式pid控制的车道保持方法 Download PDF

Info

Publication number
CN106295560B
CN106295560B CN201610646838.7A CN201610646838A CN106295560B CN 106295560 B CN106295560 B CN 106295560B CN 201610646838 A CN201610646838 A CN 201610646838A CN 106295560 B CN106295560 B CN 106295560B
Authority
CN
China
Prior art keywords
vehicle
lane
binocular camera
deviation
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610646838.7A
Other languages
English (en)
Other versions
CN106295560A (zh
Inventor
缪其恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN201610646838.7A priority Critical patent/CN106295560B/zh
Publication of CN106295560A publication Critical patent/CN106295560A/zh
Application granted granted Critical
Publication of CN106295560B publication Critical patent/CN106295560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Abstract

本发明涉及一种基于车载双目相机和分段式PID控制的车道保持方法。包括如下步骤:基于车载双目相机估算车辆可通行区域;进行车道线检测和跟踪;计算车辆侧偏角;计算车辆的车道偏离距离;利用转角分段PID控制器计算修正车道偏离距离所需要的方向盘转角补偿值;根据方向盘转角补偿值计算修正车道偏离所需要的方向盘转向电机控制电压,然后输入给方向盘转向电机,对车辆车道偏离进行修正。本发明显著提升检测准确率,采用分段PID控制策略对车辆的方向盘转角进行修正,修正更为精确,实现不同车速的车道保持,提高车辆车道保持的准确性和可靠性,从而提高行车的安全性。本发明适用于直线和转弯等不同工况。

Description

基于车载双目相机和分段式PID控制的车道保持方法
技术领域
本发明涉及车辆控制领域,尤其涉及一种基于车载双目相机和分段式PID控制的车道保持方法。
背景技术
车道保持辅助系统是高级车辆辅助驾驶的主要功能之一,该系统已经被欧洲新车评价体系(EU-NCAP)列入五星安全评价考量标准之一。该系统的功能在于对驾驶员无变道意图情况下的车道偏离现象做出修正,以避免潜在变道交通事故或违规驾驶行为(实线变道)的发生。
现有车道保持辅助系统主要基于单目相机的图像分析与处理,提取车道线信息、计算车辆偏航参数,并施加相应的车辆控制操作。车道线检测主要缺点有:易受光照、阴影等影响;基于平面、直线标识等假设,应用范围受限(不适用于坡道以及转弯工况);车道线检测范围为图像固定区域,检测结果易受该区域内出现的其它车辆影响。所使用的传感系统复杂。车道保持控制策略对驾驶员介入响应较差。
发明内容
本发明为了解决上述技术问题,提供一种基于车载双目相机和分段式PID控制的车道保持方法,其根据双目视差匹配代价信息动态更新车道线检测区域,应用车道线距离、宽度和角度阈值滤波,显著提升检测准确率,采用分段PID控制算法实现不同车速的车道保持,对车道偏离的修正更为精确,可适用于直线和转弯等不同工况。
本发明的上述技术问题主要是通过下述技术方案得以解决的:本发明基于车载双目相机和分段式PID控制的车道保持方法,包括如下步骤:
①基于车载双目相机估算车辆可通行区域;
②在估算出的车辆可通行区域内进行车道线检测和跟踪;
③计算车辆侧偏角β;
④计算车辆的车道偏离距离ΔY;
⑤利用转角分段PID控制器计算修正车道偏离距离ΔY所需要的方向盘转角补偿值Δδ;
⑥根据方向盘转角补偿值Δδ计算修正车道偏离所需要的方向盘转向电机控制电压VD,然后输入给方向盘转向电机,对车辆车道偏离进行修正。
本发明利用车载双目相机对图像进行分析和处理,根据双目视差匹配代价信息动态更新车道线检测区域,应用车道线距离、宽度和角度阈值滤波,显著提升检测准确率,同时采用分段PID控制算法确定车辆的方向盘转角修正量,以实时最小化车辆行驶侧向偏移量,实现不同车速的车道保持,对车道偏离的修正更为精确,可适用于直线和转弯等不同工况。
作为优选,所述的步骤①为:获取所述的车载双目相机送来的信息,利用双目视差匹配代价逐行求和获得V-视差图,将V-视差图中点集拟合成B-样条曲线获得纵向道路模型;根据纵向道路模型,利用动态规划双目视差匹配代价的方法检测车辆前方可通行区域范围,即车道检测的感兴趣图像区域,计算障碍物与道路交线,交线以下部分即为车辆可通行区域。纵向道路模型就是道路高度随距离变化关系,车辆可通行区域就是车道检测的感兴趣图像区域。根据双目视差匹配代价信息动态更新车道线检测区域,显著提升检测准确率。
作为优选,所述的步骤②为:在估算出的车辆可通行区域内提取二次化边缘特征,设定车道线宽度、距离及角度阈值,过滤掉不符合车道线几何特征的二次化边缘特征,利用固定长度多段直线拟合车道线特征点,通过车道线长度阈值设定,确定车道线类型,利用卡尔曼滤波,对已检测出的车道线进行跟踪。在车辆可通行区域内进行车道线检测和跟踪,主要调用的函数有:图像去噪、canny特征提取、车道线阈值过滤(间距、宽度以及方向)、霍夫直线拟合以及卡尔曼滤波。区分车道线类型,实线或虚线,应用车道线距离、宽度和角度阈值滤波,可有效提升检测准确率。
车载双目相机,基于双目视差信息,确定前方潜在障碍物区域与距离。其采用的方法包括以下步骤:通过双目相机拍摄RGB格式的图像,所得到的图像为双目图像;对图像进行预处理;计算图像中每个像素点的最终匹配代价;图像坐标系中,u为像素点的横轴坐标,v为像素点的纵轴坐标;通过最终匹配代价计算得到纵向道路平面对应的V-视差图;利用V-视差图确定地平线和路面范围;在路面范围内,计算得到障碍物-道路交线;在障碍物-道路交线以下部分,进行车道线检测,对图像进行二次处理,提取霍夫直线,确定当前车道与最外侧车道范围;在障碍物-道路交线以上部分,计算得到障碍物高度;设置障碍物宽度、高度和深度的阈值模块,过滤图像中相邻的障碍物区域,确定属于同一障碍物的图像区域;输出经过阈值过滤之后的道路区域信息与障碍物信息。
作为优选,所述的步骤③为:在所提取的左侧车道线和右侧车道线区域内,提取FAST特征,并进行SURF特征描述,利用FLANN对相邻两帧图片的对应区域进行特征匹配,得到Homography矩阵,进行奇异值分解,得到车辆图像坐标系下的平动信息,平动信息的x与y分量的比值即为车辆侧偏角β。车辆侧偏角定义为车辆行驶方向和车辆朝向的夹角。具体测量方法如下:
步骤一:通过车载下视相机持续获取道路图像;
步骤二:对获取的所有道路图像进行预处理;
步骤三:预估时间轴相邻帧图片中重合部分作为ROI区域进行提取;
步骤四:对ROI区域进行FAST特征点提取;
步骤五:基于所提取的FAST特征点生成SURF特征向量;
步骤六:根据步骤五中提取的SURF特征向量,利用FLANN特征匹配库对时间轴相邻帧图片进行特征匹配;
步骤七:利用RANSAC算法选取时间轴相邻帧图片进行特征匹配后的匹配样本,通过匹配样本计算得出Homography矩阵;
步骤八:对计算所得的Homography矩阵进行奇异值分解,获取车载下视相机的平动信息T;执行步骤九并同时执行步骤一;
步骤九:通过公式:计算得出车辆的实时侧偏角β;
公式中:Tx为X轴方向车载下视相机的实时平动速度;Ty为y轴方向车载下视相机的实时平动速度;
FAST:此特征检测算法来源于corner的定义,采用机器学习的方法,按如下标准定义特征点:对于某像素点p,以其为中心的16个像素点,若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t),则p为特征点;可设置参数为像素点数n,亮度阈值t以及是否使用非极大值抑制(Non-Maximum Suppression)。该方法多用于角点检测。
SURF:一种具有尺度与旋转特征不变性的特征描述算法,描述性强,速度快。过程包括基于上述特征圆的特征向量方向分配以及基于4*4子集的二维哈尔小波求和的特征值分配。
FLANN:一种快速近似最近邻搜索函数库,能够自动选择两个近似最近邻算法(K-d决策树以及优先搜索K-均值决策树)中最优的算法。
RANSAC:一种鲁棒的回归方法,用于排除误匹配特征。
Homography:两张图像中对应匹配特征点的投影变换矩阵。
作为优选,所述的步骤④为:根据车道线检测和跟踪结果,确定车道中心线信息,即左车道线与右车道线在车辆图像坐标系中的几何中值,根据车辆侧偏角β以及预瞄距离d,估算车辆预瞄轨迹信息,d=K*V,其中V为车速,K为比例系数,K通过实验标定;在车辆图像坐标系下计算车辆的车道偏离距离ΔY,ΔY=d*sinβ-f(d*cosβ),其中Y=f(X)为车道中心线对应拟合方程。方程y=f(X),例如可采用高阶多项式:Y=aX2+bX+c。
作为优选,所述的步骤⑤为:利用转角分段PID控制器确定方向盘转角补偿值Δδ,
为转角分段PID控制器增益值,通过试验标定好的第一个车速-控制增益表获得。
转角分段PID控制器采用分段PID控制算法确定车辆的方向盘转角修正量,修正更为精确,实现不同车速的车道保持。分段PID控制器,是指由于不同的控制值,系统的响应特性不同,不能按照一个调节参数去适应,通常将控制量分成不同的阶段,采用不同的调节参数。
作为优选,所述的步骤⑥为:根据方向盘转角补偿值Δδ,利用电机分段PID控制器,计算修正车道偏离所需要的方向盘转向电机控制电压VD
为电机分段PID控制器增益值,通过试验标定好的第二个车速-控制增益表获得,
然后将计算得到的电压VD输入给方向盘转向电机,由方向盘转向电机控制方向盘的转向,对车辆车道偏离进行修正。
电机分段PID控制器采用分段PID控制算法确定修正车道偏离所需要的方向盘转向电机控制电压,计算更为精确,实现不同车速的车道保持,以实时地尽可能地减小车辆行驶侧向偏移量。采用双重分段PID控制策略,提高车辆车道保持的准确性和可靠性。
本发明的有益效果是:适用于直线和转弯等不同工况,利用车载双目相机,根据双目视差匹配代价信息动态更新车道线检测区域,应用车道线距离、宽度和角度阈值滤波,显著提升检测准确率,采用双重分段PID控制策略对车辆的方向盘转角进行修正,修正更为精确,实现不同车速的车道保持,提高车辆车道保持的准确性和可靠性,从而提高行车的安全性。
附图说明
图1是本发明车道保持控制系统的一种系统连接结构框图。
图2是本发明中车辆图像坐标系的一种示意图。
图3是本发明车道保持方法的一种处理流程图。
图中1.车载双目相机,2.车速传感器,3.转向灯组合开关信号,4.控制单元,5.ECU行车电脑,6.方向盘转向电机,7.左车道线,8.右车道线,9.前车轮。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
实施例:本实施例的基于车载双目相机和分段式PID控制的车道保持方法,所采用的车道保持控制系统如图1所示,车道保持控制系统包括控制单元4、车载双目相机1、车速传感器2、转向灯组合开关信号3、ECU行车电脑5和方向盘转向电机6,车载双目相机1、车速传感器2及转向灯组合开关信号3分别和控制单元4的输入端相连,控制单元4的输出端和ECU行车电脑5的输入端相连,ECU行车电脑5的输出端和方向盘转向电机6的输入端相连。
控制单元首先根据车速传感器所测得的当前车速V及转向灯组合开关信号判断是否开启车道保持功能。如果车速V高于某一设定阈值V0并且驾驶员无变道操作(无转向灯组合开关信号)时,则车道保持功能开启,反之则关闭。
当然判断驾驶员是否有变道操作,也可通过设置方向盘扭矩传感器实现,方向盘扭矩传感器所测得的扭矩力小于某一设定值时判断为无变道操作。
基于车载双目相机和分段式PID控制的车道保持方法,以双目相机、车速传感器及转向灯组合开关信号为输入,方向盘转向电机控制电压为输出,处理流程如图3所示,包括如下步骤:
①基于车载双目相机估算车辆可通行区域:获取所述的车载双目相机送来的信息,利用双目视差匹配代价逐行求和获得V-视差图,将V-视差图中点集拟合成B-样条曲线获得纵向道路模型;根据纵向道路模型,利用动态规划双目视差匹配代价的方法检测车辆前方可通行区域范围,即车道检测的感兴趣图像区域,计算障碍物与道路交线,交线以下部分即为车辆可通行区域;
②在估算出的车辆可通行区域内进行车道线检测和跟踪:在估算出的车辆可通行区域内提取二次化边缘特征,设定车道线宽度、距离及角度阈值,过滤掉不符合车道线几何特征的二次化边缘特征,利用固定长度多段直线拟合车道线特征点,通过车道线长度阈值设定,确定车道线类型,利用卡尔曼滤波,对已检测出的车道线进行跟踪;
③计算车辆侧偏角β:在所提取的左侧车道线和右侧车道线区域内,提取FAST特征,并进行SURF特征描述,利用FLANN对相邻两帧图片的对应区域进行特征匹配,得到Homography矩阵,进行奇异值分解,得到车辆图像坐标系下的平动信息,平动信息的x与y分量的比值即为车辆侧偏角β;(图2中,车辆图像坐标系的原点为车辆前轴中点,Y方向为车辆行驶方向,X方向为车辆左侧向,车辆行驶在左车道线7和右车道线8之间,图中只画出了车辆的前车轮9,车辆侧偏角β为车辆行驶方向和车辆朝向的夹角);
④计算车辆的车道偏离距离ΔY:根据车道线检测和跟踪结果,确定车道中心线信息,即左车道线与右车道线在车辆图像坐标系中的几何中值,根据车辆侧偏角β以及预瞄距离d,估算车辆预瞄轨迹信息,d=K*V,其中V为车速,K为比例系数,K通过实验标定;在车辆图像坐标系下计算车辆的车道偏离距离△Y,
ΔY=d*sinβ-f(d*cosβ),其中Y=f(X)为车道中心线对应拟合方程;
⑤利用转角分段PID控制器确定方向盘转角补偿值Δδ,
为转角分段PID控制器增益值,通过试验标定好的第一个车速-控制增益表获得;
⑥控制单元将计算出的方向盘转角补偿值Δδ输送给车辆的ECU行车电脑,ECU行车电脑利用电机分段PID控制器,计算修正车道偏离所需要的方向盘转向电机控制电压VD
为电机分段PID控制器增益值,通过试验标定好的第二个车速-控制增益表获得,
然后将计算得到的电压VD输入给方向盘转向电机,由方向盘转向电机控制方向盘的转向,对车辆车道偏离进行修正。
车载前向双目相机,基于双目视差信息,确定前方潜在障碍物区域与距离。具体方法如下:
1.获取RGB格式双目图像。
2.对图像进行预处理,主要包括灰度化,除畸变以及立体矫正。
3.对预处理后的图片中每个像素点(u,v)对应的视差d,计算基于灰度值绝对值之差(SAD)的匹配代价Cv(ui,vi,di),计算方法如下:
Cv(ui,vi,di)=imgleft(ui,vi)-imgright(ui-di,vi)
其中,ui为图像坐标系下像素点i的横坐标,vi为图像坐标系下像素点i的纵坐标,imgleft(ui,vi)为像素点i在左图上的灰度值绝对值,imgright(ui-di,vi)为坐标为(ui-di,vi)的像素点在右图上的灰度值绝对值,di为像素点i对应的视差;其中u,v,d的范围均为可设定参数。双目视差匹配代价的计算还可以采用基于平方差和(SSD)或其他计算方法。
4.对所计算的匹配代价进行n×n的滑窗卷积滤波,获得最终匹配代价Cm(u,v,d),其中n为可设定参数。
5.对最终视差匹配代价向图像纵轴(v轴)投影求和,并计算图像每一行v对应视差代价之和的最小值Cv,min
Cv,min=min(Cv(vi,di))
通过设定视差代价阈值Td,找出每行对应视差代价之和小于Cv,min+Td所对应的视差值d,从而得到V_视差图(v-d映射)。
6.将V_视差图投影到现实坐标系高度与深度的映射,利用B-样条曲线拟合路面高度与深度关系,最后逆映射回V-视差图平面,即可获得纵向道路平面对应的V-视差图。除了B-样条曲线,也可以采用其他形式的样条曲线,如分段直线或单一直线等。
7.利用V-视差图,确定地平线(视差d=0)以及路面范围(视差d>0对应的图像区域)。
8.在步骤7确定的路面范围内,利用V-视差图中每一行v与对应路面视差d的双向映射关系,计算障碍物-道路交线匹配代价cBoundary。该障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成,其中道路匹配代价v与d符合V-视差图的映射关系(f:v<->d)而物体匹配代价每一行则对应相同的视差d。其具体计算公式如下:
障碍物-道路交线匹配代价还可以采用路面匹配代价(忽略物体匹配代价)近似取代等算法计算。
9.利用二维动态规划方法确定障碍物-道路交线匹配代价CBoundarv最小值所对应的像素值(ubot,vbot)集合即为障碍物与道路的交线,每一列u对应的视差值为dBoundary(u)。
10.在障碍物-道路交线以下部分,车道线检测,对图像进行二次化处理,提取霍夫直线,确定当前车道与最外侧车道范围。
11.在障碍物-道路交线以上部分,计算障碍物高度匹配代价CHeight。首先通过概率函数m(u,v)计算Cm(u,v,dBoundarv(u))为区域极值的可能性,该值介于-1与1之间。最终,障碍物高度匹配代价计算公式如下:
计算障碍物高度匹配代价所使用的概率函数m(u,v)可以有多种输出范围在0到1或-1到1之间的函数形式来表示。
12.利用2维动态规划方法确定障碍物高度匹配代价CHeight最小值所对应的像素值(ui,vi)集合即为与障碍物与道路的交线对应的障碍物高度信息。
选取优化障碍物-道路交线,障碍物高度的方法不唯一,如可以采用贪婪算法等其他全局优化方法。
13.设置障碍物宽度,高度,深度阈值模块,过滤图像中相邻的障碍物区域,确定属于同一障碍物的图像区域。
14.输出经阈值过滤后的道路信息与障碍物信息。
步骤③中,车辆侧偏角β的计算方法,具体包括以下步骤:
步骤一:通过车载下视相机持续获取道路图像;
步骤二:对获取的所有道路图像进行预处理;对获取的所有道路图像依次进行灰度化处理和除畸变处理,在除畸变处理中,所用参数为预定参数,获取道路图像的单位时间步长和图像参数均为预定参数。
步骤三:预估时间轴相邻帧图片中重合部分作为ROI区域进行提取;预估时间轴相邻帧图片中重合部分作为ROI区域进行提取的方法包括初次提取方法和常态提取方法,若拍摄图像为车辆起步阶段,即需要比较的图像为重置后时间轴上的第一帧图像和第二帧图像则执行初次提取方法,否则执行常态提取方法;
初次提取方法:通过延时时间计算和调正,预先设定重置后时间轴第二帧图片中区域作为重合部分直接进行提取;
常态提取方法:根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算得出时间轴相邻帧图片中重合部分。具体的说,根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算预估移动距离,根据预估移动距离和相机本身参数可以获得图片的移动速度,取景时尚未移除的部分就是图像重叠部分。
步骤四:对ROI区域进行FAST特征点提取;
步骤五:基于所提取的FAST特征点生成SURF特征向量;
步骤六:根据步骤五中提取的SURF特征向量,利用FLANN特征匹配库对时间轴相邻帧图片进行特征匹配;
步骤七:利用RANSAC算法选取时间轴相邻帧图片进行特征匹配后的匹配样本,通过匹配样本计算得出Homography矩阵;利用RANSAC算法选取正确匹配样本,计算Homography矩阵:通过m个循环,随机选取4个匹配特征,计算Homography矩阵,对剩余特征按该矩阵匹配结果进行打分,像素点匹配距离小于某阈值M,则视为正确匹配,选取打分最高的Homography矩阵,利用其对应的所有正确匹配特征对,重新计算得到最终Homography矩阵;在步骤七中循环数m与距离阈值M均为预设值。
步骤八:对计算所得的Homography矩阵进行奇异值分解,获取车载下视相机的平动信息T与转动信息R;
所述Homography矩阵表示为:其中,R为相机平动信息、T为相机转动信息、d为图像平面对应的深度、N为图像平面对应的法向信息、K为相机内部参数矩阵,对计算所得Homography矩阵进行奇异值分解,获得相机平动信息T与转动信息R;令:
∑=diag(σ1,σ2,σ3),V=[v1,v2,v3]
上述奇异值分解理论上有四组解,如下所示:
解1:
解2:
解3:
R3=R1,N3=-N1
解4:
R4=R2,N4=-N2
选择方向最接近于[0,0,1]的法向量N对应的该组解。
根据实际相机几何投影限制,图像平面深度必须为正,因此对应法向量N必须为正值,由相机安装几何角度确定(垂直于地面),选择接近于[0,0,1]的法向量N对应的该组解。
本实施例在执行步骤九并同时执行步骤一;
步骤九:通过公式:计算得出实时车速V的绝对值;
通过公式:计算得出车辆的实时侧偏角β;
通过公式:计算车辆横摆角速度
公式中:Tx为X轴方向车载下视相机的实时平动速度;Ty为y轴方向车载下视相机的实时平动速度;Rz为相机绕z轴的转动分量,ts为单位时间步长。
如果计算资源丰富,计算速度极快的情况下,选用通过时间轴相邻帧图片直接比较,计算得出时间轴相邻帧图片中重合部分作为ROI区域进行提取,采用此种技术,能够获得最为准确的数据。
本发明利用车载前向双目相机检测前方车道线信息,并根据车辆预瞄轨迹与车道中心线的侧向偏离误差,计算前轮转向角输入,根据转向系统几何参数,将前轮转向角换算为车辆的方向盘转向电机的补偿控制信号。本发明根据双目视差匹配代价信息动态更新车道线检测区域,并且应用车道线距离、宽度、角度阈值滤波,显著提升检测准确率。采用双重分段PID控制策略对车辆的方向盘转角进行修正,修正更为精确,实现不同车速的车道保持,提高车辆车道保持的准确性和可靠性,从而提高行车的安全性。本发明适用于直线和转弯等不同工况的道路保持。

Claims (5)

1.一种基于车载双目相机和分段式PID控制的车道保持方法,其特征在于包括如下步骤:
①基于车载双目相机估算车辆可通行区域;
②在估算出的车辆可通行区域内进行车道线检测和跟踪;
③计算车辆侧偏角β:在所提取的左侧车道线和右侧车道线区域内,提取FAST特征,并进行SURF特征描述,利用FLANN对相邻两帧图片的对应区域进行特征匹配,得到Homography矩阵,进行奇异值分解,得到车辆图像坐标系下的平动信息,平动信息的x与y分量的比值即为车辆侧偏角β;
④计算车辆的车道偏离距离ΔY:根据车道线检测和跟踪结果,确定车道中心线信息,即左车道线与右车道线在车辆图像坐标系中的几何中值,根据车辆侧偏角β以及预瞄距离d,估算车辆预瞄轨迹信息,d=K*V,其中V为车速,K为比例系数,K通过实验标定;在车辆图像坐标系下计算车辆的车道偏离距离ΔY,
ΔY=d*sinβ-f(d*cosβ),其中Y=f(X)为车道中心线对应拟合方程;
⑤利用转角分段PID控制器计算修正车道偏离距离ΔY所需要的方向盘转角补偿值Δδ;
⑥根据方向盘转角补偿值Δδ计算修正车道偏离所需要的方向盘转向电机控制电压VD,然后输入给方向盘转向电机,对车辆车道偏离进行修正。
2.根据权利要求1所述的基于车载双目相机和分段式PID控制的车道保持方法,其特征在于所述的步骤①为:获取所述的车载双目相机送来的信息,利用双目视差匹配代价逐行求和获得V-视差图,将V-视差图中点集拟合成B-样条曲线获得纵向道路模型;根据纵向道路模型,利用动态规划双目视差匹配代价的方法检测车辆前方可通行区域范围,即车道检测的感兴趣图像区域,计算障碍物与道路交线,交线以下部分即为车辆可通行区域。
3.根据权利要求1所述的基于车载双目相机和分段式PID控制的车道保持方法,其特征在于所述的步骤②为:在估算出的车辆可通行区域内提取二次化边缘特征,设定车道线宽度、距离及角度阈值,过滤掉不符合车道线几何特征的二次化边缘特征,利用固定长度多段直线拟合车道线特征点,通过车道线长度阈值设定,确定车道线类型,利用卡尔曼滤波,对已检测出的车道线进行跟踪。
4.根据权利要求1或2或3所述的基于车载双目相机和分段式PID控制的车道保持方法,其特征在于所述的步骤⑤为:利用转角分段PID控制器确定方向盘转角补偿值Δδ,
为转角分段PID控制器增益值,通过试验标定好的第一个车速-控制增益表获得。
5.根据权利要求1或2或3所述的基于车载双目相机和分段式PID控制的车道保持方法,其特征在于所述的步骤⑥为:根据方向盘转角补偿值Δδ,利用电机分段PID控制器,计算修正车道偏离所需要的方向盘转向电机控制电压VD
为电机分段PID控制器增益值,通过试验标定好的第二个车速-控制增益表获得,
然后将计算得到的电压VD输入给方向盘转向电机,由方向盘转向电机控制方向盘的转向,对车辆车道偏离进行修正。
CN201610646838.7A 2016-08-09 2016-08-09 基于车载双目相机和分段式pid控制的车道保持方法 Active CN106295560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610646838.7A CN106295560B (zh) 2016-08-09 2016-08-09 基于车载双目相机和分段式pid控制的车道保持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610646838.7A CN106295560B (zh) 2016-08-09 2016-08-09 基于车载双目相机和分段式pid控制的车道保持方法

Publications (2)

Publication Number Publication Date
CN106295560A CN106295560A (zh) 2017-01-04
CN106295560B true CN106295560B (zh) 2019-06-18

Family

ID=57667186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610646838.7A Active CN106295560B (zh) 2016-08-09 2016-08-09 基于车载双目相机和分段式pid控制的车道保持方法

Country Status (1)

Country Link
CN (1) CN106295560B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682646B (zh) * 2017-01-16 2020-12-22 北京新能源汽车股份有限公司 一种车道线的识别方法及装置
CN106828489B (zh) * 2017-02-14 2019-04-26 中国科学院自动化研究所 一种车辆行驶控制方法及装置
CN108983763B (zh) * 2017-06-05 2021-09-21 上海汽车集团股份有限公司 一种路径规划的方法、装置及车载终端
CN110390225A (zh) * 2018-04-16 2019-10-29 广州番禺职业技术学院 车辆视频巡线系统
CN108622093B (zh) * 2018-05-04 2020-08-04 奇瑞汽车股份有限公司 智能车辆的车道保持控制方法及装置
CN108805074B (zh) * 2018-06-06 2020-10-09 安徽江淮汽车集团股份有限公司 一种车道线检测方法及装置
US10878709B2 (en) * 2018-07-19 2020-12-29 The Boeing Company System, method, and computer readable medium for autonomous airport runway navigation
CN108983791A (zh) * 2018-09-10 2018-12-11 贵州大学 一种智能车控制系统
CN109460709B (zh) * 2018-10-12 2020-08-04 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
US11232705B2 (en) 2018-11-28 2022-01-25 Toyota Jidosha Kabushiki Kaisha Mitigation of traffic oscillation on roadway
CN109871787B (zh) * 2019-01-30 2021-05-25 浙江吉利汽车研究院有限公司 一种障碍物检测方法及装置
CN109883432B (zh) * 2019-02-21 2020-12-29 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质
CN109886215B (zh) * 2019-02-26 2021-10-19 常熟理工学院 基于机器视觉的低速园区无人车巡航及紧急制动系统
CN112184821B (zh) * 2019-07-01 2023-03-10 上海安亭地平线智能交通技术有限公司 相机翻滚角的调整方法和装置、存储介质、电子设备
CN111273674A (zh) * 2020-03-12 2020-06-12 深圳冰河导航科技有限公司 一种测距方法、车辆作业控制方法及控制系统
CN111862235B (zh) * 2020-07-22 2023-12-29 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN112229418B (zh) * 2020-12-11 2021-04-09 北京晶众智慧交通科技股份有限公司 基于obd盒子的车辆定位系统
CN113256665B (zh) * 2021-05-26 2023-08-08 长沙以人智能科技有限公司 一种基于图像处理的机动车与虚实线位置关系检测方法
CN114937372B (zh) * 2022-05-18 2023-09-05 安徽蔚来智驾科技有限公司 一种车辆定位系统、定位方法、车辆和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303609A (zh) * 2011-06-16 2012-01-04 广东铁将军防盗设备有限公司 车道偏离预警系统及方法
CN102358287A (zh) * 2011-09-05 2012-02-22 北京航空航天大学 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN103996053A (zh) * 2014-06-05 2014-08-20 中交第一公路勘察设计研究院有限公司 基于机器视觉的车道偏离报警方法
CN104129389A (zh) * 2014-08-06 2014-11-05 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303609A (zh) * 2011-06-16 2012-01-04 广东铁将军防盗设备有限公司 车道偏离预警系统及方法
CN102358287A (zh) * 2011-09-05 2012-02-22 北京航空航天大学 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN103996053A (zh) * 2014-06-05 2014-08-20 中交第一公路勘察设计研究院有限公司 基于机器视觉的车道偏离报警方法
CN104129389A (zh) * 2014-08-06 2014-11-05 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目视觉的障碍物识别研究;李宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20071115(第5期);第I138-1324页

Also Published As

Publication number Publication date
CN106295560A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106295560B (zh) 基于车载双目相机和分段式pid控制的车道保持方法
CN106256606B (zh) 一种基于车载双目相机的车道偏离预警方法
Kluge Extracting road curvature and orientation from image edge points without perceptual grouping into features
EP2757527B1 (en) System and method for distorted camera image correction
CN109435942A (zh) 一种基于信息融合的车位线车位识别方法及装置
CN106462968B (zh) 用于校准机动车的摄影机系统的方法和装置
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
Llorca et al. Stereo regions-of-interest selection for pedestrian protection: A survey
CN106228110A (zh) 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN105678787A (zh) 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN111381248B (zh) 一种考虑车辆颠簸的障碍物检测方法及系统
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
WO2010122409A1 (en) Object detection device
Zhang et al. Robust inverse perspective mapping based on vanishing point
WO2020182691A1 (en) Method for training and using a neural network to detect ego part position
CN114399748A (zh) 一种基于视觉车道检测的农机实时路径校正方法
Schlipsing et al. Video-based roll angle estimation for two-wheeled vehicles
CN106327433B (zh) 一种基于单俯视相机与后轴转向的车辆路径跟随方法
Baehring et al. Detection of close cut-in and overtaking vehicles for driver assistance based on planar parallax
CN106295651B (zh) 一种基于双俯视相机与后轴转向的车辆路径跟随方法
CN107122756A (zh) 一种完全非结构道路边缘检测方法
CN106885523A (zh) 一种车辆路径跟随误差视觉测量优化方法
CN111539278A (zh) 一种用于目标车辆的检测方法及系统
Tian et al. Vision based lane detection for active security in intelligent vehicle
Yu et al. An improved phase correlation method for stop detection of autonomous driving

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder