CN101549683A - 自动识别道路深坑与障碍物的车辆智能方法 - Google Patents

自动识别道路深坑与障碍物的车辆智能方法 Download PDF

Info

Publication number
CN101549683A
CN101549683A CNA2009100498849A CN200910049884A CN101549683A CN 101549683 A CN101549683 A CN 101549683A CN A2009100498849 A CNA2009100498849 A CN A2009100498849A CN 200910049884 A CN200910049884 A CN 200910049884A CN 101549683 A CN101549683 A CN 101549683A
Authority
CN
China
Prior art keywords
vehicle
coordinate
point
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100498849A
Other languages
English (en)
Other versions
CN101549683B (zh
Inventor
张秀彬
焦东升
应俊豪
程远
钱斐斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN2009100498849A priority Critical patent/CN101549683B/zh
Publication of CN101549683A publication Critical patent/CN101549683A/zh
Application granted granted Critical
Publication of CN101549683B publication Critical patent/CN101549683B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种信息处理技术领域的自动识别道路限速标志的车辆智能方法,包括以下步骤:步骤一,将两个针孔摄像头分别安装在车辆前远视灯的内侧边缘位置;步骤二,两个针孔摄像头实时采集路面景物图像,并将各自所采集到的图像输送至信号处理器;步骤三,对图像进行消除图像畸变处理;步骤四,针对已经寻找出来的角点在外极线约束的指导下在左、右视图中自动实现角点的相互匹配;步骤五、物点三维坐标值的确定;步骤六、对深坑或障碍物做出认定;步骤七、车辆行驶控制;步骤八,重复步骤二到步骤七的循环过程。本发明能够在保障车辆行驶安全方面进一步提高自动化和智能化水平,不会因道路出现的深坑或障碍物而造成车辆损坏或交通事故。

Description

自动识别道路深坑与障碍物的车辆智能方法
技术领域
本发明涉及的是一种车辆智能化技术领域的方法,具体是一种自动识别道路深坑与障碍物的车辆智能方法。
背景技术
众所周知,道路深坑与障碍物往往会导致急速行驶车辆发生重大交通事故。随着交通的飞速发展和汽车持有量的迅速增长,如果车辆不具备智能识别深坑和障碍物的技术功能,由于路面突然出现的深坑或障碍物而酿成的交通事故势必会出现明显上升的趋势。
如何使车辆对前方路面深坑与障碍物具备自动检测与判断的技术功能,目前已经有诸多的专家对此类技术开展了大量的研究工作,但是,现有的研究工作基本上仍是停留在理论上的探讨,无法进入实际应用领域。其中,较具代表性的是:法国的BELFORT-MONTBELIARD大学系统与交通实验室,利用边缘匹配和场景重建提取目标,但只限于识别近距离的目标;日本东芝公司的多媒体研发中心,通过仿射变换和区域匹配来判断目标的存在,但是应用范围受区域划分的限制;美国的CARNEGIE MELLON大学机器人研究所,利用反透视原理,通过几个特征点的变换和匹配确定是否存在障碍物,但是需要依靠经验值的设定,而且不适合对小目标的寻找;北京大学机器感知国家重点实验室和宁波大学的电路与系统研究所,采用构建车道和车辆轮廓骨架的方法,然后通过骨架搜索来判定目标,但是,也仅仅适用于同类型目标的识别。因此,上述这些方法均因自身的技术局限性而无法予以推广。
经对现有技术文献的检索发现,魏怡等发表的论文“面向复杂背景中彩色立体图像的障碍物检测”(载《自动化技术与应用》2007年第26卷第7期),该文采用“安装在车辆上的两个平行摄像机在车辆行驶的一个时间段拍摄的立体视频序列,然后经采样得到100幅彩色立体图像”,对道路不作“一直保持水平”的假设,设计一套算法用来提取所有可能对行车造成安全隐患的障碍物。该算法是对基于透视理论的V-视差法的一种改进,通过改进算法“使之适用于提取复杂、变化背景的彩色立体图像中的目标”。
但是,该文所描述的技术方法存在着明显的不足之处:(1)必须依靠一段时间里拍摄100幅彩色立体图像形成视频序列,图像采集样本过于庞大,处理器运算量大;(2)每次识别运算周期尽管仅“平均需要12s”,比起以往的其它算法“平均需要75s”要少得多,但是,如此识别运算周期对于在高速公路上行驶的车辆来说几乎没有任何实用价值;(3)对深坑不具备检测功能;(4)不具备对障碍物或深坑的测距功能,因此无法对车速实施有效的减速控制。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种自动识别道路深坑与障碍物的车辆智能方法,使车辆在行驶过程中能够自动、准确、快速地识别道路上出现的深坑或障碍物,并依据对深坑和障碍物离开车辆的距离产生减速乃至刹车指令,能够有效避免交通事故的发生。
本发明是通过以下技术方案实现的,本发明包括如下步骤:
步骤一,构建硬件系统,给车辆配置一对针孔摄像头,分别安装在车辆前远视灯的内侧边缘位置,完成两个摄像头的参数标定,其中,安装于车辆左前方远视灯内侧的针孔摄像头称为左目针孔摄像头,安装于车辆右前方远视灯内侧的针孔摄像头称为右目针孔摄像头,作为一种双目视感图像传感器用于采集车辆前方路面的景物图像。
双目视感图像传感器、信号处理器、车速操控机构和语音提示器构成本发明的硬件系统,其工作过程是:信号处理器对两个针孔摄像头采集到的两幅道路景物图像实时进行处理,在图像上识别出前方路面上是否存在深坑或障碍物,并准确计算出该深坑的深度或障碍物的高度以及他们离开车辆的距离,最后将这些识别与计算结果结合当前车速,转换成控制指令输出到车速操控机构和语音提示器;在控制指令的作用下,车速操控机构能够实时地降低车速以致停车,同时通过语音提示器警示驾驶员前方可能出现的危险路况。
所述摄像头的参数标定,是指通过试验和计算得到摄像头成像的几何模型参数和摄像头所处的位姿参数,包括摄像头内、外参数的标定。计算机视感检测技术是从摄像头获取的图像出发,计算空间中物体的几何信息,从而识别、理解或重构空间物体,而空间物体的几何信息是由摄像头成像的几何模型参数和摄像头所处的位姿参数所决定的。对于计算机视感系统,不同的系统有着不同的精度要求,所要标定的参数也不尽相同,因此采用的标定方式和过程也有所不同。若需要较高的测量精度,则需采用较复杂的成像模型,并且在标定过程中需要高精度的辅助标定参照物。
根据计算机图像坐标系像素点坐标(u,v)和世界坐标系空间三维坐标(XW,YW,ZW)之间的关系:
p 1 = 1 s K R t P 1 (公式一)
其中,p=[u v]T,u和v分别表示像素位于数组的列数和行数,单位为pixel(像素);P=[XW YW ZW]T,XW、YW、ZW分别代表公共角点的竖直高度、横向宽度和纵向长度坐标值,XW与ZW的数值是下一步决策的主要依据,因为表达空间坐标的世界坐标系遵循右手定则,并将坐标原点定在双目针孔摄像头的光心位置,因此,代表竖直高度的XW为负值时,表明该空间点高出地面,否则低于地面;代表纵向长度坐标值的ZW表明被测空间点与当前车辆的距离,且为负值;s为世界坐标系中空间点映射到摄像头坐标系(xc,yc,zc)中zc轴上的分量,其数值等于(公式一)右边计算结果所得到的三维列向量中的第三元素值; K = f x 0 c x 0 f y c y 0 0 1 为三维点坐标从归一化成像平面到物理成像平面的等比例缩放矩阵,其缩放的比例(逻辑焦距)和实际焦距f有关,单位为“像素/m”,fx、fy称为u轴和v轴上的尺度因子,(cx,cy)为主点o(即物理图像坐标系oxy的原点)的像素坐标,又称主点坐标,矩阵K参数被称为摄像机内参数; R = r 1 r 2 r 3 r 4 r 5 r 6 r 7 r 8 r 9 , t = t x t y t z , R中的矩阵元素r1称为摄像头旋转参数,t中列向量元素称为摄像机的平移参数,R与t的参数统称为摄像头的外部参数。
所述外部参数,包括R和t,共12个,但因R为单位正交矩阵,必须满足6个正交约束,所以只需要标定6个外部参数,加上内部参数f、k1、sx和cx、cy,总共有11个参数需要标定。
步骤二:路面景物图像的采集
两个针孔摄像头,实时采集车辆前方路面景物图像,并将各自所采集到的图像输送至信号处理器。
步骤三:信号处理器对图像进行消除图像畸变处理。
由计算机图像坐标系像素点坐标计算求取对应点(u,v)在归一化虚平面图像坐标系畸变点坐标(xd,yd),再进行图像的归一化虚平面坐标系表达,将(xd,yd)代入归一化虚平面图像坐标系中图像畸变矫正数学模型xd=(1+k1r2)xu、yd=(1+k1r2)yu(式中, r 2 = x u 2 + y u 2 ; k1为一阶径向畸变系数)进行求逆运算,因此求得矫正畸变后的归一化虚平面图像坐标系理想点坐标(xu,yu),再由理想点坐标(xu,yu)替代(xd,yd)的值代入u=xd/dx+cx、v=yd/dy+cy与sx=dy/dx,求出对应点(u,v)新的坐标值,即新的像素点位置,其中,(dx,dy)分别为图像平面上x、y方向上单位像素间的距离,sx为图像纵横比。计算机图像坐标系中的所有像素点坐标(u,v)逐一经过上述计算过程后,就能够获得像素点在画面上的理想排列,即真实景物图像的恢复,获得一幅反映真实景物的理想图像。
所述图像的归一化虚平面坐标系表达,是指:沿光轴在与摄像机光学成像平面形成对称的平面称为虚平面,在其上所建立的坐标系称为虚平面图像坐标系,将图像像素特征量进行归一化后在虚平面坐标系上的表达称为图像的归一化虚平面坐标系表达,使用归一化表达的虚平面坐标系所处平面,又称为归一化虚平面。
步骤四:双目图像中的公共角点寻找与匹配:
在采样图像中,采用基于图像灰度的角点检测算法,主要通过计算曲率及梯度的方法,来寻找若干个角点作为代表最具特征的边缘点。针对已经寻找出来的角点在外极线约束的指导下在左、右视图中寻找相互匹配的角点。
所述外极线约束,就是指左视(或右视)图像上的任一点,在右视(或左视)图像上的对应点只可能位于一条特定的右外极线(或左外极线)上。这个约束原则能够极大地降低了待验证的可能匹配点对的数量,把一个点在另外一幅图像上可能匹配点的分布从二维降低到了一维,减少运算量并实现自动匹配。
步骤五:物点三维坐标值的确定
在左、右视图中相互匹配的角点坐标(ul,vl)、(ur,vr)通过从世界坐标系到计算机图像坐标系的映射关系方程(公式一)能够转换为对应的世界坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr),对坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr)分别与透视中心的连接直线做一公垂线,并在该公垂线上求取中值,用(XW,YW,ZW)表示,将坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr)的中值(XW,YW,ZW)作为对应空间点坐标的最优近似值。其中,脚标l、r分别表示左、右视图。
步骤六:对深坑或障碍物的认定
确立两个判定阈值,包括:高度负阈值eh和深坑正阈值ec;高度负阈值eh表示当前车辆能够允许的路面不平整高度,如eh=-0.1m表示车辆能够允许的路面不平整高度为10cm;深坑正阈值ec表示当前车辆能够允许的路面不平整凹坑深度,如ec=0.05m表示车辆能够允许的路面不平整凹坑深度为5cm;一旦路面被检测的空间点(XW,YW,ZW)的高度坐标XW≤eh时(表明路面存在障碍物)或者空间点(XW,YW,ZW)的高度坐标XW≥ec时(表明路面存在深坑),当前车辆必须绕行或刹车,否则,路面上的障碍物或者深坑很有可能会造成车辆底盘的损伤,甚至发生重大交通事故;
步骤七:车辆行驶控制
当XW≥ec或XW≤eh,已经表明空间点(XW,YW,ZW)是一深坑或障碍物点,此时,信号处理器能够根据该点的ZW坐标与当前车速,准确做出控制决策,将控制决策输出至车速操控机构和语音提示器,在控制指令的作用下,警示驾驶员注意前方路况,并通过车速操控机构自动使车辆减速并能购准确停止在深坑或障碍物之前;如:ZW=100m、当前车速Vt=80km/h,此时车辆必须以负加速度a=-2.47m/s2对车辆进行减速,才能确保车辆在9s之内正好在深坑或障碍物之前停止下来。
步骤八:重复步骤二到步骤七的循环过程。
与现有技术相比,本发明具有如下有益效果:第一、能够对路面状况进行自动检测,一旦发现深坑或障碍物,系统就会立即发出控制指令,警示驾驶员注意前方路况,并自动使车辆减速,确保了行车安全;第二、能够明显降低车辆追尾、相撞等道路交通事故的发生率;第三、同时具有对前方突然出现的行人或车辆进行避让的功能。在保障车辆行驶安全方面进一步提高自动化和智能化水平。
附图说明
图1为摄像头几何模型图;
图2为摄像头参数标定板;
图3为外极几何图。
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例包括如下步骤:
步骤一,构建硬件系统,给车辆配置一对针孔摄像头,分别安装在车辆前远视灯的内侧边缘位置,完成两个摄像头的参数标定,其中,安装于车辆左前方远视灯内侧的针孔摄像头称为左目摄像头,安装于车辆右前方远视灯内侧的针孔摄像头称为右目摄像头,作为一种双目视感图像传感器用于采集车辆前方路面的景物图像。
双目视感图像传感器、信号处理器、车速操控机构和语音提示器构成本发明的硬件系统,其工作过程是:信号处理器对两个针孔摄像头采集到的两幅道路景物图像实时进行处理,在图像上识别出前方路面上是否存在深坑或障碍物,并准确计算出该深坑的深度或障碍物的高度以及他们离开车辆的距离,最后将这些识别与计算结果结合当前车速,转换成控制指令输出到车速操控机构和语音提示器;在控制指令的作用下,车速操控机构能够实时地降低车速以致停车,同时通过语音提示器警示驾驶员前方可能出现的危险路况。
如图1所示,实施例中采用的摄像头几何模型,表达了空间点坐标在计算机图像坐标系ouvuv、物理图像坐标系oxy、摄像机坐标系ocxcyczc和世界坐标系OWXWYWZW中的相互转换关系,即映射关系;其中:
第一,计算机图像坐标系ouvuv,原点ouv位于摄像头图像平面的左上角,u和v分别表示像素位于数组的列数和行数,单位为pixel(像素);
第二,物理图像坐标系oxy,原点(即主点o)定义在摄像头光轴与物理图像平面的交点,x、y轴分别与u、v轴平行;pu(xu,yu)表示针孔模型下P点的理想图像坐标,pd(xd,yd)是由透镜径向畸变引起的偏离pu(xu,yu)的实际图像坐标;
第三,摄像机坐标系ocxcyczc,原点oc定义在摄像机的光心,xc、yc轴分别平行于x、y轴,zc轴与光轴重合。oco为摄像机的有效焦距f,(xc,yc,zc)表示物点P在摄像机坐标系下的三维坐标;
第四,世界坐标系OWXWZW,根据具体环境来定,(XW,YW,ZW)表示物点P在世界坐标系下的三维坐标。
所述左、右针孔摄像头平行摆放,即两个摄像头的光轴平行,两个摄像头光心连线与光轴垂直。
如图2所示,本实施例所述的摄像头的参数设定,采用方格模板标定法,具体操作如下:
第一,双目摄像头的内、外参数标定具体采用7×6的方格模板,每个小方格尺寸为25×25mm;在车辆停驶状态下,将方格模板竖立于世界坐标系的OXWYW平面上;
第二,左、右摄像机分别对方格模板拍摄若干幅图像;
第三,取每幅模板图像中的小方格正方形的四个顶点作为特征点,每幅模板共有56个点,根据所选择的世界坐标系M=[XW YW ZW]T测出每个特征点的世界坐标
Mi=[XWi YWi 0]T=[XWi YWi]T;i=1,2,K,56
第四,将方格模板中第五行的7个特征点作为三维重建点,其余49个特征点作为标定点;
第五,左、右摄像头分别通过各自所拍摄到的模板图像中的49个特征点坐标代入(公式一),利用外参数矩阵[R t]中列向量相互正交特性及其约束条件,计算求得全部外参数;
第六,求得外参数矩阵[R t]后,计算与三维重建点相对应的7个特征点坐标 M i % = X Wi % Y Wi % T ( i = 1,2 , K , 7 ) , 将该7个特征点坐标计算值与上述7个三维重建点坐标Mi=[XWi YWi]T(i=1,2,K,7)进行比较,根据相差最小目标函数
Q min = | | M - M % | | 2 = Σ i = 1 7 | M i - M i % | 2
分别对左、右摄像机外参数标定结果做出标定误差评价,当Qmin≤ε时,就认为标定达到要求;ε是实现约定的一个足够小的数,如:本实施例取ε=0.01。
步骤二,路面景物图像的采集
两个针孔摄像头,即双目视感图像传感器,实时采集车辆前方路面景物图像,并将各自所采集到的图像输送至信号处理器。
步骤三,信号处理器对图像进行消除图像畸变处理
利用图像畸变矫正数学模型xd=(1+k1r2)xu、yd=(1+k1r2)yu和计算机图像坐标系中的所有像素点坐标(u,v)与归一化虚平面图像坐标系的变换关系u=xd/dx+cx、v=yd/dy+cy与sx=dy/dx,由理想点坐标(xu,yu)替代(xd,yd)的值代入求出对应点(u,v)新的坐标值,即新的像素点位置,计算机图像坐标系中的所有像素点坐标(u,v)逐一经过上述计算过程后,就能够获得像素点在画面上的理想排列,即真实景物图像的恢复,或者说,获得一幅反映真实景物的理想图像。
步骤四,双目图像中的公共角点寻找与匹配
在采样图像中,采用基于图像灰度的角点检测算法,主要通过计算曲率及梯度的方法,寻找若干个角点作为代表最具特征的边缘点;针对已经寻找出来的角点在外极线约束的指导下在左、右视图中自动寻找相互匹配的公共角点,本实施例中找出了5个公共角点。
如图3所示,针对双目视觉系统从两个角度观测同一个点,寻求两个成像点之间的外极线约束的相关几何学问题,被称为外极几何。图中,左、右摄像头平行摆放,P、P*为左目摄像头和右目摄像头观测的两个三维空间共同点,Ol、Or分别为左、右摄像机的光心;el、er分别为左、右像面上的外极中心;P点在左、右摄像机的归一化虚成像平面上的成像点分别为pl[xl yl 1]T和pr[xr yr 1]T,对于共同观测点P的左、右两条外极线分别通过点Pl、el和Pr、er;P*点在左、右摄像机的归一化虚成像平面上的成像点分别为pl *[xl * yl * 1]T和pr *[xr * yr * 1]T,对于共同观测点P*的左、右两条外极线分别通过点Pl *、el和Pr *、er
步骤五、确定物点三维坐标值
在左、右视图中相互匹配的角点坐标(ul,vl)、(ur,vr),如5个公共角点,通过从世界坐标系到计算机图像坐标系的映射关系方程能够转换为对应的世界坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr),因此获得相对5个公共角点的5对空间坐标;采用空间中值法最后获得5对空间坐标所对应的5个物点空间坐标的最优近似坐标(XW,YW,ZW)。
步骤六、认定深坑或障碍物
确立两个判定阈值:高度负阈值eh=-0.1m和深坑正阈值ec=0.05m;一旦路面被检测的任意空间点(XW,YW,ZW)的高度坐标XW≤eh时,表明路面存在障碍物;当计算获得的任意空间点(XW,YW,ZW)的高度坐标XW≥ec时,表明路面存在深坑。
步骤七、车辆行驶控制
当XW≥ec或XW≤eh,已经表明空间点(XW,YW,ZW)是一深坑或障碍物点,此时,信号处理器能够根据该点的ZW坐标与当前车速,准确做出控制决策,将控制决策输出至车速操控机构和语音提示器,在控制指令的作用下,警示驾驶员注意前方路况,并通过车速操控机构自动使车辆减速并能购准确停止在深坑或障碍物之前。
步骤八,重复步骤二到步骤七的循环过程。
本实施例在保障车辆行驶安全方面进一步提高自动化和智能化水平,具体表现:能够对路面状况进行自动检测,一旦发现深坑或障碍物,系统就会立即发出控制指令,警示驾驶员注意前方路况,并自动使车辆减速,整个实施过程,检测深坑或障碍物的准确率达到98.6%。

Claims (9)

1、一种自动识别道路深坑与障碍物的车辆智能方法,其特征在于,包括以下步骤:
步骤一,构建硬件系统:给车辆配置一对针孔摄像头,分别安装在车辆前远视灯的内侧边缘位置,完成两个摄像头的参数标定,其中,左目针孔摄像头安装于车辆左前方远视灯内侧,右目针孔摄像头安装于车辆右前方远视灯内侧,采集车辆前方路面的景物图像;
步骤二,路面景物图像的采集,两个针孔摄像头实时采集车辆前方的路面图像,并将各自所采集到的图像输送至信号处理器;
步骤三,信号处理器对图像进行消除图像畸变处理;
步骤四,寻找双目图像中的公共角点,针对已经寻找出来的角点在外极线约束的指导下在左、右视图中自动寻找相互匹配的角点;
步骤五、确定物点三维坐标值;
步骤六、认定深坑或障碍物;
步骤七、车辆行驶控制;
步骤八,重复步骤二到步骤七的循环过程。
2、根据权利要求1所述的自动识别道路限速标志的车辆智能方法,其特征是,所述步骤一中,信号处理器对两个针孔摄像头采集到的两幅道路景物图像实时进行处理,在图像上识别出前方路面上是否存在深坑或障碍物,并准确计算出该深坑的深度或障碍物的高度以及他们与车辆之间的距离,最后将这些识别与计算结果结合当前车速,将其转换成控制指令输出到车速控制机构和语音提示器。
3、根据权利要求1所述的自动识别道路限速标志的车辆智能方法,其特征是,所述摄像头的参数标定,是指通过试验和计算得到摄像头成像的几何模型参数和摄像头所处的位姿参数。
4、根据权利要求1或3所述的自动识别道路限速标志的车辆智能方法,其特征是,所述摄像头的参数设定包括摄像头内、外参数的标定。
5、根据权利要求1所述的自动识别道路深坑与障碍物的车辆智能方法,其特征是,所述消除图像畸变处理,是指由计算机图像坐标系像素点坐标计算求取对应点(u,v)在归一化虚平面图像坐标系畸变点坐标(xd,yd),再进行图像的归一化虚平面坐标系表达,将(xd,yd)代入归一化虚平面图像坐标系中图像畸变矫正数学模型xd=(1+k1r2)xu、yd=(1+k1r2)yu(式中, r 2 = x u 2 + y u 2 ; k1为一阶径向畸变系数)进行求逆运算,求得矫正畸变后的归一化虚平面图像坐标系理想点坐标(xu,yu),再由理想点坐标(xu,yu)替代(xd,yd)的值代入u=xd/dx+cx、v=yd/dy+cy与sx=dy/dx,求出对应点(u,v)新的坐标值,即新的像素点位置,其中,(dx,dy)分别为图像平面上x、y方向上单位像素间的距离,sx为图像纵横比。
6、根据权利要求5所述的自动识别道路深坑与障碍物的车辆智能方法,其特征是,所述图像的归一化虚平面坐标系表达,是指将图像像素特征量进行归一化后在虚平面坐标系上表达。
7、根据权利要求1所述的自动识别道路深坑与障碍物的车辆智能方法,其特征是,所述外极线约束,是指左视或右视图像上的任一点,在右视或左视图像上的对应点位于一条特定的右外极线或左外极线上。
8、根据权利要求1所述的自动识别道路深坑与障碍物的车辆智能方法,其特征是,所述确定物点三维坐标值,是指在左、右视图中相互匹配的角点坐标(ul,vl)、(ur,vr)通过从世界坐标系到计算机图像坐标系的映射关系方程,能够转换为对应的世界坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr),对坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr)分别与透视中心的连接直线做一公垂线,并在该公垂线上求取中值,将坐标(XWl,YWl,ZWl)和(XWr,YWr,ZWr)的中值(XW,YW,ZW)作为对应空间点坐标的最优近似值。
9、根据权利要求1所述的自动识别道路深坑与障碍物的车辆智能方法,其特征是,所述认定深坑或障碍物,是指,路面被检测的空间点(XW,YW,ZW)的高度坐标XW≤eh时,表明路面存在障碍物;空间点(XW,YW,ZW)的高度坐标XW≥ec时,表明路面存在深坑;其中,eh代表高度负阈值,ec代表深坑正阈值。
CN2009100498849A 2009-04-23 2009-04-23 自动识别道路深坑与障碍物的车辆智能方法 Expired - Fee Related CN101549683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100498849A CN101549683B (zh) 2009-04-23 2009-04-23 自动识别道路深坑与障碍物的车辆智能方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100498849A CN101549683B (zh) 2009-04-23 2009-04-23 自动识别道路深坑与障碍物的车辆智能方法

Publications (2)

Publication Number Publication Date
CN101549683A true CN101549683A (zh) 2009-10-07
CN101549683B CN101549683B (zh) 2011-09-28

Family

ID=41154245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100498849A Expired - Fee Related CN101549683B (zh) 2009-04-23 2009-04-23 自动识别道路深坑与障碍物的车辆智能方法

Country Status (1)

Country Link
CN (1) CN101549683B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101941438A (zh) * 2010-09-17 2011-01-12 上海交通大学 安全车距智能检控装置与方法
CN103390269A (zh) * 2012-05-11 2013-11-13 株式会社理光 连续型道路分割物检测方法和装置
CN103609100A (zh) * 2011-06-09 2014-02-26 爱信精机株式会社 图像生成装置
CN103679119A (zh) * 2012-09-10 2014-03-26 株式会社理光 自适应坡路检测方法和装置
CN104833364A (zh) * 2015-05-07 2015-08-12 苏州天鸣信息科技有限公司 一种在颠簸道路上的安全路线指示方法
CN105083430A (zh) * 2015-07-17 2015-11-25 小米科技有限责任公司 车辆控制方法及装置
CN105139578A (zh) * 2015-08-05 2015-12-09 四川长虹电器股份有限公司 基于智能终端的防止坑洞危险发生的安全保护系统及方法
CN105574928A (zh) * 2015-12-11 2016-05-11 深圳易嘉恩科技有限公司 一种行车图像处理方法和第一电子设备
WO2017185268A1 (zh) * 2016-04-27 2017-11-02 华为技术有限公司 一种检测道路障碍物的方法及装置
CN107364501A (zh) * 2017-08-18 2017-11-21 太仓欧克仓储设备有限公司 一种可自动调节移速的自动化牵引车
CN108008553A (zh) * 2017-11-22 2018-05-08 深圳市华星光电技术有限公司 一种Mura检测校正方法和系统
CN108230486A (zh) * 2017-12-14 2018-06-29 吉利四川商用车有限公司 一种探测路面凹凸的方法及行车记录仪
CN108280853A (zh) * 2018-01-11 2018-07-13 深圳市易成自动驾驶技术有限公司 车载视觉定位方法、装置及计算机可读存储介质
CN108445874A (zh) * 2017-12-11 2018-08-24 浙江捷尚人工智能研究发展有限公司 利用深度相机探测路面状态的方法、装置及系统
CN108648219A (zh) * 2018-04-08 2018-10-12 浙江大承机器人科技有限公司 一种基于双目的障碍物与可行区域检测方法
CN108958243A (zh) * 2018-06-27 2018-12-07 芜湖市越泽机器人科技有限公司 一种机器人躲避障碍物控制方法
CN109002039A (zh) * 2018-07-06 2018-12-14 达闼科技(北京)有限公司 避障提醒方法、相关装置及计算机可读存储介质
CN109446886A (zh) * 2018-09-07 2019-03-08 百度在线网络技术(北京)有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN109733409A (zh) * 2017-10-31 2019-05-10 奥迪股份公司 驾驶辅助系统和方法
CN109919139A (zh) * 2019-04-01 2019-06-21 杭州晶一智能科技有限公司 基于双目立体视觉的路面状况快速检测方法
CN110390252A (zh) * 2019-05-16 2019-10-29 四川省客车制造有限责任公司 基于先验地图信息的障碍物检测方法、装置和存储介质
CN111024105A (zh) * 2019-11-22 2020-04-17 淮阴工学院 一种基于道路裂坑检测的行车路径规划方法及系统
CN111157014A (zh) * 2019-12-30 2020-05-15 恒大新能源汽车科技(广东)有限公司 路况展示方法、装置及车载终端、存储介质
CN111353453A (zh) * 2020-03-06 2020-06-30 北京百度网讯科技有限公司 用于车辆的障碍物检测方法和装置
CN111552289A (zh) * 2020-04-28 2020-08-18 苏州高之仙自动化科技有限公司 检测方法及虚拟雷达装置、电子设备、存储介质
CN111582173A (zh) * 2020-05-08 2020-08-25 东软睿驰汽车技术(沈阳)有限公司 一种自动驾驶的方法及系统
CN111612939A (zh) * 2020-04-17 2020-09-01 宁波吉利汽车研究开发有限公司 智能行驶轨迹投影探测系统及方法
CN112016366A (zh) * 2019-05-31 2020-12-01 北京车和家信息技术有限公司 一种障碍物定位方法及装置
CN112356851A (zh) * 2020-04-22 2021-02-12 青岛慧拓智能机器有限公司 一种无人驾驶矿车骑坑规划方法
CN112585656A (zh) * 2020-02-25 2021-03-30 华为技术有限公司 特殊路况的识别方法、装置、电子设备和存储介质
CN113561947A (zh) * 2021-07-02 2021-10-29 北京中科慧眼科技有限公司 一种乘用车自动制动方法、装置及系统
CN113808103A (zh) * 2021-09-16 2021-12-17 广州大学 基于图像处理的路面坑洼自动检测方法、设备和存储介质
US20220101022A1 (en) * 2020-09-29 2022-03-31 Rivian Ip Holdings, Llc Vehicle cliff and crevasse detection systems and methods
CN116452941A (zh) * 2023-06-15 2023-07-18 山东中清智能科技股份有限公司 一种多视角的多图像融合方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289056B (zh) * 2020-02-18 2021-06-08 科大讯飞股份有限公司 一种积水深度检测方法、装置及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19855400A1 (de) * 1998-12-01 2000-06-15 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung eines zukünftigen Kursbereichs eines Fahrzeugs
US7864032B2 (en) * 2005-10-06 2011-01-04 Fuji Jukogyo Kabushiki Kaisha Collision determination device and vehicle behavior control device
CN100583125C (zh) * 2008-02-28 2010-01-20 上海交通大学 车辆智能后视方法

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101941438A (zh) * 2010-09-17 2011-01-12 上海交通大学 安全车距智能检控装置与方法
CN103609100A (zh) * 2011-06-09 2014-02-26 爱信精机株式会社 图像生成装置
CN103609100B (zh) * 2011-06-09 2017-09-29 爱信精机株式会社 图像生成装置
CN103390269B (zh) * 2012-05-11 2016-12-28 株式会社理光 连续型道路分割物检测方法和装置
CN103390269A (zh) * 2012-05-11 2013-11-13 株式会社理光 连续型道路分割物检测方法和装置
CN103679119A (zh) * 2012-09-10 2014-03-26 株式会社理光 自适应坡路检测方法和装置
CN103679119B (zh) * 2012-09-10 2017-03-01 株式会社理光 自适应坡路检测方法和装置
CN104833364B (zh) * 2015-05-07 2018-05-18 深圳市爱民科技有限公司 一种在颠簸道路上的安全路线指示方法
CN104833364A (zh) * 2015-05-07 2015-08-12 苏州天鸣信息科技有限公司 一种在颠簸道路上的安全路线指示方法
CN105083430A (zh) * 2015-07-17 2015-11-25 小米科技有限责任公司 车辆控制方法及装置
CN105139578A (zh) * 2015-08-05 2015-12-09 四川长虹电器股份有限公司 基于智能终端的防止坑洞危险发生的安全保护系统及方法
CN105574928A (zh) * 2015-12-11 2016-05-11 深圳易嘉恩科技有限公司 一种行车图像处理方法和第一电子设备
WO2017185268A1 (zh) * 2016-04-27 2017-11-02 华为技术有限公司 一种检测道路障碍物的方法及装置
CN107548466A (zh) * 2016-04-27 2018-01-05 华为技术有限公司 一种检测道路障碍物的方法及装置
CN107364501A (zh) * 2017-08-18 2017-11-21 太仓欧克仓储设备有限公司 一种可自动调节移速的自动化牵引车
CN109733409A (zh) * 2017-10-31 2019-05-10 奥迪股份公司 驾驶辅助系统和方法
CN108008553A (zh) * 2017-11-22 2018-05-08 深圳市华星光电技术有限公司 一种Mura检测校正方法和系统
CN108445874A (zh) * 2017-12-11 2018-08-24 浙江捷尚人工智能研究发展有限公司 利用深度相机探测路面状态的方法、装置及系统
CN108230486A (zh) * 2017-12-14 2018-06-29 吉利四川商用车有限公司 一种探测路面凹凸的方法及行车记录仪
CN108280853A (zh) * 2018-01-11 2018-07-13 深圳市易成自动驾驶技术有限公司 车载视觉定位方法、装置及计算机可读存储介质
CN108648219A (zh) * 2018-04-08 2018-10-12 浙江大承机器人科技有限公司 一种基于双目的障碍物与可行区域检测方法
CN108648219B (zh) * 2018-04-08 2022-02-22 浙江大承机器人科技有限公司 一种基于双目的障碍物与可行区域检测方法
CN108958243A (zh) * 2018-06-27 2018-12-07 芜湖市越泽机器人科技有限公司 一种机器人躲避障碍物控制方法
US10997439B2 (en) 2018-07-06 2021-05-04 Cloudminds (Beijing) Technologies Co., Ltd. Obstacle avoidance reminding method, electronic device and computer-readable storage medium thereof
CN109002039A (zh) * 2018-07-06 2018-12-14 达闼科技(北京)有限公司 避障提醒方法、相关装置及计算机可读存储介质
CN109446886A (zh) * 2018-09-07 2019-03-08 百度在线网络技术(北京)有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN109446886B (zh) * 2018-09-07 2020-08-25 百度在线网络技术(北京)有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
US11043002B2 (en) 2018-09-07 2021-06-22 Baidu Online Network Technology Co., Ltd. Obstacle detecting method and obstacle detecting apparatus based on unmanned vehicle, and device, and storage medium
CN109919139A (zh) * 2019-04-01 2019-06-21 杭州晶一智能科技有限公司 基于双目立体视觉的路面状况快速检测方法
CN110390252A (zh) * 2019-05-16 2019-10-29 四川省客车制造有限责任公司 基于先验地图信息的障碍物检测方法、装置和存储介质
CN112016366A (zh) * 2019-05-31 2020-12-01 北京车和家信息技术有限公司 一种障碍物定位方法及装置
CN111024105B (zh) * 2019-11-22 2022-08-26 淮阴工学院 一种基于道路裂坑检测的行车路径规划方法及系统
CN111024105A (zh) * 2019-11-22 2020-04-17 淮阴工学院 一种基于道路裂坑检测的行车路径规划方法及系统
CN111157014A (zh) * 2019-12-30 2020-05-15 恒大新能源汽车科技(广东)有限公司 路况展示方法、装置及车载终端、存储介质
CN112585656A (zh) * 2020-02-25 2021-03-30 华为技术有限公司 特殊路况的识别方法、装置、电子设备和存储介质
CN111353453B (zh) * 2020-03-06 2023-08-25 北京百度网讯科技有限公司 用于车辆的障碍物检测方法和装置
CN111353453A (zh) * 2020-03-06 2020-06-30 北京百度网讯科技有限公司 用于车辆的障碍物检测方法和装置
CN111612939A (zh) * 2020-04-17 2020-09-01 宁波吉利汽车研究开发有限公司 智能行驶轨迹投影探测系统及方法
CN111612939B (zh) * 2020-04-17 2022-03-18 宁波吉利汽车研究开发有限公司 智能行驶轨迹投影探测系统及方法
CN112356851A (zh) * 2020-04-22 2021-02-12 青岛慧拓智能机器有限公司 一种无人驾驶矿车骑坑规划方法
CN112356851B (zh) * 2020-04-22 2021-11-05 青岛慧拓智能机器有限公司 一种无人驾驶矿车骑坑规划方法
CN111552289A (zh) * 2020-04-28 2020-08-18 苏州高之仙自动化科技有限公司 检测方法及虚拟雷达装置、电子设备、存储介质
CN111582173A (zh) * 2020-05-08 2020-08-25 东软睿驰汽车技术(沈阳)有限公司 一种自动驾驶的方法及系统
US20220101022A1 (en) * 2020-09-29 2022-03-31 Rivian Ip Holdings, Llc Vehicle cliff and crevasse detection systems and methods
CN113561947A (zh) * 2021-07-02 2021-10-29 北京中科慧眼科技有限公司 一种乘用车自动制动方法、装置及系统
CN113561947B (zh) * 2021-07-02 2022-09-20 北京中科慧眼科技有限公司 一种乘用车自动制动方法、装置及系统
CN113808103A (zh) * 2021-09-16 2021-12-17 广州大学 基于图像处理的路面坑洼自动检测方法、设备和存储介质
CN116452941A (zh) * 2023-06-15 2023-07-18 山东中清智能科技股份有限公司 一种多视角的多图像融合方法及装置

Also Published As

Publication number Publication date
CN101549683B (zh) 2011-09-28

Similar Documents

Publication Publication Date Title
CN101549683B (zh) 自动识别道路深坑与障碍物的车辆智能方法
CN109186586B (zh) 一种面向动态泊车环境的同时定位及混合地图构建方法
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN108444390B (zh) 一种无人驾驶汽车障碍物识别方法及装置
CN101941438B (zh) 安全车距智能检控装置与方法
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
CN103123722B (zh) 道路对象检测方法和系统
CN102944224B (zh) 一种无人驾驶车的自动环境感知系统的工作方法
CN102390370B (zh) 一种基于立体视觉的车辆行驶应急处理装置及方法
US6370261B1 (en) Vehicle surroundings monitoring apparatus
CN107422730A (zh) 基于视觉导引的agv运输系统及其驾驶控制方法
CN106153000A (zh) 一种前方车辆距离检测方法
Labayrade et al. In-vehicle obstacles detection and characterization by stereovision
CN107167139A (zh) 一种变电站巡检机器人视觉定位导航方法及系统
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
JPH06266828A (ja) 車輌用車外監視装置
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN103679120B (zh) 不平道路的检测方法和系统
Suzuki et al. Measurement of vehicle motion and orientation using optical flow
CN113673282A (zh) 目标检测方法和装置
JP3727400B2 (ja) 横断者の検出装置
CN108106627A (zh) 一种基于特征点在线动态标定的单目视觉车辆定位方法
CN112189225A (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110928

Termination date: 20140423