CN112537301A - 智能驾驶交通载具的行车参照物选择方法、装置 - Google Patents

智能驾驶交通载具的行车参照物选择方法、装置 Download PDF

Info

Publication number
CN112537301A
CN112537301A CN202011374683.9A CN202011374683A CN112537301A CN 112537301 A CN112537301 A CN 112537301A CN 202011374683 A CN202011374683 A CN 202011374683A CN 112537301 A CN112537301 A CN 112537301A
Authority
CN
China
Prior art keywords
reference object
vehicle
objects
selecting
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011374683.9A
Other languages
English (en)
Other versions
CN112537301B (zh
Inventor
蒋宏佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Wanfenghui Technology Co.,Ltd.
Original Assignee
Nantong Luyuan Technology Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Luyuan Technology Information Co ltd filed Critical Nantong Luyuan Technology Information Co ltd
Priority to CN202011374683.9A priority Critical patent/CN112537301B/zh
Publication of CN112537301A publication Critical patent/CN112537301A/zh
Application granted granted Critical
Publication of CN112537301B publication Critical patent/CN112537301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种智能驾驶交通载具的行车参照物选择方法,包括以下步骤:识别交通载具周围环境中的参照物;在交通载具行驶过程中,选择至少一个参照物。还提供了一种智能驾驶交通载具的行车参照物选择装置,以及无人驾驶汽车。本发明的技术方案中不依赖车道标记线,在无车道的标识线的情形下可实现车道保持,通过摄像头识别环境参照物,并且将环境参照物作为车道保持的参照对象,从而不会导致汽车脱离行驶车道,避免造成重大的安全隐患。

Description

智能驾驶交通载具的行车参照物选择方法、装置
技术领域
本发明涉及一种智能驾驶交通载具的行车参照物选择方法、装置及交通载具,特别涉及一种无道路标记线道路状况下的智能驾驶交通载具的行车参照物选择方法、装置及交通载具。
背景技术
随着移动通信和移动互联网发展非常迅速,智能驾驶技术可以把人从繁琐的驾驶活动中解放出来,另外也是为了顺应信息社会汽车发展的新趋势。特别是传感器、自动化和人工智能技术已经可以让交通实现零碰撞、零死亡,这为智能驾驶提供了现实基础。其中无人驾驶汽车的车道保持属于智能驾驶辅助系统的范畴。它可以在车道偏离预警系统(LDWS)的基础上对刹车的控制协调装置进行控制。
现有技术中都是通过一个摄像头识别行驶车道的标识线将车辆保持在车道上。如果车辆接近识别到的标记线并可能脱离行驶车道,那么会通过方向盘的振动,或者是声音来提醒驾驶员注意,并轻微转动方向盘修正行驶方向,使车辆处于正确的车道上,若方向盘长时间检测到无人主动干预,则发出报警,用来提醒驾驶人员。如果车道保持辅助系统识别到本车道两侧的标记线,那么系统处于待命状态。
然而,对于无车道的标识线的情形,现有技术中的车道保持方法就会失效,因为摄像头无法识别到的标记线从而导致汽车脱离行驶车道,会造成重大的安全隐患。
发明内容
针对现有技术中在无车道标识线的情形下,车辆的车道识别与保持功能失效的问题,本发明要解决在无车道的标识线的情形下,无人驾驶交通载具车道保持的技术问题。
对此,本发明提供了以下技术方案:
一种智能驾驶交通载具的行车参照物选择方法,包括以下步骤:识别交通载具周围环境中的参照物;
从识别的参照物中去除无效参照物;对有效参照物进行分类;为不同类型的有效参照物设置不同的优先级;
在交通载具行驶过程中,选择至少一个有效参照物;当选定的参照物失效时,选择替代参照物。
参照物的可使用时间越长,参照物的优先级越高;参照点越多的参照物的优先级越高。
优选地,有效参照物进行分类的步骤包括:
步骤S200,在数据库中建立参照物模型或模板。
步骤S201,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有前点参照物;如果有前点参照物,则进行步骤S202:在数据库中选取前点参照物对应的子数据库,然后进行步骤S207;如果没有前点参照物则进入步骤S203;
步骤S203,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有中间参照物;如果有中间参照物,则进行步骤S204在数据库中选取中间参照物对应的子数据库,然后进行步骤S207;如果没有中间参照物则进入步骤S205;
步骤S205,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有后点参照物;如果有后点参照物,则进行步骤S206在数据库中选取后点参照物对应的子数据库,然后进行步骤S207;如果没有中间参照物则进入步骤S200,重新收集图像进行建模;
步骤S207,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有面型参照物;如果有面型参照物则选取其中面型参照物作为参照物,进行步骤S221;如果没有面型参照物则进入步骤S208;
步骤S208,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有横跨型参照物;如果有横跨型参照物则选取其中一横跨型参照物作为参照物,进入步骤S221;如果没有横跨型参照物则进入步骤S209;
步骤S209,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有竖型参照物。如果有竖型参照物则选取其中一个竖型参照物作为参照物,进行步骤S221;如果没有竖型参照物则进入步骤S210;
步骤S210,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有建筑物类参照物;如果有建筑物类参照物则选取其中一个建筑物类参照物作为参照物,进行步骤S221;如果没有建筑物类参照物则进入步骤S211;
步骤S211,选取树类参照物作为参照物进入步骤S221;
步骤S221,检测被选取的的参照物上可取参考点的高度是否符合要求。如果高度符合要求则进入步骤S222;如果高度不符合要求则进入步骤S223;
步骤S222,检测该目标与车辆本身的距离是否符合要求。如果距离不符合要求则进入步骤S223;如果距离符合要求则进入步骤S230;
步骤S223,将检测不合格的参照物从信息库中排除,进入步骤S201。
步骤S230,当所选取的目标经步骤S221与步骤S222检测后判定满足高度与距离的要求时,将该目标作为参照物选取,并建立虚拟坐标系。
本发明还提供了一种智能驾驶交通载具的行车参照物选择装置,包括:
识别单元,识别交通载具周围环境中的参照物;
计算单元,在交通载具的坡道行驶中,结合图像和声波信息计算出参照物与路面之间的相对高度以及参照物与载具之间的相对距离;
参照物选择单元,在交通载具行驶过程中,选择至少一个识别单元识别出的参照物。
所述参照物选择单元从识别的参照物中去除无效参照物,对有效参照物进行分类,为不同类型的有效参照物设置不同的优先级,当选定的参照物失效时,选择替代参照物。
本发明还提供了一种无人驾驶汽车,其特征在于,包括权利要求7或8任意一项所述的智能驾驶交通载具的行车参照物选择装置。
本发明的有益效果如下:本发明的技术方案中不依赖车道标记线,在无车道的标识线的情形下可实现车道保持,通过摄像头识别环境参照物,并且将环境参照物作为车道保持的参照对象,从而不会导致汽车脱离行驶车道,避免造成重大的安全隐患。
附图说明
下面结合附图及实施方式对本发明作进一步详细的说明:
图1为本发明车道保持方法的整体流程图;
图2为本发明中参照物的识别图;
图3为本发明中参照物的无效化判断图;
图4为本发明中有效参照物的分类图;
图5为本发明中有效参照物分类的举例说明图;
图6为本发明中面型参照物的样本举例说明图;
图7为本发明中横跨型参照物的样本举例说明图;
图8为本发明中竖型参照物的样本举例说明图;
图9为本发明中建筑物类参照物的样本举例说明图;
图10为本发明中树类参照物的样本举例说明图;
图11为本发明中坡道内视频获取的角度示意图;
图12为本发明中参照物选择方法的逻辑示意图;
图13为本发明中一种入坡前的替代参照物选取的举例示意图;
图14为本发明中一种上坡中的替代参照物选取的举例示意图;
图15为本发明中一种下坡中的替代参照物选取的举例示意图;
图16为本发明中无人驾驶交通载具车道保持装置
具体实施方式
下面利用实施例结合说明书附图对本发明的技术方案做进一步描述,但不限于此。
本发明实施例提供了一种智能驾驶交通载具的行车参照物选择方法、装置及交通载具。图1为本发明实施例智能驾驶交通载具车道保持方法的流程图,如图1所示,包括以下步骤:
步骤1,识别交通载具周围环境中的参照物。
优选地,可通过雷达和/或图像检测装置来获取参照物的特征向量,基于特征向量识别出参照物。
在该步骤中,所述雷达与图像检测不局限于雷达及图像检测装置,可以是各种能够采集参照物特征向量的装置,例如雷达、激光测距仪、红外检测仪、声呐传感器、可见光摄像机或照相机等等。所述采集设备可以设置在车辆的轮廓上或者顶部。本领域的技术人员应当理解,在更广泛的应用场景中,所述采集设备可以是前述举例中的任意一种。在家用轿车的车身的一侧或者多侧可以设置一个或多个信息采集设备。例如在车身的左侧设置一个或多个雷达测距仪,或者图像检测装置。也可以在车身的前部或者右侧或者后侧设置一个或多个雷达测距仪,或者图像检测装置。也可以在车身的一侧或多侧设置不同类型的采集设备,例如在车身的前部设置至少一个雷达测距仪以及至少一个图像采集设备。
在一个优选的实施方式中,所述具有图像采集功能的检测设备为ccd或者cmos或者其他具有感光功能的检测设备,或者其他感光元件或者器件,以下统称为感光设备,例如可见光摄像机和/或红外摄像机。在车身的左右两侧的位置均安装所述ccd或者cmos或者其他具有感光功能的传感器,安装高度和角度根据车辆自身情况确定,例如安装在车身侧面的底盘处、B柱上或者车顶的中间位置处等。所述ccd或者cmos或者其他具有感光功能的传感器可以为一个或者多个。
所述感光设备实时获取车辆四周的可见光和/或红外光信息,并得到不间断的图像或者视频。所述实时获取不间断的图像或者视频可以是通过感光设备以一定的时间间隔获取的一系列的感光信息,例如每间隔1毫秒或者2毫秒或者其他时间间隔所获取的静态图像,或者由所述静态图像生成的动态图像或者视频。
在所述静态或者动态图像中检测或者识别出至少一个参照物,例如通过边缘检测,或者颜色阈值检测,或者边缘检测加霍夫曼变换,或者基于模板识别或者其他人工智能学习等方法识别出具有柱状或者条状的对象作为参照物。具体的参照物的检测方法已经存在于现有技术中,并非本发明的宗旨所在。
在一种优选的实施方式中,车辆上配备有车载计算机系统的参照物识别模块。所述参照物识别模块包括一个或多个判定单元,例如清晰度判定单元,路边距判定单元或完整度判定单元等。所述清晰度判定单元是将图像中的信息录入系统后,对其进行清晰度判断,在图像的边界及细节部分不清晰时,图像就显得模糊,这时能够以图像的边缘是否清晰为依据,对图像的清晰度进行判定;数字图像的灰度是以二维数组的形式存在于计算机中的,可以对图像进行预处理后通过灰度值来对图像的清晰度进行判定。所述路边距判定单元是将图像中的信息录入系统后,判断目标物距离路边的距离,判定方法可以是通过gps的定位数据,也可以是在图像上利用灰度值实测数据。所述完整度判定单元是将图像中的信息录入系统后,判断目标样本是否在数据库存在,能否当做参照物使用。所述不清晰的和距离路边过远的均在使用过程中视条件而定,例如清晰度小于1k的为无效目标或者距离路边3m的为无效目标。所述判定,模块可以同时包含上述的三个判定单元,但不局限于上述三个判定单元。所述判定模块内的判定单元是并列的方式运行,只要一个判定单元不满足,信息样本就必须排除,只有信息样本满足判断模块内所有判定单元的要求才可成为参照物目标被录入信息库中。
在一个优选的实施方式中,车身的前端、侧面和后端均安装有雷达测距仪,雷达测距仪距离路面有一定高度并以可自动调节水平角度的方式朝向车辆四周的区域,安装高度和角度根据车辆自身情况确定,例如安装在车前挡风玻璃的顶部,车前盖上、进气栅栏上、左右两侧前大灯的上方以及车身侧面的底盘处、B柱上或者车顶的中间位置处等。雷达测距仪的信号发射方向在水平面上能够自动调节。雷达测距仪固定后,便可获得一个较稳定的测距值,即从雷达测距仪发出信号到接收到该信号所用时间计算得出的距离值。
步骤2,从识别的参照物中去除无效参照物。
在该步骤中,所述无效参照物是指通过感光设备采集的图像中经判定为不符合参照物使用要求的目标。未在道路范围内,或者未处于道路边界上的参照物为无效参照物。无效参照物不适合做为交通载具行驶的参照物。如图2所示,图2中示出了多个识别出的参照物,例如树立在道路边界上的柱子(电线杆,路灯等),以及位于道路边界之外的柱状物(可能是其他道路上的路灯杆,电线杆,或者光杆,树等)。
如图3所示,距离路边过远的参照物均属于无效参照物,在图3中用×标记出,而有效参照物用√标记出。
步骤3,对有效参照物进行分类。
在一个优选的实施方式中,如图4所示,按照参照物与交通载具的位置关系,将参照物分为三种类型,分别为前点参照物、中间参照物和后点参照物,在这三种类型的参照物中再根据参照物可提供参照点的数量将参照物细分为多个小的类型,例如,面型参照物、横跨型参照物、竖形参照物、建筑物类参照物以及树类参照物等。
如图5所示,在交通载具的行进过程中,道路两侧的参照物会随着载具得前进,而相对的向载具后方移动,位于载具行进方向前端的为前点参照物,位于载具侧面且与载具之间的连线和载具行进路线垂直的为中间参照物,位于载具行进方向后端的为后点参照物,在车辆行过程中,有效参照物从进入可测范围内后,会从前点参照物逐渐变为中间参照物,再变为后点参照物,直至消失在可测范围内,前点参照物的可使用时间较长,中间参照物的可使用时间次之,后点参照物的可使用时间较短,所以将前点参照物作为第一优先级,中间参照物作为第二优先级,后点参照物作为第三优先级。
然后根据参照物可提供参照点的数量将参照物细分为多个小的类型。
一种类型是具有规则形状的平面物体,即面型参照物,如图6所示,例如广告牌,道路指示牌,以及交通规范指示牌等,其具有一个圆形或方形或三角形的平面,并且该平面与交通载具的行驶方向垂直或大致垂直,另一方面,面型参照物一般具有一杆体与之配套。
如图7所示,另一类参照物为一些横跨在道路上方用于限高或加装摄像头的栏杆,将此类参照物归为一类,设为横跨型参照物,该类参照物具有两条垂直于道路路面的竖边以及与竖边相连的垂直于竖边的横边,与路面形成一长方形。
如图8所示,另一类参照物为一些路灯、旗杆及具有不固定平面广告牌的杆状物体,将此类参照物归为一类,设为竖型参照物,该类参照物具有两条垂直于道路路面的竖边。
如图9所示,另一类参照物为一些城市道路中两侧的建筑物,将此类参照物归为一类,设为建筑物类参照物,该类参照物具有规则或不规则的形状,存在多条垂直于道路路面的竖边,但由该类参照物具有不规则形状的可能,通过感光设备收集的信息中也可能不存在竖边。
如图10所示,另一类参照物为一些道路旁旁各式各样的树木,将此类参照物归为一类,设为树类参照物,该类参照物是由不规则形状的枝叶和规则形状的树杆组成。
上述不同类型的参照物所提供参考点的信息数量不一样。例如竖型参照物,其可提供的参照点可能是竖型参照物的上顶点(例如柱子的杆头)或者下顶点(例如柱子与路面的相交点)。而面型参照物可提供的参照点相对较多,例如长方形面型参照物(道路指示牌),其具有四个顶点,圆形参照物可提供的参照点可以是整个圆周上的任一点,或者圆心,三角形参照物可提供的参照点可以是三个顶点。又例如,横跨型参照物(限高栏杆),其可提供的参照点可能是两侧柱体的上顶点或者下顶点(竖杆与横杆的交点)或者下顶点(竖杆与地面的相交点),或者横杆的中心点。又例如,建筑物类参照物(立方体房屋),其可提供的参照点可能是拐角处竖边的上顶点或下顶点,或者房屋的拐点,亦或者房屋中间部位的某一突出点。而树类参照物可提供的参照点相对较少,只有树杆与地面的相交点为稳定参照点。
步骤4,为不同类型的参照物设置不同的优先级。
优选地,在交通载具的前进过程中,有效参照物从进入可测范围内后,会从前点参照物逐渐变为中间参照物,再变为后点参照物,直至消失在可测范围内,前点参照物的可使用时间较长,中间参照物的可使用时间次之,后点参照物的可使用时间较短,所以将前点参照物作为第一优先级,中间参照物作为第二优先级,后点参照物作为第三优先级。
如图11所示,交通载具在坡道的行驶过程中,由于载具在垂直方向上存在一定的角度,图像校测设备和雷达设备因为路面的突起而阻挡采集路径,能采集到的有效参照物较少,在数据库中没有找到前点参照物所对应的目标数据后,检测数据库中的中间参照物,在数据库中没有找到前点参照物和中间参照物所对应的目标数据后,检测数据库中的后点参照物。
优选地,参照点越多的参照物的优先级越高。
例如,识别出的参照物中同时具有杆体和交通指示牌,则将交通指示牌(面型参照物)设为第一优选参照物。所以将杆体(竖型参照物)设为第二优选参照物。
又例如,识别出的参照物中同时具有杆体和限高栏杆,则将限高栏杆(横跨型参照物)设为第一优选参照物。所以将杆体(竖型参照物)设为第二优选参照物。
又例如,识别出的参照物中同时具有限高栏杆和交通指示牌,则将限高栏杆(横跨型参照物)设为第一优选参照物。所以将交通指示牌(面型参照物)设为第二优选参照物。
又例如,识别出的参照物中同时具有过街天桥和房屋,则将过街天桥(横跨型参照物)设为第一优选参照物。所以将房屋(建筑物类参照物)设为第二优选参照物。
又例如,识别出的参照物中同时具有过街天桥和交通指示牌,以及杆体,则将交通指示牌(面型参照物)设为第一优选参照物,将过街天桥(横跨型参照物)设为第二优选参照物,所以将杆体(竖型参照物)设为第三优选参照物。
又例如,识别出的参照物中同时具有过街天桥和交通指示牌,以及房屋,则将交通指示牌(面型参照物)设为第一优选参照物,将过街天桥(横跨型参照物)设为第二优选参照物,所以将房屋(建筑物类参照物)设为第三优选参照物。
又例如,识别出的参照物中同时具有杆体、房屋和过街天桥,以及树木,则将过街天桥(横跨型参照物)设为第一优选参照物,将杆体(竖型参照物)设为第二优选参照物,将房屋(建筑物类参照物)设为第三优选参照物,所以将树木(树类参照物)设为第四优选参照物。
又例如,识别出图像中同时具有杆体、房屋、过街天桥、交通指示牌和树木,则将交通指示牌(面型参照物)设为第一优选参照物,将杆体竖型参照物)设为第二优选参照物,将过街天桥(横跨型参照物)设为第三优选参照物,将房屋(建筑物类参照物)设为第四优选参照物,所以将树木(树类参照物)设为第五优选参照物。
可以理解的是,竖型参照物在使用中通过单一的杆体取点测距,缺少了多点联动验证的优点,通过单点计算的方式来判断车辆的位置,在使用过程中能够满足正常的需求,而且道路旁该类型参照物较多,且连续性好,有利于参照物使用中的连贯性。
面型参照物在道路上比较多见,利用感光设备容易发现目标,而且在该类型的参照物中杆体和平面均可以取点测距,能够通过多点取证的方法更准确的判断出车辆所在的位置。
横跨型参照物在使用中,左右两侧的杆体均可以取点测距,能够通过左右两点互相验证的方式来判断车辆位置信息的准确性,信息较可靠,目标也不易丢失。
建筑物类参照物有的会以不规则的形状存在,在使用过程中,随着车辆的行进,时不时会发生遮挡的情况,参考点容易跳动,使用时连续性差。
树类参照物的树干主体是固定的,树干外侧覆盖有大量的枝叶,枝叶由于比较细小的原因容易被风吹动,假如以枝叶为目标就会产生参考点无法固定的问题,茂密的枝叶会遮挡树干主体上的参考点,在实际使用时,如果以树类参照物作为参考点,只能选取树干主体的下部作为参考点,该参考点的水平高度有限,容易被过往的其它车辆或护栏遮挡。
在以上所述的五种类型中,包含而不局限于广告牌、道路指示牌、交通规范指示牌、限高或加装摄像头的栏杆、路灯、旗杆及具有不固定平面广告牌的杆子、建筑物、各式各样的树木。道路旁能够被感光设备采集图像并作为参考点的目标均划分到不同类型中。
步骤5,在交通载具行驶过程中,选择至少一个参照物。
选择参照物的标准是按照优先级的高低,从高到低的顺序选择参照物,以使得交通载具能够根据所述参照物来保持行驶路径。
例如,在识别出的参照物中同时具有载具前方的杆体和载具前方的交通指示牌时,则选取载具前方的交通指示牌(前点面形参照物)作为参照物。
在识别出的参照物中同时具有载具前方的杆体和载具后方的交通指示牌时,则选载具前方的杆体(前点竖形参照物)作为参照物。
又例如,在识别出的参照物中同时具有载具前方的杆体、载具中间的杆体以及载具后方的杆体时,则选取载具前方的杆体(前点竖形参照物)作为参照物。
又例如,在识别出的参照物中同时具有载具前方的杆体限高栏杆和载具前方的杆体交通指示牌时,则选取载具前方的杆体限高栏杆(前点横跨型参照物)作为参照物。
又例如,在识别出的参照物中同时具有载具前方的过街天桥和载具前方的房屋时,则选取载具前方的过街天桥(前点横跨型参照物)作为参照物。
又例如,在识别出的参照物中同时具有载具前方的过街天桥、载具后方的杆体交通指示牌和载具后方的杆体房屋时,则选取载具前方的过街天桥(前点横跨型参照物)作为参照物。
又例如,在识别出的参照物中同时具有载具后方的杆体杆体、载具后方的杆体房屋、载具后方的杆体过街天桥和载具后方的杆体树木时,则选取过街天桥(后点横跨型参照物)作为参照物。
又例如,在识别出图像中同时具有载具后方的杆体杆体、载具后方的杆体房屋、载具后方的杆体过街天桥、载具后方的杆体交通指示牌和载具前方的杆体树木时,则选取载具前方的杆体树木(前点树类参照物)作为参照物。
本发明另一个实施例中提供了一种参照物选择方法,如图12所示,有以下步骤:
步骤S200,在数据库中建立参照物模型或模板。
步骤S201,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有前点参照物。如果有前点参照物,则进行步骤S202在数据库中选取前点参照物对应的子数据库,然后进行步骤S207;如果没有前点参照物则进入步骤S203。
步骤S203,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有中间参照物。如果有中间参照物,则进行步骤S204在数据库中选取中间参照物对应的子数据库,然后进行步骤S207;如果没有中间参照物则进入步骤S205。
步骤S205,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有后点参照物。如果有后点参照物,则进行步骤S206在数据库中选取后点参照物对应的子数据库,然后进行步骤S207;如果没有中间参照物则进入步骤S200,重新收集图像进行建模。
步骤S207,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有面型参照物。如果有面型参照物则选取其中面型参照物作为参照物,进行步骤S221;如果没有面型参照物则进入步骤S208。
步骤S208,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有横跨型参照物。如果有横跨型参照物则选取其中一横跨型参照物作为参照物,进入步骤S221;如果没有横跨型参照物则进入步骤S209。
步骤S209,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有竖型参照物。如果有竖型参照物则选取其中一个竖型参照物作为参照物,进行步骤S221;如果没有竖型参照物则进入步骤S210。
步骤S210,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有建筑物类参照物。如果有建筑物类参照物则选取其中一个建筑物类参照物作为参照物,进行步骤S221;如果没有建筑物类参照物则进入步骤S211。
步骤S211,选取树类参照物作为参照物进入步骤S221。
步骤S221,检测被选取的的参照物上可取参考点的高度是否符合要求。如果高度符合要求则进入步骤S222;如果高度不符合要求则进入步骤S223。
在该步骤中,可以理解的是,参照物的高度直接影响参考点的使用情况,如果参考点过高,在车辆行驶中参考点会快速的脱离感光设备的拍摄范围;如果参考点过低,过往的车辆或护栏会遮挡参考点。这两种情况都不利于参考点使用时的稳定性,所以通过该步骤进行有效的风险规避。其中,前点参照物、中间参照物和后点参照物所对应的子数据库内均包含面型参照物、横跨型参照物、竖形参照物、建筑物类参照物以及树类参照物等五种类型的参照物,当图像中检测到有前点参照物或中间参照物或后点参照物,而对应的子数据库中未发现面型参照物、横跨型参照物、竖形参照物以及建筑物类参照物时,必然存在树类参照物。
步骤S222,检测该目标与车辆本身的距离是否符合要求。如果距离不符合要求则进入步骤S223;如果距离符合要求则进入步骤S230。
在该步骤中,可以理解的是,参照物目标与车辆本身的距离直接影响参考点的使用时间,当参照物位于车辆行进方向的前端时,如果两者之间的距离过远,目标图像在镜头中的显示就会过小,而且此时的雷达测量延时性大,精确度下降;当参照物位于车辆行进方向的后端时,如果两者之间的距离过远,随着车辆前进,画面中会快速的丢失目标,仍需寻找下一目标,效率过低。所述的距离过远依据实际情况而定,例如以前后200m为常规区间,那么大于200m的目标物判定为距离过远。所述的距离过远情况会影响参考点使用时的准确性和连续性,通过该步骤进行有效的风险规避。
步骤S223,将检测不合格的参照物从信息库中排除,进入步骤S201。
步骤S230,当所选取的目标经步骤S221与步骤S222检测后判定满足高度与距离的要求时,将该目标作为参照物选取,并建立虚拟坐标系。
可以理解的是,步骤S201、S203和S205均是从样本信息数据库中提取子数据库,所不同的是优先级的划分等级不同。
可以理解的是,步骤S207至S211均是从子数据库中提取参照物,所不同的是优先级的划分等级不同。
可以理解的是,分别通过步骤S207至S211经步骤S221或步骤S221与S222进入步骤S223的回执步骤可以直接进入对应的步骤S207至S211。
在本实施例中通过面型参照物、横跨型参照物、竖型参照物、建筑物类参照物、树类参照物等五种类型的数据样本进行高度与距离的评比后选取最优选参照物。在实际使用中可根据具体的需求进行不同的分类,对应的,可根据不同的分类进行逻辑建模。评比筛选过程中也不局限与高度和距离。
步骤6,当选定的参照物失效时,选择替代参照物。
所述失效的条件是,交通载具即将驶过该参照物,即该参照物即将消失在视频中。例如,如图13所示,在车辆将要进入上坡路段时,选取前点的面型参照物作为参照物,而随着车辆的前进,由于拍摄角度限制,该面型参照物会从获取画面的上方脱离视野,意味着该面型参照物很快会成为无法使用的参照物,为了使交通载具正常保持行驶姿态,从此时的图像画面中识别出非当前参照物的其他参照物,而获取的画面中没有前点参照物和中间参照物,后点参照物中存在树类参照物,选择后点的树类参照物作为替代参照物。又例如,图14中,在车辆进入上坡路段时,道路的坡道限制了观察视野,前点参照物在理论上会出现在视频中,但是实际视频中并没有前点参照物和中间参照物,后点参照物中存在竖形参照物和树类参照物,选取竖形参照物为参照物,而随着车辆的前进以及坡道角度的变化,选取的竖形参照物会从视频画面的下方慢慢脱离视野,意味着该竖形参照物很快会成为无法使用的参照物,为了使交通载具正常保持行驶姿态,从此时的图像画面中识别出非当前参照物的其他参照物,而获取的画面中有前点参照物,包括竖形参照物和面型参照物,选择前点的面型参照物作为替代参照物。又例如,图15中,在车辆进入下坡路段时,坡道的地形限制了观察视野,前点参照物和中间参照物中无法发现有效参照物,后点参照物中存在面形参照物,选取面形参照物为参照物,而随着车辆的前进以及坡道角度的变化,选取的面形参照物会从视频画面的下方慢慢脱离视野,意味着该面形参照物很快会成为无法使用的参照物,为了使交通载具正常保持行驶姿态,从此时的图像画面中识别出非当前参照物的其他参照物,而获取的画面中有前点参照物,包括竖形参照物、面型参照物、建筑物类参照物和树类参照物,选择前点的面型参照物作为替代参照物。
本发明还提供了一种无人驾驶交通载具车道保持装置,如图16所示,包括:
识别单元,识别交通载具周围环境中的参照物;
计算单元,在交通载具的坡道行驶中,结合图像和声波信息计算出参照物与路面之间的相对高度以及参照物与载具之间的相对距离。
参照物选择单元,在交通载具行驶过程中,选择至少一个识别单元识别出的参照物。
所述参照物选择单元从识别的参照物中去除无效参照物,对有效参照物进行分类,为不同类型的有效参照物设置不同的优先级,当选定的参照物失效时,选择替代参照物。
本发明还提供了一种无人驾驶汽车,其特征在于:包括前述车道保持装置。
本发明的有益效果如下:本发明的技术方案中不依赖车道标记线,在无车道的标识线的情形下可实现车道保持,通过摄像头识别环境参照物,并且将环境参照物作为车道保持的参照对象,从而不会导致汽车脱离行驶车道,避免造成重大的安全隐患。

Claims (9)

1.一种智能驾驶交通载具的行车参照物选择方法,包括以下步骤:
识别交通载具周围环境中的参照物;
从识别的参照物中去除无效参照物;
在交通载具行驶过程中,选择至少一个有效参照物。
2.如权利要求1所述的智能驾驶交通载具的行车参照物选择方法,其特征在于:
在所述步骤从识别的参照物中去除无效参照物之后还包括对有效参照物进行分类的步骤。
3.如权利要求2所述的智能驾驶交通载具的行车参照物选择方法,其特征在于:
在所述步骤对有效参照物进行分类之后还包括为不同类型的有效参照物设置不同的优先级的步骤。
4.如权利要求3所述的智能驾驶交通载具的行车参照物选择方法,其特征在于:
在所述步骤选择至少一个有效参照物之后,还包括以下步骤:当选定的参照物失效时,选择替代参照物。
5.如权利要求1-4任意一项所述的智能驾驶交通载具的行车参照物选择方法,其特征在于:
参照物的可使用时间越长,参照物的优先级越高;参照点越多的参照物的优先级越高。
6.如权利要求2所述的智能驾驶交通载具的行车参照物选择方法,其特征在于:有效参照物进行分类的步骤包括:
步骤S200,在数据库中建立参照物模型或模板。
步骤S201,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有前点参照物;如果有前点参照物,则进行步骤S202:在数据库中选取前点参照物对应的子数据库,然后进行步骤S207;如果没有前点参照物则进入步骤S203;
步骤S203,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有中间参照物;如果有中间参照物,则进行步骤S204在数据库中选取中间参照物对应的子数据库,然后进行步骤S207;如果没有中间参照物则进入步骤S205;
步骤S205,将识别出的参照物与车辆行进方向以及位置关系结合,判断识别出参照物中是否有后点参照物;如果有后点参照物,则进行步骤S206在数据库中选取后点参照物对应的子数据库,然后进行步骤S207;如果没有中间参照物则进入步骤S200,重新收集图像进行建模;
步骤S207,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有面型参照物;如果有面型参照物则选取其中面型参照物作为参照物,进行步骤S221;如果没有面型参照物则进入步骤S208;
步骤S208,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有横跨型参照物;如果有横跨型参照物则选取其中一横跨型参照物作为参照物,进入步骤S221;如果没有横跨型参照物则进入步骤S209;
步骤S209,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有竖型参照物。如果有竖型参照物则选取其中一个竖型参照物作为参照物,进行步骤S221;如果没有竖型参照物则进入步骤S210;
步骤S210,将识别出的参照物与子数据库中的参照物模型或者模板对比,判断识别出的参照物中是否有建筑物类参照物;如果有建筑物类参照物则选取其中一个建筑物类参照物作为参照物,进行步骤S221;如果没有建筑物类参照物则进入步骤S211;
步骤S211,选取树类参照物作为参照物进入步骤S221;
步骤S221,检测被选取的的参照物上可取参考点的高度是否符合要求。如果高度符合要求则进入步骤S222;如果高度不符合要求则进入步骤S223;
步骤S222,检测该目标与车辆本身的距离是否符合要求。如果距离不符合要求则进入步骤S223;如果距离符合要求则进入步骤S230;
步骤S223,将检测不合格的参照物从信息库中排除,进入步骤S201。
步骤S230,当所选取的目标经步骤S221与步骤S222检测后判定满足高度与距离的要求时,将该目标作为参照物选取,并建立虚拟坐标系。
7.一种智能驾驶交通载具的行车参照物选择装置,包括:
识别单元,识别交通载具周围环境中的参照物;
计算单元,在交通载具的坡道行驶中,结合图像和声波信息计算出参照物与路面之间的相对高度以及参照物与载具之间的相对距离;
参照物选择单元,在交通载具行驶过程中,选择至少一个识别单元识别出的参照物。
8.如权利要求7所述的智能驾驶交通载具的行车参照物选择装置,其特征在于:
所述参照物选择单元从识别的参照物中去除无效参照物,对有效参照物进行分类,为不同类型的有效参照物设置不同的优先级,当选定的参照物失效时,选择替代参照物。
9.一种无人驾驶汽车,其特征在于,包括权利要求7或8任意一项所述的智能驾驶交通载具的行车参照物选择装置。
CN202011374683.9A 2020-11-30 2020-11-30 智能驾驶交通载具的行车参照物选择方法、装置 Active CN112537301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011374683.9A CN112537301B (zh) 2020-11-30 2020-11-30 智能驾驶交通载具的行车参照物选择方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011374683.9A CN112537301B (zh) 2020-11-30 2020-11-30 智能驾驶交通载具的行车参照物选择方法、装置

Publications (2)

Publication Number Publication Date
CN112537301A true CN112537301A (zh) 2021-03-23
CN112537301B CN112537301B (zh) 2022-08-19

Family

ID=75016542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011374683.9A Active CN112537301B (zh) 2020-11-30 2020-11-30 智能驾驶交通载具的行车参照物选择方法、装置

Country Status (1)

Country Link
CN (1) CN112537301B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313844A (zh) * 2021-07-30 2021-08-27 深圳市赛菲姆科技有限公司 一种基于视频流双向触发车辆智能管理系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061640A (ko) * 2014-11-24 2016-06-01 현대엠엔소프트 주식회사 차량 주행 영상을 통한 도로 경사도 추출 및 연비 개선 방법
US20160167582A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Vehicle Probes
CN106802151A (zh) * 2016-11-21 2017-06-06 蔚来汽车有限公司 基于沿途参照物匹配的导航方法
CN109448043A (zh) * 2018-10-22 2019-03-08 浙江农林大学 平面约束下的立木高度提取方法
CN109795416A (zh) * 2019-03-18 2019-05-24 重庆睿驰智能科技有限公司 汽车路面标识盲区自动驾驶系统
US20190180115A1 (en) * 2017-12-11 2019-06-13 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
CN109903341A (zh) * 2019-01-25 2019-06-18 东南大学 一种车载摄像机外参动态自标定方法
CN110803162A (zh) * 2018-08-03 2020-02-18 杭州海康机器人技术有限公司 车道保持方法及装置
US20200117921A1 (en) * 2018-10-10 2020-04-16 Denso Corporation Apparatus and method for recognizing road shapes
CN111832365A (zh) * 2019-04-22 2020-10-27 罗伯特·博世有限公司 车道标记确定方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061640A (ko) * 2014-11-24 2016-06-01 현대엠엔소프트 주식회사 차량 주행 영상을 통한 도로 경사도 추출 및 연비 개선 방법
US20160167582A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Vehicle Probes
CN106802151A (zh) * 2016-11-21 2017-06-06 蔚来汽车有限公司 基于沿途参照物匹配的导航方法
US20190180115A1 (en) * 2017-12-11 2019-06-13 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
CN110803162A (zh) * 2018-08-03 2020-02-18 杭州海康机器人技术有限公司 车道保持方法及装置
US20200117921A1 (en) * 2018-10-10 2020-04-16 Denso Corporation Apparatus and method for recognizing road shapes
CN109448043A (zh) * 2018-10-22 2019-03-08 浙江农林大学 平面约束下的立木高度提取方法
CN109903341A (zh) * 2019-01-25 2019-06-18 东南大学 一种车载摄像机外参动态自标定方法
CN109795416A (zh) * 2019-03-18 2019-05-24 重庆睿驰智能科技有限公司 汽车路面标识盲区自动驾驶系统
CN111832365A (zh) * 2019-04-22 2020-10-27 罗伯特·博世有限公司 车道标记确定方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313844A (zh) * 2021-07-30 2021-08-27 深圳市赛菲姆科技有限公司 一种基于视频流双向触发车辆智能管理系统及方法

Also Published As

Publication number Publication date
CN112537301B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US11940290B2 (en) Virtual stop line mapping and navigation
US7804980B2 (en) Environment recognition device
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
CN110356325B (zh) 一种城市交通客运车辆盲区预警系统
US11914041B2 (en) Detection device and detection system
CN102222236A (zh) 图像处理系统及位置测量系统
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
US20210208282A1 (en) Detection device and detection system
CN103164958A (zh) 车辆监控方法及系统
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
CN112537301B (zh) 智能驾驶交通载具的行车参照物选择方法、装置
CN114694108A (zh) 一种图像处理方法、装置、设备及存储介质
CN114694115A (zh) 一种道路障碍物检测方法、装置、设备及存储介质
CN112537302B (zh) 一种无人驾驶交通载具车道保持方法、装置及交通载具
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
JP2019207655A (ja) 検知装置及び検知システム
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
CN110727269A (zh) 车辆控制方法及相关产品
CN114677658A (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
Suganuma et al. Current status and issues of traffic light recognition technology in Autonomous Driving System
CN112633073A (zh) 智能网联汽车自动驾驶的参照物选择方法、装置
KR102421705B1 (ko) 객체 재식별을 위한 정보 분석 시스템 및 그에 관한 방법
Rithish et al. Evaluating Computer Vision Techniques for Urban Mobility on Large-Scale, Unconstrained Roads
US20230266469A1 (en) System and method for detecting road intersection on point cloud height map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221221

Address after: Room 307-1, Urban Energy Empowerment Center, No. 817 Bingsheng Road, Guangrao Economic Development Zone, Guangrao County, Dongying City, Shandong Province, 257,000

Patentee after: Shandong Wanzhong Weiye New Material Technology Co.,Ltd.

Address before: 226000 Building 1, 639 Jianghai Avenue, Gangzha District, Nantong City, Jiangsu Province

Patentee before: Nantong Luyuan Technology Information Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230625

Address after: Room 702, Building A1, Longgang Science and Technology Park, No.1 Hengyuan Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211899

Patentee after: Nanjing Wanfenghui Technology Co.,Ltd.

Address before: Room 307-1, Urban Energy Empowerment Center, No. 817 Bingsheng Road, Guangrao Economic Development Zone, Guangrao County, Dongying City, Shandong Province, 257,000

Patentee before: Shandong Wanzhong Weiye New Material Technology Co.,Ltd.

TR01 Transfer of patent right