CN110969178A - 自动驾驶车辆的数据融合系统、方法及自动驾驶系统 - Google Patents

自动驾驶车辆的数据融合系统、方法及自动驾驶系统 Download PDF

Info

Publication number
CN110969178A
CN110969178A CN201811153606.3A CN201811153606A CN110969178A CN 110969178 A CN110969178 A CN 110969178A CN 201811153606 A CN201811153606 A CN 201811153606A CN 110969178 A CN110969178 A CN 110969178A
Authority
CN
China
Prior art keywords
target
information
fusion
list
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811153606.3A
Other languages
English (en)
Other versions
CN110969178B (zh
Inventor
张凯
甄龙豹
葛建勇
和林
王天培
刘洪亮
韩汝涛
刘宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haomo Zhixing Technology Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN201811153606.3A priority Critical patent/CN110969178B/zh
Publication of CN110969178A publication Critical patent/CN110969178A/zh
Application granted granted Critical
Publication of CN110969178B publication Critical patent/CN110969178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及智能交通领域,提供一种自动驾驶车辆的数据融合系统、方法及自动驾驶系统。所述数据融合方法包括道路融合步骤和目标融合步骤。其中,所述道路融合步骤包括:获取本车的各个环境感知传感器所采集的多种道路信息;对所述多种道路信息进行初始融合;以及对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型。其中,所述目标融合步骤包括:获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合;根据所获取参数属性集合生成当前时刻的目标融合列表;以及根据所述当前时刻的目标融合列表生成并输出当前时刻的目标跟踪列表。本发明可向决策系统提供更为精准的道路模型和跟踪目标列表。

Description

自动驾驶车辆的数据融合系统、方法及自动驾驶系统
技术领域
本发明涉及智能交通领域,特别涉及一种自动驾驶车辆的数据融合系统、方法及自动驾驶系统。
背景技术
目前,具有自动驾驶系统(Autonomous Driving System,简称ADS)的车辆已开始逐步推向市场,极大地促进了智能交通的发展。ADS是利用安装于车辆上的环境感知传感器,实时感知周围环境,通过传感器返回的数据确定车辆的可行驶区域。其中,环境感知的内容可以分为两大部分,分别为道路信息和目标信息,其中目标信息可以为ADS的决策系统提供本车周围各个区域的目标,让决策系统做出正确的反应(超车、减速、跟随等行为),实现自动控制,而道路信息为ADS进行车辆横向控制提供了可行驶道路以进行路径规划,将车辆带到指定区域位置。因此,对目标信息和道路信息的数据融合影响整个ADS的安全和稳定,在自动驾驶中能起到很关键的作用。
但是,在进行环境感知的过程中,由于单一传感器自身的性能缺陷,某些情况无法实现针对障碍物的目标探测,例如,摄像头在光照比较差的工况下无法探测目标,从得到的道路信息和目标信息的属性不全面、不均衡。因此,自动驾驶汽车需要多种传感器对目标进行探测才能实现对周围环境的全面感知。但在这类方案中,对于道路信息检测和环境目标检测又至少存在如下缺陷:
1)缺少对不同传感器获取的道路信息的数据处理及数据融合机制,不利于保证获取的输出的道路模型的精准性。
2)如果对多个传感器探测的目标数据进行直接输出,将造成数据传输量巨大,且会存在以下问题:目标误检,例如没有障碍物却输出障碍物;目标漏检,例如存在障碍物却没有输出;同一目标属性不一致;无法获得目标最优属性等。这些问题将对后续决策系统的判断逻辑带来很大不便,降低整个系统的安全性和运行效率。
3)相关技术中主要公开了采用卡尔曼滤波算法来实现对环境目标的跟踪,但是这种算法计算量较大,需要消耗较大的计算资源,并且具有较高的数据延迟。
发明内容
有鉴于此,本发明旨在提出一种自动驾驶车辆的数据融合系统,以至少部分地解决上述技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
一种自动驾驶车辆的数据融合方法,包括道路融合步骤和目标融合步骤。其中,所述道路融合步骤,被配置为包括:获取本车的各个环境感知传感器所采集的多种道路信息;对所述多种道路信息进行初始融合,其中所述初始融合包括信息预处理和信息有效性验证;以及对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型,其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。所述目标融合步骤,被配置为包括:获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合,其中所述参数属性集合至少包括以下属性中的一者或多者:纵向速度、纵向距离、横向距离和目标ID;根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表,其中所述目标融合列表包括与一个或多个环境目标中每一个环境目标相对应的目标属性集合,所述目标属性集合包括由一个或多个传感器各自测得的环境目标的参数属性集合;以及根据所述当前时刻的目标融合列表生成并输出当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。
相对于现有技术,本发明所述的自动驾驶车辆的数据融合系统具有以下优势:本发明一方面对道路信息进行二次融合以输出精准度更高的道路模型,另一方面通过对环境目标增加融合跟踪ID可以方便对环境目标的跟踪,结合这两个方面,可辅助决策系统根据更为精准的道路模型和跟踪目标列表做出正确的车辆行驶决策,实现对自动驾驶车辆的精准控制。
本发明的另一目的在于提出一种自动驾驶车辆的数据融合系统,以至少部分地解决上述技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
一种自动驾驶车辆的数据融合系统,包括道路融合系统和目标融合系统。其中,所述道路融合系统被配置为包括:道路信息获取单元,用于获取本车的各个环境感知传感器所采集的多种道路信息;信息初始融合单元,用于对所述多种道路信息进行初始融合,其中所述初始融合包括信息预处理和信息有效性验证;以及信息深度融合单元,用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型,其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。其中,所述目标融合系统被配置为包括:目标信息获取单元,用于获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合,其中所述参数属性集合至少包括以下属性中的一者或多者:纵向速度、纵向距离、横向距离和目标ID;目标融合列表生成单元,用于根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表,其中所述目标融合列表包括与一个或多个环境目标中每一个环境目标相对应的目标属性集合,所述目标属性集合包括由一个或多个传感器各自测得的环境目标的参数属性集合;以及目标跟踪列表生成单元,用于根据所述当前时刻的目标融合列表生成并输出当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。
本发明的另一目的在于提出一种自动驾驶系统,以至少部分地解决上述技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
一种自动驾驶系统,所述自动驾驶系统包括:环境感知传感器组,用于采集本车的道路信息以及每一个环境目标的参数属性集合;上述的自动驾驶车辆的数据融合系统,用于从环境感知传感器组获取所述道路信息和所述参数属性集合以分别进行道路信息融合和目标信息融合,并分别对应输出道路模型和目标跟踪列表;决策系统,用于从所述的自动驾驶车辆的数据融合系统接收所述道路模型和所述目标跟踪列表以生成自动驾驶策略;以及控制系统,用于从所述决策系统接收所述自动驾驶策略以控制车辆运行,并向所述数据融合系统及所述决策系统反馈车辆运行数据。
所述自动驾驶车辆的数据融合系统及自动驾驶系统与上述自动驾驶车辆的数据融合方法相对于现有技术所具有的优势相同,在此不再赘述。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的自动驾驶车辆的数据融合方法的流程示意图;
图2是本发明实施例中道路融合部分的流程示意图;
图3是本发明实施例的行车坐标系XFOFYF及全局坐标系XGOGYG和车辆坐标系XHOHYH的示意图;
图4是本发明实施例中计算所述车道线坐标的示意图;
图5是本发明实施例中确定行车坐标系下的环境目标的示意图;
图6是本发明实施例中的目标融合部分的流程示意图;
图7是本发明实施例中生成目标融合列表的流程示意图;
图8是本发明实施例中属性组合中的参数属性集合的重合度确定流程示意图;
图9是本发明实施例中生成目标跟踪列表的流程示意图;
图10是本发明实施例的自动驾驶车辆的数据融合系统的结构示意图;以及
图11是本发明实施例的自动驾驶系统的结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。
本发明实施例中提到的“传感器”可以指布置在车辆上用于道路检测和环境目标检测的任意类型的装置,例如可以是摄像头、激光雷达、毫米波雷达等。本发明实施例中提到的“目标”或“环境目标”可以等同替换,且可以指在车辆前方、后方或侧方的移动的或静止的任意物体。
下面将参考附图并结合实施方式来详细说明本发明。
图1是本发明实施例的自动驾驶车辆的数据融合方法的流程示意图。如图1所示,该数据融合方法主要包括道路融合步骤和目标融合步骤这两个部分,下面将具体介绍这两个部分。
一、道路融合部分
图2是本发明实施例中道路融合部分的流程示意图,如图2所示,可以包括以下步骤:
步骤S210,获取本车的各个环境感知传感器所采集的多种道路信息。
其中,所述多种道路信息可以包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。并且,所述地图信息包括道路类型、车道数量、道路宽度、道路特征点以及本车两侧车道线的线点和车道宽度等,所述摄像头信息包括摄像头拍摄的车辆前方的道路图像信息,具体也包括车道线图像等。因此,可知这其中会有相似的信息,比如地图信息和摄像头信息中都有车道线信息,因此本发明实施例对这些道路信息(特别是相似的道路信息)进行提取融合,以使车辆的决策系统能最终得到最为精准的道路模型。另外,需说明的是,本车的地图系统优选为高精度地图系统,从而对应采集的地图信息为高精度地图信息。
步骤S220,对所述多种道路信息进行初始融合。
其中,所述初始融合包括信息预处理和信息有效性验证。进一步地,所述信息预处理可以包括:处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息。并且,所述信息有效性验证可以包括:对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性,并输出两者中有效的车道线信息。
举例而言,处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息可以包含两部分:一是将高精度地图信息中的车道线数据转换到车辆坐标系下,并进行差值处理,得到间距更近的高精度地图的车道线线点;二是对摄像头信息中的车道线数据进行离散处理,得到与高精度地图等间距的车辆坐标点。
举例而言,进行有效性验证可以包括:设针对车道线的地图信息和摄像头信息分别为Lane1和Lane2,则可以设定车道线识别方程Lane=K1*Lane1+K2*Lane2,其中,Lane表示待识别的车道线,K1和K2分别为两个比例因子。其中,由地图信息中车道线信息需要地图系统结合定位系统才能得到,从而K1和K2可根据道路属性、定位系统(例如GPS)工作模式、摄像头置信度来进行确定,例如在笔直道路上,GPS工作在RTK(Real-time kinematic,实时动态)模式,但检测车道线的效果不及摄像头,则使K2大于K1,再例如在摄像头置信度低于预设精度时将K2直接置0,在GPS工作在非RTK模式时,将K1直接置0。在此,以GPS和预设精度为0.9的摄像头为例,可参考表1进行两个比例因子的配置。
表1
道路属性 GPS状态 摄像头状态 纵向速度 比例因子
笔直道路 RTK模式 置信度>0.9 最高速度 K1=0.3,K2=0.7
笔直道路 RTK模式 置信度<0.9 最高速度 K1=1,K2=0
笔直道路 非RTK模式 置信度>0.9 最高速度 K1=0,K2=1
笔直道路 非RTK模式 置信度<0.9 减速-停车 K1=0,K2=0
弯曲道路 RTK模式 置信度>0.9 最高速度 K1=0.7,K2=0.3
弯曲道路 RTK模式 置信度<0.9 最高速度 K1=1,K2=0
弯曲道路 非RTK模式 置信度>0.9 减速 K1=0,K2=1
弯曲道路 非RTK模式 置信度<0.9 减速-停车 K1=0,K2=0
据此,本发明实施例对车道线的地图信息和摄像头信息进行了有效性验证,其避免了反复迭代的计算过程,节约了计算时间。另外,本发明实施例结合道路属性信息、定位系统的工作模式及摄像头的置信度来进行车道线的地图信息和摄像头信息的有效性验证,能适用于弯曲道路及笔直道路下的自动驾驶系统。此外,在摄像头信息和地图信息中的一者丢失的情况下,可依赖于另外一者,实现了某一传感器失效系统仍可运行的功能安全需求。
步骤S230,对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型。
其中,所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。下面具体介绍这五部分:
1)信息坐标转换
优选地,所述信息坐标转换包括:构建行车坐标系,并将所述道路信息转换为通过所述行车坐标系表示。其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线,以道路引导线方向为XF轴,以与所述道路引导线方向遵循左手定则的方向为YF轴。
图3是本发明实施例的行车坐标系XFOFYF及全局坐标系XGOGYG和车辆坐标系XHOHYH的示意图。全局坐标系XGOGYG是以大地坐标系为基准,XG指向北,YG指向东,角度方向顺时针为正,角度范围[0,360°]。其中,地图车道线信息等是基于全局坐标系给出的。车辆坐标系XHOHYH是以本车为基准,XH指向车辆纵轴方向,YH指向车辆横轴方向,遵从右手定则,逆时针为正,车辆上的摄像头、激光雷达、毫米波雷达的传感器的输出信息等是基于车辆坐标系给出的。进一步地,构建该行车坐标系XFOFYF可包括:确定本车所在道路的一侧道路边界线为建立行车坐标系的基准线;在车辆坐标系下,确定本车位置与所述基准线距离最小的基准线点作为所述行车坐标系的原点OF;基于所述原点OF,确定道路引导线方向为所述行车坐标系的XF轴,并确定与所述道路引导线方向遵循左手定则的方向为所述行车坐标系的YF轴;基于所述原点OF、XF轴和所述YF轴,形成对应的行车坐标系。
其中,确定行车坐标系的原点OF可以包括:在所述基准线上设置间距相同的若干个基准线点,例如通过对基准线在车辆坐标下的方程进行离散化得到基准线点;计算每一个基准线点与本车位置的欧式距离;以及以所计算出的欧式距离最短的点作为所述行车坐标系的原点OF
如图3所示,行车坐标系XFOFYF是建立在道路边界线上,与车道线走势完全一致的坐标系统。在确定原点OF(XFo,YFo)之后,可计算道路边界线上每一点与行车坐标原点OF(XFo,YFo)之间的弧长距离作为每一点的行车纵坐标XFi,因此该行车坐标系的纵轴XF与道路走势完全一致,所述每一个基准线点的行车坐标横坐标为YFi=0,据此本车位置、车道线、目标等都可以基于行车坐标系给出,且特别是在弯道工况,以真实弯道弧长距离作为目标距离信息输出,相对于车道坐标系,能够避免目标区域属性和有效距离误差的情况。另外,如果在行车坐标系中用点来描述每条车道线,易知车道线上的每一个点在行车坐标系下的横坐标都是相同的,只有纵坐标不同,例如参考图3,选定的车道线上,纵坐标依次增加,横坐标则都为3.75m。
在此,行车坐标系的基准线是可以切换的,切换规则例如是:以预先设置的默认道路边界线为所述基准线;切换为所述导航方向信息示出的导航方向侧的道路边界线;若本车当前所在道路为匝道,则保持当前的所述基准线不变;若本车当前所在道路为主道,切换为所述默认道路边界线。
在此,通过该行车坐标系可以得到更准确的距离信息,特别是在弯道工况下,行车坐标系中使用纵向弧长来表示环境目标等的纵向距离,相较于车辆坐标系下的直线距离,能更真实的表达本车与环境目标之间的距离。另外,在构建了行车坐标系XFOFYF之后,车道线和环境目标等将同时拥有车辆坐标系和行车坐标系的双重属性,可根据需要选择。
2)道路特征点提取
优选地,所述道路特征点提取包括:从所述道路信息中提取出表征道路场景的道路特征点,例如车道起点、车道终点等。更为具体地,从所述道路信息中提取出表征道路场景的道路特征点可以包括:比较地图信息中的当前道路属性和下段道路属性以判断下段道路的道路类型,其中该比较可通过导航信息来触发;结合所述下段道路的道路类型与所述下段道路对应的地图信息,提取所述下段道路上的表征道路场景的道路特征点,并输出所提取的道路特征点的名称以及所述道路特征点与本车之间的相对距离信息。
在示例中,道路属性可包括交换区属性、车道线属性和隧道属性,其中所述交换区属性是指示道路是否发生车道数量变化的信息,所述车道线属性是指示道路的车道线数量的信息,所述隧道属性是指示道路中是否存在隧道的信息。据此,在该示例中,可判断出如下的多种道路类型及提取出对应的道路特征点,在此仅以减速车道特征点为例,其他道路特征点可参考类似方式进行提取。
在减速车道的示例中,在当前道路的交换区属性为无,且下段道路的交换区属性为下匝道的情况下,判断所述下段道路包含减速车道。在判断出所述下段道路包含减速车道时,提取出减速车道特征点,并输出属于所述减速车道特征点的减速车道起点、减速车道终点及所述减速车道起点和所述减速车道终点距离本车的相对位置。该减速车道场景下,可以将导航信息提示下匝道作为提取减速车道特征点的触发条件。在此,将导航信息作为道路特征点触发条件的一个因素,使其与地图信息相配合,更能触发对道路特征点的及时提取,并保证提取的特征点的准确性。
另外,在本发明实施例中,可结合所述导航信息确定并输出所提取的道路特征点的名称,例如导航信息会提示“前方进入减速车道”,则可以提取导航信息中的关键字“减速车道”来将道路特征点命名为减速车道起点等。
据此,可知本发明实施例不需要单独地采集车辆当前位置附近的总体的道路信息,而是通过地图信息确定能精确表征道路场景的道路特征点,并提取出涉及到车辆控制的重要道路特征点的名称及位置信息,减少了进行车辆控制的数据分析量,且针对性更强,能准确提取出进行车辆控制真正需要的信息,从而能够精准地控制车辆实现加速、减速、换道等动作。
3)车道线拟合
优选地,车道线拟合可以包括:从道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程。其中,进行车道线拟合的关键是确定车道线偏移基准。在本发明实施例,可确定本车两侧车道线中与换道方向侧、行车坐标系基准侧、道路宽度不变侧和车道连续侧中的至少一者示出的方向相一致的一侧车道线为用于车道线拟合的车道线偏移基准。
其中,换道方向侧是指当前道路中本车预期换道的一侧,其可通过决策系统给出的决策换道信号来确定,例如车道保持(不换道)、左换道且换道未完成、右换道且换道未完成、有换道信号且换道完成等。其中,在已经建立了行车坐标系的基础上,可以得到行车坐标系基准侧(即行车坐标系的基准线)的方向信息(在道路左侧还是在道路右侧建立行车坐标系)。其中,道路宽度不变侧是指本车的前方道路中不发生道路宽度变化的一侧,其可通过导航信息确定。其中,车道连续侧是指当前道路中车道连续性(可通过车道数量的变化来表征)不发生变化的一侧,举例而言,在高速公路存在道路宽度无变化,但车道数量有变化的情况,那肯定会存在一侧车道连续另外一侧车道不连续的情况,因此可根据车道连续侧来确定所述车道线偏移基准。
在确定了车道线偏移基准的基础上,基于所述车道线偏移基准偏移生成本车的多条车道线,再对所生成的多条车道线上的线点的集合进行曲线拟合就可以得到对应的车道线方程。
据此,本发明实施例能够准确、快速地确定用于车道线拟合的车道线偏移基准,并基于车道线偏移基准输出有效车道线,有利于进行车道保持和其他的控制,解决了现在技术中提取的车道线数目众多且相对复杂的问题,能够适应于不同道路场景,且车道线算法处理的效率高。
4)车道线计算
优选地,所述车道线计算包括:根据所述车道线方程和所述行车坐标系,计算所述行车坐标系下的车道线坐标。
图4是本发明实施例中计算所述车道线坐标的示意图,其中L1、R1、L2和R2分别为本车的左侧车道线、右侧车道线、左左侧车道线和右右侧车道线。参考图4,可知计算车道线坐标具体可以包括以下计算过程:a)将待计算的车道线离散化为车辆坐标系下的多个车道线点,以L1为例,在已知L1在车辆坐标系下的方程的情况下,易于将L1离散化为车辆坐标系下的点信息;b)计算待计算的车道线上的每一个车道线点与行车坐标系的原点的欧氏距离,以最短欧氏距离为该车道线在行车坐标系下的横坐标YF
根据行车坐标系的特点,可知其是与车道线走势完全一致的坐标系,而车道线之间相互平行,因此只通过所述车道线在行车坐标系下的横坐标YF这一个参数可以表示车道线坐标。再次参考图4,其中D2就是L1至所述行车坐标系的原点OF的最短距离,即可通过D2表示该车道线L1在行车坐标系下的坐标。其他车道线在行车坐标系下的坐标计算与之类似。
据此,本发明实施例利用了行车坐标系来计来确定车道线坐标,而行车坐标系相对于常规的车辆坐标系,能更真实地表达本车与车道线之间的关系,且省去了在车辆坐标系下大量复杂计算的过程。
另外,环境目标的坐标也可通过行车坐标系来确定,如图5所示,计算过程可以包括以下部分:
a)从所述原点OF开始,向所述环境目标相对于本车的方向遍历所述基准线点。如图5所示,将基准线点编号为d1、d2、d3……dn以从原点OF开始遍历,其中根据环境目标相对于本车的方向,可能是向前遍历,也可能是向后遍历。在优选的实施例中,目标和基准线在车辆坐标系下的坐标已知,那么可以从原点OF开始对车辆坐标系下的地图点向前或向后遍历,其中向前/向后遍历主要是通过环境目标在车辆坐标系下的坐标正负决定,当环境目标在车辆坐标系下的纵向距离为正,那么向前遍历,否则向后遍历。
b)计算所遍历的基准线点与所述环境目标之间的欧氏距离,以所计算出的最短欧氏距离为所述环境目标在所述行车坐标系下的横坐标。举例而言,遍历基准线点并计算所遍历的各基准点与目标之间的欧式距离,当距离最小时,停止遍历,输出环境目标在行车坐标系下的横坐标(即最近点与环境目标之间的欧式距离D2)和最近点在基准线中的序号。
c)获取所计算出的所述最短欧氏距离所对应的所述基准线点的点序号信息,计算该基准线点与所述原点OF之间的弧长,并以该弧长为所述环境目标在所述行车坐标系下的纵坐标。举例而言,通过前面计算,可得到环境目标对应基准线最近点的点序号信息,计算该点与行车坐标原点之间的弧长。如图5所示,此弧长是根据基准线上点与点之间的欧式距离累加计算得到,即d=d1+d2+d3+…,d即为环境目标在行车坐标系下的纵坐标。
在此,利用行车坐标系来确定环境目标的坐标,能更真实地表达本车与环境目标之间的距离,有助于后文中进行的目标区域划分。
5)信息综合管理
优选地,所述信息综合管理包括:对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取指定信息并进行管理,其中所述指定信息包括全局相关信息、环境目标相关信息、限速信息和/或边界信息。
具体地,可根据地图信息和导航信息,汇总全局相关信息,并输出给决策系统使用。其中,全局相关信息是指与决策系统制定针对本车的全局控制相关的信息,例如车道数量、本车所在车道、道路类型等。进一步地,可将地图信息和导航信息里的道路箭头标识、道路固有交通信号灯、道路限速标识等环境目标信息进行汇总输出。将导航信息和地图信息里的限速信息进行整合输出。进一步地,可将地图信息中的边界信息和摄像头信息中的地图信息中的边界信息进行整合输出。
二、目标融合部分
图6是本发明实施例中目标融合部分的流程示意图,如图6所示,可以包括以下步骤:
步骤S610,获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合,其中,所述参数属性集合至少包括以下属性中的一者或多者:纵向速度、纵向距离、横向距离和目标ID。
步骤S620,根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表,其中所述目标融合列表包括与一个或多个环境目标中每一个环境目标相对应的目标属性集合,所述目标属性集合包括由一个或多个传感器各自测得的环境目标的参数属性集合。
步骤S630,根据所述当前时刻的目标融合列表生成当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。
在步骤S610中,可以读取预先选定的多个传感器中每一个传感器探测的每一个目标的参数属性集合,也可以读取全部传感器中每一个传感器探测的每一个目标的参数属性集合。在步骤S610中读取的参数属性集合可以包括以下一者或多者:纵向速度、纵向距离、横向距离和目标ID等。本发明实施例中的纵向速度可以是指探测的目标沿车辆行驶方向的速度,纵向距离可以是指探测的目标相对车辆的纵向距离,横向距离可以是指探测的目标相对车辆的横向距离。
在步骤S620中,目标融合列表的生成也可以是周期性地执行,目标融合列表相当于对指向同一环境目标的参数属性集合进行了融合。在步骤S630中所确定的当前时刻的目标跟踪列表中对应的环境目标可以和当前时刻的目标融合列表中对应的环境目标相同,也可以不同。
通过对指向同一环境目标的参数属性集合进行融合,可以解决单个传感器输出数据存在目标误检、漏检的问题,并且通过对环境目标增加融合跟踪ID可以方便对环境目标的跟踪,尤其是对感兴趣目标的跟踪。
图7示出了根据本发明实施例的生成目标融合列表的流程示意图。如图7所示,可以根据步骤S702至步骤S706来生成当前时刻的目标融合列表。
在步骤S702,根据所读取的每一个所述传感器探测的每一个环境目标的参数属性集合生成属性组合,其中每一个属性组合包括分别从每一个所述传感器探测的目标的参数属性集合中选择的一个目标的参数属性集合。
所生成的每一个属性组合可以包括分别从每一个传感器探测的目标的参数属性集合中选择的一个目标的参数属性集合。实际执行时,可以依次分别获取一个传感器探测的一个目标的参数属性集合来生成属性组合。
在步骤S704,确定每一个所述属性组合中的参数属性集合的重合度,并基于所述重合度进行数据融合以得到第一目标融合列表,其中所述第一目标融合列表包括每一个所述属性组合的重合度及与所述每一个所述属性组合的重合度对应的参数属性集合,其中,所述重合度是指所述属性组合中对应于同一环境目标的参数属性集合的数量。简单举例来讲,如果包括参数属性集合A1、B1和C1的属性组合中参数属性集合A1和B1对应于同一目标,则可以确定该属性组合的重合度为2。
在步骤S706,从所述第一数据融合列表中删除重复融合的数据以得到所述当前时刻的目标融合列表。
在第一数据融合列表中,可以判断与任意单个重合度p对应的目标ID的集合是否被包含在与任意单个重合度q对应的目标ID的集合内,其中p和q均为正整数,p的取值为大于或等于1且小于重合度的最大值,q的取值为大于1且小于或等于重合度的最大值,并且其中q的取值大于p的取值。如果单个重合度p对应的目标ID的集合被包含在单个重合度q对应的目标ID的集合内,则说明重合度p对应的参数属性集合为重复融合的数据,可以进行删除,否则可以不对重合度p进行对应的参数属性集合进行删除。
通过删除第一数据融合列表中重复融合的数据来得到精简的当前时刻的数据融合列表,可以使得进行目标跟踪时直接使用精简的当前时刻的数据融合列表时,不会造成虚假目标的产生,提高了后续决策阶段执行决策的准确度。
在可选实施例中,在对传感器输出的环境目标的数据进行融合处理之前,首先要对各传感器输出的环境目标的参数集合进行时间同步。
在可选的实施例中,在执行有关时间同步的操作之后,还可以执行对感兴趣区域内的环境目标的筛选。这里的感兴趣区域内的环境目标例如可以是处于道路最边缘车道线内部的环境目标,也可以仅是处于本车车辆某一方向的环境目标,例如,本车车辆前方、后方、或侧方等,本发明实施例并不进行特定限制。可以根据环境目标的位置来判断该环境目标是否处于感兴趣区域内,以感兴趣区域为道路两侧最边缘车道线内的区域为例,可以根据本车车辆所在道路的最边缘车道线的坐标以及环境目标的坐标来确定出处于感兴趣区域内的环境目标。
在筛选出处于感兴趣区域内的环境目标之后,可以删除未处于感兴趣区域内的环境目标的参数属性集合,并且进一步的,可以基于筛选出的处于感兴趣区域内的环境目标的参数属性集合来进行后续的重合度的计算以及目标融合列表的生成。由于各传感器探测到环境目标的数量可能很多,如果直接对所有传感器探测到的所有环境目标执行数据融合,需要消耗大量的逻辑运算,因此,对处于感兴趣区域内的环境目标进行筛选将会显著降低执行目标的数据融合所需的计算资源。
在可选实施例中,传感器可能没有探测到目标,相应地也不会输出目标的参数属性集合,即,不能从该传感器读取到目标的参数属性集合。为了便于后续对重合度的计算,在根据所读取的每一个传感器探测的每一个目标的参数属性集合生成属性组合时,可以首先分别针对每一个传感器增加一个空的目标参数属性集合,相当于给每一个传感器虚拟了一个探测目标。例如,如果针对某一传感器筛选出了处于感兴趣区域内的10个环境目标并获得这10个目标的更新后的参数属性集合,则在添加空的目标的参数属性集合之后,与该传感器对应的是11个环境目标的参数属性集合。在添加空的目标的参数属性集合之后,可以使用添加后的参数属性集合来生成属性组合。通过添加空的目标的参数属性集合,可以保证属性组合内参数属性集合的数量与对应的传感器的数量相同,简化了后续重合度计算的复杂性,提高了程序运行效率。
图8示出了根据本发明一实施例的属性组合中的参数属性集合的重合度确定流程示意图。如图8所示,基于上述任意实施例,针对每一个属性组合可以执行步骤S802至步骤S808来确定重合度。
在步骤S802,分别计算属性组合中的n个参数属性集合中的每一个相同类型的n个参数属性的离散度。
本发明实施例中的离散度可以是标准差、方差或平均差等任何可以表征离散度的数据。本发明实施例中,所述n为正整数,n的取值为大于或等于2且小于或等于所述属性组合中目标的参数属性集合的数量。
在步骤S804,判断每一个相同类型的n个参数属性的离散度是否均处于各自对应的预定范围内。可选地,可以预先存储有预定范围列表,其可以包括特定传感器探测的参数属性的范围及与特定传感器探测的每一参数属性的范围对应的预定范围。
如果在步骤S804中判断出每一个相同类型的n个参数属性的离散度均处于各自对应的预定范围内,则执行步骤S806。如果在步骤S804中判断出每一个相同类型的n个参数属性的离散度不满足均处于各自对应的预定范围内,则执行步骤S808。
在步骤S806,可以确定属性组合中的参数属性集合的重合度为n,也就是说,这n个参数属性集合对应于同一探测目标,可以对这n个参数属性集合进行融合。在步骤S808,可以确定属性组合中的参数属性集合的重合度为1,也就是说,这n个参数属性集合分别对应于不同的探测目标,不能对这n个参数属性集合进行融合,这种情况下,可以将这n个参数属性集合中的每一个参数属性集合及其重合度均包括在第一数据融合列表中。
可选地,针对每一个属性组合,可以从n的值为最大值开始依次递减n的值来执行重合度的确定。举例而言,在计算每一个属性组合中参数属性集合的重合度时,针对每一个属性组合,首先选取n为最大值5,也就是说,首先使用属性组合中5个参数属性集合确定重合度。如果这5个参数属性集合中每一类型的参数属性的5个参数属性的离散度均处于各自对应的预定范围,即,5个纵向速度的离散度处于对应的第一预定范围,5个纵向距离的离散度处于对应的第二预定范围,5个横向距离的离散度处于对应的第三预定范围,则可以确定该属性组合中的参数属性集合的重合度为5。如果这5个参数属性集合中每一类型的参数属性的5个参数属性的离散度不满足均处于对应的预定范围,则继续使用属性组合中任意4个参数属性集合确定重合度。在任意4个参数属性集合中,如果存在4个参数属性集合中的每一类型的参数属性的4个参数属性的离散度均处于各自对应的预定范围,则可以确定该属性组合中的参数属性集合的重合度为4。如果任意4个参数属性集合均不满足条件‘4个参数属性集合中的每一类型的参数属性的4个参数属性的离散度均处于各自对应的预定范围’,则继续使用属性组合中任意3个参数属性集合确定重合度。在任意3个参数属性集合中,如果存在3个参数属性集合中的每一类型的参数属性的3个参数属性的离散度均处于各自对应的预定范围,则可以确定该属性组合中的参数属性集合的重合度为3。如果任意3个参数属性集合均不满足条件‘3个参数属性集合中的每一类型的参数属性的3个参数属性的离散度均处于各自对应的预定范围’,则继续使用属性组合中任意2个参数属性集合确定重合度。在任意2个参数属性集合中,如果存在2个参数属性集合中的每一类型的参数属性的2个参数属性的离散度均处于各自对应的预定范围,则可以确定该属性组合中的参数属性集合的重合度为2。如果任意2个参数属性集合均不满足条件‘2个参数属性集合中的每一类型的参数属性的2个参数属性的离散度均处于各自对应的预定范围’,则可以参数属性集合的确定重合度为1。
在确定出重合度之后,可以进行数据融合,以使得数据融合列表中包括每一个属性组合中的每一个重合度及与每一个重合度对应的每一个参数属性集合。
图9示出了根据本发明一实施例的生成目标跟踪列表的流程示意图。如图9所示,可以通过步骤S902至步骤S906来根据当前时刻的目标融合列表来生成当前时刻的目标跟踪列表。
在步骤S902,判断当前时刻的目标融合列表是否是初始目标融合列表。其中,初始融合列表是指车辆运行过程中确定出的第一个目标融合列表。例如可以判断是否具有已存储的目标融合列表。若具有,则可以确定当前时刻的目标融合列表不是初始融合列表,否则可以确定当前时刻的目标融合列表是初始融合列表。
如果在步骤S902中判断出当前时刻的目标融合列表不是初始目标融合列表,则可以执行步骤S904。
在步骤S904,根据所述当前时刻的目标融合列表和存储的前一时刻的目标跟踪列表来确定当前时刻的目标跟踪列表。
目标跟踪列表包括筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。当前时刻确定的目标跟踪列表中对应的环境目标可以和当前时刻的目标融合列表中对应的环境目标的相同,也可以不同。
如果在步骤S902中判断出当前时刻的目标融合列表是初始目标融合列表,则可以执行步骤S906,为该初始目标融合列表中的每一个环境目标分别赋予一不同的融合跟踪ID,以得到当前时刻的目标跟踪列表。然后可以将该当前时刻的目标跟踪列表进行存储,以备下一时刻使用。
在目标跟踪列表中为环境目标赋予融合跟踪ID,使得决策系统可以使用融合跟踪ID来针对感兴趣的环境目标进行实时跟踪,从而作出更准确的决策,确保整个系统的安全运行。
在确定当前时刻的目标融合列表中的环境目标的融合跟踪ID时,可以对前一时刻的目标跟踪列表中的每个环境目标的参数属性集合进行预测以得到预测的目标列表。对于前一时刻的目标跟踪列表中的每个环境目标的纵向速度,由于预定的融合周期的值比较小,因此,环境目标的纵向速度可以认为是基本上不变的。在确定出预测的目标列表后,可以将预测的目标列表与当前时刻的目标融合列表进行匹配,以根据匹配结果来确定当前时刻的目标融合列表中的每个环境目标的融合跟踪ID。在进行匹配时,可以将当前时刻的目标融合列表中的每一个环境目标的目标ID集合与预测的目标列表中的每一个环境目标的目标ID集合进行匹配。下面将以当前时刻的目标融合列表中的任一环境目标为例对融合跟踪ID的确定进行说明。
在一些情况下,所述任一环境目标的目标ID集合与预测的目标列表中的每一个环境目标的目标ID集合都不具有相同的子ID。这种情况相当于有重合目标而没有跟踪目标,需要对该新的目标赋予一新的融合跟踪ID,即,需要为所述任一环境目标的赋予一新的融合跟踪ID。
在一些情况下,所述任一环境目标的目标ID集合与预测的目标列表中的第一环境目标的目标ID集合具有相同的子ID。例如,如果所述任一环境目标的目标ID集合为{ID1,ID5,ID7},而第一环境目标的目标ID集合为{ID1,ID9,ID12},两个集合中ID1在两个时刻是匹配的,其它ID不匹配,符合部分相同的情况。
如果任一环境目标的目标ID集合与预测的目标列表中的第一环境目标的目标ID集合具有相同的子ID,则可以根据所述任一环境目标和所述第一环境目标的其它属性(例如纵向距离、纵向速度、加速度等)来确定二者是否是同一目标,以进一步保证决策的准确性。另外,第一预设值和第二预设值可以根据需要设置为任意合适的值。
经过上述方式,可以确定出当前时刻的目标融合列表中每一个环境目标对应的融合跟踪ID,从而可以得到当前时刻的目标跟踪列表。通过使用传感器确定的目标ID来确定融合跟踪ID,显著减小了目标跟踪模块消耗的计算资源,并较大的减少了目标跟踪的数据延迟。
进一步的,在一些情况下,将预测的目标列表与当前时刻的目标融合列表进行匹配时,可能出现预测的目标列表中的第二环境目标的目标ID集合与当前时刻的目标融合列表中的每一个环境目标的目标ID集合都不具有相同的子ID。这种情况说明环境目标已经离开了传感器探测范围,并且由于传感器已经对该第二环境目标进行了长时间的预测,所以可以不对第二环境目标进行保留,即可以直接将该第二环境目标对应的参数属性集合和融合跟踪ID删除。
可选地,如果环境目标的重合度为1,则说明只有一个传感器探测到该环境目标,这种情况下,需要对该重合度为1的环境目标进行监控,以确定该重合度为1的环境目标是否是误检测到的。具体地,可以在确定出当前时刻的每个环境目标的融合跟踪ID之后,在跟踪目标中首先列出重合度大于1的每个环境目标的对应的参数属性集合和融合跟踪ID。对于重合度等于1的每个环境目标,只列出存在周期大于第三预设值的环境目标对应的参数属性集合和融合跟踪ID。
如果在预定次数的目标融合列表中都监控到了某一重合度为1的环境目标,或者也可以对目标融合列表中的每一环境目标增加跟踪周期这个属性。对于重合度大于1的环境目标,其跟踪周期可以赋予为0。对于重合度为1的环境目标,可以对其跟踪周期进行累加。如果重合度为1的环境目标的跟踪周期大于预设值,则可以在目标跟踪列表中输出该重合度等于1的每个环境目标的对应的参数属性集合和融合跟踪ID。为重合度等于1的环境目标限定跟踪周期,可以防止对环境目标的误跟踪,使得决策系统的决策更准确。
综上,对于道路融合部分和目标融合部分,两者分别为自动驾驶车辆的决策系统提供道路模型和目标跟踪列表以使决策系统制定出正确的行驶策略。因此,这两部分可以是相对独立的,但可以共享环境感知传感器采集的各种信息。
但是,在优选的实施例中,由于行车坐标系的建立,所述道路融合步骤还可以包括:向所述目标融合步骤输出行车相关信息,其中所述行车相关信息是将所述环境目标和/或车道线转换至所述行车坐标系下所需的信息。并且,所述目标融合步骤中根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表可以包括:将所述参数属性集合转换至所述行车坐标系下,再根据所述行车坐标系下的所述参数属性集合生成并输出当前时刻的目标融合列表。即,在目标融合部分,基于行车相关信息,可将与目标融合相关的所有参数转换为行车坐标系下的数据以参与目标融合,例如上文提及了行车坐标系下的环境目标的坐标的确定。另外,通过上文可知,行车坐标系相对于车辆坐标系更能反映车道线走势,且行车坐标系下环境目标的坐标能更真实地表达本车与环境目标的距离,因此基于行车坐标系进行的目标融合能输出更为精准实用的目标跟踪列表。
综上所述,本发明实施例的自动驾驶车辆的数据融合方法一方面对道路信息进行二次融合以输出精准度更高的道路模型,另一方面通过对环境目标增加融合跟踪ID可以方便对环境目标的跟踪,尤其是对感兴趣目标的跟踪,结合这两个方面,可辅助决策系统根据更为精准的道路模型和跟踪目标列表做出正确的车辆行驶决策,实现对自动驾驶车辆的精准控制。
图10是本发明另一实施例的一种自动驾驶车辆的数据融合系统的结构示意图,其与上述自动驾驶车辆的数据融合方法基于相同的发明思路。如图10所示,所述自动驾驶车辆的数据融合系统包括道路融合系统100和目标融合系统200。
其中,所述道路融合系统100被配置为包括:道路信息获取单元110,用于获取本车的各个环境感知传感器所采集的多种道路信息;信息初始融合单元120,用于对所述多种道路信息进行初始融合,其中所述初始融合包括信息预处理和信息有效性验证;以及信息深度融合单元130,用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型,其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理。
其中,所述目标融合系统200被配置为包括:目标信息获取单元210,用于获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合,其中所述参数属性集合至少包括以下属性中的一者或多者:纵向速度、纵向距离、横向距离和目标ID;目标融合列表生成单元220,用于根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表,其中所述目标融合列表包括与一个或多个环境目标中每一个环境目标相对应的目标属性集合,所述目标属性集合包括由一个或多个传感器各自测得的环境目标的参数属性集合;以及目标跟踪列表生成单元230,用于根据所述当前时刻的目标融合列表生成并输出当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。
优选地,所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息。并且,所述信息初始融合单元120被配置为包括:信息预处理模块,用于分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息;以及信息有效性验证模块,用于对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性,并输出两者中有效的车道线信息。
优选地,所述信息深度融合单元130被配置为包括:信息坐标转换模块,用于构建行车坐标系,并将所述道路信息转换为通过所述行车坐标系表示;道路特征点提取模块,用于从所述道路信息中提取出表征道路场景的道路特征点;车道线拟合模块,用于从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程;车道线计算模块,用于根据所述车道线方程和所述行车坐标系,计算所述行车坐标系下的车道线坐标;以及信息综合管理模块,用于对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取道路信息中的指定信息并进行管理。
更为优选地,所述道路融合系统100还被配置为包括:信息输出单元140,用于向所述目标融合系统输出行车相关信息,其中所述行车相关信息是将所述环境目标和/或车道线转换至所述行车坐标系下所需的信息。并且,所述目标融合列表生成单元220将所述参数属性集合转换至所述行车坐标系下,再根据所述行车坐标系下的所述参数属性集合生成并输出当前时刻的目标融合列表。
优选地,所述目标融合列表生成单元220可以包括:属性集合处理模块,用于根据所读取的每一个所述传感器探测的每一个环境目标的参数属性集合生成属性组合,其中每一个所述属性组合包括分别从所述每一个所述传感器探测的目标的参数属性集合中选择的一个目标的参数属性集合;列表生成模块,用于确定每一个所述属性组合中的参数属性集合的重合度,并基于所述重合度进行数据融合以得到第一目标融合列表,其中所述第一目标融合列表包括每一个所述属性组合的重合度及与所述每一个所述属性组合的重合度对应的参数属性集合,其中,所述重合度是指所述属性组合中对应于同一环境目标的参数属性集合的数量;以及列表处理模块,用于从所述第一目标融合列表中删除重复融合的数据以得到所述当前时刻的目标融合列表。
优选地,所述目标跟踪列表生成单元230包括:判断模块,用于判断所述当前时刻的目标融合列表是否是初始目标融合列表;第一列表确定模块,用于在所述当前时刻的目标融合列表不是初始目标融合列表时,根据所述当前时刻的目标融合列表和存储的前一时刻的目标跟踪列表来确定当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID;以及第二列表确定模块,用于在所述当前时刻的目标融合列表是初始目标融合列表,则为所述初始目标融合列表中的每一个环境目标分别赋予一不同的融合跟踪ID,以得到所述当前时刻的目标跟踪列表。
本发明实施例的自动驾驶车辆的数据融合系统的具体实施细节及益处与上述自动驾驶车辆的数据融合方法的实施例类似,这里将不再赘述。
图11是本发明另一实施例的一种自动驾驶系统的结构示意图。如图11所示,所述自动驾驶系统包括:环境感知传感器组300,用于采集本车的道路信息以及每一个环境目标的参数属性集合;上述实施例的包括道路融合系统100和目标融合系统200的数据融合系统,用于从环境感知传感器组300获取所述道路信息和所述参数属性集合以分别进行道路信息融合和目标信息融合,并分别对应输出道路模型和目标跟踪列表;决策系统400,用于从所述的自动驾驶车辆的数据融合系统接收所述道路模型和所述目标跟踪列表以生成自动驾驶策略;以及控制系统500,用于从所述决策系统接收所述自动驾驶策略以控制车辆运行,并向所述数据融合系统及所述决策系统反馈车辆运行数据。
其中,所述环境感知传感器组300包括上述提及的各种传感器。所述决策系统400及所述控制系统500为自动驾驶车辆所具有的常规系统。在优选的实施例中,所述自动驾驶系统还可以包括执行系统,其与所述接收控制系统发送的控制指令,并执行相关操作。据此,本发明实施例的自动驾驶系统包括了传感器输入、数据融合、决策系统、控制系统和执行系统五个部分,其中数据融合系统作为整个自动驾驶车辆的前端,影响整个自动驾驶系统的安全和稳定,在自动驾驶车辆中起很关键的作用。
在此,关于数据融合系统的实施细节及益处可参考前述实施例,在此不再赘述。本发明实施例的自动驾驶系统相对于现有技术的益处主要是数据融合系统所带来的益处,也可参考前述实施例。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,例如适应性改变步骤的执行顺序以及调节功能模块间的连接关系,均应包含在本发明的保护范围之内。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外,本发明实施例的各种不同的实施例之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。

Claims (13)

1.一种自动驾驶车辆的数据融合方法,其特征在于,所述自动驾驶车辆的数据融合方法包括道路融合步骤和目标融合步骤:
所述道路融合步骤,被配置为包括:
获取本车的各个环境感知传感器所采集的多种道路信息;
对所述多种道路信息进行初始融合,其中所述初始融合包括信息预处理和信息有效性验证;以及
对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型,其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理;以及
所述目标融合步骤,被配置为包括:
获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合,其中所述参数属性集合至少包括以下属性中的一者或多者:纵向速度、纵向距离、横向距离和目标ID;
根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表,其中所述目标融合列表包括与一个或多个环境目标中每一个环境目标相对应的目标属性集合,所述目标属性集合包括由一个或多个传感器各自测得的环境目标的参数属性集合;以及
根据所述当前时刻的目标融合列表生成并输出当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。
2.根据权利要求1所述的自动驾驶车辆的数据融合方法,其特征在于,所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息;
优选地,所述信息预处理包括:处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息;以及
优选地,所述信息有效性验证包括:对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性,并输出两者中有效的车道线信息。
3.根据权利要求1或2所述的自动驾驶车辆的数据融合方法,其特征在于,
所述信息坐标转换包括:构建行车坐标系,并将所述道路信息转换为通过所述行车坐标系表示,其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线,以道路引导线方向为XF轴,以与所述道路引导线方向遵循左手定则的方向为YF轴;
所述道路特征点提取包括:从所述道路信息中提取出表征道路场景的道路特征点;
所述车道线拟合包括:从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程;
所述车道线计算包括:根据所述车道线方程和所述行车坐标系,计算所述行车坐标系下的车道线坐标;以及
所述信息综合管理包括:对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取指定信息并进行管理,其中所述指定信息包括全局相关信息、环境目标相关信息、限速信息和/或边界信息。
4.根据权利要求3所述的自动驾驶车辆的数据融合方法,其特征在于,
所述道路融合步骤还被配置为包括:向所述目标融合步骤输出行车相关信息,其中所述行车相关信息是将所述环境目标和/或车道线转换至所述行车坐标系下所需的信息;以及
所述目标融合步骤中根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表包括:将所述参数属性集合转换至所述行车坐标系下,再根据所述行车坐标系下的所述参数属性集合生成并输出当前时刻的目标融合列表。
5.根据权利要求1至4中任意一项所述的自动驾驶车辆的数据融合方法,其特征在于,所述根据所读取的每一个所述传感器探测的每一个环境目标的参数属性集合来生成当前时刻的目标融合列表包括:
根据所读取的每一个所述传感器探测的每一个环境目标的参数属性集合生成属性组合,其中每一个所述属性组合包括分别从所述每一个所述传感器探测的目标的参数属性集合中选择的一个目标的参数属性集合;以及
确定每一个所述属性组合中的参数属性集合的重合度,并基于所述重合度进行数据融合以得到第一目标融合列表,其中所述第一目标融合列表包括每一个所述属性组合的重合度及与所述每一个所述属性组合的重合度对应的参数属性集合,其中,所述重合度是指所述属性组合中对应于同一环境目标的参数属性集合的数量;以及
从所述第一目标融合列表中删除重复融合的数据以得到所述当前时刻的目标融合列表。
6.根据权利要求1至5中任意一项所述的自动驾驶车辆的数据融合方法,其特征在于,所述根据所述当前时刻的目标融合列表生成当前时刻的目标跟踪列表包括:
判断所述当前时刻的目标融合列表是否是初始目标融合列表;
如果所述当前时刻的目标融合列表不是初始目标融合列表,根据所述当前时刻的目标融合列表和存储的前一时刻的目标跟踪列表来确定当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID;以及
如果所述当前时刻的目标融合列表是初始目标融合列表,则为所述初始目标融合列表中的每一个环境目标分别赋予一不同的融合跟踪ID,以得到所述当前时刻的目标跟踪列表。
7.一种自动驾驶车辆的数据融合系统,其特征在于,所述自动驾驶车辆的数据融合系统包括道路融合系统和目标融合系统:
所述道路融合系统,被配置为包括:
道路信息获取单元,用于获取本车的各个环境感知传感器所采集的多种道路信息;
信息初始融合单元,用于对所述多种道路信息进行初始融合,其中所述初始融合包括信息预处理和信息有效性验证;以及
信息深度融合单元,用于对经初始融合后的所述多种道路信息进行深度融合以输出本车的道路模型,其中所述深度融合包括信息坐标转换、道路特征点提取、车道线拟合、车道线计算以及信息综合管理;以及
所述目标融合系统,被配置为包括:
目标信息获取单元,用于获取每一个所述环境感知传感器所采集的每一个环境目标的参数属性集合,其中所述参数属性集合至少包括以下属性中的一者或多者:纵向速度、纵向距离、横向距离和目标ID;
目标融合列表生成单元,用于根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表,其中所述目标融合列表包括与一个或多个环境目标中每一个环境目标相对应的目标属性集合,所述目标属性集合包括由一个或多个传感器各自测得的环境目标的参数属性集合;以及
目标跟踪列表生成单元,用于根据所述当前时刻的目标融合列表生成并输出当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID。
8.根据权利要求7所述的自动驾驶车辆的数据融合系统,其特征在于,所述多种道路信息包括通过本车的地图系统采集的地图信息、通过本车的车载摄像头采集的关于道路图像的摄像头信息、通过本车的定位系统采集的定位信息以及通过本车的导航系统输出的导航信息;
优选地,所述信息初始融合单元被配置为包括:
信息预处理模块,用于分别处理所述地图信息和所述摄像头信息以提取出两者对应的车道线信息;以及
信息有效性验证模块,用于对所提取的所述地图信息和所述摄像头信息分别对应的车道线信息进行比对以确定两者的有效性,并输出两者中有效的车道线信息。
9.根据权利要求7或8所述的自动驾驶车辆的数据融合系统,其特征在于,所述信息深度融合单元包括:
信息坐标转换模块,用于构建行车坐标系,并将所述道路信息转换为通过所述行车坐标系表示,其中所述行车坐标系以本车所在道路的一侧道路边界线为基准线,以道路引导线方向为XF轴,以与所述道路引导线方向遵循左手定则的方向为YF轴;
道路特征点提取模块,用于从所述道路信息中提取出表征道路场景的道路特征点;
车道线拟合模块,用于从所述道路信息中提取出车道线信息来进行车道线线点的曲线拟合以得到对应的车道线方程;
车道线计算模块,用于根据所述车道线方程和所述行车坐标系,计算所述行车坐标系下的车道线坐标;以及
信息综合管理模块,用于对经所述信息坐标转换、所述道路特征点提取、所述车道线拟合和/或所述车道线计算得到的信息进行汇总以获取道路信息中的指定信息并进行管理。
10.根据权利要求9所述的自动驾驶车辆的数据融合系统,其特征在于,
所述道路融合系统还被配置为包括:信息输出单元,用于向所述目标融合系统输出行车相关信息,其中所述行车相关信息是将所述环境目标和/或车道线转换至所述行车坐标系下所需的信息;以及
所述目标融合列表生成单元用于根据所获取的每一个环境目标的参数属性集合生成当前时刻的目标融合列表包括:将所述参数属性集合转换至所述行车坐标系下,再根据所述行车坐标系下的所述参数属性集合生成并输出当前时刻的目标融合列表。
11.根据权利要求7至10中任意一项所述的自动驾驶车辆的数据融合系统,其特征在于,所述目标融合列表生成单元包括:
属性集合处理模块,用于根据所读取的每一个所述传感器探测的每一个环境目标的参数属性集合生成属性组合,其中每一个所述属性组合包括分别从所述每一个所述传感器探测的目标的参数属性集合中选择的一个目标的参数属性集合;
列表生成模块,用于确定每一个所述属性组合中的参数属性集合的重合度,并基于所述重合度进行数据融合以得到第一目标融合列表,其中所述第一目标融合列表包括每一个所述属性组合的重合度及与所述每一个所述属性组合的重合度对应的参数属性集合,其中,所述重合度是指所述属性组合中对应于同一环境目标的参数属性集合的数量;以及
列表处理模块,用于从所述第一目标融合列表中删除重复融合的数据以得到所述当前时刻的目标融合列表。
12.根据权利要求7至11中任意一项所述的自动驾驶车辆的数据融合系统,其特征在于,所述目标跟踪列表生成单元包括:
判断模块,用于判断所述当前时刻的目标融合列表是否是初始目标融合列表;
第一列表确定模块,用于在所述当前时刻的目标融合列表不是初始目标融合列表时,根据所述当前时刻的目标融合列表和存储的前一时刻的目标跟踪列表来确定当前时刻的目标跟踪列表,其中所述目标跟踪列表包括与筛选出的每一个环境目标对应的参数属性集合以及融合跟踪ID;以及
第二列表确定模块,用于在所述当前时刻的目标融合列表是初始目标融合列表,则为所述初始目标融合列表中的每一个环境目标分别赋予一不同的融合跟踪ID,以得到所述当前时刻的目标跟踪列表。
13.一种自动驾驶系统,其特征在于,所述自动驾驶系统包括:
环境感知传感器组,用于采集本车的道路信息以及每一个环境目标的参数属性集合;
权利要求7至12中任意一项所述的自动驾驶车辆的数据融合系统,用于从环境感知传感器组获取所述道路信息和所述参数属性集合以分别进行道路信息融合和目标信息融合,并分别对应输出道路模型和目标跟踪列表;
决策系统,用于从所述的自动驾驶车辆的数据融合系统接收所述道路模型和所述目标跟踪列表以生成自动驾驶策略;以及
控制系统,用于从所述决策系统接收所述自动驾驶策略以控制车辆运行,并向所述数据融合系统及所述决策系统反馈车辆运行数据。
CN201811153606.3A 2018-09-30 2018-09-30 自动驾驶车辆的数据融合系统、方法及自动驾驶系统 Active CN110969178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811153606.3A CN110969178B (zh) 2018-09-30 2018-09-30 自动驾驶车辆的数据融合系统、方法及自动驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811153606.3A CN110969178B (zh) 2018-09-30 2018-09-30 自动驾驶车辆的数据融合系统、方法及自动驾驶系统

Publications (2)

Publication Number Publication Date
CN110969178A true CN110969178A (zh) 2020-04-07
CN110969178B CN110969178B (zh) 2023-09-12

Family

ID=70028214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811153606.3A Active CN110969178B (zh) 2018-09-30 2018-09-30 自动驾驶车辆的数据融合系统、方法及自动驾驶系统

Country Status (1)

Country Link
CN (1) CN110969178B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269260A (zh) * 2021-05-31 2021-08-17 东风汽车集团股份有限公司 一种智能驾驶车辆多传感器目标融合及跟踪方法及系统
CN113715753A (zh) * 2020-05-25 2021-11-30 华为技术有限公司 车辆传感器数据的处理方法和系统
CN114333295A (zh) * 2021-11-30 2022-04-12 上海电科智能系统股份有限公司 基于全覆盖的多元多种唯一id探测与跟踪方法
CN114354209A (zh) * 2021-12-07 2022-04-15 重庆长安汽车股份有限公司 自动驾驶车道线与目标联合模拟方法及系统
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN114594755A (zh) * 2020-11-30 2022-06-07 湖北三环智能科技有限公司 一种智能运输车安全行驶系统
CN115050205A (zh) * 2021-03-09 2022-09-13 本田技研工业株式会社 地图生成装置以及位置识别装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知系统及方法
CN106379319A (zh) * 2016-10-13 2017-02-08 上汽大众汽车有限公司 一种汽车辅助驾驶系统及控制方法
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN107272687A (zh) * 2017-06-29 2017-10-20 深圳市海梁科技有限公司 一种自动驾驶公交车辆的驾驶行为决策系统
US20180164811A1 (en) * 2016-12-14 2018-06-14 Hyundai Motor Company Automated driving control device, system including the same, and method thereof
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
CN108303103A (zh) * 2017-02-07 2018-07-20 腾讯科技(深圳)有限公司 目标车道的确定方法和装置
CN108458746A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于多类型传感器自适应融合方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知系统及方法
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
CN106379319A (zh) * 2016-10-13 2017-02-08 上汽大众汽车有限公司 一种汽车辅助驾驶系统及控制方法
US20180164811A1 (en) * 2016-12-14 2018-06-14 Hyundai Motor Company Automated driving control device, system including the same, and method thereof
CN108303103A (zh) * 2017-02-07 2018-07-20 腾讯科技(深圳)有限公司 目标车道的确定方法和装置
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN107272687A (zh) * 2017-06-29 2017-10-20 深圳市海梁科技有限公司 一种自动驾驶公交车辆的驾驶行为决策系统
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
CN108458746A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于多类型传感器自适应融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨鑫;刘威;林辉;: "面向高级辅助驾驶雷达和视觉传感器信息融合算法的研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113715753A (zh) * 2020-05-25 2021-11-30 华为技术有限公司 车辆传感器数据的处理方法和系统
CN114594755A (zh) * 2020-11-30 2022-06-07 湖北三环智能科技有限公司 一种智能运输车安全行驶系统
CN115050205A (zh) * 2021-03-09 2022-09-13 本田技研工业株式会社 地图生成装置以及位置识别装置
CN115050205B (zh) * 2021-03-09 2024-02-27 本田技研工业株式会社 地图生成装置以及位置识别装置
CN113269260A (zh) * 2021-05-31 2021-08-17 东风汽车集团股份有限公司 一种智能驾驶车辆多传感器目标融合及跟踪方法及系统
CN114333295A (zh) * 2021-11-30 2022-04-12 上海电科智能系统股份有限公司 基于全覆盖的多元多种唯一id探测与跟踪方法
CN114354209A (zh) * 2021-12-07 2022-04-15 重庆长安汽车股份有限公司 自动驾驶车道线与目标联合模拟方法及系统
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质

Also Published As

Publication number Publication date
CN110969178B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN110969178B (zh) 自动驾驶车辆的数据融合系统、方法及自动驾驶系统
CN110969837B (zh) 自动驾驶车辆的道路信息融合系统及方法
CN110888426B (zh) 用于多车道分离和路段轨线提取的车辆导航系统、方法和逻辑
CN108263382B (zh) 基于目标车辆的驾驶样式的协同自适应巡航控制系统
US10074281B2 (en) Method and apparatus for determining lane identification in a roadway
US9409570B2 (en) Method and apparatus for predicting most probable path of vehicle travel and vehicle control loss preview
CN110036424B (zh) 用于预测未来的速度轨迹的速度信息的存储
CN110763246A (zh) 自动驾驶车辆路径规划方法、装置、车辆及存储介质
CN108573611B (zh) 一种限速标识融合方法以及限速标识融合系统
CN111508276B (zh) 基于高精地图的v2x逆向超车预警方法、系统和介质
CN109829395B (zh) 基于无人车的数据处理方法、装置、设备以及存储介质
CN113460086B (zh) 自动驾驶进入匝道的控制系统、方法、车辆及存储介质
WO2022052283A1 (zh) 一种车辆的定位方法和装置
US11120685B2 (en) Map information system
CN113386752A (zh) 用于确定辅助驾驶系统中最佳巡航车道的方法和装置
CN113009539A (zh) 一种车辆自动变道处理方法、车辆及设备
JP6507841B2 (ja) 先行車両推定装置及びプログラム
CN114754778A (zh) 一种车辆定位方法以及装置、电子设备、存储介质
US20210048819A1 (en) Apparatus and method for determining junction
US11468767B2 (en) Map information system
WO2020070996A1 (ja) 走行車線推定装置、走行車線推定方法、制御プログラム、及びコンピュータ読み取り可能な非一時的な記憶媒体
US20210180982A1 (en) Map generation device and map generation method
JP2008268157A (ja) 車両用分岐路選択装置および車両用分岐路選択方法
JP6933069B2 (ja) 経路探索装置
WO2020012209A1 (ja) 経路算出方法、運転制御方法及び経路算出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210513

Address after: 100055 1802, 18 / F, building 3, yard 9, Guang'an Road, Fengtai District, Beijing

Applicant after: Momo Zhixing Technology Co.,Ltd.

Address before: 071000 No. 2266 Chaoyang South Street, Hebei, Baoding

Applicant before: Great Wall Motor Co.,Ltd.

GR01 Patent grant
GR01 Patent grant