CN109556615A - 基于自动驾驶的多传感器融合认知的驾驶地图生成方法 - Google Patents

Abstract

本发明涉及一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，面向智能车建立复杂道路环境下的环境模型，即驾驶地图。其结合车辆的运动能力、当前车路信息向智能车提供当前环境下的车道信息、障碍物信息等环境信息，包括车载传感器、车载环境感知设备、车载工控机等装置，车载环境感知设备包括智能摄像头、激光雷达、GPS及惯性导航装置，工控机负责基于路网数据库与高精地图的车辆局部路径定位算法、基于摄像头的车辆偏离预警算法、基于摄像头与激光雷达数据融合的障碍物识别与跟踪算法以及基于多传感器信息特征级融合的实时驾驶地图生成算法。此方法最终输出物为驾驶地图，即结合路面几何形态及交通参与者的秒级的基于本车视角的局域地图。

Description

基于自动驾驶的多传感器融合认知的驾驶地图生成方法

技术领域

本发明涉及一种自动驾驶车辆环境感知模型的生成方法，具体涉及一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法。

背景技术

目前，错综复杂的交通线路情况对自动驾驶车辆环境感知能力的精度和鲁棒性提出了更高的要求。为了提高自动驾驶系统的稳定性与安全性，提供更精准的环境状态信息帮助车辆有效提前的避免危险发生，各类传感器融合方法开始在自动驾驶车辆控制模型上应用。现有的驾驶辅助产品大多通过增加传感器数量来增加检测的可靠性，扩大视野以及获取更多的周围环境信息，如将雷达用于自适应巡航控制、摄像头用于车道偏离预警。随着自动驾驶的难度不断升级，现有的传感器处理架构渐露疲态，需要将各类传感器所获取的数据进行融合，借助各传感器的置信度区间形成一个应对周围环境的统一描述。因此，设计一套精准的稳定的应对复杂道路环境的车辆环境感知模型是非常必要的。

发明内容

本发明的目的就在于针对上述现有技术的不足，提供一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其可以辅助主动驾驶车辆更稳定地行驶在复杂道路环境、避免潜在的各类交通危险，该方法在准确定位当前车辆行驶路段的同时，对当前车道线及障碍物信息进行融合处理，结合车辆动力学模型及路面几何形状生成秒级的实时包含对本车状态动态预测的驾驶地图。

本发明的发明目的是通过以下技术方案实现的：

一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，是利用高度计获取车辆高度信息，配合GPS获取平面定位信息，获得车辆的三维定位信息；将上述三维定位信息与路网数据库相结合，确定初始投影点，进一步实现智能汽车行驶路段的定位，并将确定行驶路段地图通过网线传输给工控机；通过车载智能摄像头及激光雷达分别采集车道线及障碍物特征级信息，并对上述信息进行基于置信区间的整合和处理，其中传感器及摄像头通过汽车CAN总线、激光雷达通过网线将数据传输到车载工控机；工控机将获取的各类特征级信息进行进一步的融合处理，并基于车辆动力学模型对局部天级的地图进行整合，增加实时的障碍物信息及车道线信息，进而输出秒级的驾驶地图，进而将上述驾驶地图通过CAN总线传输给自动驾驶车辆的决策层，辅助决策层更好更安全地控制车辆。

具体地，上述基于自动驾驶的多传感器融合认知的驾驶地图生成方法，包括以下步骤：

A、通过全局的高精度地图和路网数据库获得天级的全局地图；

B、车辆信息提取：利用高度计获取车辆高度信息，配合GPS获取平面定位信息，获得车辆的三维定位信息；

C、行驶路段定位：将上述三维定位信息与路网数据库相结合，确定初始投影点，进一步实现智能汽车行驶路段的定位信息，确定行驶路段地图，并通过网线传输给车载工控机；

D、车载工控机将定位信息与路网数据库匹配，进而获得天级的局部地图；

E、驾驶地图生成：利用智能摄像头及激光雷达获取车辆周围环境信息、车道线信息及障碍物信息，将其与天级局部地图叠加，进而获得针对当前时刻的融合认知的驾驶地图。

步骤C，确定初始投影点，进一步实现智能汽车行驶路段的定位信息，具体为：利用基于DS证据推理的地图匹配算法确定智能汽车在路网数据库中的当前行驶路段和初始投影位置点；再通过智能汽车定位模块前后两个时刻输出的定位信息获得三维定位坐标增量；接着，基于车辆初始的投影点坐标和三维定位坐标增量对定位模块的定位数据进一步修正；最后，将修正后的定位数据垂直投影到路网数据库中的道路中心线上获得汽车在路网数据中的投影位置。

步骤C，确定行驶路段地图，并通过网线传输给车载工控机，具体为：通过传感器、车载智能摄像头及激光雷达分别采集车辆运行信息、车道线及障碍物特征级信息，并对上述信息进行基于置信区间的整合和处理，其中传感器及车载智能摄像头通过汽车CAN总线、激光雷达通过网线将数据传输到车载工控机。

所述传感器包括轮速传感器和转矩传感器，其中，轮速传感器用于获得的车辆纵向车速信息，转矩传感器用于获得车辆横向转向角速度信息。

对车辆运行信息、车道线及障碍物特征级信息进行基于置信区间的整合和处理包括以下步骤：

C1可行驶区域提取：

C11、对于无车道线道路，根据雷达返回数据的特征结合数据区间密度分布获得路沿点集，并利用基于加权欧氏距离KNN改进的OPTICS算法对得到的路沿点聚类；

C12、使用最小二乘法拟合出两侧路沿；对于有车道线的道路，利用智能摄像头直接读取两侧车道线信息；

C13、通过改进的OPTICS算法将路面上的障碍物点云进行聚类，并提取出每类障碍物的距离、角度以及障碍物中心点x、y、z坐标值等几何特征；

C2、障碍物识别与跟踪：工控机将获取的各类特征级信息进行进一步的融合处理。

步骤C2，融合处理是指：计算目标几何相似度，根据相似度进行目标匹配，采用基于距离加权融合的方法对目标几何特征进行融合；采用基于多特征的目标跟踪方法对目标进行跟踪，提取目标相对于车辆坐标系中的运动速度；利用卫星定位系统采集的车辆的运动速度，通过计算，获得目标相对于地面坐标系中的运动速度；根据目标的几何特征和运动特征，建立目标特征模型对目标类别判定；栅格化目标特征，并进行栅格表示，获得当前环境下的障碍物及车道线地图。

在对两目标是否匹配进行判断时，根据相似度阈值D_θ而定：当相似度值大于D_θ时，则可视为同一目标，应进行融合；若小于阈值D_θ时，则认为其为两个不同的目标，不进行融合；对于已经进行目标相似度匹配的目标，利用置信度加权的方法对目标几何特征进行融合。

对目标几何特征进行融合包括以下步骤：计算目标中心到各激光雷达的距离；进而计算出每个雷达该目标的综合可信度；最后，由综合可信度对目标中心的坐标、目标长度、目标宽度三种几何特征进行融合。

所述目标相似度匹配为对两个四线激光雷达同时扫描到的目标进行匹配，其中，目标相似度的衡量标准具体为距离相似度和面积相似度，它们的计算公式如下：

Ⅰ、距离相似度

距离的度量采用欧氏距离，即衡量二维平面上两目标中心a点(x1,y1)与b点(x2,y2)的欧氏距离为：

Ⅱ、面积相似度

面积相似度只是两目标面积之间的差值，对于目标a的面积为Sa，目标b的面积为Sb。

S_ab＝|S_a-S_b|

S＝length*width(ε)

其中，S为代表目标的面积，length代表目标长度，width代表宽度，ε为线段数；

即目标几何相似度的计算式如下：

其中，θ_1、θ_2分别两种标准的权重；D_ab为目标相似程度，取值在0～1之间；

假设a雷达扫描的目标集为{a1,a2,a3,a4…}，b雷达扫描的目标集为{b1,b2,b3,b4…..}，可得到目标相似度的矩阵，如下所示：

其中，Daibj代表目标ai与目标bj的相似度。

与现有技术相比，本发明的有益效果在于：本发明基于多传感器特征级信息及高精地图、路网数据库的数据融合，可以实现自动驾驶车辆对于周围环境的实时采集与识别，准确的车辆三维定位与地图匹配又能在此过程中极大的优化环境感知模型及方法，提高可靠性及鲁棒性。同时，考虑车辆动力学模型的车辆动态预测更能增强车辆对于危险状况的预警能力，以及驾驶地图的可读性，提高车辆行驶平顺性与安全性，为自动驾驶车辆提供更为安全的行驶策略，保障公共交通安全。具体为：

(1)、现有的环境感知方法并未综合考虑车辆动力学模型及其运动能力，也并未将高精地图信息与环境传感信息有效融合，只是简单的传感信息的堆砌与融合，且信息未经过整合处理，对于自动驾驶车辆决策层来说可读性不高，鲁棒性不好。本发明引入驾驶地图概念，将路网数据库与高精地图的信息相融合进行车辆行驶路段的定位，再结合环境传感信息确定路面几何形态及具体交通参与者类型及属性，从而建立融合人车路的实时驾驶地图，辅助决策层更好地驾驶汽车，进而提高自动驾驶的安全性和稳定性；

(2)、本发明考虑到了车辆自身运动模型对环境感知方法的影响，借助车辆动力学模型对车辆运动进行动态预测，更有效地对环境信息进行动态的整合处理，以提高地图信息的可读性及准确性，避免自动驾驶车辆因环境信息的冗余或不足而发生交通事故，借助秒级驾驶地图辅助车辆决策层的控制，更有效地保障了车辆的驾驶安全。

附图说明

图1为各装置通讯示意图；

图2为具体设备安装示意图；

图3为自动驾驶车辆行驶路段定位方案示意图；

图4为基于摄像头与激光雷达的可行驶区域提取算法流程图；

图5为障碍物识别与跟踪算法流程图；

图6为驾驶地图生成算法流程图。

具体实施方式

以下结合附图进一步说明本发明的技术方案。

一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其包括以下步骤：车辆信息提取、行驶路段定位、可行驶区域提取、障碍物识别与跟踪和驾驶地图生成。

1、在车辆信息提取部分中，借助如图1所示的通讯方法生成自动驾驶车辆驾驶地图，由轮速传感器获得的车辆纵向车速信息、由转矩传感器获得的车辆横向转向角速度信息等车辆运行信息，由智能摄像头获取的车道线及障碍物信息，通过汽车CAN总线传输到车载工控机并进行分析处理，而由激光雷达IBEO Lux获取的障碍物信息、以及GPS和惯导装置获得的车辆三维定位信息则通过以太网传输给车载工控机。处理后生成的驾驶地图信息通过CAN总线传输给自动驾驶车辆的控制决策层。

关于具体设备的安装，如图2所示示意图，四个Ibeo Lux激光雷达分别布置于车辆的前后两侧，用来检测与识别道路上的障碍物；智能摄像头布置车辆前挡风玻璃中轴线上侧，以便于摄像头识别车道线及障碍物信息，并将其传输给工控机进行逻辑运算处理；GPS及惯导装置布置于车辆中心线上，如图2所示的位置，用于获取车辆的平面定位信息，包括经纬度等；图中两条颜色的线分别为数据传输线及供电线。

2、在行驶路段定位部分中，如图3所示自动驾驶车辆行驶路段定位方案示意图，根据由高度计及GPS获取的车辆三维定位信息，利用基于DS证据推理的地图匹配算法确定智能汽车在路网数据库中的当前行驶路段和初始投影位置点；然后，通过智能汽车定位模块前后两个时刻输出的定位信息获得三维定位坐标增量；接着，基于车辆初始的投影点坐标和三维定位坐标增量对定位模块的定位数据进一步修正；最后，将修正后的定位数据垂直投影到路网数据库中的道路中心线上，获得汽车在路网数据中的投影位置。

3、在可行驶区域提取部分中，如图4所示为基于摄像头与激光雷达的可行驶区域提取算法流程图，主要流程如下：

31、对于无车道线道路，根据雷达返回数据的特征结合数据区间密度分布获得路沿点集，并利用基于加权欧氏距离KNN改进的OPTICS算法对得到的路沿点聚类。

32、使用最小二乘法拟合出两侧路沿；对于有车道线的道路，利用智能摄像头直接读取两侧车道线信息。

33、通过改进的OPTICS算法将路面上的障碍物点云进行聚类，并通过计算得到障碍物的位置、距离、尺寸等信息。

利用改进的OPTICS算法将可行驶区域内的障碍物进行聚类，并提取出每类障碍物的距离、角度以及障碍物中心点x、y、z坐标值等几何特征，计算目标几何相似度，根据相似度进行目标匹配；采用基于距离加权融合的方法对目标几何特征进行融合；采用基于多特征的目标跟踪方法对目标进行跟踪，提取目标相对于车辆坐标系中的运动速度；利用卫星定位系统采集的车辆的运动速度，通过计算，获得目标相对于地面坐标系中的运动速度；根据目标的几何特征和运动特征，建立目标特征模型对目标类别判定；栅格化目标特征，并进行栅格表示，获得当前环境下的障碍物及车道线地图。

同时，引入PLK摄像头对前方环境识别的信息，通过多假设跟踪模型实现对于障碍物的检测与跟踪，避免单个传感器所带来的不稳定因素，提高系统的检测精度。

4、在障碍物识别与跟踪部分中，如图5所示为障碍物识别与跟踪算法流程图，以两个前方激光雷达为例，由于前后方均通过两个激光雷达来检测，它们对环境中的同一个目标会有两个不同的检测结果，这两个结果不能直接用于目标的判断，必须将它们进行融合。而对于两个检测结果进行融合的关键，是判断它们是否为同一目标，如果是同一目标才能进行融合。利用的目标相似度匹配方法就是对两个四线激光雷达同时扫描到的目标进行匹配。其中，目标相似度的衡量标准具体为距离相似度和面积相似度，它们的计算公式如下：

1.距离相似度

距离的度量采用欧氏距离，即衡量二维平面上两目标中心a点(x1,y1)与b点(x2,y2)的欧氏距离为：

2.面积相似度

面积相似度只是两目标面积之间的差值，对于目标a的面积为Sa，目标b的面积为Sb。

S_ab＝|S_a-S_b|

S＝length*width(ε)

其中，S为代表目标的面积，length代表目标长度，width代表宽度，ε为线段数。

综上所述，目标几何相似度的计算式如下：

其中，θ_1、θ_2分别两种标准的权重；D_ab为目标相似程度，取值在0～1之间。

假设a雷达扫描的目标集为{a1,a2,a3,a4…}，b雷达扫描的目标集为{b1,b2,b3,b4…..}，可得到目标相似度的矩阵，如下所示：

其中，Daibj代表目标ai与目标bj的相似度。

在对两目标是否匹配进行判断时，应该根据相似度阈值D_θ而定：当相似度值大于D_θ时，则可视为同一目标，应进行融合；若小于阈值D_θ时，则认为其为两个不同的目标，不进行融合。

对于已经进行目标相似度匹配的目标，利用一种置信度加权的方法对目标几何特征进行融合。该方法是通过计算目标中心到各激光雷达的距离，从而计算出每个雷达该目标的综合可信度，最后由综合可信度对目标进行融合。在融合时只对目标中心的坐标、目标长度、目标宽度三种几何特征进行融合。

本方法利用目标相似度进行数据关联，然后采用Kalman滤波进行状态估计。

在上述目标跟踪部分引入摄像头数据，基于MHT(多假设跟踪模型)对两帧数剧组合关系提出最优假设，从而通过滤波器的更新和预测，实现更准确稳定的障碍物跟踪算法。

5、在驾驶地图生成部分中，如图6所示为驾驶地图生成算法流程图，首先通过全局的高精度地图和路网数据库获得天级的全局地图；在此基础上借助高度计和GPS获得车辆的三维定位信息，并利用图3所示的算法获得智能车行驶路段的定位信息，将其与路网数据库匹配，进而获得天级的局部地图；最后，利用智能摄像头及激光雷达获取车辆周围环境信息，车道线信息及障碍物信息等，将其与之前的天级局部地图叠加，进而获得针对当前时刻的融合认知的驾驶地图。

本发明涉用来面向智能车建立复杂道路环境下的环境模型，即驾驶地图。结合车辆的运动能力、当前车路信息向智能车提供当前环境下的车道信息、障碍物信息等环境信息，包括车载传感器、车载环境感知设备、车载工控机等装置，车载工控机通过CAN线实现通讯，车载环境感知设备包括智能摄像头、激光雷达、GPS及惯性导航装置，车载传感器、智能摄像头、激光雷达、GPS及惯导等与工控机均通过CAN总线通讯，车载传感器包括轮速传感器、转矩传感器、陀螺仪等，工控机负责基于路网数据库与高精地图的车辆局部路径定位算法、基于摄像头的车辆偏离预警算法、基于摄像头与激光雷达数据融合的障碍物识别与跟踪算法以及基于多传感器信息特征级融合的实时驾驶地图生成算法。此方法的最终输出物为驾驶地图，即结合路面几何形态及交通参与者的秒级的基于本车视角的局域地图。

本发明通过车载环境感知模块各类传感器信息的特征级融合实现对车辆行驶路段的定位、车道线信息的读取及车辆周围障碍物的识别与跟踪，并结合车辆运动能力及具体交通共同参与者类型建立秒级的车辆局部驾驶地图。实时将环境感知装置获得的特征级信息(包括车辆所处局部路段高精地图信息、车道线信息、车辆周围障碍物信息)进行融合形成驾驶地图，并将其整合传输给智能车控制决策层进行具体的车辆控制操作。更精准更实时的车辆驾驶地图信息可以提供给自动驾驶车辆决策层更符合车辆动力学模型的环境传感信息，并对车辆未来一段时间内所处的环境进行动态预测，有效提高自动驾驶车辆的环境感知能力及动态避障能力，保障自动驾驶车辆在运行状态下的行驶交通安全。

Claims (9)

1.一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，包括以下步骤：

A、通过全局的高精度地图和路网数据库获得天级的全局地图；

B、利用高度计获取车辆高度信息，配合GPS获取平面定位信息，获得车辆的三维定位信息；

C、将上述三维定位信息与路网数据库相结合，确定初始投影点，进一步实现智能汽车行驶路段的定位信息，确定行驶路段地图，并通过网线传输给车载工控机；

D、车载工控机将定位信息与路网数据库匹配，进而获得天级的局部地图；

E、利用智能摄像头及激光雷达获取车辆周围环境信息、车道线信息及障碍物信息，将其与天级局部地图叠加，进而获得针对当前时刻的融合认知的驾驶地图。

2.根据权利要求1所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于，步骤C，确定初始投影点，进一步实现智能汽车行驶路段的定位信息，具体为：利用基于DS证据推理的地图匹配算法确定智能汽车在路网数据库中的当前行驶路段和初始投影位置点；再通过智能汽车定位模块前后两个时刻输出的定位信息获得三维定位坐标增量；接着，基于车辆初始的投影点坐标和三维定位坐标增量对定位模块的定位数据进一步修正；最后，将修正后的定位数据垂直投影到路网数据库中的道路中心线上获得汽车在路网数据中的投影位置。

3.根据权利要求1所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于，步骤C，确定行驶路段地图，并通过网线传输给车载工控机，具体为：通过传感器、车载智能摄像头及激光雷达分别采集车辆运行信息、车道线及障碍物特征级信息，并对上述信息进行基于置信区间的整合和处理，其中传感器及车载智能摄像头通过汽车CAN总线、激光雷达通过网线将数据传输到车载工控机。

4.根据权利要求3所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于：所述传感器包括轮速传感器和转矩传感器，其中，轮速传感器用于获得的车辆纵向车速信息，转矩传感器用于获得车辆横向转向角速度信息。

5.根据权利要求1所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于，对车辆运行信息、车道线及障碍物特征级信息进行基于置信区间的整合和处理包括以下步骤：

C1可行驶区域提取：

C11、对于无车道线道路，根据雷达返回数据的特征结合数据区间密度分布获得路沿点集，并利用基于加权欧氏距离KNN改进的OPTICS算法对得到的路沿点聚类；

C12、使用最小二乘法拟合出两侧路沿；对于有车道线的道路，利用智能摄像头直接读取两侧车道线信息；

C13、通过改进的OPTICS算法将路面上的障碍物点云进行聚类，并提取出每类障碍物的距离、角度以及障碍物中心点x、y、z坐标值等几何特征；

C2、障碍物识别与跟踪：工控机将获取的各类特征级信息进行进一步的融合处理。

6.根据权利要求5所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于：步骤C2，融合处理是指：计算目标几何相似度，根据相似度进行目标匹配，采用基于距离加权融合的方法对目标几何特征进行融合；采用基于多特征的目标跟踪方法对目标进行跟踪，提取目标相对于车辆坐标系中的运动速度；利用卫星定位系统采集的车辆的运动速度，通过计算，获得目标相对于地面坐标系中的运动速度；根据目标的几何特征和运动特征，建立目标特征模型对目标类别判定；栅格化目标特征，并进行栅格表示，获得当前环境下的障碍物及车道线地图。

7.根据权利要求6所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于：在对两目标是否匹配进行判断时，根据相似度阈值D_θ而定：当相似度值大于D_θ时，则可视为同一目标，应进行融合；若小于阈值D_θ时，则认为其为两个不同的目标，不进行融合；对于已经进行目标相似度匹配的目标，利用置信度加权的方法对目标几何特征进行融合。

8.根据权利要求7所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于，对目标几何特征进行融合包括以下步骤：计算目标中心到各激光雷达的距离；进而计算出每个雷达该目标的综合可信度；最后，由综合可信度对目标中心的坐标、目标长度、目标宽度三种几何特征进行融合。

9.根据权利要求6所述的一种基于自动驾驶的多传感器融合认知的驾驶地图生成方法，其特征在于：所述目标相似度匹配为对两个四线激光雷达同时扫描到的目标进行匹配，其中，目标相似度的衡量标准具体为距离相似度和面积相似度，它们的计算公式如下：

Ⅰ、距离相似度

距离的度量采用欧氏距离，即衡量二维平面上两目标中心a点(x1,y1)与b点(x2,y2)的欧氏距离为：

Ⅱ、面积相似度

面积相似度只是两目标面积之间的差值，对于目标a的面积为Sa，目标b的面积为Sb。

S_ab＝|S_a-S_b|

S＝length*width(ε)

其中，S为代表目标的面积，length代表目标长度，width代表宽度，ε为线段数；

即目标几何相似度的计算式如下：

其中，θ_1、θ_2分别两种标准的权重；D_ab为目标相似程度，取值在0～1之间；

假设a雷达扫描的目标集为{a1,a2,a3,a4…}，b雷达扫描的目标集为{b1,b2,b3,b4…..}，可得到目标相似度的矩阵，如下所示：

其中，Daibj代表目标ai与目标bj的相似度。