CN111273305A - 基于全局与局部栅格图多传感器融合道路提取与索引方法 - Google Patents

Abstract

本发明公开了一种基于全局与局部栅格图的多传感器融合道路提取与索引方法，采用全局和局部栅格图进行数据存储与预处理，通过差分定位系统获取无人驾驶车辆实时位置与姿态，通过栅格图中存储的激光雷达点云相关数据获取高精度道路边界与车道线、道路标识位置信息，并投影到单目视觉图像中，基于深度学习方法判断车道线线型并识别道路标识语义信息，从而获得具有语义信息的高精度道路地图。同时建立多全局区段和道路集的方式，实现高效存储与索引。

Description

基于全局与局部栅格图多传感器融合道路提取与索引方法

技术领域

本发明属于自动驾驶的技术领域，涉及一种高效且高精度的语义道路地图的构建方法及其可视化方法。

背景技术

高精度地图在自动驾驶领域具有十分重要的意义。高精度地图也称高分辨率地图，是一种专门为无人驾驶服务的地图。相比传统地图，高精度地图不仅能够提供道路级的导航信息，还能提供车道级的定位与导航信息。

在当前的高精度地图制图方案中，需要大量的激光点云转换、拼接、标注及索引等步骤，其过程十分复杂且依赖专业的技术人员。这使得高精度地图成本高昂，专业化程度高，制作效率低下。此外，在通常的高精度地图的制作过程中，并没有原始的语义信息，仅靠人工标注部分车道线与道路标识等，效率低下，语义信息单一。同时，现有高精度地图的存储、索引方式复杂，同样依赖大量人工，且解析方式繁杂，不利于车辆驾驶过程中的可视化显示。

发明内容

鉴于以上问题，提出本发明提出一种基于全局与局部栅格图的多传感器融合道路提取与索引方法，包括如下步骤：

步骤1、建立全局与局部栅格图，并根据车辆定位信息，建立局部栅格图与全局栅格图的关联；

步骤2、基于全局与局部栅格图提取平均反射强度大于自适应阈值的激光点云栅格作为路面元素栅格，将其聚类处理后投影至同步图像中进行语义识别，最后将其参数化信息保存至数据库；所述的路面元素是指车道线与路面标志；

步骤3、基于全局栅格图和车辆轨迹，在轨迹法线上搜索疑似边界点栅格，筛选后进行拟合，实现道路边界提取，最后将其参数化信息保存至数据库；

步骤4、针对步骤2与步骤3中的参数化路面元素及道路边界，建立基于道路全局区段的地图索引方案。

进一步的，所述步骤1进一步包括：

步骤a、建立全局栅格图：以预定位置为坐标原点，向北为y轴方向，向东为x轴方向；每个栅格大小为d_g*d_g,其中d_g为预定尺寸；全局栅格图位置不变，每个栅格存储的数据由局部栅格图的相应栅格获取；

步骤b、建立局部栅格图；根据车辆定位系统获取的车辆位置，构建预定X*Y范围内的局部栅格图，局部栅格图的绝对位置是动态变化的；且每接收到激光雷达数据，各栅格存储的传感器信息动态刷新；

步骤c、局部栅格图对全局栅格图的数据更新：每个局部栅格根据车辆位置获取其全局坐标，从而在全局栅格图中找到唯一对应的栅格，并将该栅格设置为激活状态；全局栅格图中处于激活状态的栅格，其数据将被局部栅格图对应的栅格更新；处于非激活状态的栅格，其数据将保持不变；其中全局与局部栅格图的各栅格储存的数据包括：投影至该栅格的激光点云全局坐标(x,y,z)及其统计参数；所述统计参数包括激光点云高度均值、方差以及各激光点云反射强度均值、方差。

进一步的，所述步骤2进一步包括：

步骤a、基于车辆定位系统获取当前车辆位置、航向，基于激光雷达获取当前时刻的激光雷达数据，并进行数据同步；

步骤b、对激光雷达数据进行路面与非路面分割，获得路面点云局部栅格图，并更新全局栅格图；在全局栅格图中对于反射强度大于自适应阈值且方差小于设定阈值的栅格，标记为车道线或路面标志，并提取该栅格；通过该设定方差阈值排除因传感器数据波动或路面其他动态干扰造成的误检；完成上述步骤后，对点云栅格进行聚类；

步骤c、基于激光雷达与单目相机的标定信息，将步骤b中车道线与路面标志经过聚类后的各个栅格集所包含的点云集合投影到单目相机图像的相应位置；

步骤d、基于深度学习方法对相机实时获取的图像进行车道线与道路标识语义识别，并根据该图像与点云位置对应关系，将语义标签赋予步骤c中投影的各个点云集合；

步骤e、对于每个车道线及路面标志对象，将其转化为参数化对象；参数包括：对象的方向、该方向上均匀采样的若干点坐标、语义标签；最后将各个参数化后的对象保存至数据库。

进一步的，所述步骤2自适应阈值获取方法为：

进行路面与非路面点云分割，将路面点云投影至全局栅格图中，假定每个栅格的激光点云反射强度满足高斯分布，计算该栅格反射强度均值及其方差；

然后，根据车辆轨迹点建立多个检测区间，对每个检测区间构建反射强度分布图，并将检测区间分割为若干窗口，对每个窗口采用最大化类间方差算法，求得各个窗口的反射强度自适应阈值，作为路面元素栅格与非路面元素栅格的分隔值。

进一步的，步骤3进一步包括：

步骤a、对于每一个车辆轨迹点，构建其轨迹在该轨迹点的法线，在法线方向构建栅格窗口搜索疑似边界点；窗口的长、宽分别为M、N，其中M,N为预定值；

步骤b、在疑似边界点栅格中筛选候选边界点栅格；筛选候选边界点栅格的依据具体包括：(1)该栅格被设定为在疑似边界点栅格的次数大于设定值；(2)该疑似边界点栅格相对同一法线上相同侧的其他疑似栅格点，与车辆轨迹点距离最短；

步骤c、对于车辆轨迹两侧的候选边界点栅格分别剔除离群点，得到最终边界栅格点，假定边界曲线方程为y＝ax^3+bx^2+cx+d，使用非线性最小二乘的方法拟合边界栅格点后，得到参数化的两侧边界线，并保存至数据库；其中，a、b、c、d为待定参数。

进一步的，所述步骤a所述搜索疑似边界点所在窗口的选取依据为：

(1)该窗口的左右邻域窗口的平均高度差大于预定阈值；

(2)该窗口的坡度大于预定阈值；

所述述左右邻域窗口的平均高度差Δh定义为：

其中，abs()为取绝对值运算；

M，N为窗口长、宽；

和

分别为左、右邻域窗口内第i个栅格内点云的平均高度；

窗口的坡度定义为：

其中，z_max和z_min分别为当前窗口各栅格中高度最大、最小的激光点的高度值；

d_g为栅格的预定尺寸。

进一步的，所述步骤4进一步包括：

步骤a、将已保保存至数据库中的参数化路面元素与道路边界划分到地图的各全局区段；每个预定矩形面积为一个全局区段；则在预定原点的全局坐标系下，路面元素与道路边界点所属区段编号由公式(1)(2)确定：

其中，编号e_x代表全局坐标系下各区段的东方向下标，n_y代表全局坐标系下各区段的北方向下标；

x_map和y_map为路面元素与道路边界点的全局坐标系下的x、y坐标；

W、H为所述区段预定的宽度与高度；

[]表示向下取整运算。

步骤b、构建车道线与路面标志集合；为了实现道路边界和车道线、道路标志的高效查询，将车道数量、线型相同的连续道路视为一个“道路集”；每个“道路集”由参考线中心线、车道线和路面标志组成；

步骤c、矢量地图索引方式：

为了便于检索，将上述二维的区段编号索引转化为一维索引，由公式(3)完成：

index＝1000*n_y+e_x (3)

由此二维索引便与一维索引一一对应。

有益效果

本发明采用全局与局部栅格图的方式进行数据存储与预处理，相比传统的直接存储所有三维点云的方式，该方法可以大幅压缩数据，且数据处理更为高效。本发明采用激光雷达与相机结合的车道线提取方案，相比主流的纯视觉车道线检测方案，本方法可以提取更为准确的车道线位置信息。本发明采用基于局部栅格图和车辆轨迹的道路边界点提取方法，由于引入了车辆轨迹信息，可以适应更为复杂的道路的边界提取任务。本发明提供的基于道路全局区段的矢量地图存储与索引方法，通过将车道线、路面标志和道路边界按全局区段存储，并建立一维索引，可以实现地图元素的高效存储与调用。

附图说明

图1：本发明的系统流程图；

图2：本发明全局栅格图与局部栅格图之间的关系；

图3：本发明基于车辆轨迹法线的道路边界候选点筛选示意；

图4：本发明地图区段划分与编号示意；

图5：本发明的地图索引方式示意。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

参见图1，本发明提出一种基于全局与局部栅格图多传感器融合道路提取与索引方法，包括如下步骤：

步骤1、建立全局与局部栅格图，并根据车辆定位信息，建立局部栅格图与全局栅格图的关联；

步骤2、基于全局与局部栅格图提取平均反射强度大于自适应阈值的激光点云栅格作为路面元素栅格，将其聚类处理后投影至同步图像中进行语义识别，最后将其参数化信息保存至数据库；所述的路面元素是指车道线与路面标志；

步骤3、基于全局栅格图和车辆轨迹，在轨迹法线上搜索疑似边界点栅格，筛选后进行拟合，实现道路边界提取，最后将其参数化信息保存至数据库；

步骤4、针对步骤2与步骤3中的参数化路面元素及道路边界，建立基于道路全局区段的地图索引方案。

进一步的，所述步骤1进一步包括：

步骤a、建立全局栅格图：以预定位置为坐标原点，向北为y轴方向，向东为x轴方向；每个栅格大小为d_g*d_g,其中d_g为预定尺寸；全局栅格图位置不变，每个栅格存储的数据由局部栅格图的相应栅格获取；

步骤b、建立局部栅格图；根据车辆定位系统获取的车辆位置，构建预定X*Y范围内的局部栅格图，局部栅格图的绝对位置是动态变化的；且每接收到激光雷达数据，各栅格存储的传感器信息动态刷新；参见图2，为本发明全局栅格图与局部栅格图之间的关系；

步骤c、局部栅格图对全局栅格图的数据更新：每个局部栅格根据车辆位置获取其全局坐标，从而在全局栅格图中找到唯一对应的栅格，并将该栅格设置为激活状态；全局栅格图中处于激活状态的栅格，其数据将被局部栅格图对应的栅格更新；处于非激活状态的栅格，其数据将保持不变；其中全局与局部栅格图的各栅格储存的数据包括：投影至该栅格的激光点云全局坐标(x,y,z)及其统计参数；所述统计参数包括激光点云高度均值、方差以及各激光点云反射强度均值、方差。

进一步的，所述步骤2进一步包括：

步骤a、基于车辆定位系统获取当前车辆位置、航向，基于激光雷达获取当前时刻的激光雷达数据，并进行数据同步；

步骤b、对激光雷达数据进行路面与非路面分割，获得路面点云局部栅格图，并更新全局栅格图；在全局栅格图中对于反射强度大于自适应阈值且方差小于设定阈值的栅格，标记为车道线或路面标志，并提取该栅格；通过该设定方差阈值排除因传感器数据波动或路面其他动态干扰造成的误检；完成上述步骤后，对点云栅格进行聚类；

步骤c、基于激光雷达与单目相机的标定信息，将步骤b中车道线与路面标志经过聚类后的各个栅格集所包含的点云集合投影到单目相机图像的相应位置；

步骤d、基于深度学习方法对相机实时获取的图像进行车道线与道路标识语义识别，并根据该图像与点云位置对应关系，将语义标签赋予步骤c中投影的各个点云集合；

步骤e、对于每个车道线及路面标志对象，将其转化为参数化对象；参数包括：对象的方向、该方向上均匀采样的若干点坐标、语义标签；最后将各个参数化后的对象保存至数据库。

进一步的，所述步骤2自适应阈值获取方法为：

进行路面与非路面点云分割，将路面点云投影至全局栅格图中，假定每个栅格的激光点云反射强度满足高斯分布，计算该栅格反射强度均值及其方差；

然后，根据车辆轨迹点建立多个检测区间，对每个检测区间构建反射强度分布图，并将检测区间分割为若干窗口，对每个窗口采用最大化类间方差算法，求得各个窗口的反射强度自适应阈值，作为路面元素栅格与非路面元素栅格的分隔值。

进一步的，步骤3进一步包括：

步骤a、对于每一个车辆轨迹点，构建其轨迹在该轨迹点的法线，在法线方向构建栅格窗口搜索疑似边界点；窗口的长、宽分别为M、N，其中M,N为预定值；

步骤b、在疑似边界点栅格中筛选候选边界点栅格；筛选候选边界点栅格的依据具体包括：(1)该栅格被设定为在疑似边界点栅格的次数大于设定值；(2)该疑似边界点栅格相对同一法线上相同侧的其他疑似栅格点，与车辆轨迹点距离最短；

步骤c、对于车辆轨迹两侧的候选边界点栅格分别剔除离群点，得到最终边界栅格点，假定边界曲线方程为y＝ax^3+bx^2+cx+d，使用非线性最小二乘的方法拟合边界栅格点后，得到参数化的两侧边界线，并保存至数据库；其中，a、b、c、d为待定参数。

参见图3，为本发明基于车辆轨迹法线的道路边界候选点筛选示意；

进一步的，所述步骤a所述搜索疑似边界点所在窗口的选取依据为：

(1)该窗口的左右邻域窗口的平均高度差大于预定阈值；

(2)该窗口的坡度大于预定阈值；

所述述左右邻域窗口的平均高度差Δh定义为

其中，abs()为取绝对值运算；

M，N为窗口长、宽；

和

分别为左、右邻域窗口内第i个栅格内点云的平均高度；

窗口的坡度定义为：

其中，z_max和z_min分别为当前窗口各栅格中高度最大、最小的激光点的高度值；

d_g为栅格的预定尺寸。

进一步的，所述步骤4进一步包括：

步骤a、将已保保存至数据库中的参数化路面元素与道路边界划分到地图的各全局区段；每个预定矩形面积为一个全局区段；则在预定原点的全局坐标系下，路面元素与道路边界点所属区段编号由公式(1)(2)确定：

其中，编号e_x代表全局坐标系下各区段的东方向下标，n_y代表全局坐标系下各区段的北方向下标；

x_map和y_map为路面元素与道路边界点的全局坐标系下的x、y坐标；

W、H为所述区段预定的宽度与高度；

[]表示向下取整运算。

参见图4，为本发明地图区段划分与编号示意图，表格中存储了区段划分与编号；

步骤b、构建车道线与路面标志集合；为了实现道路边界和车道线、道路标志的高效查询，将车道数量、线型相同的连续道路视为一个“道路集”；每个“道路集”由参考线中心线、车道线和路面标志组成；参见图5，为本发明的地图索引方式示意。

步骤c、矢量地图索引方式：

为了便于检索，将上述二维的区段编号索引转化为一维索引，由公式(3)完成：

index＝1000*n_y+e_x (3)

由此二维索引便与一维索引一一对应，如index＝1002唯一对应的区段编号为n₁＝1、e₂＝2。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (7)

1.一种基于全局与局部栅格图多传感器融合道路提取与索引方法，其特征在于，包括如下步骤：

步骤1、建立全局与局部栅格图，并根据车辆定位信息，建立局部栅格图与全局栅格图的关联；

步骤2、基于全局与局部栅格图提取平均反射强度大于自适应阈值的激光点云栅格作为路面元素栅格，将其聚类处理后投影至同步图像中进行语义识别，最后将其参数化信息保存至数据库；所述的路面元素是指车道线与路面标志；

步骤3、基于全局栅格图和车辆轨迹，在轨迹法线上搜索疑似边界点栅格，筛选后进行拟合，实现道路边界提取，最后将其参数化信息保存至数据库；

步骤4、针对步骤2与步骤3中的参数化路面元素及道路边界，建立基于道路全局区段的地图索引方案。

2.如权利要求1所述的基于全局与局部栅格图多传感器融合道路提取与索引方法，其特征在于：所述步骤1进一步包括：

步骤a、建立全局栅格图：以预定位置为坐标原点，向北为y轴方向，向东为x轴方向；每个栅格大小为d_g*d_g,其中d_g为预定尺寸；全局栅格图位置不变，每个栅格存储的数据由局部栅格图的相应栅格获取；

步骤b、建立局部栅格图；根据车辆定位系统获取的车辆位置，构建预定X*Y范围内的局部栅格图，局部栅格图的绝对位置是动态变化的；且每接收到激光雷达数据，各栅格存储的传感器信息动态刷新；

步骤c、局部栅格图对全局栅格图的数据更新：每个局部栅格根据车辆位置获取其全局坐标，从而在全局栅格图中找到唯一对应的栅格，并将该栅格设置为激活状态；全局栅格图中处于激活状态的栅格，其数据将被局部栅格图对应的栅格更新；处于非激活状态的栅格，其数据将保持不变；其中全局与局部栅格图的各栅格储存的数据包括：投影至该栅格的激光点云全局坐标(x,y,z)及其统计参数；所述统计参数包括激光点云高度均值、方差以及各激光点云反射强度均值、方差。

3.如权利要求1所述的基于全局与局部栅格图多传感器融合道路提取与索引方法，其特征在于，所述步骤2进一步包括：

步骤a、基于车辆定位系统获取当前车辆位置、航向，基于激光雷达获取当前时刻的激光雷达数据，并进行数据同步；

步骤b、对激光雷达数据进行路面与非路面分割，获得路面点云局部栅格图，并更新全局栅格图；在全局栅格图中对于反射强度大于自适应阈值且方差小于设定阈值的栅格，标记为车道线或路面标志，并提取该栅格；通过该设定方差阈值排除因传感器数据波动或路面其他动态干扰造成的误检；完成上述步骤后，对点云栅格进行聚类；

步骤c、基于激光雷达与单目相机的标定信息，将步骤b中车道线与路面标志经过聚类后的各个栅格集所包含的点云集合投影到单目相机图像的相应位置；

步骤d、基于深度学习方法对相机实时获取的图像进行车道线与道路标识语义识别，并根据该图像与点云位置对应关系，将语义标签赋予步骤c中投影的各个点云集合；

步骤e、对于每个车道线及路面标志对象，将其转化为参数化对象；参数包括：对象的方向、该方向上均匀采样的若干点坐标、语义标签；最后将各个参数化后的对象保存至数据库。

4.如权利要求1所述的基于全局与局部栅格图多传感器融合道路提取与索引方法，其特征在于，所述步骤2自适应阈值获取方法为：

进行路面与非路面点云分割，将路面点云投影至全局栅格图中，假定每个栅格的激光点云反射强度满足高斯分布，计算该栅格反射强度均值及方差；

然后，根据车辆轨迹点建立多个检测区间，对每个检测区间构建反射强度分布图，并将检测区间分割为若干窗口，对每个窗口采用最大化类间方差算法，求得各个窗口的反射强度自适应阈值，作为路面元素栅格与非路面元素栅格的分隔值。

5.如权利要求1所述的基于全局与局部栅格图多传感器融合道路提取与索引方法，其中，步骤3进一步包括：

步骤a、对于每一个车辆轨迹点，构建其轨迹在该轨迹点的法线，在法线方向构建栅格窗口搜索疑似边界点；窗口的长、宽分别为M、N，其中M,N为预定值；

步骤b、在疑似边界点栅格中筛选候选边界点栅格；筛选候选边界点栅格的依据具体包括：(1)该栅格被设定为在疑似边界点栅格的次数大于设定值；(2)该疑似边界点栅格相对同一法线上相同侧的其他疑似栅格点，与车辆轨迹点距离最短；

步骤c、对于车辆轨迹两侧的候选边界点栅格分别剔除离群点，得到最终边界栅格点，假定边界曲线方程为y＝ax^3+bx^2+cx+d，使用非线性最小二乘的方法拟合边界栅格点后，得到参数化的两侧边界线，并保存至数据库；其中，a、b、c、d为待定参数。

6.如权利要求5所述的基于全局与局部栅格图多传感器融合道路提取与索引方法，其特征在于，所述步骤a所述搜索疑似边界点所在窗口的选取依据为：

(1)该窗口的左右邻域窗口的平均高度差大于预定阈值；

(2)该窗口的坡度大于预定阈值；

所述述左右邻域窗口的平均高度差Δh定义为：

其中，abs()为取绝对值运算；

M，N为窗口长度、宽度；

和

分别为左、右邻域窗口内第i个栅格内点云的平均高度；

窗口的坡度定义为：

其中，z_max和z_min分别为当前窗口各栅格中高度最大、最小的激光点的高度值；

d_g为栅格的预定尺寸。

7.如权利要求1所述的基于全局与局部栅格图多传感器融合道路提取与索引方法，其特征在于：所述步骤4进一步包括：

步骤a、将已保保存至数据库中的参数化路面元素与道路边界划分到地图的各全局区段；每个预定矩形面积为一个全局区段；则在预定原点的全局坐标系下，路面元素与道路边界点所属区段编号由公式(1)(2)确定：

其中，编号e_x代表全局坐标系下各区段的东方向下标，n_y代表全局坐标系下各区段的北方向下标；

x_map和y_map为路面元素与道路边界点的全局坐标系下的x、y坐标；

W、H为所述区段预定的宽度与高度；

[]表示向下取整运算。

步骤b、构建车道线与路面标志集合；为了实现道路边界和车道线、道路标志的高效查询，将车道数量、线型相同的连续道路视为一个“道路集”；每个“道路集”由参考线中心线、车道线和路面标志组成；

步骤c、矢量地图索引方式：

为了便于检索，将上述二维的区段编号索引转化为一维索引，由公式(3)完成：

index＝1000*n_y+e_x (3)

由此二维索引便与一维索引一一对应。

Images