CN115143950A - 一种智能汽车局部语义栅格地图生成方法 - Google Patents

Abstract

本发明提供了一种智能汽车局部语义栅格地图生成方法，包括步骤：S01、构建语义栅格地图生成任务训练数据集；S02、构建语义栅格地图生成模型；S03、训练语义栅格地图生成模型；S04、部署语义栅格地图生成模型。本发明旨在通过以单帧激光雷达点云进行语义栅格地图构建，其继承了栅格地图在规划和决策的方面的优势特性，能够满足复杂驾驶环境下的需求。本发明所提出的语义栅格地图生成任务训练数据集构建方法能避免人工标注的效率底下的问题，实现训练数据的快速、高效构建，大量的训练数据是模型性能的基础保证。本发明所提出的语义栅格地图生成模型是一种轻量级、高效的深度学习模型，能够利用单帧稀疏的激光雷达点云构建车辆周围的语义栅格地图。

Description

一种智能汽车局部语义栅格地图生成方法

技术领域

本发明涉及栅格地图领域，尤其是涉及了一种智能汽车局部语义栅格地图生成方法。

背景技术

栅格地图将周围环境进行等间隔区域划分，用每个单元格的特性来表示环境信息，采用单元格被占据的概率值来表示的即为占有栅格地图。栅格地图具有易于创建、环境描述精细的特点，一般用于局部路径规划等模块。语义栅格地图(Road Grid Map,RGM)即以栅格地图表示的包含道路、车辆、行人、树木等多种类别的局部环境表示方法。栅格图中的每一个单元格的值表示其属于某一语义类别的概率，即

其中H_G和W_G为栅格图的长和宽，C为语义类别的个数。经典的占用栅格地图其单元格仅具有两种可能的状态：被占用或未被占用，因此没有足够的语义信息用于复杂驾驶环境下的自动驾驶。

对驾驶场景的充分理解和周围环境的可靠表示对智能汽车自动驾驶至关重要，为了达到这个目标，汽车必须配备一系列互补的传感器系统和足够的计算资源来提取相关信息。相机和激光雷达传感器是应用广泛的传感器，随着深度学习技术的发展，在图像和点云层面的语义分割技术取得了显著的成果。但是，图像和点云的表示形式并不能直接应用于自动驾驶规划控制系统。栅格地图作为常用的环境表示方法，是一种具有等间距单元结构的密集环境表示，与非结构化点云和透视视角的图像相比，栅格地图的表示形式非常适合传感器融合应用，且可以直接应用于后续的自动驾驶规划和控制子系统。

本发明针对复杂驾驶场景建模中环境要素的语义关联信息缺乏的问题，研究由激光雷达和视觉传感器融合进行多类别语义栅格地图构建的方法，即对局部栅格地图中的每个单元格估计一个语义类别。

发明内容

为了解决背景技术中所存在的问题，本发明提出了一种智能汽车局部语义栅格地图生成方法。

一种智能汽车局部语义栅格地图生成方法，包括步骤：

S01、构建语义栅格地图生成任务训练数据集；

S02、构建语义栅格地图生成模型；

S03、训练语义栅格地图生成模型；

S04、部署语义栅格地图生成模型。

基于上述，步骤S01包括如下步骤：

S011、采集点云数据和车辆定位数据；

S012、利用点云语义分割算法对采集的点云数据进行语义标注；

S013、对标注点云数据进行聚合以获取当前位置的密集点云数据；

S014、对语义点云进行坐标变换以获取栅格地图的语义标注；

S015、对语义栅格地图标签进行优化。

基于上述，对于步骤S02，利用二维卷积神经网络，把无规则的激光雷达点云数据作为输入数据，进行栅格化处理得到俯视视角下的多维度栅格属性特征，之后再通过多次的下采样、残差卷积和上采样处理后输出语义栅格地图生成模型。

基于上述，对于步骤S03，将语义栅格地图生成模型的训练任务视为多类别像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，使用自适应距估计优化器改善损失下降路径，以提高训练模型的性能。基于上述，利用点云分割算法离线处理所采集的点云数据，获取单帧点云语义分割标签，得到语义点云P＝{p_i|i＝1，，，N}，其中P_i＝(x_i，y_i，z_i，r_i，s_i)为其中一点，x_i、y_i和z_i为其坐标，r_i和s_i分别为其反射率和语义标签。

基于上述，对于步骤S013，根据相邻帧之间的定位信息，获取相邻帧之间的空间转换关系，将前后一定范围内的单帧点云聚合到当前帧上，获取密集的语义点云P^k＝{P_k-n，...，P_k，...，P_k+n}。

基于上述，将聚合点云栅格化，得到栅格属性图 G^k＝{c_ij|i＝1，...，H；j＝1，...，W}，以及每个单元格中包含的各个类别的点的数量

C_sd为总的类别集合，根据单元格中包含的点的类别设定该单元格的语义标签类别。

基于上述，通过DBSCAN算法对标签中的动态类别单元格进行聚类得到目标实例后，与单帧检测下的目标实例进行匹配，通过判断单帧点云中是否存在与之匹配的实例，对不可见目标的标注进行识别和筛除，以进行优化处理。

基于上述，所采用的目标函数为

其中，H和W分别为栅格图的长和宽；M为语义类别的数量；y和p 分别为预测值和真值；

其中，N_c和N分别为类别c的样本数量和所有类别的样本数量。

基于上述，根据设计的目标函数，采用Adam优化器进行无遮挡道路检测模型的参数优化，计算t时间步的梯度g_t

首先计算梯度的指数移动平均数m_t，并通过指数衰减率β₁控制动量与当前梯度的权重分配，其中m₀＝0，β₁取值为0.9，其更显公式如下

m_t＝β₁m_t-l+(1-β₁)g_t其次，计算梯度平方的指数移动平均数v_t，v₀＝0，β₂＝0.999为控制上一时刻的梯度平方的影响情况，其公式如下

再次，对m_t进行偏差纠正，降低偏差对训练初期的影响

对v_t进行纠正，降低偏差对训练初期的影响，其公式如下

最后，更新参数，设置默认学习率α＝0.001，ε＝10^-8以避免除数为 0，其公式如下

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：

1、本发明旨在通过以单帧激光雷达点云进行语义栅格地图构建。经典的占用栅格地图没有足够的语义信息用于复杂驾驶环境下的自动驾驶，其单元格仅具有两种可能的状态：被占用或未被占用。而本方法所构建语义栅格地图比经典的占用栅格地图具有更加丰富的语义特征，其继承了栅格地图在规划和决策的方面的优势特性，能够满足复杂驾驶环境下的需求。

2、本发明所提出的语义栅格地图生成任务训练数据集构建方法能避免人工标注的效率低下的问题，实现训练数据的快速、高效构建，大量的训练数据是模型性能的基础保证。

3、本发明所提出的语义栅格地图生成模型是一种轻量级、高效的深度学习模型，能够利用单帧稀疏的激光雷达点云构建车辆周围的语义栅格地图。

附图说明

图1是本发明的流程示意框图。

图2是本发明构建语义栅格地图生成任务训练数据集的流程示意框图。

图3是本发明道路分割模型架构的示意框图。

图4是本发明上下文卷积模块的示意图。

图5是本发明残差卷积模块的示意图。

图6是本发明上采样模块的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种智能汽车局部语义栅格地图生成方法，包括步骤：S01、构建语义栅格地图生成任务训练数据集；S02、构建语义栅格地图生成模型；S03、训练语义栅格地图生成模型；S04、部署语义栅格地图生成模型。

具体的：

1、构建语义栅格地图生成任务训练数据集

如图2所示，构建真实驾驶环境的密集的语义栅格地图是非常困难的，因为各种传感器信息都是对驾驶环境的离散化探测和表示。因此，本发明充分利用多帧之间的融合和现有的高效的激光点云语义分割算法实现密集的语义栅格地图训练数据的自动生成。

在搭载了激光雷达传感器和高精度定位传感器的车辆上，行驶在多样化的驾驶场景下，同时采集激光雷达点云数据和车辆定位数据。然后利用高精度的点云分割算法离线处理所采集的激光雷达点云数据，获取单帧激光雷达点云语义分割标签，得到语义点云 P＝{p_i|i＝1，，，N}，其中p_i＝(x_i，y_i，z_i，r_i，s_i)为其中一点，x_i、y_i和z_i为其坐标，r_i和s_i分别为其反射率和语义标签。然后根据相邻帧之间的定位信息，获取相邻帧之间的空间转换关系，将前后一定范围内的单帧激光雷达点云聚合到当前帧上，获取密集的语义激光雷达点云P^k＝{P_k-n，...，P_k，...，P_k+n}。

在此基础上，将聚合点云栅格化，得到栅格属性图 G^k＝{c_ij|i＝1，...，H；j＝1，...，W}以及每个单元格中包含的各个类别的点的数量

C_sd为总的类别集合，共包含12类，C_sd∈{道路，人行道，停车区，建筑物，栏杆，植被，地势，杆状物，车辆，两轮车，行人，骑行人}。具体来说，若单元格中包含车辆、两轮车、行人和骑行人等动态类别，则该单元的语义类别为相应的动态类别。若单元格中不包含动态类别，且不包含静态类别的点，则该单元格的语义类别为未知。单元格不包含动态类别，但包含静态类别，则将点数量最多的静态类别设为该单元格的语义标签类别。单元格的语义标签类别设定如以下公式所示：

基于聚合语义点云生成的动态语义标签包含感兴趣区域内的所有动态目标，但是，其中一些目标由于前景物体的遮挡，在当前帧的视角下是不可见的。因此，为了保证使用数据集进行模型训练时更加准确，需要在标签中去除这些不可见目标的标注，以进行语义栅格地图标签优化。

为了找到标注中的不可见目标，首先通过DBSCAN算法对标签中的动态类别单元格进行聚类得到目标实例，然后将之与单帧检测下的目标实例进行匹配，若单帧激光点云中存在与之匹配的实例，说明该目标在当前单帧视角下是可见的，反之则不可见。具体来讲，对于通过聚合语义点云获取的动态语义标签

获取包含动态目标的单元格索引的集合

以及通过单帧语义点云获取的动态语义标签

及其单元格索引集合

通过DBSCAN算法聚类分别得到聚类结果

和

对于D_i∈D¹，若存在D_j∈D²使得

则D_i是当前视角下的可见目标，反之则是不可见目标。

2、语义栅格地图生成模型构建

如图3所示，所构建的语义栅格地图生成模型包含以当前单帧激光雷达点云为输入，包含点云栅格化、输入层、下采样层、残差卷积层、上采样层和输出层等模块。其中输入层为单帧激光雷达点云，为了构建俯视视角下的语义栅格地图，同时利用高效的二维卷积神经网络，把无规则的激光雷达点云进行栅格化处理得到俯视视角下的多维度栅格属性特征图。具体地，将上述步骤中获取的逐点融合特征先根据栅格划分进行聚类，获取单元格维度的点集P_j＝{p_i|0＜i＜N}，其中 N为该单元格中的点的个数。由于激光雷达传感器的检测特性，各单元格包含的点数是不同的，且存在大量空单元格。为了规范单元格的数据大小，方便后续利用卷积神经网络运算，需对单元格中的点的数量进行统一。根据所采用激光雷达的特点，采用N_t作为阈值，对于多于N_t个点的单元格，随机采样其中N_t个点；对于少于N_t个点的单元格，进行补零扩充。然后，采用一个多层感知器对每个柱素中的所有点进行特征提取，得到多维度栅格属性特征图。

下采样层通过步长为2的上下文卷积模块实现对输入特征的下采样。所述下采样层如图4所示，增加了一个上下文分支，和主干卷积并行，首先采用1×1卷积和Softmax函数得到注意力权重，然后进行注意力池化，得到特征层的全局上下文特征；然后将全局上下文特征通过1×1卷积进行变换，并加入到主干卷积的特征图中。残差卷积模块如图5所示，其通过在卷积运算两端增加跳跃连接来减轻梯度消失问题，利于提取更深的层次的特征。上采样层如图6所示，其利用上下文卷积模块和双线性上采样操作将两个特征图有效地结合，先将两个特征图的两个分支沿通道进行合并，并对合并后的特征图再用一个上下文卷积模块处理。在整个模型中上采样模块依次由深层特征到浅层特征级联，当前上采样模块利用了前一级的结果和相应的解码特征，使得上采样操作更加高效。

3、训练语义栅格地图生成模型

利用构建的训练集对构建的语义栅格地图生成模型进行训练，算法将该任务视为多类别像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，使用自适应距估计优化器改善损失下降路径，提高训练模型性能。由于语义栅格地图构建任务中类别样本存在较为严重的类别不平衡问题，针对每个类别赋予一个权重以平衡不同类别的损失值，各类别的权重通过统计数据集中所有类别的单元格数量计算得出。所采用的目标函数为

其中，H和W分别为栅格图的长和宽；M为语义类别的数量；y 和p分别为预测值和真值。

其中，N_c和N分别为类别c的样本数量和所有类别的样本数量。

根据设计的目标函数，采用Adam优化器进行无遮挡道路检测模型的参数优化。计算t时间步的梯度：

首先计算梯度的指数移动平均数m_t，m₀＝0，并通过指数衰减率β₁控制动量与当前梯度的权重分配，β₁取值为0.9，其更显公式如下：

m_t＝β₁m_t-1+(1-β₁)g_t

其次，计算梯度平方的指数移动平均数v_t，v₀＝0，β₂＝0.999为控制上一时刻的梯度平方的影响情况。其公式如下：

再次，对m_t进行偏差纠正，降低偏差对训练初期的影响

然后，对v_t进行纠正，降低偏差对训练初期的影响，其公式如下：

最后，更新参数，设置默认学习率α＝0.001，ε＝10^-8以避免除数为0，其公式如下：

4、部署语义栅格地图生成模型

在车载控制器上部署语义栅格地图生成模型，通过车载激光雷达传感器采集车辆前方道路点云数据，输入到所部署的语义栅格地图生成模型，得到车辆的局部栅格地图中每个单元格的语义类别预测值，实时构建车辆周围区域的语义栅格地图。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种智能汽车局部语义栅格地图生成方法，其特征在于，包括步骤：

S01、构建语义栅格地图生成任务训练数据集；

S02、构建语义栅格地图生成模型；

S03、训练语义栅格地图生成模型；

S04、部署语义栅格地图生成模型。

2.根据权利要求1所述的智能汽车局部语义栅格地图生成方法，其特征在于，步骤S01包括如下步骤：

S011、采集点云数据和车辆定位数据；

S012、利用点云语义分割算法对采集的点云数据进行语义标注；

S013、对标注点云数据进行聚合以获取当前位置的密集点云数据；

S014、对语义点云进行坐标变换以获取栅格地图的语义标注；

S015、对语义栅格地图标签进行优化。

3.根据权利要求1所述的智能汽车局部语义栅格地图生成方法，对于步骤S02，其特征在于：利用二维卷积神经网络，把无规则的激光雷达点云数据作为输入数据，进行栅格化处理得到俯视视角下的多维度栅格属性特征，之后再通过多次的下采样、残差卷积和上采样处理后输出语义栅格地图生成模型。

4.根据权利要求1所述的智能汽车局部语义栅格地图生成方法，对于步骤S03，其特征在于：将语义栅格地图生成模型的训练任务视为多类别像素级分类问题，设置训练超参数，然后设置自适应距估计Adam优化器，采用交叉熵损失函数作为目标函数改善模型的收敛结果，使用自适应距估计优化器改善损失下降路径，以提高训练模型的性能。

5.根据权利要求2所述的智能汽车局部语义栅格地图生成方法，其特征在于：利用点云分割算法离线处理所采集的点云数据，获取单帧点云语义分割标签，得到语义点云P＝{p_i|i＝1，，，N}，其中p_i＝(x_i，y_i，z_i，r_i，s_i)为其中一点，x_i、y_i和z_i为其坐标，r_i和s_i分别为其反射率和语义标签。

6.根据权利要求2所述的智能汽车局部语义栅格地图生成方法，其特征在于：对于步骤S013，根据相邻帧之间的定位信息，获取相邻帧之间的空间转换关系，将前后一定范围内的单帧点云聚合到当前帧上，获取密集的语义点云P^k＝{P_k-n，...，P_k，...，P_k+n}。

7.根据权利要求2所述的智能汽车局部语义栅格地图生成方法，其特征在于：将聚合点云栅格化，得到栅格属性图G^k＝{c_ij|i＝1，...，H；j＝1，...，W}，以及每个单元格中包含的各个类别的点的数量

C_sd为总的类别集合，根据单元格中包含的点的类别设定该单元格的语义标签类别。

8.根据权利要求2所述的智能汽车局部语义栅格地图生成方法，其特征在于：通过DBSCAN算法对标签中的动态类别单元格进行聚类得到目标实例后，与单帧检测下的目标实例进行匹配，通过判断单帧点云中是否存在与之匹配的实例，对不可见目标的标注进行识别和筛除，以进行优化处理。

9.根据权利要求4所述的智能汽车局部语义栅格地图生成方法，其特征在于：所采用的目标函数为

其中，H和W分别为栅格图的长和宽；M为语义类别的数量；y和p分别为预测值和真值；

其中，N_c和N分别为类别c的样本数量和所有类别的样本数量。

10.根据权利要求4所述的智能汽车局部语义栅格地图生成方法，其特征在于：根据设计的目标函数，采用Adam优化器进行无遮挡道路检测模型的参数优化，计算t时间步的梯度g_t

首先计算梯度的指数移动平均数m_t，并通过指数衰减率β₁控制动量与当前梯度的权重分配，其中m₀＝0，β₁取值为0.9，其更显公式如下

m_t＝β₁m_t-1+(1-β₁)g_t

其次，计算梯度平方的指数移动平均数v_t，v₀＝0，β₂＝0.999为控制上一时刻的梯度平方的影响情况，其公式如下

再次，对m_t进行偏差纠正，降低偏差对训练初期的影响

对v_t进行纠正，降低偏差对训练初期的影响，其公式如下

最后，更新参数，设置默认学习率α＝0.001，ε＝10^-8以避免除数为0，其公式如下

Images