CN115128628A - 基于激光slam和单目视觉的道路栅格地图构建方法 - Google Patents

Abstract

本发明提出了一种基于激光SLAM和单目视觉的道路栅格地图构建方法，能够在建图的同时采集道路区域信息，并在建图完成后自动完成栅格地图的构建，建图流程占用的计算资源少，建图精度较高。本发明利用激光SLAM在多帧点云采集时的局部重匹配技术，极大削减了相对位姿计算的累计误差，提高了栅格地图的建图精度；使用单目视觉进行道路检测，对道路边界较为平整或细粒度较高的情形检测精度远高于激光雷达。

Description

基于激光SLAM和单目视觉的道路栅格地图构建方法

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于激光SLAM和单目视觉的道路栅格地图构建方法。

背景技术

环境感知、规划决策、车辆控制是自动驾驶领域的三大重要技术。其中环境感知是无人车规划与决策的基础，也是城市自动驾驶中技术难度最高的领域。道路检测是环境感知领域较为基础的一项工作，同时也是无人车路径规划的基础和安全行驶的基本保障。在自动驾驶领域，为实现全局路径规划和高动态环境下的局部路径规划，一套成熟的自动驾驶方案往往会采用高精度地图和实时道路检测相结合的方式完成城市道路的路径规划。机器人使用的地图可以分为三大类：尺寸地图、拓扑地图和语义地图。栅格地图是无人车较常使用的一种尺寸地图，相较于拓扑地图和语义地图，栅格地图详细地表征了地图中可行驶区域和障碍物的轮廓，为不同几何形状和最小转弯半径的无人车提供了统一的路径规划依据。绝大多数的路径规划算法例如Dijkstra、A^*、蚁群算法均可在栅格地图上使用。

道路地图构建牵涉到的技术主要有道路检测、定位和建图。常用的道路检测方法主要分为基于机器视觉的和基于激光雷达的两种。基于机器视觉的道路检测方案按传感器划分可分为单目相机、双目相机和深度相机三种。单目相机方案成本较低，计算资源消耗少。但由于无法获得图像深度的原因无法获得图像中物体的尺寸(尺度不确定性)；双目相机方案弥补了尺度不确定性的问题，计算机可根据左右相机的视差计算出图像中每个点的图像深度。然而其测量精度受限于双目相机的基线和分辨率，另外视差的计算非常消耗计算资源；深度相机方案与双目方案一样可以获得尺度信息，相较于双目方案，其获取图像深度的方式是通过发射-接收的硬件系统直接实现的，节省了软件计算资源。但该方案是有源测量，在室外工作时易受太阳光干扰，同时测量范围较窄。基于激光雷达的道路检测方案按传感器划分可分为2D机械激光雷达(以下简称2D激光雷达)、3D机械激光雷达(以下简称3D激光雷达)和固态激光雷达三种。2D激光雷达方案成本较低，通过测量周期性扫描激光点的距离可获得360°视角。但提供的2维点云信息信息量过少，且存在运动畸变，仅适合室内地面较为平整的简单环境；3D激光雷达与2D激光雷达的原理类似，在360°周期性扫描时通过测量多对激光点的距离获得三维空间的离散距离信息。相较于2D激光雷达虽然能提供3维点云信息，但相较于图像信息信息量仍然较少，对不同颜色的物体几乎没有区分度，对较小的物体容易出现漏检，且同样存在运动畸变的问题。固态激光雷达一般可提供高密度、有限扫描角度(小于360°)的点云信息，较上述两种激光雷达没有运动畸变，凭借分辨率较高的优势不容易漏检较小的物体，且结构尺寸较小。但与机械式激光雷达相比却存在扫描角有限、旁瓣效应等问题，且同样存在不具备颜色区分度的问题。

SLAM是解决定位和建图的常用手段，由于建图是实时进行的，因此不需要存储每一帧采集的数据(图像或点云)，大幅节省了存储空间，但也对算法的实时性提出了更高地要求。SLAM按传感器划分分为基于视觉的和基于激光点云的，视觉SLAM的算法按照传感器划分也分为单目相机、双目相机和深度相机三大类。ORB-SLAM是三大类算法中最常使用的SLAM算法，其建立的地图由一系列的视觉特征点组成；激光SLAM常用的算法有LOAM、cartographer、gmapping等，其建立的地图由一个完整的地图点云构成。无论是视觉SLAM还是激光SLAM，直接从SLAM建立的地图中人工标注出道路的区域信息或矢量图信息都是一项非常繁琐且精度不高的工作。

发明内容

有鉴于此，本发明提出了一种基于激光SLAM和单目视觉的道路栅格地图构建方法，能够在建图的同时采集道路区域信息，并在建图完成后自动完成栅格地图的构建，建图流程占用的计算资源少，建图精度较高。

为实现上述目的，本发明的技术方案为：

本发明的一种基于激光SLAM和单目视觉的道路栅格地图构建方法，具体步骤如下：安装3D激光雷达和单目相机；对单目相机和3D激光雷达进行联合标定，获得相机的内参矩阵和激光雷达坐标系到单目相机坐标系的转换矩阵；采集需要建图的路段的图像和激光点云，并记录下采集时刻的时间戳，再对采集的图像和点云进行时间同步获得最终图像以及最终点云数据对；标定所述最终图像中道路区域作为深度学习的样本标签，并用其训练深度学习模型，获得待检测路段的语义分割模型；对所述最终点云数据对中的激光点云利用激光SLAM算法获得当前帧点云相对于第一帧的相对位姿，根据相对位姿进行点云叠加得到全局点云地图；根据语义分割模型获得图像中的道路区域，利用所述内参矩阵和所述转换矩阵将每一帧点云投影到图像中，通过语义分割模型预测的图像掩膜筛选出位于道路的点云并进行降采样，得到单帧道路点云；利用所述相对位姿将所述单帧道路点云变换到全局地图坐标系下，将变换到全局坐标系的道路点云按帧叠加获得全局道路点云地图；将全局道路点云地图转换为全局二值化栅格地图。

其中，将全局道路点云地图转换为全局二值化栅格地图前，设置二值栅格地图的栅格大小和栅格单元的占有度阈值，通过阈值将全局道路点云地图转换为全局二值化栅格地图。

其中，训练深度学习模型时，按照录制的时间顺序，进行等间隔标注，标注方式为框选道路区域的轮廓多边形，并将标注过的样本划分为训练集和验证集分别用于模型训练和模型选择；采用ResNet作为骨架网络的卷积神经网络进行训练样本。

其中，利用激光SLAM算法时，所述激光SLAM算法为LOAM算法，选择训练的深度卷积神经网络作为单目视觉的道路检测器；利用激光里程计粗匹配得到的相邻帧的刚性变换矩阵进行当前帧的点云运动畸变矫正；通过将当前帧点云与局部点云地图进行局部重匹配得到相对位姿矩阵。

其中，采用离散化的点云投票算法将全局道路点云转换为全局二值化栅格地图，具体步骤如下：

建立满足全局道路点云最大尺寸的整型稀疏矩阵；

采用点云离散投票的方式统计全局道路点云落入每个栅格的个数；

通过点云在栅格单元的个数阈值生成二值化的道路栅格地图，采用布尔型稀疏矩阵存储该地图。

有益效果：

本发明利用激光SLAM在多帧点云采集时的局部重匹配技术，极大削减了相对位姿计算的累计误差，提高了栅格地图的建图精度；使用单目视觉进行道路检测，对道路边界较为平整或细粒度较高的情形检测精度远高于激光雷达。

本发明能够实现较小规模的道路栅格地图的自动化构建，不需要GPS和INS参与定位，对于位置偏僻、卫星信号较差的野外道路建图情形仍然适用，对于未安装GPS模块或INS模块的无人车仍然适用。

本发明语义分割模型识别的是道路区域，因而对于拓扑关系较为复杂的道路仍然适用。

附图说明

图1为本发明步骤一中相机与3D激光雷达的安装坐标系示意图。

图2为本发明步骤四中人工标记图像道路区域的轮廓多边形示意图。

图3为本发明步骤六中语义分割网络识别的道路区域示意图。

图4为本发明阐述的基于LOAM的栅格地图建图系统的系统框图。

图5为本发明步骤六中得到的单帧道路点云示意图。

图6为说明书步骤七中得到的全局道路点云地图。

图7为说明书步骤八中得到的全局二值栅格地图。

其中，1-3D激光雷达及其坐标系；2-单目相机及其坐标系；3-人工标注的图像中道路区域的多边形轮廓；4-图像中的道路部分；5-语义分割模型识别的道路区域。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种激光SLAM和单目视觉相结合的一体化建图方案，该方案在建图的同时采集道路区域信息，并在建图完成后自动完成栅格地图的构建，建图流程占用的计算资源少，建图精度较高，为后续无人车的全局路径规划和辅助全局定位打下了基础。本发明旨在解决较小规模的道路栅格地图的自动化构建问题，提出了一种基于激光SLAM和单目视觉的道路二值化栅格地图的构建方法。

根据本发明的实施例的基于激光SLAM和单目视觉的道路二值栅格地图构建方法，具体步骤如下：

步骤一：在车体上安装前视单目相机和3D激光雷达，单目相机的坐标系x_c-y_c-z_c和激光雷达的坐标系x_l-y_l-z_l如图1所示。

步骤二：利用标定板对单目相机和3D激光雷达进行联合标定，获得相机的内参矩阵和激光雷达坐标系x_l-y_l-z_l到单目相机坐标系x_c-y_c-z_c的转换矩阵(外参矩阵)。

步骤三：采集需要建图的路段的图像和激光点云(每条支路路段至少采集一次)，并记录下采集时刻的时间戳，再对采集的图像和点云进行时间同步获得最终图像以及最终点云数据对。

步骤四：人工标记所述最终图像中的道路区域作为样本的标签供深度卷积神经网络训练，获得待检测路段的基于单目视觉的语义分割模型。

优选地，步骤四具体包括：

S41：控制无人车行驶待检测道路上，同步采集单目相机的图像和3D激光雷达的点云，需保证需要检测的道路网络上每条道路至少走过一次。

S42：根据录制的时间顺序，选择人工标记间隔N，每隔N次即人工标注一次图像中的道路区域作为样本标签。人工标记的道路区域多边形轮廓如图2所示，根据多边形轮廓计算出道路区域的二值化掩膜得到可供神经网络学习的样本标签，并最终的样本随机划分为80％的训练集和20％的验证集，分别用于模型训练和模型选择。

S43：选择DeepLabV3神经网络(骨架网络采用ResNet18)进行训练，优化器选择带动量因子的随机梯度下降算法，学习率调整策略选择多项式策略。带动量因子的随机梯度下降算法公式为：

v←αv-∈g

θ←θ+v

其中m为随机梯度下降算法中的batch大小，θ为网络中的某参数，L为损失函数，x⁽ⁱ⁾为样本，y⁽ⁱ⁾为标签，∈为学习率，α为阻尼因子，f(x⁽ⁱ⁾；θ)表示神经网络在参数为θ，样本输入为x⁽ⁱ⁾时的输出。

多项式(学习率调整)策略的公式如下：

其中γ为多项式指数，l为当前学习率，l_min为最小学习率，s_i为当前学习代数，s_max为最大衰减代数。

S44：根据道路复杂度选择合适的训练代数，每隔M代测试一次网络在验证集的指标。验证集指标选择道路类别的IoU指标，其计算公式如下：

训练完成后，选择验证集IoU指标最高的模型参数作为最终参数，神经网络预测道路区域示意图如图3所示(白色-道路区域，黑色-非道路区域)，设其二值化图像掩膜为B_road(1-道路，0-非道路)。

步骤五：对所述最终点云数据对中的激光点云利用激光SLAM算法获得当前帧点云相对于第一帧的相对位姿(定位)，根据相对位姿进行点云叠加得到全局点云地图(建图)。

优选地，步骤五具体包括：

S51：选用LOAM作为激光SLAM算法，采用步骤四训练的深度卷积网络作为单目视觉的道路检测器。

S52：采用相邻帧的刚性变换矩阵(初始设为单位矩阵即可)进行当前帧点云的运动畸变矫正，根据LOAM算法的匀速运动假设，运动畸变矫正的公式如下：

P′_i＝T_(k+1，i)P_i

P_i＝[x_i，y_i，z_i，1]^T，P′_i＝[x′_i，y′_i，z′_i，1]^T

其中x_i，y_i，z_i和x′_i，y′_i，z′_i分别为是当前帧点云在矫正前后扫描到第i角度时的单个点的三维坐标(由于同一扫描角度上的点矫正公式一致，因此公式上以单个点为例)，P_i、P′_i分别为其增广向量，T_k+1为相邻帧的变换矩阵，t_k+1、t_k分别为当前帧和上一帧点云完成扫描的时刻点，t_i为当前帧点云扫描到第i角度的时刻点。

S53：对S52中矫正后的点云进行特征点提取，分别筛选出平面点和边沿点，结合上一帧点云的平面点和边沿点，利用LOAM中的激光里程计粗匹配算法得到相邻帧的刚性变换矩阵，用于更新S52中的对应矩阵。

S54：将S53中提取的特征的点云通过相对位姿(相对于第一帧的，初始值设为单位矩阵)进行帧间叠加形成局部特征点云地图(局部点云地图)，再送入激光建图器中进行全局特征点云地图(全局点云地图)的构建。激光建图器会根据局部点云地图在全局点云地图中的位置删减超出局部立方体区域L_u×W_i×H_u的局部点云地图。

S55：利用S53中提取的特征点云与局部点云地图作局部重匹配(局部重匹配的算法原理与S53中的相同，仅将上一帧点云替换为了局部点云地图)，得到更加精确的(相对于第一帧的)相对位姿，并对S54中使用的相对位姿矩阵进行更新。

步骤六：利用步骤四获得的语义分割模型获得图像中的道路区域，利用步骤二标定的内参矩阵和外参矩阵将每一帧点云投影到图像中，通过语义分割模型预测的图像掩膜筛选出位于道路的点云并进行降采样，得到单帧道路点云。

优选地，步骤六具体包括：

采用S51中所述道路检测器对同步帧中的图像进行道路区域语义分割，将S52矫正后的点云投影到语义分割的图像(如图3)中，得到位于道路区域内的投影点云序号，根据这些序号筛选出矫正后的点云中的道路点云部分(如图5)。具体算法用公式表示如下：

设矫正后点云中的一点为P′_i＝[x′_i，y′_i，z′_i，1]^T，图像尺寸为H_I×W_I,步骤二得到的坐标系x_l-y_l-z_l到坐标系x_c-y_c-z_c的外参矩阵为M_E，得到的相机内参矩阵为M_I，其中

将点云三维坐标点投影到图像坐标

的公式如下：

其中int(·)表示取整运算。

若

不满足条件

且

则直接将该点舍弃；若满足,则代入S43中的二值化图像掩膜B_raod中，若

则保留点P′_i，否则舍弃。对矫正后点云的每个点均进行上述操作，即可得到单帧道路点云(如图5)。

步骤七：利用步骤五获得的相对位姿将所述单帧道路点云变换到全局地图坐标系下(第一帧点云的位姿为原点)，将变换到全局坐标系的道路点云按帧叠加获得全局道路点云地图。

优选地，步骤七具体包括：

选择合适的叶子结点尺寸，对步骤六得到的单帧道路点云进行体素降采样，再将降采样后的单帧道路点云通过S55得到的相对位姿叠加到全局道路点云地图中。由于该步骤使用的相对位姿与S55中一致，不需要S55中的局部重匹配环节，因此可省略局部道路点云这个过渡步骤。最终得到的全局道路点云地图如图6所示。由于单目相机的视野受限，单帧道路点云呈扇形分布。但通过多帧叠加后的道路点云，可以得到近似于道路区域分布的道路点云。根据一般轮式无人车的需要，仅保留点云在X轴和Y轴方向的信息即可。

步骤八：设置二值栅格地图的栅格大小和栅格单元的占有度阈值，将全局道路点云地图转换为全局二值栅格地图。

优选地，步骤八采用离散化的点云投票算法将全局道路点云转换为全局二值化栅格地图，其具体步骤如下：

S81：计算全局道路点云在X轴和Y轴上的最大和最小值，分别记为x_max，x_min，y_max，y_min，设栅格地图的栅格单元大小为C_W×C_H。建立尺寸为int((x_max-x_min+1)/C_W)×int(y_max-y_min+1/C_H)为稀疏矩阵S，稀疏矩阵的存储类型为整型。

S82：对于全局道路点云的每个点

进行如下的归一化变换：

S83：将点云归一化坐标所对应的稀疏矩阵S的位置数值+1，即

对全局点云的每个点均进行此操作，得到道路点云投票系数矩阵S。

S84：选择栅格单元的点云数目阈值N_th，设二值化栅格地图的存储系数矩阵为S_b，存储类型为布尔型。对于稀疏矩阵S每个不为0的单元S(i，j)，若S(i，j)≥N_th，则S_b(i，j)＝1。得到二值化栅格地图的稀疏矩阵S_b，二值化栅格地图如图7所示(道路栅格图中显示为灰色，实际为绿色)。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于激光SLAM和单目视觉的道路栅格地图构建方法，其特征在于，具体步骤如下：安装3D激光雷达和单目相机；对单目相机和3D激光雷达进行联合标定，获得相机的内参矩阵和激光雷达坐标系到单目相机坐标系的转换矩阵；采集需要建图的路段的图像和激光点云，并记录下采集时刻的时间戳，再对采集的图像和点云进行时间同步获得最终图像以及最终点云数据对；标定所述最终图像中道路区域作为深度学习的样本标签，并用其训练深度学习模型，获得待检测路段的语义分割模型；对所述最终点云数据对中的激光点云利用激光SLAM算法获得当前帧点云相对于第一帧的相对位姿，根据相对位姿进行点云叠加得到全局点云地图；根据语义分割模型获得图像中的道路区域，利用所述内参矩阵和所述转换矩阵将每一帧点云投影到图像中，通过语义分割模型预测的图像掩膜筛选出位于道路的点云并进行降采样，得到单帧道路点云；利用所述相对位姿将所述单帧道路点云变换到全局地图坐标系下，将变换到全局坐标系的道路点云按帧叠加获得全局道路点云地图；将全局道路点云地图转换为全局二值化栅格地图。

2.如权利要求1所述的方法，其特征在于，将全局道路点云地图转换为全局二值化栅格地图前，设置二值栅格地图的栅格大小和栅格单元的占有度阈值，通过阈值将全局道路点云地图转换为全局二值化栅格地图。

3.如权利要求1或2所述的方法，其特征在于，训练深度学习模型时，按照录制的时间顺序，进行等间隔标注，标注方式为框选道路区域的轮廓多边形，并将标注过的样本划分为训练集和验证集分别用于模型训练和模型选择；采用ResNet作为骨架网络的卷积神经网络进行训练样本。

4.如权利要求3所述的方法，其特征在于，利用激光SLAM算法时，所述激光SLAM算法为LOAM算法，选择训练的深度卷积神经网络作为单目视觉的道路检测器；利用激光里程计粗匹配得到的相邻帧的刚性变换矩阵进行当前帧的点云运动畸变矫正；通过将当前帧点云与局部点云地图进行局部重匹配得到相对位姿矩阵。

5.如权利要求1、2或4所述的方法，其特征在于，采用离散化的点云投票算法将全局道路点云转换为全局二值化栅格地图，具体步骤如下：

建立满足全局道路点云最大尺寸的整型稀疏矩阵；

采用点云离散投票的方式统计全局道路点云落入每个栅格的个数；

通过点云在栅格单元的个数阈值生成二值化的道路栅格地图，采用布尔型稀疏矩阵存储该地图。

Images