CN111105495A

CN111105495A - 一种融合视觉语义信息的激光雷达建图方法及系统

Info

Publication number: CN111105495A
Application number: CN201911177868.8A
Authority: CN
Inventors: 彭倍; 谷冀嘉; 何瑜
Original assignee: Sichuan Artigent Robotics Equipment Co ltd
Current assignee: Sichuan Artigent Robotics Equipment Co ltd
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2020-05-05

Abstract

本发明公开了一种融合视觉语义信息的激光雷达建图方法及系统，其中，方法包括：通过激光雷达和相机分别获取环境的激光扫描点和图像；对所述激光扫描点进行聚类，得到激光簇；对所述图像进行识别，得到物体在图像中的目标检测框；将所述激光簇与所述物体在图像中的目标检测框进行融合，得到语义激光数据；根据所述语义激光数据筛选出静态物体对应的激光扫描点，基于静态物体对应的激光扫描点构建地图。本发明通过将图像信息与激光雷达扫描数据进行融合，通过去除动态物体对应的激光扫描点从而减少动态物体给激光雷达建图造成的影响，提高地图的准确度，从而使机器人能够根据构建的地图进行导航和定位。

Description

一种融合视觉语义信息的激光雷达建图方法及系统

技术领域

本发明涉及激光雷达建图领域，特别涉及一种融合视觉语义信息的激光雷达建图方法及系统。

背景技术

在激光雷达建图的过程中，由于环境中存在的人、车等动态物体会被激光雷达扫描到地图中，因此，这样构建出来的地图准确度不高，使机器人不能准确在地图中进行导航定位，且通常情况下，通过视觉信息融合激光雷达来进行去除动态物体的过程中，所采用的算法计算量较大，很难达到实时性要求。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种融合视觉语义信息的激光雷达建图方法及系统。

为了实现上述发明目的，本发明提供了以下技术方案：

一种融合视觉语义信息的激光雷达建图方法，包括以下步骤：

步骤1：通过激光雷达和相机分别获取环境的激光扫描点和图像；

步骤2：对所述激光扫描点进行聚类，得到激光簇；对所述图像进行识别，得到物体在图像中的目标检测框；

步骤3：将所述激光簇与所述物体在图像中的目标检测框进行融合，得到语义激光数据；

步骤4：根据所述语义激光数据筛选出静态物体对应的激光扫描点，基于所述静态物体对应的激光扫描点构建地图。

优选的，所述步骤2中，对所述激光扫描点进行聚类，得到激光簇，包括：

步骤201：基于所述激光扫描点的深度值，计算相邻两个所述激光扫描点之间的深度差值；

步骤202：计算相邻两个所述深度差值之间的差，得到相邻深度差值的差；

步骤203：基于聚类参数对所述深度差值、所述深度差值的差分别进行比较，得到所述激光扫描点的聚类标签；根据所述激光扫描点的所述聚类标签得到激光簇。

优选的，根据所述激光扫描点的所述聚类标签得到激光簇，包括：将所述激光扫描点的聚类标签与所述激光扫描点的角度值、深度值相结合，得到所述激光簇。

优选的，所述步骤2中，利用目标检测算法建立物体检测模型对所述图像进行识别。

优选的，所述步骤3包括：

步骤301：将所述激光簇投影到相机平面；

步骤302：对所述激光簇的中心点标记聚类标签；

步骤303：对所述目标检测框中的所述激光扫描点标记物体标签；

步骤304：通过所述激光扫描点的所述物体标签判断所述激光簇的物体标签；

步骤305：计算所述激光簇对应的各个所述物体标签的概率；

步骤306：对每个所述激光扫描点标记对应的所述物体标签和所述物体标签的概率，得到语义激光数据。

优选的，所述语义激光数据包括所述激光扫描点的角度数据、深度数据、聚类数据、物体标签数据和物体标签概率数据。

优选的，所述步骤4中，采用粒子滤波算法构建地图。

本发明还公开了一种融合视觉语义信息的激光雷达建图系统，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的一种融合视觉语义信息的激光雷达建图方法。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现上述的一种融合视觉语义信息的激光雷达建图方法。

与现有技术相比，本发明的有益效果：

本发明通过将图像信息与激光雷达扫描数据进行融合，能够识别出动态物体对应的激光扫描点，在激光建图过程中去除动态物体的影响，提高了地图的准确度，从而使机器人能够根据构建的地图准确进行导航和定位，在融合过程中，本发明采用的激光扫描点聚类算法简单，减少了激光扫描点处理过程的计算量，提高实时性。

附图说明：

图1是本发明实施例1所述的一种融合视觉语义信息的激光雷达建图方法的框图。

图2是本发明实施例2所述的一种融合视觉语义信息的激光雷达建图系统的结构示意图。

图中标记：310-电子设备，311-处理器，312-存储器，313-输入输出接口，314-电源。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

如图1所示，一种融合视觉语义信息的激光雷达建图方法，包括以下步骤：

本实施例中，在机器人上同时搭载激光雷达与相机，利用激光雷达扫描周围环境获取周围环境的激光扫描点，利用相机收集周围环境信息获取周围环境的图像。

在通常情况下，落在同一个物体上得到的激光扫描点的索引总是相邻的，而且其距离变化总是平滑的。基于这个条件，本实施例提出一种聚类假设：

第i个激光扫描点X_i总是与第i-1个激光扫描点X_i-1或者第i+1个激光扫描点X_i+1为同一类，否则X_i单独为一个类；同一类激光扫描点的深度d的大小总是相似的，或者d的大小变化总是平滑的。

基于上述假设，本实施例对所述激光扫描点进行聚类，得到激光簇，包括：

步骤201：基于所述激光扫描点的深度值，计算相邻两个激光扫描点之间的深度差值；

在实验环境下，对于所述激光扫描点X_i，其中i∈[0,n]，计算相邻激光扫描点之间的深度差值：

α_i＝d_i+1-d_i，i∈[0，n-1]

其中，n为激光扫描点的个数，d_i为第i激光扫描点的深度值，α_i为第i与i+1激光扫描点的深度差值。

在实验环境下，基于所述步骤201得到的深度差值，计算相邻深度差值的差：

β_i＝α_i+1-α_i，i∈[0，n-2]

其中，β_i为相邻深度差值的差，i∈[0，n-2]。

所述聚类参数表示相邻激光扫描点的最大变化程度，使用不同激光雷达传感器时，需要根据传感器的精度和实际实验获得；

在实验环境下，设定激光扫描点的聚类标签l_i的初始值0，计数器c＝0，将聚类参数

分别与所述深度差值α_i、深度差值的差β_i进行比较：

当比较结果为：

且

i∈[0，n-2]，

则c＝c+1，l_i＝c，否则l_i＝c；

将激光扫描点的聚类标签与激光扫描点的角度值、深度值相结合，得到激光簇，激光簇L可以表示为：

L＝{(θ₁，d₁，l₁)，(θ₂，d₂，l₂)，...，(θ_n，d_n，l_n)}。

本实施例中，利用目标检测算法建立物体检测模型对所述图像进行识别。

具体的，采用SSD(single shot multibox detector)目标检测算法，在速度上，SSD比YOLO还要快，在检测精度上，SSD可以和Faster R-CNN相媲美，SSD的核心是在特征图上采用卷积核来预测一系列default bounding boxes(默认矩形框)的类别分数、偏移量，为了提高检测准确率，在不同尺度的特征图上进行预测，此外，还得到具有不同aspectratio(纵横比)的结果，这些改进设计，实现了end-to-end(端到端)训练，并且，即使图像的分辨率比较低，也能保证检测的精度，在不同的数据集，如：PASCAL VOC、MS COCO、ILSVRC，对该方法的检测速度、检测精度进行了测试，并且与其他的方法进行了对比，效果良好。

利用SSD目标检测算法建立物体检测模型，包括：

建立数据集和标注图片，在实验环境中获得大量的物体图片，对物体图片进行标注，包括物体名称和ID号(即物体标签)，标注完毕后生成训练集图片文件夹和测试集图片文件夹；配置深度学习框架caffe(Convolutional Architecture for Fast FeatureEmbedding)；利用训练集图片文件夹和测试集图片文件夹训练并检验SSD网络，得到物体检测模型。在对物体图片进行标注的过程中，每一种类的物体都有固定的物体标签，假定物体是动态物体，比如对于人，标注的物体标签为1，比如对于狗，标注的物体标签为2，假定物体是静态物体，比如对于道路，标注的物体标签为3，比如对于房屋，标注的物体标签为4。

利用物体检测模型对相机获取的图像进行目标检测，得到物体在图像中的目标检测框，从而得到物体标签信息{k₁,k₂,…,k_m}，标签概率{p₁,p₂,…,p_m}，位置信息{(x₁,y₁),(x₂,y₂),…,(x_m,y_m)}，以及大小信息{(h₁,w₁),(h₂,w₂),…,(h_m,w_m)}，其中，位置信息表示第i个物体的检测框中心点在图像中的像素位置，大小信息表示第i个物体的检测框在图像中的高和宽，m为通过目标检测获得的物体个数。

基于所述步骤2，利用公式：

计算得到相机坐标系下第i个物体的方向信息，包括水平夹角γ_i和垂直夹角μ_i，其中，(O_x,O_y)为图像中心点坐标，W和H为图像宽度和长度，V_x是相机水平方向有效视角大小，V_y是垂直方向有效视角大小。

得到的γ_i和μ_i为物体检测框中心点在相机坐标系下的方向角度信息，物体检测框中心点可认为是物体在图像平面上投影的中心点，而激光雷达扫描点已经包含物体方向角度和深度信息，通过聚类将同一物体上激光扫描点聚为一类，得到多类激光簇，每一类激光簇都有一个中心，即激光簇中心处的激光扫描点坐标，包括一个深度和一个角度，激光簇的中心点同样可认为是物体中心点。因此，可通过两个中心处将所述激光簇与所述物体在图像中的目标检测框进行融合，主要分为以下几步：

步骤301：将所述激光簇投影到相机平面；

本实施例中，由于相机平面和激光平面不同，为了使两个数据融合，需要将激光数据投影到相机平面，因此本实施例将激光簇投影到相机平面。

步骤302：对所述激光簇的中心点标记聚类标签；

选取相机视觉范围内的激光簇并计算它们的中心点，结合它们的聚类标签得到{(l₁,o₁),(l₂,o₂),…,(l_n,o_n)}，其中，o_i为极坐标表示的激光簇中心点坐标，l_i为激光扫描点的聚类标签。

给目标检测框中的激光扫描点标记对应的物体标签，当检测框重叠时，则一个激光扫描点对应多个物体标签。

若第j个激光簇中对应物体标签为k_j的激光扫描点数n_jk>aN_j时，将标注该激光簇为k_j，其中，a为取值范围为0到1，需要根据实际实验需求设定，N_j为第j个激光簇中激光扫描点的总数。当a设置过小，激光簇的拥有多个物体标签的概率较高，相当于一个激光簇可能对应多个物体标签；当a的设置过大时，激光簇没有对应物体标签的概率将大大增加。

步骤305：计算所述激光簇对应的各个所述物体标签的概率；

对目标检测结果中的每个物体标签，找到有对应物体标签的激光簇，其对应激光簇可能有多个。利用下式计算激光簇对应各个物体标签的概率：

其中，p_ij表示第j个激光簇属于目标检测结果中第i个物体的概率，p_i是指目标检测结果中第i物体标签的概率，w₁与w₂为根据试验调整的阈值，v_i和υ_j分别为检测框i中心点和激光簇j中心点在相机坐标系下y＝0平面上的方向角度，w_i为检测框i宽度，

主要指检测框i中心点与激光簇j中心点角度关系对最终概率的影响，两个中心点角度相差越大，这个值越小；d为激光簇j中心点离相机坐标系原点距离，D为激光雷达的最大有效测量距离，

主要指距离对最终概率的影响，其中，离激光雷达越近，这个值越大，这个标签对应的概率也越大。

对于每个激光簇j，将对应的物体标签和物体标签的概率赋予激光簇内每个激光扫描点，对应每个激光扫描点，可以得到角度数据，深度数据，聚类数据，物体标签数据和物体标签概率数据，即为所述语义激光数据：

M＝{(θ₁，d₁，l₁，S₁)，(θ₂，d₂，l₂，S₂)，…，(θ_n，d_n，l_n，S_n)}

其中S_i＝{(k_j,p_ij)}，k_j为物体标签，p_ij为物体标签的概率，完成了物体目标检测框与激光簇的融合。

本实施例中，在建立物体检测模型时已经对各个种类的物体进行标注物体标签，通过物体检测模型对图像中的物体进行识别后得到物体标签的信息，在所述步骤3中进行数据融合后，每个激光扫描点被赋予物体标签和物体标签的概率，根据物体标签和物体标签的概率能够将动态物体对应的激光扫描点查找出来。具体的，物体标签的概率的阈值根据实际实验的情况而定，实验环境中设定物体标签的概率的阈值为0.3，当激光扫描点被赋予的物体标签是1，且物体标签1的概率大于或者等于0.3，那就将该物体认定为人，由于人是动态物体，就将该激光扫描点去除，当激光扫描点被赋予的物体标签是3，且物体标签3的概率大于或者等于0.3，那就将该物体认定为道路，由于道路是静态物体，就将该激光扫描点保留，从而筛选出静态物体对应的激光扫描点，基于静态物体对应的激光扫描点构建地图，减少了动态物体因活动而给激光雷达建图造成的影响。

本实施中，基于静态物体对应的激光扫描点采用粒子滤波算法构建地图，粒子滤波的核心思想是通过从后验概率(观测方程)中抽取的随机状态粒子来表达其分布，是一种循序重要性采样法。简单来说，粒子滤波法是指通过寻找一组在状态空间传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算(状态方程)，从而获得状态最小方差分布的过程。这里的样本即指粒子,当样本数量N→∝时可以逼近任何形式的概率分布。虽然在粒子滤波算法中，其概率分布仅仅是真实分布的一种近似，但由于粒子滤波是非参数化的，它解决了非线性滤波问题中随机量必须满足高斯分布的缺陷，能表达相较于高斯分布模型而言更为广泛的分布，也对变量参数的非线性特性有更强的建模能力。粒子滤波能够比较精确地表达基于观测量和控制量的后验概率分布，可以用于解决SLAM(simultaneous localization and mapping，同步定位与建图)问题。

采用粒子滤波算法构建地图具体包括：

初始化阶段：规定粒子数量，将粒子平均的分布在规划区域，规划区域需要人为或者通过特征算法计算得出，比如人脸追踪，初始化阶段需要人为标出图片中人脸范围或者使用人脸识别算法识别出人脸区域。对于SLAM来说，规划区域一般为用来进行定位的地图，在初始化时，将需要设置的特定数量粒子均匀的撒满整张地图。

转移阶段：这个阶段所做的任务就是对每个粒子根据状态转移方程进行状态估计，每个粒子将会产生一个与之相对应的预测粒子。这一步同卡尔曼滤波方法相同，只是卡尔曼是对一个状态进行状态估计，粒子滤波是对大量样本(每个粒子即是一个样本)进行状态估计。

决策阶段：决策阶段也称校正阶段。在这一阶段中，算法需要对预测粒子进行评价，越接近于真实状态的粒子，其权重越大，反之，与真实值相差较大的粒子，其权重越小。此步骤是为重采样做准备。在SLAM中权重计算方式有很多，比如机器人行走过程中，激光雷达或者深度摄像头会返回周围位置信息，如果这些信息与期望值相差较大，亦或者在运动中某些粒子本应该没有碰到障碍或者边界，然而在运算中却到达甚至穿过了障碍点或边界，那么这种粒子就是坏点粒子，这样的粒子权重也就比较低一些。

重采样阶段：根据粒子权重对粒子进行筛选，筛选过程中，既要大量保留权重大的粒子，又要有一小部分权重小的粒子；权重小的粒子有些会被淘汰，为了保证粒子总数不变，一般会在权值较高的粒子附近加入一些新的粒子。

滤波：将重采样后的粒子带入状态转移方程得到新的预测粒子，然后将它们继续进行上述转移、决策、重采样过程，经过这种循环迭代，最终绝大部分粒子会聚集在与真实值最接近的区域内，从而得到机器人准确的位置，实现定位。

地图生成：每个粒子都携带一个路径地图，整个过程下来，我们选取最优的粒子，即可获得规划区域的栅格地图。

实施例2

如图2所示，一种融合视觉语义信息的激光雷达建图系统，即电子设备310(例如具备程序执行功能的计算机服务器)，其包括至少一个处理器311，电源314，以及与所述至少一个处理器311通信连接的存储器312和输入输出接口313；所述存储器312存储有可被所述至少一个处理器311执行的指令，所述指令被所述至少一个处理器311执行，以使所述至少一个处理器311能够执行前述实施例1所公开的方法；所述输入输出接口313可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源314用于为电子设备310提供电能。

本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种融合视觉语义信息的激光雷达建图方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合视觉语义信息的激光雷达建图方法，其特征在于，所述步骤2中，对所述激光扫描点进行聚类，得到激光簇，包括：

3.根据权利要求2所述的一种融合视觉语义信息的激光雷达建图方法，其特征在于，根据所述激光扫描点的所述聚类标签得到激光簇，包括：将所述激光扫描点的所述聚类标签与所述激光扫描点的角度值、深度值相结合，得到所述激光簇。

4.根据权利要求1所述的一种融合视觉语义信息的激光雷达建图方法，其特征在于，所述步骤2中，利用目标检测算法建立物体检测模型对所述图像进行识别。

5.根据权利要求1所述的一种融合视觉语义信息的激光雷达建图方法，其特征在于，所述步骤3包括：

步骤301：将所述激光簇投影到相机平面；

步骤302：对所述激光簇的中心点标记聚类标签；

步骤305：计算所述激光簇对应的各个所述物体标签的概率；

6.根据权利要求5所述的一种融合视觉语义信息的激光雷达建图方法，其特征在于，所述语义激光数据包括所述激光扫描点的角度数据、深度数据、聚类标签数据、物体标签数据和物体标签概率数据。

7.根据权利要求1所述的一种融合视觉语义信息的激光雷达建图方法，其特征在于，所述步骤4中，采用粒子滤波算法构建地图。

8.一种融合视觉语义信息的激光雷达建图系统，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的一种融合视觉语义信息的激光雷达建图方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现权利要求1-7之一所述的一种融合视觉语义信息的激光雷达建图方法。