CN108230337A - 一种基于移动端的语义slam系统实现的方法 - Google Patents

Abstract

一种基于移动端的语义SLAM系统实现的方法，涉及SLAM系统构建和点云语义解析的融合。包括如下步骤：1)基于改进的FAST和LDB特征的特征点法求解相机姿态；2)后端优化得到准确的点云位置和相机姿态；3)回环检测；4)进行全局点云地图的构建；5)利用SLAM系统实现增强现实系统；6)利用语义分割实现3D的点云语义分割；7)基于移动端的语义SLAM系统优化。针对灵活室内外场景下的环境认知与增强现实需求，尤其是在无人驾驶和路径规划等领域，得到成本低廉、性能良好的解决方案，具有很广泛的应用价值和扩展能力。

Description

一种基于移动端的语义SLAM系统实现的方法

技术领域

本发明涉及SLAM系统构建和点云语义解析的融合，尤其是涉及一种基于移动端的语义SLAM系统实现的方法。

背景技术

随着人工智能和计算机视觉技术的不断发展，越来越多的前沿技术应用到了现实产品中。机器人技术、人脸识别、智能算法、三维重建等技术已慢慢融入人们生活，在今年三月份召开的两会中，政府更是把机器人、人工智能作为未来几年的重点发展产业。

SLAM技术在机器人、自动驾驶、虚拟与增强现实领域有着很好的应用前景，在众多的计算机视觉与人工智能技术中，SLAM的研究持续火热。近几年，越来越多的机器人出现在人们的视野当中，给人们生活带来很多便利，最常见的就是扫地机器人。在专业领域，足球机器人、应用于各种领域的专业机器人层出不穷，它们的核心技术是SLAM技术，通过自身的摄像头、陀螺仪、激光传感器等来得到具体场景的环境，并对自身进行定位，在满足实时性的条件下完成特定任务。近年来，国内外多家公司投入大量人力、物力来进行无人驾驶车辆的研发。无人驾驶的核心技术也是SLAM技术，鲁棒而快速的环境识别和语义分割是该无人驾驶的关键所在。在增强现实领域，目前在市面上投入到商业场景中的AR应用大多是基于特定模板，从模板识别到模板跟踪匹配，结合三维注册和模型渲染来进行虚实交互。而真正的增强现实需要对应用场景所处的环境进行识别与语义理解，这时候仍需SLAM技术来作为核心技术。

上述的各种技术正在以爆炸式增长的速度步入人们的日常生活，但大多数产品都存在着较多问题。例如扫地机器人可能会出现局部重复打扫和漏扫的情况，足球机器人对快速运动的足球位置判断错误，自动驾驶车辆对复杂路面环境分析错误，种种问题的关键就在于如何对不同场景进行实时的鲁棒重建和语义分割。首先，传统的SLAM由于需要大量计算，对硬件的计算能力要求比较苛刻，移动设备难以应对；其次，单目SLAM还存在尺度和精度漂移现象(Strasdat,Montiel,A.J.Davison,Scale drift-aware large scalemonocular SLAM,RSS 2006)，误差比较大，尤其是对室外大场景进行建模的时候经常会失败(权美香,朴松昊,李国.视觉SLAM综述[J].智能系统学报,2016,11(6):768-776)；最后，能够同时进行环境建模和语义分割的研究比较少。

发明内容

本发明的目的在于提供一种基于移动端的语义SLAM系统实现的方法。

本发明包括如下步骤：

1)基于改进的FAST和LDB特征的特征点法求解相机姿态；

2)后端优化得到准确的点云位置和相机姿态；

3)回环检测；

4)进行全局点云地图的构建；

5)利用SLAM系统实现增强现实系统；

6)利用语义分割实现3D的点云语义分割；

7)基于移动端的语义SLAM系统优化。

在步骤1)中，所述基于改进的FAST和LDB特征的特征点法求解相机姿态的具体方法可为：根据特征点法计算相机位姿，根据摄像头获取图像序列，分别对每一帧图像进行优化后的ORB特征检测，用模板匹配来进行特征点跟踪和匹配，经过RANSAC算法优化后，结合立体视觉中2d-2d、3d-3d、3d-2d的方式综合计算，并得出相机位姿，再进行局部BundleAdjustment优化，得到相机精确位姿。

在步骤2)中，所述后端优化可为通过对状态转移方程和观测方程进行滤波或者图优化；所述滤波的方式包括扩展卡尔曼滤波、粒子滤波等，所述图优化的方法有光束法平差等，使用光束法平差的方法可以保证较高精度，同时降低计算量；

鲁棒的后端优化：x_t＝g(u_t,x_t-1)+ε_t，z_t＝h(x_t)+δ_t。

在步骤3)中，所述回环检测的具体方法可包括帧之间的匹配、地图之间的匹配和地图和帧之间的匹配；SLAM运行时，随着处理的图像帧数量增加，相机轨迹与真实轨迹会相差越来越远，地图构建也会出现较大偏差，回环检测可以很好地解决这一问题。

在步骤4)中，所述进行全局点云地图的构建的具体方法可为：对相机得到的点云位置进行还原，基于移动端的语义SLAM系统可以得到较为稀疏的点云地图。

在步骤5)中，所述利用SLAM系统实现增强现实系统的具体方法可通过增量式的图像词袋(Bag of Visual Words)构建，对字典树进行近邻检索来找出目标图像，建立一颗快速搜索树，可以加速图像检索过程，在闭环检测和图像重定位过程中用词袋树进行检索，在增强现实系统中应用。

在步骤5)中，所述利用SLAM系统实现增强现实系统，包括如下步骤：

(1)对图像集合中所有图像抽取特征，特征使用FAST结合类LDB特征；

(2)设定初始特征的聚类中心，使这些中心尽可能的远；

(3)使用k均值聚类方法对所有图像特征进行聚类，设置聚类类别为N1；

(4)在建立好第一层聚类结点后对每个子结点进行下一层的聚类，类别为N2；

(5)循环第四步，直到达到类别距离小于设定阈值ε；构建出一棵词典树，只有叶子结点表示视觉词汇，每个叶子结点记录了这个视觉单词在所有图像中出现的频率，即这个单词的权重，该权重计算方法：

i表示第i个单词，N为所有单词出现总数，n_i为第i个单词出现的次数，若计算出来的idf(i)越大，意味着这个单词的区分度越低，最终构建好的词汇树中，存放着两个表，一个表为倒排索引表，该表存储每个单词在图像中出现的权值；另一个表为直接索引表，该表存储了每张图片对应特征描述子所关联的叶子结点。

在步骤6)中，所述利用语义分割实现3D的点云语义分割，包括如下步骤：

(1)对图像进行多重网格的采样，得到n个小图像块I_m。实验中采用了4个尺度的图像块采样，即图像被分为2×2、3×3、4×4和5×5的大小，分别代表了粗粒度和细粒度上的图像块采样；粗粒度采样可以将一部分噪声平衡过滤，而细粒度采样将保留更多细节，增加图像的判别性；

(2)对于任意一张图像，对图像块进行特征提取，在SEM-SLAM中采用FAST角点；

(3)对每个角点计算其灰度值和在x轴和y轴的梯度；

(4)随机抽取FAST角点对，根据二值生成函数生成对图像的二值描述串，在BinaryTest的处，LDB跟别的二值描述子区别在于不只是简单地提取特征点的灰度值，而是加入了在横纵轴上的梯度值，这样的话特征描述子最后就带有了方向性，比别的二值特征更有判别性；

(5)根据AdaBoost训练好的二值特征选择器选择最优选择的256位描述子，该方法遵循两个选择标准：最小化匹配图像块点对的距离和最小化图像点对之间的关联度。

在步骤7)中，所述基于移动端的语义SLAM系统优化的具体方法可为：用FAST特征作为特征检测子，用类似LDB(Local Difference Binary)的描述方式替换ORB特征中使用的BRIEF描述子，减少抽取特征所需时间，在移动设备上进行取得了速度上的提升。

本发明结合基于图算法的SLAM技术、基于SegNet的二维图像语义分割技术，以及二维图像与三维点云的映射，设计了一个基于Socket网络传输的端到端单目SEM-SLAM系统，很好地解决了以上三个关键问题。该系统集低计算量的SLAM环境构建、点云语义分割于一体，在PC端和移动端都可以对场景进行实时重建和语义理解，打破了移动端硬件计算能力不足的瓶颈，并且保持了比较高的重建精度，对机器人、无人驾驶、增强现实等领域都有着重要的实用价值和意义。

与现有技术相比，本发明的优点和积极效果是：针对灵活室内外场景下的环境认知与增强现实需求，尤其是在无人驾驶和路径规划等领域，得到了成本低廉、性能良好的解决方案，具有很广泛的应用价值和扩展能力。

附图说明

图1为本发明的界面展示图。

图2为本发明改进的基于FAST特征和类LDB描述子进行特征匹配示意图。

图3为本发明的增强现实系统示意图。

图4为本发明的基于移动端的语义SLAM系统效果图。

具体实施方式

以下实施例将结合附图进一步说明本发明。

一、基本概念

(1)语义SLAM

人们可以直观地感知到点云地图上展示的东西，但对于机器人而言，地图上的三维点并没有什么区别，机器人并不能够识别出当前地图中存在着什么。经过语义分割后，机器人可以分辨出点云中的语义类别。所以语义地图的构建对于SLAM来说是非常重要的。

通过RGBD相机构建点云并抽取三维的点云特征，输入到预先存储的点云数据库进行快速检索。若点云与数据库中的物体匹配成功，就将这段点云存储到当前地图中。Andrew利用二维图像检索的思想来做三维点云的检索，实现点云的语义分析。

(2)增强现实

增强现实技术是近几年来发展起来的一项热门技术。它在虚拟现实技术的基础上，对真实世界的场景进行识别，将虚拟世界的信息无缝集成到真实世界，来帮助人们理解真实世界或引导某种行为。增强现实技术有着广阔的应用前景，在教育上，增强现实可以指导教师进行授课；在医疗上，增强现实可以指导医生进行疾病治疗；在电力系统上，增强现实可以指导工人进行电力施工。

(3)语义分割

图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类。其主要思想是：前端使用FCN进行特征粗提取，后端使用CRF/MRF优化前端的输出，最后得到分割图。

二、语义SLAM的构建

整个SLAM模块的实现，按照实现流程分为四个线程，分别为特征提取与跟踪线程、局部构图线程、回环检测线程和全局优化线程。

2.1特征提取和跟踪线程的实现

SEM-SLAM在特征提取时使用FAST结合类LDB的形式，使用FAST-9进行特征的检测，然后利用修改过的LDB描述子进行特征描述。

在系统初始化阶段，首先加载相机标定文件和词典文件。当然，没有标定文件系统也可以正确运行，但是相机姿态会因此而出现估计的偏差。词典文件本实验默认使用ORB-SLAM中训练好的词典，该词典大小为147MB，在PC端和移动端加载的时间为10s和160s。因此在SEM-SLAM中，将该词典改为用二进制表示的文件，大小仅为40MB。在PC端和移动端加载二进制词典的时间大幅度缩小，分别为0.16s和1.8s。随后系统会随机选取两帧进行初始化，如果特征点数量大于设定阈值，计算姿态的过程跟ORB-SLAM一样，通过两个子线程分别计算基础矩阵和单应性矩阵，最后通过对两个模型打分，选择一个较好的模型作为初始姿态的计算模型。在ORB-SLAM中还有一种计算姿态的模型——匀速运动模型，由于使用移动端时很难确定是否在匀速运动，因此SEM-SLAM中没有使用该模型。

初始化成功之后，系统进入跟踪线程。该线程在得到新的帧时，与已有的相邻关键帧和局部地图进行2d到2d的匹配和2d到3d的匹配。通过两种方式来获得更为准确的姿态跟踪。最后判断是否将当前帧加入关键帧队列。

2.2局部构图线程的实现

局部构图线程从跟踪队列中获取关键帧，在获取到关键帧时，系统会计算该帧的BoW描述，用来为后面的匹配和回环检测做好准备，然后利用相邻关键帧的匹配关系三角化生成新的地图3d点。在这个过程中，有可能新生成的3d点与已有3d点重合，这里有一个3d点融合的步骤来处理地图融合，融合结束之后进行地图外点的剔除和局部地图的BundleAdjust优化。

2.3回环检测线程的实现

只要有关键帧的插入，就会触发回环检测线程。通过在局部构图线程中对关键帧的词袋描述，系统会计算当前帧和相关联关键帧的Sim3矩阵，并对相似性做出排序。如果当前帧和某一帧的相似度高于预先设定的阈值，就做一次关键帧融合，并以此来优化相邻关键帧的姿态。

2.4全局优化线程的实现

在SEM-SLAM系统中，全局优化线程发生在回环检测之后，该线程完成了3d地图和2d关键帧之间、关键帧之间和Sim3姿态之间三种情况的优化。系统中设置好图的点和边，然后输入到g2o库中进行优化。

三、语义分割模块的实现

由于单目SLAM获取到的点云地图较为稀疏，因此在做语义分割的时候，不需要SegNet论文中设置的12类。类别过多会导致实际点云显示比较乱，难以看出整体结构。

表1

在SEM-SLAM实验中只设置了7类标签，SEM-SLAM语义模块类别与对应分割颜色如表1所示。

Claims (9)

1.一种基于移动端的语义SLAM系统实现的方法，其特征在于包括如下步骤：

1)基于改进的FAST和LDB特征的特征点法求解相机姿态；

2)后端优化得到准确的点云位置和相机姿态；

3)回环检测；

4)进行全局点云地图的构建；

5)利用SLAM系统实现增强现实系统；

6)利用语义分割实现3D的点云语义分割；

7)基于移动端的语义SLAM系统优化。

2.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤1)中，所述基于改进的FAST和LDB特征的特征点法求解相机姿态的具体方法为：根据特征点法计算相机位姿，根据摄像头获取图像序列，分别对每一帧图像进行优化后的ORB特征检测，用模板匹配来进行特征点跟踪和匹配，经过RANSAC算法优化后，结合立体视觉中2d-2d、3d-3d、3d-2d的方式综合计算，并得出相机位姿，再进行局部Bundle Adjustment优化，得到相机精确位姿。

3.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤2)中，所述后端优化为通过对状态转移方程和观测方程进行滤波或者图优化；所述滤波的方式包括扩展卡尔曼滤波、粒子滤波等，所述图优化的方法有光束法平差，使用光束法平差的方法可以保证较高精度，同时降低计算量；

鲁棒的后端优化：x_t＝g(u_t,x_t-1)+ε_t，z_t＝h(x_t)+δ_t。

4.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤3)中，所述回环检测的具体方法可包括帧之间的匹配、地图之间的匹配和地图和帧之间的匹配。

5.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤4)中，所述进行全局点云地图的构建的具体方法为：对相机得到的点云位置进行还原，基于移动端的语义SLAM系统可以得到较为稀疏的点云地图。

6.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤5)中，所述利用SLAM系统实现增强现实系统的具体方法可通过增量式的图像词袋构建，对字典树进行近邻检索来找出目标图像，建立一颗快速搜索树，加速图像检索过程，在闭环检测和图像重定位过程中用词袋树进行检索，在增强现实系统中应用。

7.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤5)中，所述利用SLAM系统实现增强现实系统，包括如下步骤：

(1)对图像集合中所有图像抽取特征，特征使用FAST结合类LDB特征；

(2)设定初始特征的聚类中心，使这些中心尽可能的远；

(3)使用k均值聚类方法对所有图像特征进行聚类，设置聚类类别为N1；

(4)在建立好第一层聚类结点后对每个子结点进行下一层的聚类，类别为N2；

(5)循环第四步，直到达到类别距离小于设定阈值ε；构建出一棵词典树，只有叶子结点表示视觉词汇，每个叶子结点记录了这个视觉单词在所有图像中出现的频率，即这个单词的权重，该权重计算方法：

i表示第i个单词，N为所有单词出现总数，n_i为第i个单词出现的次数，若计算出来的idf(i)越大，意味着这个单词的区分度越低，最终构建好的词汇树中，存放着两个表，一个表为倒排索引表，该表存储每个单词在图像中出现的权值；另一个表为直接索引表，该表存储了每张图片对应特征描述子所关联的叶子结点。

8.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤6)中，所述利用语义分割实现3D的点云语义分割，包括如下步骤：

(1)对图像进行多重网格的采样，得到n个小图像块I_m；实验中采用了4个尺度的图像块采样，即图像被分为2×2、3×3、4×4和5×5的大小，分别代表了粗粒度和细粒度上的图像块采样；粗粒度采样将一部分噪声平衡过滤，而细粒度采样将保留更多细节，增加图像的判别性；

(2)对于任意一张图像，对图像块进行特征提取，在SEM-SLAM中采用FAST角点；

(3)对每个角点计算其灰度值和在x轴和y轴的梯度；

(4)随机抽取FAST角点对，根据二值生成函数生成对图像的二值描述串，在BinaryTest的处，LDB跟别的二值描述子区别在于不只是简单地提取特征点的灰度值，而是加入了在横纵轴上的梯度值，这样的话特征描述子最后就带有了方向性，比别的二值特征更有判别性；

(5)根据AdaBoost训练好的二值特征选择器选择最优选择的256位描述子，遵循两个选择标准：最小化匹配图像块点对的距离和最小化图像点对之间的关联度。

9.如权利要求1所述一种基于移动端的语义SLAM系统实现的方法，其特征在于在步骤7)中，所述基于移动端的语义SLAM系统优化的具体方法为：用FAST特征作为特征检测子，用类似LDB的描述方式替换ORB特征中使用的BRIEF描述子，减少抽取特征所需时间，在移动设备上进行取得了速度上的提升。