CN112508985A - 一种基于语义分割的slam回环检测改进方法 - Google Patents

Abstract

本发明公开一种基于语义分割的SLAM回环检测改进方法，包括以下步骤：一、获取道路场景语义分割的通用数据集；二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；三、获取语义分割预测的各个像素的分类结果；四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量；五、构建包含语义信息的地点模型；六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，七、匹配待检测图像和图像库中图像的相似度；八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。

Description

一种基于语义分割的SLAM回环检测改进方法

技术领域

本发明涉及语义分割及SLAM技术领域，具体涉及一种基于深度学习的SLAM回环检测的改进方法。

背景技术

即时定位与地图构建(simultaneous localization and mapping，SLAM)是指车辆在无人操控的情况下在陌生环境中依靠自身携带的传感器估计自身的位置同时构建地图的过程。它是很多机器人应用场景如环境感知，避障导航等的先决条件，根据其使用的传感器不同分为激光SLAM和视觉SLAM。因为视觉SLAM成本较低，同时图片携带有丰富的纹理信息所以使用较广泛。通过对图片进行深度学习计算，可以得到环境中的语义信息。

SLAM分为传感器获取数据，视觉里程计分析计算，后端优化同时对传感器采集信息判断是否是已检测的信息完成闭环检测防止导航偏移。并进行构图的过程。由于视觉传感器在感知周围环境的过程中，可能会出现累计漂移的问题。所以回环检测的主要作用就是判断车辆是否构成闭环，从而使用全局优化模块修正估计的位姿以及建立的地图。本发明主要讨论的就是闭环检测过程中如何提高检测精度的方法(仉新.移动机器人同时定位与地图构建系统的算法研究[D].沈阳工业大学,2020.)。

在视觉SLAM技术使用的过程中，遇到的主要挑战就是由于环境的改变而造成回环检测的准确率下降，其中环境条件的改变包括环境光照条件的变化如四季更替和昼夜变化。环境的变化还体现在摄像机拍摄到的图片可能存在角度的变化。角度的微小改变都可能使得无人车的导航发生改变。如何提取到对光照和视角鲁棒性都很强的特征就成了研究的热门问题。传统方法是使用BoW(视觉词袋模型(Bag of Words)。具体做法是将图片进行手工特征采集，然后将每一个局部特征描述子转换为一个单词，对整张图像的单词统计就得到相应的词袋向量。对比不同的词袋向量的差异就得到闭环检测的结果。通过k近邻算法聚类来构建的地点描述向量是对图片信息的抽象表示，一定程度上体现了图片的全局信息，但是这种方法不能表现聚类中心的类别信息，同时不能分辨聚类点是否是参照物。在实际环境中，有可能存在运动的物体如行人，运动的车辆等，把其作为聚类点明显会对场景的描述发生偏差。在图像规模比较大的情况下，由于视觉词汇表单词大小的限制，BoW算法对图像的表示会越来越粗糙，编码后损失的图像信息较多，检索精度也随之而降低(刘威.应用于移动机器人视觉SLAM的地点识别研究[D].杭州电子科技大学,2019.)。

为了提高SLAM系统中闭环检测的鲁棒性，融合深度学习的检测方法逐渐成为国内外一个重要的研究内容。因此，如何利用深度学习提高视觉SLAM中闭环检测鲁棒性就成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题是：如何通过深度学习最新研究成果构建地点模型用于提高闭环检测的鲁棒性。克服基于特征的方法只能建立视觉词袋向量，没有对象语义信息和相互关系信息的缺点。

本发明至少通过如下技术方案之一实现。

一种基于语义分割的SLAM回环检测改进方法，包括以下步骤：

步骤一、获取道路场景语义分割的通用数据集，将该通用数据集按照划分为训练集、测试集、验证集；

步骤二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；

步骤三、将训练集中的每张RGB图片送入语义分割网络进行语义分割处理，利用验证集验证效果后，获取语义分割预测的各个像素的分类结果；

步骤四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量，计算各个对象相对于参照对象的位置向量，将得到的位置向量作为地点模型的对象间位置关系；

步骤五、构建包含语义信息的地点模型；

步骤六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，

步骤七、匹配待检测图像和图像库中图像的相似度；

步骤八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。

优选的，所述语义分割网络为改进的DeepLab v3网络，所述改进的DeepLab网络是在原来DeepLab网络的空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)模块上引入全局注意力模块，对特征进行提取，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取；改进的DeepLab网络得到每一个像素的标签作为语义分割的结果。

优选的，所述改进的DeepLab v3网络的类别包括建筑物、树木、道路、交通指示牌、汽车，所述改进的DeepLab v3网络对物体类别进行颜色标记。

优选的，所述改进的DeepLab v3网络使用全局注意力机制得到多尺度聚合特征图，从主干网络的卷积层中提取低层细节特征图，将多尺度聚合特征图和低层细节特征图作为共同送入解码器网络进行上采样，从而得到经过注意力筛选的语义分割图。

优选的，步骤四包括以下步骤：

5.1)、分析语义分割图中包含对应类别的对象，去除运动的对象对分割结果造成的干扰后，提取作为当前环境的模型特征的对象，从改进的DeepLab网络的卷积层结果中提取对象的特征向量，作为语义地点模型中表征对象属性的部分；

5.2)、标记参照对象，计算各个对象相对于参照对象的位置向量，将语义结果图分块，计算对象中心相对于参照物中心的位置向量，将得到的位置向量作为语义地点模型的对象间位置关系的参数表示；

5.3)、合并对象特征向量和各个对象相对于参照物的相对位置向量得到图像的语义建模结果，该结果作为闭环检测相似度判断的输入。

优选的，所述地点模型包括两部分，一部分是语义分割图中对象特征向量的组合，另一部分是对象位置关系向量，将两部分进行合并得到包含语义信息的地点模型的向量；

优选的，所述步骤五构建包含语义信息的地点模型具体如下：

定义场景模型语义描述符L，表示环境语义模型中的物体特征分量：

式中l_i是特征图中D维描述符x_i在位置i处的语义标签，x_i是D维的特征描述符，μ_s是标签类别的平均值，s为语义分割网络得到的分类信息，N是语义标签的位置集合；

L_s表示得到的对象特征向量的具体组成，是来自特定语义类别的残差描述符所构成的集合，公式如下所示：

得到的语义组合向量L是所有需要建模的语义描述符L_s按照从左到右，从上到下的顺序级联；对得到的级联描述向量进行L2范数归一化，具体计算公式如下所示：其中L′为归一化之后的结果；

为得到建模地点的空间位置信息，将图像划分为n*n的网格，选取图像中的静态物体的中心点作为参照点，从左向右，从上向下遍历网格，如果网格中存在像素块，则求对应像素块中心点到参照点的向量：

其中

是语义分割图中B物体的中心坐标相对于原点的向量，

是语义分割图中A物体的中心坐标相对于原点的向量，

为B相对于参照物体A的向量差，表示A物体与B物体之间的空间位置关系。

优选的，所述相似度判断是通过计算两个向量之间夹角的余弦值大小来测量差距，余弦值越接近单位值1，表示两个向量的相似性越高。

优选的，匹配方式表述如下：A向量为待匹配的向量，B向量则遍历地点库向量，A_i和B_i为向量A和向量B的各个坐标分量，找到匹配度超过阈值的向量，表明待检测的向量构成地点闭环：

优选的，若从地点图像库中检索满足相似度阈值条件的向量，则判定当前待查询图像构成闭环，输出对应闭环图像ID，否则，输出ID为空，将当前图像帧加入到数据库中，并给其赋予在历史数据库新的ID。

本发明实际运行原理具体为：首先对RGB图像进行特征提取和像素点类别预测。构建两个线程用于并行计算，其中一个线程负责提取特征图中对象的特征的残差向量。另外一个线程负责选出语义分割结果图中的参照对象，计算参照对象相对于其他对象的向量表示，采用从左到右、从上到下的顺序遍历需要建模的对象。最后构建的语义地点描述向量包括分割结果中对象特征向量的组合以及当前地点的语义分割图中各个对象的中心相对于参照对象的向量。创建地点图像数据库保存实际道路中各个地点的语义建模向量，待检测的图像和已有地点图像数据库做相似性计算得到闭环检测结果。

与现有技术相比，本发明能够实现的有益效果如下：

本发明通过改进的语义分割网络对视觉SLAM中的关键帧进行分割预测。赋予场景图像以语义信息，模仿人类辨识场景的方法，通过场景建模计算语义分割得到的对象间的相对位置关系，从语义分割网络中获得对象的特征向量并计算对象相对于参照对象的向量作为当前地点的模型参数。避免了图像产生旋转时带来的闭环检测失败的问题。因为语义分割得到了物体的精确轮廓，这就为建立模型时确定对象的中心和寻找物体间的对应关系提供了精确的数据源。最后根据地点建模得到的语义向量还可以用于构建语义地图，使得语义地图更加符合实际场景。

附图说明

图1为本实施例基于语义分割的SLAM回环检测改进方法流程图；

图2为本实施例的语义分割网络框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本发明实施例提供的一种基于语义分割的SLAM闭环检测改进方法，包括以下步骤：

(1)选择一种应用于道路场景语义分割的通用数据集。本实施例选择Cityscapes数据集。该数据集是专门针对城市道路街景的数据集，由50个不同城市的街景组成，包括5000张标注精确结果的图片和20000张标注粗略的图片，使用其中精确标注的图片用于强监督学习。该数据集中有19种常用的类别用于分割算法分割精度的评估。将该数据集按照各自占比6：2：2划分为训练集、测试集和验证集

(2)选定一个道路场景，使用RGB摄像头获取环境图像。在多种环境和天气状况下采集道路图像：包括晴天、阴天、傍晚和具有明显季节特征的场景。将实际拍摄的图像按照不同环境特征分组并对相应的地点进行标记。

(3)将训练集中的每一张RGB图片送入改进的Deeplab v3语义分割网络，进行实时语义分割训练，利用验证集验证效果后，得到最终网络模型参数，在测试集上进行泛化能力的测试后获取语义分割预测的各个像素的分类结果。

所述改进的Deeplab v3语义分割网络采用DeepLab网络作为主要架构。改进的Deeplab v3语义分割网络包括卷积层、池化层和激活函数和反卷积层以及通道合并模块。为适应语义信息的提取，对原来的DeepLab网络进行了修改，使用全局注意力机制得到多尺度聚合特征图与从主干网络的第二层卷积层中提取低层细节特征图作为输入共同送入解码器网络进行上采样。从而得到经过注意力筛选的语义分割图。

具体的，改进的Deeplab v3语义分割网络为：在原有DeepLab网络的基础上，融合选择性注意力机制来进行全局信息的提取获得远距离信息。将DeepLab主干网络卷积层得到的结果进行注意力特征图提取。具体做法是在原来网络的ASPP模块上引入全局注意力模块，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取。由于空洞卷积的使用会出现网格效应，所以保留原来ASPP结构中1*1的卷积。

设置类别数量为数据集中常见物体共10中，包括建筑物、树木、道路、交通指示牌、汽车，并对物体类别进行颜色标记。

(4)根据语义分割的分类结果，从卷积层中获取对应类别的对象特征向量；计算各个对象相对于参照对象的位置向量，将得到的位置向量作为描述地点模型中对象间位置关系的参数，合并对象特征向量和对象间位置关系向量得到图像的语义建模结果。所获得的语义建模结果将作为闭环检测相似度判断的输入。

(5)具体的，在获得语义分割的结果后，后续分两个分支进行处理。其中一个分支分析语义分割图中包含的类别的对象，去除运动的对象对分割结果造成的干扰后，从改进的DeepLabv3网络的输出结果中提取对象的特征向量，所述对DeepLabv3网络的改进主要是添加了全局注意力模块得到全局语义信息。另外一个分支标记参照对象如道路，建筑物等，计算各个对象相对于参照对象的位置向量。

将两个分支的计算得到的结果向量进行结合，得到一个表征环境中物体特征和相对于参照物的位置的多维度环境模型。

(6)构建包含语义信息的地点模型具体方法如下：

先获得DeepLab v3网络的卷积层得到的结果，然后构建语义地点向量包含对象的特征描述向量：

定义场景模型语义描述符L，表示环境语义模型中的物体特征分量：

式中l_i是特征图中D维描述符x_i在位置i处的语义标签，x_i是D维的特征描述符，μs是标签类别的平均值，s是通用数据集中基本的语义类别，N是语义标签的位置集合。

得到的语义组合向量L_s用来表示得到的对象特征向量的组成分量。L_s是由该特定语义类别的残差值所构成的集合。公式如下所示：

最终的建模张量L是所有需要建模的语义描述符L_s按照从左到右，从上到下的顺序级联，在描述符匹配之前，每张图像的描述符都要进行L2范数归一化，具体计算公式如下所示:其中L′为归一化之后的结果；

为得到建模地点的空间位置信息，将图像划分为n*n的网格(n可根据图像像素的密集程度取值)，选取图像中的静态物体的中心点作为参照点，如道路、建筑物，从左向右，从上向下遍历网格，如果网格中存在像素块，则求对应像素块中心点到参照点的向量：

其中

是语义分割图中B物体的中心坐标相对于原点的向量，

是语义分割图中A物体的中心坐标相对于原点的向量，

为B相对于参照物体A的向量差，表示A物体与B物体之间的空间位置关系。

(7)对数据集中的图像经过分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量；

(8)对于待检测图像构建环境模型得到特征向量描述。与图像库中图像的余弦相似度进行判断；通过计算连个向量之间夹角的余弦值大小来测量他们的差距，余弦值越接近单位值1，表示两个向量所建模的环境特征相似性越高。A向量为待匹配的向量，B向量则遍历地点库向量。其中A_i和B_i为向量A和向量B的各个坐标分量。找到匹配度超过阈值的向量,表明待检测的向量构成地点闭环。

(9)若从地点数据库中检索满足相似度阈值条件，则判定当前待查询图像构成闭环，输出对应闭环图像ID。否则，输出ID为空，将当前图像帧加入到历史数据库中，并给其赋予在历史数据库新的ID。所述满足相似度阈值条件是指相似度超过阈值的向量。

本实例中，所述语义分割网络是在原有DeepLabv3网络的基础上，融合选择性注意力机制来进行全局信息的提取获得远距离信息。将原有DeepLab主干网络的卷积层得到的结果进行注意力特征图提取操作。具体做法是在原来网络的ASPP模块上引入全局注意力模块，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取。由于空洞卷积的使用会出现网格效应，所以保留原来ASPP结构中1*1的卷积。网络得到每一个像素的标签作为语义分割的结果。

对语义分割的结果进行过滤，将分割出的静止类别的对象去除。只留下能区分图像特征的类别。

对于实际采集到的不同季节和环境特征的图像分组，都采用闭环检测，检测结果验证对于不同环境特征图像的鲁棒性。

本发明实际运行方法具体为：

系统分为串行语义分割和双线程环境建模。将数据集中的每一张图片送入DeepLab v3神经网络进行语义分割训练。训练所得的结果分为两个分支进行处理：其中一个分支得到的结果图进行分析提取对象的类别信息和相应对象的特征向量。另一个分支模仿人类辨识环境的方法计算物体间的相对位置关系。通过组合上述两个分支的向量得到图像的语义建模结果。对待匹配图像执行本发明中的改进算法后与已有的地点特征向量库进行相似性检验。

所述方法采用改进的DeepLab网络对场景和物体轮廓提取的精确度有更大的提升，同时赋予系统构建语义地图的能力。用DeepLab框架进行实时语义分割，通过实时建模计算得到分割图片的物体形状特征信息和物体相对于静态参照物的向量关系。是一种模仿人类辨识场景的方法。用于地点识别和回环检测有更好的效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于语义分割的SLAM回环检测改进方法，其特征在于，包括以下步骤：

步骤一、获取道路场景语义分割的通用数据集，将该通用数据集按照划分为训练集、测试集、验证集；

步骤二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；

步骤三、将训练集中的每张RGB图片送入语义分割网络进行语义分割处理，利用验证集验证效果后，获取语义分割预测的各个像素的分类结果；

步骤四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量，计算各个对象相对于参照对象的位置向量，将得到的位置向量作为地点模型的对象间位置关系；

步骤五、构建包含语义信息的地点模型；

步骤六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，

步骤七、匹配待检测图像和图像库中图像的相似度；

步骤八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。

2.根据权利要求1所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述语义分割网络为改进的DeepLab v3网络，所述改进的DeepLab网络是在原来DeepLab网络的空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)模块上引入全局注意力模块，对特征进行提取，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取；改进的DeepLab网络得到每一个像素的标签作为语义分割的结果。

3.根据权利要求2所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述改进的DeepLab v3网络的类别包括建筑物、树木、道路、交通指示牌、汽车，所述改进的DeepLab v3网络对物体类别进行颜色标记。

4.根据权利要求3所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述改进的DeepLab v3网络使用全局注意力机制得到多尺度聚合特征图，从主干网络的卷积层中提取低层细节特征图，将多尺度聚合特征图和低层细节特征图作为共同送入解码器网络进行上采样，从而得到经过注意力筛选的语义分割图。

5.根据权利要求4所述的基于语义分割的SLAM回环检测改进方法，其特征在于，步骤四包括以下步骤：

5.1)、分析语义分割图中包含对应类别的对象，去除运动的对象对分割结果造成的干扰后，提取作为当前环境的模型特征的对象，从改进的DeepLab网络的卷积层结果中提取对象的特征向量，作为语义地点模型中表征对象属性的部分；

5.2)、标记参照对象，计算各个对象相对于参照对象的位置向量，将语义结果图分块，计算对象中心相对于参照物中心的位置向量，将得到的位置向量作为语义地点模型的对象间位置关系的参数表示；

5.3)、合并对象特征向量和各个对象相对于参照物的相对位置向量得到图像的语义建模结果，该结果作为闭环检测相似度判断的输入。

6.根据权利要求5所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述地点模型包括两部分，一部分是语义分割图中对象特征向量的组合，另一部分是对象位置关系向量，将两部分进行合并得到包含语义信息的地点模型的向量。

7.根据权利要求6所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述步骤五构建包含语义信息的地点模型具体如下：

定义场景模型语义描述符L，表示环境语义模型中的物体特征分量：

式中l_i是特征图中D维描述符x_i在位置i处的语义标签，x_i是D维的特征描述符，μ_s是标签类别的平均值，s为语义分割网络得到的分类信息，N是语义标签的位置集合；

L_s表示得到的对象特征向量的具体组成，是来自特定语义类别的残差描述符所构成的集合，公式如下所示：

得到的语义组合向量L是所有需要建模的语义描述符L_s按照从左到右，从上到下的顺序级联；对得到的级联描述向量进行L2范数归一化，具体计算公式如下所示：其中L′为归一化之后的结果；

为得到建模地点的空间位置信息，将图像划分为n*n的网格，选取图像中的静态物体的中心点作为参照点，从左向右，从上向下遍历网格，如果网格中存在像素块，则求对应像素块中心点到参照点的向量：

其中

是语义分割图中B物体的中心坐标相对于原点的向量，

是语义分割图中A物体的中心坐标相对于原点的向量，

为B相对于参照物体A的向量差，表示A物体与B物体之间的空间位置关系。

8.根据权利要求7所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述相似度判断是通过计算两个向量之间夹角的余弦值大小来测量差距，余弦值越接近单位值1，表示两个向量的相似性越高。

9.根据权利要求8所述的基于语义分割的SLAM回环检测改进方法，其特征在于，匹配方式表述如下：A向量为待匹配的向量，B向量则遍历地点库向量，A_i和B_i为向量A和向量B的各个坐标分量，找到匹配度超过阈值的向量，表明待检测的向量构成地点闭环：

10.根据权利要求9所述的基于语义分割的SLAM回环检测改进方法，其特征在于，若从地点图像库中检索满足相似度阈值条件的向量，则判定当前待查询图像构成闭环，输出对应闭环图像ID，否则，输出ID为空，将当前图像帧加入到数据库中，并给其赋予在历史数据库新的ID。

Images