CN111950561A - 一种基于语义分割的剔除语义slam动态点的方法 - Google Patents

Abstract

本发明公开了一种基于语义分割的剔除语义SLAM动态点的方法，包括如下步骤：1)使用PSPNet语义分割网络对图像帧进行语义分割，按照像素分割结果进行分类；2)提取新帧I的ORB特征并计算描述子，再将新帧I与F匹配；3)设定阈值M；4)根据运动e对特征点进行动态点和静态点分类；5)将分类所得的静态点集关联语义标签，构建局部语义地图；6)重复步骤1)‑步骤5)，并更新局部语义地图，直至局部地图全部构建完成，得到全局地图。这种方法能剔除环境中对系统精度影响较大的动态特征点，利用静态特征点构建高精度，含有语义信息，可解释的Octomap。

Description

一种基于语义分割的剔除语义SLAM动态点的方法

技术领域

本发明涉及ORB-SLAM2室内定位系统动态特征点剔除和语义Octomap地图构建的室内定位技术领域，具体是一种基于语义分割的剔除语义SLAM动态点的方法。

背景技术

对于同时定位与地图构建任务，视觉SLAM是最好的选择之一。近30年来，许多优秀的学者对视觉SLAM领域作出了卓越的贡献，使得现阶段视觉SLAM已经取得很好的表现，并已部分投入使用。例如ORB-SLAM2,RGB-D SLAM-V2。由于其具有传感器采集速度快、成本低，能满足实时运行和良好的准确率等优点而被广为应用。但是传统的SLAM的基本假设是环境的变化是缓慢的，可以通过系统运行慢慢更新。这一假设使得在可移动物体较多的场景中，视觉SLAM会造成较大的轨迹误差。语义SLAM通过对场景对象做语义分析，为系统定位与导航提供周围环境的语义信息，可以很好地弥补传统视觉SLAM在动态场景中的不足。

语义SLAM构建场景的几何信息和语义信息。几何信息通过传感器跟踪特征点获得，语义信息则基于深度神经网络(deep CNN)对地图对象进行语义分割获得。通过感知周围环境的语义信息，可以有效剔除动态物体带来的误差。然而语义分割同样面临对象边缘分割不准以及在多样场景中外形相似的物体容易出现错误分割的情况。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于语义分割的剔除语义SLAM动态点的方法。这种方法能剔除环境中对系统精度影响较大的动态特征点，利用静态特征点构建高精度，含有语义信息，可解释的Octomap。

实现本发明目的的技术方案是：

一种基于语义分割的剔除语义SLAM动态点的方法，包括如下步骤：

1)使用PSPNet语义分割网络对图像帧进行语义分割，按照像素分割结果进行分类：

在使用PSPNet对语义SLAM进行动态点剔除过程中，将PSPNet与ORB-SLAM2结合，使用PSPNet语义分割网络对图像帧进行语义分割，语义分割过程如下：对RGB图像帧F提取ORB特征点并计算描述子，对前端视觉里程计输入新帧I，输入图像经过卷积神经网络进行特征提取，提取的特征通过金字塔池化模型得到多尺度的特征信息，通过上采样将多尺度的特征信息整合，最后通过PSPNet的卷积层将整合后的特征信息完成像素分类，给相应的分类附上对应的标签；

2)提取新帧I的ORB特征并计算描述子，再将新帧I与F匹配：

将新帧I与F匹配，若不匹配则舍弃该帧；若匹配则计算匹配特征点的运动大小e，按公式(1)计算：

e＝|Δt||+min(2π-||R||,||R||) (1)，

其中t为匹配的平移向量，R为旋转矩阵；

3)设定阈值M：根据实际系统实验，设定合适的阈值M；

4)根据运动e对特征点的进行动态点和静态点分类：

分类过程如下：若e＜M，该点归为静态点；否则，该点归为动态点；对剩余的特征点检查他们的语义分类，若属于先验动态对象，那么将该点也归为动态点；

5)将分类所得的静态点集关联语义标签，构建局部语义地图：

在八叉树地图Octomap的基础上，关联静态点的语义分割的类别，完成回环检测和后端优化过程之后，调用Octomap库把点云地图转换为Octomap语义地图；

6)重复步骤1)-步骤5)，并更新局部语义地图，直至局部地图全部构建完成，得到全局地图：

地图更新过程如下：Octomap使用树结构更新和管理数据，并且实现较少的内存占用，树节点中保存着该节点是否被占用的信息，树节点占用情况使用概率对数值表示，设y为概率对数值，x为0～1的概率，变换关系如公式(2)：

则节点占用概率为：

设某节点为n,观测数据为z，则从更新时刻开始到t时刻某节点的概率对数值为L(n|z_1:t),t+1时刻为：

L(n|z_1:t+1)＝L(n|z_1:t-1)+L(n|z_1:t) (4)，

以此更新Octomap。

与现有技术相比，本技术方案利用PSPNet在场景解析方面的出色表现，将其应用在SLAM的语义分割中，结合ORB特征点匹配方式剔除系统环境中的动态特征点，利用准确度更高的静态特征点进行后端优化和回环检测，并构建高精度，可解释的语义地图。

这种方法能去除ORB-SLAM系统中对优化和回环检测造成较大影响的特征点，构建高精度的语义地图，能提高SLAM系统的效率和准确度。

附图说明

图1为实施例的流程示意图；

图2为实施例方法的结构示意图。

图3为实施例中PSPNet网络结构示意图；

图4为实施例的效果图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。

实施例：

参照图1，一种基于语义分割的剔除语义SLAM动态点的方法，包括如下步骤：

1)使用PSPNet语义分割网络对图像帧进行语义分割，按照像素分割结果进行分类：

在使用PSPNet对语义SLAM进行动态点剔除过程中，将PSPNet与ORB-SLAM2结合，使用PSPNet语义分割网络对图像帧进行语义分割，语义分割过程如下：对RGB图像帧F提取ORB特征点并计算描述子，对前端视觉里程计输入新帧I，输入图像经过卷积神经网络进行特征提取，提取的特征通过金字塔池化模型得到多尺度的特征信息，通过上采样将多尺度的特征信息整合，最后通过PSPNet的卷积层将整合后的特征信息完成像素分类，给相应的分类附上对应的标签，如图3所示；

2)提取新帧I的ORB特征并计算描述子，再将新帧I与F匹配：

将新帧I与F匹配，若不匹配则舍弃该帧；若匹配则计算匹配特征点的运动大小e，按公式(1)计算：

e＝||Δt||+min(2π-||R||,||R||) (1)，

其中t为匹配的平移向量，R为旋转矩阵；

3)设定阈值M：根据实际系统实验，设定合适的阈值M；

4)根据运动e对特征点的进行动态点和静态点分类：

分类步骤如下：若e＜M，该点归为静态点；否则，该点归为动态点；对剩余的特征点检查他们的语义分类，若属于先验动态对象，那么将该点也归为动态点；

5)将分类所得的静态点集关联语义标签，构建局部语义地图：

在八叉树地图Octomap的基础上，关联静态点的语义分割的类别，完成回环检测和后端优化过程之后，调用Octomap库把点云地图转换为Octomap语义地图；

6)重复步骤1)-步骤5)，并更新局部语义地图，直至局部地图全部构建完成，得到全局地图：

地图更新过程如下：Octomap使用树结构更新和管理数据，并且实现较少的内存占用，树节点中保存着该节点是否被占用的信息，树节点占用情况使用概率对数值表示，设y为概率对数值，x为0～1的概率，变换关系如公式(2)：

则节点占用概率为：

设某节点为n,观测数据为z，则从更新时刻开始到t时刻某节点的概率对数值为L(n|z_1:t),t+1时刻为：

L(n|z_1:t+1)＝L(n|z_1:t-1)+L(n|z_1:t) (4)，

以此更新Octomap。

如图2所示，本实施例通过将特征点匹配方法和PSPNet语义分割相结合，高效率地剔除SLAM系统中的动态特征点，减少系统误差，得到较稳定的静态特征点集；使用稳定的静态点集进行后端优化和回环检测，构建准确度高的全局点云地图；再融合语义信息构建高精度，可解释的语义地图。

使用本例方法在Ubuntu 16.04中具有4GB内存的双核CPU上进行实验，再使用TUM的室内数据集验证本例系统方法，如图4所示为本例方法构建的Octomap。

Claims (1)

1.一种基于语义分割的剔除语义SLAM动态点的方法，其特征在于，包括如下步骤：

1)使用PSPNet语义分割网络对图像帧进行语义分割，按照像素分割结果进行分类：

在使用PSPNet对语义SLAM进行动态点剔除过程中，将PSPNet与ORB-SLAM2结合，使用PSPNet语义分割网络对图像帧进行语义分割，语义分割过程如下：对RGB图像帧F提取ORB特征点并计算描述子，对前端视觉里程计输入新帧I，输入图像经过卷积神经网络进行特征提取，提取的特征通过金字塔池化模型得到多尺度的特征信息，通过上采样将多尺度的特征信息整合，最后通过PSPNet的卷积层将整合后的特征信息完成像素分类，给相应的分类附上对应的标签；

2)提取新帧I的ORB特征并计算描述子，再将新帧I与F匹配：

将新帧I与F匹配，若不匹配则舍弃该帧；若匹配则计算匹配特征点的运动大小e，按公式(1)计算：

e＝||Δt||+min(2π-||R||,||R||) (1)，

其中t为匹配的平移向量，R为旋转矩阵；

3)设定阈值M：根据实际系统实验，设定阈值M；

4)根据运动e对特征点进行动态点和静态点分类：

分类过程如下：若e＜M，该点归为静态点；否则，该点归为动态点；对剩余的特征点检查他们的语义分类，若属于先验动态对象，那么将该点也归为动态点；

5)将分类所得的静态点集关联语义标签，构建局部语义地图：

在八叉树地图Octomap的基础上，关联静态点的语义分割的类别，完成回环检测和后端优化过程之后，调用Octomap库把点云地图转换为Octomap语义地图；

6)重复步骤1)-步骤5)，并更新局部语义地图，直至局部地图全部构建完成，得到全局地图：

地图更新过程如下：Octomap树节点中保存着该节点是否被占用的信息，树节点占用情况使用概率对数值表示，设y为概率对数值，x为0～1的概率，变换关系如公式(2)：

则节点占用概率为：

设某节点为n,观测数据为z，则从更新时刻开始到t时刻某节点的概率对数值为L(n|z_1:t),t+1时刻为：

L(n|z_1:t+1)＝L(n|z_1:t-1)+L(n|z_1:t) (4)，

以此更新Octomap。

Images