CN110378345B - 基于yolact实例分割模型的动态场景slam方法 - Google Patents

Abstract

本发明公开了一种基于YOLACT实例分割模型的动态场景SLAM方法，首先采用YOLACT实例分割模型对当前帧图像进行实例分割处理，从而区分得到图像中的动态像素和静态像素；对于当前帧图像中的静态像素部分，提取出该部分的特征点；在提取的特征点的基础上选取关键帧；针对选出的关键帧再次剔除动态像素，留下静态像素构造地图，并进行地图初始化；对于剩余下来的静态像素区域，提取该区域的ORB特征点，更新关键帧；在关键帧之间进行特征点的匹配，利用ORB特征点更新局部地图；用局部集束调整优化关键帧的位姿；利用回环检测来优化位姿，更正漂移误差。本方法在动态场景下能快速识别出动态物体，并实时建图导航，具有广泛的应用场景。

Description

基于YOLACT实例分割模型的动态场景SLAM方法

技术领域

本发明涉及移动机器人导航领域，具体涉及一种基于YOLACT实例分割模型的动态场景SLAM方法。

背景技术

SLAM(simultaneous localization and mapping)，也称为CML(ConcurrentMapping and Localization)，即时定位与地图构建，或并发建图与定位，具体是指将机器人放入未知环境中的未知位置，可以让机器人一边移动一边描绘出此环境完全的地图。根据传感器的种类不同，SLAM主要包括激光SLAM和视觉SLAM两大类，目前SLAM技术可以与多种传感器，如车轮编码器、IMU等融合来更好地实现机器的自主定位、建图、路径规划等功能。随着SLAM技术在服务机器人、无人驾驶、AR等许多领域的广泛应用，SLAM问题成为了移动机器人领域的研究热点，并日益受到学术界的密切关注。

YOLACT是一种快速、单阶段的实例分割模型，在单个Titan Xp上实现了30帧以上的实例分割速度，并在MS COCO上实现了约30mAP的表现，YOLACT实例分割模型没有采用传统方法的定位步骤，而是分为了两个并行的进程，这样可以大大节省网络运行时间：一边在整幅图像上生成一系列模板mask，一边预测每个实例mask的系数，随后对于图中的每个实例，基于线性叠加模板mask和实例mask系数，并与预测的b-box进行裁剪实现最后的实例输出。

传统的SLAM算法都会假设场景是固定不变的，然而对于实际环境而言，该假设过于理想，如在真实场景中，往往有许多动态物体，比如移动的人、行驶的车，在这样的动态场景下传统的视觉SLAM就会产生较大的误差，限制了目前流行的SLAM系统在服务机器人和自动驾驶等领域的应用；而现有的基于深度学习的动态SLAM要么运行速度缓慢，不能实时，要么就识别精度过低。

发明内容

本发明的目的在于提供了一种基于YOLACT实例分割模型的动态场景SLAM方法，针对目前在实际应用中实例分割在精度上和速度上的不足之处，对实例分割模型进行改进，在动态场景下能实时识别动态物体，并对于重叠的物体表现依旧优异。

为了实现上述任务，本发明采用以下技术方案：

基于YOLACT实例分割模型的动态场景SLAM方法，包括以下步骤：

步骤1，获取机器人运动过程中通过相机拍摄的RGB-D图像作为当前帧图像；

步骤2，采用YOLACT实例分割模型对当前帧图像进行实例分割处理，从而区分得到图像中的动态像素和静态像素；

步骤3，对于当前帧图像中的静态像素部分，提取出该部分的特征点；

步骤4，在提取的特征点的基础上选取关键帧；

步骤5，针对步骤4选出的关键帧再次剔除动态像素，留下静态像素构造地图，并进行地图初始化，包括：

步骤5.1，对于步骤4筛选出的关键帧，采用YOLACT实例分割方法区分得到图像中的动态像素和静态像素；

步骤5.2，对于步骤5.1区分得到的静态像素，进行以下处理以再次检测动态像素并剔除：

(1)使用关键帧的深度图像中的深度z和机器人位姿将像素u反投影到世界坐标下的3D点p^w；

(2)将3D点p^w投影到关键帧附近的第j个关键帧的彩色图像上；

(3)如果第j个关键帧的像素u′在对应的深度图像上存在有效的深度值z′，则像素u′反投影到世界坐标下的3D点p^w′；

(4)通过将p^w′和p^w之间的距离d与设定的阈值d_mth比较来判断像素u是否为动态的：

通过搜索u′周围的正方形区域内的像素，使得d取最小值d_min；如果d_min大于阈值d_mth，则初步判断像素u判断为静态的，否则初步判断它是动态的；

将上述初步判断过程依次应用于新关键帧的所有附近关键帧最后，像素u的最终情况由投票来决定：假设像素u在所有附近关键帧的初步判断结果中，静态结果的数量是N_S，动态结果的数量是N_d，像素u的最终属性如下：

如果(N_S≥N_d,N_S＞0)，则像素u为静态像素，进行保留；

如果(N_d≥N_s,N_d＞0)，则像素u为动态像素，进行剔除；

步骤6，对于步骤5剩余下来的静态像素区域，提取该区域的ORB特征点，更新关键帧；

步骤7，在关键帧之间进行特征点的匹配，利用ORB特征点更新局部地图；

步骤8，用局部集束调整优化步骤7中的关键帧的位姿；

步骤9，利用回环检测来优化位姿，更正漂移误差。

进一步地，所述的对于当前帧图像中的静态像素部分，提取出该部分的特征点，包括：

对静态像素部分进行金字塔分层，每一层都要进行FAST特征点提取，然后排除不稳定特征点，留下较好的特征点，判断方法为：

判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的强度值；所述的强度值计算公式如下：

上式中，V表示特征点处的强度值，t表示阈值，I(x)表示邻域内点x的像素值，I(p)为中心点p像素值；若特征点p是邻域所有特征点中强度值最大的，则保留；否则进行排除；若邻域内只有一个特征点，则保留，最后这些保留下来的特征点就是提取出的静态部分特征点。

进一步地，所述的在提取的特征点的基础上选取关键帧，包括：

根据当前帧图像的深度信息将特征点转换为世界坐标系下的三维地图点；

将所述地图点放入局部地图中，将当前图像帧设为关键帧，并选取k个关键帧；其中第i个关键帧的选取原则为：

①距第i-1个关键帧插入已经超过20帧；②当前帧的特征点与地图点成功匹配上了至少50个点。

进一步地，所述的在关键帧之间进行特征点的匹配，利用ORB特征点更新局部地图，包括：

1)给定阈值τ，关键帧与关键帧间的ORB特征点进行匹配后，删除两帧间匹配差异值大于τ的特征点；

2)当匹配上的特征点小于等于τ时，则将当前帧的所有的ORB特征点转换成地图点，存入局部地图；

3)计算出存入局部地图的第i(1≤i≤k)帧图像的ORB特征点的相似变换矩阵T，相似变换矩阵T由旋转矩阵R和平移向量t组成；并将第1至第k帧的R和t利用步骤8进行后端优化。

本发明具有以下技术特点：

1.本发明对目前移动机器人导航在实际应用中精度上和速度上的不足之处，对实例分割模型进行改进，在动态场景下能快速识别出动态物体，并实时建图导航，具有广泛的应用场景，比如在公路，在马路上或者任何动态场景。

2.本发明基于YOLACT实例分割模型的动态场景SLAM在ORB-SLAM2的基础上添加了高速的动态目标检测技术，在动态场景中的精度优于标准视觉SLAM系统架构，并且由于其高速的YOLACT实例分割模型，整体运行速度优于现有的基于Mask_RCNN网络DynaSLAM，而快速性与高精度正是SLAM在真实环境中实时定位与建图所必需的。

3.在SLAM中加入第四个并行线程，引入YOLACT实例分割模型，并将YOLACT实例分割模型与多视图几何约束的方法结合应用到分割动态像素点中，选择将像素投影到已选关键帧附近的关键帧，然后将有效深度和投影深度差值设与设定的阈值比较，如大于阈值，则将像素标记为动态像素。

附图说明

图1为本发明方法的流程框图；

图2为SLAM四个线程的结构示意图。

具体实施方式

本发明针对基于实例分割算法的移动机器人导航，提出一种利用高速度、高精度的YOLACT实例分割模型对传统的视觉SLAM进行改进，在复杂的动态场景下利用YOLACT检测出动态目标，并在此基础上得到一个场景的静态地图。

本发明的一种基于YOLACT实例分割模型的SLAM动态场景目标检测方法，具体步骤如下：

步骤1，获取机器人运动过程中通过相机拍摄的RGB-D图像作为当前帧图像；

步骤2，采用YOLACT实例分割模型对当前帧图像进行实例分割处理，从而区分得到图像中的动态像素和静态像素；

在该步骤中，将移动机器人运动过程中通过相机拍摄的RGB-D图像(包括彩色图像和深度图像)输入YOLACT实例分割模型进行实时目标识别与检测，一边生成候选区域RoI，一边实时对这些RoI进行分类和分割，将mask coefficients值大于0.75的RoI记为动态像素，并记录模型输出的此帧的(x,，y，w，h)；一帧图像除了动态像素其它区域均记为静态像素。

所述mask coefficients为置信分数，四维向量(x,，y，w，h)分别表示窗口的中心点坐标和宽高，边框(x,y)用于移动，边框大小(w,h)用于缩放。将x，y，w，h值组成的区域记为区域RoI。

步骤3，对于当前帧图像中的静态像素部分，提取出该部分的特征点

在该步骤中，因步骤2已知了RoI的(x,，y，w，h)，先对每一帧图像剔除区域RoI，然后对剩余部分进行金字塔分层(4层均值金字塔)，每一层都要进行FAST特征点提取，然后排除不稳定特征点，留下较好的特征点，判断方法为：

判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的强度值；所述的强度值计算公式如下：

上式中，V表示特征点处的强度值，t表示阈值，I(x)表示邻域内点x的像素值，I(p)为中心点p像素值；即特征点的强度值定义为特征点p与邻域内特征点的像素差值的绝对值累加和。

若特征点p是邻域所有特征点中强度值最大的，则保留；否则进行排除；若邻域内只有一个特征点，则保留，最后这些保留下来的特征点就是提取出的静态部分特征点。

步骤4，在提取的特征点的基础上选取关键帧

在该步骤中，根据当前帧图像的深度信息将特征点转换为世界坐标系下的三维地图点：

该式中，p_w是世界坐标系下的三维地图点，

是从世界坐标系w到机器人坐标系r的变换矩阵，

是从机器人坐标系r到相机坐标系c的变换矩阵，z是深度图像中的深度，u是像素坐标。

将所述地图点p_w放入局部地图中，将当前图像帧设为关键帧，并选取k个关键帧；其中第i(i＝1,2,..k)个关键帧的选取原则：

①距第i-1个关键帧插入已经超过20帧；②当前帧的特征点与地图点成功匹配上了至少50个点。

则通过步骤4可得到筛出的k个关键帧。

步骤5，因在步骤2中可能有的没有先验动态标记而具有移动性的物体没有被分割，我们需要针对步骤4筛选出来的关键帧再次剔除动态像素。

在该步骤中，我们的处理对象是步骤4所筛选出来关键帧，依次对每个关键帧进行以下处理(步骤5.1和步骤5.2)，检测出YOLACT实例分割方法未检测到的动态像素并剔除，留下静态像素构造地图，并进行地图初始化。

步骤5.1，对于步骤4筛选出的关键帧，采用YOLACT实例分割方法区分得到图像中的动态像素和静态像素；具体过程与步骤2相同，不同之处在于该步骤针对的是步骤4筛选出来的关键帧。

步骤5.2，对于步骤5.1区分得到的静态像素，进行以下处理以再次检测动态像素并剔除：

(1)使用关键帧的深度图像中的深度z和机器人位姿

将像素u反投影到世界坐标下的3D点p^w：

其中T_c ^r为相机坐标系c到机器人坐标系r的变换矩阵；

为从机器人坐标系r到世界坐标系w的变换矩阵，即机器人的位姿；

(2)将3D点p^w投影到关键帧附近的第j(j＝1,...k)个关键帧(当前关键帧之前的关键帧，本实施例选择投影5帧)的彩色图像上：

其中

是关键帧附近第j个关键帧的机器人位姿。

(3)如果第j个关键帧的像素u′在对应的深度图像上存在有效的深度值z′，则像素u′反投影到世界坐标下的3D点p^w′：

(4)通过将p^w′和p^w之间的距离d与设定的阈值d_mth比较来判断像素u是否为动态的：

因为关键帧的深度图像和姿势都有误差，u′可能不是与u对应的像素，所以本方案通过搜索u′周围的正方形区域(根据经验将正方形边长S设置为10个像素)内的像素，使得d取最小值d_min；如果d_min大于阈值d_mth(阈值d_mth设置为与深度值z′线性增长)，则初步判断像素u判断为静态的，否则初步判断它是动态的。

由于一个关键帧的结果不够可靠并且可能产生无效结果，本方案将上述初步判断过程(1)-(4)依次应用于新关键帧的所有附近关键帧(本实施例选5帧关键帧)，最后，像素u的最终情况由投票来决定：假设像素u在所有附近关键帧的初步判断结果中，静态结果的数量是N_S，动态结果的数量是N_d，像素u的最终属性如下：

如果(N_S≥N_d,N_S＞0)，则像素u为静态像素，进行保留。

如果(N_d≥N_s,N_d＞0)，则像素u为动态像素，进行剔除。

通过YOLACT实例分割和上述方法可再次剔除动态域RoI，并用留下的静态部分更新关键帧。

步骤6，对于步骤5剩余下来的静态像素区域，提取该区域的ORB特征点，更新关键帧

在该步骤中，通过遍历所有关键帧，计算关键帧与Covisibility Graph(一种顶点是相机的位姿Pose，而边是Pose-Pose的变换关系的图)中与其相连的关键帧之间词袋的相似程度，计算bow(词袋模型)相似度得分，筛选出词带bow匹配最低得分大于bow相似度得分最小值的作为新关键帧。

步骤7，根据步骤6得到的关键帧，在关键帧之间进行特征点的匹配，利用ORB特征点更新局部地图：

1)给定阈值τ，关键帧与关键帧间的ORB特征点进行匹配后，删除两帧间匹配差异值大于τ的特征点，即删除局部地图中不在当前帧相机视野内的地图点。

2)当匹配上的特征点小于等于τ时，则将当前帧的所有的ORB特征点转换成地图点，存入局部地图。

3)采用3D-2D:PnP方法，计算出存入局部地图的第i(1≤i≤k)帧图像的ORB特征点的相似变换矩阵T(由旋转矩阵R和平移向量t组成)，并将第1至第k帧的R和t利用步骤8进行后端优化。

步骤8，用局部集束调整local BA优化步骤7中的关键帧的位姿

在该步骤中，通过local BA优化关键帧的旋转矩阵R、平移向量t和局部地图上的地图点，得到优化后的旋转矩阵R、平移矩阵t和局部地图上的地图点，调整相似变换矩阵T完成重建。

步骤9，在步骤8即使进行了local BA优化，仍然会存在累积误差，因此该步骤利用回环检测来优化位姿，更正漂移误差。

在该步骤中，首先遍历每一个关键帧，对关键帧基于词袋模型进行回环检测，判断是否能闭环，若能则构造sim3求解器，通过求解的sim3以及相对姿态关系，调整与当前帧相连的关键帧位姿T和关键点的位置，用当前帧闭环匹配地图点更新当前帧之前的匹配地图点，对本质地图进行优化，最终实现在动态场景中构造静态地图。

Claims (4)

1.基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，包括以下步骤：

步骤1，获取机器人运动过程中通过相机拍摄的RGB-D图像作为当前帧图像；

步骤2，采用YOLACT实例分割模型对当前帧图像进行实例分割处理，从而区分得到图像中的动态像素和静态像素；

步骤3，对于当前帧图像中的静态像素部分，提取出该部分的特征点；

步骤4，在提取的特征点的基础上选取关键帧；

步骤5，针对步骤4选出的关键帧再次剔除动态像素，留下静态像素构造地图，并进行地图初始化，包括：

步骤5.1，对于步骤4筛选出的关键帧，采用YOLACT实例分割方法区分得到图像中的动态像素和静态像素；

步骤5.2，对于步骤5.1区分得到的静态像素，进行以下处理以再次检测动态像素并剔除：

(1)使用关键帧的深度图像中的深度z和机器人位姿将像素u反投影到世界坐标下的3D点p^w；

(2)将3D点p^w投影到关键帧附近的第j个关键帧的彩色图像上；

(3)如果第j个关键帧的像素u′在对应的深度图像上存在有效的深度值z′，则像素u′反投影到世界坐标下的3D点p^w′；

(4)通过将p^w′和p^w之间的距离d与设定的阈值d_mth比较来判断像素u是否为动态的：

通过搜索u′周围的正方形区域内的像素，使得d取最小值d_min；如果d_min大于阈值d_mth，则初步判断像素u判断为静态的，否则初步判断它是动态的；

将上述初步判断过程依次应用于新关键帧的所有附近关键帧最后，像素u的最终情况由投票来决定：假设像素u在所有附近关键帧的初步判断结果中，静态结果的数量是N_S，动态结果的数量是N_d，像素u的最终属性如下：

如果N_S≥N_d,N_S＞0，则像素u为静态像素，进行保留；

如果N_d≥N_s,N_d＞0，则像素u为动态像素，进行剔除；

步骤6，对于步骤5剩余下来的静态像素区域，提取该区域的ORB特征点，更新关键帧；

步骤7，在关键帧之间进行特征点的匹配，利用ORB特征点更新局部地图；

步骤8，用局部集束调整优化步骤7中的关键帧的位姿；

步骤9，利用回环检测来优化位姿，更正漂移误差。

2.如权利要求1所述的基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，所述的对于当前帧图像中的静态像素部分，提取出该部分的特征点，包括：

对静态像素部分进行金字塔分层，每一层都要进行FAST特征点提取，然后排除不稳定特征点，留下较好的特征点，判断方法为：

判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的强度值；所述的强度值计算公式如下：

上式中，V表示特征点处的强度值，t表示阈值，I(x)表示邻域内点x的像素值，I(p)为中心点p像素值；若特征点p是邻域所有特征点中强度值最大的，则保留；否则进行排除；若邻域内只有一个特征点，则保留，最后这些保留下来的特征点就是提取出的静态部分特征点。

3.如权利要求1所述的基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，所述的在提取的特征点的基础上选取关键帧，包括：

根据当前帧图像的深度信息将特征点转换为世界坐标系下的三维地图点；

将所述地图点放入局部地图中，将当前图像帧设为关键帧，并选取k个关键帧；其中第i个关键帧的选取原则为：

①距第i-1个关键帧插入已经超过20帧；②当前帧的特征点与地图点成功匹配上了至少50个点。

4.如权利要求3所述的基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，所述的在关键帧之间进行特征点的匹配，利用ORB特征点更新局部地图，包括：

1)给定阈值τ，关键帧与关键帧间的ORB特征点进行匹配后，删除两帧间匹配差异值大于τ的特征点；

2)当匹配上的特征点小于等于τ时，则将当前帧的所有的ORB特征点转换成地图点，存入局部地图；

3)计算出存入局部地图的第i帧图像的ORB特征点的相似变换矩阵T，相似变换矩阵T由旋转矩阵R和平移向量t组成，其中1≤i≤k；并将第1至第k帧的R和t利用步骤8进行优化。

Images