CN110728751A - 一种室内3d点云语义地图的构建方法 - Google Patents

Abstract

本发明涉及地图构建技术领域，涉及一种室内3D点云语义地图的构建方法。该方法包括：步骤1：利用RGB‑D相机获取室内环境的RGB‑D图像；步骤2：构建一个可用于目标检测与实例分割的深度卷积神经网络Mask R‑CNN；步骤3：将采集到的RGB‑D图像输入网络中，然后对输出图像做点云处理；步骤4：将经Mask R‑CNN网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图；步骤5：对点云语义地图进行全局优化。

Description

一种室内3D点云语义地图的构建方法

技术领域

本发明涉及深度学习领域、地图构建技术领域，具体涉到一种室内3D点云语义地图的构建方法。

背景技术

机器人的语义感知能力，是现今移动机器人(例如服务机器人，救援机器人等)研究的核心重点之一。传统的点云地图在移动机器人运动(包括但不限于：无人驾驶、人机交互、机器人导航等)和路径规划方面具有举足轻重的地位。但由于传统的点云地图缺少物体的语义信息，机器人在理解环境的能力上有所欠缺，所以在近几年有学者提出3D点云语义地图的构建。点云语义地图是指包含环境语义信息的点云地图，如环境中出现的桌子、显示屏、瓶子、键盘等在点云地图中都带有语义标签。基于视觉传感器构建含有语义信息的点云地图，可以让机器人充分理解室内环境中的语义信息，以便机器人能更精确的实现自主定位和制图是视觉SLAM的重点研究方向。

近几年，深度学习的快速发展使得其在计算机视觉领域的应用越来越广泛，利用深度卷积神经网络进行物体检测、语义分割、目标识别和自主决策等，它可以较高的精度和较快的速度获得较好的检测或分割结果。目前有学者已经提出一些语义地图构建的方法，例如通过在物体上贴二维码来获取物体的语义信息等。本发明提出一种新的室内3D点云语义地图构建的方法，将深度学习与点云地图相结合构建点云语义地图，通过深度卷积神经网络来进行目标检测与语义分割，得到物体的语义信息，再与所构建的室内三维点云地图进行融合得到点云语义地图。

发明内容

本发明的目的在于提出了一种室内3D点云语义地图的构建方法。将深度学习与点云地图相结合构建点云语义地图，通过深度卷积神经网络来进行目标检测与语义分割，再与所构建的室内三维点云地图进行融合得到点云语义地图。

基于上述目的本发明提出了一种室内3D点云语义地图的构建方法。该方法包括：

步骤1：利用RGB-D相机获取室内环境得到连续的RGB-D图像；

步骤2：构建一个可用于目标检测与实例分割的深度卷积神经网络Mask R-CNN；

步骤3：将采集到的RGB-D图像输入网络中，输出图像中的目标是含有语义信息且是像素级的，然后对输出图像做点云处理；

步骤4：将经深度卷积神经网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图；

步骤5：对3D点云语义地图进行全局优化，主要利用g2o(General GraphOptimization)算法优化点云语义地图。

进一步的，所述步骤4中：主要使用改进后的迭代最近点(ICP)算法进行点云融合，从而得到语义点云地图，包括：

寻找待拼接点云的特征点，确立两个待测点云的关系；

将P_K作为一个特征点，判断周围n个点的坐标与P_K点坐标的汉明距离，若汉明距离小于等于1，则认为配准到参考点，否则停止计算，重新选取特征点周围的一点，再进行配准；

判断两点间的欧式距离，若欧式距离大于等于阈值则将该点存入一个新点集，否则重新选取特征点，再进行配准；

计算变换矩阵，如果误差收敛则认为配准到了参考点云，否则重新计算最近点。

进一步的，所述步骤4中：将经深度卷积神经网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图，包括：

每帧RGB-D图像经过Mask R-CNN网络后都得到含有语义标签的图像，且图像中目标是像素级的，对于背景信息，通过ORB(Oriented FAST and Rotated BRIEF)算法提取每帧图像的关键点，然后针对关键点使用改进后的ICP算法将含有语义标签的图像与SLAM构建的点云地图进行点云融合；对于目标，使用ICP算法进行像素级的融合，从而得到一个完整室内环境的语义点云地图。

本发明提出的一种室内3D点云语义地图的构建方法是将采集到的RGB-D图像经过深度卷积神经网络Mask R-CNN，得到含有语义标签的图像，且目标是像素级的，再与构建的点云地图进行融合，进而得到室内环境的3D点云语义地图。该地图具有可读性，便于移动机器人精确定位、自主决策进行避障。

综上所述，本发明所提出方法的有益效果是：通过视觉传感器采集室内的RGB-D图像并结合深度卷积神经网络来构建3D点云语义地图。其中，改进后的ICP算法大大减少了计算量，缩短了迭代时间，提高了拼接速度；针对背景和目标分别使用对特征点和像素级的融合，缩短了构建点云语义地图的时间。环境中的语义信息会使移动机器人在自主探索环境时进行移动，自主避障等，同时还能理解周围环境，实现人机交互和语义感知。

附图说明

图1是本发明实施例示出的一种室内3D点云语义地图的构建方法的原理框图。

图2是本发明实施例示出的改进后的ICP算法流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加明确，以下结合具体实施例，并参照附图，对本发明进一步进行详细说明，此处描述仅解释本发明，并不用于限定本发明。

本发明的目的是提供一种室内3D点云语义地图的构建方法。本发明将深度学习与点云地图相结合构建点云语义地图，通过深度卷积神经网络(MaskR-CNN)来进行目标检测与语义分割，再与所构建的室内三维点云地图进行点云融合得到点云语义地图，其原理框图如附图1所示。具体步骤如下：

步骤1：利用RGB-D相机获取室内环境得到连续的RGB-D图像；

步骤2：构建一个可用于目标检测与实例分割的深度卷积神经网络Mask R-CNN，包括残差网络(ResNet101)、特征金字塔网络(FPN)、区域建议网络(RPN)、全卷积网络(FCN)等；

步骤3：将采集到的RGB-D图像输入网络中，输出图像中的目标是含有语义信息且是像素级的，然后对输出图像做点云处理；

步骤4：将经Mask R-CNN网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图；

步骤5：对3D点云语义地图进行全局优化，主要利用g2o算法优化点云语义地图。

所述步骤4中，使用改进后的ICP算法进行点云融合，与传统的ICP算法相比较，先通过汉明距离确定配准到的可能的参考点云，再经过计算两点欧式距离，提高了算法的匹配速度，在迭代耗时上有明显优势。

传统的ICP算法通常包括以下5个步骤：

(1)假设获取的目标点云为P＝{P_i|P_i∈R³，i＝1，2，...N}，点云数为N_P，参考点云记为Q＝{Q_i|Q_i∈R³，i＝1，2，...M}，点云数为N_Q，且N_P≤N_Q；

(2)根据搜索到的对应点对集合求出初始旋转矩阵R₁和平移向量t₁：

P₁＝R₁Q₀+t₁ (1)

其中，P₁和Q₀分布表示目标点集P和参考点云Q中的点，通常用四元数法和奇异值分解发来求解t和R。

(3)利用(2)求出的t和R对Q₁进行坐标转换，得到新的变换点集Q₂：

Q₂＝R₁Q₁+t₁ (2)

(4)重复步骤(2)和(3)，进行迭代计算，其中m表示对应点对的个数：

P_m＝R_m Q_m-1+t_m (3)

Q_m+1＝R_m Q_m+t_m (4)

(5)构建最小二乘问题，并求出使函数达到极小值时的R和T：

i表示点云中任意一点，当上式达到极小值时停止迭代，得到均方误差d_m+1：

假设给定迭代收敛阈值为τ，且τ＞0，相邻两次迭代间的均方误差d_m-d_m-1＜τ时停止迭代。若不满足式(5)，则重复步骤(4)重新迭代计算新的点集，直到使得最小二乘函数达到极小值为止。

改进后的ICP算法的流程图如附图2所示，具体包括：

(1)寻找待拼接点云的特征点，确立两个待测点云的关系；

(2)将P_K作为一个特征点，判断周围n个点的坐标与P_K点坐标的汉明距离，若汉明距离小于等于1，则认为配准到参考点，否则停止计算，重新选取特征点周围的一点，再进行配准；

(3)判断两点间的欧式距离，若欧式距离大于等于阈值则将该点存入一个新点集，否则重新选取特征点，再进行配准；

(4)计算变换矩阵，如果误差收敛则认为配准到了参考点云，否则重新计算最近点。

假设点P_K的坐标为(1，1，0)，周围某一点P’的坐标为(1，0，0)，则两点坐标的汉明距离(三个坐标轴上不同位的个数)为1，当两点的汉明距离小于等于1时(即在空间中某一平面进行变换)，认为配准到参考点，否则重新选择点P’，再计算两点的汉明距离。此时，当P_K与P’两点的欧式距离(此时两点位于同一平面，即计算某一平面两点的欧式距离，

)大于等于阈值时，将该点存入一个新点集，否则重新选取特征点，再进行配准。最后，计算变换矩阵，如果误差收敛则认为配准到了参考点云，否则重新计算最近点。

改进后的ICP算法通过先计算汉明距离来快速找到可能的参考点云，再经过计算两点欧式距离来判断是否配准到参考点，大大简化了计算量。

所述步骤4中，将经Mask R-CNN网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图，具体包括：

每帧RGB-D图像经过Mask R-CNN网络后都得到含有语义标签的图像，且图像中目标是像素级的，对于背景信息，通过ORB算法提取每帧图像的关键点，然后针对关键点使用改进后的ICP算法将含有语义标签的图像与SLAM构建的点云地图进行点云融合；对于目标，使用ICP算法进行像素级的融合，从而得到一个完整室内环境的语义点云地图。

通过以上对本发明所提供的一种室内3D点云语义地图的构建方法的描述，可以明确本发明所提供的方法具有可实践性，并且可以提高构建语义地图的速度。使得移动机器人在自主探索环境时感知语义信息，并在理解周围环境的基础上进行移动，避障等，达到人机交互和语义感知的目的。

本发明的上述实例仅仅是为了清晰明确地说明本发明所作的举例，而非是对本发明的限定。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改或变型。因此，凡在本发明的精神和原则之内，所做的任何等同替换等均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种室内3D点云语义地图的构建方法，其特征在于，该方法包括：

步骤1：利用RGB-D相机获取室内环境得到连续的RGB-D图像；

步骤2：构建一个可用于目标检测与实例分割的深度卷积神经网络Mask R-CNN；

步骤3：将采集到的RGB-D图像输入网络中，输出图像中的目标是含有语义信息且是像素级的，然后对输出图像做点云处理；

步骤4：将经Mask R-CNN网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图；

步骤5：对3D点云语义地图进行全局优化，主要利用g2o(General GraphOptimization)算法优化点云语义地图。

2.根据权力要求1所述的方法，其特征在于，所述步骤4中：主要使用改进后的迭代最近点(ICP)算法进行点云融合，从而得到语义点云地图，包括：

(1)寻找待拼接点云的特征点，确立两个待测点云的关系；

(2)将P_K作为一个特征点，判断周围n个点的坐标与P_K点坐标的汉明距离，若汉明距离小于等于1，则认为配准到参考点，否则停止计算，重新选取特征点周围的一点，再进行配准；

(3)判断两点间的欧式距离，若欧式距离大于等于阈值则将该点存入一个新点集，否则重新选取特征点，再进行配准；

(4)计算变换矩阵，如果误差收敛则认为配准到了参考点云，否则重新计算最近点。

3.根据权力要求1所述的方法，其特征在于，所述步骤4中：将经Mask R-CNN网络和点云处理后的图像与构建的室内环境的点云地图融合得到语义点云地图，包括：

每帧RGB-D图像经过Mask R-CNN网络后都得到含有语义标签的图像，且图像中目标是像素级的，对于背景信息，通过ORB(Oriented FAST and Rotated BRIEF)算法提取每帧图像的关键点，然后针对关键点使用改进后的ICP算法将含有语义标签的图像与SLAM构建的点云地图进行点云融合；对于目标，使用ICP算法进行像素级的融合，从而得到一个完整室内环境的语义点云地图。

Images