CN111709982A

CN111709982A - 一种动态环境三维重建方法

Info

Publication number: CN111709982A
Application number: CN202010439078.9A
Authority: CN
Inventors: 林斌; 张梦玥
Original assignee: Zhejiang Sidianling Robot Co ltd
Current assignee: Zhejiang Sidianling Robot Co ltd
Priority date: 2020-05-22
Filing date: 2020-05-22
Publication date: 2020-09-25
Anticipated expiration: 2040-05-22
Also published as: CN111709982B

Abstract

本发明公开了一种动态环境三维重建方法，包括标定所采用的深度传感器的参数，对场景采集RGB‑D图像，对所述的RGB‑D图像中的彩色图像提取ORB特征点等步骤，本发明所提出的3D目标检测方法相较于常规的点云匹配算法大大减少计算量，使得整个重建过程可以实现实时。本发明所提出的综合了传统光流法和深度学习目标检测的动态物体检测方法，相比于两者分别单独作用的检测率和边缘准确度更高，误检更少。基于此动态检测法的三维重建方法能够更快更好的剔除动态物体，进行快速精准的场景重建。

Description

一种动态环境三维重建方法

技术领域

本发明涉及三维重建领域，具体地说，是一种动态环境三维重建方法。

背景技术

三维重建是计算机视觉领域中一个非常有意义的课题。基于视觉的三维重建，指的是通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息，如何能够实现高精度、高速度、大场景的三维重建是此领域追求的目标。而三维重建技术在工业和生活中各领域都有着广泛的应用。面对更实际的需求下的动态室内实时三维重建技术，在例如室内的增强现实游戏、机器人室内导航、AR家具展示、家装建模展示等方面都有着广泛的应用。而如果在实际的三维重建应用场景中，用于进行多帧匹配的物体如果是处于高动态的状态，并且这些物体上的特征点也参与了三维位姿的计算，那么这些物体将会给系统的定位带来严重的误差，从而影响重建结果。而本发明提出的基于光流和3D目标检测的动态环境三维重建方法在很大程度上可以解决上述问题。

主要目的：

1、本方法相比于传统的三维重建方法，可以很好的检测出运动的物体，并去除动态物体上的特征点，使得三维重建精度更高，本发明利用光流法和深度学习的目标检测，着重对场景中的动态物体进行分析。

2、在重建过程中的语义分析方面，相比于3D点云分割，3D目标检测语义分析的方法处理速度更快，更适用于实时建模。

3、将传统光流法与3D目标检测语义分析相结合，可以更好的做出对动态物体的判断，减少误判和漏判。

发明内容

本发明正是针对现有技术提出的技术问题所作出的改进，提供了一种可以提高三维测量速度

本发明是采用以下技术方案来实现的：

本发明公开了一种动态环境三维重建方法，包括如下步骤：

1)、标定所采用的深度传感器的参数，对场景采集RGB-D图像；

2)、对所述的RGB-D图像中的彩色图像提取ORB特征点；

3)、每2～10帧对场景中的动态物体进行一次检测；

4)、重定位：剔除步骤3)中检测出来的动态点上的ORB特征点，重新利用速度模型和参考帧模型进行对当前帧位姿进行估计，进行再跟踪；

5)、局部优化建图：在局部建图模块中插入新的关键帧，对新插入的关键帧

中的关键点进行BA优化；

6)、基于3D目标检测建立语义八叉树地图：基于步骤3)中3D目标检测的结果，建立3D语义信息库并不断更新，建立语义八叉树地图；

7)、基于BoW视觉词袋方法进行回环检测：利用BoW法提取的特征向量计算前后帧图片的相似度，对相邻帧进行闭环矫正，提高系统的精确性。

作为进一步地改进，本发明所述的步骤1)中，RGB-D图像包括彩色图和深度图。

作为进一步地改进，本发明所述的步骤3)每2～10帧对场景中的动态物体进行一次检测，的具体步骤如下：

3.1)、先通过光流法处理彩色图，对相机的运动建模，利用相邻两帧的特征点对，来求解出相机的单应变换矩阵，然后对当前图像进行反变换后，再和上一帧图像一起求解光流场，有效剔除掉一些相机的运动；

3.2)、通过3D目标检测语义分析法处理彩色-深度图，预先设定该场景中也许会移动的物体种类，首先用2D目标检测神经网络，对彩色帧进行处理，检测出该种类物体所在的位置，再在对应的深度图上找到相应区域，利用RANSAC进行深度信息滤波，估算目标平均深度，从而形成3D语义信息，进一步判断其是否为一个移动物体；

3.3)、使用此创新逻辑来判断动态区域：如果对于某个区域，在光流法和3D目标检测法均判断为动态区域的情况下，以光流法所推断出来的区域边界作为最终结果；而当某个像素点仅仅在3D目标检测法下被判断为动态物体的情况下，将3D目标检测法得到的结果置为最终结果。

作为进一步地改进，本发明所述的步骤3.1)中，使用N对点对联立线性方程组使用奇异值分解求解矩阵，使用RANSAC匹配算法得到更加鲁棒的结果，判断得出场景中发生了移动的像素点。

本发明的有益效果如下：

本发明提出了一种基于光流和3D目标检测语义分析相结合的三维重建方法，使用该方法有效的解决了动态场景下的三维重建问题，利用光流法以及3D目标检测综合判断动态物体的像素，剔除属于动态物体像素的特征点，利用剩下的特征点进行较为精准的三维场景重建。本发明所提出的3D目标检测方法相较于常规的点云匹配算法大大减少计算量，使得整个重建过程可以实现实时。本发明所提出的综合了传统光流法和深度学习目标检测的动态物体检测方法，相比于两者分别单独作用的检测率和边缘准确度更高，误检更少。基于此动态检测法的三维重建方法能够更快更好的剔除动态物体，进行快速精准的场景重建。

附图说明

图1是动态区域的判断逻辑框图；

图2是系统整体流程图。

具体实施方式

下面通过具体实施例对本发明的技术方案作进一步地说明：

图1是动态区域的判断逻辑框图；先使用光流法处理待判断区域，再用3D目标检测进一步处理，确定区域边界。

图2是系统整体流程图；主要包括深度传感器采集图像的ORB特征提取、动态点检测、重定位、检索新关键帧、对于初始关键帧的建图、3D深度滤波形成语义库，以及回环检测。

1、标定所采用的深度传感器的参数，对场景采集RGB-D图像(包括彩色图和深度图)；

2、对其中的彩色图像提取ORB特征点；

3、每5帧对场景中的动态物体进行一次检测，具体步骤包括：

3.1先通过光流法处理彩色图。对相机的运动建模，利用相邻两帧的特征点对，来求解出相机的单应变换矩阵，然后对当前图像进行反变换后，再和上一帧图像一起求解光流场，这样可以有效剔除掉一些相机的运动。可以使用N对点对联立线性方程组使用奇异值分解求解矩阵，使用RANSAC等匹配算法得到更加鲁棒的结果。判断得出场景中发生了移动的像素点。

3.2通过3D目标检测语义分析法处理彩色-深度图。预先设定该场景中也许会移动的物体种类(如“人”)，首先用2D目标检测神经网络，对彩色帧进行处理，检测出该种类物体所在的位置，再在对应的深度图上找到相应区域，利用RANSAC进行深度信息滤波，估算目标平均深度，从而形成3D语义信息，进一步判断其是否为一个移动物体。

3.3使用此创新逻辑来判断动态区域：如果对于某个区域，在光流法和3D目标检测法均判断为动态区域的情况下，以光流法所推断出来的区域边界作为最终结果；而当某个像素点仅仅在3D目标检测法下被判断为动态物体的情况下，将3D目标检测法得到的结果置为最终结果。

4、重定位：剔除第3步中检测出来的动态点上的ORB特征点，重新利用速度模型和参考帧模型进行对当前帧位姿进行估计，进行再跟踪；

5、局部优化建图：对新插入的关键帧中的关键点进行BA优化；

6、基于3D目标检测建立语义八叉树地图：基于步骤3中3D目标检测的结果，建立3D语义信息库并不断更新，建立语义八叉树地图；

7、基于BoW视觉词袋方法进行回环检测：计算前后帧图片的相似度，对相邻帧进行闭环矫正，提高系统的精确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种动态环境三维重建方法，其特征在于，包括如下步骤：

1)、标定所采用的深度传感器的参数，对场景采集RGB-D图像；

2)、对所述的RGB-D图像中的彩色图像提取ORB特征点；

3)、每2～10帧对场景中的动态物体进行一次检测；

5)、局部优化建图：在局部建图模块中插入新的关键帧，对新插入的关键帧中的关键点进行BA优化；

2.根据权利要求1所述的动态环境三维重建方法，其特征在于，所述的步骤1)中，RGB-D图像包括彩色图和深度图。

3.根据权利要求1所述的动态环境三维重建方法，其特征在于，所述的步骤3)每2～10帧对场景中的动态物体进行一次检测，的具体步骤如下：

4.根据权利要求3所述的动态环境三维重建方法，其特征在于，所述的步骤3.1)中，使用N对点对联立线性方程组使用奇异值分解求解矩阵，使用RANSAC匹配算法得到更加鲁棒的结果，判断得出场景中发生了移动的像素点。