CN106997614A - 一种基于深度相机的大规模场景3d建模方法及其装置 - Google Patents

Abstract

本发明提供一种基于深度相机的大规模场景3D建模方法，步骤包括获得当前帧深度图信息、位姿信息，解算深度图得到当前帧3D点云图，求解当前帧相对于关键帧运动量，运动量阈值判定，关键帧3D点云坐标变换，最终构建场景3D模型；本发明还涉及一种基于深度相机的大规模场景3D建模装置。本发明利用关键帧进行3D模型构建，建模时间和存储空间消耗非常小；采用3D点云同八叉树栅格图结合的方式，建模过程对存储空间的要求非常的低，另外非常的灵活，实现多分辨率任意快速切换；本发明采用一台深度相机结合其它传感器的方式，经济实用；同时使用灵活、便携，能放置到各种载体上，如车载，机载，手持设备，使大规模场景3D建模设备应用领域更广。

Description

一种基于深度相机的大规模场景3D建模方法及其装置

技术领域

本发明涉及3D建模技术，具体涉及一种基于深度相机的大规模场景3D建模方法及其装置。

背景技术

随着计算机视觉技术的发展以及深度相机的出现，3D建模技术尤其是大规模场景下3D建模技术对于导航，城市规划，环境观测等方面带来重大的作用。

现有技术中，有利用激光雷达对场景进行扫描，对得到的点云进行模型场景重构，这种方法可以直接获取高精度的稠密3D点云数据，但是设备的成本过于昂贵，且设备比较比较的笨重不适合便携式测量，另外测量时间较长，且重建的复杂度比较高；另一类则使用多相机在不同的视点采集图像然后拼接生成环境的三维结构，这种方法简单直接，但处理的数据量非常的大；而且只能进行定点的测量，不能实现动态的测量，另外由于受到相机视角范围的限制，该方法实现大规模场景的3D建模需要大量的相机阵列导致成本非常高且实施的难度比较大。

对于上述两种方案均存在以下两个非常大的缺点，一方面由于需对每一采集帧的数据需要处理，需要处理的数据量非常的庞大，计算成本非常高且模型重构耗时非常长，这对硬件成本和重建实时性提出了相当大的挑战；另一方面由于传统的方法重建的结果以3D点云的形式描述，并没有对点云进行网格化等重构，因此重建得到的模型非常的庞大，且灵活性非常差，无法支持在多个分辨率间进行切换。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种基于深度相机的大规模场景3D建模方法及其装置。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于深度相机的大规模场景3D建模方法，包括以下步骤：

获得当前帧深度图信息、位姿信息，采用深度相机获取当前位置的当前帧深度图信息，采用GPS传感器与位姿传感器或单独采用位姿传感器获取当前位置的当前帧位姿信息；

解算深度图得到当前帧3D点云图，运用坐标变换，将深度图信息统一转换至相机坐标系下，得到当前帧3D点云图；

求解当前帧相对于关键帧运动量，运用L2范数算子计算规范化的当前帧相对于关键帧序列里的最新关键帧的运动量；

运动量阈值判定，用于判定是否丢弃当前帧信息或当前帧进栈关键帧序列；

关键帧3D点云坐标变换，结合当前帧位姿信息，运用坐标变换，将相机坐标系下的关键帧3D点云统一至世界坐标系下，得到世界坐标系下的关键帧3D点云；

构建场景，用于将世界坐标系下的关键帧3D点云插入世界坐标系下的全局地图中，构建3D场景。

进一步的，一种基于深度相机的大规模场景3D建模方法还包括步骤可视化显示，用于展示场景3D建模效果。

进一步的，所述的当前帧相对于关键帧运动量e的计算公式为：e＝|min(norm(R),2π-norm(R))|+|norm(T)|，式中R是当前帧相对于关键帧序列里的最新关键帧的运动角度矢量，T是当前帧相对于关键帧序列里的最新关键帧的运动位移矢量，norm()算子是对向量计算L2范数。

进一步的，所述的步骤运动量阈值判定包括以下流程：

获取运动量，设定上限阈值与下限阈值；所述的运动量大于所述的上限阈值或小于所述的下限阈值时，丢弃当前帧信息；所述的运动量小于所述的上限阈值并大于所述的下限阈值时，当前帧进栈关键帧序列。

进一步的，所述的全局地图为八叉树栅格地图。

进一步的，一种基于深度相机的大规模场景3D建模方法还包括步骤去噪处理，用于去除深度图中粗大误差点与随机误差点。

一种基于深度相机的大规模场景3D建模装置，包括硬件模块与软件模块，其特征在于：所述的硬件模块包括深度相机、GPS模块、IMU模块；所述的深度相机用于获取场景深度图信息；所述的GPS模块与所述的IMU模块用于获取当前场景深度相机的位姿信息；所述的软件模块用于利用场景深度图信息与当前场景深度相机的位姿信息构建可视化场景3D模型。

进一步的，所述的硬件模块还包括无人机模块，所述的无人机模块搭载所述的深度相机、GPS模块、IMU模块。

进一步的，所述的硬件模块还包括手持移动结构，所述的手持移动结构用于搭载所述的深度相机、GPS模块、IMU模块。

进一步的，所述的硬件模块还包括车载安装结构，所述的车载安装结构用于搭载所述的深度相机、GPS模块、IMU模块。

本发明的主要优点如下：

1、利用关键帧进行3D模型构建，建模的时间和空间消耗非常的小。

2、采用3D点云同八叉树栅格图结合的方式，建模过程对存储空间的要求非常的低，另外非常的灵活，实现多分辨率任意快速切换。

3、经济划算，本发明采用一台深度相机结合其它传感器的方式比起3D激光雷达或是普通摄像机阵列的方式成本低很多。

4、使用灵活、便携，放置到各种载体上，如车载，机载，手持设备，使大规模场景3D建模设备应用领域更广。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的一种基于深度相机的大规模场景3D建模方法流程示意图；

图2是本发明的运动阈值判定流程示意图；

图3是本发明的一种基于深度相机的大规模场景3D建模装置模块化结构示意图；

图4是本发明的八叉树栅格图示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

参照图1-4所示，一种基于深度相机的大规模场景3D建模方法，如图1所示，包括以下步骤：

S1、获得当前帧深度图信息、位姿信息，采用深度相机获取当前位置的当前帧深度图信息，位姿信息包括位置信息和姿态信息，在室外环境中使用差分GPS和IMU(InertialMeasurement Unit,惯性测量单元)传感器组合获取，而对于室内环境中由深度图像解算的位姿信息同IMU传感器信息融合获取。

S2、解算深度图得到当前帧3D点云图，运用坐标变换，将深度图信息统一转换至相机坐标系下，得到当前帧3D点云图；计算公式如下：

公式中X_c、Y_c、Z_c对应相机坐标系下的世界坐标值信息，x、y为图像坐标系下的横向和纵向坐标值信息，d为深度图中(x,y)点的深度值(单位为毫米)，c_x、c_y是图像坐标系下图像中心点的坐标值信息，T_x、T_y是单像素点x方向和y方向的大小(单位为毫米)，f_x、f_y是x方向和y方向上的焦距(单位为毫米)。

S3、求解当前帧相对于关键帧运动量，运用L2范数算子计算规范化的当前帧相对于关键帧序列里的最新关键帧的运动量；所述的当前帧相对于关键帧运动量e的计算公式为：e＝|min(norm(R),2π-norm(R))|+|norm(T)|，式中R是当前帧相对于关键帧序列里的最新关键帧的运动角度矢量，T是当前帧相对于关键帧序列里的最新关键帧的运动位移矢量，norm()算子是对向量计算L2范数，L2范数是指向量各元素的平方和然后求平方根，通过L2范数，实现对模型空间的限制，从而在一定程度上避免了过拟合。

S4、运动量阈值判定，用于判定是否丢弃当前帧信息或当前帧进栈关键帧序列；如图2所示，运动量阈值判定包括以下流程：

S40、获取运动量，设定上限阈值与下限阈值；

S41、所述的运动量与所述的上限阈值比较；

S42、所述的运动量与所述的下限阈值比较；

S43、所述的运动量大于所述的上限阈值或小于所述的下限阈值时，丢弃当前帧信息；所述的运动量小于所述的上限阈值并大于所述的下限阈值时，当前帧进栈关键帧序列。

在一实施例中，判断e的运动量是否大于下限阈值同时小于上限阈值，如果是则将当前帧进栈，栈首新进栈的当前帧，并作为下一次的最新关键帧；否则将当前帧的信息丢弃。在使用深度相机或是激光雷达等进行大规模3D建模的时候，考虑到相邻的多帧数据间是存在大量的信息冗余的，并不是每帧信息都需要进行计算并融合到全局的模型中去，在本实施例中计算当前帧同最新关键帧间的运动大小，如果运动值大于上限阈值，则认为运动过大，可能是位姿的信息计算错误，故丢弃该帧数据；如果运动值小于下限阈值，则认为当前帧离最新的关键帧太近，信息过于冗余，同样丢弃；当运动值在两者之间，则认为同时兼顾更新数据和降低数据冗余度两点，并将当前帧作为最新的关键帧加入到关键帧序列中，一般的，在关键帧序列中初始关键帧为初始当前帧，特别的，也可定义初始关键帧；上限阈值与下限阈值的取值取决于应用场景与构建3D模型精度要求，上限阈值越大，对错误信息筛选功能越弱，下限阈值越大，对模型的冗余信息筛选约弱。

S5、关键帧3D点云坐标变换，结合当前帧位姿信息，运用坐标变换，将相机坐标系下的关键帧3D点云统一至世界坐标系下，得到世界坐标系下的关键帧3D点云；经过深度图到3D点云信息是相对于相机坐标系下的，为将3D点云信息统一，需要将当前关键帧的3D点云信息变换到世界坐标系下面去，具体的计算公式如下：

公式中X_w、Y_w、Z_w对应全局坐标系下的世界坐标信息，X_c、Y_c、Z_c对应相机坐标系下的世界坐标值信息，R、t分别是从当前相机坐标系变换到全局坐标系下的旋转矩阵和平移矩阵。

S6、构建场景，用于将世界坐标系下的关键帧3D点云插入世界坐标系下的全局地图中，构建3D场景；在一实施例中，所述的全局地图为八叉树栅格地图，八叉树栅格图是一种描述3D空间描述数据结构，如图4所示，八叉树的每个节点表示一个小的立体元，每个立体元可以递归的细分为8个子立体元，直到设定的最小的分辨率为止。采用这种结构好处很明显，当某个节点的子结点都“占据”或“不占据”时，就可以把它给剪掉，换言之，如果没必要进一步描述更精细的结构(子节点)时，只要一个粗方块(父节点)的信息就可以概括整个区域内信息，这可以省去很多的存储空间，因为无需存储整个“全八叉树”的信息，此外，八叉树栅格图的分辨率可调，所以得到的非常灵活的模型结果。

在一实施例中，一种基于深度相机的大规模场景3D建模方法还包括步骤S7、可视化显示，用于展示场景3D建模效果，针对不同分辨率需求，调用八叉树栅格图中各关键帧信息，呈现可视化效果。

一般的，一种基于深度相机的大规模场景3D建模方法还包括步骤去噪处理，用于去除深度图中粗大误差点与随机误差点，在实际深度相机采集深度图时，由于环境中的不确定因素，如行人、飞禽等移动对深度图的影响，加入去噪处理，剔除深度图中无用或明显错误信息，特别的，去噪处理方法不唯一，在一实施例中采用基于全变分(Totalvariation，TV)的降噪方法，基于全变分的降噪方法能有效克服边缘模糊、阶梯效应，能大大改进图像的去噪效果，公式如下：

其中E(x,y)为数据误差项，其定义为：

式中x_i,j为带随机噪声的深度图信息，y_i,j为降噪处理的深度图信息；

其中V(y)为全变分项，其定义如下：

对公式min_y E(x,y)+λV(y)针对y求解偏导，可以构造出拉格朗日方程求解出降噪处理后的深度图，式中λ是全变分项的权重系数，在本实施例中的取值范围为10-20。

一种基于深度相机的大规模场景3D建模装置，如图3所示，包括硬件模块与软件模块，所述的硬件模块包括深度相机、GPS模块、IMU模块；所述的深度相机用于获取场景深度图信息；所述的GPS模块与所述的IMU模块用于获取当前场景深度相机的位姿信息；所述的软件模块用于利用场景深度图信息与当前场景深度相机的位姿信息构建可视化场景3D模型。

优选地，在一实施例中，室外大规模3D场景应用中，所述的硬件模块包括无人机模块，采用无人机云台搭载深度相机、GPS模块、IMU模块完成室外大规模3D场景构建。在另一实施例中，所述的硬件模块还包括车载安装结构，采用车载安装结构搭载所述的深度相机、GPS模块、IMU模块完成室外大规模3D场景构建。优选地，所述的硬件模块还包括手持移动结构，采用手持移动结构搭载所述的深度相机、GPS模块、IMU模块完成室外或室内大规模3D场景构建。应当理解，对于室外场景构建，采用GPS模块、IMU模块配合采集深度相机的位姿信息；而对于室内移动范围较小，采用IMU模块与深度相机配合得到深度相机的位姿信息，搭载硬件多种多样，不应仅限于无人机、车载与手持。

本发明提供一种基于深度相机的大规模场景3D建模方法，步骤包括获得当前帧深度图信息、位姿信息，解算深度图得到当前帧3D点云图，求解当前帧相对于关键帧运动量，运动量阈值判定，关键帧3D点云坐标变换，最终构建场景3D模型；本发明还涉及一种基于深度相机的大规模场景3D建模装置。本发明利用关键帧进行3D模型构建，建模的时间和空间消耗非常的小；采用3D点云同八叉树栅格图结合的方式，建模过程对存储空间的要求非常的低，另外非常的灵活，实现多分辨率任意快速切换；本发明采用一台深度相机结合其它传感器的方式，经济实用；同时使用灵活、便携，能放置到各种载体上，如车载，机载，手持设备，使大规模场景3D建模设备应用领域更广。

以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种基于深度相机的大规模场景3D建模方法，其特征在于，包括以下步骤：

获得当前帧深度图信息、位姿信息，采用深度相机获取当前位置的当前帧深度图信息，采用GPS传感器与位姿传感器或单独采用位姿传感器获取当前位置的当前帧位姿信息；

解算深度图得到当前帧3D点云图，运用坐标变换，将深度图信息统一转换至相机坐标系下，得到当前帧3D点云图；

求解当前帧相对于关键帧运动量，运用L2范数算子计算规范化的当前帧相对于关键帧序列里的最新关键帧的运动量；

运动量阈值判定，用于判定是否丢弃当前帧信息或当前帧进栈关键帧序列；

关键帧3D点云坐标变换，结合当前帧位姿信息，运用坐标变换，将相机坐标系下的关键帧3D点云统一至世界坐标系下，得到世界坐标系下的关键帧3D点云；

构建场景，用于将世界坐标系下的关键帧3D点云插入世界坐标系下的全局地图中，构建3D场景。

2.根据权利要求1所述的一种基于深度相机的大规模场景3D建模方法，其特征在于：还包括步骤可视化显示，用于展示场景3D建模效果。

3.根据权利要求1所述的一种基于深度相机的大规模场景3D建模方法，其特征在于，所述的当前帧相对于关键帧运动量e的计算公式为：e＝|min(norm(R),2π-norm(R))|+|norm(T)|，式中R是当前帧相对于关键帧序列里的最新关键帧的运动角度矢量，T是当前帧相对于关键帧序列里的最新关键帧的运动位移矢量，norm()算子是对向量计算L2范数。

4.根据权利要求1所述的一种基于深度相机的大规模场景3D建模方法，其特征在于，所述的步骤运动量阈值判定包括以下流程：

获取运动量，设定上限阈值与下限阈值；所述的运动量大于所述的上限阈值或小于所述的下限阈值时，丢弃当前帧信息；所述的运动量小于所述的上限阈值并大于所述的下限阈值时，当前帧进栈关键帧序列。

5.根据权利要求1所述的一种基于深度相机的大规模场景3D建模方法，其特征在于：所述的全局地图为八叉树栅格地图。

6.根据权利要求1所述的一种基于深度相机的大规模场景3D建模方法，其特征在于，还包括步骤去噪处理，用于去除深度图中粗大误差点与随机误差点。

7.一种基于深度相机的大规模场景3D建模装置，包括硬件模块与软件模块，其特征在于：所述的硬件模块包括深度相机、GPS模块、IMU模块；所述的深度相机用于获取场景深度图信息；所述的GPS模块与所述的IMU模块用于获取当前场景深度相机的位姿信息；所述的软件模块用于利用场景深度图信息与当前场景深度相机的位姿信息构建可视化场景3D模型。

8.根据权利要求7所述的一种基于深度相机的大规模场景3D建模装置，其特征在于：所述的硬件模块还包括无人机模块，所述的无人机模块搭载所述的深度相机、GPS模块、IMU模块。

9.根据权利要求7所述的一种基于深度相机的大规模场景3D建模装置，其特征在于：所述的硬件模块还包括手持移动结构，所述的手持移动结构用于搭载所述的深度相机、GPS模块、IMU模块。

10.根据权利要求7所述的一种基于深度相机的大规模场景3D建模装置，其特征在于：所述的硬件模块还包括车载安装结构，所述的车载安装结构用于搭载所述的深度相机、GPS模块、IMU模块。