CN110288712A - 室内场景的稀疏多视角三维重建方法 - Google Patents

Abstract

本发明属于计算机视觉和计算机图形学领域，为实现既能保证该项技术应用的广泛性，又能生成比较精准的三维模型。为此，本发明采取的技术方案是，室内场景的稀疏多视角三维重建方法，基于深度学习的方法获得深度信息与语义信息，然后利用全局‑局部配准方法实现各个稀疏视角的模型融合，利用全局‑局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤。本发明主要应用于图像处理场合。

Description

室内场景的稀疏多视角三维重建方法

技术领域

本发明属于计算机视觉和计算机图形学领域，特别涉及一种稀疏多视角拍摄下的室内场 景三维重建方法。

背景技术

随着室内导航、家居或办公设计以及增强现实的需求越来越多，室内场景的三维重建和 理解在计算机视觉和图形学中成为了一个比较热门的话题。如今的重建方法大致分为两大类。 第一种方法是使用基于飞行时间或者结构光的深度相机去场景中扫描，KinectFusion(R.A. Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohi,J.Shotton,S. Hodges,and A.Fitzgibbon.KinectFusion:Real-time densesurface mapping and tracking.In ISMAR,pages 127–136,2011.)比较细致的展示了使用Kinect进行室内三维重建的流程，在 这之后的ElasticFusion(T.Whelan,R.F.Salas-Moreno,B.Glocker,A.J.Davison,and S. Leutenegger.ElasticFusion:Real-time denseSLAM and light source estimation.International Journal of Robotics Research,35(14):1697–1716,2016.)和BundleFusion(A.Dai,M.Nieβner,M. Zollh¨ofer,S.Izadi,and C.Theobalt.BundleFusion:Real-time globally consistent 3D reconstructionusing on-the-fly surface reintegration.ACM Trans.Graphics,36(4):76a,2017.)在实 时三维上取得了最先进的结果。这些方法通过传感器就能简单直接的得到深度，不过采集到 的深度往往会受到噪声，缺失值的影响，除此之外，采集的深度范围也有所限制。所以自然 而然，第二种方法就没有使用深度相机，它基于的是彩色相机，在应用场景上更加扩大了， 只要有一部手机，就能获得彩色图，也就能够去重建了。同步定位和建图(SLAM)(M.G. Dissanayake,P.Newman,S.Clark,H.F.DurrantWhyte,and M.Csorba.A solutionto the simultaneous localization and map building(SLAM)problem.IEEETrans.Robotics&Automation, 17(3):229–241,2001.)技术和运动恢复结构(SFM)(N.Snavely,S.M.Seitz,and R.Szeliski. Photo tourism:exploring photocollections in 3D.ACM Transactions on Graphics,25(3):835–846, 2006.)技术是两种比较流行的基于彩色图重建方法，不过这些方法都需要场景中有比较丰富 的纹理才能提取到有效的特征，除此之外，上述两个方法都需要连续帧的追踪或者基于稠密 视角的采集，这在一定程度上限制了应用的范围。

发明内容

为克服现有技术的不足，实现既能保证该项技术应用的广泛性，又能生成比较精准的三 维模型。为此，本发明采取的技术方案是，室内场景的稀疏多视角三维重建方法，基于深度 学习的方法获得深度信息与语义信息，然后利用全局-局部配准方法实现各个稀疏视角的模型 融合，利用全局-局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、 将各个视角下的深度图转换成点云并进行融合步骤。

具体步骤如下：

1)在室内场景中拍摄彩色图像，所拍摄彩色图像要确保有重叠度；

2)估计出每张彩色图对应的深度图和语义图；

3)利用单视角建立面片的方法对深度图进行过滤与平滑：首先把特定视角下的深度转化 成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网 格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出 三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了 对深度图的过滤和平滑约束；

4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准， 将各个视角下的点云进行融合。

深度图的过滤与平滑操作，具体包括以下步骤：

首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀 划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每 个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三 角形之内点的深度，这样就实现了对深度图的过滤和平滑约束。

全局-局部联合配准的方法，具体步骤如下：

是所有稀疏视角所构成的集合，其中N代表稀疏视角的个数，在 得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色C_i，深度D_i和分割S_i；按 顺序的将各帧进行融合，将当前帧融合到之前融合的模型中，对齐一共由两个步骤：全局对 齐和局部对齐；

1)全局对齐：将视角i前一帧融合的点云作为目标，全局对齐的目标是要找到对于视 角i最优的变换它主要由两部分构成：旋转R_i和平移t_i；具体而言，首先把深度图D_i转换成点云是第i个视角的点的集合，n_i表示这个视角下的 所有点的数目，全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4的单位 矩阵，目标点云包含了前面所有视角的点，第一步要找到点它的对应点第 二步是对变换进行更新，使得和对齐；

把前面所获得的语义信息利用起来，使原来只有三个维度的空间点上升到7个维 度，即涵盖了点的空间位置(x_k,y_k,z_k)，彩色图r,g,b三个通道信 息(r_k,g_k,b_k)和一个语义标签s_k；同样的，对于每一个点变成高维点要将和两 个视角对齐，首先要找到这两个视角下的对应点，即的对应点然后把求变换 转换为以下的优化问题：

其中w₁和w₂是用来调节几何、光度和语义信息的权重值，n_j表示j个视角下的所有点的 数目；

因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是中的所有点都能在中找到对应点，如果找到的点与p_k之间的匹配误差大于某一个阈值，则认为匹配失败，将 这对对应点丢弃；是对应点的集合，接下来根据对应关系，找到两堆点云之间 的变换，通过优化下面的公式：

2)局部对齐：用于对之前全局对齐的结果进行改善，具体而言，首先从原来的点云中根 据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同 标签的点云子集用全局对齐的方法进行配准，因为进行配准的点云都是属于同一个标签，所 以公式(1)中的语义差异项‖p_k(s)-p′_v(s)‖²为0，对于每一个局部的点云集合，对齐完之后， 采用取平均的方法去融合来自不同视角下的对齐部分。

与已有技术相比，本发明的技术特点与效果：

因为我们的重建假设是基于稀疏视角的，所以相对于依赖纹理和稠密视角的方法，应用 场景更加广泛。在硬件方面，没有使用深度相机，只需要彩色相机或者任何能够拍摄彩色图 片的设备即可，通过网络学习得到的深度图和语义图。本发明方法主要具有以下特点：

1、基于稀疏视角的室内三维重建方法。

2、使用了全局和局部配准的方法去融合不同的稀疏视角。这种逐步精细化的方式对于单 目深度估计的误差更有鲁棒性。

本发明基于彩色图像，实现上简单易行，且有让人较为满意的效果。所提出的方法具有 很好的扩展性。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和 容易理解，其中：

图1为本发明实施例基于稀疏彩色图片重建室内三维场景的流程图。

图2为本发明最终重建得到的模型与现在其它方法对比的结果。从左至右依次是COLMAP(J.L.Sch¨onberger and J.-M.Frahm.Structure-from-Motion Revisited.InCVPR,2016.)， PMVS2(Y.Furukawa and J.Ponce.Accurate,dense,and robust multiviewstereopsis.IEEE Trans. PAMI,32(8):1362–1376,2010.)，OpenMVS(OpenMVS.Openmulti-view stereo reconstruction library.http://cdcseacave.github.io/openMVS.)和本方法重建得到的结果。

图3为本方法与传统的ICP算法(A.Geiger,P.Lenz,and R.Urtasun.Are we readyfor Autonomous Driving？The KITTI Vision Benchmark Suite.In CVPR,2012.)的对比图。左图是传 统ICP算法得到的结果，右图是本方法获得的结果。红色框出来的区域对于传统的ICP算法 是较难对齐的。

具体实施方式

本发明旨在克服现有的室内场景三维重建技术对硬件设备的依赖和对用户拍摄的限制， 实现只基于彩色图片，稀疏视角的三维重建。提出了一种基于稀疏视角重建室内三维场景的 方法，结合附图及实施例详细说明如下：

本发明利用稀疏视角彩色图像对室内三维场景进行重建。首先采用已有方法计算得到每 张彩色图像对应的深度图与语义图，然后利用我们提出来的全局-局部配准方法实现各个稀疏 视角的三维点云模型融合。如图1所示，为本发明实施例的基于彩色图片三维场景室内重建 的流程图，具体实施方案如下：

1)在某一个室内场景中拍摄3～5张图像，采用稀疏视角去拍摄，但每两张之间还是有一 定的重叠度，相比追踪的方法，拍摄者有更大的活动空间，且更容易操作。

2)利用已有的方法估计出每张彩色图对应的深度图和语义图。

3)利用单视角建立面片的方法对深度图进行过滤与平滑。

4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准， 将各个视角下的点云进行融合。

全局-局部联合配准的方法，具体步骤如下：

1)假定是所有稀疏视角所构成的集合，其中N代表稀疏视角的 个数。在得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色C_i，深度D_i和分 割S_i。我们按顺序的将各帧进行融合，将当前帧融合到之前融合的模型中。对齐一共由两个 步骤：全局对齐和局部对齐。

2)全局对齐。将前i-1帧融合的点云作为参考，在这里问题里，帧就是指不同视角的图 像。我们全局对齐的目标是要找到对于视角i最优的变换使得它能够与前i-1帧融合的结 果匹配。它主要由两部分构成：旋转R_i和平移t_i。具体而言，我们首先把深度图D_i转换成点 云是第i个视角中所有的点构成的集合，n_i表示这个视角 下的所有点的数目。我们全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4 的单位矩阵。假设要配准和其中点云包含了前面所有视角的点，也即是前面所有视 角融合的结果。要找到合适的第一步要尽可能找到点它的对应点(其中p_k是中的点，是中的点)，第二步是对变换进行更新，使得和两个点云集合能够 对齐。

把前面所获得的语义信息利用起来，使原来只有三个维度的空间点上升到7个维 度，即涵盖了点的空间位置(x_k,y_k,z_k)，对应X、Y、Z三个坐标 轴的坐标，彩色图r,g,b(红、绿、蓝)三个通道信息(r_k,g_k,b_k)和一个语义标签s_k。同样的， 对于每一个点变成高维点(和p_k是3维的，只包含位置信息，和是7维的， 包含位置信息、彩色信息和语义信息)。我们如果想要将和两个视角对齐，首先要尽可 能找到这两个视角下的对应点，即的对应点然后把求变换转换为以下的优化 问题：

其中w₁和w₂是用来调节几何、光度和语义信息的权重值，p′_v是待求的对应点，根据w₁和 w₂的值，可以对式(1)中的三个分量的重要性进行调节。在我们的实验中，它们被设定为： w₁＝0.1，w₂＝10。

因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是中的所有点都能在中找到对应点，如果找到的匹配点之间的匹配误差大于某一个阈值，则可以认为匹配失败， 将这对对应点丢弃。在我们的实验中，这个阈值设为5cm,大于这个阈值的匹配将被忽略。 假设是通过上述方式找到的对应点的集合。接下来根据对应关系，找到两堆点 云之间的变换，通过优化下面的公式：

2)局部对齐。使用七维的全局配准，已经能够获得了一个比较粗糙的配准结果，但是不 能解决单目深度估计所带来的非统计误差，在本质上，是很难用一个刚体变换去配准的。主 要原因在于得到的深度不是传感器采集到的结果，会有一定的畸变，由于这种畸变的存在， 所以场景之间的对齐已经不再是一个刚体变换就能解决的了。为了解决这个问题，我们使用 局部的对齐方法去对之前全局对齐的结果进行改善。具体而言，我们首先从原来的点云中根 据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同 标签的点云子集用全局对齐的方法进行配准。因为进行配准的点云都是属于同一个标签，所 以公式(1)中的语义差异项‖p_k(s)-p′_v(s)‖²为0。对于每一个局部的点云集合，对齐完之后， 我们采用取平均的方法去融合来自不同视角下的对齐部分，这样可以在一定程度上减轻噪声 的影响。实际上，我们的全局-局部联合的对齐方法是尝试使用几个不同的变换对齐稀疏视角， 用粗糙到精细的方法，而不是仅仅一个刚体变换。相对而言，这种方式对于单目深度估计中 的噪声和异常值更加鲁棒。

Claims (4)

1.一种室内场景的稀疏多视角三维重建方法，其特征是，基于深度学习的方法获得深度信息与语义信息，然后利用全局-局部配准方法实现各个稀疏视角的模型融合，利用全局-局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤。

2.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，具体步骤如下：

1)在室内场景中拍摄彩色图像，所拍摄彩色图像要确保有重叠度；

2)估计出每张彩色图对应的深度图和语义图；

3)利用单视角建立面片的方法对深度图进行过滤与平滑：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束；

4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合。

3.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，深度图的过滤与平滑操作具体步骤是：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束。

4.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，全局-局部联合配准的方法，具体步骤如下：

是所有稀疏视角所构成的集合，其中N代表稀疏视角的个数，在得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色C_i，深度D_i和分割S_i；按顺序的将各帧进行融合，将当前帧融合到之前融合的模型中，对齐一共由两个步骤：全局对齐和局部对齐；

1)全局对齐：将视角i前一帧融合的点云作为目标，全局对齐的目标是要找到对于视角i最优的变换它主要由两部分构成：旋转R_i和平移t_i；具体而言，首先把深度图D_i转换成点云 是第i个视角的点的集合，n_i表示这个视角下的所有点的数目，全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4的单位矩阵，目标点云包含了前面所有视角的点，第一步要找到点它的对应点第二步是对变换进行更新，使得和对齐；

把前面所获得的语义信息利用起来，使原来只有三个维度的空间点上升到7个维度，即涵盖了点的空间位置(x_k,y_k,z_k)，彩色图r,g,b三个通道信息(r_k,g_k,b_k)和一个语义标签s_k；同样的，对于每一个点变成高维点要将和两个视角对齐，首先要找到这两个视角下的对应点，即的对应点然后把求变换转换为以下的优化问题：

其中w₁和w₂是用来调节几何、光度和语义信息的权重值，n_j表示j个视角下的所有点的数目；

因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是中的所有点都能在中找到对应点，如果找到的点与p_k之间的匹配误差大于某一个阈值，则认为匹配失败，将这对对应点丢弃；是对应点的集合，接下来根据对应关系，找到两堆点云之间的变换，通过优化下面的公式：

2)局部对齐：用于对之前全局对齐的结果进行改善，具体而言，首先从原来的点云中根据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同标签的点云子集用全局对齐的方法进行配准，因为进行配准的点云都是属于同一个标签，所以公式(1)中的语义差异项‖p_k(s)-p′_v(s)‖²为0，对于每一个局部的点云集合，对齐完之后，采用取平均的方法去融合来自不同视角下的对齐部分。