CN110288712B - 室内场景的稀疏多视角三维重建方法 - Google Patents

室内场景的稀疏多视角三维重建方法 Download PDF

Info

Publication number
CN110288712B
CN110288712B CN201910253971.XA CN201910253971A CN110288712B CN 110288712 B CN110288712 B CN 110288712B CN 201910253971 A CN201910253971 A CN 201910253971A CN 110288712 B CN110288712 B CN 110288712B
Authority
CN
China
Prior art keywords
point
view
points
point cloud
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910253971.XA
Other languages
English (en)
Other versions
CN110288712A (zh
Inventor
杨敬钰
徐吉
李坤
吴昊
岳焕景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910253971.XA priority Critical patent/CN110288712B/zh
Publication of CN110288712A publication Critical patent/CN110288712A/zh
Application granted granted Critical
Publication of CN110288712B publication Critical patent/CN110288712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉和计算机图形学领域，为实现既能保证该项技术应用的广泛性，又能生成比较精准的三维模型。为此，本发明采取的技术方案是，室内场景的稀疏多视角三维重建方法，基于深度学习的方法获得深度信息与语义信息，然后利用全局‑局部配准方法实现各个稀疏视角的模型融合，利用全局‑局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤。本发明主要应用于图像处理场合。

Description

室内场景的稀疏多视角三维重建方法
技术领域
本发明属于计算机视觉和计算机图形学领域，特别涉及一种稀疏多视角拍摄下的室内场景三维重建方法。
背景技术
随着室内导航、家居或办公设计以及增强现实的需求越来越多，室内场景的三维重建和理解在计算机视觉和图形学中成为了一个比较热门的话题。如今的重建方法大致分为两大类。第一种方法是使用基于飞行时间或者结构光的深度相机去场景中扫描，KinectFusion(R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohi,J.Shotton,S.Hodges,and A.Fitzgibbon.KinectFusion:Real-time densesurface mapping and tracking.In ISMAR,pages 127–136,2011.)比较细致的展示了使用Kinect进行室内三维重建的流程，在这之后的ElasticFusion(T.Whelan,R.F.Salas-Moreno,B.Glocker,A.J.Davison,and S.Leutenegger.ElasticFusion:Real-time denseSLAM and light source estimation.International Journal of Robotics Research,35(14):1697–1716,2016.)和BundleFusion(A.Dai,M.Nieβner,M.Zollh¨ofer,S.Izadi,and C.Theobalt.BundleFusion:Real-time globally consistent 3D reconstructionusing on-the-fly surface reintegration.ACM Trans.Graphics,36(4):76a,2017.)在实时三维上取得了最先进的结果。这些方法通过传感器就能简单直接的得到深度，不过采集到的深度往往会受到噪声，缺失值的影响，除此之外，采集的深度范围也有所限制。所以自然而然，第二种方法就没有使用深度相机，它基于的是彩色相机，在应用场景上更加扩大了，只要有一部手机，就能获得彩色图，也就能够去重建了。同步定位和建图(SLAM)(M.G.Dissanayake,P.Newman,S.Clark,H.F.DurrantWhyte,and M.Csorba.A solution tothe simultaneous localization and map building(SLAM)problem.IEEETrans.Robotics&Automation,17(3):229–241,2001.)技术和运动恢复结构(SFM)(N.Snavely,S.M.Seitz,and R.Szeliski.Photo tourism:exploring photo collectionsin 3D.ACM Transactions on Graphics,25(3):835–846,2006.)技术是两种比较流行的基于彩色图重建方法，不过这些方法都需要场景中有比较丰富的纹理才能提取到有效的特征，除此之外，上述两个方法都需要连续帧的追踪或者基于稠密视角的采集，这在一定程度上限制了应用的范围。
发明内容
为克服现有技术的不足，实现既能保证该项技术应用的广泛性，又能生成比较精准的三维模型。为此，本发明采取的技术方案是，室内场景的稀疏多视角三维重建方法，基于深度学习的方法获得深度信息与语义信息，然后利用全局-局部配准方法实现各个稀疏视角的模型融合，利用全局-局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤。
具体步骤如下：
1)在室内场景中拍摄彩色图像，所拍摄彩色图像要确保有重叠度；
2)估计出每张彩色图对应的深度图和语义图；
3)利用单视角建立面片的方法对深度图进行过滤与平滑：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束；
4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合。
深度图的过滤与平滑操作，具体包括以下步骤：
首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束。
全局-局部联合配准的方法，具体步骤如下：
Figure BDA0002013142180000021
是所有稀疏视角所构成的集合，其中N代表稀疏视角的个数，在得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色Ci，深度Di和分割Si；按顺序的将各帧进行融合，将当前帧融合到之前融合的模型中，对齐一共由两个步骤：全局对齐和局部对齐；
1)全局对齐：将视角i前一帧融合的点云作为目标，全局对齐的目标是要找到对于视角i最优的变换
Figure BDA0002013142180000022
它主要由两部分构成：旋转Ri和平移ti；具体而言，首先把深度图Di转换成点云
Figure BDA0002013142180000023
是第i个视角的点的集合，ni表示这个视角下的所有点的数目，全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4的单位矩阵，目标点云
Figure BDA0002013142180000024
包含了前面所有视角的点，第一步要找到点
Figure BDA0002013142180000025
它的对应点
Figure BDA0002013142180000026
第二步是对变换
Figure BDA0002013142180000027
进行更新，使得
Figure BDA0002013142180000028
和
Figure BDA0002013142180000029
对齐；
把前面所获得的语义信息利用起来，使原来只有三个维度的空间点
Figure BDA00020131421800000210
上升到7个维度，即
Figure BDA00020131421800000211
涵盖了点的空间位置(xk,yk,zk)，彩色图r,g,b三个通道信息(rk,gk,bk)和一个语义标签sk；同样的，对于每一个点
Figure BDA00020131421800000212
变成高维点
Figure BDA00020131421800000213
要将
Figure BDA00020131421800000214
和
Figure BDA00020131421800000215
两个视角对齐，首先要找到这两个视角下的对应点，即
Figure BDA00020131421800000216
的对应点
Figure BDA00020131421800000217
然后把求变换转换为以下的优化问题：
Figure BDA00020131421800000218
其中w1和w2是用来调节几何、光度和语义信息的权重值，nj表示j个视角下的所有点的数目；
因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是
Figure BDA0002013142180000031
中的所有点都能在
Figure BDA0002013142180000032
中找到对应点，如果找到的点
Figure BDA0002013142180000033
与pk之间的匹配误差大于某一个阈值，则认为匹配失败，将这对对应点丢弃；
Figure BDA0002013142180000034
是对应点的集合，接下来根据对应关系，找到两堆点云之间的变换，通过优化下面的公式：
Figure BDA0002013142180000035
2)局部对齐：用于对之前全局对齐的结果进行改善，具体而言，首先从原来的点云中根据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同标签的点云子集用全局对齐的方法进行配准，因为进行配准的点云都是属于同一个标签，所以公式(1)中的语义差异项‖pk(s)-p′v(s)‖2为0，对于每一个局部的点云集合，对齐完之后，采用取平均的方法去融合来自不同视角下的对齐部分。
与已有技术相比，本发明的技术特点与效果：
因为我们的重建假设是基于稀疏视角的，所以相对于依赖纹理和稠密视角的方法，应用场景更加广泛。在硬件方面，没有使用深度相机，只需要彩色相机或者任何能够拍摄彩色图片的设备即可，通过网络学习得到的深度图和语义图。本发明方法主要具有以下特点：
1、基于稀疏视角的室内三维重建方法。
2、使用了全局和局部配准的方法去融合不同的稀疏视角。这种逐步精细化的方式对于单目深度估计的误差更有鲁棒性。
本发明基于彩色图像，实现上简单易行，且有让人较为满意的效果。所提出的方法具有很好的扩展性。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例基于稀疏彩色图片重建室内三维场景的流程图。
图2为本发明最终重建得到的模型与现在其它方法对比的结果。从左至右依次是COLMAP(J.L.Sch¨onberger and J.-M.Frahm.Structure-from-Motion Revisited.InCVPR,2016.)，PMVS2(Y.Furukawa and J.Ponce.Accurate,dense,and robust multiviewstereopsis.IEEE Trans.PAMI,32(8):1362–1376,2010.)，OpenMVS(OpenMVS.Open multi-view stereo reconstruction library.http://cdcseacave.github.io/openMVS.)和本方法重建得到的结果。
图3为本方法与传统的ICP算法(A.Geiger,P.Lenz,and R.Urtasun.Are we readyfor Autonomous Driving？The KITTI Vision Benchmark Suite.In CVPR,2012.)的对比图。左图是传统ICP算法得到的结果，右图是本方法获得的结果。红色框出来的区域对于传统的ICP算法是较难对齐的。
具体实施方式
本发明旨在克服现有的室内场景三维重建技术对硬件设备的依赖和对用户拍摄的限制，实现只基于彩色图片，稀疏视角的三维重建。提出了一种基于稀疏视角重建室内三维场景的方法，结合附图及实施例详细说明如下：
本发明利用稀疏视角彩色图像对室内三维场景进行重建。首先采用已有方法计算得到每张彩色图像对应的深度图与语义图，然后利用我们提出来的全局-局部配准方法实现各个稀疏视角的三维点云模型融合。如图1所示，为本发明实施例的基于彩色图片三维场景室内重建的流程图，具体实施方案如下：
1)在某一个室内场景中拍摄3～5张图像，采用稀疏视角去拍摄，但每两张之间还是有一定的重叠度，相比追踪的方法，拍摄者有更大的活动空间，且更容易操作。
2)利用已有的方法估计出每张彩色图对应的深度图和语义图。
3)利用单视角建立面片的方法对深度图进行过滤与平滑。
4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合。
全局-局部联合配准的方法，具体步骤如下：
1)假定
Figure BDA0002013142180000041
是所有稀疏视角所构成的集合，其中N代表稀疏视角的个数。在得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色Ci，深度Di和分割Si。我们按顺序的将各帧进行融合，将当前帧融合到之前融合的模型中。对齐一共由两个步骤：全局对齐和局部对齐。
2)全局对齐。将前i-1帧融合的点云作为参考，在这里问题里，帧就是指不同视角的图像。我们全局对齐的目标是要找到对于视角i最优的变换
Figure BDA0002013142180000042
使得它能够与前i-1帧融合的结果匹配。它主要由两部分构成：旋转Ri和平移ti。具体而言，我们首先把深度图Di转换成点云
Figure BDA0002013142180000043
是第i个视角中所有的点构成的集合，ni表示这个视角下的所有点的数目。我们全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4的单位矩阵。假设要配准
Figure BDA0002013142180000044
和
Figure BDA0002013142180000045
其中点云
Figure BDA0002013142180000046
包含了前面所有视角的点，也即是前面所有视角融合的结果。要找到合适的
Figure BDA0002013142180000047
第一步要尽可能找到点
Figure BDA0002013142180000048
它的对应点
Figure BDA0002013142180000049
(其中pk是
Figure BDA00020131421800000410
中的点，
Figure BDA00020131421800000411
是
Figure BDA00020131421800000412
中的点)，第二步是对变换
Figure BDA00020131421800000413
进行更新，使得
Figure BDA00020131421800000414
和
Figure BDA00020131421800000415
两个点云集合能够对齐。
把前面所获得的语义信息利用起来，使原来只有三个维度的空间点
Figure BDA00020131421800000416
上升到7个维度，即
Figure BDA00020131421800000417
涵盖了点的空间位置(xk,yk,zk)，对应X、Y、Z三个坐标轴的坐标，彩色图r,g,b(红、绿、蓝)三个通道信息(rk,gk,bk)和一个语义标签sk。同样的，对于每一个点
Figure BDA00020131421800000418
变成高维点
Figure BDA00020131421800000419
(
Figure BDA00020131421800000420
和pk是3维的，只包含位置信息，
Figure BDA00020131421800000421
和
Figure BDA00020131421800000422
是7维的，包含位置信息、彩色信息和语义信息)。我们如果想要将
Figure BDA0002013142180000051
和
Figure BDA0002013142180000052
两个视角对齐，首先要尽可能找到这两个视角下的对应点，即
Figure BDA0002013142180000053
的对应点
Figure BDA0002013142180000054
然后把求变换转换为以下的优化问题：
Figure BDA0002013142180000055
其中w1和w2是用来调节几何、光度和语义信息的权重值，p′v是待求的对应点，根据w1和w2的值，可以对式(1)中的三个分量的重要性进行调节。在我们的实验中，它们被设定为：w1＝0.1，w2＝10。
因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是
Figure BDA0002013142180000056
中的所有点都能在
Figure BDA0002013142180000057
中找到对应点，如果找到的匹配点之间的匹配误差大于某一个阈值，则可以认为匹配失败，将这对对应点丢弃。在我们的实验中，这个阈值设为5cm,大于这个阈值的匹配将被忽略。假设
Figure BDA0002013142180000058
是通过上述方式找到的对应点的集合。接下来根据对应关系，找到两堆点云之间的变换，通过优化下面的公式：
Figure BDA0002013142180000059
2)局部对齐。使用七维的全局配准，已经能够获得了一个比较粗糙的配准结果，但是不能解决单目深度估计所带来的非统计误差，在本质上，是很难用一个刚体变换去配准的。主要原因在于得到的深度不是传感器采集到的结果，会有一定的畸变，由于这种畸变的存在，所以场景之间的对齐已经不再是一个刚体变换就能解决的了。为了解决这个问题，我们使用局部的对齐方法去对之前全局对齐的结果进行改善。具体而言，我们首先从原来的点云中根据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同标签的点云子集用全局对齐的方法进行配准。因为进行配准的点云都是属于同一个标签，所以公式(1)中的语义差异项‖pk(s)-p′v(s)‖2为0。对于每一个局部的点云集合，对齐完之后，我们采用取平均的方法去融合来自不同视角下的对齐部分，这样可以在一定程度上减轻噪声的影响。实际上，我们的全局-局部联合的对齐方法是尝试使用几个不同的变换对齐稀疏视角，用粗糙到精细的方法，而不是仅仅一个刚体变换。相对而言，这种方式对于单目深度估计中的噪声和异常值更加鲁棒。

Claims (3)

1.一种室内场景的稀疏多视角三维重建方法，其特征是，基于深度学习的方法获得深度信息与语义信息，然后利用全局-局部配准方法实现各个稀疏视角的模型融合，利用全局-局部配准方法具体包括利用单视角建立面片的方法对深度图进行过滤与平滑、将各个视角下的深度图转换成点云并进行融合步骤，其中，基于深度学习的方法获得深度信息与语义信息具体步骤是：
1)在某一个室内场景中拍摄3～5张图像，采用稀疏视角去拍摄，但每两张之间还是有一定的重叠度，相比追踪的方法，拍摄者有更大的活动空间，且更容易操作；
2)利用已有的方法估计出每张彩色图对应的深度图和语义图；
3)利用单视角建立面片的方法对深度图进行过滤与平滑；
4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合；
全局-局部联合配准的方法，具体步骤如下：
是所有稀疏视角所构成的集合，其中N代表稀疏视角的个数，在得到深度信息与语义分割之后，每一个视角由三个部分构成：颜色Ci，深度Di和分割Si；按顺序的将各帧进行融合，将当前帧融合到之前融合的模型中，对齐一共由两个步骤：全局对齐和局部对齐；
1)全局对齐：将视角i前一帧融合的点云作为目标，全局对齐的目标是要找到对于视角i最优的变换它主要由两部分构成：旋转Ri和平移ti；具体而言，首先把深度图Di转换成点云是第i个视角的点的集合，ni表示这个视角下的所有点的数目，全局ICP框架主要由两个步骤构成，首先变换矩阵初始化为一个4×4的单位矩阵，目标点云包含了前面所有视角的点，第一步要找到点它的对应点第二步是对变换进行更新，使得和对齐；
把前面所获得的语义信息利用起来，使原来只有三个维度的空间点上升到7个维度，即涵盖了点的空间位置(xk,yk,zk)，彩色图r,g,b三个通道信息(rk,gk,bk)和一个语义标签sk；同样的，对于每一个点变成高维点要将和两个视角对齐，首先要找到这两个视角下的对应点，即的对应点然后把求变换转换为以下的优化问题：
其中w1和w2是用来调节几何、光度和语义信息的权重值，nj表示j个视角下的所有点的数目；
因为所取的视角比较稀疏，各个视角之间的重叠区域有限，不是中的所有点都能在中找到对应点，如果找到的点与pk之间的匹配误差大于某一个阈值，则认为匹配失败，将这对对应点丢弃；是对应点的集合，接下来根据对应关系，找到两堆点云之间的变换，通过优化下面的公式：
2)局部对齐：用于对之前全局对齐的结果进行改善，具体而言，首先从原来的点云中根据每个点所属的标签去抽取有相同标签的点，组成一个个点云子集，然后对每一个具有相同标签的点云子集用全局对齐的方法进行配准，因为进行配准的点云都是属于同一个标签，所以公式(1)中的语义差异项||pk(s)-p′v(s)||2为0，对于每一个局部的点云集合，对齐完之后，采用取平均的方法去融合来自不同视角下的对齐部分。
2.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，具体步骤如下：
1)在室内场景中拍摄彩色图像，所拍摄彩色图像要确保有重叠度；
2)估计出每张彩色图对应的深度图和语义图；
3)利用单视角建立面片的方法对深度图进行过滤与平滑：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束；
4)将各个视角下的深度图转换成点云，利用获得的语义信息去做全局-局部联合的配准，将各个视角下的点云进行融合。
3.如权利要求1所述的室内场景的稀疏多视角三维重建方法，其特征是，深度图的过滤与平滑操作具体步骤是：首先把特定视角下的深度转化成点云，接下来在二维的彩色图像上划分网格，采用均匀划分的方式，形成二维的三角形网格；然后将对应的点云投影到图像平面上，根据投影到每个三角形里的点的深度去拟合求出三角形三个顶点的深度，最终用顶点的深度去代替落在三角形之内点的深度，这样就实现了对深度图的过滤和平滑约束。
CN201910253971.XA 2019-03-30 2019-03-30 室内场景的稀疏多视角三维重建方法 Active CN110288712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910253971.XA CN110288712B (zh) 2019-03-30 2019-03-30 室内场景的稀疏多视角三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910253971.XA CN110288712B (zh) 2019-03-30 2019-03-30 室内场景的稀疏多视角三维重建方法

Publications (2)

Publication Number Publication Date
CN110288712A CN110288712A (zh) 2019-09-27
CN110288712B true CN110288712B (zh) 2023-05-12

Family

ID=68001291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253971.XA Active CN110288712B (zh) 2019-03-30 2019-03-30 室内场景的稀疏多视角三维重建方法

Country Status (1)

Country Link
CN (1) CN110288712B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4075389A4 (en) * 2019-12-20 2023-02-15 Uisee Technologies (Zhejiang) Ltd. METHOD, DEVICE AND SYSTEM FOR THREE-DIMENSIONAL RECONSTRUCTION AND STORAGE MEDIUM
CN113497944A (zh) * 2020-03-19 2021-10-12 上海科技大学 多视角三维直播方法、系统、装置、终端和存储介质
CN111462137B (zh) * 2020-04-02 2023-08-08 中科人工智能创新技术研究院(青岛)有限公司 一种基于知识蒸馏和语义融合的点云场景分割方法
CN112132971B (zh) * 2020-09-08 2024-04-23 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质
CN112288875B (zh) * 2020-10-30 2024-04-30 中国有色金属长沙勘察设计研究院有限公司 一种面向无人机矿山巡检场景的快速三维重建方法
WO2022222077A1 (zh) * 2021-04-21 2022-10-27 浙江大学 基于反射分解的室内场景虚拟漫游方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN113436338A (zh) * 2021-07-14 2021-09-24 中德（珠海）人工智能研究院有限公司 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN115115797B (zh) * 2022-08-25 2022-11-25 清华大学 大场景稀疏光场语义驱动智能重建方法、系统与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093558A (ko) * 2017-02-14 2018-08-22 삼성전자주식회사 피사체의 이미지를 획득하기 위한 인터페이스를 제공하는 방법 및 전자 장치
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
CN107330973A (zh) * 2017-07-03 2017-11-07 深圳市唯特视科技有限公司 一种基于多视角监督的单视角重建方法
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109255833A (zh) * 2018-09-30 2019-01-22 宁波工程学院 基于语义先验和渐进式优化宽基线致密三维场景重建方法

Also Published As

Publication number Publication date
CN110288712A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110288712B (zh) 室内场景的稀疏多视角三维重建方法
Concha et al. Using superpixels in monocular SLAM
CN110009732B (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
CN107680159B (zh) 一种基于投影矩阵的空间非合作目标三维重建方法
CN102129708A (zh) 增强现实环境中快速多层次虚实遮挡处理方法
CN103236082A (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
WO2007142643A1 (en) Two pass approach to three dimensional reconstruction
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
Banno et al. Omnidirectional texturing based on robust 3D registration through Euclidean reconstruction from two spherical images
KR102416523B1 (ko) 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
CN107220996B (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
Zhang et al. The light field 3D scanner
Yuan et al. 3D reconstruction of background and objects moving on ground plane viewed from a moving camera
CN111988593A (zh) 一种基于深度残差优化的立体图像颜色校正方法及系统
WO2022032996A1 (zh) 基于非同步视频的运动捕捉方法
Lao et al. Solving rolling shutter 3d vision problems using analogies with non-rigidity
Sharma Uncalibrated camera based content generation for 3D multi-view displays
CN109859255B (zh) 大动作运动物体的多视角非同时采集与重建方法
Williem et al. Depth map estimation and colorization of anaglyph images using local color prior and reverse intensity distribution
Park et al. A tensor voting approach for multi-view 3D scene flow estimation and refinement
Lee et al. Globally consistent video depth and pose estimation with efficient test-time training
Martins et al. Dense accurate urban mapping from spherical RGB-D images
Naweed et al. Enhancement of 3D capture of room-sized dynamic scenes with Pan-Tilt-Zoom cameras
Onofrio et al. 3D Face Reconstruction with a four camera acquisition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant