CN111127633A - 三维重建方法、设备以及计算机可读介质 - Google Patents

三维重建方法、设备以及计算机可读介质 Download PDF

Info

Publication number
CN111127633A
CN111127633A CN201911330150.8A CN201911330150A CN111127633A CN 111127633 A CN111127633 A CN 111127633A CN 201911330150 A CN201911330150 A CN 201911330150A CN 111127633 A CN111127633 A CN 111127633A
Authority
CN
China
Prior art keywords
geometric model
target object
texture
data
complete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911330150.8A
Other languages
English (en)
Inventor
郭林杰
马岳文
郁树达
李思琪
邹成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911330150.8A priority Critical patent/CN111127633A/zh
Publication of CN111127633A publication Critical patent/CN111127633A/zh
Priority to PCT/CN2020/123377 priority patent/WO2021120846A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种三维重建方案，该方案首先通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，而后通过其它方式获取所述目标物体的完整几何模型，与所述初始几何模型进行配准之后，可以根据纹理图片以及纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，从而获得目标物体的三维模型。由于可以使用另外获取的完整几何模型与初始几何模型进行配准，即使初始几何模型因为物体表面的高光、透明等原因而导致残缺，可以由完整几何模型进行弥补，由此进行纹理贴图之后即可获得完整且具有真实尺度的三维模型。

Description

三维重建方法、设备以及计算机可读介质
技术领域
本申请涉及信息技术领域，尤其涉及一种三维重建方法、设备以及计算机可读介质。
背景技术
三维重建技术是物体对象在三维空间中数据表示的处理过程，三维模型可以使用采集物体的三维空间点构成点云来进行表示，点云可以使用三角网格、线、多边形网格来进行连接重建模型的表面。三维模型可以使用在在电影、游戏、制造等领域，三维建模技术属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。
当前三维重建行业中主要有以下几种三维重建方案：
1、基于背景纹影技术的透明物体三维表面重建方案，这种方案通过获取光源穿过透明物体后透射于背景图像后的折射率场来对透明物体进行三维表面重建。其缺点在主要在于，仅能够对整体透明的物体进行三维建模，对于同时存在透明与不透明部分的物体(如塑料饮料瓶等)，只能获取到透明部分的三维点云数据，由此重建的三维模型依然是残缺的。
2、一种通过扫描物体的深度数据和色彩数据进行三维重建方案，该方案通过RGB-D相机采集物体的彩色数据和深度数据，并基于彩色数据和深度数据进行几何建模、纹理贴图等，从而完整物体表面三维重建。其缺点在于，对于一些表面存在透明或者高光部分的物体，如同时存在透明与不透明部分的物体，由于用于采集深度数据主动光会因物体表面的透明或高光而无法被摄像头有效获取，导致深度数据缺失，无法重建获得完整的三维模型。
3、基于色彩图像的多视角立体几何三维重建方案，该方案通过输入密集的RGB图像，而后通过多视角立体几何的方法得到每幅图像对应的位姿，然后根据图像纹理提取出稀疏点云，进而得到稠密点云并进行纹理贴图，以获得三维模型。其缺点在于，对于纹理不丰富的区域，由于无法提取出有效的特征点，立体几何的方法失去效果，无法得到用于重建的点云数据，导致无法重建完整的三维模型。并且，通过该方案得到的三维模型没有真实的尺度数据，其重建获得的模型数值无法表示物体的真实大小。
由此可知，现有的各个三维方案各个方案的适用范围较小，仅对特定类型的物体的三维重建具有较好的重建效果，没有一种能够广泛适用于各种不同类型的物体的三维重建方法。
申请内容
本申请的一个目的是提供一种三维重建方法、设备以及计算机可读介质，用以解决现有方案适用范围较小的问题。
本申请实施例中提供了一种三维重建方法，该方法包括：
通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，其中，所述多个视角的纹理图片至少覆盖所述目标物体的表面；
获取所述目标物体的完整几何模型；
将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿；
根据多个视角的纹理图片以及所述纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，获得目标物体的三维模型。
本申请实施例还提供了一种三维重建设备，该设备包括：
扫描处理模块，用于通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，其中，所述多个视角的纹理图片至少覆盖所述目标物体的表面；
模型获取模块，用于获取所述目标物体的完整几何模型；
模型配准模块，用于将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿；
贴图处理模块，用于根据多个视角的纹理图片以及所述纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，获得目标物体的三维模型。
本申请的一些实施例还提供了一种计算设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的三维重建方法。
本申请的另一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现所述三维重建方法。
本申请实施例提供方案中，首先通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，而后通过其它方式获取所述目标物体的完整几何模型，与所述初始几何模型进行配准之后，可以根据纹理图片以及纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，从而获得目标物体的三维模型。由于可以使用另外获取的完整几何模型与初始几何模型进行配准，即使初始几何模型因为物体表面的高光、透明等原因而导致残缺，可以由完整几何模型进行弥补，由此进行纹理贴图之后即可获得完整且具有真实尺度的三维模型。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种三维重建方法的处理流程图；
图2为本申请实施例中对深度数据和色彩数据处理时的流程示意图；
图3为采用本申请实施例中的方案实现一般物体三维重建时的处理过程示意图；
图4为本申请实施例提供的一种三维重建设备的结构示意图；
图5为本申请实施例提供的一种用于实现三维重建的计算设备的结构示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的装置或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例提供了一种三维重建方法，该方法可以使用另外获取的完整几何模型与初始几何模型进行配准，即使初始几何模型因为物体表面的高光、透明等原因而导致残缺，可以由完整几何模型进行弥补，由此进行纹理贴图之后即可获得完整且具有真实尺度的三维模型。
在实际场景中，该方法的执行主体可以是用户设备、网络设备或者用户设备与网络设备通过网络相集成所构成的设备，此外也可以是运行于上述设备中的程序。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图1示出了本申请实施提供的一种三维重建方法的处理流程，该方法至少包括以下处理步骤：
步骤S101，通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿。
所述目标物体不限于特定的类型，可以是同时存在透明与不透明部分的物体，也可以是表面存在透明或者高光部分的物体、表面纹理不丰富的物体等。由此，通过扫描设备对目标物体进行多视角扫描所获取初始几何模型可能是残缺的几何模型，例如对于一个表面存在高光部分的目标物体，可能会因为缺少该高光部分的点云数据(point clouddata)，而导致初始几何模型中缺少该高光部分，或者该高光部分的数据有误，此时该初始几何模型即为残缺的几何模型。
在本申请的一些实施例中，所述扫描设备可以是任意能够获取色彩数据和深度数据的设备，所述色彩数据用于表示图像中各个像素点的色彩，例如可以采用RGB的表示方式记录每个像素点的RGB值，所述深度数据用于表示图像中各个像素点与深度数据的采集器之间的距离，可以反映图像中物体可见表面的几何形状。由此，可以通过扫描设备对目标物体进行多视角扫描，获取关于所述目标物体的多个视角的深度数据和色彩数据，而后根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿。
为了能够获得深度数据和色彩数据，所述扫描设备可以是RGB-D摄像头等能够同时对物体的色彩和深度进行采集的设备。并且在进行多角度扫描时，需要保证角度能够覆盖整个物体，以使得由此获得的多个视角的纹理图片至少覆盖所述目标物体的表面，避免在进行后续的贴图时导致表面某部分的纹理缺失。
在实际场景中，进行多视角扫描时，可以至少包括6个视角的扫描。当采用最少的6个视角时，可以从目标物体的正面、反面、左右两个侧面以及顶面和底面获取此6个视角的色彩数据和深度数据，对应于目标物体的正六视图，或者也可以沿物体的周围按照间隔60度的方式设定6个扫描的视角。当采用6个以上的视角时，可以根据实际需要调整这些视角的分布，例如可以设置多个视角采集目标物体表面上几何形状较为复杂的区域，从而确保能够更加有效地获取各个目标物体的深度数据和色彩数据。
本申请的一些实施例中，在根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿时，可以采用如图2所示的处理流程，至少包括了以下的处理步骤：
步骤S201，根据多个视角的深度数据获得不同视角的点云数据，并对不同视角的点云数据进行配准，获得目标物体的点云数据。
在获取不同视角的点云数据时，可以基于每个视角的深度数据进行单独处理。由于深度数据表示图像中的各个像素点与深度数据的采集器之间的距离，能够反映出物体的几何形状，因此深度数据通过坐标转换可以计算为点云数据。所述点云数据是指三维坐标系下的点的集合，当点的数量足够多时可以用于描述物体的几何形状。
在实际场景中，通过扫描设备对目标物体进行多视角扫描时，环境因素难以处于完全理想的状态，因此扫描获得的深度数据中不可避免地会存在一些会对处理产生干扰的噪声数据。在进行后续处理之前，对这些噪声数据进行过滤，可以使得处理结果更加准确。在本申请的一些实施例中，可以先根据深度阈值确定多个视角的深度数据中的背景深度数据，并过滤所述背景深度数据，获得目标物体的本体深度数据。
例如，本实施例中采用16位的深度值，可以表示65536(216)个不同的深度值，用于标定目标物体的各个点与采集器之间的距离。若该16位的深度值分别用于表示0～65535毫米的距离，在扫描时可以将目标物体与扫描设备的深度采集器之间的放置一定的举例，例如0.6～1.2米之间。因此，采集到的深度数据中，过大或者过小的深度值都不可能是目标物体上的点所对应的深度值，而是属于环境背景中其它物体的深度值。由此，可以过滤掉背景深度数据，获得目标物体的本体深度数据，并进一步根据多个视角的本体深度数据获得不同视角的点云数据。
根据多个视角的本体深度数据获得不同视角的点云数据的处理过程，可以理解为一个坐标转换的过程，每个视角的本体深度数据即为像素坐标系下的坐标值，而对应视角下的点云数据即为世界坐标系下的坐标值，通过将本体深度数据从像素坐标系换算至世界坐标系，即可获得不同视角下点云数据。
由于不同视角的点云数据之间会存在公共部分，对不同视角的点云数据进行配准之后即可获得整个目标物体的点云数据。该配准过程中，需要对各个视角的点云数据进行分析，求解相互之间的变换参数，进而根据变换参数将所有的视角下的点云数据映射到同一个坐标系中。
在本申请的一些实施例中，可以采用如下的方式对不同视角的点云数据进行配准。首先，对不同视角的点云数据进行粗糙配准，提取其中具有公共部分的两个视角的点云数据之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显式特征，也可以是自定义的符号、旋转图形、轴心等类型的特征。而后根据这些特征对其中一个点云数据的坐标系进行变换，使得两个视角的点云数据处于同一参考坐标系内，以此获得变换估计值。采用上述方式，对所有视角的点云数据两两进行粗糙配准，直至将所有视角的点云数据变换至同一参考坐标系内，获取在此过程中所对应的所有变换估计值。
对所有具有公共部分的点云数据完成粗糙配准之后，可以进一步进行精细配准。经过前一步粗糙配准之后，可以得到变换估计值，将此变换估计值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果。例如，以ICP(Iterative Closest Point，迭代最近点)算法为例，该算法首先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数。基于最小二乘法对目标函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，由此可以获得最优的变换估计值，以用于将所有视角的点云数据变换至同一参考坐标系内，从而获得目标物体的点云数据。
步骤S202，根据所述目标物体的点云数据计算目标物体的面片数据，确定目标物体的初始几何模型。其中，所述面片数据用于表示由点云数据所表示的点所构成的面，在实际场景中，可以采用Marching Cube算法实现面片数据的计算，该算法首先将点云数据中八个位置相邻的点分别存放在一个四面体体元的八个顶点处。对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点。然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域。最后连接其中的所有体元的三角面片，构成等值面，合并所有立方体的等值面便可生成完整的三维表面，从而确定目标物体的初始几何模型。
步骤S203，根据多个视角的色彩数据获得不同视角的纹理图片。
步骤S204，根据纹理图片的视角与初始几何模型之间的空间映射关系，确定所述纹理图片关于所述初始几何模型的相机位姿。由于生成纹理图片的色彩数据的视角与生成初始几何模型中相应的深度数据的视角是一一对应的，因此可以确定纹理图片的视角与初始几何模型之间的空间映射关系，并由此确定所述纹理图片关于所述初始几何模型的相机位姿。
在实际场景中，实际采集的深度数据和色彩数据的采集器是不同的，例如RGB数据是通过RGB摄像头采集，而深度数据是由深度摄像头采集，采集到的深度数据和色彩数据的坐标系会存在差异。因此，需要先将各个视角的色彩数据与对应视角的深度数据进行对其处理，例如实际场景中可以调用OpenNI库的GetAIternativeViewPointCap函数自动对齐色彩数据和深度数据。
步骤S102，获取所述目标物体的完整几何模型。其中，所述完整几何模型是指通过其它方式获得的，包含没有点云数据缺失的几何模型。在实际场景中，所述完整几何模型可以从已有的模型库中下载获得，也可以是由用户通过人工方式设计获得。在通过人工方式设计获得完整几何模型时，可以采用各类三维设计程序根据目标物体的实际几何尺寸进行设计，从而获取目标物体的完整几何模型。此外，也可以通过扫描的方式获得目标物体的完整集合模型。
步骤S103，将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿。
在配准过程中，可以采用ICP或者其它变种的三维配准算法将所述完整几何模型与所述初始几何模型进行配准，以使所述完整几何模型替换所述初始几何模型，而后根据所述纹理图片关于所述初始几何模型的相机位姿，确定所述纹理图片关于替换后的完整几何模型的相机位姿。
步骤S104，根据多个视角的纹理图片以及所述纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，获得目标物体的三维模型。
图3示出了采用本申请实施例中的方案实现一般物体三维重建时的处理过程，首先对通过扫描仪对一般物体310进行扫描，获得初始数据320。该初始数据包括两部分，即初始几何模型以及多视角的纹理图片以及相对初始几何模型的相机位姿。而后获取到完整几何模型330，并基于该完整几何模型进行配准处理340，该配准处理用于将完整几何模型配准到初始几何模型，并将其替换。在完成配准处理之后，即可将初始数据320更新为完整数据350，完整数据包括两部分，即完整几何模型以及多视角的纹理图片以及相对完整几何模型的相机位姿。最后，基于完整数据进行纹理贴图，获得具有纹理图片的完整三维模型360。
基于同一发明构思，本申请实施例中还提供了一种三维重建设备，所述设备对应的方法是前述实施例中的三维重建方法，并且其解决问题的原理与该方法相似。
本申请实施例提供的一种三维重建设备可以使用另外获取的完整几何模型与初始几何模型进行配准，即使初始几何模型因为物体表面的高光、透明等原因而导致残缺，可以由完整几何模型进行弥补，由此进行纹理贴图之后即可获得完整且具有真实尺度的三维模型。
在实际场景中，该三维重建设备可以是用户设备、网络设备或者用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图4示出了本申请实施提供的一种三维重建设备的结构，该设备至少包括扫描处理模块410、模型获取模块420、模型配准模块430和贴图处理模块440。其中，扫描处理模块410用于通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿。模型获取模块420用于获取所述目标物体的完整几何模型。模型配准模块430用于将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿。贴图处理模块440用于根据多个视角的纹理图片以及所述纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，获得目标物体的三维模型。
所述目标物体不限于特定的类型，可以是同时存在透明与不透明部分的物体，也可以是表面存在透明或者高光部分的物体、表面纹理不丰富的物体等。由此，通过扫描设备对目标物体进行多视角扫描所获取初始几何模型可能是残缺的几何模型，例如对于一个表面存在高光部分的目标物体，可能会因为缺少该高光部分的点云数据(point clouddata)，而导致初始几何模型中缺少该高光部分，或者该高光部分的数据有误，此时该初始几何模型即为残缺的几何模型。
在本申请的一些实施例中，所述扫描设备可以是任意能够获取色彩数据和深度数据的设备，所述色彩数据用于表示图像中各个像素点的色彩，例如可以采用RGB的表示方式记录每个像素点的RGB值，所述深度数据用于表示图像中各个像素点与深度数据的采集器之间的距离，可以反映图像中物体可见表面的几何形状。由此，可以通过扫描设备对目标物体进行多视角扫描，获取关于所述目标物体的多个视角的深度数据和色彩数据，而后根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿。
为了能够获得深度数据和色彩数据，所述扫描设备可以是RGB-D摄像头等能够同时对物体的色彩和深度进行采集的设备。并且在进行多角度扫描时，需要保证角度能够覆盖整个物体，以使得由此获得的多个视角的纹理图片至少覆盖所述目标物体的表面，避免在进行后续的贴图时导致表面某部分的纹理缺失。
在实际场景中，进行多视角扫描时，可以至少包括6个视角的扫描。当采用最少的6个视角时，可以从目标物体的正面、反面、左右两个侧面以及顶面和底面获取此6个视角的色彩数据和深度数据，对应于目标物体的正六视图，或者也可以沿物体的周围按照间隔60度的方式设定6个扫描的视角。当采用6个以上的视角时，可以根据实际需要调整这些视角的分布，例如可以设置多个视角采集目标物体表面上几何形状较为复杂的区域，从而确保能够更加有效地获取各个目标物体的深度数据和色彩数据。
本申请的一些实施例中，扫描处理模块410在根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿时，可以采用如图2所示的处理流程，至少包括了以下的处理步骤：
步骤S201，根据多个视角的深度数据获得不同视角的点云数据，并对不同视角的点云数据进行配准，获得目标物体的点云数据。
在获取不同视角的点云数据时，可以基于每个视角的深度数据进行单独处理。由于深度数据表示图像中的各个像素点与深度数据的采集器之间的距离，能够反映出物体的几何形状，因此深度数据通过坐标转换可以计算为点云数据。所述点云数据是指三维坐标系下的点的集合，当点的数量足够多时可以用于描述物体的几何形状。
在实际场景中，通过扫描设备对目标物体进行多视角扫描时，环境因素难以处于完全理想的状态，因此扫描获得的深度数据中不可避免地会存在一些会对处理产生干扰的噪声数据。在进行后续处理之前，对这些噪声数据进行过滤，可以使得处理结果更加准确。在本申请的一些实施例中，可以先根据深度阈值确定多个视角的深度数据中的背景深度数据，并过滤所述背景深度数据，获得目标物体的本体深度数据。
例如，本实施例中采用16位的深度值，可以表示65536(216)个不同的深度值，用于标定目标物体的各个点与采集器之间的距离。若该16位的深度值分别用于表示0～65535毫米的距离，在扫描时可以将目标物体与扫描设备的深度采集器之间的放置一定的举例，例如0.6～1.2米之间。因此，采集到的深度数据中，过大或者过小的深度值都不可能是目标物体上的点所对应的深度值，而是属于环境背景中其它物体的深度值。由此，可以过滤掉背景深度数据，获得目标物体的本体深度数据，并进一步根据多个视角的本体深度数据获得不同视角的点云数据。
根据多个视角的本体深度数据获得不同视角的点云数据的处理过程，可以理解为一个坐标转换的过程，每个视角的本体深度数据即为像素坐标系下的坐标值，而对应视角下的点云数据即为世界坐标系下的坐标值，通过将本体深度数据从像素坐标系换算至世界坐标系，即可获得不同视角下点云数据。
由于不同视角的点云数据之间会存在公共部分，对不同视角的点云数据进行配准之后即可获得整个目标物体的点云数据。该配准过程中，需要对各个视角的点云数据进行分析，求解相互之间的变换参数，进而根据变换参数将所有的视角下的点云数据映射到同一个坐标系中。
在本申请的一些实施例中，可以采用如下的方式对不同视角的点云数据进行配准。首先，对不同视角的点云数据进行粗糙配准，提取其中具有公共部分的两个视角的点云数据之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显式特征，也可以是自定义的符号、旋转图形、轴心等类型的特征。而后根据这些特征对其中一个点云数据的坐标系进行变换，使得两个视角的点云数据处于同一参考坐标系内，以此获得变换估计值。采用上述方式，对所有视角的点云数据两两进行粗糙配准，直至将所有视角的点云数据变换至同一参考坐标系内，获取在此过程中所对应的所有变换估计值。
对所有具有公共部分的点云数据完成粗糙配准之后，可以进一步进行精细配准。经过前一步粗糙配准之后，可以得到变换估计值，将此变换估计值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果。例如，以ICP(Iterative Closest Point，迭代最近点)算法为例，该算法首先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数。基于最小二乘法对目标函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，由此可以获得最优的变换估计值，以用于将所有视角的点云数据变换至同一参考坐标系内，从而获得目标物体的点云数据。
步骤S202，根据所述目标物体的点云数据计算目标物体的面片数据，确定目标物体的初始几何模型。其中，所述面片数据用于表示由点云数据所表示的点所构成的面，在实际场景中，可以采用Marching Cube算法实现面片数据的计算，该算法首先将点云数据中八个位置相邻的点分别存放在一个四面体体元的八个顶点处。对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点。然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域。最后连接其中的所有体元的三角面片，构成等值面，合并所有立方体的等值面便可生成完整的三维表面，从而确定目标物体的初始几何模型。
步骤S203，根据多个视角的色彩数据获得不同视角的纹理图片。
步骤S204，根据纹理图片的视角与初始几何模型之间的空间映射关系，确定所述纹理图片关于所述初始几何模型的相机位姿。由于生成纹理图片的色彩数据的视角与生成初始几何模型中相应的深度数据的视角是一一对应的，因此可以确定纹理图片的视角与初始几何模型之间的空间映射关系，并由此确定所述纹理图片关于所述初始几何模型的相机位姿。
在实际场景中，实际采集的深度数据和色彩数据的采集器是不同的，例如RGB数据是通过RGB摄像头采集，而深度数据是由深度摄像头采集，采集到的深度数据和色彩数据的坐标系会存在差异。因此，需要先将各个视角的色彩数据与对应视角的深度数据进行对其处理，例如实际场景中可以调用OpenNI库的GetAIternativeViewPointCap函数自动对齐色彩数据和深度数据。
模型获取模块在获取所述目标物体的完整几何模型时，其所获取的完整几何模型是指通过其它方式获得的，包含没有点云数据缺失的几何模型。在实际场景中，所述完整几何模型可以从已有的模型库中下载获得，也可以是由用户通过人工方式设计获得。
模型配准模块在配准过程中，可以采用ICP或者其它变种的三维配准算法将所述完整几何模型与所述初始几何模型进行配准，以使所述完整几何模型替换所述初始几何模型，而后根据所述纹理图片关于所述初始几何模型的相机位姿，确定所述纹理图片关于替换后的完整几何模型的相机位姿。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一些实施例包括一个如图5所示的计算设备，该设备包括存储有计算机可读指令的一个或多个存储器510和用于执行计算机可读指令的处理器520，其中，当该计算机可读指令被该处理器执行时，使得所述设备执行基于前述本申请的多个实施例的方法和/或技术方案。
此外，本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。
综上所述，本申请实施例提供方案中，首先通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，而后通过其它方式获取所述目标物体的完整几何模型，与所述初始几何模型进行配准之后，可以根据纹理图片以及纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，从而获得目标物体的三维模型。由于可以使用另外获取的完整几何模型与初始几何模型进行配准，即使初始几何模型因为物体表面的高光、透明等原因而导致残缺，可以由完整几何模型进行弥补，由此进行纹理贴图之后即可获得完整且具有真实尺度的三维模型。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (16)

1.一种三维重建方法，其中，该方法包括：
通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，其中，所述多个视角的纹理图片至少覆盖所述目标物体的表面；
获取所述目标物体的完整几何模型；
将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿；
根据多个视角的纹理图片以及所述纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，获得目标物体的三维模型。
2.根据权利要求1所述的方法，其中，通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，包括：
通过扫描设备对目标物体进行多视角扫描，获取关于所述目标物体的多个视角的深度数据和色彩数据；
根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿。
3.根据权利要求2所述的方法，其中，根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，包括：
根据多个视角的深度数据获得不同视角的点云数据，并对不同视角的点云数据进行配准，获得目标物体的点云数据；
根据所述目标物体的点云数据计算目标物体的面片数据，确定目标物体的初始几何模型；
根据多个视角的色彩数据获得不同视角的纹理图片；
根据纹理图片的视角与初始几何模型之间的空间映射关系，确定所述纹理图片关于所述初始几何模型的相机位姿。
4.根据权利要求3所述的方法，其中，根据多个视角的深度数据获得不同视角的点云数据，包括：
根据深度阈值确定多个视角的深度数据中的背景深度数据，并过滤所述背景深度数据，获得目标物体的本体深度数据；
根据多个视角的本体深度数据获得不同视角的点云数据。
5.根据权利要求1所述的方法，其中，通过扫描设备对目标物体进行多视角扫描，包括：
通过扫描设备对目标物体进行至少6个视角的扫描，以使所述至少6个视角的纹理图片至少覆盖所述目标物体的表面。
6.根据权利要求1所述的方法，其中，获取所述目标物体的完整几何模型，包括：
从已有的模型库中下载获取所述目标物体的完整几何模型，或通过人工方式设计获取所述目标物体的完整几何模型，或通过扫描获得目标物体的完整几何模型。
7.根据权利要求1所述的方法，其中，将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿，包括：
将所述完整几何模型与所述初始几何模型进行配准，以使所述完整几何模型替换所述初始几何模型；
根据所述纹理图片关于所述初始几何模型的相机位姿，确定所述纹理图片关于替换后的完整几何模型的相机位姿。
8.一种三维重建设备，其中，该设备包括：
扫描处理模块，用于通过扫描设备对目标物体进行多视角扫描，获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿，其中，所述多个视角的纹理图片至少覆盖所述目标物体的表面；
模型获取模块，用于获取所述目标物体的完整几何模型；
模型配准模块，用于将所述完整几何模型与所述初始几何模型进行配准，确定所述纹理图片关于完整几何模型的相机位姿；
贴图处理模块，用于根据多个视角的纹理图片以及所述纹理图片关于完整几何模型的相机位姿，对所述目标物体的完整几何模型进行纹理贴图，获得目标物体的三维模型。
9.根据权利要求8所述的设备，其中，所述扫描处理模块，用于通过扫描设备对目标物体进行多视角扫描，获取关于所述目标物体的多个视角的深度数据和色彩数据；根据多个视角的深度数据和色彩数据获取目标物体的初始几何模型、多个视角的纹理图片以及所述纹理图片关于所述初始几何模型的相机位姿。
10.根据权利要求9所述的设备，其中，所述扫描处理模块，用于根据多个视角的深度数据获得不同视角的点云数据，并对不同视角的点云数据进行配准，获得目标物体的点云数据；根据所述目标物体的点云数据计算目标物体的面片数据，确定目标物体的初始几何模型；根据多个视角的色彩数据获得不同视角的纹理图片；以及根据纹理图片的视角与初始几何模型之间的空间映射关系，确定所述纹理图片关于所述初始几何模型的相机位姿。
11.根据权利要求10所述的设备，其中，所述扫描处理模块，用于根据深度阈值确定多个视角的深度数据中的背景深度数据，并过滤所述背景深度数据，获得目标物体的本体深度数据；以及根据多个视角的本体深度数据获得不同视角的点云数据。
12.根据权利要求8所述的设备，其中，所述扫描处理模块，用于通过扫描设备对目标物体进行至少6个视角的扫描，以使所述至少6个视角的纹理图片至少覆盖所述目标物体的表面。
13.根据权利要求8所述的设备，其中，所述模型获取模块，用于从已有的模型库中下载获取所述目标物体的完整几何模型，或通过人工方式设计获取所述目标物体的完整几何模型，或通过扫描获得目标物体的完整几何模型。
14.根据权利要求8所述的设备，其中，所述模型配准模块，用于将所述完整几何模型与所述初始几何模型进行配准，以使所述完整几何模型替换所述初始几何模型；以及根据所述纹理图片关于所述初始几何模型的相机位姿，确定所述纹理图片关于替换后的完整几何模型的相机位姿。
15.一种计算装置，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至7中任一项所述的方法。
16.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。
CN201911330150.8A 2019-12-20 2019-12-20 三维重建方法、设备以及计算机可读介质 Pending CN111127633A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911330150.8A CN111127633A (zh) 2019-12-20 2019-12-20 三维重建方法、设备以及计算机可读介质
PCT/CN2020/123377 WO2021120846A1 (zh) 2019-12-20 2020-10-23 三维重建方法、设备以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911330150.8A CN111127633A (zh) 2019-12-20 2019-12-20 三维重建方法、设备以及计算机可读介质

Publications (1)

Publication Number Publication Date
CN111127633A true CN111127633A (zh) 2020-05-08

Family

ID=70501022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911330150.8A Pending CN111127633A (zh) 2019-12-20 2019-12-20 三维重建方法、设备以及计算机可读介质

Country Status (2)

Country Link
CN (1) CN111127633A (zh)
WO (1) WO2021120846A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258638A (zh) * 2020-10-30 2021-01-22 李艳 人体模型的建模方法、装置、存储介质及电子设备
CN112348956A (zh) * 2020-10-12 2021-02-09 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
WO2021120846A1 (zh) * 2019-12-20 2021-06-24 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质
CN113160381A (zh) * 2021-03-23 2021-07-23 清华大学 多视角动物三维几何与纹理自动化重建方法和装置
CN113362446A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
CN113421292A (zh) * 2021-06-25 2021-09-21 北京华捷艾米科技有限公司 一种三维建模细节增强方法及装置
CN113838183A (zh) * 2021-08-18 2021-12-24 杭州易现先进科技有限公司 一种三维纹理模型生成的方法、系统、电子装置和介质
WO2022077146A1 (zh) * 2020-10-12 2022-04-21 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
CN115546379A (zh) * 2022-11-29 2022-12-30 思看科技(杭州)股份有限公司 一种数据处理方法、装置和计算机设备
CN115880442A (zh) * 2023-02-06 2023-03-31 宝略科技(浙江)有限公司 一种基于激光扫描的三维模型重建方法以及系统
CN116228994A (zh) * 2023-05-09 2023-06-06 腾讯科技（深圳）有限公司 三维模型获取方法、装置、设备及存储介质
WO2024022070A1 (zh) * 2022-07-26 2024-02-01 京东方科技集团股份有限公司 画面显示方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130070A1 (ja) * 2018-12-21 2020-06-25 株式会社ニコン 検出装置、情報処理装置、検出方法、及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331883A (zh) * 2010-07-14 2012-01-25 财团法人工业技术研究院 三维控制端点的辨识方法及应用其的计算机可读介质
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
EP2852932A1 (en) * 2012-05-22 2015-04-01 Telefónica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN107170043A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种三维重建方法
CN107194964A (zh) * 2017-05-24 2017-09-22 电子科技大学 一种基于实时人体三维重建的vr社交系统及其方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915986B (zh) * 2015-06-26 2018-04-17 北京航空航天大学 一种实体三维模型自动建模方法
JP7143225B2 (ja) * 2017-01-19 2022-09-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法及び三次元再構成装置
CN108961381B (zh) * 2017-05-17 2022-02-01 富士通株式会社 用于对物体的三维几何模型着色的方法和装置
CN109658365B (zh) * 2017-10-11 2022-12-06 阿里巴巴(深圳)技术有限公司 图像处理方法、装置、系统和存储介质
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109389665B (zh) * 2018-08-24 2021-10-22 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN111127633A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331883A (zh) * 2010-07-14 2012-01-25 财团法人工业技术研究院 三维控制端点的辨识方法及应用其的计算机可读介质
EP2852932A1 (en) * 2012-05-22 2015-04-01 Telefónica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN107194964A (zh) * 2017-05-24 2017-09-22 电子科技大学 一种基于实时人体三维重建的vr社交系统及其方法
CN107170043A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种三维重建方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120846A1 (zh) * 2019-12-20 2021-06-24 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质
WO2022077146A1 (zh) * 2020-10-12 2022-04-21 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
CN112348956A (zh) * 2020-10-12 2021-02-09 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
US11748948B2 (en) 2020-10-12 2023-09-05 Shenzhen University Mesh reconstruction method and apparatus for transparent object, computer device and storage medium
CN112348956B (zh) * 2020-10-12 2023-07-14 深圳大学 透明物体的网格重建方法、装置、计算机设备和存储介质
CN112258638A (zh) * 2020-10-30 2021-01-22 李艳 人体模型的建模方法、装置、存储介质及电子设备
CN112258638B (zh) * 2020-10-30 2021-11-12 李艳 人体模型的建模方法、装置、存储介质及电子设备
CN113160381A (zh) * 2021-03-23 2021-07-23 清华大学 多视角动物三维几何与纹理自动化重建方法和装置
CN113362446A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
CN113362446B (zh) * 2021-05-25 2023-04-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
CN113421292A (zh) * 2021-06-25 2021-09-21 北京华捷艾米科技有限公司 一种三维建模细节增强方法及装置
CN113838183A (zh) * 2021-08-18 2021-12-24 杭州易现先进科技有限公司 一种三维纹理模型生成的方法、系统、电子装置和介质
WO2024022070A1 (zh) * 2022-07-26 2024-02-01 京东方科技集团股份有限公司 画面显示方法、装置、设备及介质
CN115546379A (zh) * 2022-11-29 2022-12-30 思看科技(杭州)股份有限公司 一种数据处理方法、装置和计算机设备
CN115880442A (zh) * 2023-02-06 2023-03-31 宝略科技(浙江)有限公司 一种基于激光扫描的三维模型重建方法以及系统
CN116228994A (zh) * 2023-05-09 2023-06-06 腾讯科技（深圳）有限公司 三维模型获取方法、装置、设备及存储介质
CN116228994B (zh) * 2023-05-09 2023-08-01 腾讯科技（深圳）有限公司 三维模型获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021120846A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111127633A (zh) 三维重建方法、设备以及计算机可读介质
Gortler et al. The lumigraph
CN110363858B (zh) 一种三维人脸重建方法及系统
Fabio From point cloud to surface: the modeling and visualization problem
Remondino From point cloud to surface: the modeling and visualization problem
Jones et al. 3D distance fields: A survey of techniques and applications
Colombo et al. Metric 3D reconstruction and texture acquisition of surfaces of revolution from a single uncalibrated view
Chauve et al. Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data
CN103021017B (zh) 基于gpu加速的三维场景重建方法
Lanman et al. Build your own 3D scanner: 3D photography for beginners
Bódis-Szomorú et al. Fast, approximate piecewise-planar modeling based on sparse structure-from-motion and superpixels
KR101310589B1 (ko) 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들
CN108986195B (zh) 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法
Yemez et al. 3D reconstruction of real objects with high resolution shape and texture
Zhao et al. Geometric-constrained multi-view image matching method based on semi-global optimization
US9147279B1 (en) Systems and methods for merging textures
Lhuillier et al. Manifold surface reconstruction of an environment from sparse structure-from-motion data
Xu et al. Survey of 3D modeling using depth cameras
Kim et al. Block world reconstruction from spherical stereo image pairs
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
Meerits et al. Real-time scene reconstruction and triangle mesh generation using multiple RGB-D cameras
Campos et al. Splat-based surface reconstruction from defect-laden point sets
Wang et al. A new upsampling method for mobile lidar data
US8948498B1 (en) Systems and methods to transform a colored point cloud to a 3D textured mesh
Rothermel Development of a SGM-based multi-view reconstruction framework for aerial imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508