CN109147048B - 一种利用单张彩色图的三维网格重建方法 - Google Patents

一种利用单张彩色图的三维网格重建方法 Download PDF

Info

Publication number
CN109147048B
CN109147048B CN201810809452.2A CN201810809452A CN109147048B CN 109147048 B CN109147048 B CN 109147048B CN 201810809452 A CN201810809452 A CN 201810809452A CN 109147048 B CN109147048 B CN 109147048B
Authority
CN
China
Prior art keywords
dimensional
image
neural network
nodes
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810809452.2A
Other languages
English (en)
Other versions
CN109147048A (zh
Inventor
姜育刚
付彦伟
王南洋
张寅达
李著文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201810809452.2A priority Critical patent/CN109147048B/zh
Publication of CN109147048A publication Critical patent/CN109147048A/zh
Priority to US16/519,304 priority patent/US10777003B2/en
Priority to US16/681,474 priority patent/US10783709B2/en
Application granted granted Critical
Publication of CN109147048B publication Critical patent/CN109147048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

本发明属于三维视觉技术领域，具体为一种利用单张彩色图重建物体三维网格模型的方法。本发明方法包括，对于图像，设计一个多层的全卷积特征网络，用于提取图片不同层次的特征；对于三维网格，设置一个初始椭球，用图神经网络表示，利用图片特征不断对椭球进行形变，以逼近真实形状；同时，设计投影层连接图像端和三维网格端，在此框架下训练一个端到端的神经网络，即给定一张彩色图，输出对应的三维网格模型。该方法具有三维建模结果光滑、完整并且细节丰富的优点，重建精度也得到了有效的提升，非常适合于在虚拟现实、动画游戏、生产制造等产业中的实际应用。

Description

一种利用单张彩色图的三维网格重建方法
技术领域
本发明属于三维视觉技术领域，具体涉及利用单张彩色图重建物体三维网格模型的方法。
背景技术
三维数据有多种表示形式，包括立体栅格、点云、网格等。立体栅格是一种规则的数据结构，即将物体表示为N*N*N的矩阵，受分辨率和表达能力限制，这种表示方法通常缺乏细节，难以表示复杂形状；三维点云是一种不规则的数据结构，由于点之间没有局部连结关系，点云往往只能表示物体的大概形状，缺乏物体的表面信息；三维网格同样是一种不规则的数据结构，由点、边和面组成，由于其轻量、形状细节丰富等特性，在虚拟现实、动画游戏、生产制造等实际产业中应用越来越广泛。
从物体的二维图片推断其三维立体形状是人类的一种基本视觉功能，但是对计算机来说却非常具有挑战。基于多视图几何（MVG）的方法已经较好地研究了三维重建，主要研究方向包括及时定位与地图构建（SLAM）和用于大规模高质量重建的运动结构方法（SfM）。虽然它们在这些场景中非常成功，但它们受到以下因素的限制：1）多个视图可提供的覆盖范围；2）想要重建的对象的外观。前者意味着MVG不能重建物体的不可见部分，因此想要进行较好的重建通常需要获得大量视角的图片; 后者意味着MVG不能重建非朗伯（例如反射或透明）或无纹理的物体。这些限制导致近年来越来越多采用基于学习的方法进行三维重建。
近年来，基于学习的方法已经在3D重建领域有所突破，但是受限于卷积神经网络的特性，之前的方法都是生成点云或者规则的立体栅格，两种表示方法都缺乏表面细节。
文[1] 从大型数据集中检索形状组件，将它们组装起来并进行形状分解以适应输入图像。这种方法依赖外部3D形状数据库，若数据库中没有相应模型，则会影响后续重建结果。
文[2]为每一类学习一个可变形的3D模型，然后根据每张图片的特征进行形状分解。然而，这种方法受限于类别信息扩展能力较差，并且重建的模型严重缺乏细节。
文[3]重建立体栅格，由于GPU显存和计算量限制，输出栅格通常分辨率很低。最近文[4]提出了一种八叉树的表示方法，可以在有限GPU显存预算下重建出分辨率稍微高一些的模型，但是3D栅格仍然不是电影和游戏产业中常用的表示方法。
文[5]提出一种从单张图片生成点云的方法，由于点之间没有局部连接，生成点的位置移动的自由度太高，所以重建出来的点云模型缺乏形状表面细节。
最近的工作文[6]提出了一种从图像到3D网格的方法，同样他们的方法依赖一个大的外部模型数据库来生成组合的模型。
发明内容
本发明的目的在于提出一种生成结果光滑、重建精度高的利用单张彩色图生成物体三维网格模型的方法。
本发明提出的利用单张彩色图生成物体三维网格模型的方法，包括，对于图像，设计一个多层的全卷积特征网络，用于提取图片不同层次的特征；对于三维网格，设置一个初始椭球，用图神经网络表示，利用图片特征不断对椭球进行形变，以逼近真实形状；同时，设计投影层连接图像端和三维网格端，在此框架下训练一个端到端的神经网络，即给定一张彩色图，输出对应的三维网格模型。具体步骤如下：
（1）收集二维图片及其对应的三维标注信息。首先收集大量原始三维CAD模型；对于二维图像，随机初始化一些相机参数，通过渲染CAD模型的方式合成图片；对于三维标签，在原始CAD模型上均匀采样固定数量的点，并记录每个点的法向量，生成含有法向量信息的点云数据；
（2）构建一个初始椭球网格模型。设置空间隐性方程（x2 + 2*y2 + 2*(z+0.8)2 -0.08 = 0），然后在方程上均匀采样，得到一个含有156个顶点、308个面的三角椭球网格模型；三维网格（3D mesh）由节点、边和面构成，可以用图（graph）来表示，所以可以用邻接矩阵表示图中节点间的连接关系，若两个节点相连则值不为零，若不相连则值为零，由于此邻接矩阵中大部分值都为零，所以本发明用稀疏矩阵的形式表示；
（3）构建从图像生成三维网格的深度神经网络。具体包括两部分，第一部分是图片特征网络，设计一个18层的卷积神经网络，此神经网络由卷积层和池化层构成，具体而言，每2-3个卷积层后面使用一个池化层进行特征降维，用此卷积神经网络提取图像特征；第二部分是三维网格形变网络，设计一个14层的图卷积的神经网络，中间所有隐含层特征均为128维，输出层特征是3维，即更新后的节点坐标。图卷积神经网络可在图的节点间学习和交换特征，能够根据卷积神经网络提取的图片特征对初始模型进行多次形变，使得节点坐标不断逼近真实值；另外，设计了一个投影层，此投影层的作用在于连接图片特征网络和网格形变网络，其输入是节点三维坐标，输出是图像二维坐标。具体而言，根据相机参数可将网格节点三维坐标投影回图片二维坐标，从而根据这个坐标在特征图上取特征，作为节点的初始特征向量；
（4）构建由粗到精的生成模块。节点和边的数量越少越容易学习，但是受表达能力限制生成的网格细节不足，节点数量太多的话难于学习，生成的结果会出现严重的交叉问题。本方法采用由粗到精的方式，设计一个图的向上池化层，图的向上池化层的输入是含有较少节点的三维网格，输出是增加了节点和边数量的三维网格。具体而言，针对三维网格的每个三角形，在每条边的中点插入一个节点，然后把同一个三角形的三条边上增加的三个节点连接起来作为新增加的边。用这种由粗到精的方式重建出来的结果既能避免严重交叉的情况，又含有强大的细节表达能力；
（5）构建损失函数。设计了与三维网格相关的损失函数作为训练的监督信号，具体而言，采用chamfer损失函数回归每个节点的位置，使其逼近真实坐标；采用normal损失函数使得生成的面尽可能光滑；采用edge损失函数使得所有条边尽可能短并且均匀；采用laplace损失函数使得相邻节点移动方向大致相同，这样能够保持整体的结构，并且可以避免点之间交叉，仅仅添加学习到的细节。这些损失函数有效保证了重建结果的高准确率和召回率，并且视觉效果上光滑，完整并且富含细节；
（6）训练深度神经网络。利用反向传播算法，使用梯度下降算法优化图片特征网络和三维网格形变网络中的参数。在模型训练完成之后，对于给定的一张彩色图片，输入训练完成之后的模型，可以直接得到重建的三维网格。
本发明的创新之处在于：
1、首次使用图神经网络进行单张图像的三维网格重建，设计了投影层连接卷积神经网络和图神经网络，使得整个过程端到端训练；
2、使用由粗到精（coarse to fine）的方式生成3维网格，使得整个学习过程更加稳定；设计了多个与图相关的损失函数来保证生成结果光滑，完整并且富含细节，重建精度也获得了提升。
附图说明
图1是本发明提出的三维网格(3D mesh)重建网络的结构示意图。
图2是特征投影层示意图。
图3是图(Graph)的向上池化层的示意图。
具体实施方式
步骤1. 获取三维数据及对应二维图像。本方法根据随机初始化的相机参数渲染CAD模型的方法合成图像。本方法需要含有法向量信息的三维点云数据，首先在原始CAD模型上使用泊松分布采样一些点，并记录CAD中每个面的法向量。然后判断每个点是否满足平面方程，满足的话再通过凸包算法判断点是否落在面内部，若两个条件都满足，则记录这个点的法向量为平面法向量。
步骤2. 使用MeshLab软件构建一个椭球三维网格。首先在三维数据处理软件MeshLab中设定椭球空间方程，然后设定节点数量，具体而言包括156个顶点和308个面，然后得到初始的三角椭球网格模型，椭球作为的本方法的初始形状，通过对椭球的不断形变得到最终结果。
邻接矩阵是表示一个图的常用存储表示，它用两个数组分别存储顶点的信息和定点间的连接关系的信息，由于三维网格可看作图结构，所以本发明使用邻接矩阵表示三维网格。
步骤3. 构建深度神经网络。图片部分，设计了一个18层的卷积神经网络，可以得到不同层的特征图，用于后续推断三维网格的整体形状和细节；三维网格部分，设计了一个全卷积图神经网络，能够在节点间进行特征交换，进而对模型进行形变。设计投影层，投影过程中，3维的节点坐标可以投影回2维图像坐标，根据投影的图像坐标可以得到节点对应在特征图上的坐标（ROI pooling），然后根据这个坐标在特征图上取特征，作为节点的初始特征向量。由于投影层连接了卷积神经网络和图神经网络，所以使得整个深度网络可以使用端到端的方法进行训练，大幅度简化了训练的过程。
步骤4. 本发明使用由粗到精的方式进行重建，具体而言，本发明构造了3个形变模块，每一个模块由一个14层的图神经网络构成，在每两个模块之间由一个图的向上池化层用于增加节点和边的数量，后一个模块在前一个模块的基础上增加细节，此方法得到的结果不会出现严重交叉的情况，使得整个重建过程更加稳定。
步骤5. 调整不同损失函数之间的权重，根据之前步骤得到的训练数据和神经网络结构训练模型。为了分析本发明提出的各个模块的作用，可在每次训练中移除其中某一模块然后进行功能分析。
步骤6. 结果分析。训练完成后，给定一张图片，模型直接端到端输出重建结果。通过计算重建精确率和召回率得到了F-score，性能超过了现有方法。通过功能分析发现，去掉normal损失函数后重建结果非常粗糙；去掉edge损失函数后由于边长没有约束，会造成网格的面及其不均匀；去掉laplace损失函数后会造成面的反转问题；去掉图的向上采样层之后会造成出现面交叉严重，影响网格的外观。
引用资料
[1]Su H, Huang Q, Mitra N J, et al. Estimating image depth usingshape collections[J]. ACM Transactions on Graphics (TOG), 2014, 33(4): 37.
[2]Kar A, Tulsiani S, Carreira J, et al. Category-specific objectreconstruction from a single image[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. 2015: 1966-1974.
[3]Choy C B, Xu D, Gwak J Y, et al. 3d-r2n2: A unified approach forsingle and multi-view 3d object reconstruction[C]//European Conference onComputer Vision. Springer, Cham, 2016: 628-644.
[4]Girdhar R, Fouhey D F, Rodriguez M, et al. Learning a predictableand generative vector representation for objects[C]//European Conference onComputer Vision. Springer, Cham, 2016: 484-499.
[5]Fan H, Su H, Guibas L. A point set generation network for 3dobject reconstruction from a single image[C]//Conference on Computer Visionand Pattern Recognition (CVPR). 2017, 38.
[6]Pontes J K, Kong C, Sridharan S, et al. Image2Mesh: A LearningFramework for Single Image 3D Reconstruction[J]. arXiv preprint arXiv:1711.10669, 2017.。

Claims (1)

1.一种利用单张彩色图的三维网格重建方法，其特征在于，包括：对于图像，设计一个多层的全卷积特征网络，用于提取图片不同层次的特征；对于三维网格，设置一个初始椭球，用图神经网络表示，利用图片特征不断对椭球进行形变，以逼近真实形状；同时，设计投影层连接图像端和三维网格端，在此框架下训练一个端到端的神经网络，即给定一张彩色图，输出对应的三维网格模型；
具体步骤为：
（1）收集二维图片及其对应的三维标注信息：首先收集大量原始三维CAD模型；对于二维图像，随机初始化相机参数，通过渲染CAD模型的方式合成图片；对于三维标签，在原始CAD模型上均匀采样固定数量的点，并记录每个点的法向量，生成含有法向量信息的点云数据；
（2）构建一个初始椭球网格模型：设置空间隐性方程：
x2 + 2*y2 + 2*(z+0.8)2 - 0.08 = 0，
然后在方程上均匀采样，得到一个含有156个顶点、308个面的三角椭球网格模型；三维网格由节点、边和面构成，用图来表示，用邻接矩阵表示图中节点间的连接关系，若两个节点相连则值不为零，若不相连则值为零，由于此邻接矩阵中大部分值都为零，所以用稀疏矩阵的形式表示；
（3）构建从图像生成三维网格的深度神经网络，具体包括两部分，第一部分是图片特征网络，设计一个18层的卷积神经网络，此神经网络由卷积层和池化层构成；每2-3个卷积层后面使用一个池化层进行特征降维，用此卷积神经网络提取图像特征；第二部分是三维网格形变网络，设计一个14层的图卷积的神经网络，中间所有隐含层特征均为128维，输出层特征是3维，即更新后的节点坐标；图卷积神经网络在图的节点间学习和交换特征，能够根据卷积神经网络提取的图片特征对初始模型进行多次形变，使得节点坐标不断逼近真实值；另外，设计了一个投影层，此投影层的作用在于连接图片特征网络和网格形变网络，其输入是节点三维坐标，输出是图像二维坐标；并且，根据相机参数将网格节点三维坐标投影回图片二维坐标，从而根据这个坐标在特征图上取特征，作为节点的初始特征向量；
（4）构建由粗到精的生成模块：采用由粗到精的方式，设计一个图的向上池化层，图的向上池化层的输入是含有较少节点的三维网格，输出是增加了节点和边数量的三维网格；具体而言，针对三维网格的每个三角形，在每条边的中点插入一个节点，然后把同一个三角形的三条边上增加的三个节点连接起来作为新增加的边；
（5）构建损失函数：设计与三维网格相关的损失函数作为训练的监督信号，具体而言，采用chamfer损失函数回归每个节点的位置，使其逼近真实坐标；采用normal损失函数使得生成的面光滑；采用edge损失函数使得所有条边短并且均匀；采用laplace损失函数使得相邻节点移动方向相同；
（6）训练深度神经网络：利用反向传播算法，使用梯度下降算法优化图片特征网络和三维网格形变网络中的参数；在模型训练完成之后，对于给定的一张彩色图片，输入训练完成之后的模型，直接得到重建的三维网格。
CN201810809452.2A 2018-07-23 2018-07-23 一种利用单张彩色图的三维网格重建方法 Active CN109147048B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810809452.2A CN109147048B (zh) 2018-07-23 2018-07-23 一种利用单张彩色图的三维网格重建方法
US16/519,304 US10777003B2 (en) 2018-07-23 2019-07-23 Network, system and method for 3D shape generation
US16/681,474 US10783709B2 (en) 2018-07-23 2019-11-12 Network, system and method for 3D shape generation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810809452.2A CN109147048B (zh) 2018-07-23 2018-07-23 一种利用单张彩色图的三维网格重建方法

Publications (2)

Publication Number Publication Date
CN109147048A CN109147048A (zh) 2019-01-04
CN109147048B true CN109147048B (zh) 2021-02-26

Family

ID=64801244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810809452.2A Active CN109147048B (zh) 2018-07-23 2018-07-23 一种利用单张彩色图的三维网格重建方法

Country Status (2)

Country Link
US (2) US10777003B2 (zh)
CN (1) CN109147048B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10987579B1 (en) * 2018-03-28 2021-04-27 Electronic Arts Inc. 2.5D graphics rendering system
US10918938B2 (en) 2019-03-29 2021-02-16 Electronic Arts Inc. Dynamic streaming video game client
CN110147403A (zh) * 2019-05-23 2019-08-20 中国农业科学院农业信息研究所 农业大数据融合方法、装置、设备及存储介质
CN110428493B (zh) * 2019-07-12 2021-11-02 清华大学 基于网格形变的单图像人体三维重建方法及系统
CN113096234B (zh) * 2019-12-23 2022-09-06 复旦大学 利用多张彩色图片生成三维网格模型的方法及装置
CN110443892B (zh) * 2019-07-25 2021-06-04 北京大学 一种基于单张图像的三维网格模型生成方法及装置
WO2021042277A1 (zh) 2019-09-03 2021-03-11 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
US11763524B2 (en) * 2019-09-13 2023-09-19 Ansys, Inc. Layered meshing for additive manufacturing simulations
CN111652846B (zh) * 2020-04-30 2022-08-16 成都数之联科技股份有限公司 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN111959495B (zh) * 2020-06-29 2021-11-12 阿波罗智能技术(北京)有限公司 车辆的控制方法、装置及车辆
CN111957045B (zh) * 2020-09-01 2021-06-04 网易（杭州）网络有限公司 地形形变方法、装置、设备及存储介质
CN112150608A (zh) * 2020-09-07 2020-12-29 鹏城实验室 一种基于图卷积神经网络的三维人脸重建方法
CN112308952B (zh) * 2020-10-15 2022-11-18 复旦大学 模仿给定视频中人物动作的3d角色动作生成系统和方法
CN112365581B (zh) * 2020-11-17 2024-04-09 北京工业大学 一种基于rgb数据的单视角和多视角三维重建方法及装置
CN112365422B (zh) * 2020-11-17 2023-02-28 重庆邮电大学 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN112699938B (zh) * 2020-12-30 2024-01-05 北京邮电大学 一种基于图卷积网络模型的分类方法及装置
WO2022147783A1 (zh) * 2021-01-08 2022-07-14 中国科学院深圳先进技术研究院 脑结构三维重建方法、装置及终端设备
CN112967398B (zh) * 2021-03-01 2023-07-25 北京奇艺世纪科技有限公司 一种三维数据重建方法、装置及电子设备
CN113049084B (zh) * 2021-03-16 2022-05-06 电子科技大学 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法
US11830138B2 (en) * 2021-03-19 2023-11-28 Adobe Inc. Predicting secondary motion of multidimentional objects based on local patch features
CN113591369B (zh) * 2021-06-30 2023-06-09 国网福建省电力有限公司信息通信分公司 一种基于先验约束的单帧视图三维模型点云重建方法和存储设备
CN113610711B (zh) * 2021-08-02 2023-05-23 南京信息工程大学 一种单图像引导的三维表面重建方法及装置
CN113808006B (zh) * 2021-09-01 2023-05-23 南京信息工程大学 一种基于二维图像重建三维网格模型的方法及装置
CN113792859B (zh) * 2021-09-13 2022-06-17 中南大学 一种无监督形状对应方法及人体形状对应方法
US20230169732A1 (en) * 2021-11-16 2023-06-01 Ecole Polytechnique Federale De Lausanne (Epfl) A Method and System for Enforcing Smoothness Constraints on Surface Meshes from a Graph Convolutional Neural Network
CN113822825B (zh) * 2021-11-25 2022-02-11 电子科技大学成都学院 基于3d-r2n2的光学建筑目标三维重建方法
CN114119923B (zh) * 2021-11-29 2022-07-19 浙江大学 三维人脸重建方法、装置以及电子设备
CN114285955B (zh) * 2021-12-28 2022-12-09 浙江大学 基于动态偏差图神经网络的颜色色域映射方法
CN117095132B (zh) * 2023-10-18 2024-02-20 北京渲光科技有限公司 基于隐式函数的三维重建方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306386A (zh) * 2011-07-19 2012-01-04 杭州实时数码科技有限公司 从单张树木图像快速构建真实感树木模型的方法
CN105550461A (zh) * 2015-12-30 2016-05-04 哈尔滨理工大学 一种基于断端微动和血供的骨折愈合仿真系统
CN106683182A (zh) * 2017-01-12 2017-05-17 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734381B2 (en) * 2014-12-17 2017-08-15 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306386A (zh) * 2011-07-19 2012-01-04 杭州实时数码科技有限公司 从单张树木图像快速构建真实感树木模型的方法
CN105550461A (zh) * 2015-12-30 2016-05-04 哈尔滨理工大学 一种基于断端微动和血供的骨折愈合仿真系统
CN106683182A (zh) * 2017-01-12 2017-05-17 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[计算机视觉论文速递] 2018-04-19;艾伯特;《https://www.aibbt.com/a/44934.html》;20180419;第3-4页 *
Christian Häne等.High Quality 3D Object Reconstruction from a Single Color Image.《https://bair.berkeley.edu/blog/2017/08/23/high-quality-3d-obj-reconstruction/》.2017,第1-4页. *
Hierarchical Surface Prediction for 3D Object Reconstruction;Christian Hane等;《SpringerLink》;20171206;第1-15页 *

Also Published As

Publication number Publication date
US10783709B2 (en) 2020-09-22
US20200082620A1 (en) 2020-03-12
US20200027269A1 (en) 2020-01-23
CN109147048A (zh) 2019-01-04
US10777003B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109147048B (zh) 一种利用单张彩色图的三维网格重建方法
Shen et al. Deep marching tetrahedra: a hybrid representation for high-resolution 3d shape synthesis
Wang et al. Pixel2Mesh: 3D mesh model generation via image guided deformation
CN107818580A (zh) 根据深度图对真实对象进行3d重建
CN104268934B (zh) 一种由点云直接重建三维曲面的方法
Wang et al. Mvpnet: Multi-view point regression networks for 3d object reconstruction from a single image
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN112530005B (zh) 一种三维模型直线结构识别与自动修复方法
Denninger et al. 3d scene reconstruction from a single viewport
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
Yeh et al. 2.5 D cartoon hair modeling and manipulation
Guillard et al. DeepMesh: Differentiable iso-surface extraction
CN111028335B (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN113205609A (zh) 变形基础学习
Chen et al. Research on 3D reconstruction based on multiple views
Zheng et al. Editablenerf: Editing topologically varying neural radiance fields by key points
Sadekar et al. Shadow art revisited: a differentiable rendering based approach
CN104463934B (zh) 一种“质点‑弹簧”系统驱动的点集模型动画自动生成方法
Maxim et al. A survey on the current state of the art on deep learning 3D reconstruction
Zhang et al. Detailed 3D human body reconstruction from a single image based on mesh deformation
Bhardwaj et al. SingleSketch2Mesh: generating 3D mesh model from sketch
Chen et al. Manipulating, deforming and animating sampled object representations
Hu et al. S3DS: Self-supervised Learning of 3D Skeletons from Single View Images
Meyer et al. PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DOF Object Pose Dataset Generation
EP3874462A1 (en) Morph target animation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant