CN112184912A - 一种基于参数化模型和位置图的多度量三维人脸重建方法 - Google Patents

一种基于参数化模型和位置图的多度量三维人脸重建方法 Download PDF

Info

Publication number
CN112184912A
CN112184912A CN202011048867.6A CN202011048867A CN112184912A CN 112184912 A CN112184912 A CN 112184912A CN 202011048867 A CN202011048867 A CN 202011048867A CN 112184912 A CN112184912 A CN 112184912A
Authority
CN
China
Prior art keywords
dimensional face
network
parameter
sub
position map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011048867.6A
Other languages
English (en)
Other versions
CN112184912B (zh
Inventor
周大可
黄有达
杨欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011048867.6A priority Critical patent/CN112184912B/zh
Publication of CN112184912A publication Critical patent/CN112184912A/zh
Application granted granted Critical
Publication of CN112184912B publication Critical patent/CN112184912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于参数化模型和位置图的多度量三维人脸重建方法，首先，对二维人脸图像对应的三维人脸数据进行预处理；其次，将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数；然后，构建记录三维人脸点云数据的位置图，并将其与输入二维人脸图像堆叠生成位置图子网络的输入数据；并将生成的结果输入位置图子网络，回归估计三维人脸的位置图表示；最后，设计损失函数并对模型进行训练。本发明实现对可能出现的各种类型场景的覆盖，有效提升了网络的泛化能力，实现高精度并且更鲁棒的人脸重建效果，对三维人脸重建的研究与应用具有重要的理论意义和应用价值。

Description

一种基于参数化模型和位置图的多度量三维人脸重建方法
技术领域
本发明属于计算机视觉、模式识别、深度学习领域，具体涉及一种基于参数化模型和位置图的多度量三维人脸重建方法。
背景技术
随着计算机硬件的快速发展和大数据时代的来临，计算机视觉领域获得了蓬勃的发展。基于单幅图像的三维人脸重建作为计算机视觉领域重要方向，在人脸识别、游戏动画、虚拟现实等方面有着重要应用。因此，如何提升基于单幅图像的三维人脸重建的效果是计算机视觉领域应用中亟待解决的问题。
传统的基于单幅图像的三维人脸重建主要分为两类：其一是基于单一模板的重建方法；其二是基于三维人脸的参数化模型的重建方法。前者通过变形一个人脸模板，使得它与输入图像的人脸尽可能保持一致。后者通过一系列真实三维人脸数据构建一个可以表示不同身份不同表情的人脸参数化模型，并把三维人脸参数化模型与输入二维人脸图像进行注册，通过最小化能量函数重建相应三维人脸。1999年，Blanz和Vetter提出了三维人脸形变模型(3DMM)。从此，基于三维人脸形变模型的方法成为了基于单幅人脸图像的三维人脸重建任务中极受欢迎的方法。
深度学习的发展和计算机的运算能力的大幅提高，采用深度卷积网络(CNN)从单幅人脸图像估计三维人脸形变模型参数的方式重建三维人脸成为潮流。但是，基于三维人脸形变模型的方法，受限于线性模型空间的限制，表达能力有限，无法捕获三维人脸的非线性和高频细节。因此，近年来学界提出了几种新型的三维人脸表示方法，以绕过线性模型空间的限制，获得更高自由度的三维人脸估计。现有的方法有通过CNN回归体素表示的三维人脸结构，或通过CNN回归UV位置图表示的三维人脸，获得相对VRNet更高点云分辨率的三维人脸。但是，采用体素或UV位置图表示三维人脸也舍弃了3DMM蕴含的人脸先验知识，导致重建网络的复杂度增加和鲁棒性下降。
发明内容
发明目的：为克服上述现有技术的不足，本发明提供一种基于参数化模型和位置图的多度量三维人脸重建方法，实现高精度并且更鲁棒的人脸重建效果。
技术方案：本发明所述的一种基于参数化模型和位置图的多度量三维人脸重建方法，包括以下步骤：
(1)数据预处理与增强：对二维人脸图像对应的三维人脸数据进行预处理，转化为参数化模型和位置图两种表示方式，并将三维人脸形变模型的基向量转化为位置图表示，同时进行数据增强操作；
(2)参数子网络设计：将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数；
(3)位置图子网络输入数据生成：通过参数子网络获得的姿态参数、三维人脸形变模型的身份参数和表情参数，构建记录三维人脸点云数据的位置图；并将其与输入二维人脸图像堆叠生成位置图子网络的输入数据；
(4)位置图子网络设计：将步骤(3)中生成的结果输入位置图子网络，回归估计三维人脸的位置图表示；
(5)损失函数设计与三维人脸重建模型训练：将步骤(3)获得的由参数构建的位置图与真值参数构建的位置图计算加权均方误差损失函数；并由步骤(4)获得的位置图与位置图真值计算加权均方误差损失函数；以两个损失函数求和为整体的损失函数；依据整体损失函数不断迭代优化，端到端的对步骤(2)到步骤(4)构建的整体网络进行训练，获得最终的三维人脸重建模型；
(6)输出测试结果：将原始待重建的二维人脸图像进行裁剪缩放后，输入步骤(5)生成的三维人脸重建模型中，获得对三维人脸的参数形式估计和位置图形式估计。
进一步地，步骤(1)所述的数据增强包括图片缩放、水平翻转、随机平移、随机旋转、颜色通道缩放、添加噪声、灰度化及随机生成遮挡块。
进一步地，步骤(2)所述参数子网络采用深度残差网络ResNet50，网络最后的全连接层输出234个元素。
进一步地，步骤(4)所述的位置图子网络采用采用沙漏网络，通过回归位置图形式记录的三维人脸数据。
进一步地，所述步骤(5)实现过程如下：
参数子网络的损失函数采用的加权均方误差损失函数，其形式如下：
Figure BDA0002708895640000031
其中：x，y表示任意像素坐标，Ppar(x，y)表示参数子网络预测的参数转换而来的位置图，
Figure BDA0002708895640000032
表示参数真值转换而来的位置图，W(x，y)表示权重掩膜；
位置图子网络的损失函数采用加权均方误差损失函数，其形式如下：
Figure BDA0002708895640000033
其中：x，y表示任意像素坐标，Ppos(x，y)表示位置图子网络预测的位置图，
Figure BDA0002708895640000034
表示位置图真值，W(x，y)与参数子网络采用的权重掩膜相同；
整体损失函数形式如下：
Lall＝Lpos+k·Lpar
其中，Lpos为前述位置图子网络损失函数，Lpar为前述参数子网络损失函数，k为调节各部件损失函数的权重，本发明设置为1。
有益效果：与现有技术相比，本发明的有益效果：1、本发明针对无约束情况下的复杂场景，采用了比现有技术更加多样化的数据增强方法，实现对可能出现的各种类型场景的覆盖，有效提升了网络的泛化能力；2、本发明作为一种多度量回归网络，包含参数子网络和位置图子网络，网络从两种角度回归三维人脸，训练过程，参数子网络更关注于回归三维人脸的线性部分，位置图子网络更关注于回归三维人脸的非线性特征和高频细节，两个子网络分工明确，相互促进，使得网络最终获得更精准更鲁棒的结果；3、本发明对参数子网络的输出结果转换为位置图计算损失函数，有效地避免对不同参数分配不同权重的必要。
附图说明
图1为本发明的流程图；
图2为基于参数化模型和位置图的多度量三维人脸重建方法的整体网络结构图；
图3为基于参数化模型和位置图的多度量三维人脸重建方法的位置图子网络结构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提出一种基于参数化模型和位置图的多度量三维人脸重建方法，如图1所示，具体包括以下步骤：
步骤1：数据预处理与增强：对二维人脸图像对应的三维人脸数据进行预处理，转化为参数化模型和位置图两种表示方式，并将三维人脸形变模型的基向量转化为位置图表示，同时进行多种数据增强操作。
本发明的数据预处理首先将一个非刚性的网格模板应用到原始扫描中，然后将顶点(x，y，z)的空间信息存储到一个UV空间中。最后，进行二维最近邻点插值来填补缺失值。本发明的数据增强除了常用的图片缩放、水平翻转、添加噪声外，还通过如下数据增强操作，使得训练数据涵盖了各种实际情况：(1)以一定概率对图片采用灰度化操作。(2)为了有效处理具有遮挡的图像，针对面部的眼睛、眉毛、鼻子、嘴唇和外轮廓等部位生成遮挡模块。(3)在二维图像平面进行随机旋转。旋转后目标人脸的滚转角在-45度到45度之间，而非旋转角度在-45度到45度之间。因为后者叠加图像人脸原有角度后，可能会产生过大滚转角。采用这样的数据增强方式，覆盖了现实中的各种情况，同时极大地增大了数据量。
步骤2：参数子网络设计：将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数。
参数子网络采用ResNet50为网络骨架，将最后全连接输出层的输出元素数修改为234。参数子网络得到的参数采用如下公式计算三维人脸点云：
Figure BDA0002708895640000041
其中：S为三维人脸形变模型参数表示的有n＝53215个点的三维人脸点云，
Figure BDA0002708895640000042
表示均值人脸点云，
Figure BDA0002708895640000043
分别表示人脸身份和人脸表情的基，
Figure BDA0002708895640000044
表示相应的人脸身份参数，
Figure BDA0002708895640000045
表示相应的人脸表情参数，f表示缩放因子，
Figure BDA0002708895640000046
R为旋转矩阵由旋转参数r＝(φ，γ，θ)计算得到，t＝(tx，ty，0)表示二维平移向量，p＝(f，r，t，αid，αexp)为以上参数集合。
步骤3：位置图子网络输入数据生成。
通过参数子网络获得的姿态参数、三维人脸形变模型的身份参数和表情参数，以及由步骤一预先构建的三维人脸形变模型基向量位置图，从而将参数转换为位置图。并将其与输入二维人脸图像堆叠生成位置图子网络的输入。所得位置图和输入二维人脸图像大小均设置为256×256。
步骤4：位置图子网络设计。
将步骤3中生成的结果输入位置图子网络，回归估计三维人脸的位置图表示。本发明中位置图子网络采用沙漏网络(hourglass network)。沙漏网络包含解码器，编码器，跳跃连接三个部分。输入首先通过三个3×3的卷积层，得到大小为256×256×16的特征图。随后特征图反复通过由两个残差块(3×3卷积)和一个最大池化层(2×2，步长为2)构成的单元，将输入特征图编码成大小为8×8×512的特征图。解码器部分由残差块和反置卷积层构成，将编码信息解码为256×256×3的特征图。同时在每次下采样之前，编码器都会生成一个跳跃连接，通过一个残差块后与相应大小的解码器输出特征图相加。最终构成的沙漏网络具体结构如图3所示。
步骤5：损失函数设计与三维人脸重建模型训练。
将步骤3得到的由参数构建的位置图与真值参数构建的位置图计算加权均方误差损失函数；并由步骤4得到的位置图与位置图真值计算加权均方误差损失函数；以两个损失函数求和为整体的损失函数。依据整体损失函数不断迭代优化，端到端的对步骤2到步骤4构建的整体网络进行训练，如图2所示，获得最终的三维人脸重建模型。
整体网络的损失函数由两部分构成：参数子网络损失函数和位置图子网络损失函数。参数子网络采用的加权均方误差损失函数，其形式如下：
Figure BDA0002708895640000051
其中：x，y表示任意像素坐标，Ppar(x，y)表示参数子网络预测的参数转换而来的位置图，
Figure BDA0002708895640000052
表示参数真值转换而来的位置图，W(x，y)表示权重掩膜。具体而言，我们采用以下权重，分区1(68个面部标志)：分区2(眼睛、鼻子、嘴巴)：分区3(其他面部区域)：分区4(脖子)＝16∶4∶3∶0。
位置图子网络采用的加权均方误差损失函数，其形式如下：
Figure BDA0002708895640000061
其中：x，y表示任意像素坐标，Ppos(x，y)表示位置图子网络预测的位置图，
Figure BDA0002708895640000062
定示位置图真值，W(x，y)与参数子网络采用的权重掩膜相同。
最终，本发明算法的整体损失函数形式如下：
Lall＝Lpos+k·Lpar
其中：Lpos为前述位置图子网络损失函数。Lpar为前述参数子网络损失函数。k为调节各部件损失函数的权重，本发明设置为1。
通过上述算法的整体损失函数Lall，对整个多度量三维人脸重建网络各部分参数进行不断地迭代优化。优化方法采用Adam(Adaptive Moment Estimation)优化器，初始学习率为0.0001，每隔五个epoch将学习率衰减为原来的一半，当5个epoch中损失函数不在明显下降，则训练结束，得到最终的算法模型。
步骤6：输出测试结果。
将原始待重建的二维人脸图像进行裁剪缩放后，输入步骤5生成的算法模型中，可获得对三维人脸的参数形式估计和位置图形式估计.
对于待重建的二维人脸图像，首先通过人脸检测算法或已知的特征点，对目标人脸区域进行裁剪并缩放到256×256大小；再将处理好的图片送入步骤五生成的算法模型中，即可获得相应三维人脸的参数化模型和位置图。
本发明设计了一种多度量的回归网络，包括参数子网络和位置图子网络，分别回归三维人脸形变模型参数和记录三维人脸点云数据的位置图。网络可以同时利用参数化模型和无约束三维人脸表示的优势，两个子网络可以从两种角度度量回归精度，相互促进。同时，通过采用更多样的数据增强方式来扩充数据，从而实现更高的精度和鲁棒性。本发明的提出，对三维人脸重建的研究与应用具有重要的理论意义和应用价值。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于参数化模型和位置图的多度量三维人脸重建方法，其特征在于，包括以下步骤：
(1)数据预处理与增强：对二维人脸图像对应的三维人脸数据进行预处理，转化为参数化模型和位置图两种表示方式，并将三维人脸形变模型的基向量转化为位置图表示，同时进行数据增强操作；
(2)参数子网络设计：将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数；
(3)位置图子网络输入数据生成：通过参数子网络获得的姿态参数、三维人脸形变模型的身份参数和表情参数，构建记录三维人脸点云数据的位置图；并将其与输入二维人脸图像堆叠生成位置图子网络的输入数据；
(4)位置图子网络设计：将步骤(3)中生成的结果输入位置图子网络，回归估计三维人脸的位置图表示；
(5)损失函数设计与三维人脸重建模型训练：将步骤(3)获得的由参数构建的位置图与真值参数构建的位置图计算加权均方误差损失函数；并由步骤(4)获得的位置图与位置图真值计算加权均方误差损失函数；以两个损失函数求和为整体的损失函数；依据整体损失函数不断迭代优化，端到端的对步骤(2)到步骤(4)构建的整体网络进行训练，获得最终的三维人脸重建模型；
(6)输出测试结果：将原始待重建的二维人脸图像进行裁剪缩放后，输入步骤(5)生成的三维人脸重建模型中，获得对三维人脸的参数形式估计和位置图形式估计。
2.根据权利要求1所述的基于参数化模型和位置图的多度量三维人脸重建方法，其特征在于，步骤(1)所述的数据增强包括图片缩放、水平翻转、随机平移、随机旋转、颜色通道缩放、添加噪声、灰度化及随机生成遮挡块。
3.根据权利要求1所述的基于参数化模型和位置图的多度量三维人脸重建方法，其特征在于，步骤(2)所述参数子网络采用深度残差网络ResNet50，网络最后的全连接层输出234个元素。
4.根据权利要求1所述的基于参数化模型和位置图的多度量三维人脸重建方法，其特征在于，步骤(4)所述的位置图子网络采用采用沙漏网络，通过回归位置图形式记录的三维人脸数据。
5.根据权利要求1所述的基于参数化模型和位置图的多度量三维人脸重建方法，其特征在于，所述步骤(5)实现过程如下：
参数子网络的损失函数采用的加权均方误差损失函数，其形式如下：
Figure FDA0002708895630000021
其中：x，y表示任意像素坐标，Ppar(x，y)表示参数子网络预测的参数转换而来的位置图，
Figure FDA0002708895630000022
表示参数真值转换而来的位置图，W(x，y)表示权重掩膜；
位置图子网络的损失函数采用加权均方误差损失函数，其形式如下：
Figure FDA0002708895630000023
其中：x，y表示任意像素坐标，Ppos(x，y)表示位置图子网络预测的位置图，
Figure FDA0002708895630000024
表示位置图真值，W(x，y)与参数子网络采用的权重掩膜相同；
整体损失函数形式如下：
Lall＝Lpos+k·Lpar
其中，Lpos为前述位置图子网络损失函数，Lpar为前述参数子网络损失函数，k为调节各部件损失函数的权重，本发明设置为1。
CN202011048867.6A 2020-09-29 2020-09-29 一种基于参数化模型和位置图的多度量三维人脸重建方法 Active CN112184912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011048867.6A CN112184912B (zh) 2020-09-29 2020-09-29 一种基于参数化模型和位置图的多度量三维人脸重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011048867.6A CN112184912B (zh) 2020-09-29 2020-09-29 一种基于参数化模型和位置图的多度量三维人脸重建方法

Publications (2)

Publication Number Publication Date
CN112184912A true CN112184912A (zh) 2021-01-05
CN112184912B CN112184912B (zh) 2024-02-20

Family

ID=73945447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011048867.6A Active CN112184912B (zh) 2020-09-29 2020-09-29 一种基于参数化模型和位置图的多度量三维人脸重建方法

Country Status (1)

Country Link
CN (1) CN112184912B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785692A (zh) * 2021-01-29 2021-05-11 东南大学 一种基于深度uv先验的单视角多人人体重建方法
CN116188691A (zh) * 2023-02-27 2023-05-30 云南大学 基于单张图片下三维人脸重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓（北京）科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN108921926A (zh) * 2018-07-02 2018-11-30 广州云从信息科技有限公司 一种基于单张图像的端到端三维人脸重建方法
CN109299643A (zh) * 2018-07-17 2019-02-01 深圳职业技术学院 一种基于大姿态对准的人脸识别方法及系统
CN110619676A (zh) * 2019-09-18 2019-12-27 东北大学 一种基于神经网络的端到端的三维人脸重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399649A (zh) * 2018-03-05 2018-08-14 中科视拓（北京）科技有限公司 一种基于级联回归网络的单张图片三维人脸重建方法
CN108921926A (zh) * 2018-07-02 2018-11-30 广州云从信息科技有限公司 一种基于单张图像的端到端三维人脸重建方法
CN109299643A (zh) * 2018-07-17 2019-02-01 深圳职业技术学院 一种基于大姿态对准的人脸识别方法及系统
CN110619676A (zh) * 2019-09-18 2019-12-27 东北大学 一种基于神经网络的端到端的三维人脸重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785692A (zh) * 2021-01-29 2021-05-11 东南大学 一种基于深度uv先验的单视角多人人体重建方法
CN116188691A (zh) * 2023-02-27 2023-05-30 云南大学 基于单张图片下三维人脸重建方法
CN116188691B (zh) * 2023-02-27 2024-02-06 云南大学 基于单张图片下三维人脸重建方法

Also Published As

Publication number Publication date
CN112184912B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
CN110728219B (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
JP2023549821A (ja) 変形可能なニューラル放射輝度場
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN113327299B (zh) 一种基于联合采样结构的神经网络光场方法
CN112785692B (zh) 一种基于深度uv先验的单视角多人人体重建方法
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN112184912A (zh) 一种基于参数化模型和位置图的多度量三维人脸重建方法
CN113313828A (zh) 基于单图片本征图像分解的三维重建方法与系统
CN115601511A (zh) 三维重建方法、装置、计算机设备及计算机可读存储介质
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN112163990A (zh) 360度图像的显著性预测方法及系统
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Hara et al. Enhancement of novel view synthesis using omnidirectional image completion
CN116912148A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN116612251A (zh) 一种基于网格神经渲染和六边形约束的多视角重建方法
CN116883524A (zh) 图像生成模型训练、图像生成方法、装置和计算机设备
CN114494576A (zh) 一种基于隐函数的快速高精度多视点人脸三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant