CN113723317A - 3d人脸的重建方法、装置、电子设备和存储介质 - Google Patents
3d人脸的重建方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113723317A CN113723317A CN202111022212.6A CN202111022212A CN113723317A CN 113723317 A CN113723317 A CN 113723317A CN 202111022212 A CN202111022212 A CN 202111022212A CN 113723317 A CN113723317 A CN 113723317A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- data
- reconstructed
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims description 96
- 238000012549 training Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种3D人脸的重建方法、装置、电子设备和存储介质，所述重建方法包括：获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组；根据所述待重建人脸图像获取人脸的第一特征向量；将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组。本发明的技术方案可以提高3D人脸重建的精度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种3D人脸的重建方法、装置、电子设备和非暂态计算机可读存储介质。
背景技术
通过利用计算机视觉和计算机图形学等相关技术，三维人脸重建(3D FaceReconstruction)技术可以通过单张或多张图像获取人脸三维结构或和纹理。这里，图像可以来源于传统的彩色RGB(Red-Green-Blue，红绿蓝三原色)相机或带有深度信息的彩色深度RGBD(RGB+Depth，红绿蓝+深度)相机。
三维人脸重建技术广泛应用于3D人脸识别、3D人脸关键点检测、AR(AugmentedReality，增强现实)/VR(Virtual Reality，虚拟现实)、视频编辑和其他泛娱乐场景任务中。
目前主要的三维人脸重建技术主要包括基于传统计算机视觉和图形学技术的三维人脸重建技术、基于深度学习技术的三维人脸重建技术。
其中，基于传统计算机视觉和图形学技术的三维人脸重建技术，通过输入多视角的人脸图像(RGB或RGBD)，通过计算各个视角图像相机的相对位置关系得到图像中各个像素的深度信息，从而得到人脸的稠密彩色点云，进而得到人脸的三维结构和纹理。该方案基于多视角的重建技术要求输入多视角的人脸图像，需要架设多个相机进行拍摄或通过单个相机的运动得到多视角图像，且通常要求人脸保持静止状态，设备和场景相对受限。此外，需要求解图像特征点匹配或点云匹配问题，计算量较大，无法进行实时的三维人脸重建。
基于深度学习技术的三维人脸重建技术输入单张或多张RGB人脸图像，通过卷积神经网络估计人脸的三维形变模型参数或直接估计3D顶点，进而恢复出人脸的三维结构和纹理。该方案需要通过大量的RGB人脸图片来训练该神经网络，通常也需要真实的3D人脸数据作为监督信息进行网络训练。
其中，对于非受控条件下采集的人脸图片，通常存在侧脸，存在头发或者配饰等遮挡物，光线条件较差等问题，现有的3D人脸重建技术对于该类图片重建精度较差。
现有3D人脸重建技术通常利用三维形变模型从图片中估计三维形变模型参数。由于三维形变模型是通过主成分分析算法从一个三维人脸数据集中得到的线性模型，因此重建得到人脸的3D结构和纹理受限于该三维人脸数据集中的数据分布。例如，通过西方人脸数据集构建的三维形变模型在重建亚洲人脸时，重建结果偏向于西方人的外观。
综上，现有3D人脸重建技术存在3D人脸重建精度不高的问题。
发明内容
本发明提供一种3D人脸的重建方法、装置、电子设备和非暂态计算机可读存储介质，用以解决现有技术中3D人脸重建精度不高的缺陷，提高3D人脸重建的精度。
本发明提供一种3D人脸的重建方法，包括：获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，得到人脸的形状数据和纹理数据；根据所述待重建人脸图像获取人脸的第一特征向量；将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，所述图卷积重建模型用于基于所述人脸的形状数据、纹理数据和所述第一特征向量，对人脸彩色深度图像进行重建。
根据本发明提供的一种3D人脸的重建方法，所述三维形变模型和所述图卷积重建模型的训练过程包括：将获取的样本人脸图像集中的样本人脸图像输入初始三维形变模型，得到人脸的形状数据和纹理数据组成的第三数据组，以及图像拍摄数据，其中，所述样本人脸图像为彩色深度图像，所述图像拍摄数据包括相机数据和环境光照数据，所述第三数据组根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值获得；将所述第二数据组和第二特征向量输入初始图卷积重建模型，得到人脸的形状数据和纹理数据组成的第四数据组，其中，所述第二特征向量根据所述样本人脸图像获取；将所述第四数据组输入可微分渲染器，以结合所述图像拍摄数据渲染人脸的重建人脸图像，其中，所述重建人脸图像为彩色深度图像；根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值构建所述三维形变模型的参数正则损失函数，根据所述重建人脸图像和所述样本人脸图像构建图像误差损失函数；根据所述参数正则损失函数和损失图像误差损失函数，采用所述样本人脸图像集训练所述参数正则损失函数和所述图像误差损失函数，得到所述预置的三维形变模型和所述预置的图卷积重建模型。
根据本发明提供的一种3D人脸的重建方法，所述获取待重建人脸图像之前，所述重建方法还包括：获取包含相同人脸的彩色图像和深度图像，所述彩色图像和所述深度图像的像素对齐；对所述彩色图像对进行人脸框检测和人脸关键点检测，得到检测结果；根据所述检测结果、所述彩色图像和所述深度图像，裁剪并缩放得到所述待重建人脸图像，其中，缩放后的所述待重建人脸图像的关键点坐标与缩放前的关键点坐标相对应。
根据本发明提供的一种3D人脸的重建方法，所述根据所述待重建人脸图像获取人脸的第一特征向量，包括：将所述待重建人脸图像对应的彩色图像输入预置的彩色人脸识别网络，得到所述人脸的第一特征向量，其中，所述彩色人脸识别网络根据样本人脸图像集和对应的人脸特征训练得到。
根据本发明提供的一种3D人脸的重建方法，所述图像误差损失函数包括光度误差损失函数、深度误差损失函数和关键点误差损失函数，所述根据所述重建人脸图像和所述样本人脸图像构建图像误差损失函数，包括：根据所述重建人脸图像和所述样本人脸图像构建所述光度误差损失函数和所述深度误差损失函数；根据所述重建人脸图像和相机外参数获取重建人脸的关键点，并基于相机内参投影到2D图像的对应位置，得到重建人脸的重建关键点；根据所述重建关键点和样本关键点获取构建所述关键点误差损失函数，其中，所述样本关键点根据样本人脸图像对应的彩色图像得到。
根据本发明提供的一种3D人脸的重建方法，训练所述参数正则损失函数和所述图像误差损失函数，包括：通过所述可微分渲染器进行反向梯度传播，更新所述初始三维形变模型和所述初始图卷积重建模型的权重，直到所述参数正则损失函数和所述图像误差损失函数收敛，得到所述预置的三维形变模型和所述预置的图卷积重建模型。
本发明还提供一种3D人脸的重建装置，所述重建装置包括：图像获取单元，用于获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；形变数据获取单元，用于将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，得到人脸的形状数据和纹理数据；特征获取单元，用于根据所述待重建人脸图像获取人脸的第一特征向量；重建单元，用于将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，所述图卷积重建模型用于基于所述人脸的形状数据、纹理数据和所述第一特征向量，对人脸彩色深度图像进行重建。
根据本发明提供的一种3D人脸的重建装置，所述装置还包括训练单元，所述训练单元包括：
图像获取子单元，用于将获取的样本人脸图像集中的样本人脸图像输入初始三维形变模型，得到人脸的形状数据和纹理数据组成的第三数据组，以及图像拍摄数据，其中，所述样本人脸图像为彩色深度图像，所述图像拍摄数据包括相机数据和环境光照数据，所述第三数据组根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值获得；
重建子单元，用于将所述第二数据组和第二特征向量输入初始图卷积重建模型，得到人脸的形状数据和纹理数据组成的第四数据组，其中，所述第二特征向量根据所述样本人脸图像获取；
渲染子单元，用于将所述第四数据组输入可微分渲染器，以结合所述图像拍摄数据渲染人脸的重建人脸图像，其中，所述重建人脸图像为彩色深度图像；
构建子单元，用于根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值构建所述三维形变模型的参数正则损失函数，根据所述重建人脸图像和所述样本人脸图像构建图像误差损失函数；
训练子单元，用于根据所述参数正则损失函数和损失图像误差损失函数，采用所述样本人脸图像集训练所述参数正则损失函数和所述图像误差损失函数，得到所述预置的三维形变模型和所述预置的图卷积重建模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述3D人脸的重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述3D人脸的重建方法的步骤。
本发明提供的3D人脸的重建方法、装置、电子设备和非暂态计算机可读存储介质，采用预置的三维形变模型和图卷积重建模型相结合对人脸的彩色深度图像进行处理，使得重建的3D人脸的结构和纹理不再受限于现有3D人脸数据集数据分布，从而提高了3D人脸重建的结构和纹理的精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的3D人脸的重建方法的流程示意图；
图2是本发明提供的三维形变模型和所述图卷积重建模型的训练过程的流程示意图之一；
图3是本发明提供的三维形变模型和所述图卷积重建模型的训练过程的流程示意图之二；
图4是本发明提供的3D人脸的重建方法的流程示意图之二；
图5是本发明提供的3D人脸的重建装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在相关技术中，采用单目人脸重建网络进行3D人脸重建时，受限于在训练过程中需要真实的人脸模型，进行3D人脸重建的成本和难度较高。
为解决该问题，本发明实施例提供一种3D人脸的重建方案。下面结合图1至图6对本发明示例实施方式进行详细说明。
如图1所示的是本发明实施例的3D人脸的重建方法的流程图。本发明实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如终端设备和/或服务器。如图1所示，该3D人脸的重建方法包括：
步骤102，获取待重建人脸图像，待重建人脸图像为彩色深度图像。
具体地，彩色深度图像指的是可以理解为彩色图像和深度图像合成的彩色点云。
步骤104，将待重建人脸图像输入预置的三维形变模型(3DMorphable Model，简称3DMM)，得到人脸的形状数据和纹理数据组成的第一数据组，其中，三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，与正交线性基进行线性组合得到人脸的形状数据和纹理数据。
具体地，特征提取是计算机视觉和图像处理中的一个概念，指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。形状特征值、表情特征值和纹理特征值分别是人脸的形状、表情和纹理的图像特征。
步骤106，根据待重建人脸图像获取人脸的第一特征向量。
具体地，第一特征向量是根据待重建人脸图像对应的彩色二维图像得到的特征向量。
步骤108，将第一数据组和第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，图卷积重建模型用于基于人脸的形状数据、纹理数据和第一特征向量，通过图上卷积运算对人脸彩色深度图像进行重建。
具体地，图卷积重建模型是一种图卷积神经网络(Graph Convolutional NueralNetwork，简称GCN)模型。图上卷积运算指的是图上的卷积运算，其利用其他结点的信息来推导该结点的信息。在半监督学习中，图卷积本质不是传播标签，而是在传播特征，图卷积将不知道标签的特征，传染到已知标签的特征节点上，利用已知标签节点的分类器推测其属性。
在本发明实施例的技术方案中，待重建人脸图像输入三维形变模型，得到初步的重建结果，并进一步地根据人脸的第一特征向量和图卷积重建模型对初步重建结果进行优化，使得3D人脸的形状和纹理的重建精度得到显著提升。
在基于单张图片进行3D人脸重建时，仅输入一张彩色人脸图像，由于单目尺度和深度的不确定性，单张彩色图像的重建结果仅能保证其2D投影与输入图像匹配，无法精确恢复人脸的3D结构。
在本发明实施例中，通过输入彩色深度图像弥补3D信息的缺失，可以解决现有3D人脸重建技术中由于单目尺度和深度的不确定性导致的人脸3D结构精度差问题。
这里，三维形变模型可以为残差网络模型。残差网络模型是基于残差网络的模型。残差网络(Residual Network，简称ResNet)是一种卷积神经网络，其特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
如图2所示，三维形变模型和图卷积重建模型的训练过程包括：
步骤202，将获取的样本人脸图像集中的样本人脸图像输入初始三维形变模型，得到人脸的形状数据和纹理数据组成的第三数据组，以及图像拍摄数据，其中，样本人脸图像为彩色深度图像，图像拍摄数据包括相机数据和环境光照数据，第三数据组根据样本人脸图像的形状特征值、表情特征值和纹理特征值获得。
步骤204，将第二数据组和第二特征向量输入初始图卷积重建模型，得到人脸的形状数据和纹理数据组成的第四数据组，其中，第二特征向量根据样本人脸图像获取。
步骤206，将第四数据组输入可微分渲染器，以结合图像拍摄数据渲染人脸的重建人脸图像，其中，重建人脸图像为彩色深度图像。
步骤208，根据样本人脸图像的形状特征值、表情特征值和纹理特征值构建三维形变模型的参数正则损失函数，根据重建人脸图像和样本人脸图像构建图像误差损失函数。
步骤210，根据参数正则损失函数和损失图像误差损失函数，采用样本人脸图像集训练参数正则损失函数和图像误差损失函数，得到预置的三维形变模型和预置的图卷积重建模型。
相关技术中，3D人脸重建网络通常需要真实的3D人脸模型在训练过程中作监督，而获取真实的3D人脸数据时成本和难度较高，这就增加了3D人脸重建的成本和难度。
本发明实施例中对三维形变模型和图卷积重建模型进行训练的过程中，采用自监督训练的方式，无需真实的3D人脸作监督，从而降低了3D人脸重建的成本和难度。
本发明实施例的3D人脸重建技术可用于3D人脸识别，AR/VR，视频编辑和其他泛娱乐场景。
具体地，在步骤210中，通过可微分渲染器进行反向梯度传播，更新初始三维形变模型和初始图卷积重建模型的权重，直到参数正则损失函数和图像误差损失函数收敛，得到预置的三维形变模型和预置的图卷积重建模型。
在本发明实施例中，可以通过同时输入人脸的彩色图像和深度图像，可以消除单目图像的尺度和深度的不确定性，提高3D人脸重建的精度。
具体地，通过同时输入人脸的彩色图像和深度图像进行3D人脸重建的过程中，需要根据人脸的彩色图像和深度图像得到人脸的彩色深度图像，以将该人脸的彩色深度图像按照步骤102至步骤108处理。
根据人脸的彩色图像和深度图像得到人脸的彩色深度图像时，需要获取包含相同人脸的彩色图像和深度图像，该彩色图像和深度图像的像素对齐，之后对彩色图像对进行人脸框检测和人脸关键点检测，得到检测结果，最后根据检测结果、彩色图像和深度图像，裁剪并缩放得到待重建人脸图像，其中，缩放后的所述待重建人脸图像的关键点坐标与缩放前的关键点坐标相对应。
在本发明一种实施例中，在对彩色图像进行人脸关键点检测时，可以进行68点关键点检测。裁剪得到的彩色深度图像可以缩放至固定尺寸，并对应缩放关键点坐标。这里，固定尺寸可以为224*224像素，且并不局限于此。
在本发明实施例中，在根据待重建人脸图像获取人脸的第一特征向量，以及在根据样本人脸图像获取第二特征向量时，可以通过彩色人脸识别网络获得特征向量。彩色人脸识别网络可以为一种神经网络模型。具体地，将待重建人脸图像对应的彩色图像输入预置的彩色人脸识别网络，可以得到人脸的第一特征向量，其中，彩色人脸识别网络根据样本人脸图像集和对应的人脸特征训练得到。
在本发明实施例中，使用彩色人脸识别网络可以对三维形变模型输出的初步重建结果进行进一步优化，使得重建人脸的3D结构和纹理更加逼真。进一步地，结合可微分渲染器，可以对3D人脸的重建结果进行逆向处理，还原出3D人脸的重建结果对应的彩色深度图像，并基于还原得到的彩色深度图像构建损失函数，根据该损失函数训练三维形变模型和图卷积重建模型，从而得到最优的网络模型，采用最优的三维形变模型和图卷积重建模型对彩色深度图像进行处理，即可以得到精度较高的3D人脸重建结果。
在本发明实时例中，预训练的彩色人脸识别网络的权重不参与步骤210中的更新，只起到提取人脸特征的作用。
在步骤202中，可以获取样本人脸图像的形状特征值、表情特征值和纹理特征值。为约束生成的3D人脸，防止生成不真实的人脸结构和纹理，可以三维形变模型的形状、表情和纹理参数构建三维形变模型的参数正则损失函数，以使得参数满足正态分布。
在本发明实施例中，图像误差损失函数包括光度误差损失函数、深度误差损失函数和关键点误差损失函数。其中，光度误差损失函数和关键点误差损失函数是一种L1损失函数，深度误差损失函数是一种对数损失函数。L1又称最小绝对值偏差，L1损失函数描述的是真实值和预测值的差值的绝对值的和，对数损失函数描述的是真实值和预测值相除再取对数后的和。
具体地，在步骤208中，根据重建人脸图像和样本人脸图像构建光度误差损失函数和深度误差损失函数。在构建关键点损失函数时，根据重建人脸图像和相机外参数获取重建人脸的关键点，并基于相机内参投影到2D图像的对应位置，得到重建人脸的重建关键点，再根据重建关键点和样本关键点获取构建关键点误差损失函数，其中，样本关键点根据样本人脸图像对应的彩色图像得到。
这里，相机外参指的是相机自身的相对位置和姿态的参数。相机内参是一组用于将3D坐标映射到2D图像的一组参数。
在步骤206中，将图卷积重建模型输出的3D人脸输入可微分渲染器中，基于相机参数和环境光照参数，渲染得到重建3D人脸的彩色深度图像，与输入的样本人脸图像构建表征彩色损失的光度误差损失函数和表征深度损失的尺度不变的深度误差损失函数。
根据重建人脸图像对应的重建关键点和样本人脸图像对应的样本关键点可以构建关键点误差损失函数，在计算关键点误差损失函数时，重建关键点可以是根据重建人脸图像的3D形状和相机外参数计算得到的68点关键点。样本关键点可以使根据样本人脸图像对应的彩色图像得到的68点关键点。
在本发明实施例中，输入的彩色深度图像也可以通过深度相机进行采集得到。在三维形变模型和图卷积重建模型的训练过程中，通过已采集的样本人脸图像集，借助可微分渲染器，以自监督形式训练三维形变模型和图卷积重建网络模型，无需真实的3D人脸作监督，也就无需获取真实的3D人脸数据，从而降低了3D人脸重建的成本和难度。
在步骤102至步骤108的3D人脸重建过程中，加载预训练的网络模型的权重，得到用于处理待重建人脸图像的三维形变模型、图卷积重建模型和彩色人脸识别网络，即可以进行3D人脸重建。其中，在步骤102至步骤108的3D人脸重建过程中，不需要使用可微分渲染器。
如图3所示，训练三维形变模型和图卷积重建模型的过程包括以下步骤：
步骤301，获取包含人脸的彩色图像和深度图像。
步骤302，对彩色图像进行人脸框检测和人脸68点关键点检测。
步骤303，根据步骤302的检测结果结合深度图像对彩色图像进行剪裁并处理得到待重建的第一彩色深度图像。
步骤304，将步骤303得到的第一彩色深度图像输入三维形变模型，得到人脸的形状特征值、表情特征值和纹理特征值，以及彩色深度图像对应的相机数据和环境光照数据。
步骤305，根据人脸的形状特征值和表情特征值生成3D人脸的形状，根据人脸的纹理特征值生成3D人脸的纹理。
步骤306，将步骤303得到的第一彩色深度图像对应的彩色图像输入彩色人脸识别网络。
步骤307，将步骤305和步骤306得到的数据输入图卷积重建模型，得到优化后的3D人脸。
步骤308，将步骤307得到的优化后的3D人脸，以及步骤304得到的相机数据和环境光照数据，输入可微分渲染器，得到第二彩色深度图像。
步骤309，根据可微分渲染器的输出结果构建图像误差损失函数，根据步骤304的输出结果构建三维形变模型的参数正则损失函数。
步骤310，根据步骤309构建的损失函数，基于样本人脸图像集训练三维形变模型和图卷积重建模型。
在三维形变模型和图卷积模型训练完毕后，加载彩色人脸识别网络、三维形变模型和图卷积重建模型，执行如图4所示的以下步骤进行3D人脸重建：
步骤401，获取包含人脸的彩色图像和深度图像。
步骤402，对彩色图像进行人脸框检测和人脸68点关键点检测。
步骤403，根据步骤402的检测结果结合深度图像对彩色图像进行剪裁并处理得到待重建的第一彩色深度图像。
步骤404，将步骤403得到的第一彩色深度图像输入三维形变模型，得到人脸的形状特征值、表情特征值和纹理特征值。
步骤405，根据人脸的形状特征值和表情特征值生成3D人脸的形状，根据人脸的纹理特征值生成3D人脸的纹理。
步骤406，将步骤403得到的第一彩色深度图像对应的彩色图像输入彩色人脸识别网络。
步骤407，将步骤405和步骤406得到的数据输入图卷积重建模型，得到优化后的3D人脸。
采用本发明实施例的技术方案，在自采集的人脸的彩色深度图像的测试集上，3D人脸重建的平均光度误差达到0.0005色度，平均深度误差达到0.002mm，平均关键点误差在3个像素以下。其中，色度是描述光度误差的单位，其取值范围为0-1。
本发明提供的3D人脸的重建方法，采用预置的三维形变模型和图卷积重建模型相结合对人脸的彩色深度图像进行处理，使得重建的3D人脸的结构和纹理不再受限于现有3D人脸数据集数据分布，从而提高了3D人脸重建的结构和纹理的精度。
下面对本发明提供的3D人脸的重建装置进行描述，下文描述的3D人脸的重建装置与上文描述的3D人脸的重建方法可相互对应参照。
如图5所示，本发明实施例的3D人脸的重建装置包括：
图像获取单元502，用于获取待重建人脸图像，待重建人脸图像为彩色深度图像。
形变数据获取单元504，用于将待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，与正交线性基进行线性组合得到人脸的形状数据和纹理数据。
特征获取单元506，用于根据待重建人脸图像获取人脸的第一特征向量。
重建单元508，用于将第一数据组和第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，图卷积重建模型用于基于人脸的形状数据、纹理数据和第一特征向量，通过图上卷积运算对人脸彩色深度图像进行重建。
在本发明实施例中，装置还包括训练单元，训练单元包括：
图像获取子单元，用于将获取的样本人脸图像集中的样本人脸图像输入初始三维形变模型，得到人脸的形状数据和纹理数据组成的第三数据组，以及图像拍摄数据，其中，样本人脸图像为彩色深度图像，图像拍摄数据包括相机数据和环境光照数据，第三数据组根据样本人脸图像的形状特征值、表情特征值和纹理特征值获得。
重建子单元，用于将第二数据组和第二特征向量输入初始图卷积重建模型，得到人脸的形状数据和纹理数据组成的第四数据组，其中，第二特征向量根据样本人脸图像获取。
渲染子单元，用于将第四数据组输入可微分渲染器，以结合图像拍摄数据渲染人脸的重建人脸图像，其中，重建人脸图像为彩色深度图像。
构建子单元，用于根据样本人脸图像的形状特征值、表情特征值和纹理特征值构建三维形变模型的参数正则损失函数，根据重建人脸图像和样本人脸图像构建图像误差损失函数。
训练子单元，用于根据参数正则损失函数和损失图像误差损失函数，采用样本人脸图像集训练参数正则损失函数和图像误差损失函数，得到预置的三维形变模型和预置的图卷积重建模型。
在本发明实施例中，重建装置还包括剪裁单元，用于获取包含相同人脸的彩色图像和深度图像，对彩色图像对进行人脸框检测和人脸关键点检测，得到检测结果，并根据检测结果、彩色图像和深度图像，裁剪并缩放得到待重建人脸图像，其中，缩放后的所述待重建人脸图像的关键点坐标与缩放前的关键点坐标相对应。
特征获取单元506，还用于将待重建人脸图像对应的彩色图像输入预置的彩色人脸识别网络，得到人脸的第一特征向量，其中，彩色人脸识别网络根据样本人脸图像集和对应的人脸特征训练得到。
图像误差损失函数包括光度误差损失函数、深度误差损失函数和关键点误差损失函数，构建子单元用于根据重建人脸图像和样本人脸图像构建光度误差损失函数和深度误差损失函数，根据重建人脸图像和相机外参数获取重建人脸的关键点，并基于相机内参投影到2D图像的对应位置，得到重建人脸的重建关键点，根据重建关键点和样本关键点获取构建关键点误差损失函数，其中，样本关键点根据样本人脸图像对应的彩色图像得到。
此外，训练子单元还用于，通过可微分渲染器进行反向梯度传播，更新初始三维形变模型和初始图卷积重建模型的权重，直到参数正则损失函数和图像误差损失函数收敛，得到预置的三维形变模型和预置的图卷积重建模型。
由于本发明的示例实施例的3D人脸的重建装置的各个功能模块与上述3D人脸的重建方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的3D人脸的重建方法的实施例。
本发明提供的3D人脸的重建装置，采用预置的三维形变模型和图卷积重建模型相结合对人脸的彩色深度图像进行处理，使得重建的3D人脸的结构和纹理不再受限于现有3D人脸数据集数据分布，从而提高了3D人脸重建的结构和纹理的精度。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行3D人脸的重建方法，该方法包括：获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，与正交线性基进行线性组合得到人脸的形状数据和纹理数据；根据所述待重建人脸图像获取人脸的第一特征向量；将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，所述图卷积重建模型基于人脸的形状数据、纹理数据和特征向量，通过图上卷积运算对人脸彩色深度图像进行重建。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的3D人脸的重建方法，该方法包括：获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，与正交线性基进行线性组合得到人脸的形状数据和纹理数据；根据所述待重建人脸图像获取人脸的第一特征向量；将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，所述图卷积重建模型基于人脸的形状数据、纹理数据和特征向量，通过图上卷积运算对人脸彩色深度图像进行重建。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的3D人脸的重建方法，该方法包括：获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，与正交线性基进行线性组合得到人脸的形状数据和纹理数据；根据所述待重建人脸图像获取人脸的第一特征向量；将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，所述图卷积重建模型基于人脸的形状数据、纹理数据和特征向量，通过图上卷积运算对人脸彩色深度图像进行重建。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种3D人脸的重建方法，其特征在于，所述重建方法包括：
获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；
将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，得到人脸的形状数据和纹理数据；
根据所述待重建人脸图像获取人脸的第一特征向量；
将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，
所述图卷积重建模型用于基于所述人脸的形状数据、纹理数据和所述第一特征向量对人脸彩色深度图像进行重建。
2.根据权利要求1所述的方法，其特征在于，所述三维形变模型和所述图卷积重建模型的训练过程包括：
将获取的样本人脸图像集中的样本人脸图像输入初始三维形变模型，得到人脸的形状数据和纹理数据组成的第三数据组，以及图像拍摄数据，其中，所述样本人脸图像为彩色深度图像，所述图像拍摄数据包括相机数据和环境光照数据，所述第三数据组根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值获得；
将所述第二数据组和第二特征向量输入初始图卷积重建模型，得到人脸的形状数据和纹理数据组成的第四数据组，其中，所述第二特征向量根据所述样本人脸图像获取；
将所述第四数据组输入可微分渲染器，以结合所述图像拍摄数据渲染人脸的重建人脸图像，其中，所述重建人脸图像为彩色深度图像；
根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值构建所述三维形变模型的参数正则损失函数，根据所述重建人脸图像和所述样本人脸图像构建图像误差损失函数；
根据所述参数正则损失函数和损失图像误差损失函数，采用所述样本人脸图像集训练所述参数正则损失函数和所述图像误差损失函数，得到所述预置的三维形变模型和所述预置的图卷积重建模型。
3.根据权利要求1所述的方法，其特征在于，所述获取待重建人脸图像之前，所述重建方法还包括：
获取包含相同人脸的彩色图像和深度图像，所述彩色图像和所述深度图像的像素对齐；
对所述彩色图像对进行人脸框检测和人脸关键点检测，得到检测结果；
根据所述检测结果、所述彩色图像和所述深度图像，裁剪并缩放得到所述待重建人脸图像，其中，缩放后的所述待重建人脸图像的关键点坐标与缩放前的关键点坐标相对应。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待重建人脸图像获取人脸的第一特征向量，包括：
将所述待重建人脸图像对应的彩色图像输入预置的彩色人脸识别网络，得到所述人脸的第一特征向量，其中，所述彩色人脸识别网络根据样本人脸图像集和对应的人脸特征训练得到。
5.根据权利要求2所述的方法，其特征在于，所述图像误差损失函数包括光度误差损失函数、深度误差损失函数和关键点误差损失函数，所述根据所述重建人脸图像和所述样本人脸图像构建图像误差损失函数，包括：
根据所述重建人脸图像和所述样本人脸图像构建所述光度误差损失函数和所述深度误差损失函数；
根据所述重建人脸图像和相机外参数获取重建人脸的关键点，并基于相机内参投影到2D图像的对应位置，得到重建人脸的重建关键点；
根据所述重建关键点和样本关键点获取构建所述关键点误差损失函数，其中，所述样本关键点根据样本人脸图像对应的彩色图像得到。
6.根据权利要求2所述的方法，其特征在于，训练所述参数正则损失函数和所述图像误差损失函数，包括：
通过所述可微分渲染器进行反向梯度传播，更新所述初始三维形变模型和所述初始图卷积重建模型的权重，直到所述参数正则损失函数和所述图像误差损失函数收敛，得到所述预置的三维形变模型和所述预置的图卷积重建模型。
7.一种3D人脸的重建装置，其特征在于，所述重建装置包括：
图像获取单元，用于获取待重建人脸图像，所述待重建人脸图像为彩色深度图像；
形变数据获取单元，用于将所述待重建人脸图像输入预置的三维形变模型，得到人脸的形状数据和纹理数据组成的第一数据组，其中，所述三维形变模型用于基于人脸彩色深度图像进行特征提取得到的形状特征值、表情特征值和纹理特征值，得到人脸的形状数据和纹理数据；
特征获取单元，用于根据所述待重建人脸图像获取人脸的第一特征向量；
重建单元，用于将所述第一数据组和所述第一特征向量输入预置的图卷积重建模型，得到重建后的人脸的形状数据和纹理数据组成的第二数据组，其中，所述图卷积重建模型用于基于所述人脸的形状数据、纹理数据和所述第一特征向量，对人脸彩色深度图像进行重建。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括训练单元，所述训练单元包括：
图像获取子单元，用于将获取的样本人脸图像集中的样本人脸图像输入初始三维形变模型，得到人脸的形状数据和纹理数据组成的第三数据组，以及图像拍摄数据，其中，所述样本人脸图像为彩色深度图像，所述图像拍摄数据包括相机数据和环境光照数据，所述第三数据组根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值获得；
重建子单元，用于将所述第二数据组和第二特征向量输入初始图卷积重建模型，得到人脸的形状数据和纹理数据组成的第四数据组，其中，所述第二特征向量根据所述样本人脸图像获取；
渲染子单元，用于将所述第四数据组输入可微分渲染器，以结合所述图像拍摄数据渲染人脸的重建人脸图像，其中，所述重建人脸图像为彩色深度图像；
构建子单元，用于根据所述样本人脸图像的形状特征值、表情特征值和纹理特征值构建所述三维形变模型的参数正则损失函数，根据所述重建人脸图像和所述样本人脸图像构建图像误差损失函数；
训练子单元，用于根据所述参数正则损失函数和损失图像误差损失函数，采用所述样本人脸图像集训练所述参数正则损失函数和所述图像误差损失函数，得到所述预置的三维形变模型和所述预置的图卷积重建模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111022212.6A CN113723317B (zh) | 2021-09-01 | 2021-09-01 | 3d人脸的重建方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111022212.6A CN113723317B (zh) | 2021-09-01 | 2021-09-01 | 3d人脸的重建方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723317A true CN113723317A (zh) | 2021-11-30 |
| CN113723317B CN113723317B (zh) | 2024-04-09 |
Family
ID=78680598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111022212.6A Active CN113723317B (zh) | 2021-09-01 | 2021-09-01 | 3d人脸的重建方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723317B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339190A (zh) * | 2021-12-29 | 2022-04-12 | 中国电信股份有限公司 | 通讯方法、装置、设备及存储介质 |
| CN114693551A (zh) * | 2022-03-25 | 2022-07-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及可读存储介质 |
| CN116542846A (zh) * | 2023-07-05 | 2023-08-04 | 深圳兔展智能科技有限公司 | 用户账号图标生成方法、装置、计算机设备及存储介质 |
| CN116664746A (zh) * | 2023-05-29 | 2023-08-29 | 华院计算技术(上海)股份有限公司 | 人脸重建方法及装置、计算机可读存储介质、终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
| WO2019120110A1 (zh) * | 2017-12-20 | 2019-06-27 | 华为技术有限公司 | 图像重建方法及设备 |
| CN110533773A (zh) * | 2019-09-02 | 2019-12-03 | 北京华捷艾米科技有限公司 | 一种三维人脸重建方法、装置及相关设备 |
| CN111882643A (zh) * | 2020-08-10 | 2020-11-03 | 网易（杭州）网络有限公司 | 三维人脸构建方法、装置和电子设备 |
| CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
| CN112950775A (zh) * | 2021-04-27 | 2021-06-11 | 南京大学 | 一种基于自监督学习的三维人脸模型重建方法及系统 |
-
2021
- 2021-09-01 CN CN202111022212.6A patent/CN113723317B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
| WO2019120110A1 (zh) * | 2017-12-20 | 2019-06-27 | 华为技术有限公司 | 图像重建方法及设备 |
| CN110533773A (zh) * | 2019-09-02 | 2019-12-03 | 北京华捷艾米科技有限公司 | 一种三维人脸重建方法、装置及相关设备 |
| CN111882643A (zh) * | 2020-08-10 | 2020-11-03 | 网易（杭州）网络有限公司 | 三维人脸构建方法、装置和电子设备 |
| CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
| CN112950775A (zh) * | 2021-04-27 | 2021-06-11 | 南京大学 | 一种基于自监督学习的三维人脸模型重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 吴越，董兰芳: "基于弱监督学习的三维人脸形状与纹理重建", 计算机系统应用, vol. 29, no. 11 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339190A (zh) * | 2021-12-29 | 2022-04-12 | 中国电信股份有限公司 | 通讯方法、装置、设备及存储介质 |
| CN114693551A (zh) * | 2022-03-25 | 2022-07-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及可读存储介质 |
| CN116664746A (zh) * | 2023-05-29 | 2023-08-29 | 华院计算技术(上海)股份有限公司 | 人脸重建方法及装置、计算机可读存储介质、终端 |
| CN116664746B (zh) * | 2023-05-29 | 2024-04-02 | 华院计算技术(上海)股份有限公司 | 人脸重建方法及装置、计算机可读存储介质、终端 |
| CN116542846A (zh) * | 2023-07-05 | 2023-08-04 | 深圳兔展智能科技有限公司 | 用户账号图标生成方法、装置、计算机设备及存储介质 |
| CN116542846B (zh) * | 2023-07-05 | 2024-04-26 | 深圳兔展智能科技有限公司 | 用户账号图标生成方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723317B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961507B (zh) | 一种人脸图像生成方法、装置、设备及存储介质 | |
| CN113723317B (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| CN108921782B (zh) | 一种图像处理方法、装置及存储介质 | |
| JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| CN110599395B (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
| CN114863037B (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
| CN108230384B (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
| US10726612B2 (en) | Method and apparatus for reconstructing three-dimensional model of object | |
| CN109584358A (zh) | 一种三维人脸重建方法及装置、设备和存储介质 | |
| CN104010180B (zh) | 三维视频滤波方法和装置 | |
| CN110443874B (zh) | 基于卷积神经网络的视点数据生成方法和装置 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN112509144B (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN115496864B (zh) | 模型构建方法、重建方法、装置、电子设备及存储介质 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| JP2023547888A (ja) | 三次元再構成方法、装置、システム、媒体及びコンピュータデバイス | |
| CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
| CN115239857B (zh) | 图像生成方法以及电子设备 | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| CN112669436A (zh) | 一种基于3d点云的深度学习样本生成方法 | |
| CN113313631B (zh) | 图像渲染方法和装置 | |
| CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
| CN115375816A (zh) | 可微渲染方法、装置、电子设备及存储介质 | |
| CN115984943A (zh) | 面部表情捕捉及模型训练方法、装置、设备、介质及产品 | |
| US20220157016A1 (en) | System and method for automatically reconstructing 3d model of an object using machine learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |