CN112950775A - 一种基于自监督学习的三维人脸模型重建方法及系统 - Google Patents

一种基于自监督学习的三维人脸模型重建方法及系统 Download PDF

Info

Publication number
CN112950775A
CN112950775A CN202110457570.3A CN202110457570A CN112950775A CN 112950775 A CN112950775 A CN 112950775A CN 202110457570 A CN202110457570 A CN 202110457570A CN 112950775 A CN112950775 A CN 112950775A
Authority
CN
China
Prior art keywords
face model
dimensional face
neural network
image
rough
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110457570.3A
Other languages
English (en)
Inventor
于耀
梁胜利
周余
都思丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110457570.3A priority Critical patent/CN112950775A/zh
Publication of CN112950775A publication Critical patent/CN112950775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自监督学习的三维人脸模型重建方法及系统。该方法包括：基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。本发明无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。

Description

一种基于自监督学习的三维人脸模型重建方法及系统
技术领域
本发明涉及三维人脸模型重建技术领域，特别是涉及一种基于自监督学习的三维人脸模型重建方法及系统。
背景技术
人脸三维重建在计算机视觉领域有着十分广泛的应用，比如辅助人脸识别、人脸表情识别以及在影视动画中角色面部的制作等。人脸三维重建分为主动式和被动式两个大类。主动式建模利用外部光照如激光和结构光进行建模，这种通过仪器采集的方法可以直接获得深度信息，但是设备搭建复杂，过程执行繁琐，因而成本较高。被动式建模一般利用拍摄得到的图片或者视频进行建模。由多个相机组成的阵列同时采集一个人同一时刻的多个视角的照片，利用立体视觉的方法建模，可以得到较为精细的人脸模型，但是同主动式建模的方法类似，其设备搭建和执行十分复杂，计算成本高且只适合用于实验室的光照环境，无法普及应用。随着手机等移动设备的普及，图片和视频的获取变得更加方便，利用单张图像来重建人脸三维模型有了更大的需求同时衍生出许多的应用。相比于其他的人脸重建方案，基于单张图片的人脸重建无需搭建采集设备，素材易获取；但同时输入信息十分有限，由二维图片恢复三维信息是典型的病态问题，因此基于单张图片重建三维人脸模型依旧是一个极具挑战性的课题。
目前最为流行的人脸三维重建方法是基于形变模型的三维人脸重建(3DMM)，传统优化方法基于输入图像的人脸关键点，优化形变模型的几何参数(包括身份参数和表情参数)。这类方法通常需要迭代优化，在人脸模型点数较多的情况下往往十分耗时，而且常规的形变模型受限于参数化模型的低维度表示空间，其重建结果较为平滑，缺乏高频的细节信息。随着深度学习方法在计算机视觉领域的许多方面取得了超越传统优化方法的效果，近年来越来越多的人脸三维重建工作开始引入深度学习的方法。然而深度学习方法中神经网络的训练需要大量数据，不同于分类、识别等任务中易于获取的图片数据集，人脸三维重建任务难以获得大量的与人脸图片对应的真实人脸三维模型，缺乏足够的训练数据降低了深度学习方法的效果。一些方法提出利用参数化人脸模型通过仿真采样得到大量虚拟三维人脸模型，结合不同光照信息进行渲染得到人脸三维模型对应的人脸图片，将这样的虚拟数据作为训练集训练神经网络。然而由于渲染得到的虚拟图片和真实图片仍有差距，训练结果在对真实图片的泛化性较差。同时，虚拟数据集无法仿真人脸细节信息，最终的人脸重建结果不够精细。
发明内容
本发明的目的是提供一种基于自监督学习的三维人脸模型重建方法及系统，无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。
为实现上述目的，本发明提供了如下方案：
一种基于自监督学习的三维人脸模型重建方法，包括：
基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；
基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；
将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；
将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；
基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；
将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。
进一步地，编码神经网络的训练过程包括：
对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；
通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。
进一步地，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。
进一步地，所述置换贴图预测神经网络的训练过程包括：
通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。
进一步地，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。
本发明还提供了一种基于自监督学习的三维人脸模型重建系统，包括：
粗糙三维人脸模型参数预测模块，用于基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；
粗糙三维人脸模型构建模块，用于基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；
第一渲染图像确定模块，用于将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；
第二渲染图像确定模块，用于将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；
深度方向置换贴图预测模块，用于基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；
三维人脸模型重建模块，用于将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。
进一步地，还包括：
预处理模块，用于对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；
第一训练模块，用于通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。
进一步地，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。
进一步地，还包括：
第二训练模块，用于通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。
进一步地，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明利用输入图像自身作为监督，结合现有人脸关键点检测技术和人脸皮肤分割技术，无需真实三维人脸模型作为监督参与神经网络训练，缓解了缺乏大量训练数据集的问题。于算法上，利用神经网络预测UV域上人脸深度方向的置换贴图，将其与参数化人脸模型组合，进而得到含有几何细节的三维人脸模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于自监督学习的三维人脸模型重建方法的流程图；
图2为本发明实施例基于自监督学习的三维人脸模型重建方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于自监督学习的三维人脸模型重建方法及系统，无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示，一种基于自监督学习的三维人脸模型重建方法包括以下步骤：
步骤101：基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数。
步骤102：基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型。
步骤103：将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像。
步骤104：将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像。
步骤105：基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图。
步骤106：将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。
其中，编码神经网络的训练过程包括：
对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。
将参与网络训练的人脸图片进行基本的对齐和裁剪，同时利用现有的人脸关键点检测技术得到图片对应的二维人脸关键点；利用图像分割技术得到图片对应的人脸皮肤掩膜。
输入无约束的单张人脸图像，在训练过程中同时输入图像检测的二维人脸关键点和对应的皮肤区域掩膜，需要注意的是，二维特征点和皮肤区域掩膜只在训练阶段输入，测试时无需输入，且这两部分均可由已有算法得到，无需昂贵的采集。
训练的编码网络以人脸图片作为输入，以参数化人脸模型参数、相机外参和光照信息作为输出。该过程具体为：
首先引入三维可形变模型(3DMM)，表示为：
Figure BDA0003041039520000061
Figure BDA0003041039520000062
记该模型有n个点，X是将n个点的三维坐标按顺序堆叠而成的大小为3n的向量，X表征三维模型的几何形态。
Figure BDA0003041039520000063
为平均脸模型坐标向量，结构与X相同。Bid是整体脸型主元矩阵，大小为3n×80，Bexp为人脸表情主元矩阵，大小为3n×64；xid、xexp分别为相应的整体脸型和人脸表情参数，它们分别是80维和64维的向量。xid、xexp中的每一维变量各自符合特定的高斯分布：
Figure BDA0003041039520000064
通过调整xid和xexp参数，可以产生不同形状的三维人脸模型。同理，R是将n个点的反射率按顺序堆叠而成的大小为3n的向量，R表征三维模型的外观材质信息，
Figure BDA0003041039520000065
为平均反射率向量，结构与R相同。Br是反射率主元矩阵，大小为3n×80，xr为人脸反射率参数，是80维的向量，符合高斯分布
Figure BDA0003041039520000066
接下来引入球谐光照模型，这里本发明可以粗略地假定人脸是一个朗伯体，即仅具有漫反射的特性，而不具有高频的高光反射特性。那么RGB三通道的场景光照可以由一个3×9的矩阵L表征，称为球谐光照系数。
Sk＝LY(nk)
其中Sk为模型上第k个点的RGB光影强度,是一个3×1的向量；L即为表征场景光照的球谐光照系数，它在整个场景中保持不变；nk表示模型上第k个点的表面法向量，Y(nk)表示模型上第k个点法向量对应于球谐光照的基底，Y(·)是一个3→9的函数映射，假定有法向量n＝(nx，ny，nz)，其中nx，ny，nz是该法向量在x、y、z三个方向上的分量，那么对应的Y(n)则是
Figure BDA0003041039520000071
关于相机内外参，本发明应用透视投影p＝KΠ(Rv+t),其中
Figure BDA0003041039520000072
表示相机的外参矩阵，v表示人脸模型的三维坐标，Π(*)表示非线性的投影操作，K为相机内参。
综上，本发明利用Resnet50的网络结构构建一个L编码网络，预测参数包括3DMM模型参数xid，xexp，xr，球谐光照系数以及相机外参参数R，t，将这些参数堆叠成257维的向量，作为回归网络的输出Q＝[xid，xexp,xr，L，R，t]进而由估计的3DMM参数得到粗糙的三维人脸模型Xcoarse。
渲染过程需要引入本征图像的概念I＝R*S，即对于一张图像，可以将其分解为反射率R和光影S两部分的乘积，其中
Figure BDA0003041039520000073
由参数化人脸模型得到，S＝LY(n)由球谐光照和模型法向量n共同得到。在此基础上，通过含有深度缓冲检测的可微分渲染器可以得到粗糙三维人脸模型的渲染图像IR。
下面本发明详细说明为训练编码神经网络所设计的自监督约束：
Lcoarse＝ω1*Lpixel+ω2*Lland+ω3*Lper+ω4*Lreg
其中[ω1，ω2，ω3，ω4]为对应的加权系数。
下面分别介绍首先每一项约束的含义，首先利用输入图像I和渲染图像IR建立图像重建损失函数：
Figure BDA0003041039520000074
其中M为利用已有人脸分割技术获得的输入图像皮肤区域，(i，j)是表示皮肤区域的每一个像素点，图像重建损失函数计算输入图像和渲染图像在输入图像皮肤区域每个像素点的二范数。
进一步的，人脸关键点损失函数：
Figure BDA0003041039520000075
其中pi为输入图像利用已有人脸关键点检测方法获得的二维人脸关键点坐标，
Figure BDA0003041039520000084
为在已有3DMM模型上提前标记好的与二维人脸关键点存在对应语义的三维顶点在经过相机内外参及投影变换后投影到图像上的二维人脸关键点坐标，N＝68表示人脸关键点的个数。
感知损失函数用来衡量两张图片的相似程度，表示为：
Figure BDA0003041039520000081
其中
Figure BDA0003041039520000085
采用应用在人脸识别项目中已经训练好的网络结构和参数，在训练阶段该网络固定参数，不参与训练。
Figure BDA0003041039520000082
表示输入图片经过网络后的输出特征，
Figure BDA0003041039520000083
表示渲染图片经过网络后的输出特征。
正则项损失函数是对网络输出的3DMM模型参数进行约束的函数，使得输出系数重建的人脸在一个合理范围内，表示为：
Lreg＝ωid||xid||2+ωexp||xexp||2+ωr||xr||2
其中xid、xexp为回归网络输出的3DMM模型参数，[ωid，ωexp]为对应的加权系数。
综上，通过训练网络最小化损失函数Lcoarse＝ω1*Lpixel+ω2*Lland+ω3*Lper+ω4*Lreg，即可完成编码网络的训练
其中，所述置换贴图预测神经网络的训练过程包括：通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。
将上一阶段得到的参数化模型表示的粗糙人脸模型以及输入图片进行UV展开，置换贴图预测网络以二者的UV展开渲染图作为输入，输出为UV域上的人脸深度方向的置换贴图。具体的：
对已经获得的粗糙三维人脸模型Xcoarse按照已经规定好的方式进行UV展开，相应的计算方式为：
Figure BDA0003041039520000091
z′←y
将展开图进行渲染得到UV域的渲染图片
Figure BDA0003041039520000092
将输入图片反投影到三维人脸模型Xcoarse后再进行同样的UV展开得到输入图片的UV域图像Iuv。将Iuv、
Figure BDA0003041039520000093
作为置换贴图预测神经网络的输入，输出为对应人脸深度方向上的置换贴图ΔZ。将ΔZ叠加在粗糙三维人脸模型Xcoarse上得到Xfine。具体的Xcoarse＝[x，y，z]，z′＝z+Δz，Xfine＝[x，y，z′]。通过含有深度缓冲检测的可微分渲染器进行渲染得到渲染图像
Figure BDA0003041039520000094
下面将详细说明为训练置换贴图预测神经网络所设计的自监督约束：
Lfine＝ω1*Lpixel+ω2*Lper+ω3*Lsmooth+ω4*Lreg
其中[ω1，ω2，ω3，ω4]为对应的加权系数。
下面分别介绍首先每一项约束的含义，首先利用输入图像I和渲染图像
Figure BDA0003041039520000095
建立图像重建损失函数：
Figure BDA0003041039520000096
其中M为利用已有人脸分割技术获得的输入图像皮肤区域，(i，j)是表示皮肤区域的每一个像素点，图像重建损失函数计算输入图像和渲染图像在输入图像皮肤区域每个像素点的二范数。
感知损失函数用来衡量两张图片的相似程度，表示为：
Figure BDA0003041039520000097
其中
Figure BDA0003041039520000098
采用应用在人脸识别项目中已经训练好的网络结构和参数，在训练阶段该网络固定参数，不参与训练。
Figure BDA0003041039520000099
表示输入图片经过网络后的输出特征，
Figure BDA00030410395200000910
表示渲染图片经过网络后的输出特征。
对于置换贴图ΔZ，为了使其与粗粒度模型叠加后生成合理的三维人脸，对ΔZ添加邻域平滑约束Lsmooth和强度正则项Lreg，具体的：
Figure BDA00030410395200000911
其中Vuv表示3DMM模型顶点在UV域上的投影点，N(i)表示第i个顶点的四邻域，Δn是精细模型计算的法向量Nfine和粗粒度模型的法向量Ncoarse的差，即Δn＝||Nfine-Ncoarse||。
强度正则项Lreg具体为：
Figure BDA0003041039520000101
综上，通过训练网络最小化Lfine＝ω1*Lpixel+ω2*Lper+ω3*Lsmooth+ω4*Lreg，即可完成置换贴图预测神经网络的训练。
置换贴图预测神经网络输出为对应人脸深度方向上的置换贴图ΔZ。将ΔZ叠加在粗粒度三维人脸模型Xcoarse，最终得到与输入图片人脸对应的含有人脸几何细节的三维人脸模型Xfine。
本发明还提供了一种基于自监督学习的三维人脸模型重建系统，包括：
粗糙三维人脸模型参数预测模块，用于基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数。
粗糙三维人脸模型构建模块，用于基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型。
第一渲染图像确定模块，用于将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像。
第二渲染图像确定模块，用于将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像。
深度方向置换贴图预测模块，用于基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图。
三维人脸模型重建模块，用于将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。
还包括：
预处理模块，用于对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜。
第一训练模块，用于通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。
第二训练模块，用于通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。
进一步地，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于自监督学习的三维人脸模型重建方法，其特征在于，包括：
基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；
基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；
将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；
将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；
基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；
将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。
2.根据权利要求1所述的基于自监督学习的三维人脸模型重建方法，其特征在于，编码神经网络的训练过程包括：
对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；
通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。
3.根据权利要求2所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。
4.根据权利要求1所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述置换贴图预测神经网络的训练过程包括：
通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。
5.根据权利要求4所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。
6.一种基于自监督学习的三维人脸模型重建系统，其特征在于，包括：
粗糙三维人脸模型参数预测模块，用于基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；
粗糙三维人脸模型构建模块，用于基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；
第一渲染图像确定模块，用于将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；
第二渲染图像确定模块，用于将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；
深度方向置换贴图预测模块，用于基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；
三维人脸模型重建模块，用于将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。
7.根据权利要求6所述的基于自监督学习的三维人脸模型重建系统，其特征在于，还包括：
预处理模块，用于对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；
第一训练模块，用于通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。
8.根据权利要求7所述的基于自监督学习的三维人脸模型重建系统，其特征在于，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。
9.根据权利要求6所述的基于自监督学习的三维人脸模型重建系统，其特征在于，还包括：
第二训练模块，用于通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。
10.根据权利要求9所述的基于自监督学习的三维人脸模型重建系统，其特征在于，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。
CN202110457570.3A 2021-04-27 2021-04-27 一种基于自监督学习的三维人脸模型重建方法及系统 Pending CN112950775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110457570.3A CN112950775A (zh) 2021-04-27 2021-04-27 一种基于自监督学习的三维人脸模型重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110457570.3A CN112950775A (zh) 2021-04-27 2021-04-27 一种基于自监督学习的三维人脸模型重建方法及系统

Publications (1)

Publication Number Publication Date
CN112950775A true CN112950775A (zh) 2021-06-11

Family

ID=76233528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110457570.3A Pending CN112950775A (zh) 2021-04-27 2021-04-27 一种基于自监督学习的三维人脸模型重建方法及系统

Country Status (1)

Country Link
CN (1) CN112950775A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538682A (zh) * 2021-07-19 2021-10-22 北京的卢深视科技有限公司 模型训练、头部重建方法、电子设备及存储介质
CN113674373A (zh) * 2021-07-02 2021-11-19 清华大学 基于深度学习的真实感人脸渲染方法与装置
CN113723317A (zh) * 2021-09-01 2021-11-30 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
CN113781640A (zh) * 2021-09-27 2021-12-10 华中科技大学 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN113838176A (zh) * 2021-09-16 2021-12-24 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN114049420A (zh) * 2021-10-29 2022-02-15 马上消费金融股份有限公司 一种模型训练方法、图像渲染方法、装置和电子设备
CN114241102A (zh) * 2021-11-11 2022-03-25 清华大学 基于参数化模型的人脸细节重建和编辑方法及装置
CN114266860A (zh) * 2021-12-22 2022-04-01 西交利物浦大学 三维人脸模型建立方法、装置、电子设备及存储介质
CN114387388A (zh) * 2021-11-30 2022-04-22 中国电子科技集团公司第十五研究所 一种近景三维人脸重建装置
CN114399593A (zh) * 2021-12-23 2022-04-26 北京航空航天大学 基于深度学习的人脸眼镜移除和三维模型生成方法
CN114792359A (zh) * 2022-06-24 2022-07-26 北京百度网讯科技有限公司 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN114842121A (zh) * 2022-06-30 2022-08-02 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
WO2023077976A1 (zh) * 2021-11-05 2023-05-11 腾讯科技（深圳）有限公司 一种图像处理方法、模型训练方法、相关装置及程序产品
CN116105632A (zh) * 2023-04-12 2023-05-12 四川大学 一种结构光三维成像的自监督相位展开方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN111091624A (zh) * 2019-12-19 2020-05-01 南京大学 一种从单张图片生成高精度可驱动人脸三维模型的方法
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN111860167A (zh) * 2020-06-18 2020-10-30 北京百度网讯科技有限公司 人脸融合模型获取及人脸融合方法、装置及存储介质
CN111951381A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN111091624A (zh) * 2019-12-19 2020-05-01 南京大学 一种从单张图片生成高精度可驱动人脸三维模型的方法
CN111860167A (zh) * 2020-06-18 2020-10-30 北京百度网讯科技有限公司 人脸融合模型获取及人脸融合方法、装置及存储介质
CN111951381A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAJING CHEN 等: "Self-Supervised Learning of Detailed 3D Face Reconstruction", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 29, pages 8696 - 8705, XP011807614, DOI: 10.1109/TIP.2020.3017347 *
孙蕴瀚;史金龙;孙正兴;: "利用自监督卷积网络估计单图像深度信息", 计算机辅助设计与图形学学报, vol. 32, no. 04, pages 643 - 651 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674373A (zh) * 2021-07-02 2021-11-19 清华大学 基于深度学习的真实感人脸渲染方法与装置
CN113674373B (zh) * 2021-07-02 2024-04-26 清华大学 基于深度学习的真实感人脸渲染方法
CN113538682A (zh) * 2021-07-19 2021-10-22 北京的卢深视科技有限公司 模型训练、头部重建方法、电子设备及存储介质
CN113538682B (zh) * 2021-07-19 2022-05-31 合肥的卢深视科技有限公司 模型训练、头部重建方法、电子设备及存储介质
CN113723317A (zh) * 2021-09-01 2021-11-30 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
CN113723317B (zh) * 2021-09-01 2024-04-09 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
CN113838176A (zh) * 2021-09-16 2021-12-24 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN113781640A (zh) * 2021-09-27 2021-12-10 华中科技大学 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN114049420B (zh) * 2021-10-29 2022-10-21 马上消费金融股份有限公司 一种模型训练方法、图像渲染方法、装置和电子设备
CN114049420A (zh) * 2021-10-29 2022-02-15 马上消费金融股份有限公司 一种模型训练方法、图像渲染方法、装置和电子设备
WO2023077976A1 (zh) * 2021-11-05 2023-05-11 腾讯科技（深圳）有限公司 一种图像处理方法、模型训练方法、相关装置及程序产品
CN114241102A (zh) * 2021-11-11 2022-03-25 清华大学 基于参数化模型的人脸细节重建和编辑方法及装置
CN114241102B (zh) * 2021-11-11 2024-04-19 清华大学 基于参数化模型的人脸细节重建和编辑方法
CN114387388A (zh) * 2021-11-30 2022-04-22 中国电子科技集团公司第十五研究所 一种近景三维人脸重建装置
CN114387388B (zh) * 2021-11-30 2024-09-06 中国电子科技集团公司第十五研究所 一种近景三维人脸重建装置
CN114266860A (zh) * 2021-12-22 2022-04-01 西交利物浦大学 三维人脸模型建立方法、装置、电子设备及存储介质
CN114266860B (zh) * 2021-12-22 2024-08-13 西交利物浦大学 三维人脸模型建立方法、装置、电子设备及存储介质
CN114399593A (zh) * 2021-12-23 2022-04-26 北京航空航天大学 基于深度学习的人脸眼镜移除和三维模型生成方法
CN114399593B (zh) * 2021-12-23 2024-05-14 北京航空航天大学 基于深度学习的人脸眼镜移除和三维模型生成方法
CN114792359B (zh) * 2022-06-24 2022-10-11 北京百度网讯科技有限公司 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN114792359A (zh) * 2022-06-24 2022-07-26 北京百度网讯科技有限公司 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN114842121A (zh) * 2022-06-30 2022-08-02 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN114842121B (zh) * 2022-06-30 2022-09-09 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN116105632A (zh) * 2023-04-12 2023-05-12 四川大学 一种结构光三维成像的自监督相位展开方法及装置

Similar Documents

Publication Publication Date Title
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及系统
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
US11475624B2 (en) Method and apparatus for generating three-dimensional model, computer device and storage medium
CN111091624B (zh) 一种从单张图片生成高精度可驱动人脸三维模型的方法
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN110852941B (zh) 一种基于神经网络的二维虚拟试衣方法
CN112085836A (zh) 一种基于图卷积神经网络的三维人脸重建方法
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN111951381B (zh) 一种基于单张人脸图片的三维人脸重建系统
CN113313828B (zh) 基于单图片本征图像分解的三维重建方法与系统
CN109766866B (zh) 一种基于三维重建的人脸特征点实时检测方法和检测系统
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Chen et al. Transformer-based 3d face reconstruction with end-to-end shape-preserved domain transfer
CN114758070B (zh) 基于跨域多任务的单张图像三维人体精细重建方法
Wei et al. GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Zhang et al. Adaptive affine transformation: A simple and effective operation for spatial misaligned image generation
CN115830241A (zh) 一种基于神经网络的真实感三维人脸纹理重建方法
CN115496862A (zh) 基于spin模型的实时三维重建方法和系统
Wu et al. [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology
CN117975525A (zh) 一种基于无监督的三维人脸模型的重建系统与方法
CN101510317A (zh) 一种三维卡通人脸生成方法及装置
CN115908712A (zh) 基于图像的三维重建及模型训练方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination