CN112002009A - 一种基于生成对抗网络的无监督重建三维人脸方法 - Google Patents
一种基于生成对抗网络的无监督重建三维人脸方法 Download PDFInfo
- Publication number
- CN112002009A CN112002009A CN202010771403.1A CN202010771403A CN112002009A CN 112002009 A CN112002009 A CN 112002009A CN 202010771403 A CN202010771403 A CN 202010771403A CN 112002009 A CN112002009 A CN 112002009A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- 3dmm
- generator
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 claims 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 claims 3
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000001680 brushing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于生成对抗网络的无监督重建三维人脸方法,包括如下步骤:步骤(1)、利用生成对抗网络(GANs)的对抗过程,使得生成器生成符合真实感人脸顶点分布的3DMM参数;步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合,得到三维人脸网格;步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片,由于神经网络反向传播需要导数的传递,故而使用了一种基于延迟阴影模型的可微光栅化器;步骤(4)、利用身份编码器计算人脸身份特征损失。
Description
技术领域
本发明涉及人工智能三维人脸重建领域,尤其涉及一种基于生成对抗网络的无监督重建三维人脸方法。
背景技术
随着互联网的快速发展,人脸身份验证几乎渗入人们的生活,如刷脸支付、刷脸门禁、刷脸验票等涉及隐私、财产安全的场合。而三维人脸数据能够更精确的空间辅助信息来提高人脸身份识别系统精确性、安全性及可靠性。目前对于三维人脸重建,已经有一些解决方案,例如CN111354077A提出一种基于双目视觉的三维人脸重建方法,这类方法大多需要借助三维相机、三维深度扫描仪等价格高昂的特殊设备,在实践中难以普及。又如CN111027350A提出一种基于人脸三维重建的改进PCA算法,通过反复调整三维形变模型的基向量参数,使得三维人脸渲染后提取的人脸关键点与输入图片的人脸关键点接近,但这类方法较为依赖人脸关键点的检测结果,在人脸偏离正面角度较大或有遮挡物时,效果较差,且迭代过程耗时也较长。
而基于神经网络来回归三维形变模型参数是最近被提出用于三维人脸重建任务。然而,针对神经网络的训练过程中三维人脸训练数据稀少的问题,多数方法使用合成数据进行训练,但合成数据并不能反映真实世界的复杂度,可见这一问题还未有一个合理的解决方案。
发明内容
为了解决上述技术问题,本发明提出一种基于生成对抗网络的无监督重建三维人脸方法,让生成器对二维人脸图片进行学习,提取三维形变模型(3DMM)的基向量参数,让判别器对3DMM的真实感人脸参数分布进行学习,通过生成器与判别器的对抗训练,使得生成器提取的3DMM参数符合真实感人脸参数分布,进而生成具有真实感人脸顶点分布的三维人脸网格。同时,该方法还提供身份编码器对二维输入图片及三维人脸网格渲染后的图片提取身份特征向量,通过最小化两向量间的距离使得生成的三维人脸网格保持输入人脸的身份特征。
本发明的技术方案如下:一种基于生成对抗网络的无监督重建三维人脸方法,包括如下步骤:
步骤(1)、利用生成对抗网络GANs的对抗过程,使得生成器生成符合真实感人脸顶点分布的三维形变模型3DMM参数;
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合,得到三维人脸网格;
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片,神经网络反向传播需要导数的传递,所述可微分渲染器使用一种基于延迟阴影模型的可微光栅化器;
步骤(4)、利用身份编码器计算人脸身份特征损失。
进一步的,所述步骤(1)具体包括:
(1.1)利用生成器从人脸图片中学习回归3DMM参数;
(1.2)利用判别器对3DMM的真实感人脸参数分布进行学习;
(1.3)利用生成器和判别器进行对抗生成学习。
进一步的,所述步骤(2)具体包括:
一张新的人脸由两组基向量线性组合表示,表示公式如下:
S、T分别表示最终形成的三维网格中N个顶点的位置属性及颜色属性;其中,分别是200个实验对象对N个顶点的位置属性及颜色属性求平均值分别是PCA作用后形成的存储了N个顶点位置属性及颜色属性的位置基向量及颜色基向量,通过公开的3DMM数据库Basel Face Model获得;αi,βi分别是位置基向量si及颜色基向量ti的系数;故而,利用生成器生成的3DMM参数α=(α1,α2,…,α199),β=(β1,β2,…,β199),得到神经网络依据输入图片预测的三维人脸网格。
进一步的,所述步骤(3)具体包括:
3.1)使用Phong光照模型对每个顶点的颜色做处理,训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射,并从普通室内和室外光源的近似中选择每个训练图像的随机色温,并扰动颜色以避免过度拟合;最后,由于Basel模型不包含镜面颜色信息,使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks:Ks=c-cKd,常数c在0到1之间;
3.2)将三维人脸网格投影至屏幕空间缓冲区,光栅化器在屏幕空间缓存区存储每个像素处包含的三维人脸网格中的三角面片id和重心坐标的屏幕空间缓冲区,光栅化过后,使用重心坐标和id在像素处插值每个顶点的属性,在反向求导时,光栅化导数是根据重心坐标计算的,而不是三角形id。
进一步的,所述步骤(4)具体包括:
4.1)利用身份编码器对输入图片的人脸及由步骤(3)渲染得到的二维人脸分别提取身份特征向量,采取预训练过的人脸识别网络FaceNet作为身份编码器,FaceNet利用DNN从原始图片学习到欧氏距离空间的映射,故而图像在欧式空间里的距离与人脸相似度关联;
4.2)计算身份特征损失,采用下式来衡量两张人脸的相似度:
其中,别表示FaceNet从输入人脸照片及其对应的三维人脸网格渲染后的图片中提取出来的身份特征向量;当两张人脸越相似,则FaceNet提取出来的两个身份特征向量的cosine分数就越接近1;通过最小化身份特诊损失函数,使得渲染后的人脸身份特征接近输入图片的人脸特征,进而迫使重建三维人脸网格具有输入图片的人脸特征。
进一步的,所述步骤(1.3)利用生成器和判别器进行对抗生成学习具体包括:
三维人脸重建的目标之一在于使得生成器回归得出的3DMM参数服从真实人脸3DMM参数分布,该目标是由GANs的min-max对抗过程实现的,目标函数如下所示:
其中,x~pdata(x)表示x取样于人脸图像数据分布;y~p3DMM(y)表示y取样于真实人脸3DMM参数分布p3DMM(y);G(·)代表生成器的回归过程,即生成器根据输入的人脸图片x回归得到的3DMM参数D(·)代表判别器的判别过程,即判别器给出的对于某样本取样于真实人脸3DMM参数分布而不是生成器回归结果的概率;
GANs一共包含两个交叉训练阶段:第一阶段固定生成器G,训练判别器D,该阶段中D的目标是最大化LGANs(G,D);第二阶段固定判别器D,训练生成器G,该阶段中G的目标是最小化LGANs(G,D);在这样的交叉训练框架下,最终,生成器学习到如何生成服从真实人脸3DMM参数分布的3DMM参数。
有益效果:
本发明提供了一种基于生成对抗网络的无监督重建三维人脸方法,可以使得重建的三维人脸网格即符合真实感人脸顶点分布,又能保持输入人脸的身份特征信息,从而在实践上取得较好的重建人脸效果。
附图说明
图1GANs网络学习流程示意图;
图2残差块ResBlock结构;
图3本发明生成器网络结构;
图4本发明判别器网络结构。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅为本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
根据本发明的一个实施例,一种基于生成对抗网络的无监督重建三维人脸方法包括如下步骤:
步骤(1)、利用生成对抗网络(GANs)的对抗过程,使得生成器生成符合真实感人脸顶点分布的3DMM参数;
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合,得到三维人脸网格;
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片,由于神经网络反向传播需要导数的传递,故而使用了一种基于延迟阴影模型的可微光栅化器;
步骤(4)、利用身份编码器计算人脸身份特征损失。
该方法的流程图参见图1所示。具体的详细步骤如下:
步骤(1)利用生成对抗网络的对抗过程回归3DMM参数,具体包括以下步骤:
1.1)利用生成器从人脸图片中学习回归398个对应于3DMM提供的PCA正交基向量的系数。
构建一个具有50层的残差层的深度神经网络作为生成器,为了提升深度学习的训练效果,引入了Resnet残差块思想,残差块结构如图2所示。残差块结构中,x是上一层输入,F(x)是经过三层卷积层学习得到的特征,x identity表示将输入x也作为学习得到的特征,最后的输出是F(x)和x的叠加结果,由于梯度可以从F(x)和x identity这两条支路进行传播,从而解决了随着网络的层数加深,梯度消失的现象。最终生成器的网络结构如图3所示,是仿造Resnet50并将最后一层1024-D全连接层改为398-D全连接层。其中,x是输入的人脸图片,是生成器回归得到的398个3DMM参数。
1.2)利用判别器对3DMM的真实感人脸参数分布进行学习。
由于判别器的输入仅一维,故而采用3层全连接层对生成器的回归结果是否符合真实人脸3DMM参数分布进行判断,判别器的网络结构如图4所示。对于判别器来说,输入共两类,均为398维向量其中,y是从符合真实感人脸3DMM参数分布中取样而得,而是由回归得到的398个3DMM参数。对应地,判别器的输出也为两类,0,1分别代表判别器判断输入是来自于生成器回归结果还是从符合真实感人脸3DMM参数分布中取样的结果。
1.3)利用生成器和判别器进行对抗生成学习。
三维人脸重建的目标之一在于使得生成器回归得出的3DMM参数服从真实人脸3DMM参数分布,该目标是由GANs的min-max对抗过程实现的,目标函数如下所示:
其中,x~pdata(x)表示x取样于人脸图像数据分布;y~p3DMM(y)表示y取样于真实人脸3DMM参数分布p3DMM(y);G(·)代表生成器的回归过程,即生成器根据输入的人脸图片x回归得到的3DMM参数D(·)代表判别器的判别过程,即判别器给出的对于某样本取样于真实人脸3DMM参数分布而不是生成器回归结果的概率。
GANs一共包含两个交叉训练阶段:第一阶段固定生成器G,训练判别器D,该阶段中D的目标是最大化LGANs(G,D),如此,D可以在样本来源于真实人脸3DMM参数分布时给出一个较大概率,在样本来源于生成器G时给出一个较小的概率;第二阶段固定判别器D,训练生成器G,该阶段中G的目标是最小化LGANs(G,D),以使得当样本来源于生成器G时D能给出一个较大的概率。在这样的交叉训练框架下,最终,生成器可以学习到如何生成服从真实人脸3DMM参数分布的398个3DMM参数。
步骤(2)利用3DMM得到三维人脸网格:
3DMM是基于200位实验对象的脸部激光扫描数据集而形成的一个数理统计模型,它利用PCA技术提供了一组位置基向量及一组颜色基向量,于是,一张新的人脸就可以由这两组基向量线性组合表示,表示公式如下:
其中,分别是200个实验对象对N=53,149个顶点的xyz位置属性及rgb颜色属性求平均值;分别是PCA作用后形成的存储了N个顶点位置属性及颜色属性的位置基向量及颜色基向量,可通过公开的3DMM数据库Basel Face Model获得;αi,βi分别是位置基向量si及颜色基向量ti的系数。故而,利用生成器生成的3DMM参数α=(α1,α2,…,α199),β=(β1,β2,…,β199),可以得到神经网络依据输入图片预测的三维人脸网格。
步骤(3)用可微分渲染器将三维人脸网格渲染至二维图片,包含以下步骤:
3.1)使用Phong光照模型对每个顶点的颜色做处理。因为人脸表现出镜面光照,Phong反射模型比在漫反射更有真实感。为了产生适当的均匀照明,训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射,并从普通室内和室外光源的近似中选择每个训练图像的随机色温,并扰动颜色以避免过度拟合。最后,由于Basel模型不包含镜面颜色信息,使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks:Ks=c-cKd(常数c在0到1之间);
3.2)将三维人脸网格投影至屏幕空间缓冲区。光栅化器在屏幕空间缓存区存储每个像素处包含的三维人脸网格中的三角面片id和重心坐标的屏幕空间缓冲区。光栅化过后,使用重心坐标和id在像素处插值每个顶点的属性,如颜色和法线。在反向求导时,光栅化导数是根据重心坐标计算的,而不是三角形id。
步骤(4)利用身份编码器计算人脸身份特征损失,包含以下步骤:
4.1)利用身份编码器对输入图片的人脸及由步骤(3)渲染得到的二维人脸分别提取身份特征向量。由于身份编码器在这一过程中使用的是其结果,故而采取预训练过的人脸识别网络FaceNet作为身份编码器,FaceNet主要利用DNN从原始图片学习到欧氏距离空间的映射,故而图像在欧式空间里的距离与人脸相似度关联;
4.2)计算身份特征损失。在欧式空间中,无论表情、姿势、或者照明条件如何,FaceNet对于同一人的两张照片提取的身份特征向量之间的距离要比从两个不同的人的照片提取的身份特征向量之间的距离要更加接近。故而采用下式来衡量两张人脸的相似度:
其中,f,分别表示FaceNet从输入人脸照片及其对应的三维人脸网格渲染后的图片中提取出来的身份特征向量。当两张人脸越相似,则FaceNet提取出来的两个身份特征向量f,的cosine分数就越接近1。通过最小化身份特诊损失函数,可以使得渲染后的人脸身份特征接近输入图片的人脸特征,进而迫使重建三维人脸网格具有输入图片的人脸特征。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,且应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (6)
1.一种基于生成对抗网络的无监督重建三维人脸方法,其特征在于,包括如下步骤:
步骤(1)、利用生成对抗网络GANs的对抗过程,使得生成器生成符合真实感人脸顶点分布的三维形变模型3DMM参数;
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合,得到三维人脸网格;
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片,神经网络反向传播需要导数的传递,所述可微分渲染器使用一种基于延迟阴影模型的可微光栅化器;
步骤(4)、利用身份编码器计算人脸身份特征损失。
2.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法,其特征在于,所述步骤(1)具体包括:
(1.1)利用生成器从人脸图片中学习回归3DMM参数;
(1.2)利用判别器对3DMM的真实感人脸参数分布进行学习;
(1.3)利用生成器和判别器进行对抗生成学习。
3.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法,其特征在于,所述步骤(2)具体包括:
一张新的人脸由两组基向量线性组合表示,表示公式如下:
4.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法,其特征在于,所述步骤(3)具体包括:
3.1)使用Phong光照模型对每个顶点的颜色做处理,训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射,并从普通室内和室外光源的近似中选择每个训练图像的随机色温,并扰动颜色以避免过度拟合;最后,由于Basel模型不包含镜面颜色信息,使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks:Ks=c-cKd,常数c在0到1之间;
3.2)将三维人脸网格投影至屏幕空间缓冲区,光栅化器在屏幕空间缓存区存储每个像素处包含的三维人脸网格中的三角面片id和重心坐标的屏幕空间缓冲区,光栅化过后,使用重心坐标和id在像素处插值每个顶点的属性,在反向求导时,光栅化导数是根据重心坐标计算的,而不是三角形id。
5.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法,其特征在于,所述步骤(4)具体包括:
4.1)利用身份编码器对输入图片的人脸及由步骤(3)渲染得到的二维人脸分别提取身份特征向量,采取预训练过的人脸识别网络FaceNet作为身份编码器,FaceNet利用DNN从原始图片学习到欧氏距离空间的映射,故而图像在欧式空间里的距离与人脸相似度关联;
4.2)计算身份特征损失,采用下式来衡量两张人脸的相似度:
6.根据权利要求2述的一种基于生成对抗网络的无监督重建三维人脸方法,其特征在于,所述步骤(1.3)利用生成器和判别器进行对抗生成学习具体包括:
三维人脸重建的目标之一在于使得生成器回归得出的3DMM参数服从真实人脸3DMM参数分布,该目标是由GANs的min-max对抗过程实现的,目标函数如下所示:
其中,x~pdata(x)表示x取样于人脸图像数据分布;y~p3DMM(y)表示y取样于真实人脸3DMM参数分布p3DMM(y);G(·)代表生成器的回归过程,即生成器根据输入的人脸图片x回归得到的3DMM参数D(·)代表判别器的判别过程,即判别器给出的对于某样本取样于真实人脸3DMM参数分布而不是生成器回归结果的概率;
GANs一共包含两个交叉训练阶段:第一阶段固定生成器G,训练判别器D,该阶段中D的目标是最大化LGANs(G,D);第二阶段固定判别器D,训练生成器G,该阶段中G的目标是最小化LGANs(G,D);在这样的交叉训练框架下,最终,生成器学习到如何生成服从真实人脸3DMM参数分布的3DMM参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010771403.1A CN112002009B (zh) | 2020-08-04 | 2020-08-04 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010771403.1A CN112002009B (zh) | 2020-08-04 | 2020-08-04 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112002009A true CN112002009A (zh) | 2020-11-27 |
CN112002009B CN112002009B (zh) | 2022-10-28 |
Family
ID=73463075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010771403.1A Active CN112002009B (zh) | 2020-08-04 | 2020-08-04 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112002009B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581591A (zh) * | 2021-01-29 | 2021-03-30 | 秒影工场(北京)科技有限公司 | 一种基于gan和三维模型参数的可调人脸图片生成方法 |
CN112907730A (zh) * | 2021-02-07 | 2021-06-04 | 北京理工大学 | 一种三维点云重建方法、装置和电子设备 |
CN115171196A (zh) * | 2022-08-25 | 2022-10-11 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
CN116704622A (zh) * | 2023-06-09 | 2023-09-05 | 国网黑龙江省电力有限公司佳木斯供电公司 | 一种基于重建3d模型的智能机柜人脸识别方法 |
CN117036620A (zh) * | 2023-10-07 | 2023-11-10 | 中国科学技术大学 | 基于单幅图像的三维人脸重建方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070031028A1 (en) * | 2005-06-20 | 2007-02-08 | Thomas Vetter | Estimating 3d shape and texture of a 3d object based on a 2d image of the 3d object |
US20180268201A1 (en) * | 2017-03-15 | 2018-09-20 | Nec Laboratories America, Inc. | Face recognition using larger pose face frontalization |
CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
GB201902067D0 (en) * | 2019-02-14 | 2019-04-03 | Facesoft Ltd | 3D Face reconstruction system and method |
CN109903363A (zh) * | 2019-01-31 | 2019-06-18 | 天津大学 | 条件生成对抗网络三维人脸表情运动单元合成方法 |
US20190228556A1 (en) * | 2016-09-21 | 2019-07-25 | Intel Corporation | Estimating accurate face shape and texture from an image |
CN110428491A (zh) * | 2019-06-24 | 2019-11-08 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
-
2020
- 2020-08-04 CN CN202010771403.1A patent/CN112002009B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070031028A1 (en) * | 2005-06-20 | 2007-02-08 | Thomas Vetter | Estimating 3d shape and texture of a 3d object based on a 2d image of the 3d object |
US20190228556A1 (en) * | 2016-09-21 | 2019-07-25 | Intel Corporation | Estimating accurate face shape and texture from an image |
US20180268201A1 (en) * | 2017-03-15 | 2018-09-20 | Nec Laboratories America, Inc. | Face recognition using larger pose face frontalization |
CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
CN109903363A (zh) * | 2019-01-31 | 2019-06-18 | 天津大学 | 条件生成对抗网络三维人脸表情运动单元合成方法 |
GB201902067D0 (en) * | 2019-02-14 | 2019-04-03 | Facesoft Ltd | 3D Face reconstruction system and method |
CN110428491A (zh) * | 2019-06-24 | 2019-11-08 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
Non-Patent Citations (5)
Title |
---|
BARIS GECER,ET AL.: "GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
DAVID ABRAMIAN,ET AL.: "Refacing: Reconstructing Anonymized Facial Features Using GANS", 《2019 IEEE 16TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2019)》 * |
ZHILEI LIU,ET AL.: "Conditional adversarial synthesis of 3D facial action units", 《NEUROCOMPUTING》 * |
吴潜溢.: "三维人脸表示及其应用", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
罗尧.: "基于单幅图片的三维人脸重建算法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581591A (zh) * | 2021-01-29 | 2021-03-30 | 秒影工场(北京)科技有限公司 | 一种基于gan和三维模型参数的可调人脸图片生成方法 |
CN112907730A (zh) * | 2021-02-07 | 2021-06-04 | 北京理工大学 | 一种三维点云重建方法、装置和电子设备 |
CN112907730B (zh) * | 2021-02-07 | 2023-03-14 | 北京理工大学 | 一种三维点云重建方法、装置和电子设备 |
CN115171196A (zh) * | 2022-08-25 | 2022-10-11 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
CN116704622A (zh) * | 2023-06-09 | 2023-09-05 | 国网黑龙江省电力有限公司佳木斯供电公司 | 一种基于重建3d模型的智能机柜人脸识别方法 |
CN116704622B (zh) * | 2023-06-09 | 2024-02-02 | 国网黑龙江省电力有限公司佳木斯供电公司 | 一种基于重建3d模型的智能机柜人脸识别方法 |
CN117036620A (zh) * | 2023-10-07 | 2023-11-10 | 中国科学技术大学 | 基于单幅图像的三维人脸重建方法 |
CN117036620B (zh) * | 2023-10-07 | 2024-03-01 | 中国科学技术大学 | 基于单幅图像的三维人脸重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112002009B (zh) | 2022-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112002009B (zh) | 一种基于生成对抗网络的无监督重建三维人脸方法 | |
CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
CN113066171B (zh) | 一种基于三维人脸形变模型的人脸图像生成方法 | |
CN110348330A (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
CN108764250B (zh) | 一种运用卷积神经网络提取本质图像的方法 | |
CN111340944A (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
Yao et al. | Multi‐image based photon tracing for interactive global illumination of dynamic scenes | |
CN116416376A (zh) | 一种三维头发的重建方法、系统、电子设备及存储介质 | |
CN115457197A (zh) | 基于素描草图的人脸三维重建模型训练方法、重建方法及装置 | |
CN114972332B (zh) | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
Khilar et al. | 3D image reconstruction: Techniques, applications and challenges | |
JP2011060289A (ja) | 顔画像合成方法及びシステム | |
CN115546338A (zh) | 基于Transformer与生成对抗网络的图像着色方法 | |
CN110717978A (zh) | 基于单张图像的三维头部重建方法 | |
CN112686202B (zh) | 一种基于3d重建的人头识别方法及系统 | |
Mao et al. | NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering | |
CN117830611A (zh) | 目标检测方法、装置及电子设备 | |
CN117253277A (zh) | 真实和合成数据联合进行复杂环境人脸关键点检测的方法 | |
Niu et al. | [Retracted] Application of Artificial Intelligence Combined with Three‐Dimensional Digital Technology in the Design of Complex Works of Art | |
CN116883477A (zh) | 一种单目深度估计方法 | |
CN116228986A (zh) | 一种基于局部到全局补全策略的室内场景光照估计方法 | |
van Dam et al. | Face reconstruction from image sequences for forensic face comparison | |
CN114494576A (zh) | 一种基于隐函数的快速高精度多视点人脸三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |