CN112002009B - 一种基于生成对抗网络的无监督重建三维人脸方法 - Google Patents

一种基于生成对抗网络的无监督重建三维人脸方法 Download PDF

Info

Publication number
CN112002009B
CN112002009B CN202010771403.1A CN202010771403A CN112002009B CN 112002009 B CN112002009 B CN 112002009B CN 202010771403 A CN202010771403 A CN 202010771403A CN 112002009 B CN112002009 B CN 112002009B
Authority
CN
China
Prior art keywords
face
3dmm
generator
dimensional
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010771403.1A
Other languages
English (en)
Other versions
CN112002009A (zh
Inventor
李金龙
张星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010771403.1A priority Critical patent/CN112002009B/zh
Publication of CN112002009A publication Critical patent/CN112002009A/zh
Application granted granted Critical
Publication of CN112002009B publication Critical patent/CN112002009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G06T3/06—

Abstract

本发明提出一种基于生成对抗网络的无监督重建三维人脸方法，包括如下步骤：步骤(1)、利用生成对抗网络(GANs)的对抗过程，使得生成器生成符合真实感人脸顶点分布的3DMM参数；步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合，得到三维人脸网格；步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片，由于神经网络反向传播需要导数的传递，故而使用了一种基于延迟阴影模型的可微光栅化器；步骤(4)、利用身份编码器计算人脸身份特征损失。

Description

一种基于生成对抗网络的无监督重建三维人脸方法
技术领域
本发明涉及人工智能三维人脸重建领域，尤其涉及一种基于生成对抗网络的无监督重建三维人脸方法。
背景技术
随着互联网的快速发展，人脸身份验证几乎渗入人们的生活，如刷脸支付、刷脸门禁、刷脸验票等涉及隐私、财产安全的场合。而三维人脸数据能够更精确的空间辅助信息来提高人脸身份识别系统精确性、安全性及可靠性。目前对于三维人脸重建，已经有一些解决方案，例如CN111354077A提出一种基于双目视觉的三维人脸重建方法，这类方法大多需要借助三维相机、三维深度扫描仪等价格高昂的特殊设备，在实践中难以普及。又如CN111027350A提出一种基于人脸三维重建的改进PCA算法，通过反复调整三维形变模型的基向量参数，使得三维人脸渲染后提取的人脸关键点与输入图片的人脸关键点接近，但这类方法较为依赖人脸关键点的检测结果，在人脸偏离正面角度较大或有遮挡物时，效果较差，且迭代过程耗时也较长。
而基于神经网络来回归三维形变模型参数是最近被提出用于三维人脸重建任务。然而，针对神经网络的训练过程中三维人脸训练数据稀少的问题，多数方法使用合成数据进行训练，但合成数据并不能反映真实世界的复杂度，可见这一问题还未有一个合理的解决方案。
发明内容
为了解决上述技术问题，本发明提出一种基于生成对抗网络的无监督重建三维人脸方法，让生成器对二维人脸图片进行学习，提取三维形变模型(3DMM)的基向量参数，让判别器对3DMM的真实感人脸参数分布进行学习，通过生成器与判别器的对抗训练，使得生成器提取的3DMM参数符合真实感人脸参数分布，进而生成具有真实感人脸顶点分布的三维人脸网格。同时，该方法还提供身份编码器对二维输入图片及三维人脸网格渲染后的图片提取身份特征向量，通过最小化两向量间的距离使得生成的三维人脸网格保持输入人脸的身份特征。
本发明的技术方案如下：一种基于生成对抗网络的无监督重建三维人脸方法，包括如下步骤：
步骤(1)、利用生成对抗网络GANs的对抗过程，使得生成器生成符合真实感人脸顶点分布的三维形变模型3DMM参数；
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合，得到三维人脸网格；
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片，神经网络反向传播需要导数的传递，所述可微分渲染器使用一种基于延迟阴影模型的可微光栅化器；
步骤(4)、利用身份编码器计算人脸身份特征损失。
进一步的，所述步骤(1)具体包括：
(1.1)利用生成器从人脸图片中学习回归3DMM参数；
(1.2)利用判别器对3DMM的真实感人脸参数分布进行学习；
(1.3)利用生成器和判别器进行对抗生成学习。
进一步的，所述步骤(2)具体包括：
一张新的人脸由两组基向量线性组合表示，表示公式如下：
Figure BDA0002616747580000021
Figure BDA0002616747580000022
S、T分别表示最终形成的三维网格中N个顶点的位置属性及颜色属性；其中，
Figure BDA0002616747580000023
分别是200个实验对象对N个顶点的位置属性及颜色属性求平均值
Figure BDA0002616747580000024
分别是PCA作用后形成的存储了N个顶点位置属性及颜色属性的位置基向量及颜色基向量,通过公开的3DMM数据库Basel Face Model获得；αi，βi分别是位置基向量si及颜色基向量ti的系数；故而，利用生成器生成的3DMM参数α＝(α1，α2，…，α199)，β＝(β1，β2，…，β199)，得到神经网络依据输入图片预测的三维人脸网格。
进一步的，所述步骤(3)具体包括：
3.1)使用Phong光照模型对每个顶点的颜色做处理，训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射，并从普通室内和室外光源的近似中选择每个训练图像的随机色温，并扰动颜色以避免过度拟合；最后，由于Basel模型不包含镜面颜色信息，使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks：Ks＝c-cKd,常数c在0到1之间；
3.2)将三维人脸网格投影至屏幕空间缓冲区，光栅化器在屏幕空间缓存区存储每个像素处包含的三维人脸网格中的三角面片id和重心坐标的屏幕空间缓冲区，光栅化过后，使用重心坐标和id在像素处插值每个顶点的属性，在反向求导时，光栅化导数是根据重心坐标计算的，而不是三角形id。
进一步的，所述步骤(4)具体包括：
4.1)利用身份编码器对输入图片的人脸及由步骤(3)渲染得到的二维人脸分别提取身份特征向量,采取预训练过的人脸识别网络FaceNet作为身份编码器，FaceNet利用DNN从原始图片学习到欧氏距离空间的映射，故而图像在欧式空间里的距离与人脸相似度关联；
4.2)计算身份特征损失,采用下式来衡量两张人脸的相似度：
Figure BDA0002616747580000031
其中，
Figure BDA0002616747580000032
别表示FaceNet从输入人脸照片及其对应的三维人脸网格渲染后的图片中提取出来的身份特征向量；当两张人脸越相似，则FaceNet提取出来的两个身份特征向量
Figure BDA0002616747580000033
的cosine分数就越接近1；通过最小化身份特诊损失函数，使得渲染后的人脸身份特征接近输入图片的人脸特征，进而迫使重建三维人脸网格具有输入图片的人脸特征。
进一步的，所述步骤(1.3)利用生成器和判别器进行对抗生成学习具体包括：
三维人脸重建的目标之一在于使得生成器回归得出的3DMM参数服从真实人脸3DMM参数分布，该目标是由GANs的min-max对抗过程实现的，目标函数如下所示：
Figure BDA0002616747580000034
其中，x～pdata(x)表示x取样于人脸图像数据分布；y～p3DMM(y)表示y取样于真实人脸3DMM参数分布p3DMM(y)；G(·)代表生成器的回归过程，即生成器根据输入的人脸图片x回归得到的3DMM参数
Figure BDA0002616747580000035
D(·)代表判别器的判别过程，即判别器给出的对于某样本取样于真实人脸3DMM参数分布而不是生成器回归结果的概率；
GANs一共包含两个交叉训练阶段：第一阶段固定生成器G，训练判别器D，该阶段中D的目标是最大化LGANs(G，D)；第二阶段固定判别器D，训练生成器G，该阶段中G的目标是最小化LGANs(G，D)；在这样的交叉训练框架下，最终，生成器学习到如何生成服从真实人脸3DMM参数分布的3DMM参数。
有益效果：
本发明提供了一种基于生成对抗网络的无监督重建三维人脸方法，可以使得重建的三维人脸网格即符合真实感人脸顶点分布，又能保持输入人脸的身份特征信息，从而在实践上取得较好的重建人脸效果。
附图说明
图1GANs网络学习流程示意图；
图2残差块ResBlock结构；
图3本发明生成器网络结构；
图4本发明判别器网络结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
根据本发明的一个实施例，一种基于生成对抗网络的无监督重建三维人脸方法包括如下步骤：
步骤(1)、利用生成对抗网络(GANs)的对抗过程，使得生成器生成符合真实感人脸顶点分布的3DMM参数；
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合，得到三维人脸网格；
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片，由于神经网络反向传播需要导数的传递，故而使用了一种基于延迟阴影模型的可微光栅化器；
步骤(4)、利用身份编码器计算人脸身份特征损失。
该方法的流程图参见图1所示。具体的详细步骤如下：
步骤(1)利用生成对抗网络的对抗过程回归3DMM参数，具体包括以下步骤：
1.1)利用生成器从人脸图片中学习回归398个对应于3DMM提供的PCA正交基向量的系数。
构建一个具有50层的残差层的深度神经网络作为生成器，为了提升深度学习的训练效果，引入了Resnet残差块思想，残差块结构如图2所示。残差块结构中，x是上一层输入，F(x)是经过三层卷积层学习得到的特征，x identity表示将输入x也作为学习得到的特征，最后的输出是F(x)和x的叠加结果，由于梯度可以从F(x)和x identity这两条支路进行传播，从而解决了随着网络的层数加深，梯度消失的现象。最终生成器的网络结构如图3所示，是仿造Resnet50并将最后一层1024-D全连接层改为398-D全连接层。其中，x是输入的人脸图片，
Figure BDA0002616747580000055
是生成器回归得到的398个3DMM参数。
1.2)利用判别器对3DMM的真实感人脸参数分布进行学习。
由于判别器的输入仅一维，故而采用3层全连接层对生成器的回归结果是否符合真实人脸3DMM参数分布进行判断，判别器的网络结构如图4所示。对于判别器来说，输入共两类，均为398维向量
Figure BDA0002616747580000051
其中，y是从符合真实感人脸3DMM参数分布中取样而得，而
Figure BDA0002616747580000052
是由回归得到的398个3DMM参数。对应地，判别器的输出也为两类，0，1分别代表判别器判断输入是来自于生成器回归结果还是从符合真实感人脸3DMM参数分布中取样的结果。
1.3)利用生成器和判别器进行对抗生成学习。
三维人脸重建的目标之一在于使得生成器回归得出的3DMM参数服从真实人脸3DMM参数分布，该目标是由GANs的min-max对抗过程实现的，目标函数如下所示：
Figure BDA0002616747580000053
其中，x～pdata(x)表示x取样于人脸图像数据分布；y～p3DMM(y)表示y取样于真实人脸3DMM参数分布p3DMM(y)；G(·)代表生成器的回归过程，即生成器根据输入的人脸图片x回归得到的3DMM参数
Figure BDA0002616747580000054
D(·)代表判别器的判别过程，即判别器给出的对于某样本取样于真实人脸3DMM参数分布而不是生成器回归结果的概率。
GANs一共包含两个交叉训练阶段：第一阶段固定生成器G，训练判别器D，该阶段中D的目标是最大化LGANs(G，D)，如此，D可以在样本来源于真实人脸3DMM参数分布时给出一个较大概率，在样本来源于生成器G时给出一个较小的概率；第二阶段固定判别器D，训练生成器G，该阶段中G的目标是最小化LGANs(G，D)，以使得当样本来源于生成器G时D能给出一个较大的概率。在这样的交叉训练框架下，最终，生成器可以学习到如何生成服从真实人脸3DMM参数分布的398个3DMM参数。
步骤(2)利用3DMM得到三维人脸网格：
3DMM是基于200位实验对象的脸部激光扫描数据集而形成的一个数理统计模型，它利用PCA技术提供了一组位置基向量及一组颜色基向量，于是，一张新的人脸就可以由这两组基向量线性组合表示，表示公式如下：
Figure BDA0002616747580000061
S表示三维网格中每个顶点笛卡尔坐标系下的位置信息，即(x,y,z)，T表示三维网格中每个顶点RGB空间下的颜色信息，即(r,g,b)。
其中，
Figure BDA0002616747580000062
分别是200个实验对象对N＝53，149个顶点的xyz位置属性及rgb颜色属性求平均值；
Figure BDA0002616747580000063
分别是PCA作用后形成的存储了N个顶点位置属性及颜色属性的位置基向量及颜色基向量,可通过公开的3DMM数据库Basel Face Model获得；αi，βi分别是位置基向量si及颜色基向量ti的系数。故而，利用生成器生成的3DMM参数α＝(α1，α2，…，α199)，β＝(β1，β2，…，β199)，可以得到神经网络依据输入图片预测的三维人脸网格。
步骤(3)用可微分渲染器将三维人脸网格渲染至二维图片，包含以下步骤：
3.1)使用Phong光照模型对每个顶点的颜色做处理。因为人脸表现出镜面光照，Phong反射模型比在漫反射更有真实感。为了产生适当的均匀照明，训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射，并从普通室内和室外光源的近似中选择每个训练图像的随机色温，并扰动颜色以避免过度拟合。最后，由于Basel模型不包含镜面颜色信息，使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks：Ks＝c-cKd(常数c在0到1之间)；
3.2)将三维人脸网格投影至屏幕空间缓冲区。光栅化器在屏幕空间缓存区存储每个像素处包含的三维人脸网格中的三角面片id和重心坐标的屏幕空间缓冲区。光栅化过后，使用重心坐标和id在像素处插值每个顶点的属性，如颜色和法线。在反向求导时，光栅化导数是根据重心坐标计算的，而不是三角形id。
步骤(4)利用身份编码器计算人脸身份特征损失，包含以下步骤：
4.1)利用身份编码器对输入图片的人脸及由步骤(3)渲染得到的二维人脸分别提取身份特征向量。由于身份编码器在这一过程中使用的是其结果，故而采取预训练过的人脸识别网络FaceNet作为身份编码器，FaceNet主要利用DNN从原始图片学习到欧氏距离空间的映射，故而图像在欧式空间里的距离与人脸相似度关联；
4.2)计算身份特征损失。在欧式空间中，无论表情、姿势、或者照明条件如何，FaceNet对于同一人的两张照片提取的身份特征向量之间的距离要比从两个不同的人的照片提取的身份特征向量之间的距离要更加接近。故而采用下式来衡量两张人脸的相似度：
Figure BDA0002616747580000071
其中，f，
Figure BDA0002616747580000072
分别表示FaceNet从输入人脸照片及其对应的三维人脸网格渲染后的图片中提取出来的身份特征向量。当两张人脸越相似，则FaceNet提取出来的两个身份特征向量f，
Figure BDA0002616747580000073
的cosine分数就越接近1。通过最小化身份特诊损失函数，可以使得渲染后的人脸身份特征接近输入图片的人脸特征，进而迫使重建三维人脸网格具有输入图片的人脸特征。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，包括如下步骤：
步骤(1)、利用生成对抗网络GANs的对抗过程，使得生成器生成符合真实感人脸顶点分布的三维形变模型3DMM参数；所述步骤(1)具体包括：
(1.1)利用生成器从人脸图片中学习回归3DMM参数；
(1.2)利用判别器对3DMM的真实感人脸参数分布进行学习；
(1.3)利用生成器和判别器进行对抗生成学习；
所述步骤(1.3)利用生成器和判别器进行对抗生成学习具体包括：
三维人脸重建的目标之一在于使得生成器回归得出的3DMM参数服从真实人脸3DMM参数分布，该目标是由GANs的min-max对抗过程实现的，目标函数如下所示：
Figure FDA0003816449200000011
其中，x～pdata(x)表示x取样于人脸图像数据分布；y～p3DMM(y)表示y取样于真实人脸3DMM参数分布p3DMM(y)；G(·)代表生成器的回归过程，即生成器根据输入的人脸图片x回归得到的3DMM参数
Figure FDA0003816449200000013
D(·)代表判别器的判别过程，即判别器给出的对于某样本取样于真实人脸3DMM参数分布而不是生成器回归结果的概率；
GANs一共包含两个交叉训练阶段：第一阶段固定生成器G，训练判别器D，该阶段中D的目标是最大化LGANs(G,D)；第二阶段固定判别器D，训练生成器G，该阶段中G的目标是最小化LGANs(G,D)；在这样的交叉训练框架下，最终，生成器学习到如何生成服从真实人脸3DMM参数分布的3DMM参数；
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合，得到三维人脸网格；
所述步骤(2)具体包括：
一张新的人脸由两组基向量线性组合表示，表示公式如下：
Figure FDA0003816449200000012
Figure FDA0003816449200000021
S、T分别表示最终形成的三维网格中N个顶点的位置属性及颜色属性；其中，
Figure FDA0003816449200000022
分别是200个实验对象对N个顶点的位置属性及颜色属性求平均值
Figure FDA0003816449200000023
分别是PCA作用后形成的存储了N个顶点位置属性及颜色属性的位置基向量及颜色基向量,通过公开的3DMM数据库BaselFaceModel获得；αi,βi分别是位置基向量si及颜色基向量ti的系数；故而，利用生成器生成的3DMM参数α＝(α1,α2,…,α199),β＝(β1,β2,…,β199)，得到神经网络依据输入图片预测的三维人脸网格；
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片，神经网络反向传播需要导数的传递，所述可微分渲染器使用一种基于延迟阴影模型的可微光栅化器；
步骤(4)、利用身份编码器计算人脸身份特征损失；
所述步骤(4)具体包括：
4.1)利用身份编码器对输入图片的人脸及由步骤(3)渲染得到的二维人脸分别提取身份特征向量,采取预训练过的人脸识别网络FaceNet作为身份编码器，FaceNet利用DNN从原始图片学习到欧氏距离空间的映射，故而图像在欧式空间里的距离与人脸相似度关联；
4.2)计算身份特征损失,采用下式来衡量两张人脸的相似度：
Figure FDA0003816449200000024
其中，f,
Figure FDA0003816449200000025
分别表示FaceNet从输入人脸照片及其对应的三维人脸网格渲染后的图片中提取出来的身份特征向量；当两张人脸越相似，则FaceNet提取出来的两个身份特征向量f,
Figure FDA0003816449200000026
的cosine分数就越接近1；通过最小化身份特征损失函数，使得渲染后的人脸身份特征接近输入图片的人脸特征，进而迫使重建三维人脸网格具有输入图片的人脸特征。
2.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，所述步骤(3)具体包括：
3.1)使用Phong光照模型对每个顶点的颜色做处理，训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射，并从普通室内和室外光源的近似中选择每个训练图像的随机色温，并扰动颜色以避免过度拟合；最后，由于Basel模型不包含镜面颜色信息，使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks：Ks＝c-cKd,常数c在0到1之间；
3.2)将三维人脸网格投影至屏幕空间缓冲区，光栅化器在屏幕空间缓存区存储每个像素处包含的三维人脸网格中的三角面片id和重心坐标的屏幕空间缓冲区，光栅化过后，使用重心坐标和id在像素处插值每个顶点的属性，在反向求导时，光栅化导数是根据重心坐标计算的，而不是三角面片id。
CN202010771403.1A 2020-08-04 2020-08-04 一种基于生成对抗网络的无监督重建三维人脸方法 Active CN112002009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010771403.1A CN112002009B (zh) 2020-08-04 2020-08-04 一种基于生成对抗网络的无监督重建三维人脸方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010771403.1A CN112002009B (zh) 2020-08-04 2020-08-04 一种基于生成对抗网络的无监督重建三维人脸方法

Publications (2)

Publication Number Publication Date
CN112002009A CN112002009A (zh) 2020-11-27
CN112002009B true CN112002009B (zh) 2022-10-28

Family

ID=73463075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010771403.1A Active CN112002009B (zh) 2020-08-04 2020-08-04 一种基于生成对抗网络的无监督重建三维人脸方法

Country Status (1)

Country Link
CN (1) CN112002009B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581591A (zh) * 2021-01-29 2021-03-30 秒影工场(北京)科技有限公司 一种基于gan和三维模型参数的可调人脸图片生成方法
CN112907730B (zh) * 2021-02-07 2023-03-14 北京理工大学 一种三维点云重建方法、装置和电子设备
CN115171196B (zh) * 2022-08-25 2023-03-28 北京瑞莱智慧科技有限公司 人脸图像处理方法、相关装置及存储介质
CN116704622B (zh) * 2023-06-09 2024-02-02 国网黑龙江省电力有限公司佳木斯供电公司 一种基于重建3d模型的智能机柜人脸识别方法
CN117036620B (zh) * 2023-10-07 2024-03-01 中国科学技术大学 基于单幅图像的三维人脸重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN110619676A (zh) * 2019-09-18 2019-12-27 东北大学 一种基于神经网络的端到端的三维人脸重建方法
CN110706152A (zh) * 2019-09-25 2020-01-17 中山大学 基于生成对抗网络的人脸光照迁移方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
WO2018053703A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Estimating accurate face shape and texture from an image
US10474881B2 (en) * 2017-03-15 2019-11-12 Nec Corporation Video retrieval system based on larger pose face frontalization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN110619676A (zh) * 2019-09-18 2019-12-27 东北大学 一种基于神经网络的端到端的三维人脸重建方法
CN110706152A (zh) * 2019-09-25 2020-01-17 中山大学 基于生成对抗网络的人脸光照迁移方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Conditional adversarial synthesis of 3D facial action units;Zhilei Liu,et al.;《Neurocomputing》;20191231;全文 *
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction;Baris Gecer,et al.;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;全文 *
Refacing: Reconstructing Anonymized Facial Features Using GANS;David Abramian,et al.;《2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)》;20190711;全文 *
三维人脸表示及其应用;吴潜溢.;《中国优秀硕士学位论文全文数据库（电子期刊）》;20190831;全文 *
基于单幅图片的三维人脸重建算法研究;罗尧.;《中国优秀硕士学位论文全文数据库（电子期刊）》;20200731;全文 *

Also Published As

Publication number Publication date
CN112002009A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112002009B (zh) 一种基于生成对抗网络的无监督重建三维人脸方法
Wynn et al. Diffusionerf: Regularizing neural radiance fields with denoising diffusion models
Cao et al. Ancient mural restoration based on a modified generative adversarial network
CN113066171B (zh) 一种基于三维人脸形变模型的人脸图像生成方法
CN111340944A (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN115880720A (zh) 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法
JP2011060289A (ja) 顔画像合成方法及びシステム
Zhu et al. Learning-based inverse rendering of complex indoor scenes with differentiable monte carlo raytracing
CN112686202B (zh) 一种基于3d重建的人头识别方法及系统
Chen et al. Image haze removal by adaptive CycleGAN
Buck et al. Ignorance is bliss: flawed assumptions in simulated ground truth
van Dam et al. Face reconstruction from image sequences for forensic face comparison
Niu et al. Application of artificial intelligence combined with three-dimensional digital technology in the design of complex works of art
CN115546338A (zh) 基于Transformer与生成对抗网络的图像着色方法
CN114494576A (zh) 一种基于隐函数的快速高精度多视点人脸三维重建方法
CN114972937A (zh) 一种基于深度学习的特征点检测与描述子生成方法
Chu et al. Hole-filling framework by combining structural and textural information for the 3D Terracotta Warriors
Rhee et al. Estimating Physically-Based Reflectance Parameters From a Single Image With GAN-Guided CNN
Johnston et al. Single View 3D Point Cloud Reconstruction using Novel View Synthesis and Self-Supervised Depth Estimation
US11308699B2 (en) Method and system for data generation
CN113674346B (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
Cao et al. A generative adversarial network model fused with a self‐attention mechanism for the super‐resolution reconstruction of ancient murals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant