CN113077543A - 一种基于3dmm和gan的人脸图像生成方法 - Google Patents

一种基于3dmm和gan的人脸图像生成方法 Download PDF

Info

Publication number
CN113077543A
CN113077543A CN202110263468.XA CN202110263468A CN113077543A CN 113077543 A CN113077543 A CN 113077543A CN 202110263468 A CN202110263468 A CN 202110263468A CN 113077543 A CN113077543 A CN 113077543A
Authority
CN
China
Prior art keywords
face
data set
image
vector
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110263468.XA
Other languages
English (en)
Inventor
朱剑宇
方建安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202110263468.XA priority Critical patent/CN113077543A/zh
Publication of CN113077543A publication Critical patent/CN113077543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：制作2D人脸数据集；利用3DMM将2D人脸数据集中的人脸图像进行三维重建；利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；利用生成对抗网络对人脸关键点数据集进行训练；根据训练好的人脸关键点数据集进行人脸图像重建。本发明可提高人脸图像的生成质量和精度。本发明提供的方法引入PCA算法和生成对抗网络的思想，使用PCA算法对三维人脸数据模型提取关键点，再利用生成对抗网络中的判别器和生成器不断博弈，对模型进行训练，从而生成分布较好的数据集，最后进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。

Description

一种基于3DMM和GAN的人脸图像生成方法
技术领域
本发明涉及一种通过3DMM和GAN来生成高质量人脸图像的方法，属于计算机视觉技术领域。
背景技术
人脸图像是日常生活中较为常见的数据类型，它在各个应用场景都发挥着重要的作用。随着这些年生成对抗网络(GAN)的不断发展和突破，人脸图像生成技术在人脸图像处理领域的作用越来越明显。虽然现在图像生成技术发展迅速，可以生成高分辨率的人脸图像，但是还存在一些问题，例如可操控性较差、人脸细节较差、参数量大等。
3DMM是三维可变形人脸模型，是一种基于图像的人脸三维重建方法。它是一个通用的三维人脸模型，用固定的点数来表示人脸。它的核心思想是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。至今为止，3DMM模型已经有超过20年的历史，技术已经发展到从早期基于传统的优化方法到如今基于深度学习模型的系数回归。不过当前的3DMM模型还面临着许多挑战。例如，模型参数空间是一个比较低维的参数空间，并且纹理模型过于简单，导致生成结果过于平均，难以重建人脸皱纹等细节特征。对此，有的方法通过增加局部模型进行了改进，而最新的生成对抗网络技术也开始应用于纹理建模。
发明内容
本发明的目的是：在参数量较小的情况下生成较好的人脸图像，以及解决模型较小时生成人脸图像质量差、模式单一的问题。
为了达到上述目的，本发明的技术方案是提供了一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：
步骤1、制作2D人脸数据集，2D人脸数据集中每个人脸都有n张不同角度的人脸图像，m≥2；
步骤2、利用3DMM将2D人脸数据集中的人脸图像进行三维重建，使对应同一个人脸的m张人脸图像在三维空间中进行一一匹配，建立与当前人脸相对应的3D人脸模型，从而获得人脸数据库，其中，每一个3D人脸模型可以在2D人脸数据集中所有人脸图像组成的基向量空间中进行表示；
步骤3、利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；
步骤4、利用生成对抗网络对人脸关键点数据集进行训练，其中，生成对抗网络由生成器G和判别器D，判别器D用于从真实图和生成图中区分出真实图，生成器G用于生成接近真实的图像以欺骗判别器D；
步骤5、根据训练好的人脸关键点数据集进行人脸图像重建，得到图像细节较好且图像质量较高的人脸图像。
优选地，步骤2中，任意三维人脸模型由2D人脸数据集中的m个人脸模型进行加权组合，m≥2；每一张三维人脸表示为形状向量S＝(X1,Y1,Z1,X2,Y2,Z2,…,Xn,Yn,Zn)和纹理向量T＝(R1，G1，B1，R2，G2，B2，…，Rn，Gn，Bn)的线性叠加，(Xn,Yn，Zn)表示第n张人脸的形状向量在三维空间里的坐标，(Rn,Gn,Bn)表示第n张人脸的纹理向量在三维空间里的坐标。
优选地，所述步骤3包括以下步骤：
步骤301、计算所述人脸数据库中所有三维人脸的形状向量和纹理向量的平均值，中心化人脸数据库；
步骤302、计算形状向量和纹理向量的协方差矩阵，求得形状向量协方差矩阵的特征值α和特征向量si，以及纹理向量的协方差矩阵的特征值β和特征向量ti。
与现有技术相比，本发明具有如下优点：
本发明针对人脸图像生成质量较差的问题，设计了一种基于3DMM和GAN的人脸图像生成方法，可提高人脸图像的生成质量和精度。本发明提供的方法引入PCA算法和生成对抗网络的思想，使用PCA算法对三维人脸数据模型提取关键点，再利用生成对抗网络中的判别器和生成器不断博弈，对模型进行训练，从而生成分布较好的数据集，最后进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。
附图说明
图1为本发明所提方法的主流程图；
图2为人脸图像三维重建的步骤图；
图3为生成对抗网络训练的步骤图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种基于3DMM和GAN的人脸图像生成方法包括以下步骤：
步骤一、制作或收集实验所需的2D人脸数据集，其中的每个人脸都包含三个角度的人脸图像(侧面、上面、下面)。
步骤二、利用3DMM将人脸数据集中的人脸图像进行三维重建，利用每个人脸所对应的三个不同角度的人脸图像建立当前人脸的3D人脸模型，获得人脸数据库。
通过扫描2D人脸数据集来建立3D人脸模型，使人脸可以再三维空间中进行一一匹配。每一个3D人脸模型可以在由一个数据库中所有人脸组成的基向量空间中进行表示。人脸的基本属性包括形状和纹理，每一个3D人脸模型可以表示为S＝(X1,Y1，Z1，X2，Y2,Z2，…,Xn,Yn,Zn)和纹理向量T＝(R1,G1,B1,R2,G2,B2,…,Rn,Gn,Bn)的线性叠加，(Xn,Yn,Zn)表示第n张人脸的形状向量在三维空间里的坐标，(Rn,Gn,Bn)表示第n张人脸的纹理向量在三维空间里的坐标。任意一个3D人脸模型可以由2D人脸数据集中的m个人脸模型进行加权组合(本实施例中，m＝3)，如下所示：
Figure BDA0002971063230000031
Figure BDA0002971063230000032
式中，Smodel、Tmodel为3D人脸模型的形状向量和纹理向量，αi、bi为形状向量及纹理向量的加权系数，Si、Ti是2D人脸数据集中的第i张人脸图像的形状向量和纹理向量。
步骤三、利用主成分分析法(PCA)中心化人脸数据库，得到人脸关键点数据集。
首先计算人脸数据库中形状向量和纹理向量的平均值，中心化人脸数据库。再计算形状向量和纹理向量的协方差矩阵，求得形状向量协方差矩阵和纹理向量协方差矩阵的特征值α、β和特征向量si、ti。以上计算可以转换为：
Figure BDA0002971063230000033
Figure BDA0002971063230000034
其中，
Figure BDA0002971063230000035
是形状向量和纹理向量的平均值，而si都是ti减去各自平均值之后的协方差矩阵的特征向量。等式右边仍然是m项，但是累加项少了一维，减少了一项。si、ti都是线性无关的，取其前几个分量可以对原始样本作很好的近似。基于3DMM的方法都是在求解这几个系数，之后的很多模型都会在此基础上添加表情、光照等系数。
步骤四、制作完人脸关键点数据集后，利用生成对抗网络进行训练。生成对抗网络由两部分组成：生成器G和判别器D。判别器D的目的是从真实图和生成图中区分出真实图。生成器G的目的是生成接近真实的图像以欺骗判别器D。表示为：
Figure BDA0002971063230000041
式中，V(D,G)表示生成对抗网络的目标函数，
Figure BDA0002971063230000042
表示判别器中分布的期望值，
Figure BDA0002971063230000043
表示生成器中分布的期望。判别真假后的结果再反馈给生成器G和判别器D，二者根据反馈的结果再进行改进。
步骤五、根据训练好的人脸关键点数据集，进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。

Claims (3)

1.一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：
步骤1、制作2D人脸数据集，2D人脸数据集中每个人脸都有n张不同角度的人脸图像，m≥2；
步骤2、利用3DMM将2D人脸数据集中的人脸图像进行三维重建，使对应同一个人脸的m张人脸图像在三维空间中进行一一匹配，建立与当前人脸相对应的3D人脸模型，从而获得人脸数据库，其中，每一个3D人脸模型可以在2D人脸数据集中所有人脸图像组成的基向量空间中进行表示；
步骤3、利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；
步骤4、利用生成对抗网络对人脸关键点数据集进行训练，其中，生成对抗网络由生成器G和判别器D，判别器D用于从真实图和生成图中区分出真实图，生成器G用于生成接近真实的图像以欺骗判别器D；
步骤5、根据训练好的人脸关键点数据集进行人脸图像重建，得到图像细节较好且图像质量较高的人脸图像。
2.如权利要求1所述的一种基于3DMM和GAN的人脸图像生成方法，其特征在于，步骤2中，任意三维人脸模型由2D人脸数据集中的m个人脸模型进行加权组合，m≥2；每一张三维人脸表示为形状向量S＝(X1,Y1,Z1,X2，Y2,Z2，…，Xn,Yn,Zn)和纹理向量T＝(R1，G1，B1,R2,G2,B2,…,Rn,Gn,Bn)的线性叠加，(Xn,Yn,Zn)表示第n张人脸的形状向量在三维空间里的坐标，(Rn,Gn,Bn)表示第n张人脸的纹理向量在三维空间里的坐标。
3.如权利要求2所述的一种基于3DMM和GAN的人脸图像生成方法，其特征在于，所述步骤3包括以下步骤：
步骤301、计算所述人脸数据库中所有三维人脸的形状向量和纹理向量的平均值，中心化人脸数据库；
步骤302、计算形状向量和纹理向量的协方差矩阵，求得形状向量协方差矩阵的特征值α和特征向量si，以及纹理向量的协方差矩阵的特征值β和特征向量ti。
CN202110263468.XA 2021-03-11 2021-03-11 一种基于3dmm和gan的人脸图像生成方法 Pending CN113077543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110263468.XA CN113077543A (zh) 2021-03-11 2021-03-11 一种基于3dmm和gan的人脸图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263468.XA CN113077543A (zh) 2021-03-11 2021-03-11 一种基于3dmm和gan的人脸图像生成方法

Publications (1)

Publication Number Publication Date
CN113077543A true CN113077543A (zh) 2021-07-06

Family

ID=76612420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263468.XA Pending CN113077543A (zh) 2021-03-11 2021-03-11 一种基于3dmm和gan的人脸图像生成方法

Country Status (1)

Country Link
CN (1) CN113077543A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN111445548A (zh) * 2020-03-21 2020-07-24 南昌大学 一种基于非配对图像的多视角人脸图像生成方法
KR20200133633A (ko) * 2019-05-20 2020-11-30 아주대학교산학협력단 에지(edge) 이미지으로부터 컬러(color) 이미지를 생성하기 위한 GAN(generative adversarial networks) 기반 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285215A (zh) * 2018-08-28 2019-01-29 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
KR20200133633A (ko) * 2019-05-20 2020-11-30 아주대학교산학협력단 에지(edge) 이미지으로부터 컬러(color) 이미지를 생성하기 위한 GAN(generative adversarial networks) 기반 시스템
CN111445548A (zh) * 2020-03-21 2020-07-24 南昌大学 一种基于非配对图像的多视角人脸图像生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XI YIN等: "Towards Large-Pose Face Frontalization in the Wild", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 *
聂鹏鹏: "基于双目立体视觉三维人脸重构及其识别", 《中国优秀博硕士学位论文全文数据库（硕士）-信息科技辑》 *
肖云: "基于3D人脸识别研究的探索", 《电脑知识与技术》 *

Similar Documents

Publication Publication Date Title
Pishchulin et al. Building statistical shape spaces for 3d human modeling
CN114694221B (zh) 基于学习的面部重建方法
CN103649987B (zh) 脸印象分析方法、美容信息提供方法和脸图像生成方法
Seo et al. Synthesizing animatable body models with parameterized shape modifications
Sun et al. Facial age synthesis with label distribution-guided generative adversarial network
Scandrett et al. A person-specific, rigorous aging model of the human face
CN111028319B (zh) 一种基于面部运动单元的三维非真实感表情生成方法
Wang et al. Combining tensor space analysis and active appearance models for aging effect simulation on face images
Duan et al. Craniofacial reconstruction based on multi-linear subspace analysis
CN113361560A (zh) 一种基于语义的多姿势虚拟试衣方法
Clarke et al. Automatic generation of 3D caricatures based on artistic deformation styles
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
Liu et al. Mapping learning in eigenspace for harmonious caricature generation
Tsai et al. Human face aging with guided prediction and detail synthesis
CN111179235A (zh) 图像检测模型的生成方法及装置、应用方法及装置
KR101116838B1 (ko) 개인성향을 반영한 과장표정 생성방법
CN110363833B (zh) 一种基于局部稀疏表示的完全人体运动参数化表示方法
Han et al. Chorus: Learning canonicalized 3d human-object spatial relations from unbounded synthesized images
O'Reilly et al. Pre-trained vs. random weights for calculating fréchet inception distance in medical imaging
Hill et al. Aging the human face-a statistically rigorous approach
CN113538662A (zh) 一种基于rgb数据的单视角三维物体重建方法及装置
CN110543845B (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN113077543A (zh) 一种基于3dmm和gan的人脸图像生成方法
CN115050067B (zh) 人脸表情构建方法、装置、电子设备、存储介质及产品
CN113744129A (zh) 一种基于语义神经渲染的人脸图像生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210706