CN113643392B - 面部生成模型训练方法、面部图像生成方法及装置 - Google Patents
面部生成模型训练方法、面部图像生成方法及装置 Download PDFInfo
- Publication number
- CN113643392B CN113643392B CN202010393156.6A CN202010393156A CN113643392B CN 113643392 B CN113643392 B CN 113643392B CN 202010393156 A CN202010393156 A CN 202010393156A CN 113643392 B CN113643392 B CN 113643392B
- Authority
- CN
- China
- Prior art keywords
- face image
- side face
- generated
- original
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000001815 facial effect Effects 0.000 claims description 40
- 239000000284 extract Substances 0.000 claims description 11
- 230000008485 antagonism Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种面部生成模型训练方法、面部图像生成方法及装置，涉及图像处理技术领域，以解决相关技术中面部生成模型生成的面部图像的真实性较差的问题。该方法包括：获取原始正面面部图像和CG侧面面部图像，原始正面面部图像与CG侧面面部图像为同一对象的面部图像；将原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像；将第一生成侧面面部图像输入判别网络模型，计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失，原始侧面面部图像为CG侧面面部图像的侧面面部信息对应的原始图像；根据对抗损失，调整生成网络模型的参数，得到面部生成模型。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种面部生成模型训练方法、面部图像生成方法及装置。
背景技术
随着图像处理技术的快速发展，面部图像生成技术的应用场景越来越多，例如在虚拟游戏应用程序、人工智能换脸应用程序中，面部图像生成技术均被广泛应用。
目前，面部图像生成技术可以通过面部生成模型生成面部图像。其中，该面部生成模型可以通过采用计算机图形(computer graphics，CG)面部图像，对生成网络模型训练得到。
然而，由于上述面部生成模型的训练样本为CG面部图像，而CG面部图像与真实面部图像可能不是完全对齐的，因此使得该面部生成模型生成的面部图像的真实性较差。
发明内容
本公开提供一种面部生成模型训练方法、面部图像生成方法及装置，以至少解决相关技术中采用现有面部生成模型生成的面部图像的真实性较差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种面部生成模型训练方法，包括：获取原始正面面部图像和CG侧面面部图像；将原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像；将第一生成侧面面部图像输入判别网络模型，计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失；根据对抗损失，调整生成网络模型的参数，得到面部生成模型；其中，原始正面面部图像和原始侧面面部图像为同一对象的面部图像，CG侧面面部图像为原始侧面面部图像的侧面面部信息对应的CG图像。
可选的，本公开实施例中，将原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像的步骤，包括：将原始正面面部图像和CG侧面面部图像输入生成网络模型，提取原始正面面部图像的第一特征信息和CG侧面面部图像的第二特征信息；根据第一特征信息和第二特征信息，生成第一生成侧面面部图像。
可选的，本公开实施例中，第一特征信息包括原始正面面部图像的纹理特征信息；第二特征信息包括：CG侧面面部图像的姿态特征信息和CG侧面面部图像的表情特征信息。
可选的，本公开实施例中，得到第一生成侧面面部图像的步骤之后，得到面部生成模型的步骤之前，还包括：计算第一生成侧面面部图像相对于原始侧面面部图像的图像损失；根据对抗损失，调整生成网络模型的参数，得到面部生成模型的步骤，包括：根据对抗损失和图像损失，调整生成网络模型的参数，得到面部生成模型。
可选的，本公开实施例中，将第一生成侧面面部图像输入判别网络模型的步骤之后，得到面部生成模型的步骤之前，还包括：计算第一生成侧面面部图像相对于原始侧面面部图像的分类损失；根据分类损失，调整判别网络模型的参数，调整参数后的判别网络模型用于计算生成网络模型生成的图像的对抗损失。
可选的，本公开实施例中，获取原始正面面部图像和CG侧面面部图像的步骤，包括：获取原始正面面部图像和原始侧面面部图像；根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像。
可选的，本公开实施例中，根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像的步骤，包括：对原始正面面部图像进行三维重建，得到三维面部模型；计算原始侧面面部图像对应的三维形变模型系数；根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
根据本公开实施例的第二方面，提供一种面部图像生成方法，包括：获取CG侧面面部图像；将CG面部图像输入面部生成模型，得到与CG面部图像对应的生成面部图像；其中，面部生成模型为采用如上述第一方面中的面部生成模型训练方法进行训练得到的模型。
根据本公开实施例的第三方面，提供一种面部生成模型训练装置，包括获取模块、处理模块和调整模块。获取模块，被配置为获取原始正面面部图像和CG侧面面部图像；处理模块，被配置为将获取模块获取的原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像，并将第一生成侧面面部图像输入判别网络模型，计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失；调整模块，用于根据处理模块得到的对抗损失，调整生成网络模型的参数，得到面部生成模型；其中，原始正面面部图像和原始侧面面部图像为同一对象的面部图像，CG侧面面部图像为原始侧面面部图像的侧面面部信息对应的CG图像。
可选的，本公开实施例中，处理模块，具体被配置为将原始正面面部图像和CG侧面面部图像输入生成网络模型，提取原始正面面部图像的第一特征信息和CG侧面面部图像的第二特征信息，并根据第一特征信息和第二特征信息，生成第一生成侧面面部图像。
可选的，本公开实施例中，第一特征信息包括原始正面面部图像的纹理特征信息；第二特征信息包括：CG侧面面部图像的姿态特征信息和CG侧面面部图像的表情特征信息。
可选的，本公开实施例中，处理模块，还被配置为在得到第一生成侧面面部图像之后，调整模块调整得到面部生成模型之前，计算第一生成侧面面部图像相对于原始侧面面部图像的图像损失；调整模块，具体被配置为根据对抗损失和图像损失，调整生成网络模型的参数，得到面部生成模型。
可选的，本公开实施例中，处理模块，还被配置为在将第一生成侧面面部图像输入判别网络模型之后，调整模块调整得到面部生成模型之前，计算第一生成侧面面部图像相对于原始侧面面部图像的分类损失；调整模块，还被配置为根据处理模块得到的分类损失，调整判别网络模型的参数，调整后的判别网络模型用于计算生成网络模型生成的图像的对抗损失。
可选的，本公开实施例中，获取模块，具体被配置为获取原始正面面部图像和原始侧面面部图像；并根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像。
可选的，本公开实施例中，获取模块，具体被配置为对原始正面面部图像进行三维重建，得到三维面部模型；并计算原始侧面面部图像对应的三维形变模型系数；以及根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
根据本公开实施例的第四方面，提供一种面部图像生成装置，包括获取单元和处理单元。获取单元，被配置为获取CG面部图像；处理单元，被配置为将获取单元获取的CG面部图像输入面部生成模型，得到与CG面部图像对应的生成面部图像；其中，面部生成模型为采用如上述第三方面中的面部生成模型训练装置进行训练得到的模型。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行指令，以实现如上述第一方面或第一方面的任一种可能实现方式的面部生成模型训练方法，和/或如上述第二方面或第二方面的任一种可能实现方式的面部图像生成方法。
根据本公开实施例的第六方面，提供一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面或第一方面的任一种可能实现方式的面部生成模型训练方法，和/或如上述第二方面或第二方面的任一种可能实现方式的面部图像生成方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，当该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面或第一方面的任一种可能实现方式的面部生成模型训练方法，和/或如上述第二方面或第二方面的任一种可能实现方式的面部图像生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过该方案，由于原始正面面部图像和原始侧面面部图像为同一对象的面部图像，因此第一生成侧面面部图像相对于原始侧面面部图像的对抗损失，可以反映生成网络模型生成的面部图像的真实度，如此采用该对抗损失，调整生成网络模型的参数，可以确保训练得到的面部生成模型生成的面部图像相对于原始面部图像的真实度，即可以使得面部生成模型生成的面部图像比较真实，从而可以提高面部生成模型生成的面部图像的真实性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种面部生成模型训练方法的流程图之一；
图2是根据一示例性实施例示出的一种面部生成模型训练方法的流程图之二；
图3是根据一示例性实施例示出的一种面部生成模型训练方法的流程图之三；
图4是根据一示例性实施例示出的一种面部生成模型训练的框架示意图；
图5是根据一示例性实施例示出的一种面部图像生成方法的流程图；
图6是根据一示例性实施例示出的一种面部生成模型训练装置的框图；
图7是根据一示例性实施例示出的一种面部图像生成装置的框图；
图8是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的面部识别方法的执行主体可以为本公开实施例提供的面部生成模型训练装置，也可以为包括该面部生成模型训练装置的电子设备，具体的可以根据实际使用需求确定，本公开实施例不作限定。
下面首先对本公开实施例中涉及的术语/名词进行解释说明。
原始正面面部图像：是指摄像头在与用户面部之间的夹角为(180±a)°的情况下，采集的用户面部图像，该原始正面面部图像未经过其它处理，该原始正面面部图像可以包括用户全部面部特征。其中，a的取值可以根据实际使用需求确定。
原始侧面面部图像：是指摄像头在与用户面部之间的夹角为除(180±a)°之外的角度的情况下，采集的用户面部图像，该原始侧面面部图像未经过其它处理，该原始侧面面部图像可以包括用户部分面部特征。
CG侧面面部图像：是指根据用户的侧面面部图像，生成的计算机图形面部图像，CG侧面面部图像中包括的用户面部特征与生成该CG侧面面部图像的侧面面部图像对应。
在传统技术中，基于卷积生成面部生成模型的方法的核心思想为：采用卷积神经网络(convolutional neural network，CNN)将CG面部图像映射到真实面部图像，并采用无监督损失或者有监督损失进行训练。具体实现步骤如下：
(1)根据三维面部重建(也可以称为三维重建)，生成CG面部图像，并与该CG面部图像和对应的真实面部图像组成图像对；
(2)进行该图像对进行图像预处理。其中，主要包括图像的对比度增强，饱和度增强，归一化等处理内容；
(3)构建深度卷积网络模型，输入预处理后的CG面部图像和真实面部图像，并用该真实面部图像监督网络模型的训练，得到面部生成模型；
(4)测试阶段：将CG面部图像输入上述面部生成模型，生成真实化的面部图像。
下面结合各个附图，对本公开实施例提供的面部生成模型训练方法进行示例性说明。
如图1所示，本公开实施例提供一种面部生成模型训练方法，该方法应用于面部生成模型训练装置，该方法可以包括下述的步骤S21-步骤S24。
在步骤S21中，面部生成模型训练装置获取原始正面面部图像和CG侧面面部图像。
本公开实施例中，在面部生成模型的训练过程中，面部生成模型训练装置可以先获取上述原始正面面部图像和CG侧面面部图像，然后采用该原始正面面部图像和CG侧面面部图像，对生成网络模型进行训练，从而得到本公开实施例提供的面部生成模型。
可选的，本公开实施例中，面部生成模型训练装置可以获取一个对象(例如一个用户)的原始正面面部图像和原始侧面面部图像，然后根据该原始正面面部图像和原始侧面面部图像，生成上述CG侧面面部图像，从而得到原始正面面部图像和CG侧面面部图像。
本公开实施例中，上述原始正面面部图像和原始侧面面部图像可以为同一对象的面部图像，CG侧面面部图像可以为原始侧面面部图像的侧面面部信息对应的CG图像。
需要说明的是，上述侧面面部信息可以理解为原始侧面面部图像中的面部特征信息，例如纹理特征信息、姿态特征信息、表情特征信息等。
示例性的，结合上述图1，如图2所示，上述步骤S21具体可以通过下述的步骤S21a和步骤S21b实现。
在步骤S21a中，面部生成模型训练装置获取原始正面面部图像和原始侧面面部图像。
在步骤S21b中，面部生成模型训练装置根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像。
本公开实施例中，面部生成模型训练装置可以获取一个对象的原始正面面部图像和原始侧面面部图像，然后再根据该原始正面面部图像和原始侧面面部图像，生成上述CG侧面面部图像。
可选的，本公开实施例中，面部生成模型训练装置可以采集目标对象的正面面部图像，从而得到上述原始正面面部图像；并采集该目标对象的侧面面部图像，从而得到上述原始侧面面部图像。
本公开实施例中，面部生成模型训练装置生成的CG侧面面部图像的面部纹理特征可以与原始正面面部图像中的面部纹理特征匹配，CG侧面面部图像中的姿态特征可以与原始侧面面部图像中的姿态特征匹配，CG侧面面部图像中的标签特征可以与原始侧面面部图像中的表情特征匹配。
本公开实施例中，由于原始正面面部图像可以准确的反映对象面部的纹理特征，原始侧面面部图像可以反映对象面部的姿态特征和表情特征，因此面部生成模型训练装置根据原始正面面部图像和原始侧面面部图像，可以比较准确地生成CG侧面面部图像，即可以使得生成的CG面部图像与原始侧面面部图像匹配，从而可以使得生成的CG图像比较真实。
可选的，本公开实施例中，上述步骤S21b具体可以通过下述的步骤S21b1-步骤S21b3实现。
在步骤S21b1中，面部生成模型训练装置对原始正面面部图像进行三维重建，得到三维面部模型。
在步骤S21b2中，面部生成模型训练装置计算原始侧面面部图像对应的三维形变模型系数。
在步骤S21b3中，面部生成模型训练装置根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
本公开实施例中，在面部生成模型训练装置获取上述原始正面面部图像和原始侧面面部图像之后，面部生成模型训练装置可以对原始正面面部图像进行三维重建(也可以称为三维面部重建)，从而可以得到原始正面面部图像对应的三维面部模型；并计算原始侧面面部图像对应的三维形变模型(three dimensional morphable model，3DMM)系数，然后再根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
需要说明的是，本公开实施例中，上述三维重建是指：对原始正面面部图像进行分析处理，再结合计算机视觉知识推导出现实环境中用户面部的三维信息。
可选的，本公开实施例中，上述三维形变模型系数可以包括用户面部的形状系数、表情系数和姿态系数中的至少一项。
当然，实际实现时，上述三维形变模型系数还可以包括其它任意可能的系数，具体可以根据实际使用需求确定，本公开实施例不作限定。
本公开实施例中，面部生成模型训练装置可以根据三维形变模型系数转动上述三维面部模型，从而可以生成CG侧面面部图像。其中，该CG侧面面部图像中对象的姿态和表情可以与原始侧面面部图像中对象的姿态和表情相同(或一致)。
在步骤S22中，面部生成模型训练装置将原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像。
本公开实施例中，在面部生成模型训练装置获取到原始正面面部图像和CG侧面面部图像之后，可以将原始正面面部图像和CG侧面面部图像输入生成网络模型，从而生成网络模型可以对原始正面面部图像和CG侧面面部图像进行特征提取处理，从而可以得到上述第一生成侧面面部图像。
本公开实施例中，由于第一生成侧面面部图像为根据原始正面面部图像的特征和CG侧面面部图像的特征得到的图像，因此第一生成侧面面部图像可以兼顾原始正面面部图像和CG侧面面部图像的信息，从而可以提高生成网络模型生成的面部图像的真实性。
可选的，本公开实施例中，面部生成模型训练装置可以将上述原始正面面部图像和CG侧面面部图像输入上述生成网络模型融合，从而生成网络模型可以提取原始正面面部图像的特征信息(例如本公开实施例中的第一特征信息)，并提取CG侧面面部图像的特征信息(例如本公开实施例中的第二特征信息)，以及根据这些特征信息，生成上述第一生成侧面面部图像。
示例性的，结合上述图1，如图3所示，上述步骤S22具体可以通过下述的步骤S22a和步骤S22b实现。
在步骤S22a中，面部生成模型训练装置原始正面面部图像和CG侧面面部图像输入生成网络模型，提取原始正面面部图像的第一特征信息和CG侧面面部图像的第二特征信息。
在步骤S22b中，生成网络模型根据第一特征信息和第二特征信息，生成第一生成侧面面部图像。
可选的，本公开实施例中，上述第一特征信息可以包括原始正面面部图像的纹理特征信息(例如五官特征信息等)；第二特征信息可以包括：CG侧面面部图像的姿态特征信息和CG侧面面部图像的表情特征信息。
需要说明的是，本公开实施例仅是以第一特征信息包括原始正面面部图像的纹理特征信息，第二特征信息包括CG侧面面部图像的姿态特征信息和表情特征信息为例进行示例性说明的，其并不对本公开造成任何限定。实际实现时，第一特征信息和/或第二特征信息还可以包括其它任意可能的信息，具体可以根据实际使用需求确定。
可选的，本公开实施例中，上述生成网络模型可以包括两个编码器，分别为第一编码器和第二编码器。其中，第一编码器可以用于提取上述第一特征信息，第二编码器可以用于提取上述第二特征信息。
可选的，本公开实施例中，上述第一编码器和第二编码器均可以为自编码器(即VQ-VAE)。
可选的，本公开实施例中，生成网络模型提取上述第一特征信息和第二特征信息的方式可以包括两种可能的实现方式，分别为方式一和方式二。下面分别对这两种方式进行示例性的说明。
方式一：生成网络模型中的第一编码器提取原始正面面部图像的特征信息，生成网络模型中的第二编码器提取CG侧面面部图像的特征信息，然后再从原始正面面部图像的特征信息中提取上述第一特征信息，并从CG侧面面部图像的特征信息中提取上述第二特征信息。
方式二：生成网络模型中的第一编码器直接从原始正面面部图像中提取上述第一特征信息，生成网络模型中的第二编码器直接CG侧面面部图像中提取上述第二特征信息。
可选的，本公开实施例中，在生成网络模型提取到上述第一特征信息和第二特征信息之后，生成网络模型可以融合该第一特征信息和第二特征信息，并输出给生成网络模型中的解码器，解码器对这些特征信息进行解码，从而可以生成上述第一生成侧面面部图像。
可选的，本公开实施例中，生成网络模型中的解码器生成的第一生成侧面面部图像的图像尺寸可以与上述原始侧面面部图像的图像尺寸相同。
下面再结合图4，对上述生成网络模型生成上述第一生成侧面面部图像的过程进行示例性的说明。
示例性的，如图4所示，编码器1(即上述第一编码器)可以提取原始正面面部图像41的特征信息，编码器2(即上述第二编码器)可以提取CG侧面面部图像42的特征信息，然后再对这些特征信息进行融合处理，提取原始正面面部图像的纹理特征信息(即上述第一特征信息)和CG侧面面部图像的姿态特征信息和表情特征信息(即上述第二特征信息)，并将这些特征信息输出至解码器。然后，解码器可以根据该纹理特征信息、姿态特征信息和表情特征信息，生成面部图像43(即上述第一生成侧面面部图像)，从而可以得到上述第一生成侧面面部图像。
需要说明的是，上述图4中的原始面部图像41与CG侧面面部图像42为同一个对象的面部图像。
本公开实施例中，由于原始正面面部图像的特征信息(例如纹理信息等)可以准确地反映用户面部的属性，CG侧面面部图像的特征信息(例如姿态信息和表情信息等)可以反映需要生成的侧面面部图像的姿态表情，因此生成网络模型可以通过提取上述的第一特征信息和第二特征信息，使得生成的第一生成侧面面部图像的纹理与原始正面面部图像的纹理匹配(或一致)，第一生成侧面面部图像的姿态和表情与CG侧面面部图像的姿态和表情匹配(或一致)，从而可以使得生成的第一生成侧面面部图像更加真实。
在步骤S23中，面部生成模型训练装置将第一生成侧面面部图像输入判别网络模型，计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失。
在步骤24中，面部生成模型训练装置根据对抗损失，调整生成网络模型的参数，得到面部生成模型。
本公开实施例中，上述对抗损失可以用于表征生成网络模型生成的图像(例如上述第一生成侧面面部图像)的真实度。
可以理解，上述原始侧面面部图像可以用于监生成网络模型生成的图像的真实度。
本公开实施例中，在面部生成模型训练装置将上述第一生成侧面面部图像输入判别网络模型之后，判别网络模型可以计算该第一生成侧面面部图像相对于上述原始侧面面部图像的对抗损失。如果该对抗损失小于或等于预设阈值，那么面部生成模型训练装置可以确定当前训练得到的生成网络模型符合条件，即此时的生成网络模型即为本公开实施例提供的面部生成模型。如果该对抗损失大于预设阈值，那么面部生成模型训练装置可以调整生成网络模型的参数，并重新将原始面部图像和CG侧面面部图像输入调整参数后的生成网络模型，直至生成网络模型生成的侧面面部图像相对于原始侧面面部图像的对抗损失小于或等于预设阈值。
本公开实施例中，如果上述第一生成侧面面部图像相对于原始侧面面部图像的对抗损失大于上述预设阈值，那么在训练过程中，面部生成模型训练装置可以按照第一生成侧面面部图像相对于原始侧面面部图像的对抗损失减小的方向，调整生成网络模型的参数。
本公开实施例提供一种面部生成模型训练方法，由于原始正面面部图像和原始侧面面部图像为同一对象的面部图像，因此第一生成侧面面部图像相对于原始侧面面部图像的对抗损失，可以反映生成网络模型生成的面部图像的真实度，如此采用该对抗损失，调整生成网络模型的参数，可以确保训练得到的面部生成模型生成的面部图像相对于原始面部图像的真实度，即可以使得面部生成模型生成的面部图像比较真实，从而可以提高面部生成模型生成的面部图像的真实性。
可选的，本公开实施例中，在得到上述第一生成侧面面部图像之后，得到面部生成模型之前，本公开实施例提供的面部生成模型训练方法还可以包括下述的步骤25。其中，步骤24可以通过下述的步骤24a实现。
需要说明的是，本公开实施例可以不限定步骤23和步骤25之间的执行顺序，可以先执行步骤23，后执行步骤25；也可以先执行步骤25，后执行步骤23；还可以同时执行步骤23和步骤25，具体可以根据实际使用需求确定。
在步骤25中，面部生成模型训练装置计算第一生成侧面面部图像相对于原始侧面面部图像的图像损失。
在步骤24a中，面部生成模型训练装置根据对抗损失和图像损失，调整生成网络模型的参数，得到面部生成模型。
本公开实施例中，在得到上述第一生成侧面面部图像之后，面部生成模型训练装置可以计算第一生成侧面面部图像相对于原始侧面面部图像的图像损失，从而面部生成装置可以根据该图像损失和上述对抗损失，调整生成网络模型的参数，从而得到面部生成模型。
需要说明的是，本公开实施例中，上述图像损失可以用于表征生成网络模型生成的面部图像的清晰度。
可选的，本公开实施例中，上述图像损失可以采用L1损失(即smooth L1 loss)。其中，由于L1损失允许图像的局部存在误差，全图接近即可，因此可以保证生成的面部图像的清晰度。
下面再结合上述图4，对上述步骤S25和步骤24a进行示例性的说明。
示例性的，如图4所示，在解码器生成面部图像43(即第一生成侧面面部图像)之后，面部生成模型训练装置可以判断该面部图像43相对于原始侧面面部图像44的L1损失，从而可以根据该L1损失和上述对抗损失，调整生成网络模型的参数，以得到面部生成模型。
本公开实施例中，由于上述图像损失属于强监督信息，对抗损失属于弱监督信息，因此当面部生成模型训练装置同时根据图像损失和对抗损失，对生成网络模型进行调整时，可以保证训练得到的面部生成模型，生成的面部图像与原始面部图像相似，且足够真实。
可选的，本公开实施例中，在将第一生成侧面面部图像输入判别网络模型之后，得到面部生成模型之前，本公开实施例提供的面部生成模型训练方法还可以包括下述的步骤26和步骤27。
在步骤26中，判别网络模型计算第一生成侧面面部图像相对于原始侧面面部图像的分类损失；
在步骤27中，面部生成模型训练装置根据分类损失，调整判别网络模型的参数。
其中，调整参数后的判别网络模型用于计算生成网络模型生成的图像的对抗损失。
本公开实施例中，在将上述第一生成侧面面部图像输入判别网络模型之后，判别网络模型可以计算第一生成侧面面部图像相对于原始侧面面部图像的分类损失，然后根据该分类损失，调整判别网络模型的参数。并且采用调整参数后的判别网络模型，计算生成网络模型生成的图像的对抗损失，从而再调整生成网络模型的参数，如此可以逼迫训练得到的面部生成模型生成的面部图像更加真实。
需要说明的是，本公开实施例中，上述分类损失用于监督生成网络模型生成的面部图像为真实面部图像还是虚假面部图像。即用于判定第一生成侧面面部图像为原始侧面面部图像，还是生成网络模型生成的面部图像。
下面再结合上述图4，对上述步骤S26和步骤27进行示例性的说明。
示例性的，如图4所示，在将面部图像43(即第一生成侧面面部图像)输入判别器(即判别网络模型)之后，判别器可以计算该面部图像43相对于原始侧面面部图像44的分类损失，从而可以根据该分类损失，调整判别器的参数。在调整判别器的参数之后，该调整参数轴的判别器可以用于计算面部图像43相对于原始侧面面部图像44的对抗损失，从而可以使得训练得到的面部生成模型生成的面部图像更加真实。
可选的，本公开实施例中，在面部生成模型的训练过程，面部生成模型训练装置可以先调整生成网络模型的参数，再调整判别网络模型的参数；也可以先调整判别网络模型的参数，再调整生成网络模型的参数。具体可以根据实际使用需求确定，本公开实施例不作限定。
本公开实施例中，由于生成器要需要保证生成的面部图像与原始面部图像相近，因此在训练过程中，可以固定判别网络模型的参数，只优化生成网络模型的参数，以使得上述图像损失和对抗损失最小。
本公开实施例中，由于判别网络模型的目标在于使得分类损失极小化，因此在训练过程中，可以固定生成网络模型的参数，只优化判别网络模型的参数，以使得分类损失极小化。
也就是说，在训练过程中，面部生成模型训练装置可以分别调整生成网络模型的参数和判别网络模型的参数，从而可以得到能够生成比较真实的面部图像的面部生成模型。
本公开实施例中，由于面部生成模型是通过对生成网络模型和判别网络模型的交替优化得到的，因此通过本公开实施例训练得到的面部生成模型生成的面部图像比较清晰，且真实。
需要说明的是，本公开实施例中，上述各个附图所示的面部生成模型训练方法均是以结合本公开实施例中的一个附图为例示例性的说明的。具体实现时，上述各个附图所示面部生成模型训练方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。
如图5所示，本公开实施例提供一种面部图像生成方法，该方法可以包括下述的步骤31和步骤32。
在步骤31中，面部图像生成装置获取CG面部图像。
在步骤32中，面部图像生成装置将CG面部图像输入面部生成模型，得到与CG面部图像对应的生成面部图像。
其中，上述面部生成模型可以为采用上述图1至图4所示的面部生成模型训练方法进行训练得到的模型。对于面部生成模型的描述具体可以参考在上述面部生成模型训练方法中对面部生成模型的详细描述，此处不再赘述。
本公开实施例中，由于上述面部生成模型是根据通过对同一对象的正面面部图像和侧面面部图像训练得到的，因此面部生成模型生成的面部图像的真实性较高，如此将CG面部图像输入面部生成模型可以得到比较真实的生成面部图像。
图6是根据一示例性实施例示出的一种面部生成模型训练装置的框图。参照图6，该面部生成模型训练装置50包括获取模块51、处理模块52和调整模块53。获取模块51，被配置为获取原始正面面部图像和CG侧面面部图像；处理模块52，被配置为将获取模块51获取的原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像，并将第一生成侧面面部图像输入判别网络模型，计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失；调整模块53，用于根据处理模块52得到的对抗损失，调整生成网络模型的参数，得到面部生成模型；其中，原始正面面部图像和原始侧面面部图像为同一对象的面部图像，CG侧面面部图像为原始侧面面部图像的侧面面部信息对应的CG图像。
可选的，本公开实施例中，处理模块52，具体被配置为将原始正面面部图像和CG侧面面部图像输入生成网络模型，提取原始正面面部图像的第一特征信息和CG侧面面部图像的第二特征信息，并根据第一特征信息和第二特征信息，生成第一生成侧面面部图像。
可选的，本公开实施例中，第一特征信息包括原始正面面部图像的纹理特征信息；第二特征信息包括：CG侧面面部图像的姿态特征信息和CG侧面面部图像的表情特征信息。
可选的，本公开实施例中，处理模块52，还被配置为在得到第一生成侧面面部图像之后，调整模块53调整得到面部生成模型之前，计算第一生成侧面面部图像相对于原始侧面面部图像的图像损失；调整模块53，具体被配置为根据对抗损失和图像损失，调整生成网络模型的参数，得到面部生成模型。
可选的，本公开实施例中，处理模块52，还被配置为在将第一生成侧面面部图像输入判别网络模型之后，调整模块调整得到面部生成模型之前，计算第一生成侧面面部图像相对于原始侧面面部图像的分类损失；调整模块53，还被配置为根据处理模块52得到的分类损失，调整判别网络模型的参数，调整后的判别网络模型用于计算生成网络模型生成的图像的对抗损失。
可选的，本公开实施例中，获取模块51，具体被配置为获取原始正面面部图像和原始侧面面部图像；并根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像。
可选的，本公开实施例中，获取模块51，具体被配置为对原始正面面部图像进行三维重建，得到三维面部模型；并计算原始侧面面部图像对应的三维形变模型系数；以及根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过该方案，由于原始正面面部图像和原始侧面面部图像为同一对象的面部图像，因此第一生成侧面面部图像相对于原始侧面面部图像的对抗损失，可以反映生成网络模型生成的面部图像的真实度，如此采用该对抗损失，调整生成网络模型的参数，可以确保训练得到的面部生成模型生成的面部图像相对于原始面部图像的真实度，即可以使得面部生成模型生成的面部图像比较真实，从而可以提高面部生成模型生成的面部图像的真实性。
图7是根据一示例性实施例示出的一种面部图像生成装置的框图。参照图7，该面部图像生成装置60包括获取单元61和处理单元62。获取单元61，被配置为获取CG面部图像；处理单元62，被配置为将获取单元61获取的CG面部图像输入面部生成模型，得到与CG面部图像对应的生成面部图像；其中，面部生成模型为采用上述图6提供的面部生成模型训练装置进行训练得到的模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例提供一种面部图像生成装置，由于上述面部生成模型是根据通过对同一对象的正面面部图像和侧面面部图像训练得到的，因此面部生成模型生成的面部图像的真实性较高，如此将CG面部图像输入面部生成模型可以得到比较真实的生成面部图像。
图8是根据一示例性实施例示出的一种电子设备的结构示意图。电子设备100包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备以及计步器等。如图8所示，电子设备100包括但不限于：处理器101、存储器102、显示器103、输入单元104、输出单元105、网络单元106、接口单元107、射频单元108、电源109以及传感器110等。
需要说明的是，本领域技术人员可以理解，图8中示出的电子设备100的结构并不构成对电子设备100的限定，电子设备100可以包括比图8所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
另外，上述实施例提供的电子设备在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
本公开实施例中，处理器101，用于获取原始正面面部图像和CG侧面面部图像；且将原始正面面部图像和CG侧面面部图像输入生成网络模型，进行特征提取处理，得到第一生成侧面面部图像；以及将第一生成侧面面部图像输入判别网络模型，计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失；并根据对抗损失，调整生成网络模型的参数，得到面部生成模型；其中，原始正面面部图像和原始侧面面部图像为同一对象的面部图像，CG侧面面部图像为原始侧面面部图像的侧面面部信息对应的CG图像。
可以理解，本公开实施例中，上述面部生成模型训练装置的结构示意图(例如上述图6)中的获取模块51、处理模块52和调整模块53均可以通过上述处理器101实现。
本公开提供一种电子设备，由于原始正面面部图像和原始侧面面部图像为同一对象的面部图像，因此第一生成侧面面部图像相对于原始侧面面部图像的对抗损失，可以反映生成网络模型生成的面部图像的真实度，如此采用该对抗损失，调整生成网络模型的参数，可以确保训练得到的面部生成模型生成的面部图像相对于原始面部图像的真实度，即可以使得面部生成模型生成的面部图像比较真实，从而可以提高面部生成模型生成的面部图像的真实性。
或者，处理器101，可以用于获取CG侧面面部图像；并将CG面部图像输入面部生成模型，得到与CG面部图像对应的生成面部图像；其中，面部生成模型可以为采用如上述图1至图4中描述的面部生成模型训练方法进行训练得到的模型。
可以理解，本公开实施例中，上述面部图像生成装置的结构示意图(例如上述图7)中的获取单元61和处理单元62均可以通过上述处理器101实现。
本公开提供一种电子设备，由于上述面部生成模型是根据通过对同一对象的正面面部图像和侧面面部图像训练得到的，因此面部生成模型生成的面部图像的真实性较高，如此将CG面部图像输入面部生成模型可以得到比较真实的生成面部图像。
需要说明的是，上述电子设备100能够实现上述方法实施例中电子设备实现的各个过程，且能达到相同的技术效果，为避免重复，详细描述这里不再赘述。
处理器101是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据，从而对电子设备100进行整体监控。处理器101可包括一个或多个处理单元；可选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。
存储器102可用于存储软件程序以及各种数据。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
显示器103用于显示由用户输入的信息或提供给用户的信息。显示器103可包括显示面板，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置显示面板。
输入单元104可以用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)和麦克风，图形处理器对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示器103上。经图形处理器处理后的图像帧可以存储在存储器102(或其它存储介质)中或者经由射频单元108或网络单元106进行发送。麦克风可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元108发送到移动通信基站的格式输出。
输入单元104可以为用户输入单元，可用于接收输入的数字或字符信息，以及产生与电子设备100的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)。触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器101，接收处理器101发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，用户输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板可覆盖在显示面板上，当触控面板检测到在其上或附近的触摸操作后，传送给处理器101以确定触摸事件的类型，随后处理器101根据触摸事件的类型在显示面板上提供相应的视觉输出。触控面板与显示面板1061可以作为两个独立的部件来实现电子设备100的输入和输出功能，也可以将触控面板与显示面板集成而实现电子设备100的输入和输出功能，具体此处不做限定。
输出单元105可以为音频输出单元，可以将射频单元108或网络单元106接收的或者在存储器102中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元包括扬声器、蜂鸣器以及受话器等。
电子设备100通过网络单元106为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
接口单元107为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元107可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。
射频单元108可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器101处理；另外，将上行的数据发送给基站。通常，射频单元108包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元108还可以通过无线通信系统与网络和其他设备通信。
电源109(比如电池)可以用于为各个部件供电，可选的，电源109可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
传感器110可以包括光传感器、运动传感器以及其他传感器中的至少一个。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器110还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
另外，电子设备100包括一些未示出的功能模块(例如摄像头)，在此不再赘述。
另外，上述实施例提供的电子设备在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在示例性实施例中，本公开实施例还提供了一种包括指令的存储介质，例如包括指令的存储器102，上述指令可由电子设备100的处理器101执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本公开实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由电子设备100的处理器101执行以完成上述方法。
需要说明的是，上述存储介质中的指令或计算机程序产品中的一条或多条指令被处理器101执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种面部生成模型训练方法，其特征在于，包括：
获取原始正面面部图像和计算机图形CG侧面面部图像，所述CG侧面面部图像是根据原始侧面面部图像处理得到的；
将所述原始正面面部图像和所述CG侧面面部图像输入生成网络模型，提取所述原始正面面部图像的第一特征信息所述CG侧面面部图像的第二特征信息；
根据所述第一特征信息和所述第二特征信息进行融合处理，生成第一生成侧面面部图像；所述第一特征信息包括所述原始正面面部图像的纹理特征信息；所述第二特征信息包括：所述CG侧面面部图像的姿态特征信息和所述CG侧面面部图像的表情特征信息；
将所述第一生成侧面面部图像输入判别网络模型，计算所述第一生成侧面面部图像相对于原始侧面面部图像的对抗损失；
根据所述对抗损失，调整所述生成网络模型的参数，得到面部生成模型；
其中，所述原始正面面部图像和所述原始侧面面部图像为同一对象的面部图像，所述CG侧面面部图像为所述原始侧面面部图像的侧面面部信息对应的CG图像。
2.根据权利要求1所述的面部生成模型训练方法，其特征在于，所述得到第一生成侧面面部图像的步骤之后，所述得到面部生成模型的步骤之前，所述方法还包括：
计算所述第一生成侧面面部图像相对于所述原始侧面面部图像的图像损失；
所述根据所述对抗损失，调整所述生成网络模型的参数，得到面部生成模型的步骤，包括：
根据所述对抗损失和所述图像损失，调整所述生成网络模型的参数，得到所述面部生成模型。
3.根据权利要求1所述的面部生成模型训练方法，其特征在于，所述将所述第一生成侧面面部图像输入判别网络模型的步骤之后，所述得到面部生成模型的步骤之前，所述方法还包括：
计算所述第一生成侧面面部图像相对于所述原始侧面面部图像的分类损失；
根据所述分类损失，调整所述判别网络模型的参数，调整参数后的所述判别网络模型用于计算所述生成网络模型生成的图像的对抗损失。
4.根据权利要求1所述的面部生成模型训练方法，其特征在于，所述获取原始正面面部图像和CG侧面面部图像，包括：
获取原始正面面部图像和原始侧面面部图像；
根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像。
5.根据权利要求4所述的面部生成模型训练方法，其特征在于，所述根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像的步骤，包括：
对原始正面面部图像进行三维重建，得到三维面部模型；
计算原始侧面面部图像对应的三维形变模型系数；
根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
6.一种面部图像生成方法，其特征在于，所述方法包括：
获取计算机图形CG面部图像；
将所述CG面部图像输入面部生成模型，得到与所述CG面部图像对应的生成面部图像；
其中，所述面部生成模型为采用如权利要求1至5中任一项所述的面部生成模型训练方法进行训练得到的模型。
7.一种面部生成模型训练装置，其特征在于，包括获取模块、处理模块和调整模块；
所述获取模块，被配置为获取原始正面面部图像和计算机图形CG侧面面部图像，所述CG侧面面部图像是根据原始侧面面部图像处理得到的；
所述处理模块，被配置为将所述原始正面面部图像和所述CG侧面面部图像输入生成网络模型，提取所述原始正面面部图像的第一特征信息所述CG侧面面部图像的第二特征信息；根据所述第一特征信息和所述第二特征信息进行融合处理，生成第一生成侧面面部图像；所述第一特征信息包括所述原始正面面部图像的纹理特征信息；所述第二特征信息包括：所述CG侧面面部图像的姿态特征信息和所述CG侧面面部图像的表情特征信息，并将所述第一生成侧面面部图像输入判别网络模型，计算所述第一生成侧面面部图像相对于原始侧面面部图像的对抗损失；
所述调整模块，用于根据所述处理模块得到的所述对抗损失，调整所述生成网络模型的参数，得到面部生成模型；
其中，所述原始正面面部图像和所述原始侧面面部图像为同一对象的面部图像，所述CG侧面面部图像为所述原始侧面面部图像的侧面面部信息对应的CG图像。
8.根据权利要求7所述的面部生成模型训练装置，其特征在于，
所述处理模块，还被配置为在得到第一生成侧面面部图像之后，调整模块调整得到面部生成模型之前，计算第一生成侧面面部图像相对于原始侧面面部图像的图像损失；
调整模块，具体被配置为根据对抗损失和图像损失，调整生成网络模型的参数，得到面部生成模型。
9.根据权利要求7所述的面部生成模型训练装置，其特征在于，处理模块，还被配置为在将第一生成侧面面部图像输入判别网络模型之后，调整模块调整得到面部生成模型之前，计算第一生成侧面面部图像相对于原始侧面面部图像的分类损失；调整模块，还被配置为根据处理模块得到的分类损失，调整判别网络模型的参数，调整后的判别网络模型用于计算生成网络模型生成的图像的对抗损失。
10.根据权利要求7所述的面部生成模型训练装置，其特征在于，获取模块，具体被配置为获取原始正面面部图像和原始侧面面部图像；并根据原始正面面部图像和原始侧面面部图像，生成CG侧面面部图像。
11.根据权利要求10所述的面部生成模型训练装置，其特征在于，获取模块，具体被配置为对原始正面面部图像进行三维重建，得到三维面部模型；并计算原始侧面面部图像对应的三维形变模型系数；以及根据三维面部模型和三维形变模型系数，生成CG侧面面部图像。
12.一种面部图像生成装置，其特征在于，所述面部图像生成装置包括获取单元和处理单元；
所述获取单元，被配置为获取计算机图形CG面部图像；
所述处理单元，被配置为将所述获取单元获取的所述CG面部图像输入面部生成模型，得到与所述CG面部图像对应的生成面部图像；
其中，所述面部生成模型为采用如权利要求7至11所述的面部生成模型训练装置进行训练得到的模型。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。
14.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010393156.6A CN113643392B (zh) | 2020-05-11 | 2020-05-11 | 面部生成模型训练方法、面部图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010393156.6A CN113643392B (zh) | 2020-05-11 | 2020-05-11 | 面部生成模型训练方法、面部图像生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113643392A CN113643392A (zh) | 2021-11-12 |
| CN113643392B true CN113643392B (zh) | 2023-12-26 |
Family
ID=78415468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010393156.6A Active CN113643392B (zh) | 2020-05-11 | 2020-05-11 | 面部生成模型训练方法、面部图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643392B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578017A (zh) * | 2017-09-08 | 2018-01-12 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110738161A (zh) * | 2019-10-12 | 2020-01-31 | 电子科技大学 | 一种基于改进生成式对抗网络的人脸图像矫正方法 |
-
2020
- 2020-05-11 CN CN202010393156.6A patent/CN113643392B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578017A (zh) * | 2017-09-08 | 2018-01-12 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN110738161A (zh) * | 2019-10-12 | 2020-01-31 | 电子科技大学 | 一种基于改进生成式对抗网络的人脸图像矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113643392A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110740259B (zh) | 视频处理方法及电子设备 | |
| CN108491775B (zh) | 一种图像修正方法及移动终端 | |
| CN109381165B (zh) | 一种皮肤检测方法及移动终端 | |
| CN111554321B (zh) | 降噪模型训练方法、装置、电子设备及存储介质 | |
| CN111223143B (zh) | 关键点检测方法、装置及计算机可读存储介质 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| CN107872639A (zh) | 通信视频的传输方法、装置和移动终端 | |
| CN107679514A (zh) | 一种人脸识别方法及电子设备 | |
| CN111401463B (zh) | 检测结果输出的方法、电子设备及介质 | |
| CN111031253B (zh) | 一种拍摄方法及电子设备 | |
| CN109544445B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN110213485A (zh) | 一种图像处理方法及终端 | |
| CN111080747B (zh) | 一种人脸图像处理方法及电子设备 | |
| CN113255396A (zh) | 图像处理模型的训练方法及装置、图像处理方法及装置 | |
| CN112818733B (zh) | 信息处理方法、装置、存储介质及终端 | |
| CN111405361B (zh) | 一种视频获取方法、电子设备及计算机可读存储介质 | |
| CN111401283A (zh) | 面部识别方法及装置、电子设备及存储介质 | |
| CN111028161B (zh) | 图像校正方法及电子设备 | |
| CN109858447B (zh) | 一种信息处理方法及终端 | |
| CN109819331B (zh) | 一种视频通话方法、装置、移动终端 | |
| CN108830901B (zh) | 一种图像处理方法和电子设备 | |
| CN113643392B (zh) | 面部生成模型训练方法、面部图像生成方法及装置 | |
| CN111563838B (zh) | 图像处理方法及电子设备 | |
| CN109379531B (zh) | 一种拍摄方法及移动终端 | |
| CN109492451B (zh) | 一种编码图像识别方法及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |