CN112883756B - 年龄变换人脸图像的生成方法及生成对抗网络模型 - Google Patents
年龄变换人脸图像的生成方法及生成对抗网络模型 Download PDFInfo
- Publication number
- CN112883756B CN112883756B CN201911197399.6A CN201911197399A CN112883756B CN 112883756 B CN112883756 B CN 112883756B CN 201911197399 A CN201911197399 A CN 201911197399A CN 112883756 B CN112883756 B CN 112883756B
- Authority
- CN
- China
- Prior art keywords
- age
- face image
- face
- image
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 23
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 13
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 13
- 238000011160 research Methods 0.000 description 8
- 230000032683 aging Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于人脸图像生成领域,公开了一种年龄变换人脸图像的生成方法及生成对抗网络模型。其中,年龄变换人脸图像的生成方法基于多判别器框架的年龄风格生成对抗网络模型,生成对抗网络模型包括编码器、译码器、判别器以及年龄分类器,该方法包含以下步骤:构建跨年龄人脸图像数据集;设计基于多判别器框架的年龄风格生成对抗网络模型;进行年龄风格生成对抗网络模型训练;输入待生成的人原始年轻人脸图像到编码器和译码器中,生成对应年老人脸图像。本发明提供的年龄变换人脸图像的生成方法,不需提供大量较大年龄跨度的数据进行较高的计算量,就可以简单快捷地生成属于目标年龄域的年龄变换人脸图像。
Description
技术领域
本发明属于人脸图像生成领域,尤其涉及一种年龄变换人脸图像的生成方法及一种生成对抗网络模型。
背景技术
人脸年龄变老(预测未来的长相)或回归(估计从前的长相)旨在年龄条件下渲染人脸图像,同时保留人脸的个人特征不变。这项研究对于很多应用有巨大的影响,例如失踪人群的人脸预测,跨年龄人脸验证以及娱乐应用等,因此吸引了大量的研究兴趣。实现这种功能存在许多挑战,大多数的挑战来自于对于训练数据的硬性需求,和人脸图像中存在的表情、姿势、光照和遮挡等变形。对于训练数据的硬性需求意味着现有的很多研究方法需要人脸图像年龄变化的监督条件,也就是说需要同一个人不同年龄段的人脸图像,而且年龄跨度需要很大,这种数据通常采集难度很大。虽然人脸年龄变老和人脸回归同样重要,但是大多数研究集中在人脸年龄变老,很少研究在人脸回归上能得到很好的结果,大多数人脸回归主要集中在将人脸纹理去除等方法。而人脸回归不仅仅表现在人脸纹理的平滑化,更多体现在从婴儿到成年过程中人脸骨骼的变化。由于监督数据的缺乏增加了研究的难度。另一方面,更多的研究集中在人脸年龄变老问题上,由于从成年到老年的过程,人脸的变化更多集中在皮肤,肌肉和皱纹等表面的形变。例如,基于物理模型的方法将生物面部皮肤,肌肉和皱纹等形变参数化,但是这种方法较复杂需要大量较大年龄跨度的数据,较高的计算量。而基于原型的方法则倾向于将训练数据划分为不同的年龄组,并在组间进行转换。这种方法下人脸身份一致性和生成真实性问题需要平衡。该方法对数据集年龄跨度要求不高,可以在两个相邻的年龄组之间学习老化模式,但是仍然需要跨年龄域的成对样本。
GAN是“生成对抗网络”(Generative Adversarial Networks)的简称,由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年,GAN热潮席卷AI领域顶级会议,从ICLR到NIPS,大量高质量论文被发表和探讨。GAN是一个非常灵活的设计框架,各种类型的损失函数都可以整合到GAN模型当中,这样使得针对不同的任务,我们可以设计不同类型的损失函数,都会在GAN的框架下进行学习和优化。作为一个生成模型,GAN最直接的应用,就是用于真实数据分布的建模和生成,包括可以生成一些图像和视频,以及生成一些自然语句和音乐等。其次,因为内部对抗训练的机制,GAN可以解决一些传统的机器学习中所面临的数据不足的问题,因此可以应用在半监督学习、无监督学习、多视角、多任务学习的任务中。此外,GAN可以和CNN、RNN结合在一起。任何一个可微分的函数,都可以用来参数化GAN的生成模型和判别模型。那么,在实际中,我们就可以使用深度卷积网络,来参数化生成模型。综上所述深度卷积神经网络和GAN,无论是单独研究还是结合起来解决问题,都是有着较理想的研究前景。条件GAN(Conditional GANs)在图像生成过程中采用先验信息作为监督条件,使生成的图像拥有特征的目标属性。
发明内容
本发明目的之一提供一种年龄变换人脸图像的生成方法,旨在解决生成年龄变换人脸图像时需要提供大量较大年龄跨度的数据进行较高的计算量等问题。
本发明目的之一的技术方案是:一种年龄变换人脸图像的生成方法,所述方法基于多判别器框架的年龄风格生成对抗网络模型,所述生成对抗网络模型包括编码器、译码器、判别器以及年龄分类器,所述方法包含以下步骤:
构建跨年龄人脸图像数据集,所述跨年龄人脸图像数据集包括已进行年龄标注的人脸年龄变换图像对和参照人脸图像集;
根据所述跨年龄人脸图像数据集,设计基于多判别器框架的年龄风格生成对抗网络模型;
进行年龄风格生成对抗网络模型训练,得到相应的编码器和译码器网络参数;
输入待生成的人原始年轻人脸图像到编码器和译码器中,生成对应年老人脸图像。
进一步地,构建跨年龄人脸图像数据集包括以下步骤:
构建人脸年龄变换图像对:抽取年轻人脸图像,对于每张年轻人脸图像经过faceApp生成对应的年龄变换人脸图像,构成跨年龄人脸图像对;
构建参照人脸图像集:收集不同年龄分布的人脸图像;
对构建的所述人脸年龄变换图像对和所述参照人脸图像集中的每张图像进行年龄标注。
进一步地,所述编码器和所述译码器形成生成器,设计基于多判别器框架的年龄风格生成对抗网络模型包括以下步骤:
将所述跨年龄人脸图像数据集输入所述生成器,所述生成器采用“U-Net”结构学习年轻人脸特征到年老人脸特征的映射;
对于年龄人脸图像进行参照风格迁徙:参照人脸图像通过所述编码器得到目标年龄参照隐含特征,将年轻人脸特征与目标年龄参照隐含特征进行自适应实例归一化运算得到新的隐含特征,将新的隐含特征输入到所译码器中生成目标年龄人脸图像;
通过所述判别器采用“Patch-GAN”来判断生成的所述目标年龄人脸图像是否和原始人脸图像具有同一身份特征;
设计卷积神经网络作为年龄分类器,使用Cross Entropy损失函数作为年龄的目标函数;
保持判别器的目标函数不变,生成器的目标函数包含判别器的损失函数、年龄分类器的损失函数、以及最小化生成图像和目标人脸真值图像的L1距离。
进一步地,进行年龄风格生成对抗网络的训练包括以下步骤:
将人脸年龄变换图像对、目标年龄域以及目标年龄参照人脸图像输入到年龄风格成对抗网络;
一次迭代过程中,原始人脸图像和生成的年龄变换人脸图像组成合成人脸图像对,原始人脸图像和真值年龄变换人脸图像组成真实人脸图像对,分别作为正样本和负样本输入到判别器中,得到的损失值使生成器生成的人脸图像与原始图像保持同一身份一致性;
一次迭代过程中,原始人脸图像、生成的人脸图像、真值人脸图像分为输入到年龄分类器中作年龄预测,得到的损失值使生成器生成的人脸图像拥有目标年龄的人脸特征。
进一步地,输入待生成的人原始年轻人脸图像到编码器和译码器中,生成对应年老人脸图像包括以下步骤:
将新的人脸图像以及想要生成的目标年龄类标输入到训练好的生成器中,生成属于目标年龄域的年龄变换人脸图像。
本发明目的之二在于提供一种生成对抗网络模型,包括用于生成各种隐含特征的编码器、用于根据隐含特征译码生成对应年龄的人脸图像的译码器、用于判定生成的人脸图像与原始人脸图像是否具有同一身份特征的判别器以及用于判定生成的年龄人脸图像是否属于目标年龄域的年龄分类器。
本发明提供的生成对抗网络模型是在现有的条件生成对抗网络模型上,提出基于多判别器框架的年龄风格生成对抗网络模型,生成原始人脸的年龄变换人脸图像。在模型中原始人脸图像和目标年龄通过编码器得到隐含特征,参照人脸图像通过编码器得到参照特征,原始隐含特征与参照特征经过自适应实例归一化运算得到新的隐含特征,经过译码器得到目标年龄人脸图像,判别器判定生成图像与原始图像是否具有身份一致性特征,年龄分类器判断生成图像是否属于目标年龄域。
本发明的有益效果是:本发明提供的生成对抗网络模型是基于多判别器框架的年龄风格,通过训练设计的生成对抗网络模型,生成基于输入原始图像和目标年龄的年老人脸图像。具体来说,受条件生成对抗网络应用在图像翻译任务,以及风格迁徙任务的启发,本发明提供的生成对抗网络模型,生成输入人脸图像对应的年龄变换人脸图像。通过迁徙属于目标年龄的参照人脸图像的特征,编码器译码器结构捕捉基于同一身份下的不同年龄人脸特征的映射关系,判别器判定身份一致性,年龄分类器提供年龄约束。训练的最终结果,判别器不能判断合成图像和真值图像的区别,年龄分类器能够正确预测输入图像的年龄。因此,本发明提供年龄变换人脸图像的生成方法,不需要提供大量较大年龄跨度的数据进行较高的计算量,该方法可简单快捷地生成属于目标年龄域的年龄变换人脸图像。
附图说明
图1是本发明实施例提供的年龄变换人脸图像的生成方法的流程图;
图2是本发明实施例提供的生成对抗网络模型的框架图;
图3是本发明实施例提供的生成人脸图像结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
附图1示出了本发明实施例提供的年龄变换人脸图像的生成方法的流程图,其详述如下:
步骤S1:构建人脸图像数据集。本发明使用的数据来自于http:// seeprettyface.com/网站。本发明下载了网站所有数据,并抽取其中成年人人脸图像,对其中每张人脸图像使用FaceAPP进行处理得到年龄变换人脸图像,这样就生成了10000张年轻年老人脸图像对。
其次,抽取其中的10000张年老人脸数据为参照人脸图像数据集。
最后,通过预训练好的基于人脸的年龄预测模型,将数据集中的每张人脸图像进行自动年龄标注。
步骤S2:设计基于多判别器框架的年龄风格生成对抗网络模型。受基于条件生成对抗网络的图像翻译任务,以及风格迁徙任务启发,本发明提出了基于多判别器的年龄风格生成对抗网络。具体模型框架如图2所示,模型分为四个部分,编码器,译码器,判别器和年龄分类器。
其中编码器学习人脸图像到隐含特征的映射,表示为其中x为输入人脸图像,c为目标年龄域,n为隐含特征的维度。参照人脸图像经过编码器编码得到参照隐含特征,表示为E(xs)=zs,其中xs表示参照人脸图像,zs表示参照隐含特征。接着参照人脸特征与原始人脸特征进行自适应实例归一化运算(AdaIn),运算过程表示为:
其中,μ(.)代表均值,σ(.)代表方差。
经过自适应实例归一化运算得到的新的隐含特征将输入到译码器中,译码器将生成对应的年老人脸图像,表示为:
混合条件生成对抗网络目标函数和传统损失函数,基于先前的研究,在cGAN目标函数中加入传统目标函数,L1距离,是有效的。保持判别器的目标函数不变,在生成器的目标函数中加入传统L1距离,使生成的人脸图像,不仅要骗过判别器,还要在L1距离上接近真值人脸图像。目标函数表示为:
其中l(.)表示L1范式,xg表示真实年老人脸图像。
同时,由于年轻图像与年老图像具有相同的底层特征,因此编码器和译码器在对应的层之间跳跃链接,在译码阶段网络会把对应层的特征进行连接,再接着去进行卷积或者批标准化,进而进行上采样,这样的框架通常被称之为“U-Net”。具体来说,在生成器卷积神经网络的每个i层和n-i层之间进行跳跃连接,其中n为总的网络层数。每个跳跃链接连接i层和n-i层的所有通道。
判别器输入为生成的人脸图像和原始年轻图像,以及真实年老人脸图像和原始年轻人脸图像,分别作为负样本和正样本。判别器判定输入图像对是否具有身份一致性特征表示为X为输入图像维度。具体采用分块判断提出了分块判断的“Patch-GAN”算法,而是把图像划分成许多patch,在图像对的N×N块上去判断是搭配是否为真,最终对所有的patch的判定结果求平均给出最后的判定输出。
最终的条件生成对抗网络模型的目标函数可以表示为:
其中Pdata为先验分布。
对于年龄分类器,首先设计卷积神经网络,包含4层卷积层,1个FC。年龄分类器可看作多类分类器,在FC层后计算Cross Entropy损失函数作为年龄分类器的损失函数。目标函数表示为
其中A表示预测年龄,表示生成人脸的年龄标签,训练过程中生成人脸的年龄标签采用随机设置策略。在训练过程中,真实年老图像以及相应的年龄标签作为正样本,生成的人脸图像和对应的年龄标签作为负样本,在迭代过程中输入到年龄分类器中学习人脸特征到年龄类标的映射。
判别器D和Dage尝试尽量使判别器和年龄分类器的目标函数最大化,而编码器E和译码器G则要使目标函数最小化,二者形成对抗,所以最终需要满足的目标函数为
其中α,β是预先定义的参数,在多次尝试调整后选取最优的α,β来使生成人脸图像效果最好。
步骤S3:在基于多判别器的年龄风格生成对抗网络的训练过程中,采用标准GAN模型训练过程,生成器、判别器和年龄分类器交替梯度下降,并使用小批量的随机梯度下降、Adam算法进行训练。
步骤S4:完成年龄风格生成对抗网络训练之后,得到编码器和译码器的网络参数,将服饰图像输入到编码器和译码器中,将生成对应的人脸年龄变换图像。
图3为采用提供的年龄变换人脸图像的生成方法生成的人脸图像结果图。
在本发明提供的年龄变换人脸图像的生成方法中:(1)构建了人脸年龄变换图像数据集,将收集的人脸图像分别经过FaceAPP处理得到对应的年龄变换人脸图像。收集跨年龄域的人脸图像,并对数据集中的每一张图像进行年龄标记。(2)提供了基于多判别器框架的年龄风格生成对抗网络模型,在条件生成对抗网络的基础上,提出改进,加入年龄风格迁徙模块以及年龄分类器。判别器和年龄分类器分别判定身份一致性特征和进行生成图像的年龄预测。这样约束生成器不仅要生成符合目标年龄域的年老图像,又要保证和原始输入图像保持身份一致性。为后期的人脸验证,人脸预测等应用提供了巨大的研究空间。因此,本发明提供年龄变换人脸图像的生成方法,不需要提供大量较大年龄跨度的数据进行较高的计算量,也不需要跨年龄域的成对样本,该方法可简单快捷地生成属于目标年龄域的年龄变换人脸图像。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种年龄变换人脸图像的生成方法,其特征在于:所述方法基于多判别器框架的年龄风格生成对抗网络模型,所述生成对抗网络模型包括编码器、译码器、判别器以及年龄分类器,所述方法包含以下步骤:
构建跨年龄人脸图像数据集,所述跨年龄人脸图像数据集包括已进行年龄标注的人脸年龄变换图像对和参照人脸图像集;
根据所述跨年龄人脸图像数据集,设计基于多判别器框架的年龄风格生成对抗网络模型;
进行年龄风格生成对抗网络模型训练,得到相应的编码器和译码器网络参数;
输入待生成的人原始年轻人脸图像到编码器和译码器中,生成对应年老人脸图像;
所述编码器和所述译码器形成生成器,设计基于多判别器框架的年龄风格生成对抗网络模型包括以下步骤:
将所述跨年龄人脸图像数据集输入所述生成器,所述生成器采用“U-Net”结构学习年轻人脸特征到年老人脸特征的映射;
对于年龄人脸图像进行参照风格迁徙:参照人脸图像通过所述编码器得到目标年龄参照隐含特征,将年轻人脸特征与目标年龄参照隐含特征进行自适应实例归一化运算得到新的隐含特征,将新的隐含特征输入到所译码器中生成目标年龄人脸图像;
通过所述判别器采用“Patch-GAN”来判断生成的所述目标年龄人脸图像是否和原始人脸图像具有同一身份特征;
设计卷积神经网络作为年龄分类器,使用Cross Entropy损失函数作为年龄的目标函数;
保持判别器的目标函数不变,生成器的目标函数包含判别器的损失函数、年龄分类器的损失函数、以及最小化生成图像和目标人脸真值图像的L1距离;
进行年龄风格生成对抗网络的训练包括以下步骤:
将人脸年龄变换图像对、目标年龄域以及目标年龄参照人脸图像输入到年龄风格成对抗网络;
一次迭代过程中,原始人脸图像和生成的年龄变换人脸图像组成合成人脸图像对,原始人脸图像和真值年龄变换人脸图像组成真实人脸图像对,分别作为正样本和负样本输入到判别器中,得到的损失值使生成器生成的人脸图像与原始图像保持同一身份一致性;
一次迭代过程中,原始人脸图像、生成的人脸图像、真值人脸图像分为输入到年龄分类器中作年龄预测,得到的损失值使生成器生成的人脸图像拥有目标年龄的人脸特征。
2.根据权利要求1所述的方法,其特征在于:构建跨年龄人脸图像数据集包括以下步骤:
构建人脸年龄变换图像对:抽取年轻人脸图像,对于每张年轻人脸图像经过faceApp生成对应的年龄变换人脸图像,构成跨年龄人脸图像对;
构建参照人脸图像集:收集不同年龄分布的人脸图像;
对构建的所述人脸年龄变换图像对和所述参照人脸图像集中的每张图像进行年龄标注。
3.根据权利要求1所述的方法,其特征在于:输入待生成的人原始年轻人脸图像到编码器和译码器中,生成对应年老人脸图像包括以下步骤:
将新的人脸图像以及想要生成的目标年龄类标输入到训练好的生成器中,生成属于目标年龄域的年龄变换人脸图像。
4.一种生成对抗网络模型,其特征在于:包括用于生成各种隐含特征的编码器、用于根据隐含特征译码生成对应年龄的人脸图像的译码器、用于判定生成的人脸图像与原始人脸图像是否具有同一身份特征的判别器以及用于判定生成的年龄人脸图像是否属于目标年龄域的年龄分类器;
所述编码器和所述译码器形成生成器,设计基于多判别器框架的年龄风格生成对抗网络模型包括以下步骤:
将跨年龄人脸图像数据集输入所述生成器,所述生成器采用“U-Net”结构学习年轻人脸特征到年老人脸特征的映射;
对于年龄人脸图像进行参照风格迁徙:参照人脸图像通过所述编码器得到目标年龄参照隐含特征,将年轻人脸特征与目标年龄参照隐含特征进行自适应实例归一化运算得到新的隐含特征,将新的隐含特征输入到所译码器中生成目标年龄人脸图像;
通过所述判别器采用“Patch-GAN”来判断生成的所述目标年龄人脸图像是否和原始人脸图像具有同一身份特征;
设计卷积神经网络作为年龄分类器,使用Cross Entropy损失函数作为年龄的目标函数;
保持判别器的目标函数不变,生成器的目标函数包含判别器的损失函数、年龄分类器的损失函数、以及最小化生成图像和目标人脸真值图像的L1距离;
进行年龄风格生成对抗网络的训练包括以下步骤:
将人脸年龄变换图像对、目标年龄域以及目标年龄参照人脸图像输入到年龄风格成对抗网络;
一次迭代过程中,原始人脸图像和生成的年龄变换人脸图像组成合成人脸图像对,原始人脸图像和真值年龄变换人脸图像组成真实人脸图像对,分别作为正样本和负样本输入到判别器中,得到的损失值使生成器生成的人脸图像与原始图像保持同一身份一致性;
一次迭代过程中,原始人脸图像、生成的人脸图像、真值人脸图像分为输入到年龄分类器中作年龄预测,得到的损失值使生成器生成的人脸图像拥有目标年龄的人脸特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911197399.6A CN112883756B (zh) | 2019-11-29 | 2019-11-29 | 年龄变换人脸图像的生成方法及生成对抗网络模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911197399.6A CN112883756B (zh) | 2019-11-29 | 2019-11-29 | 年龄变换人脸图像的生成方法及生成对抗网络模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112883756A CN112883756A (zh) | 2021-06-01 |
CN112883756B true CN112883756B (zh) | 2023-09-15 |
Family
ID=76039623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911197399.6A Active CN112883756B (zh) | 2019-11-29 | 2019-11-29 | 年龄变换人脸图像的生成方法及生成对抗网络模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112883756B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379716B (zh) * | 2021-06-24 | 2023-12-29 | 厦门美图宜肤科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
CN113569780A (zh) * | 2021-08-03 | 2021-10-29 | 东南大学 | 一种基于梯度对抗攻击和生成对抗模型的人脸图片年龄转换方法 |
US20230080639A1 (en) * | 2021-09-13 | 2023-03-16 | Disney Enterprises, Inc. | Techniques for re-aging faces in images and video frames |
CN113888399B (zh) * | 2021-10-25 | 2024-04-16 | 河北工业大学 | 一种基于风格融合与域选结构的人脸年龄合成方法 |
CN114742695B (zh) * | 2022-03-18 | 2024-04-12 | 西北大学 | 一种基于性别约束的渐进式人脸老化系统 |
CN116343301B (zh) * | 2023-03-27 | 2024-03-08 | 滨州市沾化区退役军人服务中心 | 基于人脸识别的人员信息智能校验系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN109523463A (zh) * | 2018-11-20 | 2019-03-26 | 中山大学 | 一种基于条件生成对抗网络的人脸老化方法 |
-
2019
- 2019-11-29 CN CN201911197399.6A patent/CN112883756B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN109523463A (zh) * | 2018-11-20 | 2019-03-26 | 中山大学 | 一种基于条件生成对抗网络的人脸老化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112883756A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112883756B (zh) | 年龄变换人脸图像的生成方法及生成对抗网络模型 | |
Chen et al. | Deep feature learning for medical image analysis with convolutional autoencoder neural network | |
Pan et al. | A correlative denoising autoencoder to model social influence for top-N recommender system | |
CN111785329B (zh) | 基于对抗自动编码器的单细胞rna测序聚类方法 | |
Liu et al. | Advances in computational facial attractiveness methods | |
Zhai et al. | BeautyNet: Joint multiscale CNN and transfer learning method for unconstrained facial beauty prediction | |
CN103514443B (zh) | 一种基于lpp特征提取的单样本人脸识别迁移学习方法 | |
Ye et al. | Learning joint latent representations based on information maximization | |
KR102070049B1 (ko) | 보조정보를 이용하는 조건부 변분 오토인코더 기반의 협업 필터링 방법 및 장치 | |
Du et al. | Structured neural decoding with multitask transfer learning of deep neural network representations | |
Ning et al. | Conditional generative adversarial networks based on the principle of homologycontinuity for face aging | |
Lin et al. | PS-mixer: A polar-vector and strength-vector mixer model for multimodal sentiment analysis | |
CN114998602A (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
Li et al. | Cervical histopathology image classification using ensembled transfer learning | |
Wu et al. | Uncertainty-aware label rectification for domain adaptive mitochondria segmentation | |
Duan et al. | Age estimation using aging/rejuvenation features with device-edge synergy | |
CN113807176A (zh) | 一种基于多知识融合的小样本视频行为识别方法 | |
CN117036760A (zh) | 一种基于图对比学习的多视图聚类模型实现方法 | |
Zhou et al. | Exploring the brain-like properties of deep neural networks: A neural encoding perspective | |
Lu et al. | Soft-orthogonal constrained dual-stream encoder with self-supervised clustering network for brain functional connectivity data | |
Oladipo et al. | A novel genetic-artificial neural network based age estimation system | |
Chen et al. | Attention-aware conditional generative adversarial networks for facial age synthesis | |
CN117332784A (zh) | 一种基于分层图注意力与动态元学习的智能知识增强方法 | |
Wu et al. | Self-Weighted Contrastive Fusion for Deep Multi-View Clustering | |
Zheng et al. | Federated Learning on Non-iid Data via Local and Global Distillation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |