CN109509144B - 一种基于对抗生成网络的与职业相关的人脸老化方法 - Google Patents

一种基于对抗生成网络的与职业相关的人脸老化方法 Download PDF

Info

Publication number
CN109509144B
CN109509144B CN201811296157.8A CN201811296157A CN109509144B CN 109509144 B CN109509144 B CN 109509144B CN 201811296157 A CN201811296157 A CN 201811296157A CN 109509144 B CN109509144 B CN 109509144B
Authority
CN
China
Prior art keywords
network
pictures
picture
aging
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811296157.8A
Other languages
English (en)
Other versions
CN109509144A (zh
Inventor
周思宇
印鉴
赖韩江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hengdian Information Technology Co ltd
Sun Yat Sen University
Original Assignee
Guangdong Hengdian Information Technology Co ltd
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Hengdian Information Technology Co ltd, Sun Yat Sen University filed Critical Guangdong Hengdian Information Technology Co ltd
Priority to CN201811296157.8A priority Critical patent/CN109509144B/zh
Publication of CN109509144A publication Critical patent/CN109509144A/zh
Application granted granted Critical
Publication of CN109509144B publication Critical patent/CN109509144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种基于条件对抗生成网络的与职业相关的人脸老化方法。本发明首先收集一个职业面部老化数据集来研究职业对人脸老化的影响，它包括三个职业类型。其次，本发明提出了一个新的考虑职业信息的基于条件对抗生成网络的人脸老化网络，它学习了不同职业下的人脸的老化过程。本发明的老化过程中考虑了两个方向：个人特征的保留和不同职业所带来的不同的老化特征。本发明通过深度自编码网络，来保持个人的面部特征，使用了条件对抗生成网络来获得不同职业下的老化特征。

Description

一种基于对抗生成网络的与职业相关的人脸老化方法
技术领域
本发明涉及数字图像处理领域，更具体地，涉及一种基于对抗生成网络的图片生成方法。
背景技术
人脸老化也被称为面部老化，用来预测一个人的未来外观。它是各种应用程序的关键技术之一，包括寻找失踪人员，跨年龄人脸分析，娱乐应用等。最近，许多研究工作致力于生成逼真的老年人面部图片，解决了人脸老化中相同人跨年龄段数据不足的问题，提高了人脸老化图片的质量。
然而现有的工作只考虑人脸大体的老化进程，而完全忽视一个人的未来外观不同可能性。例如一个人是公众人物，比如说明星，那么由于经常出入与公众场合，他们对自己的皮肤保养会很下功夫，用很多化妆品，保养品，那么他们的皮肤就会非常的光滑，皱纹就很少，但如果一个人是一个农民，由于自身经济实力较差，无法使用较好的保养品，并且长期暴露在阳光下，皮肤就会变得非常粗糙，有很多皱纹。所以不同的职业会有不同的外观，如图1所示。现有的工作还有一个问题就是生成的图片在细节上并不完美，比如说无法正确的生成胡须，皱纹等老化细节，从而也导致无法正确生成不同职业下的老化图片，因为不同职业主要影响的就是老化细节，皱纹，胡须，肤色等。
发明内容
本发明提供一种基于对抗生成网络的与职业相关的人脸老化方法。
为了达到上述技术效果，本发明的技术方案如下：
一种基于条件对抗生成网络的与职业相关的人脸老化方法，包括以下步骤：
S1：收集与职业相关的人脸老化图片；
S2：训练分类网络区分人脸的不同职业，并根据结果探究职业对人脸老化的影响；
S3：训练生成网络来生成不同职业条件下老化的人脸，并通过之前的分类网络验证生成结果的好坏；
进一步的，所述步骤S1的具体过程是：
通过Google，Bing等图片搜索引擎来收集图片。收集的图片有三个年龄段，分别是20-30岁，30-50岁，50-80岁。其中20-30岁年龄段的图片不包含职业信息，30-50岁和50-80岁年龄段的图片包含职业信息。职业分成三个类别，分别是明星，室内工作者，室外工作者。20-30岁年龄段包含500张图片，男女各一半。30-50岁，50-80岁年龄段，每个职业400张图片，男女各一半，数据集总共的大小为2900张图片。
进一步的，所述步骤S2的具体过程是：
训练的分类模型以VGG16为基础，把1000维度的输出层改为3维度的输出层，先采用较大学习率训练输出层参数，再采用较小学习率训练整个网络参数。训练结束后网络输出每个标签的概率大小，通过概率大小和真实标签来确定分类是否成功。
进一步的，所述步骤S3的具体过程是：
S31：生成网络由两个部分组成，一个是深度自编码网络用于保存图片的个人特征，一个是条件对抗生成网络用于生成不同职业下老化的不同特征。
S32：深度自编码网络。
S321：深度自编码网络结构具有一个生成器Gold，将年轻人脸图片y生成老年图片o′a，o，这个生成器生成需要添加年龄条件a，职业条件o。
S322：深度自编码网络结构具有一个生成器Gyoung，将生成的老龄化的图片o′a，o输入Gyoung生成20-30岁图片y′，这个生成器不需要添加输入条件；
S323：通过最小化L2loss函数训练生成器Gold与Gyoung来拉近y与y′的距离来使得过程中生成的图片o′a，o具有y的特征。
S33：条件生成对抗网络。
S331：条件生成对抗网络具有一个生成器Gold，将年轻人脸图片y生成老年图片o′a，o，这个生成器生成需要添加年龄条件a，职业条件o；
S332：条件生成对抗网络具有一个判别其Dold，区分输入的图片是真实的图片oa，o还是生成的图片o′a，o，这个判别器判别需要添加年龄条件a，职业条件o；
S333：训练过程分为两个步骤，首先固定生成器Gold不变，训练判别器Dold能够最大限度区分是真实的图片oa，o还是生成的图片o′a，o；
S334：然后固定判别器Dold不变，训练生成器Gold使得判别器Dold不能够区分是真实的图片oa，o还是生成的图片o′a，o，同时使用L2范数来训练生成器，拉近真实图片与生成图片的距离；
S335：反复的执行S33与S34步骤直到Dold不能够区分是真实的图片oa，o还是生成的图片o′a，o。
S34：使用在S2中训练好的分类网络来测试生成图片是否能够被识别为想要生成的职业类型，通过测试结果来判定生成的好坏。
与现有技术相比，本发明技术方案的有益效果是：
本发明第一个探究人脸老化与职业之间的关系，并且收集了与研究相关的数据集，推动的之后的研究进程；本发明把人脸老化划分成了个人特征保留与职业老化特点两个方面，分别使用深度自编码网络来完成个人特征保留的任务，条件生成对抗网络来完成不同职业老化特点的任务，生成的老化图片在老化细节(皱纹，胡须，头发)取得了良好的效果。
附图说明
图1为本发明整体架构图与网络结构图；
图2为例1中的收集的图片样例图；
图3为例1中的不同职业的老化结果图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本发明是一种基于对抗生成网络的与职业相关的人脸老化方法，既然是第一个研究人脸老化与职业之间的关系，首先就要获得年轻(20-30岁)的人脸图片与不同职业下的中年(30-50岁)与老年(50-80岁)的人脸图片，在青年阶段(20-30岁)不考虑职业对人脸变化的影响，因为并没有入职多久，职业对人脸产生的影响不大。将类别(明星，室内工作者，室外工作者)外加一些形容词作为关键词在百度，google，Bing等其他图片搜索引擎上搜索，例如old actor，45years old teacher，old farmer等。接着在搜索到的图片中，本发明采用Face++的免费的人脸识别API算法提取出分辨大于256x256的人脸图像。20-30岁年龄段包含500张图片，男女各一半。30-50岁，50-80岁年龄段，每个职业400张图片，男女各一半，数据集总共的大小为2900张图片。图片种类及截取到的图片数量如表1：
Table l、图片种类以及各类的数量
Figure BDA0001851232370000041
在得到与年龄相关的数据库后，就可以探究职业对年龄老化的关系了。步骤如下：本发明通过训练一个分类模型区分不同职业类别的人脸，采用的方法是微调分类网络VGG16。本发明把VGG16网络维度为1000的输出层替换为维度为3的输出层，用VGG16_5来代表分类网络。训练时先使用较大学习率训练新的输出层的参数，接着使用较小学习率训练整个网络的参数。训练方法是最小化真实标签分布与生成标签分布的交叉熵。这一部分的目标函数可以表示为：
Figure BDA0001851232370000042
不同职业种类的分类结果如表2：
Table 2、不同职业种类的分类结果
明星 室内工作者 室外工作者
30-50岁 89％ 93％ 99％
50-80岁 99％ 97％ 99％
从结果可以看出来，职业的确对人得外貌是有影响的，并且随着年龄的增加，影响也逐步在增加。
在探究了人脸老化与职业之间的关系之后，就可以开始生成不同职业下人的老化图片了。本发明将生成不同职业下的人脸老化图片分成了两个部分，第一个部分是通过深度自编码网络保持人脸的个人特征，使得生成的老化图片看起来还是这个人的。第二个部分是通过条件生成对抗网络来学习不同职业条件的老化信息。
第一个部分的具体步骤如下：
深度自编码网络具有两个生成器，分别是Gold与Gyoung。Gold将年轻人脸图片y生成老年图片o′a，o，充当自编码网络中编码器的功能，这个生成器生成需要添加年龄条件a，职业条件o。Gyoung将生成的老龄化的图片o′a，o输入Gyoung生成20-30岁图片y′，充当自编码网络中的解码器的功能，这个生成器不需要添加输入条件。我们通过最小化L2的方式来训练生成器Gold与Gyoung。这一部分的目标函数就可以表示为：
Figure BDA0001851232370000051
第二个部分的具体步骤如下：
条件生成对抗网络具有一个生成器一个判别器，分别是Gold与Dold。Gold与深度自编码网络中的Gold是同一个网络，之前的深度自编码网络就是为了使得Gold生成的老化图片能够保留原图的个人特征。在条件对抗生成网络中，需要循环一下步骤：
1.先训练判别器Dold，使他能够准确区分生成的图片o′a，o与真实的图片oa，o。当生成的图片o′a，o，年龄a，职业o输入进判别器Dold的时候，使得判别器Dold的输出为0，当真实的图片oa，o，年龄a，职业o输入进判别器Dold的时候，使得判别器Dold的输出为1。
2.再训练生成器Gold，使他生成的图片不能被之前训练的判别器Dold所区分。使得当生成的图片o′a，o，年龄a，职业o输入进判别器Dold的时候，使得判别器Dold的输出为1。条件对抗生成网络部分的目标函数可以表示为：
Figure BDA0001851232370000052
3.为了使得不同职业年龄之间的图片的差异性更大，在训练生成器Gold的过程中我们引入了triplet rank loss。Triplet rank loss的思想就是当前条件下生成的图片与当前条件下真实的图片的距离比非当前条件下生成的图片与当前条件下真实的图片的距离要近。这一部分的目标函数可以表示为：
Figure BDA0001851232370000061
其中
Figure BDA0001851232370000062
整个条件对抗生成网络的目标函数可以表示为
Loccupational-aware＝LCGAN+λLTRL
通过条件对抗生成网络的方式，我们可以获得更好的效果。之后我们用之前训练的职业分类器网络来区分我们生成的不同职业下的老化图片，分类结果如表3：
Table 3、生成的不同职业种类人脸的分类结果
明星 室内工作者 室外工作者
30-50岁 73％ 70％ 93％
50-80岁 85％ 80％ 95％
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (1)

1.一种基于条件对抗生成网络的与职业相关的人脸老化方法，其特征在于，包括以下步骤：
S1：收集与职业相关的人脸老化图片；所述步骤S1的具体过程是：
通过图片搜索引擎来收集图片；收集的图片有三个年龄段，分别是20-30岁，30-50岁，50-80岁；其中20-30岁年龄段的图片不包含职业信息，30-50岁和50-80岁年龄段的图片包含职业信息；职业分成三个类别，分别是明星，室内工作者，室外工作者；20-30岁年龄段包含500张图片，男女各一半；30-50岁，50-80岁年龄段，每个职业400张图片，男女各一半，数据集总共的大小为2900张图片；
S2：训练分类网络区分人脸的不同职业，并根据结果探究职业对人脸老化的影响；所述步骤S2的具体过程是：
训练的分类模型以VGG16为基础，把1000维度的输出层改为3维度的输出层，先采用较大学习率训练输出层参数，再采用较小学习率训练整个网络参数；训练结束后网络输出每个标签的概率大小，通过概率大小和真实标签来确定分类是否成功；
S3：训练生成网络来生成不同职业条件下老化的人脸，并通过之前的分类网络验证生成结果的好坏；所述步骤S3的具体过程是：
S31：生成网络由两个部分组成，一个是深度自编码网络用于保存图片的个人特征，一个是条件对抗生成网络用于生成不同职业下老化的不同特征；
S32：深度自编码网；
S321：深度自编码网络结构具有一个生成器
Figure QLYQS_1
，将年轻人脸图片/>
Figure QLYQS_2
生成老年图片/>
Figure QLYQS_3
，这个生成器生成需要添加年龄条件a，职业条件o；
S322：深度自编码网络结构具有一个生成器
Figure QLYQS_4
，将生成的老龄化的图片/>
Figure QLYQS_5
输入
Figure QLYQS_6
生成20-30岁图片/>
Figure QLYQS_7
，这个生成器不需要添加输入条件；
S323：通过最小化
Figure QLYQS_8
loss函数训练生成器/>
Figure QLYQS_9
与/>
Figure QLYQS_10
来拉近y与/>
Figure QLYQS_11
的距离来使得过程中生成的图片/>
Figure QLYQS_12
具有y的特征；
S33：条件生成对抗网络；
S331：条件生成对抗网络具有一个生成器
Figure QLYQS_13
，将年轻人脸图片/>
Figure QLYQS_14
生成老年图片/>
Figure QLYQS_15
，这个生成器生成需要添加年龄条件a，职业条件o；
S332：条件生成对抗网络具有一个判别其
Figure QLYQS_16
，区分输入的图片是真实的图片/>
Figure QLYQS_17
还是生成的图片/>
Figure QLYQS_18
，这个判别器判别需要添加年龄条件a，职业条件o；
S333：训练过程分为两个步骤，首先固定生成器
Figure QLYQS_19
不变，训练判别器/>
Figure QLYQS_20
能够最大限度区分是真实的图片/>
Figure QLYQS_21
还是生成的图片/>
Figure QLYQS_22
；
S334：然后固定判别器
Figure QLYQS_23
不变，训练生成器/>
Figure QLYQS_24
使得判别器/>
Figure QLYQS_25
不能够区分是真实的图片/>
Figure QLYQS_26
还是生成的图片/>
Figure QLYQS_27
，同时使用/>
Figure QLYQS_28
范数来训练生成器，拉近真实图片与生成图片的距离；
S335：反复的执行S33与S34步骤直到
Figure QLYQS_29
不能够区分是真实的图片/>
Figure QLYQS_30
还是生成的图片
Figure QLYQS_31
；/>
S34：使用在S2中训练好的分类网络来测试生成图片是否能够被识别为想要生成的职业类型，通过测试结果来判定生成的好坏。
CN201811296157.8A 2018-11-01 2018-11-01 一种基于对抗生成网络的与职业相关的人脸老化方法 Active CN109509144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811296157.8A CN109509144B (zh) 2018-11-01 2018-11-01 一种基于对抗生成网络的与职业相关的人脸老化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811296157.8A CN109509144B (zh) 2018-11-01 2018-11-01 一种基于对抗生成网络的与职业相关的人脸老化方法

Publications (2)

Publication Number Publication Date
CN109509144A CN109509144A (zh) 2019-03-22
CN109509144B true CN109509144B (zh) 2023-05-23

Family

ID=65747356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811296157.8A Active CN109509144B (zh) 2018-11-01 2018-11-01 一种基于对抗生成网络的与职业相关的人脸老化方法

Country Status (1)

Country Link
CN (1) CN109509144B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322394A (zh) * 2019-06-18 2019-10-11 中国科学院自动化研究所 基于属性引导的人脸年龄老化图像对抗生成方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680119B (zh) * 2013-11-29 2017-11-28 华为技术有限公司 图像身份识别方法和相关装置及身份识别系统
US10111632B2 (en) * 2017-01-31 2018-10-30 Siemens Healthcare Gmbh System and method for breast cancer detection in X-ray images
CN107977629A (zh) * 2017-12-04 2018-05-01 电子科技大学 一种基于特征分离对抗网络的人脸图像衰老合成方法
CN108520503B (zh) * 2018-04-13 2020-12-22 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于对抗生成网络的身份保持人脸老化;汤旭;《电子设计工程》;20180405;第26卷(第7期);第174-178页，附图1-4 *

Also Published As

Publication number Publication date
CN109509144A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
Frowd et al. EvoFIT: A holistic, evolutionary facial imaging technique for creating composites
CN107169455B (zh) 基于深度局部特征的人脸属性识别方法
CN109815826A (zh) 人脸属性模型的生成方法及装置
JP7224323B2 (ja) イメージ生成システム及びこれを利用したイメージ生成方法
Zafeiriou et al. Probabilistic slow features for behavior analysis
CN104881852B (zh) 基于免疫克隆和模糊核聚类的图像分割方法
CN110415261B (zh) 一种分区域训练的表情动画转换方法及系统
Agbo-Ajala et al. A lightweight convolutional neural network for real and apparent age estimation in unconstrained face images
CN109509144B (zh) 一种基于对抗生成网络的与职业相关的人脸老化方法
Matuszewski et al. High-resolution comprehensive 3-D dynamic database for facial articulation analysis
CN110598719A (zh) 一种依据视觉属性描述自动生成人脸图像的方法
KR102247481B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
Zeinstra et al. ForenFace: a unique annotated forensic facial image dataset and toolset
Thengane et al. Cycle face aging generative adversarial networks
Liu et al. A3GAN: An attribute-aware attentive generative adversarial network for face aging
CN115690276A (zh) 虚拟形象的视频生成方法、装置、计算机设备和存储介质
Zhu et al. StyleGAN3: generative networks for improving the equivariance of translation and rotation
Zeng et al. Controllable face aging
Rudolph et al. Faces: Faces, art, and computerized evaluation systems–a feasibility study of the application of face recognition technology to works of portrait
JP4893968B2 (ja) 顔画像の合成方法
Alattab et al. Semantic features selection and representation for facial image retrieval system
Tripathi et al. Facial expression recognition using data mining algorithm
CN106407884A (zh) 一种快速协同匹配的有遮挡人脸识别方法
Kumar et al. A pragmatic approach to face recognition using a novel deep learning algorithm
Deshmukh et al. Human face aging based on deep learning: a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant