CN107665339A - 一种通过神经网络实现人脸属性转换的方法 - Google Patents

一种通过神经网络实现人脸属性转换的方法 Download PDF

Info

Publication number
CN107665339A
CN107665339A CN201710867468.4A CN201710867468A CN107665339A CN 107665339 A CN107665339 A CN 107665339A CN 201710867468 A CN201710867468 A CN 201710867468A CN 107665339 A CN107665339 A CN 107665339A
Authority
CN
China
Prior art keywords
net
network
attribute
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710867468.4A
Other languages
English (en)
Other versions
CN107665339B (zh
Inventor
孔方圆
丁圣勇
朝红阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201710867468.4A priority Critical patent/CN107665339B/zh
Publication of CN107665339A publication Critical patent/CN107665339A/zh
Application granted granted Critical
Publication of CN107665339B publication Critical patent/CN107665339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种通过神经网络实现人脸属性转换的方法,该方法通过训练生成网络G‑Net,其中,生成网络G‑Net负责生成图像,即输入一个随机向量获得一个视觉上真实的人脸图像;训练属性判别网络E‑Net,其中,属性判别网络E‑Net负责判别属性,即判断当前图片是否具有限定的属性;在生成网络G‑Net和属性判别网络E‑Net完成训练后,把生成网络G‑Net和属性判别网络E‑Net串联在一起,即G‑Net的输出为E‑Net的输入,进行人脸属性转换操作;该方法可以快速生成效果自然的图片,解决生成结果可能是不自然人脸或者不是人脸的问题,不需要手工二次修改。

Description

一种通过神经网络实现人脸属性转换的方法
技术领域
本发明涉及数字图像处理领域,更具体地,涉及一种通过神经网络实现人脸属性转换的方法。
背景技术
人脸属性是面部图像的描述,通常人们使用PS手工修改达到人脸属性转移的效果,为了得到满意的结果需要耗费大量时间和精力。此外,使用属性判别网络反向传播修改原图的方法也可以达到人脸属性转移的目的,但该方法得到的图片可能不是人脸。
发明内容
本发明提供一种通过神经网络实现人脸属性转换的方法,该方法可以快速生成效果自然的图片。
为了达到上述技术效果,本发明的技术方案如下:
一种通过神经网络实现人脸属性转换的方法,包括以下步骤:
S1:训练生成网络G-Net,其中,生成网络G-Net负责生成图像,即输入一个随机向量获得一个视觉上真实的人脸图像;
S2:训练属性判别网络E-Net,其中,属性判别网络E-Net负责判别属性,即判断当前图片是否具有限定的属性;
S3:在生成网络G-Net和属性判别网络E-Net完成训练后,把生成网络G-Net和属性判别网络E-Net串联在一起,即G-Net的输出为E-Net的输入,进行人脸属性转换操作。
进一步地,所述生成网络G-Net的训练过程是:
S11:将辅助训练的判别网络D-Net与G-Net连接到一起,即G-Net的输出为D-Net的输入。其中判别网络D-Net是一个二分类网络,负责区分生成图片和真实图片,即判断当前图片是真实人脸图像还是G-Net输出的;
S12:固定住G-Net的网络参数,训练D-Net,目标是使得D-Net可以区分出G-Net的输出和真实人脸图像。过程为将G-Net的输出(标签标注为0)和真实人脸图像(标签标注为1)输入到D-Net,得到D-Net对于输入图片的判断结果,将判断结果与标签进行比较根据loss函数计算残差,反向传播残差,通过Adam方法学习D-Net的网络参数;
S13:固定住D-Net的网络参数,训练G-Net,目标是使得D-Net无法区分出G-Net的输出和真实人脸图像。过程为将随机向量输入到G-Net得到G-Net的生成结果,将G-Net的输出(标签标注为1)和真实人脸图像(标签标注为1)输入到D-Net,得到D-Net对于输入图片的判断结果,将判断结果与标签进行比较根据loss函数计算残差,反向传播残差,通过Adam方法学习G-Net的网络参数;
S14:不断重复S12和S13,直到D-Net无法区分G-Net输出和真实人脸图像,训练完成,D-Net不会再被使用。
进一步地,所述属性判别网络E-Net的训练过程是:
S21:将含有限定的属性的真实人脸图片(标签标注为1)以及不含限定属性的真实人脸图片(标签标注为0)输入到E-Net,得到E-Net对输入图片的属性判断结果;
S22:比较E-Net的输出与标签的差距,使用SGD方法更新参数,即通过定义loss函数衡量输出与标签的差距,然后根据loss得到残差,进行反向传播更新网络的参数;
S23:重复S21和S22,直到loss收敛,训练完成。
进一步地,所述步骤S3中进行人脸属性转换操作的过程是:
S31:z_0表示G-Net的输入,I表示G-Net的输出,O表示原始图像,首先随机产生z_0,得到I,然后定义损失函数为固定好学习到的网络参数,反向传播求O在G-Net输入空间的表示z_1,即当输入为z_1时G-Net的输出图像为O;
S32:将串接的G-Net和E-Net作为一个整体网络,固定好学习到的网络参数,使用z_1作为输入,得到对于属性的判断,E-Net输出为1表示拥有该属性,为0表示不拥有该属性,反向传播寻找z_2达到属性转换的效果,即从原来不拥有该属性变为拥有该属性,反向传播的loss函数为或者从原来拥有该属性变为不拥有该属性,反向传播的loss函数为
S33:将z_2作为G-Net的输入,得到的输出即为属性转换结果图。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过训练生成网络G-Net,其中,生成网络G-Net负责生成图像,即输入一个随机向量获得一个视觉上真实的人脸图像;训练属性判别网络E-Net,其中,属性判别网络E-Net负责判别属性,即判断当前图片是否具有限定的属性;在生成网络G-Net和属性判别网络E-Net完成训练后,把生成网络G-Net和属性判别网络E-Net串联在一起,即G-Net的输出为E-Net的输入,进行人脸属性转换操作;该方法可以快速生成效果自然的图片,解决生成结果可能是不自然人脸或者不是人脸的问题,不需要手工二次修改。
附图说明
图1为G-Net和D-Net训练结构图;
图2为G-Net和E-Net串联图;
图3为E-Net和D-Net结构图;
图4为G-Net结构图;
图5(a)为男转女结果示意图;
图5(b)为女转男结果示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本发明一种通过神经网络实现人脸属性转换的方法要训练两个网络,一个是GAN(生成式对抗网络)中的生成网络G-Net,一个是属性判别网络E-Net。其中G-Net负责生成图像,即输入一个随机向量可以获得一个视觉上很真实的人脸图像。E-Net负责判别属性,即判断当前图片是否具有我们限定的属性。G-Net和E-Net使用真实人脸图像进行训练。
G-Net的训练方法。G-Net的训练过程需要配备一个判别网络D-Net,但G-Net完成训练后,D-Net不再需要使用。训练结构图见附图图1。G-Net的定位是生成图像,D-Net的定位是尽可能区分出图像是来自G-Net还是真实的图像,因此D-Net是一个分类网络。两个网络训练的各自目标是:G-Net尽可能生成出相对与训练样本的逼真图像,D-Net则尽可能区分出图像是G-Net生成的还是真实图像,因此D-Net的训练样本包括真实的图像(标签为1)和G-Net的生成图像(标签为0)。
E-Net的训练方法。E-Net是一个分类网络,它的训练样本有两类,一类具有我们限定的属性,一类没有我们限定的属性,使用E-Net对两类样本进行分类。
在G-Net和E-Net完成训练后,把G-Net和E-Net串联在一起,即G-Net的输出为E-Net的输入,结构图见附图图2。人脸属性转换方法如下:
1.z_0表示G-Net的输入,I表示G-Net的输出,O表示原始图像。首先随机产生z_0,得到I,然后定义损失函数为固定好学习到的网络参数,反向传播求O在G-Net输入空间的表示z_1,即当输入为z_1时G-Net的输出图像为O。
2.将串接的G-Net和E-Net作为一个整体网络,固定好学习到的网络参数,使用z_1作为输入,得到对于属性的判断,E-Net输出为1表示拥有该属性,为0表示不拥有该属性。反向传播寻找z_2达到属性转换的效果,即从原来不拥有该属性变为拥有该属性,反向传播的loss函数为或者从原来拥有该属性变为不拥有该属性,反向传播的loss函数为
3.将z_2作为G-Net的输入,得到的输出即为属性转换结果图(转换结果如图5(a)-(b))。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种通过神经网络实现人脸属性转换的方法,其特征在于,包括以下步骤:
S1:训练生成网络G-Net,其中,生成网络G-Net负责生成图像,即输入一个随机向量获得一个视觉上真实的人脸图像;
S2:训练属性判别网络E-Net,其中,属性判别网络E-Net是一个二分类网络,负责判别属性,即判断当前图片是否具有限定的属性;
S3:在生成网络G-Net和属性判别网络E-Net完成训练后,把生成网络G-Net和属性判别网络E-Net串联在一起,即G-Net的输出为E-Net的输入,进行人脸属性转换操作。
2.根据权利要求1所述的通过神经网络实现人脸属性转换的方法,其特征在于,所述生成网络G-Net的训练过程是:
S11:将辅助训练的判别网络D-Net与G-Net连接到一起,即G-Net的输出为D-Net的输入。其中判别网络D-Net是一个二分类网络,负责区分生成图片和真实图片,即判断当前图片是真实人脸图像还是G-Net输出的;
S12:固定住G-Net的网络参数,训练D-Net,目标是使得D-Net可以区分出G-Net的输出和真实人脸图像。过程为将G-Net的输出(标签标注为0)和真实人脸图像(标签标注为1)输入到D-Net,得到D-Net对于输入图片的判断结果,将判断结果与标签进行比较根据loss函数计算残差,反向传播残差,通过Adam方法学习D-Net的网络参数;
S13:固定住D-Net的网络参数,训练G-Net,目标是使得D-Net无法区分出G-Net的输出和真实人脸图像。过程为将随机向量输入到G-Net得到G-Net的生成结果,将G-Net的输出(标签标注为1)和真实人脸图像(标签标注为1)输入到D-Net,得到D-Net对于输入图片的判断结果,将判断结果与标签进行比较根据loss函数计算残差,反向传播残差,通过Adam方法学习G-Net的网络参数;
S14:不断重复S12和S13,直到D-Net无法区分G-Net输出和真实人脸图像,训练完成,D-Net不会再被使用。
3.根据权利要求2所述的通过神经网络实现人脸属性转换的方法,其特征在于,所述属性判别网络E-Net的训练过程是:
S21:将含有限定的属性的真实人脸图片(标签标注为1)以及不含限定属性的真实人脸图片(标签标注为0)输入到E-Net,得到E-Net对输入图片的属性判断结果;
S22:比较E-Net的输出与标签的差距,使用SGD方法更新参数,即通过定义loss函数衡量输出与标签的差距,然后根据loss得到残差,进行反向传播更新网络的参数;
S23:重复S21和S22,直到loss收敛,训练完成。
4.根据权利要求2所述的通过神经网络实现人脸属性转换的方法,其特征在于,所述步骤S3中进行人脸属性转换操作的过程是:
S31:z_0表示G-Net的输入,I表示G-Net的输出,O表示原始图像,首先随机产生z_0,得到I,然后定义损失函数为固定好学习到的网络参数,反向传播求O在G-Net输入空间的表示z_1,即当输入为z_1时G-Net的输出图像为O;
S32:将串接的G-Net和E-Net作为一个整体网络,固定好学习到的网络参数,使用z_1作为输入,得到对于属性的判断,E-Net输出为1表示拥有该属性,为0表示不拥有该属性,反向传播寻找z_2达到属性转换的效果,即从原来不拥有该属性变为拥有该属性,反向传播的loss函数为或者从原来拥有该属性变为不拥有该属性,反向传播的loss函数为
S33:将z_2作为G-Net的输入,得到的输出即为属性转换结果图。
CN201710867468.4A 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法 Active CN107665339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710867468.4A CN107665339B (zh) 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710867468.4A CN107665339B (zh) 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法

Publications (2)

Publication Number Publication Date
CN107665339A true CN107665339A (zh) 2018-02-06
CN107665339B CN107665339B (zh) 2021-04-13

Family

ID=61097424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710867468.4A Active CN107665339B (zh) 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法

Country Status (1)

Country Link
CN (1) CN107665339B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108765261A (zh) * 2018-04-13 2018-11-06 北京市商汤科技开发有限公司 图像变换方法和装置、电子设备、计算机存储介质、程序
CN110009018A (zh) * 2019-03-25 2019-07-12 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及相关设备
CN110264398A (zh) * 2019-07-16 2019-09-20 北京市商汤科技开发有限公司 图像处理方法及装置
CN112613445A (zh) * 2020-12-29 2021-04-06 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN107330954A (zh) * 2017-07-14 2017-11-07 深圳市唯特视科技有限公司 一种基于衰减网络通过滑动属性操纵图像的方法
US9836385B2 (en) * 2014-11-24 2017-12-05 Syntel, Inc. Cross-browser web application testing tool

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
US9836385B2 (en) * 2014-11-24 2017-12-05 Syntel, Inc. Cross-browser web application testing tool
CN107330954A (zh) * 2017-07-14 2017-11-07 深圳市唯特视科技有限公司 一种基于衰减网络通过滑动属性操纵图像的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IAN J. GOODFELLOW ET AL.: "Generative Adversarial Nets", 《ARXIV:1406.2661V1[STAT.ML]》 *
RONGQIANG QIAN ET AL.: "Visual Attribute Classification Using Feature Selection and Convolutional Neural Network", 《2016 IEEE 13TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING (ICSP)》 *
WEI SHEN,RUJIE LIU: "Learning Residual Images for Face Attribute Manipulation", 《ARXIV:1612.05363V2[CS.CV]》 *
梁凌宇: "人脸图像的自适应美化与渲染研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108596024B (zh) * 2018-03-13 2021-05-04 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108765261A (zh) * 2018-04-13 2018-11-06 北京市商汤科技开发有限公司 图像变换方法和装置、电子设备、计算机存储介质、程序
CN108765261B (zh) * 2018-04-13 2022-07-05 北京市商汤科技开发有限公司 图像变换方法和装置、电子设备、计算机存储介质
CN110009018A (zh) * 2019-03-25 2019-07-12 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及相关设备
CN110009018B (zh) * 2019-03-25 2023-04-18 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及相关设备
CN110264398A (zh) * 2019-07-16 2019-09-20 北京市商汤科技开发有限公司 图像处理方法及装置
CN110264398B (zh) * 2019-07-16 2021-05-28 北京市商汤科技开发有限公司 图像处理方法及装置
CN112613445A (zh) * 2020-12-29 2021-04-06 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN112613445B (zh) * 2020-12-29 2024-04-30 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN107665339B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN107665339A (zh) 一种通过神经网络实现人脸属性转换的方法
CN110533606B (zh) 基于生成式对抗网络的安检x光违禁品图像数据增强方法
CN108229444A (zh) 一种基于整体和局部深度特征融合的行人再识别方法
CN109543722A (zh) 一种基于情感分析模型的情感趋势预测方法
CN107886089A (zh) 一种基于骨架图回归的三维人体姿态估计的方法
Subudhi et al. Differential evolution and levenberg marquardt trained neural network scheme for nonlinear system identification
CN106778796A (zh) 基于混合式协同训练的人体动作识别方法及系统
CN110097094A (zh) 一种面向人物交互的多重语义融合少样本分类方法
CN106875007A (zh) 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络
CN110349185A (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN113362299B (zh) 一种基于改进YOLOv4的X光安检图像检测方法
CN110188656A (zh) 多角度人脸表情图像的生成与识别方法
CN112132086A (zh) 一种多尺度马氏体微观组织老化与损伤分级方法
Shih et al. Development of deep learning framework for mathematical morphology
Utaminingrum et al. Alphabet Sign Language Recognition Using K-Nearest Neighbor Optimization.
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
Lin et al. Text Sentiment Detection and Classification Based on Integrated Learning Algorithm
CN107330447B (zh) 一种反馈式icm神经网络和fpf相结合的剪影识别系统
CN112365426A (zh) 一种基于双分支卷积神经网络的红外图像边缘增强方法
Kolchinski et al. Approximating human judgment of generated image quality
Reddy et al. Soft Computing and Signal Processing
Kulczycki et al. Information Technology, Systems Research, and Computational Physics
CN103955545B (zh) 一种个性化的社交网络影响识别方法
Ch'Ng et al. Modular dynamic RBF neural network for face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant