CN107665339B - 一种通过神经网络实现人脸属性转换的方法 - Google Patents

一种通过神经网络实现人脸属性转换的方法 Download PDF

Info

Publication number
CN107665339B
CN107665339B CN201710867468.4A CN201710867468A CN107665339B CN 107665339 B CN107665339 B CN 107665339B CN 201710867468 A CN201710867468 A CN 201710867468A CN 107665339 B CN107665339 B CN 107665339B
Authority
CN
China
Prior art keywords
net
network
namely
picture
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710867468.4A
Other languages
English (en)
Other versions
CN107665339A (zh
Inventor
孔方圆
丁圣勇
朝红阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201710867468.4A priority Critical patent/CN107665339B/zh
Publication of CN107665339A publication Critical patent/CN107665339A/zh
Application granted granted Critical
Publication of CN107665339B publication Critical patent/CN107665339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种通过神经网络实现人脸属性转换的方法，该方法通过训练生成网络G‑Net，其中，生成网络G‑Net负责生成图像，即输入一个随机向量获得一个视觉上真实的人脸图像；训练属性判别网络E‑Net，其中，属性判别网络E‑Net负责判别属性，即判断当前图片是否具有限定的属性；在生成网络G‑Net和属性判别网络E‑Net完成训练后，把生成网络G‑Net和属性判别网络E‑Net串联在一起，即G‑Net的输出为E‑Net的输入，进行人脸属性转换操作；该方法可以快速生成效果自然的图片，解决生成结果可能是不自然人脸或者不是人脸的问题，不需要手工二次修改。

Description

一种通过神经网络实现人脸属性转换的方法
技术领域
本发明涉及数字图像处理领域，更具体地，涉及一种通过神经网络实现人脸属性转换的方法。
背景技术
人脸属性是面部图像的描述，通常人们使用PS手工修改达到人脸属性转移的效果，为了得到满意的结果需要耗费大量时间和精力。此外，使用属性判别网络反向传播修改原图的方法也可以达到人脸属性转移的目的，但该方法得到的图片可能不是人脸。
发明内容
本发明提供一种通过神经网络实现人脸属性转换的方法，该方法可以快速生成效果自然的图片。
为了达到上述技术效果，本发明的技术方案如下：
一种通过神经网络实现人脸属性转换的方法，包括以下步骤：
S1：训练生成网络G-Net，其中，生成网络G-Net负责生成图像，即输入一个随机向量获得一个视觉上真实的人脸图像；
S2：训练属性判别网络E-Net，其中，属性判别网络E-Net负责判别属性，即判断当前图片是否具有限定的属性；
S3：在生成网络G-Net和属性判别网络E-Net完成训练后，把生成网络G-Net和属性判别网络E-Net串联在一起，即G-Net的输出为E-Net的输入，进行人脸属性转换操作。
进一步地，所述生成网络G-Net的训练过程是：
S11：将辅助训练的判别网络D-Net与G-Net连接到一起，即G-Net的输出为D-Net的输入。其中判别网络D-Net是一个二分类网络，负责区分生成图片和真实图片，即判断当前图片是真实人脸图像还是G-Net输出的；
S12：固定住G-Net的网络参数，训练D-Net，目标是使得D-Net可以区分出G-Net的输出和真实人脸图像。过程为将G-Net的输出(标签标注为0)和真实人脸图像(标签标注为1)输入到D-Net，得到D-Net对于输入图片的判断结果，将判断结果与标签进行比较根据loss函数计算残差，反向传播残差，通过Adam方法学习D-Net的网络参数；
S13：固定住D-Net的网络参数，训练G-Net，目标是使得D-Net无法区分出G-Net的输出和真实人脸图像。过程为将随机向量输入到G-Net得到G-Net的生成结果，将G-Net的输出(标签标注为1)和真实人脸图像(标签标注为1)输入到D-Net，得到D-Net对于输入图片的判断结果，将判断结果与标签进行比较根据loss函数计算残差，反向传播残差，通过Adam方法学习G-Net的网络参数；
S14：不断重复S12和S13，直到D-Net无法区分G-Net输出和真实人脸图像，训练完成，D-Net不会再被使用。
进一步地，所述属性判别网络E-Net的训练过程是：
S21：将含有限定的属性的真实人脸图片(标签标注为1)以及不含限定属性的真实人脸图片(标签标注为0)输入到E-Net，得到E-Net对输入图片的属性判断结果；
S22：比较E-Net的输出与标签的差距，使用SGD方法更新参数，即通过定义loss函数衡量输出与标签的差距，然后根据loss得到残差，进行反向传播更新网络的参数；
S23：重复S21和S22，直到loss收敛，训练完成。
进一步地，所述步骤S3中进行人脸属性转换操作的过程是：
S31：z_0表示G-Net的输入，I表示G-Net的输出，O表示原始图像，首先随机产生z_0，得到I，然后定义损失函数为
Figure BDA0001416429970000021
固定好学习到的网络参数，反向传播求O在G-Net输入空间的表示z_1，即当输入为z_1时G-Net的输出图像为O；
S32：将串接的G-Net和E-Net作为一个整体网络，固定好学习到的网络参数，使用z_1作为输入，得到对于属性的判断，E-Net输出为1表示拥有该属性，为0表示不拥有该属性，反向传播寻找z_2达到属性转换的效果，即从原来不拥有该属性变为拥有该属性，反向传播的loss函数为
Figure BDA0001416429970000022
或者从原来拥有该属性变为不拥有该属性，反向传播的loss函数为
Figure BDA0001416429970000023
S33：将z_2作为G-Net的输入，得到的输出即为属性转换结果图。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过训练生成网络G-Net，其中，生成网络G-Net负责生成图像，即输入一个随机向量获得一个视觉上真实的人脸图像；训练属性判别网络E-Net，其中，属性判别网络E-Net负责判别属性，即判断当前图片是否具有限定的属性；在生成网络G-Net和属性判别网络E-Net完成训练后，把生成网络G-Net和属性判别网络E-Net串联在一起，即G-Net的输出为E-Net的输入，进行人脸属性转换操作；该方法可以快速生成效果自然的图片，解决生成结果可能是不自然人脸或者不是人脸的问题，不需要手工二次修改。
附图说明
图1为G-Net和D-Net训练结构图；
图2为G-Net和E-Net串联图；
图3为E-Net和D-Net结构图；
图4为G-Net结构图；
图5(a)为男转女结果示意图；
图5(b)为女转男结果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本发明一种通过神经网络实现人脸属性转换的方法要训练两个网络，一个是GAN(生成式对抗网络)中的生成网络G-Net，一个是属性判别网络E-Net。其中G-Net负责生成图像，即输入一个随机向量可以获得一个视觉上很真实的人脸图像。E-Net负责判别属性，即判断当前图片是否具有我们限定的属性。G-Net和E-Net使用真实人脸图像进行训练。
G-Net的训练方法。G-Net的训练过程需要配备一个判别网络D-Net，但G-Net完成训练后，D-Net不再需要使用。训练结构图见附图图1。G-Net的定位是生成图像，D-Net的定位是尽可能区分出图像是来自G-Net还是真实的图像，因此D-Net是一个分类网络。两个网络训练的各自目标是：G-Net尽可能生成出相对与训练样本的逼真图像，D-Net则尽可能区分出图像是G-Net生成的还是真实图像，因此D-Net的训练样本包括真实的图像(标签为1)和G-Net的生成图像(标签为0)。
E-Net的训练方法。E-Net是一个分类网络，它的训练样本有两类，一类具有我们限定的属性，一类没有我们限定的属性，使用E-Net对两类样本进行分类。
在G-Net和E-Net完成训练后，把G-Net和E-Net串联在一起，即G-Net的输出为E-Net的输入，结构图见附图图2。人脸属性转换方法如下：
1.z_0表示G-Net的输入，I表示G-Net的输出，O表示原始图像。首先随机产生z_0，得到I，然后定义损失函数为
Figure BDA0001416429970000041
固定好学习到的网络参数，反向传播求O在G-Net输入空间的表示z_1，即当输入为z_1时G-Net的输出图像为O。
2.将串接的G-Net和E-Net作为一个整体网络，固定好学习到的网络参数，使用z_1作为输入，得到对于属性的判断，E-Net输出为1表示拥有该属性，为0表示不拥有该属性。反向传播寻找z_2达到属性转换的效果，即从原来不拥有该属性变为拥有该属性，反向传播的loss函数为
Figure BDA0001416429970000042
或者从原来拥有该属性变为不拥有该属性，反向传播的loss函数为
Figure BDA0001416429970000043
3.将z_2作为G-Net的输入，得到的输出即为属性转换结果图(转换结果如图5(a)-(b))。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种通过神经网络实现人脸属性转换的方法，其特征在于，包括以下步骤：
S1：训练生成网络G-Net，其中，生成网络G-Net负责生成图像，即输入一个随机向量获得一个视觉上真实的人脸图像；
S2：训练属性判别网络E-Net，其中，属性判别网络E-Net是一个二分类网络，负责判别属性，即判断当前图片是否具有限定的属性；
S3：在生成网络G-Net和属性判别网络E-Net完成训练后，把生成网络G-Net和属性判别网络E-Net串联在一起，即G-Net的输出为E-Net的输入，进行人脸属性转换操作；
所述步骤S3中进行人脸属性转换操作的过程是：
S31：z_0表示G-Net的输入，I表示G-Net的输出，O表示原始图像，首先随机产生z_0，得到I，然后定义损失函数为
Figure FDA0002954825980000011
固定好学习到的网络参数，反向传播求O在G-Net输入空间的表示z_1，即当输入为z_1时G-Net的输出图像为O；
S32：将串接的G-Net和E-Net作为一个整体网络，固定好学习到的网络参数，使用z_1作为输入，得到对于属性的判断，E-Net输出为1表示拥有该属性，为0表示不拥有该属性，反向传播寻找z_2达到属性转换的效果，即从原来不拥有该属性变为拥有该属性，反向传播的loss函数为
Figure FDA0002954825980000012
或者从原来拥有该属性变为不拥有该属性，反向传播的loss函数为
Figure FDA0002954825980000013
S33：将z_2作为G-Net的输入，得到的输出即为属性转换结果图。
2.根据权利要求1所述的通过神经网络实现人脸属性转换的方法，其特征在于，所述生成网络G-Net的训练过程是：
S11：将辅助训练的判别网络D-Net与G-Net连接到一起，即G-Net的输出为D-Net的输入，其中判别网络D-Net是一个二分类网络，负责区分生成图片和真实图片，即判断当前图片是真实人脸图像还是G-Net输出的；
S12：固定住G-Net的网络参数，训练D-Net，目标是使得D-Net可以区分出G-Net的输出和真实人脸图像，过程为将G-Net的输出即标签标注为0的图片和真实人脸图像即标签标注为1的图片输入到D-Net，得到D-Net对于输入图片的判断结果，将判断结果与标签进行比较根据loss函数计算残差，反向传播残差，通过Adam方法学习D-Net的网络参数；
S13：固定住D-Net的网络参数，训练G-Net，目标是使得D-Net无法区分出G-Net的输出和真实人脸图像，过程为将随机向量输入到G-Net得到G-Net的生成结果，将G-Net的输出即标签标注为1的图片和真实人脸图像即标签标注为1的图片输入到D-Net，得到D-Net对于输入图片的判断结果，将判断结果与标签进行比较根据loss函数计算残差，反向传播残差，通过Adam方法学习G-Net的网络参数；
S14：不断重复S12和S13，直到D-Net无法区分G-Net输出和真实人脸图像，训练完成，D-Net不会再被使用。
3.根据权利要求2所述的通过神经网络实现人脸属性转换的方法，其特征在于，所述属性判别网络E-Net的训练过程是：
S21：将含有限定的属性的真实人脸图片即标签标注为1的图片以及不含限定属性的真实人脸图片即标签标注为0的图片输入到E-Net，得到E-Net对输入图片的属性判断结果；
S22：比较E-Net的输出与标签的差距，使用SGD方法更新参数，即通过定义loss函数衡量输出与标签的差距，然后根据loss得到残差，进行反向传播更新网络的参数；
S23：重复S21和S22，直到loss收敛，训练完成。
CN201710867468.4A 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法 Active CN107665339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710867468.4A CN107665339B (zh) 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710867468.4A CN107665339B (zh) 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法

Publications (2)

Publication Number Publication Date
CN107665339A CN107665339A (zh) 2018-02-06
CN107665339B true CN107665339B (zh) 2021-04-13

Family

ID=61097424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710867468.4A Active CN107665339B (zh) 2017-09-22 2017-09-22 一种通过神经网络实现人脸属性转换的方法

Country Status (1)

Country Link
CN (1) CN107665339B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596024B (zh) * 2018-03-13 2021-05-04 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108765261B (zh) * 2018-04-13 2022-07-05 北京市商汤科技开发有限公司 图像变换方法和装置、电子设备、计算机存储介质
CN110009018B (zh) * 2019-03-25 2023-04-18 腾讯科技（深圳）有限公司 一种图像生成方法、装置以及相关设备
CN110264398B (zh) * 2019-07-16 2021-05-28 北京市商汤科技开发有限公司 图像处理方法及装置
CN112613445B (zh) * 2020-12-29 2024-04-30 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN107330954A (zh) * 2017-07-14 2017-11-07 深圳市唯特视科技有限公司 一种基于衰减网络通过滑动属性操纵图像的方法
US9836385B2 (en) * 2014-11-24 2017-12-05 Syntel, Inc. Cross-browser web application testing tool

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
US9836385B2 (en) * 2014-11-24 2017-12-05 Syntel, Inc. Cross-browser web application testing tool
CN107330954A (zh) * 2017-07-14 2017-11-07 深圳市唯特视科技有限公司 一种基于衰减网络通过滑动属性操纵图像的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Generative Adversarial Nets;Ian J. Goodfellow et al.;《arXiv:1406.2661v1[stat.ML]》;20140630;第1-9页 *
Learning Residual Images for Face Attribute Manipulation;Wei Shen，Rujie Liu;《arXiv:1612.05363v2[cs.CV]》;20161231;第1-9页 *
Visual Attribute Classification Using Feature Selection and Convolutional Neural Network;Rongqiang Qian et al.;《2016 IEEE 13th International Conference on Signal Processing (ICSP)》;20170316;第649-653页 *
人脸图像的自适应美化与渲染研究;梁凌宇;《中国博士学位论文全文数据库 信息科技辑》;20141115;论文第52-74页 *

Also Published As

Publication number Publication date
CN107665339A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107665339B (zh) 一种通过神经网络实现人脸属性转换的方法
CN109636658B (zh) 一种基于图卷积的社交网络对齐方法
Dehghan et al. Who do i look like? determining parent-offspring resemblance via gated autoencoders
CN106650756A (zh) 基于知识迁移的多模态循环神经网络的图像文本描述方法
Lin et al. Hl-net: Heterophily learning network for scene graph generation
CN106203628B (zh) 一种增强深度学习算法鲁棒性的优化方法和系统
CN111291170B (zh) 一种基于智能客服的会话推荐方法及相关装置
CN110413769A (zh) 场景分类方法、装置、存储介质及其电子设备
EP3534276A1 (en) Sequence conversion method and device
CN115064020B (zh) 基于数字孪生技术的智慧教学方法、系统及存储介质
CN109919252A (zh) 利用少数标注图像生成分类器的方法
EP4016477A1 (en) Method and apparatus for character recognition, electronic device, and storage medium
CN110795973A (zh) 多模态融合的动作识别方法、装置及计算机可读存储介质
US20220237263A1 (en) Method for outputting, computer-readable recording medium storing output program, and output device
CN107169958B (zh) 机器学习、背景抑制与感知正反馈相结合的视觉显著性检测方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Shen et al. Fishrecgan: An end to end gan based network for fisheye rectification and calibration
Liu et al. Probabilistic labeling for efficient referential grounding based on collaborative discourse
Chelliah et al. Similarity-based optimised and adaptive adversarial attack on image classification using neural network
JPWO2019180868A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Renjith et al. Indian sign language recognition: A comparative analysis using cnn and rnn models
CN116401372A (zh) 知识图谱表示学习方法、装置、电子设备及可读存储介质
Jiang et al. High precision deep learning-based tabular position detection
CN114139709A (zh) 基于图神经网络的电力专业知识图谱自动补全方法
WO2022144979A1 (ja) 学習装置、学習方法及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant