CN111242213B - 无标签的自动人脸属性编辑方法 - Google Patents

无标签的自动人脸属性编辑方法 Download PDF

Info

Publication number
CN111242213B
CN111242213B CN202010030106.1A CN202010030106A CN111242213B CN 111242213 B CN111242213 B CN 111242213B CN 202010030106 A CN202010030106 A CN 202010030106A CN 111242213 B CN111242213 B CN 111242213B
Authority
CN
China
Prior art keywords
face
data set
attribute
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010030106.1A
Other languages
English (en)
Other versions
CN111242213A (zh
Inventor
张辰昱
徐树公
黄剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010030106.1A priority Critical patent/CN111242213B/zh
Publication of CN111242213A publication Critical patent/CN111242213A/zh
Application granted granted Critical
Publication of CN111242213B publication Critical patent/CN111242213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种无标签的自动人脸属性编辑方法，采用人脸数据集对基于卷积神经网络的对抗网络生成器及其对应的鉴别器进行初步训练，然后以经人脸数据集训练后的分类器生成编辑标签，并与人脸数据集中的原始人脸图像合并后输入初步训练后的对抗网络生成器及其鉴别器实现网络微调，从而得到属性编辑后的图像。本发明基于深度学习中的鉴别器预测人脸图像的属性，可以同时进行图像属性的编辑和识别且无需对原图进行标签标注，适用于身份验证领域如识破罪犯的伪装、寻找走失儿童等，也可用于日常生活中的人像修整。

Description

无标签的自动人脸属性编辑方法
技术领域
本发明涉及的是一种人工智能应用领域的技术，具体是一种无标签的自动人脸属性编辑方法。
背景技术
人脸属性编辑技术就是改变人脸图像中固有属性的属性值的技术，隶属于图像翻译任务的范畴，目标在于可控的编辑属性值，同时保证人脸的同一性，即保证在属性编辑前后仍为同一人。传统的人脸属性编辑技术多依赖人力，不仅耗时耗力，而且难以做到同时编辑多张图像。随着深度学习的发展，卷积神经网络被更广泛地应用于图像之中，这极大的便利了人脸属性编辑技术的发展。
目前的人脸属性编辑技术在训练过程中只可以利用有属性原域信息标签的数据集进行训练，例如CelebA，Adience，FER+等，这种数据集包含人脸图像的量级为几十万级甚至万级。但现实生活中存在大量的百万级无标签人脸图像的数据集，例如MS-1M等，这些数据集被广泛应用于人脸识别任务中，由于没有属性原域信息标签，这些数据集无法利用在人脸属性编辑技术中的训练。
发明内容
本发明针对现有技术存在的上述不足，提出一种无标签的自动人脸属性编辑方法，基于深度学习中的鉴别器预测人脸图像的属性，可以同时进行图像属性的编辑和识别且无需对原图进行标签标注，适用于身份验证领域如识破罪犯的伪装、寻找走失儿童等，也可用于日常生活中的人像修整。
本发明是通过以下技术方案实现的：
本发明采用人脸数据集对基于卷积神经网络的对抗网络生成器及其对应的鉴别器进行初步训练，然后以经人脸数据集训练后的分类器生成编辑标签，并与人脸数据集中的原始人脸图像合并后输入初步训练后的对抗网络生成器及其鉴别器实现网络微调，从而得到属性编辑后的图像。
所述的人脸数据集包括含有标签的人脸图像数据集和不包含标签的人脸图像数据集，优选采用：包含发色、性别和是否佩戴眼镜标签的数据集CelebA、只含有年龄标签的数据集Adience、只含有情绪标签的数据集FER+以及不含标签的数据集MS-1M。
所述的初步训练是指：将人脸数据集中的任意一个中的人脸原始图像和属性原域信息标签分别输入对抗网络生成器和鉴别器中进行人脸属性编辑任务的训练，得到受目标生成域控制的欺骗图；该初步训练，以满足将欺骗图和人脸原始图像对应的属性原域信息标签结合后输入对抗网络生成器后能够得到人脸原始图像为准。
所述的分类器为基于卷积神经网络结构且与对抗网络生成器结构一致，该分类器分别采用包含标签的数据集进行训练，优选采用包含发色、性别和是否佩戴眼镜标签的数据集CelebA、采用只含有年龄标签的数据集Adience和采用只含有情绪标签的数据集FER+训练，以实现对人脸属性的精确分类。
所述的网络微调是指：采用训练后的分类器对无属性源域信息标签数据集中的人脸图像生成编辑标签，优选采用数据集MS-1M中的人脸原始图像作为输入生成伪标签；然后将数据集中的人脸原始图像和伪标签作为初步训练后的对抗网络生成器及其鉴别器的输入，生成属性编辑后的图像。
技术效果
本发明整体解决了人脸属性编辑任务中如何利用更多无属性源域信息标签的人脸图像进行训练的问题。与现有技术相比，本发明首次利用网络分类器进行人脸多属性识别任务，即属性分类器，在CelebA数据集进行多属性识别测试的精度为92.14％。
附图说明
图1为本发明的流程图；
图2为预训练网络生成器G的实现模块图；
图3为预训练网络鉴别器D的实现模块图；
图4为本发明具体流程图；
图5为本发明实验效果对比图。
具体实施方式
本实施例对鉴别器依次进行采用含标签的数据的预训练、联合属性识别网络的再训练和无标签数据的微调，使其能够从生成图中预测得到标注信息；然后将标注信息与生成图共同输入生成器得到属性编辑后的图像，具体步骤包括：
步骤1)基于对抗生成网络的思想构建一个基于卷积神经网络的生成器G以及网络结构上相对称的基于反卷积神经网络的鉴别器D，如图2和图3所示。
步骤2)将数据集CelebA中的人脸原始图像x和属性原域信息标签y分别输入生成器G和鉴别器D中进行人脸属性编辑任务的训练，得到受目标生成域c控制的欺骗图x’。
步骤2)中的训练，以满足将欺骗图x'和人脸原始图像x对应的属性原域信息标签y结合后输入生成器G后能够得到人脸原始图像x为准。
本实施例中以256一个Batch进行了10000步迭代，得到步骤2的效果如图5中1、3行所示。
步骤3)重新构建一个基于卷积神经网络结构与鉴别器D一致的分类器C用于人脸属性识别分类，分别采用包含发色、性别和是否佩戴眼镜标签的数据集CelebA、采用只含有年龄标签的数据集Adience和采用只含有情绪标签的数据集FER+训练分类器C，以实现对人脸属性的精确分类。
所述的分类器输出大小为5x1，代表需判断5种属性，分别是：性别、发色、是否佩戴眼镜、年龄、情绪。
所述的训练分类器C，即将数据集中的所有人脸图像平均分为10份，每一次迭代随机选10份中1份作为测试集，其余9份做训练集，训练任务共迭代100次；将训练集中人脸原始图像x与属性源域信息标签y输入分类器C进行对应数据集的属性识别任务的训练；所有训练集人脸图像训练完成之后，固定分类器C的参数对测试集中人脸图像x进行识别，并与属性源域信息标签y作比较得出识别准确率。
所述的训练分类器C，优选利用注意力机制Attention将分类器C中用于识别对应数据集的属性的神经元失活，即在利用数据集CelebA进行属性识别时只激活负责识别性别、发色、是否佩戴眼镜的神经元；或在利用数据集Adience进行属性识别时只激活负责识别年龄的神经元；或在利用数据集FER+进行属性识别时只激活负责识别情绪的神经元。
所述的识别准确率，包括：采用数据集CelebA的训练后的平均准确率为92.14％，其中，性别识别的准确率为98.67％，发色识别的准确率为86.12％，是否佩戴眼镜识别的准确率为91.63％；在采用数据集Adience的训练后的平均年龄识别的准确率为58.74％；在采用数据集FER+的训练后的平均情绪识别的准确率为48.94％；最终五个属性的平均识别准确率为76.82％。
步骤4)采用训练后的分类器C对无属性源域信息标签数据集中人脸图像的打标签处理，具体为将数据集MS-1M中的人脸原始图像x”输入分类器C生成伪标签y”后，将人脸原始图像x”和伪标签y”输入步骤2)训练后的生成器G和鉴别器D中进行网络微调并，得到结果即为属性编辑后的图像。
所述的网络微调，以1e-5的学习率更新G和D的参数，本实施例以128一个batch进行了50000次迭代。
最终微调效果图如图5中2、4行所示，相比预训练阶段的效果1、3行，在进行第2列所示的男女转换属性编辑任务中，经过微调的人脸图像纹理更细致，微调之后的结果在下巴处增加了胡子，更加符合事实。在进行第3列年龄属性编辑任务中，经过微调的人脸图像在变老时增加了皱纹，相比之下，预训练阶段的人脸图像变老的趋势并不明显。同时微调还可以明显改善肤色泛红光的不正常情况。
属性编辑任务要求编辑前后数据分布尽可能一致，本实施例通过计算原人脸数据集分布与经过属性编辑之后的人脸数据分布的空间距离作为衡量指标。从数据集CelebA中随机采样1000张人脸图像进行测试，采用欧式距离进行度量。经过微调之后，距离由预训练阶段的3.68下降至2.55，代表经过微调之后的网络在进行属性编辑任务时表现更好。
本实施例通过将CelebA、Adience、FER+数据集数据均分为十份进行十折交叉验证，最终平均属性识别准确率为76.82％，其中性别识别的准确率高达98.67％，而最低的则是情绪识别，准确率只有48.94％。在人脸属性编辑任务中，生成的人脸的部分细节更平滑，也更加接近现实中的人脸图像，极大地改善了肤色泛红光登不正常现象，视觉效果质量更好。
本实施例通过以上三步操作，将现有技术中未考虑到的标签给网络训练带来影响进行了消除，做到了全自动，无需标签的人脸属性编辑。相比现有技术只能一个一个地进行原始人为标注之后在进行属性编辑任务，处理效率极低，耗费大量人力资源；本发明只需指定最终要实现的人脸图像的各个属性值，将所有图一批一批输入生成器G，就可自动进行属性识别和属性编辑任务，节约时间和人力物力。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (1)

1.一种无标签的自动人脸属性编辑方法，其特征在于，采用人脸数据集对基于卷积神经网络的对抗网络生成器及其对应的鉴别器进行初步训练，然后以经人脸数据集训练后的分类器生成编辑标签，并与人脸数据集中的原始人脸图像合并后输入初步训练后的对抗网络生成器及其鉴别器实现网络微调，从而得到属性编辑后的图像；
所述的人脸数据集包括含有标签的人脸图像数据集和不包含标签的人脸图像数据集；
所述的分类器为基于卷积神经网络结构且与对抗网络生成器结构一致，该分类器分别采用包含标签的数据集进行训练；该分类器采用包含发色、性别和是否佩戴眼镜标签的数据集CelebA、采用只含有年龄标签的数据集Adience和采用只含有情绪标签的数据集FER+训练，以实现对人脸属性的精确分类；
所述的分类器输出大小为5x1，代表需判断5种属性，分别是：性别、发色、是否佩戴眼镜、年龄、情绪；
所述的网络微调是指：采用训练后的分类器对不包含标签的人脸图像数据集中的人脸图像生成编辑标签；
所述的初步训练是指：将人脸数据集中的任意一个中的人脸原始图像和属性原域信息标签分别输入对抗网络生成器和鉴别器中进行人脸属性编辑任务的训练，得到受目标生成域控制的欺骗图；该初步训练，以满足将欺骗图和人脸原始图像对应的属性原域信息标签结合后输入对抗网络生成器后能够得到人脸原始图像为准；
所述的网络微调是指：以数据集MS-1M中的人脸原始图像作为输入生成伪标签；然后将数据集中的人脸原始图像和伪标签作为初步训练后的对抗网络生成器及其鉴别器的输入，生成属性编辑后的图像；
所述的分类器通过以下方式进行训练：将数据集中的所有人脸图像平均分为10份，每一次迭代随机选10份中1份作为测试集，其余9份做训练集，训练任务共迭代100次；将训练集中人脸原始图像与属性源域信息标签输入分类器进行对应数据集的属性识别任务的训练；所有训练集人脸图像训练完成之后，固定分类器的参数对测试集中人脸图像进行识别，并与属性源域信息标签作比较得出识别准确率；
所述的训练，在利用数据集CelebA进行属性识别时只激活负责识别性别、发色、是否佩戴眼镜的神经元；或在利用数据集Adience进行属性识别时只激活负责识别年龄的神经元；或在利用数据集FER+进行属性识别时只激活负责识别情绪的神经元；
所述的识别准确率，包括：采用数据集CelebA的训练后的平均准确率为92.14％，其中，性别识别的准确率为98.67％，发色识别的准确率为86.12％，是否佩戴眼镜识别的准确率为91.63％；在采用数据集Adience的训练后的平均年龄识别的准确率为58.74％；在采用数据集FER+的训练后的平均情绪识别的准确率为48.94％；最终五个属性的平均识别准确率为76.82％。
CN202010030106.1A 2020-01-13 2020-01-13 无标签的自动人脸属性编辑方法 Active CN111242213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030106.1A CN111242213B (zh) 2020-01-13 2020-01-13 无标签的自动人脸属性编辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030106.1A CN111242213B (zh) 2020-01-13 2020-01-13 无标签的自动人脸属性编辑方法

Publications (2)

Publication Number Publication Date
CN111242213A CN111242213A (zh) 2020-06-05
CN111242213B true CN111242213B (zh) 2023-07-25

Family

ID=70872550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030106.1A Active CN111242213B (zh) 2020-01-13 2020-01-13 无标签的自动人脸属性编辑方法

Country Status (1)

Country Link
CN (1) CN111242213B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861954A (zh) * 2020-06-22 2020-10-30 北京百度网讯科技有限公司 编辑人脸的方法、装置、电子设备和可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527318A (zh) * 2017-07-17 2017-12-29 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN108171770A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于生成式对抗网络的人脸表情编辑方法
CN109255364A (zh) * 2018-07-12 2019-01-22 杭州电子科技大学 一种基于深度卷积生成对抗网络的场景识别方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN109829959A (zh) * 2018-12-25 2019-05-31 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527318A (zh) * 2017-07-17 2017-12-29 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN108171770A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于生成式对抗网络的人脸表情编辑方法
CN109255364A (zh) * 2018-07-12 2019-01-22 杭州电子科技大学 一种基于深度卷积生成对抗网络的场景识别方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN109829959A (zh) * 2018-12-25 2019-05-31 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于面部动作编码系统的表情生成对抗网络;胡晓瑞等;《计算机工程与应用》(第18期);全文 *

Also Published As

Publication number Publication date
CN111242213A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN107729819B (zh) 一种基于稀疏全卷积神经网络的人脸标注方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN110909820B (zh) 基于自监督学习的图像分类方法及系统
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
US20180285771A1 (en) Efficient machine learning method
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN104239858A (zh) 一种人脸特征验证的方法和装置
Ocquaye et al. Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
Xu et al. (Retracted) Method of generating face image based on text description of generating adversarial network
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
Tereikovskyi et al. The method of semantic image segmentation using neural networks
Lei et al. Nites: A non-parametric interpretable texture synthesis method
CN111242213B (zh) 无标签的自动人脸属性编辑方法
Sen et al. Face recognition using deep convolutional network and one-shot learning
CN114399661A (zh) 一种实例感知主干网络训练方法
CN112836755B (zh) 基于深度学习的样本图像生成方法及其系统
CN114372926A (zh) 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
CN117541844A (zh) 一种基于超图学习的弱监督组织病理学全切片图像分析方法
Nanthini et al. A Survey on Data Augmentation Techniques
Zeng et al. Controllable face aging
Ling et al. Magnetic tile surface defect detection methodology based on self-attention and self-supervised learning
CN112633288B (zh) 一种基于绘画笔触指导的人脸素描生成方法
Gong et al. Graph convolutional networks-based label distribution learning for image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant