CN113421185A - 一种基于StyleGAN的移动端人脸年龄编辑方法 - Google Patents

一种基于StyleGAN的移动端人脸年龄编辑方法 Download PDF

Info

Publication number
CN113421185A
CN113421185A CN202110966926.6A CN202110966926A CN113421185A CN 113421185 A CN113421185 A CN 113421185A CN 202110966926 A CN202110966926 A CN 202110966926A CN 113421185 A CN113421185 A CN 113421185A
Authority
CN
China
Prior art keywords
face
model
age
picture
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110966926.6A
Other languages
English (en)
Other versions
CN113421185B (zh
Inventor
胡滨
任永腾
李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Light Technology Co ltd
Original Assignee
Wuhan Light Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Light Technology Co ltd filed Critical Wuhan Light Technology Co ltd
Priority to CN202110966926.6A priority Critical patent/CN113421185B/zh
Publication of CN113421185A publication Critical patent/CN113421185A/zh
Application granted granted Critical
Publication of CN113421185B publication Critical patent/CN113421185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于StyleGAN的移动端人脸年龄编辑方法：S1、准备人脸图片训练数据集，并对人脸图片训练数据集中的部分人脸图片标注得到年龄标签；S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型；S3、利用人脸图片训练数据集中的部分数据和特征提取模型训练人脸年龄分类器；S4、根据用户配置和预期等待时间选择分辨率和通道系数，输入生成模型得到子模型；S5、对于人脸年龄分类器，提取其系数，即为能够判断人脸年龄的属性向量；S6、利用子模型以及所述属性向量对待编辑人脸图片进行编辑。本发明技术方案可以降低部署和维护成本，增强用户数据安全性，避免个人隐私泄漏，去除软件对网络的依赖，使得用户可以随时随地的使用软件。

Description

一种基于StyleGAN的移动端人脸年龄编辑方法
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于StyleGAN的移动端人脸年龄编辑方法。
背景技术
生成对抗网络（Generative Adversarial Networks，GAN）是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块：生成模型和判别模型的互相博弈学习产生相当好的输出。GAN能够生成不存在于真实世界的数据，在图像生成、图像去噪、数据增强方面有着重要的作用。
StyleGAN受风格迁移启发而设计了一种新的生成器网络结构。新的网络结构可以通过无监督式的自动学习对图像的高层语义属性做一定解耦分离，例如人脸图像的姿势和身份、所生成图像的随机变化如雀斑和头发等。也可以做到一定程度上的控制合成。
具体到人脸年龄编辑上来说，人脸年龄编辑是指通过给定一幅人脸图像，可以生成该人物在不同年龄段的图像。人脸年龄编辑已经成为电影后期制作的重要任务，在普通摄影中也越来越流行。在跨年龄人脸识别、娱乐、刑侦等领域也有着广泛的应用。例如，它可以用来帮助寻找走失的孩子或预测某人未来的样子。所以人脸年龄编辑还是具有很大的应用价值的。
StyleGAN已经可以实现逼真的图像合成，但由于大规模生成器的计算成本较高，通常不能在移动端设备（如智能手机）上直接运行，需要部署在具有较高的硬件配置的服务器上，这就不可避免的需要用户上传人脸图片，对用户的个人隐私造成很大的风险。此外由于需要用到网络，限制了用户的使用场景，网络不佳时影响数据上传和下载时的等待时间，严重影响软件批量部署和用户的使用体验。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于StyleGAN的移动端人脸年龄编辑方法，其目的在于直接部署在手机进行人脸年龄的编辑，由此解决系统部署成本较高、需要上传图片数据、处理时间较长的技术问题。
为实现上述目的，本发明提供了一种基于StyleGAN的移动端人脸年龄编辑方法，包括：
S1、准备人脸图片训练数据集，并对人脸图片训练数据集中的部分人脸图片打分得到年龄标签；
S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型；
S3、利用人脸图片训练数据集和特征提取模型训练人脸年龄分类器；
S4、根据用户配置和预期等待时间选择分辨率
Figure 957525DEST_PATH_IMAGE001
和通道系数
Figure 982113DEST_PATH_IMAGE002
，输入生成模型
Figure 596765DEST_PATH_IMAGE003
得到子模型
Figure 703873DEST_PATH_IMAGE004
；
S5、对于人脸年龄分类器
Figure 921228DEST_PATH_IMAGE005
，提取其系数
Figure 331481DEST_PATH_IMAGE006
，即为能够判断人脸年龄的属性向量；
S6、利用子模型对待编辑人脸图片进行编辑。
本发明的一个实施例中，所述步骤S1包括：
S11、挑选一批人脸图片，使用开源模型得到每张人脸的关键点，并根据关键点将人脸图片通过仿射变换对齐到基准位置，得到人脸图片训练数据集
Figure 851455DEST_PATH_IMAGE007
；
S12、将人脸图片训练数据集
Figure 307844DEST_PATH_IMAGE007
中的部分人脸图片按照年龄大小进行标注，年龄大于45岁的标签为1，年龄小于45岁的标签为0，得到年龄标签集
Figure 938677DEST_PATH_IMAGE008
。
本发明的一个实施例中，所述步骤S2中训练特征提取模型包括：
S21、定义自编码器模型，包括编码器
Figure 531332DEST_PATH_IMAGE009
和解码器
Figure 222208DEST_PATH_IMAGE010
；
S22、对于从人脸图片训练数据集
Figure 306838DEST_PATH_IMAGE007
中获取的人脸图片
Figure 865996DEST_PATH_IMAGE011
，将人脸图片
Figure 719682DEST_PATH_IMAGE011
输入
Figure 581459DEST_PATH_IMAGE009
得到特征向量
Figure 278019DEST_PATH_IMAGE012
，将特征向量
Figure 513304DEST_PATH_IMAGE013
输入
Figure 487076DEST_PATH_IMAGE010
得到解码后的图像
Figure 378809DEST_PATH_IMAGE014
；
S23、定义损失值
Figure 172453DEST_PATH_IMAGE015
，通过BP算法得出
Figure 73413DEST_PATH_IMAGE016
值对模型中每个参数对的梯度值
Figure 370533DEST_PATH_IMAGE017
，根据梯度下降算法和梯度值对模型中的参数进行更新；
S24、重复步骤S22～S23，直到重复次数大于设定次数或者损失值小于设定值，将自编码器模型中的编码器及其参数单独保存，即为特征提取模型
Figure 698746DEST_PATH_IMAGE018
。
本发明的一个实施例中，所述步骤S2中训练生成模型包括：
S25、定义生成模型
Figure 714107DEST_PATH_IMAGE003
和对应的判别器
Figure 418757DEST_PATH_IMAGE019
；
S26、对于从人脸图片训练数据集
Figure 101543DEST_PATH_IMAGE007
中获取的人脸图片
Figure 476023DEST_PATH_IMAGE011
，将人脸图片
Figure 103314DEST_PATH_IMAGE011
输入S24中得到的特征提取模型
Figure 221442DEST_PATH_IMAGE018
得到特征向量
Figure 352210DEST_PATH_IMAGE013
；
S27、随机选取分辨率
Figure 22225DEST_PATH_IMAGE001
，将特征向量
Figure 9248DEST_PATH_IMAGE013
和分辨率
Figure 790123DEST_PATH_IMAGE001
输入生成模型
Figure 181921DEST_PATH_IMAGE003
得到训练后的生成模型
Figure 22838DEST_PATH_IMAGE003
；
S28、对每一卷积层，对应到输出特征上，将其分为前
Figure 500087DEST_PATH_IMAGE020
个通道，其中
Figure 84652DEST_PATH_IMAGE002
取值为
Figure 330956DEST_PATH_IMAGE021
，
Figure 483720DEST_PATH_IMAGE022
为这一层的卷积核个数，每次训练时取该层的前
Figure 307320DEST_PATH_IMAGE020
个通道；
S29、选定好
Figure 570942DEST_PATH_IMAGE001
和
Figure 796387DEST_PATH_IMAGE002
之后，即可得到子模型
Figure 854473DEST_PATH_IMAGE004
；
S210、重复步骤S27～S29，直到重复次数大于设定次数或者损失值小于设定值，得到生成模型
Figure 430948DEST_PATH_IMAGE003
。
本发明的一个实施例中，所述步骤S3包括：
S31、定义二分类支持向量机
Figure 232682DEST_PATH_IMAGE023
；
S32、对于从人脸图片训练数据集
Figure 312633DEST_PATH_IMAGE007
中获取的带标签的人脸图片
Figure 666254DEST_PATH_IMAGE011
，将人脸图片
Figure 360320DEST_PATH_IMAGE011
输入特征提取模型
Figure 90378DEST_PATH_IMAGE018
得到特征向量
Figure 900202DEST_PATH_IMAGE013
，从年龄标签集
Figure 424725DEST_PATH_IMAGE008
中获得图片
Figure 585579DEST_PATH_IMAGE011
对应的年龄标签
Figure 853749DEST_PATH_IMAGE024
；
S33、对于支持向量机
Figure 783659DEST_PATH_IMAGE023
，采用线性核函数，输入特征向量
Figure 744662DEST_PATH_IMAGE013
和对应的年龄标签
Figure 986287DEST_PATH_IMAGE024
，训练得到人脸年龄分类器
Figure 933515DEST_PATH_IMAGE005
。
本发明的一个实施例中，所述步骤S4包括：
S41，选择一组
Figure 108144DEST_PATH_IMAGE001
和
Figure 584256DEST_PATH_IMAGE002
，将其带入生成模型
Figure 844336DEST_PATH_IMAGE003
得到子模型
Figure 329675DEST_PATH_IMAGE004
；
S42，将特征向量
Figure 358811DEST_PATH_IMAGE013
输入子模型
Figure 271403DEST_PATH_IMAGE004
进行运算，得到输出图片；
S43，观察统计运算时间和输出图片效果，如果时间过长或者对效果要求较低，调低
Figure 753200DEST_PATH_IMAGE001
和
Figure 166864DEST_PATH_IMAGE002
，重新输入生成模型
Figure 922943DEST_PATH_IMAGE003
得到新子模型
Figure 396649DEST_PATH_IMAGE004
；
S44，重复S41～S43，直到得到满足要求的
Figure 241109DEST_PATH_IMAGE001
和
Figure 192884DEST_PATH_IMAGE002
值。
本发明的一个实施例中，所述步骤S6包括：
S61、对于任意一张待编辑人脸图片，使用开源模型得到每张人脸的关键点，并根据关键点将待编辑人脸图片通过仿射变换对齐到基准位置，得到图片
Figure 71979DEST_PATH_IMAGE025
；
S62、将图片
Figure 185428DEST_PATH_IMAGE025
输入特征提取模型
Figure 517183DEST_PATH_IMAGE018
得到特征向量
Figure 272650DEST_PATH_IMAGE026
；
S63、通过对属性向量
Figure 6251DEST_PATH_IMAGE006
和人脸特征向量
Figure 556181DEST_PATH_IMAGE026
加权求和：
Figure 499866DEST_PATH_IMAGE027
得到编辑后的特征向量
Figure 668810DEST_PATH_IMAGE028
，其中
Figure 381551DEST_PATH_IMAGE029
为控制编辑后年龄大小的系数；
S64、将
Figure 243328DEST_PATH_IMAGE028
输入步骤S4得到的子模型
Figure 625374DEST_PATH_IMAGE004
，得到分辨率为
Figure 129168DEST_PATH_IMAGE001
的编辑后人脸图像。
本发明的一个实施例中，所述步骤S21中的编码器
Figure 696416DEST_PATH_IMAGE009
和解码器
Figure 994673DEST_PATH_IMAGE010
具体为：
编码器包括十个卷积层，一个最大池化层，一个全局平均池化层，一个全连接输出层，解码器包括三个卷积层，三个上采样层。
本发明的一个实施例中，所述步骤S25中的生成模型
Figure 647371DEST_PATH_IMAGE003
和对应的判别器
Figure 158118DEST_PATH_IMAGE019
具体为：
生成模型
Figure 845451DEST_PATH_IMAGE003
包括24个卷积层，8个上采样层，8个全连接层，判别器
Figure 49031DEST_PATH_IMAGE019
包括四个卷积层，两个全连接输出层。
本发明的一个实施例中，所述步骤S29中：
为了保证不同的子模型输出与全网络的输出在视觉上尽可能保持一致，引入限制如下：
Figure 454604DEST_PATH_IMAGE030
其中
Figure 34621DEST_PATH_IMAGE024
为均方误差损失
Figure 576461DEST_PATH_IMAGE031
；
Figure 948012DEST_PATH_IMAGE032
其中
Figure 575302DEST_PATH_IMAGE033
为
Figure 162273DEST_PATH_IMAGE020
，
Figure 824198DEST_PATH_IMAGE004
为设定好
Figure 369580DEST_PATH_IMAGE001
和
Figure 218587DEST_PATH_IMAGE033
之后的生成器；其中
Figure 999462DEST_PATH_IMAGE018
为求中括号内值的期望。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
（1）降低部署和维护成本。在不影响人脸年龄编辑效果的前提下，大幅减少计算量，降低对硬件配置的依赖，从而使之能够直接运行在移动端设备（如智能手机）上，减少企业服务器运行和维护成本；
（2）增强用户数据安全性，避免个人隐私泄漏。软件部署在移动端设备上之后，用户不需要上传数据就可直接在移动端设备上得到输出结果，从而从根源上杜绝用户个人隐私泄漏，提高安全性；
（3）去除软件对网络的依赖，使得用户可以随时随地的使用软件，也不会由于网速问题造成等待时间过长的问题，优化用户的使用体验。
附图说明
图1是本发明实施例中一种基于StyleGAN的移动端人脸年龄编辑方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了实现本发明的目的，本发明提供了一种基于StyleGAN的移动端人脸年龄编辑方法，主要包含六部分：数据采集和标注部分、特征提取模型和生成模型训练部分、年龄分类模型训练部分、子模型选取部分、属性向量提取部分、人脸年龄图像编辑生成部分。
具体地，如图1所示，本发明基于StyleGAN的移动端人脸年龄编辑方法包括：
S1、准备人脸图片训练数据集，并对人脸图片训练数据集中的部分人脸图片标注得到年龄标签；具体地，包括如下子步骤：
S11、挑选一批人脸图片，使用开源模型(如dlib)得到每张人脸的关键点，并根据关键点将人脸图片通过仿射变换对齐到基准位置，得到人脸图片训练数据集
Figure 391260DEST_PATH_IMAGE007
。
S12、将人脸图片训练数据集
Figure 232177DEST_PATH_IMAGE007
中的部分人脸图片按照年龄大小进行标注，年龄大于45岁的标签为1，年龄小于45岁的标签为0，得到年龄标签集
Figure 709426DEST_PATH_IMAGE008
。
S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型；包括如下子步骤：
S21、定义自编码器模型，包括编码器
Figure 293991DEST_PATH_IMAGE009
和解码器
Figure 274716DEST_PATH_IMAGE010
。
其中编码器包括十个卷积层，一个最大池化层，一个全局平均池化层，一个全连接输出层。解码器包括三个卷积层，三个上采样层。
S22、对于从人脸图片训练数据集
Figure 552114DEST_PATH_IMAGE007
中获取的人脸图片
Figure 985500DEST_PATH_IMAGE011
，将人脸图片
Figure 373756DEST_PATH_IMAGE011
输入
Figure 474568DEST_PATH_IMAGE009
得到特征向量
Figure 391708DEST_PATH_IMAGE012
，将特征向量
Figure 968183DEST_PATH_IMAGE013
输入
Figure 766987DEST_PATH_IMAGE010
得到解码后的图像
Figure 846939DEST_PATH_IMAGE014
。
S23、定义损失值
Figure 341505DEST_PATH_IMAGE015
，通过BP（Error Back Propagation，误差反向传播）算法得出
Figure 139697DEST_PATH_IMAGE016
值对模型中每个参数对的梯度值
Figure 479542DEST_PATH_IMAGE017
，根据梯度下降算法和梯度值对模型中的参数进行更新。
S24、重复步骤S22～S23，直到重复次数大于设定次数或者损失值小于设定值。将自编码器模型中的编码器及其参数单独保存，即为特征提取模型
Figure 414000DEST_PATH_IMAGE018
。
S25、定义生成模型
Figure 79468DEST_PATH_IMAGE003
和对应的判别器
Figure 99376DEST_PATH_IMAGE019
。
生成模型
Figure 508492DEST_PATH_IMAGE003
包括24个卷积层，8个上采样层，8个全连接层，判别器
Figure 297457DEST_PATH_IMAGE019
包括四个卷积层，两个全连接输出层。
S26、对于从人脸图片训练数据集
Figure 992880DEST_PATH_IMAGE007
中获取的人脸图片
Figure 641030DEST_PATH_IMAGE011
，将人脸图片
Figure 712892DEST_PATH_IMAGE011
输入S24中得到的特征提取模型
Figure 231729DEST_PATH_IMAGE018
得到特征向量
Figure 363633DEST_PATH_IMAGE013
。
S27、随机选取分辨率
Figure 233500DEST_PATH_IMAGE001
（如128x128），将特征向量
Figure 843473DEST_PATH_IMAGE013
和分辨率
Figure 872609DEST_PATH_IMAGE001
输入生成模型
Figure 782271DEST_PATH_IMAGE003
得到训练后的生成模型
Figure 529647DEST_PATH_IMAGE003
，假设全网络的数据流为：
Figure 818677DEST_PATH_IMAGE034
其中
Figure 436741DEST_PATH_IMAGE035
为假设的比自选分辨率
Figure 520234DEST_PATH_IMAGE001
大的分辨率；
则随机采样分辨率的输入就可以被表示为：
Figure 489327DEST_PATH_IMAGE036
其中
Figure 582048DEST_PATH_IMAGE037
为设定分辨率为
Figure 54618DEST_PATH_IMAGE001
后得到的子生成器，
Figure 699226DEST_PATH_IMAGE038
为
Figure 30981DEST_PATH_IMAGE037
对应的输出，于是训练时候模型的输出集合为：
Figure 786448DEST_PATH_IMAGE039
对应的对抗损失函数为：
Figure 520048DEST_PATH_IMAGE040
其中
Figure 335558DEST_PATH_IMAGE018
为求中括号内值的期望，
Figure 889030DEST_PATH_IMAGE041
指的是求期望的过程中涉及到了
Figure 448187DEST_PATH_IMAGE042
这两个参数，
Figure 36294DEST_PATH_IMAGE043
同理。
S28、对每一卷积层，对应到输出特征上，将其分为前
Figure 22705DEST_PATH_IMAGE020
个通道，其中
Figure 326123DEST_PATH_IMAGE002
取值为
Figure 423392DEST_PATH_IMAGE021
，
Figure 866006DEST_PATH_IMAGE022
为这一层的卷积核个数。每次训练时取该层的前
Figure 23317DEST_PATH_IMAGE020
个通道，则对应的对抗损失函数就变成了：
Figure 551382DEST_PATH_IMAGE032
其中
Figure 452342DEST_PATH_IMAGE033
为
Figure 15041DEST_PATH_IMAGE020
，
Figure 343254DEST_PATH_IMAGE004
为设定好
Figure 358615DEST_PATH_IMAGE001
和
Figure 797687DEST_PATH_IMAGE033
之后的生成器；
S29、选定好
Figure 480472DEST_PATH_IMAGE001
和
Figure 854952DEST_PATH_IMAGE002
之后，即可得到子模型
Figure 482243DEST_PATH_IMAGE004
，为了保证不同的子模型输出与全网络的输出在视觉上尽可能保持一致，引入限制如下：
Figure 600372DEST_PATH_IMAGE030
其中
Figure 996718DEST_PATH_IMAGE024
为
Figure 666734DEST_PATH_IMAGE031
（均方误差损失）。
S210、重复步骤S27～S29，直到重复次数大于设定次数或者损失值小于设定值，得到生成模型
Figure 388177DEST_PATH_IMAGE003
。
S3、利用人脸图片训练数据集中的部分数据和特征提取模型训练人脸年龄分类器；子步骤如下：
S31、定义二分类支持向量机
Figure 434631DEST_PATH_IMAGE023
，支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，提取决策边界参数，即可作为人脸年龄特征的方向参数。
S32、对于从人脸图片训练数据集
Figure 826429DEST_PATH_IMAGE007
中获取的带标签的人脸图片
Figure 808292DEST_PATH_IMAGE011
，将人脸图片
Figure 144595DEST_PATH_IMAGE011
输入特征提取模型
Figure 604526DEST_PATH_IMAGE018
得到特征向量
Figure 241044DEST_PATH_IMAGE013
，从年龄标签集
Figure 128229DEST_PATH_IMAGE008
中获得图片
Figure 358353DEST_PATH_IMAGE011
对应的年龄标签
Figure 746609DEST_PATH_IMAGE024
。
S33、对于支持向量机
Figure 112999DEST_PATH_IMAGE023
，采用线性核函数，输入特征向量
Figure 436664DEST_PATH_IMAGE013
和对应的年龄标签
Figure 481981DEST_PATH_IMAGE024
，训练得到人脸年龄分类器
Figure 408348DEST_PATH_IMAGE005
。
S4、根据用户配置和预期等待时间选择分辨率
Figure 649753DEST_PATH_IMAGE001
和通道系数
Figure 3374DEST_PATH_IMAGE002
，输入生成模型
Figure 411353DEST_PATH_IMAGE003
得到子模型
Figure 141411DEST_PATH_IMAGE004
；具体步骤如下：
S41，选择一组
Figure 216815DEST_PATH_IMAGE001
（1024x1024）和
Figure 741337DEST_PATH_IMAGE002
（如1.0），将其带入生成模型
Figure 167770DEST_PATH_IMAGE003
得到子模型
Figure 701520DEST_PATH_IMAGE004
。
S42，将特征向量
Figure 631430DEST_PATH_IMAGE013
输入子模型
Figure 326853DEST_PATH_IMAGE004
进行运算，得到输出图片。
S43，观察统计运算时间和输出图片效果，如果时间过长或者对效果要求较低，调低
Figure 709424DEST_PATH_IMAGE001
（如512x512）和
Figure 46865DEST_PATH_IMAGE002
（如0.75），重新输入生成模型
Figure 831281DEST_PATH_IMAGE003
得到新子模型
Figure 697606DEST_PATH_IMAGE004
。
S44，重复S41～S43，直到得到满足要求的
Figure 567473DEST_PATH_IMAGE001
和
Figure 443025DEST_PATH_IMAGE002
值。
S5、对于人脸年龄分类器
Figure 79018DEST_PATH_IMAGE005
，提取其系数
Figure 116244DEST_PATH_IMAGE006
，即为能够判断人脸年龄的属性向量。
系数
Figure 598041DEST_PATH_IMAGE006
就是人脸年龄分类器
Figure 887071DEST_PATH_IMAGE005
中的参数，这个参数可以直接与特征向量加权求和得到新的特征向量
Figure 770714DEST_PATH_IMAGE028
。
S6、利用子模型对待编辑人脸图片进行编辑，子步骤如下：
S61、对于任意一张待编辑人脸图片，使用开源模型(如dlib)得到每张人脸的关键点，并根据关键点将待编辑人脸图片通过仿射变换对齐到基准位置，得到图片
Figure 119786DEST_PATH_IMAGE025
。
S62、将图片
Figure 88879DEST_PATH_IMAGE025
输入特征提取模型
Figure 181600DEST_PATH_IMAGE018
得到特征向量
Figure 919749DEST_PATH_IMAGE026
。
S63、通过对属性向量
Figure 174144DEST_PATH_IMAGE006
和人脸特征向量
Figure 630533DEST_PATH_IMAGE026
加权求和：
Figure 261366DEST_PATH_IMAGE027
得到编辑后的特征向量
Figure 119600DEST_PATH_IMAGE028
，其中
Figure 544897DEST_PATH_IMAGE029
为控制编辑后年龄大小的系数。
S64、将
Figure 488582DEST_PATH_IMAGE028
输入步骤S4得到的子模型
Figure 923105DEST_PATH_IMAGE004
，得到分辨率为
Figure 635847DEST_PATH_IMAGE001
的编辑后人脸图像。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，包括：
S1、准备人脸图片训练数据集，并对人脸图片训练数据集中的部分人脸图片标注得到年龄标签；
S2、利用所述人脸图片训练数据集训练特征提取模型和生成模型；
S3、利用人脸图片训练数据集中的部分数据和特征提取模型训练人脸年龄分类器；
S4、根据用户配置和预期等待时间选择分辨率和通道系数，输入生成模型得到子模型；
S5、对于人脸年龄分类器
Figure 938708DEST_PATH_IMAGE001
，提取其系数
Figure 523273DEST_PATH_IMAGE002
，即为能够判断人脸年龄的属性向量；
S6、利用子模型以及所述属性向量对待编辑人脸图片进行编辑。
2.如权利要求1所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S1包括：
S11、挑选一批人脸图片，使用开源模型得到每张人脸的关键点，并根据关键点将人脸图片通过仿射变换对齐到基准位置，得到人脸图片训练数据集
Figure 503999DEST_PATH_IMAGE003
；
S12、将人脸图片训练数据集
Figure 515817DEST_PATH_IMAGE003
中的部分人脸图片按照年龄大小进行标注，年龄大于45岁的标签为1，年龄小于45岁的标签为0，得到年龄标签集
Figure 480362DEST_PATH_IMAGE004
。
3.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S2中训练特征提取模型包括：
S21、定义自编码器模型，包括编码器
Figure 603039DEST_PATH_IMAGE005
和解码器
Figure 969429DEST_PATH_IMAGE006
；
S22、对于从人脸图片训练数据集
Figure 152149DEST_PATH_IMAGE003
中获取的人脸图片
Figure 338411DEST_PATH_IMAGE007
，将人脸图片
Figure 999199DEST_PATH_IMAGE007
输入
Figure 344730DEST_PATH_IMAGE005
得到特征向量
Figure 573717DEST_PATH_IMAGE008
，将特征向量
Figure 371909DEST_PATH_IMAGE009
输入
Figure 977334DEST_PATH_IMAGE006
得到解码后的图像
Figure 177371DEST_PATH_IMAGE010
；
S23、定义损失值
Figure 311680DEST_PATH_IMAGE011
，通过BP算法得出
Figure 597168DEST_PATH_IMAGE012
值对模型中每个参数对的梯度值
Figure 3354DEST_PATH_IMAGE013
，根据梯度下降算法和梯度值对模型中的参数进行更新；
S24、重复步骤S22～S23，直到重复次数大于设定次数或者损失值小于设定值，将自编码器模型中的编码器及其参数单独保存，即为特征提取模型
Figure 57898DEST_PATH_IMAGE014
。
4.如权利要求3所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S2中训练生成模型包括：
S25、定义生成模型
Figure 628687DEST_PATH_IMAGE015
和对应的判别器
Figure 401471DEST_PATH_IMAGE016
；
S26、对于从人脸图片训练数据集
Figure 207753DEST_PATH_IMAGE003
中获取的人脸图片
Figure 257749DEST_PATH_IMAGE007
，将人脸图片
Figure 265019DEST_PATH_IMAGE007
输入S24中得到的特征提取模型
Figure 259520DEST_PATH_IMAGE014
得到特征向量
Figure 10438DEST_PATH_IMAGE009
；
S27、随机选取分辨率
Figure 773995DEST_PATH_IMAGE017
，将特征向量
Figure 811221DEST_PATH_IMAGE009
和分辨率
Figure 168384DEST_PATH_IMAGE017
输入生成模型
Figure 582048DEST_PATH_IMAGE015
得到训练后的生成模型
Figure 341057DEST_PATH_IMAGE015
；
S28、对每一卷积层，对应到输出特征上，将其分为前
Figure 814763DEST_PATH_IMAGE018
个通道，其中
Figure 659222DEST_PATH_IMAGE019
取值为
Figure 975713DEST_PATH_IMAGE020
，
Figure 713862DEST_PATH_IMAGE021
为这一层的卷积核个数，每次训练时取该层的前
Figure 92891DEST_PATH_IMAGE018
个通道；
S29、选定好
Figure 424646DEST_PATH_IMAGE017
和
Figure 180113DEST_PATH_IMAGE019
之后，即可得到子模型
Figure 913714DEST_PATH_IMAGE022
；
S210、重复步骤S27～S29，直到重复次数大于设定次数或者损失值小于设定值，得到生成模型
Figure 463644DEST_PATH_IMAGE015
。
5.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S3包括：
S31、定义二分类支持向量机
Figure 282695DEST_PATH_IMAGE023
；
S32、对于从人脸图片训练数据集
Figure 841852DEST_PATH_IMAGE003
中获取的带标签的人脸图片
Figure 695539DEST_PATH_IMAGE007
，将人脸图片
Figure 416370DEST_PATH_IMAGE007
输入特征提取模型
Figure 457139DEST_PATH_IMAGE014
得到特征向量
Figure 554408DEST_PATH_IMAGE009
，从年龄标签集
Figure 262601DEST_PATH_IMAGE004
中获得图片
Figure 419912DEST_PATH_IMAGE007
对应的年龄标签
Figure 945047DEST_PATH_IMAGE024
；
S33、对于支持向量机
Figure 846007DEST_PATH_IMAGE023
，采用线性核函数，输入特征向量
Figure 674286DEST_PATH_IMAGE009
和对应的年龄标签
Figure 877865DEST_PATH_IMAGE024
，训练得到人脸年龄分类器
Figure 752280DEST_PATH_IMAGE025
。
6.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S4包括：
S41，选择一组
Figure 191352DEST_PATH_IMAGE017
和
Figure 608558DEST_PATH_IMAGE019
，将其带入生成模型
Figure 107672DEST_PATH_IMAGE015
得到子模型
Figure 610329DEST_PATH_IMAGE022
；
S42，将特征向量
Figure 587512DEST_PATH_IMAGE009
输入子模型
Figure 859225DEST_PATH_IMAGE022
进行运算，得到输出图片；
S43，观察统计运算时间和输出图片效果，如果时间过长或者对效果要求较低，调低
Figure 529240DEST_PATH_IMAGE017
和
Figure 784772DEST_PATH_IMAGE019
，重新输入生成模型
Figure 831226DEST_PATH_IMAGE015
得到新子模型
Figure 957445DEST_PATH_IMAGE022
；
S44，重复S41～S43，直到得到满足要求的
Figure 532783DEST_PATH_IMAGE017
和
Figure 7102DEST_PATH_IMAGE019
值。
7.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S6包括：
S61、对于任意一张待编辑人脸图片，使用开源模型得到每张人脸的关键点，并根据关键点将待编辑人脸图片通过仿射变换对齐到基准位置，得到图片
Figure 591667DEST_PATH_IMAGE026
；
S62、将图片
Figure 837972DEST_PATH_IMAGE026
输入特征提取模型
Figure 849790DEST_PATH_IMAGE014
得到特征向量
Figure 814335DEST_PATH_IMAGE027
；
S63、通过对属性向量
Figure 671432DEST_PATH_IMAGE028
和人脸特征向量
Figure 896877DEST_PATH_IMAGE027
加权求和：
Figure 220543DEST_PATH_IMAGE029
得到编辑后的特征向量
Figure 531438DEST_PATH_IMAGE030
，其中
Figure 333172DEST_PATH_IMAGE031
为控制编辑后年龄大小的系数；
S64、将
Figure 413124DEST_PATH_IMAGE030
输入步骤S4得到的子模型
Figure 642111DEST_PATH_IMAGE022
，得到分辨率为
Figure 440302DEST_PATH_IMAGE017
的编辑后人脸图像。
8.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S21中的编码器
Figure 45727DEST_PATH_IMAGE005
和解码器
Figure 245764DEST_PATH_IMAGE006
具体为：
编码器包括十个卷积层，一个最大池化层，一个全局平均池化层，一个全连接输出层，解码器包括三个卷积层，三个上采样层。
9.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S25中的生成模型
Figure 645653DEST_PATH_IMAGE015
和对应的判别器
Figure 665561DEST_PATH_IMAGE016
具体为：
生成模型
Figure 933732DEST_PATH_IMAGE015
包括24个卷积层，8个上采样层，8个全连接层，判别器
Figure 860712DEST_PATH_IMAGE016
包括四个卷积层，两个全连接输出层。
10.如权利要求1或2所述的基于StyleGAN的移动端人脸年龄编辑方法，其特征在于，所述步骤S29中：
为了保证不同的子模型输出与全网络的输出在视觉上尽可能保持一致，引入限制如下：
Figure 556136DEST_PATH_IMAGE032
其中
Figure 204286DEST_PATH_IMAGE024
为均方误差损失
Figure 10568DEST_PATH_IMAGE033
；
Figure 919618DEST_PATH_IMAGE034
其中
Figure 661309DEST_PATH_IMAGE035
为
Figure 921389DEST_PATH_IMAGE018
，
Figure 406728DEST_PATH_IMAGE022
为设定好
Figure 435864DEST_PATH_IMAGE017
和
Figure 614035DEST_PATH_IMAGE035
之后的生成器；其中
Figure 95832DEST_PATH_IMAGE014
为求中括号内值的期望。
CN202110966926.6A 2021-08-23 2021-08-23 一种基于StyleGAN的移动端人脸年龄编辑方法 Active CN113421185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110966926.6A CN113421185B (zh) 2021-08-23 2021-08-23 一种基于StyleGAN的移动端人脸年龄编辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110966926.6A CN113421185B (zh) 2021-08-23 2021-08-23 一种基于StyleGAN的移动端人脸年龄编辑方法

Publications (2)

Publication Number Publication Date
CN113421185A true CN113421185A (zh) 2021-09-21
CN113421185B CN113421185B (zh) 2021-11-05

Family

ID=77719240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110966926.6A Active CN113421185B (zh) 2021-08-23 2021-08-23 一种基于StyleGAN的移动端人脸年龄编辑方法

Country Status (1)

Country Link
CN (1) CN113421185B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363737A (zh) * 2023-06-01 2023-06-30 北京烽火万家科技有限公司 一种人脸图像属性编辑方法、系统、电子设备及存储介质
CN116955579A (zh) * 2023-09-21 2023-10-27 武汉轻度科技有限公司 一种基于关键词知识检索的聊天回复生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643085B1 (en) * 2019-01-30 2020-05-05 StradVision, Inc. Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
CN112669244A (zh) * 2020-12-29 2021-04-16 中国平安人寿保险股份有限公司 人脸图像增强方法、装置、计算机设备以及可读存储介质
CN112862669A (zh) * 2021-02-02 2021-05-28 百果园技术(新加坡)有限公司 图像生成模型的训练方法、生成方法、装置及设备
US20210209464A1 (en) * 2020-01-08 2021-07-08 Palo Alto Research Center Incorporated System and method for synthetic image generation with localized editing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643085B1 (en) * 2019-01-30 2020-05-05 StradVision, Inc. Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
US20210209464A1 (en) * 2020-01-08 2021-07-08 Palo Alto Research Center Incorporated System and method for synthetic image generation with localized editing
CN112669244A (zh) * 2020-12-29 2021-04-16 中国平安人寿保险股份有限公司 人脸图像增强方法、装置、计算机设备以及可读存储介质
CN112862669A (zh) * 2021-02-02 2021-05-28 百果园技术(新加坡)有限公司 图像生成模型的训练方法、生成方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIANYI WEI 等: "A Simple Baseline for StyleGAN Inversion", 《COMPUTER VISION AND PATTERN RECOGNITION (CS.CV); GRAPHICS (CS.GR)》 *
鞠怡轩 等: "基于属性法向量修改的人脸编辑算法", 《厦门大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363737A (zh) * 2023-06-01 2023-06-30 北京烽火万家科技有限公司 一种人脸图像属性编辑方法、系统、电子设备及存储介质
CN116363737B (zh) * 2023-06-01 2023-07-28 北京烽火万家科技有限公司 一种人脸图像属性编辑方法、系统、电子设备及存储介质
CN116955579A (zh) * 2023-09-21 2023-10-27 武汉轻度科技有限公司 一种基于关键词知识检索的聊天回复生成方法和装置
CN116955579B (zh) * 2023-09-21 2023-12-29 武汉轻度科技有限公司 一种基于关键词知识检索的聊天回复生成方法和装置

Also Published As

Publication number Publication date
CN113421185B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
Rao et al. Deep convolutional neural networks for sign language recognition
US11410364B2 (en) Systems and methods for realistic head turns and face animation synthesis on mobile device
CN113421185B (zh) 一种基于StyleGAN的移动端人脸年龄编辑方法
WO2020150689A1 (en) Systems and methods for realistic head turns and face animation synthesis on mobile device
CN111862274A (zh) 生成对抗网络训练方法、图像风格迁移方法及装置
Tu et al. Image-to-video generation via 3D facial dynamics
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
Wang et al. Deeply supervised face completion with multi-context generative adversarial network
CN112507617A (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
WO2021177596A1 (en) Fast bi-layer neural synthesis of one-shot realistic images of neural avatar
CN111860380A (zh) 人脸图像生成方法、装置、服务器及存储介质
CN112837215A (zh) 一种基于生成对抗网络的图像形状变换方法
Li et al. Learning dual memory dictionaries for blind face restoration
Sun et al. Masked lip-sync prediction by audio-visual contextual exploitation in transformers
CN111260577B (zh) 基于多引导图和自适应特征融合的人脸图像复原系统
Zhang et al. FCHP: Exploring the discriminative feature and feature correlation of feature maps for hierarchical DNN pruning and compression
CN112634413B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
RU2764144C1 (ru) Быстрый двухслойный нейросетевой синтез реалистичных изображений нейронного аватара по одному снимку
Chen et al. Dreamidentity: Enhanced editability for efficient face-identity preserved image generation
WO2022252372A1 (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
Liu et al. Facial landmark detection using generative adversarial network combined with autoencoder for occlusion
CN113408381A (zh) 基于自注意残差卷积神经网络的微表情分类方法
CN109657589B (zh) 一种基于人体交互动作的体验者动作生成方法
CN113393545A (zh) 一种图像动漫化处理方法、装置、智能设备和存储介质
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant