CN111985405B - 一种人脸年龄合成方法及系统 - Google Patents

一种人脸年龄合成方法及系统 Download PDF

Info

Publication number
CN111985405B
CN111985405B CN202010846892.2A CN202010846892A CN111985405B CN 111985405 B CN111985405 B CN 111985405B CN 202010846892 A CN202010846892 A CN 202010846892A CN 111985405 B CN111985405 B CN 111985405B
Authority
CN
China
Prior art keywords
face
age
data
image
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010846892.2A
Other languages
English (en)
Other versions
CN111985405A (zh
Inventor
孙运莲
陈霞晖
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010846892.2A priority Critical patent/CN111985405B/zh
Publication of CN111985405A publication Critical patent/CN111985405A/zh
Application granted granted Critical
Publication of CN111985405B publication Critical patent/CN111985405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人脸年龄合成方法及系统，涉及人脸合成技术领域，人脸年龄合成方法包括：将测试图像进行预处理后输入人脸年龄合成模型中，得到不同年龄段的人脸图像；其中，人脸年龄合成模型的训练包括根据注意力掩码和合成人脸图像利用生成器网络的损失函数对生成器网络的参数进行优化，然后将合成人脸图像和对应原始输入作为负样本，合成时随机产生的目标年龄标签中的随机挑选的人脸图像作为正样本，输入到判别器网络得到对应的人脸图像的真实性的概率，根据这些概率利用判别器网络的损失函数对判别器网络的参数进行优化。当迭代次数到达最大迭代次数时，得到训练好的人脸年龄合成模型。本发明能够实现人脸年龄合成视觉质量的提升。

Description

一种人脸年龄合成方法及系统
技术领域
本发明涉及人脸合成技术领域，特别是涉及一种人脸年龄合成方法及系统。
背景技术
现有的大多数人脸年龄合成的方法利用一个沙漏型结构的全卷积网络作为生成器。这种生成器通常由两个部分组成：一个编码器和一个解码器。首先，编码器将输入人脸编码成一个隐表示。然后，解码器接收隐表示和年龄标签作为输入实现年龄迁移。需要注意的是，目标图像是一步一步生成的，每一步利用前一步产生的信息。因此，中间的特征表示很大程度上会影响最终的生成。然而，之前的工作通常使用残差块作为瓶颈层，对输入和输出的公共结构建模。需要注意的是，人脸和隐特征都包含低频信息(即：通用的人脸信息)和高频信息(即：细节)。简单地使用这种沙漏型结构的生成器可能会使得学习过程聚焦于大量的低频信息，缺乏对特征通道之间进行判别性学习的能力。带来的结果是，它可能削弱网络的表示能力并且误导模型丢弃一些重要的信息。比如，现有的方法可能存在如下问题：虽然生成人脸的老化细节比较明显，但是因为丢失某些重要信息(例如，头发、背景和人脸中心)，所以视觉质量遭到严重的破坏。
发明内容
本发明的目的是提供一种人脸年龄合成方法及系统，以实现人脸年龄合成视觉质量的提升。
为实现上述目的，本发明提供了如下方案：
一种人脸年龄合成方法，包括：
获取测试图像，检测所述测试图像中是否存在人脸；
若所述测试图像中存在人脸，则对测试图像进行预处理，得到经预处理后的测试数据；
将所述经预处理后的测试数据输入训练好的人脸年龄合成模型中，得到不同年龄段的人脸图像；
所述训练好的人脸年龄合成模型，具体训练过程包括：
获取人脸年龄数据，对所述人脸年龄数据进行预处理；所述人脸年龄数据包括人脸图像和年龄组信息；所述年龄组信息包括年龄标签；
将经过预处理后的第i个人脸年龄数据和第一目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像；
根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的人脸年龄数据的RGB图像得到第i个人对应年龄标签的合成人脸图像；
根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
将预处理后的第i+1个人对应年龄标签的人脸年龄数据和第二目标年龄标签输入到生成式对抗网络模型的生成器网络中，得到第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和第i+1个人对应年龄标签的人脸年龄数据RGB图像；
根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的人脸年龄数据的RGB图像得到第i+1个人对应年龄标签的合成人脸图像；
根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
将所述第i+1个人对应年龄标签的合成人脸图像和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据作为负样本，第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络，得到人脸图像的真实性的概率；
根据所述人脸图像的真实性的概率，以最小化判别器网络的损失函数为目标，优化所述生成式对抗网络模型的判别器网络；
计算迭代次数，判断迭代次数是否为最大迭代次数，得到第一判断结果；
若所述第一判断次数表示所述迭代次数不为最大迭代次数，则将预处理后的第i+2个人对应年龄标签的人脸年龄数据作为第i个人脸年龄数据，并返回将经过预处理后的第i个人对应年龄标签的人脸年龄数据和第三目标年龄标签输入到生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像步骤；
若所述第一判断次数表示所述迭代次数为最大迭代次数，则得到训练好的人脸年龄合成模型。
可选的，所述将经过预处理后的第i个人对应年龄标签的人脸年龄数据输入生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像，具体包括：
将所述经过预处理后的第i个人对应年龄标签的人脸年龄数据输入所述生成式对抗网络模型的生成器网络的第一卷积层中，提取图像特征；
将所述图像特征输入所述生成器网络的残差通道注意力模块进行特征缩放，得到所述残差通道注意力模块的输出结果；
将所述残差通道注意力模块的输出结果输入所述生成器网络的第二卷积层，得到所述第二卷积层的输出结果；
将所述第二卷积层的输出结果输入到所述生成器网络的反卷积层，得到反卷积层的输出结果；
将所述反卷积层的输出结果输入所述生成器网络的第三卷积层，得到上采样的输出结果；
将所述上采样的输出结果输入Tanh激活层得到第i个人对应年龄标签的人脸年龄数据的RGB图像；
将所述反卷积层的输出结果输入所述生成器网络的第四卷积层，得到下采样的输出结果；
将所述下采样的输出结果输入sigmod激活层得到第i个人对应年龄标签的脸年龄数据的注意力掩码。
可选的，所述将所述图像特征输入所述生成器网络的残差通道注意力模块进行特征缩放，得到所述残差通道注意力模块的输出结果，具体包括：
将所述图像特征输入所述残差通道注意力模块的卷积层进行下采样，得到下采样特征；
将所述下采样特征输入所述残差通道注意力模块的通道注意力模块，根据如下公式生成通道数据：
Z＝σ(Wup(Wdown(Pavg(V)))+Wup(Wdown(Pmax(V))))，其中，Z表示通道数据，V表示下采样特征，Wdown表示通道下采样层的权重，Wup表示通道上采样层的权重，Pmax表示空间最大池化层，Pavg表示空间平均池化层，σ表示sigmoid函数；
根据所述通道数据和所述下采样特征采用如下公式生成所述通道注意力模块的输出结果：
Figure GDA0003687711660000041
其中，U表示所述通道注意力模块的输出结果，
Figure GDA0003687711660000042
表示矩阵相乘；
根据所述通道注意力模块的输出结果和所述图像特征采用如下公式生成所述残差通道注意力模块的输出结果：
Fout＝Fin+U，其中，Fin表示图像特征，Fout表示所述残差通道注意力模块的输出结果。
可选的，所述将所述第i+1个人对应年龄标签的合成人脸图像和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据作为负样本，第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络，得到输入的人脸图像的真实性的概率；具体包括：
将所述第i+1个人对应年龄标签的人脸合成图像和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据作为负样本，第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络的全局判别器，得到输入图像判别为真的概率；
获取所述第i+1个人对应年龄标签的人脸合成图像的人脸中心；
将所述第i+1个人对应年龄标签的人脸合成图像的人脸中心和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据的人脸中心作为负样本，第二目标年龄标签对应的人脸年龄数据的人脸中心作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络的局部判别器，得到输入图像判别为真的概率。
可选的，所述获取人脸年龄数据，对所述人脸年龄数据进行预处理，具体包括：
将获取的人脸年龄数据输入多任务卷积神经网络，得到人脸基准点信息；
将所述人脸基准点信息进行仿射变换，得到人脸对齐后的人脸信息；
将所述人脸对齐后的人脸信息进行裁剪，并将所述裁剪后的人脸信息按照年龄组进行划分，得到输入的人脸信息；所述输入的人脸信息包括输入的人脸图像和年龄组信息。
可选的，所述根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络，具体包括：
根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的合成人脸图像利用如下公式确定损失函数；
Figure GDA0003687711660000051
其中，Latt表示注意力损失函数，Exi，ci表示合成的注意力掩码中的数据服从的数据分布，H,W分别对应表示输入的合成人脸图像xi的高度和宽度，λtv是惩罚系数，M为注意力掩码，Mi,j是M的第i行，第j列的元素，Exs,ct表示输入的人脸年龄数据xs，目标年龄标签ct对应的注意力掩码服从的数据分布，xs表示输入的人脸年龄数据，ct表示目标年龄标签；
以最小化损失函数为目标对生成器网络中的参数进行优化。
一种人脸年龄合成系统，包括：
获取模块，用于获取测试图像，检测所述测试图像中是否存在人脸；
预处理模块，用于当所述测试图像中存在人脸时，则对测试图像进行预处理，得到经预处理后的测试数据；
合成模块，用于将所述经预处理后的测试数据输入训练好的人脸年龄合成模型中，得到不同年龄段的人脸图像；
训练模块，用于训练人脸年龄合成模型，训练模块包括：
第一人脸年龄数据获取子模块，用于获取人脸年龄数据，对所述人脸年龄数据进行预处理；所述人脸年龄数据包括人脸图像和年龄组信息；
第一数据预处理子模块，用于将经过预处理后的第i个人脸年龄数据和第一目标年龄标签输入到生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像；
第一合成人脸子模块，用于根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的人脸年龄数据的RGB图像得到第i个人对应年龄标签的合成人脸图像；
第一生成器优化子模块，用于根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
第二数据预处理子模块，用于将预处理后的第i+1个对应年龄标签的人脸年龄数据和第二目标年龄标签，输入生成式对抗网络模型的生成器网络中，得到第i+1个人对应年龄标签的人脸年龄数据注意力掩码和第i+1个人对应年龄标签的人脸年龄数据RGB图像；
第二合成人脸子模块，用于根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的人脸年龄数据的RGB图像得到第i+1个人对应年龄标签的合成人脸图像；
第二生成器优化子模块，用于根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
真实性确定子模块，用于将所述第i+1个人对应年龄标签的合成人脸图像和所述预处理后的第i+1人对应年龄标签的人脸年龄数据输入所述生成式对抗网络模型的判别器网络，得到人脸图像的真实性的概率；
判别器优化子模块，用于根据所述人脸图像的真实性的概率，以最小化判别器网络的损失函数为目标，优化所述生成式对抗网络模型的判别器网络；
迭代计算子模块，用于计算迭代次数，判断迭代次数是否为最大迭代次数，得到第一判断结果；并当所述第一判断次数表示所述迭代次数不为最大迭代次数时，则将预处理后的第i+2个人脸年龄数据作为第i个人脸年龄数据，并返回第一人脸年龄数据获取子模块；当所述第一判断次数表示所述迭代次数为最大迭代次数时，则得到训练好的人脸年龄合成模型。
可选的，所述第一人脸年龄数据获取子模块，具体包括：
特征提取单元，用于将所述经过预处理后的第i个人脸年龄数据输入所述生成式对抗网络模型的生成器网络的第一卷积层中，提取图像特征；
特征缩放单元，用于将所述图像特征输入所述生成器网络的残差通道注意力模块进行特征缩放，得到所述残差通道注意力模块的输出结果；
第二卷积层输入单元，用于将所述残差通道注意力模块的输出结果输入所述生成器网络的第二卷积层，得到所述第二卷积层的输出结果；
反卷积层输入单元，用于将所述第二卷积层的输出结果输入到所述生成器网络的反卷积层，得到反卷积层的输出结果；
第三卷积层输入单元，用于将所述反卷积层的输出结果和输入的目标年龄标签以按通道合并的方式，合并成一个输入矩阵，输入所述生成器网络的第三卷积层，得到上采样的输出结果；
RGB图像确定单元，用于将所述上采样的输出结果输入Tanh激活层得到第i个人对应年龄标签的人脸年龄数据的RGB图像；
第四卷积层输入单元，用于将所述反卷积层的输出结果输入所述生成器网络的第四卷积层，得到下采样的输出结果；
注意力掩码确定单元，用于将所述下采样的输出结果输入sigmod激活层得到第i个人对应年龄标签的人脸年龄数据的注意力掩码。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种人脸年龄合成方法及系统，在生成器网络中加入注意力机制，通过提高特征的判别性表示能力，从而改善模型的生成能力。通过设置注意力掩码限制年龄迁移区域，能够实现选择性学习与年龄相关的特征，对年龄相关区域进行修正，从而实现合成清晰的合成人脸图像和提高视觉质量的目的。
此外，考虑到人脸中心包含更多与年龄相关的特征，加入局部判别器，能够聚焦人脸中心有信息量的特征，从而生成更逼真的结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明人脸年龄合成方法流程图；
图2为本发明人脸年龄合成方法流程示意图；
图3为本发明人脸年龄合成方法的生成式对抗网络模型示意图；
图4为本发明人脸年龄合成方法残差通道注意力模块示意图；
图5为本发明人脸年龄合成方法在现有年龄数据集Morph上人脸老化的效果图；
图6为本发明人脸年龄合成方法CACD数据集上进行人脸老化的效果图；
图7为本发明人脸年龄合成方法Morph数据集上进行人脸年轻化的效果图；
图8为本发明人脸年龄合成方法CACD数据集上进行人脸年轻化的效果图；
图9为本发明人脸年龄合成系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人脸年龄合成是指通过一系列手段将人脸图像合成不同年龄段的人脸图像。
本发明的目的是提供一种人脸年龄合成方法及系统，以实现人脸年龄合成视觉质量的提升。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的一种人脸年龄合成方法，包括：
步骤101：获取测试图像，检测测试图像中是否存在人脸。
步骤102：若测试图像中存在人脸，则对测试图像进行预处理，得到经预处理后的测试数据。
训练好的人脸年龄合成模型，具体训练过程包括：
步骤103：获取人脸年龄数据，对人脸年龄数据进行预处理；人脸年龄数据包括人脸图像和年龄组信息。将获得的图像根据年龄组信息，划分成不同的年龄组。
步骤104：将经过预处理后的第i个人脸年龄数据和第一目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像。
步骤105：根据第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像得到第i个人对应年龄标签的合成人脸图像。
步骤106：根据第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化生成式对抗网络模型的生成器网络。
步骤107：将预处理后的第i+1个人脸年龄数据和第二目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i+1个人对应年龄标签的人脸年龄数据注意力掩码和第i+1个人对应年龄标签的人脸年龄数据RGB图像。
步骤108：根据第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和第i+1个人对应年龄标签的人脸年龄数据的RGB图像得到第i+1个人对应年龄标签的合成人脸图像。
步骤109：根据第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和第i+1个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化生成式对抗网络模型的生成器网络。
步骤110：将第i+1个人对应年龄标签的合成人脸图像和预处理后的第i+1个人对应年龄标签的人脸年龄数据作为负样本，和第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入生成式对抗网络模型的判别器网络，得到人脸图像的真实性的概率。
步骤111：根据人脸图像的真实性的概率，以最小化判别器网络的损失函数为目标，优化生成式对抗网络模型的判别器网络。
步骤112：计算迭代次数，判断迭代次数是否为最大迭代次数，得到第一判断结果。若第一判断次数表示迭代次数不为最大迭代次数，则执行步骤113。若第一判断次数表示迭代次数为最大迭代次数，则执行步骤114。
步骤113：将预处理后的第i+2个人脸年龄数据作为第i个人脸年龄数据，并返回步骤104。例如，第一个人脸年龄数据和第一目标年龄标签输入生成器网络中，得到第一个人脸年龄数据的注意力掩码和和合成人脸图像，对生成器网络进行优化。第二个人脸年龄数据和第二目标年龄标签输入生成器网络中，得到第二个人脸年龄数据的注意力掩码和和合成人脸图像，对生成器网络进行优化。将第二个人脸年龄数据的合成人脸图像和第二个人对应原始的输入人脸图像作为负样本，将对应目标年龄标签中的随机挑选的人脸图像作为正样本，正样本和负样本分别输入判别器网络，得到人脸图像的真实性的概率，根据人脸真实性的概率对判别器网络进行优化。将第三个人人脸年龄数据最为第一个人脸年龄数据返回步骤104，即将第三个人脸和第三目标年龄标签年龄数据输入生成器网络中，得到第三个人脸年龄数据的注意力掩码和和合成人脸图像，对生成器网络进行优化。第四个人脸年龄数据和第四目标年龄标签输入生成器网络中，得到第四个人脸年龄数据的注意力掩码和合成人脸图像，对生成器网络进行优化。将第四个人脸年龄数据的合成人脸图像和第四个人对应的预处理后的人脸图像作为负样本，对应随机选择的目标年龄标签中的随机选择的人脸图像作为正样本，输入判别器网络，得到人脸图像的真实性的概率，根据人脸真实性的概率对判别器网络进行优化。
步骤114：得到训练好的人脸年龄合成模型。
步骤115：将经预处理后的测试数据输入训练好的人脸年龄合成模型中，得到不同年龄段的人脸图像。
其中，步骤103，具体包括：
将获取的人脸年龄数据输入多任务卷积神经网络，得到人脸基准点信息；
将人脸基准点信息进行仿射变换，得到人脸对齐后的人脸信息；将获得的图像根据年龄组信息，划分成不同的年龄组。
将人脸对齐后的人脸信息进行裁剪，并将裁剪后的人脸信息按照年龄组进行划分，得到输入的人脸信息；输入的人脸信息包括输入的人脸图像xs和年龄组信息cs。
其中，步骤104，具体包括：
将经过预处理后的第i个人脸年龄数据输入生成式对抗网络模型的生成器网络的第一卷积层中，提取图像特征。
将图像特征输入生成器网络的残差通道注意力模块进行特征缩放，得到残差通道注意力模块的输出结果；其中，将图像特征输入生成器网络的残差通道注意力模块进行特征缩放，得到残差通道注意力模块的输出结果，具体包括：
将图像特征输入残差通道注意力模块的卷积层进行下采样，得到下采样特征。
将下采样特征输入残差通道注意力模块的通道注意力模块，根据如下公式生成通道数据。
Z＝σ(Wup(Wdown(Pavg(V)))+Wup(Wdown(Pmax(V))))，其中，Z表示通道数据，V表示下采样特征，Wdown表示通道下采样层的权重，Wup表示通道上采样层的权重，Pmax表示空间最大池化层，Pavg表示空间平均池化层，σ表示sigmoid函数。
根据通道数据和下采样特征采用如下公式生成通道注意力模块的输出结果。
Figure GDA0003687711660000121
其中，U表示通道注意力模块的输出结果，
Figure GDA0003687711660000122
表示相乘。
根据通道注意力模块的输出结果和图像特征采用如下公式生成残差通道注意力模块的输出结果。
Fout＝Fin+U，其中，Fin表示图像特征，Fout表示残差通道注意力模块的输出结果。
将残差通道注意力模块的输出结果输入生成器网络的第二卷积层，得到第二卷积层的输出结果。
将第二卷积层的输出结果和人对应目标年龄标签以通道的维度合并的方式输入到生成器网络的反卷积层，得到反卷积层的输出结果。
将反卷积层的输出结果输入生成器网络的第三卷积层，得到上采样的输出结果。
将上采样的输出结果输入Tanh激活层得到第i个人对应目标年龄标签的人脸年龄数据的RGB图像。
将反卷积层的输出结果输入生成器网络的第四卷积层，得到下采样的输出结果。
将下采样的输出结果输入sigmod激活层得到第i个人对应目标年龄标签的人脸年龄数据的注意力掩码。
其中，步骤110，具体包括：
将第i+1个人对应目标年龄标签的人脸合成图像和预处理后的第i+1人对应的人脸年龄数据作为负样本，对应随机产生的目标年龄标签中随机选择的一张人脸作为正样本，输入生成式对抗网络模型的判别器网络的全局判别器，得到输入图像判别为真的概率。
获取第i+1个人脸合成图像的人脸中心。
将第i+1个人脸合成图像的人脸中心和预处理后的第i+1人脸年龄数据的人脸中心作为负样本，对应随机产生的目标年龄标签中随机选择的一张人脸的人脸中心作为正样本，输入生成式对抗网络模型的判别器网络的局部判别器，得到输入图像判别为真的概率。
其中，步骤106，具体包括：
根据第i个人脸年龄数据的注意力掩码和第i个合成人脸图像利用如下公式确定损失函数。
Figure GDA0003687711660000131
其中，Latt表示注意力损失函数，Exi,ci表示合成的注意力掩码中的数据服从的数据分布，H,W分别对应表示输入的合成人脸图像xi的高度和宽度，λtv是惩罚系数，M为注意力掩码，Mi,j是M的第i行，第j列的元素，Exs,ct表示输入的人脸年龄数据xs，目标年龄标签ct对应的注意力掩码服从的数据分布，xs表示输入的人脸年龄数据，ct表示目标年龄标签；xi,ci分别表示xs，ct当中的元素。
以最小化损失函数为目标对生成器网络中的参数进行优化。
如图2所示，本发明还提供一种人脸年龄合成方法的具体方式，如下所示
步骤1，设计并训练基于注意力机制的生成式对抗网络，得到生成式对抗网络模型。
步骤1.1，下载跨年龄名人数据集(Cross-Age Celebrity Dataset)CACD和Morph年龄数据集，作为实验数据。Morph也是一个跨年龄数据集。
步骤1.2，对获取的人脸年龄数据进行数据预处理。
首先调用MTCNN(Multi-task Convolutional Neural Network，又叫多任务卷积神经网络)模型，得到人脸基准点信息。然后，根据得到的人脸基准点信息，利用仿射变换进行人脸对齐，将图片统一裁剪至256*256像素。
取其中的80％的数据作为训练集，剩余部分组成测试集。为了学习不同年龄段之间的年龄模式，对训练集和测试集当中的数据按照30岁以下、31-40岁、41-50岁、50岁以上这四个年龄段进行年龄组划分。
步骤1.3，构造生成式对抗网络。
生成式对抗网络由一个生成器和一个判别器组成。网络的整体结构如图3所示。具体结构设计如下：
1)构造生成器网络。
生成器网络在人脸年龄合成任务中，引入注意力机制旨在解决人脸年龄合成任务中生成人脸模糊的问题。该生成器网络采用编码器-解码器的结构。编码器Genc采用公式e＝Genc(xs)将输入的人脸图像xs∈RH×W投影成一个隐向量e，其中，H,W分别表示输入的人脸图像中人脸的宽度和高度。
编码器结构Genc使用三个卷积层对输入的人脸图像/特征进行特征提取。然后使用由四个残差通道注意力模块和两个卷积层(两个卷积层用于对前面输出的特征进行进一步特征修正，以提高模型的泛化能力)组成了瓶颈层，对输入、输出的公共部分进行建模。
编码器中残差通道注意力模块被用来替代瓶颈层中的普通残差块。该残差通道注意力模块的结构如图4所示。该注意力模块由两个卷积核大小为3×3的卷积层和通道注意力模块构成。
生成器网络中残差通道注意力模块的数据处理过程为：
给定面部的中间特征
Figure GDA0003687711660000141
其中h，w，c分别是中间特征Fin的宽度、高度和通道数。首先，中间特征Fin被送入两个卷积核大小为3×3的卷积层进行下采样，得到下采样特征
Figure GDA0003687711660000151
然后，利用通道注意力模块对得到的下采样特征V利用公式
Figure GDA0003687711660000152
进行自适应地特征缩放。其中
Figure GDA0003687711660000153
表示按元素相乘，Z为通道数据。在相乘的过程中，Z当中的每一个元素沿着空间维度被复制成h×w的特征图。
为了计算通道数据，首先，通道注意力模块使用空间最大池化层Pmax和空间平均池化层Pavg聚集下采样特征V的空间信息。然后，将聚集的空间信息分别送入一个由两个卷积层组成的共享的网络结构当中。这个参数共享的网络结构使用一个通道下采样卷积层和一个上采样卷积层用以减少网络的参数量和提高模型的泛化性能。用
Figure GDA0003687711660000154
和
Figure GDA0003687711660000155
分别表示通道下采样层和通道上采样层的权重，其中r＝16表示下降率。
对参数共享网络结构的输出使用按元素相加。最终，通道数据Z可以通过如下公式计算得到：
Z＝σ(Wup(Wdown(Pavg(V)))+Wup(Wdown(Pmax(V)))),
其中σ表示sigmoid函数。下采样层后面跟随着一个ReLU激活函数。最终的残差通道注意力模块的输出可以用如下的公式计算：
Fout＝Fin+U。
解码器Gdec通常需要在年龄条件信息ct的作用下，将隐向量e投影回一张人脸RGB图像xt。这种解码器的数据处理过程如下：xt＝Gdec(l,ct)，其中，ct表示目标年龄组信息。并且，ct是一个仅在目标年龄组位置为1的独热向量(又叫one-hotvector)。但是，为了最小化合成过程中引入伪影(artifacts)的概率，本发明设计的生成器还输出了一个注意力掩码M∈[0,...,1]H×W用于定位输入图像中与年龄变化高度相关的区域。该注意力掩码的生成过程和RGB图像I的生成过程是类似的，不同的是注意力掩码只需要生成1个通道的特征图。因此，生成器的输出由两个部分组成：一个分支生成RGB图像I，另一个分支回归一个基于空间注意力机制的注意力掩码M。这种数据处理过程可以用如下的公式表示：
I＝GI(e,ct)，M＝GM(e,ct)。
对于这两个不同的分支，前面的两层步长为2的上采样层的结构是权重共享的。不同的是，GI为生成器对应生成RGB图像的分支。GI使用一个卷积层将上采样的输出投影成一个通道数为3的特征，Tanh激活函数将生成的RGB图像和输入图像映射到相同的数值范围。GM表示生成器对应生成注意力掩码的分支。GM使用的是另一个卷积层将上采样的输出投影回一个通道数为1的特征图，Sigmoid函数将这个特征图当中的数值转换到[0,1]之间，这个数值表示输入当中每个像素对最终生成的贡献度。
最终的合成人脸图像xt可以通过公式xt＝(1-M)·I+M·xi计算。
2)构造判别器网络。判别器网络的主要作用是判别一张图像来自于真实样本集，还是来自假样本集。使用条件生成式对抗网络的判别器网络为基础，在判别器判别图像真假的过程中，添加年龄组信息进行指引。之前的用于人脸年龄合成的方法通常只对整张真实人脸/合成人脸的真实度进行判别。本发明引入局部判别器对真实人脸/合成人脸的人脸中心的真实度信息进行判别。局部判别器的引入能够给生成器提供额外的反馈信息，使得生成人脸中心的纹理更加逼真。全局判别器Dglobal接收整张真实/合成人脸x和对应年龄组信息c(可以是目标年龄组信息ct也可以是输出人脸的原始年龄组信息cs)作为输入，输出输入人脸图像判别为真的概率Rglobal。局部判别器Dlocal接收真实/生成人脸的人脸中心o和年龄组信息c作为输入，输出对应输入判别为真的概率Rlocal。
全局判别器由7个步长为2，卷积核大小为4x4的卷积层组成。在全局判别器的第二个卷积层的输入中注入年龄组信息c。除最后一层以外，每一个卷积层后面都跟随着一个批量归一化层(用以加速模型收敛速度)和LeakyReLU激活层(用以提高模型的非线性能力)。全局判别器的数据处理过程可以表示为：
Rglobal＝Dglobal(x,c)，
局部判别器和全局判别器的网络结构非常相似，不同之处在于，局部判别器接受全局判别器的输入人脸的中心区域作为输入，因此可以少用一层卷积层。局部判别器的数据处理过程可以表示为：
Rlocal＝Dlocal(o,c)，
3)设计损失函数。损失函数用于度量合成的结果和实际输出之间的差距。合理地设计损失函数并最小化损失函数的值能够提升模型的性能。本发明基于LSGAN loss设计对抗损失函数，旨在通过对抗学习的方式，提升合成年龄人脸的真实度。重构损失被用于限制合成人脸前后的身份信息。使用的对抗损失和重构损失会使得注意力掩码M中的元素趋近于1，也就是生成器没有起作用，最终生成的图像xt＝xi。因此，为了防止这种情况的出现，从“解剖学感知的单张人脸动画”(Anatomically-aware FacialAnimation from a SingleImage，简称为GANimation)的启发，该生成对抗网络模型还引入注意力损失，利用l2正则化规范注意力掩码M。同时，为了防止伪影的引入，我们对注意力掩码M使用全变分规则(totalvariationregulation)。生成器损失函数Latt如下：
Figure GDA0003687711660000171
其中，H,W分别对应表示输入图像xi的高度和宽度，λtv＝1e-4是惩罚系数，M＝GM(xi,ct)，Mi,j是M的第i，j个元素，Exs,ct表示xs，ct服从的数据分布。
步骤1.4，使用训练集对设计好的网络进行训练。使用对抗训练的方式训练生成对抗网络。生成器和判别器的更新比为2：1，即每进行两次生成器的更新，更新一次判别器(包括全局判别器和局部判别器)。最终，在Morph数据集上得到的模型训练需要迭代50000次，在CACD数据集上得到的模型需要迭代90000次。
步骤2，选择图像作为测试图像，检测输入图像中是否含有输入人脸。如果有，则对输入图像进行数据预处理，输入生成模型，得到对应人脸不同年龄段的人脸图像。否则，抛出错误提示信息。
以CACD数据集和Morph数据集为例，选取生成样本，观察本发明在这两个数据集上的视觉真实度。如图5-图8所示，其中，图5(a)表示人脸年龄合成方法在跨年龄普通人数据集Morph上男性进行人脸老化处理的结果。图5(b)表示人脸年龄合成方法在跨年龄普通人数据集Morph上女性进行人脸老化处理的结果。图6(a)表示人脸年龄合成方法在跨年龄名人数据集CACD上男性进行人脸老化处理的结果一。图6(b)表示人脸年龄合成方法在跨年龄名人数据集CACD上男性进行人脸老化处理的结果二。图7(a)表示人脸年龄合成方法在跨年龄普通人数据集Morph上男性进行人脸年轻化处理的结果一。图7(b)表示人脸年龄合成方法在跨年龄普通人数据集Morph上男性进行人脸年轻化处理的结果二。图8(a)表示人脸年龄合成方法在跨年龄名人数据集CACD上男性进行人脸年轻化处理的结果一。图8(b)表示人脸年龄合成方法在跨年龄名人数据集CACD上女性进行人脸年轻化处理的结果二。每幅图都是按照相同生成方式生成的结果，不同的仅是第一列输入。因此，以图5为例，对于每一个对象，第一列是输入的人脸图像，剩余四列依次是与输入对应的30岁以下，31-40岁，41-50岁，以及50岁以上的合成人脸。从整体上看，本发明捕捉到了人脸老化过程中的基本变化。比如，随着年龄的增长，脸部皮肤变得松弛，脸部纹理逐渐加深，笑线也开始显现。人脸年轻化的过程，则呈现出相反的变化。另外，针对不同的对象，人脸老化在使用本发明合成的结果中表现形式也各不相同。一方面，老化在不同的性别体现形式不一样。对于男性而言，老化可能体现在随着年龄的增长，脸部的胡须变密变白。而对于女性而言，老化变化更多的体现在脸部纹理和眼袋的加深。另一方面，不同的个体对象，人脸老化的效果也不一样。对于相同的性别，从图5-图8中可以看出有很大的效果差异，比如纹理加深的程度，以及部分男性呈现很明显的发际线变化。虽然没有与输入对应的真实的目标年龄人脸(ground truth)来衡量所提出的方法是否在人脸年龄当中性能表现良好，但是合成结果中，可以将与输入的人脸同年龄段的图像可以视为ground truth。对比两者之间的差异，可以发现这两类图片在视觉效果上相差不大，这也进一步验证了本发明的有效性。
如图9所示，本发明提供的一种人脸年龄合成系统，包括：
获取模块201，用于获取测试图像，检测测试图像中是否存在人脸。
预处理模块202，用于当测试图像中存在人脸时，则对测试图像进行预处理，得到经预处理后的测试数据。
训练模块203，用于训练人脸年龄合成模型，训练模块包括：
第一人脸年龄数据获取子模块，用于获取人脸年龄数据，对人脸年龄数据进行预处理；人脸年龄数据包括人脸图像和年龄组信息。将获得的图像根据年龄组信息，划分成不同的年龄组。
第一数据预处理子模块，用于将经过预处理后的第i个人脸年龄数据和第一目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像。
第一合成人脸子模块，用于根据第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像得到第i个人对应年龄标签的合成人脸图像。
第一生成器优化子模块，用于根据第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化生成式对抗网络模型的生成器网络。
第二数据预处理子模块，用于将预处理后的第i+1个人对应年龄标签的人脸年龄数据和第二目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i+1个人对应年龄标签的人脸年龄数据注意力掩码和第i+1个人对应年龄标签的人脸年龄数据RGB图像。
第二合成人脸子模块，用于根据第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和第i+1个人脸年龄数据的RGB图像得到第i+1个人对应年龄标签的合成人脸图像。
第二生成器优化子模块，用于根据第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和第i+1个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化生成式对抗网络模型的生成器网络。
真实性确定子模块，用于将第i+1个人对应年龄标签的合成人脸图像和预处理后的第i+1人对应年龄标签的人脸年龄数据输入生成式对抗网络模型的判别器网络，得到人脸图像的真实性的概率。
判别器优化子模块，用于根据人脸图像的真实性的概率，以最小化判别器网络的损失函数为目标，优化生成式对抗网络模型的判别器网络。
迭代计算子模块，用于计算迭代次数，判断迭代次数是否为最大迭代次数，得到第一判断结果；并当第一判断次数表示迭代次数不为最大迭代次数时，则将预处理后的第i+2个人脸年龄数据作为第i个人脸年龄数据，并返回第一人脸年龄数据获取子模块；当第一判断次数表示迭代次数为最大迭代次数时，则得到训练好的人脸年龄合成模型。
合成模块204，用于将经预处理后的测试数据输入训练好的人脸年龄合成模型中，得到不同年龄段的人脸图像。
其中，第一人脸年龄数据获取子模块，具体包括：
特征提取单元，用于将经过预处理后的第i个人脸年龄数据输入生成式对抗网络模型的生成器网络的第一卷积层中，提取图像特征。
特征缩放单元，用于将图像特征输入生成器网络的残差通道注意力模块进行特征缩放，得到残差通道注意力模块的输出结果。
第二卷积层输入单元，用于将残差通道注意力模块的输出结果输入生成器网络的第二卷积层，得到第二卷积层的输出结果。
反卷积层输入单元，用于将第二卷积层的输出结果输入到生成器网络的反卷积层，得到反卷积层的输出结果。
第三卷积层输入单元，用于将反卷积层的输出结果输入生成器网络的第三卷积层，得到上采样的输出结果。
RGB图像确定单元，用于将上采样的输出结果输入Tanh激活层得到第i个人对应年龄标签的人脸年龄数据的RGB图像。
第四卷积层输入单元，用于将反卷积层的输出结果输入生成器网络的第四卷积层，得到下采样的输出结果。
注意力掩码确定单元，用于将下采样的输出结果输入sigmod激活层得到第i个人对应年龄标签的人脸年龄数据的注意力掩码。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种人脸年龄合成方法，其特征在于，包括：
获取测试图像，检测所述测试图像中是否存在人脸；
若所述测试图像中存在人脸，则对测试图像进行预处理，得到经预处理后的测试数据；
将所述经预处理后的测试数据输入训练好的人脸年龄合成模型中，得到对应人脸多张不同年龄段的人脸图像；
所述训练好的人脸年龄合成模型，具体训练过程包括：
获取人脸年龄数据，对所述人脸年龄数据进行预处理；所述人脸年龄数据包括人脸图像和年龄组信息；所述年龄组信息包括年龄标签；
将经过预处理后的第i个人脸年龄数据和第一目标年龄标签输入生成式对抗网络模型的生成器网络中，第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像；
根据所述第i个人脸年龄数据的对应年龄标签的注意力掩码和所述对应的RGB图像得到第i个人对应年龄标签的合成人脸图像；
根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和对应的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
将预处理后的第i+1个人脸年龄数据和第二目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i+1个人对应年龄标签的人脸年龄数据注意力掩码和对应RGB图像；
根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的人脸年龄数据的RGB图像得到第i+1个对应年龄标签的合成人脸图像；
根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
将所述第i+1个人对应年龄标签的合成人脸图像和所述预处理后的第i+1人对应年龄标签的人脸年龄数据作为负样本，第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络，得到人脸图像的真实性的概率；
根据所述人脸图像的真实性的概率，以最小化判别器网络的损失函数为目标，优化所述生成式对抗网络模型的判别器网络；
计算迭代次数，判断迭代次数是否为最大迭代次数，得到第一判断结果；
若所述第一判断结果表示所述迭代次数不为最大迭代次数，则将预处理后的第i+2个人对应年龄标签的人脸年龄数据作为第i个人脸年龄数据，并返回将经过预处理后的第i个人对应年龄标签的人脸年龄数据和第三目标年龄标签输入生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像步骤；
若所述第一判断结果表示所述迭代次数为最大迭代次数，则得到训练好的人脸年龄合成模型。
2.根据权利要求1所述的人脸年龄合成方法，其特征在于，所述将经过预处理后的第i个人对应年龄标签的人脸年龄数据输入生成式对抗网络模型的生成器网络中，得到第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像，具体包括：
将所述经过预处理后的第i个人对应年龄标签的人脸年龄数据输入所述生成式对抗网络模型的生成器网络的第一卷积层中，提取图像特征；
将所述图像特征输入所述生成器网络的残差通道注意力模块进行特征缩放，得到所述残差通道注意力模块的输出结果；
将所述残差通道注意力模块的输出结果输入所述生成器网络的第二卷积层，得到所述第二卷积层的输出结果；
将所述第二卷积层的输出结果输入到所述生成器网络的反卷积层，得到反卷积层的输出结果；
将所述反卷积层的输出结果输入所述生成器网络的第三卷积层，得到上采样的输出结果；
将所述上采样的输出结果输入Tanh激活层得到第i个人对应年龄标签的人脸年龄数据的RGB图像；
将所述反卷积层的输出结果输入所述生成器网络的第四卷积层，得到下采样的输出结果；
将所述下采样的输出结果输入sigmod激活层得到第i个人对应年龄标签的人脸年龄数据的注意力掩码。
3.根据权利要求2所述的人脸年龄合成方法，其特征在于，所述将所述图像特征输入所述生成器网络的残差通道注意力模块进行特征缩放，得到所述残差通道注意力模块的输出结果，具体包括：
将所述图像特征输入所述残差通道注意力模块的卷积层进行下采样，得到下采样特征；
将所述下采样特征输入所述残差通道注意力模块的通道注意力模块，根据如下公式生成通道数据：
Z＝σ(Wup(Wdown(Pavg(V)))+Wup(Wdown(Pmax(V))))，其中，Z表示通道数据，V表示下采样特征，Wdown表示通道下采样层的权重，Wup表示通道上采样层的权重，Pmax表示空间最大池化层，Pavg表示空间平均池化层，σ表示sigmoid函数；
根据所述通道数据和所述下采样特征采用如下公式生成所述通道注意力模块的输出结果：
Figure FDA0003687711650000031
其中，U表示所述通道注意力模块的输出结果，
Figure FDA0003687711650000032
表示相乘；
根据所述通道注意力模块的输出结果和所述图像特征采用如下公式生成所述残差通道注意力模块的输出结果：
Fout＝Fin+U，其中，Fin表示图像特征，Fout表示所述残差通道注意力模块的输出结果。
4.根据权利要求1所述的人脸年龄合成方法，其特征在于，所述将所述第i+1个人对应年龄标签的合成人脸图像和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据作为负样本，第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络，得到输入的人脸图像的真实性的概率；具体包括：
将所述第i+1个人对应年龄标签的人脸合成图像和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据作为正样本，第二目标年龄标签对应的人脸年龄数据作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络的全局判别器，得到输入图像判别为真的概率；
获取所述第i+1个人对应年龄标签的人脸合成图像的人脸中心；
将所述第i+1个人对应年龄标签的人脸合成图像的人脸中心和所述预处理后的第i+1个人对应年龄标签的人脸年龄数据的人脸中心作为负样本，第二目标年龄标签对应的人脸年龄数据的人脸中心作为正样本，分别将所述正样本和所述负样本输入所述生成式对抗网络模型的判别器网络的局部判别器，得到输入图像判别为真的概率。
5.根据权利要求1所述的人脸年龄合成方法，其特征在于，所述获取人脸年龄数据，对所述人脸年龄数据进行预处理，具体包括：
将获取的人脸年龄数据输入多任务卷积神经网络，得到人脸基准点信息；
将所述人脸基准点信息进行仿射变换，得到人脸对齐后的人脸信息；
将所述人脸对齐后的人脸信息进行裁剪，并将所述裁剪后的人脸信息按照年龄组进行划分，得到输入的人脸信息；所述输入的人脸信息包括输入的人脸图像和年龄组信息。
6.根据权利要求1所述的人脸年龄合成方法，其特征在于，所述根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络，具体包括：
根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的合成人脸图像利用如下公式确定损失函数；
Figure FDA0003687711650000051
其中，Latt表示注意力损失函数，Exi，ci表示合成的注意力掩码中的数据服从的数据分布，H,W分别对应表示输入的合成人脸图像xi的高度和宽度，λtv是惩罚系数，M为注意力掩码，Mi,j是M的第i行，第j列的元素，Exs,ct表示输入的人脸年龄数据xs，目标年龄标签ct对应的注意力掩码服从的数据分布，xs表示输入的人脸年龄数据，ct表示目标年龄标签；
以最小化损失函数为目标对生成器网络中的参数进行优化。
7.一种人脸年龄合成系统，其特征在于，包括：
获取模块，用于获取测试图像，检测所述测试图像中是否存在人脸；
预处理模块，用于当所述测试图像中存在人脸时，则对测试图像进行预处理，得到经预处理后的测试数据；
合成模块，用于将所述经预处理后的测试数据输入训练好的人脸年龄合成模型中，得到不同年龄段的人脸图像；
训练模块，用于训练人脸年龄合成模型，训练模块包括：
第一人脸年龄数据获取子模块，用于获取人脸年龄数据，对所述人脸年龄数据进行预处理；所述人脸年龄数据包括人脸图像和年龄组信息；
第一数据预处理子模块，用于将经过预处理后的第i个人脸年龄数据和第一目标年龄标签输入生成式对抗网络模型的生成器网络中，第i个人对应年龄标签的人脸年龄数据的注意力掩码和第i个人对应年龄标签的人脸年龄数据的RGB图像；
第一合成人脸子模块，用于根据所述第i个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i个人对应年龄标签的人脸年龄数据的RGB图像得到第i个人对应年龄标签的合成人脸图像；
第一生成器优化子模块，用于根据所述第i个人 对应年龄标签的人脸年龄数据的注意力掩码和对应合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
第二数据预处理子模块，用于将预处理后的第i+1个对应年龄标签的人脸年龄数据和第二目标年龄标签，输入生成式对抗网络模型的生成器网络中，得到第i+1个人对应年龄标签的人脸年龄数据注意力掩码和第i+1个人对应年龄标签的人脸年龄数据RGB图像；
第二合成人脸子模块，用于根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的人脸年龄数据的RGB图像得到第i+1个人对应年龄标签的合成人脸图像；
第二生成器优化子模块，用于根据所述第i+1个人对应年龄标签的人脸年龄数据的注意力掩码和所述第i+1个人对应年龄标签的合成人脸图像，以最小化生成器网络的损失函数为目标，优化所述生成式对抗网络模型的生成器网络；
真实性确定子模块，用于将所述第i+1个人对应年龄标签的合成人脸图像和所述预处理后的第i+1人对应年龄标签的人脸年龄数据作为负样本，对应目标年龄标签中的人脸年龄数据作为正样本，分别输入所述生成式对抗网络模型的判别器网络，得到人脸图像的真实性的概率；
判别器优化子模块，用于根据所述人脸图像的真实性的概率，以最小化判别器网络的损失函数为目标，优化所述生成式对抗网络模型的判别器网络；
迭代计算子模块，用于计算迭代次数，判断迭代次数是否为最大迭代次数，得到第一判断结果；并当所述第一判断结果表示所述迭代次数不为最大迭代次数时，则将预处理后的第i+2个人脸年龄数据作为第i个人脸年龄数据，并返回第一人脸年龄数据获取子模块；当所述第一判断结果表示所述迭代次数为最大迭代次数时，则得到训练好的人脸年龄合成模型。
8.根据权利要求7所述的人脸年龄合成系统，其特征在于，所述第一人脸年龄数据获取子模块，具体包括：
特征提取单元，用于将所述经过预处理后的第i个人脸年龄数据输入所述生成式对抗网络模型的生成器网络的第一卷积层中，提取图像特征；
特征缩放单元，用于将所述图像特征输入所述生成器网络的残差通道注意力模块进行特征缩放，得到所述残差通道注意力模块的输出结果；
第二卷积层输入单元，用于将所述残差通道注意力模块的输出结果输入所述生成器网络的第二卷积层，得到所述第二卷积层的输出结果；
反卷积层输入单元，用于将所述第二卷积层的输出结果输入到所述生成器网络的反卷积层，得到反卷积层的输出结果；
第三卷积层输入单元，用于将所述反卷积层的输出结果输入所述生成器网络的第三卷积层，得到上采样的输出结果；
RGB图像确定单元，用于将所述上采样的输出结果输入Tanh激活层得到第i个人对应年龄标签的人脸年龄数据的RGB图像；
第四卷积层输入单元，用于将所述反卷积层的输出结果输入所述生成器网络的第四卷积层，得到下采样的输出结果；
注意力掩码确定单元，用于将所述下采样的输出结果输入sigmod激活层得到第i个人对应年龄标签的人脸年龄数据的注意力掩码。
CN202010846892.2A 2020-08-21 2020-08-21 一种人脸年龄合成方法及系统 Active CN111985405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010846892.2A CN111985405B (zh) 2020-08-21 2020-08-21 一种人脸年龄合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010846892.2A CN111985405B (zh) 2020-08-21 2020-08-21 一种人脸年龄合成方法及系统

Publications (2)

Publication Number Publication Date
CN111985405A CN111985405A (zh) 2020-11-24
CN111985405B true CN111985405B (zh) 2022-07-26

Family

ID=73442725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010846892.2A Active CN111985405B (zh) 2020-08-21 2020-08-21 一种人脸年龄合成方法及系统

Country Status (1)

Country Link
CN (1) CN111985405B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487971A (zh) * 2020-11-30 2021-03-12 南京信息工程大学 一种面向弱标签数据进行人脸年龄合成的方法
CN112634126A (zh) * 2020-12-22 2021-04-09 厦门美图之家科技有限公司 人像减龄处理方法、训练方法、装置、设备及存储介质
CN112766157B (zh) * 2021-01-20 2022-08-30 乐山师范学院 一种基于解纠缠表示学习的跨年龄人脸图像识别方法
CN112750073A (zh) * 2021-01-21 2021-05-04 深圳艾摩米智能科技有限公司 人脸多年龄段图像合成方法、装置、计算机设备及存储介质
CN113392791A (zh) * 2021-06-24 2021-09-14 厦门美图之家科技有限公司 一种皮肤预测处理方法、装置、设备及存储介质
CN113837930B (zh) * 2021-09-24 2024-02-02 重庆中科云从科技有限公司 人脸图像合成方法、装置以及计算机可读存储介质
CN113837942A (zh) * 2021-09-26 2021-12-24 平安科技（深圳）有限公司 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN113902957B (zh) * 2021-10-11 2024-02-09 北京百度网讯科技有限公司 图像生成方法、模型的训练方法、装置、电子设备及介质
CN113888399B (zh) * 2021-10-25 2024-04-16 河北工业大学 一种基于风格融合与域选结构的人脸年龄合成方法
CN114742695B (zh) * 2022-03-18 2024-04-12 西北大学 一种基于性别约束的渐进式人脸老化系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455790B2 (en) * 2018-11-14 2022-09-27 Nvidia Corporation Style-based architecture for generative neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法

Also Published As

Publication number Publication date
CN111985405A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111985405B (zh) 一种人脸年龄合成方法及系统
CN109815928B (zh) 一种基于对抗学习的人脸图像合成方法和装置
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN106683048B (zh) 一种图像超分辨率方法及设备
CN111080513B (zh) 一种基于注意力机制的人脸图像超分辨率方法
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN109087375B (zh) 基于深度学习的图像空洞填充方法
CN110610464A (zh) 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN110211035A (zh) 融合互信息的深度神经网络的图像超分辨率方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN110660020A (zh) 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN115641391A (zh) 一种基于密集残差和双流注意力的红外图像彩色化方法
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN113706404B (zh) 一种基于自注意力机制的俯角人脸图像校正方法及系统
CN115049739A (zh) 一种基于边缘检测的双目视觉立体匹配方法
CN112862023B (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN111914617B (zh) 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN114511798A (zh) 基于transformer的驾驶员分心检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant