CN113221645B - 目标模型训练方法、人脸图像生成方法以及相关装置 - Google Patents

目标模型训练方法、人脸图像生成方法以及相关装置 Download PDF

Info

Publication number
CN113221645B
CN113221645B CN202110371864.4A CN202110371864A CN113221645B CN 113221645 B CN113221645 B CN 113221645B CN 202110371864 A CN202110371864 A CN 202110371864A CN 113221645 B CN113221645 B CN 113221645B
Authority
CN
China
Prior art keywords
training
age
face
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110371864.4A
Other languages
English (en)
Other versions
CN113221645A (zh
Inventor
陈仿雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202110371864.4A priority Critical patent/CN113221645B/zh
Publication of CN113221645A publication Critical patent/CN113221645A/zh
Application granted granted Critical
Publication of CN113221645B publication Critical patent/CN113221645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种目标模型训练方法、人脸图像生成方法以及相关装置，目标模型训练方法包括：将训练年龄值作为年龄转换模型的输入，输出训练年龄向量；将训练人脸图像和训练年龄向量作为生成网络模型的输入，输出与训练年龄值对应的训练人脸生成图像；将训练人脸生成图像作为判别网络模型的输入得到判别结果，之后基于年龄估计模型输出预测年龄值。最后根据判别结果，M个训练人脸图像特征和M个训练人脸生成图像特征，以及，预测年龄值和训练年龄值计算目标模型的总损失值；基于总损失值更新目标模型的权重参数。通过训练得到的生成网络模型可以生成与任何一个年龄值对应的人脸生成图像。

Description

目标模型训练方法、人脸图像生成方法以及相关装置
技术领域
本发明涉及计算机技术领域，具体涉及一种目标模型训练方法、人脸图像生成方法以及相关装置。
背景技术
人脸老化在计算机视觉领域一直以来都是比较热门的研究内容。人脸识别通常利用以前的照片进行人脸的确定，因此以前的照片是唯一可用的线索，但是随着人脸老化，使得对人的外貌和年龄的识别结果造成至关重要的影响。在计算机视觉领域，计算机辅助的面部衰老的目标是提供具有自然衰老的特定年龄的面部图像。近几年来，对抗生成网络(GAN)应用的越来越广泛，特别是在人脸生成的领域。
但是，受限于条件对抗生成网络结果的设定，在目前的模型训练过程中需要对训练的数据按照年龄进行分组，使得学习到的是一组的年龄特征，同时如果划分的年龄段越细，每一组需要的数据量就会越大，而一般数据量是很难达到的，因此，目前很难做到一个年龄值预测出一种人脸衰老图像。
发明内容
基于此，有必要针对上述问题，提出一种目标模型训练方法、人脸图像生成方法以及相关装置。
一种目标模型训练方法，包括：所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，所述年龄估计模型包括M个卷积层，所述M个卷积层中的第(k+1)个卷积层用于对所述M个卷积层中的第k个卷积层输出的第k特征进行特征提取，以得到第(k+1)特征，所述M个卷积层中的第1个卷积层用于对输入至所述年龄估计模型的图像进行特征提取，以得到第1特征，1≤k≤M，M大于1；
从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征；
根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取新的训练人脸图像的步骤，直到所述目标模型满足收敛条件。
一种目标模型训练装置，包括：所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，所述年龄估计模型包括M个卷积层，所述M个卷积层中的第(k+1)个卷积层用于对所述M个卷积层中的第k个卷积层输出的第k特征进行特征提取，以得到第(k+1)特征，所述M个卷积层中的第1个卷积层用于对输入至所述年龄估计模型的图像进行特征提取，以得到第1特征，1≤k≤M，M大于1；
训练获取模块，用于从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
训练转换模块，用于将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
训练生成模块，用于将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
训练判别模块，用于将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
训练预测模块，用于将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征；
训练计算模块，用于根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
训练更新模块，用于基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取新的训练人脸图像的步骤，直到所述目标模型满足收敛条件。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征；
根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取新的训练人脸图像的步骤，直到所述目标模型满足收敛条件。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征；
根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取新的训练人脸图像的步骤，直到所述目标模型满足收敛条件。上述目标模型训练方法、装置、计算机设备及存储介质，所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，目标模型训练方法中总损失值的计算综合了判别结果、M个训练人脸图像特征和M个训练人脸生成图像特征，以及预测年龄值和训练年龄值，其中，上述过程中将训练年龄值转换得到了训练年龄向量，并与训练人脸图像进行了融合得到训练人脸生成图像，通过采用年龄估计模型对训练人脸生成图像进行预测得到预测年龄值，然后基于预测年龄值与训练年龄值之间的损失进行模型训练，从而促使生成网络模型更加准确地生成与预测年龄值对应训练人脸生成图像，使得最终训练得到的生成网络模型可以实现生成任何年龄值对应的人脸年龄变化图像。此外，总损失值的计算中包括了目标训练人脸图像对应的M个训练人脸图像特征和目标训练人脸生成图像对应的M个训练人脸生成图像特征之间的损失，通过模型训练可以使得两者的差异越来越小，差异越小，说明两者越相似，从而使得最后训练得到的生成网络模型可以保证原图与人脸生成图像的身份一致性，相对于传统的需要额外引入身份识别模块的方式，该方式有利于简化整体网络结构。
一种人脸图像生成方法，包括：
获取目标人脸图像，获取选择的目标年龄值；
将所述目标年龄值转换为与所述目标年龄值对应的目标年龄向量；
将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的目标人脸生成图像，其中，所述生成网络模型为通过上述目标模型训练方法训练得到的。
一种人脸图像生成装置，包括：
目标获取模块，用于获取目标人脸图像，获取选择的目标年龄值；
目标转换模块，用于将所述目标年龄值转换为与所述目标年龄值对应的目标年龄向量；
目标生成模块，用于将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的目标人脸生成图像，其中，所述生成网络模型为通过上述目标模型训练方法训练得到的。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取目标人脸图像，获取选择的目标年龄值；将所述目标年龄值转换为与所述目标年龄值对应的目标年龄向量；将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的目标人脸生成图像。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：获取目标人脸图像，获取选择的目标年龄值；将所述目标年龄值转换为与所述目标年龄值对应的目标年龄向量；将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的目标人脸生成图像。
上述人脸图像生成方法、装置、计算机设备及存储介质，基于训练得到的生成网络模型可以预测得到任何年龄值对应的目标人脸生成图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是一个实施例中目标模型训练方法的流程图；
图2是一个实施例中生成网络模型的结构示意图；
图3是一个实施例中人脸图像生成方法的流程图；
图4是一个实施例中目标网络模型的训练过程示意图；
图5是一个实施例中目标模型训练装置的结构框图；
图6是一个实施例中人脸图像生成装置的结构框图；
图7是一个实施例中计算机设备的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，提出了一种目标模型训练方法，该目标模型训练方法可以应用于终端，本实施例以应用于终端举例说明。所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，所述年龄估计模型包括M个卷积层，所述M个卷积层中的第(k+1)个卷积层用于对所述M个卷积层中的第k个卷积层输出的第k特征进行特征提取，以得到第(k+1)特征，所述M个卷积层中的第1个卷积层用于对输入至所述年龄估计模型的图像进行特征提取，以得到第1特征，1≤k≤M，M大于1；该目标模型训练方法具体包括以下步骤：
步骤102，从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值。
其中，训练人脸图像集中包含有用于训练模型的多个训练人脸图像。训练年龄值是具体的年龄数值，比如，30岁，训练年龄值用于指示预测该训练年龄值对应的训练人脸生成图像。假设现在训练获取的训练人脸图像是一个20岁的人脸图像，预测年龄值可以选择30岁等其他具体的年龄数值，目的是为了基于该目前20岁的人脸图像预测出30岁等其他年龄对应的人脸图像，即可以预测出人未来几十年的衰老变化过程。当然，也可以用来预测20岁之前的人脸图像。
训练年龄值是任意选择的，比如，可以选择0-100之间的任何数值。在一个实施例中，每个训练人脸图像对应多个训练年龄值，比如，可以将0-100中的每个年龄值都分别作为训练人脸图像的训练年龄值。
步骤104，将训练年龄值作为年龄转换模型的输入，确定年龄转换模型输出的训练年龄向量。
其中，年龄转换模型用于将训练年龄值转换为训练年龄向量，即采用向量的形式来表示年龄值。年龄转换模型可以采用全连接网络模型来实现，年龄转换模型可以和生成网络模型一起训练得到。全连接网络模型包括全连接层，全连接层中的每个结点(即神经元结点)都与上一层的所有结点连接，然后根据上一层的所有结点的输出进行映射计算并输出，然后又会将输出作为下一层中所有结点的输入。在一个实施例中，年龄转换模型可以采用一个5层的全连接网络模型来实现，包括输入层、3个全连接层和输出层。全连接网络模型的功能相对于映射函数，即采用线性全连接网络模型来实现映射函数的功能，可以采用如下公式表示：Vt＝f(t)，即将目标年龄值t转为目标年龄向量Vt。
步骤106，将训练人脸图像和训练年龄向量作为生成网络模型的输入，以通过生成网络模型输出与训练年龄值对应的训练人脸生成图像。
其中，生成网络模型用于根据训练人脸图像和训练年龄向量生成与训练年龄值对应的训练人脸生成图像。具体地，首先，对训练人脸图像进行特征提取得到训练第一人脸特征图，然后将训练第一人脸特征图与训练年龄向量融合，得到训练融合人脸特征图，最后，基于训练融合人脸特征图进行进一步提取，最后得到与训练年龄值对应的训练人脸生成图像。
步骤108，将训练人脸生成图像作为判别网络模型的输入，获取判别网络模型输出的判别结果。
其中，判别网络模型用于判断输入图像的真假，在模型训练的过程中，生成网络模型用于生成与目标年龄值对应的人脸生成图像，判别网络模型则是将人脸生成图像作为输入，与生成网络模型一起训练，通过识别人脸生成图像的真假来提升生成网络模型生成图像的质量。即生成网络模型训练的时候是为了生成接近于真实的图像，而判别网络模型则负责识别出人脸生成图像，通过生成网络模型和判别网络模型的对抗训练，使得生成网络模型生成的人脸生成图像的特征和真实图像特征基本上一致，即达到以假乱真的目的，最终使得判别网络模型无法准确识别输入的是人脸生成图像还是真实图像。判别结果可以用判断得到的属于真实图像的概率值来表示，也可以根据概率值进而确定真、假，比如，将概率值大于0.8的判断为真，将概率值小于0.8的判断为假。
步骤110，将判别结果为真的目标训练人脸生成图像和目标训练人脸生成图像对应的目标训练人脸图像并行输入年龄估计模型，以通过年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征。
其中，为了保证身份的一致性，即保证得到的训练人脸生成图像与训练人脸图像中的人脸是同一个人，将训练人脸生成图像和训练人脸图像并行输入到年龄估计模型，分别得到每个卷积层进行特征提取后得到的训练人脸生成图像特征和训练人脸图像特征。通过分别比较同一卷积层对应的训练人脸图像特征和训练人脸生成图像特征之间的差异来评估两者身份的一致性，差异采用损失值的方式来表达。不同卷积层对应的特征图的尺寸不同，通过比较不同尺寸特征图的差异，可以更好地学习到不同尺度所表示的特征，从而实现在高分辨率下，在保持原图信息的同时，在不同年龄下，仅仅改变面部的衰老特征。
步骤112，根据判别结果，M个训练人脸图像特征和M个训练人脸生成图像特征，以及，预测年龄值和训练年龄值计算目标模型的总损失值。
其中，总损失值包括由三部分的损失值构成，第一部分的损失值是根据判别网络模型输出的判别结果计算得到的，判别结果为对输入的训练人脸生成图像预测为真的概率值，判别网络模型的目的是识别出生成的训练人脸生成图像为假，所以对于判别结果，其得到的预测为真的概率值越小越好。生成网络模型与判别网络模型是对抗性网络，生成网络模型的目的是使得生成的训练人脸生成图像越真越好，根据两者的对抗关系，基于损失值来调整生成网络模型和判别网络模型中的参数权重，损失值用来衡量模型是否准确的依据，损失值越大，说明模型越不准确，所以调整参数权重的目的就是使损失值越来越小，直到符合预设的收敛条件。
第二部分的损失值是根据预测年龄值和训练年龄值计算得到的，年龄估计模型的目的是使得输出的预测年龄值越接近训练年龄值越好，所以在训练的时候，根据预测年龄值和训练年龄值的差异计算得到相应的损失值，损失值越大，说明年龄估计模型预测的越不准确，所以为了使得年龄估计模型越来越准确，需要基于对应的损失值不断调整年龄估计模型中的参数权重，以便得到更加准确的年龄估计模型。
第三部分的损失值是根据M个训练人脸图像特征和M个训练人脸生成图像特征计算得到的，为了保证得到的训练人脸生成图像与训练人脸图像中的人脸是同一个人，通过分别比较同一卷积层对应的训练人脸图像特征和训练人脸生成图像特征之间的差异来评估两者身份的一致性，差异越大，说明两者相差越大，所以需要基于计算得到的这一部分损失值来调整生成网络模型中的权重参数，使得其生成的训练人脸生成图像与训练人脸图像的特征差异减小，不同卷积层对应的特征图的尺寸不同，通过比较不同尺寸特征图的差异，可以更好地学习到不同尺度所表示的特征，从而保证生成网络模型生成的训练人脸生成图像与训练人脸图像在身份上保持一致性。通过学习不同尺度所表示的特征，使得在高分辨率下，不但能够保持原图信息，且又能体现不同年龄下面部的年龄特征。该方法中保持身份一致性是通过学习年龄估计模型中针对训练人脸图像和训练人脸生成图像在不同尺寸特征上的差异来实现的，不需要额外引入身份识别模块，大大简化了整体网络结构。
步骤114，基于总损失值更新目标模型的权重参数，返回执行从训练人脸图像集中获取新的训练人脸图像的步骤，直到目标模型满足收敛条件。
其中，在模型训练时，是通过输入一张训练人脸图像计算一次的，所以是一个迭代的过程，即更新完一次权重参数后，重新获取新的训练人脸图像，然后重新执行上述训练步骤，直到最后总损失值满足收敛条件，训练结束。将训练完成的年龄转换模型和生成网络模型在预测阶段使用，其他都是辅助训练模型，在预测阶段不再出现。在模型训练的过程中，需要根据总损失值不断调整各个模型中的权重参数，从而使得总损失值朝着减小的方向变化，直到总损失值达到收敛，或者迭代次数超过预设次数(比如，500次)。在一个实施例中，采用adam算法优化模型权重参数，初始化学习率设置为0.001，权重衰减设置为0.0005，每50次迭代，学习率衰减为原来的十分之一，训练完成后，得到训练完成的各个模型，包括生成网络模型和年龄转换模型。
上述目标模型训练方法，目标模型包括生成网络模型、判别网络模型以及年龄估计模型，目标模型训练方法中总损失值的计算综合了判别结果、M个训练人脸图像特征和M个训练人脸生成图像特征，以及预测年龄值和训练年龄值，其中，上述过程中将训练年龄值转换得到了训练年龄向量，并与训练人脸图像进行了融合得到训练人脸生成图像，通过采用年龄估计模型对训练人脸生成图像进行预测得到预测年龄值，然后基于预测年龄值与训练年龄值之间的损失进行模型训练，从而促使生成网络模型更加准确地生成与预测年龄值对应训练人脸生成图像，使得最终训练得到的生成网络模型可以实现生成任何年龄值对应的人脸年龄变化图像。此外，总损失值的计算中包括了目标训练人脸图像对应的M个训练人脸图像特征和目标训练人脸生成图像对应的M个训练人脸生成图像特征之间的损失，通过模型训练可以使得两者的差异越来越小，差异越小，说明两者越相似，从而使得最后训练得到的生成网络模型可以保证原图与人脸生成图像的身份一致性，相对于传统的需要额外引入身份识别模块的方式，该方式有利于简化整体网络结构。
在一个实施例中，所述根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值，包括：根据所述判别结果采用第一损失函数计算得到第一损失值；根据所述训练年龄值和所述预测年龄采用第二损失函数计算得到第二损失值；计算第m个训练人脸图像特征和第m个训练人脸生成图像特征之间的差值，得到所述第m卷积层对应的特征图差值，其中1≤m≤M；将M个卷积层对应的M个特征图差值相加得到第三损失值，所述年龄估计模型中不同卷积层对应的特征图尺寸不同；所述根据所述第一损失值、所述第二损失值和所述第三损失值计算得到所述总损失值。
其中，第一损失函数为对抗损失函数，根据判别器输出的判别结果来计算得到第一损失值，判别结果为对输入的人脸生成图像预测的概率值。即根据预测的训练人脸生成图像的概率值来计算得到第一损失值，第一损失值用来评估判别网络模型预测的准确度，第一损失值越大，表明判别网络模型预测的准确度越低，基于第一损失值对判别网络模型进行调整，使得判别网络模型训练得越来越准确。
第二损失值表示的是年龄差值损失，即训练年龄值和预测年龄值的差异带来的损失，第二损失值用来评估年龄估计模型预测的准确度，第二损失值越大，说明预测的准确度越低，所以需要通过不断调整年龄估计模型的参数权重来进行模型训练，模型训练的过程中使得第二损失值越来越小。
第三损失值表示的是身份一致性的损失。计算训练人脸图像和训练人脸生成图像在不同尺度下特征图的损失，根据第三损失值来评述两者身份的一致性。通过比较训练人脸图像和训练人脸生成图像在不同尺度特征图的差值，来评估训练人脸图像和训练人脸生成图像身份的一致性，根据第三损失值可以对生成网络模型进行调整，使得生成网络模型输出的训练人脸生成图像与训练人脸图像的特征差异越来越小，从而保证了训练人脸生成图像与原图保持身份的一致性，且通过设置第三损失值，不需要再额外进行身份一致性的验证，有利于简化整体网络结构，同时让生成网络模型能够更好地学习到不同尺寸特征图对应的特征差异，从而更加精细保持原图脸部的五官信息，进而改变脸部衰老的特征信息。
在一个实施例中，所述第一损失值为对抗损失函数，所述第二损失函数为年龄差损失函数，所述第三损失函数为训练人脸图像和训练人脸生成图像的特征图损失函数；所述根据所述第一损失值、所述第二损失值和所述第三损失值计算得到总损失值，包括：获取所述第一损失值对应的第一权重系数，获取所述第二损失值对应的第二权重系数，获取所述第三损失值对应的第三权重系数；根据所述第一权重系数、所述第一损失值、所述第二权重系数、所述第二损失值、所述第三权重系数和所述第三损失值进行加权求和得到所述总损失值。
其中，为了能够使得生成网络模型生成更加真实的图像，第一损失函数采用对抗损失函数，生成网络模型希望其输出生成的图像能够骗过判别网络模型，判别网络模型则是希望能够准确地判定图片的真假。在一个实施例中，对抗损失函数采用如下公式表示：
其中，D(x)表示判别网络模型对输入的训练人脸图像输出为真的概率值，表示输出为真的概率值越大，相应的损失值越小，G(x)表示生成网络模型生成的训练人脸生成图像，D(G(x))表示判别器对输入的训练人脸生成图像G(x)输出为真的概率值。ln(1-D(G(x)))表示输出的训练人脸生成图像为真的概率值越大，表示相应的损失值也越大，Ex表示分布函数的期望值。训练模型的目的是使得损失值往小的方向改变，即使得D(x)的值越大越好，使得D(G(x))的值越小越好。
第二损失函数为年龄差损失函数，在一个实施例中，年龄差损失函数采用如下公式表示：其中为pi为训练年龄值中的一个，qi为人脸生成图像输入到年龄估计模型后，训练年龄值对应的预测的年龄概率分布，k表示训练年龄值的最小值，N表示训练年龄值的最大值，假设训练年龄值的最小值为20岁，最大值为80岁，那么在计算损失的时候，在20-80岁之间的任意年龄值都会对应有一个预测的年龄概率分布，即在训练的时候，一张训练人脸图像对应的训练年龄值有多个，比如，训练年龄值分别为20-80岁之间的任意年龄值，这样能够保证后续训练得到的生成网络模型可以预测20-80岁之间的任意年龄值。具体地，pi为一个年龄数值，qi是一个预测的年龄概率分布，是一个向量。举个例子，假设设置的年龄预测是预测20-25岁的，那么qi是一个6维的向量，表示从20-25每个年龄的概率。为将pi和qi相乘，可以将pi也表示成一个6维向量的形式，比如，假设pi表示25岁，那么在6维向量中将对应25岁的地方表示为1，其他地方为0，比如，pi表示为(0,0,0,0，0,1)，qi的表示值为(0.1,0.3,0.4,0.1,0.1)，两者相乘得到0.1。
第三损失函数为训练人脸图像和训练人脸生成图像的特征图损失函数，在一个实施例中，第三损失函数采用如下公式表示：
其中，h表示年龄估计模型对应卷积层个数，Vi表示训练人脸图像在年龄估计模型的第i层卷积层得到特征图，V′i表示训练人脸生成图像在年龄估计模型的第i层卷积层得到特征图。由于不同尺度的特征图所表示不同的视觉特征，通过构建此类损失，使得衰老模型能更好学习到不同尺度所表示的特征，从而实现在高分辨下，在保持原图信息的同时，仅仅改变面部衰老的特征，实现精准的年龄衰老预测。计算总的损失值时，还需要考虑各个不同损失值对应的权重系数，即第一权重系数、第二权重系数和第三权重系数。具体的，可以采用如下公式计算得到总的损失值：L＝α*LAloss+β*L1loss+γ*LD。其中，α、β和γ为超参数，用来平衡各个部分损失值的权重，在一个实施例中，预定义超参数为α＝0.3，β＝0.4，γ＝0.3。总损失值是由三部分损失值构成的，通过构建多个损失值，使得训练得到的目标模型中的生成网络模型不仅能够预测出任意年龄值的人脸生成图像，而且保证了预测前后图像身份的一致性。
在一个实施例中，所述生成网络模型包括：编码器、年龄融合模块和解码器；所述将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像，包括：通过所述编码器对所述训练人脸图像进行特征提取，得到训练第一人脸特征图；通过所述年龄融合模块将所述训练第一人脸特征图与所述训练年龄向量进行融合，得到带有年龄特征的训练融合人脸特征图；通过所述解码器根据所述训练融合人脸特征图输出与所述训练年龄值对应的训练人脸生成图像。
其中，生成网络模型用于将目标人脸图像生成与训练年龄值对应的训练人脸生成图像。生成网络模型一般只包含编码器和解码器，为了得到训练年龄值对应的训练人脸生成图像，这里引入了年龄融合模块，将训练年龄向量与得到的训练第一人脸特征图进行了融合，融合的方式是：将训练第一人脸特征图与训练年龄向量相乘。不过，在相乘之前，需要将训练年龄向量转换为与训练第一人脸特征图相同大小。具体地，假设训练第一人脸特征图大小为128*128，得到的训练年龄向量为1*128，在相乘之前，先将训练年龄向量复制128次，得到128*128大小的训练年龄向量，然后再与第一人脸特征图进行融合，这样就可以得到带有年龄特征的训练融合人脸特征图，得到的训练融合人脸特征图的大小也是128*128大小，即得到的训练融合人脸特征图与训练第一人脸特征图的大小保持不变。然后解码器基于训练融合人脸特征图生成与训练年龄值对应的训练人脸生成图像。将训练年龄值作为一个输入参数，实现了对人脸年龄变化的控制，进而能够生成不同年龄值对应的人脸变化图像。在上述过程中，通过将训练年龄向量与训练第一人脸特征图进行融合，可以得到带有年龄特征的训练融合人脸特征图，然后基于训练融合人脸特征图生成与训练年龄值对应的训练人脸生成图像，训练年龄值是可以随意选择的，即通过该方式可以生成与任何一个训练年龄值对应的训练人脸生成图像。
在一个实施例中，所述编码器包括依次连接的N个正卷积层，所述解码器包括：依次连接的N个反卷积层，所述N个正卷积层中的第i个正卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接，所述第i个正卷积层对应的输入特征图的尺寸与所述第N+1-i个反卷积层对应的输出特征图的尺寸相同，2≤i≤N，N为正整数；
所述通过所述编码器对所述训练人脸图像进行特征提取，得到训练第一人脸特征图，包括：通过编码器中的第i个正卷积层对所述第i个正卷积层对应的输入特征图进行特征提取，得到所述第i个正卷积层对应的第一特征图，其中，所述第1个正卷积层对应的输入特征图为所述训练人脸图像，所述第i个正卷积层对应的输入特征图为第(i-1)个正卷积层对应的第一特征图；
所述通过所述年龄融合模块将所述训练第一人脸特征图与所述训练年龄向量进行融合，得到带有年龄特征的训练融合人脸特征图，包括：通过所述年龄融合模块将第N正个卷积层输出的第一人脸特征图与所述目标年龄向量进行融合，得到融合人脸特征图；
所述通过所述解码器根据所述训练融合人脸特征图输出与所述训练年龄值对应的训练人脸生成图像，包括：通过第N+1-i个反卷积层对第N+1-i个反卷积层对应的输入特征图进行卷积处理，得到第N+1-i中间特征图，对所述第i个正卷积层对应的第一特征图和所述第N+1-i中间特征图进行融合，得到第N+1-i融合特征图，对所述第N+1-i融合特征图进行插值处理，得到第N+1-i插值特征图，其中，当i为N时，所述第N+1-i个反卷积层对应的输入特征图为所述融合人脸特征图，当i不为N时，所述第N+1-i个反卷积层对应的输入特征图为第(N-i)插值特征图；通过第N个反卷积层输出与所述训练年龄值对应的训练人脸生成图像。
其中，生成网络模型中包括：编码器和解码器，编码器和解码器中都包含有N个卷积层，为了区分，将编码器中的卷积层称为“正卷积层”，将解码器中的卷积层称为“反卷积层”。生成网络模型采用U型网络的形式，为了保留不同尺度下特征图的细节特征，采用跳跃连接方式，将编码器的特征图和之后同样大小的解码器的特征图按通道拼合。
编码器中包括N个正卷积层，解码器包括N个反卷积层和输出层。N个正卷积层中的第i个正卷积层和N个反卷积层的第N+1-i个反卷积层跳跃连接，第i个正卷积层对应的输入特征图的尺寸与第N+1-i个反卷积层对应的输出特征图的尺寸相同，N个反卷积层中的第N个反卷积层与输出层连接。2≤i≤N，N为正整数；举个例子，假设N＝4，那么第2个正卷积层与第3个反卷积层跳跃连接，第3个正卷积层与第2个反卷积层跳跃连接。其中，正卷积层中包含有池化层，池化层的作用是对输入的特征图进行降维，而反卷积层中包含有上采样层，上采样层的目的是使其恢复到原来的大小，这样使得图像经过编码器和解码器后得到的输出图像与输入图像的尺寸大小相同。举个例子，比如，正卷积层中的池化层中采用2×2的最大池化层，而反卷积层中的上采样层中采用有2×2的最近邻插值的过程，从而使得最终输出的图像与输入的图像一样大。
将编码器中提取到特征通过跳跃连接方式传输至解码器，增强了解码器对于不同尺度特征图细节信息的学习，得到了包含有更多丰富信息的图像特征。
参考图2，举例说明，假设N＝4，编码器有依次连接的三个正卷积层，分别为正卷积层1，正卷积层2、正卷积层3和正卷积层4，解码器包括有依次连接的四个反卷积层，分别为反卷积层1，反卷积层2、反卷积层3和反卷积层4，其中，正卷积层2和反卷积层3跳跃连接，正卷积层3和反卷积层2跳跃连接。
对于编码器，首先模型输入训练人脸图像，经过正卷积层1-4输出训练第一人脸特征图，然后将训练第一人脸特征图与年龄转换模型输出的训练年龄向量进行融合，得到训练融合人脸特征图，之后将训练融合人脸特征图输入到解码器中，经过解码器中反卷积层1-4后输出训练人脸生成图像。
通过上述编码器和解码器中卷积层的跳跃连接，可以保留不同尺度下特征图的细节特征，从而使得训练得到的生成网络模型更加准确，生成的人脸生成图像更加真实可信。
如图3所示，提出了一种人脸图像生成方法，包括：
步骤302，获取目标人脸图像，获取选择的目标年龄值；
其中，目标年龄值可以是任意值，可以根据需要来选择确定。目标人脸图像是指待预测人脸年龄变化的基础图像，即基于该目标人脸图像生成与目标年龄值对应的人脸生成图像，举个例子，目标人脸图像为20岁拍摄的图像，目标年龄值可以选择30岁，即基于20岁时的人脸图像来预测30岁时的人脸图像。
在一个实施例中，为了便于后续生成的图像更准确，对目标人脸图像进行预处理，预处理包括：人脸角度调整、提取有效区域、归一化处理中的至少一种。针对目标人脸图像不是完全正脸的图像，需要进行人脸角度调整，具体地，首先，对目标人脸图像进行人脸关键点识别确定两个眼球的中心位置，然后计算出人脸左右旋转的角度，最后利用旋转变换矩阵对倾斜的人脸图像进行调整，具体计算公式如下：
其中，x,y分别是原图中像素所对应的二维坐标，x′和y′为调整后的坐标。针对旋转后的图像。
当目标人脸图像中包含有非人脸区域时，根据人脸关键点坐标，对人脸有效区域进行提取。归一化处理是指将目标人脸图像的尺寸进行归一化操作，比如，大小统一设置为1024*1024。
步骤304，将目标年龄值转换为与目标年龄值对应的目标年龄向量。
其中，将目标年龄值转换为向量的形式表示，得到目标年龄向量。具体地，采用年龄转换模型将目标年龄值进行转换得到目标年龄向量。年龄转换模型可以采用线性全连接网络模型来实现，即将映射函数采用线性全连接网络模型来实现，计算公式如下：Vt＝f(t)，即将目标年龄值t转为目标年龄向量Vt，通过对线性全连接网络模型进行训练，使得该模型能够将目标年龄值转换为目标年龄向量。
步骤306，将目标人脸图像和目标年龄向量作为生成网络模型的输入，以获取目标年龄值对应的人脸生成图像。
其中，生成网络模型是通过上述目标模型训练方法训练得到的。生成网络模型包括：编码器、年龄融合模块和解码器；将目标人脸图像和目标年龄向量作为生成网络模型的输入，以获取目标年龄值对应的人脸生成图像，包括：通过编码器对目标人脸图像进行特征提取，得到第一人脸特征图；通过年龄融合模块将第一人脸特征图与目标年龄向量进行融合，得到带有年龄特征的融合人脸特征图；通过解码器根据融合人脸特征图输出与目标年龄值对应的人脸生成图像。
其中，生成网络模型用于将目标人脸图像生成与目标年龄值对应的人脸生成图像。生成网络模型一般只包含编码器和解码器，为了得到目标年龄值对应的人脸生成图像，这里引入了年龄融合模块，将目标年龄向量与得到的第一人脸特征图进行了融合，这样就可以得到带有年龄特征的融合人脸特征图。然后解码器基于融合人脸特征图生成与目标年龄值对应的人脸生成图像。将目标年龄值作为一个输入参数，实现了对人脸年龄变化的控制，进而能够生成不同年龄值对应的人脸变化图像。
在上述过程中，通过将目标年龄向量与第一人脸特征图进行融合，可以得到带有年龄特征的融合人脸特征图，然后基于融合人脸特征图生成与目标年龄值对应的人脸生成图像，目标年龄值是可以随意选择的，即通过该方式可以生成与任何一个年龄值对应的人脸生成图像。
在一个实施例中，获取目标人脸图像包括：获取原始人脸图像，对原始人脸图像进行人脸关键点识别，确定两个眼球的中心位置，根据两个眼球的中心位置确定人脸的旋转角度；根据人脸的旋转角度对原始目标人脸图像进行调整，得到调整后的人脸原始图像；对调整后的目标人脸图像进行人脸有效区域的提取，得到目标人脸图像。
其中，为了使得生成的人脸生成图像更加准确，通过对原始人脸图像进行调整处理后得到目标人脸图像。首先是对原始人脸图像的角度进行调整，使得调整后的目标人脸图像为正向的人脸图像。并对调整后的人脸图像进行有效区域的提取，去掉人脸图像中的多余背景。
在一个实施例中，对调整后的人脸原始图像进行人脸有效区域的提取，得到目标人脸图像，包括：基于人脸关键点对人脸原始图像进行人脸有效区域的提取，并将提取后的人脸有效区域进行归一化得到目标人脸图像。
其中，对人脸有效区域进行提取是基于人脸关键点，将提取后的人脸有效区域统一进行归一化处理，处理为预设大小的目标人脸图像，比如，处理为1024*1024大小的人脸图像。
如图4所示，为一个实施例中生成网络模型和辅助模型的训练过程示意图，训练过程中需要使用到辅助模型，辅助模型包括：判别器网络模型和年龄估计模型以及年龄转换模型。其中，判别网络模型包括4个卷积层，前面3个卷积层带有批量归一化并采用LReLU激活函数，最后一个卷积层采用sigmoid激活函数.一旦从前面的卷积层中学习到一系列特征后，最后的sigmoid激活函数会输出一个归一化到[0,1]的评分，用于表示输入图像为真实图像的可信度.评分越高，表示生成的人脸生成图像越接近真实图像。年龄估计模型，针对判别网络模型判断为真的人脸生成图像，输入到年龄估计模型中，该年龄估计模型由多个卷积层组成，经过多层的卷积运算，获得人脸特征图像，然后再经过全连接层，最后采用sigmoid激活函数输出预测年龄值。此步骤的特征提取的网络结构，不受限性，可以根据实际需要进行替换。比如，卷积层中的卷积层可以采用3*3大小，步长设置为2，激活函数设置为Relu。
参考图4，在目标模型训练的过程中，首先，由年龄转换模型将训练年龄值转换为训练年龄向量；其次，将训练人脸图像和训练年龄向量作为生成网络模型的输入，生成网络模型包括：编码器、年龄融合模块和解码器，在生成网络模型内部，先是由编码器对训练人脸图像进行人脸特征提取得到训练第一人脸特征图，然后通过年龄融合模块将第一人脸特征图与训练年龄向量进行融合，得到训练融合人脸特征图，最后通过解码器对训练融合人脸特征图进行进一步特征提取，得到与训练年龄值对应的训练人脸生成图像；再次，分别将训练人脸生成图像和训练人脸图像作为判别网络模型的输入，获得判别网络模型输出的判别结果。再次，将判别结果为真的训练人脸生成图像和训练人脸图像作为年龄估计模型的输入，获取输出的预测年龄值，年龄估计模型中包含M个卷积层，每个卷积层用于基于上一卷积层提取的特征进行进一步提取得到本层对应的特征图，从而得到训练人脸生成图像对应的每个卷积层的人脸特征图，训练人脸图像对应的每个卷积层的人脸特征图，不同卷积层对应的人脸特征图的尺寸不同，同一特征图对应的尺寸是相同的。最后，基于判别结果采用对抗损失函数计算得到第一损失值，基于训练预测年龄值和训练年龄值采用年龄损失函数计算得到第二损失值，将相同尺寸的训练人脸生成图像的人脸特征图与训练人脸图像的人脸特征图进行比较，得到两者的特征图差值，将M个卷积层对应的M个特征图差值相加得到第三损失值，根据第一损失值、第二损失值和第三损失值得到总损失值，根据总损失值进行模型参数的更新，通过不断地更新迭直到目标模型满足收敛条件，模型训练完成。
在预测阶段，只需要用到年龄转换模型和生成网络模型，年龄转换模型用于将目标年龄值转换为目标年龄向量，生成网络模型用于根据目标人脸图像和目标年龄向量生成与目标年龄值对应的目标人脸生成图像。
如图5所示，提出了一种目标模型训练装置，包括：所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，所述年龄估计模型包括M个卷积层，所述M个卷积层中的第(k+1)个卷积层用于对所述M个卷积层中的第k个卷积层输出的第k特征进行特征提取，以得到第(k+1)特征，所述M个卷积层中的第1个卷积层用于对输入至所述年龄估计模型的图像进行特征提取，以得到第1特征，1≤k≤M，M大于1；
训练获取模块502，用于从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
训练转换模块504，用于将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
训练生成模块506，用于将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
训练判别模块508，用于将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
训练预测模块510，用于将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征；
训练计算模块512，用于根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
训练更新模块514，用于基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取新的训练人脸图像的步骤，直到所述目标模型满足收敛条件。
在一个实施例中，训练计算模块512还用于根据所述判别结果采用第一损失函数计算得到第一损失值；根据所述训练年龄值和所述预测年龄采用第二损失函数计算得到第二损失值；计算第m个训练人脸图像特征和第m个训练人脸生成图像特征之间的差值，得到所述第m卷积层对应的特征图差值，其中1≤m≤M；将M个卷积层对应的M个特征图差值相加得到第三损失值，所述年龄估计模型中不同卷积层对应的特征图尺寸不同；所述根据所述第一损失值、所述第二损失值和所述第三损失值计算得到所述总损失值。
在一个实施例中，所述第一损失值为对抗损失函数，所述第二损失函数为年龄差损失函数，所述第三损失函数为训练人脸图像和训练人脸生成图像的特征图损失函数；
训练计算模块512还用于获取所述第一损失值对应的第一权重系数，获取所述第二损失值对应的第二权重系数，获取所述第三损失值对应的第三权重系数；根据所述第一权重系数、所述第一损失值、所述第二权重系数、所述第二损失值、所述第三权重系数和所述第三损失值进行加权求和得到所述总损失值。
在一个实施例中，所述生成网络模型包括：编码器、年龄融合模块和解码器；训练生成模块506还用于通过所述编码器对所述训练人脸图像进行特征提取，得到训练第一人脸特征图；通过所述年龄融合模块将所述训练第一人脸特征图与所述训练年龄向量进行融合，得到带有年龄特征的训练融合人脸特征图；通过所述解码器根据所述训练融合人脸特征图输出与所述训练年龄值对应的训练人脸生成图像。
在一个实施例中，所述编码器包括依次连接的N个正卷积层，所述解码器包括：依次连接的N个反卷积层，所述N个正卷积层中的第i个正卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接，所述第i个正卷积层对应的输入特征图的尺寸与所述第N+1-i个反卷积层对应的输出特征图的尺寸相同，2≤i≤N，N为正整数；
训练生成模块506还用于通过编码器中的第i个正卷积层对所述第i个正卷积层对应的输入特征图进行特征提取，得到所述第i个正卷积层对应的第一特征图，其中，所述第1个正卷积层对应的输入特征图为所述训练人脸图像，所述第i个正卷积层对应的输入特征图为第(i-1)个正卷积层对应的第一特征图；通过所述年龄融合模块将第N个正卷积层输出的训练第一人脸特征图与所述目标年龄向量进行融合，得到训练融合人脸特征图；通过第N+1-i个反卷积层对第N+1-i个反卷积层对应的输入特征图进行卷积处理，得到第N+1-i中间特征图，对所述第i个正卷积层对应的第一特征图和所述第N+1-i中间特征图进行融合，得到第N+1-i融合特征图，对所述第N+1-i融合特征图进行插值处理，得到第N+1-i插值特征图，其中，当i为N时，所述第N+1-i个反卷积层对应的输入特征图为所述训练融合人脸特征图，当i不为N时，所述第N+1-i个反卷积层对应的输入特征图为第(N-i)插值特征图；通过第N个反卷积层输出与所述训练年龄值对应的训练人脸生成图像。
如图6所示，提出了一种人脸图像生成装置，包括：
目标获取模块602，用于获取目标人脸图像，获取选择的目标年龄值；
目标转换模块604，将所述目标年龄值转换为与所述目标年龄值对应的目标年龄向量；
目标生成模块606，将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的人脸生成图像。
在一个实施例中，所述生成网络模型包括：编码器、年龄融合模块和解码器；目标生成模块606还用于通过所述编码器对所述目标人脸图像进行特征提取，得到第一人脸特征图；通过所述年龄融合模块将所述第一人脸特征图与所述目标年龄向量进行融合，得到带有年龄特征的融合人脸特征图；通过所述解码器根据所述融合人脸特征图输出与所述目标年龄值对应的目标人脸生成图像。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的目标模型训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的目标模型训练方法。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述目标模型训练方法的步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述目标模型训练方法的步骤。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述人脸图像生成方法的步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述人脸生成图像方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标模型训练方法，其特征在于，所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，所述年龄估计模型包括M个卷积层，所述M个卷积层中的第(k+1)个卷积层用于对所述M个卷积层中的第k个卷积层输出的第k特征进行特征提取，以得到第(k+1)特征，所述M个卷积层中的第1个卷积层用于对输入至所述年龄估计模型的图像进行特征提取，以得到第1特征，1≤k≤M，M大于1；
从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸生成图像特征，以及所述M个卷积层中的各个卷积层基于所述目标训练人脸图像进行特征提取得到的M个训练人脸图像特征；
根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取训练人脸图像的步骤，直到所述目标模型满足收敛条件。
2.根据权利要求1所述的方法，其特征在于，所述根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值，包括：
根据所述判别结果采用第一损失函数计算得到第一损失值；
根据所述训练年龄值和所述预测年龄值采用第二损失函数计算得到第二损失值；
计算第m个训练人脸图像特征和第m个训练人脸生成图像特征之间的差值，得到第m卷积层对应的特征图差值，其中1≤m≤M；
将M个卷积层对应的M个特征图差值相加得到第三损失值，所述年龄估计模型中不同卷积层对应的特征图尺寸不同；
根据所述第一损失值、所述第二损失值和所述第三损失值计算得到所述总损失值。
3.根据权利要求2所述的方法，其特征在于，所述第一损失函数为对抗损失函数，所述第二损失函数为年龄差损失函数，所述第三损失函数为训练人脸图像和训练人脸生成图像的特征图损失函数；
所述根据所述第一损失值、所述第二损失值和所述第三损失值计算得到总损失值，包括：
获取所述第一损失值对应的第一权重系数，获取所述第二损失值对应的第二权重系数，获取所述第三损失值对应的第三权重系数；
根据所述第一权重系数、所述第一损失值、所述第二权重系数、所述第二损失值、所述第三权重系数和所述第三损失值进行加权求和得到所述总损失值。
4.根据权利要求1所述的方法，其特征在于，所述生成网络模型包括：编码器、年龄融合模块和解码器；
所述将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像，包括：
通过所述编码器对所述训练人脸图像进行特征提取，得到训练第一人脸特征图；
通过所述年龄融合模块将所述训练第一人脸特征图与所述训练年龄向量进行融合，得到带有年龄特征的训练融合人脸特征图；
通过所述解码器根据所述训练融合人脸特征图输出与所述训练年龄值对应的训练人脸生成图像。
5.根据权利要求4所述的方法，其特征在于，所述编码器包括依次连接的N个正卷积层，所述解码器包括：依次连接的N个反卷积层，所述N个正卷积层中的第i个正卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接，所述第i个正卷积层对应的输入特征图的尺寸与所述第N+1-i个反卷积层对应的输出特征图的尺寸相同，2≤i≤N，N为正整数；
所述通过所述编码器对所述训练人脸图像进行特征提取，得到训练第一人脸特征图，包括：
通过编码器中的第i个正卷积层对所述第i个正卷积层对应的输入特征图进行特征提取，得到所述第i个正卷积层对应的第一特征图，其中，所述第1个正卷积层对应的输入特征图为所述训练人脸图像，所述第i个正卷积层对应的输入特征图为第(i-1)个正卷积层对应的第一特征图；
所述通过所述年龄融合模块将所述训练第一人脸特征图与所述训练年龄向量进行融合，得到带有年龄特征的训练融合人脸特征图，包括：
通过所述年龄融合模块将第N个正卷积层输出的训练第一人脸特征图与所述目标年龄向量进行融合，得到训练融合人脸特征图；
所述通过所述解码器根据所述训练融合人脸特征图输出与所述训练年龄值对应的训练人脸生成图像，包括：
通过第N+1-i个反卷积层对第N+1-i个反卷积层对应的输入特征图进行卷积处理，得到第N+1-i中间特征图，对所述第i个正卷积层对应的第一特征图和所述第N+1-i中间特征图进行融合，得到第N+1-i融合特征图，对所述第N+1-i融合特征图进行插值处理，得到第N+1-i插值特征图，其中，当i为N时，所述第N+1-i个反卷积层对应的输入特征图为所述训练融合人脸特征图，当i不为N时，所述第N+1-i个反卷积层对应的输入特征图为第(N-i)插值特征图；
通过第N个反卷积层输出与所述训练年龄值对应的训练人脸生成图像。
6.一种人脸图像生成方法，其特征在于，包括：
获取目标人脸图像，获取选择的目标年龄值；
将所述目标年龄值转换为与所述目标年龄值对应的目标年龄向量；
将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的目标人脸生成图像，其中，所述生成网络模型为通过权利要求1-5任一项所述的方法训练得到。
7.根据权利要求6所述的方法，其特征在于，所述生成网络模型包括：编码器、年龄融合模块和解码器；
所述将所述目标人脸图像和所述目标年龄向量作为生成网络模型的输入，以获取所述目标年龄值对应的人脸生成图像，包括：
通过所述编码器对所述目标人脸图像进行特征提取，得到第一人脸特征图；
通过所述年龄融合模块将所述第一人脸特征图与所述目标年龄向量进行融合，得到带有年龄特征的融合人脸特征图；
通过所述解码器根据所述融合人脸特征图输出与所述目标年龄值对应的目标人脸生成图像。
8.一种目标模型训练装置，其特征在于，包括：所述目标模型包括生成网络模型、判别网络模型以及年龄估计模型，所述年龄估计模型包括M个卷积层，所述M个卷积层中的第(k+1)个卷积层用于对所述M个卷积层中的第k个卷积层输出的第k特征进行特征提取，以得到第(k+1)特征，所述M个卷积层中的第1个卷积层用于对输入至所述年龄估计模型的图像进行特征提取，以得到第1特征，1≤k≤M，M大于1；
训练获取模块，用于从训练人脸图像集中获取训练人脸图像，获取选择的训练年龄值；
训练转换模块，用于将所述训练年龄值作为年龄转换模型的输入，确定所述年龄转换模型输出的训练年龄向量；
训练生成模块，用于将所述训练人脸图像和所述训练年龄向量作为生成网络模型的输入，以通过所述生成网络模型输出与所述训练年龄值对应的训练人脸生成图像；
训练判别模块，用于将所述训练人脸生成图像作为判别网络模型的输入，获取所述判别网络模型输出的判别结果；
训练预测模块，用于将判别结果为真的目标训练人脸生成图像和所述目标训练人脸生成图像对应的目标训练人脸图像并行输入所述年龄估计模型，以通过所述年龄估计模型输出预测年龄值，并获取所述M个卷积层中的各个卷积层基于所述目标训练人脸生成图像进行特征提取得到的M个训练人脸图像特征，以及所述M个卷积层中的各个卷积层基于所述训练人脸图像进行特征提取得到的M个训练人脸生成图像特征；
训练计算模块，用于根据所述判别结果，所述M个训练人脸图像特征和所述M个训练人脸生成图像特征，以及，所述预测年龄值和所述训练年龄值计算所述目标模型的总损失值；
训练更新模块，用于基于所述总损失值更新所述目标模型的权重参数，返回执行所述从训练人脸图像集中获取新的训练人脸图像的步骤，直到所述目标模型满足收敛条件。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的目标模型训练方法的步骤，或者执行权利要求6或7中所述人脸图像生成方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的目标模型训练方法的步骤，或者执行权利要求6或7中所述人脸图像生成方法的步骤。
CN202110371864.4A 2021-04-07 2021-04-07 目标模型训练方法、人脸图像生成方法以及相关装置 Active CN113221645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110371864.4A CN113221645B (zh) 2021-04-07 2021-04-07 目标模型训练方法、人脸图像生成方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110371864.4A CN113221645B (zh) 2021-04-07 2021-04-07 目标模型训练方法、人脸图像生成方法以及相关装置

Publications (2)

Publication Number Publication Date
CN113221645A CN113221645A (zh) 2021-08-06
CN113221645B true CN113221645B (zh) 2023-12-12

Family

ID=77086580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110371864.4A Active CN113221645B (zh) 2021-04-07 2021-04-07 目标模型训练方法、人脸图像生成方法以及相关装置

Country Status (1)

Country Link
CN (1) CN113221645B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762117B (zh) * 2021-08-27 2024-04-12 深圳数联天下智能科技有限公司 一种图像处理模型的训练方法、图像处理模型及计算机设备
CN113920562B (zh) * 2021-09-24 2024-04-30 深圳数联天下智能科技有限公司 年龄预测模型的训练方法、年龄预测方法及装置
CN113888399B (zh) * 2021-10-25 2024-04-16 河北工业大学 一种基于风格融合与域选结构的人脸年龄合成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
WO2019228317A1 (zh) * 2018-05-28 2019-12-05 华为技术有限公司 人脸识别方法、装置及计算机可读介质
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN111553838A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 模型参数的更新方法、装置、设备及存储介质
WO2020200030A1 (zh) * 2019-04-02 2020-10-08 京东方科技集团股份有限公司 神经网络的训练方法、图像处理方法、图像处理装置和存储介质
CN111881737A (zh) * 2020-06-18 2020-11-03 深圳数联天下智能科技有限公司 年龄预测模型的训练方法及装置、年龄预测方法及装置
CN111898482A (zh) * 2020-07-14 2020-11-06 贵州大学 基于渐进型生成对抗网络的人脸预测方法
CN112183326A (zh) * 2020-09-27 2021-01-05 深圳数联天下智能科技有限公司 人脸年龄识别模型训练方法及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019228317A1 (zh) * 2018-05-28 2019-12-05 华为技术有限公司 人脸识别方法、装置及计算机可读介质
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
WO2020200030A1 (zh) * 2019-04-02 2020-10-08 京东方科技集团股份有限公司 神经网络的训练方法、图像处理方法、图像处理装置和存储介质
CN111553838A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 模型参数的更新方法、装置、设备及存储介质
CN111881737A (zh) * 2020-06-18 2020-11-03 深圳数联天下智能科技有限公司 年龄预测模型的训练方法及装置、年龄预测方法及装置
CN111898482A (zh) * 2020-07-14 2020-11-06 贵州大学 基于渐进型生成对抗网络的人脸预测方法
CN112183326A (zh) * 2020-09-27 2021-01-05 深圳数联天下智能科技有限公司 人脸年龄识别模型训练方法及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
双重对偶生成对抗网络的跨年龄素描―照片转换;吴柳玮;孙锐;阚俊松;高隽;;中国图象图形学报(第04期);全文 *
基于区域的年龄估计模型研究;孙劲光;荣文钊;;计算机科学(第08期);全文 *
面向人脸年龄估计的深度融合神经网络;孙宁;顾正东;刘佶鑫;韩光;;中国图象图形学报(第01期);全文 *

Also Published As

Publication number Publication date
CN113221645A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN110517278B (zh) 图像分割和图像分割网络的训练方法、装置和计算机设备
CN109685152B (zh) 一种基于dc-spp-yolo的图像目标检测方法
CN108564127B (zh) 图像转换方法、装置、计算机设备及存储介质
CN111160375B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN112529146B (zh) 神经网络模型训练的方法和装置
CN112396645A (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN111738270B (zh) 模型生成方法、装置、设备和可读存储介质
CN111626379B (zh) 肺炎x光图像检测方法
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
CN111428854A (zh) 一种结构搜索方法及结构搜索装置
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN110704668B (zh) 基于网格的协同注意力vqa方法和装置
CN114821736A (zh) 基于对比学习的多模态人脸识别方法、装置、设备及介质
CN112862023B (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN110276802B (zh) 医学图像中病症组织定位方法、装置与设备
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113674383A (zh) 生成文本图像的方法及装置
CN114419691A (zh) 人脸衰老图像的生成方法、模型训练方法、设备和介质
CN114820755A (zh) 一种深度图估计方法及系统
CN114494065A (zh) 图像去模糊方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant