CN114419691A - 人脸衰老图像的生成方法、模型训练方法、设备和介质 - Google Patents

Abstract

本发明公开了一种人脸衰老图像生成方法，该方法包括：学生生成模型仅通过计算已收敛的教师生成模型和学生生成模型之间的蒸馏损失来反向优化学生生成模型，无需单独训练学生生成模型，从而逐步模仿教师生成器生成衰老图像的过程，直到学生生成模型也收敛，预测阶段时，则只需调用更加轻量化的学生生成模型和风格编码便能预测不同年龄的衰老图像。相较于使用教师生成模型来生成衰老图像，由于学生生成模型的结构更为简单，使用学生生成模型能极大的减少所需使用的内存，为受限于设备性能的GAN模型的部署提供一种新的可能性。此外，还提出了人脸衰老图像的生成方法、设备和存储介质。

Description

人脸衰老图像的生成方法、模型训练方法、设备和介质

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及人脸衰老图像的生成方法、模型训练方法、设备和介质。

背景技术

一直以来，人脸衰老在计算机视觉领域都是比较热门的研究方向，其研究成果也可广泛应用于生活中。例如，在很多刑事案件中常需要寻找失踪人员，但又只能找到该失踪人员以前的照片。虽然医学领域认为，随着年龄的增长，个人的面部衰老变化取决于个体的心理状态以及衰老的生理机能。但在计算机视觉领域，通过计算机辅助可以提供以前的照片在特定年龄下的衰老面部图像，这样就能协助警方更好的掌握嫌疑人的外貌变化。

随着近几年来，对抗生成网络(GAN)应用的越来越广泛，同样也可被应用在人脸生成的领域，然后现在基于GAN模型去生成衰老图像需要较大的内存，对硬件性能的要求较高，导致在实际应用场景受到限制。

发明内容

基于此，有必要针对上述问题，提供人脸衰老图像的生成方法、模型训练方法、设备和介质，以解决现有GAN模型对硬件性能的要求较高的问题。

一种人脸衰老图像生成模型的训练方法，所述人脸衰老图像生成模型包括教师生成模型和学生生成模型，所述学生生成模型包括多个学生特征层，所述教师生成模型包括多个老师特征层和多个学生特征层，所述教师生成模型中的多个学生特征层的结构和数量与所述学生生成模型中的学生特征层的结构和数量相同，一个学生特征层用于输出一种特征尺度的中间特征图，所述方法包括：

获取训练数据集，所述训练数据集包括多个人脸训练图像，一个所述人脸训练图像对应一个真实年龄标签；

将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像，所述第一人脸图像为所述多个人脸训练图像中的任意一个，所述第一期望风格编码携带有所述第一期望年龄的风格编码特征；

根据所述第一期望衰老人脸图像的真实程度，调整所述教师生成模型的参数，以使所述教师生成模型生成的期望衰老人脸图像的真实程度增大，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤；

当所述教师生成模型的参数经过预设次数的调整后，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中的多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，和所述第二期望年龄的第三期望衰老人脸图像，所述第二人脸图像为所述多个人脸训练图像中的任意一个，所述第二期望风格编码携带有所述第二期望年龄的风格编码特征；

通过预设的蒸馏损失函数，根据所述第二期望衰老人脸图像、所述第三期望衰老人脸图像、所述第一中间特征图和所述第二中间特征图计算第二损失值，根据所述第二损失值调整所述学生生成模型的参数，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤，直至所述学生生成模型收敛。

在其中一个实施例中，所述蒸馏损失函数为：

L∈(64,128,256,512)

其中，

表示所述第二损失值，n_L表示第L大小的特征图的数量，W_i ^T表示所述教师生成模型中第i张尺寸为L*L的中间特征图，W_i ^s表示所述学生生成模型中第i张尺寸为L*L中间特征图；I_GT表示所述第二期望衰老人脸图像，I_GS表示所述第三期望衰老人脸图像，SSIM为结构相似度。

在其中一个实施例中，所述教师生成模型的多个老师特征层中的至少一个为特征融合层；所述教师生成模型的多个学生特征层中的第i个学生特征层和所述学生生成模型的多个学生特征层中的第i个学生特征层为特征融合层，i为1至N中的至少一个，N等于所述多个学生特征层的数量；所述特征融合层包括自适应实例归一化模块；

所述将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中的多个学生特征层输出的第一中间特征图，包括：

通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，所述第一特征融合层为所述教师生成模型中的任意一个特征融合层，所述第一待融合特征图为输入所述第一特征融合层的特征图；

所述将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，包括：

通过第二特征融合层内的第二自适应实例归一化模块，使第二待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，所述第二特征融合层为所述学生师生成模型中的任意一个特征融合层，所述第二待融合特征图为输入所述第二特征融合层的特征图。

在其中一个实施例中，所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，包括：

对所述第二期望风格编码进行仿射变换，以得到第一平移因子和第一缩放因子；

对所述第一待融合特征图进行归一化处理，得到第一归一化特征图；

通过所述第一平移因子、所述第一缩放因子和预设的特征吸收公式对所述第一归一化特征图进行平移变换和尺度变换，以得到所述第一特征融合层输出的中间特征图；

所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，包括：

对所述第二期望风格编码进行仿射变换，以得到第二平移因子和第二缩放因子；

对所述第二待融合特征图进行归一化处理，得到第二归一化特征图；

通过所述第二平移因子、所述第二缩放因子和预设的特征吸收公式对所述第二归一化特征图进行平移变换和尺度变换，以得到所述第二特征融合层输出的中间特征图。

在其中一个实施例中，所述仿射变换的计算公式为：

D＝S*A^T+b

其中，S为期望风格编码，S*A^T为缩放因子，b为平移因子；

所述特征吸收公式：

Y＝(1+D₁)*y+D₂

其中，D₁＝S*A^T，D₂＝b，y为归一化特征图，Y为融合后的特征图。

在其中一个实施例中，所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型之前，还包括：

将所述多个人脸训练图像输入年龄衰老风格生成模型，以得到不同年龄对应的衰老风格编码；所述第一期望风格编码为所述不同年龄对应的衰老风格编码中的任意一个；

将所述第一人脸图像及所述第一期望风格编码输入未收敛的教师生成模型，以得到所述第一期望衰老人脸图像，将所述第一期望衰老人脸图像输入风格判别模型，以判断所述第一期望衰老人脸图像的真假；

通过预设的风格对抗损失函数，根据所述第一期望衰老人脸图像的真假判断结果计算第一损失值，根据所述第一损失值调整所述教师生成模型的参数，返回执行所述将所述第一人脸图像及所述第一期望风格编码输入未收敛的教师生成模型的步骤，直至所述教师生成模型收敛。

在其中一个实施例中，所述风格对抗损失函数包括对抗损失函数，所述对抗损失函数为：

L_ads＝E[logD(x)]+E[log(1-D(G(x,s)))]

其中，E表示分布函数的期望值，D(x)表示对于人脸训练图像判别为真假的概率，G(x，s)表示所述第一期望衰老人脸图像，D(G(x))表示对于所述第一期望衰老人脸图像判别为真假的概率。

在其中一个实施例中，所述风格对抗损失函数还包括：风格重构损失函数，所述风格重构对抗损失函数为：

L_style＝‖S(x,T_x)-S(G_T(x,S(x,T)),T_x)‖₁＝‖S(x,T_x)-S(G_x,T_x)‖₁

其中，x为所述第一人脸图像，T_x表示第一人脸图像x的真实年龄，T表示所述第一期望年龄，S(x,T)表示所述第一期望风格编码，G(x,S(T))表示所述第一期望衰老人脸图像，S(G_x,T_x)表示所述第一期望衰老人脸图像G(x,S(T))的风格编码，S(x,T_x)表示所述第一人脸图像x的风格编码。

一种人脸衰老图像生成方法，所述方法包括：

获取待处理人脸图像，将所述待处理人脸图像及目标风格编码输入所述学生生成模型，以得到目标年龄的目标衰老人脸图像，所述目标风格编码为所述目标年龄对应的衰老风格编码，所述学生生成模型通过上述人脸衰老图像生成模型的训练方法训练得到。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述人脸衰老图像生成模型的训练方法和人脸衰老图像生成方法的步骤。

一种人脸衰老图像生成设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述人脸衰老图像生成模型的训练方法和人脸衰老图像生成方法的步骤。

本发明提供了人脸衰老图像生成模型的训练方法、设备和介质，学生生成模型仅通过计算已收敛的教师生成模型和学生生成模型之间的蒸馏损失来反向优化学生生成模型，无需单独训练学生生成模型，从而逐步模仿教师生成器生成衰老图像的过程，直到学生生成模型也收敛，预测阶段时，则只需调用更加轻量化的学生生成模型和风格编码便能预测不同年龄的衰老图像。相较于使用教师生成模型来生成衰老图像，由于学生生成模型的结构更为简单，使用学生生成模型能极大的减少所需使用的内存，为受限于设备性能的GAN模型的部署提供一种新的可能性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中训练教师生成模型的流程示意图；

图2为一个实施例中将人脸训练图像输入年龄衰老风格生成模型以得到不同年龄对应的衰老风格编码的示意图；

图3为一个实施例中训练教师生成模型的示意图；

图4为一个实施例中人脸衰老图像生成模型的训练方法的流程示意图；

图5为一个实施例中人脸衰老图像生成设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于GAN的衰老生成算法，其模型较大，对于硬件设备的性能要求较高，无法满足低端设备。针对此问题，本申请设计的人脸衰老图像生成模型包括教师生成模型和学生生成模型。通过在线蒸馏的方式，第一阶段先训练更深的教师生成模型，第二阶段再让训练完成后的教师生成模型指导学生生成模型学习，从而让学生生成模型具有和教师生成模型相近的图像生成效果。在实际生成人脸衰老图像时，只需基于更轻量化的学生生成模型即可。

具体的，如图1所示，图1为一个实施例中训练教师生成模型的流程示意图，步骤包括：

步骤102，获取训练数据集。

其中，该训练数据集包括多个人脸训练图像，并且一个人脸训练图像预先标注了与该人脸训练图像对应真实年龄标签，该真实年龄标签用于指示人脸训练图像的真实年龄。

步骤102获得的人脸训练图像是有差异的，差异的原因包括人脸角度的差异，和/或图像大小的差异。因此还需对这些获得的人脸训练图像进行一定的预处理操作，该预处理操作包括：根据人脸关键点算法，例如使用Dlib库的人脸68点Landmark模型算法，来获取两个眼球的中心位置和鼻子的中心位置，再将这两个中心位置连线并结合垂直线计算出人脸左右旋转的角度θ，最后利用旋转变化矩阵以鼻子坐标信息为中心对人脸图像进行调整，具体计算公式如下：

其中x,y分别是原人脸训练图像中像素所在的二维坐标，x′和y′为人脸训练图像中像素调整后所在的二维坐标。这样就能对歪了的人脸训练图像进行角度校正。

针对校正后的图像，还可以根据人脸关键点坐标，以鼻子中心坐标为中心，人脸关键点之间的最大距离作为长度，截取人脸有效区域，从而后续只对有效的人脸图像部分进行预测，以适当提高处理效率。再进行尺度归一化操作，得到大小一致的人脸训练图像，归一化后的大小统一为1024*1024。这样就能使得初始获得的人脸训练图像均达到一定的处理标准。

步骤104，构建年龄衰老风格生成模型，将多个人脸训练图像输入年龄衰老风格生成模型，以得到不同年龄对应的衰老风格编码。

本实施例中，由于对输入年龄衰老风格生成模型的人脸训练图像的大小没有太大的要求，为了加快模型的预测速度，可以将输入到年龄衰老风格生成模型的图像进行尺寸调整(resize)操作，调整后的大小设为256*256。

该年龄衰老风格生成模型的网络结构主要由1*1大小的卷积层、残差块(ResBlk)和平均池化层(AvgPool)所构成，其网络结构如图像所示：

表1

其中，T表示真实年龄，K表示可预测年龄值的总数(也相当于衰老风格编码的年龄范围)。

如图2所示，将多张相同真实年龄的人脸训练图像Imagex,T分别输入年龄衰老风格生成模型，以找到共同的衰老风格编码S，该衰老风格编码S的大小为1*512。设定不同的T，共执行K轮，从而最终得到K个年龄对应的1*512大小的衰老风格编码S。

这样就能为生成不同预设衰老年龄下的衰老图像提供了基础条件。

步骤106，构建学生生成模型。

其中，学生生成模型包括多个学生特征层，一个学生特征层用于输出一种特征尺度的中间特征图。示例性的，学生生成模型的网络结构如下所示：

表2

可见，学生生成模型的前5个ResBIk使用IN进行归一化，后面5个ResBIk使用自适应实例归一化模块(AdaIN)的方式来吸收衰老风格编码的风格编码特征。在该学生生成模型的基础上，可通过扩展网络结构的深度和宽度来构建教师生成模型。本实施例中，在训练教师生成模型的过程中，暂时无需对学生生成模型进行训练。

步骤108，构建教师生成模型，将第一人脸图像及第一期望风格编码输入未收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像。

其中，教师生成模型包括多个老师特征层和多个学生特征层，教师生成模型中的多个学生特征层的结构和数量与学生生成模型中的学生特征层的结构和数量相同，也即两个生成模型中共同包含的特征层为学生特征层，因此，教师生成模型与学生生成模型相比，教师生成模型的网络模型更深，而学生生成模型更加轻量化；一个学生特征层用于输出一种特征尺度的中间特征图。示例性的，教师生成模型的网络结构如下所示：

表3

也就是说，教师生成模型中第一个ResBIk位于的特征层为学生特征层，而512*512*16大小的特征图为中间特征图。教师生成模型中第二个ResBIk位于的特征层为教师特征层，教师生成模型中第三个ResBIk位于的特征层为学生特征层，其他特征层依次类推。则两个生成模型中，学生特征层的数量均为10个，教师生成模型中教师特征层的数量为9个。教师生成模型的前9个ResBIk使用IN进行归一化，后面10个ResBIk使用AdaIN的方式来吸收风格编码特征。

参见图3，将第一人脸图像及第一期望风格编码输入未收敛的教师生成模型。其中，第一人脸图像为多个人脸训练图像中的任意一个，第一期望风格编码携带有第一期望年龄的风格编码特征。第一人脸图像的真实年龄与第一期望年龄不同。例如，第一人脸图像的真实年龄为20岁，第一期望风格编码携带有第一期望年龄40岁的风格编码特征，经过教师生成模型，让20岁的第一人脸图像吸收40岁的风格编码特征后可得到40岁的第一期望衰老人脸图像。

步骤110，构建风格判别模型，将第一期望衰老人脸图像输入风格判别模型，以判断第一期望衰老人脸图像的真假。

其中，风格判别模型包含3个卷积层，每个卷积层后带有批量归一化层并采用LReLU激活函数进行激活，最后一个卷积层在激活后还接一个全连接层。将第一期望衰老人脸图像输入风格判别模型，可得到K*1大小的年龄风格向量，再于每一个节点分别外接sigmoid激活函数以输出一个归一化到[0,1]的评分,用于表示第一期望衰老人脸图像属于不同年龄的概率，而评分最高的年龄即为风格判别模型对第一期望衰老人脸图像的预测年龄。若预测年龄与第一期望年龄相同，则判断第一期望衰老人脸图像为真。若预测年龄与第一期望年龄不相同，则判断第一期望衰老人脸图像为假。

同时本实施例中，该风格判别模型中还输入人脸训练图像，以判断人脸训练图像的真假。并综合这两类真假的判断结果对风格判别模型的参数和教师生成模型的参数进行修正。

步骤112，通过预设的风格对抗损失函数，根据第一期望衰老人脸图像的真假判断结果计算第一损失值，根据第一损失值调整教师生成模型的参数。若教师生成模型未收敛，则返回执行的步骤108，直至教师生成模型收敛。

本实施例中，风格对抗损失函数包括对抗损失函数和风格重构损失函数。其中，对抗损失函数为对抗生成网络所必须的对抗损失，用于判断教师生成模型的衰老图像生成能力和风格判别模型判别图像真假的能力是否已达到预设的标准。该对抗损失函数为：

L_ads＝E[logD(x)]+E[log(1-D(G(x,s)))]

其中，E表示分布函数的期望值，D(x)表示对于人脸训练图像判别为真假的概率，G(x，s)表示第一期望衰老人脸图像，D(G(x))表示对于第一期望衰老人脸图像判别为真假的概率。随着对教师生成模型参数和风格判别模型参数的调整，D(x)和D(G(x))均逐渐接近于0.5，也即教师生成模型生成的人脸衰老图像足够逼真，风格判别模型难以判断生成的人脸衰老图和人脸训练图像的真假。

而风格重构对抗损失函数用于，计算人脸训练图像在衰老前后得到的衰老风格编码的差异。此部分损失，有助于生成模型判断生成的衰老图像，是否符合衰老风格编码，同时有助于加快年龄衰老风格生成模型的收敛。该风格重构对抗损失函数为：

L_style＝‖S(x,T_x)-S(G_T(x,S(x,T)),T_x)‖₁＝‖S(x,T_x)-S(G_x,T_x)‖₁

其中，x为第一人脸图像，T_x表示第一人脸图像x的真实年龄，T表示第一期望年龄，S(x,T)表示第一期望风格编码，G(x,S(T))表示第一期望衰老人脸图像，S(G_x,T_x)表示第一期望衰老人脸图像G(x,S(T))的风格编码，也即衰老后的衰老风格编码；S(x,T_x)表示第一人脸图像x的风格编码，也即衰老前的衰老风格编码。

则本实施例中的风格对抗损失函数为：

其中σ_styke、σ_Ads为各自损失部分的权重，一般初始化设为1。

本实施例中，基于第一损失值Loss再用自适应矩阵估计算法(adam)对教师生成模型中的参数进行调整。adam算法的迭代次数设置为500次，初始化学习率设置为0.001,权重衰减设置为0.0005，每50次迭代，学习率衰减为原来的1/10，直至教师生成模型收敛。

这样就能初步得到一个具备生成人脸衰老图像能力的教师生成模型，和一个未收敛且网络结合相较于教师生成模型更简单的学生生成模型，基于该已收敛的教师生成模型后续可用于对未收敛的学生生成模型进行训练，在实际生成人脸衰老图像时，只需基于更轻量化的学生生成模型即可。从而解决了现有基于GAN的衰老生成算法，其模型较大，对于硬件设备的性能要求较高的问题。

如图4所示，图4为一个实施例中人脸衰老图像生成模型的训练方法的流程示意图，步骤包括：

步骤402，获取训练数据集。

步骤404，将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像。

步骤406，根据第一期望衰老人脸图像的真实程度，调整教师生成模型的参数，以使教师生成模型生成的期望衰老人脸图像的真实程度增大。若教师生成模型的参数未经过预设次数的调整，则返回执行步骤404。当教师生成模型的参数经过预设次数的调整后，执行步骤408。

本实施例中的步骤402-406，与训练教师生成模型过程中的步骤102-112的基本一致，差别在于，步骤404中的第一人脸图像及第一期望风格编码输入的是已经收敛的教师生成模型，而步骤406是在已经收敛的教师生成模型上继续调整模型参数。

步骤408，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到教师生成模型中的多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将第二人脸图像及第二期望风格编码输入学生生成模型，以得到学生生成模型中的多个学生特征层输出的第二中间特征图，和第二期望年龄的第三期望衰老人脸图像。

其中，第二人脸图像为多个人脸训练图像中的任意一个，第二期望风格编码携带有第二期望年龄的风格编码特征。第二人脸图像不同于第一人脸图像，第二期望风格编码也不同于第一期望风格编码。

教师生成模型的多个老师特征层中的至少一个为特征融合层；教师生成模型的多个学生特征层中的第i个学生特征层和学生生成模型的多个学生特征层中的第i个学生特征层为特征融合层，i为1至N中的至少一个，N等于多个学生特征层的数量；特征融合层包括自适应实例归一化模块。参见表1表2可知，教师生成模型中的第10、11、14、16、18个ResBIk位于的老师特征层为特征融合层。学生生成模型共10个学生特征层，而教师生成模型的10个学生特征层中的后5个学生特征层和学生生成模型的10个学生特征层中的后5个学生特征层为特征融合层。

示例性的来说，每当调整教师生成模型的参数经过9次后，将相同的第二人脸图像和第二期望风格编码分别输入到教师生成模型和学生生成模型中。当然，该预设次数也可以根据需求自行调整。

接着在教师生成模型中，通过第一特征融合层内的AdaIN模块，使第一待融合特征图吸收第二期望风格编码的风格编码特征，以得到第一特征融合层输出的中间特征图。其中，第一特征融合层为教师生成模型中的任意一个特征融合层，第一待融合特征图为输入第一特征融合层的特征图。例如，第一特征融合层为教师生成模型中第10个ResBIk位于的特征层，则相应的，第一待融合特征图为上一特征层输出的64*64*512大小的特征图。

具体的，在教师生成模型中得到第一特征融合层输出的中间特征图的步骤包括：首先，对第二期望风格编码进行仿射变换，以得到第一平移因子和第一缩放因子。该仿射变换的计算公式为：

D＝S*A^T+b。

其中，S为期望风格编码，S*A^T为缩放因子，b为平移因子。

其次，对第一待融合特征图进行归一化处理，得到第一归一化特征图。该归一化处理的计算公式为：

其中，V为输入的第一待融合特征图，

是V的平均值，σ为V的标准差。∈是一个非常小的值(默认是1e-5)，以防止标准差为0时产生除0的异常。

最后，通过第一平移因子、第一缩放因子和预设的特征吸收公式对第一归一化特征图进行平移变换和尺度变换，以得到第一特征融合层输出的中间特征图。该特征吸收公式：

Y＝(1+D₁)*y+D₂

其中，D₁＝S*A^T，D₂＝b，y为归一化特征图，Y为融合后的特征图。在此基础上，再基于第一特征融合层上设定的n个卷积核进行卷积，以得到第一特征融合层输出的中间特征图。例如教师生成模型中第4个特征融合层设有512个卷积核，第5个特征融合层设有32个卷积核。最后第10个特征融合层输出1024*1024*8的中间特征图。并经过3个1*1大小的卷积核卷积后，便能得到1024*1024*3大小的，第二期望年龄的第二期望衰老人脸图像。

同理在学生生成模型中，通过第二特征融合层内的AdaIN模块，使第二待融合特征图吸收第二期望风格编码的风格编码特征，以得到第二特征融合层输出的中间特征图。其中，第二特征融合层为学生师生成模型中的任意一个特征融合层，第二待融合特征图为输入第二特征融合层的特征图。例如，第一特征融合层为学生生成模型中第6个ResBIk位于的特征层，则相应的，第二待融合特征图为上一特征层输出的64*64*512大小的特征图。

在学生生成模型中得到第二特征融合层输出的中间特征图和第二期望年龄的第三期望衰老人脸图像的原理与在教师生成模型中得到第一特征融合层输出的中间特征图的原理一致，就不再赘述。

这样就能基于相同的第二人脸图像和第二期望风格编码同时对教师生成模型和学生生成模型进行训练，以使得学生生成模型有接近于教师生成模型的衰老图像生成能力。

步骤410，通过预设的蒸馏损失函数，根据第二期望衰老人脸图像、第三期望衰老人脸图像、第一中间特征图和第二中间特征图计算第二损失值，根据第二损失值调整学生生成模型的参数。当学生生成模型未收敛，返回执行步骤404，直至学生生成模型收敛。

其中，蒸馏损失函数为：

L∈(64,128,256,512)

其中，

表示第二损失值，n_L表示第L大小的特征图的数量，W_i ^T表示教师生成模型中第i张尺寸为L*L的中间特征图，W_i ^s表示学生生成模型中第i张尺寸为L*L中间特征图；I_GT表示第二期望衰老人脸图像，I_GS表示第三期望衰老人脸图像，SSIM为结构相似度，SSIM的计算公式为：

其中，x为第二期望衰老人脸图像，y为第三期望衰老人脸图像，其中μ_x是x的平均值，μ_y是y的平均值，

是x的方差，

是y的方差，μ_xμ_y是x和y的协方差。c₁＝(k₁L)²，c₂＝(k₂L)²，c₁、c₂是用来维持稳定的常数。L是像素值的动态范围。k₁＝0.01,k₂＝0.03。

本实施例中，再基于该第二损失值

再用自适应矩阵估计算法(adam算法)对学生生成模型中的参数进行调整。adam算法的迭代次数设置为500次，初始化学习率设置为0.001,权重衰减设置为0.0005，每50次迭代，学习率衰减为原来的1/10，直至学生生成模型收敛。

上述人脸衰老图像生成模型的训练方法，学生生成模型仅通过计算已收敛的教师生成模型和学生生成模型之间的蒸馏损失来反向优化学生生成模型，无需单独训练学生生成模型，从而逐步模仿教师生成器生成衰老图像的过程，直到学生生成模型也收敛，预测阶段时，则只需调用更加轻量化的学生生成模型和风格编码便能预测不同年龄的衰老图像。相较于使用教师生成模型来生成衰老图像，由于学生生成模型的结构更为简单，使用学生生成模型能极大的减少所需使用的内存，为受限于设备性能的GAN模型的部署提供一种新的可能性。

进一步的，在生成人脸衰老图像时，便可应用上述训练得到的学生生成模型。获取到待处理人脸图像，将该待处理人脸图像和目标风格编码输入到学生生成模型，通过学生生成模型的AdaIN模块，使待处理人脸图像吸收目标风格编码的风格编码特征，最终得到目标年龄的目标衰老人脸图像。

由于学生生成模型的网络结构更为简单，对设备性能要求不高，从而解决了现有基于GAN的衰老生成算法，其模型较大，对于硬件设备的性能要求较高的问题。

一种人脸衰老图像生成设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：获取训练数据集，训练数据集包括多个人脸训练图像，一个人脸训练图像对应一个真实年龄标签；将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像，第一人脸图像为多个人脸训练图像中的任意一个，第一期望风格编码携带有第一期望年龄的风格编码特征；根据第一期望衰老人脸图像的真实程度，调整教师生成模型的参数，以使教师生成模型生成的期望衰老人脸图像的真实程度增大，返回执行将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤；当教师生成模型的参数经过预设次数的调整后，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到教师生成模型中的多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将第二人脸图像及第二期望风格编码输入学生生成模型，以得到学生生成模型中的多个学生特征层输出的第二中间特征图，和第二期望年龄的第三期望衰老人脸图像，第二人脸图像为多个人脸训练图像中的任意一个，第二期望风格编码携带有第二期望年龄的风格编码特征；通过预设的蒸馏损失函数，根据第二期望衰老人脸图像、第三期望衰老人脸图像、第一中间特征图和第二中间特征图计算第二损失值，根据第二损失值调整学生生成模型的参数，返回执行将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤，直至学生生成模型收敛。

以及实现如下步骤：获取待处理人脸图像，将待处理人脸图像及目标风格编码输入学生生成模型，以得到目标年龄的目标衰老人脸图像。

一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：获取训练数据集，训练数据集包括多个人脸训练图像，一个人脸训练图像对应一个真实年龄标签；将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像，第一人脸图像为多个人脸训练图像中的任意一个，第一期望风格编码携带有第一期望年龄的风格编码特征；根据第一期望衰老人脸图像的真实程度，调整教师生成模型的参数，以使教师生成模型生成的期望衰老人脸图像的真实程度增大，返回执行将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤；当教师生成模型的参数经过预设次数的调整后，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到教师生成模型中的多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将第二人脸图像及第二期望风格编码输入学生生成模型，以得到学生生成模型中的多个学生特征层输出的第二中间特征图，和第二期望年龄的第三期望衰老人脸图像，第二人脸图像为多个人脸训练图像中的任意一个，第二期望风格编码携带有第二期望年龄的风格编码特征；通过预设的蒸馏损失函数，根据第二期望衰老人脸图像、第三期望衰老人脸图像、第一中间特征图和第二中间特征图计算第二损失值，根据第二损失值调整学生生成模型的参数，返回执行将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤，直至学生生成模型收敛。

以及实现如下步骤：获取待处理人脸图像，将待处理人脸图像及目标风格编码输入学生生成模型，以得到目标年龄的目标衰老人脸图像。

需要说明的是，上述人脸衰老图像的生成方法、模型训练方法、设备和介质属于一个总的发明构思，人脸衰老图像的生成方法、模型训练方法、设备和介质实施例中的内容可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种人脸衰老图像生成模型的训练方法，其特征在于，所述人脸衰老图像生成模型包括教师生成模型和学生生成模型，所述学生生成模型包括多个学生特征层，所述教师生成模型包括多个老师特征层和多个学生特征层，所述教师生成模型中的多个学生特征层的结构和数量与所述学生生成模型中的学生特征层的结构和数量相同，一个学生特征层用于输出一种特征尺度的中间特征图，所述方法包括：

获取训练数据集，所述训练数据集包括多个人脸训练图像，一个所述人脸训练图像对应一个真实年龄标签；

将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像，所述第一人脸图像为所述多个人脸训练图像中的任意一个，所述第一期望风格编码携带有所述第一期望年龄的风格编码特征；

根据所述第一期望衰老人脸图像的真实程度，调整所述教师生成模型的参数，以使所述教师生成模型生成的期望衰老人脸图像的真实程度增大，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤；

当所述教师生成模型的参数经过预设次数的调整后，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，和所述第二期望年龄的第三期望衰老人脸图像，所述第二人脸图像为所述多个人脸训练图像中的任意一个，所述第二期望风格编码携带有所述第二期望年龄的风格编码特征；

通过预设的蒸馏损失函数，根据所述第二期望衰老人脸图像、所述第三期望衰老人脸图像、所述第一中间特征图和所述第二中间特征图计算第二损失值；

根据所述第二损失值调整所述学生生成模型的参数，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤，直至所述学生生成模型收敛。

2.根据权利要求1所述的方法，其特征在于，所述蒸馏损失函数为：

L∈(64，128，256，512)

其中，

表示所述第二损失值，n_L表示第L大小的特征图的数量，

表示所述教师生成模型中第i张尺寸为L*L的中间特征图，

表示所述学生生成模型中第i张尺寸为L*L中间特征图；I_GT表示所述第二期望衰老人脸图像，I_GS表示所述第三期望衰老人脸图像，SSIM为结构相似度。

3.根据权利要求1所述的方法，其特征在于，所述教师生成模型的多个老师特征层中的至少一个为特征融合层；所述教师生成模型的多个学生特征层中的第i个学生特征层和所述学生生成模型的多个学生特征层中的第i个学生特征层为特征融合层，i为1至N中的至少一个，N等于所述多个学生特征层的数量；所述特征融合层包括自适应实例归一化模块；

所述将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中的多个学生特征层输出的第一中间特征图，包括：

通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，所述第一特征融合层为所述教师生成模型中的任意一个特征融合层，所述第一待融合特征图为输入所述第一特征融合层的特征图；

所述将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，包括：

通过第二特征融合层内的第二自适应实例归一化模块，使第二待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，所述第二特征融合层为所述学生师生成模型中的任意一个特征融合层，所述第二待融合特征图为输入所述第二特征融合层的特征图。

4.根据权利要求3所述的方法，其特征在于，所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，包括：

对所述第二期望风格编码进行仿射变换，以得到第一平移因子和第一缩放因子；

对所述第一待融合特征图进行归一化处理，得到第一归一化特征图；

通过所述第一平移因子、所述第一缩放因子和预设的特征吸收公式对所述第一归一化特征图进行平移变换和尺度变换，以得到所述第一特征融合层输出的中间特征图；

所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，包括：

对所述第二期望风格编码进行仿射变换，以得到第二平移因子和第二缩放因子；

对所述第二待融合特征图进行归一化处理，得到第二归一化特征图；

通过所述第二平移因子、所述第二缩放因子和预设的特征吸收公式对所述第二归一化特征图进行平移变换和尺度变换，以得到所述第二特征融合层输出的中间特征图。

5.根据权利要求4所述的方法，其特征在于，所述仿射变换的计算公式为：

D＝S*A^T+b

其中，S为期望风格编码，S*A^T为缩放因子，b为平移因子；

所述特征吸收公式：

Y＝(1+D₁)*y+D₂

其中，D₁＝S*A^T，D₂＝b，y为归一化特征图，Y为融合后的特征图。

6.根据权利要求1所述的方法，其特征在于，所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型之前，还包括：

将所述多个人脸训练图像输入年龄衰老风格生成模型，以得到不同年龄对应的衰老风格编码；所述第一期望风格编码为所述不同年龄对应的衰老风格编码中的任意一个；

将所述第一人脸图像及所述第一期望风格编码输入未收敛的教师生成模型，以得到所述第一期望衰老人脸图像，将所述第一期望衰老人脸图像输入风格判别模型，以判断所述第一期望衰老人脸图像的真假；

通过预设的风格对抗损失函数，根据所述第一期望衰老人脸图像的真假判断结果计算第一损失值，根据所述第一损失值调整所述教师生成模型的参数，返回执行所述将所述第一人脸图像及所述第一期望风格编码输入未收敛的教师生成模型的步骤，直至所述教师生成模型收敛。

7.根据权利要求6所述的方法，其特征在于，所述风格对抗损失函数包括对抗损失函数，所述对抗损失函数为：

L_ads＝E[logD(x)]+E[log(1-D(G(x，s)))]

其中，E表示分布函数的期望值，D(x)表示对于人脸训练图像判别为真假的概率，G(x，s)表示所述第一期望衰老人脸图像，D(G(x))表示对于所述第一期望衰老人脸图像判别为真假的概率。

8.根据权利要求7所述的方法，其特征在于，所述风格对抗损失函数还包括：风格重构损失函数，所述风格重构对抗损失函数为：

L_style＝||S(x，T_x)-S(G_T(x，S(x，T))，T_x)||₁＝||S(x，T_x)-S(G_x，T_x)||₁

其中，x为所述第一人脸图像，T_x表示第一人脸图像x的真实年龄，T表示所述第一期望年龄，S(x，T)表示所述第一期望风格编码，G(x，S(T))表示所述第一期望衰老人脸图像，S(G_x，T_x)表示所述第一期望衰老人脸图像G(x，S(T))的风格编码，S(x，T_x)表示所述第一人脸图像x的风格编码。

9.一种人脸衰老图像生成方法，其特征在于，所述方法包括：

获取待处理人脸图像，将所述待处理人脸图像及目标风格编码输入所述学生生成模型，以得到目标年龄的目标衰老人脸图像，所述目标风格编码为所述目标年龄对应的衰老风格编码，所述学生生成模型通过如权利要求1-8任一项所述的方法训练得到。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。

11.一种人脸衰老图像生成设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。

Images