CN114677716A - 图像风格迁移方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像风格迁移方法、装置、计算机设备和存储介质。所述方法包括：获取待迁移人脸图像的人脸特征和人脸关键点；人脸关键点用于确定人脸特征在人脸图像中的位置区域；将人脸特征和人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；对目标风格的人脸关键点进行拟合处理，生成目标风格的脸型曲线；将目标风格的人脸特征按照目标风格的关键点进行定位后，与目标风格的脸型曲线进行融合，生成待迁移人脸图像对应的目标风格的人脸图像。采用本方法可针对性地获得更好的学习图像间风格变换的能力，并最大化地保留待迁移人脸图像的内容，从而可实现从拍摄的人脸图像到如漫画风格的目标风格的风格迁移。

Description

图像风格迁移方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像风格迁移方法、装置、计算机设备和存储介质。

背景技术

风格迁移表示将图像A的风格转换到图像B上，得到新的图像的方法。目前，进行图像迁移的方法主要是基于卷积神经网络的风格迁移，然而，基于卷积神经网络的风格迁移主要是针对图像的纹理和色彩特征进行迁移，但对于一些如漫画的具有个人风格的图像，难以针对性的进行风格捕捉(如五官绘制特点、线条特点等)。

因此，现有的图像风格迁移方法难以完成具有个人风格的图像的风格迁移。

发明内容

基于此，有必要针对上述图像风格迁移方法存在的难以完成具有个人风格的图像的风格迁移的技术问题，提供一种图像风格迁移方法、装置、计算机设备和存储介质。

一种图像风格迁移方法，所述方法包括：

获取待迁移人脸图像的人脸特征和人脸关键点；所述人脸关键点用于确定所述人脸特征在人脸图像中的位置区域；

将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

对所述目标风格的人脸关键点进行拟合处理，生成所述目标风格的脸型曲线；

将所述目标风格的人脸特征按照所述目标风格的关键点进行定位后，与所述目标风格的脸型曲线进行融合，生成所述待迁移人脸图像对应的目标风格的人脸图像。

在其中一个实施例中，所述获取待迁移人脸图像的人脸特征和人脸关键点，包括：

将所述待迁移人脸图像分别输入头发分割模型和五官检测模型，得到所述待迁移人脸图像的头发和五官，作为所述人脸特征；

将所述待迁移人脸图像输入人脸关键点检测模型，得到所述人脸关键点。

在其中一个实施例中，所述将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点，包括：

将所述人脸特征输入人脸特征转换模型，得到所述目标风格的人脸特征；

将所述人脸关键点输入人脸关键点检测模型，得到所述目标风格的人脸关键点。

在其中一个实施例中，所述人脸关键点转换模型包括脸型关键点转换模型、位置关键点转换模型和尺寸关键点转换模型；

所述将所述人脸关键点输入人脸关键点检测模型，得到所述目标风格的人脸关键点，包括：

将所述人脸关键点划分为脸型关键点、位置关键点和尺寸关键点；

分别将所述脸型关键点、所述位置关键点和所述尺寸关键点对应输入所述脸型关键点转换模型、所述位置关键点转换模型和所述尺寸关键点转换模型，得到目标风格的脸型关键点、目标风格的位置关键点和目标风格的尺寸关键点。

在其中一个实施例中，所述方法还包括：

获取训练后的多个图像风格迁移模型；所述图像风格迁移模型用于将所述待迁移人脸图像转换为所述目标风格的人脸图像；

分别采用各个所述训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理，得到头发分割模型、人脸关键点检测模型和人脸特征转换模型。

在其中一个实施例中，所述分别采用各个所述训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理，得到头发分割模型、人脸关键点检测模型和人脸特征转换模型，包括：

获取用于模型训练的人脸图像训练集；

将所述人脸图像训练集中的人脸图像，分别输入所述训练后的图像风格迁移模型和对应的小模型中，得到所述训练后的图像风格迁移模型的第一输出图像和所述小模型的第二输出图像；

根据所述第一输出图像和所述第二输出图像的差值，得到损失值；

根据所述损失值调整所述小模型的模型参数，得到训练后的小模型，对应作为所述头发分割模型、所述人脸关键点检测模型和所述人脸特征转换模型。

在其中一个实施例中，所述头发分割模型为基于Unet的小语义分割模型，所述五官检测模型为基于mobilenet的目标检测模型，所述人脸特征变换为基于生成式对抗网络的模型，所述人脸关键点检测模型为基于人脸对齐网络的模型，所述关键点转换模型为基于生成式对抗网络的模型。

一种图像风格迁移装置，所述装置包括：

特征获取模块，用于获取待迁移人脸图像的人脸特征和人脸关键点；所述人脸关键点用于确定所述人脸特征在人脸图像中的位置区域；

风格转换模块，用于将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

拟合模块，用于对所述目标风格的人脸关键点进行拟合处理，生成所述目标风格的脸型曲线；

融合模块，将所述目标风格的人脸特征按照所述目标风格的关键点进行定位后，与所述目标风格的脸型曲线进行融合，生成所述待迁移人脸图像对应的目标风格的人脸图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待迁移人脸图像的人脸特征和人脸关键点；所述人脸关键点用于确定所述人脸特征在人脸图像中的位置区域；

将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

对所述目标风格的人脸关键点进行拟合处理，生成所述目标风格的脸型曲线；

将所述目标风格的人脸特征按照所述目标风格的关键点进行定位后，与所述目标风格的脸型曲线进行融合，生成所述待迁移人脸图像对应的目标风格的人脸图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待迁移人脸图像的人脸特征和人脸关键点；所述人脸关键点用于确定所述人脸特征在人脸图像中的位置区域；

将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

对所述目标风格的人脸关键点进行拟合处理，生成所述目标风格的脸型曲线；

将所述目标风格的人脸特征按照所述目标风格的关键点进行定位后，与所述目标风格的脸型曲线进行融合，生成所述待迁移人脸图像对应的目标风格的人脸图像。

上述图像风格迁移方法、装置、计算机设备和存储介质，通过先获取待迁移人脸图像中的人脸特征和人脸关键点，以便于可将人脸特征和人脸关键点分别转换为目标风格的人脸特征和人脸关键点，通过对目标风格的人脸关键点进行拟合得到目标风格的脸型曲线，进一步将目标风格的人脸特征按照目标风格的关键点进行定位后，与目标风格的脸型曲线进行融合，得到目标风格的人脸图像。该方法通过对待迁移人脸图像中的人脸特征和人脸关键点的分别提取和分别转换，便于图像风格迁移模型可针对性地获得更好的学习图像间风格变换的能力，并最大化地保留待迁移人脸图像的内容，从而可实现从拍摄的人脸图像到如漫画风格的目标风格的风格迁移。

附图说明

图1为一个实施例中图像风格迁移方法的流程示意图；

图2为另一个实施例中图像风格迁移的转换流程图；

图3为一个实施例中面部特征融合的流程示意图；

图4为一个实施例中为人脸关键点转换的流程示意图；

图5为一个实施例中模型蒸馏步骤的流程示意图；

图6为一个实施例中训练后的头发分割模型与对应小模型的示意图；

图7为一个实施例中GAN模型压缩的基本流程示意图；

图8为一个实施例中人脸关键点检测模型的蒸馏流程示意图；

图9为一个实施例中图像风格迁移装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图像风格迁移方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤S102，获取待迁移人脸图像的人脸特征和人脸关键点；人脸关键点用于确定人脸特征在人脸图像中的位置区域。

其中，人脸特征可包括五官和头发等特征。

具体实现中，终端在对获取的待迁移人脸图像进行风格迁移时，可先进行五官和头发的特征提取和人脸关键点检测，以便于将人脸图像中的五官、头发和人脸关键点分别进行风格迁移。

进一步地，在一个实施例中，步骤S102具体包括：将待迁移人脸图像分别输入头发分割模型和五官检测模型，得到待迁移人脸图像的头发和五官，作为人脸特征；将待迁移人脸图像输入人脸关键点检测模型，得到人脸关键点。

其中，头发分割模型用于分割出人脸图像中的头发。

其中，五官检测模型用于检测并提取人脸图像中的五官，例如，可以提取人脸图像中的眼、鼻、嘴唇和耳朵等。

其中，人脸关键点检测模型用于定位人脸图像中的关键区域，例如眉毛、眼睛、鼻子、嘴巴和脸部轮廓等部位，提取关键区域的关键点，例如，可提取人脸图像中的68个关键点，和目标风格图像中的人脸关键点。

参见图2，为图像风格迁移的转换流程图，整个流程由六个子模型构成，输入人脸图片(相当于待迁移人脸图像)，通过头发分割模型从待迁移人脸图像中分割出头发、通过五官检测模型从待迁移人脸图像中提取出五官，通过人脸关键点检测模型从待迁移人脸图像中提取出关键点。

步骤S104，将人脸特征和人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点。

其中，目标风格表示具有个人风格、传统卷积神经网络难以进行转换的图像风格，例如，目标风格可以为漫画风格。

进一步地，步骤S104具体包括：将人脸特征输入人脸特征转换模型，得到目标风格的人脸特征；将人脸关键点输入人脸关键点检测模型，得到目标风格的人脸关键点。

其中，人脸特征转换模型用于将头发分割模型从人脸图像中分割出的头发和五官检测模型从人脸图像中提取出的五官分别进行风格转换，得到具有目标风格的头发图像和五官图像。

其中，关键点转换模型用于将人脸关键点检测模型从人脸图像中提取出的人脸关键点，转换为目标风格图像中的人脸关键点位置。

例如，在图2中，头发分割模型和五官检测模型将得到的头发和五官特征输入人脸特征转换模型中，人脸关键点检测模型将提取的关键点输入关键点转换模型中，以便于人脸特征转换模型和关键点转换模型分别对人脸特征和关键点进行风格转换处理。

步骤S106，对目标风格的人脸关键点进行拟合处理，生成目标风格的脸型曲线。

具体实现中，如图2所示，可将得到的目标风格的五官、头发和人脸关键点输入融合模型中，通过融合模型基于分段三次Hermite插值多项式的方法对人脸关键点进行拟合，得到目标风格的平滑脸型曲线。

步骤S108，将目标风格的人脸特征按照目标风格的关键点进行定位后，与目标风格的脸型曲线进行融合，生成待迁移人脸图像对应的目标风格的人脸图像。

具体实现中，参见图3，为一个实施例中面部特征融合的流程示意图。将经过上述步骤得到的目标风格的头发、五官和人脸关键点，作为面部特征组件，根据目标风格的人脸关键点对目标风格的五官特征进行调整和定位，确定各个特征的位置，然后按照该位置将目标风格的脸型曲线、调整后的目标风格的五官和目标风格的头发进行融合，根据预先计算出的面颊和额头的比例融合得到目标风格的人脸图像，还可配合预先设置的身体部分的图像，得到目标风格的人物图像。

上述图像风格迁移方法中，通过先获取待迁移人脸图像中的人脸特征和人脸关键点，以便于可将人脸特征和人脸关键点分别转换为目标风格的人脸特征和人脸关键点，通过对目标风格的人脸关键点进行拟合得到目标风格的脸型曲线，进一步将目标风格的人脸特征按照目标风格的关键点进行定位后，与目标风格的脸型曲线进行融合，得到目标风格的人脸图像。该方法通过对待迁移人脸图像中的人脸特征和人脸关键点的分别提取和分别转换，便于图像风格迁移模型可针对性地获得更好的学习图像间风格变换的能力，并最大化地保留待迁移人脸图像的内容，从而可实现从拍摄的人脸图像到如漫画风格的目标风格的风格迁移。

在一个实施例中，人脸关键点转换模型包括脸型关键点转换模型、位置关键点转换模型和尺寸关键点转换模型；上述将人脸关键点输入人脸关键点检测模型，得到目标风格的人脸关键点，具体包括：将人脸关键点划分为脸型关键点、位置关键点和尺寸关键点；分别将脸型关键点、位置关键点和尺寸关键点对应输入脸型关键点转换模型、位置关键点转换模型和尺寸关键点转换模型，得到目标风格的脸型关键点、目标风格的位置关键点和目标风格的尺寸关键点。

具体实现中，由于人脸关键点转换模型在对提取的人脸关键点进行风格转换时，存在面部特征的搭配模式限制了结果的多样性的问题，构建关键点转换模型的生成式对抗网络(Generative Adversarial Networks，GAN)在接受全局人脸关键点训练时可能遵循固定或类似的搭配模式，例如，两个脸型相同的人可能有不同的眼口鼻大小或位置，但是关键点转换模型可能将这两个人的脸部图像按照同样的位置和大小进行风格转换，导致得到的目标风格的人脸图像则与实际的脸部特征不匹配。因此，可将提取的人脸关键点分解为三种属性：脸型关键点、位置关键点和尺寸关键点，并使用三个子模型(sub-GAN)分别进行各个属性的风格转换。

参考图4，为人脸关键点转换的流程示意图，L_P和L_M分别表示待迁移人脸图像和对应的漫画人脸图像(即目标风格的人脸图像)的关键点区域，将脸型关键点、位置关键点和尺寸关键点分别对应输入脸型关键点转换模型Nshp、位置关键点转换模型Nloc和尺寸关键点转换模型Nsiz中，得到目标风格的脸型关键点、目标风格的位置关键点和目标风格的尺寸关键点。

本实施例中，通过将从待迁移人脸图像中提取的人脸关键点按照属性划分为脸型关键点、位置关键点和尺寸关键点，并分别采用对应的关键点转换模型进行针对性的转换，使得可以获得更匹配待迁移人脸图像的风格迁移效果。

在一个实施例中，还包括：获取训练后的多个图像风格迁移模型；图像风格迁移模型用于将待迁移人脸图像转换为目标风格的人脸图像；分别采用各个训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理，得到头发分割模型、人脸关键点检测模型和人脸特征转换模型。

其中，模型蒸馏是模型压缩的一种技术，表示采用“教师-学生网络”的训练方式，将已经训练好的模型所包含的知识迁移到小模型中，使小模型的性能表现如训练好的模型一般。

具体实现中，为了提高将待迁移人脸图像转换为目标风格的人脸图像的图像处理时间，可预先训练得到头发分割模型、五官检测模型、人脸关键点检测模型、人脸特征转换模型和关键点转换模型，即得到训练后的图像风格迁移模型，作为教师网络。针对每种训练后的图像风格迁移模型，分别构建一个对应的小模型，作为学生网络，基于“教师-学生网络”的迁移学习方法，将训练后的图像风格迁移模型的性能迁移到对应的小模型中，实现知识蒸馏，以使蒸馏得到的小模型可实现与训练后的图像风格迁移模型相同的风格转换性能。

由于预设的小模型是针对人脸图像中不同特征、不同特征的转换所构建的模型，而不同的特征对提取的精确度要求、转换要求等也不相同，为了提高小模型进行风格迁移的效果，可针对不同的人脸特征和转换构建不同的小模型，针对每一种小模型，分别采用不同的模型蒸馏方法。

更具体地，头发分割模型可采用基于Unet的小语义分割模型进行构建和模型蒸馏。五官检测模型可采用常用的轻量级目标检测网络，即基于mobilenet系列的目标检测模型(如Mobilenetv2-SSD)进行模型的构建和训练，其中，提取的五官图像中可包括眼睛、鼻子和嘴唇，在训练时间允许的情况下，还可加上耳朵，由于这种模型大多已是轻量级，且处理图片的时间成本较低，一般在20ms以内，因此可无需进行模型蒸馏或压缩。人脸特征变换模型可使用循环生成式对抗网络(cycleGAN)进行模型构建和训练，采用韩松组的模型压缩方法进行模型的蒸馏。人脸关键点检测模型可采用人脸对齐网络(Face AlignmentNetwork，FAN)进行模型的构建，基于提示的训练方法来压缩该网络，其中，基于提示的训练方法表示根据教师网络的隐藏层输出，知道学生网络的学习过程。关键点转换模型可采用生成式对抗网络进行模型的构建。其中，关键点转换模型和融合模型也已经为轻量级，所以也无需进行模型蒸馏处理。在得到各个蒸馏小模型后，可将各个蒸馏小模型部署至终端，使得目标风格的迁移可以在终端中实现。

本实施例中，通过模型蒸馏处理，在保证精度的同时，压缩模型体积，使得蒸馏后的小模型体积更小，从而使蒸馏得到的小模型既可以实现与训练后的图像风格迁移模型相同的风格迁移效果，还实现了加速模型推理时间的技术效果。通过多个小模型代替传统的卷积神经网络模型，对人脸图像中不同的面部特征分别进行提取和转换，可以实现针对性获得更好的学习图像间风格变换的能力，并最大化地保留待迁移人脸图像的内容，从而可实现从拍摄的人脸图像到如漫画风格的目标风格的风格迁移。

在一个实施例中，如图5所示，采用各个训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理的步骤具体包括：

步骤S502，获取用于模型训练的人脸图像训练集；

步骤S504，将人脸图像训练集中的人脸图像，分别输入训练后的图像风格迁移模型和对应的小模型中，得到训练后的图像风格迁移模型的第一输出图像和小模型的第二输出图像；

步骤S506，根据第一输出图像和第二输出图像的差值，得到损失值；

步骤S508，根据损失值调整小模型的模型参数，得到训练后的小模型，对应作为头发分割模型、人脸关键点检测模型和人脸特征转换模型。

具体实现中，例如，对于头发分割模型，由于头发分割目的在于精确的对头发，特别是发丝边缘进行精细分割，因此，可采用matting技术进行精细分割。参见图6，为训练后的头发分割模型与对应小模型的示意图，图中上半部分为作为教师网络，预先训练的头发分割模型的示意图，主要由语义分割自编码器和堆叠优化模块组成，其中，堆叠优化模块可使用堆叠的卷积长短记忆网络(convLSTM)，用于进行细节优化。但是，该训练后的头发分割模型虽然可以精细分割发丝，有效改善联通域的问题，但耗时较长。因此，本申请中采用先训练该模型，得到训练后的头发分割模型，作为教师网络，然后通过小模型蒸馏的方式，得到较好的加速版模型，作为头发分割模型对应的蒸馏小模型。

更具体地，如图6的下半部分表示头发分割模型对应的蒸馏小模型。本申请中采用基于Unet的小语义分割模型，作为待蒸馏头发分割模型，来代替传统头发分割模型中的语义分割自编码器，由于基于Unet的小语义分割模型的结构与语义分割自编码器类似，但卷积通道数有一定的减少，由此实现对传统语义分割自编码器的模型压缩，另外，如图6所示，本申请所构建的待蒸馏头发分割模型，还取消了传统头发分割模型中的堆叠优化模块，以减少头发分割模型对应的蒸馏小模型的内存消耗，进一步实现对传统头发分割模型的压缩。另外，为了补偿堆叠优化模块的优化功能，本申请采用在对待蒸馏头发分割模型进行训练时，加入变化特征作为引导图，以提升模型蒸馏后的头发分割能力。

在采用训练后的头发分割模型对待蒸馏头发分割模型进行训练时，所采用的损失函数可表示为：l(S,D)＝l_{mc0}(S)+lambda(l_{pi}(S)+l_{pa}(S))

其中，l_{mc}(S)为传统的多类交叉熵损失；

l_{pi}(S)＝1/(W＇×H＇)\sum_{i\in R}KL(q_i^s||q_i^t)，q_i^s是学生网络S中第i个像素点的类别概率，q_i^t是教师网络T中相应的类别概率，KL是两个概率的离散度R表示所有像素的集合；

l_{pa}(S)＝1/(W＇×H＇)^2\sum_{i\in R}\sum_{j\in R}(a_{ij}^s–a_{ij}^t)^2，a_{ij}^s表示学生网络中第i个像素点和第j个像素点的相关性；a_{ij}^t表示教师网络中的相关性；

lambda＝10，但该数值可以根据数据的情况适当调整。

例如，对于人脸特征转换模型，本申请采用循环生成式对抗网络(cycleGAN)对人脸特征转换模型对应的小模型进行训练，即有两个生成器和两个判别器，但本申请与cycleGAN不同的是使用了更加稳定的最小二乘损失，加上循环一致性损失。因为使用到cycleGAN，为了方便部署，可对最后稳定的生成器进行模型蒸馏，基本流程参见图7，为GAN模型压缩的基本流程示意图。采用韩松组的模型压缩方法，统一配对学习和非配对学习，即对与非配对设置，将原始生成器输出视为真值并使用配对训练目标，训练压缩后的生成器G。同时，通过匹配输出层logit的分布，将大模型的知识迁移到学生模型中，提高小模型的性能。由于使用了生成器搜索，本申请沿用了卷积分解(depthwise+pointwise)和NAS实现自动裁切通道，减少冗余，以实现二次减少计算量。

其中，对于生成对抗网络的蒸馏压缩流程的步骤包括：首先，对于一个预训练的教师网络的生成器G＇，蒸馏一个学生网络G，网络G通过权重共享获得所有可能的通道数和参数，在每一训练步上选择不同的通道数来训练学生网络G。然后，使用不同的通道数训练小模型，从得到的各个小模型中确定出最优的模型。最后，还可在更多的数据上精调所得到的最优模型，得到最终的压缩模型，作为训练后的人脸特征转换模型对应的蒸馏小模型。其中，在模型训练时，所使用的损失函数可表示为：

L＝L_{cGAN}+\lambda_{recon}L_{recon}+\lambda_{distill}L_{distill}

其中，L_{cGAN}＝E_{x,y}[logD(x,y)]+E_x[log(1-D(x,G(x)))],其中D是学生模型中的判别器，权重是从教师模型D＇中通过权重共享得到的。生成器G和判别器D均是通过minimax优化得到的。

若cGANs不配对，L_{recon}＝E_x||G(x)–G＇(x)||_1；

若cGANs配对，L_{recon}＝E_x||G(x)–y||_1。

L_{distill}＝\sum_{t＝1}^{T}||G(x)–f_t(G_t＇(x))||_2，其中G_t(x)和G_t＇(x)都是第t层的中间特征，T表示特征层数，f_t代表1*1的可学习卷积，将教师模型的特征映射到学生模型的特征，联合学习G_t和f_t，来最小化蒸馏损失。

例如，对于人脸关键点检测模型，参见图8，为人脸关键点检测模型的蒸馏流程示意图，为了获取可以精确定位面部关键点位置的人脸关键点热力图，因此，本申请采用在单一尺度的特征图上构建人脸对齐网络，其中，该网络的结构既不遵从自编码器的结构，也不包括跳接层，由此，实现对模型的压缩。为了缩短整体的模型训练时间，并获得与目前最好的人脸关键点预测网络FAN(人脸对齐网络)像比拟的结果，本申请提出了基于提示的训练方法来训练待蒸馏人脸关键点检测网络，将上部分的大网络的知识蒸馏到下半部分的小网络，加速网络的推理，压缩模型并尽可能的保持原有的精度。其中，提示表示根据教师网络的隐藏层输出，获知学生网络的学习过程。具体地，可训练一个蒸馏的FAN来最小化原始FAN预测的结果和压缩FAN的结果的L2损失，该方法两个优点：可以高精度的提供人脸关键点热力图，同时可以压缩2/3的训练和预测时间，所使用的损失函数可表示为：

L＝\sum(F_d(I)-F_t(I))^2

其中，F_d和F_t分别表示待蒸馏人脸检测模型的输出和训练后的人脸检测模型的输出。

本实施例中，通过将人脸图像训练集中的人脸图像，分别输入训练后的图像风格迁移模型和对应的小模型，计算得到训练后的图像风格迁移模型的第一输出图像和小模型的第二输出图像的损失值，根据损失值调整小模型的模型参数，得到训练后的蒸馏小模型，实现了对各个蒸馏小模型的训练和知识迁移，以使得到的蒸馏小模型具有与预先训练的图像风格迁移模型相同的迁移效果，在保证图像迁移精度的同时，实现了模型的压缩，使得整个模型的运行时间得到进一步的缩减，使得蒸馏小模型具有更加轻量级的性能，更适合部署到移动端。

应该理解的是，虽然图1和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种图像风格迁移装置，包括：特征获取模块902、风格转换模块904、拟合模块906和融合模块908，其中：

特征获取模块902，用于获取待迁移人脸图像的人脸特征和人脸关键点；人脸关键点用于确定人脸特征在人脸图像中的位置区域；

风格转换模块904，用于将人脸特征和人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

拟合模块906，用于对目标风格的人脸关键点进行拟合处理，生成目标风格的脸型曲线；

融合模块908，将目标风格的人脸特征按照目标风格的关键点进行定位后，与目标风格的脸型曲线进行融合，生成待迁移人脸图像对应的目标风格的人脸图像。

在一个实施例中，上述特征获取模块902，具体用于将待迁移人脸图像分别输入头发分割模型和五官检测模型，得到待迁移人脸图像的头发和五官，作为人脸特征；将待迁移人脸图像输入人脸关键点检测模型，得到人脸关键点。

在一个实施例中，上述风格转换模块904，具体用于将人脸特征输入人脸特征转换模型，得到目标风格的人脸特征；将人脸关键点输入人脸关键点检测模型，得到目标风格的人脸关键点。

在一个实施例中，上述风格转换模块904，还用于将人脸关键点划分为脸型关键点、位置关键点和尺寸关键点；分别将脸型关键点、位置关键点和尺寸关键点对应输入脸型关键点转换模型、位置关键点转换模型和尺寸关键点转换模型，得到目标风格的脸型关键点、目标风格的位置关键点和目标风格的尺寸关键点。

在一个实施例中，上述装置还包括：

模型获取模块，用于获取训练后的多个图像风格迁移模型；图像风格迁移模型用于将待迁移人脸图像转换为目标风格的人脸图像；

模型蒸馏模块，用于分别采用各个训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理，得到头发分割模型、人脸关键点检测模型和人脸特征转换模型。

在一个实施例中，上述模型蒸馏模块，具体用于获取用于模型训练的人脸图像训练集；将人脸图像训练集中的人脸图像，分别输入训练后的图像风格迁移模型和对应的小模型中，得到训练后的图像风格迁移模型的第一输出图像和小模型的第二输出图像；根据第一输出图像和第二输出图像的差值，得到损失值；根据损失值调整小模型的模型参数，得到训练后的小模型，对应作为头发分割模型、人脸关键点检测模型和人脸特征转换模型。

在一个实施例中，头发分割模型为基于Unet的小语义分割模型，五官检测模型为基于mobilenet的目标检测模型，人脸特征变换为基于生成式对抗网络的模型，人脸关键点检测模型为基于人脸对齐网络的模型，关键点转换模型为基于生成式对抗网络的模型。

需要说明的是，本申请的图像风格迁移装置与本申请的图像风格迁移方法一一对应，在上述图像风格迁移方法的实施例阐述的技术特征及其有益效果均适用于图像风格迁移装置的实施例中，具体内容可参见本申请方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述图像风格迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像风格迁移方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像风格迁移方法，其特征在于，所述方法包括：

获取待迁移人脸图像的人脸特征和人脸关键点；所述人脸关键点用于确定所述人脸特征在人脸图像中的位置区域；

将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

对所述目标风格的人脸关键点进行拟合处理，生成所述目标风格的脸型曲线；

将所述目标风格的人脸特征按照所述目标风格的关键点进行定位后，与所述目标风格的脸型曲线进行融合，生成所述待迁移人脸图像对应的目标风格的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述获取待迁移人脸图像的人脸特征和人脸关键点，包括：

将所述待迁移人脸图像分别输入头发分割模型和五官检测模型，得到所述待迁移人脸图像的头发和五官，作为所述人脸特征；

将所述待迁移人脸图像输入人脸关键点检测模型，得到所述人脸关键点。

3.根据权利要求1所述的方法，其特征在于，所述将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点，包括：

将所述人脸特征输入人脸特征转换模型，得到所述目标风格的人脸特征；

将所述人脸关键点输入人脸关键点检测模型，得到所述目标风格的人脸关键点。

4.根据权利要求3所述的方法，其特征在于，所述人脸关键点转换模型包括脸型关键点转换模型、位置关键点转换模型和尺寸关键点转换模型；

所述将所述人脸关键点输入人脸关键点检测模型，得到所述目标风格的人脸关键点，包括：

将所述人脸关键点划分为脸型关键点、位置关键点和尺寸关键点；

分别将所述脸型关键点、所述位置关键点和所述尺寸关键点对应输入所述脸型关键点转换模型、所述位置关键点转换模型和所述尺寸关键点转换模型，得到目标风格的脸型关键点、目标风格的位置关键点和目标风格的尺寸关键点。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

获取训练后的多个图像风格迁移模型；所述图像风格迁移模型用于将所述待迁移人脸图像转换为所述目标风格的人脸图像；

分别采用各个所述训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理，得到头发分割模型、人脸关键点检测模型和人脸特征转换模型。

6.根据权利要求5所述的方法，其特征在于，所述分别采用各个所述训练后的图像风格迁移模型对与其对应构建的多个小模型进行模型蒸馏处理，得到头发分割模型、人脸关键点检测模型和人脸特征转换模型，包括：

获取用于模型训练的人脸图像训练集；

将所述人脸图像训练集中的人脸图像，分别输入所述训练后的图像风格迁移模型和对应的小模型中，得到所述训练后的图像风格迁移模型的第一输出图像和所述小模型的第二输出图像；

根据所述第一输出图像和所述第二输出图像的差值，得到损失值；

根据所述损失值调整所述小模型的模型参数，得到训练后的小模型，对应作为所述头发分割模型、所述人脸关键点检测模型和所述人脸特征转换模型。

7.根据权利要求6所述的方法，其特征在于，所述头发分割模型为基于Unet的小语义分割模型，所述五官检测模型为基于mobilenet的目标检测模型，所述人脸特征变换为基于生成式对抗网络的模型，所述人脸关键点检测模型为基于人脸对齐网络的模型，所述关键点转换模型为基于生成式对抗网络的模型。

8.一种图像风格迁移装置，其特征在于，所述装置包括：

特征获取模块，用于获取待迁移人脸图像的人脸特征和人脸关键点；所述人脸关键点用于确定所述人脸特征在人脸图像中的位置区域；

风格转换模块，用于将所述人脸特征和所述人脸关键点分别转换为目标风格的人脸特征和目标风格的人脸关键点；

拟合模块，用于对所述目标风格的人脸关键点进行拟合处理，生成所述目标风格的脸型曲线；

融合模块，将所述目标风格的人脸特征按照所述目标风格的关键点进行定位后，与所述目标风格的脸型曲线进行融合，生成所述待迁移人脸图像对应的目标风格的人脸图像。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images