CN109934767A - 一种基于身份和表情特征转换的人脸表情转换方法 - Google Patents

Abstract

本发明提出一种基于身份和表情特征转换的人脸表情转换方法，主要解决个性化人脸表情问题。大多数现有的面部表情合成工作试图学习表达域之间的转换，因此需要配对的样本以及标记的查询图像。本发明通过建立两个编码器可以保存原始图像的身份信息和表情特征信息，将目标面部表情特征作为条件标签。主要过程包括：首先进行人脸表情训练，对中性表情图片和其它人脸表情图片进行预处理，然后提取中性表情的身份特征参数和目标面部表情特征参数，建立匹配模型；其次再进行人脸表情转换，将中性表情图片输入到转换模型中，并将模型输出参数用到表情合成中，来合成目标表情图像。本发明不再局限相同身份的不同表情的配对数据集，两个编码器的存在可以有效保留原始图像的身份信息，能够实现中性表情向不同表情的转换。

Description

一种基于身份和表情特征转换的人脸表情转换方法

技术领域

本发明属于图像处理领域，涉及一种基于身份和表情特征转换的人脸表情转换方法。

背景技术

随着计算机技术的高速发展，计算机在人类的生活中充当着很重要的角色。人们也希望计算机能够有着人类的智能，希望计算机能和人进行畅通无阻的交流，而更自然的人机交互需要计算机具有能够理解和表达情感的能力，并能够自主适应环境，这将从根本上改变人与计算机之间的关系，将人脸表情、声音、视线、人体姿态等信息结合起来可以获得更高效、更人性化的人机交互的目的，使计算机能够更好的为人类服务。人脸表情合成技术就是计算机对人类心理活动机器模拟的一个重要方面，它反映了有表情识别能力的情感机器对于外界的情感刺激，在人工心理情感模型驱动下，所做出的自然的感情流露，在情感机器中体现为人脸表情合成模拟，用以同用户进行更好的沟通与交流。

面部表情合成旨在显示不同于中性表情的面部图像，但仍保留面部的个性化特征。在保留身份信息的同时，表达来自单个静态面部的逼真照片的面部表情的合成将对情绪计算领域产生重大影响。尽管这个问题面临巨大挑战，但仍有许多感兴趣的研究人员参与这一领域。缺少标记的面部表情数据库使这个问题具有挑战性。研究人员对数据集有严格的要求，即不同表情的同一人的面部图像，有些甚至需要长期配对的样本，这些样本很难收集。虽然数据库包含各种各样的图像面部表情，但由于受试者数量有限，很难辨别面部表情和身份信息。给定训练数据，我们需要将其划分为不同的表达式并学习组间的转换关系。因此，有必要使用标记的图片来正确定位图片。

面部表情合成的方法主要分为两类。一个类别通过扭曲图像来处理问题，而不是从潜在向量生成它们。这些方法主要通过影响面部的部分而不是整个图像来生成面部表情。有人通过从一组类似的图像中学习映射来扭曲原始图像。最近，这个想法被应用于变分自动编码器(VAE)来学习流场。但是，需要在主题上配对具有不同表达的数据来训练模型。另一类通过使用图像合成技术生成目标面部表情，主要使用基于深度学习的方法。有人提出利用卷积神经网络(CNN)以从单个正面生成非正面视图。有人将基于时间限制的玻尔兹曼机(Boltzmann)机器的模型应用于情绪面部表情转移。

随着最近发展的生成对抗网络(GAN)，GAN已经能够在自然环境中生成高质量的样本，例如手写字体，面部图像，风景。此外，GAN已成功应用于人脸图像合成。与VAE不同，GAN可以被直接优化以产生最合理和最真实的数据。GAN可以使用条件扩展GAN来明确控制生成的图像特征。这些通常使用GAN的编码器来寻找潜在空间中的面部图像的低维表示，然后通过操纵潜在矢量来解码它们以生成新图像。如果我们在训练期间控制潜在向量的传入参数，则在生成潜在向量时，我们可以更改这些参数值，以便管理图片中必要的图像信息，这称为条件生成对抗网络模型(CGAN)。

发明内容

本发明提出一种基于身份和表情特征转换的人脸表情转换方法，主要解决个性化人脸表情问题。可以应用在娱乐领域，最为熟知的应用是在电影、广告及游戏制作等方面，其中电影制作者运用表情动画技术为角色制作了活灵活现的表情，为电影增添了新的魅力，游戏制作者通过建立逼真的表情和场景，增强了用户的沉浸感。人脸表情转换意味着在相同角色的情况下，将人脸从中性表情换成另一种表情。

为了达到上述目的，本发明的方法包括为：

S1:人脸表情转换模型训练阶段：对中性表情图片和其它人脸表情图片进行预处理，然后提取中性表情的身份特征参数和目标面部表情特征参数，建立生成器和判别器，进行对抗训练。

S2:人脸表情转换模型转换阶段，将预处理后的中性表情图像输入到转换模型中，并将模型输出参数用到表情合成中，来合成目标表情图像。

进一步，所述步骤S1中，所述的预处理是指所述的预处理是指对人脸图像进行人脸检测与定位。

其中，所述人脸检测与定位，是指找到人脸图像中全部人脸的位置及其大小。为了检测到图片中人脸，首先是在人脸表情图像中创建矩形区域作为观察窗口，然后通过对观察窗口中的区域用特征向量描述，最后根据特征的描述利用线性分类来判断此区域是否是人脸。人脸检测的过程就是不断重复以上几个步骤的过程，直到遍历完整张图像。

进一步，所述步骤S1中，所述的身份特征参数和面部表情特征参数提取中，是使用编码器对中性表情图片以及目标表情图片进行特征提取，身份信息映射到潜在向量z，情感信息映射到潜在向量l。进一步包括：

S11:对原始中性表情图像x(n)进行人脸检测与定位，得到第i张人脸中性表情图像x_i(n)，对图像x_i(n)使用编码器E₁进行特征提取，其中编码器E₁使用卷积神经网络来提取输入图像的身份特征，编码器E₁的输出是原始中性表情图像的高级身份特征潜在向量z。

S12：对目标情感表情图像y(n)进行人脸检测与定位，得到第j张人脸中性表情图像x_j(n)，对图像x_j(n)使用编码器E₂进行特征提取，其中编码器E₂使用卷积神经网络来提取输入图像的情感特征，编码器E₂的输出是目标域图像情感特征标签l。

进一步，所述步骤S1中，所述的判别器是一种卷积神经网络，对生成器生成的图像x_ij进行特征提取和判别。在判别器中，目标标签向量l在第一卷积层中连接，并确定生成的图像是原始图像还是生成的图像，进一步包括：

S13：通过另一个生成器G₂重建生成的图像以更好地增强目标域和原始域的关联。重建损失函数用于描述两个发生器之后的重建效果与原始实际样本之间的差异。

进一步，所述步骤S13中，所述建立重建损失中，对生成的带有目标表情的图像x_ij进行编码和生成重建为原始中性表情图像建立原始中性表情图像x_i(n)和重建后的中性表情图像的损失函数，用于将未配对的原始表情符号与数据库中的目标表情符号相关联并共享身份特征。

所述步骤S2中，进一步包括：

S21：获得预处理后的中性表情图像；

S22：将预处理后的中性表情图片输入到转换模型中，得到转换后的目标表情图像；

基于上述技术方案，本发明提出的基于身份和表情特征转换的人脸表情转换方法可以更有效地将中性表情转换为生气、开心和惊讶的表情。

有益效果

本发明提出一种基于身份和表情特征转换的人脸表情转换方法，主要解决个性化人脸表情问题。利用双编码器可以有效提取中性表情的身份特征信息和目标表情的情感特征信息，生成对抗网络(GAN)可以成功地逼近复杂的数据分布。并且包含外部信息的cGAN可以确定图像之间的特定关系。通过修改GAN的结构，并使用目标面部表情特征作为GAN的条件。本发明使用两个编码器分别编码原始表情图像和目标表情图像，以提取真实图像的潜在向量和条件标签特征。在娱乐领域，电影制作者运用表情动画技术为角色制作了活灵活现的表情，为电影增添了新的魅力，游戏制作者通过建立逼真的表情和场景，增强了用户的沉浸感，人脸表情转换技术可以用于网络视频直播等网络娱乐中，为人们的生活增添了乐趣。

附图说明

图1是基于身份和表情特征转换的人脸表情转换方案框图

图2是男女中性-开心表情转换的结果图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

本发明的优先实施例所用到的表情数据库为Extended Cohn-Kande数据集(CK+)，该数据集是一个完整的面部表情数据集。该数据集由123个年龄范围为18至50的受试者组成，包含593个图像序列。数据集中的大多数图像都是灰度图像，正面视图大小为640×490。每个序列以中性表情图像开始，以极端表情图像结束。如果一个人在同一表情类型下有多个序列，只为这个人选择一个序列。根据标签信息提取每个序列的第一帧和最后一帧作为训练数据。使用以下属性构建7个域：愤怒，中立，厌恶，恐惧，幸福，悲伤和惊喜。

根据图1所示的基于身份和表情特征的人脸表情转换方案框图，具体实施步骤如下：

步骤A.人脸表情转换模型训练阶段：

对中性表情图片和其它人脸表情图片进行预处理，然后提取中性表情的身份特征参数和目标面部表情特征参数，建立生成器和判别器，进行对抗训练。

预处理是指所述的预处理是指对人脸图像进行人脸检测与定位。人脸检测与定位，是指找到人脸图像中全部人脸的位置及其大小。为了检测到图片中人脸，首先是在人脸表情图像中创建矩形区域作为观察窗口，然后通过对观察窗口中的区域用特征向量描述，最后根据特征的描述利用线性分类来判断此区域是否是人脸。人脸检测的过程就是不断重复以上几个步骤的过程，直到遍历完整张图像。

其中编码器E₁将输入面的身份信息映射到潜在向量z。编码器E₂提取目标域图像情感特征标签l。生成器通过使用去卷积层从特征向量恢复低级特征。生成器G₁将潜在向量z和目标标签向量l作为输入。通过另一个生成器重建生成的图像，以更好地增强目标域和原始域的关联。重建损失函数用于描述两个发生器之后的重建效果与原始实际样本之间的差异。在鉴别器中，l在第一卷积层中连接，并确定生成的图像是原始图像还是生成的图像。

其中GAN的框架仅包含生成器和鉴别器，并且无法将实际图片x映射到其潜在向量z。我们采用卷积神经网络作为网络结构的编码器。卷积神经网络由一个或多个卷积层和顶部完全连接层(对应于经典神经网络)以及相关的权重和池化层组成。这种结构允许我们通过改变潜在的向量z来引导生成的图像x的更改来从真实图像x中获得潜在的表示z。

其中输入图像首先通过一个三层卷积编码器E₁，它将原始面部图像映射到一个正则化的潜在空间z。然后连接从目标域提取的潜在向量z和目标标签向量l，以通过三层反卷积解码器G₁生成目标面。并且每层之间的激活功能是Leaky ReLU。我们使用Adamoptimizer训练网络，学习率为0.0002，β₁＝0.5和β₂＝0.999。用作基线的输出图像大小为64×64。为了加速训练，我们为每个先前的域存储所有生成的图像，并且一次只使用一个图像来计算错误。首先，我们逐个填充图像库以使其完整，然后使用最新生成的图像随机替换库中的图像，并使用此替换图像作为该步骤的训练。

其中，所述Leaky ReLU,是指ReLU函数的一种变种激活函数。ReLU函数代表的的是“修正线性单元”，它是带有卷积图像的输入x的最大函数(x,o)。ReLU函数将矩阵x内所有负值都设为零，其余的值不变，数学表达式：a＝max(0,z)。Leaky ReLU的数学表达式为y＝max(0,x)+leak*min(0,x)(leak是一个很小的常数，这样保留了一些负轴的值，使得负轴的信息不会全部丢失)

其中，所述Adam optimizer通过使用动量(参数的移动平均数)来改善传统梯度下降，促进超参数动态调整。

其中，所述学习率控制了权重的更新比率(如0.001)。较大的值在学习率更新前会有更快的初始学习，而较小的值会令训练收敛到更好的性能。

其中，所述β₁为一阶矩估计的指数衰减率。

其中，所述β₂为二阶矩估计的指数衰减率。

其中两个编码器使用3层卷积层，每层都有激活功能Leaky ReLU。生成器使用四个反卷积层，除了最后一层，每层的激活函数是ReLU，。我们对编码器和生成器网络使用实例规范化。判别器网络使用五层卷积层，我们使用Leaky ReLU。最后一层的激活功能是sigmoid。最后，使用Tensorflow实现模型。

其中，所述sigmoid激活函数，表达式为：

其中，所述TensorFlow，是一个基于数据流编程(dataflow programming)的符号数学系统，被广泛应用于各类机器学习(machine learning)算法的编程实现。

其中将不成对数据与特征相似性相关联。不同的域具有不同的图像数据，但它们具有一致的内在属性集，因此我们通过重构将来自目标域的数据与原始域相关联。

在两个数据集中，原始域数据集X＝{x_i}，目标域数据集Y＝{y_j}，以及两个样本x，y属于源和目标域。通过编码器E₁和E₂提取特征，并将它们映射到潜在向量：A_i＝E₁(x_i)，B_j＝E₂(y_j)。来自不同域的这两个样本的相似性可以表示为A_i和B_j的标量积。样本X_i和样本Y_j的转换概率为公式：

此外，可以获得与目标域样本相关联的源域的样本的概率。

关联相似性的基础是两步往返概率。第一步是从标记源域的潜在向量A_i开始到目标域的潜在向量B，第二步是通过目标域潜在向量B返回到另一个潜在向量A_j。

通过重建：

重构过程中采用自动编码器作为网络结构。为了保持循环一致性，重建的人脸图像的类别必须与原始域类别相同。

具体来说，来自源域X的输入图像通过两个生成器映射到目标域Y，并将它们转换为相应的图像。此外，目标域和原始域需要共享可用于将此输出图像映射回输入图像的功能。因此，另一个生成器必须能够将此输出图像映射回原始域。

步骤B.人脸表情转换阶段

选取在ck+数据库上进行了自发的人脸表达合成实验。对于ck+数据库，每个序列包含表达式从中性到极端的图像。如果一个人在同一表达式类型下有多个序列，只为这个人选择一个序列。ck+数据集具有来自同一个人的不同表达。

本实施例选用中性、生气、开心、惊讶表情图像，每种情感随机选取了80张作为训练集，20张作为测试集来评价实现效果。

对于人脸表情转换，随机展示了不同身份的人脸表情转换的结果。生成的人脸表情图像可以直观的反映模型的有效性。图2是不同身份的图像从中性-开心图像转换的生成图，第一行是原始数据库中的中性表情，第二行是模型生成的开心表情，第三行是原始数据库中开心表情。可从图中看到，转换后的实际情感与目标情感基本一致，该结果表明，基于身份和情感的人脸表情转换是可以实现的，生成的图像和实际图像在表达和身份上非常相似。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行各种改进，或未经过改进直接应用于其他场合，均在本发明的保护范围之内。

Claims (8)

1.一种基于身份和表情特征转换的人脸表情转换方法，其特征在于，所述方法是利用具有两个编码器的生成对抗网络得到中性表情和其它表情图像的转换模型，在人脸身份内容保持不变的情况下，实现中性表情到其它表感之间的表情转换，转换方法的好坏直接反映在用户对转换后表情的视觉感受。

2.根据权利要求1所述的方法，其特征在于，包括：

S1:人脸表情转换模型训练阶段：对中性表情图片和其它人脸表情图片进行预处理，然后提取中性表情的身份特征参数和目标面部表情特征参数，建立生成器和判别器，进行对抗训练。

S2：人脸表情转换模型转换阶段，将预处理后的中性表情图像输入到转换模型中，并将模型输出参数用到表情合成中，来合成目标表情图像。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的预处理是指对人脸图像进行人脸检测与定位。

4.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的身份特征参数和面部表情特征参数提取中，是使用编码器对中性表情图片以及目标表情图片进行特征提取，身份信息映射到潜在向量z，情感信息映射到潜在向量l进一步包括：

S11:对原始中性表情图像x(n)进行人脸检测与定位，得到第i张人脸中性表情图像x_i(n)，对图像x_i(n)使用编码器E₁进行特征提取，其中编码器E₁使用卷积神经网络来提取输入图像的身份特征，编码器E₁的输出是原始中性表情图像的高级身份特征潜在向量z。

S12:对目标情感表情图像y(n)进行人脸检测与定位，得到第j张人脸中性表情图像x_j(n)，对图像x_j(n)使用编码器E₂进行特征提取，其中编码器E₂使用卷积神经网络来提取输入图像的情感特征，编码器E₂的输出是目标域图像情感特征标签l。

5.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的生成器是通过使用去卷积层从特征向量恢复低级特征。生成器G₁将身份特征潜在向量z和目标标签向量l作为输入，并生成具有特定个性的面部x_ij。

6.根据权利要求2所述的方法，其特征在于，所述步骤S1中，所述的判别器是一种卷积神经网络，对生成器生成的图像x_ij进行特征提取和判别。在判别器中，目标标签向量l在第一卷积层中连接，并确定生成的图像是原始图像还是生成的图像，进一步包括：

S13：通过另一个生成器G₂重建生成的图像以更好地增强目标域和原始域的关联。重建损失函数用于描述两个发生器之后的重建效果与原始实际样本之间的差异。

7.根据权利要求6所述的方法，其特征在于，所述步骤S13中，所述建立重建损失中，对生成的带有目标表情的图像x_ij进行编码和生成重建为原始中性表情图像建立原始中性表情图像x_i(n)和重建后的中性表情图像的损失函数，用于将未配对的原始表情符号与数据库中的目标表情符号相关联并共享身份特征。

8.根据权利要求2所述的方法，其特征在于，所述步骤S2中，进一步包括：

S21：获得预处理后的中性表情图像；

S22：将预处理后的中性表情图片输入到转换模型中，得到转换后的目标表情图像。