CN114299578A

CN114299578A - 一种基于面部情绪分析的动态人脸生成方法

Info

Publication number: CN114299578A
Application number: CN202111624659.0A
Authority: CN
Inventors: 朱素果; 俞俊; 李祉昊; 范建平
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2021-12-28
Filing date: 2021-12-28
Publication date: 2022-04-08

Abstract

本发明公开了一种基于面部情绪分析的动态人脸生成方法，首先进行数据预处理，检测图像中的人脸并对齐；然后构建面部情绪分析模型，通过预处理后的人脸图像完成面部情绪分析模型的训练；最后生成动态人脸视频。本发明通过面部情绪的分析，来引导人脸的生成，为了保证面部情绪分析在真实场景的准确率，为每个样本引入了重要性权重的计算，通过将低重要性权重的样本进行重新标记，解决数据集中噪声标签的问题，使用了一种隐式语义数据增强算法，巧妙地利用深度神经网络长于学习线性化表征的性质，在特征空间完成语义扩增过程，并且几乎不引入任何额外计算或时间开销，提高了情绪分析的性能，增加了人脸生成的合理性。

Description

一种基于面部情绪分析的动态人脸生成方法

技术领域

本发明属于动态人脸生成领域，涉及一种基于面部情绪分析的动态人脸生成方法,用于对输入的人脸图像情绪分析后进行合适的动态化视频生成。

背景技术

由于各种短视频平台的兴起(如抖音、快手)，使许多APP都具有视频美化的特效，这些特效中，不乏存在着让人脸能够动态化的技术。但是许多平台提供的特效往往是将人脸图像转化为仅有单一动效的视频，这在某些场景可能是不合适。比如，用户如果上传了一张表情较为悲伤的照片，但是视频特效却让图像中的人欢快的歌唱，这显然是不够合理的。因此，在生成动态人脸的同时，对面部情绪的分析不可或缺。与此同时，分析结果的准确度以及如何使用分析的结果引导动态人脸的生成也至关重要。

人脸表情往往决定了人的面部情绪，表情识别(Facial ExpressionRecognition)的进展很大程度上取决于人脸识别技术的进展。在过去的几十年里，研究人员已经在人脸表情识别方面取得了重大进展。早在二十世纪，Ekman和Friesen就在跨文化研究的基础上定义了六种基本情绪，这表明人类对某些基本情绪的感知方式是相同的，与文化无关。这些典型的面部表情是愤怒，厌恶，恐惧，快乐，悲伤和惊讶。随后，轻蔑又成为基本情感之一。

传统的表情识别工作在受控的实验室环境中收集样本，用于人脸表情识别系统的训练。这种数据集有CK+、Oulu-CASIA和JAFFE等。这些数据集样本数较少，标签也比较容易获取。然而小型数据集训练出来的模型并不能很好地推广到现实场景来应用。因此，使用从真实场景收集的大型数据集，如AffectNet、RAF-DB、FERPlus，尤为重要。然而对于这些从互联网上采集的大规模数据集，标注者的主观性以及网络上图像质量导致的不确定性，想要获得高质量的标签极为困难。因此，在训练时处理有噪声的标签非常重要。

大多数对噪声标签的处理都采用了两种方法。一种是通过噪声转移矩阵来纠正标签。另一种是识别噪声标签，并在训练期间抑制它的影响。前一种方法因为难以准确估计噪声转移矩阵，因此表现普遍欠佳。后者需要在训练早期识别出干净标签是低损失的标签，这依托了这样一个事实，即网络在过拟合噪声标签样本前首先得拟合干净标签样本，但在训练早期，带有噪声标签的样本的损失较高，因此网络在训练过程中会受到干扰，这不利于此方法的推广。此外，后一种方法需要有关数据噪声分布的先验信息，而这在现实场景中是不可取的。

此外，由于这些大型数据集中的图像大多来自于网络爬虫，训练集的不平衡也是一个严峻的问题，这容易在训练过程中导致过拟合。数据增强可以增加类与类之间的差异性，以此来减轻过拟合问题，常见的数据增强方法有裁剪、水平翻转、旋转和颜色抖动等，与一般的分类工作相比，人脸的共性更大，因此数据增强技术在人脸表情识别工作中有优异的表现。这些增强技术虽然有效，但不能进行语义转换，例如改变对象的背景或前景对象的纹理。最近的工作表明，如果允许语义变换，数据增强可以更强大,也能更有效的解决不平衡数据集中的过拟合问题。

综上所述，基于面部情绪分析的动态人脸生成任务是一个值得深入研究的方向，本课题拟从该任务中几个关键的难点问题切入，为现有方法提供新思路，并最终形成一套完整的动态人脸生成系统。通过上述内容分析，该系统的设计过程中主要有一下三个难点：

(1)噪声标签难以简单处理。

(2)数据集不平衡导致的过拟合。

(3)如何用情绪分析结果引导人脸生成。

发明内容

针对现有技术中存在的不足，本发明提供一种基于面部情绪分析的动态人脸生成方法，已解决如上三个难点问题。

1.设计了一个面部情绪分析模型，为每个训练集样本添加重要性权重，并通过对重要性权重的排序将样本以一定比例分为高重要性组与低重要性组，并在训练过程中对低重要性组中标签可能错误的样本进行重新标注，从而解决样本中噪声标签的问题。

2.本发明不同于传统的数据增强方法，使用了一种隐式语义数据增强方法，并没有将数据变换停留在简单的几何变换，而是更多地提现在更为高级的语义层面，巧妙地利用深度神经网络长于学习线性化表征的性质，在特征空间完成扩增过程，无需训练任何辅助生成模型(如GAN等)，几乎不引入任何额外计算或时间开销，并直接优化无穷扩增样本期望损失的一个上界，最终形式仅为一个全新的损失函数，简单易用，便于实现，以此进一步解决过拟合问题。

3.在人脸生成部分，本发明使用了情绪分析的结果来引导人脸的生成，通过输出的表情分类概率分布，进行分析，然后选择预设好的驱动视频，提取驱动视频中的动作，对输入的人脸照片进行人脸重演，生成合适的动态人脸视频，解决人脸动作与表情不合适的问题。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)、数据预处理，检测图像中的人脸并对齐；

对人脸数据集的预处理：对于人脸数据集中的每张人脸图像，首先通过基于WIDER数据集预训练的MTCNN模型检测到人脸的五个关键点，再将原图中的人脸区域向外扩充，保证人脸图像在尺寸不变的情况下不存在黑色区域，最后通过对人脸关键点的坐标进行仿射变幻对人脸进行对齐，得到预处理后的人脸图像。

步骤(2)、构建面部情绪分析模型；

所述的面部情绪分析模型包括CNN主干网络和两个分支结构。

对于输入的人脸图像样本，首先通过一个CNN主干网络提取深层特征，然后将提取到的特征分别输入两个分支结构，其中第一条分支结构通过线性映射，为每个样本的特征添加一个重要性权重，并将带有重要性权重的样本以一定比例分为高重要性组(High-importance Group)和低重要性组(Low-importance Group)。第二条分支对深层特征进行线性分类，得到表情类别的概率分布向量。

步骤(3)、通过预处理后的人脸图像完成面部情绪分析模型的训练；

在面部情绪分析模型的第一条分支中，利用对比损失(Ranking loss)来对重要性权重的计算部分的参数进行训练，约束不确定样本的重要性权重。在面部情绪分析模型的第二条分支中，将生成的分类结果与实际标签作比较，利用隐式语义数据扩增损失(ISDAloss)在对特征进行语义层面的扩增的同时对模型参数进行训练。

当模型训练至具有一定识别能力时，每一轮模型参数调整完成后进行动态重标，对低重要性组中的不确定样本的标签进行修正，减少噪声标签在模型训练过程中造成的干扰，在不断的为样本添加更准确的重要性权重以及对噪声标签重新标记的过程中，模型能够对人脸表情进行更好的特征提取，将提取到的特征用于分类。

步骤(4)、生成动态人脸视频；

根据面部情绪分析模型第二条分支得到的表情类别的概率分布向量，选取合适的驱动视频，最后将原始图像和驱动视频输入现有人脸视频生成模型中，生成最终的动态人脸视频。

进一步，步骤(1)具体方法如下：

对人脸图像使用基于WIDER数据集预训练的MTCNN模型提取五个关键点

其中5表示脸部的5个关键点(鼻子、左眼、右眼、左嘴角、右嘴角)，2表示每个关键点在图中的横坐标与纵坐标。为了使人脸图像在尺寸不变的情况下不存在黑边，将检测到的人脸区域向外扩充到100％，生成新的关键点坐标。最后通过新的坐标对人脸进行仿射变换，并将尺寸调节到224×224，得到新的人脸图像

其中C₁为通道数。

步骤(2)所述的面部情绪分析模型具体如下：

所述的面部情绪分析模型包括CNN主干网络和两个分支结构。

对于输入的人脸图像样本，首先通过一个CNN主干网络提取深层特征，然后将提取到的特征分别输入两个分支结构，面部情绪分析模型第一条分支中重要性权重的计算由全连接层和Sigmoid激活函数组成，假设

表示N张图像的面部特征，重要性权重的公式定义如下：

其中α_i为第i个样本的重要性权重，W_a全连接层的参数,S为Sigmoid激活函数。

根据每个样本的重要性权重，对其进行降序排序，并按照比例β将其分为高重要性组和低重要性组。

第二条分支中分类结果的计算由全连接层和Softmax激活函数组成，将样本特征x输入第二条分支后获得概率分布向量

其中C₂表示类别数。

进一步，步骤(3)具体方法如下：

3-1、为了约束不确定样本的重要性，使用rankingloss来确保低重要性样本的重要性权重不高于高重要性样本，具体形式如下所示：

其中δ₂是固定的超参数，α_H和α_L分别是具有β*N＝M个样本的高重要性组和具有N-M个样本的低重要性组的平均值。

3-2、通过统计数据集中每一类别的类内协方差矩阵，为每一类别构建一个零均值的高斯分布，进而从中采样出有意义的语义变换方向，用于各自类别内在特征空间的数据扩增。

对于第i个样本对应的深度特征x_i，特征空间中的增广的特征向量

都是从分布

中从任意方向随机采样得到。即：

其中λ是用来控制语义数据扩增的强度的参数。给定这样的形式后，按照传统的数据增广的思路就是对特征

采样多次，优化它的平均交叉熵损失：

其中N为样本数目，y_i为α_i对应的标签，ω，b为网络最后一层线性分类层的参数，C₂为类别数目，Θ为网络参数。采用采样无穷次，即M→∞的情况，通过Jensen不等式，得到其一个易于计算的上界：

将得到的结果归化为一个全新的损失函数

(ISDA loss)。

最终，根据得到的Ranking loss以及ISDAloss按指定比例γ相加，即：

反向传播输入到网络，直至损失收敛。

3-3、对于标签不确定性样本，对可能错误的标签进行修正。

具体来说，对重要性低的样本考虑是否进行重新标记，通过面部情绪分析模型的第二条分支获取每个样本的概率分布向量P。对于每个低重要性样本，当概率分布向量P中的最大预测概率与样本给定标签的预测概率的差值大于一定阈值时，则给样本分配一个新的标签。具体公式如下：

其中y'表示新标签，δ₁为固定的最小阈值，P_max为最大预测概率，P_gtInd为给定标签的预测概率，l_max和l_org为最大预测和原始给定标签的索引，在固定阈值的基础上加入了一个非负单调递增函数f，这意味着重新标记的阈值随着P_gtInd的增加而增加，能够有效避免错误的重新标记，使收敛更加稳定。重新标记完的样本将以新的标签参与下一轮训练。为了使重新标记的标签更加准确，在模型具有一定的识别能力后才执行动态重标。

进一步的，步骤(4)具体方法如下：

当模型收敛后，首先根据面部情绪分析模型中第二条分支得到的表情类别的概率分布向量P。然后选出其中概率最大的表情，作为情绪分析的结果，最后将与表情对应的驱动视频，与原始图像输入VoxCeleb数据集上预训练的FOM模型来完成动态人脸视频的生成，得到最终的动态人脸视频，其中驱动视频为预先在本地设置的动作视频，每种表情对应一种驱动视频。

本发明有益效果如下：

本发明提出了一种基于面部情绪分析的动态人脸生成方法。目前许多人脸生成方法都使用单一的驱动视频进行动作生成，忽略了最终生成动作中表情的合理性。本发明通过面部情绪的分析，来引导人脸的生成，为了保证面部情绪分析在真实场景的准确率，本发明情绪分析模块采用真实场景数据集进行训练。但对于真实场景采集的大规模数据集，标注者的主观性以及图像质量的问题带来的噪声标签，数据集的不平衡导致的过拟合都是面部情绪正确预测的阻碍。因此，本发明为每个样本引入了重要性权重的计算，通过将低重要性权重的样本进行重新标记，解决数据集中噪声标签的问题。为了减少数据集的过拟合，本发明使用了一种隐式语义数据增强算法，巧妙地利用深度神经网络长于学习线性化表征的性质，在特征空间完成语义扩增过程，并且几乎不引入任何额外计算或时间开销。本发明的方法提高了情绪分析的性能，增加了人脸生成的合理性。

附图说明

图1为本发明方法实施例流程图；

图2为本发明实施例面部情绪分析模型结构图。

具体实施方式

下面对本发明的详细参数做进一步具体说明。

如图1所示，一种基于面部情绪分析的动态人脸生成方法，具体步骤如下。

步骤(1)、数据预处理，检测图像中的人脸并对齐；

使用RAF-DB数据集作为训练和测试数据。

对RAF-DB数据集中的每张图像使用基于WIDER数据集预训练的MTCNN模型提取五个关键点

为了使人脸图像在尺寸不变的情况下不存在黑边，将检测到的人脸区域向外扩充到100％，生成新的关键点坐标

通过新的坐标与自定义好的仿射变换目标点坐标，对人脸图像进行仿射变换，并将尺寸调节到224×224，得到新的人脸图像

步骤(2)、构建面部情绪分析模型；

在面部情绪分析模型中，采用ResNet-18作为主干网络对RAF-DB数据集的人脸图像进行特征提取，每个样本的特征图维度为512。在第一条分支中将每个样本的特征图先后传入全连接层和Sigmoid函数计算，就获得了每个样本的重要性权重，范围为0-1，将其进行降序排序，并按照比例β＝0.7将其分为70％的高重要性组与30％的低重要性组。在第二条分支中将每个样本的特征图先后传入全连接层和Softmax函数计算，获得表情的概率分布向量

图2为本发明实施例面部情绪分析模型结构图。

3-1、对于每个样本的重要性权重，通过公式：

保证高重要性组的样本平均权重高于低重要性组，其中δ₂＝0.15。

3-2、为RAF-DB数据集中每一类别构建一个协方差矩阵

以及一个零均值的高斯分布

其中λ＝0.5。通过从在分布

中无穷采样，将每个样本的特征x_i进行语义层面的数据增广。通过之前得到的ISDA loss来完成这一过程：

根据得到的Ranking loss以及ISDAloss按指定比例γ＝0.5相加，即：

反向传播输入到网络，直至损失收敛。

3-3、将低重要性组样本通过情绪分析模型第二条分支得到的表情概率分布向量P。然后通过公式比较P_max-P_gtInd>δ₁+f(P_gtInd)是否成立，若成立，样本标签将会被重新标记为最大概率的类别，否则维持原标签，其中δ₁＝0.15，f为Sigmoid函数。在模型训练10轮后执行动态重标。

步骤(4)、生成动态人脸视频

首先通过收敛的情绪分析模型获得人脸表情的概率分布

然后选出其中概率最大的表情，作为情绪分析的结果，最后将与表情对应的驱动视频，与原始图像输入VoxCeleb数据集上预训练的FOM模型来完成动态人脸的生成，得到最终的动态人脸视频。驱动视频为预先在本地设置的动作视频，每种表情对应一种驱动视频。

Claims

1.一种基于面部情绪分析的动态人脸生成方法，其特征在于，包括如下步骤：

步骤(1)、数据预处理，检测图像中的人脸并对齐；

对人脸数据集的预处理：对于人脸数据集中的每张人脸图像，首先通过基于WIDER数据集预训练的MTCNN模型检测到人脸的五个关键点，再将原图中的人脸区域向外扩充，保证人脸图像在尺寸不变的情况下不存在黑色区域，最后通过对人脸关键点的坐标进行仿射变幻对人脸进行对齐，得到预处理后的人脸图像；

步骤(2)、构建面部情绪分析模型；

步骤(4)、生成动态人脸视频；

2.根据权利要求1所述的一种基于面部情绪分析的动态人脸生成方法，其特征在于，步骤(1)具体方法如下：

其中5表示脸部的5个关键点(鼻子、左眼、右眼、左嘴角、右嘴角)，2表示每个关键点在图中的横坐标与纵坐标；为了使人脸图像在尺寸不变的情况下不存在黑边，将检测到的人脸区域向外扩充到100％，生成新的关键点坐标；最后通过新的坐标对人脸进行仿射变换，并将尺寸调节到224×224，得到新的人脸图像

其中C₁为通道数。

3.根据权利要求1所述的一种基于面部情绪分析的动态人脸生成方法，其特征在于，所述的面部情绪分析模型包括CNN主干网络和两个分支结构；

对于输入的人脸图像样本，首先通过一个CNN主干网络提取深层特征，然后将提取到的特征分别输入两个分支结构，其中第一条分支结构通过线性映射，为每个样本的特征添加一个重要性权重，并将带有重要性权重的样本以一定比例分为高重要性组和低重要性组；第二条分支对深层特征进行线性分类，得到表情类别的概率分布向量。

4.根据权利要求3所述的一种基于面部情绪分析的动态人脸生成方法，其特征在于，步骤(2)具体方法如下：

所述的面部情绪分析模型包括CNN主干网络和两个分支结构；

表示N张图像的面部特征，重要性权重的公式定义如下：

其中α_i为第i个样本的重要性权重，W_a全连接层的参数,S为Sigmoid激活函数；

根据每个样本的重要性权重，对其进行降序排序，并按照比例β将其分为高重要性组和低重要性组；

其中C₂表示类别数。

5.根据权利要求1所述的一种基于面部情绪分析的动态人脸生成方法，其特征在于，在面部情绪分析模型的第一条分支中，利用对比损失来对重要性权重的计算部分的参数进行训练，约束不确定样本的重要性权重；在面部情绪分析模型的第二条分支中，将生成的分类结果与实际标签作比较，利用隐式语义数据扩增损失在对特征进行语义层面的扩增的同时对模型参数进行训练；

当模型训练至具有一定识别能力时，每一轮模型参数调整完成后进行动态重标，使用对低重要性组中的不确定样本的标签进行修正，减少噪声标签在模型训练过程中造成的干扰，在不断的为样本添加更准确的重要性权重以及对噪声标签重新标记的过程中，模型能够对人脸表情进行更好的特征提取，将提取到的特征用于分类。

6.根据权利要求5所述的一种基于面部情绪分析的动态人脸生成方法，其特征在于，步骤(3)具体方法如下：

3-1、为了约束不确定样本的重要性，使用ranking loss来确保低重要性样本的重要性权重不高于高重要性样本，具体形式如下所示：

其中δ₂是固定的超参数，α_H和α_L分别是具有β*N＝M个样本的高重要性组和具有N-M个样本的低重要性组的平均值；

3-2、通过统计数据集中每一类别的类内协方差矩阵，为每一类别构建一个零均值的高斯分布，进而从中采样出有意义的语义变换方向，用于各自类别内在特征空间的数据扩增；

都是从分布

中从任意方向随机采样得到；即：

其中λ是用来控制语义数据扩增的强度的参数；给定这样的形式后，按照传统的数据增广的思路就是对特征

采样多次，优化它的平均交叉熵损失：

其中N为样本数目，y_i为α_i对应的标签，ω，b为网络最后一层线性分类层的参数，C₂为类别数目，Θ为网络参数；采用采样无穷次，即M→∞的情况，通过Jensen不等式，得到其一个易于计算的上界：

将得到的结果归化为一个全新的损失函数

最终，根据得到的Ranking loss以及ISDA loss按指定比例γ相加，即：

反向传播输入到网络，直至损失收敛；

3-3、对于标签不确定性样本，对可能错误的标签进行修正；

具体来说，对重要性低的样本考虑是否进行重新标记，通过面部情绪分析模型的第二条分支获取每个样本的概率分布向量P；对于每个低重要性样本，当概率分布向量P中的最大预测概率与样本给定标签的预测概率的差值大于一定阈值时，则给样本分配一个新的标签；具体公式如下：

其中y'表示新标签，δ₁为固定的最小阈值，P_max为最大预测概率，P_gtInd为给定标签的预测概率，l_max和l_org为最大预测和原始给定标签的索引，在固定阈值的基础上加入了一个非负单调递增函数f，这意味着重新标记的阈值随着P_gtInd的增加而增加，能够有效避免错误的重新标记，使收敛更加稳定；重新标记完的样本将以新的标签参与下一轮训练；为了使重新标记的标签更加准确，在模型具有一定的识别能力后才执行动态重标。

7.根据权利要求6所述的一种基于面部情绪分析的动态人脸生成方法，其特征在于，步骤(4)具体方法如下：

当模型收敛后，首先根据面部情绪分析模型中第二条分支得到的表情类别的概率分布向量P；然后选出其中概率最大的表情，作为情绪分析的结果，最后将与表情对应的驱动视频，与原始图像输入VoxCeleb数据集上预训练的FOM模型来完成动态人脸视频的生成，得到最终的动态人脸视频，其中驱动视频为预先在本地设置的动作视频，每种表情对应一种驱动视频。