CN112686117B - 一种基于隐变量分析的人脸表情强度识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于隐变量分析的人脸表情强度识别方法及系统。该方法采用孪生卷积神经网络结构，将卷积神经网络前端提取到的人脸特征通过隐变量分析方法划分为正交的身份子空间和表情子空间，最小化孪生网络两个支路的身份子空间特征差异，能有效地分离身份特征和表情特征，同时对表情子空间做基于时序的排序约束和半监督回归训练，得到表情强度识别模型，可用于连续的人脸表情强度识别。本发明将隐变量分析用于表情强度识别，将人脸特征划分为身份相关特征和表情相关特征，抑制身份信息对表情强度信息的干扰，能有效提高表情强度识别的鲁棒性。

Description

一种基于隐变量分析的人脸表情强度识别方法及系统

技术领域

本发明属于计算机视觉与模式识别技术领域，更具体地，涉及一种基于隐变量分析的人脸表情强度识别方法及系统。

背景技术

面部表情在人们的情感交流中起着非常重要的作用。对面部表情的分析包括表情识别和表情强度识别。表情识别的工作主要是根据表情类型区分六类基本表情,包括:生气、厌恶、恐惧、高兴、悲伤、惊讶；而表情强度识别则进一步区分同类表情之间在强度上的细微差异。仅仅识别表情的类别并不能很好的理解人的情绪，还需要通过表情的强度变化来破译其含义。

现有的表情强度识别方法根据不同的监督信息大致分为两类：回归估计方法和排序估计方法。回归的方法可以利用到样本的表情强度信息，训练回归模型从而估计出表情的强度绝对值，但该方法受限于有标签样本的数量不足，并且对表情进行强度标注是一项耗时且对专业技能要求较高的工作；排序的方法不依赖训练样本的强度标签，利用表情序列的顺序信息来定义表情的强度，即在一段标准的“中性—峰值”表情序列中，前一帧的表情强度弱于之后的任意一帧的表情强度。利用这一约束条件训练排序模型，可以估计序列中任意两张表情的强弱关系。

连续的表情强度识别容易受到面部身份信息干扰，一些现有技术中提出引入中性参考帧的方法，可以有效解决这一问题。但是，该方法在应用时存在局限性，即训练和测试过程中都必须有可用的中性参考帧。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于隐变量分析的人脸表情强度识别方法及系统，能够抑制身份信息带来的干扰，提高表情强度识别的性能。

为实现上述目的，按照本发明的第一方面，提供了一种基于隐变量分析的人脸表情强度识别方法，包括训练部分，所述训练部分包括步骤：

获取训练集，所述训练集中包括同一表情类型的多个训练图像序列，对所述训练图像序列进行预处理，得到表情序列；

对所述表情序列进行等间隔采样，采样获取的任意两个表情帧构成训练样本对；

利用所述训练样本对对预先构建的孪生卷积神经网络进行训练，所述孪生卷积神经网络包括两个结构相同的支路，每个所述支路包括前端、隐变量分析层和后端，将所述训练样本对的一个表情帧输入到一个所述支路的前端，将所述训练样本对的另一个表情帧输入到另一个所述支路的前端，前端用于从输入表情帧中提取特征，隐变量分析层用于接收前端的输出并提取身份特征和表情特征，后端用于接收隐变量分析层输出的表情特征并输出表情强度，训练时最小化两个所述支路提取的身份特征差异，获得训练好的表情强度识别模型。

优选的，在训练时还对后端输出的表情强度做基于时序的排序约束。

优选的，隐变量分析层包括两个全连接层，隐变量分析层的一个全连接层用于提取身份特征，隐变量分析层的另一个全连接层用于提取表情特征，同一个隐变量分析层的两个全连接层的参数P和Q满足正交性。

优选的，将两个所述支路提取的身份特征分别记为

和

在训练时最小化

和

的差异，差异的损失

表示为：

其中，N为所述训练样本对的总数量。

优选的，将后端输出的表情强度记为Y，若所述支路输入的表情帧为所述表情序列的第一帧，则应满足回归损失

最小化；若输入的表情帧为所述表情序列的最后一帧，则应满足回归损失

最小化。

优选的，将两个所述支路输出的表情强度分别记为

和

和

满足基于时序的排序约束，排序约束的损失

表示为：

优选的，所述孪生卷积神经网络的最小化损失函数

表示为：

优选的，前端的参数为θ，后端的参数为w，训练过程中通过交替迭代来优化参数{θ,P,Q,w}，交替迭代包括步骤：

将P和Q视为常数，优化θ和w：

然后将θ和w视为常数优化P和Q：

其中，α₁和α₂为预设的学习步长；

交替迭代θ和w、P和Q，直到训练误差收敛或达到最大迭代次数。

优选的，分别构建不同表情类别的训练集，对每个表情类别的训练集重复执行所述训练部分，分别获得每个表情类别的表情强度识别模型。

按照本发明的第二方面，提供了一种基于隐变量分析的人脸表情强度识别系统，包括训练模块，所述训练模块包括：

预处理模块，用于获取训练集，所述训练集中包括同一表情类型的来自不同人的多个训练图像序列，对所述训练图像序列进行预处理，得到表情序列；

样本对组建模块，用于对所述表情序列进行等间隔采样，等间隔采样获取的任意两个表情帧构成训练样本对；

训练模块，用于利用所述训练样本对对预先构建的孪生卷积神经网络进行训练，所述孪生卷积神经网络包括两个结构相同的支路，每个所述支路包括前端、隐变量分析层和后端，将所述训练样本对的一个表情帧输入到一个所述支路的前端，将所述训练样本对的另一个表情帧输入到另一个所述支路的前端，前端用于从输入表情帧中提取特征，隐变量分析层用于接收前端的输出并提取身份特征和表情特征，后端用于接收隐变量分析层输出的表情特征并估计表情强度，训练时最小化两个所述支路提取的身份特征差异，获得训练好的表情强度识别模型。

总体而言，本发明与现有技术相比，具有有益效果：

1、本发明在孪生网络中嵌入隐变量分析能有效分离身份信息和表情信息，能在最大化保留人脸表情信息的同时，消除个体差异以及环境噪声，所用方法大大提高了表情强度的估计的正确率和鲁棒性。

2、本发明利用表情序列的顺序关系和起始帧的强度信息进行半监督的训练，无需花费大量的人力对表情图像的强度进行手工标定，有利于解决训练表情强度识别模型时表情强度标签不足的问题；

3、本发明采用端到端的孪生卷积神经网络来估计表情强度，无需手工提取图像特征，避免了前期复杂的预处理。

附图说明

图1是本发明实施例的人脸表情强度识别方法的流程图；

图2是本发明实施例的训练样本对的示意图；

图3是本发明实施例的表情强度识别模型的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例的人脸表情强度识别方法，包括训练部分和测试部分。

所述训练部分包括以下步骤：

(S1)训练数据预处理。

所述训练集中包括同一表情类型的多个训练图像序列，对训练图像序列的进行预处理，得到表情序列。

训练集中包括来自不同人的多个训练图像序列，一个训练图像序列由同一个人表达某一种情绪时连续变化的多个表情帧组成。

预处理优选包括：对训练图像序列的每一帧进行人脸检测和人脸对齐，得到表情序列。

可以使用现有人脸检测技术提取每张表情图像的人脸区域；对提取的人脸图像进行仿射变换，实现图像尺度归一化和人脸对齐。变换后，所有图像的尺寸保持一致，所有图像中眼睛的眼睛中心坐标保持一致。

进一步地，仿射变换的具体实现为，将原坐标(x,y)变换为新坐标(x′,y′)计算公式如下：

x′＝m11*x+m12*y+m13

y′＝m21*x+m22*y+m23

其中，(m11,m12,m13；m21,m22,m23)为仿射变换矩阵中的变换参数，通过上面公式可以计算出原图像经过变换后的对齐图像。

(S2)组建训练样本对。对经过数据预处理的表情序列进行等间隔采样，选择采样后的序列中任意两帧作为训练样本对。

定义从同一表情序列中提取的样本对为S_i和S_j，其中i和j为序列的帧序号且满足1≤i<j≤L，L表示序列的总长度。定义构建的训练样本对(S_i,S_j)的总个数N。

如图2所示，若采样间隔为1，则等间隔采样后提取的表情帧记为S1，S2，S3，S4，S5……，S1和S2可以构成样本对，S1和S3可以构成样本对。

优选地，等间隔采样的采样间隔设置为3，确保样本对中的图像外观具有一定的差异性，以减少因样本差异性小而导致模型的退化。

(S3)构建嵌入了隐变量分析的孪生卷积神经网络，并对网络中的权值初始化。

如图3所示，构建嵌入了隐变量分析的孪生卷积神经网络模型，该网络由两个平行的支路组成，两个并行支路的结构完全相同。样本对中的两张图像分别输入两个分支，即将训练样本对的一个表情帧输入到一个支路，将同一个训练样本对的另一个表情帧输入到另一个支路。

进一步地，每个支路具体的网络结构可划分为三个部分：前端、隐变量分析层和后端，三个部分依次串联，前一部分的输出作为后一部分的输入。

进一步地，网络前端为若干堆叠的卷积层(Conv)和池化层(pool)组成，用于提取输入图像的特征。网络前端所有卷积层的参数，合称为θ。

其中，卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。池化层是模仿人的视觉系统对数据进行降维，提取更高层次的特征并达到以下目的：降低信息冗余；提升模型的尺度不变性、旋转不变性；防止过拟合。

进一步地，每个隐变量分析层，含有两个分支(FC1-I和FC1-E)，每个分支为一层全连接层，两个分支具有相同的输入，即网络前端经平拉层(Flatten)整形后得到的一维向量。两个分支分别用于提取图像身份特征和表情特征。

优选地，孪生网络两个平行支路提取样本对两张图像的身份特征

和

应尽可能最小化差异

进一步地，为了尽可能解耦合身份特征和表情特征，全连接层FC1-I中的参数P和FC1-E中的参数Q应满足正交性，即P^TQ＝0。

身份特征是指可以区分不同人的特征。

进一步地，网络后端，包括两层全连接层(FC2和FC3)。其输入为隐变量分析层得到的表情特征，用于估计表情的强度Y。若输入图像为序列的第一帧S_i,i＝1，则应满足回归损失

最小化；若输入图像为序列的最后一帧S_i,i＝L，则应满足回归损失

最小化。后端两层全连接层的参数合称为w。

优选地，孪生网络两个平行支路对S_j和S_i估计的强度分别为

和

且应满足顺序关系，可采用hinge损失

优选地，卷积层、池化层和全连接层的层数、连接关系以及各层参数数量的设置可参照VGG-16设置(VGG是Visual Geometry Group Network的缩写，视觉几何群网络)。具体的，孪生网络两个平行分支的各层参数均按照表1进行设置：

表1

优选地，模型中的参数可使用VGG-Face模型中参数进行初始化。

(S4)训练由步骤(S3)构建的孪生卷积神经网络。

训练过程，是指通过最小化损失函数来求解网络中的参数，包括{θ,P,Q,w}。

进一步地，最小化损失函数可以表示为：

进一步地，该优化问题的求解采用前向反向传播算法实现。前向传播计算预测的误差，反向传播根据误差在网络各层的梯度来更新网络参数。

优选地，反向传播过程可以通过交替迭代来优化模型参数。即将P，Q视为常数，优化优化θ和w：

然后将θ和w视为常数，优化优化P和Q：

其中，α₁和α₂为预设的学习步长。

交替迭代以上两步，直到训练误差收敛或达到最大迭代次数。

(S5)分别构建不同表情类别的训练集，对每个表情类别的训练集重复步骤(S1)(S2)(S3)(S4)，训练不同表情类别对应的强度识别模型。优选分为六类表情类型,包括:生气、厌恶、恐惧、高兴、悲伤、惊讶。

在线测试部分包括以下步骤：

(T1)测试数据预处理。对测试图像序列的每一帧进行人脸检测和人脸对齐，得到待测试图像；

(T2)估计表情的强度。将步骤(T1)得到的待测试图像输入表情强度识别模型，模型输出表情强度值。

训练是单独进行训练，测试时可以联合进行测试，将待测试图像输入不同表情类型的表情强度识别模型，从中选择最合理的输出结果。

实例：

采用宾汉姆顿大学创建的BU-4DFE表情库，包含101个18-70岁的成年人，每人有6种基本表情：生气、厌恶、恐惧、高兴、悲伤、惊讶，共计606个表情序列，其中56％为女性，44％为男性。本发明从101个人中选择选取64个人，每人有6个表情序列，共计384个表情序列作为输入。具体实现步骤如下：

1.对人脸表情图像进行预处理

(1.1)使用Viola和Jones提出的类Haar特征和adaboost学习算法来检测每张表情图像的人脸区域；

(1.2)对步骤(1.1)提取的人脸图像进行仿射变换，实现图像尺度归一化和人脸对齐。变换后，所有图像的尺寸归一化至224×224，所有图像中眼睛的中心坐标保持一致，图中左眼坐标均为(63,63)，右眼坐标均为(161,63)；根据变换前后眼睛的坐标求取变换参数(m11,m12,m13；m21,m22,m23)。仿射变换将原坐标(x,y)变换为新坐标(x′,y′)，计算公式如下：

x′＝m11*x+m12*y+m13

y′＝m21*x+m22*y+m23

通过上面公式可以计算出原图像经过变换后的新图像。

2.构建顺序样本对

(2.1)从384个序列中选取同时具有6类表情的人，选取20个人，共有120个序列。从选取的20人中再选取14个人的表情序列作为训练集，剩余6个人的表情序列作为测试集。

(2.2)对步骤(2.1)中选取的序列进行等间隔采样，选择采样后的序列中任意两帧作为训练样本对。按照样本图像帧序列的顺序，对图像对进行标定，后一帧为S_j，前一帧为S_i，其中i和j为序列的帧序号且满足1≤i<j≤L，L表示序列的总长度。如图2所示。

3.训练六种基本表情的强度识别器并对测试集进行测试。

构建嵌入了隐变量分析的孪生卷积神经网络模型，该网络由两个平行的支路组成，两个并行支路的结构完全相同。每个支路具体的网络结构可划分为三个部分：前端、隐变量分析层和末端，三个部分依次串联，前一部分的输出作为后一部分的输入。卷积层、池化层和全连接层的层数、连接关系以及各层参数数量的设置可参照VGG-16设置。模型参数的值通过具有相近结构的VGG-Face来初始化。

通过带有隐变量分析约束的损失函数来训练模型得到各类表情的强度识别模型。应用上述步骤得到的强度识别模型对测试样本进行表情强度识别，在BU-4DFE库上的结果如表2所示。

表2

其中PCC为皮尔逊相关系数,ICC为类内相关系数，MAE为平均绝对误差。PCC能够度量捕捉强度变化趋势的程度,ICC能够度量每个强度级别的组内一致性,它们都是0～1的数字,越大越好；MAE是衡量预测值与实际值之间偏差的正数,其值越小越好。

实验结果表明本发明的方法优于现有利用深度模型得到的结果，表明本发明能够有效地抑制身份信息对表情强度带来的干扰。

本发明实施例的一种基于隐变量分析的人脸表情强度识别系统，包括训练模块，训练模块包括：

预处理模块，用于获取训练集，训练集中包括同一表情类型的来自不同人的多个训练图像序列，对训练图像序列进行预处理，得到表情序列；

样本对组建模块，用于对表情序列进行等间隔采样，等间隔采样获取的任意两个表情帧构成一个训练样本对；

训练模块，用于利用训练样本对对预先构建的孪生卷积神经网络进行训练，孪生卷积神经网络包括两个结构相同的支路，每个支路包括前端、隐变量分析层和后端，将训练样本对的一个表情帧输入到一个支路的前端，将训练样本对的另一个表情帧输入到另一个支路的前端，前端用于从输入表情帧中提取特征，隐变量分析层用于接收前端的输出并提取身份特征和表情特征，后端用于接收隐变量分析层输出的表情特征并估计表情强度，训练时最小化两个支路提取的身份特征差异，获得训练好的表情强度识别模型。

系统的实现原理、技术效果与上述方法类似，此处不再赘述。

必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于隐变量分析的人脸表情强度识别方法，其特征在于，包括训练部分，所述训练部分包括步骤：

获取训练集，所述训练集中包括同一表情类型的多个训练图像序列，对所述训练图像序列进行预处理，得到表情序列；

对所述表情序列进行等间隔采样，采样获取的任意两个表情帧构成训练样本对；

利用所述训练样本对对预先构建的孪生卷积神经网络进行训练，所述孪生卷积神经网络包括两个结构相同的支路，每个所述支路包括前端、隐变量分析层和后端，将所述训练样本对的一个表情帧输入到一个所述支路的前端，将所述训练样本对的另一个表情帧输入到另一个所述支路的前端，前端用于从输入表情帧中提取特征，隐变量分析层用于接收前端的输出并提取身份特征和表情特征，其中，身份特征是指可以区分不同人的特征，后端用于接收隐变量分析层输出的表情特征并输出表情强度，训练时最小化两个所述支路提取的身份特征差异，获得训练好的表情强度识别模型；

在训练时还对后端输出的表情强度做基于时序的排序约束；

隐变量分析层包括两个全连接层，隐变量分析层的一个全连接层用于提取身份特征，隐变量分析层的另一个全连接层用于提取表情特征，同一个隐变量分析层的两个全连接层的参数P和Q满足正交性；

将两个所述支路提取的身份特征分别记为

和

在训练时最小化

和

的差异，差异的损失

表示为：

其中，N为所述训练样本对的总数。

2.如权利要求1所述的一种基于隐变量分析的人脸表情强度识别方法，其特征在于，将后端输出的表情强度记为Y，若所述支路输入的表情帧为所述表情序列的第一帧，则应满足回归损失

最小化；若输入的表情帧为所述表情序列的最后一帧，则应满足回归损失

最小化。

3.如权利要求2所述的一种基于隐变量分析的人脸表情强度识别方法，其特征在于，将两个所述支路输出的表情强度分别记为

和

和

满足基于时序的排序约束，排序约束的损失

表示为：

4.如权利要求3所述的一种基于隐变量分析的人脸表情强度识别方法，其特征在于，所述孪生卷积神经网络的最小化损失函数

表示为：

5.如权利要求4所述的一种基于隐变量分析的人脸表情强度识别方法，其特征在于，前端的参数为θ，后端的参数为w，训练过程中通过交替迭代来优化参数{θ,P,Q,w}，交替迭代包括步骤：

将P和Q视为常数，优化θ和w：

然后将θ和w视为常数优化P和Q：

其中，α₁和α₂为预设的学习步长；

交替迭代θ和w、P和Q，直到训练误差收敛或达到最大迭代次数。

6.如权利要求1所述的一种基于隐变量分析的人脸表情强度识别方法，其特征在于，分别构建不同表情类别的训练集，对每个表情类别的训练集重复执行所述训练部分，分别获得每个表情类别的表情强度识别模型。

7.一种基于隐变量分析的人脸表情强度识别系统，其特征在于，包括训练模块，所述训练模块包括：

预处理模块，用于获取训练集，所述训练集中包括同一表情类型的来自不同人的多个训练图像序列，对所述训练图像序列进行预处理，得到表情序列；

样本对组建模块，用于对所述表情序列进行等间隔采样，等间隔采样获取的任意两个表情帧构成训练样本对；

训练模块，用于利用所述训练样本对对预先构建的孪生卷积神经网络进行训练，所述孪生卷积神经网络包括两个结构相同的支路，每个所述支路包括前端、隐变量分析层和后端，将所述训练样本对的一个表情帧输入到一个所述支路的前端，将所述训练样本对的另一个表情帧输入到另一个所述支路的前端，前端用于从输入表情帧中提取特征，隐变量分析层用于接收前端的输出并提取身份特征和表情特征，其中，身份特征是指可以区分不同人的特征，后端用于接收隐变量分析层输出的表情特征并估计表情强度，训练时最小化两个所述支路提取的身份特征差异，获得训练好的表情强度识别模型；

在训练时还对后端输出的表情强度做基于时序的排序约束；

隐变量分析层包括两个全连接层，隐变量分析层的一个全连接层用于提取身份特征，隐变量分析层的另一个全连接层用于提取表情特征，同一个隐变量分析层的两个全连接层的参数P和Q满足正交性；

将两个所述支路提取的身份特征分别记为

和

在训练时最小化

和

的差异，差异的损失

表示为：

其中，N为所述训练样本对的总数。

Images