CN103440509A - 一种有效的微表情自动识别方法 - Google Patents

Abstract

本发明公开了一种有效的微表情自动识别方法，包括：微表情帧序列预处理、微表情信息数据学习和微表情识别。微表情帧序列预处理的方法为：检测获取的微表情序列的帧数，提取每帧图像的数据进行灰度化处理，采用线性插值的方法将所有的微表情序列都插值到统一的帧数。微表情信息数据学习方法为：将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离实现对数据降维，将特征数据按照类判别能力降低的顺序进行向量化排序。微表情识别采用最近邻分类器，本发明较MPCA、GTDA、DTSA等方法具有更高的识别率，且本发明对计算机性能要求低，易于实现。

Description

一种有效的微表情自动识别方法

技术领域

本发明属于机器学习和模式识别领域，涉及一种有效的微表情自动识别方法，尤其涉及一种采用线性插值将微表情样本进行归一化和基于张量表达判别分析的微表情自动识别方法。

背景技术

人类的面部表情研究起源于19世纪达尔文^[1]，最近，Ekman和Erika^[2]进行了面部测绘行为的研究，验证了微表情(micro expression)可提供更全面的隐蔽情感的泄露。微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，它表达了人视图压抑与隐藏的真正情感，往往为人所忽略，但在测谎中有重要的应用前景。

在国外，微表情识别研究已经有了几十年的历史，提出并且定义了微表情，在协助司法机关诊断案情、商业谈判、心理咨询等领域多有建树，开始得到一些应用。在国内，对微表情的研究也逐渐涉足加深，认知心理学博士傅小兰教授主持了2011—2013年的国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”(批准号：61075042)，成为国内微表情研究的第一人。2010年，傅小兰等人^[3]从心理学研究角度总结了微表情识别能力测验和早期的微表情训练工具，分析了微表情识别在医学临床、情绪智力、谎言识别、国家安全和政治心理学等领域的应用研究。2011年，任衍具等人^[4]从心理学角度研究的是微表情的启动效应。2012年，傅小兰和颜文靖等人^[5]仍从心理学角度研究了微表情泄露真实表情的持续时间问题。2013年，傅小兰等人^[6]简略地总结了三种微表情数据库以及三种微表情自动识别方法，并指出心理学和计算机科学领域专家的协同合作，必将有效地促进微表情研究的不断深入及相关研究成果的广泛应用。微表情自动识别研究刚刚起步，王甦菁和颜文靖等人^[7]在处理微表情视频序列时，将多线性主成分分析(Multilinear Principal Component Analysis，MPCA)作为Baseline算法，王甦菁提出了一种判别张量分析(Discriminant Tensor Subspace Analysis，DTSA)算法^[8]，并将其产生差异特征进一步使用极端学习机(Extreme Learning Machine，ELM)来分类。DTSA的优点是可保留图像的空间结构信息，不需要调谐因子，但是，该方法对计算机性能的要求较高，且识别率不高。本专利提供了一种基于张量表达的判别分析(Discriminant Analysis with Tensor Representation，DATER)的快速微表情自动识别方法，不仅降低了对计算机性能的要求，而且大大地提高了识别率，是一种具有高有效性和鲁棒性的微表情识别方法。

[1]Darwin C.The expression of the emotions in man and animals[M].University of ChicagoPress，1965

[2]Ekman P，and Erika L R.What the face reveals：basic and applied studies of spontaneousexpression using the facial action coding system(FACS)[M].Oxford University Press，1997.

[3]吴奇，申寻兵，傅小兰.微表情研究及其应用[J].心理科学进展，2010，18(9)：1359-1368.

[4]吴冉，任衍具.微表情的启动效应研究[J].应用心理学，2011，17(3)：241-248.

[5]颜文靖，吴奇，傅小兰.微表情的时长：掩藏时泄露的表情有多快[A].第十五届全国心理学学术会议论文摘要集[C].中国心理学会.2012.

[6]梁静，颜文靖，吴奇，等.微表情研究的进展与展望[J].中国科学基金，2013，27(2)：75-78.

[7]Yan W J，Wu Q，Liu Y J，et al.CASME Database：a dataset of spontaneousmicro-expressions collected from neutralized faces[C].10th IEEE Conference on Automatic Faceand Gesture Recognition.Shanghai：IEEE，2013.

[8]Wang S J，Chen H L，Yan W J，et al.Face recognition and micro-expression recognitionbased on discriminant tensor subspace analysis plus extreme learning machine[J].NeuralProcessing Letters，2013：1-19.

目前，大多数研究者将研究重点集中在微表情是否发生，而对于微表情的识别研究甚少。在已有的方法中，MPCA虽然能减少噪声带来的影响，但是识别性能低制约了这种方法的可靠性，DTSA对计算机的性能有很高的要求，且其识别性能依旧不能满足人们的要求。

发明内容

本专利提供了一种基于DATER的快速微表情自动识别方法，该方法建立在已经发生微表情的基础上，使用机器学习的方法判断该微表情的类别。该方法不仅降低了对计算机性能的要求，而且大大的提高了识别性能，是一种真正意义上的实时微表情识别。

本发明是通过如下技术方案来实现的：

一种有效的微表情自动识别方法，包括三个阶段：微表情帧序列预处理、微表情信息数据学习和微表情识别；所述微表情帧序列预处理的方法为：首先，检测获取的微表情序列的帧数，然后，提取每帧图像的数据进行灰度化处理；最后，采用线性插值的方法，将所有的微表情序列都插值到统一的帧数；所述微表情信息数据学习方法为：首先，将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离实现对数据降维，将特征数据按照类判别能力降低的顺序进行向量化排序；所述微表情识别采用最近邻分类器。

所述线性插值方法是根据线性插值压缩率求线性插值系数，使用该系数模拟插值出中间的帧。

所述线性插值方法的具体步骤为：

假设一段微表情序列图像{S_i∈R^m×n，i＝1，…，P}和欲归一化得到的微表情序列图像{S′_j∈R^m×n，j＝1，…，Q}；其中，P为原始的帧数，m、n分别为图像的行、列维数，Q为归一化后的帧数。定义线性插值压缩率为插值后得到的帧间隔与插值前的图像帧间隔的比值：

rate＝(Q-1)／(P-1)   (1)

规定归一化的第一帧S′₁和最后一帧S′_Q分别为：

S′₁＝S₁，S′_Q＝S_P   (2)

对于归一化后中间的任意一帧j和原始微表情序列图像的某一帧i，若满足关系式(i-1)×rate＜＝j并且i×rate＞j，则插值系数a、b为

a＝|(i-1)×rate-(j-1)|／rate   (3)

b＝|(i-2)×rate-(j-1)|／rate   (4)

插值后的微表情序列的第j帧图像为

S′_j＝a×S_i-1+b×S_i   (5)

所述微表情信息数据学习是指使用张量形式的判别分析进行特征提取，将高维张量数据投影到低维张量子空间中，提取的特征使得不同类微表情特征的类间距离最大，同类微表情特征类内距离最小。

所述微表情信息数据学习的具体步骤为：

M个微表情序列构成的训练样本集可以表示为

，其中，第m个训练样本

I_n(n＝1，…，N)为张量的“n-模式”的维数。定义投影后的张量为

张量表达的判别分析(DATER)就是寻找一组投影矩阵{U⁽ⁿ⁾，n＝1，…，N}，使样本从高维空间映射到低维空间中。

在特征空间中，样本之间的距离可以作为度量样本类别的依据。DATER是通过最大化特征空间的类间散布与类内散布的比值达到最大来实现特征提取的。

$\{U^{\left(n\right)},n=1,...,N\}=\underset{U^{\left(n\right)},}{\arg }\underset{n=1,...,N}{\max }\frac{S_b^{\left(n\right)}}{S_w^{\left(n\right)}}---\left(7\right)$

因此，特征提取的目标是通过寻找优化投影矩阵集合{U⁽ⁿ⁾，n＝1，…，N}，使样本的类内距离最小，类间距离最大，从而实现良好的分类效果。为了保证解的收敛性，这里采用反复迭代求解思想，根据张量运算理论，求n模式投影U⁽ⁿ⁾时，固定其它N-1个模式投影矩阵{U⁽ⁿ⁾，n＝1，…n-1，n+1，…N}不变。

则样本的n模式类内散布为

${\tilde{U}}^{\left(n\right)}=U^{(n+1)}\⊗U^{(n+2)}\⊗...\⊗U^{\left(N\right)}\⊗U^{\left(1\right)}\⊗...\⊗U^{(n-1)}---\left(9\right)$

其中，角标(n)表示张量的n模式，c表示类别总数，

表示第i类第j个样本的n模式值，

是第i类样本的n模式均值，N_i表示第i类的样本数。

样本的n模式类间散布

$S_b^{\left(n\right)}=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{N}_i(M_i^{\left(n\right)}-M^{\left(n\right)}){\tilde{U}}^{\left(n\right)}{\tilde{U}}^{\left(n\right)T}{(M_i^{\left(n\right)}-M^{\left(n\right)})}^T---\left(10\right)$

其中，

表示整体样本n模式的均值。

所述向量化排序是指将投影后的低维张量转化成一维向量，按照类判别能力降低的顺序进行排序。

所述向量化排序的具体步骤为：

令

为投影后的张量特征，

为投影后

所在类别的类内均值，

为投影后第i类的均值，

为样本集的整体均值，将类判别能力定义为

式中，

分别表示

和

张量数据中的每一项。依照式(11)的类判别能力将投影后所得的张量重新按照类判别能力递减的顺序向量化得到y_m，保留到取得最佳识别性能时的维数。

所述识别过程是指采用基于欧氏距离的最近邻分类器将测试样本进行判别分类。

所述识别过程的具体步骤为：

令待测试样本为

，投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别，若

则

属于

所在的类别，其中，||||_F表示F范数；vec()表示张量特征向量化，并且特征保留到取得最佳识别性能时的维数。

本发明的有益效果是：

1、本发明提供的是一种有效的微表情自动识别方法，其中，引入了线性插值方法，减少了微表情持续帧数对识别性能的影响；

2、本发明提供的一种有效的微表情自动识别方法对噪声具有较高的鲁棒性；

3、本发明引入了监督信息来指导分类，大大地提高了识别性能。

附图说明

图1本发明流程图。

图2CASME库中一个微表情序列。

图3插值到64帧的微表情序列。

图4-图7分别是CASME库中紧张、惊讶、压抑、厌恶四种微表情序列。

具体实施方式

下面结合附图和实例对本发明进行详细的描述。

一种有效的微表情自动识别方法，流程如图1所示，包括三个阶段：微表情帧序列预处理、微表情信息数据学习和微表情识别。微表情帧序列预处理的方法为：首先，检测获取的微表情序列的帧数，然后，提取每帧图像的数据进行灰度化处理；最后，采用线性插值的方法，将所有的微表情序列都插值到统一的帧数。微表情信息数据学习方法为：首先，将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离，实现对数据降维，将特征数据按照类判别能力进行向量化排序处理。微表情识别采用简单有效的最近邻分类器。

所述线性插值方法是根据线性插值压缩率求线性插值系数，使用该系数模拟插值出中间的帧。

假设一段微表情序列图像{S_i∈R^m×n，i＝1，…，P}和欲归一化得到的微表情序列图像{S′_j∈R^m×n，j＝1，…，Q}。其中，P为原始的帧数，m、n分别为图像的行、列维数，Q为归一化后的帧数。定义线性插值压缩率为插值后得到的帧间隔(P帧有P-1个帧间隔)与插值前的图像帧间隔的比值：

rate＝(Q-1)／(P-1)     (1)

规定归一化的第一帧S′₁和最后一帧S′_Q分别为：

S′₁＝S₁，S′_Q＝S_P     (2)

对于归一化后中间的任意一帧j和原始微表情序列图像的某一帧i，若满足关系式(i-1)×rate〈＝j并且i×rate>j，则插值系数a、b为

a＝|(i-1)×rate-(j-1)|／rate     (3)

b＝|(i-2)×rate-(j-1)|／rate     (4)

插值后的微表情序列的第j帧图像为

S′_j＝a×S_i-1+b×S_i     (5)

如图2所示为CASME库中一个微表情序列，如图3所示是插值到64帧时的微表情序列。

所述微表情信息数据学习是指使用张量形式的判别分析进行特征提取，将高维张量数据投影到低维张量子空间中，提取的特征使得不同类微表情特征的类间距离最大，同类微表情持征类内距离最小。

所述向量化排序是指将投影后的低维张量转化成一维向量，按照类判别能力降低的顺序进行排序。

M个微表情序列构成的训练样本集可以表示为

其中，第m个训练样本

为张量的“n-模式”的维数。定义投影后的张量为

张量表达的判别分析(DATER)就是寻找一组投影矩阵{U⁽ⁿ⁾，n=1，…，N}，使样本从高维空间映射到低维空间

中。

在特征空间中，样本之间的距离可以作为度量样本类别的依据。DATER是通过最大化特征空间的类间散布与类内散布的比值达到最大来实现特征提取的。

$\{U^{\left(n\right)},n=1,...,N\}=\underset{U^{\left(n\right)},n=1,...,N}{\arg \max }\frac{S_b^{\left(n\right)}}{S_w^{\left(n\right)}}---\left(7\right)$

因此，特征提取的目标是通过寻找优化投影矩阵集合{U⁽ⁿ⁾，n=1,…，N}，使样本的类内距离最小，类间距离最大，从而实现良好的分类效果。为了保证解的收敛性，这里采用反复迭代求解思想，根据张量运算理论，求n模式投影U⁽ⁿ⁾时，固定其它N-1个模式投影矩阵{U⁽ⁿ⁾，n=1,…n-1，n+1,…N}不变。则样本的n模式类内散布为

${\tilde{U}}^{\left(n\right)}=U^{(n+1)}\⊗U^{(n+2)}\⊗...\⊗U^{\left(N\right)}\⊗U^{\left(1\right)}\⊗...\⊗U^{(n-1)}---\left(9\right)$

其中，角标(n)表示张量的n模式，c表示类别总数，表示第i类第j个样本的n模式值，

是第i类样本的n模式均值，N_i表示第i类的样本数。

样本的n模式类间散布

$S_b^{\left(n\right)}=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{N}_i(M_i^{\left(n\right)}-M^{\left(n\right)}){\tilde{U}}^{\left(n\right)}{\tilde{U}}^{\left(n\right)T}{(M_i^{\left(n\right)}-M^{\left(n\right)})}^T---\left(10\right)$

其中，

表示整体样本n模式的均值。

所述向量化排序是指将投影后的特征张量，按照类判别能力降低的顺序进行向量化处理。令

为

投影后的张量特征，

为投影后

所在类别的类内均值，

为投影后第i类的均值，

为样本集的整体均值，将类判别能力定义为

式中，

分别表示

和

张量数据中的每一项。依照式(11)的类判别能力将投影后所得的张量

重新按照类判别能力递减的顺序向量化得到y_m，保留到取得最佳识别性能时的维数。

所述识别过程是指采用基于欧氏距离的最近邻分类器将测试样本进行判别分类。令待测试样本为

，投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别，若

则

属于

所在的类别，其中，‖‖_F示F范数；vec()表示张量特征向量化，并且特征保留到取得最佳识别性能时的维数。

本实施例的实验结果：

CASME数据库包含195个帧频在60fps的微表情序列。这些微表情样本的起始帧、变化幅度最大的帧、结束帧都被编码，脸部动作单元被标记，并且确定了表情属性。此数据库中的微表情包括持续时间低于500ms的微表情以及面部表情持续时间大于500ms但是开始的持续时间小于250ms的微表情。由于这些微表情产生的环境配置不同以及使用的摄像机不同，它们被分为两组：A组是由BenQ M31摄像机在60fps的条件下拍摄，分辨率是1280×720，并且是在自然光下拍摄；B组是由PointGrey GRAS-03K2C摄像机在60fps的条件下拍摄，分辨率是640×480，拍摄地点是在有两个LED灯的房间里。

我们在中科院提供的CASME数据库下，选取了紧张、压抑、厌恶以及惊讶四种微表情序列作为实验样本，每帧图像都进行人脸检测，并且统一归一到64×64像素大小，如图4-7所示。其中，对于每种微表情随机选择15个样本作为训练样本，剩下的样本作为测试样本，采用线性插值的方法将所有微表情序列都插值到64帧，这样每个微表情序列即为64×64×64大小的张量。再采用DATER将每个样本投影到大小为20×20×20、30×30×30、40×40×40、50×50×50、60×60×60的张量子空间，随机选择20次进行实验，实验结果如表1所示给出每次实验的识别大小以及经张量向量化后的保留到取得最佳识别性能时的维数。

表1本专利所提供的方法的识别性能

为了说明本专利所提供方法的优越性，仍然采用线性插值的方法将所有微表情序列都插值到64帧，分别采用Baseline、广义张量判别分析(General tensor discriminant analysis，GTDA)和DSTA将每个样本投影到大小为20×20×20、30×30×30、40×40×40、50×50×50、60×60×60的张量子空间，随机选择20次进行实验，将本专利所提供的方法与Baseline、GTDA和DSTA在平均识别率方面做了比较，如表2所示。

表2本专利所提供的方法的平均识别率(％)与其他方法的比较

由表2可知，本专利所提供的方法，微表情张量样本在投影到60×60×60子空间时，平均识别率已经达到了93.09％，远远高于其它方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种有效的微表情自动识别方法，其特征是，包括三个阶段：微表情帧序列预处理、微表情信息数据学习和微表情识别；

所述微表情帧序列预处理的方法为：首先，检测获取的微表情序列的帧数，然后，提取每帧图像的数据进行灰度化处理；最后，采用线性插值的方法，将所有的微表情序列都插值到统一的帧数；

所述微表情信息数据学习方法为：首先，将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离实现对数据降维，将特征数据按照类判别能力降低的顺序进行向量化排序；

所述微表情识别采用最近邻分类器。

2.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述线性插值方法是根据线性插值压缩率求线性插值系数，使用该系数模拟插值出中间的帧。

3.如权利要求2所述的有效的微表情自动识别方法，其特征是，线性插值方法的具体步骤为：

假设一段微表情序列图像{S_i∈R^m×n，i＝1，…，P}和欲归一化得到的微表情序列图像{S′_j∈R^m×n，j=1，…，Q}；其中，P为原始的帧数，m、n分别为图像的行、列维数，Q为归一化后的帧数；定义线性插值压缩率为插值后得到的帧间隔与插值前的图像帧间隔的比值：

rate=(Q-1)/(P-1)   (1)

规定归一化的第一帧S′₁和最后一帧S′_Q分别为：

S′₁=S₁，S′_Q=S_P   (2)

对于归一化后中间的任意一帧j和原始微表情序列图像的某一帧i，若满足关系式(i-1)×rate＜＝j并且i×rate>j，则插值系数a、b为

a=|(i-1)×rate-(j-1)|/rate   (3)

b=|(i-2)×rate-(j-1)|/rate   (4)

插值后的微表情序列的第j帧图像为

S′_j=a×S_i-1+b×S_i   (5)。

4.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述微表情信息数据学习使用张量形式的判别分析进行特征提取，将高维张量数据投影到低维张量子空间中，提取的特征使得不同类微表情特征的类间距离最大，同类微表情特征类内距离最小。

5.如权利要求4所述的有效的微表情自动识别方法，其特征是，所述微表情信息数据学习的具体步骤为：

M个微表情序列构成的训练样本集表示为

其中，第m个训练样本

I_n为张量的“n-模式”的维数，n=1，…，N；定义投影后的张量为

P_n<I_n，n=1，2，…，N；张量表达的判别分析就是寻找一组投影矩阵{U⁽ⁿ⁾，n=1，…，N}，使样本从高维空间

映射到低维空间

中；

张量表达的判别分析是通过最大化特征空间的类间散布与类内散布的比值达到最大来实现特征提取的；

$\{U^{\left(n\right)},n=1,\&CenterDot;\&CenterDot;\&CenterDot;,N\}=\underset{U^{\left(n\right)},n=1,\&CenterDot;\&CenterDot;\&CenterDot;,N}{\arg \max }\frac{S_b^{\left(n\right)}}{S_w^{\left(n\right)}}---\left(7\right)$

因此，特征提取的目标是通过寻找优化投影矩阵集合{U⁽ⁿ⁾，n=1，…，N}，使样本的类内距离最小，类间距离最大；求n模式投影U⁽ⁿ⁾时，固定其它N-1个模式投影矩阵{U⁽ⁿ⁾，n=1，…n-1，n+1，…N}不变；则样本的n模式类内散布为

${\tilde{U}}^{\left(n\right)}=U^{(n+1)}\&CircleTimes;U^{(n+2)}\&CircleTimes;\&CenterDot;\&CenterDot;\&CenterDot;\&CircleTimes;U^{\left(N\right)}\&CircleTimes;U^{\left(1\right)}\&CircleTimes;\&CenterDot;\&CenterDot;\&CenterDot;\&CircleTimes;U^{(n-1)}---\left(9\right)$

其中，角标(n)表示张量的n模式，c表示类别总数，

表示第i类第j个样本的n模式值，

是第i类样本的n模式均值，N_i表示第i类的样本数；

样本的n模式类间散布

$S_b^{\left(n\right)}=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{N}_i(M_i^{\left(n\right)}-M^{\left(n\right)}){\tilde{U}}^{\left(n\right)}{\tilde{U}}^{\left(n\right)T}{(M_i^{\left(n\right)}-M^{\left(n\right)})}^T---\left(10\right)$

其中，

表示整体样本n模式的均值。

6.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述向量化排序是指将投影后的低维张量转化成一维向量，按照类判别能力降低的顺序进行排序。

7.如权利要求6所述的有效的微表情自动识别方法，其特征是，所述向量化排序的具体步骤为：

令

为

投影后的张量特征，为投影后

所在类别的类内均值，

为投影后第i类的均值，

为样本集的整体均值，将类判别能力定义为

式中，分别表示

、

和

张量数据中的每一项；依照式(11)的类判别能力将投影后所得的张量

重新按照类判别能力递减的顺序向量化得到y_m，保留到取得最佳识别性能时的维数。

8.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述识别过程采用基于欧氏距离的最近邻分类器将测试样本进行判别分类。

9.如权利要求8所述的有效的微表情自动识别方法，其特征是，所述识别过程的具体步骤为：

令待测试样本为

，投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别，若

则

属于

所在的类别，其中，||||_F表示F范数；vec()表示张量特征向量化，并且特征保留到取得最佳识别性能时的维数。

Images