CN105608440B

CN105608440B - 基于最小化误差的面部微表情序列特征抽取方法

Info

Publication number: CN105608440B
Application number: CN201610002456.0A
Authority: CN
Inventors: 徐峰; 张军平
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2016-01-03
Filing date: 2016-01-03
Publication date: 2019-05-31
Anticipated expiration: 2036-01-03
Also published as: CN105608440A

Abstract

本发明属于计算机视觉技术领域，具体为一种基于最小化误差的面部微表情序列特征抽取方法。本发明首先把微表情序列分割为较小的时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然后将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，以此表达整个微表情序列。本方法规避了传统算法中对统一帧数的要求，因此不必引入插值算法；同时，本方法的提取速度非常快，为实时高精度微表情检测提供了可能。

Description

基于最小化误差的面部微表情序列特征抽取方法

技术领域

本发明属于计算机视觉技术领域，具体涉及基于最小化误差的面部表情特征表示方法。

背景技术

当前微表情的识别主要通过一些传统的、通用的计算机视觉技术，进行特征提取和模式识别，但尚没有形成针对性的高效率、高精度算法。

本发明提出一种新的视频特征提取技术，主要用于微表情识别，属于计算机视觉、图像处理和模式识别领域。该方法将微表情序列分割为小的时空块，使用最小化误差的原则提取时空块的运动模式，作为微表情序列的特征表达。在实验中展示了该方法在识别能力、识别速度上均优于现有方法。同时，该方法可以结合可视化技术，对微表情的运动模式进行分析，对微表情提供深层的理解。

由于本方法并没有对表情视频作特殊假设，因此也适用于普通表情的特征表达。

微表情的文献记录最早可以追述到1969年，心理学家Ekman在分析抑郁症病人的谈话录像时发现病人一直试图作出微笑的表情，但是有几帧画面中出现极端痛苦的表情[1]。他将这种表情命名为微表情。

与普通的表情类似，微表情传达了人内心的心绪；与普通表情不同的是，微表情是无法主观控制的，即人既无法“作出”一个微表情，也无法抑制住一个微表情。因此，微表情可以作为判断人心理情绪的有力证据，在刑侦、审讯、心理疾病诊断、反恐、教学质量测试等方面有着潜在的应用价值。目前已经受到业界相当的关注。

然而微表情的识别也面临着技术难点。微表情持续时间短、动作幅度小，即使受过专业训练的心理专家识别准确率也不高。因此，采用基于计算机的识别方式可以提供快速、稳定的识别效果，节省人力成本，并将微表情的应用推广到更大的应用场景下。但是，当前微表情的识别主要通过一些传统的、通用的计算机视觉技术，进行特征提取和模式识别，尚没有形成针对性的高效率、高精度算法。

目前已经有大量的学者对其进行了研究，见参考文选。

当前学术界对微表情的研究可以大致分为两个技术方向。有Oulu大学Pietikainen领导的研究小组致力于使用纹理特征描述微表情的时空结构。如Pfister使用LBP-TOP特征提取微表情的时空纹理表达[2]。LBP-TOP是一种通用的视频特征提取算子，它在X-Y,X-T,Y-T三个平面上提取局部二值模式(Local Binary Pattern)。其中局部二值模式对于每一个像素点，使用二进制编码表达其与周围像素值的大小关系，并统计这种编码的频率直方图，作为一维特征向量。

中科院心理所的研究人员从自空间学习理论入手，将视频数据视作三维张量，使用类间距离最小化原则优化子空间投影[7][8]。对于新的待标记微表情序列，使用学习到的投影函数进行变换，在变换后的空间使用简单的神经网络进行分类。

发明内容

本发明的目的在于提供一种有效、快速的面部微表情序列特征抽取方法。

本发明提出的面部微表情序列特征抽取方法，首先，把微表情序列分割为X×Y×T个时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然后，将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，因此表达整个微表情序列。这种方法规避了传统算法中对统一帧数的要求，因此不必引入插值算法。同时，本方法的提取速度非常快，为实时高精度微表情检测提供了可能。其流程如图1所示，具体步骤为：

1、给定一段维度为的人脸表情序列，其中是微表情序列的帧数，是图像的尺寸，把图像等分为X×Y个图像块，每个图像块的尺寸为其中符号表示向下取整；同时，在时间轴上把整个序列分割为T份，由此得到X×Y×T个时空块，每个时空块的维度是

对于每个时空块，希望寻找一个两维的方向向量u＝,u,v]^T，以此来表征每个时空块的主要运动方向；

2、对于特定时空块，将其记作C(x,y,t)；其中

定义方程：Su＝Q

其中：

u＝[u,v]^T

3、上述方程是一过定方程或病态问题，即给定的限制多于唯一解需要的条件数量。这样的方程无法完全满足，但是可以基于此定义具体的目标函数。本发明提出两种具体的目标函数，称为本发明两种变体：

(a)l₂变体:

最小化此目标函数有闭式解，即：u＝(S^TS)^-1S^TQ

(b)l₁变体:

最小化目标函数没有闭式解，但是可以使用Nelder-Mead单纯形算法迭代求解。

4、由上述步骤得到的特征可以用来描述一个微表情序列，这样的特征可以被利用到机器学习算法中，对待标记的微表情序列进行分类识别。具体地，使用监督算法(如支持向量机Support Vector Machine)对已有数据集进行训练并得到模型。对于待标记的微表情序列，使用上述方法抽取特征，再利用已有模型即可进行分类识别。

附图说明

图1基于光流场的微表情识别方法流程图。

图2本发明提出特征的可视化结果。上排是一个微表情样例，此处截取了当中的三帧。下排左边两幅是该微表情序列提取特征的可视化结果；右边是代表颜色意义的色轮。在下排左边两幅图中，颜色的色调代表运动向量的方向，颜色的深浅代表运动的强度。从颜色较深的区域可以看到眼睛睁开、闭上的动态过程。

图3数据集样例，第一行左侧4张图片来自SMIC2-VIS，是一个消极的微表情；第一行右侧4张图片来自SMIC2-NIR，是一个积极的微表情；第二行左侧4张图片来自SMIC2-HS，是一个惊讶的微表情；第二行右侧4张图片来自SMIC，这是一个非微表情样本，用于检测任务；第三行来自CASME I，是一个恶心的微表情；第四行来自CASME II，是一个消沉的微表情。

具体实施方式

本发明的主要贡献包括两点：

一、提出了一种有效的微表情特征的提取方法；

二、提出了该特征的两种变体。

下面分别详细介绍这两点。

一、微表情特征的提取方法

将人脸分割为较小的时空块，这是基于如下假设：

(1)在足够小的空间范围内，微表情动态受到肌肉尺度限制，其运动模式(包括方向、大小)可以看作不变；

(2)在足够小的时间范围内，微表情动态受到肌肉运动灵活度限制，其运动模式可以看作不变。

对于特定视频块，我们将其记作C(x,y,t)。由于时空块尺度较小，可以认为其内部像素的运动模式是趋同的，为此，我们在视频块中寻找偏移量使得下式成立：

C(x,y,t)＝C(x+Δx,y+Δy,t+Δt)

进行泰勒展开，得到：

忽略其高阶无穷小后，得到：

令得到：

上式需要对视频块中所有点成立，因此，联立得到方程：Su＝T；

其中：

u＝[u,v]^T

有目标方程推导目标函数，解得主方向，即可很好的表征整个微表情序列。图2展示了本特征一个可视化结果。

二、对该表达的两种实现方法

本发明提出了两种目标函数，即：

(a)l₂变体：

(b)l₁变体：

其主要区别在于，l₂变体有简单得闭式解，计算效率高；l₁变体没有闭式解，需要迭代优化，但是对图像中得异常值噪声更鲁棒。

下面介绍了实施方案中的一些技术细节之后，下面详细说明本发明的实验效果。

实验一

关于本发明的两种变体，作为对比，我们实现了基于LBP-TOP的方法，和基于DTSA的子空间学习法。实验在CASME I,CASME II,SMIC2-HS,SMIC2-VIS,SMIC2-NIR,SMIC六个数据集上进行。

其中，中科院的CASME I数据集包含8中情绪，分别是恶心(disgust)、快乐(happiness)、鄙视(contempt)、恐惧(fear)、低沉(repression)、悲伤(sadness)、惊讶(surprise)和紧张(tense)。其帧率是60帧/秒。

中科院的CASME II数据集包含7种情绪，分别是低沉(repression)、恶心(disgust)、恐惧(fear)、悲伤(sadness)、快乐(happiness)、惊讶(surprise)和其他(other)。其帧率是200帧/秒。

由于CASME I和CASME II中包含的一些情绪类别只有非常少的样例，因此实验中通常包含这些类。具体的，我们使用CASME I数据集包含恶心、低沉、惊讶和紧张；CASME II数据集包含了恶心、快乐、低沉、惊讶和其他。

Oulu大学的SMIC和SMIC2的三个子数据集都包含两类任务，即检测和归类。在前者的任务中，给定一个人脸序列，需要该序列中的表情是微表情抑或是常规表情。在后者的任务中，给定一个微表情序列，算法需要判断其属于何种情绪标签。

对于归类任务，SMIC的分类粒度比较粗，即包含了积极(positive)与消极(negative)两种；SMIC2包含三类，分别是积极(positive)、消极(negative)和惊讶(surprise)三种情绪。

SMIC和SMIC2-HS的帧率为100帧/秒；SMIC2-VIS和SMIC2-NIR的帧率都是25帧/秒。

图3展示了上述六种数据集的一些样例。

实验使用了有两个分别衡量指标，分别是准确率Accuracy和F1_M。

其中，F1_M的定义是：

其中，

使用F1_M的目的是消除数据集类别样本不平均的问题。如果某种算法倾向于将分类到样本数量较大的类，则可以获得很好的准确率，而这样的模型识别能力并不理想，使用F1_M可以甄选出真正具有识别能力的方法。

表1汇报了对照方法与本发明两种变体在六个数据集上的结果。可以看出我们的方法在多数问题上都取得了远高于其他方法的结果。

实验二

为了展示本发明的时间性能，我们展示了常用参数下，本发明的两种变体和两种对照方法的耗时对比。表2展示了本发明两种变体在常用参数下的时间消耗；表3和表4分别展示了LBP-TOP和DTSA两种方法的时间消耗。可以发现：

(1)与LBP-TOP和DTSA对比，本发明方法大大提升了算法的时间性能。

(2)l₂变体在时间性能上优于l₁变体，因为它不涉及迭代求解。但识别性能略低于后者。

本发明描述了一种描述面部表情的特征，这种特征可以用于微表情的识别与分类，也可以用于表达普通面部表情。下面以微表情识别为例说明这种特征的使用流程，对于普通表情的特征抽取是类似的。

在实际应用中，对于一段微表情视频序列。我们首先使用人脸检测算法在视频中找到人脸位置，然后使用分块方法将人脸位置分为时空块。分块过程中涉及到分块参数(X,Y,Z)，这里举例选择(4,4,4)。

对于得到的4×4×4＝64个时空块，我们采用上文所述的方法构造方程并解得每个分块中的主方向u。拼接64个主方向，得到128维的特征向量，即可用于描述该微表情。

对于微表情训练集，我们提取上述特征，并使用一个RBF核的SVM训练微表情识别模型。对于一个新的待标记的微表情序列，我们使用上述方法提取特征向量，并使用训练好的SVM进行分类，即可预测其属于的微表情情绪类别。

表1分类结果的F1_M，每个任务下分类结果最好的两项用黑色加粗

表2分类结果的准确率，每个任务下分类结果最好的两项用黑色加粗

表3本方法l₁变体在常用参数下的提取时间(单位为秒)

l<sub>1</sub>变体	4×4	6×6	8×8	12×12
					2	1.0499	0.9752	1.3233	2.3187
3	0.7752	1.1168	1.5944	2.9819
					4	0.8196	1.2668	1.8752	3.6462

表4本方法l₂变体在常用参数下的提取时间(单位为秒)

l<sub>2</sub>变体	4×4	6×6	8×8	12×12
					2	0.1855	0.2352	0.3223	0.5497
3	0.179	0.238	0.3064	0.5487
					4	0.1727	0.2299	0.3035	0.5148

表5 LBP-TOP常用参数下的提取时间(单位为秒)

LBP-top	TIM10	TIM15	TIM20
				5×5×1	26.43	27.13	26.7
5×5×2	23.47	24	23.87
				8×8×1	24.34	24.94	24.84
8×8×2	22.33	22.82	22.72

表6 DTSA在常用参数下的提取时间(单位为秒)

DTSA	10	20	30	40	50	60
								2.92	7.34	16.98	21.55	23.46	38.81

。

参考文选

[1]Ekman P,Friesen W V.Nonverbal leakage and clues to deception[J].Psychiatry,1969,32(1):88-106.

[2]T.Pfister,X.Li,G.Zhao,and M.Pietikainen.Recognising spontaneousfacial micro-expressions.CVPR,2011

[3]M.Shreve,S.Godavarthy,V.Manohar,D.Goldgof,and S.Sarkar.Towardsmacro-and micro-expression spotting in video using strain patterns.IEEEWorkshop on Applications of Computer Vision,2009

[4]M.Shreve,S.Godavarthy,D.Goldgof,and S.Sarkar.Macro-and micro-expression spotting in long videos using spatio-temporal strain.AFGR,2011

[5]S.-J.Wang,H.-L.Chen,W.-J.Yan,Y.-H.Chen,and X.Fu.Face recognitionand micro-expression recognition based on discriminant tensor subspaceanalysis plus extreme learning machine.Neural Processing Letters,vol.39,no.1,pp.25–43,2014

[6]X.Li,T.Pfister,X.Huang,G.Zhao,and M.Pietikainen.A spontaneousmicro-expression database:Inducement,collection and baseline,AFGR,2013.

[7]W.-J.Yan,Q.Wu,Y.-J.Liu,S.-J.Wang,and X.Fu.CASME database:A datasetof spontaneous micro-expressions collected from neutralized faces.AFGR,2013

[8]W.-J.Yan,X.Li,S.-J.Wang,G.Zhao,Y.-J.Liu,Y.-H.Chen,and X.Fu.CASMEII:an improved spontaneous micro-expression database and the baselineevaluation.PLoS ONE,vol.9,no.1,p.e86041,20143

[9]Wu Q,Shen X,Fu X.The machine knows what you are hiding:anautomatic micro-expression recognition system[M]//Affective Computing andIntelligent Interaction.Springer Berlin Heidelberg,2011:152-162.。

Claims

1.基于最小化误差的面部微表情序列特征抽取方法，其特征在于，首先，把微表情序列分割为X×Y×T个时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然后，将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，以此表达整个微表情序列；具体步骤为：

(1)给定一段维度为的人脸表情序列，其中是微表情序列的帧数，是图像的尺寸，把图像等分为X×Y个图像块，每个图像块的尺寸为其中符号表示向下取整；同时，在时间轴上把整个序列分割为T份，由此得到X×Y×T个时空块，每个时空块的维度是

对于每个时空块，希望寻找一个两维的方向向量u＝[u,v]^T，以此来表征每个时空块的主要运动方向；

(2)对于特定时空块，将其记作C(x,y,t)；其中

定义方程：

Su＝Q

其中

u＝[u,v]^T

(3)两种具体的目标函数，称两种变体：

(a)l₂变体:

最小化此目标函数有闭式解，即：u＝(S^TS)^-1S^TQ

(b)l₁变体:

使用Nelder-Mead单纯形算法迭代求解；

(4)由上述步骤得到的特征用来描述一个微表情序列，把该特征用于机器学习算法中，对待标记的微表情序列进行分类识别。