CN108830222A - 一种基于信息性和代表性主动学习的微表情识别方法 - Google Patents

Abstract

本发明涉及一种基于信息性和代表性主动学习的微表情识别方法，包括：A、微表情样本处理从数据库中挑选微表情样本，并对微表情样本进行特征提取，形成种子集、主动池和测试集；B、信息性和代表性主动学习构建主动学习系统框架，采用信息性与代表性结合的主动学习算法，不断对主动池中样本进行迭代，挑出最具有信息性和代表性的实例，请求它的标签后加入种子集中重新训练；C、微表情识别将更新的种子集通过SVM训练出标准分类器，并对测试样本进行微表情识别，得到其识别率。本发明中把主动学习的方法应用在微表情识别当中，利用基于信息性和代表性的主动学习方法挑选出最有价值的实例信息，减小微表情样本标注的高额花费，提供了识别率。

Description

一种基于信息性和代表性主动学习的微表情识别方法

技术领域

本发明涉及一种基于信息性和代表性主动学习的微表情识别方法，属于主动学习和模式识别的技术领域。

背景技术

微表情是人们在尝试压抑自己内心的真实情绪与深层情感时产生的短暂的不自主的面部表情，是由情绪和没有思想控制的习惯触发的。它的持续时间极短，往往不被人肉眼所捕捉。尽管如此，微表情所含有的信息量却非常丰富。因为其最能够反映一个人的真实情感和意图，有利于得到最精准的信息，所以在诸多方面都有着许多潜在的用途。目前，在国家安全、司法跟踪和谎言测试中，微表情的潜在价值得以展现，引发了极大的关注。目前，微表情识别仍然存在着较大不足，微表情采集难度很大，人工花费成果较高，导致了微表情数据库的样本数量不足，制约了微表情研究的发展，而且，由于缺乏具有足够训练样本的微表情数据库，微表情识别性能较低。因此，微表情识别的研究发展依然面临巨大的挑战。

目前，对于微表情识别，主要流行的方法包括LBP-TOP以及光流特性等。除此之外，其他的微表情特征也可以用于提取并进行识别。Polikovsky等人将人脸分为特定区域，使用三维梯度定位直方图描述子来提取面部运动信息。吴邦国等人提出了一种自动微表情识别系统，使用Gabor滤波器进行特征提取和Gentle SVM分类。尽管这些微表情识别方法在微表情数据集上取得了非常优越的识别性能，但依然有值得改进之处。由于微表情的采集难度很大，人工花费的成果较高，导致了微表情数据库的样本数量不足。而且，由于缺乏具有足够训练样本的微表情数据库，使微表情识别性能较低。

主动学习通过迭代地选择最有价值的数据来查询标签，从而减少了标签成本,吸引了很多人的兴趣。大多数主动学习方法选择提供信息或具有代表性的无标记实例来查询它们的标签，这可能会极大地限制它们的性能。

发明内容

针对现有技术的不足，本发明提供了一种基于信息性和代表性主动学习的微表情识别方法。

发明概述：

一种基于信息性和代表性主动学习的微表情识别方法，包括微表情样本处理、信息性和代表性主动学习和微表情识别。

现有技术中，大多数主动学习方法选择提供信息或具有代表性的无标记实例来查询它们的标签，这可能会极大地限制它们的性能。本发明通过发展一种相结合的方法来解决这一局限性，即基于主动学习的最小最大化观点，该方法为测量和组合无标记实例的信息性和代表性提供了一种系统的方法，因此，可通过最少的花费来训练一个较优的训练集，降低人工标注的高额花费问题。

本发明的技术方案为：

一种基于信息性和代表性主动学习的微表情识别方法，包括：

A、微表情样本处理

从数据库中挑选微表情样本，并对微表情样本进行特征提取，形成种子集、主动池和测试集；

B、信息性和代表性主动学习

构建主动学习系统框架，采用信息性与代表性结合的主动学习算法，不断对主动池中样本进行迭代，挑出最具有信息性和代表性的实例，请求它的标签后加入种子集中重新训练；

C、微表情识别

将更新的种子集通过SVM训练出标准分类器，并对测试样本进行微表情识别，得到其识别率。

本发明是一种基于信息性和代表性主动学习的微表情识别方法，包含微表情样本处理，信息性和代表性主动学习和微表情识别三个部分，第一部分首先利用CASME、CASMEII的微表情样本建立种子集、主动池和训练集。第二部分利用主动学习从主动池中选择查询样本，被选择的查询样本经由人工标注后加入到种子集。第三部分将种子集中所有的样本作为标注数据，用来训练标准的分类器。在测试集上的识别率被视为对本发明的评价。

根据本发明优选的，所述步骤A，微表情样本处理，包括步骤如下：

(1)利用CASME、CASME II的微表情样本建立种子集和主动池：在CASME、CASME II上随机地抽取每个类别三分之一的样本形成测试集，余下三分之二的样本形成候选训练集；从候选训练集的每个类别中随机地抽取1个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池；

(2)对每个微表情样本进行主方向平均光流特征计算(Main Directional MeanOptical-flow，MDMO)，提取MDMO特征：将人脸区域划分为密集的36个分块，分块中将角度划分为8个角度区间，保留含有光流矢量最多的角度区间对应的光流矢量，并进行空间和时间上的平均，最终得到MDMO特征。

进一步优选的，提取MDMO特征，包括步骤如下：

a、采用DRMF方法对面部区域进行划分，每个微表情样本包括连续帧的微表情视频片段，对于每一个微表情视频片段，在第一帧的面部区域使用DRMF方法准确的定位出面部区域的66个特征点；根据66个特征点的位置，将标准化的面部区域划分为36个感兴趣的区域(region-of-interest,ROIs)；

b、对帧序列进行预处理，选取13个受微表情影响最小的特征点，进行光流场的计算，提取MDMO特征。

根据本发明优选的，所述步骤B，建立主动学习框架，使用基于信息性和代表性主动学习方法在主动池中挑选出具有信息性和代表性的样本，选择一个最有价值的实例信息，使种子集通过训练得到一个分类边界，具体步骤如下：

c、设定D表示整个样本数据集，D_l表示有标签的数据集，即种子集，D_u表示无标签的训练集，x_s表示正在进行查询的样本，D_a＝D_u∪x_s表示所有未标记的样本，即主动池，y＝{y_l,y_u,y_s}作为整个数据集的标签分配，y_l,y_u,y_s分别是分配给D_l,D_u,x_s的标签；

d、审视基于边缘的主动学习方法，通过有标签实例的训练，让f^*成为一个分类器模型：定义无标签的数据集为输入，在核函数的映射下，计算无标签的数据集中实例在损失函数约束下所对应的最大分类间隔，如式①所示：

式①中：

f是指样本空间经过径向基函数的映射；

H是一个再生核希尔伯特空间，带有核函数；

l是损失函数；

λ是分类器参数；

n_l为有标签数据集的数目；

y_i为样本标签；

f(x_i)为有标签数据集通过径向基函数的映射；

将基于边界的查询选择与主动学习的最小值公式联系起来，对于二分类问题，每一个实例的标签情况有两种，需分别计算实例的标签对应情况下的目标函数最小值，并从中挑选出最大值作为代表值，进而从所有未标记数据中挑选出最小值的实例，即最接近决策边界的未标记实例，如式②所示：

式②中：s^*为挑选出的最有价值实例；s为正在进行挑选的样本；y_s为正在挑选的样本的类标签；

e、计算基于未标记数据结构下的目标函数：

在这个关于主动学习的最大最小化视图中，它保证所选的实例将会为目标函数带来一个小的值，而不管它的类标签是什么。为了选择既出含有信息又有代表性的查询实例，将扩展评估函数以包含所有未标记的数据。最小化评估函数如式③所示：

式③中，为最小化评估函数；n_u为无标签数据集的数目；

找到最小化评估函数对应的实例x_s；

f、为了计算的简单性，选择一个二次损失函数则得到式④：

式④中：L＝(K+λI)^-1，K是核函数的一个n×n的矩阵，最小化评估函数简化为式⑤：

为了便于表示，引用了下标u代表未标记的实例，l代表已标记的实例，用s代表正在查询的实例，用a来代表未标记实例和正在查询实例的集合，在使用这些方便简称的情况下，重新定义公式y^TLy，如式⑥所示：

对y_u求偏导，求得y_u的最小值，代入最小化评估函数推出式⑦：

为了简化计算，令式⑦式正比于式⑧：

g、计算公式⑧中的目标函数，对每一个实例计算L_u,u ^-1，对于无标签序列，L_u,u ^-1计算采用如下方法，如式⑨所示：

根据矩阵反演定理，得到

h、采用one-vs-rest扩展到多分类问题，如式⑩所示：

利用matlab求解矩阵L，应用矩阵的分块求得L_a,a，计算得其逆，根据矩阵反演定理得到L_u,u ^-1，带入目标函数，挑选出带有最小目标函数的实例，查询其类标签，更新样本集，原种子集中加入挑选出的样本实例，原主动池中剔除挑选出的实例。

根据本发明优选的，所述步骤C，将更新后的样本集，使用支持向量机训练出分类器，用测试集样本检测分类器的识别率，包括步骤如下：

i、将步骤h所得的样本集进行支持向量机训练分类器，对分类器中的参数进行寻优处理，得到一个较优的参数；

j、选择随机选取的方法作为对比方法，将随机从主动池中挑选样本所训练的分类器与使用主动学习从主动池中挑选样本所训练分类器的识别率进行比较。

本发明的有益效果为：

本发明中把主动学习的方法应用在微表情识别当中，利用基于信息性和代表性的主动学习方法挑选出最有价值的实例信息，减小标记大量微表情样本时产生的高额花费。使用主动学习算法挑选实例优于随机挑选实例约5％左右，大量数据集样本更为有效，且不必对全部样本进行标注即可得到一个较优的数据集，可人为选择挑选样本的数量。

附图说明

图1为本发明基于信息性和代表性主动学习的微表情识别方法流程框架图；

图2利用主动学习与随机挑选样本所训练出的分类器在CASME库的识别效果对比图；

图3利用主动学习与随机挑选样本所训练出的分类器在CASME II库的识别效果对比图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例

一种基于信息性和代表性主动学习的微表情识别方法，如图1所示，包括：

A、微表情样本处理

从数据库中挑选微表情样本，并对微表情样本进行特征提取，形成种子集、主动池和测试集；

B、信息性和代表性主动学习

构建主动学习系统框架，采用信息性与代表性结合的主动学习算法，不断对主动池中样本进行迭代，挑出最具有信息性和代表性的实例，请求它的标签后加入种子集中重新训练；

C、微表情识别

将更新的种子集通过SVM训练出标准分类器，并对测试样本进行微表情识别，得到其识别率。

本发明是一种基于信息性和代表性主动学习的微表情识别方法，包含微表情样本处理，信息性和代表性主动学习和微表情识别三个部分，第一部分首先利用CASME、CASMEII的微表情样本建立种子集、主动池和训练集。第二部分利用主动学习从主动池中选择查询样本，被选择的查询样本经由人工标注后加入到种子集。第三部分将种子集中所有的样本作为标注数据，用来训练标准的分类器。在测试集上的识别率被视为对本发明的评价。

步骤A，微表情样本处理，包括步骤如下：

(1)利用CASME、CASME II的微表情样本建立种子集和主动池：在CASME、CASME II上随机地抽取每个类别三分之一的样本形成测试集，余下三分之二的样本形成候选训练集；从候选训练集的每个类别中随机地抽取1个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池；

(2)对每个微表情样本进行主方向平均光流特征计算(Main Directional MeanOptical-flow，MDMO)，提取MDMO特征：将人脸区域划分为密集的36个分块，分块中将角度划分为8个角度区间，保留含有光流矢量最多的角度区间对应的光流矢量，并进行空间和时间上的平均，最终得到MDMO特征。

提取MDMO特征，包括步骤如下：

a、使用DRMF方法，对于每一个微表情样本片段，确定第一帧并在第一帧的面部区域检测出一组面部特征点：首先，使用Viola-Jones人脸探测器来定位每一帧的面部区域；其次，通过提取响应块和低维投影，计算出一组初始特征点；最后，DRMF迭代干扰这些初始特征点与生成的特征模板，应用DRMF方法以一个强大的、准确的方式定位出面部区域的66个特征点；不使用两个特征点来识别内唇角，由DRMF方法获得的66个特征点，进一步将标准化的面部区域划分为36个ROIs(region-of-interest,ROIs)；36个ROIs中所有顶点的规范规则,可以在计算机数字库找到。

b、对帧序列进行预处理，选取13个受微表情影响最小的特征点，进行光流场的计算，提取MDMO特征。

所述步骤B，建立主动学习框架，使用基于信息性和代表性主动学习方法在主动池中挑选出具有信息性和代表性的样本，选择一个最有价值的实例信息，使种子集通过训练得到一个分类边界，具体步骤如下：

c、设定D表示整个样本数据集，D_l表示有标签的数据集，即种子集，D_u表示无标签的训练集，x_s表示正在进行查询的样本，D_a＝D_u∪x_s表示所有未标记的样本，即主动池，y＝{y_l,y_u,y_s}作为整个数据集的标签分配，y_l,y_u,y_s分别是分配给D_l,D_u,x_s的标签；

d、审视基于边缘的主动学习方法，通过有标签实例的训练，让f^*成为一个分类器模型：定义无标签的数据集为输入，在核函数的映射下，计算无标签的数据集中实例在损失函数约束下所对应的最大分类间隔，如式①所示：

式①中：

f是指样本空间经过径向基函数的映射；

H是一个再生核希尔伯特空间，带有核函数；

l是损失函数；

λ是分类器参数；

n_l为有标签数据集的数目；

y_i为样本标签；

f(x_i)为有标签数据集通过径向基函数的映射；

将基于边界的查询选择与主动学习的最小值公式联系起来，对于二分类问题，每一个实例的标签情况有两种，需分别计算实例的标签对应情况下的目标函数最小值，并从中挑选出最大值作为代表值，进而从所有未标记数据中挑选出最小值的实例，即最接近决策边界的未标记实例，如式②所示：

式②中，s^*为挑选出的最有价值实例；s为正在进行挑选的样本；y_s为正在挑选的样本的类标签；

e、计算基于未标记数据结构下的目标函数：

在这个关于主动学习的最大最小化视图中，它保证所选的实例将会为目标函数带来一个小的值，而不管它的类标签是什么。为了选择既出含有信息又有代表性的查询实例，将扩展评估函数以包含所有未标记的数据。最小化评估函数如式③所示：

式③中，为最小化评估函数；n_u为无标签数据集的数目；

找到最小化评估函数对应的实例x_s；

f、为了计算的简单性，选择一个二次损失函数则得到式④：

式④中：L＝(K+λI)^-1，K是核函数的一个n×n的矩阵，最小化评估函数简化为式⑤：

为了便于表示，引用了下标u代表未标记的实例，l代表已标记的实例，用s代表正在查询的实例，用a来代表未标记实例和正在查询实例的集合，在使用这些方便简称的情况下，重新定义公式y^TLy，如式⑥所示：

对y_u求偏导，求得y_u的最小值，代入最小化评估函数推出式⑦：

为了简化计算，令式⑦式正比于式⑧：

g、计算公式⑧中的目标函数，对每一个实例计算L_u,u ^-1，对于无标签序列，L_u,u ^-1计算采用如下方法，如式⑨所示：

根据矩阵反演定理，得到

h、采用one-vs-rest扩展到多分类问题，如式⑩所示：

利用matlab求解矩阵L，应用矩阵的分块求得L_a,a，计算得其逆，根据矩阵反演定理得到L_u,u ^-1，带入目标函数，挑选出带有最小目标函数的实例，查询其类标签，更新样本集，原种子集中加入挑选出的样本实例，原主动池中剔除挑选出的实例。

步骤C，将更新后的样本集，使用支持向量机训练出分类器，用测试集样本检测分类器的识别率，包括步骤如下：

i、将步骤h所得的样本集采用支持向量机训练分类器，使用matlab中自带的分类器LibSVM,，核函数选用高斯核函数，对分类器中的参数c,g分别按0.01，0.1，1，10，100，1000，10000进行寻优处理，得到一个较优的参数；

j、选择随机选取的方法作为对比方法，将随机从主动池中挑选样本所训练的分类器与使用主动学习从主动池中挑选样本所训练分类器的识别率进行比较。

本实施例应用主动学习通过迭代地选择最有价值的数据来查询标签，从而减少了标签成本花费，对微表情数据库的建立有较大帮助，对微表情识别也存在较大意义。

所述步骤b中，对帧序列进行预处理，选取13个受微表情影响最小的特征点，进行光流场的计算，提取MDMO特征，具体步骤包括：

进行光流场的计算，光流是通过检测两个图像帧之间不断变化的像素的强度来推断物体的运动。

在一个视频剪辑中，一个像素定位为(x,y,t)、强度为I(x,y,t)；在两帧之间移动了Δx，Δy和Δt,根据亮度恒定约束条件，如式所示：

假设移动很小，I(x,y,t)的图像约束可以用泰勒级数来获得，如式所示：

式中，τ是高阶无穷小，因此转换为式式

最终得到式

式中，v_x、v_y分别是光流失量的水平分量x和垂直分量y；I(x,y,t)位置处的光流表示成[v_x,v_y]^T。

在微表情的短时间内，图像序列中的面部区域可能会有一个小的旋转和转化。为了修正这个小的头部动作，为了一个微表情的视频剪辑，在第一帧中使用了一些特征点的位置。在66个通过使用DRMF方法检测到的面部特征中选择13个特征点，其中一个在鼻子根部，另外12个在面部轮廓线上。因为这13个特征点受微表情的影响最小，所以选这13个特征点。

光流场的计算方法如式所示：

式中，Pⁱ是13个点的位置，是第j个点的水平位置，是第j个点的竖直位置是光流场中第j个点的光流失量。

第一帧和之后的每一帧之间的光流。被表示为转换欧式坐标为极坐标(ρi,θ_i)，ρ、θ分别是光流失量的大小、方向，在每一帧中，考虑每个区域内部的光流主方向，在每个分块中计算HOOF特征，将所有光流方向向量量化到8个区间，做统计直方图运算，如式所示：

式中，是数量最多的方向向量的平均值的极坐标表示，B_max为数量最多的方向。

计算出这些特征值来作为该区域的运动特征，由于幅度和方向都是36维的，最终获得的特征是72维向量。

图2为利用主动学习与随机挑选样本所训练出的分类器在CASME库的识别效果对比图；图3为利用主动学习与随机挑选样本所训练出的分类器在CASME II库的识别效果对比图。从图2和图3中，可明显看出用主动学习方法所训练出的分类器的表现性能更佳。

Claims (5)

1.一种基于信息性和代表性主动学习的微表情识别方法，其特征在于，包括：

A、微表情样本处理

从数据库中挑选微表情样本，并对微表情样本进行特征提取，形成种子集、主动池和测试集；

B、信息性和代表性主动学习

构建主动学习系统框架，采用信息性与代表性结合的主动学习算法，不断对主动池中样本进行迭代，挑出最具有信息性和代表性的实例，请求它的标签后加入种子集中重新训练；

C、微表情识别

将更新的种子集通过SVM训练出标准分类器，并对测试样本进行微表情识别，得到其识别率。

2.根据权利要求1所述的一种基于信息性和代表性主动学习的微表情识别方法，其特征在于，所述步骤A，微表情样本处理，包括步骤如下：

(1)利用CASME、CASME II的微表情样本建立种子集和主动池：在CASME、CASME II上随机地抽取每个类别三分之一的样本形成测试集，余下三分之二的样本形成候选训练集；从候选训练集的每个类别中随机地抽取1个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池；

(2)对每个微表情样本进行主方向平均光流特征计算，提取MDMO特征：将人脸区域划分为36个分块，分块中将角度划分为8个角度区间，保留含有光流矢量最多的角度区间对应的光流矢量，并进行空间和时间上的平均，最终得到MDMO特征。

3.根据权利要求2所述的一种基于信息性和代表性主动学习的微表情识别方法，其特征在于，提取MDMO特征，包括步骤如下：

a、采用DRMF方法对面部区域进行划分，每个微表情样本包括连续帧的微表情视频片段，对于每一个微表情视频片段，在第一帧的面部区域使用DRMF方法准确的定位出面部区域的66个特征点；根据66个特征点的位置，将标准化的面部区域划分为36个感兴趣的区域(region-of-interest,ROIs)；

b、对帧序列进行预处理，选取13个受微表情影响最小的特征点，进行光流场的计算，提取MDMO特征。

4.根据权利要求1所述的一种基于信息性和代表性主动学习的微表情识别方法，其特征在于，所述步骤B，建立主动学习框架，使用基于信息性和代表性主动学习方法在主动池中挑选出具有信息性和代表性的样本，选择一个最有价值的实例信息，使种子集通过训练得到一个分类边界，具体步骤如下：

c、设定D表示整个样本数据集，D_l表示有标签的数据集，即种子集，D_u表示无标签的训练集，x_s表示正在进行查询的样本，D_a＝D_u∪x_s表示所有未标记的样本，即主动池，y＝{y_l,y_u,y_s}作为整个数据集的标签分配，y_l,y_u,y_s分别是分配给D_l,D_u,x_s的标签；

d、审视基于边缘的主动学习方法，通过有标签实例的训练，让f^*成为一个分类器模型：定义无标签的数据集为输入，在核函数的映射下，计算无标签的数据集中实例在损失函数约束下所对应的最大分类间隔，如式①所示：

式①中：

f是指样本空间经过径向基函数的映射；

H是一个再生核希尔伯特空间，带有核函数；

l是损失函数；

λ是分类器参数；

n_l为有标签数据集的数目；

y_i为样本标签；

f(x_i)为有标签数据集通过径向基函数的映射；

将基于边界的查询选择与主动学习的最小值公式联系起来，对于二分类问题，每一个实例的标签情况有两种，需分别计算实例的标签对应情况下的目标函数最小值，并从中挑选出最大值作为代表值，进而从所有未标记数据中挑选出最小值的实例，即最接近决策边界的未标记实例，如式②所示：

式②中，s^*为挑选出的最有价值实例；s为正在进行挑选的样本；y_s为正在挑选的样本的类标签；

e、计算基于未标记数据结构下的目标函数：

最小化评估函数如式③所示：

式③中，为最小化评估函数；n_u为无标签数据集的数目；

找到最小化评估函数对应的实例x_s；

f、选择一个二次损失函数则得到式④：

式④中：L＝(K+λI)^-1，K是核函数的一个n×n的矩阵，最小化评估函数简化为式⑤：

引用了下标u代表未标记的实例，l代表已标记的实例，用s代表正在查询的实例，用a来代表未标记实例和正在查询实例的集合，重新定义公式y^TLy，如式⑥所示：

对y_u求偏导，求得y_u的最小值，代入最小化评估函数推出式⑦：

令式⑦式正比于式⑧：

g、计算公式⑧中的目标函数，对每一个实例计算L_u,u ^-1，对于无标签序列，L_u,u ^-1计算采用如下方法，如式⑨所示：

根据矩阵反演定理，得到

h、采用one-vs-rest扩展到多分类问题，如式⑩所示：

利用matlab求解矩阵L，应用矩阵的分块求得L_a,a，计算得其逆，根据矩阵反演定理得到L_u,u ^-1，带入目标函数，挑选出带有最小目标函数的实例，查询其类标签，更新样本集，原种子集中加入挑选出的样本实例，原主动池中剔除挑选出的实例。

5.根据权利要求1-4任一所述的一种基于信息性和代表性主动学习的微表情识别方法，其特征在于，所述步骤C，将更新后的样本集，使用支持向量机训练出分类器，用测试集样本检测分类器的识别率，包括步骤如下：

i、将步骤h所得的样本集进行支持向量机训练分类器，对分类器中的参数进行寻优处理，得到一个较优的参数；

j、选择随机选取的方法作为对比方法，将随机从主动池中挑选样本所训练的分类器与使用主动学习从主动池中挑选样本所训练分类器的识别率进行比较。