CN105139039A - 视频序列中人脸微表情的识别方法 - Google Patents

Abstract

本发明视频序列中人脸微表情的识别方法，涉及用于识别图形的记录载体的处理，是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法，步骤是：人脸微表情视频欧拉放大；人脸微表情图像预处理；利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征；利用ELM分类器进行训练和预测。本发明方法克服了现有技术中由于人脸微表情变化幅度小造成微表情难以识别的缺陷。

Description

视频序列中人脸微表情的识别方法

技术领域

本发明的技术方案涉及用于识别图形的记录载体的处理，具体地说是视频序列中人脸微表情的识别方法。

背景技术

微表情(micro-expression)是人类试图压抑或隐藏真实情感时泄露的非常短暂的不能自主控制的面部表情，Ekman等人对微表情开展了一系列研究，其结果表明微表情是识别谎言的有效线索，可以被广泛地应用于安全、司法、临床和法律领域。但是微表情持续时间短且难以识别，即使是受过良好训练的人，进行微表情识别时，准确率仅在40％左右。因此，研发自动微表情识别系统，实现计算机自动识别微表情，无论对于开展微表情识别的机理研究，还是对于进行微表情识别的实际应用都是非常必要的。

目前，国内外很多团队都在开展微表情研究。Ekman和Friesen于1969首次发现微表情的重要性，并且一直是微表情研究的主要力量之一，但他们的大部分研究工作成果至今并未见到公开发表。中科院王甦菁提出了一种基于判别式分析的独立张量子空间(DTSA)和极限学习机的微表情识别算法，但是该方法计算复杂，而且识别效率只有50％左右。后来，王甦菁对颜色信息加以考虑，因为颜色信息R、G、B三个成分有较大的相关，所以考虑利用独立成分分析(ICA)，对张量的第四阶(颜色)去相关性，建立了TICS模型，并且在对CASME数据库进行分类的时候，提出将紧张和压抑这两个非常相似的微表情归为一类，将识别率提高到了61.8％。日本筑波大学Polikovsky团队利用3D梯度直方图方法进行微表情的检测识别，对200fps的视频序列进行处理，首先将人脸表情按照特定区域进行分块，然后在每一个区域提取3D直方图特征描述运动方向，在检测到微表情之后，根据一些给定的规则诸如FACS编码进行分类，该方法利用的数据库是研究人员自己构建的，参与人员被要求以尽可能低的表情强度、尽可能快的速度做出面部表情，论文并没有给出最终的识别率，该方法的人脸跟踪效果不好，没有足够的测试集进行测试，分类算法无法适应复杂的人脸变化。美国南佛罗里达大学Shreveport团队把光流法用于微表情研究，该方法利用应变模式处理连续的、不断变化的长视频，对面部表情的自动分割，通过对面部划分成的8个兴趣区域计算得到的光学应力与训练等得到的某一阈值进行比较，实现了对表情和微表情的分割。虽然该方法对光照不均匀和大量移动问题是鲁棒性的，但较为依赖于面部皮肤中形变的大小。芬兰奥卢大学的赵国英团队利用时间差值模型和LBP-TOP算法提取微表情序列的特征，通过提取序列图像或视频在时域和空域方向上的动态LBP纹理特征进行微表情的识别，算法测试库样本量相对较小，识别率较低。CN103258204A公开了一种基于Gabor和EOH特征的自动微表情识别方法，利用Gabor和EOH特征进行微表情特征提取，但Gabor和EOH表征全局的能力较弱，且需要结合改进后的GentleSVM分类器才能进行微表情的分类识别，所需的硬件设备性能要求较高，而识别性能低于人们的期望。CN104298981A提出了基于CBP-TOP特征的自动微表情识别方法，使用ELM分类器进行分类，该方法在计算每一个像素的CBP值的时候都涉及到了乘和幂运算，相比于本发明方法，计算复杂度高，而且提取的微表情信息不够完整。现有人脸微表情的识别方法主要存在提取的微表情序列信息单一，没有从多个频率和方向考虑，因而识别性能低的缺陷。

发明内容

本发明所要解决的技术问题是：提供视频序列中人脸微表情的识别方法，是在对人脸微表情视频利用欧拉影像放大技术进行放大之后，对人脸微表情图像序列进行预处理，再利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征，最后利用分类器进行训练和预测，该方法克服了现有技术中由于人脸微表情变化幅度小造成微表情难以识别的缺陷。

上述HLACLF-TOP是Higher-orderLocalAuto-CorrelationLikeFeaturesfromThreeOrthogonalPanels的缩写，中文意思为基于三个正交平面的类似高阶局部自相关特征。

本发明解决该技术问题所采用的技术方案是：视频序列中人脸微表情的识别方法，是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法，具体步骤如下：

第一步，人脸微表情视频欧拉放大：

利用欧拉影像放大算法对人脸微表情视频进行放大，将放大后的人脸微表情视频转为人脸微表情图像序列；

第二步，人脸微表情图像预处理：

利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理，利用Adaboost算法检测该微表情图像中的人脸并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素，即人脸微表情图像的宽度和高度均为M个像素；

第三步，利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征：

以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征，

通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征，具体过程为：

(1)计算XY平面的HLACLF向量：

人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧，得到一个HLACLF向量，将这些特征向量串联起来，得到该序列在当前平面的特征向量(f₁₁,f₁₂,...,f_1m,f₂₁,f₂₂,...,f_2m,...,f_n1,f_n2,...,f_nm)，操作方法是：

首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3的区域，将掩膜各位置的值作为所对应的像素的权值，进行相乘再相加，得到该区域的特征值，然后将HLAC掩膜向右滑动3个像素，与前面的区域无重叠，进行掩膜操作，得到该3×3区域特征值，继续向右滑动，直到该行的最右端，将这一行每个3×3小区域得到的特征值相加得到该行的向量值f₁₁；

将HLAC掩膜向下滑动3个像素，按上述操作方法，继续从左到右扫描该图像进行掩膜操作，得到该行的向量值f₁₂；

重复上述操作，直到扫描完整个图像，得到该图像在该掩膜下得到的HLACLF向量(f₁₁,f₁₂,f₁₃,...,f_1m)，其中m＝M/3，当前图像大小为M×M像素，即图像的宽度和高度均为M个像素；

HLAC掩膜包含25个0到2阶的3×3掩膜，0-阶掩膜即在3×3的窗口中只有中心位置为1，其他位置为0；1-阶掩膜是在3×3的窗口中有两个位置为1，其他为0；2-阶掩膜是在3×3的窗口中有三个位置为1，其他为0；将25个3×3经典HLAC掩膜作用在XY平面，即按照上述方法，每个掩膜提取一个HLACLF向量，最后每个序列在XY平面上得到25个向量，记为，

${(f_{11}^k,f_{12}^k,\mathrm{...},f_{1m}^k,\mathrm{...},f_{ab}^k,\mathrm{...},f_{nm}^k)}_{XY},k=1,2,\mathrm{...},25---\left(1\right),$

其中n为每个微表情序列中帧的个数，a代表人脸微表情图像序列中第a帧，b代表每帧人脸微表情图像中的第b个向量元素，b取值范围为1,…,m，k表示第k个掩膜；

(2)计算XT平面和YT平面的HLACLF向量：

XT平面和YT平面中的T轴是时间轴，分别与Y轴和X轴垂直，

将HLAC掩膜改进为6个1×3的掩膜，这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜，0-阶掩膜即只有一个位置为1，1-阶掩膜为两个位置为1，在XT和YT平面上采用这6个1×3的掩膜进行特征提取，操作方法是：

将6个1×3的掩膜分别作用于XT平面和YT平面，XT与YT平面大小为均为M×n，其中，图像序列中每帧图像的宽为M个像素，n为每个微表情序列中帧的个数，对于XT平面和YT平面分别在在Y轴与X轴上，以3为步长按照上述XY平面上掩膜的扫描方法，将1×3的掩膜在XT和YT平面上进行扫描，在每个平面上提取一个1×n的向量，最后，每个序列在XT及YT平面上得到的向量的大小均为n×m，其中m＝M/3，与XY平面得到的向量大小一致，记为，

${(f_{11}^k,f_{12}^k,\mathrm{...},f_{1n}^k,\mathrm{.....},f_{ab}^k,\mathrm{...},f_{mn}^k)}_{XT/YT},k=1,2,\mathrm{...},6---\left(2\right),$

其中，n表示每个微表情序列中帧的个数，a代表在Y轴或X轴上取到的第a个平面，a取值为1,…,m，b代表该平面上的第b个向量元素，b取值为1,…,n，k表示第k个掩膜；

(3)计算整个人脸微表情图像序列的HLACLF-TOP特征向量：

将上述步骤(1)和步骤(2)获得的XY、XT和YT平面的特征向量进行串联，得到25+6+6个长度为m×n的向量，作为每个人脸微表情视频序列的HLACLF-TOP特征向量，即将37个向量串联，作为每个人脸微表情视频序列的HLACLF-TOP特征，由此利用HLACLF-TOP算法提取到人脸微表情序列的动态时空纹理特征；

第四步，利用ELM分类器进行训练和预测∶

利用ELM分类器进行训练和预测，用以验证HLACLF-TOP算法的有效性，同时对人脸微表情序列的特征进行分类识别，判断提取的HLACLF-TOP特征究竟属于哪类人脸微表情，具体操作过程如下：

(1)将第二步人脸微表情图像预处理完成的人脸微表情序列进行分类：

将人脸微表情分成四类：消极、积极、惊讶和模棱两可；

(2)分类训练集和测试集：

将上述步骤(1)中四类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶2；

(3)确定各平面的权值：

对第三步中得到的HLACLF特征向量计算出单个平面XY、XT和YT的之间的识别率之比，XY及XT平面的贡献率比YT平面的要高，将XY和XT平面权值初始化为0.35，将YT平面权值从0到0.34变化，相应地，XT和YT平面的权值从0.50到0.33变化，当XY∶XT∶YT的权值比值为0.40∶0.40∶0.20的时候，视频序列中人脸微表情的识别率最高；

(4)构造ELM分类器：

对上述步骤(2)中的训练集提取HLACLF-TOP特征，得到每一种人脸微表情的ELM训练模型，将所有人脸微表情的ELM训练模型组合成ELM人脸微表情分类器；对上述步骤(2)中的测试集提取HLACLF-TOP特征，利用训练好的ELM分类器进行预测，区分属于哪种人脸微表情，选用Sigmoidal函数作为ELM的分类函数。

上述人脸微表情的识别方法，所述M×M像素中，M取值为60。

上述人脸微表情的识别方法，所述单个平面XY、XT和YT的之间的识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30。

上述人脸微表情的识别方法，所述“HLAC掩膜、欧拉影像放大算法、高斯滤波器、Adaboost算法和ELM分类器”都是公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明方法提出HLACLF-TOP算法提取人脸微表情序列特征，在XY平面上利用25个不同的掩膜，同时XT和YT平面上分别利用6个不同掩膜，从不同的频率和方向上提取人脸微表情序列的动态时空纹理特征，同时，根据三个平面的不同，三个平面上采用的掩膜个数不一样，能够更接近地分解人脸微表情图像；而早先的CN104298981A提出的基于CBP-TOP特征的自动微表情识别方法没有从多频率多方向提取特征，相比于本发明中的方法，提取的特征较为单一；

(2)本发明方法中只涉及简单的加法运算，计算复杂度低；CN104298981A人脸微表情的识别方法中涉及到了乘和幂运算，相比于本发明方法，计算复杂度高；

(3)本发明方法中提取的是人脸的全局特征，由于微表情本身的变化幅度小的特点，需要结合面部多处的细微变化信息进行分析，所以提取人脸全局特征，能够很好的表达微表情；而CN104298981A人脸微表情的识别方法中对人脸进行了分块，考虑到了局部的变化信息，但同时也会损失一部分信息；

(4)本发明方法采用ELM分类器进行人脸微表情的训练和预测，ELM可以直接应用于回归分析和多分类应用，对于数据量非常大的人脸微表情图像序列和多类分类问题，ELM的处理速度和准确率显著高于现有的SVM分类器；

(5)本发明方法同时提取人脸微表情序列的不同的频率和方向信息，提高了人脸微表情的识别率和准确性，以及训练的速度和效率，使得人脸微表情识别进入可应用的领域。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明方法的流程示意框图。

图2是本发明方法中人脸微表情视频欧拉放大前后的对比示意图，其中：

图2(a)是人脸微表情视频在欧拉放大前的图像序列图像。

图2(b)是人脸微表情视频在欧拉放大后的图像序列图像。

图3是本发明方法中人脸微表情视频欧拉放大后人脸微表情图像预处理前后的对比示意图，其中：

图3(a)是人脸微表情预处理前的图像。

图3(b)是利用Adaboost算法多个弱分类器的叠加进行人脸区域的检测图像。

图3(c)是人脸微表情预处理后的图像。

图4是本发明方法中一段人脸微表情变化序列效果示意图，其中：

图4(a)是人脸微表情序列的开始帧图像。

图4(b)是图4(a)到图4(c)之间的过渡人脸微表情图像。

图4(c)是人脸微表情出现的第一帧图像。

图4(d)是人脸微表情持续帧图像。

图4(e)是人脸微表情持续帧图像。

图4(f)是人脸微表情持续帧图像。

图4(g)是人脸微表情结束的最后一帧图像。

图4(h)是人脸微表情序列的结束帧图像。

图5是本发明方法中HLACLF特征的掩膜过程示意图，其中：

图5(a)为作用在XY平面上的25个HLAC掩膜的示意图。

图5(b)为改进的HALC作用在XT和YT平面上的6个掩膜的示意图。

图6是本发明中HLAC掩膜及改进的HLAC掩模分别作用于XY及XT和YT平面的计算过程示意图，其中：

图6(a)为将25个3×3的掩膜作用在XY平面的示意图。

图6(b)为将6个1×3的掩膜作用在XT平面的示意图。

图6(c)为将6个1×3的掩膜作用在YT平面的示意图。

图7为不同的人脸微表情识别方法在四分类的CASME数据库上实验结果图。

具体实施方式

图1所示实施例表明，本发明视频序列中人脸微表情的识别方法的流程是：人脸微表情视频欧拉放大→人脸微表情图像预处理→利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征→利用ELM分类器进行训练和预测。

图2所示实施例表明，在本发明方法中，人脸微表情视频欧拉放大前后对比如下：图2(a)是人脸微表情视频在欧拉放大前的图像序列的效果，图2(b)是人脸微表情视频在欧拉放大后的图像序列的效果，主要过程是将原始人脸微表情视频输入，利用欧拉影像放大算法进行放大，放大后的人脸微表情的动作幅度明显变大。

图3所示实施例表明，在本发明方法中，人脸微表情视频欧拉放大后人脸微表情图像预处理前后的对比如下：图3(a)是人脸微表情预处理前的图像，图3(b)是利用Adaboost算法多个弱分类器的叠加进行人脸区域的检测图像，图3(c)是人脸微表情最终处理后的图像，主要过程是对裁剪后的人脸区域，利用双线性插值算法进行图像的尺寸归一化，经过处理后的人脸微表情图像大小为60×60像素。

图4所示实施例显示了本发明方法中的一段人脸微表情变化序列。其中，图4(a)是人脸微表情序列的开始帧，此时人脸微表情处于中性；图4(b)是图4(a)到图4(c)之间的过渡人脸微表情图，人脸微表情即将开始；图4(c)是人脸微表情出现的第一帧；图4(d)、图4(e)和4(f)是人脸微表情持续帧；图4(g)是人脸微表情结束的最后一帧；图4(h)是人脸微表情序列的结束帧。

图5所示实施例显示了本发明方法中HALC及改进的HALC掩膜过程，其中，5(a)表明作用在XY平面上的25个HLAC掩膜，分别包含了0-阶、1-阶和2-阶掩膜；5(b)表明改进的HALC作用在XT和YT平面上的6个1×3的掩膜，分别包含了0-阶和1-阶掩膜。

图6所示实施例显示了本发明方法中将各个HLAC掩膜作用于XY、XT和YT平面的计算过程，视频序列随着帧数的不同，XY和XT、YT平面大小不一样，作用在XY平面上的25个3×3的经典HLAC掩膜不能应用于XT和YT平面，在XT和YT平面上采用的改进的HALC是6个1×3的掩膜。其中，图6(a)展示的是将25个3×3HLAC掩膜作用在XY平面的过程，即按照上述第三步所述方法，每个掩膜提取一个HLACLF向量，最后每个序列在XY平面上得到25个向量，记为

其中n为每个微表情序列中帧的个数，a代表图像序列中第a帧，b代表每帧图像中的第b个向量元素，b取值为1,…,m，k表示是第k个掩膜；

图6(b)和图6(c)展示的分别是将6个1×3改进的HLAC掩膜作用在XT和YT平面的过程，XT与YT平面大小为均为M×n，其中，图像序列中每帧图像的宽为M个像素，n为每个微表情序列中帧的个数，为了与XY平面中得到的向量保持一致，对于XT平面和YT平面分别在Y轴与X轴上，以3为步长取一个平面，在每个平面上提取一个1×n的向量，最后，每个序列在XT及YT平面上得到的向量的大小均为n×m，其中m＝M/3，与XY平面得到的向量大小一致，记为，

${(f_{11}^k,f_{12}^k,\mathrm{...},f_{1n}^k,\mathrm{...},f_{ab}^k,\mathrm{...},f_{mn}^k)}_{XT/YT},k=1,2,\mathrm{...6}---\left(7\right),$

其中，n表示每个微表情序列中帧的个数，由于在XT和YT平面上，掩膜大小为1×3，每个切面大小为M×n，所以在每个平面得到的向量元素个数为n，a代表在Y轴或X轴上取到的第a个平面，a取值为1,…,m，b代表该平面上的第b个向量元素，b取值为1，…，n；k表示为第k个掩膜；

串联三个平面的特征得到25+6+6个长度为m×n的向量，作为每个微表情视频序列的HLACLF特征向量；

利用不同的HLAC掩膜作用于视频序列上，得到不同的方向和频率的信息，XY平面获得形变信息，XT和YT平面获得水平、垂直方向的运动信息，同时，采用从0-阶到2-阶的不同阶的掩膜，得到不同频率的图像信息，而且每个掩膜中1的分布位置不一样，在一定程度上体现了不同方向上的信息。

图7所示实施例表明，采用不同的人脸微表情识别方法在四分类的CASME数据库上进行实验，得到的平均识别率的对比，图中横坐标表示不同的方法，纵坐标表示不同方法的识别率(％)。具体数据见表2。

实施例1

本实施例的视频序列中人脸微表情的识别方法，是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法，具体步骤如下：

第一步，人脸微表情视频欧拉放大：

利用欧拉影像放大算法对人脸微表情视频进行放大，将放大后的人脸微表情视频转为人脸微表情图像序列；该步人脸微表情视频放大前后的效果如图2实施例所示；

第二步，人脸微表情图像预处理：

利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理，利用Adaboost算法检测该微表情图像中的人脸并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素，即人脸微表情图像的宽度和高度均为M个像素；这里M取值为60，该步人脸微表情图像预处理的结果如上述图3实施例所示；

第三步，利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征：

以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征，

通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征，具体过程为：

(1)计算XY平面的HLACLF向量：

人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧，得到一个HLACLF向量，将这些特征向量串联起来，得到该序列在当前平面的特征向量(f₁₁,f₁₂,...,f_1m,f₂₁,f₂₂,...,f_2m,...,f_n1,f_n2,...,f_nm)，操作方法是：

首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3的区域，将掩膜各位置的值作为所对应的像素的权值，进行相乘再相加，得到该区域的特征值，然后将HLAC掩膜向右滑动3个像素，与前面的区域无重叠，进行掩膜操作，得到该3×3区域特征值，继续向右滑动，直到该行的最右端，将这一行每个3×3小区域得到的特征值相加得到该行的向量值f₁₁；

将HLAC掩膜向下滑动3个像素，按上述操作方法，继续从左到右扫描该图像进行掩膜操作，得到该行的向量值f₁₂；

重复上述操作，直到扫描完整个图像，得到该图像在该掩膜下得到的HLACLF向量(f₁₁,f₁₂,f₁₃,...,f_1m)，其中m＝M/3，当前图像大小为M×M像素，即图像的宽度和高度均为M个像素；

HLAC掩膜包含25个0到2阶的3×3掩膜，0-阶掩膜即在3×3的窗口中只有中心位置为1，其他位置为0；1-阶掩膜是在3×3的窗口中有两个位置为1，其他为0；2-阶掩膜是在3×3的窗口中有三个位置为1，其他为0；将25个3×3经典HLAC掩膜作用在XY平面，即按照上述方法，每个掩膜提取一个HLACLF向量，最后每个序列在XY平面上得到25个向量，记为，

${(f_{11}^k,f_{12}^k,\mathrm{...},f_{1m}^k,\mathrm{...},f_{ab}^k,\mathrm{...},f_{nm}^k)}_{XY},k=1,2,\mathrm{...},25---\left(1\right),$

其中n为每个微表情序列中帧的个数，a代表人脸微表情图像序列中第a帧，b代表每帧人脸微表情图像中的第b个向量元素，b取值范围为1,…,m，k表示是第k个掩膜；

(2)计算XT和YT平面的HLACLF向量：

XT平面和YT平面中的T轴是时间轴，分别与Y轴和X轴垂直，

由于人脸微表情序列的特殊性，XY与XT、YT平面大小不一样，作用在XY平面上的25个3×3的经典HLAC掩膜作用不适用于XT和YT平面，将HLAC掩膜改进为6个1×3的掩膜，这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜，0-阶掩膜即只有一个位置为1，1-阶掩膜为两个位置为1，在XT和YT平面上采用这6个1×3的掩膜进行特征提取，操作方法是：

将6个1×3的掩膜分别作用于XT平面和YT平面，XT与YT平面大小为均为M×n，其中，图像序列中每帧图像的宽为M个像素，n为每个微表情序列中帧的个数，对于XT平面和YT平面分别在在Y轴与X轴上，以3为步长按照上述XY平面上掩膜的扫描方法，将1×3的掩膜在XT和YT平面上进行扫描，在每个平面上提取一个1×n的向量，最后，每个序列在XT及YT平面上得到的向量的大小均为n×m，其中m＝M/3，与XY平面得到的向量大小一致，记为，

${(f_{11}^k,f_{12}^k,\mathrm{...},f_{1n}^k,\mathrm{.....},f_{ab}^k,\mathrm{...},f_{mn}^k)}_{XT/YT},k=1,2,\mathrm{...},6---\left(2\right),$

其中，n表示每个微表情序列中帧的个数，由于在XT和YT平面上，掩膜大小为1×3，每个切面大小为M×n，所以在每个平面取到的向量元素个数为n，a代表在Y轴或X轴上取到的第a个平面，a取值为1,…,m，b代表该平面上的第b个向量元素，b取值为1,…,n，k表示当前为第k个掩膜；

(3)计算整个人脸微表情图像序列的HLACLF-TOP特征向量：

将上述步骤(1)和步骤(2)获得的XY、XT和YT平面的特征向量进行串联，得到25+6+6个长度为m×n的向量，作为每个人脸微表情视频序列的HLACLF-TOP特征向量，即将37个向量串联，作为每个人脸微表情视频序列的HLACLF-TOP特征，由此利用HLACLF-TOP算法提取到人脸微表情序列的动态时空纹理特征；

在XY、XT和YT平面分别采用不同阶的掩膜得到不同频率的信息，而且每个掩膜中1的分布位置不一样，在一定程度上体现了不同方向上的信息；利用不同的HLAC掩膜作用于视频序列上，提取人脸微表情序列的不同频率和方向的动态纹理信息，即获取人脸微表情序列在XY平面的形变信息，以及在XT平面和YT平面的运动信息；

该步利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征，包括人脸微表情序列的频率和方向信息的结果如上述图5-图6实施例所示；

第四步，利用ELM分类器进行训练和预测：

利用ELM分类器进行训练和预测，用以验证HLACLF-TOP算法的有效性，同时对人脸微表情序列的特征进行分类识别，判断提取的HLACLF-TOP特征究竟属于哪类人脸微表情，具体操作过程如下：

(1)将第二步人脸微表情图像预处理完成的人脸微表情序列进行分类：

将人脸微表情分成四类：消极、积极、惊讶和模棱两可；

(2)分类训练集和测试集：

将上述步骤(1)中四类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3：2；

(3)确定各平面的权值：

对第三步中得到的HLACLF特征向量计算出单个平面XY、XT和YT的之间的识别率之比，本实施例中单个平面XY、XT和YT的之间的识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30，XY及XT平面的贡献率比YT平面的要高，将XY和XT平面权值初始化为0.35，将YT平面权值从0到0.34变化，相应地，XT和YT平面的权值从0.50到0.33变化，当XY∶XT∶YT的权值比值为0.40∶0.40∶0.20的时候，视频序列中人脸微表情的识别率最高；

(4)构造ELM分类器：

对上述步骤(2)中的训练集提取HLACLF-TOP特征，得到每一种人脸微表情的ELM训练模型，将所有人脸微表情的ELM训练模型组合成ELM人脸微表情分类器；对上述步骤(2)中的测试集提取HLACLF-TOP特征，利用训练好的ELM分类器进行预测，区分属于哪种人脸微表情，选用Sigmoidal函数作为ELM的分类函数。

本实施例是在CASME人脸微表情数据库进行实验。从CASME库中，选取136个图像序列进行实验，这些人脸微表情序列总周期小于500ms或者人脸微表情启动时间(从开始帧到最大帧)小于250ms。原始CASME数据库中，将人脸微表情序列分为四类∶消极、积极、惊讶和模棱两可，分别包含31、8、17和80个图像序列，其中消极包含了厌恶和悲伤，因为悲伤样本数特别少，而且与厌恶很相似，积极包含了高兴的微表情，模棱两可包含紧张和压抑，每个图像序列包含20帧，共2720幅图像。本发明是在Windows7环境下的MATLABR2012a平台上运行完成。

实验中分别计算单个平面时候的识别率，即分别计算只提取XY平面，只提取XT平面和只提取YT平面的特征进行分类，计算各自的识别率，通过计算得到识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30，XY和XT平面的识别率比YT平面稍高，以0.35为基准，将YT平面权值从0到0.34变化，相应地，XY和XT平面权值从0.50到0.33变化，当YT平面权值为0.20的时候平均识别率最高，达到了91.1％，表1是三个平面取不同权值时候的识别率之比。

表1.三个平面赋予不同权值时的平均识别率(％)

表2是将CASME数据库进行四分类，采用不同的人脸微表情识别方法作用在该数据库上得到的识别率的对比，其中TICS+ElM方法是王甦菁等人提出的基于独立张量颜色空间的方法，采用ELM分类器，识别率在61.56％；LBP-TOP+ELM方法是在XY、XT和YT平面上分别提取LBP特征，用ELM进行分类；HLBP-TOP+ELM方法是LBP-TOP方法的一个改进，HLBP特征是Haar型特征结合了LBP重新编码的思想来进行描述的，分别从三平面提取HLBP特征，作为HLBP-TOP特征，然后用进行分类；DTCM+RF方法，DTCM即Delaunay-BasedTemporalCodingModel，基于德劳内三角的编码，将AAM(ActiveAppearanceModel主动外观模型)所确定的68个人脸关键点连接成德劳内三角，相邻两帧相应位置的德劳内三角进行相减，设定阈值对差值三角进行时间编码，把编码结果作为所提取的特征，用随机森林进行分类；将本发明方法与以上几种方法进行对比，本发明方法明显优于其他的方法。

表2.在CASME数据库上不同方法的平均识别率(％)

表3是统计本发明方法与上述LBP-TOP方法、HLBP-TOP方法以及CN104298981A中提出的CBP-TOP方法在四分类CASME上不同微表情识别率的对比，更加体现出本发明方法的优越性。其中，CN104298981A中将表情分为厌恶、高兴、压抑、惊讶和紧张五类，为了充分突出本发明方法的优越性，将CN104298981A中用到的几种微表情按照本发明方法进行四分类，其中厌恶归类到消极，高兴归类到积极，惊讶仍为惊讶一类，紧张和压抑归类为模棱两可。

表3.在CAMSE数据库上不同微表情的识别率对比

Claims (3)

1.视频序列中人脸微表情的识别方法，其特征在于：是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法，具体步骤如下：

第一步，人脸微表情视频欧拉放大：

利用欧拉影像放大算法对人脸微表情视频进行放大，将放大后的人脸微表情视频转为人脸微表情图像序列；

第二步，人脸微表情图像预处理：

利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理，利用Adaboost算法检测该微表情图像中的人脸并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素，即人脸微表情图像的宽度和高度均为M个像素；

第三步，利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征：

以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征，

通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征，具体过程为：

(1)计算XY平面的HLACLF向量：

人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧，得到一个HLACLF向量，将这些特征向量串联起来，得到该序列在当前平面的特征向量(f₁₁,f₁₂,...,f_1m,f₂₁,f₂₂,...,f_2m,...,f_n1,f_n2,...,f_nm)，操作方法是：

首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3的区域，将掩膜各位置的值作为所对应的像素的权值，进行相乘再相加，得到该区域的特征值，然后将HLAC掩膜向右滑动3个像素，与前面的区域无重叠，进行掩膜操作，得到该3×3区域特征值，继续向右滑动，直到该行的最右端，将这一行每个3×3小区域得到的特征值相加得到该行的向量值f₁₁；

将HLAC掩膜向下滑动3个像素，按上述操作方法，继续从左到右扫描该图像进行掩膜操作，得到该行的向量值f₁₂；

重复上述操作，直到扫描完整个图像，得到该图像在该掩膜下得到的HLACLF向量(f₁₁,f₁₂,f₁₃,...,f_1m)，其中m＝M/3，当前图像大小为M×M像素，即图像的宽度和高度均为M个像素；

HLAC掩膜包含25个0到2阶的3×3掩膜，0-阶掩膜即在3×3的窗口中只有中心位置为1，其他位置为0；1-阶掩膜是在3×3的窗口中有两个位置为1，其他为0；2-阶掩膜是在3×3的窗口中有三个位置为1，其他为0；将25个3×3经典HLAC掩膜作用在XY平面，即按照上述方法，每个掩膜提取一个HLACLF向量，最后每个序列在XY平面上得到25个向量，记为，

${(f_{11}^k,f_{12}^k,...,f_{1m}^k,...,f_{ab}^k,...,f_{nm}^k)}_{XY},k=1,2,...,25---\left(1\right),$

其中n为每个微表情序列中帧的个数，a代表人脸微表情图像序列中第a帧，b代表每帧人脸微表情图像中的第b个向量元素，b取值范围为1,…,m；，k表示是第k个掩膜；

(2)计算XT平面和YT平面的HLACLF向量：

XT平面和YT平面中的T轴是时间轴，分别与Y轴和X轴垂直，

将HLAC掩膜改进为6个1×3的掩膜，这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜，0-阶掩膜即只有一个位置为1，1-阶掩膜为两个位置为1，在XT和YT平面上采用这6个1×3的掩膜进行特征提取，操作方法是：

将6个1×3的掩膜分别作用于XT平面和YT平面，XT与YT平面大小为均为M×n，其中，图像序列中每帧图像的宽为M个像素，n为每个微表情序列中帧的个数，对于XT平面和YT平面分别在在Y轴与X轴上，以3为步长按照上述XY平面上掩膜的扫描方法，将1×3的掩膜在XT和YT平面上进行扫描，在每个平面上提取一个1×n的向量，最后，每个序列在XT及YT平面上得到的向量的大小均为n×m，其中m＝M/3，与XY平面得到的向量大小一致，记为，

${(f_{11}^k,f_{12}^k,...,f_{1n}^k,...\·\·,f_{ab}^k,...,f_{mn}^k)}_{XT/YT},k=1,2,...,6---\left(2\right),$

其中，n表示每个微表情序列中帧的个数，a代表在Y轴或X轴上取到的第a个平面，a取值为1,…,m，b代表该平面上的第b个向量元素，b取值为1,…,n，k表示当前为第k个掩膜；

(3)计算整个人脸微表情图像序列的HLACLF-TOP特征向量：

将上述步骤(1)和步骤(2)获得的XY、XT和YT平面的特征向量进行串联，得到25+6+6个长度为m×n的向量，作为每个人脸微表情视频序列的HLACLF-TOP特征向量，即将37个向量串联，作为每个人脸微表情视频序列的HLACLF-TOP特征，由此利用HLACLF-TOP算法提取到人脸微表情序列的动态时空纹理特征；

第四步，利用ELM分类器进行训练和预测：

利用ELM分类器进行训练和预测，用以验证HLACLF-TOP算法的有效性，同时对人脸微表情序列的特征进行分类识别，判断提取的HLACLF-TOP特征究竟属于哪类人脸微表情，具体操作过程如下：

(1)将第二步人脸微表情图像预处理完成的人脸微表情序列进行分类：

将人脸微表情分成四类：消极、积极、惊讶和模棱两可；

(2)分类训练集和测试集：

将上述步骤(1)中四类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶2；

(3)确定各平面的权值：

对第三步中得到的HLACLF特征向量计算出单个平面XY、XT和YT的之间的识别率之比，XY及XT平面的贡献率比YT平面的要高，将XY和XT平面权值初始化为0.35，将YT平面权值从0到0.34变化，相应地，XT和YT平面的权值从0.50到0.33变化，当XY∶XT∶YT的权值比值为0.40∶0.40∶0.20的时候，视频序列中人脸微表情的识别率最高；

(4)构造ELM分类器：

对上述步骤(2)中的训练集提取HLACLF-TOP特征，得到每一种人脸微表情的ELM训练模型，将所有人脸微表情的ELM训练模型组合成ELM人脸微表情分类器；对上述步骤(2)中的测试集提取HLACLF-TOP特征，利用训练好的ELM分类器进行预测，区分属于哪种人脸微表情，选用Sigmoidal函数作为ELM的分类函数。

2.根据权利要求1所述视频序列中人脸微表情的识别方法，其特征在于：所述M×M像素中，M取值为60。

3.根据权利要求1所述视频序列中人脸微表情的识别方法，其特征在于：所述单个平面XY、XT和YT的之间的识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30。