CN104008391A - 一种基于非线性降维的人脸微表情捕捉及识别方法 - Google Patents

Abstract

本发明提出了一种基于非线性降维的人脸微表情捕捉及识别方法，该方法首先构建一种高速图像采集应用系统并获取高速视频人脸图像序列，然后利用一种基于拉普拉斯特征映射的非线性降维方法，对获得的高速视频人脸图像序列进行降维，最后在低维空间中进行特征参数计算，应用低维空间特征参数跟踪识别人脸微表情变化。实验表明该方法对计算机性能要求低，计算速度快，使得实时跟踪识别人脸微表情变化成为可能。

Description

一种基于非线性降维的人脸微表情捕捉及识别方法

技术领域

本发明涉及一种基于非线性降维的人脸微表情捕捉及识别方法。构建一种高速时间序列图像动态采集系统获取人脸动态时间序列图像，利用一种基于拉普拉斯特征映射的非线性降维方法，最终实现低维空间人脸微表情的捕捉及识别。

背景技术

微表情(Micro-expression)是一种持续时间仅为40毫秒至200毫秒的非常快速的表情，它不受意识控制，反映了人类内心的真正情感。微表情作为欺骗检测线索，在临床上、侦查审讯、国家安全等领域有重要价值，应用前景极其广阔。

在临床上，医生若能识别病人的微表情，则可以更好地了解病人的需求，针对性地确定治疗方案，缩短疗程，提高疗效。在侦查审讯、国家安全领域，有些训练有素的恐怖分子等危险人物可能轻易就通过测谎仪的检测，但是通过微表情，一般就可以发现他们虚假表面下的真实表情。

目前，人们对微表情的认识还十分有限，微表情识别一般借助面部行为编码系统FACS(Facial ActionCoding System)对可能包含微表情的视频进行逐帧的编码。FACS编码的训练十分费时，编码者一般需要接受100小时的训练才能达到初步熟练的程度；同时使用FACS进行编码也很费时，编码1分钟的视频至少需要2个小时。这极大地限制了目前的微表情研究及应用，此外，由于微表情出现速度很快，人工识别有很大困难，可靠性也无法保证，因此，急需一种有效的人脸微表情自动识别方法。

2011年，美国南佛罗里达大学的Shreve¹采用光流法提取微表情特征，然后根据给定阈值进行微表情分类。同年，芬兰奥卢大学的赵国英²以时间差值模型LBP-TOP为特征提取方法，综合利用支持向量机、随机森林和多核学习方法进行微表情分类。但这些研究与自动识别微表情的目标尚有较大差距，仅仅只是初步探索。2011年，中国科学院心理研究所的吴奇³等对视频中的人脸进行捕获并进行相应的预处理，基于Gabor特征对捕获到的人脸图像进行特征提取，以形成人脸表情的Gabor表征，再结合Gabor特征与改进的GentleSVM算法实现人脸表情识别，不过，该结果是基于特定的测试集得到的，对于幅度较小的表情或将其应用于现实环境中可能无法达到很高的识别率。2013年，日本的Polikovsky⁴使用200fps高速摄像机在特定的环境下拍摄了10组大学生的面部微表情活动，参与者被要求从6种表情以自己最快的速度回到中性表情中，完成模拟微表情变化的过程。记录下面部的微变化后，将面部分为12个感兴趣区，对每一区域采用3D梯度方向直方图描述运动。综合K均值聚类和表决程序的分类结果表明，3D梯度方向直方图可以有效表征不同面部区域处在不同相位的面部表情动作单元。迄今为止，只有日本的Polikovsky⁵创建的微表情视频库使用的是高速照相机，但它是在强光下拍摄，与真实的自然场景有很大区别，因此也需要研制一种获取人脸动态时间序列图像的高速图像采集系统。

微表情持续时间很短并快速变化，需要高速动态图像跟踪捕捉，捕捉到的高速动态图像序列是一个高维数据集，直接对该高维数据进行处理识别微表情特征往往会面临维数灾难。通过维数约减将高维数据转换为低维特征空间表示，必然在相当大的程度上减轻甚至避免图像数据处理所面临的维数灾难。

为实现高维输入样本在局部意义下的最优低维嵌入，Belkin和Niyogi于2003年提出了基于谱图理论的Laplacian Eigenmap⁶(LE)算法。他们发现流形上Laplacian-Beltrami算子的特征函数可以实现流形的低维嵌入，Laplacian-Beltram算子定义为流形切空间上梯度向量的负散度函数。根据谱图理论，如果数据均匀采样于高维空间中的低维流形，那么可以用图的Laplacian去逼近流形上Laplacian-Beltrami算子，进而可以用图的Laplacian特征向量去逼近流形上Laplacian-Beltrami算子的特征函数。LE算法只需要较少的计算量，执行速度很快，是一种广泛应用的非线性降维方法。

¹Shreve，M.；Godavarthy，S.；Goldgof，D.；Sarkar，S.，"Macro-and micro-expression spotting in long videosusing spatio-temporal strain，″Automatic Face&Gesture Recognition and Workshops(FG2011)，2011IEEEInternational Conference on，vol.，no.，pp.51，56，21-25March2011.

²Pfister，T.；Xiaobai Li；Guoying Zhao；Pietikainen，M.，"Recognising spontaneous facial micro-expressions，″Computer Vision(ICCV)，2011IEEE International Conference on，vol.，no.，pp.1449，1456，6-13Nov.2011.

³Qi Wu，Xunbing Shen，Xiaolan Fu：The Machine Knows What You Are Hiding：An AutomaticMicro-expression Recognition System.ACII(2)2011：152-162.

⁴Polikovsky，Senya；Kameda，Yoshinari；Ohta，Yuichi，"Facial Micro-Expression Detection in Hi-Speed VideoBased on Facial Action Coding System(FACS)″，IEICE TRANSACTIONS ON INFORMATION ANDSYSTEMS，vol.E96D，no.1，pp.81-92JAN2013.

⁵Polikovsky，Senya；Kameda，Yoshinari；Ohta，Yuichi，″Facial Micro-Expression Detection in Hi-Speed VideoBased on Facial Action Coding System(FACS)″，IEICE TRANSACTIONS ON INFORMATION ANDSYSTEMS，vol.E96D，no.1，pp.81-92JAN2013.

⁶Mikhail Belkin，Partha Niyogi.″Laplacian Eigenmaps for Dimensionality Reduction and DataRepresentation″，Neural Computation，200315：6，1373-1396.

发明内容

本发明所解决的主要技术问题是研制一种获取人脸动态时间序列图像的高速图像采集系统，开发一种基于拉普拉斯特征映射的非线性降维的高维序列图像特征计算分析方法，最终实现人脸微表情的捕捉及识别。

本发明所采用的技术方案如下：

1.创建高速图像采集应用系统(硬件组成+应用软件)，设置好高速图像采集系统的软硬件参数配置。

2.采集高速视频人脸图像序列作为输入进行后续特征提取分析。

3.建立一种基于拉普拉斯特征映射非线性降维的方法，对获得的高速视频人脸图像序列进行降维，建立其低维特征空间。

4.在低维空间中进行特征参数计算，应用低维空间特征参数跟踪识别人脸微表情变化。

本发明具有如下优点：

(1)LE算法在构造近邻图和求低维嵌入的计算复杂度分别为0(Dn²)和0(dn²)，在设置重构权值矩阵的计算复杂度最多不超过0(kDn)，因此，LE算法只需要较少的计算量，执行速度快。

(2)由于微表情变化时间序列图像维数过高，有的特征会对分类起误导作用，对其进行降维，提取出对分类最能起作用的特征，从而提高分类准确率。

(3)在一定程度上消除高维数据中存在的噪声。数据的高维性背后可能包含很多冗余无用的噪声信息，通过对高维数据进行降维，抽取和问题紧密相关的因子，删除冗余的噪声维数。

(4)实验表明，降维后提取的低维特征具有很好的分类能力，这使得实时检测成为可能。

附图说明

图1本发明的方法流程图

图2部分眼睛变动的时间序列图像

图3眼睛变动的时间序列图像的拉普拉斯特征映射降一维嵌入结果

图4部分微笑微表情变化时间序列图像

图5微笑微表情变化时间序列图像的拉普拉斯特征映射降一维嵌入结果

具体实施方式

本发明的方法流程图如图1所示，具体如下：

1.创建高速图像采集应用系统

由于微表情持续时间最短仅为40毫秒，要求fps至少250，控制噪声和系统造价同时，为了提高精度，我们选择采样频率最高可达300fps高速摄像系统，分辨率为800x600像素。高速摄像系统与高性能计算机工作站直接相连，采集系统软件实现图像的实时采集、处理和存储功能。能够激发被试6种表情的相应音频(时长各1分钟)间隔10秒录制在CD中，10秒间隔便于被试舒缓情绪，自然回到中性表情中。6种基本表情图像来自表情数据库。被试通过耳机收听音频，并同时观看相应表情图像。高速摄像系统自动启停采集相关视频，系统安放在在一个8平米房间内，有两盏LED灯。

2.微表情变化时间序列图像的采集

招募10名一年级研究生作为被试，男女各5名，听力和视力正常，并进行培训。房间内只有被试一人，测试过程中佩戴耳机并一直观看摄像机后面的表情显示屏幕，严格要求尽力保持中性表情。高速摄像机正对受试者面部进行视频采集，采集的视频流通过采集卡实时存储在计算机工作站中。

3.对微表情变化时间序列图像预处理

先对视频图像进行滤波降噪预处理，然后从人脸中分割出面部区域并提取相关视频。

4.对人脸微表情变化时间序列图像降维

拉普拉斯特征映射是一种基于局部的非线性降维方法，其思想是通过保持数据的局部性来发掘潜在的流形结构，也即高维空间中距离较近的点在低维嵌入空间也应该比较接近。算法实施如下：

(4.1)构造近邻图G

设G表示n个点的矩阵。我们将i和j连接起来，如果x_i和x_j离很近，就做如下变化：如果

则点i和j由线连接，其中的距离是欧式距离。

(4.2)近邻点赋权

设置近邻点之间的权值：

其中t是一个可调节参数，本算法中取t＝200。

(4.3)求低维嵌入Y

LE算法是一种在平均意义上保持流形局部特性的方法，直观来看，即希望近邻的高维数据点映射到内在低维空间后仍为近邻点。设Y＝[y₁，...，y_n]是高维观测数据集X＝[x₁，...，x_n]的低维嵌入，那么LE算法的目标函数可表示为使下面的损失函数达到极小：

$\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|y_i-y_j\left|\right|}^2{W}_{\mathrm{ij}}---\left(3\right)$

这里，如果近邻点x_i与x_j映射到低维空间后变得相距很远，那么W_ij会施加严厉的惩罚，因此极小化式实际上是确保如果样本点x_i与x_j是近邻点，那么在低维嵌入空间相应的y_i与y_j也应该是近邻点。

对于任何Y，我们有：

$\frac{1}{2}\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|y_i-y_j\left|\right|}^2{W}_{\mathrm{ij}}=\mathrm{tr}\left({\mathrm{YLY}}^T\right)---\left(4\right)$

其中tr(YLY^T)求矩阵YLY^T的迹，L＝D-W是Laplacian矩阵，D为对角矩阵，元素为权值矩阵W的列(行)和，即为了消除尺度因子的影响，施加约束YDY^T＝I，因此LE算法的优化问题转化为：

$\arg \min \underset{\underset{{\mathrm{YDY}}^T=I}{y}}{\mathrm{tr}}\left({\mathrm{YLY}}^T\right)---\left(5\right)$

由此得到，LE算法的低维嵌入Y应取Laplacian矩阵L的最小d+1个特征值所对应的特征向量v₁，...，v_d+1，即：Y＝[v₂，...，v_d+1]^T。

5.考虑到降维后维度值对分类结果的影响，我们使用一种基于剩余方差的维度选择办法，具体方法如下：

高维数据X经过降维处理后的低维数据为Y，Y是跟低维维度d相关的数据集，即不同的d值下Y的数据维度是不同的。对元数据Y和带有landmarks的Y做协方差，然后减去1，对结果求取负值，得到随低维维度d变化的剩余方差的变化曲线。我们取曲线趋于稳定的低维维度d的最小值作为高维数据降维后的本征维度。对降维后获得的d维表情特征，按照其对表情的影响大小降序排列，影响最大的是第一维特征，影响其次的是第二维特征，以此类推，影响最小的是第d维特征。从第一维特征变化图中可以获得第一维特征的幅值和第一维特征的振动频率两个特征参数。

6.随机选择其中9人的所有微表情序列图像作为训练样本，剩下一人的图像作为测试样本，基于留一法交叉验证，利用k近邻分类器进行测试。

实施例一、动眼序列图像识别

利用高速图像采集应用系统获得眼睛变动的序列图像，如图2所示。实验表明，如图3所示，每当眼睛移动或眨眼的时候，LE都能够很敏感地测出变化，眼睛移动的幅度越大，斜率变化越大。而且，当眼睛移动的方向改变的时候，斜率改变的正负的方向也会改变。眨眼的时候，会有一个很大的阶跃。

实施例二、微笑微表情变化时间序列图像识别

采用与实施例一相同方法获得序列图像，如图4所示。实验表明，如图5所示，当无表情的时候，降维的曲线水平稳定。当表情变化，微笑的时候，降维的曲线就出现了大的震荡波动，记录下了表情的变化。

综上所述，本发明提出了一种基于非线性降维的人脸微表情捕捉及识别方法，该方法通过构建一种高速时间序列图像动态采集系统获取人脸动态时间序列图像，利用一种基于拉普拉斯特征映射的非线性降维方法，最终实现低维空间人脸微表情的捕捉及识别。

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，即凡是依据本发明申请的权利要求书及说明书内容所做的简单的、等效变化及修饰，皆落入本发明专利的权利要求保护范围。

Claims (4)

1.一种基于非线性降维的人脸微表情捕捉及识别方法，包括如下步骤：

步骤(1)，创建高速图像采集应用系统(硬件组成+应用软件)；

步骤(2)，采集高速视频人脸图像序列作为输入进行后续特征提取分析；

步骤(3)，对微表情变化时间序列图像预处理，先对视频图像进行滤波降噪预处理，然后从人脸中分割出面部区域并提取相关视频；

步骤(4)，应用拉普拉斯特征映射对序列图像降维；

步骤(5)，在低维空间中进行特征参数计算，基于k近邻分类器应用低维空间特征参数跟踪识别人脸微表情变化。

2.如权利要求1所述的高速图像采集应用系统创建方法为：

由于微表情持续时间最短仅为40毫秒，要求fps至少250，控制噪声和系统造价同时，为了提高精度，我们选择采样频率最高可达300fps高速摄像系统，分辨率为800x600像素。高速摄像系统与高性能计算机工作站直接相连，采集系统软件实现图像的实时采集、处理和存储功能。能够激发被试6种表情的相应音频(时长各1分钟)间隔10秒录制在CD中，10秒间隔便于被试舒缓情绪，自然回到中性表情中。6种基本表情图像来自表情数据库。被试通过耳机收听音频，并同时观看相应表情图像。高速摄像系统自动启停采集相关视频，系统安放在在一个8平米房间内，有两盏LED灯。

3.如权利要求2所述的微表情变化时间序列图像的采集方法为：

招募10名一年级研究生作为被试，男女各5名，听力和视力正常，并进行培训。房间内只有被试一人，测试过程中佩戴耳机并一直观看摄像机后面的表情显示屏幕，严格要求尽力保持中性表情。高速摄像机正对受试者面部进行视频采集，采集的视频流通过采集卡实时存储在计算机工作站中。

4.如权利要求4所述的应用拉普拉斯特征映射对序列图像降维，其特征是，所述序列图像降维的具体步骤如下：

(4.1)构造近邻图G

设G表示n个点的矩阵。我们将i和j连接起来，如果x_i和x_j离很近，就做如下变化：如果

则点i和j由线连接，其中的距离是欧式距离。

(4.2)近邻点赋权

设置近邻点之间的权值：

其中t是一个可调节参数，本算法中取t＝200。

(4.3)求低维嵌入Y

LE算法是一种在平均意义上保持流形局部特性的方法，直观来看，即希望近邻的高维数据点映射到内在低维空间后仍为近邻点。设Y＝[y₁，...，y_n]是高维观测数据集X＝[x₁，...，x_n]的低维嵌入，那么LE算法的目标函数可表示为使下面的损失函数达到极小：

$\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|y_i-y_j\left|\right|}^2{W}_{\mathrm{ij}}---\left(3\right)$

这里，如果近邻点x_i与x_j映射到低维空间后变得相距很远，那么W_ij会施加严厉的惩罚，因此极小化式实际上是确保如果样本点x_i与x_j是近邻点，那么在低维嵌入空间相应的y_i与y_j也应该是近邻点。

对于任何Y，我们有：

$\frac{1}{2}\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|y_i-y_j\left|\right|}^2{W}_{\mathrm{ij}}=\mathrm{tr}\left({\mathrm{YLY}}^T\right)---\left(4\right)$

其中tr(YLY^T)求矩阵YLY^T的迹，L＝D-W是Laplacian矩阵，D为对角矩阵，元素为权值矩阵W的列(行)和，即为了消除尺度因子的影响，施加约束YDY^T＝I，因此LE算法的优化问题转化为：

$\arg \min \underset{\underset{{\mathrm{YDY}}^T=I}{y}}{\mathrm{tr}}\left({\mathrm{YLY}}^T\right)---\left(5\right)$

由此得到，LE算法的低维嵌入Y应取Laplacian矩阵L的最小d+1个特征值所对应的特征向量v₁，...，v_d+1，即：Y＝[v₂，...，v_d+1]^T。