CN109543603B - 一种基于宏表情知识迁移的微表情识别方法 - Google Patents

Abstract

本发明涉及一种基于宏表情知识迁移的微表情识别方法，包括步骤如下：(1)对表情和微表情进行分块处理；(2)对表情和微表情进行特征提取，提取LBP特征和光流特征；(3)构建宏表情知识迁移的微表情识别模型，即对表情和微表情学习特定类的映射，将表情和微表情投影到多个公共判别子空间；(4)通过基于欧氏距离的最近邻分类器对所述微表情进行分类识别。一方面，多特征学习可以结合不同特征的特点，使得识别结果达到最佳。另一方面，多任务学习是指以特征点为中心对人脸进行取块，减少面部其他无关区域对实验结果的影响。这里的特征点主要是指与表情和微表情识别相关的关键点。

Description

一种基于宏表情知识迁移的微表情识别方法

技术领域

本发明涉及一种基于宏表情知识迁移的微表情识别方法，属于模式识别以及机器学习的技术领域。

背景技术

微表情是人心理行为的外在表现形式，能够揭露人们想要隐藏的真实情感。微表情最早是由Haggard和Isaacs发现，具有强度低，持续时间短等特点。微表情的持续时间一般低于1/5秒，转瞬即逝，通常做表情的人和观察者都无法察觉到微表情的存在，同时也不受人的控制，能够反映人内心的真实想法。因此，在实际生活中微表情的重要应用是测谎，在国家安全、司法审判、监狱管理等方面有重要应用。

微表情识别的目的是对微表情进行分类，从而判断出人内心的真实想法。但是，由于微表情持续时间短、强度低以及仅仅局限于面部的局部运动，给微表情的检测和识别带来了极大的困难。为了更好的识别微表情，从而揭露人们内心的真实想法，Ekman等人开发了微表情训练工具，可以训练人类对微表情的识别能力，使得微表情的识别率得到显著提升，从而有效避免研究木桶效应。然而，如果微表情识别仅依靠人工来进行，不仅费时费力，需要大量地人工训练过程和维护过程，而且难以推广。随着机器学习、模式识别和心理学等领域的不断发展，研究人员开始利用计算机实现微表情的自动识别，根据机器学习和模式识别等相关算法，依托心理学领域对人类心理行为的相关研究，揭露人们被压抑的真实情感。

目前，微表情识别方法主要包括以下五类，分别是特征描述法、频域法、光流法、特征变换法以及机器学习法。特征描述法通过对微表情的面部肌肉运动特性、纹理特性等相关特性进行描述对微表情进行表示，提升对微表情特征描述的准确性，在一定程度上减少了光照、噪音等对实验结果的影响，增加了特征的鲁棒性。频域法将微表情序列看作是一个时域信号，通过傅里叶变换、Gabor变换等一系列变换得到其相应的频谱特征，如相位、振幅等。频域法通过频域入手，提取微表情的频域特征，例如riesz wavelet、Gabor变换等。光流法主要是指在光流场中分析微表情的运动特性，它以像素为单位记录了相邻两帧之间像素的变化，更容易捕捉面部的微小运动，对产生微表情的面部肌肉运动进行表示，从而发现其特性。特征描述法、频域法以及光流法给微表情特征的提取提供了三种不同的方向，但是，由于微表情是面部的局部运动，这些特征很难完全捕捉和反映微表情面部的关键点的运动，同时，不同类型的特征对微表情特性的反映侧重点不同，因此对微表情的特性进行完整、准确的描述是十分困难的。此外，在微表情视频序列中，由于噪音及其他不相关信息的影响，将进一步削弱微表情特征对微表情描述表示能力。特征变换法主要是在张量空间对微表情进行分析，在张量空间中，一方面可以增加与微表情相关的时间信息、颜色信息等信息，另一方面也可以根据发生微表情时人脸的肌肉运动提取与对微表情识别有用的相关信息，同时去除冗余信息。然而，特征变换法在增加信息的同时，一定程度上也增加了计算的复杂度。机器学习法主要是利用上述所提到的微表情特征建立一个有效的模型实现对微表情的识别。然而，由于目前的微表情数据库中已标注的微表情样本不足，导致可以用于模型训练的样本过少，给模型的训练造成了一定的困难，使得无法训练出性能高的模型用于微表情识别，从而导致了微表情识别率不高的问题。

发明内容

针对现有技术的不足，本发明提出一种基于宏表情知识迁移的微表情识别方法，借助表情和微表情共有的情感信息辅助微表情的识别，表情和微表情实质是指人们受到刺激后一段时间内面部肌肉的变化过程，时间信息对于表情和微表情的变化具有重要的指示作用，所以本发明在张量空间上提取特征，保留时间信息从而帮助后续的识别过程。

发明概述：

一种基于宏表情知识迁移的微表情识别方法，同时对表情和微表情学习特定类的映射，将表情和微表情投影到多个公共判别子空间，在每个判别子空间中，表情和微表情的特定类的样本可以被拉近，而来自不同类的样本可以离得更远。此外，特定的类的样本之间没有较强的约束，实验结果容易受到其他类的样本的影响，为解决这一问题，我们加入了迹范数，保证特定类的样本之间具有较大的相关性，减少其它类的样本对实验结果的影响。由于微表情与表情的判定只与脸部特定的位置的变化有关系，而且，微表情不同的特征体现了微表情的不同特点，所以为了保证最终的实验结果，本发明对其进行多特征、多任务的学习。一方面，多特征学习可以结合不同特征的特点，使得识别结果达到最佳。另一方面，多任务学习是指以特征点为中心对人脸进行取块，减少面部其他无关区域对实验结果的影响。这里的特征点主要是指与表情和微表情识别相关的关键点。

术语解释：

1、分块处理，是指找到与微表情识别相关的点，这些点根据Ekman教授定义的基本形变单元确定，以这些点为中心，分别取块。

2、LBP特征，指局部二值模式，英文全称：Local Binary Pattern，是一种用来描述图像局部特征的算子，LBP特征具有灰度不变性和旋转不变性等显著优点。

3、光流特征，是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

4、张量空间，tensor space，是多重线性代数的重要概念，可以将它看做是线性代数的发展。它是伴随着微分几何、现代分析、群表示论、理论物理、量子力学等学科发展起来的，并且在这些学科中已得到重要的应用。

本发明的技术方案如下：

一种基于宏表情知识迁移的微表情识别方法，包括步骤如下：

(1)对表情和微表情进行分块处理；

(2)对表情和微表情进行特征提取，提取LBP特征和光流特征；

(3)构建宏表情知识迁移的微表情识别模型，即对表情和微表情学习特定类的映射，将表情和微表情投影到多个公共判别子空间；在每个公共判别子空间中，表情和微表情的特定类的样本被拉近，而来自不同类的样本离得更远。

(4)通过基于欧氏距离的最近邻分类器对所述微表情进行分类识别。

根据本发明优选的，所述步骤(1)中，对表情和微表情进行以特征点为中心的分块处理；是指：根据Ekman教授提出的人脸运动编码系统，选定与表情、微表情识别相关的27个像素点，以这27个像素点为中心取块，得到27个分块。利用多任务学习，对这些块分别进行后续的模型训练，从而减少脸部的其他信息对训练的干扰。

根据本发明优选的，所述步骤(2)中，提取LBP特征的方法为：以每个像素点为中心点，划分一个3*3的方阵，将这个中心点x₀与其周围的8个像素点x_i进行比较，如果x_i>x₀，则v(x_i)＝1，否则，v(x_i)＝0；其中，x_i是指像素值，v(x_i)是指像素值x_i的二进制映射，由此，得到一个八位二进制数,即得到中心像素点x₀的LBP值；

通过二进制公式(Ⅰ)对八位二进制数进行编码，形成局部二值模式：

式(Ⅰ)中，g_i代表的是第i个像素点的像素值，g_a代表的是中心点的像素值，

是指中心点的像素值为g_a的LBP值。

根据本发明优选的，所述步骤(2)中，提取光流特征的方法为：

t时刻的光流特征为一个两维向量：

分别是指在t时刻在x轴方向的速度和在y轴方向的速度。

根据本发明优选的，所述步骤(3)中，对步骤(1)得到的27个分块分别构建宏表情知识迁移的微表情识别模型；包括步骤如下：

A、为了更好的进行宏表情知识迁移的微表情识别模型的数学描述，将宏表情样本表示为来自X域的样本集合，微表情样本表示为来自Y域的样本，宏表情知识迁移的微表情识别模型将来自两个域的样本(X,Y)分别通过特定的映射从张量空间

和

映射到一个特定的公共子空间

n＝1,…,N，H_n是指宏表情第n维的特征维数，L_n是指微表情第n维的特征维数，F_n是指公共子空间第n维的特征维数，如式(Ⅱ)所示：

式(Ⅱ)中，R是指实数空间；

B、定义

为第i类的第n模式的投影矩阵，N表示维度，U_in表示在n模式下X域样本中第i类样本的投影，V_in表示在n模式下Y域样本中第i类样本的投影，x_ij表示在X域中第i类第j个样本，y_ij表示在Y域中第i类第j个样本，将两个域的样本张量映射到一个共同的公共判别子空间，如式(Ⅲ)所示：

C、根据张量运算知识，将式(Ⅲ)按照张量的n-模式展开，得式(Ⅳ)、式(V)：

式(Ⅳ)、式(V)中，

表示的是一个二维样本，

D、X域与Y域共有c类不同的样本，将c类样本组合成c组，第i组样本表示的是第i类样本和其他c-1类样本集合，按照此种方式，将c类样本集合看成是一个两类样本集合，对任意的第i组样本都求得一组最优的投影

保证在公共子空间中第i类的类内样本之间的距离尽可能近，如公式(VII)所示，类间样本之间的距离尽可能远，如公式(VIII)所示，为了减少其他类的样本对特定的类的样本的影响，加强了特定的类的样本之间的相关性，如公式(IX)所示。同时为了全面获得微表情和表情信息，进行多特征学习，但是如果进行简单的特征串联，在增加信息的同时也带来了许多冗余信息，不利于分类，为了解决上述问题，加入正则项，一方面利用F范数在保留特征原始结构的基础上，选择具有判别性的特征，另一方面利用L21范数对判别性特征进行特征选择，减少了冗余信息对识别结果的影响。如公式(X)所示。

根据本发明优选的，所述步骤(3)的数学描述如下：

公式(Ⅵ)是一个凸优化求解的问题，共同优化c组不同的n模式线性变换，如式(Ⅵ)所示：可以将公式(12)转换成广义特征值(generalized eigenvalue)求解问题；

式(Ⅵ)中，

x_ij表示的是X域第i类的第j个样本，

y_ij表示的是Y域中第i类的第j个样本，c是类别数目，m_i表示的是第i类样本的总数，

表示的是所有样本的数目,

表示的是第i类的样本集合，U_in表示在n模式下X域样本中第i类样本的投影，V_in表示在n模式下Y域样本中第i类样本的投影，第i类的第n模式的投影矩阵为

N表示维度，λ₁、λ₂、λ₃是平衡参数，

W_i(p,q)表示的是第i类样本之间的相似性，W_i(p,q)的定义为：

如果

或者

W_i(p,q)＝1，否则，W_i(p,q)＝0；

表示的是异类样本之间的相似性，

的定义为：

如果

或者

否则，

表示与张量样本x_ip同类的k₁个近邻张量样本构成的集合；

表示与张量样本x_ip异类的k₂个近邻样本构成的集合。

本发明的有益效果是：

本发明提供的是一种宏表情知识迁移的微表情识别方法，借助样本丰富的表情样本，学习特定类的映射将表情和微表情样本同时映射到公共空间，保证特定类的类内样本距离尽可能近，类间样本距离尽可能远，同时，为了减少其他类的样本对特定类的样本的影响，加入迹范数增强特定类的样本之间的相关性。但是存在两个问题，一方面，每种类型的特征具有不同的特点，导致最终的实验结果有很大的差距。另一方面，微表情和表情的判定主要是针对脸部特定位置的微小变化，如果以整张人脸的信息作为模型的输入会引入冗余信息，为了解决上述问题，我们加入了多特征多任务学习，为了减少多特征所引入的冗余信息，利用F范数和L21范数对多特征进行特征选择。而且，选取与表情和微表情判断相关的27个点，以这些点为中心取块，减少与表情、微表情无关的信息对实验结果的影响。

附图说明

图1为本发明一种基于宏表情知识迁移的微表情识别方法的示意图；

图2为本发明中所述CASMEII数据库部分示意图；

图3为本发明中所述CK+数据库部分示意图；

图4(a)为宏表情微表情识别相关的27个点中宏表情示意图；

图4(b)为宏表情微表情识别相关的27个点中微表情示意图；

图5为k₁,k₂对实验结果的影响的示意图；

图6为在CASMEII上权重系统对识别率的影响的示意图。

具体实施方式

下面结合说明书附图和实施例对本发明进行详细的描述，但不限于此。

实施例1

一种基于宏表情知识迁移的微表情识别方法，如图1所示，包括步骤如下：

(1)对表情和微表情进行分块处理；是指：根据Ekman教授提出的人脸运动编码系统，选定与表情、微表情识别相关的27个像素点，以这27个像素点为中心取块，得到27个分块。利用多任务学习，对这些块分别进行后续的模型训练，从而减少脸部的其他信息对训练的干扰。图4(a)为宏表情微表情识别相关的27个点中宏表情示意图；图4(b)为宏表情微表情识别相关的27个点中微表情示意图；

(2)对表情和微表情进行特征提取，提取LBP特征和光流特征；提取LBP特征的方法为：以每个像素点为中心点，划分一个3*3的方阵，将这个中心点x₀与其周围的8个像素点x_i进行比较，如果x_i>x₀，则v(x_i)＝1，否则，v(x_i)＝0；其中，x_i是指像素值，v(x_i)是指像素值x_i的二进制映射，由此，得到一个八位二进制数,即得到中心像素点x₀的LBP值；

通过二进制公式(Ⅰ)对八位二进制数进行编码，形成局部二值模式：

式(Ⅰ)中，g_i代表的是第i个像素点的像素值，g_a代表的是中心点的像素值，

是指中心点的像素值为g_a的LBP值。

提取光流特征的方法为：

t时刻的光流特征为一个两维向量：

分别是指在t时刻在x轴方向的速度和在y轴方向的速度。

两维向量

的推导过程如下：

光流法主要是利用灰度的改变来推断相邻帧之间物体运动信息的一种方法。E(x,y,t)表示在t时刻(x,y)点的灰度，E(x+Δx,y+Δy,t+Δt)表示在t+Δt时刻运动到(x+Δx,y+Δy)点的灰度，根据亮度一致性的约束，得到：E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)；

对E(x+Δx,y+Δy,t+Δt)做泰勒展开得到：

τ代表的是高阶无穷小；

由E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)和

得到：

即：

因此，在t时刻的光流可以被表达为一个两维向量：

(3)构建宏表情知识迁移的微表情识别模型，即对表情和微表情学习特定类的映射，将表情和微表情投影到多个公共判别子空间；在每个公共判别子空间中，表情和微表情的特定类的样本被拉近，而来自不同类的样本离得更远。对步骤(1)得到的27个分块分别构建宏表情知识迁移的微表情识别模型；包括步骤如下：

A、为了更好的进行宏表情知识迁移的微表情识别模型的数学描述，将宏表情样本表示为来自X域的样本集合，微表情样本表示为来自Y域的样本，宏表情知识迁移的微表情识别模型将来自两个域的样本(X,Y)分别通过特定的映射从张量空间

和

映射到一个特定的公共子空间

n＝1,…,N，H_n是指宏表情第n维的特征维数，L_n是指微表情第n维的特征维数，F_n是指公共子空间第n维的特征维数，如式(Ⅱ)所示：

式(Ⅱ)中，R是指实数空间；

B、定义

为第i类的第n模式的投影矩阵，N表示维度，U_in表示在n模式下X域样本中第i类样本的投影，V_in表示在n模式下Y域样本中第i类样本的投影，x_ij表示在X域中第i类第j个样本，y_ij表示在Y域中第i类第j个样本，将两个域的样本张量映射到一个共同的公共判别子空间，如式(Ⅲ)所示：

C、根据张量运算知识，将式(Ⅲ)按照张量的n-模式展开，得式(Ⅳ)、式(V)：

式(Ⅳ)、式(V)中，

表示的是一个二维样本，

D、X域与Y域共有c类不同的样本，将c类样本组合成c组，第i组样本表示的是第i类样本和其他c-1类样本集合，按照此种方式，将c类样本集合看成是一个两类样本集合，对任意的第i组样本都求得一组最优的投影

保证在公共子空间中第i类的类内样本之间的距离尽可能近，如公式(VII)所示，类间样本之间的距离尽可能远，如公式(VIII)所示，为了减少其他类的样本对特定的类的样本的影响，加强了特定的类的样本之间的相关性，如公式(IX)所示。同时为了全面获得微表情和表情信息，进行多特征学习，但是如果进行简单的特征串联，在增加信息的同时也带来了许多冗余信息，不利于分类，为了解决上述问题，加入正则项，一方面利用F范数在保留特征原始结构的基础上，选择具有判别性的特征，另一方面利用L21范数对判别性特征进行特征选择，减少了冗余信息对识别结果的影响。如公式(X)所示。

步骤(3)的数学描述如下：

公式(Ⅵ)是一个凸优化求解的问题，共同优化c组不同的n模式线性变换，如式(Ⅵ)所示：可以将公式(12)转换成广义特征值(generalized eigenvalue)求解问题；

式(Ⅵ)中，

x_ij表示的是X域第i类的第j个样本，

y_ij表示的是Y域中第i类的第j个样本，c是类别数目，m_i表示的是第i类样本的总数，

表示的是所有样本的数目,

表示的是第i类的样本集合，U_in表示在n模式下X域样本中第i类样本的投影，V_in表示在n模式下Y域样本中第i类样本的投影，第i类的第n模式的投影矩阵为

N表示维度，λ₁、λ₂、λ₃是平衡参数，

W_i(p,q)表示的是第i类样本之间的相似性，W_i(p,q)的定义为：

如果

或者

W_i(p,q)＝1，否则，W_i(p,q)＝0；

表示的是异类样本之间的相似性，

的定义为：

如果

或者

否则，

表示与张量样本x_ip同类的k₁个近邻张量样本构成的集合；

表示与张量样本x_ip异类的k₂个近邻样本构成的集合。

式(Ⅶ)在公共子空间中被简化：

B_(n)＝[B_1(n),...,B_m(n)]，对角矩阵D_iθ,

分别为：

为了使上式的表达更加简化，令

由此可以得到公式(Ⅶ)的简化形式为：

同理，公式(Ⅷ)的简化形式为：

对角矩阵

表示为：

公式(Ⅸ)可以被简化为：

C_ij(n)＝y_ij(n)V_in,

由于S的下确界可能会不可逆，从而使得算法不可逆，所以保证S的下确界的可逆性，令

H_i∈R^m×^m定义为：

对正则项L进行简化：

D_in＝diag(D_i1n,D_i2n,...,D_iVn)，diag表示的是一个对角矩阵，对于其中任意一个矩阵D_ivn(v＝1,2,...,V)也是一个对角矩阵，对角矩阵的元素表示为：如果P_ivn＝0，则D_ivn(j,j)＝0；否则，

P_ivn＝[U_ivn；V_ivn]，R_n是一个对角矩阵，第j个对角元素：如果P_in,j＝0，则R_in(j,j)＝0；否则，

P_in,j表示的是P_in的第j行。由以上可以得到：

由以上可以得到目标函数的最简形式为：

对每一块的样本集合求解最优投影，由此可以得到目标函数为：

t表示的是第t块，t∈[1T]，T是总块数，

表示的是n模式下第i类中第t块的投影。

下面对目标函数进行优化求解，首先初始化

得到S的值，然后求解

的最优解，即对下列目标函数求解：

将上述公式转换为广义特征值求解问题，即

n-模式下最优解

由

的前F_n个最小广义特征值对应的特征向量

构成，即：

然后固定

求解S的最优解，由于S是关于

的公式，所以可以得到S的最优解为：

(4)通过基于欧氏距离的最近邻分类器对所述微表情进行分类识别。

通过在微表情数据库CASMEII和表情数据库CK+上验证本发明所提方法，来评估本发明所提出算法的有效性。CK+包含123个人,每个人都记录了不同数量的表情，记录了表情从中立到六种普遍的面部表情(愤怒、快乐、悲伤、恐惧、厌恶、惊讶)加上鄙视，表情的表达没有头部姿势的变化，每个人的每种表情的持续时间都不一样，但是在最后的5帧可以看做是高潮帧，可以明显地对情感进行表达，所以我们选取表情的最后5帧进行实验，CK+数据库部分表情如图3所示。CASMEII样本采集设备的帧率为200fps，主要由26个人的255个微表情视频序列组成，这些样本主要包括七类高兴,惊喜,害怕,悲伤,厌恶,压抑和其他，CASMEII数据库部分表情如图2所示。在实验里，我们选取高兴,惊讶,厌恶作为实验样本，所有的视频序列被标准化为统一的大小130×130以及60帧的时间维度。

k₁,k₂分别表示局部类内近邻样本数和局部类间近邻样本数，看k₁,k₂的变化对实验结果的影响，如图5所示。

在CASMEII库上，k₁＝5,k₂＝5时，识别率达到最大值64.4％，随着k₁,k₂的逐渐增大，识别率呈现下降的趋势，过大的k₁,k₂可能会引入临界样本，从而影响模型的构建，导致最终识别率下降。从整体来看，随着k₁,k₂的增大，识别率的变化幅度不大。

为了进一步验证本专利所提权重系统的有效性，我们在不同特征下，对特征采用权重系统和直接串联两种不同的方式所得到的识别率进行比较，结果如图6所示，通过图6可以看出，利用权重系统对每块特征赋予不同的权值所得到的识别率要高于对每块特征直接采用串联的方式，说明了每块特征对识别的贡献不一样，对于微表情信息较多的块赋予较大的权重有利于识别率的提高。

实施例2

根据实施例1所述的一种基于宏表情知识迁移的微表情识别方法，其区别在于：

给定一个gallery样本集X，对样本进行分块；

提取样本特征得到

表示的是X样本集中第i类的第j个样本的第t块；

求出的投影

T表示的是总块数，按照样本所属的类别以及块数乘上对应的投影矩阵，得到在公共空间的特征，即

对于任意一个probe样本y，仍然按照上述的方式提取特征，得到{y^t|t＝1,...,T}，由于此样本的类别是未知的，所以我们面临的一个问题是应该如何选择投影矩阵

通过

投影后得到c个共同子空间，这c个共同子空间是平行的，只不过是因为样本的靠近及远离准则不一样，所以我们将y^t分别乘上c类

得到对应的特征

对于

把块直接串联起来得到样本的特征，即

然而，采用直接串联的方式没有体现出每块样本在识别中所起到的作用，所以，建立一个权重系统，每一块样本乘上不同的权重

对于活动区域赋予较高的权重，

的定义如式(XI)所示：

式(XI)中，

表示的是第i类的第t块的误差，ξ_i表示的是第i类的所有块的误差的和，通过式(Ⅶ)得到样本y的特征为

最终采用标准近邻法得到对应的标签。

Claims (5)

1.一种基于宏表情知识迁移的微表情识别方法，其特征在于，包括步骤如下：

(1)对表情和微表情进行分块处理；

(2)对表情和微表情进行特征提取，提取LBP特征和光流特征；

(3)构建宏表情知识迁移的微表情识别模型，即对表情和微表情学习特定类的映射，将表情和微表情投影到多个公共判别子空间；对步骤(1)得到的27个分块分别构建宏表情知识迁移的微表情识别模型；包括步骤如下：

A、将宏表情样本为来自X域的样本集合，微表情样本为来自Y域的样本，宏表情知识迁移的微表情识别模型将来自两个域的样本(X,Y)分别通过映射从张量空间

和

映射到一个特定的公共子空间

n＝1,…,N，H_n是指宏表情第n维的特征维数，L_n是指微表情第n维的特征维数，F_n是指公共子空间第n维的特征维数，如式(Ⅱ)所示：

式(Ⅱ)中，R是指实数空间；

B、定义

为第i类的第n模式的投影矩阵，N表示维度，U_in表示在n模式下X域样本中第i类样本的投影，V_in表示在n模式下Y域样本中第i类样本的投影，x_ij表示在X域中第i类第j个样本，y_ij表示在Y域中第i类第j个样本，将两个域的样本张量映射到一个共同的公共判别子空间，如式(Ⅲ)所示：

C、根据张量运算知识，将式(Ⅲ)按照张量的n-模式展开，得式(IV)、式(Ⅴ)：

式(IV)、式(Ⅴ)中，

表示的是一个二维样本，

D、X域与Y域共有c类不同的样本，将c类样本组合成c组，第i组样本表示的是第i类样本和其他c-1类样本集合，按照此种方式，将c类样本集合看成是一个两类样本集合，对任意的第i组样本都求得一组最优的投影

(4)通过基于欧氏距离的最近邻分类器对所述微表情进行分类识别。

2.根据权利要求1所述的一种基于宏表情知识迁移的微表情识别方法，其特征在于，所述步骤(1)中，对表情和微表情进行以特征点为中心的分块处理；是指：选定与表情、微表情识别相关的27个像素点，以这27个像素点为中心取块，得到27个分块。

3.根据权利要求1所述的一种基于宏表情知识迁移的微表情识别方法，其特征在于，所述步骤(2)中，提取LBP特征的方法为：以每个像素点为中心点，划分一个3*3的方阵，将这个中心点x₀与其周围的8个像素点x_i进行比较，如果x_i>x₀，则v(x_i)＝1，否则，v(x_i)＝0；其中，x_i是指像素值，v(x_i)是指像素值x_i的二进制映射，由此，得到一个八位二进制数,即得到中心像素点x₀的LBP值；

通过二进制公式(Ⅰ)对八位二进制数进行编码，形成局部二值模式：

式(Ⅰ)中，g_j代表的是第j个像素点的像素值，g_a代表的是中心点的像素值，

是指中心点的像素值为g_a的LBP值。

4.根据权利要求1所述的一种基于宏表情知识迁移的微表情识别方法，其特征在于，所述步骤(2)中，提取光流特征的方法为：

t时刻的光流特征为一个两维向量：

分别是指在t时刻在x轴方向的速度和在y轴方向的速度。

5.根据权利要求4所述的一种基于宏表情知识迁移的微表情识别方法，其特征在于，所述步骤(3)的数学描述如下：

共同优化c组不同的n模式线性变换，如式(Ⅵ)所示：

式(Ⅵ)中，

x_ij表示的是X域第i类的第j个样本，

y_ij表示的是Y域中第i类的第j个样本，c是类别数目，m_i表示的是第i类样本的总数，

表示的是所有样本的数目,

表示的是第i类的样本集合，U_in表示在n模式下X域样本中第i类样本的投影，V_in表示在n模式下Y域样本中第i类样本的投影，第i类的第n模式的投影矩阵为

N表示维度，λ₁、λ₂、λ₃是平衡参数，

W_i(p,q)表示的是第i类样本之间的相似性，W_i(p,q)的定义为：

如果

或者

W_i(p,q)＝1，否则，W_i(p,q)＝0；

表示的是异类样本之间的相似性，

的定义为：

如果

或者

否则，

表示与张量样本x_ip同类的k₁个近邻张量样本构成的集合；

表示与张量样本x_ip异类的k₂个近邻样本构成的集合。

Images