CN103617436B - 基于差分切片能量图和Gabor变换的微表情识别方法 - Google Patents

Abstract

本发明提出一种基于差分能量图和Gabor变换的微表情识别方法：构造微表情序列差分切片能量图，计算一个微表情周期序列中包含变化区域的微表情帧，将微表情序列灰度化提取微表情差分切片，将微表情差分切片帧序列叠加得到微表情差分能量图。差分能量图特征提取，构造Gabor滤波器核函数，将差分切片能量图进行Gabor特征提取，提取后的特征再下采样，将每个样本的特征写成列向量的形式，然后采用具有监督信息的线性判别分析最大化类间散度与类内散度之商，对每个样本进一步进行特征提取。分类识别，根据训练数据训练一个模型，然后根据该模型对测试样本进行预测分类。本发明所提出的方法具有普遍的适用性，且较目前存在的方法具有更高识别率。

Description

基于差分切片能量图和Gabor变换的微表情识别方法

技术领域

本发明涉及一种基于差分切片能量图和Gabor变换的微表情识别方法，属于计算机应用中机器学习和模式识别的技术领域。

技术背景

微表情是在人们在试图压抑、隐藏真实情感过程中所表现出来的一种快速、不易察觉的面部表情，它的持续时间一般仅为1/25至1/5秒，也有研究者将微表情持续时间定义为低于1/2s，经常被人们所忽略。但是，Ekman等人的面部测绘行为研究证实，微表情将人的隐蔽情感更全面的暴露出来，它更能表达人的真实情绪。近些年，心理诊断发展及国防安全建设过程中，微表情作为一种谎言以及暴力倾向侦测手段，在临床司法、安全领域等展现出了广泛的应用前景。

早期研究中，研究者主要注重个体微表情的匹配，例如：日本人与高加索人短暂表情识别测验（Japanese and Caucasian Brief Affect Recognition Test，JACBART）以及Ekman等开发的微表情识别训练工具（Micro Expression Training Tool，METT）等。在国外，微表情在商业谈判，心理咨询，临床司法诊断等领域逐渐得到应用。在国内，微表情研究处于初期阶段，认知心理学教授傅小兰主持了国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”（批准号：61075042），她的团队是国内开展微表情研究的主要力量。在微表情识别方面，傅小兰团队研发了基于静态特征和自动微表情识别识别系统，使用Gabor变换提取人脸图像特征，并结合改进的GentleSVM算法实现人脸表情识别。2013年，梁静等人指出认知心理学和计算机视觉技术两个领域进行协作，必将促进微表情识别技术研究的快速发展以及相关成果的广泛应用。傅小兰团队建立了国内首个微表情实验库（CASME），颜文靖等人在评价CASME库时，将微表情序列作为张量数据进行处理，使用多线性主成分分析（Multilinear Principal Component Analysis,MPCA）进行不同维数下识别率的测试。2013年，王甦菁等人提出了一种基于判别张量分析（Discriminant TensorSubspace Analysis,DTSA）和极端学习机（Extreme Learning Machine,ELM）的微表情识别方法。DTSA将微表情序列在三阶张量空间进行操作，为保持数据的流形结构引入了Laplacian算子，且该算法不需要调谐因子。但是，该方法对计算机硬件设备性能的要求较高，降维后保留的维数难以确定，且它的识别性能远远低于人们的期望。

发明内容

针对现有技术的不足，本发明提出一种基于差分切片能量图和Gabor变换的微表情识别方法，并且使用线性判别分析（LDA）算法进行特征提取，结合SVM分类器进行分类，识别率有了显著的提高，远远高于现有的微表情识别方法。而且，本发明所提出的方法计算量小，大大降低了对计算机性能的要求，是一种准确性高、鲁棒性强的微表情识别方法。

该方法建立在已经发生微表情的基础上，其目的在于降低对计算机性能的要求，并且大幅度提高识别性能。这是因为，在构造差分切片能量图过程中，通过微表情序列中各帧之间的能量变化体现微表情的发生过程，大大削弱了不同个体的人脸特点对微表情的覆盖作用，同时该方法采用Gabor变换方法提取特征，并用LDA进一步进行降维，结合SVM分类器大大提高了分类效果。

本发明是通过如下技术方案来实现的：

基于差分切片能量图和Gabor变换的微表情识别方法，包括如下步骤：构造微表情序列差分切片能量图、差分切片能量图的特征提取和分类识别。

构造微表情序列差分切片能量图的方法为：首先，计算一个完整微表情序列中包含表情细微变化区域的微表情帧形成差分切片，然后将微表情差分切片叠加生成差分切片能量图。差分切片能量图的特征提取的方法为：首先将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用LDA作进一步特征提取。分类识别是采用SVM分类器，首先根据微表情训练数据训练出一个模型，然后根据该模型对微表情测试样本进行预测分类。

1、构造微表情序列差分切片能量图（Micro-expression Difference SliceEnergy Image，MDSEI）

所述微表情序列差分切片是指一个微表情序列中相邻两帧作差所形成的帧。

假设第m个样本的一段微表情帧序列中第t帧表示为I_m(x,y,t),t＝1,…,N。微表情差分切片帧序列的第t帧表示为D_m(x,y,t),t＝1,…,N-1。

D_m(x,y,t)＝I_m(x,y,t+1)-I_m(x,y,t) (1)

其中，(x,y)表示图像的坐标。

则该段微表情序列的差分切片能量图构造如式（2）所示，

$E_m(x,y)=\underset{t=1}{\overset{N-1}{\mathrm{\Σ}}}{D}_m(x,y,t)---\left(2\right)$

2、Gabor特征提取

Gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般说来，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。由于Gabor特征这种良好的空间局部性和方向选择性，且对姿态具有一定的鲁棒性，因此该发明首次将Gabor引入微表情能量特征提取中。二维小波内核定义如式（3）所示，

$\mathrm{\ψ}(k_{u,v},z)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}\exp [-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2}]\·[\exp \left({\mathrm{ik}}_{u,v}z\right)-\exp [-\frac{{\mathrm{\σ}}^2}{2}\left]\right]---\left(3\right)$

其中,σ是与小波频率带宽有关的常数，z＝(x,y)为空间位置坐标，i是虚数，k_u,v由Gabor内核的方向和尺度确定，如式（4）所示。

$k_{u,v}=k_v{e}^{{\mathrm{i\φ}}_u}---\left(4\right)$

其中,k_v表示采样的尺度；φ_u表示采样的方向。令k_max为最大频率，f是频域中的内核间隔因子。假设我们采用s个尺度，d个方向进行采样，则尺度标号集合为v∈{0,1,…,s-1}，方向标号集合为u∈{0,1,…,d-1}，采样尺度和采样方向如式（5）所示，

$\left\{\begin{array}{c}{k}_v=k_{\max }/f^v\\ {\mathrm{\φ}}_u=\mathrm{\πu}/d\end{array}\right.---\left(5\right)$

第i个样本的微表情差分切片能量图与Gabor内核的卷积可以得到样本的Gabor特征如式（6）所示，

$J_{k_{u,v}}^{\left(m\right)}\left(z\right)=E_m\left(z\right)*\mathrm{\ψ}(k_{u,v},z)---\left(6\right)$

设的幅值和相位分别为和则本发明中只使用了Gabor特征的幅度信息。组合不同尺度和方向的Gabor幅度特征构成图像在z位置处的Gabor特征矢量。由于在s×d个滤波器上获得的特征维数较高，容易造成“维数灾难”，研究证明Gabor特征在邻像素点具有高相关性，因此本发明在提取Gabor幅度特征后进行抽样，稀疏提取部分Gabor特征组成样本m的特征向量为x_m。

3、线性判别分析提取特征

线性判别分析（Linear Discriminant Analysis,LDA）是一种简单有效的降维技术，它利用样本的监督信息指导降维，具有更好的分类性能。本发明为了进一步提高微表情序列的识别率，采用了该项通用的降维技术，将样本投影到一个低维空间，如式（7）所示，

y＝W^Tx （7）

其中，x是提取Gabor特征后M个样本组成的训练集x＝{x₁,x₂,…,x_i,…,x_M}，x_i表示第i个样本。该训练集包含C类样本，用M_c表示第c类中的样本数，因此该样本训练集又可以写成 $x=[x_1^{\left(1\right)},...,x_{M_1}^{\left(1\right)},...,x_1^{\left(c\right)},...,x_{M_c}^{\left(c\right)},...x_1^{\left(C\right)},...x_{M_C}^{\left(C\right)}]=[x_1,...,x_c,...,x_C],$ 其中 $x_c=[x_1^{\left(c\right)},...,x_{M_c}^{\left(c\right)}]$ 为第c类样本组成的样本矩阵。令y_i表示特征x_i投影后的特征向量，则

y＝[y₁,y₂,…,y_i…,y_M]＝[y₁,…,y_c,…,y_C]为特征提取后由特征向量构成的特征矩阵，W为相应的线性变换矩阵。线性判别分析的目标是寻找最优的线性变换矩阵W_opt＝[w₁,w₂,…,w_k]，使得类间散度S_b与类内散度S_w之商最大，如式（8）所示，

$W_{\mathrm{opt}}=\underset{W^{T}W=I}{\arg \max }\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{w}W\right|}=[w_1,w_2,...,w_k]---\left(8\right)$

其中，I为单位阵，样本的类内散度和类间散度如式（9）所示，

$\left\{\begin{array}{c}{S}_w=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_c}{\mathrm{\Σ}}}(x_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c){(x_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c)}^T\\ S_b=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{M}_c({\stackrel{\‾}{x}}_c-\stackrel{\‾}{x}){({\stackrel{\‾}{x}}_c-\stackrel{\‾}{x})}^T\end{array}\right.---\left(9\right)$

其中，为样本集中第c类第j个变量，表示第c类样本的均值， 表示所有样本的均值，

4、SVM分类器指导分类

SVM根据两类样本数据寻求最优分类面，使两类之间的距离最大。令M个训练数据(y_i,z_i),i∈M，z_i是样本y_i所属的类标志，z_i∈(-1,+1)。若样本特征线性可分时，通过使两类的分类间隔最大，可以得到对应的分类函数f(y)为

$f\left(y\right)=\mathrm{sgn}\{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{z}_i{\mathrm{\α}}_i(y\·y_i)+b\}---\left(10\right)$

其中，f(y)符号判定样本y所属的类别，α_i为Lagrange乘子，每个非零α_i对应的数据y_i即是最优超平面的一个支持向量，b为偏移量，可由任意一支持向量代入式（10）求得。当样本非线性可分时，可以通过定义核函数将特征空间变换到高维空间，对应的分类函数如式（11）

$f\left(y\right)=\mathrm{sgn}\{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{z}_i{\mathrm{\α}}_{i}K(y,y_i)+b\}---\left(11\right)$

本发明采用基于Gauss核的核函数，Gauss函数如式（12）所示，

$K(y,y_i)=\exp (-\frac{{|y-y_i|}^2}{{2\mathrm{\σ}}^2})---\left(12\right)$

对于微表情识别，根据SVM两类分类问题，构造多类分类算法函数L(y)，如式（13）所示，

L(y)＝arg max{f_c(y)},c＝1,…,C （13）

其中，y表示测试样本数据，f_c(y)是第c类的分类函数，如（11）所示。判定最大的分类函数值f_c(y)所对应的类就是该测试数据y所在的类。

本发明的有益效果是：

1、本发明采用微表情差分切片能量图，有效提取了微表情序列各帧之间的差分运动切片，并将其能量叠加构造微表情序列的能量图作为微表情特征，避免了人脸特征对微表情的覆盖作用；

2、本发明采用Gabor进行特征提取，采用小尺度可以充分显示微表情精细的局部结构，且其良好的方向选择性对面部姿态具有很强的鲁棒性；

3、本发明采用线性判别分析进行降维，LDA算法采用了监督信息，具有很强的分类效果，大大提高了识别率；

4、本发明采用具有学习能力的SVM分类器，对分类效果进一步进行提升，已经能够充分地满足人们对识别性能的要求。

5、本发明所提出的的微表情识别方法是在向量空间对数据进行处理，采用LDA降维技术，且使用SVM分类器，降低了对计算机性能的要求，且不会造成维数灾难。

附图说明

图1本发明流程图。

图2 CASME库中一段微表情序列。

图3微表情差分切片能量图。

图4 Gabor滤波器示意图。

图5经Gabor滤波输出2个尺度7个方向微表情特征。

图6中（a）、(b)、(c)、(d)分别为紧张、惊讶、压抑、厌恶四种微表情。

具体实施方式

下面结合附图和实例对本发明进行详细的描述。

本发明提出一种基于差分切片能量图和Gabor变换的微表情识别方法，如图1所示，包括三个过程：构造微表情序列差分切片能量图、差分切片能量图的特征提取和分类识别。构造微表情序列差分切片能量图的方法为：首先，计算一个完整微表情序列中包含表情细微变化区域的微表情帧形成差分切片，然后将微表情差分切片叠加生成差分切片能量图。差分切片能量图的特征提取的方法为：首先将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用LDA作进一步特征提取。分类识别是采用SVM分类器，首先根据微表情训练数据训练出一个模型，然后根据该模型对微表情测试样本进行预测分类。

所述微表情差分切片帧是指一个微表情序列相邻两帧作差所形成的帧序列。所述Gabor方法提取特征文中一律选择2个尺度，7个方向。

第一步，构造微表情差分切片能量图

假设第m个样本的一段微表情帧序列，如图2所示，第t帧表示为I_m(x,y,t),t＝1,…,N。微表情差分切片帧序列的第t帧表示为D_m(x,y,t),t＝1,…,N-1。

D_m(x,y,t)＝I_m(x,y,t+1)-I_m(x,y,t) (1)

其中，(x,y)表示图像的坐标。则该段微表情序列的差分切片能量图构造如式（2）所示，

$E_m(x,y)=\underset{t=1}{\overset{N-1}{\mathrm{\Σ}}}{D}_m(x,y,t)---\left(2\right)$

对图2中微表情序列构造差分切片能量图如图3所示。

第二步，Gabor变换特征提取

Gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般说来，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。由于Gabor特征这种良好的空间局部性和方向选择性，且对姿态具有一定的鲁棒性，因此该发明首次将Gabor引入微表情能量特征提取中。二维小波内核定义如式（3）所示，

$\mathrm{\ψ}(k_{u,v},z)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}\exp [-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2}]\·[\exp \left({\mathrm{ik}}_{u,v}z\right)-\exp [-\frac{{\mathrm{\σ}}^2}{2}\left]\right]---\left(3\right)$

其中，σ是与小波频率带宽有关的常数，本发明中令，σ＝2π。z＝(x,y)为空间位置坐标，i是虚数，k_u,v由Gabor内核的方向和尺度确定，如式（4）所示。

$k_{u,v}=k_v{e}^{{\mathrm{i\φ}}_u}---\left(4\right)$

其中,k_v表示采样的尺度；φ_u表示采样的方向。令k_max为最大频率，此处取k_max＝π/2，f是频域中的内核间隔因子，此处取假设我们采用s个尺度，d个方向进行采样，这里我们取{s＝2,d＝7}，则尺度标号集合为v∈{0,1,…,s-1}，方向标号集合为u∈{0,1,…,d-1}，采样尺度和采样方向如式（5）所示，

$\left\{\begin{array}{c}{k}_v=k_{\max }/f^v\\ {\mathrm{\φ}}_u=\mathrm{\πu}/d\end{array}\right.---\left(5\right)$

构造的2个尺度7个方向上的Gabor滤波器如图4所示，则第m个样本的微表情差分切片能量图与Gabor内核的卷积可以得到样本的Gabor特征如式（6）所示，

$J_{k_{u,v}}^{\left(m\right)}\left(z\right)=E_m\left(z\right)*\mathrm{\ψ}(k_{u,v},z)---\left(6\right)$

设的幅值和相位分别为和则本发明中只使用了Gabor特征的幅度信息。组合不同尺度和方向的Gabor幅度特征构成图像在z位置处的Gabor特征矢量。由于在s×d个滤波器上获得的特征维数较高，容易造成“维数灾难”，研究证明Gabor特征在邻像素点具有高相关性，因此本发明在提取Gabor幅度特征后进行抽样，稀疏提取部分Gabor特征，如图5所示，将其组成样本m的特征向量为x_m。

3、线性判别分析提取特征

线性判别分析（Linear Discriminant Analysis,LDA）是一种简单有效的降维技术，它利用样本的监督信息指导降维，具有更好的分类性能。本发明为了进一步提高微表情序列的识别率，采用了该项通用的降维技术，将样本投影到一个低维空间，如式（7）所示，

y＝W^Tx （7）

其中，x是提取Gabor特征后M个样本组成的训练集x＝{x₁,x₂,…,x_i,…,x_M}，x_i表示第i个样本。该训练集包含C类样本，用M_c表示第c类中的样本数，因此该样本训练集又可以写成 $x=[x_1^{\left(1\right)},...,x_{M_1}^{\left(1\right)},...,x_1^{\left(c\right)},...,x_{M_c}^{\left(c\right)},...x_1^{\left(C\right)},...x_{M_C}^{\left(C\right)}]=[x_1,...,x_c,...,x_C],$ 其中 $x_c=[x_1^{\left(c\right)},...,x_{M_c}^{\left(c\right)}]$ 为第c类样本组成的样本矩阵。令y_i表示特征x_i投影后的特征向量，则

y＝[y₁,y₂,…,y_i…,y_M]＝[y₁,…,y_c,…,y_C]为特征提取后由特征向量构成的特征矩阵，W为相应的线性变换矩阵。线性判别分析的目标是寻找最优的线性变换矩阵W_opt＝[w₁,w₂,…,w_k]，使得类间散度S_b与类内散度S_w之商最大，如式（8）所示，

$W_{\mathrm{opt}}=\underset{W^{T}W=I}{\arg \max }\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{w}W\right|}=[w_1,w_2,...,w_k]---\left(8\right)$

其中，I为单位阵，样本的类内散度和类间散度如式（9）所示，

$\left\{\begin{array}{c}{S}_w=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_c}{\mathrm{\Σ}}}(x_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c){(x_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c)}^T\\ S_b=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{M}_c({\stackrel{\‾}{x}}_c-\stackrel{\‾}{x}){({\stackrel{\‾}{x}}_c-\stackrel{\‾}{x})}^T\end{array}\right.---\left(9\right)$

其中，为样本集中第c类第j个变量，表示第c类样本的均值， 表示所有样本的均值，

4、SVM分类器指导分类

SVM根据两类样本数据寻求最优分类面，使两类之间的距离最大。令M个训练数据(y_i,z_i),i∈M，z_i是样本y_i所属的类标志，z_i∈(-1,+1)。若样本特征线性可分时，通过使两类的分类间隔最大，可以得到对应的分类函数f(y)为

$f\left(y\right)=\mathrm{sgn}\{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{z}_i{\mathrm{\α}}_i(y\·y_i)+b\}---\left(10\right)$

其中，f(y)符号判定样本y所属的类别，α_i为Lagrange乘子，每个非零α_i对应的数据y_i即是最优超平面的一个支持向量，b为偏移量，可由任意一支持向量代入式（10）求得。当样本非线性可分时，可以通过定义核函数将特征空间变换到高维空间，对应的分类函数如式（11）

$f\left(y\right)=\mathrm{sgn}\{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{z}_i{\mathrm{\α}}_{i}K(y,y_i)+b\}---\left(11\right)$

本发明采用基于Gauss核的核函数，Gauss函数如式（12）所示，

$K(y,y_i)=\exp (-\frac{{|y-y_i|}^2}{{2\mathrm{\σ}}^2})---\left(12\right)$

对于微表情识别，根据SVM两类分类问题，构造多类分类算法函数L(y)，如式（13）所示，

L(y)＝arg max{f_c(y)},c＝1,…,C （13）

其中，y表示测试样本数据，f_c(y)是第c类的分类函数，如（11）所示。判定最大的分类函数值f_c(y)所对应的类就是该测试数据y所在的类。

在CASME Database下，选取了紧张、压抑、厌恶以及惊讶四种微表情作为实验样本，如图6所示。其中每种表情随机选择15个样本作为训练样本，剩余的作为测试样本，随机选择了20次进行实验。与其它张量空间方法（微表情能量图（GEI+Gabor），微表情差分切片能量图（MDSEI），其中GEI+Gabor，MDSEI，MDSEI+Gabor都默认使用LDA降维技术和SVM分类器）20次随机试验平均结果相比，平均识别率及方差如表一所示。

表一本发明方法与其它方法对比

方法	GEI+Gabor	MDSEI	MDSEI+Gabor
				平均识别率	0.5196	0.9841	0.9864
方差	0.0483	0.0172	0.0157

由表一可以看出，本发明所提出的基于差分切片能量图和Gabor变换的微表情识别方法（MDSEI+Gabor）具有最高的识别率，平均识别率为98.64%高于其它两种方法，并且具有小的方差，识别性能更加稳定，鲁棒性强。

Claims (5)

1.基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，包括如下步骤：

步骤(1)构造微表情序列差分切片能量图；首先，计算一个完整微表情序列中包含表情细微变化区域的微表情帧形成差分切片，然后将微表情差分切片叠加生成差分切片能量图；所述微表情序列差分切片是指一个微表情序列中相邻两帧作差所形成的帧；

步骤(2)差分切片能量图的特征提取；首先将差分切片能量图进行Gabor变换，样本的微表情差分切片能量图与Gabor内核的卷积得到样本的Gabor特征，所述特征的提取只使用Gabor特征的幅度信息提取，在提取Gabor幅度特征后进行抽样，稀疏提取部分Gabor特征组成样本的特征向量，再使用LDA作进一步特征提取；

步骤(3)分类识别；首先根据微表情训练数据训练出一个模型，然后根据该模型对微表情测试样本进行预测分类。

2.如权利要求1所述的基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，

所述步骤(1)中，假设第m个样本的一段微表情帧序列中第t帧表示为I_m(x，y，t)，t＝1，…，N；微表情差分切片帧序列的第t帧表示为D_m(x，y，t)，t＝1，…，N-1；

D_m(x，y，t)＝I_m(x，y，t+1)-I_m(x，y，t)

其中，(x，y)表示图像的坐标；

则该段微表情序列的差分切片能量图构造如下式所示，

。

3.如权利要求2所述的基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，所述步骤(2)中，样本的Gabor特征由第i个样本的微表情差分切片能量图与Gabor内核的卷积得到，

二维小波内核ψ(k_u，v，z)定义为

其中，σ是与小波频率带宽有关的常数，z＝(x，y)为空间位置坐标，i是虚数，

其中，k_v表示采样的尺度；φ_u表示采样的方向；

其中，k_max为最大频率，f是频域中的内核间隔因子；

s为采样的尺度的个数，d为采样的方向的个数，尺度标号集合为v∈{0，1，…，s-1}，方向标号集合为u∈{0，1，…，d-1}；

组合不同尺度和方向的Gabor幅度特征构成图像在z位置处的Gabor特征矢量；在提取Gabor幅度特征后进行抽样，稀疏提取部分Gabor特征组成样本m的特征向量为x_m。

4.如权利要求2所述的基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，所述步骤(2)中，线性判别分析提取特征，寻找最优的线性变换矩阵W_opt＝[w₁，w₂，…，w_k]，使得类间散度S_b与类内散度S_w之商最大，

其中，I为单位阵，

其中，为样本集中第c类第j个变量，表示第c类样本的均值， 表示所有样本的均值，

其中，x是提取Gabor特征后M个样本组成的训练集x＝{x₁，x₂，…，x_i，…，x_M}，x_i表示第i个样本；该训练集包含C类样本，用M_c表示第c类中的样本数，该样本训练集其中为第c类样本组成的样本矩阵；y_i表示特征x_i投影后的特征向量，y＝[y₁，y₂，…，y_i…，y_M]＝[y₁，…，y_c，…，y_c]为特征提取后由特征向量构成的特征矩阵，W为相应的线性变换矩阵。

5.如权利要求3或4所述的基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，步骤(3)中，分类识别的步骤如下：

M个训练数据(y_i，z_i)，i∈M，z_i是样本y_i所属的类标志，z_i∈(-1，+1)；

若样本特征线性可分时，通过使两类的分类间隔最大，得到对应的分类函数

其中，f(y)符号判定样本y所属的类别，α_i为Lagrange乘子，每个非零α_i对应的数据y_i即是最优超平面的一个支持向量，b为偏移量，由任意一支持向量代入上式求得；

当样本非线性可分时，通过定义核函数将特征空间变换到高维空间，对应的分类函数为

其中，

对于微表情识别，构造多类分类算法函数L(y)，

L(y)＝axg max{f_c(y)}，c＝1，…，C

其中，y表示测试样本数据，f_c(y)是第c类的分类函数；判定最大的分类函数值f_c(y)所对应的类就是该测试数据y所在的类。