CN105930878A - 一种基于差分切片能量图和稀疏编码的微表情识别方法 - Google Patents

Abstract

一种基于差分切片能量图和稀疏编码的微表情识别方法，包括构建差分切片能量图和稀疏编码分类；所述构建差分能量图方法为：将已经规范化的微表情视频图像序列相邻帧进行减除，形成微表情特征的差分切片；统计所述差分切片能量，构建成差分切片能量图；所述稀疏编码分类中，所述稀疏编码采用SRC模型或者RSC模型。本发明所提供的方法较MPCA、GTDA、DTSA、以及DSEI+Gabor等方法具有更高的识别率，更低的方差，且对不同类型摄像机拍摄的微表情序列鲁棒性更强。本发明采用差分切片能量图刻画微表情细节，并使用稀疏编码稀疏进行分类，不仅能够更好的挖掘出微表情的特征信息，而且大大提高了分类性能。

Description

一种基于差分切片能量图和稀疏编码的微表情识别方法

技术领域

本发明涉及一种基于差分切片能量图和稀疏编码的微表情识别方法，属于机器学习和模式识别领域。

背景技术

情绪是人某种内心感受的体验，而表情是人情绪最重要的外部表现形式之一。表情有真假，人可以根据主观意识进行伪装，但是内心的情绪确实客观存在的。心理学研究发现，人在表达情绪的时候，总会伴随着微表情的发生，而微表情是具有不易掩盖伪装的特点，近些年来受到大量研究者的青睐。

微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，它表达了人试图压抑与隐藏的真正情感，往往被人所忽略。微表情最早被发现于1966年，但直到1969年才正式被Ekman等命名为“微表情”。近年来，Ekman和Erika通过人类面部测绘行为研究，证实微表情可以将人的隐藏情感暴露出来，更真实地表达人的主观感受。

微表情自发现以来，一直是国内外研究者一个重要研究课题。在国外，微表情识别研究起步较早，具有大量的研究团队，其中，最著名的有美国的Ekman团队、Shreve团队，加拿大的Porter团队，日本的Polikovsky团队以及芬兰的赵国英团队等。他们在微表情研究领域都具有丰富的研究成果，尤其是Ekman团队，他们极大的推动了微表情的研究进展，但其中的关键技术大多是保密的。至今，微表情识别在心理诊断、测谎、案情审理等方面有了一些初步的应用，但是在机器识别领域，技术并不成熟。在国内，微表情研究起步较晚，其中，最主要的是傅小兰教授的团队。目前，已存在的微表情识别方法可以分为两类：应变模式和机器学习，而机器学习方法又可以分为聚类方法和分类器方法。应变模式代表性的算法有Godavarthy等提出的光流法，Shreve等提出的人脸区域分割与光流法相结合等，其可以捕捉到微小的表情变化，但是，基于光流的微表情识别方法很难确定表情发生的阈值；聚类法主要是Polikovsky等提出的3D高斯滤波结合k-均值聚类法，其可度量微表情启动、高潮、结束三个阶段持续的时间，但是该方法聚类的数目难以确定；基于分类器的方法主要有Pfister等提出的空时局部纹理描述算子和支持向量机、基于图模型的时间插值模型结合多核学习，以及傅小兰团队的Gabor+特征选择(Gentleboost算法)结合SVM分类器和基于多线性子空间(多线性主成分分析，判别张量子空间学习)等，前两者目前对微表情的鉴别依旧不够精确，而傅小兰团队的微表情识别方法忽略了动态信息，对幅度较小的微表情鲁棒性较差，其团队基于线性子空间学习的方法对计算机性能要求较高，且保留维数难以确定。本专利提供了一种基于差分切片能量图和稀疏编码的微表情识别方法，属于基于分类器的方法，其通过差分切片能量图更加准确地表达微表情的特征，并通过稀疏编码模型提高微表情的分类性能。与目前已有算法相比，本发明提供的方法不仅减少了计算机开销，而且大大提高了识别性能，是一种高鲁棒性的微表情识别方法。

目前，大多数微表情研究侧重于判断微表情是否发生，对微表情识别研究较少。已存在的微表情识别研究主要侧重于微表情特征表达以及子空间学习两个方面，所取得的识别效果并不理想。

发明内容

针对现有技术的不足，本发明提供一种基于差分切片能量图和稀疏编码的微表情识别方法。本发明采用差分切片能量图刻画微表情细节，并使用稀疏编码稀疏进行分类，不仅能够更好的挖掘出微表情的特征信息，而且大大提高了分类性能。

本发明的技术方案如下：

一种基于差分切片能量图和稀疏编码的微表情识别方法，包括构建差分切片能量图和稀疏编码分类；

所述构建差分能量图方法为：将已经规范化的微表情视频图像序列相邻帧进行减除，形成微表情特征的差分切片；统计所述差分切片能量，构建成差分切片能量图；

所述稀疏编码分类中，所述稀疏编码采用SRC(稀疏表示编码)模型或者RSC(鲁棒性稀疏编码)模型；

所述SRC模型，首先用训练样本构造字典，计算稀疏编码系数，然后稀疏编码系数与字典线性组合重构样本，最后计算测试样本和重构样本误差，根据误差最小原则确定测试样本类别；

所述RSC模型，首先用训练样本构造字典，计算稀疏编码系数，然后稀疏编码系数与字典线性组合重构样本，在重构样本时引入了权值矩阵，即冗余误差较大时，权值矩阵能够减小冗余误差，减少噪声的影响，最后计算测试样本和重构样本误差，根据误差最小原则确定测试样本类别。

根据本发明优选的，所述构建差分切片能量图具体包括：

首先，使用已经规范化的微表情视频图像序列构造微表情差分切片序列，所述微表情差分切片序列由微表情序列中相邻帧图像作差所形成的帧构成，其数学描述如下：

假设某个样本的一段微表情序列第t帧为I(x,y,t),t＝1,…,N，微表情差分切片帧序列的第t帧表示为Diff(x,y,t),t＝1,…,N-1，其中x,y分别表示该图像帧的横、纵坐标，则

Diff(x,y,t)＝I(x,y,t+1)-I(x,y,t),t＝1,...,N-1 (1)

然后，构建成差分切片能量图

$E(x,y)=\underset{t=1}{\overset{N-1}{\Σ}}Diff(x,y,t)---\left(2\right).$

根据本发明优选的，所述稀疏编码分类具体包括步骤如下：

a.SRC模型分类识别，所述SRC模型通过寻找一种稀疏的表示方法逼近原始的待识别图像，即构建一个由训练样本做基本元素(原子)构成的过完备字典，将待测试样本表示为字典内各原子的线性组合，将识别问题建模成多个线性回归模型的分类问题，所述SRC模型分类识别具体过程如下：

假设有属于l类微表情的k个训练样本图像特征，即指由一段微表情视频序列记录构建的差分切片能量图，其中，第i类微表情含有k_i个样本，则所述训练样本构成的稀疏字典为D＝[D₁,D₂,...,D_i,...,D_l]∈R^m×k，其中，为第i类第k_i个训练样本的差分切片能量图的特征向量，m是训练样本的维数；

根据线性子空间理论，所有的测试样本表示为它所属类别的训练样本的线性组合，则第i类的测试样本x表示为

$x={\mathrm{\α}}_{k_1}{d}_{k_1}+{\mathrm{\α}}_{k_1}{d}_{k_1}+...+{\mathrm{\α}}_{k_i}{d}_{k_i},{\mathrm{\α}}_{k_i}\∈R,i=1,2,...,l---\left(3\right)$

其中，为第i类训练样本线性组合系数；同理，对测试微表情序列，其差分切片能量图特征表示系数向量α＝[α₁,α₂,···,α_l]，则测试微表情序列的特征表示为所有训练的微表情序列的特征的线性组合，

x＝Dα (4)

理论上，对于属于第i类的样本x，α中第i类样本对应的系数权值非0，而其他类别样本对应的系数权值为0，所以，最终测试样本的类别判定就转变为解线性方程组x＝Dα问题；

若稀疏字典D的维数满足m＞k，则线性方程组x＝Dα为超定方程，x只存在一个唯一解；

在实际稀疏表示分类识别方法中，稀疏字典D的维数条件为m＜k，稀疏D为过完备字典，即线性方程x＝Dα为欠定方程，系数α存在多个解；

为寻找到系数α最优稀疏解，优化目标为在满足公式(4)的条件下，寻找l₁范数最小的α，即

$\begin{array}{cc}\arg & \underset{\mathrm{\α}\∈R}{\min }{||\mathrm{\α}||}_1\\ s.t.& x^{\left(j\right)}=D\mathrm{\α}\end{array}---\left(5\right)$

其中，R表示实数集，测试样本x^(j)＝[x₁,x₂,…,x_m]^T∈R^m×1,j＝1,2,…,N，N为测试样本的总数；在实际的稀疏表示分类方法中，绝大部分情况下，测试样本x不可能被表示为训练样本字典D的系数完全稀疏的线性组合，因此需要将上式的约束条件中加入一定的噪声容限ε，优化式(5)转化为，

$\begin{array}{cc}\arg & \underset{\mathrm{\α}}{\min }{||\mathrm{\α}||}_1,\\ s.t.& ||x^{\left(j\right)}-D\mathrm{\α}||\≤\mathrm{\ϵ}\end{array}---\left(6\right)$

式(6)得到系数向量满足稀疏条件，而且非0系数与测试样本所属类别的位置相对应，其它系数为0或接近0，表示系数包含很好的判别分类信息；

在实际中，稀疏编码求解模型可以将稀疏限定作为约束条件，以Lasso的方式表示，采用l₂范数最小化来求解训练样本表示测试样本的组合系数，即

$\begin{array}{cc}\underset{\mathrm{\α}}{\min }& {||x^{\left(j\right)}-D\mathrm{\α}||}_2^2\\ s.t.& {||\mathrm{\α}||}_1\≤\mathrm{\α}\end{array}---\left(7\right)$

式(7)表示为拉格朗日形式

$\mathrm{\α}=\arg \underset{\mathrm{\α}}{min}{||x^{\left(j\right)}-D\mathrm{\α}||}_2^2+\mathrm{\λ}{||\mathrm{\α}||}_1---\left(8\right)$

然后使用向量α中第i类原子重构测试样本，由上述原子构成的测试样本向量表示为δ_i(α)；根据测试样本和重构样本之间的冗余误差来将最接近最相似的样本定义为最终判定类别

$\underset{i}{min}{r}_i\left(x\right)={||x^{\left(j\right)}-{\mathrm{D\δ}}_i\left(\mathrm{\α}\right)||}_2^2---\left(9\right)$

Dδ_i(α)是第i种类别对测试样本的稀疏重构向量，β为第i类重构向量对测试样本的稀疏逼近残差；逼近残差表示测试样本与字典中的各类样本的接近程度，跟某一类的残差越小，则表示测试样本与该类的训练样本差别越小；跟某一类的残差越大，则表示测试样本与该类的训练样本差别越小；因此，将测试样本判别为具有r_i(x)最小的类别，即将测试样本的类别判定为能充分重构它的类别，即如果r_i(x)最小，则选定i为测试样本最终类别；

b.RSC模型分类识别，包括如下步骤：

在SRC模型的公式中，编码冗余表示为为保证能找到测试样本的正确类别，编码冗余e＝x^(j)-Dα呈高斯或拉普拉斯分布，上述条件在遮挡等外界条件下是不一定满足的，通过加入权重矩阵W来调整编码冗余e，使e呈高斯或拉普拉斯分布，满足算法对外界条件多变的鲁棒性，其优化目标如式(10)所示

$\mathrm{\α}=\arg \underset{\mathrm{\α}\∈R}{min}{||W^{1/2}(x^{\left(j\right)}-D\mathrm{\α})||}_2^2+\mathrm{\λ}{||\mathrm{\α}||}_1---\left(10\right)$

其中，权重矩阵W的因子表示为

w(e_q)＝exp(μδ-μe_q ²)/(1+exp(μδ-μe_q ²)) (11)

参数δ和μ是正数标量，δ控制分界点的位置，μ控制递减率从1到0，简单设定μ＝c/δ，c是一个常量，在微表情识别过程中取8；w(e_q)的选取由稀疏限定条件下的MLE最大似然估计算法求出；相对应的图像重构过程如式(12)所示，

$\underset{i}{min}{r}_i\left(x\right)={||W^{1/2}(x^{\left(j\right)}-{\mathrm{D\δ}}_i(\mathrm{\α}\left)\right)||}_2^2---\left(12\right).$

如果图像存在轮廓、边缘、外界遮挡等情况，这时e很大，意味着测试样本不能够很好地被表示为训练样本字典的线性组合，那么W就会减小冗余误差以便能够减弱算法对轮廓等高频信息的敏感性；由于权重矩阵W的加入，与SRC相比，RSC算法增加了算法的复杂性和计算耗时，但相应的提高了对环境的鲁棒性。

本发明的有益效果是：

1、本发明提供一种基于差分切片能量图和稀疏编码的微表情识别方法，使用差分切片能量图刻画微表情特点，并与稀疏编码相结合进行分类识别，大大提高了识别性能。

2、本发明首次将稀疏编码算法应用于微表情分类识别，并根据环境对SRC模型和RSC模型进行选择，权衡识别效果和计算损耗。

3、本发明与经典算法相比，降低了对计算机CPU性能的要求。

附图说明

图1本发明所述识别方法的流程图；

图2本发明中所述差分切片能量图构造流程图；

图3a是CASME库中紧张微表情示例图；

图3b是CASME库中惊讶微表情示例图；

图3c是CASME库中压抑微表情示例图；

图3d是CASME库中厌恶微表情示例图；

图4a是SMIC库中HS微表情序列；

图4b是SMIC库中NIR微表情序列；

图4c是SMIC库中VIS微表情序列。

具体实施方式：

下面结合附图和实例对本发明进行详细的描述，但不限于此。

实施例1、

一种基于差分切片能量图和稀疏编码的微表情识别方法，如图1所示，包括构建差分切片能量图和稀疏编码分类；

所述构建差分能量图方法为：将已经规范化的微表情视频图像序列相邻帧进行减除，形成微表情特征的差分切片；统计所述差分切片能量，构建成差分切片能量图；

所述稀疏编码分类中，所述稀疏编码采用SRC(稀疏表示编码)模型或者RSC(鲁棒性稀疏编码)模型；

所述SRC模型，首先用训练样本构造字典，计算稀疏编码系数，然后稀疏编码系数与字典线性组合重构样本，最后计算测试样本和重构样本误差，根据误差最小原则确定测试样本类别；

所述RSC模型，首先用训练样本构造字典，计算稀疏编码系数，然后稀疏编码系数与字典线性组合重构样本，在重构样本时引入了权值矩阵，最后计算测试样本和重构样本误差，根据误差最小原则确定测试样本类别。

所述构建差分切片能量图具体包括：

首先，使用已经规范化的微表情视频图像序列构造微表情差分切片序列，所述微表情差分切片序列由微表情序列中相邻帧图像作差所形成的帧构成，其数学描述如下：

假设某个样本的一段微表情序列第t帧为I(x,y,t),t＝1,…,N，微表情差分切片帧序列的第t帧表示为Diff(x,y,t),t＝1,…,N-1，其中x,y分别表示该图像帧的横、纵坐标，则

Diff(x,y,t)＝I(x,y,t+1)-I(x,y,t),t＝1,...,N-1 (1)

然后，构建成差分切片能量图

$E(x,y)=\underset{t=1}{\overset{N-1}{\Σ}}Diff(x,y,t)---\left(2\right).$

所述稀疏编码分类具体包括步骤如下：

a.SRC模型分类识别，SRC模型分类识别具体过程如下：

假设有属于l类微表情的k个训练样本图像特征，即指由一段微表情视频序列记录构建的差分切片能量图，其中，第i类微表情含有k_i个样本，则所述训练样本构成的稀疏字典为D＝[D₁,D₂,...,D_i,...,D_l]∈R^m×k，其中，为第i类第k_i个训练样本的差分切片能量图的特征向量，m是训练样本的维数；

根据线性子空间理论，所有的测试样本表示为它所属类别的训练样本的线性组合，则第i类的测试样本x表示为

$x={\mathrm{\α}}_{k_1}{d}_{k_1}+{\mathrm{\α}}_{k_1}{d}_{k_1}+...+{\mathrm{\α}}_{k_i}{d}_{k_i},{\mathrm{\α}}_{k_i}\∈R,i=1,2,...,l---\left(3\right)$

其中，为第i类训练样本线性组合系数；同理，对测试微表情序列，其差分切片能量图特征表示系数向量α＝[α₁,α₂,···,α_l]，则测试微表情序列的特征表示为所有训练的微表情序列的特征的线性组合，

x＝Dα (4)

理论上，对于属于第i类的样本x，α中第i类样本对应的系数权值非0，而其他类别样本对应的系数权值为0，所以，最终测试样本的类别判定就转变为解线性方程组x＝Dα问题；

若稀疏字典D的维数满足m＞k，则线性方程组x＝Dα为超定方程，x只存在一个唯一解；

在实际稀疏表示分类识别方法中，稀疏字典D的维数条件为m＜k，稀疏D为过完备字典，即线性方程x＝Dα为欠定方程，系数α存在多个解；

为寻找到系数α最优稀疏解，优化目标为在满足公式(4)的条件下，寻找l₁范数最小的α，即

$\begin{array}{cc}\arg & \underset{\mathrm{\α}\∈R}{\min }{||\mathrm{\α}||}_1\\ s.t.& x^{\left(j\right)}=D\mathrm{\α}\end{array}---\left(5\right)$

其中，R表示实数集，测试样本x^(j)＝[x₁,x₂,…,x_m]^T∈R^m×1,j＝1,2,…,N，N为测试样本的总数；在实际的稀疏表示分类方法中，绝大部分情况下，测试样本x不可能被表示为训练样本字典D的系数完全稀疏的线性组合，因此需要将上式的约束条件中加入一定的噪声容限ε，优化式(5)转化为，

$\begin{array}{cc}\arg & \underset{\mathrm{\α}}{\min }{||\mathrm{\α}||}_1,\\ s.t.& ||x^{\left(j\right)}-D\mathrm{\α}||\≤\mathrm{\ϵ}\end{array}---\left(6\right)$

式(6)得到系数向量满足稀疏条件，而且非0系数与测试样本所属类别的位置相对应，其它系数为0或接近0，表示系数包含很好的判别分类信息；

在实际中，稀疏编码求解模型可以将稀疏限定作为约束条件，以Lasso的方式表示，采用l₂范数最小化来求解训练样本表示测试样本的组合系数，即

$\begin{array}{cc}\underset{\mathrm{\α}}{\min }& {||x^{\left(j\right)}-D\mathrm{\α}||}_2^2\\ s.t.& {||\mathrm{\α}||}_1\≤\mathrm{\α}\end{array}---\left(7\right)$

式(7)表示为拉格朗日形式

$\mathrm{\α}=\arg \underset{\mathrm{\α}}{min}{||x^{\left(j\right)}-D\mathrm{\α}||}_2^2+\mathrm{\λ}{||\mathrm{\α}||}_1---\left(8\right)$

然后使用向量α中第i类原子重构测试样本，由上述原子构成的测试样本向量表示为δ_i(α)；根据测试样本和重构样本之间的冗余误差来将最接近最相似的样本定义为最终判定类别

$\underset{i}{min}{r}_i\left(x\right)={||x^{\left(j\right)}-{\mathrm{D\δ}}_i\left(\mathrm{\α}\right)||}_2^2---\left(9\right)$

Dδ_i(α)是第i种类别对测试样本的稀疏重构向量，β为第i类重构向量对测试样本的稀疏逼近残差；逼近残差表示测试样本与字典中的各类样本的接近程度，跟某一类的残差越小，则表示测试样本与该类的训练样本差别越小；跟某一类的残差越大，则表示测试样本与该类的训练样本差别越小；因此，将测试样本判别为具有r_i(x)最小的类别，即将测试样本的类别判定为能充分重构它的类别，即如果r_i(x)最小，则选定i为测试样本最终类别；

b.RSC模型分类识别，包括如下步骤：

在SRC模型的公式中，编码冗余表示为为保证能找到测试样本的正确类别，编码冗余e＝x^(j)-Dα呈高斯或拉普拉斯分布，上述条件在遮挡等外界条件下是不一定满足的，通过加入权重矩阵W来调整编码冗余e，使e呈高斯或拉普拉斯分布，满足算法对外界条件多变的鲁棒性，其优化目标如式(10)所示

$\mathrm{\α}=\arg \underset{\mathrm{\α}\∈R}{min}{||W^{1/2}(x^{\left(j\right)}-D\mathrm{\α})||}_2^2+\mathrm{\λ}{||\mathrm{\α}||}_1---\left(10\right)$

其中，权重矩阵W的因子表示为

w(e_q)＝exp(μδ-μe_q ²)/(1+exp(μδ-μe_q ²)) (11)

参数δ和μ是正数标量，δ控制分界点的位置，μ控制递减率从1到0，简单设定μ＝c/δ，c是一个常量，在微表情识别过程中取8；w(e_q)的选取由稀疏限定条件下的MLE最大似然估计算法求出；相对应的图像重构过程如式(12)所示，

$\underset{i}{min}{r}_i\left(x\right)={||W^{1/2}(x^{\left(j\right)}-{\mathrm{D\δ}}_i(\mathrm{\α}\left)\right)||}_2^2---\left(12\right).$

如果图像存在轮廓、边缘、外界遮挡等情况，这时e很大，意味着测试样本不能够很好地被表示为训练样本字典的线性组合，那么W就会减小冗余误差以便能够减弱算法对轮廓等高频信息的敏感性；由于权重矩阵W的加入，与SRC相比，RSC算法增加了算法的复杂性和计算耗时，但相应的提高了对环境的鲁棒性。

利用本发明所述方法分别在CASME微表情库和SMIC微表情库上进行实验验证，并与其他方法进行了对比。在CASME库上，我们选取紧张、压抑、厌恶以及惊讶四种微表情作为实验样本，如图3a-3d所示。每种表情随机选取选择15个样本作为训练样本，剩下的样本作为测试样本，进行20次随机实验，实验结果如表一所示，

表一：在CASME库上20次随机实验结果比较

在SMIC库上，我们分别在三种摄像机拍摄的样本上进行实验，三种摄像机拍摄的样本库分别为HS(高速摄像机)、NIR(近红外摄像机)和VIS(正常视觉摄像机)，如图3a-3c所示。在HS库中，每种微表情随机选取选择25个样本作为训练样本，剩下的样本作为测试样本，在NIR和VIS库上，每种表情随机选择15个样本作为训练样本，剩下的样本作为测试样本，进行20次随机实验，实验结果如表二所示，

表二：SMIC库上三种摄像机下微表情识别率比较

由表一和表二实验结果可知，较其它典型的微表情识别算法，本发明提供的方法总能获得最高的识别率，最小的方差；由表二可知，本发明所提供的方法对不同摄像机拍摄的微表情序列具有鲁棒性；比较SRC和RSC识别结果可知，两种模型对不同的摄像机拍摄的微表情序列的鲁棒性不同，但总有一种模型取得最高识别率。由以上实验结果可知，本发明是切实可行的。

Claims (3)

1.一种基于差分切片能量图和稀疏编码的微表情识别方法，其特征在于，该方法包括构建差分切片能量图和稀疏编码分类；

所述构建差分能量图方法为：将已经规范化的微表情视频图像序列相邻帧进行减除，形成微表情特征的差分切片；统计所述差分切片能量，构建成差分切片能量图；

所述稀疏编码分类中，所述稀疏编码采用SRC模型或者RSC模型；

所述SRC模型，首先用训练样本构造字典，计算稀疏编码系数，然后稀疏编码系数与字典线性组合重构样本，最后计算测试样本和重构样本误差，根据误差最小原则确定测试样本类别；

所述RSC模型，首先用训练样本构造字典，计算稀疏编码系数，然后稀疏编码系数与字典线性组合重构样本，在重构样本时引入了权值矩阵，最后计算测试样本和重构样本误差，根据误差最小原则确定测试样本类别。

2.根据权利要求1所述的一种基于差分切片能量图和稀疏编码的微表情识别方法，其特征在于，所述构建差分切片能量图具体包括：

首先，使用已经规范化的微表情视频图像序列构造微表情差分切片序列，所述微表情差分切片序列由微表情序列中相邻帧图像作差所形成的帧构成，其数学描述如下：

假设某个样本的一段微表情序列第t帧为I(x,y,t),t＝1,…,N，微表情差分切片帧序列的第t帧表示为Diff(x,y,t),t＝1,…,N-1，其中x,y分别表示该图像帧的横、纵坐标，则

Diff(x,y,t)＝I(x,y,t+1)-I(x,y,t),t＝1,...,N-1 (1)

然后，构建成差分切片能量图

$E(x,y)=\underset{t=1}{\overset{N-1}{\Σ}}Diff(x,y,t)---\left(2\right).$

3.根据权利要求1所述的一种基于差分切片能量图和稀疏编码的微表情识别方法，其特征在于，所述稀疏编码分类具体包括步骤如下：

a.SRC模型分类识别，SRC模型分类识别具体过程如下：

假设有属于l类微表情的k个训练样本图像特征，即指由一段微表情视频序列记录构建的差分切片能量图，其中，第i类微表情含有k_i个样本，则所述训练样本构成的稀疏字典为D＝[D₁,D₂,...,D_i,...,D_l]∈R^m×k，其中，为第i类第k_i个训练样本的差分切片能量图的特征向量，m是训练样本的维数；

根据线性子空间理论，所有的测试样本表示为它所属类别的训练样本的线性组合，则第i类的测试样本x表示为

$x={\mathrm{\α}}_{k_1}{d}_{k_1}+{\mathrm{\α}}_{k_1}{d}_{k_1}+...+{\mathrm{\α}}_{k_i}{d}_{k_i},{\mathrm{\α}}_{k_i}\∈R,i=1,2,...,l---\left(3\right)$

其中，为第i类训练样本线性组合系数；同理，对测试微表情序列，其差分切片能量图特征表示系数向量α＝[α₁,α₂,…,α_l]，则测试微表情序列的特征表示为所有训练的微表情序列的特征的线性组合，

x＝Dα (4)

优化目标为在满足公式(4)的条件下，寻找l₁范数最小的α，即

$\begin{array}{cc}\arg & \underset{\mathrm{\α}\∈R}{\min }\left|\right|\mathrm{\α}|{|}_1\\ s.t.& x^{\left(j\right)}=D\mathrm{\α}\end{array}---\left(5\right)$

其中，R表示实数集，测试样本x^(j)＝[x₁,x₂,…,x_m]^T∈R^m×1,j＝1,2,…,N，N为测试样本的总数；优化式(5)转化为，

$\begin{array}{cc}\arg & \underset{\mathrm{\α}}{\min }\left|\right|\mathrm{\α}|{|}_1,\\ s.t.& \left|\right|x^{\left(j\right)}-D\mathrm{\α}\left|\right|\≤\mathrm{\ϵ}\end{array}---\left(6\right)$

式(6)得到系数向量满足稀疏条件，

采用l₂范数最小化来求解训练样本表示测试样本的组合系数，即

$\begin{array}{cc}\underset{\mathrm{\α}}{\min }& \left|\right|x^{\left(j\right)}-D\mathrm{\α}|{|}_2^2\\ s.t.& \left|\right|\mathrm{\α}|{|}_1\≤\mathrm{\α}\end{array}---\left(7\right)$

式(7)表示为拉格朗日形式

$\mathrm{\α}=\arg \underset{\mathrm{\α}}{min}\left|\right|x^{\left(j\right)}-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1---\left(8\right)$

然后使用向量α中第i类原子重构测试样本，由上述原子构成的测试样本向量表示为δ_i(α)；根据测试样本和重构样本之间的冗余误差来将最接近最相似的样本定义为最终判定类别

$\underset{i}{min}{r}_i\left(x\right)=\left|\right|x^{\left(j\right)}-{\mathrm{D\δ}}_i\left(\mathrm{\α}\right)|{|}_2^2---\left(9\right)$

Dδ_i(α)是第i种类别对测试样本的稀疏重构向量，β为第i类重构向量对测试样本的稀疏逼近残差；如果r_i(x)最小，则选定i为测试样本最终类别；

b.RSC模型分类识别，包括如下步骤：

在SRC模型的公式中，编码冗余表示为编码冗余e＝x^(j)-Dα呈高斯或拉普拉斯分布，通过加入权重矩阵W来调整编码冗余e，使e呈高斯或拉普拉斯分布，其优化目标如式(10)所示

$\mathrm{\α}=\arg \underset{\mathrm{\α}\∈R}{min}\left|\right|W^{1/2}(x^{\left(j\right)}-D\mathrm{\α})|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1---\left(10\right)$

其中，权重矩阵W的因子表示为

w(e_q)＝exp(μδ-μe_q ²)/(1+exp(μδ-μe_q ²)) (11)

参数δ和μ是正数标量，δ控制分界点的位置，μ控制递减率从1到0，简单设定μ＝c/δ，c是一个常量，在微表情识别过程中取8；w(e_q)的选取由稀疏限定条件下的MLE最大似然估计算法求出；相对应的图像重构过程如式(12)所示，

$\underset{i}{min}{r}_i\left(x\right)=\left|\right|W^{1/2}(x^{\left(j\right)}-{\mathrm{D\δ}}_i(\mathrm{\α}\left)\right)|{|}_2^2---\left(12\right).$