CN108647628B - 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法 - Google Patents

Abstract

本发明涉及一种基于多特征多任务字典稀疏迁移学习的微表情识别方法，包括训练阶段和测试阶段。本专利通过投影的方式将宏表情和微表情投影到公共空间内，并且为了简化计算，提高效率，对投影后的数据进行稀疏字典表示；为了进一步缩小两个域的数据差距，考虑将两个域的字典进行彼此之间的重构从而实现了字典的关联性，这样使得投影后的稀疏表示矩阵产生了更大的相关性；为了充分表现微表情的特点，本发明对微表情提取四种不同的特征，通过多特征选择最优组合；为了能凸显出微表情的细节表现，本发明引入多任务的思想，进一步提升了识别效果。

Description

一种基于多特征多任务字典稀疏迁移学习的微表情识别方法

技术领域

本发明涉及一种基于多特征多任务字典稀疏迁移学习的微表情识别方法，属于模态识别以及机器学习的技术领域。

背景技术

微表情是人们在抑制状态下或者试图隐藏真实情感时泄露的一种时间极短、不由自主的面部表情。1966年，Haggard和Issacs首次发现了这种细微的表情。传统意义的人脸表情(我们称之为宏表情)具有较大的修饰性，一个正常的成年人可以在经过大脑思考之后再呈现出令他满意的表情，而微表情是电光火石之间不经意流露出来的表情，是一个人最真实的情感泄露，因此很难经过大脑的“筛查”，所以微表情更容易暴露一个人的真正内心活动，由于微表情存在该特点，其被认定是一种可靠的侦测谎言的线索。虽然微表情概念提出较早，但是由于其自身特点一直难以被捕捉、量化，因此在相当长的时间内，微表情的研究缓慢而平淡。2002年，微表情研究取得了巨大进展，Ekman等人开发了微表情训练工具(Micro Expression Training Tool，METT)，该工具提供了微表情训练模式，并将微表情分为常见的七种分类，该工具有效的提高了微表情识别能力。随着人脸表情算法的进步，微表情的研究工作取得了长足的进步。

随着微表情研究的深入开展，微表情识别技术取得了长足的进步。目前的识别方法主要分为两类：1.应变模式方法；2.机器学习类方法。应变模式方法主要是关注面部肌肉的应变响应，Godavarthy等人提出了一种计算连续帧之间的光流阈值方法来检测微表情，通过计算各帧域中性表情帧的光流域光流应变值来判断是否满足微表情；Shreve团队将人脸图像进行区域分割并且结合光流法，使用局部阈值策略计算每个区域的细微变化。机器学习方法主要有分类和聚类方法。吴等通过采用Gabor滤波器，选择使用Gentleboost算法，使用SVM分类器识别微表情；Polikovsky等人将人脸划为12个感兴趣域，提取各个区域的三维梯度方向直方图作为描述子，用局部的直方图描述特征。

传统的机器学习中，为了能得到较好的预估结果，要有两个基本要素：第一是预测数据和训练数据满足同分布；第二要有足够数量的样本数量。但在实际问题解决中，这两个条件几乎很难同时满足。在新环境下，新数据呈现了独有的特性，这导致了以往的数据往往不可以完全信任。例如，股票的发展趋势，我们很难根据过去的数据去模拟未来发展趋势；同时我们获得的新数据往往不具有完整的标签，这使我们很难直接利用数据库去训练模型。在这种背景下，迁移学习理论应运而生，迁移学习指的是利用以往的知识A，去解决相似的知识B，把通过A训练好的模型参数迁移到新的模型中帮助新模型训练。因为大部分的数据或任务是存在相关性的，所以可以借用旧的知识加速学习过程。

目前各类微表情数据库均存在数量较少、并且样本标签信息不完整的问题，因此难以训练一个有效的模型，考虑到传统的人脸表情数据库样本数量丰富，通过迁移学习将人脸宏表情和微表情建立联系，并实现知识转移，将有助于提升微表情的识别效果。将迁移学习理论应用到微表情的识别中尚属空白，而应用于其他领域的迁移学习框架在小样本库、标签信息不完整的微表情识别中效果也不理想。

微表情的特征提取手段多种多样，不同的特征反映了微表情不同层面的特点，从多种特征中选择最有效的特征组合将会比单一的特征更加全面的反应微表情特点，多特征思想就是从多种特征中通过一定方法选择出优秀的特征组合，实现更加出色的性能表现；人脸面部表情被划分为多个区域块的AU单元，每一个局部的变化都至关重要，基于面部整体的特征提取往往湮没了局部细节特点，多任务思想将人脸划分为多块局部区域，通过给予不同区域块不同的权重，突出局部细节特点。

发明内容

针对目前从宏表情到微表情的迁移学习空白的技术问题，本发明提出了一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法。

本发明与其他识别方法相比，首次实现了宏表情到微表情的识别，同时将多特征和多任务应用其中，识别性能得到有效提高。

术语解释：

1、LBP特征：LBP指局部二值模式，英文全称：Local Binary Pattern，是一种用来描述图像局部特征的算子，LBP特征具有灰度不变性和旋转不变性等显著优点。

2、光流特征，光流(Optical Flow)法是目前运动图像分析的重要方法，它的概念是由Gibso于1950年首先提出的，光流描述的是物体运动时的瞬时速度，反映了图像序列中像素在时间域上的变化以及相邻帧之间的差异，计算相邻帧之间物体的运动信息。

3、LBP-TOP特征，LBP-TOP(Local Binary Patterns From Three OrthognalPlanes)三正交平面局部二值模式。LBP-TOP是基于LBP原理的另一种改进方法，其最早由芬兰奥卢大学的赵国英等人提出。

4、VLBP特征，VLBP(Volume Local Binary Patterns),卷积局部二值模式。LBP算子无法描述动态图片序列的变化过程，为了将空间上的纹理信息和时间上的运动信息结合，在LBP的基础上，Zhao等人提出了VLBP的改进方法，其思想是将当前帧中的像素点的LBP值和前后两帧的对应像素点的LBP按照一定权值结合起来。

5、LOCP-TOP特征，LOCP-TOP(Local Ordinal Contrast Pattern From ThreeOrthogonal Planes)三正交平面局部顺序比较模式。LOCP-TOP是一种类似于LBP-TOP的特征提取方法，只不过它是基于LOCP纹理特征的动态改进方法。LOCP总结了LBP的特点，并继承了基本的原理，不过该方法认为，在纹理特征提取时，如果选择中心点作为周围所有点的对比，极容易受到噪声点的干扰，LOCP方法选择固定的半径圆和邻域点个数后，不再将每个位置的点与中心点作比较，而是前后位置成对的比较，依次化为二进制。在LOCP的基础上，受LBP-TOP思想的激发，同样的加入时间轴之后在三个正交平面分别提取LOCP特征，构成了最终的LOCP-TOP特征。

6、K近邻分类器(KNN)，是指基于欧氏距离的最近邻分类器。

本发明的技术方案为：

一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，包括训练阶段、测试阶段；

A、训练阶段，包括步骤如下：

(1)对微表情域中每个图片平均分成若干分块；

(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；LBP特征是宏表情域最具有代表性的纹理特征；为了充分反映微表情动态序列的特点，对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

(3)对步骤(2)提取的特征进行降维；

(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；

(5)由于宏表情和微表情的机理存在着差异，直接使用数据集不仅在原理难以畅通，实验结果也极其不理想，为了能提高两个数据库的关联性和相似度，本发明做了两个工作：将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；为了提高两个域的字典的关联度，将设定微表情域的稀疏字典用设定宏表情稀疏字典进行线性重构，通过计算获得宏表情域的稀疏字典、微表情域的稀疏字典、宏表情域的投影矩阵、微表情域的投影矩阵、微表情域的重构矩阵、宏表情域的稀疏系数表示矩阵，微表情域的稀疏系数表示矩阵；

考虑到微表情多种特征的充分利用，本发明引入多特征的思想实现集中微表情特征的综合利用，本发明通过F范数规则化项选择组合特征；同时为了突出局部细节的表现，本发明将微表情域训练集中的每一帧图片分成多块，在每一块上均进行一个独立的识别过程。

B、测试阶段，包括步骤如下：

(6)对于给定宏表情域测试集、微表情域测试集，分别通过步骤(5)得到宏表情域的投影矩阵、微表情域的投影矩阵，对宏表情数据集和微表情数据集投影到公共空间；

(7)利用通过步骤(5)得到的宏表情域的稀疏字典、微表情域的稀疏字典，分别对投影到公共空间的宏表情域测试集、微表情域测试集进行线性重构，得到宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵；

(8)通过机器识别经典算法K近邻分类器(KNN)对步骤(7)得到的宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵进行分类识别。

根据本发明优选的，所述步骤(2)，对宏表情域和微表情域提取最具代表性的特征，包括：

a、对宏表情域和微表情域进行特征提取，对于宏表情域，提取的特征

n_x是指宏表情域的样本个数；

是指宏表情域中n_x个样本提取的LBP特征，R是指矩阵X的大小；m_x是指宏表情域的特征维数；对于微表情域，由于微表情提取了四组不同的特征，提取的特征

n_y是指微表情域的样本个数；Y¹、Y²、Y³、Y⁴分别是指是指微表情域中n_y个样本提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；m_y是指微表情域的特征维数；

表示微表情域的一种特征集，i＝1,2,3,4，

是指微表情域中n_y个样本提取的对应特征；m_y是指微表情域的特征维数。

根据本发明优选的，所述步骤(5)，包括：

A、初始化宏表情域训练集的投影矩阵、微表情域训练集的投影矩阵W_X,W_Y，将宏表情域训练集、微表情域训练集投影到公共空间内，对于微表情域训练集，引入了F范数对特征组合进行选择，对于微表情域训练集

其投影矩阵

对于微表情域训练集的投影满足式(Ⅰ)：

式(Ⅰ)中，

本发明中由于微表情共提取了四种特征，N＝4，

为了保证与上式中的形式相同，因此，将式(Ⅰ)简化为式(Ⅱ)：

式(Ⅱ)中，D_Y是指微表情域训练集Y的稀疏字典，S_Y是指该稀疏字典下的稀疏系数表示矩阵；

B、同时，为了提高两个域的字典相关性，本发明对微表情域训练集Y的稀疏字典进行线性重构，如式(III)所示：

D_Y＝D_XV_Y (III)

至此，本发明给出了基于多特征宏表情字典稀疏的微表情识别方法的形式，目标函数如式(Ⅳ)所示：

式(Ⅳ)中，

d_xi||²≤1,||d_yj||²≤1,||V_y||₁≤τ,||S_x||₁≤σ,||S_y||₁≤σ，τ＝0.001，σ＝0.001；

S_X是指宏表情域训练集的稀疏系数表示矩阵；

d代表宏表情域训练集、微表情域训练集投影到公共空间的投影维度；

分别是指宏表情域训练集、微表情域训练集的单位矩阵；

C、在此基础上，本发明加入多任务思想，设定对微表情域中每个图片平均分成k个分块，在第k个分块内，如式(Ⅴ)所示：

式(Ⅴ)中，Y^(k)是指第k个分块的特征；(Y¹)^(k)、(Y²)^(k)、(Y³)^(k)、(Y⁴)^(k)分别是指微表情域中第k个分块提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

第k个分块目标函数J^(k)如式(Ⅵ)所示：

D、对每个分块求解后，本发明需要对不同块的识别效果进行综合考虑，给每一分块求解结果赋予权重，如式(Ⅶ)所示：

式(Ⅶ)中，e^k是指第k个分块的稀疏表达误差；

是指控制函数的衰减程度；

第k个分块的权重比例P_K如式(Ⅷ)所示：

引入多任务后，整体目标函数如式(Ⅸ)所示：

其中，

||d_xi||²≤1,||d_yj||²≤1,||V_y||₁≤τ,||S_x||₁≤σ,||S_y||₁≤σ

E、对于上述整体目标函数，采用变量交替优化的策略，多次迭代达到最优效果。

本发明的有益效果为：

1、本发明通过投影的方式将宏表情和微表情投影到公共空间内，并且为了简化计算，提高效率，对投影后的数据进行稀疏字典表示；为了进一步缩小两个域的数据差距，考虑将两个域的字典进行彼此之间的重构从而实现了字典的关联性，这样使得投影后的稀疏表示矩阵产生了更大的相关性；本发明考虑到不同域的字典存在较大的差异性，本发明对两个域的字典进行彼此的重构表示，进一步加强了两域的关联。

2、本发明同时引入了多特征思想对不同特征综合利用，通过多特征选择最优组合；为了能凸显出微表情的细节表现，本发明引入多任务的思想，进一步提升了识别效果。

附图说明

图1为本发明基于多特征多任务字典稀疏迁移学习的微表情识别方法的流程示意图；

图2为宏表情样本图；

图3为微表情数据库样本图；

图4为本发明多特征多任务的微表情识别率与现有技术中单特征单任务的微表情识别率的对比示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，如图1所示，包括训练阶段、测试阶段；

A、训练阶段，包括步骤如下：

(1)对微表情域中每个图片平均分成若干分块；宏表情域中样本图片实例如图2所示；微表情域中样本图片实例如图3所示；

(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；LBP特征是宏表情域最具有代表性的纹理特征；为了充分反映微表情动态序列的特点，对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

(3)对步骤(2)提取的特征进行降维；

(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；

(5)由于宏表情和微表情的机理存在着差异，直接使用数据集不仅在原理难以畅通，实验结果也极其不理想，为了能提高两个数据库的关联性和相似度，本发明做了两个工作：将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；为了提高两个域的字典的关联度，将设定微表情域的稀疏字典用设定宏表情稀疏字典进行线性重构，通过计算获得宏表情域的稀疏字典、微表情域的稀疏字典、宏表情域的投影矩阵、微表情域的投影矩阵、微表情域的重构矩阵、宏表情域的稀疏系数表示矩阵，微表情域的稀疏系数表示矩阵；

考虑到微表情多种特征的充分利用，本发明引入多特征的思想实现集中微表情特征的综合利用，本发明通过F范数规则化项选择组合特征；同时为了突出局部细节的表现，本发明将微表情域训练集中的每一帧图片分成多块，在每一块上均进行一个独立的识别过程。

B、测试阶段，包括步骤如下：

(6)对于给定宏表情域测试集、微表情域测试集，分别通过步骤(5)得到宏表情域的投影矩阵、微表情域的投影矩阵投影到公共空间；

(7)利用通过步骤(5)得到的宏表情域的稀疏字典、微表情域的稀疏字典，分别对投影到公共空间的定宏表情域测试集、微表情域测试集进行线性重构，得到宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵；

(8)通过机器识别经典算法K近邻分类器(KNN)对步骤(7)得到的宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵进行分类识别。

实施例2

根据实施例1所述的一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，其区别在于，

所述步骤(2)，对宏表情域和微表情域提取最具代表性的特征，包括：

a、对宏表情域和微表情域进行特征提取，对于宏表情域，提取的特征

n_x是指宏表情域的样本个数；

是指宏表情域中n_x个样本提取的LBP特征，R是指矩阵X的大小；m_x是指宏表情域的特征维数；

对于微表情域，由于微表情提取了四组不同的特征，提取的特征

n_y是指微表情域的样本个数；

Y¹、Y²、Y³、Y⁴分别是指是指微表情域中n_y个样本提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；m_y是指微表情域的特征维数；

表示微表情域的一种特征集，i＝1,2,3,4，

是指微表情域中n_y个样本提取的对应特征；m_y是指微表情域的特征维数。

所述步骤(5)，包括：

A、初始化宏表情域训练集的投影矩阵、微表情域训练集的投影矩阵W_X,W_Y，将宏表情域训练集、微表情域训练集投影到公共空间内，对于微表情域训练集，引入了F范数对特征组合进行选择，对于微表情域训练集

其投影矩阵

对于微表情域训练集的投影满足式(Ⅰ)：

式(Ⅰ)中，

本发明中由于微表情共提取了四种特征，N＝4，

为了保证与上式中的形式相同，因此，

将式(Ⅰ)简化为式(Ⅱ)：

式(Ⅱ)中，D_Y是指微表情域训练集Y的稀疏字典，S_Y是指该稀疏字典下的稀疏系数表示矩阵；

B、同时，为了提高两个域的字典相关性，本发明对微表情域训练集Y的稀疏字典进行线性重构，如式(III)所示：

D_Y＝D_XV_Y (III)

至此，本发明给出了基于多特征宏表情字典稀疏的微表情识别方法的形式，目标函数如式(Ⅳ)所示：

式(Ⅳ)中，

d_xi||2≤1,||d_yj||²≤1,||V_y||₁≤τ,||S_x||₁≤σ,||S_y||₁≤σ，τ＝0.001，σ＝0.001；

S_X是指宏表情域训练集的稀疏系数表示矩阵；

d代表宏表情域训练集、微表情域训练集投影到公共空间的投影维度；

分别是指宏表情域训练集、微表情域训练集的单位矩阵；

C、在此基础上，本发明加入多任务思想，设定对微表情域中每个图片平均分成k个分块，在第k个分块内，如式(Ⅴ)所示：

式(Ⅴ)中，Y^(k)是指第k个分块的特征；、(Y¹)^(k)、(Y²)^(k)、(Y³)^(k)、(Y⁴)^(k)分别是指微表情域中第k个分块提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

第k个分块目标函数J^(k)如式(Ⅵ)所示：

D、对每个分块求解后，本发明需要对不同块的识别效果进行综合考虑，给每一分块求解结果赋予权重，如式(Ⅶ)所示：

式(Ⅶ)中，e^k是指第k个分块的稀疏表达误差；

是指控制函数的衰减程度；

第k个分块的权重比例P_K如式(Ⅷ)所示：

引入多任务后，整体目标函数如式(Ⅸ)所示：

式(Ⅸ)中，

||d_xi||²≤1,||d_yj||²≤1,||V_y||₁≤τ,||S_x||₁≤σ,||S_y||₁≤σ

E、对于上述整体目标函数，采用变量交替优化的策略，多次迭代达到最优效果。其中，

||d_xi||²≤1,||d_yj||²≤1,||V_x||₁≤τ,||V_y||₁≤τ，||S_x||₁≤σ,||S_y||₁≤σ,τ＝0.001，σ＝0.001；通过目标函数的求解，得到最终的W_X,W_Y,D_X D_Y。

为了后续的算法步骤书写简单，这里先求出目标函数对各个参数的导数；

C＝diag(C¹,...,C^g,....,C^N)，每一个C^g(g＝1,...,N)都是一个对角矩阵，它的第j个对角元素。

下面给出算法完整过程：

利用本发明所述的一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，在CK+&CASME II数据库进行实验。其中CK+是常用的人脸宏表情数据库，CASME II是目前性能较好的微表情数据库，由于目前微表情样本数量都较少，本发明选择happiness,sadness,surprise三类样本，共有60个。

图4给出了基于多任务多特征的宏表情字典稀疏的微表情识别方法在不同字典大小下的识别效果；本发明给出了单特征单任务下的迁移学习框架和多特征多任务下的迁移学习效果对比，实验结果表明，单特征单任务的最佳识别效果为62.2％，多特征多任务的最佳识别效果达到78.6％，引入多特征多任务之后性能有明显的提升；

为了证明本发明提供的算法有效性，表1给出了本发明所用算法和其它微表情识别算法的效果对比。JFSSL是一种将数据集投影到标签空间的迁移学习方法；LBP-TOP方法在LBP算子原理基础上改进，实现了LBP在视频或者动态序列的特征提取手段；DTSA在张量空间内保留了图像的空间结构信息，采用了极端学习机进行分类；FDM以光流估计技术为基础，提出一种精确调整序列对齐的方法。

表1

方法	JFSSL	LBP-top	DTSA	FDM	本发明提供的方法
						识别率	65.7％	59.6％	54.1％	68.5％	78.6％

Claims (1)

1.一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，其特征在于，包括训练阶段、测试阶段；

A、训练阶段，包括步骤如下：

(1)对微表情域中每个图片平均分成若干分块；

(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

(3)对步骤(2)提取的特征进行降维；

(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；

(5)将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；将设定微表情域的稀疏字典用设定宏表情稀疏字典进行线性重构，通过计算获得宏表情域的稀疏字典、微表情域的稀疏字典、宏表情域的投影矩阵、微表情域的投影矩阵、微表情域的重构矩阵、宏表情域的稀疏系数表示矩阵，微表情域的稀疏系数表示矩阵；

B、测试阶段，包括步骤如下：

(6)对于给定宏表情域测试集、微表情域测试集，分别通过步骤(5)得到宏表情域的投影矩阵、微表情域的投影矩阵，对宏表情数据集和微表情数据集投影到公共空间；

(7)利用通过步骤(5)得到的宏表情域的稀疏字典、微表情域的稀疏字典，分别对投影到公共空间的宏表情域测试集、微表情域测试集进行线性重构，得到宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵；

(8)通过机器识别经典算法K近邻分类器(KNN)对步骤(7)得到的宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵进行分类识别；

所述步骤(2)，对宏表情域和微表情域提取最具代表性的特征，包括：

a、对宏表情域和微表情域进行特征提取，对于宏表情域，提取的特征

n_x是指宏表情域的样本个数；

是指宏表情域中n_x个样本提取的LBP特征，R是指矩阵X的大小；m_x是指宏表情域的特征维数；对于微表情域，提取的特征

n_y是指微表情域的样本个数；

Y¹、Y²、Y³、Y⁴分别是指是指微表情域中n_y个样本提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；m_y是指微表情域的特征维数；

表示微表情域的一种特征集，i＝1,2,3,4，

是指微表情域中n_y个样本提取的对应特征；m_y是指微表情域的特征维数；

所述步骤(5)，包括：

A、初始化宏表情域训练集的投影矩阵、微表情域训练集的投影矩阵W_X,W_Y，将宏表情域训练集、微表情域训练集投影到公共空间内，对于微表情域训练集，引入了F范数对特征组合进行选择，对于微表情域训练集

其投影矩阵

对于微表情域训练集的投影满足式(I)：

式(I)中，

将式(I)简化为式(Ⅱ)：

式(Ⅱ)中，D_Y是指微表情域训练集Y的稀疏字典，S_Y是指该稀疏字典下的稀疏系数表示矩阵；

B、对微表情域训练集Y的稀疏字典进行线性重构，如式(Ⅲ)所示：

D_Y＝D_XV_Y (Ⅲ)

基于多特征宏表情字典稀疏的微表情识别方法的形式，目标函数如式(Ⅳ)所示：

式(Ⅳ)中，

τ＝0.001，σ＝0.001；

S_X是指宏表情域训练集的稀疏系数表示矩阵；

d代表宏表情域训练集、微表情域训练集投影到公共空间的投影维度；

分别是指宏表情域训练集、微表情域训练集的单位矩阵；

C、设定对微表情域中每个图片平均分成k个分块，在第k个分块内，如式(Ⅴ)所示：

式(Ⅴ)中，Y^(k)是指第k个分块的特征；、(Y¹)^(k)、(Y²)^(k)、(Y³)^(k)、(Y⁴)^(k)分别是指微表情域中第k个分块提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

第k个分块目标函数J^(k)如式(VI)所示：

D、对每个分块求解后，给每一分块求解结果赋予权重，如式(Ⅶ)所示：

式(Ⅶ)中，e^k是指第k个分块的稀疏表达误差；

是指控制函数的衰减程度；

第k个分块的权重比例P_K如式(Ⅷ)所示：

引入多任务后，整体目标函数如式(Ⅸ)所示：

式(Ⅸ)中，

E、对于上述整体目标函数，采用变量交替优化的策略，多次迭代达到最优效果。

Images