CN111695427A - 一种基于稀疏共享迁移回归模型的跨库微表情识别方法 - Google Patents

Abstract

本发明公开了一种基于稀疏共享迁移回归模型的跨库微表情识别架构，架构主要包括基于源域和目标域微表情数据库的特征提取、学习优化一种更加共享的迁移回归模型和针对目标域微表情数据库样本的识别。本发明从均值和协方差矩阵角度来减小源域和目标域的分布差异，将标签的源域和未标签的目标域映射到公共的特征空间，再通过优化稀疏回归系数矩阵对三个时空描述符进行大量的实验。在与其他7种领域自适应的方法进行比较的过程中，证明了所提出发明确实优于另外7种方法。

Description

一种基于稀疏共享迁移回归模型的跨库微表情识别方法

技术领域

本发明涉及模式识别、情感计算，尤其涉及一种基于领域自适应的微表情跨库识别方法。

背景技术

微表情是一种情绪表达，微表情不仅简短轻微，仅能持续0.04～0.2s，但更重要的是，它是不自觉和自发情况下产生的。一般来说，对于没有经验的人来说是很难识别的，甚至是经过专业训练后。近年来，微表情识别得到了广泛的应用,因为它可广泛应用于大部分心理及临床诊断场景，警用讯问、国家与公安安全、欺骗分析等。Zhao等人提出了一种三维空间上扩展的动态纹理LBP-TOP(Local Binary Pattern on Three Orthogonal Planes)的识别方法，通过结合XY、XT和YT这三个平面的局部二进制模型。为了减少LBP-TOP描述符的冗余，Wang等人提出的六交点局部二进制模型LBP-SIP(LBP with Six IntersectionPoints)以提高计算的效率。受LBP-TOP的启发，Li等人提出了二维时空的HOG和HIGO的三维时空版本HOG-TOP(Histograms of Oriented Gradients-TOP)和HIGO(Histogram ofImage Gradient-TOP)。

在上述的各种微表情识别的方法中，绝大多数是基于的一个常见的假设是训练和测试数据来自于相同的数据库，即训练和测试数据在一定程度上遵循相同的特征空间和概率分布。然而，训练数据和测试数据之间涉及到的跨数据库问题其实是广泛的存在于实际场景中，如面部表情识别、活动识别、言语情感识别。在跨数据库问题中，研究人员一般将训练数据库视为源域，将测试数据库视为目标域。跨数据库的微表情识CDMER(Cross-database micro-expression recognition)也是一种迁移学习，为了处理CDMER,Zong等人首先提出了一种方法称为TSRG，该方法是从目标域微表情数据库中重新生成样本数据库且与源域样本共享相似的特征空间。为了提高识别性能，Zong等人随后提出了在标签空间的领域再生成的DRLS方法，充分利用域再生标签空间作为预定义的子空间。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种领域自适应的微表情跨库识别方法，该方法识别表现的更好。

技术方案：本发明所述的基于领域自适应的微表情跨库识别方法包括：

(1)获取两个采用环境完全不同的微表情数据库，分别作为源域和目标域，并针对标签类别不一致的情况下对微表情数据库样本进行标签再定义；

(2)采用分层划分的方案，结合1×1、2×2、3×3和4×4这四种网格，最终将人脸划分为85个面部块，然后对源域和目标域的微表情数据库分别提取LBP-TOP、LBP-SIP和HOG-TOP这三种时空描述符特征；

(3)建立稀疏共享迁移回归模型，将标签的源域和未标签的目标域特征空间通过稀疏回归系数矩阵映射到共享的特征空间上，且通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异；

(4)预测目标域微表情数据库样本的标签，将可能性最大的作为该样本的预测标签类别。从准确率和mean F1-score两个角度来分析该模型的识别表现，并在上述三种时空描述符上与其他七种领域自适应的方法进行实验对比和分析；

进一步的，步骤(1)所述的微表情数据库样本标签再定义为：

由于采用的是SMIC和CASME II这两个微表情数据库,因此需要对CASME II的微表情的标签类别进行重新定义，使得其与SMIC的微表情数据库类别保持一致。具体措施是将CASME II中的快乐标签重新定义为正性标签、反感和压抑标签重新定义为负性标签，而惊讶标签保持不变。

进一步的，步骤(3)所述的通过均值和协方差矩阵减小两域特征空间的分布差异的稀疏共享迁移回归模型具体表达式为：

式中L_s是源域标签，U稀疏回归系数矩阵,

其中，X_s是源域，X_t是目标域，n_s和n_t是两域的样本个数，1_s和1_t是值都为1的向量，

是F范数。

进一步的，步骤(4)所述的预测目标域微表情数据库样本的标签表达式为：

式中L_t是目标域标签，L_t(k)是目标域微表情样本的第k个标签。

进一步的，步骤(3)所述的关于稀疏回归稀疏矩阵的优化问题的解可以引入两个协助矩阵Q和P使得问题转化为约束问题，其拉格朗日函数为：

式中T₁和T₂是拉格朗日乘子矩阵，κ＞0是正则化参数。

根据迭代收敛的原理，优化的过程如下：

a.固定U^k、P^k、T₁ ^k和

更新Q^k+1：

其结果为：

式中

I是单位矩阵。

b.固定U^k、Q^k、T₁ ^k和

更新P^k+1：

其结果为：

c.固定P^k、Q^k、T₁ ^k和

更新U^k+1

可以表达为

式中

U_ij，Q_ij和P_ij是对应矩阵第i行第j列元素。

d.更新T₁ ^k+1，

和κ^k+1

κ^k+1＝min(ρκ^k,κ_max)

e.检验是否收敛

||U^k-Q^k||_∞＜ε,||U^k-P^k||_∞＜ε，或者迭代次数k＜maxIter

式中ε表示机器的最小值。

进一步的，步骤(4)所述的准确率和mean F1-score来衡量模型的表现，其表达式为：

式中的T和N预测目标域样本的正确个数和目标域样本的总数,p_i和r_i为第i个微表情样本的精度和查全率，c为微表情样本的数量。

有益效果：本发明专利与现有技术相比，其显著优点是：在CDMER问题中提出应用特征表征迁移方法，发明发现了一个更好的共享的回归模型来预测目标域标签的样本通过均值和协方差矩阵最小化源域和目标域的边际概率分布差异。事实证明，将该模型视为回归问题和减少其误差可以帮助我们解决CDMER问题。此外，还进行了大量的实验和细致的分析证明了该发明提出的SSTR方法可以发现一个更好共享的特征空间优于其他解决方案的CDMER问题。总的来说，我们的模型的平均性能最好，mean-F1 score为0.6111，准确率为62.60％。同时，给出的算法的完整性证明了该模型应用于其他跨数据库问题的可行性。

附图说明

图1是本发明提供的基于稀疏共享迁移回归模型的跨库微表情识别方法的流程示意图。

图2是SMIC和重新标签分类过后的CASME II微表情数据库的统计图。

图3是本发明在提取微表情特征前通过结合1×1、2×2、3×3和4×4这四种网格将人脸划分为85个面部块的具体示意图。

具体实施方式

本实例提供了一种基于稀疏共享迁移回归模型的跨库微表情识别方法实施例，如图1所示，包括以下步骤：

(1)获取两个采用环境完全不同的微表情数据库，分别作为源域和目标域，并针对标签类别不一致的情况下对微表情数据库样本进行标签再定义。由于采用的是SMIC和CASME II这两个微表情数据库,因此需要对CASME II的微表情的标签类别进行重新定义，使得其与SMIC的微表情数据库类别保持一致。具体措施是将CASME II中的快乐标签重新定义为正性标签、反感和压抑标签重新定义为负性标签，而惊讶标签保持不变。划分后数据库的统计如图2所示。

(2)采用分层划分的方案，结合1×1、2×2、3×3和4×4这四种网格，最终将人脸划分为85个面部块，具体划分办法如图3所示。然后对源域和目标域的微表情数据库分别提取LBP-TOP、LBP-SIP和HOG-TOP这三种时空描述符特征；

(3)建立稀疏共享迁移回归模型，将标签的源域和未标签的目标域特征空间通过稀疏回归系数矩阵映射到共享的特征空间上，且通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异，稀疏共享迁移回归模型具体表达式为：

式中L_s是源域标签，U稀疏回归系数矩阵,

其中X_s是源域，X_t是目标域，n_s和n_t是两域的样本个数，1_s和1_t是值都为1的向量，

是F范数。

关于稀疏回归稀疏矩阵的优化问题的解可以引入两个协助矩阵Q和P使得问题转化为约束问题，其拉格朗日函数为：

式中T₁和T₂是拉格朗日乘子矩阵，κ＞0是正则化参数。

根据迭代收敛的原理，优化的过程如下：

a.固定U^k、P^k、T₁ ^k和

更新Q^k+1：

其结果为

式中

I是单位矩阵。

b.固定U^k、Q^k、T₁ ^k和

更新P^k+1：

其结果为

(3)固定P^k、Q^k、T₁ ^k和

更新U^k+1

可以表达为

式中

U_ij，Q_ij和P_ij是对应矩阵第i行第j列元素。

c.更新T₁ ^k+1，

和κ^k+1

T₁ ^k+1＝T₁ ^k+κ^k[(U^k+1-Q^k+1)]，

κ^k+1＝min(ρκ^k,κ_max)

d.检验是否收敛

||U^k-Q^k||_∞＜ε,||U^k-P^k||_∞＜ε，或者迭代次数k＜maxIter

式中ε表示机器的最小值。

(4)预测目标域微表情数据库样本的标签，将可能性最大的作为该样本的预测标签类别。预测目标域微表情数据库样本的标签表达式为：

式中L_t是目标域标签，L_t(k)是目标域微表情样本的第k个标签。

(5)从准确率和mean F1-score两个角度来分析该模型的识别表现，并在上述三种时空描述符上与其他七种领域自适应的方法进行实验对比和分析,验证结果如表1所示：

表1

其中，SVM是传统的机器学习方法，TCA、GFK、TKL和SA是常见的领域自适应的方法，TSRG和DRLS是跨库微表情识别的方法，SSTR是本发明基于稀疏共享迁移回归模型的跨库微表情识别方法。

实验结果表明，基于稀疏共享迁移回归模型的跨库微表情识别方法取得了最好的跨库微表情识别的结果。作为一个更好共享的功能空间在表示方法上，本发明的SSTR模型具有明显的优势相比TSRG和DRLS，即本发明的SSRT的自适应能力最好方法解决CDMER问题。最终，本发明的模型在平均性能mean F1-score达到0.6111，准确率达到62.60％，本发明成功的提高了各项评价指标。以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于稀疏共享迁移回归模型的跨库微表情识别方法，其特征在于，该方法包括：

(1)获取两个采用环境完全不同的微表情数据库，分别作为源域和目标域，并针对标签类别不一致的情况下对微表情数据库样本进行标签再定义；

(2)采用分层划分的方案，结合1×1、2×2、3×3和4×4这四种网格，最终将人脸划分为85个面部块，然后对源域和目标域的微表情数据库分别提取LBP-TOP、LBP-SIP和HOG-TOP这三种时空描述符特征；

(3)建立稀疏共享迁移回归模型，将标签的源域和未标签的目标域特征空间通过稀疏回归系数矩阵映射到共享的特征空间上，且通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异；

(4)预测目标域微表情数据库样本的标签，将可能性最大的作为该样本的预测标签类别。从准确率和mean F1-score两个角度来分析该模型的识别表现，并在上述三种时空描述符上与其他七种领域自适应的方法进行实验对比和分析。

2.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法，其特征在于，步骤(1)中，对微表情数据库样本进行标签再定义，具体措施是：

由于采用的是SMIC和CASME II这两个微表情数据库，因此需要对CASME II的微表情的标签类别进行重新定义，使得其与SMIC的微表情数据库类别保持一致；具体措施是：将CASME II中的快乐标签重新定义为正性标签、反感和压抑标签重新定义为负性标签，而惊讶标签保持不变。

3.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法，其特征在于，在步骤(3)中，通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异，采用的稀疏共享迁移回归模型的具体表达式为：

式中L_s是源域标签，U稀疏回归系数矩阵,

其中X_s是源域，X_t是目标域，n_s和n_t是两域的样本个数，1_s和1_t是值都为1的向量，

是F范数。

4.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法，其特征在于，在步骤(4)中，所述的预测目标域微表情数据库样本的标签表达式为：

式中L_t是目标域标签，L_t(k)是目标域微表情样本的第k个标签。

5.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法，其特征在于，步骤(3)所述的关于稀疏回归稀疏矩阵的优化问题的解可以引入两个协助矩阵Q和P使得问题转化为约束问题，其拉格朗日函数为：

式中T₁和T₂是拉格朗日乘子矩阵，κ＞0是正则化参数；

根据迭代收敛的原理，优化的过程如下：

a.固定U^k、P^k、T₁ ^k和

更新Q^k+1：

其结果为

式中

I是单位矩阵；

b.固定U^k、Q^k、T₁ ^k和

更新P^k+1：

其结果为

(3)固定P^k、Q^k、T₁ ^k和

更新U^k+1

可以表达为

式中

U_ij，Q_ij和P_ij是对应矩阵第i行第j列元素；

c.更新T₁ ^k+1，

和κ^k+1

T₁ ^k+1＝T₁ ^k+κ^k[(U^k+1-Q^k+1)]，

κ^k+1＝min(ρκ^k,κ_max)

d.检验是否收敛

||U^k-Q^k||_∞＜ε,||U^k-P^k||_∞＜ε，或者迭代次数k＜maxIter

式中ε表示机器的最小值。

6.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法，其特征在于，步骤(4)所述的准确率和mean F1-score来衡量模型的表现，其表达式为：

式中的T和N预测目标域样本的正确个数和目标域样本的总数,p_i和r_i为第i个微表情样本的精度和查全率，c为微表情样本的数量。

Images