CN109033941A

CN109033941A - 一种基于稀疏投影学习的微表情识别方法

Info

Publication number: CN109033941A
Application number: CN201810566979.7A
Authority: CN
Inventors: 汤明皓; 戴继生
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2018-12-18
Anticipated expiration: 2038-06-05
Also published as: CN109033941B

Abstract

本发明公开了一种基于稀疏投影学习的微表情识别方法，步骤1：采集微表情样本，提取微表情三个正交平面的LBP特征P、Q、R，定义C、D、E分别为XY、XT、YT三个正交平面的特征优化变量；构造优化模型；步骤2：设置迭代计数变量t和n的初始值和最大值；初始化正则化参数κ，κ_max，尺度参数ρ；步骤3：初始化n，κ，计算C，更新T₁和κ；若||B₁‑C^T||_∞＜10^‑8收敛或n＞n_max，进入步骤4；步骤4：初始化n，κ，计算D，更新T₂和κ；若||B₂‑D^T||_∞＜10^‑8收敛或n＞n_max，进入步骤5；步骤5：初始化n，κ，计算E，更新T₃和κ；若||B₃‑E^T||_∞＜10^‑8收敛或n＞n_max，进入步骤6；步骤6：令t＝t+1，若t≤t_max，则返回步骤3，否则，输出C、D、E；步骤7：通过优化变量C、D、E对三个正交平面的LBP特征优化得到新的融合特征F_test，将融合特征F_test通过训练好的SVM分类器预测出测试样本的情感类别。

Description

一种基于稀疏投影学习的微表情识别方法

技术领域

本发明属于模式识别领域，涉及LBP-TOP(Local Binary Patterns from ThreeOrthogonal Planes)特征优化的微表情识别方法，具体地说是一种基于稀疏投影学习的微表情识别方法。

背景技术

近年来，微表情识别在计算机模式识别领域非常活跃。与普通表情有所不同，微表情持续时间非常短暂，因此大多数人常常容易忽视它的存在。目前国内外有很多团队在积极开展着对微表情识别的研究，并取得了一定的成果。从现阶段国内外最新的研究成果中发现，目前已知的方法还存在各自的局限。无论是数据采集、数据库建立、特征提取和理论分析方面都有待进一步改善和发展。

从已知的研究成果中发现，目前现有方法存在各自的局限。例如在文献：Zhao G,Pietikainen M.Dynamic Texture Recognition Using Local Binary Patterns with anApplication to Facial Expressions[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2007, 29(6):915-928中，提取三个正交平面的特征表示微表情，但并没有客观地考虑到空域和时域的特征融合问题。不同模态的特征维度不同，对于情感分类所占的权重也不同，更好的融合优化特征是现阶段需要解决的一个重要问题。

发明内容

针对现有方法的不足，本发明提出了一种新型的基于稀疏投影学习的微表情识别方法。该方法在现有组稀疏回归模型的方法上进行改进，将微表情的LBP-TOP特征投影到一个情感标签子空间，学习出最优的投影矩阵，使得投影后三种特征分别和标签信息的残差最小，更好地识别微表情。

用于实现本发明的技术解决方案包括如下步骤：

步骤1：采集微表情样本，根据每个样本的标签信息构造情感标签特征子空间K是样本情感类别，M是样本个数。提取微表情三个正交平面的LBP(Local BinaryPatterns)特征P、Q、R，定义C、D、E分别为XY、XT、YT三个平面的特征优化变量。构造优化模型；

步骤2：设置迭代次数计数变量的初始值t＝n＝0，迭代次数计数变量最大值t_max＝5， n_max＝200。初始化正则化参数κ，κ_max，尺度参数ρ；

步骤3：a)初始化n，κ，为零矩阵；

b)计算C，更新T₁和κ，其中是一个辅助变量；

c)若||B₁-C^T||_∞＜10^-8收敛或n＞n_max，进入步骤4；若不收敛，则令n＝n+1，返回b)。

步骤4：a)初始化n，κ，为零矩阵；

b)计算D，更新T₂和κ，其中是一个辅助变量；

c)若||B₂-D^T||_∞＜10^-8收敛或n＞n_max，进入步骤5；若不收敛，则令n＝n+1，返回b)。

步骤5：a)初始化n，κ，为零矩阵；

b)计算E，更新T₃和κ，其中是一个辅助变量；

c)若||B₃-E^T||_∞＜10^-8收敛或n＞n_max，进入步骤6；若不收敛，则令n＝n+1，返回b)。

步骤6：令t＝t+1，若t≤t_max，则返回步骤3；若t＞t_max，则输出C、D、E。

步骤7：通过优化变量C、D、E对三个正交平面的LBP特征P、Q和R优化得到新的融合特征F_test＝[CP DQ ER]^T。将测试集融合特征F_test通过训练好的SVM分类器预测出测试样本的情感类别。

本发明的有益效果：

本发明基于组稀疏回归模型方法，提出了一种稀疏投影学习的微表情识别方法，本方法实现更为简单，计算复杂度较低，同时又能够获得较好的识别准确率。

附图说明

图1是本发明实施流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

(1)采集M个微表情样本，分别在三个正交平面(XY平面、XT平面和YT平面) 上，对每个样本中的图像帧序列提取LBP(Local Binary Patterns)特征，记为其中d为LBP特征的维度。若情感的种类共有K类，则可定义情感标签矩阵：

其中表示第i个样本的情感类别标签向量。如果第i个样本的情感属于第k类，那么l_i是一个第k元素为1，其余元素为0的K维向量。构造优化模型：

其中C、 D、E为特征优化变量，||·||_F为矩阵的Frobenius范数，||·||_2，1表示矩阵所有列的二范数的和，λ，μ为控制模型稀疏性的参数(0<λ<10，0<μ<500)。

(2)设置迭代次数计数变量初始值t＝n＝0，迭代次数计数变量最大值t_max＝5，n_max＝200。初始化正则化参数κ＝10^-3，最大正则化参数κ_max＝10¹⁵，尺度参数ρ＝1.1。

(3)

a)初始化n＝0，κ＝10^-3，矩阵为零矩阵。

b)计算C：

其中

c_i、b_i和t_i分别表示C、B₁和T₁的第i列，(·)^T表示转置运算，tr(·)表示矩阵的迹，是一个元素全为1的矩阵，I表示单位矩阵；

更新T₁和κ：T₁＝T₁+κ(B₁-C^T)，κ＝min(ρκ,κ_max)；

c)若||B₁-C^T||_∞＜10^-8收敛，进入步骤(4)；若不收敛，则令n＝n+1，当n≤n_max时，返回步骤b)，当n＞n_max时，进入步骤(4)。

(4)

a)初始化n＝0，κ＝10^-3，矩阵为零矩阵。

b)计算D：

其中

d_j、b_j和t_j分别表示D、B₂和T₂的第j列。

更新T₂和κ：T₂＝T₂+κ(B₂-D^T)，κ＝min(ρκ,κ_max)。

c)若||B₂-D^T||_∞＜10^-8收敛，进入步骤(5)；若不收敛，则令n＝n+1，当n≤n_max时，返回步骤b)，当n＞n_max时，进入步骤(5)。

(5)

a)初始化n＝0，κ＝10^-3，矩阵为零矩阵。

b)计算E：

其中

e_k、b_k和t_k分别表示E、B₃和T₃的第k列。

更新T₃和κ：T₃＝T₃+κ(B₃-E^T)，κ＝min(ρκ,κ_max)。

c)若||B₃-E^T||_∞＜10^-8收敛，进入步骤(6)；若不收敛，则令n＝n+1，当n≤n_max时，返回步骤b)，当n＞n_max时，进入步骤(6)。

(6)令t＝t+1，若t≤t_max，则返回步骤(3)；若t＞t_max，则输出C、D、E。

(7)通过优化变量C、D、E对三个正交平面的LBP特征P、Q和R优化得到新的特征CP、DQ和ER，融合后的测试集特征表示为：F_test＝[CP DQ ER]^T。将测试集融合特征F_test通过训练好的SVM分类器即可预测出测试样本的情感类别。

下面结合仿真实验对本发明的效果做进一步说明。

为了评估本方法的性能，本发明选用SMIC数据库中的使用高速相机记录的微表情样本SMIC-HS进行实验。其中包括从16名参与者诱发出的164个微表情视频剪辑，用于区分三类微表情情感(积极、消极和惊讶)，样本分布如表1所示。

表1本发明所选取的微表情数据库SMIC样本分布

本方法使用线性核函数进行仿真实验，选择留一样本法交叉验证 (Leave-One-Subject-Out Cross Validation，LOSO-CV)。设置X轴、Y轴和T轴半径都为3，近邻点数量为8，提取出融合特征，利用融合特征识别得出识别率与传统LBP-TOP特征直接训练的结果进行比较，验证特征融合方法的性能。为了提高识别性能，本发明将每个面部图像划分为8×8的面部子区域。仿真结果如表2所示，每一折即每一样本的识别精度对比如表3。

表2本发明与传统LBP-TOP方法的识别精度对比

表3本发明于传统LBP-TOP方法每一折样本的识别精度对比

从表2可以看出，本发明所取得的SMIC-HS数据库下的识别精度相比于传统的LBP-TOP方法，提升了9.57％。由于SMIC-HS数据库的样本高度不平衡，意味着某一样本数量远远大于或小于其他样本数量，本发明引入F1-score作为评价指标。

从表3可以看出，对于每一折样本，本发明的识别精度多数都高于传统方法。实验证明了本发明的可行性。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims

1.一种基于稀疏投影学习的微表情识别方法，其特征在于，包括如下步骤：

步骤1：采集微表情样本，根据每个样本的标签信息构造情感标签矩阵K是样本情感类别，M是样本个数；提取微表情三个正交平面的LBP特征P、Q、R，定义C、D、E分别为XY、XT、YT三个正交平面的特征优化变量；构造优化模型；

步骤2：设置迭代次数计数变量t和n的初始值，迭代次数计数变量的最大值t_max，n_max；初始化正则化参数κ，κ_max，尺度参数ρ；

步骤3：a)初始化n，κ，

b)计算C，更新T₁和κ，设是一个辅助变量；

c)若||B₁-C^T||_∞＜10^-8收敛或n＞n_max，进入步骤4；若不收敛，则令n＝n+1，返回b)；

步骤4：a)初始化n，κ，

b)计算D，更新T₂和κ，设是一个辅助变量；

c)若||B₂-D^T||_∞＜10^-8收敛或n＞n_max，进入步骤5；若不收敛，则令n＝n+1，返回b)；

步骤5：a)初始化n，κ，

b)计算E，更新T₃和κ，设是一个辅助变量；

c)若||B₃-E^T||_∞＜10^-8收敛或n＞n_max，进入步骤6；若不收敛，则令n＝n+1，返回b)；

步骤6：令t＝t+1，若t≤t_max，则返回步骤3；若t＞t_max，则输出C、D、E；

步骤7：通过优化变量C、D、E对三个正交平面的LBP特征P、Q和R优化得到新的融合特征F_test＝[CP DQ ER]^T，将测试集融合特征F_test通过训练好的SVM分类器预测出测试样本的情感类别。

2.根据权利要求1所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，所述步骤1中，构造的优化模型为：

其中C、D、E为特征优化变量，||·||_F为矩阵的Frobenius范数，||·||_2，1表示矩阵所有列的二范数的和，λ，μ为控制模型稀疏性的参数。

3.根据权利要求2所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，所述参数λ和μ的取值范围设置为：0<λ<10，0<μ<500。

4.根据权利要求2所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，所述情感标签矩阵的表达式为：

其中表示第i个样本的情感类别标签向量，如果第i个样本的情感属于第k类，那么l_i是一个第k元素为1，其余元素为0的K维向量。

5.根据权利要求1所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，所述步骤2中，迭代次数计数变量初始值t＝n＝0，迭代次数计数变量最大值t_max＝5、n_max＝200；初始化正则化参数κ＝10^-3，最大正则化参数κ_max＝10¹⁵，尺度参数ρ＝1.1。

6.根据权利要求1所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，

所述步骤3的a)中，初始化n＝0，κ＝10^-3，矩阵为零矩阵；

所述步骤3的b)中，计算C的表达式为：

其中

更新T₁和κ：T₁＝T₁+κ(B₁-C^T)，κ＝min(ρκ,κ_max)。

7.根据权利要求1所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，

所述步骤4的a)中，初始化n＝0，κ＝10^-3，矩阵为零矩阵；

所述步骤4的b)中，计算D的表达式为：

其中

d_j、b_j和t_j分别表示D、B₂和T₂的第j列；

更新T₂和κ：T₂＝T₂+κ(B₂-D^T)，κ＝min(ρκ,κ_max)。

8.根据权利要求1所述的一种基于稀疏投影学习的微表情识别方法，其特征在于，

所述步骤5的a)中，初始化n＝0，κ＝10^-3，矩阵为零矩阵；

所述步骤5的b)中，计算E的表达式为：

其中

e_k、b_k和t_k分别表示E、B₃和T₃的第k列；

更新T₃和κ：T₃＝T₃+κ(B₃-E^T)，κ＝min(ρκ,κ_max)。