CN113496147B - 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法 - Google Patents

一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法 Download PDF

Info

Publication number
CN113496147B
CN113496147B CN202010197688.2A CN202010197688A CN113496147B CN 113496147 B CN113496147 B CN 113496147B CN 202010197688 A CN202010197688 A CN 202010197688A CN 113496147 B CN113496147 B CN 113496147B
Authority
CN
China
Prior art keywords
expression
micro
matrix
macro
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010197688.2A
Other languages
English (en)
Other versions
CN113496147A (zh
Inventor
贲晛烨
肖瑞雪
李玉军
王德强
李冰
郭意菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010197688.2A priority Critical patent/CN113496147B/zh
Publication of CN113496147A publication Critical patent/CN113496147A/zh
Application granted granted Critical
Publication of CN113496147B publication Critical patent/CN113496147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，首先对于训练集宏表情和微表情数据提取相关特征，同时测试集微表情数据提取与训练集微表情相同的特征，其次，通过特征选择和数据标准化将宏表情和微表情数据进行对齐，并将宏微表情数据进行重组；将重组后的数据矩阵进行基于对偶图正则化的联合非负矩阵分解，对系数矩阵施加MMD约束和对偶图正则化约束保证宏微表情数据联系最大化，多次迭代学习最优的训练基矩阵和训练系数矩阵；采用学习的训练基矩阵获取测试集微表情系数矩阵，将测试集系数矩阵与训练集系数矩阵进行最近邻分类。本方法将宏表情数据引入微表情数据域，从另一种角度扩充了微表情数目，有效提高了微表情识别率。

Description

一种基于对偶图正则化的联合非负矩阵二分解的微表情识别 方法
技术领域
本发明涉及一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，属于模式识别和机器学习技术领域。
背景技术
微表情的特点是持续时间极短，强度极低，本身已经为微表情的采集和识别带来了一定的困难，而且现有的高质量的公共可用的微表情数据库是非常少的，更不利于微表情的识别。重新构建更为大型的微表情数据库需要消耗大量的人力和物力，以及消耗大量的时间，基于此原因，目前在构建数据库方面着手的团队很少，大多数研究团队更加着重于采用现有的数据库进行算法研究提高微表情识别精度。目前，现有的微表情识别方法层出不穷，在有限的微表情数据库上分别取得了较好的研究成果。总体来说，这些工作可以被划分两个层面的工作来分别进行说明。一个层面从微表情特征层面进行着手，侧重对于微表情的细节层面进行描述，从而改善微表情识别效果。另一个层面致力于在现有的代表性特征基础上构建机器学习模型以此来达到提高识别性能的目的。
其中特征层面的研究工作，又可以被分为纹理描述法、光流运动法、频域描述法、颜色信息法四大类。纹理描述法可以针对通过对微表情图像信息的纹理特性等相关特性对于微表情进行一定的表示，通过纹理等信息的微表情表述方式可以忽略微表情采集设备或者环境带来的光照变化、姿势变化、噪音的影响，特征具有一定鲁棒性。将微表情序列作为时域信号进行描述的是频域描述法的方式，这种方案能够通过Gabor变换或者傅里叶变换等等形式得到微表情相位、振幅等一系列频谱信息，之后提取微表情的频域特征，例如rieszwavelet、Gabor变换等对微表情进行检测或者识别工作。光流运动法则针对微表情动态过程提出分析光流场中微表情的运动特性，针对于帧与帧像素级别的运动信息进行捕捉，更容易捕捉面部的微小运动，提高微表情识别性能。颜色信息法在张量增加与微表情相关的时间和颜色信息等信息，同时去除存在的冗余信息也获得了较好的识别效果，但是在一定程度上也增加了计算的复杂度。
第二个层面针对以上效果好的有代表性的特征表示基础上建立相关的机器学习算法模型，达到扩充样本或者更好分类的目的。采用机器学习建立模型地算法可以划分为两大类，传统机器学习方案和深度学习方案。但是，众所周知，机器学习和深度学习模型的良好表现建立在大量训练数据的基础上，但是微表情存在的小样本问题是相关算法模型方法的根本限制。因此，采用迁移学习的思想扩充现有微表情数目提供了该问题的解决方案。本发明提出一种基于对偶图正则化的联合非负矩阵分解算法能够有效解决微表情数目有限的弊端，提高微表情识别效果。
发明内容
针对现有的微表情数据库内有标签的样本数据有限从根本上限制微表情识别准确性的问题，本发明尝试采用异构迁移学习为手段，与微表情具有极大相似性的宏表情数据为辅助域，进行跨域微表情识别，从另一种层面上扩充微表情数据样本，提高识别效果。本发明提出基于图正则化的非负矩阵分解微表情识别方法，可以将宏表情微表情数据矩阵同时进行矩阵分解，并针对分解出的系数矩阵施加最大均值差异约束以及对偶图正则化约束，从而拉近两者的距离，便于进行跨域识别。
发明概述：
一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，包括：数据特征提取、数据处理、基于对偶图正则化的联合矩阵分解、和分类识别。
术语解释：
1、LBP特征，指局部二值模式，英文全称：Local Binary Pattern，是一种纹理特征算子，LBP特征具有灰度不变性和旋转不变性等显著优点。
2、LBPTOP特征，指三正交平面局部二值模式，英文全称：Local Binary Patternson Three Orthogonal Planes，是由基本的局部二值模式(Local Binary Patterns,LBP)进行扩展的，是从XY、XT和YT三个正交平面上取LBP特征并且级联形成。
3、MDMO特征，指主方向均值光流特征，英文全称：Main Directional MeanOptical Flow，是一种光流算子特征，可以描述像素运动，对于细小面部变化有很好的效果。
本发明的技术方案如下：
一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，包括：
1)准备训练样本，训练样本包括宏表情样本和微表情样本，获取宏表情样本，对于宏表情提取特征形成宏表情数据矩阵其中dx代表宏表情特征维度，Nx代表宏表情样本个数，此后本发明均采用下标x表示宏表情相关；获取微表情样本，对于微表情提取特征形成微表情数据矩阵/>其中dy代表微表情特征维度，Ny代表微表情样本个数，此后本发明均采用下标y表示微表情相关；
2)通过特征选择和数据标准化将宏表情数据矩阵和微表情数据矩阵进行数据对齐后，将两者重组为数据矩阵
3)将重组的数据矩阵Z进行基于对偶图正则化的联合非负矩阵分解，得到分解后的系数矩阵和基矩阵，分解后的系数矩阵在基矩阵基础上可以重构原始数据矩阵Z；
4)根据变量相关更新规则经过多次迭代，求得宏微表情联合非负矩阵分解训练基矩阵U和训练系数矩阵V；
准备测试样本，测试样本为微表情样本，对测试微表情提取特征形成测试微表情数据矩阵，根据训练基矩阵U求取测试微表情样本的微表情测试系数矩阵VTtest；
5)通过基于欧氏距离的最近邻分类器对所述训练系数矩阵和微表情测试系数矩阵进行分类识别，将训练系数矩阵对应的训练样本的分类标签赋给测试样本，完成对测试样本微表情的识别。
根据本发明优选的，所述步骤1)中，对宏表情提取的特征为LBP特征；对于微表情提取的特征为LBPTOP特征和MDMO特征两种微表情特征；步骤4)中，对测试微表情提取LBPTOP特征和MDMO特征两种微表情特征。
根据本发明优选的，所述步骤2)中，宏表情LBP特征为59维，微表情的LBPTOP特征为177维，微表情的MDMO特征为72维，本发明采用主成分分析法(PCA)将特征全部统一为一致维度；并且由于MDMO特征中含有负值不符合非负矩阵分解的要求，本发明所述数据标准化为采用线性归一化方法将MDMO特征归一化到(0,1)之间。
根据本发明优选的，所述步骤3)中，所述基于对偶图正则化的联合非负矩阵分解的数学描述如下：
其中，α，β，λ是三个平衡系数，用于平衡基础非负矩阵分解项以及各个正则化项间的关系，通常这三个平衡参数需要根据采用的数据库、采用的特征、进行大量实验选择具体的最优值，所述最优值为识别率最高时对应的值；U为基矩阵，V为系数矩阵，U∈Rd×k，V∈Rk ×N,N＝Nx+Ny，d是为特征选择后的统一的特征维度，k指矩阵分解的维数，tr(VLVT)为对偶图正则化项，tr(VMVT)为最大均值差异项，最小化||U||F约束能够控制非负矩阵分解基矩阵的复杂程度。
进一步优选的，所述步骤3)中式(1)表示将原数据经对偶图正则化分解形成基矩阵U和系数矩阵V，由于在矩阵分解后的基矩阵U基础上系数矩阵V能够拟合原始数据，即映射到以U中的向量张成的低维空间中的坐标，即实例在低维特征空间中的新表示，因此，对于分解后的系数矩阵引入对偶图正则化约束tr(VLVT)，一方面，利用域间相似关系来保留源域宏表情和目标域微表情的共同几何结构，另一方面，利用域内相似关系来保留每个域内的几何结构，也就是说，域间相似性可以使来自不同数据集的相似数据的新表示彼此更加接近，而域内相似性关系可以使同一数据集内的相似数据的新表示更加接近。这些相互作用将有效地减少分布差异。两种图关系定义如下：
域间相似关系：对于跨域数据，假设如果源域宏表情数据样本xi在目标域微表情数据样本yj的k个最近邻中，或者目标域微表情数据样本yi在源域宏表情数据样本xj的k个最近邻之间，(i、j分别代表第i个、第j个样本，没有特殊意义)，那么他们均存在相似关系，并需要在基矩阵基础上生成系数矩阵表示保留这种关系，因此，令Wst和Wts为域间图相似度矩阵，定义如下：
域内相似关系：对于宏表情和微表情两个域内部，同样具有近邻关系的数据在由原始数据新分解出来的系数矩阵表示中应彼此接近；也就是说，宏表情领域内部，属于同一类的数据生成的系数表示应该较为相似；对于微表情领域也是如此；同样地，通过构造KNN相似度图来保留局部结构信息，并将其命名为域内图关系，源域图相似矩阵Ws和目标域图相似矩阵Wt定义如下：
其中σ为一个约束因子，此处取1；
根据两种图相似性关系，我们将所有不同的图关系整合成源域宏表情和目标域微表情最终的对偶图；得到总体相似度矩阵W定义如下：
其中，η＞0是用于平衡域间图相似关系和域内图相似关系的影响的参数；将公式(6)应用于系数矩阵，可以将公式(6)定义如下：
其中L＝D-W为图拉普拉斯矩阵，D表示对角矩阵，其中第i个对角元素通过Dii＝∑jWij计算；其中最小化对偶图正则化项，tr(VLVT)的值越小，表明数据从原始特征空间到低维特征空间的映射越平滑，即具有更好的局部不变性。
进一步优选的，所述步骤3)中，式(1)中所述最大均值差异项是我们进一步考虑在系数矩阵施加经验最大均值误差(MMD)，并希望其最小化用于推进两个域距离，最大均值差异项定义如下：
其中，N＝Nx+Ny,表示源域宏表情和目标域微表情总个数，Nx代表宏表情样本个数，Ny代表微表情样本个数，M为MMD矩阵，其定义为以下形式：
其中Ds表示源域即宏表情领域，Dt表示目标域即微表情领域；
其中，公式8中的最大均值差异项tr(VMVT)可以通过衡量均值的形式衡量两个领域的分布，通过最小化此项、可以有效推近两个域的分布距离。
根据本发明优选的，所述步骤4)中，对于目标函数公式(1)，是带有约束的非负矩阵分解问题，因此可以采用基于拉格朗日乘子的方法分别对U和V进行优化，首先需要对公式(1)中的非负矩阵分解目标函数进行变换可以得到：
其中，可以令U＝[uij]，V＝[vij]，则最终是在uij≥0和vij≥0的约束下对公式(10)进行最小化，定义两个约束的拉格朗日乘子分别为Ψ＝[Ψij]，Φ＝[Φij]，因此目标拉格朗日函数可以写作：
则拉格朗日函数L分别对U和V求偏导，得到：
由于L＝D-W，其中(13)可以改写成如下形式：
利用KKT条件Ψijuij＝0以及Φijvij＝0，可以得到uij和vij相关的更新公式：
-(ZVT)ijuij+(UVVT)ijuij+λUijuij＝0 (15)
-(UTZ)ijvij+(UTUV)vij+α(VD)ijvij+β(VM)ijvij-α(VW)ijvij＝0 (16)
从而得出以下更新规则：
此外，为了避免以上公式在更新过程中分母为0的情况，本发明在更新公式的分母中加入一个极小的正数eps(Matlab中为2.2204e-16)。进一步优选的，设定迭代次数为至少100次，本发明设定迭代次数为200次，通常100次迭代后目标函数收敛了，为了保险起见本发明设定200次。
根据本发明优选的，所述步骤4)中VTtest表示测试样本数据的系数矩阵，VTtest＝pinv(U)·Ytest；Ytest为测试样本，上标test均指测试数据相关，训练数据不带上标。pinv()指求伪逆。
根据本发明优选的，所述步骤5)中通过基于欧氏距离的最近邻分类器对所述训练系数矩阵和微表情测试系数矩阵进行分类识别的具体方法如下：
给定测试样本上标test均指测试数据相关，训练数据不带上标。NP表示的是测试样本数，那么任意一个测试样本/>的相关系数/>采用最近邻分类/>其中，πi是指第i个训练样本Vi的分类标签，将距离最近的训练样本的分类标签赋给测试样本，完成识别。
本发明的有益效果在于：
本发明提供的是一种基于对偶图正则化的联合非负矩阵分解微表情识别方法，利用迁移学习的相关思想，将宏表情领域相关数据引入微表情领域，扩充了微表情样本数量，本发明充分利用了宏表情和微表情之间的共同特征因素，增强同类联系，提高了微表情识别性能，具有较强的鲁棒性，并且降低特征维度，减少了计算的复杂度。
附图说明
图1为本发明所述方法的流程图；
图2a1为本发明中CK+数据库积极表情样本示意图；
图2a2为本发明中CK+数据库消极表情样本示意图；
图2a3为本发明中CK+数据库惊讶表情样本示意图；
图2b1为本发明中MMEW(宏)数据库积极表情样本示意图；
图2b2为本发明中MMEW(宏)数据库消极表情样本示意图；
图2b3为本发明中MMEW(宏)数据库惊讶表情样本示意图；
图2c1为本发明中SMIC数据库积极表情样本示意图；
图2c2为本发明中SMIC数据库消极表情样本示意图；
图2c3为本发明中SMIC数据库惊讶表情样本示意图；
图2d1为本发明中CASMEII数据库积极表情样本示意图；
图2d2为本发明中CASMEII数据库消极表情样本示意图；
图2d3为本发明中CASMEII数据库惊讶表情样本示意图；
图2e1为本发明中MMEW(微)数据库积极表情样本示意图；
图2e2为本发明中MMEW(微)数据库消极表情样本示意图；
图2e3为本发明中MMEW(微)数据库惊讶表情样本示意图；
图3a为本发明中SMIC微表情数据库采用LBPTOP特征的混淆矩阵示意图；
图3b为本发明中SMIC微表情数据库采用MDMO特征的混淆矩阵示意图；
图3c为本发明中CASMEII数据库采用LBPTOP特征的混淆矩阵示意图；
图3d为本发明中CASMEII数据库采用MDMO特征的混淆矩阵示意图；
图3e为本发明中MMEW数据库采用LBPTOP特征的混淆矩阵示意图；
图3f为本发明中MMEW数据库采用MDMO特征的混淆矩阵示意图；
图4a为本发明中所述识别方法对于SMIC数据库、CASMEII数据库、MMEW数据库采用LBPTOP特征时参数α敏感性示意图；
图4b为本发明中所述识别方法对于SMIC数据库、CASMEII数据库、MMEW数据库采用MDMO特征时参数α敏感性示意图；
图4c为本发明中所述识别方法对于SMIC数据库、CASMEII数据库、MMEW数据库采用LBPTOP特征时参数β敏感性示意图；
图4d为本发明中所述识别方法对于SMIC数据库、CASMEII数据库、MMEW数据库采用MDMO特征时参数β敏感性示意图；
图4e为本发明中所述识别方法对于SMIC数据库、CASMEII数据库、MMEW数据库采用LBPTOP特征时参数λ敏感性示意图；
图4f为本发明中所述识别方法对于SMIC数据库、CASMEII数据库、MMEW数据库采用MDMO特征时参数λ敏感性示意图。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
实施例1：
一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，包括：
1)准备训练样本，训练样本包括宏表情样本和微表情样本，获取宏表情样本，对于宏表情提取特征形成宏表情数据矩阵其中dx代表宏表情特征维度，Nx代表宏表情样本个数，此后本发明均采用下标x表示宏表情相关；获取微表情样本，对于微表情提取特征形成微表情数据矩阵/>其中dy代表微表情特征维度，Ny代表微表情样本个数，此后本发明均采用下标y表示微表情相关；
对宏表情提取的特征为LBP特征；对于微表情提取的特征为LBPTOP特征和MDMO特征两种微表情特征。
2)通过特征选择和数据标准化将宏表情数据矩阵和微表情数据矩阵进行数据对齐后，将两者重组为数据矩阵
宏表情LBP特征为59维，微表情的LBPTOP特征为177维，微表情的MDMO特征为72维，本发明采用主成分分析法(PCA)将特征全部统一为一致维度；并且由于MDMO特征中含有负值不符合非负矩阵分解的要求，本发明所述数据标准化为采用线性归一化方法将MDMO特征归一化到(0,1)之间。
3)将重组的数据矩阵Z进行基于对偶图正则化的联合非负矩阵分解，得到分解后的系数矩阵，分解后的系数矩阵在基矩阵基础上可以重构原始数据矩阵Z；
所述基于对偶图正则化的联合非负矩阵分解的数学描述如下：
其中，α，β，λ是三个平衡系数，用于平衡基础非负矩阵分解项以及各个正则化项间的关系，通常这三个平衡参数需要根据采用的数据库、采用的特征、进行大量实验选择具体的最优值，本发明的具体取值可以看后文实验部分；U为基矩阵，V为系数矩阵，U∈Rd×k，V∈Rk×N,N＝Nx+Ny，d是为特征选择后的统一的特征维度，k指矩阵分解的维数，tr(VLVT)为对偶图正则化项，tr(VMVT)为最大均值差异项，最小化||U||F约束能够控制非负矩阵分解基矩阵的复杂程度。
所述步骤3)中式(1)表示将原数据经对偶图正则化分解形成基矩阵U和系数矩阵V，由于在矩阵分解后的基矩阵U基础上系数矩阵V能够拟合原始数据，即映射到以U中的向量张成的低维空间中的坐标，即实例在低维特征空间中的新表示，因此，对于分解后的系数矩阵引入对偶图正则化约束tr(VLVT)，一方面，利用域间相似关系来保留源域宏表情和目标域微表情的共同几何结构，另一方面，利用域内相似关系来保留每个域内的几何结构，也就是说，域间相似性可以使来自不同数据集的相似数据的新表示彼此更加接近，而域内相似性关系可以使同一数据集内的相似数据的新表示更加接近。这些相互作用将有效地减少分布差异。两种图关系定义如下：
域间相似关系：对于跨域数据，假设如果源域宏表情数据样本xi在目标域微表情数据样本yj的k个最近邻中，或者目标域微表情数据样本yi在源域宏表情数据样本xj的k个最近邻之间，(i、j分别代表第i个、第j个样本，没有特殊意义)，那么他们均存在相似关系，并需要在基矩阵基础上生成系数矩阵表示保留这种关系，因此，令Wst和Wts为域间图相似度矩阵，定义如下：
域内相似关系：对于宏表情和微表情两个域内部，同样具有近邻关系的数据在由原始数据新分解出来的系数矩阵表示中应彼此接近；也就是说，宏表情领域内部，属于同一类的数据生成的系数表示应该较为相似；对于微表情领域也是如此；同样地，通过构造KNN相似度图来保留局部结构信息，并将其命名为域内图关系，源域图相似矩阵Ws和目标域图相似矩阵Wt定义如下：
其中σ为一个约束因子，此处取1；
根据两种图相似性关系，我们将所有不同的图关系整合成源域宏表情和目标域微表情最终的对偶图；得到总体相似度矩阵W定义如下：
其中，η＞0是用于平衡域间图相似关系和域内图相似关系的影响的参数；将公式(6)应用于系数矩阵，可以将公式(6)定义如下：
其中L＝D-W为图拉普拉斯矩阵，D表示对角矩阵，其中第i个对角元素通过Dii＝∑jWij计算；其中最小化对偶图正则化项，tr(VLVT)的值越小，表明数据从原始特征空间到低维特征空间的映射越平滑，即具有更好的局部不变性。
所述步骤3)中，式(1)中所述最大均值差异项是我们进一步考虑在系数矩阵施加经验最大均值误差(MMD)，并希望其最小化用于推进两个域距离，最大均值差异项定义如下：
其中，N＝Nx+Ny,表示源域宏表情和目标域微表情总个数，Nx代表宏表情样本个数，Ny代表微表情样本个数，M为MMD矩阵，其定义为以下形式：
其中Ds表示源域即宏表情领域，Dt表示目标域即微表情领域；
其中，公式8中的最大均值差异项tr(VMVT)可以通过衡量均值的形式衡量两个领域的分布，通过最小化此项、可以有效推近两个域的分布距离。
4)根据变量相关更新规则经过多次迭代，求得宏微表情联合非负矩阵分解训练基矩阵U和训练系数矩阵V；准备测试样本，测试样本为微表情样本，对测试微表情提取特征形成测试微表情数据矩阵，提取与训练集微表情相同的特征，根据训练基矩阵求取测试微表情数据集的微表情测试系数矩阵VTtest；
所述步骤4)中，对于目标函数公式(1)，是带有约束的非负矩阵分解问题，因此可以采用基于拉格朗日乘子的方法分别对U和V进行优化，首先需要对公式(1)中的非负矩阵分解目标函数进行变换可以得到：
其中，可以令U＝[uij]，V＝[vij]，则最终是在uij≥0和vij≥0的约束下对公式(10)进行最小化，定义两个约束的拉格朗日乘子分别为Ψ＝[Ψij]，Φ＝[Φij]，因此目标拉格朗日函数可以写作：
则拉格朗日函数L分别对U和V求偏导，得到：
由于L＝D-W，其中(13)可以改写成如下形式：
利用KKT条件Ψijuij＝0以及Φijvij＝0，可以得到uij和相关的更新公式：
-(ZVT)ijuij+(UVVT)ijuij+λUijuij＝0 (15)
-(UTZ)ijvij+(UTUV)vij+α(VD)ijvij+β(VM)ijvij-α(VW)ijvij＝0 (16)
从而得出以下更新规则：
此外，为了避免以上公式在更新过程中分母为0的情况，本发明在更新公式的分母中加入一个极小的正数eps(Matlab中为2.2204e-16)。本发明设定迭代次数为200次，通常100次迭代后目标函数收敛了，为了保险起见本发明设定200次。
步骤4)中VTtest表示测试数据的系数矩阵，VTtest＝pinv(U)·Ytest；Ytest为测试样本，上标test均指测试数据相关，训练数据不带上标。pinv()指求伪逆。
5)通过基于欧氏距离的最近邻分类器对所述训练系数矩阵和微表情测试系数矩阵进行分类识别，将训练系数矩阵对应的训练样本的分类标签赋给测试样本，完成对测试样本微表情的识别。
具体方法如下：
给定测试样本上标test均指测试数据相关，训练数据不带上标。NP表示的是测试样本数，那么任意一个测试样本/>得相关系数/>采用最近邻分类/>其中，πi是指第i个训练样本Vi的分类标签，将距离最近的训练样本的分类标签赋给测试样本，完成识别。
实验例
本发明分别在两个宏表情数据库CK+数据库和MMEW宏表情数据库以及三个微表情数据库SMIC数据库、CASMEII数据库以及MMEW微表情数据库形成三组宏-微数据库对(CK+&SMIC、CK+&CASMEII、MMEW(宏)&MMEW(微))来进行三组跨库实验。为了将所有的数据库类别进行统一，采用SMIC(HS)数据类别作为基准，其他几个数据库按照其重新进行情绪类别划分，全部统一为积极、消极、惊讶三种类别，各数据库重新划分后样本数目如表1所示。同样地，本发明对于宏表情样本的处理仍为仅采用高潮帧作为宏表情一个数据样本，对于所用的微表情视频序列首先将其切分为微表情图片序列，之后将其统一插值为60帧，并且本发明所采用的宏表情图片以及微表情图片序列统一裁剪为231×231尺寸。本发明数据被分作三个部分进行实验，依次为训练宏表情数据、训练微表情数据以及测试微表情数据。选取全部宏表情数据和每个微表情数据库随机选取的三分之二数据进行训练，剩余三分之一微表情数据进行测试，因随机初始化存在一定的偶然性，本章进行20次实验，取所有20次测试结果的平均值作为最终识别结果。
表1各数据库重新标定后样本数目
表2本发明所提供的方法在三个数据库各特征实验结果
从表2中可以看出，本发明所提出的一种基于对偶图正则化的联合非负矩阵二分解微表情识别方法，在三个数据库上都取得了不错的识别效果，最高达到了75.4％，说明本发明所述方法在微表情识别中具有良好的识别效果。并且微表情采用MDMO特征识别效果要优于LBPTOP特征，其原因是由于采用光流特征能够更好地捕捉到微表情细微的信息，更能反映情绪因素得到更好地识别效果。同样地，针对以上得到的识别结果本发明对应地给出其混淆矩阵，如图3a和图3b对应SMIC微表情数据库采用LBPTOP特征和MDMO特征的混淆矩阵，图3c、图3d则分别对应CASMEII数据库LBPTOP和MDMO特征的表现，图3e和图3f则对应展示了MMEW数据库两种特征的识别效果。通过观察混淆矩阵可以发现本算法对于每类微表情的识别情况。
通过对于混淆矩阵的观察，首先可以看出，相对而言，本算法对于消极、积极、惊讶三个类别微表情的识别在SMIC数据库更为均衡一些，在另外两个数据库差别更大。结合表1中所给出的样本分布情况来看，大概由于将宏表情信息迁移到微表情域后，将微表情结合宏表情的数目后，使得SMIC类别数目变得较为均衡，因此体现在每类识别结果上则更为均衡。而对于CASMEII数据库和MMEW数据库而言，仍旧存在较大的类别差异，因此才会出现混淆矩阵差异明显的情况。对于CASMEII数据库显示出对于消极类别的识别更为准确，另外两类识别效果差不多，原因可能是结合对应宏表情后本数据库中消极的样本数目最多，积极和惊讶两类样本数目较消极而言差距较大，且两类彼此数目相近，因此呈现出消极类别识别结果远远高于其他两类，其他两类识别效果相近。在MMEW数据库则展示出消极识别效果最好，惊讶识别效果次好，两类识别效果均高于积极识别效果。同样地，在本数据库每个类别的识别结果与本数据库的样本数量呈现基本是一致的，呈现出类别间样本数目的差异会影响每个类别识别结果的规律，样本类别的不均衡性会很大程度限制微表情算法模型的识别性能。
根据所提出的基于正则化图的联合非负矩阵分解模型，其中存在三个重要参数α，β，λ会影响该模型对于微表情数据的识别效果，此处对于这三个重要的参数敏感性进行实验。对于本方法所采用的两种不同类型的微表情特征在全部数据库对于每个参数进行了大量的实验。并且严格按照对照的原则，评估某个参数时仅让被评估的参数在一定范围内变化，其他参数则根据经验选定固定值，最终实验结果如图4a-图4f所示。图4a-图4f具体实验条件见表3。从图中可以看出，各个参数的取值变化会对模型最终的识别效果产生一定的影响。对于对偶图正则化调节参数α而言，其变化规律为随着其取值的增大，识别率先上升后下降，因此，对于LBPTOP特征，三个数据集α均可取0.001，对于MDMO特征而言，前两个数据集α取0.01，MMEW取10-4可得到最好识别效果。β控制最大均值差异的比重，可以调控两个域距离推近程度的比重，β取值较小时，识别率几乎没有变化，增大到一定值后识别效果开始下降。对于LBPTOP特征，SMIC数据集上β可以取0.1，另外两个数据集可以在[10-5,1]范围内取值；对于MDMO特征，三个数据集的β均可取值[10-5,0.1]。同样的，λ可以控制非负矩阵分解基矩阵的复杂程度，也呈现出在一定范围内可以取得不错识别效果，一旦超过某个特定值，识别结果便下降。因此，对于LBPTOP特征，SMIC数据集的λ取0.01，另外两个数据集取[10-5,0.01]；对于MDMO特征，λ取[10-5,0.01].
表3图4a-图4f对应实验条件
/>
/>

Claims (8)

1.一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，包括：
1)准备训练样本，训练样本包括宏表情样本和微表情样本，获取宏表情样本，对于宏表情提取特征形成宏表情数据矩阵其中dx代表宏表情特征维度，Nx代表宏表情样本个数；获取微表情样本，对于微表情提取特征形成微表情数据矩阵其中dy代表微表情特征维度，Ny代表微表情样本个数；
2)通过特征选择和数据标准化将宏表情数据矩阵和微表情数据矩阵进行数据对齐后，将两者重组为数据矩阵
3)将重组的数据矩阵Z进行基于对偶图正则化的联合非负矩阵分解，得到分解后的系数矩阵和基矩阵，分解后的系数矩阵在基矩阵基础上可以重构原始数据矩阵Z；
所述基于对偶图正则化的联合非负矩阵分解的数学描述如下：
其中，α，β，λ是三个平衡系数，用于平衡基础非负矩阵分解项以及各个正则化项间的关系；U为基矩阵，V为系数矩阵，U∈Rd×k，V∈Rk×N,N＝Nx+Ny，d是为特征选择后的统一的特征维度，k指矩阵分解的维数，tr(VLVT)为对偶图正则化项，tr(VMVT)为最大均值差异项，最小化||U||F约束能够控制非负矩阵分解基矩阵的复杂程度；
所述步骤3)中式(1)表示将原数据经对偶图正则化分解形成基矩阵U和系数矩阵V，由于在矩阵分解后的基矩阵U基础上系数矩阵V能够拟合原始数据，即映射到以U中的向量张成的低维空间中的坐标，即实例在低维特征空间中的新表示，因此，对于分解后的系数矩阵引入对偶图正则化约束tr(VLVT)，一方面，利用域间相似关系来保留源域宏表情和目标域微表情的共同几何结构，另一方面，利用域内相似关系来保留每个域内的几何结构，两种图关系定义如下：
域间相似关系：对于跨域数据，假设如果源域宏表情数据样本xi在目标域微表情数据样本yj的k个最近邻中，或者目标域微表情数据样本yi在源域宏表情数据样本xj的k个最近邻之间，那么他们均存在相似关系，并需要在基矩阵基础上生成系数矩阵表示保留这种关系，因此，令Wst和Wts为域间图相似度矩阵，定义如下：
域内相似关系：对于宏表情和微表情两个域内部，同样具有近邻关系的数据在由原始数据新分解出来的系数矩阵表示中应彼此接近；同样地，通过构造KNN相似度图来保留局部结构信息，并将其命名为域内图关系，源域图相似矩阵Ws和目标域图相似矩阵Wt定义如下：
其中σ为一个约束因子，此处取1；
根据两种图相似性关系，将所有不同的图关系整合成源域宏表情和目标域微表情最终的对偶图；得到总体相似度矩阵W定义如下：
其中，η＞0是用于平衡域间图相似关系和域内图相似关系的影响的参数；将公式(6)应用于系数矩阵，可以将公式(6)定义如下：
其中L＝D-W为图拉普拉斯矩阵，D表示对角矩阵，其中第i个对角元素通过Dii＝∑jWij计算；其中最小化对偶图正则化项；
4)根据变量相关更新规则经过多次迭代，求得宏微表情联合非负矩阵分解训练基矩阵U和训练系数矩阵V；
准备测试样本，测试样本为微表情样本，对测试微表情提取特征形成测试微表情数据矩阵，根据训练基矩阵求取测试微表情样本的微表情测试系数矩阵VTtest；
5)通过基于欧氏距离的最近邻分类器对所述训练系数矩阵和微表情测试系数矩阵进行分类识别，将训练系数矩阵对应的训练样本的分类标签赋给测试样本，完成对测试样本微表情的识别。
2.根据权利要求1所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，所述步骤1)中，对宏表情提取的特征为LBP特征；对于微表情提取的特征为LBPTOP特征和MDMO特征两种微表情特征；步骤4)中，对测试微表情提取LBPTOP特征和MDMO特征两种微表情特征。
3.根据权利要求2所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，所述步骤2)中，宏表情LBP特征为59维，微表情的LBPTOP特征为177维，微表情的MDMO特征为72维，本发明采用主成分分析法将特征全部统一为一致维度；所述数据标准化为采用线性归一化方法将MDMO特征归一化到(0,1)之间。
4.根据权利要求1所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，所述步骤3)中，式(1)中所述最大均值差异项是在系数矩阵施加经验最大均值误差，并希望其最小化用于推进两个域距离，最大均值差异项定义如下：
其中，N＝Nx+Ny,表示源域宏表情和目标域微表情总个数，Nx代表宏表情样本个数，Ny代表微表情样本个数，M为MMD矩阵，其定义为以下形式：
其中Ds表示源域即宏表情领域，Dt表示目标域即微表情领域；
其中，公式8中的最大均值差异项tr(VMVT)通过衡量均值的形式衡量两个领域的分布，通过最小化此项、有效推近两个域的分布距离。
5.根据权利要求4所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，所述步骤4)中，采用基于拉格朗日乘子的方法分别对U和V进行优化，首先需要对公式(1)中的非负矩阵分解目标函数进行变换得到：
其中，令U＝[uij]，V＝[vij]，则最终是在uij≥0和vij≥0的约束下对公式(10)进行最小化，定义两个约束的拉格朗日乘子分别为Ψ＝[Ψij]，Φ＝[Φij]，因此目标拉格朗日函数可以写作：
则拉格朗日函数L分别对U和V求偏导，得到：
由于L＝D-W，其中(13)可以改写成如下形式：
利用KKT条件Ψijuij＝0以及Φijvij＝0，可以得到uij和vij相关的更新公式：
-(ZVT)ijuij+(UVVT)ijuij+λUijuij＝0 (15)
-(UTZ)ijvij+(UTUV)vij+α(VD)ijvij+β(VM)ijvij-α(VW)ijvij＝0 (16)
从而得出以下更新规则：
此外，为了避免以上公式在更新过程中分母为0的情况，在更新公式的分母中加入一个极小的正数eps。
6.根据权利要求1所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，设定迭代次数为至少100次。
7.根据权利要求5所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，所述步骤4)中VTtest表示测试样本数据的系数矩阵，VTtest＝pinv(U)·Ytest；Ytest为测试样本，其中pinv()指求伪逆。
8.根据权利要求1所述的基于对偶图正则化的联合非负矩阵二分解的微表情识别方法，其特征在于，所述步骤5)中通过基于欧氏距离的最近邻分类器对所述训练系数矩阵和微表情测试系数矩阵进行分类识别的具体方法如下：
给定测试样本NP表示的是测试样本数，那么任意一个测试样本/>的相关系数/>采用最近邻分类/>其中，πi是指第i个训练样本Vi的分类标签，将距离最近的训练样本的分类标签赋给测试样本，完成识别。
CN202010197688.2A 2020-03-19 2020-03-19 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法 Active CN113496147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010197688.2A CN113496147B (zh) 2020-03-19 2020-03-19 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197688.2A CN113496147B (zh) 2020-03-19 2020-03-19 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法

Publications (2)

Publication Number Publication Date
CN113496147A CN113496147A (zh) 2021-10-12
CN113496147B true CN113496147B (zh) 2023-08-29

Family

ID=77993708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197688.2A Active CN113496147B (zh) 2020-03-19 2020-03-19 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法

Country Status (1)

Country Link
CN (1) CN113496147B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409287A (zh) * 2018-10-25 2019-03-01 山东大学 一种由宏表情到微表情的迁移学习方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409287A (zh) * 2018-10-25 2019-03-01 山东大学 一种由宏表情到微表情的迁移学习方法

Also Published As

Publication number Publication date
CN113496147A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
Zaied et al. A novel approach for face recognition based on fast learning algorithm and wavelet network theory
Montazer et al. An improved radial basis function neural network for object image retrieval
Saragih et al. Learning AAM fitting through simulation
CN110222213B (zh) 一种基于异构张量分解的图像分类方法
Duong et al. Deep appearance models: A deep boltzmann machine approach for face modeling
Li et al. Exploring compositional high order pattern potentials for structured output learning
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
Yin Nonlinear dimensionality reduction and data visualization: a review
Zhang et al. Rate-invariant analysis of covariance trajectories
Jurrus et al. Semi-automated neuron boundary detection and nonbranching process segmentation in electron microscopy images
CN113159072B (zh) 基于一致正则化的在线超限学习机目标识别方法及系统
Gopinath et al. Adaptive graph convolution pooling for brain surface analysis
Zou et al. A new approach for small sample face recognition with pose variation by fusing Gabor encoding features and deep features
CN107766895B (zh) 一种诱导式非负投影半监督数据分类方法及系统
CN107784284B (zh) 人脸识别方法及系统
Mattar et al. Unsupervised joint alignment and clustering using bayesian nonparametrics
CN113496149B (zh) 一种基于联合层次选择的子空间学习的跨视角步态识别方法
Lei et al. Robust deep kernel-based fuzzy clustering with spatial information for image segmentation
CN113496147B (zh) 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法
Bi et al. l 2, p-norm sequential bilateral 2DPCA: a novel robust technology for underwater image classification and representation
CN112465062A (zh) 一种基于流形学习和秩约束的聚类方法
Oktay et al. Probabilistic edge map (PEM) for 3D ultrasound image registration and multi-atlas left ventricle segmentation
CN113095270B (zh) 一种非监督跨库的微表情识别方法
Gao et al. Gabor texture in active appearance models
Balakrishnan et al. Computing WHERE-WHAT classification through FLIKM and deep learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant