CN108629314A - 一种基于主动迁移学习的微表情识别方法 - Google Patents

一种基于主动迁移学习的微表情识别方法 Download PDF

Info

Publication number
CN108629314A
CN108629314A CN201810426006.3A CN201810426006A CN108629314A CN 108629314 A CN108629314 A CN 108629314A CN 201810426006 A CN201810426006 A CN 201810426006A CN 108629314 A CN108629314 A CN 108629314A
Authority
CN
China
Prior art keywords
formula
micro
expression
domain
subproblem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810426006.3A
Other languages
English (en)
Other versions
CN108629314B (zh
Inventor
贲晛烨
李传烨
任亿
翟鑫亮
李梦雅
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201810426006.3A priority Critical patent/CN108629314B/zh
Publication of CN108629314A publication Critical patent/CN108629314A/zh
Application granted granted Critical
Publication of CN108629314B publication Critical patent/CN108629314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于主动迁移学习的微表情识别方法，包括：(1)宏表情、微表情特征提取；(2)微表情主动迁移学习问题的建立与求解；(3)微表情识别。基于宏表情和微表情的内在联系，本发明通过一个非对称的线性翻译器，构筑宏表情到微表情之间的桥梁。主动学习在开始阶段可以利用的标注样本比较少，通过该翻译器，使微表情在变换域中可以利用宏表情域的监督信息，从而有助于主动学习在微表情域选择高质量的样本，被人工标注后加入到已有训练集中，训练出更为有效的分类器。

Description

一种基于主动迁移学习的微表情识别方法
技术领域
本发明涉及一种基于主动迁移学习的微表情识别方法，属于机器学习和模式识别的技术领域。
背景技术
微表情是一种类型的自发表情，它是情绪的自然表露，是人不经意间的情感表达，因而无法复制伪造，因此在临床诊断和安全防范等领域有着极大的利用价值。微表情类别的标注是一项要求严格的工作，需要具有心理学背景的科研人员结合图像序列的上下文信息，给出综合的判断。为了给出标准的微表情样本，科研人员花费了大量时间和经历设计诱导机制，采集样本和人工标注，但现有数据库样本的数量上还是太少。
宏表情，即我们熟知的人的表情，在定义上与微表情存在诸多差异，比如持续时间和变化幅度。宏表情动作幅度强，表达明显，在单帧图片上即可被很好地认知；而微表情动作微弱，需要借助整个图像序列加以判断。然而，在本质上，它们都是由面部肌肉运动而产生的客观形态，是人类内心情绪状态的表达。
Ekman等人将表情视为由不同的动作单元组成，根据他们提出的面部行为编码系统(Facial Action Coding System，FACS)可以定量地确定表情的属性。微表情的研究同样以FACS作为基础理论，这从侧面反映出表情和微表情之间存在的内在联系。
现有方法先利用微表情标注数据集训练得到分类器，但该分类器的泛化能力与标注数据集的大小直接相关。然而现实是，由于标注资源的限制，无标注数据比标注数据容易获得。如何借助少量的微表情标注样本以提升微表情自动识别的效果是一个值得思考的问题。
发明内容
针对现有技术的不足，本发明提供了一种基于主动迁移学习的微表情识别方法。
本发明根据宏表情和微表情之间的语义相关性，从宏表情所在的域(源域)学习有用的知识，帮助在微表情域(目标域)选择高质量的样本，被人工标注后加入到训练集中，训练更为有效的分类器，以提高微表情识别的效果。
本发明结合监督学习和半监督学习中广泛关注的主动学习和迁移学习，一方面，利用宏表情和微表情之间存在的内在联系，迁移宏表情域的样本分布信息，以增加微表情域的监督信息，另一方面，与被动地等待接受标注不同，我们从微表情候选集(通常被称为主动池)中挑选携带大量信息的微表情样本，然后交由人工进行标注。挑选出的样本是候选集的一个“最优”子集，因此，等量标注后能训练出更好的分类模型。
本发明的技术方案如下：
一种基于主动迁移学习的微表情识别方法，包括：
(1)宏表情、微表情特征提取；
(2)微表情主动迁移学习问题的建立与求解；
(3)微表情识别。
根据本发明优选的，所述步骤(2)，微表情主动迁移学习问题的建立与求解，包括：
A、定义微表情主动迁移学习的问题：
令为宏表情域(源域)样本特征空间，ds为源域特征维数，任意宏表情域样本特征
令为微表情域(目标域)样本特征空间，dt为目标域特征维数，任意微表情样本特征
在宏表情域标注一个训练数据集且是的真实类标签；
在微表情域标注另外一个训练数据集(种子集)且微表情域的候选数据集(主动池)
主动学习最初依赖具有的知识，按照准则对上的数据给予评价。由于l通常很小，不足以用来训练一个可靠的分类模型。因此，我们希望，通过迁移源域的相关知识，在的辅助下，提高主动学习的效果。
B、由于多元分类问题可以分解成多个二元分类问题，根据结构风险最小化，在宏表情域建立C个二元分类问题，如式(i)所示：
式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，Cs是宏表情域分类器的惩罚系数，l是损失函数，
因为宏表情和微表情在不同的特征空间中，为了连接两个不同的空间到一个公共空间，学习一个线性的“翻译器”W将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：
式(ii)中，Ct是微表情域分类的惩罚系数，
通过式(ii)，我们希望W可以将微表情域的样本点映射到分类超平面正确的一侧。也就是说，我们希望借助wc和W，完成迁移学习。因为确定了分类器的具体形式，根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：
式(iii)中，Q表示被选择的样本组成的集合；
根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：
在式(iv)中我们采用了增广形式的分类器，为了表示简单，吸收增加的常数项，即 得到式(v)：
根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：
式(vi)中，是对应上样本的查询因子；
线性分类器本质上处理的是二元问题，为了拓展至多元问题，常采用的策略有“一对一”或“一对多”。我们的目标函数采用的是后者。“一对一”策略会产生一些与本类别无关的分类器，由于这些分类器得不到本类别的任何监督信息，而在主动学习中，当有新样本需要被评估时，这些无关的分类器所产生的结果会引起很大的歧义。相比之下，“一对多”策略不存在这样的问题。
由于式(vi)是一个非凸的最优化问题，使用交替解法进行求解，主要分为三步。
C、求解微表情主动迁移学习问题
a、固定W，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：
设由qi确定的的子集对应的数据阵为Xq，引入辅助向量由式(vii)得到式(viii)：
式(viii)的增广拉格朗日函数如式(ix)所示：
式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；
式(ix)中的wc，z，λ是可以分开求解的，在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：
求解式(x)中的子问题。
b、固定wc，qi，转化为求解W的子问题，如式(xi)所示：
引入由式(xi)得到式(xii)：
式(xii)的增广拉格朗日函数如式(xiii)所示：
式(xiii)中，λ1,λ2,λ3是拉格朗日乘子，ρ是约束违规惩罚参数；
式(xiii)中W,z1,z2,z3,λ1,λ2,λ3是可以分开求解的，在基本的高斯-赛德尔结构中式(xiii)第k+1次迭代如式(xiv)所示：
求解式(xiv)中的子问题；
c、固定wc，W，转化为求解qi的子问题，如式(xv)所示：
式(xv)中，将qi松弛到连续空间[0,1]后使用线性规划求解；
根据已经计算得到的qi，设置其中最大的一个为1，余下的为0；
式(xv)达到迭代次数后，最大的qi对应的微表情样本的特征经由人工标注后加入到
C、微表情识别：
更新的包含的特征x被映射成特征WTx后，用于训练可靠的分类器模型；对于未知标签的微表情样本，同样提取整个图像序列的主方向平均光流特征，该特征被W映射到新空间后，使用上述分类器进行识别。
根据本发明优选的，求解式(x)中的子问题，包括：
对于求解式(x)中关于的子问题，如式(xvi)所示：
式(xvi)是关于wc的凸函数，因此，得到式(xvii)：
式(xvii)中，I是单位阵，
对于求解式(x)中关于zk+1的子问题，如式(xviii)所示：
式(xviii)中，
式(xviii)是一个稀疏求解的问题。
根据本发明优选的，求解式(xiv)中的子问题，包括：
对于求解式(xiv)中Wk+1的子问题，如式(xix)所示：
通过梯度下降法求解式(xix)。
根据本发明优选的，求解式(xiv)中的子问题，包括：
对于求解式(xiv)中的子问题，如式(xx)所示：
式(xx)中，
式(xx)是稀疏求解的问题。
本发明的有益效果是：
基于宏表情和微表情的内在联系，本发明通过一个非对称的线性翻译器，构筑宏表情到微表情之间的桥梁。主动学习在开始阶段可以利用的标注样本比较少，通过该翻译器，使微表情在变换域中可以利用宏表情域的监督信息，从而有助于主动学习在微表情域选择高质量的样本，被人工标注后加入到已有训练集中，训练出更为有效的分类器。
附图说明
图1是本发明实施例中表示“惊讶”的宏表情、微表情样本的对比示意图；
图2是本发明实施例中表示“高兴”的宏表情、微表情样本的对比示意图；
图3是本发明实施例中表示“厌恶”的宏表情、微表情样本的对比示意图；
图4是本发明实施例的微表情识别方法的流程示意图；
图5是图4所示流程中步骤S2和S3实现方法的示意图；
图6是图4所示流程中步骤S4和S5实现方法的示意图；
图7是本发明CK+到CASME对比的实验结果的对比示意图；
图8是本发明CK+到CASME II对比的实验结果的对比示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
如图1、图2、图3所示，宏表情动作幅度强，表达明显，在单帧图片上即可被很好地认知；而微表情动作微弱，需要借助整个图像序列加以判断。
一种基于主动迁移学习的微表情识别方法，如图4所示，包括：
步骤S1，对宏表情和微表情样本进行特征提取。对宏表情样本提取单张图片的LBP特征，对微表情样本提取整个图像序列的主方向平均光流特征(Main Directional MeanOptical-flow，MDMO，参见论文Liu Y J,Zhang J K,Yan W J,et al.A main directionalmean optical flow feature for spontaneous micro-expression recognition[J].IEEE Transactions on Affective Computing,2016,7(4):299-310.)
步骤S2、S3，对宏表情和微表情训练集样本进行主动迁移学习，形成新的微表情训练数据集。
图5示出了步骤S2、S3的一种实现方法。
ns张含有标签的宏表情的样本的特征形成宏表情域(源域)训练数据集其中 为源域样本特征空间，ds为源域特征维数，且是的真实类标签，共含有C类。nl个含有标签的微表情样本的特征形成微表情域(目标域)训练数据集(种子集)其中，为目标域样本特征空间，dt为目标域特征维数，且是的真实类标签。nu个无标签微表情样本的特征形成候选数据集(主动池)其中
由于多元分类问题可以分解成多个二元分类问题，根据结构风险最小化，在宏表情域建立C个二元分类问题，如式(i)所示：
式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，Cs是宏表情域分类器的惩罚系数，l是损失函数，
学习一个线性的“翻译器”W将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：
式(ii)中，Ct是微表情域分类的惩罚系数，
通过式(ii)，我们希望W可以将微表情域的样本点映射到分类超平面正确的一侧。也就是说，我们希望借助wc和W，完成迁移学习。因为确定了分类器的具体形式，根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：
式(iii)中，Q表示被选择的样本组成的集合；
根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：
在式(iv)中我们采用了增广形式的分类器，为了表示简单，吸收增加的常数项，即 得到式(v)：
根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：
式(vi)中，是对应上样本的查询因子；
由于式(vi)是一个非凸的最优化问题，使用交替解法进行求解，主要分为三步。
a、固定W，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：
设由qi确定的的子集对应的数据阵为Xq，引入辅助向量由式(vii)得到式(viii)：
式(viii)的增广拉格朗日函数如式(ix)所示：
式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；
式(ix)中的wc，z，λ是可以分开求解的，在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：
b、固定wc，qi，转化为求解W的子问题，如式(xi)所示：
引入由式(xi)得到式(xii)：
式(xii)的增广拉格朗日函数如式(xiii)所示：
式(xiii)中，λ1,λ2,λ3是拉格朗日乘子，ρ是约束违规惩罚参数；
式(xiii)中W,z1,z2,z3,λ1,λ2,λ3是可以分开求解的，在基本的高斯-赛德尔结构中式(xiii)第k+1次迭代如式(xiv)所示：
求解式(xiv)中的子问题；
c、固定wc，W，转化为求解qi的子问题，如式(xv)所示：
式(xv)中，将qi松弛到连续空间[0,1]后使用线性规划求解；
根据已经计算得到的qi，设置其中最大的一个为1，余下的为0；
式(xv)达到迭代次数后，最大的qi对应的微表情样本的特征经由人工标注后加入到根据本发明优选的，求解式(x)中的子问题，包括：
对于求解式(x)中关于的子问题，如式(xvi)所示：
式(xvi)是关于wc的凸函数，因此，得到式(xvii)：
式(xvii)中，I是单位阵，
对于求解式(x)中关于zk+1的子问题，如式(xviii)所示：
式(xviii)中，
式(xviii)是一个稀疏求解的问题。
根据本发明优选的，求解式(xiv)中的子问题，包括：
对于求解式(xiv)中Wk+1的子问题，如式(xix)所示：
通过梯度下降法求解式(xix)。
根据本发明优选的，求解式(xiv)中的子问题，包括：
对于求解式(xiv)中的子问题，如式(xx)所示：
式(xx)中，
式(xx)是稀疏求解的问题。
步骤S4，更新的训练集中的微表情样本的特征x被映射成特征WTx后，用于训练可靠的分类器模型。
步骤S5，对于未知标签的微表情样本，其主方向平均光流特征被W映射到新空间后，使用步骤S4得到的分类器进行识别。
图6是图4所示流程中步骤S4和S5实现方法的示意图；
为了进一步体现本发明的技术效果，下面给出一个具体的实验过程。在该实验中，我们选择CK+表情数据库，CASME、CASME II微表情数据库。CK+是一个较为完整的表情数据库，发布于2010年。CK+包括了123个实验者产生的593个图像序列，每个序列的最后一帧是表情的高潮帧，有相应动作单元的标注。其中，有327个图像序列的高潮帧带有情感标签，表1为CK+数据库的样本分布。CASME数据库针对20个实验者，共采集到195个自发产生的微表情样本，包含每个样本的微表情类别，动作单元(Action Units，AU)的组合，以及微表情发生的开始、高潮、终止时间。CASME II针对26个实验者，采集到246个有效的微表情样本，同样包含每个样本的微表情类别，动作单元(Action Units，AU)的组合，以及微表情发生的开始、高潮、终止时间。表2是CASME和CASME II数据库的样本分布。
表1
表2
比较表1和表2，CK+、CASME和CASME II各类表情样本的数量分布不均匀，我们从上述3个数据库中挑选厌恶、高兴、惊讶3类表情对应的样本用于本次实验。CK+的宏表情样本作为源域数据，CASME、CASME II的微表情样本作为目标域数据。主动学习是针对微表情样本进行的，因此需要利用CASME、CASME II的微表情样本建立种子集和主动池。我们在CASME、CASME II上随机地抽取每个类别三分之一的样本形成测试集，余下三分之二的样本形成候选训练集。然后，从候选训练集的每个类别中随机地抽取1个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池。利用主动学习从主动池中选择查询样本，被选择的查询样本经由人工标注后加入到种子集。种子集中所有的样本作为标注数据，用来训练一个标准的分类器。在测试集上的识别率被视为对本发明方法的评价。由于种子集、主动池和测试集是随机产生的，因此对于每项实验，我们独立地进行20次实验，并报告平均识别率。
我们使用统一模式的LBP特征，设置LBP采样点数目为8，采样半径为4；交替解法的迭代次数设为30。
不失一般性，本次实验使用线性支持向量机分类器，该分类器有一个参数，惩罚系数C，我们在{10-1,1,10,102,103,104}中寻参，本次实验结果均是最优参数下的结果。
我们将本发明方法和其他主动学习的方法进行了对比。对比方法有带有种类最大化不确定抽样的多分类主动学习方法(Uncertainty Sampling with DiversityMaximization，USDM，参见Yang Y,Ma Z,Nie F,et al.Multi-class active learning byuncertainty sampling with diversity maximization[J].International Journal ofComputer Vision,2015,113(2):113-127.)和随机选择的方法。USDM同样遵循了信息量准则，它通过在种子集和主动池上建立图上随机游走模型来估计主动池中样本的标签概率，最后得到样本的信息熵，该方法依赖建图相关参数的有效设定。实验中，我们按照原文参数的设定，报告最优参数下的结果。本发明方法的目标函数式(8)包含源域惩罚系数Cs和目标域惩罚系数Ct，它们的取值从{10-1,1,10,102,103,104}中选择，并报告最优参数下的结果。
图7是CK+到CASME对比的实验结果的对比示意图；图8是CK+到CASME II对比的实验结果的对比示意图。从图7、8可以看出，当从主动池中选择同样多的样本加入到种子集时，本发明方法总能获得更好的识别率，这证明了我们的方法具有优势。应当注意到，当从主动池中选择的查询样本较少时，优势比较明显。这是由于翻译器W可以将微表情样本的特征x映射成一种新的特征WTx，该特征通过分类器与表情样本对齐，相当于在公共空间中获得了额外的监督信息，因此，有助于微表情识别率的提高。

Claims (6)

1.一种基于主动迁移学习的微表情识别方法，其特征在于，包括：
(1)宏表情、微表情特征提取；
(2)微表情主动迁移学习问题的建立与求解；
(3)微表情识别。
2.根据权利要求1所述的一种基于主动迁移学习的微表情识别方法，其特征在于，所述步骤(2)，微表情主动迁移学习问题的建立与求解，包括：
A、定义微表情主动迁移学习的问题：
令为宏表情域样本特征空间，ds为源域特征维数，任意宏表情域样本特征
令为微表情域样本特征空间，dt为目标域特征维数，任意微表情样本特征
在宏表情域标注一个训练数据集且是的真实类标签；
在微表情域标注另外一个训练数据集且微表情域的候选数据集
B、在宏表情域建立C个二元分类问题，如式(i)所示：
式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，Cs是宏表情域分类器的惩罚系数，l是损失函数，
学习一个线性的翻译器W将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：
式(ii)中，Ct是微表情域分类的惩罚系数，
根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：
式(iii)中，Q表示被选择的样本组成的集合；
根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：
吸收增加的常数项，即得到式(v)：
根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：
式(vi)中， 是对应上样本的查询因子；
C、求解微表情主动迁移学习问题
a、固定W，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：
设由qi确定的的子集对应的数据阵为Xq，引入辅助向量由式(vii)得到式(viii)：
式(viii)的增广拉格朗日函数如式(ix)所示：
式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；
在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：
求解式(x)中的子问题；
b、固定wc，qi，转化为求解W的子问题，如式(xi)所示：
引入由式(xi)得到式(xii)：
式(xii)的增广拉格朗日函数如式(xiii)所示：
式(xiii)中，λ1,λ2,λ3是拉格朗日乘子，ρ是约束违规惩罚参数；
在基本的高斯-赛德尔结构中式(xiii)第k+1次迭代如式(xiv)所示：
求解式(xiv)中的子问题；
c、固定wc，W，转化为求解qi的子问题，如式(xv)所示：
式(xv)中，将qi松弛到连续空间[0,1]后使用线性规划求解；
根据已经计算得到的qi，设置其中最大的一个为1，余下的为0；
式(xv)达到迭代次数后，最大的qi对应的微表情样本的特征经由人工标注后加入到
3.根据权利要求2所述的一种基于主动迁移学习的微表情识别方法，其特征在于，所述步骤(3)，微表情识别，包括：更新的包含的特征x被映射成特征WTx后，用于训练可靠的分类器模型；对于未知标签的微表情样本，同样提取整个图像序列的主方向平均光流特征，该特征被W映射到新空间后，使用上述分类器进行识别。
4.根据权利要求2所述的一种基于主动迁移学习的微表情识别方法，其特征在于，求解式(x)中的子问题，包括：
对于求解式(x)中关于的子问题，如式(xvi)所示：
式(xvi)是关于wc的凸函数，因此，得到式(xvii)：
式(xvii)中，I是单位阵，
对于求解式(x)中关于zk+1的子问题，如式(xviii)所示：
式(xviii)中，
5.根据权利要求2所述的一种基于主动迁移学习的微表情识别方法，其特征在于，求解式(xiv)中的子问题，包括：
对于求解式(xiv)中Wk+1的子问题，如式(xix)所示：
通过梯度下降法求解式(xix)。
6.根据权利要求2-5任一所述的一种基于主动迁移学习的微表情识别方法，其特征在于，求解式(xiv)中的子问题，包括：
对于求解式(xiv)中的子问题，如式(xx)所示：
式(xx)中，
CN201810426006.3A 2018-05-07 2018-05-07 一种基于主动迁移学习的微表情识别方法 Active CN108629314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810426006.3A CN108629314B (zh) 2018-05-07 2018-05-07 一种基于主动迁移学习的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810426006.3A CN108629314B (zh) 2018-05-07 2018-05-07 一种基于主动迁移学习的微表情识别方法

Publications (2)

Publication Number Publication Date
CN108629314A true CN108629314A (zh) 2018-10-09
CN108629314B CN108629314B (zh) 2021-08-10

Family

ID=63695777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810426006.3A Active CN108629314B (zh) 2018-05-07 2018-05-07 一种基于主动迁移学习的微表情识别方法

Country Status (1)

Country Link
CN (1) CN108629314B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409287A (zh) * 2018-10-25 2019-03-01 山东大学 一种由宏表情到微表情的迁移学习方法
CN109543603A (zh) * 2018-11-21 2019-03-29 山东大学 一种基于宏表情知识迁移的微表情识别方法
CN109657554A (zh) * 2018-11-21 2019-04-19 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN110135497A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 模型训练的方法、面部动作单元强度估计的方法及装置
CN111444859A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种无监督跨域人脸表情识别方法
CN111460981A (zh) * 2020-03-30 2020-07-28 山东大学 一种基于重构跨域视频生成对抗网络模型的微表情识别方法
CN115050081A (zh) * 2022-08-12 2022-09-13 平安银行股份有限公司 表情样本生成方法、表情识别方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440509A (zh) * 2013-08-28 2013-12-11 山东大学 一种有效的微表情自动识别方法
CN105701509A (zh) * 2016-01-13 2016-06-22 清华大学 一种基于跨类别迁移主动学习的图像分类方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
US20170308742A1 (en) * 2015-09-16 2017-10-26 Intel Corporation Facial expression recognition using relations determined by class-to-class comparisons
WO2017190645A1 (zh) * 2016-05-03 2017-11-09 中兴通讯股份有限公司 一种微表情识别的方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440509A (zh) * 2013-08-28 2013-12-11 山东大学 一种有效的微表情自动识别方法
US20170308742A1 (en) * 2015-09-16 2017-10-26 Intel Corporation Facial expression recognition using relations determined by class-to-class comparisons
CN105701509A (zh) * 2016-01-13 2016-06-22 清华大学 一种基于跨类别迁移主动学习的图像分类方法
WO2017190645A1 (zh) * 2016-05-03 2017-11-09 中兴通讯股份有限公司 一种微表情识别的方法、装置及存储介质
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TOM DIETHE ET AL.: "Active transfer learning for activity recognition", 《ESANN 2016 PROCEEDINGS, EUROPEAN SYMPOSIUM ON ARTIFICIAL NEURAL NETWORKS, COMPUTATIONAL INTELLIGENCE》 *
贲晛烨 等: "微表情自动识别综述", 《计算机辅助设计与图形学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409287A (zh) * 2018-10-25 2019-03-01 山东大学 一种由宏表情到微表情的迁移学习方法
CN109409287B (zh) * 2018-10-25 2021-05-14 山东大学 一种由宏表情到微表情的迁移学习方法
CN109543603A (zh) * 2018-11-21 2019-03-29 山东大学 一种基于宏表情知识迁移的微表情识别方法
CN109657554A (zh) * 2018-11-21 2019-04-19 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN109543603B (zh) * 2018-11-21 2021-05-11 山东大学 一种基于宏表情知识迁移的微表情识别方法
CN110135497A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 模型训练的方法、面部动作单元强度估计的方法及装置
CN110135497B (zh) * 2019-05-16 2022-12-16 腾讯科技（深圳）有限公司 模型训练的方法、面部动作单元强度估计的方法及装置
CN111444859A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种无监督跨域人脸表情识别方法
CN111460981A (zh) * 2020-03-30 2020-07-28 山东大学 一种基于重构跨域视频生成对抗网络模型的微表情识别方法
CN111460981B (zh) * 2020-03-30 2022-04-01 山东大学 一种基于重构跨域视频生成对抗网络模型的微表情识别方法
CN115050081A (zh) * 2022-08-12 2022-09-13 平安银行股份有限公司 表情样本生成方法、表情识别方法、装置及终端设备

Also Published As

Publication number Publication date
CN108629314B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108629314A (zh) 一种基于主动迁移学习的微表情识别方法
Barz et al. Hierarchy-based image embeddings for semantic image retrieval
Gross et al. Hard mixtures of experts for large scale weakly supervised vision
Wang et al. M3: Multimodal memory modelling for video captioning
Deng et al. Multitask emotion recognition with incomplete labels
Parikh et al. Interactively building a discriminative vocabulary of nameable attributes
Kölsch et al. Real-time document image classification using deep CNN and extreme learning machines
Hussain et al. Prediction model on student performance based on internal assessment using deep learning
Nam et al. All-in text: Learning document, label, and word representations jointly
Dara et al. Clustering unlabeled data with SOMs improves classification of labeled real-world data
Serre et al. A neuromorphic approach to computer vision
CN112199520A (zh) 基于细粒度相似性矩阵的跨模态哈希检索算法
CN109933670A (zh) 一种基于组合矩阵计算语义距离的文本分类方法
Xing et al. Categorical relation-preserving contrastive knowledge distillation for medical image classification
CN102314614A (zh) 一种基于类共享多核学习的图像语义分类方法
CN104966105A (zh) 一种鲁棒机器错误检索方法与系统
CN105023006B (zh) 基于增强型非参数最大边缘准则的人脸识别方法
CN114332568A (zh) 域适应图像分类网络的训练方法、系统、设备及存储介质
CN112183652A (zh) 一种联邦机器学习环境下的边缘端偏见检测方法
Rosli et al. Development of CNN transfer learning for dyslexia handwriting recognition
Nguyen et al. Rough set approach to sunspot classification problem
Malaviya et al. Can Humans Do Less-Than-One-Shot Learning?
Liu et al. Learning from small data: A pairwise approach for ordinal regression
Zhao et al. Distance metric learning based on the class center and nearest neighbor relationship
Majumder Ensembles of Oblique Decision Trees

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant