CN107341432A - 一种微表情识别的方法和装置 - Google Patents

一种微表情识别的方法和装置 Download PDF

Info

Publication number
CN107341432A
CN107341432A CN201610288592.0A CN201610288592A CN107341432A CN 107341432 A CN107341432 A CN 107341432A CN 201610288592 A CN201610288592 A CN 201610288592A CN 107341432 A CN107341432 A CN 107341432A
Authority
CN
China
Prior art keywords
micro
expression
picture
gslsr
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610288592.0A
Other languages
English (en)
Inventor
陆平
杨帆
罗圣美
郑文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610288592.0A priority Critical patent/CN107341432A/zh
Priority to PCT/CN2017/082765 priority patent/WO2017190645A1/zh
Publication of CN107341432A publication Critical patent/CN107341432A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种微表情识别的方法和装置，包括：获取微表情测试集；对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP‑TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR模型的预测子；通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签，降低接收端的反馈量，节省发送端之间的信息交互。

Description

一种微表情识别的方法和装置
技术领域
本发明涉及微表情识别领域，具体涉及一种微表情识别的方法和装置。
背景技术
当人类试图抑制或隐藏真实的情感时，往往会泄露出非常短暂且不能自主控制的面部表情，这样的面部表情称为微表情(mirco-expression)，如附图1所示。在心理学层面针对微表情的研究已经有了几十年的历史，研究人员利用微表情在司法审讯，商业谈判，心理咨询等领域颇有建树。目前，微表情识别研究引起了计算机视觉和模式识别领域的广泛关注，微表情识别的现有方法与面部表情识别方法相似，是从人脸面部图像序列中提取能反应情绪类别的主要特征，并在此基础上进行微表情的分类和识别。由于微表情自身持续时间短暂和强度较低的特点，常用的表情识别方法用于识别微表情效果比较一般。
由于人脸表情是一个持续的过程，为了更好的体现这一持续过程，在识别的过程中加入时间特征是必要的。(Zhao and Pietikainen,2007)提出了两种时空局部模式：VLBP(Volume Local Binary Patterns，时空局部二值模式)和LBP-TOP(LBP from ThreeOrthogonal Planes，三个正交平面的局部二值模式)。由于当邻近点增加时，VLBP的模式数量会变得相当庞大。
发明内容
本发明提供一种干扰对齐的方法和装置，降低接收端的反馈量，节省发送端之间的信息交互。
为了实现上述发明目的，本发明采取的技术方案如下：
一种微表情识别的方法，包括：
获取微表情测试集；
对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP-TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR模型的预测子；
通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签。
可选地，所述的方法还包括：根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。
可选地，所述方法之前还包括：
获得序列标签向量和微表情图片序列特征向量之间的关系。
可选地，获得序列标签向量和微表情图片序列特征向量之间的关系包括：
获取微表情训练集；
对于所述训练集内的每一个微表情图片提取LBP-TOP特征向量，并用获得的所述特征向量作为GSLSR模型的预测子；
根据获得的所述每一个微表情图片的GSLSR模型的预测子，求解GSLSR的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。
可选地，提取LBP-TOP特征向量之前还包括：
将所述图片的大小进行归一化；
将所述归一化后的图片转化为灰度图片。
可选地，提取LBP-TOP特征向量之前还包括：
对所述图片进行分块，并为每块图片分配权值。
可选地，通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签包括：
求解描述所述微表情图片的所述GSLSR模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。
本发明还提供一种微表情识别的装置，包括：
获取模块，设置为获取微表情测试集；
预测模块，设置为对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP-TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR模型的预测子；
标签模块，设置为通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签。
可选地，所述的装置还包括：
识别模块，设置为根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。
可选地，所述的装置还包括：
对应模块，设置为获得序列标签向量和微表情图片序列特征向量之间的关系。
可选地，所述对应模块包括：
训练单元，设置为获取微表情训练集；
特征单元，设置为对于所述训练集内的每一个微表情图片提取LBP-TOP特征向量，并用获得的所述特征向量作为GSLSR模型的预测子；
关系单元，设置为根据获得的所述每一个微表情图片的GSLSR模型的预测子，求解GSLSR的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。
可选地，所述预测模块包括：
归一化单元，设置为将所述图片的大小进行归一化；
灰度单元，设置为将所述归一化后的图片转化为灰度图片。
可选地，所述预测模块还包括：
权值单元，设置为对所述图片进行分块，并为每块图片分配权值。
可选地，所述标签模块，设置为：
求解描述所述微表情图片的所述GSLSR模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。
本发明和现有技术相比，具有如下有益效果：
本发明，所以通过只连接三个正交平面(XY，XT，YT)的LBP，提出了简化的描述子LBP-TOP，其中XT和YT平面提供的是时空转换的信息，这样就减少了计算复杂度。
附图说明
图1为一个微表情视频序列的示意图，其中小框部分表示AU4(Action Unit，运动单元)的肌肉运动状况；
图2为本发明实施例的微表情识别的方法的流程图；
图3为本发明实施例的微表情识别的装置的结构示意图；
图4为本发明实施例的微表情识别方法的框架图；
图5为区域分割的示例图；
图6为LBP-TOP特征提取示例图，其中，图6(a)表示在每个平面提取LBP特征，图6(b)表示将其连接组成LBP-TOP特征；
图7为面部子区域权重分配的示例图。
具体实施方式
为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。
如图2所示，一种微表情识别的方法，包括：
获取微表情测试集；
对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP-TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR(Group SparseLeast Squares Regression)模型的预测子；
通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签。
所述的方法还包括：根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。
所述方法之前还包括：
获得序列标签向量和微表情图片序列特征向量之间的关系。
获得序列标签向量和微表情图片序列特征向量之间的关系包括：
获取微表情训练集；
对于所述训练集内的每一个微表情图片提取LBP-TOP特征向量，并用获得的所述特征向量作为GSLSR模型的预测子；
根据获得的所述每一个微表情图片的GSLSR模型的预测子，求解GSLSR的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。
提取LBP-TOP特征向量之前还包括：
将所述图片的大小进行归一化；
将所述归一化后的图片转化为灰度图片。
提取LBP-TOP特征向量之前还包括：
对所述图片进行分块，并为每块图片分配权值。
通过序列标签向量和微表情图片序列特征向量之间的关系，获得所述测试集内的每一个微表情图片的GSLSR模型对应的测试集内的每一个微表情图片的标签包括：
求解描述所述微表情图片的所述GSLSR模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。
如图3所示，本发明实施例提供一种微表情识别的装置，包括：
获取模块，设置为获取微表情测试集；
预测模块，设置为对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP-TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR模型的预测子；
标签模块，设置为通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签。
所述的装置还包括：
识别模块，设置为根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。
所述的装置还包括：
对应模块，设置为获得序列标签向量和微表情图片序列特征向量之间的关系。
所述对应模块包括：
训练单元，设置为获取微表情训练集；
特征单元，设置为对于所述训练集内的每一个微表情图片提取LBP-TOP特征向量，并用获得的所述特征向量作为GSLSR模型的预测子；
关系单元，设置为根据获得的所述每一个微表情图片的GSLSR模型的预测子，求解GSLSR的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。
所述预测模块包括：
归一化单元，设置为将所述图片的大小进行归一化；
灰度单元，设置为将所述归一化后的图片转化为灰度图片。
所述预测模块还包括：
权值单元，设置为对所述图片进行分块，并为每块图片分配权值。
所述标签模块，设置为：
求解描述所述微表情图片的所述GSLSR模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。
实施例1
如图4所示，本发明实施例说明利用回归模型和组稀疏时空特征识别微表情的步骤：
(1)预处理和特征提取:对训练集图片序列进行归一化大小和将其转化为灰度图片序列的处理之后，采用基于分块的LBP-TOP特征作为图片序列的特征,完成提取训练集图片序列的特征。
(2)GSLSR模型训练:GSLSR模型用于描述微表情图片序列标签向量和对应的微表情图片序列特征向量之间的关系,采用学习算法来求解GSLSR的回归系数矩阵。
(3)微表情识别:对于测试集遵循和训练集相同的过程，即提取LBP-TOP特征，并用得到的特征向量作为GSLSR模型的预测子，通过GSLSR模型计算出测试集的标签，完成测试集的识别。
其中，在提取训练集微表情图片和测试集为表情图片序列特征之前需要进行归一化大小的处理。由于每个图片序列中的图片大小不尽相同，将其统一为256×256的大小。
在提取基于分块的LBP-TOP特征的过程中，将面部图片分成1,4,16,64个共85个面部子区域，为了提高识别率，可以采用具有重叠块的划分方式。
在步骤(2)中利用组稀疏最小二乘回归(GSLSR)模型来描述分类标签向量和面部特征向量的关系。然后利用增广拉格朗日(ALM)算法来解决GSLSR的优化问题。
在测试过程中，假设yt是从测试图像序列中提取的LBP-TOP特征，xt是对应的表情标签向量，假设有五类表情，第一类的表情标签向量应表示为第二类的表情标签向量应表示为以此类推。xt的值可以通过求解下面的最小化问题来预测：
其中，是通过增广拉格朗日(ALM)算法得到的组稀疏最小二乘回归(GSLSR)模型的最优解。然后该测试图像序列微表情的种类可以表示为：
其中，xt(k)表示xt的第k个元素。
假设对于一个五类问题通过公式(6)预测的结果为可以看出第二项最大，则预测的表情类别为第二类。
实施例2
(1)预处理和特征提取：
首先对图片序列进行归一化大小和转换成灰度图像序列的处理，然后分别将面部图片分成1,4,16,64个面部子区域，为了提高识别率，采用了具有重叠块的划分方式，如图5所示，每个面部图片对应了85个面部区域。对于每个面部区域而言，采用X轴，Y轴半径为1，T轴半径为2到4，近邻点数量为8，统一模式下的LBP-TOP算子，即(其中RX＝RY＝1RT＝2,3,4)作为特征，如图6所示。对于训练集微表情数据库中的每个图片序列而言，每个面部区域对应了59×3维特征向量，所有的面部区域为59×3×85＝15045维特征向量。
(2)GSLSR模型训练：
步骤(1)完成了基于区域的微表情特征提取，不同的面部区域对于微表情识别的贡献各不相同，因此对每个面部区域设置一个权值使得其对微表情识别的不同贡献可以通过权值表现出来，如图7所示。如果某个面部区域所提取的特征对微表情识别的贡献较少，则相应的加权参数会被设置为0，其结果是该区域对应的面部特征就会对微表情识别没有任何影响。
假设有M个图像序列，令X＝[x1,Λ,xM]为对应于这M个图像序列的类别标签矩阵，其中第p个面部图像序列的标签向量表示为c为微表情类别的数量。如果第p个图像序列属于第j类，则设置为1，其他为0。令表示85个面部区域的LBP-TOP特征与权重相结合的级联特征，其中的取值表示对应区域对微表情识别是否有贡献，若为0则表示对应区域对微表情识别没有贡献，相反若为1则表示对应区域对微表情识别有贡献。那么X和Y的关系可用以下最小二乘回归(least squaresregression，LSR)来表示：
微表情特征向量和序列标签向量是用最小二乘回归(LSR)来表示的，最小二乘回归的公式添加面部区域选择参数构成组稀疏最小二乘回归GSLSR模型，使用训练集图片序列特征向量和序列标签向量是为了求出公式(1)最小情况下的LSR的回归系数矩阵U。
其中，U是LSR的回归系数矩阵，F表示Frobenius范数。
可以注意到，可以起到一个特征选择的作用，与传统特征选择不同的是，非0的意味着对应的面部区域对微表情识别是有贡献的，其对应的特征被选择出来用于微表情识别。这就等效于一个相对于的稀疏学习问题，因此，添加一个对应于权重参数的正则项到LSR的回归公式中，则公式(1)的LSR模型可以写作下式：
其中，λ＞0是一个正则化参数。
公式(2)即为本发明实施例所提出的组稀疏最小二乘回归模型，公式(2)的最小化问题可以使用交替方向法(alternated direction method，ADM)和增广拉格朗日乘子法(augment Largangrian multiplier，ALM)求解。
令则意味着另一方面，如果则要么是零矩阵，要么如果是零矩阵，那么特征矩阵Yi j在公式(2)的回归模型中对响应矩阵X没有贡献，这也就意味着，其所对应的面部子区域并不重要，因此可以将零值分配给因此，本发明实施例使用来代替并得到如下的正则回归优化问题：
为了得到的最优解，本发明实施例首先通过将公式(3)的优化问题转换为以下等效问题来增加需要求解的变量数量：
上述优化问题可以通过增广拉格朗日乘子法(augment Largangrianmultiplier，ALM)来解决，其目的是使下面的ALM方程的值尽可能取最小值：
其中，Ti j是拉格朗日乘子，μ＞0是一个正则化参数。
L的最小化问题可以通过固定其他变量，交替优化Pi j和然后更新拉格朗日乘子Ti j，直至收敛。
(3)微表情识别：
令通过步骤(2)求出的最优解。在测试过程中，假设yt是从测试图像序列中提取的LBP-TOP特征，xt是对应的表情标签向量，xt的值可以通过求解下面的最小化问题来预测：
然后该测试图像序列微表情的种类可以表示为：
其中，xt(k)表示xt的第k个元素，此时假设对于一个五类问题通过公式(6)预测的结果为可以看出第二项最大，则预测的表情类别为第二类。
表1给出在三个不同T轴半径下本发明实施例和LBP-TOP+SVM算法在微表情数据库识别率的比较情况；
表1
图2给出本发明实施例和其他算法在微表情数据库最高识别率的比较情况；
表2
表3给出本发明实施例和其他算法在微表情数据库最高识别率的比较情况；
表3
虽然本发明所揭示的实施方式如上，但其内容只是为了便于理解本发明的技术方案而采用的实施方式，并非用于限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的核心技术方案的前提下，可以在实施的形式和细节上做任何修改与变化，但本发明所限定的保护范围，仍须以所附的权利要求书限定的范围为准。

Claims (14)

1.一种微表情识别的方法，其特征在于，包括：
获取微表情测试集；
对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP-TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR模型的预测子；
通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签。
2.如权利要求1所述的方法，其特征在于：还包括：根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。
3.如权利要求1所述的方法，其特征在于：所述方法之前还包括：
获得序列标签向量和微表情图片序列特征向量之间的关系。
4.如权利要求3所述的方法，其特征在于，获得序列标签向量和微表情图片序列特征向量之间的关系包括：
获取微表情训练集；
对于所述训练集内的每一个微表情图片提取LBP-TOP特征向量，并用获得的所述特征向量作为GSLSR模型的预测子；
根据获得的所述每一个微表情图片的GSLSR模型的预测子，求解GSLSR的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。
5.如权利要求1或4所述的方法，其特征在于，提取LBP-TOP特征向量之前还包括：
将所述图片的大小进行归一化；
将所述归一化后的图片转化为灰度图片。
6.如权利要求1或4所述的方法，其特征在于，提取LBP-TOP特征向量之前还包括：
对所述图片进行分块，并为每块图片分配权值。
7.如权利要求1所述的方法，其特征在于，通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签包括：
求解描述所述微表情图片的所述GSLSR模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。
8.一种微表情识别的装置，其特征在于：包括：
获取模块，设置为获取微表情测试集；
预测模块，设置为对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式LBP-TOP特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归GSLSR模型的预测子；
标签模块，设置为通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述GSLSR模型的预测子，获得所述微表情图片的GSLSR模型对应的测试集内的标签。
9.如权利要求8所述的装置，其特征在于：还包括：
识别模块，设置为根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。
10.如权利要求8所述的装置，其特征在于：还包括：
对应模块，设置为获得序列标签向量和微表情图片序列特征向量之间的关系。
11.如权利要求10所述的装置，其特征在于，所述对应模块包括：
训练单元，设置为获取微表情训练集；
特征单元，设置为对于所述训练集内的每一个微表情图片提取LBP-TOP特征向量，并用获得的所述特征向量作为GSLSR模型的预测子；
关系单元，设置为根据获得的所述每一个微表情图片的GSLSR模型的预测子，求解GSLSR的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。
12.如权利要求8或11所述的装置，其特征在于，所述预测模块包括：
归一化单元，设置为将所述图片的大小进行归一化；
灰度单元，设置为将所述归一化后的图片转化为灰度图片。
13.如权利要求8或11所述的装置，其特征在于，所述预测模块还包括：
权值单元，设置为对所述图片进行分块，并为每块图片分配权值。
14.如权利要求8所述的装置，其特征在于，所述标签模块，设置为：
求解描述所述微表情图片的所述GSLSR模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。
CN201610288592.0A 2016-05-03 2016-05-03 一种微表情识别的方法和装置 Pending CN107341432A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610288592.0A CN107341432A (zh) 2016-05-03 2016-05-03 一种微表情识别的方法和装置
PCT/CN2017/082765 WO2017190645A1 (zh) 2016-05-03 2017-05-02 一种微表情识别的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610288592.0A CN107341432A (zh) 2016-05-03 2016-05-03 一种微表情识别的方法和装置

Publications (1)

Publication Number Publication Date
CN107341432A true CN107341432A (zh) 2017-11-10

Family

ID=60202796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610288592.0A Pending CN107341432A (zh) 2016-05-03 2016-05-03 一种微表情识别的方法和装置

Country Status (2)

Country Link
CN (1) CN107341432A (zh)
WO (1) WO2017190645A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647628A (zh) * 2018-05-07 2018-10-12 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN109376598A (zh) * 2018-09-17 2019-02-22 平安科技（深圳）有限公司 面部表情图片处理方法、装置、计算机设备和存储介质
CN109800771A (zh) * 2019-01-30 2019-05-24 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置
CN110287805A (zh) * 2019-05-31 2019-09-27 东南大学 基于三流卷积神经网络的微表情识别方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629314B (zh) * 2018-05-07 2021-08-10 山东大学 一种基于主动迁移学习的微表情识别方法
CN109409287B (zh) * 2018-10-25 2021-05-14 山东大学 一种由宏表情到微表情的迁移学习方法
CN109829359A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 无人商店的监控方法、装置、计算机设备及存储介质
CN111507213A (zh) * 2020-04-03 2020-08-07 北京三快在线科技有限公司 图像识别方法、装置、存储介质及电子设备
CN113095270B (zh) * 2021-04-23 2022-07-12 山东大学 一种非监督跨库的微表情识别方法
CN114743235A (zh) * 2022-03-01 2022-07-12 东南大学 基于稀疏化自注意力机制的微表情识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117703A (zh) * 2015-08-24 2015-12-02 复旦大学 基于矩阵乘法的快速动作单元识别方法
CN105205452A (zh) * 2015-08-26 2015-12-30 南京信息工程大学 基于彩色局部特征的彩色图像表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298981A (zh) * 2014-11-05 2015-01-21 河北工业大学 人脸微表情的识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117703A (zh) * 2015-08-24 2015-12-02 复旦大学 基于矩阵乘法的快速动作单元识别方法
CN105205452A (zh) * 2015-08-26 2015-12-30 南京信息工程大学 基于彩色局部特征的彩色图像表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENMING ZHENG 等: "COLOR FACIAL EXPRESSION RECOGNITION BASED ON COLOR LOCAL FEATURES", 《2015 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICSM,SPEECH AND SIGNAL PROCESSING(ICASSP)》 *
XIAOHUA HUANG 等: "Facial Micro-Expression Recognition using Spatiotemporal Local Binary Pattern with Integral Projection", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP》 *
YANJUN GUO 等: "Micro-expression recognition based on local binary patterns from three orthogonal planes and nearest neighbor method", 《2014 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647628A (zh) * 2018-05-07 2018-10-12 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN108647628B (zh) * 2018-05-07 2021-10-26 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN109376598A (zh) * 2018-09-17 2019-02-22 平安科技（深圳）有限公司 面部表情图片处理方法、装置、计算机设备和存储介质
CN109800771A (zh) * 2019-01-30 2019-05-24 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109800771B (zh) * 2019-01-30 2021-03-05 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置
CN110287805A (zh) * 2019-05-31 2019-09-27 东南大学 基于三流卷积神经网络的微表情识别方法及系统
CN110287805B (zh) * 2019-05-31 2021-02-09 东南大学 基于三流卷积神经网络的微表情识别方法及系统

Also Published As

Publication number Publication date
WO2017190645A1 (zh) 2017-11-09

Similar Documents

Publication Publication Date Title
CN107341432A (zh) 一种微表情识别的方法和装置
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
Lee et al. Deeply-supervised nets
CN106778682B (zh) 一种卷积神经网络模型的训练方法及其设备
CN108596039A (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN107766850A (zh) 基于结合人脸属性信息的人脸识别方法
Miao et al. A central difference graph convolutional operator for skeleton-based action recognition
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN107871100A (zh) 人脸模型的训练方法和装置、人脸认证方法和装置
CN107423727B (zh) 基于神经网络的人脸复杂表情识别方法
CN104182772A (zh) 一种基于深度学习的手势识别方法
CN105046272B (zh) 一种基于简洁非监督式卷积网络的图像分类方法
CN106709528A (zh) 基于多目标函数深度学习的车辆重识别方法及装置
CN106529378B (zh) 一种亚裔人脸的年龄特征模型生成方法及年龄估计方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
CN109508686B (zh) 一种基于层次化特征子空间学习的人体行为识别方法
CN107844780A (zh) 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置
CN106611156B (zh) 一种自适应深度空间特征的行人识别方法和系统
CN107301382A (zh) 基于时间依赖约束下深度非负矩阵分解的行为识别方法
CN105893941B (zh) 一种基于区域图像的人脸表情识别方法
CN106529490B (zh) 基于稀疏自编码码本实现笔迹鉴别的系统及方法
Singh et al. A sparse coded composite descriptor for human activity recognition
Gai et al. Spectrum sensing method based on residual cellular network
CN104112147B (zh) 一种基于最近特征线的人脸特征提取方法
Sang et al. Image recognition based on multiscale pooling deep convolution neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171110