CN111814609A - 一种基于ecoc和深度学习的微表情识别方法 - Google Patents

一种基于ecoc和深度学习的微表情识别方法 Download PDF

Info

Publication number
CN111814609A
CN111814609A CN202010589037.8A CN202010589037A CN111814609A CN 111814609 A CN111814609 A CN 111814609A CN 202010589037 A CN202010589037 A CN 202010589037A CN 111814609 A CN111814609 A CN 111814609A
Authority
CN
China
Prior art keywords
complexity
micro
expression
data
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010589037.8A
Other languages
English (en)
Other versions
CN111814609B (zh
Inventor
刘昆宏
孙蒙新
吴清强
洪清启
陈俐燕
苏劲松
姚俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010589037.8A priority Critical patent/CN111814609B/zh
Publication of CN111814609A publication Critical patent/CN111814609A/zh
Application granted granted Critical
Publication of CN111814609B publication Critical patent/CN111814609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于ECOC和深度学习的微表情识别方法，所述方法包括：步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征；步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据；步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。本发明实现了更高的准确率，相比其他微表情识别算法,集成算法表现出更好的鲁棒性。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别方法。

Description

一种基于ECOC和深度学习的微表情识别方法
技术领域
本发明属于计算机领域，具体地，涉及一种基于ECOC和深度学习的微表情识别方法。
背景技术
在日常生活中，人们利用丰富多样的方式进行沟通、交流和表达自我。面部情绪、身体动作、语言和文字等方式共同构成了人类的基本交流系统。据实验统计，人的面部表情通常包含丰富多样的情绪信息，期间传递的信息量约占所有信息量的55％，声音传递的信息量相对少一些，约占38％。对比而言，语言和文字形式这两种方式在交流沟通中仅仅只能传递7％的信息量。表情是人类情绪的外在表现形式，是表达人类真情情感的重要窗口。
人脸的面部表情主要分为宏表情和微表情。通常人们在交流中直接看到的表情被称为宏表情。宏表情在表达方面拥有三个显著的特点：第一，它们的表现形式较为夸张，人脸区域运动较为强烈，非常容易被人们察觉；第二，它们的表达过程非常自由，没有受到主人理性的抑制和隐藏。第三，他们持续时间较长，通常为0.5s～4s之间，容易被仪器记录下来，因而可以用于研究的实验数据更多。据研究表明，宏表情的识别正确率均已经超过90％。在某些特定环境中，人们试图抑制内心的真情实感,甚至做出一些与之完全相反的表情，但是由于人类机体自身的特点，这种偶尔不经意间流露出来的细微表情被科学家称为微表情。微表情不受人们主观意识的控制，是一种非主观意识的面部表情。通常来说，微表情具有两个特点：(1)持续时间短暂，一般持续时长仅为1/25到1/2秒。(2)面部肌肉运动强度低，微表情仅使用面部部分区域肌肉而且肌肉变化程度较小。
微表情是一种维持时间短、表情变化范围较小、不易被人捕捉觉察到的面部表情，因而人工识别微表情难度较大，并且可靠性也不能得到保证，因此如何精确识别微表情是亟待解决的问题。传统微表情识别算法主要利用不同的特征提取器提取微表情特征，之后将提取到的特征输入到分类器，利用分类器学习训练样本。传统算法提取的特征往往会被现实世界中的不良光照、多重头部姿态变化以及面部阻挡等问题困扰。目前的微表情识别存在样本数量少和识别难度大的问题。
发明内容
本发明提供了一种基于ECOC和深度学习的微表情识别方法，能实现了更高的准确率，相比其他微表情识别算法,集成算法表现出更好的鲁棒性。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别方法
为了解决上述问题，本发明提供一种基于ECOC和深度学习的微表情识别方法，所述方法包括：
步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R3，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；
步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；
步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；
步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。
第二方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本申请实施例描述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如本申请实施例描述的方法。
附图说明
图1是本发明基于ECOC和深度学习的微表情识别流程图。
具体实施方式
为了能够使得本发明的发明目的、技术流程及技术创新点进行更加清晰的阐述，以下结合附图及实例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为达到以上目的，本发明提供了一种基于ECOC和深度学习的微表情识别方法。主流程如图1所示，该方法包括：
步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R3，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；
步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；
本申请改进的基于多重数据复杂度的ECOC方法使用多重数据复杂度测度作为判断标准生成编码矩阵，在编码过程中降低类别不均衡问题和数据稀疏性带来的负效应，同时扩大编码矩阵的规模，进一步提升算法对微表情数据集的识别性能。使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，改善数据复杂度评估的片面性。针对数据复杂度的特性，使用贪心搜索策略寻找最优的类别划分方式。算法利用数据复杂度形成特征选择阈值，淘汰对分类无用的特征，提升算法表现，缩短训练时间。
步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；
传统的CNN网络训练需要大量图像数据，如果图像数量过少容易引起过拟合现象，分类能力较差。针对小量的微表情数据，本申请基于深度森林和卷积神经网络的集成方法(称作DeepFores&CNN算法)，在浅层神经网络的基础上，使用深度森林算法作为表示增强结构，加强对小类别数据的识别，提高分类准确率。
步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。
优选的，基于多重数据复杂度的ECOC方法进行数据复杂度划分的过程包括：将多个类别随机分为正负两个组合，使用滑动窗口评估当前两组类别的图片复杂度，之后，使用贪心优化策略，以降低两个组的总体图片数据复杂性为目标，不断尝试交换正负两个组中复杂度最高的两个类的数据来降低两组之间的数据复杂性，直到图片复杂度无法降低后停止交换过程，形成最终的正负类，根据正负类组合形成新的ECOC编码，之后分别判断正负类组合中类的数量，如果正/负组合中类的数量超过1个，将对应的组合重新进行此过程，如果正/负类组合中只有一个类别，那么基于当前数据复杂度的划分过程结束。
优选的，对微表情进行分类的过程具体包括：
Step1，随机分为CP和CN两类,RP和RN表示群CP和CN中的类别数；
Step2，dc＝DC(CP，CN)表示计算CP和CN之间的复杂性指标；使用三个数据复杂度测度来分别评估复杂度，数据复杂度用Fh(h∈{1,…,3})表示，F1和F3测度数值越大，表示数据耦合性越低；F2数值越小，对应的数据耦合性越低，所以F1和F3数据复杂度的最大值和F2数据复杂度的最小值分别是算法的优化目标；
Step3，使用一对一的方式评估CP/CN中类ci的复杂度ZPi/ZNi，即ZPi/ZNi是根据CP/CN中和ci组成的所有类别对复杂度总和来计算的；
Step4，分别找到CP/CN中最复杂类进行交换；
Step5，交换之后生成新的正类簇C′P和负类簇C′N；
Step6，重新计算数据复杂度DC’；
Step7，计算DC和DC’间的相关性；
Step8，通过数据复杂度数值大小和相关性系数判断新正类簇C′P和负类簇C′N组合是否比原来组合CP/CN更优，如果相关性系数小于给定阈值Th，并且图像中至少一半的复杂度数值大于原来的dc值，那么新的C′P和C′N被认为和原先的组合CP/CN不相关，并且新组合C′PandC′N的复杂程度也更小，那么新组合就被接受，否则重复执行步骤Step2-Step8，如果新的C′P和C′N不是最优，那么可以认为算法已经达到当前局部最优状态，那么算法的类别分类过程就到此结束，步骤Step2-Step8主要针对F1和F3测度进行优化，对于F2测度，需要经Step4的取最大操作更换成为取最小操作，同时将Step8的DC比较操作变成小于操作，剩余步骤完全相同；
Step9，根据当前局部最优的类别组合计算类别复杂度阈值，用以计算在当前组合下最优的特征区域；
Step10，计算完成之后,得到当前类别的最佳类分配组合CP和CN以及最优特征区域Region；使用CP/CN的样本和最优特征区域训练分类器，检查每个组中的类数，当一个组中有多个类时，应用算法对该组类别进行分组并增加训练一个分类器，相反地，当每个组仅包含一个类别时，该算法将停止迭代整个过程。
优选的，对微表情进行分类还包括：
对于卷积神经网络部分，输入28*28的光流特征图像和顶点帧图像，两种图像通过卷积池化操作，将每一个图像块处理成48*10*10大小的特征图，对于深度森林部分，输入28*28的光流特征图像，深度森林中每一层采用完全随机森林和随机森林进行训练，使用滑动窗口将2352维特征化成432维类向量，之后经过池化窗口提取最大特征得到108维向量，综合不同滑动窗口的结果得到582维特征，将经过深度森林转化后的特征经过一层卷积神经网络与之前的浅层卷积神经网络融合送入全连接层，全连接层提供了进一步的抽象特征，进而得到最终分类结果。
通过与前沿的微表情识别模型的对比，本申请的方法不仅在整体数据集实现最高的分类准确率，在单独的数据集上也得到良好的效果。同时这也证明空间特征和特征转换对微表情识别是十分必要的，也进一步说明集成学习方式在微表情识别应用上具有一定的发展潜力。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别算法。
作为另一方面，本申请还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如描述于本申请实施例描述的方法。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请实施例描述的方法。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于ECOC和深度学习的微表情识别方法，所述方法包括：
步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R3，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；
步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；
步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；
步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。
2.根据权利要求1所述的方法，其特征在于，基于多重数据复杂度的ECOC方法进行数据复杂度划分的过程包括：将多个类别随机分为正负两个组合，使用滑动窗口评估当前两组类别的图片复杂度，之后，使用贪心优化策略，以降低两个组的总体图片数据复杂性为目标，不断尝试交换正负两个组中复杂度最高的两个类的数据来降低两组之间的数据复杂性，直到图片复杂度无法降低后停止交换过程，形成最终的正负类，根据正负类组合形成新的ECOC编码，之后分别判断正负类组合中类的数量，如果正/负组合中类的数量超过1个，将对应的组合重新进行此过程，如果正/负类组合中只有一个类别，那么基于当前数据复杂度的划分过程结束。
3.根据权利要求1所述的方法，其特征在于，对微表情进行分类的过程具体包括：
Step1，随机分为CP和CN两类,RP和RN表示群CP和CN中的类别数；
Step2，dc＝DC(CP，CN)表示计算CP和CN之间的复杂性指标；使用三个数据复杂度测度来分别评估复杂度，数据复杂度用Fh(h∈{1,…,3})表示，F1和F3数值越大，表示数据耦合性越低；F2数值越小，对应的数据耦合性越低，所以F1和F3数据复杂度的最大值和F2数据复杂度的最小值分别是算法的优化目标；
Step3，使用一对一的方式评估CP/CN中类ci的复杂度ZPi/ZNi，即ZPi/ZNi是根据CP/CN中和ci组成的所有类别对复杂度总和来计算的；
Step4，分别找到CP/CN中最复杂类进行交换；
Step5，交换之后生成新的正类簇C′P和负类簇C′N；
Step6，重新计算数据复杂度DC’；
Step7，计算DC和DC’间的相关性；
Step8，通过数据复杂度数值大小和相关性系数判断新正类簇C′P和负类簇C′N组合是否比原来组合CP/CN更优，如果相关性系数小于给定阈值Th，并且图像中至少一半的复杂度数值大于原来的dc值，那么新的C′P和C′N被认为和原先的组合CP/CN不相关，并且新组合C′Pand C′N的复杂程度也更小，那么新组合就被接受，否则重复执行步骤Step2-Step8，如果新的C′P和C′N不是最优，那么可以认为算法已经达到当前局部最优状态，那么算法的类别分类过程就到此结束，步骤Step2-Step8主要针对F1和F3测度进行优化，对于F2测度，需要经Step4的取最大操作更换成为取最小操作，同时将Step8的DC比较操作变成小于操作，剩余步骤完全相同；
Step9，根据当前局部最优的类别组合计算类别复杂度阈值，用以计算在当前组合下最优的特征区域；
Step10，计算完成之后,得到当前类别的最佳类分配组合CP和CN以及最优特征区域Region；使用CP/CN的样本和最优特征区域训练分类器，检查每个组中的类数，当一个组中有多个类时，应用算法对该组类别进行分组并增加训练一个分类器，相反地，当每个组仅包含一个类别时，该算法将停止迭代整个过程。
4.根据权利要求1所述的方法，其特征在于，对微表情进行分类还包括：
对于卷积神经网络部分，输入28*28的光流特征图像和顶点帧图像，两种图像通过卷积池化操作，将每一个图像块处理成48*10*10大小的特征图，对于深度森林部分，输入28*28的光流特征图像，深度森林中每一层采用完全随机森林和随机森林进行训练，使用滑动窗口将2352维特征化成432维类向量，之后经过池化窗口提取最大特征得到108维向量，综合不同滑动窗口的结果得到582维特征，将经过深度森林转化后的特征经过一层卷积神经网络与之前的浅层卷积神经网络融合送入全连接层，全连接层提供了进一步的抽象特征，进而得到最终分类结果。
5.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的方法。
CN202010589037.8A 2020-06-24 2020-06-24 一种基于深度森林和卷积神经网络的微表情识别方法 Active CN111814609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589037.8A CN111814609B (zh) 2020-06-24 2020-06-24 一种基于深度森林和卷积神经网络的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589037.8A CN111814609B (zh) 2020-06-24 2020-06-24 一种基于深度森林和卷积神经网络的微表情识别方法

Publications (2)

Publication Number Publication Date
CN111814609A true CN111814609A (zh) 2020-10-23
CN111814609B CN111814609B (zh) 2023-09-29

Family

ID=72855016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589037.8A Active CN111814609B (zh) 2020-06-24 2020-06-24 一种基于深度森林和卷积神经网络的微表情识别方法

Country Status (1)

Country Link
CN (1) CN111814609B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708627A (zh) * 2022-02-28 2022-07-05 厦门大学 一种应用于社交机器人的微表情识别方法
CN114882553A (zh) * 2022-04-21 2022-08-09 厦门大学 一种基于深度学习的微表情识别方法及系统
CN114973362A (zh) * 2022-05-20 2022-08-30 厦门大学 一种应用于社交机器人的动态延长编码微表情识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150058004A1 (en) * 2013-08-23 2015-02-26 At & T Intellectual Property I, L.P. Augmented multi-tier classifier for multi-modal voice activity detection
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108877801A (zh) * 2018-06-14 2018-11-23 南京云思创智信息科技有限公司 基于多模态情绪识别系统的多轮对话语义理解子系统
CN110175578A (zh) * 2019-05-29 2019-08-27 厦门大学 应用于刑侦的基于深度森林的微表情识别方法
CN110598516A (zh) * 2019-06-19 2019-12-20 华南农业大学 基于随机森林的多方位分层采集组合稻田杂草识别方法
CN110852271A (zh) * 2019-11-12 2020-02-28 哈尔滨工程大学 一种基于峰值帧和深度森林的微表情识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150058004A1 (en) * 2013-08-23 2015-02-26 At & T Intellectual Property I, L.P. Augmented multi-tier classifier for multi-modal voice activity detection
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108877801A (zh) * 2018-06-14 2018-11-23 南京云思创智信息科技有限公司 基于多模态情绪识别系统的多轮对话语义理解子系统
CN110175578A (zh) * 2019-05-29 2019-08-27 厦门大学 应用于刑侦的基于深度森林的微表情识别方法
CN110598516A (zh) * 2019-06-19 2019-12-20 华南农业大学 基于随机森林的多方位分层采集组合稻田杂草识别方法
CN110852271A (zh) * 2019-11-12 2020-02-28 哈尔滨工程大学 一种基于峰值帧和深度森林的微表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MADHUMITA A.TAKALKAR等: ""Manifold feature integration for micro-expression recognition"", 《MULTIMEDIA SYSTEMS》, pages 535 - 551 *
SZE-TENG LIONG等: ""Shallow triple stream three-dimensional cnn (ststnet) for micro-expression recognition"", 《2019 14TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION》, pages 1 - 5 *
金雨鑫等: ""基于深度森林的脑电情绪识别研究"", 《软件导刊》, pages 53 - 55 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708627A (zh) * 2022-02-28 2022-07-05 厦门大学 一种应用于社交机器人的微表情识别方法
CN114882553A (zh) * 2022-04-21 2022-08-09 厦门大学 一种基于深度学习的微表情识别方法及系统
CN114973362A (zh) * 2022-05-20 2022-08-30 厦门大学 一种应用于社交机器人的动态延长编码微表情识别方法

Also Published As

Publication number Publication date
CN111814609B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111814609A (zh) 一种基于ecoc和深度学习的微表情识别方法
CN107633513B (zh) 基于深度学习的3d图像质量的度量方法
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
CN110458038B (zh) 基于双链深度双流网络的小数据跨域动作识别方法
Do et al. Deep neural network-based fusion model for emotion recognition using visual data
US20120288166A1 (en) Association and prediction in facial recognition
US10986400B2 (en) Compact video representation for video event retrieval and recognition
CN110765873A (zh) 一种基于表情强度标签分布的面部表情识别方法与装置
Spivak et al. Approach to Recognizing of Visualized Human Emotions for Marketing Decision Making Systems.
Silva et al. Real-time emotions recognition system
Kalayci et al. Automatic analysis of facial attractiveness from video
Tripathi et al. Efficient facial expression recognition system based on geometric features using neural network
CN107967944A (zh) 一种基于Hadoop的户外环境大数据人体健康监测方法与平台
Li et al. Deep learning and improved HMM training algorithm and its analysis in facial expression recognition of sports athletes
CN111160119A (zh) 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法
CN107967455A (zh) 一种智能人体多维自然特征大数据透明学习方法与系统
Wharton et al. A vision-based transfer learning approach for recognizing behavioral symptoms in people with dementia
Chacon-Murguia et al. Evaluation of the background modeling method auto-adaptive parallel neural network architecture in the sbmnet dataset
Liu et al. A Multi-Feature Motion Posture Recognition Model Based on Genetic Algorithm.
Li et al. Recognition algorithm of athletes' partially occluded face based on a deep learning algorithm
Yuan et al. A novel violation detection method of live video using fuzzy support vector machine
ZHANG et al. Emotion Discrimination of Amusement Based on Three-Dimensional Data of Body Movements
Hou et al. Image Aesthetics Evaluation Algorithm based on Visual Attention Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant