CN107808113B - 一种基于差分深度特征的人脸表情识别方法及系统 - Google Patents

一种基于差分深度特征的人脸表情识别方法及系统 Download PDF

Info

Publication number
CN107808113B
CN107808113B CN201710822364.1A CN201710822364A CN107808113B CN 107808113 B CN107808113 B CN 107808113B CN 201710822364 A CN201710822364 A CN 201710822364A CN 107808113 B CN107808113 B CN 107808113B
Authority
CN
China
Prior art keywords
expression
frame
face
sequence
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710822364.1A
Other languages
English (en)
Other versions
CN107808113A (zh
Inventor
陈靓影
徐如意
徐灿
刘乐元
张坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN201710822364.1A priority Critical patent/CN107808113B/zh
Publication of CN107808113A publication Critical patent/CN107808113A/zh
Application granted granted Critical
Publication of CN107808113B publication Critical patent/CN107808113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于差分深度特征的人脸表情识别方法及系统，属于模式识别技术领域。该方法为：从样本人脸区域帧序列中提取人脸深度特征，依据人脸深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧；将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；将样本图像帧序列的差分深度特征和对应的表情作为训练输入，训练得到表情分类器，利用表情分类器实现表情分类。本发明将差分概念引入深度特征，提出了差分深度特征表示人脸表情，能在最大化保留人脸表情信息的同时，消除个体差异以及环境噪声，所用特征对表情的区分能力强，能够提高表情识别的鲁棒性。

Description

一种基于差分深度特征的人脸表情识别方法及系统
技术领域
本发明属于图像处理和模式识别技术领域，具体涉及一种基于差分深度特征的人脸表情识别方法。
背景技术
人脸表情识别是一个涉及模式识别、图像处理、人工智能等多学科的综合性课题。所谓人脸表情识别，是指让计算机对给定的表情图像进行特征提取，并结合人类已有的先验知识，展开学习、推理、判断，进而理解人类情绪的过程。人脸表情识别在许多领域均有应用价值，包括机器人、人机交互、智能交通、智慧教育、动画制作等，是当前的研究热点。
深度学习是机器学习研究中的一个新领域，源自人工神经网络，其动机在于建立起模拟人脑进行学习分析的神经网络，它模仿人脑机制来解释图像、声音、文本等数据。深度学习通过组合低层特征形成更加抽象的高层特征或属性特征，以学习更有用的特征，从而提高分类或预测的准确性。卷积神经网络(CNN)是深度学习框架的一种。CNN以其局部权值共享的特殊结构在图像处理方面有着独特的优越性。
人脸表情可以划分为六类基本表情，分别为：生气、厌恶、恐惧、高兴、悲伤和惊讶。人脸表情识别主要由以下三个步骤组成：人脸检测、表情特征提取、表情分类。目前在该领域已开展了诸多研究，但依旧存在表情识别鲁棒性低，精度低，易受噪声干扰等问题。
发明内容
针对现有技术存在的问题和改进需求，本发明提供了一种基于差分深度特征的人脸表情识别方法及系统，利用差分深度特征进行表情分类，能有效抑制个体差异、光照条件等引起的干扰，提高识别率。
一种基于差分深度特征的人脸表情识别方法，包括离线训练部分和在线识别部分；
所述离线训练部分包括以下步骤：
(S1)从样本图像帧序列中提取样本人脸区域帧序列；
(S2)从样本人脸区域帧序列中提取人脸深度特征；
(S3)依据人脸深度深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧；
(S4)将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；
(S5)将样本图像帧序列的差分深度特征和样本图像帧序列对应的表情作为训练输入，训练得到表情分类器；
所述在线识别部分包括以下步骤：
(T1)从待识别图像序列中提取待识别人脸区域序列；
(T2)从待识别人脸区域序列中提取待识别人脸深度特征；
(T3)依据待识别人脸深度特征从人脸区域序列中提取中性表情帧和峰值表情帧；
(T4)将待识别样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为识别用的差分深度特征；
(T5)将识别用的差分深度特征输入表情分类器，表情分类器输出表情类型。
一种基于差分深度特征的人脸表情识别系统，包括离线训练部分和在线识别部分；
所述离线训练部分包括以下模块：
训练第一模块，用于从样本图像帧序列中提取样本人脸区域帧序列；
训练第二模块，用于从样本人脸区域帧序列中提取人脸深度特征；
训练第三模块，用于依据人脸深度深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧；
训练第四模块，用于将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；
训练第五模块，用于将样本图像帧序列的差分深度特征和样本图像帧序列对应的表情作为训练输入，训练得到表情分类器；
所述在线识别部分包括以下模块骤：
识别第一模块，用于从待识别图像序列中提取待识别人脸区域序列；
识别第二模块，用于从待识别人脸区域序列中提取待识别人脸深度特征；
识别第三模块，用于依据待识别人脸深度特征从人脸区域序列中提取中性表情帧和峰值表情帧；
识别第四模块，用于将待识别样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为识别用的差分深度特征；
识别第五模块，用于将识别用的差分深度特征输入表情分类器，表情分类器输出表情类型。
与现有技术相比，本发明的优点和效果在于：
1.本发明将差分概念引入深度特征，提出了差分深度特征表示人脸表情，能在最大化保留人脸表情信息的同时，消除个体差异以及环境噪声，所用特征对表情的区分能力强，能够提高表情识别的鲁棒性；
2.本发明使用无监督学习算法自动提取关键帧，并提出半监督学习算法自动对关键帧排序，而无需花费大量精力进行人工标定，大大提高了整个过程的自动化，同时有利于解决目前基于深度学习的表情识别样本不足的问题。
附图说明
图1为本发明人脸表情识别方法实现流程图；
图2为本发明VGG-Face模型网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
附图1为本发明人脸表情识别方法实现流程图。本发明基于差分深度特征的人脸表情识别方法，包括离线训练部分和在线识别部分。
所述离线训练部分包括以下步骤：
(S1)从样本图像帧序列中提取样本人脸区域序列。
使用现有人脸检测技术提取每张表情图像的人脸区域；对提取的人脸图像进行仿射变换，实现图像尺度归一化和人脸对齐。变换后，所有图像的尺寸保持一致，所有图像中眼睛的眼睛中心坐标保持一致。
仿射变换将原坐标(x,y)变换为新坐标(x',y')，计算公式如下：
x′＝m11*x+m12*y+m13
y′＝m21*x+m22*y+m23
其中，(m11，m12，m13；m21，m22，m23)为仿射变换矩阵中的变换参数，通过上面公式可以计算出原图像经过变换后的新图像。
(S2)从样本人脸区域序列中提取人脸深度特征。
人脸深度特征是指从人脸的深度模型vgg-face中提取的特征，可采用模型的FC6，FC7和FC8中任意一种。
(S3)依据人脸情特征从样本人脸区域序列中提取关键帧对，关键帧对包含两帧，其中一帧为中性表情帧，另一帧为峰值表情帧。
本发明定义表情序列的关键帧为序列中有代表性的两帧，其中一帧代表中性表情，另一帧代表峰值表情。中性表情是指没有任何面部肌肉运动状态下的表情，峰值表情是指面部肌肉运动到极限状态下的表情。
按照一种较佳实施方式，所述步骤(S3)对两帧进行识别得到中性表情帧和峰值表情帧的具体实现方式为：
(S31)从所有样本图像帧序列中抽取部分，对抽取的部分样本图像帧序列的关键帧人工标记为中性表情关键帧和峰值表情关键帧；
(S32)对抽取的样本建立训练库，其中，用峰值表情关键帧的人脸深度特征P减去中性表情关键帧N的人脸深度特征作为正样本，用中性表情关键帧的人脸深度特征N减去峰值表情关键帧的人脸深度特征P作为负样本；
(S33)对训练库进行训练，得到关键帧识别模型；训练测试的时候如果识别结果为正说明是P-N，如果为负就是N-P，从而得到N和P的顺序；
(S34)对余下的样本图像帧序列的关键帧，使用关键帧识别模型进行识别得到中性表情帧和峰值表情帧。
所述步骤(S33)可采用S4VM、Co-Forest、Tri-training中的任意一种算法进行训练。
(S4)将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征。
(S5)将样本图像帧序列的差分深度特征和样本图像帧序列对应的表情作为训练输入，训练得到表情分类器。
所述在线识别部分包括以下步骤：
(T1)从待识别图像序列中提取待识别人脸区域序列。
(T2)从待识别人脸区域序列中提取待识别人脸深度特征。人脸深度特征与步骤(S2)提取的特征相同。
(T3)依据待识别人脸深度特征从人脸区域序列中提取中性表情帧和峰值表情帧。这里关键帧的识别可人工标注，也可使用离线训练得到的关键帧识别模型自动识别。
(T4)将待识别样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为识别用的差分深度特征。
(T5)将识别用的差分深度特征输入表情分类器，表情分类器输出表情类型。
实例：
样本表情库由宾汉姆顿大学创建，包含100个18-70岁的成年人，每人有6种原型表情：生气、厌恶、害怕、高兴、悲伤、惊讶，共计2500个面部表情模型，其中56％为女性，44％为男性。本发明从100个人中选择选取64个人，每人有6个表情序列，共计384个表情序列作为输入。具体实现步骤如下：
1.对人脸表情图像进行预处理
(1.1)使用Viola和Jones提出的类Haar特征和adaboost学习算法来检测每张表情图像的人脸区域；
(1.2)对步骤(1.1)提取的人脸图像进行仿射变换，实现图像尺度归一化和人脸对齐。变换后，所有图像的尺寸归一化至224×224，所有图像中眼睛的中心坐标保持一致，图中左眼坐标均为(63,63)，右眼坐标均为(161，63)；根据变换前后眼睛的坐标求取变换参数(m11，m12，m13；m21，m22，m23)。仿射变换将原坐标(x,y)变换为新坐标(x',y')，计算公式如下：
x′＝m11*x+m12*y+m13
y′＝m21*x+m22*y+m23
通过上面公式可以计算出原图像经过变换后的新图像。
2.对人脸表情图像提取深度特征
将步骤1经过预处理后的人脸图像送入VGG-Face深度模型，提取模型fc6层深度特征，特征维数为4096。VGG-Face模型来自牛津大学VGG小组的工作，由VGG-16深度卷积神经网络对百万数量级的人脸样本训练得到，网络结构参见附图2。
3.采用无监督学习算法提取表情序列中的关键帧
本发明定义表情序列的关键帧为序列中有代表性的两帧，其中一帧代表中性表情，另一帧代表峰值表情。本发明利使用K-Means算法基于步骤2提取的深度特征对表情序列二聚类，将分别距离两个聚类中心最近的两帧作为表情序列的关键帧。
K-Means算法的目标是使每个数据x到所属簇中心ci的距离的平方和最小，即求解如下最优化问题：
Figure BDA0001406612580000071
K-Means算法通过迭代的方法求解上述最优化问题：首先初始化K个簇中心，在每次迭代时将每个数据根据其与簇中心的距离重新赋给距离最近的簇，然后重新计算簇中心，直到所有的簇中心不再移动，迭代终止。使用K-Means提取表情序列关键帧的具体步骤如下：
(3.1)将每个表情序列中每一帧图像经步骤2提取的深度特征作为K-Means算法的输入；
(3.2)令K＝2，执行K-Means算法，得到两个簇中心；
(3.3)计算所有帧与步骤(3.2)得到簇中心的距离，分别距两个簇中心最近的图像作为关键帧输出，384个序列共输出384对关键帧。
4.提出半监督学习算法对提取的关键帧排序
半监督学习算法的设计初衷在于，当标记样本很少时，只使用标记样本得到的分类器精度不高，期望能通过探索未标记样本提高分类器的性能。但在某些情况下，现有的半监督学习算法都会出现性能下降的现象，甚至比只使用标记样本得到的效果更差；而安全的半监督支持向量机(S4VM)能有效解决这一问题；
S4VM的主要思想是，在给定许多不同的“间隔”较大的分界线时，通过对未标记样本的类别划分进行优化，使得在最坏的情况下，相对于只使用标记样本的支持向量机，性能提升达到最大化。算法公式如下：
Figure BDA0001406612580000081
s.t.yi(w′tφ(xi)+bt)≥1-ξi，ξi≥0
Figure BDA0001406612580000082
Figure BDA0001406612580000083
其中，C1和C2是两个正则化参数分别用于惩罚标记样本和非标记样本的经验损失，令C1＝100，C2＝0.1；T是分界线的数量，取值10；M是常数用来保证差异性，取值105。
本发明实例使用S4VM对步骤3提取的关键帧进行排序，仅仅用很少的人工标记得到可以区分关键帧的模型，具体步骤如下：
(4.1)从384个序列中选取40个序列，人工标记出每个序列的两帧关键帧，即中性表情关键帧和峰值表情关键帧；
(4.2)对步骤(4.1)标记出的40个序列的关键帧样本建立样本库，用峰值表情关键帧的深度特征减去中性表情关键帧的深度特征作为正样本，用中性表情关键帧的深度特征减去高潮表情关键帧的深度特征作为负样本；
(4.3)对步骤(4.2)建立的样本库，采用S4VM算法进行训练，得到关键帧识别模型；
(4.4)用步骤(4.3)训练的模型对剩余344个序列的关键帧样本进行排序，从而区分出关键帧中的中性表情帧和峰值表情帧。
5.提取差分深度特征
根据步骤4对关键帧的排序结果，区分出峰值表情帧和中性表情帧，用峰值表情帧的深度特征减去中性表情帧的深度特征作为差分深度特征。
6.用SVM训练六类基本表情分类器
支持向量机(SVM)是Vapnik等人提出的一种被广泛使用的机器学习模型。SVM基于结构风险最小化理论在特征空间中构建最优超平面，使得决策边界的边缘最大化，其强泛化能力，对小样本也非常有效。
为了能够分类6类基本表情，可以通过一对一或者一对多策略训练多个SVM实现对分类。
为了确保分类器的最佳分类性能，可以利用交叉验证和网格搜索来优化SVM的参数c和g(c为惩罚因子，g为核函数带宽)。具体步骤：将样本集分为五份，不重复的每次取一份做测试集，其余四份做训练集；利用网格搜寻法尝试各种可能的(c,g)值，进行交叉验证，找到使交叉验证精度最高的最优值：c＝4，g＝2。
应用上述步骤得到的分类器进行在线图像识别，在3D库上的识别率为78.4％以上，优于现有利用深度模型识别的结果，表明本发明有效的抑制种族、性别、年龄等人体差异对表情识别造成的干扰。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于差分深度特征的人脸表情识别方法，其特征在于，包括离线训练部分和在线识别部分，其特征在于：
所述离线训练部分包括以下步骤：
(S1)从样本图像帧序列中提取样本人脸区域帧序列；
(S2)从样本人脸区域帧序列中提取人脸深度特征，所述人脸深度特征是指从人脸的深度模型vgg-face中提取的特征；
(S3)依据人脸深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧，中性表情是指没有面部肌肉运动状态下的表情，峰值表情是指面部肌肉运动到极限状态下的表情；
(S4)将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；
(S5)将样本图像帧序列的差分深度特征和样本图像帧序列对应的表情作为训练输入，训练得到表情分类器；
所述在线识别部分包括以下步骤：
(T1)从待识别图像帧序列中提取待识别人脸区域序列；
(T2)从待识别人脸区域帧序列中提取待识别人脸深度特征；
(T3)依据待识别人脸深度特征从人脸区域帧序列中提取中性表情帧和峰值表情帧；
(T4)将待识别样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为识别用的差分深度特征；
(T5)将识别用的差分深度特征输入表情分类器，表情分类器输出表情类型。
2.根据权利要求1所述的基于差分深度特征的人脸表情识别方法，其特征在于，所述步骤(S3)的具体实现方式为：
利用人脸深度特征对样本图像帧序列进行聚类得到两个簇中心，从样本图像帧序列中提取分别距离两个簇中心最近的一帧作为关键帧，对两帧进行识别得到中性表情帧和峰值表情帧。
3.根据权利要求2所述的基于差分深度特征的人脸表情识别方法，其特征在于，所述步骤(S3)对两帧进行识别得到中性表情帧和峰值表情帧的具体实现方式为：
(S31)从所有样本图像帧序列中抽取部分，对抽取的部分样本图像帧序列的关键帧人工标记为中性表情关键帧和峰值表情关键帧；
(S32)对抽取的样本建立训练库，其中，用峰值表情关键帧的深度特征减去中性表情关键帧的人脸深度特征作为正样本，用中性表情关键帧的人脸深度特征减去峰值表情关键帧的人脸深度特征作为负样本；
(S33)利用正、负样本进行训练，得到关键帧识别模型；
(S34)对余下的样本图像帧序列的关键帧，使用关键帧识别模型进行识别得到中性表情帧和峰值表情帧。
4.根据权利要求3所述的基于差分深度特征的人脸表情识别方法，其特征在于，所述步骤(S33)采用S4VM、Co-Forest、Tri-training中的任意一种算法进行训练。
5.根据权利要求1或2或3或4所述的基于差分深度特征的人脸表情识别方法，其特征在于，所述深度特征为深度神经网络vgg-face模型FC6、FC7、FC8中的任意一种。
6.一种基于差分深度特征的人脸表情识别系统，其特征在于，包括离线训练部分和在线识别部分，其特征在于：
所述离线训练部分包括以下模块：
训练第一模块，用于从样本图像帧序列中提取样本人脸区域帧序列；
训练第二模块，用于从样本人脸区域帧序列中提取人脸深度特征，所述人脸深度特征是指从人脸的深度模型vgg-face中提取的特征；
训练第三模块，用于依据人脸深度深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧，中性表情是指没有面部肌肉运动状态下的表情，峰值表情是指面部肌肉运动到极限状态下的表情；
训练第四模块，用于将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；
训练第五模块，用于将样本图像帧序列的差分深度特征和样本图像帧序列对应的表情作为训练输入，训练得到表情分类器；
所述在线识别部分包括以下模块骤：
识别第一模块，用于从待识别图像序列中提取待识别人脸区域序列；
识别第二模块，用于从待识别人脸区域序列中提取待识别人脸深度特征；
识别第三模块，用于依据待识别人脸深度特征从人脸区域序列中提取中性表情帧和峰值表情帧；
识别第四模块，用于将待识别样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为识别用的差分深度特征；
识别第五模块，用于将识别用的差分深度特征输入表情分类器，表情分类器输出表情类型。
7.根据权利要求6所述的基于差分深度特征的人脸表情识别系统，其特征在于，所述训练第三模块用于利用人脸深度特征对样本图像帧序列进行聚类得到两个簇中心，从样本图像帧序列中提取分别距离两个簇中心最近的一帧作为关键帧，对两帧进行识别得到中性表情帧和峰值表情帧。
8.根据权利要求7所述的基于差分深度特征的人脸表情识别系统，其特征在于，所述训练第三模块包括：
第31子模块，用于从所有样本图像帧序列中抽取部分，对抽取的部分样本图像帧序列的关键帧人工标记为中性表情关键帧和峰值表情关键帧；
第32子模块，用于对抽取的样本建立训练库，其中，用峰值表情关键帧的深度特征减去中性表情关键帧的人脸深度特征作为正样本，用中性表情关键帧的人脸深度特征减去峰值表情关键帧的人脸深度特征作为负样本；
第33子模块，用于利用正、负样本进行训练，得到关键帧识别模型；
第34子模块，用于对余下的样本图像帧序列的关键帧，使用关键帧识别模型进行识别得到中性表情帧和峰值表情帧。
CN201710822364.1A 2017-09-13 2017-09-13 一种基于差分深度特征的人脸表情识别方法及系统 Active CN107808113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710822364.1A CN107808113B (zh) 2017-09-13 2017-09-13 一种基于差分深度特征的人脸表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710822364.1A CN107808113B (zh) 2017-09-13 2017-09-13 一种基于差分深度特征的人脸表情识别方法及系统

Publications (2)

Publication Number Publication Date
CN107808113A CN107808113A (zh) 2018-03-16
CN107808113B true CN107808113B (zh) 2020-08-04

Family

ID=61592153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710822364.1A Active CN107808113B (zh) 2017-09-13 2017-09-13 一种基于差分深度特征的人脸表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN107808113B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145837A (zh) * 2018-08-28 2019-01-04 厦门理工学院 人脸情感识别方法、装置、终端设备和存储介质
CN109190582B (zh) * 2018-09-18 2022-02-08 河南理工大学 一种微表情识别的新方法
CN109242045B (zh) * 2018-09-30 2019-10-01 北京达佳互联信息技术有限公司 图像聚类处理方法、装置、电子设备及存储介质
CN109657586B (zh) * 2018-12-10 2022-02-18 华中师范大学 一种基于排序卷积神经网络的人脸表情分析方法及系统
CN109934158B (zh) * 2019-03-11 2020-03-17 合肥工业大学 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法
CN110598578A (zh) * 2019-08-23 2019-12-20 腾讯云计算（北京）有限责任公司 身份识别方法、身份识别系统的训练方法、装置及设备
CN110781828A (zh) * 2019-10-28 2020-02-11 北方工业大学 一种基于微表情的疲劳状态检测方法
CN112750157B (zh) * 2020-08-11 2023-09-12 腾讯科技（深圳）有限公司 一种深度图像生成方法及装置
CN114005153A (zh) * 2021-02-01 2022-02-01 南京云思创智信息科技有限公司 面貌多样性的个性化微表情实时识别方法
CN113076813B (zh) * 2021-03-12 2024-04-12 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036255A (zh) * 2014-06-21 2014-09-10 电子科技大学 一种人脸表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640077B1 (ko) * 2009-06-05 2016-07-15 삼성전자주식회사 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036255A (zh) * 2014-06-21 2014-09-10 电子科技大学 一种人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于主动形状模型差分纹理和局部方向模式特征融合的人脸表情识别;夏海英等;《计算机应用》;20150310;第35卷(第2015年第3期);第783-786页 *

Also Published As

Publication number Publication date
CN107808113A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN107808113B (zh) 一种基于差分深度特征的人脸表情识别方法及系统
Hasani et al. Spatio-temporal facial expression recognition using convolutional neural networks and conditional random fields
Rao et al. Multi-pose facial expression recognition based on SURF boosting
CN104834941A (zh) 基于计算机输入下的稀疏自编码的脱机手写体识别方法
Fang et al. Sparse similarity metric learning for kinship verification
Perveen et al. Facial expression recognition using facial characteristic points and Gini index
Borgalli et al. Deep learning for facial emotion recognition using custom CNN architecture
Tripathi et al. Efficient facial expression recognition system based on geometric features using neural network
CN105956563B (zh) 基于多示例学习进行新闻图像中人脸标注的方法
Okokpujie et al. Predictive modeling of trait-aging invariant face recognition system using machine learning
Sen et al. Face recognition using deep convolutional network and one-shot learning
Zheng et al. Cross-pose color facial expression recognition using transductive transfer linear discriminat analysis
Barbhuiya et al. ASL hand gesture classification and localization using deep ensemble neural network
Sumalakshmi et al. Fused deep learning based Facial Expression Recognition of students in online learning mode
Singh et al. A comprehensive review on sign language recognition using machine learning
Aulia et al. Personality identification based on handwritten signature using convolutional neural networks
Ma et al. Bottleneck feature extraction-based deep neural network model for facial emotion recognition
Yuvaraj et al. An Adaptive Deep Belief Feature Learning Model for Cognitive Emotion Recognition
Pourebadi et al. MLP neural network based approach for facial expression analysis
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
CN114998973A (zh) 一种基于域自适应的微表情识别方法
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
Tripathi et al. Facial expression recognition using data mining algorithm
Grd et al. Transfer Learning with EfficientNetV2S for Automatic Face Shape Classification.
Somanatti et al. Convolution neural networks for hand gesture recognation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant