CN107679526B - 一种人脸微表情识别方法 - Google Patents

一种人脸微表情识别方法 Download PDF

Info

Publication number
CN107679526B
CN107679526B CN201711120931.5A CN201711120931A CN107679526B CN 107679526 B CN107679526 B CN 107679526B CN 201711120931 A CN201711120931 A CN 201711120931A CN 107679526 B CN107679526 B CN 107679526B
Authority
CN
China
Prior art keywords
micro
training
layer
expression
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711120931.5A
Other languages
English (en)
Other versions
CN107679526A (zh
Inventor
支瑞聪
许海瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201711120931.5A priority Critical patent/CN107679526B/zh
Publication of CN107679526A publication Critical patent/CN107679526A/zh
Application granted granted Critical
Publication of CN107679526B publication Critical patent/CN107679526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸微表情识别方法，能够提高微表情的识别准确率。所述方法包括：从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。本发明涉及图像处理与模式识别技术领域。

Description

一种人脸微表情识别方法
技术领域
本发明涉及图像处理与模式识别技术领域，特别是指一种人脸微表情识别方法。
背景技术
面部表情识别是近年来受到广泛关注的比较热门的研究领域。虽然面部表情识别的研究始于20世纪70年代，但是对面部微表情的研究还是比较少的，主要是因为人们擅长区别面部动作丰富的表情，而不是有微小变化的面部表情。微表情是一种极为短暂的动作幅度微小的面部表情，通常持续时间不会超过0.5秒，由于微表情所具有的这些特点，使它在测谎、临床诊断、教育和犯罪调查领域有着广泛的应用前景。
近年来，深度学习越来越展现出它在图像分析领域的潜力。然而，由于没有足够多的可利用的微表情数据库，深度学习的方法在微表情识别上应用还很少。
发明内容
本发明要解决的技术问题是提供一种人脸微表情识别方法，以解决现有技术所存在的微表情样本不足的问题。
为解决上述技术问题，本发明实施例提供一种人脸微表情识别方法，包括：
从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；
从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；
输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
进一步地，所述从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练包括：
从宏观表情数据库中获取宏观表情图像序列；
对获取的宏观表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的宏观表情数据库中的宏观表情图像序列按照预设的第一比例划分为第一训练集和第一测试集；
利用第一训练集中的训练样本对3D卷积神经网络进行预训练；
利用第一测试集中的测试样本对预训练得到的网络模型进行测试。
进一步地，插值处理采用3D样条插值法。
进一步地，所述对3D卷积神经网络进行预训练包括：
利用监督学习方法对3D卷积神经网络进行预训练；
其中，监督学习方法是指从宏观表情数据库中选取和微表情数据库中具有相同或类似标签的训练样本来做预训练。
进一步地，所述3D卷积神经网络的结构包括：输入层、与所述输入层相连的卷积层1、与所述卷积层1相连的池化层1、与所述池化层1相连的卷积层2、与所述卷积层2相连的池化层2、与所述池化层2相连的全连接层1、与所述全连接层1相连的全连接层2和与所述全连接层2相连的输出层；
其中，在全连接层2后设置退出。
进一步地，在卷积层i的第j个输出特征图的位置(x，y，z)点处的卷积输出值计算公式如下：
Figure BDA0001467320320000021
其中，
Figure BDA0001467320320000022
表示3D卷积核连接的上一层的输出特征图的位置(p，q，r)点处的输出值，Pi和Qi是3D卷积核的高度和宽度，Ri是卷积核在时间维度上的大小，bij表示偏置，σ(θ)＝max(0，θ)表示激活函数。
进一步地，从微表情数据库中获取第二训练集之前，所述方法还包括：
将微表情数据库中的微表情图像序列做数据扩充；
对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的微表情数据库中的微表情图像序列按照预设的第二比例划分为第二训练集和第二测试集。
进一步地，所述将微表情数据库中的微表情图像序列做数据扩包括：
将微表情数据库中的每个微表情图像序列按照预设的1个或多个角度进行水平翻转。
进一步地，在从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练之后，所述方法还包括：
输入第二测试集中的测试样本，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
本发明的上述技术方案的有益效果如下：
上述方案中，从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；将预训练得到的网络模型迁移到微表情数据上，从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类，并输出微表情分类结果。这样，通过迁移学习的使用，在一定程度上解决了微表情样本不足的问题，同时，由于将从宏观表情数据库学到的知识迁移到微表情数据库，也提高了微表情的识别准确率。
附图说明
图1为本发明实施例提供的人脸微表情识别方法的流程示意图；
图2为本发明实施例提供的3D卷积神经网络的结构示意图；
图3为本发明实施例提供的人脸微表情识别方法的具体流程示意图；
图4为本发明实施例提供的CASME II数据库中的微表情图像序列示意图；
图5为本发明实施例提供的插值处理后的CASME II数据库中的微表情图像序列示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的微表情样本不足的问题，提供一种人脸微表情识别方法。
如图1所示，本发明实施例提供的人脸微表情识别方法，包括：
S101，从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；
S102，从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；
S103，输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性支持向量机(Support Vector Machine，SVM)分类器中进行分类。
本发明实施例所述的人脸微表情识别方法，从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；将预训练得到的网络模型迁移到微表情数据上，从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类，并输出微表情分类结果。这样，通过迁移学习的使用，在一定程度上解决了微表情样本不足的问题，同时，由于将从宏观表情数据库学到的知识迁移到微表情数据库，也提高了微表情的识别准确率。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练包括：
从宏观表情数据库中获取宏观表情图像序列；
对获取的宏观表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的宏观表情数据库中的宏观表情图像序列按照预设的第一比例划分为第一训练集和第一测试集；
利用第一训练集中的训练样本对3D卷积神经网络进行预训练；
利用第一测试集中的测试样本对预训练得到的网络模型进行测试。
本实施例中，从宏观表情数据库中获取宏观表情图像序列，可以利用3D样条插值法对获取的宏观表情图像序列进行插值处理，将每个图像序列规整化到10帧，并将图像大小调整为32×32像素；接着，可以将处理后的宏观表情数据库中的宏观表情图像序列按照80:20的比例划分为第一训练集和第一测试集：第一训练集用来对3D卷积神经网络做预训练，第一测试集用来观察预训练得到的网络模型的学习情况。
本实施例中，通过3D样条插值法对获取的宏观表情图像序列进行插值处理，可以使每个宏观表情图像序列的时空域特征更加明显，使得3D卷积神经网络模型能够更加容易的提取微表情动态特征。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述对3D卷积神经网络进行预训练包括：
利用监督学习方法对3D卷积神经网络进行预训练；
其中，监督学习方法是指从宏观表情数据库中选取和微表情数据库中具有相同或类似标签的训练样本来做预训练。
本实施例中，使用监督学习方法训练3D卷积神经网络模型，训练完后，保存预训练得到的网络模型，预训练的迭代步数可以为100。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述3D卷积神经网络的结构包括：输入层、与所述输入层相连的卷积层1、与所述卷积层1相连的池化层1、与所述池化层1相连的卷积层2、与所述卷积层2相连的池化层2、与所述池化层2相连的全连接层1、与所述全连接层1相连的全连接层2和与所述全连接层2相连的输出层；
其中，在全连接层2后设置退出。
本实施例中，如图2所示，所述3D卷积神经网络的结构包括：一个输入层，一个输出层和两个全连接层(全连接层1、全连接层2)，在输入层和全连接层1之间的是：卷积层1(conv1)/池化层1(pool1)/卷积层2(conv2)/池化层2(pool2)，并在全连接层2后设置退出(dropout)，dropout值为0.5。
在前述人脸微表情识别方法的具体实施方式中，进一步地，在卷积层i的第j个输出特征图的位置(x，y，z)点处的卷积输出值计算公式如下：
Figure BDA0001467320320000061
其中，
Figure BDA0001467320320000062
表示3D卷积核连接的上一层的输出特征图的位置(p，q，r)点处的输出值，Pi和Qi是3D卷积核的高度和宽度，Ri是卷积核在时间维度上的大小，bij表示偏置，σ(θ)＝max(0，θ)表示激活函数。
在前述人脸微表情识别方法的具体实施方式中，进一步地，从微表情数据库中获取第二训练集之前，所述方法还包括：
将微表情数据库中的微表情图像序列做数据扩充；
对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的微表情数据库中的微表情图像序列按照预设的第二比例划分为第二训练集和第二测试集。
本实施例中，将微表情数据库中的微表情图像序列做数据扩充，可以利用3D样条插值法对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像大小到32×32像素：接着，可以将处理后的微表情数据库中的微表情图像序列按照80:20的比例划分为第二训练集和第二测试集。
本实施例中，通过3D样条插值法对获取的微表情图像序列进行插值处理，可以使每个微表情图像序列的时空域特征更加明显，使得3D卷积神经网络模型能够更加容易的提取微表情动态特征。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述将微表情数据库中的微表情图像序列做数据扩包括：
将微表情数据库中的每个微表情图像序列按照预设的1个或多个角度进行水平翻转。
本实施例中，例如，可以将微表情数据库中的每个微表情图像序列分别按照角度{-7°，-5°，-3°，3°，5°，7°}进行水平翻转，加上原微表情图像序列共得到7倍数据，实现数据扩充；通过数据扩充能够改善过拟合的现象。
在前述人脸微表情识别方法的具体实施方式中，进一步地，在从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练之后，所述方法还包括：
输入第二测试集中的测试样本，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类，并输出微表情分类结果。
为了更好地理解本实施例所述的人脸微表情识别方法，对本实施例所述的人脸微表情识别方法进行详细说明，如图3所示，本实施例所述的人脸微表情识别方法的具体步骤可以包括：
A11，对宏观表情数据库中的宏观表情图像序列进行插值处理，并将图像大小调整为32×32像素。
本实施例中，假设宏观表情数据库为Oulu-CASIA NIR，从宏观表情数据库Oulu-CASIA NIR中选择生气、厌恶、高兴、悲伤和惊奇5种标签的宏观表情图像序列，每种标签含有240个图像序列，然后使用3D样条插值函数在时间维度上进行序列长度缩放，使每个图像序列都得到10帧图像，最后将图像大小调整为32×32像素。
A12，将处理后的宏观表情数据库中的宏观表情图像序列按80:20的比例划分为第一训练集和第一测试集，第一训练集用来对3D卷积神经网络做预训练，第一测试集用来观察预训练得到的网络模型的学习情况。
将处理后的Oulu-CASIA NIR数据库中的宏观表情图像序列按照80:20的比例划分为Oulu-CASIA NIR训练集和Oulu-CASIA NIR测试集，步骤A12中所述的3D卷积神经网络包含一个输入层，一个输出层和两个全连接层(全连接层1、全连接层2)，在输入层和全连接层1之间的是：卷积层1(conv1)/池化层1(pool1)/卷积层2(conv2)/池化层2(pool2)，并在全连接层2后设置退出(dropout)。卷积层中3D卷积核的大小为3×5×5，3是时间维度上的深度，5×5是卷积核的空间大小，并且在三个维度上的移动步长都为1，第一层卷积(卷积层1)采用32个不同的3D卷积核，第二层卷积(卷积层2)采用64个不同的3D卷积核；池化层使用的池化核的大小为2×2×2，移动步长为1×2×2；在时间维度上设置移动步长为1是为了更好的保留时间域的动作信息；第一层全连接层(全连接层1)输出为9600个神经元，第二层全连接层(全连接层2)输出为256个神经元。
A13，使用监督学习方法训练模型，训练完后保存模型。
使用处理过的已经划分好的Oulu-CASIA NIR训练集进行训练，并通过Oulu-CASIANIR测试集观察预训练得到的网络模型的学习情况，并且预训练的迭代步数为100，然后保存预训练得到的网络模型。
整个训练过程采用分批训练，每次训练150个样本。此处的分类器为softmax分类器，可以实现多分类，共有5种微表情，所以输出层有5个神经元，每个神经元输出的值在0～1之间，这个数值代表输入的样本属于该类的概率。在训练阶段采用反向传播BP算法，同时使用自适应矩估计(Adam)优化器优化神经网络。
A14，将微表情数据库中的微表情图像序列做数据扩充。
本实施例中，使用CASME II数据库作为微表情数据库。CASME II包含247个微表情图像序列，包含5种微表情标签：开心(32个序列)，惊奇(25个序列)，厌恶(64个序列)，压抑(27个序列)和其他(99个序列)。然后对每个微表情图像序列做数据扩充，具体的：将微表情数据库中的每个微表情图像序列分别按照角度{-7°，-5°，-3°，3°，5°，7°}进行水平翻转，加上原微表情图像序列共得到7倍数据。
A15，对扩充后的微表情数据库中的微表情图像序列进行步骤A11中的插值处理，并调整图像大小到32×32。
如图4和图5可知，通过插值处理可以使每个宏观表情图像序列的时空域特征更加明显。
A16，将处理后的微表情数据库中的微表情图像序列划分为5份，1-4份作为第二训练集，第5份作为第二测试集。
A17，使用第二训练集对预训练得到的网络模型进行调整，并从最后一层全连接层(全连接层2)提取特征向量，输入到线性SVM分类器中训练。
整个训练过程采用分批训练，每次训练150个样本。训练完成后，从最后一层全连接层提取256维的特征向量，作为每个样本的特征表达，并输入到线性SVM分类器中训练。
A18，输入第二测试集中的测试样本，并从最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
本实施例，在CASME II数据库上实验，如表1所示是在CASME II上实验得到的混淆矩阵，其中，对角线粗体数据表示每种类型的微表情所获得的正确识别率。此外，在CASMEII上的实验结果显示，结合迁移学习比不使用迁移学习准确率提高3.45％。
表1 在CASME II上得到的混淆矩阵
Figure BDA0001467320320000091
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种人脸微表情识别方法，其特征在于，包括：
从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；
从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；
输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类；
其中，所述3D卷积神经网络的结构包括：输入层、与所述输入层相连的卷积层1、与所述卷积层1相连的池化层1、与所述池化层1相连的卷积层2、与所述卷积层2相连的池化层2、与所述池化层2相连的全连接层1、与所述全连接层1相连的全连接层2和与所述全连接层2相连的输出层；
其中，在全连接层2后设置退出；
其中，在卷积层i的第j个输出特征图的位置(x,y,z)点处的卷积输出值
Figure FDA0002458910410000011
计算公式如下：
Figure FDA0002458910410000012
其中，
Figure FDA0002458910410000013
表示3D卷积核连接的上一层的第m个输出特征图的位置(p,q,r)点处的输出值，Pi和Qi是3D卷积核的高度和宽度，Ri是卷积核在时间维度上的大小，bij表示偏置，σ(θ)＝max(0,θ)表示激活函数。
2.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练包括：
从宏观表情数据库中获取宏观表情图像序列；
对获取的宏观表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的宏观表情数据库中的宏观表情图像序列按照预设的第一比例划分为第一训练集和第一测试集；
利用第一训练集中的训练样本对3D卷积神经网络进行预训练；
利用第一测试集中的测试样本对预训练得到的网络模型进行测试。
3.根据权利要求2所述的人脸微表情识别方法，其特征在于，插值处理采用3D样条插值法。
4.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述对3D卷积神经网络进行预训练包括：
利用监督学习方法对3D卷积神经网络进行预训练；
其中，监督学习方法是指从宏观表情数据库中选取和微表情数据库中具有相同或类似标签的训练样本来做预训练。
5.根据权利要求1所述的人脸微表情识别方法，其特征在于，从微表情数据库中获取第二训练集之前，所述方法还包括：
将微表情数据库中的微表情图像序列做数据扩充；
对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的微表情数据库中的微表情图像序列按照预设的第二比例划分为第二训练集和第二测试集。
6.根据权利要求5所述的人脸微表情识别方法，其特征在于，所述将微表情数据库中的微表情图像序列做数据扩包括：
将微表情数据库中的每个微表情图像序列按照预设的1个或多个角度进行水平翻转。
7.根据权利要求5所述的人脸微表情识别方法，其特征在于，在从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练之后，所述方法还包括：
输入第二测试集中的测试样本，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
CN201711120931.5A 2017-11-14 2017-11-14 一种人脸微表情识别方法 Active CN107679526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711120931.5A CN107679526B (zh) 2017-11-14 2017-11-14 一种人脸微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711120931.5A CN107679526B (zh) 2017-11-14 2017-11-14 一种人脸微表情识别方法

Publications (2)

Publication Number Publication Date
CN107679526A CN107679526A (zh) 2018-02-09
CN107679526B true CN107679526B (zh) 2020-06-12

Family

ID=61148880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711120931.5A Active CN107679526B (zh) 2017-11-14 2017-11-14 一种人脸微表情识别方法

Country Status (1)

Country Link
CN (1) CN107679526B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN108647628B (zh) * 2018-05-07 2021-10-26 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN110457975B (zh) * 2018-05-07 2022-12-27 山东大学 一种基于宏信息知识迁移的微表情识别方法
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法
CN109117897A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于卷积神经网络的图像处理方法、装置及可读存储介质
CN109389045B (zh) * 2018-09-10 2021-03-02 广州杰赛科技股份有限公司 基于混合时空卷积模型的微表情识别方法与装置
CN109344744B (zh) * 2018-09-14 2021-10-29 北京师范大学 基于深度卷积神经网络的人脸微表情动作单元检测方法
CN109597123B (zh) * 2018-10-26 2021-02-19 长江大学 一种有效信号检测方法及系统
CN109460727B (zh) * 2018-10-31 2021-04-06 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN110287801B (zh) * 2019-05-29 2021-10-15 中国电子科技集团公司电子科学研究院 一种微表情识别方法
CN110210380B (zh) * 2019-05-30 2023-07-25 盐城工学院 基于表情识别与心理学测试生成性格的分析方法
CN110569742A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种微表情分析研判系统
CN110941992B (zh) * 2019-10-29 2023-09-05 平安科技（深圳）有限公司 微笑表情检测方法、装置、计算机设备及存储介质
CN110889332A (zh) * 2019-10-30 2020-03-17 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于面试中微表情的说谎检测方法
CN111325131B (zh) * 2020-02-14 2023-06-23 杭州电子科技大学 基于自适应去除过渡帧深度网络的微表情检测方法
CN111767842B (zh) * 2020-06-29 2024-02-06 杭州电子科技大学 基于迁移学习和自编码器数据增强的微表情种类判别方法
CN112183315B (zh) * 2020-09-27 2023-06-27 哈尔滨工业大学（深圳） 动作识别模型训练方法和动作识别方法及装置
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统
CN112784804B (zh) * 2021-02-03 2024-03-19 杭州电子科技大学 基于神经网络敏感性分析的微表情识别方法
CN113822183B (zh) * 2021-09-08 2024-02-27 北京科技大学 基于au-emo关联与图神经网络的零样本表情识别方法及系统
CN114944000B (zh) * 2022-06-07 2024-04-19 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
WO2017101094A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN106096537A (zh) * 2016-06-06 2016-11-09 山东大学 一种基于多尺度采样的微表情自动识别方法
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码系统进行微表情检测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的人脸表情识别;罗翔云等;《工业控制计算机》;20170531;第30卷(第5期);第91-93页 *

Also Published As

Publication number Publication date
CN107679526A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107679526B (zh) 一种人脸微表情识别方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN103793718B (zh) 一种基于深度学习的人脸表情识别方法
CN102930302B (zh) 基于在线序贯极限学习机的递增式人体行为识别方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN112307995B (zh) 一种基于特征解耦学习的半监督行人重识别方法
Chen et al. Automatic social signal analysis: Facial expression recognition using difference convolution neural network
CN111160533A (zh) 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN112036276B (zh) 一种人工智能视频问答方法
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN109753897A (zh) 基于记忆单元强化-时序动态学习的行为识别方法
CN110705490B (zh) 视觉情感识别方法
Liao et al. Face recognition based on dictionary learning and subspace learning
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
CN104063721A (zh) 一种基于语义特征自动学习与筛选的人类行为识别方法
CN112084891A (zh) 基于多模态特征与对抗学习的跨域人体动作识别方法
CN110414626A (zh) 一种猪只品种识别方法、装置和计算机可读存储介质
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
Podder et al. Time efficient real time facial expression recognition with CNN and transfer learning
Wang et al. Facial expression recognition based on CNN
CN113159002B (zh) 一种基于自注意力权重辅助模块的人脸表情识别方法
Su et al. Nesterov accelerated gradient descent-based convolution neural network with dropout for facial expression recognition
CN111950373B (zh) 一种基于光流输入的迁移学习用于微表情识别的方法
Hu et al. Learning salient features for flower classification using convolutional neural network
Dembani et al. UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant