CN107679526A - 一种人脸微表情识别方法 - Google Patents

一种人脸微表情识别方法 Download PDF

Info

Publication number
CN107679526A
CN107679526A CN201711120931.5A CN201711120931A CN107679526A CN 107679526 A CN107679526 A CN 107679526A CN 201711120931 A CN201711120931 A CN 201711120931A CN 107679526 A CN107679526 A CN 107679526A
Authority
CN
China
Prior art keywords
mrow
micro
training
layer
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711120931.5A
Other languages
English (en)
Other versions
CN107679526B (zh
Inventor
支瑞聪
许海瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201711120931.5A priority Critical patent/CN107679526B/zh
Publication of CN107679526A publication Critical patent/CN107679526A/zh
Application granted granted Critical
Publication of CN107679526B publication Critical patent/CN107679526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸微表情识别方法，能够提高微表情的识别准确率。所述方法包括：从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。本发明涉及图像处理与模式识别技术领域。

Description

一种人脸微表情识别方法
技术领域
本发明涉及图像处理与模式识别技术领域，特别是指一种人脸微表情识别方法。
背景技术
面部表情识别是近年来受到广泛关注的比较热门的研究领域。虽然面部表情识别的研究始于20世纪70年代，但是对面部微表情的研究还是比较少的，主要是因为人们擅长区别面部动作丰富的表情，而不是有微小变化的面部表情。微表情是一种极为短暂的动作幅度微小的面部表情，通常持续时间不会超过0.5秒，由于微表情所具有的这些特点，使它在测谎、临床诊断、教育和犯罪调查领域有着广泛的应用前景。
近年来，深度学习越来越展现出它在图像分析领域的潜力。然而，由于没有足够多的可利用的微表情数据库，深度学习的方法在微表情识别上应用还很少。
发明内容
本发明要解决的技术问题是提供一种人脸微表情识别方法，以解决现有技术所存在的微表情样本不足的问题。
为解决上述技术问题，本发明实施例提供一种人脸微表情识别方法，包括：
从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；
从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；
输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
进一步地，所述从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练包括：
从宏观表情数据库中获取宏观表情图像序列；
对获取的宏观表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的宏观表情数据库中的宏观表情图像序列按照预设的第一比例划分为第一训练集和第一测试集；
利用第一训练集中的训练样本对3D卷积神经网络进行预训练；
利用第一测试集中的测试样本对预训练得到的网络模型进行测试。
进一步地，插值处理采用3D样条插值法。
进一步地，所述对3D卷积神经网络进行预训练包括：
利用监督学习方法对3D卷积神经网络进行预训练；
其中，监督学习方法是指从宏观表情数据库中选取和微表情数据库中具有相同或类似标签的训练样本来做预训练。
进一步地，所述3D卷积神经网络的结构包括：输入层、与所述输入层相连的卷积层1、与所述卷积层1相连的池化层1、与所述池化层1相连的卷积层2、与所述卷积层2相连的池化层2、与所述池化层2相连的全连接层1、与所述全连接层1相连的全连接层2和与所述全连接层2相连的输出层；
其中，在全连接层2后设置退出。
进一步地，在卷积层i的第j个输出特征图的位置(x，y，z)点处的卷积输出值计算公式如下：
其中，表示3D卷积核连接的上一层的输出特征图的位置(p，q，r)点处的输出值，Pi和Qi是3D卷积核的高度和宽度，Ri是卷积核在时间维度上的大小，bij表示偏置，σ(θ)＝max(0，θ)表示激活函数。
进一步地，从微表情数据库中获取第二训练集之前，所述方法还包括：
将微表情数据库中的微表情图像序列做数据扩充；
对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的微表情数据库中的微表情图像序列按照预设的第二比例划分为第二训练集和第二测试集。
进一步地，所述将微表情数据库中的微表情图像序列做数据扩包括：
将微表情数据库中的每个微表情图像序列按照预设的1个或多个角度进行水平翻转。
进一步地，在从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练之后，所述方法还包括：
输入第二测试集中的测试样本，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
本发明的上述技术方案的有益效果如下：
上述方案中，从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；将预训练得到的网络模型迁移到微表情数据上，从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类，并输出微表情分类结果。这样，通过迁移学习的使用，在一定程度上解决了微表情样本不足的问题，同时，由于将从宏观表情数据库学到的知识迁移到微表情数据库，也提高了微表情的识别准确率。
附图说明
图1为本发明实施例提供的人脸微表情识别方法的流程示意图；
图2为本发明实施例提供的3D卷积神经网络的结构示意图；
图3为本发明实施例提供的人脸微表情识别方法的具体流程示意图；
图4为本发明实施例提供的CASME II数据库中的微表情图像序列示意图；
图5为本发明实施例提供的插值处理后的CASME II数据库中的微表情图像序列示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的微表情样本不足的问题，提供一种人脸微表情识别方法。
如图1所示，本发明实施例提供的人脸微表情识别方法，包括：
S101，从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；
S102，从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；
S103，输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性支持向量机(Support Vector Machine，SVM)分类器中进行分类。
本发明实施例所述的人脸微表情识别方法，从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；将预训练得到的网络模型迁移到微表情数据上，从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类，并输出微表情分类结果。这样，通过迁移学习的使用，在一定程度上解决了微表情样本不足的问题，同时，由于将从宏观表情数据库学到的知识迁移到微表情数据库，也提高了微表情的识别准确率。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练包括：
从宏观表情数据库中获取宏观表情图像序列；
对获取的宏观表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的宏观表情数据库中的宏观表情图像序列按照预设的第一比例划分为第一训练集和第一测试集；
利用第一训练集中的训练样本对3D卷积神经网络进行预训练；
利用第一测试集中的测试样本对预训练得到的网络模型进行测试。
本实施例中，从宏观表情数据库中获取宏观表情图像序列，可以利用3D样条插值法对获取的宏观表情图像序列进行插值处理，将每个图像序列规整化到10帧，并将图像大小调整为32×32像素；接着，可以将处理后的宏观表情数据库中的宏观表情图像序列按照80:20的比例划分为第一训练集和第一测试集：第一训练集用来对3D卷积神经网络做预训练，第一测试集用来观察预训练得到的网络模型的学习情况。
本实施例中，通过3D样条插值法对获取的宏观表情图像序列进行插值处理，可以使每个宏观表情图像序列的时空域特征更加明显，使得3D卷积神经网络模型能够更加容易的提取微表情动态特征。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述对3D卷积神经网络进行预训练包括：
利用监督学习方法对3D卷积神经网络进行预训练；
其中，监督学习方法是指从宏观表情数据库中选取和微表情数据库中具有相同或类似标签的训练样本来做预训练。
本实施例中，使用监督学习方法训练3D卷积神经网络模型，训练完后，保存预训练得到的网络模型，预训练的迭代步数可以为100。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述3D卷积神经网络的结构包括：输入层、与所述输入层相连的卷积层1、与所述卷积层1相连的池化层1、与所述池化层1相连的卷积层2、与所述卷积层2相连的池化层2、与所述池化层2相连的全连接层1、与所述全连接层1相连的全连接层2和与所述全连接层2相连的输出层；
其中，在全连接层2后设置退出。
本实施例中，如图2所示，所述3D卷积神经网络的结构包括：一个输入层，一个输出层和两个全连接层(全连接层1、全连接层2)，在输入层和全连接层1之间的是：卷积层1(conv1)/池化层1(pool1)/卷积层2(conv2)/池化层2(pool2)，并在全连接层2后设置退出(dropout)，dropout值为0.5。
在前述人脸微表情识别方法的具体实施方式中，进一步地，在卷积层i的第j个输出特征图的位置(x，y，z)点处的卷积输出值计算公式如下：
其中，表示3D卷积核连接的上一层的输出特征图的位置(p，q，r)点处的输出值，Pi和Qi是3D卷积核的高度和宽度，Ri是卷积核在时间维度上的大小，bij表示偏置，σ(θ)＝max(0，θ)表示激活函数。
在前述人脸微表情识别方法的具体实施方式中，进一步地，从微表情数据库中获取第二训练集之前，所述方法还包括：
将微表情数据库中的微表情图像序列做数据扩充；
对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的微表情数据库中的微表情图像序列按照预设的第二比例划分为第二训练集和第二测试集。
本实施例中，将微表情数据库中的微表情图像序列做数据扩充，可以利用3D样条插值法对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像大小到32×32像素：接着，可以将处理后的微表情数据库中的微表情图像序列按照80:20的比例划分为第二训练集和第二测试集。
本实施例中，通过3D样条插值法对获取的微表情图像序列进行插值处理，可以使每个微表情图像序列的时空域特征更加明显，使得3D卷积神经网络模型能够更加容易的提取微表情动态特征。
在前述人脸微表情识别方法的具体实施方式中，进一步地，所述将微表情数据库中的微表情图像序列做数据扩包括：
将微表情数据库中的每个微表情图像序列按照预设的1个或多个角度进行水平翻转。
本实施例中，例如，可以将微表情数据库中的每个微表情图像序列分别按照角度{-7°，-5°，-3°，3°，5°，7°}进行水平翻转，加上原微表情图像序列共得到7倍数据，实现数据扩充；通过数据扩充能够改善过拟合的现象。
在前述人脸微表情识别方法的具体实施方式中，进一步地，在从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练之后，所述方法还包括：
输入第二测试集中的测试样本，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类，并输出微表情分类结果。
为了更好地理解本实施例所述的人脸微表情识别方法，对本实施例所述的人脸微表情识别方法进行详细说明，如图3所示，本实施例所述的人脸微表情识别方法的具体步骤可以包括：
A11，对宏观表情数据库中的宏观表情图像序列进行插值处理，并将图像大小调整为32×32像素。
本实施例中，假设宏观表情数据库为Oulu-CASIA NIR，从宏观表情数据库Oulu-CASIA NIR中选择生气、厌恶、高兴、悲伤和惊奇5种标签的宏观表情图像序列，每种标签含有240个图像序列，然后使用3D样条插值函数在时间维度上进行序列长度缩放，使每个图像序列都得到10帧图像，最后将图像大小调整为32×32像素。
A12，将处理后的宏观表情数据库中的宏观表情图像序列按80:20的比例划分为第一训练集和第一测试集，第一训练集用来对3D卷积神经网络做预训练，第一测试集用来观察预训练得到的网络模型的学习情况。
将处理后的Oulu-CASIA NIR数据库中的宏观表情图像序列按照80:20的比例划分为Oulu-CASIA NIR训练集和Oulu-CASIA NIR测试集，步骤A12中所述的3D卷积神经网络包含一个输入层，一个输出层和两个全连接层(全连接层1、全连接层2)，在输入层和全连接层1之间的是：卷积层1(conv1)/池化层1(pool1)/卷积层2(conv2)/池化层2(pool2)，并在全连接层2后设置退出(dropout)。卷积层中3D卷积核的大小为3×5×5，3是时间维度上的深度，5×5是卷积核的空间大小，并且在三个维度上的移动步长都为1，第一层卷积(卷积层1)采用32个不同的3D卷积核，第二层卷积(卷积层2)采用64个不同的3D卷积核；池化层使用的池化核的大小为2×2×2，移动步长为1×2×2；在时间维度上设置移动步长为1是为了更好的保留时间域的动作信息；第一层全连接层(全连接层1)输出为9600个神经元，第二层全连接层(全连接层2)输出为256个神经元。
A13，使用监督学习方法训练模型，训练完后保存模型。
使用处理过的已经划分好的Oulu-CASIA NIR训练集进行训练，并通过Oulu-CASIANIR测试集观察预训练得到的网络模型的学习情况，并且预训练的迭代步数为100，然后保存预训练得到的网络模型。
整个训练过程采用分批训练，每次训练150个样本。此处的分类器为softmax分类器，可以实现多分类，共有5种微表情，所以输出层有5个神经元，每个神经元输出的值在0～1之间，这个数值代表输入的样本属于该类的概率。在训练阶段采用反向传播BP算法，同时使用自适应矩估计(Adam)优化器优化神经网络。
A14，将微表情数据库中的微表情图像序列做数据扩充。
本实施例中，使用CASME II数据库作为微表情数据库。CASME II包含247个微表情图像序列，包含5种微表情标签：开心(32个序列)，惊奇(25个序列)，厌恶(64个序列)，压抑(27个序列)和其他(99个序列)。然后对每个微表情图像序列做数据扩充，具体的：将微表情数据库中的每个微表情图像序列分别按照角度{-7°，-5°，-3°，3°，5°，7°}进行水平翻转，加上原微表情图像序列共得到7倍数据。
A15，对扩充后的微表情数据库中的微表情图像序列进行步骤A11中的插值处理，并调整图像大小到32×32。
如图4和图5可知，通过插值处理可以使每个宏观表情图像序列的时空域特征更加明显。
A16，将处理后的微表情数据库中的微表情图像序列划分为5份，1-4份作为第二训练集，第5份作为第二测试集。
A17，使用第二训练集对预训练得到的网络模型进行调整，并从最后一层全连接层(全连接层2)提取特征向量，输入到线性SVM分类器中训练。
整个训练过程采用分批训练，每次训练150个样本。训练完成后，从最后一层全连接层提取256维的特征向量，作为每个样本的特征表达，并输入到线性SVM分类器中训练。
A18，输入第二测试集中的测试样本，并从最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
本实施例，在CASME II数据库上实验，如表1所示是在CASME II上实验得到的混淆矩阵，其中，对角线粗体数据表示每种类型的微表情所获得的正确识别率。此外，在CASMEII上的实验结果显示，结合迁移学习比不使用迁移学习准确率提高3.45％。
表1 在CASME II上得到的混淆矩阵
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种人脸微表情识别方法，其特征在于，包括：
从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练，并保存预训练得到的网络模型；
从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练；
输入待测图像，从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
2.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述从宏观表情数据库中获取第一训练集对3D卷积神经网络进行预训练包括：
从宏观表情数据库中获取宏观表情图像序列；
对获取的宏观表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的宏观表情数据库中的宏观表情图像序列按照预设的第一比例划分为第一训练集和第一测试集；
利用第一训练集中的训练样本对3D卷积神经网络进行预训练；
利用第一测试集中的测试样本对预训练得到的网络模型进行测试。
3.根据权利要求2所述的人脸微表情识别方法，其特征在于，插值处理采用3D样条插值法。
4.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述对3D卷积神经网络进行预训练包括：
利用监督学习方法对3D卷积神经网络进行预训练；
其中，监督学习方法是指从宏观表情数据库中选取和微表情数据库中具有相同或类似标签的训练样本来做预训练。
5.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述3D卷积神经网络的结构包括：输入层、与所述输入层相连的卷积层1、与所述卷积层1相连的池化层1、与所述池化层1相连的卷积层2、与所述卷积层2相连的池化层2、与所述池化层2相连的全连接层1、与所述全连接层1相连的全连接层2和与所述全连接层2相连的输出层；
其中，在全连接层2后设置退出。
6.根据权利要求5所述的人脸微表情识别方法，其特征在于，在卷积层i的第j个输出特征图的位置(x,y,z)点处的卷积输出值计算公式如下：
<mrow> <msubsup> <mi>v</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>x</mi> <mi>y</mi> <mi>z</mi> </mrow> </msubsup> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mi>m</mi> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msub> <mi>Q</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> <mi>m</mi> </mrow> <mrow> <mi>p</mi> <mi>q</mi> <mi>r</mi> </mrow> </msubsup> <msubsup> <mi>v</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mi>m</mi> </mrow> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>p</mi> <mo>)</mo> <mo>(</mo> <mi>y</mi> <mo>+</mo> <mi>q</mi> <mo>)</mo> <mo>(</mo> <mi>z</mi> <mo>+</mo> <mi>r</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msub> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
其中，表示3D卷积核连接的上一层的第m个输出特征图的位置(p,q,r)点处的输出值，Pi和Qi是3D卷积核的高度和宽度，Ri是卷积核在时间维度上的大小，bij表示偏置，σ(θ)＝max(0,θ)表示激活函数。
7.根据权利要求1所述的人脸微表情识别方法，其特征在于，从微表情数据库中获取第二训练集之前，所述方法还包括：
将微表情数据库中的微表情图像序列做数据扩充；
对扩充后的微表情数据库中的微表情图像序列进行插值处理，并调整图像的大小至预设值；
将处理后的微表情数据库中的微表情图像序列按照预设的第二比例划分为第二训练集和第二测试集。
8.根据权利要求7所述的人脸微表情识别方法，其特征在于，所述将微表情数据库中的微表情图像序列做数据扩包括：
将微表情数据库中的每个微表情图像序列按照预设的1个或多个角度进行水平翻转。
9.根据权利要求7所述的人脸微表情识别方法，其特征在于，在从微表情数据库中获取第二训练集，对预训练得到的网络模型进行调整，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中训练之后，所述方法还包括：
输入第二测试集中的测试样本，并从3D卷积神经网络的最后一层全连接层提取特征向量，输入到线性SVM分类器中进行分类。
CN201711120931.5A 2017-11-14 2017-11-14 一种人脸微表情识别方法 Active CN107679526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711120931.5A CN107679526B (zh) 2017-11-14 2017-11-14 一种人脸微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711120931.5A CN107679526B (zh) 2017-11-14 2017-11-14 一种人脸微表情识别方法

Publications (2)

Publication Number Publication Date
CN107679526A true CN107679526A (zh) 2018-02-09
CN107679526B CN107679526B (zh) 2020-06-12

Family

ID=61148880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711120931.5A Active CN107679526B (zh) 2017-11-14 2017-11-14 一种人脸微表情识别方法

Country Status (1)

Country Link
CN (1) CN107679526B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN108647628A (zh) * 2018-05-07 2018-10-12 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法
CN109117897A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于卷积神经网络的图像处理方法、装置及可读存储介质
CN109344744A (zh) * 2018-09-14 2019-02-15 北京师范大学 基于深度卷积神经网络的人脸微表情动作单元检测方法
CN109389045A (zh) * 2018-09-10 2019-02-26 广州杰赛科技股份有限公司 基于混合时空卷积模型的微表情识别方法与装置
CN109460727A (zh) * 2018-10-31 2019-03-12 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN109597123A (zh) * 2018-10-26 2019-04-09 长江大学 一种有效信号检测方法及系统
CN110210380A (zh) * 2019-05-30 2019-09-06 盐城工学院 基于表情识别与心理学测试生成性格的分析方法
CN110287801A (zh) * 2019-05-29 2019-09-27 中国电子科技集团公司电子科学研究院 一种微表情识别算法
CN110457975A (zh) * 2018-05-07 2019-11-15 山东大学 一种基于宏信息知识迁移的微表情识别方法
CN110569742A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种微表情分析研判系统
CN110889332A (zh) * 2019-10-30 2020-03-17 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于面试中微表情的说谎检测方法
CN111325131A (zh) * 2020-02-14 2020-06-23 杭州电子科技大学 基于自适应去除过渡帧深度网络的微表情检测方法
CN111767842A (zh) * 2020-06-29 2020-10-13 杭州电子科技大学 基于迁移学习和自编码器数据增强的微表情种类判别方法
CN112183315A (zh) * 2020-09-27 2021-01-05 哈尔滨工业大学（深圳） 动作识别模型训练方法和动作识别方法及装置
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统
WO2021082045A1 (zh) * 2019-10-29 2021-05-06 平安科技（深圳）有限公司 微笑表情检测方法、装置、计算机设备及存储介质
CN112784804A (zh) * 2021-02-03 2021-05-11 杭州电子科技大学 基于神经网络敏感性分析的微表情识别方法
CN113822183A (zh) * 2021-09-08 2021-12-21 北京科技大学 基于au-emo关联与图神经网络的零样本表情识别方法及系统
CN114937298A (zh) * 2022-05-13 2022-08-23 南京邮电大学 一种基于特征解耦的微表情识别方法
CN114944000A (zh) * 2022-06-07 2022-08-26 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别模型

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation
CN106096537A (zh) * 2016-06-06 2016-11-09 山东大学 一种基于多尺度采样的微表情自动识别方法
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
WO2017101094A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码系统进行微表情检测的方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation
WO2017101094A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN106096537A (zh) * 2016-06-06 2016-11-09 山东大学 一种基于多尺度采样的微表情自动识别方法
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码系统进行微表情检测的方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOHONG LI: "Spontaneous facial micro-expression detection based on deep learning", 《2016 IEEE 13TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING (ICSP)》 *
罗翔云等: "基于深度学习的人脸表情识别", 《工业控制计算机》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN110457975A (zh) * 2018-05-07 2019-11-15 山东大学 一种基于宏信息知识迁移的微表情识别方法
CN108647628A (zh) * 2018-05-07 2018-10-12 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN108647628B (zh) * 2018-05-07 2021-10-26 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN110457975B (zh) * 2018-05-07 2022-12-27 山东大学 一种基于宏信息知识迁移的微表情识别方法
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法
CN109117897A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于卷积神经网络的图像处理方法、装置及可读存储介质
CN109389045A (zh) * 2018-09-10 2019-02-26 广州杰赛科技股份有限公司 基于混合时空卷积模型的微表情识别方法与装置
CN109344744A (zh) * 2018-09-14 2019-02-15 北京师范大学 基于深度卷积神经网络的人脸微表情动作单元检测方法
CN109344744B (zh) * 2018-09-14 2021-10-29 北京师范大学 基于深度卷积神经网络的人脸微表情动作单元检测方法
CN109597123A (zh) * 2018-10-26 2019-04-09 长江大学 一种有效信号检测方法及系统
CN109460727A (zh) * 2018-10-31 2019-03-12 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109460727B (zh) * 2018-10-31 2021-04-06 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN110287801A (zh) * 2019-05-29 2019-09-27 中国电子科技集团公司电子科学研究院 一种微表情识别算法
CN110287801B (zh) * 2019-05-29 2021-10-15 中国电子科技集团公司电子科学研究院 一种微表情识别方法
CN110210380A (zh) * 2019-05-30 2019-09-06 盐城工学院 基于表情识别与心理学测试生成性格的分析方法
CN110210380B (zh) * 2019-05-30 2023-07-25 盐城工学院 基于表情识别与心理学测试生成性格的分析方法
CN110569742A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种微表情分析研判系统
WO2021082045A1 (zh) * 2019-10-29 2021-05-06 平安科技（深圳）有限公司 微笑表情检测方法、装置、计算机设备及存储介质
CN110889332A (zh) * 2019-10-30 2020-03-17 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于面试中微表情的说谎检测方法
CN111325131A (zh) * 2020-02-14 2020-06-23 杭州电子科技大学 基于自适应去除过渡帧深度网络的微表情检测方法
CN111325131B (zh) * 2020-02-14 2023-06-23 杭州电子科技大学 基于自适应去除过渡帧深度网络的微表情检测方法
CN111767842B (zh) * 2020-06-29 2024-02-06 杭州电子科技大学 基于迁移学习和自编码器数据增强的微表情种类判别方法
CN111767842A (zh) * 2020-06-29 2020-10-13 杭州电子科技大学 基于迁移学习和自编码器数据增强的微表情种类判别方法
CN112183315A (zh) * 2020-09-27 2021-01-05 哈尔滨工业大学（深圳） 动作识别模型训练方法和动作识别方法及装置
CN112183315B (zh) * 2020-09-27 2023-06-27 哈尔滨工业大学（深圳） 动作识别模型训练方法和动作识别方法及装置
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统
CN112784804A (zh) * 2021-02-03 2021-05-11 杭州电子科技大学 基于神经网络敏感性分析的微表情识别方法
CN112784804B (zh) * 2021-02-03 2024-03-19 杭州电子科技大学 基于神经网络敏感性分析的微表情识别方法
CN113822183A (zh) * 2021-09-08 2021-12-21 北京科技大学 基于au-emo关联与图神经网络的零样本表情识别方法及系统
CN113822183B (zh) * 2021-09-08 2024-02-27 北京科技大学 基于au-emo关联与图神经网络的零样本表情识别方法及系统
CN114937298A (zh) * 2022-05-13 2022-08-23 南京邮电大学 一种基于特征解耦的微表情识别方法
CN114944000A (zh) * 2022-06-07 2022-08-26 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别模型
CN114944000B (zh) * 2022-06-07 2024-04-19 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别方法

Also Published As

Publication number Publication date
CN107679526B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN107679526B (zh) 一种人脸微表情识别方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN109033994B (zh) 一种基于卷积神经网络的人脸表情识别方法
CN103984959A (zh) 一种基于数据与任务驱动的图像分类方法
CN111160533A (zh) 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN109359608A (zh) 一种基于深度学习模型的人脸识别方法
CN105631479A (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN105095863A (zh) 基于相似性权值的半监督字典学习的人体行为识别方法
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN110705490B (zh) 视觉情感识别方法
CN109753897A (zh) 基于记忆单元强化-时序动态学习的行为识别方法
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
CN111723667A (zh) 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
CN110414626A (zh) 一种猪只品种识别方法、装置和计算机可读存储介质
Wang et al. Facial expression recognition based on CNN
CN109190471B (zh) 基于自然语言描述的视频监控行人搜索的注意力模型方法
CN113159002B (zh) 一种基于自注意力权重辅助模块的人脸表情识别方法
CN111950373B (zh) 一种基于光流输入的迁移学习用于微表情识别的方法
CN113255543A (zh) 基于图卷积网络的面部表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant