CN112560810A - 基于多尺度时空特征神经网络的微表情识别方法 - Google Patents

基于多尺度时空特征神经网络的微表情识别方法 Download PDF

Info

Publication number
CN112560810A
CN112560810A CN202110188615.1A CN202110188615A CN112560810A CN 112560810 A CN112560810 A CN 112560810A CN 202110188615 A CN202110188615 A CN 202110188615A CN 112560810 A CN112560810 A CN 112560810A
Authority
CN
China
Prior art keywords
layer
micro
neural network
expression
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110188615.1A
Other languages
English (en)
Other versions
CN112560810B (zh
Inventor
陶建华
张昊
刘斌
佘文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110188615.1A priority Critical patent/CN112560810B/zh
Publication of CN112560810A publication Critical patent/CN112560810A/zh
Application granted granted Critical
Publication of CN112560810B publication Critical patent/CN112560810B/zh
Priority to US17/471,384 priority patent/US11908240B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及基于多尺度时空特征神经网络的微表情识别方法，可以从微表情视频帧中学习到微表情的空间域与时间域的特征，将两者特征结合形成更加鲁棒的微表情特征。同时针对微表情发生在面部局部区域，将微表情产生的活跃的局部地区与全局区域相结合用于微表情识别。解决了微表情连续帧之间特征提取不足，以及微表情在局部区域较为活跃的问题。本发明对自发式微表情的准确率，相比于其它方法，具有一定的优势，78.7%的准确率充分说明本发明对微表情的识别取得良好的成效。

Description

基于多尺度时空特征神经网络的微表情识别方法
技术领域
本申请涉及图像处理技术领域，尤其涉及基于多尺度时空特征神经网络的微表情识别方法。
背景技术
微表情（Micro-expression）是一种自发式的表情，在人试图掩盖内在情绪时产生，既无法伪造也无法抑制。当人的心里隐藏某种真实的情绪时，会发生微表情，通常微表情的持续时间在1/25-1/3秒。微表情较小的动作幅度以及短暂的 持续时间对人的肉眼识别是一个巨大的挑战。由于微表情不能伪造和抑制，可以作为判断人主观情绪的重要依据。通过对人脸微表情识别技术的开发，可以有效识别人脸微表情，并对微表情进行解读。捕捉人们面部的微表情，经过数据库的处理和分析可在反恐、安检和刑讯，人际交往，教学评价反馈等领域中发挥重要的作用。
微表情识别任务是指将给定的微表情样本识别为某一具体的情感类别，是微表情自动识别的核心任务。传统的手工特征分析微表达式的方法包括时空局部二元模式(LBP)、LBP-TOP、定向平均光流特征等。这些方法的主要缺点是从视频中提取大部分肤浅的信息，缺乏抽象特征表示所需的信息。最近，基于深度学习的方法，如卷积神经网络(CNN)，已经越来越流行，并被广泛应用于解决各种计算机视觉问题，并取得优于传统方法的结果。因此,本专利主要结合深度学习对微表情进行识别。
专利申请公布号CN 110008841 A涉及一种表情识别模型构建方法及系统，涉及数据处理领域。该方法包括S1：获取源图像并进行预处理，得到预处理图像；S2：根据所述源图像和所述预处理图像构建深度学习模型，引入迁移学习对所述深度学习模型进行权重训练，得到图像预训练模型；S3：根据所述图像预训练模型得到微调模型；S4：利用所述微调模型对所述预处理图像进行微调模型训练，得到表情识别模型本方案解决了如何提高表情识别模型的准确率的技术问题，适用于表情识别。
专利申请公布号CN 110705430 A公开了一种基于深度学习的多人面部表情识别方法和识别系统，其中识别方法包括步骤：1、建立表情识别模型；2、构建训练样本集，对表情识别模型中的参数进行训练；3、待识别图 像采用MTCNN网络检测图中的人脸，得到待识别图像中人脸窗口；将检测出的人脸区域输入训练好的表情识别模型中进行识别，得到待识别图像中每个人脸的表情分类结果。该识别方法将深度学习应用到表情识别，能快速完成多人面部表情识任务，且识别率高。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了基于多尺度时空特征神经网络的微表情识别方法，包括：
S1：获取微表情视频集合，将所述微表情视频集合述转化为微表情图像序列样本集合；
S2：从所述微表情图像序列样本集合提取人脸图像集合，并对所述人脸图像集合进行灰度化处理，形成人脸图像序列样本集合；
S3：提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本，并形成局部特征样本集合；
S4：将人脸图像序列样本集合和局部特征样本集合的时间尺度归一化，得到人脸图像序列样本归一化集合和局部特征样本归一化集合；
S5：建立有提取空间特征和时间特征的神经网络合并而成的时空特征神经网络，将所述人脸图像序列样本归一化集合和所述局部特征样本归一化集合作为输入，对所述时空特征神经网络进行训练；
S6：将待识别的微表情视频输入到训练好的时空特征神经网络，得到识别出的微表情。
优选地，所述从所述微表情图像序列样本集合提取人脸图像集合的方法为：
S21：对微表情图像序列进行人脸检测，裁剪出矩形人脸图像并进行缩放；
S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：
Figure 299577DEST_PATH_IMAGE001
Figure 516931DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
分别表示人脸图像序列和灰度归一化后的图像，max和min表示人脸图像序列的最大值与最小值。
优选地，所述提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本的方法为，
S31：根据人脸运动单元和人脸图像序列样本集合中情感的运动单元标注，选择微表情发生时动作幅度较大的局部区域作为感兴趣区域；
S32：将人脸图像序列样本裁剪出感兴趣区域，作为微表情的局部特征的样本。
优选地，所述情感的运动单元标注为，预先对人脸图像序列样本进行微表情标注。
优选地，所述时间尺度归一化的方法为，时间插值算法。
优选地，所述建立有提取空间特征和时间特征的神经网络为，建立由全局特征即面部区域和局部特征即感兴趣的局部区域组成的时空特征神经网络。
优选地，所述时空特征神经网络包括，
全局特征提取层、局部特征提取层、连接层、全连接层和输出层；所述全局特征提取层和局部特征提取层分别与所述连接层连接，所述连接层与所述全连接层连接，所述全连接层与所述输出层连接；所述全局特征提取层包括，输入层、三维卷积层、三维最大值池化层、重塑层、长短期记忆模型循环神经网络；所述输入层与所述三维卷积层连接，所述三维卷积层与所述三维最大值池化层连接，所述三维最大值池化层与所述重塑层连接，所述重塑层与所述长短期记忆模型循环神经网络连接；所述局部特征提取层与所述全局特征提取层结构相同，数据的输入格式不同。
优选地，所述三维卷积层和所述全连接层都使用激活函数，所述激活函数的具体形式为，
Figure 271392DEST_PATH_IMAGE004
x为所述激活函数的输入变量。
优选地，对所述时空特征神经网络进行训练采用的损失函数为交叉熵损失函数，具体形式为，
Figure DEST_PATH_IMAGE005
其中，M是类别的数量；y ic 指指示变量,如果该类别和样本i的类别相同就是1，否则是0；P ic 对于观测样本i属于类别的预测概率；N是样本数量；
所述时空特征神经网络进行训练采用随机梯度下降法计算损失函数。
优选地，所述时空特征神经网络进行训练采用批量归一化算法；在数据预处理中，使用近似白化处理，其公式具体为，
Figure 916000DEST_PATH_IMAGE006
其中
Figure DEST_PATH_IMAGE007
是神经网络层中某个神经元的输入，
Figure 106810DEST_PATH_IMAGE008
=Wh+b, W是该层的权重，h为上一层的输出，b为不确定常数，
Figure DEST_PATH_IMAGE009
是对该层神经元在随机梯度下降法中一个批次所有输入数据的均值，
Figure 862276DEST_PATH_IMAGE010
是该神经元一个批次所有输入数据的标准差。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，对自发式微表情的准确率，相比于其它方法，具有一定的优势，78.7%的准确率充分说明本发明对微表情的识别取得良好的成效。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的基于多尺度时空特征神经网络的微表情识别方法流程图；
图2是根据一示例性实施例示出的局部区域裁剪示意图；
图3是根据一示例性实施例示出的时空特征神经网络的网络结构框图。
图中：1—全局特征提取层，11—输入层，12—三维卷积层，13—三维最大值池化层，14—重塑层，15—长短期记忆模型循环神经网络，2—局部特征提取层，21—输入层，22—三维卷积层，23—三维最大值池化层，24—重塑层，25—长短期记忆模型循环神经网络，3—连接层，4—全连接层，5—输出层。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
图1，为本申请实施例提供的基于多尺度时空特征神经网络的微表情识别方法，包括：
S1：获取微表情视频集合，将所述微表情视频集合述转化为微表情图像帧序列样本集合；
S2：从所述微表情图像序列样本集合提取人脸图像集合，并对所述人脸图像集合进行灰度化处理，形成人脸图像序列样本集合；
S21：对微表情图像序列进行人脸检测，裁剪出矩形人脸图像并进行缩放；
S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：
Figure DEST_PATH_IMAGE011
Figure 205664DEST_PATH_IMAGE012
和
Figure 286752DEST_PATH_IMAGE013
分别表示人脸图像序列和灰度归一化后的图像，max和min表示人脸图像序列的最大值与最小值。
人脸检测借助Python中的Dilb库进行人脸检测，再使用dilb_cut_faces.py将检测到的人脸剪切下来。Dlib库相比于其它检测人脸方法模型较小，运行速度快，将得到的人脸尺寸归一化到140*120像素。
S3：提取人脸图像序列样本中的感兴趣的局部区域，作为提取局部特征的样本，并形成局部特征样本集合；
S31：根据人脸运动单元和人脸图像序列样本集合中不同情感的人脸运动单元的标注，选择微表情发生时动作幅度较大的局部区域作为感兴趣区域；所述情感的运动单元标注为，预先对人脸图像序列样本进行微表情标注；
S32：将人脸图像序列样本裁剪出感兴趣区域，作为微表情的局部特征的样本；获得划分好的感兴趣区域（眼睛，嘴巴）一个划分感兴趣区域的实例如图2所示。其中眼部区域的像素大小为50*40，嘴巴的区域大小为30*80。
S4：将人脸图像序列样本集合和局部特征样本集合的时间尺度归一化，得到人脸图像序列样本归一化集合和局部特征样本归一化集合采用时间插值算法。
S5：建立有提取空间特征和时间特征的神经网络合并而成的时空特征神经网络，，建立由全局特征即面部区域和局部特征即感兴趣的局部区域组成的时空特征神经网络，将所述人脸图像序列样本归一化集合和所述局部特征样本归一化集合作为输入，对所述时空特征神经网络进行训练；
所述时空特征神经网络包括，
全局特征提取层1、局部特征提取层2、连接层3、全连接层4和输出层5；所述全局特征提取层1和局部特征提取层2分别与所述连接层3连接，所述连接层3与所述全连接层4连接，所述全连接层4连接与所述输出层5连接；所述全局特征提取层1包括，输入层11、三维卷积层12、三维最大值池化层13、重塑层14、长短期记忆模型循环神经网络15；所述输入层11与所述三维卷积层12连接，所述三维卷积层12连接与所述三维最大值池化层13连接，所述三维最大值池化层13与所述重塑层14连接，所述重塑层14与所述长短期记忆模型循环神经网络15连接；所述局部特征提取层2与所述全局特征提取层1结构相同，数据的输入格式不同。
所述三维卷积层12和所述全连接层4都使用激活函数，提高模型的表达能力，所述激活函数的具体形式为，
Figure 433700DEST_PATH_IMAGE004
x为所述激活函数的输入变量。
使用三维卷积对所述多个微表情视频帧序列进行空间特征提取，得到微表情的空间特征，与传统的识别相比，CNN没有复杂的特征提取以及数据重建的过程。
长短期记忆模型循环神经网络(LSTM)对提取到的每个视频帧提取其相关的时间维度的特征，LSTM是一种基于循环神经网络改进的网络（Recurrent Neural Network，RNN）改进的网络，其出现使得学习序列的特征有了突破性的发展。
将每个通道提取到的时空特征聚合，形成微表情的时空特征。
对所述时空特征神经网络进行训练采用的损失函数为交叉熵损失函数，具体形式为，
Figure 258436DEST_PATH_IMAGE014
其中，M是类别的数量；y ic 指指示变量,如果该类别和样本i的类别相同就是1，否则是0；P ic 对于观测样本i属于类别的预测概率；N是样本数量；
将每个通道对应的特征作为输入，训练神经网络，训练时采用随机梯度下降法（Stochastic gradient descent）计算损失函数。随机梯度下降正利用每个样本的损失函数对求偏导得到对应的梯度，随机梯度下降是通过每个样本来迭代更新一次。
训练神经网络时，网络参数值设置如下：所有卷积层的卷积核大小为3*3*3，一共设置16个卷积核；对于最大池化层，其最大池化层窗口大小为3*3*3；LSTM层的参数为512，学习率设置为0.01，batch_size为16。
在训练神经网络模型时，由于微表情数据集较小，容易产生过拟合的现象。为了防止过拟合，采用Dropout算法。在每个训练的批次中，适当的忽略一些参数，减小其相互作用，能够显著的的降低过拟合的现象，可以使模型拥有更好的泛化能力，将Dropout的参数设置为0.5。
所述训练采用批量归一化算法；在数据预处理中，使用近似白化处理，其公式具体为，
Figure 174440DEST_PATH_IMAGE015
其中
Figure 364113DEST_PATH_IMAGE016
是神经网络层中某个神经元的输入，
Figure 60673DEST_PATH_IMAGE017
=Wh+b, W是该层的权重，h为上一层的输出，b为不确定常数，
Figure 908675DEST_PATH_IMAGE018
是对该层神经元在随机梯度下降法中一个批次所有输入数据的均值，
Figure 944764DEST_PATH_IMAGE019
是该神经元一个批次所有输入数据的标准差。
S6：将待识别的微表情视频输入到训练好的时空特征神经网络，得到识别出的微表情。
以上描述的具体实施例采用CASMEII数据库，为中国科学院发布的关于自发式微表情的公开数据集，本实施例在CASMEII数据库上进行实验，该自发式微表情数据集被广泛用于自发式微表情的分类任务中。该数据集总共包括26位受试者共255个微表情序列，采集数据集的摄像机帧率是200frame/s，图像分辨率是280像素*340像素，所有的样本都是自发的，该数据集一共包括7种类别，分别是厌恶（Disgust），高兴（Happiness），惊讶（Surprise），抑郁（Repression），悲伤（Sadness），害怕（Fear），其它（Others），为验证本发明对微表情的识别具有有效性，随机选取其中80%的视频进行实验。
本发明对自发式微表情的准确率，相比于其它方法，具有一定的优势，78.7%的准确率充分说明本发明对微表情的识别取得良好的成效。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.基于多尺度时空特征神经网络的微表情识别方法，其特征在于，包括：
S1：获取微表情视频集合，将所述微表情视频集合述转化为微表情图像序列样本集合；
S2：从所述微表情图像序列样本集合提取人脸图像集合，并对所述人脸图像集合进行灰度化处理，形成人脸图像序列样本集合；
S3：提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本，并形成局部特征样本集合；
S4：将人脸图像序列样本集合和局部特征样本集合的时间尺度归一化，得到人脸图像序列样本归一化集合和局部特征样本归一化集合；
S5：建立有提取空间特征和时间特征的神经网络合并而成的时空特征神经网络，将所述人脸图像序列样本归一化集合和所述局部特征样本归一化集合作为输入，对所述时空特征神经网络进行训练；
S6：将待识别的微表情视频输入到训练好的时空特征神经网络，得到识别出的微表情。
2.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述从所述微表情图像序列样本集合提取人脸图像集合的方法为：
S21：对微表情图像序列进行人脸检测，裁剪出矩形人脸图像并进行缩放；
S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：
Figure 275483DEST_PATH_IMAGE001
Figure 345070DEST_PATH_IMAGE002
和
Figure 870730DEST_PATH_IMAGE003
分别表示人脸图像序列和灰度归一化后的图像，max和min表示人脸图像序列的最大值与最小值。
3.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本的方法为，
S31：根据人脸运动单元和人脸图像序列样本集合中情感的运动单元标注，选择微表情发生时动作幅度较大的局部区域作为感兴趣区域；
S32：将人脸图像序列样本裁剪出感兴趣区域，作为微表情的局部特征的样本。
4.根据权利要求3所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述情感的运动单元标注为，预先对人脸图像序列样本进行微表情标注。
5.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述时间尺度归一化的方法为，时间插值算法。
6.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述建立有提取空间特征和时间特征的神经网络为，建立由全局特征即面部区域和局部特征即感兴趣的局部区域组成的时空特征神经网络。
7.根据权利要求6所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述时空特征神经网络包括，
全局特征提取层、局部特征提取层、连接层、全连接层和输出层；所述全局特征提取层和局部特征提取层分别与所述连接层连接，所述连接层与所述全连接层连接，所述全连接层与所述输出层连接；所述全局特征提取层包括，输入层、三维卷积层、三维最大值池化层、重塑层、长短期记忆模型循环神经网络；所述输入层与所述三维卷积层连接，所述三维卷积层与所述三维最大值池化层连接，所述三维最大值池化层与所述重塑层连接，所述重塑层与所述长短期记忆模型循环神经网络连接；所述局部特征提取层与所述全局特征提取层结构相同，数据的输入格式不同。
8.根据权利要求7所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述三维卷积层和所述全连接层都使用激活函数，所述激活函数的具体形式为，
Figure 683965DEST_PATH_IMAGE004
x为所述激活函数的输入变量。
9.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，对所述时空特征神经网络进行训练采用的损失函数为交叉熵损失函数，具体形式为，
Figure 729412DEST_PATH_IMAGE005
其中，M是类别的数量；y ic 指指示变量,如果该类别和样本i的类别相同就是1，否则是0；P ic 对于观测样本i属于类别的预测概率；N是样本数量；
所述时空特征神经网络进行训练采用随机梯度下降法计算损失函数。
10.根据权利要求9所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述时空特征神经网络进行训练采用批量归一化算法；在数据预处理中，使用近似白化处理，其公式具体为，
Figure 235480DEST_PATH_IMAGE006
其中
Figure 982856DEST_PATH_IMAGE007
是神经网络层中某个神经元的输入，
Figure 599782DEST_PATH_IMAGE008
=Wh+b, W是该层的权重，h为上一层的输出，b为不确定常数，
Figure 749004DEST_PATH_IMAGE009
是对该层神经元在随机梯度下降法中一个批次所有输入数据的均值，
Figure 425973DEST_PATH_IMAGE010
是该神经元一个批次所有输入数据的标准差。
CN202110188615.1A 2021-02-19 2021-02-19 基于多尺度时空特征神经网络的微表情识别方法 Active CN112560810B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110188615.1A CN112560810B (zh) 2021-02-19 2021-02-19 基于多尺度时空特征神经网络的微表情识别方法
US17/471,384 US11908240B2 (en) 2021-02-19 2021-09-10 Micro-expression recognition method based on multi-scale spatiotemporal feature neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188615.1A CN112560810B (zh) 2021-02-19 2021-02-19 基于多尺度时空特征神经网络的微表情识别方法

Publications (2)

Publication Number Publication Date
CN112560810A true CN112560810A (zh) 2021-03-26
CN112560810B CN112560810B (zh) 2021-07-02

Family

ID=75035979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188615.1A Active CN112560810B (zh) 2021-02-19 2021-02-19 基于多尺度时空特征神经网络的微表情识别方法

Country Status (2)

Country Link
US (1) US11908240B2 (zh)
CN (1) CN112560810B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111746A (zh) * 2021-03-31 2021-07-13 电子科技大学成都学院 一种基于机器视觉的微表情检测系统
CN113420703A (zh) * 2021-07-03 2021-09-21 西北工业大学 基于多尺度特征提取和多注意力机制建模的动态面部表情识别方法
CN113435330A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 基于视频的微表情识别方法、装置、设备及存储介质
CN113782190A (zh) * 2021-09-22 2021-12-10 河北工业大学 基于多级时空特征和混合注意力网络的抑郁症诊断方法
CN114581736A (zh) * 2022-03-15 2022-06-03 首都师范大学 一种情绪图片库的搭建方法及系统
CN117275070A (zh) * 2023-10-11 2023-12-22 中邮消费金融有限公司 基于微表情的视频面签处理方法及系统
CN113435330B (zh) * 2021-06-28 2024-05-28 平安科技（深圳）有限公司 基于视频的微表情识别方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456586A (zh) * 2023-11-17 2024-01-26 江南大学 一种微表情识别方法、系统、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304823A (zh) * 2018-02-24 2018-07-20 重庆邮电大学 一种基于双卷积cnn和长短时记忆网络的表情识别方法
CN111353390A (zh) * 2020-01-17 2020-06-30 道和安邦（天津）安防科技有限公司 一种基于深度学习的微表情识别方法
CN111652171A (zh) * 2020-06-09 2020-09-11 电子科技大学 一种基于双分支网络的面部表情识别模型的构建方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
US20210000404A1 (en) * 2019-07-05 2021-01-07 The Penn State Research Foundation Systems and methods for automated recognition of bodily expression of emotion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304823A (zh) * 2018-02-24 2018-07-20 重庆邮电大学 一种基于双卷积cnn和长短时记忆网络的表情识别方法
CN111353390A (zh) * 2020-01-17 2020-06-30 道和安邦（天津）安防科技有限公司 一种基于深度学习的微表情识别方法
CN111652171A (zh) * 2020-06-09 2020-09-11 电子科技大学 一种基于双分支网络的面部表情识别模型的构建方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINGYUE NIU 等: "Micro-Expression Recognition Based on Local Two-Order Gradient Pattern", 《2018 FIRST ASIAN CONFERENCE ON AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION (ACII ASIA)》 *
刘建伟 等: "深度学习批归一化及其相关算法研究进展", 《自动化学报》 *
袁新颜: "基于长短期记忆网络与特征融合的微表情识别算法", 《光学技术》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111746A (zh) * 2021-03-31 2021-07-13 电子科技大学成都学院 一种基于机器视觉的微表情检测系统
CN113435330A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 基于视频的微表情识别方法、装置、设备及存储介质
CN113435330B (zh) * 2021-06-28 2024-05-28 平安科技（深圳）有限公司 基于视频的微表情识别方法、装置、设备及存储介质
CN113420703A (zh) * 2021-07-03 2021-09-21 西北工业大学 基于多尺度特征提取和多注意力机制建模的动态面部表情识别方法
CN113782190A (zh) * 2021-09-22 2021-12-10 河北工业大学 基于多级时空特征和混合注意力网络的抑郁症诊断方法
CN113782190B (zh) * 2021-09-22 2023-12-15 河北工业大学 基于多级时空特征和混合注意力网络的图像处理方法
CN114581736A (zh) * 2022-03-15 2022-06-03 首都师范大学 一种情绪图片库的搭建方法及系统
CN117275070A (zh) * 2023-10-11 2023-12-22 中邮消费金融有限公司 基于微表情的视频面签处理方法及系统

Also Published As

Publication number Publication date
US11908240B2 (en) 2024-02-20
CN112560810B (zh) 2021-07-02
US20220269881A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
CN112560810B (zh) 基于多尺度时空特征神经网络的微表情识别方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
Wang et al. MESNet: A convolutional neural network for spotting multi-scale micro-expression intervals in long videos
US11182597B2 (en) Systems and methods for evaluating individual, group, and crowd emotion engagement and attention
CN113496217B (zh) 视频图像序列中人脸微表情识别方法
CN112307958A (zh) 基于时空外观运动注意力网络的微表情识别方法
CN111563417B (zh) 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN112784763B (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN111476178A (zh) 一种基于2d-3d cnn的微表情识别方法
CN111178130A (zh) 一种基于深度学习的人脸识别方法、系统和可读存储介质
Chen et al. A pornographic images recognition model based on deep one-class classification with visual attention mechanism
CN112560812A (zh) 基于融合深度特征的微表情识别方法
Liu et al. A multi-stream convolutional neural network for micro-expression recognition using optical flow and evm
Sarin et al. Cnn-based multimodal touchless biometric recognition system using gait and speech
CN110688966A (zh) 语义指导的行人重识别方法
Lee et al. Face and facial expressions recognition system for blind people using ResNet50 architecture and CNN
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
CN113688761A (zh) 一种基于图像序列的行人行为类别检测方法
CN111950373A (zh) 一种基于光流输入的迁移学习用于微表情识别的方法
CN111898533B (zh) 一种基于时空特征融合的步态分类方法
Dembani et al. UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM.
CN114241573A (zh) 一种面部微表情识别方法、装置、电子设备及存储介质
Arivazhagan Versatile loitering detection based on non-verbal cues using dense trajectory descriptors
Awachar et al. Development of NN classifier for recognition of human moods
Yuvchenko et al. Human emotion recognition system using deep learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant