CN110516571A - 基于光流注意力神经网络的跨库微表情识别方法及装置 - Google Patents

基于光流注意力神经网络的跨库微表情识别方法及装置 Download PDF

Info

Publication number
CN110516571A
CN110516571A CN201910756936.XA CN201910756936A CN110516571A CN 110516571 A CN110516571 A CN 110516571A CN 201910756936 A CN201910756936 A CN 201910756936A CN 110516571 A CN110516571 A CN 110516571A
Authority
CN
China
Prior art keywords
micro
expression
light stream
frame
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910756936.XA
Other languages
English (en)
Other versions
CN110516571B (zh
Inventor
郑文明
夏万闯
宗源
江星洵
路成
刘佳腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910756936.XA priority Critical patent/CN110516571B/zh
Publication of CN110516571A publication Critical patent/CN110516571A/zh
Application granted granted Critical
Publication of CN110516571B publication Critical patent/CN110516571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置，方法包括：(1)获取两个不同的微表情数据库作为训练集和测试集；(2)将微表情视频转化为人脸图像序列；(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图；(5)建立光流注意力神经网络，并将训练集和测试集对应融合特征图作为输入进行训练；(6)将待识别的微表情视频处理得到融合特征图，输入光流注意力神经网络，得到微表情类别。本发明泛化能力强，识别准确率高。

Description

基于光流注意力神经网络的跨库微表情识别方法及装置
技术领域
本发明涉及图像处理技术，尤其涉及一种基于光流注意力神经网络的跨库微表情识别方法及装置。
背景技术
微表情(Micro-Expression)是一种人类在试图隐藏某种情感时无意识做出的短暂的面部表情。微表情是一种重要的真实情感信息，通常能够有效地反应一个人的真实心理状态，被认为是识别谎言的关键信息，对理解人类真实情感状态，有着重要的作用。因此，有效准确识别微表情，对日常生产生活有着重大的意义。例如，在刑侦时，经过微表情识别训练的审讯员可以更有效地判断嫌疑人话语的真实性，更有针对性地获取可靠信息；在临床医疗中，医生可以通过微表情识别有效推测患者的真实状态，从而更有效地与患者交流，改进治疗方案。与普通表情相比，微表情持续非常短，研究表明微表情仅持续1/25～1/3s。与此同时微表情面部肌肉动作幅度也非常小，通常只发生在人脸中很小的一部分区域，不会同时出现在上半脸和下半脸。因此对于没有经过专业训练的普通人，捕捉并正确识别微表情有着相当的难度。但人工识别微表情的经济成本和时间成本较高，难以大规模推广，并且人工识别易受环境的影响。受益于计算机视觉技术的快速发展，当前通过计算机手段自动识别微表情具有一定的可行性和商业价值。
微表情识别指将给定的微表情样本识别为某一具体的情绪类别，相关研究主要基于传统机器学习方法，依靠LBP相关的时空描述子特征或光流相关的特征。LBP-TOP特征是局部二值模式(Local Binary Pattern,LBP)在三维空间上的拓展，可有效描述图片序列的动态纹理特征，最早由Pfister等人应用于微表情识别，随后其大量改进模式被广泛应用于微表情识别，如Huang等人提出的完备局部量化模式(Spatial Temporal Completed LocalQuantized Pattern,STCLQP)；Wang等人提出的六交点局部二值模式 (LBP with SixIntersection Points,LBP-SIP)等等。另一主流特征是光流(Optical Flow,OF)，时序动态信息被证明是微表情的有效描述手段，而有关光流的研究证实了图像序列的时序动态信息可以有效改进微表情识别的效果，如Xu等人提出的面部动力谱特征(Facial DynamicsMap,FDM)；Liu等人提出的主方向平均光流特征(Main Directional Mean Optical flowfeature,MDMO)等等。
随着深度学习的飞速发展，研究人员也在着手将其应用于微表情识别工作。Kim等人提出了一个基于卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆循环神经网络(Long Short Term Memory Recurrent Neural Network,LSTM RNN)的时空特征学习网络，该方法使用所有微表情视频样本的峰值帧训练CNN学习空间特征，而后使用CNN的输出作为特征训练LSTM网络学习时间特征，这是深度学习在微表情识别工作上的首次尝试。当前绝大部分有关微表情识别的研究仅可以取得60％以上的识别率，距离实际应用仍有一段距离；此外随着微表情数据集的扩充，基于深度学习的方法将是微表情识别在未来的主要研究方向之一，但目前相关研究较少，整体进展也较为缓慢。
传统微表情识别往往在单个微表情库上进行训练和测试，而同一微表情数据库数据通常建立在相同的实验范式下，训练集和测试集选自同一数据库，往往不能有效的识别其他微表情数据库中的样本，泛化能力差。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种基于光流注意力神经网络的跨库微表情识别方法，泛化能力更强，准确率更高。
技术方案：本发明所述的基于光流注意力神经网络的跨库微表情识别方法包括：
(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签；
(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列；
(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；
(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图；
(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax 处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵；
(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，输出即为识别出的微表情类别。
进一步的，训练集和测试集中，同一类别的微表情视频的类别标签相同。
进一步的，步骤(2)具体包括：
(2-1)获取训练集和测试集中所有微表情视频的起始帧；
(2-2)对起始帧进行人脸检测，得到人脸位置信息；
(2-3)根据起始帧的人脸位置信息，从微表情视频的每帧图像中裁剪出矩形人脸图像，得到人脸图像序列。
进一步的，步骤(3)具体包括：
(3-1)从所获取的人脸图像序列中抽取起始帧、峰值帧和终止帧；
(3-2)计算起始帧和峰值帧之间、峰值帧和终止帧之间的水平方向光流场和垂直方向光流场；
(3-3)对于起始帧和峰值帧之间的水平方向光流场和垂直方向光流场，将其由笛卡尔坐标转换为极坐标，将相应坐标的值转换为HSV颜色空间的值，之后转换为灰度图像，作为第一单通道光流图；
(3-4)对于峰值帧和终止帧之间的水平方向光流场和垂直方向光流场，按照步骤(3-3)做同样处理，得到第二单通道光流图。
进一步的，步骤(5)具体包括：
(5-1)建立光流注意力神经网络，所述光流注意力神经网络包括五个卷积层、六个线性整流层、四个最大池化层和两个全连接层，前四个卷积层后都依次连接一个线性整流层和一个最大池化层，第五个卷积层后依次连接一个线性整流层、一个全连接层、一个线性整流层和一个全连接层，最后一个全连接层的输出为神经网络的输出；
(5-2)将训练集和测试集中微表情视频的融合特征图同时输入光流注意力神经网络进行训练训练时采用的整体损失函数Lall为：
Lall＝Ls+λMMD(Ds,Dt)
式中，Ls为训练集输出经过Softmax处理得到的微表情类别q(x)和训练集中存储的微表情类别标签p(x)的交叉熵，x表示对应样本，n表示Softmax处理后的输出个数，λ表示权重系数，MMD(Ds,Dt)为Ds,Dt的最大均值差异，为训练集输出，元素为M个，为测试集输出，元素为N个，k()表示高斯核函数。
本发明所述的基于光流注意力神经网络的跨库微表情识别装置包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明提供一种基于光流注意力神经网络的跨库微表情识别方法及装置，通过光流法有效地关注与某种微表情强相关的部分，使卷积神经网络能有效地提取与微表情相关的特征，有效地提高了识别率；并且利用最大均值差异来降低不同数据库对于算法结果的影响，有效地提高了模型的泛化能力。
附图说明
图1是本发明提供的基于光流注意力神经网络的跨库微表情识别方法的一个实施例的流程示意图；
图2是CASME2数据库的一个样本的起始帧、峰值帧和终止帧；
图3是起始帧和峰值帧的光流图以及峰值帧和终止帧的光流图；
图4是光流图和峰值帧的融合特征图；
图5是光流注意力神经网络训练过程的示意图；
图6是光流注意力神经网络识别过程的示意图。
具体实施方式
本实施例提供了一种基于光流注意力神经网络的跨库微表情识别方法，如图1所示，包括：
(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签。
其中，训练集和测试集来自不同数据库，可能存在标签不统一的情况，因此会对训练集和测试集中微表情类别标签，根据标签的定义，统一两个数据库的微表情类别，使得同一类别的微表情视频的类别标签相同，对于无法统一的微表情视频，进行删除。本实施例在CASM2微表情数据库、SAMM微表情数据库和SMIC-HS数据库之间做跨库微表情识别，由于类别不统一，对不同微表情库标签进行处理：CASME2中，happy类的标签归为positive，sadness、disgust和fear类归为negative，surprise类归于surprise； SAMM数据库处理和CASME2相同，SMIC库标签不做处理。
(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列。
该步骤具体包括：
(2-1)获取训练集和测试集中所有微表情视频的起始帧；
(2-2)对起始帧进行人脸检测，得到人脸位置信息；
(2-3)根据起始帧的人脸位置信息，从微表情视频的每帧图像中裁剪出矩形人脸图像，得到人脸图像序列。本实施例中，采用face_recognition的face_landmark函数去检测起始帧的人脸关键点，即人脸位置信息，并按照起始帧的位置信息裁剪出整个视频的人脸，人脸框大小依据为：水平方向为左脸颊的最左点的x坐标点到右脸颊最右点的x 坐标点，垂直方向为下巴最下面点的y坐标点到眉毛最上点加上三十个像素点的y坐标点。
(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图。
该步骤具体包括：
(3-1)从所获取的人脸图像序列中抽取起始帧、峰值帧和终止帧，如图2所示；如果在数据库中直接标有峰值帧，则直接提取即可，若无，就取最中间的一帧作为峰值帧；
(3-2)计算起始帧和峰值帧之间、峰值帧和终止帧之间的水平方向光流场和垂直方向光流场；光流场通过Gunnar-Farneback算法计算；
(3-3)对于起始帧和峰值帧之间的水平方向光流场和垂直方向光流场，水平光流场为笛卡尔坐标系中x坐标值，垂直光流场为笛卡尔坐标系中y坐标值，将其由笛卡尔坐标转换为极坐标，得到幅值与角度，根据HSV颜色空间格式定义，将所得角度归一化到区间[0,255]，并赋值给HSV图像的色调(H)，HSV图像的饱和度(S)设为255，上述所得幅值归一化到[0,255]后，赋给HSV图像的明度(V)，之后将HSV图像转换为灰度图像，作为第一单通道光流图，如图3所示；其中，图像转换可以在opencv完成，也可编程实现；
(3-4)对于峰值帧和终止帧之间的水平方向光流场和垂直方向光流场，按照步骤(3-3)做同样处理，得到第二单通道光流图。
(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图。
本实例中将第一单通道光流图、峰值帧的灰度图和第二单通道光流图依次对应图像的R、G、B通道，组成一幅多通道图像，结果如图4所示；之后还可以对融合特征图进行归一化处理，增强模型的鲁棒性。
(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax 处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵。
如图5所示，该步骤具体包括：
(5-1)建立光流注意力神经网络，所述光流注意力神经网络包括五个卷积层(conv1～conv5)、六个线性整流层、四个最大池化层和两个全连接层(Fc1、Fc2)，前四个卷积层后都依次连接一个线性整流层和一个最大池化层，即卷积层、线性整流层、最大池化层、卷积层、线性整流层…这样类推，图5中省略了线性整流层和最大池化层，到第五个卷积层时，其后面依次连接一个线性整流层、一个全连接层、一个线性整流层和一个全连接层，最后一个全连接层的输出为神经网络输出；线性整流层具体为线性整流激活函数ReLU；
(5-2)将训练集和测试集中微表情视频的融合特征图同时输入光流注意力神经网络进行训练，训练时采用的整体损失函数Lall为：
Lall＝Ls+λMMD(Ds,Dt)
式中，Ls为训练集输出经过Softmax处理得到的微表情类别q(x)和训练集中存储的微表情类别标签p(x)的交叉熵，x表示对应样本，n表示Softmax处理后的输出个数，λ表示权重系数，MMD(Ds,Dt)为Ds,Dt的最大均值差异，为训练集输出，元素为M个，为测试集输出，元素为N个，k()表示高斯核函数。
本实例中卷积层的卷积核大小都为3x3，步长为1，五个卷积层的通道数分别为64,64,128,128,128，最大池化层大小为2x2，步长为2，第一个全连接层的通道数为1024，最后一个通道数为3，即微表情类别；高斯核函数为σ＝[2.0，5.0,10.0,20.0,40.0，80.0]；权重系数λ＝2。
(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，如图6所示，输出即为识别出的微表情类别。
本实施例还提供了一种基于光流注意力神经网络的跨库微表情识别装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序时实现上述方法。
为了验证本发明的优越性能，本发明在CASME2微表情库、SAMM微表情库和 SMIC_HS微表情库之间进行跨库微表情识别，实验结果如表1所示。本实验选用准确率(Accuracy)和F1_score作为实验的评价标准，从结果可以看出，本发明取得了最好的结果，以此证明了本发明的有效性。
表1
训练数据库 测试数据库 本算法Accuracy/F1_score
CASME2 SMIC_HS 62％/60％
CASME2 SAMM 48％/47％
SMIC_HS CASME2 74％/71％
SMIC_HS SAMM 45％/45％
SAMM CASME2 53％/50％
SAMM SMIC_HS 55％/54％
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于光流注意力神经网络的跨库微表情识别方法，其特征在于该方法包括：
(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签；
(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列；
(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；
(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图；
(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵；
(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，输出即为识别出的微表情类别。
2.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：训练集和测试集中，同一类别的微表情视频的类别标签相同。
3.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：步骤(2)具体包括：
(2-1)获取训练集和测试集中所有微表情视频的起始帧；
(2-2)对起始帧进行人脸检测，得到人脸位置信息；
(2-3)根据起始帧的人脸位置信息，从微表情视频的每帧图像中裁剪出矩形人脸图像，得到人脸图像序列。
4.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：步骤(3)具体包括：
(3-1)从所获取的人脸图像序列中抽取起始帧、峰值帧和终止帧；
(3-2)计算起始帧和峰值帧之间、峰值帧和终止帧之间的水平方向光流场和垂直方向光流场；
(3-3)对于起始帧和峰值帧之间的水平方向光流场和垂直方向光流场，将其由笛卡尔坐标转换为极坐标，将相应坐标的值转换为HSV颜色空间的值，之后转换为灰度图像，作为第一单通道光流图；
(3-4)对于峰值帧和终止帧之间的水平方向光流场和垂直方向光流场，按照步骤(3-3)做同样处理，得到第二单通道光流图。
5.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：步骤(5)具体包括：
(5-1)建立光流注意力神经网络，所述光流注意力神经网络包括五个卷积层、六个线性整流层、四个最大池化层和两个全连接层，前四个卷积层后都依次连接一个线性整流层和一个最大池化层，第五个卷积层后依次连接一个线性整流层、一个全连接层、一个线性整流层和一个全连接层，最后一个全连接层的输出为神经网络输出；
(5-2)将训练集和测试集中微表情视频的融合特征图同时输入光流注意力神经网络进行训练，训练时采用的整体损失函数Lall为：
Lall＝Ls+λMMD(Ds,Dt)
式中，Ls为训练集输出经过Softmax处理得到的微表情类别q(x)和训练集中存储的微表情类别标签p(x)的交叉熵，x表示对应样本，n表示Softmax处理后的输出个数，λ表示权重系数，MMD(Ds,Dt)为Ds,Dt的最大均值差异，为训练集输出，元素为M个，为测试集输出，元素为N个，k()表示高斯核函数。
6.一种基于光流注意力神经网络的跨库微表情识别装置，其特征在于：包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序时实现权利要求1-5中任意一项所述的方法。
CN201910756936.XA 2019-08-16 2019-08-16 基于光流注意力神经网络的跨库微表情识别方法及装置 Active CN110516571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910756936.XA CN110516571B (zh) 2019-08-16 2019-08-16 基于光流注意力神经网络的跨库微表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910756936.XA CN110516571B (zh) 2019-08-16 2019-08-16 基于光流注意力神经网络的跨库微表情识别方法及装置

Publications (2)

Publication Number Publication Date
CN110516571A true CN110516571A (zh) 2019-11-29
CN110516571B CN110516571B (zh) 2022-02-11

Family

ID=68626216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910756936.XA Active CN110516571B (zh) 2019-08-16 2019-08-16 基于光流注意力神经网络的跨库微表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN110516571B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178262A (zh) * 2019-12-30 2020-05-19 中国电子科技集团公司电子科学研究院 微表情检测方法、装置及计算机可读存储介质
CN111340844A (zh) * 2020-02-24 2020-06-26 南昌航空大学 基于自注意力机制的多尺度特征光流学习计算方法
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN111652159A (zh) * 2020-06-05 2020-09-11 山东大学 基于多层次特征联合的微表情识别方法及系统
CN111860949A (zh) * 2020-06-12 2020-10-30 深圳市新产业眼科新技术有限公司 基于时序图像的预测方法及装置
CN111860400A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 人脸增强识别方法、装置、设备及存储介质
CN112001241A (zh) * 2020-07-16 2020-11-27 山东大学 基于通道注意力机制的微表情识别方法及系统
CN112115796A (zh) * 2020-08-21 2020-12-22 西北大学 一种基于注意力机制的三维卷积微表情识别算法
CN112200065A (zh) * 2020-10-09 2021-01-08 福州大学 基于动作放大和自适应注意力区域选取的微表情分类方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法
CN112466259A (zh) * 2020-12-24 2021-03-09 深圳市鼎阳科技股份有限公司 一种示波器的灰度补偿方法和装置
CN112560812A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于融合深度特征的微表情识别方法
CN112580555A (zh) * 2020-12-25 2021-03-30 中国科学技术大学 一种自发微表情识别方法
CN112766159A (zh) * 2021-01-20 2021-05-07 重庆邮电大学 一种基于多特征融合的跨数据库微表情识别方法
CN112800979A (zh) * 2021-02-01 2021-05-14 南京邮电大学 一种基于表征流嵌入网络的动态表情识别方法及系统
CN112800891A (zh) * 2021-01-18 2021-05-14 南京邮电大学 一种用于微表情识别的鉴别性特征学习方法与系统
CN112883896A (zh) * 2021-03-10 2021-06-01 山东大学 一种基于bert网络的微表情检测方法
CN113435335A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 微观表情识别方法、装置、电子设备及存储介质
CN113449661A (zh) * 2021-07-05 2021-09-28 东南大学 一种基于注意力机制的自适应微表情识别方法
CN113576480A (zh) * 2021-08-12 2021-11-02 北京计算机技术及应用研究所 一种刑事检察公诉询问流程中的非接触式测谎方法
CN113591761A (zh) * 2021-08-09 2021-11-02 成都华栖云科技有限公司 一种视频镜头语言识别方法
CN113723287A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于双向循环神经网络的微表情识别方法、装置及介质
CN113869276A (zh) * 2021-10-15 2021-12-31 山东大学 基于微表情的谎言识别方法及系统
CN114038041A (zh) * 2021-11-17 2022-02-11 杭州电子科技大学 一种基于残差神经网络和注意力机制的微表情识别方法
CN114511912A (zh) * 2022-03-14 2022-05-17 东南大学 基于双流卷积神经网络的跨库微表情识别方法及装置
CN114550272A (zh) * 2022-03-14 2022-05-27 东南大学 基于视频时域动态注意力模型的微表情识别方法及装置
CN114612979A (zh) * 2022-03-09 2022-06-10 平安科技（深圳）有限公司 一种活体检测方法及装置、电子设备、存储介质
CN114743235A (zh) * 2022-03-01 2022-07-12 东南大学 基于稀疏化自注意力机制的微表情识别方法及系统
CN115359534A (zh) * 2022-08-25 2022-11-18 成都信息工程大学 基于多特征融合和双流网络的微表情识别方法
CN116884067A (zh) * 2023-07-12 2023-10-13 成都信息工程大学 一种基于改进的隐式语义数据增强的微表情识别方法
CN117197877A (zh) * 2023-11-07 2023-12-08 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统
CN117392727A (zh) * 2023-11-02 2024-01-12 长春理工大学 一种基于对比学习及特征解耦的人脸微表情识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
US20180257682A1 (en) * 2017-03-09 2018-09-13 General Electric Company Adaptive vehicle control system
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109635712A (zh) * 2018-12-07 2019-04-16 杭州电子科技大学 基于同构网络的自发微表情种类判别方法
CN109885595A (zh) * 2019-01-17 2019-06-14 平安城市建设科技(深圳)有限公司 基于人工智能的课程推荐方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300900A1 (en) * 2012-05-08 2013-11-14 Tomas Pfister Automated Recognition Algorithm For Detecting Facial Expressions
US20180257682A1 (en) * 2017-03-09 2018-09-13 General Electric Company Adaptive vehicle control system
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109635712A (zh) * 2018-12-07 2019-04-16 杭州电子科技大学 基于同构网络的自发微表情种类判别方法
CN109885595A (zh) * 2019-01-17 2019-06-14 平安城市建设科技(深圳)有限公司 基于人工智能的课程推荐方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAM MENG GOH 等: "Micro-expression recognition: an updated review of current trends challenges and solutions", 《SPRINGER》 *
YUAN ZONG 等: "Unsupervised Cross-Database Micro-Expression Recognition Using Target-Adapted Least-Squares Regression", 《IEICE》 *
李秋宇 等: "一种视频微表情检测的改进光流算法", 《图学学报》 *

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178262A (zh) * 2019-12-30 2020-05-19 中国电子科技集团公司电子科学研究院 微表情检测方法、装置及计算机可读存储介质
CN111340844A (zh) * 2020-02-24 2020-06-26 南昌航空大学 基于自注意力机制的多尺度特征光流学习计算方法
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN111652159B (zh) * 2020-06-05 2023-04-14 山东大学 基于多层次特征联合的微表情识别方法及系统
CN111652159A (zh) * 2020-06-05 2020-09-11 山东大学 基于多层次特征联合的微表情识别方法及系统
CN111860949A (zh) * 2020-06-12 2020-10-30 深圳市新产业眼科新技术有限公司 基于时序图像的预测方法及装置
CN111860949B (zh) * 2020-06-12 2022-06-03 深圳市新产业眼科新技术有限公司 基于时序图像的预测方法及装置
CN112001241A (zh) * 2020-07-16 2020-11-27 山东大学 基于通道注意力机制的微表情识别方法及系统
CN112001241B (zh) * 2020-07-16 2023-08-18 山东大学 基于通道注意力机制的微表情识别方法及系统
CN111860400B (zh) * 2020-07-28 2024-06-07 平安科技（深圳）有限公司 人脸增强识别方法、装置、设备及存储介质
CN111860400A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 人脸增强识别方法、装置、设备及存储介质
CN112115796A (zh) * 2020-08-21 2020-12-22 西北大学 一种基于注意力机制的三维卷积微表情识别算法
CN112200065A (zh) * 2020-10-09 2021-01-08 福州大学 基于动作放大和自适应注意力区域选取的微表情分类方法
CN112200065B (zh) * 2020-10-09 2022-08-09 福州大学 基于动作放大和自适应注意力区域选取的微表情分类方法
CN112307958B (zh) * 2020-10-30 2023-06-23 河北工业大学 基于时空外观运动注意力网络的微表情识别方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法
CN112466259A (zh) * 2020-12-24 2021-03-09 深圳市鼎阳科技股份有限公司 一种示波器的灰度补偿方法和装置
CN112466259B (zh) * 2020-12-24 2021-11-23 深圳市鼎阳科技股份有限公司 一种示波器的灰度补偿方法和装置
CN112580555A (zh) * 2020-12-25 2021-03-30 中国科学技术大学 一种自发微表情识别方法
CN112580555B (zh) * 2020-12-25 2022-09-30 中国科学技术大学 一种自发微表情识别方法
CN112800891A (zh) * 2021-01-18 2021-05-14 南京邮电大学 一种用于微表情识别的鉴别性特征学习方法与系统
CN112800891B (zh) * 2021-01-18 2022-08-26 南京邮电大学 一种用于微表情识别的鉴别性特征学习方法与系统
CN112766159A (zh) * 2021-01-20 2021-05-07 重庆邮电大学 一种基于多特征融合的跨数据库微表情识别方法
CN112800979A (zh) * 2021-02-01 2021-05-14 南京邮电大学 一种基于表征流嵌入网络的动态表情识别方法及系统
CN112800979B (zh) * 2021-02-01 2022-08-26 南京邮电大学 一种基于表征流嵌入网络的动态表情识别方法及系统
CN112560812A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于融合深度特征的微表情识别方法
CN112883896A (zh) * 2021-03-10 2021-06-01 山东大学 一种基于bert网络的微表情检测方法
CN113435335A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 微观表情识别方法、装置、电子设备及存储介质
CN113449661A (zh) * 2021-07-05 2021-09-28 东南大学 一种基于注意力机制的自适应微表情识别方法
CN113449661B (zh) * 2021-07-05 2022-11-25 东南大学 一种基于注意力机制的自适应微表情识别方法
CN113591761A (zh) * 2021-08-09 2021-11-02 成都华栖云科技有限公司 一种视频镜头语言识别方法
CN113576480A (zh) * 2021-08-12 2021-11-02 北京计算机技术及应用研究所 一种刑事检察公诉询问流程中的非接触式测谎方法
CN113723287A (zh) * 2021-08-30 2021-11-30 平安科技（深圳）有限公司 基于双向循环神经网络的微表情识别方法、装置及介质
CN113869276A (zh) * 2021-10-15 2021-12-31 山东大学 基于微表情的谎言识别方法及系统
CN114038041A (zh) * 2021-11-17 2022-02-11 杭州电子科技大学 一种基于残差神经网络和注意力机制的微表情识别方法
CN114743235A (zh) * 2022-03-01 2022-07-12 东南大学 基于稀疏化自注意力机制的微表情识别方法及系统
CN114612979A (zh) * 2022-03-09 2022-06-10 平安科技（深圳）有限公司 一种活体检测方法及装置、电子设备、存储介质
CN114612979B (zh) * 2022-03-09 2024-05-31 平安科技（深圳）有限公司 一种活体检测方法及装置、电子设备、存储介质
CN114550272B (zh) * 2022-03-14 2024-04-09 东南大学 基于视频时域动态注意力模型的微表情识别方法及装置
CN114550272A (zh) * 2022-03-14 2022-05-27 东南大学 基于视频时域动态注意力模型的微表情识别方法及装置
CN114511912A (zh) * 2022-03-14 2022-05-17 东南大学 基于双流卷积神经网络的跨库微表情识别方法及装置
CN115359534A (zh) * 2022-08-25 2022-11-18 成都信息工程大学 基于多特征融合和双流网络的微表情识别方法
CN116884067A (zh) * 2023-07-12 2023-10-13 成都信息工程大学 一种基于改进的隐式语义数据增强的微表情识别方法
CN117392727A (zh) * 2023-11-02 2024-01-12 长春理工大学 一种基于对比学习及特征解耦的人脸微表情识别方法
CN117392727B (zh) * 2023-11-02 2024-04-12 长春理工大学 一种基于对比学习及特征解耦的人脸微表情识别方法
CN117197877A (zh) * 2023-11-07 2023-12-08 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统
CN117197877B (zh) * 2023-11-07 2024-03-19 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统

Also Published As

Publication number Publication date
CN110516571B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN110516571A (zh) 基于光流注意力神经网络的跨库微表情识别方法及装置
Zhang et al. Supervised pixel-wise GAN for face super-resolution
González-Briones et al. A multi-agent system for the classification of gender and age from images
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN110287805A (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN105426829B (zh) 基于人脸图像的视频分类方法和装置
CN107403142B (zh) 一种微表情的检测方法
CN111967363B (zh) 一种基于微表情识别和眼动追踪的对情绪预测的方法
CN106326874A (zh) 一种人眼图像中的虹膜识别方法及其装置
CN109325408A (zh) 一种手势判断方法及存储介质
Li et al. Pooling map adaptation in convolutional neural network for facial expression recognition
CN113591763B (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
CN110427881A (zh) 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
Ma et al. Supervised spatio-temporal neighborhood topology learning for action recognition
CN112836589A (zh) 基于特征融合的视频中人脸表情识别方法
CN109614927A (zh) 基于前后帧差异及特征降维的微表情识别
CN114550270A (zh) 一种基于双注意力机制的微表情识别方法
CN112200065B (zh) 基于动作放大和自适应注意力区域选取的微表情分类方法
Xu et al. Skeleton guided conflict-free hand gesture recognition for robot control
Karmakar Facial Attendance System Using MTCNN and Feature Mapping
CN109948445B (zh) 一种复杂背景下动作分类方法及分类系统
Yang et al. Fast image mosaicing for panoramic face recognition.
CN112163487A (zh) 一种基于改进时空步态能量图的步态身份识别方法
Goranin et al. Evolutionary Algorithms Application Analysis in Biometric Systems.
Depuru et al. Hybrid CNNLBP using facial emotion recognition based on deep learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant