CN112801009A - 基于双流网络的面部情感识别方法、装置、介质及设备 - Google Patents

基于双流网络的面部情感识别方法、装置、介质及设备 Download PDF

Info

Publication number
CN112801009A
CN112801009A CN202110168280.7A CN202110168280A CN112801009A CN 112801009 A CN112801009 A CN 112801009A CN 202110168280 A CN202110168280 A CN 202110168280A CN 112801009 A CN112801009 A CN 112801009A
Authority
CN
China
Prior art keywords
facial emotion
facial
feature
feature extraction
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110168280.7A
Other languages
English (en)
Other versions
CN112801009B (zh
Inventor
田翔
冯国权
刘芳
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110168280.7A priority Critical patent/CN112801009B/zh
Publication of CN112801009A publication Critical patent/CN112801009A/zh
Application granted granted Critical
Publication of CN112801009B publication Critical patent/CN112801009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于双流网络的面部情感识别方法、装置、介质及设备；其中方法包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序；预处理工序从视频中检测以及裁剪出人脸所在区域，并抽取关键帧；空间特征提取工序通过卷积神经网络提取面部图片帧的特征向量；时间相位差特征提取工序采用方向可操纵金字塔对相邻帧提取相位差特征向量；特征融合工序将空间特征和时间特征按分配的权重整合，得到用于判别的双流特征向量；时序结果判别工序通过GRU对双流特征向量进行关联和判别，得到量化的面部情感的活跃程度和积极/消极程度。本发明面部情感识别准确率高效，具有良好的识别效果。

Description

基于双流网络的面部情感识别方法、装置、介质及设备
技术领域
本发明涉及计算机视频处理技术领域，更具体地说，涉及一种基于双流网络的面部情感识别方法、装置、介质及设备。
背景技术
近年来，随着人工智能技术的高速发展，计算机视觉技术的准确率和效率都得到了很大的提高，而面部情感识别的应用更是引起了广泛关注。常用领域有：疲劳驾驶监测、心理测评、产品测试、生活娱乐、刑事侦查、安全监控、医疗诊断、虚拟现实以及智慧教育等领域。而情感计算研究的发展以及众多情感特征的使用，令面部情感的研究更加火热，对应的成果也在逐年增加。根据相关研究者的研究表明面部情感所包含的情感信息能够达到55％，因此研究面部情感识别对于人整体的情感计算有着至关重要的意义。
在过去的长期研究中，实验室条件下的面部情感一直以来都作为研究的样本，angry(愤怒)、disgust(厌恶)、fear(害怕)、happy(开心)、netural(平静)、sad(伤心)、surprise(惊讶)这七个情感则是作为识别的标志，人们在实验室下的面部情感数据集基于这一标志做研究。但是，过于标准的环境会使得训练的判别模型鲁棒性小、可迁移性差、实用性低，对实现人类情感计算的意义较小。随着研究的深入发展和自然场景下数据集的发表，自然场景下的面部情感的识别也逐渐提上日程。自然场景下的面部情感图像与实验室条件相比存在多姿态、遮挡以及光照等问题，因此传统的手工特征的方法和浅层卷积神经网络的方法难以在自然场景下的情感数据集上取得较好的识别准确率。此外，由于情感是人脸肌肉的运动组合而来，其特征相对于其它图像更加细微，同一种类别的情感也会存在较大的差异，且不同情感之间往往是局部的特征变化，而这些微情感的变化对面部情感识别起到关键性的作用。为了利用介于1/25到1/3秒之间(大约2-10帧)的微情感信息，对视频中的微情感识别成为现在情感识别发展的重要方向。此外，尽管七种基本情感系统已在多种情感识别系统中非常流行，但人们仍认为该系统可能在文化上并不普遍。因此，有人提出了一个维度上连续的Arousal-Valence空间，Arousal是指情绪的活跃程度，Valence是指情绪的积极或消极程度。Arousal-Valence连续情感系统已应用于标记一系列情感数据集(例如Aff-Wild、Aff-Wild2、OMG-dataset等)。为了提高情感识别的准确率，更好地提取微情感和宏观情感的特征成了我们要实现的目标。因此，我们需要能够针对性提取微观和宏观情感并将其有机融合的模型来达到更好的情感识别的准确度。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于双流网络的面部情感识别方法、装置、介质及设备
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于双流网络的面部情感识别方法，其特征在于：包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序；
所述预处理工序是指：从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；
所述空间特征提取工序是指：通过卷积神经网络(Fs)提取各个面部图片I的空间特征，并通过全连接层fcs转化为特征向量fs，公式表示为：
fs＝fcs(Fs(I)) (1)
所述时间相位差特征提取工序是指：采用方向可操纵金字塔P(ComplexSteerable Pyramid)对面部图片I对应的相邻帧[I0,I1,...,IN]提取用于表示微观面部情感的多尺度的相位差特征，并通过卷积层Ft和全连接层fct转换为特征向量ft，公式表示为：
ft＝fct(Ft(P([I0,I1,...,IN]))) (2)
所述特征融合工序是指：将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft按照注意力分配的权重(α0,α1)整合，得到最终用来判别的双流特征向量f，用公式表示为：
Figure BDA0002938048320000031
f＝(fc(concat(α0*fs,α1*ft))) (4)
所述时序结果判别工序是指：通过时序网络GRU(门控循环单元)对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感。
优选地，所述预处理工序中，采用OpenFace对自然场景视频分帧，并检测以及裁剪出人脸所在区域，并通过TSN思想以间隔M帧来抽取关键帧。
优选地，所述空间特征提取工序中，采用基于ResNet50的卷积神经网络提取图形特征，之后通过全连接层fcs、批归一化和激活层构成的MLP结构提取特征向量fs。
优选地，所述时间相位差特征提取工序中，对空间面部图片对应的相邻帧[I0,I1,...,IN]进行2D傅里叶变换处理，然后采用方向可操纵金字塔P和逆傅里叶变换提取得到相邻帧[I0,I1,...,IN]相位特征，之后通过帧间相减得到相位差特征，并通过减去平均值以修正刚性运动造成的误差。
优选地，所述特征融合工序中，将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft用全连接层计算边界损失约束的注意力权重，按照注意力权重进行整合来获取双流特征向量f。
优选地，所述时序结果判别工序中，量化的面部情感的活跃程度和积极/消极程度是通过将时间范围内多帧图片对应的双流特征向量f输入时序网络GRU，时序网络GRU通过更新门和重置门更新时序状态关联，时序网络GRU输出门输出判别结果来实现的。
一种基于双流网络的面部情感识别装置，其特征在于：包括：
预处理模块，用于从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；
空间特征提取模块，用于通过卷积神经网络(Fs)提取各个面部图片I的空间特征，并通过全连接层fcs转化为特征向量fs；
时间相位差特征提取模块，用于采用方向可操纵金字塔P对各个面部图片I对应的相邻帧[I0,I1,...,IN]分别提取用于表示微观面部情感的多尺度的相位差特征，并通过卷积层Ft和全连接层fct转换为特征向量ft；
特征融合模块，用于将空间特征提取模块和时间相位差特征提取模块提取的特征向量fs和ft按照注意力分配的权重(α0,α1)整合，得到最终用来判别的双流特征向量f；
时序结果判别模块，用于通过时序网络GRU对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感。
一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述基于双流网络的面部情感识别方法。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述基于双流网络的面部情感识别方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明通过对自然场景中的数据集进行预处理，通过提取空间特征和时间相位差特征，将时间与空间特征融合，并通过GRU循环神经网络计算帧间关系，最终得到情感识别的模型，实现自然场景中视频的面部情感的准确识别；基于现有的工作可知，在对自然场景中视频的面部情感识别问题上，面部的空间特征相对于时间特征再进行判别时起到更重要的作用；因此，如何衡量时间和空间特征的重要程度，如何更好进行时空特征的融合，对面部情感识别起到重要作用；通过在边界损失约束的前提下训练注意力权重，按照注意力权重进行整合来获取双流特征向量，在保证整体时空特征重要性差异约束的前提下，通过机器学习自动找寻每一维度的时空权重分布，使得最后融合的特征更利于面部情感的判别；因此，本发明面部情感识别准确率高，识别效率高，具有良好的识别效果；可用于人类情感计算以及人机交互系统，可提高面部情感相关系统的工作效率；
2、本发明通过使用TSN相关思想抽取特定关键帧，在不丢失微观情感信息的同时大大降低了计算时间，提高了系统运作的实时性。
附图说明
图1是本发明基于双流网络的面部情感识别方法的流程图；
图2是本发明基于双流网络的面部情感识别方法，自然场景视频中宏观微观面部情感的示例图；
图3是本发明基于双流网络的面部情感识别方法，方向可操纵金字塔提取相位特征的流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种基于双流网络的面部情感识别方法，其流程如图1所示，包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序。
所述预处理工序是指：从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I。
采用OpenFace对自然场景视频分帧，并检测以及裁剪出人脸所在区域，并通过TSN思想以间隔M帧来抽取关键帧。
所述空间特征提取工序是指：通过在VggFace2预训练，fer2013plus微调之后的ResNet50卷积神经网络(Fs)提取各个面部图片I的空间特征，并通过全连接层fcs转化为特征向量fs，公式表示为：
fs＝fcs(Fs(I)) (1)
采用基于ResNet50的卷积神经网络提取图形特征，之后通过全连接层fcs、批归一化和激活层构成的MLP结构提取特征向量fs。
所述时间相位差特征提取工序是指：采用方向可操纵金字塔P对面部图片I对应的相邻帧[I0,I1,...,IN]提取用于表示微观面部情感的多尺度的相位差特征(即是相移，局部相移与局部位移成比例，相邻帧之间的相移能将细微的面部变化转换为数学意义上的相位差，用具体的数字较为清晰的表示情感变化)，并通过卷积层Ft和全连接层fct转换为特征向量ft，公式表示为：
ft＝fct(Ft(P([I0,I1,...,IN]))) (2)
具体地说，对空间面部图片对应的相邻帧[I0,I1,...,IN]进行2D傅里叶变换处理，然后采用方向可操纵金字塔P滤波和逆傅里叶变换提取得到相邻帧[I0,I1,...,IN]相位特征，之后通过帧间相减得到相位差特征，如图3所示，并通过减去平均值以修正刚性运动造成的误差。
所述特征融合工序是指：将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft按照注意力分配的权重(α0,α1)整合，得到最终用来判别的双流特征向量f，用公式表示为：
Figure BDA0002938048320000061
f＝(fc(concat(α0*fs,α1*ft))) (4)
将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft用全连接层计算边界损失约束的注意力权重，按照注意力权重进行整合来获取双流特征向量f。
具体地说，将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft用一层全连接层处理，在保证整体时空特征重要性差异约束(随训练迭代次数增大的边界损失约束)的前提下，通过机器学习自动找寻每一维度的时空权重分布，并使权重差异维持在一定水平，使得最后融合的特征更利于面部情感的判别的同时又能有效利用时间特征，按照注意力权重对每一维度的时空特征进行整合，来获取双流特征向量。
所述时序结果判别工序是指：通过时序网络GRU对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，在已经识别每帧与相邻帧之间面部微观情感的前提下，通过对较长视频片段中多帧处理，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感。
量化的面部情感的活跃程度和积极/消极程度是通过将时间范围内多帧图片对应的双流特征向量f输入时序网络GRU，时序网络GRU计算时序状态关联，时序网络GRU输出门输出判别结果来实现的。
为实现上述基于双流网络的面部情感识别方法，本实施例提供一种基于双流网络的面部情感识别装置，包括：
预处理模块，用于从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；
空间特征提取模块，用于通过卷积神经网络(Fs)提取各个面部图片I的空间特征，并通过全连接层fcs转化为特征向量fs；
时间相位差特征提取模块，用于采用方向可操纵金字塔P对各个面部图片I对应的相邻帧[I0,I1,...,IN]分别提取用于表示微观面部情感的多尺度的相位差特征，并通过卷积层Ft和全连接层fct转换为特征向量ft；
特征融合模块，用于将空间特征提取模块和时间相位差特征提取模块提取的特征向量fs和ft按照注意力分配的权重(α0,α1)整合，得到最终用来判别的双流特征向量f；
时序结果判别模块，用于通过时序网络GRU对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感。
下面以具体实施示例进行说明。
本实施例基于双流网络的面部情感识别方法基于公开的自然场景下面部情感视频数据Aff-Wild，为自然场景视频面部情感识别提供了一种精准的解决方案，提高视频面部情感相关系统的工作效率，完善情感人机交互系统。
本实施例基于双流网络的面部情感识别的方法，包括如下步骤：
预处理工序：采用OpenFace对自然场景视频分帧并利用dlib检测以及裁剪自然场景视频中人脸图片帧人脸区域，将这些人脸图片全部处理为224×224×3大小规格的帧图片，并采用TSN的思想对其进行以4帧为间隔的关键帧抽取；
空间特征提取工序：首先采用基于ResNet50的卷积神经网络得到2048×7×7维的图形基本特征，随后通过全局平局池化即可获取2048×1维的嵌入向量，然后通过MLP结构转换为256×1维的特征向量fs；
时间相位差特征提取工序：首先以空间面部图片为中心选取相邻13帧面部图片，采用方向可操纵金字塔P等操作获维度分别为48×48×24、24×24×24的相位差特征，并转换为256×1维的特征向量ft；
特征融合工序：首先采用全连接层计算边界损失约束的注意力权重α0和α1，并按照注意力权重进行时空特征整合，得到最终用来判别的256×1维的双流特征向量f；
时序结果判别工序：首先将时间范围内多帧图片对应的双流特征向量输入128个隐藏单元的GRU，对它们通过特征计算和状态传递进行关联和判别，识别宏观面部情感，最终得到每一帧量化的面部情感的活跃程度([-1,1])和积极/消极程度([-1,1])。
面部情感可以通过维度上连续的Arousal-Valence空间表示，其中Arousal是指情绪的活跃程度，Valence是指情绪的积极或消极程度。他们的值属于[-1,1]之间的连续值。因此分类器的最后的输出维度数定为2，分别代表Arousal和Valence的预测值。
本发明面部情感识别的目的，主要通过提取相同倾向的情感的相似特征，根据不同倾向的情感的不同特征，构建一个用于判别面部情感的模型。通过将心理学，图形学，信息科学相关理论相结合，为人类情感计算以及人机交互系统的研究提供切实、有价值的参考。目前随着人工智能技术的发展，已经广泛用于心理疾病治疗，情感交互等领域。但目前针对自然场景视频中的情感识别还是一个具有较大挑战的问题，本实例通过对自然场景中的公开视频情感数据集进行预处理，通过提取空间特征和时间相位差特征，最终将时间和空间特征融合，并通过GRU进行时间关联，最终得到视频情感识别的模型，实现视频中的面部情感的准确识别，且通过实验对比可以发现，采用本发明方法在Aff-Wild数据集上能够取得优于其它方法的识别效果，体现了本发明所描述的方法的优越性以及先进性。
实施例二
本实施例一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的基于双流网络的面部情感识别方法。
实施例三
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例一所述的基于双流网络的面部情感识别方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于双流网络的面部情感识别方法，其特征在于：包括预处理工序、空间特征提取工序、时间相位差特征提取工序、特征融合工序以及时序结果判别工序；
所述预处理工序是指：从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；
所述空间特征提取工序是指：通过卷积神经网络(Fs)提取各个面部图片I的空间特征，并通过全连接层fcs转化为特征向量fs，公式表示为：
fs＝fcs(Fs(I)) (1)
所述时间相位差特征提取工序是指：采用方向可操纵金字塔P对面部图片I对应的相邻帧[I0,I1,...,IN]提取用于表示微观面部情感的多尺度的相位差特征，并通过卷积层Ft和全连接层fct转换为特征向量ft，公式表示为：
ft＝fct(Ft(P([I0,I1,...,IN]))) (2)
所述特征融合工序是指：将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft按照注意力分配的权重(α0,α1)整合，得到最终用来判别的双流特征向量f，用公式表示为：
Figure FDA0002938048310000011
f＝(fc(concat(α0*fs,α1*ft))) (4)
所述时序结果判别工序是指：通过时序网络GRU对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感。
2.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述预处理工序中，采用OpenFace对自然场景视频分帧，并检测以及裁剪出人脸所在区域，并通过TSN思想以间隔M帧来抽取关键帧。
3.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述空间特征提取工序中，采用基于ResNet50的卷积神经网络提取图形特征，之后通过全连接层fcs、批归一化和激活层构成的MLP结构提取特征向量fs。
4.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述时间相位差特征提取工序中，对空间面部图片对应的相邻帧[I0,I1,...,IN]进行2D傅里叶变换处理，然后采用方向可操纵金字塔P滤波和逆傅里叶变换提取得到相邻帧[I0,I1,...,IN]相位特征，之后通过帧间相减得到相位差特征，并通过减去平均值以修正刚性运动造成的误差。
5.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述特征融合工序中，将空间特征提取工序和时间相位差特征提取工序提取的特征向量fs和ft用全连接层计算边界损失约束的注意力权重，按照注意力权重进行整合来获取双流特征向量f。
6.根据权利要求1所述的基于双流网络的面部情感识别方法，其特征在于：所述时序结果判别工序中，量化的面部情感的活跃程度和积极/消极程度是通过将时间范围内多帧图片对应的双流特征向量f输入时序网络GRU，时序网络GRU通过更新门和重置门更新时序状态关联，时序网络GRU输出门输出判别结果来实现的。
7.一种基于双流网络的面部情感识别装置，其特征在于：包括：
预处理模块，用于从自然场景视频中检测并裁剪出人脸所在区域，并按照时间段抽取若干关键帧，将各个关键帧裁剪出的面部区域作为待识别的面部图片I；
空间特征提取模块，用于通过卷积神经网络(Fs)提取各个面部图片I的空间特征，并通过全连接层fcs转化为特征向量fs；
时间相位差特征提取模块，用于采用方向可操纵金字塔P对各个面部图片I对应的相邻帧[I0,I1,...,IN]分别提取用于表示微观面部情感的多尺度的相位差特征，并通过卷积层Ft和全连接层fct转换为特征向量ft；
特征融合模块，用于将空间特征提取模块和时间相位差特征提取模块提取的特征向量fs和ft按照注意力分配的权重(α0,α1)整合，得到最终用来判别的双流特征向量f；
时序结果判别模块，用于通过时序网络GRU对时间范围内多帧面部图片I对应的双流特征向量f进行关联和判别，识别宏观面部情感，最终得到每帧面部图片I量化的面部情感的活跃程度和积极/消极程度，从而识别面部情感。
8.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-6中任一项所述的基于双流网络的面部情感识别方法。
9.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6中任一项所述的基于双流网络的面部情感识别方法。
CN202110168280.7A 2021-02-07 2021-02-07 基于双流网络的面部情感识别方法、装置、介质及设备 Active CN112801009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168280.7A CN112801009B (zh) 2021-02-07 2021-02-07 基于双流网络的面部情感识别方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168280.7A CN112801009B (zh) 2021-02-07 2021-02-07 基于双流网络的面部情感识别方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN112801009A true CN112801009A (zh) 2021-05-14
CN112801009B CN112801009B (zh) 2023-02-14

Family

ID=75814703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168280.7A Active CN112801009B (zh) 2021-02-07 2021-02-07 基于双流网络的面部情感识别方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN112801009B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114117945A (zh) * 2022-01-26 2022-03-01 南京信息工程大学 基于用户-服务交互图的深度学习云服务QoS预测方法
US20230367854A1 (en) * 2022-05-10 2023-11-16 Bank Of America Corporation Creating feature based image recognition subclasses for identity verification
CN117275070A (zh) * 2023-10-11 2023-12-22 中邮消费金融有限公司 基于微表情的视频面签处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164478A1 (ko) * 2016-03-25 2017-09-28 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
US20190228215A1 (en) * 2018-01-19 2019-07-25 Board Of Regents, The University Of Texas System Systems and methods for evaluating individual, group, and crowd emotion engagement and attention
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN111709266A (zh) * 2020-03-26 2020-09-25 杭州尚课网络科技有限公司 基于时空融合网络的面部表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164478A1 (ko) * 2016-03-25 2017-09-28 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
US20190228215A1 (en) * 2018-01-19 2019-07-25 Board Of Regents, The University Of Texas System Systems and methods for evaluating individual, group, and crowd emotion engagement and attention
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN111709266A (zh) * 2020-03-26 2020-09-25 杭州尚课网络科技有限公司 基于时空融合网络的面部表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何晓云 等: "基于注意力机制的视频人脸表情识别", 《信息技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114117945A (zh) * 2022-01-26 2022-03-01 南京信息工程大学 基于用户-服务交互图的深度学习云服务QoS预测方法
CN114117945B (zh) * 2022-01-26 2022-04-15 南京信息工程大学 基于用户-服务交互图的深度学习云服务QoS预测方法
US20230367854A1 (en) * 2022-05-10 2023-11-16 Bank Of America Corporation Creating feature based image recognition subclasses for identity verification
CN117275070A (zh) * 2023-10-11 2023-12-22 中邮消费金融有限公司 基于微表情的视频面签处理方法及系统
CN117275070B (zh) * 2023-10-11 2024-06-18 中邮消费金融有限公司 基于微表情的视频面签处理方法及系统

Also Published As

Publication number Publication date
CN112801009B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN112801009B (zh) 基于双流网络的面部情感识别方法、装置、介质及设备
WO2023050295A1 (zh) 一种基于多模态异质特征融合的视频密集事件描述方法
Chao et al. Long short term memory recurrent neural network based multimodal dimensional emotion recognition
Rui et al. Segmenting visual actions based on spatio-temporal motion patterns
Ahmad et al. Human action recognition using deep multilevel multimodal (${M}^{2} $) fusion of depth and inertial sensors
CN114220035A (zh) 一种基于改进yolo v4的快速害虫检测方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
Avola et al. Deep temporal analysis for non-acted body affect recognition
CN112699785B (zh) 基于维度情感模型的群体情感识别与异常情感检测方法
Jin et al. Learning dynamic relationships for facial expression recognition based on graph convolutional network
CN105930793B (zh) 一种基于sae特征可视化学习的人体检测方法
Zhang et al. Intelligent Facial Action and emotion recognition for humanoid robots
CN110348492A (zh) 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法
Ullah et al. Emotion recognition from occluded facial images using deep ensemble model
CN103345623B (zh) 一种基于鲁棒相对属性的行为识别方法
Hristov Real-time abnormal human activity detection using 1DCNN-LSTM for 3D skeleton data
Bilang et al. Cactaceae detection using MobileNet architecture
Peng Research on Emotion Recognition Based on Deep Learning for Mental Health
CN114898471B (zh) 一种基于人体骨架特征的行为检测方法及存储介质
CN115546491A (zh) 一种跌倒报警方法、系统、电子设备及存储介质
Xu et al. New advances in remote heart rate estimation and its application to deepfake detection
CN110287761A (zh) 一种基于卷积神经网络和隐变量分析的人脸年龄估计方法
CN115937894A (zh) 一种基于人体姿态识别的军事训练方法及系统
Kwon et al. Facial Emotion Recognition using Landmark coordinate features
Xie et al. ResNet with attention mechanism and deformable convolution for facial expression recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant