CN111709266A - 基于时空融合网络的面部表情识别方法 - Google Patents

基于时空融合网络的面部表情识别方法 Download PDF

Info

Publication number
CN111709266A
CN111709266A CN202010221398.7A CN202010221398A CN111709266A CN 111709266 A CN111709266 A CN 111709266A CN 202010221398 A CN202010221398 A CN 202010221398A CN 111709266 A CN111709266 A CN 111709266A
Authority
CN
China
Prior art keywords
module
fusion
expression
space
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010221398.7A
Other languages
English (en)
Inventor
黄军民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shangke Network Technology Co ltd
Original Assignee
Hangzhou Shangke Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shangke Network Technology Co ltd filed Critical Hangzhou Shangke Network Technology Co ltd
Priority to CN202010221398.7A priority Critical patent/CN111709266A/zh
Publication of CN111709266A publication Critical patent/CN111709266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于时空融合网络的人脸表情识别方法，包括如下步骤：首先，对输入图像进行预处理；然后，构建了可以从时域和空域两个不同维度上分别学习人脸表情特征的时空融合网络，利用训练样本对时空融合网络的两个模块分别进行训练，最后利用一种基于微调策略的最佳融合方法将不同维度学习到的表情时空特征有效融合；测试时将待检测的人脸表情图像序列输入到训练好的时空融合网络中，得到表情的分类类别。本发明具有如下有益效果：本发明使用基于微调策略的最佳融合方法，能够更加有效的将学习到的表情时空特征进行融合，提高了对表情特征的学习能力；能够提高面部表情识别的准确率。

Description

基于时空融合网络的面部表情识别方法
技术领域
本发明涉及面部表情识别技术领域，尤其是涉及一种能够提高面部表情识别准确率的基于时空融合网络的面部表情识别方法。
背景技术
面部表情是人类传递情感状态最自然和普遍的信号之一，表情识别在商业、安全、医学等领域有着广泛的应用前景，能够快速准确地识别出面部表情对其研究与应用具有重要意义。目前针对面部表情识别的研究大致可以分为两类：基于静态图像的方法和基于动态视频序列的方法。基于静态图像中的人脸表情识别只需要利用表情的峰值图像就可以进行识别。但是，表情产生的本身对应着一个连续的面部肌肉运动过程，仅使用其中的静态峰值表情图像会丢失一些重要信息，例如：面部表情的运动信息。因此，为了进一步集成表情的时域特征，我们需要研究基于动态视频序列的人脸表情识别方法，以提升算法的表情识别性能。
近几年，研究人员提出了一系列基于视频序列的人脸表情识别方法，但是作为特殊的面部分析任务，人脸表情识别具有其自身的特点。特别地，人脸表情可以被认为是人脸上关键组件(例如眉毛、眼睛，鼻子和嘴巴)的动态变化，这些关键组件的变化组合在一起即形成了整个人脸表情的变化。针对人脸面部关键组件的动态变化，已有方法尝试通过手工设计或者深度学习的方法从连续帧中提取出时域上的动态表情特征。但是，一方面，手工设计的特征通常难以正确提取出蕴藏在面部图像序列中的时域特征；另一方面，直接将图像序列输入到深度神经网络中，无法有效利用人脸关键组件的先验知识，不利于表情时域特征的学习。
发明内容
本发明为了克服现有技术中存在的基于视频特征的表情分类十分困难，无法准确地提取出人脸表情在时域上的运动特征，以及无法将学习到了表情时空特征进行有效融合，这将导致网络的学习能力不足，识别准确率低的不足，提供了一种能够提高面部表情识别准确率的基于时空融合网络的面部表情识别方法。
为了实现上述目的，本发明采用了以下技术方案：
一种基于时空融合网络的面部表情识别方法，包括如下步骤：
(1-1)输入视频序列的预处理；
(1-2)构建双流时空融合网络；
(1-2-1)利用LTCNN模块提取面部表情的时域特征；
(1-2-2)利用DMF模块提取面部表情的空域特征；
(1-2-3)利用微调融合模块将两个不同维度的表情时空特征有效融合；
(1-3)对面部表情图像序列进行分类。
本发明输入的是带有面部表情信息的人脸视频序列，首先，对输入视频序列进行预处理；然后，构建了可以从时域和空域两个不同维度上分别学习人脸表情特征的时空融合网络，利用训练样本对时空融合网络的两个模块分别进行训练；最后利用一种基于微调策略的最佳融合方法将不同维度学习到的表情特征有效融合；测试时将待检测的人脸表情视频序列输入到训练好的时空融合网络中，得到表情的分类类别。
作为优选，步骤(1-2-1)的具体步骤如下：
(2-1)初始化LTCNN模块；
(2-2)LTCNN模块由四个卷积层、两个全连接层和一个Softmax分类层组成，通过其中的卷积层和全连接层对输入的类特征图进行进一步的高级别语义特征提取，以学习得到类特征图中关键点轨迹中蕴含的更具判别性的表情时域特征；
(2-3)最后，以交叉熵作为损失函数来训练网络，通过Softmax层来估计表情类别。
作为优选，步骤(1-2-2)的具体步骤如下：
(3-1)初始化DMF模块中的DCNN子模块；
(3-2)在人脸表情数据库上，利用softmax损失函数对DCNN子模块进行调整，得到预训练的DCNN子模块；
(3-3)DCNN子模块使用多个全连接的分支层，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...，N}；
(3-4)将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}。
(3-5)在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点
Figure BDA0002426211550000031
与查询样本具有相同表情的图像样本作为正样本
Figure BDA0002426211550000032
具有不同表情的图像样本作为负样本
Figure BDA0002426211550000033
则对称三元组损失的形式如下
Figure BDA0002426211550000034
(3-6)将N-metric子模块中所有分支学习到的表情空域特征进行融合；
(3-7)使用两个全连接层，联合softmax损失函数进行面部表情分类。
作为优选，步骤(1-2-3)的具体步骤如下：
(4-1)采用基于微调的融合策略将两个模块学习到的表情时空特征更好的互补融合。
作为优选，步骤(4-1)中基于微调的融合策略其具体步骤如下：
(5-1)首先采用不同的学习率和学习策略对LTCNN和DMF模块分别进行训练；
(5-2)去掉训练好的两个模块中网络的softmax层，并把两个网络的最后一个全连接层级联在一起，作为后面一个新加的全连接层的输入，构成时空融合网络，实现两个网络输出特征的有效融合；
(5-3)最后，我们对由预训练好的DMF和LTCNN模块结合在一起的时空融合网络进行进一步的微调训练，并通过softmax层进行表情分类。采用四种不同的微调方案，以非常小的学习率进行网络调整。
作为优选，步骤(5-3)中四种不同微调方案的具体步骤如下：
(6-1)局部微调,固定两个模块参数，只微调最后面新加的全连接融合层和softmax分类层；
(6-2)固定DMF模块的微调，固定DMF模块中的参数，联合微调LTCNN模块以及后面新加的全连接融合层和softmax分类层；
(6-3)固定LTCNN模块的微调：固定LTCNN模块中的参数，联合微调DMF模块以及后面新加的全连接融合层和softmax分类层。
(6-4)整体微调：对时空融合网络中的所有模块进行整体联合微调。
作为优选，步骤(1-3)的具体步骤如下：
(7-1)在训练期间，首先单独训练好时空融合网络中的DMF和LTCNN子网络。DMF模块的总损失定义如下：
Figure BDA0002426211550000041
其中loss0为softmax损失函数的损失；LTCNN模块的损失为softmax损失函数。
(7-2)基于不同的微调融合策略进行微调，最终由微调融合模块中的softmax分类层进行最终分类。
作为优选，步骤(1-1)的具体步骤如下：
(8-1)利用序列归一化方法将所有序列统一为包含11帧的固定序列，然后使用面部关键点来剪裁每帧感兴趣的面部区域并对剪裁后的图像进行缩放得到固定的面部图像序列；
(8-2)针对固定的面部图像序列，使用关键点提取算法提出每帧图像的51个关键点坐标，从而来构成类特征图，并采用在线的数据增强方法对类特征图进行图像增强，增强过的类特征图作为LTCNN模块的输入数据；
(8-3)抽取出每个序列的最后一张表情峰值帧图像，采用离线和在线的数据增强方法对峰值表情图像进行图像增强，增强过的图像作为DMF模块的输入数据。
因此，本发明具有如下有益效果：本发明利用人脸关键点轨迹卷积神经网络来准确地提取出人脸表情在时域上的运动特征，利用深度度量融合网络来提取出人脸表情的空域特征，这使得学习到的表情特征更具有多样性和鲁棒性；本发明使用基于微调策略的最佳融合方法，能够更加有效的将学习到的表情时空特征进行融合，提高了对表情特征的学习能力；能够提高面部表情识别的准确率。
附图说明
图1是本发明的一种流程图；
图2是本发明数据预处理的结果示意图；
图3是本发明的时空融合网络的一种结构示意图；
图4是本发明的时域特征提取模块——人脸关键点轨迹卷积神经网络的一种结构示意图；
图5是本发明的空域特征提取模块——深度度量融合网络的一种结构示意图；
图6是本发明的微调融合模块的一种结构示意图；
具体实施方式
下面结合附图与具体实施方式对本发明做进一步描述：
如图1所示的实施例是一种基于时空融合网络的面部表情识别方法，包括如下步骤：
步骤100，输入视频序列的预处理
101序列归一化
原始视频序列如图2中(a)所示，以序列的起始帧作为第一帧、表情峰值帧作为第11帧，再等间隔地从序列中选取出其他9帧图像，最终将所有序列统一为包含11帧的固定序列。然后，对固定序列中的每一帧，使用面部关键点来剪裁感兴趣的面部区域，并将对剪裁后的图像进行缩放，缩放到236*236的大小，得到帧数归一化后的面部图像序列，如图2中(b)所示。
102关键点检测与标准化
使用面部关键点检测来提出人脸图像中的51个人脸关键点，分别对应眉毛、眼睛、鼻子和嘴巴这四个表情表现集中的区域，面部关键点序列如图2中(c)所示。令P(t)为第t帧的关键点，则P(t)为：
P(t)＝[x1 (t),y1 (t),x2 (t),y2 (t),...,x51 (t),y51 (t)]
其中，(xi (t),yi (t))为第t帧中第i个关键点的坐标。将每个点的坐标减去鼻子中心点的坐标，然后将每个坐标除以当前序列所有帧中关键点坐标的标准差来进行关键点标准化：
Figure BDA0002426211550000061
其中，(xc (t),yc (t))是第t帧中鼻子中心点的坐标，(σx,σy)为当前序列所有帧中关键点坐标的标准差。
103输入数据生成
将关键点的X/Y坐标分开两个通道存储，得到一个11*51*2大小的双通道类特征图作为LTCNN模块的输入数据；将图像序列的最后一帧表情峰值图像作为DMF模块的输入数据，如图2中(d)所示。
104数据增强
类特征图增强：采用在线数据增强的方式，对关键点随机进行水平翻转，并在关键点坐标中随机添加高斯噪声，具体形式如下：
Figure BDA0002426211550000062
其中，
Figure BDA0002426211550000063
表示在第t帧中，第i个关键点的x坐标上添加的噪声，设置
Figure BDA0002426211550000064
类似地，可以为关键点的y坐标添加噪声，作为LTCNN模块的输入数据。
表情峰值图像增强：采用离线和在线的数据增强方式对图像进行增强，离线增强即将输入图像相应旋转{-10°，-5°，0，5°，10°}得到增强后的图像数据；在线增强即在网络训练时将图像随机从四个方向(中心，左上，左下，右上，右下)裁剪出224*224大小的图像，并随机水平翻转，作为DMF模块的输入数据。
步骤200，构建时空融合网络
如图3所示，时空融合网络主要由三个模块构成：提取面部表情时域特征的LTCNN模块、提取面部表情空域特征的DMF模块，以及融合时空表情特征的微调融合模块。
步骤201，利用LTCNN模块提取面部表情时域特征
如图4所示，LTCNN模块由4个卷积层以及2个全连接层构成，每个卷积层中卷积核的大小和数量如图3所示，两个全连接层分别含有1024、256个神经元。在训练期间，该模块使用Xavier进行初始化，并由softmax损失函进行约束。
步骤202，利用DMF模块提取面部表情空域特征
如图5所示，用VGG16-Face model初始化其中的DCNN子模块；在FER2013人脸表情数据库上，利用softmax损失函数对DCNN子模块进行微调，得到预训练的DCNN子模块；
N-metric子模块使用多个全连接的分支层，每个分支层含有512个神经元，DCNN子模块的最后一层全连接作为N-metric子模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...，N}；将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}；
在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点
Figure BDA0002426211550000071
与查询样本具有相同表情的图像样本作为正样本
Figure BDA0002426211550000072
具有不同表情的图像样本作为负样本
Figure BDA0002426211550000073
则对称三元组损失的形式如下
Figure BDA0002426211550000074
Figure BDA0002426211550000081
步骤203，利用微调融合模块融合学习到的表情时空特征
如图6所示，去掉训练好的两个模块中网络的softmax层，并把两个网络的最后一个全连接层级联在一起，作为后面一个新加的全连接层的输入，该全连接层大小为512个神经元，实现两个网络输出特征的融合，然后将融合特征输入到最后的softmax层进行表情分类。采用四种不同的微调策略：
(1)局部微调,固定两个模块参数，只微调最后面新加的全连接融合层和softmax分类层；
(2)固定DMF模块的微调，固定DMF模块中的参数，联合微调LTCNN模块以及后面新加的全连接融合层和softmax分类层；
(3)固定LTCNN模块的微调：固定LTCNN模块中的参数，联合微调DMF模块以及后面新加的全连接融合层和softmax分类层。
(4)整体微调：对时空融合网络中的所有模块进行整体联合微调。
步骤300，对面部表情图像序列进行分类
在训练期间，首先单独训练好时空融合网络中的DMF和LTCNN子网络。DMF模块的总损失定义如下：
Figure BDA0002426211550000082
其中loss0为softmax损失函数的损失；LTCNN模块的损失为softmax损失函数。然后基于不同的微调融合策略进行微调，最终由微调融合模块中的softmax分类层进行最终分类。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (8)

1.一种基于时空融合网络的面部表情识别方法，其特征在于，包括如下步骤：
(1-1)输入视频序列的预处理；
(1-2)构建双流时空融合网络；
(1-2-1)利用LTCNN模块提取面部表情的时域特征；
(1-2-2)利用DMF模块提取面部表情的空域特征；
(1-2-3)利用微调融合模块将两个不同维度的表情时空特征有效融合；
(1-3)对面部表情图像序列进行分类。
2.根据权利要求1所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(1-2-1)的具体步骤如下：
(2-1)初始化LTCNN模块；
(2-2)LTCNN模块包括四个卷积层、两个全连接层和一个Softmax分类层，通过其中的卷积层和全连接层对输入的类特征图进行进一步的高级别语义特征提取，以学习得到类特征图中关键点轨迹中蕴含的更具判别性的表情时域特征；
(2-3)最后，以交叉熵作为损失函数来训练网络，通过Softmax层来估计表情类别。
3.根据权利要求1所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(1-2-2)的具体步骤如下：
(3-1)初始化DMF模块中的DCNN子模块；
(3-2)在人脸表情数据库上，利用softmax损失函数对DCNN子模块进行调整，得到预训练的DCNN子模块；
(3-3)DCNN子模块使用多个全连接的分支层，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...，N}；
(3-4)将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}。
(3-5)在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点
Figure FDA0002426211540000021
与查询样本具有相同表情的图像样本作为正样本
Figure FDA0002426211540000022
具有不同表情的图像样本作为负样本
Figure FDA0002426211540000023
则对称三元组损失的形式如下
Figure FDA0002426211540000024
(3-6)将N-metric子模块中所有分支学习到的表情空域特征进行融合；
(3-7)使用两个全连接层，联合softmax损失函数进行面部表情分类。
4.根据权利要求1所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(1-2-3)的具体步骤如下：
(4-1)采用基于微调的融合策略将两个模块学习到的表情时空特征更好的互补融合。
5.根据权利要求4所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(4-1)中基于微调的融合策略其具体步骤如下：
(5-1)首先采用不同的学习率和学习策略对LTCNN和DMF模块分别进行训练；
(5-2)去掉训练好的两个模块中网络的softmax层，并把两个网络的最后一个全连接层级联在一起，作为后面一个新加的全连接层的输入，构成时空融合网络，实现两个网络输出特征的有效融合；
(5-3)最后，我们对由预训练好的DMF和LTCNN模块结合在一起的时空融合网络进行进一步的微调训练，并通过softmax层进行表情分类。采用四种不同的微调方案，以非常小的学习率进行网络调整。
6.根据权利要求5所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(5-3)中四种不同微调方案的具体步骤如下：
(6-1)局部微调,固定两个模块参数，只微调最后面新加的全连接融合层和softmax分类层；
(6-2)固定DMF模块的微调，固定DMF模块中的参数，联合微调LTCNN模块以及后面新加的全连接融合层和softmax分类层；
(6-3)固定LTCNN模块的微调：固定LTCNN模块中的参数，联合微调DMF模块以及后面新加的全连接融合层和softmax分类层。
(6-4)整体微调：对时空融合网络中的所有模块进行整体联合微调。
7.根据权利要求1所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(1-3)的具体步骤如下：
(7-1)在训练期间，首先单独训练好时空融合网络中的DMF和LTCNN子网络。DMF模块的总损失定义如下：
Figure FDA0002426211540000031
其中loss0为softmax损失函数的损失；LTCNN模块的损失为softmax损失函数。
(7-2)基于不同的微调融合策略进行微调，最终由微调融合模块中的softmax分类层进行最终分类。
8.根据权利要求1所述的基于时空融合网络的面部表情识别方法，其特征在于，步骤(1-1)的具体步骤如下：
(8-1)利用序列归一化方法将所有序列统一为包含11帧的固定序列，然后使用面部关键点来剪裁每帧感兴趣的面部区域并对剪裁后的图像进行缩放得到固定的面部图像序列；
(8-2)针对固定的面部图像序列，使用关键点提取算法提出每帧图像的51个关键点坐标，从而来构成类特征图，并采用在线的数据增强方法对类特征图进行图像增强，增强过的类特征图作为LTCNN模块的输入数据；
(8-3)抽取出每个序列的最后一张表情峰值帧图像，采用离线和在线的数据增强方法对峰值表情图像进行图像增强，增强过的图像作为DMF模块的输入数据。
CN202010221398.7A 2020-03-26 2020-03-26 基于时空融合网络的面部表情识别方法 Pending CN111709266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221398.7A CN111709266A (zh) 2020-03-26 2020-03-26 基于时空融合网络的面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221398.7A CN111709266A (zh) 2020-03-26 2020-03-26 基于时空融合网络的面部表情识别方法

Publications (1)

Publication Number Publication Date
CN111709266A true CN111709266A (zh) 2020-09-25

Family

ID=72536786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221398.7A Pending CN111709266A (zh) 2020-03-26 2020-03-26 基于时空融合网络的面部表情识别方法

Country Status (1)

Country Link
CN (1) CN111709266A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380395A (zh) * 2020-10-30 2021-02-19 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
CN112801009A (zh) * 2021-02-07 2021-05-14 华南理工大学 基于双流网络的面部情感识别方法、装置、介质及设备
CN113239916A (zh) * 2021-07-13 2021-08-10 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质
CN115457643A (zh) * 2022-11-09 2022-12-09 暨南大学 一种基于增量技术和注意力机制的公平人脸表情识别方法
CN116168346A (zh) * 2023-04-21 2023-05-26 独数一智(北京)信息科技有限公司 一种基于学生行为捕捉的远程伴读监督系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380395A (zh) * 2020-10-30 2021-02-19 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
CN112380395B (zh) * 2020-10-30 2022-04-22 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
CN112801009A (zh) * 2021-02-07 2021-05-14 华南理工大学 基于双流网络的面部情感识别方法、装置、介质及设备
CN112801009B (zh) * 2021-02-07 2023-02-14 华南理工大学 基于双流网络的面部情感识别方法、装置、介质及设备
CN113239916A (zh) * 2021-07-13 2021-08-10 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质
CN113239916B (zh) * 2021-07-13 2021-11-30 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质
CN115457643A (zh) * 2022-11-09 2022-12-09 暨南大学 一种基于增量技术和注意力机制的公平人脸表情识别方法
CN116168346A (zh) * 2023-04-21 2023-05-26 独数一智(北京)信息科技有限公司 一种基于学生行为捕捉的远程伴读监督系统
CN116168346B (zh) * 2023-04-21 2023-08-18 独数一智(北京)信息科技有限公司 一种基于学生行为捕捉的远程伴读监督系统

Similar Documents

Publication Publication Date Title
CN111709266A (zh) 基于时空融合网络的面部表情识别方法
CN109165566B (zh) 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
Li et al. Action unit detection with region adaptation, multi-labeling learning and optimal temporal fusing
Zhang et al. From discriminant to complete: Reinforcement searching-agent learning for weakly supervised object detection
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN109829427B (zh) 一种基于纯度检测和空间注意力网络的人脸聚类方法
CN112784763B (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN108764207A (zh) 一种基于多任务卷积神经网络的人脸表情识别方法
CN109815826A (zh) 人脸属性模型的生成方法及装置
CN110378237B (zh) 基于深度度量融合网络的面部表情识别方法
CN112307995B (zh) 一种基于特征解耦学习的半监督行人重识别方法
CN110348416A (zh) 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法
Cheng et al. Cross-modality compensation convolutional neural networks for RGB-D action recognition
Zhang et al. Short and long range relation based spatio-temporal transformer for micro-expression recognition
CN109190561A (zh) 一种视频播放中的人脸识别方法及系统
CN112232184B (zh) 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN111950455A (zh) 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN112131970A (zh) 一种基于多通道时空网络和联合优化损失的身份识别方法
CN112330718B (zh) 一种基于cnn的三级信息融合视觉目标跟踪方法
Hu et al. Facial expression recognition using fusion features based on center-symmetric local octonary pattern
CN112001215A (zh) 一种基于三维唇动的文本无关说话人身份识别方法
CN112580572A (zh) 多任务识别模型的训练方法及使用方法、设备及存储介质
Wu et al. Parallel multi-path age distinguish network for cross-age face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination