CN114038041A - 一种基于残差神经网络和注意力机制的微表情识别方法 - Google Patents
一种基于残差神经网络和注意力机制的微表情识别方法 Download PDFInfo
- Publication number
- CN114038041A CN114038041A CN202111362700.1A CN202111362700A CN114038041A CN 114038041 A CN114038041 A CN 114038041A CN 202111362700 A CN202111362700 A CN 202111362700A CN 114038041 A CN114038041 A CN 114038041A
- Authority
- CN
- China
- Prior art keywords
- network
- micro
- output
- expression
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 230000014509 gene expression Effects 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000002790 cross-validation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 230000008034 disappearance Effects 0.000 abstract description 3
- 230000002123 temporal effect Effects 0.000 abstract description 3
- 230000008451 emotion Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于残差神经网络和注意力机制的微表情识别方法，结合了残差神经网络和时空注意力机制。为提高微表情识别准确率，设计了一种ME‑Attention模块，该模块利用空间注意力机制聚焦于微表情发生区域并增强该区域权重，利用时间注意力机制找出图像序列中微表情强度比较高的帧赋予更大权重。由于深层网络会在训练过程中遇到梯度消失的问题，导致识别准确率降低，而残差连接可以解决梯度消失的问题，因此将现有技术中的残差神经网络与本申请提出的ME‑Attention模块进行融合，作为网络基本块，用16个基本块堆叠构成本申请的网络模型。实验结果显示本申请的深度神经网络在微表情识别任务上的准确率比现有方法高。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于残差神经网络和注意力机制的微表情识别方法。
背景技术
目前计算机视觉和深度学习技术广泛应用于人脸识别系统，如表情识别、自动考勤、刷脸支付等领域。
微表情特指持续时间在0.04s至0.2s的无意识的细微的自发面部行为。由于微表情与人的心理活动密切相关且无法伪装或掩盖，因此微表情可以反映人的真实情感。微表情识别已经被广泛应用于医疗诊断、商业谈判、国家安全、司法审讯和许多人机交互系统。微表情识别是指将摄像头采集到的一系列数字图像作为输入，由算法对输入图像进行处理，最终输出一个情感类型作为情感判断的依据。
在微表情识别领域，由于微表情具有持续时间短暂、面部肌肉变化细微的特点，这些特点导致无论是人工识别或者计算机识别。最终的准确率都不高。
若采用深度学习方法来识别微表情，有两个方面需要考虑。第一，在识别过程中，神经网络的每一层都会提取到特定的信息，然而由于微表情发生区域较小且表情强度弱，需要神经网络在层中都聚焦于微表情发生区域，才能达到比较好的特征提取效果。第二，微表情通常是一段视频序列帧，需要注意微表情从未发生到发生到结束的时间点，着重注意这个序列中有微表情的帧。现有技术中，尚未出现同时综合考虑这两个方面的微表情识别方法。
发明内容
针对现有技术的不足，本发明提出了一种基于残差神经网络和注意力机制的微表情识别方法，设计了一种结合残差神经网络和时空注意力机制的深度神经网络。通过ME注意力模块，利用空间注意力机制聚焦于微表情发生区域并增强该区域权重，利用时间注意力机制找出图像序列中微表情强度比较高的帧赋予更大权重。提高微表情识别准确率。
一种基于残差神经网络和注意力机制的微表情识别方法，具体包括以下步骤：
步骤一、构建ME注意力模块
ME注意力模块输入层的输出包括4个分支，其中第2、第4分支不经过任何处理。第1分支依次经过平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数，再与第2分支相乘后作为空间赋权结果。第3分支依次经过平均池化层、卷积层和Sigmoid激活函数，再与第4分支相乘后作为时间赋权结果。将空间赋权结果与时间赋权结果相加后，作为结果输出。
步骤二、构建网络基本块
依次连接输入层、1x1卷积层、3x3卷积层、1x1卷积层与输出层，得到特征提取模块。再将特征提取模块的输入与输出残差连接，得到残差单元。将步骤一构建的ME注意力模块的输入与残差单元的3x3卷积层的输出相连，输出与残差单元的输出相加后送入输出层，得到网络基本块Block。
步骤三、构建识别网络
识别网络包括输入模块、基本块组合与分类模块。其中输入模块依次为7x7卷积层、批标准化、ReLu激活函数和最大池化层，输入模块的输出大小为56x56，输出通道数为64。基本块组合由16个依次连接的网络基本块Block组成，其中第1～3个网络基本块Block的输出大小为56x56，输出通道数为256；第4～7个网络基本块Block的输出大小为28x28，输出通道数为512；第8～13个网络基本块Block的输出大小为14x14，输出通道数为1024；第14～16个网络基本块Block的输出大小为7x7，输出通道数为2048。分类模块依次为平均池化层、全连接层和Softmax层，分类模块输出分类结果。
步骤四、训练识别网络
s4.1、使用大型视觉挑战赛训练的权重初始化步骤三构建的识别网络，然后固定输入模块与基本块组合的网络参数，使用人脸表情数据库中的数据对分类模块的网络参数进行训练。
s4.2、采用留一交叉验证法，对s4.1训练后的网络进行训练与测试，训练的输入数据为微表情数据库。所述留一交叉验证法为，测试过程使用的微表情数据与训练过程中使用微表情数据来自不同的人脸。
步骤五、微表情识别
将含有人脸微表情的图像或视频序列输入到步骤四训练后的识别网络中，网络输出分类结果，完成微表情的识别。
本发明具有以下有益效果：
1、设计了ME注意力模块，在并行双通道结构中利用空间注意力模块增大微表情感兴趣区域权重，利用时间注意力增大序列中微表情强度较大帧的权重，兼顾到了微表情识别中空间和时间两个维度的特征提取，与现有技术相比明显提高微表情分类准确度。
2、针对微表情数据库样本数量偏小的问题，本申请设计了三步训练法，首先训练网络具有初步的识别普通物体的能力，然后采用普通表情数据库对深层神经网络进行迁移训练，最后再进行微表情识别训练，解决了由于样本偏少导致深层神经网络训练欠拟合，识别精度不高的问题。
附图说明
图1为本申请构建ME注意力模块；
图2为本申请构建的网络基本块Block；
图3为本申请的识别网络示意图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
一种基于残差神经网络和注意力机制的微表情识别方法，分为深度神经网络构造，训练深度神经网络模型和使用训练得到的模型进行微表情分类三大步骤。首先需要构建出一个高性能深度神经网络，然后利用其他图像数据库对网络进行预训练和迁移训练。最后用微表情数据库进行训练及测试。本实施例在Windows10系统进行，GPU型号为NVIDIATitan XP。
具体包括以下步骤：
步骤一、构建ME注意力模块
如图1所示，ME注意力模块输入层的输出包括4个分支，其中第1分支为空间注意力机制，聚焦于微表情发生区域，并且能够增强该区域的权重，输入的图像在第1分支中依次经过平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数，输出空间权重图，空间注意力公式为：
Fs＝sigmoid(conv7×7(AvgPool(X)))
其中，X为输入数据，AvgPool为平均池化操作，conv7x7为用7x7卷积核进行卷积操作，sigmoid为使用sigmoid激活函数，Fs为得到的空间权重图。空间权重图Fs与第2分支相乘后作为空间赋权结果。
第3分支为时间注意力机制，聚焦于图像序列中微表情发生的帧，并且能够增强对应帧的权重，输入的图像在第3分支中依次经过平均池化层、卷积层和Sigmoid激活函数，输出时间权重图，时间注意力公式为：
Fc＝sigmoid(FC(AvgPool(X)))
其中，FC为全连接层，Fc为得到的时间权重图。时间权重图Fc与第4分支相乘后作为时间赋权结果。再将空间赋权结果与时间赋权结果相加，得到ME注意力模块的输出。
步骤二、构建网络基本块
依次连接输入层、1x1卷积层、3x3卷积层、1x1卷积层与输出层，得到特征提取模块。为了避免深度卷积神经网络训练中常常出现的梯度消失问题，将特征提取模块的输入与输出残差连接，得到残差单元。残差连接的公式为：
xi+1＝f(xi)+xi
其中，xi为残差单元的输入，xi+1为残差单元对应的输出，f为残差函数。再将步骤一构建的ME注意力模块的输入与残差单元的3x3卷积层的输出相连，输出与残差单元的输出相加后送入输出层，得到如图2所示的网络基本块Block。
步骤三、构建识别网络
识别网络包括输入模块、基本块组合与分类模块。其中输入模块依次为7x7卷积层、批标准化、ReLu激活函数和最大池化层，输入模块用于对输入识别网络的图像进行预处理，使进入基本块组合的图像保持大小为56x56。基本块组合由16个依次连接的网络基本块Block组成，用于提取输入图像的特征。其中第1～3个网络基本块Block的输出大小为56x56，输出通道数为256；第4～7个网络基本块Block的输出大小为28x28，输出通道数为512；第8～13个网络基本块Block的输出大小为14x14，输出通道数为1024；第14～16个网络基本块Block的输出大小为7x7，输出通道数为2048。浅层卷积层提取到的特征具体，深层卷积层提取到的特征抽象。分类模块依次为平均池化层、全连接层和Softmax层，分类模块将基本块组合中第16网络基本块Block提取到的特征作为输入，然后输出一个分类结果。本实施例中设置了微表情的类型为积极、消极与惊讶，分类模块每次会输出这3种中的任意一种作为分类结果。
步骤四、训练识别网络
s4.1、为了加快网络收敛过程，使用ImageNet数据集对步骤三构建的识别网络进行预训练，初始化识别网络的权重。本实施例选取了ImageNet数据集中的前200类物体的图像对识别网络进行预训练，预训练后的识别网络能够识别基本的物体。
s4.2、为了弥补微表情数据较少，网络训练不充分的缺点，使用普通的人脸表情数据库进行迁移学习。向s4.1训练后的网络输入CK+人脸表情数据库中的数据，固定输入模块与基本块组合的网络参数，对分类模块的网络参数进行训练。
s4.3、经过s4.2的训练，识别网络已经能够识别基本的人脸表情。此时再对其进行微表情识别训练。采用留一交叉验证法，向s4.2训练后的网络输入CASME II、SMIC-HS、SAMM、3DB这4个微表情数据库中的数据，进行最终的训练与测试，具体包括：
s4.3.1、对微表情数据库中的原始数据进行预处理，使用Dlib人脸检测器检测出68个人脸特征点，利用特征点将人脸区域截取出来，去除背景无关噪声。然后通过仿射变换调节人脸角度使人脸对齐：
其中，Dlib检测出的两个外眼角坐标编号分别为(x1，y1)和(x2，y2)，θ为计算得到的偏转角度。
s4.3.2、采用留一交叉验证法对网络进行训练、优化，选择微表情数据库中任意一名受试者的微表情数据作为测试集，其余受试者的样本作为训练集。使用深度学习框架pytorch-1.6、与Adam优化器，设置学习率为1x10-5，权重衰减系数为1x10-4，批尺寸大小为32，在训练集上对s4.2训练后的识别网络进行100次迭代优化，再使用测试集对迭代优化后的识别网络进行测试，计算测试结果的UAR(Unweighted Average Recall)和UF1(Unweighted F1-score)值：
其中C代表类别总数，TPi、FPi、FNi分别表示第i类的真阳性、假阳性、假阴性样本的数量，Ni代表第i类的样本数，N是类别数量。
本实施例与现有技术的微表情识别方法的结果比较如下表所示：
[1]See J,Yap M H,Li J,et al.Megc 2019–the second facial micro-expressions grand challenge[C]//2019 14th IEEE International Conference onAutomatic Face&Gesture Recognition(FG 2019).IEEE,2019:1-5.
[2]Liong S T,See J,Wong K S,et al.Less is more:Micro-expressionrecognition from video using apex frame[J].Signal Processing:ImageCommunication,2018,62:82-92.
[3]Van Quang N,Chun J,Tokuyama T.CapsuleNet for micro-expressionrecognition[C]//2019 14th IEEE International Conference on Automatic Face&Gesture Recognition(FG 2019).IEEE,2019:1-7.
[4]Zhou L,Mao Q,Xue L.Dual-inception network for cross-databasemicro-expression recognition[C]//2019 14th IEEE International Conference onAutomatic Face&Gesture Recognition(FG 2019).IEEE,2019:1-5.
[5]Nie X,Takalkar M A,Duan M,et al.GEME:Dual-stream multi-taskGEnder-based micro-expression recognition[J].Neurocomputing,2021,427:13-28.
Claims (8)
1.一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：具体包括以下步骤：
步骤一、构建ME注意力模块
ME注意力模块输入层的输出包括4个分支，其中第2、第4分支不经过任何处理；第1分支依次经过平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数，再与第2分支相乘后作为空间赋权结果；第3分支依次经过平均池化层、卷积层和Sigmoid激活函数，再与第4分支相乘后作为时间赋权结果；将空间赋权结果与时间赋权结果相加后，作为ME注意力模块的输出；
步骤二、构建网络基本块
依次连接输入层、1x1卷积层、3x3卷积层、1x1卷积层与输出层，得到特征提取模块；再将特征提取模块的输入与输出残差连接，得到残差单元；将步骤一构建的ME注意力模块的输入与残差单元的3x3卷积层的输出相连，输出与残差单元的输出相加后送入输出层，得到网络基本块Block；
步骤三、构建识别网络
识别网络包括输入模块、基本块组合与分类模块；输入模块用于将网络的输入数据设置为统一的大小；基本块组合包括16个依次连接的网络基本块Block，用于对输入模块输出的图像进行特征提取，其中浅层网络基本块Block的输出大、通道数少，深层网络基本块Block的输出小、通道数多；分类模块将基本块组合提取到的特征作为输入，输出识别结果；
步骤四、训练识别网络
使用大型视觉挑战赛训练的权重初始化步骤三构建的识别网络，然后固定输入模块与基本块组合的网络参数，使用人脸表情数据库中的数据对分类模块的网络参数进行训练；再采用留一交叉验证法，输入微表情数据库进一步训练识别网络；
步骤五、微表情识别
将含有人脸微表情的图像或视频序列输入到步骤四训练后的识别网络中，网络输出分类结果，完成微表情的识别。
2.如权利要求1所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：ME注意力模块中，第1分支为空间注意力机制，聚焦于微表情发生区域，并增强该微表情发生区域的权重，输出空间权重信息，空间注意力公式为：
Fs＝sigmoid(conv7×7(AvgPool(X)))
其中，X为输入数据，AvgPool为平均池化操作，conv7x7为用7x7卷积核进行卷积操作，sigmoid为使用sigmoid激活函数，Fs为第1分支输出的空间权重图；第3分支为时间注意力机制，聚焦于图像序列中微表情发生的帧，并且能够增强微表情发生的帧的权重，输出时间权重信息，时间注意力公式为：
Fc＝sigmoid(FC(AvgPool(X)))
其中，FC为全连接层，Fc为第3分支输出的时间权重图。
3.如权利要求1所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：所述输入模块依次为7x7卷积层、批标准化、ReLu激活函数和最大池化层，输入模块的输出大小为56x56，输出通道数为64；基本块组合中，第1～3个网络基本块Block的输出大小为56x56，输出通道数为256；第4～7个网络基本块Block的输出大小为28x28，输出通道数为512；第8～13个网络基本块Block的输出大小为14x14，输出通道数为1024；第14～16个网络基本块Block的输出大小为7x7，输出通道数为2048；分类模块依次为平均池化层、全连接层和Softmax层。
4.如权利要求1所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：步骤四中使用ImageNet数据集对步骤三构建的识别网络进行预训练，初始化网络权重。
5.如权利要求1或4所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：初始化网络权重后，使用CK+人脸表情数据库中的数据对对分类模块的网络参数进行训练。
6.如权利要求1所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：所述留一交叉验证法为：选择微表情数据库中任意一名受试者的微表情数据作为测试集，其余受试者的样本作为训练集；在训练集上对识别网络进行进一步的迭代训练，迭代结束后再使用测试集验证训练后的识别网络性能。
7.如权利要求1或6所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：采用Adam优化器，设置学习率为1x10-5，权重衰减系数为1x10-4，批尺寸大小为32，迭代训练次数为100次。
8.如权利要求1或6所述一种基于残差神经网络和注意力机制的微表情识别方法，其特征在于：计算识别网络在测试集上测试结果的UAR和UF1值，判断网络精度，
其中C代表类别总数，TPi、FPi、FNi分别表示第i类的真阳性、假阳性、假阴性样本的数量，Ni代表第i类的样本数，N是类别数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111362700.1A CN114038041A (zh) | 2021-11-17 | 2021-11-17 | 一种基于残差神经网络和注意力机制的微表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111362700.1A CN114038041A (zh) | 2021-11-17 | 2021-11-17 | 一种基于残差神经网络和注意力机制的微表情识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114038041A true CN114038041A (zh) | 2022-02-11 |
Family
ID=80138105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111362700.1A Pending CN114038041A (zh) | 2021-11-17 | 2021-11-17 | 一种基于残差神经网络和注意力机制的微表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114038041A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524327A (zh) * | 2023-06-25 | 2023-08-01 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
| KR20200010680A (ko) * | 2018-07-11 | 2020-01-31 | 한국과학기술원 | 기계학습 모델을 이용하여 n개의 프레임에 기초하여 대상의 감정인식을 수행하는 감정인식 시스템, 방법, 및 컴퓨터-판독가능매체 |
| CN111797683A (zh) * | 2020-05-21 | 2020-10-20 | 台州学院 | 一种基于深度残差注意力网络的视频表情识别方法 |
| CN112307958A (zh) * | 2020-10-30 | 2021-02-02 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
| CN113408381A (zh) * | 2021-06-08 | 2021-09-17 | 上海对外经贸大学 | 基于自注意残差卷积神经网络的微表情分类方法 |
-
2021
- 2021-11-17 CN CN202111362700.1A patent/CN114038041A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200010680A (ko) * | 2018-07-11 | 2020-01-31 | 한국과학기술원 | 기계학습 모델을 이용하여 n개의 프레임에 기초하여 대상의 감정인식을 수행하는 감정인식 시스템, 방법, 및 컴퓨터-판독가능매체 |
| CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
| CN111797683A (zh) * | 2020-05-21 | 2020-10-20 | 台州学院 | 一种基于深度残差注意力网络的视频表情识别方法 |
| CN112307958A (zh) * | 2020-10-30 | 2021-02-02 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
| CN113408381A (zh) * | 2021-06-08 | 2021-09-17 | 上海对外经贸大学 | 基于自注意残差卷积神经网络的微表情分类方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524327A (zh) * | 2023-06-25 | 2023-08-01 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
| CN116524327B (zh) * | 2023-06-25 | 2023-08-25 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871780B (zh) | 一种人脸质量判决方法、系统及人脸识别方法、系统 | |
| CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN111539351B (zh) | 一种多任务级联的人脸选帧比对方法 | |
| Al-Modwahi et al. | Facial expression recognition intelligent security system for real time surveillance | |
| CN110826444A (zh) | 一种基于Gabor滤波器的人脸表情识别方法及系统 | |
| CN115171148A (zh) | 一种基于特定模态特征补偿的跨模态行人重识别方法 | |
| CN113076884A (zh) | 一种从近红外光到可见光的跨模态眼睛状态识别方法 | |
| Rothkrantz | Person identification by smart cameras | |
| CN114782997A (zh) | 基于多损失注意力自适应网络的行人重识别方法及系统 | |
| Kumar et al. | One-shot face recognition | |
| Kayumov et al. | Combined convolutional and perceptron neural networks for handwritten digits recognition | |
| CN114038041A (zh) | 一种基于残差神经网络和注意力机制的微表情识别方法 | |
| Saealal et al. | Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance | |
| Özkiper et al. | Fingerprint liveness detection using deep learning | |
| CN111860266A (zh) | 基于深度特征的伪装人脸识别方法 | |
| Mishra et al. | A Face Recognition Method Using Deep Learning to Identify Mask and Unmask Objects | |
| CN116030521A (zh) | 一种基于频域特征的微表情识别方法 | |
| US11514715B2 (en) | Deepfake video detection system and method | |
| CN112861949B (zh) | 一种基于人脸和声音的情绪预测方法和系统 | |
| Rai et al. | Handwritten signature verification using TensorFlow | |
| Yuan et al. | An efficient attention based image adversarial attack algorithm with differential evolution on realistic high-resolution image | |
| Kedari et al. | Face emotion detection using deep learning | |
| WO2008081152A2 (fr) | Procede et systeme de reconnaissance d'un objet dans une image | |
| Jiashu | Performance analysis of facial recognition: A critical review through glass factor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |