CN112001241A - 基于通道注意力机制的微表情识别方法及系统 - Google Patents
基于通道注意力机制的微表情识别方法及系统 Download PDFInfo
- Publication number
- CN112001241A CN112001241A CN202010687230.5A CN202010687230A CN112001241A CN 112001241 A CN112001241 A CN 112001241A CN 202010687230 A CN202010687230 A CN 202010687230A CN 112001241 A CN112001241 A CN 112001241A
- Authority
- CN
- China
- Prior art keywords
- frame
- optical flow
- micro
- micro expression
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本公开提出了一种基于通道注意力机制的微表情识别方法及系统,通过数据预处理获取微表情序列仅包含面部区域的起始帧与顶点帧;估算顶点帧与起始帧之间由于面部运动所产生的光流并计算光流强度并对光流水平分量、垂直分量以及光流强度进行标准化以突出面部的关键变化;将标准化后的光流水平分量、垂直分量以及光流强度输入到通道注意力模块增加网络对关键信息的关注度;使用浅层特征提取模块与多尺度模块进行特征的提取,其中,多尺度模块可以捕获不同强度的微表情所产生的多尺度特征;使用全连接层完成特征映射并输出分类结果;所设计的通道注意力模块通过对输入数据进行通道加权操作以提高模型对网络输入数据中关键信息的关注度,从而有利于网络学习更有效的特征。
Description
技术领域
本公开涉及计算机视觉和模式识别技术领域,特别是涉及一种基于通道注意力机制的微表情识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
微表情是一种人类在试图隐藏某种真实情感时无意识做出的、短暂的面部表情,通常会在人们经历得失、情势危急的时候出现;一个完整的微表情序列包含了三个重要的时间点,起始帧、顶点帧和终止帧。微表情具有以下特点:持续时间短暂,一个标准的微表情持续1/25到1/5秒,另外,微表情通常只出现在面部的特定部位,而且面部肌肉变化强度十分微弱,近年来,随着自发微表情数据集的建立以及计算机视觉技术的发展,微表情识别相关问题受到了越来越多研究者的关注;近几年越来越多的识别方法被提出并取得了不错的识别效果,远远超过了专业裸眼识别,微表情识别方法依据特征的提取方式可以将其划分为两类:手工特征方法和深度学习方法。
手工特征方法是早期的微表情识别方法的尝试,该类方法是指根据微表情的特点设计可以描述不同微表情时空特征的特征描述算子并将微表情的时空特征转化为特征向量的形式,然后使用机器学习分类器进行特征的分类以完成微表情的识别工作,特征描述算子可以加入更多的先验知识并且研究者可以依据人类的主观感受设计选择与任务相关度强的特征,具有计算简单和易于解释的优点,但是,手工特征方法通常需要建立复杂的特征工程,获得良好的分类结果需要经过冗长的参数调整过程。
深度学习方法所面临的困难主要有以下两点,一是现存的自发微表情数据集数量较少且每一个数据集中的样本数量十分有限;二是在单个数据集中存在类别不均衡的问题,即不同类别的样本之间数量相差较大,在微表情识别领域,手工特征方法与深度学习方法各有利弊且均能获得优于人工识别的准确率。但是由于微表情自身的面部运动特点以及数据的缺乏,使得如何充分学习微表情的关键特征仍然是微表情识别亟待解决的问题。
发明人发现,在微表情识别的深度学习方法中,网络的输入数据以及分类网络的设计决定了微表情识别的性能;一方面,在以多通道信息为网络输入的情况下,现存方法中并没有考虑每个通道的差异性,这在一定程度上限制了网络对关键信息的学习能力。另一方面,在设计网络结构时,如果网络过深会引入大量的参数使得模型较为复杂,并且会导致浅层信息的损失较多,限制了分类性能的提升;如果网络过浅,将难以充分的提取微表情的特征;另外,在微表情发生时,面部肌肉的变化强度因人而异导致了微表情特征具有多尺度的特点,这也给微表情特征的提取带来了挑战。
发明内容
本公开为了解决上述问题,提出了一种基于通道注意力机制的微表情识别方法及系统,本公开所述方案通过注意力模块赋予网络输入信息不同的权重,使得深度模型能够更加关注网络输入中更加重要的通道,用来突出各类微表情的关键特征,增强了深度模型的鲁棒性,同时提出的多尺度模块能够捕获不同强度微表情的多尺度特征,有利于提高深度模型的特征提取能力,增强了模型的泛化能力,有效提高了微表情的识别精度和效率。
根据本公开实施例的第一个方面,提供了一种基于通道注意力机制的微表情识别方法,包括:
获取训练样本中微表情图像序列的起始帧和顶点帧;
根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;
估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
构建基于通道注意力机制的微表情识别网络模型,利用所述三维张量对所述网络模型进行训练;
将作为待测微表情图像序列信息表示的的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
进一步的,所述基于通道注意力机制的微表情识别网络模型的训练,具体步骤包括:
利用所述三维张量作为网络模型的三通道输入数据,经过通道注意力模块后输出三通道特征张量(wx*F′x,wy*F′y,wmag*F′mag);
利用浅层特征提取模块对通道注意力模块输出的三通道特征张量提取浅层特征,并输出53*53*64的特征图;
利用多尺度模块对所述特征图提取不同尺度的空间运动特征;
利用特征分类模块对当前样本的所属类别进行预测。
根据本公开实施例的第二个方面,提供了一种基于通道注意力机制的微表情识别系统,包括:
训练样本预处理模块,用于获取训练样本中微表情图像序列的起始帧和顶点帧;根据起始帧的面部关键点位置,对所述起始帧和定点帧进行面部区域裁剪;估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
模型构建模块,用于构建基于通道注意力机制的微表情识别网络模型,并利用作为训练样本中微表情图像序列信息表示的所述三维张量对所述网络模型进行训练;
微表情识别模块,用于将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
根据本公开实施例的第三个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现所述的基于通道注意力机制的微表情识别方法。
根据本公开实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的基于通道注意力机制的微表情识别方法。
与现有技术相比,本公开的有益效果是:
(1)本公开提出了一种新颖的用于微表情识别的卷积神经网络,可以提取更丰富的微表情特征,有利于微表情识别精度的提升;
(2)本公开提出的注意力模块能够赋予网络输入信息不同的权重,使得深度模型能够更加关注网络输入中更加重要的通道以此突出各类微表情的关键特征,增强了深度模型的鲁棒性;
(3)本公开提出的多尺度模块能够捕获不同强度微表情的多尺度特征,有利于提高深度模型的特征提取能力,增强了模型的泛化能力。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为本公开实施例一中的方法框架图;
图2为本公开实施例一中的通道注意力结构图;
图3为本公开实施例一中的多尺度模块结构图;
图4本公开实施例一中的方法流程图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一:
本实施例的目的是提供一种基于通道注意力机制的微表情识别方法。
如图1和图4所示,分别展示了本公开基于通道注意力机制的微表情识别方法框架图和流程图,一种基于通道注意力机制的微表情识别方法,包括:
步骤(1):获取训练样本中微表情图像序列的起始帧和顶点帧;
步骤(2):根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;
步骤(3):估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
步骤(4):构建基于通道注意力机制的微表情识别网络模型,利用作为微表情图像序列信息表示的所述三维张量对所述网络模型进行训练;
步骤(5):将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
在一些可能的实现方式中,首先需要获取训练样本集合,所述训练样本集合包含一定数量的微表情序列,所述获取训练样本中微表情序列的起始帧与顶点帧包括:
步骤(1.1):计算微表情序列中每一帧Ti(i=1,...,n)与起始帧T1之间的光流Fi(i=1,...,n),其可以表示为Fi=(Fi,x,Fi,y),其中,Fi,x表示光流的水平分量,Fi,y表示光流的垂直分量;
在一些可能的实现方式中,通过起始帧的面部关键点位置,对起始帧与顶点帧进行裁剪包括:
步骤(2.1):使用Dlib提供的面部关键点检测算法检测当前微表情序列起始帧中的关键点位置(xi,yi),i∈(0,...,67),并将68个点依次编号0,...,67;
步骤(2.2):找到左侧内眼角坐标Eleft(x39,y39)与右侧内眼角坐标Eright(x42,y42),两内眼角的中心点位置M(xm,ym)可计算如下:
M(xm,ym)=((x39+x42)/2,(y39+y42)/2)
步骤(2.3):确定裁剪方案,包括裁剪区域的位置及大小,计算方式如下:
其中,p表示裁剪区域的起始位置,即裁剪区域左上角坐标。width与height分别为裁剪区域的宽高。裁剪区域的起始位置和裁剪区域的大小构成了裁剪方案;
步骤(2.4):使用上述裁剪方案对微表情序列的起始帧与顶点帧进行裁剪,得到大小为width*height的面部区域图像;
步骤(2.5):循环执行上述步骤n(n为数据集中样本的个数)次,完成数据集中全部样本的裁剪,使得每个样本中的起始帧与顶点帧图像仅包含面部。
在一些可能的实现方式中,估算起始帧与顶点帧之间的光流与光流强度,将光流水平分量、垂直分量以及光流强度标准化后形成三维张量作为微表情序列的信息表示包括:
步骤(3.1):对裁剪后的起始帧与顶点帧进行灰度化处理并将大小重新调整为224*224;灰度化处理公式如下:
GrayImg=R*0.299+G*0.587+B*0.114
其中,GrayImg为灰度化后的图像,R、G、B分别为裁剪后的起始帧或顶点帧的三个通道。
步骤(3.2):使用光流法估算顶点帧相对于起始帧由于面部运动所产生的光流(Fx,Fy),其中,Fx、Fy分别指光流在水平方向和垂直方向上的分量。
光流法可以利用图像之间亮度的变化来推断两帧之间物体的运动信息。具体的讲,在一个图像序列中,E(x,y,t)表示在t时刻像素点(x,y)的亮度值,E(x+Δx,y+Δy,t+Δt)表示在t+Δt时刻运动到像素点(x+Δx,y+Δy)的亮度值,根据亮度不变性的约束条件,可得:
E(x,y,t)=E(x+Δx,y+Δy,t+Δt)
等式右边根据泰勒公式展开可得:
ε为高阶无穷小,可忽略不计。因此,继续推导可得:
即
至此,可得在t时刻的光流(Fx,Fy)。在本实例中,我们使用的光流法为TV-L1算法,该算法具有更好的噪声鲁棒性和流动连续性。
步骤(3.3):计算光流强度Fmag,光流强度是指光流的变化幅度,可以衡量物体运动的快慢,其计算公式为:
步骤(3.4):对光流与光流强度进行标准化,所用标准化公式如下:
其中,fi为任一像素点的水平或垂直光流分量,T为过滤阈值,其作用是消除异常光流的影响,[0,255]为标准化后的新范围。
步骤(3.5):叠加标准化后的光流(F′x,F′y)与标准化后的光流强度F′mag得到作为微表情序列信息表示的三维张量(F′x,F′y,F′mag),其大小为224*224*3。
在一些可能的实现方式中,构建微表情识别网络模型,将所述三维张量作为网络的三通道输入数据输入到分类网络中进行模型的训练,完成微表情特征的学习与分类包括:
步骤(4.1):网络的三通道输入数据经过图2所示的通道注意力模块后输出(wx*F′x,wy*F′y,wmag*F′mag);
步骤(4.2):浅层特征提取模块对通道注意力模块的输出继续进行特征提取并输出大小为53*53*64的特征图;
步骤(4.3):利用图3所示的多尺度模块来获取不同尺度的空间运动特征。该模块可以更充分的学习微表情发生时所产生的面部运动特征;
步骤(4.4):使用由全连接层组成的特征分类模块将学习到的特征映射到样本标记空间,预测出当前样本所属类别。
在一些可能的实现方式中,所述步骤(4.1)的具体操作为:
步骤(4.11):设网络的三通道输入数据为X∈RW*H*3,对每一个通道进行全局平均池化处理,表示为:
其中,ak代表每个通道的全局平局池化结果,W、H分别表示通道的宽、高。
步骤(4.12):对步骤(4.11)得到的输出使用激活函数为ReLU的全连接层进行特征映射,其公式如下:
步骤(4.13):对步骤(4.12)得到的输出使用激活函数为Sigmoid的全连接层进行特征映射,其中Sigmoid的公式如下:
步骤(4.14):步骤(4.13)得到的输出经过激活函数为Softmax的全连接层获得通道关注度W={wx,wy,wmag},W中每个元素的计算公式如下:
步骤(4.15):将W={wx,wy,wmag}分别与对应的通道相乘得到通道注意力模块后输出特征(wx*F′x,wy*F′y,wmag*F′mag)。
在一些可能的实现方式中,所述步骤(4.3)的具体操作为:
步骤(4.31):使用空洞率为1、2、3的卷积单元对浅层特征提取模块的输出进行特征提取。设空洞率为r∈{1,2,3}的卷积核W对通道数为C=64的特征图X进行卷积运算,于是,输出通道c中的第i个结果可以表示为:
由此,可以得到空洞卷积单元的输出:
其中,Cout=48表示输出特征的通道数。
步骤(4.32):堆叠特征张量Y(1)、Y(2)、Y(3),得到:
Z=concat[Y(1),Y(2),Y(3),0]
步骤(4.33):使用1*1卷积对不同尺度的特征进行线性变换,并进一步降低特征Z的维度,提高网络学习效率。
步骤(4.34):使用flatten函数改变特征结构以得到多尺度模块的输出特征Fafter。设转化前的特征Fbefore的维度为S*S*C,则转化后的特征Fafter的维度为1*N,N=S*S*C。
在一些可能的实现方式中,所述步骤(4.4)的具体操作为:
步骤(4.41):顺次连接两个激活函数为ReLU的全连接层FCL1、FCL2对多尺度模块的输出特征Fafter进行特征映射以增加模型的拟合能力。此外,为了实现特征稀疏化防止过拟合问题的发生,我们将这两个全连接层的dropowt均设置为0.5。每一个全连接层的输出为:
mi~Bernoulli(β)
这里,W,x和b分别表示全连接层的权重、输入和偏置。m是dropout掩膜,m中的每个变量mi遵循参数为β=0.5的伯努利分布。
步骤(4.42):使用激活函数为softmax的全连接层对FCL2的输出特征进行特征映射以获得预测结果:
其中,n表示类别数目,pj表示当前样本被预测为第j类的概率。
步骤(4.43):选取最大预测值所对应的类别作为最终的识别结果输出。
所述模型的训练,本实施例中所使用的损失函数为交叉熵损失函数;所使用的参数优化器为Adam优化器;所设置的学习率与衰减率分别为0.0001、0.0001。
实施例二:
本实施例的目的是提供了一种基于通道注意力机制的微表情识别系统。
一种基于通道注意力机制的微表情识别系统,包括:
训练样本预处理模块,用于获取训练样本中微表情图像序列的起始帧和顶点帧;根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
模型构建模块,用于构建基于通道注意力机制的微表情识别网络模型,并利用作为训练样本中微表情图像序列信息表示的三维张量对所述网络模型进行训练;
微表情识别模块,用于将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
实施例三:
本实施例的目的是提供一种电子设备。
一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤,包括:
获取训练样本中微表情图像序列的起始帧和顶点帧;
根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;
估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
构建基于通道注意力机制的微表情识别网络模型,利用所述三维张量对所述网络模型进行训练;
将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
实施例四:
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤,包括:
获取训练样本中微表情图像序列的起始帧和顶点帧;
根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;
估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
构建基于通道注意力机制的微表情识别网络模型,利用所述三维张量对所述网络模型进行训练;
将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
上述实施例提供的一种基于通道注意力机制的微表情识别方法及系统完全可以实现,具有广阔应用前景。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于通道注意力机制的微表情识别方法,其特征在于,包括:
获取训练样本中微表情图像序列的起始帧和顶点帧;
根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;
估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
构建基于通道注意力机制的微表情识别网络模型,利用所述三维张量对所述网络模型进行训练;
将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
2.如权利要求1所述的一种基于通道注意力机制的微表情识别方法,其特征在于,所述顶点帧的获取步骤包括:计算微表情序列中每一帧与所述起始帧之间的光流强度,光流强度均值最大的对应帧作为该序列的顶点帧。
3.如权利要求1所述的一种基于通道注意力机制的微表情识别方法,其特征在于,所述根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪,包括:
检测所述微表情序列中起始帧的面部关键点;
根据起始帧中面部关键点的位置信息确定裁剪方案,包括裁剪区域的起始位置与裁剪区域的大小;
依照裁剪方案对起始帧与顶点帧进行裁剪以获得仅包含面部的图像。
4.如权利要求1所述的一种基于通道注意力机制的微表情识别方法,其特征在于,所述作为微表情序列信息表示的三维张量的获取包括:
对裁剪后的起始帧图像与顶点帧图像进行灰度化处理并将大小重新调整为224*224;
估算顶点帧相对于起始帧的光流水平分量与垂直分量;
计算光流的模得到光流强度;
对光流与光流强度进行标准化处理,叠加标准化后的光流水平分量、垂直分量以及标准化后的光流强度得到大小为224*224*3的三维张量作为微表情序列信息表示。
5.如权利要求1所述的一种基于通道注意力机制的微表情识别方法,其特征在于,所述基于通道注意力机制的微表情识别网络模型的训练,具体步骤包括:
利用作为微表情序列信息表示的三维张量作为模型的三通道输入数据,经过通道注意力模块后输出三通道特征张量(wx*F′x,wy*F′y,wmag*F′mag);
利用浅层特征提取模块对通道注意力模块的三通道特征张量提取浅层特征,并输出53*53*64的特征图;
利用多尺度模块对所述特征图提取不同尺度的空间运动特征;
利用特征分类模块对当前样本的所属类别进行预测。
6.如权利要求5所述的一种基于通道注意力机制的微表情识别方法,其特征在于,所述通道注意力模块包括全局池化单元和全连接层,首先通过全局池化单元对所述模型的三通道输入数据进行全局平均池化,进而通过多个全连接层对池化结果进行多次特征映射得到三个通道的关注度,最后将得到的三个通道的关注度与模型的三通道输入数据的对应通道相乘输出三通道特征张量。
7.如权利要求5所述的一种基于通道注意力机制的微表情识别方法,其特征在于,所述多尺度模块包括三个并联的卷积单元、融合层以及一个1X1的卷积层,首先利用三个空洞卷积率分别为1、2、3的卷积单元对浅层特征提取模块的输出进行特征提取,以此来捕获不同尺度下的微表情特征,进而对三个卷积单元的输出进行堆叠,经过1*1的卷积层实现不同尺度的特征融合并控制特征的维度,最后将特征张量进行拉平操作,得到一维特征张量作为多尺度模块的输出。
8.一种基于通道注意力机制的微表情识别系统,其特征在于,包括:
训练样本预处理模块,用于获取训练样本中微表情图像序列的起始帧和顶点帧;根据起始帧的面部关键点位置,对所述起始帧和顶点帧进行面部区域裁剪;估算裁剪后的起始帧与顶点帧图像之间的光流水平分量、垂直分量以及光流强度并对其进行标准化,使用标准化后的光流水平分量、垂直分量以及标准化后的光流强度形成的三维张量作为微表情序列的信息表示;
模型构建模块,用于构建基于通道注意力机制的微表情识别网络模型,并利用作为训练样本中微表情图像序列信息表示的三维张量对所述网络模型进行训练;
微表情识别模块,用于将作为待测微表情图像序列信息表示的所述三维张量输入到训练好的网络模型,得到微表情识别结果。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于通道注意力机制的微表情识别方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-7任一项所述的基于通道注意力机制的微表情识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010687230.5A CN112001241B (zh) | 2020-07-16 | 2020-07-16 | 基于通道注意力机制的微表情识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010687230.5A CN112001241B (zh) | 2020-07-16 | 2020-07-16 | 基于通道注意力机制的微表情识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112001241A true CN112001241A (zh) | 2020-11-27 |
CN112001241B CN112001241B (zh) | 2023-08-18 |
Family
ID=73467487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010687230.5A Active CN112001241B (zh) | 2020-07-16 | 2020-07-16 | 基于通道注意力机制的微表情识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001241B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580555A (zh) * | 2020-12-25 | 2021-03-30 | 中国科学技术大学 | 一种自发微表情识别方法 |
CN112766220A (zh) * | 2021-02-01 | 2021-05-07 | 西南大学 | 双通道微表情识别方法、系统、存储介质、计算机设备 |
CN114639136A (zh) * | 2022-01-22 | 2022-06-17 | 西北工业大学 | 一种基于浅层网络的长视频微表情检测方法 |
CN114842539A (zh) * | 2022-05-30 | 2022-08-02 | 山东大学 | 基于注意力机制和一维卷积滑窗的微表情发现方法及系统 |
CN117274885A (zh) * | 2023-11-23 | 2023-12-22 | 湖北微模式科技发展有限公司 | 一种人脸伪造视频检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175596A (zh) * | 2019-06-04 | 2019-08-27 | 重庆邮电大学 | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 |
CN110287801A (zh) * | 2019-05-29 | 2019-09-27 | 中国电子科技集团公司电子科学研究院 | 一种微表情识别算法 |
CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
-
2020
- 2020-07-16 CN CN202010687230.5A patent/CN112001241B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287801A (zh) * | 2019-05-29 | 2019-09-27 | 中国电子科技集团公司电子科学研究院 | 一种微表情识别算法 |
CN110175596A (zh) * | 2019-06-04 | 2019-08-27 | 重庆邮电大学 | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 |
CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580555A (zh) * | 2020-12-25 | 2021-03-30 | 中国科学技术大学 | 一种自发微表情识别方法 |
CN112580555B (zh) * | 2020-12-25 | 2022-09-30 | 中国科学技术大学 | 一种自发微表情识别方法 |
CN112766220A (zh) * | 2021-02-01 | 2021-05-07 | 西南大学 | 双通道微表情识别方法、系统、存储介质、计算机设备 |
CN112766220B (zh) * | 2021-02-01 | 2023-02-24 | 西南大学 | 双通道微表情识别方法、系统、存储介质、计算机设备 |
CN114639136A (zh) * | 2022-01-22 | 2022-06-17 | 西北工业大学 | 一种基于浅层网络的长视频微表情检测方法 |
CN114639136B (zh) * | 2022-01-22 | 2024-03-08 | 西北工业大学 | 一种基于浅层网络的长视频微表情检测方法 |
CN114842539A (zh) * | 2022-05-30 | 2022-08-02 | 山东大学 | 基于注意力机制和一维卷积滑窗的微表情发现方法及系统 |
CN117274885A (zh) * | 2023-11-23 | 2023-12-22 | 湖北微模式科技发展有限公司 | 一种人脸伪造视频检测方法 |
CN117274885B (zh) * | 2023-11-23 | 2024-02-09 | 湖北微模式科技发展有限公司 | 一种人脸伪造视频检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112001241B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126258B (zh) | 图像识别方法及相关装置 | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
CN112001241A (zh) | 基于通道注意力机制的微表情识别方法及系统 | |
CN106446930B (zh) | 基于深层卷积神经网络的机器人工作场景识别方法 | |
CN104063719B (zh) | 基于深度卷积网络的行人检测方法及装置 | |
US6661907B2 (en) | Face detection in digital images | |
JP5010905B2 (ja) | 顔認証装置 | |
CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
CN103443804B (zh) | 面部标志检测方法 | |
CN108647625A (zh) | 一种表情识别方法及装置 | |
CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
CN110298297A (zh) | 火焰识别方法和装置 | |
CN109903339B (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
CN111754637B (zh) | 一种样本相似度抑制的大尺度三维人脸合成系统 | |
CN113255557B (zh) | 一种基于深度学习的视频人群情绪分析方法及系统 | |
Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
CN116958584B (zh) | 关键点检测方法、回归模型的训练方法、装置及电子设备 | |
CN110309789A (zh) | 基于深度学习的视频监控下人脸清晰度评价方法及装置 | |
Srinidhi et al. | Pothole detection using CNN and AlexNet | |
Sakthimohan et al. | Detection and Recognition of Face Using Deep Learning | |
CN112766145B (zh) | 人工神经网络的人脸动态表情识别方法及装置 | |
CN114550270A (zh) | 一种基于双注意力机制的微表情识别方法 | |
CN114782979A (zh) | 一种行人重识别模型的训练方法、装置、存储介质及终端 | |
KR101931220B1 (ko) | 인체 부위 측정 장치 및 방법 | |
CN112989958A (zh) | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |