CN114220154A - 一种基于深度学习的微表情特征提取与识别方法 - Google Patents
一种基于深度学习的微表情特征提取与识别方法 Download PDFInfo
- Publication number
- CN114220154A CN114220154A CN202111559841.2A CN202111559841A CN114220154A CN 114220154 A CN114220154 A CN 114220154A CN 202111559841 A CN202111559841 A CN 202111559841A CN 114220154 A CN114220154 A CN 114220154A
- Authority
- CN
- China
- Prior art keywords
- micro
- expression
- cnn
- optical flow
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000000605 extraction Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 28
- 230000005012 migration Effects 0.000 claims abstract description 24
- 238000013508 migration Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 32
- 230000014509 gene expression Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008451 emotion Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种基于深度学习的微表情特征提取与识别方法，包括以下步骤：构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征；对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP‑TOP直方图向量；将光流特征转换为直方图，与图像序列的LBP‑TOP直方图向量进行级联融合，得到融合特征的直方图表示；构建基于残差模块的浅层CNN模型，引入宏表情数据集和微表情数据集，构建基于CNN‑GCN迁移学习网络的跨数据集微表情识别模型；将融合特征输入到训练好的基于CNN‑GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。该方法有效提高了微表情的识别精度。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于深度学习的微表情特征提取与识别方法。
背景技术
微表情是一种自发产生、较为细微的面部表情动作信号。与宏观表情信号不同，微表情不会随主观意志而改变，持续时间大约在1/25到1/5秒内，幅度较小，研究表明微表情可以反映出人们在压抑状态下的潜在真实情绪。由于微表情表现形式与说谎时的心理状态存在极大相关性，微表情识别在国家安全、临床医学、案件侦破、司法审讯等领域具有良好的应用前景。
在微表情特征提取方面，现有光流法主要是在亮度恒定、小幅度运动的假定条件下，利用像素在时空域的相关性，计算出光流场中图像运动信息的一种方法。由于光流法结合感兴趣区域(Region ofInterest,ROI)可以对应面部行为编码系统(Facial ActionCoding System,FACS)检测出表情动作变化，Liu等人提出主方向平均光流(MainDirectional Mean Optical-flow,MDMO)方法用于微表情特征提取，对不同ROI的方向平均电流进行归一化统计，将所得MDMO特征向量通过支持向量机(Support Vector Machine,SVM)进行分类识别，可有效降低特征维数。Lu等人提出一种基于运动边界直方图融合的特征提取方法，分别在水平和垂直方向计算其微分光流矢量，特征融合后通过LOSO协议进行验证和评估。以上方法对应用场景要求较为苛刻，需要进行相应修改以提升其泛化能力；另一方面，传统方法对图像序列进行直接光流计算，计算成本较大。
在分类模型方面，卷积神经网络可挖掘视觉图像深层特征，在多种图像分类数据集上有非常出色的表现。Liong等人提出了一种双加权定向光流方法(Bi-WOOF法)，仅使用视频中的峰值帧和起始帧进行特征提取，之后输入到二维CNN进行分类，取得了较好的结果。然而，由于微表情数据库样本数量不足等因素，上述模型存在着过拟合问题，且模型的准确率较低。
为此，本发明提出了一种新的基于深度学习的微表情特征提取与识别方法。
发明内容
为解决上述问题，本发明提供一种基于深度学习的微表情特征提取与识别方法。
本发明提供了如下的技术方案。
一种基于深度学习的微表情特征提取与识别方法，包括以下步骤：
构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征；
对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量；
将光流特征转换为直方图，与图像序列的LBP-TOP直方图向量进行级联融合，得到融合特征的直方图表示；
构建基于残差模块的浅层CNN模型，引入宏表情数据集和微表情数据集，构建基于CNN-GCN迁移学习网络的跨数据集微表情识别模型；
将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。
优选地，所述光流特征的获取，包括以下步骤：
对于尺寸为m*n的微表情视频关键帧I，进行下采样操作，用d表示，将视频关键帧I变换为m/2*n/2的新图像；
利用扭曲算子扭曲图像，进行双线性插值，采用独立且序列化的方式训练卷积网络；
输入新图像，从金字塔最顶层开始，初始化上一层光流场残差为0，与上一层光流场上采样结果相加，将计算所得光流场传递给注意力网络模型，对构建四层残差网络进行重复操作，计算残差，并最终计算出光流场，即获得光流特征；
其中，每一层金字塔级的残差光流表示为：
式中，{G0,L,Gk}表示一组训练好的卷积神经网络模型，vk表示k层光流残差，由模型根据在k层的视频帧
和
及上一层的光流场上采样的结果u(Vk-1)进行计算；w、u分别表示对图像执行扭曲和上采样操作，
表示扭曲的新图片，由上一层的光流场上采样结果u(Vk-1)对k层的第二张图片进行扭曲；Vk表示第k层的光流场结果，通过上一层的光流场上采样结果u(Vk-1)和当前层光流残差vk相加后获得，即：
Vk＝u(Vk-1)+vk。
优选地，所述将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量，具体包括：
采用均匀编码方式，将微表情图像序列从水平方向x、垂直方向y及时间轴向t三个维度上分为若干个互不重叠的块状结构；
分别对微表情图像序列的三个正交平面提取LBP特征；
其中，XY平面表示视频帧的空间信息，XT和YT平面分别表示沿时间轴扫描视频序列得到的水平和垂直方向的运动纹理信息，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量。
优选地，所述基于残差模块的浅层CNN模型的构建，包括以下步骤：
将特征提取得到的特征数据集划分为训练集、测试集与验证集，以卷积层、池化层、全连接层和dropout层为核心搭建浅层CNN模型。
优选地，还包括：
利用跳跃的捷径连接模块，将浅层特征x输入至该训练模块的输出，作为初始残差；
该训练模块中的深层特征表示为：
H(x)＝F(x)+x
令F(x)无限逼近于0，得到近似恒等映射，通过学习残差函数F(x)，将深层特征训练网络分解为多个基于残差结构的浅层多尺度训练模块：
F(x)→0,H(x)≈x。
优选地，所述基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的构建，具体包括：
将CASME II特征数据集作为训练集，SAMM作为测试集，并在宏表情数据集FER2013上进行预训练，利用宏表情定量优势辅助微表情识别，构建基于CNN-GCN迁移学习网络跨数据集微表情识别模型。
优选地，所述基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的网络框架包括基于CNN的图像特征训练模块和基于GCN的情感分类模块。
优选地，所述将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，包括以下步骤：
将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中，对CNN学习到的图像特征进行最大池化，得到新的全局特征x：
x＝G[fMP(FCNN(Ic,wCNN))]
其中，Ic代表输入图像的融合特征表示，wCNN表示CNN网络模型中的权值参数，FCNN为CNN模型隐含层迭代运算，fMP()代表最大池化函数，G()为池化特征的全局计算函数；
通过关联不同微表情图像序列中关键人脸动作单元及对应情绪类别，采用GCN训练目标分类器，获得不同类别标签存在的隐藏关联信息；
重复迭代当前网络的前置层节点特征作为该层输入，对节点特征进行更新，从而使得目标分类器对标签向量的策略建模，对微表情图像进行分类。
本发明的有益效果：
本方法首先利用深度学习网络模型对光流提取效果进行提升，结合残差网络思想，将光流速度矢量的近似估计转换为光流残差的策略求解问题，无需实现损失函数最小化，即可获得光流矢量自动更新，提升模型泛化能力；其次采用注意力机制构建基于关键帧的金字塔光流模型，赋予峰值帧更高权重，在提高计算精度的同时降低空间复杂度；进一步，由于所构建的光流模型仅对图像速度矢量进行计算，而忽略了图像序列的帧间运动信息，本方法将三正交平面的局部二值模式(Local Binary Patterns from ThreeOrthogonalPlanes，LBP-TOP)特征与光流特征融合得到最终特征表示，提取视频序列的时空纹理特征及光学应变信息，以弥补光流法缺少序列信息描述的不足，同时降低特征维数，减少计算成本。
本方法对CNN网络架构进行改进，构建基于CNN-GCN迁移学习网络的微表情跨数据集识别模型，利用图卷积网络GCN的独有优势对图像融合特征和标签向量隐藏联系进行分析，根据基于权重的迁移学习网络思想，将模型在宏表情数据集上进行预训练，利用宏表情数据优势缓解网络模型过拟合问题，同时引入SAMM微表情数据集，增强数据样本多样性，进一步提升网络识别性能。
附图说明
图1是本发明实施例的方法流程图；
图2是本发明实施例的基于关键帧的金字塔残差光流特征计算过程示意图；
图3是本发明实施例的LBP-TOP的分块特征提取及三正交平面示意图；
图4是本发明实施例的基于光流运动特征与LBP-TOP特征的微表情识别模型图；
图5是本发明实施例的加入残差模块的CNN模型图；
图6是本发明实施例的基于CNN-GCN的微表情识别网络框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本发明的一种基于深度学习的微表情特征提取与识别方法，如图1所示，具体包括以下步骤：
S1、构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征。具体的：
本方法对光流法进行改进，在每层金字塔级训练CNN，对光流矢量进行自动优化更新，逐级细化求解图像运动边界及细节，无需实现损失函数最小化，在实时提高计算精度的同时降低空间复杂度，节省模型所占空间。同时，考虑到微表情的峰值帧包含了绝大多数光学应变信息，本方法在所构建光流模型基础上结合注意力机制，对峰值帧分配更多权重，获得更精准的光流矢量表达。
算法描述如下：
对于尺寸为m*n的微表情视频关键帧I，进行下采样操作，用d表示，将视频关键帧I变换为m/2*n/2的新图像；
利用扭曲算子扭曲图像，进行双线性插值，采用独立且序列化的方式训练卷积网络；
输入新图像，从金字塔最顶层开始，初始化上一层光流场残差为0，与上一层光流场上采样结果相加，将计算所得光流场传递给注意力网络模型，对构建四层残差网络进行重复操作，计算残差，并最终计算出光流场，即获得光流特征；
其中，每一层金字塔级的残差光流表示为：
式中，{G0,L,Gk}表示一组训练好的卷积神经网络模型，vk表示第k层光流残差，由模型根据在k层的视频帧
和
及上一层的光流场上采样的结果u(Vk-1)进行计算；w、u分别表示对图像执行扭曲和上采样操作，
表示扭曲的新图片，由上一层的光流场上采样结果u(Vk-1)对k层的第二张图片进行扭曲；Vk表示第k层的光流场结果，通过上一层的光流场上采样结果u(Vk-1)和当前层光流残差vk相加后获得，即：
Vk＝u(Vk-1)+vk。
基于关键帧的金字塔残差光流特征计算过程如图2所示。
S2、对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量。具体的：
算法特征提取过程如图3所示，其中图3(a)为LBP-TOP的分块特征提取，图3(b)为微表情序列的三个正交平面。
在提取LBP-TOP特征的过程中，直接对图像序列进行运算会导致像素信息缺失，并不能很好地处理运动信息和图像细节，因此需要对微表情序列进行分块。采用均匀编码方式，将图像序列从水平方向x、垂直方向y及时间轴向t三个维度上分为若干个互不重叠的块状结构。分别对微表情图像序列的三个正交平面提取LBP特征，其中XY平面表示视频帧的空间信息，XT和YT平面分别表示沿时间轴扫描视频序列得到的水平和垂直方向的运动纹理信息，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量，可以有效描述视频帧的时空纹理信息。
S3、将光流特征转换为直方图，与图像序列的LBP-TOP直方图向量进行级联融合，得到融合特征的直方图表示。算法模型如图4所示。
S4、构建基于残差模块的浅层CNN模型，基于此，引入宏表情数据集和微表情数据集，构建基于CNN-GCN迁移学习网络的跨数据集微表情识别模型，具体的：
S4.1、基于残差模块的浅层CNN模型的构建，包括以下步骤：
将特征提取得到的特征数据集划分为训练集、测试集与验证集，以卷积层、池化层、全连接层和dropout层为核心搭建浅层CNN模型。
考虑到后续会与GCN结合构建深层网络模型，随着层数增加，网络训练将会变得愈发困难，针对这一问题，本方法对浅层CNN进一步改进，将总体CNN网络架构根据不同特征尺度分为若干个训练模块。
利用跳跃的捷径连接模块，将浅层特征x输入至该训练模块的输出，作为初始残差；
该训练模块中的深层特征表示为：
H(x)＝F(x)+x
令F(x)无限逼近于0，得到近似恒等映射，通过学习残差函数F(x)，将深层特征训练网络分解为多个基于残差结构的浅层多尺度训练模块：
F(x)→0,H(x)≈x。
改进后的模型如图5所示。
S4.2、基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的构建，具体包括：
将CASME II特征数据集作为训练集，SAMM作为测试集，并在宏表情数据集FER2013上进行预训练，利用宏表情定量优势辅助微表情识别，构建基于CNN-GCN迁移学习网络跨数据集微表情识别模型。
其中，基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的网络框架包括基于CNN的图像特征训练模块和基于GCN的情感分类模块，原理图如图6所示。
图6中，C代表数据集中的情绪类别数，FCNN表示采用CNN对图片进行特征提取，提取得到的特征维数为D×h×w，经过全局最大池化后，维数被降为D，在基于GCN的情感分类模块中，首先根据各个关键区域的人脸动作单元AUs组合得到不同类别标签词嵌入向量，GC代表对各个标签向量进行图卷积操作，原始标签的词嵌入向量维数为d，经过特征映射后，标签向量维数变换为D，该维度由CNN中获取的图像特征表示维数决定。
S5、将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。具体的：
将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中，对CNN学习到的图像特征进行最大池化，得到新的全局特征x：
x＝G[fMP(FCNN(Ic,wCNN))]
其中，Ic代表输入图像的融合特征表示，wCNN表示CNN网络模型中的权值参数，FCNN为CNN模型隐含层迭代运算，fMP()代表最大池化函数，G()为池化特征的全局计算函数；
通过关联不同微表情图像序列中关键人脸动作单元及对应情绪类别，采用GCN训练目标分类器，获得不同类别标签存在的隐藏关联信息；
重复迭代当前网络的前置层节点特征作为该层输入，对节点特征进行更新，从而使得目标分类器对标签向量的策略建模，对微表情图像进行分类。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的微表情特征提取与识别方法，其特征在于，包括以下步骤：
构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征；
对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量；
将光流特征转换为直方图，与图像序列的LBP-TOP直方图向量进行级联融合，得到融合特征的直方图表示；
构建基于残差模块的浅层CNN模型，引入宏表情数据集和微表情数据集，构建基于CNN-GCN迁移学习网络的跨数据集微表情识别模型；
将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。
2.根据权利要求1所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述光流特征的获取，包括以下步骤：
对于尺寸为m*n的微表情视频关键帧I，进行下采样操作，用d表示，将视频关键帧I变换为m/2*n/2的新图像；
利用扭曲算子扭曲图像，进行双线性插值，采用独立且序列化的方式训练卷积网络；
输入新图像，从金字塔最顶层开始，初始化上一层光流场残差为0，与上一层光流场上采样结果相加，将计算所得光流场传递给注意力网络模型，对构建四层残差网络进行重复操作，计算残差，并最终计算出光流场，即获得光流特征；
其中，每一层金字塔级的残差光流表示为：
式中，
表示一组训练好的卷积神经网络模型，vk表示第k层光流残差，由模型根据在k层的视频帧
和
及上一层的光流场上采样的结果u(Vk-1)进行计算；w、u分别表示对图像执行扭曲和上采样操作，
表示扭曲的新图片，由上一层的光流场上采样结果u(Vk-1)对k层的第二张图片进行扭曲；Vk表示第k层的光流场结果，通过上一层的光流场上采样结果u(Vk-1)和当前层光流残差vk相加后获得，即：
Vk＝u(Vk-1)+vk。
3.根据权利要求1所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量，具体包括：
采用均匀编码方式，将微表情图像序列从水平方向x、垂直方向y及时间轴向t三个维度上分为若干个互不重叠的块状结构；
分别对微表情图像序列的三个正交平面提取LBP特征；
其中，XY平面表示视频帧的空间信息，XT和YT平面分别表示沿时间轴扫描视频序列得到的水平和垂直方向的运动纹理信息，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量。
4.根据权利要求1所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述基于残差模块的浅层CNN模型的构建，包括以下步骤：
将特征提取得到的特征数据集划分为训练集、测试集与验证集，以卷积层、池化层、全连接层和dropout层为核心搭建浅层CNN模型。
5.根据权利要求4所述的基于深度学习的微表情特征提取与识别方法，其特征在于，还包括：
利用跳跃的捷径连接模块，将浅层特征x输入至该训练模块的输出，作为初始残差；
该训练模块中的深层特征表示为：
H(x)＝F(x)+x
令F(x)无限逼近于0，得到近似恒等映射，通过学习残差函数F(x)，将深层特征训练网络分解为多个基于残差结构的浅层多尺度训练模块：
F(x)→0,H(x)≈x。
6.根据权利要求4所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的构建，具体包括：
将CASME II特征数据集作为训练集，SAMM作为测试集，并在宏表情数据集FER2013上进行预训练，利用宏表情定量优势辅助微表情识别，构建基于CNN-GCN迁移学习网络跨数据集微表情识别模型。
7.根据权利要求6所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的网络框架包括基于CNN的图像特征训练模块和基于GCN的情感分类模块。
8.根据权利要求6所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，包括以下步骤：
将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中，对CNN学习到的图像特征进行最大池化，得到新的全局特征x：
x＝G[fMP(FCNN(Ic,wCNN))]
其中，Ic代表输入图像的融合特征表示，wCNN表示CNN网络模型中的权值参数，FCNN为CNN模型隐含层迭代运算，fMP()代表最大池化函数，G()为池化特征的全局计算函数；
通过关联不同微表情图像序列中关键人脸动作单元及对应情绪类别，采用GCN训练目标分类器，获得不同类别标签存在的隐藏关联信息；
重复迭代当前网络的前置层节点特征作为该层输入，对节点特征进行更新，从而使得目标分类器对标签向量的策略建模，对微表情图像进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111559841.2A CN114220154A (zh) | 2021-12-20 | 2021-12-20 | 一种基于深度学习的微表情特征提取与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111559841.2A CN114220154A (zh) | 2021-12-20 | 2021-12-20 | 一种基于深度学习的微表情特征提取与识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114220154A true CN114220154A (zh) | 2022-03-22 |
Family
ID=80704170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111559841.2A Pending CN114220154A (zh) | 2021-12-20 | 2021-12-20 | 一种基于深度学习的微表情特征提取与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114220154A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114699080A (zh) * | 2022-04-28 | 2022-07-05 | 电子科技大学 | 一种基于融合特征的驾驶员精神紧张程度识别方法 |
| CN114861065A (zh) * | 2022-05-31 | 2022-08-05 | 山东省人工智能研究院 | 基于多行为的级联残差图卷积网络的个性化推荐方法 |
| CN116188605A (zh) * | 2022-12-27 | 2023-05-30 | 北京工业大学 | 基于静态和动态表情图像的联合表情编码系统及其方法 |
| CN116824280A (zh) * | 2023-08-30 | 2023-09-29 | 安徽爱学堂教育科技有限公司 | 基于微表情变化的心理预警方法 |
-
2021
- 2021-12-20 CN CN202111559841.2A patent/CN114220154A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114699080A (zh) * | 2022-04-28 | 2022-07-05 | 电子科技大学 | 一种基于融合特征的驾驶员精神紧张程度识别方法 |
| CN114699080B (zh) * | 2022-04-28 | 2023-04-25 | 电子科技大学 | 一种基于融合特征的驾驶员精神紧张程度识别方法 |
| CN114861065A (zh) * | 2022-05-31 | 2022-08-05 | 山东省人工智能研究院 | 基于多行为的级联残差图卷积网络的个性化推荐方法 |
| CN114861065B (zh) * | 2022-05-31 | 2023-06-06 | 山东省人工智能研究院 | 基于多行为的级联残差图卷积网络的个性化推荐方法 |
| CN116188605A (zh) * | 2022-12-27 | 2023-05-30 | 北京工业大学 | 基于静态和动态表情图像的联合表情编码系统及其方法 |
| CN116188605B (zh) * | 2022-12-27 | 2023-09-26 | 北京工业大学 | 基于静态和动态表情图像的联合表情编码系统及其方法 |
| CN116824280A (zh) * | 2023-08-30 | 2023-09-29 | 安徽爱学堂教育科技有限公司 | 基于微表情变化的心理预警方法 |
| CN116824280B (zh) * | 2023-08-30 | 2023-11-24 | 安徽爱学堂教育科技有限公司 | 基于微表情变化的心理预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Object detection with deep learning: A review | |
| CN110119703B (zh) | 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 | |
| Huang et al. | DC-SPP-YOLO: Dense connection and spatial pyramid pooling based YOLO for object detection | |
| CN110956185B (zh) | 一种图像显著目标的检测方法 | |
| CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| Yuan et al. | Gated CNN: Integrating multi-scale feature layers for object detection | |
| CN111639544B (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
| CN108460356B (zh) | 一种基于监控系统的人脸图像自动处理系统 | |
| CN114220154A (zh) | 一种基于深度学习的微表情特征提取与识别方法 | |
| CN110097028B (zh) | 基于三维金字塔图像生成网络的人群异常事件检测方法 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| Wu et al. | Feedback weight convolutional neural network for gait recognition | |
| CN113221641A (zh) | 基于生成对抗网络和注意力机制的视频行人重识别方法 | |
| Yu et al. | ICE-GAN: Identity-aware and capsule-enhanced GAN with graph-based reasoning for micro-expression recognition and synthesis | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN111523378A (zh) | 一种基于深度学习的人体行为预测方法 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN110827265A (zh) | 基于深度学习的图片异常检测方法 | |
| Zhang et al. | Learning to detect salient object with multi-source weak supervision | |
| Ren et al. | Visual semantic segmentation based on few/zero-shot learning: An overview | |
| Wang et al. | Laun improved stargan for facial emotion recognition | |
| CN112183450A (zh) | 一种多目标跟踪方法 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN115205903A (zh) | 一种基于身份迁移生成对抗网络的行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240126 Address after: 300072 Tianjin City, Nankai District Wei Jin Road No. 92 Applicant after: Tianjin University Country or region after: China Address before: 030000 4-1-401, Xiayuan Shangyuan, Wanbailin District, Taiyuan City, Shanxi Province Applicant before: Wang Yue Country or region before: China |
|
| TA01 | Transfer of patent application right |