CN113408381B - 基于自注意残差卷积神经网络的微表情分类方法 - Google Patents

基于自注意残差卷积神经网络的微表情分类方法 Download PDF

Info

Publication number
CN113408381B
CN113408381B CN202110635297.9A CN202110635297A CN113408381B CN 113408381 B CN113408381 B CN 113408381B CN 202110635297 A CN202110635297 A CN 202110635297A CN 113408381 B CN113408381 B CN 113408381B
Authority
CN
China
Prior art keywords
attention
micro
neural network
residual
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110635297.9A
Other languages
English (en)
Other versions
CN113408381A (zh
Inventor
刘峰
张嘉淏
王晗阳
齐佳音
周爱民
李志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University Of International Business And Economics
East China Normal University
Original Assignee
Shanghai University Of International Business And Economics
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University Of International Business And Economics, East China Normal University filed Critical Shanghai University Of International Business And Economics
Priority to CN202110635297.9A priority Critical patent/CN113408381B/zh
Publication of CN113408381A publication Critical patent/CN113408381A/zh
Application granted granted Critical
Publication of CN113408381B publication Critical patent/CN113408381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的基于自注意残差卷积神经网络的微表情分类方法，涉及计算机视觉技术领域，该方法包括：输入目标微表情数据集的顶点‑起始点光学流变与光学应变至残差卷积神经网络，得到网络输入张量；将网络输入张量输入至新型残差模块内进行运算，并迭代一次；新型残差模块包括：输入特征量；对特征量进行3×3卷积，并迭代一次；迭代后的结果加上原输入特征量后再进行1×1卷积；最后进行2×2最大池化得到新的输出特征量。在残差卷积神经网络引入多头注意力机制，将多头注意力结果进行分类输出。本发明有效提升了微表情识别的准确率，降低微表情识别模型的参数量，提升微表情识别模型的训练速度，便于在嵌入式设备进行部署，有效扩大其实际应用范围。

Description

基于自注意残差卷积神经网络的微表情分类方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于自注意残差卷积神经网络的微表情分类方法。
背景技术
微表情是一种自发的、在时间与空间尺度上都极为细微的脸部动作，可以揭示人的真实情感。即使在人有意识的掩盖其面部表情时，微表情也能发挥体现人真实情绪的作用。
微表情识别这一计算机视觉的细分领域发展时间较短，在2019年以前，基于人工构造特征的传统计算机视觉方法占主流；而从2019年至今，基于神经网络的微表情识别模型替代了传统方法，成为目前这一领域的研究重点。
目前，在微表情识别这一领域，较为主流的神经网络分类器在模型参数量与识别准确率这两个指标上不能取得较好的平衡。识别准确率较好的模型，其参数量过大，以至于难以在小型设备上进行部署；而轻量级的模型没有较好的识别效果。微表情识别这一领域发展时间较短，技术积累不足，这使得在微表情识别这一领域中引入较为先进的神经网络架构成为一个相当迫切的课题。
发明内容
针对上述技术问题，本发明提供的基于自注意残差卷积神经网络的微表情分类方法，有效平衡了微表情识别模型的识别准确率和模型参数量，且能够适配轻量级应用，有效扩大了其应用范围，使其更有利于应用到实际场景。
为实现上述目的，本发明采取的技术方案为：
本发明提供的基于自注意残差卷积神经网络的微表情分类方法，该方法包括以下步骤：
S1输入目标微表情数据集的顶点-起始点光学流变与光学应变至残差卷积神经网络，得到网络输入张量[N，C1，H，W]，其中N代表mini-batch，C1代表通道数量，H代表图像的高，W代表图像的宽；
S3将得到的网络输入张量输入至新型残差模块内进行运算，并迭代一次；所述新型残差模块包括：输入特征量；对特征量进行3×3卷积，并迭代一次；迭代后的结果加上原输入特征量后再进行1×1卷积；最后进行2×2最大池化得到新的输出特征量。
S4在残差卷积神经网络引入多头注意力机制，将迭代后的网络输入张量输入至注意力模块内得到多头注意力结果；
S5将多头注意力结果进行分类输出。
具体地，所述S1为通过TV-L1密集光流算法计算得到目标微表情数据集顶点-起始点光流向量场在(x，y)处的的水平分量u(x，y)和垂直分量v(x，y)；根据光学流变u(x，y)和v(x，y)计算出(x，y)处的光学应变的强度 将u、v和ε进行通道拼接，构造mini-batch，得到网络输入张量。
具体地，所述S4中的注意力模块为：获取(x，y)点的位置编码rxy＝pos(x，W)+pos(y，H)，其中pos(2i，d)＝sin(1/100002i/d)，pos(2i+1，d)＝cos(1/100002i/d)；计算1×1卷积层不同参数的单头注意力Attention(q，k，v，r)＝Softmax(qkT+qrT)v，其中q、k、v均由1×1卷积计算得到；将所有单头注意力的结果进行通道拼接，得到多头注意力的结果MultiHead(q，k，v，r)＝Concat(Attention1(q，k，v，r)，Attention2(q，k，v，r)，…，Attentionn(q，k，v，r))，其中，n为单头注意力的数量。
具体地，所述S5具体为将多头注意力结果经过最大池化层和全连接层进行Softmax微表情分类输出。
优选地，所述S3之前还包括：S2进行7×7卷积。
优选地，本方法使用Adam优化器进行优化。
优选地，该方法通过CASME1、CASME2，CAS(ME)^2的组合数据集进行训练。
上述技术方案具有如下优点或者有益效果：
本发明提供的基于自注意残差卷积神经网络的微表情分类方法，可以有效提升现有微表情识别的准确率，并大幅度降低微表情识别模型的参数量，提升微表情识别模型的训练速度，便于在嵌入式设备进行部署。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
图1是本发明实施例1提供的基于自注意残差卷积神经网络的微表情分类方法的简要流程图；
图2是本发明实施例1提供的基于自注意残差卷积神经网络的微表情分类方法的新型残差模块和ResNet-18式残差模块的对比图；
图3是本发明实施例1提供的基于自注意残差卷积神经网络的微表情分类方法中计算一个单头注意力的简要流程图；
图4是本发明实施例1提供的基于自注意残差卷积神经网络的微表情分类方法中计算多头注意力的简要流程图。
具体实施方式
下面结合附图和具体的实施例对本发明作进一步的说明，但是不作为本发明的限定。
实施例1：
本发明实施例1提供的基于自注意残差卷积神经网络的微表情分类方法在实施时，参照图1，首先通过CASME1、CASME2，CAS(ME)^2的组合数据集对本方法进行训练，接着将训练后的方法用于测试，为了保证数据的有效性，减少干扰数据，在进行训练与测试前都需要进行数据预处理，丢弃组合数据集中数量较少的类别和宏表情数据。测试时，对数据预处理后的目标微表情数据集中的人脸进行裁剪，然后将图像序列以三次插值方法正则化为112×112，并转化为黑白灰度图。由于微表情相邻帧之间的变化较为细微，因此一般不会将整个图像序列作为输入特征，而是使用顶点-起始点光学流变和光学应变作为残差卷积网络的输入，起始点为微表情出现的瞬间，顶点即为微表情幅度最大的瞬间，对于这两帧图片，使用TV-L1密集光流算法即可计算出顶点-起始点光流向量场在(x，y)处的的水平分量u(x，y)和垂直分量v(x，y)，再根据光学流变u(x，y)和v(x，y)计算出(x，y)处的光学应变的强度最后，将u、v和ε进行通道拼接，构造mini-batch，得到网络输入张量[N，3，112，112]。
得到网络输入张量后，对其进行7×7卷积来提取低层次特征，并降低特征图的大小至56×56，增大通道数至8。接着将网络输入张量输入新型残差模块，本发明提供的新型残差模块，参照图2，调整了ResNet-18式残差模块中1×1瓶颈卷积的位置，该新型残差模块具体为：对网络输入张量进行3×3卷积，并迭代一次；迭代后的结果加上原网络输入张量后再进行1×1卷积；最后进行2×2最大池化得到新的输出特征量。采用该种新型残差模块，当输入通道数小于输出通道数时可以大幅减少参数量。得到的新的输出特征量还需要再经过一次新型残差模块的运算，每通过一个新型残差模块时，图像的特征层次就会得到提升，特征图的长和宽均减半，通道数增加，经过第一次新型残差模块后，输出通道数为18，经过第二次新型残差模块后，输出通道数为28.
接着经过两次新型残差模块的网络输入张量进入注意力模块，参照图3及图4，注意力模块具体为：获取(x，y)点的位置编码rxy＝pos(x，W)+pos(y，H)，其中pos(2i，d)＝sin(1/100002i/d)，pos(2i+1，d)＝cos(1/100002i/d)；计算1×1卷积层不同参数的单头注意力Attention(q，k，v，r)＝Softmax(qkT+qrT)v，其中q、k、v均由1×1卷积计算得到；将所有单头注意力的结果进行通道拼接，得到多头注意力的结果MultiHead(q，k，v，r)
＝Concat(Attention1(q，k，v，r)，Attention2(q，k，v，r)，…，Attentionn(q，k，v，r))
，其中，n为单头注意力的数量。由于注意力模块的参数量更小，且能够更高效地提取图像的高层次特征，有效提升了微表情识别的准确率，且单头注意力模块的输出通道减少至2，进行通道拼接后注意力模块的输出通道为8，能够明显降低后续全连接层的参数量，从而避免了过拟合的产生，最后经过最大池化层和全连接层得到情感分类。本方法有效平衡了微表情识别模型的准确率和参数量，可适配轻量级应用，且方法训练过程中使用Adam优化器并学习衰减技术，其实际适用场景得到极大扩展，更有利于在实际场景中进行推广。
以上对本发明的较佳实施例进行了描述；需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容；因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (5)

1.基于自注意残差卷积神经网络的微表情分类方法，其特征在于，该方法包括以下步骤：
S1将目标微表情数据集的顶点-起始点光学流变与光学应变参数输入至残差卷积神经网络，得到网络输入张量[N,C1,H,W]，其中N代表批量大小batch，C1代表通道数量channels，H代表图像的高，W代表图像的宽；起始点为微表情出现的时刻，顶点为微表情幅度最大的时刻；具体为：
通过TV-L1密集光流算法计算得到目标微表情数据集顶点-起始点光流向量场在(x,y)处的水平分量u(x,y)和垂直分量v(x,y)；
根据光学流变u(x,y)和v(x,y)计算出(x,y)处的光学应变的强度
将u、v和ε进行通道拼接，构造mini-batch小批量数据，得到网络输入张量；
S2对得到的网络输入张量进行7×7卷积；
S3将卷积后的网络输入张量输入至新型残差模块内进行运算，并迭代一次；所述新型残差模块包括：输入特征量；对特征量进行3×3卷积，并迭代一次；迭代后的结果加上原输入特征量后再进行1×1卷积；最后进行2×2最大池化得到新的输出特征量；
S4在残差卷积神经网络引入多头注意力机制，将迭代后的网络输入张量输入至注意力模块内得到多头注意力结果；
S5将多头注意力结果进行分类输出。
2.如权利要求1所述的基于自注意残差卷积神经网络的微表情分类方法，其特征在于，所述S3中的注意力模块为：
获取(x,y)点的位置编码rxy＝pos(x,W)+pos(y,H)，其中pos(2i,d)＝sin(1/100002i /d),pos(2i+1,d)＝cos(1/100002i/d)；
计算1×1卷积层不同参数的单头注意力Attention(q,k,v,r)＝Softmax(qkT+qrT)v,其中q、k、v均由1×1卷积计算得到；
将所有单头注意力的结果进行通道拼接，得到多头注意力的结果
MultiHead(q,k,v,r)＝Concat(Attention1(q,k,v,r),Attention2(q,k,v,r),…,Attentionn(q,k,v,r0)，其中，n为单头注意力的数量。
3.如权利要求1所述的基于自注意残差卷积神经网络的微表情分类方法，其特征在于，所述S5具体为将多头注意力结果经过最大池化层和全连接层进行Softmax微表情分类输出。
4.如权利要求3所述的基于自注意残差卷积神经网络的微表情分类方法，其特征在于，本方法使用Adam优化器进行优化。
5.如权利要求4所述的基于自注意残差卷积神经网络的微表情分类方法，其特征在于，该方法通过CASME1、CASME2,CAS(ME)^2的组合数据集进行训练。
CN202110635297.9A 2021-06-08 2021-06-08 基于自注意残差卷积神经网络的微表情分类方法 Active CN113408381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635297.9A CN113408381B (zh) 2021-06-08 2021-06-08 基于自注意残差卷积神经网络的微表情分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635297.9A CN113408381B (zh) 2021-06-08 2021-06-08 基于自注意残差卷积神经网络的微表情分类方法

Publications (2)

Publication Number Publication Date
CN113408381A CN113408381A (zh) 2021-09-17
CN113408381B true CN113408381B (zh) 2023-09-19

Family

ID=77676900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110635297.9A Active CN113408381B (zh) 2021-06-08 2021-06-08 基于自注意残差卷积神经网络的微表情分类方法

Country Status (1)

Country Link
CN (1) CN113408381B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114038041A (zh) * 2021-11-17 2022-02-11 杭州电子科技大学 一种基于残差神经网络和注意力机制的微表情识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111080646A (zh) * 2019-11-25 2020-04-28 杭州电子科技大学 一种基于宽激活卷积神经网络的改进图像分割方法
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734545B2 (en) * 2017-11-14 2023-08-22 Google Llc Highly efficient convolutional neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111080646A (zh) * 2019-11-25 2020-04-28 杭州电子科技大学 一种基于宽激活卷积神经网络的改进图像分割方法
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备
CN112132817A (zh) * 2020-09-29 2020-12-25 汕头大学 一种混合注意力机制的眼底图像视网膜血管分割方法
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Rethinking Bottleneck Structure for Efficient Mobile Network Design;Daquan Zhou 等;《arXiv：2007.02269v4》;1-17 *
一种基于Bottleneck Transformer的轻量级微表情识别架构;张嘉淏 等;《计算机科学》;第49卷(第6期);370-377 *
基于卷积神经网络与迁移学习的碳钢石墨化自动评级研究;谢小娟 等;《计算机测量与控制》(第2期);234-245 *
藻类图像的精确识别算法的研究与应用;唐诗俊;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》(第07期);B027-832 *

Also Published As

Publication number Publication date
CN113408381A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN109754017B (zh) 基于可分离的三维残差网络和迁移学习高光谱图像分类方法
Murugan et al. Regularization and optimization strategies in deep convolutional neural network
WO2022252272A1 (zh) 一种基于迁移学习的改进vgg16网络猪的身份识别方法
JP2020119543A (ja) 分類モデルを訓練する装置及び方法
CN108985457B (zh) 一种受优化算法启发的深度神经网络结构设计方法
CN106599863A (zh) 一种基于迁移学习技术的深度人脸识别方法
CN109886190A (zh) 一种基于深度学习的人脸表情和姿态双模态融合表情识别方法
CN106447626A (zh) 一种基于深度学习的模糊核尺寸估计方法与系统
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN111292765B (zh) 一种融合多个深度学习模型的双模态情感识别方法
CN112766062B (zh) 一种基于双流深度神经网络的人体行为识别方法
CN114240810B (zh) 一种基于渐进式生成网络的人脸素描-照片合成方法
CN108734677B (zh) 一种基于深度学习的盲去模糊方法及系统
CN109190666B (zh) 基于改进的深度神经网络的花卉图像分类方法
CN113408381B (zh) 基于自注意残差卷积神经网络的微表情分类方法
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
Xue et al. Research on edge detection operator of a convolutional neural network
CN109345604A (zh) 图片处理方法、计算机设备和存储介质
CN115331284A (zh) 一种基于自愈机制的真实场景下的人脸表情识别方法及系统
CN108509986A (zh) 基于模糊不变卷积神经网络的飞机目标识别方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant