CN113869229A - 基于先验注意力机制引导的深度学习表情识别方法 - Google Patents

基于先验注意力机制引导的深度学习表情识别方法 Download PDF

Info

Publication number
CN113869229A
CN113869229A CN202111153251.XA CN202111153251A CN113869229A CN 113869229 A CN113869229 A CN 113869229A CN 202111153251 A CN202111153251 A CN 202111153251A CN 113869229 A CN113869229 A CN 113869229A
Authority
CN
China
Prior art keywords
mouth
face
key points
eye
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111153251.XA
Other languages
English (en)
Other versions
CN113869229B (zh
Inventor
李永杰
韦新栩
张显石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111153251.XA priority Critical patent/CN113869229B/zh
Publication of CN113869229A publication Critical patent/CN113869229A/zh
Application granted granted Critical
Publication of CN113869229B publication Critical patent/CN113869229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于先验注意力机制引导的深度学习表情识别方法，包括以下步骤：S1、对待识别的人脸图像进行人脸检测；S2、计算双眼和嘴部的中心坐标；S3、截取眼部和嘴部三个区域；S4、将人脸区域图像输入VGG16卷积神经网络，将眼部和嘴部区域图像输入到另一个VGG16卷积神经网络，得到四个一维特征向量；S5、获取全局人脸图像和三个局部区域图像对应的权重系数；S6、将特征向量与权重系数相乘；S7、进行特征融合；S8、输入全连接层进行特征降维；S9、通过Softmax激活函数激活得到表情类别。本发明结合眼动和注意力实验，在训练表情识别模型的时候，将更多的注意力放到特征更加丰富的眼部和嘴部区域，从而提高表情识别的准确率。

Description

基于先验注意力机制引导的深度学习表情识别方法
技术领域
本发明属于计算机视觉和深度学习领域，特别涉及一种基于先验注意力机制引导的深度学习表情识别方法。
背景技术
表情识别在计算机视觉领域一直都是受到人们的关注。表情识别在医疗健康、交通驾驶和心理学等领域都有普遍的应用。传统表情识别方法提取传统表情特征进行识别，传统表情特征提取方法有Gabor小波变换、局部二值模式(LBP)、局部线性嵌入(LLE)、梯度方向直方图(HOG)等。随着深度学习的发展，出现了使用卷积神经网络提取表情特征进行表情识别的方法，并且效果相比起传统方法有了很大的提升。但是在人脸表情图像分辨率比较低、质量较差、背景干扰较大的情况下，卷积神经网络提取的特征的相似度较高，导致网络无法正确识别各种表情，进而导致表情识别的准确率降低。
大量眼动实验和注意力实验证明，当人类在识别进行人脸识别或者表情识别等任务的时候，会将更多的注意力关注到人的眼睛和嘴巴等部位。这是因为人类的注意力资源是有限的，在进行视觉任务的时候，人类会将我们更加感兴趣的、包含更多信息的区域。计算机的计算资源同样是有限的，让计算机拥有人类的注意力机制，会大大提高计算机视觉任务的准确率。
发明内容
本发明的目的在于克服现有技术的不足，提供一种结合眼动和注意力实验，让神经网络模拟人类在进行表情识别任务时的注意力机制，在训练表情识别模型的时候，将更多的注意力放到特征更加丰富的眼部和嘴部区域，从而提高表情识别的准确率的基于先验注意力机制引导的深度学习表情识别方法。
本发明的目的是通过以下技术方案来实现的：基于先验注意力机制引导的深度学习表情识别方法，包括以下步骤：
S1、对待识别的人脸图像进行人脸检测，获取人脸区域图像；
S2、对获取的人脸区域图像进行人脸关键点检测，计算双眼和嘴部的中心坐标；
S3、通过双眼和嘴部的中心点坐标截取眼部和嘴部三个区域；
S4、将S1中获取的人脸区域图像输入VGG16卷积神经网络提取深度特征，输出一个全局的一维特征向量；将S3中获取的眼部和嘴部区域一共三个区域的图像输入到另一个VGG16卷积神经网络中，分别输出三个局部的一维特征向量，最终得到四个一维特征向量；
S5、通过预先进行的眼动和注意力实验，获取S1中全局人脸图像和S3中三个局部区域图像对应的特征向量的权重系数；
S6、将每个特征向量与其对应的权重系数相乘；
S7、进行特征融合，将相乘后的四个一维特征向量进行拼接操作，得到一个更大的一维向量；
S8、将S7中得到的特征向量输入全连接层进行特征降维；
S9、通过Softmax激活函数激活得到对应表情类别。
进一步地，所述步骤S2具体实现方法为：使用Dlib库的shape_predictor()函数调用Dlib库内置的训练好的人脸关键点检测模型shape_predictor_68_face_landmarks.dat进行人脸关键点检测，获得人脸68个关键点的坐标；其中，第36个关键点到第42个关键点为左眼的关键点，第42个关键点到第48个关键点为右眼的关键点，第48个关键点到第68个关键点为嘴巴的关键点；
通过关键点计算出左右眼和嘴巴的中心点的坐标分别为：
左眼中心点：
Figure BDA0003287796860000021
右眼中心点：
Figure BDA0003287796860000022
嘴巴中心点：
Figure BDA0003287796860000023
LMsets[]表示括号中关键点的坐标，LMsets[][0]表示关键点的横坐标，LMsets[][1]表示关键点的纵坐标。
进一步地，所述步骤S3中具体实现方法为：将S1中获取的人脸区域图像Resize为96x96像素大小，通过S3获取的三个中心坐标，将左右眼和嘴部区域从人脸区域截取出来，每个部分截取的大小为36x36。
进一步地，所述步骤S5具体实现方法为：
S51、通过预先进行的眼动和注意力实验，记录下眼动注视点分布图和眼动注视区域热图；
S52、将包含注视点的人脸表情图片Resize成为96x96，统计整个人脸表情图像注视点的个数，然后按照S3的方法截取左右眼和嘴巴三个区域；
S53、分别计算整个人脸表情图片及截取出来的左右眼和嘴巴四个区域的相对注视点分布比例系数，作为对应的特征向量的权重系数，计算方式为：
人脸区域：
Figure BDA0003287796860000024
左眼区域：
Figure BDA0003287796860000031
右眼区域：
Figure BDA0003287796860000032
嘴部区域：
Figure BDA0003287796860000033
本发明的有益效果是：本发明结合眼动和注意力实验，让神经网络模拟人类在进行表情识别任务时的注意力机制，让神经网络在训练表情识别模型的时候，将更多的注意力放到特征更加丰富的眼部和嘴部区域，从而提高表情识别的准确率。
附图说明
图1为本发明的全局-局部CNN表情识别方法的流程图；
图2为本发明的VGG16卷积神经网络结构示意图；
图3为本发明的眼动仪记录下的被试的眼动注视点分布图和眼动注视区域热图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
如图1所示，本发明的一种基于先验注意力机制引导的深度学习表情识别方法，包括以下步骤：
S1、对待识别的人脸图像进行人脸检测，获取人脸区域图像；待识别的图像可以使用国际中一些人脸表情公开数据集，比如FER2013、CK+、TFD和Jaffe等，或者采用摄像头获取图像。人脸检测的方法是使用Dlib库的get_frontal_face_detector()函数获取Dlib库内置的人脸检测器模型，可以检测到人脸并获取人脸相对于屏幕所在位置的四个坐标点，由这四个坐标点可以确定一个矩形检测框。
S2、对获取的人脸区域图像进行人脸关键点检测，计算双眼和嘴部的中心坐标；具体实现方法为：使用Dlib库的shape_predictor()函数调用Dlib库内置的训练好的人脸关键点检测模型shape_predictor_68_face_landmarks.dat进行人脸关键点检测，这个人脸关键点检测模型可以获得人脸68个关键点的坐标；其中，第36个关键点到第42个关键点为左眼的关键点，第42个关键点到第48个关键点为右眼的关键点，第48个关键点到第68个关键点为嘴巴的关键点；
通过关键点计算出左右眼和嘴巴的中心点的坐标分别为：
左眼中心点：
Figure BDA0003287796860000034
右眼中心点：
Figure BDA0003287796860000035
嘴巴中心点：
Figure BDA0003287796860000036
LMsets[]表示括号中关键点的坐标，LMsets[][0]表示关键点的横坐标，LMsets[][1]表示关键点的纵坐标。
S3、通过双眼和嘴部的中心点坐标截取眼部和嘴部三个区域；具体实现方法为：将S1中获取的人脸区域图像Resize为96x96像素大小，通过S3获取的三个中心坐标，将左右眼和嘴部区域从人脸区域截取出来，每个部分截取的大小为36x36。
S4、将S1中获取的人脸区域图像输入VGG16卷积神经网络提取深度特征，输出一个维度为1x512的全局一维特征向量W1i；将S3中获取的眼部和嘴部区域一共三个区域的图像输入到另一个VGG16卷积神经网络中，分别输出三个维度为1x512的局部一维特征向量W2i、W3i、W4i，最终得到四个一维特征向量，具体过程如图2所示。
S5、通过预先进行的眼动和注意力实验，获取S1中全局人脸图像和S3中三个局部区域图像对应的特征向量的权重系数；
具体实现方法为：
S51、通过预先进行的眼动和注意力实验，眼动和注意力实验的实验设备为一台头戴式眼动仪。我们邀请不同被试进行眼动实验，要求被试观看多张不同表情的人脸图片，然后要求在规定时间内识别出图片的表情类型。在实验的过程中，使用眼动仪记录下眼动注视点分布图；如图3所示。
S52、将人脸图像Resize成为96x96像素大小，统计整个人脸表情图像注视点的个数，然后按照S3的方法截取左右眼和嘴巴三个区域；
S53、分别计算整个人脸表情图片及截取出来的左右眼和嘴巴四个区域的相对注视点分布比例系数，作为对应的特征向量的权重系数，计算方式为：
人脸区域：
Figure BDA0003287796860000041
左眼区域：
Figure BDA0003287796860000042
右眼区域：
Figure BDA0003287796860000043
嘴部区域：
Figure BDA0003287796860000044
本实施例通过实验得到λ1∶λ2∶λ3∶λ4＝0.5∶0.8∶0.8∶0.8。
这四个系数分别作为四个区域的特征向量的权重系数，特征向量权重系数大的区域，网络在训练时将会更多地关注这部分区域，特征向量权重系数小的区域，网络在训练时将会更少地关注这部分区域。通过注意力权重的分配，可以让神经网络模拟人的注意力机制，提高识别的准确率。
S6、将每个特征向量与其对应的权重系数相乘；
S7、进行特征融合，将相乘后的四个一维特征向量进行拼接操作，得到一个更大的一维向量；本实施例的四个一维特征向量进行拼接处理后，得到一个维度为1x2048的特征向量；
S8、将S7中得到的特征向量输入全连接层进行特征降维；如图2所示，将拼接之后的1x2048维特征向量输入到第一个全连接层中，输出的特征向量被降维到1x512维，再将这个特征向量输入到第二个全连接层中，输出的特征向量降维到1x256维；
S9、将得到的维度为1x256的特征向量通过Softmax激活函数激活得到对应表情类别。
本发明在CK+、JAFFE和TFD数据集上进行了消融实验，通过大量实验结果证明，使用了注意力权重系数的表情识别准确率>未使用注意力权重系数的表情识别准确率>只使用全局人脸表情的表情识别准确率。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.基于先验注意力机制引导的深度学习表情识别方法，其特征在于，包括以下步骤：
S1、对待识别的人脸图像进行人脸检测，获取人脸区域图像；
S2、对获取的人脸区域图像进行人脸关键点检测，计算双眼和嘴部的中心坐标；
S3、通过双眼和嘴部的中心点坐标截取眼部和嘴部三个区域；
S4、将S1中获取的人脸区域图像输入VGG16卷积神经网络提取深度特征，输出一个全局的一维特征向量；将S3中获取的眼部和嘴部区域一共三个区域的图像输入到另一个VGG16卷积神经网络中，分别输出三个局部的一维特征向量，最终得到四个一维特征向量；
S5、通过预先进行的眼动和注意力实验，获取S1中全局人脸图像和S3中三个局部区域图像对应的特征向量的权重系数；
S6、将每个特征向量与其对应的权重系数相乘；
S7、进行特征融合，将相乘后的四个一维特征向量进行拼接操作，得到一个更大的一维向量；
S8、将S7中得到的特征向量输入全连接层进行特征降维；
S9、通过Softmax激活函数激活得到对应表情类别。
2.根据权利要求1所述的基于先验注意力机制引导的深度学习表情识别方法，其特征在于，所述步骤S2具体实现方法为：使用Dlib库的shape_predictor()函数调用Dlib库内置的训练好的人脸关键点检测模型shape_predictor_68_face_landmarks.dat进行人脸关键点检测，获得人脸68个关键点的坐标；其中，第36个关键点到第42个关键点为左眼的关键点，第42个关键点到第48个关键点为右眼的关键点，第48个关键点到第68个关键点为嘴巴的关键点；
通过关键点计算出左右眼和嘴巴的中心点的坐标分别为：
左眼中心点：
Figure FDA0003287796850000011
右眼中心点：
Figure FDA0003287796850000012
嘴巴中心点：
Figure FDA0003287796850000013
LMsets[ ]表示括号中关键点的坐标，LMsets[ ][0]表示关键点的横坐标，LMsets[ ][1]表示关键点的纵坐标。
3.根据权利要求1所述的基于先验注意力机制引导的深度学习表情识别方法，其特征在于，所述步骤S3中具体实现方法为：将S1中获取的人脸区域图像Resize为96x96像素大小，通过S3获取的三个中心坐标，将左右眼和嘴部区域从人脸区域截取出来，每个部分截取的大小为36x36。
4.根据权利要求1所述的基于先验注意力机制引导的深度学习表情识别方法，其特征在于，所述步骤S5具体实现方法为：
S51、通过预先进行的眼动和注意力实验，记录下眼动注视点分布图；
S52、将人脸图像Resize成为96x96像素大小，统计整个人脸表情图像注视点的个数，然后按照S3的方法截取左右眼和嘴巴三个区域；
S53、分别计算整个人脸表情图片及截取出来的左右眼和嘴巴四个区域的相对注视点分布比例系数，作为对应的特征向量的权重系数，计算方式为：
人脸区域：
Figure FDA0003287796850000021
左眼区域：
Figure FDA0003287796850000022
右眼区域：
Figure FDA0003287796850000023
嘴部区域：
Figure FDA0003287796850000024
CN202111153251.XA 2021-09-29 2021-09-29 基于先验注意力机制引导的深度学习表情识别方法 Active CN113869229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111153251.XA CN113869229B (zh) 2021-09-29 2021-09-29 基于先验注意力机制引导的深度学习表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111153251.XA CN113869229B (zh) 2021-09-29 2021-09-29 基于先验注意力机制引导的深度学习表情识别方法

Publications (2)

Publication Number Publication Date
CN113869229A true CN113869229A (zh) 2021-12-31
CN113869229B CN113869229B (zh) 2023-05-09

Family

ID=79000672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111153251.XA Active CN113869229B (zh) 2021-09-29 2021-09-29 基于先验注意力机制引导的深度学习表情识别方法

Country Status (1)

Country Link
CN (1) CN113869229B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887386A (zh) * 2021-09-29 2022-01-04 电子科技大学 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN114582002A (zh) * 2022-04-18 2022-06-03 华南理工大学 一种结合注意力模块与二阶池化机制的人脸表情识别方法
CN114898447A (zh) * 2022-07-13 2022-08-12 北京科技大学 一种基于自注意力机制的个性化注视点检测方法及装置
CN115346262A (zh) * 2022-08-23 2022-11-15 北京字跳网络技术有限公司 一种表情驱动参数的确定方法、装置、设备及存储介质
CN116912924A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种目标图像识别方法和装置
CN117153403A (zh) * 2023-09-13 2023-12-01 安徽爱学堂教育科技有限公司 基于微表情与身体指标的心理健康评价方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法
CN106980848A (zh) * 2017-05-11 2017-07-25 杭州电子科技大学 基于曲波变换和稀疏学习的人脸表情识别方法
CN107256332A (zh) * 2017-05-24 2017-10-17 上海交通大学 基于眼动数据的脑电实验评估系统及方法
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109800434A (zh) * 2019-01-25 2019-05-24 陕西师范大学 基于眼动注意力的抽象文本标题生成方法
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111507224A (zh) * 2020-04-09 2020-08-07 河海大学常州校区 一种基于网络剪枝的cnn人脸表情识别显著性分析方法
CN112733772A (zh) * 2021-01-18 2021-04-30 浙江大学 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统
WO2021127916A1 (zh) * 2019-12-23 2021-07-01 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法
CN106980848A (zh) * 2017-05-11 2017-07-25 杭州电子科技大学 基于曲波变换和稀疏学习的人脸表情识别方法
CN107256332A (zh) * 2017-05-24 2017-10-17 上海交通大学 基于眼动数据的脑电实验评估系统及方法
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109800434A (zh) * 2019-01-25 2019-05-24 陕西师范大学 基于眼动注意力的抽象文本标题生成方法
CN110689599A (zh) * 2019-09-10 2020-01-14 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
WO2021127916A1 (zh) * 2019-12-23 2021-07-01 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质
CN111507224A (zh) * 2020-04-09 2020-08-07 河海大学常州校区 一种基于网络剪枝的cnn人脸表情识别显著性分析方法
CN112733772A (zh) * 2021-01-18 2021-04-30 浙江大学 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JING LI 等: "Attention mechanism-based CNN for facial expression recognition", NEUROCOMPUTING *
兰继军 等: "3～6岁自闭症儿童面部表情识别的眼动实验", 中国健康心理学杂志 *
姜月武 等: "深度人脸表情识别研究进展", 智能计算机与应用 *
樊越波 等: "孤独症谱系障碍儿童情绪面孔识别的眼动轨迹", 中国儿童保健杂志 *
江渊广 等: "特征块权重化的面部表情识别研究", 工业控制计算机 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887386A (zh) * 2021-09-29 2022-01-04 电子科技大学 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN113887386B (zh) * 2021-09-29 2023-04-28 电子科技大学 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN114582002A (zh) * 2022-04-18 2022-06-03 华南理工大学 一种结合注意力模块与二阶池化机制的人脸表情识别方法
CN114898447A (zh) * 2022-07-13 2022-08-12 北京科技大学 一种基于自注意力机制的个性化注视点检测方法及装置
CN115346262A (zh) * 2022-08-23 2022-11-15 北京字跳网络技术有限公司 一种表情驱动参数的确定方法、装置、设备及存储介质
CN116912924A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 一种目标图像识别方法和装置
CN116912924B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 一种目标图像识别方法和装置
CN117153403A (zh) * 2023-09-13 2023-12-01 安徽爱学堂教育科技有限公司 基于微表情与身体指标的心理健康评价方法

Also Published As

Publication number Publication date
CN113869229B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN113869229A (zh) 基于先验注意力机制引导的深度学习表情识别方法
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
Dvornik et al. On the importance of visual context for data augmentation in scene understanding
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN112257513B (zh) 一种手语视频翻译模型的训练方法、翻译方法及系统
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
Ma et al. Rectify vit shortcut learning by visual saliency
Zheng et al. Attention assessment based on multi‐view classroom behaviour recognition
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN117423134A (zh) 一种人体目标检测和解析的多任务协同网络及其训练方法
Figueroa-Flores et al. Saliency for free: Saliency prediction as a side-effect of object recognition
CN115331289A (zh) 基于视频运动放大和光流特征的微表情识别方法
CN114333063A (zh) 一种基于人体姿态估计的武术动作纠正方法及装置
CN113920575A (zh) 一种人脸表情识别方法、装置及存储介质
CN113705511A (zh) 手势识别方法及装置
Datta et al. Eye gaze detection based on computational visual perception and facial landmarks
CN116894978B (zh) 一种融合面部情绪与行为多特征的线上考试防作弊系统
US20240112330A1 (en) Method for screening mobile terminal visual attention abnormalities in children based on multimodal data learning
Liu et al. A Three‐Dimensional Anisotropic Diffusion Equation‐Based Video Recognition Model for Classroom Concentration Evaluation in English Language Teaching
CN117746484A (zh) 一种面部特征多粒度认知增强的微表情识别方法与系统
kant Kumar et al. Determine attention of faces through growing level of emotion using deep Convolution Neural Network
Wu et al. The Application and Optimization of Deep Learning in Recognizing Student Learning Emotions.
Kaur et al. Analysis of Sign Language Recognition System for Society 5.0 for Sensory-Impaired People
Singh et al. Mathematical Methods for Facial Expression Recognition with Applications in Challenging Situations.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant