CN113780091A - 一种基于身体姿势变化表示的视频情感识别方法 - Google Patents

一种基于身体姿势变化表示的视频情感识别方法 Download PDF

Info

Publication number
CN113780091A
CN113780091A CN202110926712.6A CN202110926712A CN113780091A CN 113780091 A CN113780091 A CN 113780091A CN 202110926712 A CN202110926712 A CN 202110926712A CN 113780091 A CN113780091 A CN 113780091A
Authority
CN
China
Prior art keywords
posture change
body posture
representation
channel
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110926712.6A
Other languages
English (en)
Other versions
CN113780091B (zh
Inventor
杨新宇
魏洁
胡冠宇
陈航
张与弛
梁策
郭靖宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110926712.6A priority Critical patent/CN113780091B/zh
Publication of CN113780091A publication Critical patent/CN113780091A/zh
Application granted granted Critical
Publication of CN113780091B publication Critical patent/CN113780091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于身体姿势变化表示的视频情感识别方法。本发明提出的情感识别方法只关注视频中人们的关键关节点信息，通过对关节点变化进行编码，利用逐通道卷积网络识别情状态，解决某些情况下无法利用面部表情识别情感的问题。首先，对身体的25个关节点位置进行确定；其次，提出身体姿势变化的表示方法，将表示后的关节点信息按时间汇聚；最后，构建一个包含注意力机制的逐通道卷积神经网络来识别情感状态。本发明简单且易于实现，姿势变化表示方法无需复杂计算，浅层识别模型具有极低的开销，同时不需要进行预训练，保证情感识别有效性同时极大提高识别速度。

Description

一种基于身体姿势变化表示的视频情感识别方法
技术领域
本发明属于人工智能情感计算领域，具体涉及一种基于身体姿势变化表示的视频情感识别方法。
背景技术
情感是人们生活中至关重要的部分，在人们感知和理解事物方面起着不可或缺的作用。近年来，视频社交逐渐取代图文成为了人们沟通交流的新方式。人们倾向于通过视频分享生活琐事、时事热点和新型产品等，智能的分析视频传递的情感状态有利于了解用户主观感受，进而改善服务达到营销目的。了解用户的情感状态可以使机器更好地适应并改善与人类的合作方式，同时也可以帮助人们解决一些问题。例如，汽车搭载情感识别系统可以实时识别和检测驾驶员情感状态，避免暴躁、疲劳等状态造成交通意外的发生。监控摄像头搭载情感识别系统可以实时追踪可疑人员的情感变化，进一步预测可能发生的行为，提升对突发事件的介入能力，提前判断是否存在危险情况。
随着情感在人类发展中扮演的角色越来越重要，自动情感识别的研究受到学术界的广泛关注。目前针对人类情感识别的相关研究中，95％的文献关注面部表情，其余关注声音信息。然而，在侦察和监控视频中，很难清晰地捕捉到人们的声音和面孔，此时身体姿势是可以获取的唯一有效证据。非语言行为和心理学研究发现，身体姿势也传达了一定的情感信息。Ekman等人也指出相比于人们有意识地控制面部表情，大多数人不会费心去检查身体姿势。
发明内容
本发明的目的是解决视频中无法获取到清晰面容和声音情况下情感状态识别问题，提供了一种基于身体姿势变化表示的视频情感识别方法。本发明简单且易于实现，姿势变化表示方法无需复杂计算，浅层识别模型具有极低的开销，同时不需要进行预训练。
本发明采用如下技术方案来实现的：
一种基于身体姿势变化表示的视频情感识别方法，该方法首先对身体的25个关节点位置进行确定；其次，提出身体姿势变化的表示方法，将表示后的关节点信息按时间汇聚；最后，构建一个包含注意力机制的逐通道卷积神经网络来识别情感状态。
本发明进一步的改进在于，具体包括以下步骤：
1)提取身体关键关节点：在视频中提取身体关节点的过程包括关节点位置确定，坐标位置一致性处理和关节坐标位置重新赋值；
2)进行身体姿势变化表示：得到了每个时刻每个关节的描述图后，基于时间考虑身体姿势连续变化的表示；
3)构建情感识别模型：该模型为一个包含注意力机制的逐通道卷积神经网络，其输入为步骤2)获得的身体姿势表示，输出为情感类别。
本发明进一步的改进在于，步骤1)的具体实现方法如下：
1-1)关节点位置确定：获取25个身体关节点的位置坐标，包括身体躯干5个，双臂12个，双腿8个；
1-2)坐标位置一致性处理：由于不同视频图像的分辨率不一致，因此对所有坐标进行一致性缩放，使得位置坐标均小于64，
Figure BDA0003209505190000021
表示第i个关节点在t时刻的位置坐标；
1-3)关节坐标位置重新赋值：对关节点所在坐标位置赋值1，其他位置均置为0，进而每个视频片段可以得到T张25通道的关节描述图
Figure BDA0003209505190000031
分辨率为64*64，其中T为视频帧数。
本发明进一步的改进在于，步骤2)的具体实现方法如下：
2-1)移除时间轴的身体姿势变化表示：对时间建立数据化关系
Figure BDA0003209505190000032
在数学上理解为对相同时刻t的所有通道赋予相同的权重，对不同时刻的赋予不同的权重，达到区分变化时刻的目的，随后将所有时刻的对应通道的数据执行求和操作，以获得整个视频片段的身体姿势变化表示；
2-2)建立时间轴的身体姿势变化表示：分别建立时间轴和X方向轴、Y方向轴的坐标关系，形成两个不同方向的轨迹追踪表示，即将获取到的关节点坐标
Figure BDA0003209505190000033
进行拆分，根据时间顺序分别建立两个方向的轨迹
Figure BDA0003209505190000034
和
Figure BDA0003209505190000035
然后将不同关节轨迹进行堆砌，得到身体关节点跟踪轨迹描述姿势变化的表示
Figure BDA0003209505190000036
本发明进一步的改进在于，步骤2-1)具体操作为：对不同时刻的信息赋予不同的权重W(t)，此时t时刻的图片表示为Gt＝It·W(t)，然后随着时间推移汇聚不同时刻的结果Gt，最终得到身体姿势变化的表示G＝∑Gt，其中
Figure BDA0003209505190000037
本发明进一步的改进在于，步骤3)情感识别模型的具体架构为：情感识别模型包括两条通路，第一条通路由2个模块组成，每个模块中包含一个常规卷积层、批标准化层和线性整流函数层；在第二条通路分别增加了逐通道卷积和注意力机制层，保留每个通道独立的特性，同时让模型可以更加关注信息量最大的通道，两条通路间独立执行，然后将其信息汇聚，再紧跟自适应均值池化层，一个全连接层及softmax逻辑回归层一起实现情感的识别。
本发明进一步的改进在于，步骤3)情感识别模型中注意力层具体结构为：首先，自适应均值池化层，对输入进行压缩操作，得到通道级的全局特征；然后，两个全连接层，对全局特征进行激励操作，学习各个通道间的关系，得到不同通道的权重；最后，不同的权重乘以原来对应的输入得到最终特征。
本发明至少具有如下有益的技术效果：
本发明提供的一种基于身体姿势变化表示的视频情感识别方法，该方法首先对身体的25个关节点位置进行确定，其次提出身体姿势变化的表示方法，将表示后的关节点信息按时间汇聚，最后构建一个包含注意力机制的逐通道卷积神经网络来识别情感状态。相比于利用面部表情和语音语调进行情感识别的方法，该方法可以解决监控视频中无法捕获清晰人脸和声音问题时情感识别的问题；此外与其他深度情感识别模型相比，该方法中提出的识别模型是一个浅层神经网络，具有极低的计算开销，同时不需要进行模型预训练。通过理论分析和实验分析，进一步证实了本发明在视频情感识别上的有效性和准确性。
附图说明
图1是提取身体关键关节点过程示意图；
图2是移除时间轴的身体姿势变化表示过程示意图；
图3是不同情感类别的建立时间轴的身体姿势变化表示可视化结果；其中图3(a)是中立情感下身体姿势变化表示，图3(b)是高兴情感下身体姿势变化表示；
图4是包含注意力机制的逐通道卷积神经网络模型结构图；
图5是情感识别模型的注意力层具体结构图；
图6是不同身体姿势变化表示方法的各类别情感识别准确性对比图。
具体实施方式
下面结合附图对本发明作进一步详细描述，但不以任何方式限制本发明的范围。
本发明提供的一种基于身体姿势变化表示的视频情感识别方法，包括以下步骤：
1.提取身体关键关节点
在视频中提取身体关节点的过程包括关节点位置确定，坐标位置一致性处理和关节坐标位置重新赋值，参考图1，具体包括以下步骤：
Step1关节点位置确定：使用目前开源的OpenPose方法获取25个身体关节点的位置坐标，包括身体躯干5个，双臂12个，双腿8个。
Step2坐标位置一致性处理：由于不同视频图像的分辨率不一致，因此我们对所有坐标进行一致性缩放，使得位置坐标均小于64，
Figure BDA0003209505190000051
表示第i个关节点在t时刻的位置坐标。
Step3关节坐标位置重新赋值：对关节点所在坐标位置赋值1，其他位置均置为0，进而每个视频片段我们可以得到T张25通道的关节描述图
Figure BDA0003209505190000052
分辨率为64*64，其中T为视频帧数。
2.身体姿势变化表示
得到了每个时刻每个关节的描述图后，基于时间考虑身体姿势连续变化的表示，具体有两种方式：
2.1移除时间轴的身体姿势变化表示：对时间建立数据化关系
Figure BDA0003209505190000053
在数学上可以理解为对相同时刻t的所有通道赋予相同的权重，对不同时刻的赋予不同的权重，达到区分变化时刻的目的，随后将所有时刻的对应通道的数据执行求和操作，以获得整个视频片段的身体姿势变化表示。
参考图2，本发明包含的移除时间轴的身体姿势变化表示，其具体计算过程为：首先对不同时刻的信息赋予不同的权重W(t)，t时刻的图片可编码为Gt＝It·W(t)，然后随着时间推移汇聚不同时刻的结果Gt，最终得到身体姿势变化的表示G＝∑Gt，其中
Figure BDA0003209505190000061
2.2建立时间轴的身体姿势变化表示：分别建立时间轴和X方向轴、Y方向轴的坐标关系，形成两个不同方向的轨迹追踪表示，即将获取到的关节点坐标
Figure BDA0003209505190000062
进行拆分，根据时间顺序分别建立两个方向的轨迹
Figure BDA0003209505190000063
和
Figure BDA0003209505190000064
然后将不同关节轨迹进行堆砌，得到身体关节点跟踪轨迹描述姿势变化的表示
Figure BDA0003209505190000065
本发明包含的建立时间轴的身体姿势变化表示，其最终25个关节的轨迹可视化结果可参考图3，其中图3(a)为中立情感下的移动轨迹，随时间变化波动不大；图3(b)为高兴情感下的移动轨迹，随时间变化波动较大，可以发现不同情感表现之前差别很大。
3.构建情感识别模型
参考图4，该模型为一个包含注意力机制的逐通道卷积神经网络(attention-based channel-wise convolutional neural network,ACCNN)，其输入为步骤2)获得的身体姿势表示，输出为情感类别。具体来看，整体架构包括两条通路，第一条通路由2个模块组成，每个模块中包含一个常规卷积层、BN层和RELU层；在第二条通路分别增加了逐通道卷积和注意力机制层，保留每个通道独立的特性，同时让模型可以更加关注信息量最大的通道。两条通路间独立执行，然后将其信息汇聚，再紧跟自适应均值池化层，一个全连接层及softmax层一起实现情感的识别。
参考图5，情感识别模型的注意力层具体结构为：首先，自适应均值池化层，对输入进行Squeeze操作，得到通道级的全局特征。然后，两个全连接层，对全局特征进行Excitation操作，学习各个通道间的关系，也得到不同通道的权重。最后，不同的权重乘以原来对应的输入得到最终特征。
为了验证本发明包含的身体姿势变化表示方法和情感识别模型的有效性，本发明进行了相应的实验，结果参照表1所示。首先，从实验结果观察，相比于移除时间轴的姿势变化表示方法，保留时间轴的姿势变化表示方法的性能更好；其次，通过将两种身体姿势表示方法的实验结果进行融合，进一步提升了情感识别准确率，说明了两种方式之间的互补性；最后，使用本发明提出的情感识别网络相比于传统卷积网络性能均得到提升，这表明了本发明中情感识别神经网络包含的逐通道卷积和注意力机制在识别时更具有优越性。
表1：本发明中不同身体姿势编码方法和情感识别模型识别准确率对比结果。
传统卷积 ACCNN
移除时间轴编码 59.46 62.56
建立时间轴编码 83.58 86.24
两种编码表示融合 85.05 88.35
为了更直观的了解每种情感的识别情况，进一步分析了每一类情感的识别准确性，参考图6，首先可以看出，将本发明包含的两种身体姿势表示方法融合后，每一种情感类别的准确率都得了提高，验证了两种方法存在互补性；其次，“中立”情感在所有情感类别中具有最高的识别准确率，且融合后的识别率达到100％，这可能是因为该情感具有比较明显的情感表现线索；最后，相比于移除时间轴的姿势变化表示方法，保留时间轴的姿势变化表示方法在各个情感类别的识别性能更好。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.一种基于身体姿势变化表示的视频情感识别方法，其特征在于，该方法首先对身体的25个关节点位置进行确定；其次，提出身体姿势变化的表示方法，将表示后的关节点信息按时间汇聚；最后，构建一个包含注意力机制的逐通道卷积神经网络来识别情感状态。
2.根据权利要求1所述的一种基于身体姿势变化表示的视频情感识别方法，其特征在于，具体包括以下步骤：
1)提取身体关键关节点：在视频中提取身体关节点的过程包括关节点位置确定，坐标位置一致性处理和关节坐标位置重新赋值；
2)进行身体姿势变化表示：得到了每个时刻每个关节的描述图后，基于时间考虑身体姿势连续变化的表示；
3)构建情感识别模型：该模型为一个包含注意力机制的逐通道卷积神经网络，其输入为步骤2)获得的身体姿势表示，输出为情感类别。
3.根据权利要求2所述的一种基于身体姿势变化表示的视频情感识别方法，其特征在于，步骤1)的具体实现方法如下：
1-1)关节点位置确定：获取25个身体关节点的位置坐标，包括身体躯干5个，双臂12个，双腿8个；
1-2)坐标位置一致性处理：由于不同视频图像的分辨率不一致，因此对所有坐标进行一致性缩放，使得位置坐标均小于64，
Figure FDA0003209505180000012
表示第i个关节点在t时刻的位置坐标；
1-3)关节坐标位置重新赋值：对关节点所在坐标位置赋值1，其他位置均置为0，进而每个视频片段可以得到T张25通道的关节描述图
Figure FDA0003209505180000011
分辨率为64*64，其中T为视频帧数。
4.根据权利要求3所述的一种基于身体姿势变化表示的视频情感识别方法，其特征在于，步骤2)的具体实现方法如下：
2-1)移除时间轴的身体姿势变化表示：对时间建立数据化关系
Figure FDA0003209505180000021
在数学上理解为对相同时刻t的所有通道赋予相同的权重，对不同时刻的赋予不同的权重，达到区分变化时刻的目的，随后将所有时刻的对应通道的数据执行求和操作，以获得整个视频片段的身体姿势变化表示；
2-2)建立时间轴的身体姿势变化表示：分别建立时间轴和X方向轴、Y方向轴的坐标关系，形成两个不同方向的轨迹追踪表示，即将获取到的关节点坐标
Figure FDA0003209505180000022
进行拆分，根据时间顺序分别建立两个方向的轨迹
Figure FDA0003209505180000023
和
Figure FDA0003209505180000024
然后将不同关节轨迹进行堆砌，得到身体关节点跟踪轨迹描述姿势变化的表示
Figure FDA0003209505180000025
5.根据权利要求4所述的一种基于身体姿势变化表示的视频情感识别方法，其特征在于，步骤2-1)具体操作为：对不同时刻的信息赋予不同的权重W(t)，此时t时刻的图片表示为Gt＝It·W(t)，然后随着时间推移汇聚不同时刻的结果Gt，最终得到身体姿势变化的表示G＝∑Gt，其中
Figure FDA0003209505180000026
6.根据权利要求5所述的一种基于身体姿势变化表示的视频情感识别方法，其特征在于，步骤3)情感识别模型的具体架构为：情感识别模型包括两条通路，第一条通路由2个模块组成，每个模块中包含一个常规卷积层、批标准化层和线性整流函数层；在第二条通路分别增加了逐通道卷积和注意力机制层，保留每个通道独立的特性，同时让模型可以更加关注信息量最大的通道，两条通路间独立执行，然后将其信息汇聚，再紧跟自适应均值池化层，一个全连接层及softmax逻辑回归层一起实现情感的识别。
7.根据权利要求6所述的一种基于身体姿势变化表示的视频情感识别方法，其特征在于，步骤3)情感识别模型中注意力层具体结构为：首先，自适应均值池化层，对输入进行压缩操作，得到通道级的全局特征；然后，两个全连接层，对全局特征进行激励操作，学习各个通道间的关系，得到不同通道的权重；最后，不同的权重乘以原来对应的输入得到最终特征。
CN202110926712.6A 2021-08-12 2021-08-12 一种基于身体姿势变化表示的视频情感识别方法 Active CN113780091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110926712.6A CN113780091B (zh) 2021-08-12 2021-08-12 一种基于身体姿势变化表示的视频情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110926712.6A CN113780091B (zh) 2021-08-12 2021-08-12 一种基于身体姿势变化表示的视频情感识别方法

Publications (2)

Publication Number Publication Date
CN113780091A true CN113780091A (zh) 2021-12-10
CN113780091B CN113780091B (zh) 2023-08-22

Family

ID=78837560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110926712.6A Active CN113780091B (zh) 2021-08-12 2021-08-12 一种基于身体姿势变化表示的视频情感识别方法

Country Status (1)

Country Link
CN (1) CN113780091B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596039A (zh) * 2018-03-29 2018-09-28 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
US20200219284A1 (en) * 2019-01-07 2020-07-09 Genieland Company Limited System and method for posture sequence on video from mobile terminals
US20210000404A1 (en) * 2019-07-05 2021-01-07 The Penn State Research Foundation Systems and methods for automated recognition of bodily expression of emotion
CN113239799A (zh) * 2021-05-12 2021-08-10 北京沃东天骏信息技术有限公司 训练方法、识别方法、装置、电子设备和可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596039A (zh) * 2018-03-29 2018-09-28 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
US20200219284A1 (en) * 2019-01-07 2020-07-09 Genieland Company Limited System and method for posture sequence on video from mobile terminals
US20210000404A1 (en) * 2019-07-05 2021-01-07 The Penn State Research Foundation Systems and methods for automated recognition of bodily expression of emotion
CN113239799A (zh) * 2021-05-12 2021-08-10 北京沃东天骏信息技术有限公司 训练方法、识别方法、装置、电子设备和可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
季欣欣;邵洁;钱勇生;: "基于注意力机制和混合网络的小群体情绪识别", 计算机工程与设计, no. 06 *
汤宇豪;毛启容;高利剑;: "基于层次注意力机制的维度情感识别方法", 计算机工程, no. 06 *
谢亮;廖宏建;杨玉宝;: "基于Kinect的姿势识别与应用研究", 计算机技术与发展, no. 05 *

Also Published As

Publication number Publication date
CN113780091B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN109815903B (zh) 一种基于自适应融合网络的视频情感分类方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN111292765B (zh) 一种融合多个深度学习模型的双模态情感识别方法
KR20100001928A (ko) 감정인식에 기반한 서비스 장치 및 방법
CN110175526A (zh) 狗情绪识别模型训练方法、装置、计算机设备及存储介质
CN114399818A (zh) 一种多模态人脸情绪识别方法及装置
CN110059593B (zh) 一种基于反馈卷积神经网络的面部表情识别方法
CN112507920B (zh) 一种基于时间位移和注意力机制的考试异常行为识别方法
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN115393944A (zh) 一种基于多维特征融合的微表情识别方法
CN113506274B (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN115221969A (zh) 基于emd数据增强和并行scn的运动想象脑电信号识别方法
Jaymon et al. Real time emotion detection using deep learning
CN112508121A (zh) 一种工业机器人感知外界的方法和系统
CN110705413B (zh) 基于视线方向和lstm神经网络的情感预测方法及系统
CN110084152B (zh) 一种基于微表情识别的伪装人脸检测方法
CN113780091A (zh) 一种基于身体姿势变化表示的视频情感识别方法
CN111246176A (zh) 一种节带化视频传输方法
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
CN115376542A (zh) 一种低侵入性的视听语音分离方法及系统
CN112101095B (zh) 基于语言和肢体特征的自杀和暴力倾向情感识别方法
Zhang et al. ECMER: Edge-Cloud Collaborative Personalized Multimodal Emotion Recognition Framework in the Internet of Vehicles
CN114492579A (zh) 情绪识别方法、摄像装置、情绪识别装置及存储装置
CN114155602B (zh) 一种人体姿态估计模型稀疏化剪枝方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant