CN114581823A - 基于时序特征的虚拟现实视频情感识别方法及系统 - Google Patents
基于时序特征的虚拟现实视频情感识别方法及系统 Download PDFInfo
- Publication number
- CN114581823A CN114581823A CN202210174140.5A CN202210174140A CN114581823A CN 114581823 A CN114581823 A CN 114581823A CN 202210174140 A CN202210174140 A CN 202210174140A CN 114581823 A CN114581823 A CN 114581823A
- Authority
- CN
- China
- Prior art keywords
- emotion
- virtual reality
- features
- reality scene
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000008909 emotion recognition Effects 0.000 title claims description 24
- 230000008451 emotion Effects 0.000 claims abstract description 132
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000037007 arousal Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006698 induction Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于认知心理学、虚拟现实技术和情感连续识别的交叉融合领域，为基于时序特征的虚拟现实视频情感识别方法和系统，包括：建立带有连续情感标签的虚拟现实场景音视频数据集；对待识别的虚拟现实场景视频进行跨范式数据预处理；对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；训练单模态虚拟现实场景视频情感回归模型，并融合生成、训练多模态情感回归神经网络模型；将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。本发明能够基于时序、视觉、音频、生理信号多模态特征，为虚拟现实场景视频的情感评估提供新途径，高效准确地进行情感连续识别。
Description
技术领域
本发明属于认知心理学、虚拟现实技术和情感连续识别的交叉融合领域，具体为基于时序特征的虚拟现实视频情感识别方法及系统。
背景技术
情感诱发和情感识别是情绪研究领域的热点之一，其在推荐系统、游戏设计、心理学研究、人机交互和人机情感感知等领域都有重要的应用和研究价值。虚拟现实场景凭借其高沉浸度、高代入感在教育、医疗、娱乐、脑机接口等方面得到了广泛的应用，同时在情绪诱发领域获得了广泛关注和研究，因此如何对虚拟现实场景视频进行连续情感评价显得尤为重要。
当前基于虚拟现实场景的情感诱发和情感识别研究中，虚拟现实诱发态下带有连续情感标签的虚拟现实场景素材库较少，对情感诱发材料的情感标注主要是采用SAM量表进行离散评价，耗时耗力，具有较大的主观性，且无法从时间维度上对情感诱发素材进行连续的情绪标注。且针对虚拟现实场景在时间维度上进行动态跨范式连续情绪标注的回归模型尚未完善，这是行业内急需探索和思考的问题。
发明内容
为了解决虚拟现实场景视频情感识别层面缺少在时间维度上进行跨范式连续情感标注回归模型的问题，从建立虚拟现实场景音视频连续情感数据集出发，本发明提出基于时序特征的虚拟现实视频情感识别方法及系统。
本发明方法通过以下技术方案实现：基于时序特征的虚拟现实视频情感识别方法，包括以下步骤：
S1、建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征及生理信号特征；
S2、对待识别的虚拟现实场景视频进行跨范式数据预处理；
S3、对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；
S4、训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型；
S5、训练多模态情感回归神经网络模型；
S6、将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。
本发明系统通过以下技术方案实现：基于时序特征的虚拟现实视频情感识别系统，包括：
数据集建立模块，用于建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征及生理信号特征；
预处理模块，用于对待识别的虚拟现实场景视频进行跨范式数据预处理；
特征提取模块，对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；
多模态回归模型生成及训练模块，训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型，并训练多模态情感回归神经网络模型；
情感识别模块，用于将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。
本发明能够基于时序、视觉、音频、生理信号四种模态特征，为虚拟现实场景视频的情感评估提供了一种新的途径，能够高效准确地对虚拟现实场景视频进行情感连续识别。本发明与现有技术相比，具有如下优点和有益效果：
1、本发明对虚拟现实场景视频进行连续情感回归提供了一种新的途径，通过充分探索视觉特性、音频特性、生理特性和时序特性，经过主成分分析、特征对齐和归一化等途径综合分析影响情感的特征矩阵，并基于多模态融合，建立多模态融合情感回归网络，增加通道注意力模块和空间注意力模块，自主学习并分配各特征权重，同时使得图像输入更加丰富，避免噪声干扰。
2、本发明通过建立多模态融合跨范式情感回归网络，通过数据预处理，减少个体差异和数据主观性，能够对虚拟现实场景视频进行连续情感回归，情感评价相比SAM更加高效准确。
附图说明
图1是本发明实施例中基于时序特征的虚拟现实视频情感识别方法流程图；
图2是本发明实施例中建立虚拟现实场景音视频连续情感数据集的流程图；
图3是本发明实施例中虚拟现实视频跨范式多模态融合情感回归模型中的通道注意力模块；
图4是本发明实施例中虚拟现实视频跨范式多模态融合情感回归模型中的空间注意力模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，下面结合附图及实施例对本发明作进一步的说明，此处所描述实施例仅适用于解释本发明，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。
实施例1
如图1所示，本实施例提供基于时序特征的虚拟现实视频情感识别方法，该方法主要包括以下步骤：
S1、建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征、生理信号特征等(EEG、BVP、GSR、ECG)。
本步骤建立带有连续情感标签的虚拟现实场景音视频数据集，如图2所示，具体过程包括：
S11、搜集包含不同情感内容的虚拟现实场景视频，通过M名健康受试者对搜集到的N个虚拟现实场景视频进行SAM自我评估，根据评估得分，在各个情感象限分别筛选出F个虚拟现实场景视频。
S12、搭建连续SAM自我评估实验范式，由P个健康受试者对虚拟现实场景视频进行连续SAM情感评估实验，受试者在头戴虚拟头显观看虚拟现实场景视频时，实时进行SAM自我评估。每个虚拟现实场景视频在播放完毕后有19s的黑屏时间，以供受试者情感平复。同时收集受试者的连续生理信号和对虚拟现实场景视频在愉悦度、唤醒度和支配度三个维度上的评分。评分范围为1-9，根据计算每个虚拟现实场景视频在愉悦度、唤醒度和支配度三个维度上的平均值和标准差，标准差小于1.5的认为是有效数据，并将P个受试者的连续评分平均值作为虚拟现实场景视频的情绪标签。
S13、对每个虚拟现实场景视频进行处理，提取其在视觉、音频方面的手工特征和生理信号特征，并与连续情感标签相对应，实现虚拟现实场景音视频连续情感数据集的构建。
其中，对每个虚拟现实场景视频进行处理，包括手工特征提取、特征对齐和归一化处理，具体细节如下：
S131、提取虚拟现实场景视频在视觉、音频方面的手工特征、时序特征、动作信息特征和生理信号特征，其中生理信号特征包含EEG、BVP、GSR、ECG、HR等，视觉特征包括颜色特征、灰度特征、形状特征、纹理特征、共生矩阵特征等。
S132、将来自不同维度的特征与情感标签对齐，并作各维度与情感高相关的情感特征选择和归一化处理。
S2、对待识别的虚拟现实场景视频进行跨范式数据预处理。
本实施例中，跨范式数据预处理指以每个虚拟现实场景视频为单位形成不同的数据划分方式，即虚拟现实场景音视频连续情感数据集中共有N个视频，以待参与情感回归的视频作为验证集数据样本，其他视频作为训练集，跨范式预处理模块将数据集划分为具有N种训练方式的数据集。
S3、对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；
本实施例中，深度学习网络提取的音频特征被转化为灰度图谱图片，与视觉特征一同由CNN网络和RNN网络提取视觉、音频和时序特征，由RNN网络提取生理特征；并将所提取的特征进行特征主成分分析、对齐和归一化处理。
S4、训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型；
单模态情感回归模型包括视觉情感回归网络、音频情感回归网络和生理信号情感回归网络，其网络主要架构均为CNN-RNN网络，并在CNN网络中添加了注意力机制模块CABM，从通道和空间维度强调重要情感特征，抑制不必要的特征。图3和图4分别为注意力机制模块CABM中的通道注意力模块和空间注意力模块。
本步骤训练单模态虚拟现实场景视频情感回归模型主要过程为：
S41、分别训练视觉情感回归网络、音频情感回归网络和生理信号情感回归网络三种单模态虚拟现实场景视频情感回归模型；
S42、根据特征层融合、决策层融合和混合融合的方式，生成多模态情感回归神经网络模型。所述特征层融合指各单模态神经网络在提取到特征后，通过Add和Concat的方式合并各模态的多层特征，随后输入到池化层和全连接层；所述决策层融合指各单模态模型获得回归结果后根据最大池化、平均池化、加权池化的方式得到最终回归结果；混合融合指将特征层融合和决策层融合结合的方式获得回归结果。
S5、训练多模态情感回归神经网络模型；
多模态情感回归网络的训练方法主要有以下几点：
S51、多模态融合指根据特征层融合、决策层融合和混合融合的方式，生成多模态情感回归神经网络模型。
S52、特征层融合指各单模态神经网络在提取到特征后，通过add和concat的方式合并各模态的多层特征，随后输入到池化层和全连接层；
S53、决策层融合指各单模态模型获得回归结果后根据最大池化、平均池化、加权池化的方式得到最终回归结果；混合融合意指将特征层融合和决策层融合结合的方式获得回归结果。
S6、将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。
在本步骤中，多模态情感回归神经网络用于对虚拟现实场景视频进行情感回归预测，并输出回归结果。
实施例2
与实施例1基于相同的发明构思，本实施例提供的是基于时序特征的虚拟现实视频情感识别系统，包括：
数据集建立模块，用于建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征及生理信号特征；
预处理模块，用于对待识别的虚拟现实场景视频进行跨范式数据预处理；
特征提取模块，对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；
多模态回归模型生成及训练模块，训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型，并训练多模态情感回归神经网络模型；
情感识别模块，用于将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。
本实施例的各模块分别用于实现实施例1的相应步骤，在此不赘述。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于时序特征的虚拟现实视频情感识别方法，其特征在于，包括以下步骤：
S1、建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征及生理信号特征；
S2、对待识别的虚拟现实场景视频进行跨范式数据预处理；
S3、对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；
S4、训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型；
S5、训练多模态情感回归神经网络模型；
S6、将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。
2.根据权利要求1所述的虚拟现实视频情感识别方法，其特征在于，步骤S1包括：
S11、搜集包含不同情感内容的虚拟现实场景视频，通过M名健康受试者对搜集到的N个虚拟现实场景视频进行SAM自我评估，根据评估得分，在各个情感象限分别筛选出F个虚拟现实场景视频；
S12、搭建连续SAM自我评估实验范式，由P个健康受试者对虚拟现实场景视频进行连续SAM情感评估实验，受试者在头戴虚拟头显观看虚拟现实场景视频时，实时进行SAM自我评估；收集受试者的连续生理信号和对虚拟现实场景视频在愉悦度、唤醒度和支配度三个维度上的评分，将P个健康受试者的连续评分平均值作为虚拟现实场景视频的情绪标签。
S13、对每个虚拟现实场景视频进行处理，提取其在视觉、音频方面的手工特征和生理信号特征，并与连续情感标签相对应，实现虚拟现实场景音视频连续情感数据集的构建。
3.根据权利要求2所述的虚拟现实视频情感识别方法，其特征在于，步骤S13对每个虚拟现实场景视频进行处理，包括手工特征提取、特征对齐和归一化处理。
4.根据权利要求3所述的虚拟现实视频情感识别方法，其特征在于，步骤S13包括：
S131、提取虚拟现实场景视频在视觉、音频方面的手工特征、时序特征、动作信息特征和生理信号特征，其中生理信号特征包含EEG、BVP、GSR、ECG及HR，视觉特征包括颜色特征、灰度特征、形状特征、纹理特征及共生矩阵特征；
S132、将来自不同维度的特征与情感标签对齐，并作各维度与情感高相关的情感特征选择和归一化处理。
5.根据权利要求1所述的虚拟现实视频情感识别方法，其特征在于，步骤S3中深度学习网络提取的音频特征被转化为灰度图谱图片，与视觉特征一同由CNN网络和RNN网络提取视觉、音频和时序特征，由RNN网络提取生理特征；并将所提取的特征进行特征主成分分析、对齐和归一化处理。
6.根据权利要求1所述的虚拟现实视频情感识别方法，其特征在于，步骤S4中单模态情感回归模型包括视觉情感回归网络、音频情感回归网络和生理信号情感回归网络，其网络主要架构均为CNN-RNN网络，并在CNN网络中添加了注意力机制模块CABM。
7.根据权利要求6所述的虚拟现实视频情感识别方法，其特征在于，步骤S4包括：
S41、分别训练视觉情感回归网络、音频情感回归网络和生理信号情感回归网络三种单模态虚拟现实场景视频情感回归模型；
S42、根据特征层融合、决策层融合和混合融合的方式，生成多模态情感回归神经网络模型；所述特征层融合指各单模态神经网络在提取到特征后，通过Add和Concat的方式合并各模态的多层特征，随后输入到池化层和全连接层；所述决策层融合指各单模态模型获得回归结果后根据最大池化、平均池化、加权池化的方式得到最终回归结果；所述混合融合意指将特征层融合和决策层融合结合的方式获得回归结果。
8.基于时序特征的虚拟现实视频情感识别系统，其特征在于，包括：
数据集建立模块，用于建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征及生理信号特征；
预处理模块，用于对待识别的虚拟现实场景视频进行跨范式数据预处理；
特征提取模块，对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；
多模态回归模型生成及训练模块，训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型，并训练多模态情感回归神经网络模型；
情感识别模块，用于将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。
9.根据权利要求8所述的虚拟现实视频情感识别系统，其特征在于，数据集建立模块建立数据集的过程包括：
搜集包含不同情感内容的虚拟现实场景视频，通过M名健康受试者对搜集到的N个虚拟现实场景视频进行SAM自我评估，根据评估得分，在各个情感象限分别筛选出F个虚拟现实场景视频；
搭建连续SAM自我评估实验范式，由P个健康受试者对虚拟现实场景视频进行连续SAM情感评估实验，受试者在头戴虚拟头显观看虚拟现实场景视频时，实时进行SAM自我评估；收集受试者的连续生理信号和对虚拟现实场景视频在愉悦度、唤醒度和支配度三个维度上的评分，将P个健康受试者的连续评分平均值作为虚拟现实场景视频的情绪标签。
对每个虚拟现实场景视频进行处理，提取其在视觉、音频方面的手工特征和生理信号特征，并与连续情感标签相对应，实现虚拟现实场景音视频连续情感数据集的构建。
10.根据权利要求8所述的虚拟现实视频情感识别系统，其特征在于，特征提取模块中深度学习网络提取的音频特征被转化为灰度图谱图片，与视觉特征一同由CNN网络和RNN网络提取视觉、音频和时序特征，由RNN网络提取生理特征；并将所提取的特征进行特征主成分分析、对齐和归一化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210174140.5A CN114581823B (zh) | 2022-02-24 | 2022-02-24 | 基于时序特征的虚拟现实视频情感识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210174140.5A CN114581823B (zh) | 2022-02-24 | 2022-02-24 | 基于时序特征的虚拟现实视频情感识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581823A true CN114581823A (zh) | 2022-06-03 |
| CN114581823B CN114581823B (zh) | 2024-04-30 |
Family
ID=81775211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210174140.5A Active CN114581823B (zh) | 2022-02-24 | 2022-02-24 | 基于时序特征的虚拟现实视频情感识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581823B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115587347A (zh) * | 2022-09-28 | 2023-01-10 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的内容处理方法及装置 |
| CN116049743A (zh) * | 2022-12-14 | 2023-05-02 | 深圳市仰和技术有限公司 | 基于多模态数据的认知识别方法、计算机设备和存储介质 |
| CN116797981A (zh) * | 2023-08-18 | 2023-09-22 | 成都锦城学院 | 一种基于深度学习的跨模态视频情感处理方法 |
| CN117292788A (zh) * | 2023-11-21 | 2023-12-26 | 南京元域绿洲科技有限公司 | 双相障碍虚拟现实训练系统 |
| CN117314370A (zh) * | 2023-11-30 | 2023-12-29 | 嘉兴市信达电子科技有限公司 | 一种基于智慧能源的数据驾驶舱系统及实现方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160071024A1 (en) * | 2014-02-25 | 2016-03-10 | Sri International | Dynamic hybrid models for multimodal analysis |
| CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN113011504A (zh) * | 2021-03-23 | 2021-06-22 | 华南理工大学 | 基于视角权重和特征融合的虚拟现实场景情感识别方法 |
-
2022
- 2022-02-24 CN CN202210174140.5A patent/CN114581823B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160071024A1 (en) * | 2014-02-25 | 2016-03-10 | Sri International | Dynamic hybrid models for multimodal analysis |
| CN106919251A (zh) * | 2017-01-09 | 2017-07-04 | 重庆邮电大学 | 一种基于多模态情感识别的虚拟学习环境自然交互方法 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN113011504A (zh) * | 2021-03-23 | 2021-06-22 | 华南理工大学 | 基于视角权重和特征融合的虚拟现实场景情感识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 闫静杰等: "表情和姿态的双模态情感识别", 《中国图象图形学报》, no. 09, 16 September 2013 (2013-09-16) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115587347A (zh) * | 2022-09-28 | 2023-01-10 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的内容处理方法及装置 |
| CN116049743A (zh) * | 2022-12-14 | 2023-05-02 | 深圳市仰和技术有限公司 | 基于多模态数据的认知识别方法、计算机设备和存储介质 |
| CN116049743B (zh) * | 2022-12-14 | 2023-10-31 | 深圳市仰和技术有限公司 | 基于多模态数据的认知识别方法、计算机设备和存储介质 |
| CN116797981A (zh) * | 2023-08-18 | 2023-09-22 | 成都锦城学院 | 一种基于深度学习的跨模态视频情感处理方法 |
| CN116797981B (zh) * | 2023-08-18 | 2023-11-28 | 成都锦城学院 | 一种基于深度学习的跨模态视频情感处理方法 |
| CN117292788A (zh) * | 2023-11-21 | 2023-12-26 | 南京元域绿洲科技有限公司 | 双相障碍虚拟现实训练系统 |
| CN117292788B (zh) * | 2023-11-21 | 2024-01-26 | 南京元域绿洲科技有限公司 | 双相障碍虚拟现实训练系统 |
| CN117314370A (zh) * | 2023-11-30 | 2023-12-29 | 嘉兴市信达电子科技有限公司 | 一种基于智慧能源的数据驾驶舱系统及实现方法 |
| CN117314370B (zh) * | 2023-11-30 | 2024-03-01 | 嘉兴市信达电子科技有限公司 | 一种基于智慧能源的数据驾驶舱系统及实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581823B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114581823B (zh) | 基于时序特征的虚拟现实视频情感识别方法及系统 | |
| Pabba et al. | An intelligent system for monitoring students' engagement in large classroom teaching through facial expression recognition | |
| Ginosar et al. | Learning individual styles of conversational gesture | |
| Fei et al. | Deep convolution network based emotion analysis towards mental health care | |
| Stöckli et al. | Facial expression analysis with AFFDEX and FACET: A validation study | |
| CN110490242B (zh) | 图像分类网络的训练方法、眼底图像分类方法及相关设备 | |
| Tran et al. | Micro-expression spotting: A new benchmark | |
| RU2708807C2 (ru) | Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту | |
| CN109255366B (zh) | 一种针对在线学习的情感状态调节系统 | |
| Areeb et al. | Helping hearing-impaired in emergency situations: A deep learning-based approach | |
| Sims et al. | A neural architecture for detecting user confusion in eye-tracking data | |
| Farhan et al. | Real-time imaging-based assessment model for improving teaching performance and student experience in e-learning | |
| CN113870395A (zh) | 动画视频生成方法、装置、设备及存储介质 | |
| Palazzo et al. | Visual saliency detection guided by neural signals | |
| Elbattah et al. | Vision-based Approach for Autism Diagnosis using Transfer Learning and Eye-tracking. | |
| CN110473176A (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| Yasser et al. | Detection of confusion behavior using a facial expression based on different classification algorithms | |
| Xu et al. | Wayfinding design in transportation architecture–are saliency models or designer visual attention a good predictor of passenger visual attention? | |
| Bibbo’ et al. | Emotional Health Detection in HAR: New Approach Using Ensemble SNN | |
| Gan et al. | The deep spatiotemporal network with dual-flow fusion for video-oriented facial expression recognition | |
| da Silva et al. | A multiple stream architecture for the recognition of signs in Brazilian sign language in the context of health | |
| Schak et al. | On multi-modal fusion for freehand gesture recognition | |
| CN113867533A (zh) | 多脑协同脑机接口系统及基于该系统实现的视频目标检测方法 | |
| Hasegawa et al. | Learner’s mental state estimation with PC built-in camera | |
| CN112906539B (zh) | 一种基于eeg数据的物体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |