CN117942079A - 一种基于多维感知与融合的情绪智力分类方法及系统 - Google Patents
一种基于多维感知与融合的情绪智力分类方法及系统 Download PDFInfo
- Publication number
- CN117942079A CN117942079A CN202410353505.XA CN202410353505A CN117942079A CN 117942079 A CN117942079 A CN 117942079A CN 202410353505 A CN202410353505 A CN 202410353505A CN 117942079 A CN117942079 A CN 117942079A
- Authority
- CN
- China
- Prior art keywords
- fusion
- data
- features
- domain
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 29
- 230000002996 emotional effect Effects 0.000 claims description 17
- 230000006698 induction Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 10
- 238000001931 thermography Methods 0.000 claims description 10
- 230000036760 body temperature Effects 0.000 claims description 8
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005311 autocorrelation function Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000001953 sensory effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 7
- 238000007500 overflow downdraw method Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000003340 mental effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 208000036626 Mental retardation Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明属于状态评估技术领域，提供了一种基于多维感知与融合的情绪智力分类方法及系统，获取用户测试时的生理参数和视频数据；将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序展开为一维数据，形成多模态数据；提取多模态数据的统计域、时域和频域特征；进行统计域、时域和频域特征的融合；提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。本发明利用多维感知与融合方法对被试的多模态数据进行了高效融合，对被试者的情绪智力进行分类，提高了情绪智力分类的准确性和客观性。
Description
技术领域
本发明属于状态评估技术领域，具体涉及一种基于多维感知与融合的情绪智力分类方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
情绪智力，简称情商，它是指个体监控自己及他人的情绪和情感，并识别、利用这些信息的能力。情绪智力的评估建立在获取多种信号后，进行量化评估后，能够具象化为个体的显式特征，在人力资源管理、多类人群心理智力评估、人岗匹配等多种实际应用中，具有广泛的应用前景。对情绪智力进行有效的评估，具有重要意义和广泛的应用场景，如诊断儿童是否存在情绪障碍从而导致多动症、孤独症等病症；辅助企业进行员工的招聘、晋升等。
但是，情绪智力的评估上一般是采用测试题、获取生理数据等方式，存在较为繁琐、浪费大量时间的缺点；而且测试过程容易出现被测试人意思表达不清楚、不真实等情况，造成最终的测试结果不客观、不准确等问题。
发明内容
本发明为了解决上述问题，提出了一种基于多维感知与融合的情绪智力分类方法及系统，本发明利用多维感知与融合方法对被试的多模态数据进行了高效融合，对被试者的情绪智力进行分类，提高了情绪智力分类的准确性和客观性。
根据一些实施例，本发明采用如下技术方案：
一种基于多维感知与融合的情绪智力分类方法，包括以下步骤：
获取用户测试时的生理参数和视频数据；
将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序展开为一维数据，形成多模态数据；
提取多模态数据的统计域、时域和频域特征；
进行统计域、时域和频域特征的融合；
提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。
作为可选择的实施方式，生理参数包括眼动数据、心率、呼吸和体温数据，视频数据包括可见光视频数据、红外热成像视频数据。
作为可选择的实施方式，所述统计域特征提取包括均值、中位数、方差和标准差，时域特征提取包括自相关函数、过零率、峰值和谷值，频域特征提取包括傅里叶变换、小波变换、功率谱密度、能量谱密度和频率峰值。
作为可选择的实施方式，进行统计域、时域和频域特征的融合的具体过程包括利用去噪算法进行特征选择，利用聚类算法对选择的特征进行融合。
作为可选择的实施方式，所述分类基于VIT进行情绪智力分类，分类根据情绪智力和设定的阈值，分为多个档。
作为可选择的实施方式，提取融合后的特征的深层特征的过程包括，采用多层堆叠的长短时记忆网络模型进行深层特征提取，每个长短时记忆网络层至少包含一个记忆单元，记忆单元通过遗忘门、输入门和输出门进行控制。
作为可选择的实施方式，所述分类模型包括依次连接的特征块的嵌入模块、位置编码模块、Transformer编码器、全局平均池化层和分类头，其中，Transformer编码器包括多头自注意力机制和前馈网络。
一种基于多维感知与融合的情绪智力分类系统，包括：
数据获取模块，用于获取用户测试时的生理参数和视频数据；
数据转换模块，用于将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序展开为一维数据，形成多模态数据；
浅层特征提取模块，用于提取多模态数据的统计域、时域和频域特征；
特征融合模块，用于进行统计域、时域和频域特征的融合；
深层特征提取模块，用于提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。
作为可选择的实施方式，所述数据获取模块包括摄像设备和可穿戴手环，所述摄像设备用于感知用户答题时的眼动数据、可见光视频数据和红外热成像视频数据，可穿戴手环用于感知用户答题时的心率、呼吸和体温数据。
作为可选择的实施方式，还包括情绪智力范式诱发模块，该模块用于诱发被试的情绪智力反应，包括情绪智力量表、情绪图片和情绪视频。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明利用多维感知与融合方法对被试的多模态数据进行了高效融合，量化感知被试的情绪智力水平，提高了情绪智力评估的准确性和客观性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是一种实施例的流程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
一种多维感知与融合的情绪智力评估方法，所述评估方法至少包括以下步骤：
如图1所示，情绪智力范式诱发、便携设备实时数据感知、数据维度转化、数据浅层特征提取、早期特征融合、深层特征提取和情绪智力智能分类等步骤。
其中，情绪智力范式诱发至少包括基于传统情绪智力量表的诱发范式、基于面部情绪图片的诱发范式和基于情绪视频的诱发范式。其中基于传统情绪智力量表的诱发范式具有较强的心理学理论体系支撑，文字诱发语义准确，诱发效果显著；基于面部情绪图片和情绪视频的诱发范式中的图片和视频均来自于国内外心理学家普遍认可的数据库，图片、视频诱发，易于理解，对知识水平和理解能力弱的人群更为友好。
便携设备实时数据感知至少包括便携式一体机及智能可穿戴手环两种设备，其中，便携式一体机可实时感知个体答题时的眼动数据、可见光视频数据、红外热成像视频数据，智能可穿戴手环可实时感知个体答题时的心率、呼吸和体温数据。
数据维度转化至少包括单维数据二维化和二维数据单维化两部分，其中，单维数据二维化可将眼动、心率、呼吸和体温等一维数据依时间序列按照行列顺序拓展为二维信号，从而实现多模态数据的统一维度表征；二维数据单维化可将可见光视频、红外热成像视频等二维数据按行列顺序展开为一维数据，也能实现多模态数据的统一维度表征。
数据浅层特征提取至少包括基于统计域、时域和频域的浅层特征提取方法，其中，统计域特征提取包括均值、中位数、方差和标准差等，时域特征提取包括自相关函数、过零率、峰值和谷值等，频域特征提取包括傅里叶变换、小波变换、功率谱密度、能量谱密度和频率峰值等。
早期特征融合至少包括特征选择和特征融合，其中，特征选择包括主成分分析、最大相关最小冗余等去除冗余和噪声的算法，特征融合包括至少基于DBSCAN聚类（Density-Based Spatial Clustering of Applications with Noise）的早期特征融合方法，该网络结构的输入为多模态生理数据的浅层提取特征，输出为多模态数据的浅层融合特征。
深层特征提取至少包括基于长短时记忆网络（Long Short-Term Memory, LSTM）的多模态数据浅层融合特征的深层特征提取方法，该方法通过多层堆叠的LSTM层，每个LSTM层至少包含一个记忆单元，记忆单元通过遗忘门、输入门和输出门进行控制，从而实现多模态数据浅层融合特征的深层特征提取。
情绪智力智能分类至少包括基于VIT（Vision Transformer）的情绪智力智能评估方法，该方法至少包括特征块的嵌入、位置编码、Transformer编码器、全局平均池化和分类头，其中，Transformer编码器包括多头自注意力机制和前馈网络。该方法的输入数据为多模态数据浅层融合特征的深层特征，输出结果为高、中、低情绪智力水平评估结果。通过引入多头自注意力机制，能够较好地适应多维度的特征，能够更好地学习到深层特征的全局信息，具有较好的效率、解释性和适应性。
实施例二
一种基于多维感知与融合的情绪智力评估系统，所述系统至少包括：情绪智力范式诱发模块、便携设备实时数据感知模块、数据维度转化模块、数据浅层特征提取模块、早期特征融合模块、深层特征提取模块和情绪智力智能分类模块；
情绪智力范式诱发模块，该模块用于诱发被试的情绪智力反应，至少包括基于传统情绪智力量表的诱发范式、基于面部情绪图片的诱发范式和基于情绪视频的诱发范式；
便携设备实时数据感知模块，该模块用于感知被试答题时的多维数据，至少包括便携式一体机及智能可穿戴手环两种设备，其中，便携式一体机可实时感知个体答题时的眼动数据、可见光视频数据、红外热成像视频数据，智能可穿戴手环可实时感知个体答题时的心率、呼吸和体温数据。
数据维度转化模块，该模块用于统一多模态数据的维度，至少包括单维数据二维化和二维数据单维化两种方法。
数据浅层特征提取模块，该模块用于提取多模态数据的统计域、时域和频域特征，至少包括基于统计域、时域和频域的浅层特征提取方法。
早期特征融合模块，该模块用于选择高质量特征和形成多模态浅层特征的浅层融合特征，至少包括基于DBSCAN聚类（Density-Based Spatial Clustering ofApplications with Noise）的早期特征融合方法。
深层特征提取模块，该模块用于提取浅层融合特征的深层特征，至少包括基于长短时记忆网络的多模态数据浅层融合特征的深层特征提取方法。
情绪智力智能分类模块，该模块用于被试的情绪智力水平评估，至少包括基于VIT（Vision Transformer）的情绪智力智能评估方法，最终输出高、中、低情绪智力水平评估结果。
实施例三
一种基于多维感知与融合的情绪智力评估设备，该电子设备至少包括智能可穿戴手环及便携式一体机，便携式一体机至少包括眼动仪、可见光视频传感器、红外热成像视频传感器、存储器、处理器和触摸显示屏。智能可穿戴手环、眼动仪、可见光视频传感器和红外热成像视频传感器分别用于实时感知被试答题时的心率、呼吸、体温、眼动数据、可见光视频数据和红外热成像视频数据，存储器用于存储情绪智力诱发范式、感知的多模态数据和计算机指令；处理器用于运行计算机指令以实现一种基于多维感知与融合的情绪智力评估方法；触摸显示屏用于人机实时交互，可视化的显示多模态数据和最终的高、中、低情绪智力水平评估结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，本领域技术人员不需要付出创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多维感知与融合的情绪智力分类方法，其特征是，包括以下步骤：
获取用户测试时的生理参数和视频数据；
将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序展开为一维数据，形成多模态数据；
提取多模态数据的统计域、时域和频域特征；
进行统计域、时域和频域特征的融合；
提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。
2.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，生理参数包括眼动数据、心率、呼吸和体温数据，视频数据包括可见光视频数据、红外热成像视频数据。
3.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述统计域特征提取包括均值、中位数、方差和标准差，时域特征提取包括自相关函数、过零率、峰值和谷值，频域特征提取包括傅里叶变换、小波变换、功率谱密度、能量谱密度和频率峰值。
4.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，进行统计域、时域和频域特征的融合的具体过程包括利用去噪算法进行特征选择，利用聚类算法对选择的特征进行融合。
5.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述分类基于VIT进行情绪智力分类，分类根据情绪智力和设定的阈值，分为多个档。
6.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，提取融合后的特征的深层特征的过程包括，采用多层堆叠的长短时记忆网络模型进行深层特征提取，每个长短时记忆网络层至少包含一个记忆单元，记忆单元通过遗忘门、输入门和输出门进行控制。
7.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述分类模型包括依次连接的特征块的嵌入模块、位置编码模块、Transformer编码器、全局平均池化层和分类头，其中，Transformer编码器包括多头自注意力机制和前馈网络。
8.一种基于多维感知与融合的情绪智力分类系统，其特征是，包括：
数据获取模块，用于获取用户测试时的生理参数和视频数据；
数据转换模块，用于将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序展开为一维数据，形成多模态数据；
浅层特征提取模块，用于提取多模态数据的统计域、时域和频域特征；
特征融合模块，用于进行统计域、时域和频域特征的融合；
深层特征提取模块，用于提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。
9.如权利要求8所述的一种基于多维感知与融合的情绪智力分类系统，其特征是，所述数据获取模块包括摄像设备和可穿戴手环，所述摄像设备用于感知用户答题时的眼动数据、可见光视频数据和红外热成像视频数据，可穿戴手环用于感知用户答题时的心率、呼吸和体温数据。
10.如权利要求8或9所述的一种基于多维感知与融合的情绪智力分类系统，其特征是，还包括情绪智力范式诱发模块，该模块用于诱发被试的情绪智力反应，包括情绪智力量表、情绪图片和情绪视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410353505.XA CN117942079A (zh) | 2024-03-27 | 2024-03-27 | 一种基于多维感知与融合的情绪智力分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410353505.XA CN117942079A (zh) | 2024-03-27 | 2024-03-27 | 一种基于多维感知与融合的情绪智力分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117942079A true CN117942079A (zh) | 2024-04-30 |
Family
ID=90798576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410353505.XA Pending CN117942079A (zh) | 2024-03-27 | 2024-03-27 | 一种基于多维感知与融合的情绪智力分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117942079A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201620926D0 (en) * | 2016-12-08 | 2017-01-25 | Univ Of Lancaster | Method and system |
| EP3545841A1 (en) * | 2018-03-28 | 2019-10-02 | Harimata Spolka Z O.O. | Method for early diagnosis of autism spectrum disorder in children |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| KR102275436B1 (ko) * | 2020-01-20 | 2021-07-09 | 인하대학교 산학협력단 | 실시간 감정인식을 위한 영상 및 eeg 신호의 융합 기술 |
| CN114548262A (zh) * | 2022-02-21 | 2022-05-27 | 华中科技大学鄂州工业技术研究院 | 一种情感计算中多模态生理信号的特征级融合方法 |
| CN114707530A (zh) * | 2020-12-17 | 2022-07-05 | 南京理工大学 | 基于多源信号和神经网络的双模态情绪识别方法及系统 |
| CN114781465A (zh) * | 2022-06-20 | 2022-07-22 | 华中师范大学 | 一种基于rPPG的非接触式疲劳检测系统及方法 |
| US20220392637A1 (en) * | 2021-06-02 | 2022-12-08 | Neumora Therapeutics, Inc. | Multimodal dynamic attention fusion |
| CN115718906A (zh) * | 2022-11-23 | 2023-02-28 | 国网天津市电力公司 | 一种多能源系统多源异构数据融合方法及系统 |
| CN116098621A (zh) * | 2023-02-14 | 2023-05-12 | 平顶山学院 | 一种基于注意力机制的情绪面孔及生理反应识别方法 |
| CN116172556A (zh) * | 2022-12-12 | 2023-05-30 | 华中师范大学 | 一种基于特征交互学习网络的学生心理状态检测方法 |
| CN117064388A (zh) * | 2023-08-18 | 2023-11-17 | 上海市精神卫生中心（上海市心理咨询培训中心） | 基于情绪识别实现精神障碍评估分析的系统 |
-
2024
- 2024-03-27 CN CN202410353505.XA patent/CN117942079A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201620926D0 (en) * | 2016-12-08 | 2017-01-25 | Univ Of Lancaster | Method and system |
| EP3545841A1 (en) * | 2018-03-28 | 2019-10-02 | Harimata Spolka Z O.O. | Method for early diagnosis of autism spectrum disorder in children |
| KR102275436B1 (ko) * | 2020-01-20 | 2021-07-09 | 인하대학교 산학협력단 | 실시간 감정인식을 위한 영상 및 eeg 신호의 융합 기술 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN114707530A (zh) * | 2020-12-17 | 2022-07-05 | 南京理工大学 | 基于多源信号和神经网络的双模态情绪识别方法及系统 |
| US20220392637A1 (en) * | 2021-06-02 | 2022-12-08 | Neumora Therapeutics, Inc. | Multimodal dynamic attention fusion |
| CN114548262A (zh) * | 2022-02-21 | 2022-05-27 | 华中科技大学鄂州工业技术研究院 | 一种情感计算中多模态生理信号的特征级融合方法 |
| CN114781465A (zh) * | 2022-06-20 | 2022-07-22 | 华中师范大学 | 一种基于rPPG的非接触式疲劳检测系统及方法 |
| CN115718906A (zh) * | 2022-11-23 | 2023-02-28 | 国网天津市电力公司 | 一种多能源系统多源异构数据融合方法及系统 |
| CN116172556A (zh) * | 2022-12-12 | 2023-05-30 | 华中师范大学 | 一种基于特征交互学习网络的学生心理状态检测方法 |
| CN116098621A (zh) * | 2023-02-14 | 2023-05-12 | 平顶山学院 | 一种基于注意力机制的情绪面孔及生理反应识别方法 |
| CN117064388A (zh) * | 2023-08-18 | 2023-11-17 | 上海市精神卫生中心（上海市心理咨询培训中心） | 基于情绪识别实现精神障碍评估分析的系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Cimtay et al. | Cross-subject multimodal emotion recognition based on hybrid fusion | |
| CN111461176B (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN111462841B (zh) | 一种基于知识图谱的抑郁症智能诊断装置及系统 | |
| CN110464366A (zh) | 一种情绪识别方法、系统及存储介质 | |
| Chen et al. | DeepFocus: Deep encoding brainwaves and emotions with multi-scenario behavior analytics for human attention enhancement | |
| CN110135242B (zh) | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 | |
| CN113197579A (zh) | 一种基于多模态信息融合的智能心理评估方法及系统 | |
| CN115064246B (zh) | 一种基于多模态信息融合的抑郁症评估系统及设备 | |
| CN114209324A (zh) | 基于图像视觉认知的心理测评数据获取方法及vr系统 | |
| CN111920420A (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN111768863B (zh) | 一种基于人工智能的婴幼儿发展监测系统及其方法 | |
| Nguyen et al. | A potential approach for emotion prediction using heart rate signals | |
| CN117064388A (zh) | 基于情绪识别实现精神障碍评估分析的系统 | |
| Tian et al. | ResNet-50 based technique for EEG image characterization due to varying environmental stimuli | |
| WO2023012818A1 (en) | A non-invasive multimodal screening and assessment system for human health monitoring and a method thereof | |
| Dar et al. | YAAD: young adult’s affective data using wearable ECG and GSR sensors | |
| CN109101883B (zh) | 一种抑郁倾向评价装置及系统 | |
| CN110473631A (zh) | 基于真实世界研究的智能睡眠监测方法和系统 | |
| Muaremi et al. | Monitor pilgrims: prayer activity recognition using wearable sensors | |
| Gunes et al. | Automatic measurement of affect in dimensional and continuous spaces: Why, what, and how? | |
| CN115840890B (zh) | 一种基于非接触生理信号的情绪识别方法及装置 | |
| CN108451494A (zh) | 使用瞳孔反应来检测时域心脏参数的方法及系统 | |
| Arslan et al. | Subject-dependent and subject-independent classification of mental arithmetic and silent reading tasks | |
| CN116383618A (zh) | 一种基于多模态数据的学习专注度评估方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |