CN113995411A - 一种小型便携式多模态鉴赏评估系统及方法 - Google Patents

一种小型便携式多模态鉴赏评估系统及方法 Download PDF

Info

Publication number
CN113995411A
CN113995411A CN202111318995.2A CN202111318995A CN113995411A CN 113995411 A CN113995411 A CN 113995411A CN 202111318995 A CN202111318995 A CN 202111318995A CN 113995411 A CN113995411 A CN 113995411A
Authority
CN
China
Prior art keywords
portable
appreciation
mode
user
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111318995.2A
Other languages
English (en)
Inventor
王筱敏
许敏鹏
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111318995.2A priority Critical patent/CN113995411A/zh
Publication of CN113995411A publication Critical patent/CN113995411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cardiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Developmental Disabilities (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明属于智能情绪评估的技术领域，具体涉及一种小型便携式多模态鉴赏评估系统，包括穿戴式多模态信号采集单元、主控单元和显示器；所述穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；所述主控单元包括PC控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；所述显示器用于采集信号的设置和数据结果的显示。本发明通过便携穿戴式的传感器信号复用，实现对情绪的准确监测，保证了生理信号采集的稳定性。此外，本发明还公开了一种小型便携式多模态鉴赏评估方法。

Description

一种小型便携式多模态鉴赏评估系统及方法
技术领域
本发明属于智能情绪评估的技术领域，具体涉及一种小型便携式多模态鉴赏评估系统及方法。
背景技术
在我国当代的教育体系中，美育逐步被重视并不断发展。美育是一种以艺术为媒介的情感教育，它是从通过情感的影响从而对人的人格与人性进行塑造的过程。美育的主要目的是在于陶冶人的性情、塑造人高尚的人格与心灵，以引导其情感向崇高的方向趋动。
通常美育的主要手段有艺术鉴赏，如电影、音乐会、舞台剧等类型，通过了解观众群体对艺术作品的真实反映、喜好倾向显得尤为重要，同时，了解艺术作品的特定部分对观众的情绪诱发和影响的作用对创作团队来说举足轻重。情绪是神经和躯体共同作用的结果，构造情绪的感觉依赖于大脑系统对身体反应的映射与调节。情绪的经典和现代理论都认为，内感受(对来自于身体和内脏反馈的感觉)对情绪体验来说至关重要，二者之间的联系已被多个研究所证实。1977年，美国麻省理工大学实验室通过实验证明了基于人体信息的提取的情感识别是可行的。
但目前缺少对观众在艺术鉴赏过程中进行情绪评估分析的系统，因而无法及时得到观赏者的情绪数据，除了主观评价，无法更加客观的判断观众的情绪状态，这样创作团队和美育工作者就无法深刻的了解到受众群体的真实状态，无法更好对艺术作品进行改进和加工。
传统对情绪评估和识别的研究多是接触式生理监测设备，存在设备体积较大，准备工作繁琐，受环境限制较大的问题。
发明内容
本发明的目的之一在于：针对现有技术的不足，提供一种小型便携式多模态鉴赏评估系统，通过便携穿戴式的传感器信号复用，实现对情绪的准确监测，保证了生理信号采集的稳定性，实现了信息互补，保持了较高的信噪比，有效的获取了面向人的情绪多模态生理行为数据集。
为了实现上述目的，本发明采用如下技术方案：
一种小型便携式多模态鉴赏评估系统，包括穿戴式多模态信号采集单元、主控单元和显示器；所述穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；所述主控单元包括PC控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；所述显示器用于采集信号的设置和数据结果的显示。
优选的，所述便携式脑电帽用于采集用户脑电信号并实时通过无线传输器发送数据。
优选的，所述便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送数据。
优选的，所述感测背心用于采集用户心电信号、呼吸幅度和斜方肌电信息，并通过无线传输器实时发送数据。
优选的，所述心电信号为ECG心电信号，所述呼吸幅度为RA呼吸幅度，所述斜方肌电信息为EMG斜方肌电信息。
优选的，所述多模态信号手套用于采集用户皮电信号和脉搏波信号，并通过无线传输器实时发送数据。
本发明的目的之二在于提供一种小型便携式多模态鉴赏评估方法，包括如下步骤：
抽取多模异质数据的特征；
多源特征的协同表征与融合；
基于融合特征的多维情绪识别。
本发明的有益效果在于，本发明包括穿戴式多模态信号采集单元、主控单元和显示器；所述穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；所述主控单元包括PC控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；所述显示器用于采集信号的设置和数据结果的显示。与现有技术相比，本发明融合中枢神经信号、外周神经信号和视觉行为信号等多模态人体信号，基于神经通路的多维情绪生成机理与认知机制，对人的情绪进行动态识别与监测，解决了传统情绪评估无定量分析、监测设备体积较大，准备工作繁琐，受环境限制较大等问题，为评估、监测情绪提供设备环境，可以监测在艺术鉴赏过程中的实时情绪状态。
附图说明
下面将参考附图来描述本发明示例性实施方式的特征、优点和技术效果。
图1为本发明的系统示意图。
图2为本发明的系统的模块示意图。
图3为本发明的多模异质数据融合算法框架示意图。
图4为本发明的显示界面示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合附图1～4对本发明作进一步详细说明，但不作为对本发明的限定。
小型便携式多模态鉴赏评估系统，包括穿戴式多模态信号采集单元、主控单元和显示器；穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；主控单元包括PC控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；显示器用于采集信号的设置和数据结果的显示。
在根据本发明的小型便携式多模态鉴赏评估系统中，便携式脑电帽用于采集用户脑电信号并实时通过无线传输器发送数据。
在根据本发明的小型便携式多模态鉴赏评估系统中，便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送数据。
在根据本发明的小型便携式多模态鉴赏评估系统中，感测背心用于采集用户心电信号、呼吸幅度和斜方肌电信息，并通过无线传输器实时发送数据。
在根据本发明的小型便携式多模态鉴赏评估系统中，心电信号为ECG心电信号，呼吸幅度为RA呼吸幅度，斜方肌电信息为EMG斜方肌电信息。
在根据本发明的小型便携式多模态鉴赏评估系统中，多模态信号手套用于采集用户皮电信号和脉搏波信号，并通过无线传输器实时发送数据。
参见图1所示，本发明提供了一种小型便携穿戴式的鉴赏评估系统。用户在艺术鉴赏时，以电影赏析为例，将该系统的穿戴式多模态信号采集单元穿戴至身上，穿戴式多模态信号采集单元由便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套四个部分组成。便携式脑电帽穿戴至头部，主要用于采集用户EEG脑电信号；便携式眼动仪佩戴至眼部位置，用于采集用户的眼动信息；感测背心穿至上身，用于采集用户ECG心电信号、RA呼吸幅度和EMG斜方肌电信息；多模态信号手套穿戴至手部，用于采集用户GSR皮电信号和BVP脉搏波信号。无线通讯模块配置于穿戴式多模态信号采集单元，用于信号采集单元与主控单元进行信息的传输，信息传输至数据处理模块，数据处理结果通过显示器呈现。
参见图2所示，本发明提供了一种小型便携穿戴式的鉴赏评估系统，该系统由穿戴式多模态信号采集单元，主控单元和显示器组成。具体地，在该设备中，便携式脑电帽用于采集用户EEG脑电信号并实时通过无线传输器发送数据；便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送数据；感测背心用于采集用户ECG心电信号、RA呼吸幅度和EMG斜方肌电信息，并通过无线传输器实时发送数据；多模态信号手套用于采集用户GSR皮电信号和BVP脉搏波信号，并通过无线传输器实时发送数据。穿戴式多模态信号采集单元与主控单元由无线蓝牙通讯模块进行信息的传输，信息传输至数据处理模块进行数据处理后将结果通过显示屏显示出来。
小型便携式多模态鉴赏评估方法
本发明采用了六种外周生理信号作为输入数据。考虑到艺术鉴赏过程中的“社会面具”问题，而添加了能反应中枢神经系统变化的EEG信号。本发明是生物导向性的特征融合方法。参见图3所示，多模异质数据融合算法框架主要分为三部分。
第一部分是多模异质数据的特征抽取，首先分别将副交感神经信号特征(ECG，RA，GSR，VBP)，躯体神经信号特征(EMG，眼动)，EEG多特征进行融合。然后再将副交感神经信号特征和躯体神经信号统一融合为外周神经信号特征。最后将外周神经信号特征与中枢神经信号特征进行融合。其中，EEG预处理过程包括基线对齐和EEG信号降采样。EEG信号特征提取采用DE熵算法。该算法是一种单通道特征提取算法，具有计算效率高的特点，以最大程度发挥便携式设备实时性的反馈优势。EEG信号特征层的初级处理采用了双层Deep BeliefNeural network(DBN),旨在提取多通道EEG信号中出现的稳定的模式。
第二部分是多源特征的协同表征与融合，在外周神经信号特征进行融合的过程中，考虑到副交感神经信号的同源性以及其与躯体神经信号的非同源性，将表征副交感神经活动的特征ECG，RA，GSR，VBP与EMG和眼动分别融合。同理，初级特征提取网络采用DBN。多元特征的协同表征采用了全联接层。而CNS系统和PNS系统间的特征融合使用了拼接(Concat)。最后通过超限学习机(ELM)对多元特征进行有监督分类。
第三部分是基于融合特征的多维情绪识别。利用多层感知机等机器学习技术，进行高兴、愤怒、被悲伤和惊讶四种情绪的多维估计。基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分。在机器学习问题中，设计目标函数为：
Figure BDA0003344550120000061
其中，N为样本数，M＝4为情绪种类，R＝5为每种情绪的程度级数，
Figure BDA0003344550120000062
为模型估计的第m种情绪的得分，
Figure BDA0003344550120000063
为第m种情绪的真实程度评级。1(条件)为指示函数，如果条件为真，1(条件)＝1；反之，1(条件)＝0。
最后，本实施方案中，本发明可以对用户在观影过程中的情绪数据进行实时采集，并将采集的数据经过无线通讯模块传输给PC端的数据处理模块，数据处理模块是基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分，对用户进行情绪(高兴、愤怒、悲伤、惊讶)的感知识别和5级情绪强度的计算分析，并将结果以动态雷达图的形式展现在显示屏上。显示界面参见图4所示，。
本发明可以得到用户的实时情绪状态，以实时反映出观影过程用户的情绪状态的变化，通过大样本量的用户群体在影片剧情推进过程的情绪状态的变化可以使电影创作团队和影视剧工作者深刻了解到受众群体的情绪状态，以更好对电影艺术作品进行改进和加工，以提高电影艺术作品的文化推广性和美育工作的社会实践意义。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (7)

1.一种小型便携式多模态鉴赏评估系统，其特征在于，包括：穿戴式多模态信号采集单元、主控单元和显示器；
所述穿戴式多模态采集单元包括便携式脑电帽、便携式眼动仪、感测背心、多模态信号手套；
所述主控单元包括PC控制模块和数据处理模块，用于接收由采集单元的信号及参数，通过数据处理和分析将用户的情绪状态反应到显示器上；
所述显示器用于采集信号的设置和数据结果的显示。
2.如权利要求1所述的一种小型便携式多模态鉴赏评估系统，其特征在于：所述便携式脑电帽用于采集用户脑电信号并实时通过无线传输器发送数据。
3.如权利要求1所述的一种小型便携式多模态鉴赏评估系统，其特征在于：所述便携式眼动仪用于采集用户的眼动信息并通过无线传输器实时发送数据。
4.如权利要求1所述的一种小型便携式多模态鉴赏评估系统，其特征在于：所述感测背心用于采集用户心电信号、呼吸幅度和斜方肌电信息，并通过无线传输器实时发送数据。
5.如权利要求4所述的一种小型便携式多模态鉴赏评估系统，其特征在于：所述心电信号为ECG心电信号，所述呼吸幅度为RA呼吸幅度，所述斜方肌电信息为EMG斜方肌电信息。
6.如权利要求1所述的一种小型便携式多模态鉴赏评估系统，其特征在于：所述多模态信号手套用于采集用户皮电信号和脉搏波信号，并通过无线传输器实时发送数据。
7.一种小型便携式多模态鉴赏评估方法，其特征在于，包括如下步骤：
抽取多模异质数据的特征；
多源特征的协同表征与融合；
基于融合特征的多维情绪识别。
CN202111318995.2A 2021-11-09 2021-11-09 一种小型便携式多模态鉴赏评估系统及方法 Pending CN113995411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111318995.2A CN113995411A (zh) 2021-11-09 2021-11-09 一种小型便携式多模态鉴赏评估系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111318995.2A CN113995411A (zh) 2021-11-09 2021-11-09 一种小型便携式多模态鉴赏评估系统及方法

Publications (1)

Publication Number Publication Date
CN113995411A true CN113995411A (zh) 2022-02-01

Family

ID=79928343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111318995.2A Pending CN113995411A (zh) 2021-11-09 2021-11-09 一种小型便携式多模态鉴赏评估系统及方法

Country Status (1)

Country Link
CN (1) CN113995411A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114949531A (zh) * 2022-05-13 2022-08-30 青岛大学 基于生理信号的vr双模式情绪自动控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
US20190096279A1 (en) * 2017-09-26 2019-03-28 Cerekinetic, Inc. Decision-making system using emotion and cognition inputs
US20200294670A1 (en) * 2019-03-13 2020-09-17 Monsoon Design Studios LLC System and method for real-time estimation of emotional state of user
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置
CN113397547A (zh) * 2021-08-02 2021-09-17 上海鸣锣影视科技有限公司 一种基于生理数据的观影评价服务系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
US20190096279A1 (en) * 2017-09-26 2019-03-28 Cerekinetic, Inc. Decision-making system using emotion and cognition inputs
US20200294670A1 (en) * 2019-03-13 2020-09-17 Monsoon Design Studios LLC System and method for real-time estimation of emotional state of user
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置
CN113397547A (zh) * 2021-08-02 2021-09-17 上海鸣锣影视科技有限公司 一种基于生理数据的观影评价服务系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAR MN, AKRAM MU, KHAWAJA SG, PUJARI AN. C: "NN and LSTM-Based Emotion Charting Using Physiological Signal", 《SENSORS (BASEL)》, pages 4 - 20 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114949531A (zh) * 2022-05-13 2022-08-30 青岛大学 基于生理信号的vr双模式情绪自动控制系统

Similar Documents

Publication Publication Date Title
Li et al. Depression recognition using machine learning methods with different feature generation strategies
Wu et al. Investigating EEG-based functional connectivity patterns for multimodal emotion recognition
Wang et al. Channel selection method for EEG emotion recognition using normalized mutual information
CN112120716A (zh) 一种可穿戴式多模态情绪状态监测装置
George et al. Recognition of emotional states using EEG signals based on time-frequency analysis and SVM classifier.
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN108836323B (zh) 一种基于脑电波分析的学习状态监测系统及其使用方法
CN112990074B (zh) 基于vr的多场景自主式控制的混合脑机接口在线系统
WO2018099436A1 (en) A system for determining emotional or psychological states
WO2017200244A1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
CN105212949A (zh) 一种使用皮肤电信号进行文化体验情感识别的方法
WO2020186915A1 (zh) 一种注意力检测方法及系统
CN115407872B (zh) 一种智能人机协同系统测评方法、装置及存储介质
CN109567831A (zh) 一种视觉认知神经机制下产品的偏好意象识别系统和方法
Zheng et al. A cross-session dataset for collaborative brain-computer interfaces based on rapid serial visual presentation
CN116226715A (zh) 一种基于多模态特征融合的作业人员在线多态识别系统
CN113995411A (zh) 一种小型便携式多模态鉴赏评估系统及方法
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
CN114003129A (zh) 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法
Sourina et al. EEG-enabled affective human-computer interfaces
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
Liu et al. EEG-based emotion estimation using adaptive tracking of discriminative frequency components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination