CN114756121A - 基于脑机接口的虚拟现实可交互式情绪检测与调控系统 - Google Patents

基于脑机接口的虚拟现实可交互式情绪检测与调控系统 Download PDF

Info

Publication number
CN114756121A
CN114756121A CN202210269911.9A CN202210269911A CN114756121A CN 114756121 A CN114756121 A CN 114756121A CN 202210269911 A CN202210269911 A CN 202210269911A CN 114756121 A CN114756121 A CN 114756121A
Authority
CN
China
Prior art keywords
emotion
user
data
stimulation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210269911.9A
Other languages
English (en)
Inventor
李远清
黎肯迪
黄炜琛
高炜
江娅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou, South China University of Technology SCUT filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202210269911.9A priority Critical patent/CN114756121A/zh
Publication of CN114756121A publication Critical patent/CN114756121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；反馈模块，用于传递反馈数据处理模块处理后的结果，帮助用户调节实时情绪；数据采集模块，用于采集并记录用户的脑电信号；数据处理模块，用于处理脑电信号，包括对脑电数据标记状态、分割数据、提取特征、计算分类器模型和产生相应的反馈命令。本发明解决了目前脑电情绪检测系统反馈形式单一、无法实现交互的问题，将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统，实现情绪检测与情绪调控，并拥有良好的使用体验。

Description

基于脑机接口的虚拟现实可交互式情绪检测与调控系统
技术领域
本发明涉及脑机接口技术、虚拟现实技术与情绪诱发、检测与调控的技术领域，尤其是指一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统。
背景技术
从定义上讲，情绪是一系列主观认知体验的总称，包括但不限于人对客观事物的态度、体验和相应的行为反应。脑电是了解人脑无害、无痛和可操作性如何工作的有效方法之一，因此我们希望通过脑电了解一个人的情绪状态。在算法上，情绪识别是关键任务，但对于实际应用，情绪调控更为关键。然而，有些人很难根据自己的想法调控自己的情绪。我们的重点在于提出一个益于诱发情绪和调控情绪的系统。
发明内容
本发明的目的在于针对目前的脑电情绪检测系统反馈形式单一，无法实现交互等问题，提出了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统，该系统用虚拟人的表情展示用户的情绪状态，并反馈给用户，实现情绪检测与情绪调控，在获得不错的分类准确率的同时获得良好的使用体验。
为实现上述目的，本发明所提供的技术方案为：基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：
刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；
反馈模块，用于传递反馈数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪；
数据采集模块，用于采集并记录用户的脑电信号；
数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。
进一步，所述刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型，有正性、中性或负性，刺激开始后将持续一段时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。
进一步，所述反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，能做出大笑、微笑、无表情、叹气表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户能根据情绪坐标的位置，对自己的情绪状态进行调整。
进一步，所述数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接线与安装有数据处理模块的计算机连接。
进一步，所述数据采集模块采用脑电放大器和30通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，以保证数据良好的质量，且脑电信号以250Hz的频率采样，并在0.1至48Hz的范围内进行带通滤波。
进一步，所述数据采集模块采集信号时，用户坐在距离3D屏幕中央3米处，头戴同步式3D眼镜，3D屏幕用作场景的播放，音乐播放依靠立体声环绕音响；开始前，用户会观看一个测试歌曲视频，能够根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激；每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
进一步，在所述数据处理模块中，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，而后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的在线检测与调控阶段，对实时数据使用与处理训练数据集时完全相同的方法和参数进行预处理、特征提取后，将特征向量输入训练好的分类器模型，得到正性—中性、中性—负性、负性—正性三组情绪对的预测可能性值，并基于这三个值进行线性变换，得到实时情绪坐标，基于这个坐标的位置判定用户情绪状态，并调整虚拟人的表情，用户根据坐标和虚拟人的表情改变自己的情绪调节策略，进一步提升情绪调节效果。
进一步，在所述数据处理模块中，对标记好的训练数据和在线测试数据进行滤波预处理和微分熵特征提取的操作如下：
对于训练数据和在线测试数据，经过带通滤波器滤波，滤波带宽为0.1–48Hz；对于训练数据和在线测试数据的每一个数据段，采用滑动窗口的方式将其切割成时间窗口为5秒的小窗，滑动间隔为1秒；对于每一个小窗，提取30个通道在6个频率段：①Delta频段：0.1-4Hz，②Theta频段：4-8Hz，③Alpha频段：8-14Hz，④Low Beta频段：14-21.5Hz，⑤HighBeta频段：21.5-30Hz，⑥Gamma频段：30-48Hz内的微分熵特征，得到30×6的特征向量，通过变化转化为180×1的特征向量；其中，微分熵特征的具体计算方法如下：
对于每个数据通道，使用短时傅里叶变化(STFT)将信号变化到时频域，随后按照下列公式：
DE＝log(|x(m，fk)|2)
式中，DE为微分熵特征，x为通道数据，m为对应时间段序号，fk为对应频率的组合；在频率域上分别计算每个频段的信号能量，并将对应的能量值取对数之后就得到了相应的微分熵特征。
进一步，在所述数据处理模块中，对于分类器模型的训练，是将特征向量送入基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的正性、中性、负性情绪状态下对应的情绪特征数据构成一个训练集，并将正性、中性、负性情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型。
进一步，在所述数据处理模块中，对于实时情绪坐标的计算，假设一个边长为1的等边三角形，三角形的三个顶点为三种情绪的原点，其中左下角为正性，上方为中性，右下角为负性，三条边上为三个两两情绪对的预测可能性所对应的小球，将三个小球的重心定义为情绪坐标，通过情绪坐标的反馈，用户能够更加准确获取自己当前的情绪状态。
本发明与现有技术相比，具有如下优点与有益效果：
1、基于脑机接口的方式进行情绪检测与调控调节，相较于其它情绪识别方式例如面部表情识别、肌电信号识别更加准确有效，利用脑电信号识别能够更加真实地反映用户的情绪状态，可以避免用户刻意做表情或肌肉动作带来的干扰。
2、将虚拟现实技术引入脑机接口的情绪检测与调控系统解决了目前的脑电情绪检测系统反馈和交互形式比较单一的问题，创建了一个基于虚拟人的可交互式情绪检测和调控系统。通过虚拟人的表情和情绪坐标反馈，用户可以了解当前自己的情绪状态，若反馈和预期不符，用户可根据反馈调整自己的情绪和调控方法。
3、虚拟现实技术带来的娱乐效果极大地拓展了基于脑机接口的情绪检测与调控的应用范围，在游戏娱乐和医疗康复领域具有广阔的应用前景。
附图说明
图1是本发明系统的架构图。
图2是刺激/反馈模块的场景图。
图3是数据处理模块的架构图。
具体实施方式
下面结合实施例及附图对本发明者作进一步详细的描述，但本发明的实施方式不限于此。
参见图1所示，本实施例提供了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：刺激模块、反馈模块、数据采集模块、数据处理模块。
刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；
反馈模块，用于传递反馈信息，信息是数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪。
数据采集模块，用于采集并记录用户的脑电信号；
数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。
刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型(正性、中性或负性)，刺激开始后将持续一段不定长时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。
参见图2所示，反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，可做出大笑、微笑、无表情、叹气等表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户可根据情绪坐标的位置，对自己的情绪状态进行调整。
数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接线与安装有数据处理模块的计算机连接。数据采集模块采用脑电放大器和30通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，以保证数据良好的质量，且脑电信号以250Hz的频率采样，并在0.1至48Hz的范围内进行带通滤波。数据采集模块采集信号时，用户坐在距离3D屏幕中央3米处，头戴同步式3D眼镜，3D屏幕用作场景的播放，音乐播放依靠立体声环绕音响。开始前，用户会观看一个测试歌曲视频，可以根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激。每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
参见图3所示，数据处理模块工作原理如下：
首先，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的在线检测与调控阶段，对实时数据使用与处理训练数据集时完全相同的方法和参数进行预处理、特征提取后，将特征向量输入训练好的分类器模型，得到正性—中性、中性—负性、负性—正性三组情绪对的预测可能性值，并基于这三个值进行线性变换，得到实时情绪坐标，基于这个坐标的位置判定用户情绪状态，并调整虚拟人的表情，用户根据坐标和虚拟人的表情改变自己的情绪调节策略，进一步提升情绪调节效果。
对标记好的训练数据和在线测试数据进行滤波预处理和微分熵特征提取的操作如下：
对于训练数据和在线测试数据，经过带通滤波器滤波，滤波带宽为0.1–48Hz；对于训练数据和在线测试数据的每一个数据段，采用滑动窗口的方式将其切割成时间窗口为5秒的小窗，滑动间隔为1秒；对于每一个小窗，提取30个通道在6个频率段：①Delta频段：0.1-4Hz，②Theta频段：4-8Hz，③Alpha频段：8-14Hz，④Low Beta频段：14-21.5Hz，⑤HighBeta频段：21.5-30Hz，⑥Gamma频段：30-48Hz内的微分熵特征，得到30×6的特征向量，通过变化转化为180×1的特征向量；其中，微分熵特征的具体计算方法如下：
对于每个数据通道，使用短时傅里叶变化(STFT)将信号变化到时频域，随后按照下列公式：
DE＝log(|x(m，fk)|2)
式中，DE为微分熵特征，x为通道数据，m为对应时间段序号，fk为对应频率的组合；在频率域上分别计算每个频段的信号能量，并将对应的能量值取对数之后就得到了相应的微分熵特征。
对于分类器模型的训练，我们将特征向量送入基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的正性、中性、负性情绪状态下对应的情绪特征数据构成一个训练集，并将正性、中性、负性情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型；
对于实时情绪坐标的计算，我们假设一个边长为1的等边三角形，三角形的三个顶点为三种情绪的原点，其中左下角为正性，上方为中性，右下角为负性，三条边上为三个两两情绪对的预测可能性所对应的小球。我们将三个小球的重心定义为情绪坐标。通过情绪坐标的反馈，用户能够更加准确获取自己当前的情绪状态。
下面介绍该系统使用的具体流程：
1)打开数据采集模块、数据处理模块、刺激模块和反馈模块，开始采集脑电信号。具体为：用户坐在刺激模块和反馈模块前，距离3D屏幕中央3米处，头戴同步式3D眼镜，3D屏幕用作场景的播放，音乐播放依靠立体声环绕音响。开始前，用户会观看一个测试歌曲视频，可以根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激。随后给用户戴上数据采集模块的脑电电极帽，电极帽使用符合国际10-20标准的30通道脑电电极帽，所有通道的脑电信号均以右耳突为参照，在电极和头皮见用平口针筒注入导电胶。在脑电采集过程中，我们使用NeuroScan公司的32通道脑袋放大器，所有电极的阻抗值皆为5KΩ以下，且脑电信号以250Hz的频率采样。
2)将数据采集模块、数据处理模块、刺激模块和反馈模块建立通信关系，具体的连接方式如下：
2.1)打开刺激模块和反馈模块的场景程序，在3D屏幕中播放，并开放连接；
2.2)打开数据采集模块相关程序并和刺激模块和反馈模块建立连接，随后可实时接收脑电数据，在窗口中显示接收到的脑电波形；
2.3)打开数据处理模块相关程序并和刺激模块和反馈模块建立连接，随后可实时接收脑电标记，在窗口中显示接收到的标记，并实时接收刺激模块和反馈模块的状态。
3)采集训练数据和生成模型：
3.1)在数据处理模块打开数据记录功能后，在界面选择“训练模式”，并点击“连接”将传递给刺激模块和反馈模块后，点击“开始”，场景便会播放采集训练数据的视频；
3.2)视频开始前，屏幕弹出提示告知用户即将播放视频的类型(正性、中性、负性)，并让他们保持相应的情绪状态。每个视频播放完成后，屏幕弹出提示告知用户进行短暂休息。所有视频播放完后，停止保存记录，关闭相应程序；
3.3)数据处理模块将自动将刚保存的训练数据放入预定的脚本中生成在线检测与调控中需要的分类器模型。
4)进行在线情绪检测与调控：
4.1)在数据处理模块打开数据记录功能后，在界面选择“测试模式”，并点击“连接”将传递给刺激模块和反馈模块后，点击“开始”，场景便会播放采集训练数据的视频；
4.2)歌曲开始前，屏幕弹出提示告知用户即将播放歌曲的类型(正性、中性、负性)，并让他们保持相应的情绪状态。反馈模块会实时产生反馈信息，用户根据虚拟人表情和情绪坐标的反馈调节自己的情绪和情绪调节方法，使得反馈尽可能符合歌曲的情绪类型。每首歌曲播放完成后，屏幕弹出提示告知用户进行短暂休息。所有歌曲播放完后，停止保存记录，关闭相应程序；
4.3)数据处理模块将自动输出用户在训练和测试阶段的准确率表现。
综上所述，本发明针对目前的脑电情绪检测系统反馈形式单一，无法实现交互等问题，提出了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统。本发明将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统。该系统用虚拟人的表情展示用户的情绪状态，并反馈给用户，实现情绪检测与情绪调控，在获得不错的分类准确率的同时获得良好的使用体验。本发明系统为健康人和各类情感障碍患者开法一种检测和调控情绪的系统，拓展了基于脑机接口的情绪检测与调控的应用范围，在游戏娱乐和医疗康复领域具有广阔的应用前景。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，包括：
刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；
反馈模块，用于传递反馈数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪；
数据采集模块，用于采集并记录用户的脑电信号；
数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。
2.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型，有正性、中性或负性，刺激开始后将持续一段时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。
3.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，能做出大笑、微笑、无表情、叹气表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户能根据情绪坐标的位置，对自己的情绪状态进行调整。
4.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接线与安装有数据处理模块的计算机连接。
5.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述数据采集模块采用脑电放大器和30通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，以保证数据良好的质量，且脑电信号以250Hz的频率采样，并在0.1至48Hz的范围内进行带通滤波。
6.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述数据采集模块采集信号时，用户坐在距离3D屏幕中央3米处，头戴同步式3D眼镜，3D屏幕用作场景的播放，音乐播放依靠立体声环绕音响；开始前，用户会观看一个测试歌曲视频，能够根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激；每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
7.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，在所述数据处理模块中，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，而后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的在线检测与调控阶段，对实时数据使用与处理训练数据集时完全相同的方法和参数进行预处理、特征提取后，将特征向量输入训练好的分类器模型，得到正性—中性、中性—负性、负性—正性三组情绪对的预测可能性值，并基于这三个值进行线性变换，得到实时情绪坐标，基于这个坐标的位置判定用户情绪状态，并调整虚拟人的表情，用户根据坐标和虚拟人的表情改变自己的情绪调节策略，进一步提升情绪调节效果。
8.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，在所述数据处理模块中，对标记好的训练数据和在线测试数据进行滤波预处理和微分熵特征提取的操作如下：
对于训练数据和在线测试数据，经过带通滤波器滤波，滤波带宽为0.1–48Hz；对于训练数据和在线测试数据的每一个数据段，采用滑动窗口的方式将其切割成时间窗口为5秒的小窗，滑动间隔为1秒；对于每一个小窗，提取30个通道在6个频率段：①Delta频段：0.1-4Hz，②Theta频段：4-8Hz，③Alpha频段：8-14Hz，④Low Beta频段：14-21.5Hz，⑤High Beta频段：21.5-30Hz，⑥Gamma频段：30-48Hz内的微分熵特征，得到30×6的特征向量，通过变化转化为180×1的特征向量；其中，微分熵特征的具体计算方法如下：
对于每个数据通道，使用短时傅里叶变化STFT将信号变化到时频域，随后按照下列公式：
DE＝log(|x(m,fk)|2)
式中，DE为微分熵特征，x为通道数据，m为对应时间段序号，fk为对应频率的组合；在频率域上分别计算每个频段的信号能量，并将对应的能量值取对数之后就得到了相应的微分熵特征。
9.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，在所述数据处理模块中，对于分类器模型的训练，是将特征向量送入基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的正性、中性、负性情绪状态下对应的情绪特征数据构成一个训练集，并将正性、中性、负性情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型。
10.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，在所述数据处理模块中，对于实时情绪坐标的计算，假设一个边长为1的等边三角形，三角形的三个顶点为三种情绪的原点，其中左下角为正性，上方为中性，右下角为负性，三条边上为三个两两情绪对的预测可能性所对应的小球，将三个小球的重心定义为情绪坐标，通过情绪坐标的反馈，用户能够更加准确获取自己当前的情绪状态。
CN202210269911.9A 2022-03-18 2022-03-18 基于脑机接口的虚拟现实可交互式情绪检测与调控系统 Pending CN114756121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210269911.9A CN114756121A (zh) 2022-03-18 2022-03-18 基于脑机接口的虚拟现实可交互式情绪检测与调控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210269911.9A CN114756121A (zh) 2022-03-18 2022-03-18 基于脑机接口的虚拟现实可交互式情绪检测与调控系统

Publications (1)

Publication Number Publication Date
CN114756121A true CN114756121A (zh) 2022-07-15

Family

ID=82327405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210269911.9A Pending CN114756121A (zh) 2022-03-18 2022-03-18 基于脑机接口的虚拟现实可交互式情绪检测与调控系统

Country Status (1)

Country Link
CN (1) CN114756121A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373519A (zh) * 2022-10-21 2022-11-22 北京脑陆科技有限公司 脑电数据交互显示方法、装置、系统和计算机设备
CN115624678A (zh) * 2022-10-27 2023-01-20 上海韶脑传感技术有限公司 康复训练系统以及训练方法
CN115670463A (zh) * 2022-10-26 2023-02-03 华南理工大学 一种基于脑电情绪神经反馈信号的抑郁检测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373519A (zh) * 2022-10-21 2022-11-22 北京脑陆科技有限公司 脑电数据交互显示方法、装置、系统和计算机设备
CN115670463A (zh) * 2022-10-26 2023-02-03 华南理工大学 一种基于脑电情绪神经反馈信号的抑郁检测系统
CN115624678A (zh) * 2022-10-27 2023-01-20 上海韶脑传感技术有限公司 康复训练系统以及训练方法

Similar Documents

Publication Publication Date Title
CN109585021B (zh) 基于全息投影技术的精神状态评估方法
CN114756121A (zh) 基于脑机接口的虚拟现实可交互式情绪检测与调控系统
CN109730701B (zh) 一种情绪数据的获取方法及装置
Koelstra et al. Deap: A database for emotion analysis; using physiological signals
Matlovic et al. Emotions detection using facial expressions recognition and EEG
CN106569604B (zh) 视听双模态语义匹配和语义失配协同刺激脑机接口方法
CN101464729B (zh) 基于听觉认知神经信号的自主意愿表达方法
CN112163518B (zh) 情绪监测的情绪建模方法及情绪监测调节系统
CN111292834A (zh) 一种基于虚拟现实的注意力训练系统
Yoon et al. Emotion recognition of serious game players using a simple brain computer interface
CN109620257B (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
CN107402635B (zh) 结合脑电波与虚拟现实的心理健康调节方法及系统
CN108324292B (zh) 基于脑电信号的室内视觉环境满意度分析方法
Conneau et al. Assessment of new spectral features for eeg-based emotion recognition
CN105512609A (zh) 一种基于核超限学习机的多模融合视频情感识别方法
Kortelainen et al. EEG-based recognition of video-induced emotions: selecting subject-independent feature set
CN111695442A (zh) 一种基于多模态融合的在线学习智能辅助系统
CN108478224A (zh) 基于虚拟现实与脑电的紧张情绪检测系统及检测方法
McCreadie et al. Sensorimotor learning with stereo auditory feedback for a brain–computer interface
Chen et al. Design and implementation of human-computer interaction systems based on transfer support vector machine and EEG signal for depression patients’ emotion recognition
CN113397547A (zh) 一种基于生理数据的观影评价服务系统和方法
CN114640699B (zh) 基于vr角色扮演游戏交互的情绪诱发监测系统
Hübner et al. Eyes-closed increases the usability of brain-computer interfaces based on auditory event-related potentials
CN108784692A (zh) 一种基于个体脑电差异的情绪调控训练系统和方法
TW201707647A (zh) 利用腦波進行注意力反饋訓練之方法及其系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination