CN114469090A - 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统 - Google Patents

基于跨脑耦合关系计算的脑电情感识别方法及脑机系统 Download PDF

Info

Publication number
CN114469090A
CN114469090A CN202111674867.1A CN202111674867A CN114469090A CN 114469090 A CN114469090 A CN 114469090A CN 202111674867 A CN202111674867 A CN 202111674867A CN 114469090 A CN114469090 A CN 114469090A
Authority
CN
China
Prior art keywords
electroencephalogram
brain
emotion
training
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111674867.1A
Other languages
English (en)
Inventor
朱莉
张建海
孔万增
戴玮辰
李俊华
崔高超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111674867.1A priority Critical patent/CN114469090A/zh
Publication of CN114469090A publication Critical patent/CN114469090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)

Abstract

本发明专利的目的在于克服现有技术的不足，提供一种基于跨脑耦合关系计算的情感识别在线脑机接口系统，该系统支持多人同时使用，提升在线识别的精度和稳定性，实现对细粒度具体情感的识别。本发明基于跨脑耦合关系计算的脑电情感识别方法，具体步骤如下：步骤一：情感刺激任务；步骤二：多人脑电同步采集；步骤三、数据预处理形成训练集；步骤四、打标签；步骤五、脑电耦合关系训练；步骤六、训练结果耦合关系特征计算验证。本发明提供的跨脑融合关系计算的情感识别方法通过脑电设备采集多名用户的脑电数据，并对跨脑耦合关系特征进行提取，并在线计算细粒度具体情感的识别正确率，可显著提高情感识别正确率。

Description

基于跨脑耦合关系计算的脑电情感识别方法及脑机系统
技术领域
本发明专利属于人工智能-模式识别-脑机接口领域，具体涉及一种基于跨脑耦合关系的情感识别方法及其在线脑机接口系统。
背景技术
情感计算是一种使得计算机可以拥有识别、理解、表征、适应和反馈人类外在情感的能力，帮助计算机向着更全面智能化的方向发展的技术。目前国内外的情感计算已经取得多方面的进展，主要包括人脸表情识别、文本情感分析、行为情感理解、语言/语音情感识别和生理信号情感计算。其中，具有真实性、不受主观控制和客观性等显著特点的生理信号情感计算成为近年来的关注热点。脑电(EEG)因其具有便携性和高时间分辨率等方面的优势，在情感计算领域最常用的生理信号，已积累许多科研和应用成果。
情感脑机接口(Brain computer interface，BCI)是实现人-机情感交互智能的核心技术，是指可以为人脑与外部环境/机器之间建立起一种新型情感信息交互方式的技术。其工作原理是通过采集由情感刺激诱发的人脑信号，对其进行模式识别，解析处大脑情感感知到的类型，再将其转化为外部指令，进而与外部设备/环境达到情感上的沟通交互。这既可以让机器学习到人类情感，又可以通过机器调制情感认知障碍，其内涵已不仅仅是让机器具有情感智能，还扩展至人与机器的情感交互。其中，基于脑电信号的情感BCI是主要方向。但是当前的脑机接口系统存在以下三个缺陷：
(1)情感识别精度低；由于大脑中数百亿神经元的功能和机制并没有被足够的理解和挖掘，这使得BCI技术对于大脑信号的正确识别受到了制约。而且，脑信号受到来自环境和自身生理信号的多重干扰，使得与任务相关的信号难以被识别。
(2)情感识别类别少；目前情感识别主要集中在粗粒度积极、消极等二分类任务，而鲜少对细粒度具体情感的识别。
(3)缺少社会交互，稳定性弱；当前情感识别脑机接口都是单人模式，系统的识别仅来源于单一个体，使得结果不够稳定；同时，交互行为是社会活动的核心，尤其是情感交互，如对自己的情感感知以及别人行为对于自己的影响等。
(4)在线程度低；现有情感脑机接口，通常只进行离线数据分析，这将数据采集和算法分离，导致BCI研究仍停留在实验阶段。
发明内容
本发明专利的目的在于克服现有技术的不足，提供一种基于跨脑耦合关系计算的情感识别在线脑机接口系统，该系统支持多人同时使用，提升在线识别的精度和稳定性，实现对细粒度具体情感的识别。
本发明基于跨脑耦合关系计算的脑电情感识别方法，具体步骤如下：
步骤一、向m个训练人员提供多个情感诱发任务，m≥2；该多个情感诱发任务包含所有的n个细粒度情感类别，n≥4；
步骤二、在各训练人员进行情感诱发任务的同时采集脑电信号，获得训练人员在执行每个情感诱发任务时的脑电信号；并将所有脑电信号向主控电脑发出传递请求进程，进行同步传递，一次脑电数据采集中，每个训练人员均提取P个通道数据，m个训练者共计采集到P*m个通道数据；
步骤三、分别对步骤二采集到的各个训练人员的脑电数据进行预处理；并对脑电信号打上对应的情感类别标签，形成训练集；
步骤四、计算训练集中的各训练人员的脑电数据间的耦合关系矩阵，得到各情感诱发任务对应的训练用脑电耦合关系特征；
步骤五、用分类器对带有标签的训练用脑电耦合关系特征进行训练；
步骤六、m个训练人员观看同一个情感诱发刺激图片，并执行步骤二、步骤三和步骤四，提取得到跨脑耦合关系特征；
将跨脑脑电耦合关系特征导入步骤五训练好的分类器中进行分类判断，获取m个训练者感知到的情感类别。
作为优选，所述的步骤一中，每个情感诱发任务的任务提示时间0.5s，情感刺激播放时间为2s，两个情感诱发任务之间存在时间间隔。
作为优选，步骤一中，情感诱发任务通过图片或视频的方式向训练者播放。
作为优选，步骤二中，采用64电极的Neuroscan设备来获取脑电数据，采样频率为1000Hz。训练人员脑电数据所使用的通道数P为14，该14个通道分别为Neuroscan设备中的FP1、FPZ、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6和F8。
作为优选，所述的步骤三中的预处理包括带通滤波、共平均参考和盲源分离；
带通滤波：创建带通滤波器，从选取的脑电数据中提取2-50Hz频段的脑电成分；
共平均参考：计算滤波后的14个通道脑电数据的平均值，并将每个脑电通道的数据减去该平均值；
盲源分离：去除眼动和心电伪迹。
作为优选，步骤四中，脑电数据的耦合关系计算采用如下方法：将m个训练者两两之间，形成m*(m-1)/2个训练人员对；对每个训练人员对，2P个通道数据进行不含自我配对的两两一组任意配对，得到P2个通道对；P2个通道对对应的相位相干值形成相位相干性耦合特征矩阵。m*(m-1)/2个训练人员对形成m*(m-1)/2个耦合特征矩阵。
作为优选，步骤五中所述的分类器采用包括四个卷积层、四个池化层的深度卷积神经网络。将脑电耦合关系特征输入到分类器后，进行分类，输出结果。
作为优选，步骤四中，脑电数据的耦合关系计算采用如下方法：将m个被测者的脑电数据组织成1个张量，该张量的维度为通道数(P)×样本点(2×采样频率)×训练人员(m)，再进行Tucker分解，得到跨脑脑电的耦合特征。
1.作为优选，Tucker分解的分解公式如下：
Figure BDA0003450783650000031
其中，
Figure BDA0003450783650000032
是原始的数据张量，
Figure BDA0003450783650000033
是核张量，
Figure BDA0003450783650000034
是模-n因子矩阵，n＝1,…N。
一种用于实现跨脑耦合关系计算的情感识别方法的在线脑机接口系统，包括主控中央处理单元PC1、情感刺激呈现中央处理单元PC2、脑电采集中央处理单元PC3、中央处理单元PC4。中央处理单元PC1中包括多人脑电数据同步接收模块、预处理模块、耦合关系特征计算模块、分类识别模块和可视化模块。多人脑电数据同步接收模块同步接受了多训练人员带有情感标签的脑电数据，再传输到给预处理模块进行预处理。特征计算模块对打上标签的脑电数据进行耦合关系特征的计算。分类识别模块对耦合关系特征计算模块生成的特征进行训练，并在训练后进行情感类别的识别，再将识别结果显示到可视化模块上。中央处理单元PC2向各训练人员提供情感诱发任务。中央处理单元PC3和PC4设置有打标签模块，对采集到的脑电信号，打上对应于PC2的情感诱发任务标签。
本发明相对于现有技术具有如下的优点及效果：
1、本发明提供的跨脑融合关系计算的情感识别方法通过脑电设备采集多名用户的脑电数据，并对跨脑耦合关系特征进行提取，并在线计算细粒度具体情感的识别正确率，可显著提高情感识别正确率。
2、本发明对多台多通道脑电采集设备的信号同步记录、耦合关系特征提取、分类识别和结果可视化等功能。与传统的情感脑机接口的不同之处有以下几点：本发明实现多人交互任务，更符合人类情感加工模式；完成了跨脑间的耦合关系提取，识别正确率更高，解决了细粒度情感识别差的局限；操作过程简便，利用脑电采集设备的数据转发功能，进行多台PC之间的通信。
附图说明
图1为本发明的系统框架图；
图2为本发明的系统流程图；
图3为本发明的脑电记录通道图
图4为本发明专利多人脑机接口系统示意图。
具体实施方式
下面将结合附图和具体两名用户参与的实例对本发明专利发明内容做详细讲解，但本发明的实施方法和用户人数不限于此。
实施例1
如图1、2、3和4所示，一种用于实现跨脑耦合关系计算的的情感识别方法的在线脑机接口系统，包括中央处理单元PC1、PC2、PC3、PC4。中央处理单元PC1和中央处理单元PC2中均设置有多人脑电同步采集模块和预处理模块，多人脑电同步采集模块采集用户的脑电信号并传输给预处理模块进行预处理。
中央处理单元PC1中包括多人脑电数据同步接收模块、预处理模块、耦合关系特征计算模块、分类识别模块和可视化模块。多人脑电数据同步接收模块同步接受了多训练人员带有情感标签的脑电数据，再传输到给预处理模块进行预处理。特征计算模块对打上标签的脑电数据进行耦合关系特征的计算。分类识别模块对耦合关系特征计算模块生成的特征进行训练，并在训练后进行情感类别的识别，再将识别结果显示到可视化模块上。中央处理单元PC2进行情感诱发刺激呈现，PC3和PC4进行训练用户的脑电记录与打标签，再通过数据转发功能同步传输至中央处理单元PC1。
该脑机接口系统进行基于跨脑耦合关系计算的情感识别方法，具体过程如下：
步骤S1：情感刺激任务模块:
本实施例中，生成每个情感诱发任务的任务提示时间0.5s，情感刺激播放时间为2s，各训练用户的在线打分时间3s，两个情感诱发任务的时间间隔为3s。在情感刺激诱发任务设计中，为了保证大脑的训练效果，将训练任务设计为包括交替进行的休息阶段和任务阶段的组块任务。与此同时，将休息阶段和任务阶段的开始时间点和结束时间点通知数据预处理模块。本实施例中设置五个情感诱发任务，分别为“高兴”、“恶心”、“恐惧”和“中性”以及打分。
步骤S2：多人脑电同步采集模块：同步两个多通道脑电设备采集的脑电信号。本实施例采用64电极的Neuroscan设备来获取脑电数据，采样频率为1000Hz，电极帽采用国际10/20系统电极放置法，所用的14个电极分别为FP1、FPZ、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6和F8。两个参考电极(即M1和M2)分别置于左耳垂、右耳垂。另设置EKG电极放在左手动脉处记录心电数据，如图3所示。让两个用户(分别记为用户1和用户2)并排而坐，用户1的脑电采集设备连接在PC3上；用户2的脑电采集设备连接在PC4上。两个用户并排而坐，同时看PC2上的情感刺激图片。
步骤S3：预处理模块:接收来自脑电采集模块的脑电数据。
对采集的脑电数据进行预处理，以减少伪迹的干扰。具体过程包括：(1)带通滤波：创建带通滤波器，从选取的脑电数据中提取2-50Hz频段的脑电成分。本实施例使用2阶巴特沃斯滤波器实现滤波处理。(2)去平均参考：计算滤波后的14个通道脑电数据的平均值，并将每个脑电通道的数据减去该平均值。(3)盲源分离去除眼动、心电等伪迹。
步骤S4：打标签模块:实时检测运行Eprime的CP2的情感刺激图片，基于不同的提示情感类型，对每个用户的脑电数据同时打上对应的标签。
步骤S5：数据传输模块：整合数据和传输数据，具体包括：
1)在PC3和PC4上打开数据转发功能
2)再PC1上打开TCP/IP协议建立与PC3和PC4的连接
3)PC3和PC4将在线读取的脑电数据以设定好的长度进行分片传输给PC1。本实施例中，每个试次发送2秒带有标签的脑电数据。
步骤S6：耦合关系特征计算模块，具体包括：
1)利用相位相干(PC，phase coherence)计算四类情感刺激任务的耦合关系矩阵，具体如下：
将m个训练者两两之间，形成m*(m-1)/2个训练人员对；对每个训练人员对，2P个通道数据进行不含自我配对的两两一组任意配对，得到P2个通道对；P2个通道对对应的相位相干值形成相位相干性耦合特征矩阵。m*(m-1)/2个训练人员对形成m*(m-1)/2个耦合特征矩阵。
2)利用Tucker张量分解计算四类情感刺激任务的跨脑耦合关系矩阵，具体如下：
将m个被测者的脑电数据组织成1个张量，该张量的维度为通道数(P)×样本点(2×采样频率)×训练人员(m)，再进行Tucker分解，得到跨脑脑电的耦合特征。分解公式如下：
Figure BDA0003450783650000061
其中，
Figure BDA0003450783650000062
是原始的数据张量，
Figure BDA0003450783650000063
是核张量，
Figure BDA0003450783650000064
是模-n因子矩阵，n＝1,2,…,N。核张量(通常为Rn＜＜In)对不同模态中向量间的复杂交互关系进行建模。
原始脑电信号是“通道×时间”的二维矩阵。脑电超扫描数据同时记录多个个体的脑电，具有天然的张量形式。一个简单的组织方式是在直接原始脑电矩阵中增加被试维度，建立起三阶张量结构(通道×样本点×用户)。
3)选择1)或2)中一种方法，再计算所有实验试次的特征矩阵。
步骤S7：构建深度卷积神经网络模型，对特征矩阵进行分类识别，具体包括：
卷积1输入数据为耦合关系矩阵。第一个卷积层与输入做卷积计算，核大小为3×3。步长为1，偏向为0。
池化层1接在卷积1后，核大小为3×3，步长为1。
卷积2第二层卷积与前层输出数据做卷积，核大小为3×3。步长为1，偏向为0。
池化层2接在卷积2后，核大小为3×3，步长为1。
卷积3第三层卷积与前层输出数据做卷积，核大小为3×3。步长为1，偏向为0。
池化层3接在卷积3后，核大小为3×3，步长为1。
卷积4第4层卷积与前层输出数据做卷积，核大小为3×3。步长为1，偏向为0。
池化层4接在卷积4后，核大小为3×3，步长为1。
全连接层1获取池化层3所有的神经元并与该层所有神经元(共1000个)连接对跨脑耦合关系特征输入生成全局解析。使用dropout策略避免过拟合，设置dropout＝0.2。
通过该深度卷积神经网络，对输入的跨脑耦合关系特征进行分类识别，判断出两个训练用户的脑电情感类型。
实施例2
为证明本发明相比于现有技术的优势，我们对比了9组单人和多人情感脑电识别正确率，使用上述14个通道的各频段和频段的结果，如表1～2所示。可见，基于跨脑耦合关系特征的情感识别正确率显著性提升。
表1单人分类正确率
Figure BDA0003450783650000071
表2多人分类正确率
Figure BDA0003450783650000081

Claims (9)

1.基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，包括以下步骤：
步骤一、向m个训练人员提供多个情感诱发任务，m≥2；该多个情感诱发任务包含所有的n个细粒度情感类别，n≥4；
步骤二、在各训练人员进行情感诱发任务的同时采集脑电信号，获得训练人员在执行每个情感诱发任务时的脑电信号；并将所有脑电信号向主控电脑发出传递请求进程，进行同步传递，一次脑电数据采集中，每个训练人员均提取P个通道数据，m个训练者共计采集到P*m个通道数据；
步骤三、分别对步骤二采集到的各个训练人员的脑电数据进行预处理；并对脑电信号打上对应的情感类别标签，形成训练集；
步骤四、计算训练集中的各训练人员的脑电数据间的耦合关系矩阵，得到各情感诱发任务对应的训练用脑电耦合关系特征；
步骤五、用分类器对带有标签的训练用脑电耦合关系特征进行训练；
步骤六、m个训练人员观看同一个情感诱发刺激图片，并执行步骤二、步骤三和步骤四，提取得到跨脑耦合关系特征；
将跨脑脑电耦合关系特征导入步骤五训练好的分类器中进行分类判断，获取m个训练者感知到的情感类别。
2.根据权利要求1所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，所述的步骤一中，每个情感诱发任务的任务提示时间0.5s，情感刺激播放时间为2s，两个情感诱发任务之间存在时间间隔。
3.根据权利要求1所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，所述的步骤二中，采用64电极的Neuroscan设备来获取脑电数据，采样频率为1000Hz；训练人员脑电数据所使用的通道数P为14，该14个通道分别为Neuroscan设备中的FP1、FPZ、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6和F8。
4.根据权利要求1所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，所述的步骤三中的预处理包括带通滤波、共平均参考和盲源分离；
带通滤波：创建带通滤波器，从选取的脑电数据中提取2-50Hz频段的脑电成分；
共平均参考：计算滤波后的14个通道脑电数据的平均值，并将每个脑电通道的数据减去该平均值；
盲源分离：去除眼动和心电伪迹。
5.根据权利要求1所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，所述的步骤四中，脑电数据的耦合关系计算采用如下方法：将m个训练者两两之间，形成m*(m-1)/2个训练人员对；对每个训练人员对，2P个通道数据进行不含自我配对的两两一组任意配对，得到P2个通道对；P2个通道对对应的相位相干值形成相位相干性耦合特征矩阵，m*(m-1)/2个训练人员对形成m*(m-1)/2个耦合特征矩阵。
6.根据权利要求1或5所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，所述的步骤四中，脑电数据的耦合关系计算采用如下方法：将m个被测者的脑电数据组织成1个张量，该张量的维度为通道数(P)×样本点(2×采样频率)×训练人员(m)，再进行Tucker分解，得到跨脑脑电的耦合特征。
7.根据权利要求1所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，所述的步骤五中所述的分类器采用包括四个卷积层、四个池化层的深度卷积神经网络；将脑电耦合关系特征输入到分类器后，进行分类，输出结果。
8.根据权利要求6所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，Tucker分解的分解公式如下：
Figure FDA0003450783640000021
其中，
Figure FDA0003450783640000022
是原始的数据张量，
Figure FDA0003450783640000023
是核张量，
Figure FDA0003450783640000031
是模-n因子矩阵，n＝1,…N。
9.一种跨脑耦合关系计算的在线脑机接口系统适用于权利要求1所述的基于跨脑耦合关系计算的脑电情感识别方法，其特征在于，包括：主控中央处理单元PC1、情感刺激呈现中央处理单元PC2、脑电采集中央处理单元PC3、中央处理单元PC4；
中央处理单元PC1中包括：多人脑电数据同步接收模块、预处理模块、耦合关系特征计算模块、分类识别模块和可视化模块；
多人脑电数据同步接收模块同步接受了多训练人员带有情感标签的脑电数据，再传输到给预处理模块进行预处理；
特征计算模块对打上标签的脑电数据进行耦合关系特征的计算；
分类识别模块对耦合关系特征计算模块生成的特征进行训练，并在训练后进行情感类别的识别，再将识别结果显示到可视化模块上；
中央处理单元PC2向各训练人员提供情感诱发任务；
中央处理单元PC3和PC4设置有打标签模块，对采集到的脑电信号，打上对应于PC2的情感诱发任务标签。
CN202111674867.1A 2021-12-31 2021-12-31 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统 Pending CN114469090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111674867.1A CN114469090A (zh) 2021-12-31 2021-12-31 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111674867.1A CN114469090A (zh) 2021-12-31 2021-12-31 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统

Publications (1)

Publication Number Publication Date
CN114469090A true CN114469090A (zh) 2022-05-13

Family

ID=81508470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111674867.1A Pending CN114469090A (zh) 2021-12-31 2021-12-31 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统

Country Status (1)

Country Link
CN (1) CN114469090A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115421597A (zh) * 2022-11-04 2022-12-02 清华大学 一种基于双脑耦合特征的脑机接口控制方法及系统
CN116077797A (zh) * 2023-03-10 2023-05-09 北京视友科技有限责任公司 一种基于团队的脑电反馈训练方法及系统
WO2023244528A1 (en) * 2022-06-17 2023-12-21 Wisconsin Alumni Research Foundation Method and apparatus for detecting consciousness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169470A (zh) * 2013-02-25 2013-06-26 北京师范大学 群体神经反馈训练方法及群体神经反馈训练系统
CN107085670A (zh) * 2017-06-26 2017-08-22 北京艾尔法科技有限公司 一种基于多人神经响应一致性的状态检测方法和系统
CN109893125A (zh) * 2019-03-18 2019-06-18 杭州电子科技大学 一种基于脑区信息交互的脑昏迷状态识别方法
CN112465059A (zh) * 2020-12-07 2021-03-09 杭州电子科技大学 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN112698720A (zh) * 2020-12-23 2021-04-23 杭州电子科技大学 一种基于互信息特征提取及多人融合的运动想象识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169470A (zh) * 2013-02-25 2013-06-26 北京师范大学 群体神经反馈训练方法及群体神经反馈训练系统
CN107085670A (zh) * 2017-06-26 2017-08-22 北京艾尔法科技有限公司 一种基于多人神经响应一致性的状态检测方法和系统
CN109893125A (zh) * 2019-03-18 2019-06-18 杭州电子科技大学 一种基于脑区信息交互的脑昏迷状态识别方法
CN112465059A (zh) * 2020-12-07 2021-03-09 杭州电子科技大学 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN112698720A (zh) * 2020-12-23 2021-04-23 杭州电子科技大学 一种基于互信息特征提取及多人融合的运动想象识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGYAN XU等: "Emotion Recognition Using Multi-core Tensor Learning and Multimodal Physiological Signal", 《SECOND INTERNATIONAL WORKSHOP HUMAN BRAIN AND ARTIFICIAL INTELLIGENCE》, 7 January 2021 (2021-01-07), pages 137 - 148 *
LI ZHU 等: "EEG-based approach for recognizing human social emotion perception", 《ADV. ENG. INFORMATICS》, 9 September 2020 (2020-09-09), pages 1 - 5 *
LI ZHU等: "Multi-Branch Network for Cross-Subject EEG-based Emotion Recognition", 《ACML 2021》, 17 November 2021 (2021-11-17), pages 1 - 16 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023244528A1 (en) * 2022-06-17 2023-12-21 Wisconsin Alumni Research Foundation Method and apparatus for detecting consciousness
CN115421597A (zh) * 2022-11-04 2022-12-02 清华大学 一种基于双脑耦合特征的脑机接口控制方法及系统
CN116077797A (zh) * 2023-03-10 2023-05-09 北京视友科技有限责任公司 一种基于团队的脑电反馈训练方法及系统
CN116077797B (zh) * 2023-03-10 2024-02-02 北京视友科技有限责任公司 一种基于团队的脑电反馈训练方法及系统

Similar Documents

Publication Publication Date Title
CN114469090A (zh) 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统
CN112120716B (zh) 一种可穿戴式多模态情绪状态监测装置
Zhang et al. Cascade and parallel convolutional recurrent neural networks on EEG-based intention recognition for brain computer interface
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
Ebrahimi et al. Brain-computer interface in multimedia communication
CN106569604B (zh) 视听双模态语义匹配和语义失配协同刺激脑机接口方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN103412646A (zh) 基于脑机交互的音乐情绪化推荐方法
CN112932502A (zh) 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN103631941A (zh) 基于脑电的目标图像检索系统
CN107122050B (zh) 基于csfl-gdbn的稳态运动视觉诱发电位脑-机接口方法
CN112008725B (zh) 一种人机融合脑控机器人系统
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN112465059A (zh) 基于跨脑融合决策的多人运动想象识别方法及脑机系统
WO2017215177A1 (zh) 一种虚拟现实中内容交互的方法和装置
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN114145745B (zh) 基于图的多任务自监督情绪识别方法
Perusquía-Hernández et al. Spontaneous and posed smile recognition based on spatial and temporal patterns of facial EMG
Huang et al. Classify motor imagery by a novel CNN with data augmentation
Petrantonakis et al. EEG-based emotion recognition using hybrid filtering and higher order crossings
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
CN116301308A (zh) 基于融合特征的紧急状态运动意图脑-机接口系统
Joadder et al. A new way of channel selection in the motor imagery classification for BCI applications
Shao Facial movements recognition using multichannel EMG signals
Chin et al. An affective interaction system using virtual reality and brain-computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination