CN111616721A - 基于深度学习和脑机接口的情绪识别系统及应用 - Google Patents

基于深度学习和脑机接口的情绪识别系统及应用 Download PDF

Info

Publication number
CN111616721A
CN111616721A CN202010481477.1A CN202010481477A CN111616721A CN 111616721 A CN111616721 A CN 111616721A CN 202010481477 A CN202010481477 A CN 202010481477A CN 111616721 A CN111616721 A CN 111616721A
Authority
CN
China
Prior art keywords
emotion
electroencephalogram
brain
eeg
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010481477.1A
Other languages
English (en)
Other versions
CN111616721B (zh
Inventor
高忠科
李如梅
马超
马文庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Original Assignee
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Furuilong Metal Products Co ltd, Tianjin University filed Critical Tianjin Furuilong Metal Products Co ltd
Priority to CN202010481477.1A priority Critical patent/CN111616721B/zh
Publication of CN111616721A publication Critical patent/CN111616721A/zh
Application granted granted Critical
Publication of CN111616721B publication Critical patent/CN111616721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于深度学习和脑机接口的情绪识别系统及应用,包括依次连接的便携式脑电采集设备、情绪脑电分类模块和情绪分类显示模块,所述便携式脑电采集设备从被试者大脑采集情绪EEG脑电信号,所述的情绪脑电分类模块对情绪EEG脑电信号进行分析,建立情绪EEG脑电信号与情绪之间的关系模型,通过关系模型,对输入的情绪EEG脑电信号进行情绪分类,所述的情绪分类显示模块显示识别出的情绪种类,提示被试者情绪状态。本发明的基于深度学习和脑机接口的情绪识别系统及应用,能够实现对情绪脑电信号的准确获取、有效辨识和正确分类,并直观提示情绪状态,实现情绪状态监测的功能。本发明直接建立脑电信号和情绪种类之间的对应关系,实现对情绪的反馈。

Description

基于深度学习和脑机接口的情绪识别系统及应用
技术领域
本发明涉及一种情绪识别系统。特别是涉及一种基于深度学习和脑机接口的情绪识别系统及应用。
背景技术
情绪是人受到外界事物刺激时的反应,是一种广泛而复杂的生理和心理状态。人的情绪状态种类繁多,心理学家Ekman将其大致定义为高兴、生气、吃惊、恐惧、厌恶和悲伤六种。事实上,还有很多其他的情绪状态,如羞愧,傲慢,失望,焦虑等。人的情绪状态往往反应了一个人对外在事物的态度与看法,通过情绪识别可以帮助人们提高设备使用安全性,分析日常行为潜在情感因素。例如,在康复医疗方面,可以帮助医生诊断以及预防如抑郁症、创伤后应激障碍等问题。同时,根据患者的情绪反应可以方便医护人员提供更好的医疗护理,以辅助患者的康复。在交通运输方面,可以通过情绪检测分析驾驶员的精神状态,如是否疲劳,清醒程度如何,是否紧张焦虑等,来确保驾驶安全。在教育行业,可以通过学生对不同科目的情绪反应开发学生特长,进行更有针对性的辅导。同时,当学生大脑负荷较重,显示出疲劳情绪时,提示教师活跃课堂或者短暂休息,确保课堂效率。对情绪的精确识别可以从很多方面提升我们的生活质量。
人的情绪可以通过各种途径反映出来,例如面部表情、语音语调、动作眼神等等。现阶段情绪识别可以利用包括表情、语音、动作以及生理信号等模态。其中,生理信号特别是脑电信号(Electroencephalogram,EEG)不容易受到人为因素的影响。由于脑电信号的稳定性,基于脑电信号的情绪分类工作得到广泛关注。然而在实际应用中,利用脑电信号进行情绪分析还存在着很多挑战。首先,脑电采集过程比较困难,想要获得稳定的脑电信号对采集设备、被试者、外部环境都有一定的要求。尽管植入式和半植入式脑电电极能获得更稳定的信号,但其操作复杂,日常使用可行性较低。目前业界普遍采用的是非植入式脑电电极,虽然有便携、操作简单等优点,但容易收到外界噪声影响。其次,脑电信号具有强度弱和背景噪声强的特点,想要得到真实有效的脑电信号需要先进的预处理技术。同时,在分类工作时,需要一些处理技术从大量信号样本中提取特征,以建立信号与情绪状态之间的对应关系,这个过程对处理方法的准确性要求很高。
最近,复杂网络理论作为一种多学科融合方法为复杂系统分析提供了新的途径。其中,多层网络由于其多尺度特性,在分析时空数据集上具有优势。人类大脑是一个复杂系统,复杂网络无疑是分析人脑信号在多空间、多尺度上的交互模式的有力工具。其中,利用脑电信号建立脑网络进行分析的方法也越来越受到关注。将脑电极被设定为节点,通过各种各样的相关性测度确定节点之间的连边以建立脑网络。通过对脑网络特性的研究可以深化对脑电信号特征的理解。
随着计算机处理速度和计算能力的提升,使用深度学习处理大数据样本成为可能。作为人工智能领域的前沿技术,深度学习是一种端到端的学习方法,它可以自动学习并提取输入样本的抽象特征,不用进行人工的操作分析,大大提高了处理效率。脑电信号数据具有数量大,特征多,变化快的特点,使用深度学习方法分析脑电数据优势明显。其中,卷积神经网络(Convolutional Neural Network,CNN)有权值共享和局部感知的特点,有效降低了模型参数数量和复杂性,使得模型更易于训练。同时,它更接近实际的生物神经网络,具有对于平移、旋转、尺度缩放等形式的变有度的不变性,可以有效从大量样本中学习到相应的特征。Densenet作为一种基于卷积神经网络的深度学习模型,有着参数节省,计算效率高,一定抗过拟合的特性,在分析大数据样本上具有很大潜力。
发明内容
本发明所要解决的技术问题是,提供一种能够实现对情绪脑电信号的准确获取、有效辨识和正确分类的基于深度学习和脑机接口的情绪识别系统及应用。
本发明所采用的技术方案是:一种基于深度学习和脑机接口的情绪识别系统,包括依次连接的便携式脑电采集设备、情绪脑电分类模块和情绪分类显示模块,所述便携式脑电采集设备从被试者大脑采集情绪EEG脑电信号,所述的情绪脑电分类模块对情绪EEG脑电信号进行分析,建立情绪EEG脑电信号与情绪之间的关系模型,通过关系模型,对输入的情绪EEG脑电信号进行情绪分类,所述的情绪分类显示模块显示识别出的情绪种类,提示被试者情绪状态。
一种基于深度学习和脑机接口的情绪识别系统的应用,包括如下步骤:
1)使用者观看不同的情感视频,在视频刺激下产生三种不同的情绪,分别是积极、中性和消极;
2)使用便携式脑电采集设备采集使用者三种不同情绪下的情绪EEG脑电信号,根据情绪EEG脑电信号和相应的情绪标签训练情绪分类深度学习模型;
3)使用便携式脑电采集设备采集使用者待识别的新的情绪EEG脑电信号,并输入到用于情绪分类检测的双输入深度学习模型,对新的情绪EEG脑电信号进行情绪分类;
4)通过显示器显示出当前情绪种类,提示使用者的情绪状态。
本发明的基于深度学习和脑机接口的情绪识别系统及应用,能够实现对情绪脑电信号的准确获取、有效辨识和正确分类,并直观提示情绪状态,实现情绪状态监测的功能。本发明直接建立脑电信号和情绪种类之间的对应关系,实现对情绪的反馈。
附图说明
图1是本发明基于深度学习和脑机接口的情绪识别系统的构成框图;
图2是本发明中便携式脑电采集设备构成框图;
图3是本发明中构建多层脑复杂网络的流程图;
图4是本发明中双输入深度学习模型的结构示意图;
图5是本发明基于深度学习和脑机接口的情绪识别系统的应用示意图;
具体实施方式
下面结合实施例和附图对本发明的基于深度学习和脑机接口的情绪识别系统及应用做出详细说明。
如图1所示,本发明的基于深度学习和脑机接口的情绪识别系统,包括依次连接的便携式脑电采集设备1、情绪脑电分类模块2和情绪分类显示模块3,所述便携式脑电采集设备1从被试者大脑采集情绪EEG脑电信号,所述的情绪脑电分类模块2对情绪EEG脑电信号进行分析,建立情绪EEG脑电信号与情绪之间的关系模型,通过关系模型,对输入的情绪EEG脑电信号进行情绪分类,所述的情绪分类显示模块3显示识别出的情绪种类,提示被试者情绪状态。
如图2所示,本发明所述的便携式脑电采集设备1包括有:依次连接的用于采集情绪EEG脑电信号的脑电极帽及其转接线11、用于情绪EEG脑电信号放大和转换的生物电信号采集模块12、用于控制情绪EEG脑电信号的采集并通过USB通信电路14向情绪脑电分类模块2传输情绪EEG脑电信号的FPGA处理器13,以及分别连接生物电信号采集模块12和FPGA处理器13的系统供电电路15,其中,
所述的脑电极帽及其转接线11中的脑电极帽采集不同脑区的情绪EEG脑电信号,通过转接线及DSUB37接口与生物电信号采集模块12相连接,用于生物电信号的采集和传输;
所述的生物电信号采集模块12是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器PGA和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器ADC的生物电信号采集芯片组成;
所述的FPGA处理器13用于调整生物电信号采集模块12的采集模式与参数和控制USB通信电路14将情绪EEG脑电信号数据向情绪脑电分类模块2传输;
所述的USB通信电路14的输出连接所述情绪脑电分类模块2的输入端,USB通信电路14工作在异步FIFO模式,最高传输速率8MB/秒,在FPGA处理器13的控制下周期性地将采集到的情绪EEG脑电信号以数据包的形式发送至情绪脑电分类模块2;
所述的系统供电电路15,输入电压为5V,由USB接口进行供电,通过电压转换模块提供系统不同芯片的工作电压。
所述的便携式脑电采集设备1采集被试者情绪EEG脑电信号,是采集被试者对应于脑电极帽的FP1,FPZ,FP2,AF3,AF4,F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCZ,FC2,FC4,FC6,FT8,T7,C5,C3,C1,CZ,C2,C4,C6,T8,TP7,CP5,CP3,CP1,CPZ,CP2,CP4,CP6,TP8,P7,P5,P3,P1,PZ,P2,P4,P6,P8,PO7,PO5,PO3,POZ,PO4,PO6,PO8,CB1,O1,OZ,O2,CB2共62个电极的情绪EEG脑电信号;脑电极帽的电极分布符合10/20国际标准导联;具体是使用视频片段作为情绪刺激源,采集被试者观看视频后产生相应情绪状态的情绪EEG脑电信号;所述的相应情绪状态为积极情绪状态,消极情绪状态和中性情绪状态,采集过程是:
(1)被试者观看三种不同情绪对应的视频片段,在视频源刺激期间产生情绪EEG脑电信号;
(2)在每次观看视频时,便携式脑电采集设备完成情绪EEG脑电信号采集,并为每一次采集到的情绪情绪EEG脑电信号根据刺激所用的视频设定标签,标签和情绪EEG脑电信号共同构成样本集。
本发明所述的情绪脑电分类模块2的运行具体包括如下步骤:
1)使用便携式脑电采集设备获取三种情绪状态的情绪EEG脑电信号
Figure BDA0002517563420000041
c=1,2,…,62构成样本集,其中c代表电极序号,L为信号采集的长度,Xc,g表示第c个电极采样到的第g个数据点的数值;
2)对情绪情绪EEG脑电信号
Figure BDA0002517563420000042
进行滑动窗口划分,得到情绪EEG脑电信号片段,对情绪EEG脑电信号片段进行连续小波变换,将原情绪EEG脑电信号片段分为五个频段,在五个频段δ,θ,α,β,γ内分别构建脑复杂网络Af,f=δ,θ,α,β,γ,最终得到多层脑复杂网络;
所述的五个频段分别为:δ(1-3Hz)、θ(4-7Hz)、α(8-12Hz)、β(13-30Hz),和γ(31-50Hz)五个频段,多层脑复杂网络的构建如图3所示,具体包括:
(2.1)对于采集到的情绪EEG脑电信号
Figure BDA0002517563420000043
通过长度为l的无重叠滑动窗口进行数据分割,滑动窗口的滑动步长为b,得到一系列滑动窗口数据,其中第j个滑动窗口数据表示为
Figure BDA0002517563420000044
Figure BDA0002517563420000045
表示第c个频段中第j个滑动窗口中的第g1个数据点;
(2.2)对于每个滑动窗口得到的数据片段,使用连续小波变换将每个情绪EEG脑电信号片段划分为5个频段,得到分频后的情绪EEG脑电信号
Figure BDA0002517563420000046
f=δ,θ,α,β,γ;
(2.3)对一个频段内的情绪EEG脑电信号
Figure BDA0002517563420000047
将每个通道设置为一个节点,节点之间的连边通过皮尔逊相关系数(Pearson correlation coefficient,PCC)来推断,以此来建立脑复杂网络,包括:
(2.3.1)通道间皮尔逊相关系数的计算,皮尔逊相关系数能够衡量两个变量序列之间的相似性,取值范围为-1到1,两个通道间皮尔逊相关系数ρX,Y的计算如下:
Figure BDA0002517563420000048
其中,σX和σY分别是通道X和通道Y的情绪EEG脑电信号的标准差,计算两两通道之间的皮尔逊相关系数,得到通道间的邻接矩阵;
(2.3.2)对通道之间皮尔逊相关系数值进行权重排序,去除50%权重较小的连边,得到该频段内的脑复杂网络;
(2.4)在五个频段内重复第(2.3)步,得到对应五个频段δ,θ,α,β,γ的脑复杂网络Aδ,Aθ,Aα,Aβ,Aγ,进而构成多层脑复杂网络。
3)选取不同类别情绪脑复杂网络之间差异最大的30个节点作为关键节点,依据关键节点重构多层脑复杂网络;包括:
(3.1)计算每个网络节点的聚集系数
Figure BDA0002517563420000049
其中ki表示与节点i相邻节点的数量,e(i)表示节点i实际连边数量;
(3.2)统计节点i在三种不同情绪间聚集系数的差异大小
Figure BDA0002517563420000051
q1≠q2,其中
Figure BDA0002517563420000052
表示不同类别情绪脑复杂网络的节点i的聚集系数,q1和q2代表两种不同的情绪状态,对M值进行从大到小排序,选取M值较大的30个节点作为关键节点,通过保留脑复杂网络中关键节点与关键节点之间的连边,并去除其他连边,来重构多层脑复杂网络。
4)搭建双输入深度学习模型的卷积神经网络分支,卷积神经网络分支的输入是多层脑复杂网络和对应的标签,所述的卷积神经网络分支由五层相同的卷积神经网络模型组成,每一层卷积神经网络模型对应多层脑复杂网络的五个频段δ,θ,α,β,γ中的一个频段;所述的每一层卷积神经网络模型包括依次连接的:
(4.1)数据输入层,输入为对应频段脑复杂网络Af
(4.2)第一卷积层,卷积核大小为5×5,卷积核数量为8个,激活函数为ReLU函数;
(4.3)第一平均池化层,池化核大小为2×2;
(4.4)第二卷积层,卷积核大小为5×5,卷积核数量为16个,激活函数为ReLU;
(4.5)第二平均池化层,池化核大小为2×2;
(4.6)Dropout层,以概率p随机选择上一层的神经元,使该神经元不输出,减轻过拟合现象,对于δ,θ,α频段p=0.03,对于β,γ频段p=0.01;
(4.7)批量归一化层;
(4.8)Flatten层,将多维的输入一维化;
(4.9)全连接层,激活函数为ReLU,选择L1范数作为正则化项,L1范数设置为0.0005。
5)搭建双输入深度学习模型的密集卷积网络(DenseNet)分支,密集卷积网络分支的输入是使用小波变换进行0-50Hz滤波后的情绪EEG脑电信号和对应标签;
所述的双输入深度学习模型的密集卷积网络分支,包括依次连接的:
(5.1)数据输入层,输入数据为0-50Hz的情绪EEG脑电信号;
(5.2)卷积层,卷积核大小为1×62,卷积核数量为24个;
(5.3)第一密集块,由三个卷积块依次连构组成,每个卷积块包括一个批量归一化层和一个卷积层,每个卷积层的卷积核大小为3×1,三个卷积层的卷积核数量分别为36,48,60;
(5.4)第一过渡块,由一个卷积核大小为1×1、卷积核数量为72的卷积层,一个卷积核大小为2×1、卷积核数量为72的卷积层,以及一个2×2池化层组成;
(5.5)第二密集块,由三个卷积块依次连构组成,每个卷积块包括一个批量归一化层和一个卷积层,每个卷积层的卷积核大小为3×1,三个卷积层的卷积核数量分别为72,84,96;
(5.6)第二过渡块,由一个卷积核大小为1×1、卷积核数量为108的卷积层,一个卷积核大小为2×1、卷积核数量为108的卷积层,以及一个2×2池化层组成;
(5.7)第三密集块,由三个卷积块依次连构组成,每个卷积块包括一个批量归一化层和一个卷积层,每个卷积层的卷积核大小为3×1,三个卷积层的卷积核数量分别为108,120,132;
(5.8)全局池化层,池化核大小为50×1。
6)通过串联层连接所述卷积神经网络分支的输出和所述密集卷积网络分支的输出,所述的串联层与另外一个全连接层相连,全连接层输出分类结果,并用H个神经元表示,分类层选择Softmax作为激活函数,Softmax函数本质上是归一化的指数函数,定义为
Figure BDA0002517563420000061
其中h=1…H,e为自然对数值,zh为第h个神经元的输出,式中分母充当正则项作用,使得
Figure BDA0002517563420000062
使用Keras框架实现深度学习模型的搭建,得到双输入深度学习模型;
7)将采集到的三种情绪状态下的情绪EEG脑电信号分为训练集和验证集,使用训练集对双输入深度学习模型进行训练,使用验证集对训练后的双输入深度学习模型进行验证,最终得到用于情绪分类检测的双输入深度学习模型。包括:
对双输入深度学习模型的训练,选用Adam优化算法,通过最小化交叉熵损失函数,对双输入深度学习模型中的各种权值和偏差进行优化,记录使得验证集损失函数最小时的最优双输入深度学习模型,最优双输入深度学习模型学习率设为0.001,共进行100周期的循环训练,Batchsize大小为100,最终得到用于情绪分类检测的双输入深度学习模型。
本发明的实例中,双输入深度学习模型训练时的脑电数据样本共来自于15位实验者,平均年龄23岁,其中包括7名女性,脑电采集频率为200Hz,每位实验者去除中间休息时间采集50分钟数据。考虑到实验者之间的个体差异,用每个实验者的EEG脑电信号训练一个双输入深度学习模型。在双输入深度学习模型训练时,样本集的80%被用作训练模型参数,10%被用作验证集以在训练过程中获得最好的模型,10%的样本集被用作测试集确定模型最终性能。在性能测试中,15位实验者的模型在情绪三分类任务中获得了97.27%的平均分类准确率。
本发明的基于深度学习和脑机接口的情绪识别系统,对于通过每个使用者的脑电样本数据训练好的双输入深度学习模型,不需要新的调整。在情绪分类检测任务中,只要输入使用者新的脑电样本数据,双输入深度学习模型就可以确定相应的情绪种类。
如图5所示,本发明的基于深度学习和脑机接口的情绪识别系统的应用,包括如下步骤:
1)使用者观看不同的情感视频,在视频刺激下产生三种不同的情绪,分别是积极、中性和消极;
2)使用便携式脑电采集设备采集使用者三种不同情绪下的情绪EEG脑电信号,根据情绪EEG脑电信号和相应的情绪标签训练情绪分类深度学习模型;
3)使用便携式脑电采集设备采集使用者待识别的新的情绪EEG脑电信号,并输入到用于情绪分类检测的双输入深度学习模型,对新的情绪EEG脑电信号进行情绪分类;
4)通过显示器显示出当前情绪种类,提示使用者的情绪状态。

Claims (10)

1.一种基于深度学习和脑机接口的情绪识别系统,包括依次连接的便携式脑电采集设备(1)、情绪脑电分类模块(2)和情绪分类显示模块(3),其特征在于,所述便携式脑电采集设备(1)从被试者大脑采集情绪EEG脑电信号,所述的情绪脑电分类模块(2)对情绪EEG脑电信号进行分析,建立情绪EEG脑电信号与情绪之间的关系模型,通过关系模型,对输入的情绪EEG脑电信号进行情绪分类,所述的情绪分类显示模块(3)显示识别出的情绪种类,提示被试者情绪状态。
2.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,所述的便携式脑电采集设备(1)包括有:依次连接的用于采集情绪EEG脑电信号的脑电极帽及其转接线(11)、用于情绪EEG脑电信号放大和转换的生物电信号采集模块(12)、用于控制情绪EEG脑电信号的采集并通过USB通信电路(14)向情绪脑电分类模块(2)传输情绪EEG脑电信号的FPGA处理器(13),以及分别连接生物电信号采集模块(12)和FPGA处理器(13)的系统供电电路(15),其中,
所述的脑电极帽及其转接线(11)中的脑电极帽采集不同脑区的情绪EEG脑电信号,通过转接线及DSUB37接口与生物电信号采集模块(12)相连接,用于生物电信号的采集和传输;
所述的生物电信号采集模块12是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)的生物电信号采集芯片组成;
所述的FPGA处理器13用于调整生物电信号采集模块(12)的采集模式与参数和控制USB通信电路(14)将情绪EEG脑电信号数据向情绪脑电分类模块(2)传输;
所述的USB通信电路(14)的输出连接所述情绪脑电分类模块(2)的输入端,USB通信电路(14)工作在异步FIFO模式,最高传输速率8MB/秒,在FPGA处理器(13)的控制下周期性地将采集到的情绪EEG脑电信号以数据包的形式发送至情绪脑电分类模块(2);
所述的系统供电电路(15),输入电压为5V,由USB接口进行供电,通过电压转换模块提供系统不同芯片的工作电压。
3.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,所述的便携式脑电采集设备(1)采集被试者情绪EEG脑电信号,是采集被试者对应于脑电极帽的FP1,FPZ,FP2,AF3,AF4,F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCZ,FC2,FC4,FC6,FT8,T7,C5,C3,C1,CZ,C2,C4,C6,T8,TP7,CP5,CP3,CP1,CPZ,CP2,CP4,CP6,TP8,P7,P5,P3,P1,PZ,P2,P4,P6,P8,PO7,PO5,PO3,POZ,PO4,PO6,PO8,CB1,O1,OZ,O2,CB2共62个电极的情绪EEG脑电信号;脑电极帽的电极分布符合10/20国际标准导联;具体是使用视频片段作为情绪刺激源,采集被试者观看视频后产生相应情绪状态的情绪EEG脑电信号;所述的相应情绪状态为积极情绪状态,消极情绪状态和中性情绪状态,采集过程是:
(1)被试者观看三种不同情绪对应的视频片段,在视频源刺激期间产生情绪EEG脑电信号;
(2)在每次观看视频时,便携式脑电采集设备完成情绪EEG脑电信号采集,并为每一次采集到的情绪情绪EEG脑电信号根据刺激所用的视频设定标签,标签和情绪EEG脑电信号共同构成样本集。
4.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,所述的情绪脑电分类模块(2)的运行具体包括如下步骤:
1)使用便携式脑电采集设备获取三种情绪状态的情绪EEG脑电信号
Figure FDA0002517563410000021
Figure FDA0002517563410000022
构成样本集,其中c代表电极序号,L为信号采集的长度,Xc,g表示第c个电极采样到的第g个数据点的数值;
2)对情绪情绪EEG脑电信号
Figure FDA0002517563410000023
进行滑动窗口划分,得到情绪EEG脑电信号片段,对情绪EEG脑电信号片段进行连续小波变换,将原情绪EEG脑电信号片段分为五个频段,在五个频段δ,θ,α,β,γ内分别构建脑复杂网络Af,f=δ,θ,α,β,γ,最终得到多层脑复杂网络;
3)选取不同类别情绪脑复杂网络之间差异最大的30个节点作为关键节点,依据关键节点重构多层脑复杂网络;
4)搭建双输入深度学习模型的卷积神经网络分支,卷积神经网络分支的输入是多层脑复杂网络和对应的标签,所述的卷积神经网络分支由五层相同的卷积神经网络模型组成,每一层卷积神经网络模型对应多层脑复杂网络的五个频段δ,θ,α,β,γ中的一个频段;
5)搭建双输入深度学习模型的密集卷积网络分支,密集卷积网络分支的输入是使用小波变换进行0-50Hz滤波后的情绪EEG脑电信号和对应标签;
6)通过串联层连接所述卷积神经网络分支的输出和所述密集卷积网络分支的输出,所述的串联层与另外一个全连接层相连,全连接层输出分类结果,并用H个神经元表示,分类层选择Softmax作为激活函数,Softmax函数本质上是归一化的指数函数,定义为
Figure FDA0002517563410000024
其中h=1…H,e为自然对数值,zh为第h个神经元的输出,式中分母充当正则项作用,使得
Figure FDA0002517563410000025
使用Keras框架实现深度学习模型的搭建,得到双输入深度学习模型;
7)将采集到的三种情绪状态下的情绪EEG脑电信号分为训练集和验证集,使用训练集对双输入深度学习模型进行训练,使用验证集对训练后的双输入深度学习模型进行验证,最终得到用于情绪分类检测的双输入深度学习模型。
5.根据权利要求4所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,步骤2)中所述的五个频段分别为:δ(1-3Hz)、θ(4-7Hz)、α(8-12Hz)、β(13-30Hz),和γ(31-50Hz)五个频段,多层脑复杂网络的构建具体包括:
(2.1)对于采集到的情绪EEG脑电信号
Figure FDA0002517563410000031
通过长度为l的无重叠滑动窗口进行数据分割,滑动窗口的滑动步长为b,得到一系列滑动窗口数据,其中第j个滑动窗口数据表示为
Figure FDA0002517563410000032
Figure FDA0002517563410000033
表示第c个频段中第j个滑动窗口中的第g1个数据点;
(2.2)对于每个滑动窗口得到的数据片段,使用连续小波变换将每个情绪EEG脑电信号片段划分为5个频段,得到分频后的情绪EEG脑电信号
Figure FDA0002517563410000034
(2.3)对一个频段内的情绪EEG脑电信号
Figure FDA0002517563410000035
将每个通道设置为一个节点,节点之间的连边通过皮尔逊相关系数来推断,以此来建立脑复杂网络,包括:
(2.2.1)通道间皮尔逊相关系数的计算,皮尔逊相关系数能够衡量两个变量序列之间的相似性,取值范围为-1到1,两个通道间皮尔逊相关系数ρX,Y的计算如下:
Figure FDA0002517563410000036
其中,σX和σY分别是通道X和通道Y的情绪EEG脑电信号的标准差,计算两两通道之间的皮尔逊相关系数,得到通道间的邻接矩阵;
(2.2.2)对通道之间皮尔逊相关系数值进行权重排序,去除50%权重较小的连边,得到该频段内的脑复杂网络;
(2.4)在五个频段内重复第(2.3)步,得到对应五个频段δ,θ,α,β,γ的脑复杂网络Aδ,Aθ,Aα,Aβ,Aγ,进而构成多层脑复杂网络。
6.根据权利要求4所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,步骤3)包括:
(3.1)计算每个网络节点的聚集系数
Figure FDA0002517563410000037
其中ki表示与节点i相邻节点的数量,e(i)表示节点i实际连边数量;
(3.2)统计节点i在三种不同情绪间聚集系数的差异大小
Figure FDA0002517563410000038
Figure FDA0002517563410000039
q1≠q2,其中Ciq1,Ciq2表示不同类别情绪脑复杂网络的节点i的聚集系数,q1和q2代表两种不同情绪状态,对M值进行从大到小排序,选取M值较大的30个节点作为关键节点,只保留脑复杂网络中关键节点与关键节点之间的连边,并去除其他连边,来重构多层脑复杂网络。
7.根据权利要求4所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,步骤4)中所述的每一层卷积神经网络模型包括依次连接的:
(4.1)数据输入层,输入为对应频段脑复杂网络Af
(4.2)第一卷积层,卷积核大小为5×5,卷积核数量为8个,激活函数为ReLU函数;
(4.3)第一平均池化层,池化核大小为2×2;
(4.4)第二卷积层,卷积核大小为5×5,卷积核数量为16个,激活函数为ReLU;
(4.5)第二平均池化层,池化核大小为2×2;
(4.6)Dropout层,以概率p随机选择上一层的神经元,使该神经元不输出,减轻过拟合现象,对于δ,θ,α频段p=0.03,对于β,γ频段p=0.01;
(4.7)批量归一化层;
(4.8)Flatten层,将多维的输入一维化;
(4.9)全连接层,激活函数为ReLU,选择L1范数作为正则化项,L1范数设置为0.0005。
8.根据权利要求4所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,步骤5)中所述的双输入深度学习模型的密集卷积网络分支,包括依次连接的:
(5.1)数据输入层,输入数据为0-50Hz的情绪EEG脑电信号;
(5.2)卷积层,卷积核大小为1×62,卷积核数量为24个;
(5.3)第一密集块,由三个卷积块依次连构组成,每个卷积块包括一个批量归一化层和一个卷积层,每个卷积层的卷积核大小为3×1,三个卷积层的卷积核数量分别为36,48,60;
(5.4)第一过渡块,由一个卷积核大小为1×1、卷积核数量为72的卷积层,一个卷积核大小为2×1、卷积核数量为72的卷积层,以及一个2×2池化层组成;
(5.5)第二密集块,由三个卷积块依次连构组成,每个卷积块包括一个批量归一化层和一个卷积层,每个卷积层的卷积核大小为3×1,三个卷积层的卷积核数量分别为72,84,96;
(5.6)第二过渡块,由一个卷积核大小为1×1、卷积核数量为108的卷积层,一个卷积核大小为2×1、卷积核数量为108的卷积层,以及一个2×2池化层组成;
(5.7)第三密集块,由三个卷积块依次连构组成,每个卷积块包括一个批量归一化层和一个卷积层,每个卷积层的卷积核大小为3×1,三个卷积层的卷积核数量分别为108,120,132;
(5.8)全局池化层,池化核大小为50×1。
9.根据权利要求4所述的基于深度学习和脑机接口的情绪识别系统,其特征在于,步骤7)中对双输入深度学习模型的训练,选用Adam优化算法,通过最小化交叉熵损失函数,对双输入深度学习模型中的各种权值和偏差进行优化,记录使得验证集损失函数最小时的最优双输入深度学习模型,最优双输入深度学习模型学习率设为0.001,共进行100周期的循环训练,Batchsize大小为100,最终得到用于情绪分类检测的双输入深度学习模型。
10.一种权利要求1所述的基于深度学习和脑机接口的情绪识别系统的应用,其特征在于,包括如下步骤:
1)使用者观看不同的情感视频,在视频刺激下产生三种不同的情绪,分别是积极、中性和消极;
2)使用便携式脑电采集设备采集使用者三种不同情绪下的情绪EEG脑电信号,根据情绪EEG脑电信号和相应的情绪标签训练情绪分类深度学习模型;
3)使用便携式脑电采集设备采集使用者待识别的新的情绪EEG脑电信号,并输入到用于情绪分类检测的双输入深度学习模型,对新的情绪EEG脑电信号进行情绪分类;
4)通过显示器显示出当前情绪种类,提示使用者的情绪状态。
CN202010481477.1A 2020-05-31 2020-05-31 基于深度学习和脑机接口的情绪识别系统及应用 Active CN111616721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481477.1A CN111616721B (zh) 2020-05-31 2020-05-31 基于深度学习和脑机接口的情绪识别系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481477.1A CN111616721B (zh) 2020-05-31 2020-05-31 基于深度学习和脑机接口的情绪识别系统及应用

Publications (2)

Publication Number Publication Date
CN111616721A true CN111616721A (zh) 2020-09-04
CN111616721B CN111616721B (zh) 2022-05-27

Family

ID=72267292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481477.1A Active CN111616721B (zh) 2020-05-31 2020-05-31 基于深度学习和脑机接口的情绪识别系统及应用

Country Status (1)

Country Link
CN (1) CN111616721B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190484A (zh) * 2019-12-25 2020-05-22 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN112200025A (zh) * 2020-09-25 2021-01-08 北京师范大学 操控工效分析方法、设备及系统
CN112244873A (zh) * 2020-09-29 2021-01-22 陕西科技大学 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN112488002A (zh) * 2020-12-03 2021-03-12 重庆邮电大学 基于n170的情绪识别方法及识别系统
CN112603337A (zh) * 2020-12-21 2021-04-06 广东海洋大学 一种脑电信号识别方法
CN112686158A (zh) * 2020-12-30 2021-04-20 西安慧脑智能科技有限公司 一种基于脑电信号的情绪识别系统、方法及存储介质
CN112883855A (zh) * 2021-02-04 2021-06-01 东北林业大学 基于CNN+数据增强算法Borderline-SMOTE的脑电信号情感识别
CN112990008A (zh) * 2021-03-13 2021-06-18 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN113128353A (zh) * 2021-03-26 2021-07-16 安徽大学 面向自然人机交互的情绪感知方法及其系统
CN113133769A (zh) * 2021-04-23 2021-07-20 河北师范大学 基于运动想象脑电信号的设备控制方法、装置及终端
CN113191438A (zh) * 2021-05-08 2021-07-30 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
CN113509190A (zh) * 2021-03-18 2021-10-19 上海交通大学 一种产品设计评价方法及系统
CN113974625A (zh) * 2021-10-18 2022-01-28 杭州电子科技大学 一种基于脑机跨模态迁移的情绪识别方法
CN113974628A (zh) * 2021-10-29 2022-01-28 杭州电子科技大学 一种基于脑机模态共空间的情绪识别方法
CN114129163A (zh) * 2021-10-22 2022-03-04 中央财经大学 基于脑电信号的多视图深度学习的情绪分析方法和系统
CN114176607A (zh) * 2021-12-27 2022-03-15 杭州电子科技大学 一种基于视觉Transformer的脑电信号分类方法
CN114209341A (zh) * 2021-12-23 2022-03-22 杭州电子科技大学 特征贡献度差异化脑电数据重构的情感激活模式发掘方法
CN114492560A (zh) * 2021-12-06 2022-05-13 陕西师范大学 一种基于迁移学习的脑电情绪分类方法
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN115474947A (zh) * 2022-08-25 2022-12-16 西安电子科技大学 一种基于深度学习的两类基本情绪强度脑电信号识别方法
CN115770044A (zh) * 2022-11-17 2023-03-10 天津大学 基于脑电相位幅值耦合网络的情绪识别方法及装置
WO2023060719A1 (zh) * 2021-10-11 2023-04-20 北京工业大学 基于瞳孔波计算情绪指标的方法、装置及系统
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN117033638A (zh) * 2023-08-23 2023-11-10 南京信息工程大学 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810260A (zh) * 2014-01-27 2014-05-21 西安理工大学 基于拓扑特性的复杂网络社团发现方法
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN109299811A (zh) * 2018-08-20 2019-02-01 众安在线财产保险股份有限公司 一种基于复杂网络的欺诈团伙识别和风险传播预测的方法
US20190347476A1 (en) * 2018-05-09 2019-11-14 Korea Advanced Institute Of Science And Technology Method for estimating human emotions using deep psychological affect network and system therefor
CN110826788A (zh) * 2019-10-30 2020-02-21 南京智慧航空研究院有限公司 基于大数据深度学习的机场场面可变滑出时间预测方法
CN110859614A (zh) * 2019-11-22 2020-03-06 东南大学 基于加权相位滞后指数的数学天分青少年脑网络分析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810260A (zh) * 2014-01-27 2014-05-21 西安理工大学 基于拓扑特性的复杂网络社团发现方法
CN106503799A (zh) * 2016-10-11 2017-03-15 天津大学 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN108433722A (zh) * 2018-02-28 2018-08-24 天津大学 便携式脑电采集设备及其在ssvep和运动想象中的应用
US20190347476A1 (en) * 2018-05-09 2019-11-14 Korea Advanced Institute Of Science And Technology Method for estimating human emotions using deep psychological affect network and system therefor
CN109299811A (zh) * 2018-08-20 2019-02-01 众安在线财产保险股份有限公司 一种基于复杂网络的欺诈团伙识别和风险传播预测的方法
CN110826788A (zh) * 2019-10-30 2020-02-21 南京智慧航空研究院有限公司 基于大数据深度学习的机场场面可变滑出时间预测方法
CN110859614A (zh) * 2019-11-22 2020-03-06 东南大学 基于加权相位滞后指数的数学天分青少年脑网络分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈骥驰 等: "基于脑电信号的疲劳驾驶状态研究", 《汽车工程》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190484A (zh) * 2019-12-25 2020-05-22 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN112200025A (zh) * 2020-09-25 2021-01-08 北京师范大学 操控工效分析方法、设备及系统
CN112200025B (zh) * 2020-09-25 2022-08-19 北京师范大学 操控工效分析方法、设备及系统
CN112244873A (zh) * 2020-09-29 2021-01-22 陕西科技大学 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN112488002A (zh) * 2020-12-03 2021-03-12 重庆邮电大学 基于n170的情绪识别方法及识别系统
CN112603337A (zh) * 2020-12-21 2021-04-06 广东海洋大学 一种脑电信号识别方法
CN112686158A (zh) * 2020-12-30 2021-04-20 西安慧脑智能科技有限公司 一种基于脑电信号的情绪识别系统、方法及存储介质
CN112883855A (zh) * 2021-02-04 2021-06-01 东北林业大学 基于CNN+数据增强算法Borderline-SMOTE的脑电信号情感识别
CN112990008A (zh) * 2021-03-13 2021-06-18 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN112990008B (zh) * 2021-03-13 2022-06-17 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN113509190A (zh) * 2021-03-18 2021-10-19 上海交通大学 一种产品设计评价方法及系统
CN113128353A (zh) * 2021-03-26 2021-07-16 安徽大学 面向自然人机交互的情绪感知方法及其系统
CN113128353B (zh) * 2021-03-26 2023-10-24 安徽大学 面向自然人机交互的情绪感知方法及其系统
CN113133769A (zh) * 2021-04-23 2021-07-20 河北师范大学 基于运动想象脑电信号的设备控制方法、装置及终端
CN113191438A (zh) * 2021-05-08 2021-07-30 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
CN113191438B (zh) * 2021-05-08 2023-08-15 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
WO2023060719A1 (zh) * 2021-10-11 2023-04-20 北京工业大学 基于瞳孔波计算情绪指标的方法、装置及系统
CN113974625A (zh) * 2021-10-18 2022-01-28 杭州电子科技大学 一种基于脑机跨模态迁移的情绪识别方法
CN113974625B (zh) * 2021-10-18 2024-05-03 杭州电子科技大学 一种基于脑机跨模态迁移的情绪识别方法
CN114129163B (zh) * 2021-10-22 2023-08-29 中央财经大学 基于脑电信号的多视图深度学习的情绪分析方法和系统
CN114129163A (zh) * 2021-10-22 2022-03-04 中央财经大学 基于脑电信号的多视图深度学习的情绪分析方法和系统
CN113974628A (zh) * 2021-10-29 2022-01-28 杭州电子科技大学 一种基于脑机模态共空间的情绪识别方法
CN114492560A (zh) * 2021-12-06 2022-05-13 陕西师范大学 一种基于迁移学习的脑电情绪分类方法
CN114209341B (zh) * 2021-12-23 2023-06-20 杭州电子科技大学 特征贡献度差异化脑电数据重构的情感激活模式发掘方法
CN114209341A (zh) * 2021-12-23 2022-03-22 杭州电子科技大学 特征贡献度差异化脑电数据重构的情感激活模式发掘方法
CN114176607B (zh) * 2021-12-27 2024-04-19 杭州电子科技大学 一种基于视觉Transformer的脑电信号分类方法
CN114176607A (zh) * 2021-12-27 2022-03-15 杭州电子科技大学 一种基于视觉Transformer的脑电信号分类方法
CN114947852B (zh) * 2022-06-14 2023-01-10 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN115474947A (zh) * 2022-08-25 2022-12-16 西安电子科技大学 一种基于深度学习的两类基本情绪强度脑电信号识别方法
CN115770044A (zh) * 2022-11-17 2023-03-10 天津大学 基于脑电相位幅值耦合网络的情绪识别方法及装置
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116269386B (zh) * 2023-03-13 2024-06-11 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN117033638B (zh) * 2023-08-23 2024-04-02 南京信息工程大学 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法
CN117033638A (zh) * 2023-08-23 2023-11-10 南京信息工程大学 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法

Also Published As

Publication number Publication date
CN111616721B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111616721B (zh) 基于深度学习和脑机接口的情绪识别系统及应用
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN111616682B (zh) 基于便携式脑电采集设备的癫痫发作预警系统及应用
CN114224342B (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN111513735B (zh) 基于脑机接口和深度学习的重度抑郁症辨识系统及应用
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN113598774A (zh) 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN114145745B (zh) 基于图的多任务自监督情绪识别方法
CN106955112A (zh) 基于量子小波神经网络模型的脑电波情绪认知方法
CN113662545A (zh) 一种基于情绪脑电信号和多任务学习的人格评估方法
Wang et al. Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition
CN115804602A (zh) 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质
CN116269249B (zh) 一种脑卒中风险预测方法和系统
CN114504730A (zh) 基于深度学习的便携式脑控手部电刺激康复系统
CN116058800A (zh) 基于深度神经网络与脑机接口的自动睡眠分期系统
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN114504331A (zh) 一种融合cnn和lstm的情绪识别分类方法
Lee et al. PPG and EMG Based Emotion Recognition using Convolutional Neural Network.
Rahim et al. Emotion charting using real-time monitoring of physiological signals
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
CN113974625B (zh) 一种基于脑机跨模态迁移的情绪识别方法
Li et al. An optimized multi-label TSK fuzzy system for emotion recognition of multimodal physiological signals
CN113974628B (zh) 一种基于脑机模态共空间的情绪识别方法
Gurrala et al. EEG Based Decision Selection System Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant