CN116602676A - 一种基于多特征融合和clstn的脑电情绪识别方法和系统 - Google Patents

一种基于多特征融合和clstn的脑电情绪识别方法和系统 Download PDF

Info

Publication number
CN116602676A
CN116602676A CN202310534481.3A CN202310534481A CN116602676A CN 116602676 A CN116602676 A CN 116602676A CN 202310534481 A CN202310534481 A CN 202310534481A CN 116602676 A CN116602676 A CN 116602676A
Authority
CN
China
Prior art keywords
layer
clstn
emotion
module
feature fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310534481.3A
Other languages
English (en)
Inventor
程时伟
潘澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202310534481.3A priority Critical patent/CN116602676A/zh
Publication of CN116602676A publication Critical patent/CN116602676A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于多特征融合和CLSTN的脑电情绪识别方法，包括：(1)采集情绪脑电数据；(2)预处理数据；(3)多特征融合；(4)CLSTN模型搭建与训练。本发明还提供了一种基于多特征融合和CLSTN的脑电情绪识别，依次包括以下模块：(1)情绪脑电数据采集模块；(2)数据预处理模块；(3)多特征融合模块；(4)CLSTN模型搭建与训练模块；(5)情绪识别模块。本发明有效地提高了脑电情绪识别的分类准确率，能更好地对情绪进行识别。

Description

一种基于多特征融合和CLSTN的脑电情绪识别方法和系统
技术领域
本发明涉及脑机交互、情绪识别等领域，具体涉及一种基于多特征融合和CLSTN的脑电情绪识别方法和系统。
背景技术
情绪是一种复杂的精神状态，它与人类的日常生活息息相关。正确的识别情绪在各个领域都有关键的作用，包括心理学、医学和教育等。在以往的情绪识别研究通常是通过面部表情、声调、肢体语言或一些简单生理信号来进行识别，而如今大量的研究人员通过脑机接口技术提高情绪识别的表现，这是由于脑电信号难以伪造以及可以对神经元活动进行直接测量的特点，使得数据更加真实可靠，同时可以对人真实的情绪进行更好的识别。
在脑电情绪识别中，需要手工进行特征提取，通过机器学习或深度学习的方法来进行分类识别。以往的研究通常只考虑单一的特征与简单的模型，而这导致其他方面的信息丢失，以致于没有一个好的识别准确率。基于多特征融合与CLSTN的脑电情绪识别方法，可以将多个特征与二维矩阵融合，同时通过卷积模块与时间序列模块，从多个方面来提取有用信息，从而显著提升情绪识别的准确率。
发明内容
本发明要克服现有技术的上述缺点，提供一种基于多特征融合和CLSTN的脑电情绪识别方法和系统。
通过采集诱发情绪后用户的情绪脑电信号，对采集的信号进行工频滤波、带通滤波、降采样、重参考以及独立成分分析的预处理操作，从预处理后的数据中提取功率谱密度、微分熵以及小波包分解三个特征，将特征与映射大脑电极位置的二维矩阵融合，得到最终特征，通过结合卷积与长短期时间序列模块，并加入注意力机制进行参数的调整，对特征进行识别得到情绪分类。
本发明提供了一种基于多特征融合和CLSTN的脑电情绪识别方法，主要包括如下步骤：
(1)采集情绪脑电数据；用户观看带有情绪的视频剪辑片段，根据三种不同的情绪状态记录对应的标签，根据国际标准10-20系统电极位置，采集其情绪相关通道的脑电数据；
(2)预处理数据；对记录的脑电信号进行预处理，通过陷波滤波器去除工频干扰，通过0.5-45Hz的带通滤波去除噪声，通过降采样减少数据量与计算量，通过重参考平均电极电位，通过独立成分分析去除眼电、肌电噪声；
(3)多特征融合；对预处理后的脑电信号进行功率谱密度、微分熵和小波包分解三种特征的提取与融合，得到最终特征，输入至CLSTN模型；
(4)CLSTN模型搭建与训练；通过组合卷积与长短期时间序列模块对提取的特征进行学习，通过注意力机制调整参数，通过SOFTMAX函数进行分类，通过Adam算法进行优化，搭建与训练脑电情绪识别的CLSTN模型。
本发明还提供了一种基于多特征融合和CLSTN的脑电情绪识别的系统，依次包括以下模块：
(1)情绪脑电数据采集模块，用于获取和保存情绪脑电数据；
(2)数据预处理模块，对采集的数据进行预处理，用于后续特征提取与融合；
(3)多特征融合模块，对预处理后的数据进行特征提取，用于后续模型输入；
(4)CLSTN模型搭建与训练模块，通过卷积模块与长短期时间序列模块搭建模型，使用提取的特征训练和保存模型，用于后续情绪识别；
(5)情绪识别模块，用于脑电情绪的识别与结果显示。
本发明还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的基于多特征融合和CLSTN的脑电情绪识别方法。
本发明还提供一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的方法。
本发明的优点在于，通过对采集的信号进行预处理，以去除原始信号中的噪声，通过提取多种常用特征并与映射电极位置的二维矩阵融合，获取时域、频域、空间域信息，通过卷积模块进一步捕获频域与空间与的信息，再通过长短期时间序列模块捕获时间变量的关系与时域信息，有效提高了脑电情绪识别的分类准确率，可以更好地对情绪进行识别。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程示意图。
图2是本发明的特征提取与融合的示意图。
图3是本发明的模型框架的示意图。
图4是本发明系统的流程示意图。
具体实施方式
下面将结合附图与实施例，对本发明一种基于多特征融合和CLSTN的脑电情绪识别方法和系统进行详细完整的说明，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参阅图1，本发明实施例提供的一种基于多特征融合和CLSTN的脑电情绪识别方法流程示意图，对其中的步骤进行具体描述：
(1)采集情绪脑电数据；
用户通过佩戴脑电采集设备，在显示器前观看带有情绪的视频剪辑片段，根据三种不同的情绪状态记录对应的标签，中性为0，正面情绪为1，负面情绪为2，根据国际标准10-20系统电极位置，采集其Fp1、Fpz、Fp2、F7、F3、Fz、F4、F8、T7、C3、Cz、C4、T8、P7、P3、Pz、P4、P8一共18个通道的脑电数据。
(2)预处理数据；
对采集的脑电信号进行预处理操作，通过陷波滤波器去除工频干扰，通过0.5-45Hz的带通滤波去除噪声，通过降采样减少数据量与计算量，通过重参考平均电极电位，通过独立成分分析去除眼电、肌电噪声。
(3)多特征融合；
对预处理后的信号进行特征的提取与融合。如图2所示，通过对信号以0.5秒的时间窗口划分为相等不重叠的信号片段，增加数据量以及划分时域信息。通过对信号按0.5～4.5Hz、4～8Hz、8～13Hz、13～30Hz、30～42Hz滤波获取delta、theta、alpha、beta和gamma一共5个频段。通过使用离散傅里叶的方法来计算功率谱密度，其计算公式为：
PSD＝{∑[abs(DFTi)]2}/(EndPos-StartPos) (1)
其中DFTi表示通过离散傅里叶变换得到的第i个点对应的信号数值，EndPos与StartPos分别表示一个频段的结束点位置与开始点位置。对离散傅里叶后得到的信号取其模的平方，获得该频率的功率谱密度，再对整个频段所有点平均，最后得到频段的平均功率谱密度作为特征。
通过频段计算微分熵特征，其计算公式为：
其中，x表示为连续的信息，p(x)表示概率密度函数，[a，b]表示取值区间.
通过频段计算小波包分解特征，其计算公式为：
其中Cn,k表示小波分解级的kth近似成分；Dj,k表示分解级的kth细节部分；ψ(t)表示小波函数。
对18个通道与5个频段分别进行三种特征的提取，获得三个维度为18*5的特征，通过对三种特征每个通道的数据进行融合，获得18*15的融合特征。根据国际标准10-20系统电极位置，将与每个大脑区域相关的电极位置映射到一个9*9的二维矩阵中，以获取空间信息。通过将每个电极通道所对应的融合特征与二维矩阵进行融合，最终得到维度为9*9*15的特征。
(4)CLSTN模型搭建与训练
通过组合卷积与长短期时间序列模块，即CLSTN，搭建与训练脑电情绪识别的模型。如图3所示，通过将6个时间窗口的特征按顺序输入至6个卷积模块提取频域及空间域信息，按顺序组合得到的六个输出，以保留时序上的信息，通过输入到长短期时间序列模块提取时域信息，通过SOFTMAX激活函数进行最终分类。卷积模块包含五个不同的卷积层、一个最大池化层、一个扁平层和一个全连接层。五个卷积层的过滤器数量分别为64、64、128、256和64，卷积核的大小在前四层为3，在最后一层为1。在每个卷积层后通过整流线性单元以及dropout，以防止模型过拟合。通过所有卷积层后得到维度为64*9*9的特征，将特征输入至卷积核为2的最大池化层，以压缩与去除冗余信息，减小计算量，再将特征进行扁平，输入至大小为512的全连接层，一共得到6*512的输出，按输入顺序进行组合，输入至长短期时间序列模块，以进一步获取时序信息。长短期时间序列模块由卷积层、循环层、循环-跳跃层、时间注意层和自回归层组成。卷积层过滤器数量为128，卷积核大小为1，用于提取特征与变量的关系，提供给循环层和循环-跳跃层，以捕获序列中的长期依赖关系和解决梯度消失问题，其t时刻各循环单元计算为：
其中，⊙表示按位乘运算，σ表示sigmoid激活函数，xt表示在t时刻该层的输入，p表示跳过的隐藏单元的数量，在循环层中p为1，表示不跳过单元。同时使用整流线性单元作为隐藏层激活函数，来输出每个时间段的隐藏状态，通过注意力机制调整循环-跳跃层的超参数，其计算公式为:
其中,αt表示t时刻的注意力权重，Ht R表示循环层中隐藏特征，AttnScore表示计算注意力的相似性函数，通过将循环层和循环-跳跃层的输出进行组合输入到全连接层，将全连接层的输出与自回归层的输出相结合，通过SOFTMAX激活函数得到最终的分类结果。模型训练阶段，使用交叉熵来计算损失，其计算公式为：
其中，x表示输入的样本，y表示最终期望的输出，a则表示为实际神经元的输出，n表示输入样本的总体数量。使用Adam优化算法对模型进行优化，以有效地处理大量参数以及解决非凸优化问题，并将学习率、epoch和批处理大小分别设置为0.001、100和128来对模型进行训练。
实施例2
如图4所示，本文发明实施例提供的一种基于多特征融合和CLSTN的脑电情绪识别系统的基本逻辑结构示意图。为了便于说明，仅仅示出了与本发明实施例相关的部分。该系统中功能模块/单元可以是硬件模块/单元、软件模块/单元，主要包括:
(1)情绪脑电数据采集模块，用于获取和保存情绪脑电数据；
(2)数据预处理模块，对采集的数据进行预处理，用于后续特征提取与融合；
(3)多特征融合模块，对预处理后的数据进行特征提取，用于后续模型输入；
(4)CLSTN模型搭建与训练模块，通过卷积模块与长短期时间序列模块搭建模型，使用提取的特征训练和保存模型，用于后续情绪识别；
(5)情绪识别模块，用于脑电情绪的识别与结果显示。
实施例3
一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现实施例1所述的基于多特征融合和CLSTN的脑电情绪识别方法。
实施例4
一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现实施例1所述的方法。
本发明实施例中各个模块可以集成于一体，也可以分离部署,或进一步拆分成多个子模块。各个模块可以按照实施例描述分布于实施例的系统中，也可以进行相应变化位于不同于本发明实施例的一个或多个系统中。
本领域的技术人员应该明白，本发明实施例可提供成为方法、系统、或计算机程序产品。因此，本发明实施例不限制于任何特定的硬件和软件结合。
以上公开的仅为本发明的具体实施例，但是本发明并非局限于此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。显然这些改动和变型均应属于本发明要求的保护范围内。

Claims (8)

1.一种基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，包括以下步骤:
(1)采集情绪脑电数据；
用户观看带有情绪的视频剪辑片段，根据三种不同的情绪状态记录对应的标签，根据国际标准10-20系统电极位置，采集其情绪相关通道的脑电数据；
(2)预处理数据；
对记录的脑电信号进行预处理，通过陷波滤波器去除工频干扰，通过0.5-45Hz的带通滤波去除噪声，通过降采样减少数据量与计算量，通过重参考平均电极电位，通过独立成分分析去除眼电、肌电噪声；
(3)多特征融合；
对预处理后的脑电信号进行功率谱密度、微分熵和小波包分解三种特征的提取与融合，得到最终特征，输入至CLSTN模型；
(4)搭建与训练CLSTN模型；
通过组合卷积与长短期时间序列模块对提取的特征进行学习，通过注意力机制调整参数，通过SOFTMAX函数进行分类，通过Adam算法进行优化，搭建与训练脑电情绪识别的CLSTN模型。
2.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，通过使用离散傅里叶的方法来计算功率谱密度，其计算公式为：
PSD＝{∑[abs(DFTi)]2}/(EndPos-StartPos) (1)
其中DFTi表示通过离散傅里叶变换得到的第i个点对应的信号数值，EndPos与StartPos分别表示一个频段的结束点位置与开始点位置；对离散傅里叶后得到的信号取其模的平方，获得该频率的功率谱密度，再对整个频段所有点平均，最后得到频段的平均功率谱密度作为特征；
通过频段计算微分熵特征，其计算公式为：
其中，x表示为连续的信息，p(x)表示概率密度函数，[a，b]表示取值区间；
通过频段计算小波包分解特征，其计算公式为：
其中Cn,k表示小波分解级的kth近似成分；Dj,k表示分解级的kth细节部分；ψ(t)表示小波函数。
3.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，在步骤(3)多特征融合中，所述的多特征提取与融合包括：
通过对信号以0.5秒的时间窗口划分为相等不重叠的信号片段，增加数据量以及划分时域信息；通过对信号按0.5～4.5Hz、4～8Hz、8～13Hz、13～30Hz、30～42Hz滤波获取delta、theta、alpha、beta和gamma五个频段。通过使用离散傅里叶的方法来计算功率谱密度，通过频段计算微分熵特征和小波包分解特征，通过将与每个大脑区域相关的电极位置映射到一个二维矩阵中，以获取空间信息；将每个电极所对应的三种特征进行融合放入二维矩阵中，得到最终特征。
4.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，步骤(4)具体包括：
通过组合卷积与长短期时间序列模块，搭建与训练脑电情绪识别的CLSTN模型；通过将6个特征输入6个卷积模块提取频域及空间域信息，按顺序组合得到的6个输出，通过输入到长短期时间序列模块提取时域信息，通过SOFTMAX激活函数进行最终分类。卷积模块包含五个不同的卷积层、一个最大池化层、一个扁平层和一个全连接层，长短期时间序列模块由卷积层、循环层、循环-跳跃层、时间注意层和自回归层组成，通过注意力机制调整循环-跳跃层的超参数，通过将循环层和循环-跳跃层的输出进行组合输入到全连接层，将全连接层的输出与自回归层的输出相结合，通过SOFTMAX激活函数得到最终的分类结果，使用交叉熵作为损失计算，使用Adam优化算法，并将学习率、epoch和批处理大小分别设置为0.001、100和128来对模型进行训练。
5.根据权利要求4所述的基于多特征融合和CLSTN的脑电情绪识别方法，其特征在于，所述的长短期时间序列模块是：t时刻各循环单元计算为：
其中，⊙表示按位乘运算，σ表示sigmoid激活函数，xt表示在t时刻该层的输入，p表示跳过的隐藏单元的数量，在循环层中p为1，表示不跳过单元；同时使用整流线性单元作为隐藏层激活函数，来输出每个时间段的隐藏状态，通过注意力机制调整循环-跳跃层的超参数，其计算公式为:
其中,αt表示t时刻的注意力权重，Ht R表示循环层中隐藏特征，AttnScore表示计算注意力的相似性函数，通过将循环层和循环-跳跃层的输出进行组合输入到全连接层，将全连接层的输出与自回归层的输出相结合，通过SOFTMAX激活函数得到最终的分类结果；模型训练阶段，使用交叉熵来计算损失，其计算公式为：
其中，x表示输入的样本，y表示最终期望的输出，a则表示为实际神经元的输出，n表示输入样本的总体数量。
6.一种基于多特征融合和CLSTN的脑电情绪识别方法的系统，其特征在于包括：
情绪脑电数据采集模块，用于获取和保存情绪脑电数据；
数据预处理模块，对采集的数据进行预处理，用于后续特征提取与融合；
多特征融合模块，对预处理后的数据进行特征提取，用于后续模型输入；
CLSTN模型搭建与训练模块，通过卷积模块与长短期时间序列模块搭建模型，使用提取的特征训练和保存模型，用于后续情绪识别；
情绪识别模块，用于脑电情绪的识别与结果显示。
7.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-5中任一项所述的基于多特征融合和CLSTN的脑电情绪识别方法。
8.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-5中任一项所述的方法。
CN202310534481.3A 2023-05-10 2023-05-10 一种基于多特征融合和clstn的脑电情绪识别方法和系统 Pending CN116602676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310534481.3A CN116602676A (zh) 2023-05-10 2023-05-10 一种基于多特征融合和clstn的脑电情绪识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310534481.3A CN116602676A (zh) 2023-05-10 2023-05-10 一种基于多特征融合和clstn的脑电情绪识别方法和系统

Publications (1)

Publication Number Publication Date
CN116602676A true CN116602676A (zh) 2023-08-18

Family

ID=87674015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310534481.3A Pending CN116602676A (zh) 2023-05-10 2023-05-10 一种基于多特征融合和clstn的脑电情绪识别方法和系统

Country Status (1)

Country Link
CN (1) CN116602676A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117137488A (zh) * 2023-10-27 2023-12-01 吉林大学 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117137488A (zh) * 2023-10-27 2023-12-01 吉林大学 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法
CN117137488B (zh) * 2023-10-27 2024-01-26 吉林大学 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法

Similar Documents

Publication Publication Date Title
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN111310570B (zh) 一种基于vmd和wpd的脑电信号情感识别方法及系统
Bentlemsan et al. Random forest and filter bank common spatial patterns for EEG-based motor imagery classification
CN111407243B (zh) 一种基于深度学习的脉搏信号压力识别方法
CN110929581A (zh) 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN113128552B (zh) 一种基于深度可分离因果图卷积网络的脑电情绪识别方法
CN114052735A (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN108567418A (zh) 一种基于PCANet的脉搏信号亚健康检测方法及检测系统
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN116602676A (zh) 一种基于多特征融合和clstn的脑电情绪识别方法和系统
CN111797747A (zh) 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN115414051A (zh) 一种脑电信号自适应窗口的情绪分类识别方法
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
Putra et al. EEG-based emotion classification using wavelet decomposition and K-nearest neighbor
CN115804602A (zh) 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质
CN114209323B (zh) 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN113558644B (zh) 一种3d矩阵与多维卷积网络的情感分类方法、介质和设备
CN114129163A (zh) 基于脑电信号的多视图深度学习的情绪分析方法和系统
CN111603135B (zh) 一种基于主从支持向量机的低功耗癫痫检测电路
CN113349801A (zh) 基于卷积神经网络的想象言语脑电信号解码方法
CN113128384A (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法
CN113128353A (zh) 面向自然人机交互的情绪感知方法及其系统
CN113076878A (zh) 基于注意力机制卷积网络结构的体质辨识方法
Gurve et al. Deep learning of EEG time–frequency representations for identifying eye states
CN116226624A (zh) 一种基于张量分解的运动想象脑机接口的通道选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination