CN116392148A - 脑电信号分类方法、装置、设备和存储介质 - Google Patents

脑电信号分类方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116392148A
CN116392148A CN202310405869.3A CN202310405869A CN116392148A CN 116392148 A CN116392148 A CN 116392148A CN 202310405869 A CN202310405869 A CN 202310405869A CN 116392148 A CN116392148 A CN 116392148A
Authority
CN
China
Prior art keywords
electroencephalogram
time
signal
information
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310405869.3A
Other languages
English (en)
Inventor
张旭龙
王健宗
朱可欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310405869.3A priority Critical patent/CN116392148A/zh
Publication of CN116392148A publication Critical patent/CN116392148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明实施例提供脑电信号分类方法、装置、设备和存储介质，涉及人工智能技术领域。该方法包括：获取脑电信号数据，并得到脑电时频特征信号，将脑电时频特征信号进行时频特征提取，得到脑电时序关系信号，将脑电时频特征信号进行空间特征提取，得到脑电空间关系信号，对脑电时序关系信号和脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息，进而进行信号分类，得到脑电信号分类结果。本实施例对脑电时频特征信号分别进行时频特征提取和空间特征提取，再进行多模态融合，在分类识别时利用多模态特征信息，能够挖掘到脑电信号特征之间深层次的交互信息，提高脑电信号的分类结果准确性，扩展脑电信号的应用场景。

Description

脑电信号分类方法、装置、设备和存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及脑电信号分类方法、装置、设备和存储介质。
背景技术
脑电信号是大脑皮层神经元产生电信号，可分为自发脑电和诱发脑电，从脑电信号中能够提取的大脑思维活动的信息，大脑不同的思维活动主要反映在脑电信号频率的变化，不同的思维活动能够通过不同的频率变化来区分的。目前，脑机接口能够捕获这些电信号，并将其正确“翻译”成人体所需执行指令，使得人类大脑与外部设备进行直接交互成为现实。
在实现本发明过程中，申请人发现现有技术中至少存在如下问题：部分脑电信号分类算法只专注于单一模态信号特征的提取，或者部分脑电信号分类算法中简单的使用向量拼接的方式对提取的信号特征进行特征融合，这两种方式都有局限性，不能深层次的挖掘到脑电信号特征之间的交互信息，导致针对脑电信号的分类结果准确性不高。因此，如何提高脑电信号的分类准确性，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出脑电信号分类方法、装置、设备和存储介质，提高脑电信号的分类准确性。
为实现上述目的，本申请实施例的第一方面提出了一种脑电信号分类方法，包括：
获取脑电信号数据；
对所述脑电信号数据进行时频特征构造，得到脑电时频特征信号；
将所述脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号；
将所述脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号；
将所述脑电时序关系信号和所述脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息；
对所述脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
在一些实施例，所述对所述脑电信号数据进行时频特征构造，得到脑电时频特征信号，包括：
利用预设滑动窗口按照时序关系进行滑动切分，将所述脑电信号数据切分成一个以上时间片段数据；
对每个所述时间片段数据进行离散傅里叶变换，得到一个以上功率谱密度信息；
将一个以上所述功率谱密度信息拼接，形成所述时间片段数据的时频特征数据；
将每个所述时频特征数据按照所述时序关系进行拼接，得到所述脑电时频特征信号。
在一些实施例，所述时频信息提取模型包括：一个以上一维卷积层和至少一个时间序列网络，所述将所述脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号，包括：
利用一个以上所述一维卷积层依次对所述脑电时频特征信号进行卷积操作，得到所述脑电时频特征信号的深层语义信息；
利用至少一个时间序列网络对所述深层语义信息进行上下文信息提取，得到所述脑电时序关系信号。
在一些实施例，所述图嵌入编码模型包括图卷积模块，所述将所述脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号，包括：
将所述脑电时频特征信号进行图转化，得到所述脑电时频特征信号的图表示信息，所述脑电时频特征信号的通道对应于所述图表示信息的节点，所述脑电时频特征信号通道间的关系对应于所述图表示信息节点之间的边；
将所述图表示信息输入所述图卷积模块进行图卷积操作，得到所述脑电空间关系信号。
在一些实施例，所述将所述脑电时序关系信号和所述脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息，包括：
将所述脑电时序关系信号与第一权重矩阵和第二权重矩阵分别相乘后相加，得到时频模态特征信息；
将所述脑电空间关系信号与第三权重矩阵相乘，得到空间模态特征信息；
根据所述时频模态特征信息和所述空间模态特征信息得到所述脑电多模态特征信息。
在一些实施例，所述获取脑电信号数据之后，还包括：
对所述脑电信号数据进行数据预处理，得到经过数据预处理后的所述脑电信号数据，所述数据预处理包括以下至少一种：剪裁操作、通道选择操作、下采样操作、滤波操作或去除基线操作。
在一些实施例，所述对所述脑电多模态特征信息进行信号分类，得到脑电信号分类结果，包括：
将所述脑电多模态特征信息输入至少一个全连接层，得到分类特征信息；
将所述分类特征信息输入分类层，得到分类概率；
根据所述分类概率得到所述脑电信号分类结果。
为实现上述目的，本申请实施例的第二方面提出了一种脑电信号分类装置，包括：
获取单元，用于获取脑电信号数据；
时频特征构造单元，用于对所述脑电信号数据进行时频特征构造，得到脑电时频特征信号；
时频信息提取单元，用于将所述脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号；
空间特征提取单元，用于将所述脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号；
多模态特征融合单元，用于将所述脑电时序关系信号和所述脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息；
信号分类单元，用于对所述脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请实施例提出的脑电信号分类方法、装置、设备和存储介质，通过获取脑电信号数据，对脑电信号数据进行时频特征构造，得到脑电时频特征信号，然后一方面将脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号，另一方面将脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号，再对脑电时序关系信号和脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息，最后基于脑电多模态特征信息进行信号分类，得到脑电信号分类结果。本实施例对时频特征构造后的脑电时频特征信号分别进行时频特征提取和空间特征提取，再将脑电时序关系信号和脑电空间关系信号进行多模态融合，在分类识别时利用多模态特征信息，能够挖掘到脑电信号特征之间深层次的交互信息，提高脑电信号的分类结果准确性，扩展脑电信号的应用场景。
附图说明
图1是本发明实施例提供的脑电信号分类方法的流程图。
图2是图1中的步骤S120的流程图。
图3是本发明又一实施例提供的脑电信号分类方法的时频信息提取模型结构示意图。
图4是图1中的步骤S130的流程图。
图5是图1中的步骤S140的流程图。
图6是本发明又一实施例提供的脑电信号分类方法的图表示信息的一种示意图。
图7是图1中的步骤S150的流程图。
图8是图1中的步骤S160的流程图。
图9是本发明又一实施例提供的脑电信号分类方法的流程图。
图10是本发明又一实施例提供的脑电信号分类装置结构框图。
图11是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
首先，对本发明中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
脑机接口技术(Brain Computer Interface，BCI)：是一种能通过人脑实现直接与计算机或其它电子设备进行交流的人机交互技术。BCI技术广泛应用于丧失肢体活动控制能力的行动障碍病人医学康复、智能机器人的相关研究、军用外骨骼、视频游戏以及虚拟现实技术(Virtual Reality，VR)等领域。BCI可以通过诱导活动依赖的大脑可塑性来恢复正常的大脑功能，实现癫痫的诊断、用大脑直接控制机器人、人工假肢等。为残疾人恢复正常的活动功能提供了可能。BCI的核心是脑电信号(Electroencephalography，EEG)的识别。在对EEG的识别中一般对其中某一类做具体的分类识别以实现诊断或者控制，也有多种类型EEG结合实现更多样的控制。
时域(时间域)：自变量是时间，即横轴是时间,纵轴是信号的变化。其动态信号x(t)是描述信号在不同时刻取值的函数。
频域(频率域)：自变量是频率，即横轴是频率，纵轴是该频率信号的幅度，也就是通常说的频谱图。
注意力单元：注意力单元的研究最早出现在心理学中，当人在看到一个画面时，虽然面对的是所有大的画面，但是注意力只集中在某个点上。2014年Bahdanau等人首次将注意力单元引入机器翻译，结合注意力单元和神经网络，提升了机器翻译的正确率。随后很多研究都尝试将注意力单元与神经网络结合应用在不同任务中，并且都不同程度的取得相比传统方法更为显著的优势。
深度学习：是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
神经网络：神经网络是一种以人脑为模型的机器学习。神经网络能够执行深度学习。人工神经网络的基本组成部分是一个感知器，这个感知器可以完成简单的信号处理，然后连接到一个大的网状网络中。具有深度学习能力的神经网络不能直接编程完成任务，需要学习这些信息，一般学习方法有三种：1)监督学习，计算机要根据标记的数据集，对模型进行修改，直到能够处理数据集以获得所需的结果；2)无监督学习，没有可供学习的标记数据集，神经网络分析数据集，然后用代价函数告诉神经网络离目标有多远，然后神经网络进行调整，以提高算法的准确性；3)强化学习，在该算法中，对神经网络的正向结果进行强化，对一个负结果进行惩罚，迫使神经网络随着时间的推移而学习。
特征提取(feature extractor)：是将一些原始的输入的数据维度减少或者将原始的特征进行重新组合以便于后续的使用。简单来说有两个作用：减少数据维度，整理已有的数据特征。
脑电信号是大脑皮层神经元产生电信号，可分为自发脑电和诱发脑电，从脑电信号中能够提取的大脑思维活动的信息，大脑不同的思维活动主要反映在脑电信号频率的变化，不同的思维活动能够通过不同的频率变化来区分的。目前，脑机接口能够捕获这些电信号，并将其正确“翻译”成人体所需执行指令，使得人类大脑与外部设备进行直接交互成为现实。
在实现本发明过程中，申请人发现现有技术中至少存在如下问题：部分脑电信号分类算法只专注于单一模态信号特征的提取，或者部分脑电信号分类算法中简单的使用向量拼接的方式对提取的信号特征进行特征融合，这两种方式都有局限性，不能深层次的挖掘到脑电信号特征之间的交互信息，导致针对脑电信号的分类结果准确性不高。因此，如何提高脑电信号的分类准确性，成为了亟待解决的技术问题。
基于此，本发明实施例提供一种脑电信号分类方法、装置、设备和存储介质，其中脑电信号分类方法通过获取脑电信号数据，对脑电信号数据进行时频特征构造，得到脑电时频特征信号，然后一方面将脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号，另一方面将脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号，再对脑电时序关系信号和脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息，最后基于脑电多模态特征信息进行信号分类，得到脑电信号分类结果。本实施例对时频特征构造后的脑电时频特征信号分别进行时频特征提取和空间特征提取，再将脑电时序关系信号和脑电空间关系信号进行多模态融合，在分类识别时利用多模态特征信息，能够挖掘到脑电信号特征之间深层次的交互信息，提高脑电信号的分类结果准确性，扩展脑电信号的应用场景。
本发明实施例提供脑电信号分类方法、装置、设备和存储介质，具体通过如下实施例进行说明，首先描述本发明实施例中的脑电信号分类方法。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明实施例提供的脑电信号分类方法，涉及人工智能技术领域，尤其涉及数据挖掘技术领域。本发明实施例提供的脑电信号分类方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的计算机程序。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如支持脑电信号分类的客户端，也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。其中，终端通过网络与服务器进行通信。该脑电信号分类方法可以由终端或服务器执行，或由终端和服务器协同执行。
在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等。此外，终端还可以是智能车载设备。该智能车载设备应用本实施例的脑电信号分类方法提供相关的服务，提升驾驶体验。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间形成组成点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。服务器上可以安装脑电信号分类系统的服务端，通过该服务端可以与终端进行交互，例如服务端上安装对应的软件，软件可以是实现脑电信号分类方法的应用等，但并不局限于以上形式。终端与服务器之间可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者网络等通讯连接方式进行连接，本实施例在此不做限制。
本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
为了便于理解本申请实施例，下面首先结合具体应用场景的例子对脑电信号分类的概念进行简单介绍。
由于大脑内部神经元之间的信息传导是通过电信号进行的，单个神经元所释放的电位变化是十分微弱的，不足以被外界设备检测到。但是当大脑中一群神经元或者神经组织，释放同样的电位信号时，那么相应的电位变化将会进行叠加，并且足以被设备检测，经过外部的放大器处理，就可以通过电极帽上的电极进行记录，形成脑电信号。因此首先采集用户的脑电信号，然后对脑电信号进行特征提取得到脑电特征数据，根据分类需求对脑电特征数据进行分类。一些常见的分类需求包括：运动想象、情感分类或精神状态分类等。
在一应用场景中：需要对脑电信号进行分类判断用户的精神状态，精神状态包括：清醒、睡眠、焦虑紧张、疲劳困倦、安静放松、情绪波动、注意力集中等。如果用户是长途司机，则可以根据脑电信号的分类结果判断用户当前的精神状态是否适合开车，对其进行相应的安全操作。
在一应用场景中：需要对脑电信号进行分类判断用户的情感状态，情感状态包括：快乐、悲伤、爱、仇恨、浪漫、平静、憎恶以及愤怒等。如果用户当前的娱乐需求是音乐或者电影，则可以根据脑电信号的分类结果对用户进行音乐或者电影推荐。
在一应用场景中：需要对脑电信号进行分类判断用户的运动倾向，运动倾向包括：摇头、点头、前进、左转、右转、摇摆等肢体动作相应的设备操作指令。如果用户是肢体残疾人，需要坐轮椅，并且无法自行操作轮椅，例如手指缺失等原因，此时可以根据脑电信号的分类结果确定用户对轮椅的操作指令。如果用户是VR设备用户，可以根据脑电信号的分类结果确定用户的虚拟动作，进行设备操作或者控制相关的游戏人物执行对应的动作，提高用户对虚拟现实设备的体验感。
输入：采集的用户脑电信息；
输出：分析得到对应需求的分类结果。
下面首先描述本发明实施例中的脑电信号分类方法。
图1是本发明实施例提供的脑电信号分类方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S110至步骤S160。同时可以理解的是，本实施例对图1中步骤S110至步骤S160的顺序不做具体限定，可以根据实际需求调整步骤顺序或者减少、增加某些步骤。
步骤S110：获取脑电信号数据。
在一实施例中，采集脑电信号数据包括侵入式采集和非侵入式采集。本实施例主要是非侵入式采集，例如利用电极帽采集脑电信号数据。电极帽是一种可以带在用户头上的帽型设备，该设备上不同位置均设置微针电极，微针电极能够采集对应位置的脑电信号数据。在一实施例中，每一个电极作为一个采集通道，即采用多少个微针电极就能得到多少个通道的脑电信号数据。
在一实施例中，电极数量可以是16个电极、32个电极、64个电极或512个电极，在此不对电极数量做限定，可以理解的是，电极数量越多越能提高脑电信号数据的空间分辨率。可以根据实际需求选取对应数量的电极。例如利用16个电极，则将16个电极放置在人脑的16个不同部位，可以采集这16个位置对应的16个通道的脑电信号数据。
由上述可知，通过电极能够采集到脑电信号数据，但是获取的脑电信号数据一般来说强度非常弱，不利于后续的研究，并且电极采集到的脑电信号数据中也包括肌电噪声以及环境噪声等，因此获取的脑电信号数据需要经过一系列预处理操作，才能削弱信号收集过程中实验环境、采集设备和被试本身生理活动等所引发的干扰信息或者噪声，提高后续数据分析结果的准确性。
在一实施例中，对脑电信号数据进行数据预处理操作，得到经过数据预处理后的脑电信号数据，数据预处理操作包括以下至少一种：剪裁操作、通道选择操作、下采样操作、滤波操作或去除基线操作。
在一实施例中，理论上来说脑电信号数据可以是无限长数据，出于数据分析需要，对脑电信号数据进行剪裁操作，从中剪裁出一部分脑电信号数据做后续的数据分析。
在一实施例中，由于大脑纵裂划分为左、右两个半球，这两个半球按照面上实有的沟裂和假设出的抽象界线，主要可以分为四大区——额叶、顶叶、枕叶、颞叶，在脑颅骨结构划分中，额叶对应着额骨，顶叶对应着顶骨，枕叶对应着枕骨，颞叶对应着颞骨，并且各自掌控不同的大脑功能。因此需要根据脑电信号分类需求，对脑电信号数据进行通道选择操作，以选取对应脑区位置的通道信号，避免太多与分类需求无关的通道采集的脑电信号数据对分类结果造成的负面影响，同时可以降低后续数据处理的数据复杂度，提升分类效率。
在一实施例中，对脑电信号数据进行下采样操作，能够降低脑电信号数据的数据量，降低后续数据处理的数据复杂度，提升分类效率。
在一实施例中，对脑电信号数据进行滤波操作，通过滤波器对脑电信号数据进行滤波以去除不相关的噪声信号，例如可以去除各种眼点伪迹、肌电伪迹、心电伪迹等其他信号。在一实施例中滤波操作包括：带通滤波或小波变换。
在一实施例中，由于脑电信号数据包含低频噪音，因此对脑电信号数据进行去除基线操作来消除脑电信号数据的信号基线。在一实施例中，利用小波变换的方式去除基线，在进行小波包分解后，将低频的数据取出保留感兴趣特定的频段信息。
由上述步骤得到预处理之后的脑电信号数据，对其进行后续数据分析。
步骤S120：对脑电信号数据进行时频特征构造，得到脑电时频特征信号。
在一实施例中，为了强化脑电信号数据中视频特征，提高后续时频信息提取的准确度，对脑电信号数据进行时频特征构造，得到脑电时频特征信号。
在一实施例中，参照图2，是一实施例示出的步骤S120的一种具体实现流程图，在本实施例中对脑电信号数据进行时频特征构造，得到脑电时频特征信号的步骤S120，包括步骤S121至步骤S124：
步骤S121：利用预设滑动窗口按照时序关系进行滑动切分，将脑电信号数据切分成一个以上时间片段数据。
在一实施例中，为了保护特征信息，但又不增大后续学习过程过拟合风险的前提下，对脑电信号数据进行滑窗处理，即利用预设滑动窗口按照时序关系进行滑动切分，将脑电信号数据切分成一个以上时间片段数据，一个时间片段为一个帧，该操作也称为分帧处理。
在一实施例中，按照实际需求设定滑窗大小，得到预设滑动窗口，从脑电信号数据的起始位置开始，按照时序关系以预设滑动窗口向后滑动进行滑动切分，得到多个时间片段数据，每个时间片段数据中包含多个通道的数据。通过滑动切分的方式将脑电信号数据切割成时间帧数据，缩短了时间段，从而减少输入到后续网络的信息数量，使得后续处理时序输入的分类算法能够更精确地学习到脑电信号数据中包含的特征，从而提升分类的准确率。另外，在模型训练过程中，可以在保护脑电信号数据原始信息的基础上，有效增加样本数，提升模型训练精度。
步骤S122：对每个时间片段数据进行离散傅里叶变换，得到一个以上功率谱密度信息。
在一实施例中，对上述得到的每个时间帧的时间片段数据进行频谱离散化，得到多个功率谱密度信息。在一实施例中，利用离散傅里叶变换实现频谱离散化，经过离散傅里叶变换(DFT)后，时域和频域都离散化，使得后续能够对信号的时域、频域进行计算。
在一实施例中，由于脑细胞群节律性地放电导致脑电信号数据具有节律特性，因此依照频率将脑电信号数据进行分类以表示各种信号成分。本实施例中，将脑电信号数据分为5个频段，分别是：第一频段、第二频段、第三频段、第四频段和第五频段，可以理解的是，频段数量可以根据实际需求进行调整，在此不做具体限定。
在一实施例中，第一频段为δ频段，频率范围是：0.5Hz-4Hz。第二频段为θ频段，频率范围是：4Hz-8Hz。第三频段是α频段，频率范围是：8Hz-12Hz。第四频段是β频段，频率范围是：12Hz-30Hz。第五频段是γ频段，频率范围是：30Hz-47Hz。可以理解的是，不同频段的频率范围可以按照实际需求进行调整，在此不做具体限定。
其中，第一频段的脑电信号数据是一种高幅值的低频慢波，在正常成人的脑电采集过程中很少能被记录到，多出现在大脑神经元放松的状态下，例如：熟睡、深度麻醉、缺氧或大脑有器质性病变时，因此，第一频段只会在大脑皮质内发生，且不参与信息处理的过程。
当人体处于平静放松状态且开始有困意的时候才会出现第二频段的脑电信号数据，即第二频段的脑电信号数据的出现反映了人体从清醒状态向睡眠状态转化的过程，幅值较低、频率缓慢，一般在大脑的海马处能记录到此波，且有研究表明这种波与大脑的思考、记忆、学习过程有关。
第三频段的脑电信号数据是一种低幅同步波，在采集到的脑电信号中此波的表现最为明显，可在头颅的顶枕部检测到，一般情况下波形类似于正弦波。当正常成年人处于安静闭目状态时，采集到的脑电波形中通常以此波为主，且此时第三频段的脑电信号数据出现的数量最多且振幅也最大。
第四频段的脑电信号数据是脑电节律波中的一种低幅值高频率的快波，主要分布在大脑的颞叶部分及前半球，但在整个大脑范围内都能检测到此波。当大脑的中枢神经系统进行强烈的脑力活动或者人体处于紧张的状态下较常出现，因此，第四频段的脑电信号数据反映人的大脑在进行思维活动，一旦人的注意力集中，第四频段的脑电信号数据就会增多，证明此时脑神经中枢处于兴奋状态。
第五频段的脑电信号数据频率较高，与焦虑的情绪相关联。
在一实施例中，根据上述五个频段的频率范围，步骤S122对每个时间片段数据进行离散傅里叶变换，利用短时傅里叶算法提取上述五个频段的功率谱密度信息。
步骤S123：将一个以上功率谱密度信息拼接，形成时间片段数据的时频特征数据。
在一实施例中，将上述得到的每个频段的功率谱密度信息进行拼接，从而得到该时间帧的时间片段数据对应的时频特征数据。
可以理解的是，由于脑电信号数据包含多个通道的数据，因此针对每个时间帧的时间片段数据进行离散傅里叶变换，指对每个时间帧的时间片段数据的每个通道的数据进行离散傅里叶变换，得到每个通道对应的功率谱密度信息。利用步骤S123拼接之后得到的时频特征数据包含多个通道对应的功率谱密度信息。
步骤S124：将每个时频特征数据按照时序关系进行拼接，得到脑电时频特征信号。
在一实施例中，由于时频特征数据是按照时序关系得到的每个时间帧的数据，因此按照时序关系将每个时频特征数据按照时序关系进行拼接，得到脑电时频特征信号。
由上述可知，得到的脑电时频特征信号的每一个时间帧均包含多个通道、多个频段的功率谱密度信息，脑电时频特征信号仍是一个时间序列数据，其保留着时域上的关系，进行上述时频特征构造的目的是提高后续分类处理的运算效率和准确度。
步骤S130：将脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号。
在一实施例中，利用训练好的时频信息提取模型进行时频特征提取，可利用训练样本对时频信息提取模型进行训练，得到适用于场景的较优模型参数，本实施例在此不对训练过程做具体限定。
在一实施例中，参照图3，为时频信息提取模型结构示意图。时频信息提取模型100包括：3个依次连接的一维卷积层110和两个依次连接的时间序列网络120。这里时间序列网络120可以是长短期记忆人工神经网络(Long Short-Term Memory，LSTM)或双向长短时记忆神经网络(Bi-directional Long Short-Term Memory,Bi-LSTM)。
在一实施例中，参照图4，是一实施例示出的步骤S130的一种具体实现流程图，在本实施例中将脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号的步骤S130，包括步骤S131至步骤S132：
步骤S131，利用一个以上一维卷积层依次对脑电时频特征信号进行卷积操作，得到脑电时频特征信号的深层语义信息。
在一实施例中，结合图3，脑电时频特征信号首先依次经过三个一维卷积层逐层抽取深层语义，得到深层语义信息。
步骤S132，利用至少一个时间序列网络对深层语义信息进行上下文信息提取，得到脑电时序关系信号。
在一实施例中，结合图3，将深层语义信息依次输入两个时间序列网络中，对经过三个一维卷积层抽取深层语义得到的深层语义信息进行上下文信息提取。在一实施例中，第一个时间序列网络是Bi-LSTM双向长短时记忆神经网络，第二个时间序列网络是LSTM长短期记忆人工神经网络。
在一实施例中，时间序列网络通过控制神经网络的细胞状态Ct-1来决定是都删除或者添加的特征信息，其包含遗忘门、输入门和输出门三个门。遗忘门包含一个Sigmoid单元，通过上一时刻的输出ht-1和当前时刻的输入xt计算出一个0-1之间的向量，并和上一时刻传过来的细胞状态Ct-1作点乘，根据点乘结果决定细胞状态丢弃哪些信息。输入门通过上一时刻的输出ht-1和当前时刻的输入xt利用tanh层计算候选的将要被加入细胞状态的信息，再通过类似遗忘门的方法忘掉一部分，剩下的信息添加到细胞状态Ct-1中得到新的细胞状态Ct。输出门将上一时刻的输出和当前时刻的输入通过一个Sigmoid层得到判断条件，将细胞状态Ct经过tanh层得到一个向量，该向量与输出门得到的判断条件相乘，得到最终的输出ht。依据时序关系，最终得到包含上下文信息的脑电时序关系信号。
由上述可知，利用步骤S130进行时频特征提取，能够得到脑电时频特征信号的脑电时序关系信号，该脑电时序关系信号中包含脑电信号数据的时频特征信息。为了能够挖掘到脑电信号特征之间深层次的交互信息，需要在分类识别时结合多模态特征信息，因此利用下述步骤提取脑电时频特征信号的空间特征。
步骤S140：将脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号。
在一实施例中，图嵌入编码模型包括图卷积模块。利用训练好的图嵌入编码模型进行空间特征提取，可利用训练样本对图嵌入编码模型进行训练，得到适用于场景的较优模型参数，本实施例在此不对训练过程做具体限定。
在一实施例中，参照图5，是一实施例示出的步骤S140的一种具体实现流程图，在本实施例中将脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号的步骤S140，包括步骤S141至步骤S142：
步骤S141：将脑电时频特征信号进行图转化，得到脑电时频特征信号的图表示信息。
在一实施例中，脑电时频特征信号包含两个部分，第一部分是多个通道的数据本身，每个通道的数据长度一致，数据长度根据实际需求设定。另一部分是不同通道之间的相关系数，假如通道数为N，则通道之间的相关系数为N*N的矩阵，矩阵中每个元素为两个通道之间的相关度。本实施例中图嵌入编码模型首先将脑电时频特征信号进行图表示得到图表示信息。图表示的过程是通过特定映射关系，以图的形式表明脑电时频特征信号的各通道间存在的隐藏空间关系。
在一实施例中，脑电时频特征信号的通道对应于图表示信息的节点，脑电时频特征信号通道间的关系对应于图表示信息节点之间的边。在一实施例中，图表示信息通常是以邻接矩阵的形式进行存储，图中节点表示通道，携带的数据为各个通道信号数据本身，节点之间的边表示通道与通道间的相关关系，例如，该相关度是不同通道间的皮尔森相关系数。也可以用K近邻算法得到通道之间的相关关系，在此不做具体限定。
在一实施例中，参照图6，为图表示信息的一种示意图。图中将脑电时频特征信号的各通道映射称为图的节点，不同通道的相关系数映射为图的边，两者共同组成图数据，可见两个节点之间的边表示该两个节点对应的通道之间的相关度。可以理解的是，实际映射得到的图表示信息是一个立体结构图，图中每个节点间理论上均存在相关性，只是相关度的取值有不同。图中并未画出所有节点之间的边，不代表只有图中示出的边。
步骤S142：将图表示信息输入图卷积模块进行图卷积操作，得到脑电空间关系信号。
在一实施例中，将上述进行图表示得到的图表示信息(邻接矩阵)输入图卷积模块进行图卷积操作，图卷积操作具体是利用图傅里叶变换的方式实现谱图滤波，获得若干个特征向量，这些特征向量构成空间中的一组正交基。然后对获得的特征向量进行图卷积，得到脑电空间关系信号。在一实施例中，为了缩短图卷积模块的训练时间，并提高空间特征提取精度，利用切比雪夫多项式作为图卷积核进行图卷积。图卷积过程表示为：
Figure SMS_1
Figure SMS_2
Figure SMS_3
Tk+1(X)＝2XTk(X)-Tk-1(X)
其中，T0(X)＝1，T1(X)＝X，X表示输入图卷积模块的特征向量，k表示切比雪夫多项式的最高阶，θ表示切比雪夫系数的向量，Λ表示特征值的对角矩阵，λmax表示正则化矩阵的最大特征值，I表示单位矩阵，Ke(Λ)表示基于切比雪夫多项式的卷积核。
由上述可知，利用图嵌入编码模型能够对脑电时频特征信号进行空间特征提取，得到脑电空间关系信号。至此，结合步骤S130和步骤S140得到脑电信号数据对应的时频特性信息(脑电时序关系信号)和空间特性信息(脑电空间关系信号)，因此，后续步骤将得到的多模态特征信息进行分类识别。
步骤S150：将脑电时序关系信号和脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息。
在一实施例中，利用训练好的跨模态注意力特征融合模型进行注意力特征融合，可利用训练样本对跨模态注意力特征融合模型进行训练，得到适用于场景的较优模型参数，本实施例在此不对训练过程做具体限定。
在一实施例中，参照图7，是一实施例示出的步骤S150的一种具体实现流程图，在本实施例中将脑电时序关系信号和脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息的步骤S150，包括步骤S151至步骤S153：
步骤S151：将脑电时序关系信号与第一权重矩阵和第二权重矩阵分别相乘后相加，得到时频模态特征信息。
步骤S152：将脑电空间关系信号与第三权重矩阵相乘，得到空间模态特征信息。
步骤S153：根据时频模态特征信息和空间模态特征信息得到脑电多模态特征信息。
在一实施例中，跨模态注意力特征融合模型利用自注意力机制相似的原理进行注意力特征融合，首先训练得到三个注意力权重矩阵，即上述第一权重矩阵、第二权重矩阵和第三权重矩阵，然后利用注意力权重矩阵对脑电时序关系信号和脑电空间关系信号分别进行加权，从而得到脑电多模态特征信息。
在一实施例中，注意力权重矩阵包括：查询信息Q、键K和值V，其中查询信息Q为第三权重矩阵，键K是第一权重矩阵，值V是第二权重矩阵。本实施例中利用查询信息Q和键K-值V的集合对脑电时序关系信号和脑电空间关系信号分别进行加权。
在一实施例中，将脑电时序关系信号与第一权重矩阵K和第二权重矩阵V分别相乘后相加，得到时频模态特征信息。然后将脑电空间关系信号与第三权重矩阵Q相乘，得到空间模态特征信息。最后将时频模态特征信息和空间模态特征信息叠加得到脑电多模态特征信息。
以上可以看出，本申请实施例中可以使一种模态(例如时频)从另一种模态(例如空间)中接收信息，这样有助于将不同模态的特征信息组合起来使用，结合了时频、空间等多种模态特征，获取脑电信号数据中不同模态信息之间的长期上下文相关性，进行深度融合提取更深层次的模态交互信息，从而得到更丰富的特征表示，提高后续分类的准确性。
步骤S160：对脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
在一实施例中，根据分类需求对脑电多模态特征信息进行分类。在一实施例中，分类需求包括：运动想象、情感分类或精神状态分类等，即对脑电多模态特征信息进行运动想象、情感分类或精神状态分类，得到对应的脑电信号分类结果。
在一实施例中，参照图8，是一实施例示出的步骤S160的一种具体实现流程图，在本实施例中对脑电多模态特征信息进行信号分类，得到脑电信号分类结果的步骤S160，包括步骤S161至步骤S163：
步骤S161：将脑电多模态特征信息输入至少一个全连接层，得到分类特征信息。
步骤S162：将分类特征信息输入分类层，得到分类概率。
步骤S163：根据分类概率得到脑电信号分类结果。
在一实施例中，利用全连接层分类器进行脑电信号分类。具体是：利用全连接层对脑电多模态特征信息进行降维特征提取，得到分类特征信息，然后利用softmax层作为分类层计算分类特征信息对应的分类概率值，将分类概率值与根据分类需求定义的分类类别对应的概率值进行对比，判断该分类概率值属于哪种分类类别，从而得到脑电信号分类结果。
在一实施例中，将脑电信号分类方法封装成脑电信号分类模型，利用大量的样本对该脑电信号分类模型进行训练，得到适应场景的较优模型权重参数，由于其联合多模态信息进行模型训练学习，能够提高脑电信号分类结果的准确度。同样可以将其设计成程序，移植在相关设备上进行脑电信号分类识别。例如轮椅控制器、VR设备或手机终端等，在实际使用时，仅需获取脑电信号数据，即可利用该训练好的脑电信号分类模型进行脑电信号分类，得到脑电信号对应的脑电信号分类结果后，还可以利用该脑电信号分类结果进行进一步的引导操作等，本实施例对此不做具体限定。
在一实施例中，参照图9，为本申请实施例的脑电信号分类方法流程图。图中首先获取未经数据预处理的脑电信号数据，然后对脑电信号数据进行数据预处理，得到经过数据预处理后的脑电信号数据，对获取的脑电信号数据进行时频特征构造，得到包含时频特征的脑电时频特征信号，然后一方面将脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到时频特征表示的脑电时序关系信号，另一方面将脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到空间特征表示的脑电空间关系信号，再对脑电时序关系信号和脑电空间关系信号进行跨模态的注意力特征融合，得到脑电多模态特征信息，最后基于全连接层分类器对脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
本申请实施例对时频特征构造后的脑电时频特征信号分别进行时频特征提取和空间特征提取，再将脑电时序关系信号和脑电空间关系信号进行多模态融合，在分类识别时利用多模态特征信息，能够挖掘到脑电信号特征之间深层次的交互信息，提高脑电信号的分类结果准确性，扩展脑电信号的应用场景。
本发明实施例还提供一种脑电信号分类装置，可以实现上述脑电信号分类方法，参照图10，该装置包括：
获取单元1010，用于获取脑电信号数据。
时频特征构造单元1020，用于对脑电信号数据进行时频特征构造，得到脑电时频特征信号。
时频信息提取单元1030，用于将脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号。
空间特征提取单元1040，用于将脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号。
多模态特征融合单元1050，用于将脑电时序关系信号和脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息。
信号分类单元1060，用于对脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
本实施例的脑电信号分类装置的具体实施方式与上述脑电信号分类方法的具体实施方式基本一致，在此不再赘述。
本发明实施例还提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本发明实施上述的脑电信号分类方法。该电子设备可以为包括手机、平板电脑、个人数字助理(PersonalDigital Assistant，简称PDA)、车载电脑等任意智能终端。
请参阅图11，图11示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1101，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案；
存储器1102，可以采用ROM(ReadOnlyMemory，只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory，随机存取存储器)等形式实现。存储器1102可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1102中，并由处理器1101来调用执行本发明实施例的脑电信号分类方法；
输入/输出接口1103，用于实现信息输入及输出；
通信接口1104，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和
总线1105，在设备的各个组件(例如处理器1101、存储器1102、输入/输出接口1103和通信接口1104)之间传输信息；
其中处理器1101、存储器1102、输入/输出接口1103和通信接口1104通过总线1105实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述脑电信号分类方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例提出的脑电信号分类方法、脑电信号分类装置、电子设备、存储介质，本申请实施例对时频特征构造后的脑电时频特征信号分别进行时频特征提取和空间特征提取，再将脑电时序关系信号和脑电空间关系信号进行多模态融合，在分类识别时利用多模态特征信息，能够挖掘到脑电信号特征之间深层次的交互信息，提高脑电信号的分类结果准确性，扩展脑电信号的应用场景。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种脑电信号分类方法，其特征在于，包括：
获取脑电信号数据；
对所述脑电信号数据进行时频特征构造，得到脑电时频特征信号；
将所述脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号；
将所述脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号；
将所述脑电时序关系信号和所述脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息；
对所述脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
2.根据权利要求1所述的脑电信号分类方法，其特征在于，所述对所述脑电信号数据进行时频特征构造，得到脑电时频特征信号，包括：
利用预设滑动窗口按照时序关系进行滑动切分，将所述脑电信号数据切分成一个以上时间片段数据；
对每个所述时间片段数据进行离散傅里叶变换，得到一个以上功率谱密度信息；
将一个以上所述功率谱密度信息拼接，形成所述时间片段数据的时频特征数据；
将每个所述时频特征数据按照所述时序关系进行拼接，得到所述脑电时频特征信号。
3.根据权利要求1所述的脑电信号分类方法，其特征在于，所述时频信息提取模型包括：一个以上一维卷积层和至少一个时间序列网络，所述将所述脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号，包括：
利用一个以上所述一维卷积层依次对所述脑电时频特征信号进行卷积操作，得到所述脑电时频特征信号的深层语义信息；
利用至少一个时间序列网络对所述深层语义信息进行上下文信息提取，得到所述脑电时序关系信号。
4.根据权利要求1所述的脑电信号分类方法，其特征在于，所述图嵌入编码模型包括图卷积模块，所述将所述脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号，包括：
将所述脑电时频特征信号进行图转化，得到所述脑电时频特征信号的图表示信息，所述脑电时频特征信号的通道对应于所述图表示信息的节点，所述脑电时频特征信号通道间的关系对应于所述图表示信息节点之间的边；
将所述图表示信息输入所述图卷积模块进行图卷积操作，得到所述脑电空间关系信号。
5.根据权利要求4所述的脑电信号分类方法，其特征在于，所述将所述脑电时序关系信号和所述脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息，包括：
将所述脑电时序关系信号与第一权重矩阵和第二权重矩阵分别相乘后相加，得到时频模态特征信息；
将所述脑电空间关系信号与第三权重矩阵相乘，得到空间模态特征信息；
根据所述时频模态特征信息和所述空间模态特征信息得到所述脑电多模态特征信息。
6.根据权利要求1至5任一项所述的脑电信号分类方法，其特征在于，所述获取脑电信号数据之后，还包括：
对所述脑电信号数据进行数据预处理，得到经过数据预处理后的所述脑电信号数据，所述数据预处理包括以下至少一种：剪裁操作、通道选择操作、下采样操作、滤波操作或去除基线操作。
7.根据权利要求1至5任一项所述的脑电信号分类方法，其特征在于，所述对所述脑电多模态特征信息进行信号分类，得到脑电信号分类结果，包括：
将所述脑电多模态特征信息输入至少一个全连接层，得到分类特征信息；
将所述分类特征信息输入分类层，得到分类概率；
根据所述分类概率得到所述脑电信号分类结果。
8.一种脑电信号分类装置，其特征在于，包括：
获取单元，用于获取脑电信号数据；
时频特征构造单元，用于对所述脑电信号数据进行时频特征构造，得到脑电时频特征信号；
时频信息提取单元，用于将所述脑电时频特征信号输入训练好的时频信息提取模型进行时频特征提取，得到脑电时序关系信号；
空间特征提取单元，用于将所述脑电时频特征信号输入训练好的图嵌入编码模型进行空间特征提取，得到脑电空间关系信号；
多模态特征融合单元，用于将所述脑电时序关系信号和所述脑电空间关系信号进行注意力特征融合，得到脑电多模态特征信息；
信号分类单元，用于对所述脑电多模态特征信息进行信号分类，得到脑电信号分类结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的脑电信号分类方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的脑电信号分类方法。
CN202310405869.3A 2023-04-07 2023-04-07 脑电信号分类方法、装置、设备和存储介质 Pending CN116392148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310405869.3A CN116392148A (zh) 2023-04-07 2023-04-07 脑电信号分类方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310405869.3A CN116392148A (zh) 2023-04-07 2023-04-07 脑电信号分类方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116392148A true CN116392148A (zh) 2023-07-07

Family

ID=87012142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310405869.3A Pending CN116392148A (zh) 2023-04-07 2023-04-07 脑电信号分类方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116392148A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520925A (zh) * 2024-01-02 2024-02-06 小舟科技有限公司 基于脑电信号的个性化人机交互方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520925A (zh) * 2024-01-02 2024-02-06 小舟科技有限公司 基于脑电信号的个性化人机交互方法、装置、设备及介质
CN117520925B (zh) * 2024-01-02 2024-04-16 小舟科技有限公司 基于脑电信号的个性化人机交互方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Houssein et al. Human emotion recognition from EEG-based brain–computer interface using machine learning: a comprehensive review
Shu et al. A review of emotion recognition using physiological signals
Autthasan et al. MIN2Net: End-to-end multi-task learning for subject-independent motor imagery EEG classification
Kumar et al. Envisioned speech recognition using EEG sensors
Tivatansakul et al. Emotion recognition using ECG signals with local pattern description methods
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
Kim et al. Data Analysis for Emotion Classification Based on Bio‐Information in Self‐Driving Vehicles
CN111028919A (zh) 基于人工智能算法的恐惧症自我诊疗系统
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
CN111276159A (zh) 一种婴儿发音分析方法及服务器
CN116392148A (zh) 脑电信号分类方法、装置、设备和存储介质
Yue et al. Exploring BCI control in smart environments: intention recognition via EEG representation enhancement learning
Nguyen et al. A potential approach for emotion prediction using heart rate signals
Amin et al. Leveraging brain–computer interface for implementation of a bio-sensor controlled game for attention deficit people
Saini et al. DSCNN-CAU: deep-learning-based mental activity classification for IoT implementation toward portable BCI
Gu et al. Optimized projection and fisher discriminative dictionary learning for EEG emotion recognition
CN113749656B (zh) 基于多维生理信号的情感识别方法和装置
Henderson et al. Improving sensor-based affect detection with multimodal data imputation
Wankhade et al. IKKN predictor: An EEG signal based emotion recognition for HCI
Baghdadi et al. A survey of methods and performances for eeg-based emotion recognition
Bhanumathi et al. Feedback Artificial Shuffled Shepherd Optimization‐Based Deep Maxout Network for Human Emotion Recognition Using EEG Signals
Nawas et al. K-NN classification of brain dominance
Seddiqi et al. Recognition of turkish sign language (TID) using sEMG sensor
CN116616795A (zh) 脑电信号分类方法、装置、设备和存储介质
Huynh et al. An investigation of ensemble methods to classify electroencephalogram signaling modes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination