CN115587321A - 一种脑电信号识别分类方法、系统及电子设备 - Google Patents

一种脑电信号识别分类方法、系统及电子设备 Download PDF

Info

Publication number
CN115587321A
CN115587321A CN202211576082.5A CN202211576082A CN115587321A CN 115587321 A CN115587321 A CN 115587321A CN 202211576082 A CN202211576082 A CN 202211576082A CN 115587321 A CN115587321 A CN 115587321A
Authority
CN
China
Prior art keywords
pulse
neural network
sparse
signal
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211576082.5A
Other languages
English (en)
Other versions
CN115587321B (zh
Inventor
刘燕
戴亚康
彭博
戴斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202211576082.5A priority Critical patent/CN115587321B/zh
Publication of CN115587321A publication Critical patent/CN115587321A/zh
Application granted granted Critical
Publication of CN115587321B publication Critical patent/CN115587321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本说明书公开了一种脑电信号识别分类方法、系统及电子设备，能够对脑电信号进行精确分类识别。所述方法包括：从原始脑电信号中获取波段信号；针对所述波段信号进行时空频多域分析及上下文长时信息挖掘，生成多层次融合特征信息；针对所述多层次融合特征信息进行稀疏脉冲编码，构建脉冲神经网络进行脉冲特征映射，并优化脉冲神经网络以生成稀疏脉冲融合特征；基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。所述系统用于执行所述脑电信号识别分类方法。所述电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述脑电信号识别分类方法。

Description

一种脑电信号识别分类方法、系统及电子设备
技术领域
本发明涉及脑电信号处理技术领域，具体涉及一种脑电信号识别分类方法、系统及电子设备。
背景技术
脑机接口（Brain Computer Interface，BCI）是一种通过构建大脑和外部设备之间不依赖于外周神经和肌肉组织通路从而实现信息交换的技术，它在游戏娱乐、工业流程、航空航天以及康复医学工程等领域都有着广泛的应用前景。一些应用场景中需要对脑电波（Electroencephalogram，EEG）信号进行分类识别，确定EEG是否可溯源。
在一些相关技术中多采用深度神经网络（Deep Neural Network，DNN）、脉冲神经网络（Spiking Neural Network，SNN）等方法对脑电波进行分类识别。在实际应用场景中的一些特殊的脑电信号，由于具有更强的类内差异性与类间相似性，直接采用DNN、SNN等技术手段进行处理，导致分类识别的结果精确度欠佳。
发明内容
有鉴于此，本发明实施例提供了一种脑电信号识别分类方法、系统及电子设备，能够对脑电信号进行精确分类识别。
在一方面，本说明书实施例提供了一种脑电信号识别分类方法，其特征在于，包括：
获取待识别的原始脑电信号，通过对所述原始脑电信号进行预处理，从中获取波段信号；
通过对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息；
利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息；
基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息；
针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列；
基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征；
基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。
可选的，通过对所述原始脑电信号进行预处理，从中获取波段信号，包括：
对所述原始脑电信号进行滤波与去噪处理，提纯生成纯净脑电信号；
确定所述纯净脑电信号中的多个标记点，截取多个所述标记点前后预设时长内的信号构成所述波段信号。
可选的，通过对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息，包括：
分别计算确定所述波段信号的时域特征、频域特征、时频域特征、空域特征及非线性特征，将所述时域特征、所述频域特征、所述时频域特征、所述空域特征及所述非线性特征联结以生成所述多域具象特征信息。
可选的，利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息，包括：
利用预训练BERT模型对所述波段信号进行深度长时上下文特征表征，计算得到所述上下文长时抽象特征信息为：
Figure 26649DEST_PATH_IMAGE001
其中，
Figure 174734DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息；
Figure 792797DEST_PATH_IMAGE003
表示正向传递所获得抽象化特征表征：
Figure 924DEST_PATH_IMAGE004
Figure 970017DEST_PATH_IMAGE005
表示反向传递所获得抽象化特征表征：
Figure 656214DEST_PATH_IMAGE006
其中，
Figure 394362DEST_PATH_IMAGE007
表示由残差连接和层归一化构成的两层全连接前馈网络层，
Figure 773391DEST_PATH_IMAGE008
表示多头注意力机制，
Figure 964201DEST_PATH_IMAGE009
、
Figure 454088DEST_PATH_IMAGE010
为所述预训练BERT模型处理数据的正、反向初始标识符，
Figure 781164DEST_PATH_IMAGE011
表示所述波段信号，
Figure 331094DEST_PATH_IMAGE012
表示所述波段信号的正、反向位置编码信息取值范围。
可选的，基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息，包括：
基于元素相似算子对所述多域具象特征信息与所述上下文长时抽象特征信息进行融合以生成，以确定所述波段信号的多层次融合特征信息：
Figure 9200DEST_PATH_IMAGE013
其中，
Figure 302778DEST_PATH_IMAGE014
表示所述多层次融合特征信息，
Figure 248475DEST_PATH_IMAGE015
表示所述多域具象特征信息，
Figure 703728DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息。
可选的，针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列，包括：
构建载波信号，并利用过完备稀疏分解算法对所述载波信号进行分解以生成稀疏载波信号；
通过将所述稀疏载波信号与所述多层次融合特征信息进行比较，获得所述稀疏脉冲序列。
可选的，基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征，包括：
构建全连接前馈神经网络，利用误差反向传播算法对所述全连接前馈神经网络进行优化；
基于LIF神经元模型对优化后的所述全连接前馈神经网络进行神经元转化，以构建生成脉冲神经网络；
利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性映射；
通过突触内部可调节机制对所述脉冲神经网络的网络内部参数进行优化学习，生成所述稀疏脉冲融合特征。
可选的，基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性，包括：
根据所述稀疏脉冲融合特征计算确定所述原始脑电信号对应不同类别属性的概率值：
Figure 869130DEST_PATH_IMAGE016
其中，
Figure 700819DEST_PATH_IMAGE017
表示所述概率值，
Figure 268067DEST_PATH_IMAGE018
表示所述脉冲神经网络的网络层数，
Figure 894220DEST_PATH_IMAGE019
表示可学习权重，
Figure 546919DEST_PATH_IMAGE020
表示所述稀疏脉冲融合特征。
在第二方面，本说明书实施例还提供了一种脑电信号识别分类系统。所述系统包括：
原始信号获取模块，用于获取待识别的原始脑电信号，通过对所述原始脑电信号进行预处理，从中获取波段信号；
具象特征表征模块，用于对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息；
抽象特征表征模块，用于利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息；
特征融合表征模块，用于基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息；
稀疏编码模块，用于针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列；
特征映射模块，用于基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征；
分类识别模块，用于基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。
在第三方面，本说明书实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的脑电信号识别分类方法。
从上面可以看出，本说明书实施例所提供的一种脑电信号分类识别方法、系统及电子设备，具有如下有益技术效果：
针对所述原始脑电信号进行预处理。获取便于进行信号分析的波段信号，再基于稀疏脉冲特征表征模型对针对所述波段信号进行处理。首先基于所述稀疏脉冲特征表征模型中的多层次特征表征模型对所述波段信号进行多层次特征提取，从而确定所述波段信号的多层次融合特征信息；再基于所述稀疏脉冲特征表征模型中的稀疏脉冲特征学习模型针对所述多层次融合特征信息进行稀疏脉冲编码并计算所述稀疏脉冲融合特征。最后采用分类算法根据所述波段信号对应的所述稀疏脉冲融合特征确定所述原始脑电信号相应的类别属性，实现对脑电信号的精准识别。所述脑电信号识别分类方法，在脉冲神经网络识别的基础上，将神经元信息传递产生脉冲时所表现出的显著稀疏现象建模融入脉冲编码中，使网络在学习挖掘所述脑电信号的特征时更具优势，从而实现对脑电信号可溯源分类的精准识别。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法示意图；
图2示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中对原始脑电信号进行预处理的方法示意图；
图3示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中生成稀疏脉冲序列的方法示意图；
图4示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中生成稀疏脉冲融合特征的方法示意图；
图5示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中所述全连接的前馈神经网络结构示意图；
图6示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统结构示意图；
图7示出了本说明书一个或多个可选实施例所提供的一种脑电信号识别分类电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
脑机接口（Brain Computer Interface，BCI）是一种通过构建大脑和外部设备之间不依赖于外周神经和肌肉组织通路从而实现信息交换的技术，它在游戏娱乐、工业流程、航空航天以及康复医学工程等领域都有着广泛的应用前景。一些应用场景中需要对脑电波（Electriencephalogram，EEG）信号进行分类识别，确定EEG信号是否为可溯源信号。
在一些相关技术中多采用深度神经网络（Deep Neural Network，DNN）、脉冲神经网络（Spiking Neural Network，SNN）等方法对脑电波进行分类识别。而在实际应用场景中，可溯源的脑电信号与不可溯源的特电脑脑电信号，二者由于具有更强的类内差异性与类间相似性，直接采用DNN、SNN等技术手段进行处理，分类识别的结果精确度欠佳，无法满足对脑电信号进行精准分类识别的要求。
针对上述问题，本说明书技术方案的目的在于提出一种基于稀疏脉冲表征学习的针对脑电信号的分类识别方法，首先提取脑电信号的多层次融合特征，并基于所述多层次融合特征进一步提取确定相应的稀疏脉冲多域上下文特征表征，基于稀疏脉冲特征实现对所述脑电信号的精确分类识别。
基于上述目的，在一方面，本说明书实施例提供了一种脑电信号识别分类方法。
如图1所示，本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法，包括：
S1：获取待识别的原始脑电信号，通过对所述原始脑电信号进行预处理，从中获取波段信号。
在信号准备阶段，可以首先对所述原始脑电信号进行提纯，通过滤波及去噪处理获得相对比较纯净的脑电波信号，之后再对提纯处理后的脑电信号进行分段处理，针对所述原始脑电信号确定出用于分析信号的数据样本空间，生成所述波段信号。
S2：通过对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息。
可以针对所述波段信号，分别在时域、频域、时频域、空域以及非线性层面进行分析并联结，以确定所述波段信号的多域具象特征信息。
S3：利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息。
所述波段信号为时间相关性的时间序列信号，可以针对所述波段信号从中挖掘上下文依赖信息。一些可选实施例中，可以采用预训练BERT模型对所述波段信号进行处理，从而确定所述波段信号相应的上下文长时抽象特征信息。
S4：基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息。
可以利用元素相似算子，融合计算所述多域具象特征信息与所述上下文长时抽象特征信息，以确定所述波段信号相应的所述多层次融合特征信息。基于融合计算所确定的所述多层次融合特征信息进行表征，不仅能够提高针对波段信号的分析精度，还进一步具备泛化能力。
S5：针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列。
通过对所述多层次融合特征信息进行稀疏脉冲编码，提高所述多层次融合特征信息的脉冲编码精度，生成所述稀疏脉冲序列，从而可以对波段信号进行更有效的信息表征区分。
S6：基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征。
构建全连接前馈神经网络，利用误差反向算法对所述全连接前馈神经网络进行优化，再利用LIF神经元模型将优化后的全连接前馈神经网络转换生成脉冲神经网络。
利用所述脉冲神经网络，对所述稀疏脉冲序列进行非线性特征映射，并通过突触内部可调节机制对所述脉冲神经网络的网络内部参数进行优化学习，生成稀疏脉冲融合特征。
S7：基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。
可以根据所述脉冲神经网络所输出的所述稀疏脉冲融合特征的期望值，来计算确定相应的类别属性的概率值，从而确定所述原始脑电信号所对应的类别属性。
在一些可选实施例中，可以根据所述稀疏脉冲融合特征计算确定所述原始脑电信号对应不同类别属性的概率值：
Figure 182299DEST_PATH_IMAGE016
其中，
Figure 338474DEST_PATH_IMAGE017
表示所述概率值，
Figure 401108DEST_PATH_IMAGE018
表示所述脉冲神经网络的网络层数，
Figure 275523DEST_PATH_IMAGE019
表示可学习权重，
Figure 980174DEST_PATH_IMAGE020
表示所述稀疏脉冲融合特征。
所述脑电信号识别分类方法，针对所述原始脑电信号进行预处理。生成便于进行信号分析的波段信号，再基于稀疏脉冲特征表征模型对针对所述波段信号进行处理。首先基于所述稀疏脉冲特征表征模型中的多层次特征表征模型对所述波段信号进行多层次特征提取，从而确定所述波段信号的多层次融合特征信息；再基于所述稀疏脉冲特征表征模型中的稀疏脉冲特征学习模型针对所述多层次融合特征信息进行稀疏脉冲编码并计算所述稀疏脉冲融合特征。最后采用分类算法根据所述波段信号对应的所述稀疏脉冲融合特征确定所述原始脑电信号相应的类别属性，实现对脑电信号的精准识别。所述脑电信号识别分类方法，在脉冲神经网络识别的基础上，将神经元信息传递产生脉冲时所表现出的显著稀疏现象建模融入脉冲编码中，使网络在学习挖掘所述脑电信号的特征时更具优势，从而实现对脑电信号可溯源分类的精准识别。
需要解释说明的是，所述稀疏脉冲特征表征模型
Figure 256435DEST_PATH_IMAGE021
由所述多层次特征表征模型
Figure 489970DEST_PATH_IMAGE022
，和具有
Figure 851681DEST_PATH_IMAGE023
个隐含神经元的
Figure 330329DEST_PATH_IMAGE024
个隐含层构成的所述稀疏脉冲特征学习模型
Figure 461096DEST_PATH_IMAGE025
构成。其中，
Figure 865533DEST_PATH_IMAGE026
分别表示从波段信号中挖掘提取的多域具象特征信息以及上下文长时抽象特征信息。
针对脑电信号的分类识别，给定原始脑电信号数据集，根据所述原始脑电信号中的标记点所在时刻，对具有
Figure 714540DEST_PATH_IMAGE027
个导联
Figure 229835DEST_PATH_IMAGE028
个采样点的所述原始脑电信号
Figure 480688DEST_PATH_IMAGE029
进行分段，获得所述波段信号
Figure 56026DEST_PATH_IMAGE030
,
Figure 392329DEST_PATH_IMAGE031
表示分段总数。给定稀疏脉冲特征表征模型
Figure 711315DEST_PATH_IMAGE021
，旨在学习到一个函数
Figure 816674DEST_PATH_IMAGE032
，能够将所述波段信号映射成稀疏脉冲融合特征
Figure 562913DEST_PATH_IMAGE020
：
Figure 120934DEST_PATH_IMAGE033
其中，
Figure 243610DEST_PATH_IMAGE034
表示所述稀疏脉冲特征表征模型
Figure 469055DEST_PATH_IMAGE021
的参数。
在利用稀疏脉冲特征表征模型
Figure 386196DEST_PATH_IMAGE021
确定所述波段信号相应的所述稀疏脉冲融合特征
Figure 189767DEST_PATH_IMAGE020
后，根据分类算法针对所述稀疏脉冲融合特征
Figure 850556DEST_PATH_IMAGE020
进行评分，从而可以确定相应的类别属性。
如图2所示，在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中，通过对所述原始脑电信号进行预处理，从中获取波段信号，包括：
S201：对所述原始脑电信号进行滤波与去噪处理，提纯生成纯净脑电信号。
可以对所述原始脑电信号进行带通滤波，将信号频率限制在预设的频带。之后，可以进一步利用陷波滤波器去除特定频点的工频干扰，从而实现对所述原始脑电信号的信号提纯。
例如，可以利用四阶巴特沃斯滤波器对所述原始脑电信号进行滤波将信号频率限制在0.5~64Hz，并利用五阶陷波滤波器去除50Hz工频干扰。
可以理解的是，带通滤波的频段范围以及去噪陷波滤波的特定频段可以根据实际情况进行灵活调整设定。
S202：确定所述纯净脑电信号中的多个标记点，截取多个所述标记点前后预设时长内的信号构成所述波段信号。
在实际应用场景下，一般将脑电信号在形态学上的峰值作为标记点以实现对脑电信号的脑电源定位。而针对脑电信号的研究表明，脑电源定位主要基于脑电信号上升沿的1/2到信号峰值部分，此段信号便于针对脑电信号进行准确定位。因此，可以根据所述纯净脑电信号中的多个标记点，截取多个所述标记点前后预设时长内的信号构成所述波段信号
Figure 664928DEST_PATH_IMAGE011
。其中，所述预设时长可以设定为100ms。
可以理解的是，所述预设时长可以根据实际情况进行灵活设定。
所述脑电信号识别分类方法中，在信号分段处理前，首先对所述原始脑电信号进行滤波提纯处理，以避免后续信号分段产生新的信号扰动，产生新的伪迹干扰；信号提纯后，再针对所述纯净脑电信号进行有针对性的分段截取，获取到用于具有信号分析意义的所述波段信号
Figure 18549DEST_PATH_IMAGE011
。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中，通过对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息，包括：
分别计算确定所述波段信号的时域特征、频域特征、时频域特征、空域特征及非线性特征，将所述时域特征、所述频域特征、所述时频域特征、所述空域特征及所述非线性特征联结以生成所述多域具象特征信息。
在一些可选实施例中，计算时域特征，包括：
基于时域分析方法计算所述波段信号
Figure 551161DEST_PATH_IMAGE011
的统计形态学特征表征
Figure 15641DEST_PATH_IMAGE035
，具体包括峰值、谷值、平均值、中值、标准差、峰谷值、斜度、峭度、峰谷值时间差、均方根、自相关系数、峰值因子、脉冲因子、形状因子、余隙因子、波形因子、整流平均值、Hjorth移动性、活动性以及复杂性。
在一些可选实施例中，计算频域特征，包括：
基于Welch方法计算功率谱密度：
首先对波段信号
Figure 684519DEST_PATH_IMAGE011
分成有一定重叠率长度为L的K段信号段
Figure 474621DEST_PATH_IMAGE036
，然后将窗函数
Figure 228950DEST_PATH_IMAGE037
应用于每段样本数据
Figure 497121DEST_PATH_IMAGE038
，对其加权后再计算各信号段周期图，然后计算每段样本数据对应功率谱。
需要注意的是，在计算频域特征时将不同节律下（除
Figure 286085DEST_PATH_IMAGE039
频段）的功率谱密度作为输入，基于上述的时域统计特征计算功率谱密度的统计特性作为频域具象化特征表征
Figure 981509DEST_PATH_IMAGE040
。
在一些可选实施例中，计算时频域特征，包括：
首先，基于小波包变换方法计算不同信号节律（除
Figure 223134DEST_PATH_IMAGE039
频段）下的小波系数并计算小波能量值。然后，基于上述时域统计特征计算小波系数的统计特性作为时频域具象化特征表征
Figure 29416DEST_PATH_IMAGE041
。
在一些可选实施例中，计算空域特征，包括：
基于共空间模式算法、动态时间规整及相关性分析算法，计算所述波段信号
Figure 938466DEST_PATH_IMAGE011
的具象化空域特征表征
Figure 40677DEST_PATH_IMAGE042
。需要特别注意的是，由于本说明书技术方案中所分析信号为短时波形信号，认为信号内部波形依从关系影响信号分析精度，因此，共空间模式算法特征数量的选择对应于信号内部采样点数的一半。
在一些可选实施例中，计算所述波段信号
Figure 35178DEST_PATH_IMAGE011
的非线性特征，包括：
首先，获取所述波段信号
Figure 379571DEST_PATH_IMAGE011
的非线性能量算子，并基于上述时域统计特征计算非线性能量算子的统计矩，构成所述波段信号
Figure 143128DEST_PATH_IMAGE011
的非线性特征表征
Figure 914775DEST_PATH_IMAGE043
。
将所述时域特征
Figure 396572DEST_PATH_IMAGE035
、所述频域特征
Figure 810236DEST_PATH_IMAGE040
、所述时频域特征
Figure 428299DEST_PATH_IMAGE041
、所述空域特征
Figure 636426DEST_PATH_IMAGE042
及所述非线性特征
Figure 339940DEST_PATH_IMAGE043
联结以生成所述多域具象特征信息，所述多域具象特征信息可以表示为：
Figure 26136DEST_PATH_IMAGE044
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中，利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息，包括：
利用预训练BERT模型对所述波段信号进行深度长时上下文特征表征，所述上下文长时抽象特征信息为：
Figure 764285DEST_PATH_IMAGE001
其中，
Figure 877735DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息；
Figure 68544DEST_PATH_IMAGE003
表示正向传递所获得抽象化特征表征：
Figure 558432DEST_PATH_IMAGE045
Figure 649622DEST_PATH_IMAGE005
表示反向传递所获得抽象化特征表征；
Figure 199552DEST_PATH_IMAGE046
其中，
Figure 877658DEST_PATH_IMAGE007
表示由残差连接和层归一化构成的两层全连接前馈网络层，
Figure 905657DEST_PATH_IMAGE008
表示多头注意力机制，
Figure 352819DEST_PATH_IMAGE009
、
Figure 73650DEST_PATH_IMAGE047
为所述预训练BERT模型处理数据的正、反向初始标识符，
Figure 239052DEST_PATH_IMAGE011
表示所述波段信号，
Figure 70742DEST_PATH_IMAGE048
，
Figure 372410DEST_PATH_IMAGE049
表示所述波段信号的正、反向位置编码信息取值范围。
在一些可选实施例中，
Figure 264143DEST_PATH_IMAGE008
可以表示Transformer模型中的多头注意力机制。在Transformer模型架构中，利用多头自注意力机制在参数量总体不变的情况下，多次拆分参数并将每组拆分参数映射到高维空间的不同子空间中计算注意力权重，从而关注所述波段信号
Figure 182421DEST_PATH_IMAGE011
的不同部分（包括全局信息和局部信息），从而提取更全面丰富的特征：
Figure 552222DEST_PATH_IMAGE050
Figure 973976DEST_PATH_IMAGE051
其中，
Figure 36610DEST_PATH_IMAGE052
，
Figure 911025DEST_PATH_IMAGE053
分别表示线性变换时
Figure 851562DEST_PATH_IMAGE054
（查询）、
Figure 127822DEST_PATH_IMAGE055
（键值）、
Figure 361357DEST_PATH_IMAGE056
（值）的参数矩阵。
为避免对复杂过程拟合程度不够，采用两层全连接前馈网络层
Figure 723069DEST_PATH_IMAGE007
来增强模型的拟合能力：
Figure 434673DEST_PATH_IMAGE057
其中，
Figure 831019DEST_PATH_IMAGE058
分别表示两层全连接前馈网络层的权重，
Figure 235455DEST_PATH_IMAGE059
分别表示两层全连接前馈网络层的偏差，
Figure 84463DEST_PATH_IMAGE060
表示经归一化后的注意力层特征映射。
一些可选实施例中，为记录所述波段信号
Figure 599758DEST_PATH_IMAGE011
中各采样点之间上下文相关性，针对所述波段信号
Figure 850610DEST_PATH_IMAGE011
中每个时刻下的采样点相应的位置编码信息，通过正弦/余弦函数引入位置编码：
Figure 691527DEST_PATH_IMAGE061
Figure 762252DEST_PATH_IMAGE062
其中：
Figure 81238DEST_PATH_IMAGE063
表示
Figure 452176DEST_PATH_IMAGE064
时刻在整个所述波段信号
Figure 198415DEST_PATH_IMAGE011
中的位置，
Figure 260830DEST_PATH_IMAGE065
表示位置编码的维度，
Figure 383507DEST_PATH_IMAGE066
表示偶数的维度，
Figure 343373DEST_PATH_IMAGE067
表示奇数维度，满足
Figure 260513DEST_PATH_IMAGE068
。
BERT模型能够有效地挖掘长时上下文依赖信息，其经过大规模无标注语料训练，得到的文本表示向量内含丰富语义表征信息，可直接基于文本训练后的模型运用到本任务中。所述脑电信号识别分类方法中，采用预训练BERT模型对所述波段信号进行处理，挖掘所述波段信号的上下文长时抽象特征信息，能够实现类间、类内脑电信号在周期内长时上下文依赖信息的有效表征。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中，基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息，包括：
基于元素相似算子对所述多域具象特征信息与所述上下文长时抽象特征信息进行融合以生成，以确定所述波段信号的多层次融合特征信息：
Figure 571409DEST_PATH_IMAGE013
其中，
Figure 232197DEST_PATH_IMAGE014
表示所述多层次融合特征信息，
Figure 46569DEST_PATH_IMAGE015
表示所述多域具象特征信息，
Figure 400190DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息，
Figure 932803DEST_PATH_IMAGE069
表示内积运算。
所述脑电信号识别分类方法通过内积运算的方式将所述多域具象特征信息与所述上下文长时抽象特征信息融合计算，生成所述多层次融合特征信息，利用所述多层次融合特征信息对所述脑电信号进行表征，这样的方式不仅能够提高信号分析精度，还具备泛化能力。
如图3所示，在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中，针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列，包括：
S301：构建载波信号，并利用过完备稀疏分解算法对所述载波信号进行分解以生成稀疏载波信号。
可以首先生成锯齿载波作为所述载波信号：
Figure 131703DEST_PATH_IMAGE070
其中，
Figure 66161DEST_PATH_IMAGE071
表示所述载波信号，
Figure 856262DEST_PATH_IMAGE072
表示所述载波信号的载波频率，所述载波频率的取值为所述波段信号
Figure 610592DEST_PATH_IMAGE011
的采样频率。
利用过完备稀疏分解算法对所述载波信号进行分解时，首先分别利用标准正交基
Figure 878762DEST_PATH_IMAGE073
对所述载波信号
Figure 667726DEST_PATH_IMAGE074
进行正交分解，得到
Figure 599036DEST_PATH_IMAGE075
个系数，选出
Figure 106240DEST_PATH_IMAGE076
个大系数继续做第一次分解以得到分解残余：
Figure 912522DEST_PATH_IMAGE077
选出一组系数
Figure 555993DEST_PATH_IMAGE078
使得第一组系数满足：
Figure 422318DEST_PATH_IMAGE079
在第一次分解之后，将第一次分解时所擦用的正交基从正交基组
Figure 151240DEST_PATH_IMAGE080
删除。
对于第
Figure 761213DEST_PATH_IMAGE081
次分解，则需要满足：
Figure 790348DEST_PATH_IMAGE082
以此类推，重复分解，直到找到第
Figure 561995DEST_PATH_IMAGE083
组系数
Figure 43792DEST_PATH_IMAGE084
。从而基于此得到所述载波信号的稀疏表示，即生成所述稀疏载波信号
Figure 191877DEST_PATH_IMAGE085
：
Figure 809940DEST_PATH_IMAGE086
S302：通过将所述稀疏载波信号与所述多层次融合特征信息进行比较，获得所述稀疏脉冲序列。
将所述稀疏载波信号
Figure 752488DEST_PATH_IMAGE085
与所述多层次融合特征信息
Figure 456002DEST_PATH_IMAGE014
进行比较，获得所述稀疏脉冲序列。
Figure 407778DEST_PATH_IMAGE087
如图4所示，在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类方法中，基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征，包括：
S401：构建全连接前馈神经网络，利用误差反向传播算法对所述全连接前馈神经网络进行优化。
针对所述全连接前馈神经网络，可以利用误差反向传播（Back-Propagation，BP）算法对所述脉冲神经网络的网络模型结构进行调整，从而确定所述全连接前馈神经网络的最优神经网络结构。
S402：基于LIF神经元模型对优化后的所述全连接前馈神经网络进行神经元转化，以构建生成脉冲神经网络。
对于优化后的所述全连接前馈神经网络，可以利用LIF（Leaky Integrate-and-Fire）神经元模型对其进行神经元转换，从而构建生成脉冲神经网络。
所述全连接前馈神经网络基于LIF神经元模型可以描述为：
Figure 378882DEST_PATH_IMAGE088
其中，
Figure 757911DEST_PATH_IMAGE089
为单个神经元的膜电压，
Figure 948721DEST_PATH_IMAGE090
表示静息态膜电压，
Figure 438608DEST_PATH_IMAGE091
表示时间常数，时间常数
Figure 31264DEST_PATH_IMAGE091
的值为膜电容
Figure 581194DEST_PATH_IMAGE092
和膜电阻
Figure 993720DEST_PATH_IMAGE093
的乘积，LIF神经元模型中突触前神经元输入加权得到膜电流：
Figure 287298DEST_PATH_IMAGE094
其中，
Figure 734460DEST_PATH_IMAGE095
为神经元的个数。
在LIF神经元模型中，当一个神经元发放脉冲后，其膜电位被重置为
Figure 455292DEST_PATH_IMAGE090
，则每个神经元的输入可以描述为：
Figure 620694DEST_PATH_IMAGE096
其中，
Figure 717963DEST_PATH_IMAGE097
表示
Figure 19631DEST_PATH_IMAGE098
时刻激活脉冲的狄拉克函数，
Figure 911364DEST_PATH_IMAGE099
表示脉冲强度。
如图5所示，为经过LIF神经元模型转换后所构建的四层的脉冲神经网络。所述脉冲神经网络包括输入层、隐含层1、隐含层2以及输出层。
S403：利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性映射。
利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，生成非线性映射特征
Figure 298483DEST_PATH_IMAGE100
：
Figure 435328DEST_PATH_IMAGE101
其中，
Figure 857082DEST_PATH_IMAGE018
代表网络层数。
S404：通过突触内部可调节机制对所述脉冲神经网络的网络内部参数进行优化学习，生成所述稀疏脉冲融合特征。
可以基于神经元脉冲时间依赖的突触可塑性（Spike Timing DependentPlasticity，STDP）学习机制对所述脉冲神经网络中的网络参数进行学习，以确定所述最优网络参数。
基于STDP机制，更新
Figure 919716DEST_PATH_IMAGE064
时刻所述脉冲神经网络中神经元参数值，优化网络参数：
Figure 794131DEST_PATH_IMAGE102
Figure 967624DEST_PATH_IMAGE103
其中，
Figure 243884DEST_PATH_IMAGE104
表示LIF神将元模型和STDP机制的相对整合分辨率，
Figure 477419DEST_PATH_IMAGE105
表示尺度因子，且
Figure 839131DEST_PATH_IMAGE106
，
Figure 816314DEST_PATH_IMAGE107
。
基于所述最优网络参数，可以利用所述脉冲神经网络对所述非线性映射特征
Figure 212660DEST_PATH_IMAGE100
进行更新，生成所述稀疏脉冲融合特征
Figure 882676DEST_PATH_IMAGE020
。
在所述脑电信号识别分类方法中，构建全连接前馈神经网络，利用BP算法获得全连接前馈神经网络的最优神经网络模型，基于LIF神经元模型将全连接前馈神经网络转换为脉冲神经网络，并基于STDP机制进行网络参数学习，可有效融合三代神经网络的优势，通过优化网络结构能大大提高脉冲神经网络的信号分析性能，通过调整优化网络参数，能够实现针对脉冲发放的精确时间的有效分析。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书实施例还提供了一种脑电信号识别分类系统。
参考图6，所述脑电信号识别分类系统，包括：
原始信号获取模块，用于获取待识别的原始脑电信号，通过对所述原始脑电信号进行预处理，从中获取波段信号；
具象特征表征模块，用于对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息；
抽象特征表征模块，用于利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息；
特征融合表征模块，用于基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息；
稀疏编码模块，用于针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列；
特征映射模块，用于基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征；
分类识别模块，用于基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述原始信号获取模块，还用于对所述原始脑电信号进行滤波与去噪处理，提纯生成纯净脑电信号；确定所述纯净脑电信号中的多个标记点，截取多个所述标记点前后预设时长内的信号构成所述波段信号。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述具象特征表征模块，还用于分别计算确定所述波段信号的时域特征、频域特征、时频域特征、空域特征及非线性特征，将所述时域特征、所述频域特征、所述时频域特征、所述空域特征及所述非线性特征联结以生成所述多域具象特征信息。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述抽象特征表征模块，还用于利用预训练BERT模型对所述波段信号进行深度长时上下文特征表征，所述上下文长时抽象特征信息为：
Figure 466104DEST_PATH_IMAGE001
其中，
Figure 246978DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息；
Figure 497831DEST_PATH_IMAGE003
表示正向传递所获得抽象化特征表征：
Figure 73169DEST_PATH_IMAGE045
Figure 660006DEST_PATH_IMAGE005
表示反向传递所获得抽象化特征表征；
Figure 978992DEST_PATH_IMAGE046
其中，
Figure 84351DEST_PATH_IMAGE007
表示由残差连接和层归一化构成的两层全连接前馈网络层，
Figure 830591DEST_PATH_IMAGE008
表示多头注意力机制，
Figure 919769DEST_PATH_IMAGE009
、
Figure 776867DEST_PATH_IMAGE047
为所述预训练BERT模型处理数据的正、反向初始标识符，
Figure 2312DEST_PATH_IMAGE011
表示所述波段信号，
Figure 919452DEST_PATH_IMAGE048
、
Figure 964769DEST_PATH_IMAGE049
表示所述波段信号的正、反向位置编码信息取值范围。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述特征融合表征模块，还用于基于元素相似算子对所述多域具象特征信息与所述上下文长时抽象特征信息进行融合以生成，以确定所述波段信号的多层次融合特征信息：
Figure 625557DEST_PATH_IMAGE013
其中，
Figure 705509DEST_PATH_IMAGE014
表示所述多层次融合特征信息，
Figure 793550DEST_PATH_IMAGE015
表示所述多域具象特征信息，
Figure 326163DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述稀疏编码模块，还用于构建载波信号，并利用过完备稀疏分解算法对所述载波信号进行分解以生成稀疏载波信号；通过将所述稀疏载波信号与所述多层次融合特征信息进行比较，获得所述稀疏脉冲序列。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述特征映射模块，还用于构建全连接前馈神经网络，利用误差反向传播算法对所述全连接前馈神经网络进行优化；基于LIF神经元模型对优化后的所述全连接前馈神经网络进行神经元转化，以构建生成脉冲神经网络；利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性映射；通过突触内部可调节机制对所述脉冲神经网络的网络内部参数进行优化学习，生成所述稀疏脉冲融合特征。
在本说明书一个或多个可选实施例所提供的一种脑电信号识别分类系统中，所述分类模块，还用于根据所述稀疏脉冲融合特征计算确定所述原始脑电信号对应不同类别属性的概率值：
Figure 790642DEST_PATH_IMAGE108
其中，
Figure 725100DEST_PATH_IMAGE017
表示所述概率值，
Figure 485508DEST_PATH_IMAGE018
表示所述脉冲神经网络的网络层数，
Figure 505417DEST_PATH_IMAGE019
表示可学习权重，
Figure 39166DEST_PATH_IMAGE020
表示所述稀疏脉冲融合特征。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的脑电信号识别分类方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的脑电信号识别分类方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（RandomAccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
在技术发展的初期，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field ProgrammableGate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种脑电信号识别分类方法，其特征在于，包括：
获取待识别的原始脑电信号，通过对所述原始脑电信号进行预处理，从中获取波段信号；
通过对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息；
利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息；
基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息；
针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列；
基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征；
基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。
2.根据权利要求1所述的方法，其特征在于，通过对所述原始脑电信号进行预处理，从中获取波段信号，包括：
对所述原始脑电信号进行滤波与去噪处理，提纯生成纯净脑电信号；
确定所述纯净脑电信号中的多个标记点，截取多个所述标记点前后预设时长内的信号构成所述波段信号。
3.根据权利要求1所述的方法，其特征在于，通过对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息，包括：
分别计算确定所述波段信号的时域特征、频域特征、时频域特征、空域特征及非线性特征，将所述时域特征、所述频域特征、所述时频域特征、所述空域特征及所述非线性特征联结以生成所述多域具象特征信息。
4.根据权利要求1所述的方法，其特征在于，利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息，包括：
利用预训练BERT模型对所述波段信号进行深度长时上下文特征表征，所述上下文长时抽象特征信息为：
Figure 581143DEST_PATH_IMAGE001
其中，
Figure 232704DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息；
Figure 481283DEST_PATH_IMAGE003
表示正向传递所获得抽象化特征表征：
Figure 115307DEST_PATH_IMAGE004
Figure 664100DEST_PATH_IMAGE005
表示反向传递所获得抽象化特征表征；
Figure 220983DEST_PATH_IMAGE006
其中，
Figure 222437DEST_PATH_IMAGE007
表示由残差连接和层归一化构成的两层全连接前馈网络层，
Figure 155758DEST_PATH_IMAGE008
表示多头注意力机制，
Figure 559058DEST_PATH_IMAGE009
、
Figure 21263DEST_PATH_IMAGE010
为所述预训练BERT模型处理数据的正、反向初始标识符，
Figure 510013DEST_PATH_IMAGE011
表示所述波段信号，
Figure 981446DEST_PATH_IMAGE012
、
Figure 239252DEST_PATH_IMAGE013
表示所述波段信号的正、反向位置编码信息取值范围。
5.根据权利要求1所述的方法，其特征在于，基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息，包括：
基于元素相似算子对所述多域具象特征信息与所述上下文长时抽象特征信息进行融合以生成，以确定所述波段信号的多层次融合特征信息：
Figure 403517DEST_PATH_IMAGE014
其中，
Figure 379563DEST_PATH_IMAGE015
表示所述多层次融合特征信息，
Figure 389108DEST_PATH_IMAGE016
表示所述多域具象特征信息，
Figure 501420DEST_PATH_IMAGE002
表示所述上下文长时抽象特征信息。
6.根据权利要求1所述的方法，其特征在于，针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列，包括：
构建载波信号，并利用过完备稀疏分解算法对所述载波信号进行分解以生成稀疏载波信号；
通过将所述稀疏载波信号与所述多层次融合特征信息进行比较，获得所述稀疏脉冲序列。
7.根据权利要求1所述的方法，其特征在于，基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征，包括：
构建全连接前馈神经网络，利用误差反向传播算法对所述全连接前馈神经网络进行优化；
基于LIF神经元模型对优化后的所述全连接前馈神经网络进行神经元转化，以构建生成脉冲神经网络；
利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性映射；
通过突触内部可调节机制对所述脉冲神经网络的网络内部参数进行优化学习，生成所述稀疏脉冲融合特征。
8.根据权利要求7所述的方法，其特征在于，基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性，包括：
根据所述稀疏脉冲融合特征计算确定所述原始脑电信号对应不同类别属性的概率值：
Figure 69543DEST_PATH_IMAGE017
其中，
Figure 532885DEST_PATH_IMAGE018
表示所述概率值，
Figure 346120DEST_PATH_IMAGE019
表示所述脉冲神经网络的网络层数，
Figure 578518DEST_PATH_IMAGE020
表示可学习权重，
Figure 84586DEST_PATH_IMAGE021
表示所述稀疏脉冲融合特征。
9.一种脑电信号识别分类系统，其特征在于，包括：
原始信号获取模块，用于获取待识别的原始脑电信号，通过对所述原始脑电信号进行预处理，从中获取波段信号；
具象特征表征模块，用于对所述波段信号进行时空频多域分析，确定所述波段信号的多域具象特征信息；
抽象特征表征模块，用于利用预训练BERT模型对所述波段信号进行处理以确定所述波段信号的上下文长时抽象特征信息；
特征融合表征模块，用于基于所述多域具象特征信息与所述上下文长时抽象特征信息确定所述波段信号的多层次融合特征信息；
稀疏编码模块，用于针对所述多层次融合特征信息进行稀疏脉冲编码，生成稀疏脉冲序列；
特征映射模块，用于基于全连接前馈神经网络构建脉冲神经网络，利用所述脉冲神经网络对所述稀疏脉冲序列进行非线性特征映射，并通过对所述脉冲神经网络的内部网络参数进行优化学习，生成稀疏脉冲融合特征；
分类识别模块，用于基于所述稀疏脉冲融合特征，计算确定所述原始脑电信号对应的类别属性。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
CN202211576082.5A 2022-12-09 2022-12-09 一种脑电信号识别分类方法、系统及电子设备 Active CN115587321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211576082.5A CN115587321B (zh) 2022-12-09 2022-12-09 一种脑电信号识别分类方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211576082.5A CN115587321B (zh) 2022-12-09 2022-12-09 一种脑电信号识别分类方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN115587321A true CN115587321A (zh) 2023-01-10
CN115587321B CN115587321B (zh) 2023-03-28

Family

ID=84783463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211576082.5A Active CN115587321B (zh) 2022-12-09 2022-12-09 一种脑电信号识别分类方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN115587321B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304676A (zh) * 2023-02-01 2023-06-23 瑞鞍星医疗科技(苏州)有限公司 脑活动状态分类模型训练方法、装置和设备
CN116720554A (zh) * 2023-08-11 2023-09-08 南京师范大学 一种基于fpga技术的多段线性拟合的神经元电路实现方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448749A (zh) * 2018-12-19 2019-03-08 中国科学院自动化研究所 基于有监督学习听觉注意的语音提取方法、系统、装置
CN114983439A (zh) * 2022-06-15 2022-09-02 四川省医学科学院·四川省人民医院 一种融合脉冲神经网络和二值动态网络的脑状态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448749A (zh) * 2018-12-19 2019-03-08 中国科学院自动化研究所 基于有监督学习听觉注意的语音提取方法、系统、装置
CN114983439A (zh) * 2022-06-15 2022-09-02 四川省医学科学院·四川省人民医院 一种融合脉冲神经网络和二值动态网络的脑状态识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304676A (zh) * 2023-02-01 2023-06-23 瑞鞍星医疗科技(苏州)有限公司 脑活动状态分类模型训练方法、装置和设备
CN116304676B (zh) * 2023-02-01 2023-11-17 瑞鞍星医疗科技(苏州)有限公司 脑活动状态分类模型训练方法、装置和设备
CN116720554A (zh) * 2023-08-11 2023-09-08 南京师范大学 一种基于fpga技术的多段线性拟合的神经元电路实现方法
CN116720554B (zh) * 2023-08-11 2023-11-14 南京师范大学 一种基于fpga技术的多段线性拟合的神经元电路实现方法

Also Published As

Publication number Publication date
CN115587321B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
Fulcher Feature-based time-series analysis
Subasi Practical machine learning for data analysis using python
CN115587321B (zh) 一种脑电信号识别分类方法、系统及电子设备
Lee et al. Human activity recognition from accelerometer data using Convolutional Neural Network
Lopac et al. Detection of non-stationary GW signals in high noise from Cohen’s class of time–frequency representations using deep learning
Daw et al. A review of symbolic analysis of experimental data
Chen et al. Latent feature learning for activity recognition using simple sensors in smart homes
CN111357051B (zh) 语音情感识别方法、智能装置和计算机可读存储介质
CN115238855A (zh) 基于图神经网络的时序知识图谱的补全方法及相关设备
CN113205820B (zh) 一种用于声音事件检测的声音编码器的生成方法
Jeong et al. Sensor-data augmentation for human activity recognition with time-warping and data masking
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN117216546A (zh) 模型训练方法、装置、电子设备、存储介质及程序产品
CN115409252A (zh) 基于lstm的植物生长数据多步预测方法、装置、介质及设备
Zhongkai et al. A comparative study: Toward an effective convolutional neural network architecture for sensor-based human activity recognition
Huang et al. Hinging hyperplanes for time-series segmentation
Adi et al. Design and optimization of a TensorFlow Lite deep learning neural network for human activity recognition on a smartphone
Zhang et al. Ctfnet: Long-sequence time-series forecasting based on convolution and time–frequency analysis
Song et al. A novel noise reduction technique for underwater acoustic signals based on dual‐path recurrent neural network
CN111488486A (zh) 一种基于多音源分离的电子音乐分类方法及系统
Fiorini et al. Stronger physical and biological measurement strategy for biomedical and wellbeing application by CICT
Ibrahim et al. Auto-encoder based deep learning for surface electromyography signal processing
Trirat et al. Universal Time-Series Representation Learning: A Survey
Rajasekhar et al. A novel speech emotion recognition model using mean update of particle swarm and whale optimization-based deep belief network
Gao et al. Data augmentation for time-series classification: An extensive empirical study and comprehensive survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant