CN116595455B - 基于时空频特征提取的运动想象脑电信号分类方法及系统 - Google Patents

基于时空频特征提取的运动想象脑电信号分类方法及系统 Download PDF

Info

Publication number
CN116595455B
CN116595455B CN202310630571.2A CN202310630571A CN116595455B CN 116595455 B CN116595455 B CN 116595455B CN 202310630571 A CN202310630571 A CN 202310630571A CN 116595455 B CN116595455 B CN 116595455B
Authority
CN
China
Prior art keywords
frequency
motor imagery
imagery electroencephalogram
feature extraction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310630571.2A
Other languages
English (en)
Other versions
CN116595455A (zh
Inventor
代成龙
曹健帅
李光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202310630571.2A priority Critical patent/CN116595455B/zh
Publication of CN116595455A publication Critical patent/CN116595455A/zh
Application granted granted Critical
Publication of CN116595455B publication Critical patent/CN116595455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明一种基于时空频特征提取的运动想象脑电信号分类方法及系统。包括：构建运动想象脑电信号分类网络，其中，利用运动想象脑电信号分类网络对所述运动想象脑电信号进行频率特征提取，以基于所提取的频率特征生成频率特征图组；对所述频率特征图组进行空间特征提取，以基于所提取的空间特征生成频率‑空间特征图组；对所述频率‑空间特征图组进行时间特征提取，以基于所提取的时间特征生成频率‑空间‑时间序列特征值组；对所述频率‑空间‑时间序列特征值组进行分类，以在分类后输出所述运动想象脑电信号的类别。本发明基于时空频特征提取，能有效实现对运动想象脑电信号的分类，提高运动想象脑电信号分类的泛化性与适用性。

Description

基于时空频特征提取的运动想象脑电信号分类方法及系统
技术领域
本发明涉及一种运动想象脑电信号分类方法及系统，尤其是一种基于时空频特征提取的运动想象脑电信号分类方法及系统。
背景技术
脑机接口是一种建立在人脑和计算机之间的技术，它实现了人脑与外界设备的交互与控制。经过三十多年的发展，脑机接口已经成为一项具有改变世界潜力的技术，特别是在人体康复与控制增强方面有着众多应用。脑电信号可基于对非侵入性获取，由于非侵入获取方式较为便携、经济与安全，因此，脑电信号被认为是实现脑机接口系统的有效途径。
脑机接口技术在智能医疗和康复行业应用显著，可帮助病人改善人体功能，可以提高或者恢复失去的身体功能，例如中风康复等。患有严重运动障碍的人，可以通过想象身体不同部位的移动对仪器发送控制命令，例如脑控轮椅。最近的研究表明，脑机接口也适用于健康的用户，例如情绪识别，或者是检测驾驶时的脑电信号来提醒司机的注意力丢失。
基于运动想象脑电信号的脑-机接口系统主要有以下三种范式：使用事件相关电位、稳态视觉诱发电位和运动想象，其中，运动想象是不需要依靠外部刺激，只需要想象人体某个部位的运动的过程，例如想象脚、舌头或手的运动，运动想象的内源性特征，使得构建一个独立的脑机接口系统成为可能。因此，运动想象脑电信号已经获得了极大的成功，例如帮助残疾人控制外部设备的人工手臂。
基于运动想象脑电信号的大脑信号，信噪比很低，容易受到生物伪像(例如，心跳、眨眼、舌头和肌肉的运动)的影响，受试者的专注度和情绪也使得脑电信号呈现不确定性；此外，由于脑电信号的高维不平稳性，使得处理和分类脑电信号成为了具有挑战性的任务。
近年来，许多先进、专业的信号解码方法被用于建立强大和通用的运动想象脑电信号脑机接口。传统的机器学习方法在信号处理阶段一般采用主成分分析或独立成分分析等技术来对噪声进行剔除，在特征提取阶段通常有共空间模式、滤波器组共空间模式等方法，一些经典的监督学习方法，如线性判别分析和支持向量机被用作特征分类。
在特征提取阶段，机器学习方法试图从不同的通道(电极)信号中提取和组合频带功率特征，但其有效性取决于特定于对象的频带。尽管机器学习取得了不错的效果，但是需要专业的知识进行手工设计，非常依赖特定领域的特征。深度学习在图像、语音处理等领域得到了广泛应用，并取得了很好的成绩。卷积神经网络(CNN)模型在图像中提取空间模式特征取得了优异的性能，递归神经网络(RNN)也被用于从语音、时间序列中发现时间特征，运动想象脑电信号的研究人员在空间特征与时间特征提取方面进行了大量的尝试，但任然无法与图像和语音识别等领域取得的成绩相比。
目前，很多研究只尝试在主题内(训练数据和测试数据来自同一受试者)，这不利于脑机接口实际应用中需要的跨主体，多分类场景。深度神经网络通过较少的预处理即可直接使用原始脑电数据进行端到端的学习，但是这些方法注重于细微的空间和时间信息，忽视了传统机器学习中的频率组合特征提取，因此，在复杂场景和小数据集下的分类准确率依然有很大的提高空间，难以满足目前的需求。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种基于时空频特征提取的运动想象脑电信号分类方法及系统，其基于时空频特征提取，能有效实现对运动想象脑电信号的分类，提高运动想象脑电信号分类的泛化性与适用性。
按照本发明提供的技术方案，一种基于时空频特征提取的运动想象脑电信号分类方法，所述运动想象脑电信号的分类方法包括：
构建运动想象脑电信号分类网络，以利用所构建的运动想象脑电信号分类网络对任一运动想象脑电信号进行分类，其中，
对运动想象脑电信号分类时，利用运动想象脑电信号分类网络对所述运动想象脑电信号进行频率特征提取，以基于所提取的频率特征生成频率特征图组；
对所述频率特征图组进行空间特征提取，以基于所提取的空间特征生成频率-空间特征图组；
对所述频率-空间特征图组进行时间特征提取，以基于所提取的时间特征生成频率-空间-时间序列特征值组；
对所述频率-空间-时间序列特征值组进行分类，以在分类后输出所述运动想象脑电信号的类别。
对运动想象脑电信号分类网络，包括依次连接的频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层，其中，
利用频率特征提取单元对一运动想象脑电信号进行频率特征提取，以生成频率特征图组；
利用空间特征提取单元对频率特征图组进行空间特征提取，以生成频率-空间特征图组；
利用时间特征提取单元对频率-空间特征图组进行时间特征提取，以生成频率-空间-时间序列特征值组；
利用全连接层对频率-空间-时间序列特征值组进行分类，以辨识并输出所述运动想象脑电信号的类别。
对频率特征提取单元，包括用于对运动想象脑电信号进行滤波的频率特征提取第一滤波单元以及用于捕捉频率特征提取第一滤波单元滤波后频率信息的频率特征提取第二滤波单元，其中，
对频率特征提取第一滤波单元，包括F1个矩形滤波器；对任一矩形滤波器，包括基于正弦函数的滤波单元以及用于平滑截断特性的汉明窗口单元；
对频率特征提取第二滤波单元，包括F2个二维卷积滤波器；
对运动想象脑电信号，利用频率特征提取第一滤波单元内F1个矩形滤波器分别进行滤波，以得到F1个脑电信号频率信息；
对F1个脑电信号频率信息，利用频率特征提取第二滤波单元内F2个二维卷积滤波器进行频率捕捉，以生成包含F2个频率特征图的频率特征图组。
对矩形滤波器，则有：
其中，g[t,f1,f2]为滤波单元，f1为低截止频率，f2为高截止频率，L为窗口长度，a0为窗口常数；
利用一矩形滤波器对所述运动想象脑电信号进行滤波时，则有其中，*为卷积运算，X[t]为运动想象脑电信号，/>为运动想象脑电信号X[t]经矩形滤波器滤波后的频率信息。
对空间特征提取单元，包括用于DC运算的深度卷积层以及用于PC运算的可分离卷积层，其中，
对频率特征图组内的任一频率特征图，深度卷积层对所述频率特征图基于逐行卷积提取运动想象脑电信号的空间特征，以生成深度运算特征图；
可分离卷积层对每个深度运算特征图进行PC卷积运算，以生成频率-空间特征图；
基于所有频率特征组的频率-空间特征图形成频率-空间特征图组。
对时间特征提取单元，包括至少三层LSTM结构单元，其中，
三层LSTM结构单元包括依次串接的第一层LSTM结构单元、第二层LSTM结构单元以及第三层LSTM结构单元；
第一层LSTM结构单元以及第二层LSTM结构单元配置为包含所有时间步骤的隐藏状态，第三层LSTM结构单元配置为仅包含最后一个时间步骤状态；
第一层LSTM结构单元与空间特征提取单元适配连接，第三层LSTM结构单元与全连接层适配连接。
对频率-空间-时间序列特征值组，全连接层利用激活函数Softmax进行分类。
构建运动想象脑电信号分类网络时，包括对所述运动想象脑电信号分类网络的训练步骤，所述训练步骤包括：
制作分类网络训练数据集，其中，分类网络训练数据集包括若干组运动想象脑电数据，每组运动想象脑电数据包括运动想象脑电数据体以及所述运动想象脑电数据体的标签分类，运动想象脑电数据体的大小为C×T，C为采集运动想象脑电数据体的通道数，T为对运动想象脑电数据体的采样频率与采样时间的乘积；
将分类网络训练数据集划分为训练集、验证集和测试集；
利用训练集对频率特征提取单元、空间特征提取单元以及时间特征提取单元进行训练，并利用验证集进行精度验证，其中，在训练时，包括网络训练第一阶段以及网络训练第二阶段；
在网络训练第一阶段，采用早期停止策略，以确定网络训练第一阶段模型参数；
在网络训练第二阶段，加载网络训练第一阶段的网络参数，并利用训练集进行训练且利用验证集进行精度验证，当验证集上的损失值小于网络训练第一阶段的训练集训练损失值时，停止训练；
利用测试集对运动想象脑电信号分类网络进行测试，计算所述运动想象脑电信号分类网络在测试集上的损失函数损失值，当所计算在测试集上的损失小于网络新南路第一阶段的训练集损失值时，则运动想象脑电信号分类网络构建完成，否则，返回网络训练第二阶段，直至所计算在测试集上的损失小于网络训练第一阶段的训练集损失值。
在网络训练第一阶段以及网络训练第二阶段，采用的学习批次大小为64，采用Adam算法作为优化算法，学习率设置为0.001，参数初始化采用标准Glorot方法。
一种基于时空频特征提取的运动想象脑电信号分类系统，包括运动想象脑电信号分类处理器，其中，
对任一运动想象脑电信号，所述运动想象脑电信号分类处理器利用上述所述的分类方法进行分类，以在分类后确定所述运动想象脑电信号的类别。
本发明的优点：对运动想象脑电信号，利用构建的运动想象脑电信号分类网络依次进行频率特征提取、空间特征提取以及时间特征提取，并在时间特征提取后分类后即可确定运动想象脑电信号，即能有效实现对运动想象脑电信号的分类，提高运动想象脑电信号分类的泛化性与适用性。
附图说明
图1为本发明利用运动想象脑电信号分类网络对运动想象脑电信号进行分类的一种架构示意图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
为了能有效实现对运动想象脑电信号的分类，提高运动想象脑电信号分类的泛化性与适用性，对基于时空频特征提取的运动想象脑电信号分类方法，本发明的一种实施例中，所述运动想象脑电信号的分类方法包括：
构建运动想象脑电信号分类网络，以利用所构建的运动想象脑电信号分类网络对任一运动想象脑电信号进行分类，其中，
对运动想象脑电信号分类时，利用运动想象脑电信号分类网络对所述运动想象脑电信号进行频率特征提取，以基于所提取的频率特征生成频率特征图组；
对所述频率特征图组进行空间特征提取，以基于所提取的空间特征生成频率-空间特征图组；
对所述频率-空间特征图组进行时间特征提取，以基于所提取的时间特征生成频率-空间-时间序列特征值组；
对所述频率-空间-时间序列特征值组进行分类，以在分类后输出所述运动想象脑电信号的类别。
运动想象脑电信号可基于现有常用的EEG(Electroencephalography，EEG)设备获取，EGG设备的类型以能满足获取所需的运动想象脑电信号为准。针对运动想象脑电信号的特性，本发明构建用于对运动想象脑电信号进行时空频特征提取的运动想象脑电信号分类网络，其中，对一运动想象脑电信号，所述运动想象脑电信号分类网络在进行频率特征提取后得到频率特征图组、在进行空间特征提取后得到频率-空间特征图组以及在时间特征提取后得到频率-空间-时间序列特征值组，将生成的频率-空间-时间序列特征值组进行分类，即可确定当前运动想象脑电信号的类别。
下面对运动想象脑电信号分类网络的构成，以及进行频率特征、空间特征、时间特征提取、特征提取后分类的方式以及过程进行具体说明。
本发明的一种实施例中，对运动想象脑电信号分类网络，包括依次连接的频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层，其中，
利用频率特征提取单元对一运动想象脑电信号进行频率特征提取，以生成频率特征图组；
利用空间特征提取单元对频率特征图组进行空间特征提取，以生成频率-空间特征图组；
利用时间特征提取单元对频率-空间特征图组进行时间特征提取，以生成频率-空间-时间序列特征值组；
利用全连接层对频率-空间-时间序列特征值组进行分类，以辨识并输出所述运动想象脑电信号的类别。
图1中示出了运动想象脑电信号分类网络的一种实施例，图中，包括频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层，下面对包括频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层的情况，以及相对应的工作过程进行进一步地说明。图1中的IFB即为Interpretable Filter Bank。
本发明的一种实施例中，对频率特征提取单元，包括用于对运动想象脑电信号进行滤波的频率特征提取第一滤波单元以及用于捕捉频率特征提取第一滤波单元滤波后频率信息的频率特征提取第二滤波单元，其中，
对频率特征提取第一滤波单元，包括F1个矩形滤波器；对任一矩形滤波器，包括基于正弦函数的滤波单元以及用于平滑截断特性的汉明窗口单元；
对频率特征提取第二滤波单元，包括F2个二维卷积滤波器；
对运动想象脑电信号，利用频率特征提取第一滤波单元内F1个矩形滤波器分别进行滤波，以得到F1个脑电信号频率信息；
对F1个脑电信号频率信息，利用频率特征提取第二滤波单元内F2个二维卷积滤波器进行频率捕捉，以生成包含F2个频率特征图的频率特征图组。
对运动想象脑电信号，利用频率特征提取第一滤波单元以及频率特征提取第二滤波单元依次处理，以生成频率特征图组。在频率特征提取第一滤波单元内，包括F1个矩形滤波器，F1个矩形滤波器一般采用相同的形式，但每个矩形滤波器滤波的频率不同。对频率特征提取第二滤波单元，包括F2个二维卷积滤波器，二维卷积滤波器的大小一般与计算机等设备的计算性能有关，二维卷积滤波器的卷积核大小可根据实际需要选择，如可为64或其他数量。
本发明的一种实施例中，对矩形滤波器，则有：
其中，g[t,f1,f2]为滤波单元，f1为低截止频率，f2为高截止频率，L为窗口长度，a0为窗口常数；
利用一矩形滤波器对所述运动想象脑电信号进行滤波时，则有其中，*为卷积运算，X[t]为运动想象脑电信号，/>为运动想象脑电信号X[t]经矩形滤波器滤波后的频率信息。
具体实施时，滤波单元g[t,f1,f2]是可微分的。为了平滑滤波单元g[t,f1,f2]的截断特性，可在滤波单元g[t,f1,f2]上乘上汉明窗口ω[t]，窗口常数a0一般可取0.53836。每个矩形滤波器内的低截止频率f1、高截止频率f2可经下述的网络训练后得到。
对加载到所述频率特征提取第一滤波单元的运动想象脑电信号，所述运动想象脑电信号的大小可为C×T，也即运动想象脑电信号可视为C×T的矩阵，其中，C为采集运动想象脑电数据体的通道数，T为对运动想象脑电数据体的采样频率与采样时间的乘积；对通道数C，具体是指采集所述运动想象脑电数据体时使用的电极数目，对于运动想象脑电数据体的采样频率、采样时间可根据实际需要选择确定。运动想象脑电数据体即为采集可表征运动想象的脑电信号。
对C×T的运动想象脑电信号，利用汉明窗口ω[t]平滑滤波单元g[t,f1,f2]的截断特性时，汉明窗口ω[t]的窗口长度L，一般可配置L与T相等。
对大小为C×T的运动想象脑电信号，经频率特征提取第一滤波单元进行滤波处理后，可得到(C，T，F1)，(C，T，F1)即为得到包含F1个频率且大小为C×T的特征图。接着使用F2个二维卷积滤波器来捕捉来自上一层的频率信息(C，T，F1)。图1中，在频率特征提取单元内，靠近空间特征提取单元的部分即为频率特征提取第二滤波单元，远离空间特征提取单元的部分即为频率特征提取第一滤波单元。
对频率特征提取第二滤波单元内的二维卷积滤波器，可采用调用现有常用的卷积滤波器方式实现，其中，采用调用卷积滤波器实现时，具体方法可为：使用深度学习框架tensorflow2.4中的api：Conv2D(具体信息可以访问https://tensorflow.google.cn/api_docs)。具体地，深度学习框架TensorFlow2.4是一个开源的机器学习框架，被广泛用于构建和训练人工智能模型，提供了一系列工具和函数，使得开发者可以轻松地创建、训练和部署机器学习模型。当然，具体实施时，还可以采用调用或其他方式实现卷积滤波器，具体对卷积滤波器的实施方式可根据需要选择，以能满足形成所需的频率特征提取第二滤波单元为准。
经频率特征提取第二滤波单元内F2个二维卷积滤波器对频率捕捉时，最终生成包含F2个频率特征图的频率特征图组，此时，频率特征图组可表示为(C，T，F2)。
具体实施时，对频率特征提取第一滤波单元内矩形滤波器的数量F1、频率特征提取第二滤波单元内二维卷积滤波器的数量F2一般可根据实际需要选择，如F1的取值可为64、32或16；F2的取值可为8、16或32。工作时，可根据运动想象脑电信号所输出的分类精度对F1、F2的取值进行微调，具体微调以能满足对运动想象脑电信号分类精度的需求为准。
具体实施时，F1个脑电信号频率信息在经F2个二维卷积滤波器进行处理前，以及经每个二维卷积滤波器卷积处理后均需进行批量归一化处理，图1中，频率特征提取第二滤波单元内，每个二维卷积滤波器后需连接一批量归一化处理单元；对F1个矩形滤波器，每个矩形滤波器后均需连接一批量归一化处理单元。
批量归一化(Batch Normalization)是一种在神经网络中常用的技术，用于加速网络的训练过程并提高模型的性能，其作用是对神经网络的中间层进行标准化处理，使得输入数据具有零均值和单位方差的分布，这有助于解决训练过程以及分类过程中的梯度消失和梯度爆炸问题，提高梯度的传播效率，加速模型的收敛。
具体实施时，在深度学习框架TensorFlow2.4中，可通过使用tf.keras.layers.BacthNormalization层实现批量归一化，所述批量归一化处理的激活函数可配置为指数线性单元(ELU)，深度学习框架TensorFlow2.4中可以使用tf.kras.activations模块中的函数来实现相应的激活函数。当然，具体实施时，还可以采用其他方式实现批量归一化处理的批量归一化能力，具体可以实现方式可根据需要选择。
由上述说明可知，对批量归一化处理，在采用调用方式实现批量归一化处理后，需要配置批量归一化处理激活函数。配置批量归一化处理的激活函数后，在对运动想象脑电信号进行分类时，批量归一化处理的具体方式以及过程均与现有相一致，此处不再赘述。
由上述说明可知，在频率特征提取单元内，对由F1个矩形滤波器提取的频率信息(C，T，F1)需分别经批量归一化处理后加载到对应的二维卷积滤波器，每个二维卷积滤波器均对频率信息(C，T，F1)进行卷积运算处理，卷积运算处理的具体方式可参考上述调用具体情况，此处不再详述。经F2个二维卷积滤波器在卷积处理并分别经批量归一化处理后，即可生成频率特征图组(C，T，F2)。
本发明的一种实施例中，对空间特征提取单元，包括用于DC运算的深度卷积层以及用于PC运算的可分离卷积层，其中，
对频率特征图组内的任一频率特征图，深度卷积层对所述频率特征图基于逐行卷积提取运动想象脑电信号的空间特征，以生成深度运算特征图；
可分离卷积层对每个深度运算特征图进行PC卷积运算，以生成频率-空间特征图；
基于所有频率特征组的频率-空间特征图形成频率-空间特征图组。
图1中，空间特征提取单元包括至少一个深度卷积层和至少一个可分离卷积层，也即基于拆分运算思想的深度可分离卷积(Depthwise Separable Convolution)将卷积运算分成了两个简单卷积运算，即先做DC(Depthwise Convolution)运算，然后做PC(PointwiseConvolution)运算，DC运算对每个特征层分别使用一个卷积核，然后将所有卷积核的输出拼接叠加在特征层维度，所述特征层即为频率特征提取单元加载包含F2个频率特征图的频率特征图组。DC运算没有整合通道上的特征信息，而后的PC运算弥补这个缺点。
具体实施时，对深度卷积层，可使用深度学习框架tensorflow2.4中的api：DepthwiseConv2D，也即可采用直接调用方式使用。对可分离卷积层，调用的方法为深度学习框架tensorflow2.4中的api：SeparableConv2D(具体信息可以访问https://tensorflow.google.cn/api_docs)。当然，深度卷积层、可分离卷积层还可以采用其他的技术手段实现，具体以能形成所需的空间特征提前单元为准。
深度卷积层使用逐行卷积法进行空间特征的提取，为了获得所需的空间滤波器数量，在所述深度卷积层内需设置深度参数D，深度参数D的大小一般优选与运动想象脑电信号内的通道数C相一致，深度卷积层的卷积核大小可为(C，1)。深度卷积层对频率特征图组(C，T，F2)内的每个频率特征图进行空间特征提取，以得到(1，T，D)的特征图。
图1中，对深度卷积层卷积运算的结果，还需要进行逐通道卷积处理，以在逐通道卷积后再送入可分离卷积层内。对逐通道卷积处理，图1中示出了包括空间特征提取第一批量归一化处理单元、空间特征提取第一平均池化处理单元以及空间特征提取第一丢弃处理单元的一种实施例方式。
空间特征提取第一批量归一化处理单元的具体情况可参考上述说明，也即可将空间特征提取第一批量归一化处理单元的激活函数配置为指数线性单元(ELU)。
空间特征提取第一平均池化处理单元用于实现平均池化，平均池化(AveragePooling)是神经网络中常用的池化操作之一，用于减少特征图的维度和尺寸，从而降低计算复杂度并实现主要特征的提取，其作用于是将输入特征图划分为不重叠的矩形区域，并对每个区域内的数值取平均值作为输出值。具体而言，平均池化通过对输入特征图的每个区域计算平均值来减少特征图的尺寸，这样可降低特征图的维度，提取出主要的特征信息，并减少后续的计算量。
在深度学习框架TensorFlow2.4中，可以采用调用tf.keras.layers.AveragePooling2D层来实现平均池化操作，以将输入特征图划分为固定大小的区域，并对每个区域内的数值取平均值作为输出值。当然，还可以采用其他方式来实现平均池化。对空间特征提取第一平均池化处理单元，一般需要设置在进行平均池化时的尺寸。
空间特征提取第一平均池化处理单元即池化层，池化层的尺寸是通过指定池化窗口的尺寸来确定的。一般而言，池化窗口的选择是根据以下原则进行的：
1)、特征保留：池化层的主要目的是对输入特征图进行下采样，减少特征图的空间尺寸。然而，希望在进行下采样的同时，尽可能地保留重要的特征信息。较小的池化窗口可以更细致地保留特征的细节，而较大的池化窗口会导致更严重的信息丢失。因此，选择适当的池化窗口大小是在保留关键特征的同时实现下采样的重要因素之一。
2)、计算资源和模型复杂度：池化窗口的大小还需要考虑计算资源的限制和模型复杂度。较大的池化窗口会导致更多的参数和计算量，增加模型的复杂度和训练时间。因此，在选择池化窗口大小时，需要在保持适当的特征保留的前提下，综合考虑计算资源的消耗。
3)、数据尺寸：池化窗口的大小应与输入数据的尺寸相匹配。如果输入特征图的尺寸不同，则可能需要不同的池化窗口大小。选择与输入数据尺寸相匹配的池化窗口大小有助于确保特征的均匀采样和平衡下采样。
总体而言，池化窗口的大小需要在特征保留、计算资源和数据尺寸等因素之间进行权衡。在实践中，常见的池化窗口大小为(1,4)或(1，8)，可以起到降低数据维度，提取更稳定的特征，加速计算等作用。
丢弃(Dropout)是一种常用的正则化技术，用于防止过拟合和提高模型的泛化能力。丢弃技术通过随机将神经网络中的一部分神经元设置为0来减少神经元之间的依赖关系，从而使得网络在训练过程中具有更好的鲁棒性和泛化能力。空间特征提取第一丢弃处理单元用于实现丢弃操作，在空间特征提取第一丢弃处理单元内需配置丢弃概率。
具体上述时，在深度学习框架TensorFlow2.4中，可采用调用tf.keras.layers.Dropout层的方式来实现丢弃，丢弃处理的丢弃概率一般均设置为0.5，将丢弃概率设置为0.5时，一般具有如下的好处：
1)、强化正则化效果：选择较大的丢弃概率(如0.5)可以增强神经网络的正则化效果。脑电信号数据通常包含较多的噪声和冗余信息，通过随机丢弃一半的神经元输出，可以迫使网络学习到更鲁棒的特征表示，减少过拟合的风险。
2)、减少神经元间的依赖关系：丢弃概率为0.5意味着在每次训练迭代中随机丢弃一半的神经元。这样的操作会减少神经元之间的依赖关系，使得网络中的不同部分可以独立地学习和调整。这有助于增加网络的稳定性和鲁棒性，使得网络对于输入数据的微小变化具有更好的适应能力。
3)、提高模型泛化能力：较大的丢弃概率可以帮助模型更好地泛化到新的脑电信号数据。脑电信号数据在不同实验或被试者之间可能存在一定的差异，而使用较大的丢弃概率可以使得模型学习到更一般化的特征表示，从而提高模型在新数据上的表现能力。
本发明的一种实施例中，经深度卷积层进行卷积计算后，可得到特征图(1，T，D)，沿着所得到特征图(1，T，D)的每个维度，依次经空间特征提取第一批量归一化处理单元、空间特征提取第一平均池化处理单元以及空间特征提取第一丢弃处理单元，其中，空间特征提取第一丢弃处理单元的丢弃概率可选为0.5；而空间特征提取第一平均池化处理单元的平均池层的大小可选为(1，4)。
对可分离卷积层，至少包括F3个深度卷积和1个点状卷积，其中，F3个深度卷积的卷积核大小可选为(1，16)，点状卷积的卷积核大小可选为(1，8)。通过可分离卷积层将特征图内部之间的关系优化组合到输出中，得到(1，T/4，F3)的特征图。也即基于上述参数配置，特征图(1，T，D)经空间特征提取第一批量归一化处理单元、空间特征提取第一平均池化处理单元、空间特征提取第一丢弃处理单元以及可分离卷积层处理后，即可得到(1，T/4，F3)的特征图组，也即特征图组的维度为(1，T/4，F3)。
具体地，在可分类卷积层，深度卷积即为DC(Depthwise Convolution)运算，点状卷积即为PC(Pointwise Convolution)运算。可分离卷积层内深度卷积的个数F3一般可取4、8、16、32或64中的一个，具体可以根据需要选择。
在经过可分离卷积层处理后，需再经1×1卷积处理，图1中，1×1卷积处理包括空间特征提取第二批量归一化处理单元、空间特征提取第二平均池化处理单元以及空间特征提取第二丢弃处理单元，其中，空间特征提取第二批量归一化处理单元、空间特征提取第二平均池化处理单元以及空间特征提取第二丢弃处理单元的目的或作用均可采用逐通道卷积处理的相应说明。本发明的一种实施例中，空间特征提取第二平均池化处理单元的平均池层大小可选为(1,8)，空间特征提取第二丢弃处理单元的丢弃概率可选为0.5，空间特征提取第二批量归一化处理单元的激活函数可选为指数线性单元(ELU)。
图1中，经1×1卷积处理后，空间特征提取单元即可提取得到频率-空间特征图组，并将所提取得到的频率-空间特征图组加载到时间特征提取单元。当空间特征提取单元采用上述参数配置时，则频率-空间特征图组可表示为(1，T/32，F3)。
本发明的一种实施例中，对时间特征提取单元，包括至少三层LSTM(Long Short-Term Memory，长短期记忆网络)结构单元，其中，
三层LSTM结构单元包括依次串接的第一层LSTM结构单元、第二层LSTM结构单元以及第三层LSTM结构单元；
第一层LSTM结构单元以及第二层LSTM结构单元配置为包含所有时间步骤的隐藏状态，第三层LSTM结构单元配置为仅包含最后一个时间步骤状态；
第一层LSTM结构单元与空间特征提取单元适配连接，第三层LSTM结构单元与全连接层适配连接。
具体地，对运动想象脑电信号依次进行频率特征以及空间特征提取后，频率-空间特征图组被送入一个包含三层LSTM结构的时间特征提取单元，以进行时间特征特征提取。具体实施时，对每层的LSTM结构单元，激活函数可设置为tanh，其中，LSTM调用的具体方法可为：使用深度学习框架tensorflow2.4中的api：LSTM(具体信息可以访问https://tensorflow.google.cn/api_docs)。当然，LSTM结构单元还可以采用其他实施方式实现，具体可根据实际需要选择，以能实现所需的LSTM结构单元为准。
由于在深度学习框架TensorFlow2.4中，LSTM层的API中的return_sequences参数用于控制LSTM层的输出，当return_sequences为True时，LSTM层的输出将包含所有时间步骤的隐藏状态，即每个时间步的输出都会被传递到下一个时间步骤，形成一个序列输出。当return_sequences为False时，LSTM层的输出仅包含最后一个时间步的隐藏状态，即只有最后一个时间步的输出会被传递到下一层，形成一个单一的输出。
本发明的一种实施例中，对时间特征提取单元内的三层LSTM结构单元，分别由两层的包含所有时间步骤的隐藏状态的LSTM(return_sequences＝True)和一层仅包含最后一个时间步骤状态的LSTM(return_sequences＝False)组成。具体实施时，三层的LSTM结构单元分别为第一层LSTM结构单元、第二层LSTM结构单元以及第三层LSTM结构单元，第一层LSTM结构单元以及第二层LSTM结构单元配置为包含所有时间步骤的隐藏状态，第三层LSTM结构单元配置为仅包含最后一个时间步骤状态。
下面对第一层LSTM结构单元、第二层LSTM结构单元以及第三层LSTM结构单元之间的连接配合与工作方式进行详细说明，具体地，对第一层LSTM结构单元、第二层LSTM结构单元以及第三层LSTM结构单元中的任意一个，输入数据的维度为(batch_size，time_steps，features)，其中，batch_size表示输入数据的数量，time_steps表示时间步骤的数量，features表示输入特征的数量。
对第一层LSTM结构单元，输出包括两个结果，所述输出的两个结果为：
隐藏状态(hidden state)：这是在所有时间步骤上生成的隐藏状态序列，维度为(batch_size，time_steps，hidden_units)，其中，hidden_units表示LSTM层的隐藏单元数量；
最终时间步的输出：这是在最后一个时间步骤上生成的输出，维度为(batch_size，hidden_units)。
第一层LSTM结构单元的输出结果将作为第二层LSTM结构单元的输入，对第二层LSTM结构单元，第二层LSTM结构单元接收第一层LSTM结构单元的隐藏状态序列作为输入，并输出两个结果：
隐藏状态(hidden state)：这是在所有时间步骤上生成的隐藏状态序列，维度为(batch_size，time_steps，hidden_units)。
最终时间步的输出：这是在最后一个时间步骤上生成的输出，维度为(batch_size，hidden_units)。
第二层LSTM结构单元的输出结果将作为第三层LSTM结构单元的输入，对第三层LSTM结构单元，仅接收第二层LSTM结构单元最终时间步的输出作为输入，并输出两个结果：
隐藏状态(hidden state)：由于这层仅包含最后一个时间步骤的状态，因此，隐藏状态序列的维度为(batch_size，hidden_units)；
最终时间步的输出：与隐藏状态相同，维度为(batch_size，hidden_units)。
上述维度中仅用于示出维度的格式或形式，如上述第三层LSTM结构单元第三层的最终时间步输出维度为(batch_size，hidden_units)，也即整个时间特征提取单元输出的形式可表示为(batch_size，hidden_units)。
基于上述说明的时间特征提取单元，利用三层依次串接的LSTM结构单元构成的时间特征提取单元就实现了时间特征的提取。每一层LSTM结构单元都会对输入数据进行处理，并通过隐藏状态和最终时间步的输出来传递信息，每个时间步骤都会更新隐藏状态，最后一层LSTM的隐藏状态和输出将成为时间特征提取单元的最终输出。
由上述说明，基于空间特征提取单元生成的频率-空间特征图组(1，T/4，F3)，则第一层LSTM结构单元的输入数据维度为(1，T/32，F3)，隐藏状态输出维度：(1，T/32，hidden_units1)，最终时间步输出维度：(1，hidden_units1)。具体地，输入数据维度为(1，T/32，F3)时，此时，输入数据的数量batch_size为1，时间步骤的数量time_steps为T/32，输入特征的数量features为F3，其他情况依次类推，此处不再一一举例说明。
对第二层LSTM结构单元，输入数据维度为(1，T/32，hidden_units1)，隐藏状态输出维度为(1，T/32，hidden_units2)，最终时间步输出维度为(1，hidden_units2)。
对第三层LSTM结构单元，输入数据维度为(1，hidden_units2)，隐藏状态输出维度：(1，hidden_units3)，最终时间步输出维度：(1，hidden_units3)。
在每层LSTM结构单元层中，输入数据的维度保持不变，而隐藏状态的维度与输入数据的时间步数相同，最终时间步的输出在每一层都会减少为一个单一的向量，其维度与隐藏单元的数量相同。因此，经过三层LSTM网络处理后，最终输出的维度是(1，hidden_units3)，也即频率-空间-时间序列特征值组的形式可表征为(1，hidden_units3)。其中，hidden_units3表示第三层LSTM结构单元的隐藏单元数量。一般地，hidden_units1和hidden_units2和hidden_units3的取值可均为10，当然，也可以为其他的数值，具体可以根据需要选择。
本发明的一种实施例中，对频率-空间-时间序列特征值组，全连接层的激活函数配置为Softmax，以利用全连接层内的激活函数Softmax进行分类。
具体实施时，频率-空间-时间序列特征值组被送入全连接层，全连接层的作用以及具体运算的方式均可与现有相一致，本发明的一种实施例中，用Softmax函数作为全连接层的激活函数，Softmax为现有常用的分类器，利用Softmax进行具体分类的方式以及过程可与现有相一致，也即经Softmax函数分类后即可得到运动想象脑电信号的类别。
本发明的一种实施例中，构建运动想象脑电信号分类网络时，包括对所述运动想象脑电信号分类网络的训练步骤，所述训练步骤包括：
制作分类网络训练数据集，其中，分类网络训练数据集包括若干组运动想象脑电数据，每组运动想象脑电数据包括运动想象脑电数据体以及所述运动想象脑电数据体的标签分类，运动想象脑电数据体的大小为C×T，C为采集运动想象脑电数据体的通道数，T为对运动想象脑电数据体的采样频率与采样时间的乘积；
将分类网络训练数据集划分为训练集、验证集和测试集；
利用训练集对频率特征提取单元、空间特征提取单元以及时间特征提取单元进行训练，并利用验证集进行精度验证，其中，在训练时，包括网络训练第一阶段以及网络训练第二阶段；
在网络训练第一阶段，采用早期停止策略，以确定网络训练第一阶段模型参数；
在网络训练第二阶段，加载网络训练第一阶段的网络参数，并利用训练集进行训练且利用验证集进行精度验证，当验证集上的损失值小于网络训练第一阶段的训练集训练损失值时，停止训练；
利用测试集对运动想象脑电信号分类网络进行测试，计算所述运动想象脑电信号分类网络在测试集上的损失函数损失值，当所计算在测试集上的损失小于网络新南路第一阶段的训练集损失值时，则运动想象脑电信号分类网络构建完成，否则，返回网络训练第二阶段，直至所计算在测试集上的损失小于网络训练第一阶段的训练集损失值。
由上述说明可知，构建运动想象脑电信号分类网络时，需要搭建频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层，其中，对频率特征提取单元，需要配置F1、F2的取值；对空间特征提取单元，需要配置深度参数D以及F3的取值；对时间特征提取单元，需要配置hidden_units1和hidden_units2和hidden_units3的取值。对全连接层，需要配置Softmax作为激活函数。
此外，在空间特征提取单元内，对逐通道卷积处理，还需要配置空间特征提取第一批量归一化处理单元的激活函数，配置空间特征提取第一平均池化处理单元的平均池化的尺寸以及配置空间特征提取第一丢弃处理单元的丢弃概率。对1×1卷积，还需要配置空间特征提取第二批量归一化处理单元的激活函数，配置空间特征提取第二平均池化处理单元的平均池化的尺寸以及配置空间特征提取第二丢弃处理单元的丢弃概率。逐通道卷积处理、1×1卷积的具体配置的情况，可参考上述说明，此处不再一一列举。
对频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层配置完成后，制作分类网络训练数据集时，需要采用非侵入方式获取若干组运动想象脑电数据，与需进行分类的运动想象脑电信号相一致，运动想象脑电数据体需要利用EEG设备获取。
对EEG设备一般可包括脑电帽、采样信号放大器等，当然，一般还需要配置采样率等参数，并确保被试者放松、舒适地坐在椅子上。具体地，需要在被试头皮上放置至少一颗参考电极，用来作为EEG信号的基准。参考电极通常可以放置在头部其他区域，例如在头皮上与脑电采集电极相距较远的位置，以便提供一个无关的参考信号。常见的参考电极放置位置包括头皮的额部、颞部、顶部或后部等位置，具体可以根据需要选择。
制定一组运动想象任务，以此来检测被试的运动想象意图。例如，让被试者想象握拳或抬手等。确定试次(trial)：确定每个试次的长度和数量，试次通常以想象任务为基础，每个试次之间要有间隔时间以便被试者休息和恢复。采集EEG数据：开始采集EEG信号，每个试次的采集时间为数秒到数十秒(时间根据具体采集使用的运动想象任务而定)。
由于每组运动想象脑电数据基于指定的运动想象任务，因此，可确定运动想象脑电数据体的标签分类，所述标签分类如为左手，右手，双脚，舌头，休息等。运动想象脑电数据体即为上述提到的C×T大小的采集生成的数据。
在网络训练第一阶段以及网络训练第二阶段，采用的学习批次大小为64，采用Adam算法作为优化算法，学习率设置为0.001，参数初始化采用标准Glorot方法，通过配置学习批次、优化算法、学习率以及参数初始化方法，以能保证网络训练第一阶段以及网络训练第二阶段的正常运行。
训练时，通常将运动想象数据分为训练集，验证集和测试集。网络的训练方法为早期停止：1)、网络训练第一阶段，通过早期停止策略用训练集训练模型，并且监测验证集的精度。当验证集精度历经200轮训练不增加时，就满足早期停止条件。此时，将运动想象脑电信号分类网络内频率特征提取单元、空间特征提取单元、时间特征提取单元相应的参数回滚到当验证集达到最佳精度时的网络参数；
2)、网络训练第二阶段，加载第网络训练第一阶段保存的网络参数，继续在验证集和训练集上训练，当验证集的损失值小于等于网络训练第一阶段的训练集损失值时，停止训练并保存模型。
利用测试集对运动想象脑电信号分类网络测试时，采用交叉熵损失函数(cross-entropy loss)来衡量模型预测结果与真实标签之间的差距，也即计算的损失函数损失值即为交叉熵函数的损失值。
交叉熵函数的作用是在训练过程中作为目标函数(损失函数)，引导神经网络根据真实标签进行调整，使得模型的预测结果与真实情况更加接近。通过最小化交叉熵损失，神经网络可以学习到更准确的分类决策边界，并提高分类任务的准确性。
由上述说明可知，频率特征提取第一滤波单元采用矩形滤波器时，矩形滤波器的参数量少，收敛迅速，更加适合学习频率信息。在空间特征提取过程中，结合了深度可分离卷积(Depthwise Separable Convolution,DSC)减少参数量，使用紧凑的卷积网络进行空间特征提取，具有较少的层和参数，从而避免了训练过程中可能出现的过拟合问题，并迅速学习不同的数据。使用了LSTM进行时域信息的处理，它可以提取比传统RNN模型更好的特征。
本发明利用运动想象脑电信号分类网络能够解码运动想象脑电信号，不需要专业人士进行复杂的预处理，训练生成运动想象脑电信号分类网络后，将运动想象脑电信号分类网络的超参数固定，可消除乏味的依赖主体的模型选择，具有很强的泛化性和适用性。
由上述说明，对运动想象脑电信号分类时，本发明的一种实施例中，对输入大小为C×T的运动想象脑电信号的分类过程为：经频率特征提取第一滤波单元进行滤波处理后，可得到(C，T，F1)的特征图，接着通过F2个二维卷积滤波器来捕捉来自上一层(C，T，F1)的频率信息，经频率特征提取第二滤波单元内F2个二维卷积滤波器对频率捕捉时，最终生成包含F2个频率特征图的频率特征图组，频率特征图组可表示为(C，T，F2)。
经过深度参数为D的深度卷积层，对频率特征图组(C，T，F2)内的每个频率特征图进行空间特征提取，以得到(1，T，D)的特征图。沿着所得到特征图(1，T，D)的每个维度，通过空间特征提取第一批量归一化处理单元提高分类过程的稳定性和效率，通过空间特征提取第一平均池化处理单元(大小(1，4))可减少运动想象脑电信号数据的采样率，得到(1，T/4，D)的特征图。
再经过可分离卷积层，它由F3个深度卷积(大小为(1，16))和大小为(1，8)的点状卷积组成。这允许将特征图内部之间的关系优化组合到输出中，得到(1，T/4，F3)的特征图，批量归一化，平均汇集层(大小为(1,8))和丢弃技术(丢弃概率为0.5)也被依次应用，得到频率-空间特征图组(1，T/32，F3)。
在使用上述两层方法提取频率和空间信息后，特征图(1，T/32，F3)被送入一个三层的LSTM结构进行时间特征提取，得到频率-空间-时间序列特征值组被送入一个全连接的(FC)层，然后基于全连接层内激活函数Softmax进行分类，提取的特征值作为运动想象脑电信号的分类结果。
综上，对基于时空频特征提取的运动想象脑电信号分类系统，本发明的一种实施例中，包括运动想象脑电信号分类处理器，其中，
对任一运动想象脑电信号，所述运动想象脑电信号分类处理器利用上述所述的分类方法进行分类，以在分类后确定所述运动想象脑电信号的类别。
具体地，运动想象脑电信号分类处理器可采用现有常用的处理器，如可为计算机设备，具体形式可根据需要选择。运动想象脑电信号分类处理器实现对运动想象脑电信号进行分量的方法以及过程可参考上述说明，此处不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于时空频特征提取的运动想象脑电信号分类方法，其特征是，所述运动想象脑电信号的分类方法包括：
构建运动想象脑电信号分类网络，以利用所构建的运动想象脑电信号分类网络对任一运动想象脑电信号进行分类，其中，
对运动想象脑电信号分类时，利用运动想象脑电信号分类网络对所述运动想象脑电信号进行频率特征提取，以基于所提取的频率特征生成频率特征图组；
对所述频率特征图组进行空间特征提取，以基于所提取的空间特征生成频率-空间特征图组；
对所述频率-空间特征图组进行时间特征提取，以基于所提取的时间特征生成频率-空间-时间序列特征值组；
对所述频率-空间-时间序列特征值组进行分类，以在分类后输出所述运动想象脑电信号的类别；
对运动想象脑电信号分类网络，包括依次连接的频率特征提取单元、空间特征提取单元、时间特征提取单元以及全连接层，
对频率特征提取单元，包括用于对运动想象脑电信号进行滤波的频率特征提取第一滤波单元以及用于捕捉频率特征提取第一滤波单元滤波后频率信息的频率特征提取第二滤波单元，其中，
对频率特征提取第一滤波单元，包括F1个矩形滤波器；对任一矩形滤波器，包括基于正弦函数的滤波单元以及用于平滑截断特性的汉明窗口单元；
对频率特征提取第二滤波单元，包括F2个二维卷积滤波器；
对运动想象脑电信号，利用频率特征提取第一滤波单元内F1个矩形滤波器分别进行滤波，以得到F1个脑电信号频率信息；
对F1个脑电信号频率信息，利用频率特征提取第二滤波单元内F2个二维卷积滤波器进行频率捕捉，以生成包含F2个频率特征图的频率特征图组；
对空间特征提取单元，包括用于DC运算的深度卷积层以及用于PC运算的可分离卷积层；
对时间特征提取单元，包括至少三层LSTM结构单元，其中，
三层LSTM结构单元包括依次串接的第一层LSTM结构单元、第二层LSTM结构单元以及第三层LSTM结构单元；
第一层LSTM结构单元以及第二层LSTM结构单元配置为包含所有时间步骤的隐藏状态，第三层LSTM结构单元配置为仅包含最后一个时间步骤状态；
第一层LSTM结构单元与空间特征提取单元适配连接，第三层LSTM结构单元与全连接层适配连接。
2.根据权利要求1所述基于时空频特征提取的运动想象脑电信号分类方法，其特征是，
利用频率特征提取单元对一运动想象脑电信号进行频率特征提取，以生成频率特征图组；
利用空间特征提取单元对频率特征图组进行空间特征提取，以生成频率-空间特征图组；
利用时间特征提取单元对频率-空间特征图组进行时间特征提取，以生成频率-空间-时间序列特征值组；
利用全连接层对频率-空间-时间序列特征值组进行分类，以辨识并输出所述运动想象脑电信号的类别。
3.根据权利要求2所述基于时空频特征提取的运动想象脑电信号分类方法，其特征是，对矩形滤波器，则有：
其中，g[t,f1,f2]为滤波单元，f1为低截止频率，f2为高截止频率，L为窗口长度，a0为窗口常数；
利用一矩形滤波器对所述运动想象脑电信号进行滤波时，则有其中，*为卷积运算，X[t]为运动想象脑电信号，X为运动想象脑电信号X[t]经矩形滤波器滤波后的频率信息。
4.根据权利要求2所述基于时空频特征提取的运动想象脑电信号分类方法，其特征是，
对频率特征图组内的任一频率特征图，深度卷积层对所述频率特征图基于逐行卷积提取运动想象脑电信号的空间特征，以生成深度运算特征图；
可分离卷积层对每个深度运算特征图进行PC卷积运算，以生成频率-空间特征图；
基于所有频率特征组的频率-空间特征图形成频率-空间特征图组。
5.根据权利要求2所述基于时空频特征提取的运动想象脑电信号分类方法，其特征是，对频率-空间-时间序列特征值组，全连接层利用激活函数Softmax进行分类。
6.根据权利要求2至5任一项所述基于时空频特征提取的运动想象脑电信号分类方法，其特征是，构建运动想象脑电信号分类网络时，包括对所述运动想象脑电信号分类网络的训练步骤，所述训练步骤包括：
制作分类网络训练数据集，其中，分类网络训练数据集包括若干组运动想象脑电数据，每组运动想象脑电数据包括运动想象脑电数据体以及所述运动想象脑电数据体的标签分类，运动想象脑电数据体的大小为C×T，C为采集运动想象脑电数据体的通道数，T为对运动想象脑电数据体的采样频率与采样时间的乘积；
将分类网络训练数据集划分为训练集、验证集和测试集；
利用训练集对频率特征提取单元、空间特征提取单元以及时间特征提取单元进行训练，并利用验证集进行精度验证，其中，在训练时，包括网络训练第一阶段以及网络训练第二阶段；
在网络训练第一阶段，采用早期停止策略，以确定网络训练第一阶段模型参数；
在网络训练第二阶段，加载网络训练第一阶段的网络参数，并利用训练集进行训练且利用验证集进行精度验证，当验证集上的损失值小于网络训练第一阶段的训练集训练损失值时，停止训练；
利用测试集对运动想象脑电信号分类网络进行测试，计算所述运动想象脑电信号分类网络在测试集上的损失函数损失值，当所计算在测试集上的损失小于网络新南路第一阶段的训练集损失值时，则运动想象脑电信号分类网络构建完成，否则，返回网络训练第二阶段，直至所计算在测试集上的损失小于网络训练第一阶段的训练集损失值。
7.根据权利要求6所述基于时空频特征提取的运动想象脑电信号分类方法，其特征是，在网络训练第一阶段以及网络训练第二阶段，采用的学习批次大小为64，采用Adam算法作为优化算法，学习率设置为0.001，参数初始化采用标准Glorot方法。
8.一种基于时空频特征提取的运动想象脑电信号分类系统，其特征是，包括运动想象脑电信号分类处理器，其中，
对任一运动想象脑电信号，所述运动想象脑电信号分类处理器利用上述权利要求1～权利要求7中任一项所述的分类方法进行分类，以在分类后确定所述运动想象脑电信号的类别。
CN202310630571.2A 2023-05-30 2023-05-30 基于时空频特征提取的运动想象脑电信号分类方法及系统 Active CN116595455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310630571.2A CN116595455B (zh) 2023-05-30 2023-05-30 基于时空频特征提取的运动想象脑电信号分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310630571.2A CN116595455B (zh) 2023-05-30 2023-05-30 基于时空频特征提取的运动想象脑电信号分类方法及系统

Publications (2)

Publication Number Publication Date
CN116595455A CN116595455A (zh) 2023-08-15
CN116595455B true CN116595455B (zh) 2023-11-10

Family

ID=87595501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310630571.2A Active CN116595455B (zh) 2023-05-30 2023-05-30 基于时空频特征提取的运动想象脑电信号分类方法及系统

Country Status (1)

Country Link
CN (1) CN116595455B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学系统有限公司 一种时、频、空域多参数脑电特征提取与融合方法
KR101675875B1 (ko) * 2015-06-12 2016-11-15 금오공과대학교 산학협력단 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템
KR20200053171A (ko) * 2018-11-08 2020-05-18 고려대학교 산학협력단 동작 상상 뇌-컴퓨터 인터페이스를 위한 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법
CN112543617A (zh) * 2018-06-18 2021-03-23 生命解析公司 用于量化和去除生物物理信号中的异步噪声的方法和系统
CN113143295A (zh) * 2021-04-23 2021-07-23 河北师范大学 基于运动想象脑电信号的设备控制方法及终端
CN113408397A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 领域自适应的跨受试者运动想象脑电信号识别系统及方法
CN113887513A (zh) * 2021-10-28 2022-01-04 重庆邮电大学 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法
CA3092795A1 (en) * 2020-09-10 2022-03-10 Holland Bloorview Kids Rehabilitation Hospital Customizable user input recognition systems
GB202202239D0 (en) * 2022-02-07 2022-04-06 Cogitat Ltd Classification of brain activity signals
CN114578963A (zh) * 2022-02-23 2022-06-03 华东理工大学 一种基于特征可视化和多模态融合的脑电身份识别方法
CN115105094A (zh) * 2022-07-15 2022-09-27 燕山大学 基于注意力和3d密集连接神经网络的运动想象分类方法
CN115221969A (zh) * 2022-07-28 2022-10-21 重庆邮电大学 基于emd数据增强和并行scn的运动想象脑电信号识别方法
CN115813409A (zh) * 2022-12-02 2023-03-21 复旦大学 一种超低延迟的运动图像脑电图解码方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2164390A1 (en) * 2007-05-15 2010-03-24 Morpheus Medical Emg and eeg signal separation method and apparatus
EP3608918B1 (en) * 2018-08-08 2024-05-22 Tata Consultancy Services Limited Parallel implementation of deep neural networks for classifying heart sound signals
WO2022017202A1 (zh) * 2020-07-24 2022-01-27 天津大学 脑电信号的动态空间滤波与扩增方法、装置、电子设备以及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学系统有限公司 一种时、频、空域多参数脑电特征提取与融合方法
KR101675875B1 (ko) * 2015-06-12 2016-11-15 금오공과대학교 산학협력단 스펙트럼 분석과 벡터 양자화를 이용한 뇌전도 신호를 검색하는 방법 및 시스템
CN112543617A (zh) * 2018-06-18 2021-03-23 生命解析公司 用于量化和去除生物物理信号中的异步噪声的方法和系统
KR20200053171A (ko) * 2018-11-08 2020-05-18 고려대학교 산학협력단 동작 상상 뇌-컴퓨터 인터페이스를 위한 시간-주파수 최적 공간 패턴 기반 뇌파 분석 방법
CA3092795A1 (en) * 2020-09-10 2022-03-10 Holland Bloorview Kids Rehabilitation Hospital Customizable user input recognition systems
CN113143295A (zh) * 2021-04-23 2021-07-23 河北师范大学 基于运动想象脑电信号的设备控制方法及终端
CN113408397A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 领域自适应的跨受试者运动想象脑电信号识别系统及方法
CN113887513A (zh) * 2021-10-28 2022-01-04 重庆邮电大学 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法
GB202202239D0 (en) * 2022-02-07 2022-04-06 Cogitat Ltd Classification of brain activity signals
CN114578963A (zh) * 2022-02-23 2022-06-03 华东理工大学 一种基于特征可视化和多模态融合的脑电身份识别方法
CN115105094A (zh) * 2022-07-15 2022-09-27 燕山大学 基于注意力和3d密集连接神经网络的运动想象分类方法
CN115221969A (zh) * 2022-07-28 2022-10-21 重庆邮电大学 基于emd数据增强和并行scn的运动想象脑电信号识别方法
CN115813409A (zh) * 2022-12-02 2023-03-21 复旦大学 一种超低延迟的运动图像脑电图解码方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Semi-Supervised EEG Clustering With Multiple Constraints;C. Dai 等;IEEE Transactions on Knowledge and Data Engineering;第35卷(第8期);8529-8544 *
Signal processing techniques for motor imagery brain computer interface: A review;Swati Aggarwal等;Array;第1-2卷;1-12 *
Time-space-frequency feature Fusion for 3-channel motor imagery classification;Zhengqing Miao等;arXiv:2304.01461;1-15 *
基于时间-频率-空间域的运动想象脑电特征提取方法研究;王月茹;中国优秀硕士学位论文全文数据库 (信息科技辑)(第（2012）09期);I137-22 *
基于空间频率与时间序列信息的多类运动想象脑电分类;周杰 等;中国医学物理学杂志;第36卷(第6期);81-87 *
基于运动想象的脑电信号分类与脑机接口技术研究;王磊;中国博士学位论文全文数据库 (信息科技辑)(第（2009）15期);I138-75 *
多项正则化约束的伪标签传播优化脑电信号聚类;代成龙 等;计算机研究与发展;1-8 *

Also Published As

Publication number Publication date
CN116595455A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
Li et al. Densely feature fusion based on convolutional neural networks for motor imagery EEG classification
Cecotti et al. Single-trial classification of event-related potentials in rapid serial visual presentation tasks using supervised spatial filtering
CN114266276B (zh) 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN110135244B (zh) 一种基于脑-机协同智能的表情识别方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN112990008B (zh) 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN112450885B (zh) 一种面向癫痫脑电的识别方法
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
Elessawy et al. A long short-term memory autoencoder approach for EEG motor imagery classification
Wang et al. Multiband decomposition and spectral discriminative analysis for motor imagery BCI via deep neural network
CN112155549A (zh) 基于深度卷积脉冲神经网络的adhd疾病诊断辅助决策系统
CN108874137B (zh) 一种基于脑电信号的手势动作意图检测的通用模型
CN113128353B (zh) 面向自然人机交互的情绪感知方法及其系统
Sridhar et al. A Neural Network Approach for EEG classification in BCI
Safitri et al. Brain-Computer Interface of Motor Imagery Using ICA and Recurrent Neural Networks
CN116595455B (zh) 基于时空频特征提取的运动想象脑电信号分类方法及系统
Rammy et al. Sequence-to-sequence deep neural network with spatio-spectro and temporal features for motor imagery classification
CN116522106A (zh) 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
Saikia et al. Application of deep learning for eeg
Lu Human emotion recognition based on multi-channel EEG signals using LSTM neural network
Zhou et al. MI-EEG temporal information learning based on one-dimensional convolutional neural network
Lin et al. A motor-imagery BCI system based on deep learning networks and its applications
Zhao et al. GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction
Jayashekar et al. Hybrid Feature Extraction for EEG Motor Imagery Classification Using Multi-Class SVM.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant