CN116028874A - 一种轻量化的运动想象脑电信号分类方法 - Google Patents
一种轻量化的运动想象脑电信号分类方法 Download PDFInfo
- Publication number
- CN116028874A CN116028874A CN202111240181.1A CN202111240181A CN116028874A CN 116028874 A CN116028874 A CN 116028874A CN 202111240181 A CN202111240181 A CN 202111240181A CN 116028874 A CN116028874 A CN 116028874A
- Authority
- CN
- China
- Prior art keywords
- classification
- lightweight
- training
- encoder
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种轻量化的运动想象脑电信号分类方法，其特征在于，包括以下步骤：步骤S1，采集原始脑电信号并进行预处理。步骤S2，对信号数据集的数据进行归一化处理。步骤S3，构建轻量化分类网络模型。步骤S4，构建编码器训练网络并进行有监督训练，并保留和更新编码器的相关参数。步骤S5，由归一化信号数据集形成交叉训练样本。步骤S6，将交叉训练样本输入到轻量化分类网络模型，得到最优组超参数。步骤S7，将最优组超参数输入到轻量化分类网络模型进行参数更新，并对更新完的轻量化分类网络模型进行训练。步骤S8，对待测数据进行归一化处理。步骤S9，将归一化待测数据输入到训练完的轻量化分类网络模型，得到分类识别结果。
Description
技术领域
本发明涉及一种轻量化的运动想象脑电信号分类方法。
背景技术
脑机接口是一种直接利用大脑的神经活动来控制电子外设进行交互的新型通信方式。脑机接口技术发展的最初目标是帮助神经永久性损伤的患者恢复部分运动功能或与外界正常沟通交流的能力，包括对义肢、轮椅、键盘等辅助设备的控制[1]。如今，随着智能计算、可穿戴电子产品的普及，脑机接口技术不仅在康复医疗领域受到广泛关注，也正逐步加快在教育、游戏娱乐、增强现实等领域的产品落地[2]。
目前，脑机接口系统的主流产品都是基于脑电图的。脑电图是一种非侵入的采集方式，其无创的优点使其被技术人员长期关注，它通过可穿戴的电极帽中的传感器获取大脑皮层神经元产生的电信号。采集到的脑电信号再经过信号处理、特征提取、模式识别、反馈控制等环节，共同完成用户意图的解码。其中，信号处理、特征提取与模式识别关键技术环节。而脑电信号又属于非平稳信号，采集过程中易受噪声干扰等影响，对解码方法提出了不小的挑战。
在基于脑电信号的脑机接口中，运动想象脑电信号的解码是最常见的一种。现有的基于卷积神经网络的运动想象脑电信号分类模型中，一类是结合了传统时频变换方法，将低信噪比的脑电信号变换为较高质量的时频图像，更好地发挥经典卷积神经网络的优势[3]；另一类是使用原始时间序列做输入，直接让网络自主学习有效的特征，实现运动想象的端到端分类识别[4]。为了得到更高的分类准确率，模型的深度与宽度正变得越来越大，但训练起来就更加困难[5]，需要更多的样本数据，这与运动想象数据集样本数量通常较小的特点相矛盾。
参考文献
[1]Saha P,Abdul-Mageed M,&Fels S.(2019).Deep learning the EEGmanifold for phonological categorization from active thoughts.2019IEEEInternational Conference on Acoustics,Speech and Signal Processing(ICASSP),2762-2766.
[2]Abdulkader N,Atia A,&Mostafa M.(2015).Brain computer interfacing:applications and challenges.Egyptian Informatics Journal,16(2),213-230.
[3]Sakhavi S,Guan C,&Yan S.(2018).Learning temporal information forbrain-computer interface using convolutional neural networks.IEEETransactions on Neural Networks and Learning Systems,29(11),5619-5629.
[4]Schirrmeister T,Springenberg T,Fiederer L,et al.(2017).Deeplearning with convolutional neural networks for EEG decoding andvisualization.Human Brain Mapping,38(11),5391-5420.
[5]Amin U,Alsulaiman M,Muhammad G,Mekhtiche A,Shamim Hossain M.(2019).Deep Learning for EEG motor imagery classification based on multi-layer CNNs feature fusion.Future Generation Computer Systems,101,542–554.
[6]Leeb R,Brunner C,Muller-Putz R,&Schlogl A.(2008).BCI Competition2008-Graz data set A.
[7]Lawhern J,Solon J,Waytowich R,et al.(2016).EEGnet:a compactconvolutional network for EEG-based brain-computer interfaces.Journal ofNeural Engineering,15(5),056013.1-056013.17.
[8]Zhao D,Tang F,Si B,&Feng X.(2019).Learning joint space-time-frequency features for EEG decoding on small labeled data.Neural Networks,114,67-77.
[9]Li Y,Zhang X,Zhang B,et al.(2019).A channel-projection mixed-scaleconvolutional neural network for motor imagery EEG decoding.IEEE Transactionson Neural Systems and Rehabilitation Engineering,27(6),1170-1180.
发明内容
为解决上述问题，提供一种轻量化的运动想象脑电信号分类方法，本发明采用了如下技术方案：
本发明提供了一种轻量化的运动想象脑电信号分类方法，其特征在于，包括以下步骤：步骤S1，采集原始脑电信号并进行预处理，得到信号数据集。步骤S2，对信号数据集的数据进行归一化处理，得到归一化信号数据集。步骤S3，构建轻量化分类网络模型，该轻量化分类网络模型包括降维模块、时空可分离卷积模块、中间层特征抽取模块以及分类模块。其中，降维模块包括编码器。时空可分离卷积模块包括两层二维深度卷积层和平均池化层，两层深度卷积层包括沿时间维度的时间维深度卷积层和沿电机通道维度的空间维深度卷积层。中间层特征抽取模块为时间尺度相同的单一尺度多分支拓扑结构，包括卷积层、深度卷积层和平均池化层。步骤S4，构建编码器训练网络，并利用归一化信号数据集对编码器训练网络进行有监督训练，得到完成训练的编码器训练网络，并保留和更新编码器的相关参数。步骤S5，将归一化信号数据集随机打乱，并将每种标签的数据进行五等分并将每个标签中的每一折数据顺序拼接，形成交叉训练样本。步骤S6，将交叉训练样本输入到轻量化分类网络模型，利用类别交叉熵作为损失函数，以及利用Adam优化器对模型权重进行优化，对轻量化分类网络模型进行最优组超参数配置搜索，得到最优组超参数。步骤S7，将最优组超参数输入到轻量化分类网络模型进行参数更新，并利用归一化信号数据集对更新完的轻量化分类网络模型进行训练，得到训练完的轻量化分类网络模型。步骤S8，对待测数据进行归一化处理，得到归一化待测数据。步骤S9，将归一化待测数据输入到训练完的轻量化分类网络模型，输出运动想象动作的分类识别结果。
本发明提供的一种轻量化的运动想象脑电信号分类方法，还可以具有这样的技术特征，其中，步骤S4中构建编码器训练网络并进行有监督训练，包括以下步骤：步骤S4-1，构建编码器训练网络，该网络包括编码器、时空卷积层、平均池化层和分类层。步骤S4-2，利用归一化信号数据集的标签和交叉熵损失函数，对编码器进行自监督训练，得到完成训练的编码训练网络，同时保留和更新编码器的相关参数。
本发明提供的一种轻量化的运动想象脑电信号分类方法，还可以具有这样的技术特征，其中，分类模块用于运动想象动作的分类识别结果的输出，包括前馈网络和softmax层。前馈网络将中间层特征抽取模块得到的特征向量展平为一维向量，再映射到与分类任务数相等的类别数量。softmax层将前馈网络所得到的类别数量进行归一化，得到的各个类别的预估概率，选取概率值最大的一项作为分类识别结果并进行输出。
发明作用与效果
根据本发明的一种轻量化的运动想象脑电信号的分类方法。首先，本发明构建了轻量化分类网络模型，使用时空可分离卷积模块来优化了卷积结构的性能，并且引入编码器组成的降维模块来完成数据降维，还利用简化的多分支拓扑结构提升运算效率，大幅降低了模型推断时的计算消耗。
其次，本发明改进运动想象脑电信号分类网络根据运动想象数据集样本数量少情况下的分类性能，利用轻量化后的分类网络模型减少了待学习参数，有效解决由于样本数不足而潜在的训练困难，并减小分类网络过拟合的风险。
附图说明
图1是本发明实施例中的一种轻量化的运动想象脑电信号的分类方法流程图；
图2是本发明实施例中的轻量化分类网络模型的结构示意图；
图3是本发明实施例中的编码器训练网络的结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种轻量化的运动想象脑电信号的分类方法作具体阐述。
<实施例>
图1是本发明实施例中的一种轻量化的运动想象脑电信号的分类方法流程图。
如图1所示，一种轻量化的运动想象脑电信号的分类方法包括以下步骤：
步骤S1，采集原始脑电信号并进行预处理，得到信号数据集。
本实施例中采用第四届BCI竞赛的2a数据集，根据无效样本的标注，剔除数据集中的对应样本，检查各类样本的数量比接近于1：1：1：1，则可按样本平衡问题处理。
步骤S2，对信号数据集的数据进行归一化处理，得到归一化信号数据集。
根据第四届BCI竞赛2a数据集的实验范式时间节点，选取提示信息出现前0.5s至想象动作规定结束的4s之间，共4.5s的时间窗口，对应标签为当次实验的指定动作类别。竞赛提供的数据集已经过0.5-100Hz的滤波处理以及50Hz的工频干扰，所以不再进行额外的滤波预处理和伪迹去除操作，以避免难以标准化的人工处理环节。
针对信号数据集，以提示信息出现前0.5s为起始点，0.1s为移动步长，使用固定大小的滑动窗口扩充数据集，具体的操作为：对每个样本执行五次窗口大小为4.5s的滑动窗口操作，最终获得[-0.5s,4s]、[-0.4s,4.1s]、[-0.3s,4.2s]、[-0.2s,4.3s]、[-0.1s,4.4s]五个脑电片段，并将每一个片段标注为与原标签一致的标签。将所有信号数据按照电极通道的维度进行z-score归一化处理，并将归一化中计算出的均值与方差保持下来。
步骤S3，构建轻量化分类网络模型。
图2是本发明实施例中的轻量化分类网络模型的结构示意图。
如图2所示，该轻量化分类网络模型包括降维模块、时空可分离卷积模块、中间层特征抽取模块以及分类模块。
其中，降维模块包括编码器，用于已经训练好的参数权重对信号数据进行降维处理。
时空可分离卷积模块包括两层二维深度卷积层和平均池化层。两层深度卷积层包括沿时间维度的时间维深度卷积层和沿电机通道维度的空间维深度卷积层。时间维深度卷积层的卷积核大小在四分之一到二分之一采样率大小中选择。空间维深度卷积的卷积核大小为数据中包含的电极通道数量，该超参数自适应数据集即可。
中间层的特征抽取模块进行轻量化处理，在其多分支的拓扑结构、卷积单元与时间尺度上的优化。在各分支的拓扑结构上，使用1x1卷积将原始空间映射到多个分支的独立子空间，子空间的数量与输入通道数一样；将各个子分支使用的卷积单元优化为更为简洁的深度卷积结构；将各个子分支的时间尺度统一为相同的单一尺度，并采用小卷积核堆叠并结合平均池化层的结构，替换相同感受野下原始的大卷积核结构。
分类模块用于运动想象动作的分类识别结果的输出，包括前馈网络和softmax层。前馈网络将中间层的特征抽取模块得到的特征向量展平为一维向量，再映射到与分类任务数相等的类别数量。将类别数量输入到softmax层得到预测类别所对应的概率。
步骤S4，构建编码器训练网络，并利用归一化信号数据集对编码器训练网络进行有监督训练，得到完成训练的编码器训练网络，并保留和更新编码器的相关参数。
步骤S4-1，构建编码器训练网络。
图3是本发明实施例中的编码器训练网络的结构示意图
如图3所示，编码器训练网络包括编码器、时空卷积层、平均池化层和分类层。
步骤S4-2，利用归一化信号数据集对编码器训练网络进行有监督训练，冻结其中的编码器，保存编码器的结构及参数权重。
步骤S5，将归一化信号数据集随机打乱，并将每种标签的数据进行五等分并将每个标签中的每一折数据顺序拼接，形成交叉训练样本。
步骤S6，将交叉训练样本输入到轻量化分类网络模型进行训练。
模型训练时，采用类别交叉熵作为损失函数，用Adam优化器对模型权重进行优化，在每一折的网络训练中，均在根据验证集的表现设置早停操作。本实施例中，设置为在验证集准确率连续10个epoch不上升时启动早停。
步骤S7，将最优组超参数输入到轻量化分类网络模型进行参数更新，并利用归一化信号数据集对更新完的轻量化分类网络模型进行训练，得到训练完的轻量化分类网络模型。
本实施例中的轻量化分类网络模型的所有深度卷积层和前馈网络层均使用Max-norm正则化方法约束模型中的参数权重大小，并结合dropout以0.5的概率控制的神经元随机失活，总共训练300epoch，得到最终的模型参数并将参数权重值保存。Max-norm正则化方法在||w||2＞r时，会按照如下的更新方式对权重进行约束：
式中，||w||2是指参数w的L2范数，r是可调节的超参数，此处设置为1。
步骤S8，对待测数据进行归一化处理，得到归一化待测数据。
根据待测数据的标注去除其中无效样本，再截取[-0.5s-4s]时间内，与运动想象相关的脑电片段，测试集不进行数据扩充。再利用保存的训练集统计量来对待测数据进行z-score归一化处理，不进行滤波、去除伪迹等预处理操作。
步骤S9，将归一化待测数据输入到训练完的轻量化分类网络模型，输出运动想象动作的分类识别结果。
根据本实施例中提供的一种轻量化的运动想象脑电信号分类方法，在第四届BCI竞赛2a数据集上获得的平均测试准确率为74.69％，与与参考文献[7]、[4]、[8]、[4]、[9]中提到的其他轻量化方法进行性能对比，结果如表1所示。
表1轻量化方法性能的对比
| 方法 | 平均准确率(％) | 参数数量 | 平均内存访问消耗 |
| EEGNet[7] | 67.83 | 2.63k | 13.1M |
| ShallowConvnet[4] | 68.70 | 47.3k | 63.0M |
| WaSFConvNet[8] | 69.00 | 24.9k | 41.7M |
| DeepConvNet[4] | 70.91 | 265k | 32.6M |
| CP-MixedNet[9] | 73.20 | 836k | 183M |
| 本发明的方法 | 74.69 | 2.26k | 9.4M |
由表1可见，本实施例中提供的一种轻量化的运动想象脑电信号分类方法，在平均准确率、参数数量和平均内存访问消耗等性能方面上都比其他的轻量化方法要好。
实施例作用与效果
根据本实施例提供的一种轻量化的运动想象脑电信号分类方法。首先，本实施例构建了轻量化分类网络模型，使用时空可分离卷积模块来优化了卷积结构的性能，并且引入了数据降维的包括编码器的降维模块，还利用多分支的拓扑结构，可以大幅提升运算效率，简化模型推断时的计算消耗。
其次，本实施例改进运动想象脑电信号分类网络根据运动想象数据集样本数量少情况下的分类性能，利用轻量化后的分类网络模型减少了待学习参数，有效地降低分类模型在小数据集上存在的过拟合风险。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (3)
1.一种轻量化的运动想象脑电信号分类方法，其特征在于，包括以下步骤：
步骤S1，采集原始脑电信号并进行预处理，得到信号数据集；
步骤S2，对所述信号数据集的数据进行归一化处理，得到归一化信号数据集；
步骤S3，构建轻量化分类网络模型，该轻量化分类网络模型包括降维模块、时空可分离卷积模块、中间层特征抽取模块以及分类模块，
其中，所述降维模块包括编码器，
所述时空可分离卷积模块包括两层二维深度卷积层和平均池化层，所述两层深度卷积层包括沿时间维度的时间维深度卷积层和沿电机通道维度的空间维深度卷积层，
所述中间层特征抽取模块为时间尺度相同的单一尺度多分支拓扑结构，包括卷积层、深度卷积层和平均池化层；
步骤S4，构建编码器训练网络，并利用所述归一化信号数据集对所述编码器训练网络进行有监督训练，得到所述完成训练的编码器训练网络，并保留和更新编码器的相关参数；
步骤S5，将所述归一化信号数据集随机打乱，并将每种标签的数据进行五等分并将每个标签中的每一折数据顺序拼接，形成交叉训练样本；
步骤S6，将所述交叉训练样本输入到所述轻量化分类网络模型，利用类别交叉熵作为损失函数，以及利用Adam优化器对模型权重进行优化，对所述轻量化分类网络模型进行最优组超参数配置搜索，得到最优组超参数；
步骤S7，将最优组超参数输入到所述轻量化分类网络模型进行参数更新，并利用所述归一化信号数据集对更新完的轻量化分类网络模型进行训练，得到训练完的轻量化分类网络模型；
步骤S8，对所述待测数据进行归一化处理，得到归一化待测数据；
步骤S9，将所述归一化待测数据输入到所述训练完的轻量化分类网络模型，输出运动想象动作的分类识别结果。
2.根据权利要求1所述的一种轻量化的运动想象脑电信号的分类方法，其特征在于：
其中，所述步骤S4中构建所述编码器训练网络并进行所述有监督训练，包括以下步骤：
步骤S4-1，构建所述编码器训练网络，该网络包括所述编码器、时空卷积层、平均池化层和分类层；
步骤S4-2，利用所述归一化信号数据集的标签和所述交叉熵损失函数，对编码器进行所述自监督训练，得到所述完成训练的编码训练网络，同时保留和更新编码器的相关参数。
3.根据权利要求1所述的一种轻量化的运动想象脑电信号的分类方法，其特征在于：
其中，所述分类模块用于运动想象动作的分类识别结果的输出，包括前馈网络和softmax层，
所述前馈网络将所述所述中间层特征抽取模块得到的特征向量展平为一维向量，再映射到与分类任务数相等的类别数量，
所述softmax层将所述前馈网络所得到的所述类别数量进行归一化，得到的各个类别的预估概率，选取概率值最大的一项作为分类识别结果并进行输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111240181.1A CN116028874A (zh) | 2021-10-25 | 2021-10-25 | 一种轻量化的运动想象脑电信号分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111240181.1A CN116028874A (zh) | 2021-10-25 | 2021-10-25 | 一种轻量化的运动想象脑电信号分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116028874A true CN116028874A (zh) | 2023-04-28 |
Family
ID=86076404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111240181.1A Pending CN116028874A (zh) | 2021-10-25 | 2021-10-25 | 一种轻量化的运动想象脑电信号分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116028874A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520755A (zh) * | 2024-01-08 | 2024-02-06 | 北京智冉医疗科技有限公司 | 运动想象时的高通量神经信号的处理方法及相关设备 |
-
2021
- 2021-10-25 CN CN202111240181.1A patent/CN116028874A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117520755A (zh) * | 2024-01-08 | 2024-02-06 | 北京智冉医疗科技有限公司 | 运动想象时的高通量神经信号的处理方法及相关设备 |
| CN117520755B (zh) * | 2024-01-08 | 2024-03-12 | 北京智冉医疗科技有限公司 | 运动想象时的高通量神经信号的处理方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3933551A1 (en) | Motor imagery electroencephalogram signal processing method, device, and storage medium | |
| Zhao et al. | Deep representation-based domain adaptation for nonstationary EEG classification | |
| Altaheri et al. | Physics-informed attention temporal convolutional network for EEG-based motor imagery classification | |
| Li et al. | Densely feature fusion based on convolutional neural networks for motor imagery EEG classification | |
| CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
| CN112043473B (zh) | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 | |
| CN110175510B (zh) | 基于脑功能网络特征的多模式运动想象识别方法 | |
| CN111297380A (zh) | 一种基于时空卷积核心块的情绪识别方法 | |
| Ma et al. | A novel hybrid CNN-transformer model for EEG motor imagery classification | |
| Fedjaev | Decoding eeg brain signals using recurrent neural networks | |
| Leite et al. | Adaptive gaussian fuzzy classifier for real-time emotion recognition in computer games | |
| CN116028874A (zh) | 一种轻量化的运动想象脑电信号分类方法 | |
| Wei et al. | Binary multi-objective particle swarm optimization for channel selection in motor imagery based brain-computer interfaces | |
| CN114781441A (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
| Mu et al. | EEG channel selection methods for motor imagery in brain computer interface | |
| CN113408397B (zh) | 领域自适应的跨受试者运动想象脑电信号识别系统及方法 | |
| Wang et al. | A shallow convolutional neural network for classifying MI-EEG | |
| Abdulghani et al. | A drone flight control using brain computer interface and artificial intelligence | |
| Sridhar et al. | A Neural Network Approach for EEG classification in BCI | |
| Hossain et al. | Informative instance transfer learning with subject specific frequency responses for motor imagery brain computer interface | |
| Bhalerao et al. | Automatic detection of motor imagery EEG signals using swarm decomposition for robust BCI systems | |
| CN116236209A (zh) | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 | |
| Abdulghani et al. | Low-Cost Brain-Computer Interface Design Using Deep Learning for Internet of Brain Controlled Things Applications | |
| Wang et al. | Research of EEG recognition algorithm based on motor imagery | |
| CN114429174A (zh) | 基于脑网络和多尺度排列熵的脑电信号情绪识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |