CN116236209A - 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 - Google Patents
一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 Download PDFInfo
- Publication number
- CN116236209A CN116236209A CN202310106290.7A CN202310106290A CN116236209A CN 116236209 A CN116236209 A CN 116236209A CN 202310106290 A CN202310106290 A CN 202310106290A CN 116236209 A CN116236209 A CN 116236209A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- layer
- convolution
- motor imagery
- upper limb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 26
- 230000008859 change Effects 0.000 title claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000002474 experimental method Methods 0.000 claims abstract description 29
- 210000004556 brain Anatomy 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000006698 induction Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 210000001595 mastoid Anatomy 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000010606 normalization Methods 0.000 description 14
- 210000003414 extremity Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000010004 neural pathway Effects 0.000 description 1
- 210000000118 neural pathway Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Fuzzy Systems (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，包括以下步骤：步骤1、在脑电信号采集实验过程中采集受试者在范式诱导下执行运动想象过程的脑电信号，范式设计为单侧上肢运动态下力度变化运动想象过程；步骤2、对各单次实验的脑电信号进行预处理；步骤3、构建混合神经网络应用于单侧上肢运动态下力度变化运动想象脑电特征识别；步骤4、对整个混合神经网络以有监督的方式进行训练。本发明能够应用于脑控康复机器人系统的机器人与患者动态力交互过程。
Description
技术领域
本发明涉及脑机交互技术领域，具体涉及一种单侧上肢运动态下力度变化运动想象脑电特征识别方法。
背景技术
在运动想象脑机接口技术中，将康复机器人作为脑机接口外部设备构成脑控康复机器人系统，通过系统的闭环反馈控制，在大脑和受损肢体之间建立一条新的人工神经通路，可帮助脑卒中等脑损伤患者实现大脑的神经重塑、改善肢体运动功能，在临床上具有较大应用潜力。现有运动想象脑机接口一般采用左右手、脚等简单肢体动作运动想象范式，诱导的可辨识思维状态类别数较为有限，仅能提供少量指令来控制康复机器人的运动方向。然而，康复机器人辅助训练主要强调机器人与患者之间力的动态交互过程。由于患者的肌力水平与运动能力不同，机器人需根据患者对辅助力的需求在运动方向上提供力来辅助患者完成肢体运动训练。因此，如何让运动想象脑机接口诱导并辨识出患者对辅助力需求的思维状态，实现大脑思维对康复机器人在运动方向上的力控制，对脑控康复机器人系统的临床应用具有重要价值。
一些研究者设计了单侧上肢静态下力度变化运动想象范式，并实现了这类范式诱导下大脑思维状态所对应脑电信号特征的识别。例如，Xu等设计了右手握力运动想象范式，对右手握拳动作引入三档力度(20％，50％，80％最大自主收缩力(maximum voluntarycontraction，MVC))，并采用希尔伯特变换(hilbert transform，HHT)与支持向量机(support vector machine，SVM)算法对受试者脑电数据提取特征并进行分类。这些研究通过肢体静态动作的力度大小扩展了运动想象脑机接口的可辨识思维状态类别数，但肢体静态下力度变化运动想象范式难以应用于脑控康复机器人系统的机器人与患者动态力交互过程。并且对于脑电信号的特征识别，采用传统方法会依赖于人工手动提取特征，特征学习有限，当可分类别增多时，分类准确率较低。针对上述问题，研究者们开始研究脑电特征识别的深度学习算法。Yang等提出利用共空间模式(common spatial pattern,CSP)提取脑电空间域特征，再通过卷积神经网络(convolution neural network,CNN)学习深层次特征，然而由于CNN学习脑电时序特征较差，特征学习不充分，分类效果表现不佳。Ma等提出了时间分布式注意网络(time-distributed attention，TD-Atten)对脑电特征进行识别，利用滑动窗方法对脑电信号进行连续切片，进而利用一对多滤波器组共空间模式(one-versus-rest filter bank common spatial pattern，OVR-FBCSP)算法提取切片后的脑电频率-空间域特征，并利用注意力机制和长短时记忆网络(long short-term memory，LSTM)进一步提取脑电时序特征。然而该网络模型仍需要人工手动提取脑电特征，分类准确率受限于特征提取的质量。Schirrmeister等采用端到端的方式从脑电数据中自动学习特征，避免了人工手动提取特征。由于脑电信号的时间相关性较强，因此该方式主要利用时间卷积神经网络(temporal convolutional neural network，TCN)提取脑电信号随时间变化的状态特征进而完成分类。然而，上述端到端网络采用单一尺度的卷积核提取脑电特征，特征信息较为单一。
发明内容
本发明的目的在于提供一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，能够应用于脑控康复机器人系统的机器人与患者动态力交互过程。
一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，包括以下步骤：
步骤1、在脑电信号采集实验过程中采集受试者在范式诱导下执行运动想象过程的脑电信号，范式设计为单侧上肢运动态下力度变化运动想象过程；
步骤2、对各单次实验的脑电信号进行预处理；
步骤3、构建混合神经网络应用于单侧上肢运动态下力度变化运动想象脑电特征识别，所述混合神经网络包括按顺序串联的输入层、维度转换层、多尺度时间卷积网络模块、空间卷积模块、池化层、丢弃层、注意力模块、平铺层和全连接层；
步骤4、对整个混合神经网络以有监督的方式进行训练。
作为优选，所述步骤1中采集实验包括多轮，每轮包含若干个单次实验，以每若干轮实验为一组按力度从小到大安排，且每轮运动想象实验的力度均一致。
作为优选，所述步骤2中首先采用双侧乳突平均进行重参考，接着对脑电信号进行基线校正，进行0.5-100Hz带通滤波和50Hz工频凹陷滤波，去除垂直眼电伪迹并剔除坏块，之后采用共平均参考对脑电信号进行空间滤波以提高信噪比，并进行8-30Hz带通滤波保留与运动想象有关的频段的脑电信号，最后将脑电信号进行降采样。
作为优选，所述步骤3具体如下：
步骤3-1、输入层的输入是预处理后的二维脑电信号h∈RN×M，RN×M代表二维实数空间，N、M分别为脑电信号的导联数和时间点数；
步骤3-2、维度转换层将二维脑电信号h∈RN×M转换成三维脑电数据h∈R1×N×M，其有通道、高度和宽度三个维度，R1×N×M代表三维实数空间；
步骤3-3、构建多尺度时间卷积网络模块，对三维脑电数据h∈R1×N×M按各单次实验提取多维细粒度时间-频率域特征，接着对提取到的多维细粒度时间-频率域特征进行拼接融合，得到增强的脑电信号时间-频率域特征信息；
步骤3-4、构建空间卷积模块，继续对增强的脑电信号时间-频率域特征信息提取空间特征，得到脑电信号时间-频率-空间域特征信息；
步骤3-5、在空间卷积模块后按顺序串联池化层、丢弃层，通过池化层对得到的脑电信号时间-频率-空间域特征信息进行宽度维度上的聚合处理，并采用丢弃层对特征信息进行随机丢弃以避免噪声数据的影响；
步骤3-6、构建注意力模块，采用通道注意力机制对经过池化层和丢弃层后的脑电信号时间-频率-空间域特征信息在通道维度上聚焦与力度运动想象类别相关的特征，抑制特征冗余；
步骤3-7、在注意力模块后按顺序串联平铺层、全连接层，对注意力模块的输出特征进行进一步处理。
作为优选，所述多尺度时间卷积网络模块由多组串联的时间卷积层和批标准化层并联后，再与特征拼接融合层串联形成。时间卷积层分别设置尺寸为(1，ka)、(1，kb)、(1，kc)的三种小尺寸卷积核，且三种卷积核的尺寸差较小。
作为优选，所述空间卷积模块由空间卷积层、批标准化层、非线性激活层按顺序串联形成。
作为优选，所述池化层采用平均池化策略，利用较大尺寸的池化核对由多尺度时间卷积网络模块和空间卷积模块提取到的脑电信号时间-频率-空间域特征信息在池化核的局部范围进行宽度维度上的聚合处理，降低特征信息在宽度维度上的信息冗余。
作为优选，所述丢弃层在网络的训练过程中按照一定的丢弃率对特征信息随机丢弃，以避免噪声数据的影响，防止网络过拟合。
作为优选，注意力模块首先采用全局平均池化和全局最大池化方法对经过池化层和丢弃层后的脑电信号时间-频率-空间域特征信息在高度和宽度维度的全局范围聚合信息，得到平均池化特征和最大池化特征。其次，将平均池化特征和最大池化特征通过由多层感知器构成的共享网络分别得到两个通道注意力图。再次，将两个通道注意力图进行对应元素相加得到最终的通道注意力图，并对最终的通道注意力图的每一个元素进行运算，生成通道注意力权值，通过通道注意力权值对注意力模块的输入进行动态加权，聚焦与力度运动想象类别相关的特征。
作为优选，所述步骤4中，在训练过程中，以交叉熵损失函数为目标函数对网络进行优化。
本发明的有益效果：
本发明构建的混合神经网络模型对单侧上肢运动态下力度变化运动想象范式诱导的受试者运动想象脑电信号进行特征识别，针对不同力度所对应的单次实验运动想象脑电信号的时间-频率域特征差异较为细微的特点，设计多尺度时间卷积网络模块，对预处理后的各单次实验脑电信号提取不同维度的细粒度特征，克服了单一尺度时间卷积神经网络学习到的特征较为有限的问题。设计一层池化层，设置较大尺寸的池化核，对由多尺度时间卷积网络模块和空间卷积模块学习到的多维时间-频率-空间域特征信息进行聚合处理，降低特征信息在宽度维度上的信息冗余；设计注意力模块，通过通道注意力机制对宽度维度上信息冗余降低后的多维时间-频率-空间域特征信息进行动态加权，进一步聚焦在通道维度上与力度运动想象类别相关的特征，降低特征信息在通道维度上的信息冗余，使混合神经网络模型对特征的敏感性得以提高，对数据的拟合性能较好，分类表现得到提升。
附图说明
图1是本发明的单侧上肢运动态下力度变化运动想象范式的单次实验流程。
图2是本发明的混合神经网络结构图。
图3是本发明混合神经网络中多尺度时间卷积网络模块的结构图。
图4是本发明混合神经网络中空间卷积模块的结构图。
图5是本发明混合神经网络中注意力模块的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例根据人体日常生活中擦拭桌面动作过程，将范式设计为单侧上肢运动态下力度变化运动想象过程，力度变化运动想象的力度等级根据桌面污渍的擦拭难易程度设计，利于受试者更好地想象，从而增加了单侧上肢运动态下不同力度运动想象思维类别数。
一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，包括如下步骤：
步骤1、采集受试者在所设计范式诱导下执行运动想象过程的脑电信号。在范式中引入三档力度(小力度、中力度、大力度)，三档力度运动想象场景分别对应擦拭灰尘、泥土、茶渍三种擦拭难易度不同的污渍，运动想象类别对应小力度想象、中力度想象和大力度想象三类。脑电信号采集实验中，每轮运动想象实验的力度均一致。以每3轮实验为一组依次按力度小、中、大安排，每轮有24个单次实验。单次实验流程如图1所示，分为4个时段，共计16秒时间。第一时段是准备期，计算机屏幕中央出现白色圆，持续2秒，受试者保持放松状态。第二时段是提示期，屏幕中白色圆消失、文字提示出现，本时段时间为4秒，受试者仍保持放松状态且无动作输出。第三时段是运动想象期，屏幕中文字提示消失、黑屏持续6秒，受试者执行力度运动想象。第四时段是休息期，屏幕中出现“休息”文字，持续4秒，受试者保持放松状态。
步骤2、对各单次实验的脑电信号进行预处理，首先采用双侧乳突平均进行重参考，接着对脑电信号进行基线校正，进行0.5-100Hz带通滤波和50Hz工频凹陷滤波，去除垂直眼电伪迹并剔除坏块，之后采用共平均参考对脑电信号进行空间滤波以提高信噪比，并进行8-30Hz带通滤波以保留与运动想象有关的频段的脑电信号，最后将脑电信号进行降采样。采样率一般选择128Hz或256Hz。
步骤3、构建混合神经网络应用于单侧上肢运动态下力度变化运动想象脑电特征识别，该网络由1个输入层、1个维度转换层、1个多尺度时间卷积网络模块、1个空间卷积模块、1个池化层、1个丢弃层、1个注意力模块、1个平铺层、1个全连接层按顺序串联，如图2所示。具体步骤如下：
步骤3-1、输入层的输入是预处理后的二维脑电信号h∈RN×M，RN×M代表二维实数空间，N、M分别为脑电信号的导联数和时间点数。
步骤3-2、维度转换层将二维脑电信号h∈RN×M转换成三维脑电数据h∈R1×N×M，其有通道、高度和宽度三个维度，R1×N×M代表三维实数空间。
步骤3-3、构建多尺度时间卷积网络模块，对三维脑电数据h∈R1×N×M按各单次实验提取多维细粒度时间-频率域特征。该模块将3组串联的时间卷积层和批标准化层并联后，再与1个特征拼接融合层串联，如图3所示。其中：
各组串联的时间卷积层和批标准化层均包括1个时间卷积层和1个批标准化层，3个时间卷积层分别设置尺寸为(1，ka)、(1，kb)、(1，kc)的小尺寸卷积核，且三种卷积核的尺寸差较小，每个时间卷积层的卷积核数量为8，步长为1，激活函数采用线性激活函数。本实施例中，小尺寸卷积核的尺寸设置为(1，3)、(1，5)、(1，7)，三种卷积核的尺寸差依次为2。卷积运算过程如下：
各时间卷积层的输入均为三维脑电数据h∈R1×N×M，单个卷积核提取到的特征输出为
其中/>
bk分别为第k个卷积核的权重矩阵和偏置，k＝1,2,...8，f(·)为线性激活函数，各卷积层输出特征为xij∈R8×N×M。
每个时间卷积层后都串联1个批标准化层，用于对时间卷积层的输出特征进行归一化，对模型参数进行正则化，防止网络过拟合，提高网络的收敛速度。批标准化处理过程如下：
定义一个批次的数据为B＝{x1,x2...,xm}，m表示一个批次对应的单次实验次数，计算一个批次数据的均值
方差/>
标准化输出为
反标准化输出为zi＝γyi+β，引入常数ε用于保持数值计算的稳定性，防止分母等于0。本实施例中，m取值16，即16次单次实验的数据作为一个批次的数据。
批标准化层的目的是加快网络训练收敛速度，但是随之会导致网络表达能力下降。为了防止这一点，对批标准化过程增加反标准化，对网络的每个神经元增加两个调节参数(缩放：γ和偏移：β)，通过训练来学习到这两个参数，使得网络表达能力增强。
特征拼接融合层用于将3组串联的时间卷积层和批标准化层提取到的多维特征进行拼接融合，得到增强的脑电信号时间-频率域特征信息zc＝[z1,z2,z3]，zc∈R24×N×M，z1,z2,z3分别对应3组串联的时间卷积层和批标准化层的特征提取。
步骤3-4、构建空间卷积模块，继续对增强的脑电信号时间-频率域特征信息zc∈R24×N×M提取空间特征，该模块由1个空间卷积层、1个批标准化层、1个非线性激活层按顺序串联，如图4所示。具体步骤如下：
空间卷积层的卷积核尺寸为(N，1)，N为脑电信号的导联数，卷积核数量为48，步长为1，激活函数采用线性激活函数。卷积运算过程如下：
空间卷积层的输入是增强的脑电信号时间-频率域特征信息zc∈R24×N×M，单个卷积核提取到的特征输出为
其中/>
bk分别为第k个卷积核的权重矩阵和偏置，k＝1,2,...48，f(·)为线性激活函数，空间卷积层的输出特征为xij∈R48×1×M。
空间卷积层后串联1个批标准化层，用于对空间卷积层的输出特征进行归一化，加速网络学习，达到正则化效果。批标准化处理过程如下：
定义一个批次的数据为B＝{x1,x2...,xm}，m表示一个批次对应的单次实验次数，计算一个批次数据的均值
方差/>
标准化输出为
反标准化输出为zi＝γyi+β，引入常数ε用于保持数值计算的稳定性，防止分母等于0。对批标准化过程增加反标准化，对网络的每个神经元增加两个调节参数(缩放：γ和偏移：β)，通过训练来学习到这两个参数，使得网络表达能力增强。本实施例中，m取值16，即16次单次实验的数据作为一个批次的数据。
非线性激活层用于缩短网络训练时间，避免网络训练过程中出现梯度消失或梯度爆炸问题。非线性激活运算过程如下：
步骤3-5、在空间卷积模块后按顺序串联1个池化层、1个丢弃层。
池化层采用平均池化策略，利用较大尺寸的池化核对由多尺度时间卷积网络模块和空间卷积模块提取到的脑电信号时间-频率-空间域特征信息p∈R48×1×M在池化核的局部范围进行宽度维度上的聚合处理，降低特征信息在宽度维度上的信息冗余。池化核的尺寸大小为(1，kd)，池化核数量为48，步长为64。本实施例中，池化核的尺寸大小设置为(1，64)。
丢弃层在网络的训练过程中按照一定的丢弃率对特征信息随机丢弃，以避免噪声数据的影响，防止网络过拟合。本实施例中，丢弃率设为0.5。经过池化层和丢弃层后的输出特征为Xs∈R48×1×M/64。
步骤3-6、构建注意力模块，采用通道注意力机制对经过池化层和丢弃层后的脑电信号时间-频率-空间域特征信息在通道维度上聚焦与力度运动想象类别相关的特征，抑制特征冗余，如图5所示。注意力模块的输入是经池化层和丢弃层后的输出特征Xs∈R48×1×M/64。
首先，采用全局平均池化和全局最大池化方法对Xs在高度和宽度维度的全局范围聚合信息，得到平均池化特征
和最大池化特征/>
全局平均池化和全局最大池化处理过程如下：
其中，
代表Xs第k通道特征在高度和宽度上的信息，/>
其次，将
和/>
通过一个共享网络得到两个通道注意力图Tavg∈R48×1×1、Tmax∈R48×1×1。共享网络为含有一个隐藏层的多层感知器模型，其处理过程如下：
其中，W0∈R48/r×1，W1∈R48×48/r分别是共享网络的输入层与隐藏层之间的参数矩阵以及隐藏层与输出层之间的参数矩阵。隐藏层的神经元个数设置为48/r，r表示缩放比率。本实施例中，r取值16。
再次，将两个通道注意力图进行对应元素相加得到最终的通道注意力图Tavg+max∈R48×1×1，对Tavg+max的每一个元素进行sigmoid函数运算，生成通道注意力权值Mc∈R48×1×1。sigmoid函数运算过程如下：
最后，通过通道注意力权值Mc对注意力模块的输入Xs进行乘法逐通道加权得到输出特征Xf∈R48×1×M/64。
步骤3-7、在注意力模块后按顺序串联1个平铺层、1个全连接层。
平铺层用于在网络的训练过程中将注意力模块的输出特征Xf∈R48×1×M/64“压平”，得到一维特征向量Y＝[y1,y2,…,y48×1×M/64]输入全连接层。
全连接层将平铺层输出的一维特征向量Y映射到运动想象类别标记空间V＝{vt|t＝1,2,...,CL}，t＝1,2,...,CL是运动想象类别的标签。本实施例中，CL取3对应小力度想象、中力度想象和大力度想象三类。接着，由softmax函数对特征向量Y判断属于运动想象类别t的后验概率p(t|Y)。具体处理过程如下：
p(t|Y)＝softmax(V)＝softmax(w*Y+b)
其中，w∈R(48×1×M/64)×CL为全连接层的权重系数，b为偏置项，softmax函数运算过程如下：
步骤4、整个混合神经网络以有监督的方式进行训练。训练过程中，以交叉熵损失函数
为目标函数对网络进行优化。本实施例中，CL取3对应小力度想象、中力度想象和大力度想象三类。训练迭代次数为500。为了加快网络模型的收敛速度，本实施例选择Adam优化器，batchsize设置为16，学习率设置为0.001。
使用4折交叉验证方法衡量网络的泛化能力，将每名受试者的脑电数据随机分为4等份，每等份按3:1划分训练数据和测试数据，且训练数据和测试数据中三类运动想象脑电数据样本均衡。在每一折交叉验证中，将其中一等份训练数据随机打乱输入网络模型，对网络模型进行训练。网络模型训练完成后，再用测试集验证每名受试者的分类准确率。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，包括以下步骤：
步骤1、在脑电信号采集实验过程中采集受试者在范式诱导下执行运动想象过程的脑电信号，范式设计为单侧上肢运动态下力度变化运动想象过程；
步骤2、对各单次实验的脑电信号进行预处理；
步骤3、构建混合神经网络应用于单侧上肢运动态下力度变化运动想象脑电特征识别，所述混合神经网络包括按顺序串联的输入层、维度转换层、多尺度时间卷积网络模块、空间卷积模块、池化层、丢弃层、注意力模块、平铺层和全连接层；
步骤4、对整个混合神经网络以有监督的方式进行训练。
2.根据权利要求1所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述步骤1中采集实验包括多轮，每轮包含若干个单次实验，以每若干轮实验为一组按力度从小到大安排，且每轮运动想象实验的力度均一致。
3.根据权利要求1所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述步骤2具体为：
首先采用双侧乳突平均进行重参考，接着对脑电信号进行基线校正，进行0.5-100Hz带通滤波和50Hz工频凹陷滤波，去除垂直眼电伪迹并剔除坏块，之后采用共平均参考对脑电信号进行空间滤波以提高信噪比，并进行8-30Hz带通滤波保留运动想象相关频段的脑电信号，最后对脑电信号进行降采样。
4.根据权利要求1所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述步骤3具体如下：
步骤3-1、输入层的输入是预处理后的二维脑电信号h∈RN×M，RN×M代表二维实数空间，N、M分别为脑电信号的导联数和时间点数；
步骤3-2、维度转换层将二维脑电信号h∈RN×M转换成三维脑电数据h∈R1×N×M，其有通道、高度和宽度三个维度，R1×N×M代表三维实数空间；
步骤3-3、构建多尺度时间卷积网络模块，对三维脑电数据h∈R1×N×M按各单次实验提取多维细粒度时间-频率域特征，接着对提取到的多维细粒度时间-频率域特征进行拼接融合，得到增强的脑电信号时间-频率域特征信息；
步骤3-4、构建空间卷积模块，继续对增强的脑电信号时间-频率域特征信息提取空间特征，得到脑电信号时间-频率-空间域特征信息；
步骤3-5、在空间卷积模块后按顺序串联池化层、丢弃层，通过池化层对得到的脑电信号时间-频率-空间域特征信息进行宽度维度上的聚合处理，并采用丢弃层对特征信息进行随机丢弃以避免噪声数据的影响；
步骤3-6、构建注意力模块，采用通道注意力机制对经过池化层和丢弃层后的脑电信号时间-频率-空间域特征信息在通道维度上聚焦与力度运动想象类别相关的特征，抑制特征冗余；
步骤3-7、在注意力模块后按顺序串联平铺层、全连接层，对注意力模块的输出特征进行进一步处理。
5.根据权利要求1或4所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述多尺度时间卷积网络模块由多组串联的时间卷积层和批标准化层并联后，再与特征拼接融合层串联形成，时间卷积层分别设置不同尺寸的三种卷积核。
6.根据权利要求1或4所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述空间卷积模块由空间卷积层、批标准化层、非线性激活层按顺序串联形成。
7.根据权利要求1或4所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述池化层采用平均池化策略，利用池化核对由多尺度时间卷积网络模块和空间卷积模块提取到的脑电信号时间-频率-空间域特征信息在池化核的局部范围进行宽度维度上的聚合处理。
8.根据权利要求1所述的单侧上肢运动态下力度变化运动想象脑电特征识别方法，其特征在于，所述步骤4中，在训练过程中，以交叉熵损失函数为目标函数对网络进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310106290.7A CN116236209A (zh) | 2023-02-13 | 2023-02-13 | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310106290.7A CN116236209A (zh) | 2023-02-13 | 2023-02-13 | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116236209A true CN116236209A (zh) | 2023-06-09 |
Family
ID=86634414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310106290.7A Pending CN116236209A (zh) | 2023-02-13 | 2023-02-13 | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116236209A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574133A (zh) * | 2024-01-11 | 2024-02-20 | 湖南工商大学 | 一种不安全生产行为识别方法及相关设备 |
-
2023
- 2023-02-13 CN CN202310106290.7A patent/CN116236209A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574133A (zh) * | 2024-01-11 | 2024-02-20 | 湖南工商大学 | 一种不安全生产行为识别方法及相关设备 |
| CN117574133B (zh) * | 2024-01-11 | 2024-04-02 | 湖南工商大学 | 一种不安全生产行为识别方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bi et al. | Early Alzheimer’s disease diagnosis based on EEG spectral images using deep learning | |
| CN111012336B (zh) | 时空特征融合的并行卷积网络运动想象脑电图分类方法 | |
| CN109994203B (zh) | 一种基于eeg信号深度多视角特征学习的癫痫检测方法 | |
| CN109784242A (zh) | 基于一维残差卷积神经网络的脑电信号去噪方法 | |
| CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
| CN108765319A (zh) | 一种基于生成对抗网络的图像去噪方法 | |
| CN108960299B (zh) | 一种多类运动想象脑电信号的识别方法 | |
| CN112633195B (zh) | 一种基于频域特征与深度学习的心肌梗塞识别分类方法 | |
| CN105068644A (zh) | 一种基于卷积神经网络的p300脑电信号检测方法 | |
| CN111709267A (zh) | 深度卷积神经网络的脑电信号情感识别方法 | |
| CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| CN108171318A (zh) | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| CN111387975A (zh) | 基于机器学习的脑电信号识别方法 | |
| CN116236209A (zh) | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 | |
| Elessawy et al. | A long short-term memory autoencoder approach for EEG motor imagery classification | |
| WO2024051455A1 (zh) | 一种基于胶囊网络的运动想象脑电信号识别方法 | |
| CN117150346A (zh) | 基于eeg的运动想象脑电分类方法、装置、设备及介质 | |
| Khalkhali et al. | Low latency real-time seizure detection using transfer deep learning | |
| CN116919422A (zh) | 基于图卷积的多特征情感脑电识别模型建立方法及装置 | |
| Fang et al. | A novel image edge detection method based on the asymmetric stdp mechanism of the visual path | |
| Sandeep et al. | Analysis of MRI and OCT images for early diagnosis of Alzheimers disease using wavelet networks | |
| CN117338313B (zh) | 基于堆叠集成技术的多维度特征脑电信号识别方法 | |
| CN116595455B (zh) | 基于时空频特征提取的运动想象脑电信号分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |