CN114504730A - 基于深度学习的便携式脑控手部电刺激康复系统 - Google Patents
基于深度学习的便携式脑控手部电刺激康复系统 Download PDFInfo
- Publication number
- CN114504730A CN114504730A CN202210114274.8A CN202210114274A CN114504730A CN 114504730 A CN114504730 A CN 114504730A CN 202210114274 A CN202210114274 A CN 202210114274A CN 114504730 A CN114504730 A CN 114504730A
- Authority
- CN
- China
- Prior art keywords
- eeg
- electroencephalogram
- brain
- user
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 81
- 230000000638 stimulation Effects 0.000 title claims abstract description 57
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 230000009471 action Effects 0.000 claims abstract description 65
- 210000003205 muscle Anatomy 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000007659 motor function Effects 0.000 claims abstract description 11
- 230000004936 stimulating effect Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 18
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 10
- 229910052744 lithium Inorganic materials 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 238000003012 network analysis Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000005424 photoluminescence Methods 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 210000005036 nerve Anatomy 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 208000006011 Stroke Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 206010019114 Hand fracture Diseases 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000011542 limb amputation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
- A61N1/3603—Control systems
- A61N1/36031—Control systems using physiological parameters for adjustment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于深度学习的便携式脑控手部电刺激康复系统，使用者通过想象动作提示界面显示的图片进行动作意图想象，便携式脑电采集设备从使用者大脑采集EEG脑电信号；脑电信号辨识模块处理EEG脑电信号，并结合深度学习，智能识别使用者当前的动作意图；便携式手部肌肉电刺激器以脑电信号辨识模块识别的使用者动作意图为基础，以想象动作提示界面给出的刺激参数对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。本发明能够实现对EEG脑电信号的准确获取、有效辨识和正确分类，通过识别使用者的动作意图，对手部肌肉神经进行电刺激，协助使用者完成康复训练。本发明操作简便，可由使用者自行使用，无需其他人员的额外劳动。
Description
技术领域
本发明涉及一种手部电刺激康复系统。特别是涉及一种基于深度学习的便携式脑控手部电刺激康复系统。
背景技术
我国现有脑卒中患者人数众多，发病原因多样。脑卒中发作后，会引起发病血管所供应的脑区受损，导致单侧或双侧手部运动机能失效。此外，对于一些手部骨折或进行过断肢手术的患者，也需要进行康复训练来恢复手部运动机能。康复训练的要点在于恢复脑部神经信号与手部动作的自然同步，因此需要结合人脑的意识信号来配合手部的康复动作。
手部运动机能康复可以通过神经肌肉电刺激装置进行，神经肌肉电刺激属于低频电疗法的一种，是一项应用20-50Hz低频电流通过电极刺激特定肌肉群使其抽搐或者收缩，继而达到“功能”修复的技术。通过神经肌肉电刺激技术可对神经失用的肌肉进行功能训练，锻炼保持肌肉质量、增加关节活动度、促进自主肌肉控制，减少痉挛现象，同时促进大脑的可塑变化。
脑电图(EEG)记录大脑皮层的活动，是大脑皮层脑神经细胞活动的总体反映，其中包含了大量的生理和病理信息，体现了人脑的活动状态和思维情况。脑电信号检测技术可以使识别患者当前想要进行的康复动作，驱动康复设备协助患者完成动作，加快康复速度。
便携式脑电采集系统相比于医疗机构中的传统脑电采集仪器，在采集精度，采集速度满足要求的条件下，具有较小的体积与质量，工作条件要求低，大幅提高了易携性，在患者需要进行居家治疗的情况下，便携式脑电采集系统可为患者提供居家脑电监控的条件。便携式脑电采集系统在脑机接口设备中获得了广泛的应用。
脑电信号数据具有数据量大，特征多，变化快的特点，在完成数据采集后如果进行人为分析往往会浪费掉大量时间，并且会遗漏掉某些重要信息。机器学习作为一种人工智能方法，在处理大数据信息上有着很强的优越性，而代表机器学习最先进理论的深度学习(Deep Learning)在脑电信号的研究中获得了广泛的普及。深度学习是一种端到端的学习方法，可直接从输入中提取更深层次的内在表征。到目前为止，已有许多深度学习的体系结构被提出并应用于脑电分析、康复训练等领域。卷积神经网络(CNN)是一种强大的深度学习框架。通过设置合适的卷积核，CNN能够从样本数据中提取各种潜在的特征。此外，复杂网络作为一种前沿的数据融合、分析理论获得了越来越多研究人员的青睐。在基于EEG脑电信号的脑网络中，脑电极被设定为节点，节点之前的关联测度可体现脑电极间的生理关系，为脑电信号分析提供帮助。
发明内容
本发明所要解决的技术问题是，为克服现有技术的不足，提供一种能够对运动想象脑电信号有效辨识和正确分类，实现手部运动机能康复训练功能的基于深度学习的便携式脑控手部电刺激康复系统。
本发明所采用的技术方案是：一种基于深度学习的便携式脑控手部电刺激康复系统，包括依次连接的：想象动作提示界面、便携式脑电采集设备、脑电信号辨识模块和便携式手部肌肉电刺激器；所述的想象动作提示界面还连接便携式手部肌肉电刺激器，使用者通过所述的想象动作提示界面显示的图片进行动作意图想象，所述的便携式脑电采集设备从使用者大脑采集EEG脑电信号；所述的脑电信号辨识模块处理EEG脑电信号，并结合深度学习，智能识别使用者当前的动作意图；所述的便携式手部肌肉电刺激器以脑电信号辨识模块识别的使用者动作意图为基础，以想象动作提示界面给出的刺激参数对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。
所述的便携式脑电采集设备包括有依次连接的：用于采集EEG脑电信号的脑电极帽及其转接线、用于脑电信号放大和转换的生物电信号采集模块、用于控制脑电信号的采集以及向脑电信号辨识模块传输EEG脑电信号的ARM处理器和蓝牙无线数据传输电路，以及分别连接生物电信号采集模块、ARM处理器和蓝牙无线数据传输电路的系统供电电路(15)；其中，所述的脑电极帽及其转接线中的脑电极帽采集使用者不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块相连接，用于生物电信号的采集和传输。
所述的用于采集EEG脑电信号的脑电极帽及其转接线获取使用者对应于脑电极帽的A1,T5,O1,FP1,FCz,Oz,C4,P4,P3,C3,Fz,Cz,Pz,FP2,O2,T6共十六个电极的EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联。
所述的生物电信号采集模块是由2片生物电信号采集芯片组成，所述的生物电信号采集芯片采样率为250Hz，集成了用于接收脑电帽采集的EEG脑电信号的高共模抑制比模拟输入模块、用于进行EEG脑电信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器。
所述的ARM处理器和蓝牙无线数据传输电路由主控芯片nRF52832集成，ARM处理器采用Cortex-M4F内核，用于调整生物电信号采集模块的采集模式与参数和控制蓝牙无线数据传输电路的传输模式与速度；蓝牙无线数据传输电路采用Cortex-M0内核，输出连接所述脑电信号辨识模块的输入端，使用BLE协议，将EEG脑电信号数据向脑电信号辨识模块传输。
所述的想象动作提示界面用于进行刺激频率，刺激时间，刺激轮数的设置，并将设置发送给便携式手部肌肉电刺激器，想象动作提示界面显示当前动作的图片，提醒使用者进行运动想象，并在肌肉电刺激完成后，提醒使用者进行休息；想象动作提示界面具有EEG脑电信号波形显示与数据保存功能，用于使用者的EEG脑电信号分析。
所述的脑电信号辨识模块(3)，采用复杂网络分析结合深度学习方法进行运动想象EEG脑电信号分析，具体需要以下步骤：
1)对EEG脑电信号进行预处理：将使用者16通道的EEG脑电信号时间序列分别通过巴特沃斯滤波器进行带通滤波，每个通道的EEG脑电信号时间序列均分为θ、α、β、γ1和γ25个频段，得到能够用于实现运动想象动作辨识的EEG脑电信号
L代表EEG脑电信号时间长度，C代表频段号；对EEG脑电信号
分别通过长度为4s的滑动窗口进行数据分割，滑动窗口的滑动步长为4s，得到一系列滑动窗口EEG脑电信号数据
l代表滑动窗口标号，N代表EEG脑电信号数据采集时间点，构成样本；
2)对每个样本构建有向加权复杂网络AC，得到大脑多层复杂网络；具体包括：
(2.1)将样本中的每个通道设置为一个节点，节点之间的连边通过信号相锁值来推断，信号相锁值是量化脑电信号同步的一种代表性方法，信号相锁值实际测量的是两个通道信号的相位差，得到两个时间序列的平均瞬时相位差的模；将EEG脑电信号数据
进行希尔伯特变换，分解为两部分：解析振幅Ax(t)和解析相位Φx(t)；对于两段EEG脑电信号数据
和
信号相锁值表示为：
其中，N代表EEG脑电信号数据采集时间点，θ(t)代表EEG脑电信号数据
和
的解析相位差；
(2.2)对所有的滑动窗口对应的EEG脑电信号数据，两两计算信号相锁值，根据先后顺序建立有向连边，得到有向加权复杂网络矩阵AC,C代表频段数；
(2.3)重复第(2.1)～(2.2)步，得到对应θ,α,β,γ1,γ2共5个频段的有向加权复杂网络矩阵Aθ，Aα，Aβ，
从而得到大脑多层复杂网络
(2.4)去掉有向加权复杂网络矩阵中20％信号相锁值最小的连边；
(2.5)利用EEG脑电信号
的幅值信息对大脑多层复杂网络
的各节点进行加权，得到有向加权复杂网络
对该有向加权复杂网络任意节点v和节点k之间的边，网络节点权重值avk更新为：
a′vk＝avk*(Tv+Tk)
式中，a′vk为更新后的网络节点权重值；Tv和Tk表示节点v和节点k的平均EEG脑电信号的幅值；节点v的加权度Dw(v)定义为：
其中，n是网络中的节点数；
3)搭建卷积神经网络模型，然后将所有样本对应的标签以及有向加权复杂网络
输入卷积神经网络模型，利用Tensorflow对卷积神经网络模型进行全监督训练，模型学习率设为0.003，Batchsize大小为2000，设置早停功能，共进行1000周期的循环训练，得到能够用于EEG脑电信号有效分类、辨识的训练好的卷积神经网络模型，所述卷积神经网络模型的输出即为脑电信号辨识模块(3)输出的EEG脑电信号辨识结果。
步骤3)所述的卷积神经网络模型结构包括：
结构相同的五条分支，每条分支包括：
(3.1)数据输入层，输入数据为有向加权复杂网络AC；
(3.2)第一卷积层，卷积核大小为9×9，卷积核数量为8个，卷积核选择ReLU作为激活函数；
(3.3)第二卷积层，卷积核大小为7×7，卷积核数量为6个，卷积核选择ReLU作为激活函数；
(3.4)第三卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(3.5)第四卷积层，卷积核大小为3×3，卷积核数量为2个，卷积核选择ReLU作为激活函数；
(3.6)一个批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(3.7)一个Dropout层，以概率p随机选择批量归一化层的神经元，使神经元不输出，减轻过拟合现象，p＝0.2；
(3.8)一个最大池化层，池化核大小为2×2；
(3.9)一个Flatten层，用于将多维的输入一维化；
(3.10)一个全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.00075，输出为Un,n代表频段号；
将五个分支的全连接层的输出Un通过串联层，与一个分类层相连，分类层激活函数选择Softmax，分类层的输出即为脑电信号辨识模块输出的EEG脑电信号辨识结果。
所述的便携式手部肌肉电刺激器包括有：依次连接的蓝牙无线通信电路，主控电路，和用于进行肌肉电刺激的电刺激信号发生电路，还设置有电源电路和锂电池充电电路，其中，
所述的电刺激信号发生电路能够产生5Hz,10Hz,15Hz,20Hz,25Hz的方波信号，开路输出电压幅值最大100V，具有接触检测和开路检测功能；
所述的供电电路，输入电压为8.4V，由锂电池充电电路进行供电，通过电压转换模块输出3.3v和50v，为主控电路和蓝牙无线通信电路提供3.3v工作电压，为刺激信号发生电路提供50v工作电压；
所述的主控电路，主控芯片选择GD32F103C8T6，用于调节电刺激发生电路的电刺激频率和控制蓝牙无线数据传输电路的传输模式与速度。
所述的蓝牙无线通信电路采用Bluetooth 2.0协议，用于接收来自脑电信号辨识模块的动作指令。
所述的锂电池充电电路用于在电池电量过低时提示使用者更换电池，具有低电量提示和充满提示功能。
应用时使用步骤如下：
1)使用者在康复训练前，通过想象动作提示界面(1)进行参数设置与动作提示；
2)通过便携式脑电采集设备(2)采集使用者EEG脑电信号；
3)利用脑电信号辨识模块(3)对采集到的EEG脑电信号进行判断，识别使用者当前动作意图；
4)便携式手部肌肉电刺激器(4)接收动作指令，对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。
本发明的基于深度学习的便携式脑控手部电刺激康复系统，能够实现对EEG脑电信号的准确获取、有效辨识和正确分类，通过识别使用者的动作意图，对手部肌肉神经进行电刺激，协助使用者完成康复训练。本发明能够进行居家康复训练，实现手部运动机能康复训练功能。本发明操作简便，可由使用者自行使用，无需其他人员的额外劳动。
附图说明
图1是本发明的基于深度学习的便携式脑控手部电刺激康复系统的构成框图；
图2是本发明中便携式脑电采集设备构成框图；
图3是本发明中想象动作提示界面的设置界面；
图4是本发明中想象动作提示界面的显示界面；
图5是本发明中想象动作提示界面的波形显示界面；
图6是本发明中深度卷积神经网络模型结构框图；
图7是本发明中便携式手部肌肉电刺激器的构成框图；
图8是本发明中基于深度学习的便携式脑控手部电刺激康复系统应用示意图。
具体实施方式
下面结合实施例和附图对本发明的基于深度学习的便携式脑控手部电刺激康复系统做出详细说明。
如图1所示，本发明的基于深度学习的便携式脑控手部电刺激康复系统，包括依次连接的：想象动作提示界面1、便携式脑电采集设备2、脑电信号辨识模块3和便携式手部肌肉电刺激器4；其特征在于，所述的想象动作提示界面1还连接便携式手部肌肉电刺激器4，使用者通过所述的想象动作提示界面1显示的图片进行动作意图想象，所述的便携式脑电采集设备2从使用者大脑采集EEG脑电信号；所述的脑电信号辨识模块3处理EEG脑电信号，并结合深度学习，智能识别使用者当前的动作意图；所述的便携式手部肌肉电刺激器4以脑电信号辨识模块3识别的使用者动作意图为基础，以想象动作提示界面1给出的刺激参数对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。
如图3所示，本发明中所述的便携式脑电采集设备2包括有依次连接的：用于采集EEG脑电信号的脑电极帽及其转接线11、用于脑电信号放大和转换的生物电信号采集模块12、用于控制脑电信号的采集以及向脑电信号辨识模块3传输EEG脑电信号的ARM处理器13和蓝牙无线数据传输电路14，以及分别连接生物电信号采集模块12、ARM处理器13和蓝牙无线数据传输电路14的系统供电电路15；其中，所述的脑电极帽及其转接线11中的脑电极帽采集使用者不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块12相连接，用于生物电信号的采集和传输。
所述的用于采集EEG脑电信号的脑电极帽及其转接线11获取使用者对应于脑电极帽的A1,T5,O1,FP1,FCz,Oz,C4,P4,P3,C3,Fz,Cz,Pz,FP2,O2,T6共十六个电极的EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联。
所述的生物电信号采集模块12是由2片型号为ADS1299或ADS1296或ADS1298的生物电信号采集芯片组成，所述的生物电信号采集芯片采样率为250Hz，集成了用于接收脑电帽采集的EEG脑电信号的高共模抑制比模拟输入模块、用于进行EEG脑电信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)。
所述的ARM处理器13和蓝牙无线数据传输电路14由主控芯片nRF52832集成，ARM处理器13采用Cortex-M4F内核，用于调整生物电信号采集模块12的采集模式与参数和控制蓝牙无线数据传输电路14的传输模式与速度；蓝牙无线数据传输电路14采用Cortex-M0内核，输出连接所述脑电信号辨识模块3的输入端，使用BLE协议，将EEG脑电信号数据向脑电信号辨识模块3传输。
所述的系统供电电路15，输入电压为4.2V，由锂电池进行供电，通过电压转换模块输出3.3V，提供便携式脑电采集设备2不同芯片的工作电压。
如图3所示，本发明中所述的想象动作提示界面1用于进行刺激频率，刺激时间，刺激轮数的设置，并将设置发送给便携式手部肌肉电刺激器4，想象动作提示界面1显示当前动作的图片，提醒使用者进行运动想象，并在肌肉电刺激完成后，提醒使用者进行休息；想象动作提示界面1具有EEG脑电信号波形显示与数据保存功能，用于使用者的EEG脑电信号分析。
如图4所示，本发明中所述想象动作提示界面2会显示当前动作的图片，提醒使用者进行运动想象，在刺激完成后，提醒使用者进行休息。
如图5所示，所述想象动作提示界面2具有当前波形显示与数据保存功能，可以用于使用者脑电信号分析。
本发明中所述的脑电信号辨识模块3，采用复杂网络分析结合深度学习方法进行运动想象EEG脑电信号分析，具体需要以下步骤：
1)对EEG脑电信号进行预处理：将使用者16通道的EEG脑电信号时间序列分别通过巴特沃斯滤波器进行带通滤波，每个通道的EEG脑电信号时间序列均分为θ(4-7Hz)、α(8-12Hz)、β(13-30Hz)、γ1(31-50Hz)和γ2(51-85Hz)5个频段，得到能够用于实现运动想象动作辨识的EEG脑电信号
L代表EEG脑电信号时间长度，C代表频段号；对EEG脑电信号
分别通过长度为4s的滑动窗口进行数据分割，滑动窗口的滑动步长为4s，得到一系列滑动窗口EEG脑电信号数据
l代表滑动窗口标号，N代表EEG脑电信号数据采集时间点，构成样本；
2)对每个样本构建有向加权复杂网络AC，得到大脑多层复杂网络；具体包括：
(2.1)将样本中的每个通道设置为一个节点，节点之间的连边通过信号相锁值(Phase Locking Value,PLV)来推断，信号相锁值是量化脑电信号同步的一种代表性方法，信号相锁值实际测量的是两个通道信号的相位差，得到两个时间序列的平均瞬时相位差的模；将EEG脑电信号数据
进行希尔伯特变换，分解为两部分：解析振幅Ax(t)和解析相位Φx(t)；对于两段EEG脑电信号数据
和
信号相锁值表示为：
其中，N代表EEG脑电信号数据采集时间点，θ(t)代表EEG脑电信号数据
和
的解析相位差；
(2.2)对所有的滑动窗口对应的EEG脑电信号数据，两两计算信号相锁值，根据先后顺序建立有向连边，得到有向加权复杂网络矩阵AC,C代表频段数；
(2.3)重复第(2.1)～(2.2)步，得到对应θ,α,β,γ1,γ2共5个频段的有向加权复杂网络矩阵Aθ，Aα，Aβ，
从而得到大脑多层复杂网络
(2.4)去掉有向加权复杂网络矩阵中20％信号相锁值最小的连边；
(2.5)利用EEG脑电信号
的幅值信息对大脑多层复杂网络
的各节点进行加权，得到有向加权复杂网络
对该有向加权复杂网络任意节点v和节点k之间的边，网络节点权重值avk更新为：
a′vk＝avk*(Tv+Tk)
式中，a′vk为更新后的网络节点权重值；Tv和Tk表示节点v和节点k的平均EEG脑电信号的幅值；节点v的加权度Dw(v)定义为：
其中，n是网络中的节点数；
3)搭建卷积神经网络模型，然后将所有样本对应的标签以及有向加权复杂网络
输入卷积神经网络模型，利用Tensorflow对卷积神经网络模型进行全监督训练，模型学习率设为0.003，Batchsize大小为2000，设置早停功能，共进行1000周期的循环训练，得到能够用于EEG脑电信号有效分类、辨识的训练好的卷积神经网络模型，所述卷积神经网络模型的输出即为脑电信号辨识模块3输出的EEG脑电信号辨识结果。
如图6所示，步骤3)中所述的卷积神经网络模型结构包括：
结构相同的五条分支，每条分支包括：
(3.1)数据输入层，输入数据为有向加权复杂网络AC；
(3.2)第一卷积层，卷积核大小为9×9，卷积核数量为8个，卷积核选择ReLU作为激活函数；
(3.3)第二卷积层，卷积核大小为7×7，卷积核数量为6个，卷积核选择ReLU作为激活函数；
(3.4)第三卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(3.5)第四卷积层，卷积核大小为3×3，卷积核数量为2个，卷积核选择ReLU作为激活函数；
(3.6)一个批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(3.7)一个Dropout层，以概率p随机选择批量归一化层的神经元，使神经元不输出，减轻过拟合现象，p＝0.2；
(3.8)一个最大池化层，池化核大小为2×2；
(3.9)一个Flatten层，用于将多维的输入一维化；
(3.10)一个全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.00075，输出为Un,n代表频段号；
将五个分支的全连接层的输出Un通过串联层，与一个分类层相连，分类层激活函数选择Softmax，分类层的输出即为脑电信号辨识模块(3)输出的EEG脑电信号辨识结果。所述的脑电信号辨识模块，由程序包进行封装，可在电脑端直接安装运行。
如图7所示，本发明中所述的便携式手部肌肉电刺激器4包括有：依次连接的蓝牙无线通信电路41，主控电路42，和用于进行肌肉电刺激的电刺激信号发生电路43，还设置有电源电路44和锂电池充电电路45，其中，
所述的电刺激信号发生电路43能够产生5Hz,10Hz,15Hz,20Hz,25Hz的方波信号，开路输出电压幅值最大100V，具有接触检测和开路检测功能；
所述的供电电路42，输入电压为8.4V，由锂电池充电电路45进行供电，通过电压转换模块输出3.3v和50v，为主控电路和蓝牙无线通信电路提供3.3v工作电压，为刺激信号发生电路提供50v工作电压。
所述的主控电路42，主控芯片选择GD32F103C8T6，用于调节电刺激发生电路41的电刺激频率和控制蓝牙无线数据传输电路44的传输模式与速度。
所述的蓝牙无线通信电路44采用Bluetooth 2.0协议，用于接收来自脑电信号辨识模块3的动作指令。
所述的锂电池充电电路45用于在电池电量过低时提示使用者更换电池，具有低电量提示和充满提示功能。
如图8所示，本发明的基于深度学习的便携式脑控手部电刺激康复系统使用步骤如下：
1)使用者在康复训练前，通过想象动作提示界面(1)进行参数设置与动作提示；
2)通过便携式脑电采集设备(2)采集使用者EEG脑电信号；
3)利用脑电信号辨识模块(3)对采集到的EEG脑电信号进行判断，识别使用者当前动作意图；
4)便携式手部肌肉电刺激器(4)接收动作指令，对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。
Claims (10)
1.一种基于深度学习的便携式脑控手部电刺激康复系统，包括依次连接的：想象动作提示界面(1)、便携式脑电采集设备(2)、脑电信号辨识模块(3)和便携式手部肌肉电刺激器(4)；其特征在于，所述的想象动作提示界面(1)还连接便携式手部肌肉电刺激器(4)，使用者通过所述的想象动作提示界面(1)显示的图片进行动作意图想象，所述的便携式脑电采集设备(2)从使用者大脑采集EEG脑电信号；所述的脑电信号辨识模块(3)处理EEG脑电信号，并结合深度学习，智能识别使用者当前的动作意图；所述的便携式手部肌肉电刺激器(4)以脑电信号辨识模块(3)识别的使用者动作意图为基础，以想象动作提示界面(1)给出的刺激参数对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。
2.根据权利要求1所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的便携式脑电采集设备(2)包括有依次连接的：用于采集EEG脑电信号的脑电极帽及其转接线(11)、用于脑电信号放大和转换的生物电信号采集模块(12)、用于控制脑电信号的采集以及向脑电信号辨识模块(3)传输EEG脑电信号的ARM处理器(13)和蓝牙无线数据传输电路(14)，以及分别连接生物电信号采集模块(12)、ARM处理器(13)和蓝牙无线数据传输电路(14)的系统供电电路(15)；其中，所述的脑电极帽及其转接线(11)中的脑电极帽采集使用者不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块(12)相连接，用于生物电信号的采集和传输。
3.根据权利要求2所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的用于采集EEG脑电信号的脑电极帽及其转接线(11)获取使用者对应于脑电极帽的A1,T5,O1,FP1,FCz,Oz,C4,P4,P3,C3,Fz,Cz,Pz,FP2,O2,T6共十六个电极的EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联。
4.根据权利要求2所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的生物电信号采集模块(12)是由2片生物电信号采集芯片组成，所述的生物电信号采集芯片采样率为250Hz，集成了用于接收脑电帽采集的EEG脑电信号的高共模抑制比模拟输入模块、用于进行EEG脑电信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器。
5.根据权利要求2所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的ARM处理器(13)和蓝牙无线数据传输电路(14)由主控芯片nRF52832集成，ARM处理器(13)采用Cortex-M4F内核，用于调整生物电信号采集模块(12)的采集模式与参数和控制蓝牙无线数据传输电路(14)的传输模式与速度；蓝牙无线数据传输电路(14)采用Cortex-M0内核，输出连接所述脑电信号辨识模块(3)的输入端，使用BLE协议，将EEG脑电信号数据向脑电信号辨识模块(3)传输。
6.根据权利要求1所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的想象动作提示界面(1)用于进行刺激频率，刺激时间，刺激轮数的设置，并将设置发送给便携式手部肌肉电刺激器(4)，想象动作提示界面(1)显示当前动作的图片，提醒使用者进行运动想象，并在肌肉电刺激完成后，提醒使用者进行休息；想象动作提示界面(1)具有EEG脑电信号波形显示与数据保存功能，用于使用者的EEG脑电信号分析。
7.根据权利要求1所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的脑电信号辨识模块(3)，采用复杂网络分析结合深度学习方法进行运动想象EEG脑电信号分析，具体需要以下步骤：
1)对EEG脑电信号进行预处理：将使用者16通道的EEG脑电信号时间序列分别通过巴特沃斯滤波器进行带通滤波，每个通道的EEG脑电信号时间序列均分为θ、α、β、γ1和γ25个频段，得到能够用于实现运动想象动作辨识的EEG脑电信号
L代表EEG脑电信号时间长度，C代表频段号；对EEG脑电信号
分别通过长度为4s的滑动窗口进行数据分割，滑动窗口的滑动步长为4s，得到一系列滑动窗口EEG脑电信号数据
l代表滑动窗口标号，N代表EEG脑电信号数据采集时间点，构成样本；
2)对每个样本构建有向加权复杂网络AC，得到大脑多层复杂网络；具体包括：
(2.1)将样本中的每个通道设置为一个节点，节点之间的连边通过信号相锁值来推断，信号相锁值是量化脑电信号同步的一种代表性方法，信号相锁值实际测量的是两个通道信号的相位差，得到两个时间序列的平均瞬时相位差的模；将EEG脑电信号数据
进行希尔伯特变换，分解为两部分：解析振幅Ax(t)和解析相位Φx(t)；对于两段EEG脑电信号数据
和
信号相锁值表示为：
其中，N代表EEG脑电信号数据采集时间点，θ(t)代表EEG脑电信号数据
和
的解析相位差；
(2.2)对所有的滑动窗口对应的EEG脑电信号数据，两两计算信号相锁值，根据先后顺序建立有向连边，得到有向加权复杂网络矩阵AC，C代表频段数；
(2.3)重复第(2.1)～(2.2)步，得到对应θ，α，β，γ1，γ2共5个频段的有向加权复杂网络矩阵Aθ，Aα，Aβ，
从而得到大脑多层复杂网络
(2.4)去掉有向加权复杂网络矩阵中20％信号相锁值最小的连边；
(2.5)利用EEG脑电信号
的幅值信息对大脑多层复杂网络
的各节点进行加权，得到有向加权复杂网络
对该有向加权复杂网络任意节点v和节点k之间的边，网络节点权重值avk更新为：
a′vk＝avk*(Tv+Tk)
式中，a′vk为更新后的网络节点权重值；Tv和Tk表示节点v和节点k的平均EEG脑电信号的幅值；节点v的加权度Dw(v)定义为：
其中，n是网络中的节点数；
3)搭建卷积神经网络模型，然后将所有样本对应的标签以及有向加权复杂网络
输入卷积神经网络模型，利用Tensorflow对卷积神经网络模型进行全监督训练，模型学习率设为0.003，Batchsize大小为2000，设置早停功能，共进行1000周期的循环训练，得到能够用于EEG脑电信号有效分类、辨识的训练好的卷积神经网络模型，所述卷积神经网络模型的输出即为脑电信号辨识模块(3)输出的EEG脑电信号辨识结果。
8.根据权利要求7所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，步骤3)所述的卷积神经网络模型结构包括：
结构相同的五条分支，每条分支包括：
(3.1)数据输入层，输入数据为有向加权复杂网络AC；
(3.2)第一卷积层，卷积核大小为9×9，卷积核数量为8个，卷积核选择ReLU作为激活函数；
(3.3)第二卷积层，卷积核大小为7×7，卷积核数量为6个，卷积核选择ReLU作为激活函数；
(3.4)第三卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(3.5)第四卷积层，卷积核大小为3×3，卷积核数量为2个，卷积核选择ReLU作为激活函数；
(3.6)一个批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(3.7)一个Dropout层，以概率p随机选择批量归一化层的神经元，使神经元不输出，减轻过拟合现象，p＝0.2；
(3.8)一个最大池化层，池化核大小为2×2；
(3.9)一个Flatten层，用于将多维的输入一维化；
(3.10)一个全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.00075，输出为Un，n代表频段号；
将五个分支的全连接层的输出Un通过串联层，与一个分类层相连，分类层激活函数选择Softmax，分类层的输出即为脑电信号辨识模块(3)输出的EEG脑电信号辨识结果。
9.根据权利要求1所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，所述的便携式手部肌肉电刺激器(4)包括有：依次连接的蓝牙无线通信电路(41)，主控电路(42)，和用于进行肌肉电刺激的电刺激信号发生电路(43)，还设置有电源电路(44)和锂电池充电电路(45)，其中，
所述的电刺激信号发生电路(43)能够产生5Hz，10Hz，15Hz，20Hz，25Hz的方波信号，开路输出电压幅值最大100V，具有接触检测和开路检测功能；
所述的供电电路(42)，输入电压为8.4V，由锂电池充电电路(45)进行供电，通过电压转换模块输出3.3v和50v，为主控电路和蓝牙无线通信电路提供3.3v工作电压，为刺激信号发生电路提供50v工作电压；
所述的主控电路(42)，主控芯片选择GD32F103C8T6，用于调节电刺激发生电路(41)的电刺激频率和控制蓝牙无线数据传输电路(44)的传输模式与速度。
所述的蓝牙无线通信电路(44)采用Bluetooth 2.0协议，用于接收来自脑电信号辨识模块(3)的动作指令。
所述的锂电池充电电路(45)用于在电池电量过低时提示使用者更换电池，具有低电量提示和充满提示功能。
10.根据权利要求1所述的基于深度学习的便携式脑控手部电刺激康复系统，其特征在于，应用时使用步骤如下：
1)使用者在康复训练前，通过想象动作提示界面(1)进行参数设置与动作提示；
2)通过便携式脑电采集设备(2)采集使用者EEG脑电信号；
3)利用脑电信号辨识模块(3)对采集到的EEG脑电信号进行判断，识别使用者当前动作意图；
4)便携式手部肌肉电刺激器(4)接收动作指令，对使用者手部肌肉进行电刺激，帮助使用者进行手部运动机能康复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114274.8A CN114504730A (zh) | 2022-01-30 | 2022-01-30 | 基于深度学习的便携式脑控手部电刺激康复系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114274.8A CN114504730A (zh) | 2022-01-30 | 2022-01-30 | 基于深度学习的便携式脑控手部电刺激康复系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114504730A true CN114504730A (zh) | 2022-05-17 |
Family
ID=81550981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210114274.8A Pending CN114504730A (zh) | 2022-01-30 | 2022-01-30 | 基于深度学习的便携式脑控手部电刺激康复系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114504730A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115363604A (zh) * | 2022-10-19 | 2022-11-22 | 山东海天智能工程有限公司 | 基于脑电信号的电极放电自动调节系统、介质及电子设备 |
| CN118072933A (zh) * | 2024-04-18 | 2024-05-24 | 首都儿科研究所附属儿童医院 | 一种具备ai智能分析的便携式脑肌电设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111513735A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 |
| CN111513991A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于人工智能技术的新型主动式手部全指康复设备 |
| CN111544256A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于图卷积和迁移学习的脑控智能全肢体康复方法 |
| CN111584031A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 |
| CN111616682A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于便携式脑电采集设备的癫痫发作预警系统及应用 |
-
2022
- 2022-01-30 CN CN202210114274.8A patent/CN114504730A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111544256A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于图卷积和迁移学习的脑控智能全肢体康复方法 |
| CN111584031A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 |
| CN111513735A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 |
| CN111513991A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于人工智能技术的新型主动式手部全指康复设备 |
| CN111616682A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于便携式脑电采集设备的癫痫发作预警系统及应用 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115363604A (zh) * | 2022-10-19 | 2022-11-22 | 山东海天智能工程有限公司 | 基于脑电信号的电极放电自动调节系统、介质及电子设备 |
| CN118072933A (zh) * | 2024-04-18 | 2024-05-24 | 首都儿科研究所附属儿童医院 | 一种具备ai智能分析的便携式脑肌电设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111616721B (zh) | 基于深度学习和脑机接口的情绪识别系统及应用 | |
| CN111616682B (zh) | 基于便携式脑电采集设备的癫痫发作预警系统及应用 | |
| CN111513735B (zh) | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 | |
| CN100594858C (zh) | 一种脑电肌电联合控制的电动假手的控制方法 | |
| CN109620651B (zh) | 基于同步脑肌电的智能辅助康复设备 | |
| CN114504730A (zh) | 基于深度学习的便携式脑控手部电刺激康复系统 | |
| CN111513991B (zh) | 基于人工智能技术的主动式手部全指康复设备 | |
| CN110495893B (zh) | 一种运动意图连续脑肌电多层次动态融合识别系统及方法 | |
| WO2020118797A1 (zh) | 假肢控制方法、装置、系统、设备和存储介质 | |
| CN106618562A (zh) | 一种可穿戴的癫痫脑电发作脑区定位装置及定位方法 | |
| CN111616681B (zh) | 基于便携式脑电采集设备和深度学习的麻醉状态监测系统 | |
| CN105769173A (zh) | 一种具有心电信号去噪功能的心电监测系统 | |
| CN111584029A (zh) | 基于判别式对抗网络的脑电自适应模型及在康复中的应用 | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
| CN111544256A (zh) | 基于图卷积和迁移学习的脑控智能全肢体康复方法 | |
| CN112022619A (zh) | 一种上肢康复机器人多模态信息融合感知系统 | |
| CN111584027B (zh) | 融合复杂网络和图卷积的脑控康复系统运动想象识别系统 | |
| CN105534517A (zh) | 一种去除三导联心电信号中车辆运动噪声的方法 | |
| CN105125186B (zh) | 一种确定干预治疗方式的方法及系统 | |
| CN114145745B (zh) | 基于图的多任务自监督情绪识别方法 | |
| CN114652328A (zh) | 一种用于失眠的双向闭环脑机交互电针参数智能匹配系统 | |
| CN114504330A (zh) | 一种基于便携式脑电采集头环的疲劳状态监测系统 | |
| CN201227336Y (zh) | 一种脑电肌电联合控制的电动假手 | |
| CN114081439A (zh) | 一种应用前额叶单通道脑电信号对睡眠分期的类脑算法 | |
| CN112057090B (zh) | 基于体表极低频电势差特征的情绪判断穿戴式设备和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |