CN113180992A - 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 - Google Patents
基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 Download PDFInfo
- Publication number
- CN113180992A CN113180992A CN202110234750.5A CN202110234750A CN113180992A CN 113180992 A CN113180992 A CN 113180992A CN 202110234750 A CN202110234750 A CN 202110234750A CN 113180992 A CN113180992 A CN 113180992A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- signal
- module
- exoskeleton
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 35
- 230000000638 stimulation Effects 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000007635 classification algorithm Methods 0.000 claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 210000004556 brain Anatomy 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000011161 development Methods 0.000 claims description 9
- 230000000763 evoking effect Effects 0.000 claims description 8
- 230000003183 myoelectrical effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000003750 conditioning effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000006998 cognitive state Effects 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 21
- 238000011160 research Methods 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 8
- 208000006011 Stroke Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012827 research and development Methods 0.000 description 5
- 206010033799 Paralysis Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 208000020431 spinal cord injury Diseases 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001188 articular cartilage Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009529 traumatic brain injury Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
Landscapes
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统，包括显示器数据反馈和视觉频闪刺激模块、脑电信号的采集模块、脑电信号预处理模块、脑电信号的分类算法模块和肌电信号采集模块，所述脑电信号的分类算法模块将分析处理得出的控制信号传输至外骨骼控制电路模块。以及提供一种基于脑电交互及肌电检测的上肢康复外骨骼闭环控制方法。本发明采用通过基于SSVEP的视觉脑机交互控制方式，简化了使用操作。使用者只需通过视觉注视，即可完成界面选择切换、模式点击确认等基本操作，康复训练中可更专注于双手的协调动作。
Description
技术领域
本发明属于上肢康复训练技术领域，涉及一种基于脑电交互及肌 电检测的上肢康复外骨骼闭环控制系统及方法。
背景技术
截止2020年2月，中国有8500万残疾人，而在后天瘫痪的疾病 中，中枢神经损伤导致的瘫痪是我国致残率最高的疾病之一，其中脑 卒中(CVA)和脊髓损伤(SCI)是目前最常见的瘫痪原因。数据显示， 我国目前有脑卒中患者约600余万，但是幸存者中约有70％～80％不同 程度丧失劳动能力，重度致残者占40％以上，复发率41％，然而因为中 国康复医疗行业存在着医疗资源地区分布不均，康复行业医务人员短 缺，康复行业服务能力不充足等问题，以及患者本身康复训练意识的 缺乏，据统计，幸存者中只有5％左右的患者得到了基本康复服务。综 上脑卒中患者大多丧失劳动力，给自身及家庭带来巨大负担，严重影 响患者及其家庭的生活质量，给国家带来庞大的经济和病理负担。近 年来，伴随着科技发展，康复器材的研究也有大发展，“十四五”规 划和2035年远景目标建议明确了包括脑科学在内的八个科技前沿领 域。其中脑机接口以脑电波为交互媒介，在对于康复医学以及康复机器人的研究方面有巨大的应用前景和理论意义。
我国康复机器人研究仍处于起步阶段。目前主要研究活动都集中 在哈尔滨工业大学、清华大学、哈尔滨工程大学等校园研发中心，但 多数仍处于实验室研发阶段，少部分能实现产业化和智能化，且多数 以简易型康复器械居多。
北京龙福康上肢关节康复器，可帮助进行腕关节、前臂及肩关节 旋转运动和抗阻力主动运动；增加关节软骨的营养和代谢能力。哈尔滨 工业大学工东岩等研制的外骨骼式康复机器人通过提取识别健康侧上 肢的表面肌电信号，控制患肢运动，可以对患者上肢进行主动、被动 和辅助运动三种康复运动。
瑞士Hocoma公司产品系列丰富，几乎垄断我国高端层面康复机器 人市场。核心产品Lokomat是能够提供实时反馈与评估的步态训练机 器人，对中风、脊髓损伤、创伤性脑损伤、多发性硬化症等神经系统 疾病患者具有良好的康复成果。Erigo是一款集成的倾斜机器人系统， 被用于长期卧床病人的早期阶段的神经康复训练。
以上研究对本公开内容的开发与设计有重要参考意义。但同时可 以发现，当前上肢外骨骼的康复装置的研发多通过肌电信号控制，且 大多为固定式医疗器械，因此在运用脑机接口技术以提升人机交互功 能，研发更为便携化、家庭式的康复器材，还有待进一步的研究开发
发明内容
为了克服已有技术的不足，本发明提供了一种基于脑电交互及肌 电检测的上肢康复外骨骼闭环控制系统及方法，采用通过基于SSVEP 的视觉脑机交互控制方式，简化了使用操作。使用者只需通过视觉注 视，即可完成界面选择切换、模式点击确认等基本操作，康复训练中 可更专注于双手的协调动作。
本发明解决其技术问题所采用的技术方案是：
一种基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统， 包括显示器数据反馈和视觉频闪刺激模块、脑电信号的采集模块、脑 电信号预处理模块、脑电信号的分类算法模块和肌电信号采集模块， 所述脑电信号的分类算法模块将分析处理得出的控制信号传输至外骨 骼控制电路模块；
所述显示器数据反馈和视觉频闪刺激模块中，通过稳态视觉诱发 电位控制外骨骼运动，检测肌电信号和运动想象脑电信号形成显示器 可视化反馈，形成脑机交互闭环控制系统；所述稳态视觉诱发电位由 视觉频闪刺激模块诱导产生；所述视觉频闪刺激模块中，显示器为每 秒画面被刷新60次、分辨率为1440×900的液晶显示器。刺激图标为 4个像素的方块，其刺激频率有5种选择分别为6.7Hz、7.5Hz、8.57Hz、 10Hz及12Hz；
所述脑电信号采集模块采用8通道分别采集SSVEP和运动想象脑 电信号；
所述脑电信号预处理模块，是将采集到的脑电信号经过调理电路 (前置放大电路，陷波滤波器，低通滤波器)的预处理后可以在滤除 信号中的噪声信号的同时放大EEG(脑电波，Electroencephalogram) 信号，将处理过后的EEG信号发送到OpenBCI信道，信号的模数转换 转由OpenBCI完成，然后通过蓝牙发送至上位机即PC端；
所述脑电信号的分类算法模块是通过蓝牙将脑电信号传入PC端 后，使用OpenBCIGUI软件实时可视化显示脑电数据，并且以实时流 式传输的方式到传入第三方软件MATLAB；使用MATLAB分别对SSVEP 和运动想象脑电信号进行分类算法和特征提取，最后识别模式作为控 制信号，再通过蓝牙传输至所述外骨骼控制电路板；
所述肌电信号采集模块采用肌电传感器检测肌电信号，将采集的 肌电信号传输至arduino开发板处理后，通过蓝牙模块反馈给上位机 即PC端。
一种基于脑电交互及肌电检测的上肢康复外骨骼闭环控制方法， 所述方法的过程如下：
视觉刺激模块开启，刺激图标按照所述频率闪烁；系统通过脑电 信号的采集模块采集原始脑电信号送至脑电信号预处理模块；
若外骨骼控制器处于开启状态，则通过脑电信号的分类算法模块 进行分析判断得到的上述经脑电信号预处理模块处理后的脑电信号与 参考信号间的相关系数与阈值的关系；
上述相关系数若小于阈值，则系统通过运动想象对所述脑电信号 进行分析，得出的控制指令将被传输至外骨骼控制电路模块来控制外 骨骼产生不同的动作；
上述相关系数若大于等于阈值，则系统基于SSVEP对所述脑电信 号进行分析，得出的控制指令将被传输至外骨骼控制电路模块来控制 外骨骼的运动模式。
进一步，运动想象信号分析是基于CNN(卷积神经网络， Convolutional NeuralNetworks)框架下进行的，包括：
对EEG信号进行预处理；
提取认知状态下的脑电特征并挑选出最具识别性的特征子集；
通过导入网络上开源的上肢运动想象数据及机器学习方法完成对 运动想象脑电信号的识别工作。
再进一步，所述脑电信号预处理模块的预处理方法是利用短时距 傅里叶变换(short-time Fourier transform,STFT)和连续Morlet 小波变换(Continuous WaveletTransform,CWT)对脑电波进行处理， 得到两种不同解析度下的时频信息：
所述外骨骼控制电路模块通过蓝牙接收PC端发来的上述控制指 令，分别控制电子推杆或舵机带动外骨骼关节转动，从而实现上肢康 复动作。
本发明的有益效果主要表现在：
(1)视觉的脑机交互方式即视觉稳态诱发电位(SSVEP)只做模式 选择：上肢瘫痪的人群，其患侧难以活动，健侧操作不便。且在康复 训练中，通常需要两只手协同完成康复运动。本发明采用通过基于 SSVEP的视觉脑机交互控制方式，简化了使用操作。使用者只需通过 视觉注视，即可完成界面选择切换、模式点击确认等基本操作，康复 训练中可更专注于双手的协调动作；
(2)可视化闭环反馈系统(综合视觉稳态诱发电位ssvep、运动想 象脑电信号mieeg、肌电信号mg的三元控制闭环系统)：现有康复装 置通常以开环控制为主，使用者执行程序后只能被动的接受康复动作。 本发明通过检测肌电信号和运动想象脑电信号，在显示器上可视化输 出，让使用者主动接受训练，自主发力，积极想象肢体运动，增强使 用者的主动训练意识，加快康复训练。
附图说明
图1为基于脑电交互及肌电检测的上肢康复外骨骼闭环控制的组 成图；
图2为系统交互界面信息框图；
图3为固定动作训练模式流程图；
图4为系统信号数据流图；
图5为10-20国际标准导联系统；
图6为电极代码以及对应的电极号、电极方位。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图6，一种基于脑电交互及肌电检测的上肢康复外骨骼 闭环控制系统及方法，包括脑电信号的采集模块、脑电信号预处理模 块、脑电信号的分类算法模块、外骨骼控制电路模块、肌电信号采集 模块、显示器数据反馈和视觉频闪刺激模块。
本发明使用流程包括：
准备阶段：使用者穿戴好外骨骼和脑机头箍，开启PC端和对应软 件；
选择阶段，使用者通过视觉注视的方式选择训练模式；
训练阶段，使用者需要通过自主发力和运动想象加速完成康复动 作。
所述准备阶段，使用者穿戴好设备，开启系统后进入交互界面， 交互界面信息框图如图2所示；
所述选择阶段，用户可在交互界面选择进入训练或进行康复疗程 相关信息了解；
所述训练模式分为自由动作训练与固定动作训练，其中固定动作 训练模式流程图如图3所示；
上述交互界面中所有选择均为通过基于SSVEP的视觉脑机交互控 制方式进行选择控制。
上述训练模式开启后，使用者通过注视显示器上固定频率闪烁的 刺激源使其大脑视觉皮层产生一个连续的与刺激频率有关的脑电信号 即稳态视觉诱发电位。使用者佩戴的自研非侵入式脑机头箍采集大脑 枕区的头皮表面的脑电信号。所述信号传输至OpenBCI电路板，经过 调理电路预处理后，通过蓝牙模块上传到上位机即PC端。PC端通过OpenBCI GUI实时可视化显示脑电波，脑电数据通过接口传输至Matlab 软件进行分类算法特征提取得到控制命令。控制命令通过蓝牙模块传 输至外骨骼控制电路来控制舵机带动康复外骨骼不同关节转动，完成 上肢康复动作。肌电传感器检测肌电信号，该肌电原始信号传输至 arduino开发板进行处理，通过蓝牙模块反馈给PC端。所述脑机头箍 采集到的运动想象脑电信号也反馈至PC端。PC端在显示器反馈使用 者的运动想象程度以及患侧用力情况，通过实时可视化显示康复动作 完成度，触发使用者自主完成康复动作意识。自此形成显示器，大脑， 脑电采集模块，上肢及外骨骼，PC端的这个脑机交互控制的闭环系统。 系统中各信号数据的流向如图4所示。
脑电信号的采集模块
采用自主研发的可穿戴湿电极的脑机头箍，配合OpenBCI开发板 采用8通道分别采集SSVEP和运动想象脑电信号；
脑电电极是一种可以将大脑电位活动生成的离子电位转换为可测 量的电子电位传感。本公开内容采用湿电极的脑电采集方式。上述湿 电极是金盘电极上涂抹了导电膏，使其和头皮的接触更良好，减小其 他干扰的影响，提高信噪比。根据本系统需要采集的脑电信号，电位 分为三个部分：视觉稳态诱发电位(大脑皮层枕叶区)、基于运动想象 的μ节律和β节律(额区)、参考电极(耳垂)。电极的选择定位基 于10-20国际标准导联系统，如图5所示，图中标明了所选电极：F3、 Fz、F4、O1、Oz、O2,其中A1,A2为参考电极。10-20国际标准导联系 统是采集FEG信号研究中最常用的电极安放标准。其命名规则和对应 的电极号、电极方位如图6所示。
脑电信号预处理模块
脑机头箍采集的脑电信号进过调理电路(前置放大电路，陷波滤 波器，低通滤波器)的预处理后在滤除信号中噪声信号的同时可以放 大EEG信号，上述EEG信号将被发送到OpenBCI信道，信号的模数转 换转由OpenBCI完成，然后通过数据传输模块发送至上位机即PC端。
上述调理电路由前置放大电路，陷波滤波器，低通滤波器组成。 前置放大器电路用于将信号放大，有利于信号的识别，该电路具有共 模抑制比高、增益高等特点。其次，加入陷波电路是为了避免电源产 生的噪声对脑电信号采集造成干扰，本公开内容采用的是经典的双T 陷波滤波器。使用低通滤波器对带有噪声的信号进行滤波，进一步滤 除和去噪以得到EEG信号的频率段，特别是对于高达30Hz的β节律 频段。
脑电信号的分类算法模块
通过蓝牙将上述采集到的脑电信号传入PC端后，使用OpenBCI GUI软件实时可视化显示脑电数据，并且以实时流式传输的方式到传 入第三方软件MATLAB。使用MATLAB分别对SSVEP和运动想象脑电信 号进行分类算法和特征提取，最后识别模式作为控制信号，再通过蓝 牙模块传输至外骨骼控制电路模块。
基于CCA对多通道SSVEP进行分析识别
典型相关分析(canonical correlation analysis，CCA)是多元 统计学的组成部分,是研究两组变量间互相关系的统计分析方法，即通 过寻找两组变量各自的线性组合,然后利用线性组合这两个变量之间 的相关关系来反映原来两组变量的关系。原本是研究两组变量之间的 相关性,现在就转换成研究提取出的这些典型变量之间的相关性,减少了研究变量的个数,大大提升了计算速率。
CCA中结合多种通道的脑电信号，提高了信噪比；主要采用CCA 方式识别出SSVEP中的目标频率，过程如下：
假设有k个频率刺激，N个信道时，X为测得的EEG信号，如式(1) 所示。式中，channel的下标表示不同信道的编号；
Y为模拟刺激频率的参考信号，其中fk是刺激频率，Fs是采样率， M是信号样本数，如式(2)所示；
CCA方法为两个多维信号X、Y找到一组矢量WX，WY，这一组矢量 可以使向量x，y之间的相关系数达到最大，其中x＝XTWX,y＝YTWY，如 式(3)所示；
式(3)得出X和Y之间的相关系数ρ的最大值，计算不同fk下的ρ， 最大的ρ对应的频率被认为是SSEVP的相应频率，最后通过识别相应 的频率产生不同的控制信号，完成视觉的脑机交互。
基于CNN对MI EEG分类识别
通过基于深度框架的卷积神经网络模型(CNN)提供传统方式识别 率普遍偏低的问题。运动想象脑电信号(MI EEG)识别任务的传统研 究方法首先需要对EEG信号进行预处理，随后选择合适的方法提取认 知状态下的脑电特征并挑选出最具识别性的特征子集，最后通过机器 学习方法完成对运动想象脑电信号的识别工作。
上述预处理方法是利用短时距傅里叶变换(STFT)和连续Morlet 小波变换(CWT)对脑电波进行处理，如式(4)、(5)所示，得到两种 不同解析度下的时频信息：
(4)式中，S(n)为脑电信号的时间序列，W(n)为窗口函数，N 为记录的时间点数，k为不同时间窗的索引，f为信号中的频率成分， n代表时间点；
(5)式中，x(t)为信号序列，ψ(t)为小波基底，t为时间点，参 数a控制小波函数的伸缩。
将上述得到的时频信息与电极通道位置信息相结合，以三维张量 形式作为神经网络的输入，训练出同时间、频率和空间三个维度均相 关的高阶特征，构建出的卷积神经网络。
采用所述基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系 统电路连接示意图如图6所示，外骨骼电路控制模块包括：
外骨骼控制电路板通过蓝牙模块接收从PC端发出的控制命令，分 别控制电子推杆或舵机带动外骨骼关节转动，从而实现上肢康复动作；
上述外骨骼控制电路模块利用开源开发板Arduino来实现。通过 开源开发板Arduino来控制电机驱动模块L298N控制直流舵机转动；
所述肌电信号采集模块利用EMG肌电传感器检测上肢肌电信号， 将采集到的肌电信号经由开源开发板Arduino处理形成EMG脉冲信号。 上述EMG脉冲信号和肌肉电原始信号也实时通过蓝牙模块传输至PC 端作为反馈。
显示器视觉刺激源，刺激器的选择：通常用于诱发SSVEP响应的 刺激器大体可分为三类：发光二极管(LED)、阴极射线管显示器(CRT)、 液晶显示器(LCD)。对于LED方法，硬件要求高且往往会产生上升下 降边沿影响输出脉冲。对于CRT显示器，会产生1ms-100ms的余辉， 影响刺激频率，且会引入低频干扰。综上，采用LCD作为刺激器，其 刺激频率的稳定性能够达到要求，同时在刺激检测上也能达到比较高 的精度，而且方便后续交互界面。
刺激频率的选择：研究表明，刺激频率从1Hz到100Hz都能诱发 SSVEP响应，根据范围可分为低、中、高频段，高频段刺激诱发的SSVEP 响应峰值最小，而低频段诱发的SSVEP响应具有信噪比高，容易诱发 等优点。但是低频段视觉刺激容易使用户产生视觉疲劳，本公开内容 考虑到这一因素对交互流程有做改进；
为了减少LCD显示器屏幕刷新率对SSVEP响应干扰，视觉刺激频 率应该为显示器刷新频率的正因子。根据数学关系
其中f0为 可选视觉刺激频率，f为显示器刷新频率，N为正整数。为了避免倍数 关系的刺激频率出现谐波现象，该作品采用6.7Hz、7.5Hz、8.57Hz、 10Hz、12Hz这5种频率作为刺激频率。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列 举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例 所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员 根据本发明构思所能想到的等同技术手段。
Claims (5)
1.一种基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统，其特征在于，所述系统包括显示器数据反馈和视觉频闪刺激模块、脑电信号的采集模块、脑电信号预处理模块、脑电信号的分类算法模块和肌电信号采集模块，所述脑电信号的分类算法模块将分析处理得出的控制信号传输至外骨骼控制电路模块；
所述显示器数据反馈和视觉频闪刺激模块中，通过稳态视觉诱发电位控制外骨骼运动，检测肌电信号和运动想象脑电信号形成显示器可视化反馈，形成脑机交互闭环控制系统；所述稳态视觉诱发电位由视觉频闪刺激模块诱导产生；所述视觉频闪刺激模块中，显示器为每秒画面被刷新60次、分辨率为1440×900的液晶显示器；刺激图标为4个像素的方块，其刺激频率有5种选择分别为6.7Hz、7.5Hz、8.57Hz、10Hz及12Hz；
所述脑电信号采集模块采用8通道分别采集SSVEP和运动想象脑电信号；
所述脑电信号预处理模块，是将采集到的脑电信号经过调理电路的预处理后可以在滤除信号中的噪声信号的同时放大EEG信号，将处理过后的EEG信号发送到OpenBCI信道，信号的模数转换转由OpenBCI完成，然后通过蓝牙发送至上位机即PC端；
所述脑电信号的分类算法模块是通过蓝牙将脑电信号传入PC端后，使用OpenBCI GUI软件实时可视化显示脑电数据，并且以实时流式传输的方式到传入第三方软件MATLAB；使用MATLAB分别对SSVEP和运动想象脑电信号进行分类算法和特征提取，最后识别模式作为控制信号，再通过蓝牙传输至所述外骨骼控制电路板；
所述肌电信号采集模块采用肌电传感器检测肌电信号，将采集的肌电信号传输至arduino开发板处理后，通过蓝牙模块反馈给上位机即PC端。
2.一种如权利要求1所述的基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统实现的方法，其特征在于，所述方法的过程如下：
视觉刺激模块开启，刺激图标按照所述频率闪烁；系统通过脑电信号的采集模块采集原始脑电信号送至脑电信号预处理模块；
若外骨骼控制器处于开启状态，则通过脑电信号的分类算法模块进行分析判断得到的上述经脑电信号预处理模块处理后的脑电信号与参考信号间的相关系数与阈值的关系；
上述相关系数若小于阈值，则系统通过运动想象对所述脑电信号进行分析，得出的控制指令将被传输至外骨骼控制电路模块来控制外骨骼产生不同的动作；
上述相关系数若大于等于阈值，则系统基于SSVEP对所述脑电信号进行分析，得出的控制指令将被传输至外骨骼控制电路模块来控制外骨骼的运动模式。
3.如权利要求2所述的方法，其特征在于，运动想象信号分析是基于CNN框架下进行的，包括：
对EEG信号进行预处理；
提取认知状态下的脑电特征并挑选出最具识别性的特征子集；
通过导入网络上开源的上肢运动想象数据及机器学习方法完成对运动想象脑电信号的识别工作。
4.如权利要求2或3所述的方法，其特征在于，所述脑电信号预处理模块的预处理方法是利用短时距傅里叶变换和连续Morlet小波变换对脑电波进行处理，得到两种不同解析度下的时频信息：
5.如权利要求2或3所述的方法，其特征在于，所述外骨骼控制电路模块通过蓝牙接收PC端发来的上述控制指令，分别控制电子推杆或舵机带动外骨骼关节转动，从而实现上肢康复动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110234750.5A CN113180992A (zh) | 2021-03-03 | 2021-03-03 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110234750.5A CN113180992A (zh) | 2021-03-03 | 2021-03-03 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113180992A true CN113180992A (zh) | 2021-07-30 |
Family
ID=76973078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110234750.5A Pending CN113180992A (zh) | 2021-03-03 | 2021-03-03 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113180992A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138108A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138109A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 基于脑机交互的ar设备 |
| CN114138107A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114237385A (zh) * | 2021-11-22 | 2022-03-25 | 中国人民解放军军事科学院军事医学研究院 | 一种基于非侵入脑电信号的有人机脑控交互系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107315478A (zh) * | 2017-07-05 | 2017-11-03 | 中国人民解放军第三军医大学 | 一种运动想象上肢智能康复机器人系统及其训练方法 |
| CN108304068A (zh) * | 2018-01-30 | 2018-07-20 | 山东建筑大学 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
| CN109199786A (zh) * | 2018-07-26 | 2019-01-15 | 北京机械设备研究所 | 一种基于双向神经接口的下肢康复机器人 |
-
2021
- 2021-03-03 CN CN202110234750.5A patent/CN113180992A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107315478A (zh) * | 2017-07-05 | 2017-11-03 | 中国人民解放军第三军医大学 | 一种运动想象上肢智能康复机器人系统及其训练方法 |
| CN108304068A (zh) * | 2018-01-30 | 2018-07-20 | 山东建筑大学 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
| CN109199786A (zh) * | 2018-07-26 | 2019-01-15 | 北京机械设备研究所 | 一种基于双向神经接口的下肢康复机器人 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138108A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138109A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 基于脑机交互的ar设备 |
| CN114138107A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138109B (zh) * | 2021-10-19 | 2024-04-12 | 杭州回车电子科技有限公司 | 基于脑机交互的ar设备 |
| CN114237385A (zh) * | 2021-11-22 | 2022-03-25 | 中国人民解放军军事科学院军事医学研究院 | 一种基于非侵入脑电信号的有人机脑控交互系统 |
| CN114237385B (zh) * | 2021-11-22 | 2024-01-16 | 中国人民解放军军事科学院军事医学研究院 | 一种基于非侵入脑电信号的有人机脑控交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113180992A (zh) | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 | |
| Liu et al. | Implementation of SSVEP based BCI with Emotiv EPOC | |
| CN108304068B (zh) | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 | |
| CN107315478B (zh) | 一种运动想象上肢智能康复机器人系统及其训练方法 | |
| CN103845137B (zh) | 基于稳态视觉诱发脑机接口的机器人控制方法 | |
| CN106491251B (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
| CN107510555B (zh) | 一种轮椅脑波控制装置及控制方法 | |
| CN111571619A (zh) | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 | |
| Cao et al. | A high rate online SSVEP based brain-computer interface speller | |
| Lo et al. | Novel non-contact control system for medical healthcare of disabled patients | |
| CN114469641A (zh) | 基于肌电识别的功能性电刺激运动障碍镜像训练方法 | |
| CN114021604A (zh) | 一种基于3d虚拟现实技术实时反馈的运动想象训练系统 | |
| CN112741637A (zh) | P300脑电信号提取方法、认知康复训练方法及系统 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN204759349U (zh) | 一种基于稳态视觉诱发电位的飞行器控制装置 | |
| Li et al. | Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion | |
| Park et al. | Application of EEG for multimodal human-machine interface | |
| CN108888482B (zh) | 基于运动皮层相关电位的下肢外骨骼康复训练系统 | |
| CN109078262B (zh) | 一种基于外周神经电刺激的mi-bci训练方法 | |
| CN111887845A (zh) | 一种基于eeg神经反馈注意力调节系统 | |
| Ali | EMG signals detection technique in voluntary muscle movement | |
| CN115712350A (zh) | 一种基于肌电检测的眨眼交流表达系统及控制方法 | |
| CN112674783A (zh) | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 | |
| Chen et al. | A flexible meal aid robotic arm system based on SSVEP |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |