CN108304068A - 一种基于脑机接口的上肢康复训练机器人控制系统及方法 - Google Patents
一种基于脑机接口的上肢康复训练机器人控制系统及方法 Download PDFInfo
- Publication number
- CN108304068A CN108304068A CN201810089917.1A CN201810089917A CN108304068A CN 108304068 A CN108304068 A CN 108304068A CN 201810089917 A CN201810089917 A CN 201810089917A CN 108304068 A CN108304068 A CN 108304068A
- Authority
- CN
- China
- Prior art keywords
- upper limb
- brain
- signal
- control system
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000003340 mental effect Effects 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 230000000763 evoking effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 210000004556 brain Anatomy 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 230000000638 stimulation Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000037361 pathway Effects 0.000 abstract description 3
- 238000002560 therapeutic procedure Methods 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 2
- 238000000537 electroencephalography Methods 0.000 description 29
- 238000000354 decomposition reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000001769 paralizing effect Effects 0.000 description 6
- 238000010219 correlation analysis Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000007659 motor function Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 201000000585 muscular atrophy Diseases 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0218—Drawing-out devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1657—Movement of interface, i.e. force application means
- A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
- A61H2230/08—Other bio-electrical signals
- A61H2230/10—Electroencephalographic signals
- A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Physical Education & Sports Medicine (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Rehabilitation Therapy (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了一种基于脑机接口的上肢康复训练机器人控制系统及方法,系统包括视觉刺激模块和脑电信号采集模块,所述脑电信号采集模块与脑电信号分析模块通信,脑电信号分析模块在线分析处理后将控制信号发送给上肢外骨骼控制系统,所述视觉刺激模块通过协议与上肢外骨骼控制系统通信;由稳态视觉诱发电位控制上肢外骨骼的启、停,由运动想象控制上肢外骨骼上臂旋转与肘部屈伸。将脑机接口技术与机器人技术相结合,使得患者的可以主动参与,让患者自由掌握训练时间,可以调动患者的积极性,提高控制准确度的同时最大程度地降低患者训练的疲劳度。而且对于完全瘫痪的患者,通过运动想象疗法,可促使受损运动传导路的修复或重建。
Description
技术领域
本发明涉及上肢康复训练机器人的控制方法技术领域,尤其涉及一种基于脑机接口的上肢康复训练机器人控制系统及方法。
背景技术
近年来,随着我国社会逐渐步入老龄化,脑中风已成为中老年人健康的最大威胁之一。据统计,中国每年的脑中风患者高达200万,致残率达75%。这类患者多数伴有上肢偏瘫症状,遗留不同程度的上肢运动功能障碍,日常生活极其痛苦和不便,也给家庭和社会带来沉重的负担。医学理论和临床医学证明,上肢偏瘫患者除了早期的手术治疗和必要的药物治疗外,正确的、科学的康复训练对于肢体运动功能的恢复和提高起到非常重要的作用。随着计算机科学的不断成熟和脑功能研究的深入,脑机接口(Brain-Computer Interface,BCI)技术给那些具有严重功能障碍的患者带来了福音。BCI是一种不依赖于大脑外周神经与肌肉组成的正常输出通路的通讯控制系统,该系统通过记录患者的脑电信号(Electroencephalography,EEG),对其特点进行分析,并将此转化为计算机可以识别的语言,作为指令输出以控制周围的环境。因此,BCI技术不仅能够有效增强身体严重残疾的患者与外界交流的能力,提高患者的生活质量,更为中风及偏瘫患者的康复治疗带来希望。
2010年,日本庆应大学的Yasunari Hashimoto等人通过将脑机接口与虚拟现实系统、Internet相结合,对患肌肉萎缩超过5个月的中风患者进行临床试验,患者想象左手、右手、脚的运动,提取mu(8-13)和beta(18-26)节律的脑电信号,控制基于Internet的虚拟现实系统的头像的移动。患者经过简单的训练之后,EEG识别错误率由原来的40%下降到28%,患者可以在虚拟现实系统中自如的控制头像的移动。这证明了BCI系统在对中风患者的康复训练中的有效性。2012年,意大利PERCRO实验室的Antonio Frisoli,ClaudioLoconsole等人开发了一种新型的基于Gaze-BCI的上肢康复机器人训练系统。该系统将脑机接口与视觉追踪和触觉定位设备结合起来,使患者通过运动想象更为方便地实现定位和抓取动作。2003年,清华大学的程明、任宇鹏等学者初步实现了基于稳态视觉诱发电位的脑机接口,并利用设计的系统对假肢进行了四个动作的控制:抓握水杯、将水倒出、放回水杯和复原假肢。2007年,清华大学的高上凯团队和香港理工大学合作研发出了一套基于BCI-FES的上肢康复训练系统,用于对中风患者进行康复治疗。患者通过思维脑电来触发功能性电刺激设备,从而实验腕部和手部的运动。两名中风患者参与了实验,在十个疗程之后,患者的错误率低于20%。
现阶段,基于运动想象的脑机接口技术需要被试者进行大量相关的训练,由于个体的差异也会影响在线控制系统的质量,而且运动想象的分类越多,特征分类的困难就会越大。现有的基于脑机接口的上肢康复机器人的控制方法并没有让严重运动残疾患者自由掌握训练时间,让患者自己选择开启与关闭上肢康复训练机器人。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于脑机接口的上肢康复训练机器人控制系统及方法,患者可以主动参与,让患者自由掌握训练时间,可以调动患者的积极性,提高控制准确度的同时最大程度地降低患者训练的疲劳度。
为了实现上述目的,本发明采用如下技术方案:
一种基于脑机接口的上肢康复训练机器人控制系统,包括视觉刺激模块和脑电信号采集模块,所述脑电信号采集模块与脑电信号分析模块通信,脑电信号分析模块在线分析处理后将控制信号发送给上肢外骨骼控制系统,所述视觉刺激模块通过协议与上肢外骨骼控制系统通信;
由稳态视觉诱发电位控制上肢外骨骼的启、停,由运动想象控制上肢外骨骼上臂旋转与肘部屈伸。
所述脑电信号采集模块采集到的脑电信号通过WiFi传输到脑电信号分析模块;脑电信号分析模块在线分析处理后将控制信号通过WiFi发送给上肢外骨骼控制系统。
所述视觉刺激模块利用Matlab的Psychtoolbox工具箱实现。
所述视觉刺激模块采用刷新率60帧/秒的液晶显示器,分辨率设置为1366×768像素;
刺激目标由大小为150×150像素的2个方块组成,刺激目标的频率分别设为8Hz与12Hz;刺激目标为两个方块,下方对应的是与运动想象有关的两个方块,分别显示左右,左为用户想象左手运动,右为用户想象右手运动。
采用一种基于脑机接口的上肢康复训练机器人控制系统的控制方法,包括:
视觉刺激模块中的频闪开启,系统采集脑电数据进行分析控制上肢外骨骼是否开启;
若启动了上肢外骨骼,先对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值;
若小于阈值,进入运动想象信号分析得出指令来控制上肢外骨骼,通过想左或者想右产生不同的脑电信号,然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作;
若大于阈值则判为信号进行SSVEP信号分析控制上肢外骨骼的启、停。
若启动了上肢外骨骼,对采集到的脑电信号进行SSVEP信号分析。
对SSVEP信号进行2HZ到40HZ的带通滤波,消除高频及工频干扰;滤波算法采用5阶Butterworth滤波器。
运动想象信号分析包括:
预处理,对数据进行滤波;
特征提取,利用CSP算法,提取想象左和想象右的特征向量fL和fR;
特征分类,利用支持向量机进行特征分类。
预处理时,采用2-24Hz的数字滤波器对数据进行滤波。
其中,VAR(ZL)为ZL的均方差,VAR(ZR)为ZR的均方差,sum(VAR(ZL))为ZL的均方差之和,sum(VAR(ZR))为ZR的均方差之和,ZL、ZR为将训练集的运动想象矩阵XL、XR经过滤波器W滤波得到的特征。
本发明的有益效果:
本发明针对瘫痪病人上肢运动功能康复,将脑机接口技术与机器人技术相结合,使得患者的可以主动参与,让患者自由掌握训练时间,可以调动患者的积极性,提高控制准确度的同时最大程度地降低患者训练的疲劳度。而且对于完全瘫痪的患者,通过运动想象疗法,可促使受损运动传导路的修复或重建。
附图说明
图1为本发明的系统组成图;
图2(a)为视觉刺激模块频闪显示界面;图2(b)为视觉刺激模块频闪反馈界面;
图3为小波包变换的4层小波树分解示意图;
图4为上肢康复训练机器人结构图;
图5为本发明的控制方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明针对瘫痪病人上肢运动功能康复,提出了一种基于运动想象(MotorImagery,MI)与稳态视觉诱发电位(steady-statevisual evoked potential,SSVEP)脑电的混合脑机接口上肢训练康复机器人系统。
名词英语缩略:
稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP),运动想象(Motor Imagery,MI),脑机接口(Brain Computer Interface,BCI),小波变换(WaveletTransform),特征提取(Feature Extraction),分类算法(Classification algorithm)
共同空间模式(Common Spatial Pattern,CSP),支持向量机(Support VectorMachine,SVM),典型相关分析(Canonical Correlation Analysis,CCA)
本发明要解决的技术问题是:1)脑电信号的分析方法;2)区分稳态视觉诱发电位与运动想象产生的脑电信号;3)系统各模块间的通讯。
一种基于脑机接口的上肢康复训练机器人控制系统,包括:是脑电信号(electroencephalogram,EEG)采集系统、视觉刺激模块、上肢外骨骼控制系统和EEG分析模块组成。
系统组成如图1所示,系统开始后,打开频闪刺激模块,用户佩戴脑电帽产生不同的EEG,EEG通过放大器由无线WiFi传送到EEG放大器控制端,EEG采集系统采集到的脑电信号通过WiFi传输到EEG分析模块,EEG分析模块对EEG进行在线处理,分析结果由WiFi发送给上肢外骨骼控制系统。从而实现一套由稳态视觉诱发电位SSVEP控制上肢外骨骼的启、停,由运动想象控制上肢外骨骼上臂旋转与肘部屈伸的混合脑机接口上肢康复训练机器人。
1)数据采集部分
脑电采集设备采用博睿康科技有限公司(Neuracle)的32通道无线脑电采集系统(包括脑电帽、无线脑电放大器以及无线路由器)。脑电采集的采样频率设置为250Hz,记录全部电极,导联位置符合国际10-20标准,实验中保持电极阻抗在5k欧姆以下。EEG分析系统不只在线采集数据并且可以保存数据以便之后对数据做离线分析。
2)频闪设计
视觉刺激模块利用Matlab的Psychtoolbox(PTB)工具箱实现,很好的解决了LCD刷新率受限的不足。视觉刺激模块采用刷新率60帧/秒的液晶显示器,分辨率设置为1366×768(像素)。刺激目标由大小为150×150(像素)的2个方块组成,刺激目标的频率分别设为8Hz与12Hz。刺激目标选择白色方块,背景颜色为黑色。如图2(a)所示,频闪下方是与运动想象有关的两个方块,分别显示左右,左为用户想象左手运动,右为用户想象右手运动。视觉刺激模块通过tcpip协议与上肢外骨骼控制系统通信,用户通过注视屏幕上相应的闪烁区域来实现其控制意图。当系统识别出用户进行的选择后,用户所选命令对应的区域颜色变颜色,如图2(b)所示,如可以是红色,以便用户及早获取分析结果。
3)信号分析:
信号分析在MATLAB软件上完成。
(1)SSVEP信号分析:
先对SSVEP信号进行2HZ到40HZ的带通滤波,消除高频及工频干扰。滤波算法采用5阶Butterworth滤波器。
典型相关分析(Canonical Correlation Analysis,CCA)是多元统计学的组成部分,是研究两组变量间相互关系的统计分析方法。对两个多维信号X,Y来说,CCA方法试图找到一组矢量Wx,Wy,这一组矢量可以使向量x,y之间的相关系数达到最大,其中x=XTWx,y=YTWY。计算方法如下式所示:
对Wx,Wy,求得最大的ρ,即是得到了最大的典型相关系数。
将CCA算法应用于SSVEP信号的分析时,X可以被设定为一组多通道脑电信号,Y被设定为一组参考信号,如式(2):
(2)式中,N是谐波数量,f是刺激频率。
(2)运动想象信号分析
(a)预处理
由于运动想象时的事件相关去同步(ERD)和事件相关同步(ERS)现象主要出现μ(8~12Hz)频段,采用2-24Hz的数字滤波器对数据进行滤波。
(b)特征提取
小波分析是一种窗口面积固定而其形状可改变,即时间窗和频率窗均可变的时频局部化分析方法。小波函数是小波包函数族中的一个,因此可以说小波包是小波函数的推广。
对运动想象数据进行进行4层小波包变换。小波包变换的4层小波树分解示意图如图3所示,
设原始信号为f(n),则小波包分解算法可表示为:
式(3)中,j=0,1,2,…,J为分解层数,J为最高分解层数,Aj表示第j层上小波分解近似系数,Dj表示第j层上小波分解逼近系数,h和g分别是正交低通分解滤波器和高通分解滤波器。和表示滤波器h,g的共轭反转;表示Aj和的卷积,表示对卷积的二元下抽样,C为二元下抽样算子。
本发明采用Shannon熵作为标准采用小波包熵对给定的脑电信号进行信息相关性能描述。Shannon熵定义如下:
其中A代表信号,Aj代表信号A在一个正交小波包基上的投影系数。
计算得到4层小波变化时μ节律对应的频段为(4,2)节点。因此可以计算图3中节点的小波包分解系数Sij的熵:
其中,Xij表示频带中小波包系数Sij的时域重构离散信号。
CSP算法作为一种在多任务条件下,从多通道数据集中提取某一特定任务信号成分的方法,步骤如下:
小波提取的特征系数作为CSP的输入N*T的矩阵E,其中N为脑电测量的通道数,T为脑电测量时每个通道的采样点数,那么归一化的脑电数据协方差矩阵可以表示为:
若用CL和CR表示想象左和想象右两种情况下的空间协方差矩阵。那我们可以应用主成分分析法,对协方差矩阵的和C按下式进行特征分解:
其中,为特征矩阵对角阵,FC∈R3×3为对应的特征向量矩阵。那么,白化矩阵为:
则协方差矩阵CL和CR可以变换为
SL=PCLPT (9)
SR=PCRPT (10)
由此可求得广义特征值构成的对角阵D和特征向量矩阵B使得
SLB=SRBD (11)
由此可以构造如下空间滤波器:
W=BT×P (12)
将训练集的运动想象矩阵XL、XR经过构造的相应滤波器W滤波可得特征ZL、ZR为:
ZL=W×XL (13)
ZR=W×XR (14)
根据CSP算法在多电极采集脑电信号特征提取的定义,本发明选取fL和fR为想象左和想象右的特征向量,定义如下:
对于测试数据Xi来说,其特征向量fi提取方式如下式,并与fL和fR进行比较以确定第i次想象为想左或想右。
(c)特征分类
支持向量机(SVM)是基于统计学习理论的一种机器学习方法,针对二分类问题,SVM有更强的适应性、更好的分类能力以及更高的计算效率。SVM方法常用的核函数有线性核、多项式核以及径向基核等,选用不同的核函数可以构造不同的SVM分类器,本发明选用径向基核函数:
k(xi,xj)=exp(-γ||xi-xj||2),γ>0 (18)
其中,xi表示第i个输入样本,γ为核参数。对于支持向量机来说,核参数γ和误差惩罚因子C是影响性能的主要参数。参数γ影响空间变换后的数据分布,而参数C决定了SVM的收敛速度和推广能力。本发明采用网格搜索法确定参数γ和C,并采用10段交叉验证的方法进行验证。
4)上肢外骨骼控制系统
EEG分析程序产生控制命令用来控制上肢外骨骼的动作。上肢双臂康复训练机器人包有第一自由度、第二自由度、第三自由度、第四自由度、第五自由度、第六自由度依次串联连接,有五种运动模式分别为:腕部屈伸,肘部屈伸,大臂旋转,大臂抬伸与肩部旋转。用脑机控制其两个运动模式。其运动控制系统以TRIO MC464为主控单元,通过以太网接口和上位机连接。上肢康复训练机器人结构图如图4。
5)采用所述一种基于脑机接口的上肢康复训练机器人控制系统的控制方法,如图5所示,包括:
系统开始后,频闪开启,用户戴电极帽看频闪,系统采集脑电数据进行SSVEP信号分析控制上肢外骨骼是否开启;
若启动了上肢外骨骼,先对采集到的脑电信号进行SSVEP信号分析,判断SSVEP信号与参考信号的相关系数是否小于阈值;
若小于阈值,然后进入运动想象信号分析程序得出指令来控制上肢外骨骼,用户通过想左或者想右产生不同的EEG,然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作;
若大于阈值则判为SSVEP信号进行SSVEP信号分析控制上肢外骨骼的启、停。
本发明用运动想象与SSVEP相结合的方法来控制上肢康复训练机器人,既能增加分类模式,又能使患者通过运动想象疗法促使受损运动传导路的修复或重建,同时患者可以主动掌握训练时间。并且基于SSVEP脑机接口二分类的准确率可高达93%以上,从而提高系统整体的稳定性。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于脑机接口的上肢康复训练机器人控制系统,其特征是,包括视觉刺激模块和脑电信号采集模块,所述脑电信号采集模块与脑电信号分析模块通信,脑电信号分析模块在线分析处理后将控制信号发送给上肢外骨骼控制系统,所述视觉刺激模块通过协议与上肢外骨骼控制系统通信;
由稳态视觉诱发电位控制上肢外骨骼的启、停,由运动想象控制上肢外骨骼上臂旋转与肘部屈伸。
2.如权利要求1所述一种基于脑机接口的上肢康复训练机器人控制系统,其特征是,所述脑电信号采集模块采集到的脑电信号通过WiFi传输到脑电信号分析模块;脑电信号分析模块在线分析处理后将控制信号通过WiFi发送给上肢外骨骼控制系统。
3.如权利要求1所述一种基于脑机接口的上肢康复训练机器人控制系统,其特征是,所述视觉刺激模块利用Matlab的Psychtoolbox工具箱实现。
4.如权利要求1-3任意一项所述一种基于脑机接口的上肢康复训练机器人控制系统,其特征是,所述视觉刺激模块采用刷新率60帧/秒的液晶显示器,分辨率设置为1366×768像素;
刺激目标由大小为150×150像素的2个方块组成,刺激目标的频率分别设为8Hz与12Hz;刺激目标为两个方块,下方对应的是与运动想象有关的两个方块,分别显示左右,左为用户想象左手运动,右为用户想象右手运动。
5.采用权利要求1所述一种基于脑机接口的上肢康复训练机器人控制系统的控制方法,其特征是,包括:
视觉刺激模块中的频闪开启,系统采集脑电数据进行分析控制上肢外骨骼是否开启;
若启动了上肢外骨骼,先对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值;
若小于阈值,进入运动想象信号分析得出指令来控制上肢外骨骼,通过想左或者想右产生不同的脑电信号,然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作;
若大于阈值则判为信号进行SSVEP信号分析控制上肢外骨骼的启、停。
6.如权利要求5所述的控制方法,其特征是,若启动了上肢外骨骼,对采集到的脑电信号进行SSVEP信号分析。
7.如权利要求6所述的控制方法,其特征是,对SSVEP信号进行2HZ到40HZ的带通滤波,消除高频及工频干扰;滤波算法采用5阶Butterworth滤波器。
8.如权利要求5所述的控制方法,其特征是,运动想象信号分析包括:
预处理,对数据进行滤波;
特征提取,利用CSP算法,提取想象左和想象右的特征向量fL和fR;
特征分类,利用支持向量机进行特征分类。
9.如权利要求8所述的控制方法,其特征是,预处理时,采用2-24Hz的数字滤波器对数据进行滤波。
10.如权利要求8所述的控制方法,其特征是,
其中,VAR(ZL)为ZL的均方差,VAR(ZR)为ZR的均方差,sum(VAR(ZL))为ZL的均方差之和,sum(VAR(ZR))为ZR的均方差之和,ZL、ZR为将训练集的运动想象矩阵XL、XR经过滤波器W滤波得到的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810089917.1A CN108304068B (zh) | 2018-01-30 | 2018-01-30 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810089917.1A CN108304068B (zh) | 2018-01-30 | 2018-01-30 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108304068A true CN108304068A (zh) | 2018-07-20 |
CN108304068B CN108304068B (zh) | 2021-11-16 |
Family
ID=62866906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810089917.1A Active CN108304068B (zh) | 2018-01-30 | 2018-01-30 | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108304068B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108904980A (zh) * | 2018-08-01 | 2018-11-30 | 国家康复辅具研究中心 | 基于脑电和功能性电刺激的上肢主动康复方法及装置 |
CN109657560A (zh) * | 2018-11-24 | 2019-04-19 | 天津大学 | 机械手臂控制在线脑-机接口系统及实现方法 |
CN110363157A (zh) * | 2019-07-17 | 2019-10-22 | 杭州电子科技大学 | 基于时间编码的外骨骼混合脑机接口控制方法 |
CN110737331A (zh) * | 2019-09-11 | 2020-01-31 | 浙江迈联医疗科技有限公司 | 基于多任务脑机接口的个性化认知训练及康复方法、装置及设备 |
CN110882134A (zh) * | 2019-10-24 | 2020-03-17 | 中国科学院深圳先进技术研究院 | 跨障意图识别方法、外骨骼机器人跨障控制方法及设备 |
CN110956701A (zh) * | 2019-10-24 | 2020-04-03 | 中国人民解放军军事科学院国防科技创新研究院 | 生活辅助系统及生活辅助方法 |
WO2020119319A1 (zh) * | 2018-12-15 | 2020-06-18 | 华南理工大学 | 一种多模态交互的上肢康复机器人训练系统 |
CN111513991A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于人工智能技术的新型主动式手部全指康复设备 |
CN111631907A (zh) * | 2020-05-31 | 2020-09-08 | 天津大学 | 基于脑机交互混合智能的脑卒中患者手部康复系统 |
CN112085169A (zh) * | 2020-09-11 | 2020-12-15 | 西安交通大学 | 肢体外骨骼辅助康复脑-肌电融合感知的自主学习与进化方法 |
CN113110738A (zh) * | 2021-04-02 | 2021-07-13 | 天津理工大学 | 一种基于阈值判别方法的多模态脑电信号检测方法 |
CN113180992A (zh) * | 2021-03-03 | 2021-07-30 | 浙江工业大学 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
CN113274032A (zh) * | 2021-04-29 | 2021-08-20 | 上海大学 | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 |
CN113332101A (zh) * | 2021-06-11 | 2021-09-03 | 上海羿生医疗科技有限公司 | 基于脑机接口的康复训练装置的控制方法和装置 |
CN113952160A (zh) * | 2020-11-26 | 2022-01-21 | 深圳华鹊景医疗科技有限公司 | 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 |
CN114173663A (zh) * | 2020-02-07 | 2022-03-11 | Vibraint公司 | 神经康复系统及神经康复方法 |
CN114367090A (zh) * | 2021-12-15 | 2022-04-19 | 郑州大学 | 一种上肢训练系统、方法及可读存储介质 |
CN114617745A (zh) * | 2020-12-08 | 2022-06-14 | 山东新松工业软件研究院股份有限公司 | 下肢康复机器人训练控制方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
CN104091172A (zh) * | 2014-07-04 | 2014-10-08 | 北京工业大学 | 一种运动想象脑电信号的特征提取方法 |
CN107315478A (zh) * | 2017-07-05 | 2017-11-03 | 中国人民解放军第三军医大学 | 一种运动想象上肢智能康复机器人系统及其训练方法 |
CN107358041A (zh) * | 2017-07-03 | 2017-11-17 | 华南理工大学 | 一种基于脑‑机接口的运动想象疗法装置及其使用方法 |
WO2017213202A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社国際電気通信基礎技術研究所 | 運動教示システム及び運動教示方法 |
CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
-
2018
- 2018-01-30 CN CN201810089917.1A patent/CN108304068B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
CN104091172A (zh) * | 2014-07-04 | 2014-10-08 | 北京工业大学 | 一种运动想象脑电信号的特征提取方法 |
WO2017213202A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社国際電気通信基礎技術研究所 | 運動教示システム及び運動教示方法 |
CN107358041A (zh) * | 2017-07-03 | 2017-11-17 | 华南理工大学 | 一种基于脑‑机接口的运动想象疗法装置及其使用方法 |
CN107315478A (zh) * | 2017-07-05 | 2017-11-03 | 中国人民解放军第三军医大学 | 一种运动想象上肢智能康复机器人系统及其训练方法 |
CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108904980A (zh) * | 2018-08-01 | 2018-11-30 | 国家康复辅具研究中心 | 基于脑电和功能性电刺激的上肢主动康复方法及装置 |
CN109657560A (zh) * | 2018-11-24 | 2019-04-19 | 天津大学 | 机械手臂控制在线脑-机接口系统及实现方法 |
WO2020119319A1 (zh) * | 2018-12-15 | 2020-06-18 | 华南理工大学 | 一种多模态交互的上肢康复机器人训练系统 |
CN110363157B (zh) * | 2019-07-17 | 2021-08-31 | 杭州电子科技大学 | 基于时间编码的外骨骼混合脑机接口控制方法 |
CN110363157A (zh) * | 2019-07-17 | 2019-10-22 | 杭州电子科技大学 | 基于时间编码的外骨骼混合脑机接口控制方法 |
CN110737331A (zh) * | 2019-09-11 | 2020-01-31 | 浙江迈联医疗科技有限公司 | 基于多任务脑机接口的个性化认知训练及康复方法、装置及设备 |
CN110737331B (zh) * | 2019-09-11 | 2023-10-27 | 浙江迈联医疗科技有限公司 | 基于多任务脑机接口的个性化认知训练及康复方法、装置及设备 |
CN110882134A (zh) * | 2019-10-24 | 2020-03-17 | 中国科学院深圳先进技术研究院 | 跨障意图识别方法、外骨骼机器人跨障控制方法及设备 |
CN110956701A (zh) * | 2019-10-24 | 2020-04-03 | 中国人民解放军军事科学院国防科技创新研究院 | 生活辅助系统及生活辅助方法 |
EP4000578A4 (en) * | 2020-02-07 | 2023-08-02 | Vibraint Inc. | NEUROLOGICAL REHABILITATION SYSTEM AND NEUROLOGICAL REHABILITATION METHOD |
CN114173663A (zh) * | 2020-02-07 | 2022-03-11 | Vibraint公司 | 神经康复系统及神经康复方法 |
CN111631907B (zh) * | 2020-05-31 | 2022-06-03 | 天津大学 | 基于脑机交互混合智能的脑卒中患者手部康复系统 |
CN111513991B (zh) * | 2020-05-31 | 2022-06-03 | 天津大学 | 基于人工智能技术的主动式手部全指康复设备 |
CN111631907A (zh) * | 2020-05-31 | 2020-09-08 | 天津大学 | 基于脑机交互混合智能的脑卒中患者手部康复系统 |
CN111513991A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于人工智能技术的新型主动式手部全指康复设备 |
CN112085169A (zh) * | 2020-09-11 | 2020-12-15 | 西安交通大学 | 肢体外骨骼辅助康复脑-肌电融合感知的自主学习与进化方法 |
CN113952160A (zh) * | 2020-11-26 | 2022-01-21 | 深圳华鹊景医疗科技有限公司 | 融合脑机接口的康复外骨骼控制方法、装置及康复机器人 |
CN114617745A (zh) * | 2020-12-08 | 2022-06-14 | 山东新松工业软件研究院股份有限公司 | 下肢康复机器人训练控制方法及系统 |
CN113180992A (zh) * | 2021-03-03 | 2021-07-30 | 浙江工业大学 | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 |
CN113110738A (zh) * | 2021-04-02 | 2021-07-13 | 天津理工大学 | 一种基于阈值判别方法的多模态脑电信号检测方法 |
CN113274032A (zh) * | 2021-04-29 | 2021-08-20 | 上海大学 | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 |
CN113332101A (zh) * | 2021-06-11 | 2021-09-03 | 上海羿生医疗科技有限公司 | 基于脑机接口的康复训练装置的控制方法和装置 |
CN113332101B (zh) * | 2021-06-11 | 2023-08-01 | 上海羿生医疗科技有限公司 | 基于脑机接口的康复训练装置的控制方法和装置 |
CN114367090A (zh) * | 2021-12-15 | 2022-04-19 | 郑州大学 | 一种上肢训练系统、方法及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108304068B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304068A (zh) | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 | |
CN113398422B (zh) | 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法 | |
CN109366508A (zh) | 一种基于bci的高级机械臂控制系统及其实现方法 | |
CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
Peterson et al. | A penalized time-frequency band feature selection and classification procedure for improved motor intention decoding in multichannel EEG | |
CN111631907A (zh) | 基于脑机交互混合智能的脑卒中患者手部康复系统 | |
CN113274032A (zh) | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 | |
CN104997581B (zh) | 基于面部表情驱动脑电信号的假手控制方法及装置 | |
CN106491251B (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
Gupta et al. | Detecting eye movements in EEG for controlling devices | |
CN109326341A (zh) | 一种康复动作引导方法和装置 | |
Costa et al. | An adaptive CSP filter to investigate user independence in a 3-class MI-BCI paradigm | |
CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
Shi et al. | A novel human-machine collaboration model of an ankle joint rehabilitation robot driven by EEG signals | |
CN103300850A (zh) | 一种中风病人脑电信号采集与处理的方法 | |
CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
Cheng et al. | Robotic arm control system based on brain-muscle mixed signals | |
Li et al. | Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion | |
Shi et al. | Brain Computer Interface Based on Motor Imagery for Mechanical Arm Grasp Control | |
Qin et al. | econhand: A wearable brain-computer interface system for stroke rehabilitation | |
CN207101480U (zh) | 基于运动想象的上肢外骨骼控制系统 | |
CN113101021B (zh) | 基于mi-ssvep混合式脑机接口的机械臂控制方法 | |
CN114936574A (zh) | 一种基于bci的高灵活度机械手系统及其实现方法 | |
Zhang et al. | Effects of user fatigue mental state on the facial-expression paradigm of BCI | |
Piozin et al. | Motion prediction for the sensorimotor control of hand prostheses with a brain-machine interface using EEG |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |