CN108304068B - 一种基于脑机接口的上肢康复训练机器人控制系统及方法 - Google Patents

一种基于脑机接口的上肢康复训练机器人控制系统及方法 Download PDF

Info

Publication number
CN108304068B
CN108304068B CN201810089917.1A CN201810089917A CN108304068B CN 108304068 B CN108304068 B CN 108304068B CN 201810089917 A CN201810089917 A CN 201810089917A CN 108304068 B CN108304068 B CN 108304068B
Authority
CN
China
Prior art keywords
upper limb
signal
limb exoskeleton
electroencephalogram
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810089917.1A
Other languages
English (en)
Other versions
CN108304068A (zh
Inventor
高诺
翟文文
鲁守银
杨玉娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN201810089917.1A priority Critical patent/CN108304068B/zh
Publication of CN108304068A publication Critical patent/CN108304068A/zh
Application granted granted Critical
Publication of CN108304068B publication Critical patent/CN108304068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0218—Drawing-out devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1657—Movement of interface, i.e. force application means
    • A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/10—Electroencephalographic signals
    • A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Rehabilitation Therapy (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于脑机接口的上肢康复训练机器人控制系统及方法，系统包括视觉刺激模块和脑电信号采集模块，所述脑电信号采集模块与脑电信号分析模块通信，脑电信号分析模块在线分析处理后将控制信号发送给上肢外骨骼控制系统，所述视觉刺激模块通过协议与上肢外骨骼控制系统通信；由稳态视觉诱发电位控制上肢外骨骼的启、停，由运动想象控制上肢外骨骼上臂旋转与肘部屈伸。将脑机接口技术与机器人技术相结合，使得患者的可以主动参与，让患者自由掌握训练时间，可以调动患者的积极性，提高控制准确度的同时最大程度地降低患者训练的疲劳度。而且对于完全瘫痪的患者，通过运动想象疗法，可促使受损运动传导路的修复或重建。

Description

一种基于脑机接口的上肢康复训练机器人控制系统及方法
技术领域
本发明涉及上肢康复训练机器人的控制方法技术领域，尤其涉及一种基于脑机接口的上肢康复训练机器人控制系统及方法。
背景技术
近年来，随着我国社会逐渐步入老龄化，脑中风已成为中老年人健康的最大威胁之一。据统计，中国每年的脑中风患者高达200万，致残率达75％。这类患者多数伴有上肢偏瘫症状，遗留不同程度的上肢运动功能障碍，日常生活极其痛苦和不便，也给家庭和社会带来沉重的负担。医学理论和临床医学证明，上肢偏瘫患者除了早期的手术治疗和必要的药物治疗外，正确的、科学的康复训练对于肢体运动功能的恢复和提高起到非常重要的作用。随着计算机科学的不断成熟和脑功能研究的深入，脑机接口(Brain-Computer Interface，BCI)技术给那些具有严重功能障碍的患者带来了福音。BCI是一种不依赖于大脑外周神经与肌肉组成的正常输出通路的通讯控制系统，该系统通过记录患者的脑电信号(Electroencephalography，EEG)，对其特点进行分析，并将此转化为计算机可以识别的语言，作为指令输出以控制周围的环境。因此，BCI技术不仅能够有效增强身体严重残疾的患者与外界交流的能力，提高患者的生活质量，更为中风及偏瘫患者的康复治疗带来希望。
2010年，日本庆应大学的Yasunari Hashimoto等人通过将脑机接口与虚拟现实系统、Internet相结合，对患肌肉萎缩超过5个月的中风患者进行临床试验，患者想象左手、右手、脚的运动，提取mu(8-13)和beta(18-26)节律的脑电信号，控制基于Internet的虚拟现实系统的头像的移动。患者经过简单的训练之后，EEG识别错误率由原来的40％下降到28％，患者可以在虚拟现实系统中自如的控制头像的移动。这证明了BCI系统在对中风患者的康复训练中的有效性。2012年，意大利PERCRO实验室的Antonio Frisoli,ClaudioLoconsole等人开发了一种新型的基于Gaze-BCI的上肢康复机器人训练系统。该系统将脑机接口与视觉追踪和触觉定位设备结合起来，使患者通过运动想象更为方便地实现定位和抓取动作。2003年，清华大学的程明、任宇鹏等学者初步实现了基于稳态视觉诱发电位的脑机接口，并利用设计的系统对假肢进行了四个动作的控制：抓握水杯、将水倒出、放回水杯和复原假肢。2007年，清华大学的高上凯团队和香港理工大学合作研发出了一套基于BCI-FES的上肢康复训练系统，用于对中风患者进行康复治疗。患者通过思维脑电来触发功能性电刺激设备，从而实验腕部和手部的运动。两名中风患者参与了实验，在十个疗程之后，患者的错误率低于20％。
现阶段，基于运动想象的脑机接口技术需要被试者进行大量相关的训练，由于个体的差异也会影响在线控制系统的质量，而且运动想象的分类越多，特征分类的困难就会越大。现有的基于脑机接口的上肢康复机器人的控制方法并没有让严重运动残疾患者自由掌握训练时间，让患者自己选择开启与关闭上肢康复训练机器人。
发明内容
本发明的目的就是为了解决上述问题，提供一种基于脑机接口的上肢康复训练机器人控制系统及方法，患者可以主动参与，让患者自由掌握训练时间，可以调动患者的积极性，提高控制准确度的同时最大程度地降低患者训练的疲劳度。
为了实现上述目的，本发明采用如下技术方案：
一种基于脑机接口的上肢康复训练机器人控制系统，包括视觉刺激模块和脑电信号采集模块，所述脑电信号采集模块与脑电信号分析模块通信，脑电信号分析模块在线分析处理后将控制信号发送给上肢外骨骼控制系统，所述视觉刺激模块通过协议与上肢外骨骼控制系统通信；
由稳态视觉诱发电位控制上肢外骨骼的启、停，由运动想象控制上肢外骨骼上臂旋转与肘部屈伸。
所述脑电信号采集模块采集到的脑电信号通过WiFi传输到脑电信号分析模块；脑电信号分析模块在线分析处理后将控制信号通过WiFi发送给上肢外骨骼控制系统。
所述视觉刺激模块利用Matlab的Psychtoolbox工具箱实现。
所述视觉刺激模块采用刷新率60帧/秒的液晶显示器,分辨率设置为1366×768像素；
刺激目标由大小为150×150像素的2个方块组成，刺激目标的频率分别设为8Hz与12Hz；刺激目标为两个方块，下方对应的是与运动想象有关的两个方块，分别显示左右，左为用户想象左手运动，右为用户想象右手运动。
采用一种基于脑机接口的上肢康复训练机器人控制系统的控制方法，包括：
视觉刺激模块中的频闪开启，系统采集脑电数据进行分析控制上肢外骨骼是否开启；
若启动了上肢外骨骼，先对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值；
若小于阈值，进入运动想象信号分析得出指令来控制上肢外骨骼，通过想左或者想右产生不同的脑电信号，然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作；
若大于阈值则判为信号进行SSVEP信号分析控制上肢外骨骼的启、停。
若启动了上肢外骨骼，对采集到的脑电信号进行SSVEP信号分析。
对SSVEP信号进行2HZ到40HZ的带通滤波，消除高频及工频干扰；滤波算法采用5阶Butterworth滤波器。
运动想象信号分析包括：
预处理，对数据进行滤波；
特征提取，利用CSP算法，提取想象左和想象右的特征向量fL和fR；
特征分类，利用支持向量机进行特征分类。
预处理时，采用2-24Hz的数字滤波器对数据进行滤波。
Figure GDA0003248287430000031
其中，VAR(ZL)为ZL的均方差，VAR(ZR)为ZR的均方差，sum(VAR(ZL))为ZL的均方差之和，sum(VAR(ZR))为ZR的均方差之和，ZL、ZR为将训练集的运动想象矩阵XL、XR经过滤波器W滤波得到的特征。
本发明的有益效果：
本发明针对瘫痪病人上肢运动功能康复，将脑机接口技术与机器人技术相结合，使得患者的可以主动参与，让患者自由掌握训练时间，可以调动患者的积极性，提高控制准确度的同时最大程度地降低患者训练的疲劳度。而且对于完全瘫痪的患者，通过运动想象疗法，可促使受损运动传导路的修复或重建。
附图说明
图1为本发明的系统组成图；
图2(a)为视觉刺激模块频闪显示界面；图2(b)为视觉刺激模块频闪反馈界面；
图3为小波包变换的4层小波树分解示意图；
图4为上肢康复训练机器人结构图；
图5为本发明的控制方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明针对瘫痪病人上肢运动功能康复，提出了一种基于运动想象(MotorImagery,MI)与稳态视觉诱发电位(steady-state visual evoked potential，SSVEP)脑电的混合脑机接口上肢训练康复机器人系统。
名词英语缩略：
稳态视觉诱发电位(Steady-State Visual Evoked Potential，SSVEP)，运动想象(Motor Imagery,MI)，脑机接口(Brain Computer Interface,BCI),小波变换(WaveletTransform),特征提取(Feature Extraction)，分类算法(Classification algorithm)
共同空间模式(Common Spatial Pattern,CSP)，支持向量机(Support VectorMachine,SVM)，典型相关分析(Canonical Correlation Analysis,CCA)
本发明要解决的技术问题是：1)脑电信号的分析方法；2)区分稳态视觉诱发电位与运动想象产生的脑电信号；3)系统各模块间的通讯。
一种基于脑机接口的上肢康复训练机器人控制系统，包括：是脑电信号(electroencephalogram，EEG)采集系统、视觉刺激模块、上肢外骨骼控制系统和EEG分析模块组成。
系统组成如图1所示，系统开始后，打开频闪刺激模块，用户佩戴脑电帽产生不同的EEG，EEG通过放大器由无线WiFi传送到EEG放大器控制端，EEG采集系统采集到的脑电信号通过WiFi传输到EEG分析模块，EEG分析模块对EEG进行在线处理，分析结果由WiFi发送给上肢外骨骼控制系统。从而实现一套由稳态视觉诱发电位SSVEP控制上肢外骨骼的启、停，由运动想象控制上肢外骨骼上臂旋转与肘部屈伸的混合脑机接口上肢康复训练机器人。
1)数据采集部分
脑电采集设备采用博睿康科技有限公司(Neuracle)的32通道无线脑电采集系统(包括脑电帽、无线脑电放大器以及无线路由器)。脑电采集的采样频率设置为250Hz，记录全部电极，导联位置符合国际10-20标准，实验中保持电极阻抗在5k欧姆以下。EEG分析系统不只在线采集数据并且可以保存数据以便之后对数据做离线分析。
2)频闪设计
视觉刺激模块利用Matlab的Psychtoolbox(PTB)工具箱实现，很好的解决了LCD刷新率受限的不足。视觉刺激模块采用刷新率60帧/秒的液晶显示器，分辨率设置为1366×768(像素)。刺激目标由大小为150×150(像素)的2个方块组成，刺激目标的频率分别设为8Hz与12Hz。刺激目标选择白色方块，背景颜色为黑色。如图2(a)所示，频闪下方是与运动想象有关的两个方块，分别显示左右，左为用户想象左手运动，右为用户想象右手运动。视觉刺激模块通过tcpip协议与上肢外骨骼控制系统通信，用户通过注视屏幕上相应的闪烁区域来实现其控制意图。当系统识别出用户进行的选择后，用户所选命令对应的区域颜色变颜色，如图2(b)所示，如可以是红色，以便用户及早获取分析结果。
3)信号分析：
信号分析在MATLAB软件上完成。
(1)SSVEP信号分析：
先对SSVEP信号进行2HZ到40HZ的带通滤波，消除高频及工频干扰。滤波算法采用5阶Butterworth滤波器。
典型相关分析(Canonical Correlation Analysis,CCA)是多元统计学的组成部分，是研究两组变量间相互关系的统计分析方法。对两个多维信号X,Y来说，CCA方法试图找到一组矢量WX,WY，这一组矢量可以使向量x,y之间的相关系数达到最大，其中x＝XTWX，y＝YTWY。计算方法如下式所示：
Figure GDA0003248287430000051
对WX,WY，求得最大的ρ，即是得到了最大的典型相关系数。
将CCA算法应用于SSVEP信号的分析时，X可以被设定为一组多通道脑电信号，Y被设定为一组参考信号，如式(2)：
Figure GDA0003248287430000052
(2)式中，N是谐波数量，f是刺激频率。
(2)运动想象信号分析
(a)预处理
由于运动想象时的事件相关去同步(ERD)和事件相关同步(ERS)现象主要出现μ(8～12Hz)频段，采用2-24Hz的数字滤波器对数据进行滤波。
(b)特征提取
小波分析是一种窗口面积固定而其形状可改变，即时间窗和频率窗均可变的时频局部化分析方法。小波函数是小波包函数族中的一个，因此可以说小波包是小波函数的推广。
对运动想象数据进行进行4层小波包变换。小波包变换的4层小波树分解示意图如图3所示，
设原始信号为f(n)，则小波包分解算法可表示为：
Figure GDA0003248287430000061
式(3)中，j＝0,1,2,L,J为分解层数，J为最高分解层数，Aj表示第j层上小波分解近似系数，Dj表示第j层上小波分解逼近系数，h和g分别是正交低通分解滤波器和高通分解滤波器。
Figure GDA0003248287430000062
和
Figure GDA0003248287430000063
表示滤波器h，g的共轭反转；
Figure GDA0003248287430000064
表示Aj和
Figure GDA0003248287430000065
的卷积，
Figure GDA0003248287430000066
表示对卷积的二元下抽样，C为二元下抽样算子。
本发明采用Shannon熵作为标准采用小波包熵对给定的脑电信号进行信息相关性能描述。Shannon熵定义如下：
Figure GDA0003248287430000067
其中A代表信号，Aj代表信号A在一个正交小波包基上的投影系数。
计算得到4层小波变化时μ节律对应的频段为(4,2)节点。因此可以计算图3中节点的小波包分解系数Sij的熵：
Figure GDA0003248287430000068
其中，Xij表示频带中小波包系数Sij的时域重构离散信号。
CSP算法作为一种在多任务条件下,从多通道数据集中提取某一特定任务信号成分的方法，步骤如下：
小波提取的特征系数作为CSP的输入N*T的矩阵E，其中N为脑电测量的通道数，T为脑电测量时每个通道的采样点数，那么归一化的脑电数据协方差矩阵可以表示为：
Figure GDA0003248287430000069
若用CL和CR表示想象左和想象右两种情况下的空间协方差矩阵。那我们可以应用主成分分析法，对协方差矩阵的和C按下式进行特征分解：
Figure GDA0003248287430000071
其中，
Figure GDA0003248287430000072
为特征矩阵对角阵，FC∈R3×3为对应的特征向量矩阵。那么，白化矩阵为：
Figure GDA0003248287430000073
则协方差矩阵CL和CR可以变换为
SL＝PCLPT (9)
SR＝PCRPT (10)
由此可求得广义特征值构成的对角阵D和特征向量矩阵B使得
SLB＝SRBD (11)
由此可以构造如下空间滤波器：
W＝BT×P (12)
将训练集的运动想象矩阵XL、XR经过构造的相应滤波器W滤波可得特征ZL、ZR为：
ZL＝W×XL (13)
ZR＝W×XR (14)
根据CSP算法在多电极采集脑电信号特征提取的定义，本发明选取fL和fR为想象左和想象右的特征向量，定义如下：
Figure GDA0003248287430000074
Figure GDA0003248287430000075
对于测试数据Xi来说，其特征向量fi提取方式如下式，并与fL和fR进行比较以确定第i次想象为想左或想右。
Figure GDA0003248287430000076
(c)特征分类
支持向量机(SVM)是基于统计学习理论的一种机器学习方法，针对二分类问题，SVM有更强的适应性、更好的分类能力以及更高的计算效率。SVM方法常用的核函数有线性核、多项式核以及径向基核等,选用不同的核函数可以构造不同的SVM分类器，本发明选用径向基核函数：
k(xi,xj)＝exp(-γ||xi-xj||2),γ＞0 (18)
其中，xi表示第i个输入样本，γ为核参数。对于支持向量机来说，核参数γ和误差惩罚因子C是影响性能的主要参数。参数γ影响空间变换后的数据分布，而参数C决定了SVM的收敛速度和推广能力。本发明采用网格搜索法确定参数γ和C，并采用10段交叉验证的方法进行验证。
4)上肢外骨骼控制系统
EEG分析程序产生控制命令用来控制上肢外骨骼的动作。上肢双臂康复训练机器人包有第一自由度、第二自由度、第三自由度、第四自由度、第五自由度、第六自由度依次串联连接，有五种运动模式分别为：腕部屈伸，肘部屈伸，大臂旋转，大臂抬伸与肩部旋转。用脑机控制其两个运动模式。其运动控制系统以TRIO MC464为主控单元，通过以太网接口和上位机连接。上肢康复训练机器人结构图如图4。
5)采用所述一种基于脑机接口的上肢康复训练机器人控制系统的控制方法，如图5所示，包括：
系统开始后，频闪开启，用户戴电极帽看频闪，系统采集脑电数据进行SSVEP信号分析控制上肢外骨骼是否开启；
若启动了上肢外骨骼，先对采集到的脑电信号进行SSVEP信号分析，判断SSVEP信号与参考信号的相关系数是否小于阈值；
若小于阈值，然后进入运动想象信号分析程序得出指令来控制上肢外骨骼，用户通过想左或者想右产生不同的EEG，然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作；
若大于阈值则判为SSVEP信号进行SSVEP信号分析控制上肢外骨骼的启、停。
本发明用运动想象与SSVEP相结合的方法来控制上肢康复训练机器人，既能增加分类模式，又能使患者通过运动想象疗法促使受损运动传导路的修复或重建，同时患者可以主动掌握训练时间。并且基于SSVEP脑机接口二分类的准确率可高达93％以上，从而提高系统整体的稳定性。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于脑机接口的上肢康复训练机器人控制系统，其特征是，包括视觉刺激模块和脑电信号采集模块，所述脑电信号采集模块与脑电信号分析模块通信，脑电信号分析模块在线分析处理后将控制信号发送给上肢外骨骼控制系统，所述视觉刺激模块通过协议与上肢外骨骼控制系统通信；
由稳态视觉诱发电位控制上肢外骨骼的启、停，由运动想象控制上肢外骨骼上臂旋转与肘部屈伸，具体地：先对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值；若小于阈值，进入运动想象信号分析得出指令来控制上肢外骨骼，通过想左或者想右产生不同的脑电信号，然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作；若大于阈值则判为信号进行SSVEP信号分析控制上肢外骨骼的启、停；其中，将CCA算法应用于SSVEP信号的分析，X被设定为一组多通道脑电信号，Y被设定为一组参考信号；对两个多维信号X,Y来说，CCA方法试图找到一组矢量WX,WY，这一组矢量可以使向量x,y之间的相关系数达到最大，其中x＝XTWX，y＝YTWY，计算方法如下式所示：
Figure FDA0003248287420000011
对Wx,Wy，求得最大的ρ，即是得到了最大的典型相关系数；
所述脑电信号分析模块在线分析处理，包括：对采集到的脑电信号进行SSVEP信号分析；对SSVEP信号进行2HZ到40HZ的带通滤波，消除高频及工频干扰；滤波算法采用5阶Butterworth滤波器；
运动想象信号分析包括：
预处理，对数据进行滤波；
特征提取，对运动想象数据进行4层小波包变换；采用Shannon熵作为标准采用小波包熵对给定的脑电信号进行信息相关性能描述；小波提取的特征系数作为CSP的输入；利用CSP算法，提取想象左和想象右的特征向量；
特征分类，利用支持向量机进行特征分类；
所述上肢外骨骼控制系统以TRIO MC464为主控单元，通过以太网接口和上位机连接。
2.如权利要求1所述一种基于脑机接口的上肢康复训练机器人控制系统，其特征是，所述脑电信号采集模块采集到的脑电信号通过WiFi传输到脑电信号分析模块；脑电信号分析模块在线分析处理后将控制信号通过WiFi发送给上肢外骨骼控制系统。
3.如权利要求1所述一种基于脑机接口的上肢康复训练机器人控制系统，其特征是，所述视觉刺激模块利用Matlab的Psychtoolbox工具箱实现。
4.如权利要求1-3任意一项所述一种基于脑机接口的上肢康复训练机器人控制系统，其特征是，所述视觉刺激模块采用刷新率60帧/秒的液晶显示器,分辨率设置为1366×768像素；
刺激目标由大小为150×150像素的2个方块组成，刺激目标的频率分别设为8Hz与12Hz；刺激目标为两个方块，下方对应的是与运动想象有关的两个方块，分别显示左右，左为用户想象左手运动，右为用户想象右手运动。
5.采用权利要求1所述一种基于脑机接口的上肢康复训练机器人控制系统的控制方法，其特征是，包括：
视觉刺激模块中的频闪开启，系统采集脑电数据进行分析控制上肢外骨骼是否开启；
若启动了上肢外骨骼，先对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值；
若小于阈值，进入运动想象信号分析得出指令来控制上肢外骨骼，通过想左或者想右产生不同的脑电信号，然后通过信号分析产生控制信号进而控制上肢外骨骼的不同动作；
若大于阈值则判为信号进行SSVEP信号分析控制上肢外骨骼的启、停。
6.如权利要求5所述的控制方法，其特征是，若启动了上肢外骨骼，对采集到的脑电信号进行SSVEP信号分析。
7.如权利要求6所述的控制方法，其特征是，对SSVEP信号进行2HZ到40HZ的带通滤波，消除高频及工频干扰；滤波算法采用5阶Butterworth滤波器。
8.如权利要求5所述的控制方法，其特征是，运动想象信号分析包括：
预处理，对数据进行滤波；
特征提取，利用CSP算法，提取想象左和想象右的特征向量fL和fR；
特征分类，利用支持向量机进行特征分类。
9.如权利要求8所述的控制方法，其特征是，预处理时，采用2-24Hz的数字滤波器对数据进行滤波。
10.如权利要求8所述的控制方法，其特征是，
Figure FDA0003248287420000021
其中，VAR(ZL)为ZL的均方差，VAR(ZR)为ZR的均方差，sum(VAR(ZL))为ZL的均方差之和，sum(VAR(ZR))为ZR的均方差之和，ZL、ZR为将训练集的运动想象矩阵XL、XR经过滤波器W滤波得到的特征。
CN201810089917.1A 2018-01-30 2018-01-30 一种基于脑机接口的上肢康复训练机器人控制系统及方法 Active CN108304068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810089917.1A CN108304068B (zh) 2018-01-30 2018-01-30 一种基于脑机接口的上肢康复训练机器人控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810089917.1A CN108304068B (zh) 2018-01-30 2018-01-30 一种基于脑机接口的上肢康复训练机器人控制系统及方法

Publications (2)

Publication Number Publication Date
CN108304068A CN108304068A (zh) 2018-07-20
CN108304068B true CN108304068B (zh) 2021-11-16

Family

ID=62866906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810089917.1A Active CN108304068B (zh) 2018-01-30 2018-01-30 一种基于脑机接口的上肢康复训练机器人控制系统及方法

Country Status (1)

Country Link
CN (1) CN108304068B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108904980B (zh) * 2018-08-01 2022-05-17 国家康复辅具研究中心 基于脑电和功能性电刺激的上肢主动康复方法及装置
CN109657560A (zh) * 2018-11-24 2019-04-19 天津大学 机械手臂控制在线脑-机接口系统及实现方法
CN109568083B (zh) * 2018-12-15 2024-01-05 华南理工大学 一种多模态交互的上肢康复机器人训练系统
CN110363157B (zh) * 2019-07-17 2021-08-31 杭州电子科技大学 基于时间编码的外骨骼混合脑机接口控制方法
CN110737331B (zh) * 2019-09-11 2023-10-27 浙江迈联医疗科技有限公司 基于多任务脑机接口的个性化认知训练及康复方法、装置及设备
CN110956701A (zh) * 2019-10-24 2020-04-03 中国人民解放军军事科学院国防科技创新研究院 生活辅助系统及生活辅助方法
CN110882134A (zh) * 2019-10-24 2020-03-17 中国科学院深圳先进技术研究院 跨障意图识别方法、外骨骼机器人跨障控制方法及设备
RU2741215C1 (ru) * 2020-02-07 2021-01-22 Общество с ограниченной ответственностью "АйТи Юниверс" Система нейрореабилитации и способ нейрореабилитации
CN111631907B (zh) * 2020-05-31 2022-06-03 天津大学 基于脑机交互混合智能的脑卒中患者手部康复系统
CN111513991B (zh) * 2020-05-31 2022-06-03 天津大学 基于人工智能技术的主动式手部全指康复设备
CN112085169B (zh) * 2020-09-11 2022-05-20 西安交通大学 肢体外骨骼辅助康复脑-肌电融合感知的自主学习与进化方法
CN113952160A (zh) * 2020-11-26 2022-01-21 深圳华鹊景医疗科技有限公司 融合脑机接口的康复外骨骼控制方法、装置及康复机器人
CN114617745A (zh) * 2020-12-08 2022-06-14 山东新松工业软件研究院股份有限公司 下肢康复机器人训练控制方法及系统
CN113180992A (zh) * 2021-03-03 2021-07-30 浙江工业大学 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN113110738A (zh) * 2021-04-02 2021-07-13 天津理工大学 一种基于阈值判别方法的多模态脑电信号检测方法
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113332101B (zh) * 2021-06-11 2023-08-01 上海羿生医疗科技有限公司 基于脑机接口的康复训练装置的控制方法和装置
CN114367090A (zh) * 2021-12-15 2022-04-19 郑州大学 一种上肢训练系统、方法及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091172B (zh) * 2014-07-04 2018-03-16 北京工业大学 一种运动想象脑电信号的特征提取方法
US11890246B2 (en) * 2016-06-08 2024-02-06 Advanced Telecommunications Research Institute International Motion teaching system and motion teaching method
CN107358041A (zh) * 2017-07-03 2017-11-17 华南理工大学 一种基于脑‑机接口的运动想象疗法装置及其使用方法
CN107483992A (zh) * 2017-07-11 2017-12-15 昆明理工大学 一种基于ssvep和运动想象的智能电视遥控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法

Also Published As

Publication number Publication date
CN108304068A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108304068B (zh) 一种基于脑机接口的上肢康复训练机器人控制系统及方法
Chai et al. Brain–computer interface classifier for wheelchair commands using neural network with fuzzy particle swarm optimization
CN110765920A (zh) 基于卷积神经网络的运动想象分类方法
CN106901728B (zh) 基于变尺度符号传递熵的多通道脑肌电耦合分析方法
CN113398422B (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
Tang et al. Single-trial classification of different movements on one arm based on ERD/ERS and corticomuscular coherence
CN107887031B (zh) 基于同步筛选的脑区间耦合分析方法
Chen et al. Quadcopter robot control based on hybrid brain–computer interface system
CN113274032A (zh) 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113180992A (zh) 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
Feng et al. Feature extraction algorithm based on csp and wavelet packet for motor imagery eeg signals
CN103300850A (zh) 一种中风病人脑电信号采集与处理的方法
CN113359991B (zh) 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
Xie et al. A brain controlled wheelchair based on common spatial pattern
Li et al. Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion
Bahri et al. Sub-band-power-based efficient brain computer interface for wheelchair control
Park et al. Application of EEG for multimodal human-machine interface
Xie et al. Identification method of human movement intention based on the fusion feature of EEG and EMG
Song et al. A synchronous and multi-domain feature extraction method of EEG and sEMG in power-assist rehabilitation robot
Shi et al. Brain Computer Interface Based on Motor Imagery for Mechanical Arm Grasp Control
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法
CN112006682B (zh) 一种基于多通道频率特征定制的左右手运动想象脑电信号分类方法
Zhang et al. Effects of user fatigue mental state on the facial-expression paradigm of BCI
Paulraj et al. Brain Machine Interface for physically retarded people using colour visual tasks
Li et al. RP-based voluntary movement intention detection of lower limb using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant