CN107315478A - 一种运动想象上肢智能康复机器人系统及其训练方法 - Google Patents

一种运动想象上肢智能康复机器人系统及其训练方法 Download PDF

Info

Publication number
CN107315478A
CN107315478A CN201710542674.8A CN201710542674A CN107315478A CN 107315478 A CN107315478 A CN 107315478A CN 201710542674 A CN201710542674 A CN 201710542674A CN 107315478 A CN107315478 A CN 107315478A
Authority
CN
China
Prior art keywords
training
rehabilitation
mental imagery
motion
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710542674.8A
Other languages
English (en)
Other versions
CN107315478B (zh
Inventor
冯正权
邱明国
何庆华
朱新建
乔梁
王莉
桑林琼
张静娜
李鹏岳
张晔
粘永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Military Medical University TMMU
Original Assignee
Third Military Medical University TMMU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Military Medical University TMMU filed Critical Third Military Medical University TMMU
Priority to CN201710542674.8A priority Critical patent/CN107315478B/zh
Publication of CN107315478A publication Critical patent/CN107315478A/zh
Application granted granted Critical
Publication of CN107315478B publication Critical patent/CN107315478B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/245Classification techniques relating to the decision surface
    • G06F18/2451Classification techniques relating to the decision surface linear, e.g. hyperplane
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明涉及一种运动想象上肢智能康复机器人系统及其训练方法,属于运动想象领域。该系统包括运动视觉刺激模块、脑电采集模块、上位机、上肢康复运动支架;所述上位机根据康复训练项目产生对应的运动刺激视频,通过所述运动视觉刺激模块显示给使用者;所述脑电采集模块采集使用者的同步脑电信号并进行放大滤波预处理,传输给所述上位机;所述上位机接收到脑电信号后,通过特征提取与模式分类算法,生成康复训练控制信号输出至上肢康复运动支架;使用者将肢体通过固定机构固定于上肢康复运动支架,康复运动支架在接收到训练控制信号后,按照对应的控制信号对肢体进行康复运动训练。本发明提高了康复训练精准度,改善了使用者的视觉舒适度。

Description

一种运动想象上肢智能康复机器人系统及其训练方法
技术领域
本发明属于运动想象领域,涉及一种运动想象上肢智能康复机器人系统及其训练方法。
背景技术
运动想象(MotorImagery,MI),指大脑仅有动作意图但不执行实际肢体动作。其心理或思维认知过程与真实执行动作时所激活的脑区有着高度的重叠性,所激活脑区的神经元活动与执行真实动作时所产生的信息特征有着高度的相似性,但又有显著差异性。因此,运动想象与康复训练结合起来可改善患者的运动功能。运动想象疗法已成为卒中患者运动康复治疗方法的重要新进展之一,是一种很有前途的康复治疗方法。
想象肢体运动时,大脑运动皮层测得的脑电μ节律(8-13Hz)和β节律(18-26Hz)的能量会降低,而在想象结束后,μ节律和β节律的能量会升高。这可能反映了相应脑区神经元群同步性的下降或提升,前一种被称为事件相关去同步(Event-RelatedDesynchronization,ERD),而后一种被称为事件相关同步(Event-RelatedSynchronization,ERS)。此外,想象躯体不同部位运动时,从EEG信号观测到的ERD在空间分布上存在差异,比如,想象左手运动时,右侧运动皮层脑区的ERD现象更为显著,而想象右手运动时,ERD现象显著的区域在左侧脑区。基于运动想象的脑-机接口(MotorImagery-basedBCI,MI-BCI)正是利用这一差异对运动想象任务进行解码。MI-BCI最适合的应用领域是方向控制,如控制鼠标的上下左右移动,轮椅在二维空间的行走等,经过这20年来的不断研究,MI-BCI已经从一维方向控制发展到二维甚至三维的方向控制。MI-BCI最大的优势是不需要外界提供刺激,仅依赖操作者内在的思维任务便可完成控制,因此具有很高的独立性。而MI-BCI最大的缺点是通常需要对操作者进行训练,以产生稳定的ERD/ERS特征,训练时间一般1到2个月。
为了提升MI-BCI的总体性能,现有研究通过引入其他脑电特征(如稳态视觉诱发电位(Steady State Visual EvokedPotential,SSVEP)和事件相关P300电位)或者辅助手段以提高分类正确率。虽然MI-SSVEP或MI-P300等混合BCI范式能够提高传统MI-BCI的分类正确率,但是MI-SSVEP或MI-P300的视觉刺激模式是高频刺激,极易引起使用者的视觉疲劳,对长时间康复训练带来副作用。
发明内容
有鉴于此,本发明的目的在于提供一种运动想象上肢智能康复机器人系统及其训练方法。采用瞬态视觉诱发电位(Transient Visual Evoked Potential,TVEP)和MI-BCI联合的混合脑机接口(HybridBCI)构建运动想象上肢智能康复机器人系统,以及使用该系统实现上肢康复训练的方法。
为达到上述目的,本发明提供如下技术方案:
一种运动想象上肢智能康复机器人系统,该系统包括运动视觉刺激模块、脑电采集模块、上位机、上肢康复运动支架;所述上位机根据康复训练项目产生对应的运动刺激视频,通过所述运动视觉刺激模块显示给使用者;同时,所述脑电采集模块采集使用者的同步脑电信号并进行放大滤波预处理,通过有线或无线方式传输给所述上位机;所述上位机接收到脑电信号后,通过特征提取与模式分类算法,生成相应的康复训练控制信号输出至所述上肢康复运动支架;使用者将肢体通过固定机构固定于所述上肢康复运动支架,所述康复运动支架在接收到训练控制信号后,按照对应的控制信号对肢体进行康复运动训练;
进一步,所述运动视觉刺激模块用于显示同频次复合刺激与上肢康复运动引导视频,实现瞬态视觉诱发和运动想象视觉引导;所述视觉刺激模块包括多个闪烁模块,所述闪烁模块闪烁的频率和时间长度相同,但依次启动闪烁,使闪烁时刻错开;同时,为避免干扰,在首个闪烁模块第二次闪烁前,其余闪烁模块启动闪烁;
使用者注视任意一个刺激目标会产生相同诱发电位,但是依据刺激与诱发电位间存在的锁时关系,分析出检测到的视觉诱发电位是由哪个刺激目标引起的,同时每个刺激目标对应相应的运动想象动作,通过动作视频引导使用者进行相应的运动想象。
进一步,所述脑电采集模块用于采集视觉刺激模块诱发的瞬态视觉诱发电位和相应的运动想象脑电数据:采集脑电数据的有4个输入信号,分别为位于头顶左侧的C3区电极信号、头顶右侧C4区电极信号、前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号;所述右腿驱动信号以消除共模信号的方式去除人体肌电,消除干扰噪声;同时,所述C3区电极信号与Cz区电极信号进行差分后得到待研究的左半脑信号;所述C4区电极信号与Cz区电极信号进行差分后得到待研究的右半脑信号。
进一步,所述上位机用于对采集的脑电信号进行预处理,并通过特征提取和模式识别算法获取单次瞬态视觉诱发电位的特征值,以及视觉引导下运动想象的事件相关同步或去同步特征;并使用模式识别分类训练器进行分类处理,产生对应的控制信号输出至所述上肢康复运动支架,实现运动想象的上肢康复训练控制。
进一步,所述上肢康复运动支架包括运动辅助机械部分和运动辅助电气部分;
所述运动辅助机械部分两只智能控制机械手臂;该机械手臂具有实时控制的功能,根据所述上位机发送的运动想象脑电的特征控制参数对该机械手臂进行相应的康复训练操作;所述上肢康复运动支架还具有上肢康复训练操作功能,运动幅度调节范围为0-100度,具有力学阈值保护、张开角度限制功能,避免对患肢造成二次伤害;
所述运动辅助电气部分包括直流电机、控制电路和电源;所述控制电路具有RS232串口通信接口,用于接收运动控制信号,通过输入的参数控制运动模式切换,运动状态启动或停止;所述运动辅助机械部分通过钢丝传动完成所述运动辅助电气部分的运动控制,实现运动康复操作。
一种运动想象上肢智能康复机器人系统的训练方法,包括以下步骤:
S1:使用者通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上,并将系统的脑电采集电极固定在头部对应位置,视觉刺激输出在显示屏上,显示屏放置于使用者正前方舒适的位置;
S2:智能康复机器人系统完成初始自检后,使用者在系统语音提示或文字引导下,进行康复训练流程学习;学习过程为按照视觉刺激显示屏的显示分别注释相应的模块,并进行模块内康复训练动作的运动想象;
S3:智能康复机器人系统进入康复训练过程,使用者在系统语音提示或文字引导下,进行康复训练。
进一步,步骤S3中所述康复训练包括预设方案训练和自由训练;
所述预设方案训练设置有训练的基本参数,包括时间、最大幅度、最大频率,训练过程中智能康复机器人系统根据使用者运动想象的脑电特征阈值,在设定的训练参数范围内自动调节训练运动参数,实现使用者自主、智能的康复训练;
所述自由训练为使用者通过运动想象的脑电特征阈值,自主选择训练肢体、训练动作、训练强度的康复训练,实现运动想象下的自主智能康复训练。
本发明的有益效果在于:本发明采用瞬态视觉诱发电位TVEP和MI-BCI联合的混合脑机接口Hybrid BCI构建运动想象上肢智能康复机器人系统,运动视觉刺激模块通过设计合理的同频次复合刺激与上肢康复运动引导视频,实现瞬态视觉诱发和运动想象视觉引导,提高了康复训练精准度,改善了使用者的视觉舒适度。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明系统框图;
图2为运动视觉刺激模块示意图;
图3为运动视觉刺激模块时序设计原理图;
图4为脑电采集模块框图;
图5为瞬态视觉诱发电位小波特征;
图6为运动想象事件相关同步或去同步特征;
图7为智能机械手框图;
图8为本发明训练方法流程图;
图9为运动想象脑电控制信号特征提取与识别处理流程图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
如图1所示,运动想象上肢智能康复机器人系统由运动视觉刺激模块,穿戴式脑电采集模块,上位机以及上肢康复运动支架构成。
运动视觉刺激模块通过设计合理的同频次复合刺激与上肢康复运动引导视频,实现瞬态视觉诱发和运动想象视觉引导。各个视觉刺激模块闪烁的频率和时间长度相同,但各个刺激模块依次启动闪烁,使闪烁时刻错开,同时,为避免干扰,在首个闪烁模块第二次闪烁前,其余闪烁模块都需要启动闪烁。注视任意一个刺激目标会产生相同诱发电位,但是依据刺激与诱发电位间存在的锁时关系,可以分析出检测到的视觉诱发电位是由哪个刺激目标引起的。同时每个刺激目标对应相应的运动想象动作,通过动作视频引导使用者进行相应的运动想象。
脑电采集模块用于采集视觉刺激模块诱发的瞬态视觉诱发电位和相应的运动想象脑电数据。脑电采集最精简模块的输入共有4个信号,分别是位于头顶左侧的C3区,头顶右侧C4区,前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号。脑电采集模块采集的脑电数据通过放大滤波预处理后,将采集的脑电信号传输至上位机进行特征提取与识别。
上位机是用于对采集的脑电信号进行相关预处理并通过特征提取和模式识别算法获取单次瞬态视觉诱发电位的特征值,以及视觉引导下运动想象的事件相关同步或去同步特征。并使用模式识别分类训练器进行分类处理,产生对应的控制信号输出至上肢康复运动支架,实现运动想象的上肢康复训练控制。
上肢康复运动支架包括两只智能控制机械手臂,该机械手臂具有实时控制的功能,根据上位机发送的运动想象脑电的特征控制参数对机械手进行相应的康复训练操作。并且康复运动支架具有上肢康复训练操作功能,运动幅度设置可调,范围为0-100度;具有力学阈值保护,张开角度限制功能,以避免对患肢造成二次伤害;便于拆卸、安装,以便向康复中心和家庭推广应用。
该系统实现的上肢康复训练方法:使用者在康复训练指导人员的帮助下,通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上,并将系统的脑电采集电极固定在头部对应位置,视觉刺激输出在显示屏上,显示屏放置于使用者正前方舒适的位置(合适的角度,高度和距离可以根据使用者主观感受进行相应调节)。康复训练系统完成初始自检后,使用者在系统语音提示或文字引导下,进行康复训练流程学习。学习过程为按照视觉刺激显示屏的显示分别注释相应的模块,并进行模块内康复训练动作的运动想象。学习过程结束后,系统进入康复训练过程,康复训练过程分为预设方案训练和自由训练两种方式,使用者在康复训练指导人员的指导下进行相应的康复训练。预设方案训练,设置训练的基本参数,如时间、最大幅度、最大频率等,训练过程中系统根据使用者运动想象的脑电特征阈值,在设定的训练参数范围内自动调节训练运动参数,实现使用者自主、智能的康复训练。自由训练模式是使用者在康复训练指导人员的指导下通过运动想象的脑电特征阈值,自主选择训练肢体、训练动作、训练强度等康复训练,实现运动想象下的自主智能康复训练。
如图2所示,闪光刺激和图形刺激都能引起视觉诱发电位,但闪光刺激本身不包含任何选择或控制信息,所以脑机接口应用得比较多的是图形刺激方式。静止的图形,不能引发视觉诱发电位,只有图形的改变或运动才能引起有效的视觉诱发电位。本例的刺激方式采用目前普遍使用的图形刺激,利用黑白棋盘格翻转刺激视觉引起诱发电位,同时在图形上叠加运动引导动作图片,本例叠加的是手部对指运动动作。
本例采用频率较低的瞬态视觉诱发,瞬态视觉诱发电位与刺激之间存在严格的锁时同步关系,在现有技术条件下,能更方便、准确地提取到诱发电位信号。为区分不同刺激目标引起的刺激,不同刺激目标的闪烁时刻需要有区分。本例采用同频次复合刺激方式,即各个视觉刺激模块闪烁的频率和时间长度相同,但各个刺激模块依次启动闪烁,使闪烁时刻错开,同时,为避免干扰,在首个闪烁模块第二次闪烁前,其余闪烁模块都需要启动闪烁。注视任意一个刺激目标会产生相同诱发电位,但是依据刺激与诱发电位间存在的锁时关系,可以分析出检测到的视觉诱发电位是由哪个刺激目标引起的。本例刺激频率设置为3.3Hz,不易引起视觉疲劳。为了避免刺激图形上叠加的运动引导动作对视觉诱发刺激的干扰,本例运动引导动作的频率设置为图形刺激频率的三分频即1.1Hz。
如图3所示,本例脑电采集模块的输入共有4个信号,分别是位于头顶左侧的C3区,头顶右侧C4区,前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号。模块引入右腿驱动电路消除干扰噪声,以消除共模信号的方式去除人体肌电,相当于为脑电信号提供参考地。同时,布置在人脑头皮不同区域的电极所采集信号需要有一个共同的参考信号进行差分处理以尽可能排除头部表面电平的无效信号干扰来获取实际的脑电信号。C3电极信号与Cz电极信号进行差分后即得到欲研究的左半脑信号。同理,右半脑信号来自C4电极与Cz电极。
如图4所示,本例在对信号进行硬件带通滤波前,先使用集成运放电路对信号做60倍的前级放大,以保证信号的可靠性和有效性,以1.06Hz的高通滤波器与37.5Hz的低通滤波器组成的带通滤波器,保证滤波器通频带包含欲采集脑电信号的频率成分。带通滤波后再对信号进行400倍放大使脑电信号的幅度范围在±2V之间。由于人的脑电电平有负电平,为了便于进行AD转换,设计了可调节的电平抬升电路将放大后信号的最小值提升到0电平以上。要保证采集模块脑电信号AD转换的稳定,本例使用稳压芯片产生4.5V的AD转换芯片参考电平。在AD转换芯片与上位机数据传输模块中添加光耦模块,这么做除了有防止干扰的作用外,也是对实验中受试者安全的一道保障。对于后级电路有线路故障时,光耦模块可以保证电路的冲击不会传递到采集系统的前级以及受试者的头皮上。
如图5所示,本例信号采样频率为200Hz时,用db5小波进行5尺度分解,得到的细节和逼近信号对应的频带为:d1位于50-100Hz频带,d2位于25-50Hz频带,d3位于12.5-25Hz频带,d4位于6.25-12.5Hz频带,d5位于3.125-6.25Hz频带,a5位于0-3.125Hz频带。(a)组脑电信号为受试者注视的刺激模块所对应的脑电信号,(b)组脑电信号为非注视刺激模块所对应的脑电信号。可以看出信号的能量主要集中在中低频率段。信号波形的特征主要体现在d4和d5两部分,所以选用d5和d4两层细节系数作为视觉诱发电位特征信息进行特征提取和模式识别。
如图6所示,本例左图为左手运动想象,右图为右手运动想象。从图中的能量曲线变化可以看出,在进行左手运动想象时,C3通道的能量略大于C4通道的能量,而在进行右手运动想象时,C4通道的能量略大于C3通道的能量。这符合了事件相关去同步/同步的现象。因此,上位机的特征提取与模式识别算法选取C3/C4通道的能量特征,联合视觉诱发电位特征信息建立分类识别算法,生成基于运动想象的智能康复训练控制信号。
如图7所示,智能机械手包括运动辅助机械部分和运动辅助电气部分;电气部分由直流电机、控制电路和电源组成;机械部分通过钢丝传动完成运动辅助部件的运动控制,实现运动康复操作;控制电路具有RS232串口通信接口,便于接收运动控制信号的输入,通过输入的参数控制运动模式切换,运动状态启动或停止;智能机械手可以预设对指幅度、力度参数。
运动视觉刺激模块通过设计合理的同频次复合刺激与上肢康复运动引导视频,实现瞬态视觉诱发和运动想象视觉引导。这是本发明的特色与创新,将运动视觉引导下的运动想象同瞬态视觉诱发结合在一起。
现有技术中运动想象脑电分类识别准确率低,识别效率也不高,单次在线识别几乎不可能。瞬态视觉诱发脑电作为一个常用的脑机接口输入信号,识别准确率与识别效率都很优秀,单次在线识别算法成熟,但是在上肢智能康复训练过程中,我们需要实现患者自主运动意识参与的闭环的智能康复训练,基于瞬态视觉诱发脑电的康复训练没有患者自主运动意识参与,是被动康复训练方式。
本发明为了提高运动想象上肢智能康复训练脑电的在线识别准确率与识别效率,设计了黑白棋盘格翻转(瞬态视觉诱发)与运动引导动作(运动想象视觉引导)分频叠加的视觉刺激模式,本发明的示例采用了三分频叠加,瞬态视觉诱发刺激频率设置为3.3Hz运动引导动作频率设置为1.1Hz。
如图8所示,康复机器人训练流程:使用者在康复训练指导人员的帮助下,通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上,并将系统的脑电采集电极固定在头部对应位置,视觉刺激输出在显示屏上,显示屏放置于使用者正前方舒适的位置(合适的角度,高度和距离可以根据使用者主观感受进行相应调节)。康复训练系统完成初始自检后,使用者在系统语音提示或文字引导下,进行康复训练流程学习。学习过程为按照视觉刺激显示屏的显示分别注视相应的模块,并进行模块内康复训练动作的运动想象。康复训练流程学习过程中,系统采集使用者的脑电信号并提取其不同视觉刺激不同运动想象状态的脑电信号特征参数。学习过程结束后,系统进入康复训练过程,康复训练过程分为预设方案训练和自由训练两种方式,使用者通过注视相应的菜单自主选择(选择信号是系统根据流程学习过程瞬态视觉诱发信号特征进行模式识别进行选择控制)需要进行的康复训练方案,并在康复训练指导人员的指导下进行相应的康复训练。预设方案训练,系统设置训练的基本参数,如时间、最大幅度、最大频率等,在设定的训练参数范围内自动调节训练运动参数,训练过程中系统同步记录使用者运动想象的脑电信号,系统根据同步记录的脑袋信号特征进一步优化模式识别分类特征。自由训练模式是使用者在康复训练指导人员的指导下通过运动想象的脑电特征阈值,自主选择训练肢体、训练动作、训练强度等康复训练,完成运动想象下的自主智能康复训练,实现使用者自主、智能的康复训练。
如图9所示,采集的脑电信号进行相关预处理时,需要按照视觉刺激叠加频率对脑电信号按照对应的频率进行分段预处理。瞬态视觉诱发电位作为选择控制信号,在本示例200Hz采样率3.3Hz瞬态视觉诱发刺激频率,脑电信号按照300ms进行分段;视觉引导下运动想象的事件相关同步或去同步特征信号作为康复运动控制信号,在本示例200Hz脑电采样率1.1Hz运动引导动作频率,脑电信号按照900ms进行分段。
瞬态视觉诱发电位特征提取,示例采用db5小波进行5尺度分解,并选用d5和d4两层细节系数对信号进行重构,作为瞬态视觉诱发电位特征信号进行特征提取和模式识别。其小波分解与重构公式如下:
小波分解公式:
小波重构公式:
瞬态视觉诱发电位特征识别,采用三层神经网络结构,以提取的视觉诱发电位特征向量作为输入,以识别结果作为输出,隐含层和输出层的传递函数都选用S型函数,“1”为目标样本的目标输出,“0”为非目标样本的目标输出,输出值会是[0,1]区间内的数,则输出值越接近1,说明信号越接近视觉诱发电位信号。
瞬态视觉诱发电位特征分类结果作为自主选择训练肢体、训练动作的控制信号。
运动想象的事件相关同步或去同步特征信号特征提取,示例采用时域移动窗二阶能量谱特征作为运动想象事件相关同步或去同步信号特征,采用一个移动时间窗截取分段脑电数据,并且将移动窗的窗口长度及滑动步长可以进行设置,通过移动窗口内二阶能量谱在时域上的变化来确定信号特征。脑电数据进行了预处理操作,去除直流成分且均值为零。设移动窗口的长度为W,步长为Δt,s为窗口移动次数,则移动窗内的信号能量为:
运动想象的事件相关同步或去同步特征信号特征识别,示例通过Fisher线性分类器分类识别。通过权向量w来确定m维特征空间中的分类平面,基于Fisher准则的线性判别函数为:
运动想象的事件相关同步或去同步电位特征分类结果作为训练运动强度参数控制信号调节训练幅度和训练频率等训练参数。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种运动想象上肢智能康复机器人系统,其特征在于:该系统包括运动视觉刺激模块、脑电采集模块、上位机、上肢康复运动支架;所述上位机根据康复训练项目产生对应的运动刺激视频,通过所述运动视觉刺激模块显示给使用者;同时,所述脑电采集模块采集使用者的同步脑电信号并进行放大滤波预处理,通过有线或无线方式传输给所述上位机;所述上位机接收到脑电信号后,通过特征提取与模式分类算法,生成相应的康复训练控制信号输出至所述上肢康复运动支架;使用者将肢体通过固定机构固定于所述上肢康复运动支架,所述康复运动支架在接收到训练控制信号后,按照对应的控制信号对肢体进行康复运动训练。
2.如权利要求1所述的一种运动想象上肢智能康复机器人系统,其特征在于:所述运动视觉刺激模块用于显示同频次复合刺激与上肢康复运动引导视频,实现瞬态视觉诱发和运动想象视觉引导;所述视觉刺激模块包括多个闪烁模块,所述闪烁模块闪烁的频率和时间长度相同,但依次启动闪烁,使闪烁时刻错开;同时,为避免干扰,在首个闪烁模块第二次闪烁前,其余闪烁模块启动闪烁;
使用者注视任意一个刺激目标会产生相同诱发电位,但是依据刺激与诱发电位间存在的锁时关系,分析出检测到的视觉诱发电位是由哪个刺激目标引起的,同时每个刺激目标对应相应的运动想象动作,通过动作视频引导使用者进行相应的运动想象。
3.如权利要求1所述的一种运动想象上肢智能康复机器人系统,其特征在于:所述脑电采集模块用于采集视觉刺激模块诱发的瞬态视觉诱发电位和相应的运动想象脑电数据:采集脑电数据的有4个输入信号,分别为位于头顶左侧的C3区电极信号、头顶右侧C4区电极信号、前额中心Cz区电极信号以及贴于受试左耳后方的右腿驱动信号;所述右腿驱动信号以消除共模信号的方式去除人体肌电,消除干扰噪声;同时,所述C3区电极信号与Cz区电极信号进行差分后得到待研究的左半脑信号;所述C4区电极信号与Cz区电极信号进行差分后得到待研究的右半脑信号。
4.如权利要求1所述的一种运动想象上肢智能康复机器人系统,其特征在于:所述上位机用于对采集的脑电信号进行预处理,并通过特征提取和模式识别算法获取单次瞬态视觉诱发电位的特征值,以及视觉引导下运动想象的事件相关同步或去同步特征;并使用模式识别分类训练器进行分类处理,产生对应的控制信号输出至所述上肢康复运动支架,实现运动想象的上肢康复训练控制。
5.如权利要求1所述的一种运动想象上肢智能康复机器人系统,其特征在于:所述上肢康复运动支架包括运动辅助机械部分和运动辅助电气部分;
所述运动辅助机械部分两只智能控制机械手臂;该机械手臂具有实时控制的功能,根据所述上位机发送的运动想象脑电的特征控制参数对该机械手臂进行相应的康复训练操作;所述上肢康复运动支架还具有上肢康复训练操作功能,运动幅度调节范围为0-100度,具有力学阈值保护、张开角度限制功能,避免对患肢造成二次伤害;
所述运动辅助电气部分包括直流电机、控制电路和电源;所述控制电路具有RS232串口通信接口,用于接收运动控制信号,通过输入的参数控制运动模式切换,运动状态启动或停止;所述运动辅助机械部分通过钢丝传动完成所述运动辅助电气部分的运动控制,实现运动康复操作。
6.一种运动想象上肢智能康复机器人系统的训练方法,其特征在于:该方法包括以下步骤:
S1:使用者通过上肢康复运动支架的固定组件将待康复训练的肢体固定在康复运动支架上,并将系统的脑电采集电极固定在头部对应位置,视觉刺激输出在显示屏上,显示屏放置于使用者正前方舒适的位置;
S2:智能康复机器人系统完成初始自检后,使用者在系统语音提示或文字引导下,进行康复训练流程学习;学习过程为按照视觉刺激显示屏的显示分别注释相应的模块,并进行模块内康复训练动作的运动想象;
S3:智能康复机器人系统进入康复训练过程,使用者在系统语音提示或文字引导下,进行康复训练。
7.如权利要求6所述的一种运动想象上肢智能康复机器人系统的训练方法,其特征在于:步骤S3中所述康复训练包括预设方案训练和自由训练;
所述预设方案训练设置有训练的基本参数,包括时间、最大幅度、最大频率,训练过程中智能康复机器人系统根据使用者运动想象的脑电特征阈值,在设定的训练参数范围内自动调节训练运动参数,实现使用者自主、智能的康复训练;
所述自由训练为使用者通过运动想象的脑电特征阈值,自主选择训练肢体、训练动作、训练强度的康复训练,实现运动想象下的自主智能康复训练。
CN201710542674.8A 2017-07-05 2017-07-05 一种运动想象上肢智能康复机器人系统及其训练方法 Expired - Fee Related CN107315478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710542674.8A CN107315478B (zh) 2017-07-05 2017-07-05 一种运动想象上肢智能康复机器人系统及其训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710542674.8A CN107315478B (zh) 2017-07-05 2017-07-05 一种运动想象上肢智能康复机器人系统及其训练方法

Publications (2)

Publication Number Publication Date
CN107315478A true CN107315478A (zh) 2017-11-03
CN107315478B CN107315478B (zh) 2019-09-24

Family

ID=60180489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710542674.8A Expired - Fee Related CN107315478B (zh) 2017-07-05 2017-07-05 一种运动想象上肢智能康复机器人系统及其训练方法

Country Status (1)

Country Link
CN (1) CN107315478B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108210246A (zh) * 2018-01-10 2018-06-29 北京工业大学 一种四自由度康复机械臂装置
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法
CN108363493A (zh) * 2018-03-20 2018-08-03 山东建筑大学 基于脑机接口的用户特征模型建立方法、系统及存储介质
CN108904980A (zh) * 2018-08-01 2018-11-30 国家康复辅具研究中心 基于脑电和功能性电刺激的上肢主动康复方法及装置
CN108919947A (zh) * 2018-06-20 2018-11-30 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
CN109276808A (zh) * 2018-11-20 2019-01-29 广州市花都区人民医院 基于视频运动捕捉的多模态脑卒中上肢康复训练系统
CN109568891A (zh) * 2018-11-28 2019-04-05 东南大学 基于脑电的康复机器人主被动训练模式控制系统及方法
CN109907941A (zh) * 2019-04-02 2019-06-21 西安交通大学 一种基于专注度水平的手腕康复控制装置
CN110136800A (zh) * 2019-05-08 2019-08-16 博睿康科技(常州)股份有限公司 一种结合经颅电流刺激的主动康复训练系统
CN110393652A (zh) * 2019-08-14 2019-11-01 上海念通智能科技有限公司 一种脑电波控制的手功能康复训练系统和训练方法
CN110993056A (zh) * 2019-10-29 2020-04-10 浙江迈联医疗科技有限公司 基于镜像神经元和脑机接口的混合式主动康复方法、装置
CN111035896A (zh) * 2019-12-31 2020-04-21 中航创世机器人(西安)有限公司 一种下肢康复训练系统
CN111110982A (zh) * 2019-12-02 2020-05-08 燕山大学 基于运动想象的手部康复训练方法
CN111161834A (zh) * 2019-12-27 2020-05-15 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种帕金森病的脑控步态训练系统和方法
CN111513991A (zh) * 2020-05-31 2020-08-11 天津大学 基于人工智能技术的新型主动式手部全指康复设备
CN111554376A (zh) * 2020-04-26 2020-08-18 郑州大学 基于大数据通道的瘫痪病人患者用多功能复合康复系统
CN111544882A (zh) * 2020-04-30 2020-08-18 天津大学 一种基于脑机接口的新型脑卒中下肢主动康复系统及应用
CN111568699A (zh) * 2020-05-28 2020-08-25 京东方科技集团股份有限公司 舌肌康复训练装置
CN111631907A (zh) * 2020-05-31 2020-09-08 天津大学 基于脑机交互混合智能的脑卒中患者手部康复系统
CN111759669A (zh) * 2020-07-28 2020-10-13 常州锦澄医疗设备有限公司 基于电刺激上下肢协同智能康复机器人系统及其工作方法
CN112244774A (zh) * 2020-10-19 2021-01-22 西安臻泰智能科技有限公司 脑机接口康复训练系统及方法
CN113180992A (zh) * 2021-03-03 2021-07-30 浙江工业大学 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113499524A (zh) * 2021-07-23 2021-10-15 华南理工大学 一种利用运动想象脑电图检测的辅助康复训练系统
CN113712574A (zh) * 2021-09-03 2021-11-30 上海诺诚电气股份有限公司 一种脑电生物反馈得康复方法及系统
CN113952169A (zh) * 2021-10-29 2022-01-21 河南省洛阳正骨医院(河南省骨科医院) 一种利于足踝损伤后恢复的康复训练系统
CN114367090A (zh) * 2021-12-15 2022-04-19 郑州大学 一种上肢训练系统、方法及可读存储介质
CN114617745A (zh) * 2020-12-08 2022-06-14 山东新松工业软件研究院股份有限公司 下肢康复机器人训练控制方法及系统
CN115363604A (zh) * 2022-10-19 2022-11-22 山东海天智能工程有限公司 基于脑电信号的电极放电自动调节系统、介质及电子设备
CN115399787A (zh) * 2022-07-29 2022-11-29 山东海天智能工程有限公司 脑机接口和ar/vr交互技术相结合的康复训练系统
CN116077304A (zh) * 2022-12-12 2023-05-09 西安交通大学 基于ErrP-MI混合BCI的手康复训练系统
CN116919424A (zh) * 2023-08-24 2023-10-24 之江实验室 脑机接口康复方法、装置、电子设备和存储介质
CN116077304B (zh) * 2022-12-12 2024-09-27 西安交通大学 基于ErrP-MI混合BCI的手康复训练系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
US20150072326A1 (en) * 2012-03-27 2015-03-12 B10Nix S.R.L. System for the acquisition and analysis of muscle activity and operation method thereof
CN106502405A (zh) * 2016-10-24 2017-03-15 天津大学 基于同步性复合肢体想象动作多模态脑机接口方法及系统
CN106726030A (zh) * 2016-11-24 2017-05-31 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150072326A1 (en) * 2012-03-27 2015-03-12 B10Nix S.R.L. System for the acquisition and analysis of muscle activity and operation method thereof
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN106502405A (zh) * 2016-10-24 2017-03-15 天津大学 基于同步性复合肢体想象动作多模态脑机接口方法及系统
CN106726030A (zh) * 2016-11-24 2017-05-31 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108210246A (zh) * 2018-01-10 2018-06-29 北京工业大学 一种四自由度康复机械臂装置
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法
CN108304068B (zh) * 2018-01-30 2021-11-16 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法
CN108363493A (zh) * 2018-03-20 2018-08-03 山东建筑大学 基于脑机接口的用户特征模型建立方法、系统及存储介质
CN108363493B (zh) * 2018-03-20 2021-08-27 山东建筑大学 基于脑机接口的用户特征模型建立方法、系统及存储介质
CN108919947A (zh) * 2018-06-20 2018-11-30 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
CN108904980A (zh) * 2018-08-01 2018-11-30 国家康复辅具研究中心 基于脑电和功能性电刺激的上肢主动康复方法及装置
CN109276808A (zh) * 2018-11-20 2019-01-29 广州市花都区人民医院 基于视频运动捕捉的多模态脑卒中上肢康复训练系统
CN109568891A (zh) * 2018-11-28 2019-04-05 东南大学 基于脑电的康复机器人主被动训练模式控制系统及方法
CN109907941A (zh) * 2019-04-02 2019-06-21 西安交通大学 一种基于专注度水平的手腕康复控制装置
CN110136800A (zh) * 2019-05-08 2019-08-16 博睿康科技(常州)股份有限公司 一种结合经颅电流刺激的主动康复训练系统
CN110393652A (zh) * 2019-08-14 2019-11-01 上海念通智能科技有限公司 一种脑电波控制的手功能康复训练系统和训练方法
CN110993056A (zh) * 2019-10-29 2020-04-10 浙江迈联医疗科技有限公司 基于镜像神经元和脑机接口的混合式主动康复方法、装置
CN111110982A (zh) * 2019-12-02 2020-05-08 燕山大学 基于运动想象的手部康复训练方法
CN111161834A (zh) * 2019-12-27 2020-05-15 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种帕金森病的脑控步态训练系统和方法
CN111035896A (zh) * 2019-12-31 2020-04-21 中航创世机器人(西安)有限公司 一种下肢康复训练系统
CN111554376A (zh) * 2020-04-26 2020-08-18 郑州大学 基于大数据通道的瘫痪病人患者用多功能复合康复系统
CN111544882A (zh) * 2020-04-30 2020-08-18 天津大学 一种基于脑机接口的新型脑卒中下肢主动康复系统及应用
CN111568699B (zh) * 2020-05-28 2022-10-11 京东方科技集团股份有限公司 舌肌康复训练装置
CN111568699A (zh) * 2020-05-28 2020-08-25 京东方科技集团股份有限公司 舌肌康复训练装置
CN111513991B (zh) * 2020-05-31 2022-06-03 天津大学 基于人工智能技术的主动式手部全指康复设备
CN111631907B (zh) * 2020-05-31 2022-06-03 天津大学 基于脑机交互混合智能的脑卒中患者手部康复系统
CN111513991A (zh) * 2020-05-31 2020-08-11 天津大学 基于人工智能技术的新型主动式手部全指康复设备
CN111631907A (zh) * 2020-05-31 2020-09-08 天津大学 基于脑机交互混合智能的脑卒中患者手部康复系统
CN111759669A (zh) * 2020-07-28 2020-10-13 常州锦澄医疗设备有限公司 基于电刺激上下肢协同智能康复机器人系统及其工作方法
CN111759669B (zh) * 2020-07-28 2022-04-15 常州锦澄医疗设备有限公司 基于电刺激上下肢协同智能康复机器人系统及其工作方法
CN112244774A (zh) * 2020-10-19 2021-01-22 西安臻泰智能科技有限公司 脑机接口康复训练系统及方法
CN114617745A (zh) * 2020-12-08 2022-06-14 山东新松工业软件研究院股份有限公司 下肢康复机器人训练控制方法及系统
CN113180992A (zh) * 2021-03-03 2021-07-30 浙江工业大学 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113499524A (zh) * 2021-07-23 2021-10-15 华南理工大学 一种利用运动想象脑电图检测的辅助康复训练系统
CN113712574A (zh) * 2021-09-03 2021-11-30 上海诺诚电气股份有限公司 一种脑电生物反馈得康复方法及系统
CN113712574B (zh) * 2021-09-03 2022-06-21 上海诺诚电气股份有限公司 一种脑电生物反馈得康复方法及系统
CN113952169A (zh) * 2021-10-29 2022-01-21 河南省洛阳正骨医院(河南省骨科医院) 一种利于足踝损伤后恢复的康复训练系统
CN114367090A (zh) * 2021-12-15 2022-04-19 郑州大学 一种上肢训练系统、方法及可读存储介质
CN115399787A (zh) * 2022-07-29 2022-11-29 山东海天智能工程有限公司 脑机接口和ar/vr交互技术相结合的康复训练系统
CN115363604A (zh) * 2022-10-19 2022-11-22 山东海天智能工程有限公司 基于脑电信号的电极放电自动调节系统、介质及电子设备
CN116077304A (zh) * 2022-12-12 2023-05-09 西安交通大学 基于ErrP-MI混合BCI的手康复训练系统
CN116077304B (zh) * 2022-12-12 2024-09-27 西安交通大学 基于ErrP-MI混合BCI的手康复训练系统
CN116919424A (zh) * 2023-08-24 2023-10-24 之江实验室 脑机接口康复方法、装置、电子设备和存储介质
CN116919424B (zh) * 2023-08-24 2024-05-03 之江实验室 脑机接口康复装置和电子设备

Also Published As

Publication number Publication date
CN107315478B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN107315478B (zh) 一种运动想象上肢智能康复机器人系统及其训练方法
CN109925582B (zh) 双模态脑-机交互式运动神经反馈训练装置和方法
Rak et al. Brain-computer interface as measurement and control system the review paper
CN104000586B (zh) 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN104951082B (zh) 一种利用随机共振增强脑电信号的脑机接口方法
CN109366508A (zh) 一种基于bci的高级机械臂控制系统及其实现方法
CN104978035B (zh) 基于体感电刺激诱发p300的脑机接口系统及其实现方法
CN105771087A (zh) 基于音乐和肌电反馈刺激的康复训练系统
CN101897640A (zh) 一种新型的基于运动想象脑电控制的智能轮椅系统
CN111584031B (zh) 基于便携式脑电采集设备的脑控智能肢体康复系统及应用
CN107463249A (zh) 基于vr头显视觉诱发电位的脑机接口系统及控制方法
CN107510555B (zh) 一种轮椅脑波控制装置及控制方法
CN107562191A (zh) 基于混合特征的精细想象动作在线脑‑机接口方法
CN106267557A (zh) 一种基于小波变换和支持向量机辨识的脑控主动上肢医疗康复训练系统
CN115640827A (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
CN113180992A (zh) 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN108919947A (zh) 一种通过视觉诱发电位来实现的脑机接口系统及方法
Qi et al. Lower limb rehabilitation exoskeleton control based on SSVEP-BCI
Li et al. Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion
CN113359991B (zh) 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
Zhang et al. Brain-controlled wheelchair system based on SSVEP
Prathibha et al. Brain computer interface: Design and development of a smart robotic gripper for a prosthesis environment
Wang et al. Brain-computer interfaces based on attention and complex mental tasks
CN115670481B (zh) 意识关联康复机器臂运动意愿提取及协同控制方法
Sudarsanan et al. Controlling a robot using brain waves

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190924

Termination date: 20200705

CF01 Termination of patent right due to non-payment of annual fee