CN115482907A - 一种脑电与肌电结合的主动康复系统及康复训练方法 - Google Patents

Abstract

本发明根据脑电信号和肌电信号的特点，将两者结合应用到人机交互的康复领域。在基于运动想象脑机接口的主动康复训练中，脑电采集模块采集患者脑电信号，以VR引导和系统语音的方式，提示患者做特定的想象任务，并记录患者想象时产生的脑电信号，再由信号处理模块对采集的脑电信号进行预处理、特征提取、特征分类，建立分类模型传输给在线康复训练系统进行在线康复训练。肌电主动康复采取与脑电的相似的原理、过程，识别手部表达意图，最终分类结果通过预留的对外通信接口转化为控制外设的指令，反馈信息作用于人体，形成一个完整的人机交互系统。脑电与肌电相结合的方式可对患者中枢神经和外围神经同时进行训练，从而达到良好的康复效果。

Description

一种脑电与肌电结合的主动康复系统及康复训练方法

技术领域

本发明涉及生物电信号处理技术领域，具体涉及一种脑电与肌电结合的主动康复系统及康复训练方法。

背景技术

近年来，脑卒中、神经性肌肉萎缩(Muscular Dystrophy,MD)、肌萎缩性侧索硬化症(Amyotrophic Lateral Sclerosis,ALS)以及运动神经元病(MotorNeuron Disease,MND)等疾病的发病率逐年增长，这些患者大脑意识正常，但由于大脑控制肢体进行运动的神经或肌肉通路受到不同程度的损坏，导致患者肢体运动功能障碍而失去独立生活的能力，给家庭和社会带来沉重的负担。传统的康复训练方法不仅需要耗费大量的人力，还因为训练时间长、见效慢、过程枯燥无味等缺点，使得患者无法积极主动地投入康复训练，此外整个康复过程也缺乏支配肢体活动的大脑神经系统直接参与，康复训练效果及效率都有待提高。

发明内容

为了解决上述现有技术中存在的问题，本发明根据脑电信号和肌电信号的特点，将两者结合应用到了人机交互领域。可使患者的大脑的中枢神经与肢体的神经均能得到良好的康复训练，本发明的训练的方式多样化，另外均采用患者主动的方式进行训练。相对于传统方式，基于运动想象的康复治疗是运动功能障碍恢复新的治疗手段之一，其通过运动想象产生的脑电信号可以实现人脑与外部设备之间的直接通信和控制，此外本发明结合肌电信号预测患者的运动意图，协助患者进行康复训练，让患者掌握自身运动状态，变被动训练为主动训练，能有效提升患者康复训练的积极性，以此提供一种快速、有效的康复训练方法及系统。

为解决现有技术问题，本发明提供一种脑电与肌电结合的主动康复系统及康复训练方法，其原理是：用特定的信号采集设备—脑电帽，实时采集患者进行运动想象时产生的脑电图，利用脑机接口技术对采集的运动想象时产生的脑电图进行处理，识别患者的运动意图，并将其转化为外部设备可以识别的控制命令，控制外部设备进行相应的动作，可实现对患者中枢神经训练。融合肌电检测方法检测肢体的表面肌电信号，对患者的表面肌电信号进行采集、预处理、识别、分类，将其转化为电信号发送给客户端，客户端再对外部设备进行控制，进行人机交互式的训练，可帮助对患者的外周神经训练。肌电与脑电的结合让患者主动参与“中枢-外周-中枢”闭环康复。

具体的，脑电与肌电结合的主动康复系统包括脑电采集模块、脑电分析模块、脑电VR训练系统、肌电采集模块、肌电分析模块。

脑电采集模块中的脑电帽和信号放大器通过串口方式连接，所述信号放大器通过无线方式与客户端电脑连接，客户端设有脑电分析系统，所述脑电分析系统采用改进滤波器组共空间模式(FilterBank Common Spatial Pattern，FBCSP)算法，脑电采集模块中的脑电VR训练系统由离线、在线康复训练两个系统构成，离线是基于VR技术搭建的简单训练场景构成，通过场景提示来引导患者进行运动想象，该阶段可以完成初步的康复以及构建患者自身的脑电模型；

在线系统通过完成训练场景中设定的任务，自主决定进行运动想象的时间以及相关的运动想象动作。在这一过程中，患者通过自主进行运动想象来控制训练场景中的对象完成一些比较复杂的动作，实现能够进行较复杂肢体动作的后期康复。引导患者通过不断进行运动想象训练促进中枢神经重塑，逐渐恢复肢体运动功能。

肌电采集模块、肌电分析模块构成可识别患者例如手部不同部位表达意图的闭环系统，对患者进行外周神经系统康复训练，帮助患者实现外周神经康复、恢复肢体运动功能，同时具有对上肢康复效果检测评功能价，肌电康复训练也属于通过患者自身进行主动康复。

所述肌电采集模块包括采集硬件和上位机通信组件，肌电采集模块用于完成用户在执行不同动作时肌肉所产生表面肌电信号的记录与保存工作；肌电分析模块用于对信号的预处理滤波和特征值提取、特征分类、康复训练，肌电分析模块包括表面肌电信号离线训练模块和表面肌电信号在线识别模块；表面肌电信号离线训练模块获得特征集后通过分类器得到一个模型，该模型就包括该用户所有运动意图的表征形式；表面肌电信号在线识别模块设有活动段检测，在获取有效信号的特征集后会调用训练模型，进行模式分类，分类结果可通过预留的对外通信接口转化为控制外设的指令，外界也可以通过多模态的反馈信息作用于人体，形成一个完整的人机交互系统回路。

本发明的优点在于：

1)系统核心算法是改进FBCSP算法，引入时间窗优化的方法，通过遍历寻优找到特定被试运动想象时产生的脑电图的个性化最优时间窗，得到患者的最佳运动想象时间段，针对患者建立更优的分类模型。

2)系统在频带滤波阶段，对滤波器设计的参数针对不同被试进行个性化寻优，找到特定被试的最佳滤波器参数，以带宽为4-40Hz的范围内将运动想象时产生的脑电图分解为4-8Hz、8-12Hz、12-16Hz、16-20Hz、20-24Hz、28-32Hz、32-36Hz、36-40Hz不同频带上的信号，从而针对特定被试建立更加可靠的个性化分类模型。

3)主动康复训练系统是基于运动想象－脑机接口结合VR技术，由采集、处理和应用系统三部分组成的一个带反馈的闭环系统。现有的运动想象较多的是通过观看特定画面或者视觉刺激模块显示的方式，给患者选择性少无法真正针对每一位患者。本发明在康复应用中，以运动想象－脑机接口结合VR技术的康复训练可以根据处理数据的实时性分为离线和在线两种训练方式，不同于传统单一的训练方式。运动想象－脑机接口的康复训练中，离线阶段会实时记录患者训练过程中的运动想象时产生的脑电图，并在训练结束后对记录的运动想象时产生的脑电图进行识别分析，建立可靠的分类模型供在线阶段使用。此外，离线阶段的康复训练还可以锻炼患者进行运动想象的能力，帮助其找到适合的运动想象模式。另外所搭建的VR虚拟场景会引导进行某些思考或者想象运动。结合VR引导和系统语音提示，可以帮助患者在离线训练阶段更快的掌握正确的训练的技巧。

4)区别于现有市场一些产品虽然有3D虚拟场景，存在训练过程效果因人而异，有的能够较快熟悉，但有的掌握较慢不能达到效果。而本发明是从患者视角和反馈动作两个方面考虑，在线阶段不同VR反馈场景对运动想象时产生的脑电图识别性能的影响，这种影响跟被试者的生理及心理因素都有关系。因此应根据患者需求融合多种不同的训练场景来满足个性化训练。将运动想象－脑机接口技术应用于脑卒中患者主动康复，充分结合运动想象－脑机接口与VR技术的优势，为患者提供了一种新型的康复训练模式。

5)本发明将脑电和肌电康复融合，可根据患者自身的情况制定康复方案，对于大脑中枢神经损伤患者和肢体外周神经损伤的患者可以选择脑电或肌电训练的模式进行康复训练以及脑电结合肌电的训练模式，训练过程分成离线训练阶段、基于提示和反馈的在线康复训练阶段、在线康复训练阶段分为三个循序渐进的过程，帮助患者由易到难，逐渐恢复损伤的神经和肢体运动功能。

6)针对肌电信号的产生机理，同时结合肌肉的牵引位置，制定了包括但不限于握拳手势、伸掌手势、伸腕手势、屈腕手势、内旋手势、外旋手势、上切手势、下切手势的动作，以此作为人机交互的媒介；肌电同样是采用结合语音和VR引导的训练过程，帮助用户更加精准地掌握手势动作的细节要领。

附图说明

下面通过具体实施方式结合附图对本申请作进一步详细说明

图1为本发明主动康复训练系统整体结构示意图；

图2为本发明运动想象康复训练整体结构示意图；

图3为本发明改进FBCSP的脑电分析过程流程图；

图4为本发明肌电康复系统框图；

图5为本发明脑电肌电融合主动康复系统界面图；

图6为本发明肌电主动康复训练模式训练界面；

图7为本发明脑电信号采集系统界面。

具体实施方式

为使本实施方式的目的、技术方案和优点更加清楚，下面将结合本实施方式中的附图，对本实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

实施例一

通过脑电实现主动康复的方法，包括以下步骤(如图2所示)：

1)患者佩戴脑电帽；

2)患者根据VR场景提示进行运动想象，实时获取的运动想象产生的脑电图被传递到信号放大器，经过信号放大器对其进行放大、A/D转换以及滤波后转化为数字信号；

3)通过无线传输方式将数字信号传送给电脑；

4)电脑的脑电分析系统进行信号处理，对采集的数字信号进行分析来识别被试的运动意图，其中，信号处理包括预处理、特征提取和特征分类三个部分；

4-1)预处理，去除数字信号中的眼电伪迹、肌电伪迹和心电伪迹等干扰成分，进行降噪处理。

4-2)特征提取，从预处理后的数字信号中提取出能反映被试运动意图的特征参数。

4-3)特征分类，根据提取的特征参数进行特征分类，每个分类结果都将被转换为对应的控制命令。

脑电分析系统采用改进FBCSP算法。标准FBCSP算法处理脑电图数据的完整过程包括4个阶段(如图3所示)：滤波器组频带滤波、CSP空间滤波、特征选择以及特征分类，本发明在脑电图数据处理采用一种基于窗口优化和个性化参数改进的算法。系统核心算法引入时间窗优化的方法，通过遍历寻优找到特定被试运动想象时产生的脑电图的个性化最优时间窗，得到患者的最佳运动想象时间段，针对患者建立更优的分类模型。

5)借助VR技术模拟生活场景搭建虚拟训练系统，接收的控制命令，提供视觉、听觉和触觉三种感官反馈，虚拟场景中的3D虚拟人为用户提供视觉反馈，虚拟训练系统与脑电分析系统形成一个完整的闭环系统也即是本发明的脑电分析模块，实现人脑对外部设备的直接控制。

作为本发明优选的技术方案，设有自主康复训练系统，该系统将运动康复的过程分为三个阶段。

1)离线训练阶段：该阶段由基于VR技术搭建的简单训练场景构成，通过场景中手和脚的运动来提示和引导患者进行运动想象，锻炼其进行运动想象的能力，并在这一过程中完成初步康复。

1.1)进入离线训练场景，首先呈现的是黑屏界面，患者准备好后按任意键即可正式开始训练。

1.2)训练过程中界面依次呈现双手或双脚进行指定提示动作的画面、带提示的运动想象任务阶段画面和黑屏画面，此时黑屏代表提示患者休息。其中，动作提示持续1.5s时间，患者可以根据提示准备运动想象的动作；之后的4s时间是指定的运动想象任务时间，此时如果画面中是双手，则哪只手被标记就想象哪只手运动，若画面中是双脚则想象双脚运动，患者可以根据画面上端的进度条确定剩余的运动想象时间；每次想象任务结束后会有2s的休息时间，此时画面是黑屏状态。

1.3)在离线训练阶段，脑电分析系统会采集患者运动想象期间的脑电图，使用改进FBCSP算法建立分类模型并保存在本地，供在线康复训练阶段使用。

2)基于提示和反馈的在线康复训练阶段：该阶段由基于VR技术搭建的简单生活场景组成，训练过程中会通过间接的手段提示患者进行相应的运动想象，然后用离线阶段采集数据建立的分类模型实时分析患者运动想象产生的脑电图，并将识别出的运动想象时产生的脑电图转换成康复训练系统可识别的控制命令，控制康复系统中虚拟手臂或者虚拟人进行相应的动作并给出反馈，进一步加强患者的运动想象能力。并在这一过程中完成恢复患者简单肢体动作的中期康复。

2.1)正式开始训练前，首先加载患者最近一次离线训练时建立的分类模型。

2.2)离线训练会给出简单的提示，提醒患者进行运动想象的时间和动作，并对患者是否进行了正确运动想象进行反馈，本阶段的反馈动作不再是临床提供的动作，而是结合日常生活，设计了一些简单的动作。

3)在线康复训练阶段：该阶段由基于VR技术设计开发的几种训练场景组成，这一阶段患者通过运动想象来控制场景中对象的运动，因此不再有关于运动想象的提示信息，由患者在训练任务中自主的决定进行运动想象的时间及相关的运动想象动作。在这一过程中，患者通过自主进行运动想象来控制训练场景中对象完成一些比较复杂的动作，实现能够进行较复杂肢体动作的后期康复。三个训练阶段循序渐进，引导患者通过不断进行运动想象训练促进中枢神经重塑，逐渐恢复肢体运动功能。

3.1)在线阶段包括喝水和吃苹果、拔萝卜、拼图、打排球4种针对上肢康复训练的场景和走迷宫1种针对下肢的康复训练场景。

3.2)本阶段不再对何时进行何种运动想象进行提示，患者需要以完成训练任务为目的，自主的决定进行运动想象的时间和动作。患者可以根据康复需要选择康复训练场景，在本阶段系统会以训练时长和进度，例如一分钟内可以成功拔到几根萝卜为评价标准对患者每次的训练进行评估。

实施例二

选用肌电自主康复的方式，通过患者自身进行主动康复的阶段。具体如下(如图4所示)：

1)患者肢体可以做出简单的几种动作，在患者的肢体佩戴表面肌电采集装置采集肌电信号；

2)系统提供个体化的模型训练，包括需要训练的动作种类及其训练次数都进行综合考虑，保证采集的肌电信号更加准确有效。

2.1)首先会播放一个引导视频，视频中会出现一个随机的手部动作，并且给予语音提示请准备，提示患者接下来需要完成的手势动作，让其做好准备，2s时间到时提示视频消失；

2.2)接着屏幕中又会播放和刚才相同的手部动作视频，语音提示相应手部动作名称，持续时间由2s变成4s，此过程中要求被试人员完成该提示动作并维持4秒；最后出现2s的提示休息视频，语音提示休息一下，此时患者可以手部放松，休息2s，自此1次动作实验结束。

3)以卷积神经网络(Convolutional Neural Networks,CNN)CNN作为手势识别基数，得到基于CNN的手势多分类模型；

4)在完成训练后，系统提供一套基于多场景任务的在线检测方案，能够让患者了解自己前期所训练模型的精确程度。

5)进入在线任务阶段时，通过对外通信接口将识别动作转为控制外设的指令，完成不同场景下的交互任务。

肌电分析模块由2个模块组成：表面肌电信号离线训练模块、表面肌电信号在线识别模块，2个模块作为功能层集成于系统内部，通过界面层面向用户。

其中，肌电采集模块：包括采集硬件和上位机通信组件，通过Qt内置的串口或无线通信接口函数可以实现对不同采集设备的扩展，采集模块主要完成患者在执行不同动作时肌肉所产生表面肌电信号的记录与保存工作；

表面肌电信号离线训练模块与在线识别模块：都是封装了信号处理的相关方法，都包括了信号的预处理滤波和特征值提取，不同的是训练模块获得特征集后，会通过分类器得到一个模型，这个模型就是该患者所有运动意图的表征形式，而在线识别模块则加入了活动段检测，获取有效信号的特征集后会调用训练模型，进行模式分类，分类结果可通过预留的对外通信接口转化为控制外设的指令，外界也可以通过多模态的反馈信息作用于人体，形成一个完整的人机交互系统回路。

用户界面按照系统模块的划分进行布局，分为训练界面和在线检测界面，具体介绍如下：

训练界面：主要由4部分组成(如图6所示)：

1)动作演示区：训练阶段播放执行手势动作的引导视频，告诉使用者的动作规范；在线阶段播放识别手势的演示视频，给出实验结果的反馈；针对肌电信号的产生机理，同时结合肌肉的牵引位置，制定了包括但不限于握拳手势、伸掌手势、伸腕手势、屈腕手势、内旋手势、外旋手势、上切手势、下切手势的动作，以此作为人机交互的媒介；制定结合语音和VR引导的实验流程，帮助用户更加精准地掌握手势动作的细节要领；

2)训练参数设置区：完成对采集设备状态的管理以及相关训练参数的设置。设备管理主要帮助系统接入不同肌电采集设备，内部通过通信接口函数实现不同采集器的扩展；训练参数设置则是对离线手势任务的种类以及执行次数等进行设定，同时通过唯一性的模型标记符区分每个不同用户的训练信息，实现训练任务的高度匹配；

3)动作选取区：该区域罗列了部分常见手势动作，训练阶段通过勾选符选择需要训练的手势动作，通过系统内部集成的实验范式生成不同动作的训练任务；

4)波形显示区：对采集到的原始肌电信号进行波形可视化，可直观的了解表面肌电信号。

在线检测界面：在线检测界面主要为用户提供不同在线任务的选择，由3个子界面组成：

1)场景选择区：由4种场景任务的预览图组成，用户可以通过点击对应的按钮进入该场景，加载不同的在线测试模块，实现VR场景和任务的个性化选择；

2)模拟提示区：提供手势引导，告知用户完成该场景任务执行的手势，并且通过下方的任务进度条状态将任务结果反馈用户；

3)模拟报告区：将该次的任务完成情况作一个整体评估，用以评价用户训练模型的准确性，当模型的效果较好时，用户通过“在线识别”按钮进入到一个异步在线识别状态，通过系统开放的通信接口完成对其他外设的控制。

本发明还提供一种用于手势识别的卷积神经网络结构，整个网络的核心为中间的隐藏层，网络的前馈输入经由第一个卷积层计算，再由第二个池化层进行信息的选取保留，然后再经一轮的卷积池化操作，直至到最后一个卷积，整个隐藏层的计算才完成，而隐藏层之后的全连接层则负责将提取出的特征进行归整。手势识别的卷积神经网络结构对于多分类识别具有更好的推广性。

本发明的手势识别系统采用Qt和MATLAB混编的在线手势识别系统，应用系统上的集成Qt与MATLAB混合编程的代码。其次，采用基于模块化的整体设计为系统的迭代升级提供便利，同时也提高系统代码的可复用性以及后续功能补充的可扩展性。围绕肌电信号在线识别开发了包括信号采集、离线训练、在线识别等模块的集成式系统，通过对肌电信号的采集与分析，将用户的运动意图转化为控制外设的运行指令。

实施例三

实施例一和实施例二涉及的一整套自主康复系统包括：

包括脑电采集模块、脑电处理模块、肌电采集模块、肌电处理模块；

脑电采集模块包含脑电帽和信号放大器，通过串口方式连接；所述信号放大器通过无线方式与客户端电脑连接，客户端有脑电分析系统，所述脑电分析系统采用改进FBCSP算法，所述脑电VR训练系统由离线、在线康复训练两种系统构成，离线是基于VR技术搭建的简单训练场景构成，通过场景提示来引导患者进行运动想象，该阶段可以完成初步的康复以及构建患者的分类模型；所述在线系统通过完成设定的训练场景任务来自主的决定进行运动想象的时间及相关的运动想象动作，在这一过程中，患者通过自主进行运动想象来控制训练场景中的对象完成一些比较复杂的动作，实现能够进行较复杂肢体动作的后期康复。引导患者通过不断进行运动想象训练促进中枢神经重塑，逐渐恢复肢体运动功能。

本发明是以脑电结合肌电的方式帮助患者进行康复，两种方式均是采用患者主动的方式实现康复目的。主动康复训练系统由多个模块集成构成，从采集到最终输出进行模式分类，将分类结果通过预留的对外通信接口转化为控制外设的指令，外界也可以通过多模态的反馈信息作用于人体，形成一个完整的人机交互系统回路。本发明中的肌电主动康复和脑电主动康复两种主动康复方式即能对立帮助患者实现主动康复，也可以相互融合实现主动康复，形成肌电与脑电的结合康复训练模式，让患者的大脑主动参与“中枢-外周-中枢”闭环康复。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (11)

1.一种脑电与肌电结合的主动康复系统，其特征在于，

包括脑电采集模块、脑电分析模块、肌电采集模块、肌电分析模块；

所述脑电采集模块包括脑电帽、信号放大器，所述脑电帽，用于采集用运动想象时产生的脑电图信号，所述信号放大器连接脑电分析模块以用于将实时获取的脑电图信号放大后转换为数字信号并传输至脑电分析模块；

所述脑电分析模块包括客户端、脑电VR训练系统，所述客户端设有脑电分析系统，脑电分析系统用于将数字信号进行预处理、特征提取、分类，脑电VR训练系统设有离线阶段和在现阶段，在离线阶段脑电VR训练系统能够产生提示信息指引患者进行运动想象，脑电分析系统根据进脑电图信号进行预处理、特征提取和特征分类，建立分类模型并保存在本地，供在线康复训练阶段使用，离线阶段建立的分类模型用于在在线阶段实时分析患者运动想象时产生的脑电图信号，并将识别出的脑电图信号转换成可识别的控制命令，控制脑电VR训练系统中的虚拟人物进行相应的动作并给出反馈以实现人机交互式训练；

所述肌电采集系统包括采集硬件和上位机通信组件，肌电采集系统用于完成用户在执行不同动作时肌肉所产生表面肌电信号的记录与保存工作；

肌电分析模块用于对信号的预处理滤波和特征值提取，其由表面肌电信号离线训练模块与在表面肌电信号在线识别模块构成，

表面肌电信号离线训练模块获得特征集后通过分类器得到一个模型，所述模型包括该用户所有运动意图的表征形式；表面肌电信号在线识别模块设有活动段检测，在获取有效信号的特征集后会调用训练模型，进行模式分类，分类结果可通过对外通信接口转化为控制外设的指令，外界也可以通过多模态的反馈信息作用于人体，形成一个完整的人机交互系统回路。

2.一种脑电与肌电结合的康复训练方法，其特征在于，利用权利要求1所述的一种脑电与肌电结合的主动康复系统进行操作，形成包括脑电康复阶段、肌电康复训练或者脑电与肌电结合阶段的综合训练方法。

3.根据权利要求2所述的一种脑电与肌电结合的康复训练方法，其特征在于，脑电康复阶段包括如下步骤：

1)离线训练阶段：该阶段由基于VR技术搭建的简单训练场景构成，通过场景中手和脚的运动来提示和引导患者进行运动想象，锻炼其进行运动想象的能力，并在这一过程中完成初步康复；

2)基于提示和反馈的在线康复训练阶段：该阶段由基于VR技术搭建的简单生活场景组成，训练过程中会通过间接的手段提示患者进行相应的运动想象，然后用离线阶段采集数据建立的分类模型实时分析患者运动想象产生的脑电图，并将识别出的运动想象时产生的脑电图转换成康复训练系统可识别的控制命令，控制康复系统中虚拟手臂或者虚拟人进行相应的动作并给出反馈，进一步加强患者的运动想象能力；并在这一过程中完成恢复患者简单肢体动作的中期康复。

3)在线康复训练阶段：该阶段由基于VR技术设计开发的趣味益智训练场景组成，这一阶段患者通过运动想象来控制训练场景中的对象的运动，因此不再有关于运动想象的提示信息，由患者在训练任务中自主的决定进行运动想象的时间及相关的运动想象动作；在这一过程中，患者通过自主进行运动想象来控制训练场景中的对象完成一些比较复杂的动作，实现能够进行较复杂肢体动作的后期康复。

4.根据权利要求3所述的一种脑电与肌电结合的康复训练方法，其特征在于，离线训练阶段具体包括如下步骤：

1.1)进入离线训练场景，首先呈现的是黑屏界面，患者准备好后按任意键即可正式开始训练；

1.2)训练过程中界面依次呈现双手或双脚进行指定提示动作的画面、带提示的运动想象任务阶段画面和黑屏画面，此时黑屏代表提示患者休息；其中，动作提示持续1.5s时间，患者可以根据提示准备运动想象的动作；之后的4s时间是指定的运动想象任务时间，此时如果画面中是双手，则哪只手被标记就想象哪只手运动，若画面中是双脚则想象双脚运动，患者可以根据画面上端的进度条确定剩余的运动想象时间；每次想象任务结束后会有2s的休息时间，此时画面是黑屏状态；

1.3)在离线训练阶段，脑电分析系统会采集患者运动想象期间的脑电图，建立分类模型并保存在本地，供在线康复训练阶段使用。

5.根据权利要求4所述的一种脑电与肌电结合的康复训练方法，其特征在于，基于提示和反馈的在线康复训练阶段，具体包括如下步骤：

2.1)正式开始训练前，首先加载患者最近一次离线训练时建立的分类模型。

2.2)离线训练会给出简单的提示，提醒患者进行运动想象的时间和动作，并对患者是否进行了正确运动想象进行反馈，本阶段的反馈动作不再是临床提供的动作，而是结合日常生活，设计了一些简单的动作。

6.根据权利要求6所述的一种脑电与肌电结合的康复训练方法，其特征在于，中枢损伤患者需恢复或需对上肢神经训练的患者可选用肌电主动康复的方式，在患者的肢体佩戴肌电采集装置采集肌电信号，具体包括如下步骤：

3.1)在线康复训练阶段是由5种训练场景组成，其中包括喝水和吃苹果、拔萝卜、拼图、打排球4种针对上肢康复训练的场景和走迷宫1种针对下肢康复的场景；

3.2)本阶段不再对何时进行何种运动想象进行提示，患者需要以完成训练任务为目的，自主的决定进行运动想象的时间和动作，患者可以根据康复需要选择康复训练场景，在本阶段系统会以训练时长和训练进度，例如一分钟内可以成功拔到几根萝卜为评价标准对患者每次的训练进行评估。

7.根据权利要求6所述的一种脑电与肌电结合的康复训练方法，其特征在于，肌电康复训练阶段具体包括如下步骤：

1)在患者的肢体佩戴肌电采集装置采集肌电信号；

2)系统提供个体化的模型训练，包括需要训练的动作种类及其训练次数；

2.1)首先会播放一个引导视频，视频中会出现一个随机的手部动作，并且给予语音提示请准备，告诉被试人员接下来需要完成的手势动作，让其做好准备，2s时间到时提示视频消失；

2.2)接着屏幕中又会播放和刚才相同的手部动作视频，语音提示相应手部动作名称，持续时间由2s变成4s，此过程中要求被试人员完成该提示动作并维持4秒；最后出现2s的提示休息视频，语音提示休息一下，此时被试人员可以手部放松，休息2s，自此1次动作实验结束。

3)以卷积神经网络作为手势识别基数，得到基于卷积神经网络的手势多分类模型；

4)在完成训练后，系统向用户提供一套基于多场景任务的在线检测方案，能够让用户了解自己前期所训练模型的精确程度。

5)进入在线任务阶段时，通过对外通信接口将识别动作转为控制外设的指令，完成不同场景下的交互任务。

8.根据权利要求7所述的一种脑电与肌电结合的康复训练方法，其特征在于，设有用户界面，包括训练界面和在线检测界面。

9.根据权利要求8所述的一种脑电与肌电结合的康复训练方法，其特征在于，训练界面包括：

1)动作演示区，训练阶段播放执行手势动作的引导视频，告诉使用者的动作规范；在线阶段播放识别手势的演示视频，给出实验结果的反馈；

2)训练参数设置区，完成对采集设备状态的管理以及相关训练参数的设置；设备管理主要帮助系统接入不同肌电采集设备，内部通过通信接口函数实现不同采集器的扩展；训练参数设置则是对离线手势任务的种类以及执行次数等进行设定，同时通过唯一性的模型标记符区分每个不同用户的训练信息，实现训练任务的高度匹配；

3)动作选取区，该区域罗列了部分常见手势动作，训练阶段通过勾选符选择需要训练的手势动作，通过系统内部集成的实验范式生成不同动作的训练任务；

4)波形显示区，对采集到的原始肌电信号进行波形可视化，可直观地了解表面肌电信号。

10.根据权利要求9所述的一种脑电与肌电结合的康复训练方法，其特征在于，在线检测界面用于为用户提供不同在线任务的选择，由3个子界面组成：

1)场景选择区：由4种场景任务的预览图组成，用户可以通过点击对应的按钮进入该场景，加载不同的在线测试模块，实现VR场景和任务的个性化选择；

2)模拟提示区：提供手势引导，告知用户完成该场景任务执行的手势，并且通过下方的任务进度条状态将任务结果反馈用户；

3)模拟报告区：将该次的任务完成情况作一个整体评估，用以评价用户训练模型的准确性，当模型的效果较好时，用户通过在线识别按钮进入到一个异步在线识别状态，通过系统开放的通信接口完成对其他外设的控制。

11.根据权利要求7所述的一种脑电与肌电结合的康复训练方法，脑电与肌电结合阶段的综合训练方法可选用脑电康复阶段和肌电康复训练阶段组合的方式，形成脑电—肌电或肌电—脑电综合康复训练。

Images