CN113398422B - 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法 - Google Patents

Abstract

本发明提供了一种基于运动想象‑脑机接口和虚拟现实的康复训练系统及方法，利用脑电信号采集设备实时采集受试者康复过程中的脑电信号，并对所述脑电信号进行预处理；对经过预处理的脑电信号进行特征提取，基于提取的特征建立运动想象意图识别模型；开发以第一人称视角和第三人称视角的训练运动场景，经VR头盔渲染训练运动场景；受试者在VR环境下选择两种不同的视角进行训练，受试者根据提示进行运动想象，当识别到受试者想象时，场景中对应的肢体完成相应的动作；通过对受试者的脑电信号进行脑网络分析得到的受试者运动想象有关脑区激活程度的量化指标，对康复训练进行评分，并生成康复报表。本发明能够达到良好的康复训练效果。

Description

基于运动想象-脑机接口和虚拟现实的康复训练系统及方法

技术领域

本发明涉及康复训练技术领域，具体涉及一种基于运动想象-脑机接口和虚拟现实的康复训练系统及方法。

背景技术

脑卒中，是一种因脑部供血受阻而引起的神经肌肉通路损伤类疾病，脑组织损伤导致控制运动、语言等功能的脑神经通路断裂形成偏瘫，甚至残疾。脑卒中受试者因运动功能出现障碍致使生活难以自理，严重影响受试者的身心健康。如何恢复脑卒中受试者的运动功能，已成为康复领域一个重要的课题。

脑卒中康复一般分为三个阶段：软瘫期、痉挛期和恢复期，每个阶段的受试者因身体状况不同需要特定的康复治疗手段来帮助其进行康复治疗。研究表明：通过及时、主动的康复训练在一定程度上可以恢复肢体的运动能力，甚至痊愈。然而，针对软瘫期受试者几乎完全丧失对患侧肢体的控制能力，难以通过主动肢体运动来恢复其运动能力，其康复完全依靠医师的被动性辅助治疗，康复过程不仅枯燥乏味，而且缺乏支配肢体的大脑运动神经系统主动参与，导致康复效果不佳。当前，脑卒中软瘫期受试者康复治疗急切需要更多科学、有效的康复手段。

运动想象(Motor Imagery,MI)具有激活大脑自身细胞的可塑性潜力，可加速修复外部肢体与大脑间的神经功能连接，即人体在真实肢体运动与肢体运动想象但无明显动作输出状态下，大脑的感觉运动皮层区均处于活跃状态。基于运动想象的脑-机接口可以直接将大脑神经活动信号转化为计算机或外部设备的控制信号，不仅可帮助肢体运动障碍人群实现对外部设备的有效控制，同时也为运动障碍受试者康复治疗提供了新的策略。虚拟现实技术(Visual Reality,VR)可以为受试者提供身临其境的多感官刺激，还能将生活中熟悉的动作作为场景中的任务进行设计，有效调动受试者康复训练的积极性与趣味性。将虚拟现实技术与运动想象-脑机接口技术相结合应用到康复治疗领域在科学研究、实际应用等方面有十分重要的研究价值。

然而，现有的虚拟康复系统中是以第一人称视角构建训练动作场景，这样的训练动作场景动作特异性低、交互性弱，不能充分调动用户康复训练的主动性，不能适用于各类用户的康复训练，难以达到最佳的康复训练效果。

发明内容

为了充分调动受试者参与康复训练主动性与积极性，加快康复进程，同时也为了克服现有的虚拟康复系统的趣味性差、交互性弱、且缺少评估的缺点。本发明基于运动想象-脑机接口技术和虚拟现实技术，提出了一种针对脑卒中软瘫期受试者的，在不同视角下的，包含康复训练、数据管理、康复评估等功能完整的虚拟康复训练系统及方法。

本发明提供了以下技术方案：

一方面，本发明提供了一种基于运动想象-脑机接口和虚拟现实的康复训练系统，该系统包括：

数据采集与处理模块，用于利用脑电信号采集设备实时采集受试者康复过程中的脑电信号，并对所述脑电信号进行预处理；对经过预处理的脑电信号进行特征提取，基于提取的特征建立运动想象意图识别模型，作为康复训练系统的识别模型；

虚拟现实人机交互模块，用于开发以第一人称视角和第三人称视角的训练运动场景，经VR头盔渲染所述训练运动场景；受试者在VR环境下选择两种不同的视角进行训练，受试者根据提示进行运动想象，当识别模型识别到受试者想象时，场景中对应的肢体完成相应的动作；以及，

康复效果评价模块，用于结合本次康复训练时间、任务难度系数、受试者任务完成度，以及通过对受试者的脑电信号进行脑网络分析得到的受试者运动想象有关脑区激活程度的量化指标，对康复训练进行评分，并生成康复报表。

进一步地，康复效果评价模块，还用于：

基于采集到的脑电信号，通过脑网络分析评估运动脑区神经激活程度，根据当前神经活跃度大小对两种视角下的训练场景进行自适应切换调整。

进一步地，所述训练运动场景包括生活场景，所述生活场景中包括基本生活技能训练。

进一步地，所述训练运动场景包括游戏场景。

进一步地，所述训练运动场景中包括：语音、文字、图片、视频中的一项或多项目标导向型运动想象诱发提示。

进一步地，运动想象意图识别模型为PSO-SVM分类模型。

进一步地，通过对受试者的脑电信号进行脑网络分析得到受试者运动想象有关脑区激活程度的量化指标，包括：

通过长度为4s、步长为3s的滑动窗截取实时脑电数据，对每个滑动窗内的数据进行预处理、特征提取，进行脑网络拓扑图的绘制，基于图论进行拓扑参数分析；

所述脑网络拓扑图的绘制包括：构建不同脑区之间的结构或功能连接矩阵；去掉连接矩阵中的虚假连接，转换成图。

又一方面，本发明还提供了一种利用上述基于运动想象-脑机接口和虚拟现实的康复训练系统进行康复训练的方法，受试者佩戴脑电帽、打脑电膏、电极降阻抗，连接脑电放大器和电脑、VR头盔，并将VR头盔与电脑连接；包括以下步骤：

S1，登陆基于运动想象-脑机接口和虚拟现实技术的康复训练系统；

S2，选择PSO-SVM分类模型建立，受试者静坐在靠椅上，根据在VR场景中出现的移动箭头及文字提示连续完成预设次运动想象，完毕后选择创建PSO-SVM分类模型；

S3，对当前已完成的预设次运动想象中11个通道的脑电数据分别进行预处理、意图特征提取，将所有的特征矩阵及生成的运动想象标签一起输入到SVM分类模型中进行模型训练，通过PSO算法对SVM分类模型中的惩罚参数C和核参数g进行自适应最优调整；

S4，受试者选择进行第一人称或者第三人称训练任务，进入运动想象在线控制训练；

S5，受试者集中注意力观察场景中的提示进行肢体运动想象，脑电信号分析模块每隔预设时间进行一次脑电数据处理并解析受试者意图输出到训练动作场景中控制物体动作，受试者根据其反馈结果进行运动想象自我调整；

S6，通过对运动区的脑电数据进行脑网络分析，绘制脑网络拓扑图，并且基于得到的脑网络拓扑图进行拓扑特性分析；

S7，受试者根据进行脑网络分析之后提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态；

S8，当系统检测到受试者运动区神经活跃度值长时间小于指定阈值，表示受试者对当前训练场景产生疲劳，则控制训练运动场景进行自适应切换，受试者继续进行在线肢体运动想象训练；

S9，训练达到设定的目标训练时间结束当前训练，系统自动生成本次康复训练时长、参与运动想象总次数、康复评估分析信息且以报表或者曲线形式展示给用户，同时建立用户康复训练的电子档案，辅助医师制定科学康复训练方案。

与已有技术相比，本发明的有益效果在于：

(1)本发明设计了在VR环境下不同视角(第一人称视角(第一人称视角即受试者自己主观的视角)和第三人称视角(第三人称视角即旁观者的视角))的任务场景，如生活场景、游戏场景等，增加了康复训练的特异性和交互性；同时为了诱导受试者进行肢体运动想象，在场景中设计了包含语音、文字、图片、视频等目标导向型运动想象诱发提示，从不同角度深度诱导受试者进行肢体运动想象。训练中实时采集运动区多通道EEG信号，经过信号预处理、特征提取、PSO-SVM意图识别后将结果输出到VR环境下的虚拟场景中进行交互控制，形成一个闭环反馈训练系统。此外，基于采集到的EEG信号，进行脑网络分析来评估运动脑区神经激活程度，根据当前神经活跃度大小对训练场景进行自适应切换调整，保证受试者持续处于运动神经最大程度激活，加速运动神经功能的重塑。能够在康复过程中充分发挥受试者的主观能动性，刺激受试者进行康复训练的兴趣和动力，达到良好的康复训练效果。

(2)本发明针对脑卒中受试者尤其是软瘫期受试者的康复训练需求，设计贴近生活的任务式虚拟场景，结合视、听觉和本体感觉多反馈刺激，有效提高了受试者训练的趣味性与主动性，加速受试者脑功能运动神经的重塑，达到使受试者恢复运动功能的目的。此外，贴近日常生活的任务式场景能有效改善受试者认知能力方面缺陷，促进受试者及时返回日常现实生活。

(3)本发明构建基于VR环境下的沉浸式、贴近受试者生活的虚拟场景，受试者在佩戴VR头盔后即可进入与真实场景极其相似的虚拟训练环境中，通过进行运动想象与虚拟游戏环境进行交互，诱导受试者完成反复多次的康复训练。在VR环境下具有沉浸性强，真实性高等特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于运动想象-脑机接口和虚拟现实的康复训练系统的原理图；

图2为本发明实施例中脑电信号采集电极分布图；

图3为本发明实施例中训练阶段实验范式示意图；

图4(a)和图4(b)为本发明实施例中虚拟场景图；

图5为本发明利用基于运动想象-脑机接口和虚拟现实的康复训练系统进行康复训练的方法实施流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

参见图1，本发明实施例中提出一种基于运动想象和虚拟现实技术的康复训练系统，该系统的硬件组成部分主要包括：脑电采集设备、VR头盔、计算机主机、及必要的康复训练场所、供电设备等。该系统在功能实现方面涉及数据采集与处理部分、虚拟现实人机交互部分、康复效果评价部分。

其中，数据采集与处理部分，利用脑电信号采集设备实时采集受试者康复过程中的脑电信号；因为在运动想象脑电信号的实时采集过程中，即便是保证受试者在相对安静环境、严谨规范实验操作的前提下也难免会受到周围环境如头部晃动、眨眼、设备电磁干扰等影响带来一些噪声信号。主要的噪声类型有设备自身带来的基线漂移、50赫兹工频干扰、眨眼形成的眼电信号伪迹等，这些噪声信号的存在会掩盖蕴含受试者运动意图信息的目标信号，进一步影响运动想象意图的准确解码。对原始脑电信号进行合理的预处理以消除这些噪声信息是必不可少的一个步骤。在将得到的脑电信号进行预处理之后，对脑电信号进行特征提取，其主要思路是将输入信号进行一系列数学变换或从一个空间映射到另一个空间，以获取更易于观察和监测的特征值。在进行特征提取之后，建立运动想象意图识别模型作为康复训练系统的默认识别模型。

虚拟现实人机交互部分，利用Unity 3D平台开发适合受试者康复的生活场景，同时在场景中设计一些基本生活技能训练作为康复任务(如拾水果、倒水、拿盘子、夹菜等)。经VR头盔渲染以增强受试者训练的沉浸感与真实感。受试者在VR环境下可以选择两种不同的视角进行训练，分别为第一人称视角和第三人称视角。训练任务的基本控制方式是受试者根据提示进行运动想象，当识别到受试者想象左(右)时，场景中对应的肢体完成相应的动作。

康复效果评价部分，受试者每完成一次康复训练任务，系统便结合本次康复训练时间、任务难度系数、受试者任务完成度等指标，以及通过对受试者的脑电信号进行脑网络分析得到的受试者运动想象有关脑区激活程度等量化指标。对训练进行评分从而对受试者康复状况进行评估，并生成康复报表。然后根据受试者的康复训练效果，系统通过调节参数来调整训练任务；例如：变换训练场景、调节训练时间、调节训练次数等。

具体地，本发明实施例中的基于运动想象和虚拟现实技术的康复训练系统分为PSO-SVM分类模型建立及运动想象在线训练两个阶段：

一、PSO-SVM分类模型建立阶段

1.1选取一个安静舒适的实验环境，受试者位于电脑屏幕前约一米处，打开脑电放大器与脑电采集软件进行连接，为受试者佩戴脑电帽并在相应电极通道涂抹导电膏。

1.2为受试者佩戴VR头盔，并将VR头盔与电脑连接。

1.3登录运动想象康复训练系统，开始对受试者进行训练。

1.4运动想象信号采集：

如图2所示，EEG(Electroencephalogram，脑电图)数据采集设备采用Neuracle-64导无线脑电采集设备，电极位置采用国际标准10–20电极导联定位，参考电极设在头顶中央区。放大器采样频率为1000Hz，采集通道为运动区相关的11个导联的EEG信号，包括：FC3、C1、C3、C5、CP3、Cz、FC4、C2、C4、C6、CP4。

1.5运动想象训练实验范式：

如图3所示，训练在一个安静舒适环境下进行，受试者静坐于靠椅上，使全身肌肉处于放松状态。要求受试者根据屏幕移动箭头方向提示进行左/右肢体想象(或左/右想象)。首先，屏幕中央出现“十”符号提醒受试者集中精神即将开始想象训练，此过程持续2秒时间，第2秒时，屏幕中央出现蓝色箭头朝着两端的实心圆向右或向左移动，受试者跟随箭头移动方向进行左/右运动想象，第6秒时箭头消失，屏幕变为出现空心圆提示受试者想象过程结束，之后有2秒时间供受试者休息，重复进行第二次运动想象训练，直到完成30次想象Trial。

1.6脑电信号数据预处理：

分别截取30次试验共11个通道中第2s到6s之间(共4s)的数据进行分析处理。首先对截取的EEG信号进行降采样到128Hz，0.5～2Hz高通滤波进行去基线、自适应陷波去除50Hz工频。接着对信号进行6层小波包分解提取脑电特征频段，选择小波包分解的第4层中的0～4Hz频带与EEG信号中的δ波对应；第4层中的4～8H频带与EEG信号中的θ波对应；第4层中的8～12Hz频带与第6层中的12～13Hz频带组合起来与α波对应；第5层中的14～16Hz频带和28～30Hz频带组合起来与β波对应。

1.7运动意图特征提取：

针对30次试验11个通道中的α(8～13Hz)波与β(14～30Hz)波EEG数据分别进行CSP共空间模式进行多导联空间滤波，脑电信号在滤波处理之后产生新的能够最优区分左右运动想象时间序列。

1.8PSO-SVM分类模型建立：

SVM(支持向量机)能够实现在特征空间构建最优分割超平面，进而使不同类别的样本线性分开。将CSP特征矩阵输入到SVM进行分类模型训练，同时利用PSO(粒子群优化算法)算法的全局搜索能力，对SVM建模过程中的惩罚参数C和核参数g进行自适应优化调整，以获得分类效果更佳、识别更为精确的SVM分类器。

二、运动想象在线训练阶段：

此阶段主要利用已经训练成功的PSO-SVM分类模型对当前运动想象进行实时意图提取，并且输出到虚拟游戏场景中进行交互式控制，同时根据受试者的脑电信号绘制脑网络拓扑图并进行参数分析；分析的结果为受试者提供运动想象神经反馈。数据处理过程同上述PSO-SVM分类模型建立阶段所述数据分析，增加部分内容接下来进行补充说明。

2.1运动想象诱发及训练场景

通过Unity3D平台搭建了四种3D场景，用于在VR环境下康复，包括第一人称视角下的训练场景，如图4(a)所示，第三人称视角下的训练场景，如图4(b)所示。

进一步地，在不同视角的场景下，都加入了诱导运动想象的内容，如文字提示，语音提示，图片提示，视频提示等，来诱导受试者进行运动想象。

第一人称视角下的诱导场景如图4(a)，在第一人称视角下，受试者戴上VR头盔后，在场景中是以主观的视角进入，并且在视角中会出现第一人称视角下的虚拟手。受试者根据左(右)等文字提示、播放对应文字语音提示，来诱导受试者进行相应的肢体运动想象。当识别到受试者想象到左(右)的时候，第一人称视角下的左(右)手会对应的进行抓握动作，提示此次想象成功。

第三人称视角也被称为“全知”视角，是指从第三个人的角度来观察，受试者以旁观者的视角观察场景中的角色与一些动作。当处于第三人称视角下的时候，人物和摄影是分开的，受试者可以操控人物方位，也可以操控视野方向。第三人称视角能够带来更多的信息量，第三人称视角的视野比较开阔，假设第一人称视角只能提供180度的视野，第三人称视角则是在提供180度视野的基础上，也提供了后面的一部分视野。受试者在第三人称视角下，可以在一段范围内运动而镜头不会发生变化，这是第一人称视角所无法做到的。第三人称视角下的训练场景如图4(b)，在第三人称视角下，受试者戴上VR头盔后，在场景中是以旁观的视角进入，即在场景中会出现第三人称视角下的虚拟手。受试者根据提示进行运动想象训练，当识别到受试者想象到左(右)的时候，场景中的虚拟手会进行相应的动作，如手拿起筷子并且将筷子移动到左(右)边的盘子夹菜。

2.2对受试者进行脑网络分析并将结果作为康复效果评估指标

通过长度为4s步长为3s滑动窗1截取实时EEG数据，对每个滑动窗内的数据进行预处理、特征提取，进行脑网络拓扑图的绘制，之后基于图论进行拓扑参数分析。

进一步，脑网络分析，其主要流程如下：

(1)构建不同脑区之间的结构/功能连接矩阵。

(2)去掉连接矩阵中的虚假连接，进而转换成图。

(3)对得到的图，运用图论分析方法，计算其相关参数，研究其拓扑结构。

脑网络分析为研究各类人群大脑间连接性提供了必要的工具和分析方法，利用此方法已有大量研究学者对正常人大脑的结构和功能网络及神经、精神疾病引起的网络异常进行了研究。在脑网络中，不同的连接方式代表不同的信息传递路径，利用基于图论的脑网络方法进行脑连接性分析，探究其各脑区间信息传递机制的异常具有重要意义。

本发明实施例中，对受试者进行脑网络分析，以得到康复效果评估指标的具体实施过程如下：

EEG信号的预处理。其中有去除采集数据中的坏道，去除外界干扰和内在因素噪声，去除眼电、心电或者肌电伪迹，滤波提取特定频段的数据。

量化脑电信号各导联间相互的关系，即度量网络邻接矩阵。通常情况下，对于功能性网络有相干，相关，相位同步，相位滞后四种量化算法。对于因果性网络有另外四种度量方法，即格兰杰因果，定向传递函数，自适应定向传递函数，部分定向相干。这些方法有各自的特点和适用场合。通过功能网络度量方法获得邻接矩阵是对称阵，无向加权网络仅仅能体现节点间的连接强度，其值在[0 1]之间。采用因果网络度量方法得到的邻接矩阵往往不是对称阵，有向加权网络不仅可以体现节点间的连接强度，还能体现节点间的信息流向。

确定阈值并构建头皮网路。得到节点间的邻接矩阵后，对于加权网络通常设定一个合适的阈值以在保证网络完整连通性的情况下，以最少的连接边来反映各个节点间的连接关系。各个节点间是否存在连接边取决于对应导联间的连接强弱，当连接强度大于阈值时，对应的节点间会存在一条连接边，反之则没有连接边。还能通过连接边粗细来反映节点间的连接强弱，连接边越粗，表示节点间的信息交互越强，反之越弱。在无向加权网络中通过设置阈值将邻接矩阵二值化为0-1矩阵得到二值的无权网络。

采用复杂网络分析方法对所建立的脑网络进行分析，即通过度，度分布，特征路径长度、聚类系数、全局效率，局部效率等指标来量化网络属性，并揭示这些特征参量的生理意义。

2.3对比VR环境下不同人称视角(第一人称和第三人称)下的训练效果：

在虚拟场景中设计两种训练方式：一种是采用第一人称视角的方式进行训练任务，另一种是第三人称视角的方式来进行训练任务。

在第一人称和第三人称这两种不同的视角下，受试者进行训练的同时，采集受试者的脑电信号，并且进行脑网络分析。在对受试者进行两种不同方式训练之后的脑网络拓扑特性进行分析后，比较得出在哪种视角下进行训练的康复效果理想。

上述实施例中的康复训练系统，通过设计第一人称和第三人称视角下的多诱发运动想象刺激场景(声音文字、图片视频、3D生活场景、虚拟游戏场景等)，深层次诱导用户进行肢体运动想象。同时脑电采集设备实时采集脑部运动区EEG信号，经过信号预处理、意图特征提取、意图识别等一系列信号处理后，将分类结果输出到虚拟场景中进行交互控制，形成一个闭环训练系统。此外，系统通过得到的脑电信号绘制用户的脑网络拓扑图，并且对用户进行基于图论的脑网络参数分析。这种脑网络分析的方法，一方面对用户的脑网络进行分析，可以直观的观察用户在康复训练前后的脑网络变化，从而可以对用户的训练效果进行分析。另一方面根据当前大脑运动区神经活跃程度，来对训练刺激场景进行自适应切换调整，保证用户持续处于运动神经最大程度激活，加速运动神经功能的重塑。

如图5所示，本发明实施例中使用上述基于运动想象的脑卒中受试者虚拟康复训练系统进行康复训练的主要流程包括：

S1，受试者佩戴脑电帽、打脑电膏、电极降阻抗，连接脑电放大器和电脑；受试者佩戴VR头盔，并将VR头盔与电脑连接；登陆康复训练软件系统；若为新用户需要注册属于自己的康复训练账户，同时完善用户个人病历，包括姓名、性别、年龄、病情描述等；

S2，选择PSO-SVM分类模型建立，受试者静坐在靠椅上，根据在VR场景中出现的移动箭头及文字提示连续完成30次左/右手肢体想象(左/右运动想象)，完毕后选择创建PSO-SVM分类模型；

S3，系统对当前已完成的30次Trail中11个通道的EEG数据分别进行预处理、意图特征提取，接着将所有的特征矩阵及生成的运动想象标签一起输入到支持向量机分类模型中进行模型训练，通过粒子群优化算法对模型中的惩罚参数C和核参数g进行自适应最优调整；

S4，接着，受试者选择肢体运动想象在线训练进入运动神经康复训练系统，选择进行第一人称或者第三人称训练任务，进入运动想象在线控制训练；

S5，受试者集中注意力观察场景中的提示进行肢体运动想象，脑电信号分析模块每隔3s进行一次EEG数据(长度4s步长3s的滑动窗1截取)处理并解析受试者意图(左/右)输出到训练场景中控制物体(如水杯移动、筷子夹菜)动作，受试者根据其反馈结果进行运动想象自我调整；

S6，在线训练系统通过对运动区的EEG数据进行脑网络分析，绘制脑网络拓扑图，并且基于得到的脑网络拓扑图进行拓扑特性分析；

S7，受试者根据进行脑网络分析之后提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态；

S8，当系统检测到受试者运动区神经活跃度值长时间小于指定阈值，表示受试者对当前训练场景产生疲劳，则控制刺激场景进行自适应切换，受试者继续进行在线肢体运动想象训练；

S9，训练达到设定的目标训练时间结束当前训练，系统自动生成本次康复训练时长、参与运动想象总次数、康复评估分析信息且以报表或者曲线形式展示给用户，同时建立用户康复训练的电子档案，辅助医师制定科学康复训练方案。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，所述系统包括：

数据采集与处理模块，用于利用脑电信号采集设备实时采集受试者康复过程中的脑电信号，并对所述脑电信号进行预处理；对经过预处理的脑电信号进行特征提取，基于提取的特征建立运动想象意图识别模型，作为康复训练系统的识别模型；

虚拟现实人机交互模块，用于开发以第一人称视角和第三人称视角的训练运动场景，经VR头盔渲染所述训练运动场景；受试者在VR环境下选择两种不同的视角进行训练，受试者根据提示进行运动想象，当识别模型识别到受试者想象时，场景中对应的肢体完成相应的动作；在第一人称视角下，受试者戴上VR头盔后，在场景中是以主观的视角进入，并且在视角中会出现第一人称视角下的虚拟手；受试者根据文字提示、播放对应文字语音提示，来诱导受试者进行相应的肢体运动想象；当识别到受试者想象到左或右的时候，第一人称视角下的左或右手会对应的进行抓握动作，提示此次想象成功；

在第三人称视角下，受试者戴上VR头盔后，在场景中是以旁观的视角进入，即在场景中会出现第三人称视角下的虚拟手；受试者根据提示进行运动想象训练，当识别到受试者想象到左或右的时候，场景中的虚拟手会进行相应的动作，第三人称视角下的虚拟手能够在一段范围内运动而镜头不会发生变化；以及，

康复效果评价模块，用于结合本次康复训练时间、任务难度系数、受试者任务完成度，以及通过对受试者的脑电信号进行脑网络分析得到的受试者运动想象有关脑区激活程度的量化指标，对康复训练进行评分，并生成康复报表。

2.根据权利要求1所述的一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，康复效果评价模块，还用于：

基于采集到的脑电信号，通过脑网络分析评估运动脑区神经激活程度，根据当前神经活跃度大小对两种视角下的训练场景进行自适应切换调整。

3.根据权利要求1所述的一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，所述训练运动场景包括生活场景，所述生活场景中包括基本生活技能训练。

4.根据权利要求1所述的一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，所述训练运动场景包括游戏场景。

5.根据权利要求1所述的一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，所述训练运动场景中包括：语音、文字、图片、视频中的一项或多项目标导向型运动想象诱发提示。

6.根据权利要求1所述的一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，运动想象意图识别模型为PSO-SVM分类模型。

7.根据权利要求1所述的一种基于运动想象-脑机接口和虚拟现实的康复训练系统，其特征在于，通过对受试者的脑电信号进行脑网络分析得到受试者运动想象有关脑区激活程度的量化指标，包括：

通过长度为4s、步长为3s的滑动窗截取实时脑电数据，对每个滑动窗内的数据进行预处理、特征提取，进行脑网络拓扑图的绘制，基于图论进行拓扑参数分析；

所述脑网络拓扑图的绘制包括：构建不同脑区之间的结构或功能连接矩阵；去掉连接矩阵中的虚假连接，转换成图。

Images