CN106621287B - 一种基于脑机接口与虚拟现实技术的上肢康复训练方法 - Google Patents

Abstract

一种基于脑机接口与虚拟现实技术的上肢康复训练方法，患者佩戴电极帽及VR眼镜，连接计算机、脑电放大器与智能手机；计算机判断患者是否是第一次训练，如果是，则首先采集脑电EEG信号，进行个体化分类器校准，然后开始一次训练；否则直接开始一次训练；训练过程中，VR眼镜与智能手机为患者构建第一人称视角的上肢训练动作场景，患者通过持续运动想象练习，实时控制虚拟场景中的上肢动作，计算机中的BCI模块依据患者当前训练效果，自动调整分类器；训练结束后，BCI模块的分类器进行自适应调整用于下次训练，本发明保证训练难度与患者功能恢复情况相适应，不需要在每次康复训练前进行数据采集用于校准，节省时间。

Description

一种基于脑机接口与虚拟现实技术的上肢康复训练方法

技术领域

本发明涉及脑损伤患者肢体康复技术领域，具体涉及一种基于脑机接口(brain-computer interface，BCI)与虚拟现实(virtual reality，VR)技术的上肢康复训练方法。

背景技术

研究表明脑损伤患者及早进行主动康复训练有益于其肢体运动功能的恢复，然而软瘫期患者无法通过主动肢体运动促进大脑相关区域活动。基于大脑镜像神经元原理的运动想象与运动观察训练为脑损伤患者提供了一种不依赖于外周肌肉收缩的主动康复训练方式。目前临床所使用的运动想象训练需要通过语音引导患者进行运动想象，缺乏对患者运动想象状态的有效监测及反馈手段，使得医生无法获知患者大脑活动状态并及时进行调整，训练效率低，训练效果差。基于运动想象的BCI技术可实现对运动想象状态的监测，但目前所采取的反馈机制均为“有或无”方式，即检测到一次有效的运动想象活动即触发一次完整的训练，例如启动康复机器人辅助患者完成肢体的运动训练。其不足之处在于，在康复训练启动后，患者不需要持续进行运动想象练习，因此后续的训练降低了对患者主动参与度的要求，实际变为患者被动的接受训练。目前虚拟现实技术多与康复机器人技术相结合，康复机器人在辅助患者完成某一肢体动作时，通过虚拟现实技术为患者提供一个逼真的现实场景，结合目标导向型训练使患者感觉如同在进行实际的日常肢体活动，如物体的抓握等。虚拟现实环境增加了沉浸感与趣味性，研究也表明其能够提高大脑活动水平。但是，对于无法进行自主肌肉收缩控制的软瘫期或痉挛期患者，机器人辅助下的肢体运动与虚拟现实场景结合依然属于被动的康复训练，患者的主动参与意愿难以被调动。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于脑机接口与虚拟现实技术的上肢康复训练方法，保证训练难度与患者功能恢复情况相适应，不需要在每次康复训练前进行数据采集用于校准，节省时间。

为了达到上述目的，本发明采取的技术方案为：

一种基于脑机接口与虚拟现实技术的上肢康复训练方法，包括以下步骤：

1)患者佩戴电极帽及VR眼镜，连接计算机、脑电放大器与智能手机；

2)判断患者是否是第一次训练，如果是，则首先采集脑电(electroencephalography，EEG)信号，进行个体化分类器校准，然后开始一次训练；否则直接开始一次训练；

3)训练过程中，VR眼镜与智能手机为患者构建第一人称视角的上肢训练动作场景，患者通过持续运动想象练习，实时控制虚拟场景中的上肢动作，计算机中的BCI模块依据患者当前训练效果，自动调整分类器；

4)训练结束后，BCI模块的分类器进行自适应调整，用于下次训练。

所述步骤2)中个体化分类器校准过程，包括以下步骤：

2.1)患者依据屏幕提示信息进行肢体运动想象练习，每次练习维持4秒，相邻两次练习间存在4秒间隔用于放松休息，即安静状态，采集整个过程患者的EEG信息；

2.2)分别将运动想象状态及安静状态下的EEG信号分割成250毫秒长的数据段，利用共空间模式(common spatial pattern，CSP)法进行两类样本的特征值提取，利用自回归(autoregression model，AR)模型估计EEG信号的功率谱密度；

2.3)将支持向量机(supportvectormachine，SVM)作为分类器，使用提取的两类样本特征值对分类器参数进行最优化设计；利用多倍交叉验证法对分类效果进行评估；

2.4)将最优化分类器参数及分类效果保存至患者数据库，以便在开始训练前调用。

所述步骤3)中，患者通过持续运动想象练习，实时控制虚拟场景中的上肢动作以及BCI模块在一次训练中的自动调整过程，包括以下步骤：

3.1)长度为250毫秒的移动时间窗截取实时采集到的EEG数据；

3.2)对时间窗内的EEG数据利用CSP法进行特征提取；

3.3)调取最优化分类器参数，对提取到的特征进行处理，依据初始决策阈值对分类器输出结果进行决策；

3.4)如果分类结果为患者当前没有进行运动想象，则判断是否是第n次检测结果为无运动想象，如果不是，则降低虚拟场景中肢体运动速度后返回步骤3.1)，读取下一个移动时间窗内EEG数据；

3.5)如果是n次检验结果为无运动想象，则停止虚拟场景中上肢运动；然后判断是否是连续n+m次检测无运动想象，是，则降低分类器决策阈值后返回步骤3.1)，读取下一个移动时间窗内EEG数据，如果不是，则直接返回步骤3.1)；

3.6)如果步骤3.3)判断结果表明患者在进行运动想象，则利用AR模型法估计功率谱后计算事件相关去同步(Event Related Desynchronization，ERD)强度M，并依据ERD强度M计算虚拟场景中上肢运动速度为v＝V(1-e^-k·M)，其中k为常数，用于调整运动速度随ERD强度变化的快慢，M∈(0,1)，V为最大肢体运动速度；

3.7)判断是否连续k次检测到运动想象状态，如果不是，则判断训练时间是否结束，如果是，则结束本次训练；如果不是，则返回步骤3.1)，读取下一个移动时间窗内EEG数据；

3.8)如果检测到连续k次运动想象状态，则恢复分类器决策阈值至本次训练开始时的水平；然后判断训练时间是否结束，如果是，则结束本次训练，如果不是，则返回步骤3.1)，读取下一个移动时间窗内EEG数据。

所述的步骤4)中BCI模块的分类器进行自适应调整，以用于下次训练，包括以下步骤：

4.1)一次训练结束后，从患者数据库中调取历次训练时的EEG信号；

4.2)分别将安静及运动想象状态下的EEG信号分割为250毫秒的数据段，并利用AR模型法估计各数据段功率谱，计算对侧运动皮层区域α及β频带平均能量；

4.3)从安静状态下脑电数据中找出N个频带能量最高的样本作为安静状态的新样本，从运动想象状态脑电数据中找出N个频带能量最低的样本作为运动想象状态新样本；

4.4)利用CSP法分别提取安静状态及运动想象状态样本的特征值；

4.5)支持向量机(support vector machine，SVM)作为分类器，使用提取的两类样本特征值对分类器参数进行最优化设计；利用多倍交叉验证法对分类效果进行评估；将最优化分类器参数及分类效果保存至患者数据库，以便在下次训练前调用。

本发明的有益效果为：

1、运动想象状态检测与模式识别技术：考虑到检测设备的便携性、时间分辨率的要求，本发明通过头皮EEG检测大脑神经元的活动变化，且EEG采集电极主要分布于左右两侧运动皮层区域。对于采集到的连续EEG信号，在每个移动时间窗内利用共空间模式(common spatial pattern，CSP)、自回归(autoregression，AR)模型等对多导EEG信号进行处理，提取特征向量。分类器采用有监督学习模型支持向量机(support vector machine，SVM)，依据每个移动窗内提取的特征进行分类从而对大脑活动进行判断。考虑到康复训练的实际需求，分类主要在想象左(右)侧肢体运动与安静状态间进行。

2、运动想象活动持续控制虚拟场景中肢体运动：本发明使用滑动时间窗对实时采集到的EEG信号进行分割，并在每个时间窗内对大脑运动想象状态进行检测与分类，并依据分类结果及大脑运动皮层区域表现出的ERD强度对虚拟现实场景中的肢体运动进行控制。判断所得的是否在进行运动想象用于控制的肢体的运动与否，ERD强度则用于控制运动速度，强度越大，移动速度越快，运动速度与ERD强度间为非线性关系，运动速度存在最大值。这样的方法使得患者必须在整个过程持续进行有效的运动想象训练才能完成虚拟场景中所规定的上肢运动任务。

3、BCI模块的自适应调整：BCI模块的自适应调整包括两个方面。一方面，患者在一次康复训练过程中，可能由于某些原因导致BCI模块对患者持续判断为非运动想象状态，这种情况的出现会导致患者丧失自信心与继续训练的积极性。因此，在一次训练过程中，若一定时间(如5秒)BCI均判断患者大脑活动状态为安静状态，则降低分类器决策阈值，提高BCI模块判断为运动想象状态的概率，使得患者可以通过运动想象触发虚拟场景中肢体运动。

另一方面，随着患者肢体运动功能的恢复及基于BCI的康复训练，患者所能激发的ERD强度增大，因此需要依据新的样本不断调整BCI模块SVM分类器，以保证BCI模块对患者具有适当的训练难度。对于不断积累的EEG样本数据，在每次康复训练后，利用AR模型计算估计EEG信号α及β频带能量，选择安静状态下频带能量最高的部分样本作为安静状态新样本，而选择运动想象训练时α及β频带能量最低的部分样本作为运动想象状态的新样本，并利用新样本重新进行分类器优化设计，将分类器参数保存至数据库以便下次康复训练时直接调用。

虚拟现实技术能够增加训练的趣味性及沉浸感，BCI技术能够实现对大脑活动状态的检测与反馈。本发明中虚拟现实场景中的肢体运动受到患者主动意愿的支配，具体为其进行运动想象训练时激活的大脑活动水平。而且虚拟现实场景中肢体运动受到运动想象的持续控制，这使得患者要进行持续有效的运动想象训练，从而激发大脑活动始终处于较高水平。此外，BCI模块具有自适应调整功能，且其优化依赖于患者进行康复训练的历史数据，并以保证运动想象训练难度适当及患者训练积极性为目标。与一成不变的BCI设计相比，本发明所述方法能够适应患者康复状况的变化，且不需要在每次康复训练前进行数据采集用于校准，节省时间。

附图说明

图1为本发明的流程图。

图2为初次康复训练前患者个体分类器的最优化流程图。

图3为康复训练过程中大脑运动想象状态检测结果对虚拟场景中肢体运动的控制流程图。

图4为每次康复训练结束后分类器的自适应调整流程图。

具体实施方式

下面结合附图对本发明作详细描述。

参照图1，用于脑卒中患者上肢康复训练，一种基于脑机接口与虚拟现实技术的上肢康复训练方法，包括以下步骤：

1)患者佩戴电极帽及VR眼镜，连接计算机、脑电放大器与智能手机；电极帽电极分布按照国际通用10-20系统，分别位于FC5、FC3、FC1、FCz、FC2、FC4、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP3、CP1、CPz、CP2、CP4、CP6处，这些区域覆盖了与运动有关的初级感觉及运动皮层及前运动区；智能手机APP与计算机两者间通过TCP/IP协议进行数据通讯，需要将智能手机与计算机通过wifi连接在同一个局域网上；

2)判断患者是否是第一次训练，如果是，则首先采集EEG信号，进行个体化分类器校准，然后开始一次训练；否则直接开始一次训练；

参照图2，对于第一次接受康复训练的患者，需要对其进行数据采集，用于BCI模块个体化分类器的校准过程，包括以下步骤：

2.1)患者依据屏幕提示信息进行肢体运动想象练习，每次练习维持4秒，相邻两次练习间存在4秒间隔用于放松休息，即安静状态，采集整个过程患者的EEG信号；

2.2)分别将运动想象状态及安静状态下的EEG信号分割成250毫秒长的数据段，利用CSP法进行两类样本的特征值提取，利用AR模型估计脑电信号的功率谱密度；

2.3)将SVM作为分类器，使用提取的两类样本特征值对分类器参数进行最优化设计；利用多倍交叉验证法对分类效果进行评估；

2.4)将最优化分类器参数及分类效果保存至患者数据库，以便在开始训练前调用；

3)训练过程中，VR眼镜与智能手机为患者构建第一人称视角的上肢训练动作场景，患者通过持续运动想象练习实时控制虚拟场景中的上肢动作，从而完成虚拟场景中所设计的任务；计算机中的BCI模块使用3Dmax制作第一人称视角下的上肢及日常生活环境的模型，并完成各种上肢动作的制作，编写智能手机终端android版及ios版APP，能够依据接收的指令控制虚拟场景中上肢的运动速度；

参照图3，每次训练开始后，患者通过持续运动想象练习实时控制虚拟场景中的上肢动作，且在一次训练中，BCI模块分类器决策阈值能够自动调整，包括以下步骤：

3.1)长度为250毫秒的移动时间窗截取实时采集到的EEG数据；

3.2)对时间窗内的EEG数据利用CSP法进行特征提取；

3.3)调取最优化分类器参数，对提取到的特征进行处理，依据初始决策阈值对分类器输出结果进行决策；

3.4)如果分类结果为患者当前没有进行运动想象，则判断是否是第n次检测结果为无运动想象，如果不是，则降低肢体运动速度后返回步骤3.1)，读取下一个移动时间窗内EEG数据；

3.5)如果是n次检验结果为无运动想象，则停止虚拟场景中上肢运动；然后判断是否是连续n+m次检测无运动想象，是，则降低分类器决策阈值后返回步骤3.1)，读取下一个移动时间窗内EEG数据，如果不是，则直接返回步骤3.1)；

3.6)如果步骤3.3)判断结果表明患者在进行运动想象，则利用AR模型法估计功率谱后计算ERD强度M，并依据ERD强度M计算虚拟场景中上肢运动速度为v＝V(1-e^-k·M)，其中k为常数，用于调整运动速度随ERD强度变化的快慢，M∈(0,1)，V为最大肢体运动速度；

3.7)判断是否连续k次检测到运动想象状态，如果不是，则判断训练时间是否结束，如果是，则结束本次训练，如果不是，则返回步骤3.1)，读取下一个移动时间窗内EEG数据；

3.8)如果检测到连续k次运动想象状态，则恢复分类器决策阈值至训练开始时的水平；然后判断训练时间是否结束，如果是，则结束本次训练，如果不是，则返回步骤3.1)，读取下一个移动时间窗内EEG数据；

4)训练结束后，BCI模块的分类器进行自适应调整用于下次训练；

参照图4，在每次康复训练结束后，BCI模块新收集了本次训练的EEG数据，并依据历次训练的数据对BCI模块的分类器参数进行重新优化设计以用于下次训练，包括以下步骤：

4.1)一次训练结束后，从患者数据库中调取历次训练时的EEG信号；

4.2)分别将安静及运动想象状态下的EEG分割为250毫秒的数据段，并利用AR模型法估计各数据段功率谱，计算对侧运动皮层区域α及β频带平均能量；

4.3)从安静状态下EEG数据中找出N个频带能量最高的样本作为安静状态的新样本，从运动想象状态脑电数据中找出N个频带能量最低的样本作为运动想象状态新样本；

4.4)利用CSP法分别提取安静状态及运动想象状态样本的特征值；

4.5)SVM作为分类器，使用提取的两类样本特征值对分类器参数进行最优化设计；利用多倍交叉验证法对分类效果进行评估；将最优化分类器参数及分类效果保存至患者数据库，以便在下次训练前调用。

Claims (3)

1.一种基于脑机接口与虚拟现实技术的上肢康复训练方法，其特征在于，包括以下步骤：

1)患者佩戴电极帽及VR眼镜，连接计算机、脑电放大器与智能手机；

2)判断患者是否是第一次训练，如果是，则首先采集脑电(electroencephalography，EEG)信号，进行个体化分类器校准，然后开始一次训练；否则直接开始一次训练；

3)训练过程中，VR眼镜与智能手机为患者构建第一人称视角的上肢训练动作场景，患者通过持续运动想象练习实时控制虚拟场景中的上肢动作，计算机中的BCI模块依据患者当前训练效果，自动调整分类器；

4)训练结束后，BCI模块的分类器进行自适应调整，用于下次训练；

所述步骤3)中患者通过持续运动想象练习实时控制虚拟场景中的上肢动作以及BCI模块在一次训练中的自动调整过程，包括以下步骤：

3.1)长度为250毫秒的移动时间窗截取实时采集到的EEG数据；

3.2)对时间窗内的EEG数据利用CSP法进行特征提取；

3.3)调取最优化分类器参数，对提取到的特征进行处理，依据初始决策阈值对分类器输出结果进行决策；

3.4)如果分类结果为患者当前没有进行运动想象，则判断是否是第n次检测结果为无运动想象，如果不是，则降低虚拟场景中肢体运动速度后返回步骤3.1)，读取下一个移动时间窗内EEG数据；

3.5)如果是n次检验结果为无运动想象，则停止虚拟场景中上肢运动；然后判断是否是连续n+m次检测无运动想象，是，则降低分类器决策阈值后返回步骤3.1)，读取下一个移动时间窗内EEG数据，如果不是，则直接返回步骤3.1)；

3.6)如果步骤3.3)判断结果表明患者在进行运动想象，则利用AR模型法估计功率谱后计算事件相关去同步(Event Related Desynchronization，ERD)强度M，并依据ERD强度M计算虚拟场景中上肢运动速度为v＝V(1-e^-k·M)，其中k为常数，用于调整运动速度随ERD强度变化的快慢，M∈(0,1)，V为最大肢体运动速度；

3.7)判断是否连续k次检测到运动想象状态，如果不是，则判断训练时间是否结束，如果是，则结束本次训练；如果不是，则返回步骤3.1)，读取下一个移动时间窗内EEG数据；

3.8)如果检测到连续k次运动想象状态，则恢复分类器决策阈值至本次训练开始时的水平；然后判断训练时间是否结束，如果是，则结束本次训练，如果不是，则返回步骤3.1)，读取下一个移动时间窗内EEG数据。

2.根据权利要求1所述的一种基于脑机接口与虚拟现实技术的上肢康复训练方法，其特征在于，所述步骤2)中个体化分类器校准过程，包括以下步骤：

2.1)患者依据屏幕提示信息进行肢体运动想象练习，每次练习维持4秒，相邻两次练习间存在4秒间隔用于放松休息，即安静状态，采集整个过程患者的EEG信息；

2.2)分别将运动想象状态及安静状态下的EEG信号分割成250毫秒长的数据段，利用共空间模式(common spatial pattern，CSP)法进行两类样本的特征值提取，利用自回归(autoregression model，AR)模型估计EEG信号的功率谱密度；

2.3)将支持向量机(support vector machine，SVM)作为分类器，使用提取的两类样本特征值对分类器参数进行最优化设计；利用多倍交叉验证法对分类效果进行评估；

2.4)将最优化分类器参数及分类效果保存至患者数据库，以便在开始训练前调用。

3.根据权利要求1所述的一种基于脑机接口与虚拟现实技术的上肢康复训练方法，其特征在于，所述的步骤4)中BCI模块的分类器进行自适应调整以用于下次训练，包括以下步骤：

4.1)一次训练结束后，从患者数据库中调取历次训练时的EEG信号；

4.2)分别将安静及运动想象状态下的EEG信号分割为250毫秒的数据段，并利用AR模型法估计各数据段功率谱，计算对侧运动皮层区域α及β频带平均能量；

4.3)从安静状态下脑电数据中找出N个频带能量最高的样本作为安静状态的新样本，从运动想象状态脑电数据中找出N个频带能量最低的样本作为运动想象状态新样本；

4.4)利用CSP法分别提取安静状态及运动想象状态样本的特征值；

4.5)支持向量机(support vector machine，SVM)作为分类器，使用提取的两类样本特征值对分类器参数进行最优化设计；利用多倍交叉验证法对分类效果进行评估；将最优化分类器参数及分类效果保存至患者数据库，以便在下次训练前调用。