CN102985002A - 脑机接口系统及方法 - Google Patents

Abstract

用于基于交互的脑机接口（BCI）的系统和方法。该方法包括以下步骤：获取个人的EEG信号；处理该EEG信号以确定个人的运动想象；使用检测设备检测个人的运动；以及基于运动想象、运动、或二者向个人提供反馈；其中提供所述反馈包括激活检测设备的刺激元件以向个人提供刺激。该系统包括获取个人的EEG信号的装置；处理EEG信号以确定个人的运动想象的装置；使用检测设备检测个人的运动的装置；以及基于运动想象、运动、或二者向个人提供反馈的装置；其中提供反馈的装置包括检测设备的用于向个人提供刺激的刺激元件。

Description

脑机接口系统及方法

技术领域

本发明涉及无创的基于EEG的脑机接口。

背景技术

脑机接口（Brain Computer Interface，BCI）用作人脑和外部设备之间的直接交流路径。此外，BCI系统还可提供用于数学方法的发展和多通道信号处理以从大脑活动推导命令信号的重要试验台。由于其直接使用大脑活动的电子签名来响应外部刺激，故对遭受严重神经肌肉障碍并因此无法通过正常神经肌肉途径交流的瘫痪病人特别有用。脑电图（Electroencephalogram，EEG）是一种广泛使用的技术，由于其优点（诸如无创性质和低成本）而超越许多现有的脑信号测量技术。

除了康复之外，BCI应用还包括但不限于通信、控制、生物反馈和交互式计算机游戏和娱乐计算。

例如，当前，中风康复通常涉及由人类治疗师执行的物理疗法。可替换地，机器人康复可辅助人类治疗师并且使无法从人类治疗师处获得的新奇康复训练成为可能。

通常，机器人康复包括仅仅基于运动重复的康复。换言之，即使患者不注意治疗，机器人也辅助患者，并且如果例如在2秒之后没有检测到运动，则机器人辅助被触发。

此外，不同于可基于中风患者的状况和进步而给予个性化康复的人类治疗师，机器人给予标准化的康复。此外，机器人的使用无法适用于注重成本和空间的基于家庭的康复。此外，对患者反馈的主要形式是通过屏幕提供的视觉反馈，这可能存在不足。

基于机器人康复的涉及脑机接口（BCI）的临床试验当前正在发展，并且超过标准机器人康复的一些优点包括仅在运动意图被检测到时对患者进行机器人辅助，并且对运动意图的检测被校准至患者特有的运动想象脑电图（EEG）。

本发明的实施方式试图改善当前的脑机接口系统。

发明内容

根据本发明的第一个方面，提供了一种用于基于交互的脑机接口（BCI）的方法，所述方法包括以下步骤：获取个人的EEG信号；对所述EEG信号进行处理以确定所述个人的运动想象；使用检测设备检测所述个人的运动；以及基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供反馈；其中，提供所述反馈包括激活所述检测设备的刺激元件以向所述个人提供刺激。

该方法还可包括对所述EEG信号进行处理以确定所述个人是否执行特定运动想象；以及如果所述特定运动想象被执行，则激活所述刺激元件。

在所述特定运动想象被执行的情况下，该反馈还可包括对所述个人的单独的视觉反馈。

该方法还可包括确定所述个人是否执行特定运动；以及如果所述特定运动被执行，则激活所述刺激元件。

在所述特定运动被执行的情况下，该反馈还可包括对所述个人的单独的视觉反馈。

对所述个人是否执行所述特定运动的确定可在一个时间段内进行。

EEG信号的处理可包括使用被训练的分类算法。

训练分类算法可包括：将所述EEG信号分为多个段；对于每个段，将相应的EEG信号部分分为多个频带；对于每个频带，基于CSP算法和相应特征计算空间滤波投影矩阵，并且计算每个相应特征相对于一个或多个运动想象类的互信息；对于每个段，对相对于各个类的所有相应特征的互信息进行求和，以及选择针对一个类具有最大的互信息和的段的相应特征以进行训练。

该方法还可包括使用被选择的相应特征来训练所述分类算法的分类器。

训练分类器可包括使用被选择的相应特征训练非线性回归，以及使用来自所述非线性回归的输出训练非线性后处理回归。

基于所述CSP算法计算所述空间滤波投影矩阵可包括使用用于每个频带的多模态多时间段。

用于每个频带的多模态多时间段可包括空间状态的多模态表示。

根据本发明的第二个方面，提供了一种脑机接口系统，包括：用于获取个人的EEG信号的装置；用于对所述EEG信号进行处理以确定所述个人的运动想象的装置；用于使用检测设备检测所述个人的运动的装置；以及基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供反馈的装置；其中，提供所述反馈的装置包括用于向所述个人提供刺激的、所述检测设备的刺激元件。

刺激元件可包括触觉致动器。

该系统还可包括基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供视觉反馈的屏幕。

根据本发明的第三个方面，提供了一种训练用于BCI的分类算法的方法，所述方法包括以下步骤：将EEG信号分为多个段；对于每个段，将相应的EEG信号部分分为多个频带；对于每个频带，基于CSP算法和相应特征来计算空间滤波投影矩阵，并且计算每个相应特征相对于一个或多个运动想象类的互信息；对于每个段，对相对于各个类的所有相应特征的互信息进行求和，以及选择针对一个类具有最大和的互信息的段的相应特征以对分类算法的分类器进行训练。

训练分类器可包括使用被选择的相应特征进行非线性回归，以及使用来自所述非线性回归的输出进行非线性后处理回归。

基于所述CSP算法计算所述空间滤波投影矩阵可包括使用用于每个频带的多模态多时间段。

用于每个频带的多模态多时间段可包括空间状态的多模态表示。

附图说明

仅通过实施例并结合附图，从下面的文字性描述中，本发明的示例性实施方式将被更好地理解并且对于本领域技术人员来说更容易显而易见，在附图中：

图1是示出根据本发明的示例性实施方式、用于中风康复的基于脑机接口（BCI）的无创脑电图（EEG）的系统架构的示意图；

图2是示出根据本发明的示例性实施方式、将EEG分解为多个时间段和频率组（frequency bank）的示例性EEG；

图3示出了多模态方法和单模态方法在提取判别空间模式中的区别；

图4是概述根据本发明的实施方式的校准阶段中的步骤的流程图；

图5是示出根据本发明的一个实施方式的校准阶段和异步运动想象康复阶段的示意图；

图6是示出根据本发明的实施方式的用于BCI系统中的单独试验的步骤的流程图；

图7是示出根据本发明的实施方式、在运动想象检测和康复阶段期间的一连串事件的时间线；

图8是示出根据本发明的另一个实施方式的用于BCI系统中的单独试验的步骤的流程图；

图9是屏幕上用户界面的屏幕截图，示出了在参照图8所述的示例性试验中所提供的反馈；

图10是示出根据本发明的示例性实施方式的用于基于交互的脑机接口的方法的步骤的流程图；

图11是示出根据本发明的示例性实施方式的训练用于BCI的分类算法的流程图；

图12是用于实施示例性实施方式中的无创的基于EEG的脑机接口的计算机系统的示意图。

具体实施方式

以下描述的一部分明确地或者暗含地涉及算法和对计算机存储器内数据的操作的功能或者符号表示。这些算法的描述和功能或者符号表示是数据处理领域内技术人员用于更有效地向本领域内其它技术人员表达他们工作实质的方法。此处通常将算法设想为生成期望结果的一系列有条理的步骤。这些步骤是需要对诸如能够存储、传送、组合、对比以及通过其它方式操控的电、磁或者光信号的物理量进行物理操控的步骤。

除非特别说明，否则如以下可显而易见地，应该理解本说明书通篇使用的诸如“扫描”、“计算”、“确定”、“置换”、“生成”、“初始化”、“输出”等术语的讨论，涉及计算机系统或者类似电子设备的动作和处理，上述的电子设备将表示为计算机系统内物理量的数据操控和转换成同样表示为计算机系统或者其它信息存储、传输或者显示设备内物理量的其它数据。

本说明书还公开了用于执行方法操作的设备。这种设备为所需的目的而特别构成，或者可以包括通用计算机或者其它由存储在计算机中的计算机程序选择性启动或者重新配置的其它设备。本文介绍的算法和显示不是固有地与任何具体计算机或者其它设备相关。各种通用机器可以根据本文教导的程序一起使用。可替换地，用于执行所要求的方法步骤的更特殊的设备构造是可以适用的。常规的通用计算机的结构将在以下描述中介绍。

此外，由于可以由计算机代码实施本文描述方法的各步骤对本领域技术人员是显而易见的，因此本说明书还暗含地公开计算机程序。该计算机程序不试图限制于任何具体的编程语言及其执行。应该理解，可以使用多种编程语言及其代码以执行本文包含的公开的教导。此外，该计算机程序不试图限制于任何具体的控制流。在不脱离本发明精神或者范围的情况下，存在许多其它种类的、可以使用不同控制流的计算机程序。

而且，可以并行地而不是顺序地执行计算机程序的一个或者多个步骤。这种计算机程序可以存储在任何计算机可读介质上。计算机可读介质可以包括的存储设备诸如为磁盘或者光盘、存储器芯片或者适于与通用计算机接口的其它存储设备等。计算机可读介质还可以包括诸如在因特网系统中的硬接线介质，或者诸如在GSM移动电话系统中的无线介质。当在这种通用计算机上加载和执行计算机程序时，计算机程序有效地产生实施优选方法的步骤的设备。

本发明还可被实施为硬件模块。更具体地，在硬件意义下，模块是被设计为与其它部件或模块一起使用的功能性硬件单元。例如，模块可使用分立电子部件实施，或者其可以形成整个电子电路诸如特定用途集成电路（ASIC）的一部分。还存在许多其它可能。本领域技术人员应理解，该系统还可被实施为硬件和软件模块的组合。

图1是示出根据本发明的示例性实施方式的、用于中风康复的基于脑机接口（BCI）的无创脑电图（EEG）的系统架构（通常由参考标号100表示）的示意图。该系统架构包括运动想象检测模块102、EEG放大器104、治疗控制模块108、运动检测器设备110、计算机模块111和显示屏112。运动检测器设备110有利地包括用于向患者提供刺激的刺激元件，此处刺激元件具有振动电机110a的形式。

对象114穿戴EEG帽116。经由EEG帽116获取的信号经由连接121发送至EEG放大器104以进行放大。在放大后，这些信号经由连接122发送至运动想象检测模块102。在校准期间，指令从运动想象检测模块102经由连接128发送至计算机模块111。在康复期间，运动意图从运动想象检测模块102经由连接124发送至治疗控制模块108。治疗控制模块108经由连接129连接至屏112以向对象114提供视觉反馈。还可经由连接128经由计算机模块111通过运动检测器设备110向患者提供触觉反馈。运动检测器设备110与计算机模块111处于无线通信。

为了所述目的，这里仅示出一个手持式运动检测器设备，然而，本领域技术人员应理解，可使用一种以上的运动检测器并且运动检测器可联接至经受康复的任何臂和/或身体部分。如果患者无法适当地握持运动检测器，则可将运动检测器“捆”在手上，例如，使用具有尼龙搭扣贴片的手套，该尼龙搭扣贴片利用运动检测器设备上的相应贴片附接运动检测器设备。

本发明的实施方式有利地促进家庭环境中的基于BCI的中风康复并且可向患者提供视觉和触觉反馈。

示例性实施方式有利地增强与患者的交互并通过检测主动运动和提供触觉反馈来提供对康复性能的良好反馈。与此同时，BCI对运动想象动作进行检测并提供视觉反馈。此外，预定的运动想象动作可被映射为对BCI的视觉反馈和对运动检测器的触觉反馈。

包括该实施方式中可包含的刺激元件的运动检测器设备的示例是Wii遥控器，任天堂Wii游戏主机的主控制器。Wii遥控器是无线设备，该无线设备包括用于运动检测的线性加速度计、提供触觉反馈的振动电机、允许用户经由手势识别和指点与屏幕上的项目交互和操作屏幕上的项目的光学传感器和蓝牙通信系统。

再次参照图1，首先进行对运动想象检测模块102的校准。上述校准过程将在下面更加详细地描述。

■校准阶段

特征提取

从对象获取的EEG被分解为多个滤波器组（filter bank）和时间段。图2是示出根据本发明的示例性实施方式、EEG被分解为多个重叠时间段（例如202、204、206）的示例性EEG，该示例性EEG由参考标号200概略地指出。每个时间段中的数据被分解为多个（非重叠的）频率组，例如4-8Hz（208）、8-12Hz（210）、以及36-40Hz（212）。此后，可采用共用空间模式（Common Spatial Pattern，CSP）算法从各滤波器组和时间段中提取CSP特征。

来自各时间段和各滤波器组的EEG可以使用以下等式进行线性变换：

y＝W^Tx    （1）

其中x表示EEG数据的n×t矩阵；y表示不相关来源的n×t矩阵；W表示n×n时不变（time-invariant）变换矩阵；n是通道数；t是每个通道的EEG样本的数量；以及T表示转置运算符。W=[w₁,w₂，...,w_n]使得每个W_i代表具体的空间滤波器。

来自特定频带的运动想象状态由ω_p表示，并且空闲状态由ω_n表示。稍后考虑来自多个频带的多个运动想象状态。运动想象状态和空闲状态的概率分别由P(ω_p)和P(ω_n)表示，使得P(ω_p)+P(ω_n)＝1，并且类条件概率密度函数分别由p(x|ω_p)和p(x|ω_n)表示，其中x是EEG测量的随机样本。将x分为两类的贝叶斯（Bayes）误差由以下等式给出：

$\mathrm{\ϵ}\left(x\right)=\∫\min [P\left({\mathrm{\ω}}_p\right)p\left(x\right|{\mathrm{\ω}}_p),P\left({\mathrm{\ω}}_n\right)p\left(x\right|{\mathrm{\ω}}_n)]\mathrm{dx}$

$\left(2\right)$

$\≡{\∫}_{R_n}p\left(x\right|{\mathrm{\ω}}_p)P\left({\mathrm{\ω}}_p\right)\mathrm{dx}+{\∫}_{R_p}p\left(x\right|{\mathrm{\ω}}_n)P\left({\mathrm{\ω}}_n\right)\mathrm{dx}$

其中R_p是p(x|ω_p)P(ω_p)>p(x|ω_n)P(ω_n)的贝叶斯决策区域，R_n是p(x|ω_n)P(ω_n)>p(x|ω_p)P(ω_p)的贝叶斯决策区域。

用于贝叶斯误差的封闭形式的表达式不易获得，除非在非常特殊的情况下。因此通常获得贝叶斯误差的上界作为替代。等式（2）的Bhattacharyya边界由以下等式给出：

${\mathrm{\ϵ}}_B\left(x\right)=\sqrt{P\left({\mathrm{\ω}}_p\right)P\left({\mathrm{\ω}}_n\right)}\∫\sqrt{p\left(x\right|{\mathrm{\ω}}_p)p\left(x\right|{\mathrm{\ω}}_n)}\mathrm{dx}---\left(3\right)$

除了变量和概率密度由y和其概率密度函数取代之外，Bhattacharyya边界ε_B(y)与等式（3）具有相同形式。因此，线性空间滤波的目的也可被认为是对线性投影矩阵W进行优化以得到最小的Bhattacharyya边界ε_B(y)。由于Bhattacharyya边界取决于概率密度函数，故其可在如下所述的单模态或多模态方法下进行处理。

单模态方法（Uni-modal approach）

分别通过具有协方差矩阵ψ_p和ψ_n的单模态高斯函数（Gaussianfunction）对p(x|ω_p)和p(x|ω_n)进行建模协方差矩阵。进一步假设EEG被带通滤波，其中这两个类的均值被假设为0。概率密度函数随后可被建模为：

$p\left(x\right|{\mathrm{\ω}}_p)~N(0,{\mathrm{\ψ}}_p)$

$~{\left(2\mathrm{\π}\right)}^{-\frac{n_c}{2}}{\left|{\mathrm{\ψ}}_p\right|}^{-\frac{1}{2}}\exp (-\frac{1}{2}{x}^T{\mathrm{\ψ}}_p^{-1}x),---\left(4\right)$

以及 $p\left(X\right|/{\mathrm{\ω}}_n)~{\left(2\mathrm{\π}\right)}^{-\frac{n_c}{2}}{\left|{\mathrm{\ψ}}_n\right|}^{-\frac{1}{2}}\exp (-\frac{1}{2}{X}^T{\mathrm{\ψ}}_n^{-1}X),---\left(5\right)$

其中，n_c是ω_p和ω_n的维数或通道数。

因此Bhattacharyya边界由以下等式给出：

${\mathrm{\ϵ}}_B=\sqrt{P\left({\mathrm{\ω}}_p\right)P\left({\mathrm{\ω}}_n\right)}\exp \left(\frac{1}{2}\log \frac{\left|\frac{{\mathrm{\ψ}}_p+{\mathrm{\ψ}}_n}{2}\right|}{\sqrt{\left|{\mathrm{\ψ}}_p\right|\left|{\mathrm{\ψ}}_n\right|}}\right),---\left(6\right)$

其中|·|表示方阵的行列式。

在使用W进行空间滤波之后的Bhattacharyya边界可以以通过用使用ψ_p(y)=W^Tψ_pW和ψ_n(y)=W^Tψ_nW变换后的数据ψ_p和ψ_n来替换协方差矩阵的类似形式编写。这样可获得使Bhattacharyya边界相对于W最小化的封闭形式的解。考虑到m的具体选择，最佳的W是

的前m个特征向量的收集，或者

ψ_pw_i=λψ_nw_i，（7）

其中λ_i是第i个特征值并且w_i是对应的特征向量。所获得的特征向量对应于基于运动想象的BCI所广泛使用且本领域所理解的共用空间模式（CSP）算法。

多模态方法（Multi-modal approach）

对用户正在休息并且不执行精神控制的空闲状态的检测在使异步BCI的假阳性检测最小化是关键的。空闲状态的包含内容已在实验上示出为改进异步BCI的精确度。在本发明的实施方式中，对异步的基于运动想象的BCI中的空闲状态建模的多模态方法使用Bhattacharyya边界的架构来执行。

采取多模态方法的一些优点如下：

1.从脑信号的观点来看，空闲状态包括除了与控制运动想象状态关联的那些之外所有可能的EEG模式的多种临床表现。由于用户可能在空闲状态中进行除了控制运动想象任务之外的任何精神活动，故空闲状态的EEG测量根据空间光谱特性而十分多样化。因此，较之单模态方法，多模态方法优选更适于对空闲状态建模。

2.从线性变换的观点来看，假设单模态方法的最佳空间滤波器方法可能无法获取判别空间模式。由参考标号300概略地指示的图3示出了多模态方法和单模态方法在提取判别空间模式中的差异。使用多模态方法，空闲状态302和304展现出与控制状态306有区别的空间方向。相比之下，使用单模态方法，空闲状态308与控制状态306近似。

通过M个子类χ_j,j＝1,…,M对空闲状态ω_n建模。各子类的先验概率由表示，使得

假设各子类由具有0均值和协方差矩阵

的高斯分布函数建模。因此，空闲状态ω_n的分布可被表达为由以下等式给出的高斯混和模型：

$p\left(x\right|{\mathrm{\ω}}_n)~\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\tilde{P}\left({\mathrm{\χ}}_j\right)N(0,{\widetilde{\mathrm{\ψ}}}_j)$

$~{\left(2\mathrm{\π}\right)}^{-\frac{n_c}{2}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\tilde{P}\left({\mathrm{\χ}}_j\right){\left|{\widetilde{\mathrm{\ψ}}}_j\right|}^{-\frac{1}{2}}\exp (-\frac{1}{2}{x}^T{\widetilde{\mathrm{\ψ}}}_j^{-1}x).---\left(8\right)$

在使用线性变换W进行空间滤波之后，运动想象状态P(ω_p)和空闲状态P(ω_n)仍是高斯分布。因此，运动想象状态P(ω_p)和空闲状态P(ω_n)的分布可表达为如下等式：

p(y|ω_p)~N(0，ψ_p(y))，（9）

$p\left(y\right|{\mathrm{\ω}}_n)~\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\tilde{p}\left({\mathrm{\χ}}_j\right)N(0,{\widetilde{\mathrm{\ψ}}}_{j\left(y\right)}),---\left(10\right)$

其中ψ_p(y)＝W^Tψ_pW，（11）

${\widetilde{\mathrm{\ψ}}}_{j\left(y\right)}=W^T{\widetilde{\mathrm{\ψ}}}_{j}W,---\left(12\right)$

并且Bhattacharyya边界由以下等式给出：

${\mathrm{\ϵ}}_B\left(y\right)=\sqrt{P\left({\mathrm{\ω}}_p\right)P\left({\mathrm{\ω}}_n\right)}\∫\sqrt{p\left(y\right|{\mathrm{\ω}}_p)p\left(y\right|{\mathrm{\ω}}_n)}\mathrm{dy}.---\left(13\right)$

应理解，难以计算等式（13）中的Bhattacharyya边界，因此，可替代地寻求近似数值解。忽略常数因子

包括等式（13）中的积分的Bhattacharyya系数可被表达为：

$\mathrm{\μ}=\∫\sqrt{p\left(y\right|{\mathrm{\ω}}_p)p\left(y\right|{\mathrm{\ω}}_n)}\mathrm{dy}$

$\left(14\right)$

$\≡\∫{\mathrm{\μ}}_1\left(y\right){\mathrm{\μ}}_2\left(y\right)\mathrm{dy},$

其中 ${\mathrm{\μ}}_1\left(y\right)=\sqrt{p\left(y\right|{\mathrm{\ω}}_p)}$ 且 ${\mathrm{\μ}}_2\left(y\right)=\sqrt{p\left(y\right|{\mathrm{\ω}}_n)}.$

以与等式（5）类似的形式展开的μ₁(y)为：

${\mathrm{\μ}}_1\left(y\right)=\sqrt{{\left(2\mathrm{\π}\right)}^{-\frac{n_c}{2}}{\left|{\mathrm{\ψ}}_{p\left(y\right)}\right|}^{-\frac{1}{2}}\exp (-\frac{1}{2}{y}^T{\mathrm{\ψ}}_{p\left(y\right)}^{-1}y)}$

$\left(15\right)$

$=\left\{{\left(2\mathrm{\π}\right)}^{-\frac{n_c}{2}}{\left|{2\mathrm{\ψ}}_{p\left(y\right)}\right|}^{-\frac{1}{2}}\exp (-\frac{1}{2}{y}^T{\left(2{\mathrm{\ψ}}_{p\left(y\right)}\right)}^{-1}y)\right\}\·\left\{{\left(2\mathrm{\π}\right)}^{\frac{n_c}{4}}{2}^{\frac{n_c}{2}}{\left|{\mathrm{\ψ}}_{p\left(y\right)}\right|}^{\frac{1}{4}}\right\}$

第一个大括号{}中的表达式可看作概率密度函数

P(y)=N(0，2ψ_p(y))，（16）

并且第二个大括号{}中的表达式可通过μ₂(y)写为：

$Q\left(y\right)={\left(2\mathrm{\π}\right)}^{\frac{n_c}{4}}{2}^{\frac{n_c}{2}}{\left|{\mathrm{\ψ}}_{p\left(y\right)}\right|}^{\frac{1}{4}}\·\sqrt{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\tilde{P}\left({\mathrm{\χ}}_j\right)N(0,{\widetilde{\mathrm{\ψ}}}_{j\left(y\right)})}.---\left(17\right)$

因此，Bhattacharyya系数可表达为

μ＝∫P(y)Q(y)dy.（18）

由于P(y)是概率密度函数，故Bhattacharyya系数可被表达为由下式给出的、Q的期望值

μ=E[Q(y)]，（19）

其中p(y|ω_p)~N(0,2W^Tψ_pW)（20）

等式（20）中的变量y通过使用W对原始空间中的变量x进行变换而获得，其中

p(x|ω_p)~N(0，2ψ_p).（21）

通过等式（5）可假设p(x_i|ω_p)~N(0，ψ_p),i＝1，...,n_p。因此，使遵循等式（21）中的分布，

$p\left(\sqrt{2}{\hat{x}}_i\right|{\mathrm{\ω}}_p)~N(0,{2\mathrm{\ψ}}_p),i=.....,n_p,---\left(22\right)$

因此

$\mathrm{\μ}=\underset{n_p\→\∞}{\lim }\frac{1}{n_p}\underset{i=1}{\overset{n_p}{\mathrm{\Σ}}}Q\left(W^T\sqrt{2}{\hat{x}}_i\right)---\left(23\right)$

应理解，等式（23）是对W的相对复杂的函数，而同时难以实现总体最优值。在给定的候选集合之中搜索最优值W的简化问题，优选按照以下步骤执行：

设候选集为K_cand，其包括n_cand个向量。考虑包含n_sel个被选向量的子集K。由子集K形成的变换矩阵为bfW_K。该问题随后列方程以搜索满足以下等式的最优集合K_opt

$K_{\mathrm{opt}}=\underset{K}{\arg \min }\frac{1}{n_p}\underset{i=1}{\overset{n_p}{\mathrm{\Σ}}}Q\left(W_K^T\sqrt{2}{\hat{x}}_i\right)---\left(24\right)$

在本发明的实施方式中，考虑小的K_cand以使其在计算上易于枚举从n_cand选择n_sel的所有可能组合。下列算法优选用于获得hcalK_cand和K_opt：

1.K_cand=%；

2.对于各空闲状态子类m：

a.通过对等式（7）中给出的特征问题进行求解，计算使空闲状态子类m与运动想象类之间的Bhattacharyya距离最大化的投影矩阵W_m，

b.从W_m中选择产生最少Bhattacharyya系数

的线性投影向量，其中λ_i为特征值，

c.从W_m中为空闲状态m选择的向量的集合被表示为K_m，

d.K_candUK_m→K_cand；

3.枚举K_cand的所有大小为n_sel的子集，并使用等式（23）针对每个子集计算Bhattacharyya系数的估计；

4.选择满足等式（24）的子集K_opt。

特征选择

上面获得的最优变换W优选并入滤波器组共用空间模式算法（FBCSP）（如Ang等人的Filter Bank Common Spatial Pattern(FBCSP)in Brain-Computer Interface，Proc.IJCNN’08，2391-2398所公开），FBCSP处理涉及多个运动想象类和空闲状态类的多个类，并处理用于运动想象检测的多个频带。

仅通过FBCSP算法处理的少量m空间滤波信号Z(t)的方差被用作特征。使EEG中两类的方差的差异最大化的信号Z_p(t)，p∈{1..2m}与最大特征值λ和(1-λ)关联。这些信号被用于形成针对每个时间段和每个滤波器组的特征向量Xp。

$X_p=\log (\mathrm{var}\left(Z_p\left(t\right)\right)/\underset{i=1}{\overset{2m}{\mathrm{\Σ}}}\mathrm{var}\left(Z_p\left(t\right)\right))---\left(26\right)$

特征选择使用互信息（mutual information）有利地执行。假设每个时间段总共有d个特征F＝{f₁,f₂,...f_d}，各特征的互信息

通过与类Ω相关的全部时间段和全部滤波器组来计算。

在示例性实施方式中，k＝4个特征的集合通过使用以下等式使I(f_i;Ω)最大化的各时间段来选择：

$F=F\backslash \left\{f_i\right\},S=\left\{f_i\right\}|I(f_i;\mathrm{\Ω})=\underset{j=1..d,f_j\∈F}{\max }I(f_j;\mathrm{\Ω}).---\left(27\right)$

随后将来自各时间段的k＝4个特征的互信息加在一起。选择具有互信息的最大和的时间段。应理解，在不同的实施方式中，可使用不同值的k。

例如，在一个示例性实施方式中可存在9个FBCSP投影矩阵（W），一个投影矩阵用于9个频带中的每一个。一旦已经如上所述选择了时间段，则各频带的特征被评估以确定选择哪一个频带。在该实施例中，在k=4的情况下，根据具有最高互信息的特征是否被确定为来自同一个频带或来自不同频带，选择最少1个和最多4个频带且相关的FCSB矩阵。来自所选时间段和频带的投影矩阵W以及所选频带的特征被保留。

非线性回归

患者可执行一个以上的试验。来自各个试验的特征使用来自所选时间段和频带的投影矩阵（W）计算。来自属于所选时间段和频带的所有试验的被提取特征也被保留作为用于非线性回归方法的训练特征，而来自未选时间段和频带的特征被放弃。随后使用该训练集特征的上界和下界将所选特征线性标准化至范围[-11]，除了检测该示例性实施方式中的运动意图类，这还可有利地提供对运动意图水平的检测。为了将这些特征映射至期望的输出，使用广义回归神经网络（GRNN）。该网络优选包括两层神经元。第一层包括径向基函数神经元，第二层包括具有标准化输入的线性神经元。

后处理

可使用另一种GRNN执行后处理。神经元网络的输入是从非线性回归获取的预测标记的窗口，而输出是期望的输出。

图4是概述根据本发明的实施方式的校准阶段的步骤的流程图，其由参考标记400概略地指示。在步骤402中，使用多模态多时间段为EEG的各频带计算投影矩阵以用于空间滤波。在步骤404中，计算每个频带的特征。在步骤406中，计算各特征的互信息。在步骤408中，选择具有与运动想象动作和休息有关的最大互信息的特征。在步骤410中，利用非线性回归训练所选特征。在步骤412中，利用非线性回归从自步骤410获得的输出执行后处理。

■康复阶段

再次参照图1，在完成校准之后，可使用校准后的运动想象检测模块104和治疗控制模块108执行康复。

在完成校准之后，对象专用的运动想象检测模块104可对患者的运动意图进行实时检测。基于在校准阶段所选择的特征，使用所获得的EEG数据上的投影矩阵W执行空间滤波。在示例性实施方式中，被训练的非线性回归和使用GRNN的后处理随后被用于计算运动意图输出，该输出包括运动意图类和运动意图水平。被检测的运动意图类被用于提供触觉反馈，并且被检测的运动意图类和水平被用于向患者提供视觉反馈。

应注意，上述校准阶段对于同步系统来说是有用的，同步系统的某些示例将参照图6至9讨论。然而，在异步康复系统的实施中，所述校准阶段也是十分有用的。

图5示出了示意图500，其示出了根据本发明的一个实施方式的校准阶段（由参考标号502概略地指出）和异步运动想象康复阶段（由参考标号550概略地指出）。

在校准阶段502中，使用包括多模态处理单元506、CSP滤波器组单元508、特征选择单元510、非线性回归处理单元512和后处理回归单元514的运动想象检测模块503进行如上面参照图2至4所述的校准。随后，校准后的想象检测模块在异步运动想象康复阶段550中用作异步运动想象检测模块551。

在异步运动想象康复550过程中，使用包括校准的CSP滤波器组单元554、校准的特征选择单元556、校准的非线性回归处理单元558和校准的后处理回归单元560的异步运动想象检测模块551基于从个人获取的EEG信号进行异步运动想象检测。本领域技术人员应理解，康复有利地不通过康复算法驱动（即，基于暗示），而是通过正在进行康复的个人基于其运动想象来驱动。这可以是对通过个人的相关臂的实际运动而异步启动康复阶段的替换或补充。

根据本发明的实施方式，异步BCI机器人康复有利地允许患者在患者愿意的任何时候执行运动意图。有利地，以异步方式进行的检测无需用户相对于提示对他/她的运动想象和精神努力进行计时，从而使康复对患者更加友好。

另一方面，在下面的描述中，将对使用图1的系统架构100以及以上参照图2至4所描述的校准阶段的基于提示（即，同步）的康复的示例性实施方式进行描述。

图6是示出根据本发明的实施方式的用于BCI系统中的单独试验的步骤的流程图，其由参考标号600概略地指出。在步骤602中，向用户给予提示以移动例如其右手。在步骤604中，BCI系统检测在某个时间段内是否检测到运动。如果在某个时间段内未检测到运动，则在步骤606中结束该试验。如果在某个时间段内检测到运动，则在步骤608中进行对运动想象的检测。在步骤610中，进行单个试验运动想象康复。一旦完成康复，则在步骤612结束试验。可在下一个试验之前设置中断时间段。试验的运动想象检测和康复部分被指定为参考标号614并且将参照图7对用于运动想象检测和康复的示例性实施方案进行描述。

图7是示出根据本发明的实施方式、在运动想象检测和康复阶段中的一系列事件的时间线，其由参考标号700概略地指出。图7还示出了可在不同的时间段显示于屏幕上的屏幕截图。最初，显示固定十字，由屏幕截图706示出。移动的窗口（段，例如701）用于计算来自运动想象检测模块的分类器概率性输出（参照图1），该输出可用于向用户提供性能反馈。此处以左向箭头形式的视觉提示（见屏幕截图708）被显示以促使用户向左移动其手。如果用户进行正确的运动想象使其手向左移动，则触觉反馈702和视觉反馈被提供（见屏幕截图710，其中显示方格沿对应于箭头的正确方向移动）。在康复过程的各段内，如果用户执行正确的运动想象，则提供视觉和触觉反馈。如果用户停止执行正确的运动想象以使其手向左移动，则不提供触觉反馈，但视觉反馈指示出不正确的运动反馈（见屏幕截图712，其中显示方格沿反向于箭头的方向移动）。当试验结束且设置有中断时间段时，如果用户在试验期间执行了正确的运动想象持续超过一半的时间，则提供触觉奖励反馈704和视觉奖励714。

在上面参照图6和7的描述中，对运动的检测触发对运动想象的检测。然而，应理解，许多其他配置也是可能的。例如，如下面将要描述的，对正确的运动想象的检测可触发对BCI系统中运动的检测。

图8是示出根据本发明的另一个实施方式的用于BCI系统中的单独试验的步骤的流程图，其由参考标号800概略地指出。在步骤802中，向用户给予提示以执行某一运动想象（例如，向上抬手）。在步骤804中，BCI系统检测用户是否在某一时间段内表现出正确的运动想象。如果在某一时间段内未检测到正确的运动想象，则在步骤806中结束试验。如果在某一时间段内检测到正确的运动想象，则在步骤808中提供视觉和触觉反馈。在步骤810中，该系统检测在某一时间段内是否检测到正确的运动（即，手向上移动）。如果在某一时间段内未检测到正确的运动，则试验在步骤812中结束。如果在某一时间段内检测到正确的运动，则在步骤814中提供视觉和触觉反馈。在步骤818中试验结束。

图9是示出在上面参照图8所描述的示例性试验中所提供的反馈的屏上用户界面的屏幕截图，其由参考标号900概略地指出。在屏幕902中，图形用户界面显示指向上方的箭头904，促使用户向上抬手。虚拟运动检测器906可显示在屏幕上以提供另一种形式的视觉辅助。在屏幕910中，当用户正确地向上移动运动检测器时，提供两种类型的正反馈—来自运动检测器设备912的触觉反馈以及视觉反馈（箭头904改变颜色并且虚拟运动检测器906向上移动）。

运动检测器的增加使交互的另一个面和对现有BCI的反馈能够有利地允许具有不同程度的肢体活动性的用户与康复系统交互。具有更高程度的运动能力的用户可执行基于提示的主动运动检测器运动并执行运动想象，而具有极小运动能力或没有运动能力的用户可仅采用运动想象。

图10是示出根据本发明的示例性实施方式的用于基于交互的脑机接口的方法的步骤的流程图，其由参考标记1000概略地指出。在步骤1002中，获取个人的EEG信号。在步骤1004中，处理EEG信号以确定该人的运动想象。在步骤1006中，使用检测设备检测该人的运动。在步骤1008中，基于运动想象、运动或二者向该人提供反馈；其中提供的反馈包括激活检测设备的刺激元件以向该人提供刺激。

图11是示出根据本发明的示例性实施方式的对用于BCI的分类算法进行训练的方法的步骤的流程图，其由参考标号1100概略地指出。在步骤1102中，将EEG信号分为多个段。在步骤1104中，对于每个段，将相应的EEG信号部分分成多个频带。在步骤1106中，对于每个频带，基于CSP算法和相应特征来计算空间滤波投影矩阵，并且相对于一个或多个运动想象类计算每个相应特征的互信息。在步骤1108中，对于每个段，相对于各个类对所有相应特征的互信息进行求和。在步骤1110中，选择针对一个类具有最大总和的互信息的段的相应特征以对分类算法的分类器进行训练。

示例性实施方式的方法和系统可在图12中示意性地示出的计算机系统1200上实施。其可被实施为软件，诸如在计算机系统1200中执行并命令计算机系统1200执行示例性实施方式的方法的计算机程序。

计算机系统1200包括计算机模块1202、输入模块诸如键盘1204和鼠标1206、以及多个输出设备诸如显示器1208和运动检测器设备1209。

计算机模块1202经由合适的收发器设备1214连接至计算机网络1212以允许访问例如互联网或其它网络系统，诸如局域网（LAN）或广域网（WAN）。

在该实施例中，计算机模块1202包括处理器1218、随机存取存储器（RAM）1220和只读存储器（ROM）1222。计算机模块1202还包括多个输入/输出（I/O）接口，例如至显示器1208的I/O接口1224、至键盘1204的I/O接口1226、以及至运动检测器设备1209的I/O接口1229。

计算机模块1202的部件通常经由互联总线1228并且以本领域技术人员已知的方式进行通信。

应用程序通常被提供给计算机系统1200的用户，应用程序被编码在数据存储介质诸如CD-ROM或闪存载体上并且利用数据存储设备1230的相应存储介质驱动器进行读取。应用程序在其被处理器1218执行时被读取并被控制。程序数据的中间存储器可使用RAM 1220来完成。

本领域技术人员应理解，在不脱离广义描述的本发明的精神或者范围的情况下，可以对在具体实施方式中示出的本发明进行大量的变形和/或修改。因此，给出的实施方式在全部方面都应视为是示例性而非限制性的。

Claims (19)

1.一种用于基于交互的脑机接口（BCI）的方法，所述方法包括以下步骤：

获取个人的EEG信号；

对所述EEG信号进行处理以确定所述个人的运动想象；

使用检测设备检测所述个人的运动；以及

基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供反馈；

其中，提供所述反馈包括激活所述检测设备的刺激元件以向所述个人提供刺激。

2.如权利要求1所述的方法，包括：

对所述EEG信号进行处理以确定所述个人是否执行特定运动想象；以及

如果所述特定运动想象被执行，则激活所述刺激元件。

3.如权利要求2所述的方法，其中，在所述特定运动想象被执行的情况下，所述反馈还包括对所述个人的单独的视觉反馈。

4.如前述权利要求中任一项所述的方法，包括：

确定所述个人是否执行特定运动；以及

如果所述特定运动被执行，则激活所述刺激元件。

5.如权利要求4所述的方法，其中，在所述特定运动被执行的情况下，所述反馈还包括对所述个人的单独的视觉反馈。

6.如权利要求4或5所述的方法，其中对所述个人是否执行所述特定运动的确定在一个时间段内进行。

7.如前述权利要求中任一项所述的方法，其中对所述EEG信号进行的处理包括使用被训练的分类算法。

8.如权利要求7所述的方法，其中训练所述分类算法包括：

将所述EEG信号分为多个段，

对于每个段，将相应的EEG信号部分分为多个频带，

对于每个频带，基于CSP算法和相应特征计算空间滤波投影矩阵，并且计算每个相应特征相对于一个或多个运动想象类的互信息，

对于每个段，对相对于各个类的所有相应特征的互信息进行求和，以及

选择针对一个类具有最大的互信息和的段的相应特征以进行训练。

9.如权利要求8所述的方法，还包括使用被选择的相应特征来训练所述分类算法的分类器。

10.如权利要求9所述的方法，其中训练所述分类器包括使用被选择的相应特征训练非线性回归，以及使用来自所述非线性回归的输出训练非线性后处理回归。

11.如权利要求8至10中任一项所述的方法，其中基于所述CSP算法计算所述空间滤波投影矩阵包括使用用于每个频带的多模态多时间段。

12.如权利要求11所述的方法，其中所述用于每个频带的多模态多时间段包括空闲状态的多模态表示。

13.一种脑机接口系统，包括：

用于获取个人的EEG信号的装置；

用于对所述EEG信号进行处理以确定所述个人的运动想象的装置；

用于使用检测设备检测所述个人的运动的装置；以及

基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供反馈的装置；

其中，提供所述反馈的装置包括用于向所述个人提供刺激的、所述检测设备的刺激元件。

14.如权利要求13所述的系统，其中所述刺激元件包括触觉致动器。

15.如权利要求13或14所述的系统，还包括基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供视觉反馈的屏幕。

16.一种训练用于BCI的分类算法的方法，所述方法包括以下步骤：

将EEG信号分为多个段，

对于每个段，将相应的EEG信号部分分为多个频带，

对于每个频带，基于CSP算法和相应特征来计算空间滤波投影矩阵，并且计算每个相应特征相对于一个或多个运动想象类的互信息，

对于每个段，对相对于各个类的所有相应特征的互信息进行求和，以及

选择针对一个类具有最大和的互信息的段的相应特征以对分类算法的分类器进行训练。

17.如权利要求16所述的方法，其中训练所述分类器包括使用被选择的相应特征进行非线性回归，以及使用来自所述非线性回归的输出进行非线性后处理回归。

18.如权利要求16或17所述的方法，其中基于所述CSP算法计算所述空间滤波投影矩阵包括使用用于每个频带的多模态多时间段。

19.如权利要求18所述的方法，其中所述用于每个频带的多模态多时间段包括空闲状态的多模态表示。

Images