CN103869979A - 一种基于选择性感受的脑机接口系统 - Google Patents

Abstract

本发明提供的基于选择性感受的脑机接口系统，脑机接口系统包括振动模块，振动模块用于提供振动刺激信号，以产生选择性感受信号；脑电信号包括想象运动信号与选择性感受信号；信号处理模块用于识别使用者的想象运动意图和/或选择性感受意图，产生脑机控制信号。本发明提供的基于选择性感受的脑机接口系统，增加了左手想象运动与右手选择性感受脑机接口、左手选择性感受与右手想象运动脑机接口或者左手选择性感受与右手选择性感受脑机接口；提高使用者脑电信号的识别率，从而提高解码率，使得使用者的大脑通过BCI与外界环境能够进行有效交流与控制；结合不同种类的脑机接口各自的优势，创建混合式的脑机接口，扩展了脑机接口的应用范围。

Description

一种基于选择性感受的脑机接口系统

技术领域

本发明涉及生物信息技术领域，尤其涉及一种脑机接口系统。

背景技术

目前，由于病变或意外造成的大脑与神经肌肉通路损伤的疾病在现有的医疗条件下还无法治愈。如在中国大约有六百万脑瘫患者，十二岁以下的儿童就占有一百八十万左右，这些患者失去肢体控制、自理等能力。脑-机接口（Brain-ComputerInterface，BCI）提供了制造治疗和改善这些患者疾病的医疗器械设备的技术基础，脑机接口系统绕开了人的输出神经系统，通过采集大脑的脑电信号（Electroencephalogram，EEG）来解码人的意图，从而实现了大脑与外界环境的直接通信与控制，其主要机理是：训练患者进行相关的大脑认知任务，同时采集其脑电信号，通过对信号进行相应的特征提取与识别，识别出患者的意图，然后将识别结果作为控制量输入到相应的控制器以控制相应器械帮助患者实现日常的一些基本活动，从而提高他们的生活质量。

早期如加利福尼亚洛杉矶分校的Jacques Vidal于上世纪70年代初发明了基于视觉诱发电位的脑机接口，这可以说是脑机接口开创性工作的开始。接下来的几十年中，各种脑机接口的研究相继开始和发展。美国Illinois大学的Farwell和Donchin在1988年，利用ERP中经典的“oddball”实验范式成功激发了“P300”的ERP成份，他们通过给用户显示一个含有字母、数字或是其他符号的矩阵，要求用户来数行或列中共出现了多少次他希望选择的符号的方式，从而实现解码人的选择意图的虚拟打字机系统。基于P300的BCI的一个显著的优点是几乎不需要多少训练时间，用户就可以实现意图的解码，这种脑机接口在使用者视觉系统完好的情况下，有较明显的优势。德国图宾根大学Birbaumer研究小组经过30年时间的持续研究，发现并证实了人可以通过控制慢皮层电位（slow cortical potentials，SCPs）的正负电位偏移来实现给计算机输出二选一的指令。这为他们后续的基于SCPs的意念翻译机（thought translation device，TTD）奠定了基础。他们的研究成果证实瘫痪病人可以通过控制SCPs来实现与外界交流。美国纽约州WadsworthCenter由Wolpaw教授带领的团队，在1991年首次发表了实现用大脑产生的体感节律特征来控制鼠标的研究成果。后期，他们将这一研究扩展到了二维鼠标控制和三维运动控制，并且他们在瘫痪病人身上做了为期两年半时间持续使用脑机接口的应用研究，证实了基于想象运动的BCI在两年半的长时间内基本维持83%的正确率，从而为脑机接口的长时间使用奠定了基础。奥地利Graz大学由Pfurtscheller教授领导的研究小组也是脑机接口研究的先驱者之一。尤其是Pfurtscheller教授本人一直对想象运动中mu节律和beta节律的事件相关去同步化/同步化现象作了大量的研究工作，提出了定义和量化ERD/ERS现象的方法，这为后期大量基于想象运动的脑机接口奠定了坚实的基础。早在1993年，他们发表了基于想象运动控制假肢手张与合的研究工作，至今他们的研究工作已经扩展到了异步脑机接口在虚拟键盘、虚拟环境等中的应用。同时，他们的脑机接口在四肢瘫痪的病人上也做了大量的应用研究，在一定程度上证明了脑机接口对四肢瘫痪的病人是一项非常有用的技术。

脑机接口领域有个具有挑战性的问题就是“BCI Illiteracy”(BCI盲)，研究发现大致有20%-30%的人BCI解码率比较低，以至于通过BCI实现大脑与外界环境的进行交流与控制非常困难。

本领域技术人员致力于一种可以提高BCI解码率的脑机接口系统来解决上述问题。

发明内容

研究发现：大脑皮层脑电活动的运动节律变化，即事件相关去同步（Event-Related Desynchronization，ERD）和事件相关同步（Event-RelatedSynchronization，ERS）的生理现象，不仅与人的运动想象相关，而且也反应了人对外界刺激的处理。

一方面，人的左、右手的想象运动引起了ERD/ERS的变化，通过对脑电信号的解码，能够识别出受试者在做左手或者右手的想象运动，这就构成了本领域著名的基于想象运动的脑机接口；另一方面，人对外界刺激的选择性处理，即注意力亦可以调节ERD/ERS的变化，通过对脑电信号的解码，能够识别出受试者是在集中注意力感受左手还是右手，这样就可以构成本发明的基于选择性感受的脑机接口。

为了解决脑机接口的BCI解码率偏低的问题，本发明提出了一种基于选择性感受的脑机接口系统，一方面，增加BCI的种类数是一个较好的解决方案，如有些受试者在该种脑机接口模式下的识别率比较低，但在另一种脑机接口模式下的识别率可能会比较高；另一方面，结合不同种类的脑机接口各自的优势，创建混合式的脑机接口，在一定程度上亦可扩展脑机接口的应用范围。

本发明提供的基于选择性感受的脑机接口系统，包括信号采集模块和信号处理模块，信号采集模块与信号处理模块连接，信号采集模块用于采集使用者的脑电信号，脑机接口系统还包括振动模块，振动模块用于提供振动刺激信号，以产生选择性感受信号；

脑电信号包括想象运动信号与选择性感受信号；

信号处理模块用于根据想象运动信号和/或选择性感受信号，识别使用者的想象运动意图和/或选择性感受意图，产生脑机控制信号。

进一步地，脑机接口系统包括左手想象运动与右手选择性感受脑机接口、左手选择性感受与右手想象运动脑机接口或者左手选择性感受与右手选择性感受脑机接口中的一种或几种。

进一步地，混合式脑机接口系统还包括左手想象运动与右手想象运动。

进一步地，振动刺激信号包括作用于左手的振动刺激信号与作用于右手的振动刺激信号。

进一步地，作用于左手的振动刺激信号为23Hz的正弦波，作用于右手的振动刺激信号为27Hz的正弦波。

进一步地，振动刺激信号的载波频率为175Hz。

进一步地，振动刺激信号的持续时间为200ms。

进一步地，信号处理模块包括线性判别分析分类器，线性判别分析分类器用于对特征向量进行分类，以产生相应的脑机控制信号。

进一步地，信号处理模块对脑电信号进行带通滤波、空间滤波且提取空间滤波后的带通能量信息，带通能量信息组成特征向量。

进一步地，带通滤波的频段为反应大脑活动的α和β频段。

进一步地，信号处理模块计算源于左、右手的脑电信号的协方差矩阵之和C：

C＝C_l+C_r，

其中C_l为来自左手的脑电信号的协方差矩阵，C_r为来自左手的脑电信号的协方差矩阵，信号处理模块对来自左、右手的脑电信号的协方差矩阵之和C进行特征值分解。

与现有技术相比，本发明提供的基于选择性感受的脑机接口系统具有以下有益效果：

（1）采用想象运动和选择性感受两种脑电信号结合的脑机接口系统，在现有技术中基于想象运动的脑机接口的基础上，增加了左手想象运动与右手选择性感受脑机接口、左手选择性感受与右手想象运动脑机接口或者左手选择性感受与右手选择性感受脑机接口；

（2）采用想象运动和选择性感受两种脑电信号结合的脑机接口系统，提高使用者脑电信号的识别率，从而提高解码率，使得使用者的大脑通过BCI与外界环境能够进行有效交流与控制；

（3）结合不同种类的脑机接口各自的优势，创建混合式的脑机接口，扩展了脑机接口的应用范围。

附图说明

图1混合式脑机接口系统实验模块组成图；

图2混合式脑机接口系统实验构型及原理示意图；

图3左右手运动想象与选择性感受混合实验范式示意图。

具体实施方式

以下结合附图对本发明较佳的技术方案作进一步描述。

如图1和图2所示，脑机接口系统包括显示器、振动刺激器、脑电帽、信息采集设备，信息处理设备，信息采集设备采用Neuroscan64。受试者按要求佩戴好脑电帽后坐在椅子上，显示器距受试者双眼约1米左右。脑-机接口系统中脑电信号的采样频率设为250Hz，设置50Hz陷波器去除工频干扰。在实验流程中，每个试验开始时屏幕全红，同时出现白色十字架，1s钟后振动刺激器同时给左右手腕施加振动刺激，左手23HZ的正弦调制波，右手27HZ的正弦调制波，载波频率均为175HZ，左右手的正弦调制波频率也可以相同，持续时间200ms，以提示受试者集中精神准备开始。在第3s钟开始时有红色的指示条叠加在白色十字上提示所做思维任务类别，随机出现在左上、右上、左下，以及右下。当红色条块在左上侧时代表左手想象运动，当红色条块在右上侧时代表右手想象运动；当红色条块在左下侧时代表左手选择性感受，当红色条块在右下侧时代表右手选择性感受。指示条持续时间1.5s；在第4.5s时振动刺激同时施加在左右手腕，刺激持续到第8s。要求受试者根据提示做相应的实验任务，直到十字架消失。实验任务从提示出现开始到十字架消失，总共持续时间5s。在8s钟时十字消失，一个试验的实验结束，受试者可以休息1.5～3.5s，之后下一个试验开始。受试者做10组实验，组间休息1到2分钟；每组40个试验，4个类别分别10个试验。

对采集到的脑电信号用四阶巴特沃斯滤波器做8-26Hz带通滤波，选取信号的时间段为从每个试验开始后的第4s到第7s，这样，对于每个类别均有100个样本。我们将采用10×10交叉验证的方法来评估两两之间的区分度。

首先，每个类别的100个试验进行随机排序。之后，每个类别被平均分为10等份，即每份有10个试验。每一份均轮流作为测试集，用另外的9份作为训练集来训练好分类器。训练好的分类器用来分类测试集，这样就得到了每一份的识别率。随后，每个类别的100个试验再次随机打乱，这样的过程重复10遍，就得到了10×10=100个识别率。这样的每两个类别的100个识别率的分布用来评估两类的区分度。

分类算法简述如下：

设第k个样本的原始脑电信号为X_k，其维度为ch×len，其中ch为通道数，1en为每个样本的采样点数。则该样本规范化的协方差矩阵为

$C_k=\frac{X_k{X}_k^T}{\mathrm{trace}\left(X_k{X}_k^T\right)}$

这里T表示矩阵的转置，trace()表示矩阵的迹，也就是矩阵的对角线元素之和。令

$C_l=\underset{k\∈I_l}{\mathrm{\Σ}}{C}_k,C_r=\underset{k\∈I_r}{\mathrm{\Σ}}{C}_k$

表示每类的平均协方差矩阵，I_l、I_r表示两类不同动作的指标集（例如左手想象运动和右手想象运动）。两类的平均协方差矩阵之和为C＝C_l+C_r，对C进行特征值分解

$C=U_C\mathrm{\Σ}{U}_C^T$

其中Σ是特征值组成的对角矩阵，U_C是对应的特征向量矩阵。

利用白化矩阵

$P=\sqrt{{\mathrm{\Σ}}^{-1}}{U}_C^T$

协方差矩阵C_l，C_r可被转化为

S_l＝PC_lP^T＝U∑_lU^T

S_r＝PC_rP^T＝U∑_rU^T

其中，S_l，S_r拥有共同的特征向量U，且对应的特征值之和为I，也就是

∑_l+∑_r＝I

I为单位阵。这里白化矩阵P的作用就是使两个协方差矩阵C_l，C_r经过白化后可以同时对角化。

定义投影矩阵W＝U^TP。这里W也可被称为空间滤波器，而W的逆A＝W^-1∈R^ch×ch被称为共空间模式。对于第k个样本，经过滤波的信号

Z_k＝WX_k

是彼此不相关的。两类样本在经过白化变换后投影到新的坐标轴上时差异极大化了。通常，Z_k的最大3组和最小3组成分的方差被用来作为该样本的特征，进而通过LDA分类器(线性判别分析)进行分类。

本实施例中的基于选择性感受的脑机接口系统的工作过程如下：

（1）振动模块向使用者的左右手提供振动刺激信号，以产生选择性感受信号；

（2）信号采集模块分别采集源于使用者左手的脑电信号与源于使用者右手的脑电信号；

（3）信号处理模块对来自信号采集模块的脑电信号进行带通滤波，得到X_l与X_r，带通滤波的频段为反应大脑活动的α和β频段，即8-26Hz；

（4）信号处理模块计算带通滤波后的脑电信号X_l与X_r的协方差矩阵C_l与C_r，

$C_l=\frac{X_l{X}_l^T}{\mathrm{trace}\left(X_l{X}_l^T\right)},$

$C_r=\frac{X_r{X}_r^T}{\mathrm{trace}\left(X_r{X}_r^T\right)},$

其中T表示矩阵的转置，trace()表示矩阵的迹，也就是矩阵的对角线元素之和；

（5）信号处理模块计算源于左、右手的脑电信号的协方差矩阵之和C：

C＝C_l+C_r；

（6）对C进行特征值分解；

$C=U_C\mathrm{\Σ}{U}_C^T$

其中Σ是特征值组成的对角矩阵，U_C是对应的特征向量矩阵；

（7）利用白化矩阵

$P=\sqrt{{\mathrm{\Σ}}^{-1}}{U}_C^T$

将协方差矩阵C_l、C_r转化为

S_l＝PC_lP^T＝U∑_lU^T

S_r＝PC_rP^T＝U∑_rU^T

其中，S_l，S_r拥有共同的特征向量U，且对应的特征值之和为I，也就是

∑_l+∑_r＝I

I为单位阵。这里白化矩阵P的作用就是使两个协方差矩阵C_l，C_r经过白化后可以同时对角化。

（8）进行空间滤波：

Z_k＝WX_k

其中W被称为空间滤波器：

W＝U^TP

而W的逆A＝W^-1∈R^ch×ch被称为共空间模式；

（9）Z_k的最大3组和最小3组成分的方差被用来作为该样本的特征，通过LDA分类器(线性判别分析)进行分类，识别使用者的想象运动意图和/或选择性感受意图，产生脑机控制信号。

本发明提供的基于选择性感受的脑机接口系统，采用想象运动和选择性感受两种脑电信号结合的脑机接口系统，在现有技术中基于想象运动的脑机接口的基础上，增加了左手想象运动与右手选择性感受脑机接口、左手选择性感受与右手想象运动脑机接口或者左手选择性感受与右手选择性感受脑机接口；采用想象运动和选择性感受两种脑电信号结合的脑机接口系统，提高使用者脑电信号的识别率，从而提高解码率，使得使用者的大脑通过BCI与外界环境能够进行有效交流与控制；结合不同种类的脑机接口各自的优势，创建混合式的脑机接口，扩展了脑机接口的应用范围。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于选择性感受的脑机接口系统，包括信号采集模块和信号处理模块，所述信号采集模块与所述信号处理模块连接，所述信号采集模块用于采集使用者的脑电信号，其特征在于，

所述脑机接口系统还包括振动模块，所述振动模块用于提供振动刺激信号，以产生选择性感受信号；

所述脑电信号包括想象运动信号与所述选择性感受信号；

所述信号处理模块用于根据所述想象运动信号和/或所述选择性感受信号，识别使用者的想象运动意图和/或选择性感受意图，产生脑机控制信号。

2.如权利要求1所述的基于选择性感受的脑机接口系统，其特征在于，所述脑机接口系统包括左手想象运动与右手选择性感受脑机接口、左手选择性感受与右手想象运动脑机接口或者左手选择性感受与右手选择性感受脑机接口中的一种或几种。

3.如权利要求2所述的基于选择性感受的脑机接口系统，其特征在于，所述混合式脑机接口系统还包括左手想象运动与右手想象运动。

4.如权利要求1所述的基于选择性感受的脑机接口系统，其特征在于，所述振动刺激信号包括作用于左手的振动刺激信号与作用于右手的振动刺激信号。

5.如权利要求4所述的基于选择性感受的脑机接口系统，其特征在于，所述作用于左手的振动刺激信号为23Hz的正弦波，所述作用于右手的振动刺激信号为27Hz的正弦波。

6.如权利要求1所述的基于选择性感受的脑机接口系统，其特征在于，所述振动刺激信号的载波频率为175Hz。

7.如权利要求1所述的基于选择性感受的脑机接口系统，其特征在于，所述信号处理模块包括线性判别分析分类器，所述线性判别分析分类器用于对特征向量进行分类，以产生相应的脑机控制信号。

8.如权利要求7所述的基于选择性感受的脑机接口系统，其特征在于，所述信号处理模块对脑电信号进行带通滤波、空间滤波后，提取带通能量信息，所述带通能量信息组成所述特征向量。

9.如权利要求8所述的基于选择性感受的脑机接口系统，其特征在于，所述带通滤波的频段为反应大脑活动的α和β频段。

10.如权利要求1所述的基于选择性感受的脑机接口系统，其特征在于，所述信号处理模块计算源于左、右手的脑电信号的协方差矩阵之和C：

C＝C_l+C_r，

其中C_l为源于左手的脑电信号的协方差矩阵，C_r为源于左手的脑电信号的协方差矩阵，所述信号处理模块对所述源于左、右手的脑电信号的协方差矩阵之和C进行特征值分解。

Images