CN101980106B - 一种脑机接口的二维光标控制方法及装置 - Google Patents

Abstract

本发明公开了一种脑机接口的二维光标控制方法及装置，其方法是使用者根据显示装置中的工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，经模数转换模块转化和信号放大器放大后传给计算机，计算机中的信号处理模块对传递来的信号分别进行预处理、特征提取、分类，然后计算机内的控制模块将分类信息转换为控制命令控制光标在显示装置上移动。其装置包括电极帽、信号放大器、计算机和显示装置，计算机内部针对P300信息和运动想象ERD/ERS信息分别设置了预处理模块、特征提取模块和分类算法模块。本发明具有控制精度高、效果好、工作稳定、可实现光标连续二维运动的优点，可应用于计算机鼠标、轮椅及机械臂等的运动控制。

Description

一种脑机接口的二维光标控制方法及装置

技术领域

本发明涉及脑机接口领域，尤其是一种脑机接口的二维光标控制方法及装置。

背景技术

脑机接口(brain computer interface，BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常神经输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式，是近年来脑功能研究的热点课题。脑机接口有植入式与非植入式两大类。植入式脑机接口所获得的信号精度相对较高，信噪比高，易于分析处理，但需要对使用者进行开颅手术，危险性比较大，目前主要用于动物实验研究。非植入式脑机接口获取的脑信号噪声大，信号特征的可区分性差，但由于它的信号获取相对容易，并且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理目前已经能够达到一定的水平，所以非植入式脑机接口使脑机接口进入实际生活应用成为可能。

EEG信号是脑内众多神经元活动产生的突触后电位的同步振荡产生的生理电活动。当大脑受到感官刺激、动作指令和想象运动等电信号刺激时，皮层神经元之间的联系结构发生改变，使它们的同步性被抑制或增强，从而产生事件相关去同步(Event-related desynchronization，ERD)或脑电的事件相关同步(Eventrelated synchronization，ERS)现象。

目前存在的实现脑机接口二维光标控制的方法主要有两种，一种是利用稳态视觉诱发电位或者P300信息特征等，通过检测使用者接受视觉刺激后其脑电信号中是否存在相应的反应特征来进行离散分类决策，这类控制方法耗时长，系统反应迟钝，无法实现连续控制，即无法实现光标从任意点移动到任意的另一点；另一种是利用mu与beta节律提取出两种独立的特征，然后分别在二维方向进行控制，这类方法可以实现连续控制，但是难度大，需要使用者经过很长时间的训练，所以在实际应用过程中难度较大。

因此，需要提供一种既可实现连续控制又易于操作的脑机接口的二维光标控制方法及装置。

发明内容

本发明的一个目的在于克服现有技术的缺点与不足，提供一种脑机接口的二维光标控制方法，该方法既可实现连续控制又易于操作。

本发明的另一目的在于提供一种脑机接口的二维光标控制装置。

本发明提供了一种脑机接口的二维光标控制方法，首先，使用者根据显示装置中的工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，经模数转换模块转化和信号放大器放大后将信号通过计算机的I/O接口模块传给计算机内部的信号处理模块，信号处理模块对头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息分别进行预处理、特征提取和分类，根据头皮脑电信号中包含的P300信息确定光标需移动的垂直位移，根据头皮脑电信号中包含的运动想象ERD/ERS信息特征确定光标需移动的水平位移，然后将位移信息传至计算机内部的控制模块，控制模块通过计算机的I/O接口模块将控制命令传至显示装置，控制光标在工作界面上二维连续移动。

具体包括以下步骤：

(1)系统初始化：给使用者戴上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后打入导电胶并确定导电性良好，启动系统，打开显示装置中的工作界面；

(2)信号采集：使用者根据工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，然后经模数转换模块转化和信号放大器放大后将信号通过计算机内部的I/O接口模块传给计算机内部的信号处理模块；

(3)信号处理：信号处理模块将接收到的头皮脑电信号传送至信号处理模块中用于处理头皮脑电信号中P300信息的P300信息预处理模块和用于处理头皮脑电信号中运动想象ERD/ERS信息的ERD/ERS信息预处理模块，P300信息预处理模块、P300信息特征提取模块、P300信息分类算法模块依次对头皮脑电信号进行低通滤波、P300信息特征提取和分类，最后计算出光标需移动的垂直位移；同时对于接收到的头皮脑电信号，信号处理模块中的ERD/ERS信息预处理模块先对信号进行降采样和CAR滤波，提取出Mu节律频带，然后信号传送至ERD/ERS信息特征提取模块进行特征提取，根据提取出的特征ERD/ERS信息分类算法模块进行分类并计算出光标需移动的水平位移；最后将得到的垂直和水平位移信息传送至计算机内部的控制模块，控制模块做出控制命令后经I/O接口模块将控制命令传送至显示装置；

(4)光标控制：显示装置按照控制模块做出的控制命令控制光标在工作界面上移动，然后使用者判断是否到达指定位置，如果到达则停止操作，如果没有则使用者继续步骤(2)和步骤(3)控制光标移动。

所述步骤(2)和步骤(3)中的I/O接口模块包括并行口、液晶显示输出接口、USB接口。

所述步骤(3)中的P300信息分类算法模块和ERD/ERS信息分类算法模块为支持向量机算法模块。

所述步骤(3)中，信号处理模块中的P300信息特征提取模块以选择的电极的信号幅值作为特征。

所述步骤(3)中，信号处理模块中的ERD/ERS信息特征提取模块以采用共同空域模式(common spatial pattern，CSP)提取的空间投影后的信号方差为特征，共同空域模式具体包括以下步骤：

A、分别计算两类平均的协方差矩阵：

$R_a=\frac{1}{n_1}\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}{R}_a\left(i\right),$ $R_b=\frac{1}{n_2}\underset{i=1}{\overset{n_2}{\mathrm{\Σ}}}{R}_b\left(i\right)$

其中R₀(i)和R_b(i)表示分别对应于a类和b类，第i次实验的协方差矩阵；n₁表示a类样本的数量，n₂表示b类样本的数量；

B、联合协方差矩阵R＝R_a+R_b，对其进行奇异值分解：

$R=U_0{\mathrm{\Λ}}_C{U}_0^T$

其中U₀和Λ_C分别表示对R进行特征值分解后的特征向量矩阵与特征值对角矩阵；

为U₀的转置矩阵；

C、联合协方差矩阵R的白化变换矩阵P为：

$P={\mathrm{\Λ}}_C^{-1/2}{U}_0^T$

D、分别对R_a和R_b进行白化变换，得到：

S_a＝PR_aP^T  S_b＝PR_bP^T

E、对S_a或S_b进行特征值分解，得到它们共同的特征向量矩阵U，投影矩阵W＝U^TP，于是对于每次实验的EEG数据矩阵X(i)投影后得到：

Z(i)＝WX(i)

对每个投影后的矩阵Z(i)取其方差作为特征进行分类。

本发明还提供一种实施上述方法的脑机接口的二维光标控制装置，包括电极帽、模数转换模块、信号放大器、计算机和显示装置，电极帽、模数转换模块、信号放大器三者之间通过导线依次连接；信号放大器通过计算机上的I/O接口模块与计算机相连，计算机通过I/O接口模块与显示装置相连，电极帽与使用者的脑头皮相接采集头皮脑电信号；计算机内部设有信号处理模块和控制模块，信号处理模块中包括用于处理头皮脑电信号中P300信息的P300信息预处理模块、P300信息特征提取模块和P300信息分类算法模块以及用于处理头皮脑电信号中运动想象ERD/ERS信息的ERD/ERS信息预处理模块、ERD/ERS信息特征提取模块和ERD/ERS信息分类算法模块；P300信息预处理模块、P300信息特征提取模块和P300信息分类算法模块依次连接，ERD/ERS信息预处理模块、ERD/ERS信息特征提取模块和ERD/ERS信息分类算法模块依次连接；P300信息分类算法模块和ERD/ERS信息分类算法模块与控制模块相连，控制模块通过I/O接口模块与显示装置相连。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明将运动想象和P300这两种独立的信号进行结合应用于脑机接口领域，实现了光标的二维控制，使得使用者可以控制光标在二维平面从任意一点运动到任意的另外一点，并且是连续控制，同时在光标和目标大小为运动区域大小约0.3％的情况下，平均击中目标的准确率达到90％以上，到达目标的平均时间约为28秒，具有速度快、精度高的特点。

2、本发明采用两种独立的信号进行控制，使使用者易于操作。

3、本发明提供了一个全新的人机交互通道，对某些特定的人群或特定条件下的应用非常有意义，采用非侵入式的头皮脑电信号的获取，对人体无伤害，易于使用和推广。

附图说明

图1是本发明装置中显示装置中的工作界面图；

图2是本发明装置的工作原理框图；

图3是本发明方法中信号处理模块的流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，为本发明的工作界面图，在其四周含有8个P300闪烁键，其中上面三个键“up”键指示向上运动，下面三个键“down”键指示向下运动，左右各一个的“stop”键为功能选择键，用于光标(黑色圆点)移动至目标(黑色方块)后停止操作。在系统启动后，目标和光标随机出现，然后需要使用者通过注视P300闪烁键和进行左右手运动想象来控制光标向目标移动。

如图2所示，本发明提供了一种脑机接口的二维光标控制装置，包括电极帽、模数转换模块、信号放大器、计算机和显示装置，电极帽、模数转换模块、信号放大器三者之间通过导线依次连接；信号放大器通过计算机上的I/O接口模块与计算机相连，计算机通过I/O接口模块与显示装置相连，电极帽与使用者的脑头皮相接采集头皮脑电信号；计算机内部设有信号处理模块和控制模块，信号处理模块中包括用于处理头皮脑电信号中P300信息的P300信息预处理模块、P300信息特征提取模块和P300信息分类算法模块以及用于处理头皮脑电信号中运动想象ERD/ERS信息的ERD/ERS信息预处理模块、ERD/ERS信息特征提取模块和ERD/ERS信息分类算法模块；P300信息预处理模块、P300信息特征提取模块和P300信息分类算法模块依次连接，ERD/ERS信息预处理模块、ERD/ERS信息特征提取模块和ERD/ERS信息分类算法模块依次连接；P300信息分类算法模块和ERD/ERS信息分类算法模块与控制模块相连，控制模块通过I/O接口模块与显示装置相连。

结合图1和图2装置详细说明一种脑机接口的二维光标控制方法，首先，使用者根据显示装置中的工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，经模数转换模块转化和信号放大器放大后将信号通过计算机的I/O接口模块传给计算机内部的信号处理模块，根据头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息特征不同，信号处理模块对头皮脑电信号分别进行预处理、特征提取和分类，然后将分类结果传至计算机内部的控制模块，控制模块通过计算机的I/O接口模块将控制命令传至显示装置，控制光标在工作界面上二维连续移动。

具体包括以下步骤：

(1)系统初始化：给使用者戴上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后打入导电胶并确定导电性良好，启动系统，打开显示装置中的工作界面；

(2)信号采集：使用者根据工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，然后经模数转换模块转化和信号放大器放大后将信号通过计算机内部的I/O接口模块传给计算机内部的信号处理模块；

(3)信号处理：信号处理模块将接收到的头皮脑电信号传送至信号处理模块中用于处理头皮脑电信号中P300信息的P300信息预处理模块和用于处理头皮脑电信号中运动想象ERD/ERS信息的ERD/ERS信息预处理模块，P300信息预处理模块、P300信息特征提取模块、P300信息分类算法模块依次对头皮脑电信号进行低通滤波、P300信息特征提取和分类，最后计算出光标需移动的垂直位移；同时对于接收到的头皮脑电信号，信号处理模块中的ERD/ERS信息预处理模块先对信号进行降采样和CAR滤波，提取出Mu节律频带，然后信号传送至ERD/ERS信息特征提取模块进行特征提取，根据提取出的特征ERD/ERS信息分类算法模块进行分类并计算出光标需移动的水平位移；最后将得到的垂直和水平位移信息传送至计算机内部的控制模块，控制模块做出控制命令后经I/O接口模块将控制命令传送至显示装置；

(4)光标控制：显示装置按照控制模块做出的控制命令控制光标在工作界面上移动，然后使用者判断是否到达指定位置，如果到达则停止操作，如果没有则使用者继续步骤(2)和步骤(3)控制光标移动。

所述步骤(2)和步骤(3)中的I/O接口模块包括并行口、液晶显示输出接口、USB接口。

所述步骤(3)中的P300信息分类算法模块和ERD/ERS信息分类算法模块为支持向量机算法模块。

所述步骤(3)中，信号处理模块中的P300信息特征提取模块以选择的电极的信号幅值作为特征。

所述步骤(3)中，信号处理模块中的ERD/ERS信息特征提取模块以采用共同空域模式提取的空间投影后的信号方差为特征，共同空域模式具体包括以下步骤：

A、分别计算两类平均的协方差矩阵：

$R_a=\frac{1}{n_1}\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}{R}_a\left(i\right),$ $R_b=\frac{1}{n_2}\underset{i=1}{\overset{n_2}{\mathrm{\Σ}}}{R}_b\left(i\right)$

其中R_a(i)和R_b(i)表示分别对应于a类和b类，第i次实验的协方差矩阵；n₁表示a类样本的数量，n₂表示b类样本的数量；

B、联合协方差矩阵R＝R_a+R_b，对其进行奇异值分解：

$R=U_0{\mathrm{\Λ}}_C{U}_0^T$

其中U₀和Λ_C分别表示对R进行特征值分解后的特征向量矩阵与特征值对角矩阵；

为U₀的转置矩阵；

C、联合协方差矩阵R的白化变换矩阵P为：

$P={\mathrm{\Λ}}_C^{-1/2}{U}_0^T$

D、分别对R_a和R_b进行白化变换，得到：

S_a＝PR_aP^T，S_b＝PR_bP^T

E、对S_a或S_b进行特征值分解，得到它们共同的特征向量矩阵U，投影矩阵W＝U^TP，于是对于每次实验的EEG数据矩阵X(i)投影后得到：

Z(i)＝WX(i)

对每个投影后的矩阵Z(i)取其方差作为特征进行分类。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种脑机接口的二维光标控制方法，其特征在于，使用者根据显示装置中的工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，经模数转换模块转化和信号放大器放大后将信号通过计算机的I/O接口模块传给计算机内部的信号处理模块，信号处理模块对头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息分别进行预处理、特征提取和分类，根据头皮脑电信号中包含的P300信息确定光标需移动的垂直位移，根据头皮脑电信号中包含的运动想象ERD/ERS信息确定光标需移动的水平位移，然后将位移信息传至计算机内部的控制模块，控制模块通过计算机的I/O接口模块将控制命令传至显示装置，控制光标在工作界面上二维连续移动。

2.根据权利要求1所述的脑机接口的二维光标控制方法，其特征在于步骤具体如下：

(1)系统初始化：给使用者戴上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后打入导电胶并确定导电性良好，启动系统，打开显示装置中的工作界面；

(2)信号采集：使用者根据工作界面指令产生头皮脑电信号，电极帽采集头皮脑电信号，然后经模数转换模块转化和信号放大器放大后将信号通过计算机内部的I/O接口模块传给计算机内部的信号处理模块；

(3)信号处理：信号处理模块将接收到的头皮脑电信号传送至信号处理模块中用于处理头皮脑电信号中P300信息的P300信息预处理模块和用于处理头皮脑电信号中运动想象ERD/ERS信息的ERD/ERS信息预处理模块，P300信息预处理模块、P300信息特征提取模块、P300信息分类算法模块依次对头皮脑电信号进行低通滤波、P300信息特征提取和分类，最后计算出光标需移动的垂直位移；同时对于接收到的头皮脑电信号，信号处理模块中的ERD/ERS信息预处理模块先对信号进行降采样和CAR滤波，提取出Mu节律频带，然后信号传送至ERD/ERS信息特征提取模块进行特征提取，根据提取出的特征ERD/ERS信息分类算法模块进行分类并计算出光标需移动的水平位移；最后将得到的垂直和水平位移信息传送至计算机内部的控制模块，控制模块做出控制命令后经I/O接口模块将控制命令传送至显示装置；

(4)光标控制：显示装置按照控制模块做出的控制命令控制光标在工作界面上移动，然后使用者判断是否到达指定位置，如果到达则停止操作，如果没有则使用者继续步骤(2)和步骤(3)控制光标移动。

3.根据权利要求2所述的脑机接口的二维光标控制方法，其特征在于，所述步骤(2)和步骤(3)中的I/O接口模块包括并行口、液晶显示输出接口、USB接口。

4.根据权利要求2所述的脑机接口的二维光标控制方法，其特征在于，所述步骤(3)中的P300信息分类算法模块和ERD/ERS信息分类算法模块为支持向量机算法模块。

5.根据权利要求2所述的脑机接口的二维光标控制方法，其特征在于，所述步骤(3)中，信号处理模块中的P300信息特征提取模块以选择的电极的信号幅值作为特征。

6.根据权利要求2所述的脑机接口的二维光标控制方法，其特征在于，所述步骤(3)中，信号处理模块中的ERD/ERS信息特征提取模块以采用共同空域模式提取的空间投影后的信号方差为特征，共同空域模式具体包括以下步骤：

(3-1)分别计算两类平均的协方差矩阵：

$R_a=\frac{1}{n_1}\underset{i=1}{\overset{n_1}{\mathrm{\Σ}}}{R}_a\left(i\right),$ $R_b=\frac{1}{n_2}\underset{i=1}{\overset{n_2}{\mathrm{\Σ}}}{R}_b\left(i\right)$

其中R_a(i)和R_b(i)表示分别对应于a类和b类，第i次实验的协方差矩阵；n₁表示a类样本的数量，n₂表示b类样本的数量；

(3-2)联合协方差矩阵R＝R_a+R_b，对其进行奇异值分解：

$R=U_0{\mathrm{\Λ}}_C{U}_0^T;$

其中U₀和Λ_C分别表示对R进行特征值分解后的特征向量矩阵与特征值对角矩阵；

为U₀的转置矩阵；

(3-3)联合协方差矩阵R的白化变换矩阵P为：

$P={\mathrm{\Λ}}_C^{-1/2}{U}_0^T;$

(3-4)分别对R_a和R_b进行白化变换，得到：

S_a＝PR_aP^T，S_b＝PR_bP^T；

(3-5)对S_a或S_b进行特征值分解，得到它们共同的特征向量矩阵U，投影矩阵W＝U^TP，于是对于每次实验的EEG数据矩阵X(i)投影后得到：

Z(i)＝WX(i)

对每个投影后的矩阵Z(i)取其方差作为特征进行分类。

7.一种脑机接口的二维光标控制装置，包括电极帽、模数转换模块、信号放大器、计算机和显示装置，电极帽、模数转换模块、信号放大器三者之间通过导线依次连接；信号放大器通过计算机上的I/O接口模块与计算机相连，计算机通过I/O接口模块与显示装置相连，其特征在于，电极帽与使用者的脑头皮相接采集头皮脑电信号；计算机内部设有信号处理模块和控制模块，信号处理模块中包括用于处理头皮脑电信号中P300信息的P300信息预处理模块、P300信息特征提取模块和P300信息分类算法模块以及用于处理头皮脑电信号中运动想象ERD/ERS信息的ERD/ERS信息预处理模块、ERD/ERS信息特征提取模块和ERD/ERS信息分类算法模块；P300信息预处理模块、P300信息特征提取模块和P300信息分类算法模块依次连接，ERD/ERS信息预处理模块、ERD/ERS信息特征提取模块和ERD/ERS信息分类算法模块依次连接；P300信息分类算法模块和ERD/ERS信息分类算法模块与控制模块相连，控制模块通过I/O接口模块与显示装置相连。

Images