CN106371590A - 基于OpenVIBE的高性能运动想象在线脑机接口系统 - Google Patents

Abstract

本发明公开了一种基于OpenVIBE的高性能运动想象在线脑机接口系统，包括信号采集设备、信号测试脚本、信号采集脚本、数据训练脚本以及在线实验脚本，其中，信号测试脚本连接信号采集设备，通过信号测试脚本检测信号质量，再通过信号采集脚本设置实验参数并进行运动想象实验数据采集，然后使用数据训练脚本基于RSTFC算法实现时空滤波分类器的训练，并得到具体的时空滤波分类器导入所述在线实验脚本，在线实验脚本根据训练得到的时空滤波分类器实现高性能的运动想象在线脑机接口系统。本发明采用模块化的设计方法提高了系统的可读性和灵活性，便于进行功能扩展，极大的提高了研究人员的工作效率，并且具有准确度高、性能好的优点。

Description

基于OpenVIBE的高性能运动想象在线脑机接口系统

技术领域

本发明涉及运动想象在线脑机接口领域，特别涉及一种基于OpenVIBE的高性能运动想象在线脑机接口系统。

背景技术

脑机接口(Brain-computer Interface BCI)是一种实现人脑与外部设备直接进行交互的技术手段,近年来在世界范围内取得了很大的发展。目前,已知的脑机接口系统主要可以分为三个部分,分别为数据采集、信号处理和设备控制。其中,数据采集主要涉及硬件部分，主要包括电极帽、信号放大器和电源等，将大脑皮层的电位信号输入到计算机系统。由于脑电信号强度很弱，因此在信号采集过程中需要进行信号去噪和信号放大处理，两个环节都可以由信号放大器实现。信号处理则是脑机接口系统的核心部分，主要完成信号的预处理、特征提取以及信号分类过程。设备控制则关系到系统的具体用途，由信号处理输出控制信号，设备根据控制信号实现具体操作。

近年来,为了实现脑机接口在临床应用上的突破,人们对脑机接口技术可靠性的要求越来越高,随之产生了很多理论上的成果和进展。这些成果有望为那些大脑活动正常，而运动功能存在障碍的病患者提供帮助，减轻他们的不能自由活动的痛苦。当然,为了更好的适应脑机接口设备,病人在使用前需要进行必要的训练和学习，最终借助脑机接口系统重新获得和控制运动功能。目前已经实现的应用包括字符输入、轮椅操控、家电控制等等，极大地改善了残障人群的正常生活。

脑机接口技术作为一个前沿研究领域，具有非常广阔的发展前景，但是其复杂性高、跨领域多以及研究成本较高的特点也决定了有很多不足需要改进。

(1)准确率不高：目前绝大多数脑机接口系统还存在着判断准确率不高的问题。事实上脑机接口系统的结果受多方面因素的影响，主要包括硬件设备的可靠性、EEG信号处理算法的优越性、实验环境(噪声等外部干扰、实验者的身体和精神状态等)等，这些因素都会对实验结果产生重大的影响。因此目前的脑机接口研究主要还停留在实验室阶段，与实际应用的要求还存在着一定的差距。

(2)在线程度较低：脑机接口领域已经称为日渐热门的研究方向，但这些研究主要还是集中在离线分析上。研究者通过对离线数据的分析提出相应的数据处理算法，并以仿真的形式做出结果判断。这样的研究形式可以在一定程度上保证结果的可靠性，但考虑到在实际应用中的主要形式是在线情况，因此在线分析才能贴近实际，搭建高性能在线-脑机接口势在必行。

(3)实验研究的隔离：不同的研究机构或单位都会有自己的实验设备和相应的实验系统，但这些系统之间的关联程度很低。这就形成了这样一种现象：当在原有系统中加入外来的新的理论成果时，往往需要增加很多额外的工作量，因此理论与实践的转换效率往往不高。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于OpenVIBE的高性能运动想象在线脑机接口系统，该在线脑机接口系统是易于二次开发和扩展的运动想象在线脑机接口系统，可促进运动想象的实验研究，同时提高运动想象在线实验系统的准确率。

为了达到上述目的，本发明采用以下技术方案：

一种基于OpenVIBE的高性能运动想象在线脑机接口系统，所述脑机接口系统包括：信号采集设备、信号测试脚本、信号采集脚本、数据训练脚本以及在线实验脚本，

所述信号测试脚本连接所述信号采集设备，通过所述信号测试脚本检测信号质量，再通过所述信号采集脚本设置实验参数并进行运动想象实验数据采集，然后使用所述数据训练脚本基于RSTFC(Regularized Spatio-Temporal Filtering andClassification)算法实现时空滤波分类器的训练，并得到具体的时空滤波分类器导入所述在线实验脚本，所述在线实验脚本根据训练得到的时空滤波分类器实现高性能的运动想象在线脑机接口系统。

进一步地，所述信号采集设备包括BrainCap MR、BrainAmp MR、USB2 Adapter、以及PowerSupply。

进一步地，所述信号测试脚本包括信号输入接口、时域滤波器、信号显示器。

进一步地，所述信号采集脚本包括信号输入接口、时域滤波器、运动想象实验参数模块、反馈模块以及文件存储模块。

进一步地，所述数据训练脚本包括文件读取模块、滤波器训练模块、分类器训练模块。

进一步地，所述在线实验脚本包括信号输入接口、滤波器模块、分类器模块、实验结果计算模块。

进一步地，所述脑机接口系统包括UI界面，所述UI界面通过PC显示器实现人机交互功能，包括左右箭头显示、反馈显示以及实验结果显示。

进一步地，所述数据训练脚本用于实现一种时空滤波分类器，包括下述步骤：

S1、数据读取，将数据信息和文件的相关信息分别保存，截取有效实验数据部分；

S2、维度扩展，通过交叉验证来获得扩展倍数，在每个初始trial的基础上不断右移，并在左侧补零，得到同等维度的矩阵，最后拼接成新的扩展矩阵；

S3、构造协方差矩阵，将扩展后的矩阵取协方差；

S4、将协方差矩阵以及类别标签进行归一化；

S5、广义特征分解，在求解广义特征分解时分别加入正则化约束，通过交叉验证正则化系数值；

S6、根据以上步骤中得到的空域滤波器对训练集进行空域滤波获得特征构造；

S7、分类器训练，用训练集构造的特征及其对应的标签来训练线性分类器模块，最终得到权重；

S8、测试集测试，对测试数据集进行时空域滤波和分类，与测试集标签进行比较，得到测试正确率，初步判断实验效果。

进一步地，所述在线实验脚本用于实现运动想象在线实验，包括下述步骤：

S1、实验设置，在Graz Motor Imagery BCI Stimulator模块中设置实验trial数量；

S2、维度扩展，采用Python scripting模块实现维度扩展；

S3、时空滤波，通过Spatial Filter模块完成扩展矩阵协方差的时空滤波；

S4、信号简单处理，通过Simple DSP模块对输入信号的每一个采样点进行数学处理并输出相应结果，通过Signal average模块计算每个通道的采样平均值，并输出到下一模块；

S5、数据分类，通过Feature aggregator模块将数据转化为Classifierprocessor模块可识别的特征向量形式；然后，将训练得到的分类器权值导入Classifierprocessor模块，对特征向量进行加权求解，得到分类结果；

S6、实验反馈，通过Graz visualization模块实现，在线反馈实验时在屏幕出现左右箭头后，系统会在实验者实验过程中每32个采样点进行一次判断，判断结果在屏幕上呈蓝色矩形框；

S7、实验结果显示，通过Accuracy Measure模块实现，该模块有两个输入信号，分别为标签信号和分类器判断结果信号，在实验过程中通过分类器计算结果实时显示实验的正确率。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明采用模块化的设计方法。一方面，模块化设计具有高度可视化的特点，使用者可以通过实验模型十分直观的了解整个脑机接口系统的实现过程，便于在不同研究机构或个人之间的交流；另一方面，模块化设计具有使用方便的特点，首先通过一系列的可用模块，可以高效的进行重组和设计，极大地简化了系统设计模式；其次，程序拓展极其便捷，可以在系统中利用MATLAB或Python模块方便的进行功能扩展，对于不具有编程背景的研究人员也可高效的按照需求对本发明进行改造。

(2)本发明数据训练脚本和在线实验脚本的设计采用RSTFC算法，分为STRCSP算法(Spatio-Temporal Regularized Common Spatial Pattern)和SFLDA算法(Sparse FisherLinear Discriminant Analysis algorithm)两部分，有效的提高了本系统的分类性能。一方面，采用STRCSP算法可以通过求解瑞利商函数保获得全局最优解，该时空滤波器的阶次由交叉验证确定；另一方面，STRCSP算法可以同时对每个通道设计不同的时空滤波器，更加符合生理学背景。最后，STRCSP算法在传统空域滤波的基础上加入了时域信息，有效提高了运动想象EEG信号的分类准确率。SFLDA算法主要针对STRCSP算法，通过加入稀疏项有效避免了分类过程中的维数灾难问题，提高了数据处理的计算效率。

附图说明

图1是现有技术的运动想象脑机接口系统方框图；

图2是本实例中的运动想象在线脑机接口系统方框图；

图3是本发明数据训练流程图；

图4是本发明在线实验流程图；

图5是本发明在线实验脚本结构图；

图6是本发明实时反馈示意图；

图7是本发明实验结果示意图。

具体实施方式

接下来将结合实例和附图对本发明作进一步详细的描述，但本发明的实施方法不限于此。

实施例

本发明基于OpenVIBE实验平台，该平台主要面向脑机接口系统设计，具有高度模块化的特点。本发明以模块化的设计方法设计了运动想象在线实验系统的各个部分，主要包括信号采集设备、信号测试脚本、数据采集脚本、数据训练脚本、以及在线实验脚本五大部分，各部分根据顺序进行连接，彼此联系并共同构成完整的运动想象在线实验系统。系统每个实验脚本的设计均采用模块化的设计方法，通过将不同功能封装在不同的功能模块中，并将不同功能的模块彼此连接最终实现运动想象在线脑机接口系统的不同组成部分。

如图2所示，本实施例基于OpenVIBE的高性能运动想象在线脑机接口系统，包括信号采集设备、信号测试脚本、数据采集脚本、数据训练脚本、以及在线实验脚本五大部分。运动想象实验流程为：连接信号采集设备，通过信号测试脚本检测信号质量，若采样信号不满足实验条件则调整相应软硬件设备，找出问题原因，直到信号满足要求，再通过信号采集脚本设置实验参数并进行运动想象实验数据采集，然后使用数据训练脚本完成滤波器和分类器的训练，将训练得到的滤波器和分类器导入在线实验脚本，并通过在线实验脚本实现运动想象在线实验，在线实验过程中通过实时反馈模块帮助实验者有效的提高在线实验的正确率。

上述信号采集设备采用BP信号采集设备，包括BrainCap MR(电极帽)、BrainAmpMR(放大器)、USB2 Adapter(适配器)、以及PowerSupply(电源)。

(1)BrainCap MR上的电极采用新型的Ag/AgCl材料，可以降低头皮和电极之间的阻抗，并且快速实现信号幅值变化的再现，获得良好的EEG信号；

(2)BrainAmp MR的接口选择为32导，如果要使用64导放大器则可以将两个放大器组合使用；

(3)USB2 Adapter(适配器)采用USB2.0接口进行通信，通过光纤实现脑电放大器和电脑端的连接，能够快速的将放大器传输的EEG信号导入电脑端，最多可以记录128导联的EEG信号，完全满足本系统的设计需求。

(4)PowerSupply通过接入220V交流电网来为放大器供电，具有稳定性好，使用方便的特点。

上述信号测试脚本包括信号输入接口、时域滤波器、信号显示器。

上述信号采集脚本包括信号输入接口、时域滤波器、运动想象实验参数模块、反馈模块以及文件存储模块。

上述数据训练脚本包括文件读取模块、滤波器训练模块、分类器训练模块。

上述在线实验脚本包括信号输入接口、滤波器模块、分类器模块、实验结果计算模块。

本实施例公开的一种基于OpenVIBE的高性能运动想象在线脑机接口系统还包括：UI界面，所述UI界面通过PC显示器实现各种人机交互功能，包括左右箭头显示、反馈显示以及实验结果显示。

如图3所示，本实施例的数据训练脚本用于实现一种时空滤波分类器，包括下述步骤：

S1、数据读取，将数据信息保存在s中，文件的相关信息，如stimulation、数据大小、实验信息等等均保存在h中，然后根据h.EVENT.TYP列表得到截取训练数据对应的标签信息。最终得到60个trial(每个trial大小为32*1000，左右想象运动各30个)。

S2、维度扩展，维度扩展的倍数是一个经验值，可根据交叉验证来获得，本实例采用6阶滤波器。原始信号维度扩展的方法是在每个初始trial的基础上不断右移，并在左侧补零，得到同等维度的矩阵，最后拼接成新的扩展矩阵，这里右移的幅度取1个采样点(可根据需要调整幅度)。

S3、构造协方差矩阵，将扩展后的矩阵取协方差。

S4、协方差矩阵的归一化以及类别标签的归一化。

这里的归一化分为两个部分，即协方差矩阵的归一化以及类别标签的归一化。协方差的归一化处理只需将每组协方差除以各自的迹即可得到，为了统一标签信息，便于实验系统的泛化处理，将得到的类别标签做归一化处理，统一表示成-1和1两类。

S5、广义特征分解。在进行广义特征分解时，由于维度的扩展使得系统的算法复杂度大大增加，为了避免维数灾难，在求解广义特征分解时分别加入正则化约束。正则化系数是一个超参数，可通过交叉验证法确定，本实施例选择的正则化系数值为0.1。

最终所要得到的时空滤波器即为两类信号最大的96个特征值所对应的特征向量所组成的权重向量矩阵，该滤波器矩阵大小为[192*192]。

S6、特征构造，根据以上步骤中得到的空域滤波器对训练集进行空域滤波获得。

S7、分类器训练，是数据训练的最后一个环节，用训练集构造的特征及其对应的标签来训练线性分类器模块，最终得到权重beta。具体的训练过程需要借助第三方MATLAB工具包CVX。

S8、测试集测试，对测试数据集进行时空域滤波和分类，与测试集标签进行比较，得到测试正确率，初步判断实验效果。

如图4和图5所示，本实例在线实验脚本中基于时空滤波分类器的在线实验实现方法，包括下述步骤：

S1、实验设置，在Graz Motor Imagery BCI Stimulator模块中设置实验trial数量40组，其余参数与数据采集阶段相同。

S2、维度扩展，在线实验环节维度扩展的实现主要采用Python scripting模块实现，本实例的时钟频率选择64Hz。每个trial的数据大小为[32,1000](在线部分的数据大小为[32,32])，时域滤波器阶数的值6。

S3、时空滤波，通过Spatial Filter模块完成扩展矩阵协方差的时空滤波。

S4、信号简单处理，通过Simple DSP模块对输入信号的每一个采样点进行数学处理并输出相应结果。通过Signal average模块计算每个通道的采样平均值，并输出到下一模块。

S5、数据分类，通过Feature aggregator模块，将数据(chunk)转化为Classifierprocessor模块可识别的特征向量形式；然后，将训练得到的分类器权值导入Classifierprocessor模块，对特征向量进行加权求解，得到分类结果。

S6、实验反馈，本发明实验反馈示意图如图6所示。通过Graz visualization模块实现，在线反馈实验时在屏幕出现左右箭头后，系统会在实验者实验过程中每0.0625秒(即32个采样点)进行一次判断，判断结果在屏幕上呈蓝色矩形框。

S7、实验结果，本发明结果显示界面如图7所示。通过Accuracy Measure模块实现，该模块有两个输入信号，分别为标签信号和分类器判断结果信号，在实验过程中通过分类器计算结果实时显示实验的正确率。

综上所述，本实施例公开的运动想象在线脑机接口系统，可以有效地帮助脑电研究者完成算法的在线实验验证，同时本系统模块化的编程方法可以方便的对系统功能进行扩展，极大的提高了研究者的工作效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述脑机接口系统包括：信号采集设备、信号测试脚本、信号采集脚本、数据训练脚本以及在线实验脚本，

所述信号测试脚本连接所述信号采集设备，通过所述信号测试脚本检测信号质量，再通过所述信号采集脚本设置实验参数并进行运动想象实验数据采集，然后使用所述数据训练脚本基于RSTFC算法实现时空滤波分类器的训练，并得到具体的时空滤波分类器导入所述在线实验脚本，所述在线实验脚本根据训练得到的时空滤波分类器实现高性能的运动想象在线脑机接口系统。

2.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述信号采集设备包括BrainCap MR、BrainAmp MR、USB2Adapter、以及PowerSupply。

3.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述信号测试脚本包括信号输入接口、时域滤波器、信号显示器。

4.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述信号采集脚本包括信号输入接口、时域滤波器、运动想象实验参数模块、反馈模块以及文件存储模块。

5.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述数据训练脚本包括文件读取模块、滤波器训练模块、分类器训练模块。

6.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述在线实验脚本包括信号输入接口、滤波器模块、分类器模块、实验结果计算模块。

7.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述脑机接口系统包括UI界面，所述UI界面通过PC显示器实现人机交互功能，包括左右箭头显示、反馈显示以及实验结果显示。

8.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述数据训练脚本用于实现一种时空滤波分类器，包括下述步骤：

S1、数据读取，将数据信息和文件的相关信息分别保存，截取有效实验数据部分；

S2、维度扩展，通过交叉验证来获得扩展倍数，在每个初始trial的基础上不断右移，并在左侧补零，得到同等维度的矩阵，最后拼接成新的扩展矩阵；

S3、构造协方差矩阵，将扩展后的矩阵取协方差；

S4、将协方差矩阵以及类别标签进行归一化；

S5、广义特征分解，在求解广义特征分解时分别加入正则化约束，通过交叉验证正则化系数值；

S6、根据以上步骤中得到的空域滤波器对训练集进行空域滤波获得特征构造；

S7、分类器训练，用训练集构造的特征及其对应的标签来训练线性分类器模块，最终得到权重；

S8、测试集测试，对测试数据集进行时空域滤波和分类，与测试集标签进行比较，得到测试正确率，初步判断实验效果。

9.根据权利要求1所述的基于OpenVIBE的高性能运动想象在线脑机接口系统，其特征在于，所述在线实验脚本用于实现运动想象在线实验，包括下述步骤：

S1、实验设置，在Graz Motor Imagery BCI Stimulator模块中设置实验trial数量；

S2、维度扩展，采用Python scripting模块实现维度扩展；

S3、时空滤波，通过Spatial Filter模块完成扩展矩阵协方差的时空滤波；

S4、信号简单处理，通过Simple DSP模块对输入信号的每一个采样点进行数学处理并输出相应结果，通过Signal average模块计算每个通道的采样平均值，并输出到下一模块；

S5、数据分类，通过Feature aggregator模块将数据转化为Classifier processor模块可识别的特征向量形式；然后，将训练得到的分类器权值导入Classifier processor模块，对特征向量进行加权求解，得到分类结果；

S6、实验反馈，通过Graz visualization模块实现，在线反馈实验时在屏幕出现左右箭头后，系统会在实验者实验过程中每32个采样点进行一次判断，判断结果在屏幕上呈蓝色矩形框；

S7、实验结果显示，通过Accuracy Measure模块实现，该模块有两个输入信号，分别为标签信号和分类器判断结果信号，在实验过程中通过分类器计算结果实时显示实验的正确率。