CN101576772A

CN101576772A - 基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法

Info

Publication number: CN101576772A
Application number: CNA2009100688345A
Authority: CN
Inventors: 赵丽; 崔世钢; 边琰
Original assignee: TIANJIN ENGINEERING NORMAL COLLEGE
Current assignee: TIANJIN ENGINEERING NORMAL COLLEGE; Tianjin University of Technology
Priority date: 2009-05-14
Filing date: 2009-05-14
Publication date: 2009-11-11
Anticipated expiration: 2029-05-14
Also published as: CN101576772B

Abstract

本发明公开一种基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法，系统有依次串连连接的信号采集模块、脑电处理装置和显示界面，以及通过视觉刺激来使大脑产生脑电信号的视觉刺激器，显示界面也通过视觉向信号采集模块反馈所采集到的信号。方法有：设置视觉刺激器的频率，使6个不同的LED发光块以各自频率稳定闪烁；将两个头皮电极放置在人体的脑后枕区，并使人的视觉对着视觉刺激器的6个不同的LED发光块，通过头皮电极采集脑电信号并对采集到的脑电信号进行放大和A/D转换后送入脑电处理装置进行脑电处理；通过显示界面显示处理后的脑电信息。本发明不需要语言或者动作作为信息传递的媒介，就可以实现人脑与外界交流和对外围设备的控制。

Description

基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法

技术领域

本发明涉及一种稳态视觉诱发电位脑机接口系统。特别是涉及一种能够达到脑机接口系统较高的准确率和较快的通讯速度的基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法。

背景技术

基于稳态视觉诱发电位的脑机接口系统是利用视觉刺激器诱发脑电信号来实现人脑与外围设备的通信与交流的途径。它不需要语言或者动作作为信息传递的媒介，就可以实现人脑与外界交流和对外围设备的控制。对于严重运动障碍人士，脑机接口可以为他们提供与外界交流的媒介，提高他们的生活质量。在脑机接口系统中，控制信号的提取是关键技术。脑机接口技术可以实现对电视、电灯的开关实现控制，同时也可以协助残疾人进行电脑等设备的操作。

视觉诱发电位(Visual Evoked Potential，VEP)根据刺激信号的不同可以分为瞬态诱发电位和稳态诱发电位(Steady State VEP，SSVEP)。瞬态诱发电位的刺激频率一般不超过2Hz，当新刺激来到之前，上一个刺激响应已经结束了。如果刺激的频率超过了6Hz，各次刺激引起的VEP在时间上发生重叠，就形成了稳态视觉诱发电位。稳态视觉诱发电位以其高信息传输率、短训练时间、特征易于提取等优点被称为是一种具有应用价值的脑机接口输入信号。

发明内容

本发明所要解决的技术问题是，提供一种能够达到脑机接口系统较高的准确率和较快的通讯速度的基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法。

本发明所采用的技术方案是：一种基于虚拟仪器稳态视觉诱发电位脑机接口系统，包括有依次串连连接的信号采集模块、脑电处理装置和显示界面，以及通过视觉刺激来使大脑产生脑电信号的视觉刺激器，所述的显示界面也通过视觉向信号采集模块反馈所采集到的信号。

所述的信号采集模块包括有与人体脑部连接的头皮电极，与头皮电极相连接收该头皮电极所发出的信号的脑电放大器，以及与脑电放大器相连的脑电采集模块，所述的脑电采集模块的输出端连接脑电处理装置的信号输入端。

所述的视觉刺激器包括显示6种不同频率的6组频率显示模块，每一组频率显示模块又包括一个单片机和由单片机控制的数码管，所述的单片机通过译码器和与译码器相连的四个三极管控制数码管(D3)的位选；所述的单片机通过一个电阻控制数码管的小数点；所述的单片机通过集成芯片控制数码管的段选，所述的数码管所显示的频率是通过与单片机相连的频率设置按键进行设置，所述的单片机的P2接口通过一个三级管驱动LED发光模块。

所述的6组频率显示选用相同的单片机和相同的数码管。

本发明的用于基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，包括如下阶段：

一)设置视觉刺激器的频率，使6个不同的LED发光块以各自频率稳定闪烁；

二)将两个头皮电极放置在人体的脑后枕区，并使人的视觉对着视觉刺激器的6个不同的LED发光块，通过头皮电极采集脑电信号并对采集到的脑电信号进行放大和A/D转换后送入脑电处理装置进行脑电处理；

三)通过显示界面显示处理后的脑电信息。

所述的设置视觉刺激器的频率，是通过视觉刺激器的频率设定键进行设置。

所述的6个不同的LED发光块所显示的频率分别代表：上、下、左、右、抓和放。

所述的脑电处理包括如下步骤：

i)从信号采集模块采集数据，并进行显示和存储；

ii)判断采样时间是否大于设定的时间，不是，继续进行数据存储；

iii)判断采样时间大于设定的时间，读取数据；

iv)对读取的数据使用db5小波母函数进行三层小波分解，设定去噪阈值后，利用db5小波进行高频分量(d1+d2+d3)小波重构；

v)将去噪后的信号利用db30小波进行四层小波包分解，然后重构每个子频带的信号；

vi)提取6个刺激频率所在子频带，并计算每个频带的信号能量；

vii)进行能量归一化，利用6个归一化后能量构成脑电信号的特征向量；

viii)搜索特征向量的最大值；

ix)根据搜索结果找出人脑所发出的指令，并进行显示。

所述的计算每个频带的信号能量是通过如下公式进行计算：

E = Σ_{i = 1}^{n} x_{i}^{2},

其中，x_i为信号序列的第i个小波系数，i＝1，2，3，…，n，E为该子频带的信号能量。

所述的能量归一化是：用诱发脑电各个频带能量减去响应前的原始脑电相应频带的能量，再除以诱发脑电的总能量和原始脑电总能量之差。

本发明的基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法，不需要语言或者动作作为信息传递的媒介，就可以实现人脑与外界交流和对外围设备的控制。稳态视觉诱发电位具有信息传输率高、训练时间短及特征易于提取等优点，因而是一种非常实用的脑机接口系统的输入信号。对于严重运动障碍人士，本发明可以为他们提供与外界交流的媒介，提高他们的生活质量。对于视觉正常的普通人在行动不便的情况下，本发明也可以提供一种有效的与外界交流的途径。

附图说明

图1是本发明的整体框图；

图2是本发明的视觉刺激器的电路原理图；

图3是本发明的控制方法流程图。

其中：

1：信号采集模块 2：脑电处理装置

3：显示界面 4：视觉刺激器

11：头皮电极 12：脑电放大器

13：脑电采集模块

具体实施方式

下面结合实施例和附图对本发明的基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法做出详细说明。

如图1所示，本发明的基于虚拟仪器稳态视觉诱发电位脑机接口系统，包括有依次串连连接的信号采集模块1、脑电处理装置2和显示界面3，以及通过视觉刺激来使大脑产生脑电信号的视觉刺激器4，所述的显示界面3也通过视觉向信号采集模块1反馈所采集到的信号。

所述的信号采集模块1包括有与人体脑部连接的头皮电极11，与头皮电极11相连接收该头皮电极11所发出的信号的脑电放大器12，以及与脑电放大器12相连的脑电采集模块13，所述的脑电采集模块13的输出端连接脑电处理装置2的信号输入端。

所述的脑电放大器12采用申请号为200920096697.1，发明名称为“微型脑电信号采集模块”所公开的电路。

所述的脑电采集模块13采用美国国家仪器(NI)公司生产的6024E数据采集卡。

所述的脑电处理装置2采用计算机。

如图2所示，所述的视觉刺激器4包括显示6种不同频率的6组频率显示模块，每一组频率显示模块又包括一个单片机U1和由单片机U1控制的数码管D3，所述的单片机U1通过译码器U4和与译码器U4相连的四个三极管Q1、Q2、Q3、Q4控制数码管D3的位选1、2、3、4；所述的单片机U1通过一个电阻R17控制数码管D3的小数点dip；所述的单片机U1通过集成芯片U5控制数码管的段选a、b、c、d、e、f，所述的数码管D3所显示的频率是通过与单片机U1相连的频率设置按键S3、S2进行设置，单片机U1的P2接口通过一个三级管Q5驱动LED发光模块D1。

所述的6组频率显示选用相同的单片机U1和相同的数码管D3。其中，单片机U1采用型号为AT89S52的单片机。

6块相同的单片机U1分别控制6路LED发光块D1的闪光频率，并利用数码管D3显示当前的闪光频率。并且利用了单片机外部两个中断接口实现对频率的加、减控制系统运行，即通过与单片机U1相连的频率设置按键S3、S2进行设置。视觉刺激器以6种不同的频率稳定闪烁，以区分不同的控制命令。频率在5-20Hz的频率范围内每隔0.1Hz可调，频率误差在±0.01Hz。为了避免相邻LED之间的干扰，将发光块封装成边长为2厘米的正方形，相邻发光块的之间的距离是5厘米。

6个白色LED发光块，分别以6个不同的频率闪烁，代表6种控制命令，受试者通过注视其中的一个频率显示模块来选择相应的控制命令。头皮电极按照国际10-20系统置于O₁、O₂处，双耳为参考电位。头皮电极将采集的脑电信号传递给脑电放大器12，经过放大的脑电信号通过美国国家仪器(NI)公司生产的6024E数据采集卡进行12位A/D转换进入计算机。通过计算机对脑电信号的分析处理，可以判断出受试者选择的控制命令。本系统包含一个反馈环节，使用者可以通过字符输出显示界面3的输出字符判断前步控制的有效性。

如图3所示，本发明的的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，包括如下阶段：

一)设置视觉刺激器的频率，使6个不同的LED发光块以各自频率稳定闪烁；所述的设置视觉刺激器的频率，是通过视觉刺激器的频率设定键进行设置。

二)将两个头皮电极放置在人体的脑后枕区，并使人的视觉对着视觉刺激器的6个不同的LED发光块，通过头皮电极采集脑电信号并对采集到的脑电信号进行放大和A/D转换后送入脑电处理装置进行脑电处理；所述的6个不同的LED发光块所显示的频率分别代表：上、下、左、右、抓和放。

所述的脑电处理包括如下步骤：

i)从信号采集模块采集数据，并进行显示和存储；

iii)判断采样时间大于设定的时间，读取数据；

所述的计算每个频带的信号能量是通过如下公式进行计算：

E = Σ_{i = 1}^{n} x_{i}^{2},

其中，x_i为信号序列的第i个小波系数，i＝1，2，3，…，n。E为该子频带的信号能量。

viii)搜索特征向量最大值；

ix)根据搜索结果找出人脑所发出的指令，并进行显示。

三)通过显示界面显示处理后的脑电信息。

本发明的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，是在Labview平台上完成。稳态视觉诱发电位采集和处理的程序集脑电波采集、脑电波形显示、脑电信号实时处理和实验结果反馈为一体。在完成脑电波采集时，可以完成脑电采集通道，采样频率及时间的设置。在本系统中标准设置为每4s钟进行一次脑电信号的实时处理。脑电显示区域可以同步实时显示脑电图。采集到的脑电利用离散小波变换进行去噪预处理，本发明是利用db5小波进行三层小波分解，然后利用分解后的高频分量进行小波重构以达到消噪的目的。然后利用db30小波对信号做四层小波包分解与重构，共得到16个子频带。6个刺激频率分布在6个不同的频带内，获得6个刺激率所在频带的时间信号。

然后利用小波系数计算出子频带能量，假设一个子频带内包含有n个小波系数，则该频带的能量E可用公式

E = Σ_{i = 1}^{n} x_{i}^{2}

计算，x_i为信号序列的第i个小波系数，i＝1，2，3，…，n。将各个子带能量归一化，为了更能显示诱发后脑电的变化情况，我们使用有刺激后的脑电能量减去预先测好的原始脑电相应子带能量，计算公式为E(i)＝(e(i)-ee(i))/((e-ee))；i＝1，2，3，4，5，6，其中E(i)为第i个频带的归一化能量。e(i)为视觉诱发后第i个频带的能量，ee(i)为没有诱发时原始脑电第i个频带的能量，e为六个子频带诱发脑电的总能量，ee为没有诱发时原始脑电6个频带的总能量。即用诱发脑电各个频带能量减去响应前的原始脑电频带的能量，再除以诱发脑电的总能量和原始脑电总能量之差。然后将各个刺激频率所在的频带归一化能量构成特征向量S＝[E1，E2，E3，E4，E5，E6]，并检测特征向量的中的最大值进行模式识别。识别结果代表不同的输出字符反馈给受试者。本系统中还可以实时观察脑电能量谱图，可以直观的反应实验过程中脑电的变化情况。在反馈区域实验结果会以动画的形式反馈受试者发出的控制命令，屏幕上会出现代表控制命令的不同字符。

实验结果表明，最好情况下每2s受试者就可以向脑机接口系统发送一控制命令。系统准确率达到了80％以上，达到了比较高的信息传输速率和准确率。实验结果表明，基于虚拟仪器技术的稳态视觉诱发电位脑机接口系统具有可行性和先进性。

Claims

1.一种基于虚拟仪器稳态视觉诱发电位脑机接口系统，其特征在于，包括有依次串连连接的信号采集模块(1)、脑电处理装置(2)和显示界面(3)，以及通过视觉刺激来使大脑产生脑电信号的视觉刺激器(4)，所述的显示界面(3)也通过视觉向信号采集模块(1)反馈所采集到的信号。

2.根据权利要求1所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统，其特征在于，所述的信号采集模块(1)包括有与人体脑部连接的头皮电极(11)，与头皮电极(11)相连接收该头皮电极(11)所发出的信号的脑电放大器(12)，以及与脑电放大器(12)相连的脑电采集模块(13)，所述的脑电采集模块(13)的输出端连接脑电处理装置(2)的信号输入端。

3.根据权利要求1所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统，其特征在于，所述的视觉刺激器(4)包括显示6种不同频率的6组频率显示模块，每一组频率显示模块又包括一个单片机(U1)和由单片机(U1)控制的数码管(D3)，所述的单片机(U1)通过译码器(U4)和与译码器(U4)相连的四个三极管(Q1、Q2、Q3、Q4)控制数码管(D3)的位选(1、2、3、4)；所述的单片机(U1)通过一个电阻(R17)控制数码管(D3)的小数点(dip)；所述的单片机(U1)通过集成芯片(U5)控制数码管(D3)的段选(a、b、c、d、e、f)，所述的数码管(D3)所显示的频率是通过与单片机(U1)相连的频率设置按键(S3、S2)进行设置，所述的单片机(U1)的P2接口通过一个三级管(Q5)驱动LED发光模块(D1)。

4.根据权利要求3所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统，其特征在于，所述的6组频率显示选用相同的单片机(U1)和相同的数码管(D3)。

5.一种用于权利要求1所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，其特征在于，包括如下阶段：

三)通过显示界面显示处理后的脑电信息。

6.根据权利要求5所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，其特征在于，所述的设置视觉刺激器的频率，是通过视觉刺激器的频率设定键进行设置。

7.根据权利要求5所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，其特征在于，所述的6个不同的LED发光块所显示的频率分别代表：上、下、左、右、抓和放。

8.根据权利要求5所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，其特征在于，所述的脑电处理包括如下步骤：

i)从信号采集模块采集数据，并进行显示和存储；

iii)判断采样时间大于设定的时间，读取数据；

viii)搜索特征向量的最大值；

ix)根据搜索结果找出人脑所发出的指令，并进行显示。

9.根据权利要求8所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，其特征在于，所述的计算每个频带的信号能量是通过如下公式进行计算：

E = Σ_{i = 1}^{n} x_{i}^{2},

10.根据权利要求8所述的基于虚拟仪器稳态视觉诱发电位脑机接口系统的控制方法，其特征在于，所述的能量归一化是：用诱发脑电各个频带能量减去响应前的原始脑电相应频带的能量，再除以诱发脑电的总能量和原始脑电总能量之差。