CN101515200B - 基于瞬态视觉诱发脑电的目标选择方法 - Google Patents

Abstract

一种基于瞬态视觉诱发脑电的目标选择方法，使用VC++编写视觉刺激器界面用于诱发脑电信号，使用16导采集设备采集脑电信号VEP，将采集的脑电信号经过脑电放大器放大及A/D转换，输入计算机中，并以信号电压幅值形式在存储器中存储；采用B样条双正交小波方法提取脑电特征信号并通过BP神经网络的自学习能力进行分类识别并输出相应结果；包括：利用CPU时间戳设计精确定时的视觉刺激器；对并口的输出脉冲进行响应，采集设备采集脑电信号VEP；对采集的信号进行预处理；采用B样条双正交小波方法对脑电信号进行特征提取；采用BP神经网络对特征量进行分类；该方法的优点是采用BP神经网络有利于提高视觉诱发电位的信噪比和识别率。

Description

基于瞬态视觉诱发脑电的目标选择方法

技术领域

本发明涉及脑-机接口(Brain-computer interface，BCI)装置，利用精确定时的视觉刺激器对人的视觉刺激产生瞬态视觉诱发电位，并对诱发电位进行特征提取与分类，具体涉及B样条双正交小波方法与BP神经网络相结合的特征提取及分类的方法。

背景技术

脑-机接口(Brain-computer interface，BCI)或脑-计算机接口是一种人机接口方式，它是基于脑电信号实现人脑与计算机或其他电子设备通讯和控制的系统。BCI不依赖于脑的正常输出通路(外周神经系统及肌肉组织)，是一种全新的通讯和控制方式。BCI的研究具有重要意义。BCI的一个重要用途是为思维正常但有运动障碍的人(如肌萎缩性脊髓侧索硬化患者、严重脊髓损伤或完全瘫痪的人)提供与外部环境进行交流和控制的途径。BCI还可为人们提供无需体力操作的人机交互通讯方式，适合于特殊环境下或不便采用传统控制方式时，用脑电控制外界设备。

基于脑电的BCI系统，通过实时或短时提取分析出脑电中的反映大脑不同状态的信号，来实现控制。值得提出的是，目前通过脑电直接读取出人正在进行的各种思维活动还不现实，BCI是使人产生容易被解释的脑电，然后识别出这种脑电，做出不同的选择或发出不同指令。根据BCI利用脑电信号和方式的不同，研究方法大致有以下几类：(1)事件相关电位P300；(2)视觉诱发电位(Video evoked potential，VEP)；(3)事件相关同步或去同步(Event-related synchronizations or desynchronizations，ERS/ERD)；(4)皮层慢电位(Slow corticalpotential，SCP)(5)自发EEG信号。P300和VEP都属于诱发电位，不需要训练，由于诱发电位出现在特定时间，其信号检测和处理方法较简单且正确率较高，不足之处是需要额外的刺激装置提供刺激，并且依赖于人的某种知觉(如视觉)。其它几种方法的优点是不依赖外部刺激产生用于控制的脑电信号，但使用者需要大量的训练。

视觉诱发电位是指神经系统接受视觉刺激(如图形或闪光刺激)所产生的特定电活动。当视觉刺激频率比较低，单个刺激一个接一个出现，后一个刺激出现时前一个刺激引起的枕叶皮质反应已消失，对应于每个刺激是一系列正波和负波组成的VEP波形，这时记录到的VEP称为瞬态VEP。

视觉诱发电位是指神经系统接受视觉刺激(如图形或闪光刺激)所产生的特定电活动。当屏幕上有多个可供选择的视觉刺激目标，当受试者注视其中一个目标时，虽然屏幕上所有目标进入视野，但所注视的目标影像进入受试者的中央视野，而不被注视的目标影像仅位于周围视野中，因此在大脑皮层检测到的视觉诱发电位中主要是由所注视目标刺激引起的。根据刺激与诱发电位的锁定关系，就能从检测到的视觉诱发电位判别出受试者在注视哪个目标。这就是视觉诱发电位用于脑机接口的原理。

对于不同的脑机接口应用，脑机接口系统的具体构成也有很大的差别。以利用视觉诱发脑电控制外部设备为例说明脑机接口的基本构成。

系统结构图如图1所示

脑机接口系统的输入信号是脑电信号，输出为控制命令。系统通常包括四个部分：信号采集、信号处理(特征提取)、“翻译”程序(模式识别)，控制命令输出。

目前对脑电信号进行时域或频域处理的方法已有多种，对于不同的脑电信号可以适当地选择不同信号处理方法。

(1)快速傅立叶变换(Fast Fourier Transform，FFT)

(2)自回归模型谱估计(Autoregressive，AR)

(3)独立分量分析(Independent ComponentAnalysis，ICA)

近几年来，有研究者逐渐把ICA方法运用到EP和事件相关电位(EventRelatedPotentials，ERP)的少样本提取中来。运用ICA方法提取EP需要构造合适的目标函数并采用一定算法进行优化，将观察信号分解为尽可能相互独立的成分，以便达到增强或提取EP信号的目的。研究表明独立分量分析能够较好地突现淹没在背景脑电中的诱发响应成分，从而减少提取出EP信号所需的试验次数。

上述的方法虽然在一定程度上能够实现EP/ERP的提取，但是这些方法要么假设与真实情况有误差，要么计算过程过于复杂，并不能很好地解决诱发电位的提取问题。

近年来，小波分析方法在信号处理、图像分析、语言处理、模式识别及众多非线性科学领域都得到了广泛地研究和应用。由于小波变换具有良好的时一频分析特性，能满足人们对非平稳信号及突变奇异信号分析的要求，很适合于分析神经生理信号。

小波变换是将原始信号与一个在时域和频域均具有良好局部化性质的伸缩小波函数进行积分或者卷积，把信号分解为位于各个不同频带和时段内的成分。研究表明小波变换在EP/ERP消噪、压缩以及特征量提取等方面都具有很好的效果，而且此方法能够真正意义上实现EP/ERP的单次、真实提取。

本系统的特征提取部分采用B样条双正交小波方法，由于小波理论所采用的基波同时具有不同的时间和频率分辨率，小波分析在提取诱发电位，减少刺激次数，提高信噪比方面有着明显的效果。B样条双正交小波(biorNd.Nr，d表示分解，r表示重构)是具有紧支集和对称性的小波函数。而模式识别部分则采用BP神经网络通过自学习进行分类识别。

发明内容

本发明目的在于，设计一套具有精确定时的视觉刺激器，从而能产生稳定的输出频率用于刺激视觉诱发电位的产生，并且提供一种采用B样条双正交小波方法与BP神经网络相结合的特征提取及分类方法。

本发明采取的技术方案是：使用VC++编写视觉刺激器界面，用于诱发脑电信号产生。采用16导脑电图仪作为信号采集设备采集诱发脑电信号VEP，采样频率为1000Hz。脑电信号经过脑电放大器放大及A/D转换，由USB口输入计算机中，并以信号电压幅值形式在存储器中存储。采用B样条双正交小波方法对采集的数据进行分解以提取相应的特征信号并使用BP神经网络把数据通过自学习进行分类识别并输出相应结果。

该方法依次的步骤如下：

1.利用CPU时间戳设计精确定时的视觉刺激器

Windows是基于消息机制的系统，任何事件的执行都是通过发送和接收消息来完成的。这样就带来了一些问题，如一旦计算机的CPU被某个进程占用，或系统资源紧张时，发送到消息队列中的消息就暂时被挂起，得不到实时处理。因此，不能简单地通过Windows消息引发一个对定时要求严格的事件。另外，由于在Windows中已经封装了计算机底层硬件的访问，所以，要想通过直接利用访问硬件来完成精确定时，也比较困难。

通过调用CPU的时间戳进行VC++编程可以使频率输出达到稳定。

设计视觉刺激器的闪烁频率为10Hz，由1-9共9个闪烁数字组成棋盘格。刺激器工作时每个数字依次闪烁2秒钟，在目标图像闪烁的同时，向并口输出脉冲，记录刺激时刻，根据刺激与诱发电位的锁定关系，从而可以从检测到的视觉诱发电位判别出受试者在注视哪个目标。

2.对并口的输出脉冲进行响应，利用16导脑电图仪作为信号采集设备采集诱发脑电信号VEP；

3.对采集的信号进行预处理

由于视觉诱发电位特征主要出现在低频段，因此设计48阶，256采样点的FIR滤波器对存储器中脑电信号数据进行0-3Hz低频带滤波，以去除工频噪声及外部干扰噪声；对滤波的信号进行累加平均，其具体方法是：重复25次实验，记录每一次刺激产生的诱发电位，然后把各次记录波形以施加刺激的时刻为参考点在时间上加以对齐，进行累加平均，以平均波形代表所要提取的信号。经25次累加平均后，平均响应的功率信噪比可为单次响应功率信噪比的5倍，信号与噪声的振幅之比提高了25倍。

4.采用B样条双正交小波方法对脑电信号进行特征提取。B样条小波是由一些分段多项式组成的函数，是L²(R)空间中的一个基。利用B样条双正交小波方法对小波信号进行5层分解，剔除不相关频段信号再对信号进行重构，最后根据经验选择相应时间点的脑波功率幅值作为特征量进行提取。

5.采用BP神经网络对特征量进行分类

选择BP神经网络为分类器，通过对特征量进行训练、学习对特征进行分类，输出结果即反映使用者所选择的目标。BP网络是一个多层感知网络，是由输入层，中间层(隐层)，输出层组成的前馈网络。相对于其他神经网络模型来说，BP神经网络具有自适应功能、泛化功能以及很强的容错能力。BP网络由前向过程和误差反向传播过程组成，其中输入信号经过输入层和隐层神经元逐层处理，前向传输到输出层输出结果；若输出层的输出值与样本值有误差，则该误差沿原来的连接通道反向传播，经修改各层神经元连接阈值与权值，缩小误差并反复迭代，当误差小于允许值时，网络训练过程结束。

本发明具有如下优点：

本发明设计了一套基于视觉诱发电位的目标选择系统。其中视觉刺激器利用CPU时间戳设计精确定时，可以保证稳定的闪烁频率，从而提高目标选择的准确性。在特征提取部分通过对信号的预处理保证了对高频噪声信号的有效去除。在特征提取部分采用了B样条双正交小波方法，B样条双正交小波是具有紧支集和对称性的小波函数，其主要优点是通过滤波器滤波有利于提高视觉诱发电位的信噪比和识别率。另外，小波变换是一种线性变换，计算速度快，适合于在线分析。BP神经网络具有自组织和自学习能力，能过通过训练达到较好的识别率。

附图说明

图1现有技术的视觉刺激诱发脑电系统示意图；

图2为本发明BP神经网络结构图；

图3为本发明基于CPU时间戳的视觉诱发刺激器示意图；

图4为本发明基于瞬态视觉诱发脑电的目标选择系统流程图。

具体实施方式

以下结合说明书附图，对本发明的实施方式予以进一步说明：

请参阅图2所示，为BP神经网络结构图。从图中可以2，21为输入数据，22为输入层，23为隐含层，24为输出层，25为输出数据。

图4为基于瞬态视觉诱发脑电的目标选择系统流程图。

本发明采取的技术方案是：使用VC++编写视觉刺激器界面，用于诱发脑电信号产生。采用16导脑电图仪作为信号采集设备采集诱发脑电信号VEP，采样频率为1000Hz。脑电信号经过脑电放大器放大及A/D转换，由USB口输入计算机中，并以信号电压幅值形式在存储器中存储。采用B样条双正交小波方法对采集的数据进行分解以提取相应的特征信号并使用BP神经网络把数据通过自学习进行分类识别并输出相应结果。

该方法依次的步骤如下：

1.利用CPU时间戳设计精确定时的视觉刺激器

在Windows平台下，常用的计时器有两种，一种是timeGetTime多媒体计时器，它可以提供毫秒级的计时。但这个精度对很多应用场合而言还是太粗糙了。另一种是QueryPerformanceCount计数器，随系统的不同可以提供微秒级的计数。在实际应用时，应针对具体定时精度的要求，采取相适应的定时方法。

在Intel Pentium以上级别的CPU中，有一个称为“时间戳(Time Stamp)的部件，它以64位无符号整型数的格式，记录了自CPU上电以来所经过的时钟周期数。由于目前的CPU主频都非常高，因此这个部件可以达到纳秒级的计时精度(一个计数相当于1/(CPU主频)秒)。CPU中有一条机器指令RDTSC(Read Time Stamp Counter)来读取这个时间戳的数字，并将其保存在EDX：EAX寄存器对中。

用_emit伪指令直接嵌入该指令的机器码形式0X0F、0X31，如下：

inline unsigned_int64 GetCycleCount()

{

_asm_emit 0x0F

_asm_emit 0x31

}

在设计计数器时序时，像使用普通的Win32 API一样，调用两次GetCycleCount函数，比较两个返回值的差：

unsigned long t；

t＝(unsigned long)GetCycleCount()；

//Do Something time-intensive...

t-＝(unsigned long)GetCycleCount()；

为了更精确的定时，做了一点的改进，把执行RDTSC指令的时间，通过连续两次调用GetCycleCount函数计算出来并保存了起来，以后每次计时结束后，都从实际得到的计数中减掉这一小段时间，以得到更准确的计时数字。

视觉刺激器界面为3×3棋盘格布局，共1-9九个数字。每个数字均按照10Hz频率闪烁，1-9每个数字按顺序依次闪烁，每个数字闪烁2s然后接力到下一数字，反复循环进行。

请参阅图3所示为视觉刺激器示意图。

在目标图像闪烁的同时，向并口输出脉冲，记录刺激时刻，根据刺激与诱发电位的锁定关系，从而可以从检测到的视觉诱发电位判别出受试者在注视哪个目标。

2.对并口的输出脉冲进行响应，利用16导脑电图仪作为信号采集设备采集脑电信号VEP。脑波仪接收到脉冲信号后，则开始对脑波进行记录。

3.对采集的信号进行预处理

由于视觉诱发电位特征主要出现在低频段，因此设计48阶，512采样点的FIR滤波器对存储器中脑电信号数据进行0-3Hz低频带滤波，以去除工频噪声及外部干扰噪声；对滤波的信号进行累加平均，其具体方法是：重复N次实验，记录每一次刺激产生的诱发电位，然后把各次记录波形以施加刺激的时刻为参考点在时间上加以对齐，进行累加平均，以平均波形代表所要提取的信号。反复重复25次实验，经25次累加平均后，平均响应的功率信噪比可为单次响应功率信噪比的5倍，信号与噪声的振幅之比提高了25倍。具体公式为：

平均功率公式 ${\stackrel{\‾}{P}}_{\left(j\right)}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{f(i,f)}^2$

4.经过累加平均去噪以后的脑波信号采用B样条双正交小波方法对脑电信号进行特征提取，具体公式如下：

c_j，k＝∫f(x)ψ_j，k(x)dx

用

小波进行信号重构，即

两个小波之间存在如下关系：

j≠j′

k≠k′

其中上一个公式用来进行信号的分解，下面一个公式用来对分解后的小波进行重构。

使用B样条小波将单个样本原始信号分解成5个尺度层，得到6个小波系数序列，每个小波系数序列对应于信号不同频带范围的信息，这些频带范围大致对应于D1:64-128；D2:32-64；D3:16-32；D4:8-16；D5:4-8以及A5:0-4Hz。每个尺度层包含小波系数的个数与每个频率范围相应的时间分辨率相对应，高频段小波系数的个数多，低频段小波系数个数少。由于诱发电位的频率低于30Hz以下，所以将D1、D2和D3层的小波系数都置为零，将D4、D5及A5层选的小波系数保留，再利用保留的小波系数进行重构就得到去噪后的平均VEP，再根据经验提取相应时间点的脑波功率幅值作为特征量进行提取。

5.利用BP神经网络对特征进行分类

选用BP神经网络作为分类器。将提取的样本特征值输入BP神经网络进行训练。BP神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

其前向计算过程如下：

(1)输入层节点i的输出O_i等于其输入X_i；

(2)隐层节点j的输入为 ${\mathrm{net}}_l=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{lj}}{o}_j+{\mathrm{\θ}}_l,$ 输出 $O_l=f\left({\mathrm{net}}_l\right)={\mathrm{\θ}}_j+\frac{1}{1+\exp (-{\mathrm{net}}_l)},$ 式中ω_lj为输出层节点l与隐含层节点j之间的连接权值；θ_j为隐含层节点l的阈值。对给定的训练样本集(x_p1，x_p2，...，x_pn)→(l_p1，l_p2，...，l_pn)，p＝1，2，3，p为样本号，网络运算结果与训练样本目标之间的均方误差和表示为：

$W=\frac{1}{p}\underset{p-1}{\overset{p}{\mathrm{\Σ}}}{E}_p$

$E_p=\frac{1}{2}\underset{l-1}{\overset{l}{\mathrm{\Σ}}}{(l_{\mathrm{pl}}-o_{\mathrm{pl}})}^2$

对于输出层与隐含层之间的连接权值ω_lj有：

ω_lj(k+1)＝ω_lj(k)+η·δ_j·o_j

δ_l＝f(net_l)·(t_l-o_l)

对于输入层与隐含层之间的连接权值ω_ji有：

ω_ji(k+1)＝ω_ji(k)+η·δ_i·o_i

${\mathrm{\δ}}_j=f\left({\mathrm{net}}_j\right)\underset{l}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{ij}}\·{\mathrm{\δ}}_l$

式中k为迭代次数，η为学习率；0＜η＜1。

网络训练学习的过程就是通过调节网络内部连接权值使网络误差达到最小。BP网络内部链接权值的调节过程也就是误差的反向传播过程。

将B样条双正交小波方法与BP神经网络相结合组成小波BP神经网络提取视觉刺激诱发电位的方法，通过实际应用可以显著提高信噪比，处理以后的视觉诱发电位波形明显，识别率较高。同时缩短了提取视觉诱发电位所需的时间，有助于提高脑机接口的通讯速度。和传统方法相比该方法具有较高准确率，识别速度较快的特点。

Claims (4)

1.基于瞬态视觉诱发脑电的目标选择方法，其特征在于：使用VC++编写视觉刺激器界面，用于产生诱发脑电信号，采用16导脑电图仪作为信号采集设备采集诱发脑电信号VEP，将采集的脑电信号经过放大器放大及A/D转换，向计算机输入，并以信号电压幅值形式存储；

采用B样条双正交小波方法对采集的脑电信号进行分解重构以提取相应的特征，进而使用BP神经网络把特征通过自学习进行分类并输出相应结果；

基于瞬态视觉诱发脑电的目标选择方法包括以下步骤：

步骤1.利用CPU时间戳设计精确定时的视觉刺激器；

设计视觉刺激器由3×3的数字棋盘格组成，每个数字依次以10Hz的频率闪烁，闪烁时间为2s，在目标图像闪烁的同时，向并口输出脉冲，记录刺激时刻，根据刺激与诱发电位的锁定关系，从而判别出受试者在注视哪个目标；

步骤2.对并口的输出脉冲进行响应，利用16导脑电图仪作为信号采集设备采集视觉诱发脑电信号VEP；

步骤3.对采集的脑电信号进行预处理；

预处理步骤为：记录步骤1视觉刺激器每一次刺激产生的诱发电位，重复多次进行刺激，然后把各次记录波形以施加刺激的时刻为参考点在时间上加以对齐，进行累加平均，以平均波形代表所要提取的信号；

步骤4.采用B样条双正交小波方法对小波进行特征提取：利用B样条双正交小波方法对小波信号进行多层分解，剔除不相关频段信号再对信号进行重构，最后选择相应时间点的脑波功率幅值作为特征；

步骤5.采用BP神经网络对特征进行分类，具体方法为：选择BP神经网络为分类器，通过对特征进行训练、学习对特征进行分类，输出结果即反映使用者所选择的目标；所述的BP网络由前向过程和误差反向传播过程组成，其中输入信号经过输入层和隐层神经元逐层处理、前向传输到输出层输出结果；若输出层的输出值与样本值有误差，则该误差沿原来的连接通道反向传播，经修改各层神经元连接阈值与权值，缩小误差并反复迭代，当误差小于允许值时，BP神经网络训练过程结束。

2.根据权利要求1所述的一种基于瞬态视觉诱发脑电的目标选择方法，其特征在于： 所述的时间戳，以64位无符号整型数的格式，记录了自CPU上电以来所经过的时钟周期数。

3.根据权利要求1所述的一种基于瞬态视觉诱发脑电的目标选择方法，其特征在于：所述的小波是由分段多项式组成的函数，是L²(R)空间中的一个基。

4.根据权利要求1所述的一种基于瞬态视觉诱发脑电的目标选择方法，其特征在于：所述的BP神经网络是一个多层感知网络，是由输入层、隐层和输出层组成的前馈网络。 

Images