CN1556450A - 基于瞬态视觉诱发电位提取脑机接口控制信号的方法 - Google Patents

Abstract

本发明提供了一种基于瞬态视觉诱发电位提取脑机接口控制信号的方法，包括以下步骤：建立瞬态视觉刺激器，产生能诱发出视觉诱发电位信号的视觉刺激信号；通过头皮电极采集脑电；对脑电信号进行放大和A/D转换；采用计算机对脑电信号进行处理，信号处理包括累加平均，在小波变换域提取特征向量，利用感知器神经网络和简单的模糊模式识别，提取出脑机接口控制信号。脑机接口控制信号的提取是实现脑机接口的关键技术，脑机接口在康复工程和人机自动控制等领域有应用前景。本方法能准确地提取出脑机接口控制信号，对刺激频率的稳定性没有严格要求，采用软件编程方式可在计算机屏幕上灵活地实现多种脑机接口视觉刺激模式。

Description

基于瞬态视觉诱发电位提取脑机接口控制信号的方法

技术领域

本发明涉及一种基于瞬态视觉诱发电位提取脑机接口控制信号的方法，属生物医学工程及自动控制技术领域。

基于瞬态视觉诱发电位的脑机接口是利用视觉诱发脑电信号来实现人脑与计算机或其他电子设备之间的一种直接的通讯与控制途径。该种接口方法，不需要任何语言或动作，而直接通过脑电信号实现与外界的交流或进行设备控制。对于那些存在严重运动障碍的残疾人，脑机接口可以为他们建立一种与外界的通讯方式，有利于提高其生存质量；此外，脑机接口在人机自动控制等领域，亦有广泛的应用前景。脑机接口控制信号的提取是实现脑机接口的关键技术，根据脑机接口的不同应用，控制信号可以有不同的用途，比如可以用来作为计算机字符输入，鼠标控制或菜单选择，也可用于控制外部设备，比如控制电视、音箱、电灯的开关等。

视觉诱发电位简称VEP是指神经系统接受视觉刺激所产生的特定电活动，只要使用者视觉功能正常，就可能利用视觉诱发电位信号实现脑机接口。

根据刺激频率的不同，视觉诱发电位可分为瞬态视觉诱发电位和稳态视觉诱发电位。发明专利“基于脑电稳态诱发响应的控制装置”(申请号：99122161.3)采用稳态刺激诱发视觉诱发电位实现脑机接口，用快速傅立叶变换对脑电信号进行频率分析，得到相应的频率成分，进而实现判断和控制。该技术最大优点是信号提取方法简单，比较容易实现。但该技术亦存在一定的局限性。(1)稳态视觉诱发电位对视觉刺激器的频率稳定性要求很严格，不同的目标一定用采用不同的刺激频率，而且各个频率必须非常稳定。如果刺激频率不稳定，诱发电位信号的频谱峰值会发生变化，将直接影响脑机接口控制信号提取的正确率。(2)稳态刺激频率范围一般为6～14Hz，而人的自发脑电α波频率为8-13Hz，其信号幅度强于诱发电位，选择刺激频率还需避开α波所在频带，视觉刺激频率的选择受到一定的限制。(3)实验发现，当视觉刺激频率较高时，有部分受试者感觉眼睛不适，眨眼次数增多，难以持续注视刺激目标。此外，还有少数受试者的瞬态诱发电位比较大，但当刺激频率较高时，其稳态视觉诱发电位幅度很小，甚至检测不到。这意味着因为个体差异，可能会有部分人不能利用稳态视觉诱发电位实现脑机接口，则可尝试采用瞬态视觉诱发电位来实现脑机接口。

发明的内容

本发明的目的是提供一种基于瞬态视觉诱发电位提取脑机接口控制信号的方法，以达到较高的判断正确率和较高的通讯速度。

本发明采用的技术方案是这样的，即一种基于瞬态视觉诱发电位提取脑机接口控制信号的方法，包括以下几个步骤：

(1)建立刺激频率小于每秒5次的瞬态视觉刺激器，产生能诱发出视觉诱发电位的视觉刺激信号。

(2)通过置于大脑枕部的头皮电极，采集上述视觉诱发电位信号。

(3)对上述采集的脑电信号进行放大。

(4)放大后的信号送数据采集器进行A/D转换。

(5)采用计算机对脑电信号进行处理分析，信号处理包括累加平均，在小波变换域提取特征向量，特征向量输入感知器神经网络，感知器神经网络输出待识别信号隶属于VEP信号模糊集的隶属度，然后通过行简单的模糊模式识别，得到脑机接口控制信号。

本发明的优点如下：

(1)由于瞬态视觉诱发电位与刺激之间具有较严格的锁时关系(视觉诱发电位出现在刺激后相对固定的时间段内)，能比较准确检测出诱发电位信号，有利于提高脑机接口控制的准确率。

(2)控制信号的提取方法对刺激频率的稳定性没有严格要求，采用软件编程方式即可在计算机屏幕上产生视觉刺激模式，而且可根据需要灵活地实现多种脑机接口视觉刺激模式。

(3)采用头皮电极记录枕部的皮层视觉诱发电位，该记录方式无创，使用者无需训练或只需很少训练，容易被人接受。

附图说明：

图1是本发明的系统框图；

图2是视觉刺激模式示意图；

图3是一种同频次复合刺激时序示意图；

图4是产生脑机接口控制信号的流程图；

图5是神经网络的结构示意图。

具体实施方式

以下结合附图对本发明的实施作如下详述：实施例中采用计算机屏幕作为视觉刺激器，屏幕上有多个闪烁的模块，不同的模块代表多种可能的控制选项，受试者通过短时间内保持注视其中一个模块作出选择或控制。头皮电极采集枕部的脑电信号，脑电信号通过放大、滤波，再经过数据采集器转换为数字信号，通过计算机对脑电信号进行分析处理，可以判别出受试者注视的目标，从而产生脑机接口控制信号。

本发明采用计算机监视器作为视觉刺激器，在DOS或Windows环境下通过软件编程的方式产生图形刺激信号。该方法的最大优点是不需要其他特殊外部硬件设备，通过简单编程就可以灵活地产生不同的刺激模式，修改和升级也很方便。

采用矩形图形(方块或长方块)作为视觉刺激模块(刺激目标)，以刺激模块闪烁的方式或刺激模块颜色的交替变化(如红/绿交替)引起视觉刺激，在刺激模块上标注文字、符号或在刺激模块上方插入有关图形的方法来实现选择或控制信息的表达。根据脑机接口应用的需要，可在同一屏幕上放置多个视觉刺激模块，实现多项选择或控制。受试者通过注视需要选择的目标，来实现选择或控制。比如脑机接口用于数字输入的视觉刺激界面设计时，就可直接将阿拉伯数字以醒目的颜色(如红色)标注在刺激模块上，这种表达方式直观、形象，使用者容易理解和接受。如图2所示。

为了能够区分不同刺激模块所引起的刺激，屏幕上各个刺激模块的闪烁的时刻有所不同。本发明采用了同频次复合刺激方式，即在单位时间内各个刺激模块闪烁的次数相同，即在一时间段内，存在多个视觉刺激，在一个刺激周期内，所有的刺激模块都分别闪烁一次，各个刺激模块闪烁的时刻有所不同。刺激模块每秒闪烁次数小于5次。图3是一种同频次复合刺激的刺激时序的示意图。各个刺激模块可以采用按固定序列或伪随机序列方式闪烁。

这种刺激方式，各个刺激模块在单位时间内的闪烁次数相同，复合刺激交替出现，相邻两个不同刺激模块的刺激间隔可以比较小，在比较短的时间内，所有的刺激模块都闪烁了一次，当可供选择的目标数较大，该方式可以有效地提高刺激效率，有利于提高脑机接口的通讯速度。

头皮电极采用银-氯化银电极，记录电极置于枕部头皮表面，可涂抹少许导电胶以增加导电性，降低头皮电阻。脑电放大器前级采用仪用放大器如AD620，以增加输入阻抗，提高共模抑制比，后接高通滤波器，放大器和低通滤波器。放大器的主要参数是：增益：1000～5000，频带：1～25Hz。

将放大后的脑电信号送入数据采集器，将其转换为数字信号，送到计算机进行处理。数据采集器可选用通用的数据采集卡，其中A/D转换器选16位，采样频率设为512Hz。

信号处理器采用计算机实现，计算机具有较强的数据处理能力，能满足实时进行信号处理的要求。在大脑枕部检测到的视觉诱发电位主要是由受试者所注视的刺激目标所引起的，由于刺激与诱发电位存在较严格的锁时关系，脑机接口控制信号的产生实际上是对脑电信号进行模式识别，判断与各个视觉刺激对应的时间段内，是否出现视觉诱发电位，进而判断出受试者所注视的目标。产生脑机接口控制信号的流程如图4所示。

由于视觉诱发电位信号属于强噪声背景下的微弱电信号。首先需要采用累加平均处理，提高信噪比，然后进行进一步的数字滤波(小波滤波)，提取出视觉诱发电位。

信号的特征向量在小波变换域中抽取。小波分解采用一维Mallat正交小波变换快速算法，信号小波分解与公式为：

$A_j^{d}f=\underset{k}{\mathrm{\Σ}}h(n-2k)A_{j+1}^{d}f+\underset{k}{\mathrm{\Σ}}g(n-2k)D_{j}f---\left(2\right)$

上式中h(n)和g(n)为小波共轭镜像滤波器组，分别对应于低通和高通滤波器的单位脉冲响应。(1)式为小波分解公式，信号f(t)可从j尺度到j+1尺度进行逐步分解信号 $f\left(t\right)=A_0^{d}f,$ 其小波分解为{A_J ^df，(D_jf)_1≤j≤J}，J为某一整数，A_j ^df是在尺度2^j下分解得到的逼近信号，D_j ^f是尺度2^j下分解得到的细节信号。(2)式为小波重建公式。

特征向量的抽取方法是对累加平均信号进行一维离散小波分解，得到第4尺度和第7尺度的小波分解逼近系数CA₄、CA₇，然后用CA₇重建出它在第4尺度上的分量CA₇₄，在CA₄中扣除CA₇₄，就可以得到新的小波分解系数CA_4-7＝CA₄-CA₇₄。CA_4-7舍去头尾几个系数，可以得到5～7个最能反映诱发电位信号特征的系数，作为待识别信号的特征向量。该方法实现了信号的去噪、降维和特征提取，且较易实现。

在脑机接口应用中，当屏幕上有N个可供选择的视觉刺激模块，则有N个与刺激对应的待识别信号。产生脑机接口控制信号的方法为：

(1)首先进行脑机接口预实验，实验时要求受试者按照要求注视指定的视觉刺激模块，获取实验数据(包括VEP信号和非VEP信号的特征向量)作为训练集，将筛选出的小波系数作为特征向量输入感知器，对于VEP信号，输出为1，对于非VEP信号，输出为0，对神经网络进行有监督训练，获取神经网络的权值及阈值。

(2)分别对不同刺激进行累加平均，然后在小波变换域提取其特征向量。

(3)将待识别信号的特征向量输入感知器神经网络，感知器神经网络的输出是(0，1)区间的数，该输出看作是待识别信号隶属于VEP信号模糊集的隶属度。

(4)在一组待识别信号，当其最大隶属度大于某一设定的常数阈值(如0.5)，则判断具有最大隶属度的信号为VEP信号，判断受试者在该次实验中注视的是相应的刺激目标，输出控制信号为刺激目标的序号。根据阈值准则，如果所有信号的隶属度均小于或等于阈值，则认为所有待识别信号均不是VEP信号，判断受试者在该次实验中没有做任何选择，输出控制信号为0。

神经网络采用单神经元感知器形式，如图5所示。感知器的输入为待识别信号的特征向量X＝{x₁，x₂，…x_n}，输出为 $y=f(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}_i-\mathrm{\θ}),$ 其中f(x)为传递函数，w_i和θ分别为神经网络的权值与阈值。采用Sigmoid函数 $f\left(x\right)=\frac{1}{1+e^{-x}}$ 作为传递函数，感知器输出为(0，1)区间的数，输出值越接近1，说明信号属于VEP的程度越大，输出值越小，说明信号属于VEP的程度越小。

作为一个实施的例子，已经在实验室采用上述方法进行了基于瞬态视觉诱发电位提取脑机接口控制信号的实验。利用计算机编程在计算机屏幕上产生视觉刺激，在DOS环境下，利用Turbo C编程，在图形模式(640*480)下可以实现图形刺激，视觉刺激界面包含12个目标，如图2所示，模拟脑机接口数字输入界面。受试者注视任意选择一个数字或符号，并注视对应的刺激目标，离线分析受试者的脑电信号，可以判断出受试者所选择的数字或符号。

实验采用荷兰Biosemi公司生产的ActiveOne生理信号测量系统(电极、放大器、数据采集器)完成脑电信号采集，对采集到的信号进行分析处理，产生脑机接口控制信号。

离线实验结果表明，大约只需9-25次视觉刺激，就可以比较准确地产生脑机接口控制信号，控制信号的正确率可达70％～100％，且能达到比较高的通讯速率，理论计算通讯速率可达每分钟10-40比特，而目前国际上的大多数脑机接口系统的通讯速率为每分钟10-25比特。实验结果表明，本发明提出的基于瞬态视觉诱发电位提取脑机接口控制信号的方法具有可行性和先进性。

Claims (4)

1、一种基于瞬态视觉诱发电位提取脑机接口控制信号的方法，其特征是：方法包括以下几个步骤：

(1)建立刺激频率小于每秒5次的瞬态视觉刺激器，产生能诱发出视觉诱发电位信号的视觉刺激信号；

(2)通过置于大脑枕部的头皮电极，采集上述视觉诱发电位信号；

(3)对上述采集的脑电信号进行放大；

(4)放大后的信号送数据采集器进行A/D转换；

(5)采用计算机对脑电信号进行处理，信号处理包括累加平均，在小波变换域提取特征向量，特征向量输入感知器神经网络，感知器神经网络输出待识别信号隶属于视觉诱发电位信号模糊集的隶属度，然后通过行简单的模糊模式识别，得到脑机接口控制信号。

2、根据权利要求1所述的基于瞬态视觉诱发电位提取脑机接口控制信号的方法，其特征是：瞬态视觉刺激器以计算机显示屏显示的矩形图形作为视觉刺激模块，以该刺激模块闪烁的方式或刺激模块颜色的交替变化方式产生能诱发出视觉诱发电位信号的视觉刺激信号。

3、根据权利要求1所述的基于瞬态视觉诱发电位提取脑机接口控制信号的方法，其特征是：瞬态视觉刺激器的同一显示屏幕上放置多个视觉刺激模块，进行多项选择或控制。

4、根据权利要求1所述的基于瞬态视觉诱发电位提取脑机接口控制信号的方法，其特征是：瞬态视觉刺激器以同频次复合刺激方式产生能诱发出视觉诱发电位信号的视觉刺激信号，即在一时间段内，存在多个视觉刺激，在一个刺激周期内，所有的视觉刺激模块都分别闪烁一次，闪烁的时刻有所不同；刺激模块每秒闪烁次数小于5次；各个刺激模块采用按固定序列或伪随机序列方式闪烁。

Images