CN102609090A - 采用脑电时频成分双重定位范式的快速字符输入方法 - Google Patents

Abstract

本发明公开了一种采用脑电时频成分双重定位范式的快速字符输入方法，其步骤为：(1)在进入字符输入阶段后，同时施加时域和频域的视觉刺激；(2)在用户关注目标字符的同时，将实时采集的EEG信号按时频成分SSVEP和P300将信道分成两组分别进行信号处理；(3)判断用户是否在执行字符输入操作，如果判别结果为是，则采用步骤(2)的方式进行确定目标字符，并在字符输入结果显示区显示出来；如果判别结果为否，则不进行字符输出，转入字符输入界面，并转到步骤(1)，用户重新进行目标字符选择。本发明具有原理简单、操作方便、能够提高目标识别准确率和字符输入速度等优点。

Description

采用脑电时频成分双重定位范式的快速字符输入方法

技术领域

本发明主要涉及到脑机接口技术领域，特指一种采用脑电时域成分与频域成分双重定位范式设计的快速字符输入系统。

背景技术

脑机接口(Brain-Computer Interface，BCI)是一种新的不依赖于外周神经和肌肉参与的通讯系统。它通过检测并判别脑电信号中对应不同大脑活动所体现出来的时空模式来识别人的意图，从而实现人脑与外界交流和控制。BCI不需要人的肢体活动或语言表达的参与，是无动作、非接触的，它的研究初衷是服务于运动神经疾病患者。目前，BCI在助残、康复工程及武器装备研发、娱乐等领域有着广泛的应用前景，已受到国内外研究学者的广泛关注。

根据信号检测的方式不同，BCI可分为侵入式和非侵入式两种基本形式。侵入式BCI使电极直接和大脑皮层接触或进入大脑皮层，测量的信号噪声小、损失低，但由于涉及外科手术，操作复杂，需要具有专业技术的操作人员，对用户有伤害。非侵入式BCI具有操作简单、安全等优点，其有利于BCI系统的推广，但电极距离信号源较远，噪声较大。目前，随着人们对大脑功能不断深入的研究及信号处理技术的不断进步，头皮脑电图(Electroencephalogram，EEG)信号的处理技术已经达到一定水平，并常应用于光标控制、机械臂控制及字符输入等方面BCI技术的研究，这为非侵入式BCI的推广及其相关产品进入实际生活应用提供了技术基础。

为了解放双手，实现不依赖人手的、非接触式的字符输入方式，国内外众多BCI研究团队对此展开了大量研究。目前，基于BCI技术的字符输入方法研究主要集中在对脑电信号的时域信息和频域信息的分析处理上，例如，采用脑电时域成分P300事件相关电位(P300Event-related Potentials，P300REP)设计的范式和采用脑电频域成分稳态视觉诱发电位(Steady-state Visually Evoked Potentials，SSVEP)设计的范式所建立的字符输入系统研究均已经达到了较高水平。

P300字符输入范式的刺激界面通常成m×n排列的字符矩阵。在刺激过程中，常采用RC编码，字符矩阵m行和n列循环随机闪烁，当用户所关注的目标字符闪烁时，被试默数目标闪烁的次数。此时，用户对这种视觉刺激事件产生了一种“预期到达”的心理响应。如果用户的响应正确，在目标闪烁后约300ms左右，用户的EEG信号会出现一个正的峰值，即P300波。通过检测P300波的出现时刻来反推出用户所关注的目标的闪烁时间，进而推断出目标字符的位置坐标。

SSVEP字符输入范式的刺激界面通常为一组定频闪烁的字符模块。由于视觉刺激越接近视野中央，SSVEP就越强，为减小相邻模块刺激的干扰，所述字符模块之间应留有一定间隔。在刺激过程中，用户注视以某特定频率闪烁的字符模块，此时，用户头部枕区EEG信号会产生与刺激频率相对应的SSVEP脑电电位。所述脑电电位的频谱主要集中在刺激频率基波及其谐波频率处，具有较高的信噪比。系统通过对EEG信号频域成分的辨识来反推出视觉刺激的频率，进而确定用户所注视的目标字符。

采用上述两种范式实现目标字符数较多的字符输入时，P300字符输入范式虽然仍可以保证较高的目标识别准确率，但单个字符的输入时间会随着选项数的增多而增长；SSVEP字符输入范式的单个字符输入时间虽然不会随着字符选项数的增多而有显著的增长，但由于SSVEP受频率带宽范围的约束，目标识别准确率会随着字符选项数的增多而有较明显的下降。所以至今为止，通过分别检测P300和SSVEP的手段来实现字符输入尽管已经达到较高的水平，但从本上讲，单纯采用这两种范式的字符输入速度都已经达到了瓶颈，很难再有明显提高的潜力。

发明内容

本发明要解决的技术问题在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作方便、能够提高目标识别准确率和字符输入速度的采用脑电时频成分双重定位范式的快速字符输入方法。

为了解决上述技术问题，本发明提出的技术方案为：

一种采用脑电时频成分双重定位范式的快速字符输入方法，其步骤为：

(1)在进入字符输入阶段后，同时施加时域和频域的视觉刺激；

(2)在用户关注目标字符的同时，将实时采集的EEG信号按时频成分SSVEP和P300将信道分成两组分别进行信号处理；

(3)判断用户是否在执行字符输入操作，如果判别结果为是，则采用步骤(2)的方式进行确定目标字符，并在字符输入结果显示区显示出来；如果判别结果为否，则不进行字符输出，转入字符输入界面，并转到步骤(1)，用户重新进行目标字符选择。

作为本发明的进一步改进：

所述步骤(1)的具体步骤为：

(1.1)设定字符输入界面，所述字符输入界面由字符输入键盘和字符输入结果显示区两部分组成，所述字符输入键盘按照字符功能分成两个以上的分区，每个分区内的字符呈矩阵排列；

(1.2)所述不同分区分别以不同的频率交替闪烁，用户在关注目标字符的过程中，将受到目标字符所在分区相应频率视觉刺激的影响，进而诱发脑电频域成分SSVEP；即所述脑电频域成分SSVEP用于对目标字符所在分区的辨识；

(1.3)每个分区内部采用行列随机闪烁的方式，用户通过对目标字符闪烁“预期到达”的心理响应诱发脑电时域成分P300；在随机闪烁实施过程中，不同分区中相同码字行列同步闪烁，用以达到对分区内部随机序列的复制目的；即通过同步闪烁方式可使目标字符无论在哪个分区都能准确获取行列坐标。

所述字符输入键盘共由100个字符组成，分为字母拼写区、符号输入区、数学运算功能区及计算机功能键区共4个分区，每个分区的25个字符呈5×5的矩阵排列；所述字符输入键盘的4个分区分别以13.889、14.706、15.625、16.607四个频率黑白两个相位交替闪烁。

所述分区内部中的行列随机闪烁采用变色并增加亮度的形式，以与不同分区之间不同频率的交替闪烁区别开来。

所述步骤(2)中，对实时采集的EEG信号中SSVEP成分的处理流程为：在进入字符输入阶段后，系统开始读取SSVEP成分信道的EEG信号，并将所读取的EEG信号采用频率为10～35Hz的带通滤波器进行带通滤波；系统应用CCA方法(即典型相关分析法，CaninicalCorrelation Analysis)计算预处理所得到的EEG信号与各刺激频率的相关性系数，将其作为各刺激频率的特征向量；接下来，将求得的特征向量最大值与所设置的门限值比较，如果小于门限值，则系统判定为用户未在执行字符输入操作；如果特征向量最大值大于所述门限值，系统将特征向量最大值相匹配的刺激频率所在键区确定为目标键区，并输出目标键区定位结果。

所述步骤(2)中，对实时采集的EEG信号中P300成分的处理流程为：系统将读取的P300成分信道的EEG信号采用频率为0.01～50Hz的带通滤波后，截取每个随机闪烁刺激序列发生后0～800ms的EEG信号；对每组单次响应EEG信号用SWLDA(即步进线性判别分析法，Step-Wise Linear Discriminant Analysis)训练得到的权值进行加权，得到加权和，并将其定义为该单次响应的特征值score；按照码字C对N个刺激序列的score进行平均，得到特征值的平均值

接下来，在码字C≤m的范围内求出特征值最大值，并将其对应码字C的编号定为目标字符键区内行坐标，其中m为分区中字符矩阵的行数；在码字C＞m的范围内求出特征值最大值，并将其对应码字C-m定为目标字符键区内列坐标。

与现有技术相比，本发明的优点在于：

1、本发明在进入字符输入阶段后，同时施加时域和频域的视觉刺激，并将实时采集到的EEG信号分成SSVEP成分和P300成分，进行不同的信号处理方式，这样就能够提高目标识别准确率和字符输入速度。

2、本发明中由于字符输入界面采用了按字符类型分区的方式，并且各分区内部字符的排列顺序充分考虑了字符使用频率及用户普遍习惯，使用户可以快速锁定目标字符位置。

3、本发明的字符输入范式将传统电脑键盘的双键位按键分成两个键位设置，从而省略了shift键操作，可有效提高实际ITR，提高系统整体性能。

4、本发明针对EEG信号频域成分与刺激频率相关性系数设置了门限值，当EEG频域成分与目标刺激频率相关性系数超过所述门限值时，系统判定为用户正在进行字符输入，否则进入字符闪烁阶段，重新选择目标。所述门限值的设置消除了用户无意识操作影响，更加适应实际字符输入应用场合的需要。

5、本发明对于所述快速字符输入方法，大多数用户在不经过大量训练的情况下均可以达到较高的字符输入准确率，便于用户快速入门使用，有利于所述方法的推广。

附图说明

图1是本发明输入方法的原理框图。

图2是本发明中主动电极安放位置的示意图。

图3是本发明中字符输入界面的示意图。

图4是本发明中时频刺激融合界面的示意图。

图5是本发明中快速字符输入方法完成一次字符输入的流程图。

图6是本发明中EEG信号的SSVEP成分处理流程示意图。

图7是本发明中EEG信号的P300成分处理流程示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。

如图1和图5所示，本发明采用脑电时频成分双重定位范式的快速字符输入方法，其步骤为：

(1)在进入字符输入阶段后，同时施加时域和频域的视觉刺激；

(2)在用户关注目标字符的同时，将实时采集的EEG信号按时频成分SSVEP和P300将信道分成两组分别进行信号处理；

(3)判断用户是否在执行字符输入操作，如果判别结果为是，则采用步骤(2)的方式进行确定目标字符，并在字符输入结果显示区显示出来；如果判别结果为否，则不进行字符输出，转入字符输入界面，并转到步骤(1)，用户重新进行目标字符选择。

如图6所示，本发明中对EEG信号中SSVEP成分的处理流程为：在进入字符输入阶段后，系统开始读取SSVEP成分信道的EEG信号，并将所读取的EEG信号采用频率为10～35Hz的带通滤波器进行带通滤波。系统应用CCA方法计算预处理所得到的EEG信号与各刺激频率的相关性系数，将其作为各刺激频率的特征向量。接下来，将求得的特征向量最大值与所设置的门限值比较，如果小于门限值，则系统判定为用户未在执行字符输入操作，如果特征向量最大值大于门限值，系统将特征向量最大值相匹配的刺激频率所在键区确定为目标键区，并输出目标键区定位结果。

如图7所示，本发明中对EEG信号的P300成分处理流程为：将读取的P300成分信道的EEG信号采用频率为0.01～50Hz的带通滤波后，截取每个随机闪烁刺激序列发生后0～800ms的EEG信号。对每组单次响应EEG信号用SWLDA训练得到的权值进行加权，得到加权和，并将其定义为该单次响应的特征值score。按照码字C对N个刺激序列的score进行平均，得到特征值的平均值

接下来，在码字C≤m的范围内求出特征值最大值，并将其对应码字C的编号定为目标字符键区内行坐标，其中m为分区中字符矩阵的行数；在码字C＞m的范围内求出特征值最大值，并将其对应码字C-m定为目标字符键区内列坐标。本实施例以m等于5，即5×5的矩阵为例，在码字C≤5的范围内求出特征值最大值，并将其对应码字C的编号定为目标字符键区内行坐标；在码字C＞5的范围内求出特征值最大值，并将其对应码字C-5定为目标字符键区内列坐标。

本发明在具体应用实例中的具体流程为：

首先需要使用主动电极在用户头皮采集高信噪比的EEG信号。如图2所示，电极安放在采用导联位置按照国际惯例1020系统的64导联电极帽上，图中Cz、P3、P4、Pz、Oz、O1、O2、POz为脑电时频成分所涉及的信道，Gnd和Ref分别为接地和参考电极，并在上述位置打入导电膏，并插上主动电极。主动电极通过脑电放大器、A/D转换器与计算机相连接。通过电极阻抗检测软件检验电极与用户头部是否接触良好，并通过用户闭眼的方式检测α波，以使各电极位置采集的脑电信号的高频噪声保持在一定水平之下。当系统初始化后，首先要检查所有电极的阻抗值，以保证系统能采集到高信噪比的EEG信号，如果有电极阻抗较大，将对电极的安放重新进行调整，直至所有电极阻抗满足要求才能进入字符输入环节。

用户安坐在距显示器正前方30cm～80cm的位置，用户前方的计算机显示器上呈现出快速字符输入界面。字符输入界面由字符输入键盘和字符输入结果显示区两部分组成，其中，字符输入键盘共由100个字符组成，分为字母拼写区、符号输入区、数学运算功能区及计算机功能键区共4个区，每个分区呈5×5的矩阵排列。字母拼写区按英文字母表排列顺序排列，其他3个键区的排列综合考虑了用户使用习惯及字符输入频率。如图3所示，本发明的字符输入界面包括字符输入键盘和字符输入结果显示区两部分。其中字符输入键盘由字母拼写区、符号输入区、数学运算功能区及计算机功能键区四个分区组成。字符输入结果显示区是位于字符输入界面上端的矩形区域，用于目标字符的显示。字符输入键盘四个键区的字符均成5×5矩阵排列，其中字母拼写区包含字母A～Y共25个英文字母键，符号输入区包括字母Z及字符拼写中常用的24个标点符号，数学运算功能区包括数字0～9及常用的数学运算符号，计算机功能键区涵括了25个计算机操作常用的功能键。字符输入键盘的分区设计可以使用户迅速对目标字符定位，减少了用户的反应时间，有助于字符快速输入的实现。四个键区共100个按键的设计可以实现用户对计算机的绝大部分操作，达到替换传统电脑键盘的目的。在字符输入过程中，字符输入键盘四个键区分别以13.889、14.706、15.625、16.607四个频率黑白两个相位交替闪烁，使用户EEG信号产生与目标字符所在键区闪烁频率相关的SSVEP脑电电位，用于锁定目标字符所在键区。与此同时，采用行列随机变色并增加亮度的闪烁的方式使用户诱发与随机刺激时间相关的P300脑电电位，用以确定目标字符在所属键区的行列坐标。随机闪烁的具体实施方式为：各键区内部行列均闪烁一次为一个刺激序列，闪烁顺序随机，经过N个闪烁序列后系统作一次输出；键区间以相同编号行列同时闪烁的方式作为键区内部闪烁的一种复制，以此达到不同键区字符同轴定位的目的。例如，图3中四个键区第五列均同一时刻闪烁。

图4以字符输入键盘的字母拼写区为例为本发明时频刺激的融合提供了更形象的描述。如图所示，刺激界面共分3层，最底层为字符输入界面黑色背景，中间一层为白色定频刺激层，该层以某一设定频率进行出现、消失两个相位的转换操作，并与黑色背景一起完成黑白两个相位的定频闪烁。刺激界面最顶层为随机闪烁刺激层，该层所施加的闪烁刺激颜色应与黑白两色有较高的辨识度，例如，可以选为黄色。显然，两种刺激的融合是高效的、合理的。

其中，四个闪烁频率的选择是综合考虑以下因素的结果：1)为了在保证诱发SSVEP脑电电位的前提下避免α波(8～12Hz)的影响，刺激频率应大于12Hz；2)由于EEG信号在刺激频率的二次谐波频率处响应明显，为了避免信息丢失，刺激频率最大值的二次谐波不应超过带宽范围；3)根据先前研究结论可知，在SSVEP范式中，为保证目标识别的准确率，刺激频率之差不能小于0.2Hz；4)在刺激频率软件实现的过程中，考虑到程序的优化设计，系统以4ms为一个时间片长度，并在每18、17、18、15个周期分别在对应刺激键区进行一次黑白两个相位的变换，从而得到四个刺激频率。

参见图1，将所采集的EEG信号经脑电放大器放大，并通过A/D转换器成数字信号后输入计算机中进行处理。为了提高EEG信号辨识率，针对EEG信号的时频特性将其分为时域成分所涉及的信道Cz、P3、P4、Pz、Oz和频域成分所涉及的信道Pz、、POz、Oz、O1、O2分别进行信号处理。系统将信号处理结果显示在字符输入界面上，对用户形成视觉反馈，以便用户可以实时监控字符输入结果。接下来，系统同时施加定频刺激和随机闪烁刺激，进行下一个字符输入操作。

为说明采用脑电时频成分双重定位范式的快速字符输入方法的优越性，这里引入信息传输率(Information Transfer Rate，ITR)概念。ITR是字符输入系统中常用的性能评价指标，它兼顾了目标识别正确率与传输速度，从信息论的角度出发估计单位时间内信息传输的位数。ITR可由下式计算：

$\mathrm{ITR}=\{{\log }_{2}N+P{\log }_{2}P+(1-P){\log }_2\frac{1-P}{N-1}\}/T$

ITR的单位为bits/min。其中，N表示字符键数，P表示目标识别准确率，T表示单次目标选择时间。ITR随着P、N的增加而增加，随着T增加而减小。在本发明所涉及的字符输入实例中，字符键数N为常数100，故为说明本发明的快速字符输入范式较P300和SSVEP字符输入范式ITR值均有提高，只需比较各范式的目标识别的正确率P和单次目标选择时间T的大小即可。

由于P300是用户对刺激的随机性所产生的心理状态变化的响应，而SSVEP是用户EEG信号对视觉刺激的共振响应，两种EEG信号在大脑皮层上形成的位置和生理机理不同；P300为脑电时域的时域成分，而SSVEP为脑电的频域成分，两种信号处理方法针对的信号空间不同，没有信息重叠干扰，因此融合两种BCI技术不会导致各自信号处理和识别准确率有明显的下降，从而可以有效保证目标识别的正确率。加之，在现有技术水平下，采用SSVEP范式进行字符的4选1输入具有非常高的准确率，故双重定位范式目标识别的正确率较P300进行目标字符25选1操作的准确率并不会有明显下降，而采用P300范式进行字符100选1输入与25选1字符输入相比，特征值最大值的搜索空间的增大，以及被试等待时间过长导致的注意力分散都会目标识别的正确率略有下降，因此，此两种范式在目标识别的正确率P上相差无几。根据现有研究成果可知，SSVEP单次目标选择时间略小于P300，故本发明中快速字符输入范式单次目标选择时间设置为P300进行目标字符25选1的目标选择时间T。而采用P300范式进行字符100选1输入时，刺激序列长度是目标字符25选1的2倍，即刺激持续时间比本发明范式单次目标选择时间长近一倍。综上所述，本发明快速字符输入范式的ITR值较P300范式ITR值将有明显提高。根据现有技术经验，在考虑两个字符输入间系统准备时间及单字符输出过程中信号识别时间的基础上可知，理论上，本发明的快速字符输入范式较P300范式ITR值将会提高59～84％。当然，为实现更多目标键的选择输入适当增加键区个数，ITR值的优化效果将更加明显。

限于刺激频率选择多方面的约束，如果采用SSVEP字符输入范式实现目标字符100选1输入，目标识别的正确率将会急剧下降，现有技术研究成果中，还没有在保证目标识别的高正确率前提下，采用该范式实现目标字符100选1输入的案例，故SSVEP范式的ITR值与本发明范式的ITR值没有可比性。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种采用脑电时频成分双重定位范式的快速字符输入方法，其特征在于，步骤为：

(1)在进入字符输入阶段后，对用户同时施加时域和频域的视觉刺激；

(2)在用户关注目标字符的同时，将实时采集的EEG信号按时频成分SSVEP和P300将信道分成两组分别进行信号处理；

(3)判断用户是否在执行字符输入操作，如果判别结果为是，则采用步骤(2)的方式进行确定目标字符，并在字符输入结果显示区显示出来；如果判别结果为否，则不进行字符输出，转入字符输入界面，并转到步骤(1)，用户重新进行目标字符选择。

2.根据权利要求1所述的采用脑电时频成分双重定位范式的快速字符输入方法，其特征在于，所述步骤(1)的具体步骤为：

(1.1)设定字符输入界面，所述字符输入界面由字符输入键盘和字符输入结果显示区两部分组成，所述字符输入键盘按照字符功能分成两个以上的分区，每个分区内的字符呈矩阵排列；

(1.2)所述不同分区分别以不同的频率交替闪烁，用户在关注目标字符的过程中，将受到目标字符所在分区相应频率视觉刺激的影响，进而诱发脑电频域成分SSVEP；即所述脑电频域成分SSVEP用于对目标字符所在分区的辨识；

(1.3)每个分区内部采用行列随机闪烁的方式，用户通过对目标字符闪烁“预期到达”的心理响应诱发脑电时域成分P300；在随机闪烁实施过程中，不同分区中相同码字行列同步闪烁，用以达到对分区内部随机序列的复制目的；即通过同步闪烁方式可使目标字符无论在哪个分区都能准确获取行列坐标。

3.根据权利要求2所述的采用脑电时频成分双重定位范式的快速字符输入方法，其特征在于：所述字符输入键盘共由100个字符组成，分为字母拼写区、符号输入区、数学运算功能区及计算机功能键区共4个分区，每个分区的25个字符呈5×5的矩阵排列；所述字符输入键盘的4个分区分别以13.889、14.706、15.625、16.607四个频率黑白两个相位交替闪烁。

4.根据权利要求2或3所述的采用脑电时频成分双重定位范式的快速字符输入方法，其特征在于：所述分区内部中的行列随机闪烁采用变色并增加亮度的形式，以与不同分区之间不同频率的交替闪烁区别开来。

5.根据权利要求1或2或3所述的采用脑电时频成分双重定位范式的快速字符输入方法，其特征在于，所述步骤(2)中，对实时采集的EEG信号中SSVEP成分的处理流程为：在进入字符输入阶段后，系统开始读取SSVEP成分信道的EEG信号，并将所读取的EEG信号采用频率为10～35Hz的带通滤波器进行带通滤波；系统应用CCA方法计算预处理所得到的EEG信号与各刺激频率的相关性系数，将其作为各刺激频率的特征向量；接下来，将求得的特征向量最大值与所设置的门限值比较，如果小于门限值，则系统判定为用户未在执行字符输入操作；如果特征向量最大值大于所述门限值，系统将特征向量最大值相匹配的刺激频率所在键区确定为目标键区，并输出目标键区定位结果。

6.根据权利要求2或3所述的采用脑电时频成分双重定位范式的快速字符输入方法，其特征在于，所述步骤(2)中，对实时采集的EEG信号中P300成分的处理流程为：系统将读取的P300成分信道的EEG信号采用频率为0.01～50Hz的带通滤波后，截取每个随机闪烁刺激序列发生后0～800ms的EEG信号；对每组单次响应EEG信号用SWLDA训练得到的权值进行加权，得到加权和，并将其定义为该单次响应的特征值score；按照码字C对N个刺激序列的score进行平均，得到特征值的平均值

接下来，在码字C≤m的范围内求出特征值最大值，并将其对应码字C的编号定为目标字符键区内行坐标，其中m为分区中字符矩阵的行数；在码字C＞m的范围内求出特征值最大值，并将其对应码字C-m定为目标字符键区内列坐标。

Images