CN101571747A - 多模式脑电控制的智能打字的实现方法 - Google Patents

Abstract

本发明涉及脑－计算机接口、计算机输入系统。本发明提出一种多模式脑电控制的智能打字的实现方法，以实现计算机打字的无肢体动作遥控过程，让全身性重症瘫痪但头脑功能正常的残疾人自行实现对计算机的打字功能操作，本发明采用的技术方案是：包括下列步骤：让使用者根据计算机屏幕光标循环控制指示进行选择从而产生含有相关控制信息的脑电信号；该信号先经脑电放大器放大、滤波，然后输入计算机；然后在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析、与门限电压比较、产生控制脉冲；最后通过计算P300的值确定选择的字母并调用函数输出该字母。本发明主要用于无法进行肢体动作人和计算机交互。

Description

多模式脑电控制的智能打字的实现方法

技术领域

本发明涉及脑-计算机接口、计算机输入系统。具体讲涉及多模式脑电控制的智能打字系统。

背景技术

第一次BCI国际会议给出的BCI的定义是：“脑-计算机接口(BCI)是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”它通过采集和分析人的脑电信号，在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。

基本BCI系统如图1所示，含有操作控制意图的脑电信号通过电极从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信号特征，并将之转化为控制外部设备的操作命令。目前BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

脑-机接口作为一种全新的信息交换和控制技术，将为瘫痪病人，特别是那些丧失了基本肢体运动功能但思维正常的患者，提供一种与外界进行信息交流和控制的新途径，正受到越来越多的重视。

发明内容

为克服现有技术的不足，本发明的目的在于：提出一种多模式脑电控制的智能打字的实现方法，以实现计算机打字的无肢体动作遥控过程，让全身性重症瘫痪但头脑功能正常的残疾人自行实现对计算机的打字功能操作，并获得可观的社会效益和经济效益。本发明采用的技术方案是：包括下列步骤：让使用者根据计算机屏幕光标循环控制指示进行选择从而产生含有相关控制信息的脑电信号；该信号先经脑电放大器放大、滤波，然后输入计算机；然后在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析、与门限电压比较、产生控制脉冲；最后通过计算P300的值确定选择的字母并调用函数输出该字母，前述P300是事件相关电位，是在诱发刺激后300ms出现的脑电特征。

所述的让使用者根据计算机屏幕光标循环控制指示进行选择从而产生含有相关控制信息的脑电信号是，计算机屏幕操作界面分为两部分，上部分为输入字母的区域，下部分为键盘选择区，键盘区域分为左中右三部分，每一部分为9个字母。三个部分轮流变为白色，若受试者想要输入的字母所在区域变成白色时，受试者想象右手屈肘运动，计算机检测到想象动作所诱发的事件相关去同步电位就会出现一个对话框让受试者确定是否选择该区域，若该区域正确则受试者闭目诱发α波为确定信号，若不正确受试者一直睁眼超过5秒钟重新选择行，选择所要输入的目标字母所在区域后，该区域字母循环显示，当受试者想要输入的字母变为白色时，则受试者对其进行计数，当计算机检测到P300信号时输入此时刻的字母。

所述的该信号先经脑电放大器放大、滤波，然后输入计算机，然后在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析，是指计算联脑电信号的功率谱，并提取其中8-13Hz的平均值作为特征值，先经过一段时间的训练，将取得的特征数据作为训练数据，训练过程在打字过程之前进行，受试者在屏幕上出现十字的时候表示静息不进行想象动作，出现箭头的时候则想象手部运动，取够训练数据后就选择目标，并由计算机控制开始进行字母行选择。

所述的诱发α波为确定信号，是指若该区域是受试者所选择的区域则受试者闭眼诱发α波，若不是该区域则不闭眼，5秒钟后重新进行行选择，由计算机计算脑电信号的α波段能量谱，并读取其中频率为10Hz处能量值，通过信号处理确定其参数阈值，当α波能量高于阈值则表示该行就是受试者选择的行，进行确定选择，当α波能量低于阈值则不进行操作。

所述在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析，是指由头皮电极拾得原始脑电信号脑电放大器输入到计算机后，再经8～13Hz的带通滤波保留其中α波成分；该信号经过10ms的均方根RMS平滑算法后分为两路信号：一路经过400～500ms的平均处理后成为主控制通道信号，用于输出控制；另一路经过50ms的平均处理后成为辅助控制通道信号，用来判断主通道信号是由受试者闭眼产生的真实α波增幅信号还是其它干扰所引起的噪声信号，其判断方法是将主通道信号与门限电压进行比较，如果超越门限电压，再与辅助控制通道信号进行比较以判断是否真实α波增幅信号。信号处理流程最后将实际α波增幅信号作为控制信号输出给接口电路。

把操作者睁眼时α波幅平均值记为V_open，闭眼时α波幅平均值记为V_close，其差值记为V_d，则操作者的开关阈值电压参考值V_ref可按下面经验公式计算：

V_ref＝V_open+0.8V_d

式中0.8是操作者睁、闭眼状态下α波幅差异的增益系数。

为测得反映操作者后α波幅超过阈值电压所需时间的动作时间常数，采用相同增益系数值，按确定的各操作者的开关控制阈值电压，测试操作者的动作时间值，让每个操作者重复操作试验25次，选取动作时间数据记录中的最大值作为动作时间常数。

在主通道之外另在副通道上设定一个干扰警戒值，如果是超过这个警戒值就认为主通道的控制信号可能是由干扰引起的而非有意识控制下α波幅度的增加，从而抑制主通道控制信号的输出。

最后通过计算P300的值是指，先通过离线实验，得到受试者的P300的波形，在这些波形中选择一些波形相对标准的做叠加平均，将得到的波形作为该受试者的标准模板，再采集一些不含P300的波形作为参考波形，在线实验时利用上面提到过的马氏距离分类法进行模式识别，判断是否有p300信号，当检测到P300信号时，屏幕上就出现此时键盘上显示的字母。

本发明可以带来以下效果：

首先，本发明采用让使用者根据计算机屏幕光标循环控制指示进行选择从而产生含有相关控制信息的脑电信号可提高效率和正确率。

其次，借助于受试者视力和想象实现输入字母和与外界的交互，取得明显的技术效果。比单一模式的脑电控制打字装置提高了效率和正确率，通过ERD先将键盘分区，可以提高打字速度，再通过α波确定可以减弱ERD选择错误所带来的错误影响，最后通过P300确定字母。

此外，本发明还具有简便易行的特点。

附图说明

图1BCI系统及其控制。

图2BCI控制系统结构框图。

图3字母区域变换示意图。

图4训练界面。

图5确定选择对话框。

图6字母随机显示图。

图7字母区域选择流程图。

图8α波信号处理流程图。

具体实施方式

图2为本发明系统结构示意图。该系统基于VC++平台，利用正常人脑电ERD特征和α波阻断现象的开关控制作用以及在偏差刺激下产生的P300脑电特征设计了相应的BCI控制面板、信号采集系统、信号处理平台来实现计算机打字功能。操作者由计算机屏幕光标循环控制指示选择产生含有相关控制信息的脑电信号；该信号先经脑电放大器放大、滤波，然后输入计算机；然后在计算机内Vc++平台上完成去噪、功率谱分析、与门限电压比较、产生控制脉冲等一系列信号处理工作；最后通过计算P300的值确定选择的字母并调用函数输出该字母。P300是事件相关电位，因为其是在诱发刺激后300ms出现的脑电特征故称为P300。

本发明要点在于键盘字母选择界面设计、利用脑电输出字母和信号处理流程；多模式脑电特征的选取，开关阈值电压、动作时间常数和噪声背景电平等技术参数的确定等技术环节。1操作界面设计、利用脑电打字和信号处理流程：

操作界面分为两部分，上部分为输入字母的区域，下部分为键盘选择区(图3)。键盘区域分为左中右三部分，每一部分为9个字母。三个部分轮流变为白色，若受试者想要输入的字母所在区域变成白色时，受试者想象右手屈肘运动。计算机检测到想象动作所诱发的事件相关去同步电位(Event Related Desynchronization，ERD)，即计算机检测到想象动作所诱发的ERD就会出现一个对话框让受试者确定是否选择该区域，若该区域正确则受试者闭目诱发α波为确定信号，若不正确受试者一直睁眼5秒钟后重新选择行。选择所要输入的目标字母所在区域后，该区域字母循环显示，当受试者想要输入的字母变为白色时，则受试者对其进行计数，当计算机检测到P300信号时输入此时刻的字母。

本发明利用脑电打字流程如下：

(1)计算C3和C4导联脑电信号的功率谱，并提取其中8-13Hz的平均值作为特征值，先经过一段时间的训练，将取得的特征数据作为训练数据。训练过程在打字过程之前进行。训练界面如图5所示。出现十字的时候表示静息不进行想象动作，出现箭头的时候则想象手部运动，取够训练数据后就选择目标，并点击“开始”进行字母行选择。

(2)键盘划分的三个区域循环显示，当受试者想要输入的字母所在区域变为白色时，受试者进行想象右手屈肘动作，当计算机检测到想象动作诱发的ERD时则出现一个对话框要求受试者确定选择(如图5显示)。

(3)若该区域是受试者所选择的区域则受试者闭眼诱发α波，若不是该区域则不闭眼，5秒钟后重新进行行选择。计算O1、T5导联中脑电信号的alpha波段能量谱，并读取其中频率为10Hz处能量值，通过信号处理确定其参数阈值，当alpha波能量高于阈值则表示该行就是受试者选择的行，进行确定选择，当alpha波能量低于阈值则不进行操作。

(4)选择字母所在区域后该区域字母随机变为白色(图6所示)，每个字母停留1秒，若受试者所要选择的字母变为白色则进行计数。

(5)当计算机检测到P300特征则输入该字母，然后重复(1)、(2)、(3)、(4)。

本发明是在Vc++平台上完成的，鼠标移动处理流程如图7所示，先在训练模式下读取C3、C4导联数据，然后进行功率谱分析，将想象和未进行想象的结果分别存入两个数组，等训练数据读够十组后开始进入控制模式，对数据进行功率谱分析后分类，判断为想象则出现对话框，开始计算α波信号。

确定选择处理流程如图7所示，由头皮电极拾得原始脑电信号脑电放大器输入到计算机后，再经8～13Hz的带通滤波保留其中α波成分；该信号经过10ms的均方根(RMS)平滑算法后分为两路信号：一路经过400～500ms的平均处理后成为主控制通道信号，用于输出控制；另一路经过50ms的平均处理后成为辅助控制通道信号，用来判断主通道信号是由受试者闭眼产生的真实α波增幅信号还是其它干扰所引起的噪声信号。其判断方法是将主通道信号与门限电压进行比较，如果超越门限电压，再与辅助控制通道信号进行比较以判断是否真实α波增幅信号。信号处理流程最后将实际α波增幅信号作为控制信号输出给接口电路。2模式识别和确定系统参数：

2.1区域选择模式识别

对于本发明来说行选择部分不需要确定参数，只需要通过训练模式获得分类的依据，再通过模式识别判断是否为该选择。我们采用的模式识别的分类方法是马氏距离法，马氏距离判别法的基本思想是：假设有两个总体G1和G2，x是一个新样本点。定义x到G1和G2的马氏距离：

$d^2(x,G_1)={(x-u^{\left(1\right)})}^T{\mathrm{\Σ}}_1^{-1}(x-u^{\left(1\right)})$

$d^2(x,G_2)={(x-u^{\left(2\right)})}^T{\mathrm{\Σ}}_2^{-1}(x-u^{\left(2\right)})$

其中：u(1)、u(2)、∑₁、∑₂分别为G1和G2的均值和协方差矩阵。在本课题中，G1为任务态的总体，G2为空闲态的总体。T表示矩阵的转置，“1-”表示球矩阵的逆。马氏距离的优点是排除了模式样本之间的相关性影响。

构造判别公式为： $w\left(x\right)=\frac{d^2(x,G_1)-d^2(x,G_2)}{2}$ 构造判别规则为：

当判断为进行想象时则出现对话框进行行选择确定。

2.2确定目标参数

对于区域选择确定部分需要确定三个关键技术参数：其一是开关阈值电压，其二是动作时间常数，对应于控制面板上指示灯切换前持续闪烁的时间，其三是各种干扰所引起的最大背景噪声电压。第一个参数反映操作者在睁、闭眼状态之间α波幅的差别；第二个参数反映操作者闭眼后α波幅超过阈值电压所需时间；第三个参数对判断主控制通道信号是真实α波控制信号还是干扰噪声具有重要的参考价值。

(1)开关阈值电压

把操作者睁眼时α波幅平均值记为V_open，闭眼时α波幅平均值记为V_close，其差值记为V_d，则操作者的开关阈值电压参考值V_ref可按下面经验公式计算：

V_ref＝V_open+0.8V_d        (2)

式中0.8是操作者睁、闭眼状态下α波幅差异的增益系数。本发明对不同操作者采用相同的阈值电压，可根据不同的控制目标与任务来选取相应的开关阈值电压设定方案。

(2)动作时间常数

如前述，动作时间常数反映了操作者后α波幅超过阈值电压所需时间，本发明采用相同增益系数值，按上述方法确定各操作者的开关控制阈值电压，并用该系统测试操作者的动作时间值。为了获得较稳定可靠的数据，要求每个操作者重复操作试验25次，考虑到系统硬件采集、信号处理所需时间和个体差异，本发明选取动作时间数据记录中的最大值作为BCI系统的动作时间常数。

(3)最大背景噪声电压

操作过程中会出现很多干扰因素(包括眼电、肌电信号和周围环境噪声干扰)。在上述干扰出现时动作平均数值会伴随动作的发生或环境的变化而出现相应的改变，超出正常范围很多。为警示大幅度干扰出现情况，本发明在主通道之外另在副通道上设定一个干扰警戒值(超过门限电压，在可能出现的大幅度干扰范围之内)，如果是超过这个警戒值就认为主通道的控制信号可能是由干扰引起的而非有意识控制下α波幅度的增加，从而抑制主通道控制信号的输出。

2.3提取P300特征

我们先通过离线实验，得到受试者的P300的波形。在这些波形中选择一些波形相对标准的做叠加平均，我们将得到的波形作为该受试者的标准模板，再采集一些不含P300的波形作为参考波形。在线实验时利用上面提到过的马氏距离分类法进行模式识别，判断是否有P300信号。当检测到P300信号时，屏幕上就出现此时键盘上显示的字母。

本发明提出一种新的多模式脑电打字系统，以实现全新的无肢体动作打字，比单模式打字系统提高了正确率和速度。该项发明可让全身性重症瘫痪但头脑功能正常的残疾人自行实现电脑打字操作，并获得可观的社会效益和经济效益。

Claims (9)

1、一种多模式脑电控制的智能打字的实现方法，其特征是，包括下列步骤：让使用者根据计算机屏幕光标循环控制指示进行选择从而产生含有相关控制信息的脑电信号；该信号先经脑电放大器放大、滤波，然后输入计算机；然后在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析、与门限电压比较、产生控制脉冲；最后通过计算P300的值确定选择的字母并调用函数输出该字母，前述P300是事件相关电位，是在诱发刺激后300ms出现的脑电特征。

2、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，所述的让使用者根据计算机屏幕光标循环控制指示进行选择从而产生含有相关控制信息的脑电信号是，计算机屏幕操作界面分为两部分，上部分为输入字母的区域，下部分为键盘选择区，键盘区域分为左中右三部分，每一部分为9个字母，三个部分轮流变为白色，若受试者想要输入的字母所在区域变成白色时，受试者想象右手屈肘运动，计算机检测到想象动作所诱发的事件相关去同步电位就会出现一个对话框让受试者确定是否选择该区域，若该区域正确则受试者闭目诱发α波为确定信号，若不正确受试者一直睁眼超过5秒钟重新选择行，选择所要输入的目标字母所在区域后，该区域字母循环显示，当受试者想要输入的字母变为白色时，则受试者对其进行计数，当计算机检测到P300信号时输入此时刻的字母。

3、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，所述的该信号先经脑电放大器放大、滤波，然后输入计算机，然后在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析，是指计算联脑电信号的功率谱，并提取其中8-13Hz的平均值作为特征值，先经过一段时间的训练，将取得的特征数据作为训练数据，训练过程在打字过程之前进行，受试者在屏幕上出现十字的时候表示静息不进行想象动作，出现箭头的时候则想象手部运动，取够训练数据后就选择目标，并由计算机控制开始进行字母行选择。

4、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，所述的诱发α波为确定信号，是指若该区域是受试者所选择的区域则受试者闭眼诱发α波，若不是该区域则不闭眼，5秒钟后重新进行行选择，由计算机计算脑电信号的α波段能量谱，并读取其中频率为10Hz处能量值，通过信号处理确定其参数阈值，当α波能量高于阈值则表示该行就是受试者选择的行，进行确定选择，当α波能量低于阈值则不进行操作。

5、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，所述在计算机内Vc++平台上完成信号处理工作包括去噪、功率谱分析，是指由头皮电极拾得原始脑电信号脑电放大器输入到计算机后，再经8～13Hz的带通滤波保留其中α波成分；该信号经过10ms的均方根RMS平滑算法后分为两路信号：一路经过400～500ms的平均处理后成为主控制通道信号，用于输出控制；另一路经过50ms的平均处理后成为辅助控制通道信号，用来判断主通道信号是由受试者闭眼产生的真实α波增幅信号还是其它干扰所引起的噪声信号，其判断方法是将主通道信号与门限电压进行比较，如果超越门限电压，再与辅助控制通道信号进行比较以判断是否真实α波增幅信号，信号处理流程最后将实际α波增幅信号作为控制信号输出给接口电路。

6、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，把操作者睁眼时α波幅平均值记为V_open，闭眼时α波幅平均值记为V_close，其差值记为V_d，则操作者的开关阈值电压参考值V_ref可按下面经验公式计算：

V_ref＝V_open+0.8V_d

式中0.8是操作者睁、闭眼状态下α波幅差异的增益系数。

7、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，为测得反映操作者后α波幅超过阈值电压所需时间的动作时间常数，采用相同增益系数值，按确定的各操作者的开关控制阈值电压，测试操作者的动作时间值，让每个操作者重复操作试验25次，选取动作时间数据记录中的最大值作为动作时间常数。

8、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，在主通道之外另在副通道上设定一个干扰警戒值，如果是超过这个警戒值就认为主通道的控制信号可能是由干扰引起的而非有意识控制下α波幅度的增加，从而抑制主通道控制信号的输出。

9、根据权利要求1所述的一种多模式脑电控制的智能打字的实现方法，其特征是，最后通过计算P300的值是指，先通过离线实验，得到受试者的P300的波形，在这些波形中选择一些波形相对标准的做叠加平均，将得到的波形作为该受试者的标准模板，再采集一些不含P300的波形作为参考波形，在线实验时利用上面提到过的马氏距离分类法进行模式识别，判断是否有p300信号，当检测到P300信号时，屏幕上就出现此时键盘上显示的字母。

Images