CN101201696B - 基于p300脑电电位的中文输入bci系统 - Google Patents

Abstract

本发明公开了一种基于P300脑电电位的中文输入BCI系统，包括：用于采集带P300成分的脑电信号并进行放大和数字化的脑电采集系统，用于将经脑电采集系统放大和数字化的脑电信号进行增强处理和P300成分检测的脑电信号分析模块，用于诱发使用者脑电信号并将脑电信号分析模块的检测结果转化为中文输入的用户界面模块，用于显示用户界面模块产生的中文输入的显示装置。本发明中文输入BCI系统可以为身体瘫痪且语言功能受损的严重残疾病患提供与他人进行交流的途径，并且对其外围功能加以延伸后可以让患者实现对计算机程序和电子机械装置的控制。这在医疗康复、医学生理实验、脑功能机制探索方面具有诸多价值。

Description

基于P300脑电电位的中文输入BCI系统

技术领域

本发明涉及一种医疗康复实验装置，具体是指一种利用人类头皮脑电图实现对外界电子机械设备控制的脑机接口(BCI)系统。

技术背景

脑机接口技术(BCI)，研究的是如何通过非自然的方法沟通脑内信息和外界环境。它为大脑和环境提供了信息传输通道，外界信息能从仿生传感器输入到神经系统，神经信号也可以用于控制外部电子机械装置。该项技术可以修复、改善甚至扩展神经系统原有功能，提供一种崭新的信息交互模式。

头皮脑电图(EEG)最先被用于BCI系统研究。上世纪七十年代，美国国防部ARPA机构最早开始重视人与计算机之间沉浸式、紧密的交互技术的研究。到了九十年代中后期，随着科学家对大脑功能原理的更深入了解、高性能的电子产品的飞速发展、社会对残疾病人的更大关注，BCI技术的研究出现了新的高潮。直至今天，基于EEG的BCI系统依然是BCI研究的重要一环，并且由于其无创伤、安全易用的特性，处于BCI实用化研究的前端。

头皮脑电图通过与头皮接触的金属或金属化合物电极采集得到，电极和头皮间需要填充导电媒介物以保证良好接触。目前在实验中一般采用电极帽的方式采集脑电图信号，电极帽就是将多个电极以一定空间分布嵌在弹性帽子上，以简化定位和准备工作。

奥地利Graz科技大学的BCI小组在G.Pfurtscheller的领导下于1991年最早开始了基于动作想象的BCI研究。2003年他们实现了用EEG结合功能性电刺激来帮助瘫痪病人恢复手臂功能，极大地推动了BCI的实用化发展。他们还设计了基于EEG的虚拟键盘进行英文的输入。

美国Wadworth Center也是BCI领域的领军之一。他们研究的重点是运动感觉的自发节律控制。他们研发的BCI系统可以让用户通过自主控制μ节律，控制屏幕上的鼠标进行2维运动。自2001年以来，他们用研发的BCI系统实现了让高度瘫痪者自行完成文字拼写、收发电子邮件、简单语音交流等日常操作。

其他的BCI研究机构包括南佛罗里达大学、德国Tübingen大学、台湾国立交通大学等。在这些研究机构的努力和合作下，已经产生了数种动作想象控制、虚拟输入键盘和虚拟场景漫游的BCI模型。

P300是一种事件相关电位(ERP)，是一种和心理认知事件有关的EEG响应，可以通过听觉视觉等各种刺激诱发，一般在实验对象期望的事件发生时出现。产生P300电位的两个前提是：1.对象期望的事件必须是一个小概率事件；2.此事件的具体发生时刻应该是随机的。

发明内容

本发明提供一种基于P300脑电电位的中文输入BCI系统，拥有实用BCI系统的完整功能，可以在线地让使用者依靠心理活动实现向计算机输入中文。

一种基于P300脑电电位的中文输入BCI系统，包括：

用于采集带P300成分的脑电信号并进行放大和数字化的脑电采集系统；

用于将经脑电采集系统放大和数字化的脑电信号进行增强处理和P300成分检测的脑电信号分析模块；

用于诱发使用者脑电信号并将脑电信号分析模块的检测结果转化为中文输入的用户界面模块；

用于显示用户界面模块产生的中文输入的显示装置。

其中，所述的脑电采集系统包括：

用于从使用者头部直接采集多通道脑电信号的多导电极帽；

用于将多导电极帽采集的脑电信号进行放大、增强、滤波处理的脑电放大器；

用于将脑电放大器处理后的脑电信号转发给脑电信号分析模块的放大器控制模块。

脑电放大器通过多导电极帽从使用者头部直接采集多通道的脑电信号。放大器对信号进行放大、增强、滤波后，以一定采样率将信号数字化，并通过USB连线将信号传输到PC机上。运行于PC机上的放大器控制模块接收到脑电信号后将其转发给脑电信号分析模块。

所述的脑电信号分析模块由信号处理模块和P300成分检测模块。信号处理模块用于将经脑电采集系统放大和数字化的脑电信号(即来自脑电采集系统的脑电放大器)进行P300成分凸显，工作时以数字信号处理技术抑制脑电信号中的干扰和噪声，去除信号基线漂移，突显脑电信号中可能存在的P300成分；

P300成分检测模块用于通过信号处理模块凸显出的P300成分判定使用者意图，即判断脑电信号中P300成分存在时刻。P300成分检测模块运用随机信号的模板相关度匹配技术估计脑电信号中不同时间段P300成分存在的概率，根据概率值判定P300成分发生时刻，根据发生时刻信息确定使用者意图(用户的输入选项)。检测程序用于对待分析的脑电信号时间段进行匹配的模板依据使用者个人的P300信号特点制作；

另外脑电信号分析模块还可以包括显示记录模块，显示记录模块可在必要时实时显示使用者的脑电信号波形和P300成分分析结果，供研究人员观察。此模块同时保存采集到的脑电信号数据，包括原始数据和处理后数据，供后期分析研究使用者习惯，评估系统运行。

所述的用户界面模块包括：

用于诱发使用者脑电信号的P300视觉诱发界面模块；

用于将脑电信号分析模块的检测结果(来自脑电信号分析模块中的P300成分检测模块。)转化为中文输入的中文输入控制模块。

用户界面模块是整个中文输入BCI系统的控制和配置中心，可以让辅助人员通过快捷键控制系统的启停和工作状态切换等需要人工参与的工作，并将用户和中文输入BCI系统的配置参数发送给脑电信号分析模块使之能根据当前使用者的特点自动调整。

P300视觉诱发界面模块通过视觉提示来诱发使用者的P300电位。P300视觉诱发界面模块通过显示装置为使用者提供多个输入选项，输入选项以选项框形式出现，选项框在屏幕上形成特定的空间分布。P300视觉诱发界面模块通过选项框的变色彩闪烁形成提示事件，诱发使用者的P300事件诱发电位。选项框的内容根据中文输入状态变化。

中文输入控制模块控制汉字笔画和字符的输入：通过中文笔画的选择产生候选汉字，通过功能键实现笔画选择和汉字字符选择之间的切换，通过字符的选择从候选汉字中产生使用者需要的汉字。

用户界面模块作为Windows程序运行于PC机上，通过显示装置(可以是普通PC机显示器)将相关信息显示出来。

本发明的中文输入BCI系统具有“使用”和“训练”两种工作模式。使用模式为使用者提供中文输入服务，训练模式为用户提供了进行适应性使用训练的环境，能帮助使用者熟悉系统操作。在训练模式下，系统还可完成P300检测程序所用模板的制作，这一功能包括在P300成分检测模块中，由其根据系统使用者在训练过程中的脑电信号生成模板并保存。

本发明的中文输入BCI系统具有充分的可配置性，可以根据系统工作模式、使用者的脑电信号特点和使用者个人偏好改变系统的特性。可供配置的内容包括：

P300视觉诱发界面模块中的输入选项框空间分布位置和模式；背景、选项框、文字输入框配色方案；提示闪烁色彩、闪烁频率；

脑电信号分析模块的降噪、去漂移算法；匹配模板的时间长度；上一选项输入完毕到下一选项开始输入的等待时间；

系统使用的脑电电极的数量和位置。

所述的用户界面可以将每个用户的偏好参数和模板以独立文件的方式保存，文件后缀为bupd。

所述的用户界面模块和脑电信号分析模块可以运行在同一台PC机上，也可以分布地运行于多台PC机上。用户界面模块和脑电信号分析模块之间通过Socket连接交互控制指令和数据信息。

本发明的中文输入BCI系统的工作过程为：用户界面模块通过显示装置利用视觉刺激让使用者产生带P300成分的脑电信号，脑电采集系统采集此信号后进行放大和数字化，并将信号数据传输到脑电信号分析模块，脑电信号分析模块实时地对脑电信号进行增强处理和P300成分检测，并将数据保存备份，用户界面模块采集脑电信号分析模块的检测结果后将其转化为中文输入并再通过显示装置显示。

本发明中文输入BCI系统通过用显示装置为使用者提供中文输入的环境，并诱发使用者的事件相关P300电位，利用脑电采集系统获取使用者脑电信号，运用信号分析程序从EEG中提取P300成分，并在解读P300与中文输入的关系后将解读结果反馈给用户界面以显示。系统具有使用模式和训练模式两种工作状态，既能用于汉字输入也为用户提供适应训练的环境。

本发明中文输入BCI系统可以为身体瘫痪且语言功能受损的严重残疾病患提供与他人进行交流的途径，并且对其外围功能加以延伸后可以让患者实现对计算机程序和电子机械装置的控制。这在医疗康复、医学生理实验、脑功能机制探索方面具有诸多价值。

附图说明

图1为本发明中文输入BCI系统的原理框图；

图2为本发明中文输入BCI系统用户界面模块输出到显示装置的示意图；

图3为训练模式下的用户界面模块输出到显示装置的示意图；

图4为笔画输入状态下的用户界面模块输出到显示装置的示意图；

图5为汉字选择状态下的用户界面模块输出到显示装置的示意图；

图6为汉字输入后的用户界面模块输出到显示装置的示意图；

图7为脑电信号分析模块中的信号处理模块的工作流程图；

图8为脑电信号分析模块中的P300成分检测模块的工作流程图。

具体实施方式

参见图1，本发明基于P300事件诱发电位的中文输入BCI系统，包括：包括用户界面模块、显示装置、脑电采集系统、脑电信号分析模块。

用户界面模块控制中文输入过程，诱发使用者P300脑电成分，脑电被脑电采集系统采集，经脑电信号分析模块处理解读，反馈至用户界面模块转化为符合使用者意念的输入并通过显示装置显示。

中文输入BCI系统用户界面模块输出到显示装置的示意图如图2所示。各个选项框以随机顺序轮流闪烁以使每个选项框的闪烁事件都满足诱发P300电位的两个条件，其闪烁的具体组织方式为：所有选项框都闪烁一次算作一轮闪烁；进行若干轮闪烁后系统将其作为一次输入。其中要保证各框闪烁的概率相等，闪烁顺序应尽量随机化，但需要避免同一个选项框连续闪烁。

脑电采集系统在使用时，可采用现有技术中通用的采集方法，具体如电极帽的电极与使用者头皮间的接触电阻以控制在20kΩ以下为宜。使用的电极通道默认为：FZ、FCZ、CZ、CPZ、PZ，参考电极置于鼻尖处。此外还需要接有双极垂直眼电电极以帮助消除眨眼对信号的影响。脑电放大器的数字化采样率一般设为250Hz，并应用上限为50Hz的低通模拟滤波器。

放大器需同时记录EEG信号和用用户界面模块产生的事件代码。两者合并后输出的数字信号经USB连线输入PC机，由放大器在PC端的控制程序读取。此控制程序必须具有软件端口把解码后的信号数据以一定格式发送给脑电信号分析程序。

如图7所示，脑电信号分析模块的信号处理模块对EEG的处理流程包括：去除直流成分、消除基线漂移、消除眼电干扰、滤波、依据事件代码对EEG进行分段。消除基线漂移使用减去取样点之间的三次样条曲线的方法，消除眼电干扰使用眼电信号相关消减算法。滤波过程采用15～20Hz的低通数字滤波器进行。

如图8所示，脑电信号分析模块的P300成分检测模块将已经按事件代码分段的EEG分别与P300模板进行匹配。匹配算法可以是任意的距离度量计算，只要其产生的度量值能表征实际的EEG信号与P300模板的差异程度。

对于一位从未接触过本系统的使用者，首先需要让其对P300电位的产生机制获得一定的感性认知。一般需要让使用者了解一些受到输入界面刺激提示后产生P300信号的心理技巧。最常用的技巧是让使用者在其所期望的选项闪烁时，默念某一数字。

训练模式的用户界面如图3，此模式下系统不会产生输出，并且选项框闪烁无停顿。使用者首次使用系统时，应将系统置于此模式下，进行适应性训练和模板采集。训练模式下，经过2～3次的预练习后，开始制作模板的过程。让使用者依次将不同的输入选项框作为期望输入。此时信号分析程序只运行信号处理模块，并将处理后波形数据保存。在经过至少20次输入，每次至少10轮闪烁后，由操作人员人工剔除一些失败的实验数据，将剩下的数据按“各轮闪烁中具有相同事件代码的数据段进行合并”的原则作平均叠加，使每一次输入都得到一组关于各个选项的含P300电位的平均数据段。然后再根据使用者个人的P300电位特点从中截取长度从200ms～400ms的一段，形成模板。

训练结束后，使用者已基本掌握系统使用技巧，初步模板也已完成。这时可以把系统切换到使用模式，其界面如图2所示。使用者可以开始进行实际中文输入。此时系统每执行一次输入所需的若干轮闪烁后会暂停闪烁，待系统分析完信号，将P300电位对应的选项输出到界面，然后继续闪烁开始下一个输入。基于选项输入的实际打字过程如下：

1.选择中文笔画，产生候选汉字，此时用户界面如图4。

2.当候选汉字区出现需要输入的汉字时，选择“En”键切换到汉字选择状态，此时用户界面如图5。

3.选择需要的汉字，实现输入，此时用户界面如图6。

4.期间若有错误输入，选择“BK”键可删除错误输入。

从训练到使用整个过程可能无法在一次试验中完成。在使用过程中辅助操作者应该定期选入一些波形较明显的数据更新模板，以适应使用者由于对系统的逐渐熟悉而产生的P300电位加强。当系统输入的准确率达到标准后，即可停止更新模板，由使用者完全接管系统。

需要注意的一点是，无论处于训练过程还是使用过程，一旦使用者出现明显的精神疲劳，应停止使用，进行休息，否则会造成系统输入准确率大幅下降。

Claims (3)

1.一种基于P300脑电电位的中文输入BCI系统，其特征在于，包括：

用于采集带P300成分的脑电信号并进行放大和数字化的脑电采集系统；

用于将经脑电采集系统放大和数字化的脑电信号进行增强处理和P300成分检测的脑电信号分析模块；

用于诱发使用者脑电信号并将脑电信号分析模块的检测结果转化为中文输入的用户界面模块；

用于显示用户界面模块产生的中文输入的显示装置；

所述的用户界面模块和脑电信号分析模块可运行在同一硬件平台上，也可分布地运行于多个硬件平台上，通过网络Socket接口进行通讯；

所述的用户界面模块包括：

用于诱发使用者脑电信号的P300视觉诱发界面模块；P300视觉诱发界面模块中各个选项框以随机顺序轮流闪烁使每个选项框的闪烁事件可诱发P300电位，各选项框闪烁的概率相等，避免同一个选项框连续闪烁；

用于将脑电信号分析模块的检测结果转化为中文输入的中文输入控制模块；可实现中文的笔画选择和汉字选择，并由“En”实现笔画到汉字选择的字符转换，“Bk”实现错误回退；

所述的用户界面模块具有训练和使用两种模式，支持功能切换。

2.如权利要求1所述的中文输入BCI系统，其特征在于：所述的脑电采集系统包括：

用于采集脑电信号的多导电极帽；

用于将多导电极帽采集的脑电信号进行放大、增强、滤波处理的脑电放大器；

用于将脑电放大器处理后的脑电信号转发给脑电信号分析模块的放大器控制模块。

3.如权利要求1所述的中文输入BCI系统，其特征在于：所述的脑电信号分析模块包括：

用于将经脑电采集系统放大和数字化的脑电信号进行P300成分凸显的信号处理模块；

用于通过信号处理模块凸显出的P300成分判定使用者意图的P300成分检测模块。

Images