CN1949140B

CN1949140B - 脑-机接口鼠标控制方法

Info

Publication number: CN1949140B
Application number: CN2006101292553A
Authority: CN
Inventors: 万柏坤; 程龙龙; 明东
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2006-11-08
Filing date: 2006-11-08
Publication date: 2011-11-02
Anticipated expiration: 2026-11-08
Also published as: CN1949140A

Abstract

本发明涉及利用脑电信号实现鼠标控制的方法，属于生物医学工程及计算机技术领域，包括下列步骤：将C3和C4头皮导联电极连接在鼠标操作者的头部；鼠标操作者在确定希望鼠标光标的移动方向后，产生含有鼠标光标控制信息的脑电信号；利用C3和C4头皮导联电极实时采集鼠标操作者脑电中α波段的电信号；对该脑电信号进行前置放大低通滤波处理，再经模数转换生成数字信号后输入计算机主机；由计算机主机对上述数字信号进行信号处理与特征提取的运算处理，计算C3和C4导联脑电信号的alpha波段能量谱，获取其中频10Hz处能量值，计算C3减C4导联的能量差，并据此生成脑-机接口控制信号，并根据脑-机接口控制信号，调用鼠标控制程序，控制计算机屏幕上的鼠标光标的移动。本发明为瘫痪病人提供了简单易用的计算机鼠标光标的控制方法，具有显著的社会效益和经济效益。

Description

脑-机接口鼠标控制方法

技术领域

本发明涉及利用脑电信号实现鼠标控制的方法，属于生物医学工程及计算机技术领域。

背景技术

脑-机接口(Brain-Computer Interface，BCI)是在人脑和计算机或其他电子设备之间建立一种不依赖于常规大脑输出通路(外周神经和肌肉组织)的直接信息交流和控制通道，是一种全新的人-机交互系统。

基本BCI系统的原理如下：含有操作控制意图的脑电信号通过电极从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信号特征，并将之转化为控制外部设备的操作命令(如按下遥控器键、敲击打字机键盘、移动屏上光标等)。目前BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

脑-机接口作为一种全新的信息交换和控制技术，将为瘫痪病人，特别是那些丧失了基本肢体运动功能但思维正常的患者，提供一种与外界进行信息交流和控制的新途径，正受到越来越多的重视。

发明内容

本发明的主旨是提供计算机屏幕鼠标光标运动的控制方法，以实现计算机鼠标控制的无肢体动作遥控。该项发明可让全身性重症瘫痪但头脑功能正常的残疾人自行实现对计算机屏幕鼠标光标运动的遥控操作。

本发明的脑-机接口鼠标控制方法，包括下列步骤：

(1)将C3和C4头皮导联电极连接在鼠标操作者的头部；

(2)鼠标操作者在确定希望鼠标光标的移动方向后，产生含有鼠标光标控制信息的脑电信号；

(3)利用C3和C4头皮导联电极实时采集鼠标操作者脑电中α波的电信号；

(4)对该脑电信号进行前置放大低通滤波处理，再经模数转换生成数字信号后输入计算机主机；

(5)由计算机主机对上述数字信号进行信号处理与特征提取的运算处理，计算C3和C4导联脑电信号的alpha波段能量谱，获取其中频10Hz处能量值，计算C3减C4导联的能量差，并据此生成脑-机接口控制信号，并根据脑-机接口控制信号，调用鼠标控制程序，控制计算机屏幕上的鼠标光标的移动。

上述脑-机接口鼠标控制方法，步骤(5)可以包括下列步骤：

1)对模数转换电路输入的数据信号，进行滤波、RMS平滑处理；

2)将RMS平滑处理的结果与预设的阈值相比较，输出脑机接口控制信号；

3)由计算机主机根据输出的脑-机接口控制信号，调用Windows API函数库中的mouse_event函数，控制鼠标在当前位置的基础上的移动方向和移动像素点数。

上述的脑-机接口鼠标控制方法，其特征在于，步骤2)可以包括下列步骤：根据C3减C4导联的能量差来判断操作者意图是要光标向左或上移动还是向右或下移动，若二者相减的结果大于光标动作阈值V_rm，则可以断定操作者有使光标向右或下移动的意图，若二者相减的结果小于光标动作阈值的负数，则可以断定操作者有使光标向左或上移动的意图。

本发明利用脑-机接口控制信号，为瘫痪病人，特别是那些丧失了基本肢体运动功能但思维正常的患者，提供了一种简单易用的计算机鼠标光标的控制方法，具有显著的社会效益和经济效益。

附图说明

图1本发明的系统结构示意图；

图2屏幕光标循环控制显示面板及指示灯循环点亮示意图，(a)：光标向上移动控制；(b)：光标向下移动控制；(c)：光标向左移动控制；

图3本发明实施例的在Labview平台上进行信号处理的流程图。

具体实施方式

本发明选用脑电中alpha(α)波作为特征控制信号。α波为自发脑电的主要成分之一，与视觉皮层的闲散节律相对应，频率为8～13Hz，是节律性脑电波中最具明显特征的成分。正常人在清醒闭目时α波增强，睁眼、思考问题，或受到其它刺激时，α波减弱或消失的电生理现象称为α波的阻断；此后若受试者再度安静闭目，则α波又重新出现。根据90％以上脑神经功能正常人在短时间闭眼后脑电中α波幅均可明显增强这一普适特征，本发明通过提取受试者睁闭眼时脑电α波幅值的变化特征作为控制信号，实现对计算机屏幕鼠标光标运动的控制。在操作者头后部01-T5导联处放置Ag-AgCl头皮导联电极来检测脑电α波幅值的变化，并根据受试者α波幅大小设定适当的控制阈值。当闭眼α波幅值超过门限值时，则打开相应的控制开关。由于系统操作简单，一般无需训练就可以控制计算机屏幕鼠标光标运动。

图1为本发明的系统结构示意图。该系统基于虚拟仪器Labview平台，利用正常人脑电α波阻断现象的开关控制作用设计了相应的屏幕光标循环控制显示面板、头皮导联电极、Labview信号采集卡、Labview信号处理平台，来实现对计算机屏幕鼠标光标运动的控制。操作者根据计算机屏幕光标循环控制指示进行选择，产生含有与鼠标光标控制信息的脑电信号；该信号由头皮导联电极感应、经前置放大低通滤波电路，再由Labview信号采集卡进行A/D转换后输入计算机；然后在计算机内Labview平台上完成去噪、均方根(RMS)平滑-平均、与门限电压比较、产生控制脉冲等一系列信号处理工作；最后通过调用Windows API函数库中的mouse_event(MOUSEEVENTF_MOVE，10，0，0，0)函数使得计算机屏幕鼠标光标在当前位置的基础上向相应方向移动适当数目像素以完成对鼠标的控制功能。

本发明设计了屏幕光标循环控制显示面板，以实现对光标四个移动方向控制功能的选择(如图2所示)。图2中(a)～(c)所示四个箭头指示分别代表上、下、左、右等四个控制移动方向，由相应的循环程序控制循环显示。图中(a)、(b)、(c)三幅图依次演示了光标向上移动、光标向下移动和光标向左移动三个功能控制状态(相应的指示灯点亮)。

本发明还可以采用屏幕显示控件，控件的上下左右四个方向上分别设置方向标识，由循环程序控制方向标识循环显亮或变色，功能控制状态与图2所示相似。

本发明利用脑电控制鼠标光标流程如下：

(1)由labview采集卡通过置放于头皮上的头皮导联电极，采集脑电信号。

(2)确定希望光标的移动方向(向上，向下，向左，向右)。

(3)假定预想方向是向上，待循环控制灯向上的指示灯点亮时，进行α波恢复。

(4)对采集到的脑电信号进行滤波，我们主要关心10Hz附近的信号功率谱的变化，所以采用8～13Hz的带通滤波器。

(5)对滤波以后的脑电信号进行RMS平滑，设定恰当的阈值。测得的RMS的值若超过阈值输出“1”，未超过阈值输出“0”。

(6)输出“0”“1”信号与循环控制灯的控制信号作与运算。若与运算结果为1，则调用Windows API函数库中的mouse_event(MOUSEEVENTF_MOVE，0，-10，0，0)函数使得鼠标在当前位置的基础上向上移动十个像素(像数的个数可调)

(7)同理，可以完成向下，向左，向右的任务。

也可以用想象动作电位来代替循环控制灯，进行方向的选择具体流程如下：

1)计算C3导联和C4导联脑电信号的alpha波段能量谱，并读取其中频10Hz处能量值，计算C3导联与C4导联脑电信号的能量差。

2)根据相减的能量差来判断操作者意图是要光标向左(或上)移动还是向右(或下)移动：若二者相减的结果大于光标动作阈值V_rm则可以断定操作者有使光标向右(或下)移动的意图，若二者相减的结果小于-V_rm，则可以断定操作者有使光标向左(或上)移动的意图；若二者相减的结果在(-V_rm，V_rm)之间，则认为C3与C4导联的能量差处于正常范围，操作者暂无移动光标的意图；光标动作阈值V_rm的取值由下面所述方法确定。

3)若根据C3减C4导联的能量差可以断定操作者有使光标向右(或下)移动的意图，则调用Windows API函数库中mouse_event(MOUSEEVENTF_MOVE，10，0，0，0)函数使得光标由当前位置向右(或下)移动十个像素；反之，若根据C3导联与C4导联脑电信号的能量差可以断定操作者有使光标向左(或上)移动的意图，则调用Windows API函数库中mouse_event(MOUSEEVENTF_MOVE，-10，0，0，0)函数使得光标由当前位置向左(或上)移动十个像素。

4)重复步骤1)2)3)可使得鼠标光标移动到操作者所关心的屏幕位置。

本发明信号处理可以在Labview平台上完成。信号处理流程如图3所示：由头皮电极拾得原始脑电信号经Labview采集卡输入到计算机后，再经8～13Hz的带通滤波保留其中α波成分；该信号经过10ms的均方根(RMS)平滑算法后分为两路信号：一路经过400～500ms的平均处理后成为主控制通道信号，用于输出控制；另一路经过50ms的平均处理后成为辅助控制通道信号，用来判断主通道信号是由受试者闭眼产生的真实α波增幅信号还是其它干扰所引起的噪声信号。其判断方法是将主通道信号与门限电压进行比较，如果超越门限电压，再与辅助控制通道信号进行比较以判断是否真实α波增幅信号。信号处理流程最后将实际α波增幅信号作为控制信号输出给接口电路并产生提示音给操作者。

对于本发明整个系统而言需要确定四个关键技术参数：其一是光标动作阈值，其二是开关阈值电压，其三是动作时间常数，对应于控制面板上指示灯切换前持续闪烁的时间，其四是各种干扰所引起的最大背景噪声电压。上述第一个参数反映操作者在闭眼想象光标左右(或上下)运动状态之间α波幅的差别；第二个参数反映操作者在睁、闭眼状态之间α波幅的差别；第三个参数反映操作者闭眼后α波幅超过阈值电压所需时间；第四个参数对判断主控制通道信号是真实α波控制信号还是干扰噪声具有重要的参考价值。下面对这四个参数的确定做一介绍。

光标动作阈值：

把操作者闭眼想象光标向左(或上)运动时α波幅平均值记为V_left，闭眼想象光标向右(或下)运动时α波幅平均值记为V_right，其差值记为V_m，则操作者的开关阈值电压参考值V_rm可按下面经验公式计算：

V_rm＝V_right+0.8V_m (1)

式中0.8是操作者两种想象动作状态下α波幅差异的调整系数。

开关阈值电压：

把操作者睁眼时α波幅平均值记为V_open，闭眼时α波幅平均值记为V_close，其差值记为V_d，则操作者的开关阈值电压参考值V_ref可按下面经验公式计算：

V_ref＝V_open+0.8V_d (2)

式中0.8是操作者睁、闭眼状态下α波幅差异的增益系数。本发明对不同操作者采用相同的阈值电压，可根据不同的控制目标与任务来选取相应的开关阈值电压设定方案。

动作时间常数：

如前述，动作时间常数反映了操作者后α波幅超过阈值电压所需时间，本发明采用相同增益系数值，按上述方法确定各操作者的开关控制阈值电压，并用该系统测试操作者的动作时间值。为了获得较稳定可靠的数据，要求每个操作者重复操作试验25次，考虑到系统硬件采集、信号处理所需时间和个体差异，本发明选取动作时间数据记录中的最大值作为BCI系统的动作时间常数。

最大背景噪声电压：

操作过程中会出现很多干扰因素(包括眼电、肌电信号和周围环境噪声干扰)。在上述干扰出现时动作平均数值会伴随动作的发生或环境的变化而出现相应的改变，超出正常范围很多。为警示大幅度干扰出现情况，本发明在主通道之外另在副通道上设定一个干扰警戒值(超过门限电压，在可能出现的大幅度干扰范围之内)，如果是超过这个警戒值就认为主通道的控制信号可能是由干扰引起的而非有意识控制下α波幅度的增加，从而抑制主通道控制信号的输出。

16位受试者运用本发明的计算机屏幕鼠标光标运动控制系统进行基本控制特性实验。该实验目的是通过对受试者的数据分析来考察系统的控制方案可行性和易操作性及控制速度。受试者均为青年学生(男女各半，平均年龄为25.2岁)。实验包括四个阶段，每个阶段要求受试者进行20次连续选择控制。受试者均未经过先期训练，选择控制任务的顺序在实验中随机给出。从发出控制任务命令开始计时，到控制目标方向被选中、指示灯被点亮(表示完成一项控制任务)，则计时停止，依次进行20次；如果被点亮的指示灯不是控制任务命令所要选中的方向，则记为一个错误。实验时间记录严格在相同实验条件下由同一实验者负责进行。

对每个受试者记录了在四个阶段连续20个目标选择过程中的正确选择时间(含最大值、最小值、中值和平均值)及错误选择次数。从实验数据可以看出每个受试者在连续实验过程中，正确选择时间逐渐缩短、选择错误次数明显逐步减少，且从第二阶段实验开始正确选择时间一般接近或低于平均值，表明受试者经过第一阶段实验后，均能很快地熟悉并适应系统的控制操作。其中有两位受试者在首次实验中错误率仅为10％，三位受试者从第二阶段开始，已将错误率分别下降为15％、10％和5％，表明在第二阶段实验时多数受试者已经熟悉系统控制，从而迅速降低了错误水平。上述基本控制实验结果表明了该BCI系统具有易于理解和操作的特点。

表1是其中5位受试者实验中较容易出现的两类选择错误统计，其一是所谓“循环错误”，指受试者因未能及时做出选择而错过本次循环，只能等到下次循环时再选择目标方向。其二是“临选错误”，指受试者因控制过犹不及而错选了相邻的方向目标。从表中求和分析可以看出，循环错误出现比较少，其主要原因是偶然因素。而在选择错误数中，临选错误占有较大比例，较容易发生。从本质上讲，临选错误主要产生于心理因素，但经过训练可以克服。表中可以看到临选错误在逐步实验过程中明显减少，在第二部分错误率减少了64.7％，到第四部分减少了70.6％，进一步证明了该BCI系统的易操作性和可靠性能。

16名受试者实验结果说明该BCI系统具有不需要复杂学习或生物反馈训练过程，准确度高，易掌握等特点，可能为思维正常但运动功能残缺的患者提供一种新的信息交流控制方式和助残康复及生活辅助工具。

Claims

1.一种脑-机接口鼠标控制方法，包括下列步骤：

(1)将C3和C4头皮导联电极连接在鼠标操作者的头部；

(3)利用C3和C4头皮导联电极实时采集鼠标操作者脑电中α波段的电信号；

2.根据权利要求1所述脑-机接口鼠标控制方法，其特征在于，步骤(5)包括下列步骤：

1)对C3，C4导联脑电信号经过模数转换处理成数字信号后，分别进行滤波、RMS平滑处理；

2)将二者RMS平滑处理后相减结果与预设的阈值相比较，输出脑-机接口控制信号；

3.根据权利要求2所述脑-机接口鼠标控制方法，其特征在于，步骤2)包括下列步骤：根据C3减C4导联的能量差来判断操作者意图是要光标向左或上移动还是向右或下移动，若二者相减的结果大于光标动作阈值V_rm，则可以断定操作者有使光标向右或下移动的意图，若二者相减的结果小于光标动作阈值V_rm的负数，则可以断定操作者有使光标向左或上移动的意图。