CN104850230A - 模拟键盘鼠标的脑机接口控制方法 - Google Patents

Abstract

本发明公开了一种模拟键盘鼠标的脑机接口控制方法，该方法允许用户仅依靠大脑中的认知活动通过类似于综合运用键盘和鼠标的方式向受控设备传递控制命令，这种方式通用性强；实现该方法的脑机接口系统有三个状态：静息状态、鼠标状态和键盘状态；用户通过注视所述系统屏幕上的不同区域上的闪烁或开展运动想象来表达意愿；所述脑机接口系统检测用户脑电中是否存在SSVEP、P300或与运动想象相对应的事件相关去同步现象，决定所述脑机接口系统在这三个状态间的切换；所述脑机接口系统处于静息状态时没有接收用户输入，处于鼠标状态时允许用户经虚拟鼠标的方式向受控设备传递控制命令，处于键盘状态时允许用户经虚拟键盘的方式向受控设备传递控制命令。

Description

模拟键盘鼠标的脑机接口控制方法

技术领域

本发明涉及脑机接口领域，尤其是一种模拟键盘鼠标的脑机接口控制方法。

背景技术

     脑机接口 (brain computer interface，BCI) 采用全新的输出方式，不依赖于人体自有的神经系统，即不通过外周神经和肌肉组织，直接在人脑和电子硬件设备之间建立一条应用控制输出通道，是近年来的热点研究领域。按采集脑电信号对被试有无创伤，可划分为侵入式与非侵入式的BCI系统。所谓侵入式(invasive)，就是采用微电极，植入到脑皮层中，从大脑的多级神经元中测量脑皮层电位，这种方法获取的脑电信号，其信号保真度较好；所谓非侵入式(non-invasive)，是在大脑头皮外贴上电极，经信号放大器采集信号。正由于非入侵式脑电具有操作简单与安全等优点，加上人类对人脑的认识不断的完善，科学与技术水平不断的进步,使得人类对头皮脑电 (electroencephalogram，EEG) 的处理已经能够达到一定的可控水平，这为非入侵式脑机接口进入实际生活应用奠定了基础。

    目前，中国专利号为：CN 101968715 B的专利公开了一种基于脑机接口鼠标控制的因特网浏览方法。该专利是专门针对网页浏览应用而设计的，适用范围很具体。

在我们生活中存在着众多疾病会损伤人体的反射弧，例如：肌萎缩性侧索硬化、脑干中风、脊髓损伤，这些病人可能处于严重或完全瘫痪状态，无法通过正常的神经传导、肌肉运动与外界环境进行信息交流。因此，需要发明一种模拟键盘鼠标的脑机接口控制方法。

发明内容

    本发明的目的是针对以上不足之处，提供了一种模拟键盘鼠标的脑机接口控制方法，其功能相当于一个键盘和鼠标的综合体，可为上述人群提供一个与正常途径相似的较通用的控制电脑或设备为其工作的手段。

    为了解决上述技术问题，本发明提出的技术方案为：一种模拟键盘鼠标的脑机接口控制方法，包括以下步骤：

步骤S1：用户带上脑电装置，所述脑电装置经脑机接口系统连接至受控设备；受控设备开启后，所述脑机接口系统进入静息状态；在静息状态时，所述脑机接口系统的屏幕上显示有“鼠标”键和“键盘”键，所述“鼠标”键和“键盘”键随机在屏幕上不同的区域进行闪烁，不同的区域分别对应不同的闪烁频率；用户注视“鼠标”键或“键盘”键；所述脑机接口系统检测脑电中是否存在与“鼠标”键和“键盘”键对应的SSVEP；若连续两次检测到“键盘”键对应的SSVEP，则所述脑机接口系统状态切换为键盘状态，进入步骤S2；若连续两次检测到“鼠标”键对应的SSVEP，则所述脑机接口系统状态切换为鼠标状态，进入步骤S3；否则，所述脑机接口系统停留在静息状态；

步骤S2：处于键盘状态时，所述脑机接口系统的屏幕上显示P300键盘界面，界面中的字符开始随机闪烁；用户注视所述P300键盘界面上的字符；所述脑机接口系统检测脑电中P300成分，进行相应的输入或删除操作；所述P300键盘界面中包括“鼠”和“标”字符，若依次检测到“鼠”和“标”字符，则所述脑机接口系统状态切换为鼠标状态；

步骤S3：处于鼠标状态时，所述脑机接口系统的屏幕上显示有鼠标功能键和“键盘”切换键，所述鼠标功能键包括“单左”键、“单右”键、“双左”键；所述“键盘”切换键、“单左”键、“单右”键、“双左”键分别位于所述脑机接口系统屏幕上的不同区域且对应不同的闪烁频率；用户进行运动想象或注视所述鼠标功能键或注视所述“键盘”切换键；所述脑机接口系统检测脑电中运动想象对应的事件相关去同步来移动鼠标，并且同时在脑电中检测“单左”键、“单右”键、“双左”键和“键盘”切换键各自对应的SSVEP；若检测到“单左”键、“单右”键或“双左”键对应的SSVEP，则相应产生单击鼠标左键、单击鼠标右键或双击鼠标左键的控制命令；若检测到“键盘”切换键对应的SSVEP，则所述脑机接口系统状态切换为键盘状态。

所述脑机接口系统指一套能够综合处理运动想象、SSVEP和P300的软硬件系统，该系统根据用户反馈在静息状态、键盘状态和鼠标状态之间切换，其输入为脑电信号，输出为控制命令；所述静息状态指所述脑机接口系统认为用户无意愿控制受控设备而没有接收用户输入的状态；所述键盘状态为所述脑机接口系统通过经虚拟键盘的方式向受控设备传递控制命令的状态；所述鼠标状态为所述脑机接口系统通过虚拟鼠标的方式向受控设备传递控制命令的状态。

进一步的，所述受控设备为通过脑机接口技术来控制的设备，包括电脑、残障人士使用的轮椅、康复医疗设备或脑机游戏设备。

进一步的，在所述步骤S1中，所述连续两次检测，即二次检测确认，包括以下步骤：

步骤S11：所述“鼠标”键和“键盘”键分别设置于屏幕四角的任意两角且沿着屏幕四角随机变换，所述“鼠标”键和“键盘”键变换位置后闪烁频率随之变换；

步骤S12：若所述脑机接口系统第一次检测到SSVEP，则记录对应的按键。在间隔时长                                               后，变换“鼠标”键和“键盘”键的位置，所述脑机接口系统再次检测SSVEP；若第二次检测的SSVEP所对应的按键与第一次检测到的一致，则进入该按键对应的状态；否则仍停留在静息状态，继续检测SSVEP。

进一步的，在所述步骤S2中，所述P300键盘界面还包括字符键、数字键、符号键和选择键，所述脑机接口系统通过检测P300来确定用户所选中的字符；若选择错误，用户通过P300键盘界面上的Del键对已输入的字符进行删除；每个字符之间间隔时长为；若依次先后检测到“鼠”和“标”字符，则离开当前键盘状态，进入鼠标状态。

进一步的，所述鼠标功能键中的“单左”键、“单右”键和“双左”键与“键盘”切换键分别设置于屏幕的四角，若其中一个按键被选择，则该按键的背景色变色。

进一步的，所述“鼠标”键、“键盘”键、鼠标功能键和“键盘”切换键的闪烁频率范围为7HZ～18HZ,并且经所述脑机接口系统进行二次检测确认。

进一步的，若所述脑机接口系统处于所述键盘状态或鼠标状态，在间隔时长为内仍未检测到运动想象、SSVEP或P300脑电成分，则所述脑机接口系统切换至静息状态。

进一步的，所述、、均大于1S，并且远大于和。

与现有技术相比，本发明有以下优点：

（1）本发明允许用户仅依靠大脑中的认知活动通过类似于综合运用键盘和鼠标的方式向受控设备传递控制命令，这种方式通用性强。

（2）本发明综合利用了运动想象、SSVEP和P300脑电成分，能够解决当前残疾人士等无法自主操作计算机等受控设备的难题。

（3）本发明采用二次检测确认的方式，有效地减少了用户误操作对检测的干扰，提高了控制的准确性与稳定性。

（4）本发明提供模拟键盘鼠标的控制方法，是人机交互设备中的关键技术，在医疗、商业和军事等领域具有应用前景。

附图说明

下面结合附图对本发明专利进一步说明。

图1为本发明实施例的状态图。

图2为本发明实施例在静息状态下的示意图。

图3为本发明实施例在键盘状态下的示意图。

图4为本发明实施例在鼠标状态下的示意图。

具体实施方式

    下面结合附图和具体实施方式对本发明进一步说明，但本发明的实施方式不限于此。

    如图1所示，本发明提供了模拟键盘鼠标的脑机接口控制方法，该方法对应的系统有三种状态：静息状态、鼠标状态和键盘状态。静息状态指所述系统认为用户无意愿控制受控设备而没有接收用户输入的状态。鼠标状态指所述系统允许用户通过类似于使用鼠标的方式向受控设备传送控制命令的状态。键盘状态指所述系统允许用户通过类似于使用键盘的方式向受控设备传送控制命令的状态。具体包括以下步骤：

步骤S1：用户带上脑电装置，所述脑电装置经实现本发明所述方法的脑机接口系统连接至受控设备；受控设备开启后，所述系统进入静息状态；在此状态时，所述系统屏幕上设置有“鼠标”键和“键盘”键，随机在屏幕上不同的区域进行闪烁，不同的区域分别对应不同的闪烁频率；用户注视“鼠标”键或“键盘”键；所述系统检测脑电中是否存在与“鼠标”键和“键盘”键对应的SSVEP；若连续两次检测到“键盘”键对应的SSVEP，则所述系统状态切换为键盘状态，进入步骤S2；若连续两次检测到“鼠标”键对应的SSVEP，则所述系统状态切换为鼠标状态，进入步骤S3；否则，则停留在静息状态；

步骤S2：处于键盘状态时，所述系统的屏幕上显示P300键盘界面，界面中的字符开始随机闪烁；用户注视所述P300键盘界面上的字符；所述系统在脑电中检测P300成分，进行相应的输入或删除操作；所述P300键盘界面中包括“鼠”和“标”字符，若依次检测到“鼠”和“标”字符，则所述系统状态切换为鼠标状态；

步骤S3：处于鼠标状态时，所述系统的屏幕上显示鼠标功能键和“键盘”切换键，所述鼠标功能键包括“单左”键、“单右”键、“双左”键；所述“键盘”切换键、“单左”键、“单右”键、“双左”键分别位于所述脑机接口系统屏幕上的不同区域且对应不同的闪烁频率；用户进行运动想象或注视所述鼠标功能键或注视所述“键盘”切换键；所述系统在脑电中检测运动想象对应的事件相关去同步来移动鼠标，并且同时也在脑电中检测“单左”键、“单右”键、“双左”键和“键盘”切换键各自对应的SSVEP；若检测到“单左”键、“单右”键或“双左”键对应的SSVEP，则相应产生单击鼠标左键、单击鼠标右键或双击鼠标左键的控制命令；若检测到“键盘”切换键对应的SSVEP，则所述系统状态切换为键盘状态；

如图2，在本实施例中，在所述步骤S1中，所述连续两次检测，即二次检测确认包括以下步骤：

步骤S11：所述“鼠标”键和“键盘”键分别设置于屏幕四角的任意两角且沿着屏幕四角随机变换，所述“鼠标”键和“键盘”键变换位置后闪烁频率随之变换；

步骤S12：若所述系统第一次检测到SSVEP，则记录对应的按键，在间隔时长后，变换“鼠标”键和“键盘”键的位置，所述系统再次检测SSVEP；若第二次检测的SSVEP所对应的按键与第一次检测到的一致，则进入该按键对应的状态；否则仍停留在静息状态，继续检测SSVEP。

如图3，在本实施例中，在所述步骤S2中，所述P300键盘界面还包括字符键、数字键、符号键和选择键，所述系统通过检测P300来确定用户所选中的字符。若选择错误，用户通过P300键盘界面上的Del键对已输入的字符进行删除；每个字符之间间隔时长为。若依次先后检测到“鼠”和“标”字符，则离开当前键盘状态，进入鼠标状态。

如图4，在本实施例中，所述鼠标功能键中的“单左”键、“单右”键和“双左”键与“键盘”切换键分别设置于屏幕的四角，若其中一个按键被选择，则该按键的背景色变色。

    在本实施例中，“鼠标”键、“键盘”键、鼠标功能键和“键盘”切换键的闪烁频率范围为7HZ～18HZ,并且经所述脑机接口系统进行二次检测确认。

在本实施例中，若在步骤S2的键盘状态或步骤S3的鼠标状态中，在间隔时长为内仍未检测到运动想象、SSVEP或P300，则返回至静息状态。

在本实施例中，所述、、均大于1S，并且远大于或。其中和为2S，为300S。

在实践中，可被较好利用的SSVEP频率范围是7-18Hz。在本发明中可以采用以下四种的闪烁频率：7Hz，11Hz，13Hz,17Hz，分别对应于屏幕从左到右，从上到下的四角。考虑到不同显示屏幕的刷新率有所不同，系统提供额外的参数调节功能用于设置闪烁频率参数。

下面结合具体实施方式，围绕着图1，对本发明作更进一步的说明。

（1）初始时，使用者戴好脑电帽，开启受控设备后，所述脑机接口系统就进入了静息状态。

（2）在静息状态下，会出现两种功能键，如图2所示，一个是“键盘”，另一个是“鼠标”。这两种键任意的放置在屏幕四角的两个位置，屏幕四角的位置对应着四种不同闪烁频率。因此当“键盘”和“鼠标”放置在不同的位置的时候，它们的闪烁频率就会不同。此时系统通过检测SSVEP判定用户是在注视着哪一个功能键。为了减少用户误操作对检测造成的干扰，本方法采用二次检测确认的方式。在两次检测确认中如果用户都是盯着同一个功能键，那么系统就会对这个功能键触发响应。在二次检测确认的过程中，功能键的位置随机切换。当第一次确认结束后，“键盘”和“鼠标”功能键就随机调换位置，这样就保证第一次确认和第二次确认所需要确认的闪烁频率不一定一致。在一次确认和二次确认之间的时间间隔设为2s。如果用户一直没有选择相应的功能键，那么系统会一直停留在静息状态。

（3）当用户在静息状态下选择了“键盘”切换键，则触发其功能，并切换到了键盘状态。如图3所示，在该状态下，屏幕会弹出P300字符选择器完全遮盖住原先的屏幕背景。P300字符选择器由数字键，字符键，和字母键构成。其中有两个特别特殊的字符键为“鼠”和“标”。如果用户先选中“鼠”字符，隔一个字符输入时间后，再选择“标”字符，则切换至鼠标状态下。在先选中“Caps”后，再选择字母键则为其对应的大写字母，否则为小写。在先选中“Shift”后，再选择相应的数字或者字符键，则为对应的括号后的按键。在P300字符选择器中任意两个键之间的输入间隔时间为2s。在该状态下只利用到P300脑电成分检测。如果在一定的时间后（设为5分钟），在该状态下均没有检测到相应的P300成分，那么系统会认为用户没有在注视界面，则系统状态会切换至静息状态。

（4）当用户在静息状态下选择了“鼠标”功能键，则触发该功能，并切换到了鼠标状态。如图4所示，在该状态下，屏幕四角对应的功能键分别为“单左”，“单右”和“双左”，以及“键盘”切换键。如果用户选择了“键盘”切换键，则离开鼠标状态，进入键盘状态。如果用户选择了“单左”，“单右”和“双左”中任意一个，都会继续留在鼠标状态，并且执行对应的功能键操作。跟静息状态一样的，屏幕四角的按键依靠检测SSVEP去判别，同时也要二次检测确认才能确定相应的功能键或切换键，中间的时间间隔依然为2s。但与静息状态不一致的是，在鼠标状态下会涉及鼠标的移动。鼠标移动是依靠运动想象去控制的。对应的运动想象成分会移动光标运动，但不会切换状态，即依然保持在鼠标状态下。因此该状态下会利用两种模式，一种是SSVEP，另一种是运动想象。如果在一定的时间后（设为5分钟），在该状态下均没有检测到相应的SSVEP和运动想象，那么系统会认为用户没有在注视界面，则系统状态会切换至静息状态。

（5）无论在静息状态，还是键盘状态，或者是鼠标状态，一旦关闭受控设备，均视为结束控制。

本发明提供的上列实施例，对本发明的目的、技术方案和优点进行了详细说明。所应理解的是，以上所述仅为本发明的一个实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1. 一种模拟键盘鼠标的脑机接口控制方法，其特征在于，包括以下步骤：

步骤S1：用户带上脑电装置，所述脑电装置经脑机接口系统连接至受控设备；受控设备开启后，所述脑机接口系统进入静息状态；在静息状态时，所述脑机接口系统的屏幕上显示有“鼠标”键和“键盘”键，所述“鼠标”键和“键盘”键随机在屏幕上不同的区域进行闪烁，不同的区域分别对应不同的闪烁频率；用户注视“鼠标”键或“键盘”键；所述脑机接口系统检测脑电中是否存在与“鼠标”键和“键盘”键对应的SSVEP；若连续两次检测到“键盘”键对应的SSVEP，则所述脑机接口系统状态切换为键盘状态，进入步骤S2；若连续两次检测到“鼠标”键对应的SSVEP，则所述脑机接口系统状态切换为鼠标状态，进入步骤S3；否则，所述脑机接口系统停留在静息状态；

步骤S2：处于键盘状态时，所述脑机接口系统的屏幕上显示P300键盘界面，界面中的字符开始随机闪烁；用户注视所述P300键盘界面上的字符；所述脑机接口系统检测脑电中P300成分，进行相应的输入或删除操作；所述P300键盘界面中包括“鼠”和“标”字符，若依次检测到“鼠”和“标”字符，则所述脑机接口系统状态切换为鼠标状态；

步骤S3：处于鼠标状态时，所述脑机接口系统的屏幕上显示有鼠标功能键和“键盘”切换键，所述鼠标功能键包括“单左”键、“单右”键、“双左”键；所述“键盘”切换键、“单左”键、“单右”键、“双左”键分别位于所述脑机接口系统屏幕上的不同区域且对应不同的闪烁频率；用户进行运动想象或注视所述鼠标功能键或注视所述“键盘”切换键；所述脑机接口系统检测脑电中运动想象对应的事件相关去同步来移动鼠标，并且同时在脑电中检测“单左”键、“单右”键、“双左”键和“键盘”切换键各自对应的SSVEP；若检测到“单左”键、“单右”键或“双左”键对应的SSVEP，则相应产生单击鼠标左键、单击鼠标右键或双击鼠标左键的控制命令；若检测到“键盘”切换键对应的SSVEP，则所述脑机接口系统状态切换为键盘状态。

2.根据权利要求1所述的模拟键盘鼠标的脑机接口控制方法，其特征在于：所述受控设备为通过脑机接口技术来控制的设备，包括电脑、残障人士使用的轮椅、康复医疗设备或脑机游戏设备。

3.根据权利要求1所述的模拟键盘鼠标的脑机接口控制方法，其特征在于:在所述步骤S1中，所述连续两次检测，即二次检测确认，包括以下步骤：

步骤S11：所述“鼠标”键和“键盘”键分别设置于屏幕四角的任意两角且沿着屏幕四角随机变换，所述“鼠标”键和“键盘”键变换位置后闪烁频率随之变换；

步骤S12：若所述脑机接口系统第一次检测到SSVEP，则记录对应的按键，在间隔时长                                               后，变换“鼠标”键和“键盘”键的位置，所述脑机接口系统再次检测SSVEP；若第二次检测的SSVEP所对应的按键与第一次检测到的一致，则进入该按键对应的状态；否则仍停留在静息状态，继续检测SSVEP。

4.根据权利要求1所述的模拟键盘鼠标的脑机接口控制方法，其特征在于:在所述步骤S2中，所述P300键盘界面还包括字符键、数字键、符号键和选择键，所述脑机接口系统通过检测P300来确定用户所选中的字符；若选择错误，用户通过P300键盘界面上的Del键对已输入的字符进行删除；每个字符之间间隔时长为；若依次先后检测到“鼠”和“标”字符，则离开当前键盘状态，进入鼠标状态。

5.根据权利要求1所述的模拟键盘鼠标的脑机接口控制方法，其特征在于: 所述鼠标功能键中的“单左”键、“单右”键和“双左”键与“键盘”切换键分别设置于屏幕的四角，若其中一个按键被选择，则该按键的背景色变色。

6.根据权利要求1所述的模拟键盘鼠标的脑机接口控制方法，其特征在于:所述“鼠标”键、“键盘”键、鼠标功能键和“键盘”切换键的闪烁频率范围为7HZ～18HZ,并且经所述脑机接口系统进行二次检测确认。

7.根据权利要求1所述的模拟键盘鼠标的脑机接口控制方法，其特征在于:若所述脑机接口系统处于所述键盘状态或鼠标状态，在间隔时长为内仍未检测到运动想象、SSVEP或P300脑电成分，则所述脑机接口系统切换至静息状态。

8.根据权利要求3、4或7所述的模拟键盘鼠标的脑机接口控制方法，其特征在于:所述、、均大于1S，并且远大于和。