CN114902161A - 人机接口系统 - Google Patents

Abstract

一种人机接口系统包括：物理控制器，其被配置成接收来自用户的输入，以及脑机接口，在该脑机接口中呈现视觉刺激，使得可以验证用户的意图。将来自物理控制器的输入数据与来自脑机接口的输入数据组合以提供混合输入，该混合输入可以用于控制一个或更多个外部真实对象或计算机生成的对象。操作所述人机接口设备的方法。

Description

人机接口系统

相关申请的交叉引用

本申请要求于2020年1月3日提交的标题为“HUMAN INTERFACE SYSTEM”的美国临时专利申请序列第62/956,868号的优先权的权益，所述临时专利申请通过引用整体并入本文。

技术领域

本公开内容的实施方式涉及包含视觉脑机接口的人机接口系统。

背景技术

在视觉脑机接口(BCI)中，通常在呈现给用户的多个生成的视觉刺激当中，对目标刺激的神经响应用于推断(或“解码”)在任何给定时间哪个刺激基本上是聚焦对象。然后，聚焦对象可以与用户可选择或用户可控制的动作相关联。

可以使用各种已知技术来获得神经响应。一种方便的方法依赖于表面脑电图(EEG)，该表面脑电图是非侵入性的、具有细粒度的时间分辨率并且基于众所周知的经验基础。表面EEG使得可以实时测量受试者的头骨(即，头皮)的表面的扩散电位变化。这些电位变化通常被称为脑电图信号或EEG信号。

在典型的BCI中，视觉刺激呈现在由显示设备生成的显示中。合适的显示设备的示例(其中一些在图3中示出)包括：电视屏幕和计算机监视器302、投影仪310、虚拟现实头戴式装置306、交互式白板，以及平板304、智能电话、智能眼镜308的显示屏幕等。视觉刺激311、311’、312、312’、314、314’、316、318可以形成生成的图形用户接口(GUI)的一部分，或者它们可以呈现为叠加在基础图像上的增强现实(AR)或混合现实图形对象316：该基础图像可以仅仅是用户的实际视野(如在投影到一组智能眼镜的另外透明显示器上的混合现实显示功能的情况下)或与用户的视野相对应但由光学捕获设备(该光学捕获设备又可以捕获在其他可能的视图当中的与用户的视野相对应的图像)实时捕获的数字图像。

推断在任何给定时间多个视觉刺激(如果有的话)中的哪个视觉刺激是聚焦对象是充满困难的。例如，当用户面对多个刺激诸如例如屏幕键盘上显示的数字时，已经证明了几乎不可能直接从大脑活动来推断出在给定时间哪一个处于聚焦之下。用户感知到聚焦之下的数字(比方说数字5)，因此大脑必须包含将该数字与其他数字区分开来的信息，但目前的方法无法提取该信息。也就是说，目前的方法可以有一些困难地推断已经感知到刺激，但它们无法仅使用大脑活动来确定哪个特定刺激处于聚焦之下。

为了克服这种问题，并在刺激与背景之间(以及刺激之间)提供足够的对比，已知的是将视觉BCI使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色，反之亦然)，使得每个刺激随时间具有可区分的特征分布。闪烁的刺激引起可测量的电响应。特定技术监测不同的电响应，例如稳态视觉诱发电位(SSVEP)和P-300事件相关电位。在通常的实现中，刺激以超过6Hz的频率闪烁。因此，这样的视觉BCI依赖于下述方法，该方法包括离散地而不是持续地、并且通常在不同的时间点显示各种刺激。发现与聚焦于给定刺激的注意力相关联的大脑活动与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)相对应(即，相关)。

因此，神经信号的解码依赖于这样的事实：当刺激开启时，它将触发大脑中神经响应的特征模式，该特征模式可以根据电信号——即由EEG设备的电极(例如EEG头盔的电极)拾取的SSVEP或P-300电位——确定。这种神经数据模式对于不同的数字可能非常相似，甚至完全相同，但它对被感知的数字是时间锁定的：在任何一个时间，只有一个数字可以脉冲，使得与脉冲神经响应和该数字脉冲的时间的相关性可以被确定为该数字是聚焦对象的指示。通过在不同的时间点显示每个数字，以不同的速率开启和关闭该数字，应用不同的占空比，和/或简单地在不同的时间点施加刺激，BCI算法可以确定哪个刺激在开启时最有可能触发给定的神经响应，从而使得系统能够确定聚焦下的目标。

近年来，视觉BCI得到了显著改进，使得对用户的焦点的实时和准确解码变得越来越实用。然而，确定聚焦对象仍然具有挑战性。

2020年11月6日提交的共同待决国际专利申请第PCT/EP2020/081348号(卷宗号5380.002WO1)，其整个说明书通过引用并入本文，描述了一种快速并且准确地从外围对象到目标(干扰物)确定聚焦对象(目标)的方法。这种方法依赖于人类视觉系统的特性。

已知用于确定在任何给定时间的聚焦对象的其他技术。例如，已知通过跟踪用户的眼睛相对于他们的头部的位置的变化来跟踪用户的注视方向。这种技术通常要求用户佩戴具有对准用户的眼睛的相机的头戴式设备。当然，在某些情况下，眼睛跟踪相机可以相对于地板或轮椅固定，而不是头戴式的。然后，定位在确定的注视方向上发现的对象可以然后被假设为聚焦对象。

然而，注视方向被认为是与该对象交互的意图的相对较差的指标。

在个人计算领域，已知用于向计算设备提供来自人类的输入的许多其他输入机制。实现这样的输入机制的人机接口设备包括：键盘、鼠标设备、操纵杆、触摸屏幕等。人机接口设备可以被配置成接收：字母数字输入(如常规计算机键盘和/或触摸屏幕的情况)；基于点的输入(如部件诸如鼠标、触摸板、跟踪球、操纵杆、光笔或其他定点设备)；触觉输入(例如，来自物理按钮或触摸屏幕中的虚拟接口)；音频输入(例如，麦克风)；以及惯性输入，以及其他类别的输入。输入可以是模拟形式或数字形式。用于游戏控制台、机器人设备和远程控制车辆(诸如无人机或模型车)的专用控制器设备可以包含用于获得惯性输入的传感器(例如，来自惯性测量单元IMU)，使得控制器设备的物理移动可以转变为输入数据。

另一类别的人机接口设备可以是包括一个或更多个用于基于相机的姿势跟踪(例如全身姿势、头部或手部姿势、或者实际上是用户做出的手指姿势)的相机单元的设备。这些设备中的相机单元通常在电磁辐射的可见波长或红外波长下操作。超声波换能器可以在跟踪身体姿势时取代这样的相机单元。这样的设备可以被认为是输入设备，因为它们也能够为计算设备提供来自人类的输入。用户或用户的一部分的物理移动可以转变为输入数据。

常规的输入机制中的每一个都依赖于人类用户的手动输入、物理输入或声音输入。对于某些用户，某些输入机制可能不方便或不可能。对于其他用户，常规的输入机制可能会不必要地限定或限制用户与计算机交互的能力。

因此，期望提供解决以上挑战的人机接口系统。

发明内容

本公开内容涉及一种人机接口系统，该人机接口系统包括：至少一个物理控制器，至少一个物理控制器用于接收来自用户的输入，以及脑机接口，在该脑机接口中呈现视觉刺激，使得可以验证用户的意图，该系统被配置成将来自物理控制器的输入数据与来自脑机接口的输入数据组合，从而提供改进且直观的用户体验。

根据第一方面，本公开内容涉及一种人机接口系统，该人机接口系统包括：物理控制器，其用于接收来自用户的输入；以及脑机接口，在该脑机接口中呈现至少一个视觉刺激，所述视觉刺激由刺激生成器生成并且具有特征调制，使得可以确定用户的聚焦对象，该系统被配置成将来自物理控制器的输入数据与来自脑机接口的输入数据组合。

根据第二方面，本公开内容涉及一种确定用户意图的人机接口系统的操作的方法，该方法包括：经由物理控制器接收来自用户的第一组输入指令；在显示设备的显示器中呈现至少一个对象；对于所述至少一个对象中的一个或更多个对象，生成并应用具有相对应的特征调制的相应的视觉刺激；接收来自神经信号捕获设备的与对于刺激或每个刺激的神经响应相对应的电信号；根据电信号与视觉刺激的特征调制之间的相关性，确定对象中的哪个对象是有意的聚焦对象，作为第二组输入指令；以及将第一组输入指令与第二组输入指令组合以生成混合组输入指令。

附图说明

为了容易地识别对任何特定元素或动作的讨论，附图标记中的一个或多个最重要的数字指的是首次引入该元素的图号。

图1示出了根据本公开内容的用于接收和处理EEG信号的电子架构；

图2示出了根据本公开内容的包含脑机接口(BCI)的系统；

图3示出了适合与本公开内容的BCI系统一起使用的显示设备的各种示例；

图4A示出了两类姿势跟踪设备，而图4B示出了根据本公开内容的人机接口系统；

图5示出了根据本公开内容的人机接口系统的操作的方法中的主要功能框；

图6是示出根据一些示例实施方式的可以在其中实现本公开内容的软件架构的框图；以及

图7是根据一些示例实施方式的计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使机器执行所讨论的方法中的任何一个或更多个方法。

具体实施方式

以下描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节以便提供对本发明主题的各种实施方式的理解。然而，对于本领域的技术人员而言明显的是，可以在没有这些具体细节的情况下实践本发明主题的实施方式。通常，不一定详细示出公知的指令实例、协议、结构和技术。

图1示出了根据本公开内容的借助EEG设备100接收和处理EEG信号的电子架构的示例。

为了测量受试者110的头骨的表面上的扩散电位，EEG设备100包括便携式设备102(即，帽子或头戴件)、模数转换(ADC)电路104和微控制器106。图1的便携式设备102包括一个或更多个电极108，通常在1个到128个电极之间，有利地在2个到64个电极之间，有利地在4个到16个电极之间。

每个电极108可以包括用于检测由受试者的神经元活动生成的电信号的传感器、和用于在模数转换之前对检测到的信号进行预处理(例如，滤波和/或放大)的电子电路：这样的电极被称为“有源”。图1中示出了使用中的有源电极108，其中传感器与受试者的头皮在物理上接近。电极可以适用于与导电凝胶或其他导电液体(称为“湿”电极)一起使用，或不使用这样的液体(即，“干”电极)。

每个ADC电路104被配置成转换给定数量(例如在1和128之间)的有源电极108的信号。

ADC电路104由微控制器106控制并且例如通过协议SPI(“串行外围接口”)与微控制器106通信。微控制器106将接收到的数据打包以例如通过蓝牙、Wi-Fi(“无线保真”)或Li-Fi(“光保真”)传输到外部处理单元(未示出)，例如计算机、移动电话、虚拟现实头戴式装置、汽车或航空计算机系统。

在某些实施方式中，每个有源电极108由电池(图1中未示出)供电。电池方便地设置在便携式设备102的壳体中。

在某些实施方式中，每个有源电极108测量各自的电位值，从该电位值减去由参考电极测量的电位(Ei＝Vi-Vref)，并且该差值借助ADC电路104数字化，然后由微控制器106传输。

在某些实施方式中，本公开内容的方法引入用于在显示设备的图形用户接口中显示的目标对象。目标对象包括控制项，并且控制项又与用户可选择的动作相关联。

图2示出了根据本公开内容的包含脑机接口(BCI)的系统。该系统包含神经响应设备206，诸如图1中所示的EEG设备100。在系统中，图像显示在显示设备202的显示器上。受试者204观看显示器上的图像，聚焦在目标对象210。

在实施方式中，显示设备202至少将目标对象210显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象的时间特征不同的变化时间特征。例如，该变化时间特征可以是以大于6Hz的速率改变目标对象的外观的恒定的或时间锁定的闪烁效应。在多于一个图形对象是潜在目标对象的情况下(即，在观看受试者被提供对要集中注意力的目标对象的选择的情况下)，每个对象与离散的空间和/或时间代码相关联。

神经响应设备206检测与聚焦在目标对象上的注意力相关联的神经响应(即，指示视觉皮层中大脑活动的微小电位)；因此，对目标对象的变化时间特征的视觉感知充当受试者的大脑中的刺激，生成与关注的目标对象相关联的代码一致的特定的大脑响应。然后将检测到的神经响应(例如电位)转换为数字信号并传送到处理设备208进行解码。神经响应的示例包括视觉诱发电位(VEP)，它通常用于神经科学研究。术语VEP包含：如上面提及的常规的SSVEP，其中刺激以特定频率振荡；以及其他方法诸如编码调制的VEP，刺激经受可变或伪随机时间码。交感神经响应(其中大脑表现为“振荡”或与闪烁的时间特征同步响应)在本文中称为“神经同步”。

处理设备208执行解释接收到的神经信号的指令，以实时确定指示具有当前(视觉)关注的焦点的目标对象的反馈。解码神经响应信号中的信息依赖于该信息与目标对象(即，刺激)的时间分布的一个或更多个方面之间的对应关系。

在某些实施方式中，处理设备可以方便地生成呈现在显示设备202上的包括随时间变化的目标对象的图像数据。

可以方便地在显示屏幕上视觉地呈现反馈。例如，显示设备可以紧密接近目标对象显示图标、光标、十字线或其他图形对象或效果，突出显示看起来是当前视觉关注的焦点的对象。显然，这样的反馈的视觉显示对目标对象的感知具有反射性认知效果，放大了大脑响应。

对人类视觉感知操作的方式的研究已经表明，当注视具有多个对象的屏幕并聚焦于这些对象之一时，人类视觉系统将接受高空间频率(HSF)和低空间频率(LSF)两者。证据表明，人类视觉系统主要对所聚焦的特定显示区域(例如，用户正在盯着的对象)的HSF分量敏感。相反，对于外围对象，人类视觉系统主要对其LSF分量敏感。换句话说，所拾取的神经信号将基本上会受到来自聚焦的目标的HSF分量和来自外围目标的LSF分量两者的影响。然而，由于所有对象都会引起一定比例的HSF和LSF两者，因此处理神经信号以确定聚焦对象可能会受到由外围对象贡献的LSF噪声的阻碍。这趋向于使识别聚焦的对象不太准确和不太及时。

当人类视觉系统被调谐为并行处理在视野的不同位置处的多个刺激时，通常是无意识的，外围对象刺激将继续触发用户的大脑中的神经响应，即使它们出现在视野的外围。因此，这会造成多个刺激之间的竞争并使聚焦对象(目标)的特定神经解码更加困难。

共同待决国际专利申请第PCT/EP2020/081348号描述了一种方法，其中多个对象以下述方式进行显示：每个对象被分离为仅由对象的LSF分量组成的版本和仅由HSF分量组成的版本。用于引发可解码神经响应的闪烁视觉刺激仅通过对象的HSF版本传递。闪烁的HSF版本叠加在LSF版本(不闪烁)上。

上述BCI的各种实现可以各自用于扩展、放大或加速对外部对象(现实世界或者显示器中的虚拟对象)的控制。在这个意义上，本公开内容的某些实施方式提供了额外模态，该额外模态用于控制在用户体验中类似于新工具甚至第三臂(third arm)的外部对象。

在第一示例性实施方式中，计算机游戏由用户利用游戏手柄控制器控制。从游戏手柄控制器接收到的用户的输入指令被转换为对游戏子画面(sprite)(或化身(avatar))的控制命令。此外，如以上所描述的，用户穿戴来自脑机接口的头戴式装置。

游戏子画面的虚拟环境的某些元素被配置成展示具有相对应的特征调制的相应的视觉刺激(如以上所描述的)。来自BCI的神经信号捕获设备的与对于刺激或每个刺激的神经响应相对应的电信号，使得可以确定对象中的哪个对象是有意的聚焦对象(通过识别特征调制中的哪个特征调制与接收到的神经响应具有最强的相关性)。对游戏子画面的控制将根据经由BCI确定的进一步指令层进行改变。例如，当被验证为聚焦对象时，展示视觉刺激的元素可能会解锁特殊能力或改变游戏的物理引擎中的参数(例如，控制重力的存在或方向、“游戏时间”的流逝、模拟温度、摩擦等)。这样的混合控制可以用作附加的游戏控制(例如，帮助用户在游戏中进步)或者用作解锁游戏地图的新部分或改变子画面的行为、移动对象或游戏环境等的启用机制。

如此，来自物理控制器和BCI的输入的组合可以并行地应用于游戏应用的不同元素，其中这样的输入的组合对于单个用户通过其他输入设备是不切实际的。此外，来自BCI和物理控制器中的一个的输入可以用于选择给定元素，其中来自两个输入装置中的另一个的输入用于确认(即，验证)该选择。因此，可以将输入应用于与特定游戏元素或显示位置(例如选择/验证)相关联和/或与在游戏显示的不同位置或元素处的并行(即，接近同时)事件相关联的串行事件。本文使用的术语“组合”包含输入的空间和时间的组合。

这种相同示例还说明了BCI的用户不必与游戏手柄控制器(或其他物理控制器)的用户相同。因此，游戏或用户体验可以通过另一个用户(例如，父母或老师)的明显不可见的控制而由新手用户访问(例如，可玩)。考虑这样的场景：其中“敌人”子画面(即，计算机控制的游戏“角色”)可能在攻击游戏手柄用户之前被来自BCI的输入指令“摧毁”，或者其中BCI用户的动作可能会使块悬浮以使得游戏手柄用户的子画面能够通过。在进一步的说明性场景中，BCI用户可以秘密地选择新手用户的下一个目标，从而简化游戏玩法或指导学习。游戏手柄用户可能会得到帮助，而不会意识到BCI用户的“上帝般”干预。

在另一示例性实施方式中，图像编辑套件(即，用于显示图像并促进图像的处理以调整图像数据的部分或全部的外观的计算机应用)的用户可以手动操作定点设备(诸如鼠标设备或数字手写笔)，同时能够直接利用他的思想(通过使用BCI)选择墨水颜色(画笔粗细、笔效果等)。颜色选择等可以通过在调色板的各个区域中应用(上述详细描述的类型的)视觉刺激和确定引起最大神经响应的区域来实现。

在某些实施方式中，BCI输入(即，用户经由BCI和与显示器的不同区域相关联的视觉刺激的指令的输入)可以涉及也可以使用来自定点设备的输入来执行的任务。示例包括：在图像内导航用户的光标以进行编辑；以及验证图像的部分的选择(例如，在“剪切和粘贴”机制中)。来自BCI的输入可以与来自定点设备输入不同比例的导航相关联，使得来自BCI的输入可以是来自定点设备的输入的方便替代：BCI输入可以与更大规模的转换相关联(例如，在区域、层、窗口或甚至图像编辑套件内的显示之间)，而定点设备输入可以保留用于更精细的导航或其他图像编辑任务(例如，显示图像的逐像素移动，用于选择的图像部分的轮廓等)。

利用物理输入(诸如游戏手柄输入或定点设备输入)和BCI输入的协作，可以更迅速地和更直观地执行常规任务，因为可以更快地和更确定地实现选择或导航命令的验证。

在又一示例性实施方式中，用户可以在与计算设备的操作系统交互时补充物理输入设备(键盘、鼠标、触摸板等)的功能。通过组合物理输入(诸如按钮/键的按压)以定位和打开文件夹或文件以及BCI输入以验证该动作，可以在不损失准确性的情况下加速导航到和选择文件夹、可执行文件或文件的任务。

在再一示例性实施方式中，视觉BCI与来自姿势跟踪设备的输入一起使用。图4A示出了两类姿势跟踪设备：在左侧，姿势跟踪是通过运动敏感的物理手控制器进行的；而在右侧，姿势是在图像捕获设备(诸如嵌入在虚拟现实头戴式装置中的面朝前相机或超声换能器)中检测到的。这样的布置可以充分利用(甚至加强)神经反馈回路。在本实施方式中，用户关注对象例如虚拟现实环境中的虚拟3D对象。通过利用物理手控制器(如图4A的左侧)诸如VR控制器或者通过简单地做出在相机中跟踪的手势(如图4A的右侧)来生成小的移动，3D对象可以被配置成相应地反应。对象的可见反应程度又可以用于评估系统检测对象上焦点的程度。这增加了反馈回路的自由度，并逐步建立了思想(即，神经同步)、身体和空间中的对象之间的对准。这样的神经反馈回路只能通过将运动动作(完全包括身体移动)整合到反馈回路、增加参与度并且改善体验合成来可视化。

类似地，同时输入模态(其中姿势跟踪与视觉BCI结合使用)可以应用于混合现实、XR、环境。例如，输入模态可以协作以使得用户能够基于用户的推断的聚焦对象将他们的手指针捕捉到交互式按钮的中心：这将改善用户放置和/或移动他们的手臂(指示空间中的虚拟“光标线”)的需要，其中这对用户来说可能不方便、不舒服，甚至身体上是不可能的。利用常规鼠标指针也会在较小程度上出现这样的问题。

此外，使用来自BCI的输入来验证命令的要求增加了一层安全性。为了进行验证，用户必须正确操作BCI。在教师/家长场景中，某些动作可能会在没有来自BCI用户的额外输入的情况下被阻止：缺乏经验的新手的意外输入可能会呈现为无效。同样，在物理控制器和BCI各自由同一用户使用的情况下，来自物理控制器的信号可以在没有来自用户的注意的情况下被阻止(如由BCI确定的)。

上述人机接口系统的用户可以包括可能难以单独操作常规输入设备或BCI设备的用户诸如缺乏经验的游戏手柄用户。

如上所述使用人机接口系统的一个结果是减少了实现某些任务所需的能量(由于更有效的导航和/或复杂任务的执行)。

图4B示出了根据本公开内容的人机接口系统400。该系统包括物理控制器430和脑机接口420(诸如图2的BCI，其中转换电路104和微控制器(未示出)所有都与外部处理单元(也未示出)通信)。这两个输入设备都提供应用于输出计算机应用或游戏的图形接口的显示器410的输入。

此处的用户控制物理控制器430(例如游戏手柄)和BCI两者。因此，可以通过使用BCI来确认(即，验证)通过操纵游戏手柄430从其他对象402、408当中选择目标404。通过叠加“十字线”视觉元素411，以熟悉的方式视觉地指示用户选择和确认。

图5示出了根据本公开内容的人机接口系统(例如，图4B所示的人机接口系统)的操作方法500中的主要功能框。

在框502中，(可操作地耦接到物理控制器和脑机接口设备)的硬件接口设备经由物理控制器接收来自用户的第一组输入指令。

在框504中，接口设备使得在显示设备的显示器中呈现至少一个对象。

在框506中，接口设备针对至少一个对象中的一个或更多个对象生成并应用具有相对应的特征调制的相应的视觉刺激。

在框508中，接口设备接收来自神经信号捕获设备(诸如图4B的BCI)的与对于刺激或每个刺激的神经响应相对应的电信号。

在框510中，接口设备根据电信号与视觉刺激的特征调制之间的相关性来确定至少一个对象中的哪个对象是有意的聚焦对象，所述确定的结果被用作第二组输入指令。

在框512中，接口设备将第一组输入指令与第二组输入指令组合以生成混合组输入指令。

如读者很容易理解的，上述功能框的执行顺序可以变化。例如，一个或更多个对象的视觉刺激的生成和应用可以在经由物理控制器接收来自用户的第一组输入指令之前发生。

第一组输入指令和第二组输入指令的组合可以包括与单个空间位置(在计算机生成的图形接口中)处的单个元素和/或基本上同时在不同空间位置处的元素相关的指令的组合。

图6是示出示例软件架构606的框图，该软件架构可以与本文中描述的各种硬件架构结合使用。图6是软件架构的非限制性示例，并且应当理解的是，可以实现许多其他架构以促进本文中描述的功能。软件架构606可以在硬件诸如图7的机器700上执行，机器700包括处理器704、存储器706和输入/输出(I/O)部件718等。代表性硬件层652被示出并且可以表示例如图7的机器700。代表性硬件层652包括具有相关联的可执行指令604的处理单元654。可执行指令604表示软件架构606的可执行指令，包括本文中描述的方法、模块等的实现。硬件层652还包括示出为存储器/存储设备656的存储器和/或存储模块，其也具有可执行指令604。硬件层652还可以包括其他硬件658，例如，用于与EEG电极接口、用于与眼睛跟踪单元接口和/或用于与显示设备接口的专用硬件。

在图6的示例架构中，软件架构606可以概念化为层的堆叠，其中每个层提供特定功能。例如，软件架构606可以包括层诸如操作系统602、库620、框架或中间件618、应用616和呈现层614。操作上，应用616和/或层内的其他部件可以通过软件堆栈调用应用编程接口(API)调用608并接收作为消息610的响应。示出的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动操作系统或专用操作系统可能不提供框架/中间件618，而其他操作系统可能提供这样的层。其他软件架构可以包括另外的层或不同的层。

操作系统602可以管理硬件资源并提供公共服务。操作系统602可以包括例如内核622、服务624和驱动器626。内核622可以用作硬件与其他软件层之间的抽象层。例如，内核622可以负责存储器管理、处理器管理(例如调度)、部件管理、联网、安全设置等。服务624可以为其他软件层提供其他公共服务。驱动器626可以负责控制底层硬件或者与底层硬件接口。例如，驱动器626根据硬件配置可以包括显示器驱动器、EEG设备驱动器、相机驱动器、

驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、

驱动器、音频驱动器、电力管理驱动器等。

库620可以提供可以由应用616和/或其他部件和/或层使用的公共基础设施。库620通常提供使其他软件模块能够以与通过和底层操作系统602功能(例如，内核622、服务624和/或驱动器626)直接接口相比更容易的方式来执行任务的功能。库620可以包括系统库644(例如C标准库)，该系统库644可以提供功能诸如存储器分配功能、字符串操作功能、数学功能等。另外，库620可以包括API库646，例如媒体库(例如，用以支持例如MPEG4、H.264、MP3、AAC、AMR、JPG和PNG的各种媒体格式的呈现和操作的库)、图形库(例如，可以用于在显示器上渲染2D和3D图形内容的OpenGL框架)、数据库库(例如，可以提供各种关系数据库功能的SQLite)、网络库(例如，可以提供网络浏览功能的WebKit)等。库620还可以包括各种其他库648，以向应用616和其他软件部件/模块提供许多其他API。

框架618(有时也称为中间件)提供可以由应用616和/或其他软件部件/模块使用的更高水平的公共基础设施。例如，框架/中间件618可以提供各种图形用户接口(GUI)功能、高级资源管理、高级位置服务等。框架/中间件618可以提供可以由应用616和/或其他软件部件/模块使用的其他广谱API，其中一些可以特定于特定操作系统或平台。

应用616包括内置应用638和/或第三方应用640。

应用616可以使用内置操作系统功能(例如，内核622、服务624和/或驱动器626)、库620或框架/中间件618来创建用户接口以与系统的用户进行交互。可替选地或另外地，在一些系统中，与用户的交互可以通过呈现层例如呈现层614来发生。在这些系统中，应用/模块“逻辑”可以与和用户交互的应用/模块的方面分离。

图7是示出了根据一些示例实施方式的机器700的部件的框图，机器700能够从机器可读介质(例如机器可读存储介质)读取指令并执行本文中讨论的方法中的任一种或更多种方法。具体地，图7以计算机系统的示例形式示出了机器700的图解表示，在机器700内，可以执行用于使机器700执行本文中讨论的方法中的任一个或更多个方法的指令710(例如，软件、程序、应用、小程序、应用程序或其他可执行代码)。这样，指令710可以用于实现本文中描述的模块或部件。指令710将通用的未编程的机器700转换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器。在替选实施方式中，机器700作为独立设备操作或者可以耦接(例如联网)至其他机器。在联网部署中，机器700可以在服务器客户端网络环境中以服务器机器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器700可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能电器)、其他智能设备、网络设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由机器700采取的动作的指令710的任何机器。此外，虽然仅示出了单个机器700，但是术语“机器”还应被视为包括单独或联合执行指令710以执行本文中讨论的方法中的任一个或更多个方法的机器的集合。

机器700可以包括可以被配置成例如经由总线702彼此进行通信的处理器704、存储器706和输入/输出(I/O)部件718。在示例实施方式中，处理器704(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另外的处理器或其任何合适的组合)可以包括例如可以执行指令710的处理器708和处理器712。术语“处理器”旨在包括可以包括可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。虽然图7示出了多个处理器，但是机器700可以包括：具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或者其任何组合。

存储器706可以包括存储器714诸如主存储器、静态存储器或其他存储器存储设备以及存储单元716，两者都可例如经由总线702访问处理器704。存储单元716和存储器714存储体现本文中描述的方法或功能中的任一个或更多个方法或功能的指令710。在由机器700执行指令710期间，指令710还可以完全地或部分地驻留在存储器714内、存储单元716内、处理器704中的至少一个处理器内(例如，处理器的高速缓冲存储器内)或其任何合适的组合内。因此，存储器714、存储单元716和处理器704的存储器是机器可读介质的示例。

如本文中使用的，“机器可读介质”意指能够临时地或永久地存储指令和数据的设备，并且可以包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓冲存储器、其他类型的存储设备(例如，可擦除可编程只读存储器(EEPROM))和/或其任何适当的组合。术语“机器可读介质”应被视为包括能够存储指令710的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”还应被视为包括下述任何介质或多个介质的组合：所述介质能够存储由机器(例如机器700)执行的指令(例如指令710)，使得所述指令在由机器700的一个或更多个处理器(例如处理器704)执行时，使机器700执行本文中描述的方法中的任一个或更多个方法。因此，“机器可读介质”是指单个存储装置或设备以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”不包括信号本身。

输入/输出(I/O)部件718可以包括用于接收输入、提供输出、产生输出、传送信息、交换信息、捕获测量等的各种部件。包括在特定机器中的特定输入/输出(I/O)部件718将取决于机器的类型。例如，用户接口机器和便携式机器诸如移动电话很可能包括触摸输入设备或其他这样的输入机构，而无头服务器(headless server)机器很可能不包括这样的触摸输入设备。将理解的是，输入/输出(I/O)部件718可以包括图7中未示出的许多其他部件。

仅出于简化以下讨论的目的来根据功能对输入/输出(I/O)部件718进行分组，并且该分组决不是限制性的。在各种示例实施方式中，输入/输出(I/O)部件718可以包括输出部件726和输入部件728。输出部件726可以包括视觉部件(例如，显示器诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、听觉部件(例如扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号发生器等。输入部件728可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、跟踪球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏幕或其他感触输入部件)、音频输入部件(例如麦克风)等。

在另外的示例实施方式中，输入/输出(I/O)部件718可以包括生物计量部件730、运动部件734、环境部件736或位置部件738等各种其他部件。例如，生物计量部件730可以包括下述部件：所述部件用于检测表达(例如，手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波、诸如来自EEG设备的输出)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动部件734可以包括加速度传感器部件(例如加速度计)、重力传感器部件、旋转传感器部件(例如陀螺仪)等。环境部件736可以包括例如照明传感器部件(例如光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中污染物的气体检测传感器)或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。位置部件738可以包括定位传感器部件(例如全球定位系统(GPS)接收器部件)、高度传感器部件(例如，检测可以从其得到高度的气压的高度计或气压计)、取向传感器部件(例如磁力计)等。

可以使用各种各样的技术来实现通信。输入/输出(I/O)部件718可以包括通信部件740，通信部件740可操作以分别经由耦接器724和耦接器722将机器700耦接至网络732或设备720。例如，通信部件740可以包括网络接口部件或用于与网络732接口的其他合适的设备。在另外的示例中，通信部件740可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、

部件(例如，

低能耗)、

部件和经由其他模态提供通信的其他通信部件。设备720可以是另外的机器或各种外围设备中的任何外围设备(例如，经由通用串行总线(USB)耦接的外围设备)。在EEG设备、眼睛跟踪单元或显示设备未与机器700集成的情况下，设备720可以是EEG设备、眼睛跟踪单元和/或显示设备。

尽管通过一些详细的示例性实施方式进行了描述，但是根据本公开内容的用于获取脑电图信号的便携式设备包括对于本领域技术人员来说明显的各种变型、修改和改进，应当理解，如由所附权利要求所限定，这些各种变型、修改和改进落入本公开内容的主题的范围内。

尽管已经参照特定示例实施方式描述了本发明主题的概述，但是在不偏离本公开内容的实施方式的较宽范围的情况下，可以对这些实施方式进行各种修改和改变。本发明主题的这些实施方式可以在本文中通过术语“发明”来单独地或共同地指代，这仅为了方便，并且不意在如果事实上公开了多于一个公开内容或发明构思的情况下，将本申请的范围自愿地限制为任何单个公开内容或发明构思。

本文中示出的实施方式被足够详细地描述，以使得本领域技术人员能够实践所公开的教导。可以使用其他实施方式并且从中得到其他实施方式，使得可以在不脱离本公开内容的范围的情况下进行结构和逻辑替代和改变。因此，具体实施方式不应被视为具有限制意义，并且各种实施方式的范围仅由所附权利要求以及这样的权利要求被赋予的等同物的全部范围来限定。

如本文中使用的，术语“或”可以被解释为包含性或排他性意义。此外，可以针对在本文中描述为单个实例的资源、操作或结构提供多个实例。另外，各种资源、操作、模块、引擎和数据存储之间的边界有些随意，并且特定操作在特定说明性配置的上下文中示出。设想功能的其他分配并且功能的其他分配可以落入本公开内容的各种实施方式的范围内。通常，在示例配置中呈现为独立资源的结构和功能可以实现为组合的结构或资源。类似地，呈现为单个资源的结构和功能可以实现为独立的资源。这些和其他变型、修改、添加和改进落入如由所附权利要求表示的本公开内容的实施方式的范围内。因此，说明书和附图应被认为是说明性的而非限制性的。

因此，本公开内容描述了用于提高BCI的准确性、速度性能和视觉舒适性的系统和方法。

示例

为了更好地说明本文公开的系统和方法，在此提供了示例的非限制性列表：

1.一种人机接口系统，包括：

物理控制器，其用于接收来自用户的输入；以及

脑机接口，在所述脑机接口中呈现至少一个视觉刺激，所述视觉刺激由刺激生成器生成并且具有特征调制，使得能够确定所述用户的聚焦对象，

其中，所述系统被配置成将来自所述物理控制器的输入数据与来自所述脑机接口的输入数据组合。

2.一种确定用户意图的人机接口系统的操作的方法，所述方法包括：

经由物理控制器接收来自用户的第一组输入指令；

在显示设备的显示器中呈现至少一个对象；

对于所述至少一个对象中的一个或更多个对象，生成并应用具有相对应的特征调制的相应的视觉刺激；

接收来自神经信号捕获设备的与对于所述刺激或每个刺激的神经响应相对应的电信号；

根据所述电信号与所述视觉刺激的特征调制之间的相关性，确定所述对象中的哪个对象是有意的聚焦对象，作为第二组输入指令；以及

将所述第一组输入指令与所述第二组输入指令组合以生成混合组输入指令。

3.根据示例2所述的方法，其中，将所述第一组输入指令与所述第二组输入指令组合的操作包括：

将所述第一组输入指令应用于计算机生成的应用的图形输出中的第一元素；以及

同时将所述第二组输入指令应用于所述图形输出中的第二元素。

4.根据示例2所述的方法，其中，将所述第一组输入指令与所述第二组输入指令组合的操作包括：

将所述第一组输入指令应用于计算机生成的应用的图形输出中的第三元素，作为选择操作；以及

将所述第二组输入指令应用于所述第三元素，作为验证操作。

5.根据示例2所述的方法，其中，所述聚焦对象与能够控制的对象相关联，所述方法还包括：

与所述混合输入相对应地向所述能够控制的对象发送命令，从而控制所述能够控制的对象基于所述命令来实现动作。

6.一种计算机可读存储介质，所述计算机可读存储介质承载指令，所述指令当由计算机执行时，使所述计算机执行包括以下的操作：

经由物理控制器接收来自用户的第一组输入指令；

在显示设备的显示器中呈现至少一个对象；

对于所述至少一个对象中的一个或更多个对象，生成并应用具有相对应的特征调制的相应的视觉刺激；

接收来自神经信号捕获设备的与对于所述刺激或每个刺激的神经响应相对应的电信号；

根据所述电信号与所述视觉刺激的特征调制之间的相关性，确定所述对象中的哪个对象是有意的聚焦对象，作为第二组输入指令；以及

将所述第一组输入指令与所述第二组输入指令组合以生成混合组输入指令。

Claims (7)

1.一种人机接口系统，包括：

物理控制器，其用于接收来自用户的输入；以及

脑机接口，在所述脑机接口中呈现至少一个视觉刺激，所述视觉刺激由刺激生成器生成并且具有特征调制，使得能够确定所述用户的聚焦对象，

其中，所述系统被配置成将来自所述物理控制器的输入数据与来自所述脑机接口的输入数据组合。

2.根据权利要求1所述的人机接口系统，其中，所述物理控制器包括下述中的至少一个：键盘、鼠标设备、触摸板、跟踪球、操纵杆、触摸屏幕、光笔、专用控制器设备、麦克风、惯性测量单元、眼睛跟踪设备和姿势跟踪设备。

3.一种确定用户意图的人机接口系统的操作的方法，所述方法包括：

经由物理控制器接收来自用户的第一组输入指令；

在显示设备的显示器中呈现至少一个对象；

对于所述至少一个对象中的一个或更多个对象，生成并应用具有相对应的特征调制的相应的视觉刺激；

接收来自神经信号捕获设备的与对于所述刺激或每个刺激的神经响应相对应的电信号；

根据所述电信号与所述视觉刺激的特征调制之间的相关性，确定所述对象中的哪个对象是有意的聚焦对象，作为第二组输入指令；以及

将所述第一组输入指令与所述第二组输入指令组合以生成混合组输入指令。

4.根据权利要求3所述的方法，其中，将所述第一组输入指令与所述第二组输入指令组合的操作包括：

将所述第一组输入指令应用于计算机生成的应用的图形输出中的第一元素；以及

同时将所述第二组输入指令应用于所述图形输出中的第二元素。

5.根据权利要求3所述的方法，其中，将所述第一组输入指令与所述第二组输入指令组合的操作包括：

将所述第一组输入指令应用于计算机生成的应用的图形输出中的第三元素作为选择操作；以及

将所述第二组输入指令应用于所述第三元素作为验证操作。

6.根据权利要求3所述的方法，其中，所述聚焦对象与能够控制的对象相关联，所述方法还包括：

与所述混合输入相对应地向所述能够控制的对象发送命令，从而控制所述能够控制的对象基于所述命令来实现动作。

7.一种计算机可读存储介质，所述计算机可读存储介质承载指令，所述指令当由计算机执行时，使所述计算机执行包括以下的操作：

经由物理控制器接收来自用户的第一组输入指令；

在显示设备的显示器中呈现至少一个对象；

对于所述至少一个对象中的一个或更多个对象，生成并应用具有相对应的特征调制的相应的视觉刺激；

接收来自神经信号捕获设备的与对于所述刺激或每个刺激的神经响应相对应的电信号；

根据所述电信号与所述视觉刺激的特征调制之间的相关性，确定所述对象中的哪个对象是有意的聚焦对象，作为第二组输入指令；以及

将所述第一组输入指令与所述第二组输入指令组合以生成混合组输入指令。

Images