CN114981759A

CN114981759A - 脑机接口

Info

Publication number: CN114981759A
Application number: CN202180009809.9A
Authority: CN
Inventors: 西德·库韦德尔; 罗宾·泽拉法; 内尔松·施泰因梅茨; 尼古拉斯·巴拉斯库德
Original assignee: Nextmand
Current assignee: Nextmand
Priority date: 2020-01-07
Filing date: 2021-01-11
Publication date: 2022-08-30
Also published as: EP4088174A1; US11995236B2; WO2021140247A1; US20230032492A1; KR20220119161A

Abstract

一种涉及脑机接口的系统和方法，其中提供覆盖一个或更多个对象的视觉刺激，该视觉刺激具有特征调制。该脑机接口测量对由用户观看的对象的神经响应。对视觉刺激的神经响应与调制相关。该方法使得接口能够在仅观看显示对象与该显示对象的有意选择(例如，作为进一步动作的触发器)之间进行区分。

Description

脑机接口

相关申请的交叉引用

本申请要求于2020年1月7日提交的标题为“BRAIN-COMPUTER INTERFACE”的美国临时专利申请序列第62/958,072号的优先权的权益，该临时专利申请通过引用整体并入本文。

技术领域

本公开内容的实施方式涉及在涉及视觉感测的脑机接口中的探索与选择之间的区别。

背景技术

在视觉脑机接口(BCI)中，通常在呈现给用户的多个生成的视觉刺激当中，对目标刺激的神经响应用于推断(或“解码”)在任何给定时间哪个刺激基本上是聚焦对象。然后，聚焦对象可以与用户可选择或用户可控制的动作相关联。

可以使用各种已知技术来获得神经响应。一种方便的方法依赖于表面脑电图(EEG)，该表面脑电图是非侵入性的、具有细粒度的时间分辨率并且基于众所周知的经验基础。表面EEG使得可以实时测量受试者的头骨(即，头皮)的表面的扩散电位变化。这些电位变化通常被称为脑电图信号或EEG信号。

在典型的BCI中，视觉刺激呈现在由显示设备生成的显示中。合适的显示设备的示例(其中一些在图3中示出)包括：电视屏幕和计算机监视器302、投影仪310、虚拟现实头戴式装置306、交互式白板，以及平板304、智能电话、智能眼镜308的显示屏幕等。视觉刺激311、311’、312、312’、314、314’、316可以形成生成的图形用户接口(GUI)的一部分，或者它们可以呈现为覆盖在基础图像上的增强现实(AR)或混合现实图形对象316：该基础图像可以仅仅是用户的实际视野(如在投影到一组智能眼镜的另外透明显示器上的混合现实显示功能的情况下)或与用户的视野相对应但由光学捕获设备(该光学捕获设备又可以捕获在其他可能的视图当中的与用户的视野相对应的图像)实时捕获的数字图像。

推断在任何给定时间多个视觉刺激(如果有的话)中的哪个视觉刺激是聚焦对象是充满困难的。例如，当用户面对多个刺激诸如例如屏幕键盘上显示的数字时，(见图4)，已经证明了很难直接从大脑活动来推断出在给定时间哪一个处于聚焦之下。用户感知到聚焦之下的数字(比方说数字5)，因此大脑必须包含将该数字与其他数字区分开来的信息，但目前的方法无法提取该信息。也就是说，目前的方法可以推断已经感知到刺激，但它们无法仅使用大脑活动来确定哪个特定刺激处于聚焦之下。

为了克服这种问题，并在刺激与背景之间(以及刺激之间)提供足够的对比，已知的是将视觉BCI使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色，反之亦然)，使得每个刺激随时间具有可区分的特征分布。闪烁的刺激引起可测量的电响应。特定技术监测不同的电响应，例如稳态视觉诱发电位(SSVEP)和P-300事件相关电位。在通常的实现中，刺激以超过6Hz的频率闪烁。因此，这样的视觉BCI依赖于下述方法，该方法包括离散地而不是持续地、并且通常在不同的时间点在显示设备中显示各种刺激。发现与聚焦于给定刺激的注意力相关联的大脑活动与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)相对应(即，相关)。

因此，神经信号的解码依赖于这样的事实：当刺激开启(即，呈现)时，它将触发大脑中神经响应的特征模式，该特征模式可以根据电信号——即由EEG设备的电极(例如EEG头盔的电极)拾取的SSVEP或P-300电位——确定。继续图4所示的键盘示例，这种神经数据模式对于不同的数字可能非常相似，甚至完全相同，但它对被感知的数字是时间锁定的：在任何一个时间，只有一个数字可以脉冲，使得与脉冲神经响应的相关性和该数字脉冲的时间可以被确定为该数字是聚焦对象的指示。通过在不同的时间点显示每个数字，以不同的速率开启和关闭该数字，应用不同的占空比，和/或简单地在不同的时间点施加刺激，BCI算法可以确定哪个刺激在开启时最有可能触发给定的神经响应，从而使得系统能够确定聚焦下的目标。

即使在目标被确定处于聚焦之后，视觉计算机接口诸如以上描述的BCI仍面临进一步的挑战。视觉计算机接口领域的一个主要挑战是所谓的“迈达斯触摸(Midas Touch)”问题，其中用户在简单地观看目标刺激(刺激可能位于包括焦点区域418的用户的视野404中的任何位置)而从未打算触发相关动作时无意地生成了输出动作。事实上，已经证明难以准确估计观看的目标是否只是“探索”的，或者用户是否也希望选择该目标(即，生成输出动作)。

在眼睛跟踪领域，迈达斯触摸问题反映出估计用户是否将他们的注视固定在特定目标以进行探索或有意地将他们的注视固定在特定目标(用于“选择”该目标和/或在接口上生成输出动作)的困难。这种估计通常是通过测量停留时间来完成的：当(跟踪的)注视进入目标区域时启动计时器，并且当计时器过去(没有明显的注视发散)时验证计时器。对于工作来说停留时间可能会非常令人沮丧，因为停留时间依赖于用户的观察来推断交互。虽然眼睛跟踪信息被可靠地用于揭示用户的注视位置，但已经证明难以向用户提供有意的控制，这是由于无法在用户仅对(注视的)目标的观察(即，探索)与旨在表达用户触发与目标相关联的动作的意愿的有意的凝视之间进行区分。

虽然迈达斯触摸问题是基于眼睛跟踪的用户接口领域的主要挑战，但它也出现在视觉BCI中。用户可能希望调查(即，注意)显示对象，而无意控制对象或触发相关动作。此外，存在这样的情况，其中BCI的用户使得他们的目光能够停留在展示出(可解码的)视觉刺激的屏幕对象上，而没有相关联的注意力——例如，在空白(或空洞)的凝视中。期望将这样的情况与旨在控制或触发动作的情况进行区分。

因此，需要下述改进的方法，其用于操作BCI，以在用户正以触发动作的意图聚焦的目标与仅仅被观看的屏幕对象(是无意地还是仅意图调查)之间进行区分。因此，期望提供解决上述挑战脑机接口。

发明内容

本公开内容涉及脑机接口(BCI)，其中显示对象或覆盖一个或更多个显示对象的覆盖对象展示出复合视觉刺激。复合视觉刺激由刺激生成器生成，并且通常呈现在屏幕或其他显示设备上。复合视觉刺激至少包括第一部分和第二部分。在某些实施方式中，刺激的第一部分和第二部分可以呈现为与相同的显示位置交叠(如图7A(b)所示，其中第一刺激部分由“钩号”组成并且第二部分由“叉号”组成)。

复合视觉刺激的第一部分具有第一特征调制，而复合视觉刺激的第二部分具有第二特征调制，第二特征调制与第一特征调制不同。由BCI中的神经信号捕获设备捕获对用户的视野中的对象的神经响应。用户对所观看的对象(以及它们的相关联的特征调制)的神经响应又可以被测量和解码，以确定哪个感兴趣的对象是用户的注意力的焦点。

在仅观看显示对象或覆盖对象的情况下，神经响应均匀分布在复合视觉刺激的第一部分与第二部分之间。用户能够凭借各个部分的视觉特性有意识地区分这些部分。例如，第一部分可以以第一颜色(例如，绿色)呈现，而第二部分以不同的第二颜色(例如，红色)呈现。当用户有意将注意力集中在第一部分和第二部分之一(例如，以绿色显示的部分)上时，对于具有注意的视觉特性的部分，神经响应变得更强，并且BCI可以推断有意的注意与观看的对象相关联。

根据第一方面，本公开内容涉及一种脑机接口系统，包括：显示单元，其用于显示图像数据，图像数据包括至少一个对象，显示单元还输出与所述对象中的一个或更多个对象相对应的相应的视觉刺激；刺激生成器，其用于生成具有相对应的特征调制的视觉刺激或每个视觉刺激；神经信号捕获设备，其被配置成捕获与用户相关联的神经信号；以及接口设备，其操作地耦接至神经信号捕获设备和刺激生成器，该接口设备被配置成：接收来自神经信号捕获设备的神经信号；确定神经信号的下述分量的强度，所述分量具有与视觉刺激或每个视觉刺激的相应的特征调制相关联的特性；基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激与用户的聚焦对象相关联，聚焦对象是根据神经信号的具有与视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的；以及使刺激生成器生成作为复合视觉刺激的视觉刺激，该复合视觉刺激至少包括具有第一特征调制和第一视觉特性的第一部分以及具有第二特征调制和第二视觉特性的第二部分，第二视觉特性与第一视觉特性不同。在某些实施方式中，第二视觉特性与第一视觉特性正交，每个特性独立于另一特性被感知和解码。

根据第二方面，本公开内容涉及一种脑机接口系统的操作的方法，该脑机接口系统包括：显示单元、刺激生成器和神经信号捕获设备，显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，视觉刺激具有特征调制，其中，该方法包括，在操作地耦接至神经信号捕获设备和刺激生成器的硬件接口设备中：接收来自神经信号捕获设备的神经信号；确定神经信号的下述分量的强度，所述分量具有与视觉刺激或每个视觉刺激的相应的特征调制相关联的特性；基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激与用户的聚焦对象相关联，聚焦对象是根据神经信号的具有与视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的；以及使刺激生成器生成作为复合视觉刺激的视觉刺激，该复合视觉刺激至少包括具有第一特征调制和第一视觉特性的第一部分以及具有第二特征调制和第二视觉特性的第二部分，第二视觉特性与第一视觉特性不同。

附图说明

为了容易地识别对任何特定元素或动作的讨论，附图标记中的一个或多个最重要的数字指的是首次引入该元素的图号。

图1示出了根据本公开内容的用于接收和处理EEG信号的电子架构；

图2示出了根据本公开内容的包含脑机接口(BCI)的系统；

图3示出了适合与本公开内容的BCI系统一起使用的显示设备的各种示例；

图4示出了本公开内容的BCI系统的键盘用例；

图5A和图5B示出了根据本公开内容的复合视觉刺激的相应的示例性实施方式；

图6示出了根据本公开内容的应用于相应的视觉刺激的不同类型的特征调制；

图7A和图7B示出了根据本公开内容的BCI的操作的方法中从探索到验证选择的进展；

图8示出了根据本公开内容的复合视觉刺激的另一示例性实施方式；

图9示出了根据本公开内容的与BCI结合的眼睛跟踪技术的操作；

图10示出了根据本公开内容的BCI的操作的方法中的主要功能块；

图11是示出根据一些示例实施方式的可以在其中实现本公开内容的软件架构的框图；以及

图12是根据一些示例实施方式的计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使机器执行所讨论的方法中的任何一个或更多个方法。

具体实施方式

以下描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节以便提供对本发明主题的各种实施方式的理解。然而，对于本领域的技术人员而言明显的是，可以在没有这些具体细节的情况下实践本发明主题的实施方式。通常，不一定详细示出公知的指令实例、协议、结构和技术。

图1示出了根据本公开内容的借助EEG设备100接收和处理EEG信号的电子架构的示例。

为了测量受试者110的头骨的表面上的扩散电位，EEG设备100包括便携式设备102(即，帽子或头戴件)、模数转换(ADC)电路104和微控制器106。图1的便携式设备102包括一个或更多个电极108，通常在1个到128个电极之间，有利地在2个到64个电极之间，有利地在4个到16个电极之间。

每个电极108可以包括用于检测由受试者的神经元活动生成的电信号的传感器、和用于在模数转换之前对检测到的信号进行预处理(例如，滤波和/或放大)的电子电路：这样的电极被称为“有源”。图1中示出了使用中的有源电极108，其中传感器与受试者的头皮在物理上接触。电极可以适用于与导电凝胶或其他导电液体(称为“湿”电极)一起使用，或不使用这样的液体(即，“干”电极)。

每个ADC电路104被配置成转换给定数量(例如在1和128之间)的有源电极108的信号。

ADC电路104由微控制器106控制并且例如通过协议SPI(“串行外围接口”)与微控制器106通信。微控制器106将接收到的数据打包以例如通过蓝牙、Wi-Fi(“无线保真”)或Li-Fi(“光保真”)传输到外部处理单元(未示出)，例如计算机、移动电话、虚拟现实头戴式装置、汽车或航空计算机系统例如汽车计算机或计算机系统、飞机。

在某些实施方式中，每个有源电极108由电池(图1中未示出)供电。电池方便地设置在便携式设备102的壳体中。

在某些实施方式中，每个有源电极108测量各自的电位值，从该电位值减去由参考电极测量的电位(Ei＝Vi-Vref)，并且该差值借助ADC电路104数字化，然后由微控制器106传输。

在某些实施方式中，本公开内容的方法引入用于在显示设备的图形用户接口中显示的目标对象。目标对象包括控制项，并且控制项又与用户可选择的动作相关联。

图2示出了根据本公开内容的包含脑机接口(BCI)的系统。该系统包含神经响应设备206，诸如图1中所示的EEG设备100。在系统中，图像显示在显示设备202的显示器上。受试者204观看显示器上的图像，聚焦在目标对象210。

在实施方式中，显示设备202至少将目标对象210显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象的时间特征不同的变化的时间特征。例如，该变化时间特征可以是以大于6Hz的速率改变目标对象的外观的恒定的或时间锁定的闪烁效应。在另一实施方式中，变化的时间特征可以使用伪随机时间代码，从而生成平均每秒改变目标对象的外观几次、例如以平均3Hz的速率改变目标对象的外观的闪烁效果。在多于一个图形对象是潜在目标对象的情况下(即，在观看受试者被提供对要集中注意力的目标对象的选择的情况下)，每个对象与离散的空间和/或时间代码相关联。

神经响应设备206检测与聚焦在目标对象上的注意力相关联的神经响应(即，指示视觉皮层中大脑活动的微小电位)；因此，对目标对象的变化时间特征的视觉感知充当受试者的大脑中的刺激，生成与关注的目标对象相关联的代码一致的特定的大脑响应。然后将检测到的神经响应(例如电位)转换为数字信号并传送到处理设备208进行解码。神经响应的示例包括视觉诱发电位(VEP)，它通常用于神经科学研究。术语VEP包含：如上面提及的常规的SSVEP，其中刺激以特定频率振荡；以及其他方法诸如编码调制的VEP，刺激经受可变或伪随机时间码。神经响应(其中大脑表现为“振荡”或与闪烁的时间特征同步响应)在本文中称为“神经同步”。

处理设备208执行解释接收到的神经信号的指令，以实时确定指示具有当前(视觉)关注的焦点的目标对象的反馈。解码神经响应信号中的信息依赖于该信息与目标对象(即，刺激)的时间分布的一个或更多个方面之间的对应关系。在某些实施方式中，处理设备208和神经响应设备206可以被设置在单个设备中，使得直接对检测到的神经响应执行解码算法。

在某些实施方式中，处理设备可以方便地生成呈现在显示设备202上的包括随时间变化的目标对象的图像数据。

在某些实施方式中，显示设备202将覆盖对象显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象的时间特征不同的变化的时间特征，然后，该覆盖对象被显示为至少识别的目标对象上的图形层。

尽管对外部刺激的神经活动可以通过自上而下的自发注意力来调节，但刺激重建在很大程度上也由自下而上的因素驱动，自下而上的因素将自动影响观察的目标的神经振荡，而不管注意力如何，这使得难以估计动作是否由用户有意的。

为了解决这种困难，本公开内容的实施方式针对每个目标呈现复合视觉刺激：代替单一视觉刺激，复合视觉刺激包括具有不同神经签名(neural signature)的至少两个刺激部分。在某些实施方式中，这两个刺激部分覆盖在基本上相同的位置，各自具有不同的时间调制模式。一部分用于验证(即，使得BCI能够推断有意注意)，并且另一部分用于平衡验证刺激的自下而上的影响：为了触发动作的目的而有意注意一个刺激部分(以牺牲另一刺激部分为代价)具有与仅观看目标而不区分部分不同的神经同步模式。这种方法背后的原理是：仅仅为了探索而注意给定显示对象(例如字母‘A’)的用户不会选择它，除非他们特别关注给定的覆盖部分，例如绿色线(“验证刺激”)而不是红色线(“平衡刺激”)。

认知神经科学中对基于特征的注意力的皮层调制的研究表明，可以区分在同一位置显示的两组闪烁点之间的神经签名，诸如一个以特定频率(例如，8Hz)显示为绿色，以及另一个以另一频率(例如，9Hz)显示为红色。也就是说，可以在神经数据的频谱表示中观察到两个相对应的频率的峰值。此外，如果受试者被要求优先注意一个特定刺激诸如绿色点，并忽略可替选的红色刺激，则与基线相比，在关注的刺激的频率(8Hz)处的神经响应将增加，而在忽略的刺激的频率(9Hz)处的神经响应将降低。

在某些实施方式中，这种观察应用于BCI。因此，基于特征的注意力可以用于提供对选择用于触发相对应的输出动作的目标的实时意志控制。通过在给定目标(即，显示对象)上的同一位置处覆盖具有不同神经签名的两个刺激部分，诸如例如字母A上的8Hz处的绿色点和9Hz处的红色点，为用户提供探索字母A而不进行选择、并且然后通过优先注意字母上的绿色点来选择用于动作的字母的可能性。在某些情况下，显示对象是两个并置刺激部分的复合视觉刺激。

考虑绿色点是验证刺激部分并且红色点是平衡刺激部分的情况。在这样的示例中，仅观察目标(例如字母‘A’)将导致与验证刺激和平衡刺激相关联的两个频率的自下而上(自动)神经放大，其方式可以解释为仅反映目标的探索的平衡、无偏的神经响应。这是因为平衡刺激用于抵消验证刺激的自下而上(自动)神经影响。

然而，当用户有意注意验证(例如绿色)刺激部分时，相对应的频率处的神经放大可以解释为触发动作的意志控制。

在其他示例中，本公开内容的一般方法可以扩展到任何情况，其中验证刺激与具有区别的神经签名的一个或更多个平衡刺激结合使用，无论它是基于神经数据的时间特征、频谱特征、空间特征或任何其他特征。因此，用户可以通过其指示意图的刺激之间的区别不需要是颜色：例如，一个可替选的可见特性将是视觉元素的移动的速率或方向。

在另一替选方案中，绿色线的覆盖和红色线的覆盖可以呈现叠加在字母A上，两者都以共同频率(例如8Hz)振荡，但相位相反。同样的原理以9Hz应用于字母B。对神经响应的分析将揭示用户是在探索字母A(8Hz时更强的神经振荡)还是字母B(9Hz时更强的神经振荡)。该频率分析可以与神经响应的相位的分析相结合，以确定用户只是在探索(即，调查)字母之一还是意在通过关注绿色覆盖来对其进行验证。

注意，在上述示例中，覆盖的刺激部分具有仅在相位上不同而非频率上不同的特征调制。

需要考虑的一个重要方面是，神经响应(如由EEG设备测量)易于非线性的事实，因此，当用户在视觉上探索显示的对象而不是主动寻求选择一个对象时(即，当注视字母A而没有展示出对验证刺激优于平衡刺激的偏好时)，两个刺激部分的影响不一定是相加的。无论是使用刺激重建还是频谱分析来解码神经响应，情况都是如此。

对于频谱分析，存在公知的称为互调的现象。术语互调是指基频的非零整数倍的任何总和(即n*f₁+m*f₂，其中n,m＝-1,-2,-3,...)。互调分量作为基频之间的非线性相互作用的结果发生。例如，可能具有下述情况，其中注意到两个紧密放置的显示对象(例如，分别以8Hz的频率f₁和9Hz的频率f₂进行调制)之间的位置，字母“A”在位置的左侧并且同时字母“B”在右侧(所谓的“双重隐蔽注意”)。在这样的情况下，频谱分析将揭示在8Hz和9Hz两者处、但也对它们的互调分量诸如(f₂-f₁:1Hz)和总和(f₁+f₂:17Hz)的功率增加。互调分量的大小或者存在对不存在可以提供关于用户是从两个刺激部分接收信息还是优先注意两个刺激部分中的一个刺激部分的信息。

注意的刺激的成功识别可以依赖于这样的假设：通过重建验证刺激和平衡刺激并将它们进行比较，与平衡刺激相比，对于验证刺激，(刺激)重建更强。然而，为了解决非加性神经响应，某些实施方式建立在使用多于一个解码模型的基础上。在一个这样的实施方式中，建立了分别对应于注意两个刺激对一个刺激的两个模型；‘注意两个刺激’可以意味着用户被‘散焦’或关注底层对象，但不是任一刺激的区别的元素。在另一这样的实施方式中，对每个刺激并针对每个刺激分别训练两个模型。这些实施方式可以帮助在用户关注两个刺激对不关注刺激(例如，在“注视”期间)或者关注一个刺激对另一刺激(例如，在“探索验证”或“选择验证”期间)的情况之间进行区分。由于不同的刺激可以对神经响应具有不同的影响，无论是定性的(它们可能会生成不同的VEP波形)还是定量的(特定刺激可能在大脑中产生比其他更弱的响应振幅)，因此在仅使用单个解码模型时，完全平衡验证和平衡刺激可能是一个挑战。通过采用多于一个模型，解释(并补偿)神经响应特异性和响应偏差变得可能。

如上所述，本公开内容不限于颜色区分的刺激部分，但可以扩展到任何区别的视觉特征。代替使用绿色和红色交叠的刺激部分，可以使用不同的移动方向(例如，每个刺激部分的组成元素在各自不同的方向上连贯地移动(即，“漂移”)，例如向上和向下，同时占据显示器的相同区域)、不同的空间频率、对比度等。另外地或可替选地，可以通过采用具有不同取向(不仅仅是移动的方向诸如水平条对垂直条)和/或形状(例如，一个或更多个小圆对一个或更多个小三角形在中心处或在对象上交叠)的相应的刺激部分的组成元素来提供视觉区别。不同的区别视觉特性可以自然地组合使用。此外，在某些实施方式中，相应的刺激部分可以采用彼此不同的视觉区分模式：因此，第一刺激部分中的视觉特性可以说与第二刺激部分中的另一视觉特性“正交”，因为每个特性都是独立于另一特性被感知和解码。使得两个刺激部分可能看起来完全不同。例如，考虑下述情况，其中一个刺激部分采用相干着色的透镜状组成元素，而另一个刺激部分不采用这些差异模式中的任何一种，并且表现为视觉噪声块(patch)。

图5A示出了根据本公开内容的复合视觉刺激的示例性实施方式。在(a)中示出复合视觉刺激的各个部分502、504，每个部分具有各自不同的变化的特征调制。这些刺激部分可以生成为不同的视觉刺激，但BCI使它们至少部分地彼此交叠地显示。虽然用户可以通过颜色在视觉上区分相应的部分，但是可以附加地或可替选地通过刺激组成元素的形状和取向来区分相应的部分(如以上所描述)。为了说明，图5A中所示的复合视觉刺激包括具有‘钩号’符号作为组成元素的一部分，而另一部分具有“叉号”符号。根据本公开内容，第一部分例如“钩号”部分502可以被认为是“验证刺激”，并且第二部分例如“叉号”部分504可以被认为是“平衡刺激”。专注于验证刺激502的钩号的用户会产生有利于在复合视觉刺激下验证显示对象的选择的神经响应。

图5B示出了根据本公开内容的复合视觉刺激的另一示例性实施方式。在(a)中示出复合视觉刺激的各个部分506、508，每个部分具有各自不同的变化的特征调制。在该示例中，“钩号”部分506的阴影比“叉号”部分508的阴影浅，说明了视觉特性(颜色/阴影，以及区别的组成视觉元素)的组合。

复合视觉刺激的验证刺激部分和平衡刺激部分不需要强调制，但应当引起等效的响应振幅，以便在其中一个未被用户优先注意时彼此平衡。如果无论注意如何，这两个类别都偏向一种方式或另一种方式(例如，当验证刺激由于显著性、偏好、熟悉度、训练等而具有比另一刺激更大的强度时)，可以使用归一化过程。事实上，如下文所讨论的，注意到对视觉刺激部分的高空间频率(HSF)分量选择性地应用特征调制可以减少不适和精神疲劳，而不会显著减损神经响应的强度。

图6示出了三种不同类型的特征调制(用于相应的多个显示的视觉刺激的HSF分量)。在(a)处，第一多个不同的视觉刺激中的每一个具有不同频率(但归一化峰值振幅)的相应的正弦特征调制。在(b)处，特征调制再次具有不同的频率并具有归一化的峰值振幅，但调制是方波。在(c)处，特征调制替代地是具有归一化峰值振幅的最小相关信号。在每种情况下，可以将相应的不同刺激应用于不同的显示对象和/或(成对地)应用于相同的显示对象，以针对该显示对象提供验证刺激和平衡刺激。

本公开内容中描述的在同一位置呈现复合视觉刺激的刺激部分的方法使得BCI能够捕获在同一位置显示的两个或更多个刺激当中的一个刺激的注意选择，并且使得BCI能够基于刺激来提供任何期望形式的反馈或动作。

反馈可以是刺激本身的修改(例如，对显示对象本身进行视觉突出显示或放大等或视觉刺激覆盖显示对象)，或者它可以是象征性地或任意地与所选择的刺激相关联的动作。例如，利用指向相反方向的两个箭头的覆盖(一个箭头是绿色的，另一个箭头是红色的)，一个箭头的注意选择将导致虚拟现实环境中的方向上的相对应的移动。该反馈提供了正反馈回路(“神经反馈”回路)，该正反馈回路在向用户呈现他针对所注意的目标的实时相关性的视觉表示时发生。用户对例如“选择目标”的有意识意图的加强关注增强了对刺激的响应的信噪比，从而导致正反馈回路。

在2020年11月6日提交的共同待决国际专利申请第PCT/EP2020/081338号(卷宗号5380.005WO1)中，其整个说明书通过引用并入本文，作者描述了反馈交互的方法，其中向用户呈现展示出与他们的注意力水平相对应的效果的视觉反馈元素。这样的反馈交互可以与当前公开的操作结合使用。因此，例如，用户将接收到反馈，甚至接收到BCI已经解码(即，确定)他们正在凝视(或正在看着)字母A的第一验证(即，确认或“探索验证”)，但第二验证(即，“选择验证”)仅在绿色覆盖优先于红色覆盖被注意时发生。反馈可以是连续的，直到实现选择的验证。

图7A示出了显示显示对象704的显示设备710的用户体验。在(a)中，生成包括钩号部分502和叉号部分504的复合视觉刺激706(诸如图5A中所示)，并且复合视觉刺激706覆盖在显示对象704上。每个部分展示出各自不同的变化的特征调制，当由人类用户观看时，该特征调制会引起对调制进行编码的神经响应。

如(b)中所示，当用户仅观看复合视觉刺激706的显示位置(即，显示对象704的位置)时，来自每个部分的引起的神经响应是平衡的(通过以相同的不透明度水平示出两个部分来说明)。尽管此处未示出，但可以可选地通过在显示对象704处或附近显示反馈元素诸如“十字线”符号来示出当前聚焦于显示对象704的探索(即，第一验证)。在某些实施方式中，反馈元素的视觉特性(例如尺度)可以映射到神经解码器的实时注意水平估计，以便关闭神经反馈回路。

图7B继续以上用户体验的说明。在(c)中，用户现在有意地将注意力集中在钩号部分502(这里是验证刺激)——通过仅示出钩号部分502、叉号部分(“平衡刺激”)在视觉上被去强调来描绘。

可选地，可以显示另一反馈元素以确认显示对象704的有效选择——这里，由(d)中该对象的强调外观表示。

在上述实施方式中的每个实施方式中，调制可以优先或排他地应用于投影覆盖图像(即，背景和/或反馈元素)的高空间频率分量。覆盖对象、目标对象和/或视觉反馈元素的HSF分量的优先调制可以用于提高聚焦对象的确定的准确性(并减少分心效应)。

使用上述方法，对用户的焦点的实时且准确的解码变得更加实用。性能仍然存在障碍：尤其是在同一显示器中呈现的各自刺激之间的干扰的可能性。一个显示位置处的刺激可能落入观看相邻显示位置处的第二刺激的用户的外围视觉内。

回到图4中的键盘用例，还可以观察到外围视觉对以上描述的BCI的影响。典型的人类视觉系统可以近似地被认为具有围绕用户的眼睛聚焦的较窄区域418的外围视野404。在图4的左侧，示出了受试者416观看显示键盘中的多个数字410、412的显示屏402。当受试者试图聚焦在数字“5”410上时，其他(即，外围)数字(诸如“3”，412)充当干扰物，短暂地吸引用户的注意，并在用户的视觉系统中引起干扰。这种干扰又会阻碍BCI的性能。例如，当用户试图聚焦在数字5上时，其他(即，外围)数字充当干扰物，短暂地吸引用户的注意，并在用户的视觉系统中引起干扰。这种干扰又会阻碍BCI的性能。

2020年11月6日提交的共同待决国际专利申请第PCT/EP2020/081348号(卷宗号5380.002WO1)，其整个说明书通过引用并入本文，描述了一种以速度和准确性从目标外围的对象(干扰物)确定聚焦对象(目标)的挑战的方法。这种方法依赖于人类视觉系统的特征。

对人类视觉感知操作的方式的研究已经表明，当注视具有多个对象的屏幕并聚焦于这些对象之一时，人类视觉系统将接受高空间频率(HSF)和低空间频率(LSF)两者。证据表明，人类视觉系统主要对所聚焦的特定显示区域(例如，用户正在盯着的对象)的HSF分量敏感。相反，对于外围对象，人类视觉系统主要对其LSF分量敏感。换句话说，所拾取的神经信号将基本上会受到来自聚焦的目标的HSF分量和来自外围目标的LSF分量两者的影响。然而，由于所有对象都会引起一定比例的HSF和LSF两者，因此处理神经信号以确定聚焦对象可能会受到由外围对象贡献的LSF噪声的阻碍。这趋向于使识别聚焦的对象不太准确和不太及时。

当人类视觉系统被调谐为并行处理在视野的不同位置处的多个刺激时，通常是无意识的，外围对象刺激将继续触发用户的大脑中的神经响应，即使它们出现在视野的外围。因此，这会造成多个刺激之间的竞争并使聚焦对象(目标)的特定神经解码更加困难。

在PCT/EP2020/081348号中，多个对象以这样的方式显示：每个对象被分为仅由对象的LSF分量组成的版本和仅由HSF分量组成的版本。用于引发可解码神经响应的闪烁视觉刺激仅通过对象的HSF版本传递。闪烁的HSF版本叠加在LSF版本(其不闪烁)上。

在某些实施方式中，上述BCI可以与真实世界对象结合使用，使对象可控制或以其他方式进行交互。在某些实施方式中，刺激的生成由与可控制对象相关联地(或在可控制对象的表面上)设置的一个或更多个光源(例如，发光二极管LED)处理。

在某些实施方式中，刺激的生成由投影仪或扫描激光设备处理，使得视觉刺激被投影到可控制对象上，并且可控制对象通过反射投影的刺激来输出视觉刺激。

如在使用用户通过其与屏幕上对象交互的显示屏幕的BCI中的情况，可以使本公开内容中的可控制对象展示出具有特征调制的视觉刺激(例如，闪烁刺激)，使得对这些刺激的存在的神经响应变得明显并且可从由神经信号捕获设备(例如EEG设备)捕获的神经信号解码。

在某些实施方式中，对可控制设备的视觉显示上的注意力的焦点的确定用于向该可控制对象发送命令。然后，该可控制对象可以基于所述命令来实现动作：例如，可控制对象可以发出可听声音、解锁门、接通或关断、改变操作状态等。动作还可以向用户提供与可控制对象相关联的视觉反馈或其他反馈：这可以与上面所讨论的正反馈回路结合使用，但是也可以提供与可控制对象相关联的操作的有效选择的实时指示。

2020年11月23日提交的共同待决国际专利申请第PCT/EP2020/083088号(卷宗号5380.007WO1)，其整个说明书通过引用并入本文，描述了如何将眼睛跟踪技术与脑机接口结合使用。

图8示出了根据本公开内容的复合视觉刺激的示例性实施方式。与图5A中的实施方式类似，在(a)中示出复合视觉刺激的相应的部分806、808，每个部分具有各自不同的变化的特征调制。同样，用户可以通过刺激分量元素的颜色、移动、形状和/或取向在视觉上区分相应的部分。在图8中，这些部分示出为圆形块或椭圆形块，而不是图5A和图5B的矩形块。在图8的相应的部分中使用‘钩号’符号和‘叉号’符号，但这不应被理解为限制性的，因为读者将理解，可以互换地采用任何合适的视觉区分模式。

图9示出了根据本公开内容的将眼睛跟踪技术与BCI相结合的系统900。

在所示的光学跟踪技术中，相应的眼睛跟踪摄像装置932、934的输出在眼睛跟踪单元930中处理。眼睛跟踪单元930将包括固定信息的眼睛跟踪信息904输出到处理设备908。处理设备908(其可以是图2的处理设备208)还接收在神经响应设备920(例如，图2的神经响应设备206)处检测到的神经信号。如图2所示，处理设备908执行解释接收到的神经信号的指令，以实时确定指示具有当前(视觉)注意力焦点的目标对象的反馈。处理设备908还生成呈现在显示设备910上的图像数据，该图像数据包括覆盖在显示设备910上显示的对象的至少一个视觉刺激，该视觉刺激是根据本公开内容的复合视觉刺激。

在某些实施方式中，复合视觉刺激仅应用于视野906中的对象。然后，眼睛跟踪信息904可以用于确定哪个对象在视野中，而复合视觉刺激(诸如图8所示的刺激)根据本公开内容可以用于确定用户是否验证目标之一的意图(并且如果是这样，则验证该对象的选择)。

可选地，可以显示另一反馈元素以确认显示对象的有效选择——在图9中由视野906中对象上方的十字线表示。

眼睛跟踪信息通常指示名义注视点相对于固定方向(诸如头部的参考方向)的角度。常规的眼睛跟踪技术(即使是针对用户的每个眼睛使用摄像装置的那些技术)生成基本上是二维的信息——能够区分用户的头部周围的虚拟球体上的点，但难以以任何准确性捕捉深度。双目眼睛跟踪技术正在开发中，该技术试图使用针对多于一只眼睛的跟踪信息来解决不同深度(即，距用户的距离)之间的问题。在可以以任何可靠性使用这样的技术之前，这样的技术需要对特定用户进行大量校准。

图10示出了根据本公开内容的BCI系统(例如，图2中示出的BCI系统)的操作的方法中的主要功能块。脑计算机接口系统包括显示单元、刺激生成器和神经信号捕获设备。显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，该视觉刺激具有特征调制。

在块1002中，硬件接口设备(可操作地耦接至神经信号捕获设备和刺激生成器)诸如接口设备208接收来自神经信号捕获设备的神经信号。

在块1004中，接口设备确定神经信号的具有与该视觉刺激或每个视觉刺激的相应的特征调制相关联的特性的分量的强度。

在块1006中，接口设备基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激与用户的聚焦对象相关联，该聚焦对象是根据神经信号的具有与视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的。

在块1008中，接口设备使刺激生成器生成作为复合视觉刺激的视觉刺激，该复合视觉刺激至少包括具有第一特征调制和第一视觉特性的第一部分以及具有第二特征调制和第二视觉特性的第二部分，第二视觉特性与第一视觉特性不同。

本公开内容的某些实施方式的主动反馈(或“神经反馈”)回路与用户体验(UX)和神经解码方面的若干益处相关联。反馈刺激在显示屏幕中的特定位置处为用户呈现了对用户注意力的方便引导(即“注意力捕捉器”)，帮助用户保持聚焦对象。对于具有某些与注意力相关的状况和轻度视觉障碍的观看者而言，已经观察到这样的特征的存在有助于用户保持专注。

此外，用户被赋予任务(即，使反馈刺激接近完全解码的状态，指示对选择的“验证”)。这也有助于用户在抑制外围干扰物的同时注意特定对象。

随着用户使用这样的反馈刺激而更加专注，观察到，在BCI操作的初始或校准阶段建立的用户特定的刺激重建模型更加准确，同时构建得更快。

在随后的操作阶段中，使用如上所述的反馈刺激导致针对实时BCI应用的提高的准确性和增加的速度。

图11是示出示例软件架构1106的框图，该软件架构可以与本文中描述的各种硬件架构结合使用。图11是软件架构的非限制性示例，并且应当理解的是，可以实现许多其他架构以促进本文中描述的功能。软件架构1106可以在硬件诸如图12的机器1200上执行，机器1200包括处理器1204、存储器1206和输入/输出(I/O)部件1218等。代表性硬件层1152被示出并且可以表示例如图12的机器1200。代表性硬件层1152包括具有相关联的可执行指令1104的处理单元1154。可执行指令1104表示软件架构1106的可执行指令，包括本文中描述的方法、模块等的实现。硬件层1152还包括示出为存储器/存储设备1156的存储器和/或存储模块，其也具有可执行指令1104。硬件层1152还可以包括其他硬件1158，例如，用于与EEG电极接口、用于与眼睛跟踪单元接口和/或用于与显示设备接口的专用硬件。

在图11的示例架构中，软件架构1106可以概念化为层的堆叠，其中每个层提供特定功能。例如，软件架构1106可以包括层诸如操作系统1102、库1120、框架或中间件1118、应用1116和呈现层1114。操作上，应用1116和/或层内的其他部件可以通过软件堆栈调用应用编程接口(API)调用1108并接收作为消息1110的响应。示出的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动操作系统或专用操作系统可能不提供框架/中间件1118，而其他操作系统可能提供这样的层。其他软件架构可以包括另外的层或不同的层。

操作系统1102可以管理硬件资源并提供公共服务。操作系统1102可以包括例如内核1122、服务1124和驱动器1126。内核1122可以用作硬件与其他软件层之间的抽象层。例如，内核1122可以负责存储器管理、处理器管理(例如调度)、部件管理、联网、安全设置等。服务1124可以为其他软件层提供其他公共服务。驱动器1126可以负责控制底层硬件或者与底层硬件接口。例如，驱动器1126根据硬件配置可以包括显示器驱动器、EEG设备驱动器、摄像装置驱动器、

驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、

驱动器、音频驱动器、电力管理驱动器等。

库1120可以提供可以由应用1116和/或其他部件和/或层使用的公共基础设施。库1120通常提供使其他软件模块能够以与通过和底层操作系统1102功能(例如，内核1122、服务1124和/或驱动器1126)直接接口相比更容易的方式来执行任务的功能。库1120可以包括系统库1144(例如C标准库)，该系统库1144可以提供功能诸如存储器分配功能、字符串操作功能、数学功能等。另外，库1120可以包括API库1146，例如媒体库(例如，用以支持例如MPEG4、H.264、MP3、AAC、AMR、JPG和PNG的各种媒体格式的呈现和操作的库)、图形库(例如，可以用于在显示器上渲染2D和3D图形内容的OpenGL框架)、数据库库(例如，可以提供各种关系数据库功能的SQLite)、网络库(例如，可以提供网络浏览功能的WebKit)等。库1120还可以包括各种其他库1148，以向应用1116和其他软件部件/模块提供许多其他API。

框架1118(有时也称为中间件)提供可以由应用1116和/或其他软件部件/模块使用的更高水平的公共基础设施。例如，框架/中间件1118可以提供各种图形用户接口(GUI)功能、高级资源管理、高级位置服务等。框架/中间件1118可以提供可以由应用1116和/或其他软件部件/模块使用的其他广谱API，其中一些可以特定于特定操作系统或平台。

应用1116包括内置应用1138和/或第三方应用1140。

应用1116可以使用内置操作系统功能(例如，内核1122、服务1124和/或驱动器1126)、库1120或框架/中间件1118来创建用户接口以与系统的用户进行交互。可替选地或另外地，在一些系统中，与用户的交互可以通过呈现层例如呈现层1114来发生。在这些系统中，应用/模块“逻辑”可以与和用户交互的应用/模块的方面分离。

图12是示出了根据一些示例实施方式的机器1200的部件的框图，机器1200能够从机器可读介质(例如机器可读存储介质)读取指令并执行本文中讨论的方法中的任一种或更多种方法。具体地，图12以计算机系统的示例形式示出了机器1200的图解表示，在机器1200内，可以执行用于使机器1200执行本文中讨论的方法中的任一个或更多个方法的指令1210(例如，软件、程序、应用、小程序、应用程序或其他可执行代码)。这样，指令1210可以用于实现本文中描述的模块或部件。指令1210将通用的未编程的机器1200转换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器。在替选实施方式中，机器1200作为独立设备操作或者可以耦接(例如联网)至其他机器。在联网部署中，机器1200可以在服务器客户端网络环境中以服务器机器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器1200可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能电器)、其他智能设备、网络设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由机器1200采取的动作的指令1210的任何机器。此外，虽然仅示出了单个机器1200，但是术语“机器”还应被视为包括单独或联合执行指令1210以执行本文中讨论的方法中的任一个或更多个方法的机器的集合。

机器1200可以包括可以被配置成例如经由总线1202彼此进行通信的处理器1204、存储器1206和输入/输出(I/O)部件1218。在示例实施方式中，处理器1204(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另外的处理器或其任何合适的组合)可以包括例如可以执行指令1210的处理器1208和处理器1212。术语“处理器”旨在包括可以包括可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。虽然图12示出了多个处理器，但是机器1200可以包括：具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或者其任何组合。

存储器1206可以包括存储器1214诸如主存储器、静态存储器或其他存储器存储设备以及存储单元1216，两者都可例如经由总线1202访问处理器1204。存储单元1216和存储器1214存储体现本文中描述的方法或功能中的任一个或更多个方法或功能的指令1210。在由机器1200执行指令1210期间，指令1210还可以完全地或部分地驻留在存储器1214内、存储单元1216内、处理器1204中的至少一个处理器内(例如，处理器的高速缓冲存储器内)或其任何合适的组合内。因此，存储器1214、存储单元1216和处理器1204的存储器是机器可读介质的示例。

如本文中使用的，“机器可读介质”意指能够临时地或永久地存储指令和数据的设备，并且可以包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓冲存储器、其他类型的存储设备(例如，可擦除可编程只读存储器(EEPROM))和/或其任何适当的组合。术语“机器可读介质”应被视为包括能够存储指令1210的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”还应被视为包括下述任何介质或多个介质的组合：所述介质能够存储由机器(例如机器1200)执行的指令(例如指令1210)，使得所述指令在由机器1200的一个或更多个处理器(例如处理器1204)执行时，使机器1200执行本文中描述的方法中的任一个或更多个方法。因此，“机器可读介质”是指单个存储装置或设备以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”不包括信号本身。

输入/输出(I/O)部件1218可以包括用于接收输入、提供输出、产生输出、传送信息、交换信息、捕获测量等的各种部件。包括在特定机器中的特定输入/输出(I/O)部件1218将取决于机器的类型。例如，用户接口机器和便携式机器诸如移动电话很可能包括触摸输入设备或其他这样的输入机构，而无头服务器(headless server)机器很可能不包括这样的触摸输入设备。将理解的是，输入/输出(I/O)部件1218可以包括图12中未示出的许多其他部件。

仅出于简化以下讨论的目的来根据功能对输入/输出(I/O)部件1218进行分组，并且该分组决不是限制性的。在各种示例实施方式中，输入/输出(I/O)部件1218可以包括输出部件1226和输入部件1228。输出部件1226可以包括视觉部件(例如，显示器诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、听觉部件(例如扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号发生器等。输入部件1228可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、跟踪球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏幕或其他感触输入部件)、音频输入部件(例如麦克风)等。

在另外的示例实施方式中，输入/输出(I/O)部件1218可以包括生物计量部件1230、运动部件1234、环境部件1236或位置部件1238等各种其他部件。例如，生物计量部件1230可以包括下述部件：所述部件用于检测表达(例如，手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波、诸如来自EEG设备的输出)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动部件1234可以包括加速度传感器部件(例如加速度计)、重力传感器部件、旋转传感器部件(例如陀螺仪)等。环境部件1236可以包括例如照明传感器部件(例如光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中污染物的气体检测传感器)或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。位置部件1238可以包括定位传感器部件(例如全球定位系统(GPS)接收器部件)、高度传感器部件(例如，检测可以从其得到高度的气压的高度计或气压计)、取向传感器部件(例如磁力计)等。

可以使用各种各样的技术来实现通信。输入/输出(I/O)部件1218可以包括通信部件1240，通信部件1240可操作以分别经由耦接器1224和耦接器1222将机器1200耦接至网络1232或设备1220。例如，通信部件1240可以包括网络接口部件或用于与网络1232接口的其他合适的设备。在另外的示例中，通信部件1240可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、

部件(例如，

低能耗)、

部件和经由其他模态提供通信的其他通信部件。设备1220可以是另外的机器或各种外围设备中的任何外围设备(例如，经由通用串行总线(USB)耦接的外围设备)。在EEG设备、眼睛跟踪单元或显示设备未与机器1200集成的情况下，设备1220可以是EEG设备、眼睛跟踪单元和/或显示设备。

尽管通过一些详细的示例性实施方式进行了描述，但是根据本公开内容的用于获取脑电图信号的便携式设备包括对于本领域技术人员来说明显的各种变型、修改和改进，应当理解，如由所附权利要求所限定，这些各种变型、修改和改进落入本公开内容的主题的范围内。

尽管已经参照特定示例实施方式描述了本发明主题的概述，但是在不偏离本公开内容的实施方式的较宽范围的情况下，可以对这些实施方式进行各种修改和改变。本发明主题的这些实施方式可以在本文中通过术语“发明”来单独地或共同地指代，这仅为了方便，并且不意在如果事实上公开了多于一个公开内容或发明构思的情况下，将本申请的范围自愿地限制为任何单个公开内容或发明构思。

本文中示出的实施方式被足够详细地描述，以使得本领域技术人员能够实践所公开的教导。可以使用其他实施方式并且从中得到其他实施方式，使得可以在不脱离本公开内容的范围的情况下进行结构和逻辑替代和改变。因此，具体实施方式不应被视为具有限制意义，并且各种实施方式的范围仅由所附权利要求以及这样的权利要求被赋予的等同物的全部范围来限定。

如本文中使用的，术语“或”可以被解释为包含性或排他性意义。此外，可以针对在本文中描述为单个实例的资源、操作或结构提供多个实例。另外，各种资源、操作、模块、引擎和数据存储之间的边界有些随意，并且特定操作在特定说明性配置的上下文中示出。设想功能的其他分配并且功能的其他分配可以落入本公开内容的各种实施方式的范围内。通常，在示例配置中呈现为独立资源的结构和功能可以实现为组合的结构或资源。类似地，呈现为单个资源的结构和功能可以实现为独立的资源。这些和其他变型、修改、添加和改进落入如由所附权利要求表示的本公开内容的实施方式的范围内。因此，说明书和附图应被认为是说明性的而非限制性的。

因此，本公开内容描述了用于提高BCI的准确性、速度性能和视觉舒适性的系统和方法。

示例

为了更好地说明本文公开的系统和方法，在此提供了示例的非限制性列表：

1.一种脑机接口系统，包括：

显示单元，其用于显示图像数据，所述图像数据包括至少一个对象，所述显示单元还输出与所述对象中的一个或更多个对象相对应的相应的视觉刺激，

刺激生成器，其用于生成具有相对应的特征调制的所述视觉刺激或每个视觉刺激；

神经信号捕获设备，其被配置成捕获与用户相关联的神经信号；以及

接口设备，其操作地耦接至所述神经信号捕获设备和所述刺激生成器，所述接口设备被配置成：

接收来自所述神经信号捕获设备的神经信号；

确定所述神经信号的下述分量的强度，所述分量具有与所述视觉刺激或每个视觉刺激的相应的特征调制相关联的特性；

基于所述神经信号来确定至少一个所述视觉刺激中的哪个视觉刺激与所述用户的聚焦对象相关联，所述聚焦对象是根据所述神经信号的具有与所述视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的；以及

使所述刺激生成器生成作为复合视觉刺激的所述视觉刺激，所述复合视觉刺激至少包括具有第一特征调制和第一视觉特性的第一部分以及具有第二特征调制和第二视觉特性的第二部分，所述第二视觉特性与所述第一视觉特性不同。

2.根据示例1所述的系统，其中，调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

3.一种脑机接口系统的操作的方法，所述脑机接口系统包括：显示单元、刺激生成器和神经信号捕获设备，所述显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，所述视觉刺激具有特征调制，

其中，所述方法包括，在操作地耦接至所述神经信号捕获设备和所述刺激生成器的硬件接口设备中：

接收来自所述神经信号捕获设备的神经信号；

基于所述神经信号来确定至少一个所述视觉刺激中的哪个视觉刺激与用户的聚焦对象相关联，所述聚焦对象是根据所述神经信号的具有与所述视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的；以及

4.根据示例3所述的方法，其中，调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

5.一种用于脑机接口系统的计算机可读存储介质，所述脑机接口系统包括：显示单元、刺激生成器和神经信号捕获设备，所述显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，所述视觉刺激具有特征调制，

其中，所述计算机可读存储介质携带指令，所述指令当由操作地耦接至所述神经信号捕获设备和所述刺激生成器的计算机执行时，使所述计算机执行包括以下的操作：

接收来自所述神经信号捕获设备的神经信号；

Claims

1.一种脑机接口系统，包括：

接收来自所述神经信号捕获设备的神经信号；

2.根据权利要求1所述的系统，还包括眼睛跟踪单元，所述眼睛跟踪单元接收由至少一个眼睛跟踪摄像装置捕获的图像，并根据所捕获的图像来确定眼睛跟踪信息，其中，所述接口设备操作地耦接至所述眼睛跟踪单元；并且其中，所述接口设备还被配置成：至少部分地基于所述眼睛跟踪信息来确定至少一个所述视觉刺激中的哪个视觉刺激与所述用户的聚焦对象相关联。

3.根据权利要求2所述的系统，其中，所述眼睛跟踪信息包括注视方向和/或聚焦深度中的至少一个。

4.根据权利要求1至3中任一项所述的系统，其中，所述接口设备还被配置成：基于所述复合视觉刺激来验证所述聚焦对象的选择。

5.根据权利要求4所述的系统，其中，所述接口设备通过下述方式验证所述聚焦对象的选择：确定所述复合视觉刺激的至少一个所述第一部分和所述第二部分中的哪一个是聚焦部分，以及当所确定的部分与预定的参考部分相对应时验证所述选择，其中，所述聚焦部分是根据所述神经信号的下述分量的存在和/或相对强度推断的，所述分量具有与所述第一特征调制或所述第二特征调制相关联的特性以及第二视觉特性。

6.根据权利要求1至4中任一项所述的系统，其中，调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

7.一种脑机接口系统的操作的方法，所述脑机接口系统包括：显示单元、刺激生成器和神经信号捕获设备，所述显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，所述视觉刺激具有特征调制，

接收来自所述神经信号捕获设备的神经信号；

8.根据权利要求7所述的方法，其中，所述接口设备操作地耦接至眼睛跟踪单元，所述眼睛跟踪单元接收由至少一个眼睛跟踪摄像装置捕获的图像，并根据所捕获的图像来确定眼睛跟踪信息，并且其中，所述方法还包括：至少部分地基于所述眼睛跟踪信息来确定至少一个所述视觉刺激中的哪个视觉刺激与所述用户的聚焦对象相关联。

9.根据权利要求8所述的方法，其中，所述眼睛跟踪信息包括注视方向和/或聚焦深度中的至少一个。

10.根据权利要求7至9中任一项所述的方法，还包括：基于所述复合视觉刺激来验证所述聚焦对象的选择。

11.根据权利要求10所述的方法，其中，验证所述聚焦对象的选择包括：确定所述复合视觉刺激的至少一个所述第一部分和所述第二部分中的哪一个是聚焦部分，所述聚焦部分是根据所述神经信号的下述分量的存在和/或相对强度推断的，所述神经信号的所述分量具有与所述第一特征调制或所述第二特征调制相关联的特性以及第二视觉特性；以及当所确定的部分与预定的参考部分相对应时验证所述选择。

12.根据权利要求7至11中任一项所述的方法，其中，调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

13.一种用于脑机接口系统的计算机可读存储介质，所述脑机接口系统包括：显示单元、刺激生成器和神经信号捕获设备，所述显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，所述视觉刺激具有特征调制，

接收来自所述神经信号捕获设备的神经信号；

14.根据权利要求13所述的计算机可读存储介质，其中，所述计算机操作地耦接至眼睛跟踪单元，所述眼睛跟踪单元接收由至少一个眼睛跟踪摄像装置捕获的图像，并根据所捕获的图像来确定眼睛跟踪信息，并且其中，所述指令使所述计算机执行操作还包括：至少部分地基于所述眼睛跟踪信息来确定至少一个所述视觉刺激中的哪个视觉刺激与所述用户的聚焦对象相关联。

15.根据权利要求14所述的计算机可读存储介质，其中，所述眼睛跟踪信息包括注视方向和/或聚焦深度中的至少一个。

16.根据权利要求13至15中任一项所述的计算机可读存储介质，其中，所述指令使所述计算机执行操作还包括：基于所述复合视觉刺激来验证所述聚焦对象的选择。

17.根据权利要求16所述的计算机可读存储介质，其中，验证所述聚焦对象的选择包括：确定所述复合视觉刺激的至少一个所述第一部分和所述第二部分中的哪一个是聚焦部分，所述聚焦部分是根据所述神经信号的下述分量的存在和/或相对强度推断的，所述神经信号的所述分量具有与所述第一特征调制或所述第二特征调制相关联的特性以及第二视觉特性；以及当所确定的部分与预定的参考部分相对应时验证所述选择。