CN114830069A - 脑计算机接口 - Google Patents

Abstract

一种涉及脑计算机接口的系统和方法，其中提供了覆盖一个或更多个对象的视觉刺激，该视觉刺激的至少一部分具有特性调制。脑计算机接口测量对用户所观看的对象的神经响应。对视觉刺激的神经响应与调制相关，当注意力集中在视觉刺激上时，相关性更强。视觉刺激包括反馈元素，该反馈元素根据对该覆盖的对象或每个覆盖的对象的注意力的测量而变化。

Description

脑计算机接口

相关申请的交叉引用

本申请要求于2019年12月18日提交的题为“Brain-Computer Interface”的序列号为62/949,803的美国临时专利申请的优先权权益，该美国临时专利申请的全部内容通过引用并入本文。

技术领域

本公开内容的实施方式涉及包括视觉感测的脑计算机接口的操作，并且特别地涉及通过这种接口的反馈交互。

背景技术

在视觉脑计算机接口(BCI)中，通常使用对呈现给用户的多个生成的视觉刺激中的目标刺激的神经响应来推断(或“解码”)在任何给定时间哪个刺激实质上是关注对象。然后，可以将关注对象与用户可选择或用户可控制的动作相关联。

可以使用多种已知技术获得神经响应。一种方便的方法依赖于表面脑电图(electroencephalography，EEG)，其是非侵入性的、具有细粒度的时间分辨率、并且基于公知的经验基础。表面EEG使得可以实时测量主体颅骨的表面(即头皮)上的扩散电位的变化。这些电位的变化通常被称为脑电图信号或EEG信号。

在典型的BCI中，视觉刺激呈现在由显示装置生成的显示中。合适的显示装置的示例(其中一些在图9中示出)包括电视屏幕和计算机监视器902、投影仪910、虚拟现实头戴式耳机906、交互式白板、以及平板电脑904、智能电话、智能眼镜908等的显示屏幕。视觉刺激911、911’、912、912’、914、914’、916可以形成生成的图形用户接口(GUI)的一部分，或者它们可以呈现为覆盖基本图像的增强现实(AR)或混合现实图形对象916：该基本图像可以简单地是用户的实际视场(如在投影到一组智能眼镜的在其他情况下透明的显示器上的混合现实显示功能的情况下)或者是对应于用户的视场但由光学捕获装置实时捕获的数字图像(光学捕获装置继而可以捕获其他可能的视图中的对应于用户的视场的图像)。

推断在任何给定时间多个视觉刺激(如果有)中的哪个视觉刺激是关注对象充满困难。例如，当用户面对多个刺激(例如，诸如显示在屏幕上的键盘上的数字)时，已经证明几乎不可能从脑活动直接推断出在给定时间哪个刺激在受关注。用户感知到在受关注的数字(假设数字5)，因此脑必须包含将该数字与其他数字区分开的信息，但是当前的方法不能够提取该信息。即，当前的方法可以较难地推断出已经感知到刺激，但是这些方法无法仅使用脑活动来确定哪个特定刺激在受关注。

为了克服该问题并且为了在刺激与背景之间(以及刺激之间)提供足够的对比度，已知将由视觉BCI使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色以及从白色切换到黑色)，使得每个刺激具有随时间推移的可区分特性分布。闪烁的刺激引起可测量的电响应。特定技术监视不同的电响应，例如稳态视觉诱发电位(SSVEP)和P-300事件相关电位。在典型的实现方式中，刺激以超过6Hz的速率闪烁。因此，这样的视觉BCI依赖于以下方法：该方法包括离散地而不是持续地、并且通常在不同的时间点显示各种刺激。与关注给定刺激的注意力相关联的脑活动被发现与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)对应(即，相关)。

因此，神经信号的解码依赖于以下事实：当刺激被开启时，刺激将触发脑中的神经响应的特性模式，该特性模式可以从电信号即SSVEP或P-300电位确定，该SSVEP或P-300电位由EEG装置的电极(例如EEG头盔的电极)拾取。这种神经数据模式对于不同的数字可能非常相似甚至相同，但是其被时间锁定至被感知的数字：在任一时间仅一个数字可以产生脉冲，使得可以将数字产生脉冲的时间与脉冲神经响应的相关性确定为该数字是关注对象的指示。

通过在不同的时间点显示每个数字、以不同的速率开启和关闭该数字、应用不同的占空比、以及/或者简单地在不同的时间点施加刺激，BCI算法可以建立哪个刺激在被开启时最有可能触发给定的神经响应，从而使得系统能够确定在受关注的目标。

近年来，视觉BCI已经显著地改进，使得对用户的关注的实时和准确解码变得越来越实际。然而，刺激的持续闪烁、有时在存在很多刺激时会在整个屏幕上闪烁、是大规模使用该技术的固有限制。事实上，这会引起不适和精神疲劳，并且如果持续下去，还会引起例如头痛的生理响应。另外，闪烁效果会妨碍用户关注特定目标的能力，以及系统快速准确地确定关注对象的能力。

例如，当上面所讨论的屏幕上的键盘的用户试图关注数字5时，其他(即，外围)数字充当干扰物，这些数字的存在以及这些数字表现出闪烁效果的事实暂时地吸引用户的注意力。外围数字的显示对用户的视觉系统产生干扰。这种干扰继而会妨碍BCI的性能。

因此，需要用于以速度和准确度区分屏幕目标及其显示刺激以确定用户正在关注哪一个以及用于以速度和准确度将关注对象(目标)与目标外围的对象(干扰物)判别的改进的方法。

因此，期望提供解决上面的挑战的脑计算机接口。

发明内容

本公开内容涉及一种脑计算机接口，在该脑计算机接口中，视觉刺激被呈现在图形界面上，使得视觉刺激是神经可解码的，并且提供改进的用户体验。

本公开内容还涉及一种脑计算机接口(BCI)，在该脑计算机接口中，覆盖一个或更多个对象的视觉刺激包括相应的反馈元素，该反馈元素根据对该对象或每个对象的注意力的测量而变化。视觉刺激由刺激生成器生成并且通常呈现在屏幕或其他显示装置上。

视觉刺激的至少一部分具有特性调制。对用户视场中的对象的神经响应由BCI中的神经信号捕获装置捕获。用户对所观看对象的神经响应继而可以被测量和解码，以确定哪个感兴趣的对象是用户注意力的焦点以及用户对该对象的当前注意力水平，当注意力集中在视觉刺激上时，神经响应更强。

反馈元素的变化被设置成与神经响应的强度有关联。因此，视觉刺激的反馈元素可以改变视觉形式(以便用户看到对应于其注意力水平的反馈元素上的效果)。此外，为用户提供该注意力的目标，并且用户可以调整用户的行为以增强视觉效果(有效地学习如何更高效地操作BCI)。换言之，用户看到其正在经由BCI引起的反馈元素上的效果，并且可以通过寻求以观察效果变化来学习使用BCI来集中注意力。另外，与集中注意力相关联的视觉效果的出现用于验证对底层对象的选择。

在某些实施方式中，反馈元素将从缺乏注意力到集中注意力水平的注意力程度表示为视觉元素的无序(例如，伪随机)分布到完全有序分布(例如，到可识别的形状、字符或符号，例如标线、目标标记或十字准线)之间的渐进式逐步变化或连续变化。

在某些实施方式中，整个视觉刺激是反馈元素。在其他实施方式中，除了反馈元素之外，视觉刺激还包括背景元素。在某些实施方式中，背景元素具有视觉刺激的特性时间调制(即，可解码调制)，而反馈元素未被调制。在某些实施方式中，反馈元素具有视觉刺激的特性调制，而背景元素未被调制。

在某些实施方式中，视觉刺激的特性调制被应用于背景元素和反馈元素两者。背景元素和反馈元素中的调制幅度可以不同。

在某些方面，本公开内容描述了一种系统和方法，该系统和方法用于提高确定对象场中或作为单个大目标中的特定区域的关注对象的准确度和速度。处理所有对象的图像数据以提取每个对象的仅由高空间频率(HSF)分量构成的版本。

本公开内容涉及下述技术，该技术用于：在用户的视场内(一般地，但是不总是在呈现至用户的显示器上)获取(潜在的)感兴趣的对象；提取与这些对象的视觉性质相关的分量(例如其边缘)；以及对这些视觉性质的高空间频率分量应用调制。因此，用于引发例如视觉诱发电位(VEP)的神经响应的闪烁视觉刺激可以仅通过对象的HSF版本传送。调制使对象闪烁或以其他方式在视觉上改变，从而调制充当针对相关神经响应的刺激。神经响应继而可以被测量和解码以确定哪个感兴趣的对象是用户的注意力焦点。

在某些方面，可以进一步处理图像数据以提取对象的仅由低空间频率(LSF)分量构成的另一版本。在提取LSF版本的情况下，调制的HSF版本可以叠加在LSF版本(其不闪烁)上。

在一方面，本公开内容包括闭环反馈系统，其中，用户凝视屏幕及其对象，使用电极头盔将神经活动捕获为信号，并且从神经活动检测到的并与每个对象相关联的HSF比例将随着用户的关注对象的变化而变化。这在某种程度上相当于以不同的速率和占空比闪烁对象，但是由于滤波使得闪烁显示对象是实质上引起HSF响应(例如HSF版本)的对象，因此呈现小得多的干扰。如果对象是外围的，则其HSF版本的闪烁自然会被人类视觉行为所抑制。然而，其HSF版本闪烁的关注对象将引起易于识别的神经响应。因此，干扰被显著消除，使得体验更加舒适，并且对关注对象的识别也更加准确和及时。

在上面的每个实施方式中，调制可以优先地或排他地应用于投影的覆盖图像(即，背景元素和/或反馈元素)的高空间频率分量。

根据另一方面，本公开内容涉及一种脑计算机接口系统，该脑计算机接口系统包括：显示单元，其用于显示图像数据，该图像数据包括至少一个对象，显示单元还输出相应的视觉刺激以对应于所述对象中的一个或更多个；刺激生成器，其用于生成具有对应的特性调制的该视觉刺激或每个视觉刺激；神经信号捕获装置，其被配置成捕获与用户相关联的神经信号；以及接口装置，其可操作地耦接至神经信号捕获装置和刺激生成器，该接口装置被配置成：从神经信号捕获装置接收神经信号；确定神经信号的具有与该视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激与用户的关注对象相关联，该关注对象是从神经信号的具有与视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及使刺激生成器生成具有反馈元素的针对关注对象的视觉刺激，该反馈元素以根据所确定的具有与针对关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

根据另一方面，本公开内容涉及一种操作脑计算机接口系统的方法，该脑计算机接口系统包括：显示单元、刺激生成器和神经信号捕获装置，该显示单元显示包括至少一个对象的图像数据并且输出视觉刺激以对应于所述对象中的一个或更多个，该视觉刺激具有特性调制，其中，该方法包括，在可操作地耦接至神经信号捕获装置和刺激生成器的硬件接口装置中：从神经信号捕获装置接收神经信号；确定神经信号的具有与该视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激与用户的关注对象相关联，该关注对象是从神经信号的具有与视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及使刺激生成器生成具有反馈元素的针对关注对象的视觉刺激，该反馈元素以根据所确定的具有与针对关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

附图说明

为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。

图1示出了根据本公开内容的用于接收和处理EEG信号的电子架构；

图2示出了根据本公开内容的结合有脑计算机接口(BCI)的系统；

图3A至图3C示出了根据本公开内容的具有各自不同的变化的时间特性的目标对象的显示；

图4示出了由本公开内容的BCI系统呈现视觉反馈的示例性实施方式；

图5示出了由本公开内容的BCI系统呈现动态视觉反馈的示例性实施方式；

图6示出了由本公开内容的BCI系统呈现动态视觉反馈的另一示例性实施方式；以及

图7示出了根据本公开内容的BCI的操作方法中的主要功能块。

图8A和图8B示出了其中调制屏幕对象或覆盖对象的HSF版本的示例性布置；

图9示出了适合于与本公开内容的BCI系统一起使用的显示装置的各种示例；

图10是示出根据一些示例实施方式的可以在其中实现本公开内容的软件架构的框图；

图11是根据一些示例实施方式的计算机系统形式的机器的图解表示，在该机器中可以执行一组指令以使机器执行所讨论的方法中的任何一种或更多种。

具体实施方式

下面的描述包括实施本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对发明主题的各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践发明主题的实施方式。一般地，公知的指令实例、协议、结构和技术不需要被详细示出。

图1示出了根据本公开内容的用于借助于EEG装置100接收和处理EEG信号的电子架构的示例。

为了测量主体110的颅骨的表面上的扩散电位，EEG装置100包括便携式装置102(即，帽或头戴件)、模数转换(ADC)电路系统104和微控制器106。图1的便携式装置102包括一个或更多个电极108，通常在1个与128个电极之间，有利地在2个与64个电极之间，有利地在4个与16个电极之间。

每个电极108可以包括用于检测由主体的神经元活动生成的电信号的传感器以及用于在模数转换之前预处理(例如，滤波和/或放大)检测到的信号的电子电路：这样的电极被称为“有源的”。图1中示出了使用中的有源电极108，其中传感器与主体的头皮物理接触。电极可能适合于与导电凝胶或其他导电液体一起使用(被称为“湿”电极)或不使用这样的液体(即“干”电极)。

每个ADC电路104被配置成转换给定数目(例如在1个与128个之间)的有源电极108的信号。

ADC电路104由微控制器106控制并且例如通过协议SPI(“串行外围接口”)与微控制器106通信。微控制器106将接收到的数据打包，以用于例如通过蓝牙、Wi-Fi(“无线保真”)或Li-Fi(“光保真”)发送至外部处理单元(未示出)，该外部处理单元例如是计算机、移动电话、虚拟现实头戴式耳机、汽车或航空计算机系统例如汽车计算机或计算机系统、飞机。

在某些实施方式中，每个有源电极108由电池(图1中未示出)供电。电池方便地设置在便携式装置102的壳体中。

在某些实施方式中，每个有源电极108测量相应电位值，从该电位值减去由参考电极测量的电位(Ei＝Vi-Vref)，并且该差值借助于ADC电路104被数字化，然后由微控制器106发送。

在某些实施方式中，本公开内容的方法引入用于在显示装置的图形用户接口中显示的目标对象。目标对象包括控制项，而控制项又与用户可选择的动作相关联。

图2示出了根据本公开内容的结合有脑计算机接口(BCI)的系统。系统结合了例如图1中示出的EEG装置100的神经响应装置206。在系统中，图像被显示在显示装置202的显示器上。主体204观看显示器上的图像，关注目标对象210。

在实施方式中，显示装置202将至少目标对象210显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象的时间特性不同的变化的时间特性。变化的时间特性可以是例如以大于6Hz的速率改变目标对象的外观的持续的或时间锁定的闪烁效果。在另一实施方式中，变化的时间特性可以使用伪随机时间代码，从而生成平均每秒改变目标对象的外观几次、例如以平均3Hz的速率改变目标对象的外观的闪烁效果。在多于一个图形对象是潜在目标对象的情况下(即，在向正在观看的主体提供对要集中注意力的目标对象的选择的情况下)，每个对象与离散空间和/或时间代码相关联。图3A至图3C示出了具有各自不同的变化的时间特性的目标对象的显示。

神经响应装置206检测与集中在目标对象上的注意力相关联的神经响应(即，指示视觉皮层中的脑活动的微小电位)；因此，对目标对象的变化的时间特性的视觉感知充当主体的脑中的刺激，生成同与关注的目标对象相关联的代码一致的特定脑响应。然后，检测到的神经响应(例如电位)被转换成数字信号并传送至处理装置208进行解码。神经响应的示例包括视觉诱发电位(VEP)，其常用于神经科学研究。术语VEP包含：如上面提及的传统SSVEP，其中刺激以特定频率振荡；以及例如编码调制的VEP的其他方法，刺激经受可变或伪随机时间编码。其中脑看起来“振荡”或与闪烁时间特性同步地响应的交感神经响应在本文中称为“神经同步”。

处理装置208执行解释接收到的神经信号的指令，以实时确定指示具有当前(视觉)注意力焦点的目标对象的反馈。对神经响应信号中的信息进行解码依赖于该信息与目标对象(即刺激)的时间分布的一个或更多个方面之间的对应关系。在某些实施方式中，处理装置208和神经响应装置206可以被设置在单个装置中，使得直接对检测到的神经响应执行解码算法。因此，可以使用利用视觉上相关联的神经信号的BCI来确定用户正在关注屏幕上的哪些对象。

在某些实施方式中，处理装置可以方便地生成在显示装置202上呈现的包括随时间变化的目标对象的图像数据。

在某些实施方式中，显示装置202将覆盖对象显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象的时间特性不同的变化的时间特性，然后，将该覆盖对象显示为至少识别的目标对象上的图形层。

图4示出了显示装置410的用户体验，该显示装置410在目标对象404(已经被确定为具有当前注意力焦点的对象)之上显示具有不同的变化的时间特性的覆盖对象406。这可以向用户提供回顾性反馈，验证用户的选择。如图4所示，可以方便地在显示屏幕410上向用户呈现视觉反馈，使得用户意识到目标对象404被确定为当前注意力焦点。例如，显示装置可以极接近于目标对象404显示图标、光标或其他图形对象或者效果(在图4中，十字准线411)，突出(例如，覆盖)看起来是当前视觉注意力的焦点的对象。这提供了正反馈回路(其中貌似的目标对象由于延长的放大的注意力而被确认(即验证)为预期目标对象。

在某些实施方式中，视觉反馈是“前瞻性的”，因为视觉反馈被主动驱动以改变外观。对于图4的回顾性反馈，在前瞻性反馈情况下对用户视场中的对象的神经响应由BCI中的神经信号捕获装置捕获。用户对所观看对象的神经响应继而可以被测量和解码，以确定哪个感兴趣的对象是用户注意力的焦点以及用户对该对象的当前注意力水平，当注意力集中在视觉刺激上时，神经响应更强。

图5示出了视觉反馈效果的外观变化的阶段。在该示例性实施方式中，目标对象504本身被显示为图形对象，该图形对象具有与显示器中的背景和/或其他显示对象502、506的时间特性不同的变化的时间特性。如先前所讨论的，基于视觉刺激与已解码神经响应之间的最密切的相关性来确定貌似的目标对象。这种相关性的度量可以被称为“解码分数”。候选目标对象在显示屏幕中与动态视觉反馈元素(例如，图标、光标、十字准线或其他图形对象)呈现：动态视觉反馈元素根据解码分数而变化(例如，移动或改变颜色、形状、尺寸或其他视觉外观)。因此，如可以在图5的视图(a)中看到的，对于多于一个的候选目标对象(或实际上对于所有对象)呈现动态反馈元素。

反馈元素的变化被设置成与响应的强度有关联。因此，视觉刺激的反馈元素可以改变视觉形式(以便用户看到对应于其注意力水平的反馈元素上的效果)。观看反馈元素的变化外观，鼓励用户进一步注意。此外，为用户提供该注意力的目标，并且可以调整用户的行为以增强视觉效果(有效地学习如何更高效地操作BCI)。换言之，用户看到其正在经由BCI引起的反馈元素上的效果，并且可以通过寻求以观察效果变化来学习使用BCI来集中注意力。对于不是注意力焦点的候选目标对象，显示的动态反馈元素将继续表现为基本不变的视觉形式。

在某些实施方式中，反馈元素将从缺乏注意力到集中注意力水平的注意力程度表示为视觉元素的无序(例如，伪随机)分布到完全有序分布(例如，到可识别的形状、字符或符号，例如标线、目标标记或十字准线)之间的渐进式逐步变化或连续变化。不是注意力焦点的候选目标对象的反馈元素保持无序状态。

在某些实施方式中，例如在图5所示的示出前瞻性反馈的示例性实施方式中，用户视场中的多个对象中的每一个被设置成表现出相应的小反馈刺激(例如，三条分开的细线伪随机地移动)。当用户特别关注对象中的一个(例如，“i”图标504)时，叠加在图标上的三条线根据解码分数向彼此移动，直至它们形成三角形为止。在该示例性实施方式中，完全伪随机线(如视图(a)处所示)意味着(对于对象中的任何一个)根本不进行解码；如视图(b)处所示，对于目标对象进行部分解码；以及如视图(c)处所示的完整三角形意味着在目标对象处进行100％解码。观察到这整个过程很快，经验丰富的用户用不到一秒的时间就能将注意力从很少或没有解码的状态发展到完全解码的状态(例如，从(a)到(b)，然后到(c))。显然，这样的反馈的视觉显示对目标对象的感知具有反射性认知效果，放大了脑响应。

在表现例如图6所示的前瞻性反馈的前瞻性反馈的某些替选实施方式中，视觉反馈606通过降低覆盖对象的透明度、改变覆盖对象的线宽等来表示解码分数。因此，在视图(a)中，视觉反馈606实质上是不可见的；在视图(b)中，视觉反馈606由相交的虚线表示，表示部分解码；并且在视图(c)中，由较粗的、相交的实线表示的视觉反馈606指示基本上完全解码。

于是，主动反馈(active feedback)与已知的反馈系统形成对比，在已知的反馈系统中，有效的选择事件要求用户在超过预定时间段内关注特定对象，并且神经响应的水平超过预定阈值。使用主动反馈(和反馈刺激)，可以以较短的时间尺度(例如，秒量级的时间尺度)计算和提供神经反馈，提供关于神经响应与所选择对象之间的匹配的确定性从0％到100％的中间步骤的信息。

在某些实施方式中，反馈刺激与解码性能之间的关系是线性的。在其他实施方式中，该关系不是线性的：替选的、非线性的关系的示例利用诸如sigmoid、双曲切线、整流线性单元(ReLU)等的函数。在某些实施方式中，非线性关系的使用看起来改善了反馈关系，特别是在确定性水平较低的情况下，否则反馈将反映EEG信号中的随机/随意波动。

在某些实施方式中，整个视觉刺激是反馈元素。在其他实施方式中，除了反馈元素之外，视觉刺激还包括背景元素。在某些实施方式中，背景元素具有视觉刺激的特性调制，而反馈元素未被调制。在某些实施方式中，反馈元素具有视觉刺激的特性调制，而背景元素未被调制。

在某些实施方式中，视觉刺激的特性调制被应用于背景元素和反馈元素两者。背景元素和反馈元素中的调制幅度可以不同。

在某些实施方式中，BCI的操作可以包括简短的初始化和校准阶段。由于用户在他们对相同刺激的基线神经响应方面可能显著不同(特别是具有视觉皮层障碍或受损的那些用户)，因此校准阶段可以用于生成用户特定的刺激重建模型。这样的阶段可能用不到一分钟的时间来构建(典型地，约30秒)。

已经发现，中心凹视觉区域中的关注对象与高程度的HSF信号分量相关联。类似地，已经发现，外围视觉区域中的对象与高程度的LSF信号分量相关联。

通过经由各种滤波方法增加HSF信号分量与LSF信号分量之间的那些差异，可以提高BCI的准确度和速度。

在本公开内容的另一方面，调制可以优先地或排他地应用于投影的覆盖图像的高空间频率分量(即，背景元素和/或反馈元素)。然后，可以遵循上面概述的方法来确定用户的关注对象。

图3A示出了外围视觉的效果。主体305被示出为正在观看显示屏幕302，显示屏幕302在键盘中显示多个数字310、312。当主体试图关注在上面所讨论的屏幕上的键盘中的数字“5”310时，其他(即外围)数字(例如，“3”，312)充当干扰物，暂时地吸引用户的注意力，并且对用户的视觉系统产生干扰。这种干扰继而会妨碍BCI的性能。因此，需要用于以速度和准确度区分屏幕目标及其显示刺激以确定用户正在关注哪一个以及用于以速度和准确度将关注对象(目标)与目标外围的对象(干扰物)判别的改进的方法。

通常，视觉刺激会占据大量屏幕表面，填充有高能量均匀光(亮白色形状)或粗糙的棋盘格。这些大的表面将保持专用于视觉BCI系统，并且不能用于除视觉刺激以外的任何其他目的。这些大的刺激表面与视觉BCI系统的精细和离散集成不一致，并且限制了显示装置、诸如图9所示的显示装置中的用户接口的设计自由度。

图3B示出了使用神经响应装置、诸如图1和图2中的神经响应装置来判别多个目标对象。在图3B中，由用户(即观看者)305佩戴的神经响应装置是用于EEG装置的电极头盔。此处，佩戴头盔的用户观看显示多个目标对象(屏幕上键盘中的数字)的屏幕302，这些目标对象以明显不同的时间、频率和占空比闪烁。电极头盔可以传送从神经活动得到的信号。此处，用户正在关注数字5，310，其中，在时间t1，数字3，312闪烁；在时间t2，数字4，314闪烁；在时间t3，数字5，310’闪烁；并且在时间t4，数字6，316闪烁。头盔信号所传送的神经活动在t3处与其他时间点处明显不同。这是因为用户正在关注数字5，310，其在t3处闪烁为310’。然而，为了区分t3处出现的信号与其他时间处的信号，屏幕上的所有对象必须在明显不同的时间闪烁。因此，屏幕会随着闪烁的对象而变得活跃，从而带来不舒服的观看体验。

图3B中的系统可以使用显示信号模式、例如图3C所示的示例性模式，其中，屏幕对象将在不同的时间点以不同的频率和占空比闪烁。

以速度和准确度从关注对象(目标)外围的对象(干扰物)确定目标的挑战的一种方法依赖于人类视觉系统的特性。

对人类视觉感测操作的方式的研究已经表明，当凝视具有多个对象的屏幕并且关注这些对象中的一个时，人类视觉系统将善于接受高空间频率(HSF)和低空间频率(LSF)两者。证据表明人类视觉系统主要对受关注的特定显示区域(例如，用户正在注视的对象)的HSF分量敏感：这对应于主体的视网膜中充满视锥细胞的中央区域，被称为中央凹。这可以在图3A的右视图中看到，其中显示器318的其中视觉最清晰的中心凹区域与外围区域304形成对比。

相反，对于外围对象，人类视觉系统主要对其LSF分量敏感。

在现有技术的神经捕获系统中，由于人类视觉系统的操作，拾取的神经信号将实质上受来自受关注的目标的HSF分量以及来自外围目标的LSF分量两者影响。然而，由于所有对象均引起一定比例的HSF和LSF两者，因此处理神经信号以确定关注对象可能被外围对象贡献的LSF噪声妨碍。这趋于使识别关注对象不太准确和及时。

用于该方法的基础科学与人类眼脑系统如何处理来自关注对象和外围对象的刺激的差异有关。中心凹(视场中心)与外围视觉之间的这种分离在文献中就从视网膜到视觉皮层的特殊频率通道方面进行了描述，其中中心凹视觉主要由传送视觉细节的HSF通道驱动，而外围视觉主要由传送例如无细节的对象的全局形状的粗略视觉信息的LSF通道驱动。这两种类型的信息与单独的神经通路、不同的功能以及对无意识和有意识感知的不同影响相关联。

空间频率通常以每度的周期来计算。空间频率主要取决于三个参数：每英寸密度像素(dpi)，也称为每英寸像素(ppi)；用户的眼睛与监视器之间的距离；以及空间滤波器的截止频率。可以使用空间频率滤波器，使得刺激信号仅保留HSF特性，或者相反地仅保留LSF特性。在视觉BCI的上下文中使用的空间频率滤波器可以方便地对每度超过7个周期的值执行高通滤波，而对每度低于3个周期的值执行低通滤波。在某些情况下，低通滤波器的较低阈值在某些情况下可能引起输出均匀平坦的色调(这种“低通滤波器”仍然是有效的滤波器)。相比之下，高通滤波器阈值的最大值受限于显示系统的分辨率，并且最终受限于主体的视觉生理能力。在任何情况下，无论低通和高通进一步的阈值如何，本公开内容都操作，与频率滤波器和/或变换的特定值无关。主要原理是分离空间频率分量以优化视觉BCI。

人类视觉系统被调谐为并行处理视场的不同位置处的多个刺激，通常是无意识地或潜意识地处理多个刺激。因此，外围对象刺激将继续触发用户的脑中的神经响应，即使其出现在视场的外围也是如此。因此，这引起多个刺激之间的竞争，并且使关注对象(目标)的特定神经解码更加困难。

再次考虑图3B的屏幕上的键盘，闪烁的外围信号312、314和316将在观看者中引起LSF神经活动，所述信号将与在由闪烁的数字5，310刺激的观看者中引起HSF神经活动的信号被并行地捕获和处理。因此，这些外围对象可以被认为是干扰物，并且其引起的LSF信号可以被认为是噪声。这种噪声的一个结果是系统花费更长的时间来准确地确定关注对象。

在本公开内容的一种方法中，多个对象以这样的方式显示，以使得每个对象被分成仅由对象的LSF分量构成的版本和仅由HSF分量构成的版本。在一个示例中，用于引发可解码的神经响应(例如SSVEP)的闪烁视觉刺激仅通过对象的HSF版本传送。该闪烁HSF版本叠加在LSF版本(其不闪烁)上。这种方法将在下面关于图8A和图8B进行更深入的讨论。

在上面的反馈覆盖布置中的每一个中，调制可以优先地或排他地应用于投影的覆盖图像(即，背景元素和/或反馈元素)的高空间频率分量。覆盖对象、目标对象和/或视觉反馈元素的HSF分量的优先调制可以用于提高确定关注对象的准确度(并减少分心效应)。

上述BCI可以与真实世界对象结合使用，使对象可控制或以其他方式进行交互。在某些实施方式中，刺激的生成由与可控制对象相关联地(或甚至在可控制对象的表面上)提供的一个或更多个光源(例如，发光二极管，LED)处理。

在某些实施方式中，刺激的生成由投影仪或扫描激光装置处理，使得视觉刺激被投影到可控制对象上，并且可控制对象通过反射投影的刺激来输出视觉刺激。

如使用用户通过其与屏幕上的对象交互的显示屏幕的BCI中的情况那样地，可以使本公开内容中的可控制对象表现出具有特性调制的视觉刺激(例如，闪烁刺激)，使得对这些刺激的存在的神经响应变得明显并且能够从由神经信号捕获装置(例如EEG装置)捕获的神经信号解码。

在某些实施方式中，对可控制装置的视觉显示上的注意力焦点的确定用于向该可控制对象发送命令。然后，该可控制对象可以基于所述命令来实现动作：例如，可控制对象可以发出可听声音、解锁门、接通或关断、改变操作状态等。动作还可以向用户提供与可控制对象相关联的视觉或其他反馈：这可以与上面所讨论的正反馈回路结合使用，但是也可以提供与可控制对象相关联的操作的有效选择的实时指示。

图7示出了根据本公开内容的BCI系统(例如，图2中示出的BCI系统)的操作的方法中的主要功能块。脑计算机接口系统包括显示单元、刺激生成器和神经信号捕获装置。显示单元显示包括至少一个对象的图像数据，并且输出视觉刺激以对应于所述对象中的一个或更多个，该视觉刺激具有特性调制。

在块702中，诸如接口装置208的硬件接口装置(可操作地耦接至神经信号捕获装置和刺激生成器)从神经信号捕获装置接收神经信号。

在块704中，接口装置确定神经信号的具有与该视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度。

在块706中，接口装置基于神经信号来确定至少一个视觉刺激中的哪个视觉刺激与用户的关注对象相关联，该关注对象是从神经信号的具有与视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的。

在块708中，接口装置使刺激生成器生成具有反馈元素的针对关注对象的视觉刺激，该反馈元素以根据所确定的具有与针对关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

本公开内容的主动反馈与用户体验(UX)和神经解码方面的若干益处相关联。反馈刺激在显示屏幕中的特定位置处为用户呈现了对用户注意力的方便引导(即“注意力捕捉器”)，帮助用户保持关注对象。对于具有某些与注意力相关的状况和轻度视觉障碍的观看者而言，已经观察到这种特征的存在有助于用户保持专注。

此外，用户被赋予任务(即，使反馈刺激接近完全解码的状态，指示对选择的“验证”)。这也有助于用户在抑制外围干扰物的同时关注特定对象。

随着用户使用这种反馈刺激而更加专注，观察到，在BCI操作的初始或校准阶段建立的用户特定的刺激重建模型更加准确，同时构建得更快。

在随后的操作阶段中，使用如上所述的反馈刺激引起针对实时BCI应用的准确度提高并且速度加快。

图8A是所公开主题的一个实施方式的示例性说明。此处，对所有目标对象601进行滤波以创建其本身的HSF版本和LSF版本。

在图8A的实施方式中，目标对象801是在显示装置的显示器上呈现的图形接口内的不同的图形元素。目标对象的示例包括字形、拍摄图像和用户接口元素。显示装置可以包括处理单元(未示出)、调制器子系统805和显示驱动器子系统806。

对于每个目标对象801，显示装置的处理单元进行操作以应用空间频率滤波器802(或空间频率变换)来生成目标对象801的HSF版本和LSF版本(分别表示为803和804)。在其他实施方式中，可以对目标对象801进行滤波以仅创建每个对象的HSF版本。因此，仅生成HSF版本。

调制器子系统805处理每个对象的HSF版本803和LSF版本804并将其传送至显示驱动器子系统806。每个对象的HSF版本803和LSF版本804被不同地处理：LSF版本信号804被编码以产生静态(例如，不闪烁)显示，而HSF版本信号803被时间调制(例如，被使得在不同的时间以可选地不同的频率和/或占空比特性闪烁)。时间调制效果典型地是例如亮度、色调、颜色分量等的对象的视觉特性的周期性变化，并且可能是突然的(在开启状态与关闭状态之间切换)或者可能包括更平缓的过渡。时间调制的示例包括闪烁效果，其中，目标对象中的像素组的亮度特性在两个可区分的亮度级别之间切换。方便地，调制效果以可检测且可解码的方式对用户的脑对其进行响应(当对象被观看时)的光学特性进行编码。该处理还可以包括增加HSF版本信号中的对比度水平和/或降低LSF版本信号中的对比度水平。

在某些实施方式中，调制效果本质上可以是随机的或伪随机的：诸如闪烁的对象的视觉特性的改变是在随机时间执行的，例如遵循伪随机的时间模式。方便地，使用伪随机时间模式而非严格的随机模式来减少与各个不同对象相关联的不同时间模式之间的时间交叠。

显示驱动器子系统806从调制器子系统805接收每个对象的经处理的HSF版本和LSF版本(作为单独的信号或作为组合调制的HSF版本和LSF版本的叠加信号)。因此，驱动显示器的信号包括屏幕对象，其中，与LSF相关的信号产生恒定的显示，而与HSF相关的信号产生闪烁效果(或其他时间调制效果)。

在某些实施方式中，如上所述，调制器子系统805可以仅处理每个对象的HSF版本并将其传送至显示驱动器子系统806：使得在显示驱动器子系统806处仅接收到HSF版本。在这种情况下，调制器子系统805应用高通滤波器以仅生成每个对象的HSF版本。在某些其他实施方式中，调制器子系统可以应用一个或更多个空间频率滤波器(或空间频率变换)来生成目标对象的HSF版本和LSF版本两者，但是仅将每个对象的HSF版本传送至显示驱动器子系统806。在每种情况下，HSF版本如上所述的那样被时间调制，使得显示驱动器子系统用包括具有被时间调制的HSF分量的屏幕对象的信号来驱动显示器。在另一实施方式中，除了(整个)目标对象601之外，显示驱动器子系统606还显示生成的HSF版本603。在这种情况下，可以增加调制的HSF版本中的对比度，以提高关注对象之上的视觉刺激的可见性。

然后，可以检测用户对显示的(HSF调制的)对象的注意力(通过捕获822和神经响应的解码807)。因此，显著降低了外围观看的对象的时间调制效果。当佩戴上面的图1和图2的讨论中描述的类型的神经响应装置820的用户(即主体)观看屏幕时，仅关注对象将充满活力地闪烁，而也被时间调制的外围对象将贡献更少的噪声(因为它们的调制仅表现在对于关于关注对象的用户意图而言是场外的HSF分量中)。这使得系统能够快速且准确地确定观看者当前正在关注哪个对象。调制的HSF分量在不是关注对象时几乎不可见，使得外部观看者(即主体以外的观看者)几乎看不到刺激，特别是从一定距离(例如，大于一般活动用户与显示装置之间的距离的两倍的距离)观看时。这允许用户与关注对象之间进行谨慎的(例如更私密的)交互。当反馈刺激仅由HSF信号构成时，这种私密效果特别明显。

在某些替选实施方式中，目标对象(或“屏幕对象”)是在显示装置的显示器上呈现的不同的图形元素，并且生成覆盖对象以对应于屏幕对象中的一个或更多个。现在被滤波以产生HSF版本和LSF版本的是覆盖对象，而非屏幕对象本身。

图8B是所公开主题中实现这种方案的另一实施方式的示例性说明。如在图8A中，显示装置可以包括处理单元(未示出)、调制器子系统805和显示驱动器子系统806：图8B的显示装置还设置有覆盖子系统814。

此处，屏幕对象801将具有传送至覆盖子系统814的显示信号。

在某些实施方式中，每个屏幕对象将具有与其相关联的覆盖对象。可替选地，如图8B所示，仅某些屏幕对象具有相关联的覆盖对象811。例如，图形覆盖对象可以是围绕对应的屏幕对象的几何形状。

在某些实施方式中，诸如在图8B所示的实施方式中，现在对覆盖对象811而非屏幕对象本身进行滤波以产生HSF版本和LSF版本(再次分别表示为803和804)。对于每个覆盖对象811，显示装置的处理单元进行操作以应用空间频率滤波器812(或空间频率变换)来生成覆盖对象811的HSF版本803和LSF版本804。

调制器子系统805分别调制每个覆盖对象的HSF版本803和LSF版本804。然后，调制器子系统805将每个覆盖对象的调制的HSF版本和LSF版本传送至覆盖叠加子系统814。调制器子系统805可以可选地将每个覆盖对象的调制的HSF版本和LSF版本作为单个叠加覆盖对象或作为单独版本传送。

接收到经处理的图形覆盖对象的覆盖叠加子系统814处理屏幕对象801和调制的覆盖对象以从屏幕对象和覆盖对象生成叠加显示信号。

叠加子系统814继而将经处理的叠加显示信号传送至显示驱动器子系统806以驱动显示器。

单独的调制可以反映对图8A中的目标对象版本的不同处理。调制器子系统805被配置成处理覆盖对象811，使得LSF版本804是静态的(例如，恒定地显示)，而HSF版本803被调制以产生用于区分覆盖对象的独特的闪烁模式。当主体关注屏幕对象801时，主体非常清楚地看到闪烁的覆盖对象811，而外围屏幕对象及其闪烁的HSF覆盖对象自然地被人类视觉系统所抑制。再次，与关注的目标屏幕对象801相关联的覆盖对象811容易与其他覆盖对象区分开，以使系统能够快速且准确地确定用户正在关注哪个屏幕对象。

当目标对象/覆盖对象的HSF分量提供的刺激影响不足时，用于处理目标对象本身以将调制应用于该对象的HSF版本或处理在视觉上叠加在目标对象上的覆盖对象以将调制应用于覆盖对象的HSF版本的上述方案变得不太有效。例如，目标对象可能在视觉上是平滑的，使得没有足够的尖锐边缘或高对比度的补丁来生成大的HSF分量。在这种情况下，基于对象的HSF版本的调制量对于观看主体而言在视觉上是不明显的。

图10是示出示例软件架构1006的框图，示例软件架构1006可以与本文中描述的各种硬件架构结合使用。图10是软件架构的非限制性示例，并且将理解，可以实现许多其他架构以促进本文中描述的功能。软件架构1006可以在诸如图11的机器1100的硬件上执行，机器1100包括处理器1104、存储器1106和输入/输出(I/O)部件1118等。示出了代表性硬件层1052并且该代表性硬件层1052可以表示例如图11的机器1100。代表性硬件层1052包括具有相关联的可执行指令1004的处理单元1054。可执行指令1004表示软件架构1006的可执行指令，包括本文中描述的方法、模块等的实现方式。硬件层1052还包括示出为存储器/存储装置1056的存储器和/或存储模块，其也具有可执行指令1004。硬件层1052还可以包括其他硬件1058，例如用于与EEG电极对接和/或用于与显示装置对接的专用硬件。

在图10的示例架构中，软件架构1006可以被概念化为层的堆栈，在该层的堆栈中，每个层提供特定功能。例如，软件架构1006可以包括诸如操作系统1002、库1020、框架或中间件1018、应用1016和表示层1014的层。操作上，应用1016和/或层内的其他部件可以通过软件堆栈调用应用编程接口(API)调用1008并接收作为消息1010的响应。示出的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动操作系统或专用操作系统可能不提供框架/中间件1018，而其他操作系统可能提供这样的层。其他软件架构可以包括附加层或不同的层。

操作系统1002可以管理硬件资源并且提供公共服务。操作系统1002可以包括例如内核1022、服务1024和驱动器1026。内核1022可以充当硬件与其他软件层之间的抽象层。例如，内核1022可以负责存储器管理、处理器管理(例如，调度)、部件管理、联网、安全设置等。服务1024可以为其他软件层提供其他公共服务。驱动器1026可以负责控制底层硬件或与底层硬件对接。例如，取决于硬件配置，驱动器1026可以包括显示器驱动器、EEG装置驱动器、摄像装置驱动器、

驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、

驱动器、音频驱动器、电源管理驱动器等。

库1020可以提供可以由应用1016和/或其他部件和/或层使用的公共基础设施。与通过与底层操作系统1002功能(例如，内核1022、服务1024和/或驱动器1026)直接对接相比，库1020典型地提供使得其他软件模块能够以更容易的方式执行任务的功能。库1020可以包括系统库1044(例如，C标准库)，该系统库1044可以提供诸如存储器分配功能、串操纵功能、数学函数等的功能。另外，库1020可以包括API库1046，例如媒体库(例如，支持诸如MPEG4、H.264、MP3、AAC、AMR、JPG和PNG的各种媒体格式的呈现和操纵的库)、图形库(例如，可以用于在显示器上渲染2D和3D图形内容的OpenGL框架)、数据库库(例如，可以提供各种关系数据库功能的SQLite)、web库(例如，可以提供web浏览功能的WebKit)等。库1020还可以包括各种各样的其他库1048，以向应用1016和其他软件部件/模块提供许多其他API。

框架1018(有时也被称为中间件)提供可以由应用1016和/或其他软件部件/模块使用的更高级别的公共基础设施。例如，框架/中间件1018可以提供各种图形用户接口(GUI)功能、高级资源管理、高级位置服务等。框架/中间件1018可以提供可以由应用1016和/或其他软件部件/模块使用的广泛的其他API，其中一些可以特定于特定操作系统或平台。

应用1016包括内置应用1038和/或第三方应用1040。

应用1016可以使用内置操作系统功能(例如，内核1022、服务1024和/或驱动器1026)、库1020或框架/中间件1018来创建用户接口以与系统的用户交互。可替选地或另外地，在一些系统中，与用户的交互可以通过例如表示层1014的表示层来发生。在这些系统中，应用/模块“逻辑”可以同与用户交互的应用/模块的各方面分开。

图11是示出根据一些示例实施方式的机器1100的部件的框图，机器1100能够从机器可读介质(例如，机器可读存储介质)读取指令，并且执行本文中讨论的方法中的任何一种或更多种。具体地，图11以计算机系统的示例形式示出了机器1100的图解表示，在该机器1100中可以执行用于使机器1100执行本文中讨论的方法中的任何一种或更多种的指令1110(例如，软件、程序、应用、小程序、app或其他可执行代码)。同样地，指令1110可以被用来实现本文中描述的模块或部件。指令1110将通用的未编程的机器1100变换成特定机器，该特定机器被编程为以所描述的方式执行所描述和示出的功能。在替选实施方式中，机器1100作为独立装置操作或者可以耦接(例如，联网)至其他机器。在联网部署中，机器1100可以在服务器客户端网络环境中以服务器机器或客户端机器的身份操作，或者在对等(或分布式)网络环境中作为对等机器操作。机器1100可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动装置、可穿戴装置(例如，智能手表)、智能家庭装置(例如，智能电器)、其他智能装置、web家用电器、网络路由器、网络交换机、网络桥接器或者能够顺序地或以其他方式执行指定要由机器1100采取的动作的指令1110的任何机器。此外，虽然仅示出了单个机器1100，但是术语“机器”还应当被视为包括单独或联合执行指令1110以执行本文中讨论的方法中的任何一种或更多种的机器的集合。

机器1100可以包括可以被配置成例如经由总线1102彼此通信的处理器1104、存储器1106和输入/输出(I/O)部件1118。在示例实施方式中，处理器1104(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、其他处理器或其任何合适的组合)可以包括例如可以执行指令1110的处理器1108和处理器1112。术语“处理器”旨在包括可以包含可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)的多核处理器。尽管图11示出了多个处理器，但是机器1100可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或其任何组合。

存储器1106可以包括诸如主存储器、静态存储器或其他存储器存储装置的存储器1114以及存储单元1116，两者均能够由处理器1104例如经由总线1102访问。存储单元1116和存储器1114存储实现本文中描述的方法或功能中的任何一个或更多个的指令1110。指令1110还可以在其被机器1100执行期间完全地或部分地驻留在存储器1114内、存储单元1116内、处理器1104中的至少一个内(例如，处理器的高速缓冲存储器内)或其任何合适的组合内。因此，存储器1114、存储单元1116以及处理器1104的存储器是机器可读介质的示例。

如本文中使用的，“机器可读介质”是指能够临时地或永久地存储指令和数据的装置，并且可以包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪速存储器、光学介质、磁性介质、高速缓冲存储器、其他类型的存储装置(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应当被视为包括能够存储指令1110的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”还应当被视为包括能够存储用于由机器(例如，机器1100)执行的指令(例如，指令1110)的任何介质或多个介质的组合，使得指令在由机器1100的一个或更多个处理器(例如，处理器1104)执行时使机器1100执行本文中描述的方法中的任何一种或更多种。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。术语“机器可读介质”不包括信号本身。

输入/输出(I/O)部件1118可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种部件。包括在特定机器中的特定输入/输出(I/O)部件1118将取决于机器的类型。例如，诸如移动电话的便携式机器或用户接口机器将可能包括触摸输入装置或其他这样的输入机构，而无头服务器机器将可能不会包括这样的触摸输入装置。将理解，输入/输出(I/O)部件1118可以包括图11中未示出的许多其他部件。

仅出于简化以下讨论的目的来根据功能对输入/输出(I/O)部件1118进行分组，并且该分组决不是限制性的。在各种示例实施方式中，输入/输出(I/O)部件1118可以包括输出部件1126和输入部件1128。输出部件1126可以包括视觉部件(例如，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、听觉部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号生成器等。输入部件1128可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、跟踪球、操纵杆、运动传感器或其他指向仪器)、触感输入部件(例如，物理按钮、提供触摸姿势或触摸的位置和/或力的触摸屏、或其他触感输入部件)、音频输入部件(例如，麦克风)等。

在又一示例实施方式中，输入/输出(I/O)部件1118可以包括生物计量部件1130、运动部件1134、环境部件1136或定位部件1138等各种其他部件。例如，生物计量部件1130可以包括用于检测表达(例如，手表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或例如来自EEG装置的输出的脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1134可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环境部件1136可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中污染物的气体检测传感器)或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。定位部件1138可以包括位置传感器部件(例如，全球定位系统(GPS)接收器部件)、海拔传感器部件(例如，检测可以根据其得到海拔的气压的高度计或气压计)、取向传感器部件(例如，磁力计)等。

可以使用各种技术来实现通信。输入/输出(I/O)部件1118可以包括通信部件1140，该通信部件1140能够操作以分别经由耦接1124和耦接1122将机器1100耦接至网络1132或装置1120。例如，通信部件1140可以包括网络接口部件或其他合适的装置以与网络1132对接。在其他示例中，通信部件1140可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、

部件(例如，

低功耗)、

部件和经由其他模态提供通信的其他通信部件。装置1120可以是另一机器或各种外围装置中的任何外围装置(例如，经由通用串行总线(USB)耦接的外围装置)。在EEG装置或显示装置不与机器1100集成的情况下，装置1120可以是EEG装置和/或显示装置。

尽管通过多个详细的示例性实施方式进行了描述，但是根据本公开内容的用于获取脑电图信号的便携式装置包括对本领域技术人员而言将明显的各种变型、修改和改进，应当理解，这些各种变型、修改和改进落入由所附权利要求限定的本公开内容的主题的范围内。

尽管已经参照具体示例实施方式描述了发明主题的概述，但是在不脱离本公开内容的实施方式的较宽范围的情况下，可以对这些实施方式进行各种修改和改变。本发明主题的这样的实施方式可以在本文中通过术语“发明”来单独地或共同地指代，这仅仅是出于方便，并且并不旨在事实上公开了多于一个公开内容或发明构思的情况下将本申请的范围自主地限制于任何单个公开内容或发明构思。

对本文中示出的实施方式进行了足够详细的描述，以使得本领域技术人员能够实践所公开的教导。其他实施方式可以被使用并且从中得到，使得可以在不脱离本公开内容的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应当被认为具有限制意义，并且各种实施方式的范围仅由所附权利要求以及这样的权利要求被赋予的等同物的全部范围来限定。

如本文中使用的，术语“或”可以被解释为包括性意义或排他性意义。此外，可以针对在本文中被描述为单个实例的资源、操作或结构提供多个实例。另外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且特定操作在特定说明性配置的上下文中示出。可以设想功能的其他分配，并且功能的其他分配可以落入本公开内容的各种实施方式的范围内。通常，在示例配置中作为单独的资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为单独的资源。这些和其他变型、修改、添加和改进落入如由所附权利要求表示的本公开内容的实施方式的范围内。因此，说明书和附图被认为是说明性意义而不是限制性意义。

因此，本公开内容描述了用于提高BCI的准确度、速度性能和视觉舒适度的系统和方法。

根据本公开内容的一方面，该系统是闭环系统，其包括：显示子系统，其操作成显示一个或更多个对象图像；显示驱动器子系统，其操作成将显示信号传送至所述显示子系统；HSF/LSF判别、滤波和处理子系统，其操作成将所述对象图像实质上分离成分别实质上引起HSF神经响应和实质上引起LSF神经响应的HSF版本和LSF版本，所述HSF/LSF判别、滤波和处理子系统操作成处理所述HSF版本以开启和关闭闪烁，并且处理所述LSF版本以不闪烁；以及电极头盔，其操作成检测神经脑活动，产生表示所述神经脑活动的电信号，并且将所述电信号传送至所述HSF/LSF判别、滤波和处理子系统，其中，将所述电信号与所述HSF/LSF判别、滤波和处理子系统中的并发显示信号进行比较，以便将所述电信号与对应的所述并发显示信号相关联。

该系统还可以包括用于调制屏幕对象的所述显示信号。

可替选地或另外地，该系统还可以包括用于调制屏幕对象覆盖的所述显示信号。

根据本公开内容的另一方面，提供了一种用于提高BCI的准确度、速度性能和视觉舒适度的方法，该方法包括：当头盔电极佩戴在用户的头上并且当所述用户注视显示屏幕上的对象时，检测来自所述头盔电极的神经信号；将检测到的所述神经信号与用于调制所述对象的显示信号相关联；将所述神经信号与所述显示信号进行比较；以及识别关注对象，其中，所述神经信号与所述显示信号相关联。

该方法还可以包括识别所述关注对象，其中，所述关注对象为屏幕对象。

可替选地或另外地，该方法还可以包括识别所述关注对象，其中，所述关注对象为屏幕对象覆盖。

示例

为了更好地说明本文中公开的系统和方法，此处提供示例的非限制性列表：

1.一种方法，包括：

对一个或更多个屏幕对象的图形数据进行滤波，以生成所述屏幕对象或每个屏幕对象的高空间频率HSF版本；

对于所述屏幕对象的每个HSF版本，应用特性调制；

生成显示信号，所述显示信号包括对应于所述屏幕对象的经调制的所述版本的视觉刺激；

在显示屏幕上显示所述显示信号；

当用户注视所述显示屏幕时，从神经信号捕获装置接收所述用户的神经信号；

对于每个视觉刺激，确定当所述用户注视所述显示屏幕时接收到的所述神经信号是否包括所述视觉刺激的神经签名；以及

当确定所述神经信号包括所述视觉刺激的所述神经签名时，在所述显示屏幕上显示的所述显示信号中识别所述用户的关注对象，所述关注对象是所述显示屏幕上的与所述视觉刺激一致的显示对象。

2.根据示例1所述的方法，其中，所述神经信号对应于在所述用户的脑的视觉皮层中测量的神经振荡。

3.根据示例1或2所述的方法，其中，所述神经签名包括与所述视觉刺激的特性调制相关联的信息。

4.根据示例1、2或3中任一项所述的方法，还包括：对一个或更多个屏幕对象的图形数据进行滤波，以生成所述屏幕对象或每个屏幕对象的低空间频率LSF版本；以及对于所述屏幕对象的每个LSF版本，编码静态显示信号。

5.根据示例1至4中任一项所述的方法，其中，使用空间频率滤波器或空间频率变换中的至少一个对所述一个或更多个屏幕对象的图形数据进行滤波。

6.根据示例1至5中任一项所述的方法，其中，所述特性调制是特性时间调制。

7.根据示例1至6中任一项所述的方法，其中，确定所接收到的神经信号是否包括所述视觉刺激的数字签名包括：

对所接收到的神经信号执行频谱分析，并且确定所接收到的神经信号的频谱特性是否对应于与所述视觉刺激的特性调制相关联的频谱。

8.根据示例1至7中任一项所述的方法，其中，所述神经信号捕获装置包括包含电极的EEG头盔，所述EEG头盔被配置成佩戴在用户的头上。

9.根据示例1至8中任一项所述的方法，其中，所述关注对象是所述屏幕对象本身。

10.根据示例1至9中任一项所述的方法，其中，所述关注对象是显示在所述显示屏幕上的显示对象，并且所述视觉刺激是与所述显示对象不同并且显示在所述显示对象之上的覆盖对象。

11.一种脑计算机接口系统，包括：

显示子系统，其被配置成向用户呈现显示屏幕；

神经信号捕获装置，其被配置成捕获与所述用户相关联的神经信号；

接口装置，其可操作地耦接至所述显示子系统和所述神经信号捕获装置，所述接口装置包括：

存储器；以及

处理器，其可操作地耦接至所述存储器并且被配置成：

对一个或更多个屏幕对象的图形数据进行滤波，以生成所述屏幕对象或每个屏幕对象的高空间频率HSF版本；

对于所述屏幕对象的每个HSF版本，应用特性调制；

生成显示信号，所述显示信号包括对应于所述屏幕对象的经调制的所述版本的视觉刺激；

将所述显示信号传送至所述显示子系统以在所述显示屏幕上显示；

当所述用户注视所述显示屏幕时，从所述神经信号捕获装置接收所述用户的神经信号；

对于每个视觉刺激，确定当所述用户注视所述显示屏幕时接收到的所述神经信号是否包括所述视觉刺激的神经签名；以及

当确定所述神经信号包括所述视觉刺激的所述神经签名时，在所述显示屏幕上显示的所述显示信号中识别所述用户的关注对象，所述关注对象是所述显示屏幕上与所述视觉刺激一致的显示对象。

12.根据示例11所述的脑计算机接口系统，其中，所述处理器还被配置成：

将所述关注对象与一组控制项中的至少一个控制项相关联；

基于所述关注对象和所述至少一个控制项来确定所述用户预期的动作；以及

实现所述用户预期的所述动作。

13.根据示例11或示例12所述的脑计算机接口系统，其中，所述处理器还包括：

显示驱动器子系统，其操作成将显示信号传送至所述显示子系统。

14.根据示例11至13中任一项所述的脑计算机接口系统，其中，所述神经信号捕获装置包括电极头盔，所述电极头盔操作成检测神经脑活动，产生表示所述神经脑活动的电信号，并且将所述电信号传送至所述接口装置。

15.根据示例11至14中任一项所述的脑计算机接口系统，其中，所述关注对象是所述屏幕对象本身。

16.根据示例11至14中任一项所述的脑计算机接口系统，其中，所述关注对象是显示在所述显示屏幕上的显示对象，并且所述视觉刺激是与所述显示对象不同的并且显示在所述显示对象之上的覆盖对象。

17.根据示例11至16中任一项所述的脑计算机接口系统，其中，所述处理器还被配置成：对一个或更多个屏幕对象的图形数据进行滤波，以生成所述屏幕对象或每个屏幕对象的低空间频率LSF版本；以及对于所述屏幕对象的每个LSF版本，编码静态显示信号。

18.一种计算机可读存储介质，所述计算机可读存储介质携带有指令，所述指令在由计算机执行时使所述计算机执行操作，所述操作包括：

对一个或更多个屏幕对象的图形数据进行滤波，以生成所述屏幕对象或每个屏幕对象的高空间频率HSF版本；

对于所述屏幕对象的每个HSF版本，应用特性调制；

生成显示信号，所述显示信号包括对应于所述屏幕对象的经调制的所述版本的视觉刺激；

在显示屏幕上显示所述显示信号；

当用户注视所述显示屏幕时，从神经信号捕获装置接收所述用户的神经信号；

对于每个视觉刺激，确定当所述用户注视所述显示屏幕时接收到的所述神经信号是否包括所述视觉刺激的神经签名；以及

当确定所述神经信号包括所述视觉刺激的所述神经签名时，在所述显示屏幕上显示的所述显示信号中识别所述用户的关注对象，所述关注对象是所述显示屏幕上的与所述视觉刺激一致的显示对象。

19.根据示例18所述的计算机可读存储介质，其中，所述神经信号对应于在所述用户的脑的视觉皮层中测量的神经振荡。

20.根据示例18或示例19所述的计算机可读存储介质，其中，所述神经签名包括与所述视觉刺激的特性调制相关联的信息。

21.根据示例18、19或20中任一项所述的计算机可读存储介质，其中，所述指令还使所述计算机执行操作，所述操作包括：对一个或更多个屏幕对象的图形数据进行滤波，以生成所述屏幕对象或每个屏幕对象的低空间频率LSF版本；以及对于所述屏幕对象的每个LSF版本，编码静态显示信号。

22.根据示例18至21中任一项所述的计算机可读存储介质，其中，使用空间频率滤波器或空间频率变换中的至少一个对所述一个或更多个屏幕对象的图形数据进行滤波。

23.根据示例18至22中任一项所述的计算机可读存储介质，其中，所述特性调制是特性时间调制。

24.根据示例18至23中任一项所述的计算机可读存储介质，其中，确定所接收到的神经信号是否包括所述视觉刺激的数字签名包括：对所接收到的神经信号执行频谱分析，并且确定所接收到的神经信号的频谱特性是否对应于与所述视觉刺激的特性调制相关联的频谱。

25.一种脑计算机接口系统，包括：

显示单元，其用于显示图像数据，所述图像数据包括至少一个对象，所述显示单元还输出相应的视觉刺激以对应于所述对象中的一个或更多个；

刺激生成器，其用于生成具有对应的特性调制的所述视觉刺激或每个视觉刺激；

神经信号捕获装置，其被配置成捕获与用户相关联的神经信号；以及

接口装置，其可操作地耦接至所述神经信号捕获装置和所述刺激生成器，所述接口装置被配置成：

从所述神经信号捕获装置接收所述神经信号；

确定所述神经信号的具有与所述视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；

基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激与所述用户的关注对象相关联，所述关注对象是从所述神经信号的具有与所述视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及

使所述刺激生成器生成具有反馈元素的针对所述关注对象的视觉刺激，所述反馈元素以根据所确定的具有与针对所述关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

26.根据示例25所述的系统，其中，所述反馈元素的显示效果作为响应强度的线性函数而变化。

27.根据示例25所述的系统，其中，所述反馈元素的显示效果作为响应强度的非线性函数而变化。

28.根据示例27所述的系统，其中，所述非线性函数选自sigmoid函数、整流线性单元(RELU)函数或双曲切线函数。

29.根据示例25所述的系统，其中，所述调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

30.根据示例25所述的系统，其中，所述显示效果包括从初始视觉状态到最终视觉状态的逐步变化或连续变化。

31.根据示例25所述的系统，其中，所述视觉刺激是所述反馈元素。

32.根据示例25所述的系统，其中，除了所述反馈元素之外，所述视觉刺激还包括背景元素。

33.根据示例32所述的系统，其中，所述背景元素具有所述视觉刺激的特性调制，而所述反馈元素未被调制。

34.根据示例32所述的系统，其中，所述反馈元素具有所述视觉刺激的特性调制，而所述背景元素未被调制。

35.根据示例32所述的系统，其中，所述视觉刺激的特性调制被应用于背景元素和反馈元素两者。

36.根据示例35所述的系统，其中，背景元素和反馈元素中的调制幅度不同。

37.一种操作脑计算机接口系统的方法，所述脑计算机接口系统包括显示单元、刺激生成器和神经信号捕获装置，所述显示单元显示包括至少一个对象的图像数据并且输出视觉刺激以对应于所述对象中的一个或更多个，所述视觉刺激具有特性调制，

其中，所述方法包括，在可操作地耦接至所述神经信号捕获装置和所述刺激生成器的硬件接口装置中：

从所述神经信号捕获装置接收神经信号；

确定所述神经信号的具有与所述视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；

基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激与用户的关注对象相关联，所述关注对象是从所述神经信号的具有与所述视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及

使所述刺激生成器生成具有反馈元素的针对所述关注对象的视觉刺激，所述反馈元素以根据所确定的具有与针对所述关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

38.根据示例37所述的方法，其中，所述反馈元素的显示效果作为响应强度的线性函数而变化。

39.根据示例37所述的方法，其中，所述反馈元素的显示效果作为响应强度的非线性函数而变化。

40.根据示例37所述的方法，其中，所述调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

41.一种计算机可读存储介质，所述计算机可读存储介质携带有指令，所述指令在由计算机执行时使所述计算机执行根据示例37至40中任一项所述的方法。

Claims (17)

1.一种脑计算机接口系统，包括：

显示单元，其用于显示图像数据，所述图像数据包括至少一个对象，所述显示单元还输出相应的视觉刺激以对应于所述对象中的一个或更多个；

刺激生成器，其用于生成具有对应的特性调制的所述视觉刺激或每个视觉刺激；

神经信号捕获装置，其被配置成捕获与用户相关联的神经信号；以及

接口装置，其可操作地耦接至所述神经信号捕获装置和所述刺激生成器，所述接口装置被配置成：

从所述神经信号捕获装置接收所述神经信号；

确定所述神经信号的具有与所述视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；

基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激与所述用户的关注对象相关联，所述关注对象是从所述神经信号的具有与所述视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及

使所述刺激生成器生成具有反馈元素的针对所述关注对象的视觉刺激，所述反馈元素以根据所确定的具有与针对所述关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

2.根据权利要求1所述的脑计算机接口系统，其中，所述反馈元素的显示效果作为响应强度的线性函数而变化。

3.根据权利要求1所述的脑计算机接口系统，其中，所述反馈元素的显示效果作为响应强度的非线性函数而变化。

4.根据权利要求3所述的脑计算机接口系统，其中，所述非线性函数选自sigmoid函数、整流线性单元(RELU)函数或双曲切线函数。

5.根据权利要求1至4中任一项所述的脑计算机接口系统，其中，所述调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

6.根据权利要求1至5中任一项所述的脑计算机接口系统，其中，所述显示效果包括从初始视觉状态到最终视觉状态的逐步变化或连续变化。

7.根据权利要求1至6中任一项所述的脑计算机接口系统，其中，所述视觉刺激是所述反馈元素。

8.根据权利要求1至7中任一项所述的脑计算机接口系统，其中，除了所述反馈元素之外，所述视觉刺激还包括背景元素。

9.根据权利要求8所述的脑计算机接口系统，其中，所述背景元素具有所述视觉刺激的特性调制，而所述反馈元素未被调制。

10.根据权利要求8所述的脑计算机接口系统，其中，所述反馈元素具有所述视觉刺激的特性调制，而所述背景元素未被调制。

11.根据权利要求8所述的脑计算机接口系统，其中，所述视觉刺激的特性调制被应用于背景元素和反馈元素两者。

12.根据权利要求11所述的脑计算机接口系统，其中，背景元素和反馈元素中的调制幅度不同。

13.一种操作脑计算机接口系统的方法，所述脑计算机接口系统包括显示单元、刺激生成器和神经信号捕获装置，所述显示单元显示包括至少一个对象的图像数据并且输出视觉刺激以对应于所述对象中的一个或更多个，所述视觉刺激具有特性调制，

其中，所述方法包括，在可操作地耦接至所述神经信号捕获装置和所述刺激生成器的硬件接口装置中：

从所述神经信号捕获装置接收神经信号；

确定所述神经信号的具有与所述视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；

基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激与用户的关注对象相关联，所述关注对象是从所述神经信号的具有与所述视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及

使所述刺激生成器生成具有反馈元素的针对所述关注对象的视觉刺激，所述反馈元素以根据所确定的具有与针对所述关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。

14.根据权利要求13所述的方法，其中，所述反馈元素的显示效果作为响应强度的线性函数而变化。

15.根据权利要求13所述的方法，其中，所述反馈元素的显示效果作为响应强度的非线性函数而变化。

16.根据权利要求13至15中任一项所述的方法，其中，所述调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。

17.一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令在由计算机执行时使所述计算机执行根据权利要求13至16中任一项所述的方法。

Images