CN113227944A - 用于增强现实的脑机接口 - Google Patents

Abstract

一种头戴式设备中的脑机接口的方法和系统，包括增强现实显示器、一个或多个传感器、处理模块、至少一个生物反馈设备、以及电池。该接口可以包括印刷电路板，该印刷电路板具有传感器以读取生物信号、提供生物反馈并执行生物信号到输出的处理、分析和映射。该输出经由对用户的多个感官脑系统的刺激提供反馈，包括增强现实显示器上的音频和视频，或者在人类用户可能感觉到的振动模式方面提供音频和触觉。通过检测生物信号，然后提供感官反馈，进而增强生物信号，所有这一切形成闭环系统。

Description

用于增强现实的脑机接口

背景技术

当使用传统的脑机接口(BCI)时，需要外部设备或计算机和监视器来处理来自BCI的脑信号和对来自BCI的脑信号起作用。这通常但并非总是要求BCI与各种分离的系统和设备之间的有线连接，该系统和设备用于处理数据、以及显示视觉信息并与BCI同步视觉信息。通常，用于脑机接口的设备可能需要多条悬垂的导线，该多条悬垂的导线会出现多个故障点，从某种意义上说如果那些导线中的任一条损坏，则脑机接口可能无法工作。通常，建立BCI系统需要大量时间，并且主要取决于房间或实验室来定位。附加地，在接收基于来自大脑的生物信号的反馈时存在延迟，并且可能需要存在另一个人，以便从分离的设备读取结果。

除了这些问题之外，BCI中使用的典型印制电路板通常形状平坦，在现场条件下可能无法提供实际功能。因此，需要一种具有改进的形状因素和足够的内部场计算资源的脑机接口。

发明内容

本文中公开的是一种脑机接口和头戴式设备的是实施例，包括增强现实显示器、一个或多个传感器、处理模块、至少一个生物反馈设备、以及电池。

在一些实施例中，该接口可以包括印刷电路板，该印刷电路板被轮廓设计为符合人类头部的形状。该板可以是柔性板，或者可以是具有链接在一起的分离部分的板。在实施例中，板包括三个部分：第一区域、第二区域和第三区域。印刷电路板的第一区域可以包括模拟前端，并且可以使用策略性定位传感器来输入脑到(皮肤的)表面的生物信号。印刷电路板的第二区域可以执行生物信号到输出的处理、分析和映射，包括到增强现实眼镜的触觉、音频和视觉输出。印刷电路板的第三区域可以提供触觉和音频反馈。在经历了来自这三种感官模式(听觉、视频和触觉)中的全部或任一种的反馈后，用户可以从脑生成新的和不同的生物信号，并且因此反馈回路可以导致神经通路的创建和加强，从而导致头戴式设备的用户的成功行为和行动。

附图说明

为了容易地标识对任何特定元素或动作的讨论，附图标记中最显著的一个或多个数字指代的是首次引入该元素的图号。

图1示出了根据一个实施例的头戴式设备(headset)100。

图2示出了根据一个实施例的拆解的BCI头戴式设备200。

图3示出了根据一个实施例的头戴式设备300。

图4示出了根据一个实施例的头戴式设备400。

图5示出了根据一个实施例的头戴式设备500的横截面。

图6示出了根据一个实施例的头戴式设备600的横截面。

图7示出了根据一个实施例的头戴式设备700的横截面视图。

图8示出了根据一个实施例的方法800。

图9示出了根据一个实施例的设备900。

图10示出了根据一个实施例的BCI+AR系统1000。

图11示出了根据一个实施例的BCI+AR环境1100。

图12示出了根据一个实施例的增强现实设备逻辑1200。

具体实施方式

本公开利用新颖的轮廓形状和利用头戴式设备内的专门设计的印刷电路板对生物信号数据的合并的机载处理，解决了在常规的BCI系统中发现的舒适性、无线移动性、可用性、可靠性和其他限制的问题。这种内部处理生物信号的能力可以减少或消除对外部移动设备或计算机进行生物信号处理的需要。

生物信号数据从头戴式设备上的或连接到头戴式设备的传感器收集，输入到头戴式设备上的印刷电路板中，在头戴式设备上处理，然后输出到换能器，换能器包括但不限于视觉、听觉和触觉换能器。在实施例中，电路板可以具有连接到模拟前端的各种传感器。例如，可以使用所安装的EEG电极，但也可以存在附接到手臂或其他身体部分的EMG传感器，而不仅仅是头部的EEG，手臂或其他身体部分线连到用于处理来自多个源的数据的电路板。

输出可以例如应用于用户可以穿戴的增强现实头戴式设备。可以作为生物反馈而被刺激的感官可以包括例如，发送到充气袋的用于压力、用于增加治疗感觉的温度、电刺激的输出命令，或甚至对外部设备或系统(诸如用于受控移动的假体的手/手臂/腿或轮椅)的命令。

响应于这些输出，用户的脑的新的和改变的神经信号可以被加强，从而建立反馈回路，该反馈回路可以导致发现独特的和创造性的方法来将意图转化为头戴式设备的用户的新体验。

头戴式设备可以独立运作而不依赖于外部移动设备或计算机，使其作为“只读”设备便携且自给自足，即，不能显示增强现实。替代地，它可以与移动设备或计算机无线通信，提供基于来自头戴式设备的用户的生物信号的输出。与常规的BCI头戴式设备相比，该头戴式设备是独特的设计，它将更多的处理能力整合到更小的封装中。便携性因素可能会对那些希望在远离现代便利设施的地方拥有这种体验的个人以及残疾人有重大影响。例如，该设备的用途中的一个可以包括增强辅助通信设备或远程控制设备。在本公开中描述的系统和设备可以辅助在其他方面难以通信或不具有足够的体能来很好地控制其环境的人。此类人的脑信号可以能够传达他们的思想或远程控制其环境中的对象，而不是口头或基于手的沟通。

一个实施例包括一种完全自足的(self-contained)的EEG(脑电图)头戴式设备，该头戴式设备专门设计用于感测和报告视觉诱发电位(VEP)匹配，并且，可以可选地通过通用属性(GATT)设备键盘或鼠标接口作为人机接口设备(HID)接合到主机计算设备。在实施例中，视觉诱发可以是稳态视觉诱发电位(SSVEP)。

自足的设备可以包括头带或具有一个或多个传感器的其他外部头皮传感器接触布置。该设备还可以包括支持电路系统(诸如传感器放大器、CPU、模数(A2D)转换器和BLE(蓝牙低能量))，该电路系统通过GATT协议利用HID对接到主机。作为HID无线键盘或鼠标接口，该自足的设备可以用于控制任何HID接口兼容设备，包括但不限于台式计算机、移动设备和家用电器以及媒体和娱乐设备。

设备可以对于以下各项是可配置的：(a)在设备可以监视的不同频率上的VEP匹配；(b)频率的功率阈值；以及(c)超过阈值的连续重复循环的数量。设备可以对HID主机生成可配置的相关联的HID键盘或鼠标报告。此能力可以允许通过iOS、Android、OSX、Windows和Linux设备进行直接控制。

人工智能(AI)部分：

BCI可以利用AI进行模式识别和个性化。传统的BCI+AI解决方法受限于固定的位置、昂贵的设备和超高速连续互联网连接。

BCI可以采用“离线优先”的设计方法。甚至在离线时，离线优先技术也会将BCI性能优化和个性化。

当在线时，机器学习(ML)训练被应用于创建个性化的识别器分类器(RC)。ML训练的导出的输出被存储在云中的专家系统(ES)知识库中。

不用于常规的实时系统中不使用ML&ES。从ML&ES导出的合成见解(SIs)以一种新颖的方式被用于生成个性化的可执行识别器分类器，该识别器分类器可以自动加载到BCI设备(例如，印刷电路板的存储)中以供离线使用。

本公开涉及包括在云中使用的AI以增强资源受限的IoT的方法。本公开中的装置包括可穿戴和可植入设备，其运行由AI本地生成的个性化代码，其中到云的连续、超宽带流连接是不可靠的。

本公开提供了将AI添加到不能在本地或移动环境中支持AI的移动设备的解决方案。除了利用AI处理脑电波数据之外，为该BCI+AI开发的方法和系统还可以普遍适用于各种资源受限的IoT、可穿戴和可植入设备。

在BCI头戴式设备的实施例中，可以利用若干种AI技术。ML可以用作自动调谐动态噪声消减器、特征提取器和识别器分类器。它也是将训练数据输入到ES知识库的管道。ES评估在离线RC中利用的已识别的脑电波模式。ES具有用于创建可在资源受限设备(RCD)上本地操作的个性化和AI优化RC的必要的指示。RCD可以是一种具有有限处理和存储能力并且通常使用电池运行的设备。这可以为BCI提供常规技术所不能提供的优越的鲁棒性和功能性。通过存储成功识别匹配的EEG EPOC结合离线ML训练反馈，以重新集成到下一个在线会话时同步的训练集中。

BCI头戴式设备可以是电池供电的无线消费级生物信号感测设备，其包括两个传感器、三个接触点(2个传感器、接地基准)、处理器和BLE(蓝牙低能量)连接，该感测设备专门设计为仅通过监视颅点(O₁-O₂)来检测和处理SSVEP脑信号以用作BCI。

本公开涉及头戴式设备中的脑机接口，该脑机接口可以将印刷电路板(PCB)与正在被处理的脑电波和其他生物信号源相关联。PCB可以利用微控制器，该微控制器包括蓝牙低能量模块、微处理器和USB桥接器。此外，在实施例中，EEG模数处理器包括模拟前端，该模拟前端使用德州仪器ADS 1299(Texas Instruments ADS 1299)接收信道，通过串行外围接口(SPI)缓冲器向微处理器发送信号。可以使用微型SD记录脑电波。附加地，用户可以将音乐、声音或任何触觉序列下载到微型SD中。在实施例中，头戴式设备可以包括电机放大器OLED模块，该电机放大器OLED模块可以是2行×180像素OLED，诸如I2C OLED。从视觉角度来看，OLED模块提供了反馈机制，该反馈机制可以允许用户查看和/或修改机载BCI设置。

触觉电机控制器可以包括内置微控制器芯片，该内置微控制器芯片包括基本触觉振动。用户可以将这些振动堆叠，并且可以基于音频创建振动，或者设置触觉振动以使头戴式设备随着音乐振动。

音频反馈可以包括各种基本音调。在实施例中，用户可以添加、修改或管理脑机接口上的音频反馈。

操作模式

BCI头戴式设备的四种操作模式可以包括：原始(raw)、将熟(simmer)、熟化(cooked)和人机接口设备-键盘(HID-KB)。

原始模式：

原始模式可以将整个生物信号传感器数据流流式传送，以便经由可以过滤数据、识别数据或与数据交互的移动或桌面连接到互联网的设备在本地或云中进行进一步处理，该生物信号传感器数据流可以包括EEG传感器流。该模式用于训练AI和/或基于云的识别系统。

将熟模式：

将熟模式是原始模式和熟化模式之间的混合组合。机载处理器可以将原始数据流与自定义(熟化)消息穿插在一起。当训练AI和/或基于云的识别系统并将其与本地识别器和诊断进行比较时，此模式最有用。

熟化模式：

熟化模式是可以由本地识别器和诊断生成的经过完全处理的自定义消息。没有原始数据被传递。这减少了操作所需的带宽。

HID-KB模式：

HID-KB模式将头戴式设备接口配置为显示成标准蓝牙键盘。这允许头戴式设备与许多应用一起工作，这些应用包括但不限于台式计算机、移动设备和家用电器、以及媒体和娱乐设备。HID-KB模式的一个优点是允许SSVEP与操作系统辅助功能(accessibilityfeatures)一起使用。它还可以允许头戴式设备通用存取与可以利用蓝牙键盘的许多计算机和操作系统一起使用。在实施例中，印刷电路板可以仿真蓝牙键盘并将以下中的至少一种输出到移动设备、计算机、汽车挡风玻璃、飞机挡风玻璃、摩托车遮阳板、摩托车头盔、虚拟现实眼镜、混合现实眼镜、或增强现实眼镜：字母；字符；数字及其组合。

设备构造

两个主传感器可以移动到用户头部的中心或前部，头戴式设备可以有效地检测和跟踪各种脑电波，诸如β波或θ波。头戴式设备的实施方式不仅限于两个传感器，而是能够具有多达八个传感器、一个接地和一个基准。

头戴式设备和印刷电路板对视觉诱发电位、音频诱发电位和运动诱发电位敏感。它们对AR头戴式设备中的稳态视觉诱发电位也很敏感，该稳态视觉诱发电位包括闪烁的灯光。

在印刷电路板的一个实施例中，印刷电路板的功能仅限于视觉诱发电位，这允许在不使用云或外部计算机的情况下完全地在印刷电路板上进行更快的处理。

在印刷电路板的另一个实施例中，印刷电路板的功能仅限于音频诱发电位，这允许在不使用云或外部计算机的情况下完全地在印刷电路板上进行更快的处理。

在印刷电路板的另一个实施例中，印刷电路板的功能仅限于触觉诱发电位，这允许在不使用云或外部计算机的情况下完全地在印刷电路板上进行更快的处理。

印刷电路板可以被预配置为将来自EEG(脑电图)、ECG(心电图)、EMG(肌电图)、EOG(眼电图)、功能性近红外光谱(fNIRS)、ECG、EEG或其他生物信号的某些输入映射到特定类型的反馈。印刷电路板可以在声音、音乐、文字、投影的视觉效果和触觉文件的方面进行配置。印刷电路板还具有声音文件的默认值、触觉文件的默认值、用于特征提取的某些算法的默认值和模式匹配的默认值。

例如，头戴式设备可以被预配置为在印刷电路板读取10赫兹的信号时输出字母“A”。类似地，所有字母、数字、单词、音乐和触觉振动都可以被映射到音频、视觉或触觉输入。

此外，可以针对每一个用户来自定义此类预配置，使得可以存在特定于客户或用户的自定义振动文件、声音文件或不同的算法。这些预配置可以从应用无线地实现，因此用户不必插入印刷电路板的USB。

例如，对于给定的3个频率(7赫兹、11赫兹和19赫兹)，可访问性控件可以分别设置为移动到上一项、下一项或选择项。例如，如果印刷电路板读取信号7赫兹，则AR头戴式设备上可以弹出“上一项”控件。

在实施例中，每一个用户可以具有专用的“私有云”，其中具有所有他们自己的数据、个性化文件和偏好，从而允许BCI在其连接到互联网时与服务器同步。

在实施例中，无线下载(Over the Air downloads)或固件更新可以被推送到BCI。更新可以是基于事件的更改或完整的系统更新。

用于将印刷电路板附接到增强现实眼镜的连接可以被切断，从而使得印刷电路板能够连接到另一副增强现实眼镜，同时保持印刷电路板的所有功能。头戴式设备可以与不同的增强现实眼镜(诸如Microsoft Hololens^TM、Magic Leap^TM、以及可以通过用于人类的视觉显示器提供增强现实的产品)一起起作用。

在实施例中，一种头戴式设备中的脑机接口的系统包括：增强现实显示器；一个或多个传感器，用于从用户读取生物信号；处理模块，包括处理器，处理器分析生物信号并将生物信号映射到用于数字交互设备的输出中，其中数字交互设备包括增强现实显示器、靠近用户的数字交互设备、远程定位的数字交互设备及其组合中的至少一个；至少一个生物反馈设备，与处理模块通信，其中至少一个生物反馈设备被配置为向用户、数字交互设备及其组合中的至少一个提供反馈；以及电池，其中电池向增强现实显示器、一个或多个传感器、处理模块、至少一个生物反馈设备及其组合中的至少一个供电。

在实施例中，一种实现头戴式设备中的脑机接口(BCI)的方法包括：利用增强现实显示器；利用一个或多个传感器，一个或多个传感器用于从用户读取生物信号；利用处理模块，处理模块包括处理器，处理器分析生物信号并将所述生物信号映射到用于数字交互设备的输出中，其中数字交互设备包括所述增强现实显示器、靠近用户的数字交互设备、远程定位的数字交互设备及其组合中的至少一个；利用至少一个生物反馈设备，至少一个生物反馈设备与处理模块通信，其中至少一个生物反馈设备被配置为向用户、数字交互设备及其组合中的至少一个提供反馈；以及利用电池，其中电池向增强现实显示器、一个或多个传感器、处理模块、至少一个生物反馈设备及其组合中的至少一个供电。

该头戴式设备解决了BCI头戴式设备中资源限制的商业难题，同时比常规设计改进了功能。头戴式设备还可以利用充分流动性解放用户，这使得研究人员在该领域进行真正的纵向研究，并且终端用户具有更大的自由度来探索其环境和与其环境交互变得可能。

生物信号被实时处理和分析。通过在印刷电路板上进行更多的处理，通过消除附加的电子设备并减少设置和使用它所花费的时间和精力来降低成本，从而实现更频繁的使用。

此外，通过增强现实、触觉和/或音频系统减少反馈响应的延迟。

现在参考附图，图1示出了头戴式设备100的实施例，该头戴式设备100包括PCB102、束带104、显示器106、轮廓套筒108以及视觉显示源110。显示器106和视觉显示源110可以是任何AR头戴式设备，并且不限于此。PCB 102在形状上弯曲以围绕人类头部的后侧形成轮廓。轮廓套筒108固定PCB 102和其他物体(诸如电池)。束带104可以绕过PCB 102并围绕人类头部的后侧，并保持头戴式设备100与人类头部的后侧接触。在一些实施例中，束带104横穿轮廓套管108；然而，束带104也可以横穿轮廓套筒108的外侧后表面，或者可以被制造作为轮廓套筒108的一部分。束带104可以将PCB 102电气或物理地耦合到显示器106和视觉显示源110。PCB 102可以通过视觉显示源110和显示器106向用户输出视频信号。在一些实施例中，显示器106提供增强现实图像。头戴式设备100是一种用于本公开的系统和方法的头戴式设备的示例性示例，并且不限于图1或图2中所示的部件。

在图2中，拆解的BCI耳机200包括PCB 102、束带104、显示器106、轮廓套筒108、视觉显示源110和垫202。垫202可以位于视觉显示源110上，并且在用户的前额与视觉显示源110和用户的前额接触的部分之间提供垫层。拆解的BCI头戴式设备200是用于本公开的系统和方法的头戴式设备的示例性示例，并且不限于图2中所示的部件。

图3示出了头戴式设备300的前斜视图，该头戴式设备300包括轮廓套筒302、盖306、LED 308和PCB 304。轮廓套筒302可以包括PCB 304。PCB 304的第一区域可以包括模拟前端，并且允许头戴式设备300读取EEG(脑电图)、ECG(心电图)、EMG(肌电图)或其他生物信号。盖306提供通过轮廓套管302对PCB的通道。

在实施例中，在轮廓套筒302中有一个孔(LED 308)，该孔允许多色LED灯通过管道输出并在外部可见，以向用户提供颜色编码的状态指示，诸如电源开/关、闪烁(如果有数据/活动)、对不同模式进行编码的颜色等。LED 308可以位于轮廓套筒302的中心，但不限于此。在实施例中，该功能性照明指示器可以是单个LED灯、多个LED灯、动画灯等。灯光指示器功能可以针对个人用户进行个性化。

参考图4，头戴式设备400的一部分包括轮廓套筒402、传感器404、传感器406、传感器408、附加传感器410、PCB 412、狭缝414和卡扣416。轮廓套筒402可以包括形成以接触人类头部的头戴式设备的部分上的3个阳光类型形状，该形状表示传感器404、传感器406和传感器408。表示传感器的形状可以是任何形状。在实施例中，形状凹入轮廓套筒402中。凹陷区域使得传感器能够更加舒适和稳定。在一些实施例中，可以向上、向下、向左或向右调整传感器。传感器404、传感器406和传感器408检测脑信号，并将其应用于PCB 412，其中PCB412处理脑信号。有4个附加传感器410。这些附加传感器还可以感测脑信号并将其应用于PCB 412以进行进一步处理。

在头戴式设备400的另一个实施例，头戴式设备仅具有4个附加传感器410，而不是总共7个传感器。

PCB 412的不同实施例可以利用印刷电路板中的断点之间的电缆，使得传感器的布局可以是6个1x1或3个2x1或3个1x2。

轮廓套筒402可以包括后表面和底表面之间的狭缝414。可以通过释放卡扣416并将轮廓套筒402的底部和后部分开来打开狭缝414。该狭缝414可以用于允许不同类型的头部束带的互换性。

参考图5，根据实施例的头戴式设备500的横截面包括轮廓套筒502、印刷电路板的第三区域506、和附接到头戴式设备的轮廓套筒502的传感器504。尽管显示了三个区域，但印刷电路板可以是单个柔性板，其中板上部件的定位并不是关键。

第三区域506提供触觉反馈。生物信号可以被实时处理和分析。生物信号在头戴式设备400中被本地处理，因此不被在线流式传送或在云中流式传送。这被称为本地化。

参考图6，根据一个实施例的头戴式设备600的横截面包括轮廓套筒602、第一区域604、第二区域606、第三区域608和传感器610。轮廓套筒602的顶部已被移除以示出头戴式设备中的嵌入式印刷电路板。传感器610附接到印刷电路板的第三区域608。头戴式设备600的横截面还示出了印刷电路板的第一区域604和第二区域606。在实施例中，存在通道612区域，其中AR头戴式设备束带可以穿过BCI的内侧。通道612可以存在于从BCI的一侧到另一侧(在第三区域608附近)。在实施例中，在BCI的任一侧有孔，AR头戴式设备束带的两端可以穿过该孔。

参考图7，头戴式设备700的横截面视图包括轮廓套筒702、第一区域704、第二区域706、第三区域708、电池710、传感器712和传感器714。电池710可以是LiPo、LiOn等电池，并且可以是自定义形状/设计的电池。

移除了外壳的底部的头戴式设备600的横截面图示出了轮廓套筒702内侧的PCB，并演示了PCB是如何嵌入头戴式设备中的。第一区域704、第二区域706、第三区域708被示出为在PCB上。电池710位于头戴式设备的底部部分。传感器712和传感器714附接到电池710。头戴式设备600还可以具有状态LED 716。

参考图8，方法800包括在头戴式设备中实现脑机接口所涉及的步骤。步骤包括使用PCB的第一区域作为模拟前端读取生物信号(框802)、处理所捕获的生物信号(框804)、分析生物信号(框806)、将生物信号映射到(多个)命令(框808)、执行(多个)命令(框810)以及记录(多个)命令以供将来使用(框812)。

方法800可以是一种用于经由BCI读取脑电波以及经由通过用户的感官系统(视力、声音、振动/触觉)的生物反馈向脑写入的闭环方法。在实施例中，闭环系统经由枕叶(视觉)读取视觉皮质并写入体感皮质(感觉)。

在实施例中，处理器分析生物信号并且将生物信号映射到数字交互设备的输出中。数字交互设备可以包括增强现实显示器、靠近用户的数字交互设备、远程定位的数字交互设备及其组合中的至少一个。靠近用户的数字交互设备可以包括智能电话、平板电脑、计算机等。远程定位的数字交互设备可以包括远程定位的计算机、平板电脑、智能电话、监视器等。

在实施例中，命令是以下中的至少一个：什么也不做；记录数据供以后使用；播放音频文件；操纵视觉元素；播放振动模式；向另一个设备发送消息或命令；遥控假肢；开灯/关灯；更换电视频道及其组合。

在实施例中，可以记录这些命令以供将来使用，作为强化学习的改进的机器学习性能以及人类神经性能/回忆。

在实施例中，PCB可以读取的生物信号包括EEG(脑电图)、ECG(心电图)、EMG(肌电图)、EOG(眼电图)、视觉诱发电位、稳态视觉诱发电位、稳态音频诱发电位和运动诱发电位中的至少一个。

参考图9，设备900包括印刷电路板902；第一区域904；第二区域906；第三区域908；模拟前端910；处理、分析和映射912逻辑；生物反馈914；传感头916；EEG模数转换918；触觉控制器920；音频驱动器/放大器922；OLED 924；微型SD卡926；USB/TTL桥接器928；蓝牙低能量模块930；微处理器932和功率管理834。

印刷电路板902包括三个区域，第一区域904(模拟前端910)、第二区域906(处理、分析和映射912)和第三区域908(生物反馈914)。

第一区域904是包括传感头916、EEG模数转换器918等的模拟前端910。印刷电路板的第一区域接收生物信号并将其转换为数字信号。第二区域906包括蓝牙低能量模块930、OLED 924、微型SD卡926、微处理器932、功率管理模块934等。印刷电路板的第二区域使用微处理器932处理和分析生物信号，并将生物信号映射到增强现实眼镜上的输出。输出可以包括音频和视频输出或触觉输出。功率管理模块可以控制到各种部件和模块(包括蓝牙低能量模块930)的功率。第三区域908使用USB/TTL桥接器928、音频驱动器/放大器922或触觉控制器920提供生物反馈914。

图10示出了根据本公开的一个实施例的BCI+AR系统1000。传感器1002从用户1004接收信号。这些信号触发操作系统1006中的事件。然后使用硬件1008将信号映射到输出。输出可以包括音频和视频，或者可以是包括触觉振动模式的触觉输出。

图11示出了BCI+AR环境1100的实施例。BCI+AR环境1100包括传感器1102、EEG模数转换器1104、音频/视频/触觉输出1108、处理1106、束带1110、增强现实眼镜1112、人类用户1114和BCI 1116。人类用户1114穿戴BCI 1116，该BCI 1116是头戴式设备的一部分。当人类用户1114与环境交互时，位于BCI 1116内的传感器1102读取意图并触发操作系统。EEG模数转换器1104接收传感器1102输出(例如，意图)。EEG模数转换器1104将传感器输出转换为数字信号，该数字信号被发送到处理1106。随后，该信号被处理、分析并映射到音频/视频/触觉输出1108，并在增强现实眼镜1112上显示。

在实施例中，束带1110是用于将AR+BCI固定到人类头部的头部束带。在一些实施例中，诸如可植入BCI和AR系统，束带可能不是必要的。无束带系统可以使用智能眼镜或隐形眼镜。在不同的实施例中，可以有多个传感器，但不少于一个传感器。在看到输出之后，用户可能会从脑获得不同的生物信号，因此这是闭环生物反馈系统。当用户更关注SSVEP刺激时，音频可以通过频率、功率(音量)和选定的提示音频进行反馈，以辅助人类加强对刺激的关注。这也可以以触觉的振动类型和强度以及显示器中的附加外围视觉提示来发生。这些反馈独立于经由智能电话通过AR头戴式设备播放的音频和触觉。甚至有可能远程地增加嗅觉(气味)反馈的感官组合，这种反馈实际上行进通过大脑完全不同的部分，这已被显示是人类认知训练中最强的生物反馈强化中的一种。

作为非限制性示例，当某人第一次使用BCI时，他们被认为是一个“幼稚”的用户，或者是一个脑从未受过这种用户接口训练的人。当用户继续使用它时，他们的大脑会变得不那么幼稚，更有能力并经过训练。他们做这件事可以越来越快。这是强化学习-BCI使某人能够将他们的意图和注意力对准到对象，并点击它。

在实施例中，为了丰富用户接口体验，多种反馈模态(听觉、视觉、触觉和嗅觉)可以可用于为个人或训练类型选择最有利的反馈模态。例如，当由用户生成适当的脑电波频率时，关于该信号的强度(strength)的实时反馈可以通过调整音频或触觉反馈的强度和频率来表示。此外，使用多模态反馈的可能性意味着多个感官脑域同时受到刺激，这增强了神经信号和反馈的表征，从而加速学习和神经可塑性。

使用异味(odor)作为增强剂的优点可以是因为脑中感知气味的区域(嗅觉皮质)和形成记忆的区域(海马体)和产生情感的区域(杏仁核)之间有直接联系。气味可以加强记忆编码，巩固和触发回忆。

图12示出了示例性增强现实设备逻辑1200的部件。增强现实设备逻辑1200包括图形引擎1202、相机1204、处理单元1206(包括一个或多个CPU 1208和/或GPU 1210)、WiFi1212无线接口、蓝牙1214无线接口、扬声器1216、麦克风1218、一个或多个存储器1220、逻辑1222、视觉显示器1224、以及振动/触觉驱动器1226。

在一些情况下，处理单元1206可以包括可编程设备，诸如针对特定功能(诸如AR相关功能)优化的定制处理单元。增强现实设备逻辑1200可以包括未示出的其他部件，诸如专用深度传感器、附加接口等。

图12中的部件中的一些或全部可以容纳在AR头戴式设备中。在一些实施例中，这些部件中的一些可以容纳在与AR头戴式设备的部件连接或无线通信的分离的壳体中。例如，用于某些部件的分离的外壳可以被设计为被穿戴或腰带或适于佩戴者的口袋，或者部件中的一个或多个可以被容纳在与AR头戴式设备中的显示器和相机装置无线通信的分离的计算机设备(智能电话、平板电脑、膝上型计算机或台式计算机等)中，由此头戴式设备和分离的设备构成完整的增强现实设备逻辑1200。用户还可以经由蓝牙键盘1230与AR头戴式设备通信。附加地，AR头戴式设备经由WiFi 1212与云1228通信。

存储器1220包括应用于处理单元1206以供执行的逻辑1222。在一些情况下，逻辑1222的不同部分可以由处理单元1206的不同部件执行。逻辑1222通常包括操作系统的代码，以及被配置为在操作系统上运行的一个或多个应用的代码，以执行本文所公开的处理的各方面。

在前文基于若干优选实施例描述了本公开中的装置、方法和系统。不同变型的不同方面被认为是相互结合地描述的，使得在本领域的技术人员基于本文档阅读时的所有组合可以被认为是在本发明的构思内阅读。优选实施例不限制本文档的保护范围。

因此，在详细描述了本申请的本发明的实施例并参考本发明的说明性实施例之后，显而易见的是，在不脱离本发明的范围的情况下，可以进行修改和变化。

Claims (20)

1.一种头戴式设备中的脑机接口的系统，包括：

增强现实显示器；

一个或多个传感器，所述一个或多个传感器用于从用户读取生物信号；

处理模块，所述处理模块包括处理器，所述处理器分析所述生物信号并将所述生物信号映射到用于数字交互设备的输出中，其中所述数字交互设备包括所述增强现实显示器、靠近所述用户的数字交互设备、远程定位的数字交互设备及其组合中的至少一个；

至少一个生物反馈设备，所述至少一个生物反馈设备与所述处理模块通信，其中所述至少一个生物反馈设备被配置为向所述用户、所述数字交互设备及其组合中的至少一个提供反馈；以及

电池，其中所述电池向所述增强现实显示器、所述一个或多个传感器、所述处理模块、所述至少一个生物反馈设备及其组合中的至少一个提供功率。

2.如权利要求1所述的系统，其特征在于，所述生物信号包括EEG(脑电图)、或ECG(心电图)、或EMG(肌电图)、或EOG(眼电图)及其组合中的至少一个。

3.如权利要求1所述的系统，其特征在于，由所述处理模块执行的处理包括视觉诱发电位。

4.如权利要求1所述的系统，其特征在于，所述头戴式设备进一步包括印刷电路板，其中所述印刷电路板包括以下中的至少一个：所述一个或多个传感器、所述处理模块、所述至少一个生物反馈设备、所述电池及其组合。

5.如权利要求4所述的系统，其特征在于，所述印刷电路板被配置为仿真蓝牙键盘，并将数据输出到移动设备、计算机和所述增强现实显示器中的至少一个，所输出的数据包括以下中的至少一个：字母、字符、数字及其组合。

6.如权利要求1所述的系统，其特征在于，所述生物信号被实时处理和分析。

7.如权利要求1所述的系统，其特征在于，所述处理模块具有不同的模式，所述不同的模式可以包括原始模式、将熟模式、熟化模式、人机接口设备-键盘模式及其组合中的至少一个。

8.如权利要求7所述的模式，其特征在于，所述原始模式经由可以过滤数据、识别数据或与所述数据交互的移动或桌面互联网连接的设备在本地或云中将完整的生物传感器数据流流式传送以供进一步处理。

9.如权利要求7所述的模式，其特征在于，所述熟化模式是由本地识别器和诊断生成的经过完全处理的自定义消息，并且没有原始数据被传递给所述用户。

10.如权利要求7所述的模式，其特征在于，所述将熟模式是所述原始模式和所述熟化模式之间的混合组合，并且所述处理器将原始数据流与熟化消息散布在一起。

11.一种实现头戴式设备中的脑机接口(BCI)的方法，包括：

利用增强现实显示器；

利用一个或多个传感器，所述一个或多个传感器用于从用户读取生物信号；

利用处理模块，所述处理模块包括处理器，所述处理器分析所述生物信号并将所述生物信号映射到用于数字交互设备的输出中，其中所述数字交互设备包括所述增强现实显示器、靠近所述用户的数字交互设备、远程定位的数字交互设备及其组合中的至少一个；

利用至少一个生物反馈设备，所述至少一个生物反馈设备与所述处理模块通信，其中所述至少一个生物反馈设备被配置为向所述用户、所述数字交互设备及其组合中的至少一个提供反馈；以及

利用电池，其中所述电池向所述增强现实显示器、所述一个或多个传感器、所述处理模块、所述至少一个生物反馈设备及其组合中的至少一个提供功率。

12.如权利要求11所述的方法，其特征在于，所述生物信号包括EEG(脑电图)、ECG(心电图)、EMG(肌电图)、EOG(眼电图)、视觉诱发电位、音频诱发电位和运动诱发电位中的至少一个。

13.如权利要求11所述的方法，其特征在于，由所述处理模块执行的处理包括视觉诱发电位。

14.如权利要求11所述的方法，其特征在于，所述头戴式设备进一步包括印刷电路板，其中所述印刷电路板包括以下中的至少一个：所述一个或多个传感器、所述处理模块、所述至少一个生物反馈设备、所述电池及其组合。

15.如权利要求14所述的方法，其特征在于，所述印刷电路板可以无线地连接到移动设备或计算机，其中所述印刷电路板被配置为仿真蓝牙键盘并将数据输出到所述移动设备、所述计算机和所述增强现实显示器中的至少一个，所输出的数据包括以下中的至少一个：字母、字符、数字及其组合。

16.如权利要求11所述的方法，其特征在于，所述生物信号被实时处理和分析。

17.如权利要求11所述的方法，其特征在于，所述处理模块具有不同的模式，所述不同的模式包括原始模式、将熟模式、熟化模式、人机接口设备-键盘模式及其组合中的至少一个。

18.如权利要求17所述的模式，其特征在于，所述原始模式经由移动或桌面互联网连接的设备在本地或云中将完整的生物传感器数据流流式传送以供进一步处理，其中所述互联网连接的设备被配置为以下中的至少一个：过滤数据、识别数据、以及与所述数据交互。

19.如权利要求17所述的模式，其特征在于，所述熟化模式是由本地识别器和诊断生成的经过完全处理的自定义消息，并且没有原始数据被传递给所述用户。

20.如权利要求17所述的模式，其特征在于，所述将熟模式是所述原始模式和所述熟化模式之间的混合组合，并且所述处理器将原始数据流与熟化消息散布在一起。

Images