CN110691550A - 对感知体验进行测量的系统和方法 - Google Patents

Abstract

提供了一种确定感知体验的方法。所述方法包括：获取通过包括多个传感器的测量装置采集的多个信号，所述多个传感器被设置为对由在正被所述测量装置测量的用户的大脑活动进行测量；在不进行预处理的情况下将所述多个信号提供给包括至少一个深度学习模块的处理系统，所述至少一个深度学习模块被配置成对所述信号进行处理以生成至少一个能力，其中，所述至少一个能力中的一个或更多个能力的组合形成所述感知体验；以及将与所述至少一个能力中的一个或更多个能力的组合相对应的输出提供给利用对应感知体验的应用。

Description

对感知体验进行测量的系统和方法

相关申请的交叉引用

本申请要求2017年2月1日提交的美国临时专利申请No.62/453,022的优先权的权益，其内容通过引用并入于此。

技术领域

下面的内容涉及对感知体验进行测量的系统和方法。

背景技术

将大脑的神经元连接至外部装置的接口通常称为大脑计算机接口(BCI)或大脑机器接口(BMI)。现有的BMI应用在效率方面受到限制，为此尚未在商业上被规模化。发现这些应用主要因它们的数据收集、分析以及校准的管道而受到限制。

以下内容的目的是解决上述缺点中的至少一个缺点。

发明内容

下面的内容提供了一种新颖的实现来不仅使得能够全局采用对感知体验进行确定的核心技术，而且使得能够实现诸如重建用户的视觉和听觉体验、大脑到文本以及梦的记录等等的能力。

在下文中，提供了一种使得能够确定感知体验或者以其它方式确定人类感知的系统和方法。根据对大脑活动的观察或测量来生成信号，并将信号提供给系统或装置组件(例如应用编程接口(API))，以在可以共同视为用户的感知体验的一种或更多种能力中使用。然后，可以将所述系统或装置执行的所述一个或更多个能力输出至希望获知或依赖于接收所述用户的感知或感知体验的一个或更多个应用。

在一个方面，提供了一种对感知体验进行确定的方法的方法，所述方法包括：获取通过包括多个传感器的测量装置获取的多个信号，所述多个传感器被设置成对由所述测量装置测量的用户的大脑活动进行测量；在不进行预处理的情况下将所述多个信号提供给包括至少一个深度学习模块的处理系统，所述至少一个深度学习模块被配置成对所述信号进行处理以生成至少一个能力，其中，所述至少一个能力中的一个或更多个能力的组合形成所述感知体验；以及将与所述至少一个能力中的一个或更多个能力的组合相对应的输出提供给利用对应的感知体验的应用。

在另一方面，提供了一种包含执行所述方法的计算机可执行指令的计算机可读介质。

在又一方面，提供了一种对感知体验进行确定的处理系统，所述处理系统包括至少一个处理器以及至少一个存储器，所述至少一个存储器存储执行所述方法的计算机可执行指令。

附图说明

下面，参照附图对实施方式进行描述，其中：

图1A是用户佩戴的头盔(headset)的示意性例示图，该头盔被配置成获取大脑信号、启动API以生成一个或更多个能力并且将所述一个或更多个能力提供给该头盔载有的一个或更多个应用；

图1B是用户佩戴的头盔的示意性例示图，该头盔被配置成执行该头盔载有的图1A所示的功能中的至少一个功能，并且执行云装置处的图1A所示的功能中的至少一个功能；

图1C是用户佩戴的头盔的示意性例示图，该头盔被配置成利用边缘装置和云装置两者来处理由该头盔获取的信号；

图2是例示可以使用图1A至图1C所示的系统实现的许多示例能力和应用的示意性框图；

图3是示例10-20电极布置绘图的示意图；

图4是例示身体移动训练过程的流程图；

图5是例示API内的身体移动的部署的流程图；

图6是例示在源定位之前的配准(co-registration)的图；

图7是例示源定位的图；

图8是例示权重替换校准的流程图；

图9是例示针对视觉、听觉以及语音的权重预测校准的流程图；

图10是例示情绪识别过程的流程图；

图11是例示第一层视觉算法的流程图；

图12是例示第二层视觉算法的流程图；

图13是例示第一层听觉算法的流程图；

图14是例示第二层听觉算法的流程图；

图15是例示脑力命令(mental command)的执行的流程图；

图16是例示第一层语音算法的流程图；

图17是例示第二层语音算法的流程图；

图18是例示扩张卷积神经网络(CNN)的流程图；

图19是Plutchik的“普遍情绪之轮(Wheel of Universal Emotions)”的例示图；

图20是Ekman的普遍情绪的例示图；

图21是例示自由运动检测和控制的图；以及

图22是例示计算机与用户之间的双向通信路径的图。

具体实施方式

下文描述了可以实现以使得能够对用户的感知体验进行测量的系统和方法。在无限制的情况下，感知体验可以意指或者基于：

1.用户进行什么身体移动；

2.用户体验什么情绪；

3.用户正在看、想象以及记住什么(以生成的视频形式、图像形式和通过关键字描述重建的)；

4.用户听到什么声音(以生成的音频形式和通过关键字描述重建的)；

5.用户(通过意图和/或影像)向应用展示什么大脑命令；以及

6.大脑到语音和大脑到文本的观察。

与迄今为止的现有系统相比，下面的系统提供了各种优点。例如，在训练中，与依赖多个用户的方法相比，只需要一个用户执行所述训练。在训练期间，也未在传统方法中使用下面描述的源定位。如下更详细讨论的，本系统在根据单个用户的训练期间使用运动皮层(motor cortex)的源定位。

现有系统也根本没有指定信号应当来自大脑的运动区域，或者来自哪个区域。本系统指定，出于身体移动的目的，将来自运动皮层以外的区域的信号视为噪声。已经发现，在训练期间对信号进行定位可以极大地提高深度学习模型的效率。

对于本文所述的算法，现有系统使用传统的信号处理步骤，诸如伪影去除(ICA、PCA)、低通滤波/带通滤波，并且针对每个姿势/移动对来自所有用户的数据求平均，而本系统不需要中间信号处理，不使用诸如ICA、PCA以及滤波的传统方法，并且不对多个数据求平均。对信号求平均迫使现有方法使用经典的机器学习方法或回归。与传统的方法相反，本系统也不使用频带(例如通过中间信号处理步骤(例如傅立叶变换)导出的alpha、beta、gamma、delta)，或者作为用户的身体移动或脑力命令的主要指标的频带百分比。类似地，本系统不需要中间方差分析(ANOVA)、多变量方差分析(MANOVA)或者中间信号处理期间的小波变换。即，本系统将原始信号直接发送至深度学习模块，不使用经典的机器学习，也不使用传统的信号处理技术。这样，在当前描述的系统中使用“机器学习”会排除使用“经典”机器学习算法，诸如支持矢量机、逻辑回归、朴素贝叶斯法(naive bayes)。即，本文中对所述系统使用机器学习的引用是指深度模型。

可以注意，本文对传统实现的中间信号处理步骤的引用是指先验的固定方法，该先验的固定方法在将信号发送至机器学习算法(即，深度学习)之前先对该信号进行变换。诸如ANOVA、MANOVA、信号平均的固定方法用于发现诱发反应(evoked response)或事件相关电位(ERP)。例如，本系统在将数据发送至深度学习过程之前不需要将频带隔离。然而，深度学习算法本身可能会发现类似该模式的共享的模式，但是当这样做的方法没有被先验地固定时，该深度学习算法会更有效地发现这种模式，就像使用快速傅立叶变换一样。

此外，使用特定类型的神经网络来对数据的分布进行建模，例如ADCCNN(自回归扩张卷积神经网络)。

在校准方面，使用对来自多个用户的信号求平均的方法迫使现有方法使用针对所有用户通用化的通用算法。不应将这种所谓的“校准”视为校准，因为它迫使用户经历专门为他们量身定制的费力的过程。与此相反，本系统提供了一种校准身体移动的新颖方法(如果仅身体移动的子集，则参见图8，而如果对全身建模/检测进行校准，则参见图9)。利用本系统，每一个用户的模型都是个体化的，几乎不需要进行设置。已经发现本系统的计算强度较小、不那么费力、商业上可规模化并且重要的是更准确。

本系统不仅使得能够实现“连续运动控制”，而且更进一步使得能够实现以下描述为“自由运动控制”的步骤。

这些因素和差异化因素(differentiator)结合在一起使得本系统的整个途径对这些现有方法而言是独特的。

另一个需要注意的差别是，与传统方法不同，身体移动是与下面描述的其它能力结合使用的。可以使用姿势/脑力命令来控制用户界面，该用户界面也可根据用户的情绪进行调整。身体移动不仅被用作控制UI的姿势，还被用于监测用户的活动。

现在，转至附图，图1A至图1C提供了本文所述系统的示例性实现。在图1A中，用户10佩戴包括多个传感器(非侵入式或侵入式)的头盔12，这些传感器生成与某些大脑活动相对应的信号101，例如但不限于脑电图(EEG)信号。除了EEG传感器以外，可以使用能够导出表示大脑活动的信号的其它类型的神经影像硬件。例如，无论是通过超声、植入电极、ECoG、Neural Lace，还是其它硬件(例如，诸如准弹道光子的光学成像方法)，都可以测量诸如fMRI的血液流动。同样地，可以清楚，虽然下面的某些示例涉及EEG信号，但本文所讨论的原理不应限于这种实现。

在图1A中的实现中，头盔12包括板载模块14(包括硬件和/或软件)，板载模块被配置成获取信号，将信号提供给API 102(或以相似的方式操作的其它装置、系统、执行模块或技术)，以便执行、生成或提供被馈送到一个或更多个应用104中的一个或更多个能力103。可以清楚，如图1B和图1C所示，还有各种其它可能的实现。

在图1B中，模块14负责获取信号101，并且可选地执行API 102以通过网络16向云装置18(例如，服务器或平台)提供数据，所述云装置被配置成执行或实现云装置18处的API102、能力103以及应用14中的一个或更多个。在这个实现中，模块14或头盔12包括通信接口(未示出)，例如针对网络16的蜂窝连接、WiFi连接或其它适合连接。

在图1C中，模块14被配置成仅获取信号101并且将那些信号101(例如，原始格式)经由网络16和联接至头盔12的边缘装置20发送至云装置18。如利用图1B和图1C中的虚线示范的，可以实现各种配置，其中，在头盔12上处理至少一个功能，并且通过云装置18和/或使用边缘装置20执行一个或更多个功能。边缘装置20可以是定制模块或者添加至现有装置(诸如智能电话、可佩戴装置、平板计算机、膝上型计算机、游戏装置或任何其它便携式或移动装置)的能力。可以清楚，在图1所示的示例配置中，API基础架构可以利用分布式计算，诸如GPU网络或基于区块链的网络。

下面，转至图2，示出了各种示例能力103，这些示例能力一起可以形成用户10的感知体验。在该示例中，API 102从EEG头盔12接收用户的EEG信号101作为输入，并且出于图示的目的，提供能力103中的一个或更多个能力(例如，包括每一个能力)作为输出。如下更详细说明的，API 102或等效功能提供了一种核心技术(即，能力集合103)，该核心技术可以被用于驱动许多不同的应用104，而不仅是图2中以示例方式列出的那些应用。因此，出于例示的目的列出了应用104，并示范了使用所公开的核心技术可能实现的内容。

在图2中，在这种情况下，信号101是从EEG头盔12生成的，并且被提供给API 102。如图1A至图1C所示，API 102可以采用基于边缘的配置来进行部署，例如部署在移动装置、个人装置、计算机上；和/或使用至少一些基于云的软件来部署，这些基于云的软件被训练为从头盔12接收用户的EEG信号101、从用户的脑波中解码前述能力103(即，感知体验)并且提供结果作为输出。仅举例来说，可以将API 102的输出用于驱动图中所示的区域中的应用104。

解码用户的身体移动

可以首先使用在大脑的运动皮层区域上表示的扫描的信号101作为输入来对用户的身体移动进行解码。下面，参照图3，举例来说，示出了国际10-20电极布置系统，在该示例中，测量用户的身体移动的相关传感器有：

位于大脑左侧的F7、F5、F3、F1、FZ、FT7、FC5、FC3、FC1、FCZ、T7、C5、C3、C1以及CZ，它们被用作对用户的右侧身体的移动进行测量的输入。例如，移动右侧的臂、手指、腿、脚趾以及右侧的任何和所有身体部位的移动。

位于大脑右侧的FZ、F2、F4、F6、F8、FCZ、FC2、FC4、FC6、FC8、CZ、C2、C4、C6以及T8，它们被用作对用户的左侧身体的移动进行测量的输入。例如移动左侧的臂、手指、腿、脚趾以及左侧的任何和所有身体部位的移动。

一旦将API 102部署在装置或产品中(或者作为产品或装置)，就接着将从根据前述10-20布置系统布置的电极传感器接收到的EEG信号101以原始形式用作API102的输入，而没有中间信号处理步骤。API 102内的机器学习算法接收用户的EEG信号102，并且建立该身体移动能力103的过程如下。

首先，将该机器学习算法训练为对所需的身体移动进行检测。

训练：

举例来说，为了检测六种不同的(有针对性的/预定的)身体移动，通常需要有数据收集(训练)期，在该数据收集期间，用户在试验中执行六种不同(有针对性的)身体移动，同时这些身体移动的大脑信号101由EEG电极测量(如图4的301中所看到的)。在302中示出了身体移动的示例。应注意，这并非仅用于有限数量的人机交互，而是超过了该数量。一个示例是还在监测肢体语言和身体活动方面对用户的身体移动进行测量，这适用于许多应用，并且该方法扩展至在可能的情况下对每一个身体部位进行测量。根据前述传感器布置对用户生成的EEG信号101进行测量并标注(其中每一个数据时期/时段对应于在该训练时间期间执行的身体移动)。然后，在框305和/或框303中，将收集到的数据集用于按分类(即，深度学习)的方式来对机器学习算法进行训练，如下所述。

源定位：

参照图6和图7，为了收集最准确且最干净的数据来对在训练期期间收集的机器学习算法进行训练，可以(并且优选为)实现源定位。不对从传感器导出的信号101的源进行定位不会完全使这种方法失败，但仍推荐从大脑的有针对性的区域专门导出信号101，以实现最大的效率和准确度。虽然在传统上是通过使用所有可用的传感器来进行构建这种能力的尝试，但在本实现中，将来自与运动无关(并且与源定位无关)的大脑区域的数据视为噪声，因为所述数据提供了与最终结果无关的特征，这致使最终结果的准确度降低，并且被认为是这种方法尚未进行大规模的商业使用的原因。

为了进行源定位，在训练期期间正被收集数据的用户(举例来说，称为用户A)在训练期开始之前经历fMRI扫描。作为示例，使用诸如Polhemus-Fastrak的3D数字化解决方案，以便将用户头部上的点数字化。使用用户A的fMRI扫描和数字化解决方案的输出将数字化的传感器点与用户A的大脑解剖体配准，如在图6中看到的。这里采用了逆建模，以及信号处理领域的技术人员已知的诸如LORETA、sLORETA、VARETA、LAURA、收缩LORETA FOCUSS(SLF)、Backus-Gilbert、ST-MAP、S-MAP、SSLOFO、ALF的多种技术，以及射束成形技术、BESA、像MUSIC和由其导出的方法的子空间技术、FINES、模拟退火以及计算智能算法中的一种。确定采用这些技术中的哪种技术的主要因素取决于是否有固定数量的传感器。图7例如被针对视觉系统定位，如在下面描述的有关视觉系统的章节中所看到的。

一旦完成针对所需的大脑运动皮层区域的源定位，并且收集到训练数据，就将这些训练数据直接提供给框305和/或框303的用于训练的机器学习算法，如下所述。

尽管可以使用传统的机器学习方法，但卷积神经网络(CNN)对于检测身体移动特别有利，并且在实践中已经实现了超过96％的准确度。可以清楚，通过利用(移动的)不同类别的更多数据示例来对深度学习算法进行训练，可以添加超过六个身体移动，其中将神经网络的超参数和权重进行了相应优化。利用更多的训练数据，所述算法变得更加准确。

传统上，EEG信号101是使用已知的信号处理技术来进行滤波的，作为这些技术的示例，就比如带通滤波、低通滤波以及其它技术(例如ICA(独立分量分析)、PCA(主分量分析))。然而，当前描述的实现未采用这些技术中的任何技术，通过这种实现可以更有效地构建并使得深度学习算法能够对所需信号101进行检测，而不是依靠这些传统的方法。传统方法包括：对每个类别的信号求平均，以发现所谓的“诱发反应”(特定类别的身体移动的平均信号)，或者发现如同P300的事件相关电位(ERP)；在中间信号处理期间将频带隔离；应用小波变换；然后训练诸如逻辑回归(Logistic Regression)的算法或其它“经典机器学习算法”。

由于CNN(以及其它深度学习模型)需要大量的数据进行训练，因此本实现不对信号求平均(这减少了可用于对算法进行训练的数据的量，因此需要来自多个用户的数据，由于这些用户的大脑不同，这将为所有用户生成通用系统)，而是将网络进行优化以在直接提供给该网络的所有原始训练例当中找到共享的模式，如在图4的框305和框303中所看到的。

有三种变体来对框305和框303进行训练。第一种变体是直接根据原始数据来对框303中的CNN模型进行训练。

第二种变体是构建一种算法，该算法首先通过同一算法内的两个(或多个)不同的模型(而非只是一个模型)来学习信号的特征表示，如在图4的框305和框303中所看到的。第一阶段是学习EEG数据的特征的模型(例如长短期记忆网络(LSTM))，该模型为每个标注的数据时期输出特征矢量，并且提供该输出作为第二模型的输入。第二模型是CNN，该CNN从LSTM或扩张CNN接收特征矢量作为输入，并提供测量到的(身体移动的)类别作为输出。如在305中看到，可以在303中采用CNN，其中第一模型是扩张CNN，该扩张CNN可以在长时间的时间动态范围内学习EEG数据的特征。

第三种变体是构建直接从301接收信号的自回归扩张因果卷积神经网络(ADCCNN)，并向该ADCCNN添加可选的“学生”模块，这允许ADCCNN在生产中部署时快一千倍。这将在下面的章节中更详细地说明。

将所述ADCCNN训练为提供指示所述用户正在做出什么身体移动(这些身体移动是同时发生的)并且按顺序方式指示所述身体移动的类别的输出。意味着出于该能力103的目的，ADCCNN接收(take in)一系列信号，并且将与检测到正被用户所执行的什么类别相对应的一系列样本作为输出。

在利用定义的身体移动对所述算法进行训练之后，所述系统具有预先训练的模型，该预先训练的模型连同其通过训练的优化的权重一起部署在API 102内，以用于通过脑波对身体移动进行解码的目的(如在图5中看到的)，从而在405中提供输出以驱动406中的任何应用。

当新的用户开始使用API 102时，他们的大脑因神经可塑性而不同，从而为每个类别提供不同的值(变体的程度取决于每个用户)。为此，对于API的任何新用户，都可以在很短的时间量内有效地完成校准。

校准

下面，转至图8，示出了权重替换校准过程。

部署的预先训练的深度学习模型已在703中学习了EEG数据的特征。更具体地，随着所述系统变得更“深”(意指神经网络的下一层)，网络的每一个层获知信号的特征，这些特征不太抽象而是更特定于训练数据集的用户10的大脑。举例来说，这里的训练数据集是从用户A的大脑收集的，并且用户B是首次使用该技术的人。而且举例来说，针对由用户A执行的六种身体移动来对所述网络进行训练。

然后，通过连接至API 102的界面要求佩戴EEG头盔12的用户B再次执行所述六类身体移动。这克服了不同的大脑的问题，因为用户A的训练过程与用户B的校准过程之间存在巨大的差异。首先是用户A第一次对神经网络进行训练非常广泛且耗时，并且应当在诸如实验室的受控环境中进行，同时用户A仅移动他的身体来执行训练类别的运动，而他的身体其余部分保持静止。用户B的校准是在很短的时间量(例如，在六个类别的情况下为15秒)内完成的，这取决于他/她所被要求执行的类别的数量。

校准可以在其中用户可以处于任何地方的商业环境中进行，而不是受控的环境。还大大降低了计算强度。虽然训练深度学习网络在一个普通的CPU(中央处理单元)上要花费数天，或者可以使用GPU(图形处理单元)以几小时、几分钟或几秒钟来进行训练(这取决于训练利用了多少个GPU)，但它仍需要非常密集的计算力才能将训练时间缩短至几秒钟或更短。这种方法的必要条件是，用户B以比在用户A的训练期间使用的数据集小得多的数据集来进行校准。例如，发现每个类别有五个样本就足以使所提及的CNN能够为用户B进行校准，同时实现近乎完美的准确度。

该校准过程是通过以下步骤来完成的：使用具有针对从用户A导出的数据进行了优化的权重的相同的预先训练的深度学习模型，但去除了所述网络的最后一层(最终层)，并且将该最后一层替换成以用户B的信号的权重加以重新优化的新的层，参见图8中的704。通过这种‘学习迁移’方法，用户B仅需通过几个训练例、在很短的时间量内、在商业环境中并且以计算有效的方式就可以开始使用该技术。

可以注意，网络越深(层数越大)，所述系统就更有可能需要重新优化最后两层或更多层，因为如上所述，层数越深，这些层就越特定于用于初始训练的用户A的数据。在上面提及的CNN中，仅去除最后一层比去除最后两层更有效。

还可以注意，由于神经可塑性，预计用户B的大脑会随着时间而变化。因此，理想情况下，建议每周或每两周在非常短的时间量内进行校准，以确保持续实现最大的准确度。由于每个用户的神经可塑性变化率根据年龄和许多其它因素而不同，因此不存在多长时候进行一次校准的理想速率。

虽然传统上，根据用户的大脑信号对用户的身体移动进行建模来驱动应用104的任何尝试已经按以下方式进行了定位：当新的用户开始使用该方法时，该方法是从零开始或者从通用基线开始专门针对新用户的大脑开始学习，但本说明书描述了图8和图9中的并且在上面描述的两种新颖的校准方法，这两种新颖的校准方法提供了许多优点(例如在很短的时间量内进行校准、在计算方面是最低强度的)，使得任何用户都能够在商业环境中进行校准，并且所述算法不是从零开始学习的，这意味着需要较少的训练例来进行校准，同时保持了非常高的准确度水平。

一旦针对新用户的大脑对API 102进行了校准，API 102就将以最大的准确度对用户的身体移动进行检测，这可以与其它能力103(如下面将描述的)结合使用，来驱动许多应用(参见图5中的要素406)。

该能力103的结果可以用作其它能力103中的任一能力的输入，和/或与其它能力结合以用于应用104。

传统上，使用用于消除伪影的诸如滤波(低通滤波、带通滤波)的固定的预处理技术并且使用像ICA或PCA之类的技术来对EEG信号101进行滤波，以便在针对信号对机器学习算法进行训练之前预处理所述信号。在该预处理期间，对每个给定的类别/运动的身体移动的信号101求平均，以发现还称为诱发反应的平均反应、事件相关电位(ERP)或者进行其它传统信号处理(例如P300)，然后将结果用于训练“经典机器学习”算法(诸如逻辑回归或统计相关器)。

由于深度学习算法的使用需要大量数据，因此这迫使实施者采取此类经典机器学习算法。对训练用户的信号求平均(例如，假设用户在训练期间进行了100次特定的运动)将得到作为表示该运动的所有100次的平均值的一个信号。

从而，实施者需要针对每个给定的运动从多个用户生成数据，以便针对给定的运动对所有用户的信号求平均。这样做是为了针对每一个给定的运动使用从所述多个用户生成的信号的平均响应，并且使用传统的经典回归器或相关器进行匹配，使得经典的机器学习算法能够推广至超过一个用户。这为所有用户创建了被认为比本系统所使用的实现的准确度低得多的通用模型基线。如果用户想要更准确的类别/运动检测，那么这些用户需要重新进行所述训练步骤，并且在许多试验中使用这些用户自己的神经系统数据，这特别是对于提供商业可扩展性来说重做起来非常麻烦并且效果不佳。

本实现不采用所提及的传统上使用的技术中的任何技术。发现在没有中间信号处理步骤的情况下，对于给定的类别/运动，使用深度学习在所述信号之间发现共同的共享模式会更有效。举例来说，如果用户在训练期间执行特定的运动100次，则不对所述信号求平均，而是将该运动的100次试验作为输入给予深度学习算法。这意味着该方法不需要多个用户进行训练，这意味着该方法在部署到商业环境中时，不那么麻烦、成本更低、效率更高并且更准确(尤其是在实现图8和图9中的新颖的校准时)。

本实现确实将源定位作为特定于大脑的运动皮层区域的训练过程的一部分(这在传统上是没有做到的)，并且只需要一个训练用户就可以收集到所述实现所需的数据。不是必须依靠准确度低的通用检测器，或者必须针对所有类别/运动进行重新训练的非常麻烦的个体化校准，本实现使用本文所讨论的新颖校准方法。如果用户要校准较少数量的类/运动，则进行权重替换校准，而如果用户想要校准所有类别/运动的整个身体建模，则进行权重预测校准，如本文所述的。

另外，本实现不仅使得能够对用户的连续运动进行检测(这被认为是对身体移动进行建模的自然要求)，而且使得能够实现这里所称为的“自由运动控制”。这种以前未进行过的自由运动控制的概念使得能够在所有自由度上以任何程度对用户的身体移动进行建模。

每个运动在本质上都是连续的。对运动的检测是其中在框406中对每个类别/运动的运动和速度序列进行建模的所生成的序列。然而，传统上，例如将运动检测/分类为上、下、右、左，并且检测所述序列有多长类似于一个人将手臂向右移动或将脚向前伸展的程度/水平(此处的程度意思是范围-是与和上面和下面提及的自由度不同的含义一起使用的)。如果用户将手按对角移动，那么传统上，所述检测例如是左上、右上、左下或右下。因此，这是对连续运动的检测，而不是对自由运动的检测。

如在图21中看到的，本实现使得能够根据身体部位的位置来对该身体部位的运动进行精确建模，并且不限于某些自由度。因此，这不仅使能实现连续的运动检测和控制，而且使能实现自由的运动检测和控制。在框406的输出中，对被用作示例而示出的图21进行建模，该图21是对用户的精确身体移动来进行建模的。框406在长度上的顺序输出确定连续的运动、对移动和速度的精确建模。

例如，用户将手以100度角按对角移动，对于每个时期/时段，框406的输出将是三维值。由图5中的API 102检测到的输出将为1.1.5-第一个值类似总体方向(上)、第二个值类似于精确的方向度数(上偏右10度)，并且第三个值类似移动的速度。输出的顺序性质(意思是一个时期接着一个时期)类似移动的连续(且显而易见)的性质。一旦用户的手停止移动，输出的方向值回零至预定义的值，类似于在任何方向上都没有运动。这使得能够实现自由运动检测和控制，即，不仅比传统的方法先进，而且对于使得能够实现对例如假肢的完全自由控制是至关重要的。

解码用户的情绪

现在，描述使用API 102根据用户的EEG信号101来对情绪进行解码。该能力103使得API 102能够检测用户的情绪。第一步是对要检测的情绪进行分类。将情绪按以下多种方法进行分类：

第一种变体是所谓的Ekman的六种普遍情绪：快乐、悲伤、惊奇、厌恶、恐惧以及愤怒。这些情绪是普遍的。图20中对Ekman的情绪进行了分类。

情绪的第二种分类是Plutchik之轮(参见图19)，它是相同的六种普遍情绪的变体，并且还包括信任和希望-总共8种普遍情绪。

第三种变体包括前两种变体并增强或扩展成还包括任何其它有针对性的专用情绪和精神状态(例如动机)，以及注意力程度。本系统能够对作为普遍情绪的组合的复杂情绪进行检测，这是一种在以前的方法中未实现的能力。可以清楚，情绪的组合也可以产生更新的见解。

所生成的信号是根据向API 102流传输的数据所有可用的EEG传感器导出的，如在图10的901中看到的。

举例来说，选择第一种变体(即，Ekman的六种基本情绪)来提供如何建立、训练以及部署自动检测这些情绪的API 102的示例。

出于收集训练数据集的目的，将名称用户A给予在训练期间呈现并经历数据收集期的用户。

用户A的EEG信号101是从所有可用的传感器测量的并且同时在表达情绪，该数据用目标预期的引发情绪来标注。

可以以多种方式来引发情绪。举例来说，第一种方法是要求用户写下与情绪相关联的记忆。例如，在训练期间要求用户写下快乐的记忆，然后在引发所述情绪时收集训练数据集。由于每个人的情绪的主观性质，因此考虑到用户的主观输入。举例来说，第二种方法是向训练用户呈现音频/视频，并接收他们关于所引发的情绪的类型的主观输入，以及他们如何将引发的情绪的级别从1-10分级，并将该级别用作更有效地训练深度神经网络的指标。因此，描述了对目标情绪进行分类的示例方法，描述了引发情绪的示例方法，并且描述了对引发的情绪进行分级的示例方法。

在定义了目标情绪(在该示例中，Ekman的情绪)之后，例如，通过要求用户A写下情绪记忆，同时测量他们的信号，要求他们主观地对自己的情绪进行分级，并且通过体验视听并同样主观地对他们的情绪反应进行分级，从而引发情绪。从EEG传感器收集的数据被标注有预期(客观)和用户输入的体验(主观)。

将数据分成与每一种引发的情绪的标注的试验相对应的多个时段(也称为数据时期)。然后，将标注的数据提供给深度学习算法用于训练，以便将来对分类的情绪状态进行分类。没有中间信号处理步骤，例如诱发反应、ANOVA、MANOVA、小波、FFT或其它变换，并且没有先验地以固定的方式隔离频带来对算法进行训练。该算法直接取得原始数据，通过深度学习进行训练，并且包括许多模型。

举例来说，有关识别上述类别的三种变体中的任何一种变体的用户情绪和精神状态，将提供四种新颖的方法来构建和训练深度学习算法。

首先，使用以下过程来构建和训练深度学习算法：

此处使用的对情绪进行解码的算法是由两个深度学习模型组成的。第一模型是902中的LSTM，它是一种递归神经网络(RNN)类型，并且在这里被用作第一模型，其接收原始EEG信号101，学习这些信号的特征，并且提供所述特征作为特征矢量的输出，该特征矢量被用作第二模型的输入。

此处使用的第二模型是框905处的CNN，该第二模型以第一模型提供的特征矢量为输入，并且还以分类(深度学习)的方式进行训练，以通过用户的EEG信号101准确地检测出用户正在经历什么情绪。

深度学习算法不限于这两种类型的模型，而是有利地或优选地采用以下两个模型：第一模型是RNN，RNN对在一时段内获得和学习EEG的特征是理想的，因为网络具有内部“记忆”，该“记忆”在长时段内将短期记忆中的过去数据用作输入，以更有效地训练网络并生成结果)；第二模型是CNN，该CNN获得LSTM提供的特征矢量块(block)。一旦训练了该算法，就将该算法视为“预先训练的”算法。由于用户可以同时体验超过一种情绪，因此按照尺度1-100独立地检测所述情绪中的每一种情绪方面，来对该算法进行训练。

针对从用户A收集的数据集来对深度学习算法进行训练的第二种方法可以包括以下内容。

第一模型是构建特定于可用EEG的每一个通道的LSTM 902。在表示特征方面，这里与第一种方法的差异在于，每一个通道都使用LSTM。从而，如果有28个通道在流传输数据，那么就有28个LSTM模型，每个LTSM模型都取得通道的原始数据，并且输出该通道的特征矢量，这与所有通道共享LSTM的第一种方法形成对比。

然后，将每一个通道的特征传递到所述算法的第二部分，该算法是905处的CNN模型，该模型接收每一个通道提供的特征矢量，并使用1-100的尺度输出每一种选择的情绪的分类。

针对识别情绪来构建和训练深度学习算法的第三示例方法可以包括以下内容。

可以将从传感器101导出的EEG数据馈送到具有两层学习模型的算法中。第一层本身包括两个模型-框903中对用户的信号进行标绘的模型，和框902中的LSTM模型，该LSTM模型从EEG通道(每一个通道或所有通道)输出所表示的特征的矢量。

第二层是905的CNN模型，该CNN模型接收两种类型的输入-每个时期的所标绘的值的图像，和每个时期的LSTM生成的特征矢量。利用来自第一层的输入对CNN进行训练，其中CNN的超参数和权重得到了对应优化。

已经发现使用针对图像进行预先训练的CNN，并且去除该CNN的最后4层(或多或少取决于所述网络的深度)，然后利用所述标绘的值图像和每个时期的特征矢量来重新训练该模型更为有效，并且可以减少对更多训练数据的需求。

第四种方法是构建自回归扩张因果卷积神经网络(ADCCNN)，该网络将直接从901到905取得信号，或者首先在902中具有通过LSTM学习到的信号的特征，接着将902提供的特征矢量的输出作为905中的ADCCNN的输入。下面，将进一步详细说明ADCCNN。可以将附加的学生模块添加至ADCCNN，以获取下面进一步说明的优点。该方法也没有采用上面提及的固定的中间信号处理步骤中的任何步骤，而是将信号直接发送至深度学习过程/模块。

然后，将使用第一种训练方法、第二种训练方法、第三种训练方法或第四种训练方法进行训练的算法视为经过训练的算法。

将经过训练的算法部署在API 102内，用于检测如在906中看到的对用户的情绪的目的。使用上述第一种训练方法，已经在实践中发现该算法的准确性超过98％，而且可以通过进一步优化所述网络的参数和权重(利用更多的训练例)，或者通过向所述算法的模型添加第三种模态来进一步改进该算法。

现在将说明何时使用API 102来对新的用户的情绪进行检测。

举例来说，用户A是收集其数据以训练所述算法的用户，而用户B是新用户。向用户B呈现与在训练期间向用户A呈现的刺激相同的刺激，以确保有效的校准。也使用相同的分类和分级方法。经由上述的校准“学习迁移”过程-如在图8中看到的权重替换校准，通过在703中定位情绪的经过训练的算法，并在704中使用用户B的输入来替换权重，从而针对用户B来校准深度学习算法。

然后使用权重替换过程来替换所述算法的权重。这使得API 102能够通过用户佩戴的传感器从所述用户的大脑接收EEG信号101，并按照1到100的尺度准确地提供有关用户感受到什么情绪的输出。举例来说，用户可能是80/100的愤怒，和40/100的悲伤，或者100/100的快乐和60/100的惊奇。重要的是，以前尚未知道的另一种方法是组合分类的情绪以导出对新的情绪的测量结果。作为示例，在图19中，既感到恐惧又感到信任的用户可能暗示服从的感受，感到恐惧和惊奇的用户可能暗示用户敬畏，感到惊奇和悲伤的用户可能暗示用户不赞成等等。

可以实现附加的第三模态来接收由框906生成的关于用户感受到的分类的普遍情绪的什么组合的输出(参见图10)，并且使用该数据来深入了解用户感受到的更复杂的情绪。

通过EEG对情绪进行检测也可以与面部情绪识别、心率、皮肤电反应(GSR)或者在更准确地提供用户对刺激的情绪反应方面辅助API 102的任何其它单独的模态相结合。

这个能力103在被部署在API 102内之后可以与各种应用104的其它能力103组合使用，如下面所描述的。

该能力103的结果可以用作其它能力103中的任一能力的输入，和/或与其它能力结合以用于应用104。

解码和重建用户的视觉

关于重建视觉，EEG信号101是从布置在大脑的顶骨区和枕骨区上的传感器导出的，所述传感器包括但不限于：

图3中所示的P7、P5、P3、P1、Pz、P2、P4、P6、P8、PO7、PO3、POZ、PO4、PO8、O1、OZ、O2。

另外，还可以从在对象分类中涉及的顶叶、下颞叶皮层以及前额叶皮层导出输入。可以清楚，可以在需要时将附加传感器添加至头盔12，以例如针对下颞叶皮层和前额叶皮层，来获得指示大脑活动的信号。

为了按话语或关键字来解码用户正在观看的内容，如在图11的1002中看到的，可以测量用户A的EEG信号101(数据被用于在训练期间收集数据集的用户)，以便训练深度学习算法。

用户A经历了fMRI扫描，使用诸如Polhemus-Fastrak的解决方案将这些用户的头部点数字化。如在图6中看到的，将fMRI扫描和数字化都进行了配准，并且EEG信号101的源是从上方的传感器定位至以下区域的：

V1-V4、梭状面部区域(FFA)、枕骨外侧皮层(LOC)、海马旁区域(PCA)、覆盖上面列出的区域的下视觉皮层和上视觉皮层(整个视觉皮层)，如在图7中看到的。

用户A观看诸如图11中的1001的目标图像类别的图像示例。根据前述用于视觉的传感器布置，从传感器中导出EEG信号101，并将EEG信号存储为原始EEG信号101，在此称为“视觉训练数据”，该视觉训练数据被对应地进行了标注和拆分。

构建机器学习(例如，深度学习算法)并加以训练以对视觉训练数据进行分类。已经发现，RNN是学习时间序列EEG数据的特征的理想网络。然而，这种方法不限于LSTM，举例来说，可以使用RNN，如在框1003中看到的。已经在实践中发现LSTM可以实现97％的准确度，而且可以通过添加更多的数据、更多的层并相应地将所述网络的超参数及其权重进行优化来进一步提高准确度。

一旦针对任何特定类别的图像，对响应于图像的刺激的原始数据的EEG特征进行了训练，深度学习模型就可以准确地分类用户以前未见过的属于该同一类别的图像。

然后，将深度学习模型连同及其权重一起部署在API 102内，准备好接收数据并提供用户正在按关键字描述观看什么类别的图像作为输出，如从这些用户的EEG信号101中检测到的。

通常需要如上所述的校准以从由训练用户收集的视觉训练数据校准到新的环境(例如，商业环境)中的新的用户，如在图9中看到的。举例来说，在框801处的用户A是训练用户，并且在框802处的用户B是该技术的新用户。向用户B呈现图像，接着计算用户A对图像“A”的响应与用户B对同一图像“A”的响应之间的权重差异，并且针对许多图像进行该过程。通过上述学习方法的迁移，将每一个图像的权重差异用于重新训练深度学习模型的最后一层(或更多层，这取决于所述模型的深度)。

例如，假设将所述模型训练为识别用户A看到的一百个对象。当用户B开始使用API时，举例来说，向这些用户B呈现五个对象的图像。对象A1、A2、A3、A4以及A5。

用户A训练的每个类别的权重为：A1为X1、A2为X2、A3为X3、A4为X4并且图像A5为X5。

当向用户B呈现相同的五个对象A1、A2、A3、A4以及A5的图像时，针对用户B重新训练了所述网络的最后一层(或更多层)。针对用户B的权重为：A1为Y1、A2为Y2、A3为Y3、A4为Y4并且A5为Y5。然后，将权重预测提出为：计算图像A1的Y1与X1之间的差异、图像A2的Y2与X2之间的差异、图像A3的Y3与X3之间的差异、图像A4的Y4与X4之间的差异以及图像A5的Y5与X5之间的差异(参见框805)。

给定每个图像A的X与Y之间的差异，对图像A6至A100的所有其它类别Y6至Y100的权重进行预测，给定X6至X100的已知值，实现权重预测校准(参见框806)。

这种校准方法可以使得深度学习模型能够在很短的时间量内，以最小的计算强度有效地自适应新的用户的大脑，使得在商业环境中被新的用户使用变得切实可行(参见框807)。

关于根据用户的EEG信号101来生成这些用户正在观看什么内容的视频或图像表示，这是大脑的视觉系统的逆过程。传播到人眼以使他们能够看到的光被转换成表示大脑的皮层区域的电信号。因此，该过程使用在大脑的皮层区域上表示的电信号来生成该人正在通过该人的眼睛观看的图像或视频。

为了根据EEG信号101以视频形式(或图像形式)生成用户正在观看的内容，这可以以两种可变的训练方法来实现。

在第一种变体中，训练用户A观看属于特定类别的图像，并且将这些特定类别的图像的数据用作原始信号来对神经网络进行训练以根据EEG信号101生成图像(参见图11中的框1001)。

在第二种变体中，训练用户A观看具有形状和颜色的图像、这些图像的变体和抽象以及绘图的构件，有效地收集数据以对神经网络进行训练以根据用户A的EEG数据来绘制和生成形状(以及抽象形状，包括颜色)。

构建了可以是两个层中的一个层的算法(并且这些层中的每个层还具有第三模型和第四附加模态)。

如在图11中看到的，在第一层中，构建具有三个模型和第四附加模态(可选地，具有更多)的深度学习算法。

第一模型是学习和输出表示所提供的原始训练数据的EEG数据的特征的矢量的网络。因此，当用户A正在观看形状、颜色以及它们的抽象时，学习EEG数据的特征以对用户A进行训练。递归神经网络(在这种情况下，框1003处的LSTM)被发现是理想的，然而这并不限制此处可以部署哪种类型的网络来对特征进行学习。构建第二模型，该第二模型接收第一模型的输出并使用这些特征来生成图像或视频，即，与训练用户(在第一种变体中)查看的原始训练图像尽可能接近(并且在大量训练之后变得精确)，并且如果部署了第二模型，那么该第二模型可以在通过第二个训练变体对神经网络进行训练时重新绘制(重新生成)在训练期间未见过的图像。

该算法的第二模型可以是变分自动编码器(VAE)、卷积自动编码器、或生成对抗网络(GAN)、反卷积生成对抗网络、自回归模型、堆叠式GAN、GAWNN、GAN-INT-CLAS或者以上项中的任一种的变体，以根据第一模型的输入特征来生成输出。在这种情况(GAN)下，将所述网络的第一模型(LSTM)的特征输出用作GAN的两侧的输入-框1005处的鉴别器和框1004中的生成器。在框1006中，生成器生成图像，并且鉴别器评估所生成的图像/视频相对于来自框1001处的图像有多准确，并为所述网络的生成部分提供反馈回路，以在对网络进行训练时改善该生成部分。

一旦进行了部署，第二模型就在记录用户的EEG数据的时候，以视频形式(或图像形式)准确生成用户正在观看的内容，因为这些用户正在感知视觉刺激，如可以在框1007和框1012中看到的。通过第二种变体进行的训练克服了传统上已知的“视觉开放问题(openproblem of vision)”，该问题指出在世界上存在无限数量的对象(因为这些对象在不断的增加)，并且不可能对所有对象进行分类。通过使得所述网络能够在不需要在训练的第一种变体中被专门训练为对该对象进行识别的情况下来生成任何图像或视频，从而克服了所述问题。经由框1010至框1008之间的反馈回路以及框1110至框1108之间的反馈回路，还在对对象进行分类方面而不仅仅是绘制这些对象方面克服了所述问题。

图12所示的实现图像/视频生成的第二层可以如下来实现。

首先，所述系统在BCI领域构建了独特模型。该模型基于在框1106处应用的ADCCNN，ADCCNN展示了非常大的接收场，以处理为对大脑信号的分布进行建模和根据大脑信号生成像素所需的输入数据的远程时间动态(long ranged temporal dynamics)。ADCCNN直接从框1102取得输入。

数据时期/时段内的每个样本以具有处于该时期以及该时期之前的时期内的所有先前的时间戳的样本为条件。该模型的卷积是因果关系的，意味着该模型仅从先前的数据中取得信息，而不考虑给定的序列中的将来数据，从而保留对所述数据进行建模的次序。由所述网络提供的预测是连续的，意味着在预测了每个序列之后，将该序列反馈到所述网络中以预测所述序列之后的下一样本。

可选地，可以添加“学生”前馈模型，如在框1105中看到的，从而使框1104处的经过训练的ADCCNN作为教导模型。这类似于生成对抗网络，所不同的是，学生网络不会像生成器利用鉴别器所进行的那样来欺骗教导网络。相反，学生网络对ADCCNN的分布进行建模，在不必一次生成一个样本的情况下，这使得学生能够在并行处理下进行操作时进行像素的生成，从而实时进行输出生成。这使得本系统能够利用ADCCNN的学习强度以及学生网络的采样(这被建议为逆自回归流(IFA))。这会将通过教导网络学习到的概率分布提取给学生网络，该学生网络在被部署到生产中时，可以在产生输出时比教导网络快数千倍。这意味着结果(在添加学生网络时)可以从第一个像素到最后一个像素一起生成，而在此之间不需要一次生成一个样本，从而随着像素的数量来提高输出分辨率。

无论是使用第I层(RNN和GAN两者的变体)，还是使用第II层(CNN的新颖变体，其中附加的学生网络的以通过使该学生网络能够并行计算来加速处理的方式来对所述分布进行学习)，第I层的输出或第II层的输出是在框1107/框1007中生成的视频(并且可以是图像)。

第三模型是视频/图像分类模型，该视频/图像分类模型在框1008处连续扫描从第二(生成)模型生成的图像和视频并准确地标注这些图像和视频内部的内容。这是已知的图像/视频分类器，并且可以由建立计算机视觉深度学习模型领域的技术人员来构建。这里可以使用CNN或DCNN，或者这些网络中的一种网络的变体。优选地，利用预先训练的API 102，该预先训练的API 102能够对图像内部的内容进行识别、分类并利用描述对所述内容进行注释。

框1008中的第三模型用于对第二(生成)模型的所有输出进行标注和注释，以便通过用户正看到的关键词来创建可搜索的数据库。这将使得用户能够迅速搜索他们自己的数据库以找到他们看到过的特定事物，而不必筛查随时间的推移而生成的所有视频(和图像)。

框1009处的第四模态是“网络爬虫”零样本(zero-shot)学习，该网络爬虫零样本学习使得框1008中的第三模型能够通过使用来进行独立学习，而无需通过提供从框1010到框1008的反馈来对更新的类别进行明确训练。可以向所述网络提供可选的输入，以在操作时辅助该图的其它组件，例如从另一个能力103导出的用户的情绪状态(在框1013中)。另一示例是彻底在暗中的大脑到语音功能，其中，用户可以从框1013到框1009向网络爬虫提供输入，以便执行使用框1007的结果的功能-例如，看着名人的脸的用户可以在暗中说“系统，这个名人是谁？”。

下文讨论的大脑到语音组件解释如何通过大脑到语音和文本能力来理解这种大脑到语音功能，该大脑到语音和文本能力将触发从框1013到框1009的命令，以执行Web搜索并且返回通过界面提供给用户的框1011中的查询响应，该界面举例来说，示出名人的照片、他们的名字以及他们的传记描述和例如他们拍摄的电影。

举例来说，当在部署之后被使用时，在该示例中，用户正在观看一只小熊猫，并且框1008中的第三模型先前未被训练为对小熊猫进行识别。该第三模型向网络爬虫提供注释，作为对生成的视频的描述：它是动物，该动物有红棕色的毛皮、蓬松的长尾巴、蹒跚的步态、脸上的白色标记。框1009中的第四(网络爬虫)模态使用该注释通过搜索引擎(例如Google)或者网站(例如Wikipedia)和/或其它信息源来浏览web，并返回有90％的可能是小熊猫以及有10％的可能是浣熊的概率响应。

第四模态还可以将通过GPS、其它位置服务或者任何其它输入(例如用户偏好、社交媒体信息、其它生物传感器)输入的用户的位置作为辅助该第四模态的搜索的附加特征，其中，例如，已知小熊猫主要分布于中国西南地区，并且处于该区域的用户的位置输入将表明它是小熊猫的可能性更高。这使得框1008中的第三模态能够独立地学习以对从第二模型生成的内容进行分类。用户可以将其用作“视觉的沙赞(Shazam)”，这意味着如果存在某种类型的花朵、动物、物体或者用户不熟悉的有生命或无生命的任何其它事物，则用户可以通过观看它，从第三模态和第四模态两者(框1008、框1009、框1010)的结果接收用户正看到什么的反馈。

附加的第四模态也可以连接至另一数据源(例如，具有每一个人的图像以及有关这些人的描述的数据库)，识别该人的面部并通过界面向用户提供该人的传记或者他们的维基百科(Wikipedia)页面，识别他们是否是名人，并且作为示例描述什么电影里有他们。举例来说，第三模态和第四模态还可以通过从在框1007中生成的视频/图像中识别对象来进行工作，在用户购物时提供该物品在其它商店的价格，以便使用户获知该物品在哪里有售，并且得到通过框1011返回给用户的最具竞争力的价格。用户可以通过界面上的按钮触发搜索物品的有竞争力的价格的命令(也可以通过如下所述的脑力命令来触发该搜索命令)，或者通过从框10013到框1009在暗中提供命令来触发该搜索命令：例如“系统，告诉我这种电视机在哪些商店有折扣/有竞争力的价格？”。这些示例例示了API的用法，并不意味着限制其应用104的范围。

可选地，可以通过界面将所述概率返回给用户，并要求用户输入关于第三模型和第四模型对所生成的图像/视频中看到的物理特性的分类是否是正确的输入。作为框1010与框1008之间所示的反馈回路，这将进一步改善第三模态的自学习。

接着，可以实现如图9所示并且在上面说明的权重预测校准。

一旦训练了四个模态的算法(前三个模态是机器学习(例如，深度学习)模型)，并且将第三模型附接至第四(网络抓取)模态，并将第四模态连同其上下文必要的信息(例如权重)一起部署在API 102内，该API 102就将准备好接收新的EEG信号101，并以视频或图像形式生成用户正在观看的内容，可以将对用户视觉的描述用作识别未知的有生命/无生命的事物的方法，并且用作用户的根据命令的视觉助手，因为该命令是通过框1013中所述的另一能力发送的，或者是通过用户在其用户界面上可用的按钮发送的(也可以通过如下所述的脑力命令来触发)。

当新的用户B佩戴EEG头盔12时，这些用户B将使用上述权重预测校准方法在第二种训练变体中利用相同的训练数据来进行校准。一旦对所述用户B进行了校准，该API 102就接收从用户B正佩戴着的传感器导出的原始数据，并且按关键字(描述)以视频形式(或者可以是图像形式)来生成用户正在观看、记住以及成像的内容，并且在第三模型和上述附加模态的框1011中提供功能值。

该能力103的结果可以用作其它能力中的任一能力的输入，和/或与其它能力结合以用于应用104。

解码和重建用户正在听到的内容

对于该能力103，可以从大脑的听觉皮层导出信号101，如在图13的框1201中看到的。在该示例中，推荐的电极位置为：

大脑左侧的A1、T9、T7、TP7、TP9、P9以及P7；和

大脑右侧的A2、T10、T8、CP8、CP10、P8以及P10。

举例来说，作为将要经历训练过程并且其数据被用于训练的用户的用户A经历fMRI扫描和头部点数字化。如在图6中看到的，将用户A的fMRI扫描和数字化的头部点都进行了配准。如在图7中看到的，还执行了源定位，但是被定位至负责处理听觉信息的区域，即，大脑两侧的整个听觉皮层。

将要描述的用于收集训练数据集并且可以被用于训练神经网络的变体有两种。

第一种变体是在框1202/框1302中从收听目标话语的训练用户(用户A)收集数据集(参见图13和图14)。将该训练数据集连同所述话语的文本(例如作为音频派生品的话语“Hello”的声音连同文本“Hello”)作为输入馈送到要进行训练的神经网络算法中。

第二种变体是在框1202/框1302中利用用户A正在收听分类的音系学(Phonology)(即，组成话语的字母和音素)来收集训练数据集。举例来说，针对每个字母来进行“A、Ah、B、Beh”以及它们的变体。在训练期间测量信号101，并根据所呈现的刺激来标注该信号。

在选择了两个层(图13中的第I层和图14中的第II层)中的一个层之后，构建可以作为所述两个层中的一个层的算法，并且可以将附加的第三模型和第四模态添加为所述算法的一部分。

参照图13，构建第I层的方法可以表征如下。

构建神经网络，即，通过构建具有两个不同模型的算法来构建该神经网络。第一模型可以是如在框1203中被构建为对特征进行识别的LSTM模型。该模型可以是初始输入层处的用于获得时间序列的特征的LSTM以与此后的卷积层的混合体，或者可以是被设计为获得从传感器导出的时间序列EEG数据的特征的另一类型的神经网络(优选为递归神经网络)。第一模型被用于学习响应于声音而出现在皮层区域上的EEG数据的特征，并且生成特征矢量的输出，该特征矢量连同原始的声音以及对用户A所听到的内容的转录一起用作第二模型的输入，该第二模型在图13中是所述GAN。

第I层的第二模型可以是VAE、卷积自动编码器、VAE的变体、或者生成对抗网络(GAN)、反卷积GAN、自回归模型、堆叠式GAN、GAWNN、GAN-INT-CLAS或者上述项中的任一种的变体或替代物。第二模型将所述特征作为输入，并且以音频形式生成用户A所听到的声音。在框1205中，生成器生成声音，并且鉴别器评估所生成的声音相对于应当来自在框1202处听到的声音有多准确，所述系统可以为所述网络的生成部分提供反馈回路，以在对网络进行训练时改善该生成部分。

一旦利用被设计成学习在用户收听声音时从大脑的皮层区域导出的原始EEG数据的特征的两个模型(或更多个模型)并且生成该声音，对深度学习算法，就将该算法部署在API 102内。API 102从框1201接收EEG信号101，并且在框1208中生成所述声音的重建。

图14中的用于实现第II层的第二种方法可以包括以下内容。

首先，该方法可以包括在框1305中构建ADCCNN，该ADCCNN在框1301中直接从原始信号中获取输入并且在框1304处接收这些输入，该ADCCNN展示了非常大的接收场以处理为对大脑信号的分布进行建模和根据大脑信号生成声音(或者文本)所需的输入数据的远程时间动态。

数据时期/时段内的每个样本以具有处于该时期以及该时期之前的时期内的所有先前的时间戳的样本为条件。该模型的卷积是因果关系的，意味着该模型仅从先前的数据中取得信息，而不考虑给定的序列中的将来数据，从而保留对所述数据进行建模的次序。由所述网络提供的预测是连续的，意味着在预测了每个序列之后，将该序列反馈到所述网络中以预测所述序列之后的下一样本。利用步幅(stride)为一的卷积层将该序列进行堆叠，使得能够取得输入并生成相同维数的输出，完全适合对顺序的数据进行建模。

可选地，可以添加“学生”前馈模型，如在框1306中看到的，从而将框1304中的经过训练的ADCCNN呈现为教导模型。这类似于GAN，所不同的是，学生网络不会像生成器利用鉴别器所进行的那样来欺骗教导网络，相反是由学生网络对ADCCNN的分布进行建模，而不必一次生成一个样本。这使得学生能够在并行处理下进行操作时进行文本的生成，从而实时进行输出生成。这使得本系统能够利用ADCCNN的学习强度，以及学生网络的采样(这被建议为IFA)。这会将通过教导网络学习到的概率分布提取给学生网络，该学生网络在部署到生产中时，可以在产生输出时比教导网络快数千倍。这意味着结果(在添加学生网络时)将从第一个音频样本到最后一个音频样本一起生成，而在此之间不需要一次生成一个样本。

无论是使用第I层(RNN和GAN两者的变体)，还是使用第II层(CNN的的新颖变体，其中附加的学生网络以通过使该学生网络能够并行计算来加速处理的方式来对所述分布进行学习)，在框1308和框1208中，第I层的输出或者第II层的输出是所生成的声音。然后，可以再次使用第I层或第II层(具有学生网络的ADCCNN)，以便将声音转换成文本，作为框1209和框1309中的语音识别分类器。

可以实现如图9所示的权重预测校准，其中，对于许多字母以及这些字母的变体，用户B(新的用户)收听训练期间向用户A呈现的相同刺激，然后，关于每隔一个类别的权重进行预测，并将最终层(或更多的层)全部替换成针对用户B的最新预测的权重，就像上面描述的并且在图9中看到的过程一样。

可选地，可以使用以下过程来确定用户听到的声音的位置。

首先，用户A可以戴着EEG头盔12坐在隔音的房间中。大声地向用户呈现至少四次声音-一次来自房间的西北侧、一次来自房间的东北侧、一次来自房间的西南侧、一次来自房间的东南侧。测量从用户坐着的地方到扬声器的精确的距离，以及音量水平。

LSTM模型从大脑的左侧以及右侧两者的听觉皮层接收原始信号101，并提供给定的声音的特征表示的两个不同的矢量，大脑的每一侧一个矢量。

根据从大脑的左侧导出的信号101，LSTM生成特征矢量(“FeatA”)。对于从大脑的右侧导出的信号，LSTM生成特征矢量(“FeatB”)。

计算FeatA与FeatB之间的差异，作为增量。

在深度学习算法内构建第二模型，该第二模型是接收四个输入并通过分类(深度学习)进行训练的CNN。CNN模型的输入为：由LSTM生成的特征矢量之间的增量差异、生成声音的位置(NW、NE、SW、SE)、扬声器的音量水平、声音本身的音频派生品以及精确的距离。可以清楚，该距离可以以米、厘米或者任何测量形式为单位，只要在所有试验之间一致地使用该单位作为距离测量的单位即可。

通过计算FeatA与FeatB之间的值的差异，同时考虑到声音、声音的位置、精确的距离以及声音的音量，将CNN网络训练为对声音源自(NW、NE、SW或SE)的地方进行测量。

这个可选模块在训练之后可以连同声音生成模型一起部署在API 102内，从而使得API 102除了生成声音以外还能够定位声音的源。

该能力103的结果可以用作其它能力103中的任一能力的输入，和/或与那些能力103结合以用于应用104。

解码用户正在发送的脑力命令

对于该能力103，在第一种变体(在该示例中为“变体A”)中，与身体移动一样，从大脑的运动皮层区域导出EEG信号101。在第二种变体(在该示例中为“变体B”)中，可以从所有可用的传感器导出EEG信号101。

在变体A中，随着用户A(训练用户)根据图4中的框302所示内容移动他们的身体，从用户A收集训练数据。在复制了图4中的用于解码身体移动的训练步骤之后，所述系统具有与框303相对应的经过训练的深度学习模型，即，“模型A”。

举例来说，所述系统可以面向将要通过脑力给予应用的六个不同的命令，但可能更多或更少。示例的脑力命令包括上、下、左、右、左击、开/关。

此后，在变体B中，在考虑到来自变体A的优化的网络(模型A)的权重的同时，用户A在正在测量他们的信号101的同时想象脑力命令。

在这里，所述系统针对从变体A到变体B的模型A，按照图8执行权重替换校准。原因是在训练期间执行的身体移动比想象的身体移动更容易检测到。在针对所述模型A的最终层进行权重替换校准之后，当使用想象的身体移动冻结所有先前的层时，使得所述系统能够根据原始数据更准确地学习脑力命令，并且在将来对这些命令进行测量。本文中使用的措词，即，“想象的身体移动”不应是限制性的，因为这种方法适用于向应用104发出的任何类型的脑力命令。

所述模型(例如，深度学习模型，在这种情况下是LSTM与CNN的混合体(但不限于这种选择))可以快速自适应于该用户的大脑，因为该模型已经通过第一种变体的训练学习了EEG的特征，根据要配准的脑力命令的类别的数量，使用第二种变体进行重新训练。该模型被部署在API 102内，并准备好接收信号101并且提供用户正在发出的什么脑力命令的准确测量作为结果。

当新的用户(用户B)开始使用该API 102时，所述系统如图15的框1402所示那样进行评估。如果这是所述用户的第一次，则所述过程进行至框1404，框1404是来自框303的经过训练的模型，并在框1405中执行权重替换校准。如果这不是所述用户的第一次，则所述系统评估该用户在该次使用之前的过去14天内是否已经进行了校准，如果答案为否，则所述过程还回到作为根据303的模型的框1404，在框1405中进行校准，并在框1406中得到校准。如果所述用户在过去的十四天内进行过校准，则所述过程直接进行至框1406，在框1407中使该模型准备好直接与任何应用104一起使用，并且与另一种能力103相结合。

该能力103的结果可以用作其它能力103中的任一能力的输入，和/或与此类能力103结合以用于应用104。

大脑到文本和语音

该能力103使得API 102能够以文本形式和音频形式生成用户在暗中和/或公开说出的内容。

对于图16中的框1501，可以从以下电极位置导出信号101：

F7、FT7、F5、FC5、F3、FC3、T7、C5、C3、C1、FC1、F1、TP7、CP5、CP3、CP1以及CPZ。

上述电极位置是推荐的，去除一个或更多个其它电极位置或者添加一个或更多个其它电极位置也将会工作。

用户A(进行所述训练过程的用户)经历fMRI和头部点的数字化，然后将两者进行配准，如在图6中看到的。然后，可以按照图7执行源定位，但专门定位至Broca区(语音生成)、Wernicke区(语音感知)、运动皮层(语音清晰度)以及腹前运动皮层，和负责语音合成和感知的整个皮层。

由于感知对等原则，因此当在框1501中有人大声说出句子时、当他们在暗中说出句子时以及当他们听到时，神经基质存在交叠。

在该能力的训练过程期间，在用户A大声念出话语时收集训练数据，并且一旦将算法部署在API 102内，下次用户A就在暗中通过想象说出句子(校准后)，可以检测到该句子并且以文本形式和/或音频形式生成。

有两种训练变体。在第一种变体(在该示例中为“变体A”)中，要求用户A念出目标话语。在第二种训练变体(在该示例中为“变体B”)中，要求用户A念出分类的音系学，即，构成话语的字母和音素-举例来说，针对每个字母来进行“A、Ah、B、Beh”以及它们的变体。在训练期间测量信号101，并相应地用语音特征标注该信号。

算法被构建并且可以作为两种可变方法中的一种，并且将在下面讨论这些新颖和可变的方法之间的差异。

两种可变方法都向传统上观察到的内容提供独特的方法。传统上，EEG信号101是使用已知的信号处理技术来进行滤波的，作为这些技术的示例，就比如带通滤波、低通滤波以及其它技术(例如ICA或PCA)。然而，这个实现未采用这些技术中的任何技术，而是可以被认为通过这种实现更有效地构建并使得深度学习算法能够对所需信号进行检测，而不是依靠这些传统的方法。传统方法包括：对每个类别的信号求平均，以发现所谓的诱发反应(特定类别的身体移动的平均信号)，或者发现如同P300的事件相关电位(ERP)；通过应用FFT或者中间信号处理期间的小波变换来隔离频带；然后训练诸如逻辑回归的算法或其它“经典机器学习算法”。

由于神经网络(以及其它深度学习模型)需要大量的数据进行训练，因此该实现不执行中间信号处理或对信号求平均(这减少了可用于训练所述算法的数据的量)。相反，所述系统将网络进行优化以在提供给该网络的所有原始训练例当中发现共享模式。学习特征的另一示例可以是在同一算法中使用两个(或更多个)不同的模型，而不是一个模型。

在图16和图17中示出了可以作为模型的两个层中的一个层的算法(图16中的第I层，和图17中的第II层)。还可以构建其它模态并将添加至两个层。

以下内容描述了构建第I层的两种方法。在第一种方法中，所述系统可以在框1502中构建作为LSTM的模型，该模型从定位的信号中取得原始EEG信号101并提供每个数据时期/时段的特征矢量作为输出。这可以是每个通道的LSTM、所有通道的LSTM，或者其它类型的递归神经网络或该递归神经网络的变体。

第I层的第二模型可以是VAE、卷积自动编码器、或GAN、反卷积GAN、自回归模型、堆叠式GAN、GAWNN、GAN-INT-CLAS或者上述项中的任一种的变体，以根据第一模型的输入特征来生成输出。在该实现中，举例来说，图16所示的GAN将在框1502中由第一模型生成的特征矢量作为GAN两侧的输入-框1505处的鉴别器和框1503处的生成器。在框1504中，生成器根据那个时期的大脑信号101的序列的特征矢量生成文本，并且辨别器评估框1504中生成的文本与框1506中公开地生成的声音的原始文本转录相比的准确性如何。然后，鉴别器通过回路向框1503处的网络的生成部分提供反馈，以在对网络进行训练时改善该生成部分。

一旦进行了部署，当在框1507中正在记录所述用户的EEG数据时，第I层的第二模型以文本形式生成用户正在说(或想象地说)的内容。

第二种方法如下彻底实现图17中的第II层。

首先，第二种方法可以包括：基于框1602处的ADCCNN构建新颖的模型，该模型展示了非常大的接收场，以处理为对大脑信号的分布进行建模和根据大脑信号101生成文本或声音所需的输入数据的远程时间动态。

数据时期/时段内的每个样本以具有处于该时期以及该时期之前的时期内的所有先前的时间戳的样本为条件。该模型的卷积是因果关系的，意味着该模型仅从先前的数据中取得信息，而不考虑到给定的序列中的将来的数据，从而保留对所述数据进行建模的次序。由所述网络提供的预测是连续的，意味着在预测了每个序列之后，将该序列反馈到所述网络中以预测所述序列之后的下一样本。利用步幅为一的卷积层将该序列进行堆叠，使得所述系统能够取得输入并生成相同维数的输出，这被认为对顺序的数据进行建模是有利和理想的。

可选地，可以添加“学生”前馈模型，如在框1603中看到的，从而使1602中的经过训练的ADCCNN作为教导模型。这类似于GAN，所不同的是，学生网络不会像生成器利用鉴别器所进行的那样来欺骗教导网络，而相反由学生网络对ADCCNN的分布进行建模，在不必一次生成一个样本的情况下，这使得学生能够在并行处理下进行工作时进行文本的生成。因此，所述系统能在商业上部署以实时进行输出生成。这使得所述系统能够利用ADCCNN的学习强度，以及学生网络的采样(这被建议为IFA)。这会将通过教导网络学习到的概率分布提取给学生网络，该学生网络在部署到生产中时，可以在产生输出时比教导网络快数千倍。这意味着结果(在添加学生网络时)将从第一个单词到最后一个单词一起生成，而在此之间不需要一次生成一个样本。

无论是使用第I层(RNN和GAN两者的变体)，还是使用第II层(CNN的的新颖变体，其中附加的学生网络以通过使该学生网络能够并行计算来加速处理的方式来对所述分布进行学习)，在框1507和框1604中，第I层的输出或者第II层的输出是所生成的文本。然后，可以再次使用第I层或第II层，以便在框1510和框1608中将文本转换成语音。另选地，所述原始输出可以是语音，并且可以将第I层或第II层用于将该语音转换成文本。ADCCNN还可与学生网络一起使用，以根据文本生成声音。

可以在框1513和框1609中从另一能力103或外部开放数据源提供输入。例如，在框1511和框1609中，可以将来自能力103中的另一能力的用户的情绪用作输入，以便向所生成的语音提供更加有效且自然的音调。

可以采用的第三模型是以两种方式起作用的自然语言处理(NLP)模型。

首先，根据用户的命令，该模型可以取得第二模型生成的最后三十秒的语音，并通过按按钮(这可以由脑力命令触发)或者通过用某一名字命名暗中调用的系统来按命令在数据框1509和框1606中针对数据库或Web搜索运行该语音。在框1509和框1606中返回结果，并在框1512和框1607中向用户示出。

第二，根据来自用户的命令，所述系统可以开始收听即将到来的暗中的语音。用户可以在暗中说“系统，找到距我最近的麦当劳”，然后在框1607中，将通过界面提示结果。举例来说，当所述用户在暗中念出名字“系统”时，并且在了解该用户正在提供或请求什么查询/命令/功能之后，将框1605中的模块触发。可以在模块1606中执行所述查询/命令/功能，并且在框1607中通过界面将结果连同第二模型生成的声音和文本一起提供回给所述用户。同时，这些驱动了任何应用104，并且与其它能力103中的任一能力相结合。

用户可以通过说出像“系统”这样的触发短语来提供命令，框1606一旦识别出该命令，就可以利用能力103中的另一能力或更多个能力的结果。一个示例是暗中说“系统，我正在听什么歌？”。在框1604中生成、在框1605中理解所述声音，接着在框1606中的功能向外部数据库或数据源(例如Shazam的数据库)查询用户正在听的声音是从第II层的模型还是第I层的模型产生的，并且在框1607或框1512中向用户提供歌曲的名称。另一示例命令是供用户询问“系统，“我今天的心情怎么样？”。这将提示1606/1509查询框906(参见图10)中用户自醒来后的整天中所感受到的情绪，并且在1607/1512中将结果提供回给所述用户，例如“您有80％的时间是高兴的、有2％的时间在吃惊，而18％的时间在生气”。这使得所述用户能够更好地理解和量化自己。另一示例是在暗中询问所述系统“我今天的日程安排有什么？”，该系统将访问用户的日历(例如，通过Gmail或其它应用)，并且向用户示出该日程安排或者大声读出，来充当用户的个人助手。即，可以将所述系统用于以自适应的方式执行各种功能和能力来协助用户。在另一示例中，所述用户可以要求所述系统从特定餐厅订购食物，然后该系统找到最接近的位置并下订单。类似地，用户可以询问系统当天的天气如何，或者所述系统让用户知道特定联系人是否发送了消息(否则禁止所有消息通知)等。

一旦进行了部署，就可以由用户进行权重预测校准。该能力103的结果可以用作其它能力103中的任一能力的输入，和/或与此类能力结合以用于应用104。

可以清楚，所述系统可以在不需要其它工具的情况下自身进行部署。例如，为了检测用户的情绪，本公开使得能够仅根据这些用户的大脑信号101来理解所述用户的情绪状态，而无需附加的输入。然而，使用例如检测某人是在微笑还是皱着眉头并且向API 102提供附加的输入的摄像机是可能的，并且可以将这样的其它输入用于使用所述能力103中的一个或更多个能力来增强能力103或应用104。

应用

梦：

由于感知对等原则，因此例如当用户观看物体、想象物体或者记住该物体看起来如何时，预期激活相同的神经元。因此，当用户醒着时，生成有关这些用户的视觉的视频，使得能够在睡眠期间根据这些用户的影像生成他们的梦的视频。

该技术的特别重要的应用是梦记录仪。梦记录仪需要测量用户的感知体验，这是上述能力103的组合。在已经部署所述API 102并且用户已经校准能力103之后，所述用户在睡眠期间佩戴头盔12，该头盔12生成信号101并将这些信号提供给上述API 102作为输入。所述API 102是一种将信号101作为输入并将每个能力103的输出提供回给用户的系统。因此，用户醒来并例如通过用户界面(该用户界面可以是Web应用、电话应用、虚拟现实或增强现实中的重建、在电视上或者任何其它UI)进行如下操作：通过框1407向界面上的按钮提供脑力命令，以观看所述用户的视觉体验的视频与该视频的描述(如在框1012和框1112中看到的)；听所述用户在做梦时听到的声音的所生成的重建(如在框1212和框1312中看到的)连同对听到的话语的转录；框1610、框1510以及框15111处所述用户语音的所生成的重建；以及从框405到框406得出的这些用户的身体活动的描述，对身体活动的描述也可以通过使用所述用户的化身对在梦中期间所述用户的身体活动(进行的每次身体移动)进行建模以及在整个梦中所述用户感受到什么情绪来表示，如框906中所示。

用户还可以利用被描述为“系统”的虚拟助手按时间从头至尾往回搜索他们的梦，举例来说，说出“系统，这个星期我梦见过多少次大象？”。所述系统将触发框1508来针对框1113和框1108查询框1509，在框1111中通过界面将响应返回给用户。

来自一个人的梦的信息使得在量化自我的能力方面能够实现前所未有的前沿，提供了一种推进梦学(Oneirology)领域的经验方法，该经验方法向梦学领域提供再现研究的显著的可信度，并且弥合了精神与科学以及可测量的形式之间的鸿沟。

这允许研究人类意识的发展和发现，或作为在某个地理区域(无论小范围还是遍布全球)的一群人的感知体验的所谓的“集体意识”。

梦的记录允许使用从梦提供的结果的各种先前不可行的应用。在没有首先建立梦记录仪的情况下，这些应用将是不可能的。例如使得治疗师能够利用患者的梦，以前所未有的方式来对这些患者进行诊断，这是几个世纪以来领先的心理学家(例如西格蒙德·弗洛伊德(Sigmund Freud)和卡尔·荣格(Carl Jung))在心理学上讨论最多的主题之一。

这将使得用户也能够理解他们在睡眠期间的大脑和感知体验，对于每一个人来说睡眠平均占用了他们一生的33％。

在集体意识内进行研究、推进或发现新的应用104的另一示例是新颖的研究实验。例如，了解人们是否确实在事情发生之前就梦到过这些事情。然后，假设地说，将某个地理区域的一大群人梦到的内容与重大事件关联起来将提供一种对未来进行预测的方式。这是新颖的研究实验的示例，这些研究实验仅能够通过使用上述原理进行测试。

另一示例是发现梦到彼此的人之间的相关性。可以清楚，这些只是示例，以例示具有出于利用上述能力的组合的梦的目的可以通过使用本文所述的系统来实现的无数的应用和研究。作为能够记录梦的结果，将能力组合在一起，使得能够对用户的感知体验进行测量可以开启跨宽泛范围的行业的许多可能性和进步的大门。

意识

用户的意识是他们的感知体验。当前描述的系统及其能力提供了一种在用户醒着时以及在他们睡着时对他们的意识进行测量的方法。

医学

使用前述系统及其能力，在医疗领域的一系列应用是可能的。

例如，截肢患者可以使用上面公开的对身体移动进行解码的能力，以便通过想着假肢来在所有自由度上对所述假肢进行控制，这在前述系统的方法之前已知仅限于在某些方向上的连续的运动。这使得能够实现自由运动，从而意味着任何程度的移动，该移动不是仅限于右上、左上、右下、左下、上、下、左、右的连续运动，而是以右上、左上、右下以及左下的精确度数来运动。

使用前述公开有关提供脑力命令的能力，举例来说，患者可以仅根据自己的想法来控制轮椅。

举例来说，通过组合所有能力103的输出来使用感知体验，可以通过使得阿尔茨海默氏病患者能够重新体验他们的遗忘的经历和/或记忆来辅助他们，并且用作跟踪他们的改善进度的方式。

闭锁症(Locked-in)患者：

诸如ALS患者的闭锁症患者可以利用他们的大脑想象移动他们的身体来控制用户界面，使得他们能够从键盘界面键入话语来访问互联网和诸如进行游戏的娱乐项目，其中框1406的输出替换了框1407中的键盘/操纵杆/控制器输入。

除了使用图5中的方法向用户界面提供命令以外，闭锁症患者还能够通过图16和图17中公开的能力103与他们的亲人和周围的人进行交流，这将允许他们使用框1510、框1511以及框1608和框1610这四者的输出通过大脑到语音进行交流，其中，框1513和框1609这两者的情绪输入用于向他们生成的声音提供音调。患者还可以使用上面公开的并且在图16和图17中示出的能力103通过大脑到语音来键入单词。

对用户的情绪进行测量的能力还被用作使应用104自适应这些用户的当前偏好的一种方式，以及让这些用户知道他们的亲人或照顾他们的人(例如护士)，他们正在感受到什么情绪的表达方式。

医生可以使用根据对患者的情绪进行自主测量而导出的报告，以通过查看这些患者在一天中或者任何特定时段内的情绪的报告，来进一步了解这些患者的精神状态。该实现可以用作一种衡量患者在例如11月与前一月(10月)相比的心理改善的方法。该方法可以提供深入了解例如有关该人在11月期间有平均80％的时间是快乐/高兴的，而相比之下，在10月只有40％的时间是快乐的。在所述对闭锁症患者的精神状态进行诊断并且衡量在这些患者长期抑郁的情况下通过治疗得到的改善的方法方面显示出显著的改善。

能力的组合共同使得能够为闭锁症患者提供前所未有的生活质量。

头脑控制的以及姿势控制的情绪自适应游戏(在常规游戏以及虚拟现实和增强界面方面)：

使用上述能力103的组合，用户能够使用图5中公开的他们的身体移动活动来进行游戏，从而为框406中的应用提供支持或者使用脑力命令驱动框1407中的应用持(如图15中所公开的)。这代替了使用键盘/游戏杆/控制器的需要。如果用户佩戴着虚拟现实或增强现实头盔，则可以从与头盔12结合使用的传感器或者嵌入头盔12中的传感器导出信号101。

如果用户正在进行常规游戏(常规是指不基于VR/AR的游戏，而是指例如几年前开发的并且仅使用PlayStation的操纵杆作为输入的游戏)，则可以将框405的结果用作该游戏的输入，以伪装为框406中的控制器的输入。这意味着特定的身体移动可以向框406中的应用发送命令，就好像用户已经按下了PlayStation游戏杆上的“X”按钮一样。

前述公开使得用户不仅能够以连续的运动来进行游戏，而且通过使得能够对自由运动进行建模而走得更远。用户身体的精确的自由运动是通过游戏中的化身来进行建模的。

由于图15和图5中公开的能力，这里可应用的用户界面包括菜单导航系统、音量控制或者需要用户输入以通过键盘/鼠标/操纵杆/控制器进行控制的任何类型的界面。

这里提及的应用自适应用户的情绪。例如，如果用户正在使用框406或框1407来控制诸如Super Mario的游戏，则将框906的输出用作输入，从而允许该应用根据用户的体验而改变。因此，例如，如果用户感到兴奋，则他们将在游戏中得到更多的奖励积分，或者如果用户感到压力，则游戏的难度上升了。

这些能力的组合共同提供了一种前所未有的方法来使能实现头脑/姿势控制、情绪自适应游戏以及用户界面。

现场直播用户的视觉(例如在现场篮球比赛中)：

在另一示例应用104中，用户可以经由脑力命令通过框1407触发按钮，以使用前述公开的能力103现场直播他们的感知体验。用户可以使用所生成的视觉体验及其描述(如在框1012和框1112看到的)、所述用户听到的声音的所生成的重建(如在框1212和框1312中看到的)连同对听到的话语的转录、在框1610、框1510以及框15111处所述用户的语音的所生成的重建以及从框405到框406得出的这些用户的身体活动的描述来进行这样的现场直播，对身体活动的描述也可以通过使用所述用户的化身对所述用户的身体活动(进行的每次身体移动)进行建模以及在整个时段内所述用户感受到什么情绪来表示，如框906中所示。

这例如取代了使用Snapchat、Periscope等的需求，反之用户可以佩戴头盔12，该头盔向能力103的API 102发送信号，从而现场直播这些用户的感知体验(因为他们正在经历着)，而无需使用电话来捕捉该体验。这对于观看的人来说也更为有趣，并且这是因为通过用户正在进行现场直播的实际视点而带来的不同。例如，这种现场可以是所述用户坐在场边的篮球比赛，或者在某个时间点发生的重大事件。用户可以经由示例“系统”(或者可以是所述用户选择赋予他们的虚拟助手的任何名字)在暗中或者公开地说“向我显示5分钟前我经历了什么”，从而这将触发框1508以针对框1113和框1108来查询框1509，通过框1111中的界面将响应返回给所述用户(用于视觉)，还可以进行针对框906的查询(用于情绪)、针对框1513/框1609的查询(用于语音)、针对框1213和框1303的查询(用于听觉)以及针对框405和框406的查询(用于身体移动建模)。这些查询通过用户界面将在期望的时段内返回那些能力103中的每一个能力的结果。所述用户可以通过用户界面从框1407提供脑力命令来重放特定的感知体验。

所有能力103共同形成了用户的感知体验，从而使得能够利用本文所述的系统来实现该应用104。

可以注意到，在该应用104中，用户能够回去并重新体验事件，例如他们的女儿/儿子的毕业。

模拟、军事训练以及创伤后应激障碍：

正在以多种方式进行模拟-例如，在军事方面，出于训练的目的模拟士兵的战场体验，在用于克服用户的恐高症的虚拟现实疗法中，将这些用户置于虚拟世界中，使他们在屋顶向下俯视，并且这样的暴露使得他们能够克服对高度的恐惧/害怕。在用户经历模拟的同时对这些用户的感知体验进行测量将使该模拟在实现时更加有效。

例如，其患者正在经历模拟治疗的医生能够通过观看他们的患者的感知体验准确地看到他们的患者经历着根据所有能力的组合生成的体验。能够导出关于该体验的经验报告，这与仅仅由经历模拟的用户所提供的描述形成对比。

创伤后应激障碍患者(也包括前军事人员)记得以前事件的情节，并且还做有关这些情节的梦。通过所有能力的组合来对所述患者的感知体验进行测量，使得医生能够更好地了解这些患者的状况，从而将这些患者暴露至最合适的模拟形式，以帮助克服那些情节和/或害怕。

太空探索：

在太空探索方面，宇航员无法在行星上将诸如摄像机的设备携带到飞船内部或外部，因为大功率电子装置会在太空中发生故障。在EEG的情况下，所述硬件功耗低且紧凑，使其可在太空中使用。NASA、加拿大航天局(CSA)以及其它太空机构与诸如哈佛医学院的实验室的实验报告，许多宇航员在太空中服用安眠药，并且当他们这样做时，他们无法入睡并报告只有在太空中发生(经历)的非常奇怪的梦。本系统使得能够测量宇航员的感知体验，以研究为什么这种特殊类型的梦只发生在太空中。

当宇航员离开飞船时，可以存储宇航员的感知体验(从宇航员佩戴着的头盔12生成的信号101中导出的所有能力103共同的组合)，然后将该感知体验发送回这些宇航员各自的机构，以便通过宇航员的视点来研究太空探索的结果。

广告-测量人们对广告的反应：

广告方面的显著努力旨在了解消费者对广告、商店设计、定价、包装、新的用户界面等的反应。如上公开的能力103的组合使得能够前所未有地测量用户例如对新广告或广告活动的感知体验。这可以比使用皮肤电反应、用来进行面部表情识别的摄像机)更为准确和有效(因为某人可能很高兴但没有微笑，或者有悲伤却没有皱眉)。这使得广告商能够针对他们花费的每一美元算出广告对他们的目标群体和心理受众的有效程度，从而得到更多的价值。

研究(实验室)：

由于能够测量用户的感知体验，因此无数的研究应用104成为可能。举例来说，精神分裂症患者想象、看到以及经历别人看不到的事物。当事实上精神分裂症患者描述自己正在看到医生无法看到的人和/或想象中的无生命/有生命的事物时，就会看到这些精神分裂症患者与自己说话。这会导致精神分裂症难以诊断的问题，并且没有对这些精神分裂症患者的体验进行理解以便导出结论性的解决方案的方法。

前述公开在使用所有能力103的组合时，使得能够对精神分裂症患者的感知体验进行测量，从而医生能够观看他们的患者的经历，并准确地了解这些患者报告看到的什么、这些患者想象中听到的声音，并且能够以比以前更高的水平来理解和诊断他们的患者。

大脑-发短信(texting)：

用户可以使用图16和图17中的前述公开，通过在暗中讲述句子并且直接和根据命令将框1604和框1510这两者的结果提供给应用104，例如Whatsapp、Facebook Messenger、Linkedln消息等。这可以例如通过在暗中说“系统，将以下消息发送给Whatsapp联系人'Omar'：堵车了，我会在5分钟内到那儿。”或者“系统将以下信息发送给我的Linkedln联系人'全名'：我期待着我们的会议。”来完成。这触发了框1606/框1509来访问Whatsapp，找到联系人姓名并发送消息。或者，在另一示例中：“系统拍摄我的视点的快照，并将其发送给WhatsApp组'Ayyad Brothers'”，后者触发框1508/框1605以针对框1013/框1113来查询框1509/框1606，以使用框1112/框1212的结果，并通过框1011/框1111将其发送给WhatsApp组”。由框405测量的用户面部表情被用作通过框406的输入，作为所谓的表情符号(Emojis)的输入。

这使得用户能够通过大脑到文本进行交流，而无需在他们的移动电话公开地键入或使用基于音频的命令。用户根据命令通过对自己公开说话来发送文本。

宠物(以狗为例)：

前述公开的能力103也可以与宠物一起使用，以狗为例，狗已经在与人类相同的社交环境中进化了多年，这意味着大脑的某些部分(例如视觉)是相似的(尽管狗看到事物的速度更快)。可以将能力103的组合用作对一个人的宠物进行监测的方式，以便更好地照顾这些宠物。所述能力在主人不在家时测量他们的狗的身体活动能力、他们的狗的情绪状态，以及他们的狗听到什么和他们的狗何时吠叫。

计算机到大脑

该应用104使得用户能够从存储有信息的服务器将该信息“下载”到他们的大脑。例如，用户可以下载著名钢琴家的运动技能、全明星NBA球员的运动技巧或者其他用户的感知体验。

这是通过首先使用从第一用户(例如作为著名的钢琴家的用户A)测量到的感知体验来实现的。作为示例，使用上述方法对运动皮层区域进行测量和解码。将电信号连同这些电信号的含义(这是框406中的能力的输出)一起发送至存储该信息的服务器。

用户B(另一用户)佩戴着可以植入的装置(例如神经织网(neural lace)、植入式电极)或者能够将信号发送至神经元的输入的任何其它装置(例如经颅磁刺激TMS或经颅直流电刺激(TDCS))，所述装置可以利用电信号刺激神经元群体。

然后，用户B佩戴的装置通过将电信号发送至与学习的信息相对应的区域来刺激该用户的大脑，例如，当用户B在钢琴上弹奏歌曲时发送用户A的电信号，来刺激用户B的大脑的运动皮层区域。

例如，可以将这种方法用于使得盲人能够看到或者使得聋人能够听到，在代替用户A的情况下，摄像机将视频/图片发送至中间服务器，该中间服务器将图片转换成电信号，然后将该电信号发送至用户B的大脑，以刺激该用户的视觉皮层。

另一个示例是使用麦克风记录发送至其的声音，然后在中间服务器上数字化转换成电信号，然后将该电信号转发至刺激用户的大脑的装置，向大脑的听觉区域的神经元提供输入，从而使得聋人能够听到。

这也使得用户能够将信息直接从一个大脑发送至另一大脑。

多用户的清醒梦境：

该应用104使得能够进行大规模的多用户梦交互，例如多个用户在清醒地做梦的同时在虚拟环境中进行交互，并且该应用104还使得能够定制用户的梦。

在该示例中，以多个用户为例，用户A、用户B以及用户C，如图22所示。

该应用104包括在每个用户睡眠时向这些用户提供刺激，以提示这些用户意识到他们处于清醒的梦中。这些刺激可以通过将电信号从服务器发送至用户佩戴的装置(该装置刺激大脑的视觉皮层)以刺激(调用)所述用户的大脑来递送，从而提示这些用户看到自己梦中的灯光，该灯光使得这些用户意识到自己在做梦。调用该方法可以使用另一种方法，例如刺激每个用户的听觉区域，从而通过声音通知这些用户处于梦境中。用户佩戴的装置可以是可植入装置，例如微小电极、神经织网或非侵入式装置(例如TMS(经颅磁刺激)或TCDS(经颅直接刺激))，或者另一种能够将电信号发送至用户的大脑的佩戴的装置。

一旦用户意识到自己在做梦，这些用户就能够做清醒的梦，意识到他们在做梦。当用户意识到自己在做梦时，这些用户能够控制该梦，以及他们在梦中的举止。

建立用户A与服务器之间的通信路径。这意味着正在做梦的用户A的感知体验(这是如上所述的每个能力的输出))被流传输至托管虚拟环境的服务器。

服务器通过刺激该用户的大脑的对应区域来向用户A发送回信息。这使得服务器能够接收每个用户的感知体验，并且发送回有关虚拟环境本身的信息，例如与以化身形式存在的多个用户的共享的场景。

可以在共享的环境中的多个用户之间建立该通信路径。这使得多个用户在做梦的同时能够同时呈现在虚拟环境中。用户可以在清醒的梦期间练习新技能(单独或与其他用户一起练习)、继续从事项目，或者进行一个或更多个用户的任何其它虚拟体验。可以将这类似地描述为梦的互联网-其中，人们可以通过虚拟体验的虚拟环境，在睡眠期间彼此连接，或者以其它方式单独连接。

为简单和清楚例示起见，在认为合适的情况下，标号可以在附图当中重复，以指示对应或类似的部件。另外，阐述了许多具体细节，以便提供对本文所述的示例的详尽理解。然而，本领域普通技术人员应当理解，可以在不需要这些具体细节的情况下实践本文所述的示例。在其它情况下，没有对公知的方法、过程以及组件进行详细描述，以使不搞混本文所述的示例。而且，该描述不被视为限制本文所述的示例的范围。

应当清楚，本文所使用的示例和对应的附图仅出于例示性的目的。在不脱离本文所表达的原理的情况下，可以使用不同的配置和术语。例如，在不脱离这些原理的情况下，可以利用不同的连接来添加、删除、修改或者排列组件和模块。

还应清楚，本文例证的执行指令的任何模块或组件可以包括或者以其它方式使用计算机可读介质，例如存储介质、计算机存储介质或者数据存储装置(可去除的和/或不可去除的)，举例来说，如磁盘、光盘或磁带。计算机存储介质可以包括按任何方法或技术实现的、用于存储信息(例如计算机可读指令、数据结构、程序模块或其它数据)的易失性介质和非易失性介质、可去除介质和不可去除介质。计算机存储介质的示例包括：RAM、ROM、EEPROM、闪速存储器或其它存储器技术；CD ROM、数字万用盘(DVD)或其它光学存储部；磁带盒、磁带、磁盘存储部或其它磁存储装置；或者可以被用于存储所需信息和可以通过应用、模块或这两者存取的任何其它介质。任何这种计算机存储介质都可以是头盔12、模块14、云装置18、边缘装置20这四者的一部分；所述四者的任何组件或者与所述四者有关等；或者可接入或可连接至所述四者。本文所述的任何应用或模块可以利用可以通过这种计算机可读介质存储或者以其它方式保持的计算机可读/可执行指令来实现。

本文所述的流程图和图表中的步骤或操作只是举例。在不脱离上面讨论的原理的情况下，针对这些步骤或操作可以有许多变体。例如，可以以不同的顺序执行所述步骤，或者可以添加，删除或修改步骤。

尽管上面的原理已经参照某些特定的示例进行了描述，但如在所附权利要求中概述的，这些特定的示例的各种修改对于本领域技术人员是显而易见的。

Claims (51)

1.一种确定感知体验的方法，所述方法包括：

获取由包括多个传感器的测量装置采集的多个信号，所述多个传感器被设置以对正在由所述测量装置测量的用户的大脑活动进行测量；

在不进行预处理的情况下将所述多个信号提供给包括至少一个深度学习模块的处理系统，所述至少一个深度学习模块被配置成对所述信号进行处理以生成至少一个能力，其中，所述至少一个能力中的一个或更多个能力的组合形成所述感知体验；以及

将与所述至少一个能力中的一个或更多个能力的组合相对应的输出提供给利用相应的感知体验的应用。

2.根据权利要求1所述的方法，所述方法还包括：使用在由第一用户执行的试验期间测量到的信号，对所述深度学习模块中的机器学习算法进行训练。

3.根据权利要求2所述的方法，所述方法还包括：在训练所述机器学习算法时执行源定位。

4.根据权利要求3所述的方法，其中，所述源定位包括根据正在生成的所述能力来瞄准大脑中的区域。

5.根据权利要求2所述的方法，其中，所述机器学习算法包括卷积神经网络(CNN)。

6.根据权利要求5所述的方法，其中，所述CNN是使用以下变体中的一种变体训练的：

a)根据原始信号数据直接训练CNN模型；

b)利用相同算法通过多个不同模块来学习所述信号的特征表示；或者

c)构建直接接收所述信号的自回归扩张因果卷积神经网络(ADCCNN)。

7.根据权利要求6所述的方法，其中，在变体c)中，将所述ADCCNN训练为提供指示所述用户进行了什么功能的类别的输出。

8.根据权利要求2所述的方法，其中，所述机器学习算法包括生成对抗网络。

9.根据权利要求2至8中任一项所述的方法，所述方法还包括：针对所述测量装置的第二用户进行校准。

10.根据权利要求9所述的方法，使所述第二用户进行和所述第一用户相同的试验。

11.根据权利要求10所述的方法，其中，针对所述第二用户的所述校准包括使用具有针对从所述第一用户导出的数据优化的权重的相同深度学习模型，其中，所述网络的至少一个最终层被去除并替换成利用与由所述第二用户生成的信号相关联的权重优化的新的层。

12.根据权利要求1至11中任一项所述的方法，其中，所述多个信号对应于利用一组EEG传感器采集的EEG信号。

13.根据权利要求1至12中任一项所述的方法，其中，所述测量装置是头盔。

14.根据权利要求13所述的方法，其中，所述信号是利用所述头盔采集的，并且所述处理系统、所述至少一个能力以及所述应用中的至少一者是利用单独装置提供的。

15.根据权利要求14所述的方法，其中，所述单独装置包括联接至所述头盔的边缘装置。

16.根据权利要求15所述的方法，其中，所述边缘装置通过网络与云装置进行通信以提供所述处理系统、所述至少一个能力以及所述应用中的至少一者。

17.根据权利要求14所述的方法，其中，所述头盔被配置成通过网络向云装置发送至少一个信号数据。

18.根据权利要求1至17中任一项所述的方法，其中，所述至少一个能力包括对身体移动进行测量。

19.根据权利要求18所述的方法，其中，所述深度学习模块是通过使所述用户试验一组身体移动来训练的。

20.根据权利要求18或权利要求19所述的方法，其中，所述身体移动是针对连续的自由运动建模的，以提供所述用户的精确身体移动的近似。

21.根据权利要求1至17中任一项所述的方法，其中，所述至少一个能力包括测量用户的情绪。

22.根据权利要求21所述的方法，其中，根据预定义的分类方案来确定多种情绪，并且测量所述情绪包括：引发情绪并测量所述大脑活动，以训练所述深度学习模块分类该用户的情绪。

23.根据权利要求22所述的方法，其中，所述深度学习模块被构建并训练为使用一对深度学习模型来检测所述用户的情绪，其中，递归神经网络是第一模型，所述第一模型从所述信号学习特征并将特征矢量作为输入提供给作为第二模型的CNN，所述第二模型使用由所述第一模型提供的所述特征矢量并且还通过分类来进一步训练该深度学习模块。

24.根据权利要求23所述的方法，其中，所述RNN对应于长短期记忆(LSTM)网络。

25.根据权利要求21所述的方法，其中，根据尺度输出多种情绪中的每种情绪。

26.根据权利要求25所述的方法，所述方法还包括：将根据所述尺度输出的多种情绪进行组合以识别复杂的情绪。

27.根据权利要求1至17中任一项所述的方法，其中，所述至少一个能力包括解码和重建用户的视觉。

28.根据权利要求27所述的方法，其中，解码和重建视觉包括：i)使用RNN来分类视觉训练数据，以响应于图像/视频的刺激来学习所述信号数据的特征，以及ii)按不同的类别以及同一类别的图像来生成并分类先前未见过的图像/视频作为图像的刺激。

29.根据权利要求1至17中任一项所述的方法，其中，所述至少一个能力包括解码和重建用户听到的内容。

30.根据权利要求29所述的方法，其中，解码和重建所述用户听到的内容包括收集并训练所述深度学习模块的数据集的以下变体中的一种变体：

a)在第一用户正在收听目标话语的同时从所述第一用户收集数据集，并且将所述目标话语的音频派生品和文本馈送到神经网络的算法中；或者

b)在所述第一用户收听分类的音韵时收集数据集，并且根据与声音的文本转录一起呈现的刺激来对信号进行标注。

31.根据权利要求1至17中任一项所述的方法，其中，所述至少一个能力包括解码来自用户的脑力命令。

32.根据权利要求1至17中任一项所述的方法，其中，所述至少一个能力包括生成大脑到文本和/或语音。

33.根据权利要求1至32中任一项所述的方法，其中，所述应用包括测量和记录用户在睡眠期间的感知体验的梦记录器。

34.根据权利要求33所述的方法，其中，所述梦记录器在工作上能够：

在用户睡眠时采集所述多个信号：

使用所述信号来生成与所述能力中的每个能力相对应的输出；

通过组合所述能力的输出来生成睡眠期间的所述感知体验；以及

通过用户界面，提供指示睡眠期间的所述感知体验的信息作为对所述用户的梦的记录。

35.根据权利要求1至32中任一项所述的方法，其中，所述应用包括使用所确定的感知体验来测量用户的意识。

36.根据权利要求1至32中任一项所述的方法，其中，所述应用包括在医学应用中利用所述能力中的至少一个能力。

37.根据权利要求1至32中任一项所述的方法，其中，所述应用包括使得闭锁症患者能够根据所确定的感知体验进行沟通。

38.根据权利要求1至32中任一项所述的方法，其中，所述应用包括将头脑控制能力或姿势控制能力应用至以下项中的一项或更多项：情绪适应游戏、增强现实菜单或界面或者虚拟现实菜单或界面。

39.根据权利要求1至32中任一项所述的方法，其中，所述应用包括对用户的视觉进行现场直播。

40.根据权利要求1至32中任一项所述的方法，其中，所述应用包括在模拟或训练练习期间测量用户的感知体验。

41.根据权利要求1至32中任一项所述的方法，其中，所述应用包括相距一段距离对所述用户进行远程研究。

42.根据权利要求41所述的方法，其中，所述研究对应于宇航员。

43.根据权利要求1至32中任一项所述的方法，其中，所述应用包括在消费者相关活动期间测量用户的感知体验以增强广告。

44.根据权利要求1至32中任一项所述的方法，其中，所述应用包括测量感知体验以进行研究。

45.根据权利要求1至32中任一项所述的方法，其中，所述应用包括大脑发短信。

46.根据权利要求1至32中任一项所述的方法，其中，所述应用包括对非人类受试体的感知体验进行监测。

47.根据权利要求46所述的方法，其中，所述非人类受试体是宠物。

48.根据权利要求1至32中任一项所述的方法，其中，所述应用包括从存储信息的计算装置向用户的大脑提供所述信息。

49.根据权利要求1至32中任一项所述的方法，其中，所述应用包括多用户梦交互，所述多用户梦交互包括彼此连接的多个用户。

50.一种计算机可读介质，所述计算机可读介质包括用于执行根据权利要求1至49中任一项所述的方法的计算机可执行指令。

51.一种确定感知体验的处理系统，所述处理系统包括至少一个处理器以及至少一个存储器，所述至少一个存储器存储执行根据权利要求1至49中任一项所述的方法的计算机可执行指令。

Images