CN118119915A - 用于向用户传达模型不确定性的系统和方法 - Google Patents

Abstract

所公开的计算机实现的方法可以包括：(1)接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为；(2)基于该信息来确定与实时输出相关联的不确定性水平；(3)基于该不确定性水平来调制反馈的至少一个属性；以及(4)基本上与识别模型的实时输出同时地向用户呈现反馈。还公开了各种其它方法、系统和计算机可读介质。

Description

用于向用户传达模型不确定性的系统和方法

相关申请的交叉引用

本申请要求于2021年8月19日提交的、申请号为63/234,823的美国临时申请的权益，其全部公开内容通过该引用结合于此。

发明内容

本发明涉及根据权利要求1所述的计算机实现的方法、根据权利要求13所述的系统、根据权利要求14所述的非暂态计算机可读介质以及根据权利要求15所述的软件产品。有利实施例可以包括从属权利要求的多个特征。

因此，根据本发明的计算机实现的方法包括：接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为。该方法还包括：基于该信息确定与实时输出相关联的不确定性水平。基于不确定性水平调制反馈的至少一个属性，并且基本上与该识别模型的实时输出同时地向用户呈现该反馈。

在一些实施例中，与该识别模型的实时输出相关联的该信息可以包括该用户执行该行为的概率。该计算机实现的方法还可以包括以下中的至少一者：当该用户执行该行为的概率高于预定阈值时，执行用户输入操作；或者当该用户执行该行为的概率低于预定阈值时，阻止执行该用户输入操作。可以基于该概率与该预定阈值之间的距离来确定与该实时输出相关联的该不确定性水平，该不确定性水平与该距离成反比。

在一些实施例中，与该识别模型的实时输出相关联的该信息可以包括该用户执行该行为的概率，并且该反馈的属性可以被调制为具有与该用户执行该行为的概率成比例的可感知性水平。

在一些实施例中，该反馈的属性可以被调制为具有和与该实时输出相关联的不确定性水平成比例的可感知性水平。

在一些实施例中，该识别模型可以包括适于输出该用户执行捏合手势的概率的捏合识别模型。该信息可以包括该用户执行该捏合手势的概率。该计算机实现的方法还可以包括：当该用户执行该捏合手势的概率高于预定阈值时，执行用户输入操作，并且可以在当该用户执行该捏合手势的概率高于该预定阈值时执行该用户输入操作的同时，将向该用户呈现该反馈。

在一些实施例中，该识别模型可以包括适于输出用户执行捏合手势的概率的捏合识别模型。该信息可以包括用户执行捏合手势的概率。该计算机实现的方法还可以包括：当该用户执行该捏合手势的概率低于预定阈值时，阻止执行用户输入操作；以及可以在确定了该用户执行该捏合手势的概率低于该预定阈值的同时，向该用户呈现该反馈。

在一些实施例中，识别模型可以包括手部追踪模型，该手部追踪模型适于输出该用户的手部的一个或多个部分的位置信息或取向信息以及该位置信息或取向信息的置信水平。可以基于置信水平来确定与实时输出相关联的不确定性水平，该不确定性水平与置信水平成反比。

在一些实施例中，该反馈可以是触觉反馈，并且该触觉反馈的至少一个属性可以基于与实时输出相关联的不确定性水平。

在一些实施例中，该反馈可以是振动，并且该振动的至少一个属性可以基于与实时输出相关联的不确定性水平。

在一些实施例中，基于不确定性水平来调制反馈的属性可以包括以下中的一者或多者：该反馈的幅度，以向该用户传达该不确定性水平；该反馈的频率，以向该用户传达该不确定性水平；该反馈的持续时间，以向该用户传达该不确定性水平；该反馈的模式，以向该用户传达该不确定性水平；以及该反馈的空间化，以向该用户传达该不确定性水平。

在一些实施例中，该反馈可以指示用于降低实时输出的不确定性水平的方法。

在一些实施例中，计算机实现的方法还可以包括：接收与该识别模型的附加实时输出相关联的附加信息；基于该附加信息确定与该附加实时输出相关联的附加不确定性水平；以及基于该附加的不确定性水平来调制该反馈的属性。

根据本发明的系统包括至少一个物理处理器和物理存储器，该物理存储器包括计算机可执行指令，这些计算机可执行指令在被该物理处理器执行时，使得该物理处理器执行上述方法中的任何一种，或者：接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为；基于该信息确定与该实时输出相关联的不确定性水平；基于该不确定性水平调制反馈的至少一个属性；以及基本上与该识别模型的实时输出同时地向该用户呈现该反馈。

在系统的一些实施例中，与识别模型的实时输出相关联的信息可以包括用户执行行为的概率，并且计算机可执行指令在被物理处理器执行时，还使得物理处理器在用户执行行为的概率高于预定阈值时，执行用户输入操作，或者当用户执行行为的概率低于预定阈值时避免执行用户输入操作，其中，与实时输出相关联的不确定性水平可以基于概率与预定阈值之间的距离来确定，不确定性水平与该距离成反比。

在系统的一些实施例中，与该识别模型的实时输出相关联的该信息可以包括该用户执行该行为的概率，并且该反馈的属性被调制为具有与该用户执行该行为的概率成比例的可感知性水平。

在系统的一些实施例中，该反馈的属性可以被调制为具有和与该实时输出相关联的不确定性水平成比例的可感知性水平。

在系统的一些实施例中，识别模型可以包括适于输出该用户执行捏合手势的概率的捏合识别模型，并且该信息可以包括该用户执行捏合手势的概率。这些计算机可执行指令在被物理处理器执行时，还可以使物理处理器：当该用户执行该捏合手势的概率高于预定阈值时，执行用户输入操作；并且可以在当该用户执行该捏合手势的概率高于该预定阈值时执行该用户输入操作的同时，向该用户呈现该反馈。

在系统的一些实施例中，该识别模型可以包括适于输出该用户执行捏合手势的概率的捏合识别模型，并且该信息可以包括该用户执行该捏合手势的概率。这些计算机可执行指令在被物理处理器执行时，还可使物理处理器：当该用户执行该捏合手势的概率低于预定阈值时，阻止执行用户输入操作；并且可以在确定了该用户执行该捏合手势的概率低于该预定阈值的同时，向该用户呈现该反馈。

在系统的一些实施例中，该识别模型可以包括手部追踪模型，该手部追踪模型适于输出：该用户的手部的一个或多个部分的位置信息或取向信息，以及该位置信息或取向信息的置信水平。并且可以基于该置信水平来确定与该实时输出相关联的不确定性水平，该不确定性水平与该置信水平成反比。

根据本发明的非暂态计算机可读介质包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使该计算设备执行上述方法中的任何一种或者：接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为；基于该信息确定与该实时输出相关联的不确定性水平；基于该不确定性水平调制反馈的至少一个属性；以及基本上与该识别模型的实时输出同时地向该用户呈现该反馈。

根据本发明的软件产品包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使该计算设备执行上述方法中的任何一种或者：接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为；基于该信息确定与该实时输出相关联的不确定性水平；基于该不确定性水平调制反馈的至少一个属性；以及基本上与该识别模型的实时输出同时地向该用户呈现该反馈。

附图说明

附图示出了多个示例性实施例，并且是说明书的一部分。这些附图与以下描述一起展示并解释了本公开的各种原理。

图1是用于向用户传达模型不确定性的示例系统的框图。

图2是用于向用户传达模型不确定性的示例性数据流的流程图。

图3是概率的示例性时间序列的示意图。

图4是用于向用户传达模型不确定性的示例性方法的流程图。

图5是不确定性水平与概率之间的示例性关系的示意图。

图6是示例性的不确定性调制的反馈的示意图。

图7是示例性的不确定性调制的反馈的另一个示意图。

图8是示例性的不确定性阈值的示意图。

图9是示例性的基于不确定性的反馈的示意图。

图10是示例性的基于不确定性的反馈的另一个示意图。

图11是示例性的基于不确定性的反馈的另一个示意图。

图12是用于向用户传达模型不确定性的另一示例性方法的流程图。

图13是可以结合本公开的实施例使用的示例性增强现实眼镜的图示。

图14是可以结合本公开的实施例使用的示例性虚拟现实头戴式设备(headset)的图示。

图15是可以结合本公开的实施例使用的示例性触觉设备的图示。

图16是根据本公开的实施例的示例性虚拟现实环境的图示。

图17是根据本公开的实施例的示例性增强现实环境的图示。

图18结合能够追踪用户的一只或两只眼睛的眼动追踪子系统的示例性系统的图示。

图19是图18中示出的眼动追踪子系统的各方面的更详细图示。

图20A和图20B是被配置为佩戴在用户的前臂或手腕上的示例性人机接口的图示。

图21A和图21B是具有可穿戴系统的内部部件的示例性示意图的图示。

在所有附图中，相同的附图标记和描述指示相似但不一定相同的元件。虽然本文所描述的示例性实施例易于进行各种修改和形式替代，但是仍通过示例的方式在附图中显示了具体实施例，并且即将在本文中对这些具体实施例进行详细描述。然而，本文所描述的示例性实施例并不旨在被限制为所公开的特定形式。而是，本公开涵盖了落入所附权利要求书的范围内的所有修改、等同物和替代物。

具体实施方式

用户以多种方式与计算系统交互，以对由计算系统执行的动作提供输入或以其它方式控制这些动作。用户可以使用向计算系统提供可靠的离散化输出(例如，键或按钮按下事件)的简单物理用户输入设备直接与计算系统交互。这些简单的物理用户输入设备可能能够独立地向用户提供对用户行为的可操作反馈。例如，用户可以使用物理键盘向计算系统提供文本输入，物理键盘的多个键在它们产生离散输出的点处提供对移动的触觉阻力。能够独立地向用户提供即时反馈的物理用户输入设备可以使用户能够自信地向计算系统提供输入，而无需验证计算系统正确地识别和响应了用户的每个输入。例如，物理键盘可以使许多用户能够快速且可靠地向计算系统提供字符输入，而无需查看他们正在按下的键和/或无需验证计算系统正确地接收和处理了各个字符。

作为简单物理用户输入设备的替代，计算系统可以使用虚拟用户输入设备，例如能够检测某些用户行为并对其作出反应的虚拟键盘和/或识别模型。在一些示例中，诸如手势识别器等识别模型可以输出用户执行了或正在执行行为的概率或可能性。为了使用概率来对行为作出反应，计算系统一般可以使用阈值来离散化概率，确定行为的开始或发生。例如，计算系统可以使用阈值概率0.6来区分行为的发生与行为的未发生。在行为发生的概率非常高(例如，0.9)的情况下，计算系统可以相对确定该行为已经发生。类似地，在概率非常低(例如，0.1)的情况下，计算系统可以相对确定该行为未发生。然而，计算系统可能不太确定在阈值附近的范围内的概率(例如，在0.5至0.7范围内的概率)，这可能导致对用户行为的系统响应的假阳性和假阴性检测以及偶然性的不匹配。

本公开总体涉及使用各种形式的可操作实时反馈向用户传达模型不确定性和相关信息。在一些实施例中，本文描述的系统和方法可以使用实时触觉反馈(例如，调制的振动)和/或其它类型的非视觉反馈来传达与识别模型(例如，适于检测点和选择行为的识别模型)的输出相关联的不确定性水平。本公开的实施例可使用户能够实时地了解计算系统何时最有可能对用户的行为做出正确反应，这可允许用户较少或毫不犹豫地自信地向计算系统提供输入。本公开的实施例还可以使用户能够实时地了解计算系统何时最有可能对用户的行为做出错误的反应，这可以使得用户修改某些行为以更好地被计算系统识别。在一些实施例中，呈现给用户的反馈可以指示用户可以如何修改他们的行为以更好地被计算系统识别。通过经由不确定性调制的反馈将不确定性信息传达给用户，本公开的实施例可以使用户能够更好地理解计算系统将如何解释用户的行为，这可以减少计算系统作出的识别错误的数量，并使得改进用户交互体验和性能。

来自本文描述的任何实施例的特征可以根据本文描述的一般原理彼此组合使用。通过结合附图和权利要求书阅读以下详细描述，将更全面地理解这些和其它实施例、特征和优点。

下面将参考图1提供用于向用户传达模型不确定性的示例性系统的详细描述。与图2至图12相对应的论述将提供对应方法和数据流的详细描述。最后，将参照图13至图21提供可实现本公开各实施例的各种扩展现实系统和部件的详细描述。

图1是用于向用户传达模型不确定性的示例系统100的框图。如该图所示出的，示例系统100可以包括用于执行一个或多个任务的一个或多个模块102。如下面将更详细地解释的，多个模块102可以包括接收模块104，该接收模块接收与识别模型的实时输出相关联的信息。示例系统100还可以包括确定模块106，该确定模块基于由接收模块104接收的信息来确定与识别模型的实时输出相关联的不确定性水平。示例系统100还可以包括调制模块108，该调制模块基于不确定性水平来调制反馈的各种属性。此外，示例系统100可以包括呈现模块110，该呈现模块基本上与识别模型的实时输出同时地向用户呈现反馈。在一些实施例中，示例系统100还可以包括用户输入模块112，该用户输入模块响应于识别模型的实时输出(例如，识别事件)执行或阻止执行反应性用户输入操作。

进一步如图1所示，示例系统100还可以包括一个或多个存储设备，例如存储器120。存储器120可以包括或表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或存储介质。在一个示例中，存储器120可以存储、加载和/或维护多个模块102中的一个或多个模块。存储器120的示例包括但不限于：随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存、硬盘驱动器(Hard Disk Drive，HDD)、固态驱动器(Solid-State Drive，SSD)、光盘驱动器、高速缓冲存储器、以上中的一者或多者的变型或组合、或任何其它合适的储存存储器。

进一步如图1所示，示例系统100还可以包括一个或多个物理处理器，例如物理处理器130。物理处理器130可以包括或表示能够解释和/或执行计算机可读指令的任何类型或形式的、硬件实现的处理单元。在一个示例中，物理处理器130可以访问和/或修改存储在存储器120中的多个模块102中的一个或多个模块。附加地或替代地，物理处理器130可以执行多个模块102中的一个或多个模块，以便于向用户传达模型不确定性。物理处理器130的示例包括但不限于：微处理器、微控制器、中央处理单元(central processing unit，CPU)、实现软核处理器的现场可编程门阵列(Field-Programmable Gate Array，FPGA)、专用集成电路(Application-Specific Integrated Circuit，ASIC)、以上中的一者或多者中的部分、以上中的一者或多者的变型或组合、或任何其它合适的物理处理器。

如图1中进一步所示，示例系统100还可以包括一个或多个识别模型，例如一个或多个识别模型140。一个或多个识别模型140可以表示或包括可用于识别、检测、计算、估计、预测、标记、推断和/或反应于用户行为(例如，动作、认知状态、意图等)和/或由用户行为(例如，设备、头戴式设备或控制器移动)引起的影响的任何机器学习模型、算法、启发式、数据或其组合。一个或多个识别模型140的示例包括但不限于：适于识别捏合手势和/或对捏合手势做出反应的捏合检测模型(例如，捏合检测模型142)、适于识别手部状态和/或手部移动和/或对手部状态和/或手部移动作出反应的手部追踪模型(例如，手部追踪模型144)、适于识别用户意图和/或对用户意图作出反应以交互的模型(例如，意图交互模型146)、适于识别用户认知状态之间的转换和/或对用户认知状态之间的转换作出反应的模型(例如，认知状态模型148)、手势识别模型、眼动追踪模型、语音识别模型、身体感测模型、身体追踪模型、适于识别用户的生理状态和/或对用户的生理状态作出反应的生理状态模型、适于识别用户的心理状态和/或对用户的心理状态作出反应的心理状态模型、用于预测用户意图和对用户意图进行编码的模型、适于执行计算设备的由内向外追踪的模型、这些模型的一个或多个的部分、这些模型中的一个或多个模型的变体或组合、或任何其它合适的识别模型。在一些示例中，一个或多个识别模型140可以包括但不限于：决策树(例如，提升决策树)、神经网络(例如，深度卷积神经网络)、深度学习模型、支持向量机、线性分类器、非线性分类器、感知器、朴素贝叶斯分类器(naive Bayes classifier)、任何其它机器学习或分类技术或算法、或它们的任意组合。

在一些示例中，本文描述的系统可以使用一个或多个识别模型140中的一个或多个来识别用户的指向手势、选择、或与经由系统100向用户显示的图形元素(例如，图形用户界面的元素或从虚拟现实或增强现实环境呈现的元素)有关的交互，和/或对其作出反应。例如，本文描述的系统可以使用捏合检测模型142来检测用户打算做出选择的时刻，并且可以使用手部追踪模型144来确定用户最可能尝试选择的图形元素。

在一些示例中，系统100可以包括一个或多个传感器150，该一个或多个传感器用于收集指示用户行为的实时测量。一个或多个识别模型140可以使用从传感器150收集的测量中导出的信息来实时识别用户行为。传感器150的示例包括但不限于触摸传感器、图像传感器、接近传感器、生物识别传感器、惯性测量单元、生物传感器、心率传感器、饱和氧传感器、神经肌肉传感器、高度计传感器、温度传感器、生物阻抗传感器、计步器传感器、光学传感器、汗液传感器、这些传感器中的一个或多个的变体或组合、或任何其它类型或形式的传感硬件或软件。

图2是用于使用系统100的一个或多个元件向用户传达与一个或多个识别模型140相关联的不确定性水平的示例性数据流200的示意图。在该示例中，一个或多个识别模型140可以从一个或多个传感器150获取输入，以生成指示和/或预测一个或多个用户行为的一个或多个实时输出202(例如，识别事件)。如图所示，接收模块104和用户输入模块112可以监测一个或多个实时输出202和/或对一个或多个实时输出202作出反应。除了监测一个或多个实时输出202之外或作为监测一个或多个实时输出202的替代，接收模块104可以监测一个或多个识别模型140的这样的一些或全部输入(例如，一个或多个传感器150的测量)：一个或多个识别模型140可以使用这些输入来生成一个或多个实时输出202。在一些示例中，一个或多个实时输出202可以表示时间序列(例如，一个或多个用户行为的概率的时间序列，例如图3中所示的概率302)。

在一些示例中，一个或多个识别模型140可以适于识别、检测、计算、估计、预测、标记、推断一个或多个用户行为和/或对一个或多个用户行为作出反应，并且一个或多个实时输出202可以表示或包括指示一个或多个用户行为的发生或不发生的任何信息。在一些示例中，一个或多个实时输出202可以包括或表示用户正在执行特定行为(例如，捏合或指向手势)的概率或可能性。附加地或替代地，一个或多个识别模型140可以适于识别许多用户行为，并且一个或多个实时输出202可以包括或表示用户可能正在执行的行为的标签或分类和/或与该标签或分类相关联的置信水平或分数。在一些示例中，一个或多个识别模型140可以适于估计、预测和/或推断一个或多个用户行为的各种属性，并且一个或多个实时输出202可以表示或包括行为的一个或多个估计的属性(例如，预测的位置、取向或状态)和/或与估计的属性相关联的置信水平或分数。

在一些示例中，用户输入模块112可以适于执行用户输入操作和/或以其它方式响应由一个或多个实时输出202指示的相关联的用户行为。可以由用户输入模块112响应于一个或多个实时输出202而执行的用户输入操作的示例包括但不限于，基于由一个或多个实时输出202指示的用户行为(例如，指向手势)来更新光标的位置，基于由一个或多个实时输出202指示的用户行为(例如，捏合手势)进行选择，更新虚拟角色的状态或环境以反映由一个或多个实时输出202指示的用户行为，经由图形用户界面元素显示与由一个或多个实时输出202指示的用户行为相关联的用户输入，处理与由一个或多个实时输出202指示的用户行为相关联的用户输入，存储与由一个或多个实时输出202指示的用户行为相关联的用户输入，触发与由与一个或多个实时输出202相关联的用户输入指示的用户行为相关联的动作或功能，将与由一个或多个实时输出202指示的用户行为相关联的用户输入传递到另一函数或应用以供进一步处理，和/或将与由一个或多个实时输出202指示的用户行为相关联的用户输入发送到另一计算系统以供进一步处理。

如图2所示，接收模块104可以监测一个或多个实时输出202和/或与一个或多个识别模型140和/或一个或多个实时输出202相关联的任何信息，该信息可以直接和/或间接指示与一个或多个实时输出202和/或对一个或多个实时输出202的解释有关的不确定性。例如，接收模块104可以接收与传感器150相关联的信息，该信息可以指示传感器150的测量的可靠性和/或与一个或多个实时输出202相关联的信息(例如，概率或置信水平)。确定模块106可以使用由接收模块104收集的信息来确定或计算与一个或多个实时输出202相关联的一个或多个不确定性水平204。然后调制模块108可以使用一个或多个不确定性水平204来调制要由呈现模块110呈现的适当反馈的至少一个属性。

如上所述，一个或多个识别模型140的一个或多个实时输出202可以包括指示一些用户行为的发生和/或未发生的概率的时间序列。图3是概率302的示例性时间序列的图示。每个概率302可以表示用户在相应时刻执行行为(例如，捏合手势)的概率。在该示例中，所公开的系统可以使用阈值304(例如，0.6)来区分行为的发生与行为的未发生。例如，所公开的系统可以将大于阈值304的概率视为行为的发生，而将小于阈值304的概率视为行为的未发生。在行为的发生的概率非常高(例如，概率306)的情况下，所公开的系统可以相对确定该行为发生并且可以相应地作出反应。类似地，在概率非常低(例如，概率308)的情况下，所公开的系统可以相对确定该行为没有发生并且可以相应地作出反应。然而，所公开的系统可能不太确定在阈值304附近的概率(例如，概率310和312)，并且可能以与用户的意图冲突的方式作出反应。例如，所公开的系统可能对概率310作出反应，就好像用户正在执行该行为一样，即使该用户实际上并没有执行该行为。类似地，所公开的系统可能对概率312作出反应，就好像用户没有正在执行该行为，即使该用户正在执行该行为。如下面将更详细地解释的，所公开的系统可以使用各种形式的反馈来向用户传达与概率302相关联的不确定性水平，这可以使用户调整后续行为，从而降低与该行为相关联的未来不确定性水平。

图4是用于向用户传达模型不确定性的示例性计算机实现的方法400的流程图。图4中所示的步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，该计算系统包括图1中所示的一个或多个系统。在一个示例中，图4中所示的每个步骤可以表示一算法，该算法的结构包括多个子步骤和/或由多个子步骤表示，子步骤的示例将在下面更详细地提供。在一些示例中，可以重复执行计算机实现的方法400的步骤。例如，计算机实现的方法400的步骤可以针对识别模型的每个实时输出执行一次。

如图4所示，在步骤410，本文描述的一个或多个系统可以接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为。例如，接收模块104可以接收与一个或多个实时输出202相关联的一些或全部信息，如结合图2所描述的。

本文描述的系统可以接收和/或监测可以指示与识别模型的实时输出相关联的不确定性的、各种类型的信息。在一个示例中，识别模型可以输出与其输出相关联的不确定性的指示(例如，概率、确定性水平、置信度分数等)，并且接收模块104可以实时监测该信息。在一些示例中，识别模型的输入的一些特征(例如，信噪比)可能导致或影响与识别模型的实时输出相关联的不确定性，并且接收模块104可以实时监测这些特征。在至少一个示例中，所公开的系统可以使用一个或多个阈值来离散化和/或解释识别模型的输出。例如，用户输入模块112可以使用阈值304来离散化和/或解释概率302。阈值可以影响和/或指示与识别模型的实时输出相关联的不确定性水平。至少出于这个原因，接收模块104可以识别用于离散化和/或解释识别模型的输出的任何阈值。

在步骤420，本文描述的一个或多个系统可以基于在步骤410接收的信息来确定与实时输出相关联的不确定性水平。例如，确定模块106可以基于由接收模块104接收的信息来确定一个或多个不确定性水平204，如图2所示。

本文描述的系统可以以各种方式确定与识别模型的实时输出相关联的不确定性水平。在一些示例中，识别模型可以输出不确定性度量，并且所公开的系统可以确定与来自识别模型本身的实时输出相关联的不确定性水平。例如，当实时输出包括概率、确定性水平或置信度分数时，所公开的系统可以基于该概率、确定性水平或置信度分数来确定不确定性水平。在一些示例中，如果概率指示用户行为正在发生的可能性，则所公开的系统可以为该概率生成与该概率成反比的不确定性水平(即，高概率可以与低不确定性水平相关联，而低概率可以与高不确定性水平相关联)。类似地，如果与识别模型的实时输出相关联的确定性水平或置信度分数指示实时输出是准确的可能性，则所公开的系统可以为该实时输出生成与该确定性水平或置信度分数成反比的不确定性水平(即，高确定性水平或置信度分数可以与低不确定性水平相关联，而低确定性水平或置信度分数可以与高不确定性水平相关联)。

在一些示例中，概率可以反映用户行为正在发生或没有发生的可能性，并且所公开的系统可以使用一个或多个阈值概率(例如，图3中的阈值304)来区分将被解释为用户行为发生的概率与将被解释为用户行为不发生的概率。在这些示例中，所公开的系统可以使用阈值来确定与概率相关联的不确定性水平。例如，所公开的系统可以产生与概率与阈值之间的距离成反比的、概率的不确定性水平(即，距离阈值最远的概率可以与低不确定性水平相关联，而最接近阈值的概率可以与高不确定性水平相关联)。在至少一个示例中，所公开的系统可以确定如等式(1)所示的概率的不确定性水平：

其中，不确定性是介于0(表示低不确定性)与1(表示高不确定性)之间的不确定性水平，其中概率是单个概率，而阈值是用于将概率解释为行为发生或行为不发生的阈值。图5示出了示例性不确定性水平502，该不确定性水平可以使用等式(1)和来自图3的阈值304来导出。可以看出，与每个概率相关联的不确定性水平可以与该概率与阈值304之间的距离成反比。在该示例中，与最高不确定性水平相关联的概率是最接近阈值304的概率，而与最低不确定性水平相关联的概率是距离阈值304最远的那些概率。

在一些示例中，识别模型的输入的一些特征(例如，信噪比)可能导致或影响与识别模型的实时输出相关联的不确定性。在这样的示例中，所公开的系统可以至少部分地基于这些特征及其对不确定性的贡献来产生或调整实时输出的不确定性水平。

在步骤430，本文描述的一个或多个系统可以基于在步骤420确定的不确定性水平来调制反馈的至少一个属性。例如，调制模块108可以基于与一个或多个实时输出202相关联的一个或多个不确定性水平204来调制反馈206的至少一个属性。

本文描述的系统可以使用各种形式的感官反馈来指示和/或传达与识别模型的实时输出相关联的不确定性水平和/或试图使用户改善与识别模型的实时输出相关联的不确定性水平。在一个示例中，所公开的系统可以使用任何合适类型或形式的触觉反馈(例如振动、力、压力、牵引力、质地和/或温度)来传达关于不确定性水平的信息。在一些示例中，所公开的系统可以使用任何合适类型或形式的非视觉反馈(例如音频反馈)，来传达关于不确定性水平的信息。在至少一个示例中，所公开的系统可以使用视觉反馈的形式来传达关于不确定性水平的信息。

本文描述的系统可以调制反馈的各种属性以传达关于不确定性水平的信息。例如，所公开的系统可以调制反馈幅度、反馈频率、反馈持续时间、反馈模式、反馈空间化、反馈位置、反馈状度(strength)、反馈效果、反馈强度(intensity)、这些中的一个或多个的变体或组合、或反馈的任何其它可感知属性。

本文描述的系统可以以各种方式基于与识别模型的实时输出相关联的不确定性水平来调制反馈的属性。在一些示例中，所公开的系统可以通过设置、调整、调谐或改变属性和/或属性的可感知性来调制反馈的属性，以基本上反映或以其它方式传达与识别模型的实时输出相关联的不确定性水平和/或反映或以其它方式传达与识别模型的实时输出相关联的不确定性水平的变化。

在一些示例中，所公开的系统可以使用二级、三级、四级或五级反馈通道来传达不确定性水平。例如，在视觉反馈通道主要用于向用户提供反馈的情况下，所公开的系统可以使用听觉反馈通道或触觉反馈通道来传达不确定性水平。在一些示例中，所公开的系统可以选择这样的反馈：该反馈与经由主反馈通道传达给用户的其它形式的主反馈相比可以是不易察觉的和/或不那么分散注意力。

在一些示例中，所公开的系统可以将一种或多种类型或形式的反馈与一种或多种类型或形式的模型不确定性相关联。例如，所公开的系统可以将单个类型或形式的反馈(例如，单个类型的振动或一种形式的振动)与所识别的用户行为的发生和未发生有关的不确定性相关联。在这样的示例中，所公开的系统可以调制反馈的一个或多个属性以传达不确定性水平。另外，所公开的系统可以将第一类型或形式的反馈与和所识别的行为的发生相关的不确定性相关联，并且可以将第二类型或形式的反馈与和行为的未发生相关的不确定性相关联。在这样的示例中，所公开的系统可以调制第一类型的反馈的一个或多个属性以传达与行为的发生相关的不确定性水平，和/或可以调制第二类型反馈的一个或多个属性以传达与行为的未发生相关的不确定性水平。

在一些示例中，所公开的系统可以在向用户呈现任何反馈之前向用户提供关于如何降低与识别模型的实时输出相关联的不确定性的指令。在存在用户可通过其降低不确定性水平的多种方法和/或存在低不确定性水平的多个原因的情况下，所公开的系统可将用于各个方法的指令与不同类型的反馈相关联，使得用户可在接收到反馈时迅速知道要应用的适当方法。

在一些示例中，所公开的系统可以调制反馈的一个或多个属性以传达用于降低识别模型的实时输出的不确定性水平的方法。例如，如果用户的手部必须保持在要追踪的头戴式摄像头系统的视场内，则所公开的系统可以每当用户的手部开始从头戴式摄像头系统的视场漂移时，调制经由手腕佩戴设备呈现的触觉反馈的一个或多个属性，以提醒用户将其手部返回到用于追踪的更理想的位置。在至少一个示例中，所公开的系统可以调制触觉反馈的位置以指示用户应该移动其手部以将其返回到用于追踪的更理想位置的方向。

在步骤440，本文描述的一个或多个系统可以基本上与识别模型的实时输出同时地向用户呈现反馈。例如，呈现模块110可以基本上与一个或多个实时输出202中的一个实时输出同时地向用户呈现反馈206。

本文描述的系统可以以各种方式与识别模型的实时输出同时地向用户呈现反馈。在一些示例中，所公开的系统可以基本上与响应于识别模型的实时输出而执行用户输入操作同时地向用户呈现反馈。如果识别模型的实时输出指示将不执行用户输入操作，则所公开的系统可以基本上在确定实时输出指示将不执行用户输入操作的同时向用户呈现反馈。

图6至图11示出了所公开的系统可以调制反馈幅度以传达不确定性水平502的各种示例性方式，该不确定性水平502可以与指示用户行为的发生和/或未发生的概率相关联。为了便于理解，在幅度调制和概率方面提供了这些示例。应当注意，所公开的系统可以以相同或相似的方式调制上述任何反馈属性，以传达与任何类型或形式的识别模型输出相关联的不确定性水平。

图6示出了示例性幅度水平602和不确定性水平502之间的示例性比例关系。在该示例中，所公开的系统可以从响应于与低不确定性水平相关联的概率(例如，距离阈值304最远的概率)而输出低幅度反馈，到响应于与高不确定性水平相关联的概率(例如，最接近阈值304的概率)而输出高幅度反馈。在该示例中，当所公开的系统遇到最不确定的识别模型输出时，用户可以接收最明显的反馈。

图7示出了示例性幅度水平702与不确定性水平502之间的示例性关系。在该示例中，所公开的系统可以根据概率将被解释为用户行为是发生还是不发生而不同地调制幅度水平702。当概率可以被解释为用户行为的未发生时，所公开的系统可以从响应于与低不确定性水平相关联的概率(例如，距离阈值304最远的概率)而输出低幅度反馈，到响应于与高不确定性水平相关联的概率(例如，最接近阈值304的概率)来输出高幅度反馈。另一方面，当概率可以被解释为用户行为的发生时，所公开的系统可以输出高幅度反馈，而不管与概率相关联的不确定性水平。在该示例中，当用户最有可能尝试执行用户行为时，用户可以接收最明显的反馈。

图8至图11示出了所公开的系统可以基于所遇到的不确定性水平是高于还是低于不确定性阈值802来调制反馈幅度的各种示例性方式。图9示出了示例性幅度水平902与不确定性水平502之间的示例性关系。在该示例中，所公开的系统可以根据概率是与高于阈值802的不确定性水平相关联还是与低于阈值802的不确定性水平相关联来不同地调制幅度水平902。当遇到的概率与低于阈值802的不确定性水平相关联时，所公开的系统可以不输出反馈。另一方面，当遇到的概率与高于阈值802的不确定性水平相关联时，所公开的系统可以输出高幅度反馈，而不管与该概率相关联的不确定性水平。在该示例中，当所公开的系统遇到最不确定的识别模型输出时，用户可以接收到明显的反馈。

图10示出了示例性幅度水平1002与不确定性水平502之间的示例性关系。在该示例中，所公开的系统可以根据概率是否高于阈值304和/或概率是与高于还是低于阈值802的不确定性水平相关联来不同地调制幅度水平1002。当遇到的概率低于阈值304并且与低于阈值802的不确定性水平相关联时，所公开的系统可以不输出反馈。另一方面，当遇到高于阈值304的概率或当遇到与高于阈值802的不确定性水平相关联的概率时，所公开的系统可以从响应于较低概率而输出较低幅度反馈到响应于较高概率而输出较高幅度反馈。在该示例中，当用户最有可能尝试执行用户行为时，用户可以接收最明显的反馈。

图11示出了示例性幅度水平1102与不确定性水平502之间的示例性比例关系。在该示例中，所公开的系统可以根据概率是与高于还是与低于阈值802的不确定性水平相关联来不同地调制幅度水平1102。当遇到的概率与低于阈值802的不确定性水平相关联时，所公开的系统可以不输出反馈。另一方面，当遇到的概率与高于阈值802的不确定性水平相关联时，所公开的系统可以从响应于与低不确定性水平相关联的概率(例如，距离阈值304最远的概率)而输出低幅度反馈，到响应于与高不确定性水平相关联的概率(例如，最接近阈值304的概率)而输出高幅度反馈。在该示例中，当所公开的系统遇到最不确定的识别模型输出时，用户可以接收最明显的反馈，但是当所公开的系统遇到最确定的识别模型输出时，用户可以不受反馈的干扰。

图12是用于在对用户行为作出反应的同时向用户传达基于概率的不确定性水平的示例性的计算机实现的方法1200的流程图。图12中所示的步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，该计算系统包括图1中所示的一个或多个系统。在一个示例中，图12中所示的多个步骤中的每个步骤可以表示一算法，该算法的结构包括多个子步骤和/或由多个子步骤表示，子步骤的示例将在下面更详细地提供。图12中所示的一些步骤与图4中所示的步骤类似，因此，图4所示的步骤的讨论也可以适用于图12所示的步骤。

如图12所示，在步骤1210，本文描述的一个或多个系统可以从识别模型接收用户行为发生的概率。例如，接收模块104可以接收图3中所示的概率306至312中的一者。在步骤1220，本文描述的一个或多个系统接下来可以基于在步骤1210接收到的概率来确定不确定性水平。在一个示例中，确定模块106可以使用如上所述的等式(1)来确定在步骤1210接收的概率的不确定性水平。例如，确定模块106可以确定概率306和概率308的相对较低的不确定性水平和/或概率310和概率312的相对较高的不确定性水平。

在步骤1230，本文描述的一个或多个系统然后可以基于在步骤1220确定的不确定性水平来调制反馈的至少一个属性。例如，调制模块108可以调制触觉反馈的至少一个属性以传达在步骤1220确定的不确定性水平(例如，较低幅度的振动可以传达概率306和概率308的相对较低的不确定性水平，或者较高幅度的振动可以传达概率310和312的相对较高的不确定性水平)。在步骤1240，本文描述的一个或多个系统可以确定在步骤1210接收的概率是否高于预定阈值。例如，确定模块106可以确定在步骤1210接收的概率是高于还是低于阈值304。如果确定在步骤1210接收的概率高于阈值(例如，如概率306和概率310可能发生的那样)，则方法1200的执行可在步骤1250继续，在步骤1250，所公开的系统可通过执行与该行为相关联的用户输入操作而作出好像检测到该行为的反应。另一方面，如果确定在步骤1210接收的概率低于阈值(例如，如概率308和概率312可能发生的那样)，则方法1200的执行可以在步骤1260继续，在步骤1260，所公开的系统可以通过避免执行与该行为相关联的用户输入操作来作出好像没有检测到相关联的行为的反应。最后，在步骤1270，本文描述的一个或多个系统可以将在步骤1230调制的反馈基本上与步骤1250或步骤1260的执行同时地呈现给用户。

如上所述，所公开的系统可以使用调制的触觉和/或其它形式的用户反馈来传达预测模型(尤其是预测用户位置、控制器位置和/或用户输入的模型)的可能变化的不确定性水平。在一些示例中，捏合检测模型可以输出指示用户正在执行捏合手势的概率的值。所公开的系统可以在输出概率在上限范围内时作出好像用户正在执行捏合手势的反应，和/或可以在输出概率在下限范围内时作出好像用户没有执行捏合手势的反应。当输出概率处于中间范围内时，所公开的系统可能不太确定或不确定用户是否正在执行捏合手势。至少在这些不确定的情况下，所公开的系统可以向用户呈现已经被调制以指示系统的不确定性/不确定性水平的触觉反馈。在另一示例中，手部追踪模型可以估计用户的手部的位置，并且可以输出指示任何估计的手部位置的确定性或不确定性的值。当用户移动其手部时，所公开的系统可以经由调制的触觉反馈将估计的手部位置的确定性或不确定性传达给用户。如上所述，通过提供关于模型不确定性的透明度，所公开的系统可以减少用户挫折感和/或可以使用户以使得改进模型预测和用户体验的方式来调整他们的行为。

示例实施例

示例1：一种用于传达模型不确定性的计算机实现的方法可以包括：(1)接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为；(2)基于该信息来确定与实时输出相关联的不确定性水平；(3)基于该不确定性水平调制反馈的至少一个属性；以及(4)基本上与识别模型的实时输出同时地向用户呈现反馈。

示例2：根据示例1所述的计算机实现的方法，其中(1)与该识别模型的实时输出相关联的信息包括用户执行行为的概率，(2)计算机实现的方法还包括以下中的至少一者：(a)当用户执行行为的概率高于预定阈值时，执行用户输入操作和/或(b)当用户执行行为的概率低于预定阈值时，阻止执行用户输入操作，并且(3)可以基于概率与预定阈值之间的距离来确定与实时输出相关联的不确定性水平。在一些示例中，不确定水平可以与该距离成反比。

示例3：根据示例1至2中任一项所述的计算机实现的方法，其中(1)与识别模型的实时输出相关联的信息包括用户执行行为的概率，以及(2)反馈的属性可以被调制为具有与用户执行行为的概率成比例的可感知性水平。

示例4：根据示例1至3中任一项所述的计算机实现的方法，其中，反馈的属性可以被调制为具有和与实时输出相关联的不确定性水平成比例的可感知性水平。

示例5：根据示例1至4中任一项所述的计算机实现的方法，其中(1)该识别模型包括适于输出用户执行捏合手势的概率的捏合识别模型，(2)该信息包括用户执行捏合手势的概率，(3)该计算机实现的方法还包括：当用户执行捏合手势的概率高于预定阈值时，执行用户输入操作，以及(4)可以在当用户执行捏合手势的概率高于预定阈值时执行该用户输入操作的同时，向该用户呈现该反馈。

示例6：根据示例1至5中任一项所述的计算机实现的方法，其中(1)该识别模型包括适于输出用户执行捏合手势的概率的捏合识别模型，(2)该信息包括用户执行捏合手势的概率，(3)该计算机实现的方法还包括：当用户执行捏合手势的概率低于预定阈值时，阻止执行用户输入操作，并且(4)可以在确定了用户执行捏合手势的概率低于预定阈值的同时，向该用户呈现该反馈。

示例7：根据示例1至6中任一项所述的计算机实现的方法，其中(1)识别模型可以包括手部追踪模型，该手部追踪模型适于输出：(a)用户的手部的一个或多个部分的位置信息或取向信息，以及(b)位置信息或取向信息的置信水平，并且(2)可以基于该置信水平来确定与该实时输出相关联的不确定性水平。在一些示例中，该不确定性水平可以与置信水平成反比。

示例8：根据示例1至7中任一项所述的计算机实现的方法，其中(1)该反馈可以是触觉反馈，并且(2)该触觉反馈的至少一个属性可以基于与实时输出相关联的不确定性水平。

示例9：根据示例1至8中任一项所述的计算机实现的方法，其中(1)该反馈可以是振动，并且(2)该振动的至少一个属性可以基于与实时输出相关联的不确定性水平。

示例10：根据示例1至9中任一项所述的计算机实现的方法，其中，基于不确定性水平来调制反馈的属性包括调制以下中的一者或多者：(1)反馈的幅度，以向用户传达不确定性水平，(2)反馈的频率，以向用户传达不确定性水平，(3)反馈的持续时间，以向用户传达不确定性水平，(4)反馈的模式，以向用户传达不确定性水平，和/或(5)反馈的空间化，以向用户传达不确定性水平。

示例11：根据示例1至10中任一项所述的计算机实现的方法，其中，该反馈指示用于降低实时输出的不确定性水平的方法。

示例12：根据示例1至11中任一项所述的计算机实现的方法，该方法还包括：(1)接收与识别模型的附加实时输出相关联的附加信息；(2)基于该附加信息确定与该附加实时输出相关联的附加不确定性水平；以及(3)基于该附加不确定性水平调制呈现给用户的反馈。

示例13：一种系统可以包括(1)至少一个物理处理器和(2)物理存储器，该物理存储器包括计算机可执行指令，这些计算机可执行指令在被该物理处理器执行时，使该物理处理器(a)接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为，(b)基于该信息确定与该实时输出相关联的不确定性水平，(c)基于该不确定性水平调制反馈的至少一个属性，以及(d)基本上与该识别模型的实时输出同时地向该用户呈现该反馈。

示例14：根据示例13所述的系统，其中(1)与识别模型的实时输出相关联的信息包括用户执行行为的概率，(2)这些计算机可执行指令在被物理处理器执行时，还使该物理处理器(a)当用户执行行为的概率高于预定阈值时，执行用户输入操作和/或(b)当用户执行行为的概率低于预定阈值时，避免执行用户输入操作，并且(3)可以基于概率与预定阈值之间的距离来确定与实时输出相关联的不确定性水平。在一些示例中，该不确定水平可以与该距离成反比。

示例15：根据示例13至14中任一项所述的系统，其中(1)与识别模型的实时输出相关联的信息包括用户执行行为的概率，并且(2)反馈的属性可以被调制为具有与用户执行行为的概率成比例的可感知性水平。

示例16：根据示例13至15中任一项所述的系统，其中，反馈的属性可以被调制为具有和与实时输出相关联的不确定性水平成比例的可感知性水平。

示例17：根据示例13至16中任一项所述的系统，其中(1)识别模型包括适于输出用户执行捏合手势的概率的捏合识别模型，(2)信息包括用户执行捏合手势的概率，(3)这些计算机可执行指令在被物理处理器执行时，还使物理处理器在用户执行捏合手势的概率高于预定阈值时，执行用户输入操作，并且(4)可以在当用户执行捏合手势的概率高于预定阈值时执行该用户输入操作的同时，向该用户呈现该反馈。

示例18：根据示例13至17中任一项所述的系统，其中(1)识别模型包括适于输出用户执行捏合手势的概率的捏合识别模型，(2)该信息包括用户执行捏合手势的概率，(3)这些计算机可执行指令在被物理处理器执行时，还使物理处理器在用户执行捏合手势的概率低于预定阈值时，阻止执行用户输入操作，并且(4)可以在确定了用户执行捏合手势的概率低于预定阈值的同时，向该用户呈现该反馈。

示例19：根据示例13至18中任一项所述的系统，其中(1)识别模型可以包括手部追踪模型，该手部追踪模型适于输出：(a)用户的手部的一个或多个部分的位置信息或取向信息，以及(b)位置信息或取向信息的置信水平，并且(2)可以基于该置信水平来确定与该实时输出相关联的不确定性水平。在一些示例中，该不确定性水平可以与置信水平成反比。

示例20：一种非暂态计算机可读介质可以包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使该计算设备(1)接收与识别模型的实时输出相关联的信息，该识别模型适于识别用户的至少一个行为，(2)基于该信息确定与该实时输出相关联的不确定性水平，(3)基于该不确定性水平调制反馈的至少一个属性，以及(4)基本上与该识别模型的实时输出同时地向该用户呈现该反馈。

本公开的实施例可以包括各种类型的人工现实系统、或结合各种类型的人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，人工现实例如可以包括虚拟现实、增强现实、混合现实(mixed reality)、混杂现实(hybridreality)、或它们的某种组合和/或派生物。人工现实内容可以包括完全计算机生成内容、或与所采集的(例如，真实世界的)内容相结合的计算机生成内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，以上中的任何一种可以在单个通道或多个通道中呈现(诸如对观看者产生三维(three-dimensional，3D)效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容，和/或以其它方式用于人工现实中(例如，在人工现实中执行活动)。

人工现实系统可以以各种不同的形状要素和配置来实现。一些人工现实系统可以被设计成在没有近眼显示器(near-eye display，NED)的情况下工作。其它人工现实系统可以包括NED，该NED还提供对现实世界的可见性(例如，图13中的增强现实系统1300)，或者使用户在视觉上沉浸在人工现实中(例如，图14中的虚拟现实系统1400)。尽管一些人工现实设备可以是独立的系统，但其它人工现实设备可以与外部设备通信和/或配合以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户穿戴的设备、由一个或多个其它用户穿戴的设备、和/或任何其它合适的外部系统。

转到图13，增强现实系统1300可以包括具有框架1310的眼镜设备1302，该框架被配置为将左显示设备1315(A)和右显示设备1315(B)保持在用户眼睛的前方。显示设备1315(A)和显示设备1315(B)可以一起或独立地动作，以向用户呈现一幅图像或一系列图像。尽管增强现实系统1300包括两个显示器，但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。

在一些实施例中，增强现实系统1300可以包括一个或多个传感器，例如传感器1340。传感器1340可以响应于增强现实系统1300的运动而生成测量信号，且大体上可以位于框架1310的任何部位上。传感器1340可以表示各种不同感测机构中的一者或多者，例如位置传感器、惯性测量单元(inertial measurement unit，IMU)、深度摄像头组件、结构光发射器和/或检测器、或它们的任意组合。在一些实施例中，增强现实系统1300可以包括或不包括传感器1340，或者可以包括多于一个的传感器。在传感器1340包括IMU的实施例中，该IMU可以基于来自传感器1340的测量信号生成校准数据。传感器1340的示例可以包括但不限于：加速度计、陀螺仪、磁力计、检测运动的其它合适类型的传感器、用于IMU的误差校正的传感器、或它们的某种组合。

在一些示例中，增强现实系统1300还可以包括传声器阵列，该传声器阵列具有多个声换能器(acoustic transducer)1320(A)至1320(J)，它们被统称为声换能器1320。声换能器1320可以表示检测由声波引起的气压变化的换能器。每个声换能器1320可以被配置为检测声音并将检测到的声音转换成电子格式(例如，模拟格式或数字格式)。图13中的传声器阵列例如可以包括十个声换能器：可以被设计为放置在用户的对应耳朵内部的1320(A)和1320(B)，可以被定位在框架1310上的各个位置处的声换能器1320(C)、1320(D)、1320(E)、1320(F)、1320(G)和1320(H)，和/或可以被定位在对应的颈带1305上的声换能器1320(I)和1320(J)。

在一些实施例中，声换能器1320(A)至1320(J)中的一个或多个声换能器可以用作输出换能器(例如，扬声器)。例如，声换能器1320(A)和/或1320(B)可以是耳塞或任何其它合适类型的耳机(headphone)或扬声器。

传声器阵列中的各声换能器1320的配置可以改变。尽管增强现实系统1300在图13中被显示为具有十个声换能器1320，但声换能器1320的数量可以大于或小于十个。在一些实施例中，使用更多数量的声换能器1320可以增加收集到的音频信息的量和/或音频信息的灵敏度和准确性。相比之下，使用较少数量的声换能器1320可以降低相关联的控制器13050处理收集到的音频信息所需的计算能力。另外，传声器阵列中的各个声换能器1320的位置可以改变。例如，声换能器1320的位置可以包括用户身上的限定位置、框架1310上的限定坐标、与每个声换能器1320相关联的取向、或它们的某种组合。

声换能器1320(A)和1320(B)可以被定位在用户耳朵的不同部位上，诸如外耳(pinna)后面、耳屏后面、和/或耳廓(auricle)或耳窝内。或者，除了耳道内的声换能器1320之外，在耳朵上或耳朵周围还可以存在附加的声换能器1320。将声换能器1320定位在用户的耳道附近可以使传声器阵列能够收集关于声音如何到达耳道的信息。通过将各声换能器1320中的至少两个声换能器定位在用户头部的两侧(例如，作为双耳传声器)，增强现实设备1300可以模拟双耳听觉并采集用户头部周围的3D立体声场。在一些实施例中，声换能器1320(A)和1320(B)可以经由有线连接1330连接到增强现实系统1300，而在其它实施例中，声换能器1320(A)和1320(B)可以经由无线连接(例如，蓝牙连接)连接到增强现实系统1300。在另一些实施例中，声换能器1320(A)和1320(B)可以完全不与增强现实系统1300结合使用。

框架1310上的多个声换能器1320可以以各种不同的方式而被定位，这些方式包括沿着镜腿(temple)的长度、跨过鼻梁架(bridge)、在显示设备1315(A)和显示设备1315(B)的上方或下方、或它们的某种组合。声换能器1320还可以被定向为使得传声器阵列能够检测佩戴了增强现实系统1300的用户周围的宽范围方向上的声音。在一些实施例中，可以在增强现实系统1300的制造期间执行优化过程，以确定各个声换能器1320在传声器阵列中的相对定位。

在一些示例中，增强现实系统1300可以包括或连接到诸如颈带1305等外部设备(例如，配对设备)。颈带1305通常表示任何类型或形式的配对设备。因此，对颈带1305的以下论述也可以应用于各种其它的配对设备，例如充电盒、智能手表、智能电话、腕带、其它可穿戴设备、手持控制器、平板计算机、膝上型计算机、其它外部计算设备等。

如图所示，颈带1305可以经由一个或多个连接器而耦接到眼镜设备1302。这些连接器可以是有线的或无线的，并且可以包括电子部件和/或非电子部件(例如，结构部件)。在一些情况下，眼镜设备1302和颈带1305可以在它们之间没有任何有线连接或无线连接的情况下独立地操作。尽管图13示出了眼镜设备1302和颈带1305中的部件位于眼镜设备1302和颈带1305上的示例位置处，但这些部件可以位于眼镜设备1302和/或颈带1305上的其它位置和/或以不同的方式分布在该眼镜设备和/或该颈带上。在一些实施例中，眼镜设备1302和颈带1305中的部件可以位于一个或多个附加的外围设备上，该一个或多个附加的外围设备与眼镜设备1302、颈带1305、或它们的某种组合配对。

将外部设备(例如，颈带1305)与增强现实眼镜设备配对可以使该眼镜设备能够实现一副眼镜的形状要素，同时仍然为扩展的能力提供足够的电池电量和计算能力。增强现实系统1300的电池电量、计算资源和/或附加特征中的一些或全部可以由配对设备来提供，或者在配对设备与眼镜设备之间共享，从而总体上降低眼镜设备的重量、热量分布和形状要素，同时仍然保持所期望的功能。例如，由于与用户在其头部上承受的相比，他们可以在其肩部上承受更重的重量负担，因此颈带1305可以允许原本将被包括在眼镜设备上的部件包括在颈带1305中。颈带1305还可以具有较大的表面积，以通过该较大的表面积将热量扩散和散发到周围环境。因此，与在独立眼镜设备上以其它方式可行的电池电量和计算能力相比，颈带1305可以允许更大的电池电量和更强的计算能力。由于颈带1305中携载的重量可以比眼镜设备1302中携载的重量对用户的侵害小，因此，与用户忍受佩戴重的独立眼镜设备相比，用户可以忍受更长时间佩戴较轻眼镜设备且携带或佩戴配对设备，从而使用户能够将人工现实环境更充分地融入到他们的日常活动中。

颈带1305可以与眼镜设备1302通信地耦合，和/或通信地耦合至其它设备。这些其它设备可以向增强现实系统1300提供某些功能(例如，追踪、定位、深度图绘制(depthmapping)、处理、存储等)。在图13的实施例中，颈带1305可以包括两个声换能器(例如，声换能器1320(I)和1320(J))，该两个声换能器是传声器阵列的一部分(或者潜在地形成它们自己的传声器子阵列)。颈带1305还可以包括控制器1325和电源1335。

颈带1305中的声换能器1320(I)和1320(J)可以被配置为检测声音并将检测到的声音转换为电子格式(模拟或数字)。在图13的实施例中，声换能器1320(I)和1320(J)可以被定位在颈带1305上，从而增加了颈带的声换能器1320(I)和1320(J)与被定位在眼镜设备1302上的其它声换能器1320之间的距离。在一些情况下，增加传声器阵列中的各声换能器1320之间的距离可以提高经由该传声器阵列执行的波束成形的准确性。例如，如果声换能器1320(C)和1320(D)检测到声音，且声换能器1320(C)与1320(D)之间的距离例如大于声换能器1320(D)与1320(E)之间的距离，则所确定的检测到的声音的源位置可以比当该声音被声换能器1320(D)和1320(E)检测到时更准确。

颈带1305中的控制器1325可以对由颈带1305和/或增强现实系统1300上的各传感器生成的信息进行处理。例如，控制器1325可以对来自传声器阵列的、描述由该传声器阵列检测到的声音的信息进行处理。对于每个检测到的声音，控制器1325可以执行波达方向(direction-of-arrival，DOA)估计，以估计检测到的声音从哪个方向到达传声器阵列。当传声器阵列检测到声音时，控制器1325可以用该信息填充音频数据集。在增强现实系统1300包括惯性测量单元的实施例中，控制器1325可以根据位于眼镜设备1302上的IMU计算所有惯性和空间计算。连接器可以在增强现实系统1300与颈带1305之间、以及在增强现实系统1300与控制器1325之间传送信息。该信息可以是光学数据形式、电子数据形式、无线数据形式、或任何其它可传输的数据形式。将对增强现实系统1300所生成的信息的处理转移到颈带1305，可以减少眼镜设备1302中的重量和热量，以使该眼镜设备对用户而言更舒适。

颈带1305中的电源1335可以向眼镜设备1302和/或颈带1305提供电力。电源1335可以包括但不限于：锂离子电池、锂聚合物电池、一次性锂电池(primary lithiumbatteries)、碱性电池、或任何其它形式的电力存储器。在一些情况下，电源1335可以是有线电源。将电源1335包括在颈带1305上而不是眼镜设备1302上可以有助于更好地分布由电源1335产生的重量和热量。

如所提到的，一些人工现实系统可以使用虚拟体验来大体上代替用户对真实世界的感官知觉中的一个或多个感官知觉，而不是将人工现实与真实现实混合。这种类型的系统的一个示例是大部分或完全覆盖用户视野的头戴式显示系统，例如图14中的虚拟现实系统1400。虚拟现实系统1400可以包括前部刚性体1402和被成形为适合围绕用户头部的带1404。虚拟现实系统1400还可以包括输出音频换能器1406(A)和1406(B)。此外，尽管图14中未示出，但前部刚性体1402可以包括一个或多个电子元件，该一个或多个电子元件包括一个或多个电子显示器、一个或多个惯性测量单元(IMU)、一个或多个追踪发射器或检测器、和/或用于生成人工现实体验的任何其它合适的设备或系统。

人工现实系统可以包括各种类型的视觉反馈机制。例如，增强现实系统1300中和/或虚拟现实系统1400中的显示设备可以包括：一个或多个液晶显示器(liquid crystaldisplay，LCD)、一个或多个发光二极管(light emitting diode，LED)显示器、一个或多个微型LED显示器、一个或多个有机LED(organic LED，OLED)显示器、一个或多个数字光投影(digital light project，DLP)微型显示器、一个或多个硅基液晶(liquid crystal onsilicon，LCoS)微型显示器、和/或任何其它合适类型的显示屏。这些人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供一个显示屏，这可以允许为变焦调整或为校正用户的屈光不正而提供额外的灵活性。这些人工现实系统中的一些人工现实系统还可以包括多个光学子系统，这些光学子系统具有一个或多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳透镜、可调整的液体透镜等)，用户可以透过该一个或多个透镜观看显示屏。这些光学子系统可以用于各种目的，包括准直(例如，使对象显现在比其物理距离更远的距离处)、放大(例如，使对象显现得比其实际尺寸更大)、和/或传递光(例如，传递到观看者的眼睛)。这些光学子系统可以用于直视型架构(non-pupil-forming architecture)(例如，直接对光进行准直但会产生所谓的枕形失真(pincushion distortion)的单透镜配置)和/或非直视型架构(pupil-forming architecture)(例如，产生所谓的桶形失真以抵消枕形失真的多透镜配置)。

除了使用显示屏之外，或代替使用显示屏，本文所描述的人工现实系统中的一些人工现实系统可以包括一个或多个投影系统。例如，增强现实系统1300和/或虚拟现实系统1400中的显示设备可以包括微型LED投影仪，该微型LED投影仪将光投射(例如，使用波导)到显示设备中，所述显示设备诸如为允许环境光通过的透明组合透镜。显示设备可以朝向用户的瞳孔折射所投射的光，并且可以使用户能够同时观看人工现实内容和真实世界这两者。显示设备可以使用各种不同光学部件中的任何光学部件来实现该目的，这些不同光学部件包括波导部件(例如，全息元件、平面元件、衍射元件、偏振元件、和/或反射波导元件)、光操纵表面和元件(诸如衍射元件和光栅、反射元件和光栅、折射元件和光栅)、耦合元件等。人工现实系统还可以配置有任何其它合适类型或形式的图像投影系统，例如用于虚拟视网膜显示器的视网膜投影仪。

本文所描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，增强现实系统1300和/或虚拟现实系统1400可以包括：一个或多个光学传感器，例如二维(two-dimensional，2D)摄像头或3D摄像头、结构光发射器和检测器、飞行时间深度传感器、单光束测距仪或扫描激光测距仪、3D激光雷达(LiDAR)传感器、和/或任何其它合适类型或形式的光学传感器。人工现实系统可以对来自这些传感器中的一个或多个传感器的数据进行处理，以识别用户的位置、绘制真实世界的地图、向用户提供与真实世界周围环境有关的背景、和/或执行各种其它功能。

本文所描述的人工现实系统还可以包括一个或多个输入和/或输出音频换能器。输出音频换能器可以包括音圈扬声器、带式扬声器、静电式扬声器、压电式扬声器、骨传导换能器、软骨传导换能器、耳屏振动换能器、和/或任何其它合适类型或形式的音频换能器。类似地，输入音频换能器可以包括电容式传声器、动态传声器、带式传声器、和/或任何其它类型或形式的输入换能器。在一些实施例中，对于音频输入和音频输出这两者，可以使用单个换能器。

在一些实施例中，本文所描述的人工现实系统还可以包括触觉(tactile)(即触感(haptic))反馈系统，该触觉反馈系统可以结合到头饰、手套、服装、手持控制器、环境设备(例如椅子、地板垫等)、和/或任何其它类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，这些类型的皮肤反馈包括振动、推力、牵拉、质地和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，诸如运动和顺应性。可以使用电机、压电式致动器、流体系统、和/或各种其它类型的反馈机构来实现触觉反馈。触觉反馈系统可以独立于其它人工现实设备而实现，在其它人工现实设备内实现，和/或结合其它人工现实设备来实现。

通过提供触觉感知、听觉内容和/或视觉内容，人工现实系统可以在各种背景和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如，人工现实系统可以辅助或扩展用户在特定环境中的知觉、记忆或认知。一些系统可以增强用户与真实世界中的其它人的交互，或者可以实现与虚拟世界中的其他人的更沉浸式的交互。人工现实系统也可以用于教育目的(例如，用于学校、医院、政府机构、军事机构、企业等中的教学或训练)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)、和/或用于可接入性目的(例如，用作助听器、视觉辅助器等)。本文所公开的实施例可以在这些背景和环境中的和/或在其它背景和环境中的一个或多个背景和环境中实现或增强用户的人工现实体验。

一些增强现实系统可以使用被称为“同时定位与地图构建”(“simultaneouslocation and mapping”，SLAM)的技术，来绘制用户环境和/或设备环境的地图。SLAM地图构建和定位识别技术可以涉及各种硬件和软件工具，这些硬件和软件工具可以创建或更新环境的地图，同时保持追踪用户在所地图构建的环境内的位置。SLAM可以使用许多不同类型的传感器，来创建地图并确定用户在地图中的位置。

SLAM技术例如可以实现光学传感器，以确定用户的位置。无线电设备(包括Wi-Fi、蓝牙、全球定位系统(global positioning system，GPS)、蜂窝、或其它通信设备)也可以用于确定用户相对于无线电收发器或收发器组(例如，Wi-Fi路由器或GPS卫星组)的位置。声学传感器(例如，传声器阵列、或2D或3D声纳传感器)也可以用于确定用户在环境中的位置。增强现实设备和虚拟现实设备(例如，图13中的系统1300和图14中的系统1400)可以结合这些类型的传感器中的任何传感器或全部传感器，来执行诸如创建和持续更新用户的当前环境的地图等SLAM操作。在本文所描述的多个实施例中的至少一些实施例中，由这些传感器生成的SLAM数据可以称为“环境数据”并且可以指示用户的当前环境。这些数据可以存储在本地或远程数据存储区(例如，云数据存储区)中，并且可以根据需要而提供给用户的AR/VR设备。

如所提到的，人工现实系统1300和1400可以与各种其它类型的设备一起使用，以提供更引人入盛的人工现实体验。这些设备可以是具有多个换能器的触觉接口，这些触觉接口提供触觉反馈和/或收集用户与环境的交互有关的触觉信息。本文所公开的人工现实系统可以包括各种类型的触觉接口，这些类型的触觉接口检测或传送各种类型的触觉信息，这些类型的触觉信息包括触觉反馈(例如，用户经由皮肤中的神经而觉察到的反馈，该反馈也可以称为皮肤反馈)和/或动觉反馈(例如，用户经由位于肌肉、关节和/或肌腱中的感受器而觉察到的反馈)。

触觉反馈可以通过定位在用户环境(例如，椅子、桌子、地板等)内的接口和/或用户可以佩戴或携带的物品(例如，手套、腕带等)上的接口来提供。作为示例，图15示出了可穿戴手套(触觉设备1510)和腕带(触觉设备1520)形式的振动触觉系统1500。触觉设备1510和触觉设备1520被示出为可穿戴设备的示例，其包括柔性的可穿戴纺织材料1530，柔性的可穿戴纺织材料1530分别被成形和配置为抵靠用户的手和手腕而定位。本公开也包括可以被成形和配置为抵靠其它人体部位(例如，手指、手臂、头部、躯干、足部、或腿)而定位的振动触觉系统。作为示例而非限制，根据本公开各种实施例的振动触觉系统也可以是手套、头带、臂带、袖子、头罩、袜子、衬衫、或裤子等其它可能的形式。在一些示例中，术语“纺织”可以包括任何柔性的可穿戴的材料，包括纺织织物、非纺织织物、皮革、布、柔性聚合物材料、复合材料等。

一个或多个振动触觉设备1540可以被定位成至少部分地位于以振动触觉系统1500的纺织材料1530形成的一个或多个相应的口袋内。振动触觉设备1540可以被定位在适当位置处以向振动触觉系统1500的用户提供振动知觉(例如，触觉反馈)。例如，振动触觉设备1540可以定位成抵靠用户的一个或多个手指(finger)、拇指或手腕，如图15所示。在一些示例中，振动触觉设备1540可以是足够柔性的，以顺应用户的一个或多个相应身体部位，或随着用户的一个或多个相应身体部位弯曲。

用于向多个振动触觉设备1540施加电压以用于激活这些振动触觉设备的电源1550(例如，电池)可以电耦接到(例如，经由导线1552电耦接到)振动触觉设备1540。在一些示例中，多个振动触觉设备1540中的每个振动触觉设备可以独立地电耦接到电源1550以用于单独激活。在一些实施例中，处理器1560可以可操作地耦接到电源1550，并且被配置(例如，被编程)为控制对多个振动触觉设备1540的激活。

振动触觉系统1500可以以各种方式实现。在一些示例中，振动触觉系统1500可以是具有多个集成子系统和多个部件以独立于其它设备和系统运行的独立系统。作为另一个示例，振动触觉系统1500可以被配置为与另一设备或系统1570交互。例如，在一些示例中，振动触觉系统1500可以包括用于接收信号和/或向该另一设备或系统1570发送信号的通信接口1580。该另一设备或系统1570可以是移动设备、游戏控制台、人工现实(例如，虚拟现实、增强现实、混合现实)设备、个人计算机、平板计算机、网络设备(例如，调制解调器、路由器等)、手持控制器等。通信接口1580可以经由无线(例如，Wi-Fi、蓝牙、蜂窝、无线电等)链路或有线链路实现振动触觉系统1500与该另一设备或系统1570之间的通信。如果存在通信接口1580，则该通信接口可以与处理器1560通信，例如以向处理器1560提供信号来激活或去激活多个振动触觉设备1540中的一个或多个振动触觉设备。

振动触觉系统1500可以可选地包括其它子系统和部件，例如多个触摸感应垫1590、多个压力传感器、多个运动传感器、多个位置传感器、多个照明元件、和/或多个用户接口元件(例如，开/关按钮、振动控制元件等)。在使用期间，振动触觉设备1540可以被配置为出于各种不同的原因而被激活，例如响应于用户与用户接口元件的交互、来自运动传感器或位置传感器的信号、来自触摸感应垫1590的信号、来自压力传感器的信号、来自该另一设备或系统1570的信号等而被激活。

尽管电源1550、处理器1560和通信接口1580在图15中被示出为被定位在触觉设备1520中，但本公开不限于此。例如，电源1550、处理器1560或通信接口1580中的一者或多者可以被定位在触觉设备1510内或另一个可穿戴织物内。

触觉可穿戴物(例如，在图15中示出和结合图15所描述的那些)可以在各种类型的人工现实系统和环境中实现。图16示出了示例人工现实环境1600，该人工现实环境包括一个头戴式虚拟现实显示器和两个触觉设备(即，手套)，并且在其它实施例中，任何数量的这些部件和其它部件、和/或这些部件和其它部件的任何组合可以被包括在人工现实系统中。例如，在一些实施例中，可以存在多个头戴式显示器，每个头戴式显示器具有相关联的触觉设备，每个头戴式显示器和每个触觉设备与同一控制台、便携式计算设备、或其它计算系统通信。

头戴式显示器1602概括地表示任何类型或形式的虚拟现实系统，例如图14中的虚拟现实系统1400。触觉设备1604概括地表示由人工现实系统的用户穿戴的任何类型或形式的可穿戴设备，该可穿戴设备向用户提供触觉反馈，以给予用户他或她正与虚拟对象物理接触的感知。在一些实施例中，触觉设备1604可以通过向用户施加振动、运动和/或推力来提供触觉反馈。例如，触觉设备1604可以限制或增强用户的动作。给出一特定的示例，触觉设备1604可以限制用户的手向前移动，使得用户感知到他或她的手已经与虚拟壁物理接触。在该特定示例中，触觉设备内的一个或多个致动器可以通过将流体泵入触觉设备的可膨胀气囊中来实现物理移动限制。在一些示例中，用户还可以使用触觉设备1604来向控制台发送动作请求。动作请求的示例包括但不限于，启动应用程序和/或结束应用程序的请求、和/或执行应用程序内的特定动作的请求。

尽管触觉接口可以与虚拟现实系统(如图16所示)一起使用，但触觉接口也可以与增强现实系统(如图17所示)一起使用。图17是用户1710与增强现实系统1700交互的立体图。在该示例中，用户1710可以佩戴一副增强现实眼镜1720，该增强现实眼镜可以具有一个或多个显示器1722并且与触觉设备1730配对。在该示例中，触觉设备1730可以是腕带，该腕带包括多个带元件1732和将这些带元件1732彼此连接的拉伸机构1734。

多个带元件1732中的一个或多个带元件可以包括适于提供触觉反馈的任何类型或形式的致动器。例如，多个带元件1732中的一个或多个带元件可以被配置为提供各种类型的皮肤反馈中的一种或多种类型的皮肤反馈，这些类型的皮肤反馈包括振动、推力、牵拉、质地和/或温度。为了提供这种反馈，多个带元件1732可以包括各种类型的致动器中的一种或多种类型的致动器。在一个示例中，多个带元件1732中的每个带元件可以包括振动触觉器(vibrotactor)(例如，振动触觉致动器)，该振动触觉器被配置为联合地或独立地振动，以向用户提供各种类型的触觉知觉中的一种或多种类型的触觉知觉。替代地，仅单个带元件或多个带元件的子集可以包括振动触觉器。

触觉设备1510、1520、1604和1730可以包括任何合适数量和/或类型的触觉换能器、传感器和/或反馈机构。例如，触觉设备1510、1520、1604和1730可以包括一个或多个机械式换能器、一个或多个压电式换能器、和/或一个或多个流体换能器。触觉设备1510、1520、1604和1730也可以包括一起或独立工作的不同类型和形式的换能器的各种组合，以增强用户的人工现实体验。在一个示例中，触觉设备1730的多个带元件1732中的每个带元件可以包括振动触觉器(例如，振动触觉致动器)，该振动触觉器被配置为联合地或独立地振动，以向用户提供各种类型的触觉知觉中的一种或多种触觉知觉。

在一些实施例中，本文所描述的系统还可以包括眼动追踪子系统，该眼动追踪子系统被设计为识别和追踪用户眼睛的各种特性，例如用户的注视方向。在一些示例中，词语“眼动追踪”可以指这样过程：眼睛的位置、取向和/或运动通过该过程来进行测量、检测、感测、确定和/或监测。所公开的系统可以以各种不同的方式测量眼睛的位置、取向和/或运动，这些不同的方式包括通过使用各种基于光学的眼动追踪技术、基于超声波的眼动追踪技术等。眼动追踪子系统可以以多种不同的方式配置，并且可以包括各种不同的眼动追踪硬件部件或其它计算机视觉部件。例如，眼动追踪子系统可以包括各种不同的光学传感器，例如二维(2D)摄像头或3D摄像头、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D LiDAR传感器、和/或任何其它合适类型或形式的光学传感器。在该示例中，处理子系统可以对来自这些传感器中的一个或多个传感器的数据进行处理，以测量、检测、确定、和/或以其它方式监测用户眼睛的位置、取向和/或运动。

图18是示例性系统1800的图示，该示例性系统包括能够追踪用户的一只或两只眼睛的眼动追踪子系统。如图18中所描绘的，系统1800可以包括光源1802、光学子系统1804、眼动追踪子系统186和/或控制子系统1808。在一些示例中，光源1802可以生成用于图像(例如，该图像将呈现给观看者的眼睛1801)的光。光源1802可以表示各种合适的设备中的任何一种。例如，光源1802可以包括二维投影仪(例如，LCoS显示器)、扫描源(例如，扫描激光器)、或其它设备(例如，LCD、LED显示器、OLED显示器、有源矩阵OLED显示器(active-matrixOLED display，AMOLED)、透明OLED显示器(transparent OLED display，TOLED)、波导、或能够生成用于向观察者呈现图像的光的某个其它显示器)。在一些示例中，该图像可以表示虚拟图像，该虚拟图像可以指由来自空间的一点的光线的表观发散(apparent divergence)形成的光学图像，而不是指由光线的实际发散形成的图像。

在一些实施例中，光学子系统1804可以接收由光源1802产生的光，并且基于所接收到的光生成包括该图像的会聚光1820。在一些示例中，光学子系统1804可以包括可能与致动器和/或其它设备组合的任何数量的透镜(例如，菲涅尔透镜、凸透镜、凹透镜)、光圈、滤光器、反射镜、棱镜、和/或其它光学部件。具体地，致动器和/或其它设备可以平移和/或转动多个光学部件中的一个或多个光学部件以改变会聚光1820的一个或多个方面。此外，各种机械式联接件可以用于以任何合适的组合保持光学部件的相对间隔和/或取向。

在一个实施例中，眼动追踪子系统1806可以生成如下追踪信息：该追踪信息指示观看者的眼睛1801的注视角度。在该实施例中，控制子系统1808可以至少部分地基于该追踪信息来控制光学子系统1804的各方面(例如，会聚光1820的入射角)。此外，在一些示例中，控制子系统1808可以存储历史追踪信息(例如，在给定持续时间(例如前一秒或其一小部分)内的追踪信息的历史)并利用该历史追踪信息来预期眼睛1801的注视角度(例如，眼睛1801的视轴和解剖轴之间的角度)。在一些实施例中，眼动追踪子系统1806可以检测从眼睛1801的某个部分(例如，角膜、虹膜、或瞳孔等)发出的辐射，以确定眼睛1801的当前注视角度。在其它示例中，眼动追踪子系统186可以采用波前传感器来追踪瞳孔的当前位置。

可以使用任何数量的技术来追踪眼睛1801。一些技术可以涉及使用红外光照射眼睛1801，并使用至少一个被调谐为对红外光敏感的光学传感器来测量反射。可以对关于红外光如何从眼睛1801反射的信息进行分析，以确定一个或多个眼睛特征(例如，角膜、瞳孔、虹膜、和/或视网膜血管)的一个或多个位置、一个或多个取向、和/或一个或多个运动。

在一些示例中，可以对由眼动追踪子系统1806的传感器采集的辐射进行数字化(即，转换成电子信号)。此外，传感器可以将该电子信号的数字表示发送到一个或多个处理器(例如，与包括眼动追踪子系统1806的设备相关联的处理器)。眼动追踪子系统1806可以包括各种不同配置的各种传感器中的任何一种传感器。例如，眼动追踪子系统1806可以包括对红外辐射作出反应的红外探测器。红外探测器可以是热探测器、光子探测器、和/或任何其它合适类型的探测器。热探测器可以包括对入射红外辐射的热效应作出反应的探测器。

在一些示例中，一个或多个处理器可以对由眼动追踪子系统1806的一个或多个传感器生成的数字表示进行处理，以追踪眼睛1801的移动。在另一示例中，这些处理器可以通过执行由存储在非暂态存储器上的计算机可执行指令表示的算法，来追踪眼睛1801的移动。在一些示例中，片上逻辑(例如，专用集成电路或ASIC)可以用于执行这些算法的至少一部分。如所提到的，眼动追踪子系统1806可以被编程为使用一个或多个传感器的输出来追踪眼睛1801的移动。在一些实施例中，眼动追踪子系统1806可以对由传感器生成的数字表示进行分析，以从反射的变化中提取眼睛转动信息。在一个实施例中，眼动追踪子系统1806可以使用角膜反射或闪烁(glint)(也称为浦肯野(Purkinje)图像)和/或眼睛的瞳孔1822的中心作为随时间追踪的特征。

在一些实施例中，眼动追踪子系统1806可以使用眼睛的瞳孔1822的中心、和红外光或近红外光、非准直光来产生角膜反射。在这些实施例中，眼动追踪子系统1806可以使用眼睛的瞳孔1822的中心和角膜反射之间的矢量来计算眼睛1801的注视方向。在一些实施例中，所公开的系统可以在追踪用户的眼睛之前，(使用例如监督技术或无监督技术)对个体执行校准过程。例如，校准过程可以包括：引导用户看向显示在显示器上的一个或多个点，同时眼动追踪系统记录与每个注视位置(其与每个点相关联)相对应的值。

在一些实施例中，眼动追踪子系统1806可以使用两种类型的红外和/或近红外(也称为主动光)眼动追踪技术：亮瞳眼动追踪和暗瞳眼动追踪，这可以基于照明源相对于所使用的光学元件的位置来区分。如果照明与光路同轴，则眼睛1801可以用作回射器(retroreflector)，因为光从视网膜上反射，从而产生类似于摄影中的红眼效果的亮瞳效果。如果照明源偏离光路，则眼睛的瞳孔1822可能看起来很暗，因为从视网膜的回射被引导为远离传感器。在一些实施例中，亮瞳追踪可以产生更大的虹膜/瞳孔对比度，从而允许具有虹膜色素沉着的更稳健的眼动追踪，并且可以减少干扰(例如，由睫毛和其它模糊特征引起的干扰)。亮瞳追踪也可以允许在从完全黑暗到非常明亮的环境的照明条件下进行追踪。

在一些实施例中，控制子系统1808可以对光源1802和/或光学子系统1804进行控制，以减少图像的可能由眼睛1801引起或受眼睛1801影响的光学像差(例如，色差和/或单色像差)。在一些示例中，如上所述，控制子系统1808可以使用来自眼动追踪子系统1806的追踪信息来执行这种控制。例如，在控制光源1802时，控制子系统1808可以(例如通过图像渲染)改变由光源1802产生的光，以对图像进行修改(例如，预失真)，从而减少该图像的由眼睛1801引起的像差。

所公开的系统可以追踪瞳孔的位置和相对尺寸这两者(例如，因瞳孔放大和/或收缩)。在一些示例中，对于不同类型的眼睛，用于检测和/或追踪瞳孔的眼动追踪设备和部件(例如，传感器和/或源)可以不同(或者可以被不同地校准)。例如，对于不同颜色的眼睛、和/或不同瞳孔类型和/或尺寸等的眼睛，传感器的频率范围可以不同(或者可以被单独校准)。就这一点而言，本文所描述的各种眼动追踪部件(例如，红外源和/或传感器)可能需要针对每个单独的用户和/或眼睛进行校准。

所公开的系统可以在进行或不进行眼科矫正(例如，由用户佩戴的隐形眼镜提供的眼科矫正)的情况下追踪双眼。在一些实施例中，可以直接将眼科矫正元件(例如，可调节透镜)结合到本文所描述的人工现实系统中。在一些示例中，用户眼睛的颜色可能使对对应的眼动追踪算法的修改成为必要。例如，眼动追踪算法可能需要至少部分地基于棕色眼睛和例如蓝色眼睛之间的不同颜色对比度进行修改。

图19是图18所示的眼动追踪子系统的各个方面的更详细的说明。如该图所示，眼动追踪子系统1900可以包括至少一个源1904和至少一个传感器1906。源1904概括地表示能够发射辐射的任何类型或形式的元件。在一个示例中，源1940可以产生可见辐射、红外辐射和/或近红外辐射。在一些示例中，源1904可以朝向用户的眼睛1902辐射电磁波谱的非准直的红外部分和/或近红外部分。源1904可以利用各种采样率和采样速度。例如，所公开的系统可以使用具有较高采样率的源，以便采集用户的眼睛1902的注视眼动，和/或以便正确测量用户的眼睛1902的扫视动态。如上所提及的，可以使用任何类型或形式的眼动追踪技术来追踪用户的眼睛1902，这些类型或形式的技术包括基于光学的眼动追踪技术、基于超声波的眼动追踪技术等。

传感器1906概括地表示能够检测辐射(例如，从用户的眼睛1902反射的辐射)的任何类型或形式的元件。传感器1906的示例包括但不限于：电荷耦合器件(charge coupleddevice，CCD)、光电二极管阵列、和/或基于互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)的传感器器件等。在一个示例中，传感器1906可以表示具有预定参数的传感器，这些预定参数包括但不限于：动态分辨率范围、线性度、和/或专门为眼动追踪而选择和/或设计的其它特性。

如上所详述的，眼动追踪子系统1900可以产生一个或多个闪烁。如上所详述的，闪烁1903可以表示从用户眼睛的结构对辐射(例如，来自红外源(例如，源1904)的红外辐射)的反射。在各种实施例中，可以使用由处理器(人工现实设备内部或外部的处理器)执行的眼动追踪算法来追踪闪烁1903和/或用户的瞳孔。例如，人工现实设备可以包括：处理器和/或存储设备，以便在本地执行眼动追踪；和/或收发器，以用于发送和接收在外部设备(例如，移动电话、云服务器、或其它计算设备)上执行眼动追踪所需的数据。

图19示出了由眼动追踪子系统(例如，眼动追踪子系统1900)采集的示例图像1905。在该示例中，图像1905可以包括用户的瞳孔1908和该瞳孔附近的闪烁1910。在一些示例中，可以使用基于人工智能的算法(例如，基于计算机视觉的算法)来识别瞳孔1908和/或闪烁1910。在一个实施例中，图像1905可以表示一系列帧中的单个帧，可以对该一系列帧进行连续分析以追踪用户的眼睛1902。此外，可以在一段时间内对瞳孔1908和/或闪烁1910进行追踪，以确定用户的注视。

在一个示例中，眼动追踪子系统1900可以被配置为识别和测量用户的瞳孔间距离(inter-pupillary distance，IPD)。在一些实施例中，眼动追踪子系统1900可以在用户正佩戴着人工现实系统时，对用户的IPD进行测量和/或计算。在这些实施例中，眼动追踪子系统1900可以检测用户的眼睛的位置，并且可以使用该信息来计算用户的IPD。

如所提到的，本文所公开的眼动追踪系统或眼动追踪子系统可以以各种方式追踪用户的眼睛位置和/或眼动。在一个示例中，一个或多个光源和/或光学传感器可以采集用户眼睛的图像。然后，眼动追踪子系统可以使用所采集的信息来确定用户的瞳孔间距离、眼间距、和/或每只眼睛的3D位置(例如，以用于失真调整目的)，所采集的信息包括每只眼睛的扭转和转动的幅度(即，翻转、上下运动和左右运动)和/或注视方向。在一个示例中，红外光可以由眼动追踪子系统发射并从每只眼睛反射。所反射的光可以由光学传感器接收或检测，并且可以对所反射的光进行分析，以从由每只眼睛反射的红外光的变化中提取眼睛转动数据。

眼动追踪子系统可以使用各种不同方法中的任何一种来追踪用户的双眼。例如，光源(例如，红外发光二极管)可以将点图案发射到用户的每只眼睛上。然后，眼动追踪子系统可以(例如，通过耦接到人工现实系统的光学传感器)检测从用户的每只眼睛对该点图案的反射，并对该反射进行分析以识别用户的每个瞳孔的位置。因此，眼动追踪子系统可以追踪每只眼睛的多达六自由度(即，3D位置、翻转、上下运动和左右运动)，并且可以对来自用户的双眼的所追踪的量的至少一个子集进行组合，以估计注视点(即，用户正在观看的虚拟场景中的3D定位或位置)和/或IPD。

在一些情况下，当用户的眼睛移动看向不同方向时，用户的瞳孔和显示器之间的距离可能会改变。瞳孔和显示器之间、在观看方向改变时变化的距离可以被称为“瞳孔游移(pupil swim)”，并且由于随着瞳孔和显示器之间的距离改变而使光聚焦在不同的位置，上述变化的距离会造成用户可感知的失真。因此，测量在相对于显示器的不同眼睛位置和瞳孔距离处的失真、并针对不同位置和距离生成失真校正可以允许通过以下方式来减少由瞳孔游移引起的失真：追踪用户眼睛的3D位置，并及时在给定点处应用与用户的每只眼睛的3D位置相对应的失真校正。因此，知道用户的每只眼睛的3D位置可以允许通过对每个3D眼睛位置应用失真校正，来减少因眼睛的瞳孔和显示器之间的距离的变化而引起的失真。此外，如上所提及的，知道用户每只眼睛的位置还可以使眼动追踪子系统能够对用户的IPD进行自动调整。

在一些实施例中，显示子系统可以包括各种附加子系统，这些附加子系统可以结合本文所描述的眼动追踪子系统来工作。例如，显示子系统可以包括变焦子系统、场景渲染模块、和/或辐辏处理模块。变焦子系统可以使左显示元件和右显示元件改变显示设备的焦距。在一个实施例中，变焦子系统可以通过移动显示器、光学器件、或这两者，来在物理上改变显示器与光学器件(该显示器通过该光学器件被观看)之间的距离。此外，相对于彼此移动或平移两个透镜也可以用于改变显示器的焦距。因此，变焦子系统可以包括致动器或马达，所述致动器或马达对显示器和/或光学器件进行移动以改变它们之间的距离。该变焦子系统可以与显示子系统分开或集成到显示子系统中。变焦子系统还可以集成到其致动子系统和/或本文所描述的眼动追踪子系统中，或与其致动子系统和/或本文所描述的眼动追踪子系统分开。

在一个示例中，显示子系统可以包括辐辏处理模块，该辐辏处理模块被配置为基于由眼动追踪子系统确定的注视点和/或视线(gaze line)的估计交汇点，来确定用户的注视的辐辏深度。辐辏可以指双眼同时向相对的方向移动或转动以维持双眼单视，这可以由人眼自然地且自动地执行。因此，用户的双眼会聚的位置是用户正在观看的位置，并且通常也是用户的双眼聚焦的位置。例如，辐辏处理模块可以对视线进行三角测量，以估计距用户的、与视线的交汇点相关联的距离或深度。然后，与视线的交汇点相关联的深度可以用作调焦距离的近似值，其可识别用户眼睛所指向的、距用户的距离。因此，辐辏距离可以允许确定用户的双眼应该聚焦的位置、以及距用户的双眼的深度(用户的双眼在该深度处聚焦)，从而提供用于对虚拟场景进行渲染调整的信息(例如，对象或焦平面)。

辐辏处理模块可以与本文所描述的眼动追踪子系统配合以对显示子系统进行调整，以考虑用户的辐辏深度。在用户聚焦在远处的东西上时，用户的瞳孔可能分开得比用户聚焦在近处的东西时稍微远一些。眼动追踪子系统可以获取关于用户的辐辏或聚焦深度的信息，并且可以在用户的双眼聚焦或会聚在近处的东西上时将显示子系统调整为更靠近，并且在用户的双眼聚焦或会聚在远处的东西上时将显示子系统调整为更远离。

由上述眼动追踪子系统生成的眼动追踪信息还可以例如用于修改如何呈现不同的计算机生成图像的各个方面。例如，显示子系统可以被配置为基于由眼动追踪子系统生成的信息来修改如何呈现计算机生成图像的至少一个方面。例如，可以基于用户的眼动来修改计算机生成图像，使得如果用户正在向上看，则可以在屏幕上将计算机生成图像向上移动。类似地，如果用户正在向一侧看或向下看，则可以在屏幕上将计算机生成图像向一侧移动或向下移动。如果用户闭眼，则可以暂停计算机生成图像或从显示器中移除该计算机生成图像，并且一旦用户再次睁开眼睛，就会恢复该计算机生成图像。

可以将上述眼动追踪子系统以各种方式结合到本文所描述的各种人工现实系统中的一个或多个人工现实系统中。例如，可以将系统1800和/或眼动追踪子系统1900的各个部件中的一个或多个部件结合到图13中的增强现实系统1300和/或图14中的虚拟现实系统1400中，以使这些系统能够执行各种眼动追踪任务(包括本文所描述的眼动追踪操作中的一个或多个眼动追踪操作)。

图20A示出了被配置为作为可穿戴系统2000而被佩戴在用户的下臂或手腕上的示例性人机接口(本文也称为EMG控制接口)。在该示例中，可穿戴系统2000可以包括十六个神经肌肉传感器2010(例如，EMG传感器)，该十六个神经肌肉传感器围绕弹性带2020而周向地布置，该弹性带的内表面2030被配置为接触用户的皮肤。然而，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，该控制信息用于控制增强现实系统、机器人，用于控制载具，用于滚动文本，用于控制虚拟化身或用于任何其它合适的控制任务。如图所示，可以使用结合到无线设备中的柔性电子器件将这些传感器耦接在一起。图20B示出了通过图20A中所示的可穿戴设备的多个传感器中的一个传感器的横截面图。在一些实施例中，可选地，可以使用硬件信号处理电路来处理多个传感部件中的一个或多个传感部件的输出(例如，以执行放大、滤波和/或整流)。在其它实施例中，可以在软件中执行对多个传感部件的输出的至少一些信号处理。因此，对由传感器采样的信号的信号处理可以在硬件、软件中执行，或通过硬件和软件的任何合适组合来执行，本文中所描述的技术的各方面在此不受限制。以下参考图21A和图21B更详细地论述用于处理来自传感器2010的记录数据的信号处理链的非限制性示例。

图21A和图21B示出了可穿戴系统的具有多个EMG传感器的内部部件的示例性示意图。如图所示，可穿戴系统可以包括可穿戴部分2110(图21A)和适配器(dongle)部分2120(图21B)，该适配器部分(例如，通过蓝牙或另一合适的无线通信技术)与该可穿戴部分2110通信。如图21A所示，可穿戴部分2110可以包括多个皮肤接触电极2111，这些皮肤接触电极的示例结合图20A和图20B进行了描述。可以将该多个皮肤接触电极2111的输出提供至模拟前端2130，该模拟前端可以被配置为对所记录的信号执行模拟处理(例如，放大、降噪、滤波等)。然后，可以将处理后的模拟信号提供至模数转换器2132，该模数转换器可以将模拟信号转换成数字信号，这些数字信号可以由一个或多个计算机处理器处理。如图21A所示，根据一些实施例可使用的计算机处理器的示例为微控制器(microcontroller，MCU)2134。如图所示，MCU 2134还可以包括来自其它传感器(例如，IMU传感器2140)的输入、以及来自电源和电池模块2142的输入。可以将由MCU 2134执行的处理的输出提供至天线2150，以用于传输到图21B中所示的适配器部分2120。

适配器部分2120可以包括天线2152，该天线可以被配置为与作为可穿戴部分2110的一部分而被包括的天线2150通信。天线2150和天线2152之间的通信可以使用任何合适的无线技术和协议进行，该无线技术和协议的非限制性示例包括射频信号传递(radiofrequency signaling)和蓝牙。如图所示，可将由适配器部分2120的天线2152接收的信号提供至主计算机，以用于进一步的处理、显示，和/或用于实现对一个或多个特定物理对象、或一个或多个特定虚拟对象的控制。

尽管在具有多个EMG传感器的接口的上下文中，对参考图20A和图20B、以及图21A和图21B所提供的示例进行了论述，但本文所描述的用于减少电磁干扰的技术也可以在具有其它类型的传感器的可穿戴接口中实现，这些其它类型的传感器包括但不限于：肌动图(mechanomyography，MMG)传感器、声肌图(sonomyography，SMG)传感器和电阻抗断层成像(electrical impedance tomography，EIT)传感器。本文所描述的用于减少电磁干扰的技术也可以在这样的可穿戴接口中实现：所述可穿戴接口通过导线和电缆(例如，通用串行总线(USB)电缆、光纤电缆等)与计算机主机通信。

如上所详述的，本文所描述和/或所示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如，包含在本文所描述的多个模块中的那些指令)的、任何类型或形式的计算设备或系统。在一个或多个计算设备的最基本配置中，该一个或多个计算设备均可以包括至少一个存储设备和至少一个物理处理器。

在一些示例中，术语“存储设备”概括地指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储设备可以存储、加载和/或维护本文所描述的各模块中的一个或多个模块。存储设备的示例包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓冲存储器、以上中的一个或多个的变型或组合、或任何其它合适的存储器。

在一些示例中，术语“物理处理器”概括地指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储设备中的一个或多个模块。物理处理器的示例包括但不限于，微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、以上中的一个或多个中的部分、以上中的一个或多个的变型或组合、或任何其它合适的物理处理器。

尽管本文所描述和/或所示出的各模块被示出为单独的元件，但是这些模块可以表示单个模块中的部分或单个应用中的部分。另外，在某些实施例中，这些模块中的一个或多个模块可以表示一个或多个软件应用或程序，该一个或多个软件应用或程序在被计算设备执行时可以使该计算设备执行一个或多个任务。例如，本文描述和/或所示出的各模块中的一个或多个模块可以表示这样的模块：所述模块存储在本文所描述和/或所示出的计算设备或系统中的一个或多个上，并且被配置为在本文所描述和/或所示出的计算设备或系统中的一个或多个上运行。这些模块中的一个或多个模块还可以表示被配置为执行一个或多个任务的一个或多个专用计算机的全部或部分。

此外，本文所描述的各模块中的一个或多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换为另一种形式。例如，本文所陈述的各模块中的一个或多个模块可以接收待变换的识别模型的实时输出，将识别模型的实时输出变换为不确定性水平，将变换结果输出到反馈系统以用于随后传递给用户，和/或使用变换结果以调制适当和/或合适的反馈的至少一个属性以用于呈现给用户。附加地或替代地，本文所陈述的各模块中的一个或多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其它方式与计算设备交互，来将物理计算设备的处理器、易失性存储器、非易失性存储器、和/或任何其它部分从一种形式转换成另一种形式。

在一些实施例中，术语“计算机可读介质”概括地是指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于，传输型介质(例如，载波)、和非暂态型介质，所述非暂态型介质例如为磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(Compact Disk，CD)、数字视频光盘(DigitalVideo Disk，DVD)和蓝光光盘)、电子存储介质(例如，固态驱动器和闪存介质)、以及其它分发系统。

本文所描述和/或所示出的工艺参数和步骤顺序仅以示例的方式给出，并且可以根据需要改变。例如，尽管本文所示出和/或所描述的步骤可能是以特定顺序显示或论述的，但这些步骤不一定需要按照所示出或所论述的顺序来执行。本文所描述和/或所示出的各种示例性方法也可以省略本文所描述或所示出的各步骤中的一个或多个步骤，或者可以包括除了所公开的那些步骤之外的附加步骤。

已提供之前的描述来使本领域技术人员能够最好地利用本文所公开的示例性实施例的各个方面。该示例性描述并不旨在是详尽的或被限制为所公开的任何精确形式。在不脱离本公开的精神和范围的情况下，许多修改和变型是可能的。本文所公开的实施例在所有方面都应被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附的任何权利要求及其等同物。

除非另有说明，否则如说明书和权利要求书中所使用的术语“连接到”和“耦接到”(及其派生词)将被解释为允许直接连接和间接连接(即，通过其它元件或部件)这两者。此外，如说明书和权利要求书中所使用的术语“一个(a)”或“一个(an)”将被解释为表示“中的至少一个”。最后，为了便于使用，如说明书和权利要求书中所使用的术语“包括(including)”和“具有”(及其派生词)与词语“包括(comprising)”是可互换的，并且具有与词语“包括(comprising)”相同的含义。

Claims (15)

1.一种计算机实现的方法，所述计算机实现的方法包括：

接收与识别模型的实时输出相关联的信息，所述识别模型适于识别用户的至少一个行为；

基于所述信息确定与所述实时输出相关联的不确定性水平；

基于所述不确定性水平调制反馈的至少一个属性；以及

基本上与所述识别模型的实时输出同时地向所述用户呈现所述反馈。

2.根据权利要求1所述的计算机实现的方法，其中：

与所述识别模型的实时输出相关联的所述信息包括所述用户执行所述行为的概率；

所述计算机实现的方法还包括以下中的一者或多者：

当所述用户执行所述行为的概率高于预定阈值时，执行用户输入操作；或者

当所述用户执行所述行为的概率低于所述预定阈值时，阻止执行所述用户输入操作；并且与所述实时输出相关联的所述不确定性水平是基于所述概率与所述预定阈值之间的距离来确定的，所述不确定性水平与所述距离成反比。

3.根据权利要求1或2所述的计算机实现的方法，其中：

与所述识别模型的实时输出相关联的所述信息包括所述用户执行所述行为的概率；并且

所述反馈的属性被调制为具有与所述用户执行所述行为的概率成比例的可感知性水平。

4.根据权利要求1或2所述的计算机实现的方法，其中，所述反馈的属性被调制为具有和与所述实时输出相关联的不确定性水平成比例的可感知性水平。

5.根据权利要求1至3中任一项所述的计算机实现的方法，其中：

所述识别模型包括适于输出所述用户执行捏合手势的概率的捏合识别模型；

所述信息包括所述用户执行所述捏合手势的概率；

所述计算机实现的方法还包括：当所述用户执行所述捏合手势的概率高于预定阈值时，执行用户输入操作；并且

在当所述用户执行所述捏合手势的概率高于所述预定阈值时执行所述用户输入操作的同时，向所述用户呈现所述反馈。

6.根据权利要求1至4中任一项所述的计算机实现的方法，其中：

所述识别模型包括适于输出所述用户执行捏合手势的概率的捏合识别模型；

所述信息包括所述用户执行所述捏合手势的概率；

所述计算机实现的方法还包括：当所述用户执行所述捏合手势的概率低于预定阈值时，阻止执行用户输入操作；并且

在确定了所述用户执行所述捏合手势的概率低于所述预定阈值的同时，向所述用户呈现所述反馈。

7.根据权利要求1至3中任一项所述的计算机实现的方法，其中：

所述识别模型包括手部追踪模型，所述手部追踪模型适于输出：

所述用户的手部的一个或多个部分的位置信息或取向信息；以及

所述位置信息或取向信息的置信水平；并且

与所述实时输出相关联的不确定性水平是基于所述置信水平来确定的，所述不确定性水平与所述置信水平成反比。

8.根据权利要求1至7中任一项所述的计算机实现的方法，其中：

所述反馈是触觉反馈；并且

所述触觉反馈的至少一个属性基于与所述实时输出相关联的所述不确定性水平。

9.根据权利要求1至7中任一项所述的计算机实现的方法，其中：

所述反馈是振动；并且

所述振动的至少一个属性基于与所述实时输出相关联的所述不确定性水平。

10.根据权利要求1至9中任一项所述的计算机实现的方法，其中，基于所述不确定性水平来调制所述反馈的属性包括调制以下中的一者或多者：

所述反馈的幅度，以向所述用户传达所述不确定性水平；

所述反馈的频率，以向所述用户传达所述不确定性水平；

所述反馈的持续时间，以向所述用户传达所述不确定性水平；

所述反馈的模式，以向所述用户传达所述不确定性水平；以及

所述反馈的空间化，以向所述用户传达所述不确定性水平。

11.根据权利要求1至10中任一项所述的计算机实现的方法，其中，所述反馈指示用于降低所述实时输出的不确定性水平的方法。

12.根据权利要求1至11中任一项所述的计算机实现的方法，所述方法还包括：

接收与所述识别模型的附加实时输出相关联的附加信息；

基于所述附加信息确定与所述附加实时输出相关联的附加不确定性水平；以及

基于所述附加的不确定性水平来调制所述反馈的属性。

13.一种系统，所述系统包括：

至少一个物理处理器；以及

物理存储器，所述物理存储器包括计算机可执行指令，所述计算机可执行指令在被所述物理处理器执行时，使所述物理处理器执行权利要求中1至12中任一项所述的方法或者以：

接收与识别模型的实时输出相关联的信息，所述识别模型适于识别用户的至少一个行为；

基于所述信息确定与所述实时输出相关联的不确定性水平；

基于所述不确定性水平调制反馈的至少一个属性；以及

基本上与所述识别模型的实时输出同时地向所述用户呈现所述反馈。

14.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括一个或多个计算机可执行指令，所述一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使所述计算设备执行根据权利要求1至12中任一项所述的方法或者以：

接收与识别模型的实时输出相关联的信息，所述识别模型适于识别用户的至少一个行为；

基于所述信息确定与所述实时输出相关联的不确定性水平；

基于所述不确定性水平调制反馈的至少一个属性；以及

基本上与所述识别模型的实时输出同时地向所述用户呈现所述反馈。

15.一种软件产品，所述软件产品包括：一个或多个计算机可执行指令，所述一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使所述计算设备执行权利要求1至12中任一项所述的方法或者以：

接收与识别模型的实时输出相关联的信息，所述识别模型适于识别用户的至少一个行为；

基于所述信息确定与所述实时输出相关联的不确定性水平；

基于所述不确定性水平调制反馈的至少一个属性；以及

基本上与所述识别模型的实时输出同时地向所述用户呈现所述反馈。