CN118076941A - 用于促进与外围设备进行交互的方法和设备 - Google Patents

Abstract

各种具体实施包括与外围设备相关联地呈现内容。例如，一种方法包括响应于检测到指向该外围设备的第一部分的用户输入而呈现第一XR内容。该方法包括响应于检测到指向该外围设备的第二部分的用户输入而呈现第二XR内容。该第一XR内容和该第二XR内容中的每一者包括与该外围设备的对应部分的功能或使用相关联的相应虚拟增强。作为另一示例，一种方法包括显示世界锁定(world‑locked)到外围设备的配对示能表示。基于接收到指向该外围设备的用户输入，该方法包括显示该配对示能表示。选择该配对示能表示发起与该外围设备的配对。

Description

用于促进与外围设备进行交互的方法和设备

技术领域

本公开整体涉及与外围设备进行交互，具体地经由一个或多个用户界面与外围设备进行交互。

背景技术

电子设备可以提供使得用户能够与外围设备进行交互的各种用户界面。例如，电子设备和外围设备被包括在特定环境中，使得电子设备可以与外围设备通信。然而，用户界面提供低效且不直观的用户交互。例如，电子设备显示包括用于将电子设备与外围设备中的一个外围设备配对的选择选项的配对菜单。然而，配对菜单的选择选项和显示位置独立于相对于特定环境的用户参与，从而导致用户体验变差。另外，用户界面无法通知用户与特定外围设备相关联的热键组合或加速器，这使用户体验进一步变差。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作架构的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4A是根据一些具体实施的示例性内容递送架构的第一部分的框图。

图4B示出了根据一些具体实施的示例性数据结构。

图4C是根据一些具体实施的示例性内容递送架构的第二部分的框图。

图5A至图5W示出了根据一些具体实施的内容递送场景的实例的序列。

图6是根据一些具体实施的呈现与外围设备的一部分的功能或使用相关联的虚拟增强的方法的流程图表示。

图7A至图7M示出了根据一些具体实施的包括世界锁定(world-locked)到外围设备以使得能够与该外围设备配对的配对示能表示的用户界面的示例。

图8A至图8M示出了根据一些具体实施的包括多个配对示能表示以使得能够与对应的外围设备配对的用户界面的示例。

图9A和图9B示出了根据一些具体实施的显示世界锁定到相应的外围设备的一个或多个配对示能表示的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于呈现与外围设备的一部分的功能或使用相关联的虚拟增强的设备、系统和方法。根据一些具体实施，该方法在包括非暂态存储器和一个或多个处理器的计算系统处执行，其中该计算系统通信地耦接到显示设备和一个或多个输入设备。该方法包括：检测物理环境内的外围设备；检测指向外围设备的第一用户输入；以及响应于检测到第一用户输入：根据确定第一用户输入指向外围设备的第一部分，经由显示设备呈现与外围设备的第一部分相呼应的第一扩展现实(XR)内容，其中第一XR内容包括与外围设备的第一部分的功能或使用相关联的第一组一个或多个虚拟增强；以及根据确定第一用户输入指向与外围设备的第一部分不同的外围设备的第二部分，经由显示设备呈现与外围设备的第二部分相呼应的第二XR内容，其中第二XR内容包括与外围设备的第二部分的功能或使用相关联的第二组一个或多个虚拟增强。

本文所公开的各种具体实施包括用于显示世界锁定到外围设备的配对示能表示以使得能够与外围设备配对的设备、系统和方法。根据一些具体实施，该方法在包括非暂态存储器、一个或多个处理器、显示器和一个或多个输入设备的电子设备处执行。该方法包括经由计算机视觉技术来检测三维(3D)环境内的第一外围设备。该方法包括经由一个或多个输入设备来接收指向3D环境内的第一外围设备的第一用户输入。该方法包括响应于接收到第一用户输入，在显示器上显示世界锁定到3D环境内的第一外围设备的第一配对示能表示。

根据一些具体实施，一种电子设备包括一个或多个显示器、一个或多个处理器、非暂态存储器和一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令当由设备的一个或多个处理器执行时，使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个显示器、一个或多个处理器、非暂态存储器，以及用于执行或使执行本文所述方法中的任一种的装置。

根据一些具体实施，一种计算系统包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备进行通信的接口，以及一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质具有存储在其中的指令，这些指令当由具有与显示设备和一个或多个输入设备通信的接口的计算系统的一个或多个处理器执行时，使计算系统执行或使执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种计算系统包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备通信的接口，以及用于执行或使执行本文所述的方法中的任一种方法的操作的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例性具体实施的透彻理解。然而，附图仅示出了本公开的一些示例性方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

物理环境是指人们在没有电子设备帮助的情况下能够对其感测和/或与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境以及/或者与物理环境进行交互。相反，扩展现实(XR)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。如一个示例，XR系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。如另一示例，XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板计算机、膝上型计算机等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，XR系统可响应于物理运动的表示(例如，声音命令)来调节XR环境中图形内容的特征。

有许多不同类型的电子系统使人能够感测和/或与各种XR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板计算机，以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器以及/或者用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，表示图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、μLED、硅基液晶、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器，或它们的任何组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100包括任选的控制器110和电子设备120(例如，平板电脑、移动电话、膝上型电脑、近眼系统、可穿戴计算设备等)。

在一些具体实施中，控制器110被配置为管理和协调用户150以及任选地其他用户的XR体验(在本文中有时也称为“XR环境”或“虚拟环境”或“图形环境”)。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105位于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110的功能由电子设备120提供。这样，在一些具体实施中，控制器110的部件集成到电子设备120中。

在一些具体实施中，电子设备120被配置为向用户150呈现音频和/或视频(A/V)内容。在一些具体实施中，电子设备120被配置为向用户150呈现用户界面(UI)和/或XR环境128。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。

根据一些具体实施，当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR体验，其中该物理环境包括处于电子设备120的视场(FOV)111内的桌子107。因此，在一些具体实施中，用户150将电子设备120握持在他们的一只手或两只手中。在一些具体实施中，在呈现XR体验时，电子设备120被配置为呈现XR内容(在本文中有时也称为“图形内容”或“虚拟内容”)，包括XR圆柱体109，并且使得能够实现显示器122上物理环境105(例如，包括桌子107或其表示)的视频透传。例如，包括XR圆柱体109的XR环境128是立体的或三维的(3D)。

在一个示例中，XR圆柱体109对应于头部/显示器锁定的内容，使得当FOV 111由于电子设备120的平移和/或旋转运动而改变时，XR圆柱体109保持显示在显示器122上的相同位置处。作为另一示例，XR圆柱体109对应于世界/对象锁定的内容，使得当FOV 111由于电子设备120的平移和/或旋转运动而改变时，XR圆柱体109保持显示在其原始位置处。因此，在该示例中，如果FOV 111不包括原始位置，则所显示的XR环境128将不包括XR圆柱体109。作为另一示例，XR圆柱体109对应于身体锁定的内容，使得其保持在与用户150的身体的一定定位和旋转偏移量处。在一些示例中，电子设备120对应于近眼系统、移动电话、平板电脑、膝上型电脑、可穿戴计算设备等等。

在一些具体实施中，显示器122对应于使得能够实现物理环境105(包括桌子107)的光学透传的加成显示器。例如，显示器122对应于透明透镜，并且电子设备120对应于用户150佩戴的一副眼镜。因此，在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)投影到加成显示器上而呈现用户界面，其继而从用户150的角度叠置在物理环境105上。在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)显示在加成显示器上而呈现用户界面，其继而从用户150的角度叠置在物理环境105上。

在一些具体实施中，用户150穿戴电子设备120，诸如近眼系统。因此，电子设备120包括被提供以显示XR内容的一个或多个显示器(例如，单个显示器或每只眼睛一个显示器)。例如，电子设备120包围用户150的FOV。在此类具体实施中，电子设备120通过在一个或多个显示器上显示对应于XR环境128的数据或者通过将对应于XR环境128的数据投影到用户150的视网膜上来呈现XR环境128。

在一些具体实施中，电子设备120包括显示XR环境128的集成显示器(例如，内置显示器)。在一些具体实施中，电子设备120包括可头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备120可附接到可头戴式壳体。在各种具体实施中，可头戴式壳体被成形为形成用于接纳包括显示器的另一设备(例如，电子设备120)的容器。例如，在一些具体实施中，电子设备120滑动/卡扣到可头戴式壳体中或以其他方式附接到该可头戴式壳体。在一些具体实施中，附接到可头戴式壳体的设备的显示器呈现(例如，显示)XR环境128。在一些具体实施中，将电子设备120替换成被配置为呈现XR内容的XR室、壳体或房间，在其中用户150不穿戴电子设备120。

在一些具体实施中，控制器110和/或电子设备120使得用户150的XR表示基于来自电子设备120和/或物理环境105内的任选的远程输入设备的移动信息(例如，身体姿态数据、眼睛跟踪数据、手部/肢体/手指/四肢跟踪数据等)在XR环境128内移动。在一些具体实施中，任选的远程输入设备对应于物理环境105内的固定或可移动的感官设备(例如，图像传感器、深度传感器、红外(IR)传感器、事件相机、麦克风等)。在一些具体实施中，每个远程输入设备被配置为在用户150物理地在物理环境105内时收集/捕获输入数据，并且将输入数据提供给控制器110和/或电子设备120。在一些具体实施中，远程输入设备包括麦克风，并且输入数据包括与用户150相关联的音频数据(例如，语音样本)。在一些具体实施中，远程输入设备包括图像传感器(例如，相机)，并且输入数据包括用户150的图像。在一些具体实施中，输入数据表征用户150在不同时间的身体姿态。在一些具体实施中，输入数据表征用户150在不同时间的头部姿态。在一些具体实施中，输入数据表征在不同时间与用户150的手部相关联的手部跟踪信息。在一些具体实施中，输入数据表征用户150的身体部分诸如他们的手部的速度和/或加速度。在一些具体实施中，输入数据指示用户150的关节定位和/或关节取向。在一些具体实施中，远程输入设备包括反馈设备，诸如扬声器、灯等。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、触摸屏、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一者。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下文参照图2所述的下述程序、模块和数据结构或者它们的子集。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。

在一些具体实施中，数据获取器242被配置为从控制器110的I/O设备206、电子设备120的I/O设备和传感器306以及任选的远程输入设备中的至少一者获取数据(例如，所捕获的物理环境105的图像帧、呈现数据、输入数据、用户交互数据、相机姿态跟踪信息、眼睛跟踪信息、头部/身体姿态跟踪信息、手部/肢体/手指/四肢跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，映射器和定位器引擎244被配置为映射物理环境105并且至少跟踪电子设备120或用户150相对于物理环境105的定位/位置。为此，在各种具体实施中，映射器和定位器引擎244包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器246被配置为至少向电子设备120以及任选地向一个或多个其他设备传输数据(例如，呈现数据，诸如与XR环境相关联的经渲染的图像帧、位置数据等)。为此，在各种具体实施中，数据传输器246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，隐私架构408被配置为摄取数据，并且基于一个或多个隐私过滤器来过滤该数据内的用户信息和/或标识信息。下文参考图4A更详细地描述隐私架构408。为此，在各种具体实施中，隐私架构408包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，对象跟踪引擎410被配置为通过基于输入数据获取如图4B所示的对象跟踪向量411来定位和跟踪物理环境105内的一个或多个物理对象，并且随时间推移而更新对象跟踪向量411。根据一些具体实施，物理环境105内的一个或多个物理对象对应于外围设备，诸如键盘、鼠标、触敏表面(TSS)诸如触控板或触摸屏，操纵杆、游戏控制器等等。例如，如图4B所示，对象跟踪向量411包括一个或多个对象描述符472(例如，一个或多个被跟踪物理对象中的每一个被跟踪物理对象的标签)、一个或多个被跟踪物理对象中的每一个被跟踪物理对象的平移值474、一个或多个被跟踪物理对象中的每一个被跟踪物理对象的旋转值476等等。下面参考图4A更详细地描述对象跟踪引擎410。为此，在各种具体实施中，对象跟踪引擎410包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，眼睛跟踪引擎412被配置为基于输入数据来获取(例如，接收、检索或确定/生成)如图4B所示的眼睛跟踪向量413(例如，具有注视方向)并且随时间推移而更新眼睛跟踪向量413。例如，注视方向指示用户150当前正在查看的物理环境105中的点(例如，与相对于物理环境105或整个世界的x坐标、y坐标和z坐标相关联)、物理对象或感兴趣区域(ROI)。作为另一示例，注视方向指示用户150当前正在查看的XR环境128中的点(例如，与相对于XR环境128的x坐标、y坐标和z坐标相关联)、XR对象或感兴趣区域(ROI)。下文参考图4A更详细地描述眼睛跟踪引擎412。为此，在各种具体实施中，眼睛跟踪引擎412包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，身体/头部姿态跟踪引擎414被配置为基于输入数据来获取(例如，接收、检索或确定/生成)姿态表征向量415并且随时间推移而更新姿态表征向量415。例如，如图4B所示，姿态表征向量415包括头部姿态描述符492A(例如，向上、向下、中性等)、头部姿态的平移值492B、头部姿态的旋转值492C、身体姿态描述符494A(例如，站立、坐着、俯卧等)、身体部位/四肢/肢体/关节的平移值494B、身体部位/四肢/肢体/关节的旋转值494C等等。下文参考图4A更详细地描述身体/头部姿态跟踪引擎414。为此，在各种具体实施中，身体/头部姿态跟踪引擎414包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，作为控制器110的补充或替代，对象跟踪引擎410、眼睛跟踪引擎412和身体/头部姿态跟踪引擎414可位于电子设备120上。

在一些具体实施中，内容选择器422被配置为基于一个或多个用户请求和/或用户输入(例如，语音命令、从XR内容项或虚拟代理(VA)的用户界面(UI)菜单中的选择等)，从内容库425中选择XR内容(在本文中有时也被称为“图形内容”或“虚拟内容”)。下文参考图4A更详细地描述内容选择器422。为此，在各种具体实施中，内容选择器422包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，内容库425包括多个内容项，诸如听觉/视觉(A/V)内容、VA和/或XR内容、对象、项、场景等。作为一个示例，XR内容包括用户捕获的视频、电影、TV剧集和/或其他XR内容的3D重建。在一些具体实施中，内容库425由用户150预先填充或手动创作。在一些具体实施中，内容库425相对于控制器110位于本地。在一些具体实施中，内容库425位于远离控制器110的位置(例如，位于远程服务器、云服务器等处)。

在一些具体实施中，表征引擎442被配置为基于对象跟踪向量411、眼睛跟踪向量413、姿态特征向量415和与来自缓冲器434的一个或多个过去的帧或实例相关联的信息中的至少一者来确定/生成表征向量443，如图4A所示。在一些具体实施中，表征引擎442还被配置为随时间推移而更新表征向量443。如图4B所示，表征向量443包括对象跟踪信息4102、注视方向信息4104、头部姿态信息4106A、身体姿态信息4106B、四肢跟踪信息4106C、位置信息4108等等。下文参考图4A更详细地描述表征引擎442。为此，在各种具体实施中，表征引擎442包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，内容管理器430被配置为管理和更新XR环境128的布局、设置、结构等，包括VA、XR内容、与XR内容相关联的一个或多个用户界面(UI)元素等中的一者或多者。下文参考图4C更详细地描述内容管理器430。为此，在各种具体实施中，内容管理器430包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，内容管理器430包括缓冲器434、内容更新器436和反馈引擎438。在一些具体实施中，缓冲器434包括用于一个或多个过去的实例和/或帧的XR内容、经渲染的图像帧等等。

在一些具体实施中，内容更新器436被配置为基于电子设备120或物理环境128内的物理对象的平移或旋转移动、用户输入(例如，上下文的变化、手部/四肢跟踪输入、眼睛跟踪输入、触摸输入、语音命令、指向一个或多个跟踪对象的修改/操纵输入、指向XR内容的修改/操纵输入等等)等随时间推移来修改XR环境105。为此，在各种具体实施中，内容更新器436包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，反馈引擎438被配置为生成与XR环境128相关联的感官反馈(例如，视觉反馈(诸如文本或照明变化)、音频反馈、触觉反馈等)。为此，在各种具体实施中，反馈引擎438包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，渲染引擎450被配置为渲染XR环境128(有时也称为“图形环境”或“虚拟环境”)或与该XR环境相关联的图像帧以及VA、XR内容、与XR内容相关联的一个或多个UI元素等。为此，在各种具体实施中，渲染引擎450包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，渲染引擎450包括姿态确定器452、渲染器454、任选的图像处理架构462和任选的合成器464。本领域的普通技术人员将理解，对于视频透传配置，可存在任选的图像处理架构462和任选的合成器464，但对于完全VR或光学透传配置，可移除该任选的图像处理架构和该任选的合成器。

在一些具体实施中，姿态确定器452被配置为确定电子设备120和/或用户150相对于A/V内容和/或XR内容的当前相机姿态。下文参考图4A更详细地描述姿态确定器452。为此，在各种具体实施中，姿态确定器452包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，渲染器454被配置为根据与其相关的当前相机姿态来渲染A/V内容和/或XR内容。下文参考图4A更详细地描述渲染器454。为此，在各种具体实施中，渲染器454包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，图像处理架构462被配置为从电子设备120和/或用户150的当前相机姿态获取(例如，接收、检索或捕获)包括物理环境105的一个或多个图像的图像流。在一些具体实施中，图像处理架构462还被配置为对图像流执行一个或多个图像处理操作，诸如扭曲、颜色校正、γ校正、锐化、降噪、白平衡等。下文参考图4A更详细地描述图像处理架构462。为此，在各种具体实施中，图像处理架构462包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，合成器464被配置为将经渲染的A/V内容和/或XR内容与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境128的经渲染的图像帧以供显示。下文参考图4A更详细地描述合成器464。为此，在各种具体实施中，合成器464包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

尽管数据获取器242、映射器和定位器引擎244、数据传输器246、隐私架构408、对象跟踪引擎410、眼睛跟踪引擎412、身体/头部姿态跟踪引擎414、内容选择器422、内容管理器430、操作模式管理器440以及渲染引擎450被示出为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、映射器和定位器引擎244、数据传输器246、隐私架构408、对象跟踪引擎410、眼睛跟踪引擎412、身体/头部姿态跟踪引擎414、内容选择器422、内容管理器430、操作模式管理器440以及渲染引擎450的任何组合可以位于单独的计算设备中。

在一些具体实施中，控制器110的功能和/或部件与下文在图3所示的电子设备120组合或由其提供。此外，图2更多地用作可存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120(例如，移动电话、平板电脑、膝上型电脑、近眼系统、可穿戴计算设备等)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、图像捕获设备370(一个或多个任选的面向内部和/或面向外部的图像传感器)、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、磁力仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧饱和度监测仪、血糖监测仪等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎、一个或多个深度传感器(例如，结构化光、飞行时间、LiDAR等)、定位和映射引擎、眼睛跟踪引擎、身体/头部姿态跟踪引擎、手部/肢体/手指/四肢跟踪引擎、相机姿态跟踪引擎等中的至少一者。

在一些具体实施中，一个或多个显示器312被配置为向用户呈现XR环境。在一些具体实施中，一个或多个显示器312也被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实时视频透传)。在一些具体实施中，一个或多个显示器312对应于触摸屏显示器。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。

在一些具体实施中，图像捕获设备370对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、IR图像传感器、基于事件的相机等。在一些具体实施中，图像捕获设备370包括透镜组件、光电二极管和前端架构。在一些具体实施中，图像捕获设备370包括面向外部和/或面向内部的图像传感器。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和呈现引擎340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎340被配置为经由一个或多个显示器312向用户呈现媒体项和/或XR内容。为此，在各种具体实施中，呈现引擎340包括数据获取器342、呈现器470、交互处理程序420和数据传输器350。

在一些具体实施中，数据获取器342被配置为从电子设备120的I/O设备和传感器306、控制器110以及远程输入设备中的至少一者获取数据(例如，呈现数据，诸如与用户界面或XR环境相关联的经渲染的图像帧、输入数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手部/肢体/手指/四肢跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，交互处理程序420被配置为检测与物理环境105内的外围设备、所呈现的A/V内容和/或XR内容的用户交互。例如，用户交互对应于四肢/手部跟踪输入、眼睛注视跟踪输入、触摸输入、语音输入等等。在一些具体实施中，交互处理程序420被配置为获取(例如，接收或检索)和解释来自与之通信地耦接的外围设备的信号，其中信号对应于由外围设备检测到的与触摸输入、击键等相关联的输入检测信号。为此，在各种具体实施中，交互处理程序420包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，呈现器470被配置为经由一个或多个显示器312呈现和更新A/V内容和/或XR内容(例如，与用户界面或XR环境128相关联的经渲染的图像帧，包括VA、XR内容、与XR内容相关联的一个或多个UI元素等)。为此，在各种具体实施中，呈现器470包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器350被配置为至少向控制器110传输数据(例如，呈现数据、位置数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手部/肢体/手指/四肢跟踪信息等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

尽管数据获取器342、交互处理程序420、呈现器470和数据传输器350被示出为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、交互处理程序420、呈现器470和数据传输器350的任何组合可以位于单独的计算设备中。

此外，图3更多地用作可存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图4A是根据一些具体实施的示例性内容递送架构的第一部分400A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，内容递送架构包括在计算系统中，诸如图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合。

如图4A所示，控制器110、电子设备120和/或它们的组合的一个或多个本地传感器402获取与物理环境105相关联的本地传感器数据403。例如，本地传感器数据403包括物理环境105的图像或其流、物理环境105的同时定位与地图构建(SLAM)信息以及电子设备120或用户150相对于物理环境105的位置、物理环境105的环境照明信息、物理环境105的环境音频信息、物理环境105的声学信息、物理环境105的维度信息、物理环境105内的对象的语义标签等。在一些具体实施中，本地传感器数据403包括未处理的或后处理的信息。

类似地，如图4A所示，与物理环境105内的可选远程输入设备相关联的一个或多个远程传感器404获取与物理环境105相关联的远程传感器数据405。例如，远程传感器数据405包括物理环境105的图像或其流、物理环境105的SLAM信息以及电子设备120或用户150相对于物理环境105的位置、物理环境105的环境照明信息、物理环境105的环境音频信息、物理环境105的声学信息、物理环境105的维度信息、物理环境105内的对象的语义标签等。在一些具体实施中，远程传感器数据405包括未处理的或后处理的信息。

如图4A所示，控制器110、电子设备120和/或它们的组合的通信接口406从经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与之通信地耦接的外围设备获取信号407。例如，信号407包括与由外围设备检测到的触摸输入、击键等相关联的输入检测信号。

根据一些具体实施，隐私架构408获取本地传感器数据403、远程传感器数据405和信号407。在一些具体实施中，隐私架构408包括与用户信息和/或标识信息相关联的一个或多个隐私过滤器。在一些具体实施中，隐私架构408包括选择加入特征部，其中电子设备120通知用户150正在监测哪些用户信息和/或标识信息以及将如何使用这些用户信息和/或标识信息。在一些具体实施中，隐私架构408选择性地防止和/或限制内容递送架构400A/400B或其部分获取和/或传输用户信息。为此，隐私架构408响应于提示用户150进行用户偏好和/或选择来接收来自用户150的用户偏好和/或选择。在一些具体实施中，隐私架构408防止内容递送架构400A/400B获取和/或传输用户信息，除非并且直到隐私架构408从用户150获取到知情同意。在一些具体实施中，隐私架构408匿名化(例如，加扰、模糊化、加密等)某些类型的用户信息。例如，隐私架构408接收指定隐私架构408将哪些类型的用户信息匿名化的用户输入。作为另一示例，隐私架构408独立于用户指定(例如，自动地)匿名化可能包括敏感和/或标识信息的某些类型的用户信息。

根据一些具体实施，对象跟踪引擎410在经历隐私架构408之后获取本地传感器数据403、远程传感器数据405和信号407。在一些具体实施中，对象跟踪引擎410基于输入数据获取(例如，接收、检索或确定/生成)对象跟踪向量411，并且随时间推移而更新对象跟踪向量411。

图4B示出了根据一些具体实施的对象跟踪向量411的示例性数据结构。如图4B所示，对象跟踪向量411可以对应于N-元组表征向量或表征张量，其包括时间戳471(例如，对象跟踪向量411最近更新的时间)、一个或多个对象描述符472(例如，一个或多个被跟踪的物理对象中的每一个的标签)、一个或多个被跟踪的物理对象中的每一个的平移值474(例如，相对于物理环境105或整个世界的x值、y值和z值；相对于物理环境105或整个世界的x值、y值和z值的变化率等等)、一个或多个被跟踪的物理对象中的每一个的旋转值476(例如，横滚值、俯仰值和偏航值；横滚值、俯仰值和偏航值的变化率等等)和/或杂项信息478。本领域的普通技术人员将理解，图4B中的对象跟踪向量411的数据结构仅仅是一个示例，该示例可以在各种其他具体实施中包括不同的信息部分，并且可以在各种其他具体实施中以多种方式被构造。

根据一些具体实施，眼睛跟踪引擎412在经受隐私架构408之后获取本地传感器数据403和远程传感器数据405。在一些具体实施中，眼睛跟踪引擎412基于输入数据来获取(例如，接收、检索或确定/生成)眼睛跟踪向量413并且随时间推移而更新眼睛跟踪向量413。

图4B示出了根据一些具体实施的用于眼睛跟踪向量413的示例性数据结构。如图4B所示，眼睛跟踪向量413可以对应于N-元组表征向量或表征张量，其包括时间戳481(例如，眼睛跟踪向量413最近更新的时间)、当前注视方向的一个或多个角度值482(例如，横滚值、俯仰值和偏航值的瞬时变化和/或变化率)、当前注视方向的一个或多个平移值484(例如，x值、y值和z值相对于物理环境105、整个世界等的瞬时变化和/或变化率)和/或杂项信息486。本领域的普通技术人员将理解，图4B中的眼睛跟踪向量413的数据结构仅仅是一个示例，该示例可以在各种其他具体实施中包括不同的信息部分，并且可以在各种其他具体实施中以多种方式被构造。

例如，注视方向指示用户150当前正在查看的物理环境105中的点(例如，与相对于物理环境105或整个世界的x坐标、y坐标和z坐标相关联)、物理对象或感兴趣区域(ROI)。作为另一示例，注视方向指示用户150当前正在查看的XR环境128中的点(例如，与相对于XR环境128的x坐标、y坐标和z坐标相关联)、XR对象或感兴趣区域(ROI)。

根据一些具体实施，身体/头部姿态跟踪引擎414在经受隐私架构408之后获取本地传感器数据403和远程传感器数据405。在一些具体实施中，身体/头部姿态跟踪引擎414基于输入数据来获取(例如，接收、检索或确定/生成)姿态表征向量415并且随时间推移而更新姿态表征向量415。

图4B示出了根据一些具体实施的用于姿态表征向量415的示例性数据结构。如图4B所示，姿态表征向量415可以对应于N-元组表征向量或表征张量，其包括时间戳491(例如，姿态表征向量415最近更新的时间)、头部姿态描述符492A(例如，向上、向下、中性等)、头部姿态的平移值492B、头部姿态的旋转值492C、身体姿态描述符494A(例如，站立、坐着、俯卧等)、身体部位/四肢/肢体/关节的平移值494B、身体部位/四肢/肢体/关节的旋转值494C和/或杂项信息496。在一些具体实施中，姿态表征向量415还包括与手指/手部/四肢跟踪相关联的信息。本领域的普通技术人员将理解，图4B中的姿态表征向量415的数据结构仅仅是一个示例，该示例可以在各种其他具体实施中包括不同的信息部分，并且可以在各种其他具体实施中以多种方式被构造。根据一些具体实施，运动状态向量411、眼睛跟踪向量413和姿态表征向量415被统称为输入向量419。

根据一些具体实施，表征引擎442从缓冲器434获取对象跟踪向量411、眼睛跟踪向量413、姿态表征向量415，以及与一个或多个过去的帧或实例相关联的信息。在一些具体实施中，表征引擎442基于对象跟踪向量411、眼睛跟踪向量413、姿态表征向量415以及与来自缓冲器434的一个或多个过去的帧或实例相关联的信息来获取(例如，接收、检索、或确定/生成)表征向量443。

图4B示出了根据一些具体实施的用于表征向量443的示例性数据结构。如图4B所示，表征向量443可以对应于N-元组表征向量或表征张量，其包括时间戳4101(例如，表征向量443最近更新的时间)、对象跟踪信息4102(例如，物理环境105内正在跟踪的一个或多个物理对象的对象描述符2 472和平移值474)、注视方向信息4104(例如，眼睛跟踪向量413内的一个或多个角度值482和一个或多个平移值484的函数)、头部姿态信息4106A(例如，头部姿态描述符492A)、身体姿态信息4106B(例如，姿态表征向量415内的身体姿态描述符494A的函数)、四肢跟踪信息4106C(例如，与正在由控制器110、电子设备120和/或它们的组合跟踪的用户150的四肢相关联的姿态表征向量415内的身体姿态描述符494A的函数)、位置信息4108(例如，家庭位置(诸如厨房或客厅)、车辆位置(诸如汽车、飞机等)等)和/或杂项信息4109。

图4C是根据一些具体实施的示例性内容递送架构的第二部分400B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，内容递送架构包括在计算系统中，诸如图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合。图4C类似于图4A并且改编自图4A。因此，图4A和图4C中使用了类似的参考标号。因此，为了简明起见，下文仅描述图4A和图4C之间的差异。

根据一些具体实施，交互处理程序420从经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与之通信地耦接的外围设备获取(例如，接收、检索、或检测)一个或多个用户输入421。例如，一个或多个用户输入421包括与由外围设备检测到的触摸输入、击键等相关联的输入检测信号。根据一些具体实施，交互处理程序420使用CV技术经由四肢/手部跟踪来获取(例如，接收、检索或检测)指向外围设备的一个或多个用户输入421。

在一些具体实施中，交互处理程序420还获取(例如，接收、检索或检测)由用户150提供的一个或多个用户输入421，该一个或多个用户输入与选择A/V内容、一个或多个VA和/或XR内容以供呈现相关联。例如，一个或多个用户输入421对应于从经由手部/四肢跟踪检测到的UI菜单中选择XR内容的手势输入、从经由眼睛跟踪检测到的UI菜单中选择XR内容的眼睛注视输入、从经由麦克风检测到的UI菜单中选择XR内容的语音命令等等。在一些具体实施中，内容选择器422基于一个或多个用户输入421(例如，语音命令、从XR内容项的菜单中的选择等)，从内容库425中选择XR内容427。

在各种具体实施中，内容管理器430基于表征向量443、(任选地)用户输入421等来管理和更新XR环境128的布局、设置、结构等，该XR环境包括VA、XR内容、与XR内容相关联的一个或多个UI元素等中的一者或多者。为此，内容管理器430包括缓冲器434、内容更新器436和反馈引擎438。

在一些具体实施中，缓冲器434包括用于一个或多个过去的实例和/或帧的XR内容、经渲染的图像帧等等。在一些具体实施中，内容更新器436基于表征向量443的改变、来自与之通信地耦接的外围设备的用户输入421、(例如，基于CV技术检测到的)指向外围设备的用户输入421、与修改和/或操纵XR内容或VA相关联的用户输入421、物理环境105内的对象的平移或旋转运动、电子设备120(或用户150)的平移或旋转运动等随时间推移来修改XR环境128。在一些具体实施中，反馈引擎438生成与XR环境128相关联的感官反馈(例如，视觉反馈(诸如文本或照明变化)、音频反馈、触觉反馈等)。

根据一些具体实施，姿态确定器452至少部分地基于姿态表征向量415来确定电子设备120和/或用户150相对于XR环境128和/或物理环境105的当前相机姿态。在一些具体实施中，渲染器454根据与之相对的当前相机姿态来渲染XR内容、与XR内容相关联的一个或多个UI元素、VA、所选择的XR内容427等等。

根据一些具体实施，任选的图像处理架构462从图像捕获设备370获取图像流，该图像流包括来自电子设备120和/或用户150的当前相机姿态的物理环境105的一个或多个图像。在一些具体实施中，图像处理架构462还对图像流执行一个或多个图像处理操作，诸如扭曲、颜色校正、γ校正、锐化、降噪、白平衡等。在一些具体实施中，任选的合成器464将经渲染的XR内容与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境128的经渲染的图像帧。在各种具体实施中，呈现器470经由一个或多个显示器312向用户150呈现XR环境128的经渲染的图像帧。本领域的普通技术人员将理解，任选的图像处理架构462和任选的合成器464可能不适用于完全虚拟环境(或光学透传场景)。

图5A至图5W示出了根据一些具体实施的内容递送场景的实例510至5220的序列。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，实例510至实例5220的序列由计算系统渲染和呈现，该计算系统为诸如图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合。图5A至图5W中的用户界面用于示出下文所述的过程中的一些过程，包括参考图6所述的过程的一部分。

如图5A至图5W所示，内容递送场景包括物理环境105和显示在电子设备120的显示器122上(例如，与用户150相关联)的XR环境128。如图1所示，当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR环境128，该物理环境包括当前位于电子设备120的面向外部的图像传感器的FOV 111内的桌子107。因此，在一些具体实施中，用户150将电子设备120握持在左手中，类似于图1中的操作环境100。

换句话讲，在一些具体实施中，电子设备120被配置为在显示器122上呈现XR内容，并且实现物理环境105(例如，桌子107)的至少一部分的光学透传或视频透传。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、近眼系统、可穿戴计算设备等等。

如图5A所示，在内容递送场景的实例500期间(例如，与时间T₀相关联)，视点502(POV)与相对于物理环境105的视锥504相关联。在该示例中，与POV 502相关联的视锥504包括位于桌子107上的外围设备501(例如，物理键盘)。作为一个示例，POV 502对应于图1和图3所示的电子设备120的面向外部的图像传感器的FOV 111。例如，外围设备501对应于键盘、鼠标、触敏表面(TSS)诸如触控板或触摸屏，操纵杆、游戏控制器等等。在一些具体实施中，外围设备501经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与图1和图2所示的控制器110、图1和图3所示的电子设备120中的一者和/或它们的合适组合通信地耦接。

如图5B所示，在内容递送场景的实例510期间(例如，与时间T₁相关联)，电子设备120呈现与外围设备501(例如，物理环境105内的物理键盘)的当前充电值相对应的电池指示符514以及分别与应用程序A、B、C和D相关联的多个可选择示能表示512A、512B、512C和512D。在图5B中，电子设备120经由四肢/手部跟踪检测用户150的左手指向与应用程序A(例如，笔记应用程序)相关联的可选择示能表示512A的用户输入。

如图5C所示，在内容递送场景的实例520(例如，与时间T₂相关联)期间，电子设备120响应于检测到图5B中指向与应用程序A(例如，笔记应用程序)相关联的可选择示能表示512A的用户输入而呈现笔记界面522(例如，应用程序A的实例)。根据一些具体实施，电子设备120经由四肢/手部跟踪输入、触摸输入、语音输入、眼睛跟踪输入等来检测指向笔记界面522的输入。

根据一些具体实施，电子设备120经由四肢/手部跟踪来检测指向笔记界面522的草图输入并且在上面呈现对应的草图标记。根据一些具体实施，电子设备120经由计算机视觉(CV)来检测指向外围设备501的击键，并且在笔记界面522上呈现对应的字符。根据一些具体实施，电子设备120经由与从外围设备501获取(例如，接收或检索)的键击相关联的输入检测信号来检测指向外围设备501的键击，并且在笔记界面522上呈现对应的字符。本领域的普通技术人员将理解，其他输入模态可以产生呈现在笔记界面522上的内容或以其他方式修改该笔记界面，诸如指向显示器122的触摸输入、语音输入等等。例如，笔记界面522对应于XR环境128内的2D平面区域或3D体积区域。

在图5C中，电子设备120经由四肢/手部跟踪检测指向外围设备501的按键524(例如，命令或“cmd”按键)的用户输入。如上文所提及，在各种具体实施中，电子设备120经由CV或与从外围设备501获取(例如，接收或检索)的键击相关联的输入检测信号来检测指向外围设备501的键击，并且在笔记界面522上呈现对应的字符。

如图5D所示，在内容递送场景的实例530(例如，与时间T₃相关联)期间，电子设备120响应于检测到指向图5C中的按键524的用户输入而呈现第一XR内容。例如，第一XR内容对应于当应用程序A(例如，笔记应用程序)在前台运行时与外围设备501的按键524的功能或使用相关联的第一组一个或多个虚拟增强532A、532B和532C。在该示例中，第一组一个或多个虚拟增强532A、532B和532C对应于当应用程序A(例如，笔记应用程序)在前台运行时与按键524相关联的一个或多个按键组合指示符。

如图5D所示，电子设备120呈现与外围设备501的按键534A(例如“w”按键)相呼应的虚拟增强532A(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+w以关闭当前笔记”)，同时继续检测指向按键524的用户输入。如图5D所示，电子设备120还呈现与外围设备501的按键534B(例如“s”按键)相呼应的虚拟增强532B(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+s以保存当前笔记”)，同时继续检测指向按键524的用户输入。如图5D所示，电子设备120进一步呈现与外围设备501的按键534C(例如“n”按键)相呼应的虚拟增强532C(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+n以创建新的笔记”)，同时继续检测指向按键524的用户输入。如图5D所示，电子设备120改变按键534A、534B和534C的外观(例如，从图5C中的白色纹理改变为图5D中的条纹纹理)，同时继续检测指向按键524的用户输入。

在图5D中，第一组一个或多个虚拟增强532A、532B和532C分别至少部分地叠置在外围设备501的按键534A、534B和534C上。本领域的普通技术人员将理解，第一组一个或多个虚拟增强532A、532B和532C是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第一组一个或多个虚拟增强532A、532B和532C是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

如图5E所示，在内容递送场景的实例540(例如，与时间T₄相关联)期间，电子设备120响应于检测到图5B中指向与应用程序A(例如，笔记应用程序)相关联的可选择示能表示512A的用户输入而呈现笔记界面522(例如，应用程序A的实例)。在图5E中，电子设备120经由四肢/手部跟踪来检测指向外围设备501的按键542(例如，功能或“fn”按键)的用户输入。如上文所提及，在各种具体实施中，电子设备120经由CV或与从外围设备501获取(例如，接收或检索)的键击相关联的输入检测信号来检测指向外围设备501的键击，并且在笔记界面522上呈现对应的字符。

如图5F所示，在内容递送场景的实例550期间(例如，与时间T₅相关联)，电子设备120响应于检测到指向图5E中的按键542的用户输入而呈现第二XR内容。例如，第二XR内容对应于当应用程序A(例如，笔记应用程序)在前台运行时与外围设备501的按键542的功能或使用相关联的第二组一个或多个虚拟增强552A和552B。在该示例中，第二组一个或多个虚拟增强552A和552B对应于当应用程序A(例如，笔记应用程序)在前台运行时与按键542相关联的一个或多个按键组合指示符。根据一些具体实施，由于检测到用户输入指向外围设备的不同部分(例如，图5C和图5D中的按键524与图5E和图5F中的按键542不同)，因此图5F中的第二组一个或多个虚拟增强552A和552B不同于图5D中的第一组一个或多个虚拟增强532A、532B和532C。

如图5F所示，电子设备120呈现与外围设备501的按键554A(例如“s”按键)相呼应的虚拟增强552A(例如，带有以下文本的2D或3D弹出指示符：“按下fn+s以共享当前笔记”)，同时继续检测指向按键542的用户输入。如图5F所示，电子设备120还呈现与外围设备501的按键554B(例如“p”按键)相呼应的虚拟增强552B(例如，带有以下文本的2D或3D弹出指示符：“按下fn+p以将图片添加到当前笔记”)，同时继续检测指向按键542的用户输入。如图5F所示，电子设备120改变按键554A和按键554B的外观(例如，从图5E中的白色纹理改变为图5F中的条纹纹理)，同时继续检测指向按键542的用户输入。

在图5F中，第二组一个或多个虚拟增强552A和552B分别至少部分地叠置在外围设备501的按键554A和按键554B上。本领域的普通技术人员将理解，第二组一个或多个虚拟增强552A和552B是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第二组一个或多个虚拟增强552A和552B是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

如图5G所示，在内容递送场景的实例560(例如，与时间T₆相关联)期间，电子设备120响应于检测到图5B中指向与应用程序A(例如，笔记应用程序)相关联的可选择示能表示512A的用户输入而呈现笔记界面522(例如，应用程序A的实例)。在图5G中，电子设备120经由一个或多个麦克风检测来自用户150的语音输入562。例如，语音输入562对应于以下语音命令：“请显示数字小键盘”。

如图5H所示，在内容递送场景的实例570(例如，与时间T₇相关联)期间，电子设备120响应于检测到图5G中的语音输入562而呈现与外围设备501相邻并且叠置在桌子107上的虚拟数字小键盘572。在图5H中，电子设备120经由一个或多个麦克风检测来自用户150的语音输入574。例如，语音输入574对应于以下语音命令：“请显示KB(键盘)框选择菜单”。

在一些具体实施中，电子设备120或其部件(例如，图2和图4A中的对象跟踪引擎410)通过获取与外围设备501相关联的空间信息(例如，该外围设备相对于物理环境105或整个世界的平移和旋转值/坐标)(例如，经由计算机视觉(CV)技术等)来定位外围设备501。在一些具体实施中，电子设备120至少部分地基于与外围设备501相关联的空间信息在XR环境128内呈现虚拟数字小键盘572。作为一个示例，电子设备120在XR环境128内呈现虚拟数字小键盘572，使得虚拟数字小键盘572与外围设备501相邻但不与该外围设备碰撞或阻塞该外围设备。作为另一示例，电子设备120以与外围设备501相同的视角呈现虚拟数字小键盘572。在一些具体实施中，电子设备120至少部分地基于与外围设备501和/或物理环境105相关联的空间信息来确定虚拟数字小键盘572的大小。在一些具体实施中，电子设备120经由各种四肢/手部跟踪技术来检测指向虚拟数字小键盘572的输入。

如图5I所示，在内容递送场景的实例580(例如，与时间T₈相关联)期间，电子设备120响应于检测到图5H中的语音输入574而呈现KB(键盘)框选择菜单582。如图5I所示，KB框选择菜单582包括多个可选择的键盘框选项，诸如第一纹理584A、第二纹理584B、第一设计586A和第二设计586B。例如，可以经由四肢/手部跟踪输入、触摸输入、语音输入、眼睛跟踪输入等来选择多个可选择的键盘框选项。本领域的普通技术人员将理解，图5I所示的多个可选择的键盘框选项仅仅是可以在各种其他具体实施中改变或以其他方式修改的示例。在图5H中，电子设备120经由一个或多个麦克风来检测来自用户150的语音输入588。例如，语音输入588对应于以下语音命令：“请选择纹理584A”。

如图5J所示，在内容递送场景的实例590(例如，与时间T₉相关联)期间，电子设备120响应于检测到图5I中的语音输入588而呈现叠置在外围设备501和虚拟数字小键盘572上的第一纹理584A。如图5J所示，电子设备120改变外围设备501和虚拟数字小键盘572的框或轮廓的外观(例如，从图5I中的白色纹理改变为图5J中的点状纹理)。

如图5K所示，在内容递送场景的实例5100(例如，与时间T₁₀相关联)期间，电子设备120呈现与外围设备501的当前充电值相对应的电池指示符514以及分别与应用程序A、B、C和D相关联的多个可选择示能表示512A、512B、512C和512D。在图5K中，电子设备120经由四肢/手部跟踪来检测用户150的左手指向与应用程序B(例如，Web浏览器应用程序)相关联的可选择示能表示512B的用户输入。

如图5L所示，在内容递送场景的实例5110(例如，与时间T₁₁相关联)期间，电子设备120响应于检测到图5K中指向与应用程序B(例如，Web浏览器应用程序)相关联的可选择示能性512B的用户输入而呈现web浏览器界面5112(例如，应用程序B的实例)。根据一些具体实施，电子设备120经由四肢/手部跟踪输入、触摸输入、语音输入、眼睛跟踪输入等来检测指向web浏览器界面5112的输入。在图5L中，电子设备120经由四肢/手部跟踪检测指向外围设备501的按键524(例如，命令或“cmd”按键)的用户输入。

如上文所提及，在各种具体实施中，电子设备120检测经由CV指向外围设备501的键击，并且在web浏览器界面5112内呈现对应的字符。在各种具体实施中，电子设备120经由与从外围设备501获取(例如，接收或检索)的键击相关联的输入检测信号来检测指向外围设备501的键击，并且在web浏览器界面5112内呈现对应的字符。本领域的普通技术人员将理解，其他输入模态可以产生呈现在web浏览器界面5112上的内容或以其他方式修改web浏览器界面5112，诸如指向显示器122的触摸输入、语音输入等等。例如，web浏览器界面5112对应于XR环境128内的2D平面区域或3D体积区域。

如图5M所示，在内容传送场景的实例5120(例如，与时间T₁₂相关联)期间，电子设备120响应于检测到指向图5L中的按键524的用户输入而呈现第一XR内容。例如，第一XR内容对应于当应用程序B(例如，Web浏览器应用程序)在前台运行时与外围设备501的按键524的功能或使用相关联的第一组一个或多个虚拟增强5122A、5122B和5122C。在该示例中，当应用程序B(例如，Web浏览器应用程序)在前台运行时，第一组一个或多个虚拟增强5122A、5122B和5122C对应于与按键524相关联的一个或多个按键组合指示符。

如图5M所示，电子设备120呈现与外围设备501的按键5124A(例如“w”按键)相呼应的虚拟增强5122A(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+w以关闭当前选项卡”)，同时继续检测指向按键524的用户输入。如图5M所示，电子设备120还呈现与外围设备501的按键5124B(例如“j”按键)相呼应的虚拟增强5122B(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+j以查看下载”)，同时继续检测指向按键524的用户输入。如图5M所示，电子设备120进一步呈现与外围设备501的按键534C(例如“n”按键)相呼应的虚拟增强5122C(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+n以打开新的选项卡”)，同时继续检测指向按键524的用户输入。如图5M所示，电子设备120改变按键5124A、5124B和5124C的外观(例如，从图5L中的白色纹理改变为图5M中的条纹纹理)，同时继续检测指向按键524的用户输入。

在图5M中，第一组一个或多个虚拟增强5122A、5122B和5122C分别至少部分地叠置在外围设备501的按键5124A、5124B和5124C上。本领域的普通技术人员将理解，第一组一个或多个虚拟增强5122A、5122B和5122C是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第一组一个或多个虚拟增强5124A、5124B和5124C是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

如图5N所示，在内容递送场景的实例5130(例如，与时间T₁₃相关联)期间，电子设备120响应于检测到图5K中指向与应用程序B(例如，Web浏览器应用程序)相关联的可选择示能性512B的用户输入而呈现web浏览器界面5112(例如，应用程序B的实例)。在图5N中，电子设备120经由四肢/手部跟踪来检测指向外围设备501的按键542(例如，功能或“fn”按键)的用户输入。如上文所提及，在各种具体实施中，电子设备120经由与从外围设备501获取(例如，接收或检索)的键击相关联的CV或输入检测信号来检测指向外围设备501的键击，并且在web浏览器界面5112内呈现对应的字符。

如图5O所示，在内容递送场景的实例5140期间(例如，与时间T₁₄相关联)，电子设备120响应于检测到指向图5N中的按键542的用户输入而呈现第二XR内容。例如，第二XR内容对应于当应用程序B(例如，Web浏览器应用程序)在前台运行时与外围设备501的按键542的功能或使用相关联的第二组一个或多个虚拟增强5142A和5142B。在该示例中，第二组一个或多个虚拟增强5142A和5142B对应于当应用程序B(例如，笔记应用程序)在前台运行时与按键542相关联的一个或多个按键组合指示符。根据一些具体实施，由于检测到用户输入指向外围设备的不同部分(例如，图5L和图5M中的按键524与图5N和图5O中的按键542不同)，因此图5O中的第二组一个或多个虚拟增强5142A和5142B不同于图5M中的第一组一个或多个虚拟增强5122A、512B和5122C。

如图5O所示，电子设备120呈现与外围设备501的按键5144A(例如“c”按键)相呼应的虚拟增强5142A(例如，带有以下文本的2D或3D弹出指示符：“按下fn+c以查看HTML代码”)，同时继续检测指向按键542的用户输入。如图5O所示，电子设备120还呈现与外围设备501的按键5144B(例如“n”按键)相呼应的虚拟增强5142B(例如，带有以下文本的2D或3D弹出指示符：“按下fn+n以查看导航工具”)，同时继续检测指向按键542的用户输入。如图5O所示，电子设备120改变按键5144A和按键5144B的外观(例如，从图5N中的白色纹理改变为图5O中的条纹纹理)，同时继续检测指向按键542的用户输入。

在图5O中，第二组一个或多个虚拟增强5142A和5142B分别至少部分地叠置在外围设备501的按键5144A和按键5144B上。本领域的普通技术人员将理解，第二组一个或多个虚拟增强5142A和5142B是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第二组一个或多个虚拟增强5142A和5142B是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

如图5P所示，在内容递送场景的实例5150期间(例如，与时间T₁₅相关联)，电子设备120呈现与外围设备5151A(例如，物理环境105内的物理TSS，诸如触控板)的当前充电值相对应的电池指示符514以及分别与应用程序A、B、C和D相关联的多个可选择示能表示512A、512B、512C和512D。在图5P中，电子设备120经由四肢/手部跟踪来检测用户150的左手指向与应用程序C(例如，文档创建应用程序)相关联的可选择示能表示512C的用户输入。在一些具体实施中，外围设备5151A经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与图1和图2所示的控制器110、图1和图3所示的电子设备120中的一者和/或它们的合适的组合通信地耦接。

如图5Q所示，在内容递送场景的实例5160(例如，与时间T₁₆相关联)期间，电子设备120响应于检测到图5P中指向与应用程序C(例如，文档创建应用程序)相关联的可选择示能表示512C的用户输入而呈现文档创建界面5162(例如，应用程序C的实例)。根据一些具体实施，电子设备120检测经由四肢/手部跟踪输入、触摸输入、语音输入、眼睛跟踪输入等指向文档创建界面5162的输入。在一些具体实施中，电子设备120经由CV来检测指向外围设备5151A的触摸输入或与从外围设备5151A获取(例如，接收或检索)的触摸输入相关联的输入检测信号，并且在文档创建界面5162上呈现对应的字符。例如，文档创建界面5162对应于XR环境128内的2D平面区域或3D体积区域。

如图5Q所示，在内容递送场景的实例5160期间(例如，与时间T₁₆相关联)，电子设备120还响应于检测到图5P中指向与应用程序C(例如，文档创建应用程序)相关联的可选择示能表示512C的用户输入而在外围设备5151A上呈现虚拟键盘5164。在一些具体实施中，电子设备120或其部件(例如，图2和图4A中的对象跟踪引擎410)通过获取与外围设备5151A相关联的空间信息(例如，该外围设备相对于物理环境105或整个世界的平移和旋转值/坐标)(例如，经由CV技术等)来定位外围设备5151A。在一些具体实施中，电子设备120至少部分地基于与外围设备5151A相关联的空间信息来在XR环境128内呈现虚拟键盘5164。作为一个示例，电子设备120在XR环境128内呈现虚拟键盘5164，使得虚拟键盘5164叠置在外围设备5151A上。作为另一示例，电子设备120以与外围设备5151A相同的视角呈现虚拟键盘5164。在一些具体实施中，电子设备120至少部分地基于与外围设备5151A和/或物理环境105相关联的空间信息来确定虚拟键盘5164的大小。在一些具体实施中，电子设备120检测经由各种四肢/手部跟踪技术或来自外围设备5151A的信号而指向虚拟键盘5164的输入。

如图5R所示，在内容递送场景的实例5170期间(例如，与时间T₁₇相关联)，电子设备120响应于检测到用用户的左手150A的指向虚拟按键盘5164的虚拟按键5171(例如，虚拟“命令”按键)的用户输入而呈现第一XR内容。例如，第一XR内容对应于当应用程序C(例如，文档创建应用程序)在前台运行时与虚拟键盘5164的虚拟按键5171的功能或使用相关联的第一组一个或多个虚拟增强5172A、5172B和5172C。在该示例中，第一组一个或多个虚拟增强5172A、5172B和5172C对应于当应用程序C(例如，文档创建应用程序)在前台运行时与虚拟按键5171相关联的一个或多个按键组合指示符。

如图5R所示，电子设备120呈现与虚拟键盘5164的虚拟按键5174A(例如，“w”按键)相呼应的虚拟增强5172A(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+w以关闭当前文档”)，同时继续检测指向虚拟按键5171的用户输入。如图5R所示，电子设备120还呈现与虚拟键盘5164的虚拟按键5174B(例如，“o”按键)相呼应的虚拟增强5172B(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+o以打开文档”)，同时继续检测指向虚拟按键5171的用户输入。如图5R所示，电子设备120进一步呈现与虚拟键盘5164的虚拟按键5174C(例如，“n”按键)相呼应的虚拟增强5172C(例如，带有以下文本的2D或3D弹出指示符：

“按下cmd+n以打开新文档”)，同时继续检测指向虚拟按键5171的用户输入。如图5M所示，电子设备120改变虚拟按键5174A、5174B和5174C的外观(例如，从图5Q中的白色纹理改变为图5R中的条纹纹理)，同时继续检测指向虚拟按键5171的用户输入。

在图5R中，第一组一个或多个虚拟增强5172A、5172B和5172C分别至少部分地叠置在虚拟键盘5164的按键5174A、5174B和5174C上。本领域的普通技术人员将理解，第一组一个或多个虚拟增强5172A、5172B和5172C是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第一组一个或多个虚拟增强5172A、5172B和5172C是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

如图5S所示，在内容递送场景的实例5180期间(例如，与时间T₁₈相关联)，电子设备120响应于检测到用用户的右手150B的指向虚拟键盘5164的虚拟按键5181(例如，虚拟“Shift”键)的用户输入而呈现第二XR内容，同时继续检测用用户的左手150A的指向虚拟键盘5164的虚拟按键5181的用户输入。例如，第二XR内容对应于当应用程序C(例如，文档创建应用程序)在前台运行时与虚拟键盘5164的虚拟按键5171和虚拟按键5181的功能或使用相关联的第二组一个或多个虚拟增强5182A、5182B和5182C。在该示例中，第二组一个或多个虚拟增强5182A、5182B和5182C对应于当应用程序C(例如，文档创建应用程序)在前台运行时与虚拟按键5171和5181相关联的一个或多个按键组合指示符。

如图5S所示，电子设备120呈现与虚拟键盘5164的虚拟按键5184A(例如，“a”按键)相呼应的虚拟增强5182A(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+shift+a以取消全选”)，同时继续检测指向虚拟按键5171和虚拟按键5181的用户输入。如图5S所示，电子设备120还呈现与虚拟键盘5164的虚拟按键5184B(例如，“；”按键)相呼应的虚拟增强5182B(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+shift+；以显示拼写和语法窗口”)，同时继续检测指向虚拟按键5171和虚拟按键5181的用户输入。如图5S所示，电子设备120进一步呈现与虚拟键盘5164的虚拟按键5184C(例如，“v”按键)相呼应的虚拟增强5182C(例如，带有以下文本的2D或3D弹出指示符：“按下cmd+shift+v以显示颜色窗口”)，同时继续检测指向虚拟按键5171和虚拟按键5181的用户输入。如图5M所示，电子设备120改变虚拟按键5184A、5184B和5184C的外观(例如，从图5Q中的白色纹理改变为图5S中的条纹纹理)，同时继续检测指向虚拟按键5171和5181的用户输入。

在图5S中，第二组一个或多个虚拟增强5182A、5182B和5182C分别至少部分地叠置在虚拟键盘5164的按键5184A、5184B和5184C上。本领域的普通技术人员将理解，第二组一个或多个虚拟增强5182A、5182B和5182C是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第二组一个或多个虚拟增强5182A、5182B和5182C是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

如图5T所示，在内容递送场景的实例5190期间(例如，与时间T₁₉相关联)，电子设备120呈现与外围设备5151B(例如，物理环境105内的物理TSS，诸如触控板)的当前充电值相对应的电池指示符514以及分别与应用程序A、B、C和D相关联的多个可选择示能表示512A、512B、512C和512D。在图5T中，电子设备120经由显示器122检测指向与应用程序D(例如，音乐创作应用程序)相关联的可选择示能表示512D的触摸输入5192。在一些具体实施中，外围设备5151B经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与图1和图2所示的控制器110、图1和图3所示的电子设备120中的一者和/或它们的合适的组合通信地耦接。

如图5U所示，在内容递送场景的实例5200(例如，与时间T₂₀相关联)期间，电子设备120响应于检测到图5T中指向与应用程序D(例如，音乐创作应用程序)相关联的可选择示能表示512D的触摸输入5192而呈现音乐创作界面5202(例如，应用程序D的实例)。根据一些具体实施，电子设备120检测经由四肢/手部跟踪输入、触摸输入、语音输入、眼睛跟踪输入等指向音乐创作界面5202的输入。根据一些具体实施，电子设备120经由CV来检测指向外围设备5151B的触摸输入或与从外围设备5151B获取(例如，接收或检索)的触摸输入相关联的输入检测信号，并且在音乐创作界面5202上呈现对应的字符。例如，音乐创作界面5202对应于XR环境128内的2D平面区域或3D体积区域。

如图5U所示，在内容递送场景的实例5200期间，电子设备120还响应于检测到图5T中指向与应用程序D(例如，音乐创作应用程序)相关联的可选择示能表示512D的触摸输入5192而在XR环境128内呈现示能表示5204。例如，响应于检测到用触摸输入、四肢/手部跟踪输入、语音输入、眼睛跟踪输入等对示能表示5204(例如，任选地包括以下文本：“选择以呈现附加的虚拟功能”)的选择，电子设备120在外围设备5152B上以及/或者在外围设备5151B附近呈现与应用程序D(例如，音乐创作应用程序)相关联的虚拟增强(例如，多个控件)。在图5U中，电子设备120经由四肢/手部跟踪来检测用户150的左手指向可选择示能表示5204的用户输入。

如图5V所示，在内容递送场景的实例5210(例如，与时间T₂₁相关联)期间，电子设备120响应于检测到图5U中指向可选择示能表示5204的用户输入而在外围设备5151B上呈现与应用程序D(例如，音乐创作应用程序)相关联的多个虚拟控件5212。例如，多个虚拟控件5212包括具有可控滑块(例如，具有处于第一状态5214A的低频滑块)的均衡器、多个不同的可选择的乐器系列或乐器类型、多个不同的可选择的样本、多个可控的刻度盘等等。本领域的普通技术人员将理解，多个虚拟控件5204仅仅是可以在各种其他具体实施中改变或以其他方式修改的示例。如图5V所示，电子设备120还经由四肢/手部跟踪来检测用户150的左手指向处于第一状态5214A的低频滑块的向下拖动的输入5216。

在一些具体实施中，电子设备120或其部件(例如，图2和图4A中的对象跟踪引擎410)通过获取与外围设备5151B相关联的空间信息(例如，该外围设备相对于物理环境105或整个世界的平移和旋转值/坐标)(例如，经由CV技术等)来定位外围设备5151B。在一些具体实施中，电子设备120至少部分地基于与外围设备5151B和/或物理环境105相关联的空间信息来在XR环境128内呈现多个虚拟控件5212。作为一个示例，电子设备120在XR环境128内呈现多个虚拟控件5212，使得多个虚拟控件5212叠置在外围设备5151B上。作为另一示例，电子设备120以与外围设备5151B相同的视角呈现多个虚拟控件5212。在一些具体实施中，电子设备120至少部分地基于与外围设备5151B和/或物理环境105相关联的空间信息来确定多个虚拟控件5212的大小。在一些具体实施中，电子设备120检测经由各种四肢/手部跟踪技术或来自外围设备5151B的信号指向多个虚拟控件5212的输入。

如图5W所示，在内容递送场景的实例5220(例如，与时间T₂₂相关联)期间，电子设备120响应于检测到图5V中的向下拖动输入5216而呈现处于第二状态5214B的低频滑块。

图6是根据一些具体实施的呈现与外围设备的一部分的功能或使用相关联的虚拟增强的方法600的流程图表示。在各种具体实施中，方法600在包括非暂态存储器和一个或多个处理器的计算系统处执行，其中该计算系统通信地耦接到显示设备和一个或多个输入设备(例如，图1和图3所示的电子设备120；图1和图2中的控制器110；或它们的合适组合)。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，计算系统对应于平板电脑、膝上型电脑、移动电话、近眼系统、可穿戴计算设备等中的一者。在一些具体实施中，一个或多个输入设备对应于使用来自一个或多个面向外部的图像传感器的图像流的计算机视觉(CV)引擎、对象跟踪引擎、手指/手部/四肢跟踪引擎、眼睛跟踪引擎、触敏表面、一个或多个麦克风等等。

通常，用户可能不知道操作系统或特定应用程序中是否存在热键组合或加速器。用户可能必须研究或听完教程才能获得关于所述热键组合或加速器的知识。因此，本文所述的创新提供了与外围设备相关联的按键组合指示符和加速器提示。为此，在外围设备(例如，键盘或触控板)上呈现虚拟增强以指示外围设备的功能。

如框602所表示，方法600包括：检测物理环境内的外围设备。在一些具体实施中，计算系统通过计算机视觉(例如，对象识别、语义分割等)、蓝牙连接、信标信号、Wi-Fi连接等来检测外围设备。参考图4A，例如，计算系统或其部件(例如，对象跟踪引擎410)被配置为将外围设备定位在物理环境105内并且当外围设备在物理环境105内移动时跟踪外围设备。在一些具体实施中，计算系统经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)通信地耦接到外围设备。在一些具体实施中，计算系统不通信地耦接到外围设备。

在一些具体实施中，外围设备对应于键盘、触控板或其他触敏表面中的一者。作为一个示例，虚拟增强对应于热键组合指示符。作为另一示例，虚拟增强对应于虚拟按键或虚拟的其他控件。例如，在图5B中，计算系统基于CV和/或到CV的通信信道来检测物理环境105内的外围设备501(例如，物理键盘)。例如，在图5P中，计算系统基于CV和/或到CV的通信信道来检测物理环境105内的外围设备5151A(例如，物理TSS，诸如触控板等)。例如，在图5T中，计算系统基于CV和/或到CV的通信信道来检测物理环境105内的外围设备5151B(例如，物理TSS，诸如触控板等)。

如框604所表示，方法600包括检测指向外围设备的第一用户输入。在一些具体实施中，通过计算机视觉(CV)、四肢/手部跟踪、眼睛注视跟踪、显示器122处的输入检测、外围设备处的输入检测等来检测第一用户输入。

作为一个示例，参考图4A，计算系统或其部件(例如，通信接口406)从经由一个或多个有线或无线通信信道(例如，蓝牙、ZIGBEE、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与之通信地耦接的外围设备获取信号407。例如，信号407包括与由外围设备检测到的触摸输入、击键等相关联的输入检测信号。作为另一示例，计算系统或其部件(例如，身体/头部姿态跟踪引擎414)使用CV技术经由四肢/手部跟踪来检测指向外围设备的用户输入。

在一些具体实施中，在检测到第一用户输入之前，方法600包括检测与激活与外围设备相关联的虚拟增强相关联的先前的用户输入，其中根据确定第一用户输入指向外围设备的第一部分并且根据确定与外围设备相关联的虚拟增强被激活来呈现第一XR内容。因此，在一个示例中，用户经由设置菜单等内的单选按钮手动激活虚拟增强。

响应于检测到第一用户输入，如框606所表示，方法600包括经由显示设备呈现与外围设备的第一部分相呼应的第一扩展现实(XR)内容，其中根据确定第一用户输入指向外围设备的第一部分，第一XR内容包括与外围设备的第一部分的功能或使用相关联的第一组一个或多个虚拟增强。根据一些具体实施，外围设备的第一部分对应于TSS、物理按键、虚拟按键、UI元素、示能表示、单选按钮、物理滑块、虚拟滑块、虚拟旋钮/拨号盘、物理旋钮/拨号盘等的区域。例如，计算系统呈现与外围设备的第一部分相邻的第一XR内容(例如，在键盘上按下的第一按键)。例如，计算系统呈现至少部分地叠置在外围设备的第一部分(例如，在键盘上按下的第一按键)上的第一XR内容。

作为一个示例，当应用程序A(例如，笔记应用程序)在前台运行时，响应于检测到指向外围设备501的按键524的用户输入，图5C和图5D示出了计算系统呈现与外围设备501的按键524的功能或使用相关联的第一组一个或多个虚拟增强532A、532B和532C的序列。在该示例中，第一组一个或多个虚拟增强532A、532B和532C分别至少部分地叠置在外围设备501的按键534A、534B和534C上。本领域的普通技术人员将理解，第一组一个或多个虚拟增强532A、532B和532C是可以在各种其他具体实施中以不同形式呈现的示例性弹出按键组合指示符(例如，横幅通知、叠置在对应的按键上等)。本领域的普通技术人员将理解，第一组一个或多个虚拟增强532A、532B和532C是可以在各种其他具体实施中改变或以其他方式修改的示例性按键组合指示符(例如，文本、大小、形状、颜色、纹理、位置等可以被改变或以其他方式被修改)。

作为另一示例，当应用程序B(例如，Web浏览器应用程序)在前台运行时，响应于检测到指向外围设备501的按键524的用户输入，图5L和图5M示出了计算系统呈现与外围设备501的按键524的功能或使用相关联的第一组一个或多个虚拟增强5122A、5122B和5122C的序列。

响应于检测到第一用户输入，如框608所表示，方法600包括经由显示设备呈现与外围设备的第二部分相呼应的第二XR内容，其中根据确定第一用户输入指向与外围设备的第一部分不同的外围设备的第二部分，第二XR内容包括与外围设备的第二部分的功能或使用相关联的第二组一个或多个虚拟增强。根据一些具体实施，外围设备的第二部分对应于TSS、物理按键、虚拟按键、UI元素、示能表示、单选按钮、物理滑块、虚拟滑块、虚拟旋钮/拨号盘、物理旋钮/拨号盘等的区域。作为一个示例，与外围设备的第二部分相邻地呈现第二XR内容。作为另一示例，第二XR内容至少部分地叠置在外围设备的第二部分上。

在一些具体实施中，外围设备的第一部分和第二部分对应于键盘的不同物理按键。在一些具体实施中，外围设备的第一部分和第二部分对应于触控板或TSS的不同区域。在一些具体实施中，第一组虚拟增强和第二组虚拟增强包括互斥的虚拟增强。在一些具体实施中，第一组虚拟增强和第二组虚拟增强包括至少一个共同的虚拟增强。

在一些具体实施中，计算系统或其部件(例如，图2和图4A中的对象跟踪引擎410)还通过获取与外围设备相关联的空间信息(诸如该外围设备相对于物理环境或整个世界的平移和旋转值/坐标)(例如，经由CV技术)来定位外围设备。在一些具体实施中，至少部分地基于与外围设备和/或其第一部分和第二部分相关联的空间信息在XR环境内呈现第一XR内容和第二XR内容。

作为一个示例，当应用程序A(例如，笔记应用程序)在前台运行时，响应于检测到指向外围设备501的按键542的用户输入，图5E和图5F示出了计算系统呈现与外围设备501的按键542的功能或使用相关联的第二组一个或多个虚拟增强552A和552B的序列。在该示例中，第二组一个或多个虚拟增强552A和552B分别至少部分地叠置在外围设备501的按键554A和按键554B上。根据一些具体实施，由于检测到用户输入指向外围设备的不同部分(例如，图5C和图5D中的按键524与图5E和图5F中的按键542不同)，因此图5F中的第二组一个或多个虚拟增强552A和552B不同于图5D中的第一组一个或多个虚拟增强532A、532B和532C。

作为另一示例，当应用程序B(例如，Web浏览器应用程序)在前台运行时，响应于检测到指向外围设备501的按键542的用户输入，图5N和图5O示出了计算系统呈现与外围设备501的按键542的功能或使用相关联的第二组一个或多个虚拟增强5142A和5142B的序列。根据一些具体实施，由于检测到用户输入指向外围设备的不同部分(例如，图5L和图5M中的按键524与图5N和图5O中的按键542不同)，因此图5O中的第二组一个或多个虚拟增强5142A和5142B不同于图5M中的第一组一个或多个虚拟增强5122A、5122B和5122C。

参考图4C，计算系统或其部件(例如，内容更新器436)更新XR环境128(以及其中的XR内容、VA等)以包括第一XR内容或第二XR内容。进一步参考图4C，计算系统或其部件(例如，姿态确定器452)确定电子设备120和/或用户150相对于XR环境128和/或物理环境105的当前相机姿态。根据一些具体实施，姿态确定器452响应于检测到电子设备120和/或用户150的平移和/或旋转移动而更新当前相机姿态。继续参考图4C，计算系统或其部件(例如，渲染器454)根据相对于XR内容、VA等的当前相机姿态来渲染XR内容、VA等。

继续参考图4C，计算系统或其部件(例如，合成器464)将经渲染的XR内容、VA等与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境的经渲染的图像帧。在各种具体实施中，呈现器470(例如，经由电子设备120的一个或多个显示器312)向用户150呈现XR环境的经渲染的图像帧。本领域的普通技术人员将理解，任选的图像处理架构462和任选的合成器464可能不适用于完全虚拟环境(或光学透传场景)。

在一些具体实施中，显示设备对应于透明透镜组件，并且其中第一XR内容和第二XR内容被投影到透明透镜组件上。在一些具体实施中，显示设备对应于近眼系统，并且其中呈现第一XR内容和第二XR内容包括将第一XR内容和第二XR内容与由面向外部的图像传感器捕获的物理环境的一个或多个图像合成。

在一些具体实施中，如框612所示，方法600包括基于当前前台应用程序来选择第一XR内容和第二XR内容。例如，当笔记应用程序在前台运行时，与音乐生成应用程序在前台运行时相反，XR内容是不同的。

作为一个示例，当应用程序A(例如，笔记应用程序)在图5D中的前台运行时，计算系统呈现对应于与按键524相关联的一个或多个按键组合指示符的第一组一个或多个虚拟增强532A、532B和532C。相比之下，在另一示例中，当应用程序B(例如，Web浏览器应用程序)在图5M中的前台运行时，计算系统呈现对应于与按键524相关联的一个或多个按键组合指示符的第一组一个或多个虚拟增强5122A、5122B和5122C。

在一些具体实施中，如框614所示，方法600包括基于用户配置文件、用户偏好、使用历史或最后使用的应用程序中的至少一者来选择第一XR内容和第二XR内容。例如，XR内容基于用户特性诸如使用历史、偏好等而不同。

在一些具体实施中，如框616所表示，第一组一个或多个虚拟增强对应于与外围设备的第一部分相关联的第一组按键组合指示符，并且其中第二组一个或多个虚拟增强对应于与外围设备的第二部分相关联的第二组按键组合指示符。例如，相应的按键组合指示符对应于热键指示符，该热键指示符包括描述与按下外围设备的按键/部分相关联的功能的文本，诸如在笔记应用程序时的“ctrl+n以创建新的笔记”、在笔记应用程序时的“ctrl+s以保存当前笔记”或在文件导航应用程序时的“ctrl+n以创建新文件夹”。

参考图5C和图5D中的序列，作为一个示例，第一组一个或多个虚拟增强532A、532B和532C对应于当应用程序A(例如，笔记应用程序)在前台运行时与按键524相关联的一个或多个按键组合指示符。参考图5E和图5F中的序列，作为另一示例，当应用程序A(例如，笔记应用程序)在前台运行时，第二组一个或多个虚拟增强552A和552B对应于与按键542相关联的一个或多个按键组合指示符。

参考图5L和图5M中的序列，作为又一示例，当应用程序B(例如，Web浏览器应用程序)在前台运行时，第一组一个或多个虚拟增强5122A、5122B和5122C对应于与按键524相关联的一个或多个按键组合指示符。参考图5N和图5O中的序列，作为又一示例，当应用程序B(例如，Web浏览器应用程序)在前台运行时，第二组一个或多个虚拟增强5142A和5142B对应于与按键542相关联的一个或多个按键组合指示符。

在一些具体实施中，按键组合指示符基于用户或众包用户群组最后使用的应用程序、当前应用程序的最近和/或频繁使用的功能、来自用户的查询(例如，语音输入)等等。在一些具体实施中，计算设备同时显示与外围设备的第一部分或第二部分相关联的多个热键指示符。

在一些具体实施中，响应于检测到第一用户输入，计算设备改变外围设备的第一部分或第二部分的外观，诸如向第一部分或第二部分施加聚光灯、向第一部分或第二部分施加辉光、改变第一部分或第二部分的亮度、改变第一部分或第二部分的对比度、改变第一部分或第二部分的颜色、改变第一部分或第二部分的纹理等等。作为一个示例，在图5D中，电子设备120改变按键534A、534B和534C的外观(例如，从图5C中的白色纹理改变为图5D中的条纹纹理)，同时继续检测指向按键524的用户输入。作为另一示例，

在一些具体实施中，第一组一个或多个虚拟增强和第二组一个或多个虚拟增强与外围设备相邻地呈现。在一些具体实施中，第一组一个或多个虚拟增强和第二组一个或多个虚拟增强叠置在外围设备上。例如，虚拟增强被叠置在外围设备的各个按键上。作为一个示例，在图5F中，第二组一个或多个虚拟增强552A和552B分别至少部分地叠置在外围设备501的按键554A和554B上。作为另一示例，在图5H中，计算系统相邻于外围设备501呈现虚拟数字小键盘572。作为又一示例，在图5Q中，计算系统呈现叠置在外围设备5151A上的虚拟键盘5164。作为又一示例，在图5V中，计算系统呈现叠置在外围设备5151B上的多个虚拟控件5212。

在一些具体实施中，方法600还包括：检测指向外围设备的第一部分和外围设备的第三部分的组合的第二用户输入；以及响应于检测到第二用户输入，执行与外围设备的第一部分和外围设备的第三部分的组合相关联的操作。在一些具体实施中，操作对应于在用户界面(UI)或XR环境内显示对应的文本。在一些具体实施中，操作对应于操纵用户界面(UI)或XR环境内的现有内容。

例如，第二用户输入对应于按键按压组合，诸如ctrl+n、ctrl+s、fn+a等。作为一个示例，参考图5D，响应于检测到指向按键524(例如，“cmd”按键)和按键534A(例如，“w”按键)的组合的第二用户输入，计算系统使得执行与按键组合(例如，cmd+w)相关联的操作，诸如关闭笔记界面522，如虚拟增强532A所指示的。

在一些具体实施中，方法600还包括：检测指向与外围设备的第一部分和第二部分不同的外围设备的第三部分的第二用户输入；以及响应于检测到第二用户输入，通过经由显示设备显示与外围设备的第三部分相呼应的第三XR内容来修改第一XR内容或第二XR内容，其中第三XR内容包括与外围设备的第三部分的功能或使用相关联的一个或多个虚拟增强。在一些具体实施中，计算系统在检测到按压初始按键/部分的用户输入的停止时以及/或者在检测到按压外围设备上的另一按键/部分的后续用户输入时动态地更新虚拟增强。

在一些具体实施中，方法600还包括当与计算系统相关联的相机姿态相对于物理环境改变时修改第一XR内容或第二XR内容。例如，计算系统随着相对于外围设备或物理环境的视角/视角变化或视角/视角距离变化而修改第一XR内容或第二XR内容。在一些具体实施中，相机姿态对应于用户150的视点，例如，当用户150正在握持、佩戴或以其他方式利用电子设备120时。

在一些具体实施中，方法600还包括：检测与呈现虚拟增强相对应的语音输入；以及响应于检测到语音输入：根据确定注视方向指向外围设备的第一部分，经由显示设备显示与外围设备的第一部分相呼应的第一XR内容，其中第一XR内容包括与外围设备的第一部分的功能或使用相关联的一个或多个虚拟增强；以及根据确定注视方向指向外围设备的第二部分，经由显示设备显示与外围设备的第二部分相呼应的第二XR内容，其中第二XR内容包括与外围设备的第二部分的功能或使用相关联的一个或多个虚拟增强。作为一个示例，在检测到用户正在向下注视外围设备的一部分并且向计算系统(例如，虚拟助理)提供语音命令以突出显示某些热键时，计算系统以解放双手的方式呈现虚拟增强。

在一些具体实施中，方法600还包括：基于上下文信息经由显示设备呈现示能表示，这使得呈现附加的示能表示、控件或输入叠置；检测指向示能表示的第二用户输入；以及响应于检测到指向示能表示的第二用户输入，基于上下文信息经由显示设备呈现附加的示能表示、控件或输入叠置。例如，上下文信息对应于当前的前台应用程序等。在一些具体实施中，计算系统呈现用于呈现与当前前台应用程序相关联的附加的示能表示、控件或输入叠置(诸如数字小键盘、滑块、拨号盘等)的快捷方式，以加速与当前前台应用程序相关联的用户体验。

作为一个示例，图5U和图5V示出了计算系统响应于检测到图5U中指向可选择示能表示5204的用户输入而在外围设备5151B上呈现与应用程序D(例如，音乐创作应用程序)相关联的多个虚拟控件5212的序列。例如，多个虚拟控件5212包括具有可控滑块的均衡器、多个不同的可选择的乐器系列或乐器类型、多个不同的可选择的样本、多个可控的刻度盘等等。本领域的普通技术人员将理解，多个虚拟控件5212仅仅是可以在各种其他具体实施中改变或以其他方式修改的示例。

在一些具体实施中，方法600还包括：基于上下文信息经由显示设备呈现附加的示能表示或输入叠置；检测指向附加的示能表示或输入叠置中的一者的第二用户输入；以及响应于检测到指向附加的示能表示或输入叠置中的一者的第二用户输入，基于指向附加的示能表示或输入叠置中的一者的第二用户输入来修改先前呈现的内容。例如，上下文信息对应于当前的前台应用程序等。在一些具体实施中，计算系统自动地呈现与当前前台应用程序相关联的控制面板等，诸如用于影响其中产生的音乐的音乐生成应用程序的均衡器。作为一个示例，图5P和图5Q示出了计算系统响应于检测到图5P中指向与应用程序C(例如，文档创建应用程序)相关联的可选择示能表示512C的用户输入而在外围设备5151A上呈现虚拟键盘5164的序列。

在一些具体实施中，方法600还包括：检测指向为外围设备选择定制框的第三用户输入；以及响应于检测到第三用户输入，经由显示设备在外围设备上呈现定制框或相关联的轮廓增强。在一些具体实施中，定制框选自外围设备的框菜单。在一些具体实施中，计算系统基于物理环境内的变化(诸如环境亮度、对比度、用户修改输入等)来动态地更新定制框。

作为一个示例，图5H至图5J示出了用户从中选择用于外围设备501的定制框的序列。继续该示例，计算系统响应于检测到图5H中的语音输入574而呈现图5I中的KB(键盘)框选择菜单582。进一步参考该示例，计算系统还响应于检测到图5I中的语音输入588而呈现叠置在图5J中的外围设备501和虚拟数字小键盘572上的第一纹理584A。如图5J所示，电子设备120改变外围设备501和虚拟数字小键盘572的框或轮廓的外观(例如，从图5I中的白色纹理改变为图5J中的点状纹理)。

图7A至图7M示出了根据一些具体实施的包括世界锁定到外围设备以使得能够与该外围设备配对的配对示能表示的用户界面的示例。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。图7A至图7M中的用户界面用于示出下文所述的过程中的一些过程，包括参考图9A和图9B所述的过程的一部分。

如图7A所示，电子设备120在显示器122上显示三维(3D)环境700。在一些具体实施中，3D环境对应于XR环境，诸如XR环境128。3D环境700包括位于桌子107上的外围设备701。为此，在一些具体实施中，电子设备120包括捕获包括外围设备701和桌子107的物理环境的图像传感器，并且电子设备120将来自图像传感器的图像数据与计算机生成的内容(例如，配对示能表示)合成以便促进3D环境700的显示。尽管外围设备701对应于键盘设备701，但本领域的普通技术人员将理解，在一些具体实施中，外围设备701对应于不同的设备类型。例如，外围设备701可以对应于头戴式设备(HMD)、移动设备(例如，智能电话或平板电脑)、可穿戴设备、触控笔、智能家居设备等中的一者。

电子设备120可以与键盘设备701通信(例如，可配对)。为此，在一些具体实施中，电子设备120包括被提供用于与键盘设备701通信的通信接口，诸如Wi-Fi接口、蓝牙接口、近场通信(NFC)接口等等。

如图7B所示，电子设备120经由计算机视觉技术来检测3D环境700内的键盘设备701。在一些具体实施，电子设备120包括参考图4A和图4B描述的对象跟踪引擎410，并且对象跟踪引擎410检测键盘设备701。例如，计算机视觉技术包括任选地借助神经网络对图像数据内的键盘设备701的每像素对象的标识。作为一个示例，计算机视觉技术包括生成“键盘”语义值或生成多个语义值(例如，“键盘”、“全键盘”、“键盘型号xxx”等)的语义分割。在一些具体实施中，电子设备120通过显示对应的指示符(诸如显示围绕键盘设备701的闪烁叠置)来指示对键盘设备701的检测。

如图7C所示，在一些具体实施中，电子设备120显示一个或多个应用程序示能表示702a至702d。应用程序示能表示702a至702d中的每一个应用程序示能表示与对应的应用程序相关联，诸如web浏览器应用程序、文字处理应用程序、绘图应用程序等等。本领域的普通技术人员将理解，应用程序示能表示702a至702d的数量和外观可根据不同的具体实施而变化。在一些具体实施中，应用程序示能表示702a至702d与键盘设备701世界锁定，如图7H和图7I所示。

在一些具体实施中，电子设备120响应于与外围设备701配对而显示应用程序示能表示702a至应用程序示能表示702d。参考图7F至图7K来描述配对过程的示例。例如，在一些具体实施中，电子设备120基于检测到指向图7J中的配对示能表示710的第三用户输入716而最初在图7K中(而非在图7C中)显示应用程序示能表示702a至应用程序示能表示702。

响应于经由一个或多个输入设备检测到对特定应用程序示能表示的选择，电子设备120启动(例如，执行)对应的应用程序，并且可以显示对应的内容操纵区域。例如，如图7D所示，电子设备120检测到指向第一应用程序示能表示702a的第一用户输入704，并且相应地显示图7E中的第一内容操纵区域706。作为一个示例，第一应用程序示能表示702a与文字处理应用程序相关联，并且第一内容操纵区域706为文字处理应用程序提供用户界面。在一些具体实施中，第一内容操纵区域706世界锁定到键盘设备701，诸如图7H和图7I所示。

第一用户输入704对应于用户的手的手指选择第一应用程序示能表示702a。在一些具体实施中，电子设备120包括经由计算机视觉技术检测手指的四肢跟踪器。例如，四肢跟踪器在来自图像传感器的透传图像数据内标识手指，其中透传图像被显示在显示器122上。在一些具体实施中，电子设备120基于确定手指在第一应用程序示能表示702a附近(例如，小于距第一应用程序示能表示702a的阈值距离)来选择第一应用程序示能表示702a。本领域的普通技术人员将理解，对特定应用程序示能表示的选择可以基于来自各种输入设备的用户输入，诸如来自眼睛跟踪器的注视输入、来自触控笔的触摸数据等等。

如图7F所示，电子设备120经由一个或多个输入设备来接收指向3D环境内的外围设备701的第二用户输入708。例如，一个或多个输入设备包括生成与用户的眼睛相关联的眼睛跟踪数据的眼睛跟踪器。继续该示例，眼睛跟踪数据指示指向外围设备701的注视。在一些具体实施中，眼睛跟踪器对应于参考图4A和图4B描述的眼睛跟踪引擎412。作为另一示例，一个或多个输入设备包括生成与用户的四肢(例如，手指)相关联的四肢跟踪数据的四肢跟踪器。继续该示例，四肢跟踪数据指示四肢指向外围设备701。

响应于接收到第二用户输入708，电子设备120在显示器122上显示与3D环境700内的键盘设备701世界锁定的配对示能表示710，如图7G所示。配对示能表示710使得电子设备120能够与键盘设备701配对。在一些具体实施中，配对示能表示710世界锁定到键盘设备701的区域或特定点。例如，如图7G所示，配对示能表示710在距离键盘设备701的顶部边缘上的点固定距离712的位置被世界锁定。本领域的普通技术人员将理解，配对示能表示710可以世界锁定到外围设备的任何区域或点。

图7H和图7I示出了基于所检测到的电子设备120的用户的视点的改变的、与配对示能表示710相关联的世界锁定特性的示例。如图7H所示，电子设备120被倾斜，如倾斜指示符714所指示。基于该倾斜，电子设备120检测电子设备120的用户的视点的改变。例如，电子设备120包括生成指示倾斜的IMU数据的惯性测量单元(IMU)，并且电子设备120基于IMU数据来检测视点的改变。作为另一示例，电子设备120包括生成图像数据的图像传感器(例如，相机)，并且电子设备120检测图像数据的改变(例如，第一图像帧与第二图像帧之间的差异)以便检测视点的改变。

如图7I所示，基于电子设备120的倾斜，桌子107和键盘设备701跨显示器122向右移动。基于检测到用户的视点的改变，电子设备120将配对示能表示710从显示器122上的第一位置移动到显示器122上的第二位置，以便保持配对示能表示710世界锁定到键盘设备701。例如，在图7H中，配对示能表示710位于显示器122上的第一位置处，而在图7I中，电子设备120将配对示能表示710向右移动到显示器122上的第二位置。因为键盘设备701基于倾斜而跨显示器122向右移动，所以相应地向右移动配对示能表示710在倾斜期间和倾斜完成之后将配对示能表示710保持为世界锁定到键盘设备701。

如图7J所示，电子设备120检测指向配对示能表示710(例如，在配对示能表示710内)的第三用户输入716。第三用户输入716对应于用户的手的手指并且可以经由计算机视觉技术来检测。第三用户输入716的另一示例是指向配对示能表示710的用户的注视。第三用户输入716中的又一个是指向配对示能表示710的手势，诸如在配对示能表示710内终止的捏合手势。

响应于检测到图7J中的第三用户输入716，电子设备120将电子设备120与图7K中的键盘设备701配对。当电子设备120与电子设备120配对时，电子设备120和键盘设备701可经由通信接口彼此通信。

在一些具体实施中，进一步响应于检测到第三用户输入716，电子设备120停止显示配对示能表示710并且显示指示电子设备120当前与键盘设备701配对的配对指示符718。例如，如图7J和图7K所示，配对指示符718代替配对示能表示710，使得配对指示符718也世界锁定到键盘设备701。

在一些具体实施中，进一步响应于检测到第三用户输入716，电子设备120可以更新内容操纵区域以便指示配对。例如，如图7K所示，电子设备120在第一内容操纵区域706内显示光标720。光标720指示键盘设备701的按键当前能够执行内容操纵操作，因为键盘设备701当前与电子设备120配对。

在一些具体实施中，进一步响应于检测到第三用户输入716，电子设备120显示与键盘设备701相关联的一个或多个状态指示符。例如，如图7K所示，电子设备120显示指示键盘设备701的当前电池电量的电池电量指示符722。电子设备120可经由通信接口从键盘设备701接收电池电平信息。在一些具体实施中，状态指示符世界锁定到键盘设备701。

根据各种具体实施，当电子设备120与键盘设备701配对时，电子设备120经由通信接口从键盘设备701接收传感器数据。例如，如图7L所示，电子设备120接收指示键盘设备701的“2”按键的按键按压724的传感器数据。响应于接收到传感器数据，电子设备120在第一内容操纵区域706内显示“2”，并且相应地向右移动光标720，如图7M所示。本领域的普通技术人员将理解，传感器数据可以基于配对的外围设备的类型而变化，诸如来自触控笔的手指操纵数据、来自手持式控制器的按钮数据等等。例如，响应于从触控笔接收到指示在触控笔上执行的双击的传感器数据，电子设备120将复制的内容粘贴到内容操纵区域内。

图8A至图8M示出了根据一些具体实施的包括多个配对示能表示以使得能够与对应的外围设备配对的用户界面的示例。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。图8A至图8M中的用户界面用于示出下文所述的过程中的一些过程，包括参考图9A和图9B所述的过程的一部分。

如图8A所示，电子设备120在显示器122上显示3D环境800。3D环境800包括位于桌子107上的第一外围设备802和位于桌子107上的第二外围设备804。第一外围设备802对应于第一键盘设备(有时称为“第一键盘设备802”)，并且第二外围设备804对应于第二键盘设备(有时称为“第二键盘设备804”)。本领域的普通技术人员将理解，在一些具体实施中，第一外围设备802和第二外围设备804中的一者或两者对应于不同的外围设备类型(例如，触控笔、HMD等)。

电子设备120经由计算机视觉技术来检测第一键盘设备802和第二键盘设备804。例如，电子设备120利用参考图7B所示的键盘设备701的检测描述的计算机视觉技术。为此，在一些具体实施中，电子设备120包括对象跟踪器引擎410，该对象跟踪器引擎标识来自相机的图像数据内的第一键盘设备802和第二键盘设备804。

如图8A进一步所示，电子设备120在显示器122上显示内容操纵区域810。内容操纵区域810与特定应用程序相关联。在一些具体实施中，内容操纵区域810的显示基于指向对应的应用程序示能表示的输入，诸如参考图7D和图7E所示的第一内容操纵区域706的调用所描述的。如下所述，指向第一键盘设备802或第二键盘设备804的按键按压输入导致在内容操纵区域810内执行对应的内容操纵。

如图8B所示，电子设备120经由一个或多个输入设备来接收指向3D环境800内的第一键盘设备802的第一用户输入812。例如，第一用户输入812对应于指向第一键盘设备802的用户的注视，其中该注视是从眼睛跟踪器(例如，图4A的眼睛跟踪引擎412)输出的。作为另一示例，第一用户输入812对应于指向第一键盘设备802的用户的四肢。为此，电子设备120可包括执行计算机视觉以便标识图像数据内的四肢的四肢跟踪器。

响应于接收到图8B中的第一用户输入812，电子设备120在显示器122上显示图8C中的第一配对示能表示814。第一配对示能表示814世界锁定到第一键盘设备802。在一些具体实施中，第一配对示能表示814世界锁定到第一键盘设备802的区域或特定点。例如，如图8C所示，第一配对示能表示814在距离第一键盘设备802的顶部边缘上的点第一固定距离816的位置世界锁定。为了将第一配对示能表示814保持为世界锁定到第一键盘设备802，电子设备120基于检测到电子设备120的用户的视点的改变来将第一配对示能表示814移动到显示器122上的更新位置。例如，检测用户的视点的改变包括检测电子设备120的位置改变(例如，倾斜、旋转、平移)。检测位置变化可以基于IMU数据以及/或者基于相机数据内的变化。

如图8D所示，电子设备120经由一个或多个输入设备来接收指向第一配对示能表示814的第二用户输入818。如图8D所示，第二用户输入818对应于用户的手指，可以经由计算机视觉技术来检测用户的手指。然而，本领域的普通技术人员将理解，在一些具体实施中，第二用户输入818可以对应于指向第一配对示能表示814的不同输入类型，诸如注视输入、物理对象接近输入等等。响应于接收图8D中的第二用户输入818，电子设备120将电子设备120与第一键盘设备802配对，如图8E所示。

在一些具体实施中，基于接收到第二用户输入818，电子设备120显示指示与第一键盘设备802相关联的状态(例如，当前电池电量)的第一状态指示符824。第一状态指示符824可以在第一键盘设备802附近并且任选地世界锁定到第一键盘设备802，以指示该状态与第一键盘设备802相关联，并且不与第二键盘设备804相关联。

另外，在一些具体实施中，基于接收到第二用户输入818，电子设备120停止显示第一配对示能表示814，并且显示指示电子设备120当前正在与第一键盘设备802配对的第一配对指示符820。例如，第一配对指示符820在第一键盘设备802附近以向用户指示电子设备120与第一键盘设备802配对，并且不与第二键盘设备804配对。在一些具体实施中，电子设备120诸如经由动画用第一配对指示符820替换第一配对示能表示814。

此外，在一些具体实施中，基于接收到第二用户输入818，电子设备120在内容操纵区域810内显示光标822。光标822向用户指示键盘设备中的一个键盘设备当前正在与电子设备120配对。

当电子设备120与第一键盘设备802配对时，电子设备120从第一键盘设备802接收传感器数据。为此，在一些具体实施中，电子设备120包括被提供以使得能够与第一键盘设备802通信的通信接口。如图8F所示，电子设备120接收指示第一键盘设备802的“4”按键的按键按压826的传感器数据。响应于接收到传感器数据，电子设备120在内容操纵区域810内显示“4”，并且相应地向右移动光标822，如图8G所示。

如图8H所示，电子设备120经由一个或多个输入设备来接收指向3D环境800内的第二键盘设备804的第三用户输入828。例如，第三用户输入828对应于指向第二键盘设备804的用户的注视，或者指向第二键盘设备804的用户的四肢。响应于接收到图8H中的第三用户输入828，电子设备120显示图8I中的第二配对示能表示830。第二配对示能表示830世界锁定到第二键盘设备804。在一些具体实施中，第二配对示能表示830世界锁定到第二键盘设备804的区域或特定点。例如，如图8I所示，第二配对示能表示830在距离第二键盘设备804的底部边缘上的点第二固定距离832的位置被世界锁定。为了将第二配对示能表示830保持为世界锁定到第二键盘设备804，电子设备120基于检测到电子设备120的用户的视点的改变而将第二配对示能表示830移动到显示器122上的更新位置。在一些具体实施中，如图8I所示，响应于接收到第三用户输入828，电子设备120停止显示第一配对指示符820和第一状态指示符824。在一些具体实施中，响应于接收到第三用户输入828，电子设备120保持第一配对指示符820和第一状态指示符824的显示。

如图8J所示，电子设备120经由一个或多个输入设备来接收指向第二配对示能表示830的第四用户输入834。如图8J所示，第四用户输入834对应于用户的手指，可经由计算机视觉技术来检测用户的手指。然而，本领域的普通技术人员将理解，在一些具体实施中，第四用户输入834可对应于指向第二配对示能表示830的不同的输入类型，诸如注视输入、物理对象接近度输入等等。响应于在图8J中接收到第四用户输入834，电子设备120将电子设备120与图8K中的第二键盘设备804配对。此外，电子设备120停止与第一键盘设备802的配对。

在一些具体实施中，基于接收到第四用户输入834，电子设备120显示指示与第二键盘设备804相关联的状态(例如，当前电池电量)的第二状态指示符836。第二状态指示符836可以在第二键盘设备804附近并且任选地与第二键盘设备804世界锁定，以指示该状态与第二键盘设备804相关联，并且不与第一键盘设备802相关联。

另外，在一些具体实施中，基于接收到第四用户输入834，电子设备120停止显示第二配对示能830，并且显示指示电子设备120当前正在与第二键盘设备804配对的第二配对指示符838。例如，第二配对指示符838在第二键盘设备804附近以向用户指示电子设备120与第二键盘设备804配对，并且不与第一键盘设备802配对。在一些具体实施中，电子设备120诸如经由动画用第二配对指示符838替换第二配对示能表示830。

当电子设备120与第二键盘设备804配对时，电子设备120从第二键盘设备804接收传感器数据。如图8L所示，电子设备120接收指示第二键盘设备804的“删除”按键的按键按压840的传感器数据。响应于接收到传感器信息，电子设备120从内容操纵区域810移除“4”，并且相应地向左移动光标822，如图8M所示。

图9A和图9B示出了根据一些具体实施的显示世界锁定到相应的外围设备的一个或多个配对示能表示的方法900的流程图表示。在一些具体实施中，方法900在具有非暂态存储器、一个或多个处理器、显示器和一个或多个输入设备的电子设备(例如，图7A至图7M和/或图8A至图8M中的电子设备120)处执行。一个或多个输入设备的一个示例是生成指示XR环境内的用户的注视(例如，注视位置、焦点、注视点等)的眼睛跟踪数据的眼睛跟踪器。一个或多个输入设备的另一示例是跟踪用户的四肢(例如，手指)的四肢跟踪器。在一些具体实施中，眼睛跟踪器和/或四肢跟踪器执行计算机视觉技术，以便标识图像数据内的眼睛/四肢。图像数据可以由集成在电子设备中的一个或多个图像传感器(例如，前向相机或后向相机)生成。

方法900中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。在一些具体实施中，方法900由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，计算系统对应于平板电脑、膝上型电脑、移动电话、近眼系统、可穿戴计算设备等中的一者。在一些具体实施中，一个或多个输入设备对应于使用来自一个或多个面向外部的图像传感器的图像流的计算机视觉(CV)引擎、手指/手部/四肢跟踪引擎、眼睛跟踪引擎、触敏表面等等。

将电子设备与外围设备配对通常包括电子设备接收和处理一系列用户输入。接收和处理一系列用户输入对于电子设备而言是资源昂贵的，并且对于用户而言是耗时的。例如，基于接收到第一用户输入，电子设备显示包括用于与当前可用的外围设备配对的选项的配对菜单。随后，基于接收到请求与特定设备配对的第二用户输入，电子设备发起与特定外围设备的配对序列。在配对菜单中列出的选项并非基于用户与特定外围设备的互动，从而导致用户体验变差。此外，配对菜单在空间上不与特定外围设备相关联，这使用户体验进一步变差。

相比之下，本文所公开的各种具体实施包括基于指向所检测到的外围设备的用户输入来显示世界锁定到外围设备的配对示能表示。可以经由计算机视觉技术来检测外围设备。配对示能表示的显示可以响应于接收到指向外围设备的用户输入，诸如指向外围设备的用户注视。将配对示能表示世界锁定到外围设备使得能够为用户实现更直观的配对过程。在一些具体实施中，多个配对示能表示被显示为世界锁定到相应的外围设备。

通过基于接收到指向外围设备的输入(例如，注视)来显示配对示能表示，电子设备提供了用于将电子设备与外围设备配对的更直观的过程。例如，与包括用于所有当前可配对的设备的配对菜单的其他用户界面相比，方法900包括基于指向特定外围设备的输入来选择性地显示用于发起与特定外围设备的配对的配对示能表示。另外，通过前述显示针对所有可用的可配对设备的配对菜单，电子设备接收到更少的无意的(例如，不匹配用户的意图)与外围设备配对的请求，从而减少了电子设备的资源(例如，处理器)利用。此外，因为配对示能表示世界锁定到外围设备，所以与其他用户界面中的头部锁定或显示器锁定的配对菜单相比，配对示能表示不会持久地显示。例如，当电子设备充分远离外围设备时(例如，外围设备不再位于图像传感器的视场内)，显示器不再包括配对示能表示，而是包括其他XR内容。

参考图9A，如框902所表示的，方法900包括经由计算机视觉技术检测三维(3D)环境内的第一外围设备。3D环境可以对应于XR环境。在一些具体实施中，电子设备包括检测第一外围设备的对象跟踪引擎410。作为另一示例，电子设备包括捕获3D环境的图像数据的图像传感器，并且电子设备诸如经由逐像素语义分割来标识图像数据内的第一外围设备。第一外围设备的示例包括键盘设备、手持式控制器、触控笔等等。在一些具体实施中，响应于检测到第一外围设备，方法900包括显示指示检测的指示符，诸如第一外围设备周围的闪烁边界。作为一个示例，参考图7B，电子设备120基于来自具有包括第一键盘设备701的视场的相机的图像数据来检测第一键盘设备701。继续该示例，电子设备120可以获取与第一键盘设备701相关联的一个或多个语义值，诸如“键盘”、“键盘型号xxx”等。如框904所表示的，在一些具体实施中，第一外围设备对应于包括多个按键的键盘设备，诸如图7A至图7M所示的键盘设备701。

如框906所表示，在一些具体实施中，方法900包括经由计算机视觉技术检测3D环境内的第二外围设备。例如，参考图8A，电子设备120检测第一键盘设备802和第二键盘设备804两者。在一些具体实施中，方法900包括检测图像帧内的多个外围设备。在一些具体实施中，方法900包括跨图像帧序列检测多个外围设备。

如框908所表示，方法900包括经由一个或多个输入设备来接收指向3D环境内的第一外围设备的第一用户输入。作为一个示例，参考图7F，电子设备120经由一个或多个输入设备来接收指向3D环境内的外围设备701的第二用户输入708。在一些具体实施中，电子设备基于确定与第一用户输入相关联的空间位置(例如，视线)小于距第一外围设备的阈值距离来确定第一用户输入指向第一外围设备。

在一些具体实施中，如框910所表示，一个或多个输入设备包括生成眼睛跟踪数据的眼睛跟踪器，其中接收第一用户输入包括接收眼睛跟踪数据。眼睛跟踪数据指示指向第一外围设备的注视。在一些具体实施中，注视指向第一外围设备达至少阈值时间量。在一些具体实施中，眼睛跟踪器包括眼睛跟踪引擎412。

在一些具体实施中，一个或多个输入设备包括生成与用户的四肢(例如，手指)相关联的四肢跟踪数据的四肢跟踪器。例如，四肢跟踪数据指示四肢指向第一外围设备。在一些具体实施中，四肢跟踪器包括执行四肢跟踪的身体/头部姿态跟踪引擎414。

在一些具体实施中，一个或多个输入设备包括从控制器(例如，触控笔)接收传感器数据，诸如来自集成在控制器内的IMU传感器的IMU数据的通信接口。基于传感器数据并且任选地基于表征控制器的位置的计算机视觉数据，电子设备确定控制器的当前位置指向第一外围设备。

如框912所表示，方法900包括响应于接收到第一用户输入，在显示器上显示世界锁定到3D环境内的第一外围设备的第一配对示能表示。作为一个示例，响应于接收到指向图7F中的外围设备701的第二用户输入708，电子设备120显示世界锁定到外围设备701的配对示能表示710。第一配对示能表示使得能够与第一外围设备配对。在一些具体实施中，第一配对示能表示是锁定到特定物理环境的体积区域或特定点的世界锁定的对象，该体积区域或特定点对应于第一外围设备的位置。在一些具体实施中，方法900包括基于确定第一用户输入指向不可与电子设备配对的外围设备来预先显示配对示能表示。

如框914所表示，在一些具体实施中，方法900包括检测与第一外围设备相关联的物理表面(例如，第一外围设备所在的物理表面)，其中显示世界锁定到第一外围设备的第一配对示能表示包括将第一配对示能表示显示为相对于物理表面大致平行。作为一个示例，参考图7B，除了检测外围设备701之外，电子设备120还检测外围设备701所处的桌子107的表面。继续该示例，参考图7G，电子设备120显示世界锁定到外围设备701并且大致平行于桌子107的表面的配对示能表示710。在一些具体实施中，方法900包括经由计算机视觉技术诸如经由平面检测技术来检测物理表面。在一些具体实施中，将第一配对示能表示显示为相对于物理表面大致平行包括将第一配对示能表示叠置到物理表面上。

根据各种具体实施，为了将第一配对示能表示世界锁到第一外围设备，方法900包括基于电子设备的用户的视点的改变在显示器上移动第一配对示能表示。为此，如框916所表示，方法900包括检测电子设备的用户的视点的改变。在一些具体实施中，检测视点的改变是基于来自IMU的旋转数据或角速度数据。在一些具体实施中，检测视点的改变另外地或另选地基于图像数据，诸如基于第一图像帧内和第二图像帧内的内容的差异。此外，如框918所表示，响应于检测到电子设备的用户的视点的改变，方法900包括将第一配对示能表示从显示器上的第一位置移动到第二位置，以便将第一配对示能表示保持为世界锁定到第一外围设备。

作为一个示例，参考图7G，电子设备120最初在显示器122上的第一位置处显示配对示能表示710，其中第一位置在键盘设备701的“1”按键的左侧正上方(例如，较高的y值)。基于检测到图7H中的倾斜714，电子设备120将配对示能表示710从第一位置移动到显示器122上的第二位置，其中第二位置也在键盘设备701的“1”按键的左侧正上方。显示器122上的第二位置在显示器122上的第一位置的右侧。

如框920所表示，在一些具体实施中，方法900包括经由一个或多个输入设备来接收指向第一配对示能表示的第二用户输入。作为一个示例，参考图7J，电子设备120接收指向配对示能表示710的第三用户输入716，其中第三用户输入716对应于用户的手的手指。为此，在一些具体实施中，方法900包括相对于图像数据执行计算机视觉以便标识手指的位置；以及确定手指的位置是否足够接近第一配对示能表示。在一些具体实施中，第二用户输入包括足够靠近第一配对示能表示的手指的手势，诸如在第一配对示能表示内终止的捏合手势。作为另一示例，第二用户输入对应于指向第一配对示能表示的用户的注视。作为又一示例，第二用户输入包括指向第一配对示能表示的四肢和指向第一配对示能表示的注视的组合。因此，在一些具体实施中，方法900包括当用户的手指在第一配对示能表示附近但用户的注视被引导远离第一配对示能表示时防止用户无意地选择第一配对示能表示。

如框922所表示，在一些具体实施中，方法900包括响应于接收到第二用户输入，将电子设备与第一外围设备配对。例如，响应于接收到指向图7J中的配对示能表示710的第三用户输入716，电子设备120将电子设备120与图7K中的外围设备701配对。在一些具体实施中，响应于将电子设备与第一外围设备配对，方法900包括用配对的指示符替换第一配对示能表示，诸如用图7K中的配对的指示符718替换(任选地用动画)图7J中的配对示能表示710。配对指示符718指示电子设备120当前与外围设备701配对。

在一些具体实施中，进一步响应于接收到指向第一配对示能表示的第二用户输入，方法900包括显示一个或多个应用程序示能表示(例如，图7K中的应用程序示能表示702a至应用程序示能表示702d)。例如，应用程序示能表示中的每一个应用程序示能表示与相应的应用程序相关联。在一些具体实施中，对特定应用程序示能表示的选择导致对应的内容操纵区域的显示。例如，当特定应用程序示能表示与绘图应用程序相关联时，对应的内容操纵区域包括绘图画布和绘图工具示能表示(例如，铅笔示能表示、橡皮擦示能表示等)，这些促进绘图画布上的绘图操作。

如框924所表示，在一些具体实施中，方法900包括响应于将电子设备与第一外围设备配对，显示与第一外围设备相关联的一个或多个状态指示符以及/或者显示数字小键盘的计算机生成的表示。状态指示符和/或数字小键盘的计算机生成的表示可以世界锁定到第一外围设备。

例如，状态指示符指示第一外围设备的当前电池电量，诸如图7K所示的电池电量指示符722。状态指示符的其他示例包括充电状态指示符、关于第一外围设备的信息(例如，型号、版本号)等等。

数字小键盘的计算机生成的表示可以模拟标准物理键盘的17键部分，其通常对应于物理键盘的最右侧部分。数字小键盘的计算机生成的表示的示例为图5H至图5J所示的虚拟数字小键盘572。根据各种具体实施，对数字小键盘的计算机生成的表示的按键的选择导致对应的内容操纵操作。

如框926所表示，在一些具体实施中，当电子设备与第一外围设备配对时，方法900包括经由通信接口接收来自第一外围设备的传感器数据。为此，在一些具体实施中，电子设备包括通信接口，诸如蓝牙接口、Wi-Fi接口、NFC接口等。如框928所表示，在一些具体实施中，传感器数据指示键盘设备的多个按键中的第一按键的第一按键按压。例如，参考图7L，传感器数据指示键盘设备701的“2”按键的按键按压724。在一些具体实施中，传感器数据包括来自触控笔的手指操纵数据。例如，手指操纵数据指示在触控笔上执行的手势(例如，轻扫、轻击、双击)。作为另一示例，传感器数据指示控制器的按钮的硬按压。

转向图9B，如框930所表示，在一些具体实施中，方法900包括经由一个或多个输入设备来接收指向3D环境内的第二外围设备的第二用户输入。例如，第二用户输入对应于指向第二外围设备的用户的注视。作为另一示例，第二用户输入对应于指向第二外围设备的用户的四肢。在一些具体实施中，第二用户输入指向第二外围设备达至少阈值时间量。作为一个示例，第一用户输入812指向图8B中的第一键盘设备802，并且第三用户输入828指向图8H中的第二键盘设备804。

如框932所表示，在一些具体实施中，响应于接收到第二用户输入，方法900包括在3D环境内显示世界锁定到第二外围设备的第二配对示能表示。继续前一示例，响应于图8H中的第三用户输入828，电子设备120在图8I中显示世界锁定到第二外围设备804的第二配对示能表示830。

如框934所表示，在一些具体实施中，方法900包括保持世界锁定到第一外围设备的第一配对示能表示的显示，同时显示世界锁定到第二外围设备的第二配对示能表示。例如，方法900包括同时显示世界锁定到相应的外围设备的第一配对示能表示和第二配对示能表示。继续该示例，基于检测到电子设备的用户的视点的改变(例如，电子设备的位置上的改变)，方法900包括将第一配对示能表示和第二配对示能表示移动到显示器上的不同位置，以便将第一配对示能表示和第二配对示能表示保持为世界锁定到相应的外围设备。作为一个示例，基于检测到用户视点的改变，方法900包括将第一配对示能表示从显示器上的第一位置移动到显示器上的第二位置，以及将第二配对示能表示从显示器上的第三位置移动到显示器上的第四位置，以便保持第一配对示能表示和第二配对示能表示世界锁定到相应的外围设备。

在一些具体实施中，基于检测到对特定配对示能表示(例如，第一配对示能表示)的选择，方法900包括将电子设备与对应的外围设备(例如，第一外围设备)配对，并且停止显示其他配对示能表示(例如，第二配对示能表示)。

如框936所表示，在一些具体实施中，方法900包括响应于接收到指向第二外围设备的第二用户输入，停止显示第一配对示能表示。在一些具体实施中，方法900包括响应于接收到指向第二外围设备的第二用户输入，停止显示配对指示符和状态指示符。例如，参考图8H和图8I，响应于检测到指向第二键盘设备804的第三用户输入828，电子设备120停止显示与第一外围设备802相关联的第一配对指示符820和第一状态指示符824。

如框938所表示，在一些具体实施中，方法900包括经由一个或多个输入设备来接收指向第二配对示能表示的第三用户输入。第三用户输入可以对应于注视输入、四肢输入等。例如，电子设备120接收指向第二配对示能表示830的第四用户输入834，如图8J所示。如框940所表示，在一些具体实施中，响应于接收到第三用户输入，方法900包括将电子设备与第二外围设备配对。例如，基于接收到图8J中的第四用户输入，电子设备120将电子设备120与第二外围设备804配对，如图8K中所示的第二配对指示符838所指示的。在一些具体实施中，进一步响应于接收到指向第二配对示能表示的第三用户输入，方法900包括取消与先前经由第一配对示能表示配对的第一外围设备的配对。

如框942所表示，在一些具体实施中，方法900包括基于传感器数据来执行内容操纵操作。例如，当电子设备与外围设备配对时，电子设备从外围设备接收传感器数据并且基于传感器数据来执行内容操纵操作。内容操纵操作可以对应于任何类型的内容操纵类型，诸如添加内容、移除内容、移动内容、重新设定内容大小等等。在一些具体实施中，内容操纵操作包括导航操作，诸如滚动通过菜单。在一些具体实施中，内容操纵操作包括选择特定绘图工具示能表示。

如框944所表示，在一些具体实施中，方法900包括在电子设备与第一外围设备配对时在显示器上显示内容操纵区域，其中执行内容操纵操作包括操纵内容操纵区域内的内容。例如，基于接收到指示图7L中的键盘设备701的“2”按键的按键按压724的传感器数据，电子设备120在第一内容操纵区域706内显示与图7M中的“2”相对应的文本内容。内容操纵区域可以与特定应用程序相关联，诸如web浏览器应用程序、文本编辑应用程序、绘图应用程序等等。在一些具体实施中，内容操纵区域基本上是矩形的，以便模仿应用程序窗口。

如框946所表示，在一些具体实施中，显示内容操纵区域是响应于检测到指向与内容操纵区域相关联的第一应用程序示能表示的第三用户输入。例如，如图7B和图7C所示，响应于检测到外围设备701，电子设备120在外围设备701附近显示应用程序示能表示702a至702d。继续该示例，电子设备120检测指向第一应用程序示能表示702a的第一用户输入704，如图7D所示，并且相应地在图7E中显示第一内容操纵区域706。继续该示例，第一应用程序示能表示702a和第一内容操纵区域706与共同应用程序相关联。在一些具体实施中，应用程序示能表示702a至702d世界锁定到外围设备701。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是、应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个方面可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置以及/或者可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置以及/或者可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一媒体项可以被称为第二媒体项，并且类似地，第二媒体项可以被称为第一媒体项，这改变描述的含义，只要出现的“第一媒体项”被一致地重命名并且出现的“第二媒体项”被一致地重命名。第一媒体项和第二媒体项都是媒体项，但它们不是相同的媒体项。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”、“一”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (39)

1.一种方法，包括：

在包括非暂态存储器和一个或多个处理器的计算系统处，其中所述计算系统通信地耦接到显示设备和一个或多个输入设备：

检测物理环境内的外围设备；

检测指向所述外围设备的第一用户输入；以及

响应于检测到所述第一用户输入：

根据确定所述第一用户输入指向所述外围设备的第一部分，经由所述显示设备呈现与所述外围设备的所述第一部分相呼应的第一扩展现实(XR)内容，其中所述第一XR内容包括与所述外围设备的所述第一部分的功能或使用相关联的第一组一个或多个虚拟增强；以及

根据确定所述第一用户输入指向与所述外围设备的所述第一部分不同的所述外围设备的第二部分，经由所述显示设备呈现与所述外围设备的所述第二部分相呼应的第二XR内容，其中所述第二XR内容包括与所述外围设备的所述第二部分的功能或使用相关联的第二组一个或多个虚拟增强。

2.根据权利要求1所述的方法，还包括：

基于当前前台应用程序来选择所述第一XR内容和所述第二XR内容。

3.根据权利要求1至2中任一项所述的方法，还包括：

基于用户配置文件、用户偏好、使用历史或最后使用的应用程序中的至少一者来选择所述第一XR内容和所述第二XR内容。

4.根据权利要求1至3中任一项所述的方法，其中所述第一组一个或多个虚拟增强对应于与所述外围设备的所述第一部分相关联的第一组按键组合指示符，并且其中所述第二组一个或多个虚拟增强对应于与所述外围设备的所述第二部分相关联的第二组按键组合指示符。

5.根据权利要求1至4中任一项所述的方法，其中所述第一组一个或多个虚拟增强和所述第二组一个或多个虚拟增强与所述外围设备相邻地呈现。

6.根据权利要求1至4中任一项所述的方法，其中所述第一组一个或多个虚拟增强和所述第二组一个或多个虚拟增强叠置在所述外围设备上。

7.根据权利要求1至6中任一项所述的方法，还包括：

在检测到所述第一用户输入之前，检测与激活与所述外围设备相关联的虚拟增强相关联的先前的用户输入，其中根据确定所述第一用户输入指向所述外围设备的所述第一部分并且根据确定与所述外围设备相关联的所述虚拟增强被激活来呈现所述第一XR内容。

8.根据权利要求1至7中任一项所述的方法，还包括：

检测指向所述外围设备的所述第一部分和所述外围设备的第三部分的组合的第二用户输入；以及

响应于检测到所述第二用户输入，执行与所述外围设备的所述第一部分和所述外围设备的所述第三部分的所述组合相关联的操作。

9.根据权利要求8所述的方法，其中所述操作对应于在用户界面(UI)或XR环境内显示对应的文本。

10.根据权利要求8所述的方法，其中所述操作对应于操纵用户界面(UI)或XR环境内的现有内容。

11.根据权利要求1至7中任一项所述的方法，还包括：

检测指向与所述外围设备的所述第一部分和所述第二部分不同的所述外围设备的第三部分的第二用户输入；以及

响应于检测到所述第二用户输入，通过经由所述显示设备显示与所述外围设备的所述第三部分相呼应的第三XR内容来修改所述第一XR内容或所述第二XR内容，其中所述第三XR内容包括与所述外围设备的所述第三部分的功能或使用相关联的一个或多个虚拟增强。

12.根据权利要求1至11中任一项所述的方法，还包括：

当与所述计算系统相关联的相机姿态相对于所述物理环境改变时修改所述第一XR内容或所述第二XR内容。

13.根据权利要求1至12中任一项所述的方法，其中所述外围设备对应于键盘、触控板或其他触敏表面中的一者。

14.根据权利要求1至13中任一项所述的方法，还包括：

检测与呈现虚拟增强相对应的语音输入；以及

响应于检测到所述语音输入：

根据确定注视方向指向所述外围设备的所述第一部分，经由所述显示设备显示与所述外围设备的所述第一部分相呼应的所述第一XR内容，其中所述第一XR内容包括与所述外围设备的所述第一部分的功能或使用相关联的一个或多个虚拟增强；以及

根据确定所述注视方向指向所述外围设备的所述第二部分，经由所述显示设备显示与所述外围设备的所述第二部分相呼应的所述第二XR内容，其中所述第二XR内容包括与所述外围设备的所述第二部分的功能或使用相关联的一个或多个虚拟增强。

15.根据权利要求1至14中任一项所述的方法，还包括：

基于上下文信息经由所述显示设备呈现示能表示，这使得呈现附加的示能表示或输入叠置；

检测指向所述示能表示的第二用户输入；以及

响应于检测到指向所述示能表示的所述第二用户输入，基于所述上下文信息经由所述显示设备呈现附加的示能表示或输入叠置。

16.根据权利要求1至14中任一项所述的方法，还包括：

基于上下文信息经由所述显示设备呈现附加的示能表示或输入叠置；

检测指向所述附加的示能表示或输入叠置中的一者的第二用户输入；以及

响应于检测到指向所述附加的示能表示或输入叠置中的一者的所述第二用户输入，基于指向所述附加的示能表示或输入叠置中的一者的所述第二用户输入来修改先前呈现的内容。

17.根据权利要求1至16中任一项所述的方法，还包括：

检测指向为所述外围设备选择定制框的第三用户输入；以及

响应于检测到所述第三用户输入，经由所述显示设备在所述外围设备上呈现所述定制框或相关联的轮廓增强。

18.一种设备，所述设备包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信；以及

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时，使所述设备执行根据权利要求1至17所述的方法中的任一种方法。

19.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有用于与显示设备和一个或多个输入设备通信的接口的设备的一个或多个处理器执行时，使所述设备执行根据权利要求1至17所述的方法中的任一种方法。

20.一种设备，所述设备包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信，以及

用于使得所述设备执行根据权利要求1至17所述的方法中的任一种方法的装置。

21.一种方法，包括：

在包括非暂态存储器、一个或多个处理器、显示器和一个或多个输入设备的电子设备处：

经由计算机视觉技术来检测三维(3D)环境内的第一外围设备；

经由所述一个或多个输入设备来接收指向所述3D环境内的所述第一外围设备的第一用户输入；以及

响应于接收到所述第一用户输入，在所述显示器上显示世界锁定到所述3D环境内的所述第一外围设备的第一配对示能表示。

22.根据权利要求21所述的方法，其中所述一个或多个输入设备包括眼睛跟踪器，其中接收第一用户输入包括从所述眼睛跟踪器接收眼睛跟踪数据，并且其中所述眼睛跟踪数据指示指向所述第一外围设备的注视。

23.根据权利要求21或22中任一项所述的方法，还包括：

经由所述一个或多个输入设备来接收指向所述第一配对示能表示的第二用户输入；以及

响应于接收到所述第二用户输入，将所述电子设备与所述第一外围设备配对。

24.根据权利要求23所述的方法，还包括：响应于将所述电子设备与所述第一外围设备配对，在所述显示器上显示与所述第一外围设备相关联的状态指示符。

25.根据权利要求23所述的方法，还包括：响应于将所述电子设备与所述第一外围设备配对，在所述显示器上显示在所述第一外围设备附近的数字小键盘的计算机生成的表示。

26.根据权利要求23所述的方法，其中所述电子设备包括通信接口，所述通信接口被提供用于在所述电子设备与所述第一外围设备配对时与所述第一外围设备通信。

27.根据权利要求26所述的方法，当所述电子设备与所述第一外围设备配对时：

经由所述通信接口从所述第一外围设备接收传感器数据；以及

基于所述传感器数据来执行内容操纵操作。

28.根据权利要求27所述的方法，其中所述第一外围设备对应于包括多个按键的键盘设备，其中所述传感器数据指示所述多个按键中的第一按键的第一次按键按压。

29.根据权利要求27所述的方法，还包括当所述电子设备与所述第一外围设备配对时，在所述显示器上显示内容操纵区域，并且其中执行所述内容操纵操作包括操纵所述内容操纵区域内的内容。

30.根据权利要求29所述的方法，还包括在所述显示器上显示所述第一外围设备附近的一个或多个应用程序示能表示，其中显示所述内容操纵区域响应于经由所述一个或多个输入设备检测到指向所述一个或多个应用程序示能表示中的第一应用程序示能表示的第三用户输入。

31.根据权利要求21至30中任一项所述的方法，其中显示世界锁定到所述第一外围设备的所述第一配对示能表示包括在所述显示器上的第一位置处显示所述第一配对示能表示，所述方法还包括：

检测所述电子设备的用户的视点的改变；以及

响应于检测到所述电子设备的所述用户的所述视点的所述改变，将所述第一配对示能表示从所述第一位置移动到所述显示器上的第二位置，以便保持世界锁定到所述第一外围设备的所述第一配对示能表示。

32.根据权利要求21至31中任一项所述的方法，还包括检测与所述第一外围设备相关联的物理表面，其中显示世界锁定到所述第一外围设备的所述第一配对示能表示包括将所述第一配对示能表示显示为相对于所述物理表面大致平行。

33.根据权利要求21至32中任一项所述的方法，还包括：

经由所述计算机视觉技术来检测所述3D环境内的第二外围设备；

经由所述一个或多个输入设备来接收指向所述3D环境内的所述第二外围设备的第二用户输入；以及

响应于接收到所述第二用户输入，在所述显示器上显示在所述3D环境内世界锁定到所述第二外围设备的第二配对示能表示。

34.根据权利要求33所述的方法，还包括：

经由所述一个或多个输入设备来接收指向所述第二配对示能表示的第三用户输入；以及

响应于接收到所述第三用户输入，将所述电子设备与所述第二外围设备配对。

35.根据权利要求33所述的方法，还包括保持世界锁定到所述第一外围设备的所述第一配对示能表示的显示，同时显示世界锁定到所述第二外围设备的所述第二配对示能表示。

36.根据权利要求33所述的方法，还包括：响应于接收到所述第二用户输入，停止显示所述第一配对示能表示。

37.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信；以及

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时，使所述电子设备执行根据权利要求21至36所述的方法中的任一种方法。

38.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有用于与显示设备和一个或多个输入设备通信的接口的电子设备的一个或多个处理器执行时，使所述电子设备执行根据权利要求21至36所述的方法中的任一种方法。

39.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备和一个或多个输入设备进行通信，以及

用于使所述电子设备执行根据权利要求21至36所述的方法中的任一种方法的装置。