CN117980962A - 用于内容应用的设备、方法和图形用户界面 - Google Patents

用于内容应用的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN117980962A
CN117980962A CN202280064220.3A CN202280064220A CN117980962A CN 117980962 A CN117980962 A CN 117980962A CN 202280064220 A CN202280064220 A CN 202280064220A CN 117980962 A CN117980962 A CN 117980962A
Authority
CN
China
Prior art keywords
user interface
user
displaying
dimensional environment
content item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280064220.3A
Other languages
English (en)
Inventor
M·斯陶贝尔
P·波尔舍安
L·S·帕兹米诺
J·R·达斯科拉
I·阿罗拉
A·B·韦尔戈瓦格纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN117980962A publication Critical patent/CN117980962A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一些实施方案中，一种电子设备取决于内容应用的用户界面是处于不包括虚拟照明的模式还是处于包括虚拟照明的模式，在利用或不利用应用于三维环境的虚拟照明效果的情况下在该三维环境中显示该用户界面。在一些实施方案中，一种电子设备响应于检测到该电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示。

Description

用于内容应用的设备、方法和图形用户界面
相关申请的交叉引用
本申请要求2021年9月23日提交的美国临时申请63/261,567号的权益，该美国临时申请的内容全文以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及计算机系统，该计算机系统具有呈现图形用户界面的显示生成组件和一个或多个输入设备，包括但不限于经由显示生成组件呈现图形用户界面(包括用于呈现并浏览内容的用户界面)的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
发明内容
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更高效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触摸板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪组件。在一些实施方案中，计算机系统具有一个或多个手部跟踪组件。在一些实施方案中，除了显示生成组件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息传送、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于导航用户界面的改进方法和界面的电子设备。此类方法和界面可补充或替代用于与图形用户界面进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
在一些实施方案中，一种电子设备取决于内容应用的用户界面是处于不包括虚拟照明的模式还是处于包括虚拟照明的模式，在利用或不利用应用于三维环境的虚拟照明效果的情况下在该三维环境中显示该用户界面。在一些实施方案中，一种电子设备响应于检测到该电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下文的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是例示根据一些实施方案的用于提供XR体验的计算机系统的操作环境的框图。
图2是例示根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是例示根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成组件的框图。
图4是例示根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是例示根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6A是例示根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图6B例示了根据一些实施方案的提供XR体验的电子设备的示例性环境。
图7A至图7H例示了根据一些实施方案的电子设备如何在呈现内容项的同时生成虚拟照明效果的示例。
图8A至图8G是例示根据一些实施方案的取决于内容应用的用户界面是处于不包括虚拟照明的模式还是处于包括虚拟照明的模式，在利用或不利用应用于三维环境的虚拟照明效果的情况下在该三维环境中显示该用户界面的方法的流程图。
图9A至图9F例示了根据一些实施方案的电子设备如何响应于检测到电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示的示例。
图10A至图10O是例示根据一些实施方案的响应于检测到电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的系统、方法和GUI为电子设备提供了呈现与导航用户界面元素中指示的物理位置相对应的内容的改善方式。
在一些实施方案中，计算机系统在三维环境中显示内容应用。在一些实施方案中，在以不包括虚拟照明的模式显示内容应用的同时，电子设备在不利用虚拟照明效果的情况下显示除三维环境的包括内容应用的用户界面的部分之外的三维环境的各部分。在一些实施方案中，在以包括虚拟照明的模式显示内容应用的同时，电子设备利用虚拟照明效果显示除三维环境的包括内容应用的用户界面的部分之外的三维环境的各部分。在一些实施方案中，虚拟照明效果是基于经由内容应用播放的内容项(例如，包括被包括在与内容项相关联的图像中的颜色和/或包括对被包括在内容项中的音频节拍的动画)。在利用或不利用虚拟照明的情况下呈现内容应用用户界面提供了在沉浸式体验与促进与除内容应用程序用户界面之外的对象和用户界面的互动的体验之间转变的高效方式，这通过使用户能够更快且更高效地使用电子设备来附加减少功率使用并延长电子设备的电池寿命。
在一些实施方案中，计算机系统在三维环境中显示包括多个交互式用户界面元素的应用用户界面。在一些实施方案中，在电子设备的用户的相应部分(例如，用户的手部)未处于预定位姿(例如，位置、取向和/或手部形状)的同时，电子设备以第一方式显示交互式元素。在一些实施方案中，在电子设备的用户的相应部分(例如，用户的手部)处于预定位姿(例如，位置、取向和/或手部形状)的同时，电子设备以与第一方式不同的第二方式(诸如在三维环境中的更新后的位置处)显示交互式元素。例如，响应于检测到处于预定义位姿的用户的相应部分，电子设备将交互式用户界面元素移动得更靠近三维环境中的用户的视点。以此方式更新交互式用户界面元素提供了通过指示哪些元素是交互式的并且将交互式元素的定位更新为促进与交互式元素的符合人机工程学的用户交互的定位来促进与用户界面元素的交互的高效方式，这通过使用户能够更快且更高效地使用电子设备并且减少在使用中必须用另外的用户输入校正的错误来附加地减少功率使用并延长电子设备的电池寿命。
图1至图6提供了用于向用户提供XR体验的示例计算机系统的描述(诸如下文关于方法800和1000所描述的)。图7A至图7H例示了根据一些实施方案的电子设备如何在呈现内容项的同时生成虚拟照明效果的示例。图8A至图8G是例示根据一些实施方案的取决于内容应用的用户界面是处于不包括虚拟照明的模式还是处于包括虚拟照明的模式，在利用或不利用应用于三维环境的虚拟照明效果的情况下在该三维环境中显示该用户界面的方法的流程图。图7A至图7H中的用户界面用于例示图8A至图8G中的过程。图9A至图9F例示了根据一些实施方案的电子设备如何响应于检测到电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示的示例。图10A至图10O是例示根据一些实施方案的响应于检测到电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示的方法的流程图。图9A至图9F中的用户界面用于例示图10A至图10O中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性和/或附加的技术。这些技术还通过使用户能够更快且更高效地使用设备而减少了电力使用并延长了设备的电池寿命。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成组件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成组件120集成(例如，在头戴式设备或手持式设备中)。
在描述XR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成XR体验的计算机系统101检测到的输入进行交互，这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实：相比之下，扩展现实(XR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以考虑移动，使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接观看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地观看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象：当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时，即使用户的视点偏移(例如，发生变化)，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的前向方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户的头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成组件(例如，显示屏幕)的实施方案中，用户的视点是在计算机系统的显示生成组件上呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的取向，使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的定位和/或对象的位置和/或取向。在一些实施方案中，计算机系统使用静止的参照系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)，以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中，在表现出惰性跟随行为时，当检测到虚拟对象正在跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如距离视点5cm至300cm之间的点)的移动时，计算机系统有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的该部分或视点)以第一速度移动时，虚拟对象被设备移动以保持锁定到参考点，但以相比于第一速度更慢的第二速度移动(例如，直到参考点停止移动或减慢，在该点处虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动第一量时，参考点与虚拟对象之间的距离增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的定位)，并且当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动大于第一量的第二量时，参考点与虚拟对象之间的距离最初增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的定位)，并且接着随着参考点的移动量增加到阈值(例如，“惰性跟随”阈值)以上而减小，因为虚拟对象被计算机系统移动以保持相对于参考点的固定或基本上固定的定位。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的定位包括虚拟对象在一个或多个维度(例如，相对于参考点的定位的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件：有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的XR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文关于图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与显示生成组件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成组件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成组件120被配置为向用户提供XR体验(例如，至少XR体验的视觉组成部分)。在一些实施方案中，显示生成组件120包括软件、固件和/或硬件的合适组合。下文关于图3更详细地描述了显示生成组件120。在一些实施方案中，控制器110的功能由显示生成组件120提供和/或与该显示生成组件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成组件120向用户提供XR体验。
在一些实施方案中，显示生成组件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成组件120包括被提供用于显示XR内容的一个或多个XR显示器。例如，在各种实施方案中，显示生成组件120包围用户的视场。在一些实施方案中，显示生成组件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成组件120是被配置为呈现XR内容的XR室、壳体或房间，其中用户不穿戴或握持显示生成组件120。参考用于显示XR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对XR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中例示了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例实施方案的更多相关方面，未例示各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管例示了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未例示各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些组件和各种其他组件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统组件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种实施方案中，XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元241被配置为从图1的至少显示生成组件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种实施方案中，数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元242被配置为映射场景105，并且跟踪至少显示生成组件120相对于图1的场景105的定位/位置，以及任选地相对于跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的定位/位置。为此，在各种实施方案中，跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中，手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成组件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文关于图4更详细地描述了手部跟踪单元244。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成组件120显示的XR内容的定位或移动。下文关于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成组件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成组件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成组件120的示例的框图。尽管例示了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未例示各种其他特征。出于该目的，作为非限制性示例，在一些实施方案中，显示生成组件120(例如，HMD)包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些组件和各种其他组件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统组件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中，一个或多个XR显示器312与全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型相对应。在一些实施方案中，一个或多个XR显示器312与衍射、反射、偏振、全息等波导显示器相对应。例如，显示生成组件120(例如，HMD)包括单个XR显示器。在另一示例中，显示生成组件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中，一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在显示生成组件120(例如，HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合设备(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此，在各种实施方案中，XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的，在各种实施方案中，XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR映射生成单元346被配置为基于媒体内容数据生成XR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象以生成扩展现实的物理环境的映射图)。出于所述目的，在各种实施方案中，XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成组件120)上，但应当理解，在其他实施方案中，数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例实施方案的示意性例示。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于物理环境的围绕用户的一部分、相对于显示生成组件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成组件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成组件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应定位能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用，该应用相应地驱动显示生成组件120。例如，用户可以通过移动他的手部406并改变他的手部位姿来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标与由图像传感器测量的z分量相对应。另选地，图像传感器404(例如，手部跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成组件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触摸作为设备(例如，计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手部、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定位姿将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于用户的手部的其他手指或部分的移动执行的用于与XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触摸作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定位姿将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如，在不存在与输入设备的物理接触的情况下，该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息，诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下所述)。因此，在涉及空中手势的具体实施中，例如，输入手势与用户的手指和/或手部的移动组合(例如，同时)检测到朝向用户界面元素的注意力(例如，注视)以执行捏合和/或轻击输入，如下所述。
在一些实施方案中，直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如，根据用用户的手部在与三维环境中的用户界面对象的定位相对应的定位(例如，如基于用户的当前视点所确定的)处执行输入，直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)时，根据在用户执行输入手势的同时用户的手部的定位不在与用户界面对象在三维环境中的定位相对应的定位处，在用户界面对象上间接执行输入手势。例如，对于直接输入手势，用户能够通过在与用户界面对象的显示定位相对应的定位处或附近(例如，从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势，用户能够通过关注用户界面对象(例如，通过注视用户界面对象)来将用户的输入引导至用户界面对象，并且在关注选项的同时，用户发起输入手势(例如，在计算机系统可检测到的任何定位处)(例如，在不与用户界面对象的显示定位相对应的定位处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境交互。例如，下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手部的两个或更多个手指的移动以彼此接触，即，任选地，随后是彼此立即(例如，在0至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手部的两个或更多个手指彼此接触至少阈值时间量(例如，至少1秒)的移动。例如，长捏合手势包括用户保持捏合手势(例如，其中两个或更多个手指进行接触)，并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中，作为空中手势的双捏合手势包括彼此立即(例如，在预定义时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一手部执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，中断两个或更多个手指之间的接触)，并且在释放第一捏合输入之后的预定义时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括与将用户的手部的定位从第一定位(例如，拖动的开始定位)改变到第二定位(例如，拖动的结束定位)的拖动输入结合(例如，跟随)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，打开他们的两个或更多个手指)以结束拖动手势(例如，在第二定位处)。在一些实施方案中，捏合输入和拖动输入由同一手部执行(例如，用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一手部移动到空中的第二定位)。在一些实施方案中，由用户的第一手部执行捏合输入，并且由用户的第二手部执行拖动输入(例如，在用户用用户的第一手部继续捏合输入的同时，用户的第二手部在空中从第一定位移动到第二定位。在一些实施方案中，作为空中手势的输入手势包括使用用户的两只手部执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此结合(例如，同时或在预定义时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一手部执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且结合使用第一手部执行捏合输入，使用另一手部(例如，用户两只手部中的第二手部)执行第二捏合输入。在一些实施方案中，用户两只手部之间的移动(例如，增大和/或减小用户两只手部之间的距离或相对取向)
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手部朝向用户界面元素的移动(任选地，用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)、或用户的手部的其他预定义移动。在一些实施方案中，基于执行手指或手部的轻击手势移动的手指或手部的移动特性来检测作为空中手势执行的轻击输入，该轻击手势移动是手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象，随后是移动的结束。在一些实施方案中，基于执行轻击手势的手指或手部的移动特性的变化来检测移动的结束(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反转和/或手指或手部的移动的加速方向的反转)。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地，不需要其他条件)。在一些实施方案中，基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分，附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分，以便设备确定用户的注意力指向三维环境的该部分，其中如果这些附加条件中的一者未满足，则设备确定注意力未指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如，基于手部是否具有预先确定的手部形状(例如，拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取手势的预捏合形状，或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手部是否处于相对于用户的视点的预先确定的定位中(例如，在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如，朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中，就绪状态被用来确定用户界面的交互式元素是否对注意力(例如，注视)输入做出响应。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或附加地，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器404分开的单元，控制器的处理功能中的一些处理功能或全部处理功能可以由合适的微处理器和软件或由图像传感器404(例如，手部跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成组件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地例示了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，手部骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5例示了眼睛跟踪设备130(图1)的示例实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成组件120显示的XR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成组件120集成。例如，在一些实施方案中，当显示生成组件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成XR内容以供用户观看的组件以及用于跟踪用户相对于XR内容的注视的组件两者。在一些实施方案中，眼睛跟踪设备130与显示生成组件120分开。例如，当显示生成组件是手持式设备或XR室时，眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成组件或不是头戴式的显示生成组件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成组件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成组件的一部分。
在一些实施方案中，显示生成组件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成组件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成组件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成组件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成组件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，眼睛跟踪设备130(例如，注视跟踪设备)包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分中所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分中所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用中的另一个示例使用案例，控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所例示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6A例示了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所例示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6A中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素610前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则在元素660处，跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6A旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供XR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在一些实施方案中，真实世界环境602的捕获的部分用于向用户提供XR体验，例如一个或多个虚拟对象叠加在真实世界环境602的表示上方的混合现实环境。
图6B例示了根据一些实施方案的提供XR体验的电子设备101的示例性环境。在图6B中，真实世界环境602包括电子设备101、用户608和真实世界对象(例如，桌子604)。如图6B中所示，电子设备101任选地安装在三脚架上或以其他方式固定在真实世界环境602中，使得用户608的一只或多只手空闲(例如，用户608任选地未用一只或多只手握持设备101)。如上所述，设备101任选地具有定位在设备101的不同侧面上的一组或多组传感器。例如，设备101任选地包括传感器组612-1和传感器组612-2，它们分别位于设备101的“后”侧和“前”侧上(例如，它们能够从设备101的相应侧面捕获信息)。如本文所用，设备101的前侧是面向用户608的侧面，并且设备101的后侧是背对用户608的侧面。
在一些实施方案中，传感器组612-2包括眼睛跟踪单元(例如，上文参考图2所述的眼睛跟踪单元245)，该眼睛跟踪单元包括用于跟踪用户的眼睛和/或注视的一个或多个传感器，使得眼睛跟踪单元能够“看”向用户608并且以先前所述的方式跟踪用户608的眼睛。在一些实施方案中，设备101的眼睛跟踪单元能够捕获用户608的眼睛的移动、取向和/或注视并且将所述移动、取向和/或注视看作输入。
在一些实施方案中，传感器组612-1包括手部跟踪单元(例如，上文参考图2所述的手部跟踪单元243)，该手部跟踪单元能够跟踪保持在设备101的“后”侧上的用户608的一只或多只手，如图6B中所示。在一些实施方案中，手部跟踪单元任选地被包括在传感器组612-2中，使得在设备101跟踪一只或多只手的定位时用户608能够附加地或另选地将一只或多只手保持在设备101的“前”侧上。如上所述，设备101的手部跟踪单元能够捕获用户608的一只或多只手的移动、定位和/或手势并且将所述移动、定位和/或手势看作输入。
在一些实施方案中，传感器组612-1任选地包括一个或多个传感器，该一个或多个传感器被配置为捕获包括桌子604的真实世界环境602的图像(例如，诸如上文参考图4所述的图像传感器404)。如上所述，设备101能够捕获真实世界环境602的部分(例如，一些或全部)的图像并且经由设备101的一个或多个显示生成组件(例如，设备101的显示器，该显示器任选地位于设备101的面向用户的侧面上，与设备101的面向真实世界环境602的捕获的部分的侧面相对)向用户呈现真实世界环境602的捕获的部分。
在一些实施方案中，真实世界环境602的捕获的部分用于向用户提供XR体验，例如一个或多个虚拟对象叠加在真实世界环境602的表示上方的混合现实环境。
因此，本文的描述描述了包括真实世界对象的表示和虚拟对象的表示的三维环境(例如，XR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由计算机系统的相机和显示器主动地显示或者经由计算机系统的透明或半透明显示器被动地显示)。如先前所述，三维环境任选地是混合现实系统，其中三维环境基于由计算机系统的一个或多个传感器捕获并经由显示生成组件显示的物理环境。作为混合现实系统，该计算机系统任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来好像它们存在于由计算机系统显示的三维环境中一样。类似地，该计算机系统任选地能够通过将虚拟对象放置在三维环境中在现实世界中具有对应位置的相应位置处来在三维环境中显示虚拟对象以看起来好像虚拟对象存在于现实世界(例如，物理环境)中一样。例如，该计算机系统任选地显示花瓶，使得该花瓶看起来好像现实的花瓶被放置在物理环境中的桌子的顶部上一样。在一些实施方案中，三维环境中的相应位置在物理环境中具有对应位置。因此，当计算机系统被描述为在相对于物理对象的相应位置(例如，诸如在用户的手部处或附近的位置或在物理桌子处或附近的位置)处显示虚拟对象时，计算机系统在三维环境中的特定位置处显示虚拟对象，使得看起来好像虚拟对象在物理环境中的物理对象处或附近一样(例如，虚拟对象显示在三维环境中的与物理环境中如果该虚拟对象是该特定位置处的现实对象则将显示该虚拟对象的位置相对应的位置处)。
在一些实施方案中，在三维环境中显示的(例如，和/或经由显示生成组件可见的)存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子的顶部上的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或两只手与三维环境中的虚拟对象交互，好像虚拟对象是物理环境中的真实对象一样。例如，如上所述，计算机系统的一个或多个传感器任选地捕获用户的一只或多只手并且在三维环境中显示用户的手部的表示(例如，以类似于在上文所述的三维环境中显示现实世界对象的方式)，或者在一些实施方案中，由于显示生成组件的正显示用户界面的一部分的透明度/半透明度，或由于用户界面到透明/半透明表面上的投影或用户界面到用户的眼睛上或到用户的眼睛的视场中的投影，经由显示生成组件、经由通过用户界面看见物理环境的能力可看到用户的手部。因此，在一些实施方案中，用户的手部在三维环境中的相应位置处显示并且被视为好像它们是三维环境中的对象一样，这些对象能够与三维环境中的虚拟对象交互，好像这些虚拟对象是物理环境中的物理对象一样。在一些实施方案中，计算机系统能够结合用户的手部在物理环境中的移动来更新用户的手部在三维环境中的表示的显示。
在下文所述的实施方案中的一些实施方案中，计算机系统任选地能够确定物理世界中的物理对象和三维环境中的虚拟对象之间的“有效”距离，例如，以用于确定物理对象是否正与虚拟对象直接交互(例如，手部是否正触摸、抓取、握持等虚拟对象或处于虚拟对象的阈值距离内)。例如，与虚拟对象直接交互的手部任选地包括以下中的一者或多者：手部的按压虚拟按钮的手指、用户的抓取虚拟花瓶的手部、用户的手部的合在一起并捏合/保持应用的用户界面以及进行本文所述的任何其他类型的交互的两个手指。例如，当确定用户是否正与虚拟对象交互并且/或者用户正如何与虚拟对象交互时，计算机系统任选地确定用户的手部和虚拟对象之间的距离。在一些实施方案中，计算机系统通过确定手部在三维环境中的位置和感兴趣虚拟对象在三维环境中的位置之间的距离来确定用户的手部和虚拟对象之间的距离。例如，用户的该一只或多只手位于物理世界中的特定定位处，计算机系统任选地捕获该一只或多只手并且在三维环境中的特定对应定位(例如，如果手是虚拟手而不是物理手，则该手将在三维环境中被显示的定位)处显示该一只或多只手。任选地将手在三维环境中的定位与感兴趣虚拟对象在三维环境中的定位进行比较，以确定用户的该一只或多只手和虚拟对象之间的距离。在一些实施方案中，计算机系统任选地通过比较物理世界中的定位(例如，而不是比较三维环境中的定位)来确定物理对象和虚拟对象之间的距离。例如，当确定用户的一只或多只手和虚拟对象之间的距离时，计算机系统任选地确定虚拟对象在物理世界中的对应位置(例如，如果该虚拟对象是物理对象而不是虚拟对象，则该虚拟对象将在物理世界中位于的定位)，然后确定对应物理定位和用户的该一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或者物理对象是否处于虚拟对象的阈值距离内时，计算机系统任选地执行上文所述的技术中的任一种技术来将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理环境。
在一些实施方案中，使用相同或类似的技术来确定用户的注视指向何处和何物，以及/或者由用户握持的物理触笔指向何处和何物处。例如，如果用户的注视指向物理环境中的特定定位，则计算机系统任选地确定三维环境中的对应定位(例如，注视的虚拟定位)，并且如果虚拟对象位于该对应虚拟定位处，则计算机系统任选地确定用户的注视指向该虚拟对象。类似地，该计算机系统任选地能够基于物理触笔的取向来确定该触笔在物理环境中指向的方向。在一些实施方案中，基于该确定，计算机系统确定三维环境中的与物理环境中触笔指向的位置相对应的对应虚拟定位，并且任选地确定触笔指向三维环境中的对应虚拟定位处。
类似地，本文所述的实施方案可指用户(例如，计算机系统的用户)在三维环境中的位置和/或计算机系统在三维环境中的位置。在一些实施方案中，计算机系统的用户正握持、穿戴或以其他方式位于计算机系统处或附近。因此，在一些实施方案中，计算机系统的位置用作用户的位置的代理。在一些实施方案中，计算机系统和/或用户在物理环境中的位置与三维环境中的相应位置相对应。例如，计算机系统的位置将是在物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在该位置，面向经由显示生成组件可见的物理环境的相应部分，则用户将从该位置看到物理环境中处于与对象由计算机系统的显示生成组件在三维环境中显示或经由该显示生成组件在三维环境中可见的对象相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此)的这些对象。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与这些虚拟对象在三维环境中的位置相同的位置处的物理对象，以及在物理环境中具有与在三维环境中时相同的大小和取向的物理对象)，则计算机系统和/或用户的位置是用户将从该位置看到物理环境中处于与由计算机系统的显示生成组件在三维环境中显示的虚拟对象相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此和现实世界对象)的这些虚拟对象的定位。
在本公开中，关于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与关于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，关于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与关于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，关于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与关于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成组件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7H例示了根据一些实施方案的电子设备如何在呈现内容项的同时生成虚拟照明效果的示例。
图7A例示了电子设备101经由显示生成组件120显示三维环境702。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101在二维环境中利用参考图7A至图7H所描述的一种或多种技术。如上参考图1至图6所述，电子设备101任选地包括显示生成组件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成组件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成组件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
在一些实施方案中，电子设备101在三维环境702中显示内容(例如，流传输、递送、回放、浏览、库、共享等)应用的用户界面。在一些实施方案中，内容应用包括迷你播放器用户界面和扩展用户界面。在一些实施方案中，迷你播放器用户界面包括回放控制元素，响应于指向该回放控制元素的用户输入，该回放控制元素使得电子设备101修改经由内容应用播放的内容项的回放，以及与当前经由内容应用播放的内容项相关联的插图(artwork)(例如，专辑插图)。在一些实施方案中，扩展用户界面包括比迷你播放器用户界面更大数量的用户界面元素(例如，诸如窗口、转盘(platter)或背板的容器；可选择选项、内容等)。在一些实施方案中，扩展用户界面包括导航元素、内容浏览元素和回放元素。在一些实施方案中，迷你播放器用户界面包括呈现在三维环境的在内容应用用户界面之外的区域中的虚拟照明效果，该虚拟照明效果未被包括在扩展用户界面元素中。下文参考图7A至图7H并进一步参考下文的方法1000更详细地描述迷你播放器用户界面和扩展用户界面。
在图7A中，电子设备101呈现包括虚拟对象以及真实对象的表示的三维环境702。例如，虚拟对象包括用于除内容应用之外的第一应用的用户界面703，以及内容应用的迷你播放器用户界面704。在一些实施方案中，迷你播放器用户界面704包括与当前经由内容应用播放的内容项相关联的图像(例如，专辑插图)。
在一些实施方案中，当电子设备101未检测到指向迷你播放器用户界面704的就绪状态时，迷你播放器用户界面704不包括用于控制内容项的回放的一个或多个可选择选项。例如，图7A包括处于手部状态A的用户的手部703a的例示，该手部状态与不对应于就绪状态或输入的手部形状、位姿、位置等(诸如用户的手部靠近用户的膝盖或躯干或处于不对应于就绪状态的手部形状，这将在下文描述)相对应。在一些实施方案中，电子设备101能够检测到间接就绪状态、直接就绪状态、空中手势就绪状态和/或输入设备就绪状态。在一些实施方案中，检测到间接就绪状态包括在手部703a在迷你播放器用户界面704的预定义阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米或30厘米)内的同时，(例如，经由输入设备314中的一者或多者)检测到处于就绪状态位姿(诸如拇指在手部的另一手指的阈值距离(例如，0.5厘米、1厘米、2厘米、3厘米、4厘米或5厘米)内但未接触该另一手指的预捏合手势，或一个或多个手指伸展且一个或多个手指朝向手掌卷曲的指向手部形状)的用户的手部703a。在一些实施方案中，检测到间接就绪状态包括在(例如，经由输入设备314中的一者或多者)检测到指向迷你播放器用户界面704的用户的注视的同时，(例如，经由输入设备314中的一者或多者)检测到处于就绪状态位姿(诸如预捏合手部形状)的用户的手部703a。在一些实施方案中，检测到空中手势就绪状态包括在(例如，经由输入设备314中的一者或多者)检测到指向迷你播放器用户界面704的用户的注视的同时，(例如，经由输入设备314中的一者或多者)检测到处于就绪状态位姿(诸如在经由显示生成组件120显示的输入元素的阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米或30厘米)内的指向手部形状)的手部703a。在一些实施方案中，检测到输入设备就绪状态包括任选地在由输入设备控制的光标与迷你播放器用户界面704的位置相对应的同时，或者任选地在(例如，经由输入设备314中的一者或多者)检测到指向迷你播放器用户界面704的用户的注视的同时，检测到邻近与电子设备101通信的机械输入设备(例如，触笔、触控板、鼠标、键盘等)但未向该机械输入设备提供输入的用户的预定义部分(例如，用户的手部703a)。如以下将参考图7C更详细地描述的，响应于检测到就绪状态或检测到用户提供指向迷你播放器用户界面的输入，电子设备101显示多个可选择选项，该多个可选择选项在被选择时使得电子设备101经由内容应用修改内容项的回放。
再次参考图7A，在一些实施方案中，用户界面703与除内容应用之外的应用或与电子设备101的操作系统相关联。作为另一示例，真实对象的表示包括电子设备101的物理环境中的地板的表示706和电子设备101的物理环境中的墙壁的表示708。在一些实施方案中，真实对象的表示经由显示生成组件120显示(例如，虚拟透传或视频透传)，或者是透过显示生成组件120的透明部分的真实对象的视图(例如，真实透传)。在一些实施方案中，电子设备101的物理环境还包括桌子712和沙发710。在图7A中，桌子712和沙发710的表示未由设备101显示，因为这些对象当前在由电子设备101呈现的三维环境702的视场之外。
在一些实施方案中，在电子设备101的视场中的三维环境702中的一定位置处显示内容应用的迷你播放器用户界面704。在一些实施方案中，响应于检测到三维环境702中的用户的视点的移动(这使得电子设备101更新视场)，电子设备101更新迷你播放器用户界面704的定位以保持在电子设备101的视场中。在一些实施方案中，电子设备101自动更新迷你播放器用户界面704的位置，而无需请求电子设备101更新迷你播放器用户界面704的定位的进一步输入(例如，除用户自身的视点的移动之外)。在一些实施方案中，电子设备101响应于检测到电子设备101(例如，和/或显示生成组件120)的移动(诸如如图7A中所示将设备101向右移动或旋转)而更新用户的视点和迷你播放器用户界面704在三维环境702中的定位。在一些实施方案中，电子设备101响应于检测到用户的相应部分(例如，用户的头部、用户的躯干等)相对于电子设备101(例如，和/或显示生成组件120)和/或相对于电子设备101(例如，和/或显示生成组件)的物理环境的移动而更新用户的视点和迷你播放器用户界面704在三维环境702中的定位。例如，响应于如图7A中所示的电子设备101的移动或用户的一部分的移动，电子设备101更新如图7B中所示的三维环境702。
图7B例示了电子设备101如何响应于检测到使得电子设备101更新三维环境702中的用户的视点和电子设备101的视场的电子设备101的移动而更新三维环境702的示例。在一些实施方案中，电子设备101更新迷你播放器用户界面704在三维环境702中的位置，使得电子设备101继续显示迷你播放器用户界面704，但迷你播放器用户界面704的先前位置不再在电子设备101的视场中。在一些实施方案中，更新电子设备101的视场和用户的视点还使得电子设备101显示电子设备101的物理环境中的桌子712和沙发710的表示，因为这些对象现在在电子设备101的视场中。在一些实施方案中，更新电子设备101的视场和用户的视点还使得电子设备101停止显示用户界面703，因为电子设备101不在未接收到请求电子设备101更新用户界面703在三维环境702中的定位的输入的情况下响应于电子设备101的移动而更新用户界面703的定位。如图7B中所示，电子设备101继续检测到处于手部状态A的用户的手部703a，从而与未检测到就绪状态或输入相对应，因此迷你播放器用户界面704继续包括与内容项相关联的图像而不包括一个或多个用户界面元素，响应于指向用户界面元素中的一个用户界面元素的输入，该一个或多个用户界面元素使得电子设备101修改当前经由内容应用播放的内容项的回放。
图7C例示了电子设备101如何响应于检测到用户提供指向迷你播放器用户界面704的输入而更新迷你播放器用户界面704的示例。在一些实施方案中，电子设备101响应于检测到用户的上述就绪状态而更新迷你播放器用户界面704。更新迷你播放器用户界面704任选地包括：使与当前经由内容应用播放的内容项相关联的图像模糊和/或淡化；增大迷你播放器用户界面704的半透明度，使得桌子的表示712通过迷你播放器用户界面704部分地可见；以及显示对内容项的标题和艺术家的指示718a以及用于修改覆盖在图像上的内容项的回放的多个用户界面元素718b-718h。
在一些实施方案中，响应于检测到指向用户界面元素718b-718h中的一者的输入，电子设备101修改当前经由内容应用播放的内容项的回放。在一些实施方案中，响应于检测到对用户界面元素718b的选择，电子设备101在内容项回放队列中跳回以重新开始当前播放的内容项或播放内容项回放队列中的前一项。在一些实施方案中，响应于检测到对用户界面元素718c的选择，电子设备101暂停内容项，并且将用户界面元素718c更新为在被选择时使得电子设备101恢复内容项的回放的用户界面元素。在一些实施方案中，响应于检测到对用户界面元素718d的选择，电子设备101停止当前播放的内容项的回放，并且发起内容项回放队列中的下一内容项的回放。在一些实施方案中，响应于检测到对用户界面元素718e的选择，电子设备101停止迷你播放器用户界面704的显示，并且显示扩展用户界面，该扩展用户界面将参考图7F至图7H并且在下文参考方法1000更详细地描述。在一些实施方案中，响应于检测到对用户界面元素718f的选择，电子设备101显示当前播放的内容项的时间同步歌词，如图7D中所例示。在一些实施方案中，响应于检测到对用户界面元素718g的选择，电子设备101呈现与当前在电子设备101上播放的内容项相关联的虚拟照明效果，如参考图7D至图7E更详细地描述的。在一些实施方案中，响应于检测到对用户界面元素718h的选择，电子设备101呈现用于调整内容项的音频内容的回放音量的另一用户界面元素并且/或者呈现用于修改音频内容的回放的音频输出选项的菜单。
在一些实施方案中，电子设备101通过检测到间接选择输入、直接选择输入、空中手势选择输入或输入设备选择输入来检测到对用户界面元素718b-h中的一者的选择。在一些实施方案中，检测到选择输入包括首先检测到与正被检测到的选择输入的类型相对应的就绪状态(例如，在检测到间接选择输入之前检测到间接就绪状态，在检测到直接选择输入之前检测到直接就绪状态)。在一些实施方案中，检测到间接选择输入包括经由输入设备314检测到指向相应用户界面元素的用户的注视，同时检测到用户的手部做出选择手势，诸如用户将其拇指与手部的另一手指接触的捏合手手势。在一些实施方案中，检测到直接选择输入包括经由输入设备314检测到用户的手部做出选择手势，诸如在相应用户界面元素的位置的预定义阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米或30厘米)内的捏合手势，或用户的手部在呈指向手部形状的同时“按压”到相应用户界面元素的位置中的按压手势。在一些实施方案中，检测到空中手势输入包括在检测到经由显示生成组件120在三维环境702中显示的空中手势用户界面元素的位置中的按压手势的同时检测到指向相应用户界面元素的用户的注视。在一些实施方案中，检测到输入设备选择包括在由输入设备控制的光标与相应用户界面元素的位置相关联时和/或在用户的注视指向相应用户界面元素时检测到以与对用户界面元素的选择对应的预定义方式操纵机械输入设备(例如，触笔、鼠标、键盘、触控板等)。
如图7C中所示，电子设备101检测到对在被选择时使得电子设备101呈现与内容项相关联的时间同步歌词的可选择选项718f的选择，以及/或者对在被选择时使得电子设备101显示与内容项相关联的虚拟照明效果的可选择选项718g的选择。例如，电子设备101检测到对选项718f的间接选择，包括在检测到用户的手部703b做出选择手势(例如，手部状态B)的同时检测到指向选项718f的用户的注视713a，以及/或者对选项718g的间接选择，包括在检测到用户的手部703b做出选择手势(例如，手部状态B)的同时检测到指向选项718g的用户的注视713b。应当理解，尽管图7C例示了对选项718f和718g两者的选择，但是在一些实施方案中，在不同时间而不是同时检测到输入。此外，尽管图7C例示了电子设备101在检测到对选项718f和718g的选择的同时更新迷你播放器用户界面704，但是在一些实施方案中，电子设备101响应于检测到就绪状态而更新迷你播放器用户界面704(例如，并且在检测到选择输入之前已经显示可选择选项718b-h，而不是响应于选择输入而显示可选择选项718b-h)。
在一些实施方案中，响应于检测到对如图7C中所示的歌词选项718f的选择，电子设备101更新三维环境702以包括与内容项相关联的时间同步歌词，如图7D中所示。在一些实施方案中，响应于检测到对如图718g中所示的虚拟照明选项718g的选择，电子设备101更新三维环境702以包括与当前经由内容应用播放的内容项相关联的一个或多个虚拟照明效果。
图7D例示了电子设备101响应于上文参考图7C所描述的用户输入而更新三维环境702的示例。响应于图7C中所例示的选择歌词选项718f的输入，电子设备101在三维环境702中显示与内容项相关联的时间同步歌词720。响应于图7C中所例示的选择虚拟照明选项718g的输入，电子设备101更新三维环境702以包括与内容项相关联的虚拟照明效果。在一些实施方案中，电子设备101在未接收到对显示歌词的输入的情况下检测到对显示虚拟照明效果的输入，并且作为响应，显示虚拟照明效果而不显示歌词720。在一些实施方案中，电子设备101在未接收到对显示虚拟照明效果的输入的情况下检测到对显示歌词的输入，并且作为响应，显示歌词720而不显示虚拟照明效果。
在一些实施方案中，时间同步歌词720是与当前经由电子设备101的内容应用播放的内容项相关联的歌词。电子设备101任选地经由内容应用呈现歌词720的与当前在电子设备101上播放的内容项的部分相对应的一部分，并且根据内容项的持续回放来更新歌词720的该部分。在一些实施方案中，歌词720包括与当前播放的内容项的部分相对应的一行歌词、与内容项的在当前播放的内容项的部分之前的一部分相对应的一行或多行歌词，和/或与内容项的将在当前播放的内容项的部分之后播放的一部分相对应的一行或多行歌词。如图7D中所示，在三维环境702中的迷你播放器用户界面元素704的边界之外显示歌词720。在一些实施方案中，邻近迷你播放器用户界面704(例如，在该迷你播放器用户界面的1厘米、2厘米、3厘米、5厘米、10厘米、15厘米、20厘米、30厘米或50厘米或1米、2米、3米或5米内)显示歌词720。在一些实施方案中，在迷你播放器用户界面704的左方或右方显示歌词720。在一些实施方案中，在与迷你播放器用户界面704距用户的视点相同的z深度(例如，距离)处显示歌词720。
在一些实施方案中，在图7D中，电子设备101响应于检测到对图7C中所例示的虚拟照明效果选项718g的选择而利用与内容项相关联的一个或多个虚拟照明效果显示三维环境702。在一些实施方案中，电子设备101在检测到选择照明效果选项718g的输入之前不利用虚拟照明效果显示三维环境702。例如，在图7C中，电子设备101在不利用照明效果的情况下显示三维环境702。
在一些实施方案中，虚拟照明效果包括改变被包括在迷你播放器用户界面704中的模拟三维材料的颜色。例如，迷你播放器用户界面704(例如，在与当前经由内容应用播放的内容项相对应的图像周围或旁边)包括虚拟玻璃并且/或者由虚拟玻璃构成。在一些实施方案中，在电子设备101正在不利用虚拟照明效果的情况下显示三维环境702的同时，诸如在图7C中，虚拟玻璃是至少部分地半透明的，并且包括三维环境702的与邻近迷你播放器用户界面704的各部分和/或在该各部分后方的区域相对应的颜色。在一些实施方案中，在利用虚拟照明效果显示三维环境702的同时，诸如在图7D中，虚拟玻璃包括对应于与当前经由内容应用播放的内容项相关联的图像的颜色。在一些实施方案中，利用虚拟照明效果显示虚拟玻璃包括利用对应于与当前经由内容应用播放的内容项相关联的图像的颜色和与三维环境702的邻近迷你播放器用户界面704的各部分和/或在该各部分后方的区域相对应的颜色两者显示虚拟玻璃。例如，虚拟玻璃看起来好像三维环境702的各部分和/或照明效果722a和722b是穿过虚拟玻璃可见的并且/或者从虚拟玻璃反射。
在一些实施方案中，虚拟照明效果722a和/或722b包括在三维环境702中的表面上显示的虚拟光溢出。在一些实施方案中，虚拟光溢出模拟从迷你播放器用户界面704发出的光，该光包括对应于与当前播放的内容项相关联的图像的颜色。在一些实施方案中，虚拟光溢出以与当前经由内容应用播放的内容项的音频内容的节拍相对应的方式被动画化(例如，闪烁、改变强度和/或颜色)。在一些实施方案中，虚拟照明效果722a和722b两者都包括虚拟光溢出。在一些实施方案中，虚拟照明效果722b包括虚拟光溢出并且虚拟照明效果722a不包括虚拟光溢出，因为虚拟照明效果722a比与来自迷你播放器用户界面704的虚拟光溢出相关联的阈值距离(例如，1米、2米、3米、5米或10米)远，并且虚拟照明效果722b在与来自迷你播放器用户界面704的虚拟光溢出相关联的阈值距离内。如图7D中所示，在一些实施方案中，电子设备101在三维环境702中的真实表面的表示上显示虚拟光溢出。在一些实施方案中，电子设备101还在三维环境702中的虚拟对象(例如，其他应用的用户界面、用户的表示等)上显示虚拟光溢出。在一些实施方案中，显示虚拟照明效果包括调暗和/或模糊三维环境702的不包括迷你播放器用户界面704和/或照明效果722a和722b的各部分。
在一些实施方案中，虚拟照明效果722a和722a包括虚拟光展示(virtual lightshow)，该虚拟光展示包括与内容项相对应的颜色和/或动画。例如，被包括在虚拟光展示中的光对应于与当前经由内容应用播放的内容项相关联的图像。作为另一示例，被包括在虚拟光展示中的光基于经由内容应用播放的内容项的音频内容的节拍来移动、闪烁和/或改变强度和颜色。如图7D中所示，在一些实施方案中，电子设备101在三维环境702中的真实表面的表示上显示虚拟光展示。在一些实施方案中，电子设备101还在三维环境702中的虚拟对象(例如，其他应用的用户界面、用户的表示等)上显示虚拟光展示。在一些实施方案中，在三维环境702中的各表面上显示虚拟光展示，而不管表面距迷你播放器用户界面704的距离如何。在一些实施方案中，在三维环境702中在与迷你播放器用户界面704的虚拟光展示相关联的阈值距离(例如，1米、2米、3米、5米或10米)内的表面上显示虚拟光展示，该阈值距离大于与上述虚拟光溢出相关联的阈值距离。例如，虚拟光展示被包括在虚拟照明效果722a和722b中，但是虚拟光溢出被包括在虚拟照明效果722b中而不是虚拟照明效果722a中(例如，虚拟照明效果722b比虚拟照明效果722a距迷你播放器用户界面704更靠近迷你播放器用户界面704)。在一些实施方案中，在三维环境中的不同表面上不同地显示虚拟光展示。例如，被包括在虚拟照明效果722a中的虚拟光展示的一个或多个颜色、动画、强度、大小等与被包括在虚拟照明效果722b中的虚拟光展示的一个或多个颜色、动画、强度、大小等不同。
在一些实施方案中，取决于三维环境702的大小，在三维环境702中不同地显示虚拟光展示。例如，图7D例示了房间中的包括虚拟光展示的虚拟照明效果722a和722b，并且图7E例示了走廊中的虚拟照明效果722c、722d和722e。在一些实施方案中，虚拟照明效果722c-722e包括与虚拟照明效果722a和722b不同的虚拟光展示效果，因为例如图7E中的走廊是比图7D中的房间小的空间。在一些实施方案中，因为图7E中的走廊的墙壁比图7D中的房间中的墙壁更靠近迷你播放器用户界面704，所以被包括在图7E中的虚拟照明效果722c和722e中的虚拟光展示的强度、大小、颜色、动画等中的一者或多者与被包括在图7D中的虚拟照明效果722b中的虚拟光展示的强度、大小、颜色、动画等中的一者或多者不同。
图7E还例示了在一些实施方案中，虚拟照明效果722a-e如何包括基于与被包括在迷你播放器用户界面704中的当前播放内容项相关联的图像的颜色。例如，图7E中的迷你播放器用户界面704包括与被包括在图7D中的迷你播放器用户界面704中的图像不同的图像，因为迷你播放器用户界面704包括与不同内容项相关联的图像(例如，专辑插图)。在一些实施方案中，因为图7D和图7E中的图像不同，所以图7D中的照明效果722a和722b的颜色和/或其他视觉特性与图7E中的照明效果722c-e的颜色(例如，和动画等)和/或其他视觉特性不同。
在一些实施方案中，用户将自身和电子设备101(例如，和/或显示生成组件120)从图7D中所例示的房间移动到图7E中所例示的走廊。在一些实施方案中，响应于以此方式检测到电子设备101(例如，和/或显示生成组件120)和/或用户的移动，电子设备101在未接收到与对更新迷你播放器用户界面704在三维环境702中的定位的请求相对应的输入的情况下在图7E中所示的位置处自动显示迷你播放器704用户界面，因为迷你播放器用户界面704“跟随”三维环境702中的用户。图7E中的迷你播放器用户界面704不包括用于修改当前经由内容应用播放的内容项的回放的一个或多个选项，因为用户的手部703a不与就绪状态或选择输入相对应，如上所述。
图7F例示了电子设备101在三维环境702中显示内容应用的扩展用户界面(包括导航元素724、内容浏览元素726和内容回放元素728)的示例。在一些实施方案中，电子设备101响应于检测到对图7C中所例示的选项718e的选择而显示内容应用的扩展用户界面。下文将参考方法1000更详细地描述内容应用的扩展用户界面的元素。参考图7F至图7H描述了迷你播放器用户界面704的表示与扩展用户界面之间的某些差异。
在一些实施方案中，显示内容应用的扩展用户界面包括在不利用上文参考图7D至图7E所描述的虚拟照明效果的情况下显示三维环境702，该虚拟照明效果在电子设备显示迷你播放器用户界面704的同时被显示。在一些实施方案中，在不具有与对更新扩展用户界面在三维环境702中的定位的请求相对应的附加输入的情况下，电子设备101不响应于电子设备101(例如，和/或显示生成组件120)和/或用户的移动而更新内容应用的扩展用户界面在三维环境702中的位置。例如，图7F例示了用户在物理环境中移动电子设备101和显示生成组件120，并且图7G例示了响应于该移动的三维环境702的更新后的显示。
如图7G中所示，响应于图7F中所例示的电子设备101和显示生成组件120的移动，电子设备101放弃更新内容应用的扩展用户界面的导航元素724、内容浏览元素726和内容回放元素728的定位。在一些实施方案中，在不存在与对更新扩展内容用户界面在三维环境702中的定位的请求相对应的用户输入的情况下，内容应用的扩展用户界面相对于三维环境702保持在固定位置处。因此，例如，导航元素724、内容浏览元素726和内容回放元素728的位置响应于图7F中所例示的移动而相对于用户的视点和电子设备101的视场偏移，这与“跟随”用户(如迷你播放器用户界面704的情况)不同。
作为另一示例，在图7H中，用户将自身和电子设备101(例如，和/或显示生成组件120)移动到走廊。在图7H中，例如，电子设备101放弃内容应用的扩展用户界面的显示，因为电子设备101未检测到与对更新扩展用户界面在三维环境702中的位置的请求相对应的输入。相比之下，如上文参考图7E所描述，在不具有与对将三维环境702中的定位更新到走廊的请求相对应的附加输入的情况下，电子设备101响应于用户将自身和电子设备101(例如，和显示生成组件120)移动到走廊而更新要在走廊中显示的迷你播放器用户界面704在三维环境702中的定位。
在一些实施方案中，如果在图7G或图7H中，电子设备101检测到与对更新内容应用的扩展用户界面的定位的请求相对应的输入，则电子设备101将根据该输入更新内容应用的扩展用户界面在三维环境702中的定位。例如，响应于与针对电子设备101为扩展内容用户界面自动选择三维环境702中的新定位的请求相对应的输入，电子设备101将把扩展用户界面的定位更新到基于一个或多个准则(例如，用于在电子设备的视场内、在用户的阈值距离内、在不阻挡用户对其他虚拟对象的观看等的情况下显示用户界面的准则)自动选择的位置。作为另一示例，响应于与对根据输入的移动度量来移动扩展用户界面的请求相对应的输入，电子设备101根据输入的移动度量来更新扩展用户界面的位置。例如，响应于对发起根据输入的移动分量(例如，用户的手部的移动)来移动扩展用户界面的过程的元素的选择，电子设备101根据在检测到对元素的选择之后检测到的输入的移动分量来更新扩展用户界面的定位。
关于图7A至图7H中所例示的实施方案的附加或另选细节提供于下文参考图8A至图8G所描述的方法800的描述中。
图8A至图8G是例示根据一些实施方案的取决于内容应用的用户界面是处于不包括虚拟照明的模式还是处于包括虚拟照明的模式，在利用或不利用应用于三维环境的虚拟照明效果的情况下在该三维环境中显示该用户界面的方法的流程图。在一些实施方案中，方法800在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成组件(例如，图1、图3和图4中的显示生成组件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法800在与显示生成组件和一个或多个输入设备通信的电子设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)处执行。在一些实施方案中，显示生成组件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件组件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图7A中，在以第一呈现模式呈现(例如，视觉呈现、音频呈现等)内容项时，电子设备(例如，101)经由显示生成组件(例如，120)在三维环境(例如，702)中显示(802a)与内容项相关联的应用的用户界面(例如，704)(例如，诸如参考方法1000所描述的应用的用户界面)。在一些实施方案中，在以第一呈现模式呈现内容项的同时在三维环境中显示应用的用户界面包括在不利用基于(例如，将响应于接收到与对从第一呈现模式转变为第二运输模式的请求相对应的输入而被显示的)内容项的相应虚拟照明效果的情况下显示三维环境。在一些实施方案中，内容项包括音频内容，诸如音乐、播客或有声读物。在一些实施方案中，内容项包括视频内容，诸如电影、视频剪辑或一系列剧集内容中的剧集。在一些实施方案中，与内容项相关联的应用的用户界面包括与内容项相关联的图像(例如，专辑插图)、用于修改内容项的回放(例如，播放/暂停、向前跳、向后跳)的一个或多个可选择选项，以及用于修改内容项的呈现模式的一个或多个选项。在一些实施方案中，与内容项相关联的应用是内容(例如，浏览、流传输、回放、库、共享)应用。在一些实施方案中，三维环境包括虚拟对象，诸如应用窗口、操作系统元素、其他用户的表示，和/或内容项，和/或电子设备的物理环境中的物理对象或区域的表示。在一些实施方案中，经由显示生成组件(例如，虚拟透传或视频透传)在三维环境中显示物理对象或区域的表示。在一些实施方案中，物理对象或区域的表示是电子设备的物理环境中的透过显示生成组件的透明部分可见的物理对象或区域的视图(例如，真透传或真实透传)。在一些实施方案中，电子设备在三维环境中与电子设备的物理位置和/或用户在电子设备的物理环境中的物理位置相对应的位置处从用户的视点显示三维环境。在一些实施方案中，三维环境被生成为、被显示为或以其他方式使得能够通过设备观看(例如，计算机生成的现实(XR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)。在一些实施方案中，以第一模式呈现内容项包括在不应用基于内容项的照明效果的情况下呈现内容项，如下文将更详细描述的。
在一些实施方案中，诸如在图7C中，当在以第一呈现模式呈现内容项的同时在三维环境(例如，702)中显示应用(例如，704)的用户界面时，电子设备(例如，101a)经由一个或多个输入设备接收(802b)(例如，经由注视713b和手部703b的)输入，该输入与对从以第一呈现模式呈现内容项转变为以与第一呈现模式不同的第二呈现模式呈现内容项的请求相对应。在一些实施方案中，检测到与对从以第一呈现模式呈现内容项转变为以第二呈现模式呈现内容项的请求相对应的输入包括经由一个或多个输入设备检测到对应用的用户界面中的可选择选项的选择(例如，对用于切换三维环境上的相应虚拟照明效果的选项的选择)。
在一些实施方案中，诸如在图7D中，响应于接收到输入，电子设备(例如，101a)在以第二呈现模式呈现内容项的同时经由显示生成组件(例如，120)在三维环境(例如，702)中显示(802c)应用的用户界面(例如，704)，包括利用基于在以第一呈现模式呈现内容项的同时未被显示的内容项的虚拟照明效果(例如，722a、722b)显示三维环境(例如，702)。在一些实施方案中，相应虚拟照明效果包括利用虚拟照明效果的三维环境中显示一个或多个虚拟对象或者物理对象的表示，诸如对与内容项的音频内容和/或视觉内容同步地移动和/或改变颜色(例如，具有与音频内容中的节拍和/或视频内容中的运动同步的移动和/或颜色改变和/或亮度改变)的彩色光的模拟。例如，三维环境包括不与内容项相关联的第二应用的用户界面(例如，消息传送应用的用户界面)和电子设备的物理环境中的沙发的表示，并且利用相应虚拟照明效果显示三维环境包括显示在第二应用的用户界面和/或沙发的表示上发光的模拟光。在一些实施方案中，模拟光的颜色是被包括在与内容项相关联的图像(例如，在与内容项相关联的应用的用户界面中显示的专辑插图)中和/或基于该图像的颜色。
取决于呈现内容的模式来切换相应虚拟照明效果的呈现提供了在沉浸式体验与低干扰虚拟环境之间切换的高效方式，由此减少了用户在与内容项互动时和在与三维环境中的其他内容或应用互动时的认知负担。
在一些实施方案中，诸如在图7D中，利用基于内容项的虚拟照明效果(例如，722a、722b)显示三维环境(例如，702)包括经由显示生成组件(例如，120)利用具有第一颜色的模拟三维材料显示应用的用户界面(例如，704)(804a)。例如，三维材料是应用的用户界面的用户界面元素后方或周围的虚拟玻璃或另一材料，该虚拟玻璃或另一材料被显示为看起来好像分散/散射/透射第一颜色的光。在一些实施方案中，利用第一颜色显示三维材料包括利用对应于与内容项相关联的图像(例如，与音乐项相关联的专辑插图、与播客相关联的图标或另一插图、与有声读物相关联的封面)(例如，被包括在该图像中)的颜色显示三维材料。
在一些实施方案中，诸如在图7B中，以第一呈现模式显示应用的用户界面(例如，704)包括经由显示生成组件(例如，120)利用与第一颜色不同的第二颜色的模拟三维材料显示应用的用户界面(例如，704)(804b)。在一些实施方案中，第二颜色不对应于与内容项相关联的图像。在一些实施方案中，第二颜色是基于电子设备的操作系统和/或三维环境中的一个或多个(例如，虚拟或真实)对象的设置。
取决于是否利用基于内容项的虚拟照明效果显示三维环境来更新三维材料的颜色提供了在沉浸式体验与一致的低干扰虚拟环境之间切换的高效方式，由此减少了用户在与内容项互动时和在与三维环境中的其他内容或应用互动时的认知负担。
在一些实施方案中，诸如在图7D中，利用基于内容项的虚拟照明效果显示三维环境(702)包括利用基于内容项的音频的特性(例如，节拍)的相应虚拟照明效果(例如，722a、722b)(例如，来自与内容项相关联的用户界面的光溢出、其他照明效果)经由显示生成组件(例如，120)显示三维环境(例如，702)中的表面(806a)。在一些实施方案中，相应虚拟照明效果包括移动和/或被动画化的虚拟照明，并且虚拟照明效果的位置、颜色、强度等以与内容项的音频的节拍相对应的速率变化。在一些实施方案中，相应虚拟照明效果是来自应用的用户界面的随着内容项(例如，音乐项)的音频的节拍而闪光和/或脉动的光溢出。在一些实施方案中，相应虚拟照明效果是随着内容项的音频的节拍而移动、改变颜色和/或强度的虚拟光展示。在一些实施方案中，虚拟光溢出表现为看起来好像虚拟光源在三维环境中的表面上反射。在一些实施方案中，虚拟光展示看起来好像虚拟照明效果指向三维环境中的表面。在一些实施方案中，表面是三维环境中的虚拟对象的虚拟表面。在一些实施方案中，表面是被包括在三维环境中的电子设备的物理环境中的真实对象的表面的表示(例如，作为真透传或视频透传)。
在一些实施方案中，诸如在图7B中，以第一呈现模式显示内容项包括经由显示生成组件(例如，120)在不利用基于内容项的音频的特性的相应虚拟照明效果的情况下显示三维环境中的表面(806b)。在一些实施方案中，当在不利用虚拟照明效果的情况下显示三维环境时，电子设备放弃来自用户界面的光溢出和/或三维环境中的表面上的虚拟光展示的显示。
取决于是否利用基于内容项的虚拟照明效果显示三维环境而在三维环境中的表面上显示相应虚拟照明效果提供了在沉浸式体验与一致的低干扰虚拟环境之间切换的高效方式，由此减少了用户在与内容项互动时和在与三维环境中的其他内容或应用互动时的认知负担。
在一些实施方案中，诸如在图7D中，利用基于内容项的虚拟照明效果显示三维环境(例如，702)包括经由显示生成组件(例如，120)利用基于与内容项相关联的颜色的相应虚拟照明效果(例如，722a、722b)显示三维环境中的表面(808a)。在一些实施方案中，与内容项相关联的颜色是被包括在与内容项相关联的图像(例如，与音乐相关联的专辑插图、与播客相关联的插图或图标、与有声读物相关联的封面)中的颜色。在一些实施方案中，相应虚拟照明效果是来自应用的用户界面的包括与内容项相关联的颜色的光溢出。在一些实施方案中，相应虚拟照明效果是包括与内容项相关联的颜色的虚拟光展示。在一些实施方案中，虚拟光溢出表现为看起来好像虚拟光源在三维环境中的表面上反射。在一些实施方案中，虚拟光展示看起来好像虚拟照明效果指向三维环境中的表面。在一些实施方案中，表面是三维环境中的虚拟对象的虚拟表面。在一些实施方案中，表面是被包括在三维环境中的电子设备的物理环境中的真实对象的表面的表示(例如，作为真透传或视频透传)。
在一些实施方案中，诸如在图7B中，以第一呈现模式显示内容项包括经由显示生成组件(例如，120)在不利用基于与内容项相关联颜色的相应虚拟照明效果的情况下显示三维环境中的表面(808b)。在一些实施方案中，当在不利用虚拟照明效果的情况下显示三维环境时，电子设备放弃来自用户界面的光溢出和/或三维环境中的表面上的虚拟光展示的显示。
取决于是否利用基于与内容项相关联的颜色的虚拟照明效果显示三维环境而在三维环境中的表面上显示相应虚拟照明效果提供了在沉浸式体验与一致的低干扰虚拟环境之间切换的高效方式，由此减少了用户在与内容项互动时和在与三维环境中的其他内容或应用互动时的认知负担。
在一些实施方案中，诸如在图7D中，根据确定三维环境中与表面相对应的位置距用户界面小于阈值距离(例如，1米、2米、3米、5米、10米或15米)，电子设备(例如，101)经由显示生成组件(例如，120)利用相应虚拟照明(例如，722b)和与内容项(722b)相关联的第二虚拟照明效果显示三维环境中的表面。在一些实施方案中，相应虚拟照明是上文更详细描述的虚拟光展示。在一些实施方案中，如果表面在用户界面的阈值距离内，则电子设备利用相应虚拟照明和与内容项相关联的第二虚拟照明效果显示表面。在一些实施方案中，阈值距离与关联于内容项的第二虚拟照明效果(诸如从内容项(例如，与该内容项相关联的用户界面、图像等)发出的虚拟光溢出)相关联。在一些实施方案中，在比与第二虚拟照明效果相关联的阈值距离远的表面上显示相应虚拟照明效果。
在一些实施方案中，诸如在图7D中，根据确定三维环境(例如，702)中与表面相对应的位置距用户界面大于阈值距离，电子设备(例如，101)经由显示生成组件(例如，120)在不利用与内容项相关联的第二虚拟照明效果的情况下利用相应虚拟照明效果(例如，722a)显示(810b)三维环境中的表面。在一些实施方案中，电子设备利用相应虚拟照明效果显示表面，而不管表面与用户界面之间的距离如何。在一些实施方案中，如果相应表面距用户界面比第二阈值距离远，则电子设备在不利用相应虚拟照明效果的情况下显示相应表面，该第二阈值距离大于阈值距离。
当表面距用户界面大于阈值距离时，在不利用第二虚拟照明效果的情况下利用相应虚拟照明效果显示表面在呈现内容的同时提供了沉浸式体验，从而增强了用户与电子设备的交互。
在一些实施方案中，例如在图7D中，三维环境包括第一表面和第二表面(812a)。在一些实施方案中，第一表面和第二表面包括以下各项中的两项或更多项：显示生成组件和/或电子设备的物理环境中的真实墙壁的表示、显示生成组件和/或电子设备的物理环境中的真实地板的表示、显示生成组件和/或电子设备的物理环境中的真实对象的表示、虚拟对象的表示、第二应用的用户界面和/或电子设备的操作系统的用户界面。
在一些实施方案中，诸如在图7D中，利用基于内容项的虚拟照明效果显示三维环境(例如，702)包括经由显示生成组件(例如，120)利用具有第一值的视觉特性(例如，722a)(例如，颜色、半透明度、强度、动画)显示第一表面，以及经由显示生成组件利用具有与第一值不同的第二值的视觉特性(例如，722b)显示第二表面(812b)。在一些实施方案中，虚拟照明效果是虚拟光展示，并且光展示的颜色、半透明度、强度和/或动画在第一表面与第二表面之间是不同的。在一些实施方案中，虚拟照明效果包括来自应用的用户界面的(例如，基于另一表面与用户界面之间的距离、基于另一表面的(例如，真实的、虚拟的)材料等)在第一表面或第二表面上但不在另一表面上显示的虚拟光溢出。在一些实施方案中，虚拟照明效果取决于相应表面的反射性程度而变化，诸如在闪亮和/或光泽表面上具有高亮度量而在无光泽和/或暗淡表面上具有较低亮度量。
利用针对第一表面和第二表面具有不同值的视觉特性显示第一表面和第二表面提供了增强的沉浸式体验，从而减少了用户在利用虚拟照明效果与内容项互动时的认知负担。
在一些实施方案中，诸如在图7D中，根据确定显示生成组件(例如，120)(和/或电子设备)的环境(例如，物理环境、三维环境)是第一大小，利用基于内容项的虚拟照明效果(例如，722a、722b)显示三维环境(例如，702)包括经由显示生成组件(例如，120)利用基于与内容项相关联的特性的带有具有第一值的视觉特性(例如，强度、大小、颜色、动画)的相应虚拟照明效果(例如，722a、722b)显示三维环境(例如，702)中的表面(814a)。
在一些实施方案中，诸如在图7E中，根据确定显示生成组件(和/或电子设备)的环境(例如，物理环境、三维环境)是与第一大小不同的第二大小，利用基于内容项的虚拟照明效果(例如，722c、722d、722e)显示三维环境(例如，702)包括经由显示生成组件(例如，120)利用基于与内容项相关联的特性的带有具有与第一值不同的第二值的视觉特性的相应虚拟照明效果(例如，722c、722d、722e)显示三维环境中的表面(814b)。在一些实施方案中，虚拟照明效果取决于三维环境的大小而变化，该三维环境的大小是任选地基于显示生成组件和/或电子设备的物理环境的大小。例如，当三维环境是较大大小时，虚拟照明效果跨越较大(例如，虚拟)区。作为另一示例，虚拟照明效果的强度和/或亮度对于更靠近用户界面的表面而言更高，并且因此对于更小的三维环境而言更高。在一些实施方案中，虚拟照明效果的大小取决于相应表面距应用的用户界面的距离。例如，在三维环境中，照明效果对于距用户界面更远的表面而言更大，而对于距用户界面更近的表面而言更小。
利用取决于显示生成组件的环境的大小而变化的虚拟照明效果显示三维环境提供了增强的、逼真的体验，从而减少了用户在利用虚拟照明效果与内容项互动时的认知负担。
在一些实施方案中，诸如在图7D中，与内容项相关联的特性对应于与在用户界面(例如，704)中显示的内容项相关联的图像(816)。在一些实施方案中，图像是与音乐相关联的专辑插图。在一些实施方案中，图像是与播客相关联的插图和/或图标。在一些实施方案中，图像是与有声读物相关联的封面插图。在一些实施方案中，特性是被包括在图像中的颜色或颜色方案(例如，以相对于彼此的相应比率存在的多种颜色)。
显示具有对应于与在用户界面中显示的内容项相关联的图像的特性的照明效果向用户提供了将虚拟照明效果与内容项相关联的增强的视觉反馈，从而减少了用户在利用虚拟照明效果与内容项互动时的认知负担。
在一些实施方案中，诸如在图7D中，利用基于内容项的虚拟照明效果(例如，722a、722b)显示三维环境(例如，702)包括经由显示生成组件(例如，120)显示从应用的用户界面(例如，704)发出的相应虚拟照明效果(例如，722b)(例如，虚拟光溢出)(818a)。在一些实施方案中，在以第二呈现模式显示内容项的同时，显示包括从用户界面发出的相应虚拟照明效果(例如，光溢出)的虚拟照明效果。在一些实施方案中，第二呈现模式是显示虚拟照明效果的模式。在一些实施方案中，当显示迷你播放器用户界面(例如，包括与内容项相关联的图像、用于内容项的回放控件、内容项的歌词，而没有内容项库、播放列表、回放队列或浏览用户界面)时，第二呈现模式是可用的。在一些实施方案中，当显示与内容项相关联的包括内容项库、播放列表、回放队列或浏览用户界面中的一者或多者的完整用户界面时，第二呈现模式不可用。
在一些实施方案中，诸如在图7C中，以第一呈现模式显示应用的用户界面(例如，704)包括经由显示生成组件(例如，120)显示应用的用户界面(例如，704)，而不显示从应用的用户界面发出的相应虚拟照明效果(818b)。在一些实施方案中，第一呈现模式是不显示虚拟照明效果的呈现模式。在一些实施方案中，在以第一呈现模式显示应用时，电子设备显示与内容项相关联的图像，但是不基于内容项在三维环境的除用户界面之外的区中显示照明效果。在一些实施方案中，当显示上述的迷你播放器用户界面或完整用户界面时，第一呈现模式是可用的。
取决于是以第一呈现模式还是以第二呈现模式显示应用的用户界面来切换从应用的用户界面发出的相应虚拟照明效果的显示提供了在更为沉浸式的体验与低干扰虚拟环境之间切换的高效方式，由此减少了用户在与内容项互动时和在与三维环境中的其他内容或应用互动时的认知负担。
在一些实施方案中，诸如在图7B中，当在一个或多个输入设备(例如，314)检测到用户的相应部分(例如，703a)(例如，手部、头部)的位姿不满足一个或多个准则的同时经由显示生成组件(例如，120)利用第一视觉强调量显示用户界面(例如，704)时，电子设备(例如，101)经由一个或多个输入设备检测到(820a)用户(例如，703a)的相应部分的位姿满足一个或多个准则，诸如在图7C中。在一些实施方案中，检测到用户的相应部分的位姿满足一个或多个准则包括检测到上述一个或多个准则的满足。在一些实施方案中，利用第一视觉去强调量显示用户界面包括在不利用模糊效果的情况下并且/或者利用相对高的颜色饱和度和/或对比度显示用户界面。在一些实施方案中，当用户的手部在与电子设备通信的手部跟踪设备的视场内时，用户的手部的位姿满足一个或多个准则。在一些实施方案中，当用户的手部在三维环境的预定区内(诸如相对于用户身体的其余部分升高(例如，升高阈值量))时，用户的手部的位姿满足一个或多个准则。在一些实施方案中，当用户的手部处于与电子设备的就绪状态相对应的位姿时，用户的手部的位姿满足一个或多个准则，该就绪状态与由用户的手部提供的输入的开始相对应，诸如指向手部形状(例如，一个或多个手指伸展且一个或多个手指卷曲到手掌)或预捏合手部形状(例如，拇指在手部的另一手指的预定阈值距离(例如，0.1厘米、0.2厘米、0.3厘米、0.5厘米、1厘米、2厘米或3厘米)内而不接触该手指的手部形状)。在一些实施方案中，当手部跟踪设备未检测到手部时，手部的位姿不满足一个或多个准则。
在一些实施方案中，诸如在图7D中，响应于检测到用户的相应部分(例如，703a)的位姿满足一个或多个准则，电子设备(例如，101)经由显示生成组件(例如，120)利用与第二视觉去强调量不同(例如，小于该第二视觉去强调量)的第二视觉强调量显示(820b)用户界面(例如，704)。在一些实施方案中，电子设备响应于检测到用户的相应部分的位姿满足一个或多个准则而模糊和/或降低用户界面(例如，被包括在用户界面中的图像)的对比度和/或亮度。
取决于用户的相应部分的位姿是否满足一个或多个准则来改变用户界面的视觉强调量向用户提供了增强的视觉反馈，即用户能够使用用户的相应部分使输入指向用户界面，这减少了用户的认知负担且高效地教示用户如何与用户界面交互。
在一些实施方案中，诸如在图7B中，当在一个或多个输入设备(例如，314)检测到用户的相应部分(例如，703a)(例如，手部、头部)的位姿不满足一个或多个准则的同时经由显示生成组件(例如，120)显示用户界面时(822a)，电子设备(例如，101)放弃(822b)相应交互式元素(例如，图7C中的718a)在用户界面(例如，704)中的显示，相应交互式元素(例如，718a)用于修改内容项的回放。在一些实施方案中，相应交互式元素是在被选择时使得电子设备播放或暂停内容项、向前跳到内容项回放队列中的下一内容项、从开头重新开始内容项或向后跳到内容项回放队列中的前一内容项的元素。在一些实施方案中，在相应交互式元素未被包括在用户界面中的同时，用户界面包括与内容项相关联的图像(例如，如上所述的专辑、播客或书籍封面插图或图标)。在一些实施方案中，当用户的手部在与电子设备通信的手部跟踪设备的视场内时，用户的手部的位姿满足一个或多个准则。在一些实施方案中，当用户的手部在三维环境的预定区内(诸如相对于用户身体的其余部分升高(例如，升高阈值量))时，用户的手部的位姿满足一个或多个准则。在一些实施方案中，当用户的手部处于与电子设备的就绪状态相对应的位姿时，用户的手部的位姿满足一个或多个准则，该就绪状态与由用户的手部提供的输入的开始相对应，诸如指向手部形状(例如，一个或多个手指伸展且一个或多个手指卷曲到手掌)或预捏合手部形状(例如，拇指在手部的另一手指的预定阈值距离(例如，0.1厘米、0.2厘米、0.3厘米、0.5厘米、1厘米、2厘米、3厘米等)内而不接触该手指的手部形状)。在一些实施方案中，当手部跟踪设备未检测到手部时，手部的位姿不满足一个或多个准则。
在一些实施方案中，诸如在图7C中，当在一个或多个输入设备(例如，314)检测到用户的相应部分(例如，703b)(例如，手部、头部)的位姿不满足一个或多个准则的同时经由显示生成组件(例如，120)显示用户界面(例如，704)时(822a)，电子设备(例如，101)经由一个或多个输入设备检测到(822c)用户的相应部分(例如，703b)的位姿满足一个或多个准则。在一些实施方案中，检测到用户的相应部分的位姿满足一个或多个准则包括检测到上述一个或多个准则的满足。
在一些实施方案中，诸如在图7C中，响应于检测到用户的相应部分(例如，703b)的位姿满足一个或多个准则，电子设备(例如，101)经由显示生成组件(例如，120)显示(822d)包括相应交互式元素(例如，718a)的用户界面。在一些实施方案中，相应交互式元素被显示为覆盖在与内容项相关联的图像上。
取决于用户的相应部分的位姿是否满足一个或多个准则来切换交互式元素在用户界面中的显示提供了在显示较少交互式元素的更为沉浸式的体验与显示较多交互式元素的更实用体验之间切换的高效方式，这减少了用户的认知负担。
在一些实施方案中，诸如在图7C中，在显示应用的用户界面(例如，704)而不显示对与内容项相对应的歌词的指示(例如，图7D中的720)的同时，电子设备(例如，101)经由一个或多个输入设备接收(824a)与对呈现歌词的请求相对应的(例如，经由图7C中的注视718f和手部703b的)输入。在一些实施方案中，输入包括对在用户界面上显示的可选择选项的选择。在一些实施方案中，除非并且直到用户的相应部分的位姿满足如上所述的一个或多个准则为止，否则不显示可选择选项。
在一些实施方案中，诸如在图7D中，响应于接收到与对呈现歌词的请求相对应的输入，电子设备(例如，101)在三维环境(例如，702)中同时显示(824b)应用的用户界面(例如，702)和三维环境(例如，702)中在应用的用户界面(例如，704)的边界(例如，在接收到与对呈现歌词的请求相对应的输入之前的应用的用户界面的边界)之外的位置处的对歌词的指示(例如，720)。在一些实施方案中，显示不具有对歌词的指示的用户界面包括显示具有不包括歌词的相应边界的相应元素(例如，窗口、容器、转盘)，也不显示该边界之外的歌词。在一些实施方案中，显示具有歌词的用户界面包括同时显示相应元素(例如，而不改变相应元素的边界的大小)和超出该相应元素的边界的歌词。在一些实施方案中，对与内容项相对应的歌词的指示包括对与内容项的当前播放的一部分相对应的歌词的时间同步指示。在一些实施方案中，随着内容项继续播放，对歌词的指示更新为包括对与内容项的当前播放的部分相对应的歌词的指示。在一些实施方案中，电子设备与歌词同时在三维环境中同时显示其他(例如，虚拟、真实)对象。
切换在用户界面的边界之外的歌词的显示提供了切换在三维环境中显示的内容量的高效方式，由此减少了用户在与内容互动时和在与三维环境中的其他内容或应用互动时的认知负担。
在一些实施方案中，诸如在图7A中，当在三维环境中的第一位置处显示应用的用户界面(例如，704)时(例如，并且当经由显示生成组件在三维环境中的第二位置处显示相应虚拟对象时)，电子设备(例如，101)经由一个或多个输入设备(例如，314)检测到(826a)电子设备(例如，101)的用户的视点在三维环境中的移动。在一些实施方案中，用户的视点根据用户的移动和/或电子设备和/或显示生成组件在电子设备和/或显示生成组件的物理环境中的移动而移动。在一些实施方案中，应用的用户界面的第一位置是与用户的视点在三维环境中的位置相对应的位置。
在一些实施方案中，诸如在图7B中，响应于检测到用户的视点的移动，根据确定应用的用户界面(例如，704)满足一个或多个准则(例如，用户界面是上述迷你播放器用户界面)，电子设备(例如，101)经由显示生成组件(例如，120)根据与用户相关联的视点的移动，在三维环境(例如，702)中的第三位置处显示(826b)应用的用户界面(例如，704)(例如，而不更新在与相应虚拟对象相关联的三维环境中的位置)。在一些实施方案中，电子设备保持相应虚拟对象在三维环境中的第二位置处的显示。在一些实施方案中，用户的视点的移动使得三维环境的第二位置在由电子设备(例如，经由显示生成组件)呈现的三维环境的视场之外，并且电子设备停止相应虚拟对象的显示。在一些实施方案中，在用户界面满足一个或多个准则的同时，用户界面被“身体锁定”到电子设备的用户，并且被显示在三维环境中在用户的视点的阈值距离(例如，5厘米、10厘米、15厘米、20厘米、30厘米、50厘米或100厘米)内的位置处，并且在三维环境中移动以在用户的视场内保持在用户的视点的阈值距离内。在一些实施方案中，电子设备响应于检测到用户的视点保持在单个相应位置的阈值距离(例如，10厘米、15厘米、20厘米、30厘米、50厘米、100厘米、200厘米或300厘米)内达阈值时间段(例如，1秒、2秒、3秒、5秒或10秒)而更新用户界面的定位。在一些实施方案中，电子设备通过利用淡入动画效果在更新后的位置处发起用户界面的显示来更新用户界面的位置。在一些实施方案中，其他虚拟对象被“世界锁定”并且保持在三维环境中的相应位置处，除非并且直到接收到对更新该其他虚拟对象的位置的输入为止。
根据用户的视点的移动来更新应用的用户界面的位置提供了对用户界面的高效访问，从而减少了用户在三维环境周围移动并与应用交互时的认知负担。
在一些实施方案中，诸如在图7F至图7G中，响应于检测到用户的视点的移动(并且根据确定在用户的视点的移动之后第一位置在显示生成组件的视场中)，根据确定应用的用户界面(例如，724、726、728)不满足一个或多个准则(例如，用户界面是完整用户界面，而不是迷你播放器用户界面，如上所述)，电子设备(例如，101)经由显示生成组件(例如，120)在三维环境中的第一位置处显示(828)用户界面(例如，724、726、728)。在一些实施方案中，如果在用户的视点移动之后第一位置不再在显示生成组件的视场中，则电子设备放弃显示应用的用户界面，但应用的用户界面保持在三维环境中的第一位置处。在一些实施方案中，迷你播放器用户界面在三维环境中被“身体锁定”到用户的视点，并且完整用户界面在三维环境中被“世界锁定”。
当用户界面不满足一个或多个准则时，保持三维环境中显示用户界面的位置提供了允许用户通过改变他们的视点来观看三维环境中的其他用户界面和内容而不受应用的用户界面阻碍或干扰的高效方式，从而减少用户的认知负担。
图9A至图9F例示了根据一些实施方案的电子设备如何响应于检测到电子设备的用户的相应部分的位姿的改变而更新用户界面中的用户界面元素的示例。
图9A例示了电子设备101经由显示生成组件120显示三维环境901。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101在二维环境中利用参考图9A至图9F所描述的一种或多种技术。如上参考图1至图6所述，电子设备101任选地包括显示生成组件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成组件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成组件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
在一些实施方案中，电子设备101在三维环境901中显示内容(例如，流传输、递送、回放、浏览、库、共享等)应用的用户界面。在一些实施方案中，内容应用包括迷你播放器用户界面和扩展用户界面。在一些实施方案中，迷你播放器用户界面包括回放控制元素，响应于指向该回放控制元素的用户输入，该回放控制元素使得电子设备101修改经由内容应用播放的内容项的回放，以及与当前经由内容应用播放的内容项相关联的插图(例如，专辑插图)。在一些实施方案中，扩展用户界面包括比迷你播放器用户界面更大数量的用户界面元素(例如，诸如窗口、转盘或背板的容器；可选择选项、内容等)。在一些实施方案中，扩展用户界面包括导航元素902、内容浏览元素904和回放元素906。在一些实施方案中，响应于检测到电子设备101的用户的相应部分(例如，电子设备101的用户的手部903a)的位姿的改变，电子设备101更新被包括在内容应用的扩展用户界面中的可选择用户界面元素。下文参考图9A至图9F并附加地参考上述方法800更详细地描述扩展用户界面。
如图9A中所示，除了内容应用的扩展用户界面的元素902、904和906之外，三维环境901还包括真实对象的表示，诸如桌子的表示916a和沙发的表示916b。在一些实施方案中，真实对象的表示经由显示生成组件120显示(例如，虚拟透传或视频透传)，或者是透过显示生成组件120的透明部分的真实对象的视图(例如，真实透传)。
在一些实施方案中，内容应用的扩展用户界面包括导航元素902。导航元素902包括多个可选择选项918a-e，这些可选择选项在被选择时使得电子设备101导航到扩展用户界面的内容浏览元素904中的内容应用的不同用户界面。在图9A中，当前选择了“现在就听”选项918a，因此电子设备101基于用户的内容消费历史来呈现用于浏览推荐给用户的内容项的用户界面。在一些实施方案中，响应于检测到对“浏览”选项918b的选择，电子设备101在内容浏览元素904中呈现内容浏览用户界面，该内容浏览用户界面包括用于浏览基于针对与内容应用相关联的内容递送服务的所有用户的流派、艺术家、回放图表等的内容项的用户界面元素。在一些实施方案中，响应于检测到对“收音机”选项918c的选择，电子设备101在内容浏览元素904中呈现收音机用户界面，该收音机用户界面包括关于经由与内容应用相关联的内容递送服务可用的基于互联网的收音机节目和电台的回放的信息以及用于发起该回放的可选择选项。在一些实施方案中，响应于检测到对“库”选项918d的选择，电子设备101在内容浏览元素904中呈现用户界面，该用户界面包括与电子设备101的用户的用户账户相关联的内容库中的内容项的表示。在一些实施方案中，响应于检测到对“搜索”选项918e的选择，电子设备101在内容浏览元素904中显示搜索用户界面，该搜索用户界面包括用于提供待在与内容应用相关联的内容递送服务中搜索的搜索项的用户界面元素。
在一些实施方案中，内容应用的扩展用户界面包括显示上述“现在就听”用户界面的内容浏览元素904。图9A例示了电子设备101在用户的手部903a处于不与就绪状态或选择输入相对应的位姿(例如，手部状态A)的同时显示内容应用的扩展用户界面。在用户的手部903a处于手部状态A的同时，内容浏览元素904包括与推荐由用户回放的内容项相对应的三维图像908以及推荐由用户回放的内容项的多个表示910a。在一些实施方案中，三维图像908延伸超出内容浏览元素904的边界并且利用视差效果来显示，该视差效果使得三维图像908根据用户的视点的与用户的一部分(例如，用户的注视、头部、躯干、身体等)的移动相对应的移动来偏移和/或旋转。在一些实施方案中，在用户的手部903a处于手部状态A的同时，电子设备101在内容浏览元素904中不与三维图像908重叠的位置处显示内容项的表示910a。在一些实施方案中，电子设备101在用户的手部903a处于手部状态A的同时，显示内容项的表示910a的各部分，而不显示表示910a的延伸超出内容浏览元素904的右边界的附加部分。在一些实施方案中，表示910a中的一者对应于与对应于图像908的内容项相同的内容项。在一些实施方案中，图像908对应于与对应于表示910a的内容项不同的内容项。
如上所述，图9A包括处于手部状态A的用户的手部903a的例示，该手部状态与不对应于就绪状态或输入的手部形状、位姿、位置等(诸如用户的手部靠近用户的膝盖或躯干或处于不对应于就绪状态的手部形状)相对应。在一些实施方案中，电子设备101能够检测到间接就绪状态、直接就绪状态、空中手势就绪状态和/或输入设备就绪状态。在一些实施方案中，检测到间接就绪状态包括在手部903a在相应交互式用户界面元素的预定义阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米或30厘米)内的同时，(例如，经由输入设备314中的一者或多者)检测到处于就绪状态位姿(诸如拇指在手部的另一手指的阈值距离(例如，0.5厘米、1厘米、2厘米、3厘米、4厘米或5厘米)内但未接触该另一手指的预捏合手势，或一个或多个手指伸展且一个或多个手指朝向手掌卷曲的指向手部形状)的用户的手部903a。在一些实施方案中，检测到间接就绪状态包括在(例如，经由输入设备314中的一者或多者)检测到指向相应交互式用户界面元素的用户的注视的同时，(例如，经由输入设备314中的一者或多者)检测到处于就绪状态位姿(诸如预捏合手部形状)的用户的手部903a。在一些实施方案中，检测到空中手势就绪状态包括在(例如，经由输入设备314中的一者或多者)检测到指向相应交互式用户界面元素的用户的注视的同时，(例如，经由输入设备314中的一者或多者)检测到处于就绪状态位姿(诸如在经由显示生成组件120显示的输入元素的阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米或30厘米)内的指向手部形状)的手部903a。在一些实施方案中，检测到输入设备就绪状态包括任选地在由输入设备控制的光标与相应交互式用户界面元素相对应的同时，或者任选地在(例如，经由输入设备314中的一者或多者)检测到指向相应交互式用户界面元素的用户的注视的同时，检测到邻近与电子设备101通信的机械输入设备(例如，触笔、触控板、鼠标、键盘等)但未向该机械输入设备提供输入的用户的预定义部分(例如，用户的手部903a)。如以下将参考图9C更详细描述的，响应于检测到指向用户界面的一部分(例如，内容浏览元素906、内容回放元素908)的就绪状态，电子设备101更新就绪状态所指向的用户界面的该部分的多个可选择元素。
在一些实施方案中，电子设备101通过检测到间接选择输入、直接选择输入、空中手势选择输入或输入设备选择输入来检测到对相应用户界面元素的选择。在一些实施方案中，检测到选择输入包括首先检测到与正被检测到的选择输入的类型相对应的就绪状态(例如，在检测到间接选择输入之前检测到间接就绪状态，在检测到直接选择输入之前检测到直接就绪状态)。在一些实施方案中，检测到间接选择输入包括经由输入设备314检测到指向相应用户界面元素的用户的注视，同时检测到用户的手部做出选择手势，诸如用户将其拇指与手部的另一手指接触的捏合手手势。在一些实施方案中，检测到直接选择输入包括经由输入设备314a检测到用户的手部做出选择手势，诸如在相应用户界面元素的位置的预定义阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米或30厘米)内的捏合手势，或用户的手部在呈指向手部形状的同时“按压”相应用户界面元素的位置的按压手势。在一些实施方案中，检测到空中手势输入包括在检测到经由显示生成组件120在三维环境901中显示的空中手势用户界面元素的位置处的按压手势的同时检测到指向相应用户界面元素的用户的注视。在一些实施方案中，检测到输入设备选择包括在由输入设备控制的光标与相应用户界面元素的位置相关联时和/或在用户的注视指向相应用户界面元素时检测到以与对用户界面元素的选择对应的预定义方式操纵机械输入设备(例如，触笔、鼠标、键盘、触控板等)。
返回图9A，在一些实施方案中，内容应用的扩展用户界面包括内容回放元素906，该内容回放元素包括：与当前经由电子设备101上的内容应用播放的内容项相对应的图像912(例如，专辑插图)；以及多个用户界面元素914a-914i，该多个用户界面元素响应于检测到指向用户界面元素914a-914i中的一者的输入，使得电子设备101修改当前经由内容应用播放的内容项的回放。在一些实施方案中，内容回放元素906包括搓擦条914a，该搓擦条指示电子设备101在当前经由内容应用播放的内容项中的回放定位，并且响应于指向搓擦条914a的输入，使得电子设备101根据该输入而不是根据内容项的持续回放来更新回放定位。在一些实施方案中，内容回放元素906包括向后跳选项914b，该向后跳选项在被选择时使得电子设备101重新开始当前播放的内容项并且/或者播放内容应用的回放队列中的前一个内容项。在一些实施方案中，内容回放元素906包括暂停选项914c，该暂停选项在被选择时使得电子设备101暂停内容项的回放并且将选项914c更新为播放选项，该播放选项在被选择时使得电子设备101(例如，从内容项被暂停的回放定位)恢复内容项的回放。在一些实施方案中，内容回放元素906包括向前跳选项914d，该向前跳选项在被选择时使得电子设备101播放内容应用的内容项回放队列中的下一内容项。在一些实施方案中，内容回放元素906包括进度条914e，该进度条响应于操纵进度条914e的输入，使得电子设备101修改电子设备101上的内容项的回放音量。在一些实施方案中，内容回放元素906包括选项914f，该选项在被选择时使得电子设备101停止内容应用的扩展用户界面的显示，并且显示上文参考方法800所描述的内容应用的迷你播放器用户界面。在一些实施方案中，内容回放元素906包括选项914g，该选项在被选择时使得电子设备101(例如，在内容回放元素906内)显示内容项的时间同步歌词。根据方法800的一个或多个步骤，任选地生成并且/或者显示时间同步歌词。在一些实施方案中，内容回放元素906包括回放队列选项914h，该回放队列选项在被选择时使得电子设备101在播放当前经由内容应用播放的内容项之后，以显示内容项的次序显示对被包括在电子设备101被配置为播放的内容回放队列中的内容项的指示。在一些实施方案中，电子设备101在内容回放元素906中显示内容项回放队列。在一些实施方案中，内容回放元素906包括选项914i，该选项用于显示一个或多个音频输出设置以配置内容项的音频部分的输出(例如，选择输出设备)。
图9B例示了电子设备101响应于在手部903a处于手部状态A的同时检测到指向内容浏览元素904的用户的注视913a而更新内容浏览元素904的示例。在一些实施方案中，响应于在手部903a处于手部状态A的同时检测到指向内容浏览元素904的用户的注视913a，电子设备101通过从右向左滑动表示910a(例如包括显示表示910a的在图9A中显示的各部分以及表示910a的在图9A中未显示的各部分)来更新图9A中所例示的内容项的表示910a的定位。此外，在一些实施方案中，响应于在手部903a处于手部状态A的同时检测到指向内容浏览元素904的用户的注视913a，电子设备101显示在图9A中未显示的内容项的附加表示910b以及字母滚动条920。在一些实施方案中，表示910a和910b按字母顺序(例如，按艺术家、内容项标题、内容项集合(例如，专辑、播放列表)标题)排列，并且响应于检测到对字母滚动条920的相应部分的选择，电子设备101将表示910a和910b滚动到与字母滚动条920的相应部分的字母相对应的内容项的表示。下文参考图9C至图9D更详细地描述用户与字母滚动条920的交互。在一些实施方案中，因为手部903a仍处于手部状态A，所以电子设备101在没有与内容浏览元素904的背景的视觉分离的情况下显示表示910a和910b以及字母滚动条920。在一些实施方案中，如图9B中所示，表示910a和910b被显示为覆盖在三维图像908上。
图9C例示了电子设备101响应于检测到指向扩展用户界面的就绪状态而更新内容应用的扩展用户界面的示例以及用户与字母滚动条920交互的示例。在一些实施方案中，响应于在手部903b做出上述就绪状态手部形状(例如，手部状态B)的同时检测到指向扩展用户界面的元素中的一个元素的用户的注视，电子设备101更新可选择用户界面元素在用户正在看的扩展用户界面的元素内的定位，以将可选择元素移动得更靠近三维环境中的用户的视点，从而增加可选择元素与扩展用户界面的元素的背景之间的视觉分离。例如，响应于指向内容浏览元素904的就绪状态，电子设备101更新表示910a和910b的定位以将表示910a和910b移动得更靠近用户的视点。作为另一示例，响应于指向内容回放元素906的就绪状态，电子设备101更新可选择选项914a-h的定位以将可选择选项914a-h移动得更靠近用户的视点。
尽管图9C示出了三维环境901中更靠近用户的视点的更新后的定位处的内容浏览元素904和内容回放元素906两者中的用户界面元素，但是应当理解，在一些实施方案中，电子设备101仅更新用户的注视所引导朝向的元素中的可选择元素的定位，通常一次一个元素地进行更新。例如，响应于检测到内容浏览元素906内的注视913b，电子设备101更靠近用户的视点显示内容项的表示910a-c，并且增加内容项的表示910a-c与内容浏览元素904(例如，的背景)之间的视觉分离，而不更靠近用户的视点显示内容回放元素904中的选项914a-i。作为另一示例，响应于检测到指向内容回放元素906的用户的注视913c，电子设备显示用于利用与内容回放元素906(例如，的背景)的增加的视觉分离来修改内容项的回放的选项914a-i，而不在更靠近用户的视点的内容浏览元素904中显示表示910a-c。
在一些实施方案中，电子设备101在检测到处于就绪状态手部形状(例如，手部状态B)的手部903b的同时进一步更新就绪状态所指向的特定可选择元素的外观；即，用户的注视所指向的(例如，内容浏览元素904或内容回放元素906内的)特定选定元素的外观。例如，响应于检测到指向被包括在内容浏览元素904中的内容项的相应表示910c的就绪状态，电子设备101更新相应表示910c以将该相应表示与其他表示910a和910b区分开。在一些实施方案中，相应表示910c被显示为比其他表示910a-b更靠近用户的视点，如由与表示910a-b相比在图9C中例示相应表示910c的更大大小所证明的。在一些实施方案中，相应表示910c的大小与其他表示910a-b的大小相同，但相应表示910c看起来比其他表示910a-b大，因为相应表示910c比其他表示910a-b更靠近三维环境901中的用户的视点。在一些实施方案中，响应于检测到指向相应表示910c的就绪状态，利用背板932和/或与用于显示其他表示910a和910b的虚拟阴影930不同的虚拟阴影来显示相应表示910c。例如，背板932具有与虚拟阴影930不同的颜色、大小、形状、半透明度或另一视觉特性。在一些实施方案中，代替响应于检测到指向相应表示的就绪状态而在图9C中所例示的定位处显示其他表示910a和910b，电子设备101甚至更远离用户的视点(诸如在图9D中所示的在表示910a和910b与内容浏览元素904的背景之间存在较少(例如，没有)视觉分离的定位处)显示其他表示910a和910b。附加地，在一些实施方案中，电子设备101更新相应表示910c以包括：可选择选项926，该可选择选项在被选择时使得电子设备101发起与相应表示910c相对应的内容项的回放；以及可选择选项928，该可选择选项在被选择时使得电子设备101显示关于与相应表示相对应的内容项的动作菜单。如图9C中所示，电子设备101不显示覆盖在其他表示910a和910b上的对应的回放和菜单选项。
作为另一示例，图9C例示了(例如，在手部903b处于手部状态B的同时)指向搓擦条914a的用户的注视913c。响应于检测到指向搓擦条914a的就绪状态，电子设备101显示对内容项的已过去回放时间的指示934a和对内容项中剩余时间的指示934b(例如，或者在一些实施方案中，对内容项的总持续时间的指示)。在一些实施方案中，电子设备101显示比其他可选择选项914b-i更靠近用户的视点的搓擦条914a。在一些实施方案中，电子设备101如图9C中所例示在更靠近用户的视点的位置处显示搓擦条914a，并且响应于检测到指向搓擦条914a的就绪状态而在没有与内容回放元素906(例如，的背景)的视觉分离的情况下在图9A至图9B中所例示的定位处显示其他可选择选项914b-914i。
在一些实施方案中，响应于检测到就绪状态，电子设备101将交互式用户界面元素与非交互式的用户界面元素区分开。例如，响应于检测到指向内容浏览元素904的就绪状态(例如，注视913b和手部903b处于手部状态B)，电子设备101更新表示910a-910c的定位以更靠近用户的视点显示，但是不更新三维图像908的定位，因为三维图像908不是交互式的。作为另一示例，响应于检测到指向内容回放元素906的就绪状态，电子设备101以与内容回放元素906(例如，的背景)的视觉分离来显示更靠近用户的视点的可选择元素914a-i，但是不更新与当前播放的内容项相对应的图像912的定位，因为图像912不是交互式的。
如以上参考图9B所描述的，在一些实施方案中，内容浏览元素904包括字母滚动条920，该字母滚动条响应于接收到指向字母滚动条920的输入而使得电子设备101滚动内容浏览元素904中的内容项的表示910a-910c。响应于检测到指向字母滚动条920的一部分的就绪状态，电子设备101更新滚动条以放大就绪状态所指向的字母滚动条920的该部分。例如，在图9C中，响应于检测到指向滚动条922的部分922的就绪状态(例如，注视913a和手部903b处于手部状态B)，电子设备101放大字母滚动条的部分920。例如，放大部分922包括在部分922中显示在检测到就绪状态之前未被显示的附加字母(例如，B、C)(诸如在图9B中)，以及/或者利用附加视觉强调显示相应字母924a，从而指示检测到指向字母滚动条的选择输入将使得电子设备101将内容浏览元素904导航到以强调的字母开始的表示910a-910b。如上所述，在一些实施方案中，检测到指向相应元素(诸如字母滚动条)的选择包括在检测到用户的手部903c做出相应手势的同时检测到指向字母滚动条920的用户的注视913a，该相应手势包括相应手部形状(例如，手部状态C)，诸如捏合手势。例如，做出上述捏合手势包括做出上述捏合手部形状。在一些实施方案中，响应于在选择输入期间检测到手部903c在处于捏合手部形状时的移动，电子设备101细化选择输入所指向的字母，如图9D中所示。例如，在图9C中，用户向下移动手部903c同时保持捏合手部形状(例如，手部状态C)，并且作为响应，电子设备101更新选择输入将指向的字母，如图9D中所示。在一些实施方案中，电子设备101响应于在手部处于就绪状态位姿(例如，预捏合手部形状)的同时检测到手部的向下移动而更新进一步输入将指向的字母。
图9D例示了电子设备101在手部903c处于预定义形状(例如，捏合手部形状、预捏合手部形状)的同时，响应于图9C中所例示的手部903c的移动而更新字母滚动条920以更新选择输入(例如，经由注视913a和手部903c)所指向的字母滚动条920的相应字母924b。例如，响应于手部903c的向下移动，在图9C中选择字母“A”，并且在图9D中选择字母“B”。如果电子设备101将检测到选择输入的结束，诸如手部903c移出捏合手部形状，则电子设备101将任选地滚动内容浏览元素904中的内容项的表示910a-c以滚动到以字母B开始的内容项的表示910a-c。在一些实施方案中，如上所述，电子设备101响应于处于就绪状态手部形状(例如，预捏合手部形状)的手部903c的移动而更新所强调的字母，并且响应于检测到选择(诸如检测到捏合手势)而滚动到与选定字母相对应的位置。
图9D还例示了响应于指向相应表示910c的输入而在没有与内容浏览元素904的背景的视觉分离的情况下表示910a和910b的显示。在一些实施方案中，表示910a和910b在距用户的视点比相应表示910c与用户的视点之间的距离更远的距离处在没有与内容浏览元素904(例如，的背景)的视觉分离的情况下显示。在一些实施方案中，电子设备101响应于检测到指向图9C中所例示的相应表示910c的就绪状态而以此方式显示表示910a和910b。在图9D中，电子设备101检测到利用注视913b和手部903d对相应表示910c的选择。在一些实施方案中，手部903d做出上述选择手势。在一些实施方案中，做出选择手势包括做出相应手部形状(例如，手部状态C)，诸如做出捏合手部形状作为执行捏合手势的一部分。
在图9E中，在开始选择图9D中的表示910c之后，用户使手部903d在保持相应手部形状(例如，手部状态C)的情况下移动。在一些实施方案中，响应于检测到手部903d在处于手部状态C时的移动，电子设备101从元素904移除表示910c，并且根据手部903d的移动在三维环境901中移动相应表示910c。例如，手部903d向右移动，因此电子设备101向右更新相应表示910c的定位。在根据手部903d的移动来移动相应表示910c的同时，电子设备101任选地更新表示910c的外观以包括对与相应表示910c相对应的内容项集合(例如，专辑、播放列表)中的内容项的数量的指示936。在一些实施方案中，在根据手部903d的移动来移动相应表示910c的同时，电子设备101在没有与内容浏览元素904(例如，的背景)的视觉分离的情况下显示其他表示910a和910b以及按字母顺序排列的滚动条920，但是在具有与内容浏览元素904(例如，的背景)的视觉分离的情况下并且更靠近三维环境901中的用户的视点显示相应表示910c。在一些实施方案中，在根据手部903d的移动来更新表示910c的定位的同时，电子设备101保持其他表示910a和910b的显示。
在一些实施方案中，响应于图9E中所例示的输入，电子设备101更新内容回放元素906以包括对与电子设备101的用户账户相关联的播放列表的指示938a和938b，以及对被包括在电子设备101的回放队列中的内容项的指示940a-c，并且更新回放控制元素906以不再包括图9D中所例示的回放控制元素914a-i。在一些实施方案中，电子设备101响应于检测到手部903d开始移动而更新内容回放元素906，以移动表示910c。在一些实施方案中，电子设备101响应于检测到用户将表示910c移动到内容回放元素906之上或与该内容回放元素相对应的位置而更新内容回放元素906。
在一些实施方案中，播放列表是内容项集合。在一些实施方案中，用户能够创建内容项的一个或多个播放列表。在一些实施方案中，电子设备101能够访问由其他用户制作的或者经由与内容应用相关联的内容递送服务可用的播放列表。在一些实施方案中，响应于检测到用户将表示910c拖动到指示938a，电子设备101创建包括内容项的新播放列表，该内容项被包括在与表示910c相对应的内容项集合中。在一些实施方案中，响应于检测到用户将表示910c拖动到指示938b，电子设备101将被包括在与表示910c相对应的内容项集合中的内容项添加到与指示938b相对应的播放列表。在一些实施方案中，如果电子设备101有权访问附加播放列表，则电子设备101在906中呈现对附加播放列表的附加指示。在一些实施方案中，电子设备101在906中显示对电子设备101有权访问的播放列表的子集的指示，诸如基于播放列表被播放或更新的最近时间来选择的预定义数量的播放列表(例如，2个、3个、5个或10个)。
在一些实施方案中，电子设备101被配置为以内容回放队列的预定义次序播放多个内容项。在一些实施方案中，在完成当前播放的内容项的回放之后，电子设备101播放回放队列中的下一内容项。例如，在完成当前播放的内容项的回放之后，电子设备101将播放与指示940a相对应的内容项。在一些实施方案中，用户能够重新定位指示940a-c以对队列中的内容项进行重新排序。此外，在一些实施方案中，响应于检测到用户将表示910c拖动到内容回放元素906的与回放队列中的内容项的一个或多个指示940a-c重叠的位置，电子设备101将被包括在与表示910c相对应的内容项集合中的内容项添加到回放队列。在一些实施方案中，电子设备101将对应于表示910c的内容项添加在回放队列中与用户将表示910c拖动到的位置相对应的定位处。例如，如果用户将表示910c拖动到指示940a与940b之间的位置，则电子设备101将对应于表示910c的内容项添加到对应于指示940a和940b的内容项之间的回放队列。作为另一示例，如果用户将表示910c拖动到指示940b与940c之间的位置，则电子设备101将对应于表示910c的内容项添加到对应于指示940b和940c的内容项之间的回放队列。
在图9F中，电子设备101检测到用户继续将相应表示910c拖动到图9F中所例示的位置。响应于检测到用户将表示910c拖动到内容回放元素中与回放队列相对应的位置，电子设备101更新内容回放元素906以包括对在先前如图9E中所示显示了指示940a的位置处将对应于表示910c的内容项添加到内容回放队列的指示942。在一些实施方案中，因为用户将表示910c拖动到与在对应于指示940a的内容项之前添加对应于表示910c的内容项相对应的位置，所以电子设备101在队列中在指示940a之前显示指示942。在一些实施方案中，响应于检测到手部903d(诸如通过将拇指从手指移开以停止做出捏合手部形状)完成选择手势，电子设备101在对应于指示940a的内容项之前将对应于表示910c的内容项添加到内容项回放队列。在一些实施方案中，响应于检测到手部903d完成选择手势，电子设备101更新内容回放元素906以包括图9D中所例示的元素，并且更新内容浏览元素904以包括图9B中所例示的位置处的相应表示910c或在图9A中所例示的位置处显示表示910a。关于图9A至图9F中所例示的实施方案的附加或另选细节提供于下文参考图10A至图10O所描述的方法1000的描述中。
图10A至图10O是例示根据一些实施方案的响应于检测到电子设备的用户的相应部分的相应位姿而更新交互式用户界面元素的显示的方法的流程图。在一些实施方案中，方法1000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成组件(例如，图1、图3和图4中的显示生成组件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1000在与显示生成组件(例如，120)和一个或多个输入设备(例如，314)(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，101)处执行。在一些实施方案中，显示生成组件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件组件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图9A中，电子设备(例如，101)经由显示生成组件(例如，120)在包括多个交互式元素(例如，918a、910a、914a)的三维环境(例如，901)中显示(1002a)应用的用户界面(例如，902、904、906)(例如，诸如应用的参考方法800所描述的用户界面或同一应用的与参考方法800所描述的用户界面相关联的不同用户界面)，其中多个交互式元素(例如，918a、910a、914a)对包括电子设备(例如，101)的用户的相应部分(例如，903a)从第一位姿到第二位姿的转变的输入做出响应(例如，被配置为响应于检测到该输入而执行相应操作)。在一些实施方案中，三维环境包括虚拟对象，诸如应用窗口、操作系统元素、其他用户的表示，和/或内容项，和/或电子设备的物理环境中的物理对象或区域的表示。在一些实施方案中，经由显示生成组件(例如，虚拟透传或视频透传)在三维环境中显示物理对象或区域的表示。在一些实施方案中，物理对象或区域的表示是电子设备的物理环境中的透过显示生成组件的透明部分可见的物理对象或区域的视图(例如，真透传或真实透传)。在一些实施方案中，电子设备在三维环境中与电子设备的物理位置和/或用户在电子设备的物理环境中的物理位置相对应的位置处从用户的视点显示三维环境。在一些实施方案中，三维环境被生成为、被显示为或以其他方式使得能够通过设备观看(例如，计算机生成的现实(XR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)。在一些实施方案中，用户界面包括多个交互式用户界面元素，该多个交互式用户界面元素在被选择时使得电子设备执行相应功能，诸如导航到用户界面的不同页面、发起或修改与用户界面的应用相关联的内容项的回放、执行关于与用户界面的应用相关联的内容项的其他动作、发起与一个或多个其他电子设备的通信，和/或改变应用或电子设备的设置。在一些实施方案中，应用是内容(例如，流传输、回放、库、共享)应用。在一些实施方案中，应用的用户界面是内容应用的扩展用户界面，并且上文参考方法800所描述的用户界面是与内容应用相关联的按比例缩小和/或微型用户界面(例如，内容应用的迷你播放器用户界面)。
在一些实施方案中，诸如在图9B中，当在三维环境(例如，901)中显示应用的用户界面(例如，902、904、906)时，在电子设备(例如，101)的用户的相应部分(例如，903a)(例如，手部、头部)未处于第一位姿(例如，与在经由用户的相应部分提供的用户输入之前的就绪状态相对应的相应位姿)的同时，并且在经由一个或多个输入设备(例如，314)(例如，被配置为检测用户的注意力的传感器，诸如眼睛跟踪设备或头部跟踪设备)检测到用户的注意力(例如，注视913a)指向应用的用户界面(例如，904)的同时，电子设备(例如，101)在应用的用户界面(例如，913a)中利用具有第一值的视觉特性显示(1002b)用户界面的多个交互式元素(例如，910a、910b)。在一些实施方案中，当用户的手部与在用户的一侧处相比升高时，用户的相应部分处于第一位姿。在一些实施方案中，当用户的手部在用户的一侧处时，用户的相应部分未处于第一位姿。在一些实施方案中，电子设备检测到处于不是第一位姿的位姿的用户的相应部分。在一些实施方案中，当用户的相应部分未处于第一位姿时，电子设备未检测到用户的相应部分(例如，因为用户的相应部分在检测用户的相应部分的位姿的输入设备(例如，手部跟踪设备)的范围外)。例如，当用户的手部的位置相对于用户的躯干处于三维环境的预定区域中时，该手部处于第一位姿。在一些实施方案中，预定义位姿与在检测到来自用户的相应部分的进一步输入之前检测到的就绪状态相关联。在一些实施方案中，检测到就绪状态包括检测到处于预定手部形状(诸如拇指在手部的另一手指的阈值距离(例如，0.1厘米、0.2厘米、0.3厘米、0.5厘米、1厘米、2厘米、3厘米或5厘米)内而不接触该另一手指的预捏合手部形状，或一个或多个手指伸展且一个或多个手指朝向手掌卷曲的指向手部形状)的用户的手部。在一些实施方案中，交互式元素的视觉特性是交互式元素与显示该交互式元素的容器用户界面元素(例如，背板、窗口、另一区域)之间的视觉分离量。在一些实施方案中，在利用具有第一值的视觉特性显示多个交互式元素的同时，交互式元素具有与容器用户界面元素的第一视觉分离量(例如，零或具有第一值的非零量)。
在一些实施方案中，当在应用的用户界面(例如，904)中利用具有第一值的视觉特性显示多个交互式元素(例如，910a、910b)时，并且在经由一个或多个输入设备(例如，314)检测到用户的注意力(例如，注视913a)指向应用的用户界面(例如，904)(诸如在图9B中)的同时，电子设备(例如，101)经由一个或多个输入设备(例如，314)检测到(1002c)处于第一位姿的用户的相应部分(例如，903a)，诸如在图9B中。在一些实施方案中，检测到处于第一位姿的用户的相应部分包括在相对于用户的躯干或肘部的预定义区域中检测到用户的手部，或在与电子设备通信的手部跟踪设备的范围内检测到用户的手部。
在一些实施方案中，诸如在图9C中，响应于检测到处于第一位姿的用户的相应部分(例如，903b)，并且在用户的注意力(例如，913a、913b、913c)指向应用的用户界面(例如，904、906)的同时，电子设备(例如，101)更新(1002d)用户界面以包括经由显示生成组件(例如，120)利用具有与第一值不同的第二值的视觉特性显示用户界面的多个交互式元素(例如，910a、910b、914a)。在一些实施方案中，交互式元素的视觉特性是交互式元素与显示该交互式元素的容器用户界面元素(例如，背板、窗口、另一区域)之间的视觉分离量。在一些实施方案中，在利用具有第二值的视觉特性显示多个交互式元素时，该交互式元素具有与容器用户界面元素的第二(例如，非零)视觉分离量，该第二视觉分离量大于在利用具有第一值的视觉特性显示交互式元素的同时与用于显示交互式元素的容器的视觉分离量。在一些实施方案中，视觉特性是用户界面元素的颜色，并且用户界面元素的颜色响应于检测到处于第一位姿的用户的相应部分而改变。在一些实施方案中，视觉特性是除非并且直到电子设备检测到处于第一位姿的用户的相应部分为止才呈现的动画。在一些实施方案中，视觉特性是用户界面元素的大小，并且电子设备响应于检测到处于第一位姿的用户的相应部分而改变(例如，增大或减小)用户界面元素的大小。在一些实施方案中，视觉特性是突出显示，并且电子设备在不突出显示的情况下显示用户界面元素，除非并且直到用户的相应部分处于第一位姿为止。
响应于检测到用户的相应部分的位姿的改变而更新用于显示交互式用户界面元素的视觉特性的值向用户提供了关于哪些元素在用户与用户界面交互的同时是可交互的视觉反馈，从而使得用户能够利用增强的视觉反馈更快且更高效地使用设备。
在一些实施方案中，当在三维环境(例如，901)中显示应用的用户界面(例如，902、904、906)时，并且在经由一个或多个输入设备(例如，314)(例如，眼睛跟踪设备)检测到用户的注意力(例如，913b)(例如，注视)指向应用的用户界面(例如，904)(例如，的相应交互式用户界面元素)的同时，电子设备(例如，101)经由一个或多个输入设备(例如，314)检测到(1004a)用户的相应部分(例如，手部903d)从第一位姿转变为第二位姿，诸如在图9D中。在一些实施方案中，第二位姿与对用户的注意力(例如，注视)所引导朝向的相应用户界面元素的选择相对应。在一些实施方案中，第二位姿是用户的手部处于拇指接触手部的另一手指的捏合手部形状或朝向该捏合手部形状移动。在一些实施方案中，第二位姿是用户的手部处于一个或多个手指伸展且一个或多个手指朝向手掌卷曲的指向手部形状，并且/或者伸展的手指移动到相应交互式用户界面元素并选择该相应交互式用户界面元素。
在一些实施方案中，诸如在图9D中，响应于检测到用户的相应部分(例如，手部903d)从第一位姿转变为第二位姿，电子设备(例如，101)执行(1004b)与检测到用户的相应部分(例如，手部903d)从第一位姿转变为第二位姿相对应的相应操作。在一些实施方案中，相应操作与当检测到第二位姿时用户的注意力(例如，注视)所指向的相应交互式用户界面元素相对应。例如，响应于在用户的注意力(例如，注视)指向用于播放相应内容项的选项的同时检测到用户的相应部分(例如，手部)的第二位姿，电子设备响应于检测到用户的相应部分(例如，手部)从第一位姿转变为第二位姿而发起相应内容项的回放。
响应于检测到用户的相应部分(例如，手部)的第二位姿而执行相应操作提供利用用户的相应部分继续与用户界面交互的高效方式，从而使得用户能够更快且更高效地使用设备。
在一些实施方案中，诸如在图9D中，根据确定当检测到用户的相应部分(例如，手部913d)从第一位姿转变为第二位姿时用户的注意力(例如，注视913b)指向多个交互式元素中的第一用户界面元素(例如，910c)，相应操作是与第一用户界面元素(例如，910c)相对应的第一操作(1006a)。例如，响应于在用户的注意力(例如，注视)指向与发起相应内容项相关联的用户界面元素的同时检测到用户的相应部分(例如，手部)从第一位姿转变为第二位姿，响应于检测到用户的相应部分转变为第二位姿，电子设备发起相应内容项的回放。
在一些实施方案中，诸如在图9D中，根据确定当检测到用户的相应部分(例如，手部903c)从第一位姿转变为第二位姿时用户的注意力(例如，注视913a)指向多个用户界面元素中的与第一用户界面元素不同的第二用户界面元素(例如，920)，相应操作是与第二用户界面元素(例如，920)相对应的不同于第一操作的第二操作(1006b)。例如，响应于在用户的注意力(例如，注视)指向与导航到用户界面中的相应页面相关联的用户界面元素的同时检测到用户的相应部分(例如，手部)从第一位姿转变为第二位姿，响应于检测到用户的相应部分转变为第二位姿，电子设备导航到用户界面中的相应页面。
在电子设备检测到用户的相应部分从第一位姿到第二位姿的转变时执行与用户的注意力所指向的用户界面元素相对应的操作提供了选择用户界面元素以使得电子设备执行动作的高效方式，从而使得用户能够快速且高效地使用电子设备。
在一些实施方案中，诸如在图9C中，视觉特性是与用户界面的多个交互式元素(例如，910a、914a)相对应的位置与三维环境(例如，901)中的用户的视点之间的距离(1008a)。
在一些实施方案中，诸如在图9B中，利用具有第一值的视觉特性显示用户界面(例如，904、906)的多个交互式元素(例如，910a、914a)包括在与距三维环境(例如，901)中的用户的视点的第一距离相对应的位置处显示用户界面的多个交互式元素(例如，910a、914a)(1008b)。在一些实施方案中，在与距用户的视点的第一距离相对应的位置处显示多个交互式元素包括在距用户的视点的距离与用户界面的背板相同的位置处显示多个交互式元素。例如，多个交互式元素表现为“平坦的”或在用户界面的背板的二维平面内，而利用具有第一值的视觉特性显示用户界面的多个交互式元素。
在一些实施方案中，诸如在图9C中，利用具有第二值的视觉特性显示用户界面(例如，904、906)的多个交互式元素(例如，910a、914a)包括在与距三维环境(例如，910)中的用户的视点的第二距离相对应的位置处显示用户界面(例如，904、906)的多个交互式元素(例如，901a、914a)，该第二距离小于第一距离(1008c)。在一些实施方案中，利用具有第二值的视觉特性显示多个交互式元素包括增加对应于交互式元素的位置与对应于用户界面的背板的位置之间的距离。例如，交互式元素表现为(例如，朝向用户的视点)“向前弹出”并且与用户界面的背板分离。在一些实施方案中，当将用户界面从利用具有第一值的视觉特性显示多个交互式元素更新为利用具有第二值的视觉特性显示多个交互式元素时，用户界面的背板与用户的视点保持相同的距离。
将交互式元素移动到与更靠近三维环境中的用户的视点的位置相对应的位置提供了向用户指示哪些元素是交互式的并且将对用户输入做出响应的高效方式，这增强了在使用电子设备的同时对用户的视觉反馈。
在一些实施方案中，诸如在图9A中，当在三维环境(例如，901)中显示应用的用户界面时，并且在用户的相应部分(例如，903a)未处于第一位姿的同时(1010a)，电子设备(例如，101)经由显示生成组件(例如，120)在用户界面中的第一位置处显示(1010b)用户界面(例如，904)的多个交互式元素(例如，910a)的第一部分。在一些实施方案中，在用户界面(例如，的容器、窗口等)的边缘处(例如，与用户界面的边界相邻)的第一位置处显示多个交互式元素的第一部分。
在一些实施方案中，诸如在图9A中，当在三维环境(例如，901)中显示应用的用户界面(例如，904)时，并且在用户的相应部分(例如，903a)未处于第一位姿的同时(1010a)，电子设备(例如，101)放弃(1010c)用户界面(例如，904)的超出用户界面(例如，904)的边界的多个交互式元素(例如，910)的第二部分的显示。在一些实施方案中，显示多个交互式元素，使得多个交互式元素的第二部分被用户界面(例如，的容器、窗口等)的边界“切断”。
在一些实施方案中，诸如在图9C中，响应于在用户的注意力(例如，注视913b)指向应用的用户界面(例如，904)的同时检测到处于第一位姿的用户的相应部分(例如，903b)(1010d)，电子设备(例如，101)经由显示生成组件(例如，120)在用户界面中与第一位置不同的第二位置处显示(1010e)用户界面的多个交互式元素(例如，910a)的第一部分。在一些实施方案中，第二位置比第一位置更远离在第一位置处显示交互式元素的用户界面的边界。例如，交互式元素朝向用户界面的中心移动。
在一些实施方案中，诸如在图9C中，响应于在用户的注意力(例如，903b)指向应用的用户界面的同时检测到处于第一位姿的用户的相应部分(例如，913b)(1010d)，电子设备(例如，101)经由显示生成组件(例如，120)在用户界面中显示(1010f)多个交互式元素(例如，910a、910b)的第二部分。在一些实施方案中，在第二位置处显示交互式元素使得电子设备能够显示交互式元素的第二部分(例如，显示整个交互式元素)。在一些实施方案中，电子设备还显示在第一位置处显示交互式元素的同时未被显示的多个附加交互式元素。
响应于检测到处于第一位姿的用户的相应部分而显示交互式元素的第二部分提供了在用户指示交互式元素可向用户界面提供输入时揭示该交互式元素的全部功能的高效方式，这使得用户能够利用增强的视觉反馈快速且高效地使用设备。
在一些实施方案中，诸如在图9B中，当在三维环境(例如，901)中显示应用的用户界面(例如，904)时，在用户的相应部分(例如，903a)未处于第一位姿的同时，电子设备(101)经由显示生成组件(例如，120)显示(1012a)用户界面的多个交互式元素中的相应用户界面元素(例如，920)，包括利用第一视觉强调量显示相应用户界面元素(例如，920)的相应部分，其中相应用户界面元素(例如，920)用于导航应用的用户界面(例如，904)的内容。在一些实施方案中，相应用户界面元素是滚动条。例如，用户界面包括按字母顺序排列的内容项列表，并且滚动条包括对与按字母顺序排列的列表的在用户界面中与滚动条的相应位置相对应的相应位置处可见的部分相对应的字母表中的字母的指示。在一些实施方案中，显示相应用户界面元素的相应部分包括在不相对于相应用户界面元素的其他部分强调相应部分的情况下显示相应用户界面元素。
在一些实施方案中，诸如在图9C中，响应于在用户的注意力(例如，注视913a)指向相应用户界面元素(例如，920)的相应部分(例如，924a)的同时检测到处于第一位姿的用户的相应部分(例如，903c)(1012b)，根据确定相应用户界面元素(例如，920)的相应部分是相应用户界面元素的第一部分(例如，924a)，电子设备(例如，101)经由显示生成组件(例如，120)利用大于第一量的第二视觉强调量显示(1012c)相应用户界面元素(例如，920)的第一部分(例如，924a)，并且经由显示生成组件(例如，120)利用第一视觉强调量显示相应用户界面元素的第二部分(例如，其余部分)。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第一部分包括相对于利用第一视觉强调量显示相应用户界面元素的第一部分的大小，增加相应用户界面元素的第一部分的大小(例如，增加相应用户界面元素的第一部分的大小)。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第一部分包括减小与相应用户界面元素的第一部分相对应的位置与用户的视点之间的距离(例如，将相应用户界面元素的第一部分移动得更靠近用户)。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第一部分包括利用与用于利用第一视觉强调量显示相应用户界面元素的第一部分的颜色不同的颜色显示相应用户界面元素的第一部分(例如，改变相应用户界面元素的第一部分的颜色(改变为更亮、更浅、更暗等的颜色))。在一些实施方案中，电子设备经由一个或多个输入设备(例如，眼睛跟踪设备)检测用户的注意力(例如，注视)。
在一些实施方案中，诸如在图9D中，响应于在用户的注意力(例如，注视913a)指向相应用户界面元素(例如，920)的相应部分的同时检测到处于第一位姿的用户的相应部分(例如，903c)(1012b)，根据确定相应用户界面元素的相应部分是相应用户界面元素的第二部分(例如，924b)，电子设备(例如，101)经由显示生成组件(例如，120)利用第二视觉强调量显示(1012d)相应用户界面元素(例如，920)的第二部分，并且电子设备(例如，101)经由显示生成组件(例如，120)利用第一视觉强调量显示相应用户界面元素(例如，920)的第一部分。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第二部分包括相对于利用第一视觉强调量显示相应用户界面元素的第二部分的大小，增加相应用户界面元素的第二部分的大小(例如，增加相应用户界面元素的第二部分的大小)。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第二部分包括相对于与相应用户界面元素的第二部分相对应的位置与利用第一视觉强调量显示相应用户界面元素的第二部分的用户的视点之间的距离，减小与相应用户界面元素的第二部分相对应的位置与用户的视点之间的距离(例如，将相应用户界面元素的第二部分移动得更靠近用户)。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第二部分包括利用与用于利用第一视觉强调量显示相应用户界面元素的第二部分的颜色不同的颜色显示相应用户界面元素的第二部分(例如，改变相应用户界面元素的第二部分的颜色(改变为更亮、更浅、更暗等的颜色))。在一些实施方案中，响应于检测到处于预定义位姿的用户的相应部分，电子设备增加用户的注意力(例如，注视)所指向的相应用户界面元素的部分的视觉强调量。在一些实施方案中，响应于在利用第二视觉强调量显示相应用户界面元素的相应部分的同时检测到指向相应用户界面元素的选择输入，电子设备将用户界面导航到与用户界面元素的相应部分相对应的位置，并且利用第一视觉强调量显示相应用户界面元素的相应部分(例如，以及所有部分)。例如，如果图9D中的用户的注视913a指向字母滚动条920的不同部分(例如，诸如字母“S”)，则电子设备以显示部分920的方式显示字母滚动条922的另一部分，并且以与字母滚动条920的另一部分相同的风格在部分922中显示一个或多个字母(例如，字母“A”)。在视觉上强调用户的注意力所指向的相应用户界面元素的相应部分向用户提供了指示进一步输入将指向的相应用户界面元素的部分的增强的视觉反馈，从而使得用户能够以较少错误更快且更高效地使用设备。
在一些实施方案中，诸如在图9C中，当在三维环境(例如，910)中显示应用的用户界面(例如，904)包括利用第二视觉强调量显示相应用户界面元素(例如，920)的相应部分(例如，924a)时(1014a)，电子设备(例如，101)经由一个或多个输入设备(例如，314)在用户的相应部分(例如，903c)处于相应形状(例如，第一位姿或第二位姿)的同时检测到(1014a)用户的相应部分(例如，903c)的移动。例如，电子设备经由一个或多个输入设备(例如，手部跟踪设备)在用户的手部处于拇指接触手部的另一手指的捏合手部形状的同时，或者当该手部处于在该手部在相应用户界面元素的预定阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米、30厘米或50厘米)内的同时一个或多个手指伸展且一个或多个手指朝向手掌卷曲的指向手部形状时，检测到该手部的移动。
在一些实施方案中，诸如在图9D中，当在三维环境(例如，901)中显示应用的用户界面(例如，904)包括利用第二视觉强调量显示相应用户界面元素(例如，920)的相应部分时(1014a)，响应于在用户的相应部分(例如，903c)处于相应形状的同时检测到用户的相应部分(例如，903c)的移动，电子设备(例如，101)更新(1014c)相应用户界面元素(例如，920)的显示以经由显示生成组件(例如，120)根据用户的相应部分(例如，903c)的移动利用第二视觉强调量显示相应用户界面元素(例如，920)的第三部分(例如，并且利用第一视觉强调量显示相应用户界面元素的相应部分)。在一些实施方案中，利用第二视觉强调量显示相应用户界面元素的第三部分包括上文关于相应用户界面元素的第一部分和第二部分所描述的技术中的一者或多者(例如，更新与用户的视点的距离、相应用户界面元素的第三部分的大小和/或颜色)。在一些实施方案中，相应用户界面元素的第三部分与相应用户界面元素的相应部分具有与用户的相应部分的移动相对应的空间关系。在一些实施方案中，相应用户界面元素的第三部分位于从相应用户界面元素的相应部分起与用户的相应部分的移动方向相对应的方向上。在一些实施方案中，相应用户界面元素的第三部分位于距相应用户界面元素的相应部分一定距离处，该距离与用户的相应部分的移动(例如，的速度、距离、持续时间等)相对应。在一些实施方案中，响应于在利用第二视觉强调量显示相应用户界面元素的第三部分的同时检测到指向相应用户界面元素的选择输入，电子设备将用户界面导航到与用户界面元素的第三部分相对应的位置，并且利用第一视觉强调量显示相应用户界面元素的第三部分(例如，以及所有部分)。
响应于检测到用户的相应部分的移动而在视觉上强调相应用户界面元素的第三部分提供了使得用户能够细化进一步输入所引导朝向的相应用户界面元素的部分的高效方式，从而使得用户能够以较少错误和增强的视觉反馈更快且更高效地使用电子设备。
在一些实施方案中，诸如在图9D中，在用户的相应部分(例如，903d)处于第一位姿的同时(1016a)，根据(例如，通过经由一个或多个输入设备(例如，眼睛跟踪设备)检测确定用户的注意力(例如，注视913b)指向多个交互式元素(例如，910a、910b)中的第一用户界面元素(例如，910c)，电子设备(例如，101)经由显示生成组件(例如，120)利用具有(例如，与第一值和第二值不同的、与第二值相同的)第三值的视觉特性显示(1016b)第一用户界面元素(例如，910c)，并且经由显示生成组件(例如，120)利用具有与第三值不同(例如，与第一值或第二值相同)的第四值的视觉特性显示多个交互式元素(例如，910a、910b、910c)中的第二用户界面元素(例如，910a)。在一些实施方案中，视觉特性是与交互式元素相对应的位置与用户的视点之间的距离，或相应用户界面元素与另一用户界面元素之间的视觉分离量。在一些实施方案中，利用具有第二值的视觉特性显示交互式元素包括将交互式元素移动得比在利用具有第一值的视觉特性显示该交互式元素时更靠近用户的视点。在一些实施方案中，响应于检测到用户的注意力指向第一用户界面元素，电子设备将第一用户界面元素移动得更靠近用户的视点，并且将其他元素与用户的视点之间的距离保持在与视觉特性的第二值相对应的位置处，或者将其他元素移动回到与视觉特性的第一值相对应的位置，或移动回到比与视觉特性的第二值相对应的距离更远离用户的视点的某个其他距离。在一些实施方案中，响应于检测到用户的注意力指向第一用户界面元素，电子设备将第一用户界面元素距用户视点的距离保持在与视觉特性的第二值相对应的距离处，并且将其他用户界面元素移动回到与视觉特性的第一值相对应的距离，或移动回到比与视觉特性的第二值相对应的距离更远离用户视点的另一距离。
在一些实施方案中，在用户的相应部分处于第一位姿的同时(1016a)，根据确定用户的注意力(例如，注视)指向第二用户界面元素，电子设备(例如，101)经由显示生成组件利用具有第三值的视觉特性显示(1016c)第二用户界面元素，并且经由显示生成组件利用具有第四值的视觉特性显示第一用户界面元素，例如，诸如响应于检测到指向不同用户界面元素(例如，910a)的用户的注视而利用注视913b在图9D中所指向的用户界面元素910c的视觉特性显示不同用户界面元素(例如，910a)。在一些实施方案中，视觉特性是与交互式元素相对应的位置与用户的视点之间的距离，或相应用户界面元素与另一用户界面元素之间的视觉分离量。在一些实施方案中，利用具有第二值的视觉特性显示交互式元素包括将交互式元素移动得比在利用具有第一值的视觉特性显示该交互式元素时更靠近用户的视点。在一些实施方案中，响应于检测到用户的注意力指向第二用户界面元素，电子设备将第二用户界面元素移动得更靠近用户的视点，并且将其他元素与用户的视点之间的距离保持在与视觉特性的第二值相对应的位置处，或者将其他元素移动回到与视觉特性的第一值相对应的位置，或移动回到比与视觉特性的第二值相对应的距离更远离用户的视点的某个其他距离。在一些实施方案中，响应于检测到用户的注意力指向第二用户界面元素，电子设备将第二用户界面元素距用户视点的距离保持在与视觉特性的第二值相对应的距离处，并且将其他用户界面元素移动回到与视觉特性的第一值相对应的距离，或移动回到比与视觉特性的第二值相对应的距离更远离用户视点的另一距离。
利用具有第三值的视觉特性显示用户的注意力(例如，注视)所指向的交互式元素向用户提供了指示进一步输入将指向哪个用户界面元素的增强的视觉反馈，从而使得用户能够以较少错误快速且高效地使用电子设备。
在一些实施方案中，诸如在图9D中，响应于检测到处于第一位姿的用户的相应部分(例如，903d)(例如，手部)(1018a)，根据确定用户的注意力(例如，注视913b)指向用户界面(例如，904)的第一区域(例如，904)(例如，用户界面元素或容器，诸如窗口、背板或转盘)(1018b)，电子设备(例如，101)经由显示生成组件(例如，120)利用具有第二值的视觉特性在用户界面的第一区域中显示(1018c)第一多个交互式元素(例如，910a、910b)。在一些实施方案中，电子设备利用具有第二值的视觉特性在第一区域内显示第一多个交互式元素，因为用户的注意力指向第一区域。在一些实施方案中，在电子设备未检测到处于第一位姿的用户的相应部分的同时，电子设备利用具有第一值的视觉特性在用户的注视所指向的区域内显示第一多个交互式元素。
在一些实施方案中，诸如在图9D中，响应于检测到处于第一位姿的用户的相应部分(例如，手部903d)(1018a)，根据确定用户的注意力(例如，注视913b)指向用户界面(例如，904)的第一区域(例如，904)(例如，用户界面元素或容器，诸如窗口、背板或转盘)(1018b)，电子设备(例如，101)经由显示生成组件(例如，120)利用具有第一值的视觉特性在用户界面的与第一区域(例如，904)不同的第二区域(例如，906)(例如，用户界面元素或容器，诸如窗口、背板或转盘)中显示(1018d)第二多个交互式元素(例如，914a、914b)。在一些实施方案中，在电子设备未检测到处于第一位姿的用户的相应部分的同时，电子设备利用具有第一值的视觉特性在用户的注视未指向的区域内显示第二多个交互式元素。在一些实施方案中，电子设备保持利用具有第一值的视觉特性在第二区域内对第二多个交互式元素的显示，因为用户的注视未指向第二区域。
在一些实施方案中，诸如在图9C中，响应于检测到处于第一位姿的用户的相应部分(例如，手部903b)(1018a)，根据确定用户的注意力(例如，注视913c)指向用户界面的第二区域(例如，906)(1018e)，电子设备(例如，101)经由显示生成组件(例如，120)利用具有第二值的视觉特性显示(1018f)第二多个交互式元素(例如，914a、914b)。在一些实施方案中，电子设备利用具有第二值的视觉特性显示第二多个交互式元素，因为用户的注意力指向第二区域。在一些实施方案中，在电子设备未检测到处于第一位姿的用户的相应部分的同时，电子设备利用具有第一值的视觉特性显示第二多个交互式元素。
在一些实施方案中，诸如在图9C中，响应于检测到处于第一位姿的用户的相应部分(例如，手部903b)(1018a)，根据确定用户的注意力(例如，注视913c)指向用户界面的第二区域(例如，906)(1018e)，电子设备(例如，101)经由显示生成组件(例如，120)利用具有第一值的视觉特性显示(1018g)第一多个交互式元素(例如，910a、910b、910c)，诸如在图9B中。在一些实施方案中，在电子设备未检测到处于第一位姿的用户的相应部分的同时，电子设备利用具有第一值的视觉特性显示第一多个交互式元素。在一些实施方案中，电子设备保持利用具有第一值的视觉特性对第一多个交互式元素的显示，因为用户的注视未指向第一区域。在一些实施方案中，响应于检测到处于第一位姿的用户的相应部分，电子设备保持利用第一视觉特性在用户的注意力未指向的用户界面的区域中对交互式元素的显示，并且利用具有第二值的视觉特性在用户的注意力所指向的区域中显示交互式元素。
更新用户的注意力所指向的区域中的用户界面元素的视觉特性并且保持用户的注意力未指向的区域中的用户界面元素的视觉特性向用户提供了增强的视觉反馈，这使得用户能够以较少错误和干扰更快且更高效地使用电子设备。
在一些实施方案中，诸如在图9C中，在利用具有第二值的视觉特性显示用户界面(例如，904)的多个交互式元素(例如，910a、910b、910c)的同时(1020a)，电子设备(例如，101)经由一个或多个输入设备接收(1020b)由用户的相应部分(例如，眼睛(注视913b)、手部903b)提供的指向多个交互式元素(例如，910a、910b、910c)中的相应用户界面元素(例如，910c)的输入的至少一部分。在一些实施方案中，输入包括在用户的手部执行预定义手势(诸如拇指接触手部的另一手指的捏合手势，或一个或多个伸展手指移动以接触用户界面中与相应用户界面元素相对应或与输入(例如，远程空中手势输入的视觉指示)相对应的位置的按压手势)的同时用户的注视指向相应用户界面元素。在一些实施方案中，检测到输入的一部分包括检测到指向相应用户界面元素的用户的注视中的一者或多者以及检测到用户的手部的预定义位姿，诸如拇指在手部的另一手指的预定义阈值(例如，0.1厘米、0.2厘米、0.3厘米、0.5厘米、1厘米、2厘米、3厘米或5厘米)内而不接触该手指的预捏合形状，或一个或多个手指伸展且一个或多个手指朝向手掌卷曲的指向形状。在一些实施方案中，电子设备标识输入的一部分所引导朝向的相应用户界面元素，因为用户的注视指向相应用户界面元素，或因为用户的手部在相应用户界面元素的预定义阈值距离(例如，1厘米、2厘米、3厘米、5厘米、10厘米、15厘米、30厘米或50厘米)内。
在一些实施方案中，诸如在图9C中，在利用具有第二值的视觉特性显示用户界面的多个交互式元素(例如，910a、910b、910c)的同时(1020a)，响应于接收到指向相应用户界面元素(例如，910c)的输入的至少一部分(1020c)，根据确定相应用户界面元素是第一相应用户界面元素(例如，910c)，电子设备(例如，101)经由显示生成组件(例如，120)显示(1020d)与相应第一相应用户界面元素(例如，932)相关联的第一视觉指示(例如，926)，而不显示与多个交互式元素中的第二相应用户界面元素(例如，914a)相关联的第二视觉指示(例如，934a)。在一些实施方案中，第一视觉指示是第一相应用户界面元素后方的背板或虚拟阴影、第一相应用户界面元素周围的轮廓，和/或被显示为覆盖在第一相应用户界面元素上的一个或多个可选择选项，该一个或多个可选择选项可被选择以执行与第一相应用户界面元素相关的一个或多个动作。例如，第一相应用户界面元素是内容项的表示，可选择选项是用于发起内容项的回放的选项以及用于显示与内容项相关的动作(例如，添加到内容库/从内容库移除、添加到播放列表或回放队列、观看与内容项相关的用户界面等)的菜单的选项。
在一些实施方案中，诸如在图9C中，在利用具有第二值的视觉特性显示用户界面(例如，906)的多个交互式元素(例如，914b、914c)的同时(1020a)，响应于接收到指向相应用户界面元素的输入的至少一部分(1020c)，根据确定相应用户界面元素是第二相应用户界面元素(例如，914a)，电子设备(例如，101)经由显示生成组件显示(1020d)第二视觉指示(例如，934a)而不显示第一视觉指示(例如，932)。在一些实施方案中，第二视觉指示是第二相应用户界面元素后方的背板或虚拟阴影、第二相应用户界面元素周围的轮廓，和/或被显示为覆盖在第二相应用户界面元素上的一个或多个可选择选项，该一个或多个可选择选项可被选择以执行与第二相应用户界面元素相关的一个或多个动作。
显示与输入的一部分所指向的交互式元素相关联的视觉指示向用户提供了增强的视觉反馈，即提供输入的其余部分将使输入指向相应用户界面元素，从而使得用户能够以较少错误更快且更高效地使用设备。
在一些实施方案中，诸如在图9C中，第一用户界面元素(例如，910c)和第二用户界面元素(例如，910a)是可选择按钮(1022a)。在一些实施方案中，响应于检测到对第一用户界面元素的选择，电子设备执行与第一用户界面元素相关联的第一动作。例如，响应于检测到对第一用户界面元素的选择，电子设备发起与第一用户界面元素相关联的内容项的回放。在一些实施方案中，响应于检测到对第二用户界面元素的选择，电子设备执行与第二用户界面元素相关联的第二动作。例如，响应于检测到对第二用户界面元素的选择，电子设备从当前播放的内容项跳到回放队列中的下一内容项。
在一些实施方案中，诸如在图9C中，在三维环境(例如，901)中的一定位置处显示第一视觉指示(例如，932)，使得在第一视觉指示(例如，932)与三维环境(例如，901)中的用户的视点之间显示第一相应用户界面元素(例如，910c)(1022b)。在一些实施方案中，第一相应用户界面元素是从三维环境中的用户的视点来看显示在第一用户界面元素后方并且在视觉上与该第一用户界面元素分离的背板、转盘或虚拟阴影。
在一些实施方案中，诸如在图9C中，在三维环境中的一定位置处显示第二视觉指示，使得在第二视觉指示与三维环境(例如，901)中的用户的视点之间显示第二相应用户界面元素(例如，910b)(1022c)。在一些实施方案中，第二相应用户界面元素是从三维环境中的用户的视点来看显示在第二用户界面元素后方并且在视觉上与该第二用户界面元素分离的背板、转盘或虚拟阴影。
在作为可选择按钮的用户界面元素后方显示视觉指示向用户提供了指示用户界面元素是可选择的增强的视觉反馈，从而使得用户能够利用增强的视觉反馈更快且更高效地使用电子设备。
在一些实施方案中，诸如在图9C中，第一用户界面元素(例如，914a)是搓擦条，该搓擦条控制当前在电子设备上播放的内容项的回放并且在输入的至少一部分指向搓擦条(例如，914a)之前不包括对内容项的回放时间的指示，并且第一视觉指示(例如，934a)是对当前在电子设备上播放的内容项的回放时间的指示(1024)。在一些实施方案中，搓擦条包括在沿着搓擦条的与内容项的当前回放定位相对应的定位处的指示。在一些实施方案中，在内容项播放时，对搓擦条的指示根据内容项的回放定位的前进而移动。在一些实施方案中，响应于选择和移动对搓擦条的指示的输入，电子设备更新内容项的回放定位，并且一旦内容项(例如，响应于对播放内容项的输入，在没有附加输入的情况下移动对搓擦条的指示的输入结束时)正在播放，电子设备就从与对搓擦条的指示的更新后的定位相对应的回放定位恢复内容项的回放。在一些实施方案中，对回放时间的指示指示内容项的当前回放定位从内容项的开始所经过的时间和/或内容项从当前回放定位直到内容项的结束为止所剩余的持续时间。在一些实施方案中，电子设备放弃对回放时间的指示的显示，除非并且直到检测到指向搓擦条的输入的一部分为止。
响应于指向搓擦条的输入的一部分而显示对内容项的回放时间的指示提供了呈现与搓擦条相关的附加细节的高效方式，从而使得用户能够以减少的虚拟混乱快速且高效地获得信息，除非并且直到指向搓擦条的输入的该部分被接收为止。
在一些实施方案中，诸如在图9D中，在利用具有第二值的视觉特性显示多个交互式元素的同时，电子设备(例如，101)经由一个或多个输入设备(例如，314)接收(1026a)指向多个交互式元素(例如，910a、910b、910c)中的相应用户界面元素(例如，910c)的输入，该输入包括用户的相应部分(例如，手部903d)转变为第二位姿以及用户的相应部分(例如，手部903d)在处于第二位姿时的移动。在一些实施方案中，检测到手部的相应部分的第二位姿包括检测上述捏合手部形状。在一些实施方案中，检测到手部的相应部分的第二位姿包括在与相应用户界面元素相对应的位置的阈值距离内的一定位置处检测到上述指向手部形状。
在一些实施方案中，诸如在图9E中，响应于接收到指向相应用户界面元素(例如，910c)的输入，电子设备(例如，101)根据用户的相应部分(例如，903d)的移动在三维环境(例如，901)中移动(1026b)相应用户界面元素(例如，910c)。在一些实施方案中，电子设备在与移动方向相对应的方向上并且以与移动(例如，的速度、持续时间、距离等)的量相对应的量移动相应用户界面元素。在一些实施方案中，电子设备利用具有第一值的视觉特性显示未被移动的一个或多个其他用户界面元素。在一些实施方案中，电子设备利用具有第二值的视觉特性显示未被移动的一个或多个其他用户界面元素。
根据用户的相应部分的移动来移动相应用户界面元素在用户与相应用户界面元素交互的同时提供了增强的视觉反馈，从而通过增强的视觉反馈来减少用户的认知负担。
在一些实施方案中，诸如在图9E中，应用的用户界面包括应用的内容部分(例如，904)，并且三维环境(例如，901)还包括应用的第二用户界面，该第二用户界面包括应用的媒体播放器部分(例如，906)。在一些实施方案中，应用的内容部分包括可用于经由应用回放的内容项的表示。在一些实施方案中，响应于检测到对表示中的一个表示的选择，电子设备发起与该表示相对应的内容项的回放，并且更新媒体播放器部分以包括正在播放与该表示相对应的内容项的指示。在一些实施方案中，应用的媒体播放器部分包括一个或多个可选择元素，该一个或多个可选择元素用于修改当前在电子设备上播放的内容项的回放和/或关于当前播放或被包括在电子设备的回放队列或播放列表中的内容项的信息。
在一些实施方案中，诸如在图9C中，在接收到指向相应用户界面元素(例如，910a)的输入之前，电子设备(例如，101)经由显示生成组件(例如，120)利用第一外观显示(1028b)第二用户界面(例如，906)。在一些实施方案中，利用第一外观显示第二用户界面包括显示用于修改当前在电子设备上播放的内容项的回放的一个或多个可选择选项，诸如用于在回放队列中向前跳或向后跳的选项、用于播放/暂停内容的选项、用于调整内容项的音频的音量的选项，和/或搓擦条。在一些实施方案中，利用第一外观显示第二用户界面包括放弃用于将与相应用户界面元素相对应的相应内容项添加到播放列表的交互式元素的显示、用于将相应内容项添加到电子设备的回放队列的交互式元素的显示，以及对回放队列中的内容项的指示的显示。
在一些实施方案中，诸如在图9E中，响应于接收到指向相应用户界面元素(例如，910c)的输入，电子设备(例如，101)经由显示生成组件(例如，120)利用与第一外观不同的第二外观显示(1028c)第二用户界面(例如，906)。在一些实施方案中，利用第二外观显示第二用户界面包括显示用于将与相应用户界面元素相对应的相应内容项添加到播放列表的交互式元素、用于将相应内容项添加到电子设备的回放队列的交互式元素，以及对回放队列中的内容项的指示。在一些实施方案中，利用第二外观显示第二用户界面包括放弃用于修改当前在电子设备上播放的内容项的回放的一个或多个可选择选项(诸如用于在回放队列中向前跳或向后跳的选项、用于播放/暂停内容的选项、用于调整内容项的音频的音量的选项，和/或搓擦条)的显示。
响应于输入而更新第二用户界面的外观向用户提供了指示响应于该输入而与相应用户界面元素和第二用户界面的可能交互并且在该输入未被接收时提供其他内容的增强的视觉反馈，从而通过呈现与由用户提供的输入相关的信息来增强与电子设备的用户交互。
在一些实施方案中，诸如在图9E中，利用第二外观显示第二用户界面(例如，906)包括经由显示生成组件(例如，120)显示回放队列，该回放队列包括对排队等待经由与电子设备(例如，101)相关联的输出设备回放的内容项的指示(例如，940a、940b、940c)(1030a)。在一些实施方案中，对内容项的指示包括标识内容项的文本和/或图像。在一些实施方案中，响应于指向表示中的一个表示的输入，电子设备发起更新与输入所指向的表示相对应的内容项在队列中的定位的过程。在一些实施方案中，利用第二外观显示第二用户界面还包括显示交互式元素，该交互式元素响应于相应用户界面元素被拖动到该交互式元素而使得电子设备将与相应用户界面元素相对应的内容项添加到回放队列。
在一些实施方案中，利用第一外观显示第二用户界面包括放弃回放队列的显示(1030b)。在一些实施方案中，利用第一外观显示第二用户界面包括显示可选择选项，该可选择选项在被选择时使得电子设备(例如，在未接收到如上所述的指向相应用户界面元素的输入的情况下)利用第二外观显示第二用户界面。响应于指向相应用户界面元素的输入而显示回放队列提供了用于将与相应用户界面元素相关联的内容项添加到回放队列的增强的视觉反馈，从而减少了将内容项添加到回放队列所需的时间和输入。
在一些实施方案中，诸如在图9E中，利用第二外观显示第二用户界面(例如，906)包括经由显示生成组件(例如，120)显示对可经由应用访问的内容项集合(例如，播放列表)的指示(例如，938b)(1032a)。在一些实施方案中，响应于检测到指向相应用户界面元素的输入包括将相应用户界面元素移动到三维环境中与对内容项集合的指示相对应的位置，电子设备将与相应用户界面元素相对应的内容项添加到内容项集合。在一些实施方案中，内容项集合是包括由用户选择以包括在播放列表中的多个内容项的播放列表。
在一些实施方案中，诸如在图9C中，利用第一外观显示用户界面的第二区域包括放弃对内容项集合的指示的显示(1032b)。在一些实施方案中，利用第一外观显示第二用户界面包括显示可选择选项，该可选择选项在被选择时使得电子设备(例如，在未接收到如上所述的指向相应用户界面元素的输入的情况下)利用第二外观显示第二用户界面。
响应于指向相应用户界面元素的输入而显示对内容项集合的指示提供了用于将与相应用户界面元素相关联的内容项添加到内容项集合的增强的视觉反馈，从而减少了将内容项添加到内容项集合所需的时间和输入。
在一些实施方案中，诸如在图9E中，利用第二外观显示第二用户界面(例如，906)包括经由显示生成组件(例如，120)显示播放列表创建元素(例如，938a)(1034a)。
在一些实施方案中，诸如在图9C中，利用第一外观显示第二用户界面(例如，906)包括放弃播放列表创建元素(例如，图9F中的938a)的显示(1034b)。
在一些实施方案中，诸如在图9E中，在利用第二外观显示第二用户界面(例如，906)的同时，响应于接收到指向相应用户界面元素(例如，910)的输入，根据确定用户的相应部分(例如，903d)的移动与将相应用户界面元素(例如，910c)移动到播放列表创建元素(例如，938a)的位置相对应，电子设备(例如，101)创建(1034c)包括与相应用户界面元素(例如，910c)相对应的内容项的播放列表。在一些实施方案中，在创建包括内容项的播放列表之后，电子设备经由显示生成组件在具有第二外观的第二用户界面中显示对新播放列表的指示。在一些实施方案中，对新播放列表的指示是交互式的，以使得电子设备响应于检测到与对将对应于内容项的用户界面元素拖动到对应于对播放列表的指示的位置的请求相对应的输入而将附加内容项添加到播放列表。
响应于指向相应用户界面元素的输入而显示播放列表创建元素提供了用于将与相应用户界面元素相关联的内容项添加到新播放列表的增强的视觉反馈，从而减少了将内容项添加到新播放列表所需的时间和输入。
在一些实施方案中，诸如在图9E中，在指向相应用户界面元素(例如，910c)的输入期间(1036a)，响应于在检测到处于第二位姿的用户的相应部分的移动之前检测到处于第二位姿的用户的相应部分(例如，903d)，电子设备(例如，101)经由显示生成组件(例如，120)利用第一外观显示(1036b)第二用户界面(例如，906)。在一些实施方案中，电子设备响应于在检测到用户的相应部分的移动之前检测到输入的开始而更新第二用户界面。
在一些实施方案中，诸如在图9E中，在指向相应用户界面元素(例如，910c)的输入期间(1036a)，响应于检测到处于第二位姿的用户的相应部分(例如，903d)的移动，电子设备(例如，101)经由显示生成组件(例如，120)利用第二外观显示(1036c)第二用户界面(例如，906)。在一些实施方案中，响应于在提供指向相应用户界面元素的输入的同时检测到用户的相应部分的移动，电子设备保持具有第二外观的第二用户界面的显示。在一些实施方案中，电子设备响应于检测到处于第二位姿的用户的相应部分的移动而更新待利用第二外观显示的第二用户界面，即使当该移动不与将相应用户界面元素移动到第二用户界面相对应时也是如此。响应于在检测到用户的相应部分的移动之前检测到处于第二位姿的用户的相应部分而更新待利用第二外观显示的第二用户界面向用户提供了增强的视觉反馈，即，将相应用户界面元素移动到具有第二外观的第二用户界面将使得执行动作，从而增强对用户的视觉反馈并且使得用户能够快速且高效地使用电子设备。
在一些实施方案中，诸如在图9D中，在指向相应用户界面元素的输入期间(1038a)，根据确定用户的相应部分(例如，手部903d)的移动与相应用户界面元素(例如，910c)到第二用户界面(例如，906)之外的位置(例如，在第一用户界面内，到与第一用户界面或第二用户界面不同的位置)的移动相对应，电子设备(例如，101)利用第一外观显示(1038b)第二用户界面(例如，906)；并且在一些实施方案中，电子设备在用户的相应部分的移动与将相应用户界面元素移动到与第二用户界面不同的位置相对应的同时，保持具有第一外观的第二用户界面的显示。
在一些实施方案中，诸如在图9F中，在指向相应用户界面元素(例如，910c)的输入期间(1038a)，根据确定用户的相应部分(例如，903d)的移动与相应用户界面元素(例如，910c)到第二用户界面(例如，906)内的位置的移动相对应，电子设备(例如，101)利用第二外观显示(1038c)第二用户界面(例如，906)。在一些实施方案中，电子设备保持具有第一外观的第二用户界面的显示，除非并且直到用户的相应部分的移动与将相应用户界面元素移动到第二用户界面内的位置相对应为止。
响应于检测到用户的相应部分的移动与将相应用户界面元素移动到第二用户界面相对应而更新待利用第二外观显示的第二用户界面提供了保留具有第一外观的第二用户界面的显示除非并且直到相应用户界面元素被移动到第二用户界面为止的高效方式，从而使得用户能够通过在提供指向相应用户界面元素的输入的同时继续观看第二用户界面来快速且高效地使用电子设备。
在一些实施方案中，诸如在图9D中，在检测到指向相应用户界面元素(例如，910c)的输入之前，电子设备(例如，101)利用第一外观显示(1040a)相应用户界面元素(例如，910c)。在一些实施方案中，利用第一外观显示相应用户界面元素包括显示对应于与相应用户界面元素相关联的相应内容项的图像，而不显示对内容项的特性的视觉指示。例如，内容项是专辑，并且视觉特性是对被包括在专辑中的歌曲数量的指示。
在一些实施方案中，诸如在图9E中，响应于检测到指向相应用户界面元素(例如，910c)的输入，电子设备(例如，101)利用与第一外观不同的第二外观显示(1040b)相应用户界面元素(例如，910c)。在一些实施方案中，利用第二外观显示相应用户界面元素包括显示对应于与相应用户界面元素相关联的相应内容项的图像，对内容项的特性的视觉指示至少部分地覆盖在该图像上。例如，内容项是专辑，并且视觉特性是对被包括在专辑中的歌曲数量的指示。在一些实施方案中，电子设备响应于在检测到用户的相应部分的移动之前接收到对相应用户界面元素的选择而更新相应用户界面元素的外观。在一些实施方案中，电子设备响应于在检测到对相应用户界面元素的选择之后检测到用户的相应部分的移动而更新相应用户界面元素的外观。
响应于检测到指向相应用户界面元素的输入而更新相应用户界面元素的外观向用户提供了指示关于将响应于进一步输入而执行的操作的信息的增强的视觉反馈，从而使得用户能够利用增强的视觉反馈快速且高效地使用电子设备。
在一些实施方案中，诸如在图9B中，电子设备(例如，101)在用户界面中显示(1042)用户界面的在用户界面与三维环境的围绕用户界面的一部分之间具有相应边界的相应区域(例如，904)(例如，容器、窗口、背板等)，其中多个交互式元素(例如，910a、910b)被包含在用户界面的相应边界内，并且用户界面的相应区域包括延伸超出相应边界的相应元素(例如，908)((例如，不可选择元素)。在一些实施方案中，相应元素是与可经由应用访问的内容项相对应的图像或其他内容。在一些实施方案中，相应元素与基于用户的内容消费历史和/或应用的多个用户(例如，其他电子设备的用户)的内容消费历史来选择的内容项相对应。在一些实施方案中，在交互式元素后方显示相应元素。
超出用户界面的相应区域的相应边界呈现相应元素提供了对整个相应元素的访问，即使该相应元素不适合在用户界面的相应区域的相应边界内也是如此，从而使得用户能够快速且高效地观看用户界面的更多内容。
在一些实施方案中，诸如在图9B中，相应元素(例如，908)是三维元素(1044)。在一些实施方案中，相应元素是三维图像。在一些实施方案中，三维元素与可经由应用访问的一个或多个内容项相关联。在一些实施方案中，相应元素或相应元素的一部分在用户界面的相应区域的相应边界与三维环境中的用户的视点之间(例如，相应元素消耗三维环境中的非零体积)。
超出用户界面的相应区域的相应边界呈现三维元素提供了对整个相应元素的访问，即使该相应元素不适合在用户界面的相应区域的相应边界内也是如此，从而使得用户能够快速且高效地观看用户界面的更多内容。
在一些实施方案中，诸如在图9A中，当三维环境(例如，901)中的用户的视点在三维环境中的第一位置处时，电子设备(例如，101)经由显示生成组件(例如，120)根据在第一位置处的视点利用第一视角显示(1046a)相应元素(例如，908)的第一部分，而不显示相应元素(例如，908)的第二部分。在一些实施方案中，电子设备利用视差效果显示相应元素，该视差效果包括从第一视角呈现相应元素的第一部分而不呈现相应元素的第二部分。在一些实施方案中，电子设备利用视差效果呈现多个三维元素。在一些实施方案中，电子设备利用视差效果呈现多个不可选择元素。在一些实施方案中，第一视角是基于三维环境中的用户的视点相对于相应元素的位姿(例如，位置和取向)。
在一些实施方案中，诸如在图9A中，当三维环境(例如，901)中的用户的视点在三维环境(例如，901)中与第一位置不同的第二位置处时，电子设备(例如，101)经由显示生成组件(例如，120)根据在第二位置处的视点利用与第二视角不同的第二视角显示(1046b)相应元素(例如，908)的第一部分和相应元素(例如，908)的第二部分。在一些实施方案中，在用户的视点具有第一位姿的同时，电子设备从第一视角呈现相应元素的第一部分而不显示相应元素的第二部分，并且在用户的视点具有第二位姿的同时(例如，响应于检测到用户的视点从第一视点改变为第二视点)，电子设备从第二视角呈现相应元素的第一部分和第二部分，或呈现第二部分而不是第一部分。
基于显示相应元素的视角来更新相应元素的被显示的部分提供了利用相应元素的沉浸式体验，这使得电子设备的用户能够在增强的沉浸式体验中快速且高效地与应用用户界面交互。
在一些实施方案中，诸如在图9B中，在用户的相应部分(例如，903b)未处于第一位姿的同时，并且在经由一个或多个输入设备(例如，314)检测到用户的注意力(例如，913b)指向应用的用户界面(例如，904)的同时，电子设备(例如，101)经由显示生成组件(例如，120)利用具有第一值的第二视觉特性显示(1048a)相应元素(例如，908)，并且经由显示生成组件利用具有第一值的第二视觉特性显示多个交互式元素(例如，910a、910b)。在一些实施方案中，第二视觉特性与上文所论述的电子设备响应于检测到处于第一位姿的用户的相应部分而针对多个交互式元素进行调整的视觉特性相同。在一些实施方案中，第二视觉特性与上文所论述的电子设备响应于检测到处于第一位姿的用户的相应部分而针对多个交互式元素进行调整的视觉特性不同。在一些实施方案中，第二视觉特性是距三维环境中的用户的视点的距离。例如，在用户的相应部分未处于第一位姿的同时，在距用户的视点相同的距离处显示相应元素和交互式元素。
在一些实施方案中，诸如在图9C中，响应于检测到处于第一位姿的用户的相应部分(例如，903b)，并且在用户的注意力(例如，913b)指向应用的用户界面的同时，电子设备(例如，101)经由显示生成组件(例如，120)利用具有第一值的第二视觉特性显示(1048b)相应元素(例如，908)，并且经由显示生成组件(例如，120)利用具有不同于第一值的第二值的第二视觉特性显示多个交互式元素(例如，910a、910b)。在一些实施方案中，响应于检测到处于第一位姿的用户的相应部分，电子设备更新交互式元素的第二视觉特性以在视觉上区分交互式元素与相应元素。例如，响应于检测到处于第一位姿的用户的相应部分，电子设备在比距电子设备用于显示相应元素的用户的视点的距离更靠近用户的视点的距离处显示多个交互式元素。在一些实施方案中，响应于检测到处于第一位姿的用户的相应部分，并且在用户的注意力指向应用的用户界面的同时，电子设备利用具有不同于第二值的第三值的第二视觉特性显示相应元素。例如，响应于在用户的注意力指向应用的用户界面的同时检测到处于第一位姿的用户的相应部分，电子设备将相应元素与用户的视点之间的距离减小第一量，并且将多个交互式元素与用户的视点之间的距离减小大于第一量的第二量。在一些实施方案中，相应元素是交互式元素的背板。
响应于检测到处于第一位姿的用户的相应部分而利用具有第一值的第二视觉特性显示相应元素并利用具有第二值的第二视觉特性显示多个交互式元素向用户提供了增强的视觉反馈以与多个交互式元素交互，从而使得用户能够利用增强的视觉反馈快速且高效地使用电子设备。
在一些实施方案中，方法800和1000的方面/操作可在这些方法之间互换、替换和/或添加。例如，方法800和1000的三维环境和内容应用任选地在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (54)

1.一种方法，包括：
在与显示生成组件和一个或多个输入设备通信的电子设备处：
在以第一呈现模式呈现内容项的同时，经由所述显示生成组件在三维环境中显示与所述内容项相关联的应用的用户界面；
当在以所述第一呈现模式呈现所述内容项的同时在所述三维环境中显示所述应用的所述用户界面时，经由所述一个或多个输入设备接收输入，所述输入与对从以所述第一呈现模式呈现所述内容项转变为以与所述第一呈现模式不同的第二呈现模式呈现所述内容项的请求相对应；以及
响应于接收到所述输入，在以所述第二呈现模式呈现所述内容项的同时经由所述显示生成组件在所述三维环境中显示所述应用的所述用户界面，包括利用基于在以所述第一呈现模式呈现所述内容项的同时未被显示的所述内容项的虚拟照明效果显示所述三维环境。
2.根据权利要求1所述的方法，其中：
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件利用具有第一颜色的模拟三维材料显示所述应用的所述用户界面，以及
以所述第一呈现模式显示所述应用的所述用户界面包括：经由所述显示生成组件利用具有与所述第一颜色不同的第二颜色的所述模拟三维材料显示所述应用的所述用户界面。
3.根据权利要求1至2中任一项所述的方法，其中：
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件利用基于所述内容项的音频的特性的相应虚拟照明效果显示所述三维环境中的表面，以及
以所述第一呈现模式显示所述内容项包括：经由所述显示生成组件在不利用基于所述内容项的所述音频的所述特性的所述相应虚拟照明效果的情况下显示所述三维环境中的所述表面。
4.根据权利要求1至3中任一项所述的方法，其中：
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件利用基于与所述内容项相关联的颜色的相应虚拟照明效果显示所述三维环境中的表面，以及
以所述第一呈现模式显示所述内容项包括：经由所述显示生成组件在不利用基于与所述内容项相关联的所述颜色的所述相应虚拟照明效果的情况下显示所述三维环境中的所述表面。
5.根据权利要求4所述的方法，还包括：
根据确定所述三维环境中与所述表面相对应的位置距所述用户界面小于阈值距离：
经由所述显示生成组件利用所述相应虚拟照明和与所述内容项相关联的第二虚拟照明效果显示所述三维环境中的所述表面；以及
根据确定所述三维环境中与所述表面相对应的所述位置距所述用户界面大于所述阈值距离：
经由所述显示生成组件在不利用与所述内容项相关联的所述第二虚拟照明效果的情况下利用所述相应虚拟照明效果显示所述三维环境中的所述表面。
6.根据权利要求4至5中任一项所述的方法，其中：
所述三维环境包括第一表面和第二表面，以及
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件利用具有第一值的视觉特性显示所述第一表面，以及经由所述显示生成组件利用具有与所述第一值不同的第二值的所述视觉特性显示所述第二表面。
7.根据权利要求4至6中任一项所述的方法，其中：
根据确定所述显示生成组件的环境是第一大小：
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件利用基于与所述内容项相关联的所述特性的带有具有第一值的视觉特性的所述相应虚拟照明效果显示所述三维环境中的所述表面；以及
根据确定所述显示生成组件的所述环境是与所述第一大小不同的第二大小：
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件利用基于与所述内容项相关联的所述特性的带有具有与所述第一值不同的第二值的所述视觉特性的所述相应虚拟照明效果显示所述三维环境中的所述表面。
8.根据权利要求4至7中任一项所述的方法，其中，与所述内容项相关联的所述特性对应于与在所述用户界面中显示的所述内容项相关联的图像。
9.根据权利要求1至8中任一项所述的方法，其中：
利用基于所述内容项的所述虚拟照明效果显示所述三维环境包括：经由所述显示生成组件显示从所述应用的所述用户界面发出的相应虚拟照明效果，以及
以所述第一呈现模式显示所述应用的所述用户界面包括：经由所述显示生成组件显示所述应用的所述用户界面，而不显示从所述应用的所述用户界面发出的所述相应虚拟照明效果。
10.根据权利要求1至9中任一项所述的方法，还包括：
当在所述一个或多个输入设备检测到用户的相应部分的位姿不满足一个或多个准则的同时经由所述显示生成组件利用第一视觉强调量显示所述用户界面时：
经由所述一个或多个输入设备检测到所述用户的所述相应部分的所述位姿满足所述一个或多个准则；以及
响应于检测到所述用户的所述相应部分的所述位姿满足所述一个或多个准则：
经由所述显示生成组件利用与第二视觉去强调量不同的第二视觉强调量显示所述用户界面。
11.根据权利要求1至10中任一项所述的方法，还包括：
当在所述一个或多个输入设备检测到所述用户的相应部分的位姿不满足一个或多个准则的同时经由所述显示生成组件显示所述用户界面时：
放弃在所述用户界面中显示相应交互式元素，所述相应交互式元素用于修改所述内容项的回放；以及
经由所述一个或多个输入设备检测到所述用户的所述相应部分的所述位姿满足所述一个或多个准则；以及
响应于检测到所述用户的所述相应部分的所述位姿满足所述一个或多个准则：
经由所述显示生成组件显示包括所述相应交互式元素的所述用户界面。
12.根据权利要求1至11中任一项所述的方法，还包括：
在显示所述应用的所述用户界面而不显示对与所述内容项相对应的歌词的指示的同时，经由所述一个或多个输入设备接收与对呈现所述歌词的请求相对应的输入；以及
响应于接收到与对呈现所述歌词的所述请求相对应的所述输入：
在所述三维环境中同时显示所述应用的所述用户界面和所述三维环境中在所述应用的所述用户界面的边界之外的位置处的对所述歌词的指示。
13.根据权利要求1至12中任一项所述的方法，还包括：
当在所述三维环境中的第一位置处显示所述应用的所述用户界面时，经由所述一个或多个输入设备检测所述电子设备的用户的视点在所述三维环境中的移动；以及
响应于检测到所述用户的所述视点的所述移动：
根据确定所述应用的所述用户界面满足一个或多个准则，经由所述显示生成组件根据与所述用户相关联的所述视点的所述移动，在所述三维环境中的第三位置处显示所述应用的所述用户界面。
14.根据权利要求13所述的方法，还包括：根据确定所述应用的所述用户界面不满足所述一个或多个准则：
响应于检测到所述用户的所述视点的所述移动：
经由所述显示生成组件在所述三维环境中的所述第一位置处显示所述用户界面。
15.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：
在以第一呈现模式呈现内容项的同时，经由显示生成组件在三维环境中显示与所述内容项相关联的应用的用户界面；
当在以所述第一呈现模式呈现所述内容项的同时在所述三维环境中显示所述应用的所述用户界面时，经由一个或多个输入设备接收输入，所述输入与对从以所述第一呈现模式呈现所述内容项转变为以与所述第一呈现模式不同的第二呈现模式呈现所述内容项的请求相对应；以及
响应于接收到所述输入，在以所述第二呈现模式呈现所述内容项的同时经由所述显示生成组件在所述三维环境中显示所述应用的所述用户界面，包括利用基于在以所述第一呈现模式呈现所述内容项的同时未被显示的所述内容项的虚拟照明效果显示所述三维环境。
16.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时使得所述电子设备执行包括以下操作的方法：
在以第一呈现模式呈现内容项的同时，经由显示生成组件在三维环境中显示与所述内容项相关联的应用的用户界面；
当在以所述第一呈现模式呈现所述内容项的同时在所述三维环境中显示所述应用的所述用户界面时，经由一个或多个输入设备接收输入，所述输入与对从以所述第一呈现模式呈现所述内容项转变为以与所述第一呈现模式不同的第二呈现模式呈现所述内容项的请求相对应；以及
响应于接收到所述输入，在以所述第二呈现模式呈现所述内容项的同时经由所述显示生成组件在所述三维环境中显示所述应用的所述用户界面，包括利用基于在以所述第一呈现模式呈现所述内容项的同时未被显示的所述内容项的虚拟照明效果显示所述三维环境。
17.一种电子设备，包括：
一个或多个处理器；
存储器；
用于在以第一呈现模式呈现内容项的同时，经由显示生成组件在三维环境中显示与所述内容项相关联的应用的用户界面的构件；
用于当在以所述第一呈现模式呈现所述内容项的同时在所述三维环境中显示所述应用的所述用户界面时，经由一个或多个输入设备接收输入的构件，所述输入与对从以所述第一呈现模式呈现所述内容项转变为以与所述第一呈现模式不同的第二呈现模式呈现所述内容项的请求相对应；以及
用于响应于接收到所述输入，在以所述第二呈现模式呈现所述内容项的同时经由所述显示生成组件在所述三维环境中显示所述应用的所述用户界面，包括利用基于在以所述第一呈现模式呈现所述内容项的同时未被显示的所述内容项的虚拟照明效果显示所述三维环境的构件。
18.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于在以第一呈现模式呈现内容项的同时，经由显示生成组件在三维环境中显示与所述内容项相关联的应用的用户界面的构件；
用于当在以所述第一呈现模式呈现所述内容项的同时在所述三维环境中显示所述应用的所述用户界面时，经由一个或多个输入设备接收输入的构件，所述输入与对从以所述第一呈现模式呈现所述内容项转变为以与所述第一呈现模式不同的第二呈现模式呈现所述内容项的请求相对应；以及
用于响应于接收到所述输入，在以所述第二呈现模式呈现所述内容项的同时经由所述显示生成组件在所述三维环境中显示所述应用的所述用户界面，包括利用基于在以所述第一呈现模式呈现所述内容项的同时未被显示的所述内容项的虚拟照明效果显示所述三维环境的构件。
19.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至14所述的方法中的任一种方法的指令。
20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时使得所述电子设备执行根据权利要求1至14所述的方法中的任一种方法。
21.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求1至14所述的方法中的任一种方法的构件。
22.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求1至14所述的方法中的任一种方法的构件。
23.一种方法，包括：
在与显示生成组件和一个或多个输入设备通信的电子设备处：
经由所述显示生成组件在包括多个交互式元素的三维环境中显示应用的用户界面，其中所述多个交互式元素对包括所述电子设备的用户的相应部分从第一位姿到第二位姿的转变的输入做出响应；
当在所述三维环境中显示所述应用的所述用户界面时，在所述电子设备的所述用户的所述相应部分未处于所述第一位姿的同时，并且在经由所述一个或多个输入设备检测到所述用户的注意力指向所述应用的所述用户界面的同时，在所述应用的所述用户界面中利用具有第一值的视觉特性显示所述用户界面的所述多个交互式元素；
当在所述应用的所述用户界面中利用具有所述第一值的所述视觉特性显示所述多个交互式元素时，并且在经由所述一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述一个或多个输入设备检测到处于所述第一位姿的所述用户的所述相应部分；以及
响应于检测到处于所述第一位姿的所述用户的所述相应部分，并且在所述用户的所述注意力指向所述应用的所述用户界面的同时：
更新所述用户界面以包括经由所述显示生成组件利用具有与所述第一值不同的第二值的所述视觉特性显示所述用户界面的所述多个交互式元素。
24.根据权利要求23所述的方法，还包括：
当在所述三维环境中显示所述应用的所述用户界面时，并且在经由所述一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面时，经由所述一个或多个输入设备检测到所述用户的所述相应部分从所述第一位姿转变为所述第二位姿；以及
响应于检测到所述用户的所述相应部分从所述第一位姿转变为所述第二位姿，执行与检测到所述用户的所述相应部分从所述第一位姿转变为所述第二位姿相对应的相应操作。
25.根据权利要求24所述的方法，其中：
根据确定当检测到所述用户的所述相应部分从所述第一位姿转变为所述第二位姿时所述用户的所述注意力指向所述多个交互式元素中的第一用户界面元素，所述相应操作是与所述第一用户界面元素相对应的第一操作，以及
根据确定当检测到所述用户的所述相应部分从所述第一位姿转变为所述第二位姿时所述用户的所述注意力指向所述多个用户界面元素中与所述第一用户界面元素不同的第二用户界面元素，所述相应操作是与所述第二用户界面元素相对应的与所述第一操作不同的第二操作。
26.根据权利要求23至25中任一项所述的方法，其中：
所述视觉特性是与所述用户界面的所述多个交互式元素相对应的位置与所述三维环境中的所述用户的视点之间的距离，
利用具有所述第一值的所述视觉特性显示所述用户界面的所述多个交互式元素包括：在与距所述三维环境中的所述用户的所述视点的第一距离相对应的位置处显示所述用户界面的所述多个交互式元素，以及
利用具有所述第二值的所述视觉特性显示所述用户界面的所述多个交互式元素包括：在与距所述三维环境中的所述用户的所述视点的第二距离相对应的位置处显示所述用户界面的所述多个交互式元素，所述第二距离小于所述第一距离。
27.根据权利要求23至26中任一项所述的方法，还包括：
当在所述三维环境中显示所述应用的所述用户界面时，并且在所述用户的所述相应部分未处于所述第一位姿的同时：
经由所述显示生成组件在所述用户界面中的第一位置处显示所述用户界面的所述多个交互式元素的第一部分；以及
放弃显示所述用户界面的超出所述用户界面的边界的所述多个交互式元素的第二部分；以及
响应于在所述用户的所述注意力指向所述应用的所述用户界面的同时检测到处于所述第一位姿的所述用户的所述相应部分：
经由所述显示生成组件在所述用户界面中与所述第一位置不同的第二位置处显示所述用户界面的所述多个交互式元素的所述第一部分；以及
经由所述显示生成组件在所述用户界面中显示所述多个交互式元素的所述第二部分。
28.根据权利要求23至27中任一项所述的方法，还包括：
当在所述三维环境中显示所述应用的所述用户界面时，在所述用户的所述相应部分未处于所述第一位姿的同时：
经由所述显示生成组件显示所述用户界面的所述多个交互式元素中的相应用户界面元素，包括利用第一视觉强调量显示所述相应用户界面元素的相应部分，其中所述相应用户界面元素用于导航所述应用的所述用户界面的内容；以及
响应于在所述用户的所述注意力指向所述相应用户界面元素的所述相应部分的同时检测到处于所述第一位姿的所述用户的所述相应部分：
根据确定所述相应用户界面元素的所述相应部分是所述相应用户界面元素的第一部分，经由所述显示生成组件利用大于第一量的第二视觉强调量显示所述相应用户界面元素的所述第一部分，并且经由所述显示生成组件利用所述第一视觉强调量显示所述相应用户界面元素的第二部分；以及
根据确定所述相应用户界面元素的所述相应部分是所述相应用户界面元素的所述第二部分，经由所述显示生成组件利用所述第二视觉强调量显示所述相应用户界面元素的所述第二部分，并且经由所述显示生成组件利用所述第一视觉强调量显示所述相应用户界面元素的所述第一部分。
29.根据权利要求28所述的方法，还包括：
当在所述三维环境中显示所述应用的所述用户界面包括利用所述第二视觉强调量显示所述相应用户界面元素的所述相应部分时：
在所述用户的所述相应部分处于相应形状的同时，经由所述一个或多个输入设备检测所述用户的所述相应部分的移动；以及
响应于在所述用户的所述相应部分处于所述相应形状的同时检测到所述用户的所述相应部分的所述移动，更新所述相应用户界面元素的显示，以经由所述显示生成组件根据所述用户的所述相应部分的所述移动，利用所述第二视觉强调量显示所述相应用户界面元素的第三部分。
30.根据权利要求23至29中任一项所述的方法，还包括：
在所述用户的所述相应部分处于所述第一位姿的同时：
根据确定所述用户的所述注意力指向所述多个交互式元素中的第一用户界面元素，经由所述显示生成组件利用具有第三值的所述视觉特性显示所述第一用户界面元素，并且经由所述显示生成组件利用具有与所述第三值不同的第四值的所述视觉特性显示所述多个交互式元素中的第二用户界面元素；以及
根据确定所述用户的所述注意力指向所述第二用户界面元素，经由所述显示生成组件利用具有所述第三值的所述视觉特性显示所述第二用户界面元素，并且经由所述显示生成组件利用具有所述第四值的所述视觉特性显示所述第一用户界面元素。
31.根据权利要求23至30中任一项所述的方法，其中：
响应于检测到处于所述第一位姿的所述用户的所述相应部分：
根据确定所述用户的所述注意力指向所述用户界面的第一区域：
经由所述显示生成组件利用具有所述第二值的所述视觉特性在所述用户界面的所述第一区域中显示第一多个交互式元素；以及
经由所述显示生成组件利用具有所述第一值的所述视觉特性在所述用户界面的与所述第一区域不同的第二区域中显示第二多个交互式元素；以及
根据确定所述用户的所述注意力指向所述用户界面的所述第二区域：
经由所述显示生成组件利用具有所述第二值的所述视觉特性显示所述第二多个交互式元素；以及
经由所述显示生成组件利用具有所述第一值的所述视觉特性显示所述第一多个交互式元素。
32.根据权利要求23至31中任一项所述的方法，还包括：
在利用具有所述第二值的所述视觉特性显示所述用户界面的所述多个交互式元素的同时：
经由所述一个或多个输入设备接收由所述用户的所述相应部分提供的指向所述多个交互式元素中的相应用户界面元素的输入的至少一部分；以及
响应于接收到指向所述相应用户界面元素的所述输入的所述至少一部分：
根据确定所述相应用户界面元素是第一相应用户界面元素，经由所述显示生成组件显示与所述第一相应用户界面元素相关联的第一视觉指示，而不显示与所述多个交互式元素中的第二相应用户界面元素相关联的第二视觉指示；以及
根据确定所述相应用户界面元素是所述第二相应用户界面元素，经由所述显示生成组件显示所述第二视觉指示，而不显示所述第一视觉指示。
33.根据权利要求32所述的方法，其中，所述第一用户界面元素和所述第二用户界面元素是可选择按钮，以及：
在所述三维环境中的一定位置处显示所述第一视觉指示，使得在所述第一视觉指示与所述三维环境中的所述用户的视点之间显示所述第一相应用户界面元素，以及
在所述三维环境中的一定位置处显示所述第二视觉指示，使得在所述第二视觉指示与所述三维环境中的所述用户的所述视点之间显示所述第二相应用户界面元素。
34.根据权利要求32所述的方法，其中，所述第一用户界面元素是搓擦条，所述搓擦条控制当前在所述电子设备上播放的内容项的回放并且在所述输入的所述至少一部分指向所述搓擦条之前不包括对所述内容项的回放时间的指示，并且所述第一视觉指示是对当前在所述电子设备上播放的所述内容项的所述回放时间的指示。
35.根据权利要求23至34中任一项所述的方法，还包括：
在利用具有所述第二值的所述视觉特性显示所述多个交互式元素的同时，经由所述一个或多个输入设备接收指向所述多个交互式元素中的相应用户界面元素的输入，所述输入包括所述用户的所述相应部分转变为所述第二位姿以及所述用户的所述相应部分在处于所述第二位姿时的移动；以及
响应于接收到指向所述相应用户界面元素的所述输入，根据所述用户的所述相应部分的所述移动在三维环境中移动所述相应用户界面元素。
36.根据权利要求35所述的方法，其中，所述应用的所述用户界面包括所述应用的内容部分，并且所述三维环境还包括所述应用的第二用户界面，所述第二用户界面包括所述应用的媒体播放器部分，并且所述方法还包括：
在接收到指向所述相应用户界面元素的所述输入之前：
经由所述显示生成组件利用第一外观显示所述第二用户界面；
响应于接收到指向所述相应用户界面元素的所述输入：
经由所述显示生成组件利用与所述第一外观不同的第二外观显示所述第二用户界面。
37.根据权利要求36所述的方法，其中：
利用所述第二外观显示所述第二用户界面包括经由所述显示生成组件显示回放队列，所述回放队列包括对排队等待经由与所述电子设备相关联的输出设备回放的内容项的指示，以及
利用所述第一外观显示所述第二用户界面包括放弃显示所述回放队列。
38.根据权利要求36至37中任一项所述的方法，其中：
利用所述第二外观显示所述第二用户界面包括经由所述显示生成组件显示对能够经由所述应用访问的内容项集合的指示，以及利用所述第一外观显示所述用户界面的所述第二区域包括放弃显示所述内容项集合的所述指示。
39.根据权利要求36至38中任一项所述的方法，其中：
利用所述第二外观显示所述第二用户界面包括经由所述显示生成组件显示播放列表创建元素，
利用所述第一外观显示所述第二用户界面包括放弃显示所述播放列表创建元素，以及
所述方法还包括：
在利用所述第二外观显示所述第二用户界面的同时，响应于接收到指向所述相应用户界面元素的所述输入，根据确定所述用户的所述相应部分的所述移动与将所述相应用户界面元素移动到所述播放列表创建元素的位置相对应，创建包括与所述相应用户界面元素相对应的内容项的播放列表。
40.根据权利要求36至39中任一项所述的方法，还包括：
在指向所述相应用户界面元素的所述输入期间：
响应于在检测到处于所述第二位姿的所述用户的所述相应部分的所述移动之前检测到处于所述第二位姿的所述用户的所述相应部分，经由所述显示生成组件利用所述第一外观显示所述第二用户界面；以及
响应于检测到处于所述第二位姿的所述用户的所述相应部分的所述移动，经由所述显示生成组件利用所述第二外观显示所述第二用户界面。
41.根据权利要求36至40中任一项所述的方法，还包括：
在指向所述相应用户界面元素的所述输入期间：
根据确定所述用户的所述相应部分的所述移动与所述相应用户界面元素向所述第二用户界面之外的位置的移动相对应，利用所述第一外观显示所述第二用户界面；以及
根据确定所述用户的所述相应部分的所述移动与所述相应用户界面元素向所述第二用户界面内的位置的移动相对应，利用所述第二外观显示所述第二用户界面。
42.根据权利要求35至41中任一项所述的方法，还包括：
在检测到指向所述相应用户界面元素的所述输入之前，利用第一外观显示所述相应用户界面元素；以及
响应于检测到指向所述相应用户界面元素的所述输入，利用与所述第一外观不同的第二外观显示所述相应用户界面元素。
43.根据权利要求23至42中任一项所述的方法，还包括：
在所述用户界面中显示所述用户界面的相应区域，所述相应区域具有在所述用户界面与所述三维环境的围绕所述用户界面的一部分之间的相应边界，其中所述多个交互式元素被包含在所述用户界面的所述相应边界内，并且所述用户界面的所述相应区域包括延伸超出所述相应边界的相应元素。
44.根据权利要求43所述的方法，其中，所述相应元素是三维元素。
45.根据权利要求43至44中任一项所述的方法，还包括：
在所述三维环境中的所述用户的视点位于所述三维环境中的第一位置处的同时，经由所述显示生成组件根据所述第一位置处的所述视点利用第一视角显示所述相应元素的第一部分，而不显示所述相应元素的第二部分；以及
在所述三维环境中的所述用户的所述视点处于所述三维环境中与所述第一位置不同的第二位置处时，经由所述显示生成组件根据所述第二位置处的所述视点利用与所述第二视角不同的第二视角显示所述相应元素的所述第一部分和所述相应元素的所述第二部分。
46.根据权利要求43至45中任一项所述的方法，还包括：
在所述用户的所述相应部分未处于所述第一位姿的同时，并且在经由所述一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述显示生成组件利用具有第一值的第二视觉特性显示所述相应元素，并且经由所述显示生成组件利用具有所述第一值的所述第二视觉特性显示所述多个交互式元素；以及
响应于检测到处于所述第一位姿的所述用户的所述相应部分，并且在所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述显示生成组件利用具有所述第一值的所述第二视觉特性显示所述相应元素，并且经由所述显示生成组件利用具有与所述第一值不同的第二值的所述第二视觉特性显示所述多个交互式元素。
47.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：
经由显示生成组件在包括多个交互式元素的三维环境中显示应用的用户界面，其中所述多个交互式元素对包括所述电子设备的用户的相应部分从第一位姿到第二位姿的转变的输入做出响应；
当在所述三维环境中显示所述应用的所述用户界面时，在所述电子设备的所述用户的所述相应部分未处于所述第一位姿的同时，并且在经由一个或多个输入设备检测到所述用户的注意力指向所述应用的所述用户界面的同时，在所述应用的所述用户界面中利用具有第一值的视觉特性显示所述用户界面的所述多个交互式元素；
当在所述应用的所述用户界面中利用具有所述第一值的所述视觉特性显示所述多个交互式元素时，并且在经由一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述一个或多个输入设备检测到处于所述第一位姿的所述用户的所述相应部分；以及
响应于检测到处于所述第一位姿的所述用户的所述相应部分，并且在所述用户的所述注意力指向所述应用的所述用户界面的同时：
更新所述用户界面以包括经由所述显示生成组件利用具有与所述第一值不同的第二值的所述视觉特性显示所述用户界面的所述多个交互式元素。
48.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时使得所述电子设备执行包括以下操作的方法：
经由显示生成组件在包括多个交互式元素的三维环境中显示应用的用户界面，其中所述多个交互式元素对包括所述电子设备的用户的相应部分从第一位姿到第二位姿的转变的输入做出响应；
当在所述三维环境中显示所述应用的所述用户界面时，在所述电子设备的所述用户的所述相应部分未处于所述第一位姿的同时，并且在经由一个或多个输入设备检测到所述用户的注意力指向所述应用的所述用户界面的同时，在所述应用的所述用户界面中利用具有第一值的视觉特性显示所述用户界面的所述多个交互式元素；
当在所述应用的所述用户界面中利用具有所述第一值的所述视觉特性显示所述多个交互式元素时，并且在经由一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述一个或多个输入设备检测到处于所述第一位姿的所述用户的所述相应部分；以及
响应于检测到处于所述第一位姿的所述用户的所述相应部分，并且在所述用户的所述注意力指向所述应用的所述用户界面的同时：
更新所述用户界面以包括经由所述显示生成组件利用具有与所述第一值不同的第二值的所述视觉特性显示所述用户界面的所述多个交互式元素。
49.一种电子设备，包括：
一个或多个处理器；
存储器；
用于经由显示生成组件在包括多个交互式元素的三维环境中显示应用的用户界面的构件，其中所述多个交互式元素对包括所述电子设备的用户的相应部分从第一位姿到第二位姿的转变的输入做出响应；
用于当在所述三维环境中显示所述应用的所述用户界面时，在所述电子设备的所述用户的所述相应部分未处于所述第一位姿的同时，并且在经由一个或多个输入设备检测到所述用户的注意力指向所述应用的所述用户界面的同时，在所述应用的所述用户界面中利用具有第一值的视觉特性显示所述用户界面的所述多个交互式元素的构件；
用于当在所述应用的所述用户界面中利用具有所述第一值的所述视觉特性显示所述多个交互式元素时，并且在经由一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述一个或多个输入设备检测到处于所述第一位姿的所述用户的所述相应部分的构件；以及
用于响应于检测到处于所述第一位姿的所述用户的所述相应部分，并且在所述用户的所述注意力指向所述应用的所述用户界面的同时进行以下操作的构件：
更新所述用户界面以包括经由所述显示生成组件利用具有与所述第一值不同的第二值的所述视觉特性显示所述用户界面的所述多个交互式元素。
50.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于当在所述三维环境中显示所述应用的所述用户界面时，在所述电子设备的所述用户的所述相应部分未处于所述第一位姿的同时，并且在经由一个或多个输入设备检测到所述用户的注意力指向所述应用的所述用户界面的同时，在所述应用的所述用户界面中利用具有第一值的视觉特性显示所述用户界面的所述多个交互式元素的构件；
用于当在所述应用的所述用户界面中利用具有所述第一值的所述视觉特性显示所述多个交互式元素时，并且在经由一个或多个输入设备检测到所述用户的所述注意力指向所述应用的所述用户界面的同时，经由所述一个或多个输入设备检测到处于所述第一位姿的所述用户的所述相应部分的构件；以及
用于响应于检测到处于所述第一位姿的所述用户的所述相应部分，并且在所述用户的所述注意力指向所述应用的所述用户界面的同时进行以下操作的构件：
更新所述用户界面以包括经由所述显示生成组件利用具有与所述第一值不同的第二值的所述视觉特性显示所述用户界面的所述多个交互式元素。
51.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求23至46所述的方法中的任一种方法的指令。
52.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时使得所述电子设备执行根据权利要求23至46所述的方法中的任一种方法。
53.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求23至46所述的方法中的任一种方法的构件。
54.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求23至46所述的方法中的任一种方法的构件。
CN202280064220.3A 2021-09-23 2022-09-20 用于内容应用的设备、方法和图形用户界面 Pending CN117980962A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163261567P 2021-09-23 2021-09-23
US63/261,567 2021-09-23
PCT/US2022/076719 WO2023049705A1 (en) 2021-09-23 2022-09-20 Devices, methods, and graphical user interfaces for content applications

Publications (1)

Publication Number Publication Date
CN117980962A true CN117980962A (zh) 2024-05-03

Family

ID=83689077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280064220.3A Pending CN117980962A (zh) 2021-09-23 2022-09-20 用于内容应用的设备、方法和图形用户界面

Country Status (3)

Country Link
US (1) US20230093979A1 (zh)
CN (1) CN117980962A (zh)
WO (1) WO2023049705A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024503899A (ja) * 2021-01-20 2024-01-29 アップル インコーポレイテッド 環境内のオブジェクトと相互作用するための方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
EP3080689A4 (en) * 2013-12-13 2017-08-16 Ai Squared Techniques for programmatic magnification of visible content elements of markup language documents
US10691332B2 (en) * 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
JP6438869B2 (ja) * 2015-09-16 2018-12-19 株式会社エクシング カラオケ装置及びカラオケ用プログラム
US9491374B1 (en) * 2015-12-11 2016-11-08 Fuji Xerox Co., Ltd. Systems and methods for videoconferencing input and display management based on activity
CN110543230A (zh) * 2018-05-28 2019-12-06 广州彩熠灯光有限公司 基于虚拟现实的舞台灯光元素的设计方法及设计系统
WO2020247256A1 (en) * 2019-06-01 2020-12-10 Apple Inc. Device, method, and graphical user interface for manipulating 3d objects on a 2d screen
US20210097776A1 (en) * 2019-09-28 2021-04-01 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US11887550B2 (en) * 2019-12-12 2024-01-30 Google Llc Viewing-angle-dependent color/brightness correction for display system
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
CN111641843A (zh) * 2020-05-29 2020-09-08 广州华多网络科技有限公司 直播间中虚拟蹦迪活动展示方法、装置、介质及电子设备
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
WO2022225795A1 (en) * 2021-04-18 2022-10-27 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Also Published As

Publication number Publication date
WO2023049705A1 (en) 2023-03-30
US20230093979A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
CN117032519A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN117043713A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
US11720171B2 (en) Methods for navigating user interfaces
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20230334808A1 (en) Methods for displaying, selecting and moving objects and containers in an environment
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
WO2023133600A1 (en) Methods for displaying user interface elements relative to media content
US11995230B2 (en) Methods for presenting and sharing content in an environment
US20220253136A1 (en) Methods for presenting and sharing content in an environment
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
CN117940880A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面
WO2024020061A1 (en) Devices, methods, and graphical user interfaces for providing inputs in three-dimensional environments
CN117406892A (zh) 用于与环境中的对象进行交互的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication