CN117008731A - 用于导航用户界面的方法 - Google Patents

用于导航用户界面的方法 Download PDF

Info

Publication number
CN117008731A
CN117008731A CN202311070045.1A CN202311070045A CN117008731A CN 117008731 A CN117008731 A CN 117008731A CN 202311070045 A CN202311070045 A CN 202311070045A CN 117008731 A CN117008731 A CN 117008731A
Authority
CN
China
Prior art keywords
user interface
user
gaze
electronic device
directed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311070045.1A
Other languages
English (en)
Inventor
I·帕斯特拉纳文森特
J·文
J·钱德
J·R·达斯科拉
J·M·弗科纳
P·普拉·艾·柯尼萨
W·A·索伦蒂诺三世
S·O·勒梅
K·E·鲍尔利
M·斯陶贝尔
D·D·达尔甘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN117008731A publication Critical patent/CN117008731A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Abstract

本公开涉及用于导航用户界面的方法。在一些实施方案中，电子设备至少基于检测到用户的注视而在用户界面之间导航。在一些实施方案中，电子设备增强与用户界面的控制元素的交互。在一些实施方案中，电子设备以协调的方式滚动类别和子类别的表示。在一些实施方案中，电子设备以不同方式从具有不同沉浸级别的用户界面导航回来。

Description

用于导航用户界面的方法
本申请是申请日为2021年9月20日、国家申请号为202180065430.X、发明名称为“用于导航用户界面的方法”的中国发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2020年9月25日提交的美国临时申请第63/083,804号的权益，该申请的内容全文以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及计算机系统，该计算机系统具有显示生成部件和呈现图形用户界面的一个或多个输入设备，该一个或多个输入设备包括但不限于经由显示生成部件呈现包括虚拟对象的三维环境的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于导航用户界面并与用户界面进行交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与在三维环境中与用户界面进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
在一些实施方案中，电子设备至少基于检测到用户的注视而在用户界面之间导航。在一些实施方案中，电子设备增强与用户界面的控制元素的交互。在一些实施方案中，电子设备以协调的方式滚动类别和子类别的表示。在一些实施方案中，电子设备以不同方式从具有不同沉浸级别的用户界面导航回来。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪管线的流程图。
图7A至图7C示出了根据一些实施方案的电子设备如何至少基于检测到用户的注视而在用户界面之间导航的示例。
图8A至图8F是示出根据一些实施方案的至少基于检测到用户的注视而在用户界面之间导航的方法的流程图。
图9A至图9D示出根据一些实施方案的电子设备如何增强与用户界面的控制元素的交互的示例。
图10A至图10K是示出根据一些实施方案的增强与用户界面的控制元素的交互的方法的流程图。
图11A至图11D示出根据一些实施方案的电子设备如何以协调的方式滚动类别和子类别的表示的示例。
图12A至图12J是示出根据一些实施方案的以协调的方式滚动类别和子类别的表示的方法的流程图。
图13A至图13D示出根据一些实施方案的电子设备如何以不同方式从具有不同沉浸级别的用户界面导航回来的示例。
图14A至图14M是示出根据一些实施方案的以不同方式从具有不同沉浸级别的用户界面导航回来的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的系统、方法和GUI为电子设备提供了在三维环境中与对象交互并操纵对象的改进方式。三维环境任选地包括一个或多个虚拟对象、在电子设备的物理环境中的真实对象的一个或多个表示(例如，显示为真实对象的照片级真实感(例如，“透传”)表示，或通过显示生成部件的透明部分对用户可见)和/或用户在三维环境中的表示。
在一些实施方案中，电子设备至少基于检测到用户的注视而在用户界面之间导航。在一些实施方案中，响应于检测到用户的注视被引导到相应用户界面元素达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)，电子设备导航到与相应用户界面元素相关联的用户界面。在一些实施方案中，响应于检测到用户在他们的注视被引导到相应用户界面元素的同时用他们的手执行手势(例如，用拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指))，电子设备在比预定时间阈值更短的时间内导航到用户界面。响应于仅注视而导航到用户界面或响应于用户的注视和手势而更快速地导航用户界面提供了以更少的输入或更短的时间导航到用户界面的高效方式。
在一些实施方案中，电子设备增强与用户界面的控制元素的交互。在一些实施方案中，控制元素包括可选选项，当被选择时，这些可选选项导致电子设备在包括控制元素的用户界面中执行操作。例如，控制元素包括导航栏，该导航栏包括可选选项以导航到用户界面的不同页面。在一些实施方案中，响应于检测到用户对控制元素的注视，电子设备更新控制元素的外观(例如，放大、扩展、向控制元素添加细节)。以这种方式更新控制元素的外观提供了与控制元素交互的高效方式以及在不与控制元素交互时以减少的视觉混乱与用户界面交互的方式。
在一些实施方案中，电子设备以协调的方式滚动类别和子类别的表示。在一些实施方案中，电子设备同时显示(例如，内容、文件、用户界面、应用程序等的)类别的表示以及这些类别中的一个或多个类别内的子类别的表示。在一些实施方案中，响应于滚动类别的表示的输入，电子设备滚动类别的表示和子类别的表示。在一些实施方案中，响应于滚动子类别的表示的输入，电子设备滚动子类别的表示(例如，滚动或不滚动类别的表示)。以协调的方式滚动类别和子类别的表示提供了同时浏览类别和子类别的高效方式。
在一些实施方案中，电子设备以不同方式从具有不同沉浸级别的用户界面导航回来。在一些实施方案中，用户界面的沉浸级别对应于对象(例如，虚拟对象、真实对象的表示)的数量以及与用户界面同时显示的除用户界面之外的对象的可见性程度。在一些实施方案中，电子设备响应于相应输入(例如，检测到用户对先前用户界面的表示的注视达阈值时间量)而导航离开具有第一沉浸级别的用户界面。在一些实施方案中，电子设备响应于相应输入而放弃导航离开具有第二更高沉浸级别的用户界面。响应于相应输入而导航离开具有第一沉浸级别的用户界面以及响应于相应输入而放弃导航离开具有第二更高沉浸级别的用户界面提供了具有第一沉浸级别的用户界面中的便利并减少了具有第二更高沉浸级别的用户界面中的分心，使用户能够快速且高效地使用电子设备。
图1至图6提供了用于向用户提供CGR体验的示例性计算机系统的描述(诸如以下关于方法800、1000、1200和1400所述)。在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机系统101检测到的输入进行交互，这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成的现实：相反地，计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
硬件：有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中，手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中，眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的位置或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的位置和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪管线。在一些实施方案中，注视跟踪管线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪管线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到管线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由管线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
因此，本文的描述描述了包括真实世界对象的表示和虚拟对象的表示的三维环境(例如，CGR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的表的表示，该表在三维环境中被捕获和显示(例如，经由电子设备的相机和显示器主动地捕获和显示，或者经由电子设备的透明或半透明显示器被动地捕获和显示)。如先前所述，三维环境任选地为混合现实系统，其中三维环境基于由设备的一个或多个传感器捕获并经由显示生成部件显示的物理环境。作为混合现实系统，该设备任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来好像它们存在于由电子设备显示的三维环境中。类似地，该设备任选地能够通过将虚拟对象放置在三维环境中的在真实世界中具有对应位置的相应位置处来显示三维环境中的虚拟对象以看起来好像虚拟对象存在于真实世界(例如，物理环境)中。例如，设备任选地显示花瓶，使其看起来好像真实花瓶被放置在物理环境中的桌子的顶部。在一些实施方案中，三维环境中的每个位置在物理环境中具有对应的位置。因此，当设备被描述为在相对于物理对象的相应位置处(例如，诸如用户手上或附近的位置，或者物理桌子上或附近的位置)显示虚拟对象时，该设备在三维环境中的特定位置显示虚拟对象，使得其看起来好像虚拟对象在物理世界中的物理对象处或附近(例如，虚拟对象显示在三维环境中的与物理环境中的位置相对应的位置处，如果虚拟对象在该特定位置为真实对象，则虚拟对象将显示在该位置处)。
在一些实施方案中，在三维环境中显示的存在于物理环境中的真实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子顶部的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或多只手与三维环境中的虚拟对象交互，就好像虚拟对象是物理环境中的真实对象一样。例如，如上所述，设备的一个或多个传感器任选地捕获用户的一只或多只手并在三维环境中显示用户的手的表示(例如，以类似于在上述三维环境中显示真实世界对象的方式)，或在一些实施方案中，由于正在显示用户界面或用户界面到透明/半透明表面上的投影或用户界面到用户眼睛上或到用户眼睛的视场中的投影的显示生成部件的一部分的透明度/半透明度，经由通过用户界面看见物理环境的能力，用户的手经由显示生成部件可见。因此，在一些实施方案中，用户的手显示在三维环境中的相应位置处，并且被视为如同它们是三维环境中的对象一样，这些对象能够与三维环境中的虚拟对象交互，如同它们是物理环境中的真实物理对象一样。在一些实施方案中，用户能够移动他或她的手以使三维环境中的手的表示连同用户的手的移动一起移动。
在以下描述的一些实施方案中，该设备任选地能够确定物理世界中的物理对象与三维环境中的虚拟对象之间的“有效”距离，例如，为了确定物理对象是否正在与虚拟对象交互(例如，手是否正在触摸、抓持、握持等虚拟对象或在与虚拟对象的阈值距离内)。例如，该设备在确定用户是否正在与虚拟对象交互和/或用户如何与虚拟对象交互时确定用户的手与虚拟对象之间的距离。在一些实施方案中，该设备通过确定手在三维环境中的位置与感兴趣的虚拟对象在三维环境的位置之间的距离来确定用户的手与虚拟对象之间的距离。例如，用户的一只或多只手位于物理世界中的特定位置处，设备任选地捕获该特定位置并在三维环境中的特定对应位置处显示该特定位置(例如，如果手是虚拟手而不是物理手，则在三维环境中将显示手的位置)。手在三维环境中的位置任选地与感兴趣的虚拟对象在三维环境中的位置进行比较，以确定用户的一只或多只手与虚拟对象之间的距离。在一些实施方案中，设备任选地通过比较物理世界中的位置(例如，与比较三维环境中的位置相反)来确定物理对象与虚拟对象之间的距离。例如，当确定用户的一只或多只手与虚拟对象之间的距离时，设备任选地确定虚拟对象在物理世界中的对应位置(例如，虚拟对象在物理世界中的位置，如果它是物理对象而非虚拟对象)，并且随后确定对应的物理位置与用户的一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或物理对象是否在虚拟对象的阈值距离内时，该设备任选地执行上述技术中的任一技术，以将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理世界。
在一些实施方案中，使用相同或类似的技术来确定用户的注视被引导到何处和何物，和/或由用户持有的物理触笔指向何处和何物。例如，如果用户的注视被引导到物理环境中的特定位置，则设备任选地确定三维环境中的对应位置，并且如果虚拟对象位于该对应的虚拟位置处，则设备任选地确定用户的注视被引导到该虚拟对象。类似地，该设备任选地能够基于物理触笔的取向来确定该触笔正指向物理世界中的何处。在一些实施方案中，基于该确定，设备确定三维环境中对应于指示笔正指向的物理世界中的位置的对应虚拟位置，并且任选地确定指示笔正指向三维环境中的对应虚拟位置。
类似地，本文所述的实施方案可指用户(例如，设备的用户)的位置和/或设备在三维环境中的位置。在一些实施方案中，设备的用户持有、佩戴或以其他方式位于电子设备处或附近。因此，在一些实施方案中，设备的位置被用作用户的位置的代理。在一些实施方案中，设备和/或用户在物理环境中的位置对应于三维环境中的相应位置。在一些实施方案中，相应位置是三维环境的“相机”或“视图”延伸的位置。例如，设备的位置将是物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在面向由显示生成部件显示的物理环境的相应部分的该位置处，则用户将看到物理环境中的对象处于与它们由设备的显示生成部件显示时相同的位置、取向和/或大小(例如，绝对意义上和/或相对于彼此)。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与它们在三维环境中相同的位置处，并且在物理环境中具有与在三维环境中相同的大小和取向)，则设备和/或用户的位置是用户将看到物理环境中与它们由设备的显示生成部件显示时处于相同位置、取向和/或大小的虚拟对象的位置(例如，在绝对意义上和/或相对于彼此和真实世界对象)。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7C示出了根据一些实施方案的电子设备如何至少基于检测到用户的注视而在用户界面之间导航的示例。
图7A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境710。然而，应当理解，在除三维环境以外的用户界面中实现本文参考图7A至图7C公开的技术中的一个或多个技术是可能的，并且不脱离本公开的范围。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测用户的手的手势和移动的触摸屏。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件、以及用于检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)、和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
在图7A中，电子设备101在包括多个对象704a-704f和导航栏706的三维环境710中显示用户界面。在一些实施方案中，导航栏706的行为类似于以下参考图9A至图10K所述的控制元素。
在一些实施方案中，图7A所示的用户界面是用于浏览内容的用户界面，并且对象704a-704f是当被选择时导致电子设备101在三维环境710中呈现相应内容项的内容项的表示。例如，用户界面是照片浏览应用程序，并且表示704a-704f是照片的缩略图，当被选择时，该缩略图导致电子设备101在三维环境710中呈现所选缩略图的更大版本。作为另一示例，用户界面是视频内容应用程序，并且表示704a-704f是视频内容的缩略图，当被选择时，该缩略图导致电子设备101呈现对应于所选对象的视频内容。在一些实施方案中，用户界面是包括对象704a-f的任何用户界面，当被选择时，该对象导致电子设备101显示不同的用户界面。
在一些实施方案中，电子设备101响应于包括检测用户的注视的用户输入，从图7A所示的用户界面转变到与对象704a-704f中的所选一者相关联的用户界面(例如，包括与所选对象相关联的内容项的用户界面)。在一些实施方案中，输入仅包括注视。在一些实施方案中，输入包括在检测用户的注视的同时检测用户用他们的手708执行手势。
例如，如图7A所示，电子设备101检测被引向对象B 704b的用户的注视702a。响应于检测到用户的注视702a而未检测到附加输入(诸如用用户的手708执行的手势)，电子设备101呈现用以转变到对应于对象B 704b的用户界面的动画。在一些实施方案中，动画包括显示随着用户的注视702a保持被引向对象B 704b，对象B 704b逐渐扩展的动画。在注视702a保持被引向对象B 704b的同时，动画任选地进行阈值时间量(例如，0.5秒、1秒等)，直到对象B 704b完成扩展成对应于对象B 704B的用户界面，诸如对应于对象B 704b的内容项(例如，对象B 704b的更大版本)。图7B示出了从图7A所示的用户界面到图7C所示的用户界面(例如，与对象B704b相关联的用户界面)的动画转变的动画的中间帧。
如图7B所示，当动画正在进行时，电子设备101以比图7A中已经显示的对象B 704b的大小更大的大小显示对象B 704b。在一些实施方案中，电子设备101响应于继续检测到用户对对象B 704b的注视702b而随着动画的进行继续逐渐增加对象B 704b的大小。在一些实施方案中，逐渐增加对象B 704b的大小包括按比例放大对象B 704b中包括的图像。例如，如果对象B 704b是图像，则电子设备101增加显示生成部件120上的图像的大小。作为另一示例，如果对象B 704b是图7C所示的用户界面的图像，则电子设备101将用户界面的图像按比例放大到图7C所示的用户界面的全大小。例如，如果图7C中的用户界面将包括多个用户界面元素，则随着电子设备101显示动画，用户界面元素的大小和间距会增加。
在一些实施方案中，动画包括修改三维环境710中除对象704a-f和导航栏706之外的部分。例如，图7B还示出了随着动画的进行，电子设备101使三维环境710中不对应于对象B 704b的部分变暗(例如，使用户界面的背景变暗)。在一些实施方案中，电子设备还使对象704a和704c-f以及导航栏706模糊和/或变暗。在一些实施方案中，响应于继续检测到用户在对象B 704b上的注视702b，随着动画的进行，电子设备101继续使三维环境710的不对应于对象B 704b的部分逐渐变暗。在一些实施方案中，图7B中示出的动画包括进一步修改三维环境710中不对应于对象B 704b的部分。在一些实施方案中，电子设备101使不包括在对象B 704b中的三维环境710的部分模糊。例如，如果在图7A至图7B所示的三维环境710中显示附加虚拟对象，则该对象将随着动画的进行而逐渐模糊。在一些实施方案中，动画还包括在三维环境710中逐渐显示气氛照明效果。在一些实施方案中，气氛照明效果包括修改三维环境710中的虚拟对象的亮度、色彩平衡、对比度等以创建虚拟照明效果。在一些实施方案中，图7A中的照明效果是明亮的、中性颜色的照明效果，并且随着动画的进行，照明效果转变为聚光灯照明效果，包括使用户界面中除对象B 714B之外的部分变暗。
在一些实施方案中，当图7B所示的动画正在进行时，电子设备101发起与对象B704b相关联的视频内容的回放。例如，如果对象B 704b是视频内容的表示，则视频内容在动画开始时开始播放(例如，而不是等待直到图7C中的用户界面显示时才播放视频内容)。在一些实施方案中，对象B704b是视频序列中包括的图像的表示，并且当动画开始时，视频序列开始播放(例如，而不是等待直到显示图7C所示的用户界面)。
在一些实施方案中，显示图7B所示的动画包括增加对象B 704b与用户界面的其余部分(例如，导航栏706以及对象704a和704c-f)之间的距离和/或间距。例如，动画包括将对象B 704b动画为在三维环境710中移动得更接近用户的视点。作为另一示例，动画包括用户界面的其余部分(例如，导航栏706以及对象704a和704c-f)在三维环境710中移动远离用户的视点。在一些实施方案中，用户在三维环境中的视点是与三维环境710中的电子设备101的用户相关联的位置和取向。电子设备101任选地从用户的视点显示三维环境710。
在一些实施方案中，在呈现动画的同时并且在动画完成之前，响应于检测到用户的注视702b移动远离对象B 704b(例如，被引导到对象B 704b外部的三维环境710的一部分)，电子设备101停止显示动画并显示图7A所示的用户界面。在一些实施方案中，电子设备101反向显示图7B所示的动画以返回到图7A所示的用户界面。在一些实施方案中，响应于继续检测被引导到对象B 714B的用户的注视702b，电子设备101继续进行动画，直到完成动画(例如，以阈值时间量(例如，0.5秒、1秒、5秒、10秒等))并显示图7C所示的用户界面。
因此，如以上参考图7A至图7B所述，电子设备101响应于检测到被引导到对象B714B的用户注视702a-702b达阈值时间量(例如，0.5秒、1秒、5秒、10秒等)，显示对应于图7C所示的对象B 714B的用户界面。在一些实施方案中，当正在检测注视时，电子设备101在阈值时间段的持续时间内显示在图7A所示的用户界面与图7C所示的用户界面之间的转变的动画。
在一些实施方案中，电子设备101响应于在用户的注视被引导到对象B704b的同时检测到用户用他们的手708执行预定手势(例如，使用设备101的一或多个相机或传感器)，在小于阈值时间量内导航到图7C所示的用户界面。在一些实施方案中，预定手势包括用户将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)。返回到图7A，响应于在检测到用户用其手708执行手势的同时检测到用户在对象B 704b上的注视702a，电子设备101转变到图7C，而不在预定时间阈值的过程中显示整个动画。在一些实施方案中，电子设备101以更快的速率在更少的时间内显示动画或者放弃显示动画。
在一些实施方案中，电子设备101在检测到手势之前开始显示动画。图7B示出了当正在显示动画时，电子设备101检测到用户用他们的手708执行手势。响应于在用户的注视702b被引导到图7B中的对象B 704b的同时检测到用户用他们的手708执行手势，电子设备101在小于阈值时间量(例如，未检测到显示手势的动画所花费的时间)内转变到图7C所示的用户界面。在一些实施方案中，电子设备101响应于手势而增加动画的速度或响应于手势而停止显示动画以显示图7C所示的用户界面。
图7C示出了与对象B 704b相关联的用户界面。如以上参考图7A至图7B所述，响应于检测到用户在对象B 704b上的注视，电子设备101显示图7C所示的用户界面，无论是否检测到用户用他们的手执行预定手势。如图7C所示，用户界面包括对象B 704b的按比例放大版本。在一些实施方案中，对象B 704b是图像(例如，照片)。在一些实施方案中，对象B 704b包括视频内容，并且在未检测到来自用户的附加输入的情况下，电子设备101响应于在图7A中检测到的输入而播放视频内容，同时显示图7C所示的用户界面。在一些实施方案中，电子设备101开始播放视频内容，同时显示图7B所示的动画。在一些实施方案中，对象B 704b是包括多个用户界面元素的用户界面，这些用户界面元素在图7C中比在图7A和7B中以更大的大小并且以增加的间距显示。
如图7C所示，显示用户界面包括修改三维环境710中的其他对象(包括对象704a、704c、704d、704f和导航栏706)的显示。在一些实施方案中，电子设备101使对象704a、704c、704d、704f和导航栏706以及在三维环境710中显示的除对象B 704b之外的任何其他内容模糊。在一些实施方案中，图7C所示的用户界面包括气氛照明效果，诸如对象B 704b上的聚光灯。在一些实施方案中，气氛照明效果包括将三维环境710显示为看起来好像对象B 704b正在发射从三维环境710中的其他对象的模糊和/或变暗版本反射的光。在一些实施方案中，对象B 704b与对象704a、704c、704d和704f以及导航栏706之间的间距量在图7C中比在图7A和图7B中更大。例如，电子设备101在三维环境710中朝向用户的视点移动对象B 704b，或者在三维环境710中远离用户移动对象704a、704c、704d和704f以及导航栏706。
在一些实施方案中，电子设备101从图7C所示的用户界面导航到与对象704a或704c-f中的不同一者相关联的用户界面。例如，对象704a-f是图像或照片，并且电子设备101从显示图7C中由对象B 704b表示的照片转变为以类似方式显示另一照片。在一些实施方案中，响应于检测到用户执行上述预定手势并在保持该手势和/或看向对象B 704b的同时向左或向右移动他们的手，电子设备101转变到显示与对象704a或704c-f中的不同一者相关联的用户界面。例如，电子设备101响应于检测到包括沿第一方向(例如，向右)的手移动的输入而转变到显示由对象A 704a表示的照片而不显示图7A所示的用户界面，或响应于检测到包括沿第二方向(例如，向左)的手移动的输入而转变到显示由对象C 704c表示的照片而不显示图7A所示的用户界面。在一些实施方案中，在对应于对象704a-f的用户界面之间转变的同时，电子设备101保持三维环境710的其余部分的视觉效果(例如，模糊、变暗、间距增加、气氛照明)。在一些实施方案中，电子设备101响应于在预定时间阈值(例如，0.2秒、0.5秒、1秒、2秒等)内检测到用户在用户界面的除对象B 704b之外的区域上的注视而从显示图7C所示的用户界面转变到图7A所示的用户界面和/或同时检测到用户用他们的手执行预定手势(例如，捏合手势)。
因此，图7A至图7C示出电子设备至少基于检测到用户的注视而在用户界面之间导航的方式。响应于检测到仅包括注视的输入，电子设备101在预定持续时间内显示用户界面之间的动画转变。响应于检测到除注视之外的输入(例如，手势)，电子设备101比预定持续时间更快地在用户界面之间转变，诸如通过跳过动画或以更快的速度显示动画。尽管图7A至图7C示出了电子设备101显示对应于对象B 704b的用户界面，但应当理解，如果输入被引导到其他对象704a或704b-f中的一者，则电子设备101的行为类似。
图8A至图8F是示出根据一些实施方案的至少基于检测到用户的注视而在用户界面之间导航的方法的流程图。在一些实施方案中，方法800在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下被引导到用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前被引导到的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图7A中，在与显示生成部件和包括眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)的一个或多个输入设备通信的电子设备处执行方法800。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或导致用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部)、触控板(任选地集成或外部)、触摸板(任选地集成或外部)、远程控制设备(例如，外部)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部)、控制器(例如，外部)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。
在一些实施方案中，诸如在图7A中，电子设备(例如，101)经由显示生成部件显示(802a)包括与第二用户界面相关联的相应用户界面元素(例如，704b)的第一用户界面。在一些实施方案中，第一用户界面显示在由设备生成、由设备显示或以其他方式使得可由设备查看的三维环境中(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)。在一些实施方案中，响应于检测到对相应用户界面元素的选择，电子设备呈现第二用户界面。例如，第一用户界面是包括多个照片缩略图的照片浏览用户界面，当被选择时，该多个缩略图导致电子设备显示具有与所选择的缩略图相对应的照片的较大版本的用户界面。
在一些实施方案中，诸如在图7A中，在显示第一用户界面的同时，电子设备(例如，101)经由眼睛跟踪设备检测(802b)用户的注视(例如，702a)被引导到相应用户界面元素(例如，704b)。
在一些实施方案中，响应于检测到包括被引导到相应用户界面元素(例如，704b)的用户的注视(例如，702b)的输入(802c)，诸如在图7B中，根据确定用户的注视(例如，702b)继续被引导到相应用户界面元素(例如，704b)长于时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、0.1秒；0.5秒、1秒、2秒、3秒等)，电子设备(例如，101)导航(802d)到第二用户界面(例如，704b)，诸如在图7C中。在一些实施方案中，在用户的注视继续被引导到相应用户界面元素达时间阈值的同时，电子设备显示导航到第二用户界面的动画。在一些实施方案中，动画具有等于时间阈值的持续时间。在一些实施方案中，显示第二用户界面包括停止显示第一用户界面。在一些实施方案中，电子设备显示覆盖在第一用户界面上的第二用户界面(例如，第一用户界面被显示为第二用户界面后面的背景)，并且继续显示第一用户界面的未被第二用户界面覆盖的至少一部分。例如，响应于经由眼睛跟踪设备检测到用户的注视被引导到照片用户界面中的缩略图达预定时间阈值，电子设备显示对应于缩略图的照片的放大版本，以代替或覆盖在具有多个缩略图的照片用户界面上。
在一些实施方案中，响应于检测到包括被引导到相应用户界面元素(例如，704b)的用户的注视(例如，702b)的输入(802c)，诸如在图7B中，根据确定当用户的注视已被引导到相应用户界面元素短于时间阈值时经由一个或多个输入设备检测到选择输入，电子设备(例如，101)导航(802e)到第二用户界面(例如，704b)，而无需等待注视继续被引导到相应用户界面元素长于时间阈值，诸如在图7C中。在一些实施方案中，检测选择输入包括经由手部跟踪设备检测预定手势的执行(例如，将手指(例如，食指、中指、无名指、小指)轻敲拇指；将一根手指朝向对应于相应用户界面元素的位置的位置延伸)。在一些实施方案中，检测选择输入包括检测经由触敏表面(例如，触摸屏、触控板等)、键盘或鼠标的输入。在一些实施方案中，电子设备响应于检测到选择输入而导航到第二用户界面，同时检测到用户在相应用户界面元素上的注视达时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒等)，该时间阈值小于在未检测到选择输入的情况下(例如，仅基于注视)电子设备导航到第二用户界面的时间阈值。在一些实施方案中，响应于在检测到选择输入的同时检测到被引导到相应用户界面元素的用户的注视，电子设备导航到第二用户界面，而不管用户的注视被引导到相应用户界面元素的时间段如何。例如，响应于经由手部跟踪设备检测到用户将他们的拇指和食指轻敲在一起，同时经由眼睛跟踪设备检测到用户的注视被引导到包括多个照片的照片用户界面中的缩略图，电子设备显示对应于该缩略图的照片的较大版本来代替或覆盖在具有多个缩略图的照片用户界面上。在一些实施方案中，响应于检测到用户在相应用户界面元素上的注视达阈值时间段或者响应于同时检测到用户在相应用户界面元素上的注视小于阈值时间以及对相应用户界面元素的选择，电子设备导航到与相应用户界面元素相关联的第二用户界面。在一些实施方案中，根据确定在时间阈值已过去而未检测到选择输入之前用户的注视移动远离相应用户界面元素，电子设备放弃导航到第二用户界面并继续显示第一用户界面。
上述响应于要么检测到被引导到相应用户界面元素的用户的注视达阈值时间段要么在检测到被引导到相应用户界面元素的用户的注视达小于阈值时间段的时间段的同时检测到对相应用户界面元素的选择而导航到第二用户界面的方式提供了以更少的时间或更少的输入导航到第二用户界面的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，选择输入包括由与电子设备通信的手部跟踪设备检测到的由用户的手(例如，708)执行的相应手势(804a)。在一些实施方案中，手部跟踪设备包括一个或多个相机、深度传感器、接近传感器和/或触摸传感器(例如，结合到触摸屏中)。检测手势任选地包括检测用户将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指)。
上述将手势检测为选择输入的方式提供了用户能够在用户界面中进行选择所凭借的高效机制，这附加地通过使用户能够更快速且更高效地使用电子设备(例如，减少使用诸如按钮、按键等触觉输入设备所需的时间)同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，相应用户界面元素(例如，704b)以第一大小显示，并且导航到第二用户界面(例如，704b)包括以大于第一大小的第二大小显示第二用户界面(804b)，诸如在图7C中。在一些实施方案中，第二用户界面包括大小大于相应用户界面元素的大小的相应用户界面元素的内容。例如，相应用户界面元素是图像的缩略图，并且第二用户界面是或包括比缩略图大的图像版本。在一些实施方案中，相应用户界面元素是第二用户界面的裁剪版本。在一些实施方案中，相应用户界面元素是第二用户界面的裁剪和按比例缩小版本(例如，相应用户界面元素是第二用户界面中包括的图像的一部分并且第二用户界面包括比相应用户界面元素的大小大的图像的部分)。在一些实施方案中，第二用户界面不包括相应用户界面元素的内容。例如，相应用户界面元素是图像集合(例如，相册)的表示，并且第二用户界面包括图像集合中包括的多个图像。在一些实施方案中，多个图像中的每个图像大于相应表示。在一些实施方案中，多个图像中的每个图像具有与相应表示相同的大小或小于相应表示。
上述以比相应用户界面元素大的大小显示第二用户界面的方式提供了查看相应用户界面元素的更大、任选地更清晰的版本的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，在检测到包括被引导到相应用户界面元素(例如，704b)的用户的注视(例如，702a)的输入之前，将相应用户界面元素以具有第一值的视觉特性(例如，颜色、亮度、对比度、半透明度)显示在背景上，并且导航到第二用户界面(例如，704b)包括将第二用户界面(例如，704b)以具有不同于第一值的第二值的视觉特性(例如，颜色、亮度、对比度、半透明度)显示在背景上(804c)，诸如在图7C中。在一些实施方案中，第二用户界面的背景比第一用户界面的背景更暗和/或更模糊。在一些实施方案中，背景是第一用户界面的一部分。在一些实施方案中，第一用户界面显示在背景上。在一些实施方案中，第一用户界面的视觉特性也像背景的视觉特性那样改变。
上述在导航到第二用户界面时更新背景的视觉特性的方式提供了具有减少的视觉混乱的第二用户界面的视图，这附加地通过使用户能够更快速且更高效地使用电子设备(例如，通过使用户更容易专注于第二用户界面并减轻认知负担)同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，导航到第二用户界面(例如，704b)包括以影响经由显示生成部件显示的一个或多个其他表示(例如，704c-f)的照明效果来显示第二用户界面(例如，704b)(804d)，诸如在图7C中。在一些实施方案中，电子设备在三维环境中显示第一用户界面和第二用户界面，该三维环境包括诸如应用程序、其他用户界面、文件、内容、虚拟对象和/或真实对象的表示的对象(例如，包括电子设备的物理环境中的物理对象的照片级真实感表示的透传视频，以使用户能够通过显示生成部件的透明部分看到真实对象的方式显示三维环境)。在一些实施方案中，照明效果修改三维环境中的对象的颜色和/或阴影。在一些实施方案中，与在显示第二用户界面的同时显示三维环境所利用的照明效果相比，电子设备在显示第一用户界面的同时以不同的照明效果显示三维环境。在一些实施方案中，电子设备模拟来自第二用户界面的“辉光”，并利用模拟来自第二用户界面的辉光的照明效果来在三维环境中显示其他对象。例如，电子设备显示从第二用户界面后面可见的第一用户界面的部分以及来自第二用户界面的辉光的反射。上述利用照明效果来显示第二用户界面的方式提供了在显示第二用户界面的同时减少一个或多个其他表示的视觉混乱的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备(例如，通过使用户更容易专注于第二用户界面并减轻认知负担)同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在用户的注视(例如，702b)被引导到相应用户界面元素(例如，704b)的同时并且在用户的注视(例如，702b)被引导到相应用户界面元素(例如，704b)长于时间阈值之前并且在导航到第二用户界面(例如，704b)之前，诸如在图7B中，电子设备(例如，101)经由眼睛跟踪设备检测到(806a)用户的注视不再被引导到相应用户界面元素(例如，704b)。在一些实施方案中，用户的注视被引导到相应用户界面达小于时间阈值的时间段。在一些实施方案中，用户的注视被引向不同的用户界面元素、由电子设备显示的三维环境中的不同的用户界面或对象，或者用户的注视被引导远离显示生成部件。在一些实施方案中，注视被引导回到第一用户界面和/或显示在第一用户界面中的元素(例如，正在被第二用户界面覆盖和/或替换的过程中)。在一些实施方案中，响应于检测到用户的注视(例如，702a)不再被引导到相应用户界面元素(例如，704b)，电子设备(例如，101)放弃(806b)导航到第二用户界面，诸如在图7A中。在一些实施方案中，在用户的注视被引导到相应用户界面元素的同时，电子设备显示导航到第二用户界面的动画。在一些实施方案中，响应于在达到时间阈值之前检测到用户远离相应用户界面元素的注视，电子设备停止显示动画并以与发起动画的显示之前显示第一用户界面的方式相同的方式显示第一用户界面。在一些实施方案中，电子设备通过反向呈现动画(例如，以与呈现动画的速度相同的速度、比呈现动画的速度更大的速度或比呈现动画的速度更慢的速度)来从显示动画转变到显示第一用户界面。
上述响应于检测到远离相应用户界面元素的用户的注视而放弃导航到第二用户界面的方式提供了恢复第一用户界面的显示的高效方式(例如，如果用户改变他们关于导航到第二用户界面的想法)，这附加地通过使用户能够更快速且更高效地使用电子设备(例如，通过在发起导航到第二用户界面的过程之后但在完成导航到第二用户界面的过程之前减少显示第一用户界面所需的输入)同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，在用户的注视(例如，702b)被引导到相应用户界面元素(例如，704b)的同时并且在用户的注视(例如，702b)被引导到相应用户界面元素(例如，704b)长于时间阈值之前并且在导航到第二用户界面(例如，704b)之前，电子设备(例如，101)经由显示生成部件显示(806c)继续被引导到相应用户界面元素(例如，704b)的注视将导致导航到第二用户界面的视觉指示。在一些实施方案中，随着用户的注视保持在相应用户界面元素上，相应表示的大小逐渐增大(例如，直到完成到第二用户界面的导航)。在一些实施方案中，视觉指示是包括未包括在相应用户界面元素中的内容的视觉指示。例如，电子设备显示相应用户界面元素变得更大并扩展成第二用户界面的动画，并且第二用户界面包括未包括在相应用户界面元素中的内容。
上述显示继续被引导到相应用户界面元素的注视将导致导航到第二用户界面的方式提供了向用户指示如何导航到第二用户界面的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，视觉指示包括相应用户界面元素(例如，704b)扩展到第二用户界面中的动画(806d)。在一些实施方案中，随着用户的注视保持在相应用户界面元素上，相应用户界面元素的大小增大(例如，直到完成到第二用户界面的导航)。在一些实施方案中，相应用户界面元素包括第二用户界面的用户界面元素的表示，并且随着用户的注视保持在相应用户界面元素上，用户界面元素的大小增大和/或彼此之间的距离增大。例如，相应用户界面元素表示图像集合(例如，相册)，并且第二用户界面包括该集合中包括的多个图像。在该示例中，响应于用户的注视保持在相应用户界面元素/第二用户界面上，相应用户界面元素的大小扩展并改变成第二用户界面。在一些实施方案中，相应用户界面元素包括最初显示在第二用户界面中的图像。在一些实施方案中，相应用户界面元素包括最初未显示在第二用户界面中的一个或多个图像。
上述将相应用户界面元素扩展成第二用户界面的方式提供了在显示第一用户界面的同时提供第二用户界面的预览的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备(例如，通过使用户能够确定是否继续导航到第二用户界面)同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，显示视觉指示包括在第二用户界面(例如，704b)中发起内容的动画(808a)。在一些实施方案中，相应用户界面元素和/或第二用户界面包括动画和/或视频内容。在一些实施方案中，在检测到用户对相应用户界面元素的注视之前，电子设备放弃显示动画和/或视频内容。例如，在检测到用户对相应用户界面元素的注视之前，电子设备在相应用户界面中显示来自动画和/或视频内容的静止图像。在一些实施方案中，响应于检测到用户在相应用户界面元素上的注视并且在从显示第一用户界面转变到显示第二用户界面的同时，电子设备发起动画和/或视频内容的回放(例如，在第二用户界面中和/或在扩展的相应用户界面元素中)。在一些实施方案中，电子设备呈现动画和/或视频内容，同时将相应用户界面元素扩展成第二用户界面。
上述发起第二用户界面中的内容的动画作为电子设备正导航到第二用户界面的指示的方式提供了在不妨碍第二用户界面的情况下确认导航到第二用户界面的用户输入的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，第一用户界面包括在其上显示相应用户界面元素(例如，704b)的背景，并且视觉指示包括遮蔽背景的显示(808b)。在一些实施方案中，第一用户界面显示在三维环境中，该三维环境包括虚拟场景、其他虚拟对象(诸如应用程序、内容项、文件和其他虚拟对象的表示)以及真实对象(诸如电子设备的物理环境中的真实对象的照片级真实感“透传”视频和/或电子设备的物理环境中的通过显示生成部件的透明部分可见的真实对象)。在一些实施方案中，显示第二用户界面而不显示三维环境或同时显示三维环境的修改版本(例如，三维环境的模糊、变暗、半透明和/或低对比度版本)。
上述在显示第二用户界面的同时遮蔽背景的方式提供了通过遮蔽其他对象的显示来减少用户在查看第二用户界面时的认知负担的方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，导航到第二用户界面(例如，704b)包括改变第一用户界面(例如，704b)与第二用户界面之间的相对模拟深度(808c)(例如，将第一用户界面朝向用户的视点移动和/或将第二用户界面远离用户的视点移动)。在一些实施方案中，从三维环境中的用户的视点在三维环境中显示第一用户界面和第二用户界面。在一些实施方案中，第二用户界面在三维环境中显示在比显示第一用户界面的位置更接近用户的视点的位置处。在一些实施方案中，第一用户界面在三维环境中相对于用户的视点以第一深度显示，并且第二用户界面在三维环境中以比第一深度更接近用户的视点的第二深度显示。在一些实施方案中，第二用户界面被显示为覆盖在第一用户界面的模糊和/或变暗版本上。在一些实施方案中，响应于导航到第二用户界面的输入，电子设备以比在检测到导航到第二用户界面的输入之前显示第一用户界面的深度更远的深度显示第一用户界面的模糊和/或变暗版本。在一些实施方案中，在检测到导航到第二用户界面的输入之前，以显示第一用户界面的深度显示第二用户界面。
上述相对于第一用户界面以非零深度显示第二用户界面的方式提供了通过帮助用户专注于第二用户界面而不专注于第一用户界面而减少用户在查看第二用户界面时的认知负担的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，在检测到被引导到相应用户界面元素(例如，704b)的输入之前，将第一用户界面以具有第一值的视觉特性(例如，半透明度、清晰度、透明度、颜色、对比度、亮度)显示(810a)。在一些实施方案中，诸如在图7C中，在导航到第二用户界面(例如，704b)之后，将第二用户界面以具有不同于第一值的第二值的视觉特性(例如，半透明度、清晰度、透明度、颜色、对比度、亮度)显示在第一用户界面上(810b)。在一些实施方案中，第二用户界面被显示为覆盖在第一用户界面的模糊和/或变暗版本上。在一些实施方案中，第一用户界面包括与第三用户界面相关联的第二相应用户界面元素(例如，704a)(810c)，诸如在图7A中。在一些实施方案中，第一用户界面是图像浏览用户界面，并且相应用户界面元素和第二相应用户界面元素是图像的缩略图，并且第二用户界面和第三用户界面分别是相应用户界面元素和第二相应用户界面元素的放大版本。在一些实施方案中，诸如在图7C中，在将第二用户界面(例如，704b)以具有第二值的视觉特性显示在第一用户界面上的同时，电子设备(例如，101)经由一个或多个输入设备接收(810d)用于从第二用户界面导航到第三用户界面(例如，不导航回到第一用户界面)的输入。在一些实施方案中，用于从第二用户界面导航到第三用户界面的输入包括水平方向输入(例如，由手部跟踪设备(例如，一个或多个相机、范围传感器、深度传感器、接近传感器、触摸传感器(例如，触摸屏或触控板))检测到的用户的手或手指的水平滑动、按压水平箭头键等)。在一些实施方案中，检测用于从第二用户界面导航到第三用户界面的输入包括经由眼睛跟踪设备检测到用户正看向第二用户界面以及经由手部跟踪设备检测到用户用他们的手执行手势和/或移动。在一些实施方案中，检测手势和/或移动包括检测到用户将他们的拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)，在将拇指触摸手指的同时水平地移动他们的手，以及停止触摸手指和拇指。在一些实施方案中，在显示第二用户界面或第三用户界面的同时，响应于检测到用户触摸拇指和手指、向下移动手以及停止一起触摸拇指和手指，电子设备显示第一用户界面并停止显示第二用户界面或第三用户界面。在一些实施方案中，响应于接收到用于从图7C中的第二用户界面(例如，704b)导航到第三用户界面的输入，同时保持以具有第二值的视觉特性对第一用户界面的显示，电子设备(例如，101)停止(810d)第二用户界面(例如，704b)在第一用户界面上的显示，并且电子设备(例如，101)在第一用户界面上显示(810e)第三用户界面。在一些实施方案中，第三用户界面显示在电子设备显示的三维环境中与电子设备先前显示第二用户界面的位置相同的位置。在一些实施方案中，可从第一用户界面访问第三用户界面。例如，响应于检测到用户在第二相应用户界面元素上的注视达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)，或响应于在检测到非注视输入的同时检测到用户在第二用户界面元素上的注视，电子设备呈现第三用户界面而不呈现第二用户界面。
上述在保持第一用户界面的显示的同时从第二用户界面导航到第三用户界面的方式为用户提供了从第一用户界面或第二用户界面导航回到第一用户界面(例如，通过选择第一用户界面)的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，响应于检测到用户的注视(例如，702a)被引导到相应用户界面元素(例如，704b)，电子设备(例如，101)发起(812a)对应于导航到第二用户界面的动画。在一些实施方案中，动画包括扩展相应用户界面元素以变成第二用户界面。在一些实施方案中，响应于检测到包括被引导到相应用户界面元素(例如，704b)的用户的注视(例如，702a)的输入(812b)，诸如在图7A中，根据确定用户的注视(例如，702a)继续被引导到相应用户界面元素(例如，704b)长于时间阈值，电子设备(例如，101)在时间阈值内完成(812c)对应于导航到第二用户界面(例如，704b)的动画，并且导航到第二用户界面(例如，704b)，如图7C所示。在一些实施方案中，响应于检测到用户在相应用户界面元素上的注视达时间阈值而未检测到选择输入，动画以预定速度进行并持续预定时间阈值，直到导航到和/或显示第二用户界面。在一些实施方案中，响应于检测到包括被引导到相应用户界面元素(例如，704b)的用户的注视(例如，702a)的输入(812b)，诸如在图7A中，根据确定当用户的注视(例如，702a)已被引导到相应用户界面元素(例如，704b)短于时间阈值时经由一个或多个输入设备检测到选择输入，电子设备(例如，101)导航(812d)到第二用户界面(例如，704b)，诸如在图7C中，而无需在时间阈值内完成对应于导航到第二用户界面(例如，704b)的动画。在一些实施方案中，如果未接收到选择输入，则电子设备以比电子设备显示动画的第一速度更快的第二速度播放整个动画。在一些实施方案中，电子设备以第一速度呈现动画，直到检测到选择输入并且同时检测到用户在相应用户界面元素上的注视。在一些实施方案中，响应于在用户的注视被引导到相应用户界面元素并且电子设备正以第一速度呈现动画的同时检测到选择输入，电子设备以第二速度继续动画。在一些实施方案中，当检测到选择输入时，电子设备停止呈现动画，并立即显示第二用户界面。
上述响应于在未检测到选择输入的情况下检测到用户在相应用户界面元素上的注视达时间阈值而在时间阈值内显示动画，或者响应于检测到选择输入而在预定时间段内导航到第二用户界面而没有完成动画的方式提供了以更少的时间或更少的输入导航到第二用户界面的高效方式，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图9A至图9D示出根据一些实施方案的电子设备如何增强与用户界面的控制元素的交互的示例。控制元素的示例包括导航栏(例如，图9A至图9B中示出的导航栏906)和可选选项(例如，图9C至图9D中示出的选项A 920a)。
图9A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境910。然而，应当理解，在除三维环境以外的用户界面中实现本文参考图9A至图9D公开的技术中的一个或多个技术是可能的，并且不脱离本公开的范围。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器314任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测用户的手的手势和移动的触摸屏。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件、以及用于检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)、和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
在图9A中，电子设备101在包括多个对象904a-904f和导航栏906的三维环境910中显示用户界面。在包括另一用户界面912的三维环境910中显示用户界面。在一些实施方案中，用户界面912是电子设备101从其导航到包括多个对象904a-904f和导航栏906的用户界面的用户界面，并且用户界面912显示在当前用户界面的后面(例如，在后面的背景中)。在一些实施方案中，三维环境910中除包括多个对象904a-904f和导航栏906的用户界面之外的对象被模糊和/或变暗。在一些实施方案中，电子设备101以下面参考图13A至图14M所述的方式中的一种导航回到用户界面912。
在一些实施方案中，图9A所示的用户界面是用于浏览内容的用户界面，并且对象904a-904f是内容项的表示。例如，用户界面是照片浏览应用程序，并且表示904a-904f是照片的缩略图。作为另一示例，用户界面是视频内容应用程序，并且表示904a-904f是视频内容的缩略图。其他用户界面也是可能的。在一些实施方案中，图9A所示的用户界面是实现本文参考图9A至图10K所公开的技术的任何用户界面。在一些实施方案中，对象904a-904f的行为类似于以上参考图7A至图8F所述的对象B 704b。
图9A所示的用户界面还包括导航栏906。导航栏906包括多个可选选项914a-d。在一些实施方案中，可选选项914a-d与用户界面中的不同页面相关联，并且电子设备101响应于对可选选项914a-d中的一者的选择而在页面之间导航。
如图9A所示，电子设备101检测被引导到导航栏906中包括的选项914a中的一者的用户的注视902a。在一些实施方案中，响应于检测到被引导到选项914a的用户的注视902a达预定时间阈值(例如，0.1秒、0.3秒、0.5秒、1秒等)，电子设备101更新三维环境910的显示，如图9B所示。在一些实施方案中，在检测到被引导到导航栏906中包括的选项914a中的一个选项的用户的注视902a的同时，电子设备101检测到用户用他们的手908执行预定手势(例如，将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指))。在一些实施方案中，响应于在检测到用户的手908执行的手势的同时检测到被引导到选项914a的用户的注视902a，电子设备101更新三维环境910的显示，如图9B所示，而不管检测到注视902a的持续时间如何(例如，即使检测到注视902a小于阈值时间)。在一些实施方案中，响应于在检测到用户在选项914a上的注视902a的同时
检测到手势，电子设备101根据选项914a导航用户界面，而不是呈现图9B所示的用户界面。在一些实施方案中，响应于检测到被引导到导航栏906的不对应于选项914a-d中的一者的区域(例如，导航栏906的在选项914a-d中的两者之间的区域)的用户注视，电子设备101显示图9B所示的用户界面。
图9B示出了响应于以上参考图9A所述的输入中的一个输入而显示三维环境910的电子设备101。如图9B所示，导航栏906被扩展以包括覆盖在对象904a和904d上的可选选项914a-914d的文本描述916a-916d。应当理解，在一些实施方案中，如果扩展的导航栏906的大小不同(例如，更宽、更窄)或者如果用户界面的其余部分的布局不同，则扩展的导航栏906可与对象904a和904d的不同部分重叠或者与用户界面中的附加对象或不同对象重叠。例如，如果扩展的导航栏906的宽度到达对象904b和904e，则扩展的导航栏906将显示为覆盖在对象904a、904b、904d和904e上。
如图9B所示，电子设备101使包括对象904a、904b、904d和904e的至少一部分的用户界面的部分932和930模糊。在一些实施方案中，电子设备101使用户界面的第一部分930以相对高的模糊量模糊，该第一部分在扩展的导航栏906的边界的第一阈值(例如，1厘米、5厘米、10厘米、15厘米等)内。在一些实施方案中，电子设备101使用户界面的第二部分932以相对低的模糊量模糊，该第二部分在扩展的导航栏906的边界的第一阈值和第二阈值之间(例如，2厘米、5厘米、10厘米、15厘米、20厘米、30厘米等)。在一些实施方案中，电子设备101不是使两个区域930和932以两个离散的模糊级别模糊，而是根据距扩展的导航栏的边界的距离到距扩展的导航栏的边界(例如，图9B所示的区域932的边界)的第二阈值距离来连续地改变模糊级别。在一些实施方案中，更接近扩展的导航栏906的边界的区域比更远离扩展的导航栏906的边缘的区域更模糊，并且在模糊级别之间使用羽状转变。如图9B所示，在一些实施方案中，电子设备101不使用户界面的超出部分932的一部分(例如，用户界面的距扩展导航栏906的边界超过第二阈值的部分，诸如对象C 904c和对象F 904f)模糊。在一些实施方案中，除扩展的导航栏906之外，整个用户界面以类似于以下参考图9D所述的方式被模糊。
在一些实施方案中，电子设备101还通过在z方向上(例如，朝向经由显示生成部件120显示的视点)将扩展的导航栏906与用户界面的其余部分分开来在视觉上将扩展的导航栏906与用户界面的其余部分区分开。在一些实施方案中，在显示图9B所示的用户界面的同时，电子设备101更新用户界面以在距三维环境910中的用户的视点比图9A中显示对象904a-f的距离更远的距离处显示对象704a-f中的一者或多者。在一些实施方案中，在显示图9B所示的用户界面的同时，电子设备101在比图9A中显示导航栏906的距离更接近三维环境904中的用户的视点的距离处显示扩展的导航栏906。在一些实施方案中，用户在三维环境中的视点是与三维环境910中的电子设备101在用户相关联的位置和取向。电子设备101任选地从用户的视点显示三维环境910。
图9C示出了电子设备101经由显示生成部件120在用户界面上显示三维环境922。然而，应当理解，在除三维环境以外的用户界面中实现本文参考图9A至图9D公开的技术中的一个或多个技术是可能的，并且不脱离本公开的范围。
图9C示出了包括多个任选选项920a-920i的另一用户界面。例如，图9C所示的用户界面是设置用户界面，并且每个选项920a-920i对应于用于控制与设备101相关联的设置的多个设置菜单中的一个设置菜单。在该示例中，设置菜单中的至少一些设置菜单包括用于调整类别中对应于选项920a-920i中的一个选项的设置的多个选项(例如，显示设置、隐私设置、电源设置、用户账户设置、可访问性选项、网络设置、与电子设备101可访问的一个或多个应用程序相关联的设置等)。如将在下面和图9D中更详细地描述，响应于检测到对例如选项A 920A的选择，电子设备101任选地更新设置用户界面。应当理解，响应于检测到对其他选项920b-920i中的一者的选择，电子设备101任选地类似地更新用户界面。在一些实施方案中，图9C至图9D中电子设备101更新用户界面的方式类似于以上参考图7A至图8F所述的电子设备101更新用户界面的方式。
如以下将更详细地描述，图9C示出了用户界面的显示，其中响应于检测到被引导到选项A 920a的用户的注视902c，选项A 920a被放大和/或在三维环境722中相对于选项920b-i以更接近用户视点的z高度显示。在一些实施方案中，在检测到用户在选项A 920a上的注视902c之前，电子设备
101在用户界面中以与其他选项920b-i相同的大小和/或z高度显示选项A920a。
如图9C所示，电子设备101检测被引向选项A 920a的用户的注视902c。在一些实施方案中，响应于检测到被引导到选项A 920a的用户的注视902c而未检测到附加输入，在用户的注视902c保持在选项A 920a上的同时，电子设备101逐渐增加选项A 920a的大小和/或增加用户界面中选项A 920a与其他选项920b-920i之间的z间距。在一些实施方案中，增加选项A 920a与其他选项920b-920i之间的z间距包括以下中的一者或多者：更新选项A920a以更接近三维环境922中的用户的视点显示；和/或更新其他选项920b-920i以更远离三维环境922中的用户的视点显示。在一些实施方案中，在用户的注视920a保持在选项A 920a上而未检测到附加输入的同时，电子设备101继续逐渐增加选项A 920a的大小或增加选项A920a与选项920b-920i之间的z间距，直到达到阈值时间(例如，0.1秒、0.2秒、0.5秒、1秒、5秒、10秒等)。一旦用户的注视保持在选项A 920a上的同时达到阈值时间，电子设备101任选地显示图9D所示的用户界面。
在一些实施方案中，可使用手势结合注视来使设备101显示图9D所示的用户界面。例如，如图9C所示，电子设备101检测到用户用他们的手908执行手势。在一些实施方案中，手势包括将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)(例如，捏合手势)。在一些实施方案中，响应于在检测到被引导到选项A 920a的用户的注视902c的同时检测到捏合手势，电子设备101显示图9D所示的用户，而不管用户的注视902c保持在选项A 920a上的持续时间如何。因此，在一些实施方案中，在用户的注视902a保持在选项A 920a上的同时，电子设备101能够响应于检测到捏合手势而在小于阈值时间量内导航到图9D所示的用户界面。在一些实施方案中，电子设备101呈现在选项A 920a上检测到注视902c的同时选项A 920a与选项920b-920i分开和/或选项A 920a的大小增加的动画，并且响应于捏合手势而跳过动画的其余部分或增大动画的速度。在一些实施方案中，如果在将拇指触摸另一手指之后并且在看向选项A920a的同时将拇指保持在另一手指上时，用户将他们的注视引导远离选项A 920a，诸如将他们的注视902d引导到选项E 920e，则响应于检测到拇指
和手指移动远离彼此，电子设备101导航到图9D所示的与选项920a相关联的用户界面，而不是导航到与选项E 920e相关联的类似用户界面。
在一些实施方案中，如果在阈值时间过去之前用户的注视被引导离开选项A 920a并且电子设备101未检测到捏合手势，则电子设备101放弃导航到图9D所示的用户界面。例如，用户在阈值时间过去之前将他们的注视902c引导到选项E 920e，而未使用他们的手908执行捏合手势。在一些实施方案中，电子设备101减小选项A 920a的大小和/或选项A 920a与其他选项920b-920i的z间距，并以与电子设备101在检测到用户在选项A 920a上的注视902c之前显示用户界面的方式类似的方式以与其他选项920b-920i相同的大小和相同的z高度显示选项A 920a。
图9D示出了设备101响应于参考图9C所述的输入中的一个输入而显示的用户界面。如图9D所示，电子设备101使选项920b-i在用户界面中的显示模糊和/或变暗，并显示覆盖在选项920b-i上或在选项920b-i前面的与选项A 920a相关联的多个选项924a-c(例如，除了选项A 920a本身之外)。例如，选项A 920a是查看电子设备的电池设置的选项，并且选项1A 924a可被选择以进入电子设备101的低功率模式，选项2B 924b是查看电子设备101的电池的健康状态的选项，并且选项924c是查看电池充电和使用统计的选项。在一些实施方案中，电子设备101使用户界面的一部分(例如，用户界面的在选项A 920a和选项924a-c集合的阈值距离内的部分)模糊，而不是使用户界面的除选项A 920b和选项924a至924c之外的整个其余部分模糊和/或变暗，类似于以上参考图9B所述的方式。在一些实施方案中，选项924a-c中的一者或多者或每一者可被选择以发起改变与选项A 920a相关联的电子设备101的设置或执行一些其他动作的过程。在一些实施方案中，响应于在检测到用户用他们的手执行预定手势(例如，捏合手势)的同时检测到被引导到相应选项924a-c的用户的注视，电子设备101检测到对选项924a-c中的一者的选择。在一些实施方案中，选项A 920a和选项924a-c在三维环境922中以比用户界面的其余部分更接近用户的视点的z高度显示，如以上参考图9B所述。
在一些实施方案中，响应于检测到被引导到选项A 920a(或选项924a-c中的一者)的用户的注视902e，电子设备101继续显示图9D所示的用户界面。在一些实施方案中，响应于检测到用户在用户界面中的另一位置
(例如，选项920b-c或920e-i中的一者)上的注视达预定时间阈值(例如，0.2秒、0.5秒、1秒、2秒等)和/或在检测到用户执行预定手势(例如，捏合手势)的同时，电子设备101导航回到图9C所示的用户界面。在一些实施方案中，导航回到图9C中的用户界面包括更新用户界面以在不被模糊或变暗的情况下显示所有选项920a-i(例如，如图9C所示)，任选地以相同大小和z高度显示所有选项920a-i(与图9C中不同)，并停止显示选项924a-c。
在一些实施方案中，电子设备101将以上参考图9A至图9D所述的特征与本文所公开的其他特征相结合。例如，图9A至图9D所示的用户界面中的一个或多个用户界面包括类别(例如，内容、设置、用户界面等)的可滚动表示和类似于以下参考图11A至图12J所述的用户界面的类别的子类别的可滚动表示。例如，参考图9C，选项920a-i任选地是类别，并且选项924a-c(以及对应于选项920a-i中的其他选项的类似选项)任选地是对应于选项920a-i的类别的子类别。电子设备101任选地显示至少部分地覆盖在类别的表示上的子类别的表示，诸如在图11A中。在一些实施方案中，在滚动类别的表示的同时，电子设备101以与滚动类别的速率不同的滚动速率滚动子类别的表示，如以下参考图11A至图12J所述。在一些实施方案中，在滚动子类别的表示的同时，电子设备放弃滚动类别的表示或以与子类别不同的速率滚动类别，也如以下参考图11A至图12J所述。应当理解，电子设备还能够将参考图9A至图10K所述的实施方案与参考图7A至图8F和图13A至图14M所述的实施方案相结合。
图10A至图10K是示出根据一些实施方案的增强与用户界面的控制元素的交互的方法的流程图。在一些实施方案中，方法1000在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下被引导到用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前被引导到的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令
来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图9A中，在与显示生成部件和眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，101)处执行方法1000。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或导致用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部)、触控板(任选地集成或外部)、触摸板(任选地集成或外部)、远程控制设备(例如，外部)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部)、控制器(例如，外部)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。
在一些实施方案中，诸如在图9A中，电子设备(例如，101)经由显示生成部件显示用户界面(1002a)，该用户界面包括第一控制元素(例如，906)，该第一控制元素能够被选择以执行第一操作，其中第一控制元素(例如，906)以第一外观显示(1002b)。在一些实施方案中，电子设备(例如，101)经由显示生成部件显示用户界面(1002a)，该用户界面包括相应用户界面元素(例如，904a)(例如，应用内容)，该相应用户界面元素包括以具有第一值的相应视觉特性显示的相应用户界面元素(例如，906)的相应部分(1002c)，诸如在图9A中。在一些实施方案中，用户界面显示在由设备生成、由设备显示或以其他方式使得可由设备查看的三维环境中(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)。在一些实施方案中，响应于检测到对第一控制元素的选择，电子设备执行第一操作。在一些实施方案中，以第一外观显示第一控制元素包括以第一颜色、大小和/或半透明度显示第一控制元素和/或在用户界面中的第一位置处显示第一控制元素，包括在用户界面的第一虚拟层中显示第一控制元素和/或在用户界面的相应层内的第一位置处显示第一控制元素。例如，相应控制元素任选地
是包括多个选项的导航元素，当被选择时，该导航元素导致电子设备显示对应于所选选项的相应应用程序的用户界面。在一些实施方案中，相应视觉特性是其中显示相应用户界面元素的相应部分的用户界面的虚拟层、相应用户界面元素相对于用户界面的其他虚拟层的位置、颜色、大小和/或半透明度等。在一些实施方案中，整个相应用户界面元素的第二部分(例如，整个相应用户界面元素)以具有第一值的相应视觉特性显示。在一些实施方案中，诸如在图9A中，在显示用户界面的同时，电子设备(例如，101)经由眼睛跟踪设备检测(1002d)用户的注视(例如，902a)被引导到第一控制元素(例如，906)。在一些实施方案中，响应于检测到用户的注视(例如，902a)被引导到第一控制元素(例如，906)(1002e)，诸如在图9A中，电子设备(例如，101)更新(1002f)第一控制元素(例如，906)以具有不同于第一外观的第二外观，使得具有第二外观的第一控制元素(例如，906)的相应部分显示为覆盖在相应用户界面元素(例如，904a)的相应部分(例如，930)的一部分上，诸如在图9B中。在一些实施方案中，更新第一控制元素以具有第二外观包括改变第一控制元素被显示时的大小、颜色、半透明度等，其中显示第一控制元素的虚拟层(例如，朝向用户界面的顶层向前移动第一控制元素)，和/或虚拟层内显示第一控制元素的位置。在一些实施方案中，作为更新第一控制元素的结果，第一控制元素的一部分覆盖相应用户界面元素的一部分。在一些实施方案中，响应于检测到用户的注视(例如，902a)被引导到第一控制元素(例如，906)(1002e)，诸如在图9A中，电子设备(例如，101)以具有不同于第一值的第二值的相应视觉特性显示(1002g)相应用户界面元素(例如，904a)的相应部分(例如，930)，诸如在图9B中。在一些实施方案中，以具有第二值的相应视觉特性显示相应用户界面元素的相应部分包括改变相应用户界面元素的相应部分被显示时的颜色、大小、半透明度、模糊量等，改变在其中显示相应用户界面元素的相应部分的虚拟层，和/或改变虚拟层内显示相应用户界面元素的相应部分的位置。在一些实施方案中，响应于经由眼睛跟踪设备检测到用户的注视被引导到控制元素达预定时间段(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、1秒等)，电子设备更新第一控制元素并以具有第二值的相应视觉特性显示相应用户界面元素的相应部分。在一些实施方案中，响应于经由眼睛跟踪设备检测到用户的注视被
引导到控制元素，电子设备更新第一控制元素并以具有第二值的相应视觉特性显示相应用户界面元素的相应部分，而无需将注视的持续时间与阈值进行比较。例如，响应于检测到用户的注视被引向与应用程序的用户界面一起显示的导航栏，电子设备更新导航栏以显示为覆盖在应用程序的用户界面上并使与导航栏相邻(例如，被导航栏覆盖)的用户界面的一部分模糊，并且不使用户界面的其余部分模糊。
上述响应于检测到用户在第一控制元素上的注视而更新第一控制元素以具有第二外观且覆盖在相应用户界面元素的一部分上以及以具有第二值的相应视觉特性显示相应用户界面元素的相应部分的方式提供了使用户能够使用控制元素的显示空间在控制元素内进行选择(例如，通过直到检测到被引导到控制元素的注视才扩展控制元素)的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，相应用户界面元素(例如，904b)包括第二相应部分(1004a)。在一些实施方案中，相应用户界面元素的第二相应部分与第一控制元素的边界相距阈值距离(例如，1厘米、2厘米、3厘米、4厘米、5厘米、7厘米、10厘米、15厘米、20厘米、30厘米、40厘米等)。在一些实施方案中，诸如在图9A中，在检测到用户的注视(例如，902a)被引导到第一控制元素(例如，906)之前，第二相应部分以具有第一值的相应视觉特性显示(1004b)。在一些实施方案中，相应视觉特性是其中显示相应用户界面元素的相应部分的用户界面的虚拟层、相应用户界面元素相对于用户界面的其他虚拟层的位置、颜色、大小和/或半透明度等。在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，902b)被引导到第一控制元素(例如，906)，相应用户界面元素(例如，904b)的第二相应部分继续以具有第一值的相应视觉特性显示(1004c)。在一些实施方案中，电子设备不响应于检测到被引导到第一控制元素的用户的注视而修改相应用户界面元素的第二部分的外观。在一些实施方案中，响应于用户在第一控制元素上的注视，电子设备使相应用户界面元素的最接近第一控制元素的部分模糊并且不使相应用户界面元素的超出距第一控制元素的边界的阈值距离的一个或多个附加部分模糊。
上述放弃修改相应用户界面元素的第二相应部分的视觉特性的方式提供了使用户能够在查看更新的第一控制元素的同时继续查看相应用户界面元素的第二相应部分的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，相应用户界面元素(例如，904b)包括在相应部分(例如，930)与第二相应部分之间的第三相应部分(例如，932)(1006a)。在一些实施方案中，第一相应部分与第三相应部分之间的边界距第一控制元素的边界为第一阈值距离(例如，0.5厘米、1厘米、2厘米、3厘米、4厘米、5厘米、7厘米、10厘米、15厘米、20厘米、30厘米、40厘米等)并且第三相应部分与第二相应部分之间的边界距第一控制元素的边界为第二阈值距离(例如，1厘米、2厘米、3厘米、4厘米、5厘米、7厘米、10厘米、15厘米、20厘米、30厘米、40厘米、50厘米等)。在一些实施方案中，诸如在图9A中，在检测到用户的注视(例如，902a)被引导到第一控制元素(例如，906)之前，第三相应部分(例如，932)(在图9B中)以具有第一值的相应视觉特性显示(1006b)。在一些实施方案中，相应视觉特性是其中显示相应用户界面元素的相应部分的用户界面的虚拟层、相应用户界面元素相对于用户界面的其他虚拟层的位置、颜色、大小和/或半透明度等。在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，902b)被引导到第一控制元素(例如，906)，相应用户界面元素的第三相应部分(例如，932)以具有在第一值与第二值之间的第三值的相应视觉特性显示(1006c)。例如，如果相应特性是半透明的，则响应于检测到被引导到第一控制元素的用户的注视，电子设备以比相应用户界面元素的第三部分更多的半透明度来显示相应用户界面元素的第一部分，并且以与在检测到被引导到第一控制元素的用户的注视之前显示相应用户界面元素的第二部分相同的半透明度级别来显示相应用户界面元素的第二部分。在一些实施方案中，电子设备增加相应用户界面元素的相应部分的半透明度和/或模糊的程度取决于相应部分距第一控制元素的边界的距离。在一些实施方案中，相应用户界面元素的相应部分越接近第一控制元素的边界，电子设备显示该相应部分越模糊。
上述以具有在第一值和第二值之间的第三值的视觉特性显示相应用户界面元素的第三相应部分的方式提供了使用户能够在查看更新的第一控制元素的同时继续查看相应用户界面元素的第二相应部分的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，更新第一控制元素(例如，906)以具有第二外观包括显示与第一控制元素相关联的文本描述(例如，916a-d)，其中在检测到用户的注视(例如，902b)被引导到第一控制元素(例如，906)之前，未显示与第一控制元素(例如，906)相关联的文本描述(例如，916a-d)(1008a)。在一些实施方案中，在检测到被引导到第一控制元素的用户的注视之前，第一控制元素包括一个或多个图像并且不包括与每个图像相关联的相应文本。在一些实施方案中，响应于检测到被引导到第一控制元素的用户的注视，电子设备显示与一个或多个图像相关联的相应文本。在一些实施方案中，在检测到用户在第一控制元素上的注视之前，在三维环境中显示相应用户界面元素的一个或多个部分的位置处显示相应文本。在一些实施方案中，相应文本显示为覆盖在检测到用户在第一控制元素上的注视之前显示的相应用户界面元素的一个或多个部分上。
上述响应于用户的注视被引向第一控制元素而显示第一控制元素的文本的方式提供了在检测到用户在第一控制元素上的注视之前保留显示区域(例如，用以显示相应用户界面元素的显示区域)的高效方式以及响应于检测到用户在第一控制元素上的注视而向用户传达由与第一控制元素的各个区域交互所引起的动作的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，当检测到被引导到第一控制元素(例如，906)的用户的注视(例如，902a)时，第一控制元素(例如，906)和相应用户界面元素(例如，904a)显示在第三用户界面(例如，912)上，该第三用户界面以具有第二值的相应视觉特性显示(1008b)。
在一些实施方案中，在检测到被引向第一控制元素的用户的注视之前，电子设备在以具有第一值的相应视觉特性显示的第三用户界面上显示第一控制元素和相应用户界面元素。例如，第一控制元素和相应用户界面元素被显示为覆盖在第三用户界面的模糊版本上。在一些实施方案中，第三用户界面是电子设备从其导航到相应用户界面元素的用户界面。在一些实施方案中，第三用户界面、相应用户界面元素和第一控制元素与相同的相应应用程序相关联。在一些实施方案中，第三用户界面、相应用户界面元素和第一控制元素中的两者与第一应用程序相关联，并且第三用户界面、相应用户界面元素和第一控制元素中的一者与第二应用程序相关联。例如，第三用户界面与第一应用程序相关联，并且相应用户界面元素和第一控制元素与第二应用程序相关联。在一些实施方案中，第三用户界面、相应用户界面元素和第一控制元素各自与不同的应用程序相关联。在一些实施方案中，电子设备以具有第一值的视觉特性与第三用户界面同时显示第一控制元素(例如，在显示相应用户界面元素之前、响应于导航回到第三用户界面的输入等)。
上述在以具有第二值的相应视觉特性显示的第三用户界面上显示第一控制元素和相应用户界面元素的方式提供了在查看相应用户界面元素的同时继续显示第三用户界面同时减少视觉混乱并减少用户的认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9C中，电子设备(例如，101)经由显示生成部件显示(1010a)包括第一相应控制元素(例如，920a)和第二相应控制元素(例如，920b)的第二用户界面，其中第二用户界面的一部分以具有第一值的相应视觉特性显示。在一些实施方案中，第一相应控制元素与一个或多个第一可选选项相关联，并且第二相应控制元素与一个或多个第二可选选项相关联。例如，第一相应控制元素和第二相应控制元素显示在设置用户界面中，该设置用户界面包括与相应类别中的多个设备设置相关联的多个相应控制元素。在该示例中，响应于检测到用户在相应控制元素中的一个控制元素上的注视，电子设备显示与相应控制元素相关联的
多个相应可选选项。在一些实施方案中，诸如在图9C中，在显示第二用户界面的同时，电子设备(例如，101)经由眼睛跟踪设备检测(1010b)用户的注视(例如，902c)被引导到第一相应控制元素(例如，920a)。在一些实施方案中，响应于检测到用户的注视(例如，920a)被引导到第一相应控制元素(例如，920a)，电子设备(例如，101)相对于第二相应控制元素(例如，920b)在视觉上强调(1010c)第一相应控制元素(例如，920)，诸如在图9C中(例如，增加第一相应控制元素的大小，在三维环境的虚拟层中显示第一相应控制元素，虚拟层在用户在三维环境中的视点和其中显示第二相应控制元素的虚拟层之间(例如，通过在三维环境中朝向用户的视点移动第一相应控制元素和/或在三维环境中远离用户的视点移动第二相应控制元素)，修改第一相应控制元素和/或第二相应控制元素的颜色、半透明度或其他视觉特性等)。在一些实施方案中，在电子设备相对于第二相应控制元素在视觉上强调第一相应控制元素之前，检测到用户在第一相应控制元素上的注视达阈值时间量(例如，0.1秒、0.2秒、0.3秒、0.5秒等)。在一些实施方案中，响应于检测到用户在第一相应控制元素上的注视，电子设备立即相对于第二相应控制元素在视觉上强调第一相应控制元素。在一些实施方案中，诸如在图9C中，在用户的注视(例如，902c)被引导到第一相应控制元素(例如，920a)的同时并且在第一相应控制元素(例如，920a)相对于第二相应控制元素(例如，920b)在视觉上被强调的同时，电子设备(例如，101)经由与电子设备通信的手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、和/或触摸传感器(例如，触摸屏或其他触敏表面))来检测(1010d)由用户的手(例如，908)执行的相应手势。在一些实施方案中，检测手势包括经由手部跟踪设备检测到用户将他们的拇指触摸与拇指在同一只手上的手指(例如，食指、中指、无名指、小指)。在一些实施方案中，响应于检测到由用户的手(例如，908)执行的相应手势(1010e)，诸如在图9C中，根据确定相应手势对应于显示与第一相应控制元素(例如，920a)相关联的一个或多个可选选项的请求(例如，在用户的注视在第一相应控制元素上的同时检测到手势和/或满足一个或多个附加标准)，电子设备(例如，101)经由显示生成部件显示(1010f)覆盖在第二用户界面的部分上的与第一相应控制元素(例如，920a)相关联的一个或多个可选选项(例如，924a-c)，其中第
二用户界面的部分以具有第二值的相应视觉特性显示，诸如在图9D中。在一些实施方案中，第二用户界面的部分是第二用户界面的在第一相应控制元素的阈值距离(例如，0.5厘米、1厘米、2厘米、3厘米、4厘米、5厘米、7厘米、10厘米、15厘米、20厘米、30厘米、40厘米等)内的部分，并且第二相应用户界面包括第二部分(在阈值距离外)，该第二部分以具有第一值的视觉特性显示，而第二用户界面的该部分以具有第二值的视觉特性显示。在一些实施方案中，在显示与覆盖在用户界面的该部分上的第一相应控制元素相关联的一个或多个可选选项的同时，电子设备以具有第二值的视觉特性显示第二用户界面的剩余部分(例如，全部)。在一些实施方案中，根据确定相应手势不对应于显示与第一相应控制元素相关联的一个或多个可选选项的请求，电子设备放弃显示覆盖在第二用户界面的该部分上的一个或多个可选选项并以具有第二值的相应视觉特性显示第二用户界面。在一些实施方案中，根据确定手势对应于执行除显示与第一相应控制元素相关联的一个或多个可选选项之外的相应动作的请求，电子设备响应于相应手势而执行相应动作。
上述在显示与第一控制元素相关联的一个或多个可选选项的同时以具有第二值的视觉特性显示第二用户界面的部分的方式提供了以减少的视觉混乱显示与第一控制元素相关联的一个或多个可选选项的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，第一控制元素(例如，914a-d)是能够被选择以显示应用程序的不同用户界面的多个控制元素(例如，914a-d)中的一个控制元素(1012a)。在一些实施方案中，第一控制元素能够被选择以显示相应应用的第一用户界面，并且电子设备显示多个控制元素中能够被选择以显示相应应用程序的第二用户界面的第二控制元素。在一些实施方案中，第一控制元素被包括在应用程序的导航栏中。在一些实施方案中，诸如在图9A中，相应用户界面元素是应用程序的用户界面(1012b)。在一些实施方案中，相应用户界面与多个控制元素中的一个控制元素相关联。在一些实施方案中，在检测到用户在第一控制元素上的注
视之前，电子设备以第一外观显示多个控制元素(例如，作为无文本的图像、与相应用户界面元素无分离、以第一大小等)。在一些实施方案中，响应于检测到用户在第一控制元素上的注视，电子设备以第二外观(例如，以文本、以与相应用户界面元素的增加的分离、以第二大小等)显示第一控制元素。在一些实施方案中，响应于检测到用户在第一控制元素上的注视，电子设备以第二外观显示多个控制元素(的全部或部分)。
上述显示可被选择以显示应用程序的不同用户界面的多个控制元素的方式提供了在应用程序的用户界面之间导航的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，在检测到用户的注视(例如，902a)被引导到第一控制元素(例如，906)之前，第一控制元素(例如，906)在三维环境中相对于相应用户界面以第一深度显示(1012c)。在一些实施方案中，第一深度在显示第一控制元素和相应用户界面的三维环境中距用户的视点相应距离。在一些实施方案中，第一深度对应于在三维环境中相对于用户的视点以相同深度显示的第一控制元素和相应用户界面。在一些实施方案中，诸如在图9B中，响应于检测到用户的注视(例如，902b)被引导到第一控制元素(例如，906)，第一控制元素(例如，906)在三维环境中相对于相应用户界面以不同于第一深度的第二深度显示(1012d)。在一些实施方案中，第二深度对应于在三维环境中相对于用户的视点以不同深度显示的第一控制元素和相应用户界面。在一些实施方案中，响应于检测到用户的注视被引导到第一控制元素，更新相应用户界面以在三维环境中从用户的视点以增加的深度显示。在一些实施方案中，响应于检测到用户的注视被引导到第一控制元素，更新第一控制元素以在三维环境中从用户的视点以减小的深度显示。
上述响应于用户的注视被引导到第一控制元素而改变第一控制元素相对于相应用户界面的深度的方式提供了在查看第一控制元素的同时减少视觉混乱并减少用户的认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这
附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，在用户的注视(例如，902a)被引导到第一控制元素(例如，906)的同时，电子设备(例如，101)经由与电子设备通信的手部跟踪设备(例如，触摸传感器、一个或多个相机、触摸传感器(例如，触摸屏、触控板)等)检测(1014a)选择输入的第一部分(例如，触敏表面(例如，触摸屏、触控板等)上的接触的触地、鼠标的点击而不释放鼠标按钮或其他物理按钮、手势的第一部分，诸如用户将他们的拇指轻敲与拇指在同一只手上的其他手指(例如，食指、中指、无名指、小指)中的一者而不将手指从拇指上释放)。在一些实施方案中，诸如在图9A中，在检测到选择输入的第一部分之后，电子设备(例如，101)经由手部跟踪设备检测(1014b)选择输入的第二部分(例如，触敏表面上的接触的抬离、鼠标按钮或其他物理按钮的点击的释放、手势的第二部分，诸如用户将他们的拇指移动远离拇指正在触摸的手指)。在一些实施方案中，响应于检测到选择输入的第二部分(1014c)，根据确定当检测到选择输入的第二部分时用户的注视不再被引导到第一控制元素(例如，906)(例如，当检测到第二部分时用户的注视被引导到第二控制元素)，电子设备(例如，101)发起(1014d)与第一控制元素相关联的操作(例如，并且不发起与第二控制元素相关联的操作)。在一些实施方案中，根据确定在检测到选择输入的第二部分的同时用户的注视被引导到第一控制元素，电子设备发起与第一控制元素相关联的操作。在一些实施方案中，响应于在检测到选择输入的第一部分的同时检测到用户在第一控制元素上的注视，接着检测到选择输入的第二部分，电子设备执行与第一控制元素相关联的操作，而不管在检测到选择输入的第二部分的同时用户的注视是否被引向第一控制元素。
如果在检测到选择输入的第一部分的同时用户的注视在第一控制元素上并且在接收到第二输入的第二部分的同时用户的注视在除第一控制元素之外的某处，则上述发起与第一控制元素相关联的操作的方式提供了使用户能够在提供选择输入的同时将视线从第一控制元素移开而不影响选择输入的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快
速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应用户界面元素包括图9A中的第一可选对象(例如，904a)和第二相应部分，其中第二相应部分以具有第一值的相应视觉特性显示(1016a)(例如，在检测到对第一可选对象的选择之前)。在一些实施方案中，响应于检测到对第一可选对象的选择，电子设备执行与第一可选对象相关联的操作。在一些实施方案中，在显示包括图9A中的第一可选对象(例如，904a)的相应用户界面元素的同时，电子设备(例如，101)检测(1016b)对第一可选对象(例如，904a)的选择。在一些实施方案中，检测对第一可选对象的选择包括经由眼睛跟踪设备检测到用户的注视被引导到第一可选对象，以及经由手部跟踪设备检测到用户用他们的手执行相应手势。在一些实施方案中，响应于检测到对第一可选对象(例如，904a)的选择(1016c)，电子设备(例如，101)显示(1016d)覆盖在相应用户界面元素的第二相应部分上的第一可选对象(例如，904a)的表示(例如，与第一可选对象相关联的对象、用户界面、内容等)，其中相应用户界面元素的第二相应部分以具有不同于第一值的第二值的相应视觉特性显示。在一些实施方案中，响应于检测到对第一可选对象的选择，电子设备显示第一可选对象的表示(例如，与第一可选对象相关联的对象、用户界面、内容等)，而不显示相应用户界面元素。在一些实施方案中，电子设备显示第一可选对象的表示(例如，与第一可选对象相关联的对象、用户界面、内容等)，而不显示由显示生成部件呈现的三维环境中的任何其他对象或用户界面。例如，电子设备以全屏或沉浸模式显示表示。在一些实施方案中，用户界面是用于浏览图像的用户界面(例如，照片应用程序)，并且第一可选对象是用户界面中的图像中的一个图像的表示。在一些实施方案中，响应于检测到对图像的表示的选择，电子设备以更大的大小显示图像，并且使用户界面的其余部分的至少一部分模糊以用于浏览图像。
上述以具有第二值的视觉特性显示覆盖在相应用户界面元素的第二相应部分上的第一可选对象的表示的方式提供了在显示第一可选对象表示的同时减少视觉混乱的高效方式，这减少了用户的认知负担，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界
面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应用户界面元素(例如，904a)包括围绕第二相应部分的第三相应部分(1018a)。在一些实施方案中，第三相应部分在相应用户界面元素的第二相应部分与第一相应部分之间。在一些实施方案中，响应于检测到对第一可选对象(例如，904a)的选择，以具有第二值的相应视觉特性显示相应用户界面元素(例如，904a)的第二相应部分，并且以具有在第一值和第二值之间的第三值的相应视觉特性显示相应用户界面元素的第三相应部分(1018b)。在一些实施方案中，响应于检测到对第一可选选项的选择，电子设备以具有第一值的相应视觉特性显示相应用户界面元素的第一部分。例如，在一些实施方案中，电子设备将模糊效果应用于相应用户界面元素，其中增加的模糊应用于响应于第一可选对象的选择而显示的最接近第一可选对象的表示(例如，与第一可选对象相关联的对象、用户界面、内容等)的部分。在该示例中，相应用户界面元素的一部分越接近第一可选对象的表示(例如，与第一可选对象相关联的对象、用户界面、内容等)，该部分越模糊。在该示例中，电子设备任选地在不模糊的情况下显示相应用户界面元素的第一部分。在一些实施方案中，用户界面是用于浏览图像的用户界面(例如，照片应用程序)，并且第一可选对象是用户界面中的图像中的一个图像的表示。在一些实施方案中，响应于检测到对图像的表示的选择，电子设备以更大的大小显示图像，并且使用户界面的其余部分的至少一部分模糊以用于浏览图像，其中增加的模糊应用于最接近图像的边界的用户界面的部分。
上述以具有第二值的相应视觉特性显示相应用户界面元素的第二相应部分并以具有第三值的相应视觉特性显示相应用户界面元素的第三相应部分的方式提供了减少第一可选选项的表示附近的视觉混乱同时保持相应用户界面元素的一个或多个部分的易读性的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，相应用户界面元素包括对应于(例如，对象、内容、信息、用户界面等的)多个类别的第一多个表示
(例如，1104a)，以及对应于多个类别的(例如，对象、内容、信息、用户界面等的)子类别的第二多个表示(例如，1108a-c)和(例如，1110a)(1020a)。在一些实施方案中，响应于检测到对相应类别的表示的选择，电子设备呈现内容、对象、用户界面、信息等和/或与相应类别相关联的子类别的表示。在一些实施方案中，响应于检测到对相应子类别的表示的选择，电子设备呈现与相应子类别相关联的内容、对象、用户界面、信息等。例如，照片浏览应用程序包括叠加在年份的表示上的相册的表示。在一些实施方案中，响应于检测到对年份的表示的选择，电子设备显示在相应年份中创建的照片和/或相册。在一些实施方案中，响应于检测到对相册的表示的选择，电子设备显示相册中包括的照片。在一些实施方案中，诸如在图11A中，在显示相应用户界面元素的同时，电子设备(例如，101)经由一个或多个输入设备接收(1020b)滚动输入。在一些实施方案中，响应于接收到滚动输入(1020c)，根据确定滚动输入被引导到第一多个表示(例如，1104a)(例如，经由眼睛跟踪设备检测到用户的注视被引导到第一多个表示)，电子设备(例如，101)根据滚动输入以第一速率滚动通过第一多个表示(例如，1104a)并且以第二速率滚动通过第二多个表示(例如，1108a-c)和(例如，1110a)。在一些实施方案中，第一多个表示以与滚动输入的特性(例如，滚动输入的速度、滚动输入的移动幅度)成比例的速率滚动，并且第二多个表示根据第一表示滚动的速率滚动。例如，响应于滚动第一表示以移动第一量，电子设备以第一速度滚动第二表示以显露出与第一表示中的相应一个第一表示相关联的第一组第二表示，并且响应于滚动第一表示以移动第二量，电子设备以第二速率滚动第二表示以显露出与第一表示中的相应一个第一表示相关联的第二组第二表示。例如，在包括相册(例如，子类别)和年份(例如，类别)的表示的照片浏览应用程序中，电子设备检测滚动年份的表示的输入，并且响应于该输入，根据滚动输入滚动年份的表示，并且根据年份滚动的速率滚动相册的表示。例如，如果电子设备滚动到第一年，则电子设备滚动相册以显示第一年的相册，并且如果电子设备滚动到第二年，则电子设备滚动相册以显示第二年的相册。在一些实施方案中，响应于接收到滚动输入(1020c)，根据确定滚动输入被引导到第二多个表示(例如，1108a-c)和(例如，1110a)，诸如在图11A中(例如，经由眼睛跟踪设备检测到用户的注视被引导到第一多个
表示)，电子设备(例如，101)根据滚动输入以不同于第二速率的第三速率滚动(1020e)通过第二多个表示(例如，1108a-c)和(例如，1110a)。在一些实施方案中，响应于检测到滚动第二多个表示的输入，电子设备以与滚动输入的特性(例如，滚动输入的速度、滚动输入的移动幅度)成比例的速率滚动第二多个表示。在一些实施方案中，第一多个表示以与第二表示滚动的速率相关的速率滚动。在一些实施方案中，电子设备不响应于滚动第二表示的输入而滚动第一表示。例如，在包括相册(例如，子类别)和年份(例如，类别)的表示的照片浏览应用程序中，电子设备检测滚动相册的表示的输入，并且响应于该输入，根据滚动输入滚动相册的表示，并且根据相册滚动的速率滚动年份的表示。例如，如果电子设备滚动到与第一年相关联的一个或多个相册，则电子设备滚动年份以显露出第一年的表示，并且如果电子设备滚动到与第二年相关联的一个或多个相册，则电子设备滚动年份以显露出第二年的表示。
上述根据滚动输入被引导到第一表示还是第二表示而以不同速率滚动第二表示的方式提供了呈现对应于在滚动类别时可见的类别的子类别的高效方式以及独立于类别滚动子类别的方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，相应用户界面元素包括对应于(例如，内容、对象、用户界面等的)多个类别的第一多个表示(例如，1104a)(1022a)。在一些实施方案中，响应于检测到对相应类别的表示的选择，电子设备呈现内容、对象、用户界面、信息等和/或与相应类别相关联的子类别的表示。例如，在照片浏览应用程序中，类别是年份，每个年份包括来自相应年份的照片和相册，并且子类别是相册(例如，每个相册与相应年份相关联)。作为另一示例，在视频内容浏览应用程序中，类别是内容项的集合(例如，包括多个情节内容系列)，并且子类别是情节内容系列。在一些实施方案中，诸如在图11A中，相应用户界面元素包括对应于多个类别的子类别的第二多个表示(例如，1108a-c)和(例如，1110a)(1022b)。在一些实施方案中，响应于检测到对相应子类别的表示的选择，电子设备呈现与相应子类别相关联的内容、对象、用户界面、
信息等。例如，在照片浏览应用程序中，类别是年份，每个年份包括来自相应年份的照片和相册，并且子类别是相册(例如，每个相册与相应年份相关联)。作为另一示例，在视频内容浏览应用程序中，类别是内容项的集合(例如，包括多个情节内容系列)，并且子类别是情节内容系列。在一些实施方案中，第二多个表示(例如，1108a-c)和(例如，1110a)覆盖在第一多个表示(例如，1104a-b)上(1022c)。在一些实施方案中，在电子设备显示覆盖在类别的表示上的子类别的表示的同时，类别的表示的一部分是可见的。在一些实施方案中，子类别的表示覆盖在类别的表示中的每个表示的相应部分上(例如，沿着类别的表示的底部边缘)。在一些实施方案中，类别的表示和子类别的表示沿着同一轴线布置(例如，类别的表示和子类别的表示可在同一维度中滚动，诸如可水平地滚动)。在一些实施方案中，相应类别的子类别的表示包含在相应类别的表示的边界内(例如，子类别的表示不水平地延伸超过子类别所属的类别的表示的水平边界)。在一些实施方案中，相应类别的子类别的表示延伸超过相应类别的边界(例如，子类别的表示水平地延伸超过子类别所属的类别的表示的水平边界)。上述显示覆盖在类别的表示上的子类别的表示的方式提供了指示每个子类别与之相关联的类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图11A至图11D示出根据一些实施方案的电子设备如何以协调的方式滚动类别和子类别的表示的示例。
图11A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境1124。然而，应当理解，在除三维环境以外的用户界面中实现本文参考图11A至图11D公开的技术中的一个或多个技术是可能的，并且不脱离本公开的范围。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器314任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测用户的手的手势和移动的触摸屏。在一些实施方案中，
以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件、以及用于检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)、和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。如图11A所示，用户界面还包括导航栏1106。在一些实施方案中，导航栏1106的行为类似于以上参考图9A至图10K所述的控制元素。
图11A示出了在三维环境1124中显示用户界面的电子设备101。用户界面包括类别A的表示1104a、类别B的表示1104b、类别A的子类别1104a的表示1108a-1108c和类别B的子类别1104b的表示。如图11A所示，子类别的表示1108a-c和1110a被显示为至少部分地覆盖在类别的表示1104a-b上。在一些实施方案中，类别是内容、应用程序、设置等的类别，并且可选择以呈现与所选类别或子类别的内容、应用程序、设置等相关的用户界面。例如，在照片浏览应用程序中，类别对应于年份并且包括在相应年份拍摄的照片，并且子类别对应于相册，每个相册与一个或多个年份相关联(例如，对应于类别)。在该示例中，响应于检测到对年份(例如，类别)的表示1104a或1104b中的一者的选择，电子设备101显示所选年份(例如，类别)中的相册(例如，子类别)的照片和/或表示。作为另一示例，响应于检测到对相册(例如，类别)的表示1108a-c或1110a中的一者的选择，电子设备101显示相册(例如，子类别)中的照片。在一些实施方案中，电子设备101通过在用户的注视在相应可选元素上时检测用户手的预定手势(例如，捏合手势)来检测选择。在一些实施方案中，类别的表示1104a和1104b和/或子类别的表示1108a-c和1110a是二维且可滚动的卡用户界面元素。
在一些实施方案中，类别的表示1104a和1104b以及子类别的表示1108a-c和1110a是可水平滚动的，以至少部分地基于设备101的用户的注视来显露出图11A中未示出的附加类别和/或子类别。例如，在一些实施方案中，电子设备101检测被引导到类别A的表示1104a(或类别B的表示1104b)的用户的注视1102a，同时检测到用户在执行预定手势的同时移动他们的手1112。在一些实施方案中，预定手势包括将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)(例如，捏合手势)。在一些实施方案中，响应于在执行手势的同时检测到手1112的移
动，同时用户的注视1102a被引导到类别A的表示1104a，电子设备101根据用户的手1112的移动来滚动类别的表示1104a和1104b。例如，响应于检测到用户将他们的手1112向右移动，如图11A所示，电子设备101将表示1104a和1104b向右滚动。在一些实施方案中，响应于检测到用户停止执行预定手势(例如，将拇指和手指彼此移开)，电子设备101响应于用户的手的移动而停止滚动类别的表示1104a和1104b。
在一些实施方案中，在响应于上述输入而滚动类别的表示1104a和1104b的同时，电子设备101根据类别的表示1104a-b的滚动来滚动子类别的表示1108a-c和1110a。在一些实施方案中，子类别的表示1108a-c和1110a滚动的速率与类别的表示1104a-b滚动的速率成比例，并且子类别的表示1108a-c和1110a滚动的方向与类别的表示1104a-b滚动的方向相同。在一些实施方案中，子类别的表示1108a-c和1110a以比类别的表示1104a-b更快的速率滚动。在一些实施方案中，子类别的表示1108a-c和1110a根据电子设备101当前显示的类别的表示1104a-b来滚动。例如，一旦类别的表示1104a-b滚动以显露出第三类别(图11A中未示出)，子类别的表示1108a-c和1110a也已滚动(例如，以适当的速率)以显露出第三类别的至少一个子类别的表示。作为另一示例，响应于滚动类别1104a-b的表示以使得类别B1104b的表示在用户界面中左对齐，电子设备101将滚动表示1108a-c和1110a以使得类别B的第一子类别1104b(子类别B1 1110a)也在覆盖在类别B的表示1104b上的用户界面中左对齐。
同样，在一些实施方案中，电子设备101检测用户在子类别A2的表示1108b上的注视1102b，同时在用户用他们的手1112执行预定手势的同时检测到用户的手1112的移动。在一些实施方案中，响应于在用户执行手势并看向表示1108b(或子类别的另一表示1108a、1108c或1110a)的同时检测到手1112的移动，电子设备101滚动子类别的表示1108a-c和1110a。在一些实施方案中，在滚动子类别1108a-c和1110a的表示的同时，电子设备101放弃滚动类别的表示1104a-b。在一些实施方案中，电子设备101以与子类别的表示1108a-c和1110a的滚动成比例的速率并且在与子类别表示1108a-b和1110a相同的方向上滚动类别表示1104a-b。在一些实施方案中，类别的表示1104a-b以比子类别的表示1108a-c和1110a更慢的速率滚动。在一些实施方案中，类别的表示1104a-b根据电子设备101当前显示的子类别的
表示1108a-c和1110a来滚动。例如，一旦子类别的表示1108a-c和1110a滚动以显露出第三类别的子类别(图11A中未示出)，类别的表示1104a-b已滚动(例如，以适当的速率)以显露出第三类别的表示。
因此，图11A示出了包括电子设备101以协调方式滚动的类别的表示1104a-b以及子类别的表示1108a-c和1110a的用户界面。
图11B示出了显示另一三维环境1126的电子设备101，该三维环境包括具有类别的表示1116a和1116b以及类别A的子类别1116a的表示1118a-d的用户界面。应当理解，电子设备101有可能在二维用户界面中实现参考图11B至图11D所述的技术中的一种或多种技术，而不脱离本公开的范围。在一些实施方案中，类别和子类别是内容、设置、应用程序等的类别和子类别。例如，图11B所示的用户界面是视频内容浏览用户界面，包括情节内容系列的类别(例如，情节内容系列是类别的子类别并且包括视频内容的情节)。示例性类别包括新内容、流行内容、基于用户之前的内容消费历史的推荐、策划的内容集合等。在一些实施方案中，类别A的表示1116a包括与类别A相关联而不与类别A的特定子类别相关联的图像，并且可被选择以显示与类别A相关联的用户界面。在一些实施方案中，类别A的表示1116a对应于类别A的子类别中的一个子类别(例如，不对应于表示1118a-d的子类别)，并且可被选择以显示与类别A的子类别相关联的用户界面。再次参考图11B，在一些实施方案中，用户界面还包括导航栏1114，该导航栏以类似于以上参考图9A至图10K所述的控制元素的方式表现。
在图11B中，电子设备101检测被引导到类别A的表示1116a的用户的注视1102c并且检测到用户在执行预定手势的同时移动他们的手1112。在一些实施方案中，预定手势包括将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)(例如，捏合手势)。响应于检测到用户在类别A的表示1116a上的注视1102c，同时用户在保持捏手势的同时移动他们的手1112，电子设备101滚动类别的表示以显露出类别B的表示1116b，如图11C所示。应当理解，在一些实施方案中，子类别的表示1118a-d可以类似方式滚动。例如，电子设备101响应于检测到被引导到表示1118a-d中的一者的用户的注视，同时检测到用户的手1112在保持捏合手势的同时移动，滚动子类别的表示1118a-d。在一些实施方案中，电子设备101滚动子类别的表示1118a-d，而不滚动类别的表示1116a-b。
图11C示出了响应于图11B中检测到的输入的用户界面。如图11C所示，电子设备101已滚动类别的表示1116a-c以显露出类别B的完整表示1116b和类别C的表示1116c的一部分，并且仅显示类别A的表示1116a的一部分。响应于将类别的表示滚动到类别B的表示1116b，电子设备101停止图11B所示的类别A的子类别的表示1118a-d的显示，并且显示类别B的子类别的表示1120a-d。因此，如图11B至图11C所示，在一些实施方案中，响应于检测到类别的表示1116a-1116c的滚动，电子设备101还滚动子类别的表示1118a-d和1120a-d，以显示对应于通过滚动类别而显露出的类别的表示1116b的子类别的表示11120a-d。
如先前所讨论的，在一些实施方案中，表示1116、1118和/或1120可选择以发起与所选表示有关的内容的显示。例如，如图11C所示，电子设备101检测用户在类别B的表示1116b上的注视1102d，同时检测到用户用他们的手1112执行捏合手势。响应于检测到输入，电子设备101显示图11D所示的与类别B相关联的用户界面。在一些实施方案中，响应于检测到用户在表示1116b上的注视1102d达预定阈值时间(例如，0.2秒、0.5秒、1秒、2秒等)而未检测到用户用他们的手1112执行捏合手势，电子设备101显示图11D所示的用户界面。在一些实施方案中，响应于检测到对不同类别的表示(例如，表示1116a或1116c)的选择，电子设备101显示类似于图11D所示的用户界面的用户界面，其对应于所选择的类别。
图11D示出与响应于检测到对图11C所示的输入的选择而显示的类别B相关联的用户界面。在一些实施方案中，用户界面包括类别B的表示1116b和类别B的子类别的表示1120a-d。在一些实施方案中，类别B的子类别的表示1120a-d可响应于包括检测用户的注视以及在执行手势(例如，捏合手势)的同时检测用户的手的运动的输入而水平地滚动，类似于先前所述。在一些实施方案中，表示1120b-d以图11C的用户界面在图11D的背景中的方式显示在图11D所示的用户界面的背景中。在一些实施方案中，电子设备101不在图11D所示的用户界面中显示子类别1120a-d的表示。
如上所述，在一些实施方案中，类别B的表示1116b是与类别B的特定子类别不相关联的类别的表示。在一些实施方案中，表示1116b包括内容(例如，视频内容)、图像(例如，照片、视频)或用户界面。在一些实施方案中，类别B 1116b的表示1116b是类别B的子类别中的一个子类别的
表示。例如，在视频内容浏览应用程序中，类别B的表示1116b与类别B中的情节内容系列(例如，子类别中的一个子类别)相关联。
如图11D所示，电子设备101显示覆盖在图11C所示的用户界面上的与类别B相关联的用户界面。在图11D中，图11C所示的用户界面模糊和/或变暗。在一些实施方案中，图11C中的用户界面的内容(例如，包括类别A的表示1116a和类别B的表示1116b)在z方向上(例如，在朝向经由显示生成部件120示出的视点的方向上)与类别B的表示1116b和类别B的子类别的表示1120a-d在视觉上分离。例如，当从显示图11C中的用户界面转变到图11D中的用户界面时，电子设备101将图11C中的用户界面的内容移动远离三维环境1126中的用户的视点，和/或将类别B的表示1116b和类别B的子类别的表示1120a-d朝向三维环境1126中的用户的视点移动。在一些实施方案中，用户在三维环境1126中的视点是与三维环境1126中的电子设备101在用户相关联的位置和取向。电子设备101任选地从用户的视点显示三维环境1126。
如上所述，在一些实施方案中，类别B的表示1116b与内容(例如，视频内容、音频内容)相关联。在一些实施方案中，响应于检测到对表示1116b中包括的选项的选择(或者响应于检测到对表示1116b本身的选择)，电子设备101播放与该选项(或与表示1116b本身)相关联的内容，诸如经由显示生成部件120显示该内容。在一些实施方案中，电子设备101基于注视和/或手势来检测选择，如以上参考图7A至图8F所述。在一些实施方案中，在响应于对表示1116b中包括的选项的选择或对表示1116b本身的选择而呈现视频内容的同时，电子设备101增加三维环境1126中除内容之外的部分的模糊和变暗，和/或引入气氛照明效果，诸如对内容的聚光灯，类似于以上参考图7C所述的技术。
在一些实施方案中，响应于检测到对子类别的表示的选择(例如，经由注视或手势)，电子设备101显示类似于图11D所示的用户界面的与类别的相应子类别相关联的用户界面。例如，响应于检测到图11C或图11D中的子类别B1的表示1120a的选择，电子设备101显示与图11D所示的用户界面类似的用户界面。在一些实施方案中，用户界面包括子类别B1的表示，以代替图11D中的类别B的表示1116b。在一些实施方案中，子类别B1在与子类别B1关联的用户界面中的表示包括可选选项，当被选择时，该
可选选项使电子设备101以与上述方式类似的方式发起与子类别B1相关联的内容的回放(或者子类别B1的表示可被选择以播放该内容)。在一些实施方案中，与子类别B1相关联的用户界面包括类别B中的其他子类别的表示1120b-d。在一些实施方案中，表示1120b-d显示在图11D所示的位置处。在一些实施方案中，表示1120b-d以图11C的用户界面在图11D的背景中的方式显示在图11D所示的用户界面的背景中。在一些实施方案中，电子设备101不在与子类别B1相关联的用户界面中显示类别B的其他子类别的表示。
因此，如以上参考图11A至图11D所述，在一些实施方案中，电子设备101显示类别和子类别的表示。在一些实施方案中，电子设备101以协调的方式滚动类别和子类别的表示。在一些实施方案中，电子设备更新类别和子类别的表示的显示，同时显示与相应类别和子类别相关联的用户界面。
图12A至图12J是示出根据一些实施方案的以协调的方式滚动类别和子类别的表示的方法的流程图。在一些实施方案中，方法1200在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下被引导到用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前被引导到的相机)。在一些实施方案中，方法1200通过存储在非暂态计算机可读存储介质中并由计算系统的一个或多个处理器(诸如计算系统101的一个或多个处理器202)(例如，图1A中的控制单元110)执行的指令来管理。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图11A中，在与显示生成部件120和包括眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)的一个或多个输入设备通信的电子设备(例如，101)处执行方法1200。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或导致用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，一个或多个
输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部)、触控板(任选地集成或外部)、触摸板(任选地集成或外部)、远程控制设备(例如，外部)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部)、控制器(例如，外部)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。
在一些实施方案中，诸如在图11A中，电子设备(例如，101)经由显示生成部件显示(1202a)用户界面，该用户界面包括多个类别中的第一类别的第一表示(例如，1104a)(1202b)。在一些实施方案中，类别的表示任选地与多个对象(例如，文件、应用程序等)相关联，该多个对象适合或包括在相应类别中(例如，是相应类别的一部分)。例如，2019年拍摄的多张照片包括在2019类别中。在一些实施方案中，每个类别中包括的对象被包括在该类别的子类别中。例如，2019年拍摄的多个照片集合是2019类别的子类别，并且任选地可包括属于它们相应子类别和2019类别的照片。在一些实施方案中，响应于检测到对类别的表示的选择，电子设备显示该类别内的子类别的表示和/或该类别中包括的对象的表示。在一些实施方案中，用户界面使用户能够浏览类别以导航内容集合。在一些实施方案中，用户界面显示在由设备生成、由设备显示或以其他方式使得可由设备查看的三维环境中(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)。
在一些实施方案中，诸如在图11A中，电子设备(例如，101)经由显示生成部件显示(1202a)用户界面，该用户界面包括第一类别的第一多个子类别中的第一子类别的第一相应表示(例如，1108a)(1202c)。在一些实施方案中，第一子类别任选地与属于第一类别的多个对象(例如，文件、应用程序等)相关联，该多个对象适合于或包括在第一子类别中(例如，是第一子类别的一部分)。例如，2019年度假的相册中包括的多张照片属于度假相册子类别和2019类别。在一些实施方案中，响应于检测到对第一子类别的表示的选择，电子设备显示子类别中包括的对象的表示。在一些实施方案中，用户界面使用户能够浏览子类别以导航对象的集合。
在一些实施方案中，诸如在图11A中，在显示用户界面的同时，电子设备(例如，101)经由一个或多个输入设备检测(1202d)滚动输入。在一些实施方案中，检测滚动输入任选地包括经由眼睛跟踪设备检测用户的注视在与滚动相关联的用户界面的区域上。在一些实施方案中，检测滚动输入包括经由眼睛跟踪设备检测用户在可滚动用户界面元素上的注视以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、和/或触摸传感器(例如，触摸屏或触控板))检测到用户执行与一起滚动相关联的手势(例如，轻敲或捏住拇指和手指(例如，食指、中指、无名指或小指)以及在用户界面可滚动的方向上移动手)。在一些实施方案中，子类别的表示显示为覆盖在该子类别所属的类别的表示上或该表示附近。
在一些实施方案中，响应于接收到滚动输入(1202e)，根据确定当检测到滚动输入时用户的注视被引导到第一类别的第一表示(1202f)，电子设备(例如，101)导航到多个类别中的第二类别的第二表示。在一些实施方案中，电子设备停止显示第一类别的表示并发起第二类别的表示的显示。在一些实施方案中，在接收到滚动输入之前，电子设备在用户界面中对应于当前导航位置的相应位置处显示第一类别的表示，并显示第二类别的表示的至少一部分。在一些实施方案中，响应于接收到滚动输入，电子设备更新用户界面以将第二类别的表示包括在用户界面中对应于当前导航位置的相应位置中，并将第一类别的表示移动到用户界面中对应于先前导航位置的位置。
在一些实施方案中，响应于接收到图11A中的滚动输入(1202e)，根据确定当检测到滚动输入时用户的注视(例如，1102a)被引导到第一类别的第一表示(例如，1104a)(1202f)，电子设备(例如，101)在用户界面中显示(1202h)第二类别的第二多个子类别中的第一子类别的第一相应表示(例如，1110a)。在一些实施方案中，电子设备停止显示第一类别的子类别的表示。在一些实施方案中，在接收到滚动输入之前，电子设备在用户界面中对应于用户界面的当前导航位置的相应位置中显示第一类别的子类别的表示，并显示第一类别的第二类别的子类别的表示的至少一部分。在一些实施方案中，响应于滚动输入，电子设备更新用户界面以在对应于用户界面的当前导航位置的用户界面的相应部分中包括第二类别的子类别的表示。在一些实施方案中，响应于接收到滚动输入并且根据确定当接收
到滚动输入时用户的注视被引导到第一类别的第一表示，电子设备导航到第二类别的表示并显示第二类别的一个(或多个)子类别的一个(或多个)表示。例如，响应于在显示内容项的类别的表示和第一类别中包括的情景内容系列的表示(例如，第一类别的子类别的表示)的同时检测到滚动输入和用户在内容项的类别的表示上的注视，电子设备更新用户界面以包括内容项的第二类别的表示和内容项的第二类别中包括的情景内容系列的表示(例如，第二类别的子类别的表示)。
在一些实施方案中，响应于接收到图11A中的滚动输入(1202e)，根据确定当检测到滚动输入时用户的注视(例如，1102b)被引导到第一子类别的第一相应表示(例如，1108b)(1202i)，电子设备(例如，101)导航(1202j)到第一多个子类别中的第二子类别的第二相应表示(例如，1108c)，而不导航到第二类别的第二表示(例如，1104b)。在一些实施方案中，电子设备继续显示第一类别的表示。在一些实施方案中，电子设备滚动第一类别的子类别的表示，包括更新第一类别的第一子类别和第二子类别的表示的位置。在一些实施方案中，滚动子类别的表示包括发起在接收到滚动输入之前未显示的子类别的一个或多个表示(例如，第二子类别的表示)的显示，以及停止子类别的一个或多个表示(例如，第一子类别的表示)的显示。在一些实施方案中，响应于在接收滚动输入的同时检测到用户在第一类别的子类别的表示上的注视，电子设备滚动子类别的表示。例如，在显示包括第一类别的内容项的表示和第一类别的内容中包括的情节内容系列的表示(例如，内容项的类别的子类别的表示)的用户界面的同时，电子设备检测滚动输入和用户在第一类别中包括的情节内容系列中的一者的表示上的注视，并且响应于滚动输入，电子设备滚动情节内容系列的表示(例如，不滚动通过所显示的类别)。在一些实施方案中，电子设备滚动类别的表示，包括响应于在接收到滚动输入的同时检测到用户在第一类别的表示上的注视而显示第二类别的子类别的表示，并且响应于在接收到滚动输入的同时检测到用户在第一类别的子类别上的表示的注视而滚动第一子类别的表示而不显示第二类别的子类别的表示。
上述基于用户注视在类别或子类别中导航的方式提供了在不导航类别的情况下在类别中导航和在类别的子类别中导航的同时查看类别的子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的
可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11C中，在显示第一类别的第一表示(例如，1116b)和第一子类别的第一相应表示(例如，1120a)的同时，其中第一类别的第一表示(例如，1116b)相对于第一子类别的第一相应表示以第一深度显示，电子设备(例如，101)经由一个或多个输入设备检测(1204a)选择第一子类别的第一相应表示(例如，1120a)的输入。在一些实施方案中，第一类别的第一表示的深度是相对于三维环境中用户的视点的深度。在一些实施方案中，检测对第一子类别的第一相应表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向第一子类别的第一相应表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对第一子类别的第一相应表示的选择包括经由眼睛跟踪设备检测到用户的注视被引导到第一相应表示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，替代地选择类别的表示(例如，第一类别的表示)。在一些实施方案中，响应于检测到选择第一子类别的第一相应表示(例如，1120a)的输入，电子设备(例如，101)经由显示生成部件显示(1204b)与第一子类别的第一相应表示相关联的第二用户界面，该第二用户界面类似于图11D中的用户界面，其中第一类别的第一表示相对于第二用户界面以大于第一深度的第二深度显示。在一些实施方案中，第二深度比第一深度离用户的视点更远(例如，电子设备将第一类别的第一相应表示的深度更新为离用户的视点更远)。在一些实施方案中，电子设备以比显示第一子类别的第一相应表示的深度更接近用户的深度显示第二用户界面。在一些实施方案中，第二用户界面的深度与第一子类别的第一相应表示相对于用户的视点的深度相同。在一些实施方案中，如果替代地选择了类别的表示，则与响应于类别的表示的选择而显示的用户界面相比，从用户的角度来看，类别的剩余表示将类似地以更远的深度显示。
上述在显示第二用户界面的同时以第二深度显示第一类别的第一表示的方式提供了在显示第三用户界面时减少视觉混乱并减少用户认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，第一类别的第一表示(例如，1104a)包括对应于第一类别的卡(例如，二维用户界面对象)，并且第二类别的第二表示(例如，1108b)包括对应于第二类别的卡(1204c)。在一些实施方案中，卡是显示在相应用户界面内的二维用户界面对象。在一些实施方案中，卡是正方形或矩形或其他形状。在一些实施方案中，卡响应于滚动类别的表示的请求而移动。在一些实施方案中，子类别也由卡表示，并且类别卡和子类别卡可以相同维度(例如，水平地、竖直地、对角地)滚动。在一些实施方案中，卡包括对应于卡所对应的相应类别的文本和/或图像。
上述将类别的表示显示为卡的方式提供了在用户界面内表示类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11C中，在显示第一类别的第一表示(例如，1116b)和第二类别的第二表示(例如，1116c)的同时，电子设备(例如，101)经由一个或多个输入设备检测(1206a)选择第一类别的第一表示(例如，1116b)的输入。在一些实施方案中，检测对第一类别的第一表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向第一类别的第一表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对第一类别的第一表示的选择包括经由眼睛跟踪设备检测到用户的注视被引导到第一类别的第一表示达预定时间阈值(例如，0.1秒、0.2
秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到选择图11C中的第一类别的第一表示(例如，1116b)的输入(1206b)，电子设备(例如，101)经由显示生成部件显示(1206c)与第一类别的第一表示相关联的第二用户界面，诸如在图11D中(例如，包括属于第一类别的内容、选项、子类别的表示等的用户界面)。在一些实施方案中，响应于检测到选择第一类别的第一表示(例如，1116b)的输入(1206b)，诸如在图11C中，电子设备(例如，101)去强调第二类别的第二表示(例如，1116c)的显示，诸如在图11D中。在一些实施方案中，第二用户界面覆盖在包括第一类别、第二类别和第一子类别的表示的用户界面的修改版本上。在一些实施方案中，修改用户界面包括以增加的模糊度或半透明度、减小的大小或对比度、增加的距用户的深度(例如，比第二用户界面距用户的深度更深的深度)和/或不同的颜色来显示用户界面。
上述响应于检测到选择第一类别的第一表示的输入而显示第二用户界面并去强调(deemphasizing)第二类别的第二表示的显示的方式提供了在显示第二用户界面的同时继续显示第二类别的表示并减少视觉混乱和减轻用户认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11C中，在显示第一类别的第一表示(例如，1116b)和第一子类别的第一相应表示(例如，1120b)的同时，电子设备(例如，101)经由一个或多个输入设备检测(1208a)选择第一类别的第一表示(例如，1116b)的输入。在一些实施方案中，检测对第一类别的第一表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向第一类别的第一表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对第一类别的第一表示的选择包括经由注视跟踪设备检测到用户的注视被引导到第一表示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到选择第
一类别的第一表示(例如，1116b)的输入(1208b)，诸如在图11C中，电子设备(例如，101)经由显示生成部件显示(1208c)与第一类别的第一表示(例如，1116b)相关联的第二用户界面(例如，包括属于第一类别的内容、选项、子类别的表示等的用户界面)，同时保持第一子类别的第一相应表示(例如，1120b)的显示，诸如在图11D中。在一些实施方案中，第二用户界面包括与第一类别相关的内容和/或选项，和/或第一类别中的子类别的表示。在一些实施方案中，当电子设备导航到第二用户界面时，第一子类别的第一相应表示的位置保持相同。在一些实施方案中，当电子设备导航到第二用户界面时，第一子类别的第一相应表示的位置改变。在一些实施方案中，在检测到选择输入之前，电子设备显示包括第一子类别的子类别的多个表示，并且在检测到选择输入之后，电子设备继续显示子类别的多个表示。
上述在响应于选择第一类别的第一表示的输入而显示第二用户界面的同时保持第一子类别的第一相应表示的显示的方式提供了同时导航到与第一类别相关的用户界面并呈现与类别相关的子类别的一个或多个表示的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11C中，在显示第一类别的第一表示(例如，1116b)的同时，电子设备(例如，101)经由一个或多个输入设备检测(1210a)选择第一类别的第一表示(例如，1116b)的输入。在一些实施方案中，检测对第一类别的第一表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向第一类别的第一表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对第一类别的第一表示的选择包括经由注视跟踪设备检测到用户的注视被引导到第一表示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到选择第一类别的第一表示(例如，1116b)的输入
(1210b)，诸如在图11C中，电子设备(例如，101)经由显示生成部件显示(1210c)与第一类别的第一表示(例如，1116b)相关联的第二用户界面(例如，包括属于第一类别的内容、选项、子类别的表示等的用户界面)，其中第二用户界面包括第一类别的第二表示(例如，1116b)以及与第一类别相关联的内容的一个或多个表示。在一些实施方案中，第一类别的第二表示与第一类别的第一表示相同。在一些实施方案中，第一类别的第二表示与第一类别的第一表示不同(例如，在大小、内容、位置等方面)。在一些实施方案中，内容的表示是可选择的或可交互的以显示(例如，播放)对应于表示的内容。
上述响应于选择第一类别的第一表示的输入而在第二用户界面中显示与第一类别相关联的内容的表示的方式提供了浏览和选择第一类别中的内容项的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11C至图11D中，选择第一类别的第一表示(例如1116b)的输入是在显示第一子类别的第一相应表示(例如，1120b)的同时被接收的，并且第二用户界面包括第一子类别的第一相应表示(例如，1120b)(1212a)。在一些实施方案中，第二用户界面包括第一类别的其他子类别的表示。在一些实施方案中，当电子设备显示第二用户界面时，电子设备更新第一子类别的第一相应表示的位置。在一些实施方案中，第一子类别的第一相应表示在第二用户界面之前显示的用户界面中的位置和在第二用户界面中的位置相同。在一些实施方案中，在显示图11D所示的第二用户界面的同时，电子设备(例如，101)经由一个或多个输入设备检测(1212b)被引导到第一子类别的第一相应表示(例如，1120b)的第二滚动输入。在一些实施方案中，检测第二滚动输入包括经由眼睛跟踪设备检测用户在第一子类别的第一相应表示上的注视，以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、和/或触摸传感器(例如，触摸屏或触控板))检测到用户执行与一起滚动相关联的手势(例如，轻敲或捏住拇指和手指(例如，食指、中指、无名指或小指)以及在用户界面可滚动的方向上移动手)。在一些实施方案中，响
应于检测到第二滚动输入，电子设备(例如，101)导航(1212c)到第一多个子类别中的第二子类别的第二相应表示。在一些实施方案中，第二滚动输入显露出第一多个子类别中的第二子类别的第二相应表示。在一些实施方案中，第二滚动输入显示除第二子类别和第一子类别之外的子类别的表示。例如，在显示第二用户界面时，电子设备在显示第二用户界面时同时一次显示子类别的多个(例如，2个、3个、4个、5个、6个等)表示(例如，第一子类别的表示和第二子类别的表示)，并且滚动子类别导致电子设备停止一个或多个子类别的显示并发起一个或多个其他子类别的显示。在一些实施方案中，滚动输入将输入焦点从第一子类别的第一相应表示移动到第二子类别的第二相应表示。
上述在第二用户界面中滚动子类别的方式提供了在与第一类别相关的用户界面中浏览第一类别的子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示第二用户界面的同时，诸如在图11D中，电子设备(例如，101)经由一个或多个输入设备(例如，眼睛跟踪设备和/或手部跟踪设备)检测(1214a)被引导到与第一类别相关联的相应内容的相应表示的相应输入。在一些实施方案中，响应于检测到相应输入(1214b)，根据确定相应输入包括经由眼睛跟踪设备检测到的满足一个或多个第一标准的注视输入(例如，注视保持在相应表示上达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)，电子设备(例如，101)经由显示生成部件显示(1214c)相应内容(例如，在一些实施方案中，在与第一类别相关联的内容的表示内(例如，在适当位置)播放内容)。在除内容的表示之外的用户界面对象中(例如，在新窗口、新用户界面等中)播放内容。在一些实施方案中，响应于检测到相应输入(1214b)，根据确定相应输入包括经由与电子设备通信的手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到的来自用户的手的输入，其中来自用户的手的输入满足一个或多个第二标准(例如，用户用他们的手执行预定手势)，电子设备(例如，101)经由显示生成部件显示(1214d)相应内容。在一
些实施方案中，预定手势是用户将他们的拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)。在一些实施方案中，一个或多个第二标准包括当电子设备经由眼睛跟踪设备检测到用户在执行手势的同时正看向相应表示时满足的标准。在一些实施方案中，响应于经由注视跟踪设备检测到用户的注视被引导到相应内容的相应表示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)而播放内容项。在一些实施方案中，响应于检测到用户看向相应表示达预定时间阈值或检测到用户在看向相应表示的同时执行手势，电子设备播放相应内容。在一些实施方案中，电子设备在第二用户界面中播放相应内容。在一些实施方案中，电子设备在覆盖在第二用户界面上的第三用户界面中播放相应内容。在一些实施方案中，电子设备在第三用户界面中播放相应内容并停止第二用户界面的显示。在一些实施方案中，响应于检测到相应输入(1214b)，根据确定相应输入包括经由眼睛跟踪设备检测到的未能满足一个或多个第一标准的注视输入，电子设备(例如，101)放弃(1214e)经由显示生成部件显示相应内容。(例如，在相应表示上的注视保持小于阈值时间(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1等)或用户的注视被引导到除相应表示之外的用户界面元素)。在一些实施方案中，响应于检测到包括被引导到另一用户界面元素达预定时间阈值的注视的输入，电子设备响应于该输入而执行除显示相应内容之外的动作，该动作与另一用户界面元素相关联。在一些实施方案中，响应于检测到相应输入(1214b)，根据确定相应输入包括经由手部跟踪设备检测到的来自用户的手的不满足一个或多个第二标准的输入，电子设备(例如，101)放弃经由显示生成部件显示相应内容(1214f)(例如，手不执行预定手势，在检测到手势的同时用户的注视不被引导到相应表示)。在一些实施方案中，响应于不满足一个或多个第二标准的输入，电子设备执行除显示与输入相关联的相应内容之外的动作。
上述响应于经由眼睛跟踪设备和/或手部跟踪设备检测到的输入来播放相应内容的方式提供了接受用于播放内容的多于一种类型的输入的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示第二用户界面的同时，诸如在图11D中，电子设备(例如，101)经由一个或多个输入设备检测(1216a)选择与第一类别相关联的相应内容的相应表示的相应输入。在一些实施方案中，检测对与第一类别相关联的相应内容的相应表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向与第一类别相关联的相应内容的相应表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对与第一类别相关联的相应内容的相应表示的选择包括经由眼睛跟踪设备检测用户的注视被引导到与第一类别相关联的相应内容的相应表示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到相应输入，电子设备(例如，101)经由显示生成部件显示(1216b)相应内容。在一些实施方案中，电子设备在第二用户界面中播放相应内容。在一些实施方案中，电子设备在覆盖在第二用户界面上的第三用户界面中播放相应内容。在一些实施方案中，电子设备在第三用户界面中播放相应内容并停止第二用户界面的显示。
上述响应于对相应内容的相应表示的选择而播放相应内容的方式提供了在浏览与第一类别相关的内容的同时播放内容的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11D中，在显示由拥有具有第一值的视觉特性(例如，亮度、颜色、对比度、除第二用户界面之外的虚拟对象的数量和显著性、半透明度、虚拟照明效果)的环境包围的第二用户界面的同时，电子设备(例如，101)经由一个或多个输入设备检测(1216c)选择与第一类别相关联的相应内容的相应表示的相应输入。在一些实施方案中，检测对与第一类别相关联的相应内容的相应表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向与第一类别相关联的相应内容的相
应表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对与第一类别相关联的相应内容的相应表示的选择包括经由眼睛跟踪设备检测用户的注视被引导到与第一类别相关联的相应内容的相应表示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到相应输入，电子设备(例如，101)将围绕图11D中的第二用户界面的环境的显示更新(1216d)为使视觉特性具有不同于第一值的第二值。在一些实施方案中，在检测到对与第一类别相关联的相应内容的相应表示的选择之前，在具有第一照明效果(例如，亮度、对比度、色调)的环境中显示第二用户界面，并且响应于选择输入，电子设备更新环境以具有比第一照明效果更暗、更低对比度和/或不同色调的第二照明效果并播放该内容。
上述响应于选择输入而更新环境的视觉特性的方式提供了减少显示内容时的视觉混乱(例如，无需附加的输入来这样做)并减少用户的认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示第一子类别的第一相应表示(例如，1116b)和第二子类别的第二相应表示(例如，1120b)的同时，诸如在图11C中，电子设备(例如，101)经由一个或多个输入设备检测(1218a)选择第一子类别的第一相应表示(例如，1120a)的输入。在一些实施方案中，检测对第一子类别的第一相应表示的选择包括同时经由眼睛跟踪设备检测到用户的注视被引向第一子类别的第一相应表示以及经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触控板、触摸屏))检测到用户用他们的手执行手势(例如，将他们的拇指触摸与拇指在同一只手上的其他手指中的一者(例如，食指、中指、无名指、小指))。在一些实施方案中，检测对第一子类别的第一相应表示的选择包括经由眼睛跟踪设备检测到用户的注视被引导到第一子类别的第一相应表
示达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到选择第一子类别的第一相应表示(例如，1120a)的输入，电子设备(例如，101)改变(1218b)第二子类别的第二相应表示的显示(例如，大小、位置、视觉特性(例如，颜色、对比度、半透明度))。在一些实施方案中，响应于检测到对第一子类别的第一相应表示的选择，电子设备显示包括与第一子类别相关的内容的第三用户界面，并且在不同于在检测到对第一子类别的表示的选择之前显示第二子类别的表示的位置的位置中显示第二子类别的表示。上述响应于对第一子类别的第一相应表示的选择而改变第二类别的第二相应表示的显示的方式提供了在选择第一子类别之后查看和/或选择其他子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到选择图11C中的第一子类别的第一相应表示(例如，1120a)的输入之前，在用户界面中在第一位置处显示第二子类别的第二相应表示(例如，1120b)，并且改变第二子类别的第二相应表示(例如，1120b)的显示包括在用户界面中在不同于第一位置的第二位置处显示第二子类别的第二相应表示(例如，1120b)(1218c)。在一些实施方案中，第二子类别的表示的更新位置是相对于用户视点的不同深度。在一些实施方案中，第二子类别的表示的更新位置是相对于用户视点在相同相应深度的不同位置。
上述响应于检测到对第一子类别的选择而改变第二子类别的表示在用户界面中的位置的方式提供了在选择第一子类别之后查看和/或选择其他子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到选择图11C中的第一子类别的第一相应表示(例如，1120a)的输入之前，在经由显示生成部件显示的前景中显示第二子类别的第二相应表示(例如，1120b)，并且改变第二子类别的第二
相应表示(例如，1120b)的显示包括在经由显示生成部件显示的背景中显示第二子类别的第二相应表示(例如，1120b)(1218d)。在一些实施方案中，用户界面的前景是从用户视点起的第一深度，并且用户界面的背景是从用户视点起的更深的第二深度。在一些实施方案中，前景覆盖在背景上。在一些实施方案中，前景覆盖在背景上，并且前景和背景相对于用户的视点以相同的深度显示。例如，内容浏览用户界面包括用户界面的前景中的相应类别内的情节内容系列(例如，子类别)的多个表示。在该示例中，响应于检测到对第一情节内容系列的第一相应表示的选择，电子设备在前景中显示与第一情节内容系列相关联的用户界面，并在用户界面的背景中继续显示类别中的其他情节内容系列的表示。
上述响应于检测到选择第一子类别的输入而在背景中显示第二子类别的表示的方式提供了在选择第一子类别之后查看和/或选择其他子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，改变第二子类别的第二相应表示(例如，1120b)的显示包括停止第二子类别的第二相应表示(例如，1120b)的显示(1220a)。在一些实施方案中，响应于检测到对第一子类别的表示的选择，电子设备显示与第一子类别相关的用户界面(例如，包括内容)。例如，内容浏览用户界面包括相应类别内的情节内容系列(例如，子类别)的多个表示。在该示例中，响应于检测到对第一情节内容系列的第一相应表示的选择，电子设备显示与第一情节内容系列相关联的用户界面，并停止显示类别中的其他情节内容系列的表示。
上述响应于检测到对第一子类别的选择而停止第二子类别的显示的方式提供了在查看与第一子类别相关的用户界面的同时减少视觉混乱并减轻用户的认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，导航到多个类别中的第二类别的第二表示(例如，1116b)包括以第一速率滚动通过多个类别的表示(例如，1116ac)以及以第二速率滚动通过第一多个子类别的表示(例如，1118ad)和(例如，1120ad)(1220b)，诸如在图11B至图11C中。在一些实施方案中，类别的表示以与滚动输入的特性(例如，滚动输入的速度、滚动输入的移动幅度)成比例的速率滚动，并且子类别的表示根据类别的表示滚动的速率滚动。例如，响应于滚动类别的表示以移动第一量，电子设备以第一速度滚动子类别的表示以显露出与类别中的相应一个类别相关联的第一组子类别，并且响应于滚动类别的表示以移动第二量，电子设备以第二速率滚动子类别的表示以显露出与类别中的相应一个类别相关联的第二组子类别。例如，在包括相册(例如，子类别)和年份(例如，类别)的表示的照片浏览应用程序中，电子设备检测滚动年份的表示的输入，并且响应于该输入，根据滚动输入滚动年份的表示，并且根据年份滚动的速率滚动相册的表示。例如，如果电子设备滚动到第一年，则电子设备滚动相册以显示第一年的相册，并且如果电子设备滚动到第二年，则电子设备滚动相册以显示第二年的相册。在一些实施方案中，导航到图11C中的第一多个子类别中的第二子类别的第二相应表示(例如，1120b)包括以不同于第二速率的第三速率滚动第一多个子类别(例如，1120b)的表示(1220c)。在一些实施方案中，响应于检测到滚动子类别的表示的输入，电子设备以与滚动输入的特性(例如，滚动输入的速度、滚动输入的移动幅度)成比例的速率滚动子类别的表示。在一些实施方案中，类别的表示以与子类别的表示滚动的速率相关的速率滚动。在一些实施方案中，电子设备不响应于滚动子类别的表示的输入而滚动类别的表示。例如，在包括相册(例如，子类别)和年份(例如，类别)的表示的照片浏览应用程序中，电子设备检测滚动相册的表示的输入，并且响应于该输入，根据滚动输入滚动相册的表示，并且根据相册滚动的速率滚动年份的表示。例如，如果电子设备滚动到与第一年相关联的一个或多个相册，则电子设备滚动年份以显露出第一年的表示，并且如果电子设备滚动到与第二年相关联的一个或多个相册，则电子设备滚动年份以显露出第二年的表示。
上述在滚动类别的同时滚动子类别的方式提供了在浏览类别的同时浏览子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电
子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图11A中，第一多个子类别中的第一子类别的第一相应表示(例如，1108a)和第一多个子类别中的第二子类别的第二相应表示(例如，1108b)覆盖在第一类别的第一表示(例如，1104a)和第二类别的第二表示上(1220d)。在一些实施方案中，所有子类别的所有表示覆盖在所有类别的所有表示上。在一些实施方案中，子类别的表示覆盖在每个子类别所属的类别的表示上(例如，第一类别的子类别的表示覆盖在第一类别的表示上，并且第二类别的子类别的表示覆盖在第二类别的表示上)。在一些实施方案中，子类别在与子类别所属的类别独立的位置处覆盖在类别上(例如，第一类别的子类别的表示覆盖在第一类别和第二类别的表示上，和/或第二类别的子类别的表示覆盖在第一类别和第二类别的表示上)。例如，在照片浏览应用程序中，类别是年份，每个年份包括来自相应年份的照片和相册，并且子类别是相册(例如，每个相册与相应年份相关联)。作为另一示例，在视频内容浏览应用程序中，类别是内容项的集合(例如，包括多个情节内容系列)，并且子类别是情节内容系列。在一些实施方案中，子类别的表示覆盖在类别的表示中的每个表示的相应部分上(例如，沿着类别的表示的底部边缘)。在一些实施方案中，类别的表示和子类别的表示沿着同一轴线布置(例如，类别的表示和子类别的表示可在同一维度中滚动，诸如可水平地滚动)。在一些实施方案中，相应类别的子类别的表示包含在相应类别的表示的边界内(例如，子类别的表示不水平地延伸超过子类别所属的类别的表示的水平边界)。在一些实施方案中，相应类别的子类别的表示延伸超过相应类别的边界(例如，子类别的表示水平地延伸超过子类别所属的类别的表示的水平边界)。
上述显示覆盖在类别上的子类别的方式提供了同时显示类别和子类别的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图13A至图13C示出根据一些实施方案的电子设备如何以不同方式从以不同沉浸级别显示的用户界面导航回来的示例。
在一些实施方案中，显示用户界面的沉浸级别(如将在下面引用的)包括电子设备在相应用户界面周围/后面显示背景内容(例如，除相应用户界面之外的内容)的关联程度，任选地包括所显示的背景内容项的数量和显示背景内容的视觉特性(例如，颜色、对比度、不透明度)。在一些实施方案中，背景内容被包括在显示相应用户界面的背景中。在一些实施方案中，背景内容包括附加用户界面(例如，由设备生成的对应于除相应用户界面的应用程序之外的应用程序的用户界面、系统用户界面)、与相应用户界面不相关联或不包括在相应用户界面中的虚拟对象(例如，由设备生成的文件、其他用户的表示等)和真实对象(例如，表示电子设备的物理环境中的真实对象的透传对象，这些真实对象由设备显示，使得它们经由显示生成部件可见)。在一些实施方案中，在第一(例如，低)沉浸级别，以不遮蔽的方式显示背景、虚拟对象和/或真实对象。例如，具有低沉浸级别的相应用户界面与背景内容同时显示，该背景内容以全亮度、彩色和/或半透明度显示。在一些实施方案中，在第二(例如，更高)沉浸级别，以遮蔽方式显示背景、虚拟对象和/或真实对象(例如，变暗、模糊、从显示中移除等)。例如，具有高沉浸级别的相应用户界面与背景内容不同时显示(例如，以全屏或完全沉浸式模式)。作为另一示例，以中等沉浸级别显示的用户界面与变暗、模糊或以其他方式去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间变化。例如，在特定沉浸级别，一个或多个第一背景对象比一个或多个第二背景对象在视觉上更大强度地被去强调(例如，变暗、模糊、以增加的透明度显示)，并且一个或多个第三背景对象停止显示。在一些实施方案中，沉浸级别包括电子设备显示除相应用户界面之外的内容的关联程度，包括附加用户界面(例如，对应于除相应用户界面的应用程序之外的应用程序的用户界面、系统用户界面)、与相应用户界面不相关联或不包括在相应用户界面中的虚拟对象(例如，文件、其他用户的表示)以及真实对象(例如，表示电子设备的物理环境中的真实对象的透传对象)。例如，具有低沉浸级别的相应用户界面与真实对象的表示和除与相应用户界面相关联的应用程序之
外的应用程序的用户界面同时显示，而具有高沉浸级别的相应用户界面与任何其他对象或用户界面不同时显示(例如，以全屏或完全沉浸式模式)。
图13A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境1312。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器314任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测用户的手的手势和移动的触摸屏。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件、以及用于检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)、和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
在图13A中，电子设备101在三维环境1312中显示用户界面。在一些实施方案中，替代地在二维环境中显示用户界面。用户界面包括与沉浸式内容相关联的对象1308、多个选项1306a-1306f(例如，在菜单中)、当被选择时导致电子设备101显示除选项1306a-1306f之外的可选选项的可选选项1310以及包括电子设备101的状态(例如，时间、日期、网络连接、电池寿命)的指示的标头区域1314。在一些实施方案中，用户界面是内容用户界面，并且响应于检测到对选项1306a-1306f中的一者或用户界面元素1308的选择，电子设备101显示与所选元素或选项相关联的内容项。例如，用户界面是保健应用程序的用户界面，并且内容包括引导冥想、锻炼视频以及其他视频和/或音频内容。在一些实施方案中，电子设备101从显示图13A所示的用户界面转变到显示与元素1308和/或选项1306a-1306f相关联的内容的方式类似于以上参考图7A至图8F所述的一种或多种技术。
如图13A所示，电子设备101检测被引导到用户界面元素1308的用户注视1302a。在一些实施方案中，响应于检测到被引导到用户界面元素1308的用户的注视1302a达预定时间阈值(例如，0.1秒、0.2秒、0.5秒、1秒、5秒、10秒等)，而未检测到附加输入(例如，由用户的手1304a或1304b提供)，电子设备101显示以下参考图13C至图13D所述的用户界面。应当理解，图13A中的手1304a和1304b示出由同一只手执行的交替手势，并
且不同时存在。在一些实施方案中，通过显示图13A的用户界面随着图13C至图13D中的用户界面出现而变淡的动画，电子设备101仅响应于注视输入而从图13A中的用户界面转变到图13C至图13D中的用户界面。在一些实施方案中，如果电子设备101检测到用户在用户的注视1302a被引导到用户界面元素1308少于阈值时间的同时用他们的手1304a执行预定手势，则电子设备101显示图13C至图13D中的用户界面(例如，少于阈值时间)。在一些实施方案中，手势包括用户将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)(例如，捏合手势)。因此，在一些实施方案中，电子设备101根据上文参考图7A至图8F所述的技术中的一种或多种技术显示与用户界面元素1308相关联的用户界面。
图13A还示出了电子设备101检测用户在选项1310上的注视1302b。应当理解，图13A中的用户注视的指示1302a和1302b示出了用户注视所被引导到且不同时存在的替代位置。在一些实施方案中，响应于检测到用户在选项1310上的注视1302b，同时检测到用户在保持捏合手势的同时移动其手1304b(例如，向上)，电子设备101显示图13B所示的用户界面。在一些实施方案中，电子设备101响应于检测到用户在选项1310上的注视1302b达阈值时间和/或响应于检测到用户在用户的注视1302b被引导到选项1310的同时执行捏合手势(没有手1304b的移动)而显示图13B所示的用户界面。
如下面将描述的，图13B中的用户界面以比图13C至图13D所示的用户界面更低的沉浸级别显示。因此，在一些实施方案中，这些用户界面的显示方式存在差异，并且电子设备101从这些用户界面导航回到图13A所示的用户界面的方式也存在差异。下面将参考图13B至图13D描述这些差异。尽管图13B至图13D包括与单个应用程序的用户界面的交互，但应当理解，电子设备101上的各种沉浸级别的特性和特征适用于电子设备101可访问的多个应用程序的用户界面，包括在与不同应用程序和/或与设备101的操作系统相关联的具有不同沉浸级别的用户界面之间导航。
图13B示出了响应于图13A所示的被引向选项1310的输入而由电子设备101显示的用户界面。用户界面包括在图13A所示的用户界面中显示的选项1306a-1306f以及附加选项1306g-1306l。如图13B所示，选项1306a-f从它们在图13A的用户界面中显示的位置向上移动。在一些实施方案中，
选项1306a-1306l与内容项相关联，并且响应于检测到对选项1306a-1306l中的一者的选择，电子设备101发起与所选选项相关联的内容项(例如，音频内容、视频内容)的回放(例如，经由显示生成部件显示内容项)。如下所述，由于图13B中的用户界面的沉浸级别，用户界面还包括标头区域1314。图13B所示的用户界面覆盖在图13A所示用户界面的一部分上(例如，包括用户界面元素1308)。在一些实施方案中，先前用户界面的元素以模糊/变暗的方式显示和/或在z方向上与选项1306a-1306l分离。例如，电子设备101在图13B中的三维环境1312中在比在图13A中距用户视点更远的距离处显示元素1308，和/或在图13B中的三维环境1312中在比在图13A中的三维环境1312中从用户视点显示用户界面的距离更接近用户视点的距离处显示选项1306a-1306l。在一些实施方案中，用户在三维环境1312中的视点是与三维环境1312中的电子设备101在用户相关联的位置和取向。电子设备101任选地从用户的视点显示三维环境1312。
如上所述，图13B中示出的用户界面具有比将参考图13C至图13D所述的用户界面更低的沉浸级别。在一些实施方案中，图13B所示的用户界面具有比图13A所示的用户界面的沉浸级别更高的沉浸级别，因为图13B中的选项1306a-1306l显示在模糊和/或变暗的背景上，而图13A所示的用户界面的背景未模糊和/或变暗。在一些实施方案中，图13B所示的用户界面具有比图13A所示的用户界面的沉浸级别更低的沉浸级别，因为图13B中的选项1306a-1306l覆盖在先前用户界面上，而图13A中的用户界面根本没有显示在背景上。在一些实施方案中，图13B中的用户界面的沉浸级别足够低，使得电子设备101继续显示标头区域1314，该标头区域包括电子设备101的状态指示符，该状态指示符对于图13B所示的用户界面而言并非唯一的(例如，标头区域1314是操作系统对象)。
在一些实施方案中，使用注视从图13B所示的用户界面导航回到图13A所示的用户界面是可能的。例如，在图13B中，电子设备101检测用户在选项1306a-l的背景中显示的元素1308上的注视1302c。在一些实施方案中，响应于检测到用户在元素1308(或图13B中的背景中的先前用户界面的任何其他部分)上的注视1302c达至少阈值时间(例如，0.1秒、0.2秒、0.5秒、1秒等)而未检测到附加输入(例如，来自手1304c)，电子设备101导航回到图13A所示的用户界面。在一些实施方案中，响应于检测到用
户用他们的手1304c执行预定手势，同时检测到用户在元素1308(或先前用户界面的任何其他部分)上的注视1302c达任何持续时间(例如，小于阈值时间)，电子设备101导航回到图13A所示的用户界面。在一些实施方案中，预定手势是将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指)(例如，捏合手势)。
在一些实施方案中，响应于在元素1308上检测到用户的注视1302c达预定时间，在导航回到图13B中示出的用户界面之前，电子设备101显示电子设备101的导航历史的部分。例如，电子设备101显示覆盖在图13A所示的用户界面的一部分上的图13B所示的用户界面，图13A所示的用户界面的一部分继而覆盖在电子设备101从其导航到图13A中的用户界面的用户界面的一部分上等。在一些实施方案中，在显示对应于电子设备101的导航历史的用户界面的部分的同时，响应于检测到用户在相应用户界面的一部分上的注视达预定阈值时间，电子设备101导航到相应用户界面。例如，响应于检测到用户在图13A所示的用户界面的部分上的注视达预定阈值时间，电子设备101导航回到图13A所示的用户界面。作为另一示例，响应于检测到用户在电子设备从其导航到图13A所示的用户界面的用户界面的部分上的注视达预定阈值时间，电子设备101导航回到电子设备101从其导航到图13A所示的用户界面的用户界面。
因此，在一些实施方案中，电子设备101响应于注视输入而从图13B所示的用户界面导航回来，而无需检测附加(例如，非注视)输入。在一些实施方案中，电子设备101以相同或类似的方式从沉浸级别与图13B所示的用户界面相同的沉浸级别或比图13B所示的用户界面的沉浸级别更低的(例如，其他应用程序的)其他用户界面导航回来。在一些实施方案中，电子设备101以相同或类似的方式从沉浸级别介于图13B所示的用户界面的沉浸级别与图13C至图13D所示的用户界面的沉浸级别之间的(例如，其他应用程序的)其他用户界面导航回来。
图13C示出了响应于被引导到以上参考图13A所述的元素1308的输入而显示的用户界面1316。在一些实施方案中，用户界面1316包括视频内容和/或音频内容。例如，用户界面1316包括具有环境动画(例如，引导用户呼吸的有节奏动画)的引导冥想。如图13C所示，用户界面1316不包括图13A所示的用户界面的任何部分或图13A至图13B所示的标头区域1314。
在一些实施方案中，用户界面1316的沉浸级别高于图13A至图13B所示的用户界面的沉浸级别，因为它不包括其他用户界面或操作系统对象(例如，标头区域1314)的部分或设备101的物理环境的部分。由于用户界面1316不包括图13A所示的先前用户界面的部分，因此电子设备101无法响应于检测到用户在图13A所示的用户界面的一部分上的注视达预定时间阈值(例如，在未检测到附加输入的情况下)而导航回到图13A所示的用户界面，如图13B中的情况。相反，从用户界面(诸如图13C所示的用户界面)向后导航是使用显示在用户界面中的一个或多个控件来完成的，如将参考图13D所描述的那样。
图13D示出添加了多个可选选项1318和1320a-c的用户界面1316。在一些实施方案中，选项1318和1320a-c响应于检测到用户的手1304d处于预定位置(例如，从用户的侧面抬起)和/或相对于设备101处于预定相对位置(例如，抬起以邻近或定位在设备101的捕获设备101的物理环境的一个或多个相机的视场内)而被显示。在一些实施方案中，电子设备101在用户界面1316中对应于用户的手1304d的位置的位置处显示选项1320a-c和1318。如图13D所示，用户的手1304d朝向显示生成部件120的右下区域(例如，捕获设备101的物理环境的设备101的一个或多个相机的视场的右下区域)，因此选项1318和1320a-c显示在显示生成部件120的右下区域中。作为另一示例，如果用户的手接近显示生成部件120的不同区域，诸如接近显示生成部件120的左上区域(例如，捕获设备101的物理环境的设备101的一个或多个相机的视场的左上区域)，则电子设备101将在显示生成部件120的其他区域(例如，左上区域)中显示选项1318和1320a-c。在一些实施方案中，如果用户要移动他们的手1304d，则电子设备101将更新选项1318和1320a-c的位置以跟随手的移动。在一些实施方案中，电子设备101不经由触摸屏显示用户界面1316，而是使用头戴式显示器显示用户界面1316，并且响应于用户抬起他们的手1304d，电子设备101经由头戴式显示器显示覆盖在用户的手1304d的表示上的选项1318和1320a-c。在一些实施方案中，用户的手1304d的表示是手1304d的照片级真实感表示(例如，透传视频)或通过显示生成部件(例如，头戴式设备)的透明部分获得的用户的手1304d的视图。
可选选项1320a-c任选地是用户界面1316中包括的媒体内容的回放控制。例如，响应于检测到对选项1320a的选择，电子设备101将内容的回放位置向后移动15秒。作为另一示例，响应于检测到对选项1320b的选择，电子设备101暂停媒体内容的回放。作为另一示例，响应于检测到对选项1320c的选择，电子设备101将内容的回放位置向前移动30秒。响应于检测到对选项1318的选择，电子设备101导航回到图13A所示的用户界面。在一些实施方案中，电子设备101响应于检测到用户在用户的注视被引导到相应选项1318或1320a-c的同时执行捏合手势(例如，用他们除手1304d之外的手)而检测到对选项的选择。在一些实施方案中，电子设备101响应于检测到用户触摸(例如，用除手1304d之外的手上的手指)三维环境1316的对应于选项1318或1320a-c中的一者(例如，在阈值距离(例如，1厘米、2厘米、5厘米、10厘米等)内)的区域而检测到该选择。
因此，在一些实施方案中，电子设备101响应于包括除检测到用户的注视之外的输入的输入而导航离开用户界面1316。在一些实施方案中，电子设备101以类似的方式从(例如，另一应用程序的)具有用户界面1316的相同沉浸级别的另一用户界面导航回来。在一些实施方案中，电子设备101以不同的方式从(例如，另一应用程序的)具有用户界面1316的相同沉浸级别的另一用户界面导航回来。在一些实施方案中，从具有与用户界面1316相同的沉浸级别的用户界面导航回来的方式因应用程序而异。
图14A至图14M是示出根据一些实施方案的以不同方式从具有不同沉浸级别的用户界面导航回来的方法的流程图。在一些实施方案中，方法1400在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下被引导到用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前被引导到的相机)。在一些实施方案中，方法1400通过存储在非暂态计算机可读存储介质中并由计算系统的一个或多个处理器(诸如计算系统101的一个或多个处理器202)(例如，图1A中的控制单元110)执行的指令来管理。方法1400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，诸如在图13A中，在与显示生成部件120和包括眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)的一个或多个输入设备通信的电子设备(例如，101)处执行方法1400。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或导致用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部)、触控板(任选地集成或外部)、触摸板(任选地集成或外部)、远程控制设备(例如，外部)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部)、控制器(例如，外部)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。
在一些实施方案中，诸如在图13A中，电子设备(例如，101)经由显示生成部件显示(1401a)第一相应用户界面。在一些实施方案中，第一相应用户界面显示在由设备生成、由设备显示或以其他方式使得可由设备查看的三维环境中(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)。
在一些实施方案中，诸如在图13A中，在显示第一相应用户界面的同时，电子设备(例如，101)经由一个或多个输入设备接收(1401b)对应于从第一相应用户界面导航到第二相应用户界面的请求的输入。在一些实施方案中，从第一相应用户界面导航到第二相应用户界面的请求包括在第一相应用户界面中选择与第二相应用户界面相关联的用户界面元素。在一些实施方案中，电子设备根据方法800的一个或多个步骤从第一相应用户界面导航到第二相应用户界面。
在一些实施方案中，响应于接收到对应于从图13A中的第一相应用户界面导航到第二相应用户界面的请求的输入，电子设备(例如，101)经由显示生成部件显示(1401c)第二相应用户界面，其中第二相应用户界面以第一沉浸级别显示，诸如在图13B中。因此，在一些实施方案中，第二相应用户界面任选地处于与电子设备相关联的导航分层结构中的当前级别，
并且第一相应用户界面任选地处于与电子设备相关联的导航分层结构中的先前级别，使得在导航分层结构中向后移动的输入任选地导致第一相应用户界面的显示。在一些实施方案中，沉浸级别包括电子设备在相应用户界面周围/后面显示背景内容(例如，除相应用户界面之外的内容)的关联程度，任选地包括所显示的背景内容项的数量和显示背景内容的视觉特性(例如，颜色、对比度、不透明度)。在一些实施方案中，背景内容被包括在显示相应用户界面的背景中。在一些实施方案中，背景内容包括附加用户界面(例如，由设备生成的对应于除相应用户界面的应用程序之外的应用程序的用户界面、操作系统用户界面)、与相应用户界面不相关联或不包括在相应用户界面中的虚拟对象(例如，由设备生成的文件、其他用户的表示等)和真实对象(例如，表示电子设备的物理环境中的真实对象的透传对象，这些真实对象由设备显示，使得它们经由显示生成部件可见)。在一些实施方案中，在第一(例如，低)沉浸级别，以不遮蔽的方式显示背景、虚拟对象和/或真实对象。例如，具有低沉浸级别的相应用户界面与背景内容同时显示，该背景内容以全亮度、彩色和/或半透明度显示。在一些实施方案中，在第二(例如，更高)沉浸级别，以遮蔽方式显示背景、虚拟对象和/或真实对象(例如，变暗、模糊、从显示中移除等)。例如，具有高沉浸级别的相应用户界面与背景内容不同时显示(例如，以全屏或完全沉浸式模式)。作为另一示例，以中等沉浸级别显示的用户界面与变暗、模糊或以其他方式去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间变化。例如，在特定沉浸级别，一个或多个第一背景对象比一个或多个第二背景对象在视觉上更大强度地被去强调(例如，变暗、模糊、以增加的透明度显示)，并且一个或多个第三背景对象停止显示。在一些实施方案中，沉浸级别包括电子设备显示除相应用户界面之外的内容的关联程度，包括附加用户界面(例如，对应于除相应用户界面的应用程序之外的应用程序的用户界面、操作系统用户界面)、与相应用户界面不相关联或不包括在相应用户界面中的虚拟对象(例如，文件、其他用户的表示)以及真实对象(例如，表示电子设备的物理环境中的真实对象的透传对象)。例如，具有低沉浸级别的相应用户界面与真实对象的表示和除与相应用户界面相关联的应用程序之外的应用
程序的用户界面同时显示，而具有高沉浸级别的相应用户界面与任何其他对象或用户界面不同时显示(例如，以全屏或完全沉浸式模式)。
在一些实施方案中，诸如在图13B中，在显示以第一沉浸级别显示的第二相应用户界面的同时，电子设备(例如，101)经由一个或多个输入设备检测(1401d)第一输入(例如，注视输入、手部跟踪输入、注视输入和手部跟踪输入的组合等)。在一些实施方案中，以第一沉浸级别显示第二相应用户界面包括显示覆盖在第一相应用户界面上的第二相应用户界面。在一些实施方案中，以第一沉浸级别显示第二相应用户界面包括显示具有电子设备的物理环境中已经由显示生成部件经过的一个或多个对象的第二相应用户界面。在一些实施方案中，第一相应用户界面和第二相应用户界面是同一应用程序的用户界面。在一些实施方案中，第一相应用户界面和第二相应用户界面是不同应用程序的用户界面。
在一些实施方案中，响应于检测到第一输入，根据确定第一输入满足第一组一个或多个标准，电子设备(例如，101)停止(1401e)图13B中的第二相应用户界面的显示，并且电子设备(例如，101)经由显示生成部件显示(1400e)图13A中的第一相应用户界面。在一些实施方案中，第一输入对应于在用户界面中从第二用户界面导航回到第一用户界面的请求，电子设备从该第一用户界面导航到第二用户界面，诸如在与电子设备相关联的导航分层结构中向后移动的输入。在一些实施方案中，检测经由眼睛跟踪设备检测到的输入包括经由眼睛跟踪设备检测被引导到与第二相应用户界面同时显示的第一相应用户界面的一部分的用户的注视。在一些实施方案中，响应于经由眼睛跟踪设备检测到被引导到第一相应用户界面的该部分的用户的注视，电子设备导航回到第一相应用户界面。因此，在一些实施方案中，当以第一沉浸级别显示第二相对用户界面时，仅通过注视输入就可向后导航到第一相应用户界面，而无需经由另一输入设备检测到的输入(例如，手部跟踪输入)。在一些实施方案中，第一组一个或多个标准还包括当用户的注视被引导到第一用户界面的一部分时达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、1秒)时满足的标准。在一些实施方案中，响应于在经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器和/或触摸传感器(例如，触控板、触摸屏))检测到用户执行预定手势(例如，用拇指触摸与拇指在同一只手上的手指(例如，食指、无名指、中指、小指))的同时检测到用户在第一相应用户界面上的注视，满足第一组一个或多个标准。
在一些实施方案中，在停止图13B中的第二相应用户界面的显示之后，电子设备(例如，101)经由显示生成部件以大于第一沉浸级别的第二沉浸级别显示(1401f)第三相应用户界面，诸如在图13C至图13D中。在一些实施方案中，从第一相应用户界面导航到第三相应用户界面。在一些实施方案中，第二沉浸级别不包括显示第一相应用户界面的任何部分。例如，第二沉浸级别任选地是全屏沉浸级别，其中电子设备经由显示生成部件显示第二相应用户界面，而不显示对象和除第二相应用户界面之外的用户界面(例如，不显示经由显示生成部件从电子设备的物理环境传递来的对象)。因此，在一些实施方案中，第二沉浸级别高于第一沉浸级别。
在一些实施方案中，在以第二沉浸级别显示第三相应用户界面的同时，诸如在图13D中，电子设备(例如，101)经由一个或多个输入设备接收(1401g)第二输入(例如，经由眼睛跟踪设备、手部跟踪设备或与电子设备通信的另一输入设备检测到的输入)。在一些实施方案中，第二输入是停止第三相应用户界面的显示的请求。在一些实施方案中，第二输入是导航回到第一用户界面的请求，电子设备从该第一用户界面导航到第三用户界面。
在一些实施方案中，响应于检测到第二输入(1401h)，根据确定第二输入满足第一组一个或多个标准，电子设备(例如，101)保持图13D中的第三用户界面的显示(1401i)(并且任选地根据第二输入在第三相应用户界面内执行操作)。例如，响应于检测到用户在第三相应用户界面中在先前显示第一相应用户界面的位置上的注视并且根据确定注视保持与第一组一个或多个标准相关联的预定时间段，电子设备继续显示第三相应用户界面而不是导航到第一相应用户界面，因为第三相应用户界面的沉浸级别是第二沉浸级别而不是第一沉浸级别。
在一些实施方案中，响应于检测到第二输入(1401j)，根据确定第二输入满足第二组一个或多个标准，电子设备(例如，101)停止(1401j)显示图13D中的第三用户界面。在一些实施方案中，第二组一个或多个标准包括仅当相应输入包括经由除眼睛跟踪设备之外的输入设备检测到的输入时才满足的标准。在一些实施方案中，在第二沉浸级别，第二相应用户界
面包括可选选项，当经由除眼睛跟踪设备之外的输入设备(例如，经由手部跟踪输入)被选择时，该可选选项导致电子设备导航到第一相应用户界面。例如，电子设备经由眼睛跟踪设备检测到用户正看向可选选项，同时经由手部跟踪设备检测到用户正在执行预定手势(例如，将拇指触摸与拇指在同一只手上的手指(例如，食指、中指、无名指、小指))。在一些实施方案中，如果相应用户界面的沉浸级别是第一相应沉浸级别，则电子设备响应于仅经由眼睛跟踪设备检测到的输入而停止相应用户界面的显示(并且任选地导航回到电子设备从其导航到相应用户界面的用户界面)，并且如果相应用户界面的沉浸级别是第二相应沉浸级别，则电子设备响应于至少经由除眼睛跟踪设备之外的输入设备检测到的输入(例如并且任选地包括经由眼睛跟踪设备检测到的输入)而停止相应用户界面的显示(并且任选地导航回到电子设备从其导航到相应用户界面的用户界面)。
上述响应于仅经由眼睛跟踪设备检测到的输入而停止以第一沉浸级别显示第二相应用户界面以及响应于经由除眼睛跟踪设备之外的输入设备检测到的输入而停止以第二沉浸级别显示第三相应用户界面的方式提供了以第一沉浸级别从用户界面进行导航的高效方式，以及在以第二沉浸级别显示用户界面的同时避免向后意外导航的方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，基于注视用户输入而不是非注视用户输入来满足第一组一个或多个标准(例如，不需要非注视用户输入)，诸如在图13B中，并且第二组一个或多个标准需要非注视用户输入(1402a)，诸如在图13D中。在一些实施方案中，非注视输入包括经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))或与电子设备通信的另一输入设备检测到的输入。在一些实施方案中，第二组一个或多个标准包括响应于经由手部跟踪设备检测到用户用他们的手执行预定手势(例如，用拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指))而满足的标准。在一些实施方案中，第二组一个或多个标准包括根据确定用户执行满足一个或多个标准的头部移动(例如，向前移动头部)而满足的标准。在一些实施方案中，
第二组一个或多个标准包括响应于与控制器或具有物理按钮、开关、旋钮等的其他输入设备的交互而满足的标准。在一些实施方案中，当检测到非注视用户输入时，不排除满足第一组一个或多个标准。
上述满足仅基于注视的第一组一个或多个标准和满足基于注视和非注视输入的第二组一个或者多个标准的方式提供了在一些情况下仅基于注视的高效导航方式和在其他情况下防止意外导航的方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，第二相应用户界面是第一应用程序的用户界面(1402b)。在一些实施方案中，第一相应用户界面也是第一应用程序的用户界面。在一些实施方案中，第一相应用户界面是除第一应用程序之外的应用程序的用户界面(例如，电子设备的操作系统的用户界面)。在一些实施方案中，在以第一沉浸级别显示不同于第一应用程序的第二应用程序的第四相应用户界面的同时，其中从第五相应用户界面导航到第四相应用户界面，电子设备(例如，101)经由一个或多个输入设备检测(1402c)第三输入。在一些实施方案中，第三输入对应于从第四相应用户界面导航回到第五相应用户界面的请求。在一些实施方案中，第五用户界面是第二应用程序的用户界面。在一些实施方案中，第五用户界面是除第二应用程序之外的应用程序的用户界面(例如，电子设备的操作系统的用户界面)。在一些实施方案中，电子设备根据方法800的一个或多个步骤从第五用户界面导航到第四用户界面。在一些实施方案中，响应于检测到第三输入，根据确定第三输入满足第一组一个或多个标准(例如，基于在未使用不同的输入设备检测到非注视输入的情况下经由眼睛跟踪设备检测到的输入所满足的标准)，电子设备(例如，101)停止(1402d)第四相应用户界面的显示并经由显示生成部件显示第五相应用户界面。例如，响应于检测到用户在第五相应用户界面的在其上覆盖第四用户界面的一部分上的注视并且根据确定注视被保持预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、1秒)，电子设备停止第四用户界面的显示并显示第五用户界面。在一些实施方案中，根据确定第四相应用户界面以第二沉浸级别显示，电子设备响应于第三输入而放弃导航到第五用户界面。
因此，在一些实施方案中，响应于满足第一组一个或多个标准的输入，电子设备停止以第一沉浸级别显示的一个或多个(例如，任何)用户界面的显示，而不管与以第一沉浸级别显示的用户界面相关联的应用程序如何。
上述响应于满足第一组一个或多个标准的输入，而不考虑与相应应用程序相关联的应用程序，停止以第一沉浸级别显示的相应用户界面的显示的方式提供了仅利用注视来导航用户界面的高效且一致的方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，第二相应用户界面是第一应用程序的用户界面(1404a)。在一些实施方案中，第一相应用户界面也是第一应用程序的用户界面。在一些实施方案中，第一相应用户界面是不同于第一应用程序的应用程序的用户界面。在一些实施方案中，在以低于第一沉浸级别的第三沉浸级别显示不同于第一应用程序的第二应用程序的第四相应用户界面的同时，其中从第五相应用户界面导航到第四相应用户界面(例如，第五用户界面是第二应用程序的用户界面或不同于第二应用程序的应用程序的用户界面)，电子设备(例如，101)经由一个或多个输入设备检测(1404b)第三输入。在一些实施方案中，第三沉浸级别包括在电子设备的物理环境中显示比第一沉浸级别更多的真实对象(例如，经由透传视频或通过使用户能够通过显示生成部件的透明部分看到真实对象的方式)。在一些实施方案中，第三沉浸级别包括比第一沉浸级别更少的虚拟照明效果。在一些实施方案中，第三沉浸级别包括比第一沉浸级别更少的虚拟场景(例如，除内容之外的虚拟对象、应用程序的表示、可交互元素等)。在一些实施方案中，第三输入对应于停止显示第四相应用户界面并显示第五相应用户界面的请求。在一些实施方案中，电子设备根据方法800的一个或多个步骤从第五用户界面导航到第四用户界面。在一些实施方案中，响应于检测到第三输入，根据确定第三输入满足第一组一个或多个标准(例如，基于在未使用不同的输入设备检测到非注视输入的情况下经由眼睛跟踪设备检测到的输入所满足的标准)，电子设备(例如，101)停止(1404c)第四相应用户界面的显示并经由显示生成部件显示第五相应用户
界面。例如，响应于检测到用户在第五相应用户界面的在其上覆盖第四用户界面的一部分上的注视并且根据确定注视被保持预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、1秒)，电子设备停止第四用户界面的显示并显示第五用户界面。因此，在一些实施方案中，响应于满足第一组一个或多个标准的输入，电子设备停止以低于或等于第一沉浸级别的沉浸级别显示的一个或多个(例如，任何)用户界面的显示。
上述响应于满足第一组一个或多个标准的输入而停止以小于或等于第一沉浸级别的沉浸级别显示的相应用户界面的显示的方式提供了仅利用注视来导航用户界面的高效且一致的方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，第二相应用户界面是第一应用程序的用户界面(1406a)。在一些实施方案中，第一相应用户界面也是第一应用程序的用户界面。在一些实施方案中，第一相应用户界面是除第一应用程序之外的应用程序的用户界面(例如，电子设备的操作系统的用户界面)。在一些实施方案中，在以大于第一沉浸级别且低于第二沉浸级别的第三沉浸级别显示不同于第一应用程序的第二应用程序的第四相应用户界面的同时，其中从第五相应用户界面导航到第四相应用户界面(例如，第五用户界面是第二应用程序的用户界面或不同于第二应用程序的应用程序的用户界面)，电子设备(例如，101)经由一个或多个输入设备检测(1406b)第三输入。在一些实施方案中，第三沉浸级别包括在电子设备的物理环境中显示比第二沉浸级别更多的真实对象以及在电子设备的物理环境中显示比第一沉浸级别更少的真实对象(例如，经由透传视频或通过使用户能够通过显示生成部件的透明部分看到真实对象的方式)。在一些实施方案中，第三沉浸级别包括比第一沉浸级别更多的虚拟照明效果和比第二沉浸级别更少的虚拟照明效果。在一些实施方案中，第三沉浸级别包括比第二沉浸级别更少的虚拟场景(例如，除内容之外的虚拟对象、应用程序的表示、可交互元素等)。在一些实施方案中，第三输入对应于停止显示第四相应用户界面并显示第五相应用户界面的请求。在一些实施方案中，响应于检测到第三输入，根据确定第三输入满足第一组一个或多个标准
(例如，基于在未使用不同的输入设备检测到非注视输入的情况下经由眼睛跟踪设备检测到的输入所满足的标准)，电子设备停止(1406c)第四相应用户界面的显示并经由显示生成部件显示第五相应用户界面。例如，响应于检测到用户在第五相应用户界面的在其上覆盖第四用户界面的一部分上的注视并且根据确定注视被保持预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、1秒)，电子设备停止第四用户界面的显示并显示第五用户界面。在一些实施方案中，响应于满足第一组一个或多个标准的输入，电子设备停止以在第一沉浸级别与第二沉浸级别之间的沉浸级别显示的一个或多个(例如，任何)用户界面的显示。因此，在一些实施方案中，响应于满足第一组一个或多个标准的输入，电子设备停止以小于第二沉浸级别的沉浸级别显示的一个或多个(例如，任何)用户界面的显示。
上述响应于满足第一组一个或多个标准的输入而停止以小于或等于第一沉浸级别的沉浸级别显示的相应用户界面的显示的方式提供了仅利用注视来导航用户界面的高效且一致的方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，第二相应用户界面是第一应用程序的用户界面(1408a)。在一些实施方案中，电子设备从第一应用程序的另一用户界面导航到第二相应用户界面。在一些实施方案中，电子设备从除第一应用程序之外的应用程序的用户界面(例如，电子设备的操作系统的用户界面)导航到第二相应用户界面。在一些实施方案中，在以第二沉浸级别显示不同于第一应用程序的第二应用程序的第四相应用户界面的同时，其中从第五相应用户界面导航到第四相应用户界面，电子设备(例如，101)经由一个或多个输入设备检测(1408b)第三输入。在一些实施方案中，第三输入对应于停止第四相应用户界面的显示并显示第五相应用户界面的请求。在一些实施方案中，响应于检测到第三输入(1408c)，根据确定第三输入满足第一组一个或多个标准(例如，不满足第二组一个或多个标准)，电子设备(例如，101)保持(1408d)第四相应用户界面的显示(并且任选地根据第二输入在第四相应用户界面内执行操作)。在一
些实施方案中，第一组一个或多个标准包括当用户的注视被引导到显示生成部件的先前显示第五相应用户界面达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.75秒、1秒)的区域时满足的标准。在一些实施方案中，根据确定输入满足第二组一个或多个标准(例如，响应于检测到经由眼睛跟踪设备的输入以及检测到经由除注视跟踪设备之外的输入设备(例如，手部跟踪设备)的输入而满足的标准)，电子设备停止显示第四相应用户界面并显示第五相应用户界面。
上述响应于满足第一组一个或多个标准的输入而保持以第二沉浸级别禁用的第四相应用户界面的显示的方式提供了在查看以第二沉浸级别显示的用户界面时防止无意导航的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，根据确定图13C至图13D中的第三相应用户界面是第一应用程序的用户界面，第二组一个或多个标准是第一一个或多个标准(1410a)。在一些实施方案中，第一一个或多个标准包括当输入被引向在第三用户界面中显示的相应用户界面元素(例如，电子设备检测到相应用户界面元素的选择)时所满足的标准。在一些实施方案中，第一一个或多个标准包括与除眼睛跟踪设备之外的哪个输入设备接收输入有关的标准。在一些实施方案中，第一一个或多个标准包括与经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器)检测相应手势的执行有关的标准。在一些实施方案中，根据确定图13C至图13D中的第三相应用户界面是不同于第一应用程序的第二应用程序的用户界面，第二组一个或多个标准是不同于第一一个或多个标准的第二一个或多个标准(1410b)。在一些实施方案中，第二一个或多个标准包括当输入被引向在第三用户界面中显示的不同于与第一一个或多个标准相关联的相应用户界面元素的相应用户界面元素(例如，电子设备检测到相应用户界面元素的选择)时满足的标准。在一些实施方案中，第二一个或多个标准包括与除眼睛跟踪设备之外的哪个输入设备接收不同于与第二一个或多个标准相关联的除眼睛跟踪设备之外的输入设备的输入有关的标准。在一些实施方案中，第二一个或多个标准包括与经由手部跟踪设备(例如，一个或多个相
机、深度传感器、接近传感器、触摸传感器)检测不同于与第一一个或多个标准相关联的手势的相应手势的执行有关的标准。在一些实施方案中，一个或多个第一标准和一个或多个第二标准中的标准的类型是不同的。例如，一个或多个第一标准包括响应于检测到用户在执行第一相应手势的同时看向相应用户界面元素而满足的标准，并且第二一个或多个标准包括响应于检测到经由与电子设备通信的按钮或开关的输入而满足的标准。
上述根据所显示的用户界面的应用程序对照不同的第二组一个或多个标准来评估输入的方式提供了响应于在用户界面中不执行不同功能的输入而停止用户界面的显示的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于经由一个或多个输入设备检测到包括注视用户输入并且不包括非注视用户输入的第三输入，显示图13C中的第三相应用户界面(1410c)。在一些实施方案中，检测注视输入包括经由眼睛跟踪设备检测到用户的注视被引导到相应用户界面元素(例如，与第三相应用户界面相关联的用户界面元素)达预定时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)。在一些实施方案中，响应于检测到用户在相应用户界面元素上的注视，电子设备在保持用户注视的同时扩展相应用户界面元素，并以动画方式显示扩展的相应用户界面元素变形为第三相应用户界面。
上述响应于仅包括注视输入的输入而导航到第三用户相应用户界面的方式提供了基于在一个输入设备处所接收的输入来导航到第二用户界面的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于经由一个或多个输入设备检测到包括注视用户输入和非注视用户输入的第三输入，显示图13C中的第三相应用户界面(1410d)。在一些实施方案中，检测第三输入包括经由眼睛跟踪设备检测到用户的注视被引导到相应用户界面元素(例如，与第三相应用户界面
相关联的用户界面元素)，同时经由另一输入设备检测另一输入。例如，经由另一输入设备检测到的另一输入是经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器)检测到的手势(例如，用户用其拇指触摸与拇指在同一只手上的手指(例如，食指、中指、无名指、小指))。在一些实施方案中，响应于检测到用户在相应用户界面元素上的注视，电子设备开始显示相应用户界面元素扩展的动画，并且响应于非注视用户输入，电子设备跳过动画的其余部分，并且在比完成动画将花费的时间更少的时间内显示第三相应用户界面。在一些实施方案中，响应于非注视输入，电子设备增加动画的速度以显示第三相应用户界面。
上述响应于包括注视输入和非注视输入的输入而显示第三用户界面的方式提供了防止意外导航到第三相应用户界面的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示第一相应用户界面的同时，诸如在图13A中，电子设备(例如，101)经由显示生成部件显示(1412a)相应用户界面元素(例如，1314)(例如，操作系统用户界面元素、另一用户界面、内容项、虚拟对象、真实对象(例如，包括电子设备的物理环境中的对象的照片级真实感表示的透传视频，或者允许用户通过显示生成部件的透明部分来查看电子设备的物理环境中的真实对象)等)。在一些实施方案中，相应用户界面元素是第一应用程序的元素。在一些实施方案中，相应用户界面元素是不同应用程序或操作系统的元素。在一些实施方案中，诸如在图13C中，当以第二沉浸级别显示第三相应用户界面时，电子设备(例如，101)遮蔽(1412b)相应用户界面元素的显示。在一些实施方案中，显示第三用户界面的显示生成部件的区域包括先前已显示相应用户界面元素的显示生成部件的区域。在一些实施方案中，电子设备在显示第三相应用户界面的同时不显示任何其他用户界面或对象。在一些实施方案中，遮蔽相应用户界面元素的显示包括使第三相应用户界面变暗、将相应用户界面元素移动到显示生成部件的显示区域的一侧和/或显示至少部分地覆盖在相应用户界面元素上的第三相应用户界面。
上述在显示第三相应用户界面的同时遮蔽相应用户界面元素的显示的方式提供了增加同时显示的第三相应用户界面的内容量的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示第一相应用户界面的同时，诸如图13A所示，电子设备(例如，101)经由显示生成部件显示(1412c)相应用户界面元素(例如，1314)(例如，操作系统用户界面元素、另一用户界面、内容项、虚拟对象、真实对象(例如，包括电子设备的物理环境中的对象的照片级真实感表示的透传视频，或者允许用户通过显示生成部件的透明部分来查看电子设备的物理环境中的真实对象)等)。在一些实施方案中，相应用户界面元素是第一应用程序的元素。在一些实施方案中，相应用户界面元素是不同应用程序或操作系统的元素。在一些实施方案中，诸如在图13B中，在以第一沉浸级别显示第二相应用户界面的同时，电子设备(例如，101)保持(1412d)相应用户界面元素(例如，1314)的显示。在一些实施方案中，电子设备保持相应用户界面元素的显示而不更新相应用户界面元素。在一些实施方案中，电子设备在显示第二相应用户界面的同时更新(例如，大小、位置、视觉特性(透明度、半透明度、颜色))相应用户界面元素。在一些实施方案中，相应用户界面元素是模糊的、半透明的和/或以不同颜色(例如，以黑白或灰度)显示的，同时在第二相应用户界面的背景中可见。
上述在显示第二相应用户界面的同时保持相应用户界面元素的显示的方式提供了使用户能够在显示第三相应用户界面的同时查看和/或导航到相应用户界面元素的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13C至图13D中，第三相应用户界面是健康相关应用程序的用户界面(1414a)。在一些实施方案中，健康相关应用程序包括正念内容，诸如引导冥想。在一些实施方案中，健康相关应用
程序包括用户的健康数据，诸如活动数据、身体测量、健康记录、心率数据等。
上述以第二沉浸级别显示健康相关应用程序的用户界面的方式提供了使用户能够专注于健康相关应用程序的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，第二相应用户界面是内容消费应用程序(1414b)(例如，用于呈现照片、视频、音乐或其他内容的应用程序)的用户界面。在一些实施方案中，第二相应用户界面的内容涵盖第二相应用户界面的整体。在一些实施方案中，第二相应用户界面的内容涵盖第二相应用户界面的一部分。
上述以第二沉浸级别呈现内容消费应用程序的方式提供了使用户能够在与电子设备显示的其他对象交互的同时与内容交互的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，从第一相应用户界面(诸如在图13A中)导航到图13C至图13D中的第三相应用户界面，并且以第二沉浸级别显示第三相应用户界面包括停止显示第一相应用户界面的显示(1414c)。在一些实施方案中，电子设备在显示第三相应用户界面的同时不显示除第三相应用户界面之外的任何内容、对象或用户界面。在一些实施方案中，第一相应用户界面和第三相应用户界面是同一应用程序的用户界面。在一些实施方案中，第一相应用户界面和第三相应用户界面是不同应用程序的用户界面。
上述在显示第三相应用户界面的同时停止第一相应用户界面的显示的方式提供了以减少的视觉混乱显示第三适当用户界面并减少用户的认知负担的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，以第一沉浸级别显示第二相应用户界面包括保持第一相应用户界面的至少一部分(例如，1308)的显示(1414d)。在一些实施方案中，第二相应用户界面被覆盖在第一相应用户界面的模糊和/或变暗版本上。在一些实施方案中，电子设备在第二相应用户界面之后显示第一相应用户界面的标头区域。在一些实施方案中，第一组一个或多个标准包括根据确定用户看向第一用户界面的在第二用户界面显示达阈值时间段(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)时可见的部分而满足的标准。在一些实施方案中，电子设备根据方法800的一个或多个步骤从第一相应用户界面导航到第二相应用户界面。在一些实施方案中，响应于仅在第一相应用户界面的部分上检测到基于注视的输入或者响应于在第一相应用户界面的部分上检测到基于注视的输入以及非注视输入，电子设备导航回到第一相应用户界面。
上述在显示第二相应用户界面的同时保持第一相应用户界面的至少一部分的显示的方式提供了仅基于注视导航回到第一相应用户界面的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13D中，第三相应用户界面包括一个或多个控制元素(例如，1318)，并且当第二输入被引导到一个或多个控制元素的相应控制元素(例如，1318)以用于导航离开第三相应用户界面时，满足第二组一个或多个标准(1414e)。在一些实施方案中，响应于在尚未显示一个或多个控制元素时所接收的输入，显示一个或多个控制元素。例如，响应于经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))检测到用户抬起他们的手，电子设备在对应于用户的手(例如，覆盖在用户的手上、接近于用户的手等)的位置处显示一个或多个控制元素。在一些实施方案中，第二输入包括检测对与停止第三相应用户界面的显示相关联的控制元素中的一个控制元素的选择。在一些实施方案中，检测对相应元素的选择包括经由眼睛跟踪设备检测到用户的注视被引向相应用户界面元素，同时经由手部
跟踪设备检测到用户执行预定手势(例如，将拇指触摸与拇指在同一只手上的另一手指(例如，食指、中指、无名指、小指))。
上述响应于被引导到相应控制元素的输入而停止显示第三相应用户界面的方式提供了避免无意中导航离开第三相应用户界面的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13D中，根据确定经由手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))在第一位置处检测到用户的手(例如，1304d)，在第三相应用户界面中的第一相应位置处显示一个或多个控制元素(例如，1318)(1416a)。在一些实施方案中，第一相应位置覆盖在用户的手的表示上。在一些实施方案中，第一相应位置靠近用户的手。例如，如果用户的手朝向显示生成部件的右侧，则电子设备在显示生成部件的右侧上显示控制元素。在一些实施方案中，根据确定经由手部跟踪设备在不同于图13D中的第一位置的第二位置处检测到用户的手(例如，1304d)，在第三相应用户界面中在不同于第一相应位置的第二相应位置处显示一个或多个控制元素(例如，1318)(1416b)。例如，如果用户的手朝向显示生成部件的左侧，则电子设备在显示生成部件的左侧上显示控制元素。在一些实施方案中，响应于检测到用户的手的移动，电子设备根据用户的手的移动来移动一个或多个控制元素。例如，响应于检测到用户的手向左移动，电子设备将一个或多个控制元素向左移动。在一些实施方案中，电子设备经由显示生成部件显示用户的手的表示(或用户的手通过显示生成部件的透明部分可见)并将一个或多个控制元素显示为看起来好像它们显示在用户的手的表示上(或在通过显示生成部件可见的用户的手上)。例如，响应于检测到用户的手掌面向用户，电子设备将一个或多个控制元素显示为看起来在用户的手掌中。
上述基于用户的手的位置在相应位置显示控件的方式提供了在用户容易到达的位置显示控件的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通
过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13D中，一个或多个控件包括用于执行除导航离开第三相应用户界面之外的操作的第二相应控件(例如，1320a)(1416c)。例如，第三相应用户界面包括视频和/或音频内容，并且一个或多个控件包括用于控制视频和/或音频内容的回放(例如，播放/暂停、快进、倒带)的回放控件。
上述显示第二相应控件以执行除导航离开第三相应用户界面之外的操作的方式提供了在用户界面的相同区域中显示多个控件的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13B中，在以第一沉浸级别显示第二相应用户界面的同时，电子设备(例如，101)经由眼睛跟踪设备检测(1418a)包括被引导到第二相应用户界面的预先确定部分(例如，1308)(例如，在第二相应用户界面的外围的区域，诸如沿着用户界面的顶部的标头区域)的注视(例如，1302c)的相应输入。在一些实施方案中，标头区域包括与第三用户界面相关联的应用程序的名称。在一些实施方案中，响应于检测到相应输入(1418b)，电子设备(例如，101)经由显示生成部件以分层布置显示(1418c)图13A中的第一相应用户界面的表示和图13B中的第二相应用户界面的表示。在一些实施方案中，第二相应用户界面的表示被显示为覆盖在第一相应用户界面的表示上。在一些实施方案中，电子设备进一步显示电子设备从其导航到第一相应用户界面的用户界面的一个或多个附加表示。在一些实施方案中，第二相应用户界面被显示为覆盖在电子设备先前显示的用户界面上，电子设备从该用户界面导航到第二相应用户界面。在一些实施方案中，第一相应用户界面的内容被隐藏并且第一相应用户界面的表示是第一相应用户界面的帧(例如，类似于显示第二相应用户界面所用的帧)。在一些实施方案中，电子设备直到检测到相应输入才显示第一相应用户界面的表示(或其他先前用户界面的其他表示)。在一些实施方案中，电子设备在检测到相应输入之前显示第一相应
用户界面的表示(以及其他先前用户界面的其他表示)，并响应于相应输入更新表示的显示。更新表示的显示任选地包括更新表示的大小、颜色、位置、不透明度、半透明度或其他视觉特性中的一者或多者。
上述以分层布置显示第一相应用户界面的表示和第二相应用户界面表示的方式提供了在用户界面之间导航的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在以分层布置显示图13A中的第一相应用户界面的表示和图13B中的第二相应用户界面的表示的同时，电子设备(例如，101)经由眼睛跟踪设备检测(1418d)包括被引导到第一相应用户界面的表示的注视的第二相应输入。在一些实施方案中，在预定阈值时间段(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)内检测注视。在一些实施方案中，响应于检测到第二相应输入(例如，并且根据确定注视被保持预定阈值时间段(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等))，电子设备(例如，101)停止(1418e)第二相应用户界面的显示，并且电子设备(例如，101)经由显示生成部件显示(1418e)图13A中的第一相应用户界面。在一些实施方案中，根据确定用户的注视被引导到附加用户界面的附加表示(例如，达预定时间段)，电子设备停止第二相应用户界面的显示并显示相应用户界面。在一些实施方案中，在检测到第二相应输入之前，第一相应用户界面的内容被隐藏并且第一相应用户界面的表示是第二相应用户界面的帧(例如，类似于显示第二相应用户界面所用的帧)，并且响应于检测到第二相应输入，电子设备显示第一相应用户界面的内容(例如，具有或不具有帧)。在一些实施方案中，响应于检测到用户的注视在第一相应用户界面的表示上的非注视输入，电子设备在比预定阈值时间段更少的时间内导航回到第一相应用户界面。
上述响应于检测到用户在第一用户界面的表示上的注视而导航到第一相应用户界面的方式提供了在用户界面之间导航的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13A中，第一相应用户界面包括相应用户界面元素(例如，1308)(1420a)。在一些实施方案中，诸如在图13A中，在显示第一相应用户界面的同时，电子设备(例如，101)经由眼睛跟踪设备检测(1420b)被引导到第一相应用户界面中显示的相应用户界面元素(例如，1308)(例如，与第三相应用户界面相关联的用户界面元素)的电子设备的用户的注视(例如，1302a)。在一些实施方案中，在检测到被引导到图13A中的相应用户界面元素(例如，1308)的用户的注视(例如，1302a)的同时并且在用户的注视(例如，1302a)已被引导到相应用户界面元素长于时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)之前，电子设备(例如，101)逐渐遮蔽(1420c)第一相应用户界面的内容的显示(例如，随时间的推移，随着用户的注视保持在相应用户界面元素上等)。在一些实施方案中，电子设备基于用户(例如，用他们的手、用他们的头)执行的移动或手势而逐渐遮蔽第一相应用户界面的内容的显示。在一些实施方案中，逐渐遮蔽第一相应用户界面的内容的显示包括诸如通过增大第一相应用户界面的半透明度、降低第一相应用户界面的亮度、减小第一相应用户界面的大小、显示第一相应用户界面移出显示生成部件的帧的动画、使第一相应用户界面模糊等来以动画方式显示第一相应用户界面的显示的停止。在一些实施方案中，响应于检测到被引导到相应用户界面元素(例如，1308)的用户的注视(例如，1302a)长于时间阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等)，诸如在图13A中，电子设备(例如，101)停止(1420d)第一相应用户界面的内容的显示，并且电子设备(例如，101)经由显示生成部件以第二沉浸级别显示(1420d)第三相应用户界面，诸如在图13C中。在一些实施方案中，响应于检测到来自用户的被引导到相应用户界面元素的连续注视，电子设备逐渐显示第三相应用户界面。在一些实施方案中，诸如通过降低第三相应用户界面的半透明度、增大第三相应用户界面的亮度、增大第三相应用户界面的大小、显示第三相应用户界面移动到显示生成部件的帧中的动画等，电子设备以动画方式显示第三相应用户界面的显示的发起。因此，在一些示例中，电子设备从一个用户界面导航到另一用户界面，并且仅响应于检测到注视输入而增大沉浸级别。
上述在显示第三相应用户界面之前逐渐遮蔽第一相应用户界面的方式提供了向用户指示继续看向相应用户界面元素将导致电子设备导航离开第一相应用户界面的高效方式，这避免了用户无意中导航离开第一相应用户界面，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图13A至图13B中，对应于从图13A中的第一相应用户界面导航到图13B中的第二相应用户界面的请求的输入包括由用户的手(例如，1304b)执行的相应手势(例如，用户将他们的拇指触摸与拇指在同一只手上的其他手指(例如，食指、中指、无名指、小指)中的一个手指)，随后在相应方向上移动手(例如，1304b)，同时保持由与电子设备通信的手跟踪(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器)设备检测到的由手执行的相应手势(1422a)。在一些实施方案中，电子设备在第一用户界面的边缘处显示与第二相应用户界面相关联的相应用户界面元素，并且相应方向是远离第一用户界面的显示相应用户界面元素的边缘的方向。例如，沿着第一用户界面的底部显示相应用户界面元素，并且相应方向是向上以向上拉动第二相应用户界面(例如，被显示为覆盖在第一相应用户界面上)。在一些实施方案中，响应于仅检测到注视输入(例如，用户在第一相应用户界面上的注视达预定阈值(例如，0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、1秒等))或响应于根据方法800的一个或多个步骤检测到注视输入和非注视输入(例如，经由手部跟踪设备检测到的选择输入)，电子设备导航回到第一相应用户界面。
上述响应于相应手势而导航到第二相应用户界面的方式提供了避免无意中导航到第三相应用户界面的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，方法800、1000、1200和1400的各方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (39)

1.一种方法，所述方法包括：
在与显示生成部件和包括眼睛跟踪设备的一个或多个输入设备通信的电子设备处：
经由所述显示生成部件显示包括与第二用户界面相关联的相应用户界面元素的第一用户界面；
在显示所述第一用户界面的同时，经由所述眼睛跟踪设备检测用户的注视被引导到所述相应用户界面元素；以及
响应于检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的输入：
根据确定所述用户的所述注视继续被引导到所述相应用户界面元素长于时间阈值，导航到所述第二用户界面；以及
根据确定当所述用户的所述注视已被引导到所述相应用户界面元素短于所述时间阈值时经由所述一个或多个输入设备检测到选择输入，导航到所述第二用户界面而无需等待所述注视继续被引导到所述相应用户界面元素长于所述时间阈值。
2.根据权利要求1所述的方法，其中所述选择输入包括由与所述电子设备通信的手部跟踪设备检测到的由所述用户的手执行的相应手势。
3.根据权利要求1所述的方法，其中以第一大小显示所述相应用户界面元素，并且导航到所述第二用户界面包括以大于所述第一大小的第二大小显示所述第二用户界面。
4.根据权利要求1所述的方法，其中在检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的所述输入之前，将所述相应用户界面元素以具有第一值的视觉特性显示在背景上，并且导航到所述第二用户界面包括将所述第二用户界面以具有不同于所述第一值的第二值的所述视觉特性显示在所述背景上。
5.根据权利要求1所述的方法，其中导航到所述第二用户界面包括以影响经由所述显示生成部件显示的一个或多个其他表示的照明效果来显示所述第二用户界面。
6.根据权利要求1所述的方法，还包括：
在所述用户的所述注视被引导到所述相应用户界面元素的同时并且在所述用户的所述注视被引导到所述相应用户界面元素长于所述时间阈值之前并且在导航到所述第二用户界面之前，经由所述眼睛跟踪设备检测到所述用户的所述注视不再被引导到所述相应用户界面元素；以及
响应于检测到所述用户的所述注视不再被引导到所述相应用户界面元素，放弃导航到所述第二用户界面。
7.根据权利要求1所述的方法，还包括：
在所述用户的所述注视被引导到所述相应用户界面元素的同时并且在所述用户的所述注视被引导到所述相应用户界面元素长于所述时间阈值之前并且在导航到所述第二用户界面之前，经由所述显示生成部件显示继续被引导到所述相应用户界面元素的注视将导致导航到所述第二用户界面的视觉指示。
8.根据权利要求7所述的方法，其中所述视觉指示包括所述相应用户界面元素扩展成所述第二用户界面的动画。
9.根据权利要求7所述的方法，其中显示所述视觉指示包括在所述第二用户界面中发起内容的动画。
10.根据权利要求7所述的方法，其中所述第一用户界面包括在其上显示所述相应用户界面元素的背景，并且所述视觉指示包括遮蔽所述背景的显示。
11.根据权利要求1所述的方法，其中导航到所述第二用户界面包括改变所述第一用户界面与所述第二用户界面之间的相对模拟深度。
12.根据权利要求1所述的方法，其中：
在检测到被引导到所述相应用户界面元素的所述输入之前，所述第一用户界面以具有第一值的视觉特性显示，
在导航到所述第二用户界面之后，所述第二用户界面显示在以具有不同于所述第一值的第二值的所述视觉特性显示的所述第一用户界面上，
所述第一用户界面包括与第三用户界面相关联的第二相应用户界面元素，所述方法还包括：
在将所述第二用户界面显示在以具有所述第二值的所述视觉特性显示的所述第一用户界面上的同时，经由所述一个或多个输入设备接收用于从所述第二用户界面导航到所述第三用户界面的输入；以及
响应于接收到用于从所述第二用户界面导航到所述第三用户界面的所述输入，在保持所述第一用户界面以具有所述第二值的所述视觉特性的显示的同时，停止所述第二用户界面在所述第一用户界面上的显示，并在所述第一用户界面上显示所述第三用户界面。
13.根据权利要求1所述的方法，还包括：
响应于检测到所述用户的所述注视被引导到所述相应用户界面元素，发起对应于导航到所述第二用户界面的动画；以及
响应于检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的所述输入：
根据所述确定所述用户的所述注视继续被引导到所述相应用户界面元素长于所述时间阈值，在所述时间阈值内完成对应于导航到所述第二用户界面和导航到所述第二用户界面的所述动画；以及
根据所述确定当所述用户的所述注视已被引导到所述相应用户界面元素短于所述时间阈值时经由所述一个或多个输入设备检测到所述选择输入，导航到所述第二用户界面而无需在所述时间阈值内完成对应于导航到所述第二用户界面的所述动画。
14.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：
经由显示生成部件显示包括与第二用户界面相关联的相应用户界面元素的第一用户界面；
在显示所述第一用户界面的同时，经由眼睛跟踪设备检测用户的注视被引导到所述相应用户界面元素；以及
响应于检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的输入：
根据确定所述用户的所述注视继续被引导到所述相应用户界面元素长于时间阈值，导航到所述第二用户界面；以及
根据确定当所述用户的所述注视已被引导到所述相应用户界面元素短于所述时间阈值时经由一个或多个输入设备检测到选择输入，导航到所述第二用户界面而无需等待所述注视继续被引导到所述相应用户界面元素长于所述时间阈值。
15.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备：
经由显示生成部件显示包括与第二用户界面相关联的相应用户界面元素的第一用户界面；
在显示所述第一用户界面的同时，经由眼睛跟踪设备检测用户的注视被引导到所述相应用户界面元素；以及
响应于检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的输入：
根据确定所述用户的所述注视继续被引导到所述相应用户界面元素长于时间阈值，导航到所述第二用户界面；以及
根据确定当所述用户的所述注视已被引导到所述相应用户界面元素短于所述时间阈值时经由一个或多个输入设备检测到选择输入，导航到所述第二用户界面而无需等待所述注视继续被引导到所述相应用户界面元素长于所述时间阈值。
16.根据权利要求14所述的电子设备，其中所述选择输入包括由与所述电子设备通信的手部跟踪设备检测到的由所述用户的手执行的相应手势。
17.根据权利要求14所述的电子设备，其中以第一大小显示所述相应用户界面元素，并且导航到所述第二用户界面包括以大于所述第一大小的第二大小显示所述第二用户界面。
18.根据权利要求14所述的电子设备，其中在检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的所述输入之前，将所述相应用户界面元素以具有第一值的视觉特性显示在背景上，并且导航到所述第二用户界面包括将所述第二用户界面以具有不同于所述第一值的第二值的所述视觉特性显示在所述背景上。
19.根据权利要求14所述的电子设备，其中导航到所述第二用户界面包括以影响经由所述显示生成部件显示的一个或多个其他表示的照明效果来显示所述第二用户界面。
20.根据权利要求14所述的电子设备，其中所述一个或多个程序还包括用于执行以下操作的指令：
在所述用户的所述注视被引导到所述相应用户界面元素的同时并且在所述用户的所述注视被引导到所述相应用户界面元素长于所述时间阈值之前并且在导航到所述第二用户界面之前，经由所述眼睛跟踪设备检测到所述用户的所述注视不再被引导到所述相应用户界面元素；以及
响应于检测到所述用户的所述注视不再被引导到所述相应用户界面元素，放弃导航到所述第二用户界面。
21.根据权利要求14所述的电子设备，其中所述一个或多个程序还包括用于执行以下操作的指令：
在所述用户的所述注视被引导到所述相应用户界面元素的同时并且在所述用户的所述注视被引导到所述相应用户界面元素长于所述时间阈值之前并且在导航到所述第二用户界面之前，经由所述显示生成部件显示继续被引导到所述相应用户界面元素的注视将导致导航到所述第二用户界面的视觉指示。
22.根据权利要求21所述的电子设备，其中所述视觉指示包括所述相应用户界面元素扩展成所述第二用户界面的动画。
23.根据权利要求21所述的电子设备，其中显示所述视觉指示包括在所述第二用户界面中发起内容的动画。
24.根据权利要求21所述的电子设备，其中所述第一用户界面包括在其上显示所述相应用户界面元素的背景，并且所述视觉指示包括遮蔽所述背景的显示。
25.根据权利要求14所述的电子设备，其中导航到所述第二用户界面包括改变所述第一用户界面与所述第二用户界面之间的相对模拟深度。
26.根据权利要求14所述的电子设备，其中：
在检测到被引导到所述相应用户界面元素的所述输入之前，所述第一用户界面以具有第一值的视觉特性显示，
在导航到所述第二用户界面之后，所述第二用户界面显示在以具有不同于所述第一值的第二值的所述视觉特性显示的所述第一用户界面上，
所述第一用户界面包括与第三用户界面相关联的第二相应用户界面元素，所述一个或多个程序还包括用于执行以下操作的指令：
在将所述第二用户界面显示在以具有所述第二值的所述视觉特性显示的所述第一用户界面上的同时，经由所述一个或多个输入设备接收用于从所述第二用户界面导航到所述第三用户界面的输入；以及
响应于接收到用于从所述第二用户界面导航到所述第三用户界面的所述输入，在保持所述第一用户界面以具有所述第二值的所述视觉特性的显示的同时，停止所述第二用户界面在所述第一用户界面上的显示，并在所述第一用户界面上显示所述第三用户界面。
27.根据权利要求14所述的电子设备，其中所述一个或多个程序还包括用于执行以下操作的指令：
响应于检测到所述用户的所述注视被引导到所述相应用户界面元素，发起对应于导航到所述第二用户界面的动画；以及
响应于检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的所述输入：
根据所述确定所述用户的所述注视继续被引导到所述相应用户界面元素长于所述时间阈值，在所述时间阈值内完成对应于导航到所述第二用户界面和导航到所述第二用户界面的所述动画；以及
根据所述确定当所述用户的所述注视已被引导到所述相应用户界面元素短于所述时间阈值时经由所述一个或多个输入设备检测到所述选择输入，导航到所述第二用户界面而无需在所述时间阈值内完成对应于导航到所述第二用户界面的所述动画。
28.根据权利要求15所述的非暂态计算机可读存储介质，其中所述选择输入包括由与所述电子设备通信的手部跟踪设备检测到的由所述用户的手执行的相应手势。
29.根据权利要求15所述的非暂态计算机可读存储介质，其中以第一大小显示所述相应用户界面元素，并且导航到所述第二用户界面包括以大于所述第一大小的第二大小显示所述第二用户界面。
30.根据权利要求15所述的非暂态计算机可读存储介质，其中在检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的所述输入之前，将所述相应用户界面元素以具有第一值的视觉特性显示在背景上，并且导航到所述第二用户界面包括将所述第二用户界面以具有不同于所述第一值的第二值的所述视觉特性显示在所述背景上。
31.根据权利要求15所述的非暂态计算机可读存储介质，其中导航到所述第二用户界面包括以影响经由所述显示生成部件显示的一个或多个其他表示的照明效果来显示所述第二用户界面。
32.根据权利要求15所述的非暂态计算机可读存储介质，其中所述指令还使得所述电子设备：
在所述用户的所述注视被引导到所述相应用户界面元素的同时并且在所述用户的所述注视被引导到所述相应用户界面元素长于所述时间阈值之前并且在导航到所述第二用户界面之前，经由所述眼睛跟踪设备检测到所述用户的所述注视不再被引导到所述相应用户界面元素；以及
响应于检测到所述用户的所述注视不再被引导到所述相应用户界面元素，放弃导航到所述第二用户界面。
33.根据权利要求15所述的非暂态计算机可读存储介质，其中所述指令还使得所述电子设备：
在所述用户的所述注视被引导到所述相应用户界面元素的同时并且在所述用户的所述注视被引导到所述相应用户界面元素长于所述时间阈值之前并且在导航到所述第二用户界面之前，经由所述显示生成部件显示继续被引导到所述相应用户界面元素的注视将导致导航到所述第二用户界面的视觉指示。
34.根据权利要求33所述的非暂态计算机可读存储介质，其中所述视觉指示包括所述相应用户界面元素扩展成所述第二用户界面的动画。
35.根据权利要求33所述的非暂态计算机可读存储介质，其中显示所述视觉指示包括在所述第二用户界面中发起内容的动画。
36.根据权利要求33所述的非暂态计算机可读存储介质，其中所述第一用户界面包括在其上显示所述相应用户界面元素的背景，并且所述视觉指示包括遮蔽所述背景的显示。
37.根据权利要求15所述的非暂态计算机可读存储介质，其中导航到所述第二用户界面包括改变所述第一用户界面与所述第二用户界面之间的相对模拟深度。
38.根据权利要求15所述的非暂态计算机可读存储介质，其中：
在检测到被引导到所述相应用户界面元素的所述输入之前，所述第一用户界面以具有第一值的视觉特性显示，
在导航到所述第二用户界面之后，所述第二用户界面显示在以具有不同于所述第一值的第二值的所述视觉特性显示的所述第一用户界面上，
所述第一用户界面包括与第三用户界面相关联的第二相应用户界面元素，其中所述指令还使得所述电子设备：
在将所述第二用户界面显示在以具有所述第二值的所述视觉特性显示的所述第一用户界面上的同时，经由所述一个或多个输入设备接收用于从所述第二用户界面导航到所述第三用户界面的输入；以及
响应于接收到用于从所述第二用户界面导航到所述第三用户界面的所述输入，在保持所述第一用户界面以具有所述第二值的所述视觉特性的显示的同时，停止所述第二用户界面在所述第一用户界面上的显示，并在所述第一用户界面上显示所述第三用户界面。
39.根据权利要求15所述的非暂态计算机可读存储介质，其中所述指令还使得所述电子设备：
响应于检测到所述用户的所述注视被引导到所述相应用户界面元素，发起对应于导航到所述第二用户界面的动画；以及
响应于检测到包括被引导到所述相应用户界面元素的所述用户的所述注视的所述输入：
根据所述确定所述用户的所述注视继续被引导到所述相应用户界面元素长于所述时间阈值，在所述时间阈值内完成对应于导航到所述第二用户界面和导航到所述第二用户界面的所述动画；以及
根据所述确定当所述用户的所述注视已被引导到所述相应用户界面元素短于所述时间阈值时经由所述一个或多个输入设备检测到所述选择输入，导航到所述第二用户界面而无需在所述时间阈值内完成对应于导航到所述第二用户界面的所述动画。
CN202311070045.1A 2020-09-25 2021-09-20 用于导航用户界面的方法 Pending CN117008731A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063083804P 2020-09-25 2020-09-25
US63/083,804 2020-09-25
PCT/US2021/071518 WO2022067302A1 (en) 2020-09-25 2021-09-20 Methods for navigating user interfaces
CN202180065430.XA CN116209974A (zh) 2020-09-25 2021-09-20 用于导航用户界面的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180065430.XA Division CN116209974A (zh) 2020-09-25 2021-09-20 用于导航用户界面的方法

Publications (1)

Publication Number Publication Date
CN117008731A true CN117008731A (zh) 2023-11-07

Family

ID=78372134

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180065430.XA Pending CN116209974A (zh) 2020-09-25 2021-09-20 用于导航用户界面的方法
CN202311070045.1A Pending CN117008731A (zh) 2020-09-25 2021-09-20 用于导航用户界面的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202180065430.XA Pending CN116209974A (zh) 2020-09-25 2021-09-20 用于导航用户界面的方法

Country Status (6)

Country Link
US (2) US11720171B2 (zh)
EP (1) EP4200691A1 (zh)
JP (1) JP2023543799A (zh)
KR (1) KR20230050466A (zh)
CN (2) CN116209974A (zh)
WO (1) WO2022067302A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3985486B1 (en) * 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal
US20220286741A1 (en) * 2021-03-04 2022-09-08 Arris Enterprises Llc Providing enhanced viewing experience using user gaze detection and video casting

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
KR100595924B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
US7134130B1 (en) 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US20020065778A1 (en) 2000-11-30 2002-05-30 Stephane Bouet Mehtod of and a system for distributing electronic content
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP2004080382A (ja) 2002-08-19 2004-03-11 Sony Corp 電子機器制御装置および電子機器制御方法
KR100538948B1 (ko) 2003-08-11 2005-12-27 삼성전자주식회사 적응적 이미지의 표시가 가능한 휴대용 단말기의디스플레이 장치
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
CA2545202C (en) 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
CN1993688B (zh) 2004-08-03 2012-01-18 西尔弗布鲁克研究有限公司 走近启动的打印
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
JP2006295236A (ja) * 2005-04-05 2006-10-26 Sony Corp 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7706579B2 (en) 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US20080181502A1 (en) 2007-01-31 2008-07-31 Hsin-Ming Yang Pattern recognition for during orientation of a display device
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8299889B2 (en) 2007-12-07 2012-10-30 Cisco Technology, Inc. Home entertainment system providing presence and mobility via remote control authentication
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
CN102203850A (zh) 2008-09-12 2011-09-28 格斯图尔泰克公司 相对于用户而定向所显示的元素
US8446376B2 (en) 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs
EP2448262A4 (en) 2009-06-26 2012-11-21 Panasonic Corp COMMUNICATION DEVICE
US20110016492A1 (en) 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
EP2278780A1 (en) 2009-07-23 2011-01-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Common audio event determination
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
JP5440334B2 (ja) 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
US8593558B2 (en) 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
JP5564384B2 (ja) 2010-09-28 2014-07-30 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US8793753B2 (en) 2010-11-22 2014-07-29 International Business Machines Corporation Transferring a broadcast transmission to a remote device
JP2014077814A (ja) 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
WO2013097896A1 (en) 2011-12-28 2013-07-04 Nokia Corporation Application switcher
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
WO2013168173A1 (en) 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
US20140049462A1 (en) 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
JP6099342B2 (ja) * 2012-09-19 2017-03-22 大学共同利用機関法人情報・システム研究機構 視線インタフェースを用いた対話的情報探索装置
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9239627B2 (en) 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
US8914837B2 (en) 2012-12-14 2014-12-16 Biscotti Inc. Distributed infrastructure
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
US9189611B2 (en) 2013-02-07 2015-11-17 Sony Corporation Adapting content and monitoring user behavior based on facial recognition
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US9612657B2 (en) 2013-03-14 2017-04-04 Brainlab Ag 3D-volume viewing by controlling sight depth
GB2500823B (en) 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9619519B1 (en) 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9829708B1 (en) 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
JP2016096513A (ja) * 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
US10732721B1 (en) * 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
EP3249497A1 (en) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
CN112578911A (zh) 2016-12-06 2021-03-30 美国景书公司 跟踪头部和眼睛的运动的装置和方法
US10521020B2 (en) * 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
US10565448B2 (en) 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages
WO2019067902A1 (en) 2017-09-29 2019-04-04 Apple Inc. USER INTERACTIONS BASED ON THE LOOK
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
JP7338184B2 (ja) * 2018-03-28 2023-09-05 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
WO2019226691A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
US10795435B2 (en) * 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US20200371673A1 (en) * 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
WO2021194790A1 (en) 2020-03-27 2021-09-30 Apple Inc. Devices, methods, and graphical user interfaces for gaze-based navigation

Also Published As

Publication number Publication date
EP4200691A1 (en) 2023-06-28
JP2023543799A (ja) 2023-10-18
WO2022067302A1 (en) 2022-03-31
KR20230050466A (ko) 2023-04-14
US11720171B2 (en) 2023-08-08
US20220100270A1 (en) 2022-03-31
US20230333646A1 (en) 2023-10-19
CN116209974A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
US20220253136A1 (en) Methods for presenting and sharing content in an environment
US20230333646A1 (en) Methods for navigating user interfaces
CN115657848A (zh) 用于基于注视的导航的设备、方法和图形用户界面
CN116710181A (zh) 用于相对于用户身体更新设备的显示器的系统、方法和图形用户界面
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN117940880A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面
KR20240047458A (ko) 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
WO2024063786A1 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
WO2023049111A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN117980962A (zh) 用于内容应用的设备、方法和图形用户界面
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination