CN117406892A - 用于与环境中的对象进行交互的方法 - Google Patents

用于与环境中的对象进行交互的方法 Download PDF

Info

Publication number
CN117406892A
CN117406892A CN202311491331.5A CN202311491331A CN117406892A CN 117406892 A CN117406892 A CN 117406892A CN 202311491331 A CN202311491331 A CN 202311491331A CN 117406892 A CN117406892 A CN 117406892A
Authority
CN
China
Prior art keywords
user interface
user
input
interface element
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311491331.5A
Other languages
English (en)
Inventor
C·D·麦肯齐
P·普拉·艾·柯尼萨
M·阿朗索鲁伊斯
S·O·勒梅
W·A·索伦蒂诺三世
邱诗善
J·拉瓦兹
B·H·博伊塞尔
K·E·鲍尔利
P·D·安东
E·克日沃卢奇科
N·吉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority claimed from PCT/US2022/013208 external-priority patent/WO2022159639A1/en
Publication of CN117406892A publication Critical patent/CN117406892A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于与环境中的对象进行交互的方法。一些方案中，电子设备响应于用户输入根据这些输入之前是否检测到就绪状态而选择性地执行操作。一些方案中，电子设备基于与该用户相关联的注意区来处理用户输入。一些方案中，电子设备增强与相对于用户的注视处于不同距离和/或角度的用户界面元素的交互。一些方案中，电子设备针对混合的直接和间接交互模式增强与用户界面元素的交互。一些方案中，电子设备管理来自用户的两只手的输入并且/或者呈现用户输入的视觉指示。一些方案中，电子设备使用此类交互的视觉指示来增强与三维环境中的用户界面元素的交互。一些方案中，电子设备将选择输入从一个用户界面元素重新指向另一个用户界面元素。

Description

用于与环境中的对象进行交互的方法
本申请是申请日为2022年1月20日、国家申请号为202280022799.7、发明名称为“用于与环境中的对象进行交互的方法”的中国发明专利申请的分案申请。
相关申请的交叉引用
本专利申请要求2021年1月20日提交的美国临时申请63/139,566以及2021年9月23日提交的美国临时申请63/261,559的权益，这两个申请的内容全文以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及计算机系统，该计算机系统具有呈现图形用户界面的显示生成部件和一个或多个输入设备，包括但不限于经由显示生成部件呈现交互式用户界面元素的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触摸板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于与三维环境中的对象进行交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的对象交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
在一些实施方案中，电子设备响应于用户输入根据该用户输入之前是否检测到用户的就绪状态而执行或不执行操作。在一些实施方案中，电子设备基于与该用户相关联的注意区来处理用户输入。在一些实施方案中，电子设备增强与三维环境中相对于用户的注视处于不同距离和/或角度的用户界面元素的交互。在一些实施方案中，电子设备针对混合的直接和间接交互模式增强与用户界面元素的交互。在一些实施方案中，电子设备管理来自用户的两只手的输入。在一些实施方案中，电子设备呈现用户输入的视觉指示。在一些实施方案中，电子设备使用此类交互的视觉指示来增强与三维环境中的用户界面元素的交互。在一些实施方案中，电子设备根据输入中包括的移动将输入从一个用户界面元素重新指向另一个用户界面元素。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6A是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图6B示出了根据一些实施方案的提供CGR体验的电子设备的示例性环境。
图7A至图7C示出了根据一些实施方案的电子设备响应于用户输入根据该用户输入之前是否检测到用户的就绪状态而执行或不执行操作的示例性方式。
图8A至图8K是示出根据一些实施方案的响应于用户输入根据该用户输入之前是否检测到用户的就绪状态而执行或不执行操作的方法的流程图。
图9A至图9C示出了根据一些实施方案的电子设备基于与用户相关联的注意区来处理用户输入的示例性方式。
图10A至图10H是示出根据一些实施方案的基于与用户相关联的注意区来处理用户输入的方法的流程图。
图11A至图11C示出了根据一些实施方案的电子设备如何增强与三维环境中相对于用户的注视处于不同距离和/或角度的用户界面元素的交互的示例。
图12A至图12F是示出根据一些实施方案的增强与三维环境中相对于用户的注视处于不同距离和/或角度的用户界面元素的交互的方法的流程图。
图13A至图13C示出了根据一些实施方案的电子设备如何针对混合的直接和间接交互模式增强与用户界面元素的交互的示例。
图14A至图14H是示出根据一些实施方案的针对混合的直接和间接交互模式增强与用户界面元素的交互的方法的流程图。
图15A至图15E示出了根据一些实施方案的电子设备管理来自用户的两只手的输入的示例性方式。
图16A至图16I是示出根据一些实施方案的管理来自用户的两只手的输入的方法的流程图。
图17A至图17E示出了根据一些实施方案的电子设备呈现用户输入的视觉指示的各种方式。
图18A至图18O是示出根据一些实施方案的呈现用户输入的视觉指示的方法的流程图。
图19A至图19D示出了根据一些实施方案的电子设备如何使用此类交互的视觉指示来增强与三维环境中的用户界面元素的交互的示例。
图20A至图20F是示出根据一些实施方案的使用此类交互的视觉指示来增强与三维环境中的用户界面元素的交互的方法的流程图。
图21A至图21E示出了根据一些实施方案的电子设备如何响应于检测到输入中包括的移动而将输入从一个用户界面元素重新指向另一个用户界面元素的示例。
图22A至图22K是示出根据一些实施方案的响应于检测到输入中包括的移动而将输入从一个用户界面元素重新指向另一个用户界面元素的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的系统、方法和GUI提供了电子设备与三维环境中的对象交互并操纵三维环境中的对象的改进的方式。三维环境任选地包括一个或多个虚拟对象、处于电子设备的物理环境中的真实对象的一个或多个表示(例如，被显示为真实对象的照片真实感(例如，“透传”)表示或通过显示生成部件的透明部分对用户可见的表示)和/或用户在三维环境中的表示。
在一些实施方案中，电子设备基于用户在三维环境中的视点来自动地更新虚拟对象在该三维环境中的取向。在一些实施方案中，电子设备根据用户输入来移动虚拟对象，并且响应于用户输入的终止而在所更新位置处显示对象。在一些实施方案中，电子设备自动地更新位于所更新位置处的虚拟对象的取向(例如，和/或在虚拟对象移动到所更新位置时)，使得虚拟对象朝向用户在三维环境中的视点取向(例如，贯穿其移动和/或在其移动结束时)。自动地更新虚拟对象在三维环境中的取向使得用户能够更自然且有效地观看虚拟对象并与其交互，而不需要用户手动调整对象的取向。
在一些实施方案中，电子设备基于多个用户在三维环境中的视点来自动地更新虚拟对象在该三维环境中的取向。在一些实施方案中，电子设备根据用户输入来移动虚拟对象，并且响应于用户输入的终止而在所更新位置处显示对象。在一些实施方案中，电子设备自动地更新位于所更新位置处的虚拟对象的取向(例如，和/或在虚拟对象移动到所更新位置时)，使得虚拟对象朝向多个用户在三维环境中的视点取向(例如，贯穿其移动和/或在其移动结束时)。自动地更新虚拟对象在三维环境中的取向使得用户能够更自然且有效地观看虚拟对象并与其交互，而不需要用户手动调整对象的取向。
在一些实施方案中，电子设备修改在虚拟对象和用户在三维环境中的视点之间的真实对象的外观。电子设备任选地使在用户在三维环境中的视点和虚拟对象之间的真实对象的一部分(例如，作为真实对象的图像逼真(例如，“透传”)表示显示，或者透过显示生成部件的透明部分对用户可见)模糊、变暗或以其他方式修改该真实对象的该部分。在一些实施方案中，电子设备修改真实对象的在虚拟对象的边界的阈值距离(例如，5厘米、10厘米、30厘米、50厘米、100厘米等)内的部分，而不修改真实对象的与虚拟对象的边界相距超过阈值距离的部分。修改真实对象的外观允许用户更自然且有效地观看虚拟对象并与其交互。此外，修改真实对象的外观减少对用户的认知负担。
在一些实施方案中，电子设备自动地选择用户在包括一个或多个虚拟对象和/或其他用户的三维环境中的位置。在一些实施方案中，用户获得对已经包括一个或多个其他用户和一个或多个虚拟对象的三维环境的访问权。在一些实施方案中，电子设备基于虚拟对象和其他用户在三维环境中的位置和取向来自动地选择要与用户相关联的位置(例如，要放置用户的视点的位置)。在一些实施方案中，电子设备将选择用户的位置以使得用户能够观看三维环境中的其他用户和虚拟对象而不阻挡其他用户对用户和虚拟对象的观看。基于虚拟对象和其他用户在三维环境中的位置和取向来自动地将用户放置在三维环境中使得用户能够有效地观看三维环境中的虚拟对象和其他用户并与其交互，而不需要用户手动选择三维环境中要与之相关联的位置。
在一些实施方案中，电子设备根据输入中包括的移动将输入从一个用户界面元素重新指向另一个用户界面元素。在一些实施方案中，电子设备呈现多个交互式用户界面元素，并且经由一个或多个输入设备接收指向该多个用户界面元素中的第一用户界面元素的输入。在一些实施方案中，在检测到输入的一部分(例如，没有检测到整个输入)之后，电子设备检测到输入的与将输入重新指向第二用户界面元素的请求对应的移动部分。作为响应，在一些实施方案中，电子设备将输入指向第二用户界面元素。在一些实施方案中，响应于满足一个或多个标准(例如，基于速度、持续时间、距离等)的移动，电子设备取消输入而不是将输入重新指向。使得用户能够在提供输入的一部分之后将该输入重新指向或取消该输入使得用户能够用更少的输入来高效地与电子设备交互(例如，撤销意外的动作和/或将输入指向不同的用户界面元素)。
图1至图6提供了用于向用户提供CGR体验的示例性计算机系统的描述(诸如下文相对于方法800、1000、1200、1400、1600、1800、2000和2200所述)。在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更有效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面杂乱、在一组条件已经被满足时执行操作而无需进一步的用户输入和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机系统101检测到的输入进行交互，这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成的现实：相反地，计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
硬件：有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中，手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中，眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6A示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可维持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6A中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6A旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
图6B示出了根据一些实施方案的提供CGR体验的电子设备101a和101b的示例性环境。在图6B中，真实世界环境602包括电子设备101a和101b、用户608a和608b以及真实世界对象(例如，桌子604)。如图6B所示，电子设备101a和101b任选地安装在三脚架上或以其他方式固定在真实世界环境602中，使得用户608a和608b的一只或多只手空闲(例如，用户608a和608b任选地未用一只或多只手握持设备101a和101b)。如上所述，设备101a和101b任选地具有分别定位在设备101a和101b的不同侧上的一个或多个传感器组。例如，设备101a和101b任选地包括传感器组612-1a和612-1b以及传感器组612-2a和612-2b，这些传感器组分别位于设备101a和101b的“后”侧和“前”侧上(例如，它们能够从设备101a和101b的相应侧面捕获信息)。如本文所用，设备101a的前侧是面向用户608a和608b的侧面，并且设备101a和101b的后侧是背对用户608a和608b的侧面。
在一些实施方案中，传感器组612-2a和612-2b包括眼睛跟踪单元(例如，上文参考图2所述的眼睛跟踪单元245)，这些眼睛跟踪单元包括用于跟踪用户的眼睛和/或注视的一个或多个传感器，使得眼睛跟踪单元能够“看”向用户608a和608b并且以先前所述的方式跟踪用户608a和608b的眼睛。在一些实施方案中，设备101a和101b的眼睛跟踪单元能够捕获用户608a和608b的眼睛的移动、取向和/或注视并且将这些移动、取向和/或注视看作输入。
在一些实施方案中，传感器组612-1a和612-1b包括手部跟踪单元(例如，上文参考图2所述的手部跟踪单元243)，这些手部跟踪单元能够跟踪用户608a和608b的保持在设备101a和101b的“后”侧上的一只或多只手，如图6B所示。在一些实施方案中，手部跟踪单元任选地包括在传感器组612-2a和612-2b中，使得在设备101a和101b跟踪一只或多只手的定位时，用户608a和608b能够附加地或另选地将该一只或多只手保持在设备101a和101b的“前”侧上。如上所述，设备101a和101b的手部跟踪单元能够捕获用户608a和608b的一只或多只手的移动、定位和/或手势并且将这些移动、定位和/或手势看作输入。
在一些实施方案中，传感器组612-1a和612-1b任选地包括一个或多个传感器，该一个或多个传感器被配置为捕获包括桌子604的真实世界环境602的图像(例如，诸如上文参考图4所述的图像传感器404)。如上所述，设备101a和101b能够捕获真实世界环境602的部分(例如，一些或全部)的图像并且经由设备101a和101b的一个或多个显示生成部件(例如，设备101a和101b的显示器，该显示器任选地位于设备101a和101b的面向用户的侧面上、与设备101a和101b的面向真实世界环境602的捕获的部分的侧面相对)向用户呈现真实世界环境602的捕获的部分。
在一些实施方案中，真实世界环境602的捕获的部分用于向用户提供CGR体验，例如一个或多个虚拟对象叠加在真实世界环境602的表示上方的混合现实环境。
因此，本文的描述描述了包括真实世界对象的表示和虚拟对象的表示的三维环境(例如，CGR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由电子设备的相机和显示器主动地或经由电子设备的透明或半透明显示器被动地显示)。如先前所述，三维环境任选地是混合现实系统，其中三维环境基于由设备的一个或多个传感器捕获并经由显示生成部件显示的物理环境。作为混合现实系统，该设备任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来如同它们存在于由电子设备显示的三维环境中一样。类似地，该设备任选地能够通过将虚拟对象放置在三维环境中在真实世界中具有对应位置的相应位置处来在三维环境中显示虚拟对象以看起来如同虚拟对象存在于真实世界(例如，物理环境)中一样。例如，该设备任选地显示花瓶，使得该花瓶看起来如同真实的花瓶被放置在物理环境中的桌子的顶部上一样。在一些实施方案中，三维环境中的每个位置在物理环境中具有对应位置。因此，当设备被描述为在相对于物理对象的相应位置(例如，诸如在用户的手处或附近的位置或在物理桌子处或附近的位置)处显示虚拟对象时，设备在三维环境中的特定位置处显示虚拟对象，使得看起来如同虚拟对象在物理世界中的物理对象处或附近一样(例如，虚拟对象显示在三维环境中与物理环境中如果该虚拟对象是该特定位置处的真实对象则将显示该虚拟对象的位置对应的位置处)。
在一些实施方案中，在三维环境中显示的存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子的顶部上的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或多只手与三维环境中的虚拟对象交互，就好像虚拟对象是物理环境中的真实对象。例如，如上文所述，设备的一个或多个传感器任选地捕获用户的一只或多只手并且在三维环境中显示用户的手的表示(例如，以类似于在上文所述的三维环境中显示真实世界对象的方式)，或者在一些实施方案中，由于显示生成部件的正在显示用户界面或用户界面到透明/半透明表面上的投影或用户界面到用户的眼睛上或到用户的眼睛的视场中的投影的一部分的透明度/半透明度，经由显示生成部件、经由透过用户界面看见物理环境的能力可看到用户的手。因此，在一些实施方案中，用户的手在三维环境中的相应位置处显示，并且被视为好像它们是三维环境中能够与三维环境中的虚拟对象交互的对象，就好像这些虚拟对象是物理环境中的真实物理对象。在一些实施方案中，用户能够移动他或她的手以使得手在三维环境中的表示结合用户的手的移动而移动。
在下文所述的实施方案中的一些实施方案中，设备任选地能够确定物理世界中的物理对象与三维环境中的虚拟对象之间的“有效”距离，例如，以用于确定物理对象是否正在与虚拟对象交互(例如，手是否正在触摸、抓取、握持等虚拟对象或处于距虚拟对象的阈值距离内)。例如，设备当确定用户是否正在与虚拟对象交互并且/或者用户正在如何与虚拟对象交互时确定用户的手与虚拟对象之间的距离。在一些实施方案中，设备通过确定手在三维环境中的位置与感兴趣虚拟对象在三维环境中的位置之间的距离来确定用户的手与虚拟对象之间的距离。例如，用户的该一只或多只手位于物理世界中的特定定位处，设备任选地捕获该一只或多只手并且在三维环境中的特定对应定位(例如，如果手是虚拟手而不是物理手，则该手将在三维环境中被显示的位置)处显示该一只或多只手。任选地将手在三维环境中的定位与感兴趣虚拟对象在三维环境中的定位进行比较，以确定用户的该一只或多只手与虚拟对象之间的距离。在一些实施方案中，设备任选地通过比较物理世界中的定位(例如，而不是比较三维环境中的定位)来确定物理对象与虚拟对象之间的距离。例如，当确定用户的一只或多只手与虚拟对象之间的距离时，设备任选地确定虚拟对象在物理世界中的对应位置(例如，如果该虚拟对象是物理对象而不是虚拟对象，则该虚拟对象将在物理世界中位于的定位)，然后确定对应物理定位与用户的该一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或者物理对象是否处于虚拟对象的阈值距离内时，设备任选地执行上文所述的技术中的任一种技术来将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理世界。
在一些实施方案中，使用相同或类似的技术来确定用户的注视指向何处和何物，以及/或者由用户握持的物理触笔指向何处和何物处。例如，如果用户的注视指向物理环境中的特定定位，则设备任选地确定三维环境中的对应定位，并且如果虚拟对象位于该对应虚拟定位处，则设备任选地确定用户的注视指向该虚拟对象。类似地，该设备任选地能够基于物理触笔的取向来确定该触笔在物理世界中指向的方向。在一些实施方案中，基于该确定，设备确定三维环境中与物理世界中触笔指向的位置对应的对应虚拟定位，并且任选地确定触笔指向三维环境中的对应虚拟定位处。
类似地，本文所述的实施方案可指用户(例如，设备的用户)在三维环境中的位置和/或设备在三维环境中的位置。在一些实施方案中，设备的用户正在握持、佩戴或以其他方式位于电子设备处或附近。因此，在一些实施方案中，设备的位置用作用户的位置的代理。在一些实施方案中，设备和/或用户在物理环境中的位置对应于三维环境中的相应位置。在一些实施方案中，相应位置是三维环境的“相机”或“视图”从其延伸的位置。例如，设备的位置将是在物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在该位置，面向由显示生成部件显示的物理环境的相应部分，则用户将从该位置看到物理环境中处于与在对象由设备的显示生成部件显示时相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此)的这些对象。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与这些虚拟对象在三维环境中的位置相同的位置处的物理对象，以及在物理环境中具有与在三维环境中时相同的大小和取向的物理对象)，则设备和/或用户的位置是用户将看到物理环境中处于与在虚拟对象由设备的显示生成部件显示时相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此和真实世界对象)的这些虚拟对象的定位。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7C示出了根据一些实施方案的电子设备101a或101b响应于用户输入根据该用户输入之前是否检测到用户的就绪状态而执行或不执行操作的示例性方式。
图7A示出了电子设备101a和101b经由显示生成部件120a和120b显示三维环境。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101a和/或101b在二维环境或用户界面中利用参考图7A至图7C所述的一种或多种技术。如上参考图1至图6所述，电子设备101a和1010b任选地包括显示生成部件120a和120b(例如，触摸屏)以及多个图像传感器314a和314b。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101a和/或101b交互时电子设备101a和/或101b能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120a和120b是能够检测用户的手部的手势和移动的触摸屏。在一些实施方案中，下文所述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
图7A示出了显示三维环境的两个电子设备101a和101b，该三维环境包括电子设备101a和101b的物理环境中的桌子(例如，诸如图6B中的桌子604)的表示704、可选择选项707以及可滚动用户界面元素705。电子设备101a和101b从三维环境中的不同视点呈现三维环境，因为这些电子设备与三维环境中的不同用户视点相关联。在一些实施方案中，桌子的表示704是由显示生成部件120a和/或120b显示的照片真实感表示(例如，数字透传)。在一些实施方案中，桌子的表示704是透过显示生成部件120a和/或120b的透明部分的桌子的视图(例如，物理透传)。在图7A中，第一电子设备101a的用户的注视701a指向可滚动用户界面元素705，并且可滚动用户界面元素705在第一电子设备101a的用户的注意区703内。在一些实施方案中，注意区703类似于下文参考图9A至图10H更详细描述的注意区。
在一些实施方案中，第一电子设备101a以模糊和/或暗淡的外观(例如，弱化的外观)显示三维环境中的不在注意区703中的对象(例如，桌子704和/或选项707的表示)。在一些实施方案中，第二电子设备101b基于第二电子设备101b的用户的注意区来模糊和/或淡化(例如，弱化)三维环境的部分，该注意区任选地不同于第一电子设备101a的用户的注意区。因此，在一些实施方案中，注意区和对注意区之外的对象的模糊在电子设备101a和101b之间不同步。相反，在一些实施方案中，与电子设备101a和101b相关联的注意区彼此独立。
在图7A中，第一电子设备101a的用户的手部709处于不活动手部状态(例如，手部状态A)。例如，手部709呈不与就绪状态或输入对应的手部形状，如下文更详细描述的。因为手部709处于非活动手部状态，所以第一电子设备101a显示可滚动用户界面元素705，而不指示输入将指向或正指向可滚动用户界面元素705。类似地，电子设备101b还显示可滚动用户界面元素705，而不指示输入将指向或正指向可滚动用户界面元素705。
在一些实施方案中，当用户的手部709处于非活动状态时，电子设备101a显示用户的注视701a在用户界面元素705上的指示。例如，电子设备101a任选地以与电子设备101a响应于检测到用户的就绪状态而更新可滚动用户界面元素705的方式不同的方式来改变可滚动用户界面元素705的颜色、尺寸和/或定位，这将在下文描述。在一些实施方案中，电子设备101a通过显示视觉指示来指示用户的注视701a在用户界面元素705上，所述显示视觉指示与更新可滚动用户界面元素705的外观分开进行。在一些实施方案中，第二电子设备101b放弃显示第一电子设备101a的用户的注视的指示。在一些实施方案中，第二电子设备101b显示指示以指示第二电子设备101b的用户的注视的位置。
在图7B中，当用户的注视701b指向可滚动用户界面元素705时，第一电子设备101a检测到用户的就绪状态。在一些实施方案中，响应于检测到用户的手部709处于直接就绪状态手部状态(例如，手部状态D)而检测到用户的就绪状态。在一些实施方案中，响应于检测到用户的手部711处于间接就绪状态手部状态(例如，手部状态B)而检测到用户的就绪状态。
在一些实施方案中，当手部709在可滚动用户界面元素705的预先确定的阈值距离(例如，0.5、1、2、3、4、5、10、15、20、30等厘米)内，可滚动用户界面元素705在用户的注意区703内，并且/或者手部709呈指向手部形状(例如，其中一根或多根手指朝向手掌卷曲并且一根或多根手指朝向可滚动用户界面元素705伸出的手部形状)时，第一电子设备101a的用户的手部709处于直接就绪状态。在一些实施方案中，可滚动用户界面元素705不必为了满足的针对直接输入的就绪状态标准而在注意区703中。在一些实施方案中，用户的注视701b不必为了满足针对直接输入的就绪状态标准而指向可滚动用户界面元素705。
在一些实施方案中，当电子设备101a的用户的手部711距可滚动用户界面远705远于预先确定的阈值距离(例如，0.5、1、2、3、4、5、10、15、20、30等厘米)，用户的注视701b指向可滚动用户界面元素705，并且手部711呈预捏合手部形状(例如，拇指在手部上的另一根手指的阈值距离(例如，0.1、0.5、1、2、3等厘米)内而不触摸手部上的另一根手指的手部形状))时，手部711处于间接就绪状态。在一些实施方案中，当可滚动用户界面元素705在用户的注意区703内时，即使注视701b不指向用户界面元素705，也满足针对间接输入的就绪状态标准。在一些实施方案中，电子设备101a消除了确定用户注视701b的位置时的歧义，如下文参考图11A至图12F所述。
在一些实施方案中，满足针对直接就绪状态(例如，用手部709)的标准的手部形状与满足针对间接就绪状态(例如，用手部711)的标准的手部形状相同。例如，指向手部形状和预捏合手部形状两者都满足针对直接和间接就绪状态的标准。在一些实施方案中，满足针对直接就绪状态(例如，用手部709)的标准的手部形状不同于满足针对间接就绪状态(例如，用手部711)的标准的手部形状。例如，直接就绪状态需要指向手部形状，但是间接就绪状态需要预捏合手部形状。
在一些实施方案中，电子设备101a(和/或101b)与一个或多个输入设备(诸如触笔或触控板)进行通信。在一些实施方案中，在具有输入设备的情况下进入就绪状态的标准不同于在没有这些输入设备中的一者的情况下进入就绪状态的标准。例如，针对这些输入设备的就绪状态标准在没有触笔或触控板的情况下不要求检测上文针对直接和间接就绪状态所述的手部形状。例如，当用户正在使用触笔向设备101a和/或101b提供输入时的就绪状态标准要求用户正握持触笔，并且当用户正在使用触控板向设备101a和/或101b提供输入时的就绪状态标准要求用户的手部正搁置在触控板上。
在一些实施方案中，用户的每只手(例如，左手和右手)具有独立关联的就绪状态(例如，在设备101a和/或101b将响应于由每只相应手提供的输入之前，每只手必须独立地满足其就绪状态标准)。在一些实施方案中，针对每只手的就绪状态的标准彼此不同(例如，每只手需要不同的手部形状，仅允许一只手或两只手的间接或直接就绪状态)。在一些实施方案中，每只手的就绪状态的视觉指示是不同的。例如，如果可滚动用户界面元素705的颜色改变以指示设备101a和/或101b检测到就绪状态，则可滚动用户界面元素705的颜色对于右手的就绪状态可以是第一颜色(例如，蓝色)，并且对于左手的就绪状态可以是第二颜色(例如，绿色)。
在一些实施方案中，响应于检测到用户的就绪状态，电子设备101a变为准备好检测由用户(例如，由用户的手部)提供的输入，并且更新可滚动用户界面元素705的显示，以指示进一步输入将指向可滚动用户界面元素705。例如，如图7B所示，在电子设备101a处通过增加可滚动用户界面元素705的边界周围的线的粗细来更新可滚动用户界面元素705。在一些实施方案中，电子设备101a以不同或附加的方式来更新可滚动用户界面元素705的外观，诸如通过改变可滚动用户界面元素705的背景的颜色、在可滚动用户界面元素705周围显示高光、更新可滚动用户界面元素705的尺寸、更新可滚动用户界面元素705在三维环境中的定位(例如，将可滚动用户界面元素705显示为更靠近用户在三维环境中的视点)等。在一些实施方案中，第二电子设备101b不更新可滚动用户界面元素705的外观来指示第一电子设备101a的用户的就绪状态。
在一些实施方案中，电子设备101a响应于检测到就绪状态而更新可滚动用户界面元素705的方式是相同的，而不管就绪状态是直接就绪状态(例如，用手部709)还是间接就绪状态(例如，用手部711)。在一些实施方案中，电子设备101a响应于检测到就绪状态而更新可滚动用户界面元素705的方式是不同的，这取决于就绪状态是直接就绪状态(例如，用手部709)还是间接就绪状态(例如，用手部711)。例如，如果电子设备101a响应于检测到就绪状态而更新可滚动用户界面元素705的颜色，则电子设备101a响应于直接就绪状态(例如，用手部709)而使用第一颜色(例如，蓝色)，并且响应于间接就绪状态(例如，用手711)而使用第二颜色(例如，绿色)。
在一些实施方案中，在检测到对于可滚动用户界面元素705的就绪状态之后，电子设备101a基于用户焦点的指示来更新就绪状态的目标。例如，电子设备101a响应于检测到注视701b的位置从可滚动用户界面元素705移动到可选择选项707而将间接就绪状态(例如，用手部711)指向可选择选项707(例如，并且从可滚动用户界面元素705移除就绪状态)。作为另一示例，电子设备101a响应于检测到手部709从在可滚动用户界面元素705的阈值距离(例如，0.5、1、2、3、4、5、10、15、30等厘米)内移动到可选择选项707的阈值距离内而将直接就绪状态(例如，用手部709)指向可选择选项707(例如，并且从可滚动用户界面元素705移除就绪状态)。
在图7B中，在用户的手部715处于非活动状态(例如，手部状态A)时，设备101b检测到第二电子设备101b的用户将其注视701c指向可选择选项707。因为电子设备101b没有检测到用户的就绪状态，所以电子设备101b放弃更新可选择选项707来指示用户的就绪状态。在一些实施方案中，如上所述，电子设备101b以与电子设备101b更新用户界面元素以指示就绪状态的方式不同的方式来更新可选择选项707的外观，以指示用户的注视701c指向可选择选项707。
在一些实施方案中，当在检测到输入之前检测到就绪状态时，电子设备101a和101b仅响应于输入而执行操作。图7C示出了电子设备101a和101b的用户分别向电子设备101a和101b提供输入。在图7B中，第一电子设备101a检测到用户的就绪状态，而第二电子设备101b中没有检测到就绪状态，如先前所述。因此，在图7C中，第一电子设备101a响应于检测到用户输入而执行操作，而第二电子设备101b放弃响应于检测到用户输入而执行操作。
具体地，在图7C中，第一电子设备101a检测到指向可滚动用户界面元素705的滚动输入。图7C示出了由手部709提供的直接滚动输入和/或由手部711提供的间接滚动输入。直接滚动输入包括在手部709在可滚动用户界面元素705可滚动的方向上移动(例如，竖直运动或水平运动)时，检测到手部709在直接输入阈值(例如，0.05、0.1、0.2、0.3、0.5、1等厘米)内或者在手部709呈指向手部形状(例如，手部状态E)时触摸可滚动用户界面元素705。间接滚动输入包括在检测到用户的注视701b在可滚动用户界面元素705上时，检测到手部711距可滚动用户界面元素705远于直接输入就绪状态阈值(例如，0.5、1、2、3、4、5、10、15、30等厘米)并且/或者远于直接输入阈值(例如，0.05、0.1、0.2、0.3、0.5、1等厘米)，检测到手部711呈捏合(pinch)手部形状(例如，拇指触摸手部711上的另一根手指的手部形状，手部状态C)以及手部711在可滚动用户界面元素705可滚动的方向上的移动(例如，竖直运动或水平运动)。
在一些实施方案中，电子设备101a为了检测到滚动输入而要求可滚动用户界面元素705在用户的注意区703内。在一些实施方案中，电子设备101a不为了检测到滚动输入而要求可滚动用户界面元素705在用户的注意区703内。在一些实施方案中，电子设备101a为了检测到滚动输入而要求用户的注视701b指向可滚动用户界面元素705。在一些实施方案中，电子设备101a不为了检测到滚动输入而要求用户的注视701b指向可滚动用户界面元素705。在一些实施方案中，对于间接滚动输入但不是对于直接滚动输入，电子设备101a要求用户的注视701b指向可滚动用户界面元素705。
响应于检测到滚动输入，第一电子设备101a根据手部709或手部711的移动来滚动可滚动用户界面元素705中的内容，如图7C所示。在一些实施方案中，第一电子设备101a向第二电子设备101b传输滚动的指示(例如，经由服务器)，并且作为响应，第二电子设备101b以与第一电子设备101a滚动可滚动用户界面元素705的方式相同的方式滚动可滚动用户界面元素705。例如，三维环境中的可滚动用户界面元素705现在已被滚动，因此显示包括可滚动用户界面元素705的三维环境的视点的电子设备(例如，包括除了检测到用于滚动可滚动用户界面元素705的输入的那些电子设备之外的电子设备)反映用户界面元素的滚动状态。在一些实施方案中，如果在检测到图7C所示的输入之前未检测到图7B所示的用户的就绪状态，则电子设备101a和101b将放弃响应于图7C所示的输入而滚动可滚动用户界面元素705。
因此，在一些实施方案中，用户输入的结果在第一电子设备101a与第二电子设备101b之间同步。例如，如果第二电子设备101b将检测对可选择选项707的选择，则第一电子设备101a和第二电子设备101b两者将在检测到选择输入时更新可选择选项707的外观(例如，颜色、样式、尺寸、定位等)并且根据该选择来执行操作。
因此，因为电子设备101a在检测到图7C中的输入之前检测到图7B中的用户的就绪状态，所以电子设备101a响应于该输入而滚动可滚动用户界面705。在一些实施方案中，电子设备101a和101b放弃响应于在没有首先检测到就绪状态的情况下检测到的输入而执行动作。
例如，在图7C中，第二电子设备101b的用户利用手部715提供指向可选择选项707的间接选择输入。在一些实施方案中，检测到选择输入包括检测到在用户的注视701c指向可选择选项707的同时用户的手部715做出捏合手势(例如，手部状态C)。因为第二电子设备101b在检测到图7C中的输入之前未检测到就绪状态(例如，在图7B中)，所以第二电子设备101b放弃选择选项707并且放弃根据对选项707的选择来执行动作。在一些实施方案中，尽管第二电子设备101b检测到与图7C中的第一电子设备101a相同的输入(例如，间接输入)，但是第二电子设备101b不响应于该输入而执行操作，因为在检测到该输入之前未检测到就绪状态。在一些实施方案中，如果第二电子设备101b已经在没有首先检测到就绪状态的情况下检测到直接输入，则第二电子设备101b也将放弃响应于直接输入而执行动作，因为在检测到该输入之前未检测到就绪状态。
图8A至图8K是示出根据一些实施方案的响应于用户输入根据该用户输入之前是否检测到用户的就绪状态而执行或不执行操作的方法800的流程图。在一些实施方案中，方法800在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法800在与显示生成部件和一个或多个输入设备通信的电子设备101a或101b(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图7A中，电子设备101a经由显示生成部件显示(802a)包括用户界面元素(例如，705)的用户界面。在一些实施方案中，用户界面元素是交互式用户界面元素，并且响应于检测到指向用户界面元素的输入，电子设备执行与该用户界面元素相关联的动作。例如，用户界面元素是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，用户界面元素是在其中显示用户界面/内容的容器(例如，窗口)，并且响应于检测到对用户界面元素的选择以及随后的移动输入，电子设备根据移动输入来更新用户界面元素的定位。在一些实施方案中，用户界面和/或用户界面元素在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，用户界面是三维环境并且/或者在三维环境内显示)。
在一些实施方案中，诸如在图7C中，在显示用户界面元素(例如，705)时，电子设备101a经由该一个或多个输入设备检测(802b)到来自电子设备101a的用户的预定义部分(例如，709)(例如，手部、手臂、头部、眼睛等)的输入。在一些实施方案中，检测到输入包括经由手部跟踪设备检测到用户任选地在用户的注视指向用户界面元素的同时利用其手部执行预先确定的手势。在一些实施方案中，预先确定的手势是在看向用户界面元素的同时的捏合手势，该捏合手势包括将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)。在一些实施方案中，输入是与用户界面元素的直接或间接交互，诸如参考方法1000、1200、1400、1600、1800和/或2000所述。
在一些实施方案中，响应于检测到来自电子设备的用户的预定义部分的输入(802c)，根据确定在检测到该输入之前用户的预定义部分(例如，709)的位姿(例如，定位、取向、手部形状)满足一个或多个标准，电子设备根据来自电子设备101a的用户的预定义部分(例如，709)的输入来执行(802d)相应操作，诸如在图7C中。在一些实施方案中，用户的物理特征的位姿是用户的手部的取向和/或形状。例如，如果电子设备检测到用户的手部取向成用户的手掌背对用户的躯干，同时呈用户的拇指在拇指的手部上的另一根手指(例如，食指、中指、无名指、小指)的阈值距离(例如，0.5、1、2等厘米)内的预捏合手部形状，则位姿满足该一个或多个标准。作为另一示例，当手部呈其中一根或多根手指伸出且一根或多根其他手指朝向用户的手掌卷曲的指向手部形状时，满足该一个或多个标准。在检测到位姿之后由用户的手部进行的输入任选地被识别为指向用户界面元素，并且设备任选地根据由手部进行的该后续输入来执行相应操作。在一些实施方案中，相应操作包括滚动用户界面、选择选项、激活设置或导航到新用户界面。在一些实施方案中，响应于检测到包括选择以及随后在检测到预先确定位姿之后用户的该部分的移动的输入，电子设备滚动用户界面。例如，电子设备检测到指向用户界面的用户注视，同时首先检测到指向手部形状，随后检测到用户的手部远离用户的躯干且在用户界面可滚动的方向上的移动，电子设备响应于输入序列而滚动用户界面。作为另一示例，响应于检测到用户对激活电子设备的设置的选项的注视，同时检测到预捏合手部形状以及随后的捏合手部形状，电子设备激活电子设备上的设置。
在一些实施方案中，诸如在图7C中，响应于检测到来自电子设备101b的用户的预定义部分(例如，715)的输入(802c)，根据确定在检测到输入之前用户的预定义部分(例如，715)的位姿不满足该一个或多个标准，诸如在图7B中，电子设备101b放弃(802e)根据来自电子设备101b的用户的预定义部分(例如，715)的输入来执行相应操作，诸如在图7C中。在一些实施方案中，即使位姿满足该一个或多个标准，电子设备也响应于检测到在检测到位姿和输入时用户的注视未指向用户界面元素而放弃执行相应操作。在一些实施方案中，根据确定在检测到位姿和输入时用户的注视指向用户界面元素，电子设备根据该输入来执行相应操作。
上述根据在检测到输入之前用户的预定义部分的位姿是否满足一个或多个标准而执行或不执行第一操作的方式提供了减少意外用户输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误以及通过减少电子设备执行非预期且随后将颠倒的操作的可能性而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，在用户的预定义部分(例如，709)的位姿不满足该一个或多个标准(例如，在检测到来自用户的预定义部分的输入之前)时，电子设备101a以具有第一值的视觉特性(例如，尺寸、颜色、定位、半透明度)显示(804a)用户界面元素(例如，705)，并且以具有第二值的视觉特性(例如，尺寸、颜色、定位、半透明度)显示包括在用户界面中的第二用户界面元素(例如，707)。在一些实施方案中，以具有第一值的视觉特性显示用户界面元素并且以具有第二值的视觉特性显示第二用户界面元素指示输入焦点既不指向用户界面元素也不指向第二用户界面元素并且/或者电子设备将不将来自用户的预定义部分的输入指向用户界面元素或第二用户界面元素。
在一些实施方案中，诸如在图7B中，在用户的预定义部分(例如，709)的位姿满足该一个或多个标准时，电子设备101a更新(804b)输入焦点所指向的用户界面元素(例如，705)的视觉特性，包括(例如，在检测到来自用户的预定义部分的输入之前)：根据确定输入焦点指向用户界面元素(例如，705)，电子设备101a将用户界面元素(例如，705)更新(804c)为以具有第三值的视觉特性(例如，尺寸、颜色、半透明度)来显示(例如，第三值不同于第一值，同时维持以具有第二值的视觉特性显示第二用户界面元素)。在一些实施方案中，根据确定用户的注视指向用户界面元素，将输入焦点指向用户界面元素，任选地包括根据方法1200的消歧技术。在一些实施方案中，根据确定用户的预定义部分在用户界面元素的阈值距离(例如，0.5、1、2、3、4、5、10、30、50等厘米)(例如，用于直接输入的阈值距离)内，将输入焦点指向用户界面元素。例如，在用户的预定义部分满足该一个或多个标准之前，电子设备以第一颜色显示用户界面元素，并且响应于检测到用户的预定义部分满足该一个或多个标准并且输入焦点指向用户界面元素，电子设备以与第一颜色不同的第二颜色显示用户界面元素，以指示来自用户的预定义部分的输入将指向用户界面元素。
在一些实施方案中，在用户的预定义部分(例如，705)的位姿满足该一个或多个标准时，诸如在图7B中，电子设备101a更新(804b)输入焦点所指向的用户界面元素的视觉特性(例如，以电子设备101a更新图7B中的用户界面元素705的方式)，包括(例如，在检测到来自用户的预定义部分的输入之前)：根据确定输入焦点指向第二用户界面元素，电子设备101a将第二用户界面元素更新(804d)为以具有第四值的视觉特性来显示(例如，如果用户界面元素707具有输入焦点而不是如图7B中的情况那样用户界面元素705具有输入焦点，则更新图7B中的用户界面元素707的外观)(例如，第四值不同于第二值，同时维持以具有第一值的视觉特性显示用户界面元素)。在一些实施方案中，根据确定用户的注视指向第二用户界面元素，将输入焦点指向第二用户界面元素，任选地包括根据方法1200的消歧技术。在一些实施方案中，根据确定用户的预定义部分在第二用户界面元素的阈值距离(例如，0.5、1、2、3、4、5、10、50等厘米)(例如，用于直接输入的阈值距离)内，将输入焦点指向第二用户界面元素。例如，在用户的预定义部分满足该一个或多个标准之前，电子设备以第一颜色显示第二用户界面元素，并且响应于检测到用户的预定义部分满足该一个或多个标准并且输入焦点指向第二用户界面元素，电子设备以与第一颜色不同的第二颜色显示第二用户界面元素，以指示输入将指向用户界面元素。
上述响应于检测到用户的预定义部分满足该一个或多个标准而更新输入焦点所指向的用户界面元素的视觉特性的方式提供了向用户指示输入将指向哪个用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，根据确定用户的预定义部分(例如，709)在与用户界面元素(例如，705)对应的位置的阈值距离(例如，0.5、1、2、3、4、5、10、50等厘米)内(例如，并且不在第二用户界面元素的阈值距离内)，将输入焦点指向该用户界面元素(例如，705)(806a)。在一些实施方案中，阈值距离与直接输入相关联，诸如参考方法800、1000、1200、1400、1600、1800和/或2000所述。例如，响应于检测到用户的呈指向手部形状的手部的手指在用户界面元素的阈值距离内，将输入焦点指向该用户界面元素。
在一些实施方案中，根据确定用户的预定义部分(例如，709)在第二用户界面元素的阈值距离(例如，0.5、1、2、3、4、5、10、50等厘米)内(例如，并且不在用户界面元素的阈值距离内；诸如，如果在图7B中用户的手部709在用户界面元素707而不是用户界面元素705的阈值距离内)，将输入焦点指向图7B中的第二用户界面元素(例如，707)(806b)。在一些实施方案中，阈值距离与直接输入相关联，诸如参考方法800、1000、1200、1400、1600、1800和/或2000所述。例如，响应于检测到用户的呈指向手部形状的手部的手指在第二用户界面元素的阈值距离内，将输入焦点指向第二用户界面元素。
上述基于用户的预定义部分在哪个用户界面元素的阈值距离内来引导输入焦点的指向的方式提供了当使用用户的预定义部分来提供输入时引导用户输入的指向的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，根据确定用户的注视(例如，701b)指向用户界面元素(例如，705)(例如，并且用户的预定义部分不在用户界面元素和/或任何交互式用户界面元素的阈值距离内)，将输入焦点指向用户界面元素(例如，705)(808a)。在一些实施方案中，确定用户的注视指向用户界面元素包括根据方法1200的一个或多个消歧技术。例如，电子设备响应于检测到指向用户界面元素的用户的注视而将输入焦点指向用户界面元素以进行间接输入。
在一些实施方案中，根据确定用户的注视指向第二用户界面元素(例如，707)(例如，并且用户的预定义部分不在第二用户界面元素和/或任何可交互式用户界面元素的阈值距离内)，将输入焦点指向图7B中的第二用户界面元素(例如，707)(808b)。例如，如果用户的注视指向图7B中的用户界面元素707而不是用户界面元素705，则输入焦点将指向用户界面元素707。在一些实施方案中，确定用户的注视指向第二用户界面元素包括根据方法1200的一个或多个消歧技术。例如，电子设备响应于检测到指向第二用户界面元素的用户的注视而将输入焦点指向第二用户界面元素以进行间接输入。
上述将输入焦点指向用户所看向的用户界面的方式提供了在用户没有附加输入设备(例如，除了眼睛跟踪设备和手部跟踪设备之外的输入设备)的情况下引导用户输入的指向的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，更新输入焦点所指向的用户界面元素(例如，705)的视觉特性包括(810a)：根据确定用户的预定义部分(例如，709)距与用户界面元素(例如，705)对应的位置小于阈值距离(例如，1、2、3、4、5、10、15、30等厘米)，根据确定用户的预定义部分(例如，709)的位姿满足第一组一个或多个标准(例如，与直接输入相关联，诸如参考方法800、1000、1200、1400、1600、1800和/或2000所述)而更新输入焦点所指向的用户界面元素(例如，705)的视觉特性(810b)，诸如在图7B中(并且任选地，根据确定用户的预定义部分的位姿不满足第一组一个或多个标准而不更新输入焦点所指向的用户界面元素的视觉特性)。例如，当用户的手部在用户界面元素的直接输入阈值距离内时，第一组一个或多个标准包括检测到指向手部形状(例如，其中手指从原本闭合的手部伸出的形状)。
在一些实施方案中，诸如在图7B中，更新输入焦点所指向的用户界面元素(例如，705)的视觉特性包括(810a)：根据确定用户的预定义部分(例如，711)距与用户界面元素(例如，705)对应的位置大于阈值距离(例如，1、2、3、4、5、10、15、30等厘米)，根据确定用户的预定义部分(例如，711)的位姿满足与第一组一个或多个标准不同的第二组一个或多个标准(例如，与间接输入相关联，诸如参考方法800、1000、1200、1400、1600、1800和/或2000所述)而更新输入焦点所指向的用户界面元素(例如，705)的视觉特性(810c)，诸如在图7B中(并且任选地，根据确定用户的预定义部分的位姿不满足第二组一个或多个标准而不更新输入焦点所指向的用户界面元素的视觉特性)。例如，在用户的手部距用户界面元素大于直接输入阈值时，第二组一个或多个标准包括检测到预捏合手部形状而不是检测到指向手部形状。在一些实施方案中，满足该一个或多个第一标准的手部形状不同于满足该一个或多个第二标准的手部形状。在一些实施方案中，当用户的预定义部分距与用户界面元素对应的位置大于阈值距离并且用户的预定义部分的位姿满足第一组一个或多个标准而不满足第二组一个或多个标准时，不满足该一个或多个标准。在一些实施方案中，当用户的预定义部分距与用户界面元素对应的位置小于阈值距离并且用户的预定义部分的位姿满足第二组一个或多个标准而不满足第一组一个或多个标准时，不满足该一个或多个标准。
上述根据用户的预定义部分是否在与用户界面元素对应的位置的阈值距离内而使用不同标准来评估用户的预定义部分的方式提供了与用户界面元素交互的针对输入是直接输入还是间接输入而定制的高效且直观的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，用户的预定义部分(例如，709)的位姿满足该一个或多个标准包括(812a)：根据确定用户的预定义部分(例如，709)距与用户界面元素(例如，705)对应的位置小于阈值距离(例如，1、2、3、4、5、10、15、30等厘米)，用户的预定义部分(例如，709)的位姿满足第一组一个或多个标准(812b)(例如，与直接输入相关联，诸如参考方法800、1000、1200、1400、1600、1800和/或2000所述)。例如，在用户的手部在用户界面元素的直接输入阈值距离内时，第一组一个或多个标准包括检测到指向手部形状(例如，其中手指从原本闭合的手部伸出的形状)。
在一些实施方案中，诸如在图7B中，用户的预定义部分(例如，711)的位姿满足该一个或多个标准包括(812a)：根据确定用户的预定义部分(例如，711)距与用户界面元素(例如，705)对应的位置大于阈值距离(例如，1、2、3、4、5、10、15、30等厘米)，用户的预定义部分(例如，711)的位姿满足与第一组一个或多个标准不同的第二组一个或多个标准(812c)(例如，与间接输入相关联，诸如参考方法800、1000、1200、1400、1600、1800和/或2000所述)。例如，在用户的手部距用户界面元素大于直接输入阈值时，第二组一个或多个标准包括检测到预捏合手部形状。在一些实施方案中，满足该一个或多个第一标准的手部形状不同于满足该一个或多个第二标准的手部形状。在一些实施方案中，当用户的预定义部分距与用户界面元素对应的位置大于阈值距离并且用户的预定义部分的位姿满足第一组一个或多个标准而不满足第二组一个或多个标准时，不满足该一个或多个标准。在一些实施方案中，当用户的预定义部分距与用户界面元素对应的位置小于阈值距离并且用户的预定义部分的位姿满足第二组一个或多个标准而不满足第一组一个或多个标准时，不满足该一个或多个标准。
上述根据用户的预定义部分是否在与用户界面元素对应的位置的阈值距离内而使用不同标准来评估用户的预定义部分的方式提供了与用户界面元素交互的针对输入是直接输入还是间接输入而定制的高效且直观的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，用户的预定义部分的位姿满足该一个或多个标准包括(814a)：根据确定用户的预定义部分正握持该一个或多个输入设备中的输入设备(例如，触笔、遥控器、触控板)(例如，或与该输入设备交互或触摸该输入设备)，用户的预定义部分的位姿满足第一组一个或多个标准(814b)(例如，如果图7B中的用户的手部709正握持输入设备)。在一些实施方案中，用户的预定义部分是用户的手部。在一些实施方案中，当用户在三维环境的预定义区域内和/或以相对于用户界面元素和/或相对于用户的躯干的预定义取向将触笔或控制器握持在其手部中时，满足第一组一个或多个标准。在一些实施方案中，当用户在三维环境的预定义区域内以相对于用户界面元素和/或相对于用户的躯干的预定义取向握持遥控器时并且/或者在用户的拇指的手指头正搁置在遥控器的相应部件(例如，按钮、触控板、触摸板等)上时，满足第一组一个或多个标准。在一些实施方案中，当用户正握持触控板或与触控板交互并且用户的预定义部分与触控板的触敏表面接触(例如，不像做出选择那样按压触控板)时，满足第一组一个或多个标准。
在一些实施方案中，诸如在图7B中，用户的预定义部分(例如，709)的位姿满足该一个或多个标准包括(814a)：根据确定用户的预定义部分(例如，709)未握持输入设备，用户的预定义部分(例如，709)的位姿满足第二组一个或多个标准(814c)(例如，不同于第一组一个或多个标准)。在一些实施方案中，在电子设备的用户不握持、触摸输入设备或与输入设备交互时，当用户的位姿为预定义位姿(例如，包括预捏合手部形状或指向手部形状的位姿)时满足第二组一个或多个标准，诸如先前所述而不是将触笔或控制器握持在其手部中。在一些实施方案中，当用户的预定义部分正握持输入设备并且满足第二组一个或多个标准且不满足第一组一个或多个标准时，用户的预定义部分的位姿不满足该一个或多个标准。在一些实施方案中，当用户的预定义部分未握持输入设备并且满足第一组一个或多个标准且不满足第二组一个或多个标准时，用户的预定义部分的位姿不满足该一个或多个标准。
上述根据取决于用户是否正握持输入设备的不同标准来评估用户的预定义部分的方式提供了在接受使用输入设备的输入与不使用输入设备(例如，除了眼睛跟踪设备和/或手部跟踪设备之外的输入设备)的输入之间切换的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，用户的预定义部分(例如，709)的位姿满足该一个或多个标准包括(816a)：根据确定用户的预定义部分(例如，709)距与用户界面元素(例如，705)对应的位置小于阈值距离(例如，0.5、1、2、3、4、5、10、15、30、50等厘米，对应于直接输入)，用户的预定义部分(例如，709)的位姿满足第一组一个或多个标准(816b)。例如，在用户的手部在用户界面元素的直接输入阈值距离内时，第一组一个或多个标准包括检测到指向手部形状和/或预捏合手部形状。
在一些实施方案中，诸如在图7B中，用户的预定义部分(例如，711)的位姿满足该一个或多个标准包括(816a)：根据确定用户的预定义部分(例如，711)距与用户界面元素(例如，705)对应的位置大于阈值距离(例如，0.5、1、2、3、4、5、10、15、30、50等厘米，对应于间接输入)，用户的预定义部分(例如，711)的位姿满足第一组一个或多个标准(816c)。例如，在用户的手部大于来自用户界面元素的直接输入阈值时，第二组一个或多个标准包括检测到与用于满足该一个或多个标准的手部形状相同的预捏合手部形状和/或指向手部形状。在一些实施方案中，满足该一个或多个第一标准的手部形状是相同的，而不管手部的预定义部分是大于还是小于距与用户界面元素对应的位置的阈值距离。
上述不管用户的预定义部分与和用户界面元素对应的位置之间的距离如何都对照第一组一个或多个标准来评估用户的预定义部分的位姿的方式提供了检测利用用户的预定义部分提供的用户输入的高效且一致的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，根据确定用户的预定义部分(例如，711)在相应输入期间距与用户界面元素(例如，705)对应的位置大于阈值距离(例如，0.5、1、2、3、4、5、10、15、30、50等厘米，对应于间接输入)(例如，输入是间接输入)，该一个或多个标准包括当用户的注意力指向用户界面元素(例如，705)时满足的标准(818a)(例如，并且当用户的注意力不指向用户界面元素时不满足该标准)(例如，用户的注视在用户界面元素的阈值距离内，用户界面元素在用户的注意区内等，诸如参考方法1000所述)。在一些实施方案中，电子设备基于用户的注意力来确定间接输入指向哪个用户界面元素，因此不可能在不将用户注意力指向相应用户界面元素的情况下向相应用户界面元素提供间接输入。
在一些实施方案中，诸如在图7C中，根据确定用户的预定义部分(例如，709)在相应输入期间距与用户界面元素(例如，705)对应的位置小于阈值距离(例如，0.5、1、2、3、4、5、10、15、30、50等厘米，对应于间接输入)(例如，输入是直接输入)，该一个或多个标准不包括为了满足该一个或多个标准而将用户的注意力指向用户界面元素(例如，709)的要求(818b)(例如，有可能在没有将用户的注意力指向用户界面元素的情况下满足该一个或多个标准)。在一些实施方案中，电子设备基于用户的预定义部分相对于用户界面中的用户界面元素的位置来确定直接输入的目标，并且将输入指向最靠近用户的预定义部分的用户界面元素，而不管用户的注意力是否指向所述用户界面元素。
上述在用户的预定义部分距用户界面元素大于阈值距离时要求用户的注意力满足该一个或多个标准并且在用户的预定义部分距用户界面元素小于阈值距离时不要求用户的注意力满足该一个或多个标准的方式提供了使得用户能够在提供直接输入的同时看向用户界面元素的其他部分的高效方式，因此节省了使用电子设备时的用户时间并且减少了在提供间接输入时的用户错误，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的注视(例如，701a)指向用户界面的第一区域(例如，703)，诸如在图7A中，电子设备101a经由显示生成部件相对于用户界面的第一区域(例如，705)在视觉上弱化(820a)用户界面的第二区域(例如，模糊、淡化、暗化第二区域和/或对其降低饱和度)。在一些实施方案中，电子设备修改用户界面的第二区域的显示和/或修改用户界面的第一区域的显示，以实现用户界面的第二区域相对于用户界面的第一区域的视觉弱化。
在一些实施方案中，诸如在图7B中，响应于检测到用户的注视701c指向用户界面的第二区域(例如，702)，电子设备101b经由显示生成部件相对于用户界面的第二区域(例如，702)在视觉上弱化(820b)用户界面的第一区域(例如，模糊、淡化、暗化第一区域和/或对其降低饱和度)。在一些实施方案中，电子设备修改用户界面的第一区域的显示和/或修改用户界面的第二区域的显示，以实现用户界面的第一区域相对于用户界面的第二区域的视觉弱化。在一些实施方案中，用户界面的第一区域和/或第二区域包括当用户界面的区域被弱化时被弱化的一个或多个虚拟对象(例如，应用程序用户界面、内容项、其他用户的表示、文件、控件元素等)和/或一个或多个物理对象(例如，包括真实对象的照片真实感表示的透传视频、其中真实对象的视图透过显示生成部件的透明部分可见的真实透传)。
上述在视觉上弱化除了用户的注视所指向的区域之外的区域的方式提供了减少在用户查看用户界面的相应区域时的视觉杂乱的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A中，用户界面可由电子设备101a和第二电子设备101b访问(822a)(例如，电子设备和第二电子设备处于通信中(例如，经由有线或无线网络连接))。在一些实施方案中，电子设备和第二电子设备远离彼此定位。在一些实施方案中，电子设备和第二电子设备被并置(例如，在同一房间、建筑物等中)。在一些实施方案中，电子设备和第二电子设备在共存会话中呈现三维环境，在共存会话中，两个设备的用户的表示与三维环境中的唯一位置相关联，并且每个电子设备从相应用户的表示的角度显示三维环境。
在一些实施方案中，诸如在图7B中，根据第二电子设备101b的第二用户的注视701c指向用户界面的第一区域702的指示，电子设备101a放弃(822b)经由显示生成部件相对于用户界面的第一区域在视觉上弱化用户界面的第二区域(例如，模糊、淡化、暗化第二区域和/或对其降低饱和度)。在一些实施方案中，第二电子设备根据确定第二用户的注视指向用户界面的第一区域，在视觉上弱化用户界面的第二区域。在一些实施方案中，根据确定电子设备的用户的注视指向用户界面的第一区域，第二电子设备放弃相对于用户界面的第一区域在视觉上弱化用户界面的第二区域。
在一些实施方案中，诸如在图7B中，根据第二电子设备101a的第二用户的注视指向用户界面的第二区域(例如，703)的指示，电子设备101b放弃(822c)经由显示生成部件相对于用户界面的第二区域在视觉上弱化用户界面的第一区域(例如，模糊、淡化、暗化第一区域和/或对其降低饱和度)。在一些实施方案中，第二电子设备根据确定第二用户的注视指向用户界面的第二区域，在视觉上弱化用户界面的第一区域。在一些实施方案中，根据确定电子设备的用户的注视指向用户界面的第二区域，第二电子设备放弃相对于用户界面的第二区域在视觉上弱化用户界面的第一区域。
上述基于第二电子设备的用户的注视放弃在视觉上弱化用户界面的区域的方式提供了使得用户能够同时看向用户界面的不同区域的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，检测到来自电子设备101a的用户的预定义部分(例如，705)的输入包括经由手部跟踪设备检测到由用户的预定义部分(例如，709)执行的捏合(例如，捏合、夹捏并保持、夹捏并拖动、双捏合、拨动、无速度释放、有速度投掷)手势(824a)。在一些实施方案中，检测到捏合手势包括检测到用户将其拇指朝向该拇指的手部上的另一根手指(例如，食指、中指、无名指、小指)移动和/或将其拇指移动到该另一根手指的预定义距离内。在一些实施方案中，检测到满足该一个或多个标准的位姿包括检测到用户处于就绪状态，诸如其中拇指在另一根手指的阈值距离(例如，1、2、3、4、5等厘米)内的预捏合手部形状。
上述检测包括捏合手势的输入的方式提供了基于手部手势接受用户输入而不要求用户利用其手部物理地触摸和/或操纵输入设备的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更有效，这还通过使用户能够更快速且更有效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，检测到来自电子设备101a的用户的预定义部分(例如，709)的输入包括经由手部跟踪设备检测到由用户(826a)的预定义部分(例如，709)执行的按压(例如，轻击、按压并保持、按压并拖动、轻弹)手势。在一些实施方案中，检测到按压手势包括检测到用户的预定义部分按压与在用户界面中显示的用户界面元素对应的位置(例如，诸如参考方法1400、1600和/或2000所述)，诸如根据方法1800的用户界面元素或虚拟触控板或其他视觉指示。在一些实施方案中，在检测到包括按压手势的输入之前，电子设备检测到满足该一个或多个标准的用户的预定义部分的位姿，包括检测到用户处于就绪状态，诸如用户的手部呈指向手部形状，其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲。在一些实施方案中，按压手势包括在手部呈指向手部形状的同时移动用户的手指、手部或手臂。
上述检测包括按压手势的输入的方式提供了基于手部手势接受用户输入而不要求用户利用其手部物理地触摸和/或操纵输入设备的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更有效，这还通过使用户能够更快速且更有效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，检测到来自电子设备101a的用户的预定义部分(例如，709)的输入包括检测到用户的预定义部分(例如，709)相对于与用户界面元素(例如，705)对应的位置的横向移动(828a)(例如，诸如参考方法1800所述)。在一些实施方案中，横向移动包括具有垂直于用户的预定义部分与和用户界面元素对应的位置之间的直线路径的分量的移动。例如，如果用户界面元素在用户的预定义部分的前面并且用户将用户的预定义部分向左、向右、向上或向下移动，则该移动是横向移动。例如，输入是按压并拖动、捏合并拖动或投掷(具有速度)输入中的一者。
上述检测包括用户的预定义部分相对于用户界面元素的横向移动的方式提供了利用用户的预定义部分向电子设备提供指向性输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，例如在图7A中，在确定在检测到输入之前用户的预定义部分(例如，709)的位姿满足该一个或多个标准(830a)之前，电子设备101a经由眼睛跟踪设备检测(830b)到用户的注视(例如，701a)指向用户界面元素(例如，705)(例如，根据方法1200的一个或多个消歧技术)。
在一些实施方案中，在确定在检测到输入之前用户的预定义部分(例如，709)的位姿满足该一个或多个标准(830a)之前，诸如在图7A中，响应于检测到用户的注视(例如，701a)指向用户界面元素(例如，705)，电子设备101a经由显示生成部件显示(830c)用户的注视(例如，701a)指向用户界面元素(例如，705)的第一指示。在一些实施方案中，第一指示是覆盖在用户界面元素上面或显示在用户界面元素周围的高光。在一些实施方案中，第一指示是用户界面元素的颜色变化或位置变化(例如，朝向用户)。在一些实施方案中，第一指示是被显示为覆盖在用户界面元素上面或被显示在用户界面元素附近的符号或图标。
上述显示用户的注视指向用户界面元素的第一指示的方式提供了向用户传达输入焦点基于用户所看向的位置的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7B中，在检测到来自电子设备101a的用户的预定义部分(例如，709)的输入之前，在检测到输入之前用户的预定义部分(例如，709)的位姿满足该一个或多个标准时(832a)(例如，并且在用户的注视指向用户界面元素时)(例如，根据方法1200的一个或多个消歧技术)，电子设备101a经由显示生成部件显示(832b)在检测到输入之前用户的预定义部分(例如，709)的位姿满足该一个或多个标准的第二指示，诸如在图7B中，其中第一指示不同于第二指示。在一些实施方案中，显示第二指示包括修改用户正看向的用户界面元素的视觉特性(例如，颜色、尺寸、定位、半透明度)。例如，第二指示是电子设备在三维环境中朝向用户移动用户界面元素。在一些实施方案中，第二指示被显示为覆盖在用户正看向的用户界面元素上面或被显示在用户正看向的用户界面元素附近。在一些实施方案中，第二指示是在用户界面中与用户注视所指向的位置无关的位置处显示的图标或图像。
上述显示用户的位姿满足该一个或多个标准的、与用户注视的位置的指示不同的指示的方式提供了向用户指示电子设备已准备好接受来自用户的预定义部分的进一步输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，在显示用户界面元素(例如，705)时，电子设备101a经由该一个或多个输入设备检测(834a)到来自电子设备101a的用户的第二预定义部分(例如，717)(例如，第二手部)的第二输入。
在一些实施方案中，响应于检测到来自电子设备的用户的第二预定义部分(例如，717)的第二输入(834b)，根据确定在检测到第二输入之前用户的第二预定义部分(例如，711)的位姿(例如，定位、取向、手部形状)满足该一个或多个第二标准，诸如在图7B中，电子设备101a根据来自电子设备101a的用户的第二预定义部分(例如，711)的第二输入来执行(834c)第二相应操作。在一些实施方案中，该一个或多个第二标准与该一个或多个标准的不同之处在于用户的不同预定义部分执行位姿，但在其他方面该一个或多个标准与该一个或多个第二标准相同。例如，该一个或多个标准要求用户的右手处于就绪状态，诸如预捏合手部形状或指向手部形状，并且该一个或多个第二标准要求用户的左手处于就绪状态，诸如预捏合手部形状或指向手部形状。在一些实施方案中，该一个或多个标准不同于该一个或多个第二标准。例如，位姿的第一子集满足针对用户的右手的该一个或多个标准，并且位姿的第二不同子集满足针对用户的左手的该一个或多个标准。
在一些实施方案中，诸如在图7C中，响应于检测到来自电子设备101b的用户的第二预定义部分(例如，715)的第二输入(834b)，根据确定在检测到第二输入之前用户的第二预定义部分(例如，721)的位姿不满足该一个或多个第二标准，诸如在图7B中，电子设备放弃(834d)根据来自电子设备101b的用户的第二预定义部分(例如，715)的第二输入来执行第二相应操作，诸如在图7C中。在一些实施方案中，电子设备能够检测来自用户的预定义部分和/或用户的第二预定义部分的输入，用户的预定义部分与用户的第二预定义部分彼此独立。在一些实施方案中，为了根据由用户的左手提供的输入来执行动作，在提供输入之前用户的左手必须具有满足该一个或多个标准的位姿，并且为了根据由用户的右手提供的输入来执行动作，用户的右手必须具有满足第二个一个或多个标准的位姿。在一些实施方案中，响应于检测到满足一个或多个标准的用户的预定义部分的位姿以及随后在用户的第二预定义部分没有首先满足第二一个或多个标准的情况下由用户的第二预定义部分提供的输入，电子设备放弃根据用户的第二预定义部分的输入来执行动作。在一些实施方案中，响应于检测到满足第二一个或多个标准的用户的第二预定义部分的位姿以及随后在用户的预定义部分没有首先满足该一个或多个标准的情况下由用户的预定义部分提供的输入，电子设备放弃根据用户的预定义部分的输入来执行动作。
上述接受来自独立于用户的预定义部分的用户的第二预定义部分的输入的方式提供了增加用户能够向电子设备提供输入的速率的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7A至图7C中，用户界面可由电子设备101a和第二电子设备101b访问(836a)(例如，电子设备和第二电子设备处于通信中(例如，经由有线或无线网络连接))。在一些实施方案中，电子设备和第二电子设备远离彼此定位。在一些实施方案中，电子设备和第二电子设备被并置(例如，在同一房间、建筑物等中)。在一些实施方案中，电子设备和第二电子设备在共存会话中呈现三维环境，在共存会话中，两个设备的用户的表示与三维环境中的唯一位置相关联，并且每个电子设备从相应用户的表示的角度显示三维环境。
在一些实施方案中，诸如在图7A中，在检测到输入之前检测到用户的预定义部分(例如，709)的位姿满足该一个或多个标准之前，电子设备101a以具有第一值的视觉特性(例如，尺寸、颜色、半透明度、定位)显示(836b)用户界面元素(例如，705)。
在一些实施方案中，诸如在图7B中，在检测到输入之前用户的预定义部分(例如，709)的位姿满足该一个或多个标准时，电子设备101a以具有与第一值不同的第二值的视觉特性(例如，尺寸、颜色、半透明度、定位)显示(836c)用户界面元素(例如，705)。在一些实施方案中，电子设备响应于检测到用户的预定义部分的位姿满足该一个或多个标准而更新用户界面元素的视觉外观。在一些实施方案中，电子设备仅更新用户的注意力所指向的用户界面元素的外观(例如，根据用户的注视或根据方法1000的用户的注意区)。在一些实施方案中，第二电子设备响应于用户的预定义部分满足该一个或多个标准而维持以具有第一值的视觉特性显示用户界面元素。
在一些实施方案中，在以具有第一值的视觉特性显示用户界面元素时第二电子设备101b的第二用户的预定义部分的位姿满足该一个或多个标准时(任选地，响应于上述情况的指示)，电子设备101a维持(836d)以具有第一值的视觉特性显示用户界面元素，方式类似于在第一电子设备101a的用户的该部分(例如，709)满足图7B中的该一个或多个标准时电子设备101b维持用户界面元素(例如，705)的显示的方式。在一些实施方案中，响应于检测到第二电子设备的用户的预定义部分的位姿满足该一个或多个标准，第二电子设备将用户界面元素更新为以具有第二值的视觉特性来显示，方式类似于电子设备101a和101b两者响应于图7C中由电子设备101a检测到的输入(例如，经由手部709或711)而滚动用户界面元素(例如，705)的方式。在一些实施方案中，响应于在以具有第一值的视觉特性显示用户界面元素时电子设备的用户的位姿满足该一个或多个标准的指示，第二电子设备维持以具有第一值的视觉特性显示用户界面元素。在一些实施方案中，根据确定电子设备的用户的位姿满足该一个或多个标准并且根据第二电子设备的用户的位姿满足该一个或多个标准的指示，电子设备以具有第三值的视觉特性显示用户界面元素。
上述不跨电子设备同步对用户界面元素的视觉特性的更新方式提供了指示用户界面的用户与其交互的部分而不由于还指示用户界面的其他用户与其交互的部分而引起混淆的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到来自电子设备的用户的预定义部分(例如，709或711)的输入，电子设备101a以具有第三值的视觉特性显示(836a)用户界面元素(例如，705)，诸如在图7C中(例如，第三值不同于第一值和第二值)。在一些实施方案中，响应于输入，电子设备和第二电子设备根据该输入来执行相应操作。
在一些实施方案中，响应于来自第二电子设备的第二用户的预定义部分的输入的指示(例如，在第二电子设备检测到第二电子设备的用户的预定义部分满足该一个或多个标准之后)，电子设备101a以具有第三值的视觉特性显示(836b)用户界面元素，诸如，尽管电子设备101b将以与电子设备101a响应于电子设备101a检测到来自电子设备101a的用户的手部(例如，709或711)的用户输入而显示用户界面元素(例如，705)的方式相同的方式显示用户界面元素(例如，705)。在一些实施方案中，响应于来自第二电子设备的输入，电子设备和第二电子设备根据该输入来执行相应操作。在一些实施方案中，电子设备显示第二电子设备的用户已提供指向用户界面元素的输入的指示，但不呈现用户界面元素的悬停状态的指示。
上述响应于输入而更新用户界面元素而不管检测到输入的设备如何的方式提供了指示由两个设备显示的用户界面元素的当前交互状态的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过清楚地指示其他用户正在与用户界面的哪些部分交互)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命，并且避免了由用户界面元素的交互状态的改变所导致的随后将需要校正的错误。
图9A至图9C示出了根据一些实施方案的电子设备101a基于与用户相关联的注意区来处理用户输入的示例性方式。
图9A示出了电子设备101a经由显示生成部件120显示三维环境。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101a在二维环境或用户界面中利用参考图9A至图9C所述的一种或多种技术。如上参考图1至图6所述，电子设备任选地包括显示生成部件120a(例如，触摸屏)和多个图像传感器314a。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101a交互时电子设备101a能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120a是能够检测到用户的手部的手势和移动的触摸屏。在一些实施方案中，下文所述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
图9A示出了电子设备101a经由显示生成部件120a呈现第一可选择选项903、第二可选择选项905，以及电子设备101a的物理环境中的桌子的表示904(例如，诸如图6B中的桌子604)。在一些实施方案中，桌子的表示904是由显示生成部件120a生成的桌子的照片真实感图像(例如，透传视频或数字透传)。在一些实施方案中，桌子的表示904是透过显示生成部件120a的透明部分的桌子的视图(例如，真实或实际透传)。在一些实施方案中，电子设备101a从与三维环境中的电子设备的用户相关联的视点显示三维环境。
在一些实施方案中，电子设备101a将用户的注意区907限定为三维环境中基于用户的注视901a的锥形体积。例如，注意区907任选地是以由用户的视线901a限定的线(例如，穿过用户注视在三维环境中的位置和与电子设备101a相关联的视点的线)为中心的锥体，该锥体包括与由用户的注视901a限定的线所成的预先确定角度(例如，1、2、3、5、10、15等度)内的三维环境的体积。因此，在一些实施方案中，注意区907的二维面积根据距与电子设备101a相关联的视点的距离而增加。在一些实施方案中，电子设备101a基于用户的注意区来确定输入所指向的用户界面元素以及/或者是否响应输入。
如图9A所示，第一可选择选项903处于用户的注意区907内，并且第二可选择选项905处于用户的注意区之外。如图9A所示，即使用户的注视901a没有指向可选择选项903，可选择选项903也可能处于注意区907中。在一些实施方案中，在用户的注视指向可选择选项903时，可选择选项903可能处于注意区907中。图9A还示出了处于直接输入就绪状态(例如，手部状态D)的用户的手部909。在一些实施方案中，直接输入就绪状态与上文参考图7A至图8K所述的直接输入就绪状态相同或类似。此外，在一些实施方案中，本文所述的直接输入共享参考方法800、1200、1400、1600、1800和/或2000所述的直接输入的一个或多个特性。例如，用户的手部909呈指向手部形状并且在第一可选择选项903的直接就绪状态阈值距离(例如，0.5、1、2、3、5、10、15、30等厘米)内。图9A还示出了处于直接输入就绪状态的用户的手部911。在一些实施方案中，手部911是手部909的替代物。在一些实施方案中，电子设备101a能够同时检测用户的两只手(例如，根据方法1600的一个或多个步骤)。例如，用户的手部911呈指向手部形状并且在第二可选择选项905的就绪状态阈值距离内。
在一些实施方案中，电子设备101a要求用户界面元素处于注意区907内以便接受输入。例如，因为第一可选择选项903处于用户的注意区907内，所以电子设备101a更新第一可选择选项903，以指示进一步输入(例如，来自手部909)将指向第一可选择选项903。作为另一示例，因为第二可选择选项905处于用户的注意区907之外，所以电子设备101a放弃更新第二可选择选项905来指示进一步输入(例如，来自手部911)将指向第二可选择选项905。应当理解，尽管用户的注视901a不指向第一可选择选项903，但是电子设备101a仍然被配置为将输入指向第一可选择选项903，因为第一可选择选项903在注意区907内，该注意区任选地比用户的注视更宽。
在图9B中，电子设备101a检测到用户的手部909做出对第一可选择选项903的直接选择。在一些实施方案中，直接选择包括在手部呈指向手部形状时将手部909移动到触及第一可选择选项903或在第一可选择选项的直接选择阈值(例如，0.1、0.2、0.3、0.5、1、2等厘米)内的位置。如图9B所示，当检测到输入时，第一可选择选项903不再处于用户的注意区907中。在一些实施方案中，因为用户的注视901b移动，所以注意区907移动。在一些实施方案中，在电子设备101a检测到图9A所示的手部909的就绪状态之后，注意区907移动到图9B所示的位置。在一些实施方案中，在就绪状态907移动到图9B所示的位置之前检测到图9B所示的输入。在一些实施方案中，在就绪状态907移动到图9B所示的位置之后检测到图9B所示的输入。尽管第一可选择选项903不再处于用户的注意区907中，但在一些实施方案中，电子设备101a仍响应于输入而更新第一可选择选项903的颜色，因为第一可选择选项903在就绪状态期间处于注意区907中，如图9A所示。在一些实施方案中，除了更新第一可选择选项903的外观之外，电子设备101a还根据对第一可选择选项903的选择来执行动作。例如，电子设备101a执行操作，诸如激活/去激活与选项903相关联的设置、发起与选项903相关联的内容的回放、显示与选项903相关联的用户界面、或与选项903相关联的不同操作。
在一些实施方案中，仅响应于检测到用户的手部909从图9B中可见的第一可选择选项903的一侧移动到触及第一可选择选项903或在第一可选择选项的直接选择阈值内的位置，而检测选择输入。例如，如果用户改为到达第一可选择选项903周围以从图9B中不可见的第一可选择选项903的背面触及第一可选择选项903，则电子设备101a将任选地放弃更新第一可选择选项903的外观和/或放弃根据该选择来执行动作。
在一些实施方案中，除了继续接受在第一可选择选项903处于注意区907中时开始并且在第一可选择选项903不处于注意区907中时继续的按压输入(例如，选择输入)之外，即使当输入继续时用户界面元素不再处于注意区中，电子设备101a也接受在输入所指向的用户界面元素处于注意区中时开始的其他类型的输入。例如，电子设备101a能够继续拖动输入，其中即使拖动输入在用户界面元素处于注意区之外之后继续(例如，并且当用户界面元素处于注意区之内时发起)，电子设备101a也响应于用户输入而更新用户界面元素的定位。作为另一示例，即使滚动输入在用户界面元素处于注意区907之外之后继续(例如，并且在用户界面元素处于注意区之内时发起)，电子设备101a也能够响应于用户输入而继续滚动输入。如图9A所示，在一些实施方案中，如果在检测到就绪状态时用户界面元素处于注意区中，即使输入所指向的用户界面元素对于输入的一部分处于注意区之外，也接受输入。
此外，在一些实施方案中，在检测到用户的注视的移动之后，注意区907的位置保持在三维环境中的相应定位达阈值时间(例如，0.5、1、2、3、5等秒)。例如，在用户的注视901a和注意区907处于图9A所示的位置时，电子设备101a检测到用户的注视901b移动到图9B所示的位置。在该示例中，在响应于用户的注视901b移动到图9B所示的位置而将注意区907移动到图9B中的位置之前，注意区907保持在图9A所示的位置达阈值时间。因此，在一些实施方案中，在用户的注视移动之后发起的、指向原始注意区(例如，图9A中的注意区907)内的用户界面元素的输入任选地由电子设备101a响应，只要那些输入在用户的注视移动到图9B中的位置的阈值时间(例如，0.5、1、2、3、5等秒)内发起即可—在一些实施方案中，电子设备101a不响应于在用户的注视移动到图9B中的位置的阈值时间之后发起的此类输入。
在一些实施方案中，如果用户将其手部远离输入所指向的用户界面元素移动或者在检测到就绪状态之后的阈值时间(例如，1、2、3、5、10等秒)内未提供进一步输入，则电子设备101a取消用户输入。例如，如果在电子设备101a检测到如图9A所示的就绪状态之后用户将把其手部909移动到图9C所示的位置，则电子设备101a将恢复第一可选择选项903的外观以不再指示输入正指向第一可选择选项903并且不再接受来自手部909的指向选项903的直接输入(例如，除非并且直到再次检测到就绪状态)。
如图9C所示，第一可选择选项903仍然在用户的注意区907内。用户的手部909任选地呈与直接就绪状态对应的手部形状(例如，指向手部形状、手部状态D)。因为用户的手部909已经远离第一可选择选项903移动了阈值距离(例如，1、2、3、5、10、15、20、30、50等厘米)和/或移动到距第一可选择选项903的阈值距离(例如，1、2、3、5、10、15、20、30、50等厘米)，所以电子设备101a不再被配置为将输入从手部909指向第一可选择选项903。在一些实施方案中，即使用户将维持图9A所示的手部909的定位，如果在手部被定位且具有如图9A中的形状的阈值时间段(例如，1、2、3、5、10等秒)内未检测到输入，则电子设备101a也将停止将来自手部的进一步输入指向第一用户界面元素903。类似地，在一些实施方案中，如果用户将开始提供附加输入(例如，除了满足就绪状态标准之外—例如，开始向元素903提供按压输入，但尚未达到完成按压/选择输入所需的按压距离阈值)，然后将手部远离第一可选择选项903移动阈值距离和/或将手部移动距第一可选择选项903的阈值距离，则电子设备101a将取消输入。应当了解，如上参考图9B所述，如果在第一可选择选项903处于用户的注意区907中时开始输入，则电子设备101a任选地不响应于检测到用户的注视901b或用户的注意区907远离第一可选择选项903移动而取消输入。
尽管图9A至图9C示出了基于用户的注意区907来确定是否接受指向用户界面元素的直接输入的示例，但是应当理解，电子设备101a能够类似地基于用户的注意区907来确定是否接受指向用户界面元素的间接输入。例如，参考图9A至图9C所示和所述的各种结果也将任选地适用于间接输入(例如，如参考方法800、1200、1400、1800等所述)。在一些实施方案中，接受直接输入不需要注意区，但对于间接输入，需要注意区。
图10A至图10H是示出根据一些实施方案的基于与用户相关联的注意区来处理用户输入的方法1000的流程图。在一些实施方案中，方法1000在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1000在与显示生成部件和一个或多个输入设备通信的电子设备101a(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图9A中，电子设备101a经由显示生成部件120a显示(1002a)第一用户界面元素(例如，903、905)。在一些实施方案中，第一用户界面元素是交互式用户界面元素，并且响应于检测到指向第一用户界面元素的输入，电子设备执行与第一用户界面元素相关联的动作。例如，第一用户界面元素是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，第一用户界面元素是在其中显示用户界面/内容的容器(例如，窗口)，并且响应于检测到对第一用户界面元素的选择以及随后的移动输入，电子设备根据移动输入来更新第一用户界面元素的定位。在一些实施方案中，用户界面和/或用户界面元素在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，用户界面是三维环境并且/或者在三维环境内显示)。
在一些实施方案中，诸如在图9B中，在显示第一用户界面元素(例如，909)时，电子设备101a经由该一个或多个输入设备检测(1002b)到指向第一用户界面元素(例如，909)的第一输入。在一些实施方案中，检测第一用户输入包括经由手部跟踪设备检测到用户执行预先确定手势(例如，其中用户将拇指触摸到与拇指在同一只手上的另一根手指(例如，食指、中指、无名指、小指)的捏合手势)。在一些实施方案中，检测到输入包括检测到用户执行其中一根或多根手指伸出并且一根或多根手指朝向用户的手掌卷曲的指向手势并且以按压或推动运动将其手部远离用户的躯干移动预先确定距离(例如，2、5、10等厘米)。在一些实施方案中，在用户的手部在三维环境中的第一用户界面元素的阈值距离(例如，1、2、3、5、10等厘米)内时，检测到指向手势和推动运动。在一些实施方案中，三维环境包括虚拟对象和用户的表示。在一些实施方案中，三维环境包括用户的手部的表示(其可以是手部的照片真实感表示)、用户的手部的透传视频或透过显示生成部件的透明部分的用户的手部的视图。在一些实施方案中，输入是与用户界面元素的直接或间接交互，诸如参考方法800、1200、1400、1600、1800和/或2000所述。
在一些实施方案中，响应于检测到指向第一用户界面元素(例如，903)的第一输入(1002c)，根据确定第一用户界面元素(例如，903)在与电子设备101a的用户相关联的注意区(例如，907)内，诸如在图9A中(例如，当检测到第一输入时)，电子设备101a执行(1002d)与第一用户界面元素(例如，903)对应的第一操作。在一些实施方案中，注意区包括三维环境的在三维环境中用户注视所指向的位置的预先确定的阈值距离(例如，5、10、30、50、100等厘米)和/或阈值角度(例如，5、10、15、20、30、45等度)内的区域。在一些实施方案中，注意区包括三维环境的在三维环境中用户注视所指向的位置与用户的一个或多个物理特征(例如，用户的手部、手臂、肩部、躯干等)之间的区域。在一些实施方案中，注意区是三维环境的三维区域。例如，注意区是锥形的，锥形的尖端对应于用户的眼睛/视点，锥形的底部对应于用户注视所指向的三维环境的区域。在一些实施方案中，在用户注视指向第一用户界面元素时和/或当第一用户界面元素落入注意区的锥形体积内时，第一用户界面元素在与用户相关联的注意区内。在一些实施方案中，第一操作是以下操作中的一个操作：做出选择、激活电子设备的设置、发起在三维环境内移动虚拟对象的过程、显示当前未显示的新用户界面、播放内容项、保存文件、发起与另一用户的通信(例如，电话呼叫、电子邮件、消息)，以及/或者滚动用户界面。在一些实施方案中，通过检测用户的预定义部分的位姿和/或移动来检测第一输入。例如，电子设备检测到用户将其手指移动到在三维环境中的第一用户界面元素的阈值距离(例如，0.1、0.3、0.5、1、3、5等厘米)内的位置，其中用户的手部/手指处于与手部的食指向外指向而其他手指朝手部卷曲对应的位姿。
在一些实施方案中，诸如在图9A中，响应于检测到指向第一用户界面元素(例如，905)的第一输入(1002c)，根据确定第一用户界面元素(例如，905)不处于与用户相关联的注意区内(例如，当检测到第一输入时)，电子设备101a放弃(1002e)执行第一操作。在一些实施方案中，如果用户注视指向除了第一用户界面元素之外的用户界面元素并且/或者如果第一用户界面元素没有落入注意区的锥形体积内，则第一用户界面元素不处于与用户相关联的注意区内。
上述根据第一用户界面元素是否在与用户相关联的注意区内而执行或不执行第一操作的方式提供了减少意外用户输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，指向第一用户界面元素(例如，903)的第一输入是指向第一用户界面元素(例如，图9C中的903)的间接输入(1004a)。在一些实施方案中，间接输入是在用户的预定义部分(例如，用户的手部、手指、手臂等)距第一用户界面元素大于阈值距离(例如，0.2、1、2、3、5、10、30、50等厘米)时由用户的预定义部分提供的输入。在一些实施方案中，间接输入类似于参考方法800、1200、1400、1600、1800和/或2000所讨论的间接输入。
在一些实施方案中，诸如在图9B中，在显示第一用户界面元素(例如，905)时，电子设备101a经由该一个或多个输入设备检测(1004b)第二输入，其中第二输入对应于指向相应用户界面元素(例如，903)的直接输入。在一些实施方案中，直接输入类似于参考方法800、1200、1400、1600、1800和/或2000所述讨论的直接输入。在一些实施方案中，直接输入是在用户的预定义部分(例如，手部、手指、手臂)距第一用户界面元素小于阈值距离(例如，0.2、1、2、3、5、10、30、50等厘米)时由用户的预定义部分提供的。在一些实施方案中，检测到直接输入包括在检测到手部的就绪状态(例如，其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状)之后检测到用户利用其手部执行预定义手势(例如，按压手势，其中用户将伸出的手指移动到相应用户界面元素的位置，同时其他手指朝向手部的手掌卷曲)。在一些实施方案中，根据方法800的一个或多个步骤来检测就绪状态。
在一些实施方案中，诸如在图9B中，响应于检测到第二输入，电子设备101a执行(1004c)与相应用户界面元素(例如，903)相关联的操作，而不考虑相应用户界面元素是否在与用户相关联的注意区(例如，907)内(例如，因为该输入是直接输入)。在一些实施方案中，如果在用户的注视指向第一用户界面元素时检测到间接输入，则电子设备仅响应于间接输入而执行与第一用户界面元素相关联的操作。在一些实施方案中，电子设备响应于直接输入而执行与用户的注意区中的用户界面元素相关联的操作，而不管当检测到直接输入时用户的注视是否指向用户界面元素。
上述响应于在用户的注视不指向第一用户界面元素时检测到间接输入而放弃执行第二操作的方式提供了减少或阻止执行用户不期望的操作的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，与用户相关联的注意区(例如，907)基于电子设备的用户的注视(例如，901b)的方向(和/或位置)(1006a)。在一些实施方案中，注意区被限定为锥形体积(例如，从用户的视点处的点向外延伸到三维环境中)，该锥形体积包括三维环境中用户正在看向的点以及三维环境中用户正看向的点与在用户的注视的预先确定的阈值角度(例如，5、10、15、20、30、45等度)内的用户之间的位置。在一些实施方案中，作为基于用户注视的补充或替代，注意区基于用户的头部的取向。例如，注意区被限定为包括锥形体积，该锥形体积包括三维环境中在垂直于用户面部的线的预先确定的阈值角度(例如，5、10、15、20、30、45等度)内的位置。作为另一示例，注意区是以从用户的注视延伸的线和垂直于用户的面部的线的平均值为中心的椎体，或者是以用户的注视为中心的椎体和以垂直于用户的面部的线为中心的椎体的并集。
上述将注意区基于用户的注视的取向的方式提供了基于注视来引导用户输入的指向而无需附加输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在第一用户界面元素(例如，903)处于与用户相关联的注意区(例如，907)内时，诸如在图9A中，电子设备101a检测(1008a)到满足用于将注意区(例如，903)移动到第一用户界面元素(例如，903)不处于注意区内的位置的一个或多个标准。在一些实施方案中，注意区基于用户的注视，并且当用户的注视移动到新位置使得第一用户界面元素不再处于注意区中时满足该一个或多个标准。例如，注意区包括用户界面的在沿着用户注视的线的10度内的区域，并且用户注视移动到使得第一用户界面元素与用户注视的线成大于10度的位置。
在一些实施方案中，诸如在图9B中，在检测到满足该一个或多个标准之后(1008b)，电子设备101a检测(1008c)到指向第一用户界面元素(例如，903)的第二输入。在一些实施方案中，第二输入是直接输入，其中用户的手部在第一用户界面元素的阈值距离(例如，0.2、1、2、3、5、10、30、50等厘米)内。
在一些实施方案中，在检测到满足该一个或多个标准之后(1008b)，诸如在图9B中，响应于检测到指向第一用户界面元素(例如，903)的第二输入(1008d)，根据确定第二输入是在该一个或多个标准被满足的相应时间阈值(例如，0.01、0.02、0.05、0.1、0.2、0.3、0.5、1等秒)内检测到的，电子设备101a执行(1008e)与第一用户界面元素(例如，903)对应的第二操作。在一些实施方案中，用户的注意区直到自该一个或多个标准被满足以来已经过去时间阈值(例如，0.01、0.02、0.05、0.1、0.2、0.3、0.5、1等秒)才移动。
在一些实施方案中，在检测到满足该一个或多个标准之后(1008b)，诸如在图9B中，响应于检测到指向第一用户界面元素(例如，903)的第二输入(1008d)，根据确定第二输入是在该一个或多个标准被满足的相应时间阈值(例如，0.01、0.02、0.05、0.1、0.2、0.3、0.5、1等秒)之后检测到的，电子设备101a放弃执行(1008f)第二操作。在一些实施方案中，一旦自用于移动注意区的该一个或多个标准被满足以来已经过去时间阈值(例如，0.01、0.02、0.05、0.1、0.2、0.3、0.5、1等秒)，电子设备就更新与用户相关联的注意区的定位(例如，基于用户的新注视位置)。在一些实施方案中，电子设备在时间阈值内逐渐移动注意区，并且在检测到用户注视移动之后在具有或没有时间延迟的情况下发起移动。在一些实施方案中，电子设备响应于在第一用户界面元素不处于用户的注意区中时检测到的输入而放弃执行第二操作。
上述响应于第二输入、响应于在用于移动注意区的该一个或多个标准被满足的时间阈值内接收到的第二输入而执行第二操作的方式提供了接受用户输入而不要求用户在输入的持续时间内维持其注视以及通过在注意区已经移动之后一旦预先确定的时间阈值已经过去就阻止激活用户界面元素来避免意外输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A至图9B中，第一输入包括第一部分以及随后的第二部分(1010a)。在一些实施方案中，检测到输入的第一部分包括检测到用户的预定义部分的就绪状态，如参考方法800所述。在一些实施方案中，响应于输入的第一部分，电子设备将输入焦点移动到相应用户界面元素。例如，电子设备更新相应用户界面元素的外观，以指示输入焦点指向相应用户界面元素。在一些实施方案中，输入的第二部分是选择输入。例如，输入的第一部分包括检测到用户的手部在做出预定义手部形状(例如，其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状)的同时处于相应用户界面元素的第一阈值距离(例如，3、5、10、15等厘米)内，并且输入的第二部分包括检测到用户的手部在维持指向手部形状的同时处于相应用户界面元素的第二更低阈值距离(例如，触及、0.1、0.3、0.5、1、2等厘米)内。
在一些实施方案中，诸如在图9A中，在检测到第一输入时(1010b)，电子设备101a在第一用户界面元素(例如，903)处于注意区(例如，907)内时检测(1010c)到第一输入的第一部分。
在一些实施方案中，诸如在图9A中，在检测到第一输入时(1010b)，响应于检测到第一输入的第一部分，电子设备101a执行(1010d)与第一用户界面元素(例如，903)对应的第一操作的第一部分。在一些实施方案中，第一操作的第一部分包括将第一用户界面元素识别为具有电子设备的输入焦点并且/或者更新第一用户界面元素的外观以指示输入焦点指向第一用户界面元素。例如，响应于检测到用户在第一用户界面元素的阈值距离(例如，1、2、3、5、10等厘米)内做出预捏合手部形状，电子设备改变第一用户界面元素的颜色，以指示输入焦点指向第一用户界面元素(例如，类似于用户界面元素上方的光标“悬停”)。在一些实施方案中，输入的第一部分包括对用户界面中的可滚动内容的选择以及用户的预定义部分的移动的第一部分。在一些实施方案中，响应于用户的预定义部分的移动的第一部分，电子设备将可滚动内容滚动第一量。
在一些实施方案中，诸如在图9B中，在检测到第一输入时(1010b)，电子设备101a在第一用户界面元素(例如，903)处于注意区之外时检测(1010e)到第一输入的第二部分。在一些实施方案中，在检测到第一输入的第一部分之后并且在检测到第二输入的第二部分之前，电子设备检测到注意区不再包括第一用户界面元素。例如，电子设备检测到用户的注视指向用户界面的一部分使得第一用户界面元素在用户的注意区的距离阈值或角度阈值之外。例如，在注意区不包括第一用户界面元素时，电子设备检测到用户在第一用户界面元素的阈值距离(例如，1、2、3、5、10等厘米)内做出捏合手部形状。在一些实施方案中，第一输入的第二部分包括用户的预定义部分的移动的继续。在一些实施方案中，响应于用户的预定义部分的移动的继续，电子设备继续滚动可滚动内容。在一些实施方案中，在自检测到输入的第一部分以来已经过去阈值时间(例如，在检测到输入的就绪状态之后必须检测到输入以引起如上所述的动作的阈值时间)之后检测到第一输入的第二部分。
在一些实施方案中，诸如在图9B中，在检测到第一输入时(1010b)，响应于检测到第一输入的第二部分，电子设备101a执行(1010f)与第一用户界面元素(例如，903)对应的第一操作的第二部分。在一些实施方案中，第一操作的第二部分是响应于检测到对第一用户界面元素的选择而执行的操作。例如，如果第一用户界面元素是发起内容项的回放的选项，则电子设备响应于检测到第一操作的第二部分而发起内容项的回放。在一些实施方案中，电子设备响应于在自检测到输入的第一部分以来已经过去阈值时间(例如，在检测到输入的就绪状态之后必须检测到输入以引起如上所述的动作的阈值时间)之后检测到第一输入的第二部分而执行操作。
上述响应于在第一用户界面元素处于注意区之外时检测到输入的第二部分而执行第一操作的与第一用户界面元素对应的第二部分的方式提供了即使在输入完成之前注意区远离第一用户界面元素移动也响应于在第一用户界面元素处于注意区中时开始的输入而执行操作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A至图9B中，第一输入对应于按压输入，第一输入的第一部分对应于按压输入的发起，并且第一输入的第二部分对应于按压输入的继续(1012a)。在一些实施方案中，检测到按压输入包括检测到用户利益其手部做出预先确定的形状(例如，其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向形状)。在一些实施方案中，检测到按压输入的发起包括检测到用户在手部或手部的一部分(例如，伸出的手指中的一根手指的尖端)在第一用户界面元素的第一阈值距离(例如，3、5、10、15、30等厘米)内时利用其手部做出预先确定的形状。在一些实施方案中，检测到按压输入的继续包括检测到用户在手部或手部的一部分(例如，伸出的手指中的一根手指的尖端)在第一用户界面元素的第二阈值距离(例如，0.1、0.5、1、2等厘米)内时利用其手部做出预先确定的形状。在一些实施方案中，电子设备响应于在第一用户界面元素处于注意区内时检测到按压输入的发起以及随后按压输入的继续(在第一用户界面元素处于注意区内时或不在此时)而执行与第一用户界面元素对应的第二操作。在一些实施方案中，响应于按压输入的第一部分，电子设备将用户界面元素远离用户推动小于引起根据按压输入的动作所需的全部量。在一些实施方案中，响应于按压输入的第二部分，电子设备继续将用户界面元素推动到引起动作所需的全部量，并且作为响应，根据按压输入来执行动作。
上述响应于在第一用户界面元素处于注意区中时检测到按压输入的模仿以及随后按压输入的继续而执行第二操作的方式提供了利用手部跟踪设备(和任选地眼睛跟踪设备)检测用户输入而不需要附加输入设备的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第一输入对应于拖动输入，第一输入的第一部分对应于拖动输入的发起，并且第一输入的第二部分对应于拖动输入的继续(1014a)。例如，如果用户将在选择图9B中的用户界面元素903时移动手部909，则输入将是拖动输入。在一些实施方案中，拖动输入包括对用户界面元素的选择、移动输入以及拖动输入的结束(例如，选择输入的释放，类似于取消点击鼠标或将手指抬离触摸传感器面板(例如，触控板、触摸屏))。在一些实施方案中，拖动输入的发起包括对拖动输入将指向的用户界面元素的选择。例如，电子设备响应于检测到用户在手部在用户界面元素的阈值距离(例如，1、2、5、10、15、30等厘米)内时做出捏合手部形状而选择用户界面元素。在一些实施方案中，拖动输入的继续包括在维持选择的同时的移动输入。例如，电子设备检测到用户在移动手部的同时维持捏合手部形状，并且根据手部的移动来移动用户界面元素。在一些实施方案中，拖动输入的继续包括拖动输入的结束。例如，电子设备检测到用户停止做出捏合手部形状，诸如通过将拇指远离手指移动。在一些实施方案中，电子设备响应于拖动输入、响应于在第一用户界面元素处于注意区中时检测到对第一用户界面元素的选择以及在第一用户界面元素处于注意区中时或不在此时检测到移动输入和/或拖动输入的结束而执行操作(例如，移动第一用户界面元素、滚动第一用户界面元素等)。在一些实施方案中，输入的第一部分包括对用户界面元素的选择和用户的预定义部分的移动的一部分。在一些实施方案中，响应于输入的第一部分，电子设备根据输入的第一部分中电子设备的预定义部分的移动量来将用户界面元素移动第一量。在一些实施方案中，输入的第二部分包括用户的预定义部分的继续移动。在一些实施方案中，响应于输入的第二部分，电子设备根据用户输入的第二部分中用户的预定义部分的移动而继续将用户界面元素移动一定量。
上述响应于在第一用户界面元素处于注意区中时检测到拖动输入的发起以及在第一用户界面元素不处于注意区中时检测到拖动输入的继续而执行操作的方式提供了即使在拖动输入完成之前注意区远离第一用户界面元素移动也响应于在第一用户界面元素处于注意区中时开始的拖动输入而执行操作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A至图9B中，第一输入对应于选择输入，第一输入的第一部分对应于选择输入的发起，并且第一输入的第二部分对应于选择输入的继续(1016a)。在一些实施方案中，选择输入包括检测到输入焦点指向第一用户界面元素、检测到选择第一用户界面元素的请求的发起以及检测到选择第一用户界面元素的请求的结束。在一些实施方案中，响应于根据方法800检测到处于就绪状态的用户的手部指向第一用户界面元素，电子设备将输入焦点指向第一用户界面元素。在一些实施方案中，将输入焦点指向第一用户界面元素的请求类似于光标悬停。例如，在手部在第一用户界面元素的阈值距离(例如，1、2、3、5、10、15、30等厘米)内时，电子设备检测到用户做出指向手部形状。在一些实施方案中，选择第一用户界面元素的请求的发起包括检测到类似于对鼠标的点击或对传感器面板的向下触及的选择输入。例如，在手部在第一用户界面元素的第二阈值距离(例如，0.1、0.2、0.3、0.5、1等厘米)内时，电子设备检测到用户维持指向手部形状。在一些实施方案中，选择用户界面元素的请求的结束类似于取消点击鼠标或从触摸传感器面板抬离。例如，电子设备检测到用户将其手部远离第一用户界面元素移动至少第二阈值距离(例如，0.1、0.2、0.3、0.5、1等厘米)。在一些实施方案中，电子设备响应于在第一用户界面元素处于注意区中时检测到输入焦点指向第一用户界面元素以及在第一用户界面元素处于注意区中或不在此时检测到选择第一用户界面元素的请求的发起和结束而执行选择操作。
上述响应于在第一用户界面元素处于注意区中时检测到选择输入的模仿而不管在第一用户界面元素处于注意区中时是否检测到选择输入的继续而执行操作的方式提供了即使在选择输入完成之前注意区远离第一用户界面元素移动也响应于在第一用户界面元素处于注意区中时开始的选择输入而执行操作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，检测到第一输入的第一部分包括检测到用户的预定义部分(例如，909)具有相应位姿(例如，包括其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状的手部形状，诸如参考方法800所述的就绪状态)并且在与第一用户界面元素(例如，903)对应的位置的相应距离(例如，1、2、3、5、10、15、30等厘米)内，而没有检测到用户的预定义部分(例如，909)的移动，并且检测到第一输入的第二部分包括检测到用户的预定义部分(例如，909)的移动，诸如在图9B中(1018a)。在一些实施方案中，检测到用户的预定义部分具有相应位姿并且在第一用户界面元素的相应距离内包括根据方法800的一个或多个步骤检测到就绪状态。在一些实施方案中，用户的预定义部分的移动包括从相应位姿到与对用户界面元素的选择相关联的第二位姿的移动，以及/或者从相应距离到与对用户界面元素的选择相关联的第二距离的移动。例如，在第一用户界面元素的相应距离内做出指向手部形状是第一输入的第一部分，并且在将手部移动到距第一用户界面元素第二距离(例如，在0.1、0.2、0.3、0.5、1等厘米内)的同时维持指向手部形状是第一输入的第二部分。作为另一示例，做出其中手部的拇指在手部上的另一根手指的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)内的预捏合手部形状是第一输入的第一部分，并且检测到手部从预捏合形状到其中拇指正触摸另一根手指的捏合形状的移动是第一输入的第二部分。在一些实施方案中，电子设备检测到手部在输入的第二部分之后的进一步移动，诸如手部的与拖动或滚动第一用户界面元素的请求对应的移动。在一些实施方案中，电子设备响应于在第一用户界面元素处于与用户相关联的注意区中时检测到用户的预定义部分在第一用户界面元素的相应距离内时具有相应位姿以及随后在第一用户界面元素处于注意区中或不在此时检测到用户的预定义部分的移动而执行操作。
上述响应于在第一用户界面元素处于注意区中时检测到用户的预定义部分在第一用户界面元素的相应距离内的相应位姿以及随后在第一用户界面元素处于注意区中时或不在此时检测到用户的预定义部分的移动而执行操作的方式提供了即使在输入完成之前注意区远离第一用户界面元素移动也响应于在第一用户界面元素处于注意区中时开始的输入而执行操作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，第一输入由用户的预定义部分(例如，909)(例如，用户的手指、手部、手臂或头部)提供，并且检测到第一输入包括检测到用户的预定义部分(例如，909)在与第一用户界面元素(例如903)对应的位置的距离阈值(例如，1、2、3、5、10、15、30等厘米)内(1020a)。
在一些实施方案中，诸如在图9C中，在检测到指向第一用户界面元素(例如，903)的第一输入时并且在执行第一操作之前，电子设备101a经由该一个或多个输入设备检测(1020b)到用户的预定义部分(例如，909)移动到距与第一用户界面元素(例如，903)对应的位置大于距离阈值的距离。
在一些实施方案中，诸如在图9C中，响应于检测到预定义部分(例如，909)移动到距与第一用户界面元素(例如，903)对应的位置大于距离阈值的距离，电子设备101a放弃(1020c)执行与第一用户界面元素(例如，903)对应的第一操作。在一些实施方案中，响应于检测到用户开始提供指向第一用户界面元素的输入，然后在完成输入之前将用户的预定义部分远离与用户界面元素对应的位置移动超过阈值距离，电子设备放弃执行与指向第一用户界面元素的输入对应的第一操作。在一些实施方案中，即使在用户的预定义部分在与第一用户界面元素对应的位置的距离阈值内时，用户已经执行了第一输入的一个或多个部分，而没有执行全部第一输入，电子设备也响应于用户将用户的预定义部分远离与第一用户界面元素对应的位置移动至少距离阈值而放弃执行第一操作。例如，选择输入包括检测到用户做出预捏合手部形状(例如，拇指在阈值(例如，0.1、0.2、0.5、1、2、3等厘米)内的手部形状，随后捏合手部形状(例如，拇指触摸手指)，随后手部捏合形状的结束(例如，拇指不再触摸手指，拇指距手指至少0.1、0.2、0.5、1、2、3等厘米))。在此示例中，即使当检测到预捏合手部形状和/或捏合手部形状时手部在阈值距离内，如果在手部距与第一用户界面元素对应的位置大于阈值距离(例如，1、2、3、5、10、15、30等厘米)时检测到捏合手势的结束，电子设备也放弃执行第一操作。
上述响应于检测到用户的预定义部分到大于阈值距离的距离的移动而放弃执行第一操作的方式提供了在已经提供第一输入的部分之后取消第一操作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，第一输入由用户的预定义部分(例如，909)(例如，用户的手指、手部、手臂或头部)提供，并且检测到第一输入包括检测到用户的预定义部分(例如，909)相对于与第一用户界面元素(例如，903)对应的位置处于相应空间关系(1022a)(例如，检测到用户的预定义部分在第一用户界面元素的预先确定的阈值距离(例如，1、2、3、5、10、15、20、30等厘米)内，相对于用户界面元素具有预先确定的取向或位姿)。在一些实施方案中，根据方法800的一个或多个步骤，相对于与第一用户界面对应的位置的相应空间关系是用户的该部分处于就绪状态。
在一些实施方案中，在用户的预定义部分(例如，909)在第一输入期间且在执行第一操作之前相对于与第一用户界面元素(例如，903)对应的位置处于相应空间关系时，诸如在图9A中，电子设备101a经由该一个或多个输入设备检测(1022b)到用户的预定义部分(例如，909)没有在获得相对于与第一用户界面元素(例如，903)对应的位置的相应空间关系的相应时间阈值(例如，1、2、3、5等秒)内与第一用户界面元素(例如，903)互动(例如，提供指向第一用户界面元素的附加输入)。在一些实施方案中，电子设备根据方法800的一个或多个步骤检测到用户的预定义部分的就绪状态而没有在时间阈值内检测到进一步输入。例如，电子设备在手部在第一用户界面元素的预先确定的阈值距离(例如，1、2、3、5、10、15、20、30等厘米)内时检测到用户的手部呈预捏合手部形状(例如，拇指在拇指的手部上的另一根手指的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)内)，而没有在预先确定的时间段内检测到捏合手部形状(例如，拇指和手指正在触摸)。
在一些实施方案中，响应于检测到用户的预定义部分(例如，909)没有在获得相对于与第一用户界面元素(例如，903)对应的位置的相应空间关系的相应时间阈值内与第一用户界面元素(例如，903)互动，电子设备101a放弃(1022c)执行与第一用户界面元素(例如，903)对应的第一操作，诸如在图9C中。在一些实施方案中，响应于在相应时间阈值已经过去之后检测到用户的预定义部分与第一用户界面元素互动，电子设备放弃执行与第一用户界面元素对应的第一操作。例如，响应于检测到在手部在第一用户界面元素的预先确定的阈值距离(例如，1、2、3、5、10、15、20、30等)内时检测到用户的手部呈预捏合手部形状(例如，拇指在拇指的手部上的另一根手指的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)内)与检测到捏合手部形状(例如，拇指和手指正在触摸)之间过去了预先确定的时间阈值，即使在预先确定的阈值时间已经过去之后检测到捏合手部形状，电子设备也放弃执行第一操作。在一些实施方案中，响应于检测到用户的预定义部分相对于与用户界面元素对应的位置处于相应空间关系，电子设备更新用户界面元素的外观(例如，更新用户界面元素的颜色、尺寸、半透明度、定位等)。在一些实施方案中，在相应时间阈值之后，在没有检测到来自用户的预定义部分的进一步输入的情况下，电子设备恢复用户界面元素的已更新外观。
上述响应于检测到时间阈值过去而用户的预定义部分没有与第一用户界面元素互动而放弃第一操作的方式提供了取消执行第一操作的请求的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在用户的注视指向第一用户界面元素时检测到第一输入的第一部分(例如，诸如，如果图9A中的注视901a指向用户界面元素903)，并且在用户的注视(例如，901b)不指向第一用户界面元素(例如，903)时检测到第一输入的第一部分之后的第一输入的第二部分(1024a)，诸如在图9B中。在一些实施方案中，响应于在用户的注视指向第一用户界面元素时检测到第一输入的第一部分，随后在用户的注视不指向第一用户界面元素时检测到第一输入的第二部分，电子设备执行与第一用户界面元素相关联的动作。在一些实施方案中，响应于在第一用户界面元素处于注意区中时检测到第一输入的第一部分，随后在第一用户界面元素不处于注意区中时检测到第一输入的第二部分，电子设备执行与第一用户界面元素相关联的动作。
上述响应于在用户的注视指向第一用户界面元素时检测到第一输入的第一部分、随后在用户的注视不指向第一用户界面元素时检测到第一输入的第二部分而执行操作的方式提供了允许用户从第一用户界面元素移开视线而不取消第一输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9B中，第一输入是通过用户的预定义部分(例如，909)(例如，手指、手部、手臂等)从相对于第一用户界面元素(例如，903)的预定义角度范围内移动到与第一用户界面元素(例如，903)对应的位置来提供的(1026a)(例如，第一用户界面对象是可从多个角度访问的三维虚拟对象)。例如，第一用户界面对象是包括呈现内容的面部的虚拟视频播放器，并且通过将用户的手部移动到第一用户界面对象、在触摸第一用户界面对象的任何其他面部之前触摸第一用户界面对象的呈现内容的面部来提供第一输入。
在一些实施方案中，电子设备101a经由该一个或多个输入设备检测(1026b)到指向第一用户界面元素(例如，903)的第二输入，其中第二输入包括用户的预定义部分(例如，909)从相对于第一用户界面元素(例如，903)的预定义角度范围之外移动到与第一用户界面元素(例如，903)对应的位置，诸如，如果图9B中的手部(例如，909)将从与图9B中可见的用户界面元素(例如，903)的侧面相对的用户界面元素(例如，903)的侧面接近用户界面元素(例如，903)。例如，电子设备检测到用户的手部触摸虚拟视频播放器的除了呈现内容的面部之外的面部(例如，触摸虚拟视频播放器的“背后”面部)。
在一些实施方案中，响应于检测到第二输入，电子设备101a放弃(1026c)根据第二输入与第一用户界面元素(例如，903)交互。例如，如果图9B中的手部(例如，909)将从与图9B中可见的用户界面元素(例如，903)的侧面相对的用户界面元素(例如，903)的侧面接近用户界面元素(例如，903)，则电子设备101a将放弃执行对图9B所示的用户界面元素(例如，903)的选择。在一些实施方案中，如果用户的预定义部分已经从预定义角度范围内移动到与第一用户界面元素对应的位置，则电子设备将与第一用户界面元素交互。例如，响应于检测到用户的手部触摸虚拟视频播放器的呈现内容的面部，通过将手部移动通过虚拟视频播放器的除了呈现内容的面部之外的面部，电子设备放弃执行与用户在虚拟视频播放器的呈现内容的面部上触摸的视频播放器的区域对应的动作。
上述响应于在预定义角度范围之外提供的输入而放弃与第一用户界面元素交互的方式提供了防止由于用户无意中从预定义角度范围之外的角度触摸第一用户界面元素引起的意外输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图9A中，响应于检测到第一输入而没有检测到用户的注视(例如，901a)指向第一用户界面元素(例如，903)而执行第一操作(1028a)。在一些实施方案中，注意区包括用户的注视所指向的三维环境的区域加上在用户的注视的预定义距离或角度内的三维环境的附加区域。在一些实施方案中，在第一用户界面元素处于注意区(比用户的注视更宽)内时，即使用户的注视不指向第一用户界面元素并且即使用户的注视在用户输入时从未指向第一用户界面元素，电子设备也响应于指向第一用户界面元素的输入而执行动作。在一些实施方案中，间接输入要求用户的注视指向输入所指向的用户界面元素，并且直接输入不要求用户的注视指向输入所指向的用户界面元素。
上述响应于在用户的注视不指向第一用户界面元素时指向第一用户界面元素的输入而执行操作的方式提供了允许用户在提供指向第一用户界面元素的输入时看向用户界面的除了第一用户界面元素之外的区域的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图11A至图11C示出了根据一些实施方案的电子设备如何增强与三维环境中相对于用户的注视处于不同距离和/或角度的用户界面元素的交互的示例。
图11A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境1101。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101在二维环境或用户界面中利用参考图11A至图11C所述的一种或多种技术。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图11A所示，三维环境1101包括：两个用户界面对象1103a和1103b，其位于三维环境1101的距与电子设备101的用户相关联的三维环境1101的视点第一距离的区域内；两个用户界面对象1105a和1105b，其位于三维环境1101的距与电子设备101的用户相关联的三维环境1101的视点第二距离(大于第一距离)的区域内；两个用户界面对象1107a和1107b，其位于三维环境1101的距与电子设备101的用户相关联的三维环境1101的视点第三距离(大于第二距离)的区域内；和用户界面对象1109。在一些实施方案中，三维环境包括电子设备101的物理环境中的桌子的表示604(例如，诸如参考图6B所述)。在一些实施方案中，桌子的表示604是由显示生成部件120显示的桌子的照片真实感视频图像(例如，视频或数字透传)。在一些实施方案中，桌子的表示604是透过显示生成部件120的透明部分的桌子的视图(例如，真实或物理透传)。
图11A至图11C示出了基于用户的注视在三维环境中的同时或替代位置由用户的手部提供的同时或替代输入。具体地，在一些实施方案中，电子设备101根据用户界面对象距与用户相关联的三维环境的视点的距离而将来自电子设备101的用户的手部的间接输入(例如，如参考方法800所述)指向不同用户界面对象。例如，在一些实施方案中，当来自用户的手部的间接输入指向相对靠近三维环境1101中的用户的视点的用户界面对象时，电子设备101任选地将检测到的间接输入指向用户的注视所指向的用户界面对象，因为在相对靠近的距离处，设备101任选地能够相对准确地确定用户的注视指向的两个(或更多个)用户界面对象中的哪个用户界面对象，这任选地用于确定间接输入应当指向的用户界面对象。
在图11A中，用户界面对象1103a和1103b相对靠近三维环境1101中的用户的视点(例如，距三维环境中的用户的视点小于第一阈值距离，诸如1、2、5、10、20、50英尺)(例如，对象1103a和1103b位于三维环境1101的相对靠近用户的视点的区域内)。因此，由于当检测到由手部1113a提供的间接输入时，用户的注视1111a指向用户界面对象1103a，所以由设备101检测到的、由手部1113a提供的间接输入指向用户界面对象1103a(例如，而不是用户界面对象1103b)，如图中的复选标记所指示的。相反，在图11B中，当检测到手部1113a提供的间接输入时，用户的注视1111d指向用户界面对象1103b。因此，设备101将来自手部1113a的该间接输入指向用户界面对象1103b(例如，而不是用户界面对象1103a)，如图中的复选标记所指示的。
在一些实施方案中，当一个或多个用户界面对象相对远离三维环境1101中的用户的视点时，设备101任选地防止间接输入指向此类一个或多个用户界面对象和/或在视觉上弱化此类一个或多个用户界面对象，因为在相对远的距离处，设备101任选地不能够相对准确地确定用户的注视是否指向一个或多个用户界面对象。例如，在图11A中，用户界面对象1107a和1107b相对远离三维环境1101中的用户的视点(例如，距三维环境中的用户的视点大于第二阈值距离、大于第一阈值距离，诸如10、20、30、50、100、200英尺)(例如，对象1107a和1107b位于三维环境1101的相对远离用户的视点的区域内)。因此，在用户的注视1111c(例如，表面上)指向用户界面对象1107b(或1107a)时由设备101检测到的由手部1113c提供的间接输入被设备101忽略，并且不指向用户界面对象1107b(或1107a)，如图中未示出复选标记所反映的。在一些实施方案中，设备101附加地或另选地在视觉上弱化用户界面对象1107a和1107b(例如，使其变灰)，以指示用户界面对象1107a和1107b不可用于间接交互。
在一些实施方案中，当一个或多个用户界面对象与电子设备101的用户的注视所成角度大于阈值角度时，设备101任选地阻止间接输入指向此类一个或多个用户界面对象和/或在视觉上弱化此类一个或多个用户界面对象，以例如阻止与此类偏离角度的一个或多个用户界面对象的意外交互。例如，在图11A中，用户界面对象1109任选地与用户的注视1111a、1111b和/或1111c所成角度大于阈值角度(例如，10、20、30、45、90、120等度)。因此，设备101任选地在视觉上弱化用户界面对象1109(例如，使其变灰)，以指示用户界面对象1109不可用于间接交互。
然而，在一些实施方案中，当来自用户的手部的间接输入指向适度远离三维环境1101中的用户的视点的用户界面对象时，电子设备101任选地基于除了用户的注视之外的标准将检测到的间接输入指向用户界面对象，因为在适度距离处，设备101任选地能够相对准确地确定用户的注视指向两个或更多个用户界面对象的集合，但任选地不能相对准确地确定注视指向两个或更多用户界面对象的那些集合中的哪个用户界面对象。在一些实施方案中，如果用户的注视指向未与其他用户界面对象一起定位的适度远离的用户界面对象(例如，距任何其他可交互用户界面对象大于阈值距离，诸如1、2、5、10、20英尺)，则设备101任选地将间接输入指向该用户界面对象，而不执行本文中且参考方法1200所述的各种消歧技术。此外，在一些实施方案中，电子设备101针对位于三维环境中由用户的注视限定的区域(例如，体积和/或表面或平面)内的用户界面对象(例如，用户的注视限定该体积和/或表面或平面的中心)而不针对不位于该区域内的用户界面对象(例如，不管其距用户的视点的距离如何)执行本文中且参考方法1200所述的各种消歧技术。在一些实施方案中，区域的尺寸基于区域和/或其所包含的用户界面对象距三维环境中的用户的视点的距离(例如，在三维环境的适度远离区域内)而变化。例如，在一些实施方案中，区域的尺寸随着区域更远离视点而减小(并且随着区域更靠近视点而增大)，并且在一些实施方案中，区域的尺寸随着区域更远离视点而增大(并且随着区域更靠近视点而减小)。
在图11A中，用户界面对象1105a和1105b适度远离三维环境1101中的用户的视点(例如，距三维环境中的用户的视点大于第一阈值距离且小于第二阈值距离)(例如，对象1105a和1105b位于三维环境1101的适度远离用户的视点的区域内)。在图11A中，(例如，设备101检测到)当设备101检测到来自手部1113b的间接输入时，注视1111b指向用户界面对象1105a。因为用户界面对象1105a和1105b适度远离用户的视点，所以设备101基于除了用户的注视1111b之外的特性来确定用户界面对象1105a和1105b中的哪个用户界面对象将接收输入。例如，在图11A中，因为用户界面对象1105b更靠近三维环境1101中的用户的视点，所以设备101将来自手部1113b的输入指向用户界面对象1105b，如图中的复选标记所指示的(例如，而将其不指向用户的注视1111b所指向的用户界面对象1105a)。在图11B中，当检测到来自手部1113b的输入时，用户的注视1111e指向用户界面对象1105b(而不是图11A中的用户界面对象1105a)，并且设备101仍然将来自手部1113b的间接输入指向用户界面对象1105b，如图中的复选标记所指示的，任选地不是因为用户的注视1111e指向用户界面对象1105b，而是因为用户界面对象1105b比用户界面对象1105a更靠近三维环境中的用户的视点。
在一些实施方案中，使用作为距离的补充或替代的标准来确定将间接输入指向哪个用户界面对象(例如，当那些用户界面对象适度远离用户的视点时)。例如，在一些实施方案中，设备101基于用户界面对象中的哪个用户界面对象是应用程序用户界面对象或系统用户界面对象来将间接输入指向用户界面对象中的一个用户界面对象。例如，在一些实施方案中，设备101支持系统用户界面对象，并且将来自图11C中的手部1113b的间接输入指向用户界面对象1105c，如由复选标记所指示的，因为该用户界面对象是系统用户界面对象并且用户界面对象1105d(用户的注视1111f指向该用户界面对象)是应用程序用户界面对象。在一些实施方案中，设备101支持应用程序用户界面对象，并且将把来自图11C中的手部1113b的间接输入指向用户界面对象1105d，因为该用户界面对象是应用程序用户界面对象并且用户界面对象1105c是系统用户界面对象(例如，而不是因为用户的注视1111f指向用户界面对象1105d)。附加地或另选地，在一些实施方案中，与用户界面对象相关联的软件、应用程序和/或操作系统限定用户界面对象的选择优先级，使得如果选择优先级给予一个用户界面对象比另一用户界面对象更高的优先级，则设备101将输入指向该一个用户界面对象(例如，用户界面对象1105c)，并且如果选择优先级给予另一用户界面对象比该一个用户界面对象更高的优先级，则设备101将输入指向另一用户界面对象(例如，用户界面对象1105d)。
图12A至图12F是示出根据一些实施方案的增强与三维环境中相对于用户的注视处于不同距离和/或角度的用户界面元素的交互的方法1200的流程图。在一些实施方案中，方法1200在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1200通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，通过与显示生成部件和一个或多个输入设备(包括眼睛跟踪设备)通信的电子设备执行方法1200。例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手部运动传感器)等。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，电子设备经由显示生成部件显示(1202a)包括第一区域的用户界面，该第一区域包括第一用户界面对象和第二用户界面对象，诸如图11A中的对象1105a和1105b。在一些实施方案中，第一用户界面对象和/或第二用户界面对象是交互式用户界面对象，并且响应于检测到指向给定对象的输入，电子设备执行与用户界面对象相关联的动作。例如，用户界面对象是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，用户界面对象是在其中显示用户界面/内容的容器(例如，窗口)，并且响应于检测到对用户界面对象的选择以及随后的移动输入，电子设备根据移动输入来更新用户界面对象的定位。在一些实施方案中，第一用户界面对象和第二用户界面对象在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，用户界面是三维环境并且/或者在三维环境内显示)。在一些实施方案中，第一区域以及因此第一用户界面对象和第二用户界面对象远离与用户/电子设备在三维环境中的位置对应的位置(例如，远离该位置，诸如距该位置大于2、5、10、15、20英尺的阈值距离)和/或在三维环境中的用户的视点。
在一些实施方案中，在显示用户界面时并且在经由眼睛跟踪设备检测到用户的注视指向用户界面的第一区域时，诸如图11A中的注视1111b(例如，用户的注视与第一区域、第一用户界面对象和/或第二用户界面对象相交，或者用户的注视在与第一区域、第一用户界面对象和/或第二用户界面对象相交的阈值距离(诸如，1、2、5、10英尺)内。在一些实施方案中，第一区域、第一用户界面对象和/或第二用户界面对象足够远离用户/电子设备的定位，使得电子设备不能确定用户的注视指向第一用户界面对象或第二用户界面对象中的哪个用户界面对象，并且/或者仅能够确定用户的注视指向用户界面的第一区域)，电子设备经由该一个或多个输入设备检测(1202b)到由用户的预定义部分提供的相应输入，诸如来自图11A中的手部1113b的输入(例如，通过用户的手部的手指(诸如食指)指向第一区域和/或朝向第一区域移动，任选地其中移动大于阈值移动(例如，0.5、1、3、5、10cm)和/或速度大于阈值速度(例如，0.5、1、3、5、10cm/s)，或者通过手部的拇指与该手部的另一根手指捏合在一起来执行的手势)。在一些实施方案中，在相应输入期间，用户的预定义部分的位置远离与用户界面的第一区域对应的位置(例如，用户的预定义部分在整个相应输入期间保持距第一区域、第一用户界面对象和/或第二用户界面对象大于2、5、10、15、20英尺的阈值距离。相应输入任选地是由用户的预定义部分提供的输入并且/或者是与用户界面对象的交互，诸如参考方法800、1000、1600、1800和/或2000所述。
在一些实施方案中，响应于检测到相应输入(1202c)，根据确定满足一个或多个第一标准(例如，第一用户界面对象比第二用户界面对象更靠近三维环境中的用户的视点，第一用户界面对象是系统用户界面对象(例如，电子设备的操作系统的用户界面对象，而不是电子设备上的应用程序的用户界面对象)，并且第二用户界面对象是应用程序用户界面对象(例如，电子设备上的应用程序的用户界面对象，而不是电子设备的操作系统的用户界面对象)，等等。在一些实施方案中，基于用户的注视而不满足该一个或多个第一标准(例如，是否满足该一个或多个第一标准与用户的注视指向用户界面的第一区域中的什么位置无关))，电子设备基于相应输入相对于第一用户界面对象执行(1202d)操作，诸如相对于图11A中的用户界面对象1105b(例如，并且不基于相应输入相对于第二用户界面对象执行操作)。例如，选择第一用户界面对象以进行进一步交互(例如，不选择第二用户界面对象以进行进一步交互)，将第一用户界面对象转变到选定状态以使得进一步输入将与第一用户界面对象交互(例如，不将第二用户界面对象转变到选定状态)，选择第一用户界面对象作为按钮(例如，不选择第二用户界面对象作为按钮)，等等。
在一些实施方案中，根据确定满足与第一标准不同的一个或多个第二标准(例如，第二用户界面对象比第一用户界面对象更靠近三维环境中的用户的视点，第二用户界面对象是系统用户界面对象(例如，电子设备的操作系统的用户界面对象，而不是电子设备上的应用程序的用户界面对象)，并且第一用户界面对象是应用程序用户界面对象(例如，电子设备上的应用程序的用户界面对象，而不是电子设备的操作系统的用户界面对象)，等等。在一些实施方案中，基于用户的注视而不满足该一个或多个第二标准(例如，是否满足该一个或多个第二标准与用户的注视指向用户界面的第一区域中的什么位置无关))，电子设备基于相应输入相对于第二用户界面对象执行(1202e)操作，诸如相对于图11C中的用户界面对象1105c(例如，并且不基于相应输入相对于第一用户界面对象执行操作)。例如，选择第二用户界面对象以进行进一步交互(例如，不选择第一用户界面对象以进行进一步交互)，将第二用户界面对象转变到选定状态以使得进一步输入将与第二用户界面对象交互(例如，不将第一用户界面对象转变到选定状态)，将第二用户界面对象选择作为按钮(例如，不选择第一用户界面对象作为按钮)，等等。上述对特定输入指向哪个用户界面对象进行消歧的方式提供了当可能存在关于给定输入指向哪个用户界面对象的不确定性时有利于与用户界面对象的交互，而不需要进一步的用户输入来将给定用户界面对象指定为给定输入的目标的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不要求用于进一步指定的附加用户输入)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，用户界面包括三维环境(1204a)，诸如环境1101(例如，第一区域是位于三维环境中与电子设备相关联的三维环境的视点所位于的某个x、y、z坐标处的相应体积和/或表面。在一些实施方案中，第一用户界面对象和第二用户界面对象定位在相应体积和/或表面内)，并且第一区域在三维环境中与和电子设备相关联的视点相距相应距离(1204b)(例如，第一区域处于三维环境中相对于三维环境中的视点的位置有一定距离、角度、定位等的位置)。在一些实施方案中，根据确定相应距离是第一距离(例如，1英尺、2英尺、5英尺、10英尺、50英尺)，第一区域在三维环境中具有第一尺寸(1204c)，并且根据确定相应距离是与第一距离不同的第二距离(例如，10英尺、20英尺、50英尺、100英尺、500英尺)，第一区域在三维环境中具有与第一尺寸不同的第二尺寸(1204d)。例如，其中电子设备基于该一个或多个第一标准或第二标准(例如，并且不基于用户的注视指向第一用户界面对象或第二用户界面对象)发起相对于区域内的第一用户界面对象和第二用户界面对象的操作的区域的尺寸基于该区域距与电子设备相关联的视点的距离而改变。在一些实施方案中，区域的尺寸随着感兴趣区域远离视点而减小，并且在一些实施方案中，区域的尺寸随着感兴趣区域远离视点而增大。例如，在图11A中，如果对象1105a和1105比图11A中所示的更远离用户的视点，则包括对象1105a和1105b并且在其中执行本文中所述的基于标准的消歧的区域将是不同的(例如，更大)，并且如果对象1105a和1105比图11A中所示的更接近用户的视点，则包括对象1105a和1105b并且在其中执行本文中所述的基于标准的消歧的区域将是不同的(例如，更小)。上述根据区域距与电子设备相关联的视点的距离而相对于不同尺寸的区域进行操作的方式提供了确保设备相对于具有潜在不确定性的输入的操作准确地对应于该具有潜在不确定性的输入，而不需要进一步用户输入来手动改变感兴趣区域的尺寸的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命并且减少了设备的错误操作。
在一些实施方案中，第一区域在三维环境中的尺寸随着相应距离增大而增大(1206a)，诸如参考图11A至图11C所述。例如，当感兴趣区域更远离与电子设备相关联的视点时，其中电子设备基于该一个或多个第一标准或第二标准(例如，并且不基于用户的注视指向第一用户界面对象或第二用户界面对象)发起相对于区域内的第一用户界面对象和第二用户界面对象的操作的区域的尺寸增大，这任选地对应于在潜在相关的用户界面对象更远离与电子设备相关联的视点时确定用户的注视指向什么位置的不确定性(例如，两个用户界面对象距视点越远，确定用户的注视是指向两个用户界面对象中的第一用户界面对象还是第二用户界面对象可能越困难，因此电子设备任选地基于该一个或多个第一标准或第二标准相对于这两个用户界面对象来进行操作)。上述相对于随着区域更远离与电子设备相关联的视点而增大尺寸的区域进行操作的方式提供了避免在那些对象更远离与电子设备相关联的视点时设备对指向对象的基于注视的输入的错误响应的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命并且减少了设备的错误操作。
在一些实施方案中，当第一对象比第二对象(诸如图11A中的用户界面对象1105b)更靠近三维环境中的用户的视点时，满足该一个或多个第一标准，并且当第二对象比第一对象更靠近三维环境中的用户的视点时(诸如，如果图11A中用户界面对象1105a比用户界面对象1105b更靠近)，满足该一个或多个第二标准(1208a)。例如，根据确定第一用户界面对象比第二用户界面对象更靠近三维环境中与电子设备相关联的视点，满足该一个或多个第一标准并且不满足该一个或多个第二标准，并且根据确定第二用户界面对象比第一用户界面对象更靠近三维环境中的视点，满足该一个或多个第二标准并且不满足该一个或多个第一标准。因此，在一些实施方案中，第一区域中最靠近视点的任何一个用户界面对象是设备将输入指向的用户界面对象(例如，与用户的注视是否指向第一区域中的另一用户界面对象无关)。上述基于用户界面对象距与电子设备相关联的视点的距离来将输入指向这些用户界面对象的方式提供了选择用户界面对象以用于输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命并且减少了设备的错误操作。
在一些实施方案中，基于第一用户界面对象的类型(例如，电子设备的操作系统的用户界面对象，或应用程序的用户界面对象而不是电子设备的操作系统的用户界面对象)和第二用户界面对象的类型(例如，电子设备的操作系统的用户界面对象，或应用程序的用户界面对象而不是电子设备的操作系统的用户界面对象)而满足该一个或多个第一标准或满足该一个或多个第二标准(1210a)。例如，根据确定第一用户界面对象是系统用户界面对象并且第二用户界面对象不是系统用户界面对象(例如，是应用程序用户界面对象)，满足该一个或多个第一标准并且不满足该一个或多个第二标准，并且根据确定第二用户界面对象是系统用户界面对象并且第一用户界面对象不是系统用户界面对象(例如，是应用程序用户界面对象)，满足该一个或多个第二标准并且不满足该一个或多个第一标准。因此，在一些实施方案中，第一区域中为系统用户界面对象的任何一个用户界面对象是设备将输入指向的用户界面对象(例如，与用户的注视是否指向第一区域中的另一用户界面对象无关)。例如，在图11A中，如果用户界面对象1105b是系统用户界面对象，并且用户界面对象1105a是应用程序用户界面对象，则设备101可将图11A的输入指向对象1105b而不是对象1105a(例如，即使对象1105b比对象1105a更远离用户的视点)。上述基于用户界面对象的类型来将输入指向这些用户界面对象的方式提供了选择用户界面对象以用于输入的高效且可预测的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命并且减少了设备的错误操作。
在一些实施方案中，基于由电子设备(例如，由电子设备的软件，诸如电子设备的应用程序或操作系统)为第一用户界面对象和第二用户界面对象限定的相应优先级而满足该一个或多个第一标准或满足该一个或多个第二标准(1212a)。例如，在一些实施方案中，与第一用户界面对象和第二用户界面对象相关联的应用程序和/或操作系统限定第一用户界面对象和第二用户界面对象的选择优先级，使得如果选择优先级给予第一用户界面对象比第二用户界面对象更高的优先级，则设备将输入指向第一用户界面对象(例如，与用户的注视是否指向第一区域中的另一用户界面对象无关)，并且如果选择优先级给予第二用户界面对象比第一用户界面对象更高的优先级，则设备将输入指向第二用户界面对象(例如，与用户的注视是否指向第一区域中的另一用户界面对象无关)。例如，在图11A中，如果用户界面对象1105b被指派更高选择优先级(例如，由设备101的软件)并且用户界面对象1105a被指派更低选择优先级，则设备101可将图11A的输入指向对象1105b而不是对象1105a(例如，即使对象1105b比对象1105a更远离用户的视点)。在一些实施方案中，第一用户界面对象和第二用户界面对象的相对选择优先级基于相应用户界面对象当前正在显示什么而随时间改变(例如，当前正在显示视频/播放内容的用户界面对象具有比正在显示暂停的视频内容或除视频/播放内容之外的其他内容的该相同用户界面对象更高的选择优先级)。上述基于操作系统和/或应用程序优先级来将输入指向用户界面对象的方式提供了选择用户界面对象以用于输入的灵活方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到相应输入(1214a)，根据确定满足一个或多个第三标准，包括当第一区域距三维环境中与电子设备相关联的视点大于阈值距离(例如，5、10、15、20、30、40、50、100、150英尺)时满足的标准，电子设备放弃相对于第一用户界面对象执行(1214b)操作并且放弃相对于第二用户界面对象执行操作，诸如参考图11A中的用户界面对象1107a和1107b所述。例如，电子设备任选地使得不能与在距与电子设备相关联的视点大于阈值距离的区域内的用户界面对象进行交互。在一些实施方案中，该一个或多个第一标准和该一个或多个第二标准两者都包括当第一区域距与电子设备相关联的视点小于阈值距离时满足的标准。在一些实施方案中，当第一区域距与电子设备相关联的视点大于阈值距离时，设备确定用户的注视指向用户界面中的第一区域(例如，而不是不同区域)的确定性相对较低，因此电子设备使得不能与该第一区域内的对象进行基于注视的交互以避免与此类对象进行错误交互。上述使得不能与遥远区域内的对象进行交互的方式避免了与此类对象进行错误的基于注视的交互，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使得用户能够更快且更高效地使用电子设备同时避免使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，根据确定第一区域距三维环境中与电子设备相关联的视点大于阈值距离，电子设备相对于用户界面的第一区域之外的区域在视觉上弱化(1216a)(例如，模糊、淡化、以更少色彩(例如，更多灰度)显示、停止显示等)第一用户界面对象和第二用户界面对象，诸如参考图11A中的用户界面对象1107a和1107b所述(例如，以更少或无模糊、更少或无淡化、更多色彩或全色彩等来显示第一区域之外距与电子设备相关联的视点小于阈值距离的区域和/或对象)。在一些实施方案中，根据确定第一区域距三维环境中与电子设备相关联的视点小于阈值距离，电子设备放弃(1216b)相对于用户界面的第一区域之外的区域在视觉上弱化第一用户界面对象和第二用户界面对象，诸如对于图11A中的用户界面对象1103a、1103b和1105a、1105b。例如，在一些实施方案中，当第一区域距与电子设备相关联的视点大于阈值距离时，电子设备在视觉上弱化第一区域和/或第一区域内的对象。上述在视觉上弱化用户界面的因其距视点的距离而不可交互的区域的方式提供了传达此类区域因其距视点的距离而不可交互的快速且高效的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时避免提供不必要的输入用于与用户界面的非交互式区域交互而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示用户界面时，电子设备经由该一个或多个输入设备检测(1218a)到由用户的预定义部分提供的第二相应输入(例如，通过用户的手部的手指诸如食指指向第一区域和/或朝向第一区域移动，任选地其中移动大于阈值移动(例如，0.5、1、3、5、10cm)和/或速度大于阈值速度(例如，0.5、1、3、5、10cm/s)，或者通过手部的拇指与该手部的另一根手指捏合在一起来执行的手势)。在一些实施方案中，响应于检测到第二相应输入(1220b)，根据确定满足一个或多个第三标准，包括当第一区域与三维环境中的用户的注视所成角度大于阈值角度时满足的标准，诸如参考图11A中的用户界面对象1109所述(例如，用户的注视限定参考轴，并且第一区域与该参考轴分开的角度大于10、20、30、45、90、120等度。在一些实施方案中，当检测到第二相应输入时，用户的注视不指向第一区域)，电子设备放弃相对于第一用户界面对象执行(1220c)相应操作并且放弃相对于第二用户界面对象执行相应操作，诸如参考图11A中的用户界面对象1109所述。例如，电子设备任选地使得不能与距用户的注视大于阈值角度的用户界面对象进行交互。在一些实施方案中，设备将第二相应输入指向第一区域之外的用户界面对象，并且基于第二相应输入相对于该用户界面对象执行相应操作。上述使得不能与和用户的注视偏离足够角度的对象进行交互的方式避免了与此类对象进行错误的基于注视的交互，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使得用户能够更快且更高效地使用电子设备同时避免使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，根据确定第一区域与三维环境中与电子设备相关联的视点所成角度大于阈值角度，电子设备相对于用户界面的第一区域之外的区域在视觉上弱化(1222a)(例如，模糊、淡化、以更少色彩(例如，更多灰度)显示、停止显示等)第一用户界面对象和第二用户界面对象，诸如参考图11A中的用户界面对象1109所述(例如，以更少或无模糊、更少或无淡化、更多色彩或全色彩等来显示第一区域之外与和用户的注视所成角度小于阈值角度的区域和/或对象)。在一些实施方案中，如果用户的注视的方向改变，则如果用户的注视远离第一和/或第二用户界面对象移动到更大角度，则将相对于用户界面的区域更加弱化第一用户界面对象和/或第二用户界面对象，并且如果用户的注视远离第一用户界面对象和/或第二用户界面对象移动到更小角度，则将相对于用户界面的区域更少弱化(例如，强调)第一用户界面对象和/或第二用户界面对象。在一些实施方案中，根据确定第一区域与三维环境中与电子设备相关联的视点所成角度小于阈值角度，电子设备放弃(1222b)相对于用户界面的第一区域之外的区域在视觉上弱化第一用户界面对象和第二用户界面对象，诸如相对于图11A中的用户界面对象1103a、1103b和1105a、1105b。例如，在一些实施方案中，当第一区域与用户的注视所成角度大于阈值角度时，电子设备在视觉上弱化第一区域和/或第一区域内的对象。上述在视觉上弱化用户界面的因其与用户的注视所成角度而不能交互的区域的方式提供了传达此类区域因其距视点的距离而不能交互的快速且高效的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时避免提供不必要的输入用于与用户界面的非交互式区域交互而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，该一个或多个第一标准和该一个或多个第二标准包括当第一区域距三维环境中与电子设备相关联的视点大于阈值距离(例如，3、5、10、20、30、50英尺)时满足并且当第一区域距三维环境中与电子设备相关联的视点小于阈值距离时不满足的相应标准(1224a)(例如，如果第一区域距与电子设备相关联的视点大于阈值距离，则电子设备根据该一个或多个第一标准或第二标准相对于第一用户界面对象和第二用户界面对象引导相应输入的指向)。例如，在图11A中，对象1105a、1105b任选地距用户的视点远于阈值距离。在一些实施方案中，响应于检测到相应输入并且根据确定第一区域距三维环境中与电子设备相关联的视点小于阈值距离(1224b)，根据确定用户的注视指向第一用户界面对象(例如，并且与是否满足除了相应标准之外的该一个或多个第一标准或该一个或多个第二标准无关)，电子设备基于相应输入相对于第一用户界面对象执行(1224b)操作，诸如参考图11A和图11B中的用户界面对象1103a、1103b所述。在一些实施方案中，根据确定用户的注视指向第二用户界面对象(例如，并且与是否满足除了相应标准之外的该一个或多个第一标准或该一个或多个第二标准无关)，电子设备基于相应输入相对于第二用户界面对象执行(1224d)操作，诸如参考图11A和图11B中的用户界面对象1103a、1103b所述。例如，当第一区域在与电子设备相关联的视点的阈值距离内时，设备基于用户的注视分别指向第一用户界面对象或第二用户界面对象，而不是基于该一个或多个第一标准或第二标准来将相应输入指向第一用户界面对象或第二用户界面对象。上述当第一区域在用户的视点的阈值距离内时执行对到第一区域的输入的基于注视的指向的方式提供了允许用户当用户界面对象处于设备能够以相对高的确定性确定注视位置/方向的距离处时指示输入应当指向哪个用户界面对象的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使得用户能够更快且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
图13A至图13C示出了根据一些实施方案的电子设备如何针对混合的直接和间接交互模式增强与用户界面元素的交互的示例。
图13A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境1301。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101在二维环境或用户界面中利用参考图13A至图13C所述的一种或多种技术。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图13A所示，三维环境1301包括(例如，经由设备101的用户的手部1313a所提供的用户输入)可交互的三个用户界面对象1303a、1303b和1303c。例如，设备101任选地基于手部1313a所提供的直接或间接输入(例如，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)的各种特性而将此类输入指向用户界面对象1303a、1303b和/或1303c。在图13A中，三维环境1301还包括电子设备101的物理环境中的桌子的表示604(例如，诸如参考图6B所述)。在一些实施方案中，桌子的表示604是由显示生成部件120显示的桌子的照片真实感视频图像(例如，视频或数字透传)。在一些实施方案中，桌子的表示604是透过显示生成部件120的透明部分的桌子的视图(例如，真实或物理透传)。
在一些实施方案中，如例如参考方法800所讨论的，当设备101在距一个或多个用户界面对象的间接交互距离处检测到用户的处于间接就绪状态的手部时，设备101基于用户的注视向用户界面对象指派间接悬停状态(例如，以间接悬停状态外观显示用户的注视所指向的用户界面对象)，以指示如果用户的手部提供此类输入则哪个用户界面对象将接收来自用户的手部的间接输入。类似地，在一些实施方案中，如例如参考方法800所讨论的，当设备101在距用户界面对象的直接交互距离处检测到用户的处于直接就绪状态的手部时，该设备向该用户界面对象指派直接悬停状态，以指示如果用户的手部提供此类输入则该用户界面对象将接收来自用户的手部的直接输入。
在一些实施方案中，设备101检测到用户的手部所提供的输入从间接输入转变为直接输入和/或反之亦然。图13A至图13C示出了设备101对此类转换的示例性响应。例如，在图13A中，设备101检测到手部1313a距所有用户界面对象1303a、1303b和1303c远于阈值距离(例如，处于间接交互距离处)，诸如3英寸、6英寸、1英尺、2英尺、5英尺、10英尺(例如，手部1313a不在三维环境1301中可通过手部1313a交互的任何用户界面对象的阈值距离内)。手部1313a任选地呈间接就绪状态手部形状(例如，如参考方法800所述)。在图13A中，电子设备101的用户的注视1311a指向用户界面对象1303a。因此，设备101以间接悬停状态外观(例如，由用户界面对象1303a的阴影指示)显示用户界面对象1303a，并且设备101不以间接悬停状态外观显示用户界面对象1303b和1303c(例如，以非悬停状态显示用户界面对象，诸如由用户界面对象1303b和1303c没有阴影指示)。如果手部1313a将在用户界面对象1303a的阈值距离内移动，并且任选地如果手部1313a将呈直接就绪状态手部形状(例如，如参考方法800所述)，则设备101将任选地以悬停状态维持用户界面对象1303a(例如，以直接悬停状态外观显示用户界面对象1303a)。在一些实施方案中，如果在图13A中，手部1313a不呈间接就绪状态手部形状，则设备101将任选地不以间接悬停状态外观显示用户界面对象1303a(例如，并且如果设备101没有检测到用户的至少一只手呈间接就绪状态手部形状，则将任选地不以间接悬停状态显示所有用户界面对象1303a、1303b和1303c)。在一些实施方案中，间接悬停状态外观是不同的，这取决于间接悬停状态对应于哪只手。例如，在图13A中，手部1313a任选地是电子设备101的用户的右手，并且针对用户界面对象1303a产生间接悬停状态外观，如参考图13A所示和所述。然而，如果手部1313a已经改为用户的左手，则设备101将任选地以不同(例如，不同颜色、不同阴影、不同尺寸等的)间接悬停状态外观显示用户界面对象1303a。以不同间接悬停状态外观显示用户界面对象任选地向用户指示了设备101将把来自用户的哪只手的输入指向那些用户界面对象。
在图13B中，设备101检测到用户的注视1311b已经移动远离用户界面对象1303a移动并且已经移动到用户界面对象1303b。在图13B中，手部1313a任选地保持呈间接就绪状态手部形状，并且任选地保持距所有用户界面对象1303a、1303b和1303c远于阈值距离(例如，手部1313a不在三维环境1301中可通过手部1313a交互的任何用户界面对象的阈值距离内)。作为响应，设备101已经将间接悬停状态从用户界面对象1303a移动到用户界面对象1303b，并且以间接悬停状态外观显示用户界面对象1303b，并且不以间接悬停状态外观显示用户界面对象1303a和1303c(例如，以非悬停状态显示用户界面对象1303a和1303c)。
在图13C中，设备101检测到手部1313a已经(例如，从其在图13A和/或图13B中的定位)移动到用户界面对象1303c的阈值距离内(例如，在其直接交互距离处)。设备101任选地还检测到手部1313a呈直接就绪状态手部形状(例如，如参考方法800所述)。因此，无论用户的注视是指向用户界面对象1303a(例如，注视1311a)还是用户界面对象1303b(例如，注视1311b)，设备101都将直接悬停状态移动到用户界面对象1303c(例如，将悬停状态远离用户界面对象1303a和/或1303b移动)，并且正在以直接悬停状态外观显示用户界面对象1303c(例如，由用户界面对象1303c的阴影所指示)，并且正在不以(例如，直接或间接)悬停状态外观(例如，以非悬停状态)显示用户界面对象1303a和1303b。在一些实施方案中，在手部1313a在用户界面对象1303c的阈值距离内(例如，并且任选地呈直接就绪状态手部形状)时，用户的注视的改变(例如，指向不同用户界面对象)不将直接悬停状态远离用户界面对象1303c移动。在一些实施方案中，为了用户界面对象1303c响应于图13C的手部移动和/或形状而接收悬停状态，设备101要求用户界面对象1303c处于用户的注意区内(例如，如参考方法1000所述)。例如，如果设备101检测到图13C的手部1313a的定位和/或形状，但是检测到用户的注意区不包括用户界面对象1303c，则设备101将任选地不将悬停状态移动到用户界面对象1303c，并且将改为维持悬停状态与先前具有悬停状态的用户界面对象在一起。如果设备101随后检测到用户的注意区移动至包括用户界面对象1303c，则只要手部1313a在用户界面对象1303c的阈值距离内并且任选地呈直接就绪状态手部形状，设备101就将任选地将悬停状态移动到用户界面对象1303c。如果设备101随后检测到用户的注意区再次移动至不包括用户界面对象1303c，则只要手部1313a仍然与用户界面对象1303c互动(例如，在用户界面对象1303c的阈值距离内和/或呈直接就绪状态手部形状和/或直接与用户界面对象1303c交互等)，设备101就将任选地维持悬停状态与用户界面对象1303c在一起。如果手部1313a不再与用户界面对象1303c互动，则设备101将任选地基于电子设备的用户的注视将悬停状态移动到用户界面对象。
在一些实施方案中，直接悬停状态外观是不同的，这取决于直接悬停状态对应于哪只手。例如，在图13C中，手部1313a任选地是电子设备101的用户的右手，并且针对用户界面对象1303c产生间接悬停状态外观，如参考图13C所示和所述。然而，如果手部1313a已经改为用户的左手，则设备101将任选地以不同(例如，不同颜色、不同阴影、不同尺寸等的)直接悬停状态外观显示用户界面对象1303c。以不同直接悬停状态外观显示用户界面对象任选地向用户指示了设备101将把来自用户的哪只手的输入指向那些用户界面对象。
在一些实施方案中，直接悬停状态的外观(例如，在图13C中的用户界面对象1303c上示出)不同于间接悬停状态的外观(例如，分别在图13A和图13B中的用户界面对象1303a和1303b上示出)。因此，在一些实施方案中，给定用户界面对象由设备101以不同方式(例如，不同颜色、不同阴影、不同尺寸等)显示，这取决于用户界面对象具有直接悬停状态还是间接悬停状态。
如果在图13C中，设备101已经检测到手部1313a已经在两个可交互用户界面对象(例如，1303b和1303c)的阈值距离内(例如，在直接交互距离内)移动，并且任选地如果手部1313a呈直接就绪状态形状，则设备101将任选地将悬停状态移动到更靠近手部1313a的用户界面对象，例如，如果手部1313a更靠近用户界面对象1303b，则移动到用户界面对象1303b，并且如果手部1313a更靠近用户界面对象1303c，则移动到用户界面对象1303c。
图14A至图14H是示出根据一些实施方案的针对混合的直接和间接交互模式增强与用户界面元素的交互的方法1400的流程图。在一些实施方案中，方法1400在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1400通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1400在与显示生成部件和一个或多个输入设备(包括眼睛跟踪设备)通信的电子设备处执行。例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手部运动传感器)等。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，电子设备经由显示生成部件显示(1402a)用户界面，其中用户界面包括相应类型的多个用户界面对象，诸如图13A中的用户界面对象1303a、1303b、1303c(例如，可经由一个或多个手部手势(诸如，轻击或捏合手势)选择的用户界面对象)，包括处于第一状态(例如，非悬停状态，诸如空闲或非选定状态)的第一用户界面对象和处于第一状态(例如，非悬停状态，诸如空闲或非选定状态)的第二用户界面对象。在一些实施方案中，第一用户界面对象和/或第二用户界面对象是交互式用户界面对象，并且响应于检测到指向给定对象的输入，电子设备执行与用户界面对象相关联的动作。例如，用户界面对象是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，用户界面对象是在其中显示用户界面/内容的容器(例如，窗口)，并且响应于检测到对用户界面对象的选择以及随后的移动输入，电子设备根据移动输入来更新用户界面对象的定位。在一些实施方案中，第一用户界面对象和第二用户界面对象在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，用户界面是三维环境并且/或者在三维环境内显示)。
在一些实施方案中，在电子设备的用户的注视指向第一用户界面对象时，诸如图13A中的注视1311a(例如，用户的注视与第一用户界面对象相交，或者用户的注视在与第一用户界面对象相交的阈值距离(诸如，1、2、5、10英尺)内)，根据确定满足一个或多个标准，包括当电子设备的用户的第一预定义部分距与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置远于阈值距离时满足的标准，诸如图13A中的手部1313a(例如，用户的手部或手指(诸如食指)的位置不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的3英寸、6英寸、1英尺、2英尺、5英尺、10英尺内，使得由用户的第一预定义部分向用户界面对象提供的输入将以间接交互方式进行，诸如参考方法800、1000、1200、1600、1800和2000所述)，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1402b)第一用户界面对象，同时维持以第一状态(例如，非悬停状态，诸如空闲或非选定状态)显示第二用户界面对象，其中第二状态不同于第一状态，诸如图13A中的用户界面对象1303a和1303b(例如，如果用户界面对象处于悬停状态，则当用户的预定义部分距与该对象对应的位置远于阈值距离时来自用户的该预定义部分的进一步输入(例如，手部的食指朝向用户界面对象的移动)任选地被设备识别为指向该用户界面对象的输入(例如，选择处于悬停状态的用户界面对象))。参考方法800、1000、1200、1600、1800和2000来描述这种输入的示例。在一些实施方案中，来自用户的预定义部分的这种进一步输入任选地被识别为不指向处于非悬停状态的用户界面对象。在一些实施方案中，以第二状态显示第一用户界面对象包括更新第一用户界面对象的外观以改变第一用户界面对象的颜色、突出显示第一用户界面对象、朝向用户的视点提升/移动第一用户界面对象等，以指示第一用户界面对象处于悬停状态(例如，准备好进一步交互)，并且以第一状态显示第二用户界面对象包括显示第二用户界面对象而不改变第二用户界面对象的颜色、不突出显示第二用户界面对象、不朝向用户的视点提升/移动第二用户界面对象等。在一些实施方案中，该一个或多个标准包括当用户的预定义部分处于特定位姿时满足的标准，诸如参考方法800所述。在一些实施方案中，如果当满足该一个或多个标准时用户的注视已经指向第二用户界面对象(而不是第一用户界面对象)，则将已经以第二状态显示第二用户界面对象，并且将已经以第一状态显示第一用户界面对象。
在一些实施方案中，在用户的注视指向第一用户界面对象(1402c)时(例如，用户的注视在下文所述的用户的预定义部分的移动期间/之后保持指向第一用户界面对象)，在以第二状态(例如，悬停状态)显示第一用户界面对象时，电子设备经由该一个或多个输入设备检测(1402d)到用户的第一预定义部分的移动(例如，用户的手部和/或手指远离第一位置到第二位置的移动)。在一些实施方案中，响应于检测到用户的第一预定义部分的移动(1402e)，根据确定用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内移动，诸如图13C中的手部1313a(例如，在检测到用户的第一预定义部分的移动之前，用户的第一预定义部分不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的阈值距离内，但在检测到用户的第一预定义部分的移动之后，用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内。用户的第一预定义部分任选地不在与用户界面中的该多个用户界面对象中的任何其他用户界面对象对应的位置的阈值距离内)，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1402f)第二用户界面对象，诸如在图13C中以悬停状态显示用户界面对象1303c。例如，即使用户的注视继续指向第一用户界面对象，而不指向第二用户界面对象，也将悬停状态从第一用户界面对象移动到第二用户界面对象，因为用户的手部和/或手指在与第二用户界面对象对应的位置的阈值距离内。在一些实施方案中，当用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内时，用户的第一预定义部分的位姿需要是特定位姿(诸如参考方法800所述)，以将悬停状态移动到第二用户界面对象。当用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内时，由用户的第一预定义部分向第二用户界面对象提供的输入将任选地以直接交互方式进行，诸如参考方法800、1000、1200、1600、1800和2000所述。上述将第二状态移动到第二用户界面对象的方式提供了有利于基于手部和注视定位中的一者或多者与最可能与其交互的用户界面对象进行交互，而不需要将给定用户界面对象指定为进一步交互的目标的进一步用户输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更有效，这还通过使用户能够更快速且更有效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的第一预定义部分的移动(1404a)，根据确定用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内移动(例如，在检测到用户的第一预定义部分的移动之前，用户的第一预定义部分不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的阈值距离内，但在检测到用户的第一预定义部分的移动之后，用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内。用户的第一预定义部分任选地不在与用户界面中的该多个用户界面对象中的任何其他用户界面对象对应的位置的阈值距离内)，电子设备经由显示生成部件以第一状态显示(1404b)第一用户界面对象，诸如图13C中以非悬停状态(例如，非悬停状态，诸如空闲或未选定状态)显示用户界面对象1303a和/或1303b。例如，因为用户的第一预定义部分现在已经移动到第二用户界面对象的阈值距离内，所以用户的第一预定义部分现在被电子设备确定为与第二用户界面对象交互，并且不再可用于与第一用户界面对象交互。因此，电子设备任选地以第一状态显示第一用户界面对象(例如，而不是维持以第二状态显示第一用户界面对象)。上述以第一状态显示第一用户界面对象的方式提供了指示用户的第一预定义部分不再被确定为与第一用户界面对象交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备(例如，通过避免由用户的第一预定义部分向不正确的用户界面对象提供的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的第一预定义部分的移动(1406a)，根据确定用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内移动(例如，在检测到用户的第一预定义部分的移动之前，用户的第一预定义部分不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的阈值距离内，但在检测到用户的第一预定义部分的移动之后，用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内。用户的第一预定义部分任选地不在与用户界面中的该多个用户界面对象中的任何其他用户界面对象对应的位置的阈值距离内)，电子设备维持(1406b)以第二状态(例如，悬停状态)显示第一用户界面对象(例如，并且维持以第一状态显示第二用户界面对象)。例如，在图13A中，如果手部1313a移动到对象1303a的阈值距离内，则设备101将维持以第二状态显示对象1303a。例如，因为在用户的第一预定义部分移动到与第一用户界面对象对应的位置的阈值距离内之前电子设备已经以第二状态显示第一用户界面对象，并且因为在用户的第一预定义部分移动到与第一用户界面对象对应的位置的阈值距离内之后设备确定用户的第一预定义部分仍然与第一用户界面对象交互，所以电子设备维持以第二状态显示第一用户界面对象。在一些实施方案中，用户的注视继续指向第一用户界面对象，并且在一些实施方案中，用户的注视不再指向第一用户界面对象。当用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内时，由用户的第一预定义部分向第一用户界面对象提供的输入将任选地以直接交互方式进行，诸如参考方法800、1000、1200、1600、1800和2000所述。上述维持以第二状态显示第一用户界面对象的方式提供了指示用户的第一预定义部分仍然被确定为与第一用户界面对象交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备(例如，通过避免由用户的第一预定义部分向不正确的用户界面对象提供的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的第一预定义部分的移动(1408a)，根据确定用户的第一预定义部分在与该多个用户界面对象中的第三用户界面对象对应的位置的阈值距离内移动(例如，第三用户界面对象不同于第一用户界面对象和第二用户界面对象。例如，在检测到用户的第一预定义部分的移动之前，用户的第一预定义部分不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的阈值距离内，但在检测到用户的第一预定义部分的移动之后，用户的第一预定义部分在与第三用户界面对象对应的位置的阈值距离内。用户的第一预定义部分任选地不在与用户界面中的该多个用户界面对象中的任何其他用户界面对象对应的位置的阈值距离内)，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1408b)第三用户界面对象(例如，并且以第一状态显示第一用户界面对象和第二用户界面对象)。例如，即使用户的注视继续指向第一用户界面对象，而不指向第三用户界面对象，也将悬停状态从第一用户界面对象移动到第三用户界面对象，因为用户的手部和/或手指在与第三用户界面对象对应的位置的阈值距离内(例如，在图13C中，不是手部1313a移动到对象1303c的阈值距离内，而是手部1313a移动到对象1303b的阈值距离内，设备101将以第二状态显示对象1303b，而不是以第二状态显示对象1303c)。在一些实施方案中，当用户的第一预定义部分在与第三用户界面对象对应的位置的阈值距离内时，用户的第一预定义部分的位姿需要是特定位姿(诸如参考方法800所述)，以将悬停状态移动到第三用户界面对象。当用户的第一预定义部分在与第三用户界面对象对应的位置的阈值距离内时，由用户的第一预定义部分向第三用户界面对象提供的输入将任选地以直接交互方式进行，诸如参考方法800、1000、1200、1600、1800和2000所述。上述当用户的第一预定义部分在与用户界面对象对应的位置的阈值距离内时将第二状态移动到该用户界面对象的方式提供了指示用户的第一预定义部分仍然被确定为与该用户界面对象交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备(例如，通过避免由用户的第一预定义部分向不正确的用户界面对象提供的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的第一预定义部分的移动(1410a)，根据确定用户的第一预定义部分在与第一用户界面对象对应的位置和与第二用户界面对象对应的位置的阈值距离内移动(1410b)(例如，用户的第一预定义部分现在在与该多个用户界面对象中的两个或更多个用户界面对象对应的位置的阈值距离内，诸如在图13C中，手部1313a已经移动到对象1303b和1303c的阈值距离内)，根据确定第一预定义部分比起靠近与第二用户界面对象对应的位置更靠近与第一用户界面对象对应的位置(例如，比起靠近对象1303c更靠近对象1303b)，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1410c)第一用户界面对象(例如，1303b)(例如，并且以第一状态显示第二用户界面对象)。在一些实施方案中，根据确定第一预定义部分比起靠近与第一用户界面对象对应的位置更靠近与第二用户界面对象对应的位置(例如，比起靠近对象1303b更靠近对象1303c)，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1410d)第二用户界面对象(例如，1303c)(例如，并且以第一状态显示第一用户界面对象)。例如，当用户的第一预定义部分在该多个用户界面对象中的多个用户界面对象的阈值距离内时，电子设备任选地将第二状态移动到用户的第一预定义部分更靠近其对应位置的用户界面对象。在一些实施方案中，不管用户的注视是指向第一用户界面对象还是第二(或其他)用户界面对象，电子设备都如上所述移动第二状态，因为用户的第一预定义部分在与该多个用户界面对象中的至少一个用户界面对象对应的位置的阈值距离内。上述当用户的第一预定义部分在与多个用户界面对象对应的位置的阈值距离内时，将第二状态移动到最靠近用户的第一预定义部分的用户界面对象的方式提供了选择用于交互的用户界面对象(例如，不利用附加用户输入)并且向用户指示该用户界面对象的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备(例如，通过避免由用户的第一预定义部分向不正确的用户界面对象提供的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，该一个或多个标准包括当用户的第一预定义部分处于预先确定位姿时满足的标准(1412a)，诸如参考图13A中的手部1313a所述。例如，手部呈与其中手部的拇指和食指合在一起的手势的开始对应的形状，或者呈其中手部的食指以轻击手势方式(例如，就好像食指正在轻击食指前方0.5、1、2、3cm处的虚构表面)在空间中向前移动的手势的开始对应的形状。用户的第一预定义部分的预先确定位姿任选地如参考方法800所述。上述要求在用户界面对象将具有第二状态(例如，并且准备好接受来自用户的第一预定义部分的输入)之前用户的第一预定义部分处于特定位姿的方式提供了防止用户的第一预定义部分与用户界面元素进行意外输入/交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到用户的第一预定义部分的移动(1414a)，根据确定用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内移动(例如，在检测到用户的第一预定义部分的移动之前，用户的第一预定义部分不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的阈值距离内，但在检测到用户的第一预定义部分的移动之后，用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内。用户的第一预定义部分任选地不在与用户界面中的该多个用户界面对象中的任何其他用户界面对象对应的位置的阈值距离内)，电子设备维持(1414b)以第二状态(例如，悬停状态)显示第一用户界面对象(例如，并且维持以第一状态显示第二用户界面对象)。例如，如果手部1313a在图13A所示的状态之后已经移动到对象1303a的阈值距离内，则设备101将任选地维持以第二状态显示对象1303a。在一些实施方案中，当用户的第一预定义部分大于与第一用户界面对象对应的位置的阈值距离时处于第二状态(例如，悬停状态)的第一用户界面对象具有第一视觉外观(1414c)，并且当用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内时处于第二状态(例如，悬停状态)的第一用户界面对象具有与第一视觉外观不同的第二视觉外观(1414d)，诸如参考图13C中的用户界面对象1303c所述。例如，用于与用户的第一预定义部分直接交互(例如，当用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内时，诸如参考方法800、1000、1200、1600、1800和2000所述)的悬停状态的视觉外观任选地不同于用于与用户的第一预定义部分间接交互(例如，当用户的第一预定义部分距与第一用户界面对象对应的位置远于阈值距离时，诸如参考方法800、1000、1200、1600、1800和2000所述)的悬停状态的视觉外观。在一些实施方案中，不同的视觉外观是以下项中的一项或多项：第一用户界面对象与其上显示第一用户界面对象的背板的不同间距量(例如，当不处于悬停状态时被显示为不具有间距或具有较少间距)、第一用户界面对象当处于悬停状态时被显示为具有的不同颜色和/或高光(例如，当不处于悬停状态时被显示为不具有颜色和/或高光)，等等。上述针对直接和间接交互以不同方式显示第二状态的方式提供了根据设备正在响应和/或操作的交互的方式来指示的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备(例如，通过避免与当前活动的与用户界面对象的交互方式不兼容的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在用户的注视指向第一用户界面对象时(例如，用户的注视与第一用户界面对象相交，或者用户的注视在与第一用户界面对象相交的阈值距离(诸如，1、2、5、10英尺)内)，根据确定满足一个或多个第二标准，包括当用户的与第一预定义部分不同的第二预定义部分距与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置远于阈值距离时满足的标准(例如，用户的手部或手指(诸如食指)的位置不在与用户界面中的该多个用户界面对象中的任何用户界面对象对应的位置的3英寸、6英寸、1英尺、2英尺、5英尺、10英尺内，使得由用户的第二预定义部分向用户界面对象提供的输入将以间接交互方式进行，诸如参考方法800、1000、1200、1600、1800和2000所述。在一些实施方案中，在用户的第二预定义部分(例如，左手/手指)与第一用户界面对象互动时，用户的第一预定义部分(例如，右手/手指)与该多个用户界面对象中的另一用户界面对象互动或不互动(例如，如参考方法1600所述)。在一些实施方案中，该一个或多个第二标准包括当用户的第二预定义部分处于特定位姿时满足的标准，诸如参考方法800所述。在一些实施方案中，如果当满足该一个或多个第二标准时用户的注视已经指向第二用户界面对象(而不是第一用户界面对象)，第二用户界面对象已经以第二状态显示，并且第一用户界面对象已经以第一状态显示，则电子设备经由显示生成部件以第二状态显示(1416a)第一用户界面对象，诸如以悬停状态显示图13A和图13B中的用户界面对象1303a和/或1303b(例如，基于用户的第二预定义部分以悬停状态显示第一用户界面对象)。在一些实施方案中，根据确定满足该一个或多个标准，处于第二状态(例如，悬停状态)的第一用户界面对象具有第一视觉外观(1416b)，并且根据确定满足该一个或多个第二标准，处于第二状态(例如，悬停状态)的第一用户界面对象具有与第一视觉外观不同的第二视觉外观(1416c)。例如，用户界面对象的悬停状态任选地具有不同的视觉外观(例如，颜色、阴影、高光、与背板的间距等)，这取决于悬停状态是基于与用户界面对象互动的第一预定义部分还是与用户界面对象互动的第二预定义部分。在一些实施方案中，基于用户的第一预定义部分的直接交互悬停状态具有与基于用户的第二预定义部分的直接交互悬停状态不同的视觉外观，并且基于用户的第一预定义部分的间接交互悬停状态具有与基于用户的第二预定义部分的间接交互悬停状态不同的视觉外观。在一些实施方案中，用户的两个预定义部分同时与如上所述的具有不同悬停状态外观的两个不同用户界面对象互动。在一些实施方案中，用户的两个预定义部分不同时(例如，顺序地)与具有如上所述的不同悬停状态外观的不同或相同用户界面对象互动。上述针对用户的不同预定义部分以不同方式显示第二状态的方式提供了指示对于给定用户界面对象设备响应用户的哪个预定义部分的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备(例如，通过避免由用户的不对的预定义部分进行的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当用户的注视保持指向第一用户界面对象(诸如图13C中的注视1311a或1311b)时，发生以第二状态(例如，悬停状态)显示第二用户界面对象(1418a)。例如，即使用户的注视保持指向第一用户界面对象，当用户的第一预定义部分移动到与第二用户界面对象的对应位置的阈值距离内时，电子设备以第二状态显示第二用户界面对象，和/或以第一状态显示第一用户界面对象。在一些实施方案中，用户的注视指向第二用户界面对象。上述独立于注视移动第二状态的方式提供了选择用户界面对象进行直接交互的高效方式，而不需要附加注视输入，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，以第二状态(例如，悬停状态)显示第二用户界面对象还根据确定第二用户界面对象处于与电子设备的用户相关联的注意区内而进行(1420a)，诸如图13C中的对象1303c处于与电子设备的用户相关联的注意区内(例如，如果第二用户界面对象不处于与用户相关联的注意区内，则第二用户界面对象将不以第二状态显示(例如，将继续以第一状态显示)。在一些实施方案中，第一用户界面对象将继续以第二状态显示，并且在一些实施方案中，第一用户界面对象将以第一状态显示)。例如，注意区任选地是用户界面和/或三维环境的基于用户的注视方向/位置指定的面积和/或体积，并且是决定用户界面对象在各种条件下是否可由用户交互的因素，诸如参考方法1000所述。上述仅当第二用户界面对象在用户的注意区内时才移动第二状态的方式提供了防止与用户可能没有意识到可能正在与之交互的用户界面对象的无意交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，该一个或多个标准包括当用户的至少一个预定义部分处于预先确定位姿时满足的标准，该至少一个预定义部分包括用户的第一预定义部分(1422a)，诸如参考图13A中的手部1313a所述(例如，就绪状态位姿，诸如参考方法800所述的那些)。例如，基于注视来以第二状态显示用户界面对象任选地要求在以第二状态显示注视所指向的用户界面对象之前用户的至少一个预定义部分处于预先确定位姿(例如，以便能够与以第二状态显示的用户界面对象交互)。上述要求在以第二状态显示用户界面对象之前用户的预定义部分处于特定位姿的方式提供了在用户仅提供注视输入而没有利用用户的预定义部分的对应输入时防止与用户界面对象的无意交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在以第二状态(例如，悬停状态)显示第一用户界面对象时，电子设备经由一个或多个输入设备检测(1424a)到与用户相关联的注意区的第一移动(例如，没有检测到用户的第一预定义部分的移动。在一些实施方案中，注意区是用户界面和/或三维环境的基于用户的注视方向/位置指定的面积和/或体积，并且是决定用户界面对象在各种条件下是否可由用户交互的因素，诸如参考方法1000所述。在一些实施方案中，当第一用户界面对象以第二状态显示时(例如，在注意区移动之前)，它处于与用户相关联的注意区内)。在一些实施方案中，响应于检测到与用户相关联的注意区的第一移动(1424b)，根据确定该注意区包括相应类型的第三用户界面对象(例如，在一些实施方案中，第一用户界面对象不再在与用户相关联的注意区内。在一些实施方案中，用户的注视指向第三用户界面对象。在一些实施方案中，用户的注视不指向第三用户界面对象)，并且用户的第一预定义部分在与第三用户界面对象对应的位置的阈值距离内，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1424c)第三用户界面对象(例如，并且以第一状态显示第一用户界面对象)。因此，在一些实施方案中，即使用户的第一预定义部分不移动，但是用户的注视移动使得注意区移动到包括与在用户的第一预定义部分的阈值距离内的位置对应的用户界面对象的新位置，电子设备也会将第二状态从第一用户界面对象移动到第三用户界面对象。例如，在图13C中，如果注意区最初不包括对象1303c，但稍后包括该对象，那么当注意区移动以包括对象1303c时，设备101将任选地以第二状态显示对象1303，诸如图13C中所示。在一些实施方案中，仅在用户的第一预定义部分距与第一用户界面对象对应的位置远于阈值距离时第一用户界面对象具有第二状态的情况下，第二状态才会移动到第三用户界面对象，而在用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内(并且继续该在阈值距离内)时和/或因为用户的第一预定义部分在与第一用户界面对象对应的位置的阈值距离内(并且继续该在阈值距离内)第一用户界面对象具有第二状态的情况下，第二状态不移动到第三用户界面对象。上述基于注意区中的变化来移动第二状态的方式提供了确保具有第二状态的用户界面对象(以及因此正与之交互或潜在地与之交互的那些用户界面对象)是用户正在注意的用户界面对象而不是用户没在注意的用户界面对象的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且高效地使用电子设备(例如，通过避免指向不再在用户的关注内的用户界面对象的错误输入)而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到注意区的第一移动之后并且在以第二状态(例如，悬停状态)显示第三用户界面对象时(例如，因为用户的第一预定义部分在第三用户界面对象对应的位置的阈值距离内)，电子设备经由一个或多个输入设备检测(1426a)到注意区的第二移动，其中作为注意区的第二移动的结果，第三用户界面对象不再处于注意区内(例如，用户的注视移动远离包括第三用户界面对象的区域，使得注意区已移动成不再包括第三用户界面对象)。在一些实施方案中，响应于检测到注意区的第二移动(1426b)，根据确定用户的第一预定义部分在第三用户界面对象的阈值距离内(例如，在一些实施方案中，还确定如参考方法800、1000、1200、1600、1800和2000所述，用户的第一预定义部分直接或间接地/保持直接或间接地与第三用户界面对象互动，和/或如参考方法800所述，用户的第一预定义部分处于预先确定位姿)，电子设备维持(1426c)以第二状态(例如，悬停状态)显示第三用户界面对象。例如，在图13C中，如果在注意区域移动成包括对象1303c并且设备101以第二状态显示对象1303c之后，设备101检测到注意区域再次移动成不包括对象1303c，则设备101将任选地维持以第二状态显示对象1303c。例如，如果用户的第一预定义部分保持在与用户界面对象对应的位置的阈值距离内，则第二状态任选地不作为注意区移动远离该用户界面对象的结果而移动远离该用户界面对象。在一些实施方案中，如果用户的第一预定义部分距与第三用户界面对象对应的位置远于阈值距离，则第二状态将移动远离第三用户界面对象(例如，并且第三用户界面对象将以第一状态显示)。上述当用户的第一预定义部分在用户界面对象的阈值距离内时维持用户界面对象的第二状态的方式为用户提供了在查看和/或与用户界面的其他部分交互时继续与该用户界面对象交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到注意区的第二移动并且根据确定用户的第一预定义部分未与第三用户界面对象互动(1428a)(例如，当注意区已经移动时或之后，用户的第一预定义部分已经停止直接或间接与第三用户界面对象互动，诸如参考方法800、1000、1200、1600、1800和2000所述)，根据确定第一用户界面对象处于注意区内，满足该一个或多个标准，并且用户的注视指向第一用户界面对象，电子设备以第二状态(例如，悬停状态)显示(1428b)第一用户界面对象，类似于参考图13A所示和所述。在一些实施方案中，根据确定第二用户界面对象处于注意区域内，满足该一个或多个标准，并且用户的注视指向第二用户界面对象，电子设备以第二状态(例如，悬停状态)显示(1428c)第二用户界面对象。例如，当注意区域移动远离第三用户界面对象时或之后，如果用户的第一预定义部分不再与第三用户界面对象互动，则电子设备任选地不再将第三用户界面对象维持在第二状态。在一些实施方案中，电子设备基于用户的注视来使第二状态在多个用户界面对象中的用户界面对象之间移动。上述在用户的第一预定义部分不再与第三用户界面对象互动的情况下移动第二状态的方式为用户提供了能够与其他用户界面对象交互/互动的高效方式，并且当用户的第一预定义部分已经停止与第三用户界面对象的互动时不锁定与第三用户界面对象的交互，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在满足该一个或多个标准时(1430a)，在检测到用户的第一预定义部分的移动之前并且在以第二状态(例如，悬停状态)显示第一用户界面对象时，电子设备经由眼睛跟踪设备检测(1430b)到用户的注视到第二用户界面对象的移动，诸如图13B中的注视1311b(例如，用户的注视与第二用户界面对象相交而不与第一用户界面对象相交，或者用户的注视在与第二用户界面对象相交而不与第一用户界面对象相交的阈值距离内，诸如1、2、5、10英尺)。在一些实施方案中，响应于检测到用户的注视到第二用户界面对象的移动，电子设备经由显示生成部件以第二状态(例如，悬停状态)显示(1430c)第二用户界面对象，诸如图13B中用用户界面对象1303b所示(例如，并且以第一状态显示第一用户界面对象)。因此，在一些实施方案中，当用户的第一预定义部分距与多个用户界面对象中的任何用户界面对象的位置远于阈值距离时，电子设备基于用户的注视将第二状态从用户界面对象移动到用户界面对象。上述基于用户注视来移动第二状态的方式提供了使用户能够指定用户界面对象用于进一步交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到用户的第一预定义部分的移动之后并且在根据确定用户的第一预定义部分在与第二用户界面对象对应的位置的阈值距离内而以第二状态(例如，悬停状态)显示第二用户界面对象时，电子设备经由眼睛跟踪设备检测(1432a)到用户的注视到第一用户界面对象(例如，并且不指向第二用户界面对象)的移动，诸如图13C中的注视1311a或1311b。在一些实施方案中，响应于检测到用户的注视到第一用户界面对象的移动，电子设备维持以第二状态(例如，悬停状态)显示第二用户界面对象(1432b)，诸如图13C中用用户界面对象1303c所示(并且维持以第一状态显示第一用户界面对象)。因此，在一些实施方案中，当第二状态基于用户的第一预定义部分在与相关用户界面对象对应的位置的阈值距离内时，电子设备不基于用户注视来移动第二状态。在一些实施方案中，如果用户的第一预定义部分不在与相关用户界面对象对应的位置的阈值距离内，则电子设备将已任选地根据注视指向第一用户界面对象而将第二状态移动到第一用户界面对象。上述当用户的第一预定义部分在用户界面对象的阈值距离内时维持用户界面对象的第二状态的方式为用户提供了在查看和/或与用户界面的其他部分交互时继续与该用户界面对象交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
图15A至图15E示出了根据一些实施方案的电子设备101a管理来自用户的两只手的输入的示例性方式。
图15A示出了电子设备101a经由显示生成部件120显示三维环境。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101a在二维环境或用户界面中利用参考图15A至图15E所述的一种或多种技术。如上参考图1至图6所述，电子设备任选地包括显示生成部件120a(例如，触摸屏)和多个图像传感器314a。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101a交互时电子设备101a能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120a是能够检测到用户的手部的手势和移动的触摸屏。在一些实施方案中，下文所述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
图15A示出了电子设备101a显示三维环境。该三维环境包括电子设备101a的物理环境中的桌子的表示1504(例如，诸如图6B中的桌子604)、第一可选择选项1503、第二可选择选项1505和第三可选择选项1507。在一些实施方案中，桌子的表示1504是由显示生成部件120a显示的桌子的照片真实感图像(例如，视频或数字透传)。在一些实施方案中，桌子的表示1504是透过显示生成部件120a的透明部分的桌子的视图(例如，真实或物理透传)。在一些实施方案中，响应于检测到对可选择选项1503、1505和1507中的相应一者的选择，电子设备101a执行与相应选定选项相关联的动作。例如，电子设备101a激活设置、发起内容项的回放、导航到用户界面、发起与另一电子设备的通信，或执行与相应选定选项相关联的另一操作。
在图15A中，用户用他的手部1509提供指向第一可选择选项1503的输入。电子设备101a响应于检测到用户的注视1501a指向第一可选择选项1503并且用户的手部1509处于对应于提供间接输入的手部状态来检测该输入。例如，电子设备101a检测到手部1509呈与间接输入对应的手部形状，诸如手部1509的拇指与手部1509的另一根手指接触的捏合手部形状。响应于该用户输入，电子设备101a更新第一可选择选项1503的显示，这就是图15A中第一可选择选项1503与其他可选择选项1505和1507的颜色不同的原因。在一些实施方案中，电子设备101a不执行与选择输入相关联的动作，除非且直到检测到选择输入的结束，诸如检测到手部1509停止做出捏合手部形状。
在图15B中，用户用手部1509维持该用户输入。例如，用户继续用手部1509做出捏合手部形状。如图15B所示，用户的注视1501b指向第二可选择选项1505，而不是继续指向第一可选择选项1503。即使用户的注视1501b不再指向第一可选择选项1503，电子设备101a也任选地继续检测来自手部1509的输入，并且将响应于检测到该输入的结束(例如，用户不再用手部1509执行捏合手部形状)而任选地根据该输入来执行与可选择选项1503相关联的动作。
如图15B所示，尽管用户的注视1501b指向第二可选择选项1505，但电子设备101a放弃更新第二选项1505的外观并且对第二可选择选项1505进行直接输入(例如，从手部1509)。在一些实施方案中，电子设备101a对第二可选择选项1505进行直接输入，因为它未检测到用户的手部(例如，手部1509或用户的另一只手)处于满足就绪状态标准的手部状态。例如，在图15B中，没有手部满足就绪状态标准，因为手部1509已经间接地与第一用户界面元素1503互动(例如，向其提供间接输入)，并且因此不可用于对可选择选项1505的输入，并且用户的另一只手对于电子设备101a不可见(例如，没有被设备101a的各种传感器检测到)。上文参考图7A至图8K更详细地描述就绪状态标准。
在图15C中，电子设备101a在用户的注视1501b指向第二可选择选项1505并且手部1509继续间接地与选项1503互动时检测到用户的手部1511满足就绪状态标准。例如，手部1511呈对应于间接就绪状态(例如，手部状态B)的手部形状，诸如其中手部1511的拇指在手部1511的另一手指的阈值距离(例如，0.1、0.5、1、2、3、5、10等厘米)内而不接触该手指的预捏合手部形状。因为在手部1511满足就绪状态标准时用户的注视1501b指向第二可选择选项1505，所以电子设备101a更新第二可选择选项1505以指示由手部1511提供的进一步输入将指向第二可选择选项1505。在一些实施方案中，在继续检测来自手部1509的指向选项1503的输入时，电子设备101a检测到手部1511的就绪状态并且准备将手部1511的间接输入指向选项1505。
在一些实施方案中，电子设备500在用户的注视1501a如图15A所示指向选项1503时检测到手部1511处于间接就绪状态(例如，手部状态B)，并且随后检测到用户在选项1505上的注视1501b，如图15C所示。在这种情况下，在一些实施方案中，电子设备101a不更新选项1505的外观并且准备接受来自手部1511的指向选项1505的间接输入，直到在手部1511处于间接就绪状态(例如，手部状态B)时用户的注视1501b指向选项1505。在一些实施方案中，电子设备500如图15B所示在检测到手部1511处于间接就绪状态(例如，手部状态B)之前检测到用户的注视1501b指向选项1505，随后如图15C所示检测到手部1511处于间接就绪状态。在这种情况下，在一些实施方案中，电子设备不更新选项1505的外观并且准备接受来自指向选项1505的手部1511的间接输入，直到在注视1501b指向选项1505时检测到手部1511处于就绪状态。
在一些实施方案中，如果用户的注视1501b移动到第三可选择选项1507，则电子设备101b将使第二可选择选项1505恢复到图15B所示的外观，并且将更新第三可选择选项1507以指示由手部1511提供的进一步输入(例如，并且不是手部1509提供的，因为手部1509已经与可选择选项1503互动和/或向该可选择选项提供了输入)将指向第三可选择选项1507。类似地，在一些实施方案中，如果手部1509未与第一可选择选项1503互动并且替代地呈满足间接就绪状态标准的手部形状(例如，做出预捏合手部形状)，则电子设备101a将把手部1509的就绪状态指向用户正看向的可选择选项1503、1505或1507(例如，不管手部1511的状态如何)。在一些实施方案中，如果只有一只手满足间接就绪状态标准(例如，呈预捏合手部形状)并且另一只手未与用户界面元素互动而且不满足就绪状态标准，则电子设备101a将处于就绪状态的手的就绪状态指向用户正看向的可选择选项1503、1505或1507。
在一些实施方案中，如上文参考图7A至图8K所描，除了检测间接就绪状态之外，电子设备101a还检测直接就绪状态，其中用户的手部中的一只在呈与直接操纵对应的手部形状(诸如，一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状)时在用户界面元素的阈值距离(例如，1、2、3、5、10、15、30等)内。在一些实施方案中，电子设备101a能够跟踪与用户的手部中的每一只相关联的直接就绪状态。例如，如果手部1511在呈指向手部形状时在第一可选择选项1503的阈值距离内并且手部1509在呈指向手部形状时在第二可选择选项1505的阈值距离内，则电子设备101a将把手部1511的直接就绪状态和任何后续直接输入指向第一可选择选项1503并且把手部1509的直接就绪状态和任何后续直接输入指向第二可选择选项1505。在一些实施方案中，直接就绪状态指向这样的用户界面元素：手部在其阈值距离内并且根据手部的移动而移动。例如，如果手部1509从在第二可选择选项1505的阈值距离内移动到在第三可选择选项1507的阈值距离内，则电子设备101a将直接就绪状态从第二可选择选项1505移动到第三可选择选项1507，并且将手部1509的进一步直接输入指向第三可选择选项1509。
在一些实施方案中，电子设备101a能够检测来自一只手的直接就绪状态(或直接输入)和来自另一只手的间接就绪状态，该另一只手指向当该另一只手满足间接就绪状态标准时用户正看向的用户界面元素。例如，如果手部1511处于直接就绪状态或向第三可选择选项1503提供直接输入并且手部1509处于满足间接就绪状态标准的手部形状(例如，预捏合手部形状)，则电子设备101a将把手部1509的间接就绪状态以及在用户的注视继续指向相同的用户界面元素时检测到的手部1509的任何后续间接输入指向用户正看向的用户界面元素。同样，例如，如果手部1509处于直接就绪状态或向第三可选择选项1503提供直接输入并且手部1511处于满足间接就绪状态标准的手部形状(例如，预捏合手部形状)，则电子设备101a将把手部1511的间接就绪状态以及在用户的注视继续指向相同的用户界面元素时检测到的手部1511的任何后续间接输入指向用户正看向的用户界面元素。
在一些实施方案中，电子设备101a响应于检测到直接输入而停止把间接就绪状态指向用户正看向的用户界面元素。例如，在图15C中，如果手部1511要发起与第三可选择选项1507的直接交互(例如，在已经处于与可选择选项1505的间接交互状态之后)，则电子设备101a将停止以指示手部1511的间接就绪状态指向第二可选择选项1505的外观来显示第二可选择选项1505，并且将根据所提供的直接输入来更新第三可选择选项1507。例如，如果手部1511在第三可选择选项1507的直接就绪状态的阈值距离(例如，1、2、3、5、10、15、30等厘米)内，则电子设备101a将更新第三可选择选项1507以指示手部1511的进一步直接输入将指向第三可选择选项1507。作为另一示例，如果手部1511在第三可选择选项1507的直接输入阈值距离(例如，0.05、0.1、0.3、0.5、1、2等厘米)内并且直接与第三可选择选项1507互动(例如，向第三可选择选项提供直接输入)，则电子设备101a将更新第三可选择选项1507的外观以指示直接输入正被提供给第三可选择选项1507。
在一些实施方案中，如果手部1511不再满足就绪状态标准，则电子设备101a将停止把就绪状态指向用户正看向的用户界面元素。例如，如果手部1511既不与可选择选项1503、1505和1507中的一者互动，也不呈满足间接就绪状态标准的手部形状，则电子设备101a停止把与手部1511相关联的就绪状态指向用户正看向的可选择选项1503、1505或1507，但是将继续维持手部1509与选项1503的间接交互。例如，如果手部1511不再对电子设备101b可见，诸如在图15B中，则电子设备101a将恢复第二可选择选项1505的外观，诸如在图15B中。作为另一示例，如果在手部1509与第一可选择选项1503互动时手部1511间接地与用户界面元素中的一者互动，则电子设备101a将不基于用户的注视来把就绪状态指向另一用户界面元素，如下文将参考图15D所述。
例如，在图15D中，电子设备101a检测到指向第一可选择选项1503的间接输入(例如，由手部1509提供)和指向第二可选择选项1505的间接输入(例如，由手部1511提供)。如图15D所示，电子设备101a将第二可选择选项1505的外观从图15C中的第二可选择选项1505的外观更新以指示手部1513正在向第二可选择选项1505提供间接输入。在一些实施方案中，在检测到用户的手部1513呈对应于间接输入的手部形状(例如，捏合手部形状)时，电子设备101a响应于检测到用户的注视1501b指向第二可选择选项1505而将输入指向第二可选择选项1505。在一些实施方案中，当输入完成时，电子设备101a根据指向第二可选择选项1505的输入来执行动作。例如，间接选择输入在检测到手部1513停止做出捏合手势之后完成。
在一些实施方案中，当手部1513和1509两者与用户界面元素互动(例如，分别与第二可选择选项1505和第一可选择选项1503互动)时，电子设备101a不根据用户的注视来把就绪状态指向另一用户界面元素(例如，因为设备101a未检测到可用于与可选择选项1507交互的任何手部)。例如，在图15D中，用户在手部1509和1513间接地与其他可选择选项互动时将其注视1501c指向第三可选择选项1507，并且电子设备101a放弃更新第三可选择选项1507来指示进一步的输入将指向第三可选择选项1507。
图16A至图16I是示出根据一些实施方案的管理来自用户的两只手的输入的方法1600的流程图。在一些实施方案中，方法1600在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1600通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，在与显示生成部件和包括眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)的一个或多个输入设备通信的电子设备处执行方法1600。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，在电子设备101a的用户的注视(例如，1501a)指向经由显示生成部件显示的第一用户界面元素(例如，1503)时，诸如在图15A中(并且在用户的第一预定义部分(例如，用户的第一手部、手指或手臂，诸如用户的右手)与第一用户界面元素互动(例如，诸如参考方法800、1000、1200、1400、1800和/或2000所述)时)，电子设备101a经由眼睛跟踪设备检测(1602a)用户的注视(例如，1501b)远离第一用户界面元素(例如，1503)到经由显示生成部件显示的第二用户界面元素(例如，1505)的移动。在一些实施方案中，根据确定用户的预定义部分的位姿(例如，定位、取向、手部形状)满足一个或多个标准，用户的预定义部分间接地与第一用户界面元素互动。例如，响应于检测到用户的手部取向成手掌远离用户的躯干、定位在距第一用户界面元素至少阈值距离(例如，3、5、10、20、30等厘米)处，并且做出预先确定的手部形状或处于预先确定位姿，用户的手部间接地与第一用户界面元素互动。在一些实施方案中，预先确定的手部形状是其中手部的拇指在同一只手的另一根手指(例如，食指、中指、无名指、小指)的阈值距离(例如，0.5、1、2等厘米)内而不接触该手指的预捏合手部形状。例如，预先确定的手部形状是中手部的一根或多根手指伸出并且该手部的一根或多根手指朝向手掌卷曲的指向手部形状。在一些实施方案中，检测到指向手部形状包括检测到用户正指向第二用户界面元素。在一些实施方案中，不管用户正指向何处而检测到指向手部形状(例如，基于用户的注视而不是基于用户正指向的方向来引导输入)。在一些实施方案中，第一用户界面元素和第二用户界面元素是交互式用户界面元素，并且响应于检测到指向第一用户界面元素或第二用户界面元素的输入，电子设备分别执行与第一用户界面元素或第二用户界面元素相关联的动作。例如，第一用户界面元素是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，第二用户界面元素是在其中显示用户界面的容器(例如，窗口)，并且响应于检测到对第二用户界面元素的选择以及随后的移动输入，电子设备根据移动输入来更新第二用户界面元素的定位。在一些实施方案中，第一用户界面元素和第二用户界面元素是相同类型的用户界面元素(例如，可选择选项、内容项、窗口等)。在一些实施方案中，第一用户界面元素和第二用户界面元素是不同类型的用户界面元素。在一些实施方案中，响应于在用户的注视指向第一用户界面元素时检测到用户的预先确定部分与第一用户界面元素的间接互动，电子设备更新该用户界面元素的外观(例如，颜色、尺寸、定位)以指示附加输入(例如，选择输入)将指向第一用户界面元素，诸如参考方法800、1200、1800和/或2000所述。在一些实施方案中，第一用户界面元素和第二用户界面元素在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，包括这些元素的用户界面是三维环境并且/或者在三维环境内显示)。
在一些实施方案中，诸如在图15C中，响应于检测到用户的注视(例如，1501b)远离第一用户界面元素(例如，1503)移动到经由显示生成部件显示的第二用户界面元素(例如，1505)(1602b)，根据确定用户的不同于第一预定义部分(例如，1509)的第二预定义部分(例如，1511)(例如，用户的第二手指、手部或手臂，诸如用户的左手)可用于与第二用户界面元素(例如，1505)互动(例如，诸如参考方法800所述)，电子设备101a改变(1602c)第二用户界面元素(例如，1505)的视觉外观(例如，颜色、尺寸、定位)。在一些实施方案中，用户的第一预定义部分是用户的第一手部，并且用户的第二预定义部分是用户的第二手部。在一些实施方案中，响应于在用户的注视指向第一用户界面元素时检测到用户的第一预定义部分与第一用户界面元素间接互动，电子设备改变第一用户界面元素的视觉外观。在一些实施方案中，用户的第二预定义部分可用于响应于在第二预定义部分尚未与另一(例如，第三)用户界面元素互动时检测到第二预定义部分的满足一个或多个标准的位姿而与第二用户界面元素互动。在一些实施方案中，在检测到用户的注视从第一用户界面元素到第二用户界面元素的移动之前和之后，用户的第一预定义部分的位姿和位置相同。在一些实施方案中，在改变第二用户界面元素的视觉外观时和之后，用户的第一预定义部分保持与第一用户界面元素互动(例如，由用户的第一预定义部分提供的输入仍然与第一用户界面元素交互)。在一些实施方案中，响应于检测到用户的注视从第一用户界面元素移动到第二用户界面元素，用户的第一预定义部分不再与第一用户界面元素互动(例如，由用户的第一预定义部分提供的输入不与第一用户界面元素交互)。例如，在用户的第一预定义部分不再与第一用户界面元素互动时，电子设备放弃响应于由用户的第一预定义部分提供的输入来执行操作，或者响应于由用户的第一预定义部分提供的输入来利用第二用户界面元素执行操作。在一些实施方案中，响应于检测到用户在第二用户界面元素上的注视并且用户的第二预定义部分可用于与第二用户界面元素互动，用户的第二预定义部分变为与第二用户界面元素互动。在一些实施方案中，在用户的第二预定义部分与第二用户界面元素互动时，由用户的第二预定义部分提供的输入引起与第二用户界面元素的交互。
在一些实施方案中，诸如在图15B中，响应于检测到用户的注视(例如，1501b)远离第一用户界面元素(例如，1503)移动到经由显示生成部件显示的第二用户界面元素(例如，1505)(1602b)，根据确定用户的第二预定义部分不可用于与第二用户界面元素(例如，1501b)互动(例如，诸如参考方法800所述)，电子设备101a放弃(1602d)改变第二用户界面元素(例如，1501b)的视觉外观。在一些实施方案中，电子设备维持第二用户界面元素的显示而不改变第二用户界面元素的视觉外观。在一些实施方案中，如果电子设备不能检测到用户的第二预定义部分，如果用户的第二预定义部分的位姿未能满足一个或多个标准，或者如果用户的第二预定义部分已经与另一(例如，第三)用户界面元素互动，则用户的第二预定义部分不可用于与第二用户界面元素互动。在一些实施方案中，在检测到用户的注视从第一用户界面元素到第二用户界面元素的移动之前和之后，用户的第一预定义部分的位姿和位置相同。在一些实施方案中，在检测到用户的注视从第一用户界面元素移动到第二用户界面元素时和之后，用户的第一预定义部分保持与第一用户界面元素互动(例如，由用户的第一预定义部分提供的输入仍然与第一用户界面元素交互)。在一些实施方案中，响应于检测到用户的注视从第一用户界面元素移动到第二用户界面元素，用户的第一预定义部分不再与第一用户界面元素互动(例如，由用户的第一预定义部分提供的输入不与第一用户界面元素交互)。例如，在用户的第一预定义部分不再与第一用户界面元素互动时，电子设备放弃响应于由用户的第一预定义部分提供的输入来执行操作，或者响应于由用户的第一预定义部分提供的输入来利用第二用户界面元素执行操作。在一些实施方案中，响应于检测到用户在第二用户界面元素上的注视并且用户的第二预定义部分不可用于与第二用户界面元素互动，用户的第二预定义部分不变为与第二用户界面元素互动。在一些实施方案中，在用户的第二预定义部分未与第二用户界面元素互动时，由用户的第二预定义部分提供的输入不引起与第二用户界面元素的交互。在一些实施方案中，响应于在用户的第二预定义部分未与第二用户界面元素互动时检测到由用户的第二预定义部分提供的输入，如果用户的第二预定义部分未与由电子设备呈现的任何用户界面元素互动，则电子设备放弃响应于输入来执行操作。在一些实施方案中，如果用户的第二预定义部分因为与第三用户界面元素互动而未与第二用户界面元素互动，则响应于检测到由用户的第二预定义部分提供的输入，电子设备根据利用第三用户界面元素的输入来执行动作。
上述响应于在用户的第二预定义部分可用于互动时检测到用户的注视从第一用户界面元素移动到第二用户界面元素而改变第二用户界面元素的视觉外观的方式提供了使用用户的多个部分来与多个用户界面元素互动的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在满足一个或多个标准时，其中包括当用户的第一预定义部分(例如，1509)和用户的第二预定义部分(例如，1511)未与任何用户界面元素互动(1604a)(例如，电子设备当前未检测到由用户的第一或第二预定义部分提供的直接或间接输入)时满足的标准，根据确定用户的注视(例如，1501b)指向第一用户界面元素(例如，1505)，电子设备101a以指示与第一用户界面元素(例如，1505)的互动(例如，直接或间接互动)是可能的视觉特性显示(1604b)第一用户界面元素(例如，1505)，其中不以该视觉特性显示第二用户界面元素(例如，1507)，诸如在图15C中。在一些实施方案中，以指示与第一用户界面元素的互动是可能的视觉特性显示第一用户界面元素包括：与在满足该一个或多个标准时检测到用户的注视指向第一用户界面元素之前第一用户界面元素的外观相比，更新第一用户界面元素的尺寸、颜色、定位或其他视觉特性。在一些实施方案中，响应于检测到满足该一个或多个标准并且用户的注视指向第一用户界面元素，电子设备维持以在满足该一个或多个标准时检测到用户的注视指向第一用户界面元素之前第二用户界面元素显示的视觉特性来显示第二用户界面元素。在一些实施方案中，响应于在满足该一个或多个标准时检测到用户的注视从第一用户界面元素移动到第二用户界面元素，电子设备以指示与第二用户界面元素的互动是可能的视觉特性显示第二用户界面元素，并且不以该视觉特性显示第一用户界面元素。在一些实施方案中，该一个或多个标准还包括当电子设备根据方法800的一个或多个步骤检测到用户的第一或第二预定义部分处于就绪状态时满足的标准。
在一些实施方案中，在满足一个或多个标准时，其中包括当用户的第一预定义部分(例如，1509)和用户的第二预定义部分(例如，1511)未与任何用户界面元素互动(1604a)时满足的标准，根据确定用户的注视(例如，1501b)指向第二用户界面元素(例如，1505)，电子设备101a以指示与第二用户界面元素的互动(例如，直接或间接互动)是可能的视觉特性显示(1604c)第二用户界面元素(例如，1505)，其中不以该视觉特性显示第一用户界面元素(例如，1507)，诸如图15C所示。在一些实施方案中，以指示与第二用户界面元素的互动是可能的视觉特性显示第二用户界面元素包括：与在满足该一个或多个标准时检测到用户的注视指向第二用户界面元素之前第二用户界面元素的外观相比，更新第二用户界面元素的尺寸、颜色、定位或其他视觉特性。在一些实施方案中，响应于检测到满足该一个或多个标准并且用户的注视指向第二用户界面元素，电子设备维持以在满足该一个或多个标准时检测到用户的注视指向第二用户界面元素之前第一用户界面元素显示的视觉特性来显示第一用户界面元素。在一些实施方案中，响应于在满足该一个或多个标准时检测到用户的注视从第二用户界面元素移动到第一用户界面元素，电子设备以指示与第一用户界面元素的互动是可能的视觉特性显示第一用户界面元素，并且不以该视觉特性显示第二用户界面元素。
在一些实施方案中，诸如在图15C中，当满足一个或多个标准时，电子设备101a经由一个或多个输入设备检测(1604d)到来自用户的第一预定义部分(例如，1509)或第二预定义部分(例如，1511)的输入(例如，直接或间接输入)。在一些实施方案中，在检测到来自用户的第一或第二预定义部分的输入之前，电子设备检测到用户的相同预定义部分根据方法800处于就绪状态。例如，在用户的右手距用户界面元素远于阈值距离(例如，1、3、5、10、15、30等厘米)时，电子设备检测到用户用其右手做出预捏合手部形状，随后在右手距用户界面元素远于阈值距离时，电子设备检测到用户用其右手做出捏合手部形状。作为另一示例，电子设备在用户的左手在相应用户界面元素的第一阈值距离(例如，1、3、5、10、15、30等厘米)内时检测到用户用其左手做出指向手部形状，随后在维持指向手部形状时检测到用户在相应用户界面元素的第二阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)内移动其左手。
在一些实施方案中，诸如在图15A中，响应于检测到该输入(1604e)，根据确定当接收到该输入时用户的注视(例如，1501a)指向第一用户界面元素(例如，1503)，电子设备101a执行(1604f)与第一用户界面元素(例如，1503)对应的操作(例如，选择第一用户界面元素，导航到与第一用户界面元素相关联的用户界面，发起内容项的回放，激活或去激活设置，发起或终止与另一电子设备的通信，滚动第一用户界面元素的内容等)。
在一些实施方案中，诸如在图15A中，响应于检测到该输入(1604e)，根据确定当接收到该输入时用户的注视(例如，1501a)指向第二用户界面元素(例如，1503)，电子设备101a执行(1604g)与第二用户界面元素(例如，1503)对应的操作(例如，选择第一用户界面元素，导航到与第一用户界面元素相关联的用户界面，发起内容项的回放，激活或去激活设置，发起或终止与另一电子设备的通信，滚动第二用户界面元素的内容等)。在一些实施方案中，电子设备将该输入指向当接收到该输入时用户正看向的用户界面元素。
上述更新用户正看向的用户界面元素的视觉特性并将输入指向用户正看向的用户界面元素提供了允许用户使用任一只手与用户界面进行交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15C中，该一个或多个标准包括当用户的第一预定义部分(例如，1511)或第二预定义部分(例如，1509)中的至少一者可用于与用户界面元素互动(例如，直接或间接互动)时满足的标准(例如，1606a)。在一些实施方案中，当用户的第一和/或第二预定义部分根据方法800处于就绪状态时，满足该标准。在一些实施方案中，不管用户的第一和第二预定义部分中的一者或两者是否可用于互动，都满足该一个或多个标准。在一些实施方案中，用户的第一预定义部分和第二预定义部分是用户的手部。
上述响应于包括当用户的第一或第二预定义部分可用于与用户界面元素互动时满足的标准在内的一个或多个标准来指示用户界面元素中的一个可用于互动的方式提供了当用户的预定义部分可用于提供输入时指示该输入将指向哪个用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15B中，响应于检测到用户的注视(例如，1501b)远离第一用户界面元素(例如，1503)移动到经由显示生成部件显示的第二用户界面元素(例如，1505)(1608a)，根据确定用户的第一预定义部分(例如，1509)和第二预定义部分(例如，图15C中的1511)不可用于与用户界面元素互动(例如，直接或间接互动)，电子设备101a放弃(1608b)改变第二用户界面元素(例如，1501b)的视觉外观，诸如在图15B中。在一些实施方案中，当与电子设备通信的输入设备(例如，手部跟踪设备、一个或多个相机等)未检测到用户的预定义部分时，当用户的预定义部分与另一用户界面元素互动(例如，提供指向另一用户界面元素的输入)或根据方法800不处于就绪状态时，用户的预定义部分不可用于互动。例如，如果用户的右手当前正在向相应用户界面元素提供选择输入并且用户的左手未被与电子设备通信的输入设备检测到，则电子设备放弃响应于检测到用户的注视从第一用户界面元素移动到第二用户界面元素来更新第二用户界面元素的视觉外观。
上述当用户的预定义部分都不可用于互动时放弃更新第二用户界面元素的视觉外观的方式提供了仅在用户的预定义部分可用于提供输入的情况下指示输入将指向第二用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在用户的第二预定义部分(例如，1511)可用于与第二用户界面元素互动(例如，直接或间接互动)时，诸如在图15C中，并且在将第二用户界面元素(例如，1505)的视觉外观改变为第二用户界面元素(例如，1505)的改变后的外观之后，电子设备101a经由眼睛跟踪设备检测(1610a)到用户的第二预定义部分(例如，1511)不再可用于与第二用户界面元素(例如，1505)互动(例如，直接或间接互动)，诸如在图15B中(例如，在用户的注视保持在第二用户界面元素上时)。在一些实施方案中，用户的第二预定义部分不再可用于互动，因为与电子设备通信的输入设备不再检测用户的第二预定义部分(例如，用户的第二预定义部分在检测用户的第二预定义部分的一个或多个输入设备的“视场”之外)，用户的第二预定义部分变为与不同的用户界面元素互动，或者用户的第二预定义部分根据方法800停止处于就绪状态。例如，响应于检测到用户的手部从做出与就绪状态相关联的手部形状转变为做出不与就绪状态相关联的手部形状，电子设备确定用户的手部不可用于与第二用户界面元素互动。
在一些实施方案中，诸如在图15B中，响应于检测到用户的第二预定义部分(例如，图15C中的1511)不再可用于与第二用户界面元素(例如，1505)互动(例如，直接或间接互动)，电子设备101a停止(1610b)显示第二用户界面元素(例如，1505)的改变后的外观(例如，不以改变后的外观显示第二用户界面元素，和/或以第二用户界面元素在以改变后的外观显示之前所具有的外观显示第二用户界面元素)。在一些实施方案中，在用户的第二预定义部分可用于与第二用户界面元素互动时，电子设备以与在检测到用户的注视指向第二用户界面元素之前第二用户界面元素所显示的视觉外观相同的视觉外观来显示第二用户界面元素。
上述响应于检测到用户的第二预定义部分不再可用于与第二用户界面元素互动而逆转对第二用户界面元素的视觉外观的改变的方式提供了指示电子设备将不响应于由电子设备的第二预定义部分提供的输入来相对于第二用户界面元素执行动作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在确定用户的第二预定义部分(例如，图15C中的1511)不可用于与第二用户界面元素(例如，1505)互动(例如，直接或间接互动)之后并且在用户的注视(例如，1501b)指向第二用户界面元素(例如，1505)时，诸如在图15B中(例如，具有诸如指示不存在可用于与第二用户界面元素互动的用户的预定义部分的空闲状态外观的外观)，电子设备101a经由一个或多个输入设备检测(1612a)用户的第二预定义部分(例如，1511)现在可用于与第二用户界面元素(例如，1505)互动(例如，直接或间接互动)，诸如在图15C中。在一些实施方案中，检测到用户的第二预定义部分可用于互动包括检测到用户的第二预定义部分根据方法800处于就绪状态。例如，电子设备检测到用户的手部在第二用户界面元素的预定义距离(例如，1、2、3、5、10、15、30等厘米)内呈指向手部形状。
在一些实施方案中，诸如在图15C中，响应于检测到用户的第二预定义部分(例如，1511)现在可用于与第二用户界面元素(例如，1505)互动(例如，直接或间接互动)(例如，在检测到用户的注视指向第二用户界面元素时)，电子设备101a改变(1612b)第二用户界面元素(例如，1505)的视觉外观(例如，尺寸、颜色、定位、文本或线条样式等)。在一些实施方案中，响应于在用户看向不同用户界面元素时检测到用户的第二预定义部分现在可用于与该不同用户界面元素互动，电子设备更新该不同用户界面元素的视觉外观并且维持第二用户界面元素的视觉外观。
上述响应于检测到用户的第二预定义部分准备好与第二用户界面元素互动来改变第二用户界面元素的视觉外观的方式提供了向用户指示由用户的第二预定义部分提供的输入将引起指向第二用户界面元素的动作的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15D中，响应于检测到用户的注视(例如，1501c)远离第一用户界面元素(例如，1503)移动到经由显示生成部件显示的第二用户界面元素(例如，1507)(1614a)，根据确定用户的第一预定义部分(例如，1509)和第二预定义部分(例如，1511)已经与除了第二用户界面元素(例如，1507)之外的相应用户界面元素互动(例如，提供指向相应用户界面元素的直接或间接输入)，电子设备101a放弃(1614b)改变第二用户界面元素(例如，1507)的视觉外观。在一些实施方案中，如果用户的预定义部分正在提供(例如，直接或间接)指向相应用户界面元素的输入(例如，选择输入或另一输入的选择部分，诸如拖动或滚动输入)，或者如果用户的预定义部分根据方法800处于指向相应用户界面元素的直接就绪状态，则用户的第一和/或第二预定义部分已经与相应用户界面元素互动。例如，用户的右手呈对应于指向第一相应用户界面的选择输入的发起的捏合手部形状，并且用户的左手在第二相应用户界面元素的距离阈值(例如，1、3、5、10、15、30等厘米)内呈指向手部形状，该指向手部形状对应于左手处于指向第二相应用户界面元素的直接就绪状态。在一些实施方案中，响应于在用户的第一和第二预定义部分已经与其他用户界面元素互动时检测到用户在除了第二用户界面元素之外的相应用户界面元素上的注视，电子设备放弃改变相应用户界面元素的视觉外观。
上述响应于在用户的第一和第二预定义部分已经与相应的用户界面元素互动时用户的注视指向第二用户界面元素而改变第二用户界面元素的视觉外观的方式提供了向用户指示由用户的第一和第二预定义部分提供的输入将不指向第二用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15D中，确定用户的第二预定义部分(例如，1511)不可用于与第二用户界面元素(例如，1507)互动基于确定用户的第二预定义部分(例如，1511)与和第二用户界面元素(例如，1507)不同的第三用户界面元素(例如，1505)互动(例如，向第三用户界面元素提供直接或间接输入)(1616a)。在一些实施方案中，当用户的第二预定义部分正在提供(例如，直接或间接)指向第三用户界面元素的输入时或者当用户的第二预定义部分根据方法800处于与第三用户界面元素相关联的直接就绪状态时，则用户的第二预定义部分与第三用户界面元素互动。例如，如果用户的手部呈直接或间接地向第三用户界面元素提供选择输入的捏合手部形状或预捏合手部形状，则用户的手部与第三用户界面元素互动并且不可用于与第二用户界面元素互动。作为另一示例，如果用户的手部在第三用户界面元素的就绪状态阈值(例如，1、2、3、5、10、15、30等厘米)或选择阈值(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)内呈指向手部形状，则用户的手部与第三用户界面元素互动并且不可用于与第二用户界面元素互动。
上述基于确定用户的第二预定义部分与第三用户界面元素互动来确定用户的第二预定义部分不可用于与第二用户界面元素互动的方式提供了即使用户看向第二用户界面元素也维持与第三用户界面元素互动的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15D中，确定用户的第二预定义部分(例如，1511)不可用于与第二用户界面元素(例如，1507)互动(例如，直接或间接互动)基于确定用户的第二预定义部分(例如，1511)不处于与第二用户界面元素(例如，1507)互动所需的预先确定位姿(例如，位置、取向、手部形状)(1618a)。在一些实施方案中，该预先确定位姿是与方法800中的就绪状态相关联的位姿。在一些实施方案中，用户的预定义部分是用户的手部，并且预先确定位姿是在手部在相应用户界面元素的阈值距离(例如，1、2、3、5、10、15、30)内时手部呈指向手势，其中手掌面向相应用户界面元素。在一些实施方案中，用户的预定义部分是用户的手部，并且预先确定位姿是手掌面向用户界面的手部呈预捏合手部形状，其中拇指和另一手指在彼此的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)内而不接触。在一些实施方案中，如果第二预定义部分的位姿不匹配与第二用户界面元素互动所需的一个或多个预先确定位姿，则电子设备响应于检测到用户的注视在第二用户界面元素上而放弃改变第二用户界面元素的视觉外观。
上述当用户的预定义部分的位姿不是预先确定位姿时确定该预定义部分不可用于互动提供了允许用户做出预先确定位姿来发起输入并且当不需要输入时放弃做出该位姿的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，确定用户的第二预定义部分(例如，图15C中的1511)不可用于与第二用户界面元素(例如，1505)互动(例如，直接或间接互动)基于确定用户的第二预定义部分(例如，1511)未被与电子设备通信的一个或多个输入设备(例如，一个或多个相机、范围传感器、手部跟踪设备等)检测到(1620a)，诸如在图15B中。在一些实施方案中，该一个或多个输入设备在用户的第二预定义部分相对于该一个或多个输入设备具有在相对于该一个或多个输入设备的预先确定区域(例如，“视场”)内的定位时能够检测到用户的第二预定义部分，并且在用户的第二预定义部分具有相对于该一个或多个输入设备在预先确定区域之外的定位时不能检测到用户的第二预定义部分。例如，包括相机、范围传感器或其他图像传感器的手部跟踪设备具有包括由该相机、范围传感器或其他图像传感器捕获的区域的视场。在该示例中，在用户的手部不在手部跟踪设备的视场中时，用户的手部不可用于与第二用户界面元素互动，因为在用户的手部在手部跟踪设备的视场之外时，电子设备不能够检测到来自用户的手部的输入。
上述基于确定用户的预定义部分未被与电子设备通信的一个或多个输入设备检测到来确定用户的预定义部分不可用于与第二用户界面元素互动的方式提供了仅当电子设备时响应于注视来改变第二用户界面元素的视觉特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在经由显示生成部件显示第一用户界面元素(例如，1505)和第二用户界面元素(例如，1507)(1622a)时，诸如在图15E中，根据确定用户的第一预定义部分(例如，1511)在与第一用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第二预定义部分(例如，1509)在与第二用户界面元素(例如，1507)对应的位置的阈值距离内(1622b)，电子设备101a以指示用户的第一预定义部分(例如，1511)可用于与第一用户界面元素(例如，1505)直接互动的视觉特性(例如，颜色、定位、尺寸、线条或文本样式)显示(1622c)第一用户界面元素(例如，1505)(例如，在一些实施方案中，响应于接收到由用户的第一预定义部分提供给第一用户界面元素的输入，电子设备执行与第一用户界面元素相关联的对应动作。在一些实施方案中，如果用户的第一预定义部分不具有与预定义位姿对应的位姿，则电子设备放弃以指示第一用户界面元素可用于与用户的第一预定义部分直接互动的视觉特性显示第一用户界面元素。在一些实施方案中，用户的第一和第二预定义部分具有对应于预先确定位姿的位姿，诸如参考方法800、1000、1200、1400、1800和/或2000所述。
在一些实施方案中，诸如在图15E中，在经由显示生成部件显示第一用户界面元素(例如，1505)和第二用户界面元素(例如，1507)(1622a)时，根据确定用户的第一预定义部分(例如，1511)在与第一用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第二预定义部分(例如，1509)在与第二用户界面元素(例如，1507)对应的位置的阈值距离内(1622b)，电子设备101a以指示第二用户界面元素(例如，1507)可用于与用户的第二预定义部分(例如，1509)直接互动的视觉特性显示(1622d)第二用户界面元素(例如，1507)。在一些实施方案中，响应于接收到由用户的第二预定义部分向第二用户界面元素提供的输入，电子设备执行与第二用户界面元素相关联的对应动作。在一些实施方案中，如果用户的第二预定义部分不具有与预定义位姿对应的位姿(例如，诸如参考方法800、1000、1200、1400、1800和/或2000所述)，则电子设备放弃以指示第二用户界面元素可用于与用户的第二预定义部分直接互动的视觉特性显示第二用户界面元素。
上述以指示第一用户界面元素可用于直接互动的视觉特性显示第一用户界面元素并且以指示第二用户界面元素可用于互动的视觉特性显示第二用户界面元素的方式提供了使得用户能够分别与用户的第一预定义部分和第二预定义部分同时地将输入指向第一用户界面元素和第二用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15E中，在经由显示生成部件显示第一用户界面元素(例如，1505)和第二用户界面元素(例如，1507)(1624a)时，根据确定用户的第一预定义部分(例如，1515)在与第一用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第二预定义部分(例如，1509)远于与第二用户界面元素(例如，1507)对应的位置的阈值距离但可用于与第二用户界面元素(例如，1507)互动(例如，间接互动)(1624b)，诸如在图15E中，电子设备101a以指示用户的第一预定义部分(例如，1515)可用于与第一用户界面元素(例如，1505)直接互动的视觉特性(例如，颜色、尺寸、位置、透明度、形状、线条和/或文本样式)显示(1624c)第一用户界面元素(例如，1505)。在一些实施方案中，用户的第一预定义部分的位姿对应于与根据方法800的就绪状态相关联的预定义位姿。在一些实施方案中，根据确定第一预定义部分的位置从在与第一用户界面元素对应的位置的阈值距离内改变为在与第三用户界面元素对应的位置的阈值距离内，电子设备停止以该视觉特性显示第一用户界面元素并且以该视觉特性显示第三用户界面元素。在一些实施方案中，用户的第二预定义部分处于与参考方法800所述的就绪状态相关联的预先确定位姿。在一些实施方案中，用户的第二预定义部分与第二用户界面元素相距与和第二用户界面元素的间接交互对应的距离，诸如参考方法800、1000、1200、1400、1800和/或2000所述。在一些实施方案中，用户的第一预定义部分具有对应于预先确定位姿的位姿，诸如参考方法800、1000、1200、1400、1800及/或2000所述。
在一些实施方案中，诸如在图15E中，在经由显示生成部件显示第一用户界面元素(例如，1505)和第二用户界面元素(例如，1507)(1624a)时，根据确定用户的第一预定义部分(例如，1511)在与第一用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第二预定义部分(例如，1509)远于与第二用户界面元素(例如，1507)对应的位置的阈值距离但可用于与第二用户界面元素(例如，1507)互动(例如，间接互动)(1624b)，诸如在图15E中，根据确定用户的注视(例如，1501a)指向第二用户界面元素(例如，1507)，电子设备101a以指示用户的第二预定义部分(例如，1509)可用于与第二用户界面元素(例如，1507)间接互动的视觉特性显示(1624d)第二用户界面元素(例如，1507)。在一些实施方案中，如果用户的注视从指向第二用户界面元素移动成指向第三用户界面元素，则电子设备停止以该视觉特性显示第二用户界面元素并且以该视觉特性显示第三用户界面元素。
在一些实施方案中，在经由显示生成部件显示第一用户界面元素和第二用户界面元素(1624a)时，根据确定用户的第一预定义部分在与第一用户界面元素对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第二预定义部分远于与第二用户界面元素对应的位置的阈值距离但可用于与第二用户界面元素互动(例如，间接互动)(1624b)，根据确定用户的注视不指向第二用户界面元素，电子设备101a不以指示用户的第二预定义部分可用于与第二用户界面元素间接互动的视觉特性显示(1624e)第二用户界面元素。例如，在图15E中，如果用户的注视1501a不指向用户界面元素1507，则用户界面元素1507将不以指示手部1509可用于与用户界面元素1507间接互动的视觉特性(例如，图15E中的阴影)显示。在一些实施方案中，电子设备要求用户的注视指向第二用户界面元素，以便第二用户界面元素可用于间接互动。在一些实施方案中，在用户的第一预定义部分与第一用户界面元素直接互动并且用户的第二预定义部分可用于与另一用户界面元素间接互动时，电子设备指示第一用户界面元素可用于与用户的第一预定义部分直接互动并且指示用户的注视所指向的用户界面元素可用于与用户的第二预定义部分间接互动。在一些实施方案中，根据方法1400的一个或多个步骤，直接互动的指示与间接互动的指示不同。
上述以指示第一用户界面元素可用于直接互动的视觉特性显示第一用户界面元素并且以指示第二用户界面元素可用于间接互动的视觉特性显示第二用户界面元素的方式提供了使得用户能够分别与用户的第一预定义部分和第二预定义部分同时地将输入指向第一用户界面元素和第二用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图15E中，在经由显示生成部件显示第一用户界面元素(例如，1507)和第二用户界面元素(例如，1505)(1626a)时，根据确定用户的第二预定义部分(例如，1511)在与第二用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第一预定义部分(例如，1509)远于与第一用户界面元素(例如，1507)对应的位置的阈值距离内但可用于与第一用户界面元素(例如，1507)互动(例如，间接互动)(1626b)，电子设备101a以指示第二用户界面元素(例如，1505)可用于与用户的第二预定义部分(例如，1511)直接互动的视觉特性显示(1626c)第二用户界面元素(例如，1505)，诸如在图15E中。在一些实施方案中，用户的第二预定义部分的位姿对应于与根据方法800的就绪状态相关联的预定义位姿。在一些实施方案中，根据确定用户的第二预定义部分的位置从在与第二用户界面元素对应的位置的阈值距离内改变为在与第三用户界面元素对应的位置的阈值距离内，电子设备停止以该视觉特性显示第二用户界面元素并且以该视觉特性显示第三用户界面元素。在一些实施方案中，用户的第一预定义部分处于与参考方法800所述的就绪状态相关联的预先确定位姿。在一些实施方案中，用户的第一预定义部分与第一用户界面元素相距与和第一用户界面元素的间接交互对应的距离，诸如参考方法800、1000、1200、1400、1800和/或2000所述。在一些实施方案中，用户的第二预定义部分具有对应于预先确定位姿的位姿，诸如参考方法800、1000、1200、1400、1800及/或2000所述。
在一些实施方案中，诸如在图15E中，在经由显示生成部件显示第一用户界面元素和第二用户界面元素(1626a)时，根据确定用户的第二预定义部分(例如，1511)在与第二用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第一预定义部分(例如，1509)远于与第一用户界面元素(例如，1507)对应的位置的阈值距离但可用于与第一用户界面元素(例如，1507)互动(例如，间接互动)(1626b)，根据确定用户的注视(例如，1501a)指向第一用户界面元素(例如，1507)，电子设备101a以指示用户的第一预定义部分(例如，1509)可用于与第一用户界面元素(例如，1507)间接互动的视觉特性显示(1626d)第一用户界面元素(例如，1507)，诸如在图15E中。在一些实施方案中，如果用户的注视从指向第一用户界面元素移动成指向第三用户界面元素，则电子设备停止以该视觉特性显示第一用户界面元素并且以该视觉特性显示第三用户界面元素。
在一些实施方案中，诸如在图15E中，在经由显示生成部件显示第一用户界面元素(例如，1503)和第二用户界面元素(例如，1505)(1626a)时，根据确定用户的第二预定义部分(例如，1511)在与第二用户界面元素(例如，1505)对应的位置的阈值距离(例如，0.5、1、2、3、5、10、15、30、50等厘米，对应于与用户界面元素直接交互，诸如参考方法800、1000、1200、1400、1800和/或2000所述)内并且用户的第一预定义部分(例如，1509)远于与第一用户界面元素(例如，1503)对应的位置的阈值距离但可用于与第一用户界面元素(例如，1503)互动(例如，间接互动)(1626b)，根据确定用户的注视(例如，1501a)未指向第一用户界面元素(例如，1503)，电子设备101a以指示用户的第一预定义部分(例如，1509)可用于与第一用户界面元素(例如，1503)间接互动的视觉特性显示(1626e)第一用户界面元素(例如，1503)，诸如在图15E中。在一些实施方案中，电子设备要求用户的注视指向第一用户界面元素，以便第一用户界面元素可用于间接互动。在一些实施方案中，在用户的第二预定义部分与第二用户界面元素直接互动并且用户的第一预定义部分可用于与另一用户界面元素间接互动时，电子设备指示第二用户界面元素可用于与用户的第二预定义部分直接互动并且指示用户的注视所指向的用户界面元素可用于与用户的第一预定义部分间接互动。在一些实施方案中，根据方法1400的一个或多个步骤，直接互动的指示与间接互动的指示不同。在一些实施方案中，响应于在用户的第一预定义部分可用于间接互动时检测到用户的注视指向第三用户界面元素，电子设备以指示用户的第一预定义部分可用于与第三用户界面元素间接互动的视觉特性显示第三用户界面元素。在一些实施方案中，响应于在用户的第一预定义部分可用于间接互动时检测到用户的注视指向第二用户界面对象，电子设备放弃更新第二用户界面元素的视觉特性，因为用户的第二预定义部分与第二用户界面元素直接互动。
上述以指示第一用户界面元素可用于间接互动的视觉特性显示第一用户界面元素并且以指示第二用户界面元素可用于直接互动的视觉特性显示第二用户界面元素的方式提供了使得用户能够分别与用户的第一预定义部分和第二预定义部分同时地将输入指向第一用户界面元素和第二用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到用户的注视(例如，1501b)远离第一用户界面元素(例如，1503)移动到第二用户界面元素(例如，1505)之后，诸如在图15C中，并且在以改变后的视觉外观显示第二用户界面元素(例如，1505)(例如，用户的第二预定义部分距第二用户界面元素大于与直接输入相关联的距离阈值(例如，0.5、1、2、3、4、5、10、15、20、30、50等厘米)并且可用于与第二用户界面元素间接互动)时，电子设备101a经由一个或多个输入设备检测(1628a)到用户的第二预定义部分(例如，1511)与第一用户界面元素(例如，1505)直接互动，诸如在图15E中。在一些实施方案中，用户的第二预定义部分在处于用于与第一用户界面元素直接互动的预定义位姿时在第一用户界面元素的阈值距离(例如，0.5、1、3、5、10、15、30、50等厘米)内，诸如参考方法800、1000、1200、1400、1800和/或2000所述。在一些实施方案中，直接互动是根据方法800的就绪状态或用于执行动作的输入(例如，选择输入、拖动输入、滚动输入等)。
在一些实施方案中，诸如在图15E中，响应于检测到用户的第二预定义部分(例如，1511)与第一用户界面元素(例如，1505)直接互动，电子设备101a放弃(1628b)以改变后的视觉外观显示第二用户界面元素(例如，1503)。在一些实施方案中，用户的第一预定义部分不可用于与第二用户界面元素互动。在一些实施方案中，电子设备改变第一用户界面元素的视觉外观以指示第一用户界面元素与用户的第二预定义部分直接互动。在一些实施方案中，即使用户的第一预定义部分可用于与第二用户界面元素间接互动以及/或者用户的注视指向第二用户界面元素，响应于检测到用户的第二预定义部分与第一用户界面元素直接互动，电子设备也放弃以改变后的视觉外观显示第二用户界面元素。在一些实施方案中，在指示用户的第二预定义部分可用于与第二用户界面元素间接互动时，电子设备检测到用户的第二预定义部分与另一用户界面元素直接互动，并且停止显示用户的第二预定义部分可用于与第二用户界面元素间接互动的指示。
上述响应于检测到用户的第二预定义部分与第一用户界面元素直接互动而停止以改变后的外观显示第一用户界面元素提供了避免指向第二用户界面元素的意外输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图17A至图17E示出了根据一些实施方案的电子设备101a呈现用户输入的视觉指示的各种方式。
图17A示出了电子设备101a经由显示生成部件120显示三维环境。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101a在二维环境或用户界面中利用参考图17A至图17E所述的一种或多种技术。如上参考图1至图6所述，电子设备任选地包括显示生成部件120a(例如，触摸屏)和多个图像传感器314a。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101a交互时电子设备101a能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120a是能够检测到用户的手部的手势和移动的触摸屏。在一些实施方案中，下文所述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
在图17A中，电子设备101a显示三维环境，该三维环境包括电子设备101a的物理环境中的桌子(例如，诸如图6B中的桌子604)的表示1704、可滚动用户界面元素1703，和可选择选项1705。在一些实施方案中，桌子的表示1704是由显示生成部件120a显示的桌子的照片真实感视频图像(例如，视频或数字透传)。在一些实施方案中，桌子的表示1704是透过显示生成部件120a的透明部分的桌子的视图(例如，真实或物理透传)。如图17A所示，可选择选项1705显示在背板1706内和前面。在一些实施方案中，背板1706是包括与可选择选项1705对应的内容的用户界面。
如本文将更详细描述的，在一些实施方案中，电子设备101a能够基于设备101a的用户的手部和/或注视来检测输入。在图17A中，用户的手部1713处于不对应于就绪状态或输入的非活动状态(例如，手部形状)。在一些实施方案中，就绪状态与上文参考图7A至图8K所述的就绪状态相同或类似。在一些实施方案中，用户的手部1713在由设备101a显示的三维环境中可见。在一些实施方案中，电子设备101a利用显示生成部件120a来显示用户的手指和/或手部1713的照片真实感表示(例如，视频透传)。在一些实施方案中，用户的手指和/或手部1713通过显示生成部件120a的透明部分可见(例如，真实透传)。
如图17A所示，可滚动用户界面元素1703和可选择选项1705显示为具有模拟阴影。在一些实施方案中，以类似于下文参考图19A至图20F所述的方式中的一个或多个的方式呈现该阴影。在一些实施方案中，响应于检测到用户的注视1701a指向可滚动用户界面元素1703而显示可滚动用户界面元素1703的阴影，并且响应于检测到用户的注视1701b指向可选择选项1705而显示可选择选项1705的阴影。应当理解，在一些实施方案中，注视1701a和1701b被示为替代方案并且不意味着被同时检测到。在一些实施方案中，附加地或另选地，电子设备101a响应于检测到用户在可滚动用户界面元素1703上的注视1701a而更新可滚动用户界面元素1703的颜色，并且响应于检测到用户的注视1701b指向可选择选项1705而更新可选择选项1705的颜色。
在一些实施方案中，电子设备101a响应于检测到用户开始用他们的手部提供输入而在用户的手部附近显示视觉指示。图17B示出了在用户的手部附近显示用户输入的示例性视觉指示。应当理解，图17B中的手部1713、1714、1715和1716被示为替代方案，并且在一些实施方案中不必全部同时被检测到。
在一些实施方案中，响应于在检测到用户注视的1701a指向可滚动用户界面元素1703时检测到用户开始用他们的手部(例如，手部1713或1714)提供输入的，电子设备101a在用户的手部附近显示虚拟触控板(例如，1709a或1709b)。在一些实施方案中，检测到用户开始用他们的手部提供输入包括检测到手部满足上文参考图7A至图8K所述的间接就绪状态标准。在一些实施方案中，检测到用户开始用他们的手部提供输入包括检测到用户用他们的手部执行满足一个或多个标准的移动，诸如在一个或多个其他手指向手掌卷曲时检测到用户用伸出的手指开始“轻击”运动(例如，手指移动阈值距离，诸如0.1、0.2、0.3、0.5、1、2等厘米)。
例如，响应于在用户的注视1701a指向可滚动用户界面元素1703时检测到手部1713开始提供输入，电子设备101a在手部1713附近显示虚拟触控板1709a，并且虚拟触控板1709a被显示为远离可滚动用户界面元素1703。电子设备101a任选地还在虚拟触控板1709a上显示用户的手部1713的虚拟阴影1710a和虚拟触控板的虚拟阴影。在一些实施方案中，以类似于图19A至图20F所述的虚拟阴影中的一个或多个的方式显示该虚拟阴影。在一些实施方案中，阴影的尺寸和/或放置向用户指示用户必须将其手指继续移动多远来与虚拟触控板1709a交互，并且因此发起指向可滚动用户界面元素1703的输入，诸如通过指示手部1713与虚拟触控板1709a之间的距离。在一些实施方案中，当用户将他们的手部1713的手指移动得更靠近虚拟触控板1709a时，电子设备101a更新虚拟触控板1709a的颜色。在一些实施方案中，如果用户将他们的手部1713从虚拟触控板1709a移开阈值距离(例如，1、2、3、5、10、15、20、30等厘米)或停止做出与发起输入对应的手部形状，则电子设备101a停止显示虚拟触控板1709a。
相似地，响应于在用户的注视1701a指向可滚动用户界面元素1703时检测到手部1714开始提供输入，电子设备101a在手部1714附近显示虚拟触控板1709b，并且虚拟触控板1709b被显示为远离可滚动用户界面元素1703。电子设备101a任选地还在虚拟触控板1709b上显示用户的手部1714的虚拟阴影1710b和虚拟触控板的虚拟阴影。在一些实施方案中，以类似于图19A至图20F所述的虚拟阴影中的一个或多个的方式显示该虚拟阴影。在一些实施方案中，阴影的尺寸和/或放置向用户指示用户必须将其手指继续移动多远来与虚拟触控板1709a交互，并且因此发起指向可滚动用户界面元素1703的输入，诸如通过指示手部1714与虚拟触控板1709b之间的距离。在一些实施方案中，当用户将他们的手部1714的手指移动得更靠近虚拟触控板1709b时，电子设备101a更新虚拟触控板1709b的颜色。在一些实施方案中，如果用户将他们的手部1714从虚拟触控板1709b移开阈值距离(例如，1、2、3、5、10、15、20、30等厘米)或停止做出与发起输入对应的手部形状，则电子设备101a停止显示虚拟触控板1709b。
因此，在一些实施方案中，电子设备101a在用户的手部的位置附近的位置处显示虚拟触控板。在一些实施方案中，用户能够使用虚拟触控板1709a或1709b提供指向可滚动用户界面元素1703的输入。例如，响应于用户移动手部1713或1714的手指来触摸虚拟触控板1709a或1709b然后将手指从虚拟触控板(例如，虚拟轻击)移开，电子设备101a在可滚动用户界面元素1703中做出选择。作为另一示例，响应于检测到用户移动手部1713或1714的手指来触摸虚拟触控板1709a或1709b，沿着虚拟触控板移动手指，然后将手指从虚拟触控板移开，电子设备101a滚动可滚动用户界面元素1703，如下文参考图17C至图17D所述。
在一些实施方案中，电子设备101a响应于检测到用户开始提供指向可选择选项1705的输入(例如，基于确定在用户开始提供输入时用户的注视1701b指向选项1705)而显示由用户的手部提供的用户输入的视觉指示。在一些实施方案中，检测到用户开始用他们的手部提供输入包括检测到手部满足上文参考图7A至图8K所述的间接就绪状态标准。在一些实施方案中，检测到用户开始用他们的手部提供输入包括检测到用户用他们的手部执行满足一个或多个标准的移动，诸如在一个或多个其他手指向手掌卷曲时检测到用户用伸出的手指开始“轻击”运动(例如，手指移动阈值距离，诸如0.1、0.2、0.3、0.5、1、2等厘米)。
例如，响应于在用户的注视1701b指向可选择选项1705时检测到手部1715开始提供输入，电子设备101a在手部1715附近显示视觉指示1711a，并且视觉指示1711a被显示为远离可选择选项1705。电子设备101a还任选地在视觉指示1711a上显示用户的手部1715的虚拟阴影1710c。在一些实施方案中，以类似于图19A至图20F所述的虚拟阴影中的一个或多个的方式显示该虚拟阴影。在一些实施方案中，阴影的尺寸和/或放置向用户指示用户必须将其手指继续移动多远(例如，移动到视觉指示1711a的位置)来发起指向可选择用户界面元素1705的输入，诸如通过指示手部1715与视觉指示1711a之间的距离。
类似地并且在一些实施方案中，作为检测手部1715的替代方案，响应于在用户的注视1701b指向可选择选项1705时检测到手部1716开始提供输入，电子设备101a在手部1716附近显示视觉指示1711b，并且视觉指示1711b被显示为远离可选择选项1705。电子设备101a还任选地在视觉指示1711b上显示用户的手部1716的虚拟阴影1710d。在一些实施方案中，以类似于图19A至图20F所述的虚拟阴影中的一个或多个的方式显示该虚拟阴影。在一些实施方案中，阴影的尺寸和/或放置向用户指示用户必须将其手指继续移动多远(例如，移动到视觉指示1711b的位置)来发起指向可选择用户界面元素1705的输入，诸如通过指示手部1716与视觉指示1711b之间的距离。因此，在一些实施方案中，电子设备101a在三维环境中用户的开始提供输入的手部1715或1716附近的位置处显示视觉指示1711a或1711b。
应当理解，在一些实施方案中，由电子设备呈现的视觉辅助的类型不同于本文所示的示例。例如，电子设备101a能够在用户与可滚动用户界面元素1703交互时显示类似于视觉指示1711a或1711b的视觉指示。在该示例中，电子设备101a响应于在用户的注视1701a指向可滚动用户界面元素1703时检测到用户手部(例如，手部1713)的发起轻击的移动而显示类似于指示1711a和1711b的视觉指示，并且在用户移动手部1713的手指来提供滚动输入时继续显示该视觉指示，从而更新该视觉指示的定位以跟随手指的移动。作为另一示例，电子设备101a能够在用户与可选择选项1705交互时显示类似于虚拟触控板1709a和1709b的虚拟触控板。在该示例中，电子设备101a响应于在用户的注视1701b指向可选择选项1705时检测到用户手部(例如，手部1713)的发起轻击的移动而显示类似于虚拟触控板1709a和1709b的虚拟触控板。
在图17C中，电子设备101a检测到由手部1715提供的指向可滚动用户界面元素1703的输入和由手部1713提供的指向可选择选项1705的输入。应当理解，由手部1713和1715以及注视1701a和1701b提供的输入被示为替代方案，并且在一些实施方案中，被同时检测到。检测到指向可滚动用户界面元素1703的输入任选地包括检测到手部1713的手指触摸虚拟触控板1709，随后该手指和/或手部在可滚动用户界面元素1703滚动的方向上移动(例如，用于垂直滚动的垂直移动)。检测到指向可选择选项1705的输入任选地包括检测到手部1715的手指触摸视觉指示1711的移动。在一些实施方案中，检测到指向选项1705的输入需要检测到指向选项1705的用户的注视1701b。在一些实施方案中，电子设备101a检测到指向可选择选项1705的输入，而不需要检测到指向可选择选项1705的用户的注视1701b。
在一些实施方案中，响应于检测到指向可滚动用户界面元素1703的输入，电子设备101a更新可滚动用户界面元素1703和虚拟触控板1709的显示。在一些实施方案中，当接收到指向可滚动用户界面元素1703的输入时，电子设备101a将可滚动用户界面元素1703从与三维环境中的用户相关联的视点移开(例如，根据手部1713经过和/或通过虚拟触控板1709的初始深度位置的移动)。在一些实施方案中，当手部1713移动得更靠近虚拟触控板1709时，电子设备101a更新可滚动用户界面元素1703的颜色。如图17C所示，一旦接收到该输入，可滚动用户界面元素1703就从图17B所示的定位被推回，并且可滚动用户界面元素1703的阴影停止显示。类似地，一旦接收到该输入，虚拟触控板1709就被推回并且不再显示为具有图17B中所示的虚拟阴影。在一些实施方案中，可滚动用户界面元素1703往回移动的距离对应于手部1713的手指在提供指向可滚动用户界面元素1703的输入时的移动量。此外，如图17C所示，根据方法2000的一个或多个步骤，电子设备101a停止在虚拟触控板1709上显示手部1713的虚拟阴影。在一些实施方案中，在手部1713与虚拟触控板1709接触时，电子设备101a检测到与触控板1709接触的手部1713和/或手指在可滚动用户界面元素1703可滚动的方向上的横向移动，并且根据手部1713的横向移动滚动可滚动用户界面元素1703的内容。
在一些实施方案中，响应于检测到指向可选择选项1705的输入，电子设备101a更新可选择选项1705的显示和输入的视觉指示1711。在一些实施方案中，当接收到指向可选择选项1705的输入时，电子设备101a将可选择选项1705从与三维环境中的用户相关联的视点移开而且移向背板1706，并且更新可选择选项1705的颜色(例如，根据手部1715经过和/或通过视觉指示1711的初始深度位置的移动)。如图17C所示，一旦接收到该输入，可选择选项1705就从图17B所示的定位被推回，并且可选择选项1705的阴影停止显示。在一些实施方案中，可选择选项1705往回移动的距离对应于手部1715的手指在提供指向可选择选项1705的输入时的移动量。类似地，任选地根据方法2000的一个或多个步骤，电子设备101a停止在视觉指示1711上显示手部1715的虚拟阴影(例如，因为手部1715的手指现在与视觉指示1711接触)。在一些实施方案中，在手部1715的手指触摸视觉指示1711之后，用户将手指从视觉指示1711移开以提供指向可选择选项1705的轻击输入。
在一些实施方案中，响应于检测到用手1713和注视1701a指向可滚动用户界面元素1703的输入或者响应于检测到用手1715和注视1701b指向可选择选项1705的输入，电子设备101a呈现该输入已被接收的音频指示。在一些实施方案中，响应于在用户的注视不指向交互式用户界面元素时检测到满足用于提供输入的标准，电子设备101a仍呈现该输入的音频指示并且在用户的手部附近显示虚拟触控板1709或视觉指示1711，即使触摸虚拟触控板1709或视觉指示1711和/或与该虚拟触控板或视觉指示交互不会引起输入指向交互式用户界面元素。在一些实施方案中，响应于指向可滚动用户界面元素1703或可选择选项1705的直接输入，电子设备101a以类似于本文所述方式的方式分别更新可滚动用户界面元素1703或可选择选项1705的显示，并且任选地还呈现相同的音频反馈。在一些实施方案中，直接输入是当用户的手部在可滚动用户界面元素1703或可选择选项1705的阈值距离(例如，0.05、0.1、0.2、0.3、0.5、1等厘米)内时由用户的手部提供的输入(例如，类似于与方法800、1000和/或1600相关的一个或多个直接输入)。
图17D示出了电子设备101a检测到提供给可滚动用户界面元素1703和可选择选项1705的输入的结束。应当理解，在一些实施方案中，手部1713和1715以及注视1701a和1701b是彼此的替代物，并且不一定全部同时被检测到(例如，电子设备在第一时间检测到手部1713和注视1701a并且在第二时间检测到手部1715和注视1701b)。在一些实施方案中，当用户的手部1713从虚拟触控板1709移开阈值距离(例如，0.05、0.1、0.2、0.3、0.5、1等厘米)时，电子设备101a检测到指向可滚动用户界面元素1703的输入的结束。在一些实施方案中，当用户的手部1715从输入的视觉指示1711移开阈值距离(例如，0.05、0.1、0.2、0.3、0.5、1等厘米)时，电子设备101a检测到指向可选择选项1705的输入的结束。
在一些实施方案中，响应于检测到指向可滚动用户界面元素1703和可选择选项1705的输入的结束，电子设备101a将可滚动用户界面元素1703和可选择选项1705的外观恢复到这些元素在检测到输入之前的外观。例如，可滚动用户界面元素1703朝向与三维环境中的用户相关联的视点移动到其在检测到输入之前被显示的定位，并且电子设备101a继续显示可滚动用户界面元素1703的虚拟阴影。作为另一示例，可选择选项1705朝向与三维环境中的用户相关联的视点移动到其在检测到输入之前被显示的定位，并且电子设备101a恢复可选择选项1705的虚拟阴影的显示。
此外，在一些实施方案中，电子设备101a响应于检测到用户输入的结束而恢复虚拟触控板1709的外观或输入的视觉指示1711。在一些实施方案中，虚拟触控板1709朝向与三维环境中的用户相关联的视点移动到其在检测到指向可滚动用户界面元素1703的输入之前被显示的定位，并且设备101a恢复用户的手部1713的虚拟阴影1710e在触控板上的显示以及虚拟触控板1709的虚拟阴影。在一些实施方案中，在检测到指向可滚动用户界面元素1703的输入之后，电子设备101a停止虚拟触控板1709的显示。在一些实施方案中，电子设备101a在指向可滚动用户界面元素1703的输入被提供之后继续显示虚拟触控板1709并且显示虚拟触控板1709，直到电子设备101a检测到用户的手部1713从虚拟触控板1709移开阈值距离(例如，1、2、3、5、10、15等厘米)或处于阈值速度。类似地，在一些实施方案中，输入的视觉指示1711朝向与三维环境中的用户相关联的视点移动到其在检测到指向可选择选项1705的输入之前被显示的定位，并且设备101a恢复用户的手部1715的虚拟阴影1710f在视觉指示1711上的显示。在一些实施方案中，在检测到指向可选择选项1705的输入之后，电子设备101a停止该输入的视觉指示1711的显示。在一些实施方案中，在停止显示视觉指示1711之前，电子设备101a显示指示1711在停止显示之前扩展和变暗的动画。在一些实施方案中，电子设备101a响应于检测到用户开始提供对可选择选项1705的后续输入(例如，在轻击手势开始时移动手指)而恢复视觉指示1711a的显示。
在一些实施方案中，电子设备101a(例如，同时地)以协调方式接受来自用户的双手的输入。例如，在图17E中，电子设备101a显示虚拟键盘1717，可基于用户的注视以及用户的手部1721和1723的移动和/或来自用户的这些手部的输入而将输入提供到该虚拟键盘。例如，响应于在检测到用户的注视1701c或1701d指向虚拟键盘1717的各个部分时检测到用户的手部1721和1723的轻击手势，电子设备101a根据虚拟键盘1717的被注视的按键来提供文本输入。例如，响应于在用户的注视1701c指向“A”键时检测到手部1721的轻击运动，电子设备101a将“A”字符输入到文本输入字段中，并且响应于在用户的注视1701d指向“H”键时检测到手部1723的轻击运动，电子设备101a输入“H”字符。在用户用手部1721和1723提供输入时，电子设备101a显示由手部1721和1723提供的输入的指示1719a和1719b。在一些实施方案中，用于手部1721和1723中的每一者的指示1719a和/或1719b以类似方式显示和/或具有参考图17A至图17D所述的指示的一个或多个特性。视觉指示1719a和1719b任选地包括用户的手部1721和1723的虚拟阴影1710f和1710g。在一些实施方案中，阴影1710f和1719b分别指示用户的手部1721和1723与视觉指示1710f和1710g之间的距离，并且当手部1721和1723的手指分别触摸指示1710f和1710g时停止显示。在一些实施方案中，在每次轻击输入之后，电子设备101a停止显示与提供了该轻击的手部1721或1723对应的视觉指示1710f或1710g。在一些实施方案中，电子设备101a响应于检测到对应的手部1721或1723的后续轻击输入的开始而显示指示1710f和/或1710g。
图18A至图18O是示出根据一些实施方案的呈现用户输入的视觉指示的方法1800的流程图。在一些实施方案中，方法1800在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1800在与显示生成部件和一个或多个输入设备通信的电子设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成或外部)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图17A中，电子设备101a经由显示生成部件在三维环境中显示(1802a)用户界面对象(例如，1705)。在一些实施方案中，用户界面对象是交互式用户界面对象，并且响应于检测到指向用户界面对象的输入，电子设备执行与用户界面对象相关联的动作。例如，用户界面对象是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，用户界面对象是在其中显示用户界面/内容的容器(例如，窗口)，并且响应于检测到对用户界面对象的选择以及随后的移动输入，电子设备根据移动输入来更新用户界面对象的定位。在一些实施方案中，用户界面元素在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，包括用户界面对象的用户界面是三维环境并且/或者在三维环境内显示)。
在一些实施方案中，诸如在图17B中，在显示用户界面对象(例如，1705)时，电子设备101a经由该一个或多个输入设备(例如，手部跟踪设备、头部跟踪设备、眼睛跟踪设备等)检测(1802b)到包括电子设备的用户的预定义部分(例如，1715)(例如，手指、手部、手臂、头部等)的移动的相应输入，其中在相应输入期间，用户的预定义部分(例如，1715)的位置远离与用户界面对象(例如，1705)对应的位置(例如，至少远离与用户界面对象对应的位置阈值距离(例如，1、5、10、20、30、50、100等厘米))。在一些实施方案中，电子设备在包括虚拟对象(例如，用户界面对象、应用程序的表示、内容项)和用户的该部分的表示的三维环境中显示用户界面对象。在一些实施方案中，用户与三维环境中与电子设备在三维环境中的位置对应的位置相关联。在一些实施方案中，用户的该部分的表示是由显示生成部件显示的用户的该部分的照片真实感表示或者是透过显示生成部件的透明部分可见的用户的该部分的视图。在一些实施方案中，用户的预定义部分的相应输入是间接输入，诸如参考方法800、1000、1200、1600和/或2000所述。
在一些实施方案中，诸如在图17B中，在检测相应输入时(1802c)，根据确定用户的预定义部分(例如，1715)的移动的第一部分满足一个或多个标准并且用户的预定义部分(例如，1715)处于第一位置(例如，在三维环境中)，电子设备101a经由显示生成部件在三维环境中与用户的预定义部分(例如，1715)的第一定位对应的第一位置处显示(1802d)视觉指示(例如，1711a)。在一些实施方案中，当移动的第一部分具有预先确定的方向、量值或速度时，满足该一个或多个标准。在一些实施方案中，基于在检测到移动的第一部分时和/或(例如，紧接)之前用户的预先确定部分的位姿而满足该一个或多个标准。例如，如果用户的手部的手掌背对用户的躯干，同时手部处于预先确定的手部形状(例如，其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状)，同时用户将手部的一根或多根手指远离用户的躯干移动预先确定的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3等厘米)，则用户的手部的移动满足该一个或多个标准。例如，电子设备检测到用户通过移动一根或多根手指和/或一根或多根手指伸出的手部来开始执行轻击动作。在一些实施方案中，响应于检测到满足该一个或多个标准的用户的手指的移动，电子设备在手指、手部或手部的不同预先确定部分附近显示视觉指示。例如，响应于检测到用户在其手掌背对用户的躯干时开始轻击其食指，电子设备在食指的尖端附近显示视觉指示。在一些实施方案中，视觉指示被定位在远离食指的尖端的距离处，该距离与用户必须进一步移动手指以引起对输入所指向的用户界面元素(例如，用户的注视所指向的用户界面元素)的选择的距离匹配或对应。在一些实施方案中，在检测到移动的第一部分时不显示视觉指示(例如，响应于满足该一个或多个标准的移动的第一部分的完成而显示视觉指示)。在一些实施方案中，该一个或多个标准包括当用户的该部分远离用户的躯干和/或朝向用户界面对象移动预先确定距离(例如，0.1、0.2、0.5、1、2、3等厘米)时满足的标准，并且响应于在检测到满足该一个或多个标准的移动的第一部分之后，检测到用户的该部分朝向用户的躯干和/或远离用户界面对象的移动，电子设备停止显示视觉指示。在一些实施方案中，该一个或多个标准包括当用户的预定部分处于预先确定位置(诸如，在用户的注视的阈值距离(例如，2、3、5、10、15、30等厘米)内的感兴趣区域内，诸如参考方法1000所述)时满足的标准。在一些实施方案中，不管用户的该部分相对于感兴趣区域的定位如何，都满足该一个或多个标准。
在一些实施方案中，诸如在图17B中，在检测到相应输入时(1802c)，根据确定用户的预定义部分(例如，1716)的移动的第一部分满足该一个或多个标准并且用户的预定义部分(例如，1716)处于第二定位，电子设备101a经由显示生成部件在三维环境中与用户的预定义部分(例如，1716)的第二定位对应的第二位置处显示(1802e)视觉指示(例如，1711b)，其中第二位置不同于第一位置。在一些实施方案中，三维环境中显示视觉指示的位置取决于用户的预定义部分的定位。在一些实施方案中，电子设备显示相对于用户的预定义部分具有预定义空间关系的视觉指示。在一些实施方案中，响应于在用户的预定义部分处于第一定位时检测到用户的预定义部分的移动的第一部分，电子设备在三维环境中的第一位置处显示相对于用户的预定义部分具有预定义空间关系的视觉指示，并且响应于在用户的预定义部分处于第二定位时检测到用户的预定义部分的移动的第一部分，电子设备在三维环境中的第三位置处显示相对于用户的预定义部分具有预定义空间关系的视觉指示。
上述显示与用户的预先确定部分对应的、指示检测到输入并且用户的预定义部分与用户界面对象互动的视觉指示的方式提供了指示来自用户的预定义部分的输入将引起与用户界面对象的交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过减少来自用户的无意输入)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时(1804a)，根据确定用户的预定义部分(例如，1715)的移动的第一部分满足该一个或多个标准并且根据确定满足该一个或多个第二标准，包括当用户的预定义部分(例如，1715)的移动的第一部分之后是用户的预定义部分(例如，1715)的移动的第二部分时满足的标准(例如，并且用户的预定义部分的移动的第二部分满足一个或多个标准，诸如距离、速度、持续时间或其他阈值，或者移动的第二部分与移动的预先确定部分匹配，并且用户的注视指向用户界面对象)，电子设备101a根据相应输入执行(1804b)相对于用户界面对象(例如，1705)执行选择操作。在一些实施方案中，执行选择操作包括：选择用户界面对象，激活或去激活与用户界面对象相关联的设置，发起、停止或修改与用户界面对象相关联的内容项的回放，发起与用户界面对象相关联的用户界面的显示，以及/或者发起与另一电子设备的通信。在一些实施方案中，该一个或多个标准包括当移动的第二部分具有满足距离阈值(例如，用户的预定义部分与三维环境中的视觉指示之间的距离)的距离时满足的标准。在一些实施方案中，响应于检测到移动的第二部分的距离超过距离阈值，电子设备根据超过阈值的距离(例如，向后)移动视觉指示(例如，以在与用户的预定义部分对应的位置处显示视觉指示)。例如，视觉指示最初距用户的手指尖端2厘米，并且响应于检测到用户将其手指朝向用户界面对象移动3厘米，电子设备根据手指越过或穿过视觉指示的移动而将视觉指示朝向用户界面对象移动1厘米并且选择用户界面对象，一旦用户的指尖移动2厘米就发生选择。在一些实施方案中，该一个或多个标准包括根据确定用户的注视指向用户界面对象并且/或者用户界面对象处于用户的注意区中(参考方法1000所述)而满足的标准。
在一些实施方案中，在检测到相应输入时(1804a)，根据确定用户的预定义部分(例如，图17C中的1715)的移动的第一部分不满足该一个或多个标准并且根据确定满足该一个或多个第二标准，电子设备101a放弃(1804c)相对于用户界面对象(例如，图17C中的1705)执行选择操作。在一些实施方案中，即使满足该一个或多个第二标准，包括通过检测到与移动的第二部分对应的移动而满足的标准，如果移动的第一部分不满足该一个或多个标准，则电子设备也放弃执行选择操作。例如，电子设备响应于在显示视觉指示时检测到移动的第二部分而执行选择操作。在该示例中，响应于在电子设备未显示视觉指示时检测到移动的第二部分，电子设备放弃执行选择操作。
上述响应于在检测到移动的第一部分之后并且在显示视觉指示时满足一个或多个第二标准而执行选择操作的方式提供了接受基于用户的预定义部分的移动的用户输入并且在没有首先检测到移动的第一部分的情况下拒绝当用户的预定义部分的移动满足第二一个或多个标准时的无意输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时，电子设备101a经由显示生成部件显示(1806a)根据用户的预定义部分(例如，1715)的移动而移动的用户的预定义部分(例如，1715)的表示。在一些实施方案中，用户的预定义部分的表示是在三维环境中与用户的预定义部分在电子设备的物理环境中的位置对应的位置处显示的用户的该部分的照片真实感表示(例如，透传视频)。在一些实施方案中，用户的预定义部分的表示的位姿与用户的预定义部分的位姿匹配。例如，响应于检测到用户在物理环境中的第一位置处做出指向手部形状，电子设备在三维环境中的对应第一位置处显示做出指向手部形状的手部的表示。在一些实施方案中，用户的该部分的表示是透过显示生成部件的透明部分的用户的该部分的视图。
上述显示根据用户的预定义部分的移动来移动的用户的预定义部分的表示的方式提供了在用户移动用户的预定义部分以向电子设备提供输入时向用户呈现反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，用户的预定义部分(例如，1715)经由显示生成部件在三维环境中可见(1808a)。在一些实施方案中，显示生成部件包括透明部分，用户的预定义部分透过该透明部分可见(例如，真实透传)。在一些实施方案中，电子设备经由显示生成部件呈现用户的预定义部分的照片真实感表示(例如，虚拟透传视频)。
上述使得用户的预定义部分经由显示生成部件可见的方式向用户提供了用户输入的高效视觉反馈，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时并且根据确定用户的预定义部分的移动的第一部分(例如，1715)满足该一个或多个标准，电子设备101a根据相应输入修改(1810a)用户界面对象(例如，1705)的显示。在一些实施方案中，修改用户界面对象的显示包括更新用户界面对象在三维环境中的颜色、尺寸或定位中的一者或多者。
上述响应于移动的第一部分而修改用户界面对象的显示的方式提供了指示进一步输入将指向用户界面对象的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，修改用户界面对象(例如，1705)的显示包括(1812a)根据确定在用户的预定义部分(例如，1715)的移动的第一部分满足该一个或多个标准之后，用户的预定义部分(例如，1705)朝向与用户界面对象(例如，1715)对应的位置移动，根据用户的预定义部分(例如，1705)朝向与用户界面对象(例如，1705)对应的位置的移动，在三维环境中向后(例如，远离用户，在用户的预定义部分的移动的方向上)移动用户界面对象(例如，1715)(1812b)。在一些实施方案中，电子设备将用户界面对象向后移动与在满足该一个或多个标准的移动的第一部分之后的用户的预定义部分的移动量成比例的量。例如，响应于检测到用户的预定义部分移动第一量，电子设备将用户界面对象向后移动第二量。作为另一示例，响应于检测到用户的预定义部分移动大于第一量的第三量，电子设备将用户界面对象向后移动大于第二量的第四量。在一些实施方案中，在用户的预定义部分已经移动得足以引起对用户界面对象的选择之后检测到在移动的第一部分之后的用户的预定义部分的移动时，电子设备向后移动用户界面对象。
上述根据在移动的第一部分之后的用户的预定义部分的移动向后移动用户界面对象的方式提供了向用户指示输入指向哪个用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，用户界面对象(例如，1705)经由显示生成部件显示在相应用户界面(例如，1706)中(1814a)(例如，窗口或其他容器中、覆盖在背板上面、在相应应用程序的用户界面中等)。
在一些实施方案中，诸如在图17C中，根据确定相应输入是滚动输入，电子设备101a根据用户的预定义部分(例如，1713)朝向与用户界面对象(例如，1703)对应的位置的移动向后移动相应用户界面和用户界面对象(例如，1703)(1814b)(例如，用户界面元素不相对于相应用户界面元素远离用户移动，而是将用户界面元素与相应用户界面元素一起移动)。
在一些实施方案中，诸如在图17C中，根据确定相应输入是除了滚动输入之外的输入(例如，选择输入、在三维环境内移动用户界面元素的输入)，电子设备相对于相应用户界面(例如，1706)(例如，向后)移动用户界面对象(例如，1705)，而不移动相应用户界面(例如，1706)(1814c)。在一些实施方案中，用户界面对象独立于相应用户界面移动。在一些实施方案中，相应用户界面不移动。在一些实施方案中，响应于滚动输入，电子设备将用户界面对象与用户界面对象的容器一起向后移动，并且响应于除了滚动输入之外的输入，电子设备向后移动用户界面对象而不向后移动用户界面对象的容器。
上述根据相应输入的输入类型选择性地向后移动相应用户界面对象的方式提供了向用户指示输入指向哪个用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时(1816a)，在检测到用户的预定义部分(例如，1715)朝向用户界面对象(例如，1705)的移动之后并且在三维环境中向后移动用户界面对象之后，电子设备101a检测(1816b)到用户的预定义部分(例如，1715)远离与用户界面对象对应的位置(例如，朝向用户的躯干)的移动。在一些实施方案中，在响应于检测到满足一个或多个相应标准的用户的预定义部分的移动而执行选择操作之后，检测到用户的预定义部分远离与用户界面对象对应的位置的移动。在一些实施方案中，在响应于检测到不满足该一个或多个相应标准的用户的预定义部分的移动而放弃执行选择操作之后，检测到用户的预定义部分远离与用户界面对象对应的位置的移动。
在一些实施方案中，诸如在图17D中，在检测到相应输入时(1816a)，响应于检测到用户的预定义部分(例如，1715)远离与用户界面对象(例如，1705)对应的位置的移动，电子设备101a根据用户的预定义部分(例如，1715)远离与用户界面对象(例如，1705)对应的位置的移动在三维环境中向前(例如，1705)(例如，朝向用户)移动(1816c)用户界面对象。在一些实施方案中，响应于用户的预定义部分远离用户界面对象移动小于预先确定阈值的距离，电子设备在检测用户的预定义部分的移动时将相应用户界面元素向前移动与用户的预定义部分的移动距离成比例的量。在一些实施方案中，一旦用户的预定义部分的移动距离达到预先确定阈值，电子设备就在距用户的在检测到相应输入之前显示用户界面元素的距离处显示用户界面元素。在一些实施方案中，响应于检测到用户的预定义部分远离用户界面对象移动大于阈值距离，电子设备停止向前移动用户界面对象，并且维持在距用户的在检测到相应输入之前显示用户界面对象的距离处显示用户界面元素。
上述响应于用户的预定义部分远离用户界面对象的移动而向前移动用户界面对象的方式提供了向用户提供检测到远离用户界面元素的移动的反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17B中，在三维环境中与用户的预定义部分(例如，1715)的第一定位对应的第一位置处的视觉指示(例如，1711a)被显示在三维环境中的第一相应位置处的在三维环境中可见的用户的预定义部分(例如，1715)的表示附近(1818a)。在一些实施方案中，用户的预定义部分的表示是由显示生成部件显示的用户的预定义部分的照片真实感表示(例如，虚拟透传)。在一些实施方案中，用户的预定义部分的表示是透过显示生成部件的透明部分可见的用户的预定义部分(例如，真实透传)。在一些实施方案中，用户的预定义部分是用户的手部，并且视觉指示被显示在用户的手指的尖端附近。
在一些实施方案中，诸如在图17B中，在三维环境中与用户的预定义部分(例如，1715b)的第二定位对应的第二位置处的视觉指示(例如，1711b)被显示在三维环境中的第二相应位置处的在三维环境中可见的用户的预定义部分(例如，1715b)的表示附近(1818b)。在一些实施方案中，当用户移动用户的预定义部分时，电子设备更新视觉指示的定位以继续将其显示在用户的预定义部分附近。在一些实施方案中，在检测到满足该一个或多个标准的移动之后并且在检测到用户的该部分朝向用户的躯干和/或远离用户界面对象的移动之前，电子设备继续显示视觉指示(例如，在执行移动的第一部分的手指的尖端处和/或附近)并且根据用户的该部分的附加移动来更新视觉指示的定位。例如，响应于检测到满足该一个或多个标准的用户的手指的移动，该移动包括手指远离用户的躯干和/或朝向用户界面对象的移动，电子设备显示视觉指示并且在用户的手部横向或垂直移动而不朝向用户的躯干移动的情况下在手部的一部分的位置处(例如，围绕手指，诸如伸出的手指)继续显示视觉指示。在一些实施方案中，根据确定移动的第一部分不满足该一个或多个标准，电子设备放弃显示视觉指示。
上述在用户的预定义部分附近显示视觉指示的方式提供了指示用户的预定义部分的移动使得在电子设备处检测到输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图7C中，在显示用户界面对象时，电子设备101a经由该一个或多个输入设备检测(1820a)到包括用户的预定义部分(例如，709)的移动的第二相应输入，其中在第二相应输入期间，用户的预定义部分(例如，709)的位置处于与用户界面对象(例如，705)对应的位置(例如，用户的预定义部分在用户界面对象的阈值距离(例如，0.5、1、2、3、5、10、15等厘米)内，使得用户的预定义部分直接与用户界面对象交互，诸如参考方法800、1000、1200、1400、1600和/或2000所述)。
在一些实施方案中，诸如在图7C中，在检测到第二相应输入时(1820b)，电子设备根据第二相应输入修改(1820c)用户界面对象(例如，705)的显示(例如，颜色、尺寸、定位等)，而不经由显示生成部件在与用户的预定义部分(例如，709)对应的位置处显示视觉指示。例如，响应于在用户的预定义部分在用户界面对象的阈值距离(例如，0.5、1、2、3、5、10、15等厘米)内时检测到用户的预定义部分的预定义位姿，电子设备更新用户界面对象的颜色。在一些实施方案中，电子设备检测到用户的预定义部分的朝向用户界面对象的移动，并且响应于用户的预定义部分的移动并且一旦用户的预定义部分已经与用户界面对象接触，电子设备就根据用户的预定义部分的移动来移动用户界面对象(例如，以与用户的预定义部分的移动的方向、速度和/或距离对应的方向、速度和/或距离移动用户界面对象)。
上述根据第二相应输入修改用户界面对象的显示的方式提供了向用户指示第二输入指向哪个用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，电子设备(例如，101a)响应于相应输入(例如，1821a)而执行相应操作。
在一些实施方案中，在显示用户界面对象(例如，图17C中的1703、1705)时，电子设备(例如，101a)经由该一个或多个输入设备(例如，314a)检测到(例如，1821b)包括用户的预定义部分(例如，图17C中的1713、1715)的移动的第三相应输入，该移动包括与相应输入中的用户的预定义部分的移动相同类型的移动(例如，第三相应输入是相应输入的重复或基本重复)，其中在第三相应输入期间，用户的预定义部分的位置处于与用户界面对象对应的位置。例如，当提供图17C中的输入时，手部1713和/或1715位于选项1705的位置处。
在一些实施方案中，诸如在图17C中，响应于检测到第三相应输入，电子设备(例如，101)执行(例如，1821c)相应操作(例如，不经由显示生成部件在与用户的预定义部分对应的位置处显示视觉指示)。在一些实施方案中，不管所提供的输入的类型(例如，直接输入、间接输入、空中手势输入等)如何，电子设备都响应于指向相应用户界面元素的输入而执行相同操作。
不管所接收到的输入的类型如何，都响应于指向相应用户界面元素的输入而执行相同操作提供了与电子设备的一致且方便的用户交互，从而使得用户能够快速且高效地使用电子设备。
在一些实施方案中，诸如在图17B中，在检测到相应输入(1822a)之前，根据确定用户的注视(例如，1701b)指向用户界面对象(例如，1705)，电子设备以具有第一值的相应视觉特性(例如，尺寸、定位、颜色)显示(1822b)用户界面对象(例如，1705)。在一些实施方案中，在用户的注视指向用户界面对象时，电子设备以第一颜色显示用户界面对象。
在一些实施方案中，在检测到相应输入(诸如，图17B中的输入)之前(1822a)，根据确定用户的注视不指向用户界面对象(例如，1705)，电子设备以具有与第一值不同的第二值的相应视觉特性显示(1822c)用户界面对象(例如，1705)。在一些实施方案中，在用户的注视不指向用户界面对象时，电子设备以第二颜色显示用户界面对象。
上述根据用户的注视是否指向用户界面对象而更新用户界面对象的相应视觉特性的方式提供了向用户指示输入将指向哪个用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时(1824a)，在用户的预定义部分(例如，1715)的移动的第一部分满足该一个或多个标准之后(1824b)，根据确定检测到满足一个或多个第二标准的用户的预定义部分(例如，1715)的移动的第二部分以及随后的满足一个或多个第三标准的用户的预定义部分(例如，1715)的移动的第三部分，其中该一个或多个第二标准包括当用户的预定义部分(例如，1715)的移动的第二部分包括朝向与用户界面对象对应的位置大于移动阈值的移动(足以用于选择)时满足的标准，并且该一个或多个第三标准包括当移动的第三部分远离与用户界面对象(例如，1705)对应的位置并且在移动的第二部分的时间阈值(例如，0.1、0.2、0.3、0.5、1、2)内被检测到时满足的标准，电子设备101a相对于用户界面对象(例如，1705)执行(1824c)轻击操作。在一些实施方案中，用户的预定义部分的移动的第一部分是用户的预定义部分朝向用户界面对象进行的第一量的移动，用户的预定义部分的移动的第二部分是用户的预定义部分朝向用户界面对象进行的第二量的进一步移动(例如，足以间接选择用户界面对象)，并且用户的预定义部分的移动的第三部分是用户的预定义部分远离用户界面元素的移动。在一些实施方案中，轻击操作对应于对用户界面元素的选择(例如，类似于轻击显示在触摸屏上的用户界面元素)。
上述响应于检测到移动的第一部分、第二部分、第三部分而执行轻击操作的方式提供了在用户的预定义部分处于远离用户界面对象的位置时接收到轻击输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时(1826a)，在用户的预定义部分(例如，1713)的移动的第一部分满足该一个或多个标准之后(1826b)，根据确定检测到满足一个或多个第二标准的用户的预定义部分(例如，1713)的移动的第二部分以及随后的满足一个或多个第三标准的用户的预定义部分(例如，1713)的移动的第三部分，其中该一个或多个第二标准包括当用户的预定义部分(例如，1713)的移动的第二部分包括朝向与用户界面对象(例如，1703)对应的位置大于移动阈值的移动(足以用于选择)时满足的标准，并且该一个或多个第三标准包括当移动的第三部分是相对于与用户界面对象(例如，1703)对应的位置的横向移动(例如，在与改变用户的预定义部分与三维环境中与用户界面对象对应的位置之间的距离的移动方向正交的方向上的移动)时满足的标准，电子设备根据移动的第三部分相对于用户界面对象(例如，1703)执行(1826c)滚动操作。在一些实施方案中，滚动操作包括根据用户的预定义部分的移动来滚动用户界面对象的内容(例如，文本内容、图像等)。在一些实施方案中，用户界面对象的内容以与在移动的第三部分中用户的预定义部分的移动的方向、速度和/或移动量对应的方向、速度和/或量进行滚动。例如，如果横向移动是水平移动，则电子设备水平地滚动内容。作为另一示例，如果横向移动是垂直移动，则电子设备垂直地滚动内容。
上述响应于检测到移动的第一部分和第二部分以及随后的该移动的包括用户的预定义部分的横向移动的第三部分的方式提供了在用户的预定义部分远离用户界面元素定位时操纵用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在检测到相应输入时(1828a)，在用户的预定义部分(例如，1715)的移动的第一部分满足该一个或多个标准之后，电子设备经由该一个或多个输入设备检测(1828b)到用户的预定义部分(例如，1715)远离与用户界面对象(例如，1705)对应的位置的移动的第二部分(例如，用户将其手指朝向用户的躯干且远离与用户界面对象在三维环境中的位置对应的位置移动)。
在一些实施方案中，在检测到相应输入(诸如图17C中的输入)时(1828a)，响应于检测到移动的第二部分，电子设备根据移动的第二部分来更新(1828c)视觉指示(例如，1711)的外观。在一些实施方案中，更新视觉指示的外观包括改变视觉指示的半透明度、尺寸、颜色或位置。在一些实施方案中，在更新视觉指示的外观之后，电子设备停止显示视觉指示。例如，响应于检测到用户的预定义部分的移动的第二部分，电子设备扩展视觉指示并且淡化视觉指示的颜色和/或显示，然后停止显示视觉指示。
上述根据移动的第二部分来更新视觉指示的外观的方式提供了向用户确认当检测到移动的第二部分时移动的第一部分满足该一个或多个标准的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，更新视觉指示(诸如图17C中的视觉指示(例如，1711))的外观包括停止显示视觉指示(1830a)。在一些实施方案中，诸如在图17A中，在停止显示视觉指示之后，电子设备101a经由该一个或多个输入设备检测(1830b)到包括用户的预定义部分(例如，1713)的第二移动的第二相应输入，其中在第二相应输入期间，用户的预定义部分(例如，1713)的位置远离与用户界面对象(例如，1705)对应的位置(例如，三维环境中与用户的预定义部分在电子设备的物理环境中的位置对应的位置距用户界面对象在三维环境中的位置远于阈值距离(例如，3、5、10、15、30等厘米))。在一些实施方案中，阈值距离是用于直接输入的阈值距离(例如，如果距离小于阈值，则电子设备任选地检测到直接输入)。
在一些实施方案中，诸如在图17B中，在检测到第二相应输入时(1830c)，根据确定第二移动的第一部分满足该一个或多个标准，电子设备101a在第二相应输入期间经由显示生成部件在三维环境中与用户的预定义部分(例如，1715)对应的位置处显示(1830d)第二视觉指示(例如，1711a)。在一些实施方案中，当(例如，每当)电子设备检测到满足该一个或多个标准的相应移动的第一部分时，电子设备在三维环境中与用户的预定义部分对应的位置处显示视觉指示。
上述在更新第一视觉指示的外观并停止显示第一视觉指示之后响应于检测到满足该一个或多个标准的第二移动的第一部分而显示第二视觉指示的方式提供了每当电子设备检测到满足该一个或多个标准的移动部分时向用户提供视觉反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，相应输入对应于指向用户界面对象的滚动输入(1832a)(例如，在检测到满足该一个或多个标准的移动的第一部分之后，电子设备检测到用户的预定义部分在与用户界面可滚动的方向对应的方向上的进一步移动)。例如，响应于在检测到移动的第一部分之后检测到用户的预定义部分的向上移动，电子设备垂直地滚动用户界面元素。
在一些实施方案中，诸如在图17C中，电子设备101a根据相应输入滚动(1832b)用户界面对象(例如，1703)，同时维持显示视觉指示(例如，1709)。在一些实施方案中，视觉指示是虚拟触控板，并且在用户的预定义部分处于与三维环境中的虚拟触控板的位置对应的物理位置时，电子设备根据用户的预定义部分的移动来滚动用户界面对象。在一些实施方案中，响应于控制滚动方向的用户的预定义部分的横向移动，电子设备更新视觉指示的定位以继续将其显示在用户的预定义部分附近。在一些实施方案中，响应于控制滚动方向的用户的预定义部分的横向移动，电子设备维持视觉指示在三维环境中的定位。
上述在检测到滚动输入时维持显示视觉指示的方式提供了向用户提供为了提供滚动输入而将用户的预定义部分定位在何处的反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到相应输入(诸如，图17C所示的输入)时(1834a)，在用户的预定义部分(例如，1715)的移动的第一部分满足该一个或多个标准之后，电子设备经由该一个或多个输入设备检测(1834b)到满足一个或多个第二标准的用户的预定义部分(例如，1715)的移动的第二部分，该一个或多个第二标准包括当移动的第二部分对应于与视觉指示(例如，1711)对应的位置和用户的预定义部分(例如，1715)之间的距离时满足的标准。在一些实施方案中，当移动的第二部分包括至少为用户的预定义部分和与视觉指示对应的位置之间的距离的量的移动时，满足标准。例如，如果视觉指示显示在与距用户的预定义部分一厘米对应的位置处，则当移动的第二部分包括朝向与视觉指示对应的位置进行的至少一厘米的移动时满足标准。
在一些实施方案中，在检测到相应输入(诸如，图17C中的输入中的一个输入)时(1834a)，响应于检测到用户的预定义部分(例如，1715)的移动的第二部分，电子设备101a生成(1834c)指示满足该一个或多个第二标准的音频(和/或触觉)反馈。在一些实施方案中，响应于检测到满足该一个或多个第二标准的用户的预定义部分的移动的第二部分，电子设备根据对用户界面对象(例如，输入所指向的用户界面对象)的选择来执行动作。
上述生成指示移动的第二部分满足该一个或多个第二标准的反馈的方式提供了向用户确认检测到输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17B中，在显示用户界面对象(例如，1703)时，电子设备101a检测(1836a)到满足一个或多个第二标准，包括当在用户的预定义部分(例如，1713)的位置远离与用户界面对象(例如，1703)对应的位置时用户的预定义部分(例如，1713)具有相应位姿(例如，位置、取向、形状(例如，手部形状)时满足的标准。在一些实施方案中，相应位姿包括用户的手部处于与三维环境的预先确定区域对应的位置(例如，相对于用户)、手部的手掌面向与用户界面对象对应的位置以及手部呈指向手部形状。相应位姿任选地具有如参考方法800、1000、1200、1400、1600和/或2000所述的用于间接交互的就绪状态位姿的一个或多个特性。
在一些实施方案中，诸如在图17B中，响应于检测到满足该一个或多个第二标准，电子设备101a经由显示生成部件显示(1836b)在(例如，三维环境中)与用户的预定义部分(例如，1713)对应且远离用户界面对象(例如，1703)的位置附近(例如，在该位置的阈值距离(例如，1、3、5、10等厘米)内)显示虚拟表面(例如，1709a)(例如，看起来像触控板的视觉指示)。在一些实施方案中，视觉指示任选地是具有正方形角或圆角的正方形或矩形形状，以便看起来像触控板。在一些实施方案中，响应于在与虚拟表面的位置对应的位置处检测到用户的预定义部分，电子设备根据输入相对于远程用户界面对象执行动作。例如，如果用户轻击与虚拟表面对应的位置，则电子设备检测到指向远程用户界面对象的选择输入。作为另一示例，如果用户沿着虚拟表面横向移动其手部，则电子设备检测到指向远程用户界面对象的滚动输入。
上述响应于第二标准而显示虚拟表面提供了向用户呈现视觉引导以指引将用户的预定义部分定位在何处来向电子设备提供输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示虚拟表面(诸如，图17C中的虚拟表面(例如，1709))时，电子设备101a经由该一个或多个输入设备检测(1838a)到用户的预定义部分(例如，1713)朝向与虚拟表面(例如，1709)对应的位置的相应移动。在一些实施方案中，响应于检测到相应移动，电子设备根据相应移动来改变(1838b)虚拟表面(诸如，图17C中的虚拟表面(例如，1709))的视觉外观。在一些实施方案中，改变虚拟表面的视觉外观包括改变虚拟表面的颜色。在一些实施方案中，改变虚拟表面的视觉外观包括根据方法2000在虚拟表面上显示用户的手部的模拟阴影。在一些实施方案中，虚拟表面的颜色变化随着用户的预定义部分更靠近虚拟表面而增加，并且随着用户的预定义部分远离虚拟表面而反转。
上述响应于用户的预定义部分朝向与虚拟表面对应的位置的移动而改变虚拟表面的视觉外观的方式提供了向用户指示虚拟表面对应于由用户的预定义部分提供的用户输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17C中，在显示虚拟表面(例如，1709)时，电子设备101a经由该一个或多个输入设备检测(1840a)到用户的预定义部分(例如，1713)朝向与虚拟表面(例如，1703)对应的位置的相应移动。在一些实施方案中，诸如在图17C中，响应于检测到相应移动，电子设备101a根据相应移动来改变(1840b)用户界面对象(例如，1703)的视觉外观。在一些实施方案中，用户的预定义部分朝向与虚拟表面对应的位置的移动包括将用户的预定义部分移动至少为用户的预定义部分与和虚拟表面对应的位置之间的距离的距离。在一些实施方案中，响应于用户的预定义部分的移动，电子设备发起对用户界面对象的选择。在一些实施方案中，更新用户界面对象的视觉外观包括改变用户界面对象的颜色。在一些实施方案中，用户界面对象的颜色随着用户的预定义部分移动得更靠近虚拟表面而逐渐改变，并且随着用户的预定义部分远离虚拟表面移动而逐渐恢复。在一些实施方案中，视觉外观的改变的速率或程度基于移动速度、移动距离或距用户的预定义部分的虚拟触控板的距离。在一些实施方案中，改变用户界面对象的视觉外观包括在三维环境中将用户界面对象远离用户的预定义部分移动。
上述响应于检测到用户的预定义部分朝向与虚拟表面对应的位置的移动而更新用户界面对象的视觉外观的方式提供了向用户指示经由虚拟表面提供的输入将指向用户界面对象的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17B中，在与用户的预定义部分(例如，1713)对应的位置附近显示虚拟表面(例如，1709a)包括在距与用户的预定义部分(例如，1713)对应的位置相应距离处显示虚拟表面(例如，1709a)，该相应距离对应于相对于用户界面对象(例如，1703)执行操作所需的用户的预定义部分(例如，1713)朝向与虚拟表面(例如，1709a)对应的位置的移动量(1842a)。例如，如果相对于用户界面对象执行操作需要一厘米的移动，则电子设备在距与用户的预定义部分对应的位置一厘米的位置处显示虚拟表面。作为另一示例，如果相对于用户界面对象执行操作需要两厘米的移动，则电子设备在距与用户的预定义部分对应的位置两厘米的位置处显示虚拟表面。
上述在用于指示相对于用户界面对象执行操作所需的用户的预定义部分的移动量的位置处显示虚拟表面的方式提供了向用户指示如何利用用户的预定义部分与用户界面交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17B中，在显示虚拟表面(例如，1709a)时，电子设备101a在虚拟表面(例如，1709a)上显示(1844a)用户的预定义部分(例如，1713)与和虚拟表面(例如，1709a)对应的位置之间的距离的视觉指示(例如，1710a)。在一些实施方案中，视觉指示是用户的预定义部分在虚拟表面上的模拟阴影，诸如在方法2000中。在一些实施方案中，响应于检测到用户的预定义部分到与虚拟表面对应的位置的移动，电子设备相对于用户界面对象执行操作。
上述显示用户的预定义部分与和虚拟表面对应的位置之间的距离的视觉指示的方式提供了向用户指示用户的预定义部分与和虚拟表面对应的位置之间的距离的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过向用户展示相对于用户界面对象执行操作需要用户的预定义部分进行多少移动)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示虚拟表面(诸如，图17B中的虚拟表面(例如，1713))时，电子设备101a经由该一个或多个输入设备检测(1846a)到用户的预定义部分(例如，1713)到距与虚拟表面(例如，1709a)对应的位置大于阈值距离(例如，3、5、10、15等厘米)的相应位置(例如，在任何方向上)的移动。
在一些实施方案中，响应于检测到用户的预定义部分(例如，1713)到相应位置的移动，电子设备停止(1846b)在三维环境中显示虚拟表面，诸如图17B中的虚拟表面(例如，1709a)。在一些实施方案中，电子设备还根据确定用户的预定义部分的位姿不满足一个或多个标准而停止显示虚拟表面。例如，电子设备在用户的手部呈指向手部形状和/或被定位成手掌背对用户的躯干(或朝向与虚拟表面对应的位置)时显示虚拟表面，并且响应于检测到用户的手部的位姿不再满足标准，电子设备停止显示虚拟表面。
上述响应于检测到用户的预定义部分远离与虚拟表面对应的位置移动阈值距离而停止显示虚拟表面的方式提供了减少在用户不太可能与虚拟表面交互(因为用户的预定义部分距与虚拟表面对应的位置大于阈值距离)时显示虚拟表面而造成的视觉混乱的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17B中，在用户的预定义部分(例如，1713)附近显示虚拟表面包括(1848a)根据确定当满足该一个或多个第二标准时用户的预定义部分(例如，1713)处于第一相应定位(例如，用户的预定义部分的位姿(例如，手部形状、定位、取向)满足一个或多个标准，用户的注视指向用户界面对象)，在三维环境中与用户的预定义部分(例如，1713)的第一相应定位对应的第三位置处显示虚拟表面(例如，1709a)(1848b)(例如，在相对于用户的预定义部分的预定义位置处显示虚拟表面)。例如，电子设备在距与用户的预定义部分对应的位置阈值距离(例如，1、2、3、5、10等厘米)处显示虚拟表面。
在一些实施方案中，诸如在图17B中，在用户的预定义部分(例如，1714)附近显示虚拟表面(例如，1709b)包括(1848a)根据确定当满足该一个或多个第二标准时用户的预定义部分(例如，1714)处于与第一相应定位不同的第二相应定位处，在三维环境中与用户的预定义部分(例如，1714)的第二相应定位对应的与第三位置不同的第四位置处显示虚拟表面(例如，1709b)(1848c)。在一些实施方案中，显示虚拟表面的位置取决于当满足该一个或多个第二标准时用户的预定义部分的位置，使得不管当满足该一个或多个第二标准时用户的预定义部分的位置如何，都以相对于用户的预定义部分的预定义位置来显示虚拟表面。
上述根据用户的预定义部分的位置在不同位置处显示虚拟表面的方式提供了易于用户使用用户的预定义部分与虚拟表面交互的位置处显示虚拟表面的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17E中，在显示与用户的预定义部分(例如，1721)对应的视觉指示(例如，1719a)时(1850a)，电子设备101a经由该一个或多个输入设备检测(1850b)到包括用户的第二预定义部分(例如，1723)(例如，用户的第二只手)的移动的第二相应输入，其中在第二相应输入期间，用户的第二预定义部分(例如，1723)的位置远离与用户界面对象(例如，1717)对应的位置(例如，距与用户界面对象对应的位置至少阈值距离(例如，3、5、10、15、30等厘米))。
在一些实施方案中，诸如在图17E中，在显示与用户的预定义部分(例如，1721)对应的视觉指示(例如，1719a)时(1850a)，在检测到第二相应输入时(1850c)，根据确定用户的第二预定义部分(例如，1723)的移动的第一部分满足该一个或多个标准，经由显示生成部件同时显示(1850d)：与用户的预定义部分(例如，1721)对应的视觉指示(例如，1719a)(1850e)(例如，在用户的预定义部分附近显示)；和在与三维环境中的用户的第二预定义部分(例如，1723)对应的位置处的视觉指示(例如，1719b)(1850f)(例如，在用户的第二预定义部分附近显示)。在一些实施方案中，响应于检测到用户的第二预定义部分的移动而没有检测到用户的第一预定义部分的移动，电子设备更新在与用户的第二预定义部分对应的位置处的视觉指示的位置，而不更新与用户的预定义部分对应的视觉指示的位置。在一些实施方案中，响应于检测到用户的预定义部分的移动而没有检测到用户的第二预定义部分的移动，电子设备更新与用户的预定义部分对应的视觉指示的位置，而不更新在与用户的第二预定义部分对应的位置处的视觉指示的位置。
上述显示在与用户的第二预定义部分对应的位置处的视觉指示的方式提供了针对用户的两个预定义部分独立地显示视觉指示的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到相应输入(诸如，图17B中的输入)(例如，并且根据确定用户的预定义部分的移动的第一部分满足该一个或多个标准)时，电子设备101a在用户界面对象(例如，1703、1705)上显示(1852a)相应视觉指示(例如，根据方法2000的用户的手部的阴影；光标；根据方法2000的光标和光标的阴影等)，该视觉指示指示用户的预定义部分(例如，1713、1714、1715、1716)需要朝向与用户界面对象(例如，1703、1705)对应的位置移动以与用户界面对象(例如，1703、1705)互动的相应距离。在一些实施方案中，视觉指示(例如，用户的手部的阴影或光标的阴影)的尺寸和/或定位随着与用户界面对象互动所需的用户的预定义部分的附加移动距离的更新而更新。例如，一旦用户将用户的预定义部分移动与用户界面对象互动所需的量，电子设备就停止显示相应视觉指示。
上述呈现指示与用户界面对象互动所需的用户的预定义部分的移动量的相应视觉指示的方式提供了在用户利用用户的预定义部分提供输入时向用户提供反馈的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示用户界面对象(诸如，图17A中的用户界面对象(例如，1703、1705))时，电子设备101a检测(1854a)到用户的注视(例如，1701a、1701b)指向用户界面对象(例如，1703、1705)。在一些实施方案中，响应于检测到用户的注视(例如，1701a、1701b)指向用户界面对象，诸如图17A中的用户界面对象(例如，1703、1705)(例如，任选地基于根据方法1200的一个或多个消歧技术)，电子设备101a以具有第一值的相应视觉特性(例如，尺寸、颜色、定位)显示(1854b)用户界面对象(例如，1703、1705)。在一些实施方案中，根据确定用户的注视不指向用户界面对象(例如，任选地基于根据方法1200的一个或多个消歧技术)，电子设备以具有与第一值不同的第二值的相应视觉特性显示用户界面对象。在一些实施方案中，响应于检测到用户对用户界面对象的注视，电子设备将由用户的预先确定部分提供的输入指向用户界面对象，诸如参考方法800、1000、1200、1400、1600和/或2000中与用户界面对象的间接交互所述。在一些实施方案中，响应于检测到用户的注视指向第二用户界面对象，电子设备以具有第一值的相应视觉特性显示第二用户界面对象。
上述根据用户的注视更新用户界面对象的相应视觉特性的值的方式提供了向用户指示系统能够基于用户的注视来引导输入的指向的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图17A中，三维环境包括在电子设备的物理环境中的相应对象的表示(例如，1704)(1856a)。在一些实施方案中，该表示是由显示生成部件显示的相应对象的照片真实感表示(例如，透传视频)。在一些实施方案中，该表示是透过显示生成部件的透明部分的相应对象的视图。
在一些实施方案中，电子设备101a检测(1856b)到满足一个或多个第二标准，包括当用户的注视指向相应对象的表示(例如，1704)时满足的标准，以及当用户的预定义部分(例如，1713)处于相应位姿(例如，定位、取向、位姿、手部形状)时满足的标准。例如，电子设备101a以类似于电子设备101a显示图17B中的桌子的表示1704的方式显示扬声器的表示，并且在用户的注视指向扬声器的表示时检测到手部(例如，图17B中的1713、1714、1715或1716)处于相应位姿。例如，相应位姿包括在用户的手部呈相应形状(例如，指向或捏合或预捏合手部形状)时用户的手部在三维环境的预定义区域内，其中手部的手掌背对用户和/或朝向相应对象。在一些实施方案中，该一个或多个第二标准还包括当相应对象是交互式的时满足的标准。在一些实施方案中，该一个或多个第二标准还包括当对象是虚拟对象时满足的标准。在一些实施方案中，该一个或多个第二标准还包括当对象是电子设备的物理环境中的真实对象时满足的标准。
在一些实施方案中，响应于检测到满足该一个或多个第二标准，电子设备经由显示生成部件在相应对象的表示(例如，1704)附近显示(1856c)一个或多个可选择选项，其中该一个或多个可选择选项可被选择以执行与相应对象相关联的相应操作(例如，以控制相应对象的操作)。例如，响应于在用户的注视指向电子设备101a以类似于电子设备101a显示图17B中的桌子的表示1704的方式显示的扬声器的表示时检测到手部(例如，图17B中的1713、1714、1715或1716)处于相应位姿，电子设备显示一个或多个可选择选项，该一个或多个可选择选项可被选择来执行与扬声器相关联的相应操作(例如，播放、暂停、快进、后退或改变在扬声器上播放的内容的回放音量)。例如，相应对象是扬声器或扬声器系统，并且选项包括在扬声器或扬声器系统上播放或暂停回放的选项、在内容或内容列表中向前跳转或向后跳转的选项。在该示例中，电子设备与相应对象通信(例如，经由有线或无线网络连接)并且能够将指示传输到相应对象以使其根据用户与该一个或多个可选择选项的交互而执行操作。
上述响应于检测到用户的注视在相应对象上而呈现可被选择以执行与相应对象相关联的相应操作的可选择选项的方式提供了使用电子设备与相应对象交互的高效方式，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，并使用户-设备界面更加高效，这附加地通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在用户的预定义部分(例如，1713)的移动的第一部分满足该一个或多个标准之后，并且在显示与用户的预定义部分对应的视觉指示(例如，1709a)时，电子设备经由该一个或多个输入设备检测(1858a)到满足一个或多个第二标准(例如，移动速度、距离、持续时间等标准)的用户的预定义部分(例如，1713)的移动的第二部分，诸如在图17B中。
在一些实施方案中，诸如在图17B中，响应于检测到用户的预定义部分(例如，1713)的移动的第二部分(1858b)，根据确定用户的注视(例如，1701a)指向用户界面对象(例如，1703)并且用户界面对象是交互式的(1858c)(例如，电子设备响应于指向用户界面对象的用户输入而根据用户界面对象执行操作)，电子设备101a经由显示生成部件显示(1858d)指示用户的预定义部分(例如，1713)的移动的第二部分满足该一个或多个第二标准的视觉指示(例如，1709a)。在一些实施方案中，指示移动的第二部分满足第二标准的视觉指示显示在与用户的预定义部分对应的位置处的视觉指示的位置处或该视觉指示附近。在一些实施方案中，指示用户的预定义部分的移动的第二部分满足该一个或多个第二标准的视觉指示是与用户的预定义部分对应的位置处的视觉指示的已更新版本(例如，不同尺寸、颜色、半透明度等)。例如，响应于检测到引起对用户界面对象的选择的用户的预定义部分的移动，电子设备扩展视觉指示。
在一些实施方案中，诸如在图17C中，响应于检测到用户的预定义部分(例如，1713)的移动的第二部分(1858b)，根据确定用户的注视(例如，1701a)指向用户界面对象(例如，1703)并且用户界面对象(例如，1703)是交互式的(1858c)(例如，电子设备响应于指向用户界面对象的用户输入而根据用户界面对象执行操作)，电子设备101a根据相应输入执行(1858e)与用户界面对象(例如，1703)对应的操作(例如，选择用户界面对象、滚动用户界面对象、移动用户界面对象、导航到与用户界面对象相关联的用户界面、发起与用户界面对象相关联的内容的回放、或根据用户界面对象执行另一操作)。
在一些实施方案中，响应于检测到用户的预定义部分(例如，1713)的移动的第二部分(1858b)，根据确定用户的注视不指向交互式的用户界面对象(例如，1703)(1858f)，电子设备经由显示生成部件显示(1858g)视觉指示(例如，1709)，而不根据相应输入执行操作，该视觉指示指示用户的预定义部分的移动的第二部分满足该一个或多个第二标准。例如，响应于在用户的注视1701a或1701b没有指向图17B中的用户界面元素1703或1705中的任一者时检测到手部1713、1714、1715和/或1716执行移动的第二部分，电子设备分别根据手部1713、1714、1715和/或1716的移动来显示虚拟表面1709a或1709b或指示1710c或1710d。在一些实施方案中，指示移动的第二部分满足第二标准的视觉指示显示在与用户的预定义部分对应的位置处的视觉指示的位置处或该视觉指示附近。在一些实施方案中，指示用户的预定义部分的移动的第二部分满足该一个或多个第二标准的视觉指示是与用户的预定义部分对应的位置处的视觉指示的已更新版本(例如，不同尺寸、颜色、半透明度等)。在一些实施方案中，不管用户的注视是否指向交互式的用户界面对象，电子设备都呈现与指示用户的预定义部分的移动的第二部分满足该一个或多个第二标准的指示相同的指示。例如，如果用户界面对象是交互式的，则响应于检测到将引起对用户界面对象的选择的用户的预定义部分的移动，电子设备扩展视觉指示。
上述不管用户的注视是否指向交互式用户界面元素都呈现指示的方式提供了向用户指示检测到利用用户的预定义部分提供的输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图19A至图19D示出了根据一些实施方案的电子设备如何使用此类交互的视觉指示来增强与三维环境中的用户界面元素的交互的示例。
图19A示出了电子设备101经由显示生成部件120在用户界面上显示三维环境1901。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101在二维环境或用户界面中利用参考图19A至图19D所述的一种或多种技术。如上参考图1至图6所述，电子设备101任选地包括显示生成部件120(例如，触摸屏)和多个图像传感器314。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120是能够检测到用户的手的手势和移动的触摸屏。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图19A中所示，三维环境1901包括(例如，经由设备101的用户的手部1913a、1913b和/或1913c所提供的用户输入)可交互的三个用户界面对象1903a、1903b和1903c。手部1913a、1913b和/或1913c任选地是由设备101同时检测到或由设备101交替地检测到的用户的手部，使得设备101对来自这些手部的本文所述的输入的响应任选地同时或交替地和/或顺序地发生。设备101任选地基于手部1913a、1913b和/或1913c所提供的直接或间接输入(例如，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)的各种特性而将此类输入指向用户界面对象1903a、1903b和/或1903c。在图19A中，三维环境1901还包括电子设备101的物理环境中的桌子的表示604(例如，诸如参考图6B所述)。在一些实施方案中，桌子的表示604是由显示生成部件120显示的桌子的照片真实感视频图像(例如，视频或数字透传)。在一些实施方案中，桌子的表示604是透过显示生成部件120的透明部分的桌子的视图(例如，真实或物理透传)。
在图19A至图19D中，手部1913a和1913b与用户界面对象1903a间接交互(例如，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)，并且手部1913c与用户界面对象1903b直接交互(例如，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)。在一些实施方案中，用户界面对象1903b是本身响应于输入的用户界面对象。在一些实施方案中，用户界面对象1903b是虚拟触控板类型的用户界面对象，指向该用户界面对象的输入使得设备101将对应输入指向远离用户界面对象1903b的用户界面对象1903c(例如，如参考方法1800所述)。
在一些实施方案中，响应于检测到用户的手部处于间接就绪状态手部形状并且处于距用户界面对象的间接交互距离处，设备101显示光标，该光标远离用户的手部，在距用户的注视所指向的用户界面对象预先确定距离处。例如，在图19A中，设备101检测到手部1913a在距用户界面对象1903a的间接交互距离处(例如，如参考方法800所述)处于间接就绪状态手部形状(例如，如参考方法800所述)，并且任选地检测到用户的注视指向用户界面对象1903a。作为响应，设备101在距用户界面对象1903a预先确定距离(例如，在用户界面对象前面0.1、0.5、1、2、5、10cm)处且远离手部1913a和/或手部1913a上的手指(例如，食指)显示光标1940a。光标1940a的位置任选地由手部1913a的位置控制，使得如果手部1913a和/或手部1913a上的手指(例如，食指)横向移动，则设备101横向移动光标1940a，并且如果手部1913a和/或手指(例如，食指)朝向或远离用户界面对象1903a移动，则设备101朝向或远离用户界面对象1903a移动光标1940a。光标1940a任选地是与手部1913a和/或手部1913a上的对应手指的位置对应的视觉指示。当设备101检测到手部1913a和/或手部1913a上的对应手指向用户界面对象1903a充分移动使得光标1940a根据这样的移动向下触及用户界面对象1903a时，手部1913a任选地与用户界面对象1903a交互(例如，选择、滚动用户界面对象，等等)。
如图19A所示，设备101还在用户界面对象1903a上显示模拟阴影1942a，该模拟阴影对应于光标1940a并且具有基于光标1940a的形状的形状，就好像它是由光标1940a投射在用户界面对象1903a上的。模拟阴影1942a的尺寸、形状、颜色和/或位置任选地随着光标1940a相对于用户界面对象1903a移动(对应于手部1913a的移动)而适当更新。模拟阴影1942a因此提供手部1913a与用户界面对象1903a交互(例如，选择、滚动用户界面对象，等等)所需的手部1913a朝向用户界面对象1903a移动的量的视觉指示，这任选地当光标1940a向下触及用户界面对象1903a时发生。模拟阴影1942a附加地或另选地提供手部1913a与用户界面对象1903a之间的交互的类型(例如，间接)的视觉指示，因为模拟阴影1942a的尺寸、颜色和/或形状任选地基于光标1940a的尺寸和/或形状，任选地设备101针对间接交互而非直接交互而显示该模拟阴影，直接交互将在稍后描述。
在一些实施方案中，用户界面对象1903a是可同时经由两只手(例如，手部1913a和1913b)交互的用户界面对象。例如，用户界面对象1903a任选地是虚拟键盘，该虚拟键盘的键可经由手部1913a和/或手部1913b来选择。手部1913b任选地与用户界面对象1903a间接交互(例如，类似于相对于手部1913a所述)。因此，设备101显示与手部1913b对应的光标1940b以及与光标1940b对应的模拟阴影1942b。光标1940b和模拟阴影1942b任选地具有光标1940a和模拟阴影1942a的特性中的一个或多个特性，类似地适用于手部1913b的上下文中。在设备101同时检测到手部1913a和1913b与用户界面对象1903a间接交互的实施方案中，设备101任选地同时显示光标1940a和1940b(分别由手部1913a和1913b控制)以及模拟阴影1942a和1942b(分别对应于光标1940a和1940b)。在图19A中，光标1940a任选地比光标1940b更远离用户界面对象1903a；因此，设备101将光标1940a显示为比光标1940b更大，并且相应地将模拟阴影1942a显示为比模拟阴影1942b更大并且与模拟阴影1942b相对于光标1940b相比与光标1940a横向偏移得更多。在一些实施方案中，三维环境1901中的光标1940a和1940b的尺寸是相同的。在光标1940a和1940b分别被设备101显示之后，光标1940a任选地比光标1940b更远离用户界面对象1903a，因为手部1913a(对应于光标1940a)任选地朝向用户界面对象1903a移动的量小于手部1913b(对应于光标1940b)朝向用户界面对象1903a移动的量。
在图19B中，设备101已经检测到手部1913a和1913b(和/或手部1913a和1913b上的对应手指)朝向用户界面对象1903a移动。手部1913a任选地朝向用户界面对象1903a移动小于手部1913a与用户界面对象1903a间接交互所需的量(例如，小于光标1940a向下触及用户界面对象1903a所需的量)的量。响应于手部1913a的移动，设备101任选地在三维环境1901中朝向用户界面对象1903a移动光标，从而以比之前更小的尺寸显示光标1940a，以比之前更小的尺寸显示阴影1942a，减小阴影1942a与光标1940a之间的横向偏移，以及/或者以具有与之前不同的值(例如，更暗)的视觉特性显示阴影1942a。因此，设备101已更新阴影1942a的显示以反映手部1913a与用户界面对象1903a的交互，使得阴影1942a继续指示手部1913a与用户界面对象1903a之间的交互的一个或多个特性(例如，诸如先前所述的特性，包括用户的手部与用户界面对象交互(例如，选择用户界面对象，等等)所需的朝向用户界面对象的剩余移动)。
在图19B中，手部1913b任选地朝向用户界面对象1903a移动等于或大于手部1913b与用户界面对象1903a交互所需的量(例如，等于或大于光标1940b向下触及用户界面对象1903a所需的量)的量。响应于手部1913b的移动，设备101任选地朝向三维环境1901中的用户界面对象1903a移动光标，并将光标1940b显示为正在向下触及用户界面对象1903a，从而以比之前更小的尺寸显示光标1940b以及/或者停止显示阴影1942b。响应于手部1913b的移动和/或光标1940b对用户界面对象1903a的向下触及，设备101任选地检测到来自手部1913b的对应输入(例如，选择输入、滚动输入、轻击输入、按压-保持-抬离输入等，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)并将其指向用户界面对象1903a，如图19B中光标1940b旁边的复选标记所指示的。
在图19C中，设备101检测到手部1913a相对于图19B中手部1913a的位置横向移动(例如，同时手部1913b保持处于光标1940b保持向下触及用户界面对象1903a的定位/状态)。作为响应，设备101相对于用户界面对象1903a横向移动光标1940a和阴影1942a，如图19C所示。在一些实施方案中，如果手部1913a的移动不包括朝向或远离用户界面对象1903a的移动，而是仅包括相对于用户界面对象1903a为横向的移动，则光标1940a和阴影1942a(除了横向位置之外)的显示从图19B至图19C保持不变。在一些实施方案中，如果手部1913a的移动不包括朝向或远离用户界面对象1903a的移动，而是仅包括相对于用户界面对象1903a为横向的移动，则设备101维持光标1940a(除了横向位置之外)的显示，但是基于在阴影1942a的新位置处的用户界面对象1903a的内容或其他特性来改变阴影1942a的显示。
在图19D中，设备101检测到手部1913a朝向用户界面对象1903a移动等于或大于手部1913a与用户界面对象1903a交互所需的量(例如，等于或大于光标1940a向下触及用户界面对象1903a所需的量)的量。在一些实施方案中，当手部1913b保持处于光标1940b保持向下触及用户界面对象1903a的定位/状态时，检测到手部1913a的移动。响应于手部1913a的移动，设备101任选地朝向三维环境1901中的用户界面对象1903a移动光标，并将光标1940a显示为正在向下触及用户界面对象1903a，从而以比之前更小的尺寸显示光标1940b以及/或者停止显示阴影1942b。响应于手部1913a的移动和/或光标1940a对用户界面对象1903a的向下触及，设备101任选地识别到来自手部1913a的到用户界面对象1903a的对应输入(例如，选择输入、滚动输入、轻击输入、按压-保持-抬离输入等，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)，如图19D中光标1940a旁边的复选标记所指示的。在一些实施方案中，设备101检测到来自手部1913a和1913b的同时(如在光标1940a和1940b旁边的同时出现的复选标记所指示的)、相应地或顺序地指向用户界面对象1903a的输入。
在一些实施方案中，响应于手部1913a和/或1913b在光标1940a和/或1940b向下触及用户界面对象1903a时的横向移动，设备101将基于移动的输入指向用户界面对象1903a(例如，滚动输入)，同时根据手部1913a和/或1913b的横向移动来横向移动保持向下触及用户界面对象1903a的光标1940a和/或1940b(例如，不重新显示阴影1942a和/或1942b)。在一些实施方案中，响应于手部1913a和/或1913b当光标1913a和/或1913b向下触及用户界面对象1903a时远离用户界面对象1903a的移动，设备101识别到指向用户界面对象1903a的对应输入(例如，同时或顺序地识别到轻击输入、长按输入、滚动输入等中的一者或多者)的结束，并且/或者根据手部1940a和/或1940b的移动将光标1940a和/或1940b远离用户界面对象1903a移动。当设备101根据手部1913a和/或1913b的移动将光标1940a和/或1940b远离用户界面对象1903a移动时，设备相应地任选地以先前所述的一个或多个特性重新显示阴影1942a和/或1942b。
返回到图19A，在一些实施方案中，设备101同时和/或交替地检测到设备101的用户的手部与用户界面对象之间的直接交互。例如，在图19A中，设备101检测到手部1913c与用户界面对象1903b直接交互。手部1913c任选地在用户界面对象1903b的直接交互距离内(例如，如参考方法800所述)，并且/或者呈直接就绪状态手部形状(例如，如参考方法800所述)。在一些实施方案中，当设备101检测到手部与用户界面对象直接交互时，设备101在该用户界面对象上显示与该手部对应的模拟阴影。在一些实施方案中，如果手部在由设备101显示的三维环境的视点的视场内，则设备101在三维环境中显示该手部的表示。应当理解，在一些实施方案中，如果与用户界面对象间接交互的手部在由设备101显示的三维环境的视点的视场内，则设备101类似地在三维环境中显示该部的表示。
例如，在图19A中，设备101显示与手部1913c对应的模拟阴影1944。模拟阴影1944任选地具有基于手部1913c和/或手部1913c上的手指(例如，食指)的形状和/或尺寸的形状和/或尺寸，就好像它是由手部1913c和/或手指投射在用户界面对象1903b上的。模拟阴影1944的尺寸、形状、颜色和/或位置任选地随着手部1913c相对于用户界面对象1903b移动而适当更新。模拟阴影1944因此提供手部1913c与用户界面对象1903b交互(例如，选择、滚动用户界面对象，等等)所需的手部1913c和/或手部1913c上的手指(例如，食指)朝向用户界面对象1903b移动的量的视觉指示，这任选地在手部1913c和/或手部1913c上的手指向下触及用户界面对象1903b时发生(例如，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)。模拟阴影1944附加地或另选地提供手部1913c与用户界面对象1903b之间的交互的类型(例如，直接)的视觉指示，因为模拟阴影1944的尺寸、颜色和/或形状任选地基于手部1913c的尺寸和/或形状(例如，而不是基于任选地对于与用户界面对象的直接交互不显示的光标的尺寸和/或形状)。在一些实施方案中，由设备101显示的手部1913c的表示是由显示生成部件120在三维环境1901中与手部1913c在设备101的物理环境中的位置对应的位置处显示的手部1913c的照片真实感视频图像(例如，视频或数字透传)(例如，该表示的显示位置随着手部1913c移动而更新)。因此，在一些实施方案中，模拟阴影1944是就好像它是由设备101显示的手部1913c的表示投射的阴影。在一些实施方案中，由设备101显示的手部1913c的表示是透过显示生成部件120的透明部分的手部1913c的视图(例如，真实或物理透传)，因此手部1913c的表示在三维环境1901中的位置随着手部1913c移动而改变。因此，在一些实施方案中，模拟阴影1944是就好像它是由手部1913c自身投射的阴影。
在图19B中，设备101已经检测到手部1913c和/或手部1913c上的手指朝向用户界面对象1903b移动。手部1913c任选地朝向用户界面对象1903b移动小于手部1913c与用户界面对象1903b直接交互所需的量的量。响应于手部1913c的移动，在图19B中，设备101以比之前更小的尺寸显示阴影1944，减小阴影1944与手部1913c之间的横向偏移并且/或者以具有与之前不同的值(例如，更暗)的视觉特性显示阴影1944。因此，设备101已更新阴影1944的显示以反映手部1913c与用户界面对象1903b的交互，使得阴影1944继续指示手部1913c与用户界面对象1903b之间的交互的一个或多个特性(例如，诸如先前所述的特性，包括用户的手部与用户界面对象交互(例如，选择用户界面对象，等等)所需的朝向用户界面对象的剩余移动)。
在图19C中，设备101检测到手部1913c相对于图19B中手部1913c的位置横向移动。作为响应，设备101相对于用户界面对象1903b横向移动阴影1944，如图19C所示。在一些实施方案中，如果手部1913c的移动不包括朝向或远离用户界面对象1903b的移动，而是仅包括相对于用户界面对象1903b为横向的移动，则阴影1944(除了横向位置之外)的显示从图19B至图19C保持不变。在一些实施方案中，设备101基于阴影1944的新位置处的用户界面对象1903b的内容或其他特性来改变阴影1944的显示。
在图19D中，设备101检测到手部1913c朝向用户界面对象1903b移动等于或大于手部1913c与用户界面对象1903b交互所需(例如，手部1913c或手部1913c上的手指向下触及用户界面对象1903b所需)的量的量。响应于手部1913c的移动，设备101任选地停止或调整阴影1944的显示。响应于手部1913c的移动和手部1913c对用户界面对象1903b的向下触及，设备101任选地识别到来自手部1913c的到用户界面对象1903b的对应输入(例如，选择输入、滚动输入、轻击输入、按压-保持-抬离输入等，如参考方法800、1000、1200、1400、1600、1800和/或2000所述)，如图19D中用户界面对象1903b中的复选标记所指示的。如果用户界面对象1903b是虚拟触控板类型的用户界面对象(例如，如参考方法1800所述)，则设备101任选地将与手部1913c与用户界面对象1903b的交互对应的输入指向远程用户界面对象1903c，如图19D中的用户界面对象1903c中的复选标记所指示的。
在一些实施方案中，响应于手部1913c在手部1913c和/或手部1913c上的手指保持向下触及用户界面对象1903b时的横向移动，设备101根据手部1913c的横向移动将基于移动的输入(例如，滚动输入)指向用户界面对象1903b和/或1903c(例如，不重新显示或调整阴影1944)。在一些实施方案中，响应于手部1913c和/或手部1913c上的手指远离用户界面对象1903b的移动，设备101识别到指向用户界面对象1903b和/或1903c的对应输入(例如，轻击输入、长按输入、滚动输入等)的结束，并且相应地以先前所述的特性中的一个或多个特性重新显示或调整阴影1944。
图20A至图20F是示出根据一些实施方案的使用此类交互的视觉指示来增强与三维环境中的用户界面元素的交互的方法的流程图。在一些实施方案中，方法2000在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法2000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法2000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法2000在与显示生成部件和一个或多个输入设备通信的电子设备(例如，101a)处执行。例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手部运动传感器)等。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，电子设备经由显示生成部件显示(2002a)用户界面对象，诸如图19A至图19D中的用户界面对象1903a和/或1903b。在一些实施方案中，用户界面对象是交互式用户界面对象，并且响应于检测到指向给定对象的输入，电子设备执行与用户界面对象相关联的动作。例如，用户界面对象是可选择选项，该可选择选项在被选择时使得电子设备执行动作，诸如显示相应用户界面、改变电子设备的设置或发起内容的回放。作为另一示例，用户界面对象是在其中显示用户界面/内容的容器(例如，窗口)，并且响应于检测到对用户界面对象的选择以及随后的移动输入，电子设备根据移动输入来更新用户界面对象的定位。在一些实施方案中，用户界面元素在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，包括用户界面对象的用户界面是三维环境并且/或者在三维环境内显示)。
在一些实施方案中，在显示用户界面对象时，电子设备经由该一个或多个输入设备检测(2002b)到由电子设备的用户的第一预定义部分(诸如，图19A至图19D中的手部1913a、1913b、1913c)指向用户界面对象的输入(例如，电子设备的用户的手部、手指等与用户界面对象的直接或间接交互，诸如参考方法800、1000、1200、1400、1600和/或1800所述)。
在一些实施方案中，在检测到指向用户界面对象的输入时，电子设备经由显示生成部件显示(2002c)在用户界面对象上显示的模拟阴影，诸如阴影1942a、1942b和/或阴影1944，其中模拟阴影具有基于指示与用户界面对象的交互的元素相对于用户界面对象的定位的外观(例如，看起来是由远离用户的第一预定义部分和/或与用户的第一预定义部分对应的光标投射的模拟阴影(例如，诸如参考方法1800所述的视觉指示)或看起来是由用户的第一预定义部分的表示投射的模拟阴影(例如，手部/手指的虚拟表示，以及/或者经由物理或数字透传显示的实际手部/手指)等)，该外观任选地基于模拟光源和/或元素的形状(例如，光标或用户的一部分的形状)。例如，如果用户的第一预定义部分正在与用户界面对象直接交互，则电子设备生成看起来是由用户的第一预定义部分投射在用户界面对象上的模拟阴影(例如，并且不生成看起来是由光标/视觉指示投射在用户界面对象上的阴影)，这任选地指示与用户界面对象的交互是直接交互(例如，而不是间接交互)。在一些实施方案中，这样的模拟阴影指示用户的第一预定义部分与用户界面对象之间的间距(例如，指示用户的第一预定义部分与用户界面对象交互所需的朝向用户界面对象的移动的距离)。如下文将更详细描述的，在一些实施方案中，电子设备针对与用户界面对象的间接交互生成不同类型的模拟阴影，其指示交互是间接的(例如，而非直接的)。上述生成并显示指示与用户界面对象的交互的阴影的方式提供了指示与用户界面对象发生的交互的存在和/或类型的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过减少与用户界面对象交互的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，该元素包括光标，该光标显示在与远离用户的第一预定义部分的位置对应的位置处，并且由用户的第一预定义部分的移动来控制(2004a)，诸如光标1940a和/或光标1940b。例如，在一些实施方案中，当用户的第一预定义部分(例如，用户的手部)处于特定位姿并且与和用户界面对象对应的位置相距与用户界面对象的间接交互对应的距离时，诸如参考方法800所述，电子设备在用户界面对象附近显示光标，该光标的位置/移动由用户的第一预定义部分(例如，用户的手部和/或用户的手部上的手指的位置/移动)控制。在一些实施方案中，响应于用户的第一预定义部分朝向与用户界面对象对应的位置的移动，电子设备减小光标与用户界面对象之间的间距，并且当用户的第一预定义部分的移动是足够用于选择用户界面对象的移动时，电子设备消除光标与用户界面对象之间的间距(例如，使得光标触摸用户界面对象)。在一些实施方案中，模拟阴影是光标在用户界面对象上的模拟阴影，并且模拟阴影随着光标的定位在用户界面对象上改变而更新/改变，并且/或者光标距用户界面对象的距离基于用户的第一预定义部分的移动/定位而改变。上述显示光标和指示与用户界面对象的交互的该光标的模拟阴影的方式提供了指示用户的第一预定义部分与用户界面对象交互所需的输入的类型和/或量的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过减少与用户界面对象交互的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示用户界面对象和第二用户界面对象时，并且在检测到由用户的第一预定义部分指向用户界面对象的输入之前(2006a)，根据确定满足一个或多个第一标准，包括当用户的注视指向用户界面对象时满足的标准(例如，与和用户界面对象的间接交互对应的标准，包括基于用户的第一预定义部分距用户界面对象的距离、用户的第一预定义部分的位姿等的一个或多个标准，诸如参考方法800所述)，电子设备经由显示生成部件在距用户界面对象预先确定距离处显示(2006b)光标，诸如参考图19A中的光标1940a和1940b所述(例如，在满足一个或多个第一标准之前，任选地不与用户界面对象相关联地显示光标)。在一些实施方案中，当满足该一个或多个第一标准时，光标最初被显示为与用户界面对象分开预先确定的量(例如，0.1、0.5、1、5、10cm)。在显示光标之后，与光标与用户界面对象的初始间距对应的用户的第一预定义部分的移动(例如，朝向用户界面对象)任选地是通过光标与用户界面对象交互/选择用户界面对象所需的。
在一些实施方案中，根据确定满足一个或多个第二标准，包括当用户的注视指向第二用户界面对象时满足的标准(例如，与和第二用户界面对象的间接交互对应的标准，包括基于用户的第一预定义部分距第二用户界面对象的距离、用户的第一预定义部分的位姿等的一个或多个标准，诸如参考方法800所述)，电子设备经由显示生成部件在距第二用户界面对象预先确定距离处显示(2006b)光标，诸如，如果就图19A中的对象1903c(例如，作为对象1903a的补充或替代)而言，已满足本文所述的光标显示标准，这将任选地使得设备101对于与对象1903c的交互显示类似于光标1940a和/或1940b的光标。例如，在满足该一个或多个第二标准之前，任选地不与第二用户界面对象相关联地显示光标。在一些实施方案中，当满足该一个或多个第二标准时，光标最初被显示为与第二用户界面对象分开预先确定的量(例如，0.1、0.5、1、5、10cm)。在显示光标之后，与光标与第二用户界面对象的初始间距对应的用户的第一预定义部分的移动(例如，朝向第二用户界面对象)任选地是通过光标与第二用户界面对象交互/选择第二用户界面对象所需的。因此，在一些实施方案中，电子设备基于用户的注视来显示用于与相应用户界面对象交互的光标。上述基于注视来显示用于与相应用户界面对象交互的光标的方式提供了准备与用户界面对象交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过当用户正看向用户界面对象时，准备好接受与用户界面对象的交互)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，模拟阴影包括用户的第一预定义部分的虚拟表示的模拟阴影(2008a)，诸如参考与手部1913c对应的模拟阴影1944所述。例如，电子设备任选地利用一个或多个传感器捕获关于用户在电子设备的物理环境中的一只或多只手的图像/信息等，并且经由显示生成部件在这些手部在由电子设备显示的三维环境(例如，包含所述用户界面对象)中的相应对应位置处显示这些手部的表示。在一些实施方案中，电子设备在由电子设备显示的三维环境中显示用户的手部或用户的手部的部分的那些表示的模拟阴影(例如，作为在用户界面对象上显示的阴影)，以指示用户的手部与用户界面对象之间的交互的一或多个特性，如本文所述(任选地不显示用户的其他部分的阴影或不显示用户的手部的其他部分的阴影)。在一些实施方案中，与用户的手部对应的模拟阴影是在用户的手部与用户界面对象之间的直接交互(例如，如参考方法800所述)期间在用户界面对象上的模拟阴影。在一些实施方案中，该模拟阴影提供了用户的第一预定义部分与用户界面对象之间的距离(例如，用于选择用户界面对象)、用户界面对象上用户的第一预定义部分将/正在与其交互的位置等中的一者或多者的视觉指示。上述显示与用户的第一预定义部分的表示对应的模拟阴影的方式提供了指示与用户界面对象的直接交互的特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，模拟阴影包括用户的物理第一预定义部分的模拟阴影(2010a)，诸如参考与手部1913c对应的模拟阴影1944所述。例如，电子设备任选地(例如，经由透明或半透明显示生成部件)使用户的一只或多只手在电子设备的物理环境中的视图透过其，并且经由显示生成部件显示三维环境(例如，包括用户界面对象)，这导致该一只或多只手的视图在由电子设备显示的三维环境中可见。在一些实施方案中，电子设备在由电子设备显示的三维环境中显示用户的那些手部或用户的手部的部分的模拟阴影(例如，作为在用户界面对象上显示的阴影)，以指示用户的手部与用户界面对象之间的交互的一或多个特性，如本文所述(任选地不显示用户的其他部分的阴影或不显示用户的手部的其他部分的阴影)。在一些实施方案中，与用户的手部对应的模拟阴影是在用户的手部与用户界面对象之间的直接交互(例如，如参考方法800所述)期间在用户界面对象上的模拟阴影。在一些实施方案中，该模拟阴影提供了用户的第一预定义部分与用户界面对象之间的距离(例如，用于选择用户界面对象)、用户界面对象上用户的第一预定义部分将/正在与其交互的位置等中的一者或多者的视觉指示。上述显示与用户的第一预定义部分的视图对应的模拟阴影的方式提供了指示与用户界面对象的直接交互的特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到指向用户界面对象的输入时并且在显示用户界面对象上显示的模拟阴影时(2012a)(例如，在用户界面对象上显示光标的阴影时或者在用户界面对象上显示用户的第一预定义部分的阴影时)，电子设备经由该一个或多个输入设备检测(2012b)到由用户的第一预定义部分进行的指向用户界面对象的输入的进展(例如，用户的第一预定义部分朝向用户界面对象移动)，诸如参考图19B中的手部1913a所述。在一些实施方案中，响应于检测到指向用户界面对象的输入的进展，电子设备根据由用户的第一预定义部分进行的指向用户界面对象的输入的进展(例如，基于移动的距离、基于移动的速度、基于移动的方向)来改变(2012c)在用户界面对象上显示的模拟阴影的视觉外观(例如，尺寸、暗度、半透明度等)，诸如参考图19B中的阴影1942a所述。例如，在一些实施方案中，模拟阴影的视觉外观任选地随着用户的第一预定义部分相对于用户界面对象移动而改变。例如，当用户的第一预定义部分朝向用户界面对象(例如，朝向选择用户界面对象/与用户界面对象交互)移动时，电子设备任选地以第一方式改变模拟阴影的视觉外观，并且当用户的第一预定义部分远离用户界面对象(例如，远离选择用户界面对象/与用户界面对象交互)移动时，电子设备任选地以与第一方式不同(例如，与第一方式相反)的第二方式改变模拟阴影的视觉外观。上述基于指向用户界面对象的输入的进展而改变模拟阴影的视觉外观的方式提供了指示朝向对用户界面对象的选择的进展或从对用户界面对象的选择的倒退的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，改变模拟阴影的视觉外观包括改变用于显示模拟阴影的亮度(2014a)，诸如参考阴影1942a和/或阴影1944所述。例如，在一些实施方案中，在用户的第一预定义部分(例如，以及因此在适用时，光标)朝向用户界面对象(例如，朝向对用户界面对象的选择/与用户界面对象的交互)移动时，电子设备任选地以更大暗度来显示(例如，手部和/或光标的)模拟阴影，并且在用户的第一预定义部分(例如，以及因此在适用时，光标)远离用户界面对象(例如，远离对用户界面对象的选择/与用户界面对象的交互)移动时，电子设备任选地以更小暗度来显示(例如，手部和/或光标的)模拟阴影。上述基于指向用户界面对象的输入的进展而改变模拟阴影的暗度的方式提供了指示朝向对用户界面对象的选择的进展或从对用户界面对象的选择的倒退的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，改变模拟阴影的视觉外观包括改变用于显示模拟阴影(2016a)的模糊程度(和/或弥散程度)等级，诸如参考阴影1942a和/或阴影1944所述。例如，在一些实施方案中，在用户的第一预定义部分(例如，以及因此在适用时，光标)朝向用户界面对象(例如，朝向对用户界面对象的选择/与用户界面对象的交互)移动时，电子设备任选地以更低模糊程度和/或弥散程度来显示(例如，手部和/或光标的)模拟阴影，并且在用户的第一预定义部分(例如，以及因此在适用时，光标)远离用户界面对象(例如，远离对用户界面对象的选择/与用户界面对象的交互)移动时，电子设备任选地以更大模糊程度和/或弥散程度来显示(例如，手部和/或光标的)模拟阴影。上述基于指向用户界面对象的输入的进展而改变模拟阴影的模糊程度的方式提供了指示朝向对用户界面对象的选择的进展或从对用户界面对象的选择的倒退的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象的交互中的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，改变模拟阴影的视觉外观包括改变模拟阴影的尺寸(2018a)，诸如参考阴影1942a和/或阴影1944所述。例如，在一些实施方案中，在用户的第一预定义部分(例如，以及因此在适用时，光标)朝向用户界面对象(例如，朝向对用户界面对象的选择/与用户界面对象的交互)移动时，电子设备任选地以更小尺寸来显示(例如，手部和/或光标的)模拟阴影，并且在用户的第一预定义部分(例如，以及因此在适用时，光标)远离用户界面对象(例如，远离对用户界面对象的选择/与用户界面对象的交互)移动时，电子设备任选地以更大尺寸来显示(例如，手部和/或光标的)模拟阴影。上述基于指向用户界面对象的输入的进展而改变模拟阴影的尺寸的方式提供了指示朝向对用户界面对象的选择的进展或从对用户界面对象的选择的倒退的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到指向用户界面对象的输入时并且在显示用户界面对象上显示的模拟阴影时(2020a)(例如，在用户界面对象上显示光标的阴影时或者在用户界面对象上显示用户的第一预定义部分的阴影时)，电子设备经由该一个或多个输入设备检测(2020b)到输入的与相对于用户界面对象横向移动元素对应的第一部分(例如，检测到用户的第一预定义部分相对于与用户界面对象对应的位置的横向移动)，诸如参考图19C中的手部1913a或图19C中的手部1913c所述。在一些实施方案中，响应于检测到输入的第一部分，电子设备以第一视觉外观(例如，尺寸、形状、颜色、暗度、模糊程度、弥散程度等中的第一一者或多者)在用户界面对象上的第一位置处显示(2020c)模拟阴影，诸如参考图19C中的手部1913a或图19C中的手部1913c所述。在一些实施方案中，电子设备经由该一个或多个输入设备检测(2020d)到输入的与相对于用户界面对象横向移动元素对应的第二部分(例如，检测到用户的第一预定义部分相对于与用户界面对象对应的位置的另一横向移动)。在一些实施方案中，响应于检测到输入的第二部分，电子设备以与第一视觉外观不同的第二视觉外观(例如，尺寸、形状、颜色、暗度、模糊程度、弥散程度等中的不同的一者或多者)在用户界面对象上与第一位置不同的第二位置处显示(2020e)模拟阴影，诸如参考图19C中的手部1913a或图19C中的手部1913c所述。在一些实施方案中，当模拟阴影在用户界面对象上方横向移动(例如，对应于用户的第一预定义部分的横向运动)时，电子设备改变模拟阴影的视觉外观。在一些实施方案中，视觉外观的差异基于以下中的一者或多者：在其上方显示模拟阴影的用户界面对象的内容的差异、用户的第一预定义部分与用户界面对象(用户界面对象上的模拟阴影的不同位置)之间的距离的差异，等等。上述基于阴影和/或用户的第一预定义部分的横向移动来改变模拟阴影的视觉外观的方式提供了指示与用户界面对象的交互的、与用户界面对象的不同位置相关的一个或多个特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象上的不同位置交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，用户界面对象是虚拟表面(例如，虚拟触控板)，并且在虚拟表面附近的位置处检测到的输入向远离虚拟表面的第二用户界面对象提供输入(2022a)，诸如相对于用户界面对象1903b和1903c所述。例如，在一些实施方案中，当用户的第一预定义部分(例如，用户的手部)处于特定位姿并且处于与和特定用户界面对象的间接交互对应的距离处时，诸如参考方法800所述，电子设备在用户的第一预定义部分附近(例如，距用户的第一预定义部分的预先确定距离，诸如0.1、0.5、1、5、10cm)显示虚拟触控板并且在虚拟触控板上显示与用户的第一预定义部分对应的模拟阴影。在一些实施方案中，响应于用户的第一预定义部分朝向虚拟触控板的移动，电子设备基于用户的第一预定义部分与虚拟触控板的相对定位和/或距离来更新模拟阴影。在一些实施方案中，当用户的第一预定义部分的移动是足够用于利用用户的第一预定义部分选择虚拟触控板的移动时，电子设备基于用户的第一预定义部分与虚拟触控板之间的交互向特定远程用户界面对象提供输入(例如，选择输入、轻击输入、滚动输入等)。虚拟表面具有在三维环境中与用户的预定义部分的相应定位对应的各个位置处显示的视觉指示的一个或多个特性，如参考方法1800所述。上述显示虚拟触控板和虚拟触控板上的模拟阴影的方式提供了指示与虚拟触控板(以及因此与远程用户界面对象)的交互的一个或多个特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免经由虚拟触控板与远程用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，用户的第一预定义部分与用户界面对象直接交互(例如，如参考方法1400所述)，并且模拟阴影显示在用户界面对象上(2024a)，诸如参考图19A至图19D中的用户界面对象1903b所述。例如，如果用户的第一预定义部分正在与用户界面对象直接交互，则电子设备生成看起来是由用户的第一预定义部分投射在用户界面对象上的模拟阴影(例如，并且不生成看起来是由光标/视觉指示投射在用户界面对象上的阴影)，这任选地指示与用户界面对象的交互是直接交互(例如，而不是间接交互)。在一些实施方案中，这样的模拟阴影指示用户的第一预定义部分与和用户界面对象对应的位置之间的间距(例如，指示用户的第一预定义部分与用户界面对象交互所需的朝向用户界面对象的移动的距离)。上述当用户的第一预定义部分直接与用户界面对象交互时在用户界面对象上显示模拟阴影的方式提供了指示与用户界面对象的交互的一个或多个特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，根据确定用户的第一预定义部分在与用户界面对象对应的位置的阈值距离(例如，1、2、5、10、20、50、100、500cm)内，模拟阴影对应于用户的第一预定义部分(2026a)，诸如阴影1944(例如，如果用户的第一预定义部分与用户界面对象直接交互，诸如参考方法800、1000、1200、1400、1600和/或1800所述，则电子设备在用户界面对象上显示模拟阴影，其中模拟阴影对应于用户的第一预定义部分(例如，具有基于用户的第一预定义部分的形状)。在一些实施方案中，电子设备不显示与用户的第一预定义部分对应的、用于用户的第一预定义部分与用户界面对象之间的交互的光标)。在一些实施方案中，根据确定用户的第一预定义部分距与用户界面对象对应的位置远于阈值距离(例如，1、2、5、10、20、50、100、500cm)，模拟阴影对应于由用户的第一预定义部分控制的光标(2026b)，诸如阴影1942a和/或1942b。例如，如果用户的第一预定义部分正在与用户界面对象间接交互，诸如参考方法800、1000、1200、1400、1600和/或1800所述，则电子设备在用户界面对象上显示光标和模拟阴影，其中模拟阴影对应于光标(例如，具有基于光标的形状)。光标和/或与光标对应的阴影的示例性细节先前已在本文中描述。上述选择性地显示光标及其对应阴影的方式提供了有利于与用户界面对象的适当交互(例如，直接或间接)的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到由用户的第一预定义部分指向用户界面对象的输入时，电子设备检测(2028a)到由用户的第二预定义部分指向该用户界面对象的第二输入，诸如检测到手部1913a和1913b与用户界面对象1903a交互(例如，用户的两只手满足与同一用户界面对象的间接交互标准，诸如参考方法800所述。在一些实施方案中，用户界面对象是由显示生成部件显示的虚拟键盘，并且电子设备能够接受来自用户的两只手的用于选择键盘的相应键来向电子设备输入的输入)。在一些实施方案中，在同时检测到指向用户界面对象的输入和第二输入时，电子设备同时在用户界面对象上显示(2028b)相对于用户界面对象的指示用户的第一预定义部分与用户界面对象的交互的模拟阴影(2028c)，以及相对于用户界面对象的指示用户的第二预定义部分与用户界面对象的交互的第二模拟阴影(2028d)，诸如阴影1942a和1942b。例如，电子设备在键盘上显示与用户的第一预定义部分对应的模拟阴影(例如，如果用户的第一预定义部分与键盘间接交互，则显示光标的阴影，或者如果用户的第一预定义部分与键盘直接交互，则显示用户的第一预定义部分的阴影)并且在键盘上显示与用户的第二预定义部分对应的模拟阴影(例如，如果用户的第二预定义部分与键盘间接交互，则显示光标的阴影，或者如果用户的第二预定义部分与键盘直接交互，则显示用户的第二预定义部分的阴影)。在一些实施方案中，与用户的第一预定义部分对应的模拟阴影具有指示用户的第一预定义部分与用户界面对象的交互的一个或多个特性(例如，如本文所述)，并且与用户的第二预定义部分对应的模拟阴影具有指示用户的第二预定义部分与用户界面对象的交互的一个或多个特性(例如，如本文所述)。上述显示用户的多个预定义部分的模拟阴影的方式提供了独立地指示用户的多个预定义部分与用户界面对象之间的交互的特性的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，模拟阴影指示用户的第一预定义部分要与用户界面对象互动需要进行多少移动(2030a)，诸如参考阴影1942a、1942b和/或1944所述。例如，模拟阴影的视觉外观基于用户的第一预定义部分必须朝向用户界面对象移动以与用户界面对象交互的距离。因此，模拟阴影的视觉外观任选地指示用户的第一预定义部分为了与用户界面对象交互和/或选择用户界面对象必须移动多少距离。例如，如果模拟阴影相对大和/或弥散，则模拟阴影任选地指示用户的第一预定义部分为了与用户界面对象交互和/或选择用户界面对象必须朝向用户界面对象移动相对大的距离，并且如果模拟阴影相对小和/或边界清晰明确，则模拟阴影任选地指示用户的第一预定义部分为了与用户界面对象交互和/或选择用户界面对象必须朝向用户界面对象移动相对小的距离。上述模拟阴影指示用户的第一预定义部分为了与用户界面对象交互必须移动多少距离的方式提供了有利于用户的第一预定义部分与用户界面对象之间的准确交互的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免与用户界面对象交互时的错误)，这还通过使用户能够更快速且更高效地使用电子设备而减少了电力使用并且延长了电子设备的电池寿命。
图21A至图21E示出了根据一些实施方案的电子设备如何响应于检测到输入中包括的移动而将输入从一个用户界面元素重新指向另一个用户界面元素的示例。
图21A示出了电子设备101a经由显示生成部件120显示三维环境和/或用户界面。应当理解，在一些实施方案中，在不脱离本公开的范围的情况下，电子设备101a在二维环境中利用参考图21A至图21E所述的一种或多种技术。如上参考图1至图6所述，电子设备101a任选地包括显示生成部件120a(例如，触摸屏)和多个图像传感器314a。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101a交互时电子设备101a能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，显示生成部件120a是能够检测到用户的手部的手势和移动的触摸屏。在一些实施方案中，示出和描述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测到物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测到用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
图21A示出了电子设备101a在三维环境中显示容器2102内的第一可选择选项2104和第二可选择选项2106以及容器2109内的滑块用户界面元素2108的示例。在一些实施方案中，容器2102和2109是窗口、背板、背景、盘或其他类型的容器用户界面元素。在一些实施方案中，容器2102的内容和容器2109的内容与相同应用程序(例如，或与电子设备101a的操作系统)相关联。在一些实施方案中，容器2102的内容和容器2109的内容与不同应用程序相关联，或者容器2102或2109中的一者的内容与操作系统相关联。在一些实施方案中，响应于检测到对可选择选项2104或2106中的一者的选择，电子设备101执行与选定的可选择选项相关联的动作。在一些实施方案中，滑块2108包括滑块2108的当前值的指示2112。例如，滑块2108指示电子设备101a或应用程序的设置的参量、量值、值等。在一些实施方案中，响应于改变滑块的当前值的输入(例如，通过操纵滑块2108内的指示器2112)，电子设备101a相应地更新与滑块2108相关联的设置。
如图21A所示，在一些实施方案中，电子设备101a检测到指向容器2102的用户的注视2101a。在一些实施方案中，响应于检测到用户的注视2101a指向容器2102，电子设备101a更新容器2102的定位以在三维环境中比在检测到指向容器2102的注视2101a之前显示容器2102的定位更靠近用户的视点的位置处显示容器2102。例如，在检测到用户的注视2101a指向容器2109之前，电子设备101a在三维环境中距用户的视点相同距离处显示容器2102和2102。在该示例中，响应于检测到如图21A所示用户的注视2101a指向容器2102，电子设备101a将容器2102显示为比容器2109更靠近用户的视点。例如，电子设备101a以更大尺寸显示容器2102和/或将容器显示为具有虚拟阴影和/或具有与更靠近用户的视点的位置对应的立体深度信息。
图21A示出了电子设备101a检测到指向可选择选项2104和滑块2108的选择输入的示例。尽管图21A示出了多个选择输入，但应当理解，在一些实施方案中，图22A所示的选择输入是在不同时间而非同时检测到的。
在一些实施方案中，电子设备101a通过检测间接选择输入、直接选择输入、空中手势选择输入或输入设备选择输入来检测对用户界面元素中的一个用户界面元素(诸如，可选择选项2104或2106或滑块2108的指示器2112中的一者)的选择。在一些实施方案中，检测到对用户界面元素的选择包括检测到用户的手部执行相应手势。在一些实施方案中，根据方法800、1000、1200和/或1600的一个或多个步骤，检测到间接选择输入包括在检测到用户的手部做出选择手势(诸如捏合手部手势，其中用户将其拇指触摸到手部的另一根手指，使得可选择选项朝向其中显示可选择选项的容器移动，其中选择在可选择选项到达容器时发生)的同时经由输入设备314a检测到用户的注视指向相应用户界面元素。在一些实施方案中，根据方法800、1400和/或1600的一个或多个步骤，检测到直接选择输入包括经由输入设备314a检测到用户的手部做出选择手势，诸如在相应用户界面元素的位置的预定义阈值距离(例如，1、2、3、5、10、15或30厘米)内的捏合手势，或其中用户的手部在呈指向手部形状的同时“按压”到相应用户界面元素的位置中的按压手势。在一些实施方案中，根据方法1800和/或2000的一个或多个步骤，检测到空中手势输入包括在经由显示生成部件120a显示在三维环境中的空中手势用户界面元素的位置处检测到按压手势的同时检测到用户的注视指向相应用户界面元素。在一些实施方案中，检测到输入设备选择包括在由输入设备控制的光标与相应用户界面元素的位置相关联时和/或在用户的注视指向相应用户界面元素时检测到以与对用户界面元素的选择对应的预定义方式操纵机械输入设备(例如，触笔、鼠标、键盘、触控板等)。
例如，在图21B中，电子设备101a检测到利用手部2103a进行的直接选择输入的指向选项2104的一部分。在一些实施方案中，手部2103a呈直接选择手势中包括的手部形状(例如，“手部状态D”)，诸如手部呈其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状。在一些实施方案中，直接选择输入的该部分不包括按压手势的完成(例如，手部在从选项2104到容器2102的方向上移动阈值距离，诸如与选项2104与容器2102之间的视觉间距对应的距离)。在一些实施方案中，手部2103a在可选择选项2104的直接选择阈值距离内。
在一些实施方案中，电子设备101a检测到利用手部2103d进行的输入的指向滑块2108的指示器2112的一部分。在一些实施方案中，手部2103d呈直接选择手势中包括的手部形状(例如，“手部状态D”)，诸如手部呈其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的指向手部形状。在一些实施方案中，输入的该部分不包括输入的结束，诸如用户停止做出指向手部形状。在一些实施方案中，手部2103d在滑块2108的指示器2112的直接选择阈值距离内。
在一些实施方案中，电子设备101a检测到在注视2101a指向选项2104的同时利用手部2103b进行的间接选择输入的指向可选择选项2104的一部分。在一些实施方案中，手部2103b呈间接选择手势中包括的手部形状(例如，“手部状态B”)，诸如手部呈其中拇指正触摸手部2103b的另一根手指的捏合手部形状。在一些实施方案中，间接选择输入的该部分不包括捏合手势的完成(例如，拇指远离手指移动)。在一些实施方案中，在提供间接选择输入的该部分时，手部2103b距可选择选项2104远于直接选择阈值距离。
在一些实施方案中，电子设备101a检测到在注视2101b指向滑块2108的同时利用手部2103b进行的间接输入的指向滑块208的指示器2112的一部分。在一些实施方案中，手部2103b呈间接选择手势中包括的手部形状(例如，“手部状态B”)，诸如手部呈其中拇指正触摸手部2103b的另一根手指的捏合手部形状。在一些实施方案中，间接输入的该部分不包括捏合手势的完成(例如，拇指远离手指移动)。在一些实施方案中，在提供间接输入的该部分时，手部2103b距滑块2112远于直接选择阈值距离。
在一些实施方案中，电子设备101a检测到在注视2101a指向选项2104的同时利用手部2103c进行的空中手势选择输入的指向可选择选项2104的一部分。在一些实施方案中，手部2103c呈空中手势选择手势中包括的手部形状(例如，“手部状态B”)，诸如手部呈在由设备101显示的空中手势元素2114的阈值距离(例如，0.1、0.3、0.5、1、2或3厘米)内的指向手部形状。在一些实施方案中，空中手势选择输入的该部分不包括选择输入的完成(例如，在手部2103c在空中手势元素114的阈值距离(例如，0.1、0.3、0.5、1、2或3厘米)内时，手部2103c远离用户的视点运动与可选择选项2104与容器2102之间的视觉间距对应的量，使得该运动对应于将选项2104推动到容器2102的位置)。在一些实施方案中，在提供空中手势选择输入的该部分时，手部2103c距可选择选项2104远于直接选择阈值距离。
在一些实施方案中，电子设备101a检测到在注视2101b指向滑块2108的同时利用手部2103c进行的空中手势输入的指向滑块2108的一部分。在一些实施方案中，手部2103c呈空中手势选择手势中包括的手部形状(例如，“手部状态B”)，诸如手部呈在空中手势元素2114的阈值距离(例如，0.1、0.3、0.5、1、2或3等厘米)内的指向手部形状。在一些实施方案中，空中手势输入的该部分不包括空中手势输入的完成(例如，手部2103c远离空中手势元素2114的移动，手部2103c停止做出空中手势手部形状)。在一些实施方案中，在提供空中手势输入的该部分时，手部2103c距滑块2108远于直接选择阈值距离。
在一些实施方案中，响应于检测到选择输入(例如，选择输入的一个选择输入)的指向选项2104的该部分，电子设备101a向用户提供选择输入指向选项2104的视觉反馈。例如，如图21B所示，电子设备101a响应于检测到选择输入的指向选项2104的一部分而更新选项2104的颜色并增加选项2104与容器2102的视觉间距。在一些实施方案中，如果用户的注视2101a不指向包括在容器2102中的用户界面元素，则电子设备101a继续在图21B所示的位置处显示容器2102，该位置与电子设备101a将显示容器2102的位置具有视觉间距。在一些实施方案中，因为选择输入不指向选项2106，所以电子设备101a维持以与在检测到输入的指向选项2106的该部分之前图21A中用于显示选项2106的颜色相同的颜色显示选项2104。此外，在一些实施方案中，电子设备101a将选项2106显示为与容器2102不具有视觉间距，因为选择输入的开始不指向选项2106。
在一些实施方案中，指向选项2104的选择输入的开始对应于选项2104朝向容器2102移动但不接触容器。例如，由手部2103a提供的直接输入的开始包括在手部呈指向手部形状的同时手部2103a向下或在从选项2104朝向容器2102的方向上的运动。作为另一示例，由手部2103c和注视2101a提供的空中手势输入的开始包括在手部2103c在距空中手势元素2114的阈值距离(例如，0.1、0.3、0.5、1、2或3厘米)内时，在手部呈指向手部形状的同时手部2103c向下或在从选项2104朝向容器2102的方向上的运动。作为另一示例，由手部2103b和注视2101a提供的间接选择输入的开始包括检测到手部2103b维持捏合手部形状达小于预先确定的时间阈值(例如，0.1、0.2、0.3、0.5、1、2、3、5等秒)的时间，该预先确定的时间阈值对应于选项2104朝向容器2102运动与选项2104到达容器2102对应的量。在一些实施方案中，当选择输入对应于选项2104朝向容器2102运动选项2104达到容器2102的量时，发生对选项2104的选择。在图21B中，输入对应于选项2104朝向容器2102部分移动小于选项2104与容器2102之间的视觉间距量的量。
在一些实施方案中，响应于检测到输入(例如，输入中的一个输入)的指向滑块2108的该部分，电子设备101a向用户提供输入指向滑块2108的视觉反馈。例如，电子设备101a将滑块2108显示为与容器2109具有视觉间距。此外，响应于检测到指向容器2109内的元素的用户的注视2101b，电子设备101a更新容器2109的定位，以将容器2109显示为比在检测到指向滑块2108的输入的开始之前图21A中显示容器2109的位置更靠近用户的视点。在一些实施方案中，图21B所示的输入的指向滑块2108的该部分对应于选择滑块2108的指示器2112以用于调整，但是还不包括输入的用于调整指示器2112(以及因此由滑块2108控制的值)的一部分。
图21C示出了电子设备101a响应于检测到输入中包括的移动而将选择输入重新指向和/或调整滑块2108的指示器2112的示例。例如，在提供上文参考图21B所述的选择输入的该部分之后，响应于检测到用户的手部移动小于阈值(例如，与从选项2104到容器2102的边界的距离对应的阈值)的量(例如，速度量、距离量、时间量)，电子设备101a将选择输入从选项2104重新指向选项2106，如下文将更详细描述的。在一些实施方案中，响应于检测到在提供指向滑块2108的输入时用户的手部的移动，电子设备101根据所检测到的移动来更新滑块2108的指示器2112，如下文将更详细描述的。
在一些实施方案中，在检测到上文参考图21B所述的选择输入的指向选项2104的一部分(例如，经由手部2103a或手部2103b和注视2101c或手部2103c和注视2101c)之后，电子设备101a检测到手部(例如，2103a、2103b或2103c)在从选项2104朝向选项2106的方向上的移动。在一些实施方案中，移动的量(例如，速度量、距离量、持续时间量)对应于小于选项2104与容器2102的边界之间的距离的量。在一些实施方案中，电子设备101a将容器2102的尺寸映射到与从选项2104到容器2102的边界的距离对应的预先确定的移动量(例如，提供输入的手部2103a、2103b或2103c的移动量)。在一些实施方案中，在检测到上文参考图21B所述的选择输入的指向选项2104的该部分之后，电子设备101a检测到用户的注视2101c指向选项2106。在一些实施方案中，对于由手部2103a提供的直接输入，响应于检测到手部2103a的运动，电子设备101a将选择输入从选项2104重新指向选项2106。在一些实施方案中，对于由手部2103b提供的间接输入，响应于检测到用户的注视2101c指向选项2106和/或检测到手部2103b的移动，电子设备101a将选择输入从选项2104重新指向选项2106。在一些实施方案中，对于由手部2103c提供的空中手势输入，响应于检测到用户的注视2101c指向选项2106和/或检测到手部2103c的移动，电子设备101a将选择输入从选项2104重新指向选项2106。
图21C示出了将选择输入在用户界面的相应容器2102内的不同元素之间重新指向的示例。在一些实施方案中，电子设备101a响应于检测到用户的注视指向一个容器而将选择输入从另一个容器重新指向该一个容器。例如，如果选项2106在与选项2104的容器不同的容器中，则响应于用户的手部的上述移动以及用户的注视指向选项2104的容器(例如，注视指向选项2104)，将选择输入从选项2104指向选项2106。
在一些实施方案中，如果在检测到选择输入的该部分时，电子设备101a检测到用户的注视指向容器2102之外，则仍然有可能将选择输入重新指向容器2102内的选项2104或2106中的一者。例如，响应于检测到用户的注视2101c指向选项2106(在背离容器2102之后)，电子设备101a将间接手势输入或空中手势输入从选项2104重新指向选项2106，如图21C所示。作为另一示例，响应于在检测到直接选择输入的同时检测到上述手部2103a的移动，电子设备101a将输入从选项2104重新指向选项2106，而不管用户正在看哪里。
在一些实施方案中，响应于将选择输入从选项2104重新指向选项2106，电子设备101a更新选项2104以指示选择输入不指向选项2104，并且更新选项2106以指示选择输入指向选项2106。在一些实施方案中，更新选项2104包括以不与选择对应的颜色显示选项2104(例如，与在检测到选择输入的开始之前图21A中用于显示选项2104的颜色相同的颜色)以及/或者将选项2104显示为与容器2102不具有视觉间距。在一些实施方案中，更新选项2106包括以指示选择指向选项2106的颜色(例如，不同于在输入指向选项2104时图21B中用于显示选项2106的颜色)显示选项2106以及/或者将选项2106显示为与容器2102具有视觉间距。
在一些实施方案中，选项2106与容器2102之间的视觉间距量对应于引起对选项2106的选择所需的进一步输入(诸如手部2103a的用于提供直接选择的附加运动、手部2103c的用于提供空中手势选择的附加运动、或利用手部2103b进行的用于提供间接选择的捏合手势的继续)的量。在一些实施方案中，当选择输入从选项2104重新指向选项2106时，由手部2103a、2103b和/或2103c向选项2104提供的选择输入的该部分在选择输入被重新指向为远离选项2104之前的进展适用于对选项2106的选择，如下文参考方法2200更详细描述的。
在一些实施方案中，电子设备101在没有检测到指向选项2106的选择输入的另一发起的情况下将选择输入从选项2104重新指向选项2106。例如，在电子设备101a没有检测到利用手部2103a、2103b或2103c中的一者进行的特别指向选项2106的选择手势的开始的情况下，将选择输入重新指向。
在一些实施方案中，响应于在检测到指向滑块2108的输入的同时检测到手部2103d、2103b或2103c的运动，电子设备101a不将该输入重新指向。在一些实施方案中，电子设备101a根据提供指向滑块2108的输入的手部的运动(例如，运动的速度、距离、持续时间)来更新滑块2108的指示器2112的定位，如图21C所示。
图21D示出了电子设备101a响应于提供指向选项2106的选择输入的手部2103a、2103b或2103c的进一步移动和/或用户的注视2101e背离容器2102和/或选项2106而取消对选项2106的选择的示例。例如，电子设备101a响应于检测到手部2103a向上或横向运动与大于选项2106与容器2102的边界之间的距离对应的量而取消由手部2103a提供的直接选择输入。作为另一示例，电子设备101a响应于检测到手部2103c向上或横向运动与大于选项2106与容器2102的边界之间的距离对应的量和/或响应于检测到用户的注视2101e指向容器2106之外或者用户的注视2101d远离选项2102但在容器2102内而取消由手部2103c提供的空中手势输入。在一些实施方案中，电子设备101a不分别响应于手部2103a或2103c向下运动而取消直接选择输入或空中手势选择输入，因为向下运动可对应于选择选项2106的用户意图而不是取消选择的用户意图。作为另一示例，电子设备101a响应于检测到手部2103b向上、向下或横向移动大于选项2106与容器2102的边界之间的距离对应的量和/或响应于检测到用户的注视2101e指向容器2106之外或者用户的注视2101d远离选项2102但在容器2102内而取消间接选择输入。如上所述，在一些实施方案中，取消输入所需的移动量被映射到手部2103a的相应移动量，而不管选项2106和容器2102的尺寸如何。
在一些实施方案中，响应于取消指向选项2106的选择输入，电子设备101a更新选项2106的显示，以指示电子设备101a没有正在接收指向选项2106的选择输入。例如，电子设备101a以不与选择输入对应的颜色(例如，与在检测到选择输入之前图21A中的选项2106的颜色相同的颜色)显示选项2106并且/或者将选项2106显示为与容器2102不具有视觉间距。在一些实施方案中，如果用户的注视2101d仍然指向容器2102，则电子设备101a在接近用户的视点的定位处显示容器2102，如图21D所示。在一些实施方案中，如果用户的注视2101e背离容器2102，则电子设备101a在远离用户的视点的定位处显示容器2102(例如，将容器显示为不具有虚拟阴影、具有更小尺寸、具有与更远离用户的视点的位置对应的立体深度信息)。
在一些实施方案中，响应于上述作为指向滑块2108的输入的一部分的手部2103d、2103b或2103c的相同量和/或方向的运动，电子设备101a继续调整滑块2108的指示器2112的定位而不取消指向滑块2108的输入。在一些实施方案中，电子设备101a根据移动的方向和量(例如，移动的速度、距离、持续时间等)来更新滑块2108的指示器2108的定位。
在一些实施方案中，如果不是检测到如图21D所示的取消选择输入的用户请求，而是电子设备101a检测到指向选项2106的选择输入的继续，则电子设备101a选择选项2106。例如，图21E示出了电子设备101a检测到图21C所示的选择输入的继续。在一些实施方案中，电子设备101a检测到直接选择输入的继续，包括检测到手部2103a在从选项2106朝向容器2102的方向上进一步运动与至少选项2106与容器2102之间的视觉间距量对应的量，因此选项2106到达容器2102。在一些实施方案中，电子设备101a检测到空中手势选择输入的继续，其包括在用户的注视2101c指向选项2106时、在手部2103c在距空中手势元素2114的阈值距离(例如，0.1、0.2、0.3、0.5、1、2或3厘米)内时手部2103c在从选项2106朝向容器2102的方向上进一步运动与至少选项2106与容器2102之间的视觉间距量对应的量，因此选项2106到达容器2102。在一些实施方案中，电子设备101a检测到间接输入的继续，其包括在用户的注视2101c指向选项2106时手部2103b保持呈捏合手部形状达与选项2106到达容器2102对应的时间。因此，在一些实施方案中，电子设备101a在没有检测到选择输入的附加发起的情况下将选择输入从选项2106重新指向选项2106之后响应于选择输入的继续而选择选项2104。
图22A至图22K是示出根据一些实施方案的响应于检测到输入中包括的移动而将输入从一个用户界面元素重新指向另一个用户界面元素的方法2200的流程图。在一些实施方案中，方法2200在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法2200通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法2200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法2200在与显示生成部件(例如，120a)和一个或多个输入设备(例如，314a)(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，101a)处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成或外部)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如，外部的)、另一个移动设备(例如，与该电子设备分开)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、眼睛跟踪设备和/或运动传感器(例如，手部跟踪设备、手运动传感器)等。在一些实施方案中，电子设备与手部跟踪设备(例如，一个或多个相机、深度传感器、接近传感器、触摸传感器(例如，触摸屏、触控板))通信。在一些实施方案中，手部跟踪设备是可穿戴设备，诸如智能手套。在一些实施方案中，手部跟踪设备是手持式输入设备，诸如遥控器或触笔。
在一些实施方案中，诸如在图21A中，电子设备(例如，101a)经由显示生成部件(例如，120a)显示(2202a)包括相应区域(例如，2102)的用户界面，该相应区域包括第一用户界面元素(例如，2104)和第二用户界面元素(例如，2106)。在一些实施方案中，相应区域是用户界面元素，诸如容器、背板或(例如，应用程序)窗口。在一些实施方案中，第一用户界面元素和第二用户界面元素是可选择的用户界面元素，这些可选择的用户界面元素在被选择时使得电子设备执行与选定的用户界面元素相关联的动作。例如，对第一用户界面元素和/或第二用户界面元素的选择使得电子设备启动应用程序、打开文件、发起和/或停止利用电子设备回放内容、导航到相应用户界面、改变电子设备的设置、发起与第二电子设备的通信或响应于选择而执行另一动作。
在一些实施方案中，诸如在图21B中，在显示用户界面时，电子设备(例如，101a)经由该一个或多个输入设备(例如，314a)检测到(2202b)指向相应区域(例如，2102)中的第一用户界面元素(例如，2104)的第一输入。在一些实施方案中，第一输入是作为用于引起对第一用户界面元素的选择的输入序列的子集的一个或多个输入(例如，不是用于引起对第一用户界面元素的选择的完整输入序列)。例如，检测到与选择第一用户界面元素的输入对应的间接输入包括经由与电子设备通信的眼睛跟踪设备检测到用户的注视指向第一用户界面元素，同时经由手部跟踪设备检测到用户执行其中用户的拇指触摸拇指的同一只手上的手指的捏合手势，随后拇指和手指彼此移开(例如，诸如参考方法800、1200、1400和/或1800所述)，电子设备选择第一用户界面元素。在该示例中，检测到第一输入(例如，作为间接输入)对应于在检测到拇指触摸拇指的手部上的手指的同时检测到用户的注视指向第一用户界面元素(例如，没有检测到拇指和手指远离彼此移动)。作为另一示例，检测到与选择第一用户界面元素的输入对应的直接输入包括检测到在手部呈指向手部形状(例如，其中一根或多根手指伸出并且一根或多根手指朝向手掌卷曲的手部形状)的同时用户利用其手部和/或伸出的手指将第一用户界面元素“按压”预先确定距离(例如，0.5、1、2、3、4、5或10厘米)，诸如参考方法800、1200、1400和/或1800所述。在该示例中，检测到第一输入(例如，作为直接输入)对应于检测到在用户的手部呈指向手部形状的同时用户将第一用户界面元素“按压”小于预先确定距离的距离(例如，没有检测到“按压”输入继续到第一用户界面元素已被按压预先确定的距离阈值并因此被选择的点)。在一些实施方案中，如果在上述的捏合之后，设备检测到捏合朝向第一用户界面元素的足以将第一用户界面元素往回推动上述的预先确定距离的移动(例如，对应于“推动”第一用户界面元素的移动)，则可另选地使用间接输入来选择第一用户界面元素。在此类实施方案中，第一输入任选地是在保持捏合手部形状的同时手部的移动，但不充分的移动。
在一些实施方案中，诸如在图21B中，响应于检测到指向第一用户界面元素(例如，2104)的第一输入，电子设备(例如，101a)修改(2202c)第一用户界面元素(例如，2104)的外观，以指示指向第一用户界面元素(例如，2104)的进一步输入将引起对第一用户界面元素(例如，2104)的选择。在一些实施方案中，修改第一用户界面元素的外观包括以与在检测到第一输入之前用于显示第一用户界面元素的颜色、图案、文本样式、半透明度和/或线条样式不同的颜色、图案、文本样式、半透明度和/或线条样式来显示第一用户界面元素。在一些实施方案中，修改第一用户界面元素的不同视觉特性是可能的。在一些实施方案中，用户界面和/或用户界面元素在通过设备生成、通过设备显示或以其他方式使得可通过设备查看的三维环境(例如，计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等)中显示(例如，用户界面是三维环境并且/或者在三维环境内显示)。在一些实施方案中，修改第一用户界面元素的外观包括更新第一用户界面元素在用户界面中的定位，诸如将第一用户界面元素远离三维环境中的用户的视点(例如，三维环境内经由与电子设备通信的显示生成部件从其呈现三维环境的有利位置)移动和/或减小第一用户界面元素与第一用户界面元素在被“推动”时朝向其移动的背板之间的间距。
在一些实施方案中，诸如在图21B中，在以经修改外观显示(并且尚未选择)第一用户界面元素(例如，2104)时，电子设备(例如，101a)经由该一个或多个输入设备(例如，314)检测(2202d)到第二输入(例如，经由图21C中的手部2103a、2103b或2103c和/或注视2102c)。在一些实施方案中，第二输入包括用户的预定义部分(例如，用户的手)在预先确定方向上远离第一用户界面元素的移动(例如，向左、向右、向上、远离第一用户界面元素朝向用户的躯干)。例如，如果第一输入是用户在将其拇指触摸到拇指的手部上的手指(例如，不将拇指远离手指移动)的同时看向第一用户界面元素(例如，第一输入是间接输入)，则第二输入是在拇指继续触摸手指的同时用户的手部的移动(例如，向左、向右、向上、远离第一用户界面元素朝向用户的躯干)。作为另一示例，如果第一输入是用户在手部呈指向手部形状的同时利用其手部和/或伸出的手指“按压”第一用户界面元素(例如，第一输入是直接输入)，则第二输入是在维持指向手部形状的同时或在呈不同手部形状的同时手部的移动(例如，向左、向右、向上、远离第一用户界面元素朝向用户的躯干)。
在一些实施方案中，诸如在图21C中，响应于检测到第二输入，根据确定第二输入包括与远离第一用户界面元素(例如，2104)的移动对应的移动(2202e)，根据确定移动对应于用户界面的相应区域(例如，2102)内的移动，电子设备(例如，101a)放弃(2202f)对第一用户界面元素(例如，2104)的选择，并且修改第二用户界面元素(例如，2106)的外观，以指示指向第二用户界面元素(例如，2106)的进一步输入将引起对第二用户界面元素(例如，2106)的选择。在一些实施方案中，电子设备修改第一用户界面元素的外观，以不再指示指向第一用户界面元素的进一步输入将引起对第一用户界面元素的选择。例如，电子设备将第一用户界面元素的外观(例如，其一个或多个特性)恢复到在检测到第一输入之前的第一用户界面元素的外观。在一些实施方案中，如果第一输入是间接输入，则如果距离、速度、持续时间等满足一个或多个标准(例如，小于预先确定阈值)，那么移动对应于用户界面的相应区域内的移动。在一些实施方案中，如果第一输入是直接输入，则如果用户的手部在移动期间保持在用户界面的相应区域内(例如，或者三维环境的在用户界面的相应区域的边界与三维环境中的用户的视点之间的区域内)，则移动对应于用户界面的相应区域内的移动。在一些实施方案中，修改第二用户界面元素的外观包括以与在检测到第二输入之前用于显示第二用户界面元素的颜色、图案、文本样式、半透明度和/或线条样式不同的颜色、图案、文本样式、半透明度和/或线条样式来显示第二用户界面元素。在一些实施方案中，修改第二用户界面元素的不同视觉特性是可能的。在一些实施方案中，修改第二用户界面元素的外观包括更新第二用户界面元素在用户界面中的定位，诸如将第二用户界面元素远离三维环境中的用户的视点移动。在一些实施方案中，响应于检测到第二输入之后的第三输入(例如，与选择用户界面元素的输入对应的输入序列的继续，诸如先前选择第一用户界面元素所需的移动的剩余部分)，电子设备选择第二用户界面元素并执行与第二用户界面元素相关联的动作。在一些实施方案中，电子设备在没有在检测到第二输入之后检测到对第二选择输入的发起的情况下更新第二用户界面元素的外观，以指示指向第二用户界面元素的进一步输入将引起对第二用户界面元素的选择。例如，如果第一输入是间接输入，则电子设备在没有检测到另一捏合手势的发起(例如，用户继续将其拇指触摸到另一根手指而不是将拇指移开并再次捏合)的情况下更新第二用户界面元素的外观。作为另一示例，如果第一输入是直接输入，则电子设备在没有检测到用户将其手部远离第一用户界面元素和第二用户界面元素(例如，朝向用户的视点)移动并且再次朝向第二用户界面元素按压其手部的情况下更新第二用户界面元素的外观。在一些实施方案中，当电子设备更新第二用户界面元素的外观时，朝向选择第一用户界面元素的进展被转换到朝向选择第二用户界面元素的进展。例如，如果第一输入是间接输入并且如果电子设备在预先确定的时间阈值(例如，0.1、0.5、1、2、3或5秒)内检测到其中拇指和手指正在触摸的捏合手部形状的情况下选择相应用户界面元素，则当电子设备更新第二用户界面元素的外观时，电子设备不重新开始计算维持捏合手部形状的时间。作为另一示例，如果第一输入是直接输入并且如果电子设备在相应用户界面元素被“推动”阈值距离(例如，0.5、1、2、3、5或10厘米)的情况下选择该相应用户界面元素，则在第一输入和第二输入期间用户的手部沿着第二用户界面元素与用户的视点之间的方向的移动算作满足阈值距离。在一些实施方案中，电子设备在更新第二用户界面元素的外观之后重置用于选择第二用户界面元素的标准。例如，如果第一输入是间接输入，则电子设备不选择第二用户界面元素，除非且直到捏合手部形状维持从电子设备更新第二用户界面元素的外观的时间起的完整阈值时间。作为另一示例，如果第一输入是直接输入，则电子设备不选择第二用户界面元素，除非且直到在电子设备更新第二用户界面元素的外观之后电子设备检测到用户将第二用户界面元素“推动”阈值距离。
在一些实施方案中，诸如在图21D中，响应于检测到第二输入，根据确定第二输入包括与远离第一用户界面元素(例如，2104)的移动对应的移动(2202e)，根据确定移动对应于在第一方向上在用户界面的相应区域(例如，2102)之外的移动，电子设备(例如，120a)放弃(2202g)对第一用户界面元素(例如，2104)的选择，而不修改第二用户界面元素(例如，2106)的外观。在一些实施方案中，电子设备修改第一用户界面元素的外观，以不再指示指向第一用户界面元素的进一步输入将引起对第一用户界面元素的选择。例如，电子设备将第一用户界面元素的外观(例如，其一个或多个特性)恢复到在检测到第一输入之前的第一用户界面元素的外观。在一些实施方案中，如果第一输入是间接输入，则如果距离、速度、持续时间等满足一个或多个标准(例如，大于预先确定阈值)，那么移动对应于用户界面的相应区域之外的移动。在一些实施方案中，如果第一输入是直接输入，则如果用户的手部在移动期间存在于用户界面的相应区域内(例如，或者三维环境的在用户界面的相应区域的边界与三维环境中的用户的视点之间的区域内)，则移动对应于用户界面的相应区域之外的移动。
上述响应于检测到第二输入而放弃对第一用户界面元素的选择的方式提供了减少意外用户输入同时允许修改输入的目标元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误以及通过减少电子设备执行非预期且随后将颠倒的操作的可能性而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，诸如在图21D中，响应于检测到第二输入，并且根据确定移动对应于在第二方向(例如，不同于第一方向，诸如向下)上在用户界面的相应区域(例如，2102)之外的移动(2204a)，根据确定第一输入包括在用户的预定义部分(例如，保持)距与第一用户界面元素(例如，2104)对应的位置远于阈值距离(例如，5、10、15、20、30或50厘米)时由用户的预定义部分(例如，2103b)(例如，一根或多根手指、手部、手臂、头部)提供的输入(例如，输入是间接输入并且用户的预定义部分距根据方法1800的虚拟触控板或输入指示远于阈值距离(或者当电子设备不显示根据方法1800的虚拟触控板或输入指示时))，电子设备(例如，101a)放弃(2204b)对第一用户界面元素(例如，2104)的选择。在一些实施方案中，在第二方向上的移动是用户的预定义部分的移动。在一些实施方案中，响应于检测到用户的预定义部分的向下移动，如果第二输入是间接输入，则电子设备放弃对第一用户界面元素的选择。在一些实施方案中，电子设备还放弃对第二用户界面元素的选择并且放弃修改第二用户界面元素的外观。在一些实施方案中，电子设备修改第一用户界面元素的外观，以不指示进一步输入将引起对第一用户界面元素的选择。在一些实施方案中，电子设备维持第一用户界面元素的外观，以指示进一步输入将引起对第一用户界面元素的选择。在一些实施方案中，根据确定第一输入包括由用户的预定义部分提供的输入，同时用户的预定义部分(例如，保持)距与第一用户界面元素对应的位置远于阈值距离并且用户的预定义部分在根据方法1800的虚拟触控板或输入指示的阈值距离内，电子设备根据第二输入来选择第一用户界面元素。在一些实施方案中，根据确定第一输入包括由用户的预定义部分提供的输入，同时用户的预定义部分(例如，保持)距与第一用户界面元素对应的位置远于阈值距离并且用户的预定义部分在根据方法1800的虚拟触控板或输入指示的阈值距离内，电子设备放弃对第一用户界面元素的选择。
在一些实施方案中，诸如在图21E中，响应于检测到第二输入，并且根据确定移动对应于在第二方向(例如，不同于第一方向，诸如向下)上在用户界面的相应区域(例如，2102)之外的移动(2204a)，根据确定第一输入包括在用户的预定义部分(例如，2103a)距与第一用户界面元素(例如，2106)对应的位置近于阈值距离时由用户的预定义部分(例如，2103a)提供的输入(例如，输入是直接输入)，电子设备(例如，101a)根据第二输入来选择(2204c)第一用户界面元素(例如，2106)。在一些实施方案中，电子设备不选择第一用户界面元素，除非且直到第二输入满足一个或多个标准。例如，该一个或多个标准包括当用户的预定义部分将第一用户界面元素远离用户的视点(和/或朝向第一用户界面元素的背板)“推动”预定义距离(例如，0.5、1、2、3、4、5或10厘米)时满足的标准。
上述响应于在第二方向上的移动，如果在用户的预定义部分距第一用户界面元素远于阈值距离时检测到输入，则放弃对第一用户界面元素的选择，以及如果在用户的预定义部分距与第一用户界面元素对应的位置近于阈值距离时检测到第一输入，则根据第二输入来选择第一用户界面元素的方式，提供了根据移动的方向以及当接收到输入时用户的预定义部分与第一用户界面元素之间的距离来取消或不取消用户输入的直观方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21D中，第一输入包括由用户(例如，2103a、2103b)的预定义部分(例如，一根或多根手指、手部、手臂、头部)提供的输入，并且根据确定第二输入的移动对应于在第一方向(例如，向上、向左或向右)上在用户界面的相应区域(例如，2102)之外的移动而放弃对第一用户界面元素(例如，2104、2106)的选择，而不管用户的预定义部分(例如，2103a、2103b)在第一输入期间距与第一用户界面元素(例如，2104、2106)对应的位置是远于阈值距离(例如，0.5、1、2、3、5、10或50厘米)(例如，对于间接输入或当与根据方法1800的虚拟触控板或输入指示交互时)还是近于阈值距离(例如，对于直接输入)(2206)。在一些实施方案中，不管第一输入是直接输入还是间接输入，检测到第二输入向上、向左或向右的移动使得电子设备放弃对第一用户界面元素的选择。在一些实施方案中，响应于检测到第二输入的向下移动，如果第一输入是间接输入，则电子设备放弃对第一用户界面元素的选择，但是如果第一输入是直接输入，则电子设备不放弃对第一用户界面元素的选择。
上述响应于在第一方向上的移动而放弃对第一用户界面元素的选择，而不管在第一输入期间用户的预定义部分是否在第一用户界面元素的阈值距离内的方式，提供了取消对第一用户界面元素的选择的高效且一致的方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21D中，在显示用户界面时，电子设备(例如，101a)经由该一个或多个输入设备检测(2208a)到指向相应区域中的第三用户界面元素(例如，2108)的第三输入，其中第三用户界面元素(例如，2108)是滑块元素，并且第三输入包括用于控制滑块元素(例如，2108)的移动部分。在一些实施方案中，滑块元素包括针对由滑块控制的相应特性的值的多个指示以及用户能够通过提供指向滑块元素的输入(诸如第三输入)来移动的滑块元素的当前值的指示。例如，滑块元素控制针对特性(诸如，电子设备的设置诸如回放音量、亮度或者如果没有接收到输入则进入睡眠模式的时间阈值)的值。在一些实施方案中，第三输入包括对滑块元素(例如，滑块元素的当前值的指示)的选择，该选择使得电子设备根据第三输入的移动部分来更新滑块元素的当前值的指示。在一些实施方案中，第三输入是直接输入，该直接输入包括检测到用户的手部在手部处于滑块元素的预先确定的阈值距离(例如，0.5、1、2、3、4、5、10、15或30厘米)内时做出捏合手势，以及随后在手部呈捏合手部形状(例如，其中拇指仍然触摸手部的另一根手指的手部形状)的同时手部的移动。在一些实施方案中，第三输入是间接输入，该间接输入包括检测到在用户的注视指向滑块元素的同时用户的手部做出捏合手势，以及随后在手部呈捏合手部形状的同时手部的移动。在一些实施方案中，第三输入包括在用户的注视指向滑块元素的同时与根据方法1800的虚拟触控板或输入指示的交互。
在一些实施方案中，诸如在图21D中，响应于检测到指向第三用户界面元素(例如，2108)的第三输入，电子设备(例如，101a)修改(2208b)第三用户界面元素(例如，2108)的外观以指示指向第三用户界面元素(例如，2108)的进一步输入将引起对第三用户界面元素(例如，2108)的进一步控制，并且根据第三输入的移动部分来更新第三用户界面元素(例如，2108)。在一些实施方案中，修改第三用户界面元素的外观包括修改滑块元素(例如，滑块元素的当前值的指示)的尺寸、颜色或形状以及/或者更新滑块元素(例如，滑块元素的当前值的指示)的定位以将滑块元素(例如，滑块元素的当前值的指示)移动得更靠近三维环境中的用户的视点。在一些实施方案中，根据第三输入的移动部分来更新第三用户界面元素包括根据第三输入的移动部分的量值和/或方向来更新滑块元素的当前值的指示。例如，响应于向上、向下、向右或向左移动，电子设备将滑块元素的当前值的指示分别向上、向下、向右或向左移动。作为另一示例，响应于具有相对高的速度、相对长的持续时间和/或相对大的距离的移动，电子设备将滑块元素的当前值的指示移动相对大的量，并且响应于具有相对低的速度、相对短的持续时间和/或相对小的距离的移动，电子设备将滑块元素的当前值的指示移动相对小的量。在一些实施方案中，滑块的移动被限制在一个移动轴上(例如，从左向右、从上向下)，并且电子设备仅响应于沿着可调整滑块的轴的移动来更新滑块的当前值。例如，响应于指向可从左向右调整的滑块的向右移动，电子设备向右调整滑块的当前值，但是响应于指向滑块的向上移动，电子设备放弃更新滑块的当前值(或者仅根据移动的向左或向右分量来更新滑块的当前值)。
在一些实施方案中，诸如在图21D中，在以经修改外观显示第三用户界面元素(例如，2108)时并且在根据第三输入的移动部分来更新第三用户界面元素(例如，2108)时(例如，并且在检测到第三输入的终止或终止第三用户界面元素的更新的相应输入(诸如手部捏合形状的释放)之前)，电子设备(例如，101a)检测(2208c)到第四输入。在一些实施方案中，第四输入包括移动部分。
在一些实施方案中，诸如在图21D中，响应于检测到第四输入，根据确定第四输入包括与远离第三用户界面元素(例如，在第一方向上、在第二方向上、在任何方向上)的移动对应的移动(2208d)，电子设备(例如，101a)维持(2208e)第三用户界面元素(例如，2108)的经修改外观，以指示指向第三用户界面元素(例如，2108)的进一步输入将引起对第三用户界面元素的进一步控制。
在一些实施方案中，如果第三输入是间接输入或与根据方法1800的虚拟触控板或输入指示相关联的输入，则基于移动的速度、持续时间和/或距离，移动对应于用户界面的相应区域之外的移动。在一些实施方案中，如果第三输入是直接输入，则如果移动包括在用户界面的相应区域(例如，或者从用户界面的相应区域朝向三维环境中的用户的视点挤出的三维体积)之外移动用户的手部，那么移动对应于用户界面的相应区域之外的移动。
在一些实施方案中，诸如在图21D中，响应于检测到第四输入，根据确定第四输入包括与远离第三用户界面元素(例如，2108)(例如，在第一方向上、在第二方向上、在任何方向上)的移动对应的移动(2208d)，电子设备(例如，101a)根据第四输入的移动来更新(2208f)第三用户界面元素(例如，2108)，而不考虑第四输入的移动是否对应于用户界面的相应区域(例如，2109)之外的移动。在一些实施方案中，电子设备根据预定义部分的移动来更新滑块元素(例如，滑块元素的当前值的指示)，除非且直到检测到第三输入的终止。例如，第三输入的终止包括检测到用户将其拇指远离其手指移动以停止做出捏合手部形状以及/或者远离根据方法1800的虚拟触控板或输入指示移动。在一些实施方案中，电子设备不响应于输入的与用户界面的相应区域之外的移动对应的移动部分而停止将输入指向滑块元素。
上述响应于与用户界面的相应区域之外远离第三用户界面元素的移动对应的移动来更新滑块元素的方式提供了利用多个移动输入来细化滑块元素的值的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且通过在已经满足一组条件时执行附加操作而不要求进一步的用户输入而使得用户-设备界面更高效。
在一些实施方案中，诸如在图21C中，第三输入的移动部分包括由用户的预定义部分(例如，一根或多根手指、手部、手臂、头部)(例如，2103d、2103b、2103c)提供的具有相应量值的输入(2210a)。
在一些实施方案中，诸如在图21C中，根据第三输入的移动部分来更新第三用户界面元素(例如，2108)包括(2210b)根据确定用户的预定义部分(例如，2103d、2103b、2103c)在第三输入的移动部分期间以第一速度移动，将第三用户界面元素(例如，2108)更新(2210c)基于用户的预定义部分(例如，2103d、2103b、2103c)的第一速度和第三输入的移动部分的相应量值确定的第一量。
在一些实施方案中，诸如在图21D中，根据第三输入的移动部分来更新第三用户界面元素(例如，2108)包括(2210b)根据确定用户的预定义部分(例如，2103d、2103b、2103c)在第三输入的移动部分期间以大于第一速度的第二速度移动，将第三用户界面元素(例如，2108)更新(2210d)基于用户的预定义部分(例如，2103b、2103c、2103d)的第二速度和第三输入的移动部分的相应量值确定的大于第一量的第二量，其中对于第三输入的移动部分的相应量值，第三用户界面元素(例如，2108)的第二移动量大于第三用户界面元素(例如，2108)的第一移动量。在一些实施方案中，响应于检测到用户的预定义部分的相对高速的移动，电子设备针对用户的预定义部分的移动的给定距离将滑块元素的当前值的指示移动相对高的量。在一些实施方案中，响应于检测到用户的预定义部分的相对低速的移动，电子设备针对用户的预定义部分的移动的给定距离将滑块元素的当前值的指示移动相对低的量。在一些实施方案中，如果在检测到移动时移动的速度随时间而改变，则电子设备在接收到移动输入时，类似地改变滑块元素的当前值的指示的移动量值。
上述将滑块元素更新与用户的预定义部分的移动速度对应的量的方式提供了快速将滑块元素更新相对大的量并且将滑块元素准确更新相对小的量的高效方式，这通过向用户提供附加功能而不会因附加控件而使用户界面杂乱，简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效。
在一些实施方案中，诸如在图21D中，第二输入的移动通过用户的预定义部分(例如，一根或多根手指、手部、手臂、头部)(例如，2103a、2103b、2103c)的相应移动来提供(2212a)。
在一些实施方案中，诸如在图21D中，根据确定用户界面的相应区域(例如，2102)具有第一尺寸，根据确定用户的预定义部分的相应移动具有第一量值，第二输入的移动对应于用户界面的相应区域(例如，2102)之外的移动(2212b)。在一些实施方案中，第二输入的移动的量值取决于第二输入的移动部分的速度、距离和持续时间。例如，相对高的速度、相对大的距离和/或相对长的持续时间促成了第二输入的移动部分的相对高量值的移动，而相对低的速度、相对小的距离和/或相对短的持续时间促成了第二输入的移动部分的相对低量值的移动。
在一些实施方案中，根据确定用户界面的相应区域具有与第一尺寸不同的第二尺寸(例如，如果图21D中的容器2102具有与图21D所示的尺寸不同的尺寸)，根据确定用户的预定义部分(例如，2103a、2103b、2103c)的相应移动具有第一量值，第二输入的移动对应于用户界面的相应区域(例如，2102)之外的移动(2212c)。在一些实施方案中，第二输入的移动部分的量值对应于或不对应于用户界面的相应区域之外的移动，而不管用户界面的相应区域的尺寸如何。在一些实施方案中，电子设备将用户的预定义部分的相应量值的移动映射到与用户界面的相应区域之外的移动对应的移动，而不管用户界面的相应区域的尺寸如何。
上述第二输入的移动部分的量值对应于或不对应于相应区域之外的移动而不管相应区域的尺寸如何的方式提供了取消或不取消指向用户界面的相应区域中的元素的输入的一致方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，检测到第一输入包括检测到(例如，经由与电子设备通信的该一个或多个输入设备的眼睛跟踪设备)电子设备(例如，101a)的用户的注视(例如，2101a)指向第一用户界面元素(例如，2104)(2214a)。在一些实施方案中，如果第一输入是间接输入或涉及根据方法1800的虚拟触控板或输入指示符的输入，则第一输入包括电子设备的用户的注视指向第一用户界面元素。在一些实施方案中，如果第一输入是直接输入，则第一输入不包括当检测到第一输入时用户的注视指向第一用户界面元素(例如，但根据方法1000，第一用户界面元素处于注意区中)。
在一些实施方案中，诸如在图21C中，检测到第二输入包括检测到与远离第一用户界面元素(例如，2104)的移动对应的移动以及用户的注视(例如，2101c)不再指向第一用户界面元素(例如，2104)(2214b)。在一些实施方案中，在用户的注视指向第一用户界面元素时检测到第二输入。在一些实施方案中，在用户的注视指向第二用户界面元素时检测到第二输入。在一些实施方案中，在用户的注视指向用户界面(例如，除了第一用户界面元素之外)的相应区域时检测到第二输入。在一些实施方案中，在用户的注视指向用户界面中除了用户界面的相应区域之外的位置时检测到第二输入。
在一些实施方案中，诸如在图21C中，在用户的注视(例如，2101c)不指向第一用户界面元素(例如，2106)时，执行以下操作：放弃对第一用户界面元素(例如，2104)的选择，以及修改第二用户界面元素(例如，2106)的外观以指示指向第二用户界面元素(例如，2106)的进一步输入将引起对第二用户界面元素的选择(2214c)。在一些实施方案中，在用户的注视指向第一用户界面元素时，电子设备放弃对第一用户界面元素的选择并且修改第二用户界面元素的外观。在一些实施方案中，在用户的注视指向第二用户界面元素时，电子设备放弃对第一用户界面元素的选择并且修改第二用户界面元素的外观。在一些实施方案中，在用户的注视指向用户界面(例如，除了第一用户界面元素之外)的相应区域时，电子设备放弃对第一用户界面元素的选择并且修改第二用户界面元素的外观。在一些实施方案中，在用户的注视指向用户界面中除了用户界面的相应区域之外的位置，电子设备放弃对第一用户界面元素的选择并且修改第二用户界面元素的外观。在一些实施方案中，根据确定当最初检测到第一输入时用户的注视不指向第一用户界面元素，电子设备放弃更新第一用户界面元素来指示进一步输入将引起对第一用户界面元素的选择(例如，第一用户界面元素先前具有输入焦点，但当用户的注视远离第一用户界面元素移动时丢失输入焦点)。在一些实施方案中，即使在接收到第二输入时用户的注视不指向第一用户界面元素，电子设备也响应于第二输入在用户界面的相应区域内的移动而将进一步输入指向第二用户界面元素。
上述在用户的注视远离第一用户界面元素时放弃对第一用户界面元素的选择并修改第二用户界面元素的外观的方式提供了在目光从第一用户界面元素移开时(例如，在看向相应输入将指向的不同用户界面元素时)将第一输入重新指向的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，检测到第一输入包括检测到(例如，经由与电子设备通信的该一个或多个输入设备中的一个输入设备的眼睛跟踪设备)电子设备(例如，101a)的用户的注视(例如，2101a)指向用户界面的相应区域(例如，2102)(2216a)。在一些实施方案中，如果第一输入是间接输入或涉及根据方法1800的虚拟触控板或输入指示符的输入，则第一输入包括电子设备的用户的注视指向用户界面的相应区域。在一些实施方案中，如果第一输入是直接输入，则第一输入不包括当检测到第一输入时用户的注视指向用户界面的相应区域(例如，但根据方法1000，用户界面的相应区域处于注意区中)。
在一些实施方案中，诸如在图21B中，在以经修改外观显示第一用户界面元素(例如，2104)时并且在检测到第二输入之前，电子设备(例如，101a)经由该一个或多个输入设备检测(例如，2216b)到用户的注视(例如，2101b)指向用户界面的与相应区域(例如，2102)不同的第二区域(例如，2109)(例如，第二区域中的第三用户界面元素)。在一些实施方案中，用户界面的第二区域包括一个或多个第三用户界面元素。在一些实施方案中，用户界面的第二区域是容器、背板或(例如，应用程序)窗口。
在一些实施方案中，诸如在图21B中，响应于检测到用户的注视(例如，2101b)指向第二区域(例如，2109)(例如，第二区域中的第三用户界面元素)，根据确定第二区域(例如，2109)包括第三(例如，可选择的、交互式的等)用户界面元素(例如，2108)，电子设备(例如，101a)修改(2216c)第三用户界面元素(例如，2108)的外观，以指示指向第三用户界面元素(例如，2108)的进一步输入将引起与第三用户界面元素(例如，2108)的交互(例如，将输入焦点指向第二区域和/或第三用户界面元素)。在一些实施方案中，修改第三用户界面元素的外观包括以与在检测到用户的注视指向第二区域之前用于显示第三用户界面元素的颜色、图案、文本样式、半透明度和/或线条样式不同的颜色、图案、文本样式、半透明度和/或线条样式来显示第三用户界面元素。在一些实施方案中，修改第三用户界面元素的不同视觉特性是可能的。在一些实施方案中，修改第三用户界面元素的外观包括更新第三用户界面元素在用户界面中的定位，诸如将第三用户界面元素朝向或远离三维环境中的用户的视点移动。在一些实施方案中，电子设备还更新第一用户界面元素的外观以不再指示进一步输入将引起对第一用户界面元素的选择，并且放弃对第一用户界面元素的选择。在一些实施方案中，如果第二区域不包括任何可选择的和/或交互式的用户界面元素，则电子设备维持第一用户界面元素的已更新外观以指示进一步输入将引起对第一用户界面元素的选择。
上述响应于检测到用户的注视指向第二区域而修改第三用户界面元素的外观以指示进一步输入将引起对第三用户界面元素的选择的方式提供了即使当元素在用户界面的不同区域中时也将选择输入从一个元素重新指向另一个元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，第一输入包括电子设备(例如，2103a)的用户(例如，2103a、2103b、2103c)的预定义部分(例如，一根或多根手指、手部、手臂、眼睛、头部)在用户(例如，101a、2103b、2103c)的预定义部分不与物理输入设备(例如，触控板、触摸屏等)接触的情况下在电子设备(例如，101a)的环境中的空间中的移动(2218)。在一些实施方案中，电子设备使用以下中的一者或多者来检测第一输入：眼睛跟踪设备，其在不与用户物理接触的情况下跟踪用户的注视；手部跟踪设备，其在不与用户物理接触的情况下跟踪用户的手部；和/或头部跟踪设备，其在不与用户物理接触的情况下跟踪用户的头部。在一些实施方案中，用于检测第一输入的输入设备包括一个或多个相机、范围传感器等。在一些实施方案中，输入设备被并入在接收第一用户输入时与电子设备的用户接触的设备外壳中，但是外壳相对于用户的与外壳接触的部分的取向不影响对第一输入的检测。例如，眼睛跟踪设备、手部跟踪设备和/或头部跟踪设备被并入头戴式电子设备中。
上述在用户的预定义部分不与物理输入设备接触的情况下检测到第一输入的方式提供了在用户不必操纵物理输入设备的情况下检测到输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，第一输入包括由电子设备(例如，101a)的用户的手部(例如，2103a、2103b)执行的捏合手势(2220)。在一些实施方案中，电子设备使用与电子设备通信的手部跟踪设备来检测捏合手势。在一些实施方案中，检测到捏合手势包括检测到用户将其拇指触摸到与拇指在同一只手上的另一根手指。在一些实施方案中，检测到第一输入的捏合手势还包括检测到用户将拇指远离手指移动。在一些实施方案中，第一不包括检测到用户将拇指远离手指移动(例如，在第一输入结束时维持捏合手部形状)。
上述第一输入包括由用户的手部执行的捏合手势的方式提供了在用户不必操纵物理输入设备的情况下检测到输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，第一输入包括电子设备(例如，101a)的用户(例如，2103a、2103b、2103c)的手部的手指通过电子设备(例如，101a)的环境中的空间的移动(2222)。在一些实施方案中，电子设备经由与电子设备通信的手部跟踪设备来检测用户的手部的手指。在一些实施方案中，第一输入包括检测到在手部呈指向手部形状的同时手指移动通过电子设备的环境中的空间，在该指向手部形状中，该手指远离用户的躯干和/或手部的手掌伸出，并且一根或多根其他手指朝向用户的手部的手掌卷曲。在一些实施方案中，手指的移动在从用户的视点朝向第一用户界面元素的方向上。在一些实施方案中，手指的移动是由用户的包括该手指的手部的移动引起的移动。在一些实施方案中，手指的移动与来自手部的其余部分的移动无关。例如，手指的移动是以手部的指骨关节为中心的移动。在一些实施方案中，在手指移动时，用户的手掌基本上是静止的。
上述第一输入包括用户的手部的手指的移动的方式提供了在用户不必操纵物理输入设备的情况下检测到输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21C中，响应于检测到第二输入，根据确定第二输入包括与远离第一用户界面元素(例如，2104)的移动对应的移动，根据确定移动对应于用户界面的相应区域(例如，2102)内的移动，电子设备(例如，101a)修改(2224)第一用户界面元素(例如，2104)的外观，以指示进一步输入将不再指向第一用户界面元素(例如，2104)(例如，第一用户界面元素不再具有输入焦点)。在一些实施方案中，电子设备修改第一用户界面元素的外观，以指示进一步输入将不再指向第一用户界面元素，因为进一步输入将指向第二用户界面元素。在一些实施方案中，电子设备将第一用户界面元素的外观的一个或多个特性修改为与在检测到第一输入之前第一用户界面元素的外观的一个或多个特性相同。例如，在检测到第一输入之前，电子设备将第一用户界面元素显示为具有第一颜色并且/或者与用户界面的相应区域分开相应距离(例如，1、2、3、5、10、15、20或30厘米)。在该示例中，在检测到第一输入时，电子设备将第一用户界面元素显示为具有第二颜色、与用户界面的相应区域分开小于相应距离的距离。在该示例中，响应于检测到第二输入，电子设备将第一用户界面元素显示为具有第一颜色、与用户界面的相应区域分开相应距离。在一些实施方案中，响应于第二输入，电子设备将第一用户界面元素显示为具有第一颜色、不与用户界面的相应区域分开。
上述修改第一用户界面元素的外观以指示进一步输入将不再指向第一用户界面元素的方式提供了向用户指示哪个用户界面元素具有电子设备的输入焦点的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，使用户-设备界面更高效，并且向用户提供了增强的视觉反馈。
在一些实施方案中，诸如在图21C至图21D中，根据确定第二输入是在电子设备的用户的预定义部分距与相应区域(例如，2102)对应的位置远于阈值距离(例如，1、2、3、5、10、15、30或50厘米)时由用户的预定义部分(例如，一根或多根手指、手部、手臂、头部)(例如，2103b、2103c)提供的(例如，第二输入是间接输入和/或涉及根据方法1800的虚拟触控板或输入指示的输入)(2226a)，当第二输入满足一个或多个第一标准时，第二输入的移动对应于在用户界面的相应区域(例如，2102)内的移动，诸如在图21C中，并且当第二输入不满足该一个或多个第一标准时，第二输入的移动对应于在用户界面的相应区域(例如，2102)之外的移动(2226b)，诸如在图21D中。在一些实施方案中，该一个或多个第一标准基于第二输入的移动的速度、持续时间和/或距离。在一些实施方案中，电子设备将移动平移基于第二输入的移动的速度、持续时间和/或距离的对应移动量值。例如，相对高的移动速度、相对长的持续时间和/或相对大的距离对应于相对大的移动量值，而相对低的移动速度、相对短的持续时间和/或相对小的距离对应于相对小的移动量值。在一些实施方案中，电子设备将移动量值与预先确定的阈值距离(例如，与用户界面的相应区域的尺寸无关的预先确定距离、等于用户界面的相应区域的尺度(例如，宽度、高度)的距离)进行比较。在一些实施方案中，当移动量值超过预先确定的阈值距离时满足该一个或多个第一标准。
在一些实施方案中，诸如在图21C至图21D中，根据确定第二输入是在电子设备(例如，101a)的用户的预定义部分(例如，2103a)距与相应区域(例如，2102)对应的位置远于阈值距离(例如，1、2、3、5、10、15、30或50厘米)时由用户的预定义部分(例如，一根或多根手指、手部、手臂、头部)(例如，2103a)提供的(例如，第二输入是间接输入和/或涉及根据方法1800的虚拟触控板或输入指示的输入)(2226a)，根据确定第二输入是在用户(例如，2103a)的预定义部分距与相应区域(例如，2102)对应的位置近于阈值距离时由电子设备(例如，101a)的用户(例如，2103a)的预定义部分提供的(例如，第二输入是直接输入)，当第二输入满足与第一标准不同的一个或多个第二标准时，第二输入的移动对应于在用户界面的相应区域(例如，2102)内的移动，诸如在图21C中，并且当第二输入不满足该一个或多个第二标准时，第二输入的移动对应于在用户界面的相应区域(例如，2102)之外的移动(例如，2226c)，诸如在图21D中。在一些实施方案中，当用户的预定义部分从用户界面的相应区域(例如，从其挤出的三维体积)内的位置移动到用户界面的相应区域(例如，从其挤出的三维体积)之外的位置时满足该一个或多个第二标准。在一些实施方案中，该一个或多个第二标准基于第二输入的移动的距离，而不基于第二输入的移动的速度或持续时间。在一些实施方案中，如果第二输入是间接输入，则电子设备基于速度、持续时间和/或距离来确定第二输入的移动是否对应于相应区域内的移动，或者如果第二输入是直接输入，则电子设备基于第二输入期间用户的预定义部分在三维环境中的位置来确定第二输入的移动是否对应于相应区域内的移动。
上述应用不同标准根据用户的预定义部分与和用户界面的相应区域对应的位置之间的距离来确定第二输入的移动是否对应于用户界面的相应区域之外的移动的方式提供了针对各种输入类型取消或不取消指向第一用户界面元素的输入的直观方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，修改第一用户界面元素(例如，2104)的外观以指示指向第一用户界面元素(例如，2104)的进一步输入将引起对第一用户界面元素(例如，2104)的选择包括将第一用户界面元素远离三维环境中的用户的视点移动(2228a)。在一些实施方案中，电子设备将第一用户界面元素显示为不与用户界面的相应区域分开，除非且直到检测到用户的注视指向用户界面的相应区域和/或用户的手部的相应手部形状(例如，其中用户的拇指在用户的手部的另一根手指的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3、4或5厘米)内的预捏合手部形状，或者其中一根或多根手指伸出并且一根或多根手指朝向手部的手掌卷曲的指向手部形状)。在一些实施方案中，响应于检测到用户的注视指向用户界面的相应区域和/或用户的手部的相应手部形状，电子设备通过以下中的一者或多者来将第一用户界面元素(例如，和第二用户界面元素)显示为与用户界面的相应区域分开：朝向用户的视点移动第一用户界面元素(例如，和第二用户界面元素)和/或远离用户移动用户界面的相应区域。在一些实施方案中，响应于检测到指向第一用户界面元素的选择输入(例如，第一输入)，电子设备将第一用户界面元素远离用户的视点(例如，并且朝向用户界面的相应区域)移动。
在一些实施方案中，诸如在图21C中，修改第二用户界面元素(例如，2106)的外观以指示指向第二用户界面元素(例如，2106)的进一步输入将引起对第二用户界面元素(例如，2106)的选择包括将第二用户界面元素(例如，2106)远离三维环境中的用户的视点移动(2228b)。在一些实施方案中，电子设备将第二用户界面元素显示为不与用户界面的相应区域分开，除非且直到检测到用户的注视指向用户界面的相应区域和/或用户的手部的相应手部形状(例如，其中用户的拇指在用户的手部的另一根手指的阈值距离(例如，0.1、0.2、0.3、0.5、1、2、3、4或5厘米)内的预捏合手部形状，或者其中一根或多根手指伸出并且一根或多根手指朝向手部的手掌卷曲的指向手部形状)。在一些实施方案中，响应于检测到用户的注视指向用户界面的相应区域和/或用户的手部的相应手部形状，电子设备通过以下中的一者或多者来将第二用户界面元素(例如，和第一用户界面元素)显示为与用户界面的相应区域分开：朝向用户的视点移动第二用户界面元素(例如，和第一用户界面元素)和/或远离用户移动用户界面的相应区域。在一些实施方案中，响应于检测到指向第二用户界面元素的选择输入(例如，第二输入)，电子设备将第二用户界面元素远离用户的视点(例如，并且朝向用户界面的相应区域)移动。
上述远离用户的视点移动第一用户界面元素或第二用户界面元素以指示指向第一用户界面元素或第二用户界面元素的进一步输入将引起对第一用户界面元素或第二用户界面元素的选择的方式提供了指示朝向选择第一用户界面元素或第二用户界面元素的进展的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，使用户-设备界面更高效，并且向用户提供了增强的视觉反馈。
在一些实施方案中，在以经修改外观显示第二用户界面元素(例如，2106)以指示指向第二用户界面元素(例如，2106)的进一步输入将引起对第二用户界面元素(例如，2106)的选择时(例如，响应于第二输入)，诸如在图21C中，电子设备(例如，101a)经由该一个或多个输入设备检测(2230a)到第三输入，诸如在图21E中。在一些实施方案中，第三输入是选择输入，诸如直接选择输入、间接选择输入或涉及与根据方法1800的虚拟触控板或输入指示的交互的输入。
在一些实施方案中，诸如在图21E中，响应于检测到第三输入，根据确定第三输入对应于指向第二用户界面元素(例如，2106)的进一步(例如，选择)输入，电子设备(例如，101a)根据第三输入来选择(2230b)第二用户界面元素(例如，2106)。在一些实施方案中，第三输入是第一输入的继续。例如，如果第一输入是直接选择输入的包括检测到用户的手部朝向用户界面的相应区域“推动”第一选项的一部分，则第三输入是用户的手部朝向用户界面的相应区域的、指向第二用户界面元素的进一步移动(例如，朝向相应用户界面元素“推动”第二用户界面元素)。作为另一示例，如果第一输入是间接选择输入的包括检测到用户的手部做出捏合手势并维持捏合手部形状的一部分，则第三输入是维持捏合手部形状的继续。作为另一示例，如果第一输入是间接选择输入的包括检测到用户的手部在呈捏合手部形状的同时朝向第一用户界面元素移动的一部分，则第三输入是在手部维持捏合手部形状的同时的移动的继续(例如，朝向第二用户界面元素)。在一些实施方案中，选择第二用户界面元素包括执行与第二用户界面元素相关联的动作，诸如启动应用程序、打开文件、发起和/或停止用电子设备回放内容、导航到相应用户界面、改变电子设备的设置或发起与第二电子设备的通信。
上述响应于在第二输入之后检测到的第三输入而选择第二用户界面元素的方式提供了在将输入焦点从第一用户界面元素移动到第二用户界面元素之后选择第二用户界面元素的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21A中，在检测到第一输入之前，对第一用户界面元素(例如，2104)的选择需要与第一量值(例如，时间、距离、强度等的量值)相关联的输入(2232a)。在一些实施方案中，响应于直接选择输入而对第一用户界面元素的选择需要检测到用户的手指和/或手部(例如，在用户的手部呈指向手部形状时)移动预先确定的距离(例如，0.5、1、2、3、4、5或10厘米)量值，诸如第一用户界面元素与用户界面的相应区域之间的距离。在一些实施方案中，响应于间接选择输入而对第一用户界面元素的选择需要检测到用户在执行捏合手势之后维持捏合手部形状达预先确定的时间(例如，0.1、0.2、0.3、0.5、1、2、3、4、5或10秒)量值。在一些实施方案中，响应于间接选择输入而对第一用户界面元素的选择需要检测到用户在呈捏合手部形状的同时将其手部朝向第一用户界面元素移动预先确定距离(例如，0.5、1、2、3、5或10厘米)。
在一些实施方案中，诸如在图2104中，第一输入包括小于第一量值的第二量值的输入(2232b)。在一些实施方案中，如果第一输入是直接输入，则手部的移动小于预先确定的距离量值。在一些实施方案中，如果第一输入是间接输入，则手部维持捏合手部形状达小于预先确定的时间量值的时间。在一些实施方案中，如果第一输入是间接输入，则手部在呈捏合手部形状的同时朝向第一用户界面元素移动小于预先确定的距离量值的距离。
在一些实施方案中，诸如在图21A中，在检测到第二输入之前，对第二用户界面元素(例如，2106)的选择需要与第三量值(例如，时间、距离、强度等的量值)相关联的输入(2232c)。在一些实施方案中，第三量值是利用相应选择输入来选择第二用户界面元素所需的移动的量值。在一些实施方案中，第三量值与第一量值相同。在一些实施方案中，第一量值与第三量值不同。
在一些实施方案中，诸如在图21C中，响应于检测到第二输入，对第二用户界面元素(例如，2106)的选择需要与第一输入的小于第二量值的第三量值相关联的进一步输入(2232d)。例如，如果通过间接输入对第二用户界面元素的选择需要维持捏合手部形状1秒并且第一输入包括维持捏合手部形状0.3秒，则电子设备响应于检测到捏合手部形状维持了附加的0.7秒(例如，在检测到第一输入和/或第二输入之后)而选择第二用户界面元素。在一些实施方案中，第二输入与相应量值相关联，并且对第二用户界面元素的选择需要与小于第一输入的第二量值与第二输入的相应量值之和的第三量值相关联的进一步输入。例如，如果通过直接输入对第二用户界面元素的选择需要用户的手部远离用户的视点移动2厘米(例如，朝向第二用户界面元素)，第一输入包括远离用户的视点移动0.5厘米(例如，朝向第一用户界面元素)并且第二输入包括远离用户的视点移动0.3厘米(例如，朝向第二用户界面元素)，则进一步输入需要远离用户的视点移动1.2厘米(例如，朝向第二用户界面元素)。
上述需要进一步输入具有小于第二量值的第三量值的量值的方式提供了在检测到第二输入之后快速选择第二用户界面元素的高效方式，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，诸如在图21B中，第一输入包括选择发起部分以及随后的第二部分，并且第一用户界面元素(例如，2104)的外观被修改以指示指向第一用户界面元素(例如，2104)的进一步输入将引起根据包括选择发起部分的第一输入进行对第一用户界面元素(例如，2104)的选择(2234a)。在一些实施方案中，如果第一输入是间接选择输入，则检测到第一输入的发起部分包括检测到由用户的手部执行的捏合手势，并且检测到第一输入的第二部分包括检测到用户维持捏合手部形状和/或在维持捏合手部形状的同时移动手部。在一些实施方案中，如果第一输入是直接选择输入，则检测到第一输入的发起部分包括检测到用户将其手部从第一用户界面元素与用户的视点之间的位置(例如，在做出指向手部形状的同时)移动到与三维环境中的第一用户界面元素对应的位置(例如，在做出指向手部形状的同时)。在一些实施方案中，如果第一输入是涉及根据方法1800的虚拟触控板或输入指示的输入，则检测到发起部分包括检测到用户将手指移动到虚拟触控板和/或输入指示的位置，并且检测到第二部分包括检测到用户继续将其手指移动通过虚拟触控板或输入指示(例如，朝向第一用户界面元素和/或远离用户的视点移动)。
在一些实施方案中，诸如在图21C中，在电子设备(例如，101a)在第一输入(2234b)中包括的选择发起部分之后没有检测到另一选择发起部分的情况下，第二用户界面元素(例如，2106)的外观被修改以指示指向第二用户界面元素(例如，2106)的进一步输入将引起对第二用户界面元素(例如，2106)的选择。在一些实施方案中，响应于检测到第二输入(例如，在检测到第一输入(包括第一输入的发起部分)之后)而没有检测到选择输入的后续发起部分而修改第二用户界面元素的外观。
在一些实施方案中，诸如在图21B中，在不以经修改外观显示第二用户界面元素(例如，2106)时(例如，在检测到第一输入和第二输入之前，或者在检测到第一输入和第二输入之后停止以经修改外观显示第二用户界面元素之后)，电子设备(例如，101a)经由该一个或多个输入设备检测(2234c)到指向第二用户界面元素(例如，2106)的第三输入。
在一些实施方案中，诸如在图21C中，响应于检测到第三输入(2234d)，根据确定第三输入包括选择发起部分(例如，第三输入是选择输入)，电子设备(例如，101a)修改(2234e)第二用户界面元素(例如，2106)的外观，以指示指向第二用户界面元素(例如，2106)的进一步输入将引起对第二用户界面元素的选择。在一些实施方案中，电子设备响应于检测到选择输入的发起部分而修改第二用户界面元素的外观以指示进一步输入将引起对第二用户界面元素的选择。
在一些实施方案中，诸如在图21A中，响应于检测到第三输入(2234d)，根据确定第三输入不包括选择发起部分(例如，第三输入不是选择输入或包括选择输入的第二部分但不包括选择输入的发起部分)，电子设备(例如，101a)放弃(2234f)修改第二用户界面元素(例如，2106)的外观。在一些实施方案中，除非电子设备检测到选择输入的发起部分(例如，在接收到选择输入的第二部分之前或在接收输入的第二部分(例如，第一输入)以及随后用户界面的相应区域内的(例如，第二输入的)移动之后)，否则电子设备不修改第二用户界面元素的外观来指示进一步输入将引起对第二用户界面元素的选择。
上述在检测到第一输入的发起部分之后没有检测到附加发起部分的情况下修改第二用户界面元素的外观以指示进一步输入将引起对第二用户界面元素的选择的方式提供了将选择输入重新指向(例如，从第一用户界面元素重新指向第二用户界面元素)而不从头开始选择输入的高效方式，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使得用户-设备界面更高效，这向用户提供了附加控制选项而不会因附加的显示控件而使用户界面杂乱。
在一些实施方案中，方法800、1000、1200、1400、1600、1800、2000和/或2200的各方面/操作可在这些方法之间互换、替换和/或添加。例如，方法800、1000、1200、1400、1600、1800、2000和/或2200的三维环境、方法800、1000、1400、1600、2000和/或2200中的直接输入、方法800、1000、1200、1400、1600、2000和/或2200中的间接输入、和/或方法1800、2000和/或2200中的空中手势输入任选地在这些方法之间互换、替换、和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (19)

1.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
经由所述显示生成部件显示包括相应区域的用户界面，所述相应区域包括第一用户界面元素和第二用户界面元素；
在显示所述用户界面时，经由所述一个或多个输入设备检测指向所述相应区域中的所述第一用户界面元素的第一输入；
响应于检测到指向所述第一用户界面元素的所述第一输入，修改所述第一用户界面元素的外观以指示指向所述第一用户界面元素的进一步输入将引起对所述第一用户界面元素的选择；
在以经修改外观显示所述第一用户界面元素时，经由所述一个或多个输入设备检测第二输入；以及
响应于检测到第二输入：
根据确定所述第二输入包括与远离所述第一用户界面元素的移动对应的移动：
根据确定所述移动对应于所述用户界面的所述相应区域内的移动，放弃对所述第一用户界面元素的选择，并且修改所述第二用户界面元素的外观以指示指向所述第二用户界面元素的进一步输入将引起对所述第二用户界面元素的选择；以及
根据确定所述移动对应于在第一方向上在所述用户界面的所述相应区域之外的移动，放弃对所述第一用户界面元素的选择，而不修改所述第二用户界面元素的所述外观。
2.根据权利要求1所述的方法，还包括：
响应于检测到所述第二输入，并且根据确定所述移动对应于在第二方向上在所述用户界面的所述相应区域之外的移动：
根据确定所述第一输入包括在用户的预定义部分距与所述第一用户界面元素对应的位置远于阈值距离时由所述用户的所述预定义部分提供的输入，放弃对所述第一用户界面元素的选择；以及
根据确定所述第一输入包括在所述用户的所述预定义部分距与所述第一用户界面元素对应的所述位置近于所述阈值距离时由所述用户的所述预定义部分提供的输入，根据所述第二输入来选择所述第一用户界面元素。
3.根据权利要求1至2中任一项所述的方法，其中所述第一输入包括由用户的预定义部分提供的输入，并且根据所述确定所述第二输入的所述移动对应于在所述第一方向上在所述用户界面的所述相应区域之外的移动而放弃对所述第一用户界面元素的选择，而不管所述用户的所述预定义部分在所述第一输入期间距与所述第一用户界面元素对应的位置是远于阈值距离还是近于所述阈值距离。
4.根据权利要求1至3中任一项所述的方法，还包括：
在显示所述用户界面时，经由所述一个或多个输入设备检测指向所述相应区域中的第三用户界面元素的第三输入，其中所述第三用户界面元素是滑块元素，并且所述第三输入包括用于控制所述滑块元素的移动部分；
响应于检测到指向所述第三用户界面元素的所述第三输入，修改所述第三用户界面元素的外观以指示指向所述第三用户界面元素的进一步输入将引起对所述第三用户界面元素的进一步控制，并且根据所述第三输入的所述移动部分来更新所述第三用户界面元素；
在以经修改外观显示所述第三用户界面元素时并且在根据所述第三输入的所述移动部分来更新所述第三用户界面元素时，检测第四输入；以及
响应于检测到所述第四输入：
根据确定所述第四输入包括与远离所述第三用户界面元素的移动对应的移动：
维持所述第三用户界面元素的经修改外观以指示指向所述第三用户界面元素的进一步输入将引起对所述第三用户界面元素的进一步控制；以及
根据所述第四输入的所述移动来更新所述第三用户界面元素，而不考虑所述第四输入的所述移动是否对应于所述用户界面的所述相应区域之外的移动。
5.根据权利要求4所述的方法，其中所述第三输入的所述移动部分包括由用户的预定义部分提供的具有相应量值的输入，并且根据所述第三输入的所述移动部分来更新所述第三用户界面元素包括：
根据确定所述用户的所述预定义部分在所述第三输入的所述移动部分期间以第一速度移动，将所述第三用户界面元素更新基于所述用户的所述预定义部分的所述第一速度和所述第三输入的所述移动部分的所述相应量值确定的第一量；
根据确定所述用户的所述预定义部分在所述第三输入的所述移动部分期间以大于所述第一速度的第二速度移动，将所述第三用户界面元素更新基于所述用户的所述预定义部分的所述第二速度和所述第三输入的所述移动部分的所述相应量值确定的大于所述第一量的第二量，其中对于所述第三输入的所述移动部分的所述相应量值，所述第三用户界面元素的所述第二移动量大于所述第三用户界面元素的所述第一移动量。
6.根据权利要求1至5中任一项所述的方法，其中：
所述第二输入的所述移动通过用户的预定义部分的相应移动来提供，
根据确定所述用户界面的所述相应区域具有第一尺寸，根据确定所述用户的所述预定义部分的所述相应移动具有第一量值，所述第二输入的所述移动对应于在所述用户界面的所述相应区域之外的移动，并且
根据确定所述用户界面的所述相应区域具有与所述第一尺寸不同的第二尺寸，根据所述确定所述用户的所述预定义部分的所述相应移动具有所述第一量值，所述第二输入的所述移动对应于在所述用户界面的所述相应区域之外的移动。
7.根据权利要求1至6中任一项所述的方法，其中：
检测所述第一输入包括检测所述电子设备的用户的注视指向所述第一用户界面元素，
检测所述第二输入包括检测与远离所述第一用户界面元素的移动对应的所述移动以及所述用户的所述注视不再指向所述第一用户界面元素，并且
在所述用户的所述注视不指向所述第一用户界面元素时，执行以下操作：放弃对所述第一用户界面元素的所述选择，以及修改所述第二用户界面元素的所述外观以指示指向所述第二用户界面元素的进一步输入将引起对所述第二用户界面元素的选择。
8.根据权利要求1至7中任一项所述的方法，其中检测所述第一输入包括检测所述电子设备的用户的注视指向所述用户界面的所述相应区域，所述方法还包括：
在以经修改外观显示所述第一用户界面元素时并且在检测到所述第二输入之前，经由所述一个或多个输入设备检测所述用户的所述注视指向所述用户界面的与所述相应区域不同的第二区域；以及
响应于检测到所述用户的所述注视指向所述第二区域：
根据确定所述第二区域包括第三用户界面元素，修改所述第三用户界面元素的外观以指示指向所述第三用户界面元素的进一步输入将引起与所述第三用户界面元素的交互。
9.根据权利要求1至8中任一项所述的方法，其中所述第一输入包括所述电子设备的用户的预定义部分在所述用户的所述预定义部分不与物理输入设备接触的情况下在所述电子设备的环境中的空间中的移动。
10.根据权利要求1至9中任一项所述的方法，其中所述第一输入包括由所述电子设备的用户的手部执行的捏合手势。
11.根据权利要求1至10中任一项所述的方法，其中所述第一输入包括所述电子设备的用户的手部的手指通过所述电子设备的环境中的空间的移动。
12.根据权利要求1至11中任一项所述的方法，还包括：
响应于检测到第二输入：
根据所述确定所述第二输入包括与远离所述第一用户界面元素的移动对应的移动：
根据所述确定所述移动对应于所述用户界面的所述相应区域内的移动，修改所述第一用户界面元素的所述外观以指示进一步输入将不再指向所述第一用户界面元素。
13.根据权利要求1至12中任一项所述的方法，其中：
根据确定所述第二输入是在所述电子设备的用户的预定义部分距与所述相应区域对应的位置远于阈值距离时由所述用户的所述预定义部分提供的：
当所述第二输入满足一个或多个第一标准时，所述第二输入的所述移动对应于在所述用户界面的所述相应区域内的移动，并且当所述第二输入不满足所述一个或多个第一标准时，所述第二输入的所述移动对应于在所述用户界面的所述相应区域之外的移动，并且
根据确定所述第二输入是在所述电子设备的所述用户的所述预定义部分距与所述相应区域对应的所述位置近于所述阈值距离时由所述用户的所述预定义部分提供的：
当所述第二输入满足与所述第一标准不同的一个或多个第二标准时，所述第二输入的所述移动对应于在所述用户界面的所述相应区域内的移动，并且当所述第二输入不满足所述一个或多个第二标准时，所述第二输入的所述移动对应于在所述用户界面的所述相应区域之外的移动。
14.根据权利要求1至13中任一项所述的方法，其中：
修改所述第一用户界面元素的所述外观以指示指向所述第一用户界面元素的进一步输入将引起对所述第一用户界面元素的选择包括将所述第一用户界面元素远离三维环境中的所述用户的视点移动，并且
修改所述第二用户界面元素的所述外观以指示指向所述第二用户界面元素的进一步输入将引起对所述第二用户界面元素的选择包括将所述第二用户界面元素远离所述三维环境中的所述用户的所述视点移动。
15.根据权利要求1至14中任一项所述的方法，还包括：
在以经修改外观显示所述第二用户界面元素以指示指向所述第二用户界面元素的进一步输入将引起对所述第二用户界面元素的选择时，经由所述一个或多个输入设备检测第三输入；以及
响应于检测到所述第三输入：
根据确定所述第三输入对应于指向所述第二用户界面元素的进一步输入，根据所述第三输入来选择所述第二用户界面元素。
16.根据权利要求1至15中任一项所述的方法，其中：
在检测到所述第一输入之前，对所述第一用户界面元素的选择需要与第一量值相关联的输入，
所述第一输入包括小于所述第一量值的第二量值的输入，
在检测到所述第二输入之前，对所述第二用户界面元素的选择需要与第三量值相关联的输入，并且
响应于检测到所述第二输入，对所述第二用户界面元素的选择需要与小于所述第一输入的所述第二量值的所述第三量值相关联的进一步输入。
17.根据权利要求1至16中任一项所述的方法，其中：
所述第一输入包括选择发起部分以及随后的第二部分，并且所述第一用户界面元素的所述外观被修改以指示指向所述第一用户界面元素的进一步输入将引起根据包括所述选择发起部分的所述第一输入进行对所述第一用户界面元素的选择，
在所述电子设备在所述第一输入中包括的所述选择发起部分之后没有检测到另一选择发起部分的情况下，所述第二用户界面元素的所述外观被修改以指示指向所述第二用户界面元素的进一步输入将引起对所述第二用户界面元素的选择，并且所述方法还包括：
在不以经修改外观显示所述第二用户界面元素时，经由所述一个或多个输入设备检测指向所述第二用户界面元素的第三输入；以及
响应于检测到所述第三输入：
根据确定所述第三输入包括所述选择发起部分，修改所述第二用户界面元素的所述外观以指示指向所述第二用户界面元素的进一步输入将引起对所述第二用户界面元素的选择；以及
根据确定所述第三输入不包括所述选择发起部分，放弃修改所述第二用户界面元素的所述外观。
18.一种电子设备，包括：
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至17所述的方法中的任一种方法的指令。
19.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求1至17所述的方法中的任一种方法。
CN202311491331.5A 2021-01-20 2022-01-20 用于与环境中的对象进行交互的方法 Pending CN117406892A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US63/139,566 2021-01-20
US202163261559P 2021-09-23 2021-09-23
US63/261,559 2021-09-23
CN202280022799.7A CN117043720A (zh) 2021-01-20 2022-01-20 用于与环境中的对象进行交互的方法
PCT/US2022/013208 WO2022159639A1 (en) 2021-01-20 2022-01-20 Methods for interacting with objects in an environment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202280022799.7A Division CN117043720A (zh) 2021-01-20 2022-01-20 用于与环境中的对象进行交互的方法

Publications (1)

Publication Number Publication Date
CN117406892A true CN117406892A (zh) 2024-01-16

Family

ID=88635913

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202280022799.7A Pending CN117043720A (zh) 2021-01-20 2022-01-20 用于与环境中的对象进行交互的方法
CN202311491331.5A Pending CN117406892A (zh) 2021-01-20 2022-01-20 用于与环境中的对象进行交互的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202280022799.7A Pending CN117043720A (zh) 2021-01-20 2022-01-20 用于与环境中的对象进行交互的方法

Country Status (1)

Country Link
CN (2) CN117043720A (zh)

Also Published As

Publication number Publication date
CN117043720A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US20220229524A1 (en) Methods for interacting with objects in an environment
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US11995230B2 (en) Methods for presenting and sharing content in an environment
US20220083197A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US11720171B2 (en) Methods for navigating user interfaces
CN114830066A (zh) 用于在三维环境中显示应用程序的设备、方法和图形用户界面
US11567625B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20230334808A1 (en) Methods for displaying, selecting and moving objects and containers in an environment
CN117406892A (zh) 用于与环境中的对象进行交互的方法
US12124673B2 (en) Devices, methods, and graphical user interfaces for content applications
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20240256049A1 (en) Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments
JP2024537657A (ja) メディア及び三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN118519556A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面
WO2024064388A1 (en) Devices, methods, for interacting with graphical user interfaces
WO2024064016A1 (en) Devices, methods, and user interfaces for gesture-based interactions
CN118860221A (zh) 用于与电子设备交互的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination