CN115167676A - 用于在三维环境中显示应用程序的设备和方法 - Google Patents

用于在三维环境中显示应用程序的设备和方法 Download PDF

Info

Publication number
CN115167676A
CN115167676A CN202210817540.3A CN202210817540A CN115167676A CN 115167676 A CN115167676 A CN 115167676A CN 202210817540 A CN202210817540 A CN 202210817540A CN 115167676 A CN115167676 A CN 115167676A
Authority
CN
China
Prior art keywords
user
view
user interface
location
wrist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210817540.3A
Other languages
English (en)
Inventor
S·O·勒梅
G·S·铃木
M·J·桑德斯特罗姆
J·艾夫
R·T·蒂尔顿
J·M·福克纳
J·R·达斯科拉
W·A·索伦蒂诺三世
K·E·S·鲍尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN115167676A publication Critical patent/CN115167676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于在三维环境中显示应用程序的设备、方法和图形用户界面。一种计算机系统检测手腕，并根据确定满足第一标准，该计算机系统在第一区域中显示对应于不同应用程序的多个表示。该计算机系统在手腕上的第一位置处检测满足预先确定的选择标准的第一输入。根据确定第一位置对应于手腕的第一部分并确定手掌的至少一部分面向视点，该计算机系统使显示生成部件显示第一应用程序的用户界面。根据确定第一位置对应于手腕的第二部分并确定手掌的至少一部分面向视点，该计算机系统使显示生成部件显示第二应用程序的用户界面。

Description

用于在三维环境中显示应用程序的设备和方法
本申请是申请日为2020年12月11日、申请号为202080085441.X、发明名称为“用于在三维环境中显示应用程序的设备、方法和图形用户界面”的发明专利申请的分案申请。
相关专利申请
本申请是2020年12月10日提交的美国专利申请17/118,487的延续，其要求2019年12月23日提交的美国临时专利申请62/953,125的优先权，这些专利申请各自通过引用整体并入本文。
技术领域
本公开整体涉及具有显示生成部件和提供计算机生成的体验的一个或多个输入设备(包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备)的计算机系统。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的表示的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这个计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
如本文所公开的，不同类型的内容或应用程序任选地以不同的显示大小和显示范围(例如，在手上、桌面上、空中或墙壁上)显示并且/或者被设计成根据不同的用户交互模型对用户输入做出响应，从而实现更好的交互效率(例如，更少的输入、更少的错误、更快的响应时间等)和更好的用户体验(例如，及时和直观的反馈，以及更少的认知负担等)。类似地，相同的应用程序或内容可以以不同的显示大小、显示范围和显示取向(例如，根据用户的手部姿势和手势输入)选择性地显示，并且被设计成当以不同的大小、范围和取向显示时根据不同的用户交互模型对用户输入做出响应，以实现更好的交互效率和用户体验。如本公开中所描述的，应用程序图标显示在计算机生成的三维环境中与用户手腕(例如，手腕的内侧)相对应的位置处，使得指向用户手腕的用户输入用于激活应用程序图标并启动对应的应用程序。各种启发法用于确定内容和/或应用程序相对于用户显示的位置和方式，以及显示的用户界面如何响应用户输入。使用用户手腕作为显示表面和输入表面是方便且直观的，并且减少了与应用程序图标交互所需的用户的努力，从而减少用户错误并提高交互效率。
计算机生成的环境(包括增强现实环境和虚拟环境)可以使用不同的显示生成部件(例如，头戴式显示器、触摸屏等)在多个用户之间共享。例如，不同的显示生成部件可以显示基于相同三维物理环境和物理环境中的不同用户的相对位置的增强现实环境的不同的视角；并且共享增强现实环境包括至少一个虚拟元素，该虚拟元素在经由与三维物理环境中的相同空间位置相对应的不同显示生成部件提供的视图中具有相应的显示位置。类似地，不同的显示生成部件可以显示相同三维虚拟环境的不同的视角，其中虚拟环境中的每个虚拟元素在与三维虚拟环境中的相同空间位置相对应的不同显示生成部件上具有相应的显示位置。通过经由不同显示生成部件提供的计算机生成的环境递送的共享体验，能够在计算机辅助协作和社会参与活动中提高通信效率并增强用户体验。然而，当用户参与共享计算机生成的体验时，隐私和控制仍然很重要。例如，当用户与另一用户共享计算机生成的三维环境时，用户可能希望在计算机生成的三维环境中保持激活的私人特定内容或应用程序。用户还可能希望与另一用户短暂地共享她/他已在私人模式中观看的内容或应用程序，并在任何时间停止共享内容或应用程序而不终止一般的三维环境的共享。如本公开中所描述的，由第一用户在三维环境中激活的应用程序/内容的隐私模式和交互模式由应用程序/内容(或应用程序/内容显示在其上的用户界面对象)相对于计算机生成的三维环境中的第一用户的位置和/或取向，并且/或者由第一用户的手部姿势和手势以直观且有效的方式控制。因此，用户的应用程序/内容的隐私保护和用户控制被无缝集成到与另一用户共享计算机生成的体验的过程中，而无需在共享体验期间执行用于应用程序/内容的先前配置过程或重新配置过程。
根据一些实施方案，在包括显示生成部件和一个或多个输入设备的计算机系统处执行方法，包括：在与经由显示生成部件提供的三维环境的视图内的相应位置相对应的位置处检测手腕，而不在与手腕位置相对应的相应三维环境的视图内的相应位置处显示应用程序的表示；在与经由显示生成部件提供的三维环境的视图内的相应位置相对应的位置处检测手腕时：根据确定手腕的导航状态满足第一标准，在经由显示生成部件提供的三维环境的视图内的第一区域中，经由显示生成部件显示与不同应用程序相对应的多个表示，包括在与手腕第一部分相对应的三维环境的视图内的第一位置处，显示与第一应用程序相对应的第一表示，以及在与手腕第二部分相对应的三维环境的视图内的第二位置处，显示与第二应用程序相对应的第二表示；当在与经由显示生成部件提供的三维环境的视图内的第一区域中显示与不同应用程序相对应的多个表示时，在手腕上的第一位置处检测满足预先确定的选择标准的第一输入；并且响应于在满足预先确定的选择标准的手腕上的第一位置处检测第一输入：根据确定第一位置对应于手腕的第一部分、并且连接到手腕的手掌的至少一部分面向与经由显示生成部件提供的三维环境的视图相对应的视点，使显示生成部件在与手掌的至少一部分相对应的三维环境的视图内的第三位置处显示第一应用程序的用户界面；并且根据确定第一位置对应于手腕的第二部分、并且连接到手腕的手掌的至少一部分面向与经由显示生成部件提供的三维环境的视图相对应的视点，使显示生成部件在与手掌的至少一部分相对应的三维环境的视图内的第三位置处显示第二应用程序的用户界面。
根据一些实施方案，在包括显示生成部件和一个或多个输入设备的计算机系统处执行方法，包括：在与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置处，经由显示生成部件显示第一应用程序的用户界面的第一视图，该手掌的至少一部分当前面对与经由显示生成部件提供的三维环境的视图相对应的视点，其中以第一大小显示第一应用程序的用户界面的第一视图；当在与手掌的至少一部分(当前面对与经由显示生成部件提供的三维环境的视图相对应的视点)的位置相对应的三维环境的视图内的第一位置处，显示第一应用程序的用户界面的第一视图时，检测第一输入，该第一输入对应于将第一应用程序的显示从手掌转移到第一表面的请求，该第一表面位于与经由显示生成部件提供的三维环境的视图相对应的视点的第一接近度内；并且响应于检测第一输入，在由第一表面限定的第二位置处，以与第一表面相对应的取向显示第一应用程序的用户界面的第二视图，其中以与第一大小不同的第二大小显示第一应用程序的用户界面的第二视图。
根据一些实施方案，在包括显示生成部件和一个或多个输入设备的计算机系统处执行方法，包括：在与经由显示生成部件提供的三维环境的视图内的位置相对应的位置处检测手腕的存在；响应于在与经由显示生成部件提供的三维环境的视图内的位置相对应的位置处检测手腕的存在：根据确定在与经由显示生成部件提供的三维环境的视图中的位置相对应的位置处存在手腕满足第一标准(其中第一标准要求手腕的内侧面向与经由显示生成部件提供的三维环境的视图相对应的视点)，在与手腕上的第一位置相对应的三维环境的视图内的第一位置处，经由显示生成部件显示第一用户界面对象，包括与不同应用程序相对应的多个表示；当在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象时，检测手腕已从满足第一标准改变成满足第二标准，其中第二标准要求手腕的外侧面向与经由显示生成部件提供的三维环境的视图相对应的视点；并且响应于检测手腕已从满足第一标准改变成满足第二标准，从在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象切换到经由显示生成部件显示第二用户界面对象，包括用于在与附接到手腕的手背上的位置相对应的三维环境的视图内的第二位置处控制计算机系统功能的多个控件。
根据一些实施方案，在包括第一显示生成部件和一个或多个第一输入设备的第一计算机系统处执行方法，包括：当在三维环境的第一视图中向第一用户显示包括第二用户的表示的一个或多个用户界面对象时，接收显示三维环境的第二视图的请求；并且响应于接收显示三维环境的第二视图的请求：根据确定三维环境的第二视图包括对应于与第二用户相关联的用户界面对象的第一部分的位置(其中该位置不被其他对象或三维环境中的用户界面对象的其他部分和与满足相应标准的第二用户相关联的用户界面对象遮挡)，在该位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，其中相应的标准包括当与第二用户相关联的用户界面对象与第二用户具有预先确定的空间关系时满足的标准；并且根据确定三维环境的第二视图包括对应于与第二用户相关联的用户界面对象的第一部分的位置(其中该位置不被其他对象或三维环境中的用户界面对象的其他部分和与不满足相应标准的第二用户相关联的用户界面对象遮挡)，放弃显示与第二用户相关联的用户界面对象的至少一部分，包括放弃显示用户界面对象的第一部分。
根据一些实施方案，计算机系统包括显示生成部件(例如，显示器、投影仪、头戴式显示器等)、一个或多个输入设备(例如，一个或多个相机、触敏表面、任选地用于检测与触敏表面的接触强度的一个或多个传感器)、任选地一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案，一种非暂态计算机可读存储介质在其中存储有指令，这些指令在被具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器的计算机系统执行时，使该设备执行本文所述方法中的任一种方法或使本文所述方法中的任一种方法的操作的执行。根据一些实施方案，具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的计算机系统上的图形用户界面包括在本文所述方法中的任一种方法中所显示的元素中的一个或多个元素，该一个或多个元素响应于输入而被更新，如本文所述方法中的任一种方法所描述的。根据一些实施方案，计算机系统包括：显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、任选地用于检测与触敏表面的接触强度的一个或多个传感器)以及任选地一个或多个触觉输出发生器；以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些实施方案，用于具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器的计算机系统中的信息处理设备包括用于执行本文所述方法中的任一种方法的操作或导致本文所述方法中的任一种方法的操作被执行的装置。
因此，为具有显示生成部件的计算机系统提供了改进的方法和界面，以用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统，从而提高此类计算机系统的有效性、效率，以及用户安全性和满意度。此类方法和界面可以补充或替换用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统的常规方法。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪管道的流程图。
图7A至图7D是示出根据一些实施方案的用户与计算机生成的三维环境的交互(例如，包括在计算机生成的三维环境中显示并且/或者移动应用程序、内容或控件的交互，以及任选地改变其隐私模式)的框图。
图7E至图7G是示出根据一些实施方案的共享计算机生成的三维环境中的隐私控制(例如，包括基于所有者的手部姿势和/或应用程序的显示位置，在共享计算机生成的三维环境中控制应用程序的隐私)的框图。
图8是根据一些实施方案的与计算机生成的三维环境交互的方法(例如，包括在与用户手腕的位置相对应的位置处显示应用程序图标，以及响应于指向手腕的输入，在与用户手掌的位置相对应的位置处显示应用程序)的流程图。
图9是根据一些实施方案的与计算机生成的三维环境交互的方法(例如，包括将应用程序用户界面从与用户手掌的位置相对应的第一显示位置移动到与物理环境中另一表面相对应的第二显示位置，并且连同移动到第二显示位置，相对于三维环境调整应用程序用户界面的大小)的流程图。
图10是根据一些实施方案的与计算机生成的三维环境交互的方法(例如，包括在与用户手背相对应的显示位置处显示控件，并且在与用户手腕的内侧相对应的显示位置处显示应用程序图标(并且任选地，在与用户手掌相对应的显示位置处显示应用程序用户界面))的流程图。
图11是根据一些实施方案的促进用户与多个用户之间共享的计算机生成的环境交互的方法(例如，包括基于用户界面对象与其相关联的用户之间的空间关系是否满足预设标准来显示或隐藏(或放弃显示)与另一用户相关联的用户界面对象)的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。
在一些实施方案中，当手腕的导航状态满足预设标准时，计算机系统在与用户手腕的位置相对应的计算机生成的三维环境中的位置处显示应用程序图标。指向手腕的用户输入(例如，通过未连接到手腕的另一只手)用于激活在与手腕上的输入位置相对应的位置处显示的应用程序图标，并且使得在与用户手掌(例如，连接到手腕的手掌)的位置相对应的计算机生成的环境中的位置处显示应用程序用户界面。基于用户手掌的姿势任选地选择应用程序用户界面的大小和/或取向。使用用户手腕作为显示应用程序图标的表面，以及使用连接到手腕的手掌作为显示应用程序用户界面的表面是自然且直观的。用户可以通过改变用户的手部姿势或指向用户手掌的输入，容易地到达应用程序用户界面并与其交互。这种显示应用程序图标和应用程序用户界面的方法不需要另一输入表面和/或显示表面的可用性。用户的自然运动(例如，抬起用户手臂并将手腕和手掌的内侧转向用户脸部)被用作输入，以导致应用程序图标的显示，并提供用于显示应用程序用户界面的表面。这降低了设备成本，减少了用户输入的数量、程度和/或性质，并产生更有效的人机界面。
在一些实施方案中，当在与用户手掌的位置相对应的位置处显示应用程序用户界面时，应用程序用户界面以第一大小并且任选地以第一取向显示，并且根据第一交互模型对用户输入做出响应。响应于将应用程序用户界面从与用户手掌相对应的显示位置移动到与三维环境中的另一表面(例如，物理环境中的附近桌面或墙壁)相对应的显示位置的请求，应用程序用户界面被显示为相对于三维环境具有不同的大小以及任选地不同的取向，并且根据不同的交互模型对用户输入做出响应。在一些实施方案中，应用程序用户界面响应于用户手的预定义手势恢复到与用户手掌相对应的显示位置。在一些实施方案中，当在分别与用户手掌与三维环境中的其他表面相对应的显示位置之间切换时，调整应用程序的隐私模式(例如，隐私模式控制应用程序的用户界面中所示的内容的类型和量，以及任选地在应用程序的用户界面中允许执行的操作类型)。通过基于应用程序用户界面的显示位置(并且基于对应物理位置的特性)自动调整应用程序用户界面的显示大小和任选的显示取向和交互模型，计算机系统帮助用户在使用场景下容易地选择应用程序的最佳交互模式(例如，墙壁上的大显示大小用于在私人环境中欣赏内容或用于在共享环境中与他人充分合作，桌面上的中等显示大小用于单独或成对工作，或手掌上的小显示大小用于在共享环境中私下工作，等等)，并减少来自用户的输入的数量、程度和/或性质，并产生更有效的人机界面。
在一些实施方案中，根据用户手背或用户手腕或手掌的内侧是否面向用户的面部(或对应地，与计算机生成的三维环境的当前视图相对应的视点)，在计算机生成的三维环境中分别显示控件和应用程序图标。在与手背相对应的位置处示出控件，结合在与连接到手部的手腕的内侧相对应的位置处示出应用程序图标，并且/或者在与连接到手腕的手掌相对应的位置处示出应用程序用户界面，提供了基于用户自然身体运动来获得的有效的功能划分，并且减少了来自用户的输入的数量、程度和/或性质并且产生更有效的人机界面。
在一些实施方案中，当计算机系统经由第一显示生成部件显示共享三维环境(例如，虚拟环境或增强现实环境)时，基于应用程序用户界面的隐私模式，应用程序用户界面被隐藏或显示在经由第一显示生成部件示出的三维环境中，该隐私模式是如基于共享三维环境中的应用程序用户界面与其所有者(例如，启动应用程序的用户)之间的空间关系确定的，该共享三维环境如经由应用程序用户界面的所有者使用的第二显示生成部件显示。基于计算机生成的三维环境中应用程序用户界面与其相关联的用户之间的空间关系，自动显示或隐藏与另一用户相关联的应用程序用户界面，允许每个用户在共享计算机环境中容易地控制其自己应用程序的隐私，并且能够在计算机辅助协作和社会参与活动中提高通信效率并增强用户体验。通过基于应用程序/内容相对于计算机生成的三维环境中的控制用户(例如，应用程序的所有者或在三维环境中激活应用程序的用户)的位置，并且/或者基于用户的手部姿势和手势来控制应用程序/内容的隐私模式和交互模式，用户应用程序/内容的隐私保护和用户控制无缝地集成到与另一用户实时共享计算机生成的体验的过程中，从而减少共享会话期间来自用户的输入的数量、程度和/或性质，并产生更有效的人机界面。
图1至图6提供了对用于向用户提供CGR体验的示例性计算机系统的描述。7A至7D是示出根据一些实施方案的用户与计算机生成的三维环境的交互的框图。图7E至图7G是示出根据一些实施方案的与多个用户共享的计算机生成的三维环境的交互的框图。图8是根据一些实施方案的与计算机生成的三维环境交互的方法(例如，包括在与用户手腕的位置相对应的位置处显示应用程序图标，以及响应于指向手腕的输入，在与用户手掌的位置相对应的位置处显示应用程序)的流程图。图9是根据一些实施方案的与计算机生成的三维环境交互的方法(例如，包括将应用程序从与用户手掌的位置相对应的第一显示位置移动到与物理环境中另一表面相对应的第二显示位置，并且连同移动到第二显示位置，相对于三维环境调整应用程序用户界面的大小)的流程图。图10是根据一些实施方案的与计算机生成的三维环境交互的方法(例如，包括在与用户手背相对应的显示位置处显示控件，并且在与用户手腕的内侧相对应的显示位置处显示应用程序图标(并且任选地，在与用户手掌相对应的显示位置处显示应用程序用户界面))的流程图。图11是根据一些实施方案的促进用户与多个用户之间共享的计算机生成的环境交互的方法(例如，包括基于用户界面对象与其相关联的用户之间的空间关系是否满足预设标准来显示或隐藏(或放弃显示)与另一用户相关联的用户界面对象)的流程图。图7A至图7G中的用户界面分别用于示出图8至图11中的过程。
在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机系统101检测到的输入进行交互，这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成的现实：相反地，计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
硬件：有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理设置/环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中，手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中，眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的位置或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现AR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的位置和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可以例如用于计算机生成的现实(例如，包括虚拟现实和/或混合现实)应用程序，以向用户提供计算机生成的现实(例如，包括虚拟现实、增强现实和/或增强虚拟)体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪管道。在一些实施方案中，注视跟踪管道通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪管道以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到管道以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由管道处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7D是示出根据一些实施方案的用户与计算机生成的三维环境的交互的框图。图7A至图7D用于示出下文描述的过程，包括图8至图11中的过程。
在一些实施方案中，通过分析由传感器系统(例如，传感器190，图1；图像传感器314，图3)捕获的数据或信号来检测关于图7A至图7D描述的条件、输入和/或手势的存在。在一些实施方案中，传感器系统包括一个或多个成像传感器(例如，一个或多个相机，诸如运动RGB相机、红外相机、深度相机等)。例如，一个或多个成像传感器是包括显示生成部件(例如，图1、图3和图4中的显示生成部件120或图7A至图7G中的显示生成部件7100和7200(例如，用作显示器和触敏表面的触摸屏显示器、立体显示器、具有透传部分的显示器等))的计算机系统(例如，图1中的计算机系统101(例如，如图7A至图7D中所示的便携式电子设备或HMD))的部件或向其提供数据。在一些实施方案中，该一个或多个成像传感器在设备的与设备的显示器相反的一侧上包括一个或多个后向相机。在一些实施方案中，由头戴式系统的传感器系统(例如，包括立体显示器的VR头戴式耳机，该立体显示器为用户的左眼提供左图像并为用户的右眼提供右图像)检测输入和/或手势。例如，为头戴式系统的部件的一个或多个相机安装在该头戴式系统的前部和/或下侧上。在一些实施方案中，一个或多个成像传感器位于其中使用头戴式系统的空间中(例如，在房间中的各个位置中围绕头戴式系统排列)，使得成像传感器捕获该头戴式系统和/或该头戴式系统的用户的图像。在一些实施方案中，由平视设备(诸如，平视显示器、具有显示图形的能力的汽车挡风玻璃、具有显示图形的能力的窗户、具有显示图形的能力的透镜)的传感器系统检测输入手势。例如，一个或多个成像传感器附接到汽车的内部表面。在一些实施方案中，传感器系统包括一个或多个深度传感器(例如，传感器阵列)。例如，该一个或多个深度传感器包括一个或多个基于光的(例如，红外)传感器和/或一个或多个基于声音的(例如，超声)传感器。在一些实施方案中，传感器系统包括一个或多个信号发射器，诸如光发射器(例如，红外发射器)和/或声音发射器(例如，超声发射器)。例如，在光(例如，来自具有预先确定的图案的红外光发射器阵列的光)被投影到手部(例如，如关于图7A至图7D所述的手部7020、手部7022和手部7214)上时，由该一个或多个相机捕获在光的照明下的手部的图像，并且所捕获的图像被分析以确定手部的位置和/或构造。例如，在光(例如，来自具有预先确定的图案的红外光发射器阵列的光)被投影到手腕(例如，如关于图7A至图7G所述的手腕7028和/或手腕7228)上时，由该一个或多个相机捕获在光的照明下的手腕的图像，并且所捕获的图像被分析以确定手腕的位置和/或构造。使用来自指向手部和手腕的图像传感器的信号来确定输入手势，而不是使用触敏表面或其他直接接触机构或基于接近的机构的信号，允许用户自由选择在利用他/她的手部提供输入手势时是执行大幅运动还是保持相对静止，而不经受由特定输入设备或输入区域施加的限制。类似地，图像传感器还用于检测其他身体部分的存在，诸如用户的手腕(例如，包括连接到手掌的手腕内侧，以及连接到手背的手腕后侧)和手臂(例如，包括连接到手腕内侧的手臂内侧，以及连接到手腕后侧的手臂外侧)，以及它们相对于物理环境和/或用户面部的位置(例如，与经由显示生成部件显示的三维环境的当前视图相对应的视点相对应的位置)。
如图7A(A)所示，用户(例如，用户7002)出现在物理环境(例如，场景105)中，该物理环境包括在各个位置处的多个物理表面(例如，竖直表面，诸如前壁7004、侧壁7006和对象7010(例如，搁板、冰箱、门等)的前表面7012；水平表面，诸如对象7014(例如，课桌或餐桌)的地板表面7008和顶表面7018)。用户7002具有第一手部(例如，左手7020)和第二手部(例如，右手7022)。
如图7A(B)所示，在一些实施方案中，经由计算机系统(例如，HMD、手持式电子设备或计算机)的显示生成部件(例如，显示生成部件7100)，向用户7002提供物理环境的至少一部分的视图(例如，具有透传部分的视图(例如，相机视图或显示器的透明部分))。在一些实施方案中，除了通过显示生成部件的透传部分看到物理环境的一部分之外，用户能够直接观看物理环境(例如，在显示生成部件是计算机监视器、手持式设备的显示器或平板电脑的显示器的情况下)。例如，如图7A(B)所示，显示生成部件7100上示出的物理环境的视图包括场景105的透传视图，包括场景105中的物理对象和表面的表示(例如，竖直前壁7004的表示7004'、竖直侧壁7006的表示7006'、水平地板表面7008的表示7008'、物理对象7010的表示7010'、物理对象7014的表示7014'、对象7010的竖直前表面7012的表示7012'、以及对象7014的水平顶表面7018的表示7018')。在一些实施方案中，物理环境的用户的直接视图被显示生成部件和连接到其上的部件(例如，壳体和其他硬件部件)完全阻挡。例如，在显示生成部件是用户佩戴的HMD的显示器或车辆的大平视显示器的情况下，用户对物理环境的唯一视图是通过经由显示生成部件提供的透传部分。
如图7A(B)所示，在一些实施方案中，当手臂、手腕和/或手部或其部分移动到物理环境中的预定义区域中(例如，移动到计算机系统的一个或多个相机的视野中，抬起到用户躯干的上部，和/或从静止位置抬起阈值量，等等)时，向用户提供他/她的手臂、手腕和/或手部的实时视图(例如，作为物理环境的视图的一部分，或在显示器上显示物理环境的视图的单独区域中)。
在一些实施方案中，经由显示生成部件7100提供的物理环境的视图不是用户7002周围的物理环境(例如，场景105)，并且用户手臂、手腕和/或手部的视图(例如，由计算机系统的一个或多个相机捕获，或基于各种传感器捕获的信息的手臂、手腕和/或手部的程式化版本)由显示生成部件7100提供，以替换物理环境的视图的一部分，或在显示器上显示物理环境的视图的单独区域中。
在一些实施方案中，显示生成部件7100不提供物理环境的视图，而是提供完全虚拟的环境(例如，没有相机视图或透明透传部分)，并且与虚拟环境(例如，虚拟三维环境中)一起提供当前由一个或多个传感器(例如，相机、运动传感器、其他姿势传感器等)捕获的用户的手臂、手腕和/或手部的实时视觉表示(例如，程式化的表示或分割的相机图像)。
如图7A(B)所示，用户手臂、手腕和手部的当前视图包括用户的手部7020(例如，左手)的表示7020'、连接到用户的手部7020的用户手腕7028的表示7028'。如本文所述，用户手腕包括与用户手部直接连接的手臂部分，并且任选地延伸到位于手部与用户肘部之间的用户手臂部分。另外，用户手臂、手腕和手部的当前视图还包括用户另一只手7022(例如，右手或其一个或多个手指)的表示7022’，该用户另一只手悬停在或接触用户手腕7028的内侧的一部分。响应于用户的手臂、手腕和手部被移动到物理环境中的预定义区域中(例如，移动到计算机系统的一个或多个相机的视野中，抬起到用户躯干的上部，并且/或者从静止位置抬起阈值量等)，提供用户手臂、手腕和手部的实时视图。
在一些实施方案中，显示生成部件7100在经由显示生成部件7100提供的三维环境(例如，示出用户手臂、手腕和/或手部的表示的增强现实环境或虚拟现实环境)中显示一个或多个虚拟对象。在一些实施方案中，虚拟对象包括用户界面对象(例如，菜单、应用程序图标、操作系统或计算机系统应用程序中发生的事件通知、设备设置控件、媒体对象的表示、基于语音的虚拟助手等)、物理对象的程式化表示(例如，虚拟叠加(例如，虚拟窗口、壁画)、虚拟挂钟、虚拟手持式设备等)和虚拟对象(例如，动画角色、媒体内容、虚拟三维模型(例如，虚拟球7024位于顶表面7018的表示7018'上，并在顶表面7018的表示7018'上投射虚拟阴影)等)。在一些实施方案中，多个虚拟对象任选地显示为浮动在空间中或替换三维环境中的物理对象的视图的至少一部分。在一些实施方案中，每个用户界面对象任选地具有一个或多个对应操作，该一个或多个对应操作可在三维环境内执行或者在与计算机系统通信的物理环境中引起效应(例如，控制与控制显示生成部件的计算机系统通信的另一设备(例如，扬声器或智能灯))。
如图7A(B)所示，当计算机系统例如通过一个或多个相机或其他传感器检测到用户手腕已抬起到物理环境中的预定义区域(例如，进入一个或多个相机的视野中，在用户上身前方，或在距离休息位置预定义距离的上方)时，计算机系统经由显示生成部件7100显示可滚动的容器对象(例如，菜单7026)，其在与用户手腕7028的内侧的位置相对应的三维环境的视图内的相应显示位置处包含多个可选选项7030(例如，应用程序图标7030-a、7030-b和7030-c)。随着手腕7028在物理环境中移动，手腕7028的表示7028'的位置在经由显示生成部件7100示出的三维环境的视图中移动，并且包含多个可选选项7030的菜单7026的显示位置被更新，以继续对应于手腕7028的位置(例如，菜单7026被锁定到三维环境中的手腕7028的表示7028'的位置)。在一些实施方案中，包括可选选项7030的菜单7026替换由计算机系统的一个或多个相机捕获的物理环境的视图的至少一部分(例如，菜单7026替换用户手腕7028的内侧的视图的一部分(例如，替换表示7028'的一部分))。在一些实施方案中，包括可选选项7030的菜单7026显示在物理环境通过其可见的计算机系统的透明或半透明显示器(例如，平视显示器或HMD)上(例如，菜单7026阻挡用户手腕7028的内侧的视图的一部分(例如，覆盖表示7028'的一部分))。在一些实施方案中，包括可选选项7030的菜单7026替换用户手腕7028的程式化版本的内侧的一部分的显示(例如，菜单7026替换是用户手腕7028的程式化版本的表示7028'的一部分)。
在一些实施方案中，如图7A(B)中所示，可选选项7030的菜单7026沿着用户手臂的纵向显示，并且可沿着用户手臂的纵向向上和向下滚动。例如，响应于手指(例如，右手7022的食指)在手腕7028上在用户手臂(例如，左臂)的纵向上轻扫，可选选项7030-a、7030-b和7030-c根据手指在用户手腕7028上的移动，在经由显示生成部件7100提供的三维环境的视图中移动，并且当可选选项7030-c移动经过与手腕7028的与手部7020的手掌相邻的末端相对应的位置时，停止显示。任选地，根据菜单7026的滚动，在菜单7026中显示先前在菜单7026中不可见的另一可选选项7030-d的一部分。在一些实施方案中，可选选项7030的菜单7026沿着用户手腕7028周围的方位方向显示，并且可沿着用户手腕周围的方位方向向左或向右滚动。例如，响应于手指(例如，右手7022的食指)在方位方向上在手腕7028上的轻扫，可选选项7030根据手指在用户手腕7028上的移动而在三维环境的视图中移动，并且当它们移动经过与手腕7028的侧边界相对应的位置时，一个或多个可选选项7030停止显示。任选地，根据菜单7026的滚动，在菜单7026中显示在菜单7026中先前不可见的一个或多个其他可选选项7030。
在一些实施方案中，根据确定已经满足某些预设标准(例如，通过手腕7028的导航状态，并且任选地通过存在其他条件)，可选选项的菜单7026显示在与用户手腕7028的位置相对应的三维环境的视图中的位置处。当预设标准尚未满足时，计算机系统不显示菜单7026，并且/或者当预设标准不再满足时停止显示菜单。
在一些实施方案中，用于显示菜单7026的预设标准包括：要求用户手腕移动到物理环境中的预定义区域(例如，到一个或多个相机的视野中，抬起到用户躯干的上部，抬起到高于预定义静止位置的预设距离以上等)、要求用户手腕的内侧面向用户头部或眼睛(例如，与经由显示生成部件提供的三维环境的当前视图的视点相对应)、要求连接到手腕的用户手掌张开手指伸出、要求连接到手腕的用户手掌未完全闭合(例如，形成完全闭合的拳头)、要求连接到手腕(例如，手腕7028)的用户手掌的表示(例如，表示7020')也在三维环境的视图内(例如，在一个或多个相机的视野内)示出、要求手腕在用户的预定义的一侧(例如，左侧或右侧)上、要求用户的注视指向手腕的位置或与手腕位置相对应的三维环境的视图中的显示位置，并且注视满足预定义的稳定性和/或持续时间标准，或以上两个或多个的组合，以满足预设标准。
在一些实施方案中，可选选项的菜单7026包括应用程序图标(例如，应用程序图标是用户界面对象，当被激活时(例如，响应于各种预定义的激活输入)，导致执行特定于对应的应用程序的操作(例如，启动对应的应用程序的操作、显示对应的应用程序的预览的操作、以及/或者显示与相应应用程序相对应的快速动作菜单的操作等))。在一些实施方案中，菜单7026中的可选选项7030任选地包括用于触发显示其他用户界面对象(例如，用于执行设备控制功能的用户界面对象(例如，增大音量、减小音量、启动与远程设备的通信、终止与远程设备的通信、显示用于配置菜单的配置用户界面(例如，从菜单中添加或删除应用程序图标等))的控件。在一些实施方案中，菜单7026中的可选选项7030任选地包括远程设备的用户的相应表示(例如，头像)，当激活时，这些远程设备导致关于远程用户执行的操作(例如，启动与远程设备的相应用户通信的操作)。在一些实施方案中，菜单7026中的可选选项7030任选地包括媒体项目(例如，图像、虚拟对象、音频文件和/或视频文件)的表示(例如，缩略图、二维图像或专辑封面)，并且激活作为图像表示的可选选项导致(例如，在与由一个或多个相机检测到的表面相对应的位置处)显示图像。
在一些实施方案中，计算机系统在与用户手腕(例如，手腕7028)的内侧相对应的三维环境的视图中的位置处显示示能表示(例如，“+”按钮)，当该示能表示被激活(例如，通过指向手腕与三维环境的视图中的示能表示的位置相对应的部分的点击输入)时，导致显示用于选择至少一个应用程序(或位置、体验或人)的用户界面，该应用程序的表示(例如，可选选项)将被添加到显示在与用户手腕(例如，手腕7028)的内侧相对应的位置处的可选选项菜单(例如，菜单7026)中。
如图7A至图7B所示，响应于手部7022在手腕7028上提供的不同类型的手势输入，关于三维环境中的可选选项7030执行不同的操作，而可选选项7030显示在与手腕7028不同部分相对应的三维环境的视图中的位置处。
在图7A(B)之后的图7B(A)中，手部7022通过在手臂纵向上在手腕7028上移动或移动超过该手腕来执行拖动手势。在一些实施方案中，在当前选择指示器(例如，选择器对象或可移动视觉效果，例如通过对象的轮廓或外观变化突出显示对象)位于菜单7026上时，执行拖动手势，指示可选选项的当前选择状态。在一些实施方案中，响应于由手部7022检测拖动手势，计算机系统根据拖动手势将当前选择指示器从一个可选选项移动到另一个可选选项。在一些实施方案中，当前选择指示器根据指向菜单7026的注视输入的移动而移动，并且拖动手势滚动菜单7026内的可选选项，如图7A(B)和图7B(A)所示。
在图7B(A)中，当满足预设标准(例如，手腕7028在一个或多个相机的视野内)、在手腕7028上的位置处检测到满足预先确定的选择标准的第一输入时，显示生成部件7100在与手腕7028的位置相对应的三维环境的视图中的位置处显示菜单7026，该菜单包含与不同应用程序相对应的可选选项7030(例如，应用程序图标、用户表示等媒体项目的表示)。在图7B(A)所示的示例中，满足预先确定的选择标准的第一输入是由手部7022的食指提供在手腕7028上的点击输入。根据手腕7028上点击输入的位置，计算机系统确定哪个可选选项7030在与手腕上点击输入的位置相对应的三维环境中显示位置。根据确定点击输入的位置对应于菜单中第一可选选项的显示位置，计算机系统显示与第一可选选项相对应的第一应用程序的用户界面，并且根据确定点击输入的位置对应于菜单中的第二可选选项的显示位置，计算机系统显示与第二可选选项相对应的第二应用程序的用户界面。如图7B所示，响应于手腕上与可选选项7030-a的显示位置相对应的位置处的点击输入(例如，图7B(A)所示)，计算机系统在与连接到手腕7028的用户手掌7020相对应的三维环境的视图中的位置处显示与可选选项7030-a相对应的应用程序的用户界面(例如，图7B(B)所示)。
在一些实施方案中，满足预设选择标准的第一输入包括手腕7028上的点击输入或预设语音输入(例如，“激活”)，同时，注视输入被指向三维环境的视图中相应可选选项的显示位置。根据确定注视输入指向菜单中的第一可选选项的显示位置，计算机系统显示与第一可选选项相对应的第一应用程序的用户界面，并且根据确定注视输入指向菜单中的第二可选选项的显示位置，计算机系统显示与第二可选选项相对应的第二应用程序的用户界面。在一些实施方式中，计算机系统显示视觉反馈以指示已经由第一输入选择哪个可选选项。在一些实施方案中，视觉反馈包括在三维环境的视图中的所选可选选项的视觉外观的变化(例如，发光、大小的扩大或缩小、远离其当前位置的移动等)。
在一些实施方案中，如图7B(B)所示，计算机系统在与连接到手腕7028的用户手掌7020的位置相对应的三维环境的视图中的位置处显示与可选选项7030-a相对应的第一应用程序的用户界面的第一视图7036。在一些实施方案中，第一应用程序的用户界面的第一视图7036显示在三维对象7034上(例如，在三维对象7034的前表面上)。当手部7020和手腕7028在物理环境中一起移动时，手部7020的表示7020’的位置在经由显示生成部件7100显示的三维环境的视图中移动，并且第一应用程序的用户界面的第一视图7036的显示位置(以及对象7034的位置)被更新，以继续对应于手部7020的手掌的位置(例如，用户界面的第一视图7036(和对象7034)被锁定到三维环境中手部7020的表示7020’的位置)。在一些实施方案中，包括第一应用程序的用户界面的第一视图7036的对象7034替换由计算机系统的一个或多个相机捕获的物理环境的视图的至少一部分(例如，对象7034替换用户手部7020的视图的一部分(例如，替换表示7020'的一部分))。在一些实施方案中，包括第一应用程序的用户界面的第一视图7036的对象7034显示在计算机系统的透明或半透明显示器上(例如，平视显示器或HMD)，物理环境通过其可见(例如，对象7034阻挡用户手部7020的视图的一部分(例如，覆盖表示7020’的一部分))。在一些实施方案中，包括第一应用程序的用户界面的第一视图7036的对象7034替换用户手部7020的程式化版本的一部分的显示(例如，替换作为用户手部7020的程式化版本的表示7020'的一部分)。
在一些实施方案中，第一应用程序的用户界面7036包括用户界面对象(例如，用户界面对象7038和7040)，当被激活时，其导致执行应用程序内的对应操作(例如，导航到应用程序的不同用户界面、改变应用程序的配置、在应用程序内显示内容、通过应用程序建立通信等)。在一些实施方案中，第一应用程序的用户界面的第一视图7036中的用户界面对象响应另一只手(例如，手部7022)的手势输入(例如，点击输入、轻扫输入、按压输入等)，该手势输入指向手部7020的手掌上与不同用户界面对象(例如，用户界面对象7038和7040)的显示位置相对应的位置。在一些实施方案中，响应于用户界面的第一视图7036中的用户界面对象的激活而执行的操作的幅度(例如，用于拖动滑块控件、增加音量、或画线、移动对象等的幅度)是基于由另一只手(例如，手部7022)执行的手势输入的幅度。在一些实施方案中，响应于手部7022从手部7020的手掌抬起而开始操作。
在一些实施方案中，基于用户手掌或手部7020的大小选择第一应用程序的用户界面的第一视图7036相对于三维环境(例如，相对于用户手部的物理大小)的大小(例如，显示用户界面7036的三维对象7034适合于用户手部7020)。在一些实施方案中，第一应用程序的用户界面的第一视图7036可响应于预设调整大小的手势调整大小(例如，手部7022的捏合拖动手势，包括指向与用户界面或对象7034的第一视图7036的角、边缘或大小调整手柄(例如，在三维对象7034的角或边缘上方突出的应用程序标识符)的显示位置相对应的位置的捏合手势，然后在手部7022保持捏合手势的同时，将手部7022移开或移向手部7020上的手掌中心)。在一些实施方案中，第一应用程序的用户界面的第一视图7036的大小(和对象7034的大小)限于基于用户手部7020的大小或用户手部的平均大小预先确定的第一最大大小与第一最小大小之间的预设大小范围。在一些实施方案中，第一应用程序的用户界面的第一视图7036的大小(和对象7034的大小)响应于手部7020的手指的移动而调整。例如，响应于用户手部7020上的手指向外延伸，计算机系统相对于三维环境扩展第一应用程序的用户界面的第一视图7036的大小；并且响应于用户手部7020上的手指向内弯曲，计算机系统相对于三维环境减小第一应用程序的用户界面的第一视图7036的大小。在一些实施方案中，不同应用程序的用户界面的第一视图任选地具有不同的默认起始大小(例如，相对于相同手部大小不同的默认起始大小和尺寸)。在一些实施方案中，第一应用程序的用户界面的第一视图7036的大小(和对象7034的大小)响应于手部7020的手掌上由手部7022执行的手势来调整。例如，响应于手部7020的手掌上由手部7022执行的捏合手势(例如，拇指和食指朝向彼此移动)，计算机系统相对于三维环境(例如，相对于手部7020的大小)减小第一应用程序的用户界面的第一视图7036的大小；并且响应于手部7022的手掌上由手部7020执行的反向捏合手势(例如，拇指和食指远离彼此移动)，计算机系统相对于三维环境(例如，相对于手部7020的大小)扩展第一应用程序的用户界面的第一视图7036的大小。
在一些实施方案中，如图7B(B)所示，第一应用程序的用户界面的第一视图7036(或对象7034)根据与三维环境的当前视图相对应的视点的取向(例如，根据用户的头部或面部的取向)取向。例如，当用户在面向手部7020的手掌时将他/她的头部倾斜到左侧时，并且当手部7020相对于物理环境保持静止时，用户界面的第一视图7036(和对象7034)在手部7020的手掌的表示与物理环境的其他可见部分一起在三维环境的视图中顺时针旋转时保持直立在显示器上；因此，用户界面的第一视图7036(和对象7034)在三维环境的视图中相对于手部7028的手掌的表示逆时针旋转。在另一示例中，当用户在面向手部7020的手掌时保持他/她的头部静止并绕腕关节侧向(例如，向左或向右)旋转手部7020时，手部7020的手掌的表示相对于物理环境的其他可见部分在三维环境的视图中旋转，并且相对于用户界面的第一视图7036(和对象7034)在三维环境的视图中旋转。
在一些实施方案中，应用程序的用户界面的第一视图7036(和对象7034)根据面向用户头部的用户手部7020的取向而取向。例如，当用户在面向手部7020的手掌时将他/她的头部倾斜到左侧时，并且当手部7020相对于物理环境保持静止时，用户界面的第一视图7036(和对象7034)与三维环境的视图中手部7020的手掌的表示和物理环境的其他可见部分一起在显示器上顺时针旋转；因此，用户界面的第一视图7036(和对象7034)在三维环境的视图中相对于手部7028的手掌的表示保持其取向。在另一示例中，当用户在面向手部7020的手掌时保持他/她的头部静止并绕腕关节侧向(例如，向左或向右)旋转手部7020时，而物理环境的其他可见部分在三维环境的视图中保持静止，用户界面的第一视图7036(和对象7034)在三维环境的视图中与手部7020的手掌的表示一起旋转(例如，顺时针或逆时针)。
在一些实施方式中，不同应用程序的用户界面的第一视图任选地具有不同的默认起始取向(例如，相对于相同的头部取向或手部取向的不同的默认起始取向)。在一些实施方案中，第一应用程序的用户界面的第一视图7036的取向(和对象7034的取向)响应于手部7020的手掌上由手部7022执行的手势来调整。例如，响应于手部7020的手掌上由手部7022执行的枢转手势(例如，拇指和/或食指限定顺时针或逆时针旋转的移动)，计算机系统相对于三维环境(例如，相对于手部7020的取向)旋转(例如，顺时针或逆时针)第一应用程序的用户界面的第一视图7036的取向。
在一些实施方案中，第一应用程序的用户界面的第一视图7036包括与第一应用程序的第一功能相对应的用户界面的第一部分(例如，用户界面对象7038)以及与第一应用程序的第二功能相对应的用户界面的第二部分(例如，用户界面对象7040)。在与三维环境的视图中用户界面的第一部分(例如用户界面对象7038)相对应的手部7020的手掌上或其附近的位置处检测到的第一触摸输入(例如，双击输入、触摸保持输入或滑动输入)导致第一应用程序的第一功能的执行(例如，开始第一媒体项目的预览或开始与第一联系人姓名相对应的第一用户的通信会话)，并且在与三维环境的视图中用户界面的第二部分(例如用户界面对象7040)相对应的手掌上或其附近的位置处检测到的第二触摸输入(例如，双击输入、触摸保持输入或轻扫输入)导致第一应用程序的第二功能的执行(例如，开始第二媒体项目的预览或开始与第二联系人姓名相对应的第二用户的通信会话)。对于给定触摸输入，计算机系统基于用户界面的哪一部分对应于输入的位置来确定执行哪个操作。在一些实施方案中，当第一应用程序的用户界面的第一视图7036显示在与手掌的位置相对应的三维环境的视图内的第一位置处时，用户界面基于直接操纵交互模型响应用户输入，其中用户输入的精确位置以及用户输入的空间和定时特征，诸如起始位置、结束位置、移动速度、移动距离、移动方向、接触强度、输入或输入部分的定时等，在手掌上或其附近检测到的信息被映射到用户界面的第一视图上的位置，并用于确定触发的功能和执行的功能的定量属性(例如，数量和定时)。例如，手掌的表面上的逆时针轻扫导致用户界面对象在第一应用程序的用户界面的第一视图7036中的逆时针旋转，其中基于轻扫输入的起始位置选择用户界面对象，并且用户界面对象的旋转量和速度对应于手掌上轻扫的距离和速度。
在一些实施方案中，第一应用程序的用户界面的第一视图7036对应于用户界面的私人模式以及/或者第一应用程序的私人模式，其中应用程序的用户界面的存在或内容对于观看相同三维环境的其他用户不可见(例如，无论是与在三维环境中激活第一应用程序的用户相同的视角还是不同的视角)。在一些实施方案中，当用户与另一用户共享三维环境时，激活当前显示在三维环境中的用户界面或应用程序的私人模式。在一些实施方案中，当满足预设标准时(例如，预设标准包括要求用户手部7020的手掌面向用户面部、或要求用户手部7020的手掌未面向与用户7002共享三维环境的另一用户、或要求用户手部7020的手掌不背对用户7002等)，对于在与用户手部7020相对应的位置处显示的用户界面或应用程序激活私人模式。在一些实施方案中，通过将应用程序的用户界面移动远离与用户手部相对应的位置到与物理环境中的另一表面相对应的位置(例如，桌面或墙壁表面)，也终止用户界面的私人模式。关于图7C至图7G和图8至图11以及所附的描述提供关于应用程序的用户界面的隐私模式的更多细节。
图7C(A)遵循图7B(B)，并且示出了对象7034响应于三维环境中的手部7020的直接操纵。例如，如图7C(A)所示，用户手部7020从面向用户7002(例如，面向与三维环境的当前视图相对应的视点)转到面向上。对象7034还转动，使得对象7034的正面从面向用户7002转变为面向上。在此示例中，用户界面的第一视图7036和对象7034的位置和取向相对于用户手部7020的手掌的位置和取向锁定。结果，对象7034的底部边缘现在面向用户7002。如图7C(A)所示，当对象7034的底部边缘面向用户7002时，在手部7020上或附近的位置处检测由手部7022执行的点击输入，该位置对应于对象7034的底部边缘在经由显示生成部件7100显示的三维环境的视图中的显示位置。响应于检测由手部7022提供的点击输入，计算机系统将第一应用程序的用户界面从与用户手部7020相对应的显示位置移动到与在物理环境中检测到的另一表面相对应的显示位置。在一些实施方案中，根据检测到的输入的类型和/或特征，计算机系统在物理环境中选择目标表面并使用目标表面的位置来确定应用程序的用户界面的新显示位置(例如，以及在新显示位置处的用户界面的显示大小、交互模型、显示取向和/或隐私模式)。如图7C(B)所示，响应于手部7022的点击输入，计算机系统在与物理对象7014的位置相对应的显示位置处显示第一应用程序的用户界面的第二视图7036'。在一些实施方案中，如图7C(B)所示，第一应用程序的用户界面的第二视图7036'在相对于三维对象7034'的前表面上以相对于用户7002直立的取向显示，其中前表面垂直于或近似垂直于对象7014的顶表面7018的表示7018'。在一些实施方案中，第一应用程序的用户界面的第二视图7036'在三维对象的顶表面上以相对于用户7002直立的取向显示，其中三维对象的顶表面平行或近似平行于对象7014的顶表面7018的表示7018'。在一些实施方案中，对象的呈现用户界面的第二视图的表面与物理对象的用作用户界面的第二视图的目标表面的表面之间的角度是预设角度(例如，30度、70度、120度等)，并且可根据后续用户输入调整。
在一些实施方案中，当显示生成部件7100在与手部7020的手掌的位置相对应的三维环境的视图中的位置处显示第一应用程序的用户界面的第一视图7036时(例如，在对象7034的前表面上)，检测满足预先确定的模式切换标准的相应输入(例如，用于在不同的位置处以不同的大小、以不同的取向或位置锁定、以不同的交互模型以及/或者以不同的隐私设置等显示应用程序的用户界面的标准)。在图7B(A)中所示的示例中，满足预先确定的模式切换标准的相应输入是手部7020的移动，该移动使对象7034转动，使得其平躺在其后侧上(并且任选地，手部7020的释放松开对象7034，使得对象7034在其背面上的三维环境中浮动)，接着在与三维环境的视图中的对象7034的底部边缘的显示位置相对应的物理环境中的位置处，由手部7022(或者如果对象7034已经浮动在三维环境中则由手部7020)点击输入。
在一些实施方案中，满足预先确定的模式切换标准的相应输入是当手部7020处于对象保持姿势(例如，保持对象7034)时手部7020的投掷手势。在一些实施方案中，满足预先确定的模式切换标准的点击输入导致第一应用程序的用户界面显示在三维环境中的位置处，该位置对应于物理环境中的水平和/或附近表面(例如，对象7014的桌面或顶表面7018)，而满足预先确定的模式切换标准的投掷手势导致应用程序的用户界面显示在三维环境中的位置处，该位置对应于物理环境中的竖直和/或远处表面(例如，墙壁7004)。
在一些实施方案中，满足预先确定的模式切换标准的相应输入包括手势输入(例如，手部7020的手掌上或附近的点击输入、由手部7022执行的预定义微手势(例如，拇指闪烁))或预设语音输入(例如，“移动”)，而注视输入指向经由显示生成部件7100提供的三维环境的视图中的目标表面的表示(例如，水平表面7018的表示7018'、或竖直表面7012的表示7012'、墙壁7004的表示7004'、墙壁7006的表示7006'、地板7008的表示7008'等)。根据确定注视输入指向与第一目标表面(例如，桌面、地板、咖啡桌、监测器屏幕等)的位置相对应的显示位置，计算机系统在与第一目标表面的位置相对应的显示位置处显示应用程序的用户界面的第二视图7036'，并且根据确定注视输入指向与第二目标表面(例如，前壁、侧壁、冰箱的门、TV屏幕等)的位置相对应的显示位置，计算机系统在与第二目标表面的位置相对应的显示位置处显示应用程序的用户界面的第二视图。在一些实施方案中，计算机系统显示视觉反馈以指示已经对于第一应用程序的用户界面的第二视图7036'选择哪个目标表面。在一些实施方案中，视觉反馈包括在三维环境的视图中选定目标表面的表示的视觉外观(例如，辉光、轮廓、调光等)的变化。
在一些实施方案中，如图7C(B)所示，计算机系统在与对向7014的顶表面7018的位置相对应的三维环境的视图中的位置处显示与可选选项7030-a相对应的第一应用程序的用户界面的第二视图7036'。在一些实施方案中，第一应用程序的用户界面的第二视图7036'显示在三维对象7034上(例如，在三维对象7034的前表面上)。显示第一应用程序的用户界面的第二视图7036'的三维对象7034'的大小大于显示第一应用程序的用户界面的第一视图7036的对象7034的大小。一旦放置在与对象7014的顶表面7018的位置相对应的显示位置处，对象7034'被锁定到三维环境中对象7014的顶表面7018的表示7018'(例如，直到满足预先确定的模式切换标准的手势输入将其移动到另一目标表面(例如，移动到墙壁7004或返回到手部7020的手掌))。随着用户头部相对于物理环境移动，顶表面7018的表示7018'的位置在经由显示生成部件7100示出的三维环境的视图中移动，更新第一应用程序的用户界面的第二视图7036'(和对象7034')的显示位置以继续对应于对象7014的顶表面7018的位置(例如，用户界面的第二视图7036'(和对象7034')被锁定到顶表面7018的表示7018'的位置)。
在一些实施方案中，包括第一应用程序的用户界面的第二视图7036'的对象7034'替换由计算机系统的一个或多个相机捕获的物理环境的视图的至少一部分(例如，替换顶表面7018的视图的一部分(例如，对象7034’替换表示7018'的一部分))，替换对象7010的视图的一部分(例如，替换表示7010'的一部分)，并且替换墙壁7004的视图的一部分(例如，替换表示7004'的一部分)。在一些实施方案中，包括用户界面的第二视图的对象7034'显示在计算机系统的透明或半透明显示器上(例如，平视显示器或HMD)上，物理环境通过该显示器是可见的(例如，对象7034'阻挡顶表面7018的视图的一部分(例如，覆盖表示7018'的一部分)，阻挡对象7010的视图的一部分(例如，覆盖表示7010'的一部分)，并且阻挡墙壁7004的视图的一部分(例如，覆盖表示7004'的一部分))。在一些实施方案中，包括用户界面的第二视图7036'的对象7034'替换包括其他虚拟对象的三维环境的一部分的显示(例如，对象7034'替换先前显示在顶面7018的表示7018'上的虚拟对象7024)。
在一些实施方案中，计算机系统显示动画转变，其示出了对象7034从与用户手掌相对应的位置移动到与目标表面7018相对应的位置，大小从第一大小增加到第二大小，并且转换为显示用户界面的第二视图7036'的对象7034'。在一些实施方案中，指示器(例如，第一应用程序的标识符)显示在与用户手部7020相对应的位置处，以向用户7002指示第一应用程序的用户界面已被发送到远离手部7020的不同显示位置。
在一些实施方案中，第一应用程序的用户界面的第二视图7036'包括用户界面对象(例如，与用户界面对象7038和7040相对应的用户界面对象7038'和7040')，当被激活时，其导致执行第一应用程序内的对应操作(例如，导航到应用程序的不同用户界面、改变应用程序的配置、在应用程序内显示内容、通过应用程序建立通信等)。在一些实施方案中，第一应用程序的用户界面的第二视图7036'中的用户界面对象响应于手势输入(例如，点击输入、轻扫输入、按压输入等)，该手势输入指向与不同用户界面对象(例如，用户界面对象7038'和7040')的显示位置相对应的顶表面7018上或附近的位置。在一些实施方案中，用户注视输入用于选择用户界面的第二视图7036'中的目标用户界面对象，并且将手势输入与所选目标用户界面对象组合用于确定要执行目标用户界面对象的哪个操作。在一些实施方案中，响应于用户界面的第二视图7036'中的用户界面对象的激活而执行的操作的幅度(例如，用于拖动滑块控件、增加音量或画线、移动对象等的幅度)是基于用户执行的手势输入的幅度，而注视输入指向第一应用程序的用户界面的第二视图7036'。
在一些实施方案中，基于目标表面(例如，表面7018或表面7012)的大小选择第一应用程序的用户界面的第二视图7036'相对于三维环境(例如，相对于目标表面的物理大小)的大小，用于放置第一应用程序的用户界面的第二视图7036'。例如，如果第一目标表面大于第二目标表面，则对象(例如，对象7034')相对于三维环境的大小(例如，与显示器上的对象7034'的大小相反，该对象的大小根据观看距离和观看角度而变化)对于第一目标表面(例如，桌面)大于其对于第二目标表面(例如，显示屏)。在一些实施方案中，基于目标表面(例如，表面7018或表面7004或表面7012)与用户7002之间的距离选择第一应用程序的用户界面的第二视图7036'相对于三维环境的大小。例如，如果第一目标表面距离用户(例如，用户7002)比第二目标表面更远，则用于显示用户界面的第二视图的对象相对于三维环境的大小对于第一目标表面(例如，表面7012)大于其对于第二目标表面(例如，表面7018)。在一些实施方案中，第一应用程序的用户界面的第二视图7036'相对于三维环境的大小是根据目标表面的表面的类型(例如，水平表面与竖直表面、对象表面与墙壁表面等)预设的，并且基于给定表面类型的目标表面的不同大小或不同距离而不改变。
在一些实施方案中，第一应用程序的用户界面的第二视图7036'可响应于预设调整大小的手势调整大小(例如，手部7022的捏合拖动手势，包括指向与用户界面或对象7034'的角、边缘或大小调整手柄(例如，在三维对象7034的角或边缘上方突出的应用程序标识符)的显示位置相对应的位置的捏合手势，然后在手部7022保持捏合手势的同时，将手部7022移开或移向对象7034'的前表面的中心)。在一些实施方案中，在与目标表面(例如，表面7018或表面7012)的位置相对应的位置处显示的第一应用程序的用户界面的第二视图7036'的大小(和对象7034'的大小)被限制在基于目标表面(例如，表面7018或表面7012)的大小预先确定的第二最大大小与第二最小大小之间的预设大小范围。在一些实施方案中，响应于手部7020和手部7022的相对移动(例如，在双手保持捏合手势时)，调整第一应用程序的用户界面的第二视图7036'的大小(和对象7034'的大小)。例如，响应于用户两手彼此分开移动，计算机系统扩展第一应用程序的用户界面的第二视图7036'相对于三维环境的大小；并且响应于用户两手朝向彼此移动，计算机系统减小应用程序的用户界面的第二视图7036'相对于三维环境的大小。在一些实施方案中，不同应用程序的用户界面的第二视图任选地具有不同的默认起始大小(例如，相对于相同目标表面不同的默认起始大小和尺寸)。
在一些实施方案中，如图7C(B)所示，第一应用程序的用户界面的第二视图7036'(和对象7034')根据目标表面在三维环境的当前视图中的取向(例如，根据目标表面是水平的还是竖直的还是相对于物理环境的水平平面或竖直平面成一角度的一些其他取向)而取向。在一些实施方案中，用户界面的第二视图7036'被显示为以直立取向并且垂直于水平目标表面(例如，表面7018)面向用户。在一些实施方案中，当用户在物理环境中围绕水平目标表面行走时，用户界面的第二视图7036'任选地围绕穿过水平目标表面的竖直轴线旋转，使得用户界面的第二视图7036'保持垂直于水平目标表面并且继续面向用户(或面向与三维环境的视图相对应的视点)。在一些实施方案中，用户界面的第二视图7036'显示为基本上平行于水平目标表面(例如，表面7018)，或其顶部边缘从水平目标表面略微倾斜。在一些实施方案中，当用户围绕水平目标表面行走时，用户界面的第二视图7036'任选地围绕穿过水平目标表面的竖直轴线旋转，使得用户界面的第二视图7036'保持与水平目标表面平行或略微倾斜，并且继续以相同的直立取向(例如，内容在指向用户的方向上从用户界面的顶部到底部运行)面向用户。在另一示例中，第一应用程序的用户界面的第二视图7036'的取向相对于目标表面固定，并且当用户围绕目标表面行走时不改变(例如，当用户围绕目标表面行走时，用户界面的第二视图的用户视图将改变)。当目标表面在物理环境中旋转或移动时，应用程序的用户界面的第二视图7036的取向和位置在三维环境的视图中相对于目标表面固定。
在一些实施方案中，不同应用程序的用户界面的第二视图任选地具有不同的默认起始取向(例如，相对于相同用户位置或目标表面取向的不同默认起始取向)。在一些实施方案中，响应于由手部7022或手部7020或两者一起执行的手势来调整第一应用程序的用户界面的第二视图7036'的取向(和对象7034'的取向)。在一些实施方案中，当用户界面的第二视图7036'放置在平行于水平目标表面的平面中时，响应于第一预定义旋转手势(例如，手动拉动或推动用户7002前面的空中)，用户界面的第二视图7036'任选地围绕其底部边缘或围绕嵌入在用户界面的平面中的水平轴线向上和向下旋转。例如，用户可以稍微调整用户界面的第二视图7036'的观看角度，以使用户界面的顶部朝向用户7002向上倾斜。
在一些实施方案中，当用户界面的第二视图7036'放置在平行于水平目标表面的平面中时，响应于第二预定义旋转手势(例如，由手部执行的枢转手势(例如，拇指和/或食指的移动定义顺时针或逆时针旋转))，用户界面的第二视图7036'任选地围绕垂直于目标表面并穿过用户界面的第二视图的中心的竖直轴线顺时针或逆时针旋转。例如，用户可以旋转用户界面的第二视图，以使用户界面更容易读取到正共享相同三维环境并正从用户7002的相对侧观看目标表面的另一用户。
在一些实施方案中，当用户界面的第二视图7036'放置在垂直于水平目标表面的平面中时，响应于第三预定义旋转手势(例如，手动拉动或推动用户前面的空气)，用户界面的第二视图7036'任选地围绕其底部边缘(例如，对象7034'的底部边缘)向前和向后旋转。例如，用户可以稍微调整用户界面的第二视图的观看视角，以使用户界面的顶部远离用户向后倾斜。
在一些实施方案中，当用户界面的第二视图7036'放置在垂直于或基本上垂直于水平或基本上水平的目标表面的平面中时，响应于第四预定义旋转手势(例如，由手部执行的枢转手势(例如，拇指和/或食指的移动定义顺时针或逆时针旋转))，用户界面的第二视图任选地围绕垂直于水平目标表面并嵌入用户界面的第二视图的平面中的轴线顺时针或逆时针旋转。例如，用户可以旋转用户界面，以使用户界面更容易读取到正共享相同三维环境并正从用户7002的相对侧观看目标表面的另一用户。
在一些实施方案中，当用户界面的第二视图放置在垂直于水平目标表面的平面中时，响应于第六预定义旋转手势(例如，整个手部围绕穿过手臂的轴线的旋转)，用户界面的第二视图任选地围绕平行于水平目标表面并穿过用户界面的第二视图的平面的轴线顺时针或逆时针旋转。
在一些实施方案中，目标表面是竖直表面，并且用户界面的第二视图平行于竖直目标表面放置。在一些实施方案中，响应于不同的预定义旋转手势，用户界面的第二视图任选地朝向用户向前倾斜或围绕垂直于竖直目标表面并穿过用户界面的中心的轴线旋转。
在一些实施方案中，第一应用程序的用户界面的第二视图7036'对应于半私人显示模式，其中应用程序的用户界面的存在或内容对于从相同的视角或从不同的视角观看相同三维环境的其他用户是部分可见的。在一些实施方案中，当用户界面的第二视图已经显示在经由激活第一应用程序的用户使用的显示生成部件的三维环境的视图中时，当用户与另一用户共享三维环境时激活半私人显示模式。在一些实施方案中，当满足预设标准时(例如，预设标准包括要求用户界面不显示在与用户手掌相对应的位置处、以及要求用户界面显示在距用户预设距离(例如，手臂长度)内的表面处等))，对于第一应用程序的用户界面的第二视图激活半私人显示模式。关于图7B和图7D至图7G和图8至图11以及所附的描述提供关于应用程序的用户界面的隐私模式的更多细节。
在一些实施方案中，在第一应用程序的用户界面的第二视图7036'显示在目标表面处(例如，处于用户的阈值距离内并且/或者是水平表面的图7C(B)中的水平表面7018)时，检测满足第二组预先确定的模式切换标准的另一手势(例如，在不同位置处、以不同大小、以不同取向或位置锁定、以不同交互模型并且/或者以不同隐私设置等显示应用程序的用户界面的标准)。响应于满足第二组预先确定的模式切换标准的输入，计算机系统在对应于不同目标表面(例如，墙壁7004、墙壁7006等)的位置处，以不同大小、不同取向或位置锁定、不同交互模型和/或不同隐私设置等，显示应用程序的用户界面的第三视图。
在一些实施方案中，在用户界面的第一视图7036显示在与用户手掌相对应的位置时，或者在用户界面的第二视图7036'显示在与附近和/或水平表面相对应的位置处时，对于用户界面的第三视图，满足预先确定的第二组模式切换标准的相应输入是手部(例如，手部7020或7022)在目标表面(例如，墙壁7004或壁7006)的方向上的投掷手势。在一些实施方案中，满足第二组模式切换标准的相应输入包括手势输入(例如，手部(例如，手部7020或7022)的投/掷输入)、由手部(例如，手部7020或7022)执行的预定义微手势(例如，拇指轻弹))或预设语音输入(例如，“移动”)，而注视输入指向三维环境的视图中目标表面的表示(例如，墙壁7004的表示7004'、墙壁7006的表示7006'、地板7008的表示7008'等)。根据确定注视输入指向第一目标表面(例如，前壁、TV屏幕等)的显示位置，计算机系统在与第三目标表面的位置相对应的显示位置处显示应用程序的用户界面的第三视图，并且根据确定注视输入指向第四目标表面(例如，侧壁、底板等)的显示位置，计算机系统在与第四目标表面的位置相对应的显示位置处显示应用程序的用户界面的第三视图。在一些实施方案中，计算机系统显示视觉反馈以指示已经对于用户界面的第三视图选择哪个目标表面。在一些实施方案中，视觉反馈包括在三维环境的视图中选定目标表面的表示的视觉外观(例如，辉光、轮廓、调光等)的变化。在一些实施方案中，应用程序的用户界面的第三视图以第三大小显示，该第三大小不同于(例如，大于或小于)在与用户附近表面相对应的位置处显示的用户界面的第二视图7036'的大小、以及在与用户手掌相对应的位置处显示的用户界面的第一视图7036的大小。在一些实施方案中，用户界面的第三视图与公共模式相关联，并且对于使用不同计算机系统的不同显示生成部件共享三维环境的视图的所有用户是完全可见的。
在一些实施方案中，响应于在用户界面的第二视图或用户界面的第三视图显示在与用户手部的手掌分开的目标表面相对应的显示位置处时检测到满足预设取消手势标准的相应输入，计算机系统将用户界面从目标表面(例如，停止在与水平表面7018相对应的位置处显示用户界面的第二视图，停止在与竖直表面7012相对应的位置处显示用户界面的第二视图或第三视图，或停止在与墙壁7004相对应的位置处显示用户界面的第三视图)移回到用户手掌(例如，在与用户手掌(例如，手部7020的张开手掌或手部7022的张开手掌)相对应的位置处恢复用户界面的第一视图)。在一些实施方案中，预设取消手势标准包括要求当结合(例如，与之同时，或紧接着之前或之后(例如，在预设的时间窗口内)预设手势输入(例如，朝向用户挥手或手指，空中捏合手势(例如，同一只手的三个或更多个手指朝向彼此移动))或语音命令(“返回”)检测到指向当前显示的应用程序的用户界面的第二或第三视图的注视输入(例如，注视指向与当前显示用户界面的目标表面相对应的位置)时满足该标准。
在一些实施方案中，第一应用程序的用户界面的第二视图(和任选地第一视图)通过三维环境中受空间操纵的三维对象(例如，对象7034或对象7034')呈现内容(例如，三维对象是可以通过用户手部的移动来旋转和缩放的地图应用程序的地理位置的3D或伪3D模型、带有用户可以翻阅的页面的物理书的形式的地址簿、或用户手部可以浏览的弹出式日历等)，并且第一应用程序的用户界面的第三视图通过目标表面定义的媒体回放区域(例如，媒体回放区域是由墙壁7004定义的虚拟屏幕，并且用户界面显示为内容消费用户界面，像电影或电视节目选择和播放用户界面)呈现内容。
在一些实施方案中，基于将显示用户界面的目标表面的特征，计算机系统为第一应用程序的用户界面选择不同大小。在一些实施方案中，计算机系统根据第一目标表面的第一组特征(例如，桌面或表面7018的大小、远离用户的距离等)来选择第一应用程序的用户界面的第二视图相对于物理环境的大小(例如，用户界面相对于物理环境的大小的固有大小，而不是根据用户的视点的位置而变化的显示大小)；并且计算机系统根据第二目标表面的第二组特征(例如，墙壁或表面7004的大小、远离用户的距离)选择第一应用程序的用户界面的第三视图相对于物理环境的大小(例如，用户界面相对于物理环境的大小的固有大小，而不是根据用户的视点的位置而变化的显示大小)。
在一些实施方案中，在与不同目标表面相对应的位置处显示的第一应用程序的用户界面的不同视图对应于不同的隐私模式。例如，在与用户手掌的位置相对应的位置处显示的用户界面的第一视图对应于私人模式，在与附近表面(例如，桌面或表面7018)的位置相对应的位置处显示的用户界面的第二视图对应于半私人模式，并且在与远处表面(例如，墙壁或表面7004)的位置相对应的位置处显示的用户界面的第三视图对应于非私人模式或公共模式。在一些实施方案中，与不同隐私模式相对应的应用程序的用户界面具有不同的内容(例如，同一用户界面的两个视图的内容完全不同，或者部分不同(例如，包括一些共同的内容和一些不同的内容；一个包括另一个内容的子集；或包括另一个的内容的超集合))。在一些实施方案中，用户界面的第二视图的内容包括用户界面的第一视图的内容的至少一些部分的修订，并且任选地包括已修订的用户界面的第一视图的内容的一些部分的总结或简化版本；或用户界面的第二视图的内容包括用户界面的第一视图的内容的增强或附加内容。在一些实施方案中，用户界面的第三视图的内容包括第一视图的内容以及/或者第二视图的内容的至少一些部分的修订，并且任选地包括已修订的第一视图和/或第二视图的内容的一些部分的总结或简化版本；或者第三视图的内容包括第一视图和/或第二视图的内容的增强或超出第一视图和/或第二视图的内容的附加内容。
在一些实施方案中，当在与不同目标表面(例如，用户手掌、附近的桌面或表面7018或远处的墙壁7004)相对应的位置处显示为用户界面的不同视图时，应用程序的用户界面具有不同的形式和交互模型。
在一些实施方案中，第一应用程序的用户界面的第一视图(例如，显示在与用户手掌相对应的位置处)是显示在虚拟对象的平坦表面(例如，对象7034的前表面)上的2D用户界面，并且2D用户界面响应于手势输入，该手势输入涉及手掌上或附近的手指移动(例如，点击输入包括任选地将另一只手的手指触碰手掌的一部分，然后在阈值时间量内将手指从手掌的一部分提起；双击输入包括由同一手指在手掌的大致相同部分上执行的两个连续的点击输入，两个点击输入之间的持续时间小于阈值时间量；拖动或轻扫输入包括手指(或两个手指并排)触碰手掌的一部分，然后手指在手掌表面上移动到手掌的另一部分，任选地然后在手指在手掌上移动后手指从手掌上提起；捏合输入包括两个手指朝向彼此移动，同时两个手指保持与手掌接触；去捏合输入包括两个手指远离彼此的移动，同时两个手指保持与手掌接触；等))。在一些实施方案中，另一只手在手掌上的手指接触位置、手指接触的持续时间和定时以及/或者手指接触在手掌上的抬起时间、手指在手掌上的移动速度、与手掌接触的手指的数量等是用于确定根据第一用户交互模型在应用程序内执行的功能以及/或者执行功能的方式的输入特征(例如，定时、数量、速度等)。
在一些实施方案中，第一应用程序的用户界面的第二视图(例如，显示在与桌面相对应的位置处)是在基本上垂直于水平桌面的表面上直立显示的3D用户界面，其中用户界面对象显示在距用户不同的深度处，并且3D用户界面响应注视输入结合由在空中抬起的手指提供的手指手势输入或手的一部分(例如，第一手指)相对于同一只手的另一部分(例如，第二手指或手掌)移动的微手势。
在一些实施方案中，第一应用程序的用户界面的第三视图(例如，显示在墙壁上或浮动在空的空间中)是媒体回放或媒体消耗用户界面，并且媒体消耗用户界面响应整个手部的空中手势或微手势，任选地结合注视输入。在一些实施方案中，空中手指手势包括空中点击输入(例如，食指从抬起位置朝向手部的手掌侧的移动，而无需手指触摸手掌或手部的其他部分，或者导致手部从抬起姿势移动到放下姿势的手腕的移动，同时手部的一个或多个手指在腕的移动期间保持伸出或抬起)、双空中点击输入(例如，由小于阈值时间量的持续时间分开的两个连续的空中点击输入)、空中拖动或轻扫输入(例如，整只手在空中的移动，手部的一个或多个手指从手部的手掌抬起或伸出)等)。在一些实施方案中，微手势是由单手执行的手势(例如，其中手部的一部分移动或触摸同一只手的另一部分，同时手部任选地从用户身体抬起)。在一些实施方案中，微型手势包括微点击输入(例如，一只手的第一手指的指尖朝向同一只手的另一个手指的一部分或同一只手的手掌移动并触碰在其上，然后任选地将指尖从触碰位置提起)、微双击输入(例如，由同一第一手指在同一第一手部的同一部分上执行的两个连续的微点击输入，两个微点击输入之间的持续时间小于阈值时间量)、微拖动或微轻扫输入(例如，第一手指在同一只手的第二手指的表面上在相应方向上(例如，沿着第二手指的侧面，或从手掌的同一部分在第二手指上朝向手背)的移动)、微轻弹输入(例如，第一手指相对于同一只手的第二手指在远离(例如，向上轻弹、向前轻弹、向内轻弹等)第二手指的相应方向上的移动)。在一些实施方案中，执行微手势的手指(例如，拇指和食指等)、手指接触以及/或者在同一只手上提起手指接触的持续时间和定时、同一只手上手指接触的位置(例如，同一只手的第二手指上的位置或者同一只手的手掌上的位置)、手指在同一只手的另一手指或手掌上的移动速度等，是用于确定根据第三用户交互模型在第一应用程序内执行的功能以及/或者执行功能的方式的输入特征(例如，定时、数量、速度等)。在一些实施方案中，根据第三用户交互模型，通过整只手的移动(例如，手腕移动，手臂移动和/或不移动)执行的空中手势用于在第一应用程序的第三形式内执行操作。整只手在空中的手势包括张开手的手势输入(例如，整只手向上、向下、朝向用户、远离用户、在用户前面侧着移动等，其手掌张开并且手指伸出)，闭合手的手势输入(例如，整只手在拳头中向上、向下、远离用户、朝向用户或在用户前面侧着移动等)，手掌张开输入(例如，所有手指从缩回状态并排移动到伸出状态)，手掌闭合输入(例如，所有手指从伸出状态并排移动到缩回状态)、推开输入(例如，手掌张开并远离用户移动)、拉动输入(例如，手掌张开并朝向用户移动)，点输入(例如，抬起食指，整只手朝向目标方向移动)等。在一些实施方案中，注视输入用于选择输入的目标，并且空中手势用于选择在第一应用程序的第三形式中关于目标执行的操作。在一些实施方案中，诸如速度、持续时间、定时、方向和手部的移动量的特征用于确定执行操作的方式的特征(例如，方向、量、速度等)。
图7D(A)任选地遵循图7A(B)或图8B(B)。图7A至图7B示出，在用户手腕(例如，手腕7028)的内侧面向用户(例如，面向与经由显示生成部件7100提供的三维环境的当前显示视图相对应的视点)并且由此满足第一预定义标准时，计算机系统经由显示生成部件(例如，显示生成部件7100)在与用户手腕(例如，手腕7028)的内侧相对应的位置处显示包括与不同应用程序相对应的可选选项的菜单(例如，包括可选选项7030的菜单7026)，以及/或者在与连接到手腕(例如，手腕7028)的用户手掌(例如，手部7020的手掌)相对应的位置处显示与激活选项(例如，可选选项7030-a)相对应的应用程序的用户界面的第一视图。图7D(A)示出，当手腕7028转动使得手腕7028的内侧和手腕7028的外侧均未面向用户7002(例如，面向与三维环境的当前显示视图相对应的视点)时，包含与不同应用程序相对应的多个可选选项的菜单(例如，包括可选选项7030的菜单7026)停止显示，并且手腕7028的视图不再被菜单7026阻挡。另外，如果与激活可选选项(例如，可选选项7030-a)相对应的应用程序的用户界面的第一视图显示在与连接到手腕(例如，手腕7028)的用户手掌(例如，手部7020的手掌)相对应的位置处，则当手腕转动使得手腕的内侧和手腕的外侧均未面向用户(例如，面向与三维环境的当前显示视图相对应的视点)时，应用程序的用户界面的第一视图也停止显示。在一些实施方案中，当手腕的内侧和手掌向下面向地板时(例如，用户可以将手掌和手腕的内侧朝向另一用户转动，以在三维环境中与另一用户共享用户界面的第一视图，例如，如关于图7G所描述的)，应用程序的用户界面的第一视图和可选选项的菜单仅停止显示。
如图7D(B)所示，当手腕7028进一步转动，用户手腕(例如，手腕7028)的外侧现在面向用户7002(例如，面向与三维环境的当前显示视图相对应的视点)并且由此满足第二预定义标准时，计算机系统经由显示生成部件(例如，显示生成部件7100)在与附接到手腕(例如，手腕7028)的手部(例如，手部7020)的背面上的位置相对应的三维环境的视图内的位置处，显示用户界面对象7042，其包括用于控制计算机系统的功能(例如，音量、振铃器、网络连接、电池、飞行模式、显示亮度和媒体回放控制(例如，播放、回放、快进、暂停、停止等)等)的多个控件。在一些实施方案中，计算机系统还在用户手腕(例如，手腕7028)的外侧上显示一个或多个用户界面对象(例如，控件、状态指示器或通知7044-a、7044-b，如与应用程序图标相反)。在一些实施方案中，当控件在与用户手部的背面和手腕相对应的位置处显示时，应用程序图标和应用程序用户界面不在与用户手部和手腕的位置相对应的三维环境中的位置处同时显示。类似地，当应用程序图标和应用程序用户界面在与用户手部和手腕的内侧相对应的位置处显示时，控件、状态指示器和通知不同时显示在与用户手部和手腕的位置相对应的三维环境中的位置处。在一些实施方案中，当用户再次转动手腕使得手腕的内侧再次面向用户7002时，包含与不同应用程序相对应的可选选项7030的先前显示的菜单7026以及/或者与从菜单7026中选择的可选选项相对应的应用程序的用户界面的第一视图7036分别恢复到其与用户手腕的内侧和用户手掌的位置相对应的原始位置；并且控件7044和用户界面对象7042停止显示。
在一些实施方案中，当用户手腕(例如，手腕7028)的外侧面面向用户(例如，面向与三维环境的当前显示视图相对应的视点)并且由此满足第二预定义标准时，计算机系统经由显示生成部件(例如，显示生成部件7100)在与附接到手腕(例如，手腕7028)的手部(例如，手部7020)的背面上的位置相对应的三维环境的视图内的位置(例如，不同于用于显示用户界面对象7042和控件7044的位置)处，显示与一个或多个应用程序相对应的一个或多个通知(例如，一个或多个通知似乎覆盖或替换手部7020的背面的一部分的显示(例如，替换或阻挡表示7020'的一部分的通知)，而多个控件似乎覆盖或替换手背的另一部分的显示(例如，控件替换或阻挡表示7020'的另一部分))。
在一些实施方案中，在与手部(例如，手部7020)的背面上的位置相对应的位置处显示用于控制计算机系统的功能的多个控件的同时，计算机系统在与手腕的背面上的位置相对应的位置处显示与一个或多个应用程序相对应的一个或多个通知，其中通知可沿着手臂的长度或围绕手腕滚动。
在一些实施方案中，当手腕和手部的背面正面向用户时，控件和/或通知的位置和取向相对于手部和手腕的位置和取向固定。因此，当用户旋转他/她的手部或手腕(例如，围绕肘部或围绕腕关节)，同时保持手部和手腕的背面面向用户时，控件和/或通知在显示器上移动，以保持其相对于用户手部和手腕的背面固定的位置和取向。
在一些实施方案中，控件和/或通知的位置相对于用户手部和手腕的背面固定，但是控件和/或通知的取向相对于用户的注视固定。因此，当用户手部和手腕相对于物理环境和用户头部横向移动时，控件和/或通知在三维环境的视图中横向移动，以在三维环境的视图中保持控件和/或通知相对于用户手部和手腕的表示的固定位置。另外，控件和/或通知保持其相对于用户注视的取向(例如，控件和/或通知相对于用户注视保持直立，即使用户手部和手腕的背面在面向用户时顺时针或逆时针旋转)。
在一些实施方案中，计算机系统在与用户手部的背面或用户手腕(例如，手腕7028)的背面相对应的三维环境的视图中的位置处显示示能表示(例如，“+”按钮)，当该示能表示被激活(例如，通过指向手腕与三维环境的视图中的示能表示的位置相对应的部分的点击输入)时，导致显示用于选择至少一个应用程序(或位置、体验或人)的用户界面，该应用程序的表示将被添加到显示在与用户手部的背面或用户手腕的背面相对应的位置处的用户界面对象(例如，用户界面对象7042)。
在一些实施方案中，在与手腕7028的内侧上的位置相对应的三维环境的视图内的位置处显示可选选项的菜单7026(例如，菜单7026)时，计算机系统在与菜单7026在三维环境的视图中的位置相对应的位置处检测手腕7028的内侧上或附近的手势(例如，该手势是手腕7028上的轻弹手势)。响应于在与菜单7026在三维环境的视图中的相应位置相对应的位置处检测手腕7028的内侧上或附近的手势，计算机系统在独立于手腕的位置的位置处显示三维环境的视图中的可选选项的菜单7026(例如，菜单的三维版本)(例如，在显示生成部件的视场中心的空间中的基座中显示多个可选选项，并且用户可以通过使用空中手势或结合微手势使用注视等方式与基座中的表示进行交互)。在一些实施方案中，当用户手部和手腕的背面面向用户时，在与用户手部和手腕的背面相对应的位置处，对于三维环境的视图中显示的控件和通知实现类似的交互。响应于在与三维环境的视图中控件和/或通知的位置相对应的位置处的手腕或手部的外侧上或其附近的预定义手势输入(例如，手势是手部或手腕的背面上的轻弹手势)，计算机系统在独立于手腕的位置的位置处显示三维环境的视图中的控件和/或通知(例如，控件和通知的三维版本)(例如，在显示生成部件的视场中心的空间中的基座中显示控件和/或通知，并且用户可以通过使用空中手势或结合微手势使用注视等方式与控件和/或通知进行交互)。
在一些实施方案中，在与手腕7028的内侧相对应的位置处显示可选选项的菜单7026并且/或者在与手腕7028的外侧和手部7020的背面相对应的位置处显示控件和/或通知时，计算机系统根据确定在手腕上面向用户的位置处存在预先确定的触敏设备(例如，带有触敏面板的手表)(例如，腕表的触敏显示器存在于手腕的内侧或手腕的外侧上)，禁用预先确定的触敏设备的触敏表面。在一些实施方案中，仅当菜单的位置(或任选地，控件、通知、状态指示器等)(例如，在手腕的背面或手腕的内侧上)在三维环境的视图中与触敏设备的触敏表面的表示重叠时，计算机系统禁用预先确定的触敏设备的触敏表面。
在一些实施方案中，控制伴随有状态指示符，该状态指示符示出了当用户手腕和手部的背面面向用户时在与用户手部的背面相对应的位置处显示时的系统状态信息(例如，当前电池水平、网络连接性状态、小区信号强度、媒体回放状态等)。
图7E至图7G示出了其中两个用户7100和7102参与在共享的计算机生成的体验中的示例，其中两个用户7002和7102使用不同的显示生成部件7100和7200观看相同的三维环境(例如，增强现实环境或虚拟环境)，其中每个用户都能够对他/她在三维环境中激活并作为三维环境的一部分观看的至少一些内容(例如，应用程序的用户界面的内容)的隐私保持控制。当控制用户(例如，激活应用程序并且使内容显示在三维环境中的用户，以及/或者被授予控制内容隐私模式的权限的用户(例如，当内容由三维环境的服务器提供给控制用户时))保持内容私人(例如，通过提供所需的输入并且/或者维持用于维持或激活内容的私人模式的所需条件)时，仅控制用户可以看到三维环境中的内容，并且使用其他显示生成部件观看相同三维环境的其他用户将不能看到私人内容。当控制用户改变内容的隐私模式时(例如，通过提供所需的输入，使得用于改变内容的隐私模式(例如，从私人模式到半公共模式或公共模式)的预设模式切换标准被满足)，控制用户和观看相同三维环境的其他用户将看到在三维环境中(例如，在如由不同用户使用的不同显示生成部件提供的三维环境的不同视图中的相应位置处)显示的内容。在一些实施方案中，控制用户还可以在三维环境中恢复已经成公共或半公共的内容的隐私模式(例如，通过提供所需的输入，使得用于改变内容的隐私模式(例如，从公共或半公共模式到私人模式)的不同预设模式切换标准被满足)。
如图7E所示，用户7002和用户7102都存在于物理环境中，例如，场景105。用户7002正在操作具有第一显示生成部件7100的第一计算机系统，并且用户7102正在操作具有第二显示生成部件7200的第二计算机系统。在图7E中，用户7002和用户7102并排站在相同的物理环境中，并且它们对周围物理环境的观看视角(例如，直接和/或经由其相应的显示生成部件)非常相似。然而，在各种情况下，用户7002和用户7102可以在物理环境中具有不同位置，并且具有带非常不同的观看视角的周围物理环境的视图(例如，直接和/或经由其相应的显示生成部件)。尽管用户7002和用户7102使用的计算机系统的结构、功能和/或部件以及相关联的显示生成部件在各种情况下可能不同或相同，但根据各个实施例关于图7A至图7D和图8至图10关于用户7100使用的计算机系统和显示生成部件做出的描述(例如，关于定位、位置、用户界面、功能、输入设备、结构、部件、特征、方法、优点等的描述)，适用于用户7002和用户7102中的一者或二者使用的计算机系统及其显示生成部件，并且为了简洁起见不再重复。
如图7E所示，用户7002和7102周围的物理环境(例如，场景105)包括在各个位置处的多个物理表面(例如，竖直表面，诸如前壁7004、侧壁7006和对象7010(例如，搁板、冰箱、门等)的前表面7012，水平表面，诸如地板表面7008和对象7014(例如，书桌或桌子)的顶表面7018)。用户7002的手部(例如，左手7020)在用户7002的前面抬起，并且用户7102的手部(例如，左手7202)在用户7102的前面抬起。用户7002正经由第一显示生成部件7100观看三维环境，并且用户7102正经由第二显示生成部件7200观看相同的三维环境。然而，不要求两个用户具有相同的手部/手臂姿势并且/或者同时从相同的视角观看物理环境。
图7F示出了经由第一显示生成部件7100和第二显示生成部件7200同时(例如，在如图7E所示的时间)提供的三维环境的视图。如图7F左侧所示，在一些实施方案中，经由第一显示生成部件7100向用户7002提供的三维环境的视图包括物理场景105的至少一部分的视图(例如，具有透传部分的视图(例如，第一显示生成部件7200的显示器的相机视图或透明部分))。如图7F右侧所示，在一些实施方案中，经由第二显示生成部件7200向用户7102提供的三维环境的视图包括物理场景105的至少一部分的视图(例如，具有透传部分的视图(例如，第二显示生成部件7200的显示器的相机视图或透明部分))。经由第一显示生成部件7100和第二显示生成部件7200提供的三维环境的视图包括相同物理环境的视图，并且经由第一显示生成部件7100和第二显示生成部件7200提供的三维环境的视图中的物理环境的表示的差异是由于用户位置相对于物理环境的差异。换句话说，经由第一显示生成部件7100和第二显示生成部件7200示出的视图对应于不同视点(例如，对应于用户7002和用户7102在相对于物理环境的不同位置处的不同观看视角)。
如图7F所示，除了物理环境的至少一部分之外，三维环境还包括一个或多个虚拟对象(例如，虚拟球7024)，其在三维环境中的位置对应于物理环境中的相应位置(例如，虚拟球7024在三维环境中的位置对应于对象7014的顶表面的位置)。因此，三维环境的视图示出虚拟球7024“停留在”经由第一显示生成部件7100显示的对象7014的表示7014,的顶面上(例如，替换或阻挡其至少一部分)、以及经由第二生成部件7200显示的对象7014的表示7014'的顶面上。在一些实施方案中，三维环境的视图还示出了虚拟叠加(例如，虚拟场景或虚拟装饰)“粘附到”经由第一显示生成部件7100和第二生成部件7200显示的对象的表面(例如，墙壁表面、搁板表面等)的表示(例如，替换或阻挡其至少一部分)。
用户7002和用户7102可以通过经由不同显示生成部件7100和7200提供的三维环境的视图来协作或共享三维环境中的体验(例如，讨论、互动，并看到彼此与三维环境互动所产生的变化等)。
在一些实施方案中，除了通过显示生成部件的透传部分看到物理环境的相应部分之外，用户能够各自直接观看物理环境(例如，在显示生成部件是计算机监视器、手持式设备的显示器或平板电脑的显示器等的情况下)。例如，如图7F所示，第一显示生成部件7100上示出的物理环境的视图包括场景105的透传视图，包括场景105中的物理对象和表面的表示(例如，竖直前壁7004的表示7004'、竖直侧壁7006的表示7006'、水平地板表面的表示7008'、物理对象7010的表示7010'、物理对象7014的表示7014'、对象7010的竖直前表面7012的表示7012'、以及对象7014的水平顶表面7018的表示7018')。第二显示生成部件7200上示出的物理环境的视图还包括场景105的透传视图，包括场景105中的物理对象和表面的表示(例如，竖直前壁7004的表示7004”、竖直侧壁7006的表示7006”、水平地板表面的表示7008”、物理对象7010的表示7010”、物理对象7014的表示7014”、对象7010的竖直前表面7012的表示7012”、以及对象7014的水平顶表面7018的表示7018”)。在一些实施方案中，物理环境的用户直接视图被显示生成部件和连接到其上的部件(例如，外壳和其他硬件部件)完全阻挡(例如，在显示生成部件是用户佩戴的HMD显示器，或车辆或隔间的大平视显示器的情况下)，并且用户对物理环境的唯一视图是通过经由显示生成部件提供的透传部分。
在一些实施方案中，如图7F所示，当手臂、手腕和/或手部或其部分移动到物理环境中的预定义区域中时(例如，移动到计算机系统的一个或多个相机的视野中)，每个用户(例如，用户7002或用户7102)任选地被提供有他/她自己的手臂、手腕和/或手部的实时视图和其他用户的手臂、手腕和/或手部的实时视图(例如，作为物理环境的视图的一部分)。例如，如图7F所示，经由第一显示生成部件7100显示的三维环境的视图包括用户7002的手部7020的表示7020'、用户7002的手腕7028的表示7028'、用户7102的手部7214的表示7214'以及用户7102的手腕7202的表示7202'，条件是手部7020、手腕7028、手部7214和手腕7202中的每一个分别在与控制第一显示生成部件7100的计算机系统相关联的相机的视野内。如果手部7020、手腕7028、手部7214或手腕7202中的任一个移出与控制第一显示生成部件7100的计算机系统相关联的相机的视野，则其表示将停止显示在经由第一显示生成部件7100提供的三维环境的视图中。类似地，经由第二显示生成部件7200显示的三维环境的视图包括用户7002的手部7020的表示7020”、用户7002的手腕7028的表示7028”、用户7102的手部7214的表示7214”以及用户7102的手腕7202的表示7202”，条件是手部7020、手腕7028、手部7214和手腕7202中的每一个分别在与控制第二显示生成部件7200的计算机系统相关联的相机的视野内。如果手部7020、手腕7028、手部7214或手腕7202中的任一个移出与控制第二显示生成部件7200的计算机系统相关联的相机的视野，则其表示将停止显示在经由第二显示生成部件7200提供的三维环境的视图中。
在一些实施方案中，经由显示生成部件提供的物理环境的视图不是围绕用户中的一个用户或两个用户的物理环境，并且用户的手臂、手腕和/或手部中的一者或两者的视图(例如，如由计算机系统的一个或多个相机捕获，或基于各种传感器捕获的信息的手臂、手腕和/或手部的程式化版本)由显示生成部件提供，以替换或阻挡物理环境的视图的一部分。在一些实施方案中，显示生成部件7100和7200不提供物理环境的视图，并提供完全虚拟的环境(例如，没有相机视图或透明透传部分)，如当前由一个或多个传感器(例如，相机、运动传感器、其他姿势传感器等)捕获的用户7002和7102的一个或两个手臂、手腕和/或手部的实时视觉表示(例如，程式化表示或分割相机图像)被提供有虚拟环境(例如，虚拟三维环境中)。
在图7F所示的示例中，根据一些实施方案，响应于用户7002和7102中的一个用户使用由所述一个用户控制的计算机系统发起的、并由用户7002和7102中的另一个用户使用由所述另一用户控制的计算机系统接受的请求，在用户7002与用户7102之间共享三维环境。在一些实施方案中，两个用户都已经从第三用户使用的计算机系统接收并接受了使用其相应的计算机系统共享三维环境的请求。在一些实施方案中，两个用户都已经发送了使用其相应的计算机系统将三维环境共享到服务器的请求，其中其请求被服务器接受。当共享计算机生成的三维环境时，用户和其相应头部、眼睛、手部、手臂和/或手腕的位置和取向被传感器(例如，相机、运动传感器等)实时捕获或周期性地捕获，并且位置和取向数据被提供给由用户控制的计算机系统中的一者或两者，并且/或者被提供给与计算机系统通信的服务器。位置数据由计算机系统和/或服务器使用，以确定用户及其相应的头部、眼睛、手部、手臂和/或手腕在计算机生成的三维环境中的相应位置和取向，并且对应地，确定包括其相应头部、手臂、手部和/或手腕的用户的表示在经由与用户相关联的不同显示生成部件提供的三维环境的视图中的相应位置、以及经由与用户相关联的不同显示生成部件提供的三维环境的视图的观看视角。
在图7F所示的示例中，例如根据确定已经满足某些预设标准(例如，通过手腕的导航状态，并且任选地，通过其他条件的存在)，可选选项的第一菜单(例如，菜单7026)显示在与用户7002的手腕7028在经由第一显示生成部件7100提供的三维环境的视图中的位置相对应的位置处。在一些实施方案中，可选选项的第一菜单包括应用程序图标。在一些实施方案中，第一菜单中的可选选项任选地包括远程设备的用户的相应表示(例如，头像)，当被激活时，其导致关于远程用户执行操作(例如，启动与远程设备的相应用户通信，或开始与远程设备的用户共享三维环境等的操作)。如图7F所示，在共享会话开始之前或在共享会话期间，在第一用户7002的腕7028上的位置处检测到满足预先确定的选择标准的第一输入，并且响应于第一输入，在经由第一显示生成部件7100提供的三维环境的视图中与用户7002的手部7020的手掌位置相对应的位置处，显示与菜单7026中的所选选项相对应的第一应用程序的用户界面7036的第一视图(例如，与可选选项7030-a相对应的应用程序的用户界面的第一视图7036)。例如，第一应用程序的用户界面的第一视图7036面向用户7002的头部或面部(例如，面向与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点)，并且替换或阻挡用户7002的手部7020的手掌的至少一部分的视图(例如，通过透明显示器的手部7020的视图、手部7070的相机视图或手部7020的程式化表示)。在一些实施方案中，在与用户7002的手部的位置相对应的位置处显示的第一应用程序的用户界面的第一视图7036包括用户界面对象，诸如用户界面对象7038和7040，并且根据第一交互模型对用户7002的输入做出响应(例如，如关于图7A至图7D和图8至图11所描述的)。在一些实施方案中，第一应用程序的用户界面的第一视图7036显示在三维对象7034上(例如，在三维对象7034的前表面上)。当手部7020和手腕7028在物理环境中一起移动时，手部7020的表示7020’的位置在经由第一显示生成部件7100显示的三维环境的视图中移动，并且第一应用程序的用户界面的第一视图7036的显示位置(以及任选地对象7034的显示位置)被更新，以继续对应于手部7020的手掌的位置(例如，用户界面的第一视图7036(和对象7034)被锁定到手部7020的表示7020'的位置)。在一些实施方案中，第一应用程序的用户界面的第一视图7036(以及任选地，对象7034)根据面向用户7002的头部的用户7002的手部7020的取向而取向，使得改变用户7002的手部的取向并且/或者面向方向改变第一应用程序的用户界面的第一视图7036的取向和面向方向，并且根据确定是否通过用户7002的手部7020的位置和取向的变化满足预先确定的标准，任选地改变在共享三维环境中的第一应用程序的用户界面的第一视图7036的隐私模式。显示特性和与菜单7026以及与从菜单7026所选的选项相对应的应用程序(例如，与菜单7026中的可选选项7030-a相对应的第一应用程序)的用户界面交互的其他方面，关于图7A至图7D和图8至图11进行描述，并且为了简洁起见，本文不再重复。
类似地及任选地，如图7F所示，例如根据确定已经满足某些预设标准(例如，通过手腕的导航状态，并且任选地，通过其他条件的存在)，可选选项的第二菜单(例如，菜单7226)显示在与用户7102的手腕7202在经由第二显示生成部件7200提供的三维环境的视图中的位置相对应的位置处。在一些实施方案中，可选选项的菜单7226包括应用程序图标。在一些实施方案中，菜单7226中的可选选项任选地包括远程设备的用户的相应表示(例如，头像)，当被激活时，其导致关于远程用户执行操作(例如，启动与远程设备的相应用户通信，或开始与远程设备的用户共享三维环境等的操作)。如图7F所示，在共享会话开始之前或在共享会话期间，在用户7102的手腕7202上的位置处检测到满足预先确定的选择标准的第二输入，并且响应于第二输入，在经由第二显示生成部件7200提供的三维环境的视图中与用户7102的手部7214的手掌位置相对应的位置处，显示与菜单7226中的所选选项相对应的第二应用程序的用户界面的第一视图7236。例如，第二应用程序的用户界面的第一视图7236面向用户7102的头部或面部(例如，面向与经由第二显示生成部件7200提供的三维环境的当前视图相对应的视点)，并且替换或阻挡用户7102的手部7214的手掌的至少一部分的视图(例如，通过透明显示器的手部7214的视图、手部7214的相机视图或手部7214的程式化表示)。在一些实施方案中，在与用户7102的手部的位置相对应的位置处显示的第二应用程序的用户界面的第一视图7236包括用户界面对象，诸如用户界面对象7208、7210和7212，并且根据第一交互模型对用户7102的输入做出响应(例如，在与用户的手部的手掌相对应的位置处显示的应用程序的用户界面的第一视图使用的第一交互模型，如关于图7A至图7D和图8至图11所描述的)。在一些实施方案中，第二应用程序的用户界面的第一视图7236显示在三维对象7206上(例如，在三维对象7206的前表面上)。当手部7214和手腕7202在物理环境中一起移动时，手部7214的表示7214”的位置在经由第二显示生成部件7200示出的三维环境的视图中移动，并且第二应用程序的用户界面7236的第一视图7236的显示位置(以及任选地对象7206)被更新，以继续对应于手部7214的手掌的位置(例如，用户界面的第一视图7236(以及任选地对象7206)被锁定到手部7214的表示7214”的手掌的位置)。在一些实施方案中，第二应用程序的用户界面7236的第一视图7236(和/或任选地，对象7206)根据面向用户7102的头部的用户7102的手部7214的取向而取向，使得改变用户7102的手部的取向并且/或者面向方向改变第二应用程序的用户界面的第一视图7236的取向和面向方向，并且根据确定是否通过用户7102的手部7214的位置和取向的变化满足预先确定的标准，任选地改变在共享三维环境中的第二应用程序的用户界面的第一视图7236的隐私模式。显示特性和与菜单7226以及与从菜单7226所选的选项相对应的应用程序的用户界面(例如，第二应用程序的用户界面的第一视图7236)交互的其他方面，关于图7A至图7D和图8至图11进行描述(例如，关于第一应用程序的用户界面的第一视图7036)，并且为了简洁起见，本文不再重复。
在一些实施方案中，用户7002和7102激活的相应应用程序(例如，分别为第一应用程序和第二应用程序)的用户界面的第一视图7036和7236对应于可以与共享三维环境中的应用程序和其用户界面相关联的多个隐私模式中的私人模式。在一些实施方案中，当相应的应用程序和/或其用户界面与私人模式相关联时，相应应用程序的用户界面的存在和/或内容仅对其相应控制用户或所有者(例如，激活应用程序的用户)可见，并且对于观看相同三维环境的其他用户不可见(例如，或者从相同的视角或者从不同的视角)。在一些实施方案中，当显示的用户界面的控制用户开始与另一用户共享三维环境时，激活当前显示的用户界面的私人模式。在一些实施方案中，当满足预设标准(例如，预设标准包括要求应用程序的用户界面显示在与控制用户的手掌相对应的位置处，该控制用户激活应用程序并导致在三维环境中显示用户界面(例如，在用户自己的显示生成部件上)，并且显示用户界面的控制用户的手部的手掌面向用户的面部(或者，另选地，要求显示用户界面的控制用户的手部的手掌不面向与控制用户共享三维环境的另一用户，或者要求显示用户界面的控制用户的手部的手掌不背对控制用户等))时，对应用程序的用户界面激活私人模式。
如图7F所示，当第一显示生成部件7100显示与用户7002的当前视点相对应的三维环境的视图(例如，如由用户7002的头部相对于物理环境105的位置限定)时，除了显示用户7002的手腕7028的表示7028'、用户7002的手部7020的表示7020'以及由用户7002从菜单7026选择的第一应用程序的用户界面的第一视图7036之外，第一显示生成部件7100还显示用户7102的手部7214的表示7214'和用户7102的手腕7202的表示7202'(例如，因为用户7102的手部7214和手腕7202当前处于作为物理环境105的部分的由用户7002控制的计算机系统的一个或多个视野内)。然而，与图7F中的经由第二显示生成部件7200显示的三维环境的视图相反，在经由第一显示生成部件7100提供的三维环境的视图中，未显示由用户7102激活的第二应用程序的用户界面的第一视图7236。第一显示生成部件7100放弃第二应用程序的用户界面的第一视图7236的显示，因为由用户7102激活的第二应用程序的用户界面的第一视图7236当前基于用户7102的手部7214与用户7102之间的空间关系与私人模式相关联(例如，因为用户7102的手部7214的手掌面向用户7102的面部，并且对应地，第二应用程序的用户界面的第一视图7236面向用户7102的面部，或面向与由第二显示生成部件7200提供的三维环境的当前视图相对应的视点)。
在一些实施方案中，代替在三维环境的视图中显示第二应用程序的用户界面的第一视图7236，第一显示生成部件7100任选地在与用户7102的手部7214的位置相对应的三维环境的视图中的位置处显示第二应用程序的用户界面的指示7216。例如，在经由第一显示生成部件7100提供的三维环境的视图中，指示7216被显示为替换或阻挡用户7102的手部7214的表示7214'的至少一部分的位置。在一些实施方案中，指示7216是半透明对象或视觉效果，并且在经由第一显示生成部件7100提供的三维环境的视图中改变(例如，模糊、昏暗、变形等)用户7102的手部7214的表示7214'。在一些实施方案中，指示7216包括第二应用程序的用户界面的概述，例如，通过显示与第二应用程序相对应的应用程序图标但省略第二应用程序的用户界面的第一视图7236的至少一些内容。在一些实施方案中，没有第二应用程序的用户界面的指示显示在与用户7102的手部7214的位置相对应的三维环境的视图中的位置处，并且用户7102的手部的表示7214'被显示为从用户7002的观看视角看它将如何出现(例如，由用户7002使用的计算机系统的一个或多个相机捕获的手部7214的平视视图)。
类似地，如图7F所示，当第二显示生成部件7200显示与用户7102的当前视点相对应的三维环境的视图(例如，如由用户7102的头部相对于物理环境105的位置限定)时，除了显示用户7102的手腕7202的表示7202”、用户7102的手部7214的表示7214”以及由用户7102从菜单7226选择的第二应用程序的用户界面的第一视图7236之外，第二显示生成部件7200还显示用户7002的手部7020的表示7020”和用户7002的手腕7028的表示7028”(例如，因为用户7002的手部7020和手腕7028当前处于作为物理场景105的部分的由用户7102控制的计算机系统的一个或多个视野内)。然而，与图7F中的经由第一显示生成部件7100显示的三维环境的视图相反，在经由第二显示生成部件7200提供的三维环境的视图中，未显示由用户7002激活的第一应用程序的用户界面的第一视图7036。第二显示生成部件7200放弃第一应用程序的用户界面的第一视图7036的显示，因为由用户7002激活的第一应用程序的用户界面的第一视图7036当前基于用户7002的手部7020与用户7002之间的空间关系与私人模式相关联(例如，用户7002的手部7020的手掌面向用户7002的面部，并且对应地，第一应用程序的用户界面的第一视图7036面向用户7002的面部，或面向与由第一显示生成部件7100提供的三维环境的当前视图相对应的视点)。
在一些实施方案中，代替在三维环境的视图中显示第一应用程序的用户界面的第一视图7036，第二显示生成部件7200任选地在与用户7002的手部7020的位置相对应的三维环境的视图中的位置处显示第一应用程序的用户界面的第一视图7036的指示7204。例如，在经由第二显示生成部件7200提供的三维环境的视图中，指示7204被显示为替换或阻挡用户7002的手部7020的表示7020”的至少一部分的位置。在一些实施方案中，指示7204是半透明对象和/或视觉效果，其在经由第二显示生成部件7200提供的三维环境的视图中改变(例如，模糊、昏暗、变形等)用户7002的手部7020的表示7020”。在一些实施方案中，指示7204包括第一应用程序的用户界面的第一视图7036的概述，例如，通过显示与第一应用程序的用户界面的第一视图7036相对应的应用图标但省略第一应用程序的用户界面的第一视图7036的至少一些内容。在一些实施方案中，没有第一应用程序的用户界面的第一视图7036的指示显示在与用户7002的手部7020的位置相对应的三维环境的视图中的位置处，并且用户7002的手部7020的表示7020”被显示为从用户7102的观看视角看它将如何出现(例如，由用户7102使用的计算机系统的一个或多个相机捕获的手部7020的平视视图)。
图7G示出了两种示例性方式，通过这两种方式，可以将以私人模式(例如，经由第一显示生成部件7100显示的第一应用程序的用户界面的第一视图7036，以及经由第二显示生成部件7200显示的第二应用程序的用户界面的第一视图7236)显示的用户界面改变成以半私人模式或公共模式显示，其中用户界面的内容示出在经由第一显示生成部件7100和第二显示生成部件7200二者显示的三维环境的视图中(例如，第一应用程序(或其非完全编辑版本)的用户界面的第一视图7036也经由第二显示生成部件7200显示，并且第二应用程序(或其非完全编辑版本)的用户界面的第一视图7236也经由第一显示生成部件7100显示)。
例如，当第一显示生成部件7100在与用户7002的手部7020的位置相对应的由第一显示生成部件7100提供的三维环境的视图中的位置处，显示第一应用程序的用户界面的第一视图7036(例如，在对象7034的前表面上)时(例如，第一视图7036替换或阻挡用户手部7020的手掌的表示的至少一部分)，由用户7002使用的计算机系统通过计算机系统的一个或多个相机检测到，由于手部7020相对于物理环境和用户7002的移动，第一应用程序的用户界面的第一视图7036与用户7002之间(或者第一应用程序的用户界面的第一视图7036和与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点之间)的空间关系已经改变。
如图7G所示，响应于手部7020相对于物理环境和用户7002的移动以及第一应用程序的用户界面的第一视图7036与用户7002之间的空间关系产生的变化(或第一应用程序的用户界面的第一视图7036和与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点之间的空间关系产生的变化)，第一显示生成部件7100显示手部7020的表示7020'，示出了面向用户7002的手背(或面向与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点)。另外，对象7034还被翻转，其中其前表面背对用户7002(或背对与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点)。在一些实施方案中，根据确定第一应用程序的用户界面的第一视图7036与用户7002之间的空间关系的变化(或在第一应用程序的用户界面的第一视图7036和与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点之间的空间关系产生的变化)满足用于改变与第一应用程序的用户界面的第一视图7036相关联的隐私模式的预设标准，由用户7002使用的计算机系统将第一应用程序的用户界面的第一视图7036的隐私模式从私人模式改变成半私人模式或公共模式(例如，在满足预设标准的持续时间内)，并且将关于第一应用程序的用户界面的第一视图7036的内容的数据提供给由用户7102使用的计算机系统，使得第一应用程序的用户界面的第一视图7036的内容被显示在由第二显示生成部件7200提供的三维环境的视图中。例如，如图7G所示，第二显示生成部件7200从用户7102的观看视角显示三维环境的视图，并且三维环境的视图包括用户7002的手部7020的表示7020”以及其前表面(以及第一应用程序的用户界面的第一视图7036(例如，示出为第一应用程序的用户界面的第一视图7036”))面向用户7102(或者面向与经由第二显示生成部件7100提供的三维环境的当前视图相对应的视点)的对象7034(例如，示出为对象7034”)。换句话说，现在，在由第二显示生成部件7200提供的三维环境的视图中先前不可见的第一应用程序的用户界面的第一视图7036及其内容(或其至少一些部分)对于经由第二显示生成部件7200观看三维环境的用户7102变得可见。在一些实施方案中，如果用户7002的手部7020的移动不满足用于从私人模式(例如，没有内容或有限的内容是可见的)切换到半公共模式(例如，与私人模式相比，更多内容是可见的)或公共模式(例如，与私人模式和半私人模式相比，所有内容都是可见的，或者更多内容是可见的)的预设标准，则由第二显示生成部件7200提供的三维环境的视图将仅示出手部7020的表示7020”的移动，并且根据手部7020的移动，在与手部7020的位置相对应的位置处任选地具有指示7216。
在一些实施方案中，在以其前表面(并且以第一应用程序的用户界面的第一视图7036(示出为第一应用程序的用户界面的第一视图7036”))面向用户7102(或面向与经由第二显示生成部件7100提供的三维环境的当前视图相对应的视点)显示对象7034(例如，示出为对象7034”)之后，如果用户7002使用的计算机系统通过计算机系统的一个或多个相机检测到，由于手部7020相对于物理环境和用户7002的移动，第一应用程序的用户界面的第一视图7036与用户7002之间(或第一应用程序的用户界面的第一视图7036和与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点之间)的空间关系再次改变。如果第一应用程序的用户界面的第一视图7036与用户7002之间的空间关系产生的变化(或第一应用程序的用户界面的第一视图7036和与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点之间的空间关系产生的变化)对应于不再满足用于以半私人模式或公共模式显示用户界面的预设标准的确定，则第一显示生成部件7100继续显示具有改变的姿势的手部7020的表示7020’，并再次显示其前表面面向用户7002(或与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点)的对象7034。在一些实施方案中，根据确定第一应用程序的用户界面的第一视图7036与用户7002之间的空间关系的变化(或在第一应用程序的用户界面的第一视图7036和与经由第一显示生成部件7100提供的三维环境的当前视图相对应的视点之间的空间关系产生的变化)不再满足用于将与用户界面的第一视图7036相关联的隐私模式从私人模式改变成半公共模式或公共模式(或用于保持第一应用程序的用户界面的第一视图7036的半私人模式或公共模式)的预设标准，用户7002使用的计算机系统将用户界面7036的隐私模式从半私人模式或公共模式恢复到私人模式，并停止向用户7102使用的计算机系统提供关于第一应用程序的用户界面的第一视图7036的内容的数据，使得第一应用程序的用户界面的第一视图7036(例如，用户界面7036”(例如，包括用户界面对象7038”和7040”)和对象7034”)的内容不再显示在由第二显示生成部件7200提供的三维环境的视图中。例如，根据手部7020的移动，由第二显示生成部件7200提供的三维环境的视图将仅示出手部7020的表示7020”的移动，并且任选地在与手部7020的位置相对应的位置处具有指示7204。
在一些实施方案中，用户7102的手部7214相对于物理环境和用户7102的类似移动将导致用户7102在三维环境中激活的第二应用程序的用户界面的第一视图7236的隐私模式的类似切换，并且导致在经由第一显示生成部件7100显示的三维环境的视图中示出或隐藏第二应用程序的用户界面的第一视图7236。上文关于图7F至图7G中的计算机系统、第一显示生成部件7100和第二显示生成部件7200的行为描述的所有特征同样适用于这些场景，其中第二应用程序的用户界面的第一视图7236与用户7102之间的空间关系响应于用户手部7214相对于物理环境的移动而改变，导致第二应用程序的用户界面的第一视图7236的隐私模式的变化以及第二应用程序的用户界面的第二视图7236在经由第一显示生成部件7100提供的三维环境的视图中的可见性。本质上，第一用户7002和第二用户7102的角色以及第一用户和第二用户使用的第一显示生成部件和第二显示生成部件和计算机系统的角色可以在特定场景中反转，并且上述特征仍然有效，因此为了简洁起见，本文不再重复。
在一些实施方案中，当第二显示生成部件7200在与用户7102的手部7214的位置相对应的由第二显示生成部件7200提供的三维环境的视图中的位置处显示第二应用程序的用户界面的第一视图7236(例如，在对象7206的前表面上)时，用户7102使用的计算机系统通过计算机系统的一个或多个相机检测到，改变第二应用程序的用户界面与用户7102之间(或第二应用程序的用户界面和与经由第二显示生成部件7200提供的三维环境的当前视图相对应的视点之间)的空间关系的输入。例如，输入包括手部7214相对于物理环境和用户7002的移动(例如，移动是拾起和放下手势，或投/掷手势，或释放和点击手势，或与选择新目标表面的注视输入结合提供的掷手势，等)，其将第二应用程序的用户界面从与手部7214相对应的位置发送到与物理环境中的另一表面(例如，附近桌面或墙壁)相对应的位置。如图7G所示，响应于包括手部7214相对于物理环境和用户7002的移动的输入，根据确定第二应用程序的用户界面与用户7102之间的空间关系产生变化(或确定第二应用程序的用户界面和与经由第二显示生成部件7200提供的三维环境的当前视图相对应的视点之间的空间关系产生变化)满足预设模式切换标准(例如，预设模式切换标准包括要求第二应用程序的用户界面不再面向用户7102的面部、或要求第二应用程序的用户界面背对用户7102、或要求第二应用程序的用户界面面向用户7002等)，第二显示生成部件7200在释放第二应用程序的用户界面(和对象7206)之后显示手部的表示7214”。另外，第二应用程序的用户界面的第二视图7236”被显示在与对象7214的顶表面在物理环境中的位置相对应的经由第二显示生成部件7200提供的三维环境的视图中的位置处。如图7G所示，第二应用程序的用户界面的第二视图7236”示出在对象7206”的前表面上。根据一些实施方案，第二应用程序的用户界面的第二视图7236”(和对象7206”)的大小大于第二应用程序的用户界面的第一视图7236(和对象7206)的大小。在一些实施方案中，根据确定第二应用程序的用户界面(例如，其已经从第二视图7236”转换为第二应用程序的用户界面的第一视图7236)与用户7102之间的空间关系的变化(或第二应用程序的用户界面(例如，其已经从第二视图7236”转换为第二应用程序的用户界面的第一视图7236)和与经由第二显示生成部件7200提供的三维环境的当前视图相对应的视点之间的空间关系产生的变化)满足用于改变与第二应用程序的用户界面相关联的隐私模式的预设标准，用户7102使用的计算机系统将第二应用程序的用户界面的隐私模式从私人模式改变成半私人模式或公共模式(例如，在满足预设标准的持续时间内)，并向用户7002使用的计算机系统提供关于第二应用程序的用户界面的内容的数据，使得第二应用程序的用户界面的内容(例如，现在示出为在由第二显示生成部件7200提供的三维环境的视图中的第二应用程序的用户界面的第二视图7236”)也显示在由第一显示生成部件7100提供的三维环境的视图中。例如，如图7G所示，第一显示生成部件7100从用户7002的观看视角显示三维环境的视图，并且三维环境的视图包括对象7206'(其对应于由第二显示生成部件7200示出的对象7206”)以及在与对象7014的顶表面的位置相对应的位置处显示的第二应用程序的用户界面的第二视图7236'(其对应于由第二显示生成部件7200示出的第二应用程序的用户界面的第二视图7236”)。换句话说，现在第二应用程序的用户界面(例如，示出为第二视图7036')及其在由第一显示生成部件7100提供的三维环境的视图中先前不可见的内容对于经由第一显示生成部件7100观看三维环境的用户7002是可见的。在一些实施方案中，如果用户7102的手部7214的移动不满足用于从私人模式切换到半公共模式或公共模式的预设标准，则由第一显示生成部件7100提供的三维环境的视图将仅示出手部7214的表示7214'的移动，并且根据手部7214的移动，在与手部7214的位置相对应的位置处任选地具有指示7216。
在一些实施方案中，用户7002的手部7020相对于物理环境和用户7002的类似移动将导致用户7002在三维环境中激活的第一应用程序的用户界面的隐私模式的类似切换，并且导致在经由第二显示生成部件7200显示的三维环境的视图中显示或隐藏第一应用程序的用户界面。上文关于图7F至图7G中的计算机系统、第一显示生成部件7100和第二显示生成部件7200的行为描述的所有特征同样适用于这些场景，其中第一应用程序的用户界面与用户7002之间的空间关系响应于将应用程序的用户界面从与用户7002的手部7020的位置相对应的位置移动到与物理环境中的另一表面的位置相对应的另一位置的请求而改变(例如，通过用户7002的手部7020相对于物理环境的移动)，并且导致第一应用程序的用户界面的隐私模式和第一应用程序的用户界面在经由第二显示生成部件7200提供的三维环境的视图中的可见性的改变。本质上，第一用户7002和第二用户7102的角色以及第一用户和第二用户使用的第一显示生成部件和第二显示生成部件和计算机系统的角色可以在特定场景中反转，并且上述特征仍然有效，因此为了简洁起见，本文不再重复。
在一些实施方案中，当第二应用程序的用户界面(例如，如分别作为第二视图7236”和7236')显示在三维环境的视图中在与附近表面(例如，对象7014的顶表面)的位置相对应的位置处时，用户7102使用的计算机系统例如经由计算机系统的一个或多个相机检测用户7102提供的另一输入，该输入满足用于将用户7102激活的第二应用程序的用户界面的显示从与附近表面(例如，对象7014的顶表面)的位置相对应的位置转移到离用户7102更远的另一表面(例如，墙壁7004的表面)的预设标准(例如，用于检测用户7102的手部7214的空中投/掷手势的标准)。响应于检测输入，第一显示生成部件7100和第二显示生成部件7200二者在与附近表面的位置相对应的位置处停止显示第二应用程序的用户界面(或其半编辑版本)，并且在与离用户7102更远的新目标表面(例如，墙壁7004的表面)的位置相对应的三维环境的视图中的位置处显示第二应用程序的用户界面的第三视图。在一些实施方案中，在由两个显示生成部件提供的三维环境的视图中显示该第二的用户界面，因为当第二应用程序的用户界面显示在与距激活第二应用程序的用户7102的距离大于阈值的表面相对应的位置处时，其现在与公共模式相关联。图7B至图7C的描述中讨论的关于第一应用程序的用户界面如何从与用户手掌相对应的位置转移到与附近表面相对应的位置，然后转移到更远的另一表面的特征也适用于本文所述的第二应用程序的用户界面。图7D的描述中讨论的关于第一应用程序的应用程序图标和用户界面、以及控件和通知如何可以可选择性地显示在控制用户手部和手腕的背面或控制用户手部和手腕的前面上的特征也适用于第二应用程序的应用程序图标和用户界面以及本文关于用户7102所述的其他控件和通知。
图7G示出了两组示例性标准，该示例性标准用于改变应用程序的用户界面的隐私模式，该应用程序的用户界面由相应用户在三维环境中激活并显示在经由与相应用户相关联的第一显示生成部件提供的三维环境的视图中，使得该应用程序的用户界面也显示在由与另一用户相关联的另一显示生成部件提供的三维环境的视图中。在一些实施方案中，预设模式切换标准包括当用户界面与在三维环境中激活应用程序的相应用户具有预先确定的空间关系时满足的标准。
在一些实施方案中，预先确定的空间关系是在与控制用户手部或手掌相对应的三维环境中的位置处不显示用户界面或用户界面显示在其上的虚拟对象(例如，在与控制用户相关联的显示生成部件的视图中，用户界面不阻挡或替换控制用户手部或手掌的表示的一部分)。例如，当应用程序的用户界面显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处时，用户界面与私人模式相关联，并且用户界面不显示在由不同用户(例如，非控制用户)使用的不同显示生成部件提供的三维环境的视图中。当应用程序的用户界面不再显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处(例如，控制用户已将用户界面转移到与附近桌面或墙壁的位置相对应的三维环境的视图中的位置)时，应用程序的用户界面不再与私人模式相关联，并且显示在由控制用户和至少一个非控制用户二者使用的显示生成部件提供的三维环境的视图中。在一些实施方案中，当用户界面再次显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处(例如，控制用户使用预定义取消手势将用户界面转移回与他/她的手掌相对应的三维环境的视图中的位置)时，应用程序的用户界面与私人模式重新关联，并且停止显示在由非控制用户使用的显示生成部件提供的三维环境的视图中。
在一些实施方案中，预先确定的空间关系是用户界面或显示用户界面的虚拟对象的内容侧显示在与控制用户的手部或手掌相对应的三维环境中的位置处，并且用户界面或虚拟对象的内容侧背对控制用户(或与经由控制用户使用的显示生成部件显示的三维环境的视图相对应的视点)。例如，当用户界面显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处并且控制用户的手掌或用户界面(或二者)面向控制用户时，用户界面与私人模式相关联，并且用户界面不显示在由非控制用户使用的显示生成部件提供的三维环境的视图中。当用户界面仍显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处但不再面向控制用户(例如，控制用户已将他/她的手掌转向远离他/她的面部的另一方向)时，用户界面不再与私人模式相关联，并且显示在由不是控制用户的另一用户使用的显示生成部件提供的三维环境的视图中。在一些实施方案中，当用户界面显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处并且用户界面的内容侧再次面向控制用户(例如，控制用户已将他/她的手掌转向他/她的面部)时，用户界面与私人模式重新关联，并且停止显示在由非控制用户使用的显示生成部件提供的三维环境的视图中。
在一些实施方案中，预先确定的空间关系是用户界面或显示用户界面的虚拟对象的内容侧显示在与控制用户的手部或手掌相对应的三维环境中的位置处，并且用户界面或虚拟对象的内容侧面向与经由非控制用户使用的显示生成部件显示的三维环境的视图相对应的视点(或控制用户的手掌转成面向非控制用户的面部)。例如，当用户界面显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处并且控制用户的手掌或用户界面(或二者)面向控制用户或不朝向非控制用户(或不朝向三维环境的非控制用户视点)的另一方向时，用户界面与私人模式相关联，并且用户界面不显示在由非控制用户使用的显示生成部件提供的三维环境的视图中。当用户界面仍显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处但现在面向控制用户(例如，控制用户已将他/她的手掌转向非控制用户的面部)时，用户界面不再与私人模式相关联，并且显示在由非控制用户使用的显示生成部件提供的三维环境的视图中。在一些实施方案中，当用户界面显示在经由控制用户使用的显示生成部件提供的三维环境的视图中与控制用户手掌相对应的位置处并且用户界面的内容侧再次远离非控制用户(例如，控制用户已将他/她的手掌转回向他/她的自己面部或远离非控制用户的面部)时，用户界面与私人模式重新关联，并且停止显示在由非控制用户使用的显示生成部件提供的三维环境的视图中。
在一些实施方案中，当应用程序的用户界面与私人模式相关联时，用户界面完全隐藏，并且在经由非控制用户(例如，未在三维环境中激活应用程序的用户)使用的显示生成部件提供的三维环境视图中没有提供用户界面的提示。例如，在经由非控制用户使用的显示生成部件提供的三维环境的视图中，控制用户(例如，在三维环境中激活应用程序的用户)的手部/手掌完全不受控制用户正在与控制用户的手部/手掌的位置相对应的三维环境中的位置处观看应用程序的用户界面的任何指示的影响。如果非控制用户位于控制用户旁边以能够从类似于控制用户的视角看到物理环境(例如，包括控制用户的手部)，则非控制用户将仅看到由非控制用户使用的显示生成部件提供的三维环境中的控制用户手掌的表示。如果非控制用户直接面对控制用户的面部，则非控制用户也有可能在三维环境中看到控制用户手部的背面的表示。
在一些实施方案中，当应用程序的用户界面与私人模式相关联时，用户界面完全隐藏在经由非控制用户使用的显示生成部件提供的三维环境的视图中。然而，在经由非控制用户使用的显示生成部件提供的三维环境的视图中，任选地修改(例如，模糊、暗淡、变形等)与控制用户的手部/手掌相对应的位置，以指示控制用户在与控制用户的手部/手掌的位置相对应的三维环境中的位置处观看一些未识别的内容。
在一些实施方案中，在用户界面显示在三维环境的视图中时，其在三维环境中具有相对于三维环境中表示的其他虚拟对象和物理对象的空间位置。由于与三维环境的视图相关联的观看视角，有可能在三维环境的相应视图中，用户界面的一部分被另一虚拟对象或物理对象的表示阻挡或替换。例如，当用户界面显示在虚拟对象(例如，虚拟对象7206”、7206'、7206、7034”、7034)的前表面上，并且虚拟对象相对于三维环境的视图的视点取向，使得虚拟对象的前表面背对三维环境的视图的视点时，用户界面的视图将被虚拟对象的背面阻挡或替换，无论视图是由控制用户使用的显示生成部件还是由非控制用户使用的显示生成部件提供。类似地，当用户界面由于观看者与由观看者使用的显示生成部件提供的三维环境中的用户界面之间的空间关系而显示在与物理对象后面的位置(例如，用户的手部的背面，或场景中的其他物理对象)相对应的位置处(例如，观看者可以是控制用户或非控制用户)时，用户界面的视图将被位于观看者和与三维环境中的用户界面的位置相对应的位置之间的物理对象的表示阻挡或替换。因此，考虑到当时三维环境的空间配置，与用户界面或用户界面的视图相关联的隐私模式仅确定，当用于显示用户界面或用户界面的视图的位置未被虚拟对象或位于观看者与三维环境中的位置之间的物理对象的表示以其他方式阻挡或替换时，用户界面或用户界面的视图是否显示在三维环境的视图中。
在一些实施方案中，第二用户的第二手势包括转动第二用户的手掌(例如，保持经由第二显示生成部件示出的三维环境的视图中的用户界面对象的手掌)远离第一用户(并且/或者将第二用户的手掌转向第二用户的面部)。
在一些实施方案中，由第一用户(例如，控制用户(例如，用户7002或用户7102))使用的计算机系统经由第一显示生成部件(例如，由控制用户使用的显示生成部件)，在三维环境(例如，虚拟环境、模拟现实环境或增强现实环境)的第一视图内的第一位置处显示第一应用程序的用户界面的第一视图，该第一位置对应于当前面对与经由第一显示生成部件提供的与三维环境的第一视图相对应的视点的手掌的至少一部分的位置(例如，手掌面对用户，手指卷曲或完全伸出，并且用户界面的表面显示为与用户手掌的表面平行)(例如，三维环境的视图是，例如当前示出在显示器上的虚拟环境的一部分、通过透明或半透明显示器的透传部分可见的物理环境的一部分、或显示在显示器上的物理环境的相机视图的一部分)(例如，与经由显示生成部件提供的三维环境的视图相对应的视点指的是用户的眼睛或用户的面部，并且用户的手掌面对用户，面向用户佩戴的HMD上的一个或多个相机，或面对用户可以通过其观看真实世界的显示生成部件的透传部分)，其中第一应用程序的用户界面的第一视图包括第一内容(例如，用户界面的全部细节是可见的)。计算机系统(例如，控制用户使用的计算机系统)经由第一显示生成部件(例如，控制用户使用的显示生成部件)，在与超出手掌第一接近度的位置(例如，虚拟对象距与三维环境中的用户的面部/眼睛相对应的位置，或者只是距用户手掌之外的任何位置，超过手臂的长度)相对应的三维环境的第一视图内的第二位置处，显示虚拟对象(例如，作为三维环境的一部分并且未被第一用户激活的虚拟对象)。在经由第一显示生成部件在三维环境的第一视图内的第一位置处显示第一应用程序的用户界面的第一视图以及在第二位置处显示虚拟对象的第一视图时，计算机系统从第二计算机系统(例如，非控制用户使用的计算机系统)接收在三维环境内为第一计算机系统和第二计算机系统建立共存的请求(例如，允许第一计算机系统的用户和第二计算机系统的用户经由第一显示生成部件和第二显示生成部件在三维环境内具有共享体验的请求)。根据在三维环境内建立共存的请求，在三维环境的第一视图内的第一位置处显示第一应用程序的用户界面的第一视图以及在第二位置处显示虚拟对象的第一视图时：根据确定第一位置对应于手掌的至少一部分的位置，该手掌的至少一部分当前面向与经由第一显示生成部件提供的三维环境的第一视图相对应的视点，计算机系统向第二计算机系统提供与虚拟对象相对应的第一显示信息和与第一应用程序的用户界面相对应的第二显示信息，其中：与虚拟对象相对应的第一显示信息使第二显示生成部件能够在经由第二显示生成部件显示的三维环境的第二视图中的位置处显示虚拟对象，该位置对应于经由第一显示生成部件显示的三维环境的第一视图中的第二位置，并且，与第一应用程序的用户界面相对应的第二显示信息使第二显示生成部件能够在经由第二显示生成部件显示的三维环境的第二视图中的位置处显示第一应用程序的指示(例如，指示7216或指示7204)，该位置对应于手掌的至少一部分的位置，不能够由第二显示生成部件显示第一内容。
微手势的一般描述在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势任选地包括离散的小运动手势(这些离散的小运动手势通过将用户的手指相对于用户的手部的其他手指或部分移动来执行)，而任选地，不需要主要移动用户的整个手部或手臂使其远离其自然位置和姿势来在进行用于与虚拟或混合现实环境进行交互的手势之前或期间立即执行操作。
在一些实施方案中，输入手势通过分析由传感器系统(例如，传感器190，图1；图像传感器314，图3)捕获的数据或信号来检测。在一些实施方案中，传感器系统包括一个或多个成像传感器(例如，一个或多个相机，诸如运动RGB相机、红外相机、深度相机等)。例如，该一个或多个成像传感器是计算机系统(例如，图1中的计算机系统101(例如，便携式电子设备7100或HMD))的部件或者向该计算机系统提供数据，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120(例如，用作显示器和触敏表面的触摸屏显示器、立体显示器、具有透传部分的显示器等))。在一些实施方案中，该一个或多个成像传感器在设备的与设备的显示器相反的一侧上包括一个或多个后向相机。在一些实施方案中，由头戴式系统的传感器系统(例如，包括立体显示器的VR头戴式耳机，该立体显示器为用户的左眼提供左图像并为用户的右眼提供右图像)检测输入手势。例如，为头戴式系统的部件的一个或多个相机安装在该头戴式系统的前部和/或下侧上。在一些实施方案中，一个或多个成像传感器位于其中使用头戴式系统的空间中(例如，在房间中的各个位置中围绕头戴式系统排列)，使得成像传感器捕获该头戴式系统和/或该头戴式系统的用户的图像。在一些实施方案中，由平视设备(诸如，平视显示器、具有显示图形的能力的汽车挡风玻璃、具有显示图形的能力的窗户、具有显示图形的能力的透镜)的传感器系统检测输入手势。例如，一个或多个成像传感器附接到汽车的内部表面。在一些实施方案中，传感器系统包括一个或多个深度传感器(例如，传感器阵列)。例如，该一个或多个深度传感器包括一个或多个基于光的(例如，红外)传感器和/或一个或多个基于声音的(例如，超声)传感器。在一些实施方案中，传感器系统包括一个或多个信号发射器，诸如光发射器(例如，红外发射器)和/或声音发射器(例如，超声发射器)。例如，在光(例如，来自具有预先确定图案的红外光发射器阵列的光)被投影到手部(例如，手部7200)上时，由该一个或多个相机捕获在光的照明下的手部的图像，并且所捕获的图像被分析以确定手部的位置和/或构造。使用来自指向手部的图像传感器的信号来确定输入手势，而不是使用触敏表面或其他直接接触机构或基于接近的机构的信号，允许用户自由选择在利用他/她的手部提供输入手势时是执行大幅运动还是保持相对静止，而不经受由特定输入设备或输入区域施加的限制。
在一些实施方案中，微轻击输入是用户的手部的拇指在食指上方(例如，在与拇指相邻的食指的一侧上)的轻击输入。在一些实施方案中，在不需要将拇指从食指的该侧面抬起的情况下检测轻击输入。在一些实施方案中，根据确定拇指的向下移动之后是拇指的向上移动来检测轻击输入，其中拇指与食指的该侧接触小于阈值量的时间。在一些实施方案中，根据确定拇指从抬起位置移动到触压位置并且保持在触压位置至少第一阈值量的时间(例如，轻击时间阈值或长于轻击时间阈值的另一个时间阈值)来检测轻击-保持输入。在一些实施方案中，计算机系统要求手部作为整体在位置中保持基本上静止达至少第一阈值量的时间，以便检测拇指在食指上进行的轻击-保持输入。在一些实施方案中，在不需要手部作为整体保持基本上静止(例如，手部作为整体可以在拇指搁置在食指的该侧上时移动)的情况下检测触摸保持输入。在一些实施方案中，当拇指触压食指的该侧并且手部作为整体在拇指搁置在食指的该侧上时移动时检测轻击-保持-拖动输入。
在一些实施方案中，微轻弹手势是通过拇指跨食指(例如，从食指的手掌侧到背侧)的移动进行的推动或轻弹输入。在一些实施方案中，拇指的伸展移动伴随着远离食指的该侧的向上移动，例如，如在由拇指进行的向上轻弹输入中。在一些实施方案中，在拇指的向前移动和向上移动期间，食指在与拇指的方向相反的方向上移动。在一些实施方案中，通过拇指从伸展位置移动到回缩位置来执行反向轻弹输入。在一些实施方案中，在拇指的向后移动和向下移动期间，食指在与拇指的方向相反的方向上移动。
在一些实施方案中，微轻扫手势是通过拇指沿着食指(例如，沿着与拇指相邻或手掌的该侧上的食指的一侧)的移动进行的轻扫输入。在一些实施方案中，食指任选地处于伸展状态(例如，基本上笔直)或卷曲状态。在一些实施方案中，在轻扫输入手势中拇指的移动期间，食指在伸展状态和卷曲状态之间移动。
在一些实施方案中，各种手指的不同的指骨对应于不同的输入。拇指在各种手指(例如，食指、中指、无名指，以及任选地，小拇指)的各种指骨上方的微轻击输入任选地映射到不同操作。类似地，在一些实施方案中，不同的推动或点击输入可由拇指跨不同手指和/或手指的不同部分执行，以在相应用户界面上下文中触发不同操作。类似地，在一些实施方案中，由拇指沿着不同手指和/或在不同方向上(例如，朝向手指的远侧端部或近侧端部)执行的不同轻扫输入在相应用户界面上下文中触发不同操作。
在一些实施方案中，计算机系统基于拇指的移动类型而将轻击输入、轻弹输入和轻扫输入视为不同类型的输入。在一些实施方案中，计算机系统将具有被拇指轻击、触摸或轻扫的不同手指位置的输入视为给定输入类型(例如，轻击输入类型、轻弹输入类型、轻扫输入类型等)的不同子输入类型(例如，近侧、中间、远侧子类型，或者食指、中指、无名指或小拇指子类型)。在一些实施方案中，通过移动手指(例如，拇指)执行的移动量和/或与手指的移动相关联的其他移动度量(例如，速度、初始速度、结束速度、持续时间、方向、移动模式等)用于定量地影响通过手指输入触发的操作。
在一些实施方案中，计算机系统识别组合输入类型，这些组合输入类型组合由拇指进行的一系列移动，诸如轻击-轻扫输入(例如，拇指在手指上的触压，然后是沿着手指的该侧的轻扫)、轻击-轻弹输入(例如，拇指在手指上方的触压，紧接着是跨手指从手指的手掌侧到背侧的轻弹)、双击输入(例如，在大约相同位置处在手指的该侧上的两次连续轻击)等。
在一些实施方案中，手势输入由食指而不是拇指执行(例如，食指在拇指上执行轻击或轻扫，或者拇指和食指朝向彼此移动以执行捏合手势等)。在一些实施方案中，与不具有通过手腕移动进行的修改输入的手指移动输入相比，手腕移动(例如，手腕在水平方向或竖直方向上的轻弹)紧接在手指移动输入之前执行，紧接在手指移动输入之后(例如，在阈值量的时间内)执行或与手指移动输入同时执行，以在当前用户界面上下文中触发附加操作、不同操作或经修改操作。在一些实施方案中，用面向用户面部的用户手掌执行的手指输入手势被视为与用背对用户面部的用户手掌执行的手指输入手势不同类型的手势。例如，与响应于用背对用户面部的用户手掌执行的轻击手势而执行的操作(例如，相同操作)相比，用面向用户的用户手掌执行的轻击手势执行的操作具有增加(或减少)的隐私保护。
尽管在本公开中提供的示例中，可以使用一种类型的手指输入来触发某种类型的操作，但是在其他实施方案中，其他类型的手指输入任选地用于触发相同类型的操作。
下文参考相对于下面的图8至图11描述的方法8000、9000、10000和11000提供了关于图7A至图7G的附加描述。
图8是根据一些实施方案的与计算机生成的三维环境交互的方法800(例如，包括在与用户手腕的位置相对应的位置处显示应用程序图标，以及响应于指向手腕的输入，在与用户手掌的位置相对应的位置处显示应用程序)的流程图。
方法800涉及(1)在与沿着或围绕用户手腕的位置相对应的三维环境(例如，增强现实环境或虚拟现实环境)的视图中的位置处显示对应于不同应用程序的可选选项的菜单，以及(2)在与连接到手腕的用户手掌的位置相对应的三维环境的视图中的位置处显示与从菜单选择的选项相对应的应用程序的用户界面。手腕的内侧和同一手部的手掌提供方便和可移动的表面，用于接收另一只手的触摸输入和手势输入，并且用于显示激活不同应用程序的可选选项，同时显示所激活的应用程序的用户界面。用户界面的取向和大小以及用户界面的观看距离易于通过用户手部的移动(例如，通过手部的旋转和横向移动和手势输入)来控制。使用手腕的内侧显示用于激活应用程序以及接收选择和/或激活输入的可选选项，以及使用同一只手的手掌显示所激活的应用程序的用户界面和接收触摸输入和直接操纵手势，都是直观有效的，减少执行操作所需输入的数量和范围，从而提供更有效的人机用户界面。
在一些实施方案中，方法8000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120以及图7A至图7G中的显示生成部件7100、7200)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)、控制器、触敏表面、操纵杆、按钮等)。在一些实施方案中，计算机系统是集成设备，该集成设备具有封闭在与显示生成部件相同的外壳中的一个或多个处理器和存储器以及一个或多个输入设备中的至少一些输入设备。在一些实施方案中，计算机系统包括计算部件，该计算部件包括一个或多个处理器以及与显示生成部件分离的存储器以及/或者一个或多个输入设备。在一些实施方案中，显示生成部件以及一个或多个输入设备被集成并封装在同一外壳中。在一些实施方案中，方法8000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控制单元110)执行的指令来管理。方法8000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
计算机系统在与经由显示生成部件(例如，显示生成部件7100)提供的三维环境(例如，虚拟环境、模拟现实环境、增强现实环境、混合现实环境或物理环境(经由透明或半透明显示器)的透传视图)的视图内的相应位置相对应的位置(例如，真实世界中的物理位置)处检测(8002)手腕(例如，图7A中的用户手腕7028)，而不在与手腕的位置相对应的三维环境的视图内的相应位置处显示应用程序的表示。在一些实施方案中，相应位置是当前示出在显示器上的虚拟环境的一部分内的位置。在一些实施方案中，相应位置是通过透明或半透明显示器的透传部分可见的物理环境的一部分内的位置、或者在显示器上示出的物理环境的相机视图的一部分内的位置。在一些实施方案中，在三维环境的当前视图内的相应位置处可见(例如，经由带有真实世界相机视图的HMD，或通过带有透明部分的平视显示器，用户在显示器上可见)的手腕或其表示，不被用于在三维环境中启动或激活应用程序的任何应用程序图标或相应控件覆盖。在一些实施方案中，相应的三维环境(例如，虚拟或模拟现实环境)是纯虚拟的并且包括计算机生成的对象和空间。在一些实施方案中，相应的三维环境包括用户周围的物理环境的相机视图或与用户分离的物理环境的相机视图。在一些实施方案中，三维环境包括用户周围的物理环境的透传视图(例如，如通过透明显示器所见)。在一些实施方案中，用户手部和手腕的虚拟图像显示在三维环境(例如，虚拟或模拟现实环境)中。在一些实施方案中，用户手部和手腕的相机图像显示在相应的三维环境中(例如，作为用户周围的真实世界的相机视图的一部分)。在一些实施方案中，真实世界中的用户手部和手腕的位置映射到三维环境内相对于用户眼睛的估计位置的位置(假设用户正在以正常预期的方式使用计算机系统)。在一些实施方案中，当用户手部和手腕进入与由显示生成部件提供的三维环境的视野相对应的真实世界的区域时，计算机系统使显示生成部件在三维环境的视图内显示用户手部和手腕的实时图像或图形表示。基于真实世界中的用户手部和手腕的当前位置和姿势，确定用户手部和手腕在三维环境的视图内的显示位置。在一些实施方案中，用户手部和手腕是用户通过透明显示器看到的物理环境的一部分。当在与经由显示生成部件提供的三维环境的视图内的相应位置相对应的位置(例如，真实世界中的物理位置)处(8004)检测手腕(例如，图7A中的手腕7028)时(例如，在手腕在与经由显示生成部件提供的三维环境的当前视图内的位置相对应的位置处时，响应于检测手腕的导航状态的变化(例如，响应于检测转动的手腕使手腕的内侧面对用户眼睛))：根据确定手腕(例如，图7A中的手腕7028)的导航状态(例如，位置和/或取向)满足第一标准(例如，用户手部和手腕(例如，由一个或多个相机、运动传感器、手套、加速度传感器等检测到)相对于用户眼睛或用户注视方向(例如，根据计算机系统的正常使用情况(例如，用户将HDM戴在他/她的头上或以通常方式直接在显示器处观看)确定)的当前位置和姿势满足预先确定的标准，该预先确定的标准指示用户将可能正在注视他/她的手部和手腕，并且/或者手腕的内侧面对用户)，计算机系统经由显示生成部件在经由显示生成部件提供的三维环境的视图内的第一区域中，显示(8006)与不同应用程序相对应的多个表示(例如，与图7A中的菜单7026中的不同应用程序相对应的应用程序图标7030)。显示与不同应用程序相对应的多个表示包括，在与手腕(例如，手腕7028)的第一部分相对应的三维环境的视图内的第一位置处显示与第一应用程序相对应的第一表示(例如，第一应用程序图标7030-a)(例如，具有第一表示似乎覆盖或替换手腕第一部分的显示、或者在透传视图中阻挡手腕的第一部分的效果)，并且在与手腕(例如，手腕7028)的第二部分相对应的三维环境的视图内的第二位置处显示与第二应用程序相对应的第二表示(例如，第二应用程序图标7030-b)(例如，具有第二表示似乎覆盖或替换手腕第二部分的显示、或者在透传视图中阻挡手腕的第二部分的效果)。在一些实施方案中，与不同应用程序相对应的多个表示以可围绕用户手腕滚动的传送带或腕带方式、或者在经由显示生成部件提供的三维环境的视图内可见的手腕表示来显示(例如，应用程序图标显示为覆盖通过平视显示器或HMD的透传部分看到的实际手腕、覆盖由HMD提供的实际手腕的相机视图、或者覆盖由HMD提供的实际手腕的虚拟表示)。在一些实施方案中，响应于手指在真实世界中围绕用户的实际手腕提供的轻扫输入(例如，由指向手腕或附接到手腕的触敏表面的相机所检测的)，滚动多个表示(例如，一些表示从与手腕相对应的区域移出并停止显示，而其他表示进入与盖手腕相对应的区域并变得可见)。在一些实施方案中，响应于悬停在用户实际手臂的表面上方或其上的轻扫输入(例如，由另一只手的手指朝向或远离连接到手腕的手轻扫)，多个表示可沿用户手臂的纵向滚动。当在经由显示生成部件(例如，显示生成部件7100)提供的三维环境的视图内的第一区域(例如，第一区域对应于用户手腕(例如，手腕和前臂的内侧)在物理环境中面向用户脸部的位置)中显示与不同应用程序相对应的多个表示(例如，图7A中的菜单7026)时，计算机系统在满足预先确定的选择标准的手腕上的第一位置处检测(8008)第一输入(例如，图7B中的手部7022的点击输入)(例如，第一输入由指向手腕和/或用户的一个或多个相机、或者附接到手腕的触敏表面等在真实世界中在手腕上检测到的)(例如，第一输入是注视输入、手指点击输入、手指按压输入、手指拖动输入等，其满足第一持续时间、强度和/或移动标准，或者上述两个或更多个输入与输入的预定义相对定时要求的组合)。响应于检测到满足预先确定的选择标准的手腕上的第一位置处的第一输入(8010)：根据确定第一位置对应于手腕的第一部分(例如，例如/点击/按下/拖动输入指向在由显示生成部件提供的三维环境的当前视图内的第一位置处显示的第一应用程序图标(例如，即时消息传递应用程序))，以及确定连接到手腕(例如，图7B中的手腕7028)的手掌(例如，图7B中的手部7020的手掌)的至少一部分面向与经由显示生成部件提供的三维环境的视图相对应的视点(例如，视点对应于用户的眼睛或用户的面部，并且用户的手掌面对用户，面向用户佩戴的HMD上的一个或多个相机，或者面对用户可以通过其观看真实世界的显示生成部件的透传部分)(例如，在三维环境的当前视图内，用户手部的手掌或其表示，与用户的手腕或其表示同时可见，并且与覆盖/阻挡/替换手腕或其表示的应用程序图标同时可见)(例如，视点对应于固定三维环境的视图的区域，但视点不一定指物理空间中的任何特定点)。例如，当用户的头部转动时，对应于视图的视点改变；但是当用户在视图中移动他的注视而不转动他的头部时，与视图相对应的视点不改变)，计算机系统使(8012)显示生成部件(例如，显示生成部件7100)在与手掌(例如，图7B(B)中的手部7020的手掌)(例如，手掌或手掌的表示面对用户，手指卷曲或完全伸出，并且第一应用程序的用户界面显示在一个位置处，使得用户从三维环境的当前视图的估计原点看到它覆盖在手掌上)的至少一部分相对应的三维环境的视图内的第三位置处，显示第一应用程序的用户界面(例如，与可选选项7030-a相对应的应用程序的用户界面的第一视图7036)。响应于检测到满足预先确定的选择标准的手腕上的第一位置处的第一输入(8010)：根据确定第一位置对应于手腕的第二部分(例如，注视/点击/按下/拖动输入指向在经由显示生成部件提供的三维环境的当前视图内的第二位置处显示的第二应用程序图标(例如，媒体播放器应用程序))，以及确定连接到手腕的手掌的至少一部分面向与经由显示生成部件提供的三维环境的视图相对应的视点，计算机系统使(8014)显示生成部件在与手掌(例如，手部7020的手掌)的至少一部分相对应的三维环境的视图内的第三位置处，显示第二应用程序的用户界面(例如，与菜单7026中的不同应用程序图标7030-b或7030-c相对应的应用程序的用户界面的第一视图)。例如，这在图7A至图7B中示出。
[应用程序围绕/沿手腕滚动]在一些实施方案中，当在经由显示生成部件提供的三维环境的视图内的第一区域中显示与不同应用程序相对应的多个表示时，计算机系统检测第二输入(例如，由图7A(B)中的手部7022提供的轻扫输入)，包括检测手腕(例如，手腕7028)的至少一部分上或附近的移动(例如，在真实世界中，通过指向手腕和/或用户的一个或多个相机，或连接到手腕的触敏表面等，在手腕的至少一部分(可以延伸到连接到手腕的手臂的一部分)上或其附近检测第二输入)，该手腕的至少一部分面向与三维环境的视图相对应的视点(例如，沿着手腕周围的横向或沿着连接到手腕的手臂内侧的纵向移动)。在一些实施方案中，第二输入是手指移动，诸如手指滚动或手指拖动。在一些实施方案中，第二输入是眼睛注视移动。在一些实施方案中，第二输入的移动的距离/量值大于预定阈值，并且/或者第二输入的移动的速度满足预先确定的标准，例如，在预先确定的速度范围内(不太慢或太快)，以便触发三维环境的视图中的响应。响应于检测到第二输入(例如，根据确定第二输入在与三维环境的视图内的第一区域的至少一部分相对应的手腕部分上或其附近移动)，计算机系统根据第二输入的移动经由显示生成部件在第一区域中显示多个表示(例如，与不同应用程序(例如，图7A(B)中的菜单7026中的可选选选7030的滚动)相对应的表示)的滚动。在一些实施方案中，不同应用程序的多个表示的滚动包括在与手指移动(滚动或拖动)或眼睛注视移动相同的方向上移动的一个或多个表示。在一些实施方案中，应用程序的表示的移动的量值(例如，包括速度和距离)对应于在手腕上所检测到的手指移动的量值或眼睛注视移动的量值。在一些实施方案中，不再显示先前显示的一个应用程序的表示的至少一部分，并且由于第二输入，先前未显示的另一应用程序的表示的至少一部分被显示。响应于检测到第二输入，根据第二输入的移动，显示与第一区域中的不同应用程序相对应的多个表示的滚动，包括在朝向视点的手腕的至少一部分上或其附近的移动，提供附加控制选项，而不使UI与附加显示控件(例如，用于滚动或浏览第一区域中的不同应用程序的多个表示的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
[将应用程序从手掌移动到其他位置]在一些实施方案中，当在与手掌的至少一部分相对应的三维环境的视图内的第三位置处显示第一应用程序和第二应用程序(例如，响应于第一输入显示的应用程序)中的相应应用程序的用户界面时(例如，显示与可选选项7030-a相对应的应用程序的用户界面的第一视图7036，如图7B(B)和图7F所描述，或显示图7F中的另一应用程序的用户界面的第一视图7236)，计算机系统检测满足第二标准的第三输入(例如，关于图7C(A)描述的输入)。在一些实施方案中，第三位置是与手掌的位置相对应的环境的增强现实视图中的位置，并且当手掌或用户头部在物理环境中移动时，更新显示器上的第三位置以遵循手掌在显示器上的移动，使得相应的应用程序的用户界面似乎在环境的增强现实视图中固定到手掌。在一些实施方案中，第三输入由保持用户界面(例如，在不同位置处移动手掌并且释放用户界面)的手部提供，或者第三输入由不连接到该手掌的手部提供(例如，在呈现用户界面的对象的一侧上的拖放输入或点击输入)。在一些实施方案中，第二标准包括对与从私人模式切换到半私人模式以显示应用程序、或从显示在手掌中切换到显示在桌面上相对应的标准。在一些实施方案中，第二标准区分将用户界面或应用程序作为一个整体移动的输入与指向用户界面以触发应用程序内的操作的输入。
响应于检测到第三输入：计算机系统停止在与手掌的至少一部分相对应的三维环境的视图内的第三位置处显示相应的应用程序的用户界面(例如，在环境的增强现实视图中，相应的应用程序的用户界面离开手掌，并且显示在另一个位置处)(例如，如图7C(B)或图7G所示，其中用户界面的第一视图7036和用户界面的第一视图7236不再显示在与控制用户的手掌/手部相对应的位置处)；并且计算机系统在与第三位置不同的三维环境的视图内的第四位置处，显示相应的应用程序的用户界面(例如，图7C(B)中的应用程序的用户界面的第二视图7036’，图7G中的另一应用程序的用户界面的第二视图7236”)。在一些实施方案中，第四位置是与物理环境的一部分相对应的环境的增强现实视图中的位置(例如，用于支撑AR环境中的相应用户界面的检测平面或表面(例如，对象7014的顶表面))，并且当用户的头部和物理环境的部分在物理环境中相对于彼此移动时，更新显示器上的第四位置以遵循物理环境的部分在显示器上的移动，使得相应的应用程序的用户界面似乎在增强现实环境中固定到物理环境的部分。在一些实施方案中，第四位置对应于三维环境中的预先确定的平面(例如，第四位置对应于物理环境中桌面或其他预先确定的竖直或水平物理表面，或虚拟平面(例如，增强现实环境中的虚拟桌面或虚拟显示屏)的位置)。在一些实施方案中，第四位置是浮动在三维环境中未占用的空间中的位置。
在一些实施方案中，与用户手掌相对应的三维环境的部分是受保护的和私人的，并且在共享体验中不示出给观看相同三维环境的其他用户，而与预先确定的平面相对应的三维环境的部分部分地受保护，并且在共享体验中对观看相同三维环境的其他用户部分可见(例如，仅某些类型的内容可见，而不是所有内容都可见)。在一些实施方案中，第一应用程序的用户界面在第三位置处被显示在三维对象的第一面(例如，3D对象的前表面或顶表面)上，该第三位置对应于面向与三维环境的视图相对应的视点的手掌的至少一部分。计算机系统在与第二面(例如，3D对象的背面或侧面)或三维对象的角相对应的位置(例如，真实世界中的物理位置)处检测第三输入(例如，第三输入是手指点击输入、捏合输入和拖动输入等)；并且响应于检测到该第三输入，根据确定第三输入满足预先确定的第二标准(例如，第三输入不指向三维对象的第一面(例如，指向第一面的输入被提供给应用程序并触发应用程序内的功能)，而是指向三维对象的角或其他面)，计算机系统将三维对象从第三位置移动到预先确定的平面，使三维对象的第一面朝向与三维环境的视图相对应的视点。在一些实施方案中，第二标准包括预先确定的手势标准：例如，第三输入是指向三维对象的手指点击输入(例如，满足预先确定的接触压力标准以及/或者预先确定的接触时间周期标准)、手指轻弹输入、手指轻扫输入、捏合和拖动输入(例如，满足预先确定的距离、方向和/或滑动速度)。在一些实施方案中，第二标准不同于预先确定的选择标准，例如，第二标准要求接触强度低于预先确定的强度阈值，而选择标准要求高于预先确定的强度阈值的更大接触强度，并且/或者第二标准要求接触时间短于预先确定的时间阈值，而选择标准要求更长的接触时间周期。
在一些实施方案中，计算机系统根据预先确定的平面的大小(例如，桌面的大小)自动调整三维对象(例如，扩大)。在一些实施方案中，计算机系统显示动画过渡，示出相应的应用程序的用户界面从三维环境的视图中的第三位置(例如，从用户手掌)移动到第四位置(例如，到预先确定的平面上)。在一些实施方案中，基于用户输入的一个或多个特性和三维环境的一个或多个特性，选择相应的应用程序的用户界面的目标位置(例如，与三维环境中的预先确定的平面的位置相对应的位置)。在一些实施方案中，目标位置对应于由相机和/或其他传感器(例如，运动传感器)检测/识别的物理表面，该物理表面满足例如，在预定义范围内的预先确定的标准，并且包括大于预定义阈值(例如，适用于显示应用程序的用户界面以及/或者用户与应用程序的用户界面交互)的基本平坦的表面(例如，竖直的、水平的或倾斜的)。在一些实施方案中，目标位置是显示在三维环境的视图内的虚拟对象或虚拟增强物理对象(例如，在相机视图上显示的虚拟表面或者覆盖或替换物理对象的显示的透传视图)。在一些实施方案中，目标位置由手部移动或注视移动指定，该手部移动或注视移动遵循或者在第三输入之前，例如，指向与三维环境的视图内的目标位置相对应的物理表面的手部移动或注视移动。在一些实施方案中，示能表示显示在第一应用程序的用户界面上，当被输入激活时，该示能表示将第一应用程序的用户界面发送到附近表面。在一些实施方案中，每当在三维环境中检测到适用于显示用户界面的表面时，自动示出示能表示。
响应于检测满足第二标准的第三输入，停止在第三位置处显示相应的应用程序的用户界面以及在第四位置处显示相应的应用程序的用户界面，减少在第四位置处显示相应的应用程序的用户界面所需的输入数量(例如，不要求附加输入来选择相应的应用程序并且/或者停止在第三位置处显示相应的应用程序的用户界面)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测第三输入包括检测第三输入的第一部分(例如，指向三维对象的角的双指捏合手势和拖动手势，应用程序的用户界面在其第一面上)以及在第三输入的第一部分之后检测第三输入的第二部分(例如，指向用户界面对象的第二面的单指点击输入，应用程序的用户界面在其第一面上)(例如，第三输入的第一部分以及该输入的第二部分不必是单个连续输入或由同一手指或手部提供；并且第三输入的第二部分任选地发生在完成第三输入的第一部分之后的某个时间(例如，在预设时间窗口内))。在一些实施方案中，响应于检测第三输入的第一部分(例如，另一只手的捏合输入和拉动输入，包括手掌位置处的捏合手势，然后是拖动手势，将呈现应用程序的用户界面的3D对象放置于远离手掌的保持位置；或手掌转动远离用户并且任选地将3D对象放置在保持位置)，计算机系统将相应的应用程序的用户界面从三维环境的视图内的第三位置(例如，从用户的手掌)移动到三维环境的视图内的保持位置(例如，悬挂在三维环境中的空间中)。响应于检测第三输入的第二部分(例如，当3D对象处于保持位置时，(例如，用同一只手或另一只手)点击或推动3D对象)，计算机系统将在保持位置的相应的应用程序的用户界面(例如，悬挂在三维环境中的空间中)移动到三维环境视图内的目标位置(例如，在三维环境中所检测的平面)。在一些实施方案中，当存在用于显示应用程序的用户界面的多个合适的表面/平面(例如，附近的桌面、白板、墙壁等)时，计算机系统基于第三输入的第二部分的一个或多个特性(例如，速度、方向、持续时间、移动、距离等)来选择表面/平面。响应于检测到满足第二标准的第三输入的第一部分，将相应的应用程序的用户界面从第三位置移动到保持位置，以及响应于检测到满足第二标准的第三输入的第二部分将在保持位置处的相应的应用程序的相应用户界面的用户界面移动到三维环境的视图内的目标位置，向用户提供改进的视觉反馈(例如，关于用户正在与哪个应用程序交互，以及计算机系统是否正在检测第三输入的第一部分或第二部分)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境的视图内的第四位置处显示相应的应用程序的用户界面包括：根据确定第四位置是第一平面(例如，因为第三输入满足第一平面选择标准，第一平面是桌面)，在三维环境的视图内的第四位置处显示相应的应用程序的用户界面，其具有与当显示在视图内的第三位置处时的相应的应用程序的用户界面大小不同的第一大小(例如，显示在第一目标位置(例如，附近的桌面)处的第一平面上的用户界面大于显示在用户手掌上的用户界面，例如，用户界面的大小被改变成与第一平面的大小成比例)。在一些实施方案中，相应的应用程序的用户界面根据第一平面的取向来取向，例如，用户界面平放或相对于第一平面具有固定角度(例如，垂直或120度角)。在一些实施方案中，在第一平面上显示的用户界面的其他视觉特性(例如，颜色、不透明度、亮度、字体大小、线性厚度等)也从当用户界面显示在用户手掌上时所示出的那些地方改变。
在一些实施方案中，与用户手掌上示出的版本相比，相应的应用程序的用户界面的版本(例如，不同版本)显示在第一平面上。例如，在一些实施方案中，显示在附近桌面上的用户界面的版本包括比显示在手掌上的用户界面的版本更多的内容(例如，更多文本/图像、更多细节)，因为更多显示区域可用。在一些实施方案中，与显示在手掌上的用户界面的版本相比，显示在附近桌面上的用户界面的版本包括较少内容或修改内容，因为私人信息被拒绝或隐藏。在一些实施方案中，显示在第四位置处的用户界面的版本具有与显示在手掌上的用户界面的版本相同的内容(例如，当用户界面放置在第四个位置处时，在手掌上示出的私人内容将向共享相同三维环境的其他用户公开)。
在一些实施方案中，显示器上的第四位置对应于空的空间或墙壁，并且根据确定第四位置对应于三维环境中的空的空间或墙壁，计算机系统在第四位置处显示相应的应用程序的用户界面，与先前在手掌上所示的内容相比，不编辑来自相应的应用程序的用户界面的任何内容。在一些实施方案中，将用户界面放置在空的空间或墙壁中对应于允许共享三维环境的其他用户观看没有编辑的用户界面的请求；并且将用户界面放置在附近的桌面上对应于保持用户界面私人或半私人的请求(例如，与先前在手掌处所示的内容相比，编辑来自相应的应用程序的用户界面的至少一些内容)。在一些实施方案中，由计算机系统根据第三输入例如，速度、持续时间、距离等)和/或方向的一组预定义特征(的量值和定时来选择相应的应用程序的用户界面的目标位置(例如，用户界面将着陆的空的空间的哪个表面或部分)(例如，如果手势较慢和/或更短，则为用户界面选择更靠近用户的位置，并且如果手势较快和/或更长，则为用户界面选择更远离用户的位置)。
根据确定第四位置是第一平面，以与当在第三位置处显示时用户界面的大小不同的第一大小在第四位置处显示相应的应用程序的用户界面，当满足一组条件而无需进一步用户输入(例如，进一步用户输入以指定用于相应的应用程序的用户界面的正确大小)时，以不同大小显示相应的应用程序的用户界面。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在三维环境的视图内的第四位置处显示相应的应用程序的用户界面包括：根据确定第四位置是不同于第一平面的第二平面(例如，第二平面是墙壁或白板，或冰箱的正面等，因为第三输入满足与第一平面选择标准不同的第二平面选择标准)，在三维环境的视图内的第四位置处显示相应的应用程序的用户界面，第二大小不同于第一大小，并且当显示在视图内的第三位置处时，相应的应用程序的用户界面(例如，显示在第二目标位置(例如，墙壁、白板或冰箱的正面等)处的第二平面上的用户界面)的大小大于显示在用户手掌或桌面上的用户界面。在一些实施方案中，相应的应用程序的用户界面根据第二平面的取向来取向，例如，用户界面平放或相对于第二平面具有固定角度(例如，垂直或120度角)。在一些实施方案中，在第二平面上显示的用户界面的其他视觉特性(例如，颜色、不透明度、亮度、字体大小、线性厚度等)也从当用户界面显示在用户手掌或第一平面上时所示出的那些地方改变。
在一些实施方案中，与用户手掌和第一平面上示出的版本相比，相应的应用程序的用户界面的版本(例如，不同版本)显示在第二平面上。例如，在一些实施方案中，显示在墙壁上的用户界面的版本包括比显示在手掌或附近桌面上的用户界面的版本更多的内容(例如，更多文本/图像、更多细节)，因为更多显示区域可用。在一些实施方案中，与显示在手掌和第一平面上的用户界面的版本相比，显示在墙壁上的用户界面的版本包括更少内容或修改内容，因为私人信息被编辑或隐藏，或者因为应用程序以不同的显示模式(诸如，不显示详细信息的呈现模式)操作。在一些实施方案中，第一平面选择标准和第二平面选择标准对于第三输入具有不同的要求，例如，基于手势类型(例如，用于显示在第一平面上的点击以及用于显示在第二平面上的投掷；用于显示在第一平面上的手部移动以及用于显示在第二平面上的手臂移动等)和/或移动特性(例如，速度、位置、距离、强度等)。
根据确定第四位置是不同于第一平面的第二平面，在第四位置处显示具有第二大小(该第二大小不同于第一大小以及当显示在第三位置处时相应的应用程序的用户界面的大小)的相应的应用程序的用户界面，当满足一组条件而无需进一步的用户输入(例如，进一步的用户输入，以指定相应的应用程序的用户界面的第二大小(不同于第一大小))时，以第二大小显示相应的应用程序的用户界面。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在显示第一应用程序和第二应用程序的相应的应用程序的用户界面时，计算机系统检测第一捏合拖动手势(例如，检测捏合拖动手势包括检测拇指与食指或同一只手的任何其他手指接触，然后是手部的移动，同时由手部保持手指捏合手势)(例如，在与三维环境中的相应的应用程序的用户界面的角相对应(例如，在阈值距离处或在阈值距离内)的物理环境的位置处检测到捏合拖动手势)。响应于检测到第一捏合拖动手势：根据确定第一捏合拖动手势满足第三标准(例如，调整大小标准)，其中第三标准包括第一标准，该第一标准要求第一捏合拖动手势以指向相应的应用程序的用户界面(例如，显示在三维环境的视图内的第三位置(例如，与手掌的至少一部分相对应的位置)处)的第一边界部分(例如，角或边缘)的捏合拖动手势开始，计算机系统根据手部在第一捏合拖动手势中的移动调整相应的应用程序的用户界面(例如，显示在第三位置处)大小。在一些实施方案中，检测第一捏合拖动手势包括在第三位置处检测捏合拖动手势，该第三位置位于手掌或手部的内侧上，或在支撑相应的应用程序的用户界面的手部的边界附近，并且第三位置对应于呈现用户界面的3D对象的角或边缘(例如，调整大小手柄)的位置。在一些实施方案中，在保持捏合手势的同时(例如，如与停止投掷手势中的同一只手的拇指和其他手指之间的接触相反)，提供捏合手势的手部在手掌或支撑相应的应用程序的用户界面的手部的内侧上的方向上移动(例如，如与朝向或远离相反)。根据满足第三标准的第一捏合手势中的手部的移动来调整相应的应用程序的用户界面大小，减少了调整相应的应用程序的用户界面大小所需的输入数量(例如，用户不需要执行附加输入来选择允许调整相应的应用程序的用户界面大小的示能表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在相应的应用程序的用户界面显示在与手掌(其连接到手腕)的至少一部分相对应的三维环境的视图内的第三位置处时，第三标准进一步包括第二标准，该第二标准要求手部在相对于手掌的方向上移动(例如，在相对于手掌平面的x、y或z方向上平行于手掌并且/或者远离手掌中心)，同时手部保持捏合手势，以满足第三标准。要求手部在相对于手掌的方向上移动同时手部保持捏合手势以满足第三标准，减少了调整相应的应用程序的用户界面大小所需的输入数量(例如，用户不需要执行附加输入来选择允许调整相应的应用程序的用户界面大小的示能表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在相应的应用程序的用户界面显示在三维环境的视图内的第四位置处时，该三维环境对应于物理环境的一部分而不是手掌的至少一部分(例如，在用户界面显示在桌面上、漂浮在空的空间中或墙壁上时)，第三标准进一步包括第二标准，该第二标准要求与第一捏合拖动手势同时检测指向与相应的应用程序的用户界面的第一边界部分(例如，角或边缘)相对的第二边界部分的第二捏合拖动手势，以便满足第三标准。例如，在一些实施方案中，在相应的应用程序的用户界面显示在远离手掌的位置处时，第一捏合拖动手势和第二捏合拖动手势由用户的两只手提供，并且在三维环境中，两个捏合拖动手势将用户界面的两个相对的边缘或角拖离彼此以扩展用户界面，或拉向彼此以缩小用户界面。为了满足第三标准进一步要求与第一捏合拖动手势同时检测指向与相应的应用程序的用户界面的第一边界部分相对的第二边界部分的第二捏合拖动手势，减少了调整相应的应用程序的用户界面大小所需的输入数量(例如，用户不需要执行附加输入来选择允许调整相应的应用程序的用户界面大小的示能表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境的视图内的第三位置(例如，与手掌的至少一部分相对应的位置)处显示的相应的应用程序的用户界面的第一边界部分包括与相应的应用程序相对应的标识符对象、并且与相应的应用程序相对应的标识符对象显示在三维环境的视图中的位置处，该位置至少部分地位于与手掌相对应的三维环境的视图中的位置之外(例如，应用程序图标在相应的应用程序的用户界面和支撑相应的应用程序的用户界面的手部的上方突出，使得应用程序图标可以被不与支撑相应的应用程序的用户界面的手部接触的捏合手势抓住)。在一些实施方案中，指向相应的应用程序的标识符的捏合拖动手势不调节相应的应用程序的用户界面大小，而是在三维环境的视图内重新定位用户界面(例如，旋转或横向移动用户界面)。在用户界面的第一边界部分中包括与相应的应用程序相对应的标识符对象，该标识符对象显示在三维环境的视图中与手掌相对应的位置至少部分外部的位置处，减少了调整相应的应用程序的用户界面大小所需的输入数量(例如，用户不需要执行附加输入来选择允许调整相应的应用程序的用户界面大小的示能表示，并且通过在与手掌相对应的位置至少部分外部的位置处显示标识符对象，将计算机系统无法正确检测到的意外输入或指向用户界面的用户输入的数量降至最低)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境的视图中的第三位置处显示时，第一应用程序的用户界面具有第一大小，并且当在三维环境的视图中的第三位置处显示时，第二应用程序的用户界面具有与第一大小不同的第二大小。例如，第一应用程序是地图应用程序，并且当地图应用程序显示在用户手掌上时，用户界面的大小是由地图应用程序设置的第一预先确定的大小；并且第二应用程序是即时消息传递应用程序，并且当即时消息传递应用程序显示在用户手掌上时，用户界面的大小是由即时消息传递应用程序设置的第二预先确定的大小。这与不同应用程序的用户界面以相同大小显示在具有固定小屏幕大小的手持式设备上的情况不同。这也与应用程序窗口在大的固定显示大小上可能具有不同大小的情况不同。在应用程序的用户界面显示在与用户手掌的位置相对应的显示器上的位置处的情况下，可以由应用程序设置的用户界面的大小受到手掌大小的约束，但是同时不是完全没有变化的(例如，大小的范围是有可能的并且可以在手掌大小的预设百分比内变化)。在一些实施方案中，当显示在与手掌位置相对应的三维环境的视图中的第三位置处时，同一应用程序任选地具有第一大小和第二大小，并且基于手部的大小、所显示的应用程序的特定用户界面(例如，同一应用程序中的不同用户界面可以具有不同的默认大小)以及/或者手部的姿势(例如，手指伸出或蜷缩)等来选择应用程序的用户界面的显示大小。在第三位置处以第一大小显示第一应用程序，以及在第三位置处以不同于第一大小的第二大小显示第二应用程序，为用户提供改进的视觉反馈(例如，关于应用程序显示在哪个位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在第一位置处检测满足预先确定的选择标准的第一输入：根据确定第一位置对应于手腕的第一部分(以及显示与第一应用程序相对应的第一表示的三维环境的视图内的第一位置)(并且任选地，确定连接到手腕的手掌的至少一部分面向与三维环境的视图相对应的视点)，计算机系统改变与第一应用程序相对应的第一表示的视觉外观(例如，响应于输入，第一应用程序的应用程序图标被放大并向与三维环境的视图相对应的视点移动(例如，朝向用户面部移动))，而与第二应用程序相对应的第二表示的视觉外观保持不变)；并且根据确定第一位置对应于手腕的第二部分(以及显示与第二应用程序相对应的第二表示的三维环境的视图内的第二位置)(并且任选地，确定连接到手腕的手掌的至少一部分面向与三维环境的视图相对应的视点)，计算机系统改变与第二应用程序相对应的第二表示的视觉外观(例如，响应于输入，第二应用程序的应用程序图标被放大并向与三维环境的视图相对应的视点移动(例如，朝向用户面部移动))，而与第一应用程序相对应的第一表示的视觉外观保持不变)。根据确定第一位置对应于手腕的第一部分改变与第一应用程序相对应的第一表示的视觉外观，以及根据确定第一位置对应于手腕的第二部分改变与第二应用程序相对应的第二表示的视觉外观，向用户提供改进的视觉反馈(例如，关于计算机系统在哪个位置处检测到第一次输入，以及用户正在与哪个表示进行交互的视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与手掌的至少一部分相对应的三维环境的视图内的相应位置处显示第一应用程序和第二应用的相应的应用程序的用户界面时(例如，在响应于在与手腕的第一部分相对应的第一位置处检测输入而显示用户界面之后)，计算机系统检测手掌相对于与三维环境的视图相对应的视点的移动(例如，用户相对于她的头部移动或摇动手部/手臂/手腕，或相对于她的手掌移动她佩戴HMD的头部，或相对于计算机系统的相机和/或运动传感器移动手掌等)。响应于检测到手掌相对于与三维环境的视图相对应的视点的移动：根据确定手掌的移动包括手掌相对于与三维环境的视图相对应的视点的旋转(例如，取向的变化(例如，围绕朝向与三维环境相对应的视点的轴线旋转，或者朝向或远离与三维环境相对应的视点旋转))，计算机系统保持相应的应用程序的用户界面相对于与三维环境的视图相对应的视点的取向，而不考虑手掌相对于与三维环境的视图相对应的视点的旋转(例如，手掌上相应的用户界面的取向锁定到用户头部或注视的取向，并且当手掌相对于用户头部或注视旋转时，相对于手掌的取向改变)。在一些实施方案中，用户界面具有相对于用户头部/注视的直立肖像取向，同时用户直立站立，他的/她的手掌保持相对于用户头部/注视的第一取向；并且当用户侧卧时，计算机系统保持用户界面相对于用户头部/注视的直立肖像取向，而不考虑手掌相对于用户头部/注视的取向。
在一些实施方案中，用户界面具有相对于用户头部/注视的直立肖像取向，同时用户直立站立，他的/她的手掌保持相对于用户头部/注视的第一取向；并且当用户远离或朝向用户头部/面部旋转他的/她的手掌时，计算机系统保持用户界面相对于用户头部/注视的直立肖像取向。在一些实施方案中，响应于检测到手掌相对于与三维环境的视图相对应的视点的移动：根据确定手掌的移动包括手掌相对于与三维环境的视图相对应的视点的横向移动，计算机系统根据手掌相对于与三维环境的视图相对应的视点的横向移动，在三维环境的视图内横向移动相应的应用程序的用户界面。例如，当用户手掌相对于用户头部横向移动时，当用户手掌的表示在三维环境的视图中移动时，用户界面似乎保持在用户手掌上。
保持相应的应用程序的用户界面相对于与三维环境的视图相对应的视点的取向，而不考虑用户手掌相对于视点的旋转，并且根据确定用户手掌的移动包括手掌相对于视点的旋转，减少了在所期望的位置以所期望的方向显示相应的应用程序的用户界面所需的输入数量(例如，如果用户相对于视点旋转其手掌，则用户无需调整相应的应用程序的用户界面的取向)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与手掌的至少一部分相对应的三维环境的视图内的相应位置处显示第一应用程序和第二应用的相应的应用程序的用户界面时(例如，在响应于在与手腕的第一部分相对应的第一位置处检测输入而显示用户界面之后)，计算机系统检测手掌相对于与三维环境的视图相对应的相应视点的移动(例如，用户相对于她的头部移动或摇动手部/手臂/手腕，或相对于她的手掌移动她佩戴HMD的头部，或移动由计算机系统的相机和/或运动传感器所检测到的手掌等)。响应于检测手掌相对于相应视点的移动，计算机系统根据手掌的移动更新相应的应用程序的用户界面在三维环境的视图中的位置或取向(例如，或两者)(例如，手掌相对于物理环境和/或相对于用户头部/面部的旋转和/或横向移动)(例如，使得相应的应用程序的用户界面在三维环境的视图中具有相对于手掌的固定位置和/或取向)。在一些实施方案中，当用户手掌不相对于物理环境移动，并且用户头部或注视相对于用户手掌和物理环境移动时(例如，手掌相对于三维环境的视点移动)，在三维环境的视图中更新用户界面的位置和取向，使得用户界面的位置和取向似乎相对于三维环境的视图中的手掌表示是固定的(同时三维环境的视图根据用户头部的移动或注视相对于物理环境的移动而更新)。根据用户手掌相对于相应视点的移动来更新相应的应用程序的用户界面的位置或取向，减少了在所期望的位置以所期望的方向显示相应的应用程序的用户界面所需的输入数量(例如，用户不需要执行附加输入来允许更新相应的应用程序的用户界面的取向)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示第一应用程序和第二应用程序中的相应的应用程序的用户界面(该相应的应用程序显示在与手掌的至少一部分相对应的三维环境的视图内的第三位置处)(例如，响应于手腕上第一位置处的第一输入满足预先确定的选择标准)包括，根据在三维环境的视图中可视地表示的手掌尺寸，选择要在与用户手掌的至少一部分相对应的三维环境的视图内的第三位置处显示的第一应用程序和第二应用程序中的相应的应用程序的用户界面的大小(例如，通过处理由相机获得的图像数据或其他类型的传感器数据来确定手掌的物理尺寸；例如，用户界面在更大的手掌上显示得更大(例如，具有更大的缩放级别或字体大小)，并且/或者显示在三维环境的视图中似乎更大的手掌上(例如，手掌更靠近用户面部或计算机系统的一个或多个相机)。根据在三维环境的视图中可视地表示的用户手掌的尺寸，选择要显示的第一应用程序和第二应用程序中的相应的应用程序的用户界面的大小，减少了以适当大小显示第一应用程序和第二应用程序中的相应的应用程序的用户界面所需的输入数量(例如，用户不需要执行附加输入来调整第一应用程序和第二应用程序中的相应的应用程序的用户界面的大小，以便舒适的观看)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统根据连接到手掌的一个或多个手指的移动，改变显示在与手掌的至少一部分相对应的三维环境的视图内的第三位置处的第一应用程序的用户界面的大小(例如，响应于手腕上第一位置处的第一输入满足预先确定的选择标准)(例如，一个或多个手指相对于手掌的移动，诸如蜷缩或伸出连接到手掌的手指，改变手掌上显示的用户界面的大小)。在一些实施方案中，当手指滚动时，第一应用程序的用户界面收缩；并且当手指伸直时，用户界面恢复到其原始大小。根据连接到用户手掌的一个或多个手指的移动改变第一应用程序的用户界面的大小，减少了改变第一应用程序的用户界面大小的输入数量(例如，用户不需要选择用于改变第一应用程序的用户界面大小的示能表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与手掌的至少一部分相对应的三维环境的视图内的第三位置处显示第一应用程序的用户界面时，计算机系统通过与三维环境的视图内的第三位置相对应的手掌部分上未与手掌连接的手指(例如，手掌和手指是两只不同的手的部分)来检测第四输入(例如，与视图中的第三位置处的用户界面相对应的手掌部分上的手指点击/捏合/按下)。响应于检测到未连接到手掌的手指的第四输入：根据确定未连接到手掌的手指的第四输入满足预先确定的第四标准(例如，第四标准与预先确定的手势类型相关联，例如，手指点击/捏合/拖动、接触压力、时间周期和/或移动距离等)，计算机系统在第一应用程序的用户界面中执行第一操作。例如，第一操作包括选择/激活在用户界面上显示的示能表示。在一些实施方案中，第一操作包括根据手掌上所检测到的捏合拖动手势移动用户界面上显示的对象或用户界面的显示位置，其中移动的方向、速度和/或量值是根据手势移动的方向、速度和/或量值。在一些实施方案中，第一操作包括根据捏合和旋转手势来旋转用户界面的视觉表示。在一些实施方案中，第一操作包括响应于在与用户界面的角相对应的手掌部分上所检测到的捏合拖动手势放大/缩小用户界面的视觉表示，其中放大/缩小过程的速度、方向和/或量值与拖动手势的对应参数成正比，并且捏合角可能示出视觉效果(例如，发光、折叠、放大角等))。在一些实施方案中，当第二手部的手指与手掌接触时执行第一操作。在一些实施方案中，当第二手部的手指停止与手掌接触(例如，抬起)时执行第一操作。根据确定不与手掌连接的手指的第四输入在用户手掌的一部分上并且满足第四标准，在第一应用程序的用户界面中执行第一操作，提供附加的控制选项，而不会使UI与附加显示控件(例如，用于在第一应用程序的用户界面中执行第一操作的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图8中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法9000、10000和11000)所述的其他过程的细节同样以类似的方式适用于上文相对于图8所述的方法8000。例如，上文参考方法8000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法9000、10000和11000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图9是根据一些实施方案的与计算机生成的三维环境交互的方法9000(例如，包括将应用程序用户界面从与用户手掌的位置相对应的第一显示位置移动到与物理环境中另一表面相对应的第二显示位置，并且连同移动到第二显示位置，相对于三维环境调整应用程序用户界面的大小)的流程图。
本文所公开的方法9000涉及将应用程序的用户界面的显示从与用户手掌的位置相对应的三维环境的视图中的位置转移到物理环境中与除手掌之外的表面的位置相对应的另一位置。当用户界面的位置从与手掌相对应的位置改变到与除手掌之外的表面相对应的位置时，自动调整与用户界面相关联的大小和任选的取向、位置和/或取向锁定、隐私模式、内容和/或交互模型等。自动调整与用户界面相关联的大小和任选的取向、位置和/或取向锁定、隐私模式、内容和/或交互模型，减少了在三维环境中执行操作和/或实现期望的结果所需的输入数量和范围，并且由此提供更有效的人机界面。
在一些实施方案中，方法9000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120以及图7A至图7G中的显示生成部件7100、7200)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)、控制器、触敏表面、操纵杆、按钮等)。在一些实施方案中，计算机系统是集成设备，该集成设备具有封闭在与显示生成部件相同的外壳中的一个或多个处理器和存储器以及一个或多个输入设备中的至少一些输入设备。在一些实施方案中，计算机系统包括计算部件，该计算部件包括一个或多个处理器以及与显示生成部件分离的存储器以及/或者一个或多个输入设备。在一些实施方案中，显示生成部件以及一个或多个输入设备被集成并封装在同一外壳中。在一些实施方案中，方法9000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法9000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法9000中，计算机系统经由显示生成部件(例如，图7B(B)中的显示生成部件7100或图7F中的显示生成部件7200)，在与手掌(例如，图7B(B)中的手部7020的手掌，或图7F中的手部7214的手掌)的至少一部分的位置相对应的三维环境的视图内的第一位置处，显示(9002)第一应用程序的用户界面的第一视图(例如，图7B(B)中的第一应用程序的用户界面的第一视图7036，或图7F中的第二应用程序的用户界面的第一视图7236)(例如，2D用户界面或3D对象)(例如，在三维环境视图中，用户界面的第一视图似乎覆盖或替换手掌的至少一部分)，该手掌的至少一部分当前面对与经由显示生成部件提供的三维环境(例如，虚拟环境、模拟现实环境、增强现实环境、物理环境的透传视图等)的视图相对应的视点(例如，手掌面对用户，手指卷曲或完全伸出，并且用户界面的表面与用户手掌的表面平行)。在一些实施方案中，三维环境的视图是例如当前示出在显示器上的虚拟环境的一部分、通过透明或半透明显示器的透传部分可见的物理环境的一部分、或显示器上所示的物理环境的相机视图的一部分。在一些实施方案中，与经由显示生成部件提供的三维环境的视图相对应的视点是指用户的眼睛或用户的面部，并且用户的手掌面对用户，面向用户佩戴的HMD上的一个或多个相机，或者面对用户可以通过其观看真实世界的显示生成部件的透传部分。第一应用程序的用户界面的第一视图显示为具有第一大小(例如，与用户手部/手掌的大小相当的大小)(例如，第一大小是用户界面的第一视图的固有大小，并且用作基于用户界面的第一视图(例如，第一位置)与用户观看三维环境的眼睛的估计位置之间的距离来确定其感知大小的基础)。当在与手掌的至少一部分的位置(该手掌的至少一部分的位置当前面对与经由显示生成部件提供的三维环境(例如，虚拟环境、模拟现实环境、增强现实环境或物理环境的透传视图)的视图相对应的视点)相对应的三维环境的视图内的第一位置处显示第一应用程序的用户界面的第一视图时，计算机系统检测(9004)第一输入(例如，用户的另一只手的手指在示出在用户手掌上方的用户界面上的捏合拖动输入，手掌的同一只手的投掷手势等)，该第一输入对应于将第一应用程序的显示从手掌转移到第一表面(例如，物理表面，诸如物理环境中的桌子的表面或桌面显示器)的请求，该第一表面位于与经由显示生成部件提供的三维环境(例如，虚拟环境、模拟现实环境或增强现实环境)的视图相对应的视点的第一接近度内(例如，在用户手臂的长度内)(例如，视点指的是用户眼睛或用户面部，并且第一接近度是距用户面部或眼睛，或距用户佩戴的HMD上的一个或多个相机，或距用户可以通过其观看真实世界的显示生成部件的透传部分的第一预定义距离)。响应于检测第一输入，计算机系统在由第一表面(例如，第一应用程序的用户界面的边缘或表面似乎靠在第一表面上)定义的第二位置(在三维环境的视图中)处显示(9006)第一应用程序的用户界面的第二视图(例如，图7C(B)中的第一应用程序的用户界面的第二视图7036'，或图7G中的第二应用程序的用户界面的第一视图7236”)(例如，扩展的2D用户界面或增强的3D对象)，其取向对应于第一表面(例如，图7C和图7G中的对象7014的顶表面7018)(例如，用户界面的表面显示为与桌面的表面或桌面显示器平行，或者与桌面的表面垂直，或者相对于桌面成一定角度(例如，与用户的注视垂直))，其中第一应用程序的用户界面的第二视图显示为具有不同于(例如，大于)第一大小的第二大小。与第一大小类似的第二大小是用户界面的第二视图的固有大小，并且用作基于用户界面的第二视图(例如，第二位置)与观看三维环境的用户的眼睛的估计位置之间的距离来确定其感知大小的基础。在一些实施方案中，即使第二位置远离与第一位置的三维环境的当前视图相对应的视点，第二视图的感知大小仍然大于第一视图的感知大小。在一些实施方案中，第一应用程序的用户界面的第二视图显示为在三维环境中浮动(例如，具有与用户头部或面部的取向相对应的取向)，而不附着到三维环境的视图内的任何表面或对象。在一些实施方案中，计算机系统显示动画序列，该动画序列示出从手掌移动到第一表面的位置并且转换成用户界面的第二视图的用户界面的第一视图。在一些实施方案中，响应于第一输入，在与手掌相对应的位置处的三维环境的视图中停止显示第一视图。
[将应用程序从附近表面发送到墙壁上]在一些实施方案中，在三维环境的视图内在由第一表面(例如，第一应用程序的用户界面的边缘或表面似乎抵靠第一表面)限定的第二位置处显示具有第二大小(例如，大于第一大小的大小)的第一应用程序的用户界面的第二视图，计算机系统检测第二输入(例如，注视输入和投/掷输入(例如，注视输入选择目标表面(例如墙壁)，然后是手部抓取和投/掷手势))，该第二输入对应于将第一应用程序的显示从第一表面(例如，对象7014的顶表面7018)(例如，物理表面，诸如物理环境中的桌子的表面或桌面显示器)转移到第二表面(例如，对象7010的前表面或墙壁7004)的请求，该第二表面位于与三维环境的视图相对应的视点的第二接近度内(例如，超出用户的手臂的长度)。响应于检测第二输入，计算机系统在由第二表面定义的第三位置(例如，第一应用程序的用户界面的边缘或表面似乎抵靠着第二表面)处显示第一应用程序的用户界面的第三视图，其取向对应于第二表面(例如，用户界面的表面显示为平行于桌面的表面或桌面显示器，或者垂直于桌面的表面，或者相对于桌面成一定角度(例如，与用户的注视垂直))。
在一些实施方案中，第一应用程序的用户界面的第三视图显示为具有不同于(例如，大于)第一大小和第二大小的第三大小(例如，固有大小)。在一些实施方案中，第一应用程序的用户界面的第三视图显示为用户周围的沉浸式体验，而无需附着到三维环境的视图内的任何表面或对象。在一些实施方案中，计算机系统显示动画序列，该动画序列示出从第一表面的位置移动到第二表面的位置并且转换成用户界面的第三视图的用户界面的第二视图。在一些实施方案中，响应于第二输入，在与第一表面相对应的位置处的三维环境的视图中停止显示第二视图。
在一些实施方案中，在三维环境的视图内在由第一表面(例如，第一应用程序的用户界面的边缘或表面似乎抵靠第一表面)限定的第二位置处显示具有第二大小(例如，大于第一大小的大小)的第一应用程序的用户界面的第二视图，计算机系统检测第三输入(例如，注视输入和投/掷输入(例如，注视输入选择目标表面(例如，墙壁)，然后是手的抓取和投/掷手势，包括在手部的一个或多个手指位于用户界面的至少一部分的附近的位置处时靠近彼此的移动，随后手部从用户身体移开，同时手指彼此移开))，该第三输入对应于请求将第一应用程序的显示从第一表面(例如，物理表面，诸如物理环境中的桌子的表面或桌面显示器)转移到第三表面，该第三表面位于与三维环境的视图相对应的视点的第二接近度内(例如，超出用户的手臂的长度)；并且响应于检测第三输入，计算机系统在由第三表面定义的第四位置(例如，第一应用程序的用户界面的边缘或表面似乎抵靠着第二表面)处显示第一应用程序的用户界面的第三视图，其取向对应于第三表面(例如，用户界面的表面显示为平行于桌面的表面或桌面显示器，或者垂直于桌面的表面，或者相对于桌面成一定角度(例如，与用户的注视垂直))。
响应于检测到与将第一应用程序的显示从第一表面转移到第二表面的请求相对应的第二输入，在由第二表面定义的第三位置处显示具有与第二表面相对应的取向的第一应用程序的用户界面的第三视图，减少了以期望的取向显示用户界面所需的输入数量(例如，用户不需要执行附加输入来调整第一应用程序的用户界面在由第二表面定义的第三位置处的取向)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，手掌是第一手部(例如，手部7020或手部7214)的一部分，并且其中第二输入包括第一注视输入，该第一注视输入结合(例如，同时或然后)与朝向三维环境的视图中的第二表面的移动相对应的第一手部的第一移动(例如，投掷手势)指向第二表面(例如，第一注视输入为用户界面的第三视图选择目标表面，第一手部的第一移动不需要精确指向真实世界中的第二表面，只需要是一般的向前投掷手势)。在一些实施方案中，第三输入包括第二注视输入，该第二注视输入结合(例如，同时或然后)与朝向三维环境的视图中的第三表面移动相对应的第一手部的第二移动指向第三表面(例如，手部的抓取和投掷手势，包括在手部的一个或多个手指位于用户界面的至少一部分的附近的位置处时靠近彼此的移动，随后手部从用户身体移开，同时手指彼此移开)。例如，通过注视输入的位置选择用户界面的目标表面，并且第一手部的相同移动使用户界面移动到通过注视输入的位置选择的表面。在一些实施方案中，在用户界面从手部移动到一个表面之后，用户界面任选地使用选择新表面的注视输入来移动到另一表面，该注视输入结合第一手部的移动或满足预定义手势标准的不同手部的移动(例如，投掷或挥手手势)。在一些实施方案中，在用户界面移动到第二表面之后，如果计算机系统检测到用户注视在阈值时间量内从第二表面移动到不同表面并且满足预设稳定性和持续时间标准，则计算机系统任选地将用户界面移动到不同表面而不需要手部的附加移动。检测到包括第一注视输入的第二输入，该第一注视输入结合第一手部朝向第二表面的第一移动指向第二表面，减少了以期望的取向显示用户界面所需的输入数量(例如，用户不需要执行附加输入来调整第一应用程序的用户界面在由第二表面定义的第三位置处的取向)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在由第二表面定义的第三位置处显示第一应用程序的用户界面的第三视图时，计算机系统检测到第三输入，该第三输入包括第二注视输入，该第二注视输入指向第二表面，并结合(同时或然后)满足预设标准(例如，用于检测捏合手势(例如，拇指和食指朝向彼此的移动)的标准，任选地不要求第一手部抬起或出现在三维环境的视图中(例如，在用户的三维环境的视图外部的第一手部的微手势))的第一手部的第二移动(例如，捏合手势)。响应于检测到第三输入，计算机系统在与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置处重新显示第一应用程序的用户界面的第一视图(例如，响应于捏合手势和指向显示在附近墙壁位置处的用户界面的第三视图的注视输入，用户界面返回到用户手掌)。在一些实施方案中，响应于捏合手势，第一应用程序的用户界面的第三视图停止显示在由第三表面定义的第三位置处。响应于检测到包括第二注视输入(该第二注视输入结合满足预设标准的第一手部的第二移动指向第二表面)的第三输入在第一位置处重新显示第一应用程序的用户界面的第一视图，减少了重新显示第一应用程序的用户界面的第一视图所需的输入数量(例如，用户无需首先从第二表面选择或移除第一应用程序的用户界面)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一应用程序的用户界面的第二视图(和任选地第一视图)通过三维环境中受空间操纵的三维对象呈现内容(例如，三维对象是可以通过用户手部来旋转和缩放的地图应用程序的地理位置的3D或伪3D模型、带有用户可以翻阅的页面的物理书的形式的地址簿、或用户手部可以浏览的弹出式日历等)，并且第一应用程序的用户界面的第三视图通过第二表面定义的媒体回放区域(例如，媒体回放区域是由墙壁定义的虚拟屏幕，并且用户界面显示为内容消费用户界面，像电影或电视节目选择和播放用户界面)呈现内容。显示用户界面的第二视图，其中第一应用程序通过经受空间操纵的三维对象呈现内容，并且显示用户界面的第三视图，其中第一应用程序通过由第二表面定义的媒体回放区域呈现内容，减少了以期望的方式显示内容所需的输入数量(例如，用户不需要执行附加输入来从通过三维对象显示内容改变成通过媒体回放区域显示内容)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在由第一表面定义的第二位置处以与第一表面相对应的取向显示第一应用程序的用户界面的第二视图，包括根据第一表面的第一组特征(例如，桌面的大小、距用户的距离等)，选择第一应用程序的用户界面的第二视图相对于物理环境的大小(例如，用户界面相对于物理环境的大小的固有大小，而不是根据用户的视点的位置而变化的显示大小)。在由第二表面定义的第三位置处以与第二表面相对应的取向显示第一应用程序的用户界面的第三视图，包括根据第二表面的第二组特征(例如，墙壁的大小、距用户的距离等)，选择第一应用程序的用户界面的第三视图相对于物理环境的大小(例如，用户界面相对于物理环境的大小的固有大小，而不是根据用户的视点的位置而变化的显示大小)，其中第二大小不同于(例如，大于或小于)第一大小。
在一些实施方案中，计算机系统为第一应用程序的用户界面选择相应大小(例如，第一大小、第二大小或第三大小)，以根据相应表面(例如，手掌的表面、第一表面或第二表面)的一组预设特征(例如，大小、距用户的距离、取向、表面类型等)，显示在由相应表面(例如，手掌的表面、第一表面或第二表面)定义的位置处。在一些实施方案中，根据确定相应表面在距用户的阈值距离内，为第一应用程序的用户界面选择较小的大小；并且根据确定相应表面超出距用户的阈值距离，为第一应用程序的用户界面选择较大的大小。在一些实施方案中，根据确定相应表面是桌面，为第一应用程序的用户界面选择较小的大小；并且根据确定相应表面是墙壁，为第一应用程序的用户界面选择较大的大小。在一些实施方案中，根据确定相应表面是水平表面，为第一应用程序的用户界面选择较小的大小；并且根据确定相应表面是竖直表面，为应用程序的用户界面选择较大的大小。在一些实施方案中，使用其他标准来确定第一应用程序的用户界面的相应大小。在一些实施方案中，根据相应表面的大小确定第一应用程序的用户界面的相应大小。
根据第一表面的第一组特征以相对于物理环境的第一大小显示第一应用程序的用户界面的第二视图，以及根据第二表面的第二组特征以不同于第一大小的第二大小显示应用程序的用户界面的第三视图，减少了以期望的大小显示用户界面的第二视图或第三视图所需的输入数量(例如，用户不需要执行附加输入以基于第一表面或第二表面调整第一应用程序的用户界面的第二视图或第三视图的大小)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一位置(例如，与手掌的至少一部分的位置相对应的位置)处显示的第一应用程序的用户界面的第一视图包括第一内容。在由第一表面定义的第二位置(例如，与桌面的位置相对应的位置)处显示的第一应用程序的用户界面的第二视图包括与第一内容不同的第二内容(例如，完全不同或部分不同(例如，包括一些常见内容和一些不同的内容；包括内容的子集；或包括内容的超集合)。在一些实施方案中，第二内容包括对第一内容的至少一些部分的编辑，并且任选地包括对已编辑的第一内容的一些部分的总结或简化版本；或者第二内容包括第一内容的增强或附加内容。
在一些实施方案中，在由第二表面定义的第三位置(例如，与墙壁的位置相对应的位置)处显示的第一应用程序的用户界面的第三视图包括与第一内容和/或第二内容不同的第三内容(例如，第三内容包括对第一内容和/或第二内容的至少一些部分的编辑，并且任选地包括对已编辑的第一内容和/或第二内容的一些部分的总结或简化版本；或者第三内容包括第一内容和/或第二内容的增强或者超出第一内容和/或第二内容的附加内容)。在一些实施方案中，第一应用程序的用户界面的不同视图(例如，第一视图、第二视图和/或第三视图)包括基于不同位置的对应隐私模式选择的不同内容(例如，第一视图包括比第二视图更多的内容，或者第一视图包括不包括在第二视图中的私人内容和包括在第一视图和第二视图两者中的公共内容，或者第二视图包括第一视图中包括的私人内容中的一些私人内容的总结)。在一些实施方案中，第一应用程序的用户界面的第三视图包括与第一应用程序的用户界面的第一视图和第二视图的内容不同的内容(例如，第三视图包括比第一视图和第二视图少的内容，或者第三视图包括包括在第一视图中的私人内容和包括在第二视图中的半私人内容中的一些私人内容的总结)。
包括在第一位置处显示的第一应用程序的第一用户界面的第一视图中的第一内容，以及包括在第二位置处显示的第一应用程序的用户界面的第二视图中的与第一内容不同的第二内容，减少了显示期望的内容所需的输入数量(例如，用户不需要执行附加输入以在第二位置处显示与第一内容不同的第二内容)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一应用程序的用户界面的第一视图(例如，显示在与手掌相对应的位置处)包括具有第一用户交互模型的第一应用程序的第一形式。在一些实施方案中，具有第一用户交互模型的第一应用程序的第一形式是显示在对象的平坦表面上的2D用户界面，并且2D用户界面响应于涉及在用户手掌上或附近的手指移动的手势输入(例如，点击输入包括任选地将手指触碰手掌的一部分，然后在阈值时间量内将手指从手掌的一部分提起；双击输入包括由同一手指在手掌的大致相同部分上执行的两个连续的点击输入，两个点击输入之间的持续时间小于阈值时间量；拖动或轻扫输入包括手指(或两个手指并排)触碰手掌的一部分，然后手指在手掌表面上移动到手掌的另一部分，任选地然后在手指在手掌上移动后手指从手掌上提起；捏合输入包括两个手指朝向彼此移动，同时两个手指保持与手掌接触；去捏合输入包括两个手指远离彼此的移动，同时两个手指保持与手掌接触；等等)。
在一些实施方案中，在手掌上的手指接触位置、手指接触的持续时间和定时以及/或者手指接触在手掌上的抬起时间、手指在手掌上的移动速度、与手掌接触的手指的数量等是用于确定根据第一用户交互模型在第一应用程序内执行的功能以及/或者执行功能的方式的输入特征(例如，定时、数量、速度等)。在一些实施方案中，第一应用程序的用户界面的第二视图(例如，显示在与桌面相对应的位置处)包括具有与第一用户交互模型不同的第二用户交互模型的第一应用程序的第二形式。在一些实施方案中，第一应用程序的第二形式是相对于水平桌面直立显示的3D用户界面(其中用户界面对象在距用户不同的深度处显示)，并且3D用户界面结合由在空中抬起的手指提供的手指手势输入或手部的一部分(例如，第一手指)相对于同一只手的另一部分(例如，第二手指或手掌)移动的手指手势输入来响应注视输入。
在一些实施方案中，第一应用程序的用户界面的第三视图(例如，显示在墙壁上或漂浮在空的空间中)包括第一应用程序的第三形式，该第三形式不同于第一应用程序的第一形式以及/或者第一应用程序的第二形式(例如，第一应用程序的第三形式是媒体回放或媒体消耗用户界面，并且媒体消耗用户界面任选地结合注视输入响应于整个手的空中手势或微手势。在一些实施方案中，空中手指手势包括空中点击输入(例如，食指从抬起位置朝向手部的手掌侧的移动，而无需手指触摸手掌或手部的其他部分，或者导致手部从抬起姿势移动到放下姿势的手腕的移动，同时手部的一个或多个手指在腕的移动期间保持伸出或抬起)、双空中点击输入(例如，由小于阈值时间量的持续时间分开的两个连续的空中点击输入)、空中拖动或轻扫输入(例如，整只手在空中的移动，手部的一个或多个手指从手部的手掌抬起或伸出)等)。在一些实施方案中，微手势是由单手执行的手势(例如，其中手部的一部分移动或触摸同一只手的另一部分，同时手部任选地从用户身体抬起)。
在一些实施方案中，微型手势包括微点击输入(例如，一只手的第一手指的指尖朝向同一只手的另一个手指的一部分或同一只手的手掌移动并触碰在其上，然后任选地将指尖从触碰位置提起)、微双击输入(例如，由同一第一手指在同一第一手部的同一部分上执行的两个连续的微点击输入，两个微点击输入之间的持续时间小于阈值时间量)、微拖动或微轻扫输入(例如，第一手指在同一只手的第二手指的表面上在相应方向上(例如，沿着第二手指的侧面，或从手掌的同一部分在第二手指上朝向手背)的移动)、微轻弹输入(例如，第一手指相对于同一只手的第二手指在远离(例如，向上轻弹、向前轻弹、向内轻弹等)第二手指的相应方向上的移动)。在一些实施方案中，执行微手势的手指(例如，拇指和食指等)、手指接触以及/或者在同一只手上提起手指接触的持续时间和定时、同一只手上手指接触的位置(例如，同一只手的第二手指上的位置或者同一只手的手掌上的位置)、手指在同一只手的另一手指或手掌上的移动速度等，是用于确定根据第三用户交互模型在第一应用程序内执行的功能以及/或者执行功能的方式的输入特征(例如，定时、数量、速度等)。
在一些实施方案中，根据第三用户交互模型，通过整只手的移动(例如，手腕移动，手臂移动和/或不移动)执行的空中手势用于在第一应用程序的第三形式内执行操作。整只手在空中的手势包括张开手的手势输入(例如，整只手向上、向下、朝向用户、远离用户、在用户前面侧着移动等，其手掌张开并且手指伸出)，闭合手的手势输入(例如，整只手在拳头中向上、向下、远离用户、朝向用户或在用户前面侧着移动等)，手掌张开输入(例如，所有手指从缩回状态并排移动到伸出状态)，手掌闭合输入(例如，所有手指从伸出状态并排移动到缩回状态)、推开输入(例如，手掌张开并远离用户移动)、拉动输入(例如，手掌张开并朝向用户移动)，点输入(例如，抬起食指，整只手朝向目标方向移动)等。
在一些实施方案中，注视输入用于选择输入的目标，并且空中手势用于选择在第一应用程序的第三形式中关于目标执行的操作。在一些实施方案中，诸如速度、持续时间、定时、方向和手部的移动量的特征用于确定执行操作的方式的特征(例如，方向、量、速度等)。在一些实施方案中，第一应用程序的用户界面的不同视图(例如，第一视图、第二视图和/或第三视图)包括与设备(例如，手持式设备、台式设备和大屏幕电视等)的不同形式因素相对应的内容的不同形式。在一些实施方案中，在不同视图上示出的内容的不同形式包括相同对象或信息的不同视觉表示(例如，第一视图是对象或内容的二维视图，并且第二视图是对象或内容的三维视图或伪三维视图(例如，具有深度信息的2D视图)。在一些实施方案中，第一应用程序的用户界面的第三视图包括与第一应用程序的用户界面的第一视图和第二视图的内容不同的内容形式(例如，第一视图是对象或内容的二维视图，第二视图是对象或内容的三维视图或伪三维视图(例如，具有深度信息的2D视图)，并且第三视图是电影式消费用户界面或沉浸式体验)。在一些实施方案中，不同的内容形式响应于不同类型的操纵并且/或者不同地响应于给定类型的操纵或输入。
在第一应用程序的用户界面的第一视图中以第一用户交互模型显示第一应用程序的第一形式，以及在第一应用程序的用户界面的第二视图中以与第一用户界面模型不同的第二用户交互模型显示第一应用程序的第二形式，向用户提供改进的视觉反馈(例如，关于第一应用程序的用户界面是否显示在第一视图或第二视图中的视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，对应于将第一应用程序的显示从与三维环境中的第一位置相对应的位置转移到与三维环境中的第二位置相对应的位置(例如，从手掌到第一表面，从手掌到第二表面，从第一表面到第二表面等)的请求的相应输入(例如，第一输入或第二输入)，包括指向(例如，基于手势的位置或设备用户的注视方向)第一位置(例如，拾取并移动用户界面的表示)的捏合拖动手势，然后是指向(例如，基于手势的位置或设备用户的注视方向)第二位置的去捏合手势(例如，结束捏手势以放弃用户界面的表示)。在一些实施方案中，对应于将第一应用程序从手掌转移到第一表面或第二表面的请求的捏合拖动手势包括由不连接到手掌的手部执行的捏合手势，其中在手掌的位置处检测捏合手势。在一些实施方案中，对应于将第一应用程序从第一表面转移到第二表面或反之亦然的请求的捏合拖动手势包括在与三维环境中的用户界面的边界部分(例如，角或把手)相对应的位置处由单手执行的捏合手势，然后在手部保持捏合手势的同时移动手部。
在一些实施方案中，对应于将第一应用程序从第一表面转移到第二表面或反之亦然的请求的捏合拖动手势包括在与三维环境中的用户界面的边界部分(例如，两个相对的角或边缘)相对应的位置处由两个单手执行的两个捏合手势，然后在两只手保持捏合手势的同时同步移动两只手。在一些实施方案中，在检测到捏合拖动手势的移动部分之前，在第一位置处检测到捏合手势，并且在检测到捏合拖动手势的移动部分之后，在第二位置处检测到去捏合手势。在一些实施方案中，手掌是第一手部的一部分，第一输入是由与第一手部不同的第二手部提供的捏合拖动手势，并且捏合拖动手势在手掌上或靠近手掌的相应位置处开始，在远离手掌的相应位置处结束(例如，远离手掌的相应位置任选地不同于第一表面的位置(例如，用户只需要使用较小的拖动距离，以使用户界面放置在第一表面的位置处，而不需要将用户界面一直拖动到第一表面的位置))。
在一些实施方案中，第一输入包括第一部分，该第一部分是指向手掌上或附近的位置的捏合手势(例如，拇指和食指彼此接触)，该位置对应于用户界面的边界部分(例如，角或边缘)或在三维环境的视图内从应用程序的用户界面突出的应用程序图标。在一些实施方案中，第一输入包括第二部分，该第二部分是与捏合手势(例如，拇指和食指保持接触)相结合的拖动手势(例如，第二手部的移动)，然后是释放手势(例如，终止第二手部的拇指与食指之间的接触)。在一些实施方案中，计算机系统基于第一输入的第二部分的特征(例如，拖动手势和释放手势的速度、距离、持续时间、方向、终止位置等)和/或三维环境中可用表面或空间的位置，选择用户界面的第二视图在三维环境的视图中的最终位置。
检测将第一应用程序的显示从与第一位置相对应的位置转移到与第二位置相对应的位置的请求(包括指向第一位置的捏合手势，然后是指向第二位置的去捏合手势)，减少了将第一应用程序的显示从与第一位置相对应的位置转移到与第二位置相对应的位置所需的输入数量(例如，用户不需要执行单独的输入来选择第一应用程序、移动第一应用程序以及确认第一应用程序的新位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，手掌是第一手部的一部分，第一输入是由不同于第一手部的第二手部提供的点击手势(例如，食指的空中点击输入)，并且在与第一应用程序的用户界面的第一视图相对应的三维用户界面对象的预先确定的部分(例如，不显示第一应用程序的交互内容的用户界面对象的背面或侧面)对应的位置处检测点击手势。例如，这在图7C中示出。在一些实施方案中，第一应用程序的用户界面的第一视图显示在三维对象上，并且对象的部分不包括第一应用程序的交互内容(例如，指向对象的这些部分的输入未被提供给第一应用程序并由该第一应用程序消耗)；并且指向这些部分的空中点击手势使三维对象被从用户手掌发送到附近表面(例如，附近的桌面)上，并转换成第一应用程序的用户界面的第二视图(例如，被放大到第二大小)。在一些实施方案中，计算机系统基于空中点击手势的特征(例如，空中点击手势的速度、持续时间、方向等)和/或三维环境中可用表面或空间的位置，选择用户界面的第二视图在三维环境的视图中的最终位置。在对应于与第一应用程序的用户界面的第一视图相对应的三维用户界面对象的预先确定的部分的位置处，检测第一输入是由与第一手部不同的第二手部提供的点击手势，提供附加控制选项，而不会使UI与附加显示控件(例如，用于启动将第一应用程序的显示从第一位置转移到第二位置的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示第一应用程序的用户界面的相应视图(例如，第一视图(例如，示出在手掌的位置处)或第二视图(例如，示出在第一表面(例如，附近的桌面)的位置处)时，计算机系统检测到指向第一应用程序的用户界面的相应视图的捏合手势(例如，捏合手势包括拇指和手部的一个或多个其他手指朝向彼此的移动，根据确定在第一应用程序的用户界面的相应视图上检测到注视输入，选择第一应用程序的用户界面的相应视图作为捏合手势的目标)。响应于检测到指向第一应用程序的用户界面的相应视图的捏合手势，计算机系统根据捏合手势调整第一应用程序的用户界面的相应视图大小(例如，缩小第一应用程序的用户界面的相应视图的大小，而不将用户界面的相应视图从其当前位置移开)。根据指向第一应用程序的用户界面的相应视图的捏合手势调整第一应用程序的用户界面的相应视图大小，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于增加或减少第一应用程序的用户界面的相应视图大小的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在由相应表面定义的相应位置处显示第一应用程序的用户界面的相应视图(例如，示出在第一表面(例如，附近的桌面)的位置处的第二视图或者示出在第二表面(例如，墙壁)的位置处的第三视图)时，计算机系统检测到指向第一应用程序的用户界面的相应视图的捏合手势(例如，捏合手势包括拇指和手部的一个或多个其他手指朝向彼此的移动，根据确定在第一应用程序的用户界面的相应视图上检测到注视输入，选择第一应用程序的用户界面的相应视图作为捏合手势的目标)。响应于检测到指向第一应用程序的用户界面的相应视图的捏合手势，计算机系统在与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置处重新显示第一应用程序的用户界面的第一视图(例如，响应于指向在附近桌面或墙壁上的位置处显示的用户界面的相应视图的捏合手势，用户界面返回到用户手掌)。在一些实施方案中，响应于捏合手势，第一应用程序的用户界面的相应视图(例如，第二视图或第三视图)停止显示在由相应表面定义的位置处(例如，由第二表面定义的位置或由第三表面定义的位置)。响应于检测到指向第一应用程序的用户界面的相应视图的捏合手势，在与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置处重新显示第一应用程序的用户界面的第一视图，减少了在第一位置处重新显示第一应用程序的用户界面的第一视图所需的输入数量(例如，用户不需要执行附加输入来选择第一应用程序的用户界面的第一视图并将其从第二位置或第三位置移动到与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一应用程序的用户界面的不同视图对应于不同的交互模型。在一些实施方案中，第一视图对应于直接操纵交互模型，第二视图对应于空中手势交互模型，并且第三视图对应于注视加触摸手势或微手势交互模型。在一些实施方案中，用第一交互模型(例如，对应于手掌上的用户界面的第一视图)中的第一输入序列(例如，用另一只手的手指在手掌上轻扫输入；用另一只手的手指在手掌上点击输入等)执行相同的操作(例如，清理内容项目列表，打开媒体项目预览，或开始与用户界面上所示的相应联系人姓名相对应的相应用户的通信会话)，并用第二交互模型(例如，对应于桌面或墙壁上的用户界面的第二视图)中的第二输入序列(例如，用一根手指在同一只手的另一根手指的侧面进行的微扫；与手指的微点击或空中点击结合的注视输入等)执行相同的操作，其中第一输入序列不同于第二输入序列。显示第一应用程序的用户界面的相应视图，其中第一应用程序的用户界面的不同视图对应于不同交互模型，向用户提供改进的视觉反馈(例如，关于当前交互模型的视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，用户界面的第一视图(例如，在三维环境的视图中的手掌位置处显示的用户界面的视图)包括，与第一应用程序的第一功能相对应的用户界面的第一部分(例如，第一部分显示第一用户界面对象，诸如第一媒体项目或第一联系人姓名)以及与第一应用程序的第二功能相对应的用户界面的第二部分(例如，第二部分显示第二用户界面对象，诸如第二媒体项目或第二联系人姓名)。在与三维环境的视图中的用户界面的第一部分相对应的手掌上或附近的位置处所检测到的第一触摸输入(例如，双击输入、触摸保持输入、轻扫输入)，导致第一应用程序的第一功能的执行(例如，开始第一媒体项目的预览或开始与对应于第一联系人姓名的第一用户的通信会话)。在与三维环境的视图中的用户界面的第二部分相对应的手掌上或附近的位置处所检测到的第二触摸输入(例如，双击输入、触摸保持输入、轻扫输入)，导致第一应用程序的第二功能的执行(例如，开始第二媒体项目的预览或开始与对应于第二联系人姓名的第二用户的通信会话)。在一些实施方案中，当第一应用程序的用户界面显示在与手掌的位置相对应的三维环境的视图内的第一位置处时，用户界面基于直接操纵交互模型响应用户输入，其中用户输入的精确位置以及用户输入的空间和定时特征，诸如起始位置、结束位置、移动速度、移动距离、移动方向、接触强度、输入或输入部分的定时等，在手掌上或其附近检测到的信息被映射到用户界面的第一视图上的位置，并用于确定触发的功能和执行的功能的定量属性(例如，数量和定时)。例如，手掌的表面上的逆时针轻扫导致用户界面对象在第一应用程序的用户界面中的逆时针旋转，其中基于轻扫输入的起始位置选择用户界面对象，并且用户界面对象的旋转量和速度对应于手掌上轻扫的距离和速度。响应于检测到在与用户界面的第一部分相对应的手掌上或手掌附近的位置处检测到第一触摸输入而执行第一应用程序的第一功能，以及响应于检测到在与用户界面的第二部分相对应的手掌上或手掌附近的位置处检测到第二触摸输入而执行第一应用程序的第二功能，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于执行第一应用程序的第一功能或第二功能的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
[在桌面上-空中点击]在一些实施方案中，用户界面的第二视图(例如，在三维环境的视图中由第一表面定义的位置处显示的用户界面的视图)包括，与第一应用程序的第一功能相对应的用户界面的第三部分(例如，第三部分显示第一用户界面对象，诸如第一媒体项目或第一联系人姓名)以及与第一应用程序的第二功能相对应的用户界面的第四部分(例如，第四部分显示第二用户界面对象，诸如第二媒体项目或第二联系人姓名)。在与三维环境的视图中的用户界面的第三部分相对应的空间中的位置处检测到的第一手势输入(例如，单空中点击、双空中点击、点和轻弹输入、空中轻扫输入)导致第一应用程序的第一功能的执行(例如，开始第一媒体项目的预览或开始与对应于第一联系人姓名的第一用户的通信会话)。在与三维环境的视图中的用户界面的第四部分相对应的空间中的位置处检测到的第二手势输入(例如，单空中点击、双空中点击、点和轻弹输入、空中轻扫输入)导致第一应用程序的第二功能的执行(例如，开始第二媒体项目的预览或开始与对应于第二联系人姓名的第二用户的通信会话)。
在一些实施方案中，当第一应用程序的用户界面显示在由第一表面(例如，桌面)定义的三维环境的视图内的位置处时，用户界面基于不需要与物理表面接触的空中手势交互模型响应用户输入，并且接触的精确位置和空间特征不再需要或确定所执行功能的功能和定量特征。例如，手指的逆时针空中轻扫导致第一应用程序的用户界面中的用户界面对象的逆时针旋转，其中基于用户界面中的当前上下文选择用户界面对象(例如，哪个对象当前被选择和/或可旋转)，并且用户界面对象的旋转量和速度任选地基于默认值并且不一定对应于空中轻扫的距离和速度。响应于检测到在与用户界面的第三部分相对应的空间中的位置处检测到第一手势输入而执行第一应用程序的第一功能，以及响应于检测到在与用户界面的第四部分相对应的空间中的位置处检测到第二手势输入而执行第一应用程序的第二功能，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于执行第一应用程序的第一功能或第二功能的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，用户界面的第三视图(例如，在三维环境的视图中由第二表面定义的位置处显示的用户界面的视图)包括，与第一应用程序的第一功能相对应的用户界面的第六部分(例如，第六部分显示第一用户界面对象，诸如第一媒体项目或第一联系人姓名)以及与第一应用程序的第二功能相对应的用户界面的第七部分(例如，第七部分显示第二用户界面对象，诸如第二媒体项目或第二联系人姓名)。结合指向用户界面的第六部分的第一注视输入的手势输入(例如，由一只手的一个或多个手指相对于同一只手的其他部分(例如，其他手指、凸缘、手掌等)执行的单空中点击、双空中点击、点和轻弹输入、空中轻扫输入或微手势(例如，点击、轻扫、双击等))导致第一应用程序的第一功能的执行(例如，开始第一媒体项目的预览或开始与对应于第一联系人姓名的第一用户的通信会话)。
结合指向用户界面的第七部分的第二注视输入的手势输入(例如，由一只手的一个或多个手指相对于同一只手的其他部分(例如，其他手指、凸缘、手掌等)执行的单空中点击、双空中点击、点和轻弹输入、空中轻扫输入或微手势(例如，点击、轻扫、双击等))导致第一应用程序的第二功能的执行(例如，开始第二媒体项目的预览或开始与对应于第二联系人姓名的第二用户的通信会话)。在一些实施方案中，当第一应用程序的用户界面显示在由第二表面(例如，墙壁)定义的三维环境的视图内的位置处时，用户界面基于注视加手势交互模型响应于用户输入，其中注视输入用于选择交互的目标，并且空中提供的手势或同一手的其他部分上提供的手势用于确定相对于目标执行的功能。例如，指向用户界面对象的用户的注视输入选择用户界面对象作为由用户手部提供的手势输入的目标。当注视输入指向用户界面对象时，手指的逆时针空中轻扫或一个手指在另一个手指侧面的微轻扫导致第一应用程序的用户界面中的用户界面对象的逆时针旋转。在一些实施方案中，用户界面对象的旋转的量和速度任选地基于默认值，并且不一定对应于空中轻扫或在另一手指的侧面上的轻扫的距离和速度。响应于检测到结合指向用户界面的第六部分的第一注视输入执行的手势输入执行应用程序的第一功能，以及响应于检测到结合指向用户界面的第七部分的第二注视输入执行的手势输入执行第一应用程序的第二功能，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于执行第一应用程序的第一功能或第二功能的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在由相应表面定义的相应位置(例如，由第一表面(例如，桌面)定义的第二位置或由第二表面(例如，墙壁)定义的第三位置)处显示(例如，响应于第一输入或第二输入)第一应用程序的用户界面的相应视图(例如，第一应用程序的用户界面的第二视图或第三视图)时，计算机系统在与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置处显示与第一应用程序的用户界面的一个或多个功能相对应的用户界面对象(例如，在手掌的位置处显示缩小的用户界面或基座)。当在与手掌的至少一部分的位置相对应的三维环境的视图内的第一位置处显示与第一应用程序的用户界面的一个或多个功能相对应的用户界面对象时，计算机系统在与三维环境的视图中的用户界面对象相对应的位置处检测手掌上或手掌附近的输入(例如，点击输入、轻扫输入、双击输入、触摸保持输入等)。响应于在与用户界面对象相对应的位置处检测到手掌上或手掌附近的输入(例如，响应于点击输入，轻扫输入、双击输入、触摸保持输入等)，计算机系统执行操作(例如，开始媒体项目的回放、导航到另一用户界面、开始通信会话等)，该操作导致在由相应表面定义的相应位置(例如，由第一表面(例如，桌面)定义的第二位置或由第二表面(例如，墙壁)定义的第三位置)处的第一应用程序的用户界面的相应视图(例如，第一应用程序的用户界面的第二视图或第三视图)中发生变化。响应于在与用户界面对象相对应的位置处检测到手掌上或手掌附近的输入，执行导致在由相应表面定义的位置处的第一应用程序的用户界面的相应视图中发生变化的操作，向用户提供了改进的视觉反馈(例如，计算机系统已在与用户界面对象相对应的位置处检测到手掌上或手掌附近的输入)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图9中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、10000和11000)所述的其他过程的细节同样以类似的方式适用于上文相对于图9所述的方法9000。例如，上文参考方法9000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、10000和11000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图10是根据一些实施方案的与计算机生成的三维环境交互的方法10000(例如，包括在与用户手背相对应的显示位置处显示控件，并且在与用户手腕的内侧相对应的显示位置处显示应用程序图标(并且任选地，在与用户手掌相对应的显示位置处显示应用程序用户界面))的流程图。
方法10000涉及当手部和手腕的背面面向用户时，在与手部和手腕的背面相对应的位置处显示控件和通知，而当手掌和手腕的内侧朝向用户时，在手掌和手腕的内侧上显示应用程序和应用程序图标。在(1)显示控件和通知与(2)显示应用程序图标和应用程序用户界面之间的切换是当用户将他/她的手腕和手部朝向或远离他/她的面部来回转动时自动执行的。在(a)手腕和手部的背面以及(b)手腕和手部的正面上相应地布置(1)通知和控件以及(2)应用程序图标和应用程序用户界面，基于其交互特征提供了用户界面元素的有效划分(例如，与通知和控件相比，将手掌和手腕的内侧朝向用户面部转动更容易，以便观看更复杂的内容，并且在手掌和手腕的内侧上进行更复杂的交互，而在手部和手腕的背面上观看和交互更容易、更简单、更容易完成)。当用户来回转动他/她的手腕和手部时，在(1)显示控件和通知与(2)显示应用程序图标和应用程序用户界面之间自动切换，允许提供更多用户界面元素，而不会混淆三维环境的视图，并提供用户对这些用户界面元素的更容易访问。
在一些实施方案中，方法10000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120以及图7A至图7G中的显示生成部件7100、7200)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)、控制器、触敏表面、操纵杆、按钮等)。在一些实施方案中，计算机系统是集成设备，该集成设备具有封闭在与显示生成部件相同的外壳中的一个或多个处理器和存储器以及一个或多个输入设备中的至少一些输入设备。在一些实施方案中，计算机系统包括计算部件，该计算部件包括一个或多个处理器以及与显示生成部件分离的存储器以及/或者一个或多个输入设备。在一些实施方案中，显示生成部件以及一个或多个输入设备被集成并封装在同一外壳中。在一些实施方案中，方法10000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法10000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法10000中，计算机系统检测(10002)(例如，使用一个或多个相机)手腕(例如，手腕7028)(例如，佩戴HMD的用户的手腕)在与经由显示生成部件提供的三维环境(例如，相应的三维环境是当前由显示生成部件显示的虚拟环境或增强现实环境)的视图内的位置相对应的位置(例如，物理环境中的位置)处的存在。在一些实施方案中，相应的三维环境是纯虚拟的并且包括计算机生成的对象和空间。在一些实施方案中，三维环境的视图包括用户周围的物理环境的相机视图或与用户分离的物理环境的相机视图。在一些实施方案中，三维环境的视图包括用户周围的物理环境的透传视图(例如，如通过透明显示器所见)。在一些实施方案中，在三维环境的视图中显示用户手部和手腕的虚拟图像。在一些实施方案中，在三维环境的视图中显示用户手部和手腕的相机图像。在一些实施方案中，当用户手部和手腕基于用户手部和手腕的当前位置和姿势进入三维环境的用户视野时，计算机系统使显示生成部件在三维环境的视图内显示用户手部和手腕的实时图像或图形表示。在一些实施方案中，用户手部和手腕是用户通过透明显示器看到的物理环境的一部分。
响应于在与经由显示生成部件提供的三维环境的视图内的位置相对应的位置处检测到手腕(例如，手腕7028)的存在(10004)：根据确定手腕在与经由显示生成部件提供的三维环境的视图中的位置相对应的位置处的存在满足第一标准(例如，图标显示标准)，其中第一标准要求手腕的内侧(并且任选地要求附接到手腕的手掌的至少一部分)面向与经由显示生成部件提供的三维环境(例如，虚拟环境、模拟现实环境或增强现实环境)的视图相对应的视点(例如，手腕的内侧面对用户)(例如，与经由显示生成部件提供的三维环境的视图相对应的视点是指用户的眼睛或用户的面部，并且手腕的内侧面对用户，面向用户佩戴的HMD上的一个或多个相机，或者面对用户可以通过其观看真实世界的显示生成部件的透传部分)，计算机系统经由显示生成部件，在与手腕上的第一位置相对应的三维环境的视图内的第一位置处，显示(10006)第一用户界面对象(例如，图7A和图7B中的菜单7026)，包括与不同应用程序相对应的多个表示(例如，可选选项7030)(并且任选地在与连接到手腕的手掌的至少一部分(例如，手掌也面对与三维环境的视图相对应的视点)相对应的三维环境的视图内的位置处同时显示第一应用程序的用户界面的视图)(例如，与不同应用程序相对应的多个表示似乎覆盖或替换手腕内侧的显示，而任选地，第一应用程序的用户界面似乎覆盖或替换附接到手腕的手掌的至少一部分的显示)。当在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象时，计算机系统检测(10008)手腕已从满足第一标准改变成满足第二标准，其中第二标准要求手腕的外侧(例如，如图7D(B)所示的手腕7028)(并且任选地还要求连接到手腕的手背的至少一部分)面向与经由显示生成部件提供的三维环境的视图相对应的视点(例如，手腕的外侧，以及任选地连接到手腕的手背面对用户)(例如，与经由显示生成部件提供的三维环境的视图相对应的视点是指用户的眼睛或用户的面部，并且手腕的外侧面对用户，面向用户佩戴的HMD上的一个或多个相机，或者面对用户可以通过其观看真实世界的显示生成部件的透传部分)。响应于检测手腕已从满足第一标准改变成满足第二标准，计算机系统从经由显示生成部件在与要显示的手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象，切换(10010)到在与附接到手腕(例如，手腕7028)的手部(例如，手部7020)的背面上的位置相对应的三维环境的视图内的第二位置处显示第二用户界面对象(例如，图7D(B)中的用户界面对象7042)，包括用于控制计算机系统的功能的多个控件。
在一些实施方案中，响应于检测到手腕已从满足第一标准改变成满足第二标准，计算机系统在与附接到手腕(例如，手腕7028)的手部(例如，图7D(B)中的手部7020)的背面上的位置相对应的三维环境的视图内的第三位置(例如，与第二位置不同)处显示与一个或多个应用程序相对应的一个或多个应用程序(例如，一个或多个通知似乎覆盖或替换手背的一部分的显示，而多个控件似乎覆盖或替换手背的另一部分的显示)。响应于检测到手腕已从满足第一标准改变成满足第二标准，在与附接到手腕的手部的背面上的位置相对应的三维环境的视图内的第三位置处显示与一个或多个应用程序相对应的一个或多个通知，当满足一组条件时，在第三位置处显示一个或多个通知，而不需要进一步的用户输入(例如，进一步的用户输入以在手部的背面上的位置处显示一个或多个通知)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当在与附接到手腕的手部的背面(例如，图7D(B)中的手部7020的背面)上的位置相对应的三维环境的视图内的第二位置处显示用于控制计算机系统功能的多个控件时，计算机系统在与手腕的背侧(例如，附接到手背的手腕的背面)上的位置相对应的三维环境的视图内的第四位置(例如，与第二位置不同)处显示与一个或多个应用程序相对应的一个或多个通知(例如，一个或多个通知似乎覆盖或替换手背旁边手腕背面的一部分的显示，而多个控件似乎覆盖或替换手背的另一部分的显示)。在一些实施方案中，当在与手腕的位置相对应的第四位置处显示一个或多个通知时，计算机系统检测在与三维环境的视图中的第四位置相对应的位置处的手腕上的轻扫输入；并且响应于轻扫输入，计算机系统根据轻扫输入显示三维环境的视图中一个或多个通知(例如，通知似乎围绕手腕移动)在一个方向上的滚动(例如，一个或多个通知中的第一通知的至少一部分停止显示，并且作为滚动的结果，显示先前未显示的第二通知的至少一部分)。在与手腕的后侧上的位置相对应的三维环境内的第四位置处显示与一个或多个应用程序相对应的一个或多个通知，同时在与附接到手腕的手部背面上的位置相对应的三维环境内的第二位置处显示用于控制计算机系统功能的多个控件，并且响应于检测到手腕已从满足第一标准改变成满足第二标准，当满足一组条件时，在第四位置处显示一个或多个通知，而不需要进一步的用户输入(例如，进一步的用户输入以在手部的背面上的位置处显示一个或多个通知)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示与不同应用程序相对应的多个表示时，并且当手腕的内侧面向与三维环境的所述视图相对应的视点时，计算机系统检测在手腕的内侧上或其附近的轻扫手势(例如，在围绕手腕的方向上或者在沿着手腕的方向上)。响应于检测到在手腕的内侧上或其附近的轻扫手势，计算机系统在与手腕的内侧上或其附近的轻扫手势的方向相对应的方向上(例如，在手腕周围的方向上，或在沿着手腕的方向上)滚动与不同应用程序相对应的多个表示。在一些实施方案中，不同应用程序的表示被布置在手腕周围，并且响应于在手腕周围的方向上的轻扫输入，计算机系统根据轻扫输入在三维环境的视图中的方向上显示应用程序的一个或多个表示(例如，表示似乎围绕手腕移动)的滚动(例如，作为滚动的结果，用于第一应用程序的第一表示的至少一部分停止显示，并且先前未显示的用于第二应用程序的第二表示的至少一部分被显示)。在一些实施方案中，尽管应用程序的一些表示似乎已移动到三维环境的视图中的手腕后面的位置，但当手腕转动并且手腕的背面面向用户时，从手腕的内侧滚动的表示不显示在手腕的背面上。在一些实施方案中，不同应用程序的表示被沿着手臂的内侧布置，并且响应于在沿着连接到手腕的手臂内侧的方向上的轻扫输入，计算机系统根据轻扫输入在三维环境的视图中的方向上显示应用程序的一个或多个表示(例如，表示似乎沿着手臂移动)的滚动(例如，作为滚动的结果，用于第一应用程序的第一表示的至少一部分停止显示，并且先前未显示的用于第二应用程序的第二表示的至少一部分被显示)。响应于检测到在手腕的内侧上或其附近的轻扫手势，在与手腕的内侧上或其附近的轻扫手势的方向相对应的方向上滚动与不同应用程序相对应的多个表示，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于滚动或浏览与不同应用程序相对应的多个表示的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在与经由显示生成部件提供的三维环境的视图内的位置相对应的位置处检测到手腕的存在：根据确定当在与三维环境的视图内的位置相对应的位置处检测到连接到手腕内侧的手掌的存在时满足第二标准(例如，应用程序显示标准)，计算机系统在与连接到手腕内侧的手掌的至少一部分(例如，手掌也面对与三维环境的视图相对应的视点)相对应的三维环境的视图内的第五位置处显示第一应用程序的用户界面的视图(例如，图7B(B)中的第一应用程序的用户界面的第一视图7036)(例如，与不同应用程序相对应的多个表示似乎覆盖或替换手腕内侧的显示，而任选地，第一应用程序的用户界面似乎覆盖或替换附接到手腕的手掌的至少一部分的显示)。根据确定当在与三维环境的视图内的位置相对应的位置处检测到连接到手腕内侧的手掌的存在时满足第二标准，在与连接到手腕内侧的手掌的至少一部分相对应的三维环境的视图内的第五位置处显示第一应用程序的用户界面的视图，减少了在第五位置处显示第一应用程序的用户界面的视图所需的输入数量(例如，用户不需要执行附加输入来显示第一应用程序的用户界面的视图)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二标准要求手掌面向与三维环境的视图相对应的视点，以便满足第二标准。在一些实施方案中，当在与手掌的位置相对应的视图中的位置处显示第一应用程序的用户界面时，计算机系统检测到手掌停止面向与三维环境的视图相对应的视点(例如，手掌关闭或转动远离用户面部)。响应于检测到手掌停止面向与三维环境的视图相对应的视点，计算机系统停止在与手掌的位置相对应的视图内的位置处显示第一应用程序的用户界面。要求手掌面向与三维环境的视图相对应的视点以便满足第二标准，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于显示第一应用程序的用户界面的视图的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二标准要求注视输入指向连接到手腕内侧的手掌，以便满足第二标准。在一些实施方案中，当在与手掌的位置相对应的视图中的位置处显示第一应用程序的用户界面时，计算机系统检测到注视输入停止指向手掌。响应于检测到注视输入停止指向手掌，计算机系统停止在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象，包括与不同应用程序相对应的多个表示。要求注视输入指向连接到手腕内侧的手掌以便满足第二标准，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于显示第一应用程序的用户界面的视图的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面对象包括示能表示，当该示能表示被激活时(例如，通过指向手腕部分的点击输入，该手腕部分对应于该示能表示在三维环境的视图中的位置)，导致显示用于选择至少一个应用程序(或地方、体验或人)的用户界面，该应用程序的表示将被添加到第一用户界面对象。包括在被激活时导致显示用于选择至少一个应用程序的用户界面的示能表示，该应用程序的表示将被添加到第一用户界面对象，减少了显示用于选择至少一个应用程序(其表示将被添加到第一用户界面对象)的用户界面所需的输入数(例如，用户不需要执行附加输入来浏览菜单，以导致显示用于选择至少一个应用程序的用户界面，该应用程序的表示将被添加到第一用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象时，计算机系统检测到手腕的移动(例如，在物理环境中的移动，同时手腕保持面对用户)。响应于检测到手腕的移动：根据确定在与经由显示生成部件提供的三维环境的视图中的位置相对应的位置处存在手腕而继续满足第一标准(例如，图标显示标准)，计算机系统在三维环境的视图内移动第一用户界面对象，包括与不同应用程序相对应的多个表示，使得第一用户界面对象继续显示在与手腕上的第一位置相对应的位置处(例如，在三维环境的视图中，第一用户界面对象似乎卡在手腕上，并随着手腕的内侧移动)。根据确定在与经由显示生成部件提供的三维环境的视图中的位置相对应的位置处存在手腕而继续满足第一标准，在三维环境的视图内移动第一用户界面对象，包括与不同应用程序相对应的多个表示，使得第一用户界面对象继续显示在与手腕上的第一位置相对应的位置处，减少了在所期望的位置处显示第一用户界面对象和与不同应用程序相对应的多个表示所需的输入数量(例如，当用户手腕移动时，用户不需要执行附加输入来移动第一用户界面对象或与不同应用程序相对应的多个表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象时，计算机系统在与三维环境的视图中的第一用户界面对象的相应位置相对应的位置处检测手腕上或其附近的手势(例如，该手势是手腕上的轻弹手势)。响应于在与三维环境的视图中的第一用户界面对象的相应位置相对应的位置处检测手腕上或其附近的手势：根据确定手势满足第三标准(例如，轻弹手势标准)，计算机系统在独立于手腕位置的三维环境的视图中的第六位置处显示与不同应用程序相对应的多个表示(例如，在显示生成部件的视场中心的空间中的基座中显示多个表示，并且用户可以通过使用空中手势或结合微手势的注视与基座中的表示进行交互)。根据确定手腕上或其附近的手势满足第三标准，在独立于手腕位置的第六位置处显示与不同应用程序相对应的多个表示，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于在独立于手腕位置的第六位置处显示与不同应用程序相对应的多个表示的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与手腕上的第一位置相对应的三维环境的视图内的第一位置处显示第一用户界面对象时，并且根据确定预先确定的触敏设备(例如，带有触敏面板的手表)存在于手腕上的第一位置处(例如，腕表的触敏显示器存在于手腕的内侧上)，计算机系统禁用预先确定的触敏设备的触敏表面。在一些实施方案中，仅当第一用户界面对象的位置(或任选地，控件、通知、状态指示器等)(例如，在手腕的背面或手腕的内侧上)在三维环境的视图中与触敏设备的触敏表面的图像重叠时，计算机系统禁用预先确定的触敏设备的触敏表面。应当理解，对图10中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000和11000)所述的其他过程的细节同样以类似的方式适用于上文相对于图10所述的方法10000。例如，上文参考方法10000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000和11000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。根据确定预先确定的触敏设备存在于手腕上的第一位置处而禁用预先确定的触敏设备的触敏表面，减少了禁用预先确定的触敏设备的触敏表面所需的输入数量(例如，如果用户将手表佩戴在手腕上，则用户无需执行附加输入来禁用手表的触敏表面以防止意外输入)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
图11是根据一些实施方案的促进用户与多个用户之间共享的计算机生成的环境交互的方法(例如，包括基于用户界面对象与其相关联的用户之间的空间关系是否满足预设标准来显示或隐藏(或放弃显示)与另一用户相关联的用户界面对象)的流程图。
方法11000涉及改变是否将在三维环境中由一个用户(例如，在三维环境中激活该应用程序的控制用户)激活的应用程序的用户界面与另一用户共享，该另一用户也使用与第一用户所使用的不同的显示生成部件观看三维环境。在本发明方法中，是否在经由未激活应用程序的用户(例如，非控制用户)的显示生成部件显示的三维环境的视图中显示应用程序的用户界面的内容的决定，是基于应用程序的用户界面与控制用户之间是否存在空间关系(例如，用户界面与经由控制用户的显示生成部件提供的三维环境的当前显示视图的视点之间的空间关系)。例如，当应用程序的用户界面显示在由控制用户使用的第一显示生成部件提供的三维环境的视图中的位置时，其中该位置对应于控制用户的手掌(并且任选地，手掌面向控制用户，或者背离非控制用户等)，那么应用程序的用户界面对控制用户保持是私人的，并且不显示在由非控制用户使用的第二显示生成部件提供的三维环境的视图中。使用应用程序的用户界面与其控制用户之间的空间关系来确定是否在共享的三维环境中共享用户界面，允许用户协作和共享体验，而不会不必要地损害三维环境中显示的某些私人内容，并且还使得控制用户容易直观地控制和发布私人内容，而无需使用配置用户界面来调整三维环境中显示的每个用户界面的隐私设置。
在一些实施方案中，方法11000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120以及图7A至图7G中的显示生成部件7100、7200)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)、控制器、触敏表面、操纵杆、按钮等)。在一些实施方案中，计算机系统是集成设备，该集成设备具有封闭在与显示生成部件相同的外壳中的一个或多个处理器和存储器以及一个或多个输入设备中的至少一些输入设备。在一些实施方案中，计算机系统包括计算部件，该计算部件包括一个或多个处理器以及与显示生成部件分离的存储器以及/或者一个或多个输入设备。在一些实施方案中，显示生成部件以及一个或多个输入设备被集成并封装在同一外壳中。在一些实施方案中，方法11000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法11000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法11000中，当在三维环境的第一视图中向第一用户(例如，关于用户界面对象的非控制用户)(例如，第一计算机系统的用户)显示包括第二用户(例如，关于用户界面对象的控制用户)的表示(例如，通过第一显示生成部件的透明显示器的第二用户的视图，或围绕第一用户和第二用户的环境的相机视图，第二用户的虚拟表示，其在三维环境的第一视图内的空间位置对应于第二用户在物理环境中的真实空间位置等)的一个或多个用户界面对象(例如，应用程序、用户界面、虚拟对象、控件、信息项目、媒体项目等的表示)时，计算机系统接收(11002)显示三维环境的第二视图的请求(例如，接收显示三维环境的第二视图的请求，包括检测第二用户或第二用户的一部分在第二用户和与经由第一显示生成部件显示的三维环境的视图相对应的视点之间的相对移动(例如，视点对应于第一用户的头部或眼睛的位置)(例如，相对运动是第一用户的移动或第二用户在物理环境中的移动的结果))。
例如，如图7F所示，如果如本文所使用的“第二用户”是指用户7102，则如本文所使用的“第一用户”是指用户7002；并且如果如本文所使用的“第二用户”是指用户7002，则如本文所使用的“第一用户”是指用户7102。响应于接收显示三维环境的第二视图的请求(11004)，根据确定三维环境的第二视图包括与第一部分(例如，与第二用户相关联的用户界面对象(例如，呈现应用程序、媒体项目的用户界面或其他虚拟内容的对象)(例如，响应于由第二用户控制的第二计算系统的第二用户输入而显示的对象)的内容呈现侧(例如，正面或面对用户的侧)(例如，用户界面对象包括应用程序的用户界面(例如，应用程序的用户界面的第一视图7036，应用程序的用户界面的第一视图7236，应用程序的用户界面的第二视图7236”，应用程序的用户界面的第一视图7034”等)或应用程序的用户界面显示在其上的虚拟对象(例如，对象7034、7034”、7206或7206”中的一个))相对应的位置的确定，其中该位置不被三维环境中的其他对象或用户界面对象的其他部分遮挡(例如，如果显示，用户界面对象的第一部分将直接面对第一用户，并且/或者不被其他对象或用户界面对象的背面或侧面部分阻挡)，并且与第二用户相关联的用户界面对象满足相应的标准(例如，相应的标准对应于内容隐私策略，即在什么空间条件下，经由用户界面对象示出给第二用户的私人内容将在共享体验(例如，三维环境中的共享体验)中对第一用户可见)，计算机系统在该位置处(例如，包括用户界面对象的第一部分的用户界面对象在三维环境的第二视图中经由第一显示生成部件对第一用户可见)显示(11006)与第二用户(例如，用户界面对象的控制用户)相关联的用户界面对象，包括用户界面对象的第一部分，其中相应的标准包括当与第二用户相关联的用户界面对象与第二用户(例如，用户界面对象的控制用户)具有预先确定的空间关系时满足的标准(例如，该标准要求用户界面对象显示在靠近第二用户的位置处或物理环境中的墙壁上，而不是在第二用户手部中，或者用户界面对象背离第二用户，而不是朝向第二用户，以便满足标准)。
例如，如图7G所示，由用户7002控制的应用程序的用户界面的第一视图7036显示(例如，作为第一视图7036”)在经由非控制(例如，关于应用程序的用户界面的第一视图7036的非控制)用户7102使用的显示生成部件7200提供的三维环境的视图中。类似地，由用户7102控制的应用程序的用户界面的第二视图7236”显示(例如，作为用户界面的第二视图7236')在经由非控制(例如，关于应用程序的用户界面的第二视图7236”的非控制)用户7002使用的显示生成部件7100提供的三维环境的视图中。响应于接收显示三维环境的第二视图的请求(11004)，根据确定三维环境的第二视图包括与第二用户相关联的用户界面的第一部分相对应的位置，其中该位置不被三维环境中的其他对象或用户界面对象的其他部分遮挡(例如，如果显示，用户界面对象的第一部分将直接面对第一用户，并且/或者不被其他对象或用户界面对象的背面或侧面部分阻挡)，并且与第二用户相关联的用户界面对象不满足相应的标准(例如，相应的标准对应于内容隐私策略，即在什么空间条件下，经由用户界面对象示出给第二用户的私人内容将在共享体验(例如，三维环境中的共享体验)中对第一用户可见)，计算机系统放弃(10008)显示与第二用户(例如，用户界面对象的控制用户)相关联的用户界面对象的至少一部分，包括放弃显示用户界面对象的第一部分(例如，由于未满足相应的标准，用户界面对象的第一部分在三维环境的第二视图中被隐藏或遮挡(例如，通过视觉效果)，即使没有在该位置处显示其他对象或用户界面对象的其他部分来阻挡用户界面对象的第一部分的视图)。
例如，如图7F所示，由用户7002控制的应用程序的用户界面的第一视图7036不显示在经由非控制(例如，关于应用程序的用户界面的第一视图7036的非控制)用户7102使用的显示生成部件7200提供的三维环境的视图中。例如，由用户7102控制的应用程序的用户界面的第一视图7236不显示在经由非控制(例如，关于应用程序的用户界面的第一视图7236的非控制)用户7002使用的显示生成部件7100提供的三维环境的视图中。
在一些实施方案中，根据确定用户界面对象显示在经由第二显示生成部件(例如，第二用户所使用的第二计算机系统的显示生成部件，其与第一用户所使用的第一计算机系统共享三维环境的视图)显示的三维环境的相应视图内，并且用户界面对象在三维环境的相应视图中的相应位置不对应于第二用户的手部的位置(例如，手部的手掌位置)(例如，用户界面对象不显示在三维环境的相应视图中的位置处，作为覆盖或替换第二用户手部的视图)(例如，在经由第二显示生成部件显示的三维环境的相应视图中，用户界面对象显示为覆盖或替换第二用户附近的桌面视图，或覆盖或替换第二用户前面的墙壁视图)，满足该标准(或相应的标准)。这是使用以下示例来示出的，其中在经由显示生成部件7200提供的三维环境的视图中，由用户7102控制的应用程序的用户界面的第一视图7236被转换成应用程序的用户界面的第二视图7236”，并从与用户7102的手掌相对应的位置移动到与对象7014的顶表面相对应的位置，如图7G所示，使用户界面的第二视图显示在经由用户7002使用的显示生成部件提供的三维环境的视图中(例如，作为用户界面的第二视图7236')。根据确定用户界面对象显示在相应视图内并且用户界面对象在相应视图中的相应位置不对应于第二用户的手部的位置，在不被其他对象或者用户界面对象的其他部分遮挡的位置处显示与第二用户相关联的用户界面对象，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于显示或放弃显示与第二用户相关联的用户界面对象的至少一部分的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定在经由第二显示生成部件显示的三维环境的相应视图内显示用户界面对象，用户界面对象在三维环境的相应视图中的相应位置对应于第二用户的手部的位置(例如，手部的手掌的位置)，以及用户界面对象(例如，用户界面对象的第一部分)的内容侧面向与三维环境的相应视图中的三维环境的相应视图(例如，第一用户的头部或面部)相对应的视点(例如，用户界面对象经由第二显示生成部件显示在三维环境的相应视图中的位置处，覆盖或替换第二用户手部的视图，但是用户界面对象的正面面向三维环境中第一用户的位置)，满足该标准(或相应标准)。根据确定用户界面对象显示在相应视图内、对应于第二用户的手部的位置、以及用户界面对象的内容侧面向与三维环境的相应视图相对应的视点，在不被其他对象或者用户界面对象的其他部分遮挡的位置处显示与第二用户相关联的用户界面对象，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于显示或放弃显示与第二用户相关联的用户界面对象的至少一部分的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定在经由第二显示生成部件显示的三维环境的相应视图内显示用户界面对象，用户界面对象在三维环境的相应视图中的相应位置对应于第二用户的手部的位置(例如，手部的手掌的位置)，以及用户界面对象(例如，用户界面对象的第一部分)的内容侧不面向与三维环境的相应视图中的三维环境的相应视图(例如，第二用户的头部或面部)相对应的视点(例如，用户界面对象显示在三维环境的相应视图中的位置处，覆盖或替换第二用户手部的视图，但是用户界面对象的正面不面向三维环境中第二用户)，满足该标准(或相应标准)。这是使用以下示例来示出的，其中在经由显示生成部件7100提供的三维环境的视图中，由用户7002控制的应用程序的用户界面的第一视图7036从面向用户7002转动到背离用户7002，如图7G所示，使用户界面的第一视图7036显示在经由非控制用户7102使用的显示生成部件7200提供的三维环境的视图中(例如，作为用户界面的第一视图7036”)。根据确定用户界面对象显示在相应视图内、对应于第二用户的手部的位置、以及用户界面对象的内容侧不面向与三维环境的相应视图相对应的视点，在不被其他对象或者用户界面对象的其他部分遮挡的位置处显示与第二用户相关联的用户界面对象，提供了附加控制选项，而不会使UI与附加显示控件(例如，用于显示或放弃显示与第二用户相关联的用户界面对象的至少一部分的附加显示控件)混淆。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，放弃显示与第二用户相关联的用户界面对象的至少一部分包括显示三维环境的第二视图，而不在三维环境的第二视图中显示用户界面对象(例如，如经由第一显示生成部件显示的三维环境的第二视图根本不显示用户界面对象，即使与经由第二显示生成部件显示的三维环境的相应视图中的用户界面对象的位置相对应的位置也包括在经由第一显示生成部件示出的第二视图中)。显示三维环境的第二视图而不在三维环境的第二视图中显示用户界面对象，减少了放弃显示用户界面对象的输入数量(例如，用户不需要执行附加输入来放弃显示用户界面对象的各个部分)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，放弃显示与第二用户相关联的用户界面对象的至少一部分，包括在三维环境的第二视图中显示具有用户界面对象的指示(例如，用户界面对象的形状或轮廓)(例如，第一视图7236的指示7216，或图7F中第一视图7036的指示7204)的三维环境的第二视图，其中在用户界面对象的指示中，用户界面对象中的至少一部分内容(例如，用户界面对象的第一部分)被遮挡(例如，由于视觉效果而变暗或模糊)(例如，经由第一显示生成部件显示的三维环境的第二视图在经由第二显示生成部件显示的三维环境的相应视图中的用户界面对象的位置处示出用户界面对象的轮廓或半透明图像，但是经由第一显示生成部件显示的用户界面对象的轮廓或半透明图像不包括在经由第二显示生成部件显示的三维环境的相应视图中的用户界面对象上示出的私人内容)。在三维环境的第二视图中显示具有用户界面对象的指示的三维环境的第二视图，其中用户界面对象中的至少一部分内容在用户界面对象的指示中被遮挡，向用户提供改进的视觉反馈(例如，改进的视觉反馈，即与第二用户相关联的用户界面对象的第一部分相对应的位置被三维环境中的其他对象或用户界面对象的其他部分遮挡，或者与第二用户相关联的用户界面对象不满足相应的标准)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在经由第一显示生成部件显示三维环境的相应视图(例如，三维环境的第二视图)时，其中根据确定用户界面对象不满足相应的标准，放弃用户界面对象的至少一部分的显示(例如，用户界面对象的第一部分的显示)(例如，根本不显示或仅显示为其轮廓或半透明版本)(例如，在经由第二显示生成部件显示的三维环境的相应视图中，用户界面对象与第二用户不具有预先确定的空间关系)，计算机系统检测用户界面对象与第二用户之间的空间关系的第一变化(例如，第一变化是由于第二用户的移动，而不是第一用户的移动)。响应于检测用户界面对象与第二用户之间的空间关系的第一变化：根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第一位置(例如，用户界面对象的正面或内容侧)，确定第一位置不被经由第一显示生成部件显示的三维环境中的其他对象或用户界面对象的其他部分(例如，其他物理或虚拟对象，或用户界面对象的背面或侧面部分)遮挡，并且确定与第二用户相关联的用户界面对象满足相应的标准(例如，该变化是第二用户关于用户界面对象的动作的结果，而不是第一用户移动到相对于用户界面对象或第二用户的不同位置)，计算机系统经由第一显示生成部件在与第一位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分(例如，由于第二用户和用户界面对象的相对位置的变化(例如，第二用户的手部与用户界面对象之间的相对位置的变化，或者用户界面对象的正面与第二用户的面部的相对位置的变化)，未显示或遮挡的用户界面对象或其部分将变成显示在经由第一显示生成部件示出的三维环境的相应视图中)。例如，这在图7F至图7G中使用由用户7102激活的应用程序的用户界面来示出。
在一些实施方案中，响应于检测用户界面对象与第二用户之间的空间关系的第一变化：根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第一位置(例如，用户界面对象的正面或内容侧)，确定在经由第一显示生成部件显示的三维环境中，第一位置不被其他对象或用户界面对象的其他部分(例如，其他物理或虚拟对象，或用户界面对象的背面或侧面部分)遮挡，以及确定与第二用户相关联的用户界面对象不满足相应的标准，计算机系统不经由第一显示生成部件在与第一位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分(例如，如果用户界面对象未满足相应的标准(例如，如果第二用户的动作没有导致用户界面对象移动足够远，以表示第二用户打算与第一用户共享用户界面对象的视图)，则未显示或遮挡的用户界面对象或其部分仍然未显示在经由第一显示生成部件示出的三维环境的相应视图中)。
响应于检测到用户界面对象与第二用户之间的空间关系的第一变化，并且根据确定三维环境的相应视图包括与用户界面对象的第一部分相对应的第一位置，确定在三维环境中第一位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象满足相应标准，在与第一位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，减少了显示与第二用户相关联的用户界面对象(包括用户界面对象的第一部分)所需的输入数量(例如，当用户界面对象与第二用户之间的空间关系改变并且第一位置不被其他对象或用户界面对象的其他部分遮挡时，用户不需要执行附加输入来显示用户界面对象的第一部分)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测用户界面对象与第二用户之间的空间关系的第一变化包括，检测用户界面对象和与第二用户的位置相对应的三维环境的相应视图的位置之间的空间间隔的阈值量(例如，通过阈值距离(例如，10英寸)或定性阈值(例如，不在手上、在手臂长度之外等)(例如，用户界面对象不再显示在与第二用户或其一部分(例如，第二用户的手部或手掌)的位置相对应的位置处)。例如，这在图7F至图7G中使用由用户7102激活的应用程序的用户界面来示出。响应于检测到空间关系中的第一变化，该空间关系包括用户界面对象和与第二用户的位置相对应的三维环境的相应视图中的位置之间的空间间隔的阈值量，并且根据确定三维环境的相应视图包括与用户界面对象的第一部分相对应的第一位置，确定在三维环境中第一位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象满足相应标准，在与第一位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，减少了显示与第二用户相关联的用户界面对象(包括用户界面对象的第一部分)所需的输入数量(例如，当用户界面对象与第二用户之间的空间关系改变并且第一位置不被其他对象或用户界面对象的其他部分遮挡时，用户不需要执行附加输入来显示用户界面对象的第一部分)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当经由第一显示生成部件在与三维环境的相应视图中的第一位置相对应的位置处显示与第二用户相关联的用户界面对象(包括用户界面对象的第一部分)时(例如，当由于用户界面对象满足相应的标准，经由第一显示生成部件显示用户界面对象时)，计算机系统检测用户界面对象与第二用户之间的空间关系的第二变化(例如，第二变化是由于第二用户的移动，而不是第一用户的移动)。响应于检测用户界面对象与第二用户之间的空间关系中的第二变化：根据确定三维环境的相应视图包括与用户界面对象的第一部分相对应的第二位置，确定在三维环境中第二位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象不满足相应的标准(例如，该变化是第二用户关于用户界面对象的动作的结果，而不是第一用户相对于用户界面对象或第二用户移动到不同的位置)，计算机系统停止经由第一显示生成部件在与三维环境的相应视图中的第二位置相对应的位置处显示与第二用户相关联的用户界面对象的至少一部分，包括停止显示用户界面对象的第一部分(例如，即使用户界面对象仍然显示在与经由第二显示生成部件显示的三维环境的相应视图中的第二位置相对应的位置处)。
在一些实施方案中，第二用户提供输入以使用户界面对象返回到私人模式中，例如，通过提供将用户界面对象从附近表面或墙壁恢复到第二用户手部的手势，或将第二用户手掌转向第二用户面部，或背离第一用户面部。在一些实施方案中，响应于检测用户界面对象与第二用户之间的空间关系中的第二变化：根据确定三维环境的相应视图包括与用户界面对象的第一部分相对应的第二位置，确定在三维环境中第二位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象满足相应的标准，计算机系统保持经由第一显示生成部件在与三维环境的相应视图中的第二位置相对应的位置处显示与第二用户相关联的用户界面对象的至少一部分，包括保持显示用户界面对象的第一部分(例如，用户界面对象和用户界面对象的共享内容仍然显示在与经由第二显示生成部件显示的三维环境的相应视图中的第二位置相对应的位置处)。例如，如果第二用户提供输入，但该输入不满足将用户界面对象恢复到私人模式中的标准，例如，通过提供未成功地将用户界面对象从附近表面或墙壁恢复到第二用户手部的手势，或者没有将第二用户手掌转动得足以面向第二用户面部，或者背离第一用户面部，用户界面对象及其内容在输入之后仍然由第一用户观看。响应于检测用户界面对象与第二用户之间的空间关系中的第二变化，并且根据确定三维环境的相应视图包括与用户界面对象的第一部分相对应的第二位置，确定第二位置不被其他对象或用户界面对象的其他部分遮挡，并且确定与第二用户相关联的用户界面对象不满足相应的标准，停止在与第二位置相对应的位置处显示与第二用户相关联的用户界面对象的至少一部分，包括用户界面对象的第一部分，减少了停止显示用户界面对象的第一部分所需的输入数量(例如，当用户界面对象与第二用户之间的空间关系改变，并且与第二用户相关联的用户界面对象不满足相应的标准时，用户不需要执行附加输入来停止显示用户界面对象的第一部分)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当经由第一显示生成部件显示三维环境的相应视图时，其中根据确定用户界面对象不满足相应的标准而放弃用户界面对象的至少一部分(例如，用户界面对象的第一部分)的显示，计算机系统检测第二用户的第一手势，该第一手势在三维环境中移动用户界面对象(例如，转动第二用户的手掌)(例如，转动用户界面对象的正面远离第二用户面部(例如，与经由第二显示生成部件显示的三维环境的视图相对应的视点)并且/或者面向第一用户面部(例如，与经由第一显示生成部件显示的三维环境的视图相对应的视点))，而不在空间上将用户界面对象与对应于第二用户的位置的三维环境的相应视图中的位置分离(例如，用户界面对象仍显示在与第二用户或其一部分的位置相对应的位置处(例如，第二用户的手部或手掌，但通过第二用户的手势转向第一用户或远离第二用户的面部))。响应于检测到第二用户在三维环境中移动用户界面对象的第一手势：根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第三位置，确定在三维环境的相应视图中，第三位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象满足相应的标准(例如，相应标准包括当用户界面对象面向与经由第一显示生成部件显示的三维环境的相应视图相对应的视点时满足的标准，或者当用户界面对象背离与经由第二显示生成部件显示的三维环境的相应视图相对应的视点时满足的标准)，计算机系统经由第一显示生成部件在与三维环境的相应视图中的第二用户的位置相对应的位置处显示(例如，停止以放弃显示)与第二用户相关联的用户界面对象，包括用户界面对象的第一部分。例如，这在图7F至图7G中使用由用户7002激活的应用程序的用户界面来示出。响应于检测到第二用户在三维环境中移动用户界面对象的第一手势，并且根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第三位置，确定在三维环境的相应视图中第三位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象满足相应标准，在与三维环境的相应视图中的第二用户的位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，减少了在与第二用户的位置相对应的位置处显示与第二用户相关联的用户界面对象所需的输入数量(例如，除了第二用户移动用户界面对象的第一手势之外，第二用户不需要执行附加输入来显示用户界面对象的第一部分)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二用户的第一手势包括转动第二用户的手掌(例如，保持经由第二显示生成部件示出的三维环境的视图中的用户界面对象的手掌)朝向第一用户(并且/或者转动第二用户的手掌远离第二用户的面部)。响应于检测到第二用户的第一手势，包括将第二用户的手掌转向第一用户并在三维环境中移动用户界面对象，并且根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第三位置，确定在三维环境的相应视图中第三位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象满足相应标准，在与三维环境的相应视图中的第二用户的位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，减少了在与第二用户的位置相对应的位置处显示与第二用户相关联的用户界面对象所需的输入数量(例如，除了第二用户移动用户界面对象的第一手势之外，第二用户不需要执行附加输入来显示用户界面对象的第一部分)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当经由第一显示生成部件显示三维环境的相应视图时，其中根据确定用户界面对象满足相应的标准而显示(例如，不放弃)用户界面对象的至少一部分(例如，用户界面对象的第一部分)，计算机系统检测第二用户的第一手势，该第一手势在三维环境中移动用户界面对象(例如，转动第二用户的手掌)(例如，转动用户界面对象的正面朝向第二用户面部(例如，与经由第二显示生成部件显示的三维环境的视图相对应的视点)并且/或者远离第一用户面部(例如，与经由第一显示生成部件显示的三维环境的视图相对应的视点))，而不在空间上将用户界面对象与对应于第二用户的位置的三维环境的相应视图中的位置分离(例如，用户界面对象仍显示在与第二用户或其一部分的位置相对应的位置处(例如，第二用户的手部或手掌，但通过第二用户的手势转动远离第一用户或朝向第二用户的面部))。响应于检测到第二用户在三维环境中移动用户界面对象的第二手势：根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第四位置，确定在三维环境的相应视图中，第四位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象不满足相应的标准(例如，相应标准包括当用户界面对象面向与经由第一显示生成部件显示的三维环境的相应视图相对应的视点时满足的标准，或者当用户界面对象背离与经由第二显示生成部件显示的三维环境的相应视图相对应的视点时满足的标准)，计算机系统停止经由第一显示生成部件在与三维环境的相应视图中的第二用户的位置相对应的位置处显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分。响应于检测到第二用户在三维环境中移动用户界面对象的第二手势，并且根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第四位置，确定在三维环境的相应视图中第四位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象不满足相应标准，在与三维环境的相应视图中的第二用户的位置相对应的位置处停止显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，减少了停止显示与第二用户相关联的用户界面对象所需的输入数量，包括用户界面对象的第一部分(例如，除了移动用户界面对象的第二手势之外，用户不需要执行附加输入来停止显示用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二用户的第二手势包括转动第二用户的手掌(例如，保持经由第二显示生成部件示出的三维环境的视图中的用户界面对象的手掌)远离第一用户(并且/或者转动第二用户的手掌远离第二用户的面部)。响应于检测到第二用户的第二手势，包括转动第二用户的手掌远离第一用户并且在三维环境中移动用户界面对象，并且根据确定经由第一显示生成部件显示的三维环境的相应视图包括与用户界面对象的第一部分相对应的第四位置，确定在三维环境的相应视图中第四位置不被其他对象或用户界面对象的其他部分遮挡，以及确定与第二用户相关联的用户界面对象不满足相应标准，在与三维环境的相应视图中的第二用户的位置相对应的位置处停止显示与第二用户相关联的用户界面对象，包括用户界面对象的第一部分，减少了停止显示与第二用户相关联的用户界面对象所需的输入数量，包括用户界面对象的第一部分(例如，除了移动用户界面对象的第二手势之外，用户不需要执行附加输入来停止显示用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图11中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000和10000)所述的其他过程的细节同样以类似的方式适用于上文相对于图11所述的方法11000。例如，上文参考方法11000所述的手势、注视输入、物理对象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000和10000)所述的手势、注视输入、物理对象、用户界面对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
以上参考图8、图9、图10和图11所述的操作任选地由图1至图6中所描绘的部件来实施。在一些实施方案中，方法8000、9000、10000和11000的方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (13)

1.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的计算机系统处：
在与经由所述显示生成部件提供的三维环境的视图内的位置相对应的位置处检测手腕的存在；
响应于在与经由所述显示生成部件提供的所述三维环境的所述视图内的所述位置相对应的所述位置处检测到所述手腕的所述存在：
根据确定在与经由所述显示生成部件提供的所述三维环境的所述视图中的所述位置相对应的所述位置处存在的所述手腕满足第一标准，在与所述手腕上的所述第一位置相对应的所述三维环境的所述视图内的所述第一位置处，经由所述显示生成部件显示第一用户界面对象，所述第一用户界面对象包括与不同应用程序相对应的多个表示，其中所述第一标准要求所述手腕的内侧面向与经由所述显示生成部件提供的三维环境的所述视图相对应的视点；
当在与所述手腕上的所述第一位置相对应的所述三维环境的视图内的所述第一位置处显示所述第一用户界面对象时，检测所述手腕已从满足所述第一标准改变成满足第二标准，其中所述第二标准要求所述手腕的外侧面向与经由所述显示生成部件提供的所述三维环境的所述视图相对应的所述视点；以及
响应于检测到所述手腕已从满足所述第一标准改变成满足所述第二标准，从在与所述手腕上的所述第一位置相对应的所述三维环境的所述视图内的所述第一位置处显示所述第一用户界面对象切换到经由所述显示生成部件显示第二用户界面对象，所述第二用户界面对象包括用于在与附接到所述手腕的手背上的位置相对应的所述三维环境的所述视图内的第二位置处控制所述计算机系统的功能的多个控件。
2.根据权利要求1所述的方法，包括：
响应于检测到所述手腕已从满足所述第一标准改变成满足所述第二标准，在与附接到所述手腕的所述手背上的位置相对应的所述三维环境的所述视图内的第三位置处，显示与一个或多个应用程序相对应的一个或多个通知。
3.根据权利要求1所述的方法，包括：
当在与附接到所述手腕的所述手背上的所述位置相对应的所述三维环境的所述视图内的所述第二位置处显示用于控制所述计算机系统的所述功能的所述多个控件时，在与所述手腕的背面上的位置相对应的所述三维环境的所述视图内的第四位置处显示与一个或多个应用程序相对应的一个或多个通知。
4.根据权利要求1至3中任一项所述的方法，包括：
当在与所述手腕上的所述第一位置相对应的所述三维环境的所述视图内的所述第一位置处显示与不同应用程序相对应的多个表示时，并且当所述手腕的所述内侧面向与所述三维环境的所述视图相对应的所述视点时，检测在所述手腕的所述内侧上或其附近的轻扫手势；以及
响应于检测到在所述手腕的所述内侧上或其附近的所述轻扫手势，在与所述手腕的所述内侧上或其附近的所述轻扫手势的方向相对应的方向上滚动与不同应用程序相对应的所述多个表示。
5.根据权利要求1至3中任一项所述的方法，包括：
响应于在与经由所述显示生成部件提供的所述三维环境的所述视图内的所述位置相对应的所述位置处检测到所述手腕的所述存在：
根据确定当在与所述三维环境的所述视图内的位置相对应的位置处检测到连接到所述手腕的所述内侧的手掌的存在时满足所述第二标准，在与连接到所述手腕的所述内侧的所述手掌的至少一部分相对应的所述三维环境的所述视图内的第五位置处显示第一应用程序的所述用户界面的视图。
6.根据权利要求5所述的方法，其中所述第二标准要求所述手掌面向与所述三维环境的所述视图相对应的所述视点，以便满足所述第二标准。
7.根据权利要求5所述的方法，其中所述第二标准要求注视输入指向连接到所述手腕的所述内侧的所述手掌，以便满足所述第二标准。
8.根据权利要求1至3中任一项所述的方法，其中所述第一用户界面对象包括示能表示，当被激活时，所述示能表示导致显示用户界面，以选择要添加到所述第一用户界面对象的表示用于其上的至少一个应用程序。
9.根据权利要求1至3中任一项所述的方法，包括：
当在与所述手腕上的所述第一位置相对应的所述三维环境的所述视图内的所述第一位置处显示所述第一用户界面对象时，检测所述手腕的移动；以及
响应于检测到所述手腕的所述移动：
根据确定在与经由所述显示生成部件提供的所述三维环境的所述视图中的位置相对应的位置处存在所述手腕而继续满足所述第一标准，在所述三维环境的所述视图内移动所述第一用户界面对象，所述第一用户界面对象包括与不同应用程序相对应的多个表示，使得所述第一用户界面对象继续显示在与所述手腕上的所述第一位置相对应的位置处。
10.根据权利要求1至3中任一项所述的方法，包括：
当在与所述手腕上的所述第一位置相对应的所述三维环境的所述视图内的所述第一位置处显示所述第一用户界面对象时，在与所述三维环境的所述视图中的所述第一用户界面对象的相应位置相对应的位置处检测所述手腕上或其附近的手势；以及
响应于在与所述三维环境的所述视图中的所述第一用户界面对象的所述相应位置相对应的所述位置处检测到所述手腕上或其附近的所述手势：
根据确定所述手势满足第三标准，在独立于所述手腕的所述位置的所述三维环境的所述视图中的第六位置处，显示与不同应用程序相对应的所述多个表示。
11.根据权利要求1至3中任一项所述的方法，包括：
当在与所述手腕上的所述第一位置相对应的所述三维环境的所述视图内的所述第一位置处显示所述第一用户界面对象时，并且根据确定预先确定的触敏设备存在于所述手腕上的所述第一位置处，禁用所述预先确定的触敏设备的触敏表面。
12.一种电子设备，包括：
显示生成部件；
一个或多个输入设备；
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至11中任一项所述的方法的指令。
13.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由与显示生成部件和一个或多个输入设备通信的电子设备执行时，使得所述电子设备执行根据权利要求1至11任一项所述的方法。
CN202210817540.3A 2019-12-23 2020-12-11 用于在三维环境中显示应用程序的设备和方法 Pending CN115167676A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962953125P 2019-12-23 2019-12-23
US62/953,125 2019-12-23
US17/118,487 US11875013B2 (en) 2019-12-23 2020-12-10 Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US17/118,487 2020-12-10
PCT/US2020/064613 WO2021133572A1 (en) 2019-12-23 2020-12-11 Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
CN202080085441.XA CN114830066A (zh) 2019-12-23 2020-12-11 用于在三维环境中显示应用程序的设备、方法和图形用户界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080085441.XA Division CN114830066A (zh) 2019-12-23 2020-12-11 用于在三维环境中显示应用程序的设备、方法和图形用户界面

Publications (1)

Publication Number Publication Date
CN115167676A true CN115167676A (zh) 2022-10-11

Family

ID=76438071

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210817540.3A Pending CN115167676A (zh) 2019-12-23 2020-12-11 用于在三维环境中显示应用程序的设备和方法
CN202080085441.XA Pending CN114830066A (zh) 2019-12-23 2020-12-11 用于在三维环境中显示应用程序的设备、方法和图形用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080085441.XA Pending CN114830066A (zh) 2019-12-23 2020-12-11 用于在三维环境中显示应用程序的设备、方法和图形用户界面

Country Status (4)

Country Link
US (2) US11875013B2 (zh)
EP (1) EP4081883A1 (zh)
CN (2) CN115167676A (zh)
WO (1) WO2021133572A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661656A (zh) * 2023-08-02 2023-08-29 安科优选(深圳)技术有限公司 画面交互方法及摄像展示系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
EP3931676A4 (en) * 2019-04-11 2022-04-13 Samsung Electronics Co., Ltd. HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF
GB2589870A (en) * 2019-12-10 2021-06-16 Nokia Technologies Oy Placing a sound within content
US11449131B2 (en) * 2020-07-28 2022-09-20 Qualcomm Incorporated Obfuscated control interfaces for extended reality
US11106328B1 (en) * 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US11656690B2 (en) * 2021-03-05 2023-05-23 MediVis, Inc. User input and virtual touch pad in augmented reality for use in surgical settings
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
CN115129371A (zh) * 2021-03-23 2022-09-30 北京小米移动软件有限公司 一种屏幕唤醒方法、屏幕唤醒装置及存储介质
US11361519B1 (en) * 2021-03-29 2022-06-14 Niantic, Inc. Interactable augmented and virtual reality experience
US20220345591A1 (en) * 2021-04-22 2022-10-27 David Shau Underwater Camera Operations
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
EP4377772A1 (en) * 2021-08-27 2024-06-05 Apple Inc. Displaying and manipulating user interface elements
US20230093979A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
US11934569B2 (en) * 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11550406B1 (en) * 2021-10-14 2023-01-10 Autodesk, Inc. Integration of a two-dimensional input device into a three-dimensional computing environment
US11836828B2 (en) * 2021-10-29 2023-12-05 Meta Platforms Technologies, Llc Controlling interactions with virtual objects
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
US20230206572A1 (en) * 2021-12-23 2023-06-29 Apple Inc. Methods for sharing content and interacting with physical devices in a three-dimensional environment
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US20230315247A1 (en) * 2022-02-16 2023-10-05 Apple Inc. Devices, Methods, and Graphical User Interfaces for Accessing System Functions of Computer Systems While Displaying Three-Dimensional Environments
WO2023230291A2 (en) * 2022-05-26 2023-11-30 Apple Inc. Devices, methods, and graphical user interfaces for user authentication and device management
CN115061771A (zh) * 2022-08-17 2022-09-16 统信软件技术有限公司 一种显示方法、装置、计算设备及存储介质
WO2024064373A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with window controls in three-dimensional environments
US11704014B1 (en) * 2022-11-01 2023-07-18 Dell Products L.P. Supporting micro swipes for generating custom user interface responses

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101674957B1 (ko) 2010-08-31 2016-11-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10416776B2 (en) * 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
JP6093473B1 (ja) 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN106951153B (zh) * 2017-02-21 2020-11-20 联想(北京)有限公司 一种显示方法及电子设备
US10754418B1 (en) * 2018-04-11 2020-08-25 Amazon Technologies, Inc. Using body surfaces for placing augmented reality content
US10902250B2 (en) * 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
US11003307B1 (en) * 2019-06-07 2021-05-11 Facebook Technologies, Llc Artificial reality systems with drawer simulation gesture for gating user interface elements

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661656A (zh) * 2023-08-02 2023-08-29 安科优选(深圳)技术有限公司 画面交互方法及摄像展示系统
CN116661656B (zh) * 2023-08-02 2024-03-12 安科优选(深圳)技术有限公司 画面交互方法及摄像展示系统

Also Published As

Publication number Publication date
US20240094866A1 (en) 2024-03-21
WO2021133572A1 (en) 2021-07-01
CN114830066A (zh) 2022-07-29
US11875013B2 (en) 2024-01-16
US20210191600A1 (en) 2021-06-24
EP4081883A1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN114721470A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN117043713A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US11720171B2 (en) Methods for navigating user interfaces
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230114043A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240184356A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240103682A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
WO2023049111A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN118056173A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN118043766A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination