CN111095165A - 用于与增强和虚拟现实环境交互的系统、方法和图形用户界面 - Google Patents

用于与增强和虚拟现实环境交互的系统、方法和图形用户界面 Download PDF

Info

Publication number
CN111095165A
CN111095165A CN201880055301.0A CN201880055301A CN111095165A CN 111095165 A CN111095165 A CN 111095165A CN 201880055301 A CN201880055301 A CN 201880055301A CN 111095165 A CN111095165 A CN 111095165A
Authority
CN
China
Prior art keywords
user interface
computer system
input
virtual
interface object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880055301.0A
Other languages
English (en)
Inventor
M·K·豪恩斯坦
J·A·玛丽亚
J·米斯格
M·克伦
L·R·T·格灵
A·奥夫南
M·斯陶贝尔
J·T·伯恩斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202211171090.1A priority Critical patent/CN115562483A/zh
Priority to CN202010919245.XA priority patent/CN112034988B/zh
Priority claimed from PCT/US2018/048884 external-priority patent/WO2019046597A1/en
Publication of CN111095165A publication Critical patent/CN111095165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种计算机系统在增强现实环境中同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，该表示随着视场内容的变化而被更新；以及虚拟用户界面中基于视场中相应物理对象的位置确定的相应位置处的相应虚拟用户界面对象。在对应于所显示的相应虚拟用户界面对象的位置处检测到输入的同时，响应于检测到输入相对于一个或多个相机的视场中的相应物理对象的移动，该系统根据输入相对于相应物理对象的移动量值来调节相应虚拟用户界面对象的外观。

Description

用于与增强和虚拟现实环境交互的系统、方法和图形用户 界面
技术领域
本发明总体涉及用于虚拟/增强现实的计算机系统，包括但不限于用于和增强现实环境与虚拟现实环境交互的电子设备。
背景技术
近年来，用于虚拟/增强现实的计算机系统的发展显著增加。示例虚拟/增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备诸如触敏表面用于与虚拟/增强现实环境进行交互。示例触敏表面包括触控板、触敏遥控器和触摸屏显示器。此类表面用于操纵显示器上的用户界面和其中的对象。示例性用户界面对象包括数字图像、视频、文本、图标和控制元件(诸如，按钮)以及其他图形。
但用于与包括至少一些虚拟元素的环境(例如，增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，使用输入序列来选择一个或多个用户界面对象(例如，虚拟/增强现实环境中的一个或多个虚拟元素)并且对所选择的用户界面对象执行一个或多个动作是繁琐的，给用户造成显著的认知负担，并且减损与虚拟/增强现实环境的体验。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有用于与增强现实环境和虚拟现实环境进行交互的改进的方法和界面的计算机系统。此类方法和界面任选地补充或替换用于与增强现实环境和虚拟现实环境进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。
利用所公开的计算机系统减少或消除了与用于虚拟/增强现实的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，该计算机系统包括台式计算机。在一些实施方案中，该计算机系统是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该计算机系统包括个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该计算机系统具有触控板(和/或与触控板通信)。在一些实施方案中，该计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与触敏显示器通信)。在一些实施方案中，该计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在具有显示生成部件、一个或多个相机以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境。显示增强现实环境包括同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，其中该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处的相应虚拟用户界面对象，其中相应虚拟用户界面对象具有基于一个或多个相机的视场中的相应物理对象而确定的位置。该方法还包括，在显示增强现实环境的同时，在对应于相应虚拟用户界面对象的位置处检测输入。该方法还包括，在继续检测输入的同时：检测输入相对于一个或多个相机的视场中的相应物理对象的移动；以及响应于检测到输入相对于一个或多个相机的视场中的相应物理对象的移动，根据输入相对于相应物理对象的移动量值来调节相应虚拟用户界面对象的外观。
根据一些实施方案，在具有显示生成部件、一个或多个相机以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境。显示增强现实环境包括同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，其中该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处的相应虚拟用户界面对象，其中相应虚拟用户界面对象具有基于一个或多个相机的视场中的相应物理对象而确定的位置。该方法还包括，在显示增强现实环境的同时，检测改变用于增强现实环境的虚拟环境设置的输入。该方法还包括，响应于检测到改变虚拟环境设置的输入：根据对增强现实环境的虚拟环境设置所作的改变来调节相应虚拟用户界面对象的外观；以及将滤波器应用于一个或多个相机的视场表示的至少一部分，其中基于对虚拟环境设置作出的改变来选择滤波器。
根据一些实施方案，在具有显示生成部件、一个或多个相机以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境。显示增强现实环境包括同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，其中该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中第一虚拟用户界面对象具有基于一个或多个相机的视场中的相应物理对象而确定的位置。该方法还包括，在显示增强现实环境的同时，检测对应于对第一虚拟用户界面对象的选择的第一输入；以及响应于检测到对应于对第一虚拟用户界面对象的选择的第一输入，从虚拟模型中的第一虚拟用户界面对象的视角显示虚拟模型的模拟视场。
根据一些实施方案，在具有显示生成部件和输入设备的计算机系统处执行一种方法。该方法包括，经由显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象。该方法还包括，在虚拟三维空间中显示第一虚拟用户界面对象时，经由输入设备来检测第一输入，该第一输入包括第一虚拟用户界面对象的相应部分的选择和第一输入在两个维度中的移动。该方法还包括，响应于检测到包括第一输入在两个维度中的移动的第一输入：根据确定第一虚拟用户界面对象的相应部分是第一虚拟用户界面对象的第一部分，在基于第一输入在两个维度中的移动和第一虚拟用户界面对象的被选择的第一部分确定的第一方向上调节第一虚拟用户界面对象的外观，其中将第一虚拟用户界面对象在第一方向上的调节约束为虚拟三维空间的第一组两个维度中的移动；以及根据确定第一虚拟用户界面对象的相应部分是不同于第一虚拟用户界面对象的第一部分的第一虚拟用户界面对象的第二部分，在不同于第一方向的第二方向上调节第一虚拟用户界面对象的外观，其中基于第一输入在两个维度中的移动和第一虚拟用户界面对象被选择的第二部分确定第二方向，其中将第一虚拟用户界面对象在第二方向上的调节约束为在虚拟三维空间的不同于虚拟三维空间的第一组两个维度的第二组两个维度中的移动。
根据一些实施方案，在具有显示生成部件、一个或多个姿态传感器以及输入设备的计算机系统处执行一种方法。该方法包括，经由显示生成部件以第一查看模式显示相对于计算机系统的物理环境取向的模拟环境，其中以第一查看模式显示模拟环境包括在虚拟模型中显示第一虚拟用户界面对象，该虚拟模型显示在与计算机系统的物理环境相关联的模拟环境中的第一相应位置处。该方法还包括，在显示模拟环境的同时，经由一个或多个姿态传感器来检测计算机系统的至少一部分的姿态相对于物理环境的第一变化；以及响应于检测到计算机系统的该部分的姿态的第一变化，改变虚拟模型中的第一虚拟用户界面对象的外观，以便在第一虚拟用户界面对象和物理环境之间保持固定空间关系。该方法还包括在基于计算机系统的该部分的姿态的第一变化来改变第一虚拟用户界面对象的外观之后，经由输入设备来检测对应于与模拟环境的交互的第一手势；以及响应于检测到对应于与模拟环境的交互的第一手势，在模拟环境中执行对应于第一手势的操作。此外，该方法包括，在执行对应于第一手势的操作之后，经由一个或多个姿态传感器来检测计算机系统的该部分相对于物理环境的姿态的第二变化；以及响应于检测到计算机系统的该部分的姿态的第二变化：根据确定第一手势满足模式更改标准，从以第一查看模式显示模拟环境(包括虚拟模型)过渡到以第二查看模式显示模拟环境(包括虚拟模型)，其中该模式更改标准包括要求第一手势对应于改变模拟环境相对于物理环境的空间参数的输入，其中以第二查看模式显示模拟环境中的虚拟模型包括放弃改变第一虚拟用户界面对象的外观以保持第一虚拟用户界面对象和物理环境之间的固定空间关系；以及根据确定第一手势不满足模式更改标准，继续以第一查看模式在模拟环境中显示第一虚拟模型，其中以第一查看模式显示虚拟模型包括响应于计算机系统的该部分的姿态相对于物理环境的第二变化来改变虚拟模型中的第一虚拟用户界面对象的外观，以便保持第一虚拟用户界面对象与物理环境之间的固定空间关系。
根据一些实施方案，在具有第一显示生成部件、一个或多个第一姿态传感器以及第一输入设备的第一计算机系统处执行一种方法。该方法包括，经由第一计算机系统的第一显示生成部件显示相对于第一计算机系统的第一物理环境取向的模拟环境，其中显示模拟环境包括同时显示：在与第一计算机系统的第一物理环境相关联的模拟环境中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象；以及模拟环境的第二计算机系统的查看视角的视觉指示，其中第二计算机系统是具有第二显示生成部件、一个或多个第二姿态传感器和第二输入设备的计算机系统，该第二计算机系统经由第二计算机系统的第二显示生成部件正在显示相对于第二计算机系统的第二物理环境取向的模拟环境的视图。该方法还包括：在经由第一计算机系统的第一显示生成部件显示模拟环境时，基于第二计算机系统的一部分的姿态相对于第二计算机系统的第二物理环境的变化来检测模拟环境的第二计算机系统的查看视角的变化。该方法还包括，响应于基于第二计算机系统的该部分的姿态相对于第二计算机系统的物理环境的变化而检测到模拟环境的第二计算机系统的查看视角的变化，根据模拟环境的第二计算机系统的查看视角的变化来更新经由第一计算机系统的第一显示生成部件所显示的模拟环境的第二计算机系统的查看视角的视觉指示。
根据一些实施方案，在具有显示生成部件、一个或多个姿态传感器以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示模拟环境。该方法还包括在显示模拟环境的同时，经由输入设备来检测指向模拟环境中的相应位置的第一输入。该方法还包括，响应于检测到指向模拟环境中的相应位置的第一输入：根据确定第一输入是第一输入类型并且第一输入是在模拟环境中的不同于模拟环境中插入光标的当前位置的第一位置处检测到的，在第一位置处显示插入光标；以及根据确定第一输入是第一输入类型并且第一输入是在模拟环境中的与插入光标的当前位置对应的第二位置处检测到的，在第二位置处插入第一对象并将插入光标移动到第一对象上的第三位置。
根据一些实施方案，在具有显示生成部件、一个或多个相机以及一个或多个姿态传感器的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境，其中显示增强现实环境包括同时显示：包括物理对象的一个或多个相机的视场的至少一部分的表示，并且该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处的虚拟用户界面对象，其中基于一个或多个相机的视场表示中包括的物理对象和虚拟用户界面对象之间的固定空间关系来确定一个或多个相机的视场表示中的虚拟用户界面对象的相应位置。该方法还包括，在显示增强现实环境的同时，经由一个或多个姿态传感器来检测计算机系统的至少一部分的姿态相对于计算机系统的物理环境的第一变化。该方法还包括，响应于检测到计算机系统的该部分的姿态相对于计算机系统的物理环境的第一变化，根据计算机系统的该部分的姿态的第一变化来更新增强现实环境，其中：根据确定在非稳定操作模式中显示增强显示环境，根据计算机系统的该部分姿态的第一变化来更新增强现实环境包括：将一个或多个相机的视场的该部分的表示更新第一调节量，该第一调节量基于计算机系统的该部分的姿态相对于计算机系统的物理环境的第一变化；以及将虚拟用户界面对象的相应位置更新到为了保持一个或多个相机视场表示中包括的物理对象和虚拟用户界面对象之间的固定空间而选择的位置；以及根据确定增强现实环境是在稳定操作模式下显示的，根据计算机系统的该部分的姿态的第一变化来更新增强现实环境包括：将一个或多个相机的视场的该部分的表示更新第二调节量，该第二调节量基于计算机系统的该部分的姿态相对于计算机系统的物理环境的第一变化并且小于第一调节量；以及将虚拟用户界面对象的相应位置更新到为了保持一个或多个相机视场表示中包括的物理对象和虚拟用户界面对象之间的固定空间关系而选择的位置。
根据一些实施方案，一种计算机系统包括显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，连续提供相机视野内的至少一部分内容的实时预览并且可选地生成包括捕获相机视野内的内容的一个或多个图像帧流的视频输出的摄影机)，以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器、可选的一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器(和/或与这些部件通信)；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，这些指令当由包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器，以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统执行时，使得该计算机系统执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施方案，在包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器、可选的一个或多个触觉输出发生器、存储器以及用以执行存储在存储器中的一个或多个程序的一个或多个处理器(和/或与这些部件通信)的计算机系统上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元素，这一个或多个元素响应于输入进行更新，如本文所述的任何方法中所描述的。根据一些实施方案，计算机系统包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器、可选的一个或多个触觉输出发生器以及用于执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行的装置(和/或与这些部件通信)。根据一些实施方案，用于在包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统中使用的信息处理装置包括用于执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行的装置。
因此，具有显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器，以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统提供有用于与增强现实环境和虚拟现实环境交互的改进的方法和界面，从而提高此类计算机系统的有效性、效率和用户满意度。此类方法和界面可以补充或替换用于与增强现实环境和虚拟现实环境交互的常规方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图3B-图3C为根据一些实施方案的示例性计算机系统的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例用户界面。
图4C-图4E示出了根据一些实施方案的动态强度阈值的实施例。
图5A1-图5A40示出了根据一些实施方案的示例用户界面，该用户界面用于显示增强现实环境，并且响应于不同输入来调节增强现实环境的外观和/或增强现实环境中的对象的外观，以及在查看增强现实环境中的虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间进行转换。
图5B1-图5B41示出了根据一些实施方案，用于虚拟用户界面对象的三维操纵的系统和用户界面的实施例。
图5C1-图5C30示出了根据一些实施方案，用于在所显示的模拟环境的查看模式之间转换的系统和用户界面的实施例。
图5D1-图5D14C示出了根据一些实施方案，供多个用户与所显示的模拟环境中的虚拟用户界面对象进行交互的系统和用户界面的实施例。
图5E1-图5E32示出了根据一些实施方案，用于放置插入光标的系统和用户界面的实施例。
图5F1-图5F17b示出了根据一些实施方案，用于以稳定操作模式显示增强现实环境的系统和用户界面的实施例。
图6A-图6D是根据一些实施方案用于调节增强现实环境中的虚拟用户界面对象的外观的过程的流程图。
图7A-图7C是根据一些实施方案用于在增强现实环境中由计算机系统的一个或多个相机捕获的实时图像上应用滤波器的过程的流程图。
图8A-图8C是根据一些实施方案用于在增强现实环境中查看虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间转换的过程的流程图。
图9A-图9E是根据一些实施方案用于虚拟用户界面对象的三维操纵的过程的流程图。
图10A-图10E是根据一些实施方案用于在所显示的模拟环境的查看模式之间转换的过程的流程图。
图11A-图11C是根据一些实施方案用于在由第一计算机系统所显示的模拟环境中更新第二计算机系统的查看视角的指示的过程的流程图。
图12A-图12D是根据一些实施方案用于放置插入光标的过程的流程图。
图13A-图13E是根据一些实施方案用于以稳定操作模式显示增强现实环境的过程的流程图。
具体实施方式
增强现实环境是一种环境，在此环境中，使用向用户提供在物理世界中没有的额外信息的补充信息来增强现实。与增强现实环境交互的常规方法(例如，访问补充信息)通常需要多个单独的输入(例如，手势和按钮按压的序列等)以实现预期结果。此外，常规输入方法的范围通常是有限的(例如，通过计算机系统的触敏显示器的尺寸受限)。本文的实施方案提供了一种供用户与增强现实环境进行交互的直观方式(例如，通过基于计算机系统的移动和计算机系统的输入设备(例如，触摸屏显示器)上接触的移动的组合来调节虚拟用户界面对象的外观，以及通过在计算机系统的一个或多个相机捕获的实时图像上实时应用滤波器，其中基于用于增强现实环境的虚拟环境设置来选择滤波器)。
另外，与虚拟/增强现实环境的常规交互通常限于单一视角(例如，从穿戴/保持设备的用户的视角)。本文的实施方案通过在虚拟现实环境中从虚拟用户界面对象的视角(例如，从汽车或增强现实环境中的人的视角)呈现(例如，物理对象的)虚拟模型的模拟视图来提供更沉浸且直观的方式来体验虚拟/增强现实环境。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。例如，它们使得更容易：显示增强现实环境，并且响应于不同的输入来调节增强现实环境和/或其中的对象的外观；在增强现实环境中查看虚拟模型与从虚拟模型中的对象的视角查看虚拟模型的模拟视图之间转换；以及虚拟用户界面对象的三维操纵。
下面，图1A-图1B、图2以及图3A-图3B提供了对示例性设备的描述。根据一些实施方案，图4A-图4B、图5A1-图5A40、图5B1-图5B41、图5C1-图5C30、图5D1-图5D14、图5E1-图5E32以及图5F1-图5F17示出了根据一些实施方案，供多个用户与所显示的模拟环境中的虚拟用户界面对象交互的系统和用户界面的实施例，示出了用于与增强和虚拟现实环境交互的示例用户界面，包括显示增强现实环境，以及响应于不同输入，调节增强现实环境的外观和/或增强现实环境中对象的外观，在增强现实环境中查看虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间转换，以及对虚拟用户界面对象的三维操纵。图6A-图6D示出了根据一些实施方案调节增强现实环境中的虚拟用户界面对象外观的方法的流程图。图7A-图7C示出了根据一些实施方案在增强现实环境中由计算机系统的一个或多个相机捕获的实时图像上应用滤波器的方法的流程图。图8A-图8C示出了根据一些实施方案在增强现实环境中查看虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间转换的方法的流程图。图9A-图9E示出了根据一些实施方案的虚拟用户界面对象的三维操纵的方法的流程图。图10A-图10E示出了根据一些实施方案在所显示的模拟环境的查看模式之间转换的方法的流程图。图11A-图11C示出了根据一些实施方案在由第一计算机系统所显示的模拟环境中更新第二计算机系统的查看视角的指示的方法的流程图。图12A-图12D示出了根据一些实施方案放置插入光标的方法的流程图。图13A-图13E示出了根据一些实施方案以稳定操作模式显示增强现实环境的方法的流程图。
图5A1-图5A40、图5B1-图5B41、图5C1-图5C30、图5D1-图5D14、图5E1-图5E32以及图5F1-图5F17中的用户界面用于示出图6A-图6D、图7A-图7C、图8A-图8C、图9A-图9E、图10A-图10E、图11A-图11C、图12A-图12D以及图13A-图13E中的过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”后“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
用于虚拟/增强现实的计算机系统包括产生虚拟/增强现实环境的电子设备。本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的
Figure BDA0002391690210000121
iPod
Figure BDA0002391690210000122
和
Figure BDA0002391690210000123
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型计算机或平板计算机。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触控板)的台式计算机，其还包括一个或多个相机或与其通信。
在下面的讨论中，描述了一种计算机系统，其包括具有显示器和触敏表面(和/或与这些部件通信)的电子设备。然而，应当理解，该计算机系统可选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机。
该设备通常支持各种应用程序，诸如以下中的一者或多者：游戏应用程序、笔记记录应用程序、绘图应用程序、演示文稿应用程序、文字处理应用程序、电子表格应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及由所述设备显示的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100可选地包括一个或多个光学传感器164(例如，作为一个或多个相机的一部分)。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器163(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 120。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、一个或多个CPU 120、和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。一个或多个输入控制器160从其他输入或控制设备116接收电信号或者将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一些实施方案中，在触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0002391690210000163
iPod
Figure BDA0002391690210000161
和
Figure BDA0002391690210000162
中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，为500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触控板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100可选地还包括一个或多个光学传感器164(例如，作为一个或多个相机的一部分)。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些实施方案中，一个或多个触觉输出发生器163包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括用于获得关于设备的位置(例如，姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如，作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地，传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100可选地包括用于获得关于设备100的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。
在一些实施方案中，存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图在1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其他信息占据触敏显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他输入或控制设备116获得的信息；以及关于设备的位置和/或姿态的位置和/或方位信息。
操作系统126(例如，iOS、Android、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128便于通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0002391690210000198
iPod
Figure BDA0002391690210000197
和
Figure BDA0002391690210000193
设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0002391690210000194
iPod
Figure BDA0002391690210000199
和
Figure BDA0002391690210000196
设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些电子设备中所使用的USB C型连接器相同或类似和/或兼容的USB C型连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触控板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触控板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中，检测手指轻击手势取决于检测手指按下事件与手指抬起事件之间的时间长度，但是与检测手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中，根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、0.4或0.5秒)，检测轻击手势，而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值)，例如轻按压或深按压强度阈值。因此，手指轻击手势可以满足特定输入标准，该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见，轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件，低于该标称接触检测强度阈值时，不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面上方悬停的手指或触笔接触的情况下，标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如，可基于满足与手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、展开手势和/或长按压手势。例如，基于一个或多个接触的移动的量来检测轻扫手势；缩放手势基于两个或更多个接触朝彼此的移动来检测；扩放手势基于两个或更多个接触背离彼此的移动来检测；长按压手势基于触敏表面上具有少于阈值移动量的接触的持续时间来检测。因此，关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足，并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中，基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势，而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值，并且基于确定接触移动大于预定义量值来检测轻扫手势，即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如，当接触的强度高于强度阈值时，设备更快地检测到长按压，或者当接触的强度更高时，设备会延迟对轻击输入的检测)，只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准，则对这些手势的检测也不会要求接触达到特定强度阈值(例如，即使识别手势所需的时间量发生变化)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合，以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势，使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估，以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如，在某些情况下，第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在此类竞争中，如果第二手势的第二手势识别标准首先得到满足，则手势任选地不被识别为满足第一手势的第一手势识别标准。例如，如果在接触移动预定义的移动量之前接触达到相应的强度阈值，则检测到深按压手势而不是轻扫手势。相反，如果在接触达到相应的强度阈值之前接触移动预定义的移动量，则检测到轻扫手势而不是深按压手势。即使在此类情况下，第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准，因为如果接触保持低于相应的强度阈值直到手势结束(例如，具有不会增大到高于相应强度阈值的强度的接触的轻扫手势)，手势将被第一手势识别标准识别为轻扫手势。因此，不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下，忽略相对于强度阈值的接触强度(例如，对于轻击手势而言)和/或(B)在某些情况下，如果在特定手势识别标准识别与输入对应的手势之前，一组竞争的强度相关手势识别标准(例如，对于深按压手势而言)将输入识别为与强度相关手势对应，则不能满足特定手势识别标准(例如，对于长按压手势而言)，从这个意义上来讲，仍然取决于相对于强度阈值的接触强度(例如，对于与深按压手势竞争识别的长按压手势而言)。
结合加速度计167、陀螺仪168和/或磁力仪169，姿态模块131任选地检测关于设备的姿态信息，诸如在特定参考系中设备的姿态(例如滚转、仰俯和/或偏航)。姿态模块131包括用于执行与检测设备位置以及检测设备姿态变化相关的各种操作的软件部件。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令(例如，由触觉反馈控制器161使用的指令)的各种软件部件，以响应于用户与设备100的交互而使用一个或多个触觉输出发生器163在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供这种信息以在各种应用程序中使用(例如，提供至用于基于位置的拨号的电话138；提供至相机143作为图片/视频元数据；以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。
虚拟/增强现实模块145向实现增强现实特征，并且在一些实施方案中实现虚拟现实特征的应用程序136提供虚拟和/或增强现实逻辑部件。虚拟/增强现实模块145促进虚拟内容在一个或多个相机的视野的至少一部分的表示上的叠加，虚拟内容诸如虚拟用户界面对象。例如，在虚拟/增强现实模块145的帮助下，一个或多个相机的视野的至少一部分的表示可以包括相应的物理对象，并且虚拟用户界面对象可以在显示的增强现实环境中显示在基于一个或多个相机的视野中的相应物理对象而确定的位置处，或显示在基于计算机系统的至少一部分的姿态(例如，用于向计算机系统的用户显示用户界面的显示设备的姿态)确定的虚拟现实环境中。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5和由用户获得的其他桌面小程序，以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·任选地由视频播放器模块和音乐播放器模块构成的视频和音乐播放器模块152；
·记事本模块153；
·地图模块154；以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息，以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及视频和音乐播放器模块152，健身支持模块142包括可执行指令用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏112上或在无线连接的或经由外部端口124连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上面未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触控板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、主屏幕菜单或根菜单。在此类实施方案中，使用触敏表面来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触敏表面。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3A)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个实施例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个实施例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，对相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频或音乐播放器模块152中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触控板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；基于对由一个或多个相机获得的视频图像的实时分析的输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在图中未按比例绘制)或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204(有时称为主屏幕按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器163。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是游戏系统、膝上型计算机、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器可选地为触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器163)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器、和/或类似于以上参考图1A所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子集。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3A中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的指令集。上述所识别的模块或程序(即，指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上面未描述的另外的模块和数据结构。
图3B-图3D是根据一些实施方案的示例性计算机系统301的框图。
在一些实施方案中，计算机系统301包括以下部件和/或与之通信：
·输入设备(302和/或307，例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器，和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机；
·虚拟/增强现实逻辑部件303(例如，虚拟/增强现实模块145)；
·显示生成部件(304和/或308，例如，显示器、投影仪、平视显示器等)，用于向用户显示虚拟用户界面元素；
·用于捕获设备的视野的图像的相机(例如，305和/或311)，例如，用于确定虚拟用户界面元素的放置、确定设备的姿态和/或显示相机所在物理环境的一部分的图像；以及
·姿态传感器(例如，306和/或311)，用于确定设备相对于物理环境的姿态和/或设备姿态的变化。
在一些计算机系统(例如，图3B中的301-a)中，输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304、相机305；以及姿态传感器306均集成到计算机系统(例如，图1A-图1B中的便携式多功能设备100或图3中的设备300，诸如智能电话或平板电脑)中。
在一些计算机系统(例如，301-b)中，除了集成的输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304、相机305；以及姿态传感器306之外，计算机系统还与独立于计算机系统的附加设备通信，诸如独立的输入设备307，诸如触敏表面、触笔、遥控器等和/或独立的显示生成部件308，诸如虚拟现实头戴耳机或覆盖物理环境上的虚拟对象的增强现实眼镜。
在一些计算机系统(例如，图3C中的301-c)中，输入设备307、显示生成部件309、相机311；和/或姿态传感器312与计算机系统分开并且与计算机系统通信。在一些实施方案中，使用计算机系统301中的并与该计算机系统通信的部件的其他组合。例如，在一些实施方案中，显示生成部件309、相机311和姿态传感器312结合在与计算机系统集成或与计算机系统通信的头戴式耳机中。
在一些实施方案中，以下参考图5A1-图5A40和图5B1-图5B41描述的所有操作在具有虚拟/增强现实逻辑部件303的单个计算设备(例如以下参考图3B描述的计算机系统301-a)上执行。然而，应当理解，经常将多个不同的计算设备链接在一起以执行在下面参考图5A1-图5A40和图5B1-图5B41描述的操作(例如，具有虚拟/增强现实逻辑部件303的计算设备与具有显示器450的独立计算设备和/或具有触敏表面451的独立计算设备通信)。在任何这些实施方案中，下面参考图5A1-图5A40和图5B1-图5B41描述的计算设备是包含虚拟/增强现实逻辑部件303的一个或多个计算设备。另外，应当理解，在各种实施方案中，虚拟/增强现实逻辑部件303可被划分在多个不同模块或计算设备之间；然而，出于本文描述的目的，虚拟/增强现实逻辑部件303将主要被称为驻留在单个计算设备中，以避免不必要地模糊实施方案的其他方面。
在一些实施方案中，虚拟/增强现实逻辑部件303包括接收解释输入的一个或多个模块(例如，一个或多个事件处理程序190，包括如上文参考图1B更详细地描述的一个或多个对象更新器177和一个或多个GUI更新器178)，并且响应于这些解释输入，根据解释输入生成用于更新图形用户界面的指令，该解释输入随后用于更新显示器上的图形用户界面。在一些实施方案中，已经被检测(例如，通过图1A和图3中的接触运动模块130)、识别(例如，通过图1B中的事件识别器180)和/或分配(例如，通过图1B中的事件分类器170)的输入的解释输入用于更新显示器上的图形用户界面。在一些实施方案中，解释输入由计算设备上的模块生成(例如，计算设备接收原始接触输入数据，以便从原始接触输入数据识别手势)。在一些实施方案中，解释输入的一些或全部被计算设备接收为解释输入(例如，包括触敏表面451的计算设备处理原始接触输入数据，以便从原始接触输入数据识别手势并将指示手势的信息发送到包括虚拟/增强现实逻辑部件303的计算设备)。
在一些实施方案中，显示器和触敏表面两者均与包含虚拟/增强现实逻辑部件303的计算机系统(例如，图3B中的301-a)集成。例如，该计算机系统可以是具有集成显示器(例如，图3中的340)和触控板(例如，图3中的355)的台式计算机或膝上型计算机。又如，该计算设备可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)。
在一些实施方案中，触敏表面与计算机系统集成，而显示器未与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如，该计算机系统可以是具有集成触控板(例如，图3中的355)的设备300(例如，台式计算机或膝上型计算机等)，其中该集成触控板与独立显示器(例如，计算机监视器、电视等)相连(通过有线或无线连接)。又如，该计算机系统可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)，其中该触摸屏与独立显示器(例如，计算机监视器、电视等)相连(通过有线或无线连接)。
在一些实施方案中，显示器与计算机系统集成，而触敏表面不与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如，该计算机系统可以是具有集成显示器(例如，图3中的340)的设备300(例如，台式计算机、膝上型计算机、带集成式机顶盒的电视)，其中该集成显示器与独立触敏表面(例如，远程触控板、便携式多功能设备等)相连(通过有线或无线连接)。又如，该计算机系统可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)，其中该触摸屏与独立触敏表面(例如，远程触控板、另一个触摸屏作为远程触控板使用的便携式多功能设备等)相连(通过有线或无线连接)。
在一些实施方案中，显示器和触敏表面两者均不与包含虚拟/增强现实逻辑部件303的计算机系统(例如，图3C中的301-c)集成。例如，该计算机系统可以是连接(通过有线或无线连接)到独立触敏表面(例如，远程触控板、便携式多功能设备等)和独立显示器(例如，计算机监视器、电视等)的独立计算设备300(例如，机顶盒、游戏控制台等)。
在一些实施方案中，计算机系统具有集成音频系统(例如，便携式多功能设备100中的音频电路110和扬声器111)。在一些实施方案中，计算设备和独立于计算设备的音频系统通信。在一些实施方案中，音频系统(例如，集成在电视单元中的音频系统)与单独显示器集成。在一些实施方案中，音频系统(例如，立体音响系统)是与该计算机系统和显示器分开的独立系统。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元素或者其子集或超集：
·一种或多种无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示符；
·时间；
·蓝牙指示符；
·电池状态指示符；
·具有针对常用应用程序的图标的托盘408，该图标诸如：
ο电话模块138的被标记为“电话”的图标416，该图标416任选地包括未接来电或语音留言的数量的指示符414；
ο电子邮件客户端模块140的被标记为“邮件”的图标418，该图标418任选地包括未读电子邮件的数量的指示符410；
ο浏览器模块147的标记为“浏览器”的图标420；以及
ο视频和音乐播放器模块152的被标记为“音乐”的图标422；
以及
ο其他应用的图标，诸如：
οIM模块141的被标记为“消息”的图标424
ο日历模块148的被标记为“日历”的图标426；
ο图像管理模块144的被标记为“照片”的图标428；
ο相机模块143的被标记为“相机”的图标430；
ο在线视频模块155的被标记为“在线视频”的图标432；
ο股市桌面小程序149-2的被标记为“股市”的图标434；
ο地图模块154的被标记为“地图”的图标436
ο天气桌面小程序149-1的被标记为“天气”的图标438；
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440；
ο健身支持模块142的被标记为“健身支持”的图标442；
ο记事本模块153的标记为“记事本”的图标444；以及
ο设置应用程序或模块的被标记为“设置”的图标446，该图标提供对设备100及其各种应用程序136的设置的访问。
应当注意，图4A中示出的图标标签仅仅是示例性的。例如，其他标签任选地用于各种应用图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3A中的平板或触控板355)的设备(例如，图3A中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴线(例如，图4B中的453)对应的主轴线(例如，图4B中的452)。根据这些实施方案，设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触(例如，图4B中的460和462)(例如，在图4B中，460对应于468并且462对应于470)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(例如，图4B中的450)是分开的时侯，由设备在触敏表面上所检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替换。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元素。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3A中的触控板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调整。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏)的一些具体实施中，在触摸屏上检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触控板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。在一些实施方案中，经由显示设备显示焦点指示符(例如，光标或选择指示符)以指示用户界面的将受到从一个或多个输入设备接收的输入影响的当前部分。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(毫秒)(例如，40ms、100ms、或120ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外地识别深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到深按压输入的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素(诸如用户设置、接触运动、输入定时、应用运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等)而变化。示例因素在美国专利申请14/399,606和14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。
例如，图4C示出了部分地基于触摸输入476随时间的强度而随时间改变的动态强度阈值480。动态强度阈值480是两个分量的总和：在从触摸输入476初始被检测到开始的预定义的延迟时间p1之后随时间衰减的第一分量474和随时间而跟踪触摸输入476的强度的第二分量478。第一分量474的初始高强度阈值减少意外触发“深按压”响应，同时仍然允许在触摸输入476提供足够强度的情况下进行即时“深按压”响应。第二分量478减少通过触摸输入的逐渐的强度波动而无意触发“深按压”响应。在一些实施方案中，在触摸输入476满足动态强度阈值480时(例如，在图4C中的点481处)，触发“深按压”响应。
图4D示出了另一个动态强度阈值486(例如，强度阈值ITD)。图4D还示出了两个其他强度阈值：第一强度阈值ITH和第二强度阈值ITL。在图4D中，尽管触摸输入484在时间p2之前满足第一强度阈值ITH和第二强度阈值ITL，但是直到在时间482处经过延迟时间p2才提供响应。另外，在图4D中，动态强度阈值486随时间而衰减，其中衰减在从时间482(当触发与强度阈值ITL相关联的响应时)经过预定义的延迟时间p1之后的时间488开始。这种类型的动态强度阈值减少紧接在触发与较低阈值强度(诸如第一强度阈值ITH或第二强度阈值ITL)相关联的响应之后或与其同时意外触发与动态强度阈值ITD相关联的响应。
图4E示出了又一个动态强度阈值492(例如，强度阈值ITD)。在图4E中，在从触摸输入490被初始检测到已经过延迟时间p2之后，触发与强度阈值ITL相关联的响应。同时，动态强度阈值492在从触摸输入490被初始检测到的时候已经过预定义的延迟时间p1之后衰减。因此，在触发与强度阈值IL相关联的响应之后减小触摸输入490的强度，随后在不释放触摸输入490的情况下增大触摸输入490的强度可触发与强度阈值ITD相关联的响应(例如，在时间494处)，即使当触摸输入490的强度低于另一强度阈值(例如，强度阈值ITL)时也是如此。
用户界面和相关联的过程
现在将注意力转向可以在包括显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，连续提供相机的视野内的至少一部分内容的实时预览并且可选地生成包括捕获相机的视野内的内容的一个或多个图像帧流的视频输出的摄影机)，以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器，以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统(例如，便携式多功能设备100或设备300)上实现的用户界面(“UI”)和相关过程的实施方案。
图5A1-图5A40示出了根据一些实施方案的示例用户界面，该用户界面用于显示增强现实环境，并且响应于不同输入来调节增强现实环境的外观和/或增强现实环境中的对象的外观，以及在查看增强现实环境中的虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间进行转换。这些附图中的用户界面被用于例示下面描述的过程，包括图6A-图6D、图7A-图7C、和图8A-图8C中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。类似地，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面以及焦点指示符时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
图5A1-图5A27示出了根据一些实施方案用于显示增强现实环境并响应于不同输入来调节增强现实环境的外观和/或增强现实环境中的对象的外观的示例性用户界面。
图5A1-图5A2示出了其中使用关于图5A3-图5A40所描述的用户界面的上下文。
图5A1示出了用户5002、桌子5004和物理建筑物模型5006所在的物理空间。用户5002拿着设备100以通过设备100的显示器来查看物理建筑物模型5006(例如，在触敏显示系统112上，有时称为设备100的“触摸屏显示器112”、“触摸屏112”、“显示器112”或“触敏显示器112”，如图1A、图4A、图5A4中所示)。设备100的一个或多个相机(有时称为设备100的“相机”)连续地提供相机视场内的内容，包括物理空间中的一个或多个物理对象(例如，物理空间的房间中的墙纸5007、桌子5004等)的实时预览。设备100显示增强现实环境，其包括相机视场的至少一部分的表示，该相机的视场包括物理对象(例如，物理建筑物模型5006)和一个或多个虚拟对象(例如，覆盖物理建筑物模型5006的建筑物的虚拟模型、虚拟树等)，并且用户5002使用设备100的触摸屏显示器与增强现实环境进行交互。
图5A2示出了一种另选的方法，其中用户5002使用计算机系统查看物理建筑物模型5006，该计算机系统包括头戴式耳机5008和具有触敏表面的独立输入设备5010。在该实施例中，头戴式耳机5008显示增强现实环境，并且用户5002使用单独的输入设备5010与增强现实环境进行交互。在一些实施方案中，设备100被用作独立的输入设备5010。在一些实施方案中，独立输入设备5010是触敏遥控器、鼠标、操纵杆、触笔控制器等。在一些实施方案中，独立输入设备5010包括跟踪用户5002的一个或多个特征(诸如用户的手和运动)的位置的一个或多个相机。
图5A3-图5A4示出了在设备100的触摸屏112上显示的增强现实环境的视图。图5A3从用户5002的视角示出了设备100相对于桌子5004和物理建筑物模型5006的位置。图5A4示出了来自图5A3的设备100的近距离视图。设备100显示增强现实环境，包括由设备100的相机所捕获的物理空间的实时视图和虚拟用户界面对象(虚拟建筑物模型5012)。此处，虚拟建筑物模型5012是物理建筑物模型5006的3D虚拟模型，其在相机的视场中似乎附接到或覆盖物理建筑物模型5006(例如，在增强现实环境中替换物理建筑物模型5006)。所显示的增强现实环境还包括不对应于相机视场中的物理对象的虚拟对象(例如，虚拟树、虚拟灌木丛、虚拟人和虚拟汽车)和位于相机视场中的物理对象(例如，墙纸5007)。在一些实施方案中，设备100显示用于与增强现实环境进行交互的一个或多个按钮(例如，按钮5014、按钮5016和按钮5018，有时称为虚拟按钮或所显示的按钮)(例如，如下文相对于图5A25-图5A27所述)。
图5A5-图5A6示出了在用户5002已从桌子5004的前方(例如，如图5A3中所示)移动到桌子5004的侧面(例如，如图5A5中所示)之后，在设备100的触摸屏112上显示的增强现实环境的不同视图。图5A5从用户5002的视角示出了设备100相对于桌子5004和物理建筑物模型5006的位置。图5A6示出了来自图5A5的设备100的近距离视图。如图5A5-图5A6中所示，虚拟建筑物模型5012保持锚定到物理建筑物模型5006，并且虚拟建筑物模型5012的视图随着物理建筑物模型5006的位置、形状和/或取向在相机视场中的变化而改变。
图5A7-图5A14示出了基于触摸屏112上的接触的移动和设备100的移动的组合来调节增强现实环境中的虚拟建筑物模型5012的外观。参考框5019从用户5002的视角示出了设备100相对于桌子5004和物理建筑物模型5006的位置。
在图5A7中，当设备100相对于桌子5004和物理建筑物模型5006处于第一位置时(例如，如参考框5019所示)，设备100显示增强现实环境。在图5A8中，设备100检测虚拟建筑物模型5012上的输入(例如，通过检测虚拟建筑物模型5012的屋顶上的接触5020-a的触摸输入)。在图5A9-图5A11中，在继续检测输入的同时(例如，当接触5020保持在触摸屏112上时)，设备100检测输入相对于物理建筑物模型5006的移动(例如，通过接触5020进行的拖动手势)，并且根据输入相对于物理建筑物模型5006的移动的量值来调节虚拟建筑物模型5012的外观(例如，从虚拟建筑物模型向上提升虚拟屋顶5012-a)。在图5A9中，当接触5020-b移动相对较小的量时，虚拟屋顶5012-a被提升对应的小量。在图5A10中，当接触5020-c移动更大的量时，虚拟屋顶5012-a被提升对应的更大量。在一些实施方案中，如图5A11中所示，当虚拟屋顶5012-a继续升起时，虚拟建筑物模型5012的楼层升高并扩展(例如，显示虚拟一楼5012-d、虚拟二楼5012-c和虚拟三楼5012-b)。如图5A9-图5A11中所示，当接触5020向上移动时，设备100更新虚拟建筑物模型5012的显示，以便在接触5020的位置处保持虚拟屋顶5012-a上的初始接触点的显示。
在图5A12-图5A13中，虽然接触5020-d被保持并且在触摸屏112上保持静止，但设备100检测设备100在物理空间中的移动(例如，移动5022，从如图5A12中的参考框5019中所示相对于物理建筑物模型5006较低的第一位置到如图5A13中的参考框5019中所示相对于物理建筑物模型5006较高的第二位置)。响应于输入的移动(来自设备100在物理空间中的移动)，设备100通过根据移动的量值将虚拟屋顶5012-a进一步向上提升来调节虚拟建筑物模型5012的外观。在一些实施方案中，如图5A13中所示，当根据移动的量值来调节虚拟模型5012的外观时，虚拟屋顶5012-a被显示于超出虚拟屋顶5012-a的静止状态的最大限度的位置。
在图5A14中，设备100停止检测到输入(例如，接触5020抬离)并且在对应于静止状态的最大限度的位置处显示虚拟屋顶5012-a。在一些实施方案中，设备100显示从超出静止状态的最大限度的位置处(例如，在图5A13中)的虚拟屋顶5012-a到对应于静止状态(例如，在图5A14中)的最大限度的位置的动画过渡(例如，从图5A13到图5A14)。
图5A15-图5A16示出了当在触摸屏112上未检测到输入时(例如，在触摸屏112上未检测到接触的触摸输入)，设备100在物理空间中的移动(例如，移动5024)。由于未检测到输入，因此设备100的移动从相对于物理建筑物模型5006更低的第一位置(例如，如图5A15中的参考框5019中所示)到相对于物理建筑物模型5006更高的第二位置(例如，如图5A16中的参考框5019中所示)改变设备100相机的视场，而不调节虚拟建筑物模型5012的外观。
与图5A15-图5A16相比，图5A17-图5A18示出了当在触摸屏112上检测到输入(例如，在触摸屏112上检测到接触5026-a的触摸输入)时设备100在物理空间中的移动(例如，移动5028)。在继续检测输入时(例如，在接触5026-a被维持并保持在触摸屏112上静止时)，设备100检测设备100在物理空间中的移动(从如图5A17中的参考框5019中所示相对于物理建筑物模型5006较低的第一位置到如图5A18中的参考框5019中所示相对于物理建筑物模型5006较高的第二位置)。响应于输入的移动(来自设备100在物理空间中的移动)，设备100通过根据移动的量值将虚拟屋顶5012-a向上提升来调节虚拟建筑物模型5012的外观。
在图5A19-图5A20中，在继续检测输入的同时(例如，当接触5026保持在触摸屏112上时)，设备100检测输入相对于物理建筑物模型5006的移动(例如，通过接触5026进行的拖动手势)，并且根据输入相对于物理建筑物模型5006的移动量值来调节虚拟建筑物模型5012的外观(例如，从虚拟建筑物模型5012进一步向上提升虚拟屋顶5012-a)。在一些实施方案中，如图5A20中所示，当虚拟屋顶5012-a继续升起时，虚拟建筑物模型5012的楼层升高并扩展(例如，显示一楼5012-d、二楼5012-c和三楼5012-b)。
如图5A17-图5A20所示，当输入向上移动时(无论输入的移动是由于设备100移动，同时接触(例如，接触5026-a)被维持并保持在触摸屏112上静止，还是输入的移动是由于接触跨触摸屏112移动，同时设备100在物理空间中保持基本上静止)，设备100更新虚拟建筑物模型5012的显示，以便在接触5026的位置处在虚拟屋顶5012-a上保持显示初始接触点。
图5A21-图5A24示出了响应于在增强现实环境中导航通过时间的输入来改变用于增强现实环境的虚拟环境设置(例如，一天中的时间)。在图5A21-图5A24中，设备100检测改变虚拟环境设置的输入(例如接触5030进行的从左到右的轻扫手势)，并且作为响应，设备100改变增强现实环境中的一天中的时间(例如，通过调节虚拟建筑物模型5012的外观并且将滤波器应用到未被虚拟建筑物模型5012遮蔽的相机视场表示的部分)。在图5A21中，增强现实环境中一天中的时间是早晨，虚拟建筑物模型5012的阴影和虚拟对象(例如，虚拟树、虚拟灌木丛、虚拟人员和虚拟汽车)的阴影位于对象的右侧。当接触5030从左向右移动时，增强现实环境中一天中的时间从早晨变化到晚上(例如，根据输入移动的速度和/或距离)(例如，从图5A21中的早晨变为图5A22中的中午至图5A23中的下午，至图5A24中的晚上)。在一些实施方案中，除调节虚拟场景的外观之外，设备100还将滤波器应用于未被虚拟场景遮蔽的实时视图的部分(例如，墙纸5007)。例如，在图5A24中(例如，当虚拟环境设置改变为夜间模式时)，除了调节夜间模式的虚拟场景的外观(例如，由第二阴影图案所示)之外，还向墙纸5007应用不同的滤波器(例如，由第一阴影图案示出)。
图5A25-图5A27示出了响应于在虚拟用户界面对象(例如，虚拟建筑物模型5012)的不同虚拟环境之间切换的输入(例如，所显示按钮上的轻击输入)来改变用于增强现实环境的虚拟环境设置，其中不同的虚拟环境与用于探索虚拟用户界面对象的不同交互相关联(例如，预定义的虚拟环境，诸如景观视图、内部视图、白天/夜间视图)。在图5A25中，选择景观按钮5014，并且显示虚拟建筑物模型5012的景观视图(例如，具有虚拟树、虚拟灌木丛、虚拟人员和虚拟汽车)。在图5A26-图5A27中，设备100检测内部按钮5016上的输入，诸如接触5032的轻击手势，并且作为响应，显示虚拟建筑物模型5012的内部视图(例如，没有虚拟树，没有虚拟灌木丛，没有虚拟人，没有虚拟汽车，而是显示虚拟建筑物模型5012的展开视图，具有虚拟一楼5012-d、虚拟二楼5012-c、虚拟三楼5012-b和虚拟屋顶5012-a)。在一些实施方案中，当虚拟环境设置被改变(例如，改变为内部视图)时，(例如，使用滤波器)使周围物理环境变得模糊。例如，尽管图5A27中未示出，但在一些实施方案中，当虚拟环境设置被更改为内部视图时，墙纸5007被模糊。
图5A28-图5A40示出了根据一些实施方案用于在增强现实环境中查看虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间转换的示例用户界面。
像图5A4那样，图5A28示出了在设备100的触摸屏112上显示的增强现实环境的视图，包括由设备100的相机所捕获的物理空间的实时视图、虚拟建筑物模型5012、虚拟车辆5050和虚拟人员5060。此外，图5A28中的参考框5019从用户5002的视角(例如，如图5A1和图5A2中所示)示出了设备100相对于桌子5004和物理建筑物模型5006的位置。
图5A29-图5A31示出了从图5A28的过渡。具体地讲，图5A29-图5A31示出了从增强现实环境的视图(例如，图5A28中所示)到虚拟模型中虚拟车辆5050视角的虚拟模型的模拟视图的过渡。
图5A29示出了在对应于车辆5050的位置处检测到的输入5052(例如，设备100的触摸屏112上的轻击手势，或使用单独输入设备连同焦点指示符进行选择)。
图5A30-图5A31示出了响应于检测到输入5052而显示的从增强现实环境的视图到从车辆5050的视角的虚拟模型的模拟视图的过渡。具体地讲，图5A30示出了在从图5A29所示的视图到车辆5050(例如，从车辆5050内的人员诸如驾驶员或乘客的视角)的模拟透视图的动画过渡期间在设备100上显示的视图，并且图5A31示出了从车辆5050视角的模拟透视图。
在一些实施方案中，从增强现实环境的视图到模拟透视图的过渡包括动画过渡。任选地，过渡包括从查看增强现实环境的位置到车辆5050的位置(例如，车辆5050内的人员的位置)飞行的动画。例如，图5A30示出了从图5A29中用户的位置和车辆5050的位置之间的位置(例如，部分通过动画过渡)的虚拟模型的视图，即使用户尚未移动设备100(例如，图5A30中的参考框5019中所示的设备100相对于物理建筑物模型5006的位置与图5A29中的相同)。
在一些实施方案中，设备100的视场的部分(例如，设备100的相机)在动画过渡到来自车辆5050的透视图期间继续被显示。例如，如图5A30所示，墙纸5007和桌子5004的边缘在动画过渡到模拟透视图期间被显示(例如，如同从图5A29中的用户位置和车辆5050的位置之间，对应于图5A30所示的视图的位置所查看的那样)。在一些实施方案中，在动画过渡到来自车辆5050的透视图期间停止显示相机的视场(例如，在动画过渡期间不显示墙纸5007和桌子5004的边缘，并且任选地，替代地显示虚拟模型的对应部分)。
在图5A31中，来自车辆5050的模拟透视图还示出了控件5054，包括用于控制车辆5050(例如，显示模拟透视图的虚拟对象)的移动(例如，移动方向)的方向箭头(向上、向下、向左和向右)。在图5A31所示的实施例中，向上箭头5056控制车辆5050的正向移动。因此，在一些实施方案中，用户可控制相应虚拟对象(例如，车辆5050)的移动，同时显示从该虚拟对象的视角看到的模拟视图。在一些实施方案中，用户不能控制虚拟模型中相应虚拟对象(例如，虚拟车辆5050和/或虚拟人员5060)的移动，同时显示增强现实环境的视图。例如，在一些实施方案中，用户不能在图5A28中的增强现实环境的视图中控制车辆5050的移动。在一些实施方案中，车辆5050在虚拟模型中自主移动，同时显示增强现实环境(例如，图5A28)的视图。
图5A32-图5A33示出了从图5A31的过渡。具体地讲，图5A32-图5A33示出了车辆5050在虚拟模型中的用户控制的移动。图5A32示出了在对应于控件5054的向上箭头5056(示于图5A31中)的位置处检测到的输入5058。响应于向上箭头5056上的输入5058，车辆5050在虚拟模型中向前移动。因此，图5A33示出，显示了对应于车辆5050在虚拟模型中的正向移动的虚拟模型的更新的模拟透视图。例如，在图5A33中的更新的模拟透视图中，可见到更少的虚拟建筑物模型5012，并且人5060看起来比图5A32更近。
图5A34-图5A35示出了从图5A33的过渡。具体地讲，图5A34-图5A35示出了从车辆5050的视角看到的虚拟模型的模拟视图到从虚拟人5060的视角看到的虚拟模型的模拟视图的过渡。图5A34示出了在对应于人5060的位置处检测到的输入5062。图5A35示出了响应于检测到输入5062而显示的从人5060的视角看到的虚拟模型的模拟视图。在一些实施方案中，设备100显示来自车辆5050的模拟透视图和来自人5060的模拟透视图之间的动画过渡(例如，如同用户正从车辆5050的位置(例如，在车辆5050内)移动到人5060的位置一样)。
图5A36-图5A37示出了从图5A35的过渡。具体地讲，图5A36-图5A37示出了响应于设备100(例如，在物理空间中)的移动，从人5060(例如，所选择的虚拟对象)的视角改变虚拟模型的视图。
图5A36示出了指示设备100朝左移动的箭头5064，以及设备100围绕z轴的旋转(例如，使得设备100的右边缘更靠近用户，并且设备100的左边缘更远离用户移动)。图5A37示出了响应于检测到设备100的移动而显示的从人5060的视角看到的虚拟模型的更新的模拟透视图。图5A37中的更新的模拟透视图对应于虚拟模型的视图，就好像人5060朝左移动并且相对于其在图5A36中的位置朝右侧略微转动他的头部一样。图5A37中的参考框5019示出了设备100在设备100如箭头5064所示移动之后相对于物理建筑物模型5006的新位置。
在一些实施方案中，在显示从人5060的视角看到的模拟视图时，显示控件5054(例如，在图5A31中示出，但图5A35、图5A36中未示出)，使得在显示从人5060的视角看到的模拟视图(例如，图5A35)时，用户可使用控件5054上的箭头来控制人5060在虚拟模型中的移动。
图5A38-图5A40示出了从图5A37的过渡。具体地讲，图5A38-图5A40示出了从图5A37所示的模拟透视图回到增强现实环境的视图的过渡。
图5A38示出了输入5066。在图5A38所示的实施例中，输入5066是捏指手势(例如，来自虚拟模型的模拟透视图的最小缩放级别)。在一些实施方案中，输入5066是虚拟模型中“空”位置(例如，模拟透视图不可用的位置，诸如一块草地)上的手势(例如轻击)。在一些实施方案中，输入5066是用于显示或重新显示增强现实环境的示能表示(例如，用于退出模拟透视图的图标，诸如“X”)上的手势(例如轻击)。
图5A39-图5A40示出了响应于检测到输入5066而显示的从人5060的视角看到的虚拟模型的模拟视图到增强现实环境的视图的过渡。具体地讲，图5A39示出了在从图5A38所示的视图到增强现实环境的视图的动画过渡期间在设备100上显示的视图，并且图5A40示出了增强现实环境的视图。在一些实施方案中，从模拟透视图到增强现实环境的视图的过渡包括动画过渡，该动画过渡任选地包括从虚拟对象的位置(从其显示模拟透视图)到查看增强现实环境的位置飞行的动画。
因为设备100在图5A38-图5A40中相对于物理建筑物模型5006的位置与图5A28-图5A30中不同，所以如图5A40所示的增强现实的视图对应于设备100的新位置并且不同于图5A28所示的位置。类似地，图5A39示出了来自图5A38中人5060的位置和图5A40中用户的位置之间的位置(例如，部分通过动画过渡)的虚拟模型的视图，即使用户尚未移动设备100(例如，参考框5019中所示的设备100相对于物理建筑物模型5006的位置在图5A38-图5A40的每幅中都相同)。
类似于上文参考图5A29-图5A31所述的至模拟透视图的动画过渡，在一些实施方案中，设备100(例如，设备100的相机)的视场的部分在从模拟透视图到增强现实环境的视图的动画过渡期间是可见的。例如，如图5A39所示，墙纸5007在从模拟透视图动画过渡期间被显示(例如，如同从图5A40中的人5060的位置和用户位置之间，对应于图5A39所示的视图的位置所查看的那样)。在一些实施方案中，在动画过渡到增强现实环境的视图期间停止显示相机的视场(例如，在动画过渡期间不显示墙纸5007，并且任选地，替代地显示虚拟模型的对应部分)。
图5B1-图5B41示出了根据一些实施方案，用于虚拟用户界面对象的三维操纵的系统和用户界面的实施例。这些附图中的用户界面被用于例示下面描述的过程，包括图6A-图6D、图7A-图7C、和图8A-图8C中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。类似地，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面以及焦点指示符时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5B2中所示)上执行类似的操作。
图5B1-图5B4示出了其中使用关于图5B5-图5B41所描述的用户界面的上下文。
图5B1示出了用户5202和桌子5204所在的物理空间5200。设备100由用户5202握持在用户的手5206中。参考垫5208位于桌子5204上。
图5B2示出了在设备100的显示器112上显示的虚拟三维空间的视图。参考垫5208处于设备100的一个或多个相机(例如，光学传感器164)(下文称为“相机”，其指示设备100的一个或多个相机)的视场中。显示器112示出了由相机捕获的物理空间5200的实时视图，包括物理参考垫5208a的所显示版本5208b。在显示在显示器112上的虚拟三维空间中显示虚拟用户界面对象(虚拟框5210)。在一些实施方案中，虚拟框5210被锚定到参考垫5208b，使得当参考垫的显示视图5208b响应于参考垫5208a在物理空间5200中的移动而改变时，虚拟框5210的视图将改变(例如，如图5B2-图5B3中所示)。类似地，随着所显示版本5208b的视图响应于设备100相对于参考垫5208a的移动而变化，虚拟框5210的视图将改变。
在图5B3中，参考垫5208已被旋转，使得参考垫5208a的较长边与设备100相邻(而在图5B2中，参考垫5208a的较短边与设备100相邻)。参考垫5208a在物理空间5200中的旋转导致参考垫的所显示版本5208b从图5B2到图5B3旋转。
在图5B3-图5B4中，设备100已移动得更靠近参考垫5208a。因此，参考垫的所显示版本5208b和虚拟框5210的尺寸已增大。
图5B5-图5B41示出了设备100的更大视图，并且为了提供显示在显示器112上的用户界面的完整视图，未显示用户的手5206。
图5B5示出了显示在显示器112上的用于创建和调节虚拟用户界面对象的用户界面。用户界面包括头像5212、切换器5214(例如，用于在虚拟现实显示模式和增强现实显示模式之间切换)、新对象控件5216(例如，用于将新对象5216添加到由显示器112显示的虚拟三维空间)、包括若干对应于可用颜色(例如，用于为虚拟对象选择颜色)的控件的颜色选择调色板5218，以及删除控件5220(例如，用于从虚拟三维空间移除虚拟用户界面对象)。在图5B5中，切换器5214指示当前显示模式是增强现实显示模式(例如，显示器112正在显示虚拟框5210以及由设备100的相机所捕获的物理空间5200的视图)。图5B37-图5B39示出了虚拟现实显示模式。在图5B37-图5B39中，改变切换器5214的外观以指示虚拟现实显示模式是活动的(并且切换器5214处的输入将导致从虚拟现实显示模式过渡到增强现实显示模式)。
图5B6-图5B17示出了使虚拟框5210移动的输入。
在图5B6中，在虚拟框5210的第一表面5224上检测由接触5222(例如，与触敏显示器112的接触)做出的输入(例如，选择和移动输入)。当选择虚拟框5210的表面时，虚拟框5210的移动限于在平行于所选择的表面的平面中的移动。响应于检测到选择虚拟框5210的第一表面5224的接触5222，示出了从虚拟框5210延伸的移动突出5226以指示虚拟框5210的移动平面(例如，平行于虚拟框5210的所选择第一表面5224的移动平面)。
在图5B6-图5B7中，接触5222已沿着触敏显示器112的表面在箭头5228所指示的方向上移动。响应于接触5222的移动，虚拟框5210已沿由箭头5228指示的方向在由移动突出5226指示的平面内移动。在图5B7-图5B8中，接触5222已沿着触敏显示器112的表面在箭头5230所指示的方向上移动。响应于接触5222的移动，虚拟框5210已沿由箭头5230指示的方向在由移动突出5226指示的平面内移动。在图5B9中，接触5222已从触敏显示器112上抬离，并且移动突出5226不再被显示。
在图5B10中，在虚拟框5210的第二表面5234上检测由接触5232做出的输入(例如，选择和移动输入)。响应于检测到选择虚拟框5210的第二表面5234的接触5232，示出了从虚拟框5210延伸的移动突出5236以指示虚拟框5210的移动平面(例如，平行于虚拟框5210的所选择第二表面5234的移动平面)。
在图5B10-图5B11中，接触5232已沿着触敏显示器112的表面在箭头5238所指示的方向上移动。响应于接触5232的移动，虚拟框5210已沿由箭头5238指示的方向在由移动突出5236指示的平面内移动。当虚拟框5210向上移动使得其悬停在所显示的参考垫5208b上方时，虚拟框5210的阴影5240被显示以指示虚拟框5210正在悬停。
在图5B11-图5B12中，接触5232已沿着触敏显示器112的表面在箭头5242所指示的方向上移动。响应于接触5232的移动，虚拟框5210已沿由箭头5242指示的方向在由移动突出5236指示的平面内移动。在图5B13中，接触5232已从触敏显示器112上抬离，并且移动突出5236不再被显示。
在图5B14中，在虚拟框5210的第一表面5224上检测由接触5233做出的输入(例如，选择和移动输入)。响应于检测到选择虚拟框5210的第一表面5224的接触5233，示出了从虚拟框5210延伸的移动突出5237以指示虚拟框5210的移动平面(例如，平行于虚拟框5210的所选择第一表面5224的移动平面)。
在图5B14-图5B15中，接触5233已沿着触敏显示器112的表面在箭头5239所指示的方向上移动。响应于接触5233的移动，虚拟框5210已沿由箭头5238指示的方向在由移动突出5237指示的平面内移动。图5B10-图5B11中所示的接触5232的移动与图5B14-图5B15中所示的接触5233的移动方向相同。因为在选择虚拟框5210的第二表面5234的同时发生接触5232的移动，所以图5B10-图5B11中的虚拟框5210的移动平面不同于图5B14-图5B15中的虚拟框5210的移动平面，其中在选择虚拟框5210的第一表面5224的同时发生接触5233的移动。通过这种方式，根据所选择的虚拟框5210的表面，具有相同的输入移动方向的选择和移动输入导致虚拟框5210的不同移动。
在图5B15-图5B16中，接触5233已沿着触敏显示器112的表面在箭头5243所指示的方向上移动。响应于接触5233的移动，虚拟框5210已沿由箭头5243指示的方向在由移动突出5237指示的平面内移动。在图5B17中，接触5233已从触敏显示器112上抬离，并且移动突出5237不再被显示。
图5B18-图5B21示出了使虚拟框5210调整尺寸的输入。
在图5B18中，在虚拟框5210的第一表面5224上检测由接触5244做出的输入(例如，尺寸调整输入)。在一些实施方案中，当接触在对应于虚拟对象的表面的位置停留增大到高于尺寸调整时间阈值的时间段时，接触的后续移动(和/或设备100的移动)导致虚拟对象的尺寸调整。在图5B19中，接触5244已保持与虚拟箱5210的第一表面5224接触一段时间，该时间段已增加超过尺寸调整时间阈值，并且尺寸调整突出5246被示为指示将响应于接触5244的后续移动而沿其调整虚拟框5210的尺寸的轴线(其垂直于所选择的第一表面5224)。
在图5B19-图5B20中，接触5244已沿着由箭头5248指示的路径移动。响应于接触5244的移动，虚拟框5210的尺寸已沿由箭头5248指示的方向沿由尺寸调整突出5246指示的轴线增大。在图5B21中，接触5244已从触敏显示器112上抬离，并且突出5246不再被显示。
图5B22-图5B27示出了使用插入光标来放置对象插入光标和放置虚拟框。
在图5B22中，在与物理参考垫5208a的所显示版本5208b对应的位置处检测到由接触5250进行的输入(例如，轻击输入)。响应于检测到接触5250，插入光标5252被显示在显示器112上对应于接触5250的位置处；在图5B23中，接触5250已从触敏显示器112上抬离，并且示出了插入光标5252。在一些实施方案中，在预先确定的时间段之后停止显示插入光标5252。在图5B24中，已停止显示插入光标5252，并且在不同于已显示插入光标5252的位置的位置处检测到由接触5254进行的输入(例如，轻击输入)(如图5B23所示)。响应于检测到接触5254，新的插入光标5256被显示在显示器112上对应于接触5254的位置处。在图5B25中，接触5254已从触敏显示器112上抬离，并且示出了插入光标5256。
在图5B26中，已停止显示插入光标5256，并且在对应于于已显示插入光标5256的位置的位置处检测到由接触5258进行的输入(例如，轻击输入)(如图5B25所示)。响应于在已放置插入光标的位置处检测到接触5258，在对应于接触5258的位置处在显示器112上显示新的虚拟用户界面对象(虚拟框5260)。在图5B27中，接触5258已抬离触敏显示器112。
图5B28-图5B31示出了通过设备100的移动来调整虚拟框5260的尺寸。
在图5B28中，在虚拟框5260的表面5264上检测由与触敏显示器112的接触5262做出的输入(例如，尺寸调整输入)。在图5B29中，接触5262已保持与虚拟框5260的表面5264接触一段时间，该时间段已增加超过尺寸调整时间阈值，并且尺寸调整突出5266被示为指示将响应于设备100的后续移动而沿其调整虚拟框5260的尺寸的轴线(其垂直于所选择的表面5264)。在图5B29-图5B30中，设备100沿着由箭头5268指示的路径移动，而接触5262保持与触敏显示器112接触。响应于设备100的移动，虚拟框5260的尺寸沿着由尺寸调整突出5266所指示的轴线增大，如图5B30中所示。在图5B31中，接触5262已从触敏显示器112抬离，并且尺寸调整突出5266不再被显示。
图5B32-图5B35示出了使用新对象控件5216来插入新虚拟对象。
在图5B32中，在物理参考垫5208a的所显示版本5208b上的位置处检测到由接触5270进行的输入(例如，轻击输入)。响应于检测到接触5270，插入光标5272被显示在显示器112上对应于接触5270的位置处。在图5B33中，接触5270已从触敏显示器112上抬离，并且示出了插入光标5272。在图5B34中，已停止显示插入光标5272，并且在对应于新对象控件5216的位置处检测到由与触敏显示器112的接触5274做出的输入(例如，轻击输入)。在图5B35中，响应于在新对象控件5216处的输入(例如，在放置插入光标5272之后)，在对应于显示插入光标5272的位置的位置处，在显示器112上显示新的虚拟用户界面对象(虚拟框5276)。
图5B36-图5B37示出了导致从增强现实显示模式过渡到虚拟现实显示模式的捏指缩放输入。图5B39-图5B40示出了在切换器5214处用于从虚拟现实显示模式返回到增强现实显示模式的输入。
在图5B36中，同时检测到与触敏显示器112的接触5278和5280。检测到捏指手势，其中接触5278和5280分别沿着由箭头5282和5284指示的路径同时移动，如图5B36-图5B37所示。响应于检测到捏指手势，虚拟框5210、5260和5276的显示被缩放(例如，缩小，使得虚拟框5210、5260和5276的显示尺寸变得更小)。在一些实施方案中，用于缩放的手势导致从增强现实显示模式过渡到虚拟现实显示模式(例如，因为框的缩放视图不再与设备100的相机的视场对齐)。在一些实施方案中，在虚拟现实显示模式中，停止显示设备100的相机的视场中的物理对象(例如，参考垫5208)，或者显示一个或多个物理对象的虚拟(渲染)版本。
在一些实施方案中，在虚拟现实显示模式中，设备100所显示的虚拟对象被锁定到设备100的参照系。在图5B37-图5B38中，设备100的位置已改变。因为设备100处于虚拟现实显示模式，所以虚拟框5210、5260和5276的位置未响应于设备100的已改变位置而改变。
在图5B39中，在与切换器5214对应的位置处检测由接触5286进行的输入(例如，轻击输入)。响应于由接触5286做出的输入，发生从虚拟现实显示模式到增强现实显示模式的过渡。图5B40示出了响应于由接触5286做出的输入而过渡到增强现实显示模式之后显示在显示器112上的用户界面。该过渡包括重新显示设备100的相机的视场(例如，重新显示参考垫的所显示视图5208b)。在一些实施方案中，该过渡包括缩放(例如，放大)虚拟框5210、5260和5276的显示(例如，以使框与设备100的相机的视场重新对齐)。
在一些实施方案中，在增强现实显示模式中，设备100所显示的虚拟对象被锁定到物理空间5200和/或物理空间5200中的物理对象(例如，参考垫5208)。在图5B40-图5B41中，设备100的位置已改变。因为设备100处于增强现实显示模式，所以虚拟框5210、5260和5276被锁定到参考垫5208a，并且显示器112上的虚拟框的位置响应于设备100的已改变位置而改变。
图5C1-图5C30示出了根据一些实施方案，用于在所显示的模拟环境的查看模式之间转换的系统和用户界面的实施例。这些附图中的用户界面用于示出下文描述的过程，包括图10A-图10E中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。类似地，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面以及焦点指示符时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
图5C1-图5C2示出了其中使用关于图5C3-图5C30所描述的用户界面的上下文。
图5C1示出了用户和桌子5204所在的物理空间5200。设备100由用户握持在用户的手5206中。参考垫5208位于桌子5204上。在设备100的显示器112上显示模拟环境的视图。参考垫5208处于设备100的一个或多个相机(例如，光学传感器164)(下文称为“相机”，其指示设备100的一个或多个相机)的视场中。显示器112示出了由相机捕获的物理空间5200的实时视图，包括物理参考垫5208a的所显示版本5208b。两个虚拟用户界面对象(第一虚拟框5302和第二虚拟框5304)被显示在显示器112上显示的模拟环境中。在第一查看模式(例如，增强现实查看模式)中，虚拟框5302和5304被锚定到参考垫5208b，使得在参考垫的显示视图5208b响应于参考垫5208a在物理空间5200中的移动而变化时，虚拟框5302和5304的视图将改变(例如，在虚拟框5302和5304与物理环境，包括参考垫5208a之间维持固定的空间关系)。类似地，在第一查看模式中，虚拟框5302和5304的视图响应于设备100相对于参考垫5208a的移动而变化。
在图5C2中，设备100已移动得更靠近参考垫5208a。因此，参考垫的所显示版本5208b和虚拟框5302与5304的尺寸已增大。
图5C3-图5C30示出了设备100的更大视图，并且为了提供显示在显示器112上的用户界面的完整视图，未显示用户的手5206。上文关于图5B5进一步描述了用户界面的特征。
图5C4-图5C6示出了在虚拟框以增强现实查看模式显示时移动虚拟框5302的输入手势(包括向上轻扫和向下轻扫)。因为参考图5C4-图5C6所述的输入手势不是满足模式更改标准的手势(例如，用于将查看模式从增强现实查看模式更改为虚拟现实查看模式)，所以虚拟框5302和5304的视图响应于设备100的后续移动而改变，如图5C7-图5C8所示(例如，使得在虚拟框5302和5304与物理环境(包括参考垫5208a)之间保持固定的空间关系)。
不满足模式更改标准的手势的另一个示例是尺寸调整手势(例如，如上文参考图5B18-图5B21所述)。
在图5C4中，在虚拟框5302的表面5308上检测由接触5306做出的输入(例如，选择和移动输入)。响应于检测到选择虚拟框5302的表面5308的接触5306，示出了从虚拟框5302延伸的移动突出5310以指示虚拟框5302的移动平面(例如，平行于虚拟框5302的所选择表面5308的移动平面)。
在图5C4-图5C5中，接触5306沿着触敏显示器112的表面在箭头5312所指示的方向上移动。响应于接触5306的移动，虚拟框5302已沿由箭头5312指示的方向在由移动突出5310指示的平面内移动。当虚拟框5302向上移动使得其悬停在所显示的参考垫5208b上方时，虚拟框5302的阴影5314被显示以指示虚拟框5210正在悬停。
在图5C5-图5C6中，接触5306沿着触敏显示器112的表面在箭头5316所指示的方向上移动。响应于接触5306的移动，虚拟框5302已沿由箭头5316指示的方向在由移动突出5310指示的平面内移动。在图5C7中，接触5306已从触敏显示器112上抬离，并且移动突出5310不再被显示。
图5C7-图5C8示出了设备100沿由箭头5318指示的路径的移动。当设备100移动时，设备100显示的虚拟框5302和5304的位置在显示器112上变化(例如，使得在设备100的物理环境中的虚拟框5302和5304与参考垫5208a之间保持固定的空间关系)。
图5C9-图5C10示出了满足模式更改标准(例如，使得查看模式从增强现实查看模式改变到虚拟现实查看模式)的输入手势(捏指手势)。
在图5C9中，在触敏显示器112处检测到接触5320和5324。在图5C9-图5C11中，接触5320沿箭头5322所指示的路径移动，并且接触5324沿箭头5324所指示的路径移动。响应于减小接触5320和5324之间的距离的接触5320和5324的同时移动，模拟环境的所显示视图(包括虚拟框5302和5304)被缩小(例如，使得虚拟框5302和5304的尺寸在显示器112上增大)。在接收到缩放输入时，发生从增强现实查看模式到虚拟现实查看模式的过渡。过渡期间发生的过渡动画包括逐渐淡出所显示的物理环境视图。例如，由设备100的一个或多个相机所捕获桌子5204的所显示视图和参考垫5208a的所显示视图逐渐淡出(例如，如图5C10-图5C11所示)。过渡动画包括虚拟参考网格5328的虚拟网格线的逐渐淡入(例如，如图5C11-图5C12所示)。在过渡期间，改变切换器5214(例如，用于在虚拟现实显示模式和增强现实显示模式之间切换)的外观以指示当前查看模式(例如，如图5C10-图5C11所示)。在接触5320和5324抬离之后，模拟环境中的虚拟框5302和5304继续移动并且尺寸减小(例如，模拟环境的改变继续具有“动量”，导致在输入手势结束之后移动)。
在图5C12-图5C13中，沿着箭头5330所指示的路径移动设备100。因为关于图5C9-图5C11所述的捏指缩放输入手势导致从增强现实查看模式改变为虚拟现实查看模式，所以虚拟框5302和5304的位置不会响应于设备100的移动而改变(例如，在虚拟现实查看模式下，在虚拟框5302和5304与物理环境之间不保持固定空间关系)。
在图5C13-图5C14中，沿着箭头5332所指示的路径移动设备100。
图5C15-图5C18示出了用于在虚拟现实查看模式下显示模拟环境的同时将虚拟框插入在设备100上显示的模拟环境中的输入。
在图5C15中，在触敏显示器112上检测由接触5334做出的输入(例如，轻击输入)。响应于检测到接触5334，插入光标5336被显示在显示器112上对应于接触5334的位置处，如图5C16中所示。在图5C17中，已停止显示插入光标5336，并且在对应于新对象控件5216的位置处检测到由接触5338做出的输入(例如，轻击输入)。在图5C18中，响应于在新对象控件5216处的输入(例如，在放置插入光标5336之后)，在对应于显示插入光标5336的位置的位置处，显示新的虚拟用户界面对象(虚拟框5340)。
图5C19-图5C20示出了用于在虚拟现实查看模式下显示模拟环境的同时在设备100上显示的模拟环境中操纵虚拟用户界面的输入。
在图5C19中，在虚拟框5340的表面5344上检测由接触5342做出的输入(例如，选择和移动输入)。响应于检测到选择虚拟框5340的表面5344的接触5342，示出了从虚拟框5340延伸的移动突出5348以指示虚拟框5340的移动平面(例如，平行于虚拟框5340的所选择表面5344的移动平面)。在图5C19-图5C20中，接触5342沿着触敏显示器112的表面在箭头5346所指示的方向上移动。响应于接触5342的移动，虚拟框5340已沿由箭头5346指示的方向在由移动突出5348指示的平面内移动。
在图5C21中，接触5342已从触敏显示器112上抬离，并且移动突出5384不再被显示。
图5C22-图5C23示出了用于改变模拟环境的视角的输入手势(例如，旋转手势)。
在图5C22中，在触敏显示器112处检测到接触5350。在图5C22-图5C23中，接触5350沿着箭头5352所指示的路径移动。当接触5350移动时，模拟环境旋转。在图5C23中，虚拟参考网格5328和虚拟框5302、5304和5340的位置响应于由接触5350做出的输入而旋转。
在图5C24-图5C25中，沿着箭头5354所指示的路径移动设备100。因为在图5C24-图5C25中显示在显示器112上的模拟环境是在虚拟现实查看模式中显示的，所以显示器112上的虚拟框5302和5304的位置不会响应于设备100的移动而改变。
图5C26-图5C27示出了导致查看模式从虚拟现实查看模式改变为增强现实查看模式的输入手势(展开手势)。
在图5C26中，在触敏显示器112处检测到接触5356和5360。在图5C26-图5C27中，接触5356沿箭头5358所指示的路径移动，并且接触5360沿箭头5362所指示的路径移动。响应于增大接触5356和5360之间的距离的接触5356和5360的同时移动，模拟环境的所显示视图(包括虚拟框5302、5304和5340)被放大(例如，使得虚拟框5302、5304和5340的尺寸在显示器112上增大)。在接收到缩放输入时，发生从虚拟现实查看模式到增强现实查看模式的过渡。在过渡期间发生的过渡动画包括逐渐淡出虚拟参考网格5328(例如，如图5C26-图5C27所示)。过渡动画包括物理环境视图的逐渐淡出。例如，由设备100的一个或多个相机捕获的桌子5204和参考垫5208a在显示器112上逐渐变得可见(例如，如图5C28-图5C30所示)。在过渡期间，改变切换器5214的外观以指示当前查看模式(例如，如图5C27-图5C28所示)。在接触5356和5360抬离之后，模拟环境中的虚拟框5302、5304和5340继续增大尺寸，移动并旋转(例如，直到虚拟框5302和5304与参考垫5208a之间的初始空间被恢复)，如图5C28-图5C30所示。
在一些实施方案中，虚拟现实查看模式为活动时添加的虚拟框5340在替代现实查看模式中是可见的，如图5C30所示。
在一些实施方案中，响应于在对应于切换器5214的位置处的接触的输入(例如，轻击输入)，查看模式发生从虚拟现实查看模式到增强现实查看模式的变化。例如，响应于在对应于切换器5214的位置处检测到的轻击输入，发生从显示虚拟现实查看模式(例如，如图5C26中所示)到增强现实查看模式(例如，如图5C30中所示)的过渡。在一些实施方案中，在过渡期间，显示与在5C26-5C30处所示的动画相同或相似的过渡动画。
图5D1-图5D14示出了根据一些实施方案用于在由第一计算机系统所显示的模拟环境中更新第二计算机系统的查看视角的指示的系统和用户界面的实施例。这些附图中的用户界面用于例示下文描述的过程，包括图11A-图11C中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。类似地，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面以及焦点指示符时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
图5D1-图5D2示出了其中使用关于图5D3-图5D14所描述的用户界面的上下文。
图5D1示出了两个用户5402和5408以及桌子5414所在的物理空间5400。第一设备5406(例如，设备100)由第一用户5402拿在第一用户的手5404中。第二设备5412(例如，设备100)由第二用户5408拿在第二用户的手5410中。参考垫5416a位于桌子5414上。
图5D2示出了在设备5406的显示器5148(例如，显示器112)上显示的虚拟三维空间的视图。参考垫5416处于设备5406的一个或多个相机(例如，光学传感器164)(下文称为“相机”，其指示设备5406的一个或多个相机)的视场中。显示器5148示出了由相机捕获的物理空间5400的实时视图，包括物理参考垫5416a的显示版本5416b。在显示在显示器5418上的模拟环境中显示虚拟用户界面对象(虚拟框5420)。在一些实施方案中，虚拟框5420被锚定到参考垫5416b，使得当参考垫的所显示的版本5416b的视图响应于设备100相对于参考垫5416b移动而改变时，虚拟框5420的视图将改变。上文关于图5B5进一步描述了用户界面的特征。
图5D3-图5D11包括子图“a”、子图“b”和子图“c”，子图a示出了第一设备5406和第二设备5412相对于桌子5414在物理空间5400中的取向(例如，如图5D3a所示)，子图b示出了第一设备5412的用户界面(例如，如图5D3b所示)，子图c示出了第二设备5412的用户界面(例如，如图5D3c所示)。为了提供用户界面的完整视图，图5D3-图5D11中的用户界面不显示握持设备的手。另外，为清楚起见，图5D3-图5D11中的用户界面未示出用户5402和5408的身体。应当理解，在设备5406的相机视场中的用户5408的身体的任何部分将通常在设备5406上显示的用户界面中可见(尽管用户的身体视图可能被虚拟用户界面对象或其他用户界面元素遮挡)。例如，在图5D2中，用户5408的身体和手在设备5409所显示的用户界面中是可见的。
图5D3-图5D4示出了第二设备5412的移动。
在图5D3a中，第二设备5412被显示在相对于桌子5414的第一位置处(例如，与桌子的最左边缘相邻的位置)。
在图5D3b中，设备5406的用户界面包括头像键5422，该头像键包括对应于设备5406的键头像5424和对应于设备5412的键头像5426。头像键5422包括对应于键头像5424的名称(“Me”)和对应于键头像5426的名称(“Zoe”)。头像键中所示的键头像提供了在可见环境中显示的头像(例如，头像5428)的引导，例如，以帮助设备5406的用户理解模拟环境中的头像5428对应于用户“Zoe”的设备5412(例如，因为模拟环境中的头像5428是与键头像5426匹配的猫图标)。
显示在设备5406的用户界面上的模拟环境包括从设备5406的视角展示的虚拟框5420和物理参考垫5416a的所显示视图5416b。通过查看视角指示符5432来指示设备5412的查看视角。示出了从头像5428发出的视角指示符5432。在模拟环境中，示出了设备5412的表示5430(例如，设备5406的相机所捕获的设备5412的视图和/或设备5412的渲染版本)。
在图5D3c中，设备5412的用户界面包括头像键5434，该头像键包括对应于设备5412的键头像5436和对应于设备5406的键头像5468。头像键5434包括对应于键头像5436的名称(“Me”)和对应于键头像5438的名称(“Gabe”)。头像键中所示的键头像提供了在可见环境中显示的头像(例如，头像5440)的引导，例如，以帮助设备5412的用户理解模拟环境中的头像5440对应于用户“Gabe”的设备5406(例如，因为模拟环境中的头像5440是与键头像5438匹配的笑脸图标)。
在图5D4a中，第二设备5412已从图5D3a所示的相对于桌子5414的第一位置移动到相对于桌子的第二位置(例如，与桌子的近左侧相邻的位置)。在图5D4b中，设备5406的用户界面在已从图5D3b改变的位置处示出设备5412(由头像5428和设备的表示5430指示)。设备5412的查看视角的变化由从图5D3b到图5D4b的查看视角指示符5432的不同角度指示。设备5412的移动还由图5D3c-图5D4c中的设备5412的用户界面中所显示的参考垫5416b和虚拟框5420的已改变视图来示出。
图5D5-图5D7示出了设备5412对虚拟框5420的选择和移动。
在图5D5c中，在第二设备5412的触摸屏显示器上在对应于虚拟框5420的表面的位置处检测到由接触5446做出的输入(例如，选择和移动输入)。响应于检测到选择虚拟框5420的表面的接触5446，示出了从虚拟框5420延伸的移动突出5448以指示虚拟框5420的移动平面(例如，平行于虚拟框5420的所选择表面的移动平面)。
在图5D5b中，示出了交互指示符5452以向第一设备5406的用户指示第二设备5412正在与虚拟框5420进行交互。交互指示符5452从对应于头像5428的位置延伸至对应于虚拟框5420的位置。在指示指示符5452遇到虚拟框5420的位置处示出了控制手柄5454。
在图5D5c-图5D6c中，接触5446沿由箭头5450指示的方向沿设备5412的触敏显示器移动。响应于接触5446的移动，虚拟框5420已沿由箭头5450指示的方向在由移动突出5448指示的平面内移动。
在图5D5b-图5D6b中，当虚拟框5420被第二设备5412处检测到的移动输入移动时，第一设备5406的用户界面示出交互指示符5452和控制手柄5454的移动(例如，以保持交互指示符5452和虚拟框5420之间的连接)。
在图5D7c中，接触5446已从设备5412的触敏显示器上抬离，并且移动突出5448不再被显示。在图5D7b中，不再显示交互指示符5452和控制手柄5454(因为设备5412未与虚拟框5420交互)。
图5D8-图5D11示出了设备5412进行的虚拟框5420的尺寸调整。
在图5D8c中，在第二设备5412的触摸屏显示器上在对应于虚拟框5420的表面的位置处检测到由接触5456做出的输入(例如，尺寸调整输入)。
在图5D8b中，在第一设备5406的用户界面上示出了交互指示符5462和控制手柄5464以指示第二设备5412正在与虚拟框5420进行交互。
在图5D9c中，在接触5456已保持在与虚拟框5420的表面对应的位置处增加到超过尺寸调整时间阈值的一段时间之后，尺寸调整突出5458被示出以指示将响应于接触5456的后续移动而沿其调整虚拟框5420的尺寸的轴线(其垂直于虚拟框5420的所选择表面)。
图5D9a-图5D10a示出了第二设备5412向上移动(同时接触5456与第二设备5412的触摸屏显示器接触)以调整虚拟框5420的尺寸。响应于设备5412的移动，虚拟框5420的尺寸已在第二设备5412移动的方向沿由尺寸调整突出5458指示的轴线增大。
在图5D11c中，接触5456已从触敏显示器112上抬离，并且突出5458不再被显示。
如图5D12-图5D14中所示，不在同一物理空间中的用户可在模拟环境中查看并协作操纵对象。例如，第一物理空间中的用户查看锚定到第一物理参考垫(例如，5416a)的所显示版本的虚拟用户界面对象(例如，虚拟框5420)，并且远程位置处的不同用户查看锚定到第二物理参考垫(例如，5476a)的所显示版本的相同虚拟用户界面对象。
图5D12a示出了两个用户5402和5408以及桌子5414所在的第一物理空间5400，如在图5D1中所示。图5D12b示出了与第一物理空间5400分开的第二物理空间5470，第三用户5472和桌子5474位于该物理空间中。第三设备5478(例如，设备100)由第三用户5472拿着。参考垫5476a位于桌子5474上。第三用户5472的设备5478显示由第一用户5408的设备5412和第二用户5402的设备5404所显示的相同模拟环境。
图5D13a示出了如关于图5D12a所述的第一物理空间5400，并且图5D13b示出了如关于图5D12b所述的第二物理空间5470。
在图5D13c中，第一设备5406的用户界面包括头像键5422，该头像键包括对应于第三设备5478的键头像5480(用于“Stan”)。在5406显示的模拟环境中，在对应于设备5478相对于物理参考垫5476a的位置的相对于物理参考垫5416a的所显示版本5416b的位置处，示出了对应于第三设备5478的头像5482(如键头像5480所示)。由查看视角指示符5486来指示设备5478的查看视角。设备5478的表示5484(例如，设备的渲染版本)被显示在设备5406所显示的模拟环境中。
如图5D13d中所示，第二设备5412的用户界面还显示对应于第三设备5478的头像5482、用于指示设备5478的查看视角的查看视角指示符5486，以及设备5478的表示5484。
图5D14a示出了如关于图5D12a所述的第一物理空间5400，并且图5D14b示出了如关于图5D12b所述的第二物理空间5470。
图5D14c示出了第三设备5478的用户界面。在图5D14c中，虚拟框5420被示出为锚定到物理参考垫5476a的所显示视图5476b。在第三设备5478所显示的模拟环境中，在对应于第一设备5406相对于物理参考垫5416a的位置的相对于物理参考垫5476a的所显示版本5476b的位置处，示出了对应于第一设备5406的头像5488。由查看视角指示符5490来指示第一设备5406的查看视角。第一设备5406的表示5490(例如，第一设备的渲染版本)被显示在第三设备5476所显示的模拟环境中。在模拟环境中，在对应于第二设备5412相对于物理参考垫5416a的位置的相对于物理参考垫5476a的所显示版本5476b的位置处，示出了对应于第二设备5412的头像5494。由查看视角指示符5498来指示第二设备5412的查看视角。第二设备5412的表示5496(例如，第二设备的渲染版本)被显示在第三设备5476所显示的模拟环境中。
图5E1-图5E32示出了根据一些实施方案，用于放置插入光标的系统和用户界面的实施例。这些附图中的用户界面用于例示下文描述的过程，包括图12A-图12D中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。类似地，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面以及焦点指示符时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
图5E1-图5E3示出了其中使用关于图5E4-图5E32所描述的用户界面的上下文。
图5E1示出了用户5202和桌子5204所在的物理空间5200。设备100由用户5202握持在用户的手5206中。参考垫5208位于桌子5204上。
图5E2示出了在设备100的显示器112上显示的虚拟三维空间的视图。参考垫5208处于设备100的一个或多个相机(例如，光学传感器164)(下文称为“相机”，其指示设备100的一个或多个相机)的视场中。显示器112示出了由相机捕获的物理空间5200的实时视图，包括物理参考垫5208a的所显示版本5208b。
在图5E3中，设备100已移动得更靠近参考垫5208a。因此，参考垫的所显示版本5208b的尺寸已增大。
图5E4-图5E32示出了设备100的更大视图，并且为了提供显示在显示器112上的用户界面的完整视图，未显示用户的手5206。
图5E5-图5E6示出了导致在第一位置处放置插入光标的输入。
在图5E5中，在物理参考垫5208a的所显示版本5208b上的第一位置处检测到由接触5502进行的输入(例如，轻击输入)。在图5E6中，接触5502已从触敏显示器112上抬离，并且插入光标5504被示为处在检测到接触5502的位置处。
图5E7-图5E8示出了导致在第二位置处放置插入光标的输入。在图5E7中，在与显示插入光标5504的位置不同的位置处检测到通过接触5506进行的输入(例如，轻击输入)。在图5E8中，接触5506已从触敏显示器112上抬离，并且插入光标5508被示为处在检测到接触5506的位置处。
图5E9-图5E10示出了导致插入虚拟用户界面对象的输入。在图5E9中，在与插入光标5508的位置对应的位置处检测到通过接触5510进行的输入(例如，轻击输入)。响应于在放置插入光标的位置处检测到接触5510，在显示器112上在对应于接触5510的位置处显示虚拟用户界面对象(第一虚拟框5512)，并且将插入光标5508从其在参考垫5208a的所显示视图5208b上的先前位置移动到第一虚拟框5512的表面5514。在一些实施方案中，显示阴影5522(例如，模拟光导致第一虚拟框5512投射阴影)。
图5E11-图5E12示出了在虚拟用户界面对象(第一虚拟框5512)的表面上检测到的导致插入额外虚拟用户界面对象的输入。在图5E11中，在插入光标5516位于表面5514上的同时，在第一虚拟框5512的表面5514上的位置处检测到由接触5516进行的输入(例如，轻击输入)。响应于检测到接触5516进行的输入，在对应于接触5510的位置处在显示器112上显示新的虚拟用户界面对象(第二虚拟框5518)，并且将插入光标5508从第一虚拟框5512的表面5514移动到第二虚拟框5518的表面5520。阴影5522的长度被增大(使得阴影似乎是由第一虚拟框5512和新添加的第二虚拟框5518投射的)。
图5E12-图5E13示出了物理参考垫5208的旋转。例如，用户5202手动地改变参考垫5208的位置和/或取向。随着物理参考垫5208a旋转，虚拟框5512和5518以及阴影5522旋转(因为虚拟框5512和5518被锚定到物理参考垫5208a的所显示视图5208b)。
图5E14-图5E16示出了设备100的移动。例如，拿着设备100的用户5202改变设备的位置和/或取向。在图5E14-图5E15中，在设备100移动时，虚拟框5512和5518以及阴影5522移动(因为虚拟框5512和5518被锚定到物理参考垫5208a的所显示视图5208b)。类似地，在图5E15-图5E16中，当设备100移动时，虚拟框5512和5518以及阴影5522移动。
图5E17-图5E18示出了改变插入光标5526在虚拟框5518上的位置的输入。在图5E17中，在插入光标5526位于虚拟框5518的表面5520上的同时，在虚拟框5518的表面5528上检测到由接触5524进行的输入(例如，轻击输入)。在图5E18中，接触5524已抬离触敏显示器112，并且插入光标5508从虚拟框5518的表面5520移动到虚拟框5518的表面5528。
图5E19-图5E20示出了在第二虚拟框5518的表面上检测到的导致插入第三虚拟框5532的输入。在图5E19中，在插入光标5526位于表面5268上的同时，在第二虚拟框5518的表面5528上的位置处检测到由接触5530进行的输入(例如，轻击输入)。响应于检测到接触5530进行的输入，在对应于接触5530的位置处在显示器112上显示第三虚拟框5532，并且将插入光标5526从第二虚拟框5518的表面5528移动到第三虚拟框5532的表面5526。阴影5522的形状被改变(使得阴影似乎是由第一虚拟框5512、第二虚拟框5518和新添加的第三虚拟框5532投射的)。
图5E21-图5E22示出了改变插入光标5538在虚拟框5532上的位置的输入。在图5E21中，在插入光标5526位于虚拟框5532的表面5534上的同时，在虚拟框5532的表面5538上检测到由接触5536进行的输入(例如，轻击输入)。在图5E22中，接触5536已抬离触敏显示器112，并且插入光标5526从虚拟框5518的表面5534移动到虚拟框5532的表面5538。
图5E23-图5E24示出了使用新对象控件5216来插入新的虚拟用户界面对象。
在图5E23中，虽然插入光标5526在虚拟框5532的表面5538处，但在显示器112上对应于新对象控件5216的位置处检测到通过接触5542进行的输入(例如，轻击输入)。在图5E24中，响应于在对应于新对象控件5216的位置处的输入，第四虚拟框5546被显示在显示器112上对应于显示插入光标5526的位置的位置处，并且插入光标5526从虚拟框5532的表面5538移动到第四虚拟框5546的表面5548。
图5E25-图5E27示出了使第四虚拟框5546移动的输入。
在图5E25中，在第四虚拟框5546的表面5556上检测由接触5550做出的输入(例如，选择和移动输入)。响应于检测到选择第四虚拟框5546的表面5556的接触5550，示出了从虚拟框5546延伸的移动突出5552以指示第四虚拟框5546的移动平面(例如，平行于虚拟框5546的所选择表面5556的移动平面)。
在图5E25-图5E26中，接触5550已沿着触敏显示器112的表面在箭头5554所指示的方向上移动。响应于接触5550的移动，第四虚拟框5546已沿由箭头5554指示的方向在由移动突出5552指示的平面内移动。在图5E27中，接触5550已从触敏显示器112上抬离，并且移动突出5552不再被显示。
图5E28-图5E32示出了导致第四虚拟框5546尺寸调整的输入。
在图5E28中，在触摸屏显示器112上在对应于第四虚拟框5546的表面5556的位置处检测到由接触5258做出的输入(例如，尺寸调整输入)。
在图5E29中，在接触5255已保持在与第四虚拟框5546的表面5556对应的位置处增加到超过尺寸调整时间阈值的一段时间之后，尺寸调整突出5560被示出以指示将响应于接触5558的后续移动而沿其调整虚拟框5546的尺寸的轴线(其垂直于虚拟框5546的所选择表面)。
在图5E30-图5E31中，接触5558在触摸屏显示器112上沿由箭头5562所指示的路径移动。响应于接触5558的移动，虚拟框5548的尺寸已在接触5558移动的方向上沿由尺寸调整突出5560指示的轴线增大。
在图5E32中，接触5558已从触敏显示器112上抬离，并且突出5560不再被显示。
图5F1-图5F17示出了根据一些实施方案，用于以稳定操作模式显示增强现实环境的系统和用户界面的实施例。这些附图中的用户界面用于例示下文描述的过程，包括图13A-图13E中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。类似地，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面以及焦点指示符时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
图5F1-图5F2示出了其中使用关于图5F3-图5F17所描述的用户界面的上下文。
图5F1示出了用户5202和桌子5204所在的物理空间5200。设备100由用户5202握持在用户的手5206中。对象(物理框5602)位于桌子5204上。
图5F2示出了设备100的显示器112所显示的增强现实环境。桌子5204(在提到物理空间中的桌子时称为5204a)和物理框5602处于设备100的一个或多个相机(例如，光学传感器164)(下文称为“相机”，其指示设备100的一个或多个相机)的视场中。显示器112示出由相机捕获的物理空间5200的实时视图，包括桌子5204a的所显示版本5204b和在模拟环境中对应于设备100相机检测到的物理框5602的位置处显示的渲染虚拟框5604。
图5F3-图5F17包括子图“a”和子图“b”，子图a示出了设备100在物理空间5200中相对于桌子5204a和物理框5602的取向(例如，如图5F3a所示)，子图b示出了设备100的用户界面(例如，如图5F3b所示)。而且，为了清楚起见，图5F3-图5F18示出了设备100的更大视图，并且为了提供显示在显示器112上的用户界面的完整视图，未显示用户的手5206。
图5F3a-图5F4a示出了设备100相对于桌子5204a和物理框5602的移动，该移动是在设备100(如图5F3b-图5F4b所示)以非稳定操作模式显示增强现实环境的同时发生的。当设备100相对于桌子5204a处于第一位置时，如图5F3a所示，物理对象5602的渲染版本5604在图5F3b中所示的用户界面中是完全可见的。在图5F4a中，设备100已相对于桌子5204a移动到第二位置，并且物理对象5602的渲染版本5604在图5F4b中所示的用户界面中是仅部分可见。在非稳定操作模式下，当设备100移动时，虚拟框5604的视图改变以保持虚拟框5604和物理框5602之间的固定空间关系，并且基于设备的移动而更新设备100的相机视场的所显示表示(例如，包括所显示的桌子5204b)。
图5F5-图5F8示出了使得设备以稳定操作模式来显示增强现实环境的输入(例如，展开缩小输入)。
在图5F5中，设备100相对于桌子5204处于第一位置。在图5F6中，在触敏显示器112处检测到接触5606和5608(如图5F6b所示)。如图5F6b-图5F7b所示，接触5606沿箭头5610所指示的路径移动，并且接触5608沿箭头5612所指示的路径移动。响应于增大接触5606和5608之间的距离的接触5606和5608的同时移动，所显示的增强现实环境(包括虚拟框5604)被放大(例如，使得虚拟框5604的尺寸在显示器112上增大)。虚拟框5604响应于缩放输入而被重新呈现(例如，图5F8b的较大虚拟框5604具有与图5F5b的较小虚拟框5604相同的分辨率)。在一些实施方案中，不响应于缩放输入而改变显示在显示器112上的设备100的相机视场(例如，桌子5204a的所显示视图5204b)(如图5F5b-图5F8b所示)。当接收到缩放输入时，发生从非稳定操作模式到稳定操作模式的过渡。在图5F8中，接触5606和5608已抬离触摸屏112。
在一些实施方案中，当设备正在以稳定操作模式显示增强现实环境时，由于设备的移动使得虚拟用户界面对象延伸超出设备相机的视场，因此停止显示虚拟用户界面对象的一部分。图5F8-图5F9示出了在设备100处于稳定操作模式时设备100的移动，这使得虚拟用户界面对象5304的一部分停止显示。图5F8a-图5F9a示出了设备100相对于桌子5204a和物理框5602的移动，该移动是在设备100(如图5F8b-图5F9b所示)以稳定操作模式显示增强现实环境的同时发生的。当设备100相对于桌子5204a处于第一位置时，如图5F8a所示，物理对象5602的缩放渲染版本5604在图5F8b中所示的用户界面中是完全可见的。在图5F9a中，设备100已相对于桌子5204a移动到第二位置，使得更新虚拟框5604的视图以保持虚拟框5604和物理框5602之间的固定空间关系导致虚拟框5604延伸超出设备100的相机视场。结果，不显示延伸超出设备100的相机视场的虚拟框5064的一部分。
在一些实施方案中，当设备正在以稳定操作模式显示增强现实环境，并且设备的移动使得虚拟用户界面对象延伸超出设备相机的视场时，增强现实环境被缩小，从而完全显示虚拟用户界面对象。例如，从图5F9b到图5F10b，所显示的增强现实环境(包括虚拟框5604)已缩小，使得虚拟框5604被完全显示。
在一些实施方案中，在稳定操作模式下，当更新虚拟框5604的视图以保持虚拟框5604和物理框5602之间的固定空间关系导致虚拟框5604延伸超出设备100的相机视场时，虚拟框5604在与虚拟框5064的延伸超出设备相机的视场的部分对应的位置处与占位符图像一起被显示。在图5F10b中，物理对象5602的渲染版本5604在与虚拟框5064的延伸超出设备相机的视场的部分对应的位置处与占位符图像5614(空白空间)一起被显示。例如，占位符图像5614被显示在增强现实环境中超出相机视场的位置处，因此没有相机数据可用于在占位符图像5614所占用的空间中显示。
图5F10-图5F11示出了设备100的移动(返回图5F8和图5F3所示的设备100的位置)。
图5F11a-图5F12a示出了设备100的移动(例如，向回离开桌子5204a和物理对象5602，使得设备100看起来更大)。在图5F12b中，作为图5F11a-图5F12a中所示移动的结果，虚拟对象5604的尺寸已从图5F11b中的虚拟对象5604的尺寸减小。出于例示性目的(使得处于稳定模式中的图5F12b中的虚拟对象5604的尺寸与处于非稳定模式中的图5F3b中的虚拟对象5604的尺寸相同)，图5F11a-图5F12a中示出了移动，以提供稳定和非稳定操作模式下增强现实环境的更新的直接比较。
图5F12a-图5F13a示出了设备100相对于桌子5204a和物理框5602的移动，该移动是在设备100以稳定操作模式显示增强现实环境的同时发生的。当设备100相对于桌子5204a处于第一位置时，如图5F12a所示，物理对象5602的渲染版本5604在图5F12b中所示的用户界面中是完全可见的。在图5F13a中，设备100已相对于桌子5204a移动到第二位置，并且物理对象5602的渲染版本5604在图5F13b中所示的用户界面中是仅部分可见。在一些实施方案中，在稳定操作模式下，当设备100移动时，虚拟框5604的视图改变以便在虚拟框5604和物理框5602之间保持固定的空间关系，设备100的相机视场的所显示表示(例如，包括所显示桌子5204b)改变某一量，该量小于处于非稳定模式中发生的改变量(例如，在设备100处于稳定操作模式中时，所显示桌子5204b从图5F12b-图5F13b的移动量小于在设备100处于非稳定操作模式中时所显示桌子5204b从图5F4b到图5F5b的移动量)。
图5F14-图5F16示出了稳定切换器5616处的输入，以从非稳定操作模式过渡到稳定操作模式。在图5F15b中，在触摸屏显示器112上对应于稳定切换器5616的位置处检测到通过接触5618进行的输入(例如，轻击输入)。响应于由接触5618做出的输入，改变稳定切换器5616的外观(例如，切换器从无阴影状态变为阴影状态)以指示从非稳定操作模式到稳定操作模式的过渡已发生，如图5F16b所示。
图5F16a-图5F17a示出了设备100相对于桌子5204a和物理框5602的移动，该移动是在设备100(如图5F16a-图5F17a所示)以稳定操作模式显示增强现实环境的同时发生的。当设备100相对于桌子5204a处于第一位置时，如图5F16a所示，物理对象5602的渲染版本5604在图5F16b中所示的用户界面中是完全可见的。在图5F17a中，设备100已相对于桌子5204a移动到第二位置，并且物理对象5602的渲染版本5604在图5F17b中所示的用户界面中是仅部分可见。在稳定操作模式下，当设备100移动时，虚拟框5604的视图改变以便在虚拟框5604和物理框5602之间保持固定的空间关系，设备100的相机视场的所显示表示(例如，包括所显示桌子5204b)改变某一量，该量小于处于非稳定模式中发生的改变量(例如，在设备100处于稳定操作模式中时，所显示桌子5204b从图5F15b-图5F16b的移动量小于在设备100处于非稳定操作模式中时所显示桌子5204b从图5F4b到图5F5b的移动量)。
图6A-图6D是流程图，示出了根据一些实施方案调节增强现实环境中的虚拟用户界面对象外观的方法600。在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，摄像机，其连续提供在相机视场之内内容的至少一部分的实况预览并任选地产生包括捕获相机视场之内内容的一个或多个图像帧流的视频输出)和输入设备(例如，触敏表面，诸如触敏遥控器，或触摸屏显示器，触摸屏显示器还充当显示生成部件，鼠标、操纵杆、触笔控制器和/或跟踪用户一个或多个特征，诸如用户手的位置的相机)的计算机系统(例如，便携式多功能设备100，图1A，设备300，图3A，或包括头戴式耳机5008和输入设备5010的多部件计算机系统，图5A2)处执行方法600。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文相对于图3B-图3D所述，在一些实施方案中，在计算机系统301(例如，计算机系统301-a、301-b或301-c)处执行方法600，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)和一个或多个集成相机的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。类似地，可任选地在具有独立于计算机系统的一个或多个其他部件(例如，输入设备)实现(例如，在头戴式耳机中)的一个或多个相机的计算机系统上执行类似操作；以及在一些此类实施方案中，“计算机系统的移动”对应于计算机系统的一个或多个相机的移动，或与计算机系统通信的一个或多个相机的移动。
如下所述，方法600涉及基于计算机系统的移动(例如，计算机系统的一个或多个相机的移动)和计算机系统的输入设备(例如，触摸屏显示器)上的接触的移动之组合来调节(例如，计算机系统的显示器上的)虚拟用户界面对象在增强现实环境中(例如，在该环境中，利用向用户提供在物理世界中不可用额外信息的补充信息来增强现实)的外观。在一些实施方案中，调节虚拟用户界面对象的外观允许用户访问增强现实环境中的补充信息。基于计算机系统的移动和计算机系统的输入设备上的接触移动的组合来调节虚拟用户界面对象的外观为用户提供了一种直观方式来调节虚拟用户界面对象的外观(例如，通过允许用户仅利用计算机系统的移动，仅利用输入设备上接触的移动，或利用计算机系统的移动和接触移动的组合来调节虚拟用户界面对象的外观)，并允许用户扩展可用于用户的调节范围(例如，通过允许用户即使接触或计算机系统的一个或多个相机不能沿期望方向进一步移动也可以继续调节虚拟用户界面对象的外观)，由此增强了设备的可操作性并使得用户-设备界面更有效率(例如，通过在操作设备时减少实现预期结果所需的步骤数量，并减少操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
计算机系统(例如，图5A7的设备100)经由显示生成部件(例如，触摸屏112，图5A7)来显示(602)增强现实环境(例如，如图5A7所示)。显示增强现实环境包括(604)同时显示：包括相应物理对象(例如，建筑物的3D模型、具有打印图案的一张纸、墙上或其他物理对象上的招贴画、坐落于表面上的雕塑等)(例如，物理建筑物模型5006，图5A1)的一个或多个相机的视场的至少一部分的表示，其中在一个或多个相机的视场内容变化时更新该表示(例如，该表示是一个或多个相机的视场的至少一部分的实时预览，并且相应物理对象被包括在内并在相机视场中可见)；以及在一个或多个相机的视场表示中相应位置处的相应的虚拟用户界面对象(例如，建筑物的3D模型的虚拟屋顶、停放在由具有打印图案的一张纸表示的表面上的虚拟汽车、叠加于招贴画上的交互式徽标、覆盖雕塑轮廓的虚拟3D面具等)(例如，虚拟建筑物模型5012，图5A7)，其中相应虚拟用户界面对象(例如，虚拟建筑物模型5012，图5A7)具有基于一个或多个相机视场中相应物理对象(例如，物理建筑物模型5006)确定的位置。例如，在一些实施方案中，相应的虚拟用户界面对象是看起来附接到或看起来覆盖一个或多个相机的视场中的相应物理对象的图形对象或2D或3D虚拟对象(例如，虚拟建筑物模型5012是看起来覆盖物理建筑物模型5006的3D虚拟对象，图5A7)。基于物理对象在一个或多个相机的视场中的位置、形状和/或取向来确定相应虚拟用户界面对象的位置和/或取向(例如，如图5A3和图5A5所示)。在显示增强现实环境(606)时，计算机系统在对应于相应虚拟用户界面对象的位置(触摸屏显示器或触敏遥控器上的位置，或者当光标处在相应虚拟用户界面对象的位置时，触笔或用户手的移动)处检测到输入(例如，诸如通过检测触摸屏显示器或触敏遥控器上的接触做出的触摸输入而检测到输入设备上的输入)(例如，设备100检测到虚拟建筑物模型5012的虚拟屋顶上的接触5020-a，图5A8)。
在继续检测到输入的同时(608)(例如，当接触保持在输入设备上时，诸如在接触被保持在触摸屏显示器上或触敏遥控器上时)(例如，当接触5020保持在触摸屏112上时，图5A9-图5A13)，计算机系统检测输入相对于一个或多个相机的视场中的相应物理对象的移动(例如，如图5A9-图5A13中所示)。在一些实施方案中，输入的移动任选地包括接触跨触摸屏显示器或跨触敏遥控器的触敏表面的移动，而计算机系统(例如，设备100)在物理空间中保持基本上静止(例如，如图5A8-图5A11中所示)。在一些实施方案中，输入的移动任选地包括设备(包括相机)在物理空间中的移动，同时维持接触并在触摸屏显示器或触敏遥控器上保持静止(例如，如图5A17-图5A18中所示)。在一些实施方案中，输入的移动任选地包括接触跨触摸屏显示器或触敏遥控器的移动，同时还有包括相机的设备在物理空间中的移动。在一些实施方案中，计算机系统的移动包括多部件计算机系统的部件的移动，诸如虚拟现实头戴式显示器等的移动(例如，如图5A2所示)。此外，在继续检测输入的同时，并且响应于检测到输入相对于一个或多个相机的视场中的相应物理对象的移动，设备根据输入相对于相应物理对象的移动量值来调节相应虚拟用户界面对象的外观(例如，通过将虚拟用户界面对象的全部或部分进行扩展、收缩、拉伸、挤压在一起、展开和/或推到一起)。例如，当在建筑物模型的虚拟屋顶上检测到接触，然后接触跨触摸屏显示器移动时，虚拟屋顶在相机视场的实时预览中被抬离建筑物模型(例如，如图5A8-图5A11所示)；并且当接触保持在触摸屏显示器上，并且整个设备相对于建筑物模型在物理空间中移动时，基于接触在触摸屏显示器上的位置以及设备相对于物理空间中的相应物理对象的位置和取向两者来确定虚拟屋顶的移动(例如，基于相机视场的实时预览中所示的相应物理对象的位置来确定)(例如，如图5A11-图5A13中所示)。
又如，在块构建应用中(例如，如相对于图5B1-图5B41中更详细所述)，其中虚拟模型构建于相应物理对象(例如，桌面或具有印刷图案的一张纸)上，在(例如，响应于块上的长按压输入)块上检测到接触(例如，接触5262，图5B28)，且计算机系统显示块将如何缩放的引导(例如，如使用缩放投影5266所示，图5B29)时，在接触保持在块上且设备整体相对于块被移动(例如，如图5B28-图5B30所示)的同时，基于接触在触摸屏显示器上的位置(例如，在立方块的特定侧或特定面上)和设备相对于物理空间中相应物理对象的位置和取向(例如，基于相机视场的实时预览中所示的相应物理对象的位置来确定)两者来确定块的缩放(例如，在引导方向上拉伸块)。
在一些实施方案中，根据输入相对于相应物理对象的移动量值来调节相应虚拟用户界面对象(例如，虚拟建筑物模型5012，图5A8-图5A13)的外观包括(610)：根据确定输入相对于相应物理对象的移动量值为第一量值(例如，相对较大的移动量值)，将相应虚拟用户界面对象的外观调节第一调节(例如，更大量的相对移动导致更大的调节)(例如，与图5A9相比，如图5A10所示)；并且根据确定输入相对于相应物理对象的移动量值为不同于第一量值的第二量值(例如，较小的移动量值)，将相应虚拟用户界面对象的外观调节不同于第一调节的第二调节(例如，更小量的相对移动导致更小的调节)(例如，与图5A10相比，如图5A9所示)。当输入的移动量值为第一量值时将相应虚拟用户界面对象调节第一调节(例如，更大量的相对移动导致更大调节)，并且当输入的移动量值为第二量值时将相应虚拟用户界面对象调节第二调节(例如，更小量的相对移动导致更小调节)，(例如，通过使计算机系统看起来对用户输入更有响应)改善了提供给用户的视觉反馈，增强了设备的可操作性，并且(例如，通过帮助用户利用所需输入实现预期结果并减少操作设备/与设备交互时的用户错误)使得用户-设备界面更有效率，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，相应的虚拟用户界面对象(例如，虚拟建筑物模型5012，图5A3-图5A6)在调节之前和之后被锚定(612)到一个或多个相机的视场中的相应物理对象(例如，物理建筑物模型5006)。例如，在一些实施方案中，相应的虚拟用户界面对象看起来覆盖一个或多个相机的视场中的相应物理对象，并且当一个或多个相机的视场中的物理对象的位置和/或取向发生变化时，相应虚拟用户界面对象的位置和/或取向相应地改变(例如，如图5A3-图5A6中所示)。在一些实施方案中，在一些或所有调节期间(例如，在从图5A3到图5A5过渡期间)，相应的虚拟用户界面对象被锚定到一个或多个相机的视场中的相应物理对象。将相应虚拟用户界面对象锚定到相应物理对象，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到输入相对于一个或多个相机视场中的相应物理对象的移动来调节(614)相应虚拟用户界面对象的外观，而不管输入的移动是由于：输入在输入设备上的移动(例如，当输入设备在物理空间中保持基本静止时，接触跨触摸屏显示器或跨输入设备的触敏表面的移动)(例如，如图5A9-图5A11中所示)，一个或多个相机相对于相应物理对象的移动(例如，在接触被维持并在触摸屏显示器或输入设备的触敏表面上保持静止时，包括相机的计算机系统在物理空间中的移动)(例如，如图5A11-图5A13所示)，还是输入在输入设备上的移动和一个或多个相机相对于相应物理对象的移动的组合(例如，接触跨触摸屏显示器或输入设备的触敏表面的移动，同时还有包括相机的计算机系统在物理空间中的移动)。调节虚拟用户界面对象的外观而不考虑输入的移动方式(例如，通过允许用户仅利用输入在输入设备上的移动，仅利用相机相对于物理对象的移动，或利用输入和相机移动的组合来调节虚拟用户界面对象的外观)为用户提供了一种直观方式来调节虚拟用户界面对象的外观，改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性并使得用户-设备界面更有效率(例如，通过帮助用户利用所需输入实现期望结果并在操作设备/与设备交互时减少用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，输入相对于相应物理对象的移动(616)基于一个或多个相机的视场相对于相应物理对象的移动(例如，由于包括相机的计算机系统在物理空间中的移动)(例如，如图5A11-图5A13中所示)以及输入在输入设备上的移动(例如，接触跨触摸屏显示器或跨输入设备的触敏表面的移动)(例如，如图5A8-图5A11中所示)。允许用户通过计算机系统的移动和接触的移动来相对于相应物理对象移动输入提供了一种直观的方式供用户移动输入，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，输入相对于物理对象的移动(618)基于输入在输入设备上的移动(例如，在输入设备在物理空间中保持基本静止时，接触跨触摸屏显示器或跨输入设备的触敏表面的移动)(例如，如图5A8-图5A11中所示)，并且在根据输入相对于相应物理对象的移动量值调节相应虚拟用户界面对象的外观(例如，如图5A11中所示)之后，计算机系统：检测一个或多个相机的视场相对于相应物理对象的移动(例如，移动5022，图5A12)；以及响应于检测到一个或多个相机相对于相应物理对象的视场的移动，继续根据一个或多个相机的视场相对于相应物理对象的移动量值来(例如，通过相同方式)调节相应虚拟用户界面对象的外观(例如，如图5A13所示)。在一些实施方案中，调节相应虚拟用户界面对象的外观包括移动相应虚拟用户界面对象的部分，其中通过虚拟用户界面对象上的接触拖动来开始移动，并且通过将设备作为整体移动而继续移动(例如，如图5A8-图5A13中所示)。例如，当在建筑物的3D模型的虚拟屋顶上检测到接触并且接触跨触摸屏显示器(例如，在向上的方向)移动时，虚拟屋顶在所显示的增强现实环境中从建筑物模型提升(例如，如图5A8-图5A11中所示)。在提升虚拟屋顶之后，当设备整体相对于建筑物模型在物理空间中(例如，在向上的方向上)移动时，虚拟屋顶继续提升(例如，如图5A11-图5A13所示)(并且任选地，建筑物模型的楼层提升并扩展)。在一些实施方案中，根据输入的移动量值调节相应虚拟用户界面对象的外观，并随后根据一个或多个相机视场的移动量值继续调节相应虚拟用户界面对象的外观，允许用户继续调节相应虚拟用户界面对象的外观，即使接触不能在触摸屏显示器上在期望方向上移动很多(例如，因为触摸在触摸屏显示器边缘处或附近，而触摸的进一步移动会使触摸离开触摸屏显示器的边缘)。例如，利用虚拟屋顶，当接触接近触摸屏显示器的顶部边缘但用户仍然想要继续提升屋顶时，即使接触在触摸屏显示器上不能移动得更高，用户也可通过移动设备或相机以继续调节，从而这样做(例如，如图5A8-图5A13中所示)。根据输入的移动量值调节相应虚拟用户界面对象的外观，并然后根据一个或多个相机视场的移动量值继续调节相应虚拟用户界面对象的外观，允许用户扩展用户可用的调节范围(例如，即使接触不能在触摸屏显示器上沿期望方向移动更远，也允许用户随着计算机系统的移动而继续调节相应虚拟用户界面对象的外观)，由此增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过在操作设备时减少实现期望结果所需的步骤数量，并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，输入相对于相应物理对象的移动基于(620)一个或多个相机的视场相对于相应物理对象的移动(例如，由于在接触被维持并在触摸屏显示器或输入设备的触敏表面上保持静止时，计算机系统的一个或多个相机或与计算机系统通信的一个或多个相机的移动)(例如，如图5A17-图5A18所示)，在根据输入相对于相应物理对象的移动量值调节相应虚拟用户界面对象的外观之后(例如，如图5A18所示)，计算机系统：检测输入在输入设备上的移动(例如，在输入设备在物理空间中保持基本静止的同时，(先前静止的)接触跨触摸屏显示器或跨输入设备的触敏表面的移动)(例如，如图5A19-图5A20所示)；以及响应于检测到输入在输入设备上的移动，继续根据输入在输入设备上的移动量值来(例如，以相同的方式)调节相应虚拟用户界面对象的外观(例如，如图5A20中所示)。在一些实施方案中，调节相应虚拟用户界面对象的外观包括移动相应虚拟用户界面对象的部分(例如，移动虚拟屋顶5012-a，图5A17-图5A20)，其中通过虚拟用户界面对象上的(静止)接触触摸并整体移动设备(例如，如图5A17-图5A18中所示)来开始移动，并通过虚拟用户界面对象上的接触拖动来继续移动(例如，如图5A19-图5A20所示)。例如，当在建筑物的3D模型的虚拟屋顶上检测到接触并且在物理空间中相对于建筑物模型(例如，在向上的方向)移动设备整体时，虚拟屋顶在相机视场的实时预览中从建筑物模型提升(例如，如图5A17-图5A18中所示)。在提升虚拟屋顶之后，当(先前静止的)接触跨触摸屏显示器(例如，在向上的方向上)移动时，虚拟屋顶继续提升(并且任选地，建筑物模型的楼层提升并扩展)(例如，如图5A19-图5A20所示)。根据一个或多个相机视场的移动量值调节相应虚拟用户界面对象的外观，并然后根据输入在输入设备上的移动量值继续调节相应虚拟用户界面对象的外观，允许用户扩展用户可用的调节范围(例如，即使计算机系统(或计算机系统的或与计算机系统通信的一个或多个相机)不能在期望方向上移动更远，也允许用户随着输入设备继续调节相应虚拟用户界面对象的外观)，由此增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过在操作设备时减少实现期望结果所需的步骤数量，并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在对应于相应虚拟用户界面对象的位置处检测输入包括(622)在相应虚拟用户界面对象上的第一接触点处检测输入；以及计算机系统(例如，设备100)更新相应虚拟用户界面对象的显示以便将相应虚拟用户界面对象上的第一接触点的显示保持在对应于输入位置的位置处(例如，在触摸屏设备上显示虚拟用户界面对象时，该设备更新相应的虚拟用户界面以便将虚拟用户界面对象保持在用户手指下方，而不管输入的移动是由于：输入在输入设备上的移动(例如，当输入设备在物理空间中保持基本静止时，接触跨触摸屏显示器或跨输入设备的触敏表面的移动)(例如，如图5A8-图5A11中所示)，一个或多个相机相对于相应物理对象的移动(例如，在接触被维持并在触摸屏显示器或输入设备的触敏表面上保持静止时，包括相机的计算机系统在物理空间中的移动)(例如，如图5A11-图5A13所示)，还是输入在输入设备上的移动和一个或多个相机相对于相应物理对象的移动的组合(例如，接触跨触摸屏显示器或输入设备的触敏表面的移动，同时还有包括相机的计算机系统在物理空间中的移动))。例如，当在建筑物的3D模型的虚拟屋顶上检测到(例如，通过用户的手指作出的)接触时(例如，在触摸屏112上显示建筑物3D模型的虚拟屋顶的位置处检测到)，同步触摸屏显示器上的移动和计算机系统的移动以将接触保持在虚拟屋顶的同一点(例如，在接触沿向上方向跨越触摸屏显示器移动时，虚拟屋顶提升并保持在用户的手指下，在将设备整体相对于物理空间中的建筑物模型在向上方向上移动时，虚拟屋顶提升并保持在用户手指下，虚拟屋顶基于接触的移动和设备整体的移动的组合而保持在用户的手指下方(例如，向上或向下移动)(例如，如图5A8-图5A13中所示))。将相应虚拟用户界面对象上的接触点的显示保持在对应于输入位置的位置处，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，输入相对于相应物理对象的移动包括(624)计算机系统的移动(例如，计算机系统，包括一个或多个相机，在物理空间中的移动)(例如，如图5A17所示)；以及计算机系统的移动来源于图像分析，图像分析指示一个或多个相机的视场内的一个或多个参考点已在由一个或多个相机捕获的连续图像之间改变(例如，改变了一个或多个相机的视场内的位置或地点)(例如，对连续图像帧的比较和对图像中识别的对象的跟踪)。在一些实施方案中，图像分析由计算机系统执行。在一些实施方案中，图像分析包括跟踪相机视场内的三个或更多个参考点。在一些实施方案中，新的参考点被识别为从一个或多个相机的视场移出的旧参考点。在一些实施方案中，计算机系统的移动来源于图像分析而不是来源于使用计算机系统的惯性测量单元(IMU)。在一些实施方案中，除了使用计算机系统的IMU的一个或多个元件(例如，加速度计、陀螺仪和/或磁力计)之外，计算机系统的移动还来源于图像分析。从图像分析检测计算机系统的移动，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，调节相应虚拟用户界面对象的外观包括(626)移动相应虚拟用户界面对象的至少一部分，其中相应虚拟用户界面对象的移动基于相应物理对象的物理形状(例如，基于物理模型的形状)。例如，在一些实施方案中，相应物理对象是3D高速公路模型，并且相应的虚拟用户界面对象是虚拟汽车。在该实施例中，调节虚拟汽车的外观包括移动3D高速公路模型上的虚拟汽车，并且虚拟汽车的移动基于3D高速公路模型的物理形状(例如，虚拟汽车在3D高速公路模型的斜坡上移动)。又如，在一些实施方案中，相应物理对象是物理建筑物模型(例如，物理建筑物模型5006，图5A1)，并且相应的虚拟用户界面对象是虚拟建筑物模型(例如，虚拟建筑物模型5012，图5A8)，并且调节相应虚拟用户界面对象的外观包括移动相应虚拟用户界面对象的至少一部分(例如，虚拟屋顶5012-a，图5A9)。基于相应物理对象的物理形状移动相应虚拟用户界面对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，调节相应虚拟用户界面对象的外观包括(628)移动相应虚拟用户界面对象的至少一部分，其中相应虚拟用户界面对象的移动基于一个或多个触摸输入(例如，输入设备上的轻扫输入)的移动和同时计算机系统的移动。例如，在一些实施方案中，调节建筑物的3D模型的虚拟屋顶的外观包括移动虚拟屋顶的至少一部分，其中虚拟屋顶的移动基于跨触摸屏显示器(例如，沿向上方向)移动的接触的移动以及同时设备整体相对于建筑物模型在物理空间中(例如，沿向上方向)的移动(例如，如果图5A17-图5A18中的设备移动5028与图5A19-图5A20中的接触5026的移动同时发生)。又如，在一些实施方案中，虚拟汽车的移动基于在3D高速公路模型的斜坡上拖动虚拟汽车的移动以及同时模型自身在显示器上因为设备正在移动而造成的移动。允许用户通过触摸输入的移动和计算机系统的同时移动来移动相应虚拟用户界面对象提供了一种直观的方式供用户移动相应虚拟用户界面对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，调节相应虚拟用户界面对象的外观包括(630)将相应虚拟用户界面对象的至少一部分移动超过相应虚拟用户界面对象的静止状态的最大极限(例如，移动虚拟屋顶5012-a超过其静止状态的最大极限，如图5A13中所示)(例如，基于接触跨触摸屏显示器或跨输入设备的触敏表面的移动、一个或多个相机相对于相应物理对象的移动或接触在输入设备上的移动和一个或多个相机相对于相应物理对象的移动的组合)，并且计算机系统：在继续检测输入的同时，根据输入相对于相应物理对象的移动量值(例如，如图5A13中所示)，在超过相应虚拟用户界面对象的静止状态的最大极限的位置处显示相应虚拟用户界面对象；停止检测到输入(例如，图5A13中的接触5020-d的抬离)；以及响应于停止检测到输入，在对应于相应虚拟用户界面对象的静止状态的最大极限的位置处显示相应虚拟用户界面对象(例如，如图5A14所示)。在一些实施方案中，这包括显示从位于超过静止状态的最大极限的位置处的相应虚拟用户界面对象到对应于静止状态的最大极限的位置的动画过渡(例如，在图5A13中的位置处显示从虚拟屋顶5012-a到图5A14中的位置处的虚拟屋顶5012-a的动画过渡)。在一些实施方案中，如果相应虚拟用户界面对象基于输入的移动而移动超过其最大静止状态的最远程度，则相应虚拟用户界面对象在输入抬离时(例如，在动画过渡中)快速跳回至其最大静止状态。例如，如果3D建筑物模型的虚拟屋顶可被显示为直接坐落于3D建筑物模型上，并悬停在建筑物模型上方高达十二英寸(例如，虚拟屋顶的静止状态距建筑物模型在零英寸和十二英寸之间)，那么如果用户将虚拟屋顶提升到建筑物模型上方十五英寸，在用户输入抬离时，虚拟屋顶会快速跳回建筑物模型上方十二英寸。根据输入移动的量值(即使超过相应虚拟用户界面对象的静止状态的最大极限)移动相应虚拟用户界面对象并然后在输入抬离时显示相应虚拟用户界面对象快速跳回其最大静止状态，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，所显示的增强现实环境包括(632)：一个或多个虚拟对象，该一个或多个虚拟对象不对应于一个或多个相机的视场中的物理对象(例如，在虚拟建筑物前方驾驶的虚拟汽车，该虚拟建筑物是建筑物的物理模型的替代)(例如，图5A4中所示增强现实环境中的虚拟树、虚拟灌木丛、虚拟人员和虚拟汽车)；位于一个或多个相机的视场中的一个或多个物理对象(例如，建筑物的物理模型所在的桌子)(例如，桌子5004和墙纸5007，图5A4)；以及位于一个或多个相机的视场中的一个或多个物理对象的一个或多个3D虚拟模型，一个或多个3D虚拟模型替换对应的一个或多个物理对象(例如，虚拟建筑物模型5012，图5A4)的至少一部分(例如，建筑物的物理模型的替换)(例如，相应的3D虚拟模型被投影到对应的相应物理标记上)。在一些实施方案中，一个或多个相机的视场中相应物理对象的相应3D虚拟模型替换对应的相应物理对象的一部分(但并非全部)(例如，雕像头部的3D虚拟模型替换一个或多个相机视场中的物理雕像头部的一部分，示出了例如头部的四分之一的内部横截面)。在一些实施方案中，一个或多个相机的视场中相应物理对象的相应3D虚拟模型替换所有对应的相应物理对象(例如，建筑物的3D虚拟模型替换一个或多个相机的视场中的建筑物的整个物理模型)(例如，虚拟建筑物模型5012替换增强现实环境中的整个物理建筑物模型5006，图5A4)。在一些实施方案中，所显示的增强现实环境包括不同层中的上述所有三者(例如，纯虚拟对象、物理对象和物理对象的3D虚拟模型)。例如，在一些实施方案中，所显示的增强现实环境包括博物馆中的雕像(例如，一个或多个相机的视场中的物理对象)，其中雕像头部的3D虚拟模型(例如，显示雕像的内部横截面的雕像头部的3D虚拟模型)在具有埃及金字塔的虚拟环境中(例如，显示雕像一开始显示处的周围环境的纯虚拟对象)。
在一些实施方案中，所显示的增强现实环境包括上述的子集(例如，包括位于一个或多个相机的视场中的一个或多个物理对象和一个或多个物理对象的一个或多个3D虚拟模型，但不包括一个或多个纯虚拟对象)。例如，在一些实施方案中，使用博物馆中雕像的以上实施例，所显示的增强现实环境包括博物馆中的雕像，该雕像具有雕像头部的3D虚拟模型，但不包括任何纯虚拟对象。又如，在一些实施方案中，所显示的增强现实环境包括桌子或平台上建筑物的物理3D模型(例如，一个或多个相机视场中的物理对象)，其中建筑物的至少一部分的3D虚拟模型(例如，示出建筑物内部视图的建筑物一部分的3D虚拟模型)在虚拟室外环境中(例如，具有虚拟对象，诸如建筑物周围的虚拟树木、在建筑物前方驾驶的虚拟汽车或建筑物附近走路的虚拟人)。随着建筑物的物理3D模型在视场中移动(例如，在用户通过四处走动到物理建筑物模型不同侧而移动计算机时，由于在建筑物模型的物理世界中的移动和/或由于计算机系统的移动)(例如，如图5A3-图5A6所示)，建筑物的物理3D模型的一个或多个3D虚拟模型相应地移动。例如，当用户围绕建筑物移动到不同侧时，建筑物的显示建筑物内部视图的部分的3D虚拟模型改变为对应于一个或多个相机的视场中的物理对象的更新视图。显示具有虚拟对象、物理对象和物理对象的3D虚拟模型的增强现实环境提供了一种真实视图(具有在一个或多个相机的视场中的一个或多个物理对象)连同向用户提供信息的补充信息(具有一个或多个虚拟对象以及一个或多个3D虚拟模型)，由此增强了设备的可操作性(例如，通过允许用户容易地访问关于在一个或多个相机视场中的一个或多个物理对象的补充信息)，并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，相应物理对象是(634)可从不同角度识别的3D标记，并且相应的虚拟用户界面对象是基于一个或多个相机的相机角度而重叠在(例如，所显示的增强现实环境中的)相应物理对象上的3D虚拟模型。在一些实施方案中，一个或多个相机的相机角度对应于一个或多个相机相对于相应物理对象的取向。例如，使用上面的实施例，其中所显示的增强现实环境包括具有雕像头部的3D虚拟模型的博物馆中的雕像，当一个或多个相机的相机角度定位成在一个或多个相机的视场中包括雕像的前方时，所显示的增强现实环境包括雕像的前方和雕像头部前方的3D虚拟模型。当相机角度变化(例如，当设备的用户在查看一个或多个相机的视场中的雕像时绕博物馆中的雕像行走时)并且一个或多个相机的相机角度定位成在一个或多个相机的视场中包括雕像的背面时，所显示的增强现实环境包括雕像的背面和雕像头部背面的3D虚拟模型。随着相应物理对象在视场中移动(例如，由于相应物理对象在物理世界中的移动和/或由于计算机系统的导致相应物理对象在一个或多个相机的视场中移动的移动)，叠加在相应物理对象上的3D虚拟模型相应地移动(例如，改变以跟随相应物理对象)。例如，使用上面的实施例，其中所显示的增强现实环境包括桌子上的物理3D建筑物模型(例如，桌子5004上的物理建筑物模型5006，图5A1)，其具有示出建筑物内部的建筑物一部分的3D虚拟模型，在物理3D建筑物模型移动时(例如，在一个或多个相机的视场中)(例如，在用户5002从图5A3中所示的位置走到图5A5中所示的位置时)，在一个或多个相机的视场中查看建筑物的同时，叠加于物理3D建筑物模型上的建筑物的3D虚拟模型相应地移动(例如，在用户围绕物理3D建筑物模型走动时(例如，从物理3D建筑物模型的前方走到物理3D建筑物模型的侧面))，3D虚拟模型从用户的新位置改变为在一个或多个相机的视场中显示建筑物的内部部分(例如，从显示物理3D建筑物模型的前方的内部到显示物理3D建筑物模型的侧面的内部)。基于一个或多个相机的相机角度在相应物理对象上叠加3D虚拟模型，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，对图6A-图6D中的操作进行描述的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法700、800、900、1000、1100、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图6A-图6D描述的方法600。例如，上文参考方法600所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法700、800、900、1000、1100、1200和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图7A-图7C是示出了根据一些实施方案用于在增强现实环境中由计算机系统的一个或多个相机捕获的实时图像上应用滤波器的方法700的流程图。在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，摄像机，其连续提供在相机视场之内内容的至少一部分的实况预览并任选地生成包括捕获相机视场之内内容的一个或多个图像帧流的视频输出)和输入设备(例如，触敏表面，诸如触敏遥控器，或触摸屏显示器，触摸屏显示器还充当显示生成部件，鼠标、操纵杆、触笔控制器和/或跟踪用户一个或多个特征，例如用户手的位置的相机)的计算机系统(例如，便携式多功能设备100，图1A，设备300，图3A，或包括头戴式耳机5008和输入设备5010的多部件计算机系统，图5A2)处执行方法700。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文相对于图3B-图3D所述，在一些实施方案中，在计算机系统301处执行方法700，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法700中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
如下所述，方法700涉及在增强现实环境中(例如，其中使用向用户提供在物理世界中不可用的补充信息来增强现实)，将滤波器施加到计算机系统的一个或多个相机的视场的表示(例如，一个或多个相机的视场的实时预览)，其中基于用于增强现实环境的虚拟环境设置来选择滤波器。实时地在由一个或多个相机捕获的实时图像上应用滤波器为用户提供了与增强现实环境进行交互的直观方式(例如，通过允许用户容易地改变用于增强现实环境的虚拟环境设置(例如，一天的时间、场景/环境等))，并允许用户实时看到对虚拟环境做出的改变，由此增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过在操作设备时减少实现预期结果所需的步骤数量，并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。另外，改变物理环境的视图外观使得虚拟模型更可见(例如，与非常明亮背景上的黑暗模型相比)，同时仍为用户提供关于虚拟模型已放置在其中的物理环境的信息。
计算机系统(例如，设备100，图5A21)经由显示生成部件(例如，触摸屏112，图5A21)来显示(702)增强现实环境(例如，如图5A21所示)。显示增强现实环境包括(704)同时显示：包括相应物理对象(例如，建筑物的3D模型、具有打印图案的一张纸、墙上或其他物理对象上的招贴画、坐落于表面上的雕塑等)(例如，物理建筑物模型5006，图5A1)的一个或多个相机的视场的至少一部分的表示，其中在一个或多个相机的视场内容变化时更新该表示(例如，该表示是一个或多个相机的视场的至少一部分的实时预览，并且相应物理对象被包括在内并在相机视场中可见)；以及在一个或多个相机的视场表示中相应位置处的相应的虚拟用户界面对象(例如，建筑物的3D模型的虚拟屋顶、停放在由具有打印图案的一张纸表示的表面上的虚拟汽车、叠加于招贴画上的交互式徽标、覆盖雕塑轮廓的虚拟3D面具等)(例如，虚拟建筑物模型5012，图5A21)，其中相应虚拟用户界面对象具有基于一个或多个相机视场中相应物理对象而确定的位置。例如，在一些实施方案中，相应的虚拟用户界面对象是看起来附接到或看起来覆盖一个或多个相机的视场中的相应物理对象的图形对象或2D或3D虚拟对象(例如，虚拟建筑物模型5012是看起来覆盖物理建筑物模型5006的3D虚拟对象，图5A21)。基于物理对象在一个或多个相机的视场中的位置、形状和/或取向来确定相应虚拟用户界面对象的位置和/或取向(例如，如图5A3和图5A5所示)。在显示增强现实环境的同时，计算机系统检测(706)改变对增强现实环境(例如，在增强现实环境中导航通过时间的轻扫输入，如图5A21-图5A24所示)的虚拟环境设置(例如，一天中的时间、照明角度、故事等)的输入(例如，在与一个或多个相机的视场中的相应物理对象对应的多个显示设置中选择不同的显示设置，如图5A25-图5A27中所示)。响应于检测到改变虚拟环境设置的输入，计算机系统(708)：根据对增强现实环境的虚拟环境设置所作的改变来调节相应虚拟用户界面对象的外观；以及向一个或多个相机的视场表示的至少一部分(例如，一个或多个相机的视场表示中未被相应虚拟用户界面对象遮挡的部分)应用滤波器，其中基于对虚拟环境设置作出的改变选择滤波器(例如，应用总体滤色器以使场景变暗(例如，如图5A24中所示)，基于虚拟太阳的方向向相应物理对象和虚拟对象两者添加阴影(例如，如图5A21-图5A23所示)，基于选择的故事(例如，历史视图、建筑、视图寿命中的一天等))向场景添加额外的虚拟对象(和/或从场景去除虚拟对象)(例如，如图5A25-图5A27所示)，以及在相机视场的实时预览中显示图像输出之前，改变相机图像输出的色温、亮度、对比度、清晰度、透明度等)。
在一些实施方案中，将滤波器应用于一个或多个相机的视场表示的至少一部分除了导致相应虚拟用户界面对象的外观调节之外还导致(710)增强现实环境的外观调节。在一些实施方案中，将滤波器应用于一个或多个相机的视场表示中未被相应虚拟用户界面对象遮蔽的部分(例如，在图5A24中，将滤波器应用于不被虚拟场景遮蔽的墙纸5007)。例如，当选择了建筑视图时，可移除虚拟屋顶(例如，调节相应虚拟用户界面对象的外观)以显示物理建筑物模型的内部(例如，如图5A27中所示)，并且显示正在建设的建筑物的内部的虚拟场景覆盖在物理建筑物模型的实时预览上，而(例如，使用滤波器)模糊掉周围的物理环境。当显示示出在几天时间段内的建设的时间流逝动画时，将光滤波器应用于未被虚拟场景遮蔽的实时预览的部分，使得在整个一天中的照明变化被应用于还包括在实时预览中的建筑物模型周围的物理对象(例如，墙纸5007也在夜间模式下变暗，图5A24)。在一些实施方案中，将滤波器应用于增强现实环境，包括相应虚拟用户界面对象。例如，在一些实施方案中，将整体滤色器应用于一个或多个相机的视场的整个表示，包括由相应虚拟用户界面对象占据的部分。除了调节相应虚拟用户界面对象的外观之外还调节增强现实环境的外观，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，虚拟环境设置被(712)更改为夜间模式；以及将滤波器应用于一个或多个相机的视场表示的至少一部分包括：减小由一个或多个相机捕获的图像(或图像序列)的亮度；以及将滤色器应用于由一个或多个相机捕获的图像(或图像序列)(例如，如图5A24所示)。在一些实施方案中，在一个或多个相机的视场的实时预览中显示图像输出之前(例如，在由一个或多个相机捕获的图像被显示在增强现实环境中之前)，将滤波器应用于由一个或多个相机捕获的图像，如下文相对于操作(726)所述。为夜间模式应用滤波器(例如，通过减小亮度并应用滤色器)，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少实现期望结果所需要的步骤数量并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，改变虚拟环境设置的输入是(714)在增强现实环境中导航经过时间的轻扫输入(例如，从左到右或从右到左)。例如，在一些实施方案中，当用户从左到右在输入设备上轻扫时，增强现实环境中的一天中的时间从白天变化到夜间(例如，根据轻扫输入移动的速度和/或距离)(例如，如图5A21-图5A24中所示)。允许用户使用轻扫输入在增强现实环境中导航通过时间为用户改变虚拟环境设置提供了一种直观方式，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少实现期望结果所需要的步骤数量并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，检测改变虚拟环境设置的输入包括(716)检测改变虚拟环境设置的输入的移动；根据对增强现实环境的虚拟环境设置作出的改变来调节相应虚拟用户界面对象的外观包括根据改变虚拟环境设置的输入移动来逐渐调节相应虚拟用户界面对象的外观；以及将滤波器应用于一个或多个相机的视场表示的至少一部分包括根据改变虚拟环境设置的输入移动来逐渐应用滤波器(例如，如图5A21-图5A24中所示)。例如，在一些实施方案中，基于输入的移动而逐渐地应用滤波器，并且基于输入的移动速度和/或距离(例如，接触在触敏表面上的移动，触笔的移动，或用户的手考虑到计算机系统的相机的移动)逐渐调节相应虚拟用户界面对象的外观(例如，接触5030在触摸屏112上的移动，图5A21-图5A24)。根据改变虚拟环境设置的输入的移动而逐渐调节虚拟用户界面对象的外观并逐渐应用滤波器，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少实现期望结果所需要的步骤数量并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，相应虚拟用户界面对象在增强现实环境中的相应物理对象上投射(718)阴影。例如，在一些实施方案中，建筑物的3D模型的虚拟屋顶在建筑物的3D模型上投射阴影。随着一天的时间或照明角度改变(例如，通过改变虚拟环境设置)，相应物理对象在相应虚拟用户界面对象上所投射的阴影相应地改变。例如，如图5A21-图5A23所示，随着一天的时间改变，由虚拟建筑物模型5012投射的阴影相应地改变。在增强现实环境中显示具有阴影(例如，投射在物理对象上)的虚拟用户界面对象，改善了向用户提供的视觉反馈(例如，在用户改变虚拟环境设置时，通过使增强现实环境更真实，并使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，相应物理对象在增强现实环境中的相应虚拟用户界面对象上投射(720)阴影。例如，在一些实施方案中，建筑物的3D模型将阴影投射在停放在建筑物旁边的虚拟汽车上。随着一天中的时间或照明角度的改变(例如，通过改变虚拟环境设置或由于物理对象的移动)，相应物理对象在相应虚拟用户界面对象上所投射的阴影相应地改变。例如，在一些实施方案中，随着增强现实环境中的一天中的时间从日中(例如，当增强现实环境中的对象的相应阴影相对较小时时)变为上午或下午(例如，当增强现实环境中对象的相应阴影较长时)，由相应物理对象在相应虚拟用户界面对象上投射的阴影相应改变(例如，随着一天中的时间从上午变为日中，阴影变小/短，并且随着一天中的时间从日中变为下午，阴影变大/长)。在一些实施方案中，使用相应物理对象的3D虚拟模型来确定相应物理对象的阴影应该在增强现实环境中的哪里。虽然在图5A21-图5A24中，虚拟建筑物模型5012完全覆盖物理建筑物模型5006，但是如果物理建筑物模型5006的一部分被暴露，则物理建筑物模型5006的该部分将在增强现实环境中一天的时间改变时投射类似的阴影。在增强现实环境中显示具有阴影(例如，投射在虚拟用户界面对象上)的物理对象，改善了向用户提供的视觉反馈(例如，在用户改变虚拟环境设置时，通过使增强现实环境更真实，并使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，相应物理对象的移动(例如，由于相应物理对象的物理世界中的移动和/或由于计算机系统的导致相应物理对象在一个或多个相机的视场中移动的移动)(例如，用户5002从第一位置(例如，如图5A3中所示)移动到第二位置(例如，如图5A5中所示)致使(722)增强现实环境中相应虚拟用户界面对象的外观的一个或多个改变(例如，将虚拟建筑物模型5012的视图从前视图改变为侧视图，图5A3-图5A6)。在一些实施方案中，相应物理对象的移动使得相应物理对象以不同方式在相应虚拟用户界面对象上投射阴影，因为随着相应物理对象移动，环境光源相对于相应物理对象处于不同角度(例如，如图5A3-图5A6中所示)。响应于物理对象的移动而改变增强现实环境中虚拟用户界面对象的外观，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统的移动致使(724)应用于一个或多个相机的视场的至少一部分(例如，实时预览)的表示和相应虚拟用户界面对象的外观的视觉效果的一个或多个变化。例如，如果相应物理对象是物理3D建筑物模型，则当用户通过绕着物理3D建筑物模型走到不同侧而移动计算机系统时，照明的角度变化，这致使应用于实时预览和任何虚拟用户界面对象(例如，由物理3D建筑物模型和由一个或多个虚拟对象投射的阴影改变)的视觉效果的变化(例如，如图5A3-图5A6所示)。响应于计算机系统的移动而改变应用于实时预览的视觉效果并改变虚拟用户界面对象的外观，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，将滤波器应用于一个或多个相机的视场的表示的至少一部分包括(726)：在图像被传输至显示生成部件之前(例如，如图5A21-5A24中所示)，将滤波器应用于由一个或多个相机捕获的图像(或图像序列)(例如，在一个或多个相机的视场内的内容的至少一部分的实时预览)。在向显示器传输图像之前向相机捕获的图像应用滤波器提供了对虚拟环境设置作出的改变的实时视图，改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，改变虚拟环境设置的输入是(728)在用于虚拟用户界面对象的不同虚拟环境之间切换的输入(例如，按钮上的轻扫输入或轻击输入)(例如，通过按钮5016上的接触5032进行的轻击输入，图5A26)，其中不同虚拟环境与用于探索虚拟用户界面对象的不同交互相关联(例如，从第一虚拟环境到第二虚拟环境)(例如，如图5A25-图5A27所示，从景观视图到内部视图)。在一些实施方案中，相同虚拟用户界面对象的不同虚拟环境是预定义的虚拟环境(例如，景观、内部和白天/夜间，如图5A25-图5A27中所示)。例如，不同的虚拟环境故事包括历史视图、建设视图、生活中一天的视图、建筑物探索视图等，其中建设视图随着时间的推移与从左到右轻扫一起推进以显示建筑物建设的不同阶段，而建筑物探索视图响应向上轻扫输入而显示建筑物的建筑设计的详细视图。允许用户在不同虚拟环境之间(例如，利用轻扫输入或按钮上的轻击输入)切换提供了一种供用户改变虚拟环境设置的容易而直观的方式，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少在操作设备时实现期望结果所需要的步骤数量并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，根据确定选择了第一虚拟环境设置(例如，第一虚拟环境故事，诸如建设视图)，计算机系统在增强现实环境中显示(730)第一组虚拟对象；以及根据确定选择了第二虚拟环境设置(例如，第二虚拟环境故事，诸如生活中一天的视图)，计算机系统在增强现实环境中显示不同于第一组虚拟对象的第二组虚拟对象。在一些实施方案中，基于对虚拟环境设置的选择来显示不同组的虚拟对象。例如，在一些实施方案中，在建设视图中不显示树或人，而在生活中一天的视图中显示树和人。如图5A25-图5A27所示，例如，在景观视图中显示虚拟树、虚拟人和虚拟汽车(例如，在图5A25中)，并且在内部视图中不显示树或人或汽车(例如，在图5A27中)。基于虚拟环境设置的选择而显示不同组的虚拟对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过减少操作设备时实现期望结果所需要的步骤数量并减少在操作设备/与设备交互时的用户错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，对图7A-图7C中的操作进行描述的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、800、900、1000、1100、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图7A-图7C描述的方法700。例如，上文参考方法700所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、800、900、1000、1100、1200和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图8A-图8C是流程图，示出了根据一些实施方案用于在增强现实环境中查看虚拟模型和从虚拟模型中对象的视角查看虚拟模型的模拟视图之间过渡的方法800。在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，摄像机，其连续提供在相机视场之内内容的至少一部分的实况预览并任选地生成包括捕获相机视场之内内容的一个或多个图像帧流的视频输出)和输入设备(例如，触敏表面，诸如触敏遥控器，或触摸屏显示器，触摸屏显示器还充当显示生成部件，鼠标、操纵杆、触笔控制器和/或跟踪用户一个或多个特征，例如用户手的位置的相机)的计算机系统(例如，便携式多功能设备100，图1A，设备300，图3，或包括头戴式耳机5008和输入设备5010的多部件计算机系统，图5A2)处执行方法800。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文结合图3B-图3D所述，在一些实施方案中，在计算机系统301处执行方法800，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。
如下所述，方法800涉及在增强现实环境(例如，其中利用为用户提供物理世界中不可用的额外信息的补充信息增强现实)中(在计算机系统的显示器上，诸如设备100，图5A28)呈现具有虚拟用户界面对象的(例如，物理对象的)虚拟模型以及响应于计算机系统的移动和/或检测到的计算机系统的输入(例如，触敏表面上的接触)(例如，在虚拟现实环境中)从虚拟用户界面对象的视角呈现虚拟模型的模拟视图。在一些实施方案中，允许用户查看增强现实环境中的虚拟模型为用户提供了对关于虚拟模型的补充信息的访问。在一些实施方案中，允许用户从虚拟现实环境中的不同视角视觉化虚拟模型为用户提供了一种更沉浸和直观的体验虚拟模型的方式。允许用户访问关于物理对象的补充信息以及提供沉浸式直观查看体验增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
计算机系统(例如，图5A28中的设备100)经由显示生成部件来显示(802)增强现实环境(例如，图5A28-图5A29中所示的增强现实环境)。显示增强现实环境包括(804)同时显示：包括相应物理对象(例如，建筑物的3D模型、具有打印图案的一张纸、墙上或其他物理对象上的招贴画、坐落于表面上的雕塑等)的一个或多个相机的视场的至少一部分的表示，其中在一个或多个相机的视场内容变化时更新该表示(例如，该表示是一个或多个相机的视场的至少一部分的实时预览，并且相应物理对象被包括在内并在相机视场中可见)；以及在一个或多个相机的视场表示中相应位置处显示的虚拟模型中的第一虚拟用户界面对象(例如，3D建筑物模型的渲染3D模型、放置于由具有打印图案的一张纸表示的表面上的建筑物的虚拟3D模型、固定到与具有招贴画的墙壁或物理对象相对的另一墙壁或物理对象的渲染虚拟模型的虚拟相机、站在虚拟模型附近(例如，与建筑物的虚拟模型相邻或与坐落于表面上的雕像的虚拟模型相邻)等的虚拟人)，其中第一虚拟用户界面对象的位置是基于一个或多个相机的视场中相应物理对象确定的。例如，在一些实施方案中，第一虚拟用户界面对象是看起来附接到或看起来覆盖一个或多个相机的视场中的相应物理对象的图形对象或2D或3D虚拟对象。基于物理对象在一个或多个相机的视场中的位置、形状和/或取向来确定相应虚拟用户界面对象的位置和/或取向。例如，如上文参考图5A28所述，显示增强现实环境包括同时显示：相机视场的该部分的表示，该部分包括墙纸5007和桌子5004的边缘，以及物理建筑物模型5006(如图5A2中所示)，其也在相机的视场中；以及第一虚拟用户界面对象是虚拟车辆5050。在显示增强现实环境(例如，将第一虚拟用户界面对象叠加在一个或多个相机的视场的至少一部分上)的同时，计算机系统检测(806)对应于第一虚拟用户界面对象的选择的第一输入(例如，第一虚拟用户界面对象上的轻击或利用光标对第一虚拟用户界面对象的选择等)。例如，如上文参考图5A29所述，设备100检测对应于车辆5050的选择的输入5052。响应于检测到对应于选择第一虚拟用户界面对象(例如，车辆5050，图5A29)的第一输入(例如，输入5052，图5A29)，计算机系统从虚拟模型中的第一虚拟用户界面对象的视角显示(808)虚拟模型的模拟视场(例如，如图5A31中所示和上文参考其所述)(并且，任选地，停止显示一个或多个相机的视场的表示，如本文参考操作810所述)。例如，当用户在物理3D建筑物模型(例如，物理建筑物模型5006，图5A1)的渲染3D模型(例如，图5A29中所示的虚拟模型)中选择虚拟汽车(例如，汽车5050，图5A29)时，设备从虚拟汽车的视角(例如，如同用户正在从虚拟汽车之内的人(例如，驾驶员)的视角观看建筑物模型)显示渲染3D建筑物模型的视图。在一些实施方案中，计算机系统还停止显示增强现实环境，包括停止显示相机的视场的表示和第一虚拟用户界面对象。又如，当在位于表面上的雕像的虚拟模型旁边站立的虚拟人上轻击时，设备停止显示虚拟人，并且从站在雕像的虚拟模型旁边的虚拟人的视角显示雕像的虚拟模型。
在一些实施方案中，响应于检测到对应于第一虚拟用户界面对象的选择的第一输入，计算机系统停止(810)显示一个或多个相机的视场的表示(例如，在计算机系统切换到从第一虚拟对象的视角显示虚拟模型的视图时检测到第一输入之前，一个或多个相机的视场中的内容)(例如，停止显示墙纸5007和/或桌子5004的边缘，如上文参考图5A30所述)。在过渡到从选择的虚拟用户界面对象的视角查看虚拟模型时停止(例如，在虚拟现实环境中)显示相机的视场中的内容向用户指示AR模式中没有更长时间并为用户提供更沉浸式的查看体验，允许用户集中精力于虚拟模型和虚拟环境。向用户提供对虚拟模型的更沉浸和直观的查看体验增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过在操作设备/与设备交互时用户的注意力分散和错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命，并且减少了捕获和模拟背景用户界面所需的能量和处理资源。
在一些实施方案中，响应于在显示增强现实环境的同时检测到改变一个或多个相机的视场的计算机系统的至少一部分的移动(例如，计算机系统的一个或多个部件诸如一个或多个相机或输入设备的移动)，计算机系统更新(812)一个或多个相机的视场的表示。例如，如上文参考图5A15-图5A16所述，设备100响应于设备100的移动而改变设备100的相机的视场。响应于改变相机视场的移动来更新在增强现实环境中显示的内容在所显示的内容与用户将基于物理世界中的计算机系统(或更具体地，相机)的定位而预期看到的内容之间提供一致性，从而改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入和相机位置/方向更有响应性)。为用户提供更直观的查看体验增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在显示增强现实环境时，响应于检测到改变一个或多个相机视场内容的视角的计算机系统的至少一部分的移动(例如，计算机系统的部件，诸如一个或多个相机或输入设备的移动)，该计算机系统根据视场内容视角的改变来更新(814)一个或多个相机的视场的表示和虚拟模型(例如，计算机系统使用图像分析确定一个或多个相机相对于物理对象的更新取向，并使用所确定的取向来更新表示)。例如，如上文参考图5A3-图5A6所述，当用户5002从具有第一视角(例如，从图5A3-图5A4所示的桌子5004前方)的第一位置移动至具有第二视角(例如，从图5A5-图5A6中所示的桌子5004的侧面)的第二位置时，设备100显示增强现实的不同视图。响应于改变相机视角的移动来更新在增强现实环境中显示的内容在所显示的内容与用户将基于物理世界中的计算机系统(或更具体地，相机)的定位而预期看到的内容之间提供一致性，改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入和相机位置/方向更有响应性)。为用户提供更直观的查看体验增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到对应于选择第一虚拟用户界面对象的第一输入，计算机系统显示(816)从增强现实环境到从虚拟模型中的第一虚拟用户界面对象的视角看到的虚拟模型的模拟视场的动画过渡(例如，从查看者从具有所显示的增强现实环境视图的初始位置移动(例如，飞行)到第一用户界面对象在具有模拟视场的虚拟模型中的位置的视角看到的动画)。例如，如上文参考图5A29-图5A31所述，设备100显示从增强现实环境(图5A29)到从车辆505的视角得虚拟模型的模拟视场(图5A31)的动画过渡。显示增强现实环境的视图和(例如，在虚拟现实环境中)从虚拟用户界面对象的视角的虚拟模型的模拟视图之间的动画过渡(例如，飞行动画)为用户提供了视图之间更平滑的过渡，并给用户留下了从物理世界进入虚拟现实环境(或对应于物理世界的增强现实环境)中的印象，同时帮助用户保持上下文。利用更平滑地过渡到该查看体验和离开该体验为用户提供更沉浸的查看体验，并在查看体验期间帮助用户保持上下文，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在显示从虚拟模型中的第一虚拟用户界面对象的视角的虚拟模型的模拟视场的同时，计算机系统检测(818)对应于显示增强现实环境的请求(例如，退出虚拟现实环境的请求，诸如选择用于返回到增强现实环境的示能表示，或诸如选择虚拟模型中没有相关联的虚拟模型的透视图的位置)的第二输入；以及响应于对应于显示增强现实环境的请求的第二输入，该计算机系统：显示从虚拟模型的模拟视场到增强现实环境的动画过渡(例如，从查看者从具有模拟视场的虚拟模型中的第一用户界面对象的位置移动(例如，飞行)到具有增强现实环境的视图的位置的视角看到的动画)；并显示增强现实环境。例如，如上文参考图5A37-图5A40所述，在从人5060的视角(图5A37)显示模拟视场的同时，设备100检测对应于显示增强现实环境的请求的输入5066(图5A38)，并且作为响应，显示到增强现实环境的动画过渡(图5A39-图5A40)。显示在(例如，虚拟现实环境中)从虚拟用户界面对象的视角看到的虚拟模型的模拟视图和增强现实环境的视图之间的动画过渡(例如，飞行动画)为用户提供了视图之间更平滑的过渡，并给用户留下了退出虚拟现实环境并返回物理世界(或对应于物理世界的增强现实环境)中的印象，同时帮助用户保持上下文。利用更平滑地过渡到该查看体验和离开该体验为用户提供更沉浸和直观的查看体验，并在查看体验期间帮助用户保持上下文，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于第二输入来显示增强现实环境包括(820)在检测到第二输入之后(例如，如果自从检测到第一输入之后一个或多个相机的视场已经改变，则响应于第二输入从不同视图示出所显示的增强现实环境)显示根据一个或多个相机的视场的增强现实环境。例如，如上文参考图5A39-图5A40所述，当检测到输入5050(以切换到模拟透视图)时，图40中的相机的视场已从图28中的相机的视场改变；因此，响应于输入5066(以返回到增强现实环境的视图)，图40中的增强现实环境被从不同的视图示出。在从虚拟现实环境返回增强现实环境时更新增强现实环境中显示的内容，在所显示的内容与在用户返回增强现实视图时用户将基于物理世界中的计算机系统(或更具体地，相机)的定位而预期看到的内容之间提供一致性，从而改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入和相机位置/方向更有响应性)。为用户提供更直观的查看体验增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，一个或多个相机在检测到第二输入之后的视场不同于(822)一个或多个相机在检测到第一输入时的视场(例如，一个或多个相机的视场已经从切换到虚拟现实环境之前刚刚显示的视场(或显示其表示)改变，如本文参考图5A28和图5A40，以及操作820所述)。在从虚拟现实环境返回增强现实环境时更新增强现实环境中显示的内容，在所显示的内容与在用户返回增强现实视图时用户将基于物理世界中的计算机系统(或更具体地，相机)的定位而预期看到的内容之间提供一致性。具体地讲，如果在返回到增强现实环境时相机的视场不同于恰好在用户离开增强现实环境并进入虚拟现实环境之前的先前视场，那么用户可能自然会预期在返回增强现实环境时看到显示不同的视场。因此，在返回时呈现增强现实环境的不同视图改善了向用户提供的视觉反馈(例如，通过使计算机系统看起来对用户输入和相机位置/方向更有响应)。为用户提供更直观的查看体验增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一虚拟用户界面对象在虚拟模型中独立于来自计算机系统的用户的输入而移动(824)。在一些实施方案中，第一虚拟用户界面对象在增强现实环境中独立地移动。例如，当虚拟人自主地(例如，在增强现实环境中)在虚拟模型中四处走动时；计算机系统的用户对虚拟模型中的虚拟人的移动没有控制(例如，如本文参考图5A31所述)。在虚拟模型中显示虚拟用户界面对象独立于用户输入(例如，在增强现实环境中)的移动向用户提供了一种更直观的查看体验，其中虚拟用户界面对象看起来在增强现实环境内自主地移动。为用户提供更直观的查看体验增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当从虚拟模型中的第一虚拟用户界面对象的视角显示虚拟模型的模拟视场时，第一虚拟用户界面对象响应于来自计算机系统的用户的一个或多个输入而在虚拟模型中移动(826)。在一些实施方案中，当从虚拟模型中的虚拟人或虚拟车辆的视角查看虚拟模型时，用户控制虚拟模型中的虚拟人或车辆的移动(例如，移动的方向和/或速度)。例如，用户可在虚拟模型的环境之内控制虚拟人步行的位置(例如，如本文参考图5A35-图5A37所述)，或虚拟车辆驾驶(例如，如本文参考图5A31-图5A33所述)的位置。允许用户(例如，在虚拟现实环境中)移动虚拟模型中的虚拟用户界面对象为用户提供了更沉浸的查看体验，该体验允许用户访问关于虚拟模型的附加信息，就像用户存在于虚拟模型中一样，并且改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)。为用户提供更沉浸的查看体验和改善的视觉反馈增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在显示模拟视场时，计算机系统检测(828)计算机系统的至少一部分的移动(例如，计算机系统的一个或多个部件诸如一个或多个相机或输入设备的移动)，并且响应于检测到计算机系统的移动，根据计算机系统的移动来改变从第一虚拟用户界面对象的视角看到的虚拟模型的模拟视场。在一些实施方案中，根据计算机系统或计算机系统的一个或多个部件的姿态(例如，取向和/或位置)的变化来更新虚拟现实环境中的模拟视场。例如，如果用户向上抬起计算机系统，那么模拟的视场将被更新，就像虚拟模型中的虚拟人抬起他们的头部以向上看一样。任选地基于陀螺仪、磁力计、惯性测量单元和/或设备的一个或多个相机来确定计算机系统的姿态变化，该设备基于一个或多个相机的视场中的对象来检测设备的移动。例如，如上文参考图5A35-图5A37所述，响应于设备100朝左移动和设备100的旋转，更新所显示的从人5060的视角看到的虚拟模型的模拟透视图。响应于计算机系统的移动改变从虚拟用户界面对象的视角看到的虚拟现实环境中显示的内容，为用户提供了更沉浸的查看体验，该体验允许用户访问关于虚拟模型的附加信息，就像用户存在于虚拟模型中一样，并且改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)。为用户提供更沉浸的查看体验和改善的视觉反馈增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当从虚拟模型中的第一虚拟用户界面对象的视角显示虚拟模型的模拟视场(例如，如图5A33所示，从车辆5050的视角看到的模拟视图)时，计算机系统检测(830)对应于选择虚拟模型中的第二虚拟用户界面对象(例如，虚拟模型中的虚拟人或虚拟车辆)(例如，人5060，图5A34)的第三输入(例如，输入5062，图5A34)；以及响应于检测到对应于选择第二虚拟用户界面对象的第三输入，显示从虚拟模型中的第二虚拟用户界面对象的视角看到的虚拟模型的第二模拟视场(例如，从人5060的视角看到的模拟视图，如图5A35所示)(例如，并停止显示从虚拟模型中第一虚拟用户界面对象的视角看到的虚拟模型的模拟视场)。允许用户从虚拟模型中多个虚拟用户界面对象的视角查看虚拟模型并允许用户通过选择针对各透视图的对应虚拟用户界面对象而在各视图之间切换，为用户提供了更沉浸的查看体验，该体验允许用户访问关于从多个视角看到的虚拟模型的附加信息，就像用户存在于虚拟模型中一样，并且改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应性)。为用户提供更沉浸的查看体验和改善的视觉反馈增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少操作设备/与设备进行交互时的用户注意力分散和错误)，这通过使用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当从虚拟模型中的第一虚拟用户界面对象的视角显示虚拟模型的模拟视场(例如，如图5A37所示从人5060的视角看到的模拟视图)时，计算机系统检测(832)对应于选择虚拟模型中除可以显示关联模拟视场的虚拟用户界面对象之外的位置的第四输入(例如，如本文参考输入5066、图5A38所述)；以及响应于检测到第四输入，重新显示增强现实环境(例如，如图5A40所示的增强现实环境的视图)(例如，并且停止显示从虚拟模型中的第一虚拟用户界面对象的视角看到的虚拟模型的模拟视场)。在一些实施方案中，虚拟模型中的一些虚拟用户界面对象是可从那些对象的视角为其显示模拟视场的虚拟用户界面对象。在一些实施方案中，虚拟模型中的其他位置(包括一些虚拟用户界面对象)不具有相关联的模拟视场，或者不允许从其视角显示模拟视场，并且在一些实施方案中，用户可选择此类位置或对象以退出虚拟现实环境并重新显示增强现实环境。例如，虽然对虚拟人的选择导致从虚拟人的视角来显示模拟视场，但选择一块草地会导致退出虚拟现实环境并重新显示增强现实环境。在一些实施方案中，该设备响应于选择“退出”按钮或示能表示或响应于诸如从触敏表面的边缘开始的边缘轻扫手势或包括两个或更多个接触朝彼此移动至少预先确定的量的手势的手势，重新显示增强现实环境并停止显示从虚拟模型中的第一虚拟用户界面对象的视角看到的虚拟模型的模拟视场。通过在虚拟模型中选择未显示对应透视图的位置来允许用户从虚拟现实环境返回到增强现实环境，为用户提供了一种直观而直接的方式来过渡回到增强现实环境而不需要更多输入或附加显示的控件。减少执行操作所需的输入数量并提供附加控制选项而不因附加显示的控件使用户界面杂乱，增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过减少操作设备/与设备交互时的用户注意力分散和错误)，从而通过使用户能够更快速并且更高效地使用设备来减少电力使用并改善设备的电池寿命。
应当理解，对图8A-图8C中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、900、1000、1100、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图8A-图8C描述的方法800。例如，上文参考方法800所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、700、900、1000、1100、1200和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图9A-图9E是流程图，示出了根据一些实施方案的虚拟用户界面对象的三维操纵的方法900。在包括(和/或与之通信)显示生成部件(例如，显示器、投影仪、平视显示器等)和输入设备(例如，触敏表面，诸如触敏遥控器或也充当显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户手的位置的相机)、任选的一个或多个相机(例如，摄像机，连续提供在相机视场之内的内容的至少一部分的实时预览，并任选地生成视频输出，该视频输出包括捕获相机视场之内内容的图像帧的一个或多个流)、任选的一个或多个姿态传感器、任选的一个或多个传感器以检测与触敏表面的接触强度，以及任选的一个或多个触觉输出发生器的计算机系统(例如，图1A的便携式多功能设备100、图3A的设备300或图5A2的包括头戴式耳机5008和输入设备5010的多部件计算机系统)处执行方法900。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文相对于图3B-图3D所述，在一些实施方案中，在计算机系统301(例如，计算机系统301-a、301-b或301-c)处执行方法900，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法900中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)和一个或多个集成相机的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。类似地，可任选地在具有独立于计算机系统的一个或多个其他部件(例如，输入设备)实现(例如，在头戴式耳机中)的一个或多个相机的计算机系统上执行类似操作；以及在一些此类实施方案中，“计算机系统的移动”对应于计算机系统的一个或多个相机的移动，或与计算机系统通信的一个或多个相机的移动。
如下所述，方法900涉及基于虚拟用户界面对象的一部分的选择和输入在两个维度中的移动来(在计算机系统的显示器上)调节虚拟用户界面对象(在本文中也被称为虚拟对象)在增强现实环境(例如，其中使用向用户提供在物理世界中不可用的额外信息的补充信息来增强现实)中的外观。基于虚拟用户界面对象的一部分的选择和输入在两个维度中的移动来调节虚拟用户界面对象的外观(例如，移动虚拟用户界面对象或调节虚拟用户界面对象的尺寸)为用户提供了一种直观的方式来调节虚拟用户界面对象的外观(例如，经由输入设备上的接触的移动或遥控器的移动)，由此增强了设备的可操作性，并且使用户-设备界面更有效率(例如，通过允许用户直接与虚拟用户界面对象交互而不是利用附加控件使所显示的用户界面杂乱)，这附加地通过使用户能够更快速并且更有效率地使用设备来减少电力使用并且改善了设备的电池寿命。
计算机系统(例如，设备100，图5B2)经由显示生成部件(例如，显示器112，图5B2)在虚拟三维空间中显示(902)第一虚拟用户界面对象(例如，用户界面对象5210，图5B2)。例如，在一些实施方案中，第一虚拟用户界面对象是在耦接至计算机系统的一个或多个相机的视场中看起来附接到或覆盖物理对象(例如，参考垫5208a，图5B2)的2D或3D虚拟对象。任选地基于物理对象5208a在一个或多个相机的视场中的位置、形状和/或取向来确定第一虚拟用户界面对象5210的位置和/或取向。
当在虚拟三维空间中显示第一虚拟用户界面对象5210时(904)，计算机系统经由输入设备检测第一输入，该第一输入包括第一虚拟用户界面对象5210的相应部分的选择以及第一输入在两个维度中的移动(例如，接触跨平面触敏表面上的移动，或遥控器的移动，包括遥控器周围三维物理空间的两个正交维度中的移动分量)。
例如，如图5B6中所示，接触5222作出的输入选择虚拟用户界面对象5210的顶表面(如指示虚拟框5210的移动平面的移动突出部5226所指示)，并且接触5222跨触敏表面112的两个维度移动，如箭头5228所示。
在图5B10中所示的另一实施例中，接触5232作出的输入选择虚拟用户界面对象5210的前表面(如移动突出部5236所指示)，并且接触5232跨触敏表面112在两个维度中移动，如箭头5238所示。
在图5B18-图5B20中所示的另一个实施例中，接触5244作出的输入选择虚拟用户界面对象5210的顶表面(如指示将响应于接触的后续移动而沿其调节虚拟框5210尺寸的轴的调节尺寸突出部5246所指示)，并且接触5244跨触敏表面112在两个维度中移动，如箭头5248所示。
在图5B28-图5B30中所示的另一个实施例中，接触5262作出的输入选择虚拟用户界面对象5260的前表面(如指示将沿其调节虚拟框5260尺寸的轴的调节尺寸突出部5266所指示)，并且设备100在两个维度中移动，如箭头5268所示。
响应于检测到包括第一输入在两个维度中的移动的第一输入(906)：根据确定第一虚拟用户界面对象的相应部分是第一虚拟用户界面对象的第一部分(例如，立方体对象的第一侧，诸如如图5B6所示的虚拟用户界面对象5210的顶侧)，该计算机系统在基于第一输入在两个维度中的移动(例如，如箭头5228所示，图5B6)和第一虚拟用户界面对象被选择的第一部分确定的第一方向上调节第一虚拟用户界面对象的外观(例如，通过调节尺寸、平移和/或倾斜)。第一虚拟用户界面对象在第一方向上的调节被约束为在虚拟三维空间的第一组两个维度中的移动(例如，如由移动突出部5226所指示)。根据确定第一虚拟用户界面对象5210的相应部分是不同于第一虚拟用户界面对象的第一部分的第一虚拟用户界面对象的第二部分(例如，立方体对象与立方体对象的第一侧相邻或相对的第二侧，诸如虚拟用户界面对象5210的前侧，如图5B10中所示)，该计算机系统在不同于第一方向的第二方向上调节第一虚拟用户界面对象的外观(例如，通过调节尺寸、平移和/或倾斜)。基于第一输入在两个维度中的移动(例如，如箭头5238所示，图5B10)和第一虚拟用户界面对象的被选择的第二部分来确定第二方向。第一虚拟用户界面对象5210在第二方向上的调节被约束为虚拟三维空间的与虚拟三维空间的第一组两个维度不同的第二组两个维度中的移动(例如，如由移动突出部5236所指示)。例如，在第一方向和第二方向的相应方向上对第一虚拟用户界面对象5210的外观作出的调节量在根据第一虚拟用户界面对象被选择的相应部分而选择的虚拟三维空间的至少一个维度(例如，如移动突出部所示)上受到约束。在一些实施方案中，立方体对象在虚拟三维空间中的移动被约束到立方体对象的所选择侧面的平面(例如，如图5B6-图5B8和图5B10-图5B11所示)。在一些实施方案中，立方体对象的挤出被约束于垂直于立方体对象的所选择侧面平面的方向之内(例如，如图5B19-图5B20和图5B29-图5B30所示)。在一些实施方案中，在选择第一虚拟用户界面对象时，显示对第一虚拟用户界面对象的选择的视觉指示。例如，沿第一虚拟用户界面对象的边缘的一条或多条线被突出显示(例如，如由移动突出部5226和5236所示)和/或第一虚拟用户界面对象被突出显示。在一些实施方案中，计算机系统检测包括选择第一虚拟用户界面对象的相应部分和第一输入在两个维度中的移动的多个输入，其中多个输入包括第一虚拟用户界面对象的相应部分为第一虚拟用户界面对象的第一部分的至少一个输入，以及第一虚拟用户界面对象的相应部分为第一虚拟用户界面对象的第二部分的至少一个输入。
在一些实施方案中，第一部分是(908)第一虚拟用户界面对象的第一侧(例如，顶侧5224，图5B6)，第二部分是第一虚拟用户界面对象的第二侧(例如，前侧5234，图5B10)，并且第一侧不平行于第二侧(例如，第一侧垂直于第二侧)。根据虚拟用户界面对象的所选择部分是对象的第一侧还是对象的第二侧(不平行于对象的第一侧)，以不同方式调节虚拟用户界面的外观，为用户提供了一种直观方式来调节第一虚拟用户界面对象的外观(例如，通过允许用户在特定平面中或沿特定轴线调节第一虚拟用户界面对象的外观)。允许用户调节第一虚拟用户界面对象(例如，经由与第一虚拟用户界面对象的所选择部分直接交互)避免了因额外显示的控件使用户界面杂乱，由此增强了设备的可操作性，并且使用户-设备界面更有效率，这附加地通过使用户能够更快速并且更有效率地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，调节第一虚拟用户界面对象的外观包括(910)调节第一虚拟用户界面对象的外观(例如，移动或调节第一虚拟用户界面对象的尺寸)，使得第一虚拟用户界面对象的位置被锁定到平行于虚拟用户界面对象的所选择的相应部分的平面(例如，通过将第一虚拟用户界面对象的位置锁定到平行于虚拟用户界面对象的所选择的相应部分的平面上)。例如，在图5B6-图5B8中，虚拟用户界面对象5210的位置被锁定到由移动突出部5226所指示的平面，该平面平行于虚拟用户界面对象5210的所选择的顶侧5224。在一些实施方案中，该平行平面垂直于与所选择的相应部分的表面正交并且与该表面接触的线。第一输入的二维移动对应于第一虚拟用户界面对象在平行于虚拟用户界面对象的所选择相应部分的平面上的二维移动(例如，通过将第一输入的二维移动映射到与虚拟用户界面对象的所选择相应部分平行的平面上的第一虚拟用户界面对象的二维移动)。例如，由接触5222作出的输入的移动(如箭头5228和5230所示)使得虚拟对象5210在由移动突出部5226所指示的平面上移动。在一些实施方案中，在第一方向上调节第一虚拟界面对象的外观包括沿第一平面调节第一虚拟界面对象的外观(例如，并且在第二方向上调节包括沿不平行于(例如，垂直于)第一平面的第二平面的调节)。例如，在图5B6-图5B8中，沿第一平面移动虚拟用户界面对象5210，如移动突出部5226所示，并且在图5B10-图5B11中，沿第二平面移动虚拟用户界面对象5210，如移动突出部5236所示。调节第一虚拟用户界面对象的外观，使得第一虚拟用户界面对象的位置被锁定到平行于虚拟用户界面的所选择相应部分的平面上，并且使得第一虚拟用户界面对象的移动在该平面上，使得能够使用二维表面(例如，触敏表面112)上的输入在三维空间中操纵对象。使得能够使用二维表面上的输入在三维空间中操纵对象为用户提供了一种直观方式以调节第一虚拟用户界面对象的外观(例如，通过将第一虚拟用户界面对象的移动约束到平面，使得用户能够预测并理解将如何响应于两个维度中的输入来调节第一虚拟用户界面对象的外观)，由此增强了设备的可操作性并使用户-设备界面更有效率，这附加地通过使用户能够更快速并且更有效率地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，调节第一虚拟用户界面对象的外观包括(912)显示(例如，在检测到第一输入时)移动平面指示符(例如，从对象的边缘延伸的一条或多条线(诸如移动突出部5226)，显示在平面中的形状轮廓和/或平面中显示的网格)，该移动平面指示符包括平行于虚拟用户界面对象的所选择的相应部分的平面的视觉指示。显示平行于虚拟用户界面对象的所选择相应部分的平面的视觉指示改善了向用户提供的视觉反馈(例如，通过提供将如何响应于两个维度中的输入调节第一虚拟用户界面对象的外观的指示)，增强了设备的可操作性并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时用户的错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，移动平面指示符包括(914)沿平行于虚拟用户界面对象的所选择的相应部分(诸如移动突出部5226)的平面从第一虚拟用户界面对象(例如，从第一虚拟用户界面对象的表面和/或侧面)延伸的一个或多个突出部(例如，线)。显示从第一虚拟用户界面对象延伸的突出部(例如，以指示第一虚拟用户界面对象将响应于两个维度中的输入移动所沿的平面)增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过帮助用户利用所需输入达到预期的结果，以及减少在操作设备和/与设备交互时的用户错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到包括第一输入的移动的第一输入，计算机系统确定(916)第一输入是否满足尺寸调节标准。在一些实施方案中，确定第一输入是否满足尺寸调节标准包括确定第一输入的持续时间是否增大到高于持续时间阈值(例如，第一输入是长按压输入)。在一些实施方案中，该计算机系统包括被配置为检测与触敏表面的接触强度的一个或多个传感器，并且确定第一输入是否满足尺寸调节标准包括确定第一输入是否具有增大到高于强度阈值(例如，轻按压强度阈值ITL和/或深按压强度阈值ITD)的特征强度(例如，如关于图4D-图4E所述)。根据确定第一输入满足尺寸调节标准，计算机系统调节第一虚拟用户界面对象的外观，使得第一虚拟用户界面对象的位置被锁定到虚拟三维空间中的锚定点(例如，第一虚拟用户界面对象的位置被锁定到虚拟三维空间中的锚定点)并且沿垂直于第一虚拟用户界面对象的所选择相应部分的轴线(例如，该轴线与所选择相应部分(或所选择相应部分的形心)正交)调节第一虚拟用户界面对象的尺寸。例如，在图5B18-图5B19中，根据确定接触5244的输入满足持续时间标准，确定输入满足尺寸调节标准(例如，通过与通过接触5244所选择的虚拟用户界面对象5210的顶侧5224垂直的尺寸调节突出部5246的显示来指示)，并且在图5B19-图5B20中，沿着由尺寸调节突出部5246所指示的轴线调节虚拟用户界面对象5210的尺寸。允许用户响应于包括输入在两个维度中的移动的输入而调节虚拟用户界面对象的尺寸，提供了一种直观的方式供用户调节虚拟用户界面对象的尺寸，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，锚定点(918)位于第一虚拟用户界面对象的与第一虚拟用户界面对象的所选择的相应部分相对的部分上(例如，锚定点位于与虚拟用户界面对象的所选择的一侧相对的第一虚拟用户界面对象的一侧上)。例如，在图5B19中，虚拟用户界面对象5210的所选择的一侧是顶侧5224(例如，如通过与顶侧5224垂直的尺寸调节突出部5246的显示所指示)，并且锚定点位于与顶侧5224相对的虚拟用户界面对象5210的一侧上(例如，虚拟用户界面对象5210的与所显示的参考垫5208的版本5208b相邻的一侧)。在一些实施方案中，锚定点位于虚拟用户界面对象的所选择的相应部分上。将第一虚拟用户界面对象的该部分锚定到第一虚拟用户界面对象的与所选择部分相对的部分上的点为用户提供了一种直观方式来调节虚拟用户界面对象的外观(例如，通过给用户通过从所选择表面向外拉伸而扩展对象的感觉，尤其是在相对于平面示出第一虚拟用户界面对象时)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，锚定点是(920)第一虚拟用户界面对象的形心(例如，在第一虚拟用户界面对象的位置被锁定时第一虚拟用户界面对象的形心)。例如，锚定点是虚拟用户界面对象5210的形心。将第一虚拟用户界面对象的该部分锚定到第一虚拟用户界面对象的与所选择部分相对的形心处的点为用户提供了一种直观方式来调节虚拟用户界面对象的外观(例如，通过给用户通过从所选择表面向外拉伸而扩展对象的感觉，尤其是在第一虚拟用户界面对象悬浮于空间中时)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，调节第一虚拟用户界面对象的外观包括(922)显示(例如，在检测到第一输入时)移动轴线指示符，其中移动轴线指示符包括与第一虚拟用户界面对象的所选择相应部分垂直的轴线的视觉指示(例如，从对象的边缘延伸的一条或多条线、在平面中显示的形状轮廓和/或在平面中显示的网格)。例如，移动轴指示符包括垂直于图5B19中由接触5244选择的虚拟用户界面对象的顶侧5224的尺寸调节突出部5246。显示垂直于第一虚拟用户界面对象的所选择相应部分的轴线的移动轴线指示符改善了向用户提供的视觉反馈(例如，通过提供将如何响应于两个维度中的输入调节第一虚拟用户界面对象的外观的指示)，增强了设备的可操作性并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时用户的错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，移动轴线指示符包括(924)平行于与第一虚拟用户界面对象的相应部分(例如，第一虚拟用户界面对象5210的顶侧5224)垂直的轴线的一个或多个突出部(例如，尺寸调节突出部5246，图5B19)，其中一个或多个突出部从第一虚拟用户界面对象(的表面和/或侧面)延伸。显示从第一虚拟用户界面对象延伸的突出部改善了向用户提供的视觉反馈(例如，通过使用相对于第一虚拟用户界面对象放置的指示符示出输入将如何改变第一虚拟用户界面对象的外观)，增强了设备的可操作性，并且使得用户设备界面更有效(例如，通过帮助用户利用所需输入达到预期的结果，以及减少在操作设备和/与设备交互时的用户错误)，这通过使用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，该计算机系统包括(926)一个或多个用于生成触觉输出的触觉输出发生器163。在沿相应方向调节第一虚拟用户界面对象的外观时，计算机系统确定第一输入的移动导致第一虚拟用户界面对象的相应部分与虚拟三维空间中存在的虚拟元素(例如，虚拟三维空间中显示或未显示的虚拟元素，诸如另一个虚拟用户界面对象和/或虚拟网格线，诸如参考垫5208的所显示版本5208b的网格线)发生碰撞。根据确定第一输入的移动使得第一虚拟用户界面对象的相应部分与虚拟元素碰撞，计算机系统利用一个或多个触觉输出发生器163来生成触觉输出。根据确定已导致第一虚拟用户界面对象的一部分与虚拟元素碰撞而生成触觉输出，改善了向用户提供的反馈(例如，通过(随着第一虚拟用户界面对象跨虚拟网格线移动)指示第一虚拟用户界面对象已移动的距离和方向和/或通过向用户提供对虚拟用户界面对象和虚拟元素在其环境中的相对位置的直观理解)。这增强了设备的可操作性，并且使用户-设备界面更有效率(例如，通过帮助用户向期望位置移动对象)，这通过使用户能够更快速且有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在显示虚拟三维空间(928)(例如，在虚拟三维空间中创建和/或显示第一虚拟用户界面对象之前)时，计算机系统经由输入设备检测指向虚拟三维空间中的第一位置的第二输入(例如，对应于第一虚拟用户界面对象的相应部分的位置或不对应于第一虚拟用户界面对象的位置)。例如，检测到由接触5254作出的输入，如图5B24所示。响应于检测到第二输入，根据确定第二输入具有第一输入类型(例如，第二输入是轻击输入)，计算机系统在虚拟三维空间中的第一位置处显示插入光标(例如，插入光标5256，图5B25)。当插入光标被显示在第一位置处时，计算机系统经由输入设备检测第三输入(例如，如接触5258所指示，图5B26)。响应于检测到第三输入，计算机系统根据确定第三输入具有第一输入类型(例如，第三输入是轻击输入)并指向对应于所显示的插入光标的第一位置，在第一位置处插入第二虚拟用户界面对象(例如，虚拟用户界面对象5260，图5B26)。根据确定第三输入具有第一输入类型并且指向与所显示的插入光标不对应的第二位置(例如，如图5B22-图5B25中所示)，计算机系统在第二位置处显示插入光标。例如，在图5B22中，通过接触5250作出的输入使得插入光标5252被放置在对应于接触5250的位置的位置处，如图5B23所示。在不对应于插入光标5252的位置的位置处检测到由接触5254作出的后续输入。因为接触5254的位置不对应于插入光标5252的位置，在图5B25中，插入光标5256被显示在对应于接触5254的位置的位置处(并且响应于接触5254作出的输入不生成新的虚拟用户界面对象)。在一些实施方案中，计算机系统检测到多个输入，其中多个输入包括具有第一输入类型并且指向对应于所显示的插入光标的第一位置的至少一个输入，以及具有第一输入类型并且指向与所显示的插入光标不对应的第二位置的至少一个输入。根据第一类型的输入的位置对应于所显示的插入光标的位置还是不包括所显示的插入光标的位置，确定是插入新的虚拟用户界面对象还是移动插入光标，使得能够使用第一类型的输入来执行多种不同类型的操作。使得多种不同类型的操作能够用第一类型的输入执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且高效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在显示虚拟三维空间(930)时，计算机系统经由输入设备检测指向虚拟三维空间中的第三位置的第四输入(例如，通过接触5270作出的输入，如图5B32所示)。响应于检测到指向虚拟三维空间中的第三位置的第四输入，根据确定第四输入具有第一输入类型(例如，第四输入是轻击输入)，计算机系统在第三位置处显示插入光标(例如，插入光标5272，图5B33)(例如，将现有插入光标从第二位置移动到相应位置，或者如果在第一输入之前在模拟环境中未显示插入光标，则在相应位置处显示新的插入光标)。当在第三位置显示插入光标时，计算机系统经由输入设备在对应于新对象控件(例如，新对象控件5216)的位置处检测到第五输入(例如，通过接触5276作出的输入，图5B34)，该新对象控件在被激活时使得新的虚拟用户界面对象在第三位置处插入。响应于检测到第五输入，计算机系统在第三位置处插入新的虚拟用户界面对象(例如，虚拟用户界面对象5276，图5B36)。提供当被激活时使得在插入光标的位置处插入新的虚拟用户界面对象的新对象控件提高了用户能够创建新的虚拟用户界面对象的效率(例如，通过允许用户通过在新对象控件的位置处提供重复输入来插入一系列新的虚拟用户界面对象)。提高用户能够创建新的虚拟用户界面对象的效率增强了设备的可操作性并且使用户-设备界面更有效，这通过使用户能够更快速且高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统经由输入设备检测(932)对应于与虚拟三维空间的交互的手势(例如，触敏表面上的捏指手势或轻扫手势)。例如，图5B36-图5B37示出了接触5278和接触5280作出的捏指手势。响应于检测到对应于与虚拟三维空间的交互的手势，计算机系统在对应于手势的虚拟三维空间中执行操作(例如，缩放、旋转、移动对象等)。例如，响应于图5B36-图5B37所示的捏指手势，执行缩放操作(例如，随着缩小操作的发生，虚拟用户界面对象5210、5260和5276的尺寸减小)。响应于与虚拟三维空间交互的手势(诸如捏指或轻扫)在虚拟三维空间中执行操作为用户提供了有效率且直观的方式来控制虚拟三维空间(例如，通过允许用户使用具有运动的单个输入，诸如对应于虚拟三维空间的调节的捏指或轻扫来调节虚拟三维空间的视图)。为用户提供对虚拟三维空间的基于手势的控制避免了因额外显示的控件使用户界面杂乱，由此增强了设备的可操作性，并且使用户-设备界面更有效率，这通过使用户能够更快速并且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统包括(934)一个或多个相机，并且所显示的虚拟三维空间包括位于一个或多个相机的视场中的一个或多个物理对象(例如，参考垫5208a，图5B2)和位于一个或多个相机的视场中的一个或多个物理对象的一个或多个虚拟三维模型(例如，参考垫5208a的所显示版本5208b)。显示物理对象的虚拟三维模型为所显示的虚拟三维空间在物理世界中提供了参照系。提供该参照系允许用户通过操纵物理对象(诸如参考垫，例如通过旋转参考垫)来改变虚拟三维空间中的虚拟对象的视图，从而为用户提供了直观的方式来调节第一虚拟用户界面对象的视图，增强了设备的可操作性并使得用户-设备界面更有效率，这通过使用户能够更快速更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到第一输入相对于一个或多个相机视场中的相应物理对象的移动来调节(936)第一虚拟用户界面对象的外观，而不管第一输入的移动是由于：第一输入在输入设备上的移动(例如，当输入设备在物理空间中保持基本静止时，接触跨触摸屏显示器上或跨输入设备的触敏表面上的移动)，一个或多个相机相对于相应物理对象的移动(例如，在接触被维持并在触摸屏显示器或输入设备的触敏表面上保持静止时，包括相机的计算机系统在物理空间中的移动)，还是第一输入在输入设备上的移动和一个或多个相机相对于相应物理对象的移动的组合(例如，接触跨触摸屏显示器或输入设备的触敏表面上的移动，同时还有包括相机的计算机系统在物理空间中的移动)。例如，如图5B29-图5B30所示，设备100(例如，包括一个或多个相机的计算设备)相对于参考垫5208a移动，而接触5262被维持并且在触摸屏显示器112上保持静止。响应于设备100的移动，调节虚拟对象5260的尺寸。调节虚拟用户界面对象的外观而不考虑输入的移动方式(例如，通过允许用户仅利用输入在输入设备上的移动，仅利用相机相对于物理对象的移动，或利用输入和相机移动的组合来调节虚拟用户界面对象的外观)为用户提供了一种直观方式来调节虚拟用户界面对象的外观，改善了提供给用户的视觉反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性并使得用户-设备界面更有效率(例如，通过帮助用户利用所需输入实现期望结果并在操作设备/与设备交互时减少用户错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，对图9A-图9E中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、1000、1100、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图9A-图9E描述的方法900。例如，上文参考方法900所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、700、800、1000、1100、1200和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图10A-图10E为流程图，示出了根据一些实施方案，在所显示的模拟环境的查看模式之间过渡的方法1000。在包括(和/或与之通信)显示生成部件(例如，显示器、投影仪、平视显示器等)和输入设备(例如，触敏表面，例如触敏遥控器或也充当显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户手的位置的相机)、任选的一个或多个相机(例如，摄像机，连续提供在相机视场之内的内容的至少一部分的实时预览，并任选地生成视频输出，该视频输出包括捕获相机视场之内内容的图像帧的一个或多个流)、任选的一个或多个姿态传感器、任选的一个或多个传感器以检测与触敏表面的接触强度，以及任选的一个或多个触觉输出发生器的计算机系统(例如，图1A的便携式多功能设备100、图3A的设备300或图5A2的包括头戴式耳机5008和输入设备5010的多部件计算机系统)处执行方法1000。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文结合图3B-图3D所述，在一些实施方案中，在计算机系统301(例如，计算机系统301-a、301-b或301-c)处执行方法1000，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)和一个或多个集成相机的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。类似地，可任选地在具有独立于计算机系统的一个或多个其他部件(例如，输入设备)实现(例如，在头戴式耳机中)的一个或多个相机的计算机系统上执行类似操作；以及在一些此类实施方案中，“计算机系统的移动”对应于计算机系统的一个或多个相机的移动，或与计算机系统通信的一个或多个相机的移动。
如下所述，方法1000涉及在计算机系统的输入设备处检测手势。根据手势是否满足模式更改标准，计算机系统的至少一部分的姿态(例如，取向和/或位置)相对于物理环境的后续改变导致从在第一查看模式(其中在虚拟用户界面对象和物理环境之间保持固定空间关系)中显示模拟环境过渡到第二查看模式(其中在虚拟用户界面对象和物理环境之间不保持固定空间关系)或响应于姿态的变化而改变第一虚拟用户界面对象的外观。确定是从第一查看模式过渡到第二查看模式还是改变第一虚拟用户界面对象在第一查看模式下的外观能够响应于计算机系统的至少一部分的姿态变化而执行多种不同类型的操作。使得多种不同类型的操作能够响应于姿态变化而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在第一查看模式中，计算机系统(例如，设备100，图5C1)经由计算机系统的显示生成部件(例如，触摸屏显示器112)显示(1002)相对于计算机系统的物理环境取向的模拟环境(例如，虚拟现实(VR)环境或增强现实(AR)环境)。在第一查看模式下显示模拟环境包括：显示在与计算机系统的物理环境相关联的模拟环境中的第一相应位置处显示的虚拟模型(例如，渲染的3D模型)中的第一虚拟用户界面对象(例如，虚拟框5302)。例如，所渲染的3D模型的视觉外观(例如，如尺寸、位置和取向中所反映的)根据计算机系统相对于物理环境中的桌面或其他表面的位置和取向而变化。
在显示模拟环境(1004)时，计算机系统经由一个或多个姿态传感器检测计算机系统的至少一部分的姿态(例如，取向和/或位置)相对于物理环境的第一变化(例如，计算机系统的部件，诸如包括用于生成物理环境的表示的一个或多个相机的计算机系统的部件的姿态变化)(例如，由触摸屏显示器、虚拟现实头戴式耳机或触敏遥控器的第一移动引起的变化)。例如，图5C1-图5C2示出了设备100的姿态的第一变化。
响应于检测到计算机系统的该部分的姿态的第一变化(1006)，计算机系统改变第一虚拟用户界面对象在虚拟模型中的外观，以便在第一虚拟用户界面对象和物理环境之间保持固定空间关系(例如，取向、尺寸和/或位置)(例如，渲染3D模型被直接放置在处于计算机系统的相机视场中的桌面或其他表面的位置处并在桌面或其他表面的位置与计算机系统移动一起在相机视场中改变时保持与桌面或其他表面共面且粘附在一起)。例如，从图5C1-图5C2，显示器112上的虚拟框5302的尺寸和位置发生变化，以保持虚拟框5302和物理参考垫5208a之间的固定空间关系。
在基于计算机系统的该部分的姿态的第一变化来改变第一虚拟用户界面对象的外观之后(1008)，计算机系统经由输入设备来检测对应于与模拟环境的交互的第一手势(例如，触敏表面上的捏指或轻扫手势)。图5C4-图5C6提供了包括向上轻扫和向下轻扫(用于在设备100所显示的模拟环境中移动虚拟框5302)的输入的实施例。图5C9-图5C11提供了捏指手势(用于缩放设备100所显示的模拟环境)的实施例。
响应于检测到对应于与模拟环境的交互的第一手势(1010)，计算机系统在模拟环境中执行对应于第一手势的操作(例如，缩放、旋转、移动对象等)。图5C4-图5C6示出了响应于检测到的轻扫手势的虚拟框5302的移动。图5C9-图5C11示出了响应于检测到的捏指手势来缩放模拟环境。
在执行对应于第一手势的操作之后(1012)，计算机系统经由一个或多个姿态传感器来检测计算机系统的该部分相对于物理环境的姿态(例如，取向和/或位置)的第二变化。例如，图5C12-图5C13示出了包括设备100相对于物理环境5200中的物理参考垫5208a的移动的姿态变化。
响应于检测到计算机系统的该部分的姿态的第二变化(1014)，根据确定第一手势满足模式更改标准，计算机系统从在第一查看模式下显示包括虚拟模型的模拟环境过渡到在第二查看模式下显示包括虚拟模型的模拟环境。模式更改标准包括要求第一手势对应于改变模拟环境相对于物理环境的空间参数(例如，取向、尺寸和/或位置)的输入(例如，缩小模拟环境的捏指缩放手势、放大模拟环境的展开缩小手势、旋转或平移模拟环境的轻扫手势和/或显示查看模拟环境的另一设备的视点(POV)或环境中虚拟对象的POV的输入)。例如，响应于图5C9-图5C11所示的捏指缩放输入，设备100从以第一查看模式(增强现实查看模式)显示模拟环境过渡到以第二查看模式(虚拟现实查看模式)显示模拟环境。例如，在虚拟现实查看模式中停止显示(例如，如图5C12所示)在增强现实模式中(例如，图5C9中)由设备100的显示器112显示的设备100的相机视场中的物理对象(诸如物理参考垫5208a和桌子5204)。在虚拟现实查看模式中，显示虚拟网格5328(例如，如图5C12所示)。以第二查看模式在模拟环境中显示虚拟模型包括放弃改变第一虚拟用户界面对象的外观以保持第一虚拟用户界面对象和物理环境之间的固定空间关系(例如，取向、尺寸和/或位置)(例如，保持第一虚拟用户界面对象处在与检测到计算机系统该部分姿态的第二改变之前所显示的相同的取向、尺寸和/或位置)。例如，如图5C12-图5C13所示，当设备正在虚拟现实查看模式下显示模拟环境时，响应于设备100的移动，不改变虚拟框5302相对于显示器112的位置。根据确定第一手势未满足模式更改标准，计算机系统继续以第一查看模式在模拟环境中显示第一虚拟模型。例如，在图5C4-图5C6中，用于移动虚拟框5302的轻扫手势不满足模式更改标准，并且设备100继续以增强现实查看模式来显示模拟环境。在第一查看模式下显示虚拟模型包括响应于计算机系统的该部分相对于物理环境的姿态的第二变化(例如，计算机系统的部件，诸如包括用于生成物理环境的表示的一个或多个相机的计算机系统的部件的姿态变化)，改变虚拟模型中第一虚拟用户界面对象的外观，以便保持第一虚拟用户界面对象和物理环境之间的固定空间关系(例如，取向、尺寸和/或位置)。例如，如图5C7-图5C8所示，当设备正在增强现实查看模式下显示模拟环境时，响应于设备100的移动，虚拟框5302相对于显示器112的位置发生改变。在一些实施方案中，由于计算机系统的移动或物理环境的变化(诸如桌面或其他表面的移动)，固定空间关系在姿态的第一变化和姿态的第二变化之间的时间期间可保持相同，或响应于其他输入而变得不同。在一些实施方案中，计算机系统检测对应于与模拟环境的相应交互的多个手势，每个手势之后是计算机系统的该部分相对于物理环境的姿态变化。在一些此类实施方案中，多个手势和姿态变化包括满足模式更改标准的至少一个手势，对于该手势，响应于检测到姿态的后续变化，计算机系统从在第一模式中显示模拟环境过渡到以第二模式显示模拟环境。此外，多个手势和姿态变化包括不满足模式更改标准的至少一个手势，对于该手势，计算机系统继续在第一查看模式下在模拟环境中显示第一虚拟模型。
在一些实施方案中，计算机系统包括(1016)一个或多个相机(例如，一个或多个摄像机，摄像机连续地提供相机视场内的内容的至少一部分的实时预览并且任选地生成包括捕获相机视场内的内容的一个或多个图像帧流的视频输出)，并且在第一查看模式中显示模拟环境包括显示一个或多个相机的视场的至少一部分的表示。一个或多个相机的视场包括物理环境中物理对象的表示(例如，表示是一个或多个相机的视场的至少一部分的实时视图)。例如，设备100的一个或多个相机捕获参考垫5208a的实时图像，如图5C1所示，其被显示在显示器112上如5208b处所指示的。在一些实施方案中，当移动一个或多个相机时和/或响应于对虚拟模型的改变，物理对象的视图被更新。例如，从图5C1-图5C2，设备100的移动使得参考垫5208a的视图5208b发生变化(例如，当设备100更靠近参考垫5208a移动时，显示在设备112上的模拟环境从显示如图5C1所示的整个参考垫5208a的视图5208b被更新至参考垫5208a的一部分的视图5208b，如图5C2所示)。在模拟环境中显示物理对象的表示为用户提供了关于物理环境和模拟环境的同时信息。提供关于物理环境和模拟环境的同时信息增强了设备的可操作性，并且使用户-设备界面更有效率(例如，通过帮助用户理解在设备处提供的输入、虚拟用户界面对象和物理环境之间的关系并避免输入错误)，这通过使用户能够更快速且有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，检测对应于与模拟环境的交互的第一手势包括(1018)检测多个接触(例如，通过输入设备的触敏表面(例如，设备100的触敏显示器112)作出的接触5324和5320，如图5C9所示)。当检测到与触敏表面的多个接触时，计算机系统检测多个接触的第一接触相对于多个接触的第二接触的移动的移动(例如，接触5324和5320沿箭头5326和5322所示的路径的移动，如图5C9-图5C11所示)。例如，多个接触的第一接触相对于多个接触的第二接触的移动的移动为捏指手势或展开手势，该捏指手势包括减小至少第一接触和第二接触之间的距离(例如，如图5C9-图5C11所示)的多个接触的移动，该展开手势包括增大至少第一接触和第二接触之间的距离的多个接触的移动。此外，在一些实施方案中，在对应于第一手势的模拟环境中执行操作包括将第一虚拟用户界面对象(例如，虚拟框5302，图5C9)的尺寸改变对应于第一接触相对于第二接触的移动的移动的量(例如，根据确定手势是包括接触彼此离开的移动的展开手势，增大第一虚拟用户界面对象的尺寸，并根据手势是包括接触彼此相向移动的捏指手势，减小第一虚拟用户界面对象的尺寸)。例如，在图5C9-图5C11中，当接触5324和5320移动使得接触之间的距离减小时，虚拟框5302的尺寸减小。响应于与模拟环境交互的手势(例如，展开手势)在模拟环境中执行操作为用户提供了一种有效且直观的方式来改变第一虚拟用户界面对象的尺寸(例如，通过允许用户使用单个输入手势缩放模拟环境中的虚拟用户界面对象)。为用户提供对模拟环境的基于手势的控制避免了因额外显示的控件使用户界面杂乱，由此增强了设备的可操作性，并且使用户-设备界面更有效率，这通过使用户能够更快速并且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在第二查看模式(例如，VR模式)中在模拟环境中显示第一虚拟用户界面对象时(1020)，计算机系统经由输入设备来检测对应于与模拟环境的交互的第二手势。第二手势包括用于改变模拟环境的视角的输入。例如，计算机系统检测手势诸如轻扫或旋转手势(例如，输入设备包括触摸屏显示器并且手势包括接触跨触摸屏显示器的移动)。此外，响应于检测到对应于与模拟环境的交互的第二手势，计算机系统根据用于改变模拟环境的视角的输入来更新所显示的模拟环境的视角。例如，计算机系统以对应于第二手势诸如轻扫或旋转手势的方向和量的方向和量来改变所显示的模拟环境的视角。图5C22-图5C23示出了包括通过沿箭头5352所指示的路径移动的接触5350作出的旋转手势的输入。当接收到由接触5350作出的输入时，根据输入(例如，顺时针旋转虚拟框5302、5304和5340以及虚拟网格5328)旋转设备100的显示器112所显示的模拟环境。响应于检测到对应于与模拟环境的交互的手势来更新所显示的模拟环境的视角为用户提供了一种有效且直观的方式来改变模拟环境的视角(例如，通过允许用户使用单个输入手势来改变模拟环境的视角)。为用户提供对模拟环境的视角的基于手势的控制避免了因额外显示的控件使用户界面杂乱，由此增强了设备的可操作性，并且使用户-设备界面更有效率，这通过使用户能够更快速并且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在以第二查看模式(例如，VR模式)显示模拟环境时(1022)，计算机系统经由输入设备来检测插入输入，该插入输入用于将第二虚拟用户界面对象插入模拟环境中的第二相应位置(例如，指向模拟环境中对应于(由先前输入创建的)插入光标的位置的输入，诸如轻击输入，和/或指向在被激活时导致在模拟环境中先前放置的插入光标的位置处插入新的虚拟用户界面对象的控件的输入)。响应于检测到用于插入第二虚拟用户界面对象的插入输入，计算机系统在模拟环境中的第二相应位置处显示第二虚拟用户界面对象，同时保持第一虚拟用户界面对象和物理环境之间的固定空间关系(例如，取向、尺寸和/或位置)。例如，通过接触5334作出的输入(例如，轻击输入)放置插入光标5536，如图5C15-图5C16所示。在放置插入光标5536之后，检测到在对应于新对象控件5216的位置处的接触5338作出的输入(例如，轻击输入)，如图5C17所示。响应于在放置插入光标5536之后对应于新对象控件5216的位置处的输入，在对应于插入光标5536的位置处显示虚拟框5340。进一步结合方法900描述用于插入虚拟用户界面对象的输入。在一些实施方案中，响应于将第二虚拟用户界面对象插入到模拟环境中而不改变相应的查看模式(例如，如果以VR模式查看虚拟用户界面对象，则不会响应于第二虚拟用户界面对象的插入而发生到AR模式的过渡)。响应于插入输入而插入新的虚拟用户界面对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在以第二查看模式(例如，VR模式)显示模拟环境时(1024)，计算机系统经由输入设备检测移动输入(例如，接触5342作出的输入，图5C19)，该移动输入包括对虚拟模型的相应虚拟用户界面对象的相应侧(例如，虚拟对象5340的侧面5344)的选择以及输入在两个维度中的移动(例如，如箭头5346所示)。响应于检测到移动，计算机系统在基于第二输入的移动而确定的第一方向上在平行于相应虚拟用户界面对象的所选择相应侧面的平面(例如，如由移动突出部5348所指示的)内移动相应的虚拟用户界面对象5340，同时保持第一虚拟用户界面对象和物理环境之间的固定空间关系(例如，取向、尺寸和/或位置)。在一些实施方案中，基于移动输入的方向来确定相应虚拟用户界面对象的移动方向(例如，对于沿第一方向的移动输入，虚拟用户界面对象沿对应方向移动，并且对于沿不同于第一方向的第二方向的移动输入，虚拟用户界面对象沿不同的对应方向移动)。在一些实施方案中，基于移动输入的量值来确定相应虚拟用户界面对象的移动的量值(例如，对于更大量值的移动输入，相应虚拟用户界面对象移动得更远)。进一步结合方法900描述用于移动虚拟用户界面对象的输入。在一些实施方案中，响应于将第二虚拟用户界面对象插入到模拟环境中而不改变相应的查看模式(例如，如果以VR模式查看虚拟用户界面对象，则不会响应于相应虚拟用户界面对象的移动而发生到AR模式的过渡)。响应于移动输入而移动虚拟用户界面对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在从以第一查看模式显示模拟环境过渡到以第二查看模式显示模拟环境的同时(1026)，计算机系统显示过渡动画以提供过渡的视觉指示(例如，如图5C9-图5C12所示)。在从以第一查看模式(例如，AR模式)显示模拟环境过渡到以第二查看模式(例如，VR模式)显示模拟环境的同时显示过渡动画，改善了向用户提供的反馈(例如，通过向用户提供指示，指出正在发生从AR模式到VR模式的过渡)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过帮助用户理解导致查看模式过渡并在期望时实现查看模式过渡的输入)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，显示过渡动画包括(1028)逐渐停止显示在第一查看模式下显示并且未在第二查看模式下显示的至少一个视觉元素(例如，由计算机系统的一个或多个相机捕获的实时背景视图和/或一个或多个物理参考对象(或物理环境的任何其他方面))。例如，在图5C9-图5C11中，逐渐停止在显示器112上显示桌子5204和物理参考垫5208a的所显示视图5208b。在从以第一查看模式显示模拟环境过渡到以第二查看模式显示模拟环境的同时逐渐停止显示在第一查看模式中显示而未在第二查看模式中显示的至少一个视觉元素，改善了向用户提供的反馈(例如，通过去除物理环境的方面以向用户提供视觉提示，指出不保持第一虚拟用户界面对象和物理环境之间的固定空间关系)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过帮助用户理解过渡的效果)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，显示过渡动画包括(1030)逐渐显示未在第一查看模式中显示的第二查看模式的至少一个视觉元素(例如，渲染背景)。例如，在图5C11-图5C12中，逐渐在显示器112上显示虚拟参考网格5328。
在从以第一查看模式显示模拟环境过渡到以第二查看模式显示模拟环境的同时逐渐显示未在第一查看模式中显示的第二查看模式的至少一个视觉元素，改善了向用户提供的反馈(例如，通过添加虚拟现实环境的方面以向用户提供视觉提示，指出正在发生从增强现实查看模式到虚拟现实查看模式的过渡)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过帮助用户理解过渡的效果)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在(例如，响应于模式改变输入手势)从以第二查看模式显示模拟环境过渡到以第一查看模式显示模拟环境的同时，显示过渡动画以提供过渡的视觉指示(例如，如图5C26-图5C30所示)。在一些实施方案中，过渡包括逐渐停止显示第二查看模式的至少一个视觉元素(例如，渲染的背景)并逐渐显示在第一查看模式下显示的至少一个视觉元素(例如，实时背景视图和/或计算机系统的一个或多个相机所捕获的一个或多个物理参考对象(或物理环境的任何其他方面))。例如，在图5C26-图5C27中，逐渐停止显示虚拟参考网格5328，并且在图5C28-图5C30中，逐渐重新显示桌子5204和物理参考网格5208a的所显示视图5208b。
在一些实施方案中，响应于检测到对应于与模拟环境的交互的第一手势(1032)，计算机系统根据对应于第一手势的输入对空间参数的改变来改变用于显示模拟环境中的虚拟模型的视角。例如，响应于图5C9-图5C11所示的捏指缩放手势，虚拟框5302和5304的所显示尺寸减小。在一些实施方案中，如果第一手势是放大虚拟模型的手势(例如，展开手势)，则改变所显示的虚拟模型在模拟环境中的视角，使得所显示的虚拟模型的尺寸增大。在一些实施方案中，如果第一手势是平移或以其他方式移动所显示的虚拟模型的手势(例如轻扫手势)，则改变所显示的虚拟模型在模拟环境中的视角，使得虚拟模型根据输入手势被平移或以其他方式移动。响应于检测到第一手势而改变模拟环境的视角，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在检测到第一手势的结束之后(1034)，计算机系统继续改变在模拟环境中显示虚拟模型的视角，以指示从以第一查看模式显示模拟环境过渡到以第二查看模式显示模拟环境。例如，在图5C12-图5C13中，在提供使得图5C9-图5C11中的虚拟框5302和5304的尺寸减小的捏指缩放输入的接触5320和5324抬离之后，所显示的虚拟框5302和5304的尺寸继续减小。在一些实施方案中，继续响应于计算机系统的该部分的姿态的第二变化而改变用于显示模拟环境中的虚拟模型的视角。在一些实施方案中，在计算机系统的该部分的姿态无改变(或其他输入)的情况下继续改变该视角，例如以预先确定的量改变视角和/或在第二查看模式下显示模拟环境的预先确定的视图。在第一手势结束之后继续改变模拟环境的视角，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过增大对视角改变的量以对应于焦点选择器(例如，一个或多个接触)的移动)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在第二查看模式中显示模拟环境时(1036)，计算机系统经由输入设备来检测对应于用于从第二查看模式过渡到第一查看模式的输入的第三手势。例如，第三手势是包括由接触5360和5356作出的展开手势的输入，如图5C26-图5C27所示。响应于检测到第三手势，计算机系统从在第二查看模式下显示模拟环境过渡到在第一查看模式下显示模拟环境(例如，响应于计算机系统的一部分的姿态的后续变化，第一虚拟用户界面对象的外观将相对于物理环境变化，以便保持第一用户界面对象和物理环境之间的固定空间关系)。在一些实施方案中，在模拟环境的第一查看模式中显示第一虚拟用户界面对象包括在模拟环境中的虚拟模型的背景中显示来自计算机系统的一个或多个相机的实时馈送。响应于手势输入而从第二查看模式(例如，VR模式)过渡到第一查看模式(例如，AR模式)为用户提供控制VR模式和AR模式之间切换的能力。向用户提供对查看模式的基于手势的控制，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过允许用户针对用户希望提供的输入类型而选择最有效率的查看模式，并通过提供附加控制选项而不因为附加显示的控件使用户界面杂乱)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，输入设备包括(1038)触敏表面(例如，设备100的触敏显示器112)，并且检测对应于用于从第二查看模式过渡到第一查看模式的输入的第三手势包括检测与输入设备的触敏表面的多个接触(例如，接触5356和5360)。当检测到与触敏表面的多个接触时，输入设备检测多个接触的第一接触相对于多个接触的第二接触的移动的移动(例如，接触5356沿箭头5358所示的路径的移动，以及接触5360沿箭头5362所示路径的移动)。在一些实施方案中，第三手势是捏指手势，其包括减小第一接触和第二接触之间距离的多个接触的移动。在一些实施方案中，从在第二查看模式下显示模拟环境过渡到在第一查看模式下显示模拟环境包括改变模拟环境中的虚拟模型的尺寸，以返回到在从第一查看模式过渡到第二查看模式之前虚拟模型的尺寸。例如，如图5C26-图5C30所示，响应于通过接触5356和5360作出的手势，虚拟框5302和5304被更改回其相对于物理参考垫5208a的初始位置和尺寸。响应于输入手势(例如，捏指手势)，从以第二查看模式(例如，VR模式)显示模拟环境过渡到以第一查看模式(例如，AR模式)显示模拟环境为用户提供了选择期望查看模式的有效率且直观的方式。向用户提供对查看模式的基于手势的控制，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过提供附加控制选项而不因为附加显示的控件使用户界面杂乱)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第三手势包括(1040)输入设备上对应于控件的位置(例如，模拟环境中不对应于虚拟模型和/或具有与AR模式相关联的图像和/或文本的控件的位置)处的输入(例如，轻击输入)，当激活时，该输入导致从第二查看模式过渡到第一查看模式。例如，第三手势包括在对应于切换器5214的位置处的输入，图5C28(例如，用于在虚拟现实显示模式和增强现实显示模式之间切换)。响应于控件处的输入，从以第二查看模式(例如，VR模式)显示模拟环境过渡到以第一查看模式(例如，AR模式)显示模拟环境为用户提供了选择期望查看模式的有效率且直观的方式。为用户提供用于导致查看模式过渡的控件增强了设备的可操作性并且使用户-设备界面更有效，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到第三手势(1042)，计算机系统(例如，通过旋转、调节尺寸和/或移动第一虚拟用户界面对象和虚拟模型)将第一虚拟用户界面对象的位置从相对于物理环境的当前位置过渡到相对于物理环境的先前位置，以便返回到第一虚拟用户界面对象和物理环境之间的固定空间关系。例如，如图5C26-图5C30所示，响应于通过接触5356和5360作出的手势，虚拟框5302和5304被旋转、调节尺寸并移动，使得在图5C30中，虚拟对象5302和5304被返回到虚拟框5302和5304相对于图5C3中的物理参考垫5208a具有的位置(其中设备100在增强现实模式中显示虚拟对象5302和5304)。在一些情况下(例如，在从第一查看模式过渡到第二查看模式之后设备已在物理环境中移动的情况下)，在从第二查看模式过渡回到第一查看模式之后，第一虚拟用户界面对象在显示器上的位置不同于在从第一查看模式过渡到第二查看模式之前第一虚拟用户界面对象在显示器上的位置(例如，因为设备已经移动，使得第一虚拟用户界面对象的目的地位置在显示器上处于与其在从第一查看模式过渡到第二查看模式之前不同的位置)。例如，因为图5C30中的设备110的取向不同于图5C3中设备100的取向，所以图5C30中的显示器112上的虚拟框5302和5304的位置不同于图5C3中的显示器112上的虚拟框5302和5304的位置(尽管虚拟框5302和5304相对于物理参考垫5208a的位置在图5C3和图5C30中相同)。过渡虚拟用户界面对象的位置以使对象返回到与物理环境的固定空间关系，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过提供视觉提示以帮助用户理解正在发生到虚拟用户界面对象与物理环境具有固定空间关系的查看模式的过渡，由此帮助用户以所需输入实现预期结果)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在检测到第三手势的结束之后(1044)，计算机系统继续改变在模拟环境中显示虚拟模型的视角，以指示从以第二查看模式显示模拟环境过渡到以第一查看模式显示模拟环境。例如，在图5C28-图5C30中，在提供使得图5C26-图5C27中的虚拟框5302和5304的尺寸增大的展开缩小输入的接触5356和5360抬离之后，所显示的虚拟框5302和5304的尺寸继续增大。在一些实施方案中，在计算机系统的该部分的姿态无改变(或其他输入)的情况下继续改变该视角，例如以预先确定的量改变视角和/或在第二查看模式下显示模拟环境的预先确定的视图。在第一手势结束之后继续改变模拟环境的视角，增强了设备的可操作性，并且使得用户-设备界面更有效率(例如，通过增大对视角改变的量以对应于焦点选择器(例如，一个或多个接触)的移动)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，对图10A-图10E中已进行描述的操作的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1100、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图10A-图10E描述的方法1000。例如，上文参考方法1000所描述的接触、手势、用户界面对象、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1100、1200和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图11A-图11C是流程图，示出了根据一些实施方案用于在由第一计算机系统所显示的模拟环境中更新第二计算机系统的查看视角的指示的方法1100。在包括(和/或与之通信)显示生成部件(例如，显示器、投影仪、平视显示器等)和输入设备(例如，触敏表面，例如触敏遥控器或也充当显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户手的位置的相机)、任选的一个或多个相机(例如，摄像机，连续提供在相机视场之内的内容的至少一部分的实时预览，并任选地生成视频输出，该视频输出包括捕获相机视场之内内容的图像帧的一个或多个流)、任选的一个或多个姿态传感器、任选的一个或多个传感器以检测与触敏表面的接触强度，以及任选的一个或多个触觉输出发生器的计算机系统(例如，图1A的便携式多功能设备100、图3A的设备300或图5A2的包括头戴式耳机5008和输入设备5010的多部件计算机系统)处执行方法1100。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文相对于图3B-图3D所述，在一些实施方案中，在计算机系统301(例如，计算机系统301-a、301-b或301-c)处执行方法1100，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法1100中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)和一个或多个集成相机的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。类似地，可任选地在具有独立于计算机系统的一个或多个其他部件(例如，输入设备)实现(例如，在头戴式耳机中)的一个或多个相机的计算机系统上执行类似操作；以及在一些此类实施方案中，“计算机系统的移动”对应于计算机系统的一个或多个相机的移动，或与计算机系统通信的一个或多个相机的移动。
如下所述，方法1100涉及第一用户的第一计算机系统，该第一计算机系统显示第二用户的第二计算机系统的查看视角的视觉指示。在相对于第一用户的物理环境取向的模拟环境中显示视觉指示。当第二计算机系统的查看视角改变时，更新查看视角的视觉指示。在由第一计算机系统所显示的模拟环境中更新计第二算机系统的查看视角的视觉指示使得能够在多个计算机系统的用户之间进行协作。使得能够在多个设备的用户之间进行协作提高了第一用户能够在模拟环境中执行操作的效率(例如，通过允许第二计算机系统的第二用户对任务作出贡献，减少对第一计算机系统的第一用户所需的对任务的贡献量)，由此增强了设备的可操作性，这通过使得用户能够更快速且更有效率地使用计算机系统而额外减少了电力使用并且改善了设备的电池寿命。
第一计算机系统(例如，设备5406，图5D1)经由第一计算机系统的第一显示生成部件来显示(1102)相对于第一计算机系统的第一物理环境取向的模拟环境(例如，虚拟现实环境或增强现实环境)(例如，如图5D2中设备5406的显示器5418所示)。显示模拟环境包括(1104)同时显示：在与第一计算机系统5406的第一物理环境相关联的模拟环境中的相应位置处显示的虚拟模型(例如，渲染的3D模型)中的第一虚拟用户界面对象(例如，虚拟框5420，图5D3b)(例如，渲染3D模型的视觉外观(例如，如尺寸、位置和取向所反映的)根据计算机系统相对于物理环境中的桌面或其他表面如何定位和取向而改变)，以及模拟环境的第二计算机系统5412的查看视角的视觉指示(例如，查看视角指示符5432，图5D3b))。第二计算机系统5412是具有第二显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个第二姿态传感器(例如，一个或多个相机、陀螺仪、惯性测量单元或使计算机系统能够检测计算机系统相对于计算机系统的物理环境的取向和/或位置变化的其他传感器)和第二输入设备(例如，触敏表面)的计算机系统，第二计算机系统经由第二计算机系统的第二显示生成部件(例如，如图5D3c所示)正在显示相对于第二计算机系统5412的第二物理环境取向的模拟环境视图(例如，叠加在来自第二计算机系统的相机的实时图像输出的至少一部分上的包括第一虚拟用户界面对象5402的增强现实视图)。
在经由第一计算机系统的第一显示生成部件来显示模拟环境时(1106)，第一计算机系统5406基于第二计算机系统的一部分相对于第二计算机系统的物理环境的姿态的变化(例如，第二计算机系统的该部分的姿态变化和/或物理环境的至少一部分的姿态变化，诸如由第二计算机系统用作标志的物理对象的姿态变化)来检测模拟环境的第二计算机系统5412的查看视角的变化(例如，如图5D3-图5D4所示)。
响应于基于第二计算机系统5412的该部分的姿态相对于第二计算机系统的物理环境的变化而检测到模拟环境的第二计算机系统的查看视角的变化(1108)，第一计算机系统5406根据模拟环境的第二计算机系统5412的查看视角的变化来更新通过第一计算机系统5406的第一显示生成部件所显示的模拟环境的第二计算机系统5412的查看视角的视觉指示。例如，如图5D3b所示，第一计算机系统5406的显示器显示对应于第二计算机系统5412的查看视角指示符5432。基于第二计算机系统5412的位置变化(如图5D3a-图5D4a中所示)，将查看视角指示符5432从图5D3b更新至图5D4b。
在一些实施方案中，第二计算机系统的查看视角的视觉指示包括(1110)在模拟环境中对应于第二计算机系统的位置处显示的第二计算机系统的表示(例如，由第一计算机系统的一个或多个相机检测到的第二计算机系统的视图和/或第二计算机系统的虚拟表示)。例如，如图5D3b所示，第一计算机系统5406的显示器显示对应于第二计算机系统5412的头像5428。在对应于第二计算机系统的位置处显示第二计算机系统的表示改善了对第一用户可用的关于第二计算机系统的信息(例如，以帮助用户理解查看视角的视觉指示对应于远程计算机系统)。改善对第一用户可用的关于第二计算机系统的信息增强了设备的可操作性(例如，通过允许用户与其他用户更有效地协作)，并且使得用户-设备界面更有效率，这通过使用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第二计算机系统的表示包括(1112)对应于第二计算机系统的标识指示符(例如，文本、2D图像(诸如表情符号或照片)和/或3D模型)。例如，图5D3b所示的头像5428是对应于第二计算机系统5412的标识指示符。在对应于第二计算机系统的位置处显示用于第二计算机系统的标识指示符改善了对第一用户可用的关于第二计算机系统的信息。改善对第一用户可用的关于第二计算机系统的信息使得用户-设备界面更有效率(例如，通过帮助第一用户在第二用户的查看视角的视觉指示符和远程计算系统的其他用户的查看视角的视觉指示符之间进行区分)，这通过使用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第二计算机系统5412的查看视角的视觉指示包括(1114)源自模拟环境中对应于第二计算机系统5412的位置的指示符5432(例如，作为锥体，诸如颗粒的圆锥或一个或多个射线)，以指示第二计算机系统的视线。在一些实施方案中，一个或多个射线包括不延伸至虚拟模型中的(任何)用户界面对象的至少一个射线。例如，一个或多个射线不连接到第一虚拟用户界面对象5420。在一些实施方案中，视觉指示符5432随着其进一步从第二计算机系统5412的表示延伸而变得更宽，以更准确地表示第二计算机系统5412的视场。显示指示符以指示第二计算机系统的视线改善了对第一用户可用的关于第二计算机系统的信息(例如，通过提供提示以帮助第一用户理解第二用户正在第二计算机系统的显示器上查看的内容和第二用户可能与其进行交互的该视图中的对象)。改善对第一用户可用的关于第二计算机系统的信息使得用户-设备界面更有效率(例如，通过允许用户与其他用户更有效地协作)，这通过使第一用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，显示模拟环境包括(1116)，根据确定模拟环境中的第二计算机系统5412正在与第一虚拟用户界面对象5420进行交互(例如，第二计算机系统已选择第一用户界面对象5420，正在移动第一用户界面对象5420，和/或正在改变第一用户界面对象5420的尺寸和/或形状)，经由第一计算机系统5406的第一显示生成部件来显示与第一虚拟用户界面对象5420视觉相关联的交互指示符(例如，交互指示符5452，如图5D5b所示)。在一些实施方案中，根据确定模拟环境中的第二计算机系统5412正在与第二虚拟用户界面对象交互(例如，第二计算机系统5412已选择第二用户界面对象，正在移动第二用户界面对象，和/或正在改变第二用户界面对象的尺寸和/或形状)，第一计算机系统5406经由第一计算机系统的第一显示生成部件来显示与第二虚拟用户界面对象视觉相关联的交互指示符。显示指示第二计算机系统5412正与其进行交互的虚拟用户界面对象的交互指示符5452改善了多个计算机系统的用户之间的协作。改善多个计算机系统的用户之间的协作提高了用户在模拟环境中执行操作的效率(例如，通过允许第二计算机系统的第二用户对涉及虚拟用户界面对象的任务作出贡献，减少对第一计算机系统的第一用户所需的对任务的贡献量)，由此增强了设备的可操作性，这通过使得用户能够更快速且更有效率地使用计算机系统而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，显示模拟环境包括(1118)，根据确定第二计算机系统5412与第一虚拟用户界面对象5420的交互包括对象操纵输入，根据对象操纵输入来改变第一虚拟用户界面对象的外观(例如，通过移动、展开、收缩和/或以其他方式改变第一虚拟用户界面对象5420的尺寸、形状和/或位置)。例如，在图5D5b-图5D6b中，响应于图5D5c-图5D6c所示的移动输入来移动虚拟用户界面对象5420。在图5D9b-图5D10b中，响应于图5D9c-图5D10c所示的尺寸调节输入，改变虚拟用户界面对象5420的尺寸。根据操纵虚拟用户界面对象的第二计算机系统的输入来改变虚拟用户界面对象的外观改善了多个计算机系统的用户之间的协作。改善多个计算机系统的用户之间的协作提高了用户在模拟环境中执行操作的效率(例如，通过向第一用户揭示第二用户对涉及虚拟用户界面对象的任务的贡献，减少对第一计算机系统的第一用户所需的对任务的贡献量)，由此增强了设备的可操作性，这通过使得用户能够更快速且更有效率地使用计算机系统而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，根据对象操纵输入来改变第一虚拟用户界面对象5420的外观包括(1120)显示与第一虚拟用户界面对象5420视觉相关联的交互指示符5452的移动，并且交互指示符的移动对应于对象操纵输入(例如，如图5D5b-图5D6b所示)。例如，交互指示符5452的一部分(例如，交互指示符5452的端点)显示在对应于第一虚拟用户界面对象5420上的点的位置处，使得当第一虚拟用户界面对象上的点由于第一虚拟用户界面对象的位置和/或尺寸的变化而改变时，该部分移动。根据操纵虚拟用户界面对象的第二计算机系统的输入来移动交互指示符改善了对第一用户可用的关于第二计算机系统的信息(例如，通过向第一用户提供关于对虚拟用户界面对象和第二计算机系统的更改之间的连接的视觉提示，帮助用户理解虚拟用户界面对象因在第二计算机系统处接收到的输入而改变)。改善对第一用户可用的信息使得用户-设备界面更有效率(例如，通过允许第一用户与其他用户更有效地协作)，这通过使用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，交互指示符5452包括(1122)对应于模拟环境中的第二计算机系统的位置和第一虚拟用户界面对象之间的连接(例如，线)的视觉指示。例如，在图5D5b中，交互指示符5452被示为头像5428(标识第二计算机系统5412)和虚拟框5420之间的线。显示包括第二计算机系统的所显示位置和虚拟用户界面对象之间的连接的视觉指示的交互指示符改善了对第一用户可用的关于第二计算机系统的信息(例如，通过向第一用户提供关于虚拟用户界面对象和正与虚拟用户界面对象交互的第二计算机系统之间的连接的视觉提示，帮助用户理解第二计算机系统正在与虚拟用户界面对象进行交互)。改善对第一用户可用的信息使得用户-设备界面更有效率(例如，通过允许第一用户与其他用户更有效地协作)，这通过使用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，交互指示符5452包括(1124)与第一用户界面对象5420的交互点(例如，控制手柄5454，图5D5b)的视觉指示。例如，在连接的视觉指示与第一用户界面对象5420汇合的点处显示连接点(例如，点)。在一些实施方案中，连接点指示用户正与之进行交互的对象的点、侧面、控制手柄或其他部分。在一些实施方案中，当第二计算机系统开始与第一用户界面对象的不同部分进行交互时，交互指示符改变以指示第一用户界面对象和第二计算机系统之间的交互点。显示包括与虚拟用户界面对象的交互点的视觉指示的交互指示符改善了对第一用户可用的关于第二计算机系统的信息(例如，通过向第一用户提供关于第二计算机系统正在与虚拟用户界面对象交互的方式的视觉提示，帮助用户理解第二计算机系统如何正在与虚拟用户界面对象进行交互并预测将由第二计算机系统作出的更改)。改善对第一用户可用的信息使得用户-设备界面更有效率(例如，通过允许第一用户与其他用户更有效地协作)，这通过使用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，显示模拟环境包括(1126)经由第一计算机系统5406(例如，使用第一计算机系统的一个或多个传感器，诸如一个或多个相机(例如，连续提供相机视场内的内容的至少一部分的实时预览并任选地生成视频输出的摄像机，该视频输出包括捕获相机视场之内内容的一个或多个图像帧流))检测第一物理环境中的第一物理参考对象(例如，第一参考垫5416a，图5D4a)。在一些实施方案中，物理参考对象是包括用于检测位置的一个或多个传感器以及被配置为传输位置信息的一个或多个通信部件的设备。在一些实施方案中，物理参考对象的位置由远离第一物理参考对象和第一计算机系统的设备来检测。在一些实施方案中，显示模拟环境还包括在通过第一计算机系统的第一显示生成部件显示的模拟环境中，在相对于第一物理参考对象(例如，第一物理参考对象的视觉表示，诸如第一物理参考对象的实时相机视图和/或对应于第一物理参考对象的虚拟模型)的位置处显示第一虚拟用户界面对象5420。响应于检测到第二计算机系统5412的查看视角的变化，第一计算机系统更新交互指示符5462相对于第一物理参考对象5416a的位置(例如，如图5D9a-图5D10a和图5D9b-图5D10b所示，位置交互指示符5462随着设备5412的位置变化而改变。)在一些实施方案中，第二计算机系统5412的查看视角的视觉指示5432也被更新以指示第二计算机系统的查看视角的变化。随着第二计算机系统的查看视角的改变，更新交互指示符相对于物理参考对象的位置，改善了对第一用户可用的关于第二计算机系统的信息(例如，通过向第一用户提供关于第二计算机系统和物理环境的相对定位的视觉提示，帮助第一用户理解第二计算机系统的第二用户如何查看模拟环境)。改善对第一用户可用的信息使得用户-设备界面更有效率(例如，通过允许第一用户与其他用户更有效地协作)，这通过使用户能够更快速和有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第二计算机系统的第二物理环境不同于(1128)第一计算机系统的第一物理环境。例如，图5D12b示出了不同于第一物理环境5400的第二物理环境5470。第二计算机系统(例如，设备5478，图5D12b)检测(例如，使用第二计算机系统的一个或多个传感器，诸如一个或多个相机)第二物理环境5470中的第二物理参考对象(例如，第二参考垫5476a)。在一些实施方案中，第一物理参考对象(例如，物理参考垫5416a，图5D12a)和第二物理参考对象(例如，物理参考垫5476a，图5D12b)具有一个或多个共享特征(例如，相同的面积、形状和/或参考图案)。在一些实施方案中，在经由第二计算机系统的第二显示生成部件显示的模拟环境中(例如，如图5D14c中所示)，第一虚拟用户界面对象5420被显示在相对于第二物理参考对象的位置处(例如，第二物理参考对象5476a的视觉表示5476b，诸如第二物理参考对象5476a的实时相机视图5476b和/或对应于第一虚拟用户界面对象5420相对于第一物理参考对象5416a的位置(例如，锚定到其实时相机视图)的虚拟模型)。例如，第二锚定位置相对于第二物理参考对象5476a的边界的位置与第一锚定位置相对于第一参考对象5146a的边界的位置相同(例如，如果第一锚定位置处于第一物理参考对象5146a的中心，第二锚定位置处于第二物理参考对象5476a的中心和/或反之亦然)。如果移动输入使得第一虚拟用户界面对象的位置相对于第一物理参考对象沿第一路径移动，则经由第二显示生成部件显示的模拟环境中的第一虚拟用户界面对象的位置沿着相对于第二物理参考对象的第二路径移动，该第二路径与第一路径相对于第一物理参考对象具有相同的轨迹。在第一计算机系统所显示的模拟环境中，在相对于第一物理参考对象的位置处显示虚拟用户界面对象并且在第二计算机系统所显示的模拟环境中在相对于第二物理参考对象的位置处显示相同的虚拟用户界面对象，使得第一用户和第二用户能够在第一用户和第二用户不在相同的物理位置时在共享模拟环境中协作。使得第一用户和第二用户能够在第一用户和第二用户不在相同物理位置时在共享模拟环境中协作，改善了多个计算机系统的用户之间的协作，这提高了用户在模拟环境中执行操作的效率(例如，通过向第一用户揭示第二用户对涉及虚拟用户界面对象的任务的贡献，减少对第一计算机系统的第一用户所需的对任务的贡献量)，由此增强了计算机系统的可操作性，这通过使得用户能够更快速且更有效率地使用计算机系统而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一计算机系统的第一物理环境5400包括(1130)第二计算机系统的第二物理环境的至少一部分(例如，第一计算机系统5408和第二计算机系统5412位于相同(本地)物理空间中，如图5D1所示)，并且第二计算机系统(例如，第二计算机系统的实时图像和/或第二计算机系统的虚拟版本(例如，叠加于第二计算机系统的实时图像上方))在通过第一显示生成部件显示的模拟环境中是可见的。例如，在图5D4b中，示出了设备5412的表示5430(例如，设备5406的相机所捕获的设备5412的视图和/或设备5412的渲染版本)。当第一计算机系统和第二计算机系统至少部分位于相同物理环境中时，在由第一计算机系统显示的模拟环境中显示第二计算机系统，改善了第一计算机系统的第一用户与第二计算机系统的第二用户之间的协作(例如，通过帮助第一用户理解第二计算机系统相对于第一计算机系统的位置)。改善第一计算机系统的第一用户与第二计算机系统的第二用户之间的协作提高了第一用户在模拟环境中执行操作的效率，从而增强了计算机系统的可操作性，这通过使得用户能够更快和有效率地使用计算机系统而额外减小了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一计算机系统通过第一输入设备5406检测(1132)远程设备视角输入(例如，在用户界面控件处检测到的输入，诸如按钮和/或菜单项，或手势输入，诸如轻扫手势)，并且响应于检测到远程设备视角输入，第一计算机系统将相对于第一计算机系统的第一物理环境取向的模拟环境的显示替换为相对于第二计算机系统的第二物理环境取向的模拟环境的显示。例如，响应于该输入，设备5406显示设备5412的视图，诸如图5D4c所示的视图。响应于在第一计算机系统的第一输入设备处的输入以第二计算机系统的模拟环境的显示替换第一计算机系统的模拟环境的显示，改善了第一计算机系统的第一用户与第二计算机系统的第二用户之间的协作(例如，通过允许第一用户对另一用户的视角进行精确可视化)。改善第一计算机系统的第一用户与第二计算机系统的第二用户之间的协作提高了第一用户在模拟环境中执行操作的效率(例如，通过允许第一用户使用关于第二用户的视角的信息来准确地沟通关于所查看的用户界面对象)，从而增强了计算机系统的可操作性，这通过使得用户能够更快和有效率地使用计算机系统而额外减小了电力使用并且改善了设备的电池寿命。
应当理解，对图11A-图11C中的操作进行描述的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图11A-图11C描述的方法1100。例如，上文参考方法1100所描述的接触、手势、用户界面对象、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1200和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图12A-图12D是流程图，示出了根据一些实施方案用于放置插入光标的方法1200。在包括(和/或与之通信)显示生成部件(例如，显示器、投影仪、平视显示器等)和输入设备(例如，触敏表面，例如触敏遥控器或也充当显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户手的位置的相机)、任选的一个或多个相机(例如，摄像机，连续提供在相机视场之内的内容的至少一部分的实时预览，并任选地生成视频输出，该视频输出包括捕获相机视场之内内容的图像帧的一个或多个流)、任选的一个或多个姿态传感器、任选的一个或多个传感器以检测与触敏表面的接触强度，以及任选的一个或多个触觉输出发生器的计算机系统(例如，图1A的便携式多功能设备100、图3A的设备300或图5A2的包括头戴式耳机5008和输入设备5010的多部件计算机系统)处执行方法1200。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文相对于图3B-图3D所述，在一些实施方案中，在计算机系统301(例如，计算机系统301-a、301-b或301-c)处执行方法1200，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)和一个或多个集成相机的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。类似地，可任选地在具有独立于计算机系统的一个或多个其他部件(例如，输入设备)实现(例如，在头戴式耳机中)的一个或多个相机的计算机系统上执行类似操作；以及在一些此类实施方案中，“计算机系统的移动”对应于计算机系统的一个或多个相机的移动，或与计算机系统通信的一个或多个相机的移动。
如下所述，方法1200涉及用于放置插入光标的输入(例如，用于指示用于放置对象的模拟环境中的位置)。相同类型的输入可用于在模拟环境中插入对象(例如，当在对应于所显示的插入光标的位置的位置处接收到输入时)。根据焦点选择器的位置是否对应于所显示的插入光标的位置，响应于检测到第一类型的输入而确定是在焦点选择器的位置处显示插入光标还是在焦点选择器的位置处插入第一对象，使得能够利用第一类型的输入执行多种不同类型的操作。使得多种不同类型的操作能够用第一类型的输入执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且高效地使用设备而减少了电力使用并且改善了设备的电池寿命。
计算机系统(例如，设备100，图5E1)经由第一计算机系统的显示生成部件来显示(1202)模拟环境(例如，虚拟现实环境或增强现实环境)。例如，增强现实环境显示在设备100的显示器112上，如图5E2所示。
在显示模拟环境时，计算机系统经由输入设备(例如，设备100的触摸屏显示器112)检测(1204)指向模拟环境中的相应位置的第一输入。例如，在图5E7中，在不对应于插入光标(例如，插入光标5504)的位置的位置处检测到由与触摸屏显示器112的接触5506作出的输入。在图5E9中，在对应于插入光标(例如，插入光标5508)的位置的位置处检测到由与触摸屏显示器112的接触5510作出的输入。
响应于检测到指向模拟环境中的相应位置的第一输入(1206)，根据确定第一输入是第一输入类型(例如，在模拟环境中的位置处检测到的轻击输入)并且在模拟环境中除模拟环境中插入光标的当前位置之外的第一位置处检测到第一输入(例如，在不对应于插入光标5504的当前位置的位置处由接触5506作出的输入，如图5E7中所示)，该计算机系统在第一位置处显示插入光标(例如，将现有插入光标从先前位置移动到第一位置，或如果在第一输入之前未在模拟环境中显示插入光标，则在第一位置处显示新的插入光标)。例如，响应于如图5E7中所示由接触5506作出的输入，将插入光标5504从图5E7所示的位置移动到接收到接触5506的位置，如图5E8中的插入光标5508所示。根据确定第一输入是第一输入类型并且在模拟环境中对应于插入光标的当前位置的第二位置处检测到第一输入(例如，在对于与插入光标5508的当前位置的位置处由接触5510作出的输入，如图5E9所示)，该计算机系统在第二位置处插入第一对象(例如，虚拟框5512)并将插入光标移动到位于第一对象上的第三位置(例如，将插入光标5508移动到虚拟框5512的表面5514)。
在一些实施方案中，该设备多个连续迭代地重复执行(1208)方法1200，其中在连续迭代中的第一迭代中，第一输入是第一类型并且在模拟环境中的第一位置处被检测到，并且作为响应，在第一位置处显示插入光标；以及在连续迭代中的第二迭代中，第一输入为第一类型，并且在模拟环境中与插入点的当前位置相对应的第二位置处被检测到，并且作为响应，在第二位置处插入第一对象并将插入光标移动到位于第一对象上的第三位置。根据焦点选择器的位置是否对应于所显示的插入光标的位置，响应于检测到第一类型的输入而确定是在焦点选择器的位置处显示插入光标还是在焦点选择器的位置处插入第一对象，使得能够利用第一类型的输入执行多种不同类型的操作。使得多种不同类型的操作能够用第一类型的输入执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且高效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一对象具有(1210)多个不相邻侧面，它们与对应于插入光标的当前位置(例如，图5E9中插入光标5508的位置)的第二位置不相邻(例如，多个不相邻侧面的每个相应不相邻侧面都不与第二位置相邻)，第一对象上的第三位置在不与第二位置相邻的多个不相邻侧面中的相应不相邻侧面上(例如，第三位置是虚拟对象5512的侧面5514(如图5E10中所示)，虚拟对象5512的侧面5514不与插入光标5508的位置相邻)。将插入光标移动到第一对象的不与插入第一对象的位置相邻的侧面改善了提供给用户的反馈(例如，通过改变输入光标的位置以使其在第一对象的侧面上对用户可见)，并且减少所需输入数量(例如，以在第三位置处插入新的对象)。减少插入新对象所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，根据确定插入光标的当前位置位于预先存在的对象的相应侧面上(1212)，第三位置位于第一对象的与预先存在的对象的相应侧面平行的第一相应侧面上(例如，如果光标位于预先存在的对象的顶部上，则将光标移动到第一对象的顶部，如果光标位于预先存在的对象的前侧上，则将光标移动到第一对象的前侧)。例如，在图5E11中，在与插入光标5508对应的位置处检测到由接触5516作出的输入，而插入光标5508位于预先存在的虚拟框5512的顶侧5514上。在图5E12中，响应于由接触5516作出的输入，显示新的虚拟框5518并且将插入光标5508移动到新虚拟框5518的顶侧5520。新虚拟框5518的顶侧5520平行于预先存在的虚拟框5512的顶侧5514。将插入光标移动到第一对象的平行于插入光标所在的预先存在的对象的侧面的侧面，改善了提供给用户的反馈(例如，通过将输入光标放置在将能够使得预先存在的对象沿同一轴线继续展开的位置处)并且减少了所需输入的数量(例如，以在第三位置处插入新对象)。减少插入新对象所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，(1214)第一位置(不是插入光标的当前位置)位于预先存在的对象的第一侧面上，并且第二位置(对应于插入光标的当前位置)位于与预先存在的对象的第一侧面不同的预先存在的对象的第二侧面上。例如，当插入光标5508位于预先存在的对象的顶侧(例如，图5E17中的虚拟框5518)时，在预先存在的对象5518的前侧5528上检测到(例如，由接触5524作出的)选择输入，在这种情况下，将所显示的焦点指示符，诸如插入光标5508移动到预先存在的对象的前侧5528而不向预先存在的对象5518的前侧5528添加新的对象(如图5E18所示)。另选地，当插入光标5508位于预先存在的对象顶侧上(例如，图5E11中的虚拟框5512的顶侧5514)时，检测选择输入(例如，由接触5516作出)，在这种情况下，将第一对象(例如，虚拟框5518)添加到预先存在的对象(例如，虚拟框5512)的顶部，并将所显示的焦点指示符，诸如插入光标5508，移动到现在包括第一对象的预先存在的对象的顶部(例如，如图5E12中所示)。在预先存在的对象的第一侧面处显示插入光标(例如，将插入光标从当前位置移动到预先存在的对象的第一侧面)或在预先存在的对象的第二侧面处插入第一对象(例如，当焦点选择器在对应于预先存在的对象的第二侧面处的插入光标的位置处时，接收到输入时)，使得能够利用第一类型的输入来执行多种不同类型的操作。使得多种不同类型的操作能够用第一类型的输入执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且高效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，模拟环境(例如，如图5E3中的设备100所显示的)相对于计算机系统的物理环境5200取向(1216)(例如，模拟环境相对于物理环境的取向与计算机系统的一个或多个姿态传感器的取向无关)，并且在第二位置处插入第一对象(例如，虚拟框5512)包括在模拟环境(例如，渲染3D模型)中在与计算机系统的物理环境5200中的相应物理参考对象(例如，物理参考垫5208a)的相应位置(以及任选的取向)相关联的模拟环境中的位置(以及任选的取向)处插入第一对象(例如，将第一对象锚定到物理参考对象，诸如垫，和/或与锚定到物理参考对象的虚拟对象相关联)。在一些实施方案中，模拟环境包括由计算机系统的一个或多个相机(例如，连续提供相机视场内的内容的至少一部分的实时预览并且任选地生成包括捕获相机视场内的内容的一个或多个图像帧流的摄像机)检测到的图像(例如，在背景中，诸如超出第一虚拟用户界面对象)。在一些实施方案中，模拟环境包括模拟光源。在一些实施方案中，模拟光源使得第一对象5512(以及所显示虚拟模型的任何其他对象)投射阴影(例如，5522，图5E10)。在一些实施方案中，阴影响应于由输入设备检测到的移动输入而移动，该输入设备移动第一对象和/或改变第一对象的查看视角(例如，如图5E12-图5E14所示)。在模拟环境中在与物理参考相关联的位置处插入第一对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到指向模拟环境中的相应位置的第一输入(1218)，根据确定第一输入是第二输入类型(例如，输入包括插入命令或选择添加对象的按钮或菜单项)并且在模拟环境中的第二位置处显示插入光标，该计算机系统在模拟环境中的第二位置处插入第一对象并将插入光标移动到第一对象上的第三位置。例如，如图5E23-图5E24所示，由接触5542在对应于新对象控件5216的位置处作出的输入使得虚拟框5546被显示在对应于插入光标5526的位置处。插入光标5526被移动到虚拟框5546的顶侧5548。在一些实施方案中，响应于检测到指向模拟环境中的相应位置的第一输入：根据确定第一输入是第一输入类型(例如，轻击输入)并且第一输入是在模拟环境中对应于插入光标的当前位置的第二位置处检测到的，则在第二位置处插入第一对象。根据确定第一输入为第三输入类型(例如，该输入包括对对象的相应表面的选择和输入的移动)，根据输入的移动来调节对象(例如，基于输入的移动，沿垂直于对象的所选择侧面的轴线调节对象的尺寸和/或沿基于输入的移动的方向移动对象)。在模拟环境中在显示插入光标的第二位置处插入第一对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统检测(1220)第二输入，该第二输入包括对第一对象的第二相应侧面的选择和第二输入在两个维度中的移动(例如，接触跨平面触敏表面的移动，或遥控器的包括在遥控器周围的三维物理空间的两个正交维度中的移动分量的移动)。例如，如图5E25-图5E26所示，由接触5550作出的输入选择虚拟框5546的侧面5556并沿由箭头5554指示的路径移动。响应于检测到包括第二输入在两个维度中的移动的第二输入(1222)，根据确定第二输入满足移动标准(例如，持续时间比长按压持续时间更短和/或与触敏表面的接触的特征强度未增大到高于尺寸调节强度阈值(例如，轻按压阈值ITL，如上文参考图4D-图4E所述))，该计算机系统在基于第二输入的移动确定的第一方向上在平行于第一对象的所选择第二相应侧面的第一平面之内移动第一对象。例如，在图5E25-图5E26中，第二输入满足移动标准，并且虚拟框5546在由移动突出部5552指示的平面内移动。根据确定第二输入不满足移动标准，计算机系统放弃移动第一对象。在一些实施方案中，计算机系统检测包括对第一对象的第二相应侧面的选择和第二输入在两个维度中的移动的多个输入，其中多个输入包括第二输入满足移动标准的至少一个输入和第二输入不满足移动标准的至少一个输入。在一些实施方案中，第一对象的移动量取决于第二输入的移动量值。在一些实施方案中，第一对象的移动方向取决于第二输入的移动方向(例如，如本文参考方法900更详细所述)。响应于包括两个维度中的移动的输入而移动对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统检测(1224)包括对第一对象的第三相应侧面的选择和第三输入在两个维度中的移动的第三输入。例如，在图5E28-图5E31中，由接触5558作出的输入选择虚拟框5546的侧面5556并沿由箭头5562指示的路径移动。响应于检测到包括第三输入在两个维度中的移动的第三输入(1226)，根据确定第三输入满足尺寸调节标准(例如，持续时间增大到高于长按压持续时间值和/或与触敏表面的接触的特征强度增大到高于尺寸调节阈值(例如，轻按压阈值ITL))，该计算机系统基于第三输入的移动，沿垂直于第一对象的所选择第三对应侧面的轴线(例如，与所选择相应部分的表面正交并与该表面接触的轴线)调节第一对象的尺寸。例如，在图5E28-图5E31中，第二输入满足尺寸调节标准，并且沿由尺寸调节突出部5560所指示的轴线增大虚拟框5546的尺寸。根据确定第三输入不满足尺寸调节标准，计算机系统放弃调节第一对象的尺寸。在一些实施方案中，计算机系统检测包括对第一对象的第三相应侧面的选择和第三输入在两个维度中的移动的多个输入，其中多个输入包括第三输入满足尺寸调节标准的至少一个输入和第二输入不满足尺寸调节标准的至少一个输入。在一些实施方案中，响应于检测到包括第三输入在两个维度中的移动的第三输入，根据确定第三输入满足尺寸调节标准，将第一对象的位置锁定到模拟环境中的锚定点。在一些实施方案中，第一对象的尺寸的调节量取决于第三输入的移动量值。在一些实施方案中，第一对象的尺寸调节方向取决于第三输入的移动方向(例如，如本文参考方法900更详细所述)。响应于满足尺寸调节标准并包括两个维度中的移动的输入而调节对象的尺寸，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统检测(1228)包括对第一对象的第四相应侧面的选择和第四输入在两个维度中的移动的第四输入。响应于检测到包括第二输入在两个维度中的移动的第四输入(1230)，根据确定该接触满足尺寸调节标准(例如，持续时间增大到高于长按压持续时间值和/或与触敏表面的接触的特征强度增大到高于尺寸调节阈值(例如，轻按压阈值ITL))，该计算机系统基于第四输入的移动而调节第一对象的尺寸。例如，在图5E28-图5E31中，由接触5558作出的选择虚拟框5546的侧面5556并且沿着由箭头5562指示的路径移动的输入满足尺寸调节标准，并且虚拟框5546的尺寸沿着由尺寸调节突出部5560所指示的轴线增大。根据确定接触不满足尺寸调节标准，计算机系统基于第四输入的移动来移动第一对象。例如，在图5E25-图5E26中，由接触5550作出的选择虚拟框5546的侧面5556并且沿着由箭头5554指示的路径移动的输入满足移动标准，并且在由移动突出部5552指示的平面内移动虚拟框5546。在一些实施方案中，计算机系统检测包括对第一对象的第四相应侧面的选择和第四输入在两个维度中的移动的多个输入，其中多个输入包括接触满足移动标准的至少一个输入和接触不满足移动标准的至少一个输入。根据在接触跨越触敏表面移动之前，接触的特征强度是否在过去预定义延迟时间之前增大到高于强度阈值，确定响应于检测到触敏表面上的由接触作出的输入是调节对象的尺寸还是移动对象，使得能够利用第一类型的输入执行多种不同类型的操作。使得能够利用由触敏表面上的接触作出的输入而执行多种不同类型的操作，提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，基于第四输入的移动来调节第一对象的尺寸包括(1232)沿垂直于第一对象的所选择第三相应侧面的轴线来调节第一对象的尺寸。例如，在图5E30-图5E31中，沿着由尺寸调节突出部5560指示的垂直于虚拟框5546的所选择侧面5556的轴线来调节虚拟框5546的尺寸。
在一些实施方案中，基于第四输入的移动来移动第一对象包括(1234)在基于第二输入的移动而确定的第一方向上，在平行于第一对象的所选择第二相应侧面的第一平面之内移动第一对象。例如，如图5E25-图5E26中所示，在由移动突出部5552指示的平行于虚拟框5546的所选择侧面5556的平面中移动输入虚拟框5546。
在一些实施方案中，在显示第一对象时，计算机系统检测(1236)第一对象的不对应于第一对象上的第三位置的相应部分上的第五输入。例如，在图5E11-图5E12中，响应于输入而显示第一对象(例如，响应于由接触5516作出的输入而显示虚拟框5518)，并且将插入光标5508移动到第三位置(例如，虚拟框5518的表面5520)。在图5E17中，在不对应于第三位置的位置处检测到由接触5224作出的输入(例如，在虚拟框5518的表面5528处检测到接触5224)。响应于检测到第五输入，计算机系统将插入光标从第三位置移动(1238)到对应于第一对象的相应部分的位置。例如，在图5E18中，响应于由接触5224作出的输入，将插入光标从虚拟框5518的表面5520移动到虚拟框5518的表面5528。响应于输入而将插入光标从对象上的当前位置移动到对象上的不同位置，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，对图12A-图12D中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1100和1300)描述的其他过程的细节同样以类似的方式适用于上文相对于图12A-图12D描述的方法1100。例如，上文参考方法1200所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1100和1300)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图13A-图13E为流程图，示出了根据一些实施方案，用于以稳定操作模式显示增强现实环境的方法1300。在包括(和/或与之通信)显示生成部件(例如，显示器、投影仪、平视显示器等)和输入设备(例如，触敏表面，例如触敏遥控器或也充当显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户手的位置的相机)、任选的一个或多个相机(例如，摄像机，连续提供在相机视场之内的内容的至少一部分的实时预览，并任选地生成视频输出，该视频输出包括捕获相机视场之内内容的图像帧的一个或多个流)、任选的一个或多个姿态传感器、任选的一个或多个传感器以检测与触敏表面的接触强度，以及任选的一个或多个触觉输出发生器的计算机系统(例如，图1A的便携式多功能设备100、图3A的设备300或图5A2的包括头戴式耳机5008和输入设备5010的多部件计算机系统)处执行方法1300。在一些实施方案中，输入设备(例如，具有触敏表面)和显示生成部件被集成到触敏显示器中。如上文结合图3B-图3D所述，在一些实施方案中，在计算机系统301(例如，计算机系统301-a、301-b或301-c)处执行方法1300，其中相应部件，诸如显示生成部件、一个或多个相机、一个或多个输入设备，以及任选地一个或多个姿态传感器各自包括在计算机系统301中或与计算机系统通信。
在一些实施方案中，显示生成部件是触摸屏显示器，并且输入设备(例如，具有触敏表面)在显示生成部件上或与显示生成部件集成。在一些实施方案中，显示生成部件与输入设备分开(例如，如图4B和图5A2所示)。方法1300中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
为了便于解释，将参考在具有触敏显示系统112(例如，在具有触摸屏112的设备100上)和一个或多个集成相机的计算机系统上执行的操作来讨论一些实施方案。然而，响应于在显示附图中示出的在头戴式耳机5008的显示器上的用户界面时检测到输入设备5010的触敏表面上的接触，任选地在具有头戴式耳机5008和具有触敏表面的独立输入设备5010的计算机系统(例如，如图5A2中所示)上执行类似的操作。类似地，可任选地在具有独立于计算机系统的一个或多个其他部件(例如，输入设备)实现(例如，在头戴式耳机中)的一个或多个相机的计算机系统上执行类似操作；以及在一些此类实施方案中，“计算机系统的移动”对应于计算机系统的一个或多个相机的移动，或与计算机系统通信的一个或多个相机的移动。
如下所述，方法1300涉及显示包括与一个或多个相机的视场同时显示的虚拟用户界面对象的增强现实环境。根据增强现实环境是以稳定模式还是非稳定模式显示的，响应于检测到的移动(由于计算机系统的至少一部分相对于其物理环境的姿态的变化)而更新所显示的增强现实环境，使得所显示的一个或多个相机的视场改变不同的量。以稳定模式或非稳定模式显示增强现实环境使得能够利用相同的所检测移动执行多种不同类型的操作(例如，根据所显示的视图是否被锁定到围绕虚拟用户界面对象居中的视场的一部分而更新所显示的视图不同的量)。使得能够响应于检测到的移动而执行多种不同类型的操作，提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
计算机系统(例如，图5F2，设备100)经由第一计算机系统的显示生成部件112来显示(1302)增强现实环境。显示增强现实环境包括同时显示计算机系统的一个或多个相机的视场的至少一部分和虚拟用户界面对象5604的表示。一个或多个相机的视场的表示包括物理对象5602。在一个或多个相机的视场内容变化时，更新一个或多个相机的视场的表示(例如，该表示是一个或多个相机的视场的至少一部分的实时预览)。在一个或多个相机的视场表示中的相应位置处显示虚拟用户界面对象5604，其中基于物理对象5602和一个或多个相机的视场表示中包括的虚拟用户界面对象5604之间的固定空间关系(例如，尺寸、取向和/或位置)来确定一个或多个相机的视场表示中的虚拟用户界面对象5604的相应位置(例如，看起来附接到或覆盖一个或多个相机视场中的物理对象的虚拟用户界面对象)。
在显示增强现实环境时，计算机系统经由计算机系统的一个或多个姿态传感器检测(1304)计算机系统的至少一部分的姿态(例如，取向和/或位置)相对于计算机系统的物理环境的第一变化(例如，计算机系统的部件，诸如包括用于生成物理环境的表示的一个或多个相机的计算机系统的部件的姿态变化)。例如，图5F3a-图5F4a示出了处于非稳定操作模式的设备100的移动，并且图5F8a-图5F10a、图5F12a-图5F13a，以及图5F16a-图5F17a示出了处于稳定操作模式下的设备100的移动。
响应于检测到计算机系统的该部分相对于计算机系统的物理环境的姿态的第一变化，该计算机系统根据计算机系统的该部分的姿态的第一变化来更新(1306)增强现实环境。根据确定以非稳定操作模式显示增强现实环境，根据计算机系统的该部分的姿态的第一变化来更新增强现实环境包括将一个或多个相机的视场的该部分的表示更新基于计算机系统该部分相对于计算机系统的物理环境的姿态的第一变化的第一调节量(例如，如图5F3b-图5F4b所示)，以及将虚拟用户界面对象5604的相应位置更新到所选择的位置，以便保持一个或多个相机的视场表示中包括的物理对象5602和虚拟用户界面对象5604之间的固定空间关系(例如，尺寸、取向和/或位置)。根据确定以稳定操作模式显示增强现实环境，根据计算机系统的该部分的姿态的第一变化来更新增强现实环境包括：将一个或多个相机的视场的该部分的表示更新基于计算机系统该部分相对于计算机系统的物理环境的姿态的第一变化且小于第一调节量的第二调节量(例如，所显示的视图被锁定到在第一虚拟用户界面对象周围居中的视场的子部分)，以及将虚拟用户界面对象5604的相应位置更新到所选择的位置，以便保持一个或多个相机的视场表示中包括的物理对象5602和虚拟用户界面对象5604之间的固定空间关系(例如，尺寸、取向和/或位置)。例如，在图5F16b-图5F17b中，将一个或多个相机的视场的该部分的表示更新小于图5F3b-图5F4b中出现的调节量的量。在一些实施方案中，计算机系统在多个连续迭代期间重复执行方法1300，其中在连续迭代的第一次迭代中，以非稳定的操作模式显示增强现实环境，并且在连续迭代的第二次迭代中，以稳定操作模式显示增强现实环境。
在一些实施方案中，当在检测到(1308)计算机系统的该部分的姿态的第一变化(例如，计算机系统的部件诸如包括用于生成物理环境的表示的一个或多个相机的计算机系统的部件的姿态的变化)时以非稳定操作模式显示增强现实环境时，在根据计算机系统的该部分的姿态的第一变化而更新增强现实环境之后，该计算机系统接收(1308-a)请求以在显示器上稳定虚拟用户界面对象(例如，稳定控件5616处的输入)。响应于在显示器上稳定虚拟用户界面对象的请求，计算机系统进入(1308-b)用于增强现实环境的稳定操作模式。当处于用于增强现实环境的稳定操作模式中时，该计算机系统(1308-c)经由一个或多个取向传感器检测该计算机系统的该部分相对于物理环境(例如，如图5F16a-图5F17a)的姿态(例如，取向和/或位置)的第二变化，以及响应于检测到计算机系统的该部分相对于物理环境的姿态的第二变化(例如，计算机系统的部件，诸如包括用于生成物理环境的表示的一个或多个相机的计算机系统的部件的姿态变化)，该计算机系统根据计算机系统的该部分的姿态的第二变化更新增强现实环境，包括：将一个或多个相机的视场的该部分的表示更新小于计算机系统的该部分(或计算机系统的部件，诸如包括用于生成物理环境的表示的一个或多个相机的计算机系统的部件)相对于物理环境的姿态第二变化的量，以及将虚拟用户界面对象5604更新到所选择的位置，以便保持一个或多个相机视场中包括的物理对象5602的表示和虚拟用户界面对象5604之间的固定空间关系(例如，尺寸、取向和/或位置)。例如，在图5F16b-图5F17b中，将一个或多个相机的视场的该部分的表示更新小于图5F3b-图5F4b中出现的调节量的量。响应于在显示器上稳定虚拟用户界面对象的请求而进入用于增强现实环境的稳定操作模式，改善了所显示的增强现实环境(例如，通过允许用户查看虚拟用户界面对象而不管来自一个或多个相机的可用数据)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，计算机系统包括输入设备，并且在显示器上稳定虚拟用户界面对象的请求包括(1310)经由输入设备接收的用于缩放增强现实环境的至少一部分的输入(例如，如图5F6b-图5F7b所示的由接触5606和5608作出的展开缩放输入)。在一些实施方案中，用于缩放的输入是例如捏指、双击或缩放示能表示的选择/操纵。在一些实施方案中，响应于接收到用于缩放增强现实环境的至少一部分的输入，设备缩放增强现实环境(例如，如图5F6b-图5F7b所示，增强现实环境中的虚拟用户界面对象5604的尺寸响应于展开缩放输入而增大)。在一些实施方案中，缩放是预先确定量的缩放或缩放至预先确定缩放水平。在一些实施方案中，缩放的量值基于输入的量值(例如，两个接触彼此分开的移动量或缩放控件上的接触的移动量)。响应于缩放输入而进入用于增强现实环境的稳定操作模式启用稳定模式而不需要进一步的用户输入。进入稳定模式而不需要进一步用户输入，增强了设备的可操作性并且使用户-设备界面更有效，这通过使用户能够更快速且有效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于在显示器上稳定虚拟用户界面对象的请求，其中在显示器上稳定虚拟用户界面对象的请求包括用于缩放所显示的增强现实环境的该部分的输入，该计算机系统根据用于缩放所显示的增强现实环境的该部分的输入的量值而重新渲染(1312)虚拟用户界面对象(例如，从较低分辨率到较高分辨率)(例如，而不重新渲染一个或多个相机的视场该部分的表示)。例如，在图5F7b中，响应于在图5F6b-图5F7b中接收的展开缩放输入而重新渲染虚拟对象5604。在一些实施方案中，响应于在显示器上稳定虚拟用户界面对象的请求，其中在显示器上稳定虚拟用户界面对象的请求包括用于缩放所显示的增强现实环境的输入，一个或多个相机的视场保持相同。在一些实施方案中，激活一个或多个相机的相机缩放，并且在缩放虚拟用户界面对象时缩放一个或多个相机的视场。根据缩放输入的量值重新渲染虚拟用户界面对象，改善了向用户提供的反馈(例如，通过使计算机系统看起来对用户输入更有响应)，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时的用户错误)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，利用所显示的增强现实环境中的虚拟用户界面对象5604替换(1314)物理对象5602(例如，将所显示的视图锁定到在第一虚拟用户界面对象周围居中的视场的子部分)。将物理对象替换为所显示的增强现实环境中的虚拟用户界面对象增大了用于向用户提供关于物理对象的视觉信息的选项范围(例如，通过虚拟用户界面对象中提供不可从物理对象获得的额外或增强视觉信息)，并且使得用户-设备界面更有效率(例如，通过提供与物理对象相关的额外信息而无需独立显示额外信息和物理对象的相机视图)，这通过使得用户能够更快速且更高效地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在以稳定操作模式显示增强现实环境的同时(例如，如图5F8a-图5F10a所示移动设备100)，计算机系统检测(1316)计算机系统的该部分相对于计算机系统的物理环境的姿态的第一相应变化。响应于在以稳定操作模式显示增强现实环境的同时检测到计算机系统的该部分相对于计算机系统的物理环境的姿态的第一相应变化，该计算机系统根据计算机系统的该部分的姿态的相应变化，更新(1318)增强现实环境，包括：根据确定虚拟用户界面对象5604的更新相应位置延伸超过一个或多个相机的视场，(继续显示锁定到在虚拟用户界面对象周围居中的视场的子部分的虚拟用户界面对象，并且)更新一个或多个相机视场的该部分的表示包括在增强现实环境中对应于虚拟用户界面对象延伸超过一个或多个相机视场的相应位置处显示占位符图像5614(例如，空白空间或渲染图像)(例如，以填充超出虚拟用户界面对象，不再有实时相机图像的背景)。例如，当虚拟用户界面对象5604会延伸超出一个或多个相机的视场时，包括虚拟用户界面对象5604的增强现实环境被缩小，使得虚拟用户界面对象5604被完全显示。当缩小增强现实环境时，对于超出虚拟用户界面对象之外的一部分背景，实时相机图像不再可用。在一些实施方案中，响应于检测到计算机系统的该部分相对于计算机系统的物理环境的姿态的第一相应变化，根据计算机系统的该部分的姿态的第一相应变化来更新增强现实环境包括确定虚拟用户界面对象5604的更新的相应位置是否延伸超出一个或多个相机的视场。在增强现实环境中在对应于虚拟用户界面对象延伸超出相机视图的部分的位置处显示占位符图像，改善了向用户提供的反馈(例如，通过向用户提供视觉提示以帮助用户理解虚拟用户界面对象的该部分延伸超出相机视图)，增强了设备的可操作性并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时用户的错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在以稳定操作模式显示增强现实环境的同时(例如，如图5F8a-图5F9a所示或如图5F16a-图5F17a所示移动设备100)，计算机系统检测(1320)计算机系统的该部分相对于计算机系统的物理环境的姿态的第二相应变化。响应于在以稳定操作模式显示增强现实环境的同时检测到计算机系统的该部分相对于计算机系统的物理环境的姿态的第二相应变化，该计算机系统根据计算机系统的该部分的姿态的相应变化，更新(1322)增强现实环境，包括根据确定虚拟用户界面对象5604的更新的相应位置延伸超出一个或多个相机的视场，停止显示虚拟用户界面对象5604的至少一部分(例如，同时继续显示锁定到在虚拟用户界面对象周围居中的视场的子部分的虚拟用户界面对象5604)。例如，在图5F9b和图5F17b中，虚拟用户界面对象5604延伸超出一个或多个相机的视场，并且虚拟用户界面对象5604的一部分不被显示。在一些实施方案中，响应于检测到计算机系统的该部分相对于计算机系统的物理环境的姿态的第二相应变化，根据计算机系统的该部分的姿态的第二相应变化来更新增强现实环境包括确定虚拟用户界面对象的更新的相应位置是否延伸超出一个或多个相机的视场。在一些实施方案中，根据确定计算机系统的该部分相对于物理环境的姿态的相应变化将导致虚拟用户界面对象移动到一个或多个相机的视场之外的位置，激活受限稳定模式，在该受限稳定模式中，虚拟用户界面对象被约束到对应于一个或多个相机的视场的位置。在一些实施方案中，检测计算机系统的至少一部分相对于物理环境的姿态的第三变化，同时将虚拟用户界面对象约束到对应于一个或多个相机的视场的位置。响应于计算机系统的该部分相对于物理环境的姿态的第三变化，根据确定计算机系统的该部分相对于物理环境的姿态的第三变化将导致虚拟用户界面对象移动到不超出一个或多个相机的视场的位置，受限稳定模式结束。停止显示虚拟用户界面对象的虚拟用户界面对象部分的至少一部分(例如，延伸超出相机视图的虚拟用户界面对象的一部分)，改善了向用户提供的反馈(例如，通过向用户提供视觉提示以帮助用户理解虚拟用户界面对象的该部分延伸超出相机视图)，增强了设备的可操作性并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时用户的错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于在以稳定操作模式显示增强现实环境的同时检测到计算机系统的该部分相对于计算机系统的物理环境的姿态的相应变化(例如，如图5F8a-图5F9a所示检测设备100的移动)，根据计算机系统该部分的姿态的相应变化更新增强现实环境包括(1324)，根据确定虚拟用户界面对象5604的更新的相应位置延伸超出一个或多个相机的视场，缩放所显示的增强现实环境以增大所显示虚拟用户界面对象的一部分(例如，如图5F9b-图5F10b所示)，以及根据确定虚拟用户界面对象的更新的相应位置未延伸超出一个或多个相机的视场，移动虚拟用户界面对象而不缩放所显示的增强现实环境。在一些实施方案中，在以稳定操作模式显示增强现实环境的同时，该计算机系统检测计算机系统的该部分相对于计算机系统的物理环境的姿态的多个变化，其中姿态的多个变化包括姿态的至少一个变化，响应于该至少一个变化，虚拟用户界面对象的更新的相应位置延伸超出一个或多个相机的视场，以及姿态的至少一个变化，响应于该至少一个变化，虚拟用户界面对象的更新的相应位置不延伸超出一个或多个相机的视场。在计算机系统的移动会导致虚拟用户界面对象延伸超出相机视图时缩放所显示的增强现实环境以增大以稳定模式显示的虚拟用户界面对象的一部分，改善了向用户提供的反馈(例如，通过允许用户继续查看完整的虚拟用户界面对象而不管设备的移动)，增强了设备的可操作性并且使得用户-设备界面更有效率(例如，通过帮助用户以所需输入实现预期结果并减少在操作设备/与设备交互时用户的错误)，这通过使用户能够更快更有效率地使用设备而额外减少了电力使用并且改善了设备的电池寿命。
应当理解，对图13A-图13E中的操作进行描述的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1100和1200)描述的其他过程的细节同样以类似的方式适用于上文相对于图13A-图13E描述的方法1100。例如，上文参考方法1300所描述的接触、手势、用户界面对象、焦点指示符和/或动画任选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1100和1200)所描述的接触、手势、用户界面对象、强度阈值、焦点指示符和/或动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
以上参考图6A-图6D、图7A-图7C、图8A-图8C、图9A-图9E、图10A-图10E、图11A-图11C、图12A-图12D以及图13A-图13E所述的操作任选地由图1A-图1B中所描绘的部件来实施。例如，显示操作602、702、802、808、902、1002、1014、1102、1202、1206和1302；检测操作606、706、806、904、1004、1008、1012、1106、1204和1304；检测和调节操作608、调节和应用操作708；调节操作906；改变操作1006；执行操作1010；过渡操作1014；更新操作1108和1306；以及显示和插入操作1206；任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A-图1B中所描绘的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (177)

1.一种方法，包括：
在具有显示生成部件、一个或多个相机和输入设备的计算机系统处：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，在对应于所述相应虚拟用户界面对象的位置处检测输入；以及
在继续检测所述输入的同时：
检测所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的移动；以及
响应于检测到所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的所述移动，根据所述输入相对于所述相应物理对象的移动量值来调节所述相应虚拟用户界面对象的外观。
2.根据权利要求1所述的方法，其中根据所述输入相对于所述相应物理对象的所述移动量值来调节所述相应虚拟用户界面对象的所述外观包括：
根据确定所述输入相对于所述相应物理对象的所述移动量值为第一量值，将所述相应虚拟用户界面对象的所述外观调节第一调节；以及
根据确定所述输入相对于所述相应物理对象的所述移动量值为不同于所述第一量值的第二量值，将所述相应虚拟用户界面对象的所述外观调节不同于所述第一调节的第二调节。
3.根据权利要求1至2中任一项所述的方法，其中所述相应虚拟用户界面对象在所述调节之前和之后被锚定到所述一个或多个相机的所述视场中的所述相应物理对象。
4.根据权利要求1至3中任一项所述的方法，其中响应于检测到所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的所述移动来调节所述相应虚拟用户界面对象的所述外观，而不考虑所述输入的所述移动是由于：
所述输入在所述输入设备上的移动，
所述一个或多个相机相对于所述相应物理对象的移动，还是
所述输入在所述输入设备上的移动和所述一个或多个相机相对于所述相应物理对象的移动的组合。
5.根据权利要求1至4中任一项所述的方法，其中所述输入相对于所述相应物理对象的所述移动基于：
所述一个或多个相机的所述视场相对于所述相应物理对象的移动；以及
所述输入在所述输入设备上的移动。
6.根据权利要求1至4中任一项所述的方法，其中所述输入相对于所述相应物理对象的所述移动基于所述输入在所述输入设备上的移动，并且所述方法包括：
在根据所述输入相对于所述相应物理对象的所述移动量值来调节所述相应虚拟用户界面对象的所述外观之后：
检测所述一个或多个相机的所述视场相对于所述相应物理对象的移动；以及
响应于检测到所述一个或多个相机的所述视场相对于所述相应物理对象的所述移动，继续根据所述一个或多个相机的所述视场相对于所述相应物理对象的移动量值来调节所述相应虚拟用户界面对象的所述外观。
7.根据权利要求1至4中任一项所述的方法，其中所述输入相对于所述相应物理对象的所述移动基于所述一个或多个相机的所述视场相对于所述相应物理对象的移动，并且所述方法包括：
在根据所述输入相对于所述相应物理对象的所述移动量值来调节所述相应虚拟用户界面对象的所述外观之后：
检测所述输入在所述输入设备上的移动；以及
响应于检测到所述输入在所述输入设备上的所述移动，继续根据所述输入在所述输入设备上的移动量值来调节所述相应虚拟用户界面对象的所述外观。
8.根据权利要求1至7中任一项所述的方法，其中：
在对应于所述相应虚拟用户界面对象的所述位置处检测所述输入包括在所述相应虚拟用户界面对象上的第一接触点处检测所述输入；以及
所述计算机系统更新所述相应虚拟用户界面对象的所述显示，以便将所述相应虚拟用户界面对象上的所述第一接触点的显示保持在与所述输入的位置相对应的位置处。
9.根据权利要求1至8中任一项所述的方法，其中：
所述输入相对于所述相应物理对象的移动包括所述计算机系统的移动；以及
所述计算机系统的移动是从图像分析导出的，所述图像分析表明所述一个或多个相机的所述视场内的一个或多个参考点在由所述一个或多个相机捕获的连续图像之间已改变。
10.根据权利要求1至9中任一项所述的方法，其中调节所述相应虚拟用户界面对象的所述外观包括移动所述相应虚拟用户界面对象的至少一部分，其中所述相应虚拟用户界面对象的移动基于所述相应物理对象的物理形状。
11.根据权利要求1至10中任一项所述的方法，其中调节所述相应虚拟用户界面对象的所述外观包括移动所述相应虚拟用户界面对象的至少一部分，其中所述相应虚拟用户界面对象的移动基于一个或多个触摸输入的移动和同时的所述计算机系统的移动。
12.根据权利要求1至11中任一项所述的方法，其中调节所述相应虚拟用户界面对象的所述外观包括将所述相应虚拟用户界面对象的至少一部分移动超出所述相应虚拟用户界面对象的静止状态的最大极限，并且所述方法包括：
在继续检测所述输入的同时，根据所述输入相对于所述相应物理对象的所述移动量值，在超出所述相应虚拟用户界面对象的所述静止状态的所述最大极限的位置处显示所述相应虚拟用户界面对象；
停止检测到所述输入；以及
响应于停止检测到所述输入，在与所述相应虚拟用户界面对象的所述静止状态的所述最大极限相对应的位置处显示所述相应虚拟用户界面对象。
13.根据权利要求1至12中任一项所述的方法，其中所显示的增强现实环境包括：
与所述一个或多个相机的所述视场中的物理对象不对应的一个或多个虚拟对象；
位于所述一个或多个相机的所述视场中的一个或多个物理对象；以及
位于所述一个或多个相机的所述视场中的所述一个或多个物理对象的一个或多个3D虚拟模型，所述一个或多个3D虚拟模型替换对应的所述一个或多个物理对象的至少一部分。
14.根据权利要求1至13中任一项所述的方法，其中所述相应物理对象是可从不同角度识别的3D标记，并且所述相应虚拟用户界面对象是基于所述一个或多个相机的相机角度而重叠在所述相应物理对象上的3D虚拟模型。
15.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，在对应于所述相应虚拟用户界面对象的位置处检测输入；以及
在继续检测所述输入的同时：
检测所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的移动；以及
响应于检测到所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的所述移动，根据所述输入相对于所述相应物理对象的移动量值来调节所述相应虚拟用户界面对象的外观。
16.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和输入设备的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，在对应于所述相应虚拟用户界面对象的位置处检测输入；以及
在继续检测所述输入的同时：
检测所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的移动；以及
响应于检测到所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的所述移动，根据所述输入相对于所述相应物理对象的移动量值来调节所述相应虚拟用户界面对象的外观。
17.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；以及
用于经由所述显示生成部件来显示增强现实环境的装置，其中用于显示所述增强现实环境的所述装置包括用于同时显示以下内容的装置：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时被启用、用于在对应于所述相应虚拟用户界面对象的位置处检测输入的装置；以及
在继续检测所述输入的同时被启用的装置，包括：
用于检测所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的移动的装置；以及
响应于检测到所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的所述移动而被启用、用于根据所述输入相对于所述相应物理对象的移动量值来调节所述相应虚拟用户界面对象的外观的装置。
18.一种用于在具有显示生成部件、一个或多个相机和输入设备的计算机系统中使用的信息处理设备，包括：
用于经由所述显示生成部件来显示增强现实环境的装置，其中用于显示所述增强现实环境的所述装置包括用于同时显示以下内容的装置：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时被启用、用于在对应于所述相应虚拟用户界面对象的位置处检测输入的装置；以及
在继续检测所述输入的同时被启用的装置，包括：
用于检测所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的移动的装置；以及
响应于检测到所述输入相对于所述一个或多个相机的所述视场中的所述相应物理对象的所述移动而被启用、用于根据所述输入相对于所述相应物理对象的移动量值来调节所述相应虚拟用户界面对象的外观的装置。
19.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至14所述的方法中的任一种方法的指令。
20.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求1至14所述的方法中的任一种方法。
21.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个相机、输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求1至14所述的方法中的任一种方法显示的用户界面。
22.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；以及
用于执行权利要求1至14所述的方法中的任一种方法的装置。
23.一种用于在具有显示生成部件、一个或多个相机和输入设备的计算机系统中使用的信息处理设备，包括：
用于执行权利要求1至14所述的方法中的任一种方法的装置。
24.一种方法，包括：
在具有显示生成部件、一个或多个相机和输入设备的计算机系统处：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，检测改变用于所述增强现实环境的虚拟环境设置的输入；以及
响应于检测到改变所述虚拟环境设置的所述输入：
根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的外观；以及
将滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分，其中所述滤波器是基于对所述虚拟环境设置作出的所述改变而选择的。
25.根据权利要求24所述的方法，其中将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分除了导致所述相应虚拟用户界面对象的所述外观调节之外，还导致所述增强现实环境的外观调节。
26.根据权利要求24至25中任一项所述的方法，其中：
所述虚拟环境设置被改变为夜间模式；以及
将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分包括：
减小由所述一个或多个相机捕获的图像的亮度；以及
将滤色器应用于由所述一个或多个相机捕获的所述图像。
27.根据权利要求24至26中任一项所述的方法，其中改变所述虚拟环境设置的所述输入是在所述增强现实环境中导航通过时间的轻扫输入。
28.根据权利要求24至27中任一项所述的方法，其中：
检测改变所述虚拟环境设置的所述输入包括检测改变所述虚拟环境设置的所述输入的移动；
根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的所述外观包括根据改变所述虚拟环境设置的所述输入的所述移动来逐渐调节所述相应虚拟用户界面对象的所述外观；以及
将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分包括根据改变所述虚拟环境设置的所述输入的所述移动来逐渐应用所述滤波器。
29.根据权利要求24至28中任一项所述的方法，其中所述相应虚拟用户界面对象在所述增强现实环境中的所述相应物理对象上投射阴影。
30.根据权利要求24至29中任一项所述的方法，其中所述相应物理对象在所述增强现实环境中的所述相应虚拟用户界面对象上投射阴影。
31.根据权利要求24至30中任一项所述的方法，其中所述相应物理对象的移动导致所述增强现实环境中所述相应虚拟用户界面对象的所述外观的一个或多个改变。
32.根据权利要求24至31中任一项所述的方法，其中所述计算机系统的移动导致应用于所述一个或多个相机的所述视场的至少一部分的所述表示和所述相应虚拟用户界面对象的所述外观的视觉效果的一个或多个改变。
33.根据权利要求24至32中任一项所述的方法，其中将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分包括：
在所述一个或多个相机所捕获的图像被传输至所述显示生成部件之前，将所述滤波器应用于所述图像。
34.根据权利要求24至33中任一项所述的方法，其中改变所述虚拟环境设置的所述输入是在用于所述虚拟用户界面对象的不同虚拟环境之间切换的输入，其中不同虚拟环境与用于探索所述虚拟用户界面对象的不同交互相关联。
35.根据权利要求24至34中任一项所述的方法，包括：
根据确定选择了第一虚拟环境设置，在所述增强现实环境中显示第一组虚拟对象；以及
根据确定选择了第二虚拟环境设置，在所述增强现实环境中显示不同于所述第一组虚拟对象的第二组虚拟对象。
36.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，检测改变用于所述增强现实环境的虚拟环境设置的输入；以及
响应于检测到改变所述虚拟环境设置的所述输入：
根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的外观；以及
将滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分，其中所述滤波器是基于对所述虚拟环境设置作出的所述改变而选择的。
37.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和输入设备的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，检测改变用于所述增强现实环境的虚拟环境设置的输入；以及
响应于检测到改变所述虚拟环境设置的所述输入：
根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的外观；以及
将滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分，其中所述滤波器是基于对所述虚拟环境设置作出的所述改变而选择的。
38.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；以及
用于经由所述显示生成部件来显示增强现实环境的装置，其中用于显示所述增强现实环境的所述装置包括用于同时显示以下内容的装置：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时被启用、用于检测改变用于所述增强现实环境的虚拟环境设置的输入的装置；以及
响应于检测到改变所述虚拟环境设置的所述输入而启用的装置，包括：
用于根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的外观的装置；以及
用于将滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分的装置，其中所述滤波器是基于对所述虚拟环境设置作出的所述改变而选择的。
39.一种用于在具有显示生成部件、一个或多个相机和输入设备的计算机系统中使用的信息处理设备，包括：
用于经由所述显示生成部件来显示增强现实环境的装置，其中用于显示所述增强现实环境的所述装置包括用于同时显示以下内容的装置：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时被启用、用于检测改变用于所述增强现实环境的虚拟环境设置的输入的装置；以及
响应于检测到改变所述虚拟环境设置的所述输入而启用的装置，包括：
用于根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的外观的装置；以及
用于将滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分的装置，其中所述滤波器是基于对所述虚拟环境设置作出的所述改变而选择的。
40.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求24至35所述的方法中的任一种方法的指令。
41.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求24至35所述的方法中的任一种方法。
42.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个相机、输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求24至35所述的方法中的任一种方法显示的用户界面。
43.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；以及
用于执行权利要求24至35所述的方法中的任一种方法的装置。
44.一种用于在具有显示生成部件、一个或多个相机和输入设备的计算机系统中使用的信息处理设备，包括：
用于执行权利要求24至35所述的方法中的任一种方法的装置。
45.一种方法，包括：
在具有显示生成部件、一个或多个相机和输入设备的计算机系统处：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中所述第一虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，检测对应于对所述第一虚拟用户界面对象的选择的第一输入；以及
响应于检测到对应于对所述第一虚拟用户界面对象的选择的所述第一输入：
从所述虚拟模型中的所述第一虚拟用户界面对象的视角显示所述虚拟模型的模拟视场。
46.根据权利要求45所述的方法，包括：响应于检测到对应于所述第一虚拟用户界面对象的选择的所述第一输入，停止显示所述一个或多个相机的所述视场的所述表示。
47.根据权利要求45至46中任一项所述的方法，包括：在显示增强现实环境的同时，响应于检测到所述计算机系统的至少一部分的改变所述一个或多个相机的所述视场的移动，更新所述一个或多个相机的所述视场的所述表示。
48.根据权利要求45至47中任一项所述的方法，包括：在显示所述增强现实环境的同时，响应于检测到所述计算机系统的至少一部分的改变所述一个或多个相机的所述视场的所述内容的视角的移动，根据所述视场的所述内容的所述视角的所述改变来更新所述一个或多个相机的所述视场的所述表示和所述虚拟模型。
49.根据权利要求45至48中任一项所述的方法，包括：响应于检测到对应于对所述第一虚拟用户界面对象的选择的所述第一输入，从所述虚拟模型中的所述第一虚拟用户界面对象的所述视角显示从所述增强现实环境到所述虚拟模型的所述模拟视场的动画过渡。
50.根据权利要求45至49中任一项所述的方法，包括：
在从所述虚拟模型中的所述第一虚拟用户界面对象的所述视角显示所述虚拟模型的所述模拟视场时，检测对应于显示所述增强现实环境的请求的第二输入；以及
响应于对应于显示所述增强现实环境的所述请求的所述第二输入：
显示从所述虚拟模型的所述模拟视场到所述增强现实环境的动画过渡；以及
显示所述增强现实环境。
51.根据权利要求50所述的方法，其中响应于所述第二输入来显示所述增强现实环境包括在检测到所述第二输入之后，根据所述一个或多个相机的所述视场来显示所述增强现实环境。
52.根据权利要求51所述的方法，其中在检测到所述第二输入之后所述一个或多个相机的所述视场不同于在检测到所述第一输入时所述一个或多个相机的所述视场。
53.根据权利要求45至52中任一项所述的方法，其中所述第一虚拟用户界面对象独立于来自所述计算机系统的用户的输入而在所述虚拟模型中移动。
54.根据权利要求45至53中任一项所述的方法，其中在从所述虚拟模型中的所述第一虚拟用户界面对象的所述视角显示所述虚拟模型的所述模拟视场时，所述第一虚拟用户界面对象响应于来自所述计算机系统的用户的一个或多个输入而在所述虚拟模型中移动。
55.根据权利要求45至54中任一项所述的方法，包括：在显示所述模拟视场的同时，检测所述计算机系统的至少一部分的移动，并且响应于检测到所述计算机系统的所述移动，根据所述计算机系统的所述移动来改变从所述第一虚拟用户界面对象的所述视角的所述虚拟模型的所述模拟视场。
56.根据权利要求45至55中任一项所述的方法，包括：
在从所述虚拟模型中的所述第一虚拟用户界面对象的所述视角显示所述虚拟模型的所述模拟视场时，检测对应于对所述虚拟模型中的第二虚拟用户界面对象的选择的第三输入；以及
响应于检测到对应于对所述第二虚拟用户界面对象的选择的所述第三输入：
从所述虚拟模型中的所述第二虚拟用户界面对象的视角显示所述虚拟模型的第二模拟视场。
57.根据权利要求45至56中任一项所述的方法，包括：
在从所述虚拟模型中的所述第一虚拟用户界面对象的所述视角显示所述虚拟模型的所述模拟视场时，检测对应于对所述虚拟模型中的位置的选择的第四输入，所述位置不是能够显示相关联模拟视场的虚拟用户界面对象；以及
响应于检测到所述第四输入：
重新显示所述增强现实环境。
58.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中所述第一虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，检测对应于对所述第一虚拟用户界面对象的选择的第一输入；以及
响应于检测到对应于对所述第一虚拟用户界面对象的选择的所述第一输入：
从所述虚拟模型中的所述第一虚拟用户界面对象的视角显示所述虚拟模型的模拟视场。
59.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和输入设备的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中所述第一虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时，检测对应于对所述第一虚拟用户界面对象的选择的第一输入；以及
响应于检测到对应于对所述第一虚拟用户界面对象的选择的所述第一输入：
从所述虚拟模型中的所述第一虚拟用户界面对象的视角显示所述虚拟模型的模拟视场。
60.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；以及
用于经由所述显示生成部件来显示增强现实环境的装置，其中用于显示所述增强现实环境的所述装置包括用于同时显示以下内容的装置：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中所述第一虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时被启用、用于检测对应于对所述第一虚拟用户界面对象的选择的第一输入的装置；以及
响应于检测到对应于对所述第一虚拟用户界面对象的选择的所述第一输入而启用的装置，包括：
用于从所述虚拟模型中的所述第一虚拟用户界面对象的视角显示所述虚拟模型的模拟视场的装置。
61.一种用于在具有显示生成部件、一个或多个相机和输入设备的电子设备中使用的信息处理设备，包括：
用于经由所述显示生成部件来显示增强现实环境的装置，其中用于显示所述增强现实环境的所述装置包括用于同时显示以下内容的装置：
包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中所述第一虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；
在显示所述增强现实环境的同时被启用、用于检测对应于对所述第一虚拟用户界面对象的选择的第一输入的装置；以及
响应于检测到对应于对所述第一虚拟用户界面对象的选择的所述第一输入而启用的装置，包括：
用于从所述虚拟模型中的所述第一虚拟用户界面对象的视角显示所述虚拟模型的模拟视场的装置。
62.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求45至57所述的方法中的任一种方法的指令。
63.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求45至57所述的方法中的任一种方法。
64.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个相机、输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求45至57所述的方法中的任一种方法显示的用户界面。
65.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
输入设备；以及
用于执行权利要求45至57所述的方法中的任一种方法的装置。
66.一种用于在具有显示生成部件、一个或多个相机和输入设备的计算机系统中使用的信息处理设备，包括：
用于执行权利要求45至57所述的方法中的任一种方法的装置。
67.一种方法，包括：
在具有显示生成部件和输入设备的计算机系统处：
经由所述显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象；
在所述虚拟三维空间中显示所述第一虚拟用户界面对象时，经由所述输入设备来检测第一输入，所述第一输入包括对所述第一虚拟用户界面对象的相应部分的选择和所述第一输入在两个维度中的移动；以及
响应于检测到包括所述第一输入在两个维度中的移动的所述第一输入：
根据确定所述第一虚拟用户界面对象的所述相应部分是所述第一虚拟用户界面对象的第一部分，在基于所述第一输入在两个维度中的移动和所述第一虚拟用户界面对象被选择的所述第一部分而确定的第一方向上调节所述第一虚拟用户界面对象的外观，其中所述第一虚拟用户界面对象在所述第一方向上的所述调节被约束到在所述虚拟三维空间的第一组两个维度中的移动；以及
根据确定所述第一虚拟用户界面对象的所述相应部分是不同于所述第一虚拟用户界面对象的所述第一部分的所述第一虚拟用户界面对象的第二部分，在不同于所述第一方向的第二方向上调节所述第一虚拟用户界面对象的所述外观，其中所述第二方向是基于所述第一输入在两个维度中的所述移动和所述第一虚拟用户界面对象被选择的所述第二部分而确定的，其中所述第一虚拟用户界面对象在所述第二方向上的调节被约束到在所述虚拟三维空间的不同于所述虚拟三维空间的所述第一组两个维度的第二组两个维度中的移动。
68.根据权利要求67所述的方法，其中：
所述第一部分为所述第一虚拟用户界面对象的第一侧面；以及
所述第二部分是所述第一虚拟用户界面对象的第二侧面，并且所述第一侧面不平行于所述第二侧面。
69.根据权利要求67至68中任一项所述的方法，其中调节所述第一虚拟用户界面对象的所述外观包括调节所述第一虚拟用户界面对象的所述外观以使得：
所述第一虚拟用户界面对象的位置被锁定到与所述虚拟用户界面对象的所选择的所述相应部分平行的平面；以及
所述第一输入的所述二维移动对应于所述第一虚拟用户界面对象在与所述虚拟用户界面对象的所选择的所述相应部分平行的所述平面上的二维移动。
70.根据权利要求69所述的方法，其中调节所述第一虚拟用户界面对象的所述外观包括显示移动平面指示符，所述移动平面指示符包括与所述虚拟用户界面对象的所选择的所述相应部分平行的所述平面的视觉指示。
71.根据权利要求70所述的方法，其中所述移动平面指示符包括从所述第一虚拟用户界面对象沿与所述虚拟用户界面对象的所选择的所述相应部分平行的所述平面延伸的一个或多个突出部。
72.根据权利要求67至68中任一项所述的方法，包括：
响应于检测到包括所述第一输入的移动的所述第一输入，确定所述第一输入是否满足尺寸调节标准；以及
根据确定所述第一输入满足所述尺寸调节标准，调节所述第一虚拟用户界面对象的所述外观以使得：
所述第一虚拟用户界面对象的位置被锁定到所述虚拟三维空间中的锚定点；以及
沿与所述第一虚拟用户界面对象的所选择的所述相应部分垂直的轴线来调节所述第一虚拟用户界面对象的尺寸。
73.根据权利要求72所述的方法，其中所述锚定点位于所述第一虚拟用户界面对象的与所述第一虚拟用户界面对象的所选择的所述相应部分相对的部分上。
74.根据权利要求72所述的方法，其中所述锚定点为所述第一虚拟用户界面对象的形心。
75.根据权利要求72至74的任一项所述的方法，其中调节所述第一虚拟用户界面对象的所述外观包括显示移动轴线指示符，其中所述移动轴线指示符包括与所述第一虚拟用户界面对象的所选择的所述相应部分垂直的轴线的视觉指示。
76.根据权利要求75所述的方法，其中所述移动轴线指示符包括平行于与所述第一虚拟用户界面对象的所述相应部分垂直的所述轴线的一个或多个突出部，其中所述一个或多个突出部从所述第一虚拟用户界面对象延伸。
77.根据权利要求67至76中任一项所述的方法，其中所述计算机系统包括一个或多个用于生成触觉输出的触觉输出发生器，并且所述方法包括：
在沿相应方向调节所述第一虚拟用户界面对象的外观的同时，确定所述第一输入的所述移动使得所述第一虚拟用户界面对象的相应部分与存在于所述虚拟三维空间中的虚拟元素相碰撞；以及
根据所述确定所述第一输入的所述移动使得所述第一虚拟用户界面对象的所述相应部分与所述虚拟元素碰撞，利用所述一个或多个触觉输出发生器来生成触觉输出。
78.根据权利要求67至77中任一项所述的方法，包括：
在显示所述虚拟三维空间时，经由所述输入设备来检测指向所述虚拟三维空间中的第一位置的第二输入；
响应于检测到所述第二输入，根据确定所述第二输入具有第一输入类型，在所述虚拟三维空间中的所述第一位置处显示插入光标；
当在所述第一位置处显示所述插入光标时，通过所述输入设备来检测第三输入；以及
响应于检测到所述第三输入：
根据确定所述第三输入具有所述第一输入类型并且指向对应于所显示的插入光标的所述第一位置，在所述第一位置处插入第二虚拟用户界面对象；以及
根据确定所述第三输入具有所述第一输入类型并且指向与所显示的插入光标不对应的第二位置，在所述第二位置处显示所述插入光标。
79.根据权利要求67至78中任一项所述的方法，包括：
在显示所述虚拟三维空间时，经由所述输入设备来检测指向所述虚拟三维空间中的第三位置的第四输入；
响应于检测到指向所述虚拟三维空间中的所述第三位置的所述第四输入，根据确定所述第四输入具有所述第一输入类型，在所述第三位置处显示插入光标；
当在所述第三位置处显示所述插入光标时，经由所述输入设备在对应于新对象控件的位置处检测第五输入，所述新对象控件在被激活时使得新的虚拟用户界面对象在所述第三位置处被插入；以及
响应于检测到所述第五输入，在所述第三位置处插入所述新的虚拟用户界面对象。
80.根据权利要求67至79中任一项所述的方法，包括：
经由所述输入设备来检测对应于与所述虚拟三维空间的交互的手势；以及
响应于检测到对应于与所述虚拟三维空间的所述交互的所述手势，在所述虚拟三维空间中执行对应于所述手势的操作。
81.根据权利要求67至80中任一项所述的方法，其中：
所述计算机系统包括一个或多个相机，并且
所显示的虚拟三维空间包括：
位于所述一个或多个相机的视场中的一个或多个物理对象；以及
位于所述一个或多个相机的所述视场中的所述一个或多个物理对象的一个或多个虚拟三维模型。
82.根据权利要求81所述的方法，其中响应于检测到所述第一输入相对于所述一个或多个相机的所述视场中的相应物理对象的所述移动来调节所述第一虚拟用户界面对象的所述外观，而不考虑所述第一输入的所述移动是由于：
所述第一输入在所述输入设备上的移动，
所述一个或多个相机相对于所述相应物理对象的移动，或是
所述第一输入在所述输入设备上的移动和所述一个或多个相机相对于所述相应物理对象的移动的组合。
83.一种计算机系统，包括：
显示生成部件；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象；
在所述虚拟三维空间中显示所述第一虚拟用户界面对象时，经由所述输入设备来检测第一输入，所述第一输入包括对所述第一虚拟用户界面对象的相应部分的选择和所述第一输入在两个维度中的移动；以及
响应于检测到包括所述第一输入在两个维度中的移动的所述第一输入：
根据确定所述第一虚拟用户界面对象的所述相应部分是所述第一虚拟用户界面对象的第一部分，在基于所述第一输入在两个维度中的移动和所述第一虚拟用户界面对象被选择的所述第一部分而确定的第一方向上调节所述第一虚拟用户界面对象的外观，其中所述第一虚拟用户界面对象在所述第一方向上的所述调节被约束到在所述虚拟三维空间的第一组两个维度中的移动；以及
根据确定所述第一虚拟用户界面对象的所述相应部分是不同于所述第一虚拟用户界面对象的所述第一部分的所述第一虚拟用户界面对象的第二部分，在不同于所述第一方向的第二方向上调节所述第一虚拟用户界面对象的所述外观，其中所述第二方向是基于所述第一输入在两个维度中的所述移动和所述第一虚拟用户界面对象被选择的所述第二部分而确定的，其中所述第一虚拟用户界面对象在所述第二方向上的调节被约束到在所述虚拟三维空间的不同于所述虚拟三维空间的所述第一组两个维度的第二组两个维度中的移动。
84.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件和输入设备的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象；
在所述虚拟三维空间中显示所述第一虚拟用户界面对象时，经由所述输入设备来检测第一输入，所述第一输入包括对所述第一虚拟用户界面对象的相应部分的选择和所述第一输入在两个维度中的移动；以及
响应于检测到包括所述第一输入在两个维度中的移动的所述第一输入：
根据确定所述第一虚拟用户界面对象的所述相应部分是所述第一虚拟用户界面对象的第一部分，在基于所述第一输入在两个维度中的所述移动和所述第一虚拟用户界面对象被选择的所述第一部分而确定的第一方向上调节所述第一虚拟用户界面对象的外观，其中所述第一虚拟用户界面对象在所述第一方向上的所述调节被约束到所述虚拟三维空间的第一组两个维度中的移动；以及
根据确定所述第一虚拟用户界面对象的所述相应部分是不同于所述第一虚拟用户界面对象的所述第一部分的所述第一虚拟用户界面对象的第二部分，在不同于所述第一方向的第二方向上调节所述第一虚拟用户界面对象的所述外观，其中所述第二方向是基于所述第一输入在两个维度中的所述移动和所述第一虚拟用户界面对象被选择的所述第二部分而确定的，其中所述第一虚拟用户界面对象在所述第二方向上的调节被约束到在所述虚拟三维空间的不同于所述虚拟三维空间的所述第一组两个维度的第二组两个维度中的移动。
85.一种计算机系统，包括：
显示生成部件；
输入设备；
用于经由所述显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象的装置；
在所述虚拟三维空间中显示所述第一虚拟用户界面对象时被启用、用于经由所述输入设备来检测第一输入的装置，所述第一输入包括对所述第一虚拟用户界面对象的相应部分的选择和所述第一输入在两个维度中的移动；以及
响应于检测到包括所述第一输入在两个维度中的移动的所述第一输入而被启用的装置，包括：
根据确定所述第一虚拟用户界面对象的所述相应部分是所述第一虚拟用户界面对象的第一部分而启用、用于在基于所述第一输入在两个维度中的移动和所述第一虚拟用户界面对象被选择的所述第一部分而确定的第一方向上调节所述第一虚拟用户界面对象的外观的装置，其中所述第一虚拟用户界面对象在所述第一方向上的所述调节被约束到所述虚拟三维空间的第一组两个维度中的移动；以及
根据确定所述第一虚拟用户界面对象的所述相应部分是不同于所述第一虚拟用户界面对象的所述第一部分的所述第一虚拟用户界面对象的第二部分而启用、用于在不同于所述第一方向的第二方向上调节所述第一虚拟用户界面对象的所述外观的装置，其中所述第二方向是基于所述第一输入在两个维度中的所述移动和所述第一虚拟用户界面对象被选择的所述第二部分而确定的，其中所述第一虚拟用户界面对象在所述第二方向上的所述调节被约束到在所述虚拟三维空间的不同于所述虚拟三维空间的所述第一组两个维度的第二组两个维度中的移动。
86.一种用于在具有显示生成部件和输入设备的计算机系统中使用的信息处理设备，包括：
用于经由所述显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象的装置；
在所述虚拟三维空间中显示所述第一虚拟用户界面对象时被启用、用于经由所述输入设备来检测第一输入的装置，所述第一输入包括对所述第一虚拟用户界面对象的相应部分的选择和所述第一输入在两个维度中的移动；以及
响应于检测到包括所述第一输入在两个维度中的移动的所述第一输入而被启用的装置，包括：
根据确定所述第一虚拟用户界面对象的所述相应部分是所述第一虚拟用户界面对象的第一部分而启用、用于在基于所述第一输入在两个维度中的移动和所述第一虚拟用户界面对象被选择的所述第一部分而确定的第一方向上调节所述第一虚拟用户界面对象的外观的装置，其中所述第一虚拟用户界面对象在所述第一方向上的所述调节被约束到所述虚拟三维空间的第一组两个维度中的移动；以及
根据确定所述第一虚拟用户界面对象的所述相应部分是不同于所述第一虚拟用户界面对象的所述第一部分的所述第一虚拟用户界面对象的第二部分而启用、用于在不同于所述第一方向的第二方向上调节所述第一虚拟用户界面对象的所述外观的装置，其中所述第二方向是基于所述第一输入在两个维度中的所述移动和所述第一虚拟用户界面对象被选择的所述第二部分而确定的，其中所述第一虚拟用户界面对象在所述第二方向上的所述调节被约束到在所述虚拟三维空间的不同于所述虚拟三维空间的所述第一组两个维度的第二组两个维度中的移动。
87.一种计算机系统，包括：
显示生成部件；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求67至82所述的方法中的任一种方法的指令。
88.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件和输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求67至82所述的方法中的任一种方法。
89.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求67至82所述的方法中的任一种方法显示的用户界面。
90.一种计算机系统，包括：
显示生成部件；
输入设备；以及
用于执行权利要求67至82所述的方法中的任一种方法的装置。
91.一种用于在具有显示生成部件和输入设备的计算机系统中使用的信息处理设备，包括：
用于执行权利要求67至82所述的方法中的任一种方法的装置。
92.一种方法，包括：
在具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统处：
经由所述显示生成部件以第一查看模式显示相对于所述计算机系统的物理环境取向的模拟环境，其中以所述第一查看模式显示所述模拟环境包括：显示在与所述计算机系统的所述物理环境相关联的所述模拟环境中的第一相应位置处显示的虚拟模型中的第一虚拟用户界面对象；
在显示所述模拟环境的同时，经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述物理环境的姿态的第一变化；
响应于检测到所述计算机系统的所述部分的所述姿态的所述第一变化，改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便在所述第一虚拟用户界面对象和所述物理环境之间保持固定空间关系；
在基于所述计算机系统的所述部分的姿态的所述第一变化来改变所述第一虚拟用户界面对象的所述外观之后，经由所述输入设备来检测对应于与所述模拟环境的交互的第一手势；
响应于检测到对应于与所述模拟环境的所述交互的所述第一手势，在所述模拟环境中执行对应于所述第一手势的操作；
在执行对应于所述第一手势的所述操作之后，经由所述一个或多个姿态传感器来检测所述计算机系统的所述部分相对于所述物理环境的姿态的第二变化；以及
响应于检测到所述计算机系统的所述部分的所述姿态的所述第二变化：
根据确定所述第一手势满足模式更改标准，从以所述第一查看模式显示包括所述虚拟模型的所述模拟环境过渡到以第二查看模式显示包括所述虚拟模型的所述模拟环境，其中所述模式更改标准包括要求所述第一手势对应于改变所述模拟环境相对于所述物理环境的空间参数的输入，其中以所述第二查看模式显示所述模拟环境中的所述虚拟模型包括放弃改变所述第一虚拟用户界面对象的所述外观以保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系；以及
根据确定所述第一手势不满足所述模式更改标准，继续以所述第一查看模式在所述模拟环境中显示所述第一虚拟模型，其中以所述第一查看模式显示所述虚拟模型包括响应于所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化来改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
93.根据权利要求92所述的方法，其中：
所述计算机系统包括一个或多个相机；以及
以所述第一查看模式显示所述模拟环境包括显示所述一个或多个相机的视场的至少一部分的表示，其中所述一个或多个相机的所述视场包括所述物理环境中的物理对象的表示。
94.根据权利要求92至93中任一项所述的方法，其中：
检测对应于与所述模拟环境的所述交互的所述第一手势包括：
检测与所述输入设备的触敏表面的多个接触；以及
当检测到与所述触敏表面的所述多个接触时，检测所述多个接触中第一接触相对于所述多个接触中第二接触的移动的移动；以及
在所述模拟环境中执行对应于所述第一手势的所述操作包括将所述第一虚拟用户界面对象的尺寸改变与所述第一接触相对于所述第二接触的移动的移动相对应的量。
95.根据权利要求92至94中任一项所述的方法，包括：
在以所述第二查看模式在所述模拟环境中显示所述第一虚拟用户界面对象时：
经由所述输入设备来检测对应于与所述模拟环境的交互的第二手势，其中所述第二手势包括用于改变所述模拟环境的视角的输入；以及
响应于检测到对应于与所述模拟环境的所述交互的所述第二手势，根据用于改变所述模拟环境的所述视角的所述输入来更新所显示的所述模拟环境的视角。
96.根据权利要求92至95中任一项所述的方法，包括：
在以所述第二查看模式显示所述模拟环境时：
经由所述输入设备来检测用于在所述模拟环境中的第二相应位置处插入第二虚拟用户界面对象的插入输入；以及
响应于检测到用于插入所述第二虚拟用户界面对象的所述插入输入，在所述模拟环境中的所述第二相应位置处显示所述第二虚拟用户界面对象，同时保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
97.根据权利要求92至96中任一项所述的方法，包括：
在以所述第二查看模式显示所述模拟环境时：
经由所述输入设备来检测移动输入，所述移动输入包括对所述虚拟模型的相应虚拟用户界面对象的相应侧面的选择以及所述输入在两个维度中的移动；以及
响应于检测到所述移动，在基于所述第二输入的所述移动而确定的第一方向上在平行于所述相应虚拟用户界面对象的所选择的所述相应侧面的平面内移动所述相应虚拟用户界面对象，同时保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
98.根据权利要求92至97中任一项所述的方法，包括在从以所述第一查看模式显示所述模拟环境过渡到以所述第二查看模式显示所述模拟环境时，显示过渡动画以提供所述过渡的视觉指示。
99.根据权利要求98所述的方法，其中显示所述过渡动画包括逐渐停止显示在所述第一查看模式下显示并且在所述第二查看模式下不显示的至少一个视觉元素。
100.根据权利要求98至99中任一项所述的方法，其中显示所述过渡动画包括逐渐显示在所述第一查看模式下未显示的所述第二查看模式的至少一个视觉元素。
101.根据权利要求92至100中任一项所述的方法，包括响应于检测到对应于与所述模拟环境的所述交互的所述第一手势，根据对应于所述第一手势的所述输入对所述空间参数的所述改变来改变用于显示所述模拟环境中的所述虚拟模型的视角。
102.根据权利要求101所述的方法，包括在检测到所述第一手势的结束之后，继续改变用于显示所述模拟环境中的所述虚拟模型的视角，以指示从以所述第一查看模式显示所述模拟环境到以所述第二查看模式显示所述模拟环境的所述过渡。
103.根据权利要求92至101中任一项所述的方法，包括：
在以所述第二查看模式显示所述模拟环境时，经由所述输入设备来检测对应于用于从所述第二查看模式过渡到所述第一查看模式的输入的第三手势；以及
响应于检测到所述第三手势，从以所述第二查看模式显示所述模拟环境过渡到以所述第一查看模式显示所述模拟环境。
104.根据权利要求103所述的方法，其中：
所述输入设备包括触敏表面；
检测对应于用于从所述第二查看模式过渡到所述第一查看模式的所述输入的所述第三手势包括：
检测与所述输入设备的所述触敏表面的所述多个接触；以及
当检测到与所述触敏表面的所述多个接触时，检测所述多个接触中所述第一接触相对于所述多个接触中所述第二接触的移动的移动；以及
从以所述第二查看模式显示所述模拟环境过渡到以所述第一查看模式显示所述模拟环境包括改变所述模拟环境中的所述虚拟模型的尺寸，以返回到在从所述第一查看模式过渡到所述第二查看模式之前所述虚拟模型的尺寸。
105.根据权利要求103所述的方法，其中所述第三手势包括在所述输入设备上对应于控件的位置处的输入，所述控件当被激活时使得从所述第二查看模式过渡到所述第一查看模式。
106.根据权利要求103至105中任一项所述的方法，包括：
响应于检测到所述第三手势，将所述第一虚拟用户界面对象的所述位置从相对于所述物理环境的当前位置过渡到相对于所述物理环境的先前位置，以便返回到所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
107.根据权利要求103至106中任一项所述的方法，包括在检测到所述第三手势的结束之后，继续改变用于显示所述模拟环境中的所述虚拟模型的视角，以指示从以所述第二查看模式显示所述模拟环境到以所述第一查看模式显示所述模拟环境的所述过渡。
108.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件以第一查看模式显示相对于所述计算机系统的物理环境取向的模拟环境，其中以所述第一查看模式显示所述模拟环境包括：显示在与所述计算机系统的所述物理环境相关联的所述模拟环境中的第一相应位置处显示的虚拟模型中的第一虚拟用户界面对象；
在显示所述模拟环境的同时，经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述物理环境的姿态的第一变化；
响应于检测到所述计算机系统的所述部分的所述姿态的所述第一变化，改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便在所述第一虚拟用户界面对象和所述物理环境之间保持固定空间关系；
在基于所述计算机系统的所述部分的姿态的所述第一变化来改变所述第一虚拟用户界面对象的所述外观之后，经由所述输入设备来检测对应于与所述模拟环境的交互的第一手势；
响应于检测到对应于与所述模拟环境的所述交互的所述第一手势，在所述模拟环境中执行对应于所述第一手势的操作；
在执行对应于所述第一手势的所述操作之后，经由所述一个或多个姿态传感器来检测所述计算机系统的所述部分相对于所述物理环境的姿态的第二变化；以及
响应于检测到所述计算机系统的所述部分的所述姿态的所述第二变化：
根据确定所述第一手势满足模式更改标准，从以所述第一查看模式显示包括所述虚拟模型的所述模拟环境过渡到以第二查看模式显示包括所述虚拟模型的所述模拟环境，其中所述模式更改标准包括要求所述第一手势对应于改变所述模拟环境相对于所述物理环境的空间参数的输入，其中以所述第二查看模式显示所述模拟环境中的所述虚拟模型包括放弃改变所述第一虚拟用户界面对象的所述外观以保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系；以及
根据确定所述第一手势不满足所述模式更改标准，继续以所述第一查看模式在所述模拟环境中显示所述第一虚拟模型，其中以所述第一查看模式显示所述虚拟模型包括响应于所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化来改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
109.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件以第一查看模式显示相对于所述计算机系统的物理环境取向的模拟环境，其中以所述第一查看模式显示所述模拟环境包括：显示在与所述计算机系统的所述物理环境相关联的所述模拟环境中的第一相应位置处显示的虚拟模型中的第一虚拟用户界面对象；
在显示所述模拟环境的同时，经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述物理环境的姿态的第一变化；
响应于检测到所述计算机系统的所述部分的所述姿态的所述第一变化，改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便在所述第一虚拟用户界面对象和所述物理环境之间保持固定空间关系；
在基于所述计算机系统的所述部分的姿态的所述第一变化来改变所述第一虚拟用户界面对象的所述外观之后，经由所述输入设备来检测对应于与所述模拟环境的交互的第一手势；
响应于检测到对应于与所述模拟环境的所述交互的所述第一手势，在所述模拟环境中执行对应于所述第一手势的操作；
在执行对应于所述第一手势的所述操作之后，经由所述一个或多个姿态传感器来检测所述计算机系统的所述部分相对于所述物理环境的姿态的第二变化；以及
响应于检测到所述计算机系统的所述部分的所述姿态的所述第二变化：
根据确定所述第一手势满足模式更改标准，从以所述第一查看模式显示包括所述虚拟模型的所述模拟环境过渡到以第二查看模式显示包括所述虚拟模型的所述模拟环境，其中所述模式更改标准包括要求所述第一手势对应于改变所述模拟环境相对于所述物理环境的空间参数的输入，其中以所述第二查看模式显示所述模拟环境中的所述虚拟模型包括放弃改变所述第一虚拟用户界面对象的所述外观以保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系；以及
根据确定所述第一手势不满足所述模式更改标准，继续以所述第一查看模式在所述模拟环境中显示所述第一虚拟模型，其中以所述第一查看模式显示所述虚拟模型包括响应于所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化来改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
110.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；
用于经由所述显示生成部件以第一查看模式显示相对于所述计算机系统的物理环境取向的模拟环境的装置，其中用于以所述第一查看模式显示所述模拟环境的所述装置包括用于显示在与所述计算机系统的所述物理环境相关联的所述模拟环境中的第一相应位置处显示的虚拟模型中的第一虚拟用户界面对象的装置；
在显示所述模拟环境的同时被启用、用于经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述物理环境的姿态的第一变化的装置；
响应于检测到所述计算机系统的所述部分的所述姿态的所述第一变化而被启用、用于改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便在所述第一虚拟用户界面对象和所述物理环境之间保持固定空间关系的装置；
在基于所述计算机系统的所述部分的姿态的所述第一变化来改变所述第一虚拟用户界面对象的所述外观之后而被启用、用于经由所述输入设备来检测对应于与所述模拟环境的交互的第一手势的装置；
响应于检测到对应于与所述模拟环境的所述交互的所述第一手势而被启用、用于在所述模拟环境中执行对应于所述第一手势的操作的装置；
在执行对应于所述第一手势的所述操作之后被启用、用于经由所述一个或多个姿态传感器来检测所述计算机系统的所述部分相对于所述物理环境的姿态的第二变化的装置；以及
响应于检测到所述计算机系统的所述部分的所述姿态的所述第二变化而被启用的装置，包括：
根据确定所述第一手势满足模式更改标准而被启用、用于从以所述第一查看模式显示包括所述虚拟模型的所述模拟环境过渡到以第二查看模式显示包括所述虚拟模型的所述模拟环境的装置，其中所述模式更改标准包括要求所述第一手势对应于改变所述模拟环境相对于所述物理环境的空间参数的输入，其中以所述第二查看模式显示所述模拟环境中的所述虚拟模型包括放弃改变所述第一虚拟用户界面对象的所述外观以保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系；以及
根据确定所述第一手势不满足所述模式更改标准而被启用、用于继续以所述第一查看模式在所述模拟环境中显示所述第一虚拟模型的装置，其中以所述第一查看模式显示所述虚拟模型包括响应于所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化来改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
111.一种用于在具有显示生成部件、一个或多个姿态传感器和输入设备的电子设备中使用的信息处理设备，包括：
用于经由所述显示生成部件以第一查看模式显示相对于所述计算机系统的物理环境取向的模拟环境的装置，其中用于以所述第一查看模式显示所述模拟环境的所述装置包括用于显示在与所述计算机系统的所述物理环境相关联的所述模拟环境中的第一相应位置处显示的虚拟模型中的第一虚拟用户界面对象的装置；
在显示所述模拟环境的同时被启用、用于经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述物理环境的姿态的第一变化的装置；
响应于检测到所述计算机系统的所述部分的所述姿态的所述第一变化而被启用、用于改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便在所述第一虚拟用户界面对象和所述物理环境之间保持固定空间关系的装置；
在基于所述计算机系统的所述部分的姿态的所述第一变化来改变所述第一虚拟用户界面对象的所述外观之后而被启用、用于经由所述输入设备来检测对应于与所述模拟环境的交互的第一手势的装置；
响应于检测到对应于与所述模拟环境的所述交互的所述第一手势而被启用、用于在所述模拟环境中执行对应于所述第一手势的操作的装置；
在执行对应于所述第一手势的所述操作之后被启用、用于经由所述一个或多个姿态传感器来检测所述计算机系统的所述部分相对于所述物理环境的姿态的第二变化的装置；以及
响应于检测到所述计算机系统的所述部分的所述姿态的所述第二变化而被启用的装置，包括：
根据确定所述第一手势满足模式更改标准而被启用、用于从以所述第一查看模式显示包括所述虚拟模型的所述模拟环境过渡到以第二查看模式显示包括所述虚拟模型的所述模拟环境的装置，其中所述模式更改标准包括要求所述第一手势对应于改变所述模拟环境相对于所述物理环境的空间参数的输入，其中以所述第二查看模式显示所述模拟环境中的所述虚拟模型包括放弃改变所述第一虚拟用户界面对象的所述外观以保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系；以及
根据确定所述第一手势不满足所述模式更改标准而被启用、用于继续以所述第一查看模式在所述模拟环境中显示所述第一虚拟模型的装置，其中以所述第一查看模式显示所述虚拟模型包括响应于所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化来改变所述虚拟模型中的所述第一虚拟用户界面对象的外观，以便保持所述第一虚拟用户界面对象和所述物理环境之间的所述固定空间关系。
112.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求92至107所述的方法中的任一种方法的指令。
113.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求92至107所述的方法中的任一种方法。
114.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个姿态传感器、输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求92至107所述的方法中的任一种方法显示的用户界面。
115.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；以及
用于执行权利要求92至107所述的方法中的任一种方法的装置。
116.一种用于在具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统中使用的信息处理设备，包括：
用于执行权利要求92至107所述的方法中的任一种方法的装置。
117.一种方法，包括：
在具有第一显示生成部件、一个或多个第一姿态传感器和第一输入设备的第一计算机系统处：
经由所述第一计算机系统的所述第一显示生成部件来显示相对于所述第一计算机系统的第一物理环境取向的模拟环境，其中显示所述模拟环境包括同时显示：
在与所述第一计算机系统的所述第一物理环境相关联的所述模拟环境中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象；以及
所述模拟环境的第二计算机系统的查看视角的视觉指示，其中所述第二计算机系统是具有第二显示生成部件、一个或多个第二姿态传感器和第二输入设备的计算机系统，所述第二计算机系统经由所述第二计算机系统的所述第二显示生成部件正在显示相对于所述第二计算机系统的第二物理环境取向的所述模拟环境的视图；
在经由所述第一计算机系统的所述第一显示生成部件显示所述模拟环境时，基于所述第二计算机系统的一部分相对于所述第二计算机系统的所述第二物理环境的姿态的变化来检测所述模拟环境的所述第二计算机系统的所述查看视角的变化；以及
响应于基于所述第二计算机系统的所述部分相对于所述第二计算机系统的所述物理环境的所述姿态的所述变化而检测到所述模拟环境的所述第二计算机系统的所述查看视角的所述变化，根据所述模拟环境的所述第二计算机系统的所述查看视角的所述变化来更新通过所述第一计算机系统的所述第一显示生成部件所显示的所述模拟环境的所述第二计算机系统的所述查看视角的所述视觉指示。
118.根据权利要求117所述的方法，其中所述第二计算机系统的所述查看视角的所述视觉指示包括在所述模拟环境中对应于所述第二计算机系统的位置处显示的所述第二计算机系统的表示。
119.根据权利要求118所述的方法，其中所述第二计算机系统的所述表示包括对应于所述第二计算机系统的标识指示符。
120.根据权利要求117至119中任一项所述的方法，其中所述第二计算机系统的所述查看视角的所述视觉指示包括指示符，所述指示符从所述模拟环境中对应于所述第二计算机系统的位置发出，以指示所述第二计算机系统的视线。
121.根据权利要求117至120中任一项所述的方法，其中显示所述模拟环境包括：
根据确定所述模拟环境中的所述第二计算机系统正在与所述第一虚拟用户界面对象进行交互，经由所述第一计算机系统的所述第一显示生成部件来显示与所述第一虚拟用户界面对象视觉相关联的交互指示符。
122.根据权利要求121所述的方法，其中显示所述模拟环境包括：
根据确定所述第二计算机系统与所述第一虚拟用户界面对象的所述交互包括对象操纵输入，根据所述对象操纵输入来改变所述第一虚拟用户界面对象的外观。
123.根据权利要求122所述的方法，其中：
根据所述对象操纵输入来改变所述第一虚拟用户界面对象的所述外观包括显示与所述第一虚拟用户界面对象视觉相关联的所述交互指示符的移动，以及
所述交互指示符的所述移动对应于所述对象操纵输入。
124.根据权利要求121所述的方法，其中所述交互指示符包括与所述模拟环境中的所述第二计算机系统相对应的位置和所述第一虚拟用户界面对象之间的连接的视觉指示。
125.根据权利要求121所述的方法，其中所述交互指示符包括与所述第一用户界面对象的交互点的视觉指示。
126.根据权利要求121所述的方法，其中：
显示所述模拟环境包括：
经由所述第一计算机系统检测所述第一物理环境中的第一物理参考对象；以及
在通过所述第一计算机系统的所述第一显示生成部件显示的所述模拟环境中，在相对于所述第一物理参考对象的位置处显示所述第一虚拟用户界面对象；以及
所述方法包括，响应于检测到所述第二计算机系统的所述查看视角的所述变化，更新所述交互指示符相对于所述第一物理参考对象的位置。
127.根据权利要求126所述的方法，其中：
所述第二计算机系统的所述第二物理环境不同于所述第一计算机系统的所述第一物理环境；
所述第二计算机系统检测所述第二物理环境中的第二物理参考对象；以及
在经由所述第二计算机系统的所述第二显示生成部件显示的所述模拟环境中，所述第一虚拟用户界面对象被显示在与所述第一虚拟用户界面对象相对于所述第一物理参考对象的位置相对应的、相对于所述第二物理参考对象的位置处。
128.根据权利要求117至126中任一项所述的方法，其中：
所述第一计算机系统的所述第一物理环境包括所述第二计算机系统的所述第二物理环境的至少一部分；以及
所述第二计算机系统在通过所述第一显示生成部件显示的所述模拟环境中可见。
129.根据权利要求117至128中任一项所述的方法，包括：
由所述第一输入设备检测远程设备视角输入；以及
响应于检测到所述远程设备视角输入，将相对于所述第一计算机系统的所述第一物理环境取向的所述模拟环境的显示替换为相对于所述第二计算机系统的所述第二物理环境取向的所述模拟环境的显示。
130.一种第一计算机系统，包括：
第一显示生成部件；
一个或多个第一姿态传感器；
第一输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述第一计算机系统的所述第一显示生成部件来显示相对于所述第一计算机系统的第一物理环境取向的模拟环境，其中显示所述模拟环境包括同时显示：
在与所述第一计算机系统的所述第一物理环境相关联的所述模拟环境中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象；以及
所述模拟环境的第二计算机系统的查看视角的视觉指示，其中所述第二计算机系统是具有第二显示生成部件、一个或多个第二姿态传感器和第二输入设备的计算机系统，所述第二计算机系统经由所述第二计算机系统的所述第二显示生成部件正在显示相对于所述第二计算机系统的第二物理环境取向的所述模拟环境的视图；
在经由所述第一计算机系统的所述第一显示生成部件显示所述模拟环境时，基于所述第二计算机系统的一部分相对于所述第二计算机系统的所述第二物理环境的姿态的变化来检测所述模拟环境的所述第二计算机系统的所述查看视角的变化；以及
响应于基于所述第二计算机系统的所述部分相对于所述第二计算机系统的所述物理环境的所述姿态的所述变化而检测到所述模拟环境的所述第二计算机系统的所述查看视角的所述变化，根据所述模拟环境的所述第二计算机系统的所述查看视角的所述变化来更新通过所述第一计算机系统的所述第一显示生成部件所显示的所述模拟环境的所述第二计算机系统的所述查看视角的所述视觉指示。
131.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有第一显示生成部件、一个或多个第一姿态传感器和第一输入设备的第一计算机系统执行时，使得所述第一计算机系统：
经由所述第一计算机系统的所述第一显示生成部件来显示相对于所述第一计算机系统的第一物理环境取向的模拟环境，其中显示所述模拟环境包括同时显示：
在与所述第一计算机系统的所述第一物理环境相关联的所述模拟环境中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象；以及
所述模拟环境的第二计算机系统的查看视角的视觉指示，其中所述第二计算机系统是具有第二显示生成部件、一个或多个第二姿态传感器和第二输入设备的计算机系统，所述第二计算机系统经由所述第二计算机系统的所述第二显示生成部件正在显示相对于所述第二计算机系统的第二物理环境取向的所述模拟环境的视图；
在经由所述第一计算机系统的所述第一显示生成部件显示所述模拟环境时，基于所述第二计算机系统的一部分相对于所述第二计算机系统的所述第二物理环境的姿态的变化来检测所述模拟环境的所述第二计算机系统的所述查看视角的变化；以及
响应于基于所述第二计算机系统的所述部分相对于所述第二计算机系统的所述物理环境的所述姿态的所述变化而检测到所述模拟环境的所述第二计算机系统的所述查看视角的所述变化，根据所述模拟环境的所述第二计算机系统的所述查看视角的所述变化来更新通过所述第一计算机系统的所述第一显示生成部件所显示的所述模拟环境的所述第二计算机系统的所述查看视角的所述视觉指示。
132.一种第一计算机系统，包括：
第一显示生成部件；
一个或多个第一姿态传感器；
第一输入设备；
用于经由所述第一计算机系统的所述第一显示生成部件来显示相对于所述第一计算机系统的第一物理环境取向的模拟环境的装置，其中用于显示所述模拟环境的所述装置包括用于同时显示如下内容的装置：
在与所述第一计算机系统的所述第一物理环境相关联的所述模拟环境中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象；以及
所述模拟环境的第二计算机系统的查看视角的视觉指示，其中所述第二计算机系统是具有第二显示生成部件、一个或多个第二姿态传感器和第二输入设备的计算机系统，所述第二计算机系统经由所述第二计算机系统的所述第二显示生成部件正在显示相对于所述第二计算机系统的第二物理环境取向的所述模拟环境的视图；
在经由所述第一计算机系统的所述第一显示生成部件显示所述模拟环境时被启用、用于基于所述第二计算机系统的一部分相对于所述第二计算机系统的所述第二物理环境的姿态的变化来检测所述模拟环境的所述第二计算机系统的所述查看视角的变化的装置；以及
响应于基于所述第二计算机系统的所述部分相对于所述第二计算机系统的所述物理环境的所述姿态的所述变化而检测到所述模拟环境的所述第二计算机系统的所述查看视角的所述变化而被启用、用于根据所述模拟环境的所述第二计算机系统的所述查看视角的所述变化来更新通过所述第一计算机系统的所述第一显示生成部件所显示的所述模拟环境的所述第二计算机系统的所述查看视角的所述视觉指示的装置。
133.一种用于在具有第一显示生成部件、一个或多个第一姿态传感器和第一输入设备的电子设备中使用的信息处理设备，包括：
用于经由所述第一计算机系统的所述第一显示生成部件来显示相对于所述第一计算机系统的第一物理环境取向的模拟环境的装置，其中用于显示所述模拟环境的所述装置包括用于同时显示如下内容的装置：
在与所述第一计算机系统的所述第一物理环境相关联的所述模拟环境中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象；以及
所述模拟环境的第二计算机系统的查看视角的视觉指示，其中所述第二计算机系统是具有第二显示生成部件、一个或多个第二姿态传感器和第二输入设备的计算机系统，所述第二计算机系统经由所述第二计算机系统的所述第二显示生成部件正在显示相对于所述第二计算机系统的第二物理环境取向的所述模拟环境的视图；
在经由所述第一计算机系统的所述第一显示生成部件显示所述模拟环境时被启用、用于基于所述第二计算机系统的一部分相对于所述第二计算机系统的所述第二物理环境的姿态的变化来检测所述模拟环境的所述第二计算机系统的所述查看视角的变化的装置；以及
响应于基于所述第二计算机系统的所述部分相对于所述第二计算机系统的所述物理环境的所述姿态的所述变化而检测到所述模拟环境的所述第二计算机系统的所述查看视角的所述变化而被启用、用于根据所述模拟环境的所述第二计算机系统的所述查看视角的所述变化来更新通过所述第一计算机系统的所述第一显示生成部件所显示的所述模拟环境的所述第二计算机系统的所述查看视角的所述视觉指示的装置。
134.一种第一计算机系统，包括：
第一显示生成部件；
一个或多个第一姿态传感器；
第一输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求117至129所述的方法中的任一种方法的指令。
135.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有第一显示生成部件、一个或多个第一姿态传感器和第一输入设备的第一计算机系统执行时，使得所述第一计算机系统执行根据权利要求117至129所述的方法中的任一种方法。
136.一种位于第一计算机系统上的图形用户界面，所述第一计算机系统具有第一显示生成部件、一个或多个第一姿态传感器、第一输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求117至129所述的方法中的任一种方法显示的用户界面。
137.一种第一计算机系统，包括：
第一显示生成部件；
一个或多个第一姿态传感器；
第一输入设备；以及
用于执行权利要求117至129所述的方法中的任一种方法的装置。
138.一种用于在具有第一显示生成部件、一个或多个第一姿态传感器和第一输入设备的第一计算机系统中使用的信息处理设备，包括：
用于执行权利要求117至129所述的方法中的任一种方法的装置。
139.一种方法，包括：
在具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统处：
经由所述显示生成部件来显示模拟环境；
在显示所述模拟环境的同时，经由所述输入设备来检测指向所述模拟环境中的相应位置的第一输入；
响应于检测到指向所述模拟环境中的所述相应位置的所述第一输入：
根据确定所述第一输入是第一输入类型并且所述第一输入是在所述模拟环境中的不同于所述模拟环境中插入光标的当前位置的第一位置处检测到的，在所述第一位置处显示所述插入光标；以及
根据确定所述第一输入是所述第一输入类型并且所述第一输入是在所述模拟环境中的与所述插入光标的所述当前位置对应的第二位置处检测到的，在所述第二位置处插入第一对象并将所述插入光标移动到所述第一对象上的第三位置。
140.根据权利要求139所述的方法，包括：多次连续迭代地重复执行所述方法，其中
在所述连续迭代中的第一迭代中，所述第一输入为所述第一类型并且在所述模拟环境中的所述第一位置处被检测到，并且作为响应，所述插入光标在所述第一位置处被显示；以及
在所述连续迭代中的第二迭代中，所述第一输入为所述第一类型并且在所述模拟环境中与所述插入点的所述当前位置相对应的所述第二位置处被检测到，并且作为响应，在所述第二位置处插入所述第一对象并将所述插入光标移动到所述第一对象上的所述第三位置。
141.根据权利要求139至140中任一项所述的方法，其中：
所述第一对象具有多个非相邻侧面，所述多个非相邻侧面不与所述第二位置相邻，其中所述第二位置对应于所述插入光标的所述当前位置；以及
所述第一对象上的所述第三位置位于不与所述第二位置相邻的所述多个非相邻侧面中的相应非相邻侧面上。
142.根据权利要求139至141中任一项所述的方法，其中根据确定插入光标的所述当前位置位于预先存在的对象的相应侧面上，所述第三位置位于所述第一对象的与所述预先存在的对象的所述相应侧面平行的第一相应侧面上。
143.根据权利要求142所述的方法，其中所述第一位置位于所述预先存在的对象的第一侧面上，并且所述第二位置位于所述预先存在的对象的不同于所述预先存在的对象的所述第一侧面的第二侧面上。
144.根据权利要求139至143中任一项所述的方法，其中：
所述模拟环境是相对于所述计算机系统的物理环境取向的；以及
在所述第二位置处插入所述第一对象包括在所述模拟环境中的与所述计算机系统的所述物理环境中的相应物理参考对象的相应位置相关联的位置处插入所述模拟环境中的所述第一对象。
145.根据权利要求139至144中任一项所述的方法，包括：
响应于检测到指向所述模拟环境中的所述相应位置的所述第一输入：根据确定所述第一输入是第二输入类型并且所述插入光标显示在所述模拟环境中的所述第二位置处，在所述模拟环境中的所述第二位置处插入所述第一对象并将所述插入光标移动到所述第一对象上的所述第三位置。
146.根据权利要求139至145中任一项所述的方法，包括：
检测第二输入，所述第二输入包括对所述第一对象的第二相应侧面的选择和所述第二输入在两个维度中的移动；以及
响应于检测到包括所述第二输入在两个维度中的移动的所述第二输入：
根据确定所述第二输入满足移动标准，在基于所述第二输入的所述移动而确定的第一方向上在平行于所述第一对象的所选择的所述第二相应侧面的第一平面内移动所述第一对象；以及
根据确定所述第二输入不满足移动标准，放弃移动所述第一对象。
147.根据权利要求139至146中任一项所述的方法，包括：
检测第三输入，所述第三输入包括对所述第一对象的第三相应侧面的选择和所述第三输入在两个维度中的移动；以及
响应于检测到包括所述第三输入在两个维度中的移动的所述第三输入：
根据确定所述第三输入满足尺寸调节标准，基于所述第三输入的所述移动，沿垂直于所述第一对象的所选择的所述第三相应侧面的轴线来调节所述第一对象的尺寸；以及
根据确定所述第三输入不满足尺寸调节标准，放弃调节所述第一对象的所述尺寸。
148.根据权利要求139至147中任一项所述的方法，其中：
检测第四输入，所述第四输入包括对所述第一对象的第四相应侧面的选择和所述第四输入在两个维度中的移动；
响应于检测到包括所述第二输入在两个维度中的移动的所述第四输入：
根据确定所述接触满足尺寸调节标准，基于所述第四输入的所述移动来调节所述第一对象的尺寸；以及
根据确定所述接触不满足尺寸调节标准，基于所述第四输入的所述移动来移动所述第一对象。
149.根据权利要求148所述的方法，其中基于所述第四输入的所述移动来调节所述第一对象的所述尺寸包括沿垂直于所述第一对象的所选择的所述第三相应侧面的轴线来调节所述第一对象的所述尺寸。
150.根据权利要求148至149中任一项所述的方法，其中基于所述第四输入的所述移动来移动所述第一对象包括：在基于所述第二输入的所述移动而确定的第一方向上在平行于所述第一对象的所选择的所述第二相应侧面的第一平面内移动所述第一对象。
151.根据权利要求139至150中任一项所述的方法，包括：
在显示所述第一对象时，检测所述第一对象的相应部分上的第五输入，所述相应部分不对应于所述第一对象上的所述第三位置；以及
响应于检测到所述第五输入，将所述插入光标从所述第三位置移动到对应于所述第一对象的所述相应部分的位置。
152.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件来显示模拟环境；
在显示所述模拟环境的同时，经由所述输入设备来检测指向所述模拟环境中的相应位置的第一输入；
响应于检测到指向所述模拟环境中的所述相应位置的所述第一输入：
根据确定所述第一输入是第一输入类型并且所述第一输入是在所述模拟环境中的不同于所述模拟环境中插入光标的当前位置的第一位置处检测到的，在所述第一位置处显示所述插入光标；以及
根据确定所述第一输入是所述第一输入类型并且所述第一输入是在所述模拟环境中的与所述插入光标的所述当前位置对应的第二位置处检测到的，在所述第二位置处插入第一对象并将所述插入光标移动到所述第一对象上的第三位置。
153.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件来显示模拟环境；
在显示所述模拟环境的同时，经由所述输入设备来检测指向所述模拟环境中的相应位置的第一输入；
响应于检测到指向所述模拟环境中的所述相应位置的所述第一输入：
根据确定所述第一输入是第一输入类型并且所述第一输入是在所述模拟环境中的不同于所述模拟环境中插入光标的当前位置的第一位置处检测到的，在所述第一位置处显示所述插入光标；以及
根据确定所述第一输入是所述第一输入类型并且所述第一输入是在所述模拟环境中的与所述插入光标的所述当前位置对应的第二位置处检测到的，在所述第二位置处插入第一对象并将所述插入光标移动到所述第一对象上的第三位置。
154.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；
用于经由所述显示生成部件来显示模拟环境的装置；
在显示所述模拟环境的同时被启用以经由所述输入设备来检测指向所述模拟环境中的相应位置的第一输入的装置；
响应于检测到指向所述模拟环境中的所述相应位置的所述第一输入而被启用以进行以下操作的装置：
根据确定所述第一输入是第一输入类型并且所述第一输入是在所述模拟环境中的不同于所述模拟环境中插入光标的当前位置的第一位置处检测到的，在所述第一位置处显示所述插入光标；以及
根据确定所述第一输入是所述第一输入类型并且所述第一输入是在所述模拟环境中的与所述插入光标的所述当前位置对应的第二位置处检测到的，在所述第二位置处插入第一对象并将所述插入光标移动到所述第一对象上的第三位置。
155.一种用于在具有显示生成部件、一个或多个姿态传感器和输入设备的电子设备中使用的信息处理设备，包括：
用于经由所述显示生成部件来显示模拟环境的装置；
在显示所述模拟环境的同时被启用以经由所述输入设备来检测指向所述模拟环境中的相应位置的第一输入的装置；
响应于检测到指向所述模拟环境中的所述相应位置的所述第一输入而被启用以进行以下操作的装置：
根据确定所述第一输入是第一输入类型并且所述第一输入是在所述模拟环境中的不同于所述模拟环境中插入光标的当前位置的第一位置处检测到的，在所述第一位置处显示所述插入光标；以及
根据确定所述第一输入是所述第一输入类型并且所述第一输入是在所述模拟环境中的与所述插入光标的所述当前位置对应的第二位置处检测到的，在所述第二位置处插入第一对象并将所述插入光标移动到所述第一对象上的第三位置。
156.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求139至151所述的方法中的任一种方法的指令。
157.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求139至151所述的方法中的任一种方法。
158.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个姿态传感器、输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求139至151所述的方法中的任一种方法显示的用户界面。
159.一种计算机系统，包括：
显示生成部件；
一个或多个姿态传感器；
输入设备；以及
用于执行权利要求139至151所述的方法中的任一种方法的装置。
160.一种用于在具有显示生成部件、一个或多个姿态传感器和输入设备的计算机系统中使用的信息处理设备，包括：
用于执行权利要求139至151所述的方法中的任一种方法的装置。
161.一种方法，包括：
在具有显示生成部件、一个或多个相机和一个或多个姿态传感器的计算机系统处：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
所述一个或多个相机的视场的至少一部分的表示，所述表示包括物理对象并随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的虚拟用户界面对象，其中基于所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的固定空间关系来确定所述一个或多个相机的所述视场的所述表示中的所述虚拟用户界面对象的所述相应位置；
在显示所述增强现实环境的同时，经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述计算机系统的物理环境的姿态的第一变化；
响应于检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境，其中：
根据确定所述增强现实环境以非稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第一调节量，所述第一调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化；以及
将所述虚拟用户界面对象的所述相应位置更新到为了保持所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置；以及
根据确定所述增强现实环境以稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第二调节量，所述第二调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化并小于所述第一调节量；以及
将所述虚拟用户界面对象的所述相应位置更新到为了保持所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置。
162.根据权利要求161所述的方法，其中当在检测到所述计算机系统的所述部分的姿态的所述第一变化时所述增强现实环境是以所述非稳定操作模式被显示时，在根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境之后：
接收稳定所述显示器上的所述虚拟用户界面对象的请求；
响应于在所述显示器上稳定所述虚拟用户界面对象的所述请求，进入所述增强现实环境的稳定操作模式；以及
当处于所述增强现实环境的所述稳定操作模式中时：
经由所述一个或多个取向传感器来检测所述计算机系统的所述部分相对于所述物理环境的姿态的第二变化；
响应于检测到所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化，根据所述计算机系统的所述部分的姿态的所述第二变化来更新所述增强现实环境，包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新小于所述计算机系统的所述部分相对于所述物理环境的姿态的所述第二变化的量；以及
将所述虚拟用户界面对象更新到为了保持所述一个或多个相机的所述视场中包括的所述物理对象的所述表示和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置。
163.根据权利要求162所述的方法，其中：
所述计算机系统包括输入设备；以及
稳定所述显示器上的所述虚拟用户界面对象的所述请求包括经由所述输入设备接收的用于缩放所述增强现实环境的至少一部分的输入。
164.根据权利要求163所述的方法，包括：
响应于在所述显示器上稳定所述虚拟用户界面对象的所述请求，根据用于缩放所显示的增强现实环境的所述部分的所述输入的量值来重新渲染所述虚拟用户界面对象，其中在所述显示器上稳定所述虚拟用户界面对象的所述请求包括用于缩放所显示的增强现实环境的所述部分的所述输入。
165.根据权利要求161至164中任一项所述的方法，其中所述物理对象被所显示的增强现实环境中的所述虚拟用户界面对象替换。
166.根据权利要求161至165中任一项所述的方法，包括：
在以所述稳定操作模式显示所述增强现实环境时，检测所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的第一相应变化；以及
响应于在以所述稳定操作模式显示所述增强现实环境时检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一相应变化，根据所述计算机系统的所述部分的姿态的所述相应变化来更新所述增强现实环境，包括：根据确定所述虚拟用户界面对象的更新的相应位置延伸超出所述一个或多个相机的所述视场，更新所述一个或多个相机视场的所述视场的所述部分的所述表示包括在所述增强现实环境中与所述虚拟用户界面对象延伸超出所述一个或多个相机的所述视场的部分相对应的相应位置处显示占位符图像。
167.根据权利要求161至165中任一项所述的方法，包括：
在以所述稳定操作模式显示所述增强现实环境时，检测所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的第二相应变化；以及
响应于在以所述稳定操作模式显示所述增强现实环境时检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第二相应变化，根据所述计算机系统的所述部分的姿态的所述相应变化来更新所述增强现实环境，包括：根据确定所述虚拟用户界面对象的更新的相应位置延伸超出所述一个或多个相机的所述视场，停止显示所述虚拟用户界面对象的至少一部分。
168.根据权利要求161至165中任一项所述的方法，包括：
响应于在以所述稳定操作模式显示所述增强现实环境时检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述相应变化，根据所述计算机系统的所述部分的姿态的所述相应变化来更新所述增强现实环境包括：
根据确定所述虚拟用户界面对象的更新的相应位置延伸超出所述一个或多个相机的所述视场，缩放所显示的增强现实环境以增大所显示的虚拟用户界面对象的一部分；以及
根据确定所述虚拟用户界面对象的更新的相应位置未延伸超出所述一个或多个相机的所述视场，移动所述虚拟用户界面对象而不缩放所显示的增强现实环境。
169.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
一个或多个姿态传感器；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
所述一个或多个相机的视场的至少一部分的表示，所述表示包括物理对象并随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的虚拟用户界面对象，其中基于所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的固定空间关系来确定所述一个或多个相机的所述视场的所述表示中的所述虚拟用户界面对象的所述相应位置；
在显示所述增强现实环境的同时，经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述计算机系统的物理环境的姿态的第一变化；
响应于检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境，其中：
根据确定所述增强现实环境以非稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第一调节量，所述第一调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化；以及
将所述虚拟用户界面对象的所述相应位置更新到为了保持所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置；以及
根据确定所述增强现实环境以稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第二调节量，所述第二调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化并小于所述第一调节量；以及
将所述虚拟用户界面对象的所述相应位置更新至所选择的位置。
170.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和一个或多个姿态传感器的计算机系统执行时，使得所述计算机系统：
经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：
所述一个或多个相机的视场的至少一部分的表示，所述表示包括物理对象并随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的虚拟用户界面对象，其中基于所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的固定空间关系来确定所述一个或多个相机的所述视场的所述表示中的所述虚拟用户界面对象的所述相应位置；
在显示所述增强现实环境的同时，经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述计算机系统的物理环境的姿态的第一变化；
响应于检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境，其中：
根据确定所述增强现实环境以非稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第一调节量，所述第一调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化；以及
将所述虚拟用户界面对象的所述相应位置更新到为了保持所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置；以及
根据确定所述增强现实环境以稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第二调节量，所述第二调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化并小于所述第一调节量；以及
将所述虚拟用户界面对象的所述相应位置更新至所选择的位置。
171.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
一个或多个姿态传感器；以及
用于经由所述显示生成部件来显示增强现实环境的装置，其中显示所述增强现实环境包括同时显示：
所述一个或多个相机的视场的至少一部分的表示，所述表示包括物理对象并随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的虚拟用户界面对象，其中基于所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的固定空间关系来确定所述一个或多个相机的所述视场的所述表示中的所述虚拟用户界面对象的所述相应位置；
在显示所述增强现实环境的同时被启用以经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述计算机系统的物理环境的姿态的第一变化的装置；
响应于检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化而被启用以根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境的装置，其中：
根据确定所述增强现实环境以非稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第一调节量，所述第一调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化；以及
将所述虚拟用户界面对象的所述相应位置更新到为了保持所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置；以及
根据确定所述增强现实环境以稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第二调节量，所述第二调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化并小于所述第一调节量；以及
将所述虚拟用户界面对象的所述相应位置更新至所选择的位置。
172.一种用于在具有显示生成部件、一个或多个相机和一个或多个姿态传感器的电子设备中使用的信息处理设备，包括：
用于经由所述显示生成部件来显示增强现实环境的装置，其中显示所述增强现实环境包括同时显示：
所述一个或多个相机的视场的至少一部分的表示，所述表示包括物理对象并随着所述一个或多个相机的所述视场的内容变化而被更新；以及
在所述一个或多个相机的所述视场的所述表示中的相应位置处的虚拟用户界面对象，其中基于所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的固定空间关系来确定所述一个或多个相机的所述视场的所述表示中的所述虚拟用户界面对象的所述相应位置；
在显示所述增强现实环境的同时被启用以经由所述一个或多个姿态传感器来检测所述计算机系统的至少一部分相对于所述计算机系统的物理环境的姿态的第一变化的装置；
响应于检测到所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化而被启用以根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境的装置，其中：
根据确定所述增强现实环境以非稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第一调节量，所述第一调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化；以及
将所述虚拟用户界面对象的所述相应位置更新到为了保持所述一个或多个相机的所述视场的所述表示中包括的所述物理对象和所述虚拟用户界面对象之间的所述固定空间关系而选择的位置；以及
根据确定所述增强现实环境以稳定操作模式被显示，根据所述计算机系统的所述部分的姿态的所述第一变化来更新所述增强现实环境包括：
将所述一个或多个相机的所述视场的所述部分的所述表示更新第二调节量，所述第二调节量基于所述计算机系统的所述部分相对于所述计算机系统的所述物理环境的姿态的所述第一变化并小于所述第一调节量；以及
将所述虚拟用户界面对象的所述相应位置更新至所选择的位置。
173.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
一个或多个姿态传感器；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求161至168所述的方法中的任一种方法的指令。
174.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个相机和一个或多个姿态传感器的计算机系统执行时，使得所述计算机系统执行根据权利要求161至168所述的方法中的任一种方法。
175.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个相机、一个或多个姿态传感器、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求161至168所述的方法中的任一种方法显示的用户界面。
176.一种计算机系统，包括：
显示生成部件；
一个或多个相机；
一个或多个姿态传感器；以及
用于执行权利要求161至168所述的方法中的任一种方法的装置。
177.一种用于在具有显示生成部件、一个或多个相机和一个或多个姿态传感器的计算机系统中使用的信息处理设备，包括：
用于执行权利要求161至168所述的方法中的任一种方法的装置。
CN201880055301.0A 2017-08-31 2018-08-30 用于与增强和虚拟现实环境交互的系统、方法和图形用户界面 Pending CN111095165A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211171090.1A CN115562483A (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN202010919245.XA CN112034988B (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762553063P 2017-08-31 2017-08-31
US62/553,063 2017-08-31
US201762564984P 2017-09-28 2017-09-28
US62/564,984 2017-09-28
DKPA201870548A DK180470B1 (en) 2017-08-31 2018-08-23 Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DKPA201870548 2018-08-23
US16/116,276 2018-08-29
US16/116,276 US11163417B2 (en) 2017-08-31 2018-08-29 Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
PCT/US2018/048884 WO2019046597A1 (en) 2017-08-31 2018-08-30 GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202211171090.1A Division CN115562483A (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN202010919245.XA Division CN112034988B (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面

Publications (1)

Publication Number Publication Date
CN111095165A true CN111095165A (zh) 2020-05-01

Family

ID=63586978

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880055301.0A Pending CN111095165A (zh) 2017-08-31 2018-08-30 用于与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN202010919245.XA Active CN112034988B (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN202211171090.1A Pending CN115562483A (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202010919245.XA Active CN112034988B (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN202211171090.1A Pending CN115562483A (zh) 2017-08-31 2018-08-30 与增强和虚拟现实环境交互的系统、方法和图形用户界面

Country Status (7)

Country Link
US (3) US11163417B2 (zh)
EP (2) EP4350622A3 (zh)
JP (3) JP6952877B2 (zh)
KR (4) KR102540163B1 (zh)
CN (3) CN111095165A (zh)
AU (4) AU2018101226B4 (zh)
DK (1) DK180470B1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112684885A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种显示控制方法及装置
US20210241533A1 (en) * 2020-01-31 2021-08-05 Electronics And Telecommunications Research Institute Method for providing augmented reality based on multi-user interaction with real objects and apparatus using the same
CN113426117A (zh) * 2021-06-23 2021-09-24 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN113867568A (zh) * 2021-09-29 2021-12-31 四川长虹教育科技有限公司 红外交互大屏动态检测修复红外触摸的方法
CN114780012A (zh) * 2022-06-21 2022-07-22 荣耀终端有限公司 电子设备的锁屏壁纸的显示方法和相关装置
CN115421590A (zh) * 2022-08-15 2022-12-02 珠海视熙科技有限公司 一种手势控制方法、存储介质及摄像设备
CN116449954A (zh) * 2020-09-14 2023-07-18 苹果公司 用于指示距离的用户界面

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100146395A1 (en) * 2008-12-08 2010-06-10 Gustavo De Los Reyes Method and System for Exploiting Interactions Via A Virtual Environment
US20100306825A1 (en) * 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
EP3316222B1 (en) * 2016-11-01 2020-07-01 Previble AB Pre-visualization device
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
WO2019117959A1 (en) * 2017-12-15 2019-06-20 Hewlett-Packard Development Company, L.P. Patterns for locations on three-dimensional objects
US11148046B2 (en) * 2018-01-16 2021-10-19 Vr Leo Usa, Inc. Chip structure of VR self-service game joy stick
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
JP6959529B2 (ja) * 2018-02-20 2021-11-02 富士通株式会社 入力情報管理プログラム、入力情報管理方法、および情報処理装置
US20190259198A1 (en) * 2018-02-21 2019-08-22 Tsunami VR, Inc. Systems and methods for generating visual representations of a virtual object for display by user devices
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10809081B1 (en) 2018-05-03 2020-10-20 Zoox, Inc. User interface and augmented reality for identifying vehicles and persons
US11846514B1 (en) * 2018-05-03 2023-12-19 Zoox, Inc. User interface and augmented reality for representing vehicles and persons
US10837788B1 (en) 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US20190378334A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
US10919522B2 (en) * 2018-06-13 2021-02-16 Fujitsu Limited Automated exploitation of shade-giving structures
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
US10880533B2 (en) * 2018-06-25 2020-12-29 Canon Kabushiki Kaisha Image generation apparatus, image generation method, and storage medium, for generating a virtual viewpoint image
US10996831B2 (en) * 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
CN111344658A (zh) * 2018-06-29 2020-06-26 深圳市汇顶科技股份有限公司 触摸屏调整方法、触控芯片及电子终端
US10692299B2 (en) * 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
US10748344B2 (en) * 2018-09-12 2020-08-18 Seiko Epson Corporation Methods and devices for user interaction in augmented reality
US10956613B2 (en) * 2018-09-12 2021-03-23 Lenovo (Singapore) Pte. Ltd. Sensitive information filter
US11538205B2 (en) 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
KR102627014B1 (ko) * 2018-10-02 2024-01-19 삼성전자 주식회사 전자 장치 및 제스처 인식 방법
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program
USD950574S1 (en) * 2018-10-23 2022-05-03 Capital One Services, Llc Scanning device or portion thereof with a scanning user interface
JP2020086700A (ja) * 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
CN109782901A (zh) * 2018-12-06 2019-05-21 网易（杭州）网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
US11610355B1 (en) * 2019-01-23 2023-03-21 Jennifer Francis Interactive augmented reality (AR) entertainment hub
US10783714B2 (en) 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
US10909751B2 (en) 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
US11150788B2 (en) 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
WO2020201998A1 (en) * 2019-04-03 2020-10-08 Purple Tambourine Limited Transitioning between an augmented reality scene and a virtual reality representation
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11055919B2 (en) * 2019-04-26 2021-07-06 Google Llc Managing content in augmented reality
CN110109726B (zh) * 2019-04-30 2022-08-23 网易（杭州）网络有限公司 虚拟对象的接收处理方法及传输方法、装置和存储介质
US10762716B1 (en) * 2019-05-06 2020-09-01 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
GB2583936B (en) * 2019-05-14 2023-08-30 Bentley Motors Ltd Virtual reality head mounted display system calibration methods and apparatus
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11039061B2 (en) * 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US10726630B1 (en) * 2019-06-28 2020-07-28 Capital One Services, Llc Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US10885716B1 (en) * 2019-07-01 2021-01-05 Microsoft Technology Licensing, Llc Mixed reality system user interface placement
US11941762B2 (en) 2019-07-15 2024-03-26 Samsung Electronics Co., Ltd. System and method for augmented reality scenes
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
CN110658945A (zh) * 2019-08-08 2020-01-07 上海红星美凯龙设计云信息科技有限公司 多点触控设备的角度及位置获取驱动系统及方法
JP6726345B1 (ja) * 2019-08-30 2020-07-22 株式会社コロプラ プログラム、方法、および端末装置
US20210074176A1 (en) * 2019-09-06 2021-03-11 Rocio Elisa Hernández Bilateral stimulation method and apparatus
EP3983873A1 (en) * 2019-09-09 2022-04-20 Apple Inc. Positional synchronization of virtual and physical cameras
US11227446B2 (en) * 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
TWI744737B (zh) * 2019-12-11 2021-11-01 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11481930B2 (en) * 2020-01-21 2022-10-25 Trimble Inc. Accurately positioning augmented reality models within images
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11263818B2 (en) * 2020-02-24 2022-03-01 Palo Alto Research Center Incorporated Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
US20210326594A1 (en) * 2020-04-17 2021-10-21 James Patrick COSTELLO Computer-generated supplemental content for video
US11199940B1 (en) * 2020-04-21 2021-12-14 Corel Corporation Three-dimensional operations based on planar projections in graphic user interfaces
CN111429553B (zh) * 2020-04-22 2024-03-29 同济大学建筑设计研究院(集团)有限公司 动画预览方法、装置、计算机设备和存储介质
US11120639B1 (en) 2020-04-24 2021-09-14 Microsoft Technology Licensing, Llc Projecting telemetry data to visualization models
KR20210137826A (ko) 2020-05-11 2021-11-18 삼성전자주식회사 증강현실 생성장치, 증강현실 표시장치 및 증강현실 시스템
KR102214338B1 (ko) * 2020-05-25 2021-02-10 조광희 증강현실 표시를 위한 전자 장치의 제어 방법, 장치 및 프로그램
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
KR20220008118A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
JP6801138B1 (ja) * 2020-07-16 2020-12-16 株式会社バーチャルキャスト 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US11861798B2 (en) * 2020-07-24 2024-01-02 Stephen Wilkes Reactive augmented reality
US11908159B2 (en) * 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
US11527045B2 (en) 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
KR20220021757A (ko) 2020-08-14 2022-02-22 삼성전자주식회사 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
US20220070240A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Ad hoc virtual communication between approaching user graphical representations
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20220046356A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11482002B1 (en) * 2020-10-16 2022-10-25 Splunk Inc. Codeless anchor detection for detectable features in an environment
US11776218B1 (en) 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11727643B1 (en) 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11798235B1 (en) * 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11854230B2 (en) * 2020-12-01 2023-12-26 Meta Platforms Technologies, Llc Physical keyboard tracking
US20240106998A1 (en) * 2020-12-04 2024-03-28 Magic Leap, Inc. Miscalibration detection for virtual reality and augmented reality systems
US20220198764A1 (en) * 2020-12-18 2022-06-23 Arkh, Inc. Spatially Aware Environment Relocalization
US11867904B2 (en) * 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment
KR20220094988A (ko) * 2020-12-29 2022-07-06 삼성전자주식회사 증강 현실, 가상 현실, 혼합 현실 및 확장 현실 서비스를 제공하기 위한 장치 및 방법
US11561669B2 (en) * 2021-01-08 2023-01-24 Ford Global Technologies, Llc Systems and methods of using a digital twin for interacting with a city model
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
JP7086242B1 (ja) 2021-02-18 2022-06-17 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7082698B1 (ja) 2021-02-18 2022-06-08 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
CN112967404A (zh) * 2021-02-24 2021-06-15 深圳市慧鲤科技有限公司 控制虚拟对象移动的方法、装置、电子设备及存储介质
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US11727657B2 (en) 2021-04-09 2023-08-15 Carvana, LLC Systems and methods for rendering a portion of a 3D display
US11810262B2 (en) 2021-04-09 2023-11-07 Carvana, LLC Systems and methods for rotating a 3D display
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US20230040610A1 (en) * 2021-08-06 2023-02-09 Apple Inc. Object placement for electronic devices
CN113721804A (zh) * 2021-08-20 2021-11-30 北京市商汤科技开发有限公司 一种显示方法、装置、电子设备及计算机可读存储介质
US20230087202A1 (en) * 2021-09-17 2023-03-23 Ford Global Technologies, Llc Augmented Reality And Touch-Based User Engagement Parking Assist
US20230089049A1 (en) * 2021-09-21 2023-03-23 Apple Inc. Methods and Systems for Composing and Executing a Scene
USD1021939S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution navigation interface
USD1021940S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution communication interface
USD1018580S1 (en) * 2021-10-13 2024-03-19 Degussa Bank AG Display screen with financial institution graphical user interface
US20230137265A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Dynamic camera views in a virtual environment
KR20230069433A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 Ar 이미지의 휘도를 제어하는 방법 및 장치
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
US20230199014A1 (en) * 2021-12-16 2023-06-22 International Business Machines Corporation Dark pattern detection and mitigation
WO2023153607A1 (ko) * 2022-02-10 2023-08-17 삼성전자주식회사 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
US11775132B1 (en) 2022-05-18 2023-10-03 Environments by LE, Inc. System and method for the management and use of building systems, facilities, and amenities using internet of things devices and a metaverse representation
CN114839782B (zh) * 2022-06-07 2023-08-18 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统
CN115690375B (zh) * 2023-01-05 2023-04-07 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于虚拟现实技术的建筑模型修改交互方法、系统及终端
CN116303697B (zh) * 2023-05-18 2023-08-08 深圳鹏锐信息技术股份有限公司 一种基于人工智能的模型展示系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012076062A1 (en) * 2010-12-10 2012-06-14 Sony Ericsson Mobile Communications Ab Touch sensitive haptic display
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
US20130044141A1 (en) * 2011-08-02 2013-02-21 Microsoft Corporation Cross-slide Gesture to Select and Rearrange
JP2013242865A (ja) * 2012-04-27 2013-12-05 Canon Marketing Japan Inc 仮想空間表示システム、その制御方法、及びプログラム
EP2738743A2 (en) * 2012-12-03 2014-06-04 Samsung Electronics Co., Ltd Generating and reproducing augmented reality contents
US20140267410A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Temporal element restoration in augmented reality systems
CN105264480A (zh) * 2013-06-09 2016-01-20 苹果公司 用于在相机界面之间进行切换的设备、方法和图形用户界面
US20160155273A1 (en) * 2013-10-02 2016-06-02 Philip Scott Lyren Wearable Electronic Device
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106412A (ja) * 1995-10-12 1997-04-22 Sekisui House Ltd Ｃｇ画像による建築物の照明状態切換表示方法
JP3761106B2 (ja) 1996-03-04 2006-03-29 シャープ株式会社 倍率設定装置を備えた画像形成装置
US6426745B1 (en) 1997-04-28 2002-07-30 Computer Associates Think, Inc. Manipulating graphic objects in 3D scenes
US6448964B1 (en) 1999-03-15 2002-09-10 Computer Associates Think, Inc. Graphic object manipulating tool
JP4582921B2 (ja) * 2000-02-04 2010-11-17 積水化学工業株式会社 環境表示装置、それを利用した建物の仮設計方法、建物設計装置及び建物の評価方法
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2004021848A (ja) * 2002-06-19 2004-01-22 Mitsubishi Heavy Ind Ltd 建築物設計システム、プラント設計システム、及び３次元構造体観察システム。
JP2007047294A (ja) 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
CN101273368A (zh) 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
IL174737A (en) * 2006-04-03 2014-12-31 Camero Tech Ltd Device and method for visualizing volume in broadband radar
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
KR101390126B1 (ko) * 2007-08-14 2014-04-28 엘지전자 주식회사 화상 통화시 프리뷰 이미지 제공 방법 및 이동통신단말기
US8836645B2 (en) 2008-12-09 2014-09-16 Microsoft Corporation Touch input interpretation
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
US8922583B2 (en) 2009-11-17 2014-12-30 Qualcomm Incorporated System and method of controlling three dimensional virtual objects on a portable computing device
JP5573238B2 (ja) 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
US20110296352A1 (en) 2010-05-27 2011-12-01 Microsoft Corporation Active calibration of a natural user interface
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
JP5745241B2 (ja) * 2010-09-08 2015-07-08 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2012089112A (ja) 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
EP2546806B1 (en) 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
US8581901B2 (en) 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
WO2013060085A1 (en) 2011-10-27 2013-05-02 The Hong Kong University Of Science And Technology System and method for constrained manipulations of 3d objects by multitouch inputs
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
JP2013164697A (ja) 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2013118373A1 (ja) * 2012-02-10 2013-08-15 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5966834B2 (ja) 2012-02-29 2016-08-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US20130234926A1 (en) 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US20130257856A1 (en) 2012-04-03 2013-10-03 Google Inc. Determining a View of an Object in a Three-Dimensional Image Viewer
WO2013162583A1 (en) 2012-04-26 2013-10-31 Intel Corporation Augmented reality computing device, apparatus and system
US9383895B1 (en) * 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
US9159153B2 (en) 2012-06-05 2015-10-13 Apple Inc. Method, system and apparatus for providing visual feedback of a map view change
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
KR101917695B1 (ko) 2012-08-09 2018-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6214981B2 (ja) 2012-10-05 2017-10-18 株式会社ファイン 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置
US20140176745A1 (en) * 2012-12-21 2014-06-26 Nvidia Corporation Approach for camera control
US10386970B2 (en) 2013-02-08 2019-08-20 Apple Inc. Force determination based on capacitive sensing
US9679414B2 (en) 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9535496B2 (en) * 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
US9286727B2 (en) 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US10282083B2 (en) 2013-06-09 2019-05-07 Apple Inc. Device, method, and graphical user interface for transitioning between user interfaces
KR101775591B1 (ko) 2013-06-11 2017-09-06 퀄컴 인코포레이티드 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10175483B2 (en) 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
WO2015034969A2 (en) 2013-09-03 2015-03-12 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US20150135115A1 (en) 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Multi-touch input for changing text and image attributes
WO2015125213A1 (ja) 2014-02-18 2015-08-27 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US9720934B1 (en) 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
JP5937128B2 (ja) 2014-03-17 2016-06-22 富士フイルム株式会社 拡張現実感提供システム、方法及びプログラム
WO2015140813A1 (en) * 2014-03-17 2015-09-24 Vats Nitin Interactive display system with screen cut-to-shape of displayed object for realistic visualization and user interaction
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US9996636B2 (en) 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US9646418B1 (en) 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
AU2015274283B2 (en) * 2014-06-14 2020-09-10 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9589354B2 (en) 2014-06-17 2017-03-07 Chief Architect Inc. Virtual model viewing methods and apparatus
US9495008B2 (en) 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
US10518188B2 (en) * 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
JP6451139B2 (ja) * 2014-08-11 2019-01-16 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
WO2016036412A1 (en) 2014-09-02 2016-03-10 Apple Inc. Remote camera user interface
US10070120B2 (en) 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9436369B2 (en) 2014-09-26 2016-09-06 Disney Enterprises, Inc. Touch interface for precise rotation of an object
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
JP6154543B2 (ja) 2015-01-30 2017-06-28 技術研究組合次世代３Ｄ積層造形技術総合開発機構 ３次元造形システム、情報処理装置、３次元造形モデル配置方法および３次元造形モデル配置プログラム
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20160329006A1 (en) 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US10339382B2 (en) 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
US10825049B2 (en) 2015-06-09 2020-11-03 Visa International Service Association Virtual reality and augmented reality systems and methods to generate mobile alerts
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
JP6629528B2 (ja) 2015-06-16 2020-01-15 株式会社ファイン 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
EP3116212B1 (en) 2015-07-06 2023-04-19 Nokia Technologies Oy Transition from display of first camera information to display of second camera information
US10482659B2 (en) 2015-07-15 2019-11-19 Oracle International Corporation System and method for superimposing spatially correlated data over live real-world images
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
US10134188B2 (en) 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
US11221750B2 (en) 2016-02-12 2022-01-11 Purdue Research Foundation Manipulating 3D virtual objects using hand-held controllers
TWI567691B (zh) 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
CA3016604A1 (en) 2016-03-12 2017-09-21 Philipp K. Lang Devices and methods for surgery
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10802695B2 (en) 2016-03-23 2020-10-13 Youar Inc. Augmented reality for the internet of things
US10088898B2 (en) * 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
US11494547B2 (en) 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170300214A1 (en) 2016-04-19 2017-10-19 SAS Automation, LLC Three Dimensional Model Launch Tools And Methods Of Use
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US20200319834A1 (en) 2016-05-31 2020-10-08 Sony Corporation Information processing device, information processing method, and program
JP6323960B2 (ja) 2016-08-02 2018-05-16 本田技研工業株式会社 入力装置
EP3510475A4 (en) 2016-10-11 2020-04-22 Hewlett-Packard Development Company, L.P. VISUAL NOTICE SYSTEM
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10824294B2 (en) 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012076062A1 (en) * 2010-12-10 2012-06-14 Sony Ericsson Mobile Communications Ab Touch sensitive haptic display
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
US20130044141A1 (en) * 2011-08-02 2013-02-21 Microsoft Corporation Cross-slide Gesture to Select and Rearrange
JP2013242865A (ja) * 2012-04-27 2013-12-05 Canon Marketing Japan Inc 仮想空間表示システム、その制御方法、及びプログラム
EP2738743A2 (en) * 2012-12-03 2014-06-04 Samsung Electronics Co., Ltd Generating and reproducing augmented reality contents
US20140267410A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Temporal element restoration in augmented reality systems
CN105264480A (zh) * 2013-06-09 2016-01-20 苹果公司 用于在相机界面之间进行切换的设备、方法和图形用户界面
US20160155273A1 (en) * 2013-10-02 2016-06-02 Philip Scott Lyren Wearable Electronic Device
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241533A1 (en) * 2020-01-31 2021-08-05 Electronics And Telecommunications Research Institute Method for providing augmented reality based on multi-user interaction with real objects and apparatus using the same
CN116449954A (zh) * 2020-09-14 2023-07-18 苹果公司 用于指示距离的用户界面
CN112684885A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种显示控制方法及装置
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
CN113426117A (zh) * 2021-06-23 2021-09-24 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN113426117B (zh) * 2021-06-23 2024-03-01 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN113867568A (zh) * 2021-09-29 2021-12-31 四川长虹教育科技有限公司 红外交互大屏动态检测修复红外触摸的方法
CN113867568B (zh) * 2021-09-29 2023-10-13 四川长虹教育科技有限公司 红外交互大屏动态检测修复红外触摸的方法
CN114780012A (zh) * 2022-06-21 2022-07-22 荣耀终端有限公司 电子设备的锁屏壁纸的显示方法和相关装置
CN114780012B (zh) * 2022-06-21 2023-06-20 荣耀终端有限公司 电子设备的锁屏壁纸的显示方法和相关装置
CN115421590A (zh) * 2022-08-15 2022-12-02 珠海视熙科技有限公司 一种手势控制方法、存储介质及摄像设备

Also Published As

Publication number Publication date
KR20200031666A (ko) 2020-03-24
DK180470B1 (en) 2021-05-06
AU2021240136A1 (en) 2021-10-28
US11163417B2 (en) 2021-11-02
DK201870548A1 (en) 2019-10-16
US11740755B2 (en) 2023-08-29
KR20230085945A (ko) 2023-06-14
KR20230167134A (ko) 2023-12-07
US20190065027A1 (en) 2019-02-28
CN112034988B (zh) 2022-10-18
AU2018101226B4 (en) 2019-05-09
JP7324813B2 (ja) 2023-08-10
KR20220032653A (ko) 2022-03-15
AU2021240136B2 (en) 2023-05-11
EP3635518A1 (en) 2020-04-15
KR102540163B1 (ko) 2023-06-08
JP2023159124A (ja) 2023-10-31
AU2018324085B2 (en) 2021-09-09
AU2023203200A1 (en) 2023-06-15
AU2018101226A4 (en) 2018-09-27
KR102606618B1 (ko) 2023-11-29
EP4350622A3 (en) 2024-07-10
US20230305674A1 (en) 2023-09-28
KR102373116B1 (ko) 2022-03-11
CN112034988A (zh) 2020-12-04
US20220019334A1 (en) 2022-01-20
EP4350622A2 (en) 2024-04-10
CN115562483A (zh) 2023-01-03
JP2020531985A (ja) 2020-11-05
EP3635518B1 (en) 2024-04-03
JP2022008600A (ja) 2022-01-13
JP6952877B2 (ja) 2021-10-27
AU2018324085A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN112034988B (zh) 与增强和虚拟现实环境交互的系统、方法和图形用户界面
US12020380B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
WO2019046597A1 (en) GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS
US20240045562A1 (en) Systems, Methods, and Graphical User Interfaces for Annotating, Measuring, and Modeling Environments
CN114415906B (zh) 用户界面相机效果
CN115552474A (zh) 用于在增强现实环境中显示和操纵虚拟对象的系统、方法和图形用户界面
US20240053859A1 (en) Systems, Methods, and Graphical User Interfaces for Interacting with Virtual Reality Environments
CN113031830B (zh) 用于与强度敏感输入区域进行交互的设备、方法和图形用户界面
CN117501316A (zh) 用于在增强现实环境中添加效果的系统、方法和图形用户界面
WO2023220071A2 (en) Systems, methods, and graphical user interfaces for scanning and modeling environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination