CN115039058A - 用于对环境进行注释、测量和建模的系统、方法和图形用户界面 - Google Patents

用于对环境进行注释、测量和建模的系统、方法和图形用户界面 Download PDF

Info

Publication number
CN115039058A
CN115039058A CN202180012443.0A CN202180012443A CN115039058A CN 115039058 A CN115039058 A CN 115039058A CN 202180012443 A CN202180012443 A CN 202180012443A CN 115039058 A CN115039058 A CN 115039058A
Authority
CN
China
Prior art keywords
representation
view
cameras
user interface
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012443.0A
Other languages
English (en)
Inventor
A·W·德赖尔
G·耶基斯
G·R·保罗
L·K·福赛尔
J·A·玛丽亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/018,958 external-priority patent/US11080879B1/en
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202211458906.9A priority Critical patent/CN115756167A/zh
Publication of CN115039058A publication Critical patent/CN115039058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种显示注释放置用户界面的计算机系统，该注释放置用户界面包括一个或多个相机的视野的表示，该表示基于该视野中的变化随时间更新，和指示虚拟注释放置位置的放置用户界面元素。如果该放置用户界面元素在物理环境中能够被测量的物理特征的表示上方，则根据该物理特征的该表示的一个或多个方面改变该放置用户界面元素的外观，并且响应于对该物理特征执行一次或多次测量的输入：如果该物理特征为第一类型的特征，则进行第一测量类型的测量；并且，如果该物理特征为不同第二类型的物理特征，则进行不同第二测量类型的测量。

Description

用于对环境进行注释、测量和建模的系统、方法和图形用户 界面
相关专利申请
本专利申请是2020年9月11日提交的美国专利申请第17/018,958号、2020年9月11日提交的美国专利申请第17/018,980号和2020年9月11日提交的美国专利申请第17/018,994号的延续，并且还要求2020年2月3日提交的美国临时专利申请第62/969,647号的优先权。
技术领域
本发明整体涉及用于增强和/或虚拟现实的计算机系统，包括但不限于用于使用增强和/或虚拟现实环境对环境(诸如物理环境和/或其中的对象)进行注释、测量和建模的电子设备。
背景技术
近年来，用于增强和/或虚拟现实的计算机系统的发展显著增加。增强现实环境可用于对物理环境和其中的对象进行注释和建模。但是使用增强和/或虚拟现实进行注释和建模的常规方法繁琐、低效且有限。在一些情况下，使用增强现实进行测量的常规方法在功能上受到限制，因其要求用户指定对特定特征采取哪种类型的测量。在一些情况下，使用增强现实进行注释的常规方法不提供引导以帮助用户添加注释，或者以静态的方式提供引导而不考虑随着注释进展而变化的当前上下文。在一些情况下，使用增强现实进行注释的常规方法不跟踪已做出的注释，并且用户无法有效地回顾过去的注释活动。在一些情况下，使用增强现实进行注释和测量的常规方法限于不考虑物理表面的形状或曲率的直线注释和测量。在一些情况下，使用增强现实进行注释的常规方法需要针对用户添加的每个注释的单独输入。在一些情况下，对物理环境进行建模的常规方法不能为用户提供关于建模过程的进程的足够反馈。在一些情况下，查看环境的模型诸如示意表示的常规方法不能在视野中维持模型的相关方面。此外，常规方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有用于使用增强和/或虚拟现实环境对环境进行注释、测量和建模的改进的方法和界面的计算机系统。此类方法和界面任选地补充或替换用于使用增强和/或虚拟现实环境对环境进行注释、测量和建模的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。
利用所公开的计算机系统减少或消除了与用于增强和/或虚拟现实的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统包括台式计算机。在一些实施方案中，计算机系统是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，计算机系统包括个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，计算机系统具有触控板(和/或与触控板通信)。在一些实施方案中，该计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与触敏显示器通信)。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，除了基于增强现实的测量功能之外，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法包括经由显示设备显示注释放置用户界面，该注释放置用户界面包括：该一个或多个相机的视野的表示，该视野的该表示包括在该一个或多个相机的视野中的三维物理环境的一部分的表示。该方法包括基于该一个或多个相机的视野中的变化随时间更新视野的表示；以及放置用户界面元素，该放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在视野的表示中的哪个位置。该方法包括在显示注释放置用户界面的同时，检测该一个或多个相机相对于物理环境的第一移动；以及响应于检测到该一个或多个相机相对于物理环境的第一移动，基于该一个或多个相机的第一移动来更新视野的表示。该方法还包括根据确定放置用户界面元素在物理环境中能够被测量的物理特征的表示的至少一部分上方，根据物理特征的表示的一个或多个方面改变放置用户界面元素的外观。该方法包括在显示注释放置用户界面的同时，接收包括对物理特征执行一次或多次测量的请求的注释放置输入。该方法还包括响应于接收到对应于对物理特征执行一次或多次测量的请求的输入：根据确定该物理特征为第一类型的物理特征，在该物理特征的表示上方显示第一测量类型的第一组一个或多个测量表示；以及根据确定物理特征为不同于第一类型的物理特征的第二类型的物理特征，在该物理特征的表示上方显示不同于第一测量类型的第二测量类型的第二组一个或多个测量表示。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法包括经由显示设备显示注释放置用户界面。注释放置用户界面包括该一个或多个相机的视野的表示，包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中基于该一个或多个相机的视野中的变化随时间更新视野的表示；以及放置用户界面元素，该放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在视野的表示中的哪个位置。该方法包括在显示注释放置用户界面的同时，检测该一个或多个相机相对于物理环境的移动。该方法还包括响应于检测到该一个或多个相机相对于物理环境的移动：基于该一个或多个相机的移动来更新视野的表示；根据确定放置用户界面元素在物理环境中的第一类型的特征的表示的至少一部分上方：改变放置用户界面元素的外观以指示响应于注释放置输入，注释将被放置在对应于第一类型的特征的锚点处；以及显示对应于第一类型的特征的表示的至少一部分的第一组一个或多个引导。该方法还包括，根据确定放置用户界面元素在物理环境中的第二类型的特征的表示的至少一部分上方，其中第二类型的特征不同于第一类型的特征：改变放置用户界面元素的外观以指示响应于注释放置输入，注释将被放置在对应于第二类型的特征的锚点处；以及显示不同于第一组一个或多个引导、对应于第二类型的特征的表示的至少一部分的第二组一个或多个引导。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法包括经由显示设备显示注释放置用户界面。该方法还包括注释放置用户界面包括：该一个或多个相机的视野的表示，该视野的表示包括在该一个或多个相机的视野中的三维物理环境的一部分的表示。该方法还包括基于该一个或多个相机的视野中的变化随时间更新视野的表示。该方法还包括注释放置用户界面还包括放置用户界面元素，该放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在视野的表示中的哪个位置。该方法包括，在放置用户界面元素指示视野的表示中的第一位置的同时，接收第一注释放置输入，并且响应于接收到第一注释放置输入：在视野的表示中的第一位置处显示注释；以及显示从视野的表示中的第一位置延伸的一个或多个第一引导。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法包括经由显示设备显示注释放置用户界面，该注释放置用户界面包括：该一个或多个相机的视野的表示，该视野的表示包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中基于该一个或多个相机的视野中的变化随时间更新视野的表示；以及放置用户界面元素，该放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在视野的表示中的哪个位置。该方法还包括在显示注释放置用户界面的同时，检测该一个或多个相机相对于物理环境的移动，并且响应于检测到该一个或多个相机相对于物理环境的移动：基于该一个或多个相机的移动来更新视野的表示；以及根据确定放置用户界面元素在物理环境中的第一类型的物理特征的表示的至少一部分上方：显示指示注释放置用户界面正在与添加第一类型的注释相关联的第一注释模式下操作的第一模式指示。该方法还包括在显示第一模式指示的同时，检测该一个或多个相机相对于物理环境的后续移动，并且响应于检测到该一个或多个相机相对于物理环境的后续移动：基于该一个或多个相机的后续移动来更新视野的表示；以及根据确定放置用户界面元素在物理环境中的第二类型的物理特征的表示的至少一部分上方：显示指示注释放置用户界面正在不同于第一注释模式的第二注释模式下操作的第二模式指示，该第二注释模式与添加不同于第一类型的第二类型的注释相关联。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法还包括接收对应于显示注释放置用户界面的请求的第一输入。该方法还包括响应于接收到第一输入，经由显示设备显示注释放置用户界面，该注释放置用户界面包括该一个或多个相机的视野的表示，该视野的表示包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中基于视野中的变化随时间更新视野的表示。注释放置用户界面还包括放置用户界面元素，该放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在视野的表示中的哪个位置。注释放置用户界面包括会话历史用户界面元素。该方法包括在显示注释放置用户界面的同时：接收对应于对视野的表示进行注释的多个请求的一组输入；以及响应于接收到该一组输入，将第一注释和第二注释添加到该一个或多个相机的视野的表示。该方法还包括，在将第一注释和第二注释添加到该一个或多个相机的视野的表示之后，接收对应于会话历史用户界面元素的激活的输入；以及响应于接收到对应于会话历史用户界面元素的激活的输入，显示包括第一注释和第二注释的注释列表的至少一部分，包括同时显示第一注释的表示和第二注释的表示。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法包括经由显示设备显示注释放置用户界面，该注释放置用户界面包括该一个或多个相机的视野的表示，视野的表示包括在该一个或多个相机的视野中的三维物理环境的一部分的表示。基于该一个或多个相机的视野中的变化随时间更新视野的表示。该方法包括接收对应于从视野的表示中的第一位置测量到视野的表示中的不同于第一位置的第二位置的请求的一个或多个第一输入。视野的表示中的第一位置对应于物理环境中的物理表面上的第一物理位置，并且视野的表示中的第二位置对应于物理表面上的不同于第一物理位置的第二物理位置。该方法还包括，响应于接收到该一个或多个第一输入，经由显示设备显示从视野的表示中的第一位置到视野的表示中的第二位置的第一测量的表示，包括根据确定物理表面不是平坦表面，在显示第一测量的表示时考虑物理表面的形状。
根据一些实施方案，在具有显示设备的计算机系统处执行一种方法。该方法包括经由显示设备显示在计算机系统上执行的应用程序的第一用户界面。该方法包括在显示应用程序的第一用户界面的同时，接收对应于显示应用程序的第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的一个或多个输入。该方法包括响应于接收到对应于显示第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的该一个或多个输入，显示第二用户界面，包括：显示第一先前捕获的媒体的表示，其中第一先前捕获的媒体的表示包括在其中捕获了第一媒体的三维物理环境的第一部分的表示；以及根据确定第一先前捕获的媒体的表示包括对应于物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域，显示该一个或多个第一物理特征的一个或多个测量表示。
根据一些实施方案，在具有显示设备和一个或多个相机的计算机系统处执行一种方法。该方法包括在用户界面的第一区域中显示该一个或多个相机的视野的表示。该一个或多个相机在三维物理环境中，并且视野的表示包括在该一个或多个相机的视野中的物理环境的第一相应部分的第一视图的表示。该方法包括捕获指示物理环境的第一相应部分的第一子集的深度信息。该方法还包括在视野的表示上方显示指示物理环境的已经捕获到深度信息的第一相应部分的范围的第一指示，包括显示覆盖在包括第一子集的表示的视野的表示的至少第一部分上的第一指示，并且显示未被第一指示覆盖的视野的表示的至少第二部分。该方法包括检测移动视野以包括物理环境的第二相应部分的该一个或多个相机的移动，并且响应于检测到该一个或多个相机的移动，更新该一个或多个相机的视野的表示以包括物理环境的第二相应部分的第一视图的表示。该方法还包括响应于检测到该一个或多个相机的移动，捕获指示物理环境的第二相应部分的第二子集的深度信息。该方法还包括响应于检测到该一个或多个相机的移动，更新显示在视野的更新的表示上方的第一指示以指示物理环境的已经捕获到深度信息的第二相应部分的范围，包括显示覆盖在视野的表示的第二部分上的第一指示，视野的表示的第二部分包括第二子集的表示。
根据一些实施方案，在具有显示设备的计算机系统处执行一种方法。该方法包括显示环境的示意表示的第一部分。示意表示的第一部分包括：环境中的第一特征的第一表示；以及第一度量的表示，第一度量的表示对应于第一特征并且在环境的示意表示的第一部分中的第一位置处显示。该方法还包括接收对应于显示环境的示意表示的第二部分的请求的第一输入。该方法包括响应于接收到第一输入，显示环境的示意表示的第二部分。该方法包括响应于接收到第一输入，根据确定在环境的示意表示的第二部分中显示第一特征的第一表示的一部分并且根据确定环境的示意表示的第二部分不包括第一位置，在环境的示意表示的第二部分中的第二位置处显示第一度量的表示。
根据一些实施方案，一种计算机系统包括显示生成部件(也称为显示设备，例如，显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(例如，连续地或以固定间隔重复地提供相机视野内的至少一部分内容的实时预览并且任选地生成包括捕获相机视野内的内容的一个或多个图像帧流的视频输出的摄影机)，以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的一个或多个相机)、任选的一个或多个姿势传感器、任选的一个或多个深度传感器、任选的检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器(和/或与这些部件通信)；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，这些指令当由包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用以检测与触敏表面的接触的强度的一个或多个传感器，以及任选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统执行时，使得该计算机系统执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施方案，在包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用以检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、存储器以及用以执行存储在存储器中的一个或多个程序的一个或多个处理器(和/或与这些部件通信)的计算机系统上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元素，这一个或多个元素响应于输入进行更新，根据本文所述的任何方法中所描述的。根据一些实施方案，计算机系统包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用以检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器以及用于执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行的装置(和/或与这些部件通信)。根据一些实施方案，用于在包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用以检测与触敏表面的接触的强度的一个或多个传感器以及任选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统中使用的信息处理装置包括用于执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行的装置。
因此，具有显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器和任选的一个或多个触觉输出发生器(和/或与之通信)的计算机系统具有用于使用增强和/或虚拟现实环境对环境(诸如物理环境和/或其中的对象)进行注释、测量和建模的改进的方法和界面，从而提高此类计算机系统的有效性、效率和用户满意度。此类方法和界面可补充或替换用于使用增强和/或虚拟现实环境对环境(诸如物理环境和/或其中的对象)进行注释、测量和建模的常规方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2A示出根据一些实施方案的具有触摸屏的便携式多功能设备。
图2B示出了根据一些实施方案的具有光学传感器和飞行时间传感器的便携式多功能设备。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图3B-图3C为根据一些实施方案的示例性计算机系统的框图。
图4A示出了根据一些实施方案的用于在便携式多功能设备上呈现应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A至图5CN示出了根据一些实施方案的用于使用增强现实对物理环境进行注释和测量的示例性用户界面。
图6A至图6Y示出了根据一些实施方案的用于使用增强现实对物理环境进行注释和测量的示例性用户界面，以及根据一些实施方案的从存储的媒体项检索测量信息的示例性用户界面。
图7A至图7AT示出了根据一些实施方案的用于对环境进行扫描和建模，以及与其生成的示意表示交互的示例性用户界面。
图8A至图8F是根据一些实施方案的用于使用增强现实显示物理环境的自动确定的测量的过程的流程图。
图9A至图9C是根据一些实施方案的用于基于增强现实环境中的自动确定的锚点提供对准引导的过程的流程图。
图10A至图10C是根据一些实施方案的用于响应于增强现实环境中的用户输入而提供动态对准引导的过程的流程图。
图11A至图11E是根据一些实施方案的用于基于在增强现实环境中可见的物理特征的类型自动改变注释模式的过程的流程图。
图12A至图12C是根据一些实施方案的用于在注释会话期间显示包括使用注释放置用户界面添加的注释列表的会话历史的过程的流程图。
图13A至图13D是根据一些实施方案的用于考虑物理表面的形状和曲率沿着这些物理表面测量路径的过程的流程图。
图14A至图14D是根据一些实施方案的用于测量在先前捕获的媒体中表示的物理特征的过程的流程图。
图15A至图15D是根据一些实施方案的用于扫描物理环境以捕获用于对该物理环境进行建模的深度信息的过程的流程图。
图16A至图16E是根据一些实施方案的用于查看环境的示意表示和与之交互的过程的流程图。
具体实施方式
如上所述，增强现实环境可用于对物理环境和其中的对象进行注释和建模，方法是提供物理环境和其中的对象的不同视图并且使用户能够将注释诸如测量叠加在物理环境和其中的对象上，并且可视化注释与物理环境和其中的对象之间的交互。使用增强和/或虚拟现实环境进行注释和建模的常规方法通常在功能上受到限制。在一些情况下，使用增强现实进行测量的常规方法在功能上受到限制，因其要求用户指定对特定特征采取哪种类型的测量。在一些情况下，使用增强现实进行注释的常规方法不提供引导以帮助用户添加注释，或者以静态的方式提供引导而不考虑随着注释进展而变化的当前上下文。在一些情况下，使用增强现实进行注释的常规方法不跟踪已做出的注释，并且用户无法有效地回顾过去的注释活动。在一些情况下，使用增强现实进行注释和测量的常规方法限于不考虑物理表面的形状或曲率的直线注释和测量。在一些情况下，使用增强现实进行注释的常规方法需要针对用户添加的每个注释的单独输入。在一些情况下，对物理环境进行建模的常规方法不能为用户提供关于建模过程的进程的足够反馈。在一些情况下，查看环境的模型诸如示意表示的常规方法不能在视野中维持模型的相关方面。本文所公开的实施方案为用户提供了一种使用增强和/或虚拟现实对环境进行注释、测量和建模的直观方式(例如，通过提供更多智能且复杂的功能，通过使用户能够用更少的输入在增强现实环境中执行不同的操作，以及/或者通过简化用户界面)。另外，本文的实施方案提供改进的反馈，其向用户提供关于被测量或被建模的物理对象和关于在虚拟/增强现实环境中执行的操作的附加信息。
本文所述的系统、方法和GUI以多种方式改进与增强和/或虚拟现实环境进行的用户界面交互。例如，它们通过提供对物理空间中的特征的自动检测并且对检测到的特征、改进的标签和引导的不同类型(例如，为改进的注释放置)进行适当的测量，通过使用户能够与测量信息交互并管理该测量信息，通过保持在环境的表示上方可见的相关注释和测量，并且通过在对环境进行建模的同时，为用户提供关于建模过程的进程的改进的反馈来使得对物理环境进行注释和建模更简单。
下面，图1A至图1B、图2A至图2B以及图3A至图3C提供了对示例性设备的描述。图4A至图4B和图5A至图5CN、图6A至图6Y和图7A至图7AT示出了用于与环境诸如增强现实环境和媒体项交互，对它们进行注释、测量和建模的示例性用户界面。图8A至图8F示出了使用增强现实显示物理环境的自动确定的测量的方法的流程图。图9A至图9C示出了基于增强现实环境中的自动确定的锚点提供对准引导的方法的流程图。图10A至图10C示出了响应于增强现实环境中的用户输入而提供动态对准引导的方法的流程图。图11A至图11E示出了根据一些实施方案的用于基于在增强现实环境中可见的物理特征的类型自动改变注释模式的方法的流程图。图12A至图12C示出了根据一些实施方案的用于在注释会话期间显示包括使用注释放置用户界面添加的注释列表的会话历史的方法的流程图。图13A至图13D示出了根据一些实施方案的用于考虑物理表面的形状和曲率沿着这些物理表面测量路径的方法的流程图。图14A至图14D示出了根据一些实施方案的用于测量在先前捕获的媒体中表示的物理特征的方法的流程图。图15A至图15D示出了根据一些实施方案的用于扫描物理环境以捕获用于对该物理环境进行建模的深度信息的方法的流程图。图16A至图16E示出了根据一些实施方案的用于查看环境的示意表示和与之交互的方法的流程图。
图5A至图5CN、图6A至图6Y和图7A至图7AT中的用户界面用于示出图8A至图8F、图9A至图9C、图10A至图10C、图11A至图11C、图12A至图12C、图13A至图13D、图14A至图14D、图15A至图15D和图16A至图16E中的过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”后“在……时”或“响应于确定”或“响应于检测”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
用于增强和/或虚拟现实的计算机系统包括产生增强和/或虚拟现实环境的电子设备。本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于Apple Inc.(Cupertino,California)出品的
Figure BDA0003778404120000121
iPod
Figure BDA0003778404120000122
和
Figure BDA0003778404120000123
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型计算机或平板计算机。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触控板)的台式计算机，其还包括一个或多个相机或与其通信。
在下面的讨论中，描述了一种计算机系统，其包括具有显示器和触敏表面(和/或与这些部件通信)的电子设备。然而，应当理解，该计算机系统可选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机。
该设备通常支持各种应用程序，诸如以下中的一者或多者：游戏应用程序、笔记记录应用程序、绘图应用程序、演示文稿应用程序、文字处理应用程序、电子表格应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及由所述设备显示的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100可选地包括一个或多个光学传感器164(例如，作为一个或多个相机的一部分)。设备100任选地包括用于检测设备100上的接触的强度的一个或多个强度传感器165(例如，触敏表面，诸如设备100的触敏显示系统112)。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器163(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、CPU 120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2A中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口，该外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2A中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如，图2A中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至该触敏显示器系统。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一些实施方案中，在触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0003778404120000171
iPod
Figure BDA0003778404120000172
和
Figure BDA0003778404120000173
中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触控板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100可选地还包括一个或多个光学传感器164(例如，作为一个或多个相机的一部分)。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些实施方案中，一个或多个触觉输出发生器163包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括用于获得关于设备的姿势(例如，位置和取向或方位)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如，作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地，传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100任选地包括用于获得关于设备100的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器。
在一些实施方案中，存储于存储器102中的软件组件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图1A和图3所示。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其他信息占据触敏显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他输入或控制设备116获得的信息；以及关于设备的姿势(例如，位置和/或方位)的位置和/或定位信息；
操作系统126(例如，iOS、Android、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0003778404120000201
iPod
Figure BDA0003778404120000202
和
Figure BDA0003778404120000203
设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与AppleInc.(Cupertino,California)的一些
Figure BDA0003778404120000206
iPod
Figure BDA0003778404120000205
和
Figure BDA0003778404120000204
设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些电子设备中所使用的USB C型连接器相同或类似和/或兼容的USB C型连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触控板或物理点击轮)的接触。接触/运动模块130包括各种软件组件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触控板上的接触。
接触/运动模块130任选地检测由用户进行的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中，检测手指轻击手势取决于检测手指按下事件与手指抬起事件之间的时间长度，但是与检测手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中，根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、0.4或0.5秒)，检测轻击手势，而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值)，例如轻按压或深按压强度阈值。因此，手指轻击手势可以满足特定输入标准，该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见，轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件，低于该标称接触检测强度阈值时，不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面上方悬停的手指或触笔接触的情况下，标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如，可基于满足与手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、展开手势和/或长按压手势。例如，基于一个或多个接触的移动的量来检测轻扫手势；缩放手势基于两个或更多个接触朝彼此的移动来检测；扩放手势基于两个或更多个接触背离彼此的移动来检测；长按压手势基于触敏表面上具有少于阈值移动量的接触的持续时间来检测。因此，关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足，并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中，基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势，而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值，并且基于确定接触移动大于预定义量值来检测轻扫手势，即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如，当接触的强度高于强度阈值时，设备更快地检测到长按压，或者当接触的强度更高时，设备会延迟对轻击输入的检测)，只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准，则对这些手势的检测也不会要求接触达到特定强度阈值(例如，即使识别手势所需的时间量发生变化)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合，以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势，使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求一个或多个接触的强度满足相应的强度阈值以便满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估，以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如，在某些情况下，第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在此类竞争中，如果第二手势的第二手势识别标准首先得到满足，则手势任选地不被识别为满足第一手势的第一手势识别标准。例如，如果在接触移动预定义的移动量之前接触达到相应的强度阈值，则检测到深按压手势而不是轻扫手势。相反，如果在接触达到相应的强度阈值之前接触移动预定义的移动量，则检测到轻扫手势而不是深按压手势。即使在此类情况下，第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准，因为如果接触保持低于相应的强度阈值直到手势结束(例如，具有不会增大到高于相应强度阈值的强度的接触的轻扫手势)，手势将被第一手势识别标准识别为轻扫手势。因此，不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下，忽略相对于强度阈值的接触强度(例如，对于轻击手势而言)和/或(B)在某些情况下，如果在特定手势识别标准识别与输入对应的手势之前，一组竞争的强度相关手势识别标准(例如，对于深按压手势而言)将输入识别为与强度相关手势对应，则不能满足特定手势识别标准(例如，对于长按压手势而言)，从这个意义上来讲，仍然取决于相对于强度阈值的接触强度(例如，对于与深按压手势竞争识别的长按压手势而言)。
结合加速度计167、陀螺仪168和/或磁力仪169，姿势模块131任选地检测关于设备的姿势信息，诸如在特定参考系中设备的姿势(例如，滚转、仰俯、偏航和/或位置)。姿势模块131包括用于执行与检测设备位置和检测设备姿势变化相关的各种操作的软件组件。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件组件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令(例如，由触觉反馈控制器161使用的指令)的各种软件部件，以响应于用户与设备100的交互而使用一个或多个触觉输出发生器163在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供该信息以在各种应用程序中使用(例如，提供至电话138以用于基于位置的拨号；提供至相机143作为图片/视频元数据；以及提供至提供基于位置的服务的应用程序诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序)。
虚拟/増强现实模块145向实现増强现实特征，并且在一些实施方案中实现虚拟现实特征的应用程序136提供虚拟和/或増强现实逻辑部件。虚拟/增强现实模块145促进虚拟内容诸如虚拟用户界面对象在一个或多个相机的视野的至少一部分的表示上的叠加。例如，在虚拟/增强现实模块145的帮助下，一个或多个相机的视野的至少一部分的表示可以包括相应的物理对象，并且虚拟用户界面对象可以在显示的增强现实环境中显示在基于一个或多个相机的视野中的相应物理对象确定的位置处，或显示在基于计算机系统的至少一部分的姿势(例如，用于向计算机系统的用户显示用户界面的显示设备的姿势)确定的虚拟现实环境中。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·任选地由视频播放器模块和音乐播放器模块构成的视频和音乐播放器模块152；
·备忘录模块153；
·地图模块154；以及/或者
·在线视频模块155；
·注释和建模模块195；以及/或者
·飞行时间(“ToF”)传感器模块196。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从通讯录删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息，以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及视频和音乐播放器模块152，健身支持模块142包括可执行指令用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，备忘录模块153包括用于根据用户指令来创建和管理备忘录、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏112上或在无线连接的或经由外部端口124连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、相机模块143、图像管理模块152、视频和音乐播放器模块152以及增强和/或虚拟现实模块145，注释和建模模块195包括允许用户对物理环境和/或其中的物理对象进行建模并且在增强和/或虚拟现实环境中注释(例如，测量、绘制和/或添加虚拟对象并且在其中操纵虚拟对象)物理环境和/或其中的物理对象的(例如，实时或先前捕获的)表示的可执行指令，如本文更详细描述的。
结合相机模块143，ToF传感器模块196包括用于捕获物理环境的深度信息的可执行指令。在一些实施方案中，ToF传感器模块196与相机模块143结合操作以提供物理环境的深度信息。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触控板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触敏表面来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触敏表面。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3A)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包或应用程序136-1从中继承方法和其他属性的更高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前姿势(例如，位置和取向)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中，事件187中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件187的定义还包括延迟动作，这些延迟动作延迟事件信息的递送，直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频或音乐播放器模块152中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建并更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178，或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触控板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；基于对由一个或多个相机获得的视频图像的实时分析的输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2A示出了根据一些实施方案的具有触摸屏(例如，触敏显示器系统112，图1A)的便携式多功能设备100(例如，设备100的前部的视图)。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在图中未按比例绘制)或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“主桌面”或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204(有时称为主屏幕按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触强度的一个或多个接触强度传感器165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器163。
图2B示出了任选地包括光学传感器164-1和164-2以及飞行时间(“ToF”)传感器220的便携式多功能设备100(例如，设备100的后部的视图)。当光学传感器(例如，相机)164-1和164-2同时捕获物理环境的表示(例如，图像或视频)时，便携式多功能设备可以根据由光学传感器同时捕获的信息之间的差异(例如，捕获的图像之间的差异)来确定深度信息。由使用光学传感器164-1和164-2确定的(例如，图像)差异提供的深度信息可能缺乏准确性，但通常提供高分辨率。为了提高由图像之间的差异提供的深度信息的准确性，飞行时间传感器220任选地与光学传感器164-1和164-2结合使用。ToF传感器220发射波形(例如，来自发光二极管(LED)或激光器的光)，并且测量波形(例如，光)的反射返回到ToF传感器220所花费的时间。根据光返回到ToF传感器220所花费的测量时间来确定深度信息。ToF传感器通常提供高准确度(例如，相对于测量距离或深度为1cm或更好的准确度)，但是可能缺乏高分辨率(例如，ToF传感器220的分辨率任选地为光学传感器164的分辨率的四分之一，或小于光学传感器164的分辨率的四分之一，或者为光学传感器164的分辨率的十六分之一，或小于光学传感器164的分辨率的十六分之一)。因此，结合来自ToF传感器的深度信息与由使用光学传感器(例如，相机)确定的(例如，图像)差异提供的深度信息，提供既准确又具有高分辨率的深度图。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器可选地为触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的触觉输出发生器163)、传感器359(例如，类似于上文参考图1A所述的类似传感器的光学、加速度、接近、触敏和/或接触强度传感器，以及任选地上文参考图2B所述的飞行时间传感器220)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子集。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3A中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的指令集。上述所识别的模块或程序(即，指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上文未描述的附加模块和数据结构。
图3B-3C为根据一些实施方案的示例性计算机系统301的框图。
在一些实施方案中，计算机系统301包括以下部件和/或与之通信：
·输入设备(302和/或307，例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器，和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机；
·虚拟/增强现实逻辑部件303(例如，虚拟/増强现实模块145)；
·显示生成部件(304和/或308，例如，显示器、投影仪、头戴式显示器、平视显示器等)，用于向用户显示虚拟用户界面元素；
·用于捕获设备的视野的图像的相机(例如，305和/或311)，例如，用于确定虚拟用户界面元素的放置、确定设备的姿势和/或显示相机所在物理环境的一部分的图像；以及
·姿势传感器(例如，306和/或311)，用于确定设备相对于物理环境的姿势和/或设备姿势的变化。
在一些实施方案中，计算机系统301(例如，相机305和/或311)包括飞行时间传感器(例如，飞行时间传感器220，图2B)(和/或与之通信)，用于如上文参考图2B所述捕获深度信息。
在一些计算机系统(例如，图3B中的301-a)中，输入设备302、虚拟/増强现实逻辑部件303、显示生成部件304、相机305；以及姿势传感器306均集成到计算机系统(例如，图1A至图1B中的便携式多功能设备100或图3中的设备300，诸如智能电话或平板电脑)中。
在一些计算机系统(例如，301-b)中，除了集成的输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304、相机305；以及姿势传感器306之外，计算机系统还与独立于计算机系统的附加设备通信，诸如独立的输入设备307，诸如触敏表面、触笔、遥控器等和/或独立的显示生成部件308，诸如虚拟现实头戴耳机或覆盖物理环境上的虚拟对象的增强现实眼镜。
在一些计算机系统(例如，图3C中的301-c)中，输入设备307、显示生成部件309、相机311；以及/或者姿势传感器312与计算机系统分开并且与计算机系统通信。在一些实施方案中，使用计算机系统301中的并与该计算机系统通信的部件的其他组合。例如，在一些实施方案中，显示生成部件309、相机311和姿势传感器312结合在与计算机系统集成或与计算机系统通信的头戴式耳机中。
在一些实施方案中，下文参考图5A至图5CN描述的所有操作在具有虚拟/增强现实逻辑部件303的单个计算设备(例如以下参考图3B描述的计算机系统301-a)上执行。然而，应当理解，经常将多个不同的计算设备链接在一起以执行下文参考图5A至图5CN、图6A至图6Y、图7A至图7AT描述的操作(例如，具有虚拟/增强现实逻辑部件303的计算设备与具有显示器450的独立计算设备和/或具有触敏表面451的独立计算设备通信)。在任何这些实施方案中，下文参考图5A至图5CN、图6A至图6Y、图7A至图7AT描述的计算设备是包含虚拟/增强现实逻辑部件303的一个或多个计算设备。另外，应当理解，在各种实施方案中，虚拟/增强现实逻辑部件303可被划分在多个不同模块或计算设备之间；然而，出于本文描述的目的，虚拟/增强现实逻辑部件303将主要被称为驻留在单个计算设备中，以避免不必要地模糊实施方案的其他方面。
在一些实施方案中，虚拟/增强现实逻辑部件303包括接收解释输入的一个或多个模块(例如，一个或多个事件处理程序190，包括如上文参考图1B更详细地描述的一个或多个对象更新器177和一个或多个GUI更新器178)，并且响应于这些解释输入，根据解释输入生成用于更新图形用户界面的指令，该解释输入随后用于更新显示器上的图形用户界面。在一些实施方案中，已经被检测(例如，通过图1A和图3中的接触运动模块130)、识别(例如，通过图1B中的事件识别器180)和/或分配(例如，通过图1B中的事件分类器170)的输入的解释输入用于更新显示器上的图形用户界面。在一些实施方案中，解释输入由计算设备上的模块生成(例如，计算设备接收原始接触输入数据，以便从原始接触输入数据识别手势)。在一些实施方案中，解释输入的一些或全部被计算设备接收为解释输入(例如，包括触敏表面451的计算设备处理原始接触输入数据，以便从原始接触输入数据识别手势并且将指示手势的信息发送到包括虚拟/增强现实逻辑部件303的计算设备)。
在一些实施方案中，显示器和触敏表面两者均与包含虚拟/増强现实逻辑部件303的计算机系统(例如，图3B中的301-a)集成。例如，该计算机系统可以是具有集成显示器(例如，图3中的340)和触控板(例如，图3中的355)的台式计算机或膝上型计算机。又如，该计算设备可以是具有触摸屏(例如，图2A中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)。
在一些实施方案中，触敏表面与计算机系统集成，而显示器不与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如，该计算机系统可以是具有集成触控板(例如，图3中的355)的设备300(例如，台式计算机或膝上型计算机等)，其中该集成触控板与独立显示器(例如，计算机监视器、电视等)相连(通过有线或无线连接)。又如，该计算机系统可以是具有触摸屏(例如，图2A中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)，其中该触摸屏与独立显示器(例如，计算机监视器、电视等)相连(通过有线或无线连接)。
在一些实施方案中，显示器与计算机系统集成，而触敏表面不与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如，该计算机系统可以是具有集成显示器(例如，图3中的340)的设备300(例如，台式计算机、膝上型计算机、带集成式机顶盒的电视)，其中该集成显示器与独立触敏表面(例如，远程触控板、便携式多功能设备等)相连(通过有线或无线连接)。又如，该计算机系统可以是具有触摸屏(例如，图2A中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)，其中该触摸屏与独立触敏表面(例如，远程触控板、另一个触摸屏作为远程触控板使用的便携式多功能设备等)相连(通过有线或无线连接)。
在一些实施方案中，显示器和触敏表面两者均不与包含虚拟/增强现实逻辑部件303的计算机系统(例如，图3C中的301-c)集成。例如，该计算机系统可以是连接(通过有线或无线连接)到独立触敏表面(例如，远程触控板、便携式多功能设备等)和独立显示器(例如，计算机监视器、电视等)的独立计算设备300(例如，机顶盒、游戏控制台等)。
在一些实施方案中，计算机系统具有集成音频系统(例如，便携式多功能设备100中的音频电路110和扬声器111)。在一些实施方案中，计算设备和独立于计算设备的音频系统通信。在一些实施方案中，音频系统(例如，集成在电视单元中的音频系统)与单独显示器集成。在一些实施方案中，音频系统(例如，立体音响系统)是与该计算机系统和显示器分开的独立系统。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元件或者其子集或超集：
·一种或多种无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示符；
·时间；
·蓝牙指示符；
·电池状态指示符；
·具有针对常用应用程序的图标的托盘408，该图标诸如：
ο电话模块138的被标记为“电话”的图标416，该图标416任选地包括未接来电或语音信箱的数量的指示符414；
ο电子邮件客户端模块140的被标记为“邮件”的图标418，该图标418任选地包括未读电子邮件的数量的指示符410；
ο浏览器模块147的标记为“浏览器”的图标420；以及
ο视频和音乐播放器模块152的被标记为“音乐”的图标422；以及
·其他应用的图标，诸如：
οIM模块141的被标记为“消息”的图标424；
ο日历模块148的被标记为“日历”的图标426；
ο图像管理模块144的被标记为“照片”的图标428；
ο相机模块143的被标记为“相机”的图标430；
ο在线视频模块155的被标记为“在线视频”的图标432；
ο股市桌面小程序149-2的被标记为“股市”的图标434；
ο地图模块154的被标记为“地图”的图标436；
ο天气桌面小程序149-1的被标记为“天气”的图标438；
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440；
ο健身支持模块142的被标记为“健身支持”的图标442；
ο备忘录模块153的标记为“备忘录”的图标444；以及
ο设置应用程序或模块的被标记为“设置”的图标446，该图标提供对设备100及其各种应用程序136的设置的访问。
应当注意，图4A中示出的图标标签仅仅是示例性的。例如，其他标签任选地用于各种应用图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3A中的平板或触控板355)的设备(例如，图3A中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴线(例如，图4B中的453)对应的主轴线(例如，图4B中的452)。根据这些实施方案，设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触(例如，图4B中的460和462)(例如，在图4B中，460对应于468并且462对应于470)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(例如，图4B中的450)是分开的时侯，由设备在触敏表面上所检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一个输入设备的输入(例如，基于鼠标的输入或触笔输入、设备的移动或设备的一个或多个相机相对于周围物理环境的移动)替换。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)，或通过涉及到用户沿特定方向移动他或她的手的手势替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)或通过表示轻击手势的对应手势替代。类似地，当同时检测到多个用户输入时，应当理解的是，特定类型的多个输入设备任选地被同时使用，或不同类型的多个输入设备任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3A中的触控板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调整。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏)的一些具体实施中，在触摸屏上检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触控板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。在一些实施方案中，经由显示设备显示焦点指示符(例如，光标或选择指示符)以指示用户界面的将受到从一个或多个输入设备接收的输入影响的当前部分。
用户界面和相关联的过程
现在将注意力转向可在包括显示生成部件(例如，显示设备诸如显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(例如，连续提供相机视野内的至少一部分内容的实时预览并且任选地生成包括捕获相机视野内的内容的一个或多个图像帧流的视频输出的摄影机)，以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、任选的一个或多个姿势传感器、任选的检测与触敏表面的接触的强度的一个或多个传感器以及任选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))上实现的用户界面(“UI”)和相关过程的实施方案。
图5A至图5CN、图6A至图6Y和图7A至图7AT示出了根据一些实施方案的用于对环境诸如物理环境进行注释、测量和建模的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图8A至图8F、图9A至图9C、图10A至图10C、图11A至图11E、图12A至图12C、图13A至图13D、图14A至图14D、图15A至图15D和图16A至图16E中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的表示点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器时检测到触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图5A至图5CN示出了根据一些实施方案的用于使用增强现实对物理环境进行注释和测量的示例性用户界面。
图5A示出了具有测量应用程序448的主屏幕用户界面。图5B示出了图标448上方的输入81。图5C示出了对图标448上方的输入581的响应。图5C示出了便携式多功能设备100正在显示增强现实视图500。增强现实视图500基于三维物理环境501创建，该三维物理环境在便携式多功能设备100的该一个或多个光学传感器164的视野中(例如，在该一个或多个光学传感器164中的当前选定的光学传感器的视野中，或该一个或多个光学传感器164中的任何一个光学传感器中的视野中；或任选地，在光学传感器164中的两个或更多个光学传感器的组合视野中)。该增强现实视图500用于在三维物理环境501中发现的对象的表示的顶部上覆盖注释，诸如测量、边缘标识、表面标识、边界框等。
三维物理环境501包括多个项，诸如TV支架502-1、TV(和/或任何其他类型的显示器)502-2、沙发502-3、抱枕502-4、桌子502-5、台灯502-6和杂志502-7。增强现实视图500包括所述多个项的对应表示。所述多个项的这些对应表示是TV支架503-1(被遮挡)、TV 503-2(被遮挡)、沙发503-3、抱枕503-4、桌子503-5、台灯503-6和杂志503-7。所述多个项的这些对应表示具有围绕其的虚线轮廓569，以指示已经确定这些对象的测量(例如，度量)。在便携式多功能设备100上示出的增强现实视图500具有覆盖增强现实视图500的多个用户界面对象。这些用户界面对象各自用于控制在增强现实中显示的内容，并且还用于帮助用户对在三维物理环境501中示出的对象采取和叠加测量。术语“采取”当相对于测量使用时，应被理解为意指或包括“生成”。术语“叠加”当用作动词时，应被理解为意指或包括“在……上方显示”或另选地，意指在显示的增强现实用户界面或虚拟现实用户界面中表示以使其看起来为叠加(例如，对象、区域等)。
在一些实施方案中，在增强现实视图500中显示的另一个用户界面元素是模式指示用户界面505。在一些实施方案中，在模式指示用户界面505内显示的为用于用户可在其间切换的多个不同测量模式的图标505，其中在图5C中的示例中示出了用于五种此类测量模式的图标505(例如，505-1到505-5)。测量模式有时在本文中称为注释模式。通过选择对应的测量模式图标505，例如通过选择自动测量模式图标505-1、三维测量模式图标505-2、二维表面测量模式图标505-3、点对点测量模式图标505-4，以及平面布置测量模式图标505-5来选定相应的测量模式。自动测量模式图标505-1当被选择时，可使便携式多功能设备100自动检测标线(例如，图5E和多个后续的附图所示的标线504)所覆盖的表面或对象(例如，三维对象、二维表面等)，并且基于该确定，该设备可自动指示该表面或该对象是可测量的。标线504是注释放置用户界面元素的示例，有时被简称为放置用户界面元素。例如，当选定自动测量模式图标时，设备可根据测量内容在测量模式之间切换(例如，当标线在桌子的表面上方时，示出了二维测量，并且当标线在沙发上方移动时，示出了三维测量)。在一些实施方案中，标线将基于标线504在其上方的对象改变外观。在一些实施方案中，可存在用户想要覆写自动模式并且手动指定应采取哪种类型的测量的情况。当发生这种情况时，用户可通过在相应的测量模式图标505诸如三维测量模式图标505-2、二维表面测量模式图标505-3或点对点测量模式图标505-4上轻击来切换测量模式。在一些实施方案中，用户还可沿任何方向轻扫以改变模式。三维测量模式图标505-2、二维表面测量模式图标505-3和点对点测量模式图标505-4当被选择时，允许用户指示设备100分别以三维(例如，长度、宽度和高度)、二维(例如，从长度、宽度或高度中选定的两个维度)或一维(从一个点到另一个点(例如，桌子的边缘的长度))生成一个或多个测量。在一些实施方案中，平面布置测量模式图标505-5当被选择时，允许用户使用设备100扫描三维物理环境501以产生平面布置图(例如，鸟瞰视图)。在一些实施方案中，根据用户已经选定的测量模式，在视觉上改变标线504(例如，参见图5E)，从而向用户指示当前使用的测量模式。在一些实施方案中，为了示出选定了这些模式图标中的哪一个，选择指示符537显示在所选图标周围。
在一些实施方案中，在增强现实视图500中显示(或叠加)的另一个用户界面元素是测量列表按钮506，该测量列表按钮当被选择时使设备100显示在当前注释会话期间采取的所有测量(例如，度量)的列表。在一些实施方案中，在增强现实视图500中显示(或叠加)的另一个用户界面元素是测量锁定用户界面对象508，有时在本文中称为注释创建按钮508，该测量锁定用户界面对象当被选择时在预定义位置(例如标线504的位置或标线504的聚焦点504-1的位置)处放置测量点(例如，参见图5BU)。在一些实施方案中，在增强现实视图500中显示(或叠加)的另一个用户界面元素是撤消用户界面对象507，该撤消用户界面对象当被选择时移除最近放置的测量点。最后，在一些实施方案中，在增强现实视图500中显示(或叠加)的另一个用户界面元素是记录用户界面对象550，该记录用户界面对象当被选择时以视频格式、图像格式或其他合适的格式记录包括(例如，任何)显示的测量的增强现实视图500。然后，该记录可经由消息应用程序、电子邮件或将数据传输到另一用户的其他合适的方式与其他设备上的用户共享。
图5D示出了同一三维物理环境501，但是在不同的取向上(例如，相机的当前视野的实时表示，如由便携式多功能设备100的取向确定的)。从图5C到图5D的转变表明用户在不同的取向上握持便携式多功能设备100，这允许一个或多个光学传感器164看到三维物理环境501的不同部分。如图所示，在该取向上，三维物理环境501中的走廊502-8、窗户502-9(被部分遮挡)和狗502-10现在在一个或多个光学传感器164的视野中并且对应的表示503-8(走廊)、502-9(窗户)和502-10(狗)在增强现实视图500中示出。所述多个项的这些对应表示具有围绕其的虚线轮廓569，以指示已经确定这些项/对象的测量(例如，度量)。
图5E示出了选定了自动测量模式图标505-1的便携式多功能设备100，并且示出了设备100和其一个或多个光学传感器164已经移动得更靠近桌子503-5之后的增强现实视图500。所示的用户界面对象中的一个用户界面对象是标线504，该标线向用户指示测量(如果已插入(例如，已放置))将开始的位置。
图5F示出了设备100已经移动得更靠近桌子509的边缘之后的增强现实视图500。当设备100的一个或多个光学传感器164移动得更靠近桌子509的边缘时，设备100识别到不再可见完整的桌子，并且反而提供边缘的指示570以进行选择。虽然在图5F中未示出，但是在一些实施方案中示出了物理对象(例如，桌子509)的边缘区域(例如，第一边缘)的表示(其中该边缘区域是完全可见的，并且与物理对象桌子509的不完全可见的其他部分相邻)包括与不完全可见的区域相邻的边缘区域的视觉上被削弱(例如，淡化)的部分。在一些实施方案中，边缘区域中的点(例如，表示第一边缘)越靠近物理对象的第二部分，就会逐渐被削弱(例如，边缘区域中距物理对象的第一部分与第二部分之间的边界的第一距离的第一点相对于边缘区域中距边界的第二距离(大于第一距离)的第二点在视觉上被削弱)。
图5G示出了增强现实视图500，其中在测量锁定用户界面对象508上方的输入571锁定由指示570识别的桌子509的边缘的测量。
图5H示出了增强现实视图500，其中响应于在测量锁定用户界面对象508上方的输入571选择由指示570识别的桌子509的边缘。如图所示，在图5H中，指示570不再在增强现实视图500中显示，并且反而增强现实视图500现在包括识别桌子509的边缘的强调线572和表示桌子边缘的测量长度(例如，四英尺)的注释，如由设备100所测量的。
图5I至图5K和图5L至图5N是图5H的增强现实视图500的另选实施方案，其中在采取了初始测量之后示出了潜在对应测量的附加指示。在一些实施方案中，当一个或多个光学传感器164相对于三维物理环境501移动时，设备100自动检测是否存在在该一个或多个光学传感器移动之前先前未完全在视野中并可(现在)测量的其他相关表面。当该设备检测到可测量的相关表面时，可在增强现实视图500中示出附加指示。例如，在图5I中，设备100移动，并且设备100的一个或多个光学传感器164的视野中具有桌面560。图5I至5K示出了标线504动画过渡为覆盖桌面560。图5K示出了动画完成和桌面560周围的所得指示561，通知用户可锁定桌子的测量。在一些实施方案中，可测量其他相关表面的指示包括一个或多个附加测量的表示，诸如表示桌面560的另一个边缘的长度的附加测量，如图5K所示。图5L至图5N示出了现在整个桌子503-3在一个或多个光学传感器164或设备100的视野中。图5L至图5N示出了标线504的外观改变(例如，外观动画改变)为覆盖整个桌子。图5N示出了标线504的外观的改变完成，和整个桌子503-3周围的所得的附加指示562，通知用户可锁定桌子的测量。图5M示出了标线504的外观的动画改变的中间阶段。
相对于在整个桌面503-3周围示出的指示562，如果图5K或图5N中的用户要选择测量锁定用户界面对象508，则将测量所指示的桌子面或对象，并且将表示生成的测量结果的注释添加到增强现实视图500。
图5O在增强现实视图500中显示强调线572，包括当将一个或多个光学传感器164移动得更靠近桌子509的边缘时的附加细节。在一些实施方案中，这些附加细节是刻度标记510。这些刻度标记510表示测量增量(例如，1英寸、2英寸和3英寸)。在一些实施方案中，由于在所有时间显示这些刻度标记将使用户界面杂乱，因此当满足设备100与对象或对象特征(例如，桌面509的边缘)之间的阈值距离时，示出这些刻度标记。另外，在一些实施方案中，所显示的刻度标记的粒度也取决于一个或多个光学传感器164与具有对象特征的对象的接近度(例如，在一些实施方案中，随着设备100越靠近对象，示出了更多刻度标记，因为设备100的光学传感器与对象之间的距离满足一个或多个附加(例如，较短)的阈值距离。
当设备100确定一个或多个光学传感器164已经(例如，在距物理特征的第一距离处或内)移动得更靠近对象(诸如桌子509的边缘)或对象的特征时，图5P示出了由设备100在增强现实视图500中显示的附加刻度标记563。在一些实施方案中，附加刻度标记563可用于对对象(例如，桌子509)采取附加测量。图5P还示出了标线504对齐到1.8英寸标记，这一点先前在设备100被放置得更远离桌子509时未示出。
图5Q示出了当在增强现实视图500中示出刻度标记或附加刻度标记时，用户可更精确地将标线504放置在期望的测量点上方。例如，当设备100移动得更靠近桌子509的边缘时，标线可对齐到较小的测量增量。这里，标线已经对齐到2英寸标记。
图5R示出了测量锁定用户界面对象508处的输入511，同时标线504对齐到特定的刻度标记510-1(例如，2英寸)。
图5S示出了对测量锁定用户界面对象508处的输入511，同时标线504对齐到特定的刻度标记510-1的响应(例如，向增强现实视图500添加注释)。具体地，在该示例中，当选定测量锁定用户界面对象508时，在增强现实视图500中显示点564。该点放置在标线504对齐的位置处。
图5T示出了设备100的一个或多个光学传感器164已经移动得远离桌子509的边缘之后的增强现实视图500，但是其中桌子584的边缘仍然在一个或多个光学传感器164的视野中。另外，在一些实施方案中，或在满足预定义标准的某些情况下，引导线585在增强现实视图500中显示以帮助放置注释(例如，测量)。在该示例中，当该一个或多个光学传感器移动得远离桌子509的边缘时，停止显示刻度标记510和附加刻度标记563。然而，尽管刻度标记510和附加刻度标记563不再显示，但先前添加的注释(例如，先前放置在刻度标记510-1处的点564)仍然保持显示。
图5U示出了便携式多功能设备100，该便携式多功能设备仍然具有选定的自动测量模式图标505-1，并且示出了设备100及其定位在与先前测量的对象不同的对象(在该示例中为TV支架502-1和TV 502-2)附近的一个或多个光学传感器164。图5U示出了增强现实视图500中的TV的表示503-2上方的标线504。在一些实施方案中，当标线504在TV的表示503-2上方时，设备100自动检测TV并确定准备好锁定对TV的测量(由设备100采取)。
图5U至图5W示出了标线504的外观的动画改变，该动画改变指示准备好锁定对TV的测量。图5V示出了标线504的外观的动画改变进展。在一些实施方案中，当动画完成时，将围绕增强现实视图500中的TV的表示503-2显示指示(例如，边界框565)。在一些实施方案中，指示(例如，边界框565)可具有阴影填充以表明对象(例如，TV)的表面能够被锁定。在一些实施方案中，设备100确定其一个或多个相机的视野中的对象是电视，并且响应于该确定，电视的对角线长度被显示为(例如，被添加到)增强现实视图500中的注释。在一些实施方案中，除了通常所示的测量(例如，长度、宽度、高度和体积)之外，还可显示与某些检测到的对象相关联的其他常用测量(例如，人的某些测量)。图5W还示出了测量锁定用户界面对象508上方的输入566，以锁定在TV 503-2的测量中。
图5X示出了锁定的TV的测量。在一些实施方案中，为了示出测量结果被锁定，设备100将虚线指示(例如，边界框)565替换为实心指示(例如，边界框)565-1。另外，在一些实施方案中，标线504在指示(例如，边界框)565已经被锁定之后重新显示。当随后设备100移动，使得不同的对象(例如，TV支架)在设备的一个或多个相机的视野中时，标线504分开以示出围绕不同的对象(例如，TV支架)的新框，并且先前测量的对象(例如，TV 503-2)用虚线表示增强现实视图500，和/或由具有虚线的边界框包围。在一些实施方案中，如果用户锁定新对象(例如，TV支架)，则先前测量的对象的增强现实视图500中的表示停止由对应的指示(例如，边界框)565包围。在一些实施方案中，增强现实视图500中的先前测量的对象的表示具有与新对象不同的虚线边界框。在一些实施方案中，先前测量的对象的表示具有与新对象相同的虚线边界框。在一些实施方案中，如果用户移动设备100，使得标线504不再在先前测量的对象的表示上方，而没有锁定先前测量的对象的测量，那么先前测量的对象的表示在仍在设备的一个或多个相机的视野中的情况下，用实线，至少在该对象的周边上显示，并且/或者在实心框中显示，直到标线移动到能够由设备测量的新对象上方。在一些实施方案中，当增强现实视图500包括先前测量的对象和新对象两者的表示时，先前测量的对象在增强现实视图500中显示，其边界框具有与在新对象周围显示的边界框不同的虚线图案。在一些实施方案中，先前测量的对象在增强现实视图500中显示，其边界框具有与在新对象周围显示的边界框相同的虚线图案。
图5Y示出了便携式多功能设备100的另一取向，其中走廊502-8在设备的一个或多个光学传感器164的视野中；该走廊的表示503-8在增强现实视图500中示出。在该取向上，窗户502-9和狗502-10在设备100的一个或多个光学传感器164的视野中。图5Y示出了便携式多功能设备100仍然选定自动测量模式图标505-1。图5Y还示出了站立在走廊中的人的表示512。在该设备检测到人在一个或多个光学传感器164的视野中之后，自动测量该人。在一些实施方案中，将标线(在图5Y中未示出)放置在人的表示512上方使便携式多功能设备100将边界线放置在人的表示512周围以指示可测量人。
在一些实施方案中，响应于自动检测到人512在视图中，示出了示出人512的高度的测量动画。图5Z至图5AB示出了如何将人512的高度的表示添加到增强现实视图500的动画。图5Z在增强现实视图500中示出了人512站立的地板处的测量标记513。在一些实施方案中，当测量标记513移动到人512的头的顶部时，显示对应的测量距离。图5AA示出了移动到大约人512的表示的腰身部分的测量标记513，其中显示对应的部分测量的高度。图5AB示出了一旦测量标记513移动到人512的头的顶部，则动画完成。当动画完成时，对应的测量距离的增强现实视图500中的表示停止改变。在一些实施方案中，当测量标记513移动得更靠近人512的头的顶部时，测量动画以较慢的速度移动。
图5AC至5AG示出了其中测量了人的高度之外(或除了其之外)的度量的实施方案。在图5AC中，人512保持其手部514分开，好像在说明某物有多大(例如，“这条鱼有这么大”)。便携式多功能设备100自动检测人512保持其手部514分开以表明对某物的测量。作为响应，便携式多功能设备100在增强现实视图500中引起人512的手部514之间的第一测量(例如，3英寸)的显示。
图5AD示出了人512保持其手部514分开不同距离。因此，便携式多功能设备100在增强现实视图500中引起人512的手部514之间的第二测量(例如，6英寸)的显示。该测量变化可实时发生。
图5AE示出了便携式多功能设备100的另一取向，其中人的头515在一个或多个光学传感器164的视野中。在一些实施方案中，当满足预定义标准(例如，相对于该一个或多个相机与用户的脸的距离，或相对于被人的脸的表示占据的增强现实视图500的部分，或相对于标线504在用户的脸上方的定位)时，瞳孔间距(“IPD”)516自动地在增强现实视图500中显示。
图5AF示出了便携式多功能设备100的另一取向，其中人的脚517在一个或多个光学传感器164的视野中。在一些实施方案中，当满足预定义标准(例如，相对于该一个或多个相机与用户的脚517的距离，或相对于被人的脚的表示占据的增强现实视图500的部分，或相对于标线504在用户的脚上方的定位)时，脚尺寸(和/或鞋码)518在增强现实视图500中显示。
图5AG示出了便携式多功能设备100的另一取向，其中狗502-10在一个或多个光学传感器164的视野中。在一些实施方案中，当预定义标准(例如，相对于该一个或多个相机与狗的距离，或相对于被狗的表示占据的增强现实视图500的部分，或相对于标线504在狗的表示503-10上方的定位时，便携式多功能设备100将示出狗503-10的测量可被锁定。在一些实施方案中，自动示出的测量是狗503-10的胸围518和/或狗503-10的胸部到尾部的根部的长度519。任选地，可示出附加或更少的测量(例如，仅颈围)。
虽然图5AH至图5BO示出了沙发和沙发的表示、其各种部分以及相对于该沙发显示的各种注释，但是应当理解，该沙发只是三维物理对象的一个示例，并且这些附图中所示且相对于这些附图所述的各种特征同样适用于物理对象的广泛范围的增强现实视图。图5AH示出了便携式多功能设备100的另一取向，在该取向上，沙发502-3在一个或多个光学传感器164的视野中。图5AH、图5AI和图5AJ示出了当设备检测到标线504被放置在三维对象上方时发生的动画。图5AJ示出了已经由边界框589替换(或外观改变为该边界框)的图5AH和图5AI的标线504。图5AK示出了点对点测量模式图标505-4上方的轻击输入520。图5AL示出了对点对点测量模式图标505-4上方的轻击输入520的响应。图5AL现在示出了选定点对点测量模式图标505-4，并且标线504在视觉上改变为点对点测量模式标线504-2以反映已改变的模式。
图5AM示出了便携式多功能设备100，其中沙发在设备100的一个或多个光学传感器164的视野中。在一些实施方案中，从图5AL到图5AM的转变由设备100和其一个或多个相机移动到更靠近沙发且偏移该沙发的一侧的位置引起，使得点对点测量模式标线504-2现在显示在增强现实视图500内的沙发的表示503-3的外侧边缘521附近，但不是其上方。图5AN示出了对齐到沙发的外侧边缘521的点对点测量模式标线504-2。当标线504-2达到在增强现实视图500中检测到的边缘的阈值距离时，发生该对齐。图5AN示出了当标线504-2在外侧边缘521上方时，在本文中也称为引导的引导线522沿着外测边缘521示出。
图5AO示出了便携式多功能设备100，其中沙发在设备100的一个或多个光学传感器164的视野中。此外，点对点测量模式标线504-2现在显示在附近，但是不在沙发的表示503-3的外侧角部523的阈值距离内。图5AP示出了对齐到外侧角部523的点对点测量模式标线504-2，该外侧角部是锚点的示例。当标线504-2定位(例如，通过移动和/或改变设备100的取向)在增强现实视图500中的沙发的检测到的角部的阈值距离内时，发生该对齐。图5AP示出了当标线504-2在锚点诸如沙发的显示的表示的外侧角部523上方时，引导或引导线524沿着对应于锚点的对象的边缘(例如，对应于外侧角部523的沙发的所有边缘)示出。需注意，角部523还对应于沙发的多个表面交汇的特征，并且在图5AP中示出的引导524包括从锚点、角部523沿垂直于那些表面中的每个表面的方向延伸的引导。
图5AQ示出了测量锁定用户界面对象508上方的输入525，该输入当被选择时在点对点测量模式标线504-2的位置处放置点。响应于在点对点测量模式标线504-2的位置处放置点，如图5AR所示，在点放置之前未先前显示的附加引导(例如，竖直引导526-1、水平引导526-2和水平引导526-3)在增强现实视图500中显示。需注意，在图5AR中示出的示例中，引导526的锚点定位于沙发的边缘处，沙发的两个表面(例如，沙发臂的顶表面和沙发的被遮挡的竖直侧表面)在该边缘处交汇，并且在图5AR中示出的引导526包括从锚点沿垂直于那些表面中的每个表面的方向延伸的引导。
图5AS示出了沿着水平引导526-3移动的标线504-2，但是当标线504-2到达另一几何特征566(例如，沙发臂的端部)时，显示附加的引导。在图5AS中，显示了附加的竖直引导567-1和水平引导567-2。
图5AT示出了沿着水平引导526-3移动的标线504-2(例如，响应于设备100的移动)，并且响应于标线504-2移动经过几何特征566(图5AS)，停止显示其他引导(例如，竖直引导567-1、水平引导567-2-2)。另外，当标线504-2继续沿着水平引导526-3移动时，响应于设备100的对应移动，水平引导526-3被逐渐变长的测量线527覆盖。
图5AU示出了测量线527和对齐到沙发503-3的另一外侧边缘528的标线504-2。在一些实施方案中，当标线504-2对齐到沙发503-3的另一外侧边缘528时，显示新的引导。图5AU还示出了测量锁定用户界面对象508处的输入529，同时标线504-2在沙发503-3的其他外侧边缘528上方。增强现实视图500中的测量锁定用户界面对象508的显示表明测量线527不再变长，并且测量完成并可用于锁定。图5AU还示出了引导568，以用于帮助标线504-2的潜在未来放置。图5AV示出了在测量完成之后，仍然可显示引导568以帮助用户放置其下一次测量。
图5AW示出了显示的测量530。测量530对应于测量线527的最终长度。图5AW还示出了现在没有覆盖在物理环境中可测量的物理对象的表示的标线504-2，并且因此不显示引导。
图5AX示出了具有沙发的表示503-3的便携式多功能设备100，该沙发的该表示在设备100的一个或多个光学传感器164的视野中。此外，点对点测量模式标线504-2现在在沙发坐垫531上显示，远离沙发或沙发坐垫531的任何边缘。当选定点对点测量模式标线504-2时，显示竖直引导533。图5AY示出了测量列表按钮506上方的输入534。
图5AZ示出了对测量列表用户界面对象506上方的输入534的响应的示例。为简单起见并为了示出便携式多功能设备100的较大视图，图5AZ省略了便携式多功能设备100的背景中的物理环境501。图5AZ在用户界面591中显示已经在注释会话(例如，会话是应用程序在前台中运行的时间段)期间采取的测量列表。在测量用户界面590的列表内，存在在当前会话期间采取的可滚动测量列表；如果该可滚动列表包括比可同时显示的更多的测量，则仅同时显示采取的测量的子集。在图5AZ中示出的示例中，当前显示的测量如下：“线性测量”用户界面对象591-2；“沙发测量”用户界面对象591-3；“宠物测量”用户界面对象591-4；和“手部间距”用户界面对象591-5。在一些实施方案中，测量名称被自动生成并包括在用户界面591中，并且基于已径测量的检测到的对象。例如，该设备可告知何时已经测量了宠物、沙发、鞋或其他对象，并且将相应地命名该测量(例如，“狗测量”、“沙发测量”、“鞋测量”或“宠物测量”)。在一些实施方案中，用户界面591中的每次测量还包括指示采取了哪种类型的测量(例如，三维测量、二维测量或弯曲二维测量等)的图标。
图5BA示出了位于用户界面591中的测量列表内的“宠物测量”用户界面对象591-4上方的输入592。图5BB示出了响应于相应测量列表用户界面对象(例如，“宠物测量”用户界面对象591-4)上方的输入592而显示的详细对象测量(例如，“宠物测量”)用户界面593。“宠物测量”用户界面593包括可编辑的测量名称区段593-1。为了编辑测量的名称，可对编辑用户界面图标593-2进行输入以编辑测量名称。在一些实施方案中，可在首先不点击图标的情况下编辑测量。图5BB还示出了测量列表(例如，宠物测量)593-3。在一些实施方案中，先前未在测量用户界面591列表中显示的附加测量在详细对象测量用户界面593内显示。在该示例中，在详细对象测量用户界面593中显示的测量结果包括：胸径；胸部到尾巴的长度、头高度和卡圈尺寸。另外，示出了“返回列表”用户界面对象593-4，其当被选择时显示如图5BA中所示的先前用户界面。还存在用于将该测量结果和其他测量结果与其他人共享(例如，经由电子邮件或文本信息)的共享用户界面对象593-5。最后，还存在用于关闭测量用户界面591列表或“宠物测量”用户界面593列表的退出图标593-6。
图5BC示出了用户界面图标593-2(被输入594遮挡)上方用于编辑测量名称的输入594。图5BD示出了用于编辑测量名称的用户界面图标593-2改变为“完成”用户界面对象593-7，以指示对测量名称的编辑被启用。图5BE和图5BF示出了可编辑的测量名称区段593-1从“宠物测量”改名为“Lola的尺寸”。在一些实施方案中，响应于在显示的用户界面的至少一部分上方显示或与重新缩放的用户界面593同时显示的虚拟键盘(这些附图中未示出)处接收到的输入而发生改名。在一些实施方案中，可使用外部键盘。
图5BF示出了在“完成”用户界面对象593-7处接收到的输入594。响应于在“完成”用户界面对象593-7处接收到输入，如图5BG所示，编辑用户界面图标593-2替换“完成”用户界面对象593-7。
图5BH和图5BI示出了轻扫手势595-1和595-2，在该示例中，轻扫手势沿向上方向移动。响应于轻扫手势，例如，轻扫手势595-1和595-2，显露出显示附加选项593-8的用户界面元素，如图5BJ所示。所得的用户界面(其示例在图5BJ中示出)包括附加选项(例如，用户界面对象)，诸如：用于将测量结果保存为照片的“保存到照片”用户界面对象593-9，以在照片查看/编辑应用程序内查看；用于在本地或远程将测量结果存储到文件系统的“保存到文件”用户界面对象593-10；和/或用于共享测量结果(例如，通过电子邮件或文本消息)的“共享测量结果”用户界面对象593-11。
图5BK示出了在“返回列表”用户界面对象593-4(部分被输入596遮挡)上方发生的输入596。图5BL示出了对选择“返回列表”用户界面对象593-4的响应的示例。图5BL现在示出了测量用户界面591列表，但是其中“宠物测量”用户界面对象591-4改名为“Lola的尺寸”。
图5BM示出了沿该示例中的向左方向，在测量用户界面591列表中的相应用户界面元素上方(例如，在“手部间距测量”用户界面对象591-5上方)的轻扫手势。尽管示出了沿向左方向597-1的轻扫，但是应当理解，也可使用任何其他合适的轻扫方向。在一些实施方案中，沿预定方向(诸如向左方向)的轻扫用于指示要删除相应测量。图5BN示出了继续沿向左方向的沿向左方向轻扫597-2。随着在其上方执行轻扫手势的相应用户界面对象591-5根据沿向左方向轻扫597-2移动，开始显示删除通知598。在一些实施方案中，当将整个相应用户界面对象完全轻扫离开视图时，删除通知598替换该整个相应用户界面对象(例如，“手部间距”用户界面对象591-5)。
图5BO示出了在相应用户界面对象(例如，“手部间距”用户界面对象591-5)从显示器(例如，移除或删除)轻扫并且因此从用户界面591中的测量列表中删除之后，在测量列表中在其下方的测量现在在先前由被删除的(相应)用户界面对象占据的位置中显示。例如，图5BO示出了取代“手部间距测量”用户界面对象591-5，现在显示“鞋码”用户界面元素599。
图5BP示出了响应于退出测量应用程序448，重新显示主屏幕用户界面。
图5BQ示出了指向测量应用程序图标448以重启测量应用程序的另一输入，即输入535。在重启测量应用程序之后，显示测量应用程序448的用户界面536，例如，如图5BR所示。在一些实施方案中，退出测量应用程序448标记注释会话(有时称为测量会话)的结束，这继而导致在该会话期间获得的注释(例如，测量)列表被清除。在一些实施方案中，启动测量应用程序开始新注释会话。
图5BR示出了测量应用程序448的用户界面536，该用户界面包括增强现实视图500，该增强现实视图包括在设备100的一个或多个相机的视野中的三维物理环境501的部分的视图。如图5BR所示，测量应用程序在自动测量模式下操作，如由自动测量模式图标505-1上方的选择指示符537所指示的。
图5BS示出了指向对应于测量应用程序的三维测量模式的三维测量模式图标505-2的输入538。
图5BT示出了测量应用程序的用户界面536，该测量应用程序响应于输入538在三维测量模式下操作。在一些实施方案中，如图5BT所示，三维测量模式下的操作由三维测量模式图标505-2上方的选择指示符537指示。在一些实施方案中，还如图5BT所示，三维测量模式下的操作由具有与三维测量相关联的外观诸如在图5BT中示出的六分段的外观的标线504指示。
图5BU示出了相对于物理环境501在与图5BT中的位置不同的位置处的设备100(例如，设备100的一个或多个相机)，例如，响应于设备从在图5BT中示出的位置移动到在图5BU中示出的位置。因此，已经更新了在用户界面536中显示的该一个或多个相机的实时视图以反映现在在该一个或多个相机的视野中的物理环境501的部分。在图5BU中，注释放置用户界面元素(例如，标线504，并且更具体地，标线504中的聚焦点504-1)在桌子502-5的表示503-5的一部分上方。桌子502-5完全在设备100的该一个或多个相机的视野中。
根据设备100的该一个或多个相机被定位使得标线504在可由设备100测量的三维对象诸如桌子502-5的表示的一部分上方显示(并且任选地根据确定用户界面536包括所有或基本上所有桌子502-5的表示)，图5BV至图5BX示出了发起对桌子502-5采取三维测量的设备100。例如，图5BV至图5BX示出了动画的进展，其中标线504转变成覆盖在桌子502-5的表示503-5上的指示565-2(例如，包括三维对象的拐角处的标记的第一指示，如图5BW所示，和/或包括边界框565-3的第二指示，如图5BX所示)，以指示可由设备100进行桌子502-5的一次或多次测量。
图5BY示出了相对于物理环境501在与图5BT中的位置不同的位置处的设备100，例如，响应于设备100从在图5BT中示出的位置移动到在图5BX中示出的位置，并且然后移动到在图5BY中示出的位置。例如，设备100在图5BY中比在图5BX中更靠近桌子502-5(被设备100遮挡)。因此，已经更新了在用户界面536中显示的该一个或多个相机的实时视图以反映现在在该一个或多个相机的视野中的物理环境501的部分。在图5BY中，桌子502-5在该一个或多个相机的视野中的部分小于当设备100在图5BX中示出的位置中时的部分。在一些实施方案中，测量应用程序根据显示在桌子503-5的部分表示的一部分上方的标线504自动转变为二维测量模式，其中部分表示503-5包括至少阈值量的桌子502-5的二维表面的视图(例如，桌面)，而不包括至少阈值量的桌子的第三维度的视图。
图5BZ和图5CA示出了与图5BY中距桌子502-5相似的距离的设备100，并且稍微向右移动，使得标线504(例如，更具体地，标线504的聚焦点504-1，如图5CA所示)在定位在桌子502-5上的杂志502-7(被设备100遮挡)的表示503-7的一部分上方。杂志502-7完全在设备100的该一个或多个相机的视野中。
图5CA示出了根据设备100的该一个或多个相机被定位使得标线504(包括其聚焦点504-1)在二维特征(例如，可由设备100测量的杂志502-7)的表示的一部分上方显示(并且任选地根据确定用户界面536包括二维特征中的所有或基本上所有二维特征的表示)，测量应用程序已经(例如，从在图5BZ中示出的三维测量模式)转变为二维测量模式，例如通过二维测量模式图标505-3上方的选择指示符537指示，并且又如通过具有与二维测量相关联的外观(诸如在图5CA中示出的四分段的外观)的标线504指示。需注意，尽管杂志502-7是物理环境501中的三维对象，但是杂志502-7足够薄，以至于杂志502-7的页面的二维区域比杂志502-7的三维测量集更可能使设备100的用户感兴趣。因此，在一些实施方案中，设备100将薄三维对象诸如杂志502-7认为是二维特征而不是三维对象。
根据设备100的该一个或多个相机被定位使得标线504在杂志503-7的表示的部分上方显示，图5CA至图5CD示出了发起对杂志502-7采取二维测量的设备100。例如，图5CB至图5CD示出了动画的进展，其中标线504转变成覆盖在杂志502-7的表示503-7上的指示(例如，如由图5CC中的指示565-4和图5CD中的指示565-5所示)，以指示可由设备100对杂志502-7采取一次或多次测量。
图5CE示出了指向对应于测量应用程序的一维测量模式的点对点(例如，一维)测量模式图标505-4的输入539。
响应于输入539，测量应用程序转变为一维测量模式。因此，在图5CF中，选择指示符537在点对点测量模式图标505-4上方显示。图5CF还示出了响应于输入539的测量应用程序的用户界面552的转变。根据一些实施方案，响应于经由选择对应的图标而手动选择测量模式，在将测量应用程序从一个测量模式(例如，当接收到手动选择时在其中操作测量应用程序的测量模式)转变为另一测量模式(选定的测量模式)的同时显示动画过渡。在一些实施方案中，在自动转变测量模式的同时不显示测量模式之间的动画过渡(例如，在从图5BZ中的三维测量模式到图5CA中的二维测量模式的自动转变期间未显示动画过渡)。在一些实施方案中，所显示的转变包括使用户界面536的一个或多个部分变黯淡。在图5CF中的特定示例中，所显示的转变包括使设备100的该一个或多个相机的视野的表示变黯淡和/或模糊(例如，任选地不使测量应用程序的控件变黯淡和/或模糊)。此外，在一些实施方案中，如在图5CB中的示例性转变中，在转换到手动选定的测量模式期间停止显示标线504。
图5CG示出了测量应用程序的用户界面536，该测量应用程序在一维测量模式下操作。因此，标线504显示为与一维(例如，点对点)测量相关联的外观，诸如在图5CG中示出的两分段的外观。
图5CH示出了相对于物理环境501在与图5CG中的位置不同的位置处的设备100，例如由于设备100从在图5CG中示出的位置移动到在图5CH中示出的位置。因此，已经更新了在用户界面536中显示的该一个或多个相机的实时视图以反映现在在该一个或多个相机的视野中的物理环境501的部分。在图5CH中，设备100被定位使得标线504(例如，更具体地，标线504的聚焦点504-1)在台灯502-6的表示503-6中的点上方。
图5CI示出了指向注释创建按钮508的输入540，以开始创建测量注释，其中标线504的聚焦点504-1的当前位置指示用于一维测量的起点。在图5CH中示出的示例中，起点是台灯541的基座处的物理环境501中的位置。
图5CJ示出了在用户界面536中添加从起点延伸(如参考图5CI所述的)并且延伸到物理环境501中的对应于标线504的聚焦点504-1的当前点的注释(例如，测量注释)，即测量表示546。测量表示546包括测量区段547和标签548。测量区段547显示为指示测量仍然在进行中的外观(例如，虚线)(例如，尚未指定一维测量的终点)。标签548指示测量的当前长度(例如，物理环境501中起点与当前点之间的距离)。
图5CK示出了指向注释创建按钮508的输入540，以完成或结束创建测量注释，其中标线504的聚焦点501-4指定用于在图5CH中发起的且在图5CJ中进展的一维测量的终点。在图5CK中示出的示例中，终点是台灯541的顶部处的物理环境501中的位置。
图5CL示出了响应于输入540的测量的最终表示542，同时根据测量区段543显示为指示已经完成测量的外观(例如，实心外观)，标线504的聚焦点501-4指定用于测量的终点。
图5CM示出了指向测量列表按钮506的输入544。
为简单起见并为了示出设备100的较大视图，图5CN省略了设备100的背景中的物理环境501。在图5CN中，响应于输入544，设备100显示测量列表用户界面545。在图5CN中示出的示例中，测量列表用户界面545在测量应用程序的用户界面536的一部分上方显示，同时显示用户界面536的一个或多个其他部分诸如控件(例如，模式指示用户界面505、测量列表按钮506、撤消用户界面对象507、测量锁定用户界面对象508和记录用户界面对象550)，以用于测量应用程序和/或该一个或多个相机的实时视图。一旦如本文参考图5BQ所述的，重启测量应用程序，则图5CN中的测量列表用户界面545仅列出在当前测量会话期间采取的测量。因此，图5CN中的测量列表用户界面545包括线性测量543(参考图5CJ至图5CL所述的)。图5CN中的测量列表用户界面536不包括参考图5A至图5BO所述的测量中的任何测量，这些测量是在先前结束的先前测量会话(例如，如本文参考图5BP和图5BQ所述的)期间进行的。
图6A至图6Y示出了根据一些实施方案的用于测量非线性表面(例如，弯曲表面)和用于从先前捕获的媒体项检索测量信息的示例性用户界面。
图6A示出了经由自动测量模式图标605-1的输入650的选择。自动测量模式图标605-1当被选择时，可使便携式多功能设备100自动检测标线所覆盖的表面或对象(例如，三维对象、二维表面等)，并且基于该确定，该设备可自动指示该表面或该对象是可测量的。三维测量模式图标605-2、二维表面测量模式图标605-3和点对点测量模式图标605-4当被选择时，允许用户分别以三维(例如，长度、宽度和高度)、两维(例如，从长度、宽度或高度中选定的两个维度)或从一个点到另一个点(例如，桌子的边缘的长度)测量。在一些实施方案中，还存在平面布置测量模式图标605-5，其当被选择时，允许用户扫描三维物理环境601以产生平面布置图(例如，鸟瞰视图)。在一些实施方案中，可显示这些模式图标的任何组合。例如，在一些实施方案中，可仅显示自动模式和平面布置模式。在一些实施方案中，可添加附加的模式图标，诸如弯曲表面模式。
图6B示出了已经选定自动测量模式图标605-1之后的设备的操作的一些方面。图6B示出了便携式多功能设备100正在显示增强现实视图600。增强现实视图600基于在一个或多个光学传感器164的视野中的三维物理环境601创建。该增强现实视图600用于在三维物理环境601中发现的对象上或附近显示注释(例如，测量、边界框等)。
图6B还示出了三维物理环境601包括多个项，诸如TV支架602-1、TV(和/或任何其他类型的显示器)602-2、沙发602-3、抱枕602-4、桌子602-5、台灯602-6和杂志602-7。增强现实视图600包括三维物理环境601中所示的所述多个项的对应表示。在该示例中，所述多个项的对应表示包括TV支架603-1、TV 603-2、沙发603-3、抱枕603-4、桌子603-5、台灯603-6和杂志603-7的表示。便携式多功能设备100上示出的增强现实视图600具有覆盖增强现实视图600的多个用户界面对象。这些用户界面对象用于控制在增强现实中显示的内容，并且还用于帮助用户对在三维物理环境601中示出的对象采取和叠加测量(例如，度量)。在一些实施方案中，用户界面对象中的一个用户界面对象是注释放置用户界面对象，例如，标线604，其向用户指示测量(如果已插入(例如，已放置))将开始的位置。
具体地，图6B示出了现在未选择点对点测量模式图标605-4，并且选择指示符635现在在自动测量模式图标605-1上方。在一些实施方案中，根据用户已经选定的模式，在视觉上改变标线604，该标线向用户示出当前使用的测量模式。图6B还示出了适形于沙发坐垫的表面638，在三维空间中沿循该表面的部分弯曲引导636。
图6C示出了在选定自动测量模式图标605-1的同时，测量锁定用户界面对象608上方的输入640。
图6D示出了对测量锁定用户界面对象608上方的输入640的响应。响应于测量锁定对象608上方的输入640，将适形于坐垫的表面638的部分弯曲引导636替换为完整的弯曲引导642。与用于测量从一个点到另一个点的距离的直线(例如，线性)引导线相比，该弯曲引导642适合于沿着沙发的弯曲表面采取测量，其中弯曲引导642覆盖在适形于该沙发的表面中的曲线的表面上方(例如，考虑到物理表面的不规则形状的弯曲测量将长于线性点对点测量)。
图6E示出了标线604沿着完整的弯曲引导642移动，从图6D中的竖直表面或平面移动到图6E中的水平表面或平面。另外，刻度标记644-1也任选地沿着弯曲引导642的至少一部分显示。另外，任选地，还可显示实时测量读数646以指示从引导642的起点到标线604的当前位置的距离。
图6F示出了标线604继续沿着完整的弯曲引导642移动，并且刻度标记644-2沿着弯曲引导642的一部分在该引导的起点与标线的聚焦点504-1的当前位置之间显示。另外，任选地，还可显示实时测量读数647以指示从引导642的起点到标线604的当前位置的距离。
图6G示出了测量锁定用户界面对象608上方的输入640。此类输入指示测量完成。图6H示出了对测量锁定用户界面对象608上方的输入640的响应。具体地，图6H示出了锁定测量648，有时称为完成的测量。
图6I至图6Y示出了可如何在存储的媒体项(例如，照片、视频等)内查看测量结果。图6I示出了返回到主屏幕的设备100，该主屏幕包括照片应用程序图标428。
图6J示出了媒体应用程序图标428上方的输入651。图6K示出了响应于媒体应用程序图标上方的输入651，照片应用程序用户界面653在设备100上显示。在媒体应用程序用户界面653内，选定第一媒体项655-1并在扩展视图中显示。另外，缩略图刷动条657在第一媒体项655-1下方示出。刷动条657用于显示媒体项的缩略图图像(例如，第一媒体项缩略图656-1、第二媒体项缩略图656-2、第三媒体项缩略图656-3和第四媒体项缩略图656-4)。这些缩略图图像分别与第一媒体项655-1、第二媒体项655-2(参见图6Q)、第三媒体项655-3(参见图6T)和第四媒体项655-4(参见图6X)相对应。这些缩略图图像中的每一个缩略图图像当被选择时使设备100在扩展视图中显示选定的媒体项。
图6K还示出了用于与用户界面653交互的多个用户界面对象。第一，显示共享按钮658，以用于共享媒体项。第二，示出了显示测量按钮660，其当被选择时显示扩展的媒体项的所有可用测量。第三，示出了类似的按钮660，以用于选择用户喜欢的媒体项。第四，示出了删除图标662，其当被选择时使可见的媒体(例如，扩展的媒体项)被删除。
图6K还示出了在第一媒体项655-1内，示出了TV支架603-1部分显示，沙发603-3完全可见，桌子603-5部分显示，台灯603-6完全可见，并且杂志603-7也完全可见。
图6L示出了测量按钮660上方的输入666。图6M示出了，响应于接收到输入666，(1)测量按钮660被示出为被选择(例如，被激活)，并且(2)第一媒体项655-1覆盖有所有可用测量，例如，基于第一媒体项的测量，该第一媒体项包括关于由第一媒体项表示的物理环境的部分中的物理特征的信息，诸如深度信息。在一些实施方案中，可打开和关闭测量按钮660，以显示或隐藏可用测量。具体地，测量按钮660现在由选择指示符670包围。第一媒体项的可用测量包括沙发的测量672。
图6N显示了在桌面603-5上方以调出附加测量的输入674。图6O示出了未响应于输入674而在媒体应用程序用户界面653内示出附加测量。在一些实施方案中，由于当选择测量按钮660时显示所有测量，因此未响应于输入674而示出附加测量。
图6P示出了在第二媒体项缩略图656-2上方以在扩展状态中调出第二媒体项655-2的输入676。图6Q示出了第二媒体项655-2替换第一媒体项655-1的显示。另外，当显示另一媒体项时，测量按钮660变成去激活。在一些实施方案中，任选地，可当通过媒体项改变时持续激活测量按钮660(例如，当选择相应媒体项时将自动显示可用测量)。图6Q还示出了测量按钮660上方以引起第二媒体项655-2中的测量的显示的输入678。第二媒体项655-2是对应于与第一媒体项655-1相同的物理环境的不同部分的媒体项。第二媒体项655-2包括部分显示的沙发603-3和完全可见的桌子603-5、台灯603-6和杂志603-7。图6Q还示出了刷动条657已经从其在图6K至图6P中的位置滚动，以示出选择了第二媒体项缩略图656-2。
图6R示出了响应于输入678，显示第二媒体项655-2中的可用测量。在该第二媒体项655-2中，媒体项包括足以确定仅桌子603-5和台灯603-6的测量680的信息，诸如深度信息。图6R还示出了测量按钮660现在由选择指示符670包围。
图6S示出了在第三媒体项缩略图656-3上方以在扩展状态中调出第三媒体项655-3的输入682。图6T示出了第三媒体项655-3替换第二媒体项655-2的显示。另外，当显示另一媒体项时，测量按钮660变成去激活。在一些实施方案中，任选地，可当在媒体项之间改变时持续激活测量按钮660(例如，当选择相应媒体项时将自动显示可用测量)。第三媒体项655-3是对应于与第一媒体项655-1和第二媒体项655-2相同的物理环境的另一个部分的媒体项。第三媒体项655-3包括桌子603-5的部分显示，并且不包括第一媒体项655-1和第二媒体项655-2中所示的其他对象。图6T还示出了刷动条657已滚动到新位置以示出选择了第三媒体项缩略图656-3。
图6U还示出了在测量按钮660上方以引起第三媒体项655-2中的测量的显示的输入684。图6V示出了响应于输入684，显示可用测量。第三媒体项655-3包括足以确定仅桌子603-5的部分的测量的信息，诸如深度信息，使得能够响应于输入684确定和显示桌子603-5的测量686。图6V还示出了测量按钮660现在由选择指示符670包围。
图6W示出了在第四媒体项缩略图656-4上方以在扩展状态中调出第四媒体项655-4的输入688。图6X示出了第四媒体项655-4替换第三媒体项655-3的显示。第四媒体项655-4是与第一媒体项655-1、第二媒体项655-2和第三媒体项655-3的物理环境不同的物理环境的媒体项。第四媒体项655-4包括建筑物692的显示。
图6Y示出了响应于输入690，显示可用测量。在该第四媒体项655-4中，记录关于建筑物692的物理特征的信息，此类深度信息，使能够确定和显示测量694。图6Y还示出了测量按钮660现在由选择指示符670包围。
图7A至图7AT示出了根据一些实施方案的用于对环境进行扫描和建模，以及与其生成的示意表示交互的示例性用户界面。
图7A示出了从图5CG的示例性转变。特别地，图7A示出了测量应用程序的用户界面700，同时该测量应用程序在一维测量模式下操作，由在(例如，概述)点对点测量模式图标505-4上方显示的选择指示符537指示。图7A还示出了用户界面700中对应于设备100的该一个或多个相机的实时视图(例如，并且不对应于测量应用程序的任何控件)的位置处的输入702(例如，轻扫手势)。
响应于输入702(图7A)，测量应用程序在模式指示用户界面705中转变为下一个测量模式。在图7A中示出的示例中，点对点测量模式之后的下一个测量模式是由平面布置建模模式图标505-5表示的平面布置建模模式(本文也称为平面布置测量模式)。因此，图7B示出了在平面布置建模模式图标505-5上方显示的选择指示符537。此外，在一些实施方案中，平面布置测量模式包括扫描开始/停止按钮704，该扫描开始/停止按钮当被激活时在打开或关闭环境扫描之间切换(例如，当扫描未进行时，扫描开始/停止按钮704被显示为用于发起扫描的扫描开始按钮，并且当扫描进行时，扫描开始/停止按钮704被显示为用于终止扫描的扫描停止按钮)。
图7B还示出了根据一些实施方案的用户界面700的示例性转变，其中显示动画过渡以将测量应用程序从一个测量模式转变(例如，当转变时)到另一测量模式(例如，响应于用户输入，而不是自动地基于在该一个或多个相机的视野中检测到的对象)。在图7B中的示例中，所显示的转变包括临时(例如，对于小于1秒、或小于2秒的时间段)使设备100的该一个或多个相机的实时视图变黯淡和/或模糊，如本文参考图5CF所述的。
图7C至图7D示出了在测量应用程序转变为平面布置建模模式时，标线706从与一维测量(图7A)相关联的外观到与平面布置建模相关联的外观的转变。在图7C中示出的示例中，标线706已经改变为四分段的外观，其中区段从706的中心向外移动，并且在图7D中所示的示例中，标线706的四个区段已经移动到矩形或正方形的拐角。
图7D至图7G示出了示例性标线动画，该示例性标线动画示出了扫描物理环境以在用户围绕周围物理环境移动时逐渐地绘制物理环境的平面布置图708的过程。在一些实施方案中，在扫描物理环境之前将测量应用程序转变为平面布置建模模式时，显示标线动画。在一些实施方案中，标线动画重复地循环(例如，在播放完标线动画之后，如图7D、图7E和图7F所示，标线动画从头开始，如图7G所示)。在一些实施方案中，当测量应用程序处于平面布置建模模式下时，并且每当对物理环境的扫描未进行时，播放标线动画(例如，在已经终止对物理环境的扫描之后并且在随后已经开始对物理环境的扫描之前重新播放标线动画)。在一些实施方案中，显示提示用户围绕物理环境移动的指令(例如，用户围绕物理环境的表示移动的表示的动画)。
图7G示出了指向扫描开始按钮704-1以发起对物理环境701的扫描的输入710。
响应于输入710(图7G)，发起对物理环境701的扫描以捕获指示物理环境701可用于生成平面布置图的信息(例如，深度或其他地形信息)。在图7H中，在用户界面700中由在该一个或多个相机的视野的表示上显示的叠层712指示物理环境701的已经扫描的部分(例如，已经捕获到信息的部分)。叠层712提供物理环境701的已经扫描的部分的第一人称视角透视图。此外，插图714包括提供物理环境701的已经扫描的部分的不同视图(例如，俯视图)的地图716。地图716任选地指示设备100的该一个或多个相机相对于地图716和因此相对于物理环境701的当前相机位置718和/或当前相机视野720。此外，如图7H所示，在一些实施方案中，在用户界面700中的叠层712内在视觉上强调(例如，突出显示)物理环境701中的显著对象(例如，那些对象的边缘)诸如电视502-2和电视支架502-1。
图7I示出了当设备100(例如，设备100的该一个或多个相机)相对于物理环境701移动(例如，从面向电视502-2转动到面向沙发502-3)时从图7H的转变。当设备100移动时，设备100捕获指示物理环境701的附加部分的信息，如由用户界面700中的叠层712的扩展所指示的，并且在一些实施方案中，反映在地图722在插图714中的更新中以包括物理环境701的附加捕获部分的表示。例如，在用户界面700中的叠层712内在视觉上强调沙发502-3(例如，沙发502-3的边缘)。但是在该示例中，电视502-2和电视支架502-1的边缘视觉上的强调程度还是小于沙发502-3，自从该设备首次捕获到它们的物理特征以来，它们的视觉强调便随时间淡化。最初在图7H中以与电视502-2和电视支架502-1相同程度的视觉强调显示的沙发502-3的视觉强调也随时间淡化，如图7K至图7L所示。此外，在图7I中示出的示例中，根据设备100在物理环境701中的侧向移动和旋转，地图722在插图714中平移和旋转，使得相机位置718和相机视野720相对于插图714保持静止。
图7J示出了从图7H的另选转变。与图7I相比，图7J中的地图716不在插图714中旋转。相反，地图716以与图7H中的取向相同的取向显示在图7J中的插图714中，并且相机位置718和相机视野720相对于地图716并因此相对于插图714而改变，以反映设备100在物理环境701中的侧向移动和旋转。
图7K示出了该一个或多个相机的视野由于球724从图7H或图7J中的该一个或多个相机的视野移动通过物理环境701以及物理对象(例如，球724)进入该一个或多个相机的视野而发生的变化，该变化被反映在该一个或多个相机的在设备100的用户界面700中显示的实时视图中。
图7L示出了响应于检测到物理对象在物理环境701中(例如，球724)的移动，设备100显示指示用户当扫描时不要移动物理环境701中的对象的警报726(例如，“请勿移动房间中的物品”)。在设备扫描物理环境期间对象在物理环境中移动干扰关于物理环境的信息的准确捕获，并且扫描它们自身是困难的，特别是如果它们快速移动的话，并且因此干扰了准确的平面布置图生成。
图7M示出了设备100在物理环境701中的继续移动(例如，在从图7L的转变中)和针对物理环境701的附加部分的信息的捕获的结果，包括用户界面700中的叠层712的进一步扩展，以及插图714中的地图716的进一步更新。图7M还示出了在用户界面700中的叠层712内在视觉上强调的桌子502-5的边缘，其中视觉强调随时间减小，如图7N所示。
在图7M中，在设备100的该一个或多个相机的视野中的物理环境701的部分包括镜子728。在图7N中，根据确定该一个或多个相机的视野包括镜子(例如，根据确定该一个或多个相机的视野的表示包括镜子的表示)，设备100显示指示用户当扫描时不要将该一个或多个相机(例如，对应于设备100的显示器的中心点或区域的该一个或多个相机的聚焦点)指向物理环境中的镜子的警报730(例如，“请不要指向镜子”)。
图7O示出了设备100在物理环境701中的继续移动(例如，在从图7M的转变中)和针对物理环境701的附加部分的信息的捕获的结果，包括用户界面700中的叠层712的进一步扩展，以及插图714中的地图716的进一步更新。
图7P示出了设备100在物理环境701中的继续移动(例如，在从图7O的转变中)和针对物理环境701的附加部分的信息的捕获的结果，包括用户界面700中的叠层712的进一步扩展，以及插图714中的地图716的进一步更新。根据确定设备100(例如，其一个或多个相机)移动得太快以至于不允许由设备捕获关于物理环境701的准确信息，设备100显示指示用户减慢设备100的移动以允许设备100有时间捕获关于物理环境701的信息的警报732(例如，“减速”)。
图7Q示出了设备100在物理环境701中的继续且缓慢的移动(例如，在从图7P的转变中)和针对物理环境701的附加部分的信息的捕获的结果，包括用户界面700中的叠层712的进一步扩展，以及插图714中的地图716的进一步更新。
在图7R中，根据确定该一个或多个相机移动经过物理环境701的一部分(其中例如由于该一个或多个相机移动得太快，诸如在图7O与图7P之间未完全捕获到信息)，设备100显示警报734(例如，“返回以扫描缺失的光斑”)，如由地图716的缺失部分736所指示的。
图7S示出了响应于警报734(图7R)，设备100由其用户移动回到图7O中的设备100的位置与图7P中的设备100的位置之间的物理环境701中的位置，如相机位置718所指示的，以重新尝试捕获针对物理环境701的缺失部分的信息。需注意，在图7P至图7R中，尽管至少部分地缺失针对物理环境701的信息，但是叠层712被显示为连续区域。也就是说，在一些实施方案中，提供警报诸如警报734，以指示用户重新扫描物理环境701的缺失部分，而不是在叠层712中显示孔或间隙以指示缺失信息的区域。
在图7S中，在设备100的该一个或多个相机的视野中的物理环境701的部分包括设备100(例如，其一个或多个相机)当前所在的当前房间的出口。在一些实施方案中，设备100允许用户在设备100当前所在的房间(例如，用户握持设备100的房间)与相邻房间之间标记入口。用户可在相邻房间之间标记入口的示例性机制在图7T中示出，其中设备100显示询问用户以指示用户是否将从物理环境701中的当前房间穿过门口740移动到另一个房间的提示738。图7U示出了指向“否”按钮744的输入742，用户通过该按钮拒绝移动到相邻房间中。
图7V示出了设备100在物理环境701中的继续移动的结果。在图7V中，设备100的该一个或多个相机位于物理环境701的墙壁746附近，如在用户界面700中的该一个或多个相机的实时视图中窗户748看起来很大并且地图716中相机位置718接近墙壁746的表示750(其中相机视野720面向墙壁746的表示750)所指示的。在图7W中，根据确定该一个或多个相机的视野中的对象太靠近该一个或多个相机，设备100显示提示用户将该一个或多个相机进一步移动远离视野中的对象的警报749(例如，“距离过近”)，如图7X所示。
图7Y示出了设备100在物理环境701中的继续移动(例如，在从图7S的转变中)的结果。在图7Y中，在设备100的该一个或多个相机的视野中的物理环境701的部分包括楼梯747，该楼梯是设备100当前所在的当前房间的出口。在一些实施方案中，根据确定该一个或多个相机的视野包括通往相邻(例如，内部)房间的入口之外的当前房间的出口(例如，室外出口，或通往不同建筑楼层的楼梯)诸如楼梯747，设备100显示指示用户当扫描时不要通过该出口离开当前房间的警报。在图7Z中示出的示例中，设备100显示指示用户当扫描时不要走楼梯747到上层建筑楼层的警报745(例如，“请勿上楼”)。又如，设备100显示指示用户当扫描时不要走楼梯到下层建筑楼层的警报(例如，“请勿下楼”)。还又如，设备100显示指示用户当扫描时不要离开房间到室外的警报(例如，“请勿前往室外”)。
图7AA示出了设备100在物理环境701中的继续移动(例如，在从图7Y的转变中)和针对物理环境701的附加部分的信息的捕获的结果，包括用户界面700中的叠层712的进一步扩展，以及插图714中的地图716的进一步更新。
图7AB示出了设备100在物理环境701中的继续移动(例如，在从图7AA的转变中)和针对物理环境701的最后部分的信息的捕获的结果，包括用户界面700中的叠层712的进一步扩展，使得叠层712在当前房间物理环境701的表示的每个部分上方显示，以及插图714中的地图716的进一步更新，使得地图716提供物理环境701的当前房间的完整视图。图7AB还示出了指向扫描停止按钮704-2以结束对物理环境701的扫描的输入743。响应于输入743，结束对物理环境701的扫描，并且在一些实施方案中，使用在扫描过程期间在物理环境701周围捕获的信息生成和显示平面布置图。本文参考图7AC至图7AT进一步详细描述此类平面布置图的示例。
图7AC示出了使用当扫描房间时获得的信息(如上文参考图7A至图7AB所述的)来显示平面布置用户界面751的便携式多功能设备100。平面布置用户界面751包括相应房间的平面布置图，例如“家庭房”752。相应房间的平面布置图包括对边界外墙753-1至753-5(例如，其长度和其相对于彼此的角度)、门754、固定装置755(例如，镜子)和窗户756的多个测量结果。另外，相应房间的平面布置图包括对相应房间中的物理对象诸如：桌子757、沙发758、TV 759和TV支架760的测量结果。在该示例中，还在相应房间的平面布置图中示出了楼梯761。除了平面布置测量结果之外，平面布置用户界面751包括选项用户界面对象762，该选项用户界面对象当被选择时显示用于改变所显示的平面布置图的视觉属性的控件。还显示信息框763，该信息框包括关于平面布置图相对于物理环境763-1的比例(例如，在图7AC中比例是，物理环境中的一英寸等于虚拟平面布置图中的十英尺)和相对于基点方向763-2的房间的取向(例如，通过显示罗盘或罗盘点的表示)的信息。最后，存在“完成”按钮765，该按钮当被选择时关闭平面布置用户界面751，并且还提示用户将平面布置图保存到照片应用程序，将平面布置图本地或远程地保存到文件储存库，或删除该平面布置图。
图7AD示出了在平面布置用户界面751上方，具体地，在相应房间的平面布置图上方发生的展开手势766-1和766-2。图7AE示出了对展开手势766-1和766-2的响应。响应于展开手势766-1和766-2，重新缩放房间；然而，在一些实施方案中，文本标签和线条粗度不以与平面布置图相同的比率重新缩放。图7AE还显示了继续的展开手势766-1和766-2。图7AF示出了对展开手势766-1和766-2的继续的响应。响应于展开手势766-1和766-2的继续，重新缩放房间，然而，文本标签和线条粗度再次不以与平面布置图相同的比率重新缩放。图7AF示出了响应于展开手势766-1和766-2的移动停止而中止或结束相应房间的重新缩放。图7AF还示出了平面布置图相对于被更新的物理环境763-1的比例。
图7AG示出了相应房间的重新缩放的平面布置图的绘图比例自动对齐到新的重新缩放的阈值，或对齐到绘图比例的预定义组中的相应绘图比例。在图7AG中示出的示例中，新的重新缩放的阈值被定义为物理环境中的6英尺，等于虚拟平面布置图中的1英寸。在重新缩放的环境中，通过平面布置图相对于被更新的物理环境763-1的比例反映了新的缩放。
在一些实施方案中，如图7AC至图7AG所示，扫描的对象中的一个或多个扫描的对象(例如，桌子和沙发)由该设备自动识别，并且基于该识别并在没有人工干预的情况下，平面布置图中的那些对象的所显示的表示被分配有标题或名称。因此，可能存在用户想要将对象的分配的标题或名称改变为由用户指定的标题或名称的情况。图7AH至图7AJ示出了此类交互作用。
图7AH示出了已识别的对象的所显示的名称上方的输入767，该已识别的对象在该示例中标记为“桌子”768-1。图7AI示出了所得的用户界面，该所得的用户界面允许用户改变已识别的对象的名称。在一些实施方案中，名称改变(例如，更名)响应于在虚拟键盘处接收到的输入而发生，该虚拟键盘覆盖下面的平面布置用户界面751或与下面的平面布置用户界面751的重新缩放版本同时显示。在一些实施方案中，可使用外部键盘，该外部键盘不会使下面的平面布置用户界面751被覆盖或重新缩放。图7AJ示出了标记为“桌子”768-1，现在标记为“咖啡桌”768-2的已识别的对象。
图7AK示出了平移输入769(例如，在该示例中沿向右方向移动的单个手指轻扫输入)。图7AL示出了对平移输入769的响应。图7AL示出了根据平移输入769移动相应房间(例如，该示例中的“家庭房”752)的平面布置图。图7AL还示出了在相应房间的平面布置图上方继续的平移输入769。图7AM示出了对继续的平移输入769的响应。现在，“家庭房”752的平面布置图不再完全显示在显示器上。在一些实施方案中，如图7AM所示，根据确定平移输入769使相应房间的平面布置图的部分不再显示，移动测量结果以便保持它们被显示，尽管它们的原始位置不再显示。此外，在一些实施方案中，移动相应房间的标题或名称(例如，“家庭房”标题752-1)，因此尽管其原始位置不再显示，但其仍保持在显示器上。
图7AN示出了门754上方的轻击输入770。图7AN中的门示出了打开进入“家庭房”752的门754。响应于轻击输入770，图7AO示出了打开离开“家庭房”752的门754。换句话说，门上的轻击输入可改变门打开或关闭的方向。
图7AP现在示出了选项用户界面对象762上方的输入771。图7AQ示出了对选项用户界面对象762上方的输入771的响应。在图7AQ中，选项用户界面对象762被扩展的选项用户界面772替换或覆盖。扩展的选项用户界面772包括手绘切换772-1、附加测量切换772-2，并且示出了家具切换772-4。手绘切换772-1当切换到激活位置时，改变平面布置图的外观，使该平面布置图看起来如同手绘(例如，素描)一样。附加测量切换772-2当切换到激活位置时，引起最初未显示的附加线性测量(例如，度量)的显示。在一些实施方案中，附加测量切换772-2当切换到激活位置时，引起最初未显示的附加角度(例如，90度角之外的角度)的显示。示出家具切换772-4当被选择时，使相应房间中已经由该设备识别的家具在相应房间的平面布置图上显示。
图7AR示出了附加测量切换772-3上方的输入773。图7AS示出了对输入773的响应。如上所述，附加测量切换772-3当切换到激活位置时，引起最初未显示的附加线性测量(例如，度量)的显示(在平面布置图中)。图7AS示出了在平面布置图中显示的附加测量结果。例如，所包括的新的测量结果是：桌子757的对角线长度776、固定装置755(例如，镜子)的宽度777和窗户756的宽度778。虽然在该示例中示出了特定的附加测量结果，但是除了所示的这些测量结果之外或代替它们，可示出许多其他测量结果。
图7AT示出了另选实施方案，其中附加测量切换772-2上方的输入775使显示90度之外的角度。例如，图7AT示出了响应于激活附加测量切换772-2而显示的附加角度(774-1和774-2)。在一些实施方案中，这些附加角度是在房间中确定的大于或小于90度(例如，45度或135度)的角度。
图8A至图8F是示出根据一些实施方案的使用增强现实环境显示物理环境的自动确定的测量的方法800的流程图。方法800在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，方法800指示当注释放置用户界面中的标线(例如，如参考图5I至图5N所述的标线504)在能够被测量的物理特征的表示上方时，并且响应于对物理特征执行一次或多次测量的请求，基于被确定的物理特征的特征类型来自动确定对物理特征采取的测量类型，而无需用户提供输入以指定采取的测量类型(例如，通过选择注释放置用户界面的特定注释模式)。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统经由显示设备显示(802)注释放置用户界面(例如，增强现实测量应用程序的用户界面)。注释放置用户界面包括：该一个或多个相机的视野的表示，包括在该一个或多个相机的视野中的三维物理环境的一部分的表示(例如，如图5C和图5D所示)，其中基于该一个或多个相机的视野中的变化随时间更新视野的表示(例如，视野的表示是基于物理环境中的在视野内的变化，和/或基于改变物理环境在视野内的部分的该一个或多个相机的移动而更新的实时视图)；以及放置用户界面元素(例如，标线504)，该放置用户界面元素指示(例如，经由标线的点或其他标记)响应于接收到注释放置输入，虚拟注释(例如，测量的表示)将被放置在视野的表示中的哪个位置(例如，如参考图5R至图5S所述)。
在一些实施方案中，在显示注释放置用户界面的同时，计算机系统检测(804)该一个或多个相机相对于物理环境的第一移动。
响应于检测到该一个或多个相机相对于物理环境的第一移动，计算机系统基于该一个或多个相机的第一移动来更新(806)视野的表示(例如，如参考图5C和图5D所述)。
根据确定放置用户界面元素(例如，如参考基于设备100的移动放置的标线504所述)在物理环境中能够被测量的物理特征的表示的至少一部分上方，计算机系统根据物理特征的表示的一个或多个方面改变(808)放置用户界面元素的外观(例如，以对准或适形于物理特征的表示的一个或多个方面，诸如以突出或标记物理特征的一个或多个边缘、顶点、边界等，使得相对于视野的表示在视觉上强调物理特征的表示，和/或以指示将相对于物理特征执行的测量类型，例如长度、高度、面积和/或体积测量)(例如，如参考图5I至图5N、图5T至图5X和图5AI至图5AJ中的标线504所述)。
在显示注释放置用户界面的同时，计算机系统接收(810)包括对物理特征执行一次或多次测量的请求的注释放置输入(例如，如参考图5G至图5H、图5R至图5T和图5W至图5X所述)。
在一些实施方案中，在不考虑(例如，在之前或没有接收到)请求执行该一次或多次测量的用户输入的情况下，由系统执行(例如，确定)一次或多次测量。在一些实施方案中，接收到的注释放置输入包括显示物理特征的一次或多次测量的请求(例如，代替对物理特征执行一次或多次测量的请求)。换句话讲，在一些实施方案中，是注释放置输入的用户输入包括或对应于添加或显示已经由系统执行或确定的一次或多次测量的一个或多个表示的请求。
响应于接收到对应于对物理特征(812)执行一次或多次测量的请求的输入：根据确定该物理特征为第一类型的物理特征(例如，物理对象的边缘)(814)，计算机系统在该物理特征的表示上方显示第一测量类型(例如，测量例如对象诸如桌子的边缘的长度的点对点距离(如参考图5F至图5H和图5S至图5T所述)的一维测量类型)的(例如，物理特征的)第一组一个或多个测量表示；并且，根据确定物理特征为不同于第一类型的物理特征的第二类型的物理特征(例如，物理对象诸如桌子、墙壁、窗户等的二维表面)(816)，计算机系统在该物理特征的表示上方显示不同于第一测量类型(如参考图5I至图5K所述)的第二测量类型(例如，测量区域例如二维表面的区域以及任选地测量例如在该一个或多个相机的视野中的表面的边缘的长度的一个或多个点对点距离的二维测量类型)的(例如，物理特征的)第二组一个或多个测量表示。在一些实施方案中，第一类型的特征可为任何类型的特征，诸如下文描述的特征类型中的一种特征类型，诸如一件家具(822)、人(824)或人的身体部位(诸如人的脸、眼睛(828)、手(832)或脚(830))、动物(826)等。参考图5F至图5AL描述此类特征和其测量的示例。在一些实施方案中，第二类型的特征可为同一组特征类型中的任何一个特征类型，只要第二类型的特征与第一类型的特征不同即可。
在一些实施方案中，物理特征为(818)相应第一类型的物理特征，物理特征是在该一个或多个相机的视野中的物理环境中的物理对象的第一部分(例如，对应于第一尺寸)，并且物理对象的第二部分(例如，对应于第二尺寸)至多部分地在该一个或多个相机的视野中(例如，第二部分不完全在视野中)，其示例在图5F至图5N中示出。在一些实施方案中，在物理特征的表示上方显示相应第一测量类型的相应第一组一个或多个测量表示(例如，根据物理特征是第一相应类型的物理特征)之后，计算机系统检测该一个或多个相机相对于物理环境的第二移动，使得物理对象的第二部分(例如，完全)在该一个或多个相机的视野中。在一些实施方案中，响应于检测到该一个或多个相机的第二移动，计算机系统基于该一个或多个相机的第二移动来更新视野的表示，包括在视野的表示中显示物理对象的表示，该物理对象的表示包括物理对象的第二部分的表示(例如，和任选地在该一个或多个相机的视野中的物理对象的一个或多个其他部分诸如第一部分的表示)。
在一些实施方案中，根据确定放置用户界面元素(例如，标线504)在物理对象的表示的至少一部分上方(例如，并且根据确定物理对象能够被测量)，计算机系统根据包括物理对象的第二部分的物理对象的表示的一个或多个方面，改变放置用户界面元素的外观(例如，以通过对准或适形于第二部分的表示的一个或多个方面(除了例如以突出或标记物理对象的部分的一个或多个边缘、顶点、边界等的物理对象的任何其他部分(诸如第一部分)的所显示的表示的方面之外)来考虑，使得物理对象的表示相对于视野的表示在视觉上被强调和/或以指示将相对于物理对象执行的测量类型，诸如长度、高度、面积和/或体积测量)，上文参考图5F至图5T描述了其示例。
在一些实施方案中，在显示包括物理对象的表示的注释放置用户界面的同时，计算机系统接收包括对物理对象执行一次或多次测量的请求的第二注释放置输入。在一些实施方案中，响应于接收到对应于对物理对象执行一次或多次测量的请求的输入，计算机系统在物理对象的表示上方显示基于物理对象的第二部分的相应第二测量类型的相应第二组一个或多个测量表示，上文参考图5I至图5N描述了其示例。
在一些实施方案中，相应第二测量类型基于在该一个或多个相机的视野中的物理对象的第二部分和任何其他部分，诸如第一部分。在一些实施方案中，如果物理对象的第一部分不再在该一个或多个相机的视野中，则相应第二测量类型基于物理对象的第二部分而不基于物理对象的第一部分。在一些实施方案中，通过使用先前获得的关于第一部分的信息，相应第二测量类型基于物理对象的第二部分和第一部分，而不考虑第一部分是否(例如，保持)在该一个或多个相机的视野中。例如，物理对象的第一部分是物理对象的第一边缘，并且相应第一测量类型测量点对点距离(例如，第一边缘的长度)。在该示例的一些场景中，物理对象的第二部分是与第一边缘相邻的物理对象的第二边缘，并且相应第二测量类型测量(例如，由至少第一边缘和第二边缘界定的物理对象的表面的)面积和任选地第一边缘的长度和第二边缘的长度。在第二示例中，物理对象的第一部分是物理对象的第一表面，并且相应第一测量类型测量第一表面的面积(和任选地第一表面的边缘的长度)(例如，如上文参考图5I至图5N所述)。在该第二示例的一些场景中，物理对象的第二部分是入射到第一表面的物理对象的边缘，并且相应第二测量类型测量物理对象的体积和任选地第一表面的面积、第一表面的边缘的长度和/或入射边缘的长度。
随着该一个或多个相机的移动，该一个或多个相机的视野中的物理对象的附加部分进入视图中，改变放置用户界面元素的外观以考虑物理对象的附加部分为用户提供指示物理对象的不同类型的测量已经变得可用的视觉反馈，且自动使得能够采取不同类型的测量使得用户能够访问附加控制选项而无需在复杂的菜单分级结构中进行导航。在一组条件已经被满足时为用户提供改进的视觉反馈并且(例如，自动地)提供附加控制选项而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，物理环境中的物理对象的第一部分在(820)该一个或多个相机的视野中，物理对象的第一部分包括与不在该一个或多个相机的视野中或仅部分地在该一个或多个相机的视野中的物理对象的第二部分相邻的边缘区域(例如，该一个或多个相机的视野包括物理对象的部分视图)。在一些实施方案中，计算机系统在该一个或多个相机的视野的表示中显示物理对象的第一部分的表示，包括在视觉上削弱(例如，淡化)与物理对象的第二部分相邻的边缘区域的表示(例如，如参考图5F至图5G所述)。在一些实施方案中，边缘区域中的点越靠近物理对象的第二部分，就会逐渐被削弱(例如，边缘区域中距物理对象的第一部分与第二部分之间的边界的第一距离的第一点相对于边缘区域中距边界的第二距离(大于第一距离)的第二点在视觉上被削弱)。
在视觉上削弱(例如，淡化)与不可见的物理对象的部分相邻的物理对象的可见部分的表示提供通知用户物理对象不完全可见并且如果用户希望更完全地查看和/或测量物理对象，则提示用户移动该一个或多个相机的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，确定物理特征为第一类型的物理特征包括(822)由系统确定物理特征是一件家具，并且第一测量类型的测量包括以下中的一者或多者：物理特征的高度、宽度、深度和体积。
执行对确定为一件家具的物理特征(例如，物理对象)的高度、宽度、深度和/或体积测量提供智能测量功能，该智能测量功能测量与其类型相关且用户很可能感兴趣的物理特征的尺寸和方面，而无需用户提供输入以指定用户想要对物理特征采取哪种类型的测量。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，确定物理特征为第一类型的物理特征包括(824)由系统确定物理特征是人，并且第一测量类型的测量包括人的脚底(例如，人的脚的底部或在站立或坐下时人的脚放置在其上的表面)与人的头顶(例如，人的头部的顶部)之间的距离。在一些实施方案中，从人的脚底到人的头顶的距离的表示包括从人的脚底到人的头顶的测量区段和/或指示该距离的文本标签(例如，如参考图5Z至图5AB所述)。在一些实施方案中，如果人站立，则从人的脚底到人的头顶的距离是人的高度。在一些实施方案中，如果人坐下，则从人的脚底到人的头顶的距离是人在坐下时的高度。在一些实施方案中，针对人的该一组测量表示包括对人的脚底的指示(例如，指示人的脚的底部或人的脚放置在其上的表面的注释)。在一些实施方案中，人的脚底由系统自动地识别而无需用户输入以标记人的脚底的位置。
执行对由系统确定为人的物理特征的高度测量提供智能测量功能，该智能测量功能测量与其类型相关且用户很可能感兴趣的物理特征的尺寸和方面，而无需用户提供输入以指定用户想要对物理特征采取哪种类型的测量。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，确定物理特征为第一类型的物理特征包括(826)由系统确定物理特征是动物(例如，宠物诸如狗或猫)，并且第一测量类型的测量包括以下中的一者或多者：动物的颈围、动物的胸周和动物的身长(例如，动物的背部的长度、从动物的颈部的底部到动物的尾部的根部的长度)(例如，如参考图5AG所述)。
执行对由系统确定为动物(例如，宠物)的物理特征的颈围、胸周和/或身长测量提供智能测量功能，该智能测量功能测量与其类型相关且用户(例如，在为宠物选择服装和配饰时)很可能感兴趣的物理特征的尺寸和方面，而无需用户提供输入以指定用户想要对物理特征采取哪种类型的测量。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，确定物理特征为第一类型的物理特征包括(828)由系统确定物理特征是人的脸，并且第一测量类型的测量包括人的第一眼睛的第一瞳孔与人的第二眼睛的第二瞳孔之间的距离(例如，瞳孔的中心之间的距离，也称为“瞳孔距离(PD)”或“瞳孔间距(IPD)”)(例如，如参考图5AE所述)。
执行对由系统确定为人的脸和眼睛的物理特征的瞳孔间距测量提供智能测量功能，该智能测量功能测量与其类型相关且用户(例如，在选择眼镜时)很可能感兴趣的物理特征的尺寸和方面，而无需用户提供输入以指定用户想要对物理特征采取哪种类型的测量。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，确定物理特征为第一类型的物理特征包括(830)由系统确定物理特征是人的脚，并且第一测量类型的测量包括脚的长度(例如，如参考图5AF所述)。在一些实施方案中，脚的长度的表示被显示为对应于脚的长度的鞋码(例如，基于针对人的当前地理位置或针对先前定义的地理位置或区域的尺寸图表，例如根据系统定义的或任选地用户定义的设置确定鞋码)。
执行对由系统确定为人的脚(例如，任选地考虑脚是裸露的还是穿鞋的)的物理特征的长度或鞋码测量提供智能测量功能，该智能测量功能测量与其类型相关且用户(例如，在选择一双鞋时)很可能感兴趣的物理特征的尺寸和方面，而无需用户提供输入以指定用户想要对物理特征采取哪种类型的测量。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，确定物理特征为第一类型的物理特征包括(832)由系统确定物理特征包括在空间中分离的(例如，同一人的)第一手和第二手，并且第一测量类型的测量包括第一手与第二手之间的距离(例如，第一手和第二手上的对应点之间的距离，诸如第一手的手掌的中心与第二手的手掌的中心之间的距离)(例如，如参考图5AC至图5AD所述)。
在由系统确定的物理特征的两手之间执行距离测量以包括一双手(例如，掌心相对)提供智能测量功能，该智能测量功能测量与其类型相关且用户可能感兴趣的物理特征的尺寸和方面(例如，在该一个或多个相机的视野中的个体保持他或她的手分开以展示对象的大小的情况下)，而无需用户提供输入以指定用户想要对物理特征采取哪种类型的测量。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当该一个或多个相机位于距物理特征第一距离处时(例如，根据确定第一距离在对应于第一细节水平的距离范围内)在物理特征的表示上方显示相应一组一个或多个测量表示(834)的同时，计算机系统检测将该一个或多个相机放置在距物理特征小于第一距离的第二距离处的该一个或多个相机的移动(例如，该一个或多个相机已经移动得更靠近对应于测量的第一表示的物理特征的部分)，其中相应一组包括测量的第一表示，第一表示(例如，任选地)包括使用第一细节水平(例如，第一粒度)显示的第一测量区段和第一测量标签。在一些实施方案中，在该一个或多个相机位于距物理特征的第二距离处(例如，根据确定第二距离在对应于第二细节水平、与第一距离范围不同的第二距离范围内)的同时，计算机系统停止显示第一测量标签。另选地，在一些实施方案中，维持第一测量标签的显示。在一些实施方案中，在该一个或多个相机位于距物理特征的第二距离处的同时，计算机系统使用与第一细节水平不同(例如，高于第一细节水平)的第二细节水平(例如，第二细节水平与比第一粒度更细的第二粒度相关联)来显示第一测量区段(例如，如上文参考图5O至图5T所述)。
因为该一个或多个相机与物理特征之间的距离改变，所以使用不同的细节水平(例如，利用不同粒度的多组刻度标记)显示物理特征的测量结果智能地以与当前距离相关并且用户可能感兴趣的细节水平提供关于测量的信息(例如，相应粒度水平下的刻度标记)，而无需用户提供输入以指定用户想要查看哪种细节水平下的测量结果。此外，当显示用于测量区段的刻度标记时停止显示用于测量区段的测量标签减少用户界面中的杂乱，并且避免测量标签模糊刻度标记或反之亦然。在一组条件已经被满足时(例如，自动地)执行操作而不会使用户界面由于附加显示的控件而杂乱且无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，使用第二细节水平显示第一测量区段包括(836)沿着第一测量区段间隔地显示一组刻度标记(例如，刻度标记)(例如，如参考图5P至图5S所述)。在一些实施方案中，在使用第二细节水平显示第一测量区段的同时，根据由系统确定放置用户界面元素在相应刻度标记上方(或者在一些实施方案中，放置用户界面元素或放置用户界面元素的选择指示符在相应刻度标记或该相应刻度标记上的锚点的阈值距离内)(例如，根据确定放置用户界面元素在单个刻度标记上方，或者根据确定放置用户界面元素的中心与相应刻度标记之间的距离短于放置用户界面元素的中心与该一组刻度标记中的任何其他刻度标记之间的距离)，计算机系统改变放置用户界面元素的外观以指示响应于接收到注释放置输入，注释将被放置在相应刻度标记上的锚点处(例如，刻度标记的中点或终点)(例如，通过将标线对齐到锚点，其中对齐标线包括例如将标线从注释放置用户界面中的默认位置移动到锚点，或将标线的选择指示符(例如，点或其他标记)从标线(例如，标线的中心)内的默认位置移动到锚点(例如，选择指示符独立于标线的其他部分移动)，并且/或者相对标线的轮廓放大选择指示符)。在图5P至图5T中示出了示例。
将放置用户界面元素对齐到针对测量区段显示的相应刻度标记上的锚点为用户提供指示注释将被添加到已识别的锚点的视觉反馈，并使用户更容易在由刻度标记指示的位置处添加注释，这些刻度标记通常在测量中是有用参考点(例如，英尺或英寸，米或厘米，或其简分数)，而无需用户仔细定位放置用户界面元素。在一组条件已经被满足时为用户提供改进的视觉反馈并且通过(例如自动地)执行操作减少执行该操作所需的输入的数量和/或程度增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在使用第二细节水平显示第一测量区段(838)的同时，计算机系统接收对应于在视野的表示中的相应位置处添加注释的请求的输入(例如，注释放置输入)，该相应位置由第二细节水平指示并且对应于物理环境中的相应物理位置(例如，使用第二细节水平显示第一测量区段包括沿着第一测量区段间隔地显示一组刻度标记(例如，刻度标记)，并且该输入对应于在相应刻度标记处添加注释的请求，例如，通过用户将标线移动到相应刻度标记上方并在标线对齐到相应刻度标记的同时，提供注释放置输入)。在一些实施方案中，响应于对应于添加注释的请求的输入，计算机系统在由第二细节水平指示的相应位置处添加注释。
在一些实施方案中，在添加注释之后，计算机系统检测将该一个或多个相机放置在距物理特征第一距离处(或另外地，内)的该一个或多个相机的移动(例如，如参考图5O至图5P所述)。在一些实施方案中，响应于检测到将该一个或多个相机放置在距物理特征第一距离处的该一个或多个相机的移动，计算机系统基于该一个或多个相机的移动来更新视野的表示(例如，如参考图5S至图5T所述，其中部分移开使刻度标记消失)。在一些实施方案中，当该一个或多个相机位于距物理特征的第一距离处(或，另选地，内)的同时(例如，根据确定第三距离在对应于第一细节水平的第一距离范围内)，计算机系统在视野的更新的表示中对应于物理环境中的相应物理位置的相应位置处使用第一细节水平、第一测量标签和注释显示第一测量区段(例如，该相应位置先前由第二细节水平指示)，而不考虑相应位置是否由第一细节水平指示(例如，使用第二细节水平显示第一测量区段包括放弃显示任何刻度标记或沿着第一测量区段比第二细节水平的间隔更大间隔地显示不同的一组刻度标记，并且将注释维持在视野的表示中的位置处，该位置对应于与该一个或多个相机移动回第一距离之前相同的相应物理位置，即使第一细节水平不包括对应于注释的位置的刻度标记)。
即使在该一个或多个相机已经(例如，进一步从测量的物理特征)移动，使得不再显示相应刻度标记之后，维持在测量中添加在相应刻度标记上的锚点处的注释为用户提供指示注释在测量中位于参考点(例如，英尺或英寸、米或厘米，或其简分数)处的改进的视觉反馈，该参考点是用户已经发现有用的且先前标记的，而不继续由于过度详细的测量结果来使用户界面杂乱。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图8A至图8F中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法900、1000、1100、1200、1300、1400、1500和1600)描述的其他过程的细节同样以类似的方式适用于上文相对于图8A至图8F所述的方法800。例如，上文参考方法800所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、注释、测量表示、测量类型和刻度标记，任选地具有本文参考本文所述的其他方法(例如，方法900、1000、1100、1200、1300、1400、1500和1600)所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、注释、测量表示、测量类型和刻度标记的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图9A至图9C是示出根据一些实施方案的基于增强现实环境中的自动确定的锚点提供对准引导的方法900的流程图。方法900在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法900中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，在注释放置用户界面中的标线对齐到物理特征的表示的锚点的同时，方法900显示从该锚点沿一个或多个方向延伸的一组引导，以为用户提供识别可对物理特征采取一次或多次测量的方向的视觉反馈(例如，如参考图5AN和图5AP所述)，因此帮助用户采取用户可能感兴趣的测量。此外，方法900基于被确定的物理特征的特征类型智能地显示不同的引导，而无需用户提供输入以指定要显示的引导的类型。为用户提供改进的视觉反馈并且(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统经由显示设备显示(902)注释放置用户界面(例如，增强现实测量应用程序的用户界面)。注释放置用户界面包括：该一个或多个相机的视野的表示，包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中基于该一个或多个相机的视野中的变化随时间更新视野的表示(例如，视野的表示是基于物理环境中的在视野内的变化，和/或基于改变物理环境在视野内的部分的该一个或多个相机的移动而更新的实时视图)(例如，如参考图5AM至图5AY所述)；以及放置用户界面元素(例如，标线)，该放置用户界面元素指示(例如，经由标线的点或其他标记)响应于接收到注释放置输入，虚拟注释(例如，测量的表示)将被放置在视野的表示中的哪个位置(例如，如参考图5AU和图5AQ所述)。
在显示注释放置用户界面的同时，计算机系统检测(904)该一个或多个相机相对于物理环境的移动。
响应于检测到该一个或多个相机相对于物理环境的移动(906)，计算机系统基于该一个或多个相机的移动来更新(908)视野的表示(例如，如参考图5AM至图5AY所述)。
响应于检测到一个或多个相机相对于物理环境的移动(906)，根据确定放置用户界面元素(例如，放置用户界面元素的至少一部分)(910)在物理环境中的第一类型的特征(例如，物理环境中的物理对象的边缘)的表示的至少一部分上方(或在一些实施方案中，放置用户界面元素或放置用户界面元素的选择指示符在相应刻度标记或该相应刻度标记上的锚点的阈值距离内)，计算机系统：改变放置用户界面元素的外观以指示响应于注释放置输入，注释将被放置在对应于第一类型的特征的锚点处(例如，第一类型的特征的表示的部分内)(例如，将标线对齐到对应于第一类型的特征的锚点，其中对齐标线包括例如将标线从注释放置用户界面中的默认位置移动到锚点，或将标线的选择指示符(例如，点或其他标记)从标线(例如，标线的中心)内的默认位置移动到锚点(例如，选择指示符独立于标线的其他部分移动)，并且/或者相对标线的轮廓放大选择指示符)；以及显示对应于第一类型的特征的表示的至少一部分的第一组一个或多个引导(例如，沿着物理对象的边缘的至少一部分的单个引导)。在一些实施方案中，第一组一个或多个引导中的每个引导包括锚点的位置(例如，如果第一组包括多个引导，则这些引导在锚点处交汇或相交)(例如，如参考图5AN和图5AP所述)。
响应于检测到该一个或多个相机相对于物理环境的移动(906)，根据确定放置用户界面元素(例如，放置用户界面元素的至少一部分)在物理环境中的第二类型的特征的表示的至少一部分上方(912)，其中第二类型的特征不同于第一类型的特征(例如，物理环境中的物理对象的顶点(例如，拐角)(例如，沙发拐角523，如图5AO和图5AP所示))，计算机系统：改变放置用户界面元素的外观以指示响应于注释放置输入，注释将被放置在对应于第二类型的特征的锚点处(例如，在第二类型的特征的表示的部分内)(例如，将标线对齐到对应于第二类型的特征的锚点)；以及显示不同于第一组一个或多个引导的第二组一个或多个引导，对应于第二类型的特征的表示的至少一部分(例如，沿着不同边缘或其部分的多个不同引导，入射到物理对象的顶点)(例如，比较在图5AP中示出的引导与在图5A中示出的那些引导)。在一些实施方案中，在接收到注释放置输入之前显示第二组一个或多个引导，以将注释放置在对应于第二类型的特征的锚点处(例如，如参考图5AN和图5AP所述)。在一些实施方案中，第二组一个或多个引导中的每个引导包括锚点的位置(例如，在锚点的位置处相交或具有终点)(例如，如果第二组包括多个引导，则这些引导在锚点处交汇或相交)。在一些实施方案中，第二组一个或多个引导包括不同于第一组一个或多个引导中的引导的类型的至少一种类型的引导。在一些实施方案中，第二组引导包括与第一组引导(例如，一个)不同数量的引导(例如，例如，两个、三个或更多个引导)(例如，如参考图5AN、图5AP至图5AS和图5AU所述)。
在一些实施方案中，根据确定锚点位于物理环境中的一个或多个边缘上(914)(例如，锚点是沿着单个边缘的点或多个边缘在其处交汇的点(例如，顶点))，对于该一个或多个边缘中的每个边缘，所显示的相应一组一个或多个引导包括从锚点沿着相应边缘延伸的相应引导(例如，如图5AN、图5AP至图5AS和图5AU所示)。例如，如果相应类型的特征是物理环境中的物理对象的边缘，则锚点是沿着边缘的点，并且相应一组一个或多个引导包括对应于边缘的引导(例如，沿着边缘的表示(例如，叠加在边缘的表示上方)显示该引导)。又如，如果相应类型的特征是物理环境中的物理对象的顶点，则相应一组一个或多个引导包括对应于入射到顶点的(例如，所有)边缘的多个引导(例如，对于每个入射边缘，沿着相应边缘的表示显示相应引导)(例如，如参考图5AP所述)。
显示从锚点沿着该锚点位于其上的每个边缘延伸的引导为用户提供识别边缘以及因此可能采取用户可能感兴趣的一次或多次测量的方向的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定锚点位于物理环境中的至少第一检测表面和物理环境中的第二检测表面交汇处(916)(例如，锚点是沿着所第一和第二物理表面交汇处的边缘的点，或者锚点是包括第一和第二表面的三个或更多个表面交汇处的顶点)，所显示的相应一组一个或多个引导至少包括第一引导和第二引导，第一引导从锚点沿垂直于第一检测表面的方向延伸，第二引导从锚点沿垂直于第二检测表面的方向延伸(例如，如图5AP和图5AR所示)。在一些实施方案中，相应一组一个或多个引导包括相应的引导，这些相应引导从锚点沿垂直于在锚点处交汇的检测表面中的两个或多个表面的相应方向延伸，其示例在图5AP、图5AR至图5AS和图5AU中示出。例如，如果锚点对应于物理环境中的第一检测表面、第二检测表面和第三检测表面全部交汇处的三维物理对象的顶点，则相应一组一个或多个引导包括第一引导、第二引导和从锚点沿垂直于第三检测表面的第三方向延伸的第三引导(例如，如图5AP、图5AR至图5AS和图5AU所示)。
显示从锚点所在的表面垂直延伸的引导为用户提供识别可能采取用户可能感兴趣的一次或多次测量的方向的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到该一个或多个相机相对于物理环境的移动(918)并且根据确定放置用户界面元素(例如，放置用户界面元素的至少一部分)在物理环境(例如，物理环境中远离物理表面的任何边缘的物理表面)中的与第一类型的特征和第二类型的特征不同的第三类型的特征的表示的至少一部分上方，其中放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在视野的表示中的哪个相应位置，计算机系统显示从相应位置沿视野的表示中对应于从第三类型的特征出发的(例如，物理环境中的)竖直方向的方向延伸的引导(例如，如图5AX至图5AY所示)。
当标线的焦点对应于远离物理表面的任何边缘的物理表面上的位置时，显示从该焦点垂直延伸的引导(例如，任选地不将标线对齐到任何锚点)为用户提供该焦点远离物理表面的任何边缘并识别可能采取用户可能感兴趣的一次或多次测量的方向的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示相应一组一个或多个引导包括(920)，对于相应一组中的每个引导，相对于相应引导的第二部分在视觉上强调相应引导的第一部分，其中第一部分对应于(例如，指示、延伸通过(在虚拟意义上))物理空间中被物理环境中的物理对象占据的位置(或叠加在其上方显示)，并且第二部分对应于(例如，指示、延伸通过(在虚拟意义上))物理空间中未被物理环境中的物理对象占据(未被任何固体对象或液体占据且仅被空气或其他气体占据)的位置(或叠加在其上方显示)(例如，如图5AS至图5AU所示)。
相对于引导的对应于未被物理对象占据的位置的部分，在视觉上强调引导的对应于被物理对象占据的位置的部分(例如，引导的与对象相交而不是延伸通过空气的部分)为用户提供关于引导相对于物理对象的位置的视觉反馈，并且改善可能被物理对象的表示遮挡的引导的部分的可见性(例如，如图5AN、图5AP至图5AS、图5AU至图5AV和图5AX至图5AY所示)。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中(例如，对于相应一组一个或多个引导中的每个相应引导)，相应引导的第二部分包括第一点和第二点，第一点距相应引导的第一部分(例如，的终点)第一距离，第二点距相应引导的第一部分(例如，的终点)大于第一距离的第二距离(922)；并且相对于第一点在视觉上削弱(例如，淡化)第二点(例如，并且相对于相应引导的第一部分在视觉上削弱两个点)。在一些实施方案中，相对于沿着第二部分与物理空间中的更靠近物理对象的点对应的点，在视觉上强调沿着第二部分与物理环境中的物理空间中的更远离物理对象(例如，第一部分对应的物理对象)的点对应的点(例如，如图5AR至图5AS所示)。在一些实施方案中，相应引导的第二部分“远离”物理对象延伸得越远，就会逐渐被削弱(例如，淡化)(例如，物理空间中的对应点越远离物理对象，沿着第二部分的点就会逐渐淡化；换句话讲，在一些场景下，相应引导的第二部分从注释放置用户界面中的物理对象的表示延伸得越远，就会逐渐淡化)。
对应于不被物理对象占据的位置的逐渐在视觉上被削弱的引导的部分为用户提供被削弱的部分指示用户对采取测量可能较不感兴趣的区域或方向的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示相应一组一个或多个引导包括(924)显示示出该一个或多个引导随时间推移从锚点逐渐延伸的动画(例如，如图5AR至图5AU所示)。在一些实施方案中，当相应一组一个或多个引导最初与放置用户界面元素相对于对应于相应类型的特征的锚点的外观的变化组合地显示时，播放动画。在一些实施方案中，在播放动画之后，维持相应一组一个或多个引导的显示(例如，没有动画)，同时在相应类型的特征的表示的部分上方维持放置用户界面元素(例如，直到该一个或多个相机的移动使放置用户界面元素在该一个或多个相机的不包括锚点的视野的表示的不同部分上方显示)。
显示示出该一个或多个引导随时间推移从标线的焦点(在一些情况下，为锚点)逐渐延伸的动画为用户提供指示移动该一个或多个相机以采取用户可能感兴趣的测量的方向的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图9A至图9C中已经进行描述的操作的具体顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、1000、1100、1200、1300、1400、1500和1600)所述的其他过程的细节同样以类似的方式适用于上文参考图9A至图9C所述的方法900。例如，上文参考方法900所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、引导、动画和注释，任选地具有本文参考本文所述的其他方法(例如，方法800、1000、1100、1200、1300、1400、1500和1600)所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、引导、动画和注释的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图10A至图10C是示出根据一些实施方案的响应于增强现实环境中的用户输入而提供动态对准引导的方法1000的流程图。方法1000在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，当在由标线指示的位置处添加注释时，方法1000智能地改变显示的引导，部分地通过显示先前未显示的一个或多个引导，以为用户提供从注释的位置识别可能感兴趣的方向的视觉反馈，这些可能感兴趣的方向可能不同于在添加注释之前可能感兴趣的方向。为用户提供改进的视觉反馈并且(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统(1002)经由显示设备显示注释放置用户界面(例如，增强现实测量应用程序的用户界面)，注释放置用户界面包括：该一个或多个相机的视野的表示，包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中基于该一个或多个相机的视野中的变化随时间更新视野的表示(例如，视野的表示是基于在视野内的物理环境的变化，和/或基于改变物理环境的哪个部分在视野内的该一个或多个相机的移动而更新的实时视图)；和放置用户界面元素(例如，标线504-2)，其(例如，经由标线的点或其他标记)指示响应于接收到注释放置输入，虚拟注释(例如，测量的表示)将被放置在视野的表示中的哪个位置。
在放置用户界面元素指示(例如，对应于物理环境中的第一物理位置的)视野的表示中的第一位置(例如，第一锚点)的同时，计算机系统接收(1004)第一注释放置输入(例如，对应于在视野的表示中的第一位置处添加虚拟注释诸如虚拟测量点的请求的输入)(例如，如图5AQ所示)。
响应于接收到第一注释放置输入(1006)：计算机系统在视野的表示中的第一位置处显示(1008)(例如，虚拟)注释(例如，测量点)；以及显示(1010)从视野的表示中的第一位置延伸的一个或多个第一引导(例如，测量引导)(例如，如参考图5AR所述)。在一些实施方案中，该一个或多个第一引导指示物理环境中沿着从对应于视野的表示中的注释的放置位置的第一物理位置延伸通过物理空间的射线(例如，线或线段)的物理位置(例如，如参考图5AR所述)。在一些实施方案中，如果放置用户界面元素(例如，标线)对应于在对应于引导的射线的阈值距离内的物理位置，则放置用户界面元素被约束为沿着相应引导指示位置(例如，“对齐到该引导”)(例如，放置用户界面元素将指示对应于在射线的阈值距离内的物理位置的视野的表示中的位置)(例如，如图5AO至图5AR所示)。
在一些实施方案中，在放置用户界面元素指示视野的表示中的第一位置的同时，在接收到第一注释放置输入之前，计算机系统显示(1012)从视野的表示中的第一位置延伸的一个或多个第二引导(例如，测量引导)(例如，如参考方法900所述的一个或多个引导)；并且响应于接收到第一注释放置输入，计算机系统停止显示该一个或多个第二引导的至少子集。在一些实施方案中，响应于第一注释放置输入，所有该一个或多个第二引导停止显示(例如，该一个或多个第一引导完全不同于该一个或多个第二引导)(例如，如图5AU至图5AV所示)。在一些实施方案中，停止显示该一个或多个第二引导的第一子集，并且响应于接收到第一注释放置输入而显示的该一个或多个第一引导是该一个或多个第二引导的在停止显示第一子集之后保持显示的第二子集(例如，如图5AU至图5AV所示)。
在一些实施方案中，在接收到第一注释放置输入并显示第一位置处的注释和从第一位置延伸的该一个或多个第一引导之后，系统检测该一个或多个相机的移动，使得放置用户界面元素指示(例如，对应于物理环境中的第二物理位置的)视野的表示中的不同于第一位置的第二位置(例如，不同于第一锚点的第二锚点)。在一些实施方案中，在放置用户界面元素指示第二位置的同时，并且在接收到注释放置输入之前，系统显示从第二位置延伸的相应一组一个或多个引导(例如，类似于该一个或多个第一引导或类似于该一个或多个第二引导)(例如，如图5AS所示)。在一些实施方案中，响应于在放置用户界面元素指示第二位置的同时接收到第二注释放置输入，系统显示从第二位置延伸的不同一组一个或多个引导(例如，类似于该一个或多个第二引导或类似于该一个或多个第一引导)(例如，如图5AU至图5AV所示)。
移除在添加注释之前显示的一个或多个引导为用户提供指示用户可能不再感兴趣的所移除的引导延伸的方向的视觉反馈，并且避免使用户界面由于不必要的控件而杂乱，而无需用户提供输入以移除不想要的引导。为用户提供改进的视觉反馈并且(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到第一注释放置输入并且显示从视野的表示中的第一位置延伸的该一个或多个第一引导(1014)之后，计算机系统检测该一个或多个相机相对于物理环境的移动，并且响应于检测到该一个或多个相机相对于物理环境的移动，计算机系统停止显示该一个或多个第一引导的子集(例如，包括停止显示不沿该一个或多个相机的移动方向延伸的引导)(例如，如图5AV至图5AW所示)。
响应于该一个或多个相机的移动而移除一个或多个引导避免了显示用户可能不再感兴趣的引导(例如，由于沿移动的方向之外的方向延伸的所移除的引导)，而无需用户提供输入以移除不想要的引导。(例如，自动地)执行操作并且减少用户界面的杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该一个或多个相机相对于物理环境的移动包括(1016)沿第一方向的移动，并且停止显示该一个或多个第一引导的子集包括停止显示不沿第一方向延伸的任何引导(例如，如图5AT所示)。例如，在显示对应于物理空间中的垂直线的多个引导，并且该一个或多个相机的移动沿对应于垂直线中的一个垂直线的方向的情况下，维持用于该垂直线的引导的显示，并且停止显示对应于其他垂直线的引导。
移除沿该一个或多个相机的移动的方向之外的方向延伸的一个或多个引导避免了显示用户可能不再感兴趣的引导，而无需用户提供输入以移除不想要的引导。(例如，自动地)执行操作并且减少用户界面的杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据该一个或多个相机的移动，放置用户界面元素指示(1018)不同于第一位置的第二位置，并且停止显示该一个或多个第一引导的子集包括停止显示该一个或多个第一引导中的对应于第一位置且不对应于第二位置的任何引导(例如，如图5AR至图5AS所示)。
当该一个或多个相机的移动使放置用户界面元素移动得远离特定位置时移除从该位置延伸的一个或多个引导避免了显示用户可能不再感兴趣的引导，而无需用户提供输入以移除不想要的引导。(例如，自动地)执行操作并且减少用户界面的杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到第一注释放置输入并且显示从视野的表示中的第一位置延伸的该一个或多个第一引导之后，计算机系统检测(1020)该一个或多个相机相对于物理环境的移动，该移动包括沿第一方向的移动；响应于检测到该一个或多个相机沿第一方向的移动，根据确定该一个或多个第一引导中的相应引导沿第一方向延伸，计算机系统维持显示相应引导的至少一部分(例如，如图5AS至图5AU所示)。
继续显示沿一个或多个相机的移动的方向延伸的一个或多个引导，为用户提供识别可能感兴趣的方向的视觉反馈并且帮助用户继续沿相同方向移动该一个或多个相机。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，维持显示相应引导的至少一部分包括(1022)维持显示相应引导的从第一位置沿第一方向延伸的一部分(例如，任何部分)，并且停止显示相应引导的从第一位置沿与第一方向相反的方向延伸的一部分(例如，任何部分)(例如，如图5AR至图5AS所示)。例如，第一引导沿循包括第一位置的线，使得该线包括从第一位置沿第一方向延伸的第一射线和从第一位置沿与第一射线正相反(例如，相反180度)的方向延伸的第二射线；响应于检测到该一个或多个相机的移动，继续显示第一引导的对应于第一射线(例如，与第一射线重叠)的第一部分，并且停止显示第一引导的对应于第二射线(例如，与第二射线重叠)的第二部分。
在显示沿该一个或多个相机的移动的方向延伸的引导的情况下，移除从添加的注释沿与该一个或多个相机的移动的相反方向延伸的引导的一部分(例如，沿着与该一个或多个相机的移动相反的射线)，避免了显示用户可能不再感兴趣的引导和引导的部分，而无需用户提供输入以移除不想要的引导。(例如，自动地)执行操作并且减少用户界面的杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图10A至图10C中的操作进行描述的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1100、1200、1300、1400、1500和1600)描述的其他过程的细节同样以类似的方式适用于上文参考图10A至图10C描述的方法1000。例如，上文参考方法1000所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、引导、动画和注释，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1100、1200、1300、1400、1500和1600)所述的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图11A至图11E是示出根据一些实施方案的用于基于在增强现实环境中可见的物理特征的类型自动改变注释模式的方法1100的流程图。方法1100在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1100中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，随着标线移动，方法1100基于上方放置有标线的物理特征的不同类型而智能地改变注释放置用户界面的注释模式，从而为用户提供了关于标线焦点处的物理特征的类型的视觉反馈，并且帮助用户对物理特征进行注释，其中注释与物理特征的特定类型相关，而无需用户提供输入以指定要使用的注释模式(例如，如图5BT至图5CD所示)。为用户提供改进的视觉反馈并且(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统经由显示设备显示(1102)注释放置用户界面(例如，增强现实测量应用程序的用户界面)，注释放置用户界面包括：该一个或多个相机的视野的表示，包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中基于该一个或多个相机的视野中的变化随时间更新视野的表示(例如，视野的表示是基于在视野内的物理环境的变化，和/或基于改变物理环境的哪个部分在视野内的该一个或多个相机的移动而更新的实时视图)；和放置用户界面元素(例如，标线)，其指示响应于接收到注释放置输入，虚拟注释(例如，测量点或区段)将被放置在视野的表示中的哪个位置(例如，如图5BT至图5BZ和5CG至图5CH所示)。
在显示注释放置用户界面时，计算机系统检测(1104)该一个或多个相机相对于物理环境的移动(例如，如图5BT至图5BZ和5CG至图5CH所示)。
响应于检测到该一个或多个相机相对于物理环境的移动(1106)，计算机系统：基于该一个或多个相机的移动来更新视野的表示，并且根据确定放置用户界面元素在物理环境中的第一类型的物理特征(例如，三维对象)的表示的至少一部分上方，显示指示注释放置用户界面正在第一注释模式下操作的第一模式指示(例如，放置用户界面元素的模式相关的外观和/或指示当前注释模式的选择指示符)，第一注释模式与添加第一类型的注释相关联(例如，与添加三维对象的测量(诸如长度、宽度、高度、面积和/或体积的测量)相关联的三维测量模式)(例如，如图5BU至图5BX所示)。在一些实施方案中，与注释放置用户界面(例如，从除了第一注释模式之外的相应注释模式)转变为第一注释模式结合地(并且任选地与停止显示相应注释模式的相应模式指示结合地)显示第一模式指示。
在显示第一模式指示时，计算机系统检测(1108)该一个或多个相机相对于物理环境的后续移动(例如，如图5BX至图5BY所示)。
响应于检测到该一个或多个相机相对于物理环境的后续移动(1110)，计算机系统基于该一个或多个相机的后续移动来更新视野的表示，并且根据确定放置用户界面元素在物理环境中的第二类型的物理特征(例如，三维物理对象的二维(例如，平面或平坦)表面)的表示的至少一部分上方，显示指示注释放置用户界面正在不同于第一注释模式的第二注释模式下操作的第二模式指示(例如，放置用户界面元素的注释模式相关的外观和/或指示当前注释模式的选择指示符)，第二注释模式与添加第二类型的注释相关联(例如，第二注释指示可指示与添加二维对象特征的测量(诸如物理对象的表面的长度、宽度和/或面积的测量)相关联的二维测量模式)(例如，与将注释放置用户界面从第一注释模式转换为第二注释模式并停止显示第一注释模式指示结合地显示第二模式指示)(例如，如图5BZ至图5CD所示)。
在一些实施方案中，前述类型的物理特征包括三维物体、二维(例如，平面、平坦)表面、一维特征(例如，笔直的对象边缘)、平面布置图等(例如，图5BU至图5BX中所示的桌子的物理特征，以及图5BX至图5BZ和5CA至图5CD中所示的杂志)。在一些实施方案中，根据确定放置用户界面元素在(例如，已经移动到)物理环境中的第三类型的物理特征(例如，一维对象)的表示的至少一部分上方，显示注释放置用户界面正在第三注释模式(例如，与添加一维对象特征的测量(诸如物理环境中的线段(例如，笔直的物理对象边缘)的长度的测量)相关联的一维测量模式)下操作的指示，第三注释模式与添加第三类型的注释相关联(例如，如图5CH至图5CL中所示)。
在一些实施方案中，相应类型的物理特征是三维物体(1112)；并且根据确定放置用户界面元素在三维对象的表示的至少一部分上方而显示的相应模式指示指示注释放置用户界面正在与添加三维对象的注释相关联的相应注释模式下操作(例如，三维物理对象的长度、宽度、高度、一个或多个表面的面积和/或体积的测量)(例如，如图5BZ所示)。
根据标线定位在三维对象上方，将注释模式自动改变为三维对象注释模式，这使得用户能够对三维特征进行注释并帮助确保注释与焦点处的特定类型的物理特征相关，而无需用户提供输入以指定要使用的注释模式。提供附加控制选项(例如，自动地)而不由于附加显示的控件使用户界面杂乱并且无需进一步的用户输入，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，相应类型的物理特征是二维表面(1114)；并且根据确定放置用户界面元素在二维表面的表示的至少一部分上方而显示的相应模式指示指示注释放置用户界面正在与添加二维表面的注释相关联的相应注释模式下操作(例如，物理表面的长度、宽度和/或面积的测量)(例如，如图5CA至图5CD所示)。
根据标线定位在二维特征上方，将注释模式自动改变为二维表面(例如，面积)注释模式，这使得用户能够对二维特征进行注释并帮助确保注释与焦点处的特定类型的物理特征相关，而无需用户提供输入以指定要使用的注释模式。提供附加控制选项(例如，自动地)而不由于附加显示的控件使用户界面杂乱并且无需进一步的用户输入，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，相应类型的物理特征是一维特征(1116)(例如，线段，诸如两个表面交汇的笔直边缘)；并且根据确定放置用户界面元素在一维特征的表示的至少一部分上方而显示的相应模式指示指示注释放置用户界面正在与添加一维特征的注释相关联的相应注释模式下操作(在视野的表示中对应于由用户输入选择的一对测量点的物理位置之间的距离(例如，物理环境中的线段的长度)的测量)(例如，如图5CH至图5CL所示)。
根据标线定位在一维特征上方，将注释模式自动改变为一维(例如，点对点)距离注释模式，这使得用户能够对一维特征进行注释并帮助确保注释与焦点处的特定类型的物理特征相关，而无需用户提供输入以指定要使用的注释模式。提供附加控制选项(例如，自动地)而不由于附加显示的控件使用户界面杂乱并且无需进一步的用户输入，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1118)对应于选择正交建模模式的请求的输入；并且响应于接收到对应于选择正交建模模式的请求的输入，计算机系统显示注释放置用户界面正在正交建模模式下操作的指示。本文参考方法1500进一步详细描述了注释放置用户界面正在正交建模模式下操作的指示。在一些实施方案中，正交建模模式是其中捕获关于物理环境的信息(例如，深度信息)的模式并且任选地用于生成物理环境的正交视图(例如，顶部正交视图或平面布置图)。在一些实施方案中，对应于选择正交建模模式的请求的输入包括选择对应于正交建模模式的相应用户界面元素或请求从当前注释模式(例如，不是正交建模模式)转变为下一个或上一个注释模式(例如，并且正交建模模式是下一个或上一个注释模式)的用户输入。在一些实施方案中，对应于选择正交建模模式的请求的输入包括该一个或多个相机的移动，使得注释放置用户界面在与正交建模模式相关联类型的物理特征(例如，物理环境的地板)的表示的至少一部分上方。
提供注释放置用户界面的正交建模模式，并且响应于选择该模式而显示注释放置用户界面正在正交建模模式下操作的指示，这为用户提供了附加控制选项和关于当前注释模式(注释放置用户界面正在当前注释模式下操作)的改进的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，注释放置用户界面包括(1120)多个用户界面元素，每个用户界面元素对应于包括第一注释模式和第二注释模式的多个注释模式中的相应注释模式；并且显示第二模式指示包括在该多个用户界面元素中的对应于第二注释模式的相应用户界面元素上方显示选择指示符(例如，图5CA和5CF中的选择指示符537)。在一些实施方案中，在显示指示注释放置用户界面正在第二注释模式下操作的第二模式指示的同时，计算机系统接收对应于选择不同于第二注释模式的第三注释模式的请求的用户输入(例如，第三注释模式是该多个注释模式中除了第二注释模式之外的任一个注释模式)。在一些实施方案中，响应于接收到对应于选择第三注释模式的请求的用户输入，计算机系统显示注释放置用户界面正在第三注释模式下操作的指示，包括在该多个用户界面元素中的对应于第三注释模式的第三用户界面元素上方显示选择指示符，其中第三用户元素不同于相应用户元素(例如，第三用户界面元素是该多个用户界面元素中除了相应用户界面元素之外的任一个用户界面元素)。
在一些实施方案中，对应于选择第三注释模式的请求的用户输入是除了该一个或多个相机的移动之外的用户输入。在一些实施方案中，用户输入包括在触敏表面上对应于第三用户界面元素的位置处的触摸输入(例如，轻击手势)。在一些实施方案中，用户输入包括触摸输入(例如，轻扫手势)，其包括跨触敏表面在对应于注释放置用户界面(例如，尽管不一定是第三用户界面元素)的多个位置处的移动，以请求转变为该多个注释模式中的下一个或上一个注释模式(例如，根据该多个注释模式的预定义顺序)(例如，如参考图7A至图7D所述)。在一些实施方案中，触摸输入沿第一方向的移动对应于转变为下一个模式的请求。在一些实施方案中，触摸输入沿与第一方向相反的第二方向的移动对应于转变为上一个注释模式的请求。在一些实施方案中，响应于接收到用户输入，显示动画转变(例如，使注释用户界面短暂变暗和/或模糊)以指示从第二注释模式转变为用户选择的第三注释模式。在一些实施方案中，根据注释放置用户界面响应于接收到用户输入而转变为第三注释模式，放置用户界面元素的外观从对应于第二注释模式的外观改变为对应于第三注释模式的外观。
显示多个用户界面元素，每个用户界面元素对应于注释放置用户界面的相应注释模式，并且可激活以将注释放置用户界面转换为对应的相应注释模式，允许用户快速且容易地访问注释放置用户界面的可用功能，而无需用户在复杂的菜单分级结构中进行导航。提供附加控制选项并且减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，注释放置用户界面包括(1122)多个用户界面元素，每个用户界面元素对应于包括第一注释模式和第二注释模式的多个注释模式中的相应注释模式；显示第一模式指示包括以与第一注释模式相关联的第一外观显示注释放置用户界面元素(例如，标线504)；并且显示第二模式指示包括以第二注释模式相关联的、不同于第一外观的第二外观显示注释放置用户界面元素(例如，图5BU至图5BV、图5CA至图5CD和图5CG至图5CM在三种不同注释模式下以三种不同外观示出了标线504)。
在不同注释模式下以不同外观显示放置用户界面元素为用户提供了关于当前注释模式(注释放置用户界面正在当前注释模式下操作)，以及关于注释放置用户界面的(例如，由标线指示的)焦点处的并且能够被测量的特征的类型的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示第一模式指示包括在该多个用户界面元素中的对应于第一注释模式的第一用户界面元素上方显示选择指示符(例如，选择指示符537)(1124)(例如，如图5BT所示)。在一些实施方案中，响应于在确定注释放置用户界面元素在第一类型的物理对象的表示的至少一部分上方之前接收的用户输入(例如，如图5BS所示)，该用户输入对应于选择第一用户界面元素的请求或将注释模式改变为第一注释模式的请求，在第一用户界面元素上方显示选择指示符。在一些实施方案中，根据确定注释放置用户界面元素在第一类型的物理对象的表示的至少一部分上方(例如，未接收到对应于选择第一用户界面元素的请求的用户输入)，在第一用户界面元素上方显示选择指示符。在一些实施方案中，根据确定注释放置用户界面(例如，也)不在第四注释模式(例如，自动测量模式)下操作，在第一用户界面元素上方显示选择指示符。
在一些实施方案中，显示第二模式指示包括在该多个用户界面元素中的对应于第二注释模式的第二用户界面元素上方显示选择指示符，其中第二用户界面元素不同于第一用户界面元素(例如，如图5CA所示)。在一些实施方案中，根据确定放置用户界面元素在第二类型的物理对象的表示的至少一部分上方(例如，未接收到对应于选择第二用户界面元素的请求的用户输入)，在第二用户界面元素上方显示选择指示符。在一些实施方案中，根据确定注释放置用户界面(例如，也)不在第四注释模式(例如，自动测量模式)下操作，在第二用户界面元素上方显示选择指示符。
随着注释模式改变，在表示注释放置用户界面的不同注释模式的不同用户界面元素上方显示选择指示符时，为用户提供了关于当前注释模式(注释放置用户界面正在当前注释模式下操作)的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示第一模式指示包括(1126)在该多个用户界面元素中的对应于第四注释模式(例如，自动测量模式，其中测量模式基于哪个类型的对象在视野的表示中放置用户界面元素的位置处而自动(例如，在该多个注释模式中的其他注释模式之间)改变)的第四用户界面元素上方显示选择指示符，第四注释模式不同于第一注释模式和第二注释模式(例如，如图6B所示，在自动测量模式图标605-1上方具有选择指示符635)。在一些实施方案中，显示第二模式指示包括在对应于第四注释模式的用户界面元素(例如，对应于同一自动测量模式的同一用户界面元素)上方显示选择指示符。在一些实施方案中，第四注释模式是其中注释模式(例如，基于哪个类型的对象在视野的表示中放置用户界面元素的位置处)自动在该多个注释模式中的其他注释模式之间改变的操作模式，并且因此第四注释模式中的操作可以与另一个注释模式(诸如第一注释模式或第二注释模式)中的操作同时进行，并且在自动改变注释模式的同时，选择指示符保持显示在对应于第四注释模式的用户界面元素上方(例如，直到用户手动选择对应于不同注释模式的不同用户界面元素为止)。
在不同注释模式下以不同外观显示放置用户界面元素，同时维持选择指示符显示在表示注释放置用户界面的特定注释模式的同一用户界面元素上方，这为用户提供了(例如，由选择指示符指示的)当前注释模式(注释放置用户界面正在当前注释模式下操作)是可在其中添加多个类型的注释的注释模式的视觉反馈，同时还为用户提供了关于注释放置用户界面的(例如，由标线指示的)焦点处的并且能够被测量的特征的类型的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图11A至图11E中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1000、1200、1300、1400、1500和1600)描述的其他过程的细节同样以类似的方式适用于上文参考图11A至图11E描述的方法1100。例如，上文参考方法1100所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、注释模式和模式指示，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、1200、1300、1400、1500和1600)所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、特征类型、注释模式和模式指示的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图12A至图12C示出了根据一些实施方案的用于在注释会话期间显示包括使用注释放置用户界面添加的注释列表的会话历史的方法1200。方法1200在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，方法1200提供会话历史用户界面(例如，如图5AZ所示)，其中系统呈现在当前注释会话期间已经添加到注释放置用户界面中的所有注释的列表(例如，可滚动列表)，使得用户能够同时查看注释并且管理(例如，重命名、导出、删除等)注释，而无需用户在复杂的菜单分级结构中进行导航或单独地定位每个注释并与之交互。提供附加控制选项而不由于众多显示控件使用户界面杂乱同时减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统接收(1202)对应于显示注释放置用户界面(例如，增强现实测量应用程序的用户界面或另一个应用程序的用户界面，诸如图像查看应用程序)的请求的第一输入(例如，在测量列表按钮506上方的输入534，如图5AY所示)。
响应于接收到第一输入，计算机系统经由显示设备显示(1204)注释放置用户界面，注释放置用户界面包括：该一个或多个相机的视野的表示，包括在该一个或多个相机的视野中的三维物理环境的一部分的表示，其中视野的表示基于视野中的变化随时间更新(例如，视野的表示是基于在视野内的物理环境的变化，和/或基于改变物理环境的哪个部分在视野内的该一个或多个相机的移动而更新的实时视图)；界面元素(例如，标线)，其(例如，经由标线的点或其他标记)指示响应于接收到注释放置输入，虚拟注释(例如，测量的表示)将被放置在视野的表示中的哪个位置；和会话历史用户界面元素(例如，可激活以显示在当前注释会话期间制作的注释列表)(例如，如图5C至图5AY中任一项所示)。
在显示注释放置用户界面的同时(例如，在连续地显示注释放置用户界面，包括基于显示设备的刷新率和/或该一个或多个相机的视野中的变化连续地更新注释放置用户界面的同时)：计算机系统接收(1206)对应于对视野的表示进行注释的多个请求的一组输入；并且响应于接收到该组输入，计算机系统将第一注释和第二注释添加到该一个或多个相机的视野的表示。在一些实施方案中，同时显示第一注释(例如，第一测量的第一表示)和第二注释(例如，第二测量的第二表示)。在一些实施方案中，在显示第二注释之前，停止显示第一注释。在一些实施方案中，第一注释与第二注释分开(例如，第一注释未连接到第二注释，并且/或者第一注释与三维物理环境的第一部分相关联，并且第二注释与三维物理环境的第二部分相关联，第二部分不同于三维物理环境的第一部分)(例如，图5E至图5AX示出了正在进行的测量)。
在将第一注释和第二注释添加到该一个或多个相机的视野的表示之后(或在一些实施方案中，在测量物理环境的第一部分和第二部分之后，并且任选地显示第一测量的第一表示和/或第二测量的第二表示)(并且任选地在继续显示注释放置用户界面的同时)，计算机系统接收(1208)对应于会话历史用户界面元素的激活的输入(例如，如图5AY至图5AZ所示)。
在一些实施方案中，响应于接收到对应于会话历史用户界面元素的激活的输入，计算机系统(例如，在注释放置用户界面的至少一部分上方)显示(1210)包括第一注释和第二注释的注释列表的至少一部分，包括同时显示第一注释的表示和第二注释的表示(例如，如图5AZ所示)。在一些实施方案中，在继续显示注释放置用户界面的同时，显示注释列表(例如，或其部分)(例如，在注释放置用户界面中或在部分覆盖在注释放置用户界面上的用户界面中显示列表)。在一些实施方案中，在替换注释放置用户界面的显示的用户界面中显示列表。
在一些实施方案中，系统接收对应于测量视野的表示的多个请求的一组输入(例如，包括测量对应于物理环境的第一部分的视野的表示的第一部分的第一请求，并且包括测量对应于物理环境的第二部分的视野的表示的第二部分的第二请求)(例如，图5E至图5AX示出了正在进行的测量)。在一些实施方案中，响应于接收到该组输入，系统测量物理环境的第一部分，任选地显示物理环境的第一部分的第一测量的第一表示(例如，将其添加到视野的表示)，并且测量物理环境的第二部分，任选地显示物理环境的第二部分的第二测量的第二表示。在一些实施方案中，同时显示第一测量的第一表示和第二测量的第二表示。在一些实施方案中，在显示第二测量的第二表示之前，停止显示第一测量的第一表示。在一些实施方案中，第一测量的第一表示与第二测量的第二表示分开。在一些实施方案中，在测量第一部分和第二部分，并且任选地显示第一测量的第一表示和/或第二测量的第二表示之后(并且任选地在继续显示注释放置用户界面的同时)，系统接收对应于会话历史用户界面元素的激活的输入，并且作为响应，系统显示包括第一测量和第二测量的测量列表的至少一部分(例如，部分或全部)。在一些实施方案中，显示测量列表的至少一部分包括同时显示第一测量的表示(例如，第一列表元素，其对应于第一测量并且包括第一测量的第一表示)和第二测量的表示(例如，第二列表元素，其对应于第二测量并且包括第二测量的第二表示)(例如，如图5AZ所示)。
在一些实施方案中，在注释放置用户界面的一部分上方(例如，在列表用户界面面板中)显示(1212)注释列表的所显示部分(例如，如图5AZ所示)。在一些实施方案中，注释列表的所显示部分包括整个注释列表。在一些实施方案中，注释列表的所显示部分包括注释列表中的部分注释集合，并且通过滚动列表可查看列表中的附加注释(例如，并且响应于对应于滚动所显示的注释列表的请求的输入，诸如向上或向下拖动手势，显示附加注释并且停止显示对应数量的所显示注释)。在一些实施方案中，注释列表的至少一部分的显示替换显示器上的注释放置用户界面的显示。
在当前注释会话期间在注释放置用户界面的一部分上方呈现已经添加到注释放置用户界面的注释列表使得用户能够查看注释列表并与之交互，同时还允许用户继续查看注释放置用户界面并与之交互(例如，在背景中具有一个或多个相机的实时视图)，而不会要求用户退出注释列表以便使用注释放置用户界面。提供附加控制选项减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，注释列表中的相应注释对应于(1214)物理环境中的物理特征，并且在注释列表的所显示部分中显示的相应注释的表示包括描述物理特征的文本标签，其示例在图5AZ中示出。在一些实施方案中，文本标签的文本由系统基于对该一个或多个相机的视野的表示执行的特征和对象识别(例如，包括对该一个或多个相机的视野的表示中的物理特征的表示执行的对象识别)来定性地(例如，自动地)确定。在一些实施方案中，注释列表中的每个列表项目对应于相应物理特征，并且每个列表项目包括描述对应物理特征的文本标签(如果显示的话)(例如，如图5AZ至图5BA所示)。
在注释列表中提供带注释物理特征的描述为用户提供了关于用户已经注释过的物理特征的信息的视觉反馈，任选地基于系统关于物理特征做出的确定而无需用户指定信息。在一组条件已经被满足时为用户提供改进的视觉反馈并且任选地(例如，自动地)执行操作(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，物理特征是物理对象(1216)，并且描述物理特征的文本标签将物理对象分类为相应类型的对象(例如，分类为椅子、桌子、台灯等)(例如，如图5AZ至图5BA所示)。
提供带注释物理特征的分类描述为用户提供了关于用户已经注释过的物理特征的信息的视觉反馈，任选地基于系统关于物理特征做出的确定而无需用户指定信息。在一组条件已经被满足时为用户提供改进的视觉反馈并且任选地(例如，自动地)执行操作(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，相应注释对应于物理特征的测量(1218)，并且相应注释的表示包括测量的数值(例如，如图5AZ至图5BA所示)。在一些实施方案中，测量物理特征的系统使用关于物理特征和物理环境的深度信息来定量地(例如，自动地)确定测量的数值。在一些实施方案中，相应注释的表示中的文本标签包括测量的分类为某一个类型(例如，为高度、宽度、深度、角度、面积、体积等)的测量，任选地基于对物理特征的表示执行的对象识别，其示例在图5AZ至图5BA中示出。
提供物理特征的测量作为物理特征的注释的一部分为用户提供了关于用户已经注释过的物理特征的信息的视觉反馈，任选地基于系统关于物理特征做出的确定而无需用户指定信息。在一组条件已经被满足时为用户提供改进的视觉反馈并且任选地(例如，自动地)执行操作(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在对应于注释列表的所显示部分中的相应注释的表示的位置处接收(1220)第一输入(例如，轻击手势)；并且响应于接收到第一输入(例如，并且根据确定输入是特定类型的手势，诸如轻击手势)，计算机系统显示相应注释的表示而不显示其他注释的表示(例如，停止显示注释列表中的任何其他显示的注释表示)(例如，如参考5BA至图5BB所述)。在一些实施方案中，在响应于接收到第一输入而显示相应注释的表示的同时，维持显示其他注释的表示(例如，在注释用户界面的不同部分(不同于注释列表的所显示部分)中或上方显示相应注释的表示，任选地包括关于相应注释的附加信息，并且任选地维持注释列表的所显示部分)(例如，如参考图5BA至图5BB所述)。
显示来自注释列表的单个注释的表示而不显示其他注释的表示提供了关于单个注释的信息，而不会让人分心，使得更容易与仅单个注释交互，并且任选地允许向用户呈现针对单个注释的附加交互选项。为用户提供改进的视觉反馈并且提供附加控制选项而不会使用户界面由于附加显示的控件而杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，相应注释的表示包括(1222)描述相应注释的文本标签(例如，相应注释的名称或相应注释对应的物理特征的描述)。在一些实施方案中，在显示相应注释的表示而不显示其他注释的表示的同时，计算机系统在对应于描述相应注释的文本标签的位置处接收第二输入(例如，第二轻击手势)；并且响应于接收到第二输入(例如，并且根据确定第二输入是特定类型的手势，诸如轻击手势)，计算机系统显示用于编辑文本标签的文本的一组用户界面元素(例如，显示文本编辑区域，该区域显示文本标签的当前文本，并且任选地显示键盘用户界面)(例如，如参考图5BB至图5BG所述)。
允许用户编辑注释的文本标签为用户提供了对于如何在用户界面中给注释加标签的控制，并且使得用户能够为注释指定优选的或更容易理解的名称，这在稍后回顾时更好地告知用户关于注释的内容。为用户提供改进的视觉反馈并且提供附加控制选项而不会使用户界面由于附加显示的控件而杂乱(例如，在选择标签时任选地显示文本编辑用户界面元素，并且在用户已经完成编辑之后任选地隐藏文本编辑用户界面元素)，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示相应注释的表示而不显示其他注释的表示的同时，计算机系统在对应于相应注释的位置处接收(1224)第三输入(例如，对应于显示用于与相应注释交互的附加选项的请求，诸如向上拖动手势)；并且响应于接收到第三输入(例如，并且根据确定第三输入是特定类型的手势(例如，与第二输入不同类型的手势))，计算机系统显示对应于相应注释的附加选项的一组用户界面元素(例如，扩展用户界面中显示相应注释的表示的一部分，并且在扩展部分中显示附加用户界面元素)(例如，如图5BH至图5BJ所示)。
在一些实施方案中，相应注释的表示包括对应于相应注释的物理特征的一个或多个测量，并且相应注释的附加选项包括附加测量。例如，对应的物理特征是三维物理对象，相应注释的表示包括物理对象的长度、宽度和/或高度的测量，并且附加选项包括物理对象的一个或多个表面的面积和/或物理对象的体积的测量等。在一些实施方案中，附加选项包括用于与相应注释交互的选项，包括用于分享关于相应注释的信息的选项，包括例如：用于复制关于相应注释的信息的用户界面元素；用于启动包括关于相应注释的信息的消息(例如，SMS/MMS、电子邮件等)的发送的用户界面元素；和/或用于启动包括关于相应注释的信息的文件的无线转发(例如，到附近系统)的用户界面元素。在一些实施方案中，在响应于接收到第三输入而显示对应于用于与相应注释交互的附加选项的该组用户界面元素的同时，维持显示其他注释的表示(例如，在注释用户界面的不同部分(不同于注释列表的所显示部分)中或上方显示相应注释的表示和/或附加交互选项，任选地包括关于相应注释的附加信息，并且任选地维持注释列表的所显示部分)。
提供附加选项以用于响应于对应于单个注释的所显示表示的输入而与注释交互提供了单个注释的附加选项，而不会让人被列表中的其他注释分心，并且使得用户界面更容易与仅单个注释交互，而且还避免了当仍显示列表中的其他注释的表示时由于附加选项使用户界面杂乱。提供附加控制选项而不由于附加显示的控件使用户界面杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在对应于注释列表中的相应注释的表示的位置处接收(1226)作为第一类型的手势(例如，轻扫手势)的输入；并且响应于接收到作为第一类型的手势的输入，计算机系统从注释列表的所显示部分中移除相应注释的表示(例如，如上文参考图5BM至图5BO所述)。
响应于作为特定类型的手势的输入而移除注释的表示允许用户快速删除不再想要或不再需要的注释，而无需显示用于删除注释的专用用户界面元素并且无需用户在复杂的菜单分级结构中进行导航。减少执行操作所需的输入数量并提供附加控制选项而不由于附加显示的控件使用户界面杂乱，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，结合注释会话(例如，第一注释会话)显示(1228)注释放置用户界面，该注释会话在结合先前(例如，第二)注释会话显示注释放置用户界面之后启动，在先前注释会话期间将一个或多个第三注释添加到该一个或多个相机的视野的表示。在一些实施方案中，包括第一注释和第二注释的注释列表不包括在先前注释会话期间添加的该一个或多个第三注释。在一些实施方案中，在当前注释会话结束和/或在新注释会话开始时，清除在当前注释会话期间添加的注释列表。在一些实施方案中，停止显示注释放置用户界面(例如，在注释放置用户界面是相关联应用程序的用户界面的情况下，关闭应用程序)结束当前注释会话。在一些实施方案中，启动显示注释放置用户界面(例如，启动相关联的应用程序)开始新注释会话(例如，如上文参考图5BQ所述)。
在注释列表中，仅显示在当前注释会话期间已经添加的注释，而不显示在先前注释会话期间添加的注释，为用户提供了关于已经以有组织的方式做好的最近注释的信息(并且在一些情况下，由于视觉测距法中的约束要求连续和/或局部捕获指示物理环境的信息，数据诸如测量结果保持准确)，而不提供关于可能不再相关或准确的较旧注释的信息。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图12A至图12C中的操作进行描述的特定顺序仅为示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1000、1100、1300、1400、1500和1600)描述的其他过程的细节同样以类似的方式适用于上文参考图12A至图12C描述的方法1200。例如，上文参考方法1200所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、注释、文本标签和测量，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、1100、1300、1400、1500和1600)所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、注释、文本标签和测量的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图13A至图13D是示出根据一些实施方案的沿着物理表面测量路径，考虑这些物理表面的形状和曲率的方法1300的流程图。方法1300在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1300中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，方法1300在物理环境中对应于视野的表示中的用户指定点或位置的不同物理位置之间进行测量，并且其中不同物理位置位于不平坦的物理表面上，物理位置之间的测量自动考虑物理表面的形状，从而提供帮助用户更准确地测量物理环境的改进的测量功能。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统经由显示设备显示(1302)注释放置用户界面(例如，增强现实测量应用程序的用户界面)，该注释放置用户界面包括该一个或多个相机的视野的表示(例如，如图6A所示)，视野的表示包括在该一个或多个相机的视野中的三维物理环境的一部分的表示。基于该一个或多个相机的视野中的变化随时间更新视野的表示(例如，视野的表示是基于物理环境中的在视野内的变化，和/或基于改变物理环境在视野内的部分的该一个或多个相机的移动而更新的实时视图)。
在一些实施方案中，计算机系统接收(1304)对应于从视野的表示中的第一位置测量到视野的表示中的不同于第一位置的第二位置的请求的一个或多个第一输入，其中视野的表示中的第一位置对应于物理环境中的(例如，检测到的)物理表面上的第一物理位置，并且视野的表示中的第二位置对应于物理表面上的不同于第一物理位置的第二物理位置(例如，如图6C至图6H所示)。
在一些实施方案中，响应于接收到该一个或多个第一输入，计算机系统(1306)经由显示设备显示从视野的表示中的第一位置到视野的表示中的第二位置的第一测量的表示(例如，第一测量的表示包括从第一物理位置到第二物理位置的路径的长度)，包括根据确定物理表面不是平坦表面(例如，物理表面至少部分地弯曲并且/或者包括两个或更多个相交表面)，在显示第一测量的表示时考虑物理表面的形状(例如，在第一物理位置和第二物理位置之间、沿着从第一物理位置到第二物理位置的路径)(例如，如上文参考图6B至图6H所述)。
在一些实施方案中，第一测量的表示测量对应于(例如，适形于)物理表面的模拟表面。在一些实施方案中，第一测量的表示包括根据关于物理环境的深度信息(例如，包括使用本文所述的任何方法和传感器获得的物理表面的深度信息)来约束的测量区段。在一些实施方案中，根据确定物理表面不是平坦表面，测量遵循对应于物理环境中的非线性路径的路径(例如，如上文参考图6D所述)。在一些实施方案中，根据确定物理表面是平坦表面，测量遵循物理环境中的线性路径(例如，沿着平坦表面)。在一些实施方案中，第一测量的表示包括描述第一测量的标签(例如，指示被约束为沿着物理表面的第一测量的长度的标签)(例如，如上文参考图6E至图6H所述)。在一些实施方案中，物理表面的形状由指示物理环境的信息来确定，诸如使用系统的一个或多个深度传感器获得的深度信息。
在一些实施方案中，显示(1306)第一测量的表示包括显示(1308)物理环境中的第一路径的表示(例如，显示测量区段)，其中第一路径从第一物理位置延伸到第二物理位置；并且根据确定物理表面不是平坦表面，第一路径的表示具有基于第一物理位置与第二物理位置之间的物理表面的形状而确定的形状(例如，第一路径基于物理表面在三维空间中的曲率遵循物理表面的形状)(例如，如上文参考图6B至图6H所述)。
显示对应于物理位置的用户指定点之间的测量的路径的表示，包括在物理表面不平坦的情况下，显示具有基于用户指定点之间的物理表面的形状而确定的形状的路径的表示，为用户提供了指示测量路径，并且(如果适用的话)测量路径不笔直(例如，测量路径沿着不平坦的表面)的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一路径适形(1310)于(例如，跟踪或遵循)第一物理位置与第二物理位置之间的物理表面的形状(例如，如参考图6B至图6H所述)。在一些实施方案中，第一路径是被(例如，系统)确定为沿着第一物理位置与第二物理位置之间的物理表面的最短路径的路径。在一些实施方案中，第一路径是从第一物理位置到第二物理位置的直接路径(例如，通过物理空间的最短路径)在物理表面上的投影。
将用户指定点之间的测量的路径适形于用户指定点之间的物理表面的形状(特别是在物理表面不平坦的情况下)，这为用户提供了指示测量路径沿着不平坦的物理表面并且测量考虑物理表面的不规则形状的视觉反馈(例如，如参考图6B至图6H所述)。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统沿着第一路径的表示间隔地显示(1312)一个或多个刻度标记(例如，作为第一路径的表示的显示的一部分或与第一路径的表示的显示结合)，其中根据确定物理表面不是平坦表面，显示该一个或多个刻度标记的间隔考虑物理表面的形状(例如，刻度标记沿着物理表面的表示间隔地显示，这些间隔指示沿着第一物理位置与第二物理位置之间的物理表面的均匀间隔；然而，由于物理表面的形状(例如，曲率)，显示刻度标记所隔的间隔在所显示的用户界面中可能看起来不均匀地间隔开)。在一些实施方案中，根据确定物理表面是平坦表面，刻度标记沿着第一路径的表示以均匀间隔显示(例如，这些间隔指示沿着第一位置与第二位置之间的物理表面的均匀间隔并且看起来也均匀地间隔开)。在一些实施方案中，根据确定该一个或多个相机在距沿着物理表面的第一路径的阈值距离范围内，显示(例如，相应一组刻度标记中的)该一个或多个刻度标记，例如如本文参考方法800所述(例如，如参考图5O和8A至图8F所述)。
沿着用户指定点之间的测量的路径的表示显示刻度标记，并且以考虑用户指定点之间的物理表面的形状的方式显示刻度标记，例如通过以略微不均匀间隔开的间隔显示刻度标记，这为用户提供了关于测量的范围(例如，长度)的附加细节以及对于测量路径不笔直的指示。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1314)对应于从视野的表示中的第一位置测量到视野的表示中的第三位置的请求的一个或多个第二输入，其中第三位置不同于第一位置和第二位置并且对应于物理环境中的物理表面上的第三物理位置。在一些实施方案中，响应于接收到该一个或多个第二输入，计算机系统经由显示设备显示从视野的表示中的第一位置到视野的表示中的第三位置的第二测量的表示。在一些实施方案中，显示第二测量的表示包括显示物理环境中的不同于第一路径的第二路径的表示；第二路径从第一物理位置延伸到第三物理位置并且适形于第一物理位置与第三物理位置之间的物理表面的形状；并且第二路径的表示的形状不同于第一路径的表示的形状。
显示在第一对物理位置之间的第一路径的表示，第一路径的表示具有与在第二对物理位置之间的第二路径的表示的形状不同的形状，这为用户提供了指示以下内容的视觉反馈：这些路径是不同的路径，这些路径中的至少一个路径沿着不平坦的物理表面，并且这两个路径的测量考虑路径遵循的对应物理表面的不规则形状。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在注释放置用户界面正在第一模式(例如，弯曲测量模式)下操作的同时，接收(1316)该一个或多个第一输入(例如，根据确定注释放置用户界面正在第一模式下操作并且确定物理表面不是平坦表面，考虑物理表面的形状)。在一些实施方案中，计算机系统接收对应于从视野的表示中的第一位置测量到视野的表示中的第二位置的请求的一个或多个第三输入；并且响应于接收到该一个或多个第三输入：根据确定在注释放置用户界面正在不同于第一模式的第二模式(例如，直线测量模式)下操作的同时接收该一个或多个第三输入，计算机系统经由显示设备显示第三测量的表示而不考虑物理表面的形状。在一些实施方案中，不考虑物理表面的形状的第三测量的值不同于要考虑物理表面的形状(例如，如果物理表面不是平坦表面)的第一测量的值。在一些实施方案中，根据确定在注释放置用户界面正在第一模式(例如，弯曲测量模式)下操作的同时接收该一个或多个第三输入，显示考虑物理表面的形状的测量的表示。
提供使得能够沿着不笔直的路径(例如，弯曲的路径)进行测量并且不同于沿着笔直的路径进行测量的操作模式的单独操作模式，为用户提供了更强大的测量功能，并且，针对不同模式显示不同类型的测量表示(例如，在处于弯曲测量模式时显示考虑表面形状的测量的表示，相反地在直线测量模式中显示不考虑表面形状的测量的表示)为用户提供了指示当前操作模式以及测量路径是否笔直的视觉反馈。为用户提供附加控制选项和改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该一个或多个第一输入由选择视野的表示中的第一位置的输入和选择视野的表示中的第二位置的输入组成(1318)。在一些实施方案中，该一个或多个第一输入包括选择视野的表示中的第一位置的输入和选择视野的表示中的第二位置的输入，而不包括指定物理表面的形状的输入。在一些实施方案中，在接收到对应于将注释模式转变为弯曲测量模式的请求的输入之后，并且在注释放置用户界面正在弯曲测量模式下操作的同时接收该一个或多个第一输入。在一些实施方案中，系统基于由系统使用一个或多个深度传感器获得的指示物理环境(例如，深度信息)的信息来确定物理表面的形状(例如，无需用户提供关于物理表面的形状的信息)。
显示两个用户指定点之间的测量的表示，该测量考虑用户指定点之间的物理表面的形状而无需用户指定物理表面的形状，这提供了帮助用户更快速且准确地测量物理环境的改进的测量功能。在一组条件已经被满足时以减少执行操作所需的输入数量的方式来(例如，自动地)执行操作，这增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一测量测量(1320)从第一物理位置到第二物理位置的路径，并且路径的一部分至少部分地沿第一方向上延伸，第一方向不同于(例如，垂直于)沿着穿过物理环境中的第一物理位置和第二物理位置的直线的方向。在一些实施方案中，路径是二维的，在包括该直线和垂直于该直线的线的平面中，并且路径位于该平面中该直线的一侧(例如，沿从该垂直线与该直线的交叉点延伸的该垂直线的第一射线(半直线)的方向)。在一些实施方案中，物理表面在第一物理位置与第二物理位置之间是凹形的(例如，第一物理位置与第二物理位置之间的直线段经过物理表面上方，例如穿过空气)。
显示对应于物理位置的用户指定点之间的测量的路径的表示，其中路径弯曲远离穿过物理位置的直线，这为用户提供了指示测量路径不笔直的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一测量测量(1322)从第一物理位置到第二物理位置的路径，并且路径的一部分至少部分地沿第二方向延伸，第二方向垂直于穿过物理环境中的第一物理位置和第二物理位置的直线(例如，沿着图6F中的弯曲引导642延伸的路径)。在一些实施方案中，路径是二维的，在包括该直线和垂直于该直线的线的平面中，并且路径仅在路径的端点处与该直线交汇。在一些实施方案中，物理表面在第一物理位置与第二物理位置之间是凸形的(例如，第一物理位置与第二物理位置之间的直线段经过物理表面下方，穿过其外表面包括该物理表面的物理对象)。
显示对应于物理位置的用户指定点之间的测量的路径的表示，其中路径弯曲远离穿过物理位置的直线，这为用户提供了指示测量路径不笔直的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一测量测量(1324)从第一物理位置到第二物理位置的路径，并且路径至少部分地沿第一方向延伸并且至少部分地沿第二方向延伸，第一方向垂直于穿过物理环境中的第一物理位置和第二物理位置的直线，第二方向垂直于该直线并且与第一方向相反(例如，如图6H所示)。在一些实施方案中，路径是二维的，在包括该直线和垂直于该直线的线的平面中，并且路径位于该平面中该直线的两侧(例如，路径与该直线在三个或更多个点(例如，路径的端点和至少一个其他点)处交汇或相交)。在一些实施方案中，第一物理位置与第二物理位置之间的物理表面是部分凸形且部分凹形的(例如，第一物理位置与第二物理位置之间的直线段的一个或多个部分经过物理表面下方，穿过其外表面包括该物理表面的物理对象，并且该直线段的一个或多个部分经过物理表面上方)。
显示对应于物理位置的用户指定点之间的测量的路径的表示，其中路径弯曲远离穿过物理位置的直线，这为用户提供了指示测量路径不笔直的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在视野的表示上方(例如，在视野的表示中的物理表面的表示上方)显示(1326)指示物理表面的形状的引导(例如，如图6D所示)。在一些实施方案中，根据确定物理表面不是平坦表面，显示引导。如本文参考方法900所述，在一些实施方案中，响应于注释用户界面的放置用户界面元素指示视野的表示中的第一位置，显示引导(例如，基于放置用户界面元素在第一位置上方移动和/或放置用户界面元素与第一位置对齐)。如本文参考方法1000所述，在一些实施方案中，响应于对应于在视野的表示中的第一位置处进行注释(例如，添加测量点)的请求的输入(例如，在放置用户界面元素指示第一位置的同时接收的注释放置输入)，显示引导。
显示指示物理表面的形状的引导(特别是在物理表面不平坦的情况下)为用户提供了不仅指示物理表面的形状，还指示从当前焦点开始或包括当前焦点的注释或测量的可能形状的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，注释放置用户界面包括(1328)注释放置用户界面元素(例如，标线)，其指示(例如，经由标线的点或其他标记)响应于接收到注释放置输入，虚拟注释(例如，测量点或其他测量表示)将被放置在视野的表示中的哪个位置。在注释放置用户界面元素指示视野的表示中的相应位置的同时，根据确定视野的表示中的相应位置对应于不是平坦表面的物理表面上的相应物理位置，放置用户界面元素指示物理表面的形状(例如，放置用户界面元素的外观基于(例如，适形于或成形为)物理表面的形状，例如使得放置用户界面元素看起来投影在物理表面上或覆盖在物理表面上方)(例如，如图6B至图6G所示)。
显示具有指示物理表面的形状的外观的放置用户界面元素(特别是在物理表面不平坦的情况下)，为用户提供了不仅指示物理表面的形状，还指示(例如，由放置用户界面元素指示)从当前焦点开始或包括当前焦点的注释或测量的可能形状的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图13A-图13D中已进行描述的操作的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1000、1100、1200、1400、1500和1600)描述的其他过程的细节同样以类似的方式适用于上文参考图13A至图13D描述的方法1300。例如，上文参考方法1300所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、物理表面、路径、注释模式、注释、测量表示、刻度标记和引导，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、1100、1200、1400、1500和1600)所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、物理表面、路径、注释模式、注释、测量表示、刻度标记和引导的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图14A至图14D是示出根据一些实施方案的测量在先前捕获的媒体中表示的物理特征的方法1400的流程图。方法1400在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和任选的一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，方法1400响应于显示先前捕获的媒体(例如，图像，如照片或视频的帧)的表示的请求(例如，自动地)显示在先前捕获的媒体中表示的一个或多个物理特征的测量结果，这为用户提供了关于在图像中捕获的物理特征的尺寸的信息，在一些实施方案中，(除请求显示先前捕获的媒体本身的输入之外)无需用户提供请求显示测量结果的任何输入。以减少所需的输入数量或根本无需进一步的用户输入的方式来执行操作增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统经由显示设备显示(1402)在计算机系统上执行的应用程序的第一用户界面(例如，如图6K所示)。
在显示应用程序的第一用户界面的同时，计算机系统接收(1404)对应于显示应用程序的第二用户界面以用于显示第一先前捕获的媒体(例如，静止图像)的带注释表示的请求的一个或多个输入(例如，如参考图6L至图6M所述)。在一些实施方案中，应用程序是媒体(例如，图像或视频)查看应用程序，并且第一用户界面是媒体查看用户界面。在一些实施方案中，该一个或多个输入对应于在媒体查看应用程序的用户界面中显示注释用户界面的请求(例如，启用媒体查看应用程序的注释模式诸如测量模式的请求)。
响应于接收到对应于显示第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的该一个或多个输入，计算机系统显示(1406)第二用户界面，包括：显示第一先前捕获的媒体(例如，静止图像)的带注释表示，其中第一先前捕获的媒体的带注释表示包括在其中捕获了第一先前捕获的媒体的三维物理环境的第一部分的表示；并且根据确定第一先前捕获的媒体的表示包括对应于物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域(例如，基于先前捕获的媒体包括关于物理环境中的物理特征的深度信息或与深度信息相关联)，显示(例如，自动地)该一个或多个第一物理特征的一个或多个测量表示(例如，如图6M至图6P、图6R至图6S、图6V、图6W和图6Y所示)。
在一些实施方案中，系统显示该一个或多个测量表示，而不考虑是否已经接收到对应于测量该一个或多个物理特征的请求(例如，独立于显示第二用户界面的请求)的用户输入。在一些实施方案中，确定相应物理特征能够被测量包括：基于指示相应物理特征，并且任选地被包括在包括相应物理特征的表示的对应的先前捕获的媒体中或与其相关联的信息(诸如使用系统的一个或多个深度传感器获得的关于相应物理特征的深度信息)来确定相应物理特征能够被系统测量。在一些实施方案中，确定相应物理特征不能被测量包括：基于(例如，由于)指示相应物理特征的、被包括在包括相应物理特征的表示的对应的先前捕获的媒体中或与其相关联的信息诸如深度信息不足(例如，信息不完整、缺乏保真度或完全缺失)来确定相应物理特征不能被系统测量。
在一些实施方案中，显示该一个或多个测量表示包括(1408)同时显示：(例如，该一个或多个物理特征中的第一物理特征的)第一测量的第一表示；和(例如，该一个或多个物理特征中的第二物理特征的)第二测量的第二表示(例如，如图6M至图6P、图6S、图6V、图6W和图6Y所示)。在一些实施方案中，显示该一个或多个测量表示包括响应于接收到对应于显示第二用户界面以对先前捕获的媒体的表示进行注释的请求的该一个或多个输入而同时显示多个(例如，两个、三个、四个、五个或更多个)测量(例如，包括第一测量和第二测量)的相应表示。
同时显示多个测量表示有效地为用户提供了关于图像的多个方面(例如，在图像中捕获的多个物理特征)的尺寸的信息，而无需用户提供输入以依次单独请求显示和查看每个测量。以减少所需的输入数量或根本无需进一步的用户输入的方式来执行操作增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第一先前捕获的媒体的表示包括对应于物理环境中启用测量的信息对其不可用(例如，先前捕获的媒体不包括或不与关于物理特征的深度信息相关联)的一个或多个第一物理特征的一个或多个区域，计算机系统放弃(1410)显示不能被测量的该一个或多个物理特征的一个或多个(例如，任何)测量表示(例如，如参考图6U至图6V所述)。
放弃显示系统无法测量的物理特征的测量表示(例如，由于可用于那些物理特征的深度信息不足)，这避免了为用户提供不准确信息而使用户界面杂乱并且使用户从系统能够正确进行的测量的表示分心。为用户提供改进的视觉反馈并且减少用户界面的杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一先前捕获的媒体的表示包括(1412)相应物理特征的表示(例如，如上文参考图6K至图6Y所述)。在一些实施方案中，计算机系统接收对应于测量相应物理特征的请求的用户输入，并且响应于接收到该用户输入放弃显示对应于相应物理特征的测量表示(例如，忽略对应于测量相应物理特征的请求的用户输入)。在一些实施方案中，忽略对应于测量物理特征的请求的用户输入。
放弃响应于请求测量物理特征的用户输入在先前捕获的媒体的表示中添加物理特征的测量表示，这为用户提供了所请求的物理特征不能被系统测量的反馈(例如，在其中已经自动显示能够被测量的所有物理特征的测量的实施方案中)。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1414)对应于显示第二先前捕获的媒体的表示的请求的一个或多个输入(例如，如上文参考图6P至图6R所述)。在一些实施方案中，该一个或多个输入对应于从显示第一先前捕获的媒体的表示切换到显示第二先前捕获的媒体的表示的请求。在一些实施方案中，该一个或多个输入包括选择对应于第二先前捕获的媒体的表示的用户界面元素(例如，缩略图图像)。在一些实施方案中，该一个或多个输入包括与导航到先前捕获的媒体列表或集合中的下一个或上一个先前捕获的媒体的表示(第二先前捕获的媒体的表示是列表或集合中的下一个或上一个表示)相关联的手势。
在一些实施方案中，响应于接收到对应于显示第二先前捕获的媒体的表示的请求的该一个或多个输入，计算机系统显示第二先前捕获的媒体的表示，其中：第二先前捕获的媒体的表示包括三维物理环境的第一部分(例如，在第一媒体的表示中捕获的同一部分)的表示；并且第二先前捕获的媒体的表示包括与对应于物理环境中能够被测量的多个物理特征的多个区域，该多个物理特征包括第一先前捕获的媒体的能够被测量的该一个或多个第一物理特征，以及能够被测量的至少一个附加物理特征(例如，第二先前捕获的媒体包括更多关于物理环境的信息或与其相关联)。在一些实施方案中，第二先前捕获的媒体包括比第一先前捕获的媒体更多的可测量物理特征的表示(例如，如图6M至图6P和图6R至图6S所示)。
在一些实施方案中，在第二先前捕获的媒体中捕获的可测量物理特征是第一先前捕获的媒体的可测量物理特征的超集。在一些实施方案中，在第二先前捕获的媒体的表示中对应于能够被测量的物理特征的区域的数量大于在第一先前捕获的媒体的表示中对应于能够被测量的物理特征的区域的数量。在一些实施方案中，在第二先前捕获的媒体中可用的关于物理环境的信息比在第一先前捕获的媒体中可用的关于物理环境的信息更多的可能原因包括：房间中照明的改善、该一个或多个相机或深度传感器的位置的变化使得物理环境中的特征诸如物理对象或其边缘的分辨率更高或可见性更大、遮挡该一个或多个相机或深度传感器的元件的移除等。
在一些实施方案中，响应于接收到对应于显示第二先前捕获的媒体的表示的请求的该一个或多个输入，计算机系统显示该多个物理特征的多个测量表示(例如，通过显示该多个物理特征中的每个物理特征的相应测量表示)(例如，如图6R至图6S所示)。
当切换到显示捕获更多能够被测量(例如，通过包括更多深度信息)的物理特征的媒体表示时，显示更大数量的物理特征的更多测量表示，这为用户提供了正在显示包括更多关于物理特征的信息的不同的媒体表示的视觉反馈，并且为用户提供了关于在当前显示的媒体表示中捕获的特定物理特征的尺寸的附加信息，而无需用户提供输入以请求显示附加信息。提供改进的视觉反馈(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1416)对应于显示第三先前捕获的媒体的表示的请求的一个或多个输入(例如，如上文参考图6S至图6T所述)。在一些实施方案中，该一个或多个输入对应于从显示先前捕获的媒体(例如，第一先前捕获的媒体或第二先前捕获的媒体)的当前显示的表示切换到显示第三先前捕获的媒体的表示的请求。在一些实施方案中，该一个或多个输入包括选择对应于第三先前捕获的媒体的表示的用户界面元素(例如，缩略图图像)。在一些实施方案中，该一个或多个输入包括与导航到先前捕获的媒体列表或集合中的下一个或上一个先前捕获的媒体的表示(第三先前捕获的媒体的表示是列表或集合中的下一个或上一个表示)相关联的手势。
在一些实施方案中，响应于接收到对应于显示第三先前捕获的媒体的表示的请求的该一个或多个输入，计算机系统显示第三先前捕获的媒体的表示，其中：第三先前捕获的媒体的表示包括三维物理环境的第一部分(例如，在第一媒体的表示和第三媒体的表示中捕获的同一部分)的表示；并且第三先前捕获的媒体的表示包括对应于物理环境中能够被测量的一个或多个第二物理特征的一个或多个区域，该一个或多个第二物理特征不同于该一个或多个第一物理特征(例如，第三先前捕获的媒体包括与第一先前捕获的媒体所包括信息不同的信息或与不同的信息相关联)(例如，如图6M至图6P和图6V至图6W所示)。
在一些实施方案中，响应于接收到对应于显示第三先前捕获的媒体的表示的请求的该一个或多个输入，计算机系统显示该一个或多个第二物理特征的一个或多个测量表示(例如，通过显示该一个或多个第二物理特征中的每个物理特征的相应测量表示)(例如，如图6V至图6W所示)。在一些实施方案中，该一个或多个第二物理特征包括不在该一个或多个第一物理特征中的至少一个物理特征。在一些实施方案中，该一个或多个第一物理特征包括不在该一个或多个第二物理特征中的至少一个物理特征。在一些实施方案中，该一个或多个第二物理特征包括也在该一个或多个第一物理特征中的至少一个物理特征。在一些实施方案中，在第三先前捕获的媒体中可用的关于物理环境的信息与在第一先前捕获的媒体中可用的关于物理环境的信息不同的可能原因包括：房间中照明的变化、该一个或多个相机或深度传感器的位置的变化使得物理环境中的特征诸如物理对象或其边缘的分辨率或可见性不同、遮挡该一个或多个相机或深度传感器的元件的添加或移除等。
当切换到显示捕获不同的能够被测量的物理特征的媒体表示时，显示不同物理特征的不同测量表示，这为用户提供了正在显示包括不同的关于物理特征的信息的不同的媒体表示的视觉反馈，并且为用户提供了关于在当前显示的媒体表示中捕获的特定物理特征的尺寸的信息，而无需用户提供输入以请求显示不同的信息。提供改进的视觉反馈(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1418)对应于显示第四先前捕获的媒体的表示的请求的一个或多个输入。在一些实施方案中，响应于接收到对应于显示第四先前捕获的媒体的表示的请求的该一个或多个输入，计算机系统显示第四先前捕获的媒体的表示，其中：第四先前捕获的媒体的表示包括三维物理环境的第一部分(例如，在第一媒体的表示中捕获的同一部分)的表示；并且第四先前捕获的媒体的表示包括对应于第一先前捕获的媒体的能够被测量的该一个或多个物理特征的子集的一个或多个区域(例如，第四先前捕获的媒体包括更少关于物理环境的信息或与其相关联)。在一些实施方案中，第四先前捕获的媒体包括比第一先前捕获的媒体更少的可测量物理特征的表示。在一些实施方案中，在第四先前捕获的媒体的表示中对应于能够被测量的物理特征的区域的数量小于在第一先前捕获的媒体的表示中对应于能够被测量的物理特征的区域的数量。
在一些实施方案中，响应于接收到对应于显示第四先前捕获的媒体的表示的请求的该一个或多个输入，计算机系统显示该一个或多个物理特征的子集的一个或多个测量表示(例如，对于第四媒体显示比第一媒体更少的测量表示)。在一些实施方案中，在第四先前捕获的媒体中可用的关于物理环境的信息比在第一先前捕获的媒体中可用的关于物理环境的信息更少的可能原因包括：房间中照明的减少、该一个或多个相机或深度传感器的位置的变化使得物理环境中的特征诸如物理对象或其边缘的分辨率更低或可见性更小、遮挡该一个或多个相机或深度传感器的元件的添加或移除等。
当切换到显示捕获更少能够被测量的物理特征的媒体表示时，显示更少数量的物理特征的更少测量表示，这为用户提供了正在显示包括更少关于物理特征的信息的不同的媒体表示的视觉反馈，并且为用户提供了关于在当前显示的媒体表示中捕获的特定物理特征的尺寸的信息，而无需用户提供输入以请求显示信息。提供改进的视觉反馈(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1420)对应于显示第五先前捕获的媒体的表示的请求的一个或多个输入(例如，如图6W所示)。在一些实施方案中，响应于接收到对应于显示第五先前捕获的媒体的表示的请求的该一个或多个输入：计算机系统显示第五先前捕获的媒体的表示，其中第五先前捕获的媒体的表示包括三维物理环境的不同于第一部分的第二部分的表示(或在一些实施方案中，与在第一媒体中捕获的三维环境不同的三维环境的表示)(例如，第五先前捕获的媒体的表示不包括物理环境的第一部分的表示)；并且根据确定第五先前捕获的媒体的表示包括对应于物理环境的第二部分中能够被测量的一个或多个物理特征的一个或多个区域，计算机系统显示物理环境的第二部分中的该一个或多个物理特征的一个或多个测量表示(例如，如图6Y所示)。在一些实施方案中，物理环境的第二部分中的物理特征的测量不同于物理环境的第一部分中的物理特征的测量。
当切换到显示捕获不同的能够被测量的物理特征的媒体表示，特别是当媒体捕获物理环境的不同部分(或完全不同的物理环境)时，显示不同物理特征的不同测量表示，这为用户提供了正在显示包括不同的关于物理特征的信息的不同的媒体表示的视觉反馈，并且为用户提供了关于在当前显示的媒体表示中捕获的特定物理特征的尺寸的信息，而无需用户提供输入以请求显示不同的信息。提供改进的视觉反馈(例如，自动地)而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一先前捕获的媒体的表示(1422)是照片(例如，静止图像)或视频(例如，包括一系列图像)中的一者。
例如基于与先前捕获的照片和视频相关联或包括在其中的已捕获深度信息来显示在先前捕获的照片和视频中表示的一个或多个物理特征的测量，这向用户提供了关于照片和视频的附加细节，而无需用户提供专用于捕获附加细节的输入。为用户提供改进的视觉反馈并且减少执行操作所需的输入的数量增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，应用程序是(1424)媒体(例如，图像和/或视频)查看应用程序，应用程序的第一用户界面是用于查看第一先前捕获的媒体的用户界面，并且该一个或多个输入对应于启用媒体查看应用程序的注释(例如，测量)模式(例如，激活在媒体查看应用程序的第一用户界面中显示的注释模式用户界面元素)的请求。
提供可从用于在媒体查看应用程序内查看媒体表示的用户界面访问的用于查看或显示带注释媒体表示的用户界面，这为用户提供了查看关于正在查看的媒体表示的更多详细信息的选项，而在默认情况下不显示更多详细信息。提供附加控制选项来缓解由于过多细节使用户界面杂乱的问题增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，应用程序是(1426)注释应用程序(例如，测量应用程序)，第一用户界面是用于将注释(例如，测量表示)添加到计算机系统的一个或多个相机的视野的表示(例如，作为被更新以反映该一个或多个相机的视野中的变化的实时视图的视野的表示)的用户界面，并且该一个或多个输入对应于显示第一先前捕获的媒体的表示的请求(例如，可经由选择在例如注释应用程序的第一用户界面中显示并且对应于先前捕获的媒体的用户界面元素从第一用户界面访问先前捕获的媒体的表示)。在一些实施方案中，先前捕获的媒体响应于在注释应用程序的第一用户界面中显示的媒体捕获用户界面元素的激活而被捕获。
提供可从用于在注释应用程序内对一个或多个相机的视野的表示进行注释的用户界面访问的用于查看或显示带注释媒体表示的用户界面，这为用户提供了在同一注释应用程序内重新访问先前捕获的、先前注释的媒体表示(诸如视野的先前注释的表示)的选项，而无需用户退出注释应用程序并启动单独的媒体查看应用程序。减少执行操作所需的输入的数量增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图14A-14D中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1000、1100、1200、1300、1500和1600)描述的其他过程的细节同样以类似的方式适用于上文参考图14A至图14D描述的方法1400。例如，上文参考方法1400所述的应用程序、用户界面、用户界面元素、物理环境以及其中的特征和对象、媒体、注释和测量表示，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、1100、1200、1300、1500和1600)所述的应用程序、用户界面、用户界面元素、物理环境以及其中的特征和对象、媒体、注释和测量表示的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图15A至图15D是示出根据一些实施方案的扫描物理环境以捕获用于对该物理环境进行建模的深度信息的方法1500的流程图。方法1500在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1500中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，当将物理环境扫描为已捕获深度信息时，方法1500显示物理环境的表示，并且显示已经完成的扫描范围的指示覆盖在物理环境的已经捕获到深度信息的一部分的表示上，并且当针对那些附加部分捕获到深度信息时更新该指示为覆盖在物理环境的附加部分的表示上。显示物理环境的表示，包括物理环境的已经扫描的部分的表示(其上覆盖有指示)以及尚未扫描的部分的表示，这有助于用户在物理环境中取向并且为用户提供了关于物理环境的哪些部分已经被扫描以及哪些部分尚未被扫描的反馈，这告知了用户关于用户应当向哪个方向移动或转向以进行深度信息捕获过程(例如，如图7H至图7J所示)。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统在用户界面的第一区域(例如，增强现实测量应用程序的用户界面)中显示(1502)该一个或多个相机的视野的表示，其中该一个或多个相机在三维物理环境中，并且视野的表示包括在该一个或多个相机的视野中的物理环境的第一相应部分的第一视图(例如，第一人称视角透视图)的表示(例如，如图7A所示)。
计算机系统捕获(1504)指示物理环境的第一相应部分的第一子集的深度信息(例如，第一子集可包括物理环境的第一相应部分的部分或全部)。
在一些实施方案中，计算机系统在视野的表示上方显示(1506)指示物理环境的已经捕获到深度信息的第一相应部分的范围的第一指示(例如，包括指示已经根据捕获指示第一子集的深度信息而被捕获的指示第一子集的深度信息)，包括显示覆盖在包括第一子集的表示的视野的表示的至少第一部分上的第一指示(例如，视野的表示的第一部分对应于物理环境的已经捕获到深度信息的部分)，并且显示未被第一指示覆盖的视野的表示的至少第二部分(例如，对应于物理环境的尚未捕获到深度信息的部分表示)(例如，其上、物理环境的第二部分上方)。在一些实施方案中，第一指示是区域(例如，连续区域)，该区域的边界指示已经捕获(例如，系统的该一个或多个相机和/或一个或多个深度传感器已经扫描)到深度信息的物理环境的范围。在一些实施方案中，第一指示部分透明(例如，半透明)，使得视野的表示的第一部分部分可见(例如，就像是在第一指示叠层下方并且“透过”第一指示叠层可见)(例如，如参考图7H至图7M所述)。
在一些实施方案中，计算机系统检测(1508)移动视野以包括物理环境的第二相应部分的该一个或多个相机的移动。在一些实施方案中，物理环境的第二相应部分不同于第一相应部分。在一些实施方案中，物理环境的第二相应部分与第一相应部分部分地重叠(例如，如图7H至图7I所示)。
在一些实施方案中，响应于检测到(1510)该一个或多个相机的移动，计算机系统：更新该一个或多个相机的视野的表示以包括物理环境的第二相应部分的第一视图(例如，第一人称视角透视图)的表示；捕获指示物理环境的第二相应部分的第二子集的深度信息(例如，第二子集包括物理环境的第二相应部分中的一些或全部)；并且更新显示在视野的所更新表示上方的第一指示，以指示物理环境的已经捕获到深度信息的第二相应部分的范围(例如，第一指示被更新以指示已经捕获到第二子集的深度信息)，包括显示覆盖在视野的表示的第二部分上的第一指示，视野的表示的第二部分包括第二子集的表示(例如，视野的表示的第二部分对应于物理环境的已经捕获到深度信息的第二部分，包括第二子集)(例如，如图7H至图7I所示)。在一些实施方案中，其中在该一个或多个相机的移动之后保持显示视野的表示的第一部分(例如，全部或部分)，第一指示被显示在视野的表示的第一部分和第二部分两者上方(例如，如图7H至图7I所示)。在一些实施方案中，更新第一指示包括：当针对物理环境的附加部分捕获深度信息时，显示第一指示逐渐扩展到覆盖视野的表示中的物理环境的附加部分的表示的动画(例如，如图7H至图7I、图7M、图7Q、图7S和图7X所示)。
在一些实施方案中，计算机系统在视野的表示中显示(1512)物理环境的尚未捕获到深度信息的一个或多个部分的一个或多个表示(例如，如图7H至图7AB所示)。在一些实施方案中，当尚未针对物理环境的相应部分捕获深度信息时，或者当已捕获深度信息不足(例如，不完整和/或缺乏保真度)时，尚未针对物理环境的相应部分捕获到深度信息(例如，如参考图7H至图7R和图7X至图7AA所述)。在一些实施方案中，根据确定视野的表示包括物理环境的尚未捕获到深度信息的一个或多个部分的一个或多个表示，计算机系统显示该一个或多个部分的表示未被第一指示覆盖在该一个或多个部分的表示上。例如，如上文参考方法1500的操作1506所述，当在视野的表示上方显示物理环境的已经捕获到深度信息的第一相应部分的范围时，第一指示覆盖在视野的表示的至少第一部分上，该部分对应于物理环境的已经捕获到深度信息的部分，并且不覆盖在视野的表示的至少第二部分上，该部分对应于物理环境的尚未捕获到深度信息的部分。类似地，在一些情况下，在更新第一指示以指示物理环境的已经捕获到深度信息的第二相应部分的范围之后，第一指示覆盖在视野的所更新表示的至少第一部分上，该部分对应于物理环境的已经捕获到深度信息的部分，并且不覆盖在视野的所更新表示的至少第二部分上，该部分对应于物理环境的尚未捕获到深度信息的部分(例如，显示视野的所更新表示的至少第二部分未被第一指示覆盖)(例如，如参考图7H至图7R和图7X至图7AB所述)。
显示物理环境的尚未扫描的部分的表示允许用户预览物理环境部件的那些部分并且先期决定是否扫描那些部分，这在物理环境的部分的表示被隐匿直到那些部分已经被扫描之后的情况下会是不可能的。这提供了有助于用户在物理环境中取向的视觉反馈，并且让用户通过决定是否继续扫描的能力对扫描拥有更大的控制。为用户提供改进的视觉反馈并且提供附加控制选项而不会使用户界面由于附加显示的控件而杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统平滑(1514)第一指示的一个或多个边缘。例如，即使物理环境的已经捕获到深度信息的部分具有不规则(例如，锯齿状或不平整)边缘，第一指示也显示为具有平滑边缘(例如，如参考图7A至图7AB所述)。
平滑第一指示的边缘为用户提供了关于物理环境的哪些部分已经被扫描的反馈而不会使该反馈过度详细并且因此分散注意力，以告知用户关于用户应当向哪个方向移动或转向以进行深度信息捕获过程。为用户提供改进的视觉反馈而不会使用户界面(例如，由于第一指示的锯齿状或不平整边缘)杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一指示是连续区域(1516)(例如，并且覆盖在视野的表示的连续区域和用户界面上)(例如，如图7H所示)。例如，当针对物理环境的一部分的至少最外(例如，边缘)区域捕获深度信息时，即使缺失已捕获部分中间的一个或多个区域的深度信息，第一指示也覆盖在物理环境的整个部分的表示上(例如，第一指示是连续的并且延伸到覆盖边缘区域)。
将第一指示呈现为连续区域为用户提供了关于物理环境的哪些部分已经被扫描的反馈而不会使该反馈过度详细并且因此分散注意力，以告知用户关于用户应当向哪个方向移动或转向以进行深度信息捕获过程。在物理环境的一个或多个部分的深度信息不足的情况下，代替在第一指示中显示对应的孔或间隙，可以替代地提供警示(例如，如本文参考操作1538所述)以提示用户将该一个或多个相机朝向物理环境的尚未完全捕获深度信息的部分重定向。为用户提供改进的视觉反馈而不会使用户界面(例如，由于第一指示中的不连续或者第一指示的锯齿状或不平整边缘)杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到该一个或多个相机的移动之前(并且任选地在捕获指示物理环境的第一相应部分的第一子集的深度信息和/或显示该一个或多个相机的视野的表示之前)，计算机系统显示(1518)提示用户将该一个或多个相机在物理环境中四处移动的指令。在一些实施方案中，指令包括用户的表示在物理环境的表示中四处移动的动画。在一些实施方案中，指令包括指导用户在他/她的周围物理环境中四处移动(例如，如图7R所示)的文本。
显示提示用户将该一个或多个相机在物理环境中四处移动以捕获关于物理环境的深度信息(例如，任选地在转变为正交建模模式时)的指令为用户提供了提示用户执行进行深度信息捕获过程所需的动作的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统显示(1520)第一用户界面元素(例如，捕获(或扫描)启动用户界面元素)，该第一用户界面元素在被激活时发起捕获指示该一个或多个相机所在的物理环境的深度信息(例如，指示在该一个或多个相机的视野中的物理环境的一个或多个部分)(例如，如参考图7G所述)。在一些实施方案中，在显示提示用户将该一个或多个相机在物理环境中四处移动的指令的同时，显示第一用户界面元素。在一些实施方案中，计算机系统接收激活第一用户界面元素的输入；并且在(例如，响应于)接收到激活第一用户界面元素的输入之后，计算机系统捕获指示物理环境的深度信息，其中捕获深度信息包括根据该一个或多个相机的移动来捕获指示第一子集的深度信息并且捕获指示第二子集的深度信息。
显示第一用户界面元素，该第一用户界面元素在被激活时，发起捕获关于周围物理环境的深度信息，这为用户提供了对于深度信息捕获过程的时刻的即时控制，而无需用户在复杂的菜单分级结构中进行导航。提供附加控制选项减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统显示(1522)第二用户界面元素(例如，捕获(或扫描)终止用户界面元素，诸如图7AB中的扫描停止按钮704-2)，第二用户界面元素在被激活时发起(例如，生成并)显示物理环境的已经捕获到深度信息的部分的正交视图。在一些实施方案中，在捕获指示物理环境的深度信息的同时(例如，在显示和激活第一用户界面元素之后)，显示第二用户界面元素。在一些实施方案中，计算机系统接收激活第二用户界面元素的输入；并且在(例如，响应于)接收到激活第二用户界面元素的输入之后，计算机系统显示物理环境(例如，至少一部分)的正交视图。在一些实施方案中，响应于激活第二用户界面元素的输入，计算机系统例如基于指示物理环境的已捕获深度信息来生成物理环境的正交视图，然后显示该正交视图。在一些实施方案中，激活第二用户界面元素结束深度信息的捕获(例如，直到后续激活捕获启动用户界面元素或转变为相应应用程序的不同模式)。
显示第二用户界面元素，第二用户界面元素在被激活时导致显示基于已捕获深度信息的周围物理环境的正交视图，并且任选地导致深度信息捕获会话终止，这为用户提供了对于在深度信息捕获过程中的哪一时刻显示基于已捕获深度信息的正交视图的即时控制，而无需用户在复杂的菜单分级结构中进行导航。提供附加控制选项减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统显示(1524)第一指示包括在视觉上强调第一指示的覆盖在视野的表示中检测到的一组预定义特征类型的物理特征(例如，该组预定义特征类型包括物理对象的边缘)的表示上的一部分(例如，相对于其他类型的特征(诸如对象表面)的表示，在视觉上强调第一指示在其上方显示的区域内的一个或多个特定类型的特征(诸如对象边缘)的表示)。在一些实施方案中，在预定时间段内显示视觉强调(例如，短暂突出显示或闪烁，在已经识别到特征之后随时间推移渐弱)(例如，如参考图7H至图7I和图7N所述)。
在视觉上强调第一指示的覆盖在特定类型的物理特征的表示上的一部分为用户提供了具有已经捕获到关于(用户特别感兴趣的)物理特征的深度信息的反馈，并且在一些情况下还有助于用户在扫描期间围绕物理环境导航而不会碰撞物理环境中的对象。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在视觉上强调第一指示的覆盖在物理特征的表示上的部分包括(1526)在预定时间段(例如，0.5秒至2.0秒或0.5秒至5.0秒的时间段)内突出显示第一指示的该部分。
由于物理环境中的边缘检测的性质基于物理环境的已捕获表示中的不连续以及由此产生的对应于物理边缘的已捕获深度信息中的潜在不连续，基于已捕获深度信息来显示第一指示作为叠层可能导致第一指示中的不完整和不连续。在预定(例如，初始、短暂)时间段内突出显示(例如，并且任选地平滑)第一指示的覆盖在边缘的表示上的部分为用户提供了已经捕获到关于(用户特别感兴趣的)物理特征的深度信息的反馈而不会使该反馈过度详细并且因此分散注意力。为用户提供改进的视觉反馈而不会使用户界面(例如，由于第一指示中的不连续)杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统随时间推移逐渐停止(1528)在视觉上强调第一指示的该部分(例如，如参考图7H至图7I所述)。在一些实施方案中，在预定时间段内显示视觉强调，并且随后移除视觉强调(例如，逐渐消褪)，使得不再相对于第一指示的其他部分在视觉上强调第一指示的覆盖在物理特征的表示上的部分。
随时间推移逐渐减少第一指示的视觉上强调的部分的视觉强调避免了继续在视觉上强调用户可能不再感兴趣的物理特征的表示，并且避免了视觉强调在用户界面中累积。在一组条件已经被满足时执行操作而无需进一步的用户输入并且减少用户界面的杂乱增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，用户界面是(1530)(例如，在计算机系统上执行的)相应应用程序的用户界面；并且在相应应用程序正在相应应用程序的多个模式中的第一模式(例如，正交建模模式)下操作的同时执行以下操作：显示第一指示(例如，操作1506)；检测该一个或多个相机的移动；(例如，操作1508)以及响应于检测到该一个或多个相机的移动，更新视野的表示，捕获指示第二子集的深度信息，以及更新第一指示(例如，操作1510)。在一些实施方案中，在正交建模模式下，系统捕获指示物理环境的信息(例如，深度信息)并且任选地从所捕获的信息生成物理环境的正交视图。在一些实施方案中，所生成的正交视图是顶部正交视图(例如，平面布置图)，并且正交建模模式是平面布置图模式。在一些实施方案中，在相应应用程序正在第一模式下操作的同时还执行以下操作：显示视野的表示并且捕获指示第一子集的深度信息(例如，操作1504)。在一些实施方案中，除了正交建模模式之外，相应应用程序的该多个模式还包括一维注释(例如，测量)模式、二维注释模式、三维注释模式和/或自动注释模式(例如，如上文参考图5C和图7A所述)。
提供用于捕获指示物理环境的深度信息作为相应应用程序的一部分的操作模式，特别是在相应应用程序通过激活对应于深度信息捕获模式的显示的用户界面元素转变为该模式的实施方案中，允许用户快速且方便地获取系统的深度信息捕获能力，而无需用户在复杂的菜单分级结构中进行导航。提供附加控制选项并且减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在用户界面的第二区域中显示(1532)物理环境的第二视图(例如，顶部正交视图，也称为俯视图或平面布置图视图)的表示，其中：根据捕获指示物理环境的第一相应部分的第一子集的深度信息，第二视图的表示指示已经捕获到深度信息的物理环境的范围，包括指示已经捕获到指示第一子集的深度信息(例如，通过在第二视图的表示中显示第一子集的表示)；并且响应于检测到该一个或多个相机的移动：计算机系统更新物理环境(例如，至少一部分)的第二视图(例如，顶部正交视图)的表示以指示已经捕获到深度信息的物理环境的范围，包括指示已经捕获到指示第一子集和第二子集的深度信息(例如，通过更新第二视图的表示以除了第一子集的表示之外还包括第二子集的表示)(例如，如图7H至图7I所示)。
在一些实施方案中，用户界面的第二区域与用户界面的第一区域至少部分地重叠(例如，第二视图的表示显示在用户界面的第一区域的至少一部分上方)。在一些实施方案中，系统在用户界面的第二区域中显示该一个或多个相机的当前位置(在一些实施方案中为系统的当前位置)的指示(例如，表示)，其中当前位置的指示随着该一个或多个相机移动而任选地更新。在一些实施方案中，系统在用户界面的第二区域中显示该一个或多个相机的当前视野的指示(例如，表示)，其中当前视野的指示随着该一个或多个相机移动而任选地更新。
显示物理环境的第二视图的表示随着该一个或多个相机在物理环境中四处移动而被更新以反映已经捕获到深度信息的物理环境的范围，这为用户提供了关于扫描范围的反馈，该反馈补充由第一视图和第一指示提供给用户的反馈。例如，在第一视图包括第一人称视角透视图(例如，该一个或多个相机的视野的实时视图)并且第二视图包括随着该一个或多个相机移动而映射出的物理环境的顶部正交视图的情况下，第二视图提供关于物理环境的在该一个或多个相机的视野之外的部分的信息，该信息可能不由第一视图传送。在其中第二视图指示物理环境中的该一个或多个相机的位置和视野的一些实施方案中，第二视图还告知用户关于用户应当向哪个方向移动或转向以进行深度信息捕获过程。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该一个或多个相机的移动包括(1534)该一个或多个相机绕相应轴线(例如，偏航轴线)旋转相应量(例如，相应旋转(角)度数)。响应于检测到该一个或多个相机的移动，计算机系统使物理环境的第二视图的表示(例如，在用户界面的第二区域中)旋转相应量(例如，如图7I所示)。
使物理环境的第二视图的表示旋转以遵循该一个或多个相机绕相应轴线(例如，偏航轴线)的旋转提供了第二视图作为取向到用户参考帧的导航视图，因为第二视图中的特定方向(例如，正y方向，或用户界面中的“向上”方向)与第一视图中的特定方向连续相关(例如，该一个或多个相机面向的方向，对应于沿着z轴“进入”用户界面的“向前”方向)，这提供了有助于用户在物理环境中导航的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该一个或多个相机的移动包括(1536)该一个或多个相机绕偏航轴线旋转相应量(例如，相应旋转(角)度数)，并且响应于检测到该一个或多个相机的移动，计算机系统维持(例如，保持恒定)用户界面中物理环境的第二视图的取向(例如，通过显示物理环境的第二视图的表示，而不使物理环境的第二视图的表示旋转第一角度)(例如，如图7J所示)。
维持物理环境的第二视图的表示的取向(例如，不旋转)提供了第二视图作为固定取向地图视图，并且在其中第二视图的表示包括该一个或多个相机的当前视野的指示的一些实施方案中，使视野的指示(例如，而不是第二视图的表示)旋转为用户提供了指示用户相对于物理环境中的固定参考方向(例如，基线方向，诸如北向)的取向的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中(例如，响应于检测到该一个或多个相机的移动)，计算机系统显示(1538)关于该一个或多个相机的位置或移动的信息的一个或多个警示。在一些实施方案中，该一个或多个警示包括本文所述的警示中的一个或多个警示(例如，如参考图7L、图7N、图7P、图7R、图7T至图7U、图7W和图7Z)。
在一些实施方案中，该一个或多个警示包括指示从该一个或多个相机到该一个或多个相机的视野中的对象(例如，位于该一个或多个相机的视野的预定位置诸如中心处的对象)的距离超出阈值距离的警示超出阈值距离(例如，该一个或多个相机距视野中的对象太近或太远)(例如，如参考图7W所述)。在一些实施方案中，根据基于该一个或多个相机太靠近视野中的对象确定已经发生错误状况，显示警示以指示该一个或多个相机太靠近视野中的对象(例如，以提示用户将该一个或多个相机进一步移动远离对象)(例如，如参考图7W所述)。在一些实施方案中，根据基于该一个或多个相机距视野中的对象太远确定已经发生错误状况，显示警示以指示该一个或多个相机距视野中的对象太远(例如，以提示用户将一个或多个相机移动更靠近对象)。
在一些实施方案中，该一个或多个警示包括指示该一个或多个相机的移动速度超出阈值速度的警示(例如，该一个或多个相机的移动太快，难以捕获关于物理环境的精确深度信息)(例如，如参考图7P所述)。在一些实施方案中，根据基于该一个或多个相机移动快于阈值速度确定错误状况，显示警示以指示该一个或多个相机移动太快(例如，以提示用户减慢该一个或多个相机的移动)(例如，如图7P所示)。
在一些实施方案中，该一个或多个警示包括指示该一个或多个相机需要保持在物理环境(例如，其子集)的预定部分(例如，该一个或多个相机)内的警示(例如，该一个或多个相机不可被移动到物理环境的不同楼层，诸如移动到该一个或多个相机的当前位置的楼上或楼下，并且/或者如果物理环境是室内空间，则该一个或多个相机不可被移动到室外(例如，如参考7T和图7Z所述)。在一些实施方案中，根据确定该一个或多个相机正在接近物理环境的边界(诸如楼道或门前)显示指示该一个或多个相机需要保持在物理环境内的警示(例如，以提醒用户该一个或多个相机不应被移动超过边界)(例如，如参考图7Z所述)。
在一些实施方案中，该一个或多个警示包括指示该一个或多个相机的视野需要被导向为远离物理环境中的一个或多个反射表面(例如，一个或多个镜子)的警示。在一些实施方案中，根据确定该一个或多个相机的视野包括镜子(例如，如参考图7N所述)，显示指示该一个或多个相机需要被导向为远离镜子的警示。
在一些实施方案中，该一个或多个警示包括指示该一个或多个相机的视野中的对象需要保持基本上静止(例如，相对于物理环境的固定元件(诸如物理环境的墙壁或地板)具有少于阈值移动量)的警示(例如，如参考图7K至图7L所述)。在一些实施方案中，根据确定该一个或多个相机的视野中的一个或多个对象已经移动(例如，如参考图7K至图7L所述)显示该一个或多个相机的视野中的对象需要保持静止的警示。
在一些实施方案中，该一个或多个警示包括指示该一个或多个相机需要移动(例如，返回)到该一个或多个相机(例如，在当前深度信息捕获会话期间)的先前位置的警示，在该先前位置处，在该一个或多个相机的视野中的物理环境的相应部分的至少一些深度信息未被捕获(例如，根据确定相应部分的深度信息未被完全或充分捕获)(例如，如参考图7R所述)。
在一些实施方案中，该一个或多个警示包括指示该一个或多个相机需要移动(例如，返回)到该一个或多个相机在发起捕获指示物理环境的深度信息时所在的初始位置(例如，在当前深度信息捕获会话期间)的警示。在一些实施方案中，在系统包括多个相机的情况下，该一个或多个相机的“位置”是指包括该多个相机中的每个相机的相应位置的一组位置(例如，特定相机配置)。在一些实施方案中，初始位置是该一个或多个相机在例如响应于第一用户界面元素(例如，扫描启动用户界面元素)的最近先前激活而最近发起深度信息捕获时所在的位置。
提供关于该一个或多个相机的位置或移动的信息的一个或多个警示引导用户在深度信息捕获过程期间提高已捕获深度信息的准确性。为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统接收(1540)指示物理环境内的第一空间(例如，第一房间)与物理环境内的第二空间(例如，第二隔壁房间)之间的边界的用户输入，第二空间与第一空间不同并且与第一空间相邻(例如，如参考图7T至图7U所述)。在一些实施方案中，在接收到指示第一空间与第二空间之间的边界的用户输入之后(例如，响应于激活第二用户界面元素)显示物理环境的正交视图，该正交视图包括第一空间与第二空间之间的边界的指示(例如，如参考图7S至图7U所述)。
在一些实施方案中，所生成的正交视图是延伸到第一空间的边界而不包括第二空间(例如，或物理环境中的任何其他空间)的表示的物理环境的表示(例如，如参考7U至图7V所述)。在一些实施方案中，在接收到指示第一空间与第二空间之间的边界的用户输入之后，该一个或多个相机在第二空间中四处移动，并且系统捕获指示作为第二空间的一部分的物理环境的至少一部分的深度信息。在一些实施方案中，所生成的正交视图(例如，在扫描第二空间的至少一部分之后激活第二用户界面元素之后显示)包括与第一空间相邻的第二空间的至少一部分的表示，并且任选地指示第一空间与第二空间之间的边界。更一般地，在一些实施方案中，所生成的正交视图标示物理环境中相邻物理空间之间的边界(例如，物理环境是建筑物的内部，并且所生成的正交视图是标示在已经扫描的建筑物中的邻接房间或空间之间的边界和/或入口的平面布置图)。
接受指示在物理环境内深度信息被捕获的不同空间之间的边界的用户输入为用户提供了对于捕获深度信息的物理环境的范围的控制，并且使用户能够指定应在基于已捕获深度信息随后生成的物理环境模型中何处指示边界，以及帮助系统准确地确定不同特征在物理环境中的相对位置。为用户提供附加控制选项和改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图15A至图15D中的操作进行描述的特定次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1000、1100、1200、1300、1400和1600)描述的其他过程的细节同样以类似的方式适用于上文参考图15A至图15D描述的方法1500。例如，上文参考方法1500所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、物理环境的视图、注释应用模式和警示，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、1100、1200、1300、1400和1600)所述的用户界面、用户界面元素、物理环境以及其中的特征和对象、物理环境的视图、注释应用模式和警示的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
图16A至图16E是示出了根据一些实施方案的查看环境的示意表示和与之交互的方法1600的流程图。方法1600在计算机系统(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行，该计算机系统具有显示设备(例如，显示器(任选的触敏显示器)、投影仪、头戴式显示器、平视显示器等，诸如触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))和任选的一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))和任选的一个或多个深度感测设备，诸如深度传感器(例如，一个或多个深度传感器，诸如飞行时间传感器220(图2B))。方法1600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如本文所述，如果随着显示的示意表示的部分改变(例如，随着示意表示被缩放或移位)，对应于度量的特征的表示保持至少部分地显示在示意表示中，则方法1600使环境的示意表示中的度量的表示移位。在这样做时，该方法不断地为用户提供描述在示意表示的任何相应显示部分中至少部分地可见的特征的信息(例如，对应度量表示)，而无需用户手动重新定位或重新显示已经至少部分地移位到视野之外的度量表示。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统显示(1602)环境的示意表示的第一部分，其中示意表示的第一部分包括：环境中的第一特征的第一表示(例如，房间的地板)；和第一度量的表示(例如，地板面积的尺寸)，第一度量的表示对应于第一特征并且在环境的示意表示的第一部分中的第一位置(例如，正交视图的第一部分中的第一位置，对应于物理环境中的第一物理位置)处显示。图7AC中示出了若干示例。
计算机系统接收(1604)对应于显示环境的示意表示的第二部分的请求的第一输入(例如，执行一次或多次变换的请求，诸如将示意表示放大或缩小和/或滚动(例如，横向移位))(例如，如参考图7AD至图7AF所述)。
响应于接收到第一输入：计算机系统显示(1606)环境的示意表示的第二部分(例如，示意表示的第二部分对应于对示意表示的第一部分执行示意表示的一次或多次变换的结果)；并且根据确定在环境的示意表示的第二部分中显示第一特征的第一表示的一部分并且环境的示意表示的第二部分不包括第一位置(例如，在物理环境的正交视图的第二部分中不包括第一物理位置)，计算机系统在环境的示意表示的第二部分中的第二位置处显示第一度量的表示(例如，如图7AK至图7AM所示)。在一些实施方案中，示意表示是环境的正交视图(例如，如图7AK所示)，其不同于透视图(例如，实时视图或模拟的第一人称视角相机视图，如图7I所示)。在一些实施方案中，根据确定在示意表示的第二部分中显示第一特征的第一表示的一部分并且确定示意表示的第二部分包括第一位置，计算机系统在示意表示的第二部分中的第一位置处显示第一度量的表示。
在一些实施方案中，环境的示意表示是物理环境的正交视图(1608)(例如，顶部正交视图，也称为俯视图或平面布置图视图)，并且基于该一个或多个相机的视野的表示(例如，随着该一个或多个相机移动而更新的视野的表示)来生成正交视图，并且正交视图包括物理环境的一个或多个主要特征(例如，结构不可移动特征，诸如墙壁、地板、天花板、门、窗等)的表示。在一些实施方案中，基于指示物理环境并且例如使用方法1500捕获的深度信息来生成物理环境的正交视图。
基于系统的一个或多个相机的视野的表示来显示作为物理环境的正交视图的示意表示，使得能够基于系统获得的关于物理环境的信息对系统的该一个或多个相机所在的物理环境进行建模，而无需用户手动地输入关于物理环境的信息(例如，物理环境的参数和尺寸)。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，示意表示的第一部分还包括(1610)(例如，与第一特征的第一表示和第一度量的表示同时显示)：环境中的第二特征的第二表示(例如，不同于第一特征的第一表示)；和第二度量(例如，不同于所述第一度量)的表示，第二度量的表示对应于第二特征并且在环境的示意表示的第一部分中在第三位置(例如，不同于第一位置)处显示。在一些实施方案中，示意表示的第一部分包括环境中的任何数量的相应特征表示，以及对应的度量表示。在一些实施方案中，响应于对应于显示示意表示的请求的输入(例如，如本文参考方法1500的操作1522所述)而显示示意表示的第一部分，并且在示意表示的第一部分中同时显示多个特征表示以及对应的度量表示，而无需请求除了对应于显示示意表示的请求的输入之外的附加输入(例如，如参考图7AB至图7AC所述)。
同时显示多个度量表示为用户提供了关于环境中的多个特征的信息，而无需用户单独或依次请求显示每个特征的信息。减少执行操作所需的输入的数量增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于接收到第一输入：根据确定在环境的示意表示的第二部分中显示第二特征的第二表示的一部分并且环境的示意表示的第二部分包括第三位置，计算机系统在环境的示意表示的第二部分中的第三位置处显示(1612)第二度量的表示(例如，如参考图7AK至图7AM所述)。在一些实施方案中，将环境的示意表示的显示从第一部分移位到第二部分使得一个度量(例如，第一度量)的表示至少部分地移动到视野之外(例如，当第一特征的对应第一表示的至少一部分在示意表示的第二部分中至少部分地可见时)，但不会使得一个或多个其他度量(例如，第二度量)的表示至少部分地移动到视野之外(例如，第二度量的表示，以及第二特征的对应第二表示在示意表示的第二部分中完全可见)；相应地，已经至少部分地移动到视野之外的度量(例如，第一度量)的表示移动(例如，从第一位置到第二位置)以便保持可见，而其他度量(例如，第二度量)的表示保持在仍然可见(例如，完全可见)的同一位置(例如，第三位置)处(例如，如图7AK至图7AN所示)。
移动对应于在示意表示的显示部分中保持至少部分地可见的第一特征的第一表示的第一度量的表示，使得度量的表示保持完全可见，这为用户提供了关于第一特征的信息，而无需用户手动重新定位或重新显示原本将被至少部分地移动到视野之外的第一度量的表示。另外，维持第二度量的表示(其对应特征保持呈现在示意表示中并且它尚未至少部分地移动到视野之外)相对于示意表示的位置，这为用户提供了在不过度移动度量的情况下改变为显示示意表示的哪个部分的视觉反馈。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入并且为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于接收到第一输入：根据确定在环境的示意表示的第二部分中显示第二特征的第二表示的一部分并且环境的示意表示的第二部分不包括第三位置，计算机系统在环境的示意表示的第二部分中的第四位置处显示(1614)第二度量的表示。在一些实施方案中，将环境的示意表示的显示从第一部分移位到第二部分使得多个度量(例如，第一度量和第二度量)的表示，其对应于(例如，保持)在示意表示的第二部分中至少部分地可见的特征(例如，第一特征和第二特征)的表示，至少部分地移动到视野之外；相应地，度量(例如，第一度量和第二度量)的表示移动(例如，分别从第一位置移动到第二位置以及从第三位置移动到第四位置)以便(例如，保持)可见(例如，根据对应的特征表示在示意表示的第二部分中至少部分地可见)。
移动对应于在示意表示的显示部分中保持至少部分地可见的特征表示的多个度量的表示，使得度量的表示保持完全可见，这为用户提供了关于特征的信息，而无需用户手动重新定位或重新显示原本将被至少部分地移动到视野之外的度量的每个表示。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中或在一些情况下，示意表示的第一部分还包括(1616)：环境中的第三特征的第三表示(例如，不同于第一特征的第一表示和第二特征的第二表示)；和第三度量(例如，不同于第一度量和第二度量)的表示，第三度量的表示对应于第三特征并且在环境的示意表示的第一部分中在第五位置(例如，不同于第一位置和第三位置)处显示。根据确定在环境的示意表示的第二部分中显示第三特征的第三表示的一部分并且环境的示意表示的第二部分包括第五位置，计算机系统在环境的示意表示的第二部分中的第五位置处显示第三度量的表示。
在一些实施方案中或在一些情况下，将环境的示意表示的显示从第一部分移位到第二部分使得一些度量(例如，第一度量和第二度量)的表示，其对应于在示意表示的第二部分中至少部分地可见的特征(例如，第一特征和第二特征)，至少部分地移动到视野之外，但不会引起一个或多个其他度量(例如，第三度量)的表示，其对应于在示意表示的第二部分中至少部分地可见的一个或多个其他特征(例如，第三特征)，至少部分地移动到视野之外(例如，在第三位置处的第三度量的表示保持在示意表示的第二部分中完全可见)；相应地，移动已经至少部分地移动到视野之外的度量(例如，第一度量和第二度量)的表示以便可见(例如，完全可见)，而尚未至少部分地移动到视野之外的度量(例如，第三度量)的表示保持在仍然可见的同一位置(例如，图7AK至图7AM示出了根据响应于移位环境的示意表示的显示而移动的沙发长度度量，而咖啡桌长度度量保持在同一位置处，如其在环境的示意表示移位之前所具有的位置)。
移动对应于在示意表示的显示部分中保持至少部分地可见的特征表示的多个度量的表示，使得度量的表示保持完全可见，这为用户提供了关于特征的信息，而无需用户手动重新定位或重新显示原本将被至少部分地移动到视野之外的度量的每个表示。另外，维持一个或多个其他度量的表示(其对应特征保持呈现在示意表示中并且它尚未至少部分地移动到视野之外)相对于示意表示的相应位置，这为用户提供了在不过度移动度量的情况下改变为显示示意表示的哪个部分的视觉反馈。在一组条件已经被满足时(例如，自动地)执行操作而无需进一步的用户输入并且为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，示意表示的第一部分以第一比例(例如，缩放比例或绘图比例，如本文进一步详细描述的)显示(1618)；在示意表示的第一部分中的第一位置处显示的第一度量的表示包括以第一文本尺寸显示的文本；第一输入包括对应于改变示意表示的比例的请求的缩放输入(例如，经由系统的输入设备(诸如触敏表面)接收的缩小手势或放大手势)；并且响应于接收到第一输入：以不同于第一比例的第二比例显示示意表示的第二部分；并且在示意表示的第二部分中的第二位置处显示的第一度量的表示包括以第一文本尺寸显示的文本。在一些实施方案中，响应于接收到对应于改变示意表示的比例的请求的缩放输入(例如，经由系统的触敏表面接收的缩小手势或放大手势)，系统改变示意表示的比例而不改变示意表示中显示的文本比例(例如，当缩放示意表示时，改变示意表示中除了文本之外的元素的比例，并且在示意表示中维持该文本比例，诸如作为度量表示的部分的文本标签)(例如，如图7AD至图7AF所示)。
在缩放环境的示意表示的同时，将文本保持在固定尺寸，这提高了文本的可读性，同时优化了用户界面中显示的信息量。例如，随着示意表示被缩放，按比例增大文本尺寸可能导致文本至少部分地放大到视野之外(例如，文本变得太大而无法装进用户界面中)和/或将占据示意表示的显著部分并且遮挡或防止示意表示中的其他元素(例如，环境中的特征表示)的显示。在另一个示例中，随着示意表示被缩放，按比例减小文本尺寸可能导致文本太小而不能阅读或难以辨别已经通过缩放示意表示而进入视野的示意表示中的其他元素。通过保持文本可读并且避免使用户界面杂乱为用户提供改进的视觉反馈，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中或在一些情况下，示意表示的第一部分以第一比例显示(1620)并且包括以对应于第一比例的以第一线条粗度显示的一个或多个线条(例如，绘图线条，不同于文本)；第一输入包括对应于改变示意表示的比例的请求的缩放输入(例如，经由系统的输入设备(诸如触敏表面)接收的缩小手势或放大手势)；并且响应于接收到第一输入：以不同于第一比例的第二比例显示示意表示的第二部分。根据确定对应于第二比例的第二线条粗度超过阈值线条粗度(例如，大于最大线条粗度或小于最小线条粗度)，以(例如，至多)阈值线条粗度显示示意表示的第二部分中的一个或多个线条(例如，示意表示的第二部分中没有线条以大于阈值线条粗度显示)；并且根据确定第二线条粗度不超过阈值线条粗度，以第二线条粗度显示示意表示的第二部分中的该一个或多个线条。
在一些实施方案中，响应于接收到对应于改变示意表示的比例的请求的缩放输入(例如，经由系统的触敏表面接收的缩小手势或放大手势)，系统改变示意表示的比例，包括根据示意表示的比例的变化来(例如，按比例)改变示意表示中的线条的线条粗度。在一些实施方案中，线条粗度的变化限于阈值线条粗度(例如，当缩小时，如果减小线条粗度将产生低于最小线条粗度的线条粗度，则线条粗度仅减小到阈值最小线条粗度；在另一个示例中，当放大时，如果增加线条粗度将产生高于最大线条粗度的线条粗度，则线条粗度仅增加到阈值最大线条粗度)。
在缩放环境的示意表示时重新调节线条粗度，通常提供直观的缩放体验，并且将线性粗度限制在阈值粗度(例如，阈值最大线条粗度与阈值最小线条粗度之间的预定范围)内提高了示意表示的可读性，同时优化了用户界面中显示的信息量。例如，随着示意表示的放大而不加限制地按比例增加线条粗度可能导致不必要的粗线条，其占据示意表示的显著部分并且遮挡或防止示意表示中的其他元素(例如，环境中的其他特征表示和/或描述特征的文本)的显示。在另一个示例中，随着示意表示被缩放，按比例减小线条粗度可能导致线条太细而不能看清或难以辨别已经通过缩放示意表示而进入视野的示意表示中的其他元素。通过提高示意表示的可读性并且避免使用户界面杂乱为用户提供改进的视觉反馈，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，以一组预定义绘图比例的第一绘图比例显示(1622)示意表示的第一部分。在一些实施方案中，相应绘图比例指定在示意表示中由单位长度(例如，一英寸)表示的环境中的相应距离(例如，长度多少英尺)。另选地，在一些实施方案中，相应绘图比例指定表示环境中的单位距离(例如，一英尺长度)的示意表示中的相应长度(例如，一英寸的相应分数)。在一些实施方案中，在以相应绘图比例显示示意表示的相应部分的同时，显示相应绘图比例的指示。在一些实施方案中，当改变示意表示的缩放比例时，更新相应绘图比例的显示指示。
在一些实施方案中，第一输入包括对应于改变示意表示的比例的请求的缩放输入；并且响应于接收到第一输入：根据确定缩放输入对应于将示意表示的比例改变为该组预定义绘图比例中的第二绘图比例的阈值内的相应比例的请求(例如，在包括该组预定义绘图比例中的第二绘图比例的范围内(例如，以第二绘图比例为中心)，并且不包括该组预定义绘图比例中的任何其他比例)(例如，不考虑相应比例是否等于第二绘图比例)，计算机系统以第二绘图比例显示示意表示的第二部分(例如，将示意表示的比例对齐到第二绘图比例)。
在一些实施方案中或在一些情况下(例如，基于缩放输入中的移动量)，第二绘图比例是第一绘图比例。在一些实施方案中，第二绘图比例不同于第一绘图比例。在一些实施方案中，如果示意表示的所请求的相应比例在该组预定义绘图比例中的相应绘图比例的阈值之外，则系统以相应绘图比例显示示意表示(例如，在预定义一组中的连续绘图比例之间存在一个比例范围，示意表示的比例未对齐到预定义一组中该比例范围内的绘图比例)。在一些实施方案中，该组预定义绘图比例包括对应于示意表示中的长度与环境中的对应表示距离之间的整数比(例如，简分数)的绘图比例(例如，示意表示中的一英寸表示环境中的整数英尺，示意表示中的一厘米表示环境中的整数米，或者一英尺的简分数(例如，二分之一、四分之一、六分之一等)表示环境中的一英寸等)。在一些实施方案中，该组预定义绘图比例仅包括对应于示意表示中的长度与环境中的对应表示距离之间的整数比(例如，简分数)的绘图比例。
将示意表示的缩放比例对齐到预定义绘图比例(例如，对应于示意表示中的长度和环境中的对应表示距离之间的整数比或简分数)为用户提供了指示用于查看环境的示意表示的有用缩放比例的视觉反馈，并且帮助用户更快速且容易地选择预定义绘图比例中的一个预定义绘图比例。为用户提供改进的视觉反馈并且减少执行操作所需的输入的数量和/或范围增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在示意表示的相应部分中显示(1624)环境中的相应特征的表示(例如，其为预定义类型的特征，诸如门或固定装置)，其中相应特征的表示的视觉特性(例如，取向)具有第一值(例如，门的表示被显示为沿第一方向打开，诸如相对于相邻房间向外打开)，该第一值对应于相应特征的特性(例如，环境中的门的取向)的第一值(例如，如参考图7AN至图7AO所述)。在一些实施方案中，计算机系统接收对应于选择相应特征的表示的输入(例如，指向相应特征的表示的输入，诸如在触敏表面上对应于相应特征的表示的位置处的轻击输入)；并且响应于接收到对应于选择相应特征的表示的输入，计算机系统显示具有视觉特性的相应特征的表示，该视觉特性具有不同于第一值的第二值(例如，改变门的表示的取向以沿第二方向打开，诸如相对于相邻房间向内打开)，其中相应特征的表示的视觉特性的第二值对应于相应特征的特性的第二值。
在一些实施方案中，至少简单地在视觉上强调预定义类型的相应特征的表示，以指示它们是可编辑的(例如，经由对应于选择这些表示的输入)。在一些实施方案中，响应于对应于相应特征的表示的不同类型的输入，系统显示用于编辑相应特征的表示的用户界面，而不是通过改变视觉特性的值来(例如，自动地)修改相应特征的表示。在一些实施方案中，响应于选择文本区域而不是作为预定义类型的特征的相应特征的表示，系统显示用于编辑文本区域中的文本的用户界面，而不是(例如，自动地)改变文本区域的视觉特性的值(例如，如参考图7AH至图7AJ所述)。
响应于选择特征的表示的输入(例如，来自用户)，修改特征的显示表示的视觉特性的值(诸如改变其取向)以反映环境中的特征的相应特性(诸如取向)的不同值，为用户提供了对于环境中的特征如何在示意表示中表示使得环境的示意表示准确地描绘环境中的特征的控制。提供附加控制选项而不由于附加控件使用户界面杂乱并且减少执行操作所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，示意表示包括(1626)描述示意表示的文本标签(例如，文本区域，诸如标题栏)，并且该方法包括显示覆盖在示意表示的显示部分上的文本标签，而不考虑示意表示的显示部分是否包括示意表示中用于显示文本标签的默认位置。在一些实施方案中，当显示整个示意表示时，文本标签显示在默认位置处。在一些实施方案中，随着示意表示的显示的部分(例如，响应于对应于请求缩放、平移、旋转或以其他方式变换示意表示的输入)改变，文本标签显示在或覆盖在示意表示的相应显示部分上，任选地在相对于显示设备或用户界面的显示示意表示的相应部分的预定义位置处，无论显示示意表示的哪个部分(例如，如参考7AH至图7AJ所述)。
连续显示描述总体示意表示的文本标签(例如，标题栏)，无论显示示意表示的哪个部分，并且无论所显示部分是否包括文本标签的默认显示位置，这提供了通知用户关于正在显示哪个示意表示(或其一部分)的视觉反馈，而无需用户提供附加输入(原本可能需要导航通过复杂的菜单分级结构)来获得由文本标签传送的信息。通过保持文本标签(例如，标题栏)可见为用户提供改进的视觉反馈而无需进一步的用户输入，从而减少了查看由文本标签传送的信息所需的输入的数量，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，以第一绘图风格显示环境的示意表示(例如，示意表示的任何显示部分)，第一绘图风格是机械绘图风格(1628)(例如，正式工业绘图，其中线条绘制得干净利落并且文本使用印刷字体显示)。在一些实施方案中，针对通过用户输入的示意表示提供的手绘或手写元素(例如，文本)被转换为使用对象和/或字符识别的机械绘图风格中的元素(例如，遵循用户的手部移动的手写文本被转换为印刷字体，在机械绘图风格示意表示中显示印刷字体而不是手写文本)。在一些实施方案中，计算机系统接收对应于以第二绘图风格显示示意表示的请求的输入，第二绘图风格是手绘风格(例如，非正式的粗略草图，其中线条和文本如同手绘(例如，恰好遵循用户的手部移动)，任选地如同使用铅笔绘制的风格)。在一些实施方案中，对应于以第二绘图风格显示示意表示的请求的输入包括激活对应于第二绘图风格的用户界面元素，并且该用户界面元素在被激活时使得以第二绘图风格显示示意表示。在一些实施方案中，激活用户界面元素使绘图风格在第一绘图风格和第二绘图风格之间切换。在一些实施方案中，响应于接收到对应于以第二绘图风格显示示意表示的请求的输入，计算机系统以第二绘图风格显示示意表示(例如，或示意表示的一部分)。
以手绘风格显示示意表示提供了向用户传达示意表示的手绘版本中的信息只是粗略信息而不满足预定义准确度标准(例如，如可由正式机械绘图风格暗示)的视觉反馈。为用户提供改进的反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，启用显示包括(1630)第一度量的第一组(例如，一个或多个)度量的表示，并且未启用显示第二组(例如，一个或多个)度量的表示。在一些实施方案中，计算机系统接收对应于启用显示第二组度量的表示的请求的输入；并且响应于接收到对应于显示第二组度量的表示的请求的输入，计算机系统对于第二组度量中的每个度量显示相应度量的表示(例如，如参考图7AR至图7AT所述)。在一些实施方案中，默认启用并且无法禁用第一组度量的表示的显示。在一些实施方案中，可通过用户输入启用或禁用第二组度量的表示的显示(例如，如参考图7AR至图7AT所述)。在一些实施方案中，对应于显示第二组度量的表示的请求的输入包括激活对应于第二组度量的用户界面元素(例如，激活用户界面元素使第二组度量的表示的显示在开启或关闭之间切换)(例如，如参考图7AR至图7AT所述)。
在附加度量(例如，环境的附加尺寸，并不一定默认展示给用户)可用于系统或可由系统确定的情况下，响应于启用显示附加度量的输入(例如，来自用户)而显示附加度量，从而仅当用户请求时才向用户呈现附加度量，并且避免了原本会由于过多信息而使用户界面杂乱。在用户控制下提供改进的视觉反馈而不会使用户界面不必要地杂乱，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，示意表示的相应显示部分包括(1632)环境中的拐角的表示(例如，其中环境中的两个或更多个墙壁以非零角度交汇)。在一些实施方案中，根据确定拐角形成直角(例如，拐角的角度度量为90度或270度)，计算机系统放弃显示拐角的角度度量；并且根据确定拐角不形成直角(例如，拐角形成锐角或钝角或除了90度或270度之外的反角)，计算机系统显示拐角的角度度量。在一些实施方案中，针对在示意表示的显示部分中表示的不是直角的每个拐角显示度量(例如，角度度量)。在一些实施方案中，角度度量是第二组度量的一部分(当启用第二组度量的表示的显示时)，并且不是默认显示的第一组度量的一部分(例如，如参考图7AT所述)。
在附加度量(例如，特定类型的度量，诸如对应于环境中的拐角的角度)可用于系统或可由系统确定的情况下，仅显示附加度量的子集的表示(例如，仅显示不是直角的角度的角度值)，这提供了向用户告知度量子集的值的视觉反馈，同时还暗示没有显示表示的度量具有常规或标准值(例如，对于墙壁处的角度为90或270度)，从而传达超出所显示内容的附加信息。以减少用户界面的杂乱的方式为用户提供改进的视觉反馈增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，环境包括(1634)一件或多件家具(例如，示意表示包括表示环境中的该一件或多件家具的数据或与其相关联)。在一些实施方案中，计算机系统接收对应于切换(例如，打开或关闭)环境中的家具表示的请求的输入；并且响应于接收到对应于切换显示环境中的家具表示的请求的输入：根据确定在示意表示中显示该一件或多件家具的表示，计算机系统停止在示意表示中显示该一件或多件家具的表示(例如，关闭显示家具表示)；并且根据确定在示意表示中未显示该一件或多件家具的表示，计算机系统在示意表示中显示该一件或多件家具的表示(例如，打开显示家具表示)(例如，如参考7AH至图7AJ所述)。
在示意表示的附加元素(例如，环境中的特定类型的特征(诸如家具)，或更一般地，作为多个预定义特征类别中的相应类别的特征的成员的特征的表示，其并不一定默认显示)可用于显示的情况下，响应于启用显示附加元素的输入(例如，来自用户)而显示附加元素，从而仅当用户请求时才向用户呈现附加元素，并且避免了原本会由于过多信息而使用户界面杂乱。在用户控制下提供改进的视觉反馈而不会使用户界面不必要地杂乱，增强了系统的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解，对图16A至图16E中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法800、900、1000、1100、1200、1300、1400和1500)描述的其他过程的细节同样以类似的方式适用于上文参考图16A至图16E描述的方法1600。例如，上文参考方法1600所述的用户界面、环境(诸如物理环境)以及其中的特征和对象以及度量(诸如测量值)，任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、1100、1200、1300、1400和1500)所述的用户界面、环境(诸如物理环境)以及其中的特征和对象以及度量(诸如测量值)的特性中的一个或多个特性。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (180)

1.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的第一移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述第一移动，基于所述一个或多个相机的所述第一移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中能够被测量的物理特征的表示的至少一部分上方，根据所述物理特征的所述表示的一个或多个方面改变所述放置用户界面元素的外观；
在显示所述注释放置用户界面的同时，接收包括对所述物理特征执行一次或多次测量的请求的注释放置输入；以及
响应于接收到对应于对所述物理特征执行一次或多次测量的所述请求的所述输入：
根据确定所述物理特征为第一类型的物理特征，在所述物理特征的所述表示上方显示第一测量类型的第一组一个或多个测量表示；以及
根据确定所述物理特征为不同于所述第一类型的物理特征的第二类型的物理特征，在所述物理特征的所述表示上方显示不同于所述第一测量类型的第二测量类型的第二组一个或多个测量表示。
2.根据权利要求1所述的方法，其中所述物理特征为相应第一类型的物理特征，所述物理特征是在所述一个或多个相机的所述视野中的所述物理环境中的物理对象的第一部分，并且所述物理对象的第二部分至多部分地在所述一个或多个相机的所述视野中，并且所述方法包括：
在所述物理特征的所述表示上方显示相应第一测量类型的相应第一组一个或多个测量表示之后：
检测所述一个或多个相机相对于所述物理环境的第二移动，使得所述物理对象的所述第二部分在所述一个或多个相机的所述视野中；
响应于检测到所述一个或多个相机的所述第二移动：
基于所述一个或多个相机的所述第二移动来更新所述视野的所述表示，包括在所述视野的所述表示中显示所述物理对象的表示，所述物理对象的所述表示包括所述物理对象的所述第二部分的表示；
根据确定所述放置用户界面元素在所述物理对象的所述表示的至少一部分上方，根据包括所述物理对象的所述第二部分的所述物理对象的所述表示的一个或多个方面改变所述放置用户界面元素的所述外观；
在显示包括所述物理对象的所述表示的所述注释放置用户界面的同时，接收包括对所述物理对象执行一次或多次测量的请求的第二注释放置输入；以及
响应于接收到对应于对所述物理对象执行一次或多次测量的所述请求的所述输入：
在所述物理对象的所述表示上方显示基于所述物理对象的所述第二部分的相应第二测量类型的相应第二组一个或多个测量表示。
3.根据权利要求1至2中任一项所述的方法，其中所述物理环境中的物理对象的第一部分在所述一个或多个相机的所述视野中，所述物理对象的所述第一部分包括与不在所述一个或多个相机的所述视野中的所述物理对象的第二部分相邻的边缘区域，并且所述方法包括：
在所述一个或多个相机的所述视野的所述表示中显示所述物理对象的所述第一部分的表示，包括在视觉上削弱与所述物理对象的所述第二部分相邻的所述边缘区域的所述表示。
4.根据权利要求1至3中任一项所述的方法，其中所述确定所述物理特征为所述第一类型的物理特征包括确定所述物理特征是一件家具，并且所述第一测量类型的所述测量包括以下中的一者或多者：所述物理特征的高度、宽度、深度和体积。
5.根据权利要求1至3中任一项所述的方法，其中所述确定所述物理特征为所述第一类型的物理特征包括确定所述物理特征是人，并且所述第一测量类型的所述测量包括所述人的脚底与所述人的头顶之间的距离。
6.根据权利要求1至3中任一项所述的方法，其中所述确定所述物理特征为所述第一类型的物理特征包括确定所述物理特征是动物，并且所述第一测量类型的所述测量包括以下中的一者或多者：所述动物的颈围、所述动物的胸周和所述动物的身长。
7.根据权利要求1至3中任一项所述的方法，其中所述确定所述物理特征为所述第一类型的物理特征包括确定所述物理特征是人的脸，并且所述第一测量类型的所述测量包括所述人的第一眼睛的第一瞳孔与所述人的第二眼睛的第二瞳孔之间的距离。
8.根据权利要求1至3中任一项所述的方法，其中所述确定所述物理特征为所述第一类型的物理特征包括确定所述物理特征是人的脚，并且所述第一测量类型的所述测量包括所述脚的长度。
9.根据权利要求1至3中任一项所述的方法，其中所述确定所述物理特征为所述第一类型的物理特征包括确定所述物理特征包括在空间中分离的第一手和第二手，并且所述第一测量类型的所述测量包括所述第一手与所述第二手之间的距离。
10.根据权利要求1至9中任一项所述的方法，包括：
当所述一个或多个相机位于距所述物理特征第一距离处时在所述物理特征的所述表示上方显示相应一组一个或多个测量表示的同时，检测将所述一个或多个相机放置在距所述物理特征小于所述第一距离的第二距离处的所述一个或多个相机的移动，其中所述相应一组包括测量的第一表示，所述第一表示包括第一测量标签和使用第一细节水平显示的第一测量区段；以及
当所述一个或多个相机位于距所述物理特征所述第二距离处时：
放弃显示所述第一测量标签；以及
使用不同于所述第一细节水平的第二细节水平显示所述第一测量区段。
11.根据权利要求10所述的方法，其中使用所述第二细节水平显示所述第一测量区段包括沿着所述第一测量区段间隔地显示一组刻度标记，并且所述方法包括：
在使用所述第二细节水平显示所述第一测量区段的同时，根据确定所述放置用户界面元素在相应刻度标记上方，改变所述放置用户界面元素的外观以指示响应于接收到注释放置输入，注释将被放置在所述相应刻度标记上的锚点处。
12.根据权利要求10所述的方法，包括：
在使用所述第二细节水平显示所述第一测量区段的同时，接收对应于在所述视野的所述表示中的相应位置处添加注释的请求的输入，所述相应位置由所述第二细节水平指示并且对应于所述物理环境中的相应物理位置；
响应于对应于添加注释的所述请求的所述输入，在由所述第二细节水平指示的所述相应位置处添加注释；
在添加所述注释之后，检测将所述一个或多个相机放置在距所述物理特征所述第一距离处的所述一个或多个相机的移动；
响应于检测到将所述一个或多个相机放置在距所述物理特征所述第一距离处的所述一个或多个相机的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；以及
当所述一个或多个相机位于距所述物理特征所述第一距离处时：
使用所述第一细节水平显示所述第一测量区段；
显示所述第一测量标签；以及
在所述视野的所更新的表示中的相应位置处显示所述注释，所述相应位置对应于所述物理环境中的所述相应物理位置，而不考虑所述相应位置是否由所述第一细节水平指示。
13.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的第一移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述第一移动，基于所述一个或多个相机的所述第一移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中能够被测量的物理特征的表示的至少一部分上方，根据所述物理特征的所述表示的一个或多个方面改变所述放置用户界面元素的外观；
在显示所述注释放置用户界面的同时，接收包括对所述物理特征执行一次或多次测量的请求的注释放置输入；以及
响应于接收到对应于对所述物理特征执行一次或多次测量的所述请求的所述输入：
根据确定所述物理特征为第一类型的物理特征，在所述物理特征的所述表示上方显示第一测量类型的第一组一个或多个测量表示；以及
根据确定所述物理特征为不同于所述第一类型的物理特征的第二类型的物理特征，在所述物理特征的所述表示上方显示不同于所述第一测量类型的第二测量类型的第二组一个或多个测量表示。
14.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的第一移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述第一移动，基于所述一个或多个相机的所述第一移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中能够被测量的物理特征的表示的至少一部分上方，根据所述物理特征的所述表示的一个或多个方面改变所述放置用户界面元素的外观；
在显示所述注释放置用户界面的同时，接收包括对所述物理特征执行一次或多次测量的请求的注释放置输入；以及
响应于接收到对应于对所述物理特征执行一次或多次测量的所述请求的所述输入：
根据确定所述物理特征为第一类型的物理特征，在所述物理特征的所述表示上方显示第一测量类型的第一组一个或多个测量表示；以及
根据确定所述物理特征为不同于所述第一类型的物理特征的第二类型的物理特征，在所述物理特征的所述表示上方显示不同于所述第一测量类型的第二测量类型的第二组一个或多个测量表示。
15.一种计算机系统，包括：
显示设备；
一个或多个相机；
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的第一移动；和
启用以执行以下操作的装置：响应于检测到所述一个或多个相机相对于所述物理环境的所述第一移动，基于所述一个或多个相机的所述第一移动来更新所述视野的所述表示；
启用以执行以下操作的装置：根据确定所述放置用户界面元素在所述物理环境中能够被测量的物理特征的表示的至少一部分上方，根据所述物理特征的所述表示的一个或多个方面改变所述放置用户界面元素的外观；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，接收包括对所述物理特征执行一次或多次测量的请求的注释放置输入；和
响应于接收到对应于对所述物理特征执行一次或多次测量的所述请求的所述输入而启用的装置，包括：
启用以执行以下操作的装置：根据确定所述物理特征为第一类型的物理特征，在所述物理特征的所述表示上方显示第一测量类型的第一组一个或多个测量表示；和
启用以执行以下操作的装置：根据确定所述物理特征为不同于所述第一类型的物理特征的第二类型的物理特征，在所述物理特征的所述表示上方显示不同于所述第一测量类型的第二测量类型的第二组一个或多个测量表示。
16.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的第一移动；和
启用以执行以下操作的装置：响应于检测到所述一个或多个相机相对于所述物理环境的所述第一移动，基于所述一个或多个相机的所述第一移动来更新所述视野的所述表示；
启用以执行以下操作的装置：根据确定所述放置用户界面元素在所述物理环境中能够被测量的物理特征的表示的至少一部分上方，根据所述物理特征的所述表示的一个或多个方面改变所述放置用户界面元素的外观；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，接收包括对所述物理特征执行一次或多次测量的请求的注释放置输入；和
响应于接收到对应于对所述物理特征执行一次或多次测量的所述请求的所述输入而启用的装置，包括：
启用以执行以下操作的装置：根据确定所述物理特征为第一类型的物理特征，在所述物理特征的所述表示上方显示第一测量类型的第一组一个或多个测量表示；和
启用以执行以下操作的装置：根据确定所述物理特征为不同于所述第一类型的物理特征的第二类型的物理特征，在所述物理特征的所述表示上方显示不同于所述第一测量类型的第二测量类型的第二组一个或多个测量表示。
17.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至12中任一项所述的方法的指令。
18.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求1至12中任一项所述的方法。
19.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求1至12中任一项所述的方法显示的用户界面。
20.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求1至12中任一项所述的方法的装置。
21.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求1至12中任一项所述的方法的装置。
22.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中的第一类型的特征的表示的至少一部分上方：
改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第一类型的特征的锚点处；以及
显示对应于所述第一类型的特征的所述表示的至少一部分的第一组一个或多个引导；以及
根据确定所述放置用户界面元素在所述物理环境中的第二类型的特征的表示的至少一部分上方，其中所述第二类型的特征不同于所述第一类型的特征：
改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第二类型的特征的锚点处；以及
显示不同于所述第一组一个或多个引导、对应于所述第二类型的特征的所述表示的至少一部分的第二组一个或多个引导。
23.根据权利要求22所述的方法，其中根据确定所述锚点位于所述物理环境中的一个或多个边缘上，对于所述一个或多个边缘中的每个边缘，所显示的相应一组一个或多个引导包括从所述锚点沿着所述相应边缘延伸的相应引导。
24.根据权利要求22至23中任一项所述的方法，其中根据确定所述锚点位于所述物理环境中的至少第一检测表面和所述物理环境中的第二检测表面交汇处，所显示的相应一组一个或多个引导至少包括第一引导和第二引导，所述第一引导从所述锚点沿垂直于所述第一检测表面的方向延伸，所述第二引导从所述锚点沿垂直于所述第二检测表面的方向延伸。
25.根据权利要求22至24中任一项所述的方法，包括：
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
根据确定所述放置用户界面元素在所述物理环境中的与所述第一类型的特征和所述第二类型的特征不同的第三类型的特征的表示的至少一部分上方，其中所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个相应位置：
显示从所述相应位置沿所述视野的所述表示中对应于从所述第三类型的特征出发的竖直方向的方向延伸的引导。
26.根据权利要求22至25中任一项所述的方法，其中显示相应一组一个或多个引导包括，对于所述相应一组中的每个引导，相对于所述相应引导的第二部分在视觉上强调所述相应引导的第一部分，其中所述第一部分对应于物理空间中被所述物理环境中的物理对象占据的位置，并且所述第二部分对应于物理空间中未被所述物理环境中的物理对象占据的位置。
27.根据权利要求26所述的方法，其中：
相应引导的所述第二部分包括第一点和第二点，所述第一点距所述相应引导的所述第一部分第一距离，所述第二点距所述相应引导的所述第一部分大于所述第一距离的第二距离；并且
相对于所述第一点在视觉上削弱所述第二点。
28.根据权利要求22至27中任一项所述的方法，其中显示相应一组一个或多个引导包括显示示出所述一个或多个引导随时间推移从所述锚点逐渐延伸的动画。
29.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中的第一类型的特征的表示的至少一部分上方：
改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第一类型的特征的锚点处；以及
显示对应于所述第一类型的特征的所述表示的至少一部分的第一组一个或多个引导；以及
根据确定所述放置用户界面元素在所述物理环境中的第二类型的特征的表示的至少一部分上方，其中所述第二类型的特征不同于所述第一类型的特征：
改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第二类型的特征的锚点处；以及
显示不同于所述第一组一个或多个引导、对应于所述第二类型的特征的所述表示的至少一部分的第二组一个或多个引导。
30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中的第一类型的特征的表示的至少一部分上方：
改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第一类型的特征的锚点处；以及
显示对应于所述第一类型的特征的所述表示的至少一部分的第一组一个或多个引导；以及
根据确定所述放置用户界面元素在所述物理环境中的第二类型的特征的表示的至少一部分上方，其中所述第二类型的特征不同于所述第一类型的特征：
改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第二类型的特征的锚点处；以及
显示不同于所述第一组一个或多个引导、对应于所述第二类型的特征的所述表示的至少一部分的第二组一个或多个引导。
31.一种计算机系统，包括：
显示设备；
一个或多个相机；
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；和
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动而启用的装置，包括：
用于执行以下操作的装置：基于所述一个或多个相机的所述移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中的第一类型的特征的表示的至少一部分上方而启用的装置，包括：
用于执行以下操作的装置：改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第一类型的特征的锚点处；和
用于执行以下操作的装置：显示对应于所述第一类型的特征的所述表示的至少一部分的第一组一个或多个引导；和
根据确定所述放置用户界面元素在所述物理环境中的第二类型的特征的表示的至少一部分上方，其中所述第二类型的特征不同于所述第一类型的特征而启用的装置，包括：
用于执行以下操作的装置：改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第二类型的特征的锚点处；和
用于执行以下操作的装置：显示不同于所述第一组一个或多个引导、对应于所述第二类型的特征的所述表示的至少一部分的第二组一个或多个引导。
32.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；和
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动而启用的装置，包括：
用于执行以下操作的装置：基于所述一个或多个相机的所述移动来更新所述视野的所述表示；
根据确定所述放置用户界面元素在所述物理环境中的第一类型的特征的表示的至少一部分上方而启用的装置，包括：
用于执行以下操作的装置：改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第一类型的特征的锚点处；和
用于执行以下操作的装置：显示对应于所述第一类型的特征的所述表示的至少一部分的第一组一个或多个引导；和
根据确定所述放置用户界面元素在所述物理环境中的第二类型的特征的表示的至少一部分上方，其中所述第二类型的特征不同于所述第一类型的特征而启用的装置，包括：
用于执行以下操作的装置：改变所述放置用户界面元素的所述外观以指示响应于注释放置输入，注释将被放置在对应于所述第二类型的特征的锚点处；和
用于执行以下操作的装置：显示不同于所述第一组一个或多个引导、对应于所述第二类型的特征的所述表示的至少一部分的第二组一个或多个引导。
33.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求22至28中任一项所述的方法的指令。
34.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求22至28中任一项所述的方法。
35.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求22至28中任一项所述的方法显示的用户界面。
36.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求22至28中任一项所述的方法的装置。
37.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求22至28中任一项所述的方法的装置。
38.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在所述放置用户界面元素指示所述视野的所述表示中的第一位置的同时，接收第一注释放置输入；以及
响应于接收到所述第一注释放置输入：
在所述视野的所述表示中的所述第一位置处显示注释；以及
显示从所述视野的所述表示中的所述第一位置延伸的一个或多个第一引导。
39.根据权利要求38所述的方法，包括：
在所述放置用户界面元素指示所述视野的所述表示中的所述第一位置的同时：
在接收到所述第一注释放置输入之前，显示从所述视野的所述表示中的所述第一位置延伸的一个或多个第二引导；以及
响应于接收到所述第一注释放置输入：
停止显示所述一个或多个第二引导的至少子集。
40.根据权利要求38至39中任一项所述的方法，包括：
在检测到所述第一注释放置输入并且显示从所述视野的所述表示中的所述第一位置延伸的所述一个或多个第一引导之后，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
停止显示所述一个或多个第一引导的子集。
41.根据权利要求40所述的方法，其中所述一个或多个相机相对于所述物理环境的所述移动包括沿第一方向的移动，并且停止显示所述一个或多个引导的所述子集包括停止显示不沿所述第一方向延伸的任何引导。
42.根据权利要求40所述的方法，其中根据所述一个或多个相机的所述移动，所述放置用户界面元素指示不同于所述第一位置的第二位置，并且停止显示所述一个或多个第一引导的所述子集包括停止显示所述一个或多个第一引导中的对应于所述第一位置且不对应于所述第二位置的任何引导。
43.根据权利要求38至42中任一项所述的方法，包括：
在检测到所述第一注释放置输入并且显示从所述视野的所述表示中的所述第一位置延伸的所述一个或多个第一引导之后，检测所述一个或多个相机相对于所述物理环境的移动，所述移动包括沿第一方向的移动；以及
响应于检测到所述一个或多个相机沿所述第一方向的所述移动，根据确定所述一个或多个第一引导中的相应引导沿所述第一方向延伸，维持显示所述相应引导的至少一部分。
44.根据权利要求43所述的方法，其中维持显示所述相应引导的至少一部分包括维持显示所述相应引导的从所述第一位置沿所述第一方向延伸的一部分，并且停止显示所述相应引导的从所述第一位置沿与所述第一方向相反的方向延伸的一部分。
45.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在所述放置用户界面元素指示所述视野的所述表示中的第一位置的同时，接收第一注释放置输入；以及
响应于接收到所述第一注释放置输入：
在所述视野的所述表示中的所述第一位置处显示注释；以及
显示从所述视野的所述表示中的所述第一位置延伸的一个或多个第一引导。
46.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在所述放置用户界面元素指示所述视野的所述表示中的第一位置的同时，接收第一注释放置输入；以及
响应于接收到所述第一注释放置输入：
在所述视野的所述表示中的所述第一位置处显示注释；以及
显示从所述视野的所述表示中的所述第一位置延伸的一个或多个第一引导。
47.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在所述放置用户界面元素指示所述视野的所述表示中的第一位置的同时，接收第一注释放置输入；和
响应于接收到所述第一注释放置输入而启用的装置，包括：
用于执行以下操作的装置：在所述视野的所述表示中的所述第一位置处显示注释；和
用于执行以下操作的装置：显示从所述视野的所述表示中的所述第一位置延伸的一个或多个第一引导。
48.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在所述放置用户界面元素指示所述视野的所述表示中的第一位置的同时，接收第一注释放置输入；和
响应于接收到所述第一注释放置输入而启用的装置，包括：
用于执行以下操作的装置：在所述视野的所述表示中的所述第一位置处显示注释；和
用于执行以下操作的装置：显示从所述视野的所述表示中的所述第一位置延伸的一个或多个第一引导。
49.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求38至44中任一项所述的方法的指令。
50.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求38至44中任一项所述的方法。
51.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求38至44中任一项所述的方法显示的用户界面。
52.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求38至44中任一项所述的方法的装置。
53.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求38至44中任一项所述的方法的装置。
54.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；以及
根据确定所述放置用户界面元素在所述物理环境中的第一类型的物理特征的表示的至少一部分上方：
显示指示所述注释放置用户界面正在第一注释模式下操作的第一模式指示，所述第一注释模式与添加第一类型的注释相关联；以及
在显示所述第一模式指示的同时，检测所述一个或多个相机相对于所述物理环境的后续移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述后续移动：
基于所述一个或多个相机的所述后续移动来更新所述视野的所述表示；以及
根据确定所述放置用户界面元素在所述物理环境中的第二类型的物理特征的表示的至少一部分上方：
显示指示所述注释放置用户界面正在不同于所述第一注释模式的第二注释模式下操作的第二模式指示，所述第二注释模式与添加不同于所述第一类型的第二类型的注释相关联。
55.根据权利要求54所述的方法，其中：
相应类型的物理特征是三维对象；并且
根据所述确定所述放置用户界面元素在三维对象的表示的至少一部分上方而显示的所述相应模式指示指示所述注释放置用户界面正在与添加三维对象的注释相关联的相应注释模式下操作。
56.根据权利要求54所述的方法，其中：
相应类型的物理特征是二维表面；并且
根据所述确定所述放置用户界面元素在二维表面的表示的至少一部分上方而显示的所述相应模式指示指示所述注释放置用户界面正在与添加二维表面的注释相关联的相应注释模式下操作。
57.根据权利要求54所述的方法，其中：
相应类型的物理特征是一维特征；并且
根据所述确定所述放置用户界面元素在一维特征的表示的至少一部分上方而显示的所述相应模式指示指示所述注释放置用户界面正在与添加一维特征的注释相关联的相应注释模式下操作。
58.根据权利要求54至57中任一项所述的方法，包括：
接收对应于选择正交建模模式的请求的输入；以及
响应于接收到对应于选择所述正交建模模式的所述请求的所述输入：
显示所述注释放置用户界面正在正交建模模式下操作的指示。
59.根据权利要求54至58中任一项所述的方法，其中：
所述注释放置用户界面包括多个用户界面元素，每个用户界面元素对应于包括所述第一注释模式和所述第二注释模式的多个注释模式中的相应注释模式；
显示所述第二模式指示包括在所述多个用户界面元素中的对应于所述第二注释模式的相应用户界面元素上方显示选择指示符，并且所述方法包括：
在显示指示所述注释放置用户界面正在所述第二注释模式下操作的所述第二模式指示的同时，接收对应于选择不同于所述第二注释模式的第三注释模式的请求的用户输入；以及
响应于接收到对应于选择所述第三注释模式的所述请求的所述用户输入：
显示所述注释放置用户界面正在所述第三注释模式下操作的指示，包括在所述多个用户界面元素中的对应于所述第三注释模式的第三用户界面元素上方显示所述选择指示符，其中所述第三用户界面元素不同于所述相应用户元素。
60.根据权利要求54至59中任一项所述的方法，其中：
所述注释放置用户界面包括多个用户界面元素，每个用户界面元素对应于包括所述第一注释模式和所述第二注释模式的多个注释模式中的相应注释模式；
显示所述第一模式指示包括以与所述第一注释模式相关联的第一外观显示所述放置用户界面元素；并且
显示所述第二模式指示包括以与所述第二注释模式相关联的、不同于所述第一外观的第二外观显示所述放置用户界面元素。
61.根据权利要求60所述的方法，其中：
显示所述第一模式指示包括在所述多个用户界面元素中的对应于所述第一注释模式的第一用户界面元素上方显示选择指示符；并且
显示所述第二模式指示包括在所述多个用户界面元素中的对应于所述第二注释模式的第二用户界面元素上方显示所述选择指示符，其中所述第二用户界面元素不同于所述第一用户界面元素。
62.根据权利要求60所述的方法，其中：
显示所述第一模式指示包括在所述多个用户界面元素中的对应于第四注释模式的第四用户界面元素上方显示选择指示符，所述第四注释模式不同于所述第一注释模式和所述第二注释模式；并且
显示所述第二模式指示包括在对应于所述第四注释模式的所述第四用户界面元素上方显示所述选择指示符。
63.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；以及
根据确定所述放置用户界面元素在所述物理环境中的第一类型的物理特征的表示的至少一部分上方：
显示指示所述注释放置用户界面正在第一注释模式下操作的第一模式指示，所述第一注释模式与添加第一类型的注释相关联；以及
在显示所述第一模式指示的同时，检测所述一个或多个相机相对于所述物理环境的后续移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述后续移动：
基于所述一个或多个相机的所述后续移动来更新所述视野的所述表示；以及
根据确定所述放置用户界面元素在所述物理环境中的第二类型的物理特征的表示的至少一部分上方：
显示指示所述注释放置用户界面正在不同于所述第一注释模式的第二注释模式下操作的第二模式指示，所述第二注释模式与添加不同于所述第一类型的第二类型的注释相关联。
64.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动：
基于所述一个或多个相机的所述移动来更新所述视野的所述表示；以及
根据确定所述放置用户界面元素在所述物理环境中的第一类型的物理特征的表示的至少一部分上方：
显示指示所述注释放置用户界面正在第一注释模式下操作的第一模式指示，所述第一注释模式与添加第一类型的注释相关联；以及
在显示所述第一模式指示的同时，检测所述一个或多个相机相对于所述物理环境的后续移动；以及
响应于检测到所述一个或多个相机相对于所述物理环境的所述后续移动：
基于所述一个或多个相机的所述后续移动来更新所述视野的所述表示；以及
根据确定所述放置用户界面元素在所述物理环境中的第二类型的物理特征的表示的至少一部分上方：
显示指示所述注释放置用户界面正在不同于所述第一注释模式的第二注释模式下操作的第二模式指示，所述第二注释模式与添加不同于所述第一类型的第二类型的注释相关联。
65.一种计算机系统，包括：
显示设备；
一个或多个相机；
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动而启用的装置，包括：
用于执行以下操作的装置：基于所述一个或多个相机的所述移动来更新所述视野的所述表示；和
根据确定所述放置用户界面元素在所述物理环境中的第一类型的物理特征的表示的至少一部分上方而启用的装置，包括：
用于执行以下操作的装置：显示指示所述注释放置用户界面正在第一注释模式下操作的第一模式指示，所述第一注释模式与添加第一类型的注释相关联；
启用以执行以下操作的装置：在显示所述第一模式指示的同时，检测所述一个或多个相机相对于所述物理环境的后续移动；和
响应于检测到所述一个或多个相机相对于所述物理环境的所述后续移动而启用的装置，包括：
用于执行以下操作的装置：基于所述一个或多个相机的所述后续移动来更新所述视野的所述表示；和
根据确定所述放置用户界面元素在所述物理环境中的第二类型的物理特征的表示的至少一部分上方而启用的装置，包括：
用于执行以下操作的装置：显示指示所述注释放置用户界面正在不同于所述第一注释模式的第二注释模式下操作的第二模式指示，所述第二注释模式与添加不同于所述第一类型的第二类型的注释相关联。
66.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；和
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；
启用以执行以下操作的装置：在显示所述注释放置用户界面的同时，检测所述一个或多个相机相对于所述物理环境的移动；和
响应于检测到所述一个或多个相机相对于所述物理环境的所述移动而启用的装置，包括：
用于执行以下操作的装置：基于所述一个或多个相机的所述移动来更新所述视野的所述表示；和
根据确定所述放置用户界面元素在所述物理环境中的第一类型的物理特征的表示的至少一部分上方而启用的装置，包括：
用于执行以下操作的装置：显示指示所述注释放置用户界面正在第一注释模式下操作的第一模式指示，所述第一注释模式与添加第一类型的注释相关联；和
启用以执行以下操作的装置：在显示所述第一模式指示的同时，检测所述一个或多个相机相对于所述物理环境的后续移动；和
响应于检测到所述一个或多个相机相对于所述物理环境的所述后续移动而启用的装置，包括：
用于执行以下操作的装置：基于所述一个或多个相机的所述后续移动来更新所述视野的所述表示；和
根据确定所述放置用户界面元素在所述物理环境中的第二类型的物理特征的表示的至少一部分上方而启用的装置，包括：
用于执行以下操作的装置：显示指示所述注释放置用户界面正在不同于所述第一注释模式的第二注释模式下操作的第二模式指示，所述第二注释模式与添加不同于所述第一类型的第二类型的注释相关联。
67.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求54至62中任一项所述的方法的指令。
68.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求54至62中任一项所述的方法。
69.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求54至62中任一项所述的方法显示的用户界面。
70.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求54至62中任一项所述的方法的装置。
71.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求54至62中任一项所述的方法的装置。
72.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
接收对应于显示注释放置用户界面的请求的第一输入；
响应于接收到所述第一输入，经由所述显示设备显示所述注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述视野中的变化随时间更新所述视野的所述表示；
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；和
会话历史用户界面元素；
在显示所述注释放置用户界面的同时：
接收对应于对所述视野的所述表示进行注释的多个请求的一组输入；以及
响应于接收到所述一组输入，将第一注释和第二注释添加到所述一个或多个相机的所述视野的所述表示；
在将所述第一注释和所述第二注释添加到所述一个或多个相机的所述视野的所述表示之后，接收对应于所述会话历史用户界面元素的激活的输入；以及
响应于接收到对应于所述会话历史用户界面元素的激活的所述输入，显示包括所述第一注释和所述第二注释的注释列表的至少一部分，包括同时显示所述第一注释的表示和所述第二注释的表示。
73.根据权利要求72所述的方法，其中所述注释列表的所显示部分显示在所述注释放置用户界面的一部分上方。
74.根据权利要求72至73中任一项所述的方法，其中所述注释列表中的相应注释对应于所述物理环境中的物理特征，并且在所述注释列表的所显示部分中显示的所述相应注释的表示包括描述所述物理特征的文本标签。
75.根据权利要求74所述的方法，其中所述物理特征是物理对象，并且描述所述物理特征的所述文本标签将所述物理对象分类为相应类型的对象。
76.根据权利要求74到75中任一项所述的方法，其中所述相应注释对应于所述物理特征的测量，并且所述相应注释的所述表示包括所述测量的数值。
77.根据权利要求72至76中任一项所述的方法，包括：
在对应于所述注释列表的所显示部分中的相应注释的表示的位置处接收第一输入；以及
响应于接收到所述第一输入，显示所述相应注释的所述表示而不显示其他注释的表示。
78.根据权利要求77所述的方法，其中所述相应注释的所述表示包括描述所述相应注释的文本标签，并且所述方法包括：
在显示所述相应注释的所述表示而不显示其他注释的表示的同时，在对应于描述所述相应注释的所述文本标签的位置处接收第二输入；以及
响应于接收到所述第二输入，显示用于编辑所述文本标签的文本的一组用户界面元素。
79.根据权利要求77至78中任一项所述的方法，包括：
在显示所述相应注释的所述表示而不显示其他注释的表示的同时，在对应于所述相应注释的位置处接收第三输入；以及
响应于接收到所述第三输入，显示对应于所述相应注释的附加选项的一组用户界面元素。
80.根据权利要求72至76中任一项所述的方法，包括：
在对应于所述注释列表中的相应注释的表示的位置处接收作为第一类型的手势的输入；以及
响应于接收到作为所述第一类型的手势的所述输入，从所述注释列表的所显示部分中移除所述相应注释的所述表示。
81.根据权利要求72至80中任一项所述的方法，其中：
结合注释会话显示所述注释放置用户界面，所述注释会话在结合先前注释会话显示所述注释放置用户界面之后启动，在所述先前注释会话期间将一个或多个第三注释添加到所述一个或多个相机的所述视野的所述表示；并且
包括所述第一注释和所述第二注释的所述注释列表不包括在所述先前注释会话期间添加的所述一个或多个第三注释。
82.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
接收对应于显示注释放置用户界面的请求的第一输入；
响应于接收到所述第一输入，经由所述显示设备显示所述注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述视野中的变化随时间更新所述视野的所述表示；
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；和
会话历史用户界面元素；
在显示所述注释放置用户界面的同时：
接收对应于对所述视野的所述表示进行注释的多个请求的一组输入；以及
响应于接收到所述一组输入，将第一注释和第二注释添加到所述一个或多个相机的所述视野的所述表示；
在将所述第一注释和所述第二注释添加到所述一个或多个相机的所述视野的所述表示之后，接收对应于所述会话历史用户界面元素的激活的输入；以及
响应于接收到对应于所述会话历史用户界面元素的激活的所述输入，显示包括所述第一注释和所述第二注释的注释列表的至少一部分，包括同时显示所述第一注释的表示和所述第二注释的表示。
83.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
接收对应于显示注释放置用户界面的请求的第一输入；
响应于接收到所述第一输入，经由所述显示设备显示所述注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述视野中的变化随时间更新所述视野的所述表示；
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；和
会话历史用户界面元素；
在显示所述注释放置用户界面的同时：
接收对应于对所述视野的所述表示进行注释的多个请求的一组输入；以及
响应于接收到所述一组输入，将第一注释和第二注释添加到所述一个或多个相机的所述视野的所述表示；
在将所述第一注释和所述第二注释添加到所述一个或多个相机的所述视野的所述表示之后，接收对应于所述会话历史用户界面元素的激活的输入；以及
响应于接收到对应于所述会话历史用户界面元素的激活的所述输入，显示包括所述第一注释和所述第二注释的注释列表的至少一部分，包括同时显示所述第一注释的表示和所述第二注释的表示。
84.一种计算机系统，包括：
显示设备；
一个或多个相机；
用于执行以下操作的装置：接收对应于显示注释放置用户界面的请求的第一输入；
启用以执行以下操作的装置：响应于接收到所述第一输入，经由所述显示设备显示所述注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述视野中的变化随时间更新所述视野的所述表示；
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；和
会话历史用户界面元素；
在显示所述注释放置用户界面的同时启用的装置，包括：
用于执行以下操作的装置：接收对应于对所述视野的所述表示进行注释的多个请求的一组输入；和
启用以执行以下操作的装置：响应于接收到所述一组输入，将第一注释和第二注释添加到所述一个或多个相机的所述视野的所述表示；
启用以执行以下操作的装置：在将所述第一注释和所述第二注释添加到所述一个或多个相机的所述视野的所述表示之后，接收对应于所述会话历史用户界面元素的激活的输入；和
启用以执行以下操作的装置：响应于接收到对应于所述会话历史用户界面元素的激活的所述输入，显示包括所述第一注释和所述第二注释的注释列表的至少一部分，包括同时显示所述第一注释的表示和所述第二注释的表示。
85.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：接收对应于显示注释放置用户界面的请求的第一输入；
启用以执行以下操作的装置：响应于接收到所述第一输入，经由所述显示设备显示所述注释放置用户界面，所述注释放置用户界面包括：
所述一个或多个相机的视野的表示，包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述视野中的变化随时间更新所述视野的所述表示；
放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置；和
会话历史用户界面元素；
在显示所述注释放置用户界面的同时启用的装置，包括：
用于执行以下操作的装置：接收对应于对所述视野的所述表示进行注释的多个请求的一组输入；和
启用以执行以下操作的装置：响应于接收到所述一组输入，将第一注释和第二注释添加到所述一个或多个相机的所述视野的所述表示；
启用以执行以下操作的装置：在将所述第一注释和所述第二注释添加到所述一个或多个相机的所述视野的所述表示之后，接收对应于所述会话历史用户界面元素的激活的输入；和
启用以执行以下操作的装置：响应于接收到对应于所述会话历史用户界面元素的激活的所述输入，显示包括所述第一注释和所述第二注释的注释列表的至少一部分，包括同时显示所述第一注释的表示和所述第二注释的表示。
86.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求72至81中任一项所述的方法的指令。
87.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求72至81中任一项所述的方法。
88.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求72至81中任一项所述的方法显示的用户界面。
89.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求72至81中任一项所述的方法的装置。
90.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求72至81中任一项所述的方法的装置。
91.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括所述一个或多个相机的视野的表示，所述视野的所述表示包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；
接收对应于从所述视野的所述表示中的第一位置测量到所述视野的所述表示中的不同于所述第一位置的第二位置的请求的一个或多个第一输入，其中所述视野的所述表示中的所述第一位置对应于所述物理环境中的物理表面上的第一物理位置，
并且所述视野的所述表示中的所述第二位置对应于所述物理表面上的不同于所述第一物理位置的第二物理位置；以及
响应于接收到所述一个或多个第一输入，经由所述显示设备显示从所述视野的所述表示中的所述第一位置到所述视野的所述表示中的所述第二位置的第一测量的表示，包括根据确定所述物理表面不是平坦表面，在显示所述第一测量的所述表示时考虑所述物理表面的形状。
92.根据权利要求91所述的方法，其中：
显示所述第一测量的所述表示包括显示所述物理环境中的第一路径的表示，其中所述第一路径从所述第一物理位置延伸到所述第二物理位置；并且
根据所述确定所述物理表面不是平坦表面，所述第一路径的所述表示具有基于所述第一物理位置与所述第二物理位置之间的所述物理表面的所述形状而确定的形状。
93.根据权利要求92所述的方法，其中所述第一路径适形于所述第一物理位置与所述第二物理位置之间的所述物理表面的所述形状。
94.根据权利要求92至93中任一项所述的方法，包括沿着所述第一路径的所述表示间隔地显示一个或多个刻度标记，其中根据所述确定所述物理表面不是平坦表面，显示所述一个或多个刻度标记的间隔考虑所述物理表面的所述形状。
95.根据权利要求92至94中任一项所述的方法，包括：
接收对应于从所述视野的所述表示中的所述第一位置测量到所述视野的所述表示中的第三位置的请求的一个或多个第二输入，其中所述第三位置不同于所述第一位置和所述第二位置并且对应于所述物理环境中的所述物理表面上的第三物理位置；
响应于接收到所述一个或多个第二输入，经由所述显示设备显示从所述视野的所述表示中的所述第一位置到所述视野的所述表示中的所述第三位置的第二测量的表示；
其中：
显示所述第二测量的所述表示包括显示所述物理环境中的不同于所述第一路径的第二路径的表示；
所述第二路径从所述第一物理位置延伸到所述第三物理位置并且适形于所述第一物理位置与所述第三物理位置之间的所述物理表面的所述形状；并且
所述第二路径的所述表示的形状不同于所述第一路径的所述表示的所述形状。
96.根据权利要求91至95中任一项所述的方法，其中在所述注释放置用户界面正在第一模式下操作的同时，接收所述一个或多个第一输入，并且所述方法包括：
接收对应于从所述视野的所述表示中的所述第一位置测量到所述视野的所述表示中的所述第二位置的请求的一个或多个第三输入；以及
响应于接收到所述一个或多个第三输入：
根据确定在所述注释放置用户界面正在不同于所述第一模式的第二模式下操作的同时接收所述一个或多个第三输入，经由所述显示设备显示第三测量的表示而不考虑所述物理表面的所述形状。
97.根据权利要求91至96中任一项所述的方法，其中所述一个或多个第一输入由选择所述视野的所述表示中的所述第一位置的输入和选择所述视野的所述表示中的所述第二位置的输入组成。
98.根据权利要求91至97中任一项所述的方法，其中所述第一测量测量从所述第一物理位置到所述第二物理位置的路径，并且所述路径的一部分至少部分地沿第一方向延伸，所述第一方向不同于沿着穿过所述物理环境中的所述第一物理位置和所述第二物理位置的直线的方向。
99.根据权利要求91至98中任一项所述的方法，其中所述第一测量测量从所述第一物理位置到所述第二物理位置的路径，并且所述路径的一部分至少部分地沿第二方向延伸，所述第二方向垂直于穿过所述物理环境中的所述第一物理位置和所述第二物理位置的直线。
100.根据权利要求91至99中任一项所述的方法，其中所述第一测量测量从所述第一物理位置到所述第二物理位置的路径，并且所述路径至少部分地沿第一方向延伸并且至少部分地沿第二方向延伸，所述第一方向垂直于穿过所述物理环境中的所述第一物理位置和所述第二物理位置的直线，所述第二方向垂直于所述直线并且与所述第一方向相反。
101.根据权利要求91至100中任一项所述的方法，包括在所述视野的所述表示上方显示指示所述物理表面的所述形状的引导。
102.根据权利要求91至101中任一项所述的方法，其中所述注释放置用户界面包括放置用户界面元素，所述放置用户界面元素指示响应于接收到注释放置输入，虚拟注释将被放置在所述视野的所述表示中的哪个位置，并且在所述放置用户界面元素指示所述视野的所述表示中的相应位置时，根据确定所述视野的所述表示中的所述相应位置对应于不是平坦表面的物理表面上的相应物理位置，所述放置用户界面元素指示所述物理表面的所述形状。
103.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括所述一个或多个相机的视野的表示，所述视野的所述表示包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；
接收对应于从所述视野的所述表示中的第一位置测量到所述视野的所述表示中的不同于所述第一位置的第二位置的请求的一个或多个第一输入，其中所述视野的所述表示中的所述第一位置对应于所述物理环境中的物理表面上的第一物理位置，并且所述视野的所述表示中的所述第二位置对应于所述物理表面上的不同于所述第一物理位置的第二物理位置；以及
响应于接收到所述一个或多个第一输入，经由所述显示设备显示从所述视野的所述表示中的所述第一位置到所述视野的所述表示中的所述第二位置的第一测量的表示，包括根据确定所述物理表面不是平坦表面，在显示所述第一测量的所述表示时考虑所述物理表面的形状。
104.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括所述一个或多个相机的视野的表示，所述视野的所述表示包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；
接收对应于从所述视野的所述表示中的第一位置测量到所述视野的所述表示中的不同于所述第一位置的第二位置的请求的一个或多个第一输入，其中所述视野的所述表示中的所述第一位置对应于所述物理环境中的物理表面上的第一物理位置，并且所述视野的所述表示中的所述第二位置对应于所述物理表面上的不同于所述第一物理位置的第二物理位置；以及
响应于接收到所述一个或多个第一输入，经由所述显示设备显示从所述视野的所述表示中的所述第一位置到所述视野的所述表示中的所述第二位置的第一测量的表示，包括根据确定所述物理表面不是平坦表面，在显示所述第一测量的所述表示时考虑所述物理表面的形状。
105.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括所述一个或多个相机的视野的表示，所述视野的所述表示包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；
用于执行以下操作的装置：接收对应于从所述视野的所述表示中的第一位置测量到所述视野的所述表示中的不同于所述第一位置的第二位置的请求的一个或多个第一输入，其中所述视野的所述表示中的所述第一位置对应于所述物理环境中的物理表面上的第一物理位置，并且所述视野的所述表示中的所述第二位置对应于所述物理表面上的不同于所述第一物理位置的第二物理位置；和
启用以执行以下操作的装置：响应于接收到所述一个或多个第一输入，经由所述显示设备显示从所述视野的所述表示中的所述第一位置到所述视野的所述表示中的所述第二位置的第一测量的表示，包括启用以执行以下操作的装置：根据确定所述物理表面不是平坦表面，在显示所述第一测量的所述表示时考虑所述物理表面的形状。
106.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：经由所述显示设备显示注释放置用户界面，所述注释放置用户界面包括所述一个或多个相机的视野的表示，所述视野的所述表示包括在所述一个或多个相机的所述视野中的三维物理环境的一部分的表示，其中基于所述一个或多个相机的所述视野中的变化随时间更新所述视野的所述表示；
用于执行以下操作的装置：接收对应于从所述视野的所述表示中的第一位置测量到所述视野的所述表示中的不同于所述第一位置的第二位置的请求的一个或多个第一输入，其中所述视野的所述表示中的所述第一位置对应于所述物理环境中的物理表面上的第一物理位置，并且所述视野的所述表示中的所述第二位置对应于所述物理表面上的不同于所述第一物理位置的第二物理位置；和
启用以执行以下操作的装置：响应于接收到所述一个或多个第一输入，经由所述显示设备显示从所述视野的所述表示中的所述第一位置到所述视野的所述表示中的所述第二位置的第一测量的表示，包括启用以执行以下操作的装置：根据确定所述物理表面不是平坦表面，在显示所述第一测量的所述表示时考虑所述物理表面的形状。
107.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求91至102中任一项所述的方法的指令。
108.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求91至102中任一项所述的方法。
109.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求91至102中任一项所述的方法显示的用户界面。
110.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求91至102中任一项所述的方法的装置。
111.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求91至102中任一项所述的方法的装置。
112.一种方法，包括：
在具有显示设备的计算机系统处：
经由所述显示设备显示在所述计算机系统上执行的应用程序的第一用户界面；
在显示所述应用程序的所述第一用户界面的同时，接收对应于显示所述应用程序的第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的一个或多个输入；
响应于接收到对应于显示所述第二用户界面以用于显示所述第一先前捕获的媒体的所述带注释表示的所述请求的所述一个或多个输入，显示所述第二用户界面，包括：
显示所述第一先前捕获的媒体的所述带注释表示，其中所述第一先前捕获的媒体的所述表示包括在其中捕获了所述第一先前捕获的媒体的三维物理环境的第一部分的表示；以及
根据确定所述第一先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域，显示所述一个或多个第一物理特征的一个或多个测量表示。
113.根据权利要求112所述的方法，其中显示所述一个或多个测量表示包括同时显示：
第一测量的第一表示；和
第二测量的第二表示。
114.根据权利要求112至113中任一项所述的方法，包括：
根据确定所述第一先前捕获的媒体的所述表示包括对应于所述物理环境中启用测量的信息对其不可用的一个或多个第一物理特征的一个或多个区域，放弃显示不能被测量的所述一个或多个物理特征的一个或多个测量表示。
115.根据权利要求112至114中任一项所述的方法，其中所述第一先前捕获的媒体的所述表示包括相应物理特征的表示，并且所述方法包括：
接收对应于测量所述相应物理特征的请求的用户输入；以及
响应于接收到所述用户输入放弃显示对应于所述相应物理特征的测量的表示。
116.根据权利要求112至115中任一项所述的方法，包括：
接收对应于显示第二先前捕获的媒体的表示的请求的一个或多个输入；
响应于接收到对应于显示所述第二先前捕获的媒体的所述表示的所述请求的所述一个或多个输入：
显示所述第二先前捕获的媒体的所述表示，其中：
所述第二先前捕获的媒体的所述表示包括所述三维物理环境的所述第一部分的表示；并且
所述第二先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的多个物理特征的多个区域，所述多个物理特征包括所述第一先前捕获的媒体的能够被测量的所述一个或多个第一物理特征，以及能够被测量的至少一个附加物理特征；以及
显示所述多个物理特征的多个测量表示。
117.根据权利要求112至116中任一项所述的方法，包括：
接收对应于显示第三先前捕获的媒体的表示的请求的一个或多个输入；
响应于接收到对应于显示所述第三先前捕获的媒体的所述表示的所述请求的所述一个或多个输入：
显示所述第三先前捕获的媒体的所述表示，其中：
所述第三先前捕获的媒体的所述表示包括所述三维物理环境的所述第一部分的表示；并且
所述第三先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的一个或多个第二物理特征的一个或多个区域，所述一个或多个第二物理特征不同于所述一个或多个第一物理特征；以及
显示所述一个或多个第二物理特征的一个或多个测量表示。
118.根据权利要求112至117中任一项所述的方法，包括：
接收对应于显示第四先前捕获的媒体的表示的请求的一个或多个输入；
响应于接收到对应于显示所述第四先前捕获的媒体的所述表示的所述请求的所述一个或多个输入：
显示所述第四先前捕获的媒体的所述表示，其中：
所述第四先前捕获的媒体的所述表示包括所述三维物理环境的所述第一部分的表示；并且
所述第四先前捕获的媒体的所述表示包括对应于所述第一先前捕获的媒体的能够被测量的所述一个或多个物理特征的子集的一个或多个区域；以及
显示所述一个或多个物理特征的所述子集的一个或多个测量表示。
119.根据权利要求112至118中任一项所述的方法，包括：
接收对应于显示第五先前捕获的媒体的表示的请求的一个或多个输入；
响应于接收到对应于显示所述第五先前捕获的媒体的所述表示的所述请求的所述一个或多个输入：
显示所述第五先前捕获的媒体的所述表示，其中：
所述第五先前捕获的媒体的所述表示包括所述三维物理环境的不同于所述第一部分的第二部分的表示；并且
根据确定所述第五先前捕获的媒体的所述表示包括对应于所述物理环境的所述第二部分中能够被测量的一个或多个物理特征的一个或多个区域，显示所述物理环境的所述第二部分中的所述一个或多个物理特征的一个或多个测量表示。
120.根据权利要求112至119中任一项所述的方法，其中所述第一先前捕获的媒体的所述表示是照片或视频中的一者。
121.根据权利要求112至120中任一项所述的方法，其中所述应用程序是媒体查看应用程序，所述应用程序的所述第一用户界面是用于查看所述第一先前捕获的媒体的用户界面，并且所述一个或多个输入对应于启用所述媒体查看应用程序的注释模式的请求。
122.根据权利要求112至120中任一项所述的方法，其中所述应用程序是注释应用程序，所述第一用户界面是用于将注释添加到所述计算机系统的一个或多个相机的视野的表示的用户界面，并且所述一个或多个输入对应于显示所述第一先前捕获的媒体的所述表示的请求。
123.一种计算机系统，包括：
显示设备；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示设备显示在所述计算机系统上执行的应用程序的第一用户界面；
在显示所述应用程序的所述第一用户界面的同时，接收对应于显示所述应用程序的第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的一个或多个输入；
响应于接收到对应于显示所述第二用户界面以用于显示所述第一先前捕获的媒体的所述带注释表示的所述请求的所述一个或多个输入，显示所述第二用户界面，包括：
显示所述第一先前捕获的媒体的所述带注释表示，其中所述第一先前捕获的媒体的所述表示包括在其中捕获了所述第一先前捕获的媒体的三维物理环境的第一部分的表示；以及
根据确定所述第一先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域，显示所述一个或多个第一物理特征的一个或多个测量表示。
124.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备的计算机系统执行时，使所述计算机系统执行以下操作：
经由所述显示设备显示在所述计算机系统上执行的应用程序的第一用户界面；
在显示所述应用程序的所述第一用户界面的同时，接收对应于显示所述应用程序的第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的一个或多个输入；
响应于接收到对应于显示所述第二用户界面以用于显示所述第一先前捕获的媒体的所述带注释表示的所述请求的所述一个或多个输入，显示所述第二用户界面，包括：
显示所述第一先前捕获的媒体的所述带注释表示，其中所述第一先前捕获的媒体的所述表示包括在其中捕获了所述第一先前捕获的媒体的三维物理环境的第一部分的表示；以及
根据确定所述第一先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域，显示所述一个或多个第一物理特征的一个或多个测量表示。
125.一种计算机系统，包括：
显示设备；和
用于执行以下操作的装置：经由所述显示设备显示在所述计算机系统上执行的应用程序的第一用户界面；
启用以执行以下操作的装置：在显示所述应用程序的所述第一用户界面的同时，接收对应于显示所述应用程序的第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的一个或多个输入；
启用以执行以下操作的装置：响应于接收到对应于显示所述第二用户界面以用于显示所述第一先前捕获的媒体的所述带注释表示的所述请求的所述一个或多个输入，显示所述第二用户界面，包括：
用于执行以下操作的装置：显示所述第一先前捕获的媒体的所述带注释表示，其中所述第一先前捕获的媒体的所述表示包括在其中捕获了所述第一先前捕获的媒体的三维物理环境的第一部分的表示；和
启用以执行以下操作的装置：根据确定所述第一先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域，显示所述一个或多个第一物理特征的一个或多个测量表示。
126.一种在包括显示设备的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：经由所述显示设备显示在所述计算机系统上执行的应用程序的第一用户界面；
启用以执行以下操作的装置：在显示所述应用程序的所述第一用户界面的同时，接收对应于显示所述应用程序的第二用户界面以用于显示第一先前捕获的媒体的带注释表示的请求的一个或多个输入；
启用以执行以下操作的装置：响应于接收到对应于显示所述第二用户界面以用于显示所述第一先前捕获的媒体的所述带注释表示的所述请求的所述一个或多个输入，显示所述第二用户界面，包括：
用于执行以下操作的装置：显示所述第一先前捕获的媒体的所述带注释表示，其中所述第一先前捕获的媒体的所述表示包括在其中捕获了所述第一先前捕获的媒体的三维物理环境的第一部分的表示；和
启用以执行以下操作的装置：根据确定所述第一先前捕获的媒体的所述表示包括对应于所述物理环境中能够被测量的一个或多个第一物理特征的一个或多个区域，显示所述一个或多个第一物理特征的一个或多个测量表示。
127.一种计算机系统，包括：
显示设备；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求112至122中任一项所述的方法的指令。
128.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备的计算机系统执行时，使所述计算机系统执行根据权利要求112至122中任一项所述的方法。
129.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求112至122中任一项所述的方法显示的用户界面。
130.一种计算机系统，包括：
显示设备；和
用于执行根据权利要求112至122中任一项所述的方法的装置。
131.一种在包括显示设备的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求112至122中任一项所述的方法的装置。
132.一种方法，包括：
在具有显示设备和一个或多个相机的计算机系统处：
在用户界面的第一区域中显示所述一个或多个相机的视野的表示，其中所述一个或多个相机在三维物理环境中，并且所述视野的所述表示包括在所述一个或多个相机的所述视野中的所述物理环境的第一相应部分的第一视图的表示；
捕获指示所述物理环境的所述第一相应部分的第一子集的深度信息；
在所述视野的所述表示上方显示指示所述物理环境的已经捕获到深度信息的所述第一相应部分的范围的第一指示，包括显示覆盖在包括所述第一子集的表示的所述视野的所述表示的至少第一部分上的所述第一指示，并且显示未被所述第一指示覆盖的所述视野的所述表示的至少第二部分；
检测移动所述视野以包括所述物理环境的第二相应部分的所述一个或多个相机的移动；
响应于检测到所述一个或多个相机的所述移动：
更新所述一个或多个相机的所述视野的所述表示以包括所述物理环境的所述第二相应部分的所述第一视图的表示；
捕获指示所述物理环境的所述第二相应部分的第二子集的深度信息；以及
更新显示在所述视野的所更新的表示上方的所述第一指示以指示所述物理环境的已经捕获到深度信息的所述第二相应部分的范围，包括显示覆盖在所述视野的所述表示的所述第二部分上的所述第一指示，所述视野的所述表示的所述第二部分包括所述第二子集的表示。
133.根据权利要求132所述的方法，包括在所述视野的所述表示中显示所述物理环境的尚未捕获到深度信息的一个或多个部分的一个或多个表示。
134.根据权利要求132至133中任一项所述的方法，包括平滑所述第一指示的一个或多个边缘。
135.根据权利要求132至134中任一项所述的方法，其中所述第一指示是连续区域。
136.根据权利要求132至135中任一项所述的方法，包括在检测所述一个或多个相机的所述移动之前，显示提示用户将所述一个或多个相机在所述物理环境中四处移动的指令。
137.根据权利要求132至136中任一项所述的方法，包括：
显示第一用户界面元素，所述第一用户界面元素在被激活时发起捕获指示所述一个或多个相机所在的物理环境的深度信息；
接收激活所述第一用户界面元素的输入；以及
在接收到激活所述第一用户界面元素的所述输入之后，捕获指示所述物理环境的深度信息，其中所述捕获深度信息包括根据所述一个或多个相机的所述移动来捕获指示所述第一子集的所述深度信息并且捕获指示所述第二子集的所述深度信息。
138.根据权利要求132至137中任一项所述的方法，包括：
显示第二用户界面元素，所述第二用户界面元素在被激活时发起显示物理环境的已经捕获到深度信息的部分的正交视图；
接收激活所述第二用户界面元素的输入；以及
在接收到激活所述第二用户界面元素的所述输入之后，显示所述物理环境的正交视图。
139.根据权利要求132至138中任一项所述的方法，其中显示所述第一指示包括在视觉上强调所述第一指示的覆盖在所述视野的所述表示中检测到的一组预定义特征类型的物理特征的表示上的一部分。
140.根据权利要求139所述的方法，其中在视觉上强调所述第一指示的覆盖在所述物理特征的所述表示上的所述部分包括在预定时间段内突出显示所述第一指示的所述部分。
141.根据权利要求139至140中任一项所述的方法，包括随时间推移逐渐停止在视觉上强调所述第一指示的所述部分。
142.根据权利要求132至141中任一项所述的方法，其中：
所述用户界面是相应应用程序的用户界面；并且
在所述相应应用程序正在所述相应应用程序的多个模式中的第一模式下操作的同时执行以下操作：显示所述第一指示；检测所述一个或多个相机的所述移动；以及响应于检测到所述一个或多个相机的所述移动，更新所述视野的所述表示，捕获指示所述第二子集的所述深度信息，以及更新所述第一指示。
143.根据权利要求132至142中任一项所述的方法，包括在所述用户界面的第二区域中显示所述物理环境的第二视图的表示，其中：
根据捕获指示所述物理环境的所述第一相应部分的所述第一子集的所述深度信息，所述第二视图的所述表示指示已经捕获到深度信息的所述物理环境的所述范围，包括指示已经捕获到指示所述第一子集的深度信息；以及
响应于检测到所述一个或多个相机的所述移动：
更新所述物理环境的所述第二视图的所述表示以指示已经捕获到深度信息的所述物理环境的所述范围，包括指示已经捕获到指示所述第一子集和所述第二子集的深度信息。
144.根据权利要求143所述的方法，其中所述一个或多个相机的所述移动包括所述一个或多个相机绕相应轴线旋转相应量，并且所述方法包括响应于检测到所述一个或多个相机的所述移动而使所述物理环境的所述第二视图的所述表示旋转所述相应量。
145.根据权利要求143所述的方法，其中所述一个或多个相机的所述移动包括所述一个或多个相机绕相应轴线旋转相应量，并且所述方法包括响应于检测到所述一个或多个相机的所述移动而维持所述用户界面中所述物理环境的所述第二视图的取向。
146.根据权利要求132至145中任一项所述的方法，包括显示具有关于所述一个或多个相机的所述位置或移动的信息的一个或多个警示，其中所述一个或多个警示包括：
指示从所述一个或多个相机到所述一个或多个相机的所述视野中的对象的距离超出阈值距离的警示；
指示所述一个或多个相机的移动速度超出阈值速度的警示；
指示所述一个或多个相机需要保持在所述物理环境的预定部分内的警示；
指示所述一个或多个相机的所述视野需要被导向为远离所述物理环境中的一个或多个反射表面的警示；
指示所述一个或多个相机的所述视野中的对象需要保持基本上静止的警示；
指示所述一个或多个相机需要移动到所述一个或多个相机的先前位置的警示，在所述先前位置处，在所述一个或多个相机的所述视野中的所述物理环境的相应部分的至少一些深度信息未被捕获；以及/或者
指示所述一个或多个相机需要移动到所述一个或多个相机在发起捕获指示所述物理环境的深度信息时所在的初始位置的警示。
147.根据权利要求132至146中任一项所述的方法，包括：
接收指示所述物理环境内的第一空间与所述物理环境内的第二空间之间的边界的用户输入，所述第二空间与所述第一空间不同并且与所述第一空间相邻；并且
其中在接收到指示所述第一空间与所述第二空间之间的所述边界的所述用户输入之后显示所述物理环境的正交视图，所述正交视图包括所述第一空间与所述第二空间之间的所述边界的指示。
148.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在用户界面的第一区域中显示所述一个或多个相机的视野的表示，其中所述一个或多个相机在三维物理环境中，并且所述视野的所述表示包括在所述一个或多个相机的所述视野中的所述物理环境的第一相应部分的第一视图的表示；
捕获指示所述物理环境的所述第一相应部分的第一子集的深度信息；
在所述视野的所述表示上方显示指示所述物理环境的已经捕获到深度信息的所述第一相应部分的范围的第一指示，包括显示覆盖在包括所述第一子集的表示的所述视野的所述表示的至少第一部分上的所述第一指示，并且显示未被所述第一指示覆盖的所述视野的所述表示的至少第二部分；
检测移动所述视野以包括所述物理环境的第二相应部分的所述一个或多个相机的移动；
响应于检测到所述一个或多个相机的所述移动：
更新所述一个或多个相机的所述视野的所述表示以包括所述物理环境的所述第二相应部分的所述第一视图的表示；
捕获指示所述物理环境的所述第二相应部分的第二子集的深度信息；以及
更新显示在所述视野的所更新的表示上方的所述第一指示以指示所述物理环境的已经捕获到深度信息的所述第二相应部分的范围，包括显示覆盖在所述视野的所述表示的所述第二部分上的所述第一指示，所述视野的所述表示的所述第二部分包括所述第二子集的表示。
149.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行以下操作：
在用户界面的第一区域中显示所述一个或多个相机的视野的表示，其中所述一个或多个相机在三维物理环境中，并且所述视野的所述表示包括在所述一个或多个相机的所述视野中的所述物理环境的第一相应部分的第一视图的表示；
捕获指示所述物理环境的所述第一相应部分的第一子集的深度信息；
在所述视野的所述表示上方显示指示所述物理环境的已经捕获到深度信息的所述第一相应部分的范围的第一指示，包括显示覆盖在包括所述第一子集的表示的所述视野的所述表示的至少第一部分上的所述第一指示，并且显示未被所述第一指示覆盖的所述视野的所述表示的至少第二部分；
检测移动所述视野以包括所述物理环境的第二相应部分的所述一个或多个相机的移动；
响应于检测到所述一个或多个相机的所述移动：
更新所述一个或多个相机的所述视野的所述表示以包括所述物理环境的所述第二相应部分的所述第一视图的表示；
捕获指示所述物理环境的所述第二相应部分的第二子集的深度信息；以及
更新显示在所述视野的所更新的表示上方的所述第一指示以指示所述物理环境的已经捕获到深度信息的所述第二相应部分的范围，包括显示覆盖在所述视野的所述表示的所述第二部分上的所述第一指示，所述视野的所述表示的所述第二部分包括所述第二子集的表示。
150.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行以下操作的装置：在用户界面的第一区域中显示所述一个或多个相机的视野的表示，其中所述一个或多个相机在三维物理环境中，并且所述视野的所述表示包括在所述一个或多个相机的所述视野中的所述物理环境的第一相应部分的第一视图的表示；
用于执行以下操作的装置：捕获指示所述物理环境的所述第一相应部分的第一子集的深度信息；
用于执行以下操作的装置：在所述视野的所述表示上方显示指示所述物理环境的已经捕获到深度信息的所述第一相应部分的范围的第一指示，包括用于执行以下操作的装置：显示覆盖在包括所述第一子集的表示的所述视野的所述表示的至少第一部分上的所述第一指示，和用于执行以下操作的装置：显示未被所述第一指示覆盖的所述视野的所述表示的至少第二部分；
用于执行以下操作的装置：检测移动所述视野以包括所述物理环境的第二相应部分的所述一个或多个相机的移动；
响应于检测到所述一个或多个相机的所述移动而启用的装置，包括：
用于执行以下操作的装置：更新所述一个或多个相机的所述视野的所述表示以包括所述物理环境的所述第二相应部分的所述第一视图的表示；
用于执行以下操作的装置：捕获指示所述物理环境的所述第二相应部分的第二子集的深度信息；和
用于执行以下操作的装置：更新显示在所述视野的所更新的表示上方的所述第一指示以指示所述物理环境的已经捕获到深度信息的所述第二相应部分的范围，包括用于执行以下操作的装置：显示覆盖在所述视野的所述表示的所述第二部分上的所述第一指示，所述视野的所述表示的所述第二部分包括所述第二子集的表示。
151.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：在用户界面的第一区域中显示所述一个或多个相机的视野的表示，其中所述一个或多个相机在三维物理环境中，并且所述视野的所述表示包括在所述一个或多个相机的所述视野中的所述物理环境的第一相应部分的第一视图的表示；
用于执行以下操作的装置：捕获指示所述物理环境的所述第一相应部分的第一子集的深度信息；
用于执行以下操作的装置：在所述视野的所述表示上方显示指示所述物理环境的已经捕获到深度信息的所述第一相应部分的范围的第一指示，包括用于执行以下操作的装置：显示覆盖在包括所述第一子集的表示的所述视野的所述表示的至少第一部分上的所述第一指示，和用于执行以下操作的装置：显示未被所述第一指示覆盖的所述视野的所述表示的至少第二部分；
用于执行以下操作的装置：检测移动所述视野以包括所述物理环境的第二相应部分的所述一个或多个相机的移动；
响应于检测到所述一个或多个相机的所述移动而启用的装置，包括：
用于执行以下操作的装置：更新所述一个或多个相机的所述视野的所述表示以包括所述物理环境的所述第二相应部分的所述第一视图的表示；
用于执行以下操作的装置：捕获指示所述物理环境的所述第二相应部分的第二子集的深度信息；和
用于执行以下操作的装置：更新显示在所述视野的所更新的表示上方的所述第一指示以指示所述物理环境的已经捕获到深度信息的所述第二相应部分的范围，包括用于执行以下操作的装置：显示覆盖在所述视野的所述表示的所述第二部分上的所述第一指示，所述视野的所述表示的所述第二部分包括所述第二子集的表示。
152.一种计算机系统，包括：
显示设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求132至147中任一项所述的方法的指令。
153.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求132至147中任一项所述的方法。
154.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求132至147中任一项所述的方法显示的用户界面。
155.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行根据权利要求132至147中任一项所述的方法的装置。
156.一种在包括显示设备和一个或多个相机的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求132至147中任一项所述的方法的装置。
157.一种方法，包括：
在具有显示设备的计算机系统处：
显示环境的示意表示的第一部分，其中所述示意表示的所述第一部分包括：
所述环境中的第一特征的第一表示；和
第一度量的表示，所述第一度量的所述表示对应于所述第一特征并且在所述环境的所述示意表示的所述第一部分中的第一位置处显示；
接收对应于显示所述环境的所述示意表示的第二部分的请求的第一输入；以及
响应于接收到所述第一输入：
显示所述环境的所述示意表示的所述第二部分；以及
根据确定在所述环境的所述示意表示的所述第二部分中显示所述第一特征的所述第一表示的一部分并且所述环境的所述示意表示的所述第二部分不包括所述第一位置，在所述环境的所述示意表示的所述第二部分中的第二位置处显示所述第一度量的所述表示。
158.根据权利要求157所述的方法，其中所述环境的所述示意表示是物理环境的正交视图，并且所述正交视图基于一个或多个相机的视野的表示来生成，并且包括所述物理环境的一个或多个主要特征的表示。
159.根据权利要求157至158中任一项所述的方法，其中：
所述示意表示的所述第一部分还包括：
所述环境中的第二特征的第二表示；和
第二度量的表示，所述第二度量的所述表示对应于所述第二特征并且在所述环境的所述示意表示的所述第一部分中的第三位置处显示。
160.根据权利要求159所述的方法，包括响应于接收到所述第一输入：
根据确定在所述环境的所述示意表示的所述第二部分中显示所述第二特征的所述第二表示的一部分并且所述环境的所述示意表示的所述第二部分包括所述第三位置，在所述环境的所述示意表示的所述第二部分中的所述第三位置处显示所述第二度量的所述表示。
161.根据权利要求159所述的方法，包括响应于接收到所述第一输入：
根据确定在所述环境的所述示意表示的所述第二部分中显示所述第二特征的所述第二表示的一部分并且所述环境的所述示意表示的所述第二部分不包括所述第三位置，在所述环境的所述示意表示的所述第二部分中的第四位置处显示所述第二度量的所述表示。
162.根据权利要求161所述的方法，其中：
所述示意表示的所述第一部分还包括：
所述环境中的第三特征的第三表示；和
第三度量的表示，所述第三度量的所述表示对应于所述第三特征并且在所述环境的所述示意表示的所述第一部分中的第五位置处显示；并且
所述方法包括：
根据确定在所述环境的所述示意表示的所述第二部分中显示所述第三特征的所述第三表示的一部分并且所述环境的所述示意表示的所述第二部分包括所述第五位置，在所述环境的所述示意表示的所述第二部分中的所述第五位置处显示所述第三度量的所述表示。
163.根据权利要求157至162中任一项所述的方法，其中：
以第一比例显示所述示意表示的所述第一部分；
在所述示意表示的所述第一部分中的所述第一位置处显示的所述第一度量的所述表示包括以第一文本尺寸显示的文本；
所述第一输入包括对应于改变所述示意表示的比例的请求的缩放输入；以及
响应于接收到所述第一输入：
以不同于所述第一比例的第二比例显示所述示意表示的所述第二部分；以及
在所述示意表示的所述第二部分中的所述第二位置处显示的所述第一度量的所述表示包括以所述第一文本尺寸显示的所述文本。
164.根据权利要求157至163中任一项所述的方法，其中：
所述示意表示的所述第一部分以第一比例显示并且包括以对应于所述第一比例的以第一线条粗度显示的一个或多个线条；
所述第一输入包括对应于改变所述示意表示的比例的请求的缩放输入；以及
响应于接收到所述第一输入：
以不同于所述第一比例的第二比例显示所述示意表示的所述第二部分；
根据确定对应于所述第二比例的第二线条粗度超过阈值线条粗度，以所述阈值线条粗度显示所述示意表示的所述第二部分中的一个或多个线条；以及
根据确定所述第二线条粗度不超过所述阈值线条粗度，以所述第二线条粗度显示所述示意表示的所述第二部分中的所述一个或多个线条。
165.根据权利要求157至164中任一项所述的方法，其中：
以一组预定义绘图比例中的第一绘图比例显示所述示意表示的所述第一部分；
所述第一输入包括对应于改变所述示意表示的比例的请求的缩放输入；并且
所述方法包括：
响应于接收到所述第一输入：
根据确定所述缩放输入对应于将所述示意表示的所述比例改变为所述一组预定义绘图比例中的第二绘图比例的阈值内的相应比例的请求，以所述第二绘图比例显示所述示意表示的所述第二部分。
166.根据权利要求157至165中任一项所述的方法，包括在所述示意表示的相应部分中显示所述环境中的相应特征的表示，其中所述相应特征的所述表示的视觉特性具有第一值，所述第一值对应于所述相应特征的特性的第一值，并且所述方法包括：
接收对应于选择所述相应特征的所述表示的输入；以及
响应于接收到对应于选择所述相应特征的所述表示的所述输入，显示具有所述视觉特性的所述相应特征的所述表示，所述视觉特性具有不同于所述第一值的第二值，其中所述相应特征的所述表示的所述视觉特性的所述第二值对应于所述相应特征的所述特性的第二值。
167.根据权利要求157至166中任一项所述的方法，其中所述示意表示包括描述所述示意表示的文本标签，并且所述方法包括显示覆盖在所述示意表示的显示部分上的所述文本标签，而不考虑所述示意表示的所述显示部分是否包括所述示意表示中用于显示所述文本标签的默认位置。
168.根据权利要求157至167中任一项所述的方法，其中以第一绘图风格显示所述环境的所述示意表示，所述第一绘图风格是机械绘图风格，并且所述方法包括：
接收对应于以第二绘图风格显示所述示意表示的请求的输入，所述第二绘图风格是手绘风格；以及
响应于接收到对应于以所述第二绘图风格显示所述示意表示的所述请求的所述输入，以所述第二绘图风格显示所述示意表示。
169.根据权利要求157至168中任一项所述的方法，其中启用显示包括所述第一度量的第一组度量的表示，并且未启用显示第二组度量的表示，并且所述方法包括：
接收对应于启用显示所述第二组度量的表示的请求的输入；以及
响应于接收到对应于显示所述第二组度量的表示的所述请求的所述输入，对于所述第二组度量中的每个度量显示所述相应度量的表示。
170.根据权利要求157至169中任一项所述的方法，其中所述示意表示的相应显示部分包括所述环境中的拐角的表示，并且所述方法包括：
根据确定所述拐角形成直角，放弃显示所述拐角的角度度量；以及
根据确定所述拐角不形成直角，显示所述拐角的角度度量。
171.根据权利要求157至170中任一项所述的方法，其中所述环境包括一件或多件家具，并且所述方法包括：
接收对应于切换显示所述环境中的家具表示的请求的输入；以及
响应于接收到对应于切换显示所述环境中的家具表示的所述请求的所述输入：
根据确定在所述示意表示中显示所述一件或多件家具的表示，停止在所述示意表示中显示所述一件或多件家具的所述表示；以及
根据确定在所述示意表示中未显示所述一件或多件家具的所述表示，在所述示意表示中显示所述一件或多件家具的所述表示。
172.一种计算机系统，包括：
显示设备；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
显示环境的示意表示的第一部分，其中所述示意表示的所述第一部分包括：
所述环境中的第一特征的第一表示；和
第一度量的表示，所述第一度量的所述表示对应于所述第一特征并且在所述环境的所述示意表示的所述第一部分中的第一位置处显示；
接收对应于显示所述环境的所述示意表示的第二部分的请求的第一输入；以及
响应于接收到所述第一输入：
显示所述环境的所述示意表示的所述第二部分；以及
根据确定在所述环境的所述示意表示的所述第二部分中显示所述第一特征的所述第一表示的一部分并且所述环境的所述示意表示的所述第二部分不包括所述第一位置，
在所述环境的所述示意表示的所述第二部分中的第二位置处显示所述第一度量的所述表示。
173.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备的计算机系统执行时，使所述计算机系统执行以下操作：
显示环境的示意表示的第一部分，其中所述示意表示的所述第一部分包括：
所述环境中的第一特征的第一表示；和
第一度量的表示，所述第一度量的所述表示对应于所述第一特征并且在所述环境的所述示意表示的所述第一部分中的第一位置处显示；
接收对应于显示所述环境的所述示意表示的第二部分的请求的第一输入；以及
响应于接收到所述第一输入：
显示所述环境的所述示意表示的所述第二部分；以及
根据确定在所述环境的所述示意表示的所述第二部分中显示所述第一特征的所述第一表示的一部分并且所述环境的所述示意表示的所述第二部分不包括所述第一位置，在所述环境的所述示意表示的所述第二部分中的第二位置处显示所述第一度量的所述表示。
174.一种计算机系统，包括：
显示设备；
一个或多个相机；和
用于执行以下操作的装置：显示环境的示意表示的第一部分，其中所述示意表示的所述第一部分包括：
所述环境中的第一特征的第一表示；和
第一度量的表示，所述第一度量的所述表示对应于所述第一特征并且在所述环境的所述示意表示的所述第一部分中的第一位置处显示；
用于执行以下操作的装置：接收对应于显示所述环境的所述示意表示的第二部分的请求的第一输入；以及
响应于接收到所述第一输入而启用的装置，包括：
用于执行以下操作的装置：显示所述环境的所述示意表示的所述第二部分；和
启用以执行以下操作的装置：根据确定在所述环境的所述示意表示的所述第二部分中显示所述第一特征的所述第一表示的一部分并且所述环境的所述示意表示的所述第二部分不包括所述第一位置，在所述环境的所述示意表示的所述第二部分中的第二位置处显示所述第一度量的所述表示。
175.一种在包括显示设备的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：显示环境的示意表示的第一部分，其中所述示意表示的所述第一部分包括：
所述环境中的第一特征的第一表示；和
第一度量的表示，所述第一度量的所述表示对应于所述第一特征并且在所述环境的所述示意表示的所述第一部分中的第一位置处显示；
用于执行以下操作的装置：接收对应于显示所述环境的所述示意表示的第二部分的请求的第一输入；和
响应于接收到所述第一输入而启用的装置，包括：
用于执行以下操作的装置：显示所述环境的所述示意表示的所述第二部分；和
启用以执行以下操作的装置：根据确定在所述环境的所述示意表示的所述第二部分中显示所述第一特征的所述第一表示的一部分并且所述环境的所述示意表示的所述第二部分不包括所述第一位置，在所述环境的所述示意表示的所述第二部分中的第二位置处显示所述第一度量的所述表示。
176.一种计算机系统，包括：
显示设备；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求157至171中任一项所述的方法的指令。
177.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示设备的计算机系统执行时，使所述计算机系统执行根据权利要求157至171中任一项所述的方法。
178.一种计算机系统上的图形用户界面，所述计算机系统包括显示设备、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求157至171中任一项所述的方法显示的用户界面。
179.一种计算机系统，包括：
显示设备；和
用于执行根据权利要求157至171中任一项所述的方法的装置。
180.一种在包括显示设备的计算机系统中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求157至171中任一项所述的方法的装置。
CN202180012443.0A 2020-02-03 2021-01-28 用于对环境进行注释、测量和建模的系统、方法和图形用户界面 Pending CN115039058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211458906.9A CN115756167A (zh) 2020-02-03 2021-01-28 对环境进行注释、测量和建模的系统、方法和用户界面

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US202062969647P 2020-02-03 2020-02-03
US62/969,647 2020-02-03
US17/018,980 2020-09-11
US17/018,994 2020-09-11
US17/018,958 US11080879B1 (en) 2020-02-03 2020-09-11 Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US17/018,958 2020-09-11
US17/018,994 US11003308B1 (en) 2020-02-03 2020-09-11 Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US17/018,980 US11138771B2 (en) 2020-02-03 2020-09-11 Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
DKPA202070604 2020-09-18
DKPA202070604A DK202070604A1 (en) 2020-02-03 2020-09-18 Systems, Methods, and Graphical User Interfaces for Annotating, Measuring, and Modeling Environments
DKPA202070603A DK202070603A1 (en) 2020-02-03 2020-09-18 Systems, Methods, and Graphical User Interfaces for Annotating, Measuring, and Modeling Environments
DKPA202070603 2020-09-18
DKPA202070602 2020-09-18
DKPA202070602A DK202070602A1 (en) 2020-02-03 2020-09-18 Systems, Methods, and Graphical User Interfaces for Annotating, Measuring, and Modeling Environments
PCT/US2021/015556 WO2021158427A1 (en) 2020-02-03 2021-01-28 Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211458906.9A Division CN115756167A (zh) 2020-02-03 2021-01-28 对环境进行注释、测量和建模的系统、方法和用户界面

Publications (1)

Publication Number Publication Date
CN115039058A true CN115039058A (zh) 2022-09-09

Family

ID=77200447

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180012443.0A Pending CN115039058A (zh) 2020-02-03 2021-01-28 用于对环境进行注释、测量和建模的系统、方法和图形用户界面
CN202211458906.9A Pending CN115756167A (zh) 2020-02-03 2021-01-28 对环境进行注释、测量和建模的系统、方法和用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211458906.9A Pending CN115756167A (zh) 2020-02-03 2021-01-28 对环境进行注释、测量和建模的系统、方法和用户界面

Country Status (3)

Country Link
EP (2) EP4254147A3 (zh)
CN (2) CN115039058A (zh)
WO (1) WO2021158427A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468860A (zh) * 2023-06-20 2023-07-21 子亥科技(成都)有限公司 一种三维模型文件生成方法、装置、设备及存储介质
CN117130472A (zh) * 2023-04-17 2023-11-28 荣耀终端有限公司 虚拟空间操作指引显示方法、移动设备及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
WO2023220071A2 (en) * 2022-05-10 2023-11-16 Apple Inc. Systems, methods, and graphical user interfaces for scanning and modeling environments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5018980B2 (ja) * 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
CN105554247B (zh) * 2015-12-07 2019-05-14 魅族科技（中国）有限公司 测量方法、测量系统和终端
CN111899003A (zh) * 2016-12-13 2020-11-06 创新先进技术有限公司 基于增强现实的虚拟对象分配方法及装置
US10304254B2 (en) * 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
CA3125730C (en) * 2018-01-05 2023-10-24 Aquifi, Inc. Systems and methods for volumetric sizing
EP3901741B1 (en) * 2018-05-07 2024-02-21 Apple Inc. Devices and methods for measuring using augmented reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130472A (zh) * 2023-04-17 2023-11-28 荣耀终端有限公司 虚拟空间操作指引显示方法、移动设备及系统
CN116468860A (zh) * 2023-06-20 2023-07-21 子亥科技(成都)有限公司 一种三维模型文件生成方法、装置、设备及存储介质
CN116468860B (zh) * 2023-06-20 2023-08-11 子亥科技(成都)有限公司 一种三维模型文件生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4254147A2 (en) 2023-10-04
EP4254147A3 (en) 2023-12-06
WO2021158427A1 (en) 2021-08-12
CN115756167A (zh) 2023-03-07
EP4100817A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
KR102425958B1 (ko) 환경을 어노테이션, 측정, 및 모델링하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US11227446B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
JP2023159124A (ja) 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
CN115543144A (zh) 增强现实环境中显示和操纵虚拟对象的系统、方法和界面
EP4254147A2 (en) Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination