CN114327096A - 用于在3d情景中显示对象的设备、方法和图形用户界面 - Google Patents

用于在3d情景中显示对象的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN114327096A
CN114327096A CN202111476740.9A CN202111476740A CN114327096A CN 114327096 A CN114327096 A CN 114327096A CN 202111476740 A CN202111476740 A CN 202111476740A CN 114327096 A CN114327096 A CN 114327096A
Authority
CN
China
Prior art keywords
input
virtual object
virtual objects
user interface
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111476740.9A
Other languages
English (en)
Inventor
N·V·斯卡佩尔
G·耶基斯
G·R·保罗
R·R·德林格
D·路易
X·J·余
K·E·费希尔
M·A·梅森
H·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN114327096A publication Critical patent/CN114327096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种用于在3D情景中显示对象的设备、方法和图形用户界面。电子设备显示包括虚拟对象的环境，该虚拟对象与基于满足第一组标准来触发的第一动作相关联。响应于在显示该环境时检测到的第一输入：根据确定该第一输入满足该第一组标准来执行该第一动作，并且根据确定该第一输入不满足该第一组标准而是满足第二组标准，不执行该第一动作并且转而显示一个或多个输入的第一视觉指示，该一个或多个输入如果被执行会使得该第一组标准被满足。

Description

用于在3D情景中显示对象的设备、方法和图形用户界面
本申请是申请号为202080034059.6，申请日为2020年4月1日，发明 名称为“用于在3D情景中显示对象的设备、方法和图形用户界面”的发明 专利申请的分案申请。
技术领域
本发明整体涉及显示虚拟对象的电子设备，该电子设备包括但不限于 在各种情景中显示虚拟对象的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实 环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其 他电子计算设备的输入设备诸如触敏表面用于与虚拟/增强现实环境进行交 互。示例触敏表面包括触控板、触敏遥控器和触摸屏显示器。此类表面用 于操纵显示器上的用户界面和其中的对象。示例性用户界面对象包括数字 图像、视频、文本、图标和控制元件(诸如，按钮)以及其他图形。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实 环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效 且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、 需要一系列输入来生成适用于在增强现实环境中显示的虚拟对象的系统以 及需要缺少操纵虚拟对象组的处理的系统很繁琐，会给用户造成显著认知 负担，并且有损于虚拟/增强现实环境的体验。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别 重要的。
发明内容
因此，需要具有用于与虚拟对象进行交互的改进的方法和界面的计算 机系统。此类方法和界面任选地补充或替换用于与虚拟对象进行交互的常 规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质， 并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省 用电并且增加两次电池充电之间的时间。
本公开的计算机系统减少或消除了以上缺陷以及与用于与虚拟对象进 行交互的界面相关联的其他问题(例如，用于增强现实(AR)的用户界面 和相关的非AR界面)。在一些实施方案中，该计算机系统包括台式计算机。 在一些实施方案中，该计算机系统是便携式的(例如，笔记本电脑、平板 电脑或手持设备)。在一些实施方案中，该计算机系统包括个人电子设备 (例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该计算机系 统具有触控板(和/或与触控板通信)。在一些实施方案中，该计算机系统 具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与 触敏显示器通信)。在一些实施方案中，该计算机系统具有图形用户界面 (GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用 于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触 笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方 案中，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、 电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健 身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/ 或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置 用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机 程序产品中。
根据一些实施方案，在包括显示生成部件和一个或多个输入设备的电 子设备处执行一种方法。该方法包括经由显示生成部件来显示包括虚拟对 象的环境的至少一部分，该虚拟对象与基于满足第一组标准来触发的第一 动作相关联。该方法还包括在由显示生成部件显示环境的该部分时检测第 一输入。该方法还包括响应于检测到第一输入：根据确定第一输入满足第 一组标准，执行第一动作；以及根据确定第一输入不满足第一组标准而是 满足第二组标准，放弃执行第一动作并且转而显示一个或多个输入的第一 视觉指示，该一个或多个输入在被执行时会使得第一组标准被满足。
根据一些实施方案，在包括显示生成部件、一个或多个输入设备和一 个或多个相机的电子设备处执行方法。该方法包括由显示生成部件显示： 第一用户界面区域、第一用户界面区域中的第一媒体项的第一表示以及用 于显示共享用户界面的第一用户界面对象。该方法还包括在显示第一用户 界面区域时检测与共享用户界面对象相对应的第一输入。该方法还包括响 应于检测到与第一用户界面对象相对应的第一输入，显示包括第二用户界 面对象的共享用户界面以便发起用于在增强现实环境中显示第一媒体项的 第二表示的过程。该方法还包括在显示共享用户界面时，检测包括第二用 户界面对象的选择在内的一个或多个输入的序列。该方法还包括响应于检 测到包括第二用户界面对象的选择在内的一个或多个输入的序列，在包括 该一个或多个相机的视场的至少一部分的内容的第二用户界面中显示第一 媒体项的第二表示。
根据一些实施方案，在包括显示生成部件、一个或多个输入设备和一 个或多个相机的电子设备处执行方法。该方法包括由显示生成部件显示多 个虚拟对象。该方法还包括在显示该多个虚拟对象时检测指向该多个虚拟 对象中的相应虚拟对象的第一操纵输入。该方法还包括响应于检测到指向 该多个虚拟对象中的相应虚拟对象的第一操纵输入：根据确定该多个虚拟 对象与该一个或多个相机的视场的至少一部分一起显示，基于第一操纵输 入来改变相应虚拟对象的显示属性；以及根据确定该多个虚拟对象在不包 括该一个或多个相机的视场的用户界面中显示，基于第一操纵输入来改变 该多个虚拟对象的显示属性。
根据一些实施方案，在包括显示生成部件、一个或多个输入设备和一 个或多个相机的电子设备处执行方法。该方法包括由显示生成部件显示媒 体项的表示。该方法还包括检测与在增强现实环境中显示媒体项的请求相 对应的输入。该方法还包括响应于检测到与在增强现实环境中显示媒体项 的请求相对应的输入：根据确定媒体项具有不满足在增强现实环境中显示 的兼容性标准的属性，显示用于改变媒体项的属性的提示；以及根据确定 媒体项满足兼容性标准，将与媒体项相对应的虚拟对象与该一个或多个相 机的视场的至少一部分的内容一起显示。
根据一些实施方案，在包括显示生成部件和一个或多个输入设备的电 子设备处执行一种方法。该方法包括经由显示生成部件来显示具有内容的 第一表示的第一用户界面。该方法还包括在显示具有该内容的第一表示的 第一用户界面时，经由该一个或多个输入设备来接收显示与该内容相对应 的虚拟模型的请求。该方法还包括响应于接收到显示与该内容相对应的虚 拟模型的请求：根据确定第一用户界面被配置为执行与该内容相关联的操 作，使该内容的虚拟模型和用于执行与该内容相关联的操作的可选择用户 界面对象同时显示；以及根据确定第一用户界面不被配置为执行与该内容 相关联的操作，显示该内容的虚拟模型而不显示用于执行与该内容相关联 的操作的可选择用户界面对象。
根据一些实施方案，电子设备包括显示生成部件、一个或多个输入设 备、任选一个或多个相机、一个或多个处理器以及存储一个或多个程序的 存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或 多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的 指令。根据一些实施方案，计算机可读存储介质具有存储在其中的指令， 当这些指令由具有显示生成部件、一个或多个输入设备和任选一个或多个相机的电子设备执行时，使得设备执行或导致执行本文所述的方法中的任 一种方法的操作。根据一些实施方案，在具有显示生成部件、一个或多个 输入设备、任选一个或多个相机、存储器和用于执行存储在存储器中的一 个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本 文所述方法中的任一种方法中显示的元素中的一个或多个元素，这些元素 响应于输入而被更新，如在本文所述方法中的任一种方法中所述。根据一些实施方案，电子设备包括：显示生成部件、一个或多个输入设备和任选 一个或多个相机；以及用于执行或导致执行本文所述的方法中的任一种方 法的操作的装置。根据一些实施方案，在具有显示生成部件、一个或多个 输入设备和任选一个或多个相机的电子设备中使用的信息处理装置包括用 于执行或导致执行本文所述的方法中的任一种方法的操作的装置。
因此，为具有显示生成部件、一个或多个输入设备和任选一个或多个 相机的电子设备提供了用于在各种情景中显示虚拟对象的改进的方法和界 面，从而提高了有效性、效率以及用户对此类设备的满意度。此类方法和 界面可补充或替换用于在各种情景中显示虚拟对象的常规方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体 实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备 的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图1C是示出了根据一些实施方案的触觉输出模块的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设 备的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单 的示例性用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的 多功能设备的示例性用户界面。
图4C至图4E示出了根据一些实施方案的动态强度阈值的示例。
图4F至图4K示出了根据一些实施方案的一组样本触觉输出模式。
图5A至图5K、图5L-1、图5L-2、图5M-1、图5M-2、图5N-1、图 5N-2、图5O-1、图5O-2和图5P至图5AK示出了根据一些实施方案的用于 显示一个或多个输入的视觉指示的示例性用户界面，该一个或多个输入在 被执行时会使得执行动作的标准被满足。
图6A至图6AI示出了根据一些实施方案的用于在包括一个或多个相机 的视场的至少一部分的内容的用户界面中显示媒体项的示例性用户界面。
图7A至图7AQ示出了根据一些实施方案的用于对指向多个所显示的 虚拟对象中的相应虚拟对象的输入作出响应的示例性用户界面。
图8A至图8K示出了根据一些实施方案的用于显示改变不满足在增强 现实环境中显示的兼容性标准的媒体项的属性的提示的示例性用户界面。
图9A至图9C是用于显示一个或多个输入的视觉指示的过程的流程图， 该一个或多个输入在被执行时会使得执行动作的标准被满足。
图10A至图10C是根据一些实施方案的用于在包括一个或多个相机的 视场的至少一部分的内容的用户界面中显示媒体项的过程的流程图。
图11A至图11D是根据一些实施方案的用于对指向多个所显示的虚拟 对象中的相应虚拟对象的输入作出响应的过程的流程图。
图12A至图12B是根据一些实施方案的用于显示改变不满足在增强现 实环境中显示的兼容性标准的媒体项的属性的提示的过程的流程图。
图13A至图13J示出了根据一些实施方案的用于使内容的虚拟模型和 用于执行与该内容相关联的操作的可选择用户界面对象同时显示的示例性 用户界面。
图14A至图14B是根据一些实施方案的用于使内容的虚拟模型和用于 执行与该内容相关联的操作的可选择用户界面对象同时显示的过程的流程 图。
具体实施方式
虚拟对象是虚拟环境中的三维对象的图形表示。与虚拟对象进行交互 的常规方法通常缺乏足够的反馈，无法向用户指示实现预期结果(例如， 执行与虚拟对象相关联的动作)所需的输入。此外，常规方法需要一系列 繁琐的输入(用于打开转换应用程序、将经转换的项导入在增强现实环境 中查看经转换的项的应用程序等的输入)来使媒体项适于在增强现实环境 (例如，其中物理世界的视图使用向用户提供在物理世界中不可用的附加信息的补充信息来增强的环境)中查看。本文的实施方案为用户提供了在 各种情景中显示虚拟对象的直观方式。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进 行的用户界面交互。例如，它们使得以下操作更容易：在增强现实环境中 显示虚拟对象，以及响应于不同的输入，调节在增强现实环境中显示的虚 拟对象的外观。
下面，图1A至图1C、图2和图3提供对示例性设备的描述。图4A至 图4B、图5A至图5AK、图6A至图6AI、图7A至图7AQ、图8A至图8K 以及图13A至图13J示出了用于在各种情景中显示虚拟对象的示例性用户界 面。图9A至图9C示出了显示一个或多个输入的视觉指示的方法的流程图， 该一个或多个输入在被执行时会使得执行动作的标准被满足。图10A至图10C示出了根据一些实施方案的在包括一个或多个相机的视场的至少一部分 的内容的用户界面中显示媒体项的方法的流程图。图11A至图11D示出了 根据一些实施方案的对指向多个所显示的虚拟对象中的相应虚拟对象的输 入作出响应的方法的流程图。图12A至图12B示出了根据一些实施方案的 显示用于改变不满足在增强现实环境中显示的兼容性标准的媒体项的属性 的提示的方法的流程图。图5A至图5AK、图6A至图6AI、图7A至图7AQ、 图8A至图8K和图13A至图13J中的用户界面用于示出图9A至图9C、图 10A至图10C、图11A至图11D、图12A至图12B和图14A至图14B中的 过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下 面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的 充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述 的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没 有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必 要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本 文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语 只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二 接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述 的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接 触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特 定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的 描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在 也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所 使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个 项目的任何和全部可能的组合。还将理解的是，术语“包括” (“includes”、“including”、“comprises”和/或“comprising”)在本 说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或 部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、 元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是 “当……时”后“在……时”或“响应于确定”或“响应于检测”。类似 地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或 事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或 “在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或 事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过 程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/ 或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备 的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的
Figure BDA0003393709210000081
和
Figure BDA0003393709210000082
设备。任选地使用其他便携式电子设备，诸如 具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型计算机或平板 计算机。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触控板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然 而，应当理解，该电子设备任选地包括一个或多个其他物理用户接口设备， 诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用，诸如以下应用中的一个或多个应用：记笔 记应用、绘图应用、演示应用、文字处理应用、网站创建应用、盘编辑应 用、电子表格应用、游戏应用、电话应用、视频会议应用、电子邮件应用、 即时消息应用、健身支持应用、照片管理应用、数字相机应用、数字摄像 机应用、Web浏览应用、数字音乐播放器应用序、和/或数字视频播放器应 用。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界 面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上 的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程 序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选 地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是 示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100 的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时 被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个 计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU) 120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风 113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端 口124。设备100任选地包括一个或多个光学传感器164。设备100任选地 包括用于检测设备100上的接触的强度的一个或多个强度传感器165(例如， 触敏表面，诸如设备100的触敏显示系统112)。设备100任选地包括用于 在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如，在触敏表面(诸如设备100的触敏显示器系统112或设备300的触控板355)上 生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进 行通信。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备 100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多 个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种 部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理 电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易 失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非 易失性固态存储器设备。设备100的其他部件(诸如CPU 120和外围设备 接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接 到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中 所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、CPU 120和存储器控制器122 任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中，它们任 选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电 路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁 信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执 行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多 个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、 用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与 网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网 (WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议 和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接 入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC- HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码 分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/ 或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议 (例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息 (例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩 展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息 服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何 适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音 频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换 为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类 可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音 频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口 118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦 插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除音频输 入/输出外围设备之间的接口，该外围设备为诸如仅输出的耳机或者具有输 出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统 112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任 选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、 触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器 160。一个或多个输入控制器160从其他输入或控制设备116接收电信号/将 电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物 理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、 点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦 接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红 外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮 (例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量 控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2 中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显 示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏 显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选 地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。 在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。 如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对 象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图 标、可选择菜单项、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输 入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器 156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示 器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触 转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多 个软按键、图标、网页或图像)的交互。在一些实施方案中，在触敏显示 器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发 光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方 案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现 在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近 传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件 来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容 性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中，使用 投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0003393709210000111
iPod
Figure BDA0003393709210000112
和
Figure BDA0003393709210000113
中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实 施方案中，触摸屏视频分辨率超过400dpi(例如，为500dpi、800dpi或更 大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触 敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的 接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能 不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输 入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活 或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设 备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触控板任选 地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表 面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任 选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、 再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符 (例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分 配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O 子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学 传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS) 光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而 投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做 相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。 在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系 统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像 采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上， 从而获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其 他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了 与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个 或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传 感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、 或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的 传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如， 压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度 传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些 实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前 部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外 围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子 系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置 于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用 触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了 与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些 实施方案中，触觉输出发生器167包括一个或多个电声设备诸如扬声器或其 他音频部件；以及/或者用于将能量转换成线性运动的机电设备诸如马达、 螺线管、电活性聚合器、压电致动器、静电致动器，或其他触觉输出生成 部件(例如，用于将电信号转换成设备上的触觉输出的部件)。触觉输出 发生器167从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上 生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一 个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻 近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地 (例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生 成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设 备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个加速度计168。图1A示出与外围设 备接口118耦接的加速度计168。另选地，加速度计168任选地与I/O子系 统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多 个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视 图来显示信息。设备100任选地除加速度计168之外还包括磁力仪(未示 出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出)，以 用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储于存储器102中的软件组件包括操作系统126、 通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块 (或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指 令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或 指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图在1A和图3中所示的。设备/全局内部状态157包括以下中的 一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当 前是活动的；显示状态，其指示什么应用程序、视图或其他信息占据触敏 显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他 输入或控制设备116获得的信息；以及关于设备的位置和/或姿态的位置和/ 或方位信息。
操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、 WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般 系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件 组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通 信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的 各种软件组件。外部端口124(例如，通用串行总线(USB)、火线等)适于 直接耦接到其他设备，或间接地通过网络(例如，互联网、无线LAN等) 进行耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino, California)的一些
Figure BDA0003393709210000141
iPod
Figure BDA0003393709210000142
和
Figure BDA0003393709210000143
设备中所使用的30针 连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方 案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0003393709210000144
iPod
Figure BDA0003393709210000145
和
Figure BDA0003393709210000146
设备中所使用的Lightning连接器相同或类似和/或兼容的 Lightning连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制 器156)和其他触敏设备(例如，触控板或物理点击轮)的接触。接触/运 动模块130包括各种软件组件以用于执行与(例如通过手指或触笔)接触检 测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事 件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的 替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检 测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手 指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。 确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和 方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列 接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触 笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实 施方案中，接触/运动模块130和显示控制器156检测触控板上的接触。
接触/运动模块130任选地检测由用户进行的手势输入。触敏表面上的 不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时 和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检 测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位 置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬 离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件， 然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。 类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、 拖动和其他手势。
在一些实施方案中，检测手指轻击手势取决于检测手指按下事件与手 指抬起事件之间的时间长度，但是与检测手指按下事件与手指抬起事件之 间的手指接触强度无关。在一些实施方案中，根据确定手指按下事件与手 指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、 0.4或0.5秒)，检测轻击手势，而不管轻击期间手指接触的强度是否达到 给定的强度阈值(大于标称接触检测强度阈值)，例如轻按压或深按压强度阈值。因此，手指轻击手势可以满足特定输入标准，该特定输入标准不 要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见， 轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指 按下事件，低于该标称接触检测强度阈值时，不会检测到接触。类似的分 析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面 上方悬停的手指或触笔接触的情况下，标称接触检测强度阈值任选地不与 手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如，可基于满足与 手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到 强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、展开手势 和/或长按压手势。例如，基于一个或多个接触的移动的量来检测轻扫手势； 缩放手势基于两个或更多个接触朝彼此的移动来检测；扩放手势基于两个 或更多个接触背离彼此的移动来检测；长按压手势基于触敏表面上具有少 于阈值移动量的接触的持续时间来检测。因此，关于特定手势识别标准不 要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着 特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足， 并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况 下被满足。在一些实施方案中，基于确定在预定义时间段内检测到手指按 下事件和手指抬起事件来检测轻击手势，而不考虑在预定义时间段期间接 触是高于还是低于相应的强度阈值，并且基于确定接触移动大于预定义量 值来检测轻扫手势，即使在接触移动结束时接触高于相应的强度阈值也是 如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施 中(例如，当接触的强度高于强度阈值时，设备更快地检测到长按压，或 者当接触的强度更高时，设备会延迟对轻击输入的检测)，只要在接触未 达到特定强度阈值的情况下可以满足识别手势的标准，则对这些手势的检 测也不会要求接触达到特定强度阈值(例如，即使识别手势所需的时间量 发生变化)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值以各种不同 组合进行组合，以便创建启发式算法来区分针对相同输入元素或区域的两 个或更多个不同手势，使得与相同输入元素的多个不同交互能够提供更丰 富的用户交互和响应的集合。关于一组特定手势识别标准不要求一个或多 个接触的强度满足相应的强度阈值以便满足特定手势识别标准的陈述不排 除对其他强度相关手势识别标准进行同时评估，以识别具有当手势包括具 有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如，在 某些情况下，第一手势的第一手势识别标准(其不要求接触的强度满足相 应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准 (其取决于达到相应强度阈值的接触)竞争。在此类竞争中，如果第二手 势的第二手势识别标准首先得到满足，则手势任选地不被识别为满足第一 手势的第一手势识别标准。例如，如果在接触移动预定义的移动量之前接触达到相应的强度阈值，则检测到深按压手势而不是轻扫手势。相反，如 果在接触达到相应的强度阈值之前接触移动预定义的移动量，则检测到轻 扫手势而不是深按压手势。即使在此类情况下，第一手势的第一手势识别 标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准， 因为如果接触保持低于相应的强度阈值直到手势结束(例如，具有不会增 大到高于相应强度阈值的强度的接触的轻扫手势)，手势将被第一手势识别标准识别为轻扫手势。因此，不要求接触的强度满足相应的强度阈值以 满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下，忽略相 对于强度阈值的接触强度(例如，对于轻击手势而言)和/或(B)在某些情况 下，如果在特定手势识别标准识别与输入对应的手势之前，一组竞争的强 度相关手势识别标准(例如，对于深按压手势而言)将输入识别为与强度 相关手势对应，则不能满足特定手势识别标准(例如，对于长按压手势而 言)，从这个意义上来讲，仍然取决于相对于强度阈值的接触强度(例如， 对于与深按压手势竞争识别的长按压手势而言)。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显 示图形的各种已知软件组件，包括用于改变所显示的图形的视觉冲击(例 如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所 用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、 网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每 个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指 定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据 和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器 156。
触觉反馈模块133包括用于生成指令(例如，由触感反馈控制器161使 用的指令)的各种软件组件，以响应于用户与设备100的交互而使用触觉输 出发生器167在设备100上的一个或多个位置处生成触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用 程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本 输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供该信息以在各种应用程序中使用 (例如，提供至电话138以用于基于位置的拨号；提供至相机143作为图片 /视频元数据；以及提供至提供基于位置的服务的应用程序诸如天气桌面小 程序、当地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天 气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序 149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获 取的其他桌面小程序、以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·任选地由视频播放器模块和音乐播放器模块构成的视频和音乐播放 器模块152；
·备忘录模块153；
·地图模块154；以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处 理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支 持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块 132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯 录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块 137的应用程序内部状态192中)，包括：添加姓名到通讯录；从通讯录删 除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联； 将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件 地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消 息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示 器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模 块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号 码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入 的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或 挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任 一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示 系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制 器158、接触模块130、图形模块132、文本输入模块134、联系人列表137 和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止 用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块 130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用 于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结 合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具 有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块 130、图形模块132和文本输入模块134，即时消息模块141包括用于进行 以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入 的字符、传输相应即时消息(例如，使用针对基于电话的即时消息的短消 息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时 消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时 消息，以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收 的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/ 或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息” 是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联 网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块 130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及 视频和音乐播放器模块152，健身支持模块142包括可执行指令用于创建健 身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能 手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的 传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器 164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块 144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或 视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频 的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块 132、文本输入模块134、和相机模块143，图像管理模块144包括用于排 列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例 如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行 指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模 块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户 指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以 及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模 块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏 览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和 存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可 执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模 块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序 模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程 序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程 序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如， 用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括 HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文 件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和 JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模 块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序 创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转 到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形 模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索 存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索 词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模 块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频 和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸 如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令， 以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上 或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实 施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标) 的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块 132和文本输入模块134，备忘录模块153包括用于根据用户指令来创建和 管理备忘录、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模 块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147， 地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与 地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴 趣点的数据；和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模 块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电 子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户 访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触敏 显示系统112上或在无线连接的或经由外部端口124连接的外部显示器上)、 发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或 多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中，使 用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的 链接。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以 及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和 其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以 独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各 种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102 任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作 唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板 作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理 输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括 在用户界面之间的导航。在一些实施方案中，触控板在被用户触摸时将设 备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜 单。在此类实施方案中，使用触控板来实现“菜单按钮”。在一些其他实 施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是 触控板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。 在一些实施方案中，存储器102(图1A中)或存储器370(图3)包括事件 分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如， 前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序 136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视 器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应 用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在 执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一 些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪 些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170 用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下 各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、 指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、 用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以 及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于 子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户 触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接 近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路 110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括 来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至 外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实 施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确 定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件 信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/ 或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提 供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视 图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也 称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的 手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应 于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检 测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入 的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触 摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。 当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命 中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数 情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中 的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确 定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一 触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图 应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173 确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识 别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图， 并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方 案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级 结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别 器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器 模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别 器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息， 该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用 程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是 独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模 块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个 或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的 用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序 视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包 括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多 个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包 (未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。 在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者： 数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170 接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、 对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地， 应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177 和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数 据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182 和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183 和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子 事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息， 诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括 子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转 到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事 件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较， 并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状 态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186 包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件 2(187-2)以及其他。在一些实施方案中，事件187中的子事件包括例如触摸 开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预 先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触 摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及 预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2) 的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定 时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的 抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关 联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事 件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用 户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户 界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事 件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面 对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程 序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程 序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试 的对象相关联的事件处理程序。
在一些实施方案中，相应事件187的定义还包括延迟动作，这些延迟 动作延迟事件信息的递送，直到已确定子事件序列确实对应于或不对应于 事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件 匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态， 在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视 图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的 基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统 应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记 和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别 器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实 施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中 的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应 事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中， 相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。 激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。 在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并 且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信 息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事 件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的 视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件 信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使 用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进 行更新，或者对视频或音乐播放器模块152中所使用的视频文件进行存储。 在一些实施方案中，对象更新器177创建并更新在应用程序136-1中使用的 对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的 位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并 且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新 器177和GUI更新器178，或具有对该数据更新器、该对象更新器和该GUI 更新器的访问权限。在一些实施方案中，数据更新器176、对象更新器177 和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个 模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适 用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所 有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下 或按住协作的鼠标移动和鼠标按钮按下；触控板上的接触移动，诸如轻击、 拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动； 生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事 件的子事件的输入。
图1C是示出了根据一些实施方案的触觉输出模块的框图。在一些实施 方案中，I/O子系统106(例如触感反馈控制器161(图1A)和/或一个或多 个其他输入控制器160(图1A))包括图1C所示的示例部件中的至少一些。 在一些实施方案中，外围设备接口118包括图1C所示的示例部件中的至少 一些。
在一些实施方案中，触觉输出模块包括触感反馈模块133。在一些实施 方案中，触感反馈模块133聚合并组合来自电子设备上软件应用的针对用户 界面反馈(例如，对与所显示用户界面对应的用户输入以及指示电子设备 的用户界面中操作的执行或事件的发生的提示和其他通知进行响应的反馈) 的触觉输出。触感反馈模块133包括波形模块123(用于提供用于生成触觉 输出的波形)、混合器125(用于混合波形，诸如不同通道中的波形)、压 缩器127(用于缩减或压缩波形的动态范围)、低通滤波器129(用于滤出 波形中的高频信号分量)和热控制器131(用于根据热条件调节波形)中的 一者或多者。在一些实施方案中，触感反馈模块133被包括在触感反馈控制 器161(图1A)中。在一些实施方案中，触感反馈模块133的单独单元(或 触感反馈模块133的单独具体实施)也被包括在音频控制器(例如音频电路 110，图1A)中并用于生成音频信号。在一些实施方案中，单个触感反馈 模块133被用于生成音频信号以及生成触觉输出的波形。
在一些实施方案中，触感反馈模块133还包括触发器模块121(例如， 确定要生成触觉输出并引发用于生成对应触觉输出的过程的软件应用、操 作系统、或其他软件模块)。在一些实施方案中，触发器模块121生成用于 引发(例如由波形模块123)生成波形的触发器信号。例如，触发器模块 121基于预先设置的定时标准来生成触发器信号。在一些实施方案中，触发 器模块121从触感反馈模块133之外接收触发器信号(例如，在一些实施方 案中，触感反馈模块133从位于触感反馈模块133之外的硬件输入处理模块 146接收触发器信号)并将触发器信号中继给触感反馈模块133内的其他部 件(例如波形模块123)或基于用户界面元素(例如，应用之内的应用图标 或示能表示)或硬件输入设备(例如主按钮或强度敏感输入界面，诸如强 度敏感触摸屏)的激活而触发操作(例如，利用触发器模块121)的软件应 用。在一些实施方案中，触发器模块121还(例如从触感反馈模块133，图 1A和图3)接收触觉反馈生成指令。在一些实施方案中，触发器模块121响 应于触感反馈模块133(或触感反馈模块133中的触发器模块121)(例如 从触感反馈模块133，图1A和图3)接收触觉反馈指令而生成触发器信号。
波形模块123(例如从触发器模块121)接收触发器信号作为输入，并 响应于接收到触发器信号而提供用于生成一个或多个触觉输出的波形(例 如，从预定义的一组被指派用于供波形模块123使用的波形中选择的波形， 诸如下文中参考图4F至图4G更详细描述的波形)。
混合器125(例如从波形模块123)接收波形作为输入，并将这些波形 混合在一起。例如，当混合器125接收两个或更多个波形(例如，第一通道 中的第一波形和第二通道中的至少部分地与第一波形重叠的第二波形)时， 混合器125输出对应于这两个或更多个波形之和的组合波形。在一些实施方 案中，混合器125还修改这两个或更多个波形中的一个或多个波形以相对于 这两个或更多个波形中的其余波形而强调特定波形(例如通过提高该特定 波形的规模和/或减小这些波形中的其他波形的规模)。在一些情况下，混 合器125选择一个或多个波形来从组合波形中移除(例如，当有来自不止三 个来源的波形已经被请求由触觉输出发生器167同时输出时，来自最老旧来 源的波形被丢弃)。
混合器127接收波形(例如来自混合器125的组合波形)作为输入，并 修改这些波形。在一些实施方案中，压缩器127缩减这些波形(例如，根据 触觉输出发生器167(图1A)或357(图3)的物理规范)，使得对应于这 些波形的触觉输出被缩减。在一些实施方案中，压缩器127诸如通过为波形 强加预定义的最大幅值来对波形进行限制。例如，压缩器127减小超过预定 义幅值阈值的波形部分的幅值，而保持不超过预定义幅值阈值的波形部分 的幅值。在一些实施方案中，压缩器127缩减波形的动态范围。在一些实施 方案中，压缩器127动态地缩减波形的动态范围，使得组合波形保持在触觉 输出发生器167的性能规范(例如力和/或可移动质块位移限制)内。
低通滤波器129接收波形(例如来自压缩器127的经压缩波形)作为输 入，并对波形进行滤波(例如平滑处理)(例如移除或减少波形中的高频 信号分量)。例如在某些情况下，压缩器127在经压缩的波形中包括妨碍触 觉输出生成和/或在根据经压缩波形生成触觉输出时超过触觉输出发生器 167的性能规范的无关信号(例如高频信号分量)。低通滤波器129减少或 移除波形中的此类无关信号。
热控制器131接收波形(例如来自低通滤波器129的经滤波波形)作为 输入，并根据设备100的热条件(例如基于在设备100内检测到的内部温 度，诸如触感反馈控制器161的温度，和/或设备100检测到的外部温度) 调节波形。例如在一些情况下，触感反馈控制器161的输出根据温度而变化(例如，响应于接收到相同波形，触感反馈控制器161在触感反馈控制器 161处于第一温度时生成第一触觉输出，而在触感反馈控制器161处于与第 一温度不同的第二温度时生成第二触觉输出)。例如，触觉输出的量值 (或幅值)可根据温度而变化。为了降低温度变化的效应，波形被修改 (例如，波形的幅值基于温度而被增大或减小)。
在一些实施方案中，触觉反馈模块133(例如触发器模块121)耦接到 硬件输入处理模块146。在一些实施方案中，图1A中的一个或多个其他输 入控制器160包括硬件输入处理模块146。在一些实施方案中，硬件输入处 理模块146接收来自硬件输入设备145(例如图1A中的其他输入或控制设 备116，诸如主按钮或强度敏感输入表面，诸如强度敏感触摸屏)的输入。 在一些实施方案中，硬件输入设备145是本文中所述的任何输入设备，诸如 触敏显示器系统112(图1A)、键盘/鼠标350(图3)、触控板355(图 3)、其他输入或控制设备116之一(图1A)或强度敏感主按钮。在一些实 施方案中，硬件输入设备145由强度敏感主按钮构成，而不是由触敏显示器 系统112(图1A)、键盘/鼠标350(图3)或触控板355(图3)构成。在一些实施方案中，响应于来自硬件输入设备145(例如，强度敏感主按钮或 触摸屏)的输入，硬件输入处理模块146提供一个或多个触发器信号给触感 反馈模块133以指示已检测到满足预定义输入标准的用户输入，诸如对应于 主按钮“点击”(例如“按下点击”或“松开点击”)的输入。在一些实 施方案中，触感反馈模块133响应于对应于home按钮“点击”的输入而提 供对应于home按钮“点击”的波形，从而模拟按压物理home按钮的触感 反馈。
在一些实施方案中，触觉输出模块包括触感反馈控制器161(例如图 1A中的触感反馈控制器161)，其控制触觉输出的生成。在一些实施方案 中，触感反馈控制器161耦接到多个触觉输出发生器，并且选择多个触觉输 出发生器中的一个或多个触觉输出发生器并将波形发送到所选择的一个或 多个触觉输出发生器以用于生成触觉输出。在一些实施方案中，触感反馈 控制器161协调对应于激活硬件输入设备145的触觉输出请求和对应于软件 事件的触觉输出请求(例如来自触感反馈模块133的触觉输出请求)，并修 改两个或更多个波形中的一个或多个波形以相对于两个或更多个波形中的 其余波形强调特定波形(例如通过提高特定波形的规模和/或减小这些波形 中其余波形的规模，以相比于对应于软件事件的触觉输出优先处理对应于 激活硬件输入设备145的触觉输出)。
在一些实施方案中，如图1C所示，触感反馈控制器161的输出耦接到 设备100的音频电路(例如音频电路110，图1A)，并将音频信号提供给 设备100的音频电路。在一些实施方案中，触感反馈控制器161提供用于生 成触觉输出的波形和用于与生成触觉输出一起提供音频输出的音频信号这 二者。在一些实施方案中，触感反馈控制器161修改音频信号和/或(用于 生成触觉输出的)波形使得音频输出和触觉输出同步(例如通过延迟音频 信号和/或波形)。在一些实施方案中，触感反馈控制器161包括用于将数 字波形转换成模拟信号的数模转换器，模拟信号被放大器163和/或触觉输 出发生器167接收。
在一些实施方案中，触觉输出模块包括放大器163。在一些实施方案中， 放大器163接收(例如来自触感反馈控制器161的)波形，并放大波形然后 将经放大的波形发送给触觉输出发生器167(例如，触觉输出发生器167 (图1A)或357(图3)中任一者)。例如，放大器163将所接收的波形放 大到符合触觉输出发生器167的物理规范的信号电平(例如放大到触觉输出 发生器167为了生成触觉输出而需要的电压和/或电流使得发送给触觉输出发生器167的信号生成对应于从触感反馈控制器161接收的波形的触觉输 出)并将经放大的波形发送给触觉输出发生器167。作为响应，触觉输出发 生器167生成触觉输出(例如通过将可移动质块在一个或多个维度中相对于 可移动质块的中性位置前后移位)。
在一些实施方案中，触觉输出模块包括传感器169，其耦接到触觉输出 发生器167。传感器169检测触觉输出发生器167或触觉输出发生器167的 一个或多个部件(例如用于生成触觉输出的一个或多个运动部件，诸如膜) 的状态或状态变化(例如机械位置、物理位移、和/或移动)。在一些实施 方案中，传感器169是磁场传感器(例如霍尔效应传感器)或其他位移和/ 或运动传感器。在一些实施方案中，传感器169将信息(例如触觉输出发生 器167中一个或多个部件的位置、位移和/或移动)提供给触感反馈控制器 161，以及根据传感器169提供的关于触觉输出发生器167的状态的信息， 触感反馈控制器161调节从触感反馈控制器161输出的波形(例如，任选地 经由放大器163发送给触觉输出发生器167的波形)。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示 器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200 内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施 方案中，用户能够通过例如利用一个或多个手指202(在图中未按比例绘制) 或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这 些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中， 手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、 向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从 左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地 与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用 程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“主按钮”或菜单 按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上 被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些 实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204(有时 称为主屏幕按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮 206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对 接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按 钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下 该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对 设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风 113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用 于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器 165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生 器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设 备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上 型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设 备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工 业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个 或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根 或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系 统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器 340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330 还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在 设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器167)、传感器359(例如，光学传感 器、加速度传感器、接近传感器、触敏传感器、和/或类似于以上参考图1A 所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包 括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取 固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。 存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些 实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器 102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或 它们的子集。此外，存储器370任选地存储在便携式多功能设备100的存储 器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器 370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建 模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备 100(图1A)的存储器102任选地不存储这些模块。
图3中上述所识别的元件中的每个元件任选地存储在先前提到的存储 器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对 应于用于执行上述功能的指令集。上述所识别的模块或程序(即，指令集) 不必被实现为单独的软件程序、过程或模块，因此这些模块的各种子集任 选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中， 存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选 地存储上文未描述的附加模块和数据结构。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面 (“UI”)的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用菜单 的示例用户界面400。类似的用户界面任选地在设备300上实现。在一些实 施方案中，用户界面400包括以下元件或者其子集或超集：
·一种或多种无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号 强度指示符；
·时间；
·蓝牙指示符；
·电池状态指示符；
·具有针对常用应用程序的图标的托盘408，该图标诸如：
ο电话模块138的被标记为“电话”的图标416，该图标416任选 地包括未接来电或语音信箱的数量的指示符414；
ο电子邮件客户端模块140的被标记为“邮件”的图标418，该图 标418任选地包括未读电子邮件的数量的指示符410；
ο浏览器模块147的标记为“浏览器”的图标420；以及
ο视频和音乐播放器模块152的被标记为“音乐”的图标422；以 及
·其他应用的图标，诸如：
οIM模块141的被标记为“消息”的图标424；
ο日历模块148的被标记为“日历”的图标426；
ο图像管理模块144的被标记为“照片”的图标428；
ο相机模块143的被标记为“相机”的图标430；
ο在线视频模块155的被标记为“在线视频”的图标432；
ο股市桌面小程序149-2的被标记为“股市”的图标434；
ο地图模块154的被标记为“地图”的图标436；
ο天气桌面小程序149-1的被标记为“天气”的图标438；
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440；
ο健身支持模块142的被标记为“健身支持”的图标442；
ο记事本模块153的标记为“记事本”的图标444；以及
ο用于设置应用程序或模块的图标446，该图标提供对设备100及 其各种应用程序136的设置的访问。
应当注意，图4A中示出的图标标签仅仅是示例性的。例如，其他标签 任选地用于各种应用图标。在一些实施方案中，相应应用程序图标的标签 包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中， 特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的 名称。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3中的 平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界 面。尽管将参考触摸屏触敏显示器系统112(其中组合了触敏表面和显示器) 上的输入给出随后的许多示例，但是在一些实施方案中，设备检测与显示 器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表 面(例如，图4B中的451)具有与显示器(例如，450)上的主轴线(例如， 图4B中的453)对应的主轴线(例如，图4B中的452)。根据这些实施方 案，设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触 (例如，图4B中的460和462)(例如，在图4B中，460对应于468并且 462对应于470)。这样，在触敏表面(例如，图4B中的451)与多功能设 备的显示器(例如，图4B中的450)是分开的时侯，由设备在触敏表面上 所检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用 于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述 的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、 手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方 案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入 (例如，基于鼠标的输入或触笔输入)替换。例如，轻扫手势任选地由鼠 标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如， 而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势 的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接 触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个 计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互 的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具 体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例 如，图3中的触控板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调整。 在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸 屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏)的 一些具体实施中，在触摸屏上检测到的接触充当“焦点选择器”，使得当 在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他 用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时， 根据所检测到的输入来调整特定用户界面元素。在一些具体实施中，焦点 从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应 移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将 焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根 据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采 取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户 期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的 元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面 (例如，触控板或触摸屏)上检测到按压输入时，焦点选择器(例如，光 标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮 (而不是设备显示器上示出的其他用户界面元素)。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的 “强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压 力(每单位面积的力)，或者是指触敏表面上的接触的力或压力的替代物 (代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并 且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地 使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在 触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触 敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测 量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地， 触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触 敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被 用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力 或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈 值以对应于替代物测量的单位来描述)。在一些具体实施中，将接触力或 压力的替代测量值转换为预估力或压力，并且使用预估力或压力确定是否 已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用 接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如， 在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示 器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺 寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值 来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。 在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如， 强度阈值不由特定物理致动器的激活阈值来确定，并且可在不改变设备100 的物理硬件的情况下进行调整)。例如，在不改变触控板或触摸屏显示器 硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设置为预 定义阈值的大范围中的任一个阈值。另外，在一些具体实施中，设备的用 户提供有用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调 节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多 个强度阈值)的软件设置。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指 基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度 基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检 测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之 后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在 检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数 量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的 一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、 接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值、 通过在预定义时间段上或从预定义时间开始低通滤波接触强度而生成的值 等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如， 在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将 特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操 作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。 在该示例中，特征强度未超过第一强度阈值的接触导致第一操作，特征强 度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二强度阈值的接触导致第三操作。在一些实施方案中，使用 特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个 操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定 执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如， 触敏表面可接收连续轻扫接触，该连续轻扫接触从起始位置过渡并达到结 束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该示例 中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不 是整个轻扫接触(例如，仅结束位置处的轻扫接触的一部分)。在一些实 施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算 法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动 平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑 化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的 尖峰或凹陷，以实现确定特征强度的目的。
本文所述的用户界面图任选地包括各种强度图，这些强度图示出触敏 表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值IT0、 轻按压强度阈值ITL、深按压强度阈值ITD(例如，至少初始高于ITL)和/ 或一个或多个其他强度阈值(例如，比ITL低的强度阈值ITH))的当前强 度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解 释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该 强度下设备将执行通常与点击物理鼠标或触控板的按钮相关联的操作。在 一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将 执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在 一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高 于标称接触检测强度阈值IT0，比标称接触检测强度阈值低的接触不再被检 测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器， 而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲， 除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输 入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间 超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备 对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时 间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一 强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻 按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延 迟时间的持续时间通常小于200ms(毫秒)(例如，40ms、100ms、或120 ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增 大而增大)。该延迟时间帮助避免意外地识别深按压输入。又如，对于一 些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种 暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到 深按压输入的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于 一个或多个因素(诸如用户设置、接触运动、输入定时、应用运行、施加 强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪 声)、焦点选择器位置等)而变化。示例因素在美国专利申请14/399,606和 14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。
例如，图4C示出了部分地基于触摸输入476随时间的强度而随时间改 变的动态强度阈值480。动态强度阈值480是两个分量的总和：在从触摸输 入476初始被检测到开始的预定义的延迟时间p1之后随时间衰减的第一分 量474和随时间而跟踪触摸输入476的强度的第二分量478。第一分量474 的初始高强度阈值减少意外触发“深按压”响应，同时仍然允许在触摸输 入476提供足够强度的情况下进行即时“深按压”响应。第二分量478减少 通过触摸输入的逐渐的强度波动而无意触发“深按压”响应。在一些实施 方案中，在触摸输入476满足动态强度阈值480时(例如，在图4C中的点 481处)，触发“深按压”响应。
图4D示出了另一个动态强度阈值486(例如，强度阈值ID)。图4D 还示出了两个其他强度阈值：第一强度阈值IH和第二强度阈值IL。在图4D 中，尽管触摸输入484在时间p2之前满足第一强度阈值IH和第二强度阈值 IL，但是直到在时间482处经过延迟时间p2才提供响应。同样在图4D中， 动态强度阈值486随时间衰减，其中衰减在从时间482(触发了与第二强度 阈值IL相关联的响应的时候)已经过预定义的延迟时间p1之后的时间488 开始。这种类型的动态强度阈值减少紧接在触发与较低阈值强度(诸如第 一强度阈值IH或第二强度阈值IL)相关联的响应之后或与其同时意外触发 与动态强度阈值ID相关联的响应。
图4E示出了另一个动态强度阈值492(例如，强度阈值ID)。在图4E 中，在从触摸输入490被初始检测到的时候已经过延迟时间p2之后，触发 与强度阈值IL相关联的响应。同时，动态强度阈值492在从触摸输入490被 初始检测到的时候已经过预定义的延迟时间p1之后衰减。因此，在触发与 强度阈值IL相关联的响应之后降低触摸输入490的强度，接着在不释放触摸 输入490的情况下增大触摸输入490的强度可触发与强度阈值ID相关联的响应(例如，在时间494处)，即使当触摸输入490的强度低于另一强度阈值 (例如，强度阈值IL)时也是如此。
接触特征强度从低于轻按压强度阈值ITL的强度增大到介于轻按压强度 阈值ITL与深按压强度阈值ITD之间的强度有时被称为“轻按压”输入。接 触的特征强度从低于深按压强度阈值ITD的强度增大到高于深按压强度阈值 ITD的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈 值IT0的强度增大到介于接触检测强度阈值IT0与轻按压强度阈值ITL之间的 强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检 测强度阈值IT0的强度减小到低于接触检测强度阈值IT0的强度有时被称为 检测到接触从触摸表面抬离。在一些实施方案中，IT0为零。在一些实施方 案中，IT0大于零。在一些例示中，阴影圆或椭圆用于表示触敏表面上的接 触的强度。在一些例示中，没有阴影的圆或椭圆用于表示触敏表面上的相 应接触而不指定相应接触的强度。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的 手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入 来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触) 的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实 施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来 执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强 度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于 检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例 如，在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的 意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞 后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位， 或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此， 在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强 度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈 值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操 作)。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低 于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任 选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入， 并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度 减小)来执行相应操作。
为了容易解释，任选地响应于检测到以下情况而触发对响应于与按压 输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操 作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于 滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减 小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈 值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度 减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触 的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执 行操作。如上所述，在一些实施方案中，对这些操作的触发还取决于满足 基于时间的标准(例如，在满足第一强度阈值和满足第二强度阈值之间已 经过延迟时间)。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用 户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备 的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物 理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与 用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触 的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对 应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例 如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的 “按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如 “按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压 (例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如， 即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解 释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用 户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共 有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如， “按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所 生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典 型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增 强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户 提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使 用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备 的电池寿命。
在一些实施方案中，触觉输出模式指定触觉输出的特性，诸如触觉输 出的幅值、触觉输出的运动波形的形状、触觉输出的频率、和/或触觉输出 的持续时间。
当设备(例如经由移动可移动质块生成触觉输出的一个或多个触觉输 出发生器)生成具有不同触觉输出模式的触觉输出时，触觉输出可在握持 或触摸设备的用户中产生不同触感。虽然用户的感官基于用户对触觉输出 的感知，但大多数用户将能够识别设备生成的触觉输出的波形、频率和幅 值的变化。因此，波形、频率和幅值可被调节以向用户指示已执行了不同 操作。这样，具有被设计、选择和/或安排用于模拟给定环境(例如，包括 图形特征和对象的用户界面、具有虚拟边界和虚拟对象的模拟物理环境、 具有物理边界和物理对象的真实物理环境、和/或以上任意者的组合)中对 象的特性(例如大小、材料、重量、刚度、光滑度等)；行为(例如振荡、 位移、加速、旋转、伸展等)；和/或交互(例如碰撞、粘附、排斥、吸引、 摩擦等)的触觉输出模式的触觉输出在一些情况下将为用户提供有帮助的 反馈，其减少输入错误并提高用户对设备的操作的效率。另外，触觉输出 任选地被生成为对应于与所模拟物理特性(诸如输入阈值或对象选择)无 关的反馈。此类触觉输出在一些情况下将为用户提供有帮助的反馈，其减 少输入错误并提高用户对设备的操作的效率。
在一些实施方案中，具有合适触觉输出模式的触觉输出充当在用户界 面中或在设备中屏幕后面发生感兴趣事件的提示。感兴趣事件的示例包括 设备上或用户界面中提供的示能表示(例如真实或虚拟按钮、或拨动式开 关)的激活、所请求操作的成功或失败、到达或穿过用户界面中的边界、 进入新状态、在对象之间切换输入焦点、激活新模式、达到或穿过输入阈 值、检测或识别一种类型的输入或手势等等。在一些实施方案中，提供触 觉输出以充当关于除非改变方向或中断输入被及时检测到、否则会发生的 即将发生事件或结果的警告或提示。触觉输出在其他情境下也用于丰富用 户体验、改善具有视觉或运动困难或者其他可达性需要的用户对设备的可 达性、和/或改善用户界面和/或设备的效率和功能性。任选地将触觉输出与 音频输入和/或视觉用户界面改变进行比较，这进一步增强用户与用户界面 和/或设备交互时用户的体验，并有利于关于用户界面和/或设备的状态的信 息的更好传输，并且这减少输入错误并提高用户对设备的操作的效率。
图4F至图4H提供可单独地或组合地、按原样或通过一种或多种转换 (例如调制、放大、截断等)用于在各种情景中为了各种目的(诸如上文 所述的那些以及相对于本文论述的用户界面和方法所述的那些)形成合适 触感反馈的一组样本触觉输出模式。触觉输出的控制板的这个示例显示一 组三个波形和八个频率可如何被用于生成触觉输出模式的阵列。除了这些 图中所示的触觉输出模式之外，任选地通过改变触觉输出模式的增益值来在幅值方面调整这些触觉输出模式中的每一者，如图所示，例如对于图4I 至图4K中的FullTap 80Hz、FullTap 200Hz、MiniTap 80Hz、MiniTap 200Hz、 MicroTap 80Hz和MicroTap 200Hz，它们各自被示为具有1.0、0.75、0.5和0.25的增益的变体。如图4I至图4K所示，改变触觉输出模式的增益就改变 模式的幅值，而不改变模式的频率或改变波形的形状。在一些实施方案中， 改变触觉输出模式的频率还导致较低幅值，因为一些触觉输出发生器受限 于多少力可被施加于可移动质块，因此质块的较高频率移动被约束到较低 幅值以确保形成波形所需要的加速不需要触觉输出发生器的操作力范围之 外的力(例如，230Hz、270Hz和300Hz的FullTap的峰值幅值比80Hz、 100Hz、125Hz和200Hz的FullTap的幅值低)。
图4F至图4K示出了具有特定波形的触觉输出模式。触觉输出模式的 波形表示相对于中性位置(例如xzero)的物理位移与时间的图案，可移动 质块通过所述图案以生成具有该触觉输出模式的触觉输出。例如，图4F中 所示的第一组触觉输出模式(例如“FullTap”的触觉输出模式)每一个都 具有包括具有两个完整循环的振荡的波形(例如开始且结束于中性位置且 穿过中性位置三次的振荡)。图4G中所示的第二组触觉输出模式(例如“MiniTap”的触觉输出模式)每一个都具有包括含一个完整循环的振荡的 波形(例如开始且结束于中性位置且穿过中性位置一次的振荡)。图4H中 所示的第三组触觉输出模式(例如“MicroTap”的触觉输出模式)每一个 都具有包括含半个完整循环的振荡的波形(例如开始且结束于中性位置且 不穿过中性位置的振荡)。触觉输出模式的波形还包括表示在触觉输出开 始和结束处可移动质块的逐渐加速和减速的起始缓冲和结束缓冲。图4F至 图4K所示的示例性波形包括代表可移动质块的最大和最小移动程度的xmin 和xmax值。对于可移动质块较大的较大电子设备，该质块的最小和最大移 动程度可以更大或更小。图4F至图4K中所示的示例描述1维中质块的移 动，但是类似的原理也将适用于两维或三维中可移动质块的移动。
如图4F至图4K所示，每个触觉输出模式还具有对应的特征频率，其 影响用户从具有该特征频率的触觉输出感觉到的触感的“节距”。对于连 续触觉输出，特征频率表示触觉输出发生器的可移动质块在给定时间段内 完成的循环(例如每秒循环)的数量。对于离散触觉输出，生成离散输出 信号(例如具有0.5、1、或2个循环)，并且特征频率值指定可移动质块需 要移动多快以生成具有该特征频率的触觉输出。如图4F至图4H所示，对 于每种类型的触觉输出(例如由相应波形限定，诸如FullTap、MiniTap、或 MicroTap)，较高频率值对应于可移动质块的较快移动，因此一般而言， 对应于较短的触觉输出完成时间(例如包括完成离散触觉输出的所需循环 数量的时间加上起始和结束缓冲时间)。例如，特征频率为80Hz的FullTap 比特征频率为100Hz的FullTap花更长时间完成(例如在图4F中，35.4ms 与28.3ms)。此外，对于给定频率，在相应频率在其波形中具有更多循环 的触觉输出比在相同相应频率在其波形中具有更少循环的触觉输出花更长 时间完成。例如，150Hz的FullTap比150Hz的MiniTap花更长时间完成 (例如19.4ms vs.12.8ms)，150Hz的MiniTap比150Hz的MicroTap花更长 时间完成(例如12.8ms vs.9.4ms)。然而对于具有不同频率的触觉输出模式，这个规则可能不适用(例如，具有更多循环但具有更高频率的触觉输 出可能比具有更少循环但具有更低频率的触觉输出花更短的时间量完成， 反之亦然)。例如，在300Hz，FullTap与MiniTap花同样长的时间(例如 9.9ms)。
如图4F至图4K所示，触觉输出模式还具有特征幅值，其影响触觉信 号中包含的能量的量或者用户通过具有该特征幅值的触觉输出可感觉到的 触感的“强度”。在一些实施方案中，触觉输出模式的特征幅值是指表示 在生成触觉输出时可移动质块相对于中性位置的最大位移的绝对值或归一 化值。在一些实施方案中，触觉输出模式的特征幅值可根据(例如基于用 户界面情境和行为自定义的)各种条件和/或预先配置的度量(例如基于输入的度量、和/或基于用户界面的度量)调节，例如通过固定或动态确定的 增益系数(例如介于0和1之间的值)来调节。在一些实施方案中，基于输 入的度量(例如强度变化度量或输入速度度量)测量在触发生成触觉输出 的输入期间该输入的特征(例如按压输入中接触的特征强度的改变速率或 接触在触敏表面上的移动速率)。在一些实施方案中，基于用户界面的度 量(例如跨边界速度度量)测量在触发生成触觉输出的用户界面改变期间 用户界面元素的特征(例如该元素在用户界面中穿过隐藏或可见边界的移 动速度)。在一些实施方案中，触觉输出模式的特征幅值可被“包络”调 制，并且相邻循环的峰值可具有不同幅值，其中以上所示波形之一通过乘 以随时间改变(例如从0变到1)的包络参数来进一步修改，以在生成触觉 输出时随着时间逐渐调节触觉输出的部分的幅值。
虽然在图4F至图4K中为了例示的目的说明在样本触觉输出模式中只 表示了特定频率、幅值和波形，但具有其他频率、幅值和波形的触觉输出 模式也可用于类似目的。例如，可使用具有介于0.5到4个循环之间的波形。 也可使用60Hz-400Hz范围中的其他频率。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备和 (任选)一个或多个相机的电子设备诸如便携式多功能设备100或设备300 上实现的用户界面(“UI”)和相关联的过程的实施方案。
图5A至图5AK示出了根据一些实施方案的用于显示一个或多个输入 的视觉指示的示例性用户界面，该一个或多个输入在被执行时会使得执行 动作(例如，显示与虚拟对象相关联的动画序列)的标准被满足。例如， 响应于检测到不满足触发与虚拟对象相关联的动画的标准的输入，显示将 满足触发动画的标准的输入的视觉指示。这些附图中的用户界面用于示出 下文描述的过程，包括图9A至图9C、图10A至图10C、图11A至图11D、 图12A至图12B和图13A至图13B中的过程。为了便于解释，将参考在具 有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方 案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对 应于手指或触笔接触的表示点(例如，相应接触的重心或与相应接触相关 联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器 时检测到触敏表面451上的接触，任选地在具有显示器450和独立的触敏表 面451的设备上执行类似的操作。
在图5A中，在对象登台用户界面5004中显示虚拟对象5002(虚拟 箱)。在一些实施方案中，在显示对象登台用户界面5004时，用于操纵虚 拟对象5002的用户输入(例如，通过在与触敏显示器系统112上显示的虚 拟对象5002相对应的位置处的接触进行的输入)使得虚拟对象5002的特征 改变(例如，虚拟对象围绕一个或多个轴线旋转)。这样，使得用户能够 从各种角度查看虚拟对象5002。在一些实施方案中，当在包括设备100的 一个或多个相机的视场的至少一部分的用户界面(例如，增强现实视图) 中显示虚拟对象5002时，将在对象登台用户界面5004中显示虚拟对象时对 虚拟对象5002的特征作出的改变(例如，围绕第一轴线向虚拟对象5002施 加的旋转)应用于虚拟对象5002。这样，使得用户能够设定虚拟对象5002 在增强现实视图中显示时将具有的取向。
对象登台用户界面5004包括切换控件5008，其指示当前的显示模式 (例如，当前的显示模式为对象登台用户界面模式，如突出显示的“对象” 指示符所指示)，并且其在被激活时使得转变到选择的显示模式。例如， 当显示对象登台用户界面5004时，在与切换器5008相对应的位置(例如， 与切换控件5008上包括文本“AR”的部分相对应的位置)处通过接触进行 的轻击输入使得对象登台用户界面5008被替换为设备100的一个或多个相 机的视场的至少一部分。对象登台用户界面5004还包括取消控件5006(例 如，用于将对象登台用户界面5004的显示替换为不同用户界面诸如先前显 示的用户界面)和共享控件5010(例如，用于显示共享界面)。
图5B至图5C示出了在显示对象登台用户界面5004时使得虚拟对象 5002旋转的输入。在图5B中，在与虚拟对象5002相对应的位置处检测到 通过接触5012进行的输入(例如，向右轻扫手势)。当该接触沿着箭头 5014所指示的路径移动时，虚拟对象5002围绕与该接触的移动垂直的轴线 旋转。
在图5D中，在触敏显示器系统112上在与切换控件5008的“AR”区 域相对应的位置处检测到通过接触5016进行的输入(例如，轻击输入)。 响应于该输入，对象登台用户界面5004的显示被替换为增强现实视图中的 虚拟对象5002的显示(例如，在设备100的一个或多个相机所捕获的物理 环境中显示虚拟对象5002)，如图5E至图5F中所示。为了指示当前的显 示模式是增强现实用户界面模式，图5F中突出显示了切换控件5008的 “AR”区域。
图5E示出了在其中操作设备100的物理环境5018。桌子5020是位于 物理环境5018中的物理对象。设备100的显示器示出了在如设备100的一 个或多个相机所捕获的物理环境5018的视图中放置在桌子5020的上表面上 的虚拟对象5002。
图5F至图5I示出了使得虚拟对象5002的动画发生的输入。在图5F中， 在包括如设备100的一个或多个相机所捕获的物理环境5018的视图的增强 现实用户界面5022中示出虚拟对象5002。在图5G中，在触敏显示器系统 112上在与虚拟对象5002相对应的位置处检测到通过接触5024进行的输入 (例如，轻击输入)。响应于该输入，以动画方式显示虚拟对象5002(例 如，动画序列示出该箱子的盖子逐渐打开)，如图5H至图5I中所示。在一 些实施方案中，在接触5024保持在与虚拟对象5002相对应的位置处时虚拟 对象5002的动画继续。在一些实施方案中，当已发起虚拟对象5002的动画 时，在接触5024抬离触敏显示器系统112之后动画继续(例如，动画序列 完成和/或动画序列持续循环)。
图5J至图5K示出了在显示增强现实用户界面5022时使得虚拟对象 5002移动的输入。在图5J中，在与虚拟对象5002相对应的位置处检测到通 过接触5024进行的输入(例如，向右轻扫手势)。当该接触沿着箭头5026 所指示的路径移动时，虚拟对象5002在该接触的移动的方向上沿着桌子 5020的表面移动，如图5K中所示。
在图5K中，由于使得虚拟对象5002移动的输入不满足使得虚拟对象 5002的动画发生的标准，因此显示使得动画发生所需的输入的视觉指示 5028。视觉指示5028包括文本“在箱子上轻击以查看动画！”这样，为用 户提供了反馈，该反馈提供与将触发动画序列的回放的输入有关的信息。
图5L至图5O示出了使得虚拟对象5002的动画发生的注视输入。在图 5L-1中，用户5030正注视着设备100的显示器的下部部分，如指示用户 5030的眼睛5032的注视目标的注视指示符5034所示。图5L-2示出了设备 100所显示的增强现实用户界面5022。在图5L-2中，注视5034的目标是增 强现实用户界面5022中不与虚拟对象5002相对应的位置。显示了视觉指示 5036，其指示将使得虚拟对象5002的动画发生的输入(例如，“看着箱子 以观看动画！”)。
在图5M-1中，用户5030正注视着设备100的显示器的上部部分，如 注视指示符5038所示。在图5M-2中，注视5038的目标是增强现实用户界 面5022中与虚拟对象5002相对应的位置。如图5N-2和图5O-2中所示，根 据确定注视5038的目标是虚拟对象5002，视觉指示5036停止显示并且发 生虚拟对象5002的动画。在一些实施方案中，在注视5038继续以虚拟对象 5002为目标时虚拟对象5002的动画继续，如图5N-1至图5N-2和图5O-1至 图5O-2中所示。在一些实施方案中，根据确定注视的目标不是虚拟对象 5002，虚拟对象5002的动画停止。在一些实施方案中，当已发起虚拟对象 5002的动画时，在注视远离虚拟对象5002移动之后动画继续(例如，动画 序列完成和/或动画序列持续循环)。
图5P至图5R示出了尝试将虚拟对象5002放置在具有与虚拟对象5002 不兼容的尺寸的表面上的输入。在图5P中，在与虚拟对象5002相对应的位 置处检测到通过接触5040进行的输入。当接触5040沿着箭头5042所指示 的路径移动时，虚拟对象5002在该接触的移动的方向上沿着地板5046(如 设备100的该一个或多个相机的视场中所捕获的物理环境5018的地板)移 动，如图5P至图5Q中所示。在图5Q至图5R中，当用户尝试将虚拟对象 5002放置在灯5044的上表面上时，接触5040继续沿着箭头5048所指示的 路径移动。在图5R中，由于灯5044的上表面的尺寸与虚拟对象5002的尺 寸(例如，包括对应于与虚拟对象5002相关联的动画序列的尺寸)不兼容， 因此显示视觉指示5050，其指示灯5044的上表面的尺寸与虚拟对象5002不 兼容(例如，“该对象不能放置在该表面上！”)。
图5S至图5W示出了虚拟对象5002在设备100的相机的所显示的视场 中的定位，从而使得虚拟对象5002的动画发生。在图5S中，已将虚拟对象 5002放置在物理桌子5020的上表面上(例如，使得在设备100的相机的视 场改变时在相对于物理桌子5020的固定位置处显示虚拟对象5002)。虚拟 对象5002和物理桌子5020仅部分地处于设备100的相机的所显示的视场 中。由于未在设备100的相机的视场中完全显示虚拟对象5002，因此显示 视觉指示5054，其指示将使得虚拟对象5002的动画发生的输入(例如， “将箱子移动到中心以查看动画！”)。圆圈5052指示虚拟对象将被移动 到的位置以使得虚拟对象5002的动画发生。在一些实施方案中，设备100 未显示圆圈5052(如虚线所指示)。在一些实施方案中，圆圈5052是设备 100显示的提示。在一些实施方案中，当在设备100的相机的视场的所显示 的部分中完全显示虚拟对象5002时，发生虚拟对象5002的动画。
在图5T中，设备100已相对于物理环境5018移动，使得虚拟对象5002 在圆圈5052内部分地显示。由于虚拟对象5002未在圆圈5052内完全显示， 因此尚未发生虚拟对象5002的动画并且视觉指示5054继续显示。在图5U 中，设备100已相对于物理环境5018移动，使得虚拟对象5002在圆圈5052 内完全显示。由于虚拟对象5002在圆圈5052内完全显示，因此发生虚拟对 象5002的动画(如图5U、图5V和图5W中所示)并且视觉指示5054停止 显示。
图5X至图5AC示出了必须满足多个标准以使得虚拟对象5002的动画 序列回放的实施方案。在图5X中，虚拟对象5002和物理桌子5020仅部分 地处于设备100的相机的所显示的视场中。直到满足这两个标准，才显示视 觉指示5056，其指示将使得虚拟对象5002的动画发生的输入(例如，“将 箱子移动到中心并在箱子上轻击以查看动画！”)。圆圈5052指示虚拟对 象将被移动到的位置以使得虚拟对象5002的动画发生。
在图5Y中，设备100已相对于物理环境5018移动，使得虚拟对象5002 在圆圈5052内部分地显示。由于尚未满足该多个标准，因此尚未发生虚拟 对象5002的动画并且视觉指示5054继续显示。在图5Z中，设备100已相 对于物理环境5018移动，使得虚拟对象5002在圆圈5052内完全显示，从 而满足为使得虚拟对象5002的动画序列回放而必须满足的多个标准中的第 一标准。由于已满足第一标准但尚未满足第二标准，因此更新视觉指示 5056以指示为满足第二标准而必须提供的输入(例如，“在箱子上轻击以 查看动画！”)。在图5AA中，在与虚拟对象5002相对应的位置处检测到 通过接触5058进行的输入(例如，轻击输入)。响应于该输入，由于已满 足第一标准和第二标准，因此发生虚拟对象5002的动画(如图5AA、图 5AB和图5AC中所示)并且视觉指示5054停止显示。
图5AD至图5AH示出了使得虚拟对象5002的动画回放发生的设备100 的移动。在图5AD中，虚拟对象5002的所显示的位置与设备100之间的距 离大于虚拟对象5002的动画发生的阈值距离。显示了视觉指示5060以指示 将使得虚拟对象5002的动画发生的输入(例如，“靠近箱子移动以查看动 画！”)。在图5AE中，设备100已靠近虚拟对象5002的所显示的位置移 动。由于虚拟对象5002的所显示的位置与设备100之间的距离仍大于虚拟 对象5002的动画发生的阈值距离，因此尚未发生虚拟对象5002的动画并且 视觉指示5060继续显示。在图5AF中，设备100已靠近虚拟对象5002的所 显示的位置移动，使得虚拟对象5002的所显示的位置与设备100之间的距 离已减小到虚拟对象5002的动画发生的阈值距离以下。由于虚拟对象5002 的所显示的位置与设备100之间的距离已减小到阈值距离以下，因此发生虚 拟对象5002的动画(如图5AF、图5AG和图5AH中所示)并且视觉指示 5060停止显示。
图5AI至图5AK示出了用于调节以动画方式显示虚拟对象5002的动画 序列的回放的播放头控件。在图5AI中，显示了与虚拟对象5002的动画序 列的回放相对应的时间线5062。播放头5064指示动画序列的当前显示的帧 在时间线5062内的位置。在与播放头5064相对应的位置处检测到通过接触 5066进行的输入。当接触5066沿着箭头5068所指示的路径移动时，播放 头5064在该接触的移动的方向上沿着时间线5062移动(例如，播放头5064由接触5066的移动进行“拖动”)并且虚拟对象5002的动画序列根据播放 头5064的移动而前进，如图5AI至图5AJ中所示。在图5AJ至图5AK中， 接触5066继续沿着箭头5070所指示的路径移动，从而使得播放头5064进 一步移动并且虚拟对象5002的动画序列进一步前进。
图6A至图6AI示出了根据一些实施方案的用于在包括一个或多个相机 的视场的至少一部分的内容的用户界面中显示媒体项(例如，在增强现实 环境中显示照片)的示例性用户界面。这些附图中的用户界面用于示出下 文描述的过程，包括图9A至图9C、图10A至图10C、图11A至图11D、 图12A至图12B和图13A至图13B中的过程。为了便于解释，将参考在具 有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方 案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对 应于手指或触笔接触的表示点(例如，相应接触的重心或与相应接触相关 联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。 然而，响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器 时检测到触敏表面451上的接触，任选地在具有显示器450和独立的触敏表 面451的设备上执行类似的操作。
在图6A中，在照片管理应用程序的照片查看界面6004中显示当前选 择的照片6002。照片管理应用程序用户界面包括显示照片(例如，设备100 所捕获的照片)的缩略图的照片缩略图导航栏6006。在一些实施方案中， 照片缩略图导航栏6006上的向左或向右轻扫输入引起所显示的一组照片缩 略图在轻扫输入的方向上滚动，使得显示出附加照片缩略图。在一些实施 方案中，照片缩略图导航栏6006中显示的照片缩略图上的输入(例如，轻击输入)使得照片的放大版本被选择用于在照片查看界面6004中显示。例 如，由于当前选择了照片6002(例如，如围绕与当前选择的照片6002相对 应的照片缩略图的帧6003所指示)，因此在照片查看界面6004中显示照片6002的放大版本。照片查看界面6004包括用于显示共享用户界面的控件 6008、用于将元数据应用于选择的照片的控件6010(例如，指示选择的照 片是最喜欢的照片的元数据)以及用于删除选择的照片的控件6012。
在图6B中，在与用于显示共享用户界面的控件6008相对应的位置处 检测到通过接触6014进行的输入(例如，轻击输入)。响应于该输入，显 示覆盖照片查看界面6004的共享用户界面6016，如图6C中所示。共享用 户界面6016包括可与之共享当前选择的照片6002的联系人的指示6018、 可经由此共享当前选择的照片6002的通信模式的指示6020以及可应用于当 前选择的照片6002的附加功能6022。在显示共享用户界面6016时，显示 用于停止显示共享用户界面6016的控件6028。
在图6C中，在与用于在对象三维查看模式(例如，对象管理用户界面 5004或增强现实用户界面5022)中显示一个或多个选择的对象的控件6024 相对应的位置处检测到通过接触6026进行的输入(例如，轻击输入)。响 应于该输入，共享用户界面6016和照片查看界面6004停止显示并且当前选 择的照片6002与设备100的一个或多个相机的视场一起显示，如图6D至图 6E中所示。
图6D示出了在其中操作设备100的物理环境5018。物理桌子5020出 现在物理环境5018中以及设备100的一个或多个相机所捕获的物理环境 5018的视图(如设备100所显示)中。设备100所显示的照片6002看起来 悬挂在物理环境5018的墙壁6032上。
图6E至图6G示出了在设备100在物理环境中移动时发生的对设备100 的相机的视场的所显示的部分的调节。在图6E中，在包括物理环境的视图 的增强现实用户界面5022中示出了照片6002。在一些实施方案中，当在增 强现实用户界面5022中显示时，照片6002看起来具有三维外观(例如，照 片6002的模拟背衬6034创建了墙壁6032与照片6002的所显示的位置之间 的空间)。从图6E到图6F，当设备100从物理环境中的第一位置移动到物 理环境中的第二位置时，照片6002和桌子5020的所显示的位置改变，从而 指示照片6002在相对于物理环境的固定位置处显示。从图6F到图6G，设 备100继续从物理环境中的第二位置移动到物理环境中的第三位置，并且照 片6002和桌子5020的所显示的位置继续根据设备100的移动来改变。
图6H至图6L示出了多个照片的连续选择。
在图6H中，在照片管理应用程序的照片选择界面6036中显示多个照 片。在触敏显示器系统112上与用于启用选择模式的“选择”控件相对应的 位置处检测到通过接触6040进行的输入(例如，轻击输入)，在该选择模 式下，在相应照片处接收到的输入将引起相应照片的选择。响应于该输入， 启用选择模式。
在图6I中，在与照片6002相对应的位置处检测到通过接触6042进行 的输入(例如，轻击输入)。响应于该输入，选择照片6002(例如，如在 照片6002附近显示的选择指示符6044所标记)。
在图6J中，在与照片6046相对应的位置处检测到通过接触6048进行 的输入(例如，轻击输入)。响应于该输入，选择照片6046(例如，如在 照片6046附近显示的选择指示符6050所标记)。
在图6K中，在与照片6052相对应的位置处检测到通过接触6054进行 的输入(例如，轻击输入)。响应于该输入，选择照片6052(例如，如在 照片6052附近显示的选择指示符6056所标记)。
在图6L中，在选择照片6002、6046和6052时，在与共享控件6008相 对应的位置处检测到通过接触6058进行的输入(例如，轻击输入)。响应 于该输入，显示共享用户界面6016(上文针对图6C所描述)，如图6M中 所示。在显示共享用户界面6016时，显示当前选择的照片6002、6046和 6052(例如，过滤多个照片的组(包括在照片选择界面6036中显示的照片)，使得仅在显示共享用户界面6016时才显示当前选择的照片)。
图6M至图6Z示出了用于操纵多个照片的输入。
在图6M中，在与用于在对象三维查看模式中显示一个或多个选择的照 片的控件6024相对应的位置处检测到通过接触6060进行的输入(例如，轻 击输入)。响应于该输入，共享用户界面6016和照片选择界面6036停止显 示并且在增强现实用户界面5022中显示当前选择的照片6002、6046和6052， 如图6N至图6O中所示。
图6N示出了在其中操作设备100的物理环境5018。设备100所显示的 照片6002、6046和6052看起来悬挂在物理环境5018的后墙壁6032上。
在图6O中，在与照片6002相对应的位置处检测到通过接触6062进行 的输入(例如，向左轻扫输入)。当接触6062沿着箭头6064所指示的路径 移动时，照片6002沿着物理环境中检测到的后墙壁平面6032移动。在图 6O至图6P中，照片6002从后墙壁平面6032移动到侧墙壁平面6031上。
在图6Q中，在与照片6046相对应的位置处检测到通过接触6066进行 的输入(例如，向左轻扫输入)。在图6Q至图6R中，当接触6066沿着箭 头6068所指示的路径移动时，照片6046在箭头6068所指示的方向上沿着 后墙壁平面6032向左移动到如图6R中所示的新位置。
在图6R中，在与照片6052相对应的位置处检测到通过接触6070进行 的输入(例如，向左轻扫输入)。在图6R至图6S中，当接触6070沿着箭 头6072所指示的路径移动时，照片6052在箭头6072所指示的方向上沿着 后墙壁平面6032向左移动到如图6S中所示的新位置。
在图6S中，在与照片6052相对应的位置处检测到通过接触6074进行 的输入(例如，向上轻扫输入)。在图6S至图6T中，当接触6074沿着箭 头6076所指示的路径移动时，照片6052在箭头6076所指示的方向上沿着 后墙壁平面6032向上移动到如图6T中所示的新位置。
在图6U中，检测到用于改变照片6046的模拟物理尺寸的通过接触 6086和6088进行的输入(例如，捏合手势)。当接触6086沿着箭头6090 所指示的路径移动并且接触6088沿着箭头6092所指示的路径移动时，照片 6046的尺寸减小，如图6U至图6V中所示。
在图6W中，检测到用于旋转照片6046的通过接触6086和6088进行 的输入。当接触6086沿着箭头6094所指示的路径移动并且接触6088沿着 箭头6096所指示的路径移动时，照片6046围绕垂直于后墙壁平面6032的 轴线旋转，如图6W至图6X中所示。从图6X到图6Y，当接触6086沿着 箭头6098所指示的路径移动并且接触6088沿着箭头6100所指示的路径移动时，照片6046继续旋转。
在图6Z中，检测到用于使照片6046围绕平行于后墙壁平面6032的轴 线6016旋转的通过接触6102和6104进行的输入，如旋转箭头6108所示。 由于不允许围绕平行于后墙壁平面6032的轴线旋转，因此显示不允许的活 动的视觉指示6098(例如，包括指示“不能在该方向上旋转！”的文本)。
在图6AA中，在照片管理应用程序的照片查看界面6004中显示当前选 择的照片6110(例如，如围绕与当前选择的照片6110相对应的照片缩略图 的帧6003所指示)。在与用于显示共享用户界面6016的控件6008相对应 的位置处检测到通过接触6112进行的输入(例如，轻击输入)。响应于该 输入，显示覆盖照片查看界面6004的共享用户界面6016，如图6AB中所 示。
在图6AB中，在与用于在对象三维查看模式(例如，对象管理用户界 面5004或增强现实用户界面5022)中显示一个或多个选择的对象的控件 6024相对应的位置处检测到通过接触6114进行的输入(例如，长按压或深 按压输入)。响应于该输入，显示菜单6118以便指示用于在对象三维查看 模式中显示一个或多个当前选择的照片的显示模式(例如，“对象”模式 或“剪贴画”模式)，如图6AC中所示。
在图6AC中，在与菜单6118的“剪贴画”区域相对应的位置处检测到 通过接触6116进行的输入(例如，轻击输入)。响应于该输入，共享用户 界面6016和照片查看界面6004停止显示并且图像6110的剪贴画版本与设 备100的一个或多个相机的视场一起显示，如图6AD至图6AE中所示。
图6AD示出了在其中操作设备100的物理环境5018。物理桌子5020出 现在物理环境5018中以及设备100的一个或多个相机所捕获的物理环境 5018的视图(如设备100所显示)中。如设备100所显示的照片6110的剪 贴画版本看起来在物理环境5018中的桌子5020前面。
图6AE至图6AI示出了在设备100在物理环境中移动时发生的对该设 备的相机的视场的所显示的部分的调节。在图6AE中，在包括物理环境的 视图的增强现实用户界面5022中示出了照片6110的剪贴画版本。从图6AE 到图6AF并且从图6AF到图6AG，设备100从图像6110的剪贴画版本前面 的位置移动到图像6110的剪贴画版本侧面的位置，从而显示出图像6110的 剪贴画版本具有模拟背衬6120(例如，具有相对于图像6110的剪贴画版本的尺寸而言较小的模拟厚度，诸如1cm至10cm的模拟厚度)。在一些实施 方案中，在增强现实用户界面5022中显示的图像6110的剪贴画版本是在没 有背衬(并因此从如图6AH所示的侧视图中不可见)的情况下显示的二维 图像。从图6AG到图6AH并且从图6AH到图6AI，设备100继续从图像 6110的剪贴画版本侧面的位置移动到图像6110的剪贴画版本背面的位置，并且图像6110和桌子5020的所显示的位置继续根据设备100的移动来改 变。在图6AI中，图像6110的剪贴画版本呈现为如从图像6110的剪贴画版 本前面的位置来看的图像6110的剪贴画版本(如图6AE中所示)的反向版 本。
图7A至图7AQ示出了根据一些实施方案的用于对指向多个所显示的 虚拟对象中的相应虚拟对象的输入作出响应的示例性用户界面。这些附图 中的用户界面用于示出下文描述的过程，包括图9A至图9C、图10A至图 10C、图11A至图11D、图12A至图12B和图13A至图13B中的过程。为 了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述 实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地： 相应手指或触笔接触、对应于手指或触笔接触的表示点(例如，相应接触 的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的 两个或更多个接触的重心。然而，响应于当在显示器450上显示附图中示出 的用户界面连同焦点选择器时检测到触敏表面451上的接触，任选地在具有 显示器450和独立的触敏表面451的设备上执行类似的操作。
在图7A中，在对象登台用户界面5004(如针对图5A进一步描述)中 显示虚拟对象7002(虚拟冰箱)、虚拟对象7004(虚拟洗衣机)和虚拟对 象7006(虚拟电视)。
图7B至图7C示出了响应于在显示对象登台用户界面5004时检测到的 输入而进行的虚拟对象7002、7004和7006的旋转。
在图7B中，在与虚拟对象7002相对应的位置处检测到通过接触7008 进行的输入(例如，向上竖直轻扫输入)。当接触7008沿着箭头7010所指 示的路径移动时，虚拟对象7002、7004和7006在箭头7010所指示的方向 上旋转(例如，向上倾斜)。虚拟边界7012(未显示，如虚线所指示)围 绕虚拟对象7002、7004和7006。如图7C中所示，响应于通过接触7008进 行的竖直轻扫输入，虚拟对象7002、7004和7006围绕虚拟边界7012的水 平中心线7014旋转。例如，水平中心线7014是垂直于箭头7016的方向的 中心线，该箭头的方向指示所检测的向上竖直轻扫输入的方向。在一些实 施方案中，响应于向左或向右水平轻扫输入，虚拟对象7002、7004和7006 共同地在水平轻扫输入的方向上围绕平分边界7012的竖直中心线(未示出) 旋转。在一些实施方案中，响应于向左或向右水平轻扫输入，虚拟对象 7002、7004和7006各自在水平轻扫输入的方向上围绕平分每个虚拟对象的 竖直中心线旋转。在图7D中，接触7008已抬离触敏显示器系统112。
在图7E中，在与切换控件5008的“AR”区域相对应的位置处检测到 通过接触7018进行的输入(例如，轻击输入)。响应于该输入，对象登台 用户界面5004的显示被替换为增强现实视图中的虚拟对象7002、7004和 7006的显示(例如，在设备100的一个或多个相机所捕获的物理环境中显 示虚拟对象7002、7004和7006)，如图7F至图7G中所示。在一些实施方案中，在增强现实用户界面5022中显示虚拟对象时不保持向对象登台用户 界面5004中的虚拟对象7002、7004和7006施加的旋转(例如，围绕水平 中心线7014的旋转，如针对图7B至图7C所描述)。例如，虚拟对象7002、 7004和7006被配置为放置在相对于水平平面的固定位置处，并且因此设有 基本上平行于所检测的水平平面的水平表面。在一些实施方案中，在增强 现实用户界面5022中显示虚拟对象时保持向对象登台用户界面5004中的虚 拟对象7002、7004和7006施加的旋转(例如，围绕竖直中心线的旋转)。
如图7F至图7G中所示，当初始显示相机的视场时，可显示虚拟对象 的半透明表示(例如，当尚未在设备100的相机的视场中检测到与这些虚拟 对象中的一个或多个虚拟对象相对应的一个或多个平面时)。在一些实施 方案中，响应于检测到满足对象放置标准(例如，已在相机的视场中检测 到与该一个或多个虚拟对象相对应的一个或多个平面)，该设备显示动画 过渡，该动画过渡示出了这些虚拟对象中的一者或多者从第一取向(例如， 如图7G中所示)向第二取向(例如，如图7H中所示)移动(例如，旋转、 缩放、平移和/或上述的组合)并且从具有第一组视觉属性(例如，虚拟对 象7002、7004和7006在图7G中以半透明状态示出)改变为具有第二组视 觉属性(例如，虚拟对象7002、7004和7006在图7H中以非半透明状态示 出)。例如，一旦在相机的视场中识别用于放置虚拟对象7002、7004和 7006的一个或多个平面，就将虚拟对象7002、7004和7006放置到该平面 上，同时对其取向、尺寸和半透明度(等等)进行可视化调节。
在图7F至图7G中，在包括如设备100的一个或多个相机所捕获的物 理环境的视图的增强现实用户界面5022中显示虚拟对象7002、7004和7006 的半透明表示。在相对于触敏显示器系统112的固定位置处显示虚拟对象 7002、7004和7006的半透明表示。例如，从图7F到图7G，当设备100相 对于物理环境移动时(如例如相机的视场中的物理桌子7020的变化位置所 指示)，虚拟对象7002、7004和7006保持在相对于触敏显示器系统112的 固定位置处。
在7H中，已在相机的视场中检测到与虚拟对象7002、7004和7006相 对应的平面7022(例如，与物理环境中的地板相对应的水平平面)并且将 虚拟对象7002、7004和7006放置在增强现实用户界面5022中的所检测的 平面上。当已将虚拟对象7002、7004和7006放置在所检测的平面上时，随 着设备100在物理环境中移动并且该一个或多个相机的视场改变，虚拟对象 保持在相对于所检测的平面的固定位置处(如下文针对图7R至图7S所描述)。
图7H至图7R示出了改变在增强现实用户界面5022中显示的虚拟对象 7002、7004和7006的位置和取向的输入。在图7H中，在与虚拟对象7002 相对应的位置处检测到通过接触7022进行的输入(例如，向上竖直轻扫输 入)。当接触7024沿着箭头7026所指示的路径移动时，虚拟对象7002在 箭头7026所指示的方向上沿着平面7022移动，如图7H至图7I中所示。当 虚拟对象7002沿着平面7022移动时，调节虚拟对象7002的尺寸(例如， 基于从虚拟对象的表示到用户的虚拟距离，目的是保持视场中的虚拟对象 的准确视角)。
在图7I中，当接触7024继续沿着箭头7028所指示的路径移动时，虚 拟对象7002在箭头7028所指示的方向上沿着平面7022移动，如图7I至图 7J中所示。当虚拟对象7002沿着平面7022朝向用户移动时，虚拟对象7002 的尺寸增大。
在图7J中，检测到用于改变虚拟对象7002的模拟物理尺寸的通过接触 7030和7032进行的输入(例如，展开手势)。当接触7030沿着箭头7034 所指示的路径移动并且接触7032沿着箭头7036所指示的路径移动时，虚拟 对象7002的尺寸增大，如图7J至图7K中所示(例如，基于从虚拟对象的 表示到用户的虚拟距离，目的是保持视场中的虚拟对象的准确视角)。
在图7K中，在与虚拟对象7006相对应的位置处检测到通过接触7038 进行的输入(例如，向下和向左轻扫输入)。当接触7038沿着箭头7040所 指示的路径移动时，虚拟对象7006在箭头7040所指示的方向上沿着平面 7022移动，如图7K至图7L中所示。当虚拟对象7006沿着平面7022朝向 用户移动时，虚拟对象7006的尺寸增大。
在图7L中，在与虚拟对象7004相对应的位置处检测到通过接触7042 进行的输入(例如，向下和向右轻扫输入)。当接触7042沿着箭头7044所 指示的路径移动时，虚拟对象7004在箭头7044所指示的方向上沿着平面 7022移动，如图7L至图7M中所示。当虚拟对象7004沿着平面7022朝向 用户移动时，虚拟对象7004的尺寸增大。
在图7M中，检测到用于改变虚拟对象7004的模拟物理尺寸的通过接 触7046和7048进行的输入(例如，展开手势)。当接触7046沿着箭头 7050所指示的路径移动并且接触7048沿着箭头7052所指示的路径移动时， 虚拟对象7004的尺寸增大，如图7M至图7N中所示。
在图7N中，检测到用于改变虚拟对象7002的模拟物理尺寸的通过接 触7054和7056进行的输入(例如，捏合手势)。当接触7054沿着箭头 7058所指示的路径移动并且接触7056沿着箭头7060所指示的路径移动时， 虚拟对象7002的尺寸减小，如图7N至图7O中所示。
在图7O中，检测到用于改变虚拟对象7004的模拟物理尺寸的通过接 触7062和7064进行的输入(例如，捏合手势)。当接触7062沿着箭头 7066所指示的路径移动并且接触7064沿着箭头7068所指示的路径移动时， 虚拟对象7002的尺寸减小，如图7O至图7P中所示。
在图7P中，在与虚拟对象7004相对应的位置处检测到通过接触7070 进行的输入(例如，向上和向左轻扫输入)。当接触7070沿着箭头7072所 指示的路径移动时，虚拟对象7004在箭头7072所指示的方向上沿着平面 7022移动，如图7P至图7Q中所示。当虚拟对象7004沿着平面7022远离 用户移动时，虚拟对象7004的尺寸减小(例如，基于从虚拟对象的表示到 用户的虚拟距离，目的是保持视场中的虚拟对象的准确视角)。
在图7Q中，检测到用于改变虚拟对象7006的模拟取向的通过接触 7074和7076进行的输入(例如，旋转手势)。当接触7074沿着箭头7078 所指示的路径移动并且接触7076沿着箭头7080所指示的路径移动时，虚拟 对象7006围绕与虚拟对象7006相对于其定位的平面7022垂直的轴线旋转， 如图7Q至图7R中所示
从图7R到图7S并且从图7S到图7T，当设备100相对于物理环境移动 时(如例如相机的视场中的物理桌子7020的变化位置所指示)，虚拟对象 7002、7004和7006保持在相对于物理环境中的平面7022的固定位置处(例 如，当物理环境的视图改变时，虚拟对象7002、7004和7006的位置随物理 环境而移动)。
在图7T中，在增强现实用户界面5022中检测到通过接触7082进行的 输入(例如，轻击输入)。响应于该输入，显示切换控件5008、取消控件 5006和共享控件5010，如图7U中所示。
在图7U中，在与切换控件5008的“对象”区域相对应的位置处检测 到通过接触7084进行的输入(例如，轻击输入)。响应于该输入，增强现 实用户界面5022中的虚拟对象7002、7004和7006的显示被替换为对象登 台视图5004中的虚拟对象7002、7004和7006的显示，如图7U、图7V、 图7W和图7X中所示。当发生从在增强现实用户界面5022中显示虚拟对象7002、7004和7006到在对象登台视图5004中显示虚拟对象7002、7004和 7006的过渡时，该设备显示动画过渡，该动画过渡示出了虚拟对象7002、 7004和7006移动(例如，旋转、缩放、平移和/或上述的组合)回到虚拟对 象7002、7004和7006的预定义的配置(例如，预定义的次序、位置、取向 和/或尺寸)(如先前在图7A中在对象用户界面5004中所显示)。例如， 从图7U到图7X：虚拟对象7002向下和向左移动到先前在图7A中显示虚 拟对象7002的位置；虚拟对象7004向下和向右移动到先前在图7A中显示 虚拟对象7004的位置；并且虚拟对象7006向上、向右移动并且逆时针地旋 转到先前在图7A中显示虚拟对象7006的位置和取向。在一些实施方案中， 在对象登台视图5004中显示虚拟对象7002、7004和7006时，按高度的次 序(例如，按递减高度次序)和/或以所显示的虚拟对象之间的相等间距显 示虚拟对象。
在图7X中，在与切换控件5008的“对象”区域相对应的位置处检测 到通过接触7086进行的输入(例如，轻击输入)。响应于该输入，对象登 台视图5004中的虚拟对象7002、7004和7006的显示被替换为增强现实用 户界面5022中的虚拟对象7002、7004和7006的显示，如图7X至图7Y中 所示。在图7Y中，根据通过先前对虚拟对象7002、7004和7006进行的调节(如针对图7H至图7R所描述)得到的位置、取向和尺寸来显示虚拟对 象7002、7004和7006。
图7Z至图7AC示出了用于在对象登台用户界面5004中设定虚拟对象 之间的间距的虚拟对象的边界。在图7Z中，边界7094对应于虚拟对象7088 并且边界7098对应于虚拟对象7092。边界7096对应于虚拟对象7090的静 止状态。
动画序列与虚拟对象7090相关联。时间线7100指示与虚拟对象7090 相关联的动画序列内的回放位置。显示了用于发起与虚拟对象7090相关联 的动画序列的回放的播放控件7102以及用于调节与动画序列相关联的声音 的音量的音量控件7104。在图7Z中，在与播放控件7102相对应的位置处 检测到通过接触7106进行的输入(例如，轻击输入)。响应于该输入，激 活与虚拟对象7090相关联的动画序列，如图7Z至图7AC中的虚拟对象 7090的移动所示。虚拟对象7090的移动延伸超出第一边界7096。边界7108 对应于虚拟对象7090在动画序列的持续时间内的延伸范围。基于如图7AC 中所指示的边界7094、边界7108和边界7098来设定对象登台用户界面5004 中的虚拟对象7088、7090和7092之间的相等间距。
图7AD至图7AL示出了要放置在增强现实用户界面5022中的多个虚 拟对象的选择。
图7AD示出了显示二维图像(诸如图像7118)和/或三维虚拟对象(诸 如虚拟对象7110)的二维表示的对象管理用户界面7099(例如，网站、照 片管理应用程序用户界面和/或文件管理用户界面)。
在图7AE中，在与虚拟对象7110相对应的位置处检测到通过接触7112 进行的输入(例如，轻击输入)。响应于该输入，选择虚拟对象7110(例 如，如在虚拟对象7112附近显示的选择指示符7114所标记)。
在图7AF中，在与图像7118相对应的位置处检测到通过接触7116进 行的输入(例如，轻击输入)。响应于该输入，选择图像7118(例如，如 所显示的覆盖图像7118的选择指示符7120所标记)。
在图7AG中，在与虚拟对象7122相对应的位置处检测到通过接触7124 进行的输入(例如，轻击输入)。响应于该输入，选择虚拟对象7122(例 如，如在虚拟对象7122附近显示的选择指示符7126所标记)。
在图7AH中，在选择虚拟对象7110、7118和7122时，在与共享控件 7130相对应的位置处检测到通过接触7128进行的输入(例如，轻击输入)。 响应于该输入，显示共享用户界面6016(上文针对图6C所描述)，如图 7AI中所示。在显示共享用户界面6016时，显示当前选择的虚拟对象7110、 7118和7122(例如，过滤对象和/或图像的集合(包括在对象管理用户界面7099中显示的对象和/或图像)，使得仅在显示共享用户界面6016时才显示 当前选择的虚拟对象)。
在图7AI中，在与用于在对象三维查看模式中显示一个或多个选择的 对象的控件6024相对应的位置处检测到通过接触7128进行的输入(例如， 轻击输入)。响应于该输入，共享用户界面6016和对象管理用户界面7099 停止显示并且在对象登台用户界面5004中显示当前选择的虚拟对象7110、 7118和7122，如图7AJ中所示。(在一些实施方案中，响应于用于在对象 三维查看模式中显示该一个或多个选择的对象的输入，在增强现实用户界 面5022中显示该一个或多个选择的对象，如针对图7AK所描述。)
在图7AJ中，在与切换控件5008的“AR”区域相对应的位置处检测到 通过接触7130进行的输入(例如，轻击输入)。响应于该输入，对象登台 视图5004中的虚拟对象7110、7118和7122的显示被替换为增强现实用户 界面5022中的虚拟对象7110、7118和7122的显示。
在一些实施方案中，为虚拟对象定义平面类型，并且当将虚拟对象放 置在增强现实用户界面中时，在相对于具有定义的平面类型的平面的固定 位置处显示虚拟对象。例如，与虚拟对象7110(虚拟椅子)相对应的平面 类型是可用作增强现实视图中的虚拟对象的三维表示的支撑表面的水平物 理表面(例如，用于支撑椅子的地板表面)。与虚拟对象7118(摄影图像) 相对应的平面类型是可用作增强现实视图中的虚拟对象的三维表示的支撑 表面的竖直物理表面(例如，用于悬挂摄影图像的竖直墙壁)。与虚拟对 象7122(壁灯)相对应的平面类型是可用作增强现实视图中的虚拟对象的 三维表示的支撑表面的竖直物理表面(例如，用于悬挂壁灯的竖直墙壁)。 在图7AK中，响应于如针对图7AJ所描述的所检测的输入，根据为相应虚 拟对象定义的平面类型来在增强现实用户界面5022中显示虚拟对象7110、 7118和7122。例如，显示虚拟椅子对象7110，使得其看起来由物理环境中 检测到的地板平面5046支撑，显示虚拟摄影图像对象7118，使得其看起来 悬挂在物理环境中检测到的后墙壁平面7132上，并且显示虚拟壁灯对象 7122，使得其看起来悬挂在物理环境中检测到的侧墙壁平面7134上。
在一些实施方案中，未为选择的虚拟对象定义平面类型并且在相对于 单个平面(例如，默认平面类型、物理环境中检测到的第一水平平面和/或 物理环境中检测到的任何类型的第一平面)的固定位置处显示虚拟对象。 在图7AL中，响应于如针对图7AJ所描述的所检测的输入，在相对于地板 平面5046的固定位置处显示虚拟对象7110、7118和7122，使得虚拟对象 看起来由地板平面5046支撑。
图7AM至图7AQ示出了要放置在增强现实用户界面5022中的虚拟对 象的操纵。
在图7AM中，检测到用于改变虚拟对象7118的模拟取向的通过接触 7136和7138进行的输入(例如，旋转手势)。当接触7136沿着箭头7140 所指示的路径移动并且接触7138沿着箭头7142所指示的路径移动时，虚拟 对象7118围绕与虚拟对象7118相对于其定位的竖直墙壁平面7132垂直的 轴线旋转，如图7AM至图7AN中所示。在图7AN至图7AO中，接触7136继续沿着箭头7141所指示的路径移动，接触7138继续沿着箭头7143所指 示的路径移动，并且虚拟对象7110继续旋转。
在图7AO中，检测到用于改变虚拟对象7110的模拟取向的通过接触 7144和7146进行的输入(例如，旋转手势)。当接触7144沿着箭头7148 所指示的路径移动并且接触7146沿着箭头7150所指示的路径移动时，虚拟 对象7110围绕与虚拟对象7110相对于其定位的水平地板平面5046垂直的 轴线旋转，如图7AO至图7AP中所示。在图7AP至图7AQ中，接触7144继续沿着箭头7152所指示的路径移动，接触7146继续沿着箭头7154所指 示的路径移动，并且虚拟对象7110继续旋转。
图8A至图8K示出了根据一些实施方案的用于显示改变不满足在增强 现实环境中显示的兼容性标准的媒体项的属性的提示的示例性用户界面。 这些附图中的用户界面用于示出下文描述的过程，包括图9A至图9C、图 10A至图10C、图11A至图11D、图12A至图12B和图13A至图13B中的 过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操 作来论述实施方案中的一些实施方案。在此类实施方案中，焦点选择器为 任选地：相应手指或触笔接触、对应于手指或触笔接触的表示点(例如， 相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所 检测到的两个或更多个接触的重心。然而，响应于当在显示器450上显示附 图中示出的用户界面连同焦点选择器时检测到触敏表面451上的接触，任选 地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图8A至图8E示出了不满足在增强现实环境中显示的兼容性标准的媒 体项的处理。
在图8A中，文件管理用户界面8000显示包括AR不兼容媒体项8002 在内的媒体项。在与AR不兼容媒体项8002相对应的位置处检测到通过接 触8004进行的输入(例如，轻击输入)。响应于该输入，选择AR不兼容 媒体项8002(例如，如选择指示符8006所标记)。
在图8B中，在选择AR不兼容媒体项8002时，在与共享控件7130相 对应的位置处检测到通过接触8007进行的输入(例如，轻击输入)。响应 于该输入，共享用户界面6016(上文针对图6C所描述)与当前选择的AR 不兼容媒体项8002一起显示，如图8C中所示。
在图8C中，在与用于在三维查看模式中显示一个或多个选择的对象 (诸如选择的AR不兼容媒体项8002)的控件6024相对应的位置处检测到 通过接触8008进行的输入(例如，轻击输入)。响应于检测到该输入，该 设备确定选择的AR不兼容媒体项8002是否具有不满足在增强现实环境中 显示的兼容性标准的属性。由于选择的AR不兼容媒体项8002具有不满足 在增强现实环境中显示的兼容性标准的属性，因此该设备显示提示面板 8012，该提示面板包括用于改变媒体项的属性的提示(例如，“选择的项 目与AR不兼容。您愿意将该项目转换为AR兼容格式吗？”)，如图8D 中所示。提示面板8012包括用于转换选择的AR不兼容媒体项8002的控件 8014以及用于消除提示面板8012的控件8016。
在图8D中，在与用于将选择的媒体项转换为AR兼容格式的控件8014 相对应的位置处检测到通过接触8018进行的输入(例如，轻击输入)。响 应于该输入，将AR不兼容媒体项8002转换为AR兼容格式并且在如图8F 中所示的增强现实用户界面5022中(或在如图8E中所示的对象登台用户界 面5004中)显示媒体项8002的转换版本(例如，与媒体项8002的转换版 本相对应的虚拟对象8003)。在对象登台用户界面5004中显示与媒体项 8002的转换版本相对应的虚拟对象8003时，在与切换控件5008的“AR” 区域相对应的位置处检测到通过接触8020进行的输入(例如，轻击输入)。 响应于该输入，对象登台用户界面5004的显示被替换为增强现实用户界面 5022中与媒体项8002的转换版本相对应的虚拟对象8003的显示，如图8E 至图8F中所示。
图8G至图8K示出了满足在增强现实环境中显示的兼容性标准的媒体 项的处理。
在图8G中，文件管理用户界面8000显示包括AR兼容媒体项8022在 内的媒体项。在与AR兼容媒体项8022相对应的位置处检测到通过接触 8028进行的输入(例如，轻击输入)。响应于该输入，选择AR兼容媒体项 8022(例如，如选择指示符8026所标记)。
在图8H中，在选择AR兼容媒体项8022时，在与共享控件7130相对 应的位置处检测到通过接触8028进行的输入(例如，轻击输入)。响应于 该输入，共享用户界面6016(上文针对图6C所描述)与当前选择的AR兼 容媒体项8022一起显示，如图8I中所示。
在图8I中，在与用于在三维查看模式中显示一个或多个选择的对象 (诸如选择的AR兼容媒体项8022)的控件6024相对应的位置处检测到通 过接触8028进行的输入(例如，轻击输入)。响应于检测到该输入，该设 备确定选择的AR兼容媒体项8022是否具有不满足在增强现实环境中显示 的兼容性标准的属性。由于选择的AR兼容媒体项8022满足在增强现实环 境中显示的兼容性标准，因此该设备在如图8K中所示的增强现实用户界面 5022中(或在如图8J中所示的对象登台用户界面5004中)显示与AR兼容 媒体项8022相对应的虚拟对象8023。在对象登台用户界面5004中显示与 AR兼容媒体项8022相对应的虚拟对象8023时，在与切换控件5008的“AR” 区域相对应的位置处检测到通过接触8030进行的输入(例如，轻击输入)。 响应于该输入，对象登台用户界面5004的显示被替换为增强现实用户界面5022中与AR兼容媒体项8022相对应的虚拟对象8023的显示，如图8J至 图8K中所示。
图9A至图9C是根据一些实施方案的示出显示一个或多个输入的视觉 指示的方法900的流程图，该一个或多个输入在被执行时会使得执行动作的 标准被满足。方法900在具有显示生成部件(例如，显示器、投影仪、平视 显示器等)和一个或多个输入设备(例如，既用作显示器又用作触敏表面 的触摸屏显示器、相机、控制器、操纵杆、按钮等)的电子设备(例如， 图3的设备300或图1A的便携式多功能设备100)处执行。在一些实施方 案中，显示生成部件是触摸屏显示器，并且触敏表面是在显示生成部件上 或与显示生成部件集成的输入设备。在一些实施方案中，显示生成部件与 一个或多个输入设备分开。方法900中的一些操作任选地被组合，并且/或 者一些操作的次序任选地被改变。
该方法涉及在显示包括虚拟对象的环境时检测输入。虚拟对象与动作 (例如，动画)相关联。响应于该输入，该设备确定是否要执行该动作或 显示将使得该动作被执行的输入的指示。显示将使得与虚拟对象相关联的 动作被执行的输入的指示向用户提供了改进的视觉反馈(例如，通过确定 用户何时未提供满足引起虚拟对象的动画的标准的输入并且向用户提供关 于所需输入的信息)。向用户提供改进的视觉反馈提高了用户能够使得与虚拟对象相关联的动作被执行的效率，从而增强了设备的可操作性，这又 通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设 备的电池寿命。
设备在(902)处经由显示生成部件(例如，触敏显示器系统112)来 显示环境(例如，虚拟现实环境、增强现实环境或允许通过操纵对象来放 置在增强现实环境中的对象视图环境)的至少一部分，该至少一部分包括 与基于满足第一组标准来触发的第一动作(例如，以动画方式显示虚拟对 象的至少一部分的动画序列)相关联的虚拟对象。例如，图5F示出了在增 强现实用户界面5022中显示的虚拟对象5002。如图5E至图5F中所示，增 强现实用户界面5022显示增强现实环境，该增强现实环境包括虚拟对象 5002和如设备100的一个或多个相机(例如，相机模块143的一个或多个 相机)所捕获的物理环境。虚拟对象5002与动画序列相关联，如图5H至 图5I中所示。
在由显示生成部件显示环境的该部分时，该设备在(904)处检测第一 输入。例如，在图5G中，在与虚拟对象5002相对应的位置处检测到轻击 输入。在图5J至图5K中，在与虚拟对象5002相对应的位置处检测到轻扫 输入。
在(906)处响应于检测到第一输入：根据确定第一输入满足第一组标 准(例如，通过轻击输入、按压输入、指向与虚拟对象相对应的位置的电 子设备的用户的注视的检测、使得虚拟对象显示在一个或多个相机的视场 的指定的部分处的输入和/或电子设备的至少一部分向虚拟对象的所显示的 位置的定义的距离内的移动来满足第一组标准)，该设备执行第一动作 (例如，根据与虚拟对象相关联的动画序列以动画方式显示虚拟对象的至少一部分)，并且根据确定第一输入不满足第一组标准而是满足第二组标 准(例如，通过用于移动虚拟对象的轻扫输入、用于旋转虚拟对象的轻扫 输入、用于减小虚拟对象的所显示的尺寸的捏合输入、用于增大虚拟对象 的所显示的尺寸的展开输入、指向不与虚拟对象相对应的位置的电子设备 的用户的注视的检测、使得虚拟对象显示在不位于一个或多个相机的视场 的指定的部分内的位置处的输入和/或电子设备不位于虚拟对象的所显示的 位置的定义的距离内的确定来满足第二组标准)，该设备放弃执行第一动 作并且转而显示一个或多个输入的第一视觉指示(例如，指示该一个或多 个输入的文本提示和/或示出该一个或多个输入的动画)，该一个或多个输 入在被执行时会使得第一组标准被满足。
例如，响应于满足第一组标准的输入(例如，针对图5G描述的轻击输 入)，执行第一动作(例如，发生动画序列的回放，如针对图5H至图5I所 描述)。响应于不满足第一组标准而是满足第二组标准的输入(例如，针 对图5J至图5K描述的轻扫输入)，该设备放弃执行第一动作并且转而显示 一个或多个输入的第一视觉指示，该一个或多个输入在被执行时会使得第 一组标准被满足(例如，该设备显示指示“在箱子上轻击以查看动画！” 的视觉指示5028，如针对图5K所描述)。在一些实施方案中，作为视觉指 示的补充或替代，提供了在被执行时会使得第一组标准被满足的一个或多 个输入的音频指示。
在一些实施方案中，在(908)处第一组标准包括根据确定电子设备的 至少一部分(例如，该一个或多个输入设备中的相应输入设备、显示生成 部件和/或一个或多个相机)移动到位于虚拟对象的所显示的位置的定义的 距离内的位置而满足的标准。在一些实施方案中，在被执行时会使得第一 组标准被满足的一个或多个输入的第一视觉指示包括将电子设备移动到位 于虚拟对象的所显示的位置的定义的距离内的位置的指引(例如，“靠近 箱子移动设备。”)。例如，如针对图5AD至图5AH所描述，根据确定设 备100已移动到位于虚拟对象5002的所显示的位置的定义的距离内的位置 而满足用于执行动作的第一组标准。在图5AD至图5AE中，该设备不位于 虚拟对象5002的所显示的位置的定义的距离内，并且显示一个或多个输入 的视觉指示5060，该一个或多个输入在被执行时会使得第一组标准被满足。 在图5AF中，该设备已移动到虚拟对象5002的所显示的位置的定义的距离 内并且执行动画序列，如针对图5AF至图5AH所描述。确定是否要执行与 虚拟对象相关联的动作或显示将使得该动作被执行的输入的指示(这取决 于该设备是否移动到位于虚拟对象的所显示的位置的定义的距离内的位置) 向用户提供了改进的视觉反馈(例如，通过确定该设备何时并未足够接近 虚拟对象并且提供指示用户必须靠近虚拟对象的所显示的位置才能激活虚 拟对象的动画的信息)。向用户提供改进的视觉反馈提高了用户能够使得 与虚拟对象相关联的动作被执行的效率，从而增强了设备的可操作性，这 又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了 设备的电池寿命。
在一些实施方案中，在(910)处该一个或多个输入设备包括触摸屏显 示器(例如，触敏显示器系统112)并且第一组标准包括根据确定第一输入 是通过在触摸屏显示器上的与虚拟对象相对应的位置处的接触进行的轻击 输入而满足的标准(例如，如针对图5G至图5I所描述)。在一些实施方案 中，第一视觉指示包括轻击与虚拟对象相对应的位置的指引(例如，“在 箱子上轻击。”)。确定是否要执行与虚拟对象相关联的动作或显示将使 得该动作被执行的输入的指示(这取决于该输入是否为通过触摸屏显示器 上的与虚拟对象相对应的位置处的接触进行的轻击输入)向用户提供了改 进的视觉反馈(例如，通过确定该输入是否为轻击输入并且提供指示用户 必须轻击虚拟对象才能激活虚拟对象的动画的信息)。提供改进的视觉反 馈提高了用户能够使得与虚拟对象相关联的动作被执行的效率，从而增强 了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少 了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(912)处该一个或多个输入设备包括用于检测 电子设备的用户的注视的方向的传感器(例如，相机模块143的一个或多个 相机)并且第一组标准包括根据确定用户的注视指向与虚拟对象相对应的 位置(例如，虚拟对象的指定的部分内的位置、虚拟对象上的任何位置处 的位置和/或虚拟对象的定义的距离内的位置处的位置)而满足的标准。例 如，如针对图5L-1和图5L-2、图5M-1和图5M-2、图5N-1和图5N-2以及 图5O-1和图5O-2所描述，根据确定用户的注视指向与虚拟对象5002相对 应的位置而满足执行动作的第一组标准。在图5L-1和图5L-2中，用户5030 的注视5034不指向虚拟对象5002的所显示的位置，并且显示一个或多个输 入的视觉指示5036，该一个或多个输入在被执行时会使得第一组标准被满 足。在图5M-1和图5M-2中，用户5030的注视5038指向虚拟对象5002的所显示的位置并且执行动画序列，如针对图5M-1和图5M-2、图5N-1和图 5N-2以及图5O-1和图5O-2所描述。在一些实施方案中，第一视觉指示包 括使用户的注视指向与虚拟对象相对应的位置的指引(例如，“看着箱 子。”)。确定是否要执行与虚拟对象相关联的动作或显示将使得该动作 被执行的输入的指示(这取决于用户的注视是否指向与虚拟对象相对应的位置)使得多种不同类型的操作能够响应于输入而执行。使得多种不同类 型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从 而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备 而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，电子设备包括一个或多个相机(例如，与显示生 成部件相对的设备侧面上的一个或多个后向相机)，所显示的环境包括该 一个或多个相机的视场的至少一部分，该设备在(914)处检测电子设备的 移动(例如，电子设备的横向移动和/或旋转)，该移动调节该一个或多个 相机的视场，并且响应于检测到电子设备的移动，该设备根据虚拟对象与 该一个或多个相机的视场中的相应平面之间的固定空间关系(例如，取向和/或位置)来调节虚拟对象(例如，虚拟对象以一定取向和位置在显示器 上显示，使得在响应于电子设备的所检测的移动而调节该一个或多个相机 的视场时保持虚拟对象与平面之间的固定角度(例如，虚拟对象看起来保 持在该平面上的固定位置处)。例如，如针对图5E所描述，增强现实用户 界面5022显示如一个或多个相机的视场中所捕获的物理环境5018。如针对 图5S至图5U所描述，当该设备移动使得该一个或多个相机的视场被调节 时，虚拟对象5002根据虚拟对象5002和与物理桌子5020的上表面相对应 的平面之间的固定空间关系来移动。响应于电子设备的移动而根据虚拟对 象与该一个或多个相机的视场中的平面之间的固定空间关系来调节虚拟对 象向用户提供了改进的视觉反馈(例如，通过提供虚拟对象已被放置在相 对于平面的固定位置处的指示)。为用户提供改进的视觉反馈增强了设备 的可操作性并且使用户-设备界面更高效，这又通过使用户能够更快速且高 效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(916)处第一组标准包括根据确定虚拟对象在 该一个或多个相机的视场的指定的部分内显示(例如，虚拟对象在该一个 或多个相机的视场的所显示的部分中完全可见，虚拟对象在该一个或多个 相机的视场的所显示的部分中基本上居中，虚拟对象在该一个或多个相机 的视场的指定的部分内显示，和/或虚拟对象的至少预先确定的部分在相机 的视场中显示)而满足的标准。例如，在图5S至图5T中，虚拟对象5002 未在增强现实用户界面5022中显示的该一个或多个相机的视场的指定的部 分(例如，圆圈5052)内完全显示，并且显示一个或多个输入的视觉指示 5054，该一个或多个输入在被执行时会使得第一组标准被满足。在图5U中， 虚拟对象5002在圆圈5052内完全显示并且执行动画序列，如针对图5U至 图5W所描述。在一些实施方案中，第一视觉指示包括移动该设备使得虚拟 对象在该一个或多个相机的视场的指定的部分内显示的指引(例如，“移 动该设备以查看该箱子。”)。在一些实施方案中，第一组标准要求满足 多个标准(例如，在虚拟对象处注视、在虚拟对象上轻击输入、靠近虚拟 对象和/或虚拟对象处于视场中)(例如，如针对图5X至图5AC所描述)。 在一些实施方案中，根据确定满足虚拟对象显示标准(例如，虚拟对象在 该一个或多个相机的视场的所显示的部分中完全可见，虚拟对象在该一个 或多个相机的视场的所显示的部分中基本上居中，虚拟对象在该一个或多 个相机的视场的指定的部分内显示，和/或虚拟对象的至少预先确定的部分 在相机的视场中显示)，不显示第一视觉指示。在一些实施方案中，虚拟 对象具有边界(例如，虚拟对象5002的轮廓或包围虚拟对象5002的椭圆形 或方框)，执行该动作(例如，虚拟对象的动画)使得虚拟对象的至少一部分延伸超出第一边界，第二边界对应于动画期间第一相应虚拟对象的延 伸范围，并且第一组标准包括根据确定第二边界在该设备的相机的视场的 所显示的部分中完全显示而满足的标准。确定是否要执行与虚拟对象相关 联的动作或显示将使得该动作被执行的输入的指示(这取决于虚拟对象是 否在该一个或多个相机的视场的指定的部分内显示)使得多种不同类型的 操作能够响应于输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性， 这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长 了设备的电池寿命。
在一些实施方案中，在(918)处第二组标准包括根据确定第一输入是 用于移动虚拟对象的输入(例如，包括接触沿着触摸屏显示器上的路径的 移动在内的轻扫输入)而满足的标准。例如，针对图5J至图5K描述了用于 移动虚拟对象5002的输入。显示响应于用于移动虚拟对象的输入而将使得 该动作被执行的输入的指示向用户提供了改进的视觉反馈(例如，通过向 用户提供关于以动画方式显示虚拟对象所需的不同输入的信息)。向用户提供视觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输 入并减少用于与虚拟对象交互的不必要的另外输入)，这又通过使用户能 够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(920)处该设备接收在环境中的第一位置处显 示虚拟对象的请求，并且响应于在环境中的第一位置处显示虚拟对象的请 求：根据确定与第一位置相对应的表面尺寸不满足虚拟对象的尺寸兼容性 标准，该设备显示视觉指示，该视觉指示提供指示第一位置不满足尺寸兼 容性标准的信息(并且放弃在环境中的第一位置处显示虚拟对象)，并且 根据确定与第一位置相对应的表面尺寸满足虚拟对象的尺寸兼容性标准(例如，与第一位置相对应的表面尺寸小于虚拟对象的尺寸(例如，小预 定义的量))，该设备在环境中的第一位置处显示虚拟对象。例如，如针 对图5Q至图5R所描述，响应于在物理灯5004的上表面处显示虚拟对象 5002的请求(例如，沿着图5Q中的箭头5048所指示的路径移动虚拟对象 5002的输入)，视觉指示5050提供指示第一位置不满足尺寸兼容性标准的信息(例如，包括指示“该对象不能放置在该表面上！”的文本的信息)， 这是由于物理灯5044的上表面的尺寸不满足虚拟对象5002的尺寸兼容性标 准。在一些实施方案中，虚拟对象具有尺寸属性(例如，与对象的真实世 界尺寸相对应)，该尺寸属性指示虚拟对象的至少一部分的尺寸(例如， 长度、宽度、半径和/或面积)。例如，尺寸属性指示虚拟对象的一部分的 尺寸(例如，将放置在相对于(例如，面向)物理环境中的表面的固定位 置处的虚拟对象的表面的尺寸)。第一位置是例如桌子的上表面、墙壁、 地板或天花板。响应于确定用户请求显示虚拟对象的位置不满足尺寸兼容 性标准而显示视觉指示为用户提供了改进的视觉反馈(例如，通过提供为 什么不将虚拟对象放置在该位置处和/或如何将虚拟对象放置在满足尺寸兼 容性标准的位置处的指示)。提供改进的视觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少用于放置虚拟对象的不必要 的另外输入)并且使用户-设备更有效，这又通过使用户能够更快速且有效 地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(922)处在执行第一动作时(和/或之后)检 测到电子设备的移动，响应于检测到电子设备的移动而根据虚拟对象与相 应平面之间的固定空间关系来调节虚拟对象使得虚拟对象至少部分地移动 超出该一个或多个相机的视场的所显示的部分，并且在虚拟对象至少部分 地超出该一个或多个相机的视场的所显示的部分时，该设备显示一个或多 个输入的第二视觉指示(例如，与第一视觉指示相同或不同)，该一个或多个输入在被执行时会使得第一组标准被满足。在虚拟对象超出该一个或 多个相机的所显示的视场时显示会使得第一组标准被满足的输入的指示为 用户提供了改进的视觉反馈(例如，以指示用户必须移动该设备，使得虚 拟对象在该一个或多个相机的视场内可见(例如，完全可见))。提供改 进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如， 通过帮助用户提供合适的输入，减少用于使得第一组标准被满足的不必要 的另外输入)，这又通过使用户能够更快速且有效地使用设备而减少了电 力使用并且延长了设备的电池寿命。
在一些实施方案中，电子设备包括一个或多个相机，并且根据确定第 一输入对应于在增强现实环境中显示虚拟对象的请求(例如，在与切换控 件5008的“AR”区域相对应的位置处的输入，如针对图5D所描述)，该 设备在(924)处将包括虚拟对象的环境的显示替换为该一个或多个相机的 视场的至少一部分的显示(例如，如针对图5E至图5F所描述)。在一些实 施方案中，显示生成部件所显示的环境包括除围绕该设备的物理环境的图 像之外的背景(例如，第一用户界面区域的背景是预先选择的背景颜色/图 案，或与该一个或多个相机同时捕获的输出图像不同并且与该一个或多个 相机的视场中的实况内容不同的背景图像)，并且响应于在增强现实环境 中显示虚拟对象的请求，将环境的显示替换为围绕该设备的物理环境的显 示(例如，如在该一个或多个相机的视场中所捕获)。要么执行与虚拟对象相关联的动作，要么显示将使得该动作被执行的输入的指示，要么响应 于输入而将包括虚拟对象的环境的显示替换为虚拟对象与一个或多个相机 的视场的一起显示，这使得多种不同类型的操作能够响应于输入而执行。 使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些 操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且 有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(926)处第二组标准包括根据确定第一输入是 用于改变虚拟对象的特征(例如，取向和/或尺寸)的输入而满足的标准。 在一些实施方案中，用于改变特征的输入包括轻扫输入(例如，接触沿着 触摸屏显示器上的路径的移动)。例如，用于改变虚拟对象的特征的输入 是在对象登台用户界面5004中显示虚拟对象5002时检测到的用于旋转虚拟 对象5002的输入，如针对图5B至图5C所描述。在一些实施方案中，轻扫 输入改变虚拟对象的取向(例如，通过使虚拟对象围绕一个或多个轴线旋 转)。在一些实施方案中，用于改变特征的输入包括捏合和/或展开输入 (例如，两个接触沿着触摸屏显示器上的相应路径的移动，所述路径使这 两个接触相互靠近(捏合)或相互分开(展开))。在一些实施方案中， 捏合和/或展开输入改变虚拟对象的所显示的尺寸。在一些实施方案中，满 足第一组标准的第一输入是在对象登台用户界面5004中显示虚拟对象5002 时检测到的输入(例如，在与虚拟对象5002相对应的位置处的轻击输入) (例如，在对象登台用户界面5004中显示虚拟对象5002时使得与虚拟对象 5002相关联的动画序列发生)。要么执行与虚拟对象相关联的动作，要么 显示将使得该动作被执行的输入的指示，要么响应于输入而将包括虚拟对 象的环境的显示替换为虚拟对象与一个或多个相机的视场的一起显示，这 使得多种不同类型的操作能够响应于输入而执行。使得多种不同类型的操 作能够响应于输入而执行提高了用户能够执行这些操作的效率，这又通过 使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的 电池寿命。
在一些实施方案中，在(928)处在被执行时会使得第一组标准被满足 的该一个或多个输入的第一视觉指示包括文本提示(例如，指示“在箱子 上轻击以查看动画！”的文本提示，如针对图5K中的视觉指示5028所描 述)。显示指示将使得与虚拟对象相关联的动作被执行的输入的文本提示 向用户提供了改进的视觉反馈(例如，通过向用户提供指示所需输入的文 本)。向用户提供改进的视觉反馈提高了用户能够使得与虚拟对象相关联 的动作被执行的效率，从而增强了设备的可操作性，这又通过使用户能够 更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命
在一些实施方案中，该设备在(930)处在显示在被执行时会使得第一 组标准被满足的一个或多个输入的第一视觉指示时检测满足第一组标准的 第二输入，并且响应于检测到满足第一组标准的第二输入，该设备停止显 示第一视觉指示。例如，如针对图5AD至图5AF所描述，在显示视觉指示 5060时检测到满足执行动作的第一组标准的输入，并且根据确定设备100 已移动到位于虚拟对象5002的所显示的位置的定义的距离内的位置(如针对图5AF所描述)，该设备停止显示视觉指示5060。响应于检测到满足第 一组标准的输入(例如，而不需要消除第一视觉指示的进一步用户输入) 而停止显示将使得该动作被执行的输入的视觉指示减少了执行操作所需的 输入数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且 使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而 减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(932)处执行第一动作包括以动画方式显示虚 拟对象的至少一部分(例如，以动画方式显示虚拟对象5002，使得箱子的 盖子打开，如针对图5G至图5I所描述)。以动画方式显示虚拟对象的至少 一部分为用户提供了改进的视觉反馈(例如，以指示所提供的输入满足以 动画方式显示该对象的标准)。提供改进的视觉反馈增强了设备的可操作 性，并且使用户-设备界面更有效(例如，通过帮助用户提供适当的输入并 减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快 速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该设备在(934)处(例如，在执行第一动作期间 和/或之后)显示视频播放头控件以用于调节以动画方式显示虚拟对象的该 部分的动画序列的回放。例如，如针对图5AI至图5AK所描述，移动视频 播放头控件5066的输入调节以动画方式显示虚拟对象5002的盖子的动画序 列的回放。显示视频播放头控件以用于调节以动画方式显示虚拟对象的该 部分的动画序列的回放为用户提供了改进的视觉反馈(例如，以指示虚拟对象的回放可调节)。提供改进的视觉反馈增强了设备的可操作性并且使 用户-设备界面更高效，这又通过使用户能够更快速并有效地使用设备而减 少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在(936)处电子设备包括音频生成部件，执行第 一动作包括由音频生成部件生成第一音频通道和第二音频通道，并且该设 备根据环境中的虚拟对象的所显示的位置来调节第一音频通道的幅值和第 二音频通道的幅值。在一些实施方案中，空间音频用于为用户提供环境中 的虚拟对象相对于环境中的用户的(真实或虚拟)位置的距离和/或位置的 指示。例如，当虚拟对象与用户之间的距离减少时，第一音频通道的幅值和第二音频通道的幅值增加，并且当虚拟对象从用户左侧移动到用户右侧 时，左音频通道的幅值减小并且右音频通道的幅值增加。基于环境中的虚 拟对象的所显示的位置来调节第一音频通道的幅值和第二音频通道的幅值 为用户提供了听觉反馈(例如，以指示环境中的虚拟对象相对于环境中的 用户的位置的距离和位置)。提供听觉反馈增强了设备的可操作性，并且 使用户-设备界面更有效(例如，通过帮助用户定位当前不位于该一个或多 个相机的所显示的视场内的虚拟对象)，这又通过使用户能够更快速且有 效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图9A至图9C中已经进行描述的操作的具体顺序仅仅是 示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领 域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另 外，应当注意，本文相对于本文所述的其他方法(例如，方法1000、1100、 1200和1400)所述的其他过程的细节同样以类似的方式适用于上文相对于 图9A至图9C所述的方法900。例如，上文参考方法900所述的接触、输 入、手势、虚拟对象、环境、用户界面区域、用户界面对象、视场、移动 和/或动画任选地具有本文参考本文所述的其他方法(例如，方法1000、 1100、1200和1400)所述的接触、输入、手势、媒体项、虚拟对象、环境、 用户界面区域、用户界面对象、视场、移动和/或动画的特征中的一个或多 个特征。为了简明起见，此处不再重复这些细节。
图10A至图10C是根据一些实施方案的示出在包括一个或多个相机的 视场的至少一部分的内容的用户界面中显示媒体项的方法1000的流程图。 方法1000在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、 一个或多个输入设备(例如，既用作显示器又用作触敏表面的触摸屏显示 器、相机、控制器、操纵杆、按钮等)以及一个或多个相机(例如，与显 示器和触敏表面相对的设备侧面上的一个或多个后向相机)的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。在一 些实施方案中，显示生成部件是触摸屏显示器，并且触敏表面是在显示生 成部件上或与显示生成部件集成的输入设备。在一些实施方案中，显示生 成部件与一个或多个输入设备分开。方法1000中的一些操作任选地被组合， 并且/或者一些操作的次序任选地被改变。
该方法涉及在包括一个或多个相机的视场的至少一部分的内容的用户 界面中显示媒体项的表示。在包括一个或多个相机的视场的至少一部分的 内容的用户界面中显示媒体项减少了执行操作所需的输入数量(例如，通 过在现有共享用户界面中提供控件以用于在包括一个或多个相机的视场的 至少一部分的内容的界面中显示媒体项的表示)。减少执行操作所需的输 入数量增强了设备的可操作性并且使用户-设备界面更有效(例如，通过允 许用户在不必提供输入的情况下在包括一个或多个相机的视场的至少一部 分的内容的界面中显示媒体项的表示和/或访问外部应用程序以转换媒体项 以便在包括一个或多个相机的视场的至少一部分的内容的界面中显示)， 这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长 了设备的电池寿命。
该设备在(1002)处由显示生成部件(例如，触敏显示器系统112)显 示：第一用户界面区域(例如，照片管理应用程序的照片查看界面6004， 如针对图6A所描述)、第一用户界面区域中的第一媒体项的第一表示(例 如，照片(诸如照片6002)、图像、与视频相对应的静态图像、与音乐内 容相对应的专辑封面或它们的缩略图表示)以及用于显示共享用户界面 (例如，提供与第一媒体项和/或其他媒体项的各种共享方法相对应的多个 启示的界面)的第一用户界面对象(例如，控件6008)。
在显示第一用户界面区域时，该设备在(1004)处检测与共享用户界 面对象相对应的第一输入。例如，该设备在与用于显示共享用户界面的控 件600相对应的位置处检测输入，如针对图6B所描述。
响应于检测到与第一用户界面对象相对应的第一输入，该设备在 (1006)处显示共享用户界面(例如，覆盖在第一用户界面上或替换第一 用户界面的显示)，该共享用户界面包括用于发起在增强现实环境中显示 第一媒体项的第二表示的过程的第二用户界面对象(例如，用于在对象三 维查看模式中显示一个或多个选择的对象的控件6024)。例如，响应于针 对图6B所描述的输入，该设备显示包括控件6024的共享用户界面6016， 如针对图6C所描述。
在显示共享用户界面时，该设备在(1008)处检测包括第二用户界面 对象的选择在内的一个或多个输入的序列。例如，如针对图6C所描述，在 显示共享用户界面6016时，在与控件6024相对应的位置处检测到输入。
响应于检测到包括第二用户界面对象的选择在内的一个或多个输入的 序列，该设备(停止显示共享用户界面和/或第一用户界面区域，并且)在 (1010)处在包括该一个或多个相机(例如，相机模块143的一个或多个相 机)的视场的至少一部分的内容的第二用户界面(例如，增强现实用户界 面5022)中显示第一媒体项的第二表示。例如，响应于针对图6C所描述的 输入，该设备在包括设备100的一个或多个相机的视场的至少一部分的增强现实用户界面5022中显示照片6002，如针对图6D至图6E所描述。在一些 实施方案中，第一媒体项的第二表示被显示为具有模拟深度(例如，为平 面图像赋予环境中的深度外观)。例如，如针对图6E所描述，图像6002被 显示为具有模拟背衬6034，该模拟背衬向图像6002添加环境中的深度外观。 在一些实施方案中，修改第一媒体项的第二表示以包括模拟反射率(例如， 使得图像看起来有光泽)和/或增加的亮度(例如，使得图像看起来发亮)。
在一些实施方案中，在(1012)处第一媒体项的所显示的第二表示覆 盖在该一个或多个相机的视场中的相应平面(例如，墙壁、地板或天花板) 上。例如，在图6E中，照片6002覆盖在如在设备100的该一个或多个相机 的视场中所检测到的物理环境5018的墙壁6032上。显示覆盖在环境中的平 面上的媒体项表示向用户提供了改进的视觉反馈(例如，允许用户看见环 境中的媒体项的距离和位置)。提供改进的视觉反馈增强了设备的可操作性并且使用户-设备界面更有效(例如，向用户提供媒体项的便捷访问和操 纵)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并 且延长了设备的电池寿命。
[图像的旋转受到墙壁表面的约束]在一些实施方案中，在第二用户界面 中显示第一媒体项的第二表示时，设备在(1014)处检测用于旋转第一媒 体项的第二表示的输入(例如，通过沿着旋转路径(例如，顺时针地或逆 时针地)移动的两个接触进行的输入)。响应于该输入，该设备使第一媒 体项的第二表示围绕与该一个或多个相机的视场中的、上方显示了第一媒 体项的相应平面垂直的轴线旋转。例如，如针对图6W至图6Y所描述，响 应于用于使照片6046围绕与上方显示了照片6046的墙壁6032垂直的轴线 旋转的输入，该设备使照片6046围绕与墙壁6032垂直的轴线旋转。在一些 实施方案中，根据确定用于旋转第一媒体项的第二表示的输入是使第一媒 体项的第二表示围绕不可用轴线(例如，不与该一个或多个相机的视场中 的、上方显示了第一媒体项的相应平面垂直的轴线)旋转的请求，显示视 觉指示(例如，以指示不允许围绕不可用轴线旋转。)例如，如针对图6Z 所描述，响应于用于使照片6046围绕与上方显示了照片6046的墙壁6032 平行的轴线6106旋转的输入，该设备显示指示不允许围绕轴线6106旋转的 视觉指示6098。响应于输入而使媒体项表示围绕与该一个或多个相机的视 场中的平面垂直的轴线旋转减少了执行操作所需的输入数量(例如，通过 允许用户直接与如增强现实用户界面中所显示的媒体项的所显示的表示进行交互，而不要求用户在增强现实用户界面中显示媒体项之前指示不同情 景中的优选旋转)。减少执行操作所需的输入数量增强了设备的可操作性， 并且使用户-设备界面更有效，这又通过使用户能够更快速并有效地使用设 备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，该设备在(1016)处检测电子设备的第一移动 (例如，电子设备的横向移动和/或旋转)，该第一移动调节该一个或多个 相机的视场(例如，如图6E至图6F中所示)，并且响应于检测到电子设备 的移动，该设备根据第一媒体项的第二表示与该一个或多个相机的视场中 的相应平面(例如，墙壁6032)之间的固定空间关系(例如，取向和/或位 置)来调节第一媒体项(例如，照片6002)的第二表示。根据相对于相机 的视场的固定空间关系来调节媒体项表示向用户提供了改进的视觉反馈 (例如，以指示媒体项表示相对于物理环境中的所检测的平面的固定空间 关系)。提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界 面更有效(例如，通过帮助用户提供适当的输入并减少与设备进行交互时 的使用错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该设备在(1018)处检测第二媒体项的第一表示 的选择(例如，在显示第一用户界面区域时或在显示共享用户界面时)， 并且响应于检测到包括第二用户界面对象的选择在内的一个或多个输入的 序列，该设备在包括一个或多个相机的视场的至少一部分的内容的第二用 户界面中显示第二媒体项的第二表示(例如，第一媒体项的第二表示和第 二媒体项的第二表示在一个或多个相机的视场的一部分中同时显示)。例如，如针对图6I至图6J所描述，检测到用于选择第一媒体项(照片6002) 和第二媒体项(照片6046)的输入。响应于检测到包括用于选择照片6002 和6046的输入(以及用于在增强现实用户界面5022中显示照片6002和 6046的输入，如针对图6L至图6M所描述)在内的输入序列，在包括一个 或多个相机的视场的至少一部分的内容的增强现实用户界面5022中显示照 片6002和6046，如针对图6N至图6O所描述。在一些实施方案中，按照与 该一个或多个相机的视场中的平面的固定空间关系(例如，覆盖在相同平 面上)来显示第一媒体项的第二表示和第二媒体项的第二表示。响应于检 测到一个或多个输入的序列而在包括一个或多个相机的视场的用户界面中 显示多个媒体项减少了执行操作所需的输入数量(例如，通过允许用户使 用单个选择用户界面来选择多个媒体项并且同时放置多个选择的项目)。 减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能 够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1020)处在显示共享用户界面时检测到第二 媒体项的选择。例如，通过与共享用户界面对象相对应的第一输入(例如， 当在第一用户界面区域中显示第一媒体项时接收到第一输入的时候)来选 择第一媒体项并且通过在显示共享用户界面时在与第二媒体项相对应的位 置处接收到的附加输入(例如，属于包括第二用户界面对象的选择在内的 一个或多个输入的序列)来选择第二媒体项。响应于检测到一个或多个输入的序列而在包括一个或多个相机的视场的用户界面中显示多个媒体项减 少了执行操作所需的输入数量(例如，通过允许用户在共享用户界面对象 处提供单个输入以同时放置多个选择的项目)。减少执行操作所需的输入 数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设 备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示第一用户界面区域时，该设备在(1022) 处显示第二媒体项的第一表示并且在显示第一用户界面区域时检测到第二 媒体项的选择。例如，通过在显示第一用户界面区域(例如，照片选择界 面6036)时在与第一媒体项相对应的位置处(例如，如针对图6I所描述) 检测到的第一输入(例如，轻击输入)来选择第一媒体项(例如，照片 6002)，并且通过在显示第一用户界面区域时(例如，在与共享用户界面 对象相对应的第一输入的检测之前)在与第二媒体项相对应的位置处(例 如，如针对图6J所描述)检测到的第二输入(例如，轻击输入)来选择第 二媒体项(例如，照片6046)。响应于检测到一个或多个输入的序列而在 包括一个或多个相机的视场的用户界面中显示多个媒体项减少了执行操作 所需的输入数量(例如，通过允许用户使用单个选择用户界面来选择多个 媒体项并且同时放置多个选择的项目)。减少执行操作所需的输入数量增 强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减 少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1024)处在第一时间时检测到第一媒体项的 选择(例如，通过与共享用户界面对象相对应的第一输入(例如，当在第 一用户界面区域中显示第一媒体项时接收到第一输入的时候)或通过在与 共享用户界面对象相对应的第一输入之前检测到的第一选择输入(例如， 在与第一媒体项相对应的位置处的轻击输入))。例如，在第一时间时检 测到照片6002的第一表示的选择(例如，如针对图6I所描述)。在第二时 间时检测到第二媒体项的选择(例如，通过在显示共享用户界面时检测到 的选择输入或通过在与共享用户界面对象相对应的第一输入的检测之前检 测到的第二选择输入(例如，在与第二媒体项相对应的位置处的轻击输 入))。例如，在第二时间时检测到照片6046的第一表示的选择(例如， 如针对图6J所描述)。在第二用户界面中显示第一媒体项的第二表示并且 在第二用户界面中显示第二媒体项的第二表示包括：根据确定第一时间在 第二时间之前，按第一次序(例如，第一媒体项显示在第二媒体项的左侧 (或上方或前方)(例如，覆盖在该一个或多个相机的视场中的平面上)) 显示第一媒体项的第二表示和第二媒体项的第二表示，并且根据确定第二 时间在第一时间之前，按与第一次序不同的第二次序(例如，第一媒体项 显示在第二媒体项的右侧(或下方或后方))显示第一媒体项的第二表示 和第二媒体项的第二表示。例如，由于选择照片6002的第一表示的第一时 间在选择照片6046的第一表示的第二时间之前，因此在图6O中照片6002 的第二表示显示在照片6046的第二表示的左侧。如果在照片6046的第一表 示之前选择照片6046的第一表示，则照片6002的第二表示将转而显示在照 片6046的第二表示的右侧。根据相应媒体项的选择时间来对环境中的该多个媒体项表示排序能基于选择次序来执行操作(例如，确定环境中的媒体 项表示的次序的操作)而不需要进一步用户输入来对环境中的该多个媒体 项排序。在不需要进一步用户输入的情况下自动地执行操作增强了设备的 可操作性，这通过使用户能够更快速且有效地使用设备而减少了电力使用 并且延长了设备的电池寿命。
在一些实施方案中，在第二用户界面中显示第一媒体项的第一表示并 且在第二用户界面中显示第二媒体项的第二表示时，该设备在(1026)处 检测用于操纵相应媒体项的第二表示的输入(例如，包括轻扫手势的输入 (用于改变该一个或多个相机的视场中的相应平面上的相应媒体项的第二 表示的位置或用于将相应媒体项的第二表示从该一个或多个相机的视场中 的第一相应平面移动到该一个或多个相机的视场中的第二相应平面)、包 括展开手势的输入(用于增大相应媒体项的第二表示的尺寸)、包括捏合 手势的输入(用于减小相应媒体项的第二表示的尺寸)和/或包括旋转手势 的输入(用于旋转相应媒体项的第二表示)。响应于检测到用于操纵相应 媒体项的第二表示的输入：根据确定第一输入指向第一媒体项的第二表示 (例如，指向照片6002的轻扫输入，如针对图6O至图6P所描述)，该设 备基于第一输入来操纵第一媒体项的第二表示(例如，照片6002根据轻扫 输入来移动)；并且根据确定第一输入指向第二媒体项的第二表示(例如， 指向照片6046的轻扫输入，如针对图6Q至图6R所描述)，该设备基于第 一输入来操纵第二媒体项的第二表示(例如，此时照片6046根据轻扫输入 来移动)。图6P至图6Y示出了用于在增强现实用户界面5022中操纵媒体 项6002、6046和6052的输入的示例。在一些实施方案中，在仅显示单个媒体项(例如，第一媒体项的第二表示)时检测到用于操纵相应媒体项的第 二表示的输入并且响应于该输入而操纵媒体项的所显示的表示。响应于检 测到该输入而操纵环境中的相应媒体项表示减少了执行操作所需的输入数 量(例如，通过允许用户直接操纵所显示的对象而不需要附加输入来指定 要操纵的项)。减少操纵媒体项表示所需的输入数量增强了设备的可操作 性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且 延长了设备的电池寿命。
在一些实施方案中，在(1028)处共享用户界面包括用于将第一媒体 项传输到远程设备(例如，经由电子邮件、消息(例如，SMS或MMS)或 设备间文件传输服务(例如，AirDrop))的第三用户界面对象。例如，如 针对图6C所描述，共享用户界面6016包括用于经由设备间文件传输服务将 照片6002传输到联系人的用户界面对象(标记有联系人姓名“John”和 “Mary”，如区域6018中所指示)以及用于分别经由电子邮件或经由消息 将照片6002传输到远程设备的用户界面对象(在区域6020中标记为“邮 件”和“消息”)。在一些实施方案中，共享用户界面包括用于在应用程 序(例如，与显示第一用户界面对象的应用程序(诸如照片管理应用程序) 不同的应用程序(诸如记事本管理应用程序))中查看和/或存储第一媒体 项的第四用户界面对象。例如，如针对图6C所描述，共享用户界面6016包 括用于将照片6002存储到与照片管理应用程序不同的记事本应用程序的用 户界面对象(在区域6018中标记为“记事本”)。在一些实施方案中，共 享用户界面包括用于复制第一媒体项的第五用户界面对象。例如，如针对 图6C所描述，共享用户界面6016包括用于复制照片6002的用户界面对象 (在区域6022中标记为“复制”)。在一些实施方案中，共享用户界面包括用于停止显示共享用户界面的第六用户界面对象。例如，如针对图6C所 描述，显示了用于停止显示共享用户界面6016的用户界面对象(用于停止 显示共享用户界面6016的控件6028)。在包括用于在一个或多个相机的视 场中显示媒体项的选项的相同共享用户界面上包括用于将媒体项传输到远 程设备的用户界面对象提供了附加控件选项但不会使(例如，具有用于显 示附加用户界面的控件的)用户界面混乱。提供附加控件选项但不会使具 有附加显示的控件的用户界面混乱增强了设备的可操作性，这又通过使用 户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池 寿命。
在一些实施方案中，在(1030)处按与该一个或多个相机的视场中的 平面(例如，地板或天花板)垂直的取向显示第一媒体项的第二表示(例 如，照片6110的剪贴画版本)。例如，如针对图6AE至图6AH所描述， 按与地板平面5046垂直的取向显示照片6110的剪贴画版本(例如，使得地 板平面5046看起来支撑照片6110的剪贴画版本)。在一些实施方案中，第 一媒体项的背景是透明的(例如，检测到第一媒体项的主题的轮廓并且从 第一媒体项的第二表示移除包括超出该轮廓的第一媒体项的一个或多个部 分(例如，超出照片6110的剪贴画版本的照片6110的部分)的背景，使得 如该一个或多个相机的视场中所捕获的物理环境在该轮廓周围并“透过” 第一媒体项的第二表示的透明部分是可见的。例如，物理桌子5020在照片 6110的剪贴画版本的轮廓周围是可见的。按与该一个或多个相机的视场中 的平面垂直的取向显示媒体项表示向用户提供了附加控件选项但不会使具 有附加显示的控件的用户界面混乱(例如，使用户能够使用经由相同共享 用户界面访问的控件来在与竖直表面平行或与水平表面垂直的固定位置处 显示媒体项)。向用户提供附加控件选项增强了设备的可操作性，这又通 过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备 的电池寿命。
在一些实施方案中，在显示第一媒体项的第二表示的第一面时，该设 备在(1032)处检测调节该一个或多个相机的视场的电子设备的第二移动 (例如，如针对图6AE至图6AI所描述的设备100的移动)。响应于检测 到电子设备的第二移动，该设备根据第一媒体项的第二表示与该一个或多 个相机的视场中的平面之间的固定空间关系(例如，取向和/或位置)来调 节第一媒体项的第二表示(例如，照片6110的剪贴画版本)。在第二移动 之后，显示第一媒体项的第二表示的与第一面相对的第二面并且第一媒体 项的第二表示的第二面是第一媒体项的第二表示的第一面的反向版本。例 如，图6AI中显示的照片6110的剪贴画版本的面与图6AE中显示的照片 6110的剪贴画版本的面相对。响应于电子设备的移动而显示第一媒体项的 第二表示的与第一面相对的第二面向用户提供了改进的视觉反馈(例如，指示用户相对于照片的位置)，从而增强了设备的可操作性，这又通过使 用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电 池寿命。
应当理解，对图10A至图10C中的操作进行描述的具体次序仅仅是示 例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域 的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外， 应当注意，本文相对于本文所述的其他方法(例如，方法900、1100、1200 和1400)所述的其他过程的细节同样以类似的方式适用于上文相对于图 10A至图10C所述的方法1000。例如，上文参考方法1000所述的接触、输 入、手势、媒体项、环境、用户界面区域、用户界面对象、视场和/或移动 任选地具有本文参考本文所述的其他方法(例如，方法900、1100、1200和 1400)所述的接触、输入、手势、媒体项、虚拟对象环境、虚拟对象、用 户界面区域、用户界面对象、视场和/或移动的特征中的一个或多个特征。 为了简明起见，此处不再重复这些细节。
图11A至图11D是根据一些实施方案的示出用于对指向多个所显示的 虚拟对象中的相应虚拟对象的输入作出响应的方法1100的流程图。方法 1100在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一 个或多个输入设备(例如，既用作显示器又用作触敏表面的触摸屏显示器、 相机、控制器、操纵杆、按钮等)以及一个或多个相机(例如，与显示器 和触敏表面相对的设备侧面上的一个或多个后向相机)的电子设备(例如， 图3的设备300或图1A的便携式多功能设备100)处执行。在一些实施方 案中，显示生成部件是触摸屏显示器，并且触敏表面是在显示生成部件上 或与显示生成部件集成的输入设备。在一些实施方案中，显示生成部件与 一个或多个输入设备分开。方法1100中的一些操作任选地被组合，并且/或 者一些操作的次序任选地被改变。
该方法涉及根据多个虚拟对象是否与一个或多个相机的视场的一部分 一起显示，基于操纵输入来改变单个虚拟对象或多个虚拟对象的显示属性。 根据多个虚拟对象是否与相机的视场的一部分一起显示来改变单个虚拟对 象的显示属性或改变多个虚拟对象的显示属性提供了附加控件选项但不会 使具有附加显示的控件的用户界面混乱(例如，使用相同输入来执行不同 操作而不需要用于不同操作的单独控件)。提供附加控件选项但不会使具 有附加显示的控件的用户界面混乱增强了设备的可操作性并且使用户-设备 界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力 使用并且延长了设备的电池寿命。
该设备在(1102)处由显示生成部件(例如，触敏显示器系统112)显 示多个虚拟对象(例如，三维对象的图形表示)。例如，如针对图7A所描 述，在对象登台用户界面5004中显示虚拟对象7002、7004和7006；并且 如针对图7H所描述，在包括该一个或多个相机(例如，相机模块143的一 个或多个相机)的视场的至少一部分的增强现实用户界面5022中显示虚拟 对象7002、7004和7006。
在显示该多个虚拟对象时，该设备在(1104)处检测指向该多个虚拟 对象中的相应虚拟对象的第一操纵输入(例如，触敏表面上与以下各项相 对应的位置处的捏合或轻扫：第一虚拟对象、第二虚拟对象、该多个虚拟 对象中的另一个虚拟对象或与该多个虚拟对象中的相应虚拟对象相邻的空 间)。例如，如针对图7B所描述，在与对象登台用户界面5004中显示的虚 拟对象7002相对应的位置处检测到向上轻扫输入。在图7H中，在与增强现实用户界面5022中显示的虚拟对象7002相对应的位置处检测到向上轻扫 输入。
在(1106)处响应于检测到指向该多个虚拟对象中的相应虚拟对象的 第一操纵输入：根据确定该多个虚拟对象与该一个或多个相机的视场的至 少一部分一起显示，该设备基于第一操纵输入来改变相应虚拟对象的显示 属性(例如，单独地旋转、缩放和/或移动相应虚拟对象)，并且根据确定 在不包括该一个或多个相机的视场的用户界面(例如，包括模拟三维空间 的登台用户界面，在该模拟三维空间中，可响应于用户输入而操纵虚拟对 象的三维表示(例如，使虚拟对象的三维表示围绕x轴、y轴和/或Z轴旋转 和/或缩放))中显示该多个虚拟对象，该设备基于第一操纵输入来改变该 多个虚拟对象的显示属性(例如，使该多个虚拟对象共同地旋转和/或缩 放)。例如，响应于针对图7B所描述的输入，在不包括该一个或多个相机 的视场的对象登台用户界面5004中显示虚拟对象7002时，改变虚拟对象 7002、7004和7006的显示属性(例如，虚拟对象7002、7004和7006全都 同时旋转，如图7B至图7C中所示)。响应于针对图7H所描述的输入，在 包括该一个或多个相机的视场的对象增强现实用户界面5022中显示虚拟对 象7002时，改变虚拟对象7002的显示属性(例如，移动虚拟对象7002， 如图7H至图7I中所示，并且不移动其他虚拟对象(虚拟对象7004和7006在图7H至图7I中保持在相同位置处)。
在一些实施方案中，在不包括该一个或多个相机的视场的用户界面中 显示该多个虚拟对象时，在(1108)处按第一组显示特征显示该多个虚拟 对象。在包括相机的视场的用户界面中显示虚拟对象时按第一组显示特征 显示虚拟对象向用户提供了改进的视觉反馈(例如，通过允许用户确定如 何显示虚拟对象)。向用户提供改进的视觉反馈提高了用户能够运用虚拟 对象的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1110)处第一组显示特征包括高度排序特征 并且根据高度排序特征来显示该多个对象包括根据相应虚拟对象的相应高 度对该多个虚拟对象中的相应虚拟对象排序(例如，在具有第二高度的第 二虚拟对象的左侧、上方和/或前方显示具有第一高度的第一虚拟对象)。 例如，如图7X中所示，按递减高度次序显示虚拟对象7002、7004和7006。 在一些实施方案中，按递增高度次序显示该多个对象。根据高度排序特征 来显示虚拟对象向用户提供了改进的视觉反馈(例如，通过允许用户易于 理解虚拟对象的数量和分布)。向用户提供改进的视觉反馈增强了设备的 可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使 用并且延长了设备的电池寿命。
在一些实施方案中，在(1112)处第一组显示特征包括间距特征并且 根据间距特征来显示该多个对象包括按相邻相应虚拟对象的相应边界之间 的均匀距离来定位该多个虚拟对象中的相应虚拟对象。例如，如图7X中所 示，按相应虚拟对象的边界(例如，轮廓)之间的均匀距离来显示虚拟对 象7002、7004和7006。在包括相机的视场的用户界面中显示虚拟对象时根 据包括相应虚拟对象的定位在内的间距特征来显示虚拟对象向用户提供了改进的视觉反馈(例如，通过允许用户易于理解虚拟对象的数量和分布)。 向用户提供改进的视觉反馈提高了用户能够运用虚拟对象的效率，从而增 强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减 少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1114)处该多个虚拟对象中的第一相应虚拟 对象具有与第一相应虚拟对象的静止状态相对应的第一边界(例如，第一 相应虚拟对象的轮廓或包围第一相应虚拟对象的椭圆形或方框)。例如， 如针对图7Z所描述，虚拟对象7090具有第一边界7096，该第一边界是围 绕虚拟对象7090(例如，其外边缘)的方框。第一相应虚拟对象与第一动 作(例如，以动画方式显示虚拟对象的至少一部分的动画序列)相关联， 该第一动作使得第一虚拟对象的至少一部分延伸超出第一边界(例如，虚 拟对象在动画期间尺寸增大)。例如，如针对图7Z至图7AB所描述，虚拟 对象7090具有使得虚拟对象7090移动超出第一边界7096的动画序列。第 一相应虚拟对象具有第二边界，该第二边界对应于第一动作期间第一相应 虚拟对象的延伸范围(例如，结合第一动作所引起的延伸的第一相应虚拟 对象的轮廓或包围包括第一动作所引起的延伸的第一相应虚拟对象的椭圆 形或方框)。例如，如针对图7AB至图7AC所描述，一直到虚拟对象7090 的延伸范围的虚拟对象7090的第二边界7108包括虚拟对象7090在动画序 列期间超出边界7096的移动。相邻相应虚拟对象的相应边界包括第一相应 虚拟对象的第二边界。例如，虚拟对象7088具有边界7094，该边界是围绕 虚拟对象7088(例如，其外边缘)的方框，虚拟对象7090具有一直到虚拟 对象7090的延伸范围的虚拟对象7090的第二边界7108，并且虚拟对象7092 具有边界7098，该边界是围绕虚拟对象7092(例如，其外边缘)的方框。 按相应虚拟对象的边界(例如，轮廓)之间的均匀距离来显示虚拟对象 7088、7090和7092。虚拟对象具有与虚拟对象的静止状态相对应的第一边 界以及与在相关联的动作期间虚拟对象的延伸范围相对应的第二边界向用 户提供了改进的视觉反馈(例如，通过允许用户确定虚拟对象的动画的范 围并且根据关于动画的范围的信息来操纵虚拟对象)。向用户提供改进的 视觉反馈提高了用户能够与虚拟对象进行交互的效率(例如，通过帮助用 户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，从而 增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而 减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在使该多个虚拟对象与该一个或多个相机的视场 的至少一部分(例如，在增强现实用户界面5022中)一起显示时，在基于 第一操纵输入来改变相应虚拟对象的显示属性之后，该设备在(1116)处 检测在不包括该一个或多个相机的视场的用户界面(例如，对象登台用户 界面5004)中显示该多个虚拟对象的请求。例如，在响应于显示增强现实 用户界面5022时提供的输入而已改变虚拟对象7002、7004和7006的显示 属性(如针对图7H至图7R所描述)之后，提供与切换控件5008的“对象” 区域相对应的位置处的输入，作为在对象登台界面5004中显示虚拟对象 7002、7004和7006的请求，如针对图7U所描述。响应于检测到在不包括 该一个或多个相机的视场的用户界面中显示该多个虚拟对象的请求，该设 备显示不包括该一个或多个相机的视场的用户界面，包括按第一组显示特征显示该多个虚拟对象。例如，如针对图7U至图7X所描述，在对象登台 界面5004中显示虚拟对象7002、7004和7006，其具有在响应于在显示增 强现实用户界面5022时提供的输入而发生的显示属性的改变之前虚拟对象 7002、7004和7006在对象登台界面5004中具有的相同位置、取向和次序。 例如，图7X中的虚拟对象7002、7004和7006的位置、取向、尺寸和次序与图7A中的虚拟对象7002、7004和7006的位置、取向、尺寸和次序相同。 在显示不包括该一个或多个相机的视场的用户界面时按第一组显示特征显 示虚拟对象减少了执行操作所需的输入数量(例如，通过在易于访问的位 置中显示所有虚拟对象，使得用户不必重新定位虚拟对象就能查看和操纵 该虚拟对象)。减少执行操作所需的输入数量提高了用户能够在不同显示 之间切换的效率，从而增强了设备的可操作性，这又通过使用户能够更快 速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在不包括该一个或多个相机的视场的用户界面 (例如，对象登台用户界面5004)中显示该多个虚拟对象时，该设备在 (1118)处检测使该多个虚拟对象与该一个或多个相机的视场的至少一部 分(例如，在增强现实用户界面5022中)一起重新显示的请求。例如，在 响应于显示增强现实用户界面5022时提供的输入而已改变虚拟对象7002、 7004和7006的显示属性(如针对图7H至图7R所描述)之后，并且在对象 登台界面5004中显示虚拟对象7002、7004和7006(如针对图7X所描述) 之后，提供与切换控件5008的“AR”区域相对应的位置处的输入，作为在 增强现实用户界面5022中重新显示虚拟对象7002、7004和7006的请求(如 针对图7X所描述)。响应于检测到使该多个虚拟对象与该一个或多个相机 的视场的至少一部分一起重新显示的请求，该设备使该多个虚拟对象与该 一个或多个相机的视场的至少一部分一起重新显示，其中基于第一操纵输 入来改变相应虚拟对象的显示属性。例如，如针对图7X至图7Y所描述， 在增强现实用户界面5022中重新显示虚拟对象7002、7004和7006。在图 7Y中，根据响应于所提供的输入(如针对图7H至图7R所描述)而对位置、 取向、尺寸和次序进行的改变来显示虚拟对象7002、7004和7006。基于第一操纵输入来按一定显示属性重新显示相应虚拟对象减少了所需的输入数 量(例如，通过将显示属性重新应用于相应虚拟对象而不需要用户第二次 提供输入来操纵相应虚拟对象)。减少执行操作所需的输入数量提高了用 户能够与虚拟对象进行交互的效率，从而增强了设备的可操作性，这又通 过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备 的电池寿命。
在一些实施方案中，在(1120)处第一操纵输入是旋转输入并且(在 不包括该一个或多个相机的视场的用户界面中)改变该多个虚拟对象的显 示属性包括使该多个虚拟对象围绕与该多个虚拟对象相对应(例如，环绕 该多个虚拟对象)的边界的中心区域(例如，重心)旋转。例如，如针对 图7B至图7C所描述，虚拟对象7002、7004和7006围绕作为边界7012的 中心区域的中心线7014旋转。在一些实施方案中，与该多个虚拟对象相对 应的边界是包围该多个虚拟对象的椭圆形或方框。在一些实施方案中，该 多个虚拟对象中的至少一个虚拟对象与第一动作(例如，以动画方式显示 虚拟对象的至少一部分的动画序列)相关联，该第一动作使得第一虚拟对 象的至少一部分延伸超出与虚拟对象的静止状态相对应的第一边界(例如， 虚拟对象在动画期间尺寸增大)，并且与该多个虚拟对象相对应的边界涵 盖与该至少一个虚拟对象的延伸范围相对应的第二边界。例如，如针对图 7AC所描述，第一边界7096对应于虚拟对象7090的静止状态并且第二边界 7108对应于虚拟对象7090的延伸范围。使该多个虚拟对象围绕与该多个虚 拟对象相对应的边界的中心区域旋转减少了执行操作所需的输入数量(例 如，通过响应于单个输入(而不是需要若干单独输入)而使虚拟对象共同 地旋转)。减少执行操作所需的输入数量提高了用户能够执行这些操作的 效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地 使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示该多个虚拟对象之前，该设备在(1122) 处显示选择用户界面(例如，显示多个可选图像的照片用户界面、显示多 个可选文件的文件用户界面或包括多个可选对象的网站)。在显示选择用 户界面时，该设备检测该多个虚拟对象的选择。例如，如针对图7AD至图 7AH所描述，在显示对象管理用户界面7099时，检测到虚拟对象7110、 7118和7122的选择。在选择该多个虚拟对象时，该设备接收显示该多个虚 拟对象的请求。例如，显示该多个虚拟对象的请求包括与共享控件7130相 对应的位置处的输入(如针对图7AH所描述)，以及与用于在对象三维查 看模式中显示一个或多个选择的对象的控件6024相对应的位置处的输入 (如针对图7AI所描述)。响应于接收到显示该多个虚拟对象的请求，该设 备在不包括该一个或多个相机的视场的用户界面中显示该多个虚拟对象。例如，响应于相对于图7AH至图7AI所描述的输入，在对象登台视图5004 中显示虚拟对象7110、7118和7122，如针对图7AJ所描述。在一些实施方 案中，选择用户界面使得能够使用单个选择输入来选择多个虚拟对象(例 如，选择用户界面包括用于访问预定义的虚拟对象组的链接)。在一些实 施方案中，与相应平面相对应的锚定平面是该多个虚拟对象中的相应虚拟 对象的一组属性中的属性，并且该锚定平面根据相应虚拟对象应该表示的 物理对象的性质来指定。在一些实施方案中，虚拟对象被放置在相对于在 该一个或多个相机的视场中检测到的多个平面的预定义取向下和/或位置处 (例如，虚拟对象的多个相应侧面与在相机的视场中检测到的相应平面相 关联)。在一些实施方案中，如果相对于虚拟对象的水平底平面定义为虚 拟对象预定义的取向和/或位置，则在相机的视场中检测到的地板平面上显 示虚拟对象的底平面(例如，虚拟对象的水平底平面与地板平面平行，且 其与地板平面之间的距离为零)。在一些实施方案中，如果相对于虚拟对 象的垂直后平面定义为虚拟对象预定义的取向和/或位置，则抵靠在一个或 多个相机的视场中检测到的墙壁平面放置虚拟对象的后表面(例如，虚拟 对象的垂直后平面与墙壁平面平行，且其与墙壁平面之间的距离为零)。 在一些实施方案中，在与相应平面相距固定距离的位置处或者相对于相应 平面成除零角度或直角之外的角度放置虚拟对象。使得能够从选择用户界 面中选择多个虚拟对象减少了选择多个对象所需的输入数量(例如，通过 允许用户从单个用户界面中选择多个对象而不需要用户单独地从多个用户 界面中选择对象)。减少执行操作所需的输入数量增强了设备的可操作性， 这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长 了设备的电池寿命。
在一些实施方案中，该多个虚拟对象中的第一虚拟对象具有第一定义 的平面类型(例如，第一虚拟对象被配置为在相对于第一类型平面诸如竖 直(例如，墙壁)平面的固定位置处显示)，并且该多个虚拟对象中的第 二虚拟对象具有第二定义的平面类型(例如，第二虚拟对象被配置为在相 对于第二类型平面诸如水平(例如，地板、天花板或桌子表面)平面的固 定位置处显示)。例如，虚拟对象7118的定义的平面类型是竖直平面，并 且虚拟对象7110的定义的平面类型是水平平面。在(1124)处响应于接收 到显示该多个虚拟对象的请求：在相对于与第一定义的平面类型相对应的 第一平面的固定位置处显示该多个虚拟对象中的第一虚拟对象(例如，在 相对于竖直平面的固定位置处显示第一虚拟对象)，并且在相对于与不同 于第一定义的平面类型的第二定义的平面类型相对应的第二平面的固定位 置处显示该多个虚拟对象中的第二虚拟对象(例如，在相对于水平平面的 固定位置处显示第二虚拟对象)。例如，如针对图7AK所描述，在相对于 竖直平面7132的固定位置处显示虚拟对象7118并且在相对于水平平面5046 的固定位置处显示虚拟对象7110。在相对于第一平面的固定位置处显示第 一虚拟对象并且在相对于第二平面的固定位置处显示第二虚拟对象减少了 放置多个虚拟对象所需的输入数量(例如，通过减少在相对于不同平面的 位置处单独地放置多个虚拟对象所需的输入数量)。减少放置多个虚拟对 象所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且 有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在相对于第一平面的固定位置处显示第一虚拟对 象并且在相对于第二平面的固定位置处显示第二虚拟对象时，该设备在 (1126)处检测旋转输入。响应于检测到旋转输入：根据确定旋转输入指 向第一虚拟对象，该设备使第一虚拟对象围绕第一轴线旋转(例如，使第 一虚拟对象围绕与相对于其显示第一虚拟对象的竖直平面垂直的轴线旋 转)，并且根据确定旋转输入指向第二虚拟对象，该设备使第二虚拟对象 围绕与第一轴线不同的第二轴线旋转(例如，使第二虚拟对象围绕与相对 于其显示第二虚拟对象的水平平面垂直的轴线旋转)。例如，如针对图 7AM至图7AO所描述，响应于指向虚拟对象7118的旋转输入，虚拟对象 7118围绕与竖直平面7132垂直的轴线旋转，并且如针对图7AO至图7AQ 所描述，响应于指向虚拟对象7110的旋转输入，虚拟对象7110围绕与水平 平面5046垂直的轴线旋转。响应于检测到旋转输入而使第一虚拟对象和第 二虚拟对象围绕不同轴线旋转减少了执行操作所需的输入数量(例如，通 过基于虚拟对象附连到的表面来自动地确定适当的旋转轴线而不需要用户 提供输入来指定旋转轴线)。减少在用户界面中执行虚拟对象围绕不同轴 线的旋转所需的输入数量提高了用户能够执行这些操作的效率，从而增强 了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少 了电力使用并且延长了设备的电池寿命。
应当理解，对图11A至图11D中的操作进行描述的特定次序仅为示例 性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的 普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外， 应当注意，本文相对于本文所述的其他方法(例如，方法900、1000、1200 和1400)所述的其他过程的细节同样以类似的方式适用于上文相对于图 11A至图11D所述的方法1100。例如，上文参考方法1100所述的接触、输 入、手势、虚拟对象、环境、用户界面区域、用户界面对象、视场、移动 和/或动画任选地具有本文参考本文所述的其他方法(例如，方法900、 1000、1200和1400)所述的接触、输入、手势、媒体项、虚拟对象、环境、 用户界面区域、用户界面对象、视场、移动和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图12A至图12B是根据一些实施方案的示出用于显示改变不满足在增 强现实环境中显示的兼容性标准的媒体项的属性的提示的方法1200的流程 图。方法1200在具有显示生成部件(例如，显示器、投影仪、平视显示器 等)、一个或多个输入设备(例如，既用作显示器又用作触敏表面的触摸 屏显示器、相机、控制器、操纵杆、按钮等)以及一个或多个相机(例如， 与显示器和触敏表面相对的设备侧面上的一个或多个后向相机)的电子设 备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。在 一些实施方案中，显示生成部件是触摸屏显示器，并且触敏表面是在显示 生成部件上或与显示生成部件集成的输入设备。在一些实施方案中，显示 生成部件与一个或多个输入设备分开。方法1200中的一些操作任选地被组 合，并且/或者一些操作的次序任选地被改变。
该设备在(1202)处由显示生成部件(例如，触敏显示器系统112)显 示媒体项的表示(例如，三维模型、照片、图像、与视频相对应的静态图 像、与音乐内容相对应的专辑封面或其缩略图表示)。例如，在图8A中， 在文件管理用户界面8000中显示AR不兼容媒体项8002。在图8G中，在 文件管理用户界面8000中显示AR兼容媒体项8022。
该设备在(1204)处检测与在增强现实环境中显示媒体项的请求相对 应的输入。例如，该输入包括在与共享控件7130相对应的位置处检测到的 输入(如针对图8B和/或图8H所描述)和/或在与控件6024相对应的位置 处检测到的输入(如针对图8C和/或图8I所描述)。
在(1206)处响应于检测到与在增强现实环境中显示媒体项的请求相 对应的输入：根据确定媒体项具有不满足在增强现实环境中显示的兼容性 标准(例如，不兼容媒体格式是wavefront、collada、PLY、Alembic、gITF 或dae)的属性(例如，媒体格式、数据大小或对应物理尺寸)，该设备显 示提示(例如，替换媒体项的表示的显示和/或覆盖在媒体项的显示上)以 改变媒体项的属性(例如，将媒体项从第一格式转换为兼容格式，应用压 缩，或调节对象的尺寸属性)，并且根据确定媒体项满足兼容性标准(例 如，兼容媒体格式是三维虚拟对象的格式，或媒体格式与增强现实平台诸 如AR Kit平台兼容)，该设备将对应于媒体项的虚拟对象与该一个或多个 相机的视场的至少一部分的内容一起显示。例如，媒体项8002具有不满足 在增强现实环境中显示的兼容性标准的属性，因此响应于在增强现实环境 中显示媒体项8002的请求，显示改变媒体项的属性的提示8012。媒体项 8022满足在增强现实环境中显示的兼容性标准，因此响应于在增强现实环 境中显示媒体项8022的请求，在增强现实环境5022中显示与媒体项8022 相对应的虚拟对象8023，如图8K中所示。响应于检测到与在增强现实环境 中显示媒体项的请求相对应的输入而显示与满足兼容性标准的媒体项相对 应的虚拟对象或显示用于改变不满足兼容性标准的媒体项的属性的提示向 用户提供了改进的视觉反馈(例如，通过向用户通知媒体项是否满足兼容 性标准)。向用户提供改进的视觉反馈提高了用户能够将媒体项显示为虚 拟对象的效率，从而增强了设备的可操作性，这又通过使用户能够更快速 且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示媒体项的表示时，该设备在(1208)处显 示与媒体项相对应的控件(例如，指示在AR中查看媒体项的选项的按钮) 并且与在增强现实环境中显示媒体项的请求相对应的输入是在与对应于媒 体项的控件相对应的位置处检测到的输入。显示与媒体项相对应的控件并 且在与该控件相对应的位置处检测输入提供了附加控件选项但不会使具有 附加显示的控件的UI混乱。提供附加控件选项但不会使具有附加显示的控 件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地 使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，该一个或多个输入设备包括触摸屏显示器并且该 设备在(1210)处检测通过在与媒体项的表示相对应的位置处与触摸屏接 触进行的输入。响应于检测到通过在与媒体项的表示相对应的位置处与触 摸屏接触进行的输入，根据确定输入满足选项显示标准，该设备显示用于 在增强现实环境中显示媒体项的选项。与在增强现实环境中显示媒体项的 请求相对应的输入是在与用于在增强现实环境中显示媒体项的选项相对应 的位置处检测到的输入。根据确定输入满足选项显示标准来显示用于在增 强现实环境中显示媒体项的选项提供了附加控件选项但不会使具有附加显 示的控件的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI 混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设 备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1212)处选项显示标准包括根据确定接触在 触敏表面上与媒体项的表示相对应的位置处以小于阈值移动量保持至少预 定义的阈值时间量(例如，长按压时间阈值)而满足的标准。例如，通过 触摸保持输入满足第一标准。
在一些实施方案中，在(1214)处兼容性标准包括根据确定媒体项的 文件格式是与在增强现实环境中的显示兼容的文件格式(例如，兼容媒体 格式是三维虚拟对象的格式，或媒体格式与增强现实平台诸如AR Kit平台 兼容)而满足的标准。例如，文件格式是USDZ。
在一些实施方案中，在(1216)处兼容性标准包括根据确定媒体项的 数据大小满足大小标准(例如，数据大小低于定义的阈值)而满足的标准。
在一些实施方案中，在(1218)处媒体项包括指示与媒体项相对应的 物理尺寸(以及在一些实施方案中，与媒体项相对应的平面类型(例如， 墙壁、地板、天花板))的元数据，该设备在该一个或多个相机的视场中 检测至少一个平面；并且兼容性标准包括根据确定媒体项的物理尺寸满足 该至少一个平面的放置标准(例如，媒体项的物理尺寸不大于平面的所确 定的尺寸)而满足的标准。在一些实施方案中，放置标准要求在该一个或 多个相机的视场中检测到与媒体项的指定平面类型相对应的平面类型，和/ 或媒体项的物理尺寸不大于平面类型的所检测的平面。根据确定媒体项的 物理尺寸满足平面的放置标准而满足兼容性标准减少了执行操作所需的输 入数量(例如，允许用户确定媒体项是否满足在增强现实环境中显示虚拟 对象的兼容性标准)。减少执行操作所需的输入数量增强了设备的可操作 性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且 延长了设备的电池寿命。
在一些实施方案中，在显示用于改变媒体项的属性的提示时，该设备 在(1220)处检测用于接受改变媒体项的属性的建议的输入(例如，在与 用于将选择的媒体项转换为AR兼容格式的控件8014相对应的位置处的输 入，如针对图8D所描述)，并且响应于检测到用于接受改变媒体项的属性 的建议的输入，该设备改变媒体项的属性(例如，该设备将媒体项从第一 格式转换为兼容格式，应用压缩，或调节对象的尺寸属性)。例如，响应 于检测到用于接受改变媒体项的属性的建议的输入，将媒体项8002转换为 虚拟对象8003。响应于检测到用于接受改变媒体项的属性的建议的输入而 改变媒体项的属性减少了改变媒体项的属性所需的输入数量(例如，通过 在不需要用户提供输入来退出应用程序并使用外部应用程序改变媒体项的 属性的情况下改变属性)。减少改变媒体项的属性所需的输入数量增强了 设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了 电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到用于接受改变媒体项的属性的建议 的输入，该设备在(1222)处将与媒体项相对应的虚拟对象与该一个或多 个相机的视场的至少一部分的内容一起显示(例如，在增强现实用户界面 5022中显示与媒体项8002的转换版本相对应的虚拟对象8003，如针对图8F 所描述)。响应于检测到用于接受改变媒体项的属性的建议的输入而在包 括相机的视场的至少一部分的内容的用户界面中显示与媒体项相对应的虚拟对象减少了改变媒体项的属性所需的输入数量(例如，通过在不需要用 户提供输入来退出应用程序并使用外部应用程序改变媒体项的属性的情况 下改变属性)。减少改变媒体项的属性所需的输入数量增强了设备的可操 作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并 且延长了设备的电池寿命。
在一些实施方案中，响应于检测到用于接受改变媒体项的属性的建议 的输入，该设备在(1224)处在不包括该一个或多个相机的视场的用户界 面(例如，包括模拟三维空间的登台用户界面，在该模拟三维空间中，可 响应于用户输入而操纵虚拟对象的三维表示(例如，使虚拟对象的三维表 示围绕x轴、y轴和/或Z轴旋转和/或缩放))中显示与媒体项相对应的虚 拟对象。例如，在对象登台用户界面5004中显示与媒体项8002的转换版本 相对应的虚拟对象8003，如针对图8E所描述。响应于检测到用于接受改变 媒体项的属性的建议的输入而在不包括相机的视场的至少一部分的内容的 用户界面中显示与媒体项相对应的虚拟对象减少了改变媒体项的属性所需 的输入数量(例如，通过在不需要用户提供输入来退出应用程序并使用外 部应用程序改变媒体项的属性的情况下改变属性)。减少改变媒体项的属 性所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且 有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示用于改变媒体项的属性的提示时，该设备 在(1226)处检测用于拒绝改变媒体项的属性的建议的输入，并且响应于 检测到用于拒绝改变媒体项的属性的建议的输入，该设备在包括该一个或 多个相机的视场的用户界面中显示错误消息而不是显示虚拟对象。响应于 检测到用于拒绝改变媒体项的属性的建议的输入而显示错误消息向用户提 供了改进的视觉反馈(例如，向用户指示已拒绝改变媒体项的属性的建议)。提供改进的视觉反馈增强了设备的可操作性，这又通过使用户能够 更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图12A至图12B中的操作进行描述的具体次序仅仅是示 例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域 的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外， 应当注意，本文相对于本文所述的其他方法(例如，方法900、1000、1100 和1400)所述的其他过程的细节同样以类似的方式适用于上文相对于图 12A至图12B所述的方法1200。例如，上文参考方法1200所述的接触、输 入、手势、媒体项、虚拟对象、环境、用户界面区域、用户界面对象和/或 视场任选地具有本文参考本文所述的其他方法(例如，方法900、1000、 1100和1400)所述的接触、输入、手势、媒体项、虚拟对象、环境、用户 界面区域、用户界面对象、视场、移动和/或动画的特征中的一个或多个特 征。为了简明起见，此处不再重复这些细节。
图13A至图13J示出了根据一些实施方案的用于使内容的虚拟模型和 用于执行与该内容相关联的操作的可选择用户界面对象同时显示的示例性 用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图9A至 图9C、图10A至图10C、图11A至图11D、图12A至图12B和图13A至图13B中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上 执行的操作来论述实施方案中的一些实施方案。在此类实施方案中，焦点 选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的表示点 (例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示器系 统112上所检测到的两个或更多个接触的重心。然而，响应于当在显示器 450上显示附图中示出的用户界面连同焦点选择器时检测到触敏表面451上 的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似 的操作。
图13A至图13G涉及购物用户界面1300，该购物用户界面被配置为执 行与内容相关联的操作(例如，购买操作)。
图13A示出了购物用户界面1300，该购物用户界面显示包括内容项 1302(椅子)、内容项1304(床架)、内容项1306(灯)和内容项1308 (沙发)的内容。内容项1302、1304和1308的虚拟模型是可用的(例如， 用于在对象视图和/或增强现实视图中显示，如下文针对图13B至图13C所 描述)，如分别由虚拟模型指示符1310、1312和1314所指示。例如，在内 容项1302附近显示的虚拟模型指示符1310指示内容项1302的虚拟模型可 用于查看。由于未为内容项1306显示虚拟模型指示符，因此用户得知虚拟 模型不可用于内容项1306。购物用户界面1300包括分别与内容项1302、 1304、1306和1308相对应的元数据1316、1318、1320和1322。例如，元 数据1316包括内容项1302的名称(“现代椅子”)、内容项1302的材料 (“材料：木材”)、内容项1302的价格(“价格：$499”)、内容项 1302的附加信息(“免费配送！”)和/或内容项1302的评级(五颗星中的 三颗星)。
在显示购物用户界面1300时，接收到显示与内容项1308相对应的虚拟 模型的请求。例如，在与内容项1308相对应的位置处(例如，在与内容项 的所显示的表示相对应的位置处和/或在对应于与内容项相关联的元数据的 位置处)检测到通过接触1324进行的输入(例如，轻击输入)，如图13A 中所示。在一些实施方案中，响应于显示与内容项相对应的虚拟模型的请 求，在对象登台用户界面(例如，对象登台用户界面5004，如图13B中所 示)中显示虚拟模型。在一些实施方案中，响应于显示与内容项相对应的 虚拟模型的请求，在增强现实用户界面(例如，增强现实用户界面5022， 如图13C中所示)中显示虚拟模型。
如图13B中所示，响应于通过接触1324进行的输入，内容项1308的 虚拟模型1326与可选择用户界面对象1328(例如，购买按钮)在对象登台 用户界面5004中同时显示。在对象登台用户界面5004中显示虚拟模型1326 时，用于虚拟模型1326的操纵的用户输入使得虚拟模型1326的特征改变 (例如，虚拟对象围绕一个或多个轴线旋转)。例如，发生对象登台用户 界面5004中的虚拟模型1326的操纵，如针对以上图5B至图5C所描述。 在一些实施方案中，在对象登台用户界面5004中显示内容项1308的元数据 1322的至少一部分，如1330处所指示。
在对象登台用户界面5004中显示虚拟模型1326(如图13B中所示) 时，在触敏显示器系统112上在与切换控件5008的“AR”区域相对应的位 置处检测到通过接触1332进行的输入(例如，轻击输入)。响应于该输入， 对象登台用户界面5004的显示被替换为增强现实用户界面5022中的虚拟模 型1326的显示(例如，在设备100的一个或多个相机所捕获的物理环境中 显示虚拟模型1326)，如图13C中所示。
在图13C中，内容项1308的虚拟模型1326与可选择用户界面对象1328 在增强现实用户界面5022中同时显示。在一些实施方案中，在与设备100 的一个或多个相机所捕获的物理环境中检测到的表面(例如，地板表面) 相对应的位置处显示虚拟模型1326。物理桌子5020在该一个或多个相机所 捕获的物理环境中可见。可选择用户界面对象1328是半透明的(例如，使 得物理环境中的地板透过“购买”按钮是部分可见的。)在一些实施方案 中，还在增强现实用户界面5022中显示内容项1308的元数据1322的至少 一部分，如1334处所指示。
在虚拟模型1326与可选择用户界面对象1328(例如，在如图13B中所 示的对象登台用户界面5004中或在如图13C中所示的增强现实用户界面 5022中)同时显示时，在与可选择用户界面对象1328相对应的位置处检测 到输入(例如，图13C中所示的通过接触1336进行的轻击输入)。在一些 实施方案中，响应于在与可选择用户界面对象1328相对应的位置处检测到 输入，显示本地支付界面1340(例如，与设备100的操作系统相关联的支 付界面，诸如Apple Pay界面)，如图13D中所示。在一些实施方案中，响 应于在与可选择用户界面对象1328相对应的位置处检测到输入，显示商店 支付界面1342(例如，与提供购物用户界面1300的商店相关联的支付界 面)，如图13E中所示。
如图13D中所示，本地支付界面1340包括支付信息(例如，先前提供 的信用卡信息)、配送信息(例如，先前提供的配送地址和/或配送方法) 和购买者的联系信息(例如，先前提供的联系信息)。在显示本地支付界 面1340时，提供用于授权内容项1308的获取的输入(例如，用户在用于授 权内容项的获取的用户界面对象处提供输入(例如，轻击输入)，用户在 所显示的数字小键盘处提供数字输入，或用户提供生物识别信息，诸如与 指纹传感器相对应的位置处的指纹或拇指指纹和/或面部识别输入)。例如， 用于授权内容项1308的获取的输入是拇指指纹传感器在区域1341所指示的 位置处检测到的拇指指纹输入。
图13E示出了商店支付界面1342。在一些实施方案中，商店支付界面 包括提示用户提供指示支付信息、配送信息和/或联系信息的输入的输入字 段。在显示商店支付界面1342时，提供用于授权内容项1308的获取的输入 (例如，用户在与“下订单”按钮1344相对应的位置处提供输入(例如， 轻击输入))。
图13F示出了与显示虚拟模型的请求相对应的输入，该虚拟模型包括 与多个内容项相对应的多个虚拟对象。如图13F中所示，已将内容项1302、 1304和1308添加到购物车(如已加入购物车指示符1346、1348和1350所 指示)。例如，已通过在与对应于内容项1302的相应添加到购物车按钮 1351相对应的位置处的输入将内容项1302添加到购物车。在与用于查看选 择的内容项的虚拟模型的用户界面对象(例如，“在AR中查看购物车”链 接1353)相对应的位置处检测到通过接触1354进行的输入(例如，轻击输 入)。在一些实施方案中，用于查看选择的内容项的虚拟模型的用户界面 对象不同于用于查看选择的内容项(例如，而不显示与相应选择的内容项 相对应的虚拟对象)的用户界面对象(例如，“查看购物车”链接1355)。 例如，从购物用户界面1300中，使得用户能够(例如，使用添加到购物车按钮1351)将单独项添加到购物车，使用可选择用户界面对象(例如，购 买按钮1352)购买单独项，(例如，通过在与内容项相对应的位置处提供 输入)查看与内容项相对应的虚拟模型，(例如，使用“在AR中查看购物 车”链接1353)在增强现实用户界面5022中查看与购物车中的内容(例如， 购物车中的多个内容项)相对应的虚拟模型，(例如，使用“查看购物车”链接1355)查看购物车中的内容而不显示内容的虚拟模型，和/或(例如， 使用“结账”链接1357)提供输入以直接进入支付界面，诸如本地支付用 户界面1340或商店支付界面1342。响应于在与用于查看选择的内容项的虚 拟模型的用户界面对象相对应的位置处检测到的输入，(例如，在对象登 台用户界面5004或增强现实用户界面5022中)显示虚拟模型。
在图13G中，响应于在“在AR中查看购物车”链接1353处检测到的 输入，购物用户界面1300的显示已被替换为增强现实用户界面5022的显 示。包括与内容项1302(椅子)相关联的虚拟对象1356、与内容项1304 (床)相关联的虚拟对象1358以及与内容项1308(沙发)相关联的虚拟对 象1360的虚拟模型与可选择用户界面对象1328在增强现实用户界面5022 中同时显示。在一些实施方案中，响应于在“在AR中查看购物车”链接 1353处检测到的输入，购物用户界面1300的显示被替换为包括虚拟对象 1356、1358和1360的虚拟模型与可选择用户界面对象1328在对象登台用 户界面5004中的同时显示。在一些实施方案中，发生对指向虚拟模型中的 多个所显示的虚拟对象中的相应虚拟对象的输入的响应，如针对图7A至图 7AQ和图11A至图11D所描述。例如，响应于指向在增强现实用户界面 5022中显示的相应虚拟对象的操纵输入，该设备基于操纵输入来改变相应 虚拟对象的显示属性，并且响应于指向在对象登台用户界面5004中显示的 相应虚拟对象的操纵输入，该设备基于操纵输入来改变该多个虚拟对象的 显示属性。
图13H至图13J涉及对象选择用户界面1360，该对象选择用户界面不 被配置为执行购买操作(例如，用于购买内容项，如针对图13A至图13G 所描述)。
如图13H中所示，对象选择用户界面1360是文件用户界面，该文件用 户界面显示与可用于查看的虚拟对象相对应的二维图像。例如，在图13H 中所示的对象选择用户界面中，图像1362是虚拟模型1326的二维表示。例 如，在使用购物用户界面1300购买内容项1308之前，用户将与内容项1308 相对应的虚拟模型1362存储在对象选择用户界面1360中所示的虚拟模型的 个人收藏中。在显示对象选择用户界面1360时，显示与图像1362所表示的 内容相对应的虚拟模型的请求。例如，在与图像1362相对应的位置处检测 到通过接触1364进行的输入(例如，轻击输入)。在一些实施方案中，响 应于显示与内容项相对应的虚拟模型的请求，在对象登台用户界面(例如， 对象登台用户界面5004，如图13I中所示)中显示虚拟模型。在一些实施方 案中，响应于显示与内容项相对应的虚拟模型的请求，在增强现实用户界 面(例如，增强现实用户界面5022，如图13J中所示)中显示虚拟模型。
如图13I中所示，响应于通过接触1364进行的输入，在对象登台用户 界面5004中显示内容项1308的虚拟模型1326。由于在对象选择用户界面 1360(其不是用于获取内容的购物用户界面)中接收到用于显示虚拟模型 1326的输入，不显示购买按钮(可选择用户界面对象1328)。
如图13I中所示，响应于通过接触1364进行的输入，在对象登台用户 界面5004中显示内容项1308的虚拟模型1326。由于在对象选择用户界面 1360(其不是用于获取内容的购物用户界面)中接收到用于显示虚拟模型 1326的输入，不显示购买按钮(可选择用户界面对象1328)。
在对象登台用户界面5004中显示虚拟模型1326(如图13I中所示)时， 在触敏显示器系统112上在与切换控件5008的“AR”区域相对应的位置处 检测到通过接触1366进行的输入(例如，轻击输入)。响应于该输入，对 象登台用户界面5004的显示被替换为增强现实用户界面5022中的虚拟模型 1326的显示(例如，在设备100的一个或多个相机所捕获的物理环境中显 示虚拟模型1326)，如图13J中所示。由于在对象选择用户界面1360(其 不是用于获取内容的购物用户界面)中接收到用于显示虚拟模型1326的输 入，不在增强现实用户界面5022中显示购买按钮(可选择用户界面对象 1328)。
图14A至图14B是根据一些实施方案的示出用于使内容的虚拟模型和 用于执行与该内容相关联的操作的可选择用户界面对象同时显示的方法 1400过程的流程图。方法1400在具有显示生成部件(例如，显示器、投影 仪、平视显示器等)和一个或多个输入设备(例如，既用作显示器又用作 触敏表面的触摸屏显示器、相机、控制器、操纵杆、按钮等)的电子设备 (例如，图3的设备300或图1A的便携式多功能设备100)处执行。在一 些实施方案中，显示生成部件是触摸屏显示器，并且触敏表面是在显示生 成部件上或与显示生成部件集成的输入设备。在一些实施方案中，显示生 成部件与一个或多个输入设备分开。方法1400中的一些操作任选地被组合， 并且/或者一些操作的次序任选地被改变。
该设备在(1402)处由显示生成部件(例如，触敏显示器系统112)显 示具有内容(例如，在网站或应用程序中显示的一个或多个内容项)的第 一表示(例如，二维表示)的第一用户界面。例如，第一用户界面是显示 内容项1302、1304、1306和1308的购物用户界面1300(如针对图13A所 描述)或显示内容项1362的对象选择用户界面1360(如针对图13H所描 述)。在一些实施方案中，该内容包括一个或多个物理对象的表示(例如， 以在获取时递送给用户)。在一些实施方案中，该内容包括媒体项，诸如 虚拟对象、视频、图像和/或音频(例如，以在获取时提供给用户的设备)。 例如，该内容包括可在增强现实视图中显示的媒体项(例如，照片)，如 针对图6A至图6AI和图10A至图10C所描述。在一些实施方案中，该一个 或多个内容项是当前选择的内容项。
在显示具有该内容的第一表示的第一用户界面时，该设备在(1404) 处经由该一个或多个输入设备来接收显示与该内容相对应的虚拟模型(例 如，三维表示)(例如，虚拟模型包括分别与该一个或多个内容项相对应 的一个或多个虚拟对象)的请求。例如，显示虚拟模型的请求是在与内容 项相对应的位置处的输入(例如，通过在与内容项1308相对应的位置处的 接触1324进行的轻击输入(如针对图13A所描述)，或通过在与内容项 1362相对应的位置处的接触1364进行的轻击输入(如针对图13H所描 述))。
在(1406)处响应于接收到显示与该内容相对应的虚拟模型的请求： 根据确定第一用户界面被配置为执行与该内容相关联的操作(例如，用于 获取(例如，下载和/或购买)该内容的操作)，该设备使该内容的虚拟模 型和用于执行与该内容相关联的操作的可选择用户界面对象(例如，用于 激活获取该内容的操作的控件)同时显示。例如，如针对图13A所描述的 购物用户界面1300被配置为执行用于获取选择的内容的获取操作。响应于 在显示购物用户界面1300时显示虚拟模型的请求，虚拟模型1326与可选择 用户界面对象1328同时显示，如针对图13B和图13C所描述。根据确定第 一用户界面不被配置为执行与该内容相关联的操作(例如，用户界面是不 包括用于获取内容的特征的应用程序或网站)，该设备显示该内容的虚拟 模型而不显示用于执行与该内容相关联的操作的可选择用户界面对象。例 如，如针对图13H所描述的对象选择用户界面1360不被配置为执行用于获 取选择的内容的获取操作。响应于在显示对象选择用户界面1360时显示虚 拟模型的请求，显示虚拟模型1326而不显示可选择用户界面对象1328，如 针对图13I和图13J所描述。在一些实施方案中，被配置为执行与该内容相 关联的操作的用户界面是用于获取内容的网站或应用程序的用户界面。在 一些实施方案中，不被配置为执行与该内容相关联的操作的用户界面是用于查看、选择文件和/或以其他方式与文件进行交互的文件管理界面。在一 些实施方案中，与该内容相关联的操作是用于为该内容付款和/或显示该内 容的支付用户界面(例如，以授权支付和/或提供支付明细)的操作。在一 些实施方案中，与该内容相关联的操作是用于执行与该内容相关联的动画 序列的操作(例如，如针对图5A至图5AK和图9A至图9C所描述)。在 一些实施方案中，与该内容相关联的操作是用于共享该内容的操作。根据 确定用户界面被配置为执行与该内容相关联的操作而使内容的虚拟模型与 可选择用户界面对象(例如，用于获取该内容的按钮)同时显示减少了执 行操作所需的输入数量(例如，通过允许用户在查看虚拟模型时选择用于 获取该内容的按钮而不需要用户提供附加输入来访问单独界面以便获取该 内容)。减少执行操作所需的输入数量增强了设备的可操作性，并且使用 户-设备界面更有效，这又通过使用户能够更快速并有效地使用设备而减少 了电力使用并且改善了设备的电池寿命。
在一些实施方案中，该设备在(1408)处检测指向用于执行与该内容 相关联的操作的可选择用户界面对象的输入；并且响应于检测到指向用于 执行与该内容相关联的操作的可选择用户界面对象的输入，该设备执行该 操作(例如，获取该内容和/或显示有利于该内容的获取(例如，显示提供 与该内容的获取相关的输入的提示)的用户界面)。例如，如针对图13C 至图13D所描述，在与可选择用户界面对象1328相对应的位置处检测到输 入，并且响应于该输入，显示支付界面(例如，如针对图13D所描述的本 地支付界面1340或如针对图13E所描述的商店支付界面1342)。响应于指 向与内容的虚拟模型同时显示的可选择用户界面对象(例如，用于获取该 内容的按钮)的输入而执行与内容相关联的操作减少了执行操作所需的输 入数量(例如，通过允许用户在查看虚拟模型时获取该内容而不需要用户 提供附加输入来访问单独界面以便获取该内容)。减少执行操作所需的输 入数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使 用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电 池寿命。
在一些实施方案中，在使该内容的虚拟模型和用于执行与该内容相关 联的操作的可选择用户界面对象同时显示时，该设备在(1410)处显示与 该内容相对应的数据(例如，该内容的元数据，诸如价格、长度、宽度、 高度、周长、面积、体积、重量、尺寸、可用尺寸、颜色和/或可用颜色)。 例如，如针对图13C和图13D所描述，在虚拟模型1326与可选择用户界面 对象1336同时显示时显示元数据1322。在一些实施方案中，将元数据与该 一个或多个内容项关联地存储(例如，通过显示该内容的第一表示的应用 程序或通过提供由网站或应用程序显示的内容的服务器)。在显示内容的 虚拟模型时显示与内容相对应的数据减少了查看与该内容相对应的数据所 需的输入数量(例如，通过允许用户在查看虚拟模型时查看内容元数据而 不需要用户提供附加输入来查看单独界面中的内容元数据)。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户-设备界面更有效， 这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善 了设备的电池寿命。
在一些实施方案中，在(1412)处该内容包括多个内容项(例如，已 为获取选择的内容项)并且该内容的虚拟模型包括多个虚拟对象，其中该 多个虚拟对象中的相应虚拟对象对应于该多个内容项中的相应内容项。 (例如，如针对图13F至图13G所描述，包括选择的内容项1302、1304和 1308的内容。响应于显示与该内容相对应的虚拟模型的请求，在图13G中 显示虚拟模型，该虚拟模型包括与内容项1302相关联的虚拟对象1356、与 内容项1304相关联的虚拟对象1358以及与内容项1308相关联的虚拟对象 1360。显示包括多个虚拟对象的虚拟模型(其中该多个虚拟对象中的相应 虚拟对象对应于该多个内容项中的相应内容项)减少了查看多个虚拟对象 所需的输入数量(例如，通过允许用户同时查看多个虚拟对象而不必提供 多个输入来单独地显示每个虚拟对象)。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够 更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在(1414)处在第一用户界面中(例如，在购物 用户界面1300中)显示该内容的虚拟模型和用于执行与该内容相关联的操 作的可选择用户界面对象。在接收到显示虚拟模型的请求时在所显示的第 一用户界面中显示该内容的虚拟模型和用于执行与该内容相关联的操作的 可选择用户界面对象(例如，用于获取该内容的按钮)减少了执行操作所 需的输入数量(例如，通过允许用户在第一用户界面中查看虚拟模型时选择用于获取该内容的按钮而不需要用户提供附加输入来访问单独界面以便 获取该内容)。减少执行操作所需的输入数量增强了设备的可操作性，并 且使用户-设备界面更有效，这又通过使用户能够更快速并有效地使用设备 而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在(1416)处使该内容的虚拟模型与可选择用户 界面对象同时显示包括：显示第二用户界面(例如，替换第一用户界面的 显示和/或至少部分地覆盖在第一用户界面上)并且使该内容的虚拟模型与 可选择用户界面对象在第二用户界面(例如，插屏用户界面、增强现实用 户界面、虚拟环境和/或用于提供获取授权输入的用户界面)中同时显示。 例如，虚拟模型(例如，虚拟模型1326)与可选择用户界面对象(例如， 可选择用户界面对象1328)在对象登台用户界面5004中同时显示(如针对 图13B所描述)或在增强现实用户界面5022中同时显示(如针对图13C所 描述)。在不需要进一步用户输入的情况下在第二用户界面中显示该内容 的虚拟模型和用于执行与该内容相关联的操作的可选择用户界面对象(例 如，用于获取该内容的按钮)增强了该设备的可操作性(例如，通过响应 于单个输入而显示第二用户界面并显示该按钮而不需要单独输入来显示第 二用户界面并显示该按钮)并且使用户-设备界面更有效，这又通过使用户 能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿 命。
在一些实施方案中，在显示第二用户界面(例如，包括模拟三维空间 的登台用户界面，在该模拟三维空间中，可响应于用户输入而操纵虚拟对 象的三维表示(例如，使虚拟对象的三维表示围绕x轴、y轴和/或z轴旋转 和/或缩放))时，该设备在(1418)处检测指向虚拟模型的操纵输入(例 如，触敏表面上与虚拟模型相对应或与该模型的多个虚拟对象中的相应虚 拟对象相对应的位置处的捏合或轻扫)，并且响应于检测到指向虚拟模型 的操纵输入，该设备基于操纵输入来改变虚拟模型的显示属性(例如，旋 转和/或缩放虚拟模型(例如，共同地或单独地旋转和/或缩放一个或多个虚 拟对象))。例如，在虚拟模型(例如，虚拟模型1326)与可选择用户界 面对象(例如，可选择用户界面对象1328)在对象登台用户界面5004中同 时显示(如针对图13B所描述)时，接收到用于操纵虚拟模型1326的操纵 输入。进一步针对图5B至图5C描述对象登台用户界面5004中的虚拟对象 的操纵。在一些实施方案中，在显示第二用户界面时，(例如，在用于显 示增强现实视图的所显示的控件的位置处)检测到用于在增强现实视图中 显示虚拟模型的输入。响应于检测到用于在增强现实视图中显示虚拟模型 的输入，虚拟模型与该一个或多个相机的视场的至少一部分一起显示。例 如，响应于在与切换控件5008的“AR”区域相对应的位置处检测到的输入， 对象登台用户界面5004中的虚拟模型1326的显示被替换为虚拟模型1326 与一个或多个相机的视场的至少一部分在增强现实用户界面5022中的一起 显示，如针对图13B至图13C所描述。基于指向虚拟模型的操纵输入来改 变虚拟模型的显示属性向用户提供了改进的视觉反馈(例如，指示虚拟模 型响应于用户输入而可改变)。为用户提供改进的视觉反馈增强了设备的 可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的 输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能 够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1420)处电子设备包括一个或多个相机(例 如，与显示器和触敏表面相对的设备侧面上的一个或多个后向相机)并且 显示第二用户界面包括使虚拟模型和可选择用户界面对象与该一个或多个 相机的视场的至少一部分一起显示。例如，虚拟模型(例如，虚拟模型 1326)与可选择用户界面对象(例如，可选择用户界面对象1328)在增强 现实用户界面5022中同时显示，如针对图13C所描述。在不需要进一步用 户输入的情况下使该内容的虚拟模型和用于执行与该内容相关联的操作的 可选择用户界面对象(例如，用于获取该内容的按钮)与该一个或多个相 机的视场的至少一部分一起显示(例如，在物理环境的增强现实视图中显 示虚拟模型)增强了该设备的可操作性(例如，通过响应于单个输入而在 增强现实视图中显示虚拟模型并显示用于获取该内容的按钮，而不需要单 独输入来在增强现实视图中显示虚拟模型并显示用于获取该内容的按钮) 并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设 备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在(1422)处在与该一个或多个相机的视场的所 显示的部分相对应的位置处显示用于执行与该内容相关联的操作的可选择 用户界面对象。例如，如针对图13C所描述，显示了可选择用户界面对象 (例如，可选择用户界面对象1328)，该可选择用户界面对象覆盖在该一 个或多个相机的视场的所显示的部分上(例如，如增强现实用户界面5022 中所示)。在与该一个或多个相机的视场的所显示的部分相对应的位置处 显示用于执行与该内容相关联的操作的可选择用户界面对象(例如，用于 获取该内容的按钮)减少了执行操作所需的输入数量(例如，通过响应于 单个输入而在增强现实视图中显示虚拟模型并显示用于获取该内容的按钮， 而不需要单独输入来在增强现实视图中显示虚拟模型并显示用于获取该内 容的按钮)。减少执行操作所需的输入数量增强了设备的可操作性，并且 使用户-设备界面更有效，这又通过使用户能够更快速并有效地使用设备而 减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在(1424)处用于执行与该内容相关联的操作的 可选择用户界面对象具有致使该一个或多个相机的视场的所显示的部分透 过可选择用户界面对象部分地可见的显示属性(例如，可选择用户界面对 象的至少一部分是半透明的)。例如，在图13C中，增强现实用户界面 5022中可见的物理环境的地板透过可选择用户界面对象1328是部分可见的。 按允许该一个或多个相机的视场的所显示的部分透过可选择用户界面对象部分地可见的显示属性来显示用于执行与该内容相关联的操作的可选择用 户界面对象(例如，用于获取该内容的按钮)(例如，显示半透明按钮， 物理环境和/或虚拟模型的增强现实视图透过该半透明按钮是可见的)减少 了执行该操作所需的输入数量(例如，通过允许用户同时查看按钮和增强 现实视图而不需要用户提供附加输入来访问单独界面以便显示用于获取该 内容的按钮)。减少执行操作所需的输入的数量增强了设备的可操作性， 并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设 备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在使该内容的虚拟模型与用于执行与该内容相关 联的操作的可选择用户界面对象同时显示时，该设备在(1424)处检测指 向可选择用户界面对象的输入，并且响应于检测到指向可选择用户界面对 象的输入，该设备显示第三用户界面(例如，将第一用户界面或第二用户 界面的显示替换为第三用户界面，或显示至少部分地覆盖在第一用户界面 或第二用户界面上的第三用户界面)。例如，如针对图13C所描述，在与 可选择用户界面对象1328相对应的位置处检测到输入(例如，通过接触 1336进行的轻击输入)。响应于接收到输入，显示本地支付界面1340(例 如，Apple Pay交易处理界面)，如针对图13D所描述，或显示商店支付界 面1342(例如，与提供应用程序或网站的商店相关联的结账页面)，如针 对图13E所描述。在显示第三用户界面时，该设备检测用于授权该内容的 获取的输入(例如，在用于指纹、拇指指纹或面部识别的传感器处的输入、 在所显示的数字小键盘输入提示处的输入、在该设备的物理按钮处的输入 和/或在触摸屏上与所显示的授权用户界面对象相对应的位置处的输入)。 例如，用于授权该内容的获取的输入是拇指指纹传感器在区域1341所指示 的位置处检测到的拇指指纹输入，如针对图13D所描述，或用于授权该内 容的获取的输入是在与“下订单”按钮1344相对应的位置处的输入(例如， 轻击输入)，如针对图13E所描述。响应于检测到授权该内容的获取的请 求，该设备获取该内容(例如，下载该内容和/或将授权信息传输到用于获 取该内容的应用程序、网站和/或交易处理服务)。响应于检测到在显示虚 拟模型时检测到的输入而显示用于授权内容的获取的第三用户界面减少了 所需的输入数量(例如，通过显示用于授权直接从显示虚拟模型的界面获 取内容的界面，而不需要用户提供附加输入来远离显示虚拟模型的界面导 航到单独界面，该单独界面显示用于显示授权内容的获取的界面的控件) 并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设 备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图14A至图14B中的操作进行描述的具体次序仅仅是示 例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域 的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外， 应当注意，本文相对于本文所述的其他方法(例如，方法900、1000、1100 和1200)所述的其他过程的细节同样以类似的方式适用于上文相对于图 14A至图14B所述的方法1400。例如，上文参考方法1400所述的接触、输 入、手势、虚拟模型、虚拟对象、环境、用户界面区域、用户界面对象和/ 或视场任选地具有本文参考本文所述的其他方法(例如，方法900、1000、 1100和1200)所述的接触、输入、手势、媒体项、虚拟对象、环境、用户 界面区域、用户界面对象和/或视场的特征中的一个或多个特征。为了简明 起见，此处不再重复这些细节。
上文参考图9A至图9C、图10A至图10C、图11A至图11D、图12A 至图12B以及图14A至图14B所述的操作任选地由图1A至图1B中所描绘 的部件来实现。例如，显示操作902、1002、1006、1010、1102、1202、 1206、1402和1406；检测操作904、1004、1008、1104、1204；执行操作906；改变操作1106以及接收操作1404任选地由事件分类器170、事件识 别器180和事件处理程序190来实现。事件分类器170中的事件监视器171 检测在触敏显示器系统112上的接触，并且事件分配器模块174将事件信息 递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息 与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触 是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户 界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测 到相应的预定义事件或子事件时，事件识别器180激活与该事件或子事件的 检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据 更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方 案中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示 的内容。类似地，本领域的技术人员会清楚地知道基于在图1A-图1B中所 描绘的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然 而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确 形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和 描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使 得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的 各种修改的本发明以及各种所描述的实施方案。

Claims (15)

1.一种方法，包括：
在包括显示生成部件、一个或多个输入设备以及一个或多个相机的电子设备处：
由所述显示生成部件显示多个虚拟对象；
在显示所述多个虚拟对象时，检测指向所述多个虚拟对象中的相应虚拟对象的第一操纵输入；以及
响应于检测到指向所述多个虚拟对象中的所述相应虚拟对象的所述第一操纵输入：
根据确定所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起显示，基于所述第一操纵输入来改变所述相应虚拟对象的显示属性；以及
根据确定所述多个虚拟对象在不包括所述一个或多个相机的所述视场的用户界面中显示，基于所述第一操纵输入来改变所述多个虚拟对象的显示属性。
2.根据权利要求1所述的方法，其中：
在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象时，按第一组显示特征显示所述多个虚拟对象。
3.根据权利要求2所述的方法，其中：
所述第一组显示特征包括高度排序特征；并且
根据所述高度排序特征来显示所述多个对象包括根据所述相应虚拟对象的相应高度对所述多个虚拟对象中的所述相应虚拟对象排序。
4.根据权利要求2至3中任一项所述的方法，其中：
所述第一组显示特征包括间距特征；并且
根据所述间距特征来显示所述多个对象包括按相邻相应虚拟对象的相应边界之间的均匀距离来定位所述多个虚拟对象中的所述相应虚拟对象。
5.根据权利要求4所述的方法，其中：
所述多个虚拟对象中的第一相应虚拟对象具有与所述第一相应虚拟对象的静止状态相对应的第一边界；
所述第一相应虚拟对象与第一动作相关联，所述第一动作使得所述第一虚拟对象的至少一部分延伸超出所述第一边界；
所述第一相应虚拟对象具有第二边界，所述第二边界对应于所述第一动作期间所述第一相应虚拟对象的延伸范围；并且
所述相邻相应虚拟对象的所述相应边界包括所述第一相应虚拟对象的所述第二边界。
6.根据权利要求2至3中任一项所述的方法，包括：
在使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起显示时，在基于所述第一操纵输入来改变所述相应虚拟对象的所述显示属性之后，检测在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象的请求；以及
响应于检测到在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象的所述请求，显示不包括所述一个或多个相机的所述视场的所述用户界面，包括按所述第一组显示特征显示所述多个虚拟对象。
7.根据权利要求6所述的方法，包括：
在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象时，检测使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起重新显示的请求；以及
响应于检测到使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起重新显示的所述请求，使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起重新显示，其中基于所述第一操纵输入来改变所述相应虚拟对象的所述显示属性。
8.根据权利要求1至3中任一项所述的方法，其中：
所述第一操纵输入是旋转输入；并且
改变所述多个虚拟对象的所述显示属性包括使所述多个虚拟对象围绕与所述多个虚拟对象相对应的边界的中心区域旋转。
9.根据权利要求1至3中任一项所述的方法，包括：
在显示所述多个虚拟对象之前，显示选择用户界面；
在显示所述选择用户界面时，检测对所述多个虚拟对象的选择；
在选择所述多个虚拟对象时，接收显示所述多个虚拟对象的请求；以及
响应于接收到显示所述多个虚拟对象的所述请求，在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象。
10.根据权利要求9所述的方法，其中：
所述多个虚拟对象中的第一虚拟对象具有第一定义的平面类型；
所述多个虚拟对象中的第二虚拟对象具有第二定义的平面类型；并且
响应于接收到显示所述多个虚拟对象的所述请求：
在相对于与所述第一定义的平面类型相对应的第一平面的固定位置处显示所述多个虚拟对象中的所述第一虚拟对象；并且
在相对于与不同于所述第一定义的平面类型的所述第二定义的平面类型相对应的第二平面的固定位置处显示所述多个虚拟对象中的所述第二虚拟对象。
11.根据权利要求10所述的方法，包括：
在相对于所述第一平面的所述固定位置处显示所述第一虚拟对象并且在相对于所述第二平面的所述固定位置处显示所述第二虚拟对象时，检测旋转输入；以及
响应于检测到所述旋转输入：
根据确定所述旋转输入指向所述第一虚拟对象，使所述第一虚拟对象围绕第一轴线旋转；以及
根据确定所述旋转输入指向所述第二虚拟对象，使所述第二虚拟对象围绕与所述第一轴线不同的第二轴线旋转。
12.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
由所述显示生成部件显示多个虚拟对象；
在显示所述多个虚拟对象时，检测指向所述多个虚拟对象中的相应虚拟对象的第一操纵输入；以及
响应于检测到指向所述多个虚拟对象中的所述相应虚拟对象的所述第一操纵输入：
根据确定所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起显示，基于所述第一操纵输入来改变所述相应虚拟对象的显示属性；以及
根据确定所述多个虚拟对象在不包括所述一个或多个相机的所述视场的用户界面中显示，基于所述第一操纵输入来改变所述多个虚拟对象的显示属性。
13.根据权利要求12所述的计算机系统，其中所述一个或多个程序包括用于执行根据权利要求2至11中任一项所述的方法的指令。
14.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个输入设备和一个或多个相机的计算机系统执行时，使得所述计算机系统：
由所述显示生成部件显示多个虚拟对象；
在显示所述多个虚拟对象时，检测指向所述多个虚拟对象中的相应虚拟对象的第一操纵输入；以及
响应于检测到指向所述多个虚拟对象中的所述相应虚拟对象的所述第一操纵输入：
根据确定所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起显示，基于所述第一操纵输入来改变所述相应虚拟对象的显示属性；以及
根据确定所述多个虚拟对象在不包括所述一个或多个相机的所述视场的用户界面中显示，基于所述第一操纵输入来改变所述多个虚拟对象的显示属性。
15.根据权利要求13所述的计算机可读存储介质，其中所述一个或多个程序包括指令，所述指令在由所述计算机系统执行时，使得所述计算机系统执行根据权利要求2至11中任一项所述的方法。
CN202111476740.9A 2019-05-06 2020-04-01 用于在3d情景中显示对象的设备、方法和图形用户界面 Pending CN114327096A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201962844010P 2019-05-06 2019-05-06
US62/844,010 2019-05-06
US201962855973P 2019-06-01 2019-06-01
US62/855,973 2019-06-01
US16/581,679 2019-09-24
US16/581,685 US10762716B1 (en) 2019-05-06 2019-09-24 Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US16/581,679 US11138798B2 (en) 2019-05-06 2019-09-24 Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US16/581,685 2019-09-24
PCT/US2020/026075 WO2020226790A1 (en) 2019-05-06 2020-04-01 Devices, methods, and graphical user interfaces for displaying objects in 3d contexts
CN202080034059.6A CN113785264A (zh) 2019-05-06 2020-04-01 用于在3d情景中显示对象的设备、方法和图形用户界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080034059.6A Division CN113785264A (zh) 2019-05-06 2020-04-01 用于在3d情景中显示对象的设备、方法和图形用户界面

Publications (1)

Publication Number Publication Date
CN114327096A true CN114327096A (zh) 2022-04-12

Family

ID=72241694

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111476740.9A Pending CN114327096A (zh) 2019-05-06 2020-04-01 用于在3d情景中显示对象的设备、方法和图形用户界面
CN202080034059.6A Pending CN113785264A (zh) 2019-05-06 2020-04-01 用于在3d情景中显示对象的设备、方法和图形用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080034059.6A Pending CN113785264A (zh) 2019-05-06 2020-04-01 用于在3d情景中显示对象的设备、方法和图形用户界面

Country Status (4)

Country Link
US (4) US11138798B2 (zh)
EP (1) EP3959585A1 (zh)
CN (2) CN114327096A (zh)
WO (1) WO2020226790A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
JP6705781B2 (ja) * 2017-08-01 2020-06-03 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN110809797B (zh) * 2017-10-03 2022-11-15 谷歌有限责任公司 微视频系统、格式和生成方法
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN112313605A (zh) * 2018-10-03 2021-02-02 谷歌有限责任公司 增强现实环境中对象的放置和操纵
JP7097843B2 (ja) * 2019-03-28 2022-07-08 富士フイルム株式会社 コラージュ画像作成システム、方法及びプログラム
US11138798B2 (en) 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US20210287382A1 (en) * 2020-03-13 2021-09-16 Magic Leap, Inc. Systems and methods for multi-user virtual and augmented reality
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
USD940752S1 (en) * 2020-06-19 2022-01-11 Apple Inc. Display screen or portion thereof with icon
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11568620B2 (en) * 2020-10-28 2023-01-31 Shopify Inc. Augmented reality-assisted methods and apparatus for assessing fit of physical objects in three-dimensional bounded spaces
US11741676B2 (en) 2021-01-21 2023-08-29 Samsung Electronics Co., Ltd. System and method for target plane detection and space estimation
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
WO2022246399A1 (en) * 2021-05-19 2022-11-24 Snap Inc. Touchpad input for augmented reality display device
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
US20230007314A1 (en) * 2021-07-05 2023-01-05 Mediatek Singapore Pte. Ltd. System and method of server-side dynamic spatial and temporal adaptations for media processing and streaming
CN113568538A (zh) * 2021-08-13 2021-10-29 北京字跳网络技术有限公司 一种交互方法、装置、设备和存储介质
EP4281935A1 (en) * 2021-08-19 2023-11-29 Samsung Electronics Co., Ltd. Method and system for generating an animation from a static image
KR20240056558A (ko) * 2021-09-01 2024-04-30 스냅 인코포레이티드 핸드크래프티드 증강 현실 경험들
WO2023091355A1 (en) * 2021-11-19 2023-05-25 Apple Inc. Scene information access for electronic device applications
US11748958B2 (en) * 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
WO2023127563A1 (ja) * 2021-12-28 2023-07-06 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11889178B2 (en) * 2022-02-28 2024-01-30 Motorola Mobility Llc Electronic device with automatic eye gaze tracking and camera adjustment
US20230306652A1 (en) * 2022-03-11 2023-09-28 International Business Machines Corporation Mixed reality based contextual evaluation of object dimensions
US20240069643A1 (en) * 2022-08-31 2024-02-29 Youjean Cho Physical gesture interaction with objects based on intuitive design

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264480A (zh) * 2013-06-09 2016-01-20 苹果公司 用于在相机界面之间进行切换的设备、方法和图形用户界面
US20180114372A1 (en) * 2016-10-25 2018-04-26 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US20180165888A1 (en) * 2016-12-13 2018-06-14 Alibaba Group Holding Limited Allocating virtual objects based on augmented reality
US20190065027A1 (en) * 2017-08-31 2019-02-28 Apple Inc. Systems, Methods, and Graphical User Interfaces for Interacting with Augmented and Virtual Reality Environments
CN109643214A (zh) * 2016-09-23 2019-04-16 苹果公司 用于设备后部上的力敏手势的设备、方法和图形用户界面

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995096B1 (en) * 1999-09-23 2011-08-09 The Boeing Company Visual security operations system
US20160267720A1 (en) 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US8908699B2 (en) 2004-04-16 2014-12-09 Broadcom Corporation Providing automatic format conversion via an access gateway in a home
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20090083710A1 (en) 2007-09-21 2009-03-26 Morse Best Innovation, Inc. Systems and methods for creating, collaborating, and presenting software demonstrations, and methods of marketing of the same
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8825187B1 (en) * 2011-03-15 2014-09-02 Motion Reality, Inc. Surround sound in a sensory immersive motion capture simulation environment
KR101874895B1 (ko) 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9286727B2 (en) 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9985943B1 (en) * 2013-12-18 2018-05-29 Amazon Technologies, Inc. Automated agent detection using multiple factors
WO2015182834A1 (ko) 2014-05-27 2015-12-03 엘지전자 주식회사 이동단말기 및 그 제어방법
US10025491B2 (en) * 2014-12-30 2018-07-17 PIQPIQ, Inc. Social messaging system for real-time selection and sorting of photo and video content
KR20160112898A (ko) 2015-03-20 2016-09-28 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
US20170053455A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Asynchronous 3D annotation of a Video Sequence
JP6582847B2 (ja) * 2015-10-07 2019-10-02 株式会社リコー 情報処理装置、情報処理方法及びプログラム
US10127577B2 (en) * 2015-12-31 2018-11-13 Samsung Electronics Co., Ltd. Search architecture for rendering deep links from action criteria
US20180150791A1 (en) * 2016-11-29 2018-05-31 Wal-Mart Stores, Inc. Augmented reality-assisted modular set-up and product stocking systems and methods
US10262036B2 (en) * 2016-12-29 2019-04-16 Microsoft Technology Licensing, Llc Replacing pronouns with focus-specific objects in search queries
US10347049B2 (en) * 2017-01-20 2019-07-09 Houzz, Inc. Interactive item placement simulation
US10698744B2 (en) 2017-04-14 2020-06-30 Facebook, Inc. Enabling third parties to add effects to an application
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
SE541650C2 (en) 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US20190108682A1 (en) 2017-07-28 2019-04-11 Magical Technologies, Llc Systems, Methods and Apparatuses To Create Real World Value And Demand For Virtual Spaces Via An Alternate Reality Environment
US11176215B2 (en) * 2018-07-23 2021-11-16 International Business Machines Corporation Navigational notifications based on filtered interests
US10573019B1 (en) * 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques
US11138798B2 (en) 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264480A (zh) * 2013-06-09 2016-01-20 苹果公司 用于在相机界面之间进行切换的设备、方法和图形用户界面
CN109643214A (zh) * 2016-09-23 2019-04-16 苹果公司 用于设备后部上的力敏手势的设备、方法和图形用户界面
US20180114372A1 (en) * 2016-10-25 2018-04-26 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US20180165888A1 (en) * 2016-12-13 2018-06-14 Alibaba Group Holding Limited Allocating virtual objects based on augmented reality
US20190065027A1 (en) * 2017-08-31 2019-02-28 Apple Inc. Systems, Methods, and Graphical User Interfaces for Interacting with Augmented and Virtual Reality Environments

Also Published As

Publication number Publication date
US10762716B1 (en) 2020-09-01
US20220058882A1 (en) 2022-02-24
US20200357184A1 (en) 2020-11-12
EP3959585A1 (en) 2022-03-02
WO2020226790A1 (en) 2020-11-12
US11017608B2 (en) 2021-05-25
CN113785264A (zh) 2021-12-10
US11138798B2 (en) 2021-10-05
US20200356240A1 (en) 2020-11-12
US11922584B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
US11017608B2 (en) Devices, methods, and graphical user interfaces for displaying objects in 3D context
US11391561B2 (en) Devices and methods for measuring using augmented reality
CN113223563B (zh) 用于基于深度的注释的设备、方法和图形用户界面
AU2019265367B2 (en) Devices, methods, and graphical user interfaces for proactive management of notifications
US20210333979A1 (en) Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
AU2019100486A4 (en) Devices and methods for measuring using augmented reality
CN110851053A (zh) 用于3d模型的系统级行为的设备、方法和图形用户界面
WO2019217148A1 (en) Devices and methods for measuring using augmented reality
EP3567453B1 (en) Devices and methods for measuring using augmented reality
KR102666508B1 (ko) 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR20240075927A (ko) 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination