CN111954862A - 用于3d模型的系统级行为的设备、方法和图形用户界面 - Google Patents

用于3d模型的系统级行为的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN111954862A
CN111954862A CN201980010176.6A CN201980010176A CN111954862A CN 111954862 A CN111954862 A CN 111954862A CN 201980010176 A CN201980010176 A CN 201980010176A CN 111954862 A CN111954862 A CN 111954862A
Authority
CN
China
Prior art keywords
user interface
input
representation
virtual
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980010176.6A
Other languages
English (en)
Inventor
P·洛克
J·R·达斯科拉
S·O·勒梅
J·M·弗科纳
D·J·艾迪
D·卢依
G·耶基斯
G·R·保罗
C·T·卡瑟姆塞特
L·K·福塞尔
B·W·格里芬
E·C·F·卡拉菲尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority claimed from PCT/US2019/014791 external-priority patent/WO2019147699A2/en
Publication of CN111954862A publication Critical patent/CN111954862A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)

Abstract

具有显示生成部件、一个或多个输入设备以及一个或多个相机的计算机系统，接收在包括所述一个或多个相机的视场的第一用户界面区域中显示虚拟对象的请求。响应于所述请求，根据确定所述对象放置标准未得到满足，以第一组视觉属性和第一取向显示所述虚拟对象的所述表示，所述第一取向与所述物理环境的哪个部分显示在所述一个或多个相机的所述视场中无关。根据确定所述对象放置标准得到满足，显示以第二组视觉属性和第二取向显示所述虚拟对象的所述表示，所述第二组视觉属性不同于所述第一组视觉属性，所述第二取向与平面对应。

Description

用于3D模型的系统级行为的设备、方法和图形用户界面
技术领域
本发明整体涉及显示虚拟对象的电子设备，该电子设备包括但不限于在各种情景中显示虚拟对象的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备诸如触敏表面用于与虚拟/增强现实环境进行交互。示例触敏表面包括触摸板、触敏遥控器和触摸屏显示器。此类表面用于操纵显示器上的用户界面和其中的对象。示例性用户界面对象包括数字图像、视频、文本、图标和控制元件(诸如，按钮)以及其他图形。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，使用一系列输入来取向和定位增强现实环境中的虚拟对象是繁琐的，对用户造成显著的认知负担，并且损害对虚拟/增强现实环境的体验。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有用于与虚拟对象进行交互的改进的方法和界面的计算机系统。此类方法和界面任选地补充或替换用于与虚拟对象进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。
本公开的计算机系统减少或消除了以上缺陷以及与用于与虚拟对象进行交互的界面相关联的其他问题(例如，用于增强现实(AR)的用户界面和相关的非AR界面)。在一些实施方案中，该计算机系统包括台式计算机。在一些实施方案中，该计算机系统是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该计算机系统包括个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该计算机系统具有触摸板(并且/或者与触摸板通信)。在一些实施方案中，该计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与触敏显示器通信)。在一些实施方案中，该计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中以用于执行多种功能的程序或指令集。在一些实施方案中，用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能任选地包括玩游戏、图像编辑、绘图、展示、文字处理、电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在具有显示器、触敏表面以及一个或多个相机的计算机系统处执行方法。该方法包括在显示器上的第一用户界面区域中显示虚拟对象的表示。该方法还包括，在显示器上的第一用户界面区域中显示虚拟对象的第一表示时，检测在触敏表面上与显示器上的虚拟对象的表示对应的位置处通过接触进行的第一输入。该方法还包括，响应于检测到通过接触进行的第一输入，根据确定通过接触进行的第一输入满足第一标准：在显示器上显示第二用户界面区域，这包括替换第一用户界面区域的至少一部分的显示，第一用户界面区域具有一个或多个相机的视场的表示，并且在从显示第一用户界面区域切换到显示第二用户界面区域时，不断显示虚拟对象的表示。
根据一些实施方案，在具有显示器、触敏表面以及一个或多个相机的计算机系统处执行方法。该方法包括在显示器上的第一用户界面区域中显示虚拟对象的第一表示。该方法还包括，在显示器上的第一用户界面区域中显示虚拟对象的第一表示时，检测在触敏表面上与显示器上的虚拟对象的第一表示对应的位置处通过第一接触进行的第一输入。该方法还包括，响应于检测到通过第一接触进行的第一输入，并且根据确定通过第一接触进行的输入满足第一标准，在第二用户界面区域中显示虚拟对象的表示，第二用户界面区域与第一用户界面区域不同。该方法还包括，在第二用户界面区域中显示虚拟对象的第二表示时，检测第二输入，并且响应于检测到第二输入，根据确定第二输入与在第二用户界面区域中操纵虚拟对象的请求对应，基于第二输入改变虚拟对象的第二表示在第二用户界面区域内的显示属性；以及，根据确定第二输入与在增强现实环境中显示虚拟对象的请求对应，显示虚拟对象的第三表示，该虚拟对象具有一个或多个相机的视场的表示。
根据一些实施方案，在具有显示器和触敏表面的计算机系统处执行方法。该方法包括，响应于显示第一用户界面的请求，显示具有第一项目的表示的第一用户界面。该方法还包括，根据确定第一项目与相应的虚拟三维对象对应，显示第一项目的表示，第一项目的表示具有指示第一项目与第一相应的虚拟三维对象对应的视觉指示。该方法还包括，根据确定第一项目不与相应的虚拟三维对象对应，显示不具有该视觉指示的第一项目的表示。该方法还包括，在显示第一项目的表示之后，接收显示包括第二项目的第二用户界面的请求。该方法还包括，响应于显示第二用户界面的请求，显示具有第二项目的表示的第二用户界面。该方法还包括，根据确定第二项目与相应的虚拟三维对象对应，显示第二项目的表示，第二项目的表示具有指示第二项目与第二相应的虚拟三维对象对应的视觉指示。该方法还包括，根据确定第二项目不与相应的虚拟三维对象对应，显示不具有该视觉指示的第二项目的表示。
根据一些实施方案，在具有显示生成部件、一个或多个输入设备以及一个或多个相机的计算机系统处执行方法。该方法包括接收在第一用户界面区域中显示虚拟对象的请求，第一用户界面区域包括一个或多个相机的视场的至少一部分。该方法还包括，响应于在第一用户界面区域中显示虚拟对象的请求，经由显示生成部件在包括在第一用户界面区域中的一个或多个相机的视场的至少一部分的上方显示虚拟对象的表示，其中一个或多个相机的视场是一个或多个相机所处的物理环境的视图。显示虚拟对象的表示包括：根据确定对象放置标准未得到满足，显示具有第一组视觉属性和第一取向的虚拟对象的表示，其中对象放置标准要求虚拟对象的放置位置在一个或多个相机视场中可被识别，以便满足对象放置标准，第一取向与物理环境中显示在一个或多个相机的视场中的部分无关；并且根据确定对象放置标准得到满足，显示具有第二组视觉属性和第二取向的虚拟对象的表示，第二组视觉属性不同于第一组视觉属性，第二取向与在一个或多个相机的视场中检测到的物理环境中的平面对应。
根据一些实施方案，在具有显示生成部件、一个或多个输入设备、一个或多个相机以及一个或多个姿态传感器的计算机系统处执行方法，姿态传感器用于检测包括一个或多个相机的设备的姿态的变化。该方法包括接收在第一用户界面区域中显示物理环境的增强现实视图的请求，第一用户界面区域包括一个或多个相机的视场的表示。该方法还包括，响应于接收到显示物理环境的增强现实视图的请求，显示一个或多个相机的视场的表示，并且根据确定用于物理环境的增强现实视图的校准标准未得到满足，显示根据物理环境中的一个或多个相机的移动动态地动画的校准用户界面对象，其中显示校准用户界面对象包括：在显示校准用户界面对象时，经由一个或多个姿态传感器检测物理环境中的一个或多个相机的姿态的变化；并且，响应于检测到物理环境中的一个或多个相机的姿态变化，根据所检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数。该方法还包括，在显示根据所检测到的物理环境中的一个或多个相机的姿态变化在显示器上移动的校准用户界面对象时，检测到校准标准得到满足。该方法还包括，响应于检测到校准标准得到满足，停止显示校准用户界面对象。
根据一些实施方案，在具有显示生成部件以及包括触敏表面的一个或多个输入设备的计算机系统处执行方法。该方法包括通过显示生成部件在第一用户界面区域中显示虚拟三维对象的第一视角的表示。该方法还包括，当在显示器上的第一用户界面区域中显示虚拟三维对象的第一视角的表示时，检测与相对于显示虚拟三维对象中从虚拟三维对象的第一视角不可视的部分的显示器旋转虚拟三维对象的请求对应的第一输入。该方法还包括，响应于检测到第一输入：根据确定第一输入与围绕第一轴旋转三维对象的请求对应，使虚拟三维对象相对于第一轴旋转基于第一输入的量值而确定的量，并且该量由限制虚拟三维对象相对于第一轴旋转超过阈值旋转量的移动极限来约束；并且，根据确定第一输入与围绕不同于第一轴的第二轴旋转三维对象的请求对应，使虚拟三维对象相对于第二轴旋转基于第一输入的量值确定的量，其中，对于具有高于相应阈值的量值的输入，设备使虚拟三维对象相对于第二轴旋转超过阈值旋转量。
根据一些实施方案，在具有显示生成部件和触敏表面的计算机系统处执行方法。该方法包括经由显示生成部件显示第一用户界面区域，第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象，该多个对象操纵行为包括响应于满足第一手势识别标准的输入而执行的第一对象操纵行为和响应于满足第二手势识别标准的输入而执行的第二对象操纵行为。该方法还包括，在显示第一用户界面区域时，检测涉及用户界面对象的输入的第一部分，这包括检测一个或多个接触在触敏表面上的移动，并且当在触敏表面上检测到一个或多个接触时，相对于第一手势识别标准和第二手势识别标准评估一个或多个接触的移动。该方法还包括，响应于检测到输入的第一部分，基于输入的第一部分更新用户界面对象的外观，这包括：根据确定输入的第一部分在满足第二手势识别标准之前满足第一手势识别标准，根据第一对象操纵行为且基于输入的第一部分改变用户界面对象的外观，以及通过增大第二手势识别标准的阈值来更新第二手势识别标准；并且根据确定输入在满足第一手势识别标准之前满足第二手势识别标准，基于输入的第一部分，根据第二对象操纵行为来改变用户界面对象的外观，并且通过增大第一手势识别标准的阈值来更新第一手势识别标准。
根据一些实施方案，在具有显示生成部件、一个或多个输入设备、一个或多个音频输出发生器以及一个或多个相机的计算机系统处执行方法。该方法包括经由显示生成部件在第一用户界面区域中显示虚拟对象的表示，第一用户界面区域包括一个或多个相机的视场的表示，其中显示包括保持虚拟对象的表示与在捕获在一个或多个相机的视场中的物理环境内所检测到的平面之间的第一空间关系。该方法还包括检测调整一个或多个相机的视场的设备的移动。该方法还包括，响应于检测到调整一个或多个相机的视场的设备的移动：在调整一个或多个相机的视场时，根据虚拟对象与在一个或多个相机的视场内检测到的平面之间的第一空间关系调整虚拟对象的表示在第一用户界面区域中的显示，并且根据确定设备的移动使得虚拟对象移动到一个或多个相机的视场的所显示的部分之外，并且移动超过阈值量的量，经由一个或多个音频输出发生器生成第一音频警报。
根据一些实施方案，电子设备包括显示生成部件、任选地一个或多个输入设备、任选地一个或多个触敏表面、任选地一个或多个相机、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个音频输出发生器、任选地一个或多个设备取向传感器、任选地一个或多个触觉输出发生器、用于检测姿态变化的任选地一个或多个姿态传感器、一个或多个处理器以及存储一个或多个程序的存储器；该一个或多个程序被配置成由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行任何本文所述的方法的操作的指令。根据一些实施方案，计算机可读存储介质具有存储在其中的指令，这些指令在由具有显示生成部件、任选地一个或多个输入设备、任选地一个或多个触敏表面、任选地一个或多个相机、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个音频输出发生器、任选地一个或多个设备取向传感器、任选地一个或多个触觉输出发生器以及任选地一个或多个姿态传感器的电子设备执行时，使得该设备执行本文所述任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施方案，具有显示生成部件、任选地一个或多个输入设备、任选地一个或多个触敏表面、任选地一个或多个相机、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个音频输出发生器、任选地一个或多个设备取向传感器、任选地一个或多个触觉输出发生器以及任选地一个或多个姿态传感器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文所述任何方法中显示的一个或多个元素，该一个或多个元素响应于输入进行更新，如本文所述的任何方法中所述。根据一些实施方案，电子设备包括：显示生成部件、任选地一个或多个输入设备、任选地一个或多个触敏表面、任选地一个或多个相机、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个音频输出发生器、任选地一个或多个设备取向传感器、任选地一个或多个触觉输出发生器以及用于检测姿态变化的任选地一个或多个姿态传感器；以及用于执行或导致执行本文所述方法中的任一方法的操作的装置。根据一些实施方案，在具有显示生成部件、任选地一个或多个输入设备、任选地一个或多个触敏表面、任选地一个或多个相机、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个音频输出发生器、任选地一个或多个设备取向传感器、任选地一个或多个触觉输出发生器以及用于检测姿态变化的任选地一个或多个姿态传感器的电子设备中使用的信息处理装置包括用于执行本文所述任何方法的操作或使得本文所述任何方法的操作被执行的装置。
因此，为具有显示生成部件、任选地一个或多个输入设备、任选地一个或多个触敏表面、任选地一个或多个相机、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个音频输出发生器、任选地一个或多个设备取向传感器、任选地一个或多个触觉输出发生器以及任选地一个或多个姿态传感器的电子设备提供用于在各种情景中显示虚拟对象的改进的方法和界面，从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于在各种情景中显示虚拟对象的常规方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例部件的框图。
图1C是示出根据一些实施方案的触觉输出模块的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例多功能设备的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例用户界面。
图4C至图4E示出了根据一些实施方案的动态强度阈值的示例。
图4F至图4K示出根据一些实施方案的一组样本触觉输出模式。
图5A至图5AT示出了根据一些实施方案的示例用户界面，其用于在从显示第一用户界面区域切换到显示第二用户界面区域时显示虚拟对象的表示。
图6A至图6AJ示出了根据一些实施方案的示例用户界面，根据一些实施方案，其用于在第一用户界面区域中显示虚拟对象的第一表示、在第二用户界面区域中显示虚拟对象的第二表示以及显示具有一个或多个相机的视场的表示的虚拟对象的第三表示。
图7A至图7E、图7F1至图7F2、图7G1至图7G2以及图7H至图7P示出了根据一些实施方案的示例用户界面，其用于显示具有指示项目与虚拟三维对象对应的视觉指示的项目。
图8A至图8E是根据一些实施方案的过程的流程图，根据一些实施方案，该过程用于在从显示第一用户界面区域切换到显示第二用户界面区域时显示虚拟对象的表示。
图9A至图9D是根据一些实施方案的过程的流程图，该过程用于在第一用户界面区域中显示虚拟对象的第一表示、在第二用户界面区域中显示虚拟对象的第二表示以及显示具有一个或多个相机的视场的表示的虚拟对象的第三表示。
图10A至图10D是根据一些实施方案的过程的流程图，该过程用于显示具有指示项目与虚拟三维对象对应的视觉指示的项目。
图11A至图11V示出了根据一些实施方案的示例用户界面，其用于根据对象放置标准是否得到满足来显示具有不同视觉属性的虚拟对象。
图12A至图12D、图12E-1、图12E-2、图12F-1、图12F-2、图12G-1、图12G-2、图12H-1、图12H-2、图12I-1、图12I-2、图12J、图12K-1、图12K-2、图12L-1和图12L-2示出了根据一些实施方案的示例用户界面，其用于显示根据设备的一个或多个相机的移动而动态地动画的校准用户界面对象。
图13A至图13M示出了根据一些实施方案的约束虚拟对象围绕轴的旋转的示例用户界面。
图14A至图14Z示出了根据一些实施方案的根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值的示例用户界面。
图14AA至图14AD示出了根据一些实施方案的流程图，其示出了根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值的操作。
图15A至图15AI示出了根据一些实施方案的根据确定设备的移动使虚拟对象移动到所显示的一个或多个设备相机的视场之外来生成音频警报的示例用户界面。
图16A至图16G是根据一些实施方案的过程的流程图，该过程用于根据对象放置标准是否得到满足来显示具有不同视觉属性的虚拟对象。
图17A至图17D是根据一些实施方案的过程的流程图，该过程用于显示根据设备的一个或多个相机的移动而动态地动画的校准用户界面对象。
图18A至图18I是根据一些实施方案的用于约束虚拟对象围绕轴的旋转的过程的流程图。
图19A至图19H是根据一些实施方案的过程的流程图，该过程用于根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值。
图20A至图20F是根据一些实施方案的过程的流程图，该过程用于根据确定设备的移动使虚拟对象移动到一个或多个设备相机的所显示的视场之外来生成音频警报。
具体实施方式
虚拟对象是虚拟环境中的三维对象的图形表示。与虚拟对象进行交互来将虚拟对象从显示在应用程序用户界面(例如，不显示增强现实环境的二维应用程序用户界面)的情景中转变为显示在增强现实环境(例如，其中利用向用户提供不可在物理世界中获得的另外信息的补充信息来增强物理世界的视图的环境)的情景中的常规方法通常需要多个独立的输入(例如，一系列的手势和按钮按压等)，才能实现预期结果(例如，调整虚拟对象的尺寸、位置和/或取向，从而在增强现实环境中实现逼真或期望的外观)。另外，常规的输入方法通常涉及接收显示增强现实环境的请求与显示增强现实环境之间的延迟，该延迟是由激活一个或多个设备相机来捕获物理世界的视图所需的时间以及/或分析和表征与可放置在增强现实环境中的虚拟对象相关的物理世界的视图(例如，检测捕获的物理世界视图中的平面和/或表面)所需的时间引起的。本文的实施方案为用户提供在各种情景中显示虚拟对象并且/或者与虚拟对象进行交互的直观方式(例如，通过允许用户提供从在应用程序用户界面的情景中显示虚拟对象切换到在增强现实环境中显示虚拟对象的输入；通过允许用户在虚拟对象显示在增强现实环境中之前改变虚拟对象的显示属性(例如，在三维登台环境中)；通过提供允许用户从多个应用程序中容易地识别系统级虚拟对象的指示；通过在确定对象的放置信息时改变对象的视觉属性；通过提供指示校准所需的设备移动的动画校准用户界面对象；通过约束所显示的虚拟对象围绕轴的旋转；通过在第一对象操纵行为的阈值移动量值得到满足时增大第二对象操纵行为的阈值移动量值；以及通过提供指示虚拟对象已移出所显示的视场的音频警报)。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。例如，它们使得以下操作更容易：在增强现实环境中显示虚拟对象，以及响应于不同的输入，调整显示在增强现实环境中的虚拟对象的外观。
下面，图1A至图1C、图2和图3提供了对示例设备的描述。图4A至图4B、图5A至图5AT、图6A至图6AJ、图7A至图7P、图11A至图11V、图12A至图12L、图13A至图13M、图14A至图14Z以及图15A至图15AI示出了用于在各种情景中显示虚拟对象的示例用户界面。图8A至图8E示出了用于在从显示第一用户界面区域切换到显示第二用户界面区域时显示虚拟对象的表示的过程。图9A至图9D示出了用于在第一用户界面区域中显示虚拟对象的第一表示、在第二用户界面区域中显示虚拟对象的第二表示以及显示具有一个或多个相机的视场的表示的虚拟对象的第三表示的过程。图10A至图10D示出了用于显示具有指示项目与虚拟三维对象对应的视觉指示的项目的过程。图16A至图16G示出了用于根据对象放置标准是否得到满足来显示具有不同视觉属性的虚拟对象的过程。图17A至图17D示出了用于显示根据设备的一个或多个相机的移动而动态地动画的校准用户界面对象的过程。图18A至图18I示出了用于约束虚拟对象围绕轴的旋转的过程。图14AA至图14AD以及图19A至图19H示出了用于根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值的过程。图20A至图20F示出了用于根据确定设备的移动使虚拟对象移动到所显示的一个或多个设备相机的视场之外来生成音频警报的过程。图5A至图5AT、图6A至图6AJ、图7A至图7P、图11A至图11V、图12A至图12L、图13A至图13M、图14A至图14Z以及图15A至图15AI中的用户界面用于示出图8A至图8E、图9A至图9D、图10A至图10D、图14AA至图14AD、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当......时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定......”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定......时”或“响应于确定......”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino，California)的
Figure BPA0000291811340000121
iPod
Figure BPA0000291811340000122
和
Figure BPA0000291811340000123
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序，诸如以下应用程序中的一个或多个应用程序：记笔记应用程序、绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序、和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 120。一个或多个处理器120运行或执行存储器102中存储的各种软件程序和/或指令集，以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、一个或多个CPU 120、和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(WWW))、内联网、和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议、和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并且将电信号传输到扬声器111。扬声器111将电信号转换为人类可听见的声波。音频电路110还接收由麦克风113根据声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。所述一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到所述其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接、或其他用户界面控件。
触敏显示系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一些实施方案中，在触敏显示系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino，California)的
Figure BPA0000291811340000161
iPod
Figure BPA0000291811340000162
和
Figure BPA0000291811340000163
中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些实施方案中，一个或多个触觉输出发生器167包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。触觉输出发生器167从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个加速度计168。图1A示出与外围设备接口118耦接的加速度计168。另选地，加速度计168任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100任选地除了加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出)，以用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图在1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者：活动应用状态，其指示哪些应用(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其它信息占据触敏显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他输入或控制设备116获取的信息；以及关于设备的位置和/或姿态的位置和/或方位信息。
操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、OSX、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino，California)的一些
Figure BPA0000291811340000181
iPod
Figure BPA0000291811340000182
和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino，California)的一些
Figure BPA0000291811340000183
iPod
Figure BPA0000291811340000191
和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的代替物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已停止(例如，检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中，检测到手指轻击手势取决于检测到手指按下事件与手指抬起事件之间的时间长度，但是与手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中，根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、0.4或0.5秒)，检测轻击手势，而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值)，例如轻按压或深按压强度阈值。因此，手指轻击手势可以满足特定输入标准，该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见，轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件，低于该标称接触检测强度阈值时，不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面上方悬停的手指或触笔接触的情况下，标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如，可基于对于与手势中包括的接触的强度无关或者不要求执行手势的接触达到强度阈值以便被识别的标准的满足来任选地检测轻扫手势、捏合手势、展开手势和/或长按压手势。例如，轻扫手势基于一个或多个接触的移动的量来检测；缩放手势基于两个或更多个接触朝彼此的移动来检测；扩放手势基于两个或更多个接触背离彼此的移动来检测；长按压手势基于触敏表面上具有少于阈值移动量的接触的持续时间来检测。因此，关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足，并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中，基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势，而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值，并且基于确定接触移动大于预定义量值来检测轻扫手势，即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如，当接触的强度高于强度阈值时，设备更快地检测到长按压，或者当接触的强度更高时，设备会延迟对轻击输入的检测)，只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准，则对这些手势的检测也不会要求接触达到特定强度阈值(例如，即使识别手势所需的时间量发生变化)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合，以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势，使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估，以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如，在某些情况下，第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在这样的竞争中，如果第二手势的第二手势识别标准首先标准得到满足，则手势任选地不被识别为满足第一手势的第一手势识别标准。例如，如果在接触移动预定义的移动量之前接触达到相应的强度阈值，则检测到深按压手势而不是轻扫手势。相反，如果在接触达到相应的强度阈值之前接触移动预定义的移动量，则检测到轻扫手势而不是深按压手势。即使在这种情况下，第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准，因为如果接触保持低于相应的强度阈值直到手势结束(例如，具有不会增大到高于相应强度阈值的强度的接触的轻扫手势)，手势将被第一手势识别标准识别为轻扫手势。因此，不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下，忽略相对于强度阈值的接触强度(例如，对于轻击手势而言)和/或(B)在某些情况下，如果在特定手势识别标准识别与输入对应的手势之前，一组竞争的强度相关手势识别标准(例如，对于深按压手势而言)将输入识别为与强度相关手势对应，则不能满足特定手势识别标准(例如，对于长按压手势而言)，从这个意义上来讲，仍然取决于相对于强度阈值的接触强度(例如，对于与深按压手势竞争识别的长按压手势而言)。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储待使用的表示图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令(例如，由触觉反馈控制器161使用的指令)的各种软件部件，以响应于用户与设备100的交互而使用触觉输出发生器167在设备100上的一个或多个位置处生成触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供这种信息以在各种应用程序中使用(例如，提供至用于基于位置的拨号的电话138；提供至相机143作为图片/视频元数据；以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
●联系人模块137(有时称作通讯录或联系人列表)；
●电话模块138；
●视频会议模块139；
●电子邮件客户端模块140；
●即时消息(IM)模块141；
●健身支持模块142；
●用于静态图像和/或视频图像的相机模块143；
●图像管理模块144；
●浏览器模块147；
●日历模块148；
●桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5和由用户获得的其他桌面小程序，以及用户创建的桌面小程序149-6；
●用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
●搜索模块151；
●视频和音乐播放器模块152，任选地由视频播放器模块和音乐播放器模块构成；
●记事本模块153；
●地图模块154；和/或
●在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、发送相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息、以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及视频和音乐播放器模块152，健身支持模块142包括可执行指令用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器，诸如iPod(Apple Inc.的商标)的功能性。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏112上或在无线连接的或经由外部端口124连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上面未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，该触摸板在被用户触摸时将设备100从被显示在设备100上的任何用户界面导航到主菜单、home菜单、或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用于确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用于确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括另外的信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被该应用程序显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有在分级结构中组织的多个视图时，命中视图确定模块172将命中视图识别为应对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图才应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图均为活跃参与的视图，因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在另一个实施方案中，事件分类器170为独立模块，或者为被存储在存储器102中的另一个模块(诸如接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器为独立模块的一部分，该独立模块诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施方案中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中Test以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，对相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括元数据183，所述元数据具有指示事件递送系统应该如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当识别事件的一个或多个特定子事件时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标志，并且与该标志相关联的事件处理程序190接获该标志并执行预定义的过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频或音乐播放器模块152中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图1C是示出根据一些实施方案的触觉输出模块的框图。在一些实施方案中，I/O子系统106(例如触感反馈控制器161(图1A)和/或其他输入控制器160(图1A))包括图1C所示示例性部件中的至少一些。在一些实施方案中，外围设备接口118包括图1C所示示例性部件中的至少一些。
在一些实施方案中，触觉输出模块包括触感反馈模块133。在一些实施方案中，触感反馈模块133聚集并组合来自电子设备上软件应用程序的用户界面反馈(例如，对与所显示用户界面对应的用户输入以及指示电子设备的用户界面中操作的执行或事件的发生的提示和其他通知进行响应的反馈)的触觉输出。触感反馈模块133包括波形模块123(用于提供用于生成触觉输出的波形)、混合器125(用于混合波形，诸如不同通道中的波形)、压缩器127(用于缩减或压缩波形的动态范围)、低通滤波器129(用于滤除波形中的高频信号分量)、和热控制器131(用于根据热条件调节波形)中的一者或多者。在一些实施方案中，触感反馈模块133被包括在触感反馈控制器161(图1A)中。在一些实施方案中，触感反馈模块133的单独单元(或触感反馈模块133的单独具体实施)也被包括在音频控制器(例如音频电路110，图1A)中并用于生成音频信号。在一些实施方案中，单个触感反馈模块133被用于生成音频信号以及生成触觉输出的波形。
在一些实施方案中，触感反馈模块133还包括触发器模块121(例如，确定要生成触觉输出并引发用于生成对应触觉输出的过程的软件应用程序、操作系统、或其他软件模块)。在一些实施方案中，触发器模块121生成用于引发(例如由波形模块123)生成波形的触发器信号。例如，触发器模块121基于预先设置的定时标准来生成触发器信号。在一些实施方案中，触发器模块121从触感反馈模块133之外接收触发器信号(例如，在一些实施方案中，触感反馈模块133从位于触感反馈模块133之外的硬件输入处理模块146接收触发器信号)并将触发器信号中继给触感反馈模块133内的其他部件(例如，波形模块123)或基于用户界面元素(例如，应用程序图标或应用程序内的示能表示)或硬件输入设备(例如，home按钮或强度敏感输入表面，诸如强度敏感触摸屏)的激活而(以触发器模块121)触发操作的软件应用程序。在一些实施方案中，触发器模块121还(例如从触感反馈模块133，图1A和图3)接收触觉反馈生成指令。在一些实施方案中，触发器模块121响应于触感反馈模块133(或触感反馈模块133中的触发器模块121)(例如从触感反馈模块133，图1A和图3)接收触觉反馈指令而生成触发器信号。
波形模块123(例如从触发器模块121)接收触发器信号作为输入，并响应于接收到触发器信号而提供用于生成一个或多个触觉输出的波形(例如，从预定义的一组被指派用于供波形模块123使用的波形中选择的波形，诸如下文中参考图4F-4G更详细描述的波形)。
混合器125(例如从波形模块123)接收波形作为输入，并将这些波形混合在一起。例如，当混合器125接收两个或更多个波形(例如，第一通道中的第一波形和第二通道中的至少部分地与第一波形重叠的第二波形)时，混合器125输出对应于这两个或更多个波形之和的组合波形。在一些实施方案中，混合器125还修改这两个或更多个波形中的一个或多个波形以相对于这两个或更多个波形中的其余波形而强调特定波形(例如通过提高所述特定波形的规模和/或减小这些波形中的其他波形的规模)。在一些情况下，混合器125选择一个或多个波形来从组合波形中移除(例如，当有来自不止三个来源的波形已经被请求由触觉输出发生器167同时输出时，来自最老旧来源的波形被丢弃)。
混合器127接收波形(例如来自混合器125的组合波形)作为输入，并修改这些波形。在一些实施方案中，压缩器127缩减这些波形(例如，根据触觉输出发生器167(图1A)或357(图3)的物理规范)，使得对应于这些波形的触觉输出被缩减。在一些实施方案中，压缩器127诸如通过为波形强加预定义的最大幅值来对波形进行限制。例如，压缩器127减小超过预定义幅值阈值的波形部分的幅值，而保持不超过所述预定义幅值阈值的波形部分的幅值。在一些实施方案中，压缩器127缩减波形的动态范围。在一些实施方案中，压缩器127动态地缩减波形的动态范围，使得组合波形保持在触觉输出发生器167的性能规范(例如力和/或可移动质块位移限制)内。
低通滤波器129接收波形(例如来自压缩器127的经压缩波形)作为输入，并对波形进行滤波(例如平滑处理)(例如移除或减少波形中的高频信号分量)。例如在某些情况下，压缩器127在经压缩的波形中包括妨碍触觉输出生成和/或在根据经压缩波形生成触觉输出时超过触觉输出发生器167的性能规范的无关信号(例如高频信号分量)。低通滤波器129减少或移除波形中的此类无关信号。
热控制器131接收波形(例如来自低通滤波器129的经滤波波形)作为输入，并根据设备100的热条件(例如基于在设备100内检测到的内部温度，诸如触感反馈控制器161的温度，和/或设备100检测到的外部温度)调节波形。例如在一些情况下，触感反馈控制器161的输出根据温度而变化(例如，响应于接收到相同波形，触感反馈控制器161在触感反馈控制器161处于第一温度时生成第一触觉输出，而在触感反馈控制器161处于与第一温度不同的第二温度时生成第二触觉输出)。例如，触觉输出的量值(或幅值)可根据温度而变化。为了降低温度变化的效应，波形被修改(例如，波形的幅值基于温度而被增大或减小)。
在一些实施方案中，触觉反馈模块133(例如触发器模块121)耦接到硬件输入处理模块146。在一些实施方案中，图1A中的其他输入控制器160包括硬件输入处理模块146。在一些实施方案中，硬件输入处理模块146接收来自硬件输入设备145(例如，图1A中的其他输入或控制设备116，诸如，home按钮或强度敏感输入表面，诸如强度敏感触摸屏)的输入。在一些实施方案中，硬件输入设备145是本文所述的任何输入设备，诸如触敏显示器系统112(图1A)、键盘/鼠标350(图3)、触摸板355(图3)、其他输入或控制设备116之一(图1A)或强度敏感home按钮。在一些实施方案中，硬件输入设备145由强度敏感home按钮构成，而不是由触敏显示器系统112(图1A)、键盘/鼠标350(图3)或触摸板355(图3)构成。在一些实施方案中，响应于来自硬件输入设备145(例如，强度敏感home按钮或触摸屏)的输入，硬件输入处理模块146提供一个或多个触发器信号给触感反馈模块133以指示已检测到满足预定义输入标准的用户输入，诸如与主按钮“点击”(例如“按下点击”或“松开点击”)对应的输入。在一些实施方案中，触感反馈模块133响应于对应于主按钮“点击”的输入而提供对应于主按钮“点击”的波形，从而模拟按压物理主按钮的触感反馈。
在一些实施方案中，触觉输出模块包括触感反馈控制器161(例如图1A中的触感反馈控制器161)，其控制触觉输出的生成。在一些实施方案中，触感反馈控制器161耦接到多个触觉输出发生器，并且选择所述多个触觉输出发生器中的一个或多个触觉输出发生器并发送波形给所选的所述一个或多个触觉输出发生器以用于生成触觉输出。在一些实施方案中，触感反馈控制器161协调对应于激活硬件输入设备145的触觉输出请求和对应于软件事件的触觉输出请求(例如来自触感反馈模块133的触觉输出请求)，并修改所述两个或更多个波形中的一个或多个波形以相对于所述两个或更多个波形中的其余波形强调特定波形(例如通过提高所述特定波形的规模和/或减小这些波形中其余波形的规模，以相比于对应于软件事件的触觉输出优先处理对应于激活硬件输入设备145的触觉输出)。
在一些实施方案中，如图1C所示，触感反馈控制器161的输出耦接到设备100的音频电路(例如音频电路110，图1A)，并将音频信号提供给设备100的音频电路。在一些实施方案中，触感反馈控制器161提供用于生成触觉输出的波形和用于与生成触觉输出一起提供音频输出的音频信号这二者。在一些实施方案中，触感反馈控制器161修改音频信号和/或(用于生成触觉输出的)波形使得音频输出和触觉输出同步(例如通过延迟音频信号和/或波形)在一些实施方案中，触感反馈控制器161包括用于将数字波形转换成模拟信号的数模转换器，模拟信号被放大器163和/或触觉输出发生器167接收。
在一些实施方案中，触觉输出模块包括放大器163。在一些实施方案中，放大器163接收(例如来自触感反馈控制器161的)波形，并放大所述波形然后将经放大的波形发送给触觉输出发生器167(例如，触觉输出发生器167(图1A)或357(图3)中任一者)。例如，放大器163将所接收的波形放大到符合触觉输出发生器167的物理规范的信号电平(例如放大到触觉输出发生器167为了生成触觉输出而需要的电压和/或电流使得发送给触觉输出发生器167的信号生成对应于从触感反馈控制器161接收的波形的触觉输出)并将经放大的波形发送给触觉输出发生器167。作为响应，触觉输出发生器167生成触觉输出(例如通过将可移动质块在一个或多个维度中相对于可移动质块的中性位置前后移位)。
在一些实施方案中，触觉输出模块包括传感器169，其耦接到触觉输出发生器167。传感器169检测触觉输出发生器167或触觉输出发生器167的一个或多个部件(例如用于生成触觉输出的一个或多个运动部件，诸如膜)的状态或状态变化(例如机械位置、物理位移、和/或移动)。在一些实施方案中，传感器169是磁场传感器(例如霍尔效应传感器)或其他位移和/或运动传感器。在一些实施方案中，传感器169将信息(例如触觉输出发生器167中一个或多个部件的位置、位移和/或移动)提供给触感反馈控制器161，并且，根据传感器169提供的关于触觉输出发生器167的状态的信息，触感反馈控制器161调节从触感反馈控制器161输出的波形(例如，任选地经由放大器163发送给触觉输出发生器167的波形)。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在图中未按比例绘制)或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204(有时称为主按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212、和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器、和/或类似于以上参考图1A所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离一个或多个CPU 310定位的一个或多个存储设备。在一些实施例中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的另外程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上面未描述的另外的模块和数据结构。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例用户界面400。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元素或者其子集或超集：
●一种或多种无线通信(诸如蜂窝信号和Wi-Fi信号)的一个或多个信号强度指示器；
●时间；
●蓝牙指示器；
●电池状态指示器；
●具有常用应用程序图标的托盘408，图标诸如：
○电话模块138的被标记为“电话”的图标416，该图标任选地包括未接来电或语音留言的数量的指示符414；
○电子邮件客户端模块140的被标记为“邮件”的图标418，该图标任选地包括未读电子邮件的数量的指示符410；
○浏览器模块147的被标记为“浏览器”的图标420；以及
○视频和音乐播放器模块152的标记为“音乐”的图标422；以及
●其他应用程序的图标，诸如：
○IM模块141的被标记为“消息”的图标424；
○日历模块148的被标记为“日历”的图标426；
○图像管理模块144的被标记为“照片”的图标428；
○相机模块143的被标记为“相机”的图标430；
○在线视频模块155的被标记为“在线视频”的图标432；
○股市桌面小程序149-2的被标记为“股市”的图标434；
○地图模块154的被标记为“地图”的图标436；
○天气桌面小程序149-1的被标记为“天气”的图标438；
○闹钟桌面小程序149-4的被标记为“时钟”的图标440；
○健身支持模块142的被标记为“健身支持”的图标442；
○记事本模块153的被标记为“记事本”的图标444；以及
○用于设置应用程序或模块的图标446，该图标446提供对设备100及其各种应用程序136的设置的访问。
应当注意，图4A中示出的图标标签仅仅是示例性的。例如，其他标签任选地用于各种应用程序图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴线(例如，图4B中的453)对应的主轴线(例如，图4B中的452)。根据这些实施方案，设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触(例如，图4B中的460和462)(例如，在图4B中，460对应于468并且462对应于470)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(例如，图4B中的450)是分开的时侯，由设备在触敏表面上所检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替换。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触控板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调整。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏)的一些具体实施中，在触摸屏上检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的代替物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，将接触力或压力的替代测量值转换为预估力或压力，并且使用预估力或压力确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不由特定物理致动器的激活阈值来确定，并且可在不改变设备100的物理硬件的情况下进行调整)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设置为预定义阈值的大范围中的任一个阈值。另外，在一些具体实施中，设备的用户提供有用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值、通过在预定义时间段上或从预定义时间开始低通滤波接触强度而生成的值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中，特征强度未超过第一强度阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二强度阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续轻扫接触，该连续轻扫接触从起始位置过渡并达到结束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该实施例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的一部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。
本文描述的用户界面图任选地包括各种强度图，这些强度图示出触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值IT0、轻按压强度阈值ITL、深按压强度阈值ITD(例如，至少初始高于ITL)和/或一个或多个其他强度阈值(例如，比ITL低的强度阈值ITH))的当前强度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值IT0，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(毫秒)(例如，40ms、100ms、或120ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外地识别深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到深按压输入的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素(诸如，用户设置、接触运动、输入定时、应用程序运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等而变化。示例性的因素在美国专利申请序列号14/399,606和14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。
例如，图4C示出了部分地基于触摸输入476随时间的强度而随时间改变的动态强度阈值480。动态强度阈值480是两个分量的总和：在从触摸输入476初始被检测到开始的预定义的延迟时间p1之后随时间衰减的第一分量474、和随时间而跟踪触摸输入476的强度的第二分量478。第一分量474的初始高强度阈值减少意外触发“深按压”响应，同时仍然允许在触摸输入476提供足够强度的情况下进行即时“深按压”响应。第二分量478减少通过触摸输入的逐渐的强度波动而无意触发“深按压”响应。在一些实施方案中，在触摸输入476满足动态强度阈值480时(例如，在图4C中的点481处)，触发“深按压”响应。
图4D示出了另一个动态强度阈值486(例如，强度阈值ID)。图4D还示出了两个其他强度阈值：第一强度阈值IH和第二强度阈值IL。在图4D中，尽管触摸输入484在时间p2之前满足第一强度阈值IH和第二强度阈值IL，但是直到在时间482处经过延迟时间p2才提供响应。同样在图4D中，动态强度阈值486随时间衰减，其中衰减在从时间482(触发了与第二强度阈值IL相关联的响应的时候)已经过预定义的延迟时间p1之后的时间488开始。这种类型的动态强度阈值减少紧接在触发与较低阈值强度(诸如第一强度阈值IH或第二强度阈值IL)相关联的响应之后或与其同时意外触发与动态强度阈值ID相关联的响应。
图4E示出了又一个动态强度阈值492(例如，强度阈值ID)。在图4E中，在从触摸输入490被初始检测到的时候已经过延迟时间p2之后，触发与强度阈值IL相关联的响应。同时，动态强度阈值492在从触摸输入490被初始检测到的时候已经过预定义的延迟时间p1之后衰减。因此，在触发与强度阈值IL相关联的响应之后降低触摸输入490的强度，接着在不释放触摸输入490的情况下增大触摸输入490的强度可触发与强度阈值ID相关联的响应(例如，在时间494处)，即使当触摸输入490的强度低于另一强度阈值(例如，强度阈值IL)时也是如此。
接触特征强度从低于轻按压强度阈值ITL的强度增大到介于轻按压强度阈值ITL与深按压强度阈值ITD之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值ITD的强度增大到高于深按压强度阈值ITD的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈值IT0的强度增大到介于接触检测强度阈值IT0与轻按压强度阈值ITL之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值IT0的强度减小到低于接触检测强度阈值IT0的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，IT0为零。在一些实施方案中，IT0大于零在一些图示中，阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些图示中，没有阴影的圆或椭圆用于表示触敏表面上的相应接触而不指定相应接触的强度。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。
为了容易解释，任选地响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述，在一些实施方案中，对这些操作的触发还取决于满足基于时间的标准(例如，在满足第一强度阈值和满足第二强度阈值之间已经过延迟时间)。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，触觉输出模式指定触觉输出的特性，诸如触觉输出的幅值、触觉输出的运动波形的形状、触觉输出的频率、和/或触觉输出的持续时间。
当设备(例如经由移动可移动质块生成触觉输出的一个或多个触觉输出发生器)生成具有不同触觉输出模式的触觉输出时，触觉输出可在握持或触摸设备的用户中产生不同触感。虽然用户的感官基于用户对触觉输出的感知，但大多数用户将能够辨识设备生成的触觉输出的波形、频率和幅值的变化。因此，波形、频率和幅值可被调节以向用户指示已执行了不同操作。这样，具有被设计、选择和/或安排用于模拟给定环境(例如，包括图形特征和对象的用户界面、具有虚拟边界和虚拟对象的模拟物理环境、具有物理边界和物理对象的真实物理环境、和/或以上任意者的组合)中对象的特性(例如大小、材料、重量、刚度、光滑度等)；行为(例如振荡、位移、加速、旋转、伸展等)；和/或交互(例如碰撞、粘附、排斥、吸引、摩擦等)的触觉输出模式的触觉输出在一些情况下将为用户提供有帮助的反馈，其减少输入错误并提高用户对设备的操作的效率。另外，触觉输出任选地被生成为对应于与所模拟物理特性(诸如输入阈值或对象选择)无关的反馈。此类触觉输出在一些情况下将为用户提供有帮助的反馈，其减少输入错误并提高用户对设备的操作的效率。
在一些实施方案中，具有合适触觉输出模式的触觉输出充当在用户界面中或在设备中屏幕后面发生感兴趣事件的提示。感兴趣事件的示例包括设备上或用户界面中提供的示能表示(例如真实或虚拟按钮、或拨动式开关)的激活、所请求操作的成功或失败、达到或穿过用户界面中的边界、进入新状态、在对象之间切换输入焦点、激活新模式、达到或穿过输入阈值、检测或识别一种类型的输入或手势等等。在一些实施方案中，提供触觉输出以充当关于除非改变方向或中断输入被及时检测到、否则会发生的即将发生事件或结果的警告或提示。触觉输出在其它情境中也用于丰富用户体验、改善具有视觉或运动困难或者其它可达性需要的用户对设备的可达性、和/或改善用户界面和/或设备的效率和功能性。任选地将触觉输出与音频输入和/或视觉用户界面改变进行比较，这进一步增强用户与用户界面和/或设备交互时用户的体验，并有利于关于用户界面和/或设备的状态的信息的更好传输，并且这减少输入错误并提高用户对设备的操作的效率。
图4F至4H提供可单独地或组合地、按原样或通过一个或多个变换(例如，调制、放大、截短等)用于在各种情景中为了各种目的(诸如上文所述的那些以及针对本文讨论的用户界面和方法所述的那些)生成合适触感反馈的一组样本触觉输出模式。触觉输出的控制板的这个示例显示一组三个波形和八个频率可如何被用于生成触觉输出模式的阵列。除这些图所示的触觉输出模式之外，任选地通过改变触觉输出模式的增益值来在幅值方面调整这些触觉输出模式中每一者，如图所示，例如，对于图4I至图4K中的FullTap 80Hz、FullTap200Hz、MiniTap 80Hz、MiniTap 200Hz、MicroTap 80Hz和MicroTap 200Hz，它们各自被示出为具有1.0、0.75、0.5和0.25的增益的变体。如图4I至图4K所示，改变触觉输出模式的增益则改变模式的幅值，而不改变模式的频率或改变波形的形状。在一些实施方案中，改变触觉输出模式的频率还导致较低幅值，因为一些触觉输出发生器受限于多少力可被施加于可移动质块，因此质块的较高频率移动被约束到较低幅值以确保生成波形所需要的加速不需要触觉输出发生器的操作力范围之外的力(例如，230Hz、270Hz、和300Hz的FullTap的峰值幅值比80Hz、100Hz、125Hz、和200Hz的FullTap的幅值低)。
图4F至图4K示出了具有特定波形的触觉输出模式。触觉输出模式的波形表示相对于中性位置(例如，xzero)的物理位移对时间的图案，可移动质块通过该图案以生成具有该触觉输出模式的触觉输出。例如，图4F所示的第一组触觉输出模式(例如“FullTap”的触觉输出模式)每一个均具有包括具有两个完整循环的振荡的波形(例如，开始且结束于中性位置且穿过中性位置三次的振荡)。图4G所示的第二组触觉输出模式(例如“MiniTap”的触觉输出模式)每一个均具有包括具有一个完整循环的振荡的波形(例如，开始且结束于中性位置且穿过中性位置一次的振荡)。图4H所示的第三组触觉输出模式(例如“MicroTap”的触觉输出模式)每一个均具有包括具有半个完整循环的振荡的波形(例如，开始且结束于中性位置且不穿过中性位置的振荡)。触觉输出模式的波形还包括代表在触觉输出开始和结束处可移动质块的逐渐加速和减速的起始缓冲和结束缓冲。图4F至图4K所示的示例波形包括代表可移动质块的最大和最小移动程度的xmin和xmax值。对于可移动质块较大的较大电子设备，该质块的最小和最大移动程度可以更大或更小。图4F至图4K所示的示例描述1维中质块的移动，然而，类似的原理也可适用于两维或三维中可移动质块的移动。
如图4F至图4K所示，每个触觉输出模式还具有对应的特征频率，其影响用户从具有该特征频率的触觉输出感觉到的触感的“节距”。对于连续触觉输出，特征频率代表触觉输出发生器的可移动质块在给定时间段内完成的循环(例如每秒循环)的数量。对于离散触觉输出，生成离散输出信号(例如具有0.5、1、或2个循环)，并且特征频率值指定可移动质块需要移动多快以生成具有该特征频率的触觉输出。如图4F至图4H所示，对于每种类型的触觉输出(例如，由相应波形限定，诸如，FullTap、MiniTap或MicroTap)，较高频率值与可移动质块的较快移动对应，因此，一般来讲，与较短的触觉输出完成时间(例如，包括完成离散触觉输出的所需循环数量的时间加上起始和结束缓冲时间)对应。例如，特征频率为80Hz的FullTap比特征频率为100Hz的FullTap花更长时间完成(例如在图4F中，35.4msvs.28.3ms)。此外，对于给定频率，在相应频率在其波形中具有更多循环的触觉输出比在相同相应频率在其波形中具有更少循环的触觉输出花更长时间完成。例如，150Hz的FullTap比150Hz的MiniTap花更长时间完成(例如19.4ms vs.12.8ms)，150Hz的MiniTap比150Hz的MicroTap花更长时间完成(例如12.8ms vs.9.4ms)。然而对于具有不同频率的触觉输出模式，这个规则可能不适用(例如，具有更多循环但具有更高频率的触觉输出可能比具有更少循环但具有更低频率的触觉输出花更短的时间量完成，反之亦然)。例如，在300Hz，FullTap与MiniTap花同样长的时间(例如9.9ms)。
如图4F至图4K所示，触觉输出模式还具有特征幅值，其影响触觉信号中包含的能量的量，或者用户通过具有该特征幅值的触觉输出可感觉到的触感的“强度”。在一些实施方案中，触觉输出模式的特征幅值是指代表在生成触觉输出时可移动质块相对于中性位置的最大位移的绝对或归一化值。在一些实施方案中，触觉输出模式的特征幅值可根据(例如基于用户界面情境和行为自定义的)各种条件和/或预先配置的度量(例如基于输入的度量、和/或基于用户界面的度量)调节，例如通过固定或动态确定的增益系数(例如介于0和1之间的值)来调节。在一些实施方案中，基于输入的度量(例如强度变化度量或输入速度度量)测量在触发生成触觉输出的输入期间该输入的特性(例如按压输入中接触的特征强度的改变速率或接触在触敏表面上的移动速率)。在一些实施方案中，基于用户界面的度量(例如跨边界速度度量)测量在触发生成触觉输出的用户界面改变期间用户界面元素的特性(例如该元素在用户界面中穿过隐错或可见边界的移动速度)。在一些实施方案中，触觉输出模式的特征幅值可被“包络”调制，并且相邻循环的峰值可具有不同幅值，其中以上所示波形之一通过乘以随时间改变(例如从0变到1)的包络参数来进一步修改，以在生成触觉输出时随着时间逐渐调节触觉输出的部分的幅值。
虽然在图4F至图4K中，为了进行示意性的说明，在样本触觉输出模式中只表示了特定频率、幅值和波形，但具有其他频率、幅值和波形的触觉输出模式也可用于类似目的。例如，可使用具有介于0.5到4个循环之间的波形。也可使用60Hz-400Hz范围中的其他频率。
用户界面和相关联的过程
现在将注意力转向可在具有显示器、触敏表面、用于生成触觉输出的(任选地)一个或多个触觉输出发生器以及(任选地)用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备诸如便携式多功能设备100或设备300上实现的用户界面(“UI”)和相关联的过程的实施方案。
图5A至图5AT示出了根据一些实施方案的示例用户界面，其用于在从显示第一用户界面区域切换到显示第二用户界面区域时显示虚拟对象的表示。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器时检测到触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图5A示出了其中使用参照图5B至图5AT所描述的用户界面的真实世界情景。
图5A示出了桌子5004所处的物理空间5002。设备100由用户握持在用户的手5006中。
图5B示出了显示在显示器112上的即时消息用户界面5008。即时消息用户界面5008包括：包括接收的文本消息5012的消息气泡5010、包括发送的文本消息5016的消息气泡5014以及包括在消息中接收到的虚拟对象(例如，虚拟椅子5020)和虚拟对象指示符5022的消息气泡5018，该虚拟对象指示符指示虚拟椅子5020是在增强现实视图中(例如，在设备100的一个或多个相机的视场的表示内)可见的对象。即时消息用户界面5008还包括被配置为显示消息输入的消息输入区域5024。
图5C至图5G示出了使得即时消息用户界面5008的一部分被设备100的一个或多个相机的视场替换的输入。在图5C中，检测到与设备100的触摸屏112的接触5026。该接触的特征强度高于接触检测强度阈值IT0且低于提示按压强度阈值ITH，如强度水平计5028所示。在图5D中，如强度水平计5028所示，接触5026的特征强度增加到高于提示按压强度阈值ITH，这使得消息气泡5018的区域增大、虚拟椅子5020的尺寸增大以及即时消息用户界面5008在消息气泡5018后面开始模糊(例如，向用户提供增大接触的特征强度的效果的视觉反馈)。在图5E中，如强度水平计5028所示，接触5026的特征强度增加到高于轻按压强度阈值ITL，这使得消息气泡5018被盘面5030替换、虚拟椅子5020的尺寸进一步增大以及即时消息用户界面5008在盘面5030后面进一步模糊。在图5F中，如强度水平计5028所示，接触5026的特征强度增加到高于深按压强度阈值ITD，这使得设备100的触觉输出发生器167输出触觉输出(如5032处所示)，该触觉输出指示用设备100的一个或多个相机的视场替换即时消息用户界面5008的一部分的标准已得到满足。
在一些实施方案中，在接触5026的特征强度达到深按压强度阈值ITD(如图5F所示)之前，图5C至图5E所示的进展是可逆的。例如，在图5D和/或图5E所示的增加之后，减小接触5026的特征强度将使得与接触5026的减小的强度水平对应的界面状态被显示(例如，根据确定接触的减小的特征强度高于轻按压强度阈值ITL，示出如图5E所示的界面；根据确定接触的减小的特征强度高于提示按压强度阈值ITH，示出如图5D所示的界面；并且根据确定接触的减小的特征强度低于提示按压强度阈值ITH，示出如图5C所示的界面)。在一些实施方案中，在图5D和/或图5E所示的增加之后，减小接触5026的特征强度将使得如图5C所示的界面被重新显示。
图5F至图5J示出了动画过渡，在该动画过渡期间，即时消息用户界面的一部分被设备100的一个或多个相机(下文称为“相机”)的视场所替换。从图5F到图5G，接触5026已抬离触摸屏112，并且虚拟椅子5020已朝向图5I中的最终位置旋转。在图5G中，相机的视场5034在盘片5030中已开始淡入视图(如虚线所指示)。在图5H中，相机的视场5034(例如，示出由相机捕获的物理空间5002的视图)在盘片5030中已完成淡入视图。从图5H到图5I，虚拟椅子5020继续朝向其在图5I中的最终位置旋转。在图5I中，触觉输出发生器167已输出指示已经在相机的视场5034中检测到至少一个平面(例如，地板表面5038)的触觉输出(如5036处所示)。虚拟椅子5020被放置在所检测到的平面上(例如，根据设备100的确定虚拟对象被配置为以竖直取向被放置在所检测到的水平表面上，诸如，地板表面5038)。当即时消息用户界面的一部分被转换成显示器112上的相机的视场5034的表示时，在显示器112上连续调整虚拟椅子5020的尺寸。例如，基于在相机的视场5034中预定义的虚拟椅子5020的“真实世界”尺寸和/或所检测到的对象(诸如，桌子5004)的尺寸确定如相机的视场5034中所示的虚拟椅子5020相对于物理空间5002的比例。在图5J中，虚拟椅子5020被显示在其最终位置处，具有相对于在相机的视场5034中所检测到的地板表面的预定义取向。在一些实施方案中，虚拟椅子5020的初始着陆位置为相对于在相机的视场中所检测到的平面的预定义位置，诸如，在所检测到的平面的未占用区域的中心。在一些实施方案中，根据接触5026的抬离位置确定虚拟椅子5020的初始着陆位置(例如，在图5F中，接触5026的抬离位置可与接触5026的初始向下触摸位置不同，这是由在转变到增强现实环境的标准得到满足之后接触5026在触摸屏112上的移动引起的)。
图5K至图5L示出了调整相机的视场5034的设备100的移动(例如，通过用户的手5006)。当设备100相对于物理空间5002移动时，所显示的相机的视场5034改变，并且虚拟椅子5020在所显示的相机的视场5034中保持相对于地板表面5038的相同位置和取向不变。
图5M至图5Q示出了使得虚拟椅子5020在所显示的相机的视场5034中的地板表面5038上移动的输入。在图5N中，在与虚拟椅子5020对应的位置处检测到与设备100的触摸屏112的接触5040。在图5N至图5O中，当接触5040沿箭头5042所指示的路径移动时，接触5040拖动虚拟椅子5020。当虚拟椅子5020通过接触5040移动时，虚拟椅子5020的尺寸改变以保持如相机的视场5034中所示的虚拟椅子5020相对于物理空间5002的比例。例如，在图5N至图5P中，当虚拟椅子5020从相机的视场5034的前景移动到远离设备100且更靠近相机的视场5034中的桌子5004的位置时，虚拟椅子5020的尺寸减小(例如，使得相机的视场5034中的椅子相对于桌子5004的比例得到保持)。另外，当虚拟椅子5020通过接触5040移动时，在相机的视场5034中所识别的平面被突出显示。例如，在图5O中，地板平面5038被突出显示。在图5O至图5P中，当接触5040沿箭头5044所指示的路径移动时，接触5040继续拖动虚拟椅子5020。在图5Q中，接触5040已抬离触摸屏112。在一些实施方案中，如图5N至图5Q所示，虚拟椅子5020的移动路径受到相机的视场5034中的地板表面5038的约束，就像接触5040在地板表面5038上拖动虚拟椅子5020。在一些实施方案中，如参照图5N至图5P所描述的接触5040是如参照图5C至图5F所描述的接触5026的继续(例如，接触5026未抬离，并且使得即时消息用户界面5008的一部分被相机的视场5034替换的这一接触也拖动相机的视场5034中的虚拟椅子5020。
图5Q至图5U示出了使虚拟椅子5020从地板表面5038移动到在相机的视场5034中检测到的不同平面(例如，桌面5046)的输入。在图5R中，在与虚拟椅子5020对应的位置处检测到与设备100的触摸屏112的接触5050。在图5R至图5S中，当接触5048沿箭头5050所指示的路径移动时，接触5048拖动虚拟椅子5020。当虚拟椅子5020通过接触5048移动时，虚拟椅子5020的尺寸改变以保持如相机的视场5034中所示的虚拟椅子5020相对于物理空间5002的比例。另外，当虚拟椅子5020通过接触5040移动时，桌面平面5046被突出显示(例如，如图5S所示)。在图5S至图5T中，当接触5048沿箭头5052所指示的路径移动时，接触5040继续拖动虚拟椅子5020。在图5U中，接触5048已抬离触摸屏112，并且虚拟椅子5020以面向与之前相同的方向的竖直取向被放置在桌面平面5046上。
图5U至图5AD示出了将虚拟椅子5020拖动到触摸屏显示器112的边缘的输入，其使得相机的视场5034停止显示。在图5V中，在与虚拟椅子5020对应的位置处检测到与设备100的触摸屏112的接触5054。在图5V至图5W中，当接触5054沿箭头5056所指示的路径移动时，接触5054拖动虚拟椅子5020。在图5W至图5X中，当接触5054沿箭头5058所指示的路径移动时，接触5054将虚拟椅子5020继续拖动到图5X所示的位置。
如图5Y至图5AD所示，通过图5U至图5X所示的接触5054进行的输入导致从在盘片5030中显示相机的视场5034到停止显示相机的视场5034并返回到完全显示即时消息用户界面5008的转变。在图5Y中，相机的视场5034在盘片5030中开始淡出。在图5Y至图5Z中，盘片5030转变到消息气泡5018。在图5Z中，不再显示相机的视场5034。在图5AA中，即时消息用户界面5008停止模糊，并且消息气泡5018的尺寸返回到消息气泡5018的原始尺寸(例如，如图5B所示)。
图5AA至图5AD示出了当虚拟椅子5020从与图5AA中的接触5054对应的位置移动到即时消息用户界面5008中的虚拟椅子5020的原始位置(例如，如图5B所示)时发生的虚拟椅子5020的动画过渡。在图5AB中，接触5054已抬离触摸屏112。在图5AB至图5AC中，虚拟椅子5020的尺寸逐渐增大，并且该虚拟椅子朝向其在图5AD中的最终位置旋转。
在图5B至图5AD中，虚拟椅子5020在即时消息用户界面5008内和在所显示的相机的视场5034内具有基本上相同的三维外观，并且虚拟椅子5020在从显示即时消息用户界面5008到显示相机的视场5034的转变期间以及在逆向转变期间保持该相同的三维外观。在一些实施方案中，虚拟椅子5020的表示在应用程序用户界面(例如，即时消息用户界面)中具有与在增强现实环境中(例如，在所显示的相机的视场中)不同的外观。例如，虚拟椅子5020在应用程序用户界面中任选地具有二维或更多维风格化的外观，同时在增强现实环境中具有更逼真的三维纹理外观；并且虚拟椅子5020在显示应用程序用户界面与显示增强现实环境之间的转变期间的中间外观是虚拟椅子5020的二维外观与三维外观之间的一系列插值外观。
图5AE示出了互联网浏览器用户界面5060。互联网浏览器用户界面5060包括URL/搜索输入区域5062，其被配置为显示用于网络浏览器和浏览器控件5064(例如，包括后退按钮和前进按钮的导航控件、用于显示共享界面的共享控件、用于显示书签界面的书签控件以及用于显示选项卡界面的选项卡控件)的URL/搜索输入。互联网浏览器用户界面5060还包括网络对象5066、5068、5070、5072、5074和5076。在一些实施方案中，相应的网络对象包括链接，使得响应于在相应网络对象上的轻击输入，在互联网浏览器用户界面5060中显示与网络对象对应的链接的互联网位置(例如，替换相应的网络对象的显示)。网络对象5066、5068和5072包括三维虚拟对象的二维表示，如虚拟对象指示符5078、5080和5082分别所指示。网络对象5070、5074和5076包括二维图像(但网络对象5070、5074和5076的二维图像不与三维虚拟对象对应，如不存在虚拟对象指示符所指示)。与网络对象5068对应的虚拟对象为灯对象5084。
图5AF至图5AH示出了使得互联网浏览器用户界面5060的一部分被相机的视场5034替换的输入。在图5AF中，检测到与设备100的触摸屏112的接触5086。该接触的特征强度高于接触检测强度阈值IT0且低于提示按压强度阈值ITH，如强度水平计5028所示。在图5AG中，如强度水平计5028所示，接触5026的特征强度增加到高于轻按压强度阈值ITL已使得相机的视场5034显示在网络对象5068(例如，被虚拟灯5084覆盖)。在图5AH中，如强度水平计5028所示，接触5086的特征强度增加到高于深按压强度阈值ITD使得相机的视场5034替换互联网浏览器用户界面5060的更大部分(例如，仅留下URL/搜索输入区域5062和浏览器控件5064)，并且设备100的触觉输出发生器167输出触觉输出(如5088处所示)，该触觉输出指示用相机的视场5034替换互联网浏览器用户界面5060的一部分的标准已得到满足。在一些实施方案中，响应于参照图5AF至图5AH所描述的输入，相机的视场5034完全替换触摸屏显示器112上的互联网浏览器用户界面506。
图5AI至图5AM示出了使得虚拟灯5084移动的输入。在图5AI至图5AJ中，当接触5086沿箭头5090所指示的路径移动时，接触5086拖动虚拟灯5084。当虚拟灯5084通过接触5086移动时，虚拟灯5084的尺寸不变，并且虚拟灯5084的路径任选地不受到捕获在相机的视场中的物理空间的结构的约束。当虚拟灯5084通过接触5086移动时，在相机的视场5034中所识别的平面被突出显示。例如，在图5AJ中，当虚拟灯5084在地板平面5038上方移动时，地板平面5038被突出显示。在图5AJ至图5AK中，当接触5086沿箭头5092所指示的路径移动时，接触5086继续拖动虚拟灯5084。在图5AK至图5AL中，当接触5086沿箭头5094所指示的路径移动时，接触5086继续拖动虚拟灯5084，停止突出显示地板平面5038，并且在虚拟灯5084在桌子5004上方移动时突出显示桌面5046。在图5AM中，接触5086已抬离触摸屏112。当接触5086已抬离时，虚拟灯5086的尺寸被调整为具有相对于相机的视场5034中的桌子5004的正确比例，并且虚拟灯5086以竖直取向被放置在相机的视场5034中的桌面5046上。
图5AM至图5AQ示出了将虚拟灯5084拖动到触摸屏显示器112的边缘的输入，其使得相机的视场5034停止显示且互联网浏览器用户界面5060恢复。在图5AN中，在与虚拟灯5084对应的位置处检测到与设备100的触摸屏112的接触5096。在图5AN至图5AO中，当接触5096沿箭头5098所指示的路径移动时，接触5096拖动虚拟灯5084。在图5AO至图5AP中，当接触5054沿箭头5100所指示的路径移动时，接触5096将虚拟灯5084继续拖动到图5AP所示的位置。在图5AQ中，接触5096已抬离触摸屏112。
如图5AQ至图5AT所示，通过图5AM至图5AP所示的接触5096进行的输入导致从显示相机的视场5034到停止显示相机的视场5034并返回到完全显示互联网浏览器用户界面5060的转变。在图5AR中，相机的视场5034开始淡出(如虚线所指示)。在图5AR至图5AT中，虚拟灯5084的尺寸增加，并且该虚拟灯朝向其在互联网浏览器用户界面5060中的原始位置移动。在图5AS中，不再显示相机的视场5034，并且互联网浏览器用户界面5060开始淡入(如虚线所指示)。在图5AT中，完全显示互联网浏览器用户界面5060，并且虚拟灯5084已返回到其在互联网浏览器用户界面5060内的原始尺寸和位置。
图6A至图6AJ示出了根据一些实施方案的示例用户界面，其用于在第一用户界面区域中显示虚拟对象的第一表示、在第二用户界面区域中显示虚拟对象的第二表示以及显示具有一个或多个相机的视场的表示的虚拟对象的第三表示。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图6A示出了即时消息用户界面5008，其包括：包括接收的文本消息5012的消息气泡5010、包括发送的文本消息5016的消息气泡5014以及包括在消息中接收到的虚拟对象(例如，虚拟椅子5020)和虚拟对象指示符5022的消息气泡5018，该虚拟对象指示符指示虚拟椅子5020是在增强现实视图中(例如，在所显示的设备100的一个或多个相机的视场内)可见的对象。参照图5B进一步详细描述了即时消息用户界面5008。
图6B至图6C示出了使虚拟椅子5020旋转的输入。在图6B中，检测到与设备100的触摸屏112的接触6002。接触6002在触摸屏112上沿由箭头6004所指示的路径移动。在图6C中，响应于接触的移动，即时消息用户界面5008向上滚动(使得消息气泡5010滚离显示器，使得消息气泡5014和5018向上滚动，并显露另外的消息气泡6005)，并且虚拟椅子5020旋转(例如，向上倾斜)。虚拟椅子5020旋转的量值和方向与接触6002沿箭头6004所指示的路径的移动对应。在图6D中，接触6002已抬离触摸屏112。在一些实施方案中，虚拟椅子5020在消息气泡5018内的这种旋转行为被用作虚拟椅子5020是在包括设备100的相机的视场的增强现实环境中可见的虚拟对象的指示。
图6E至图6L示出了使得即时消息用户界面5008被登台用户界面6010替换并且随后改变虚拟椅子5020的取向的输入。在图6E中，检测到与设备100的触摸屏112的接触6006。该接触的特征强度高于接触检测强度阈值IT0且低于提示按压强度阈值ITH，如强度水平计5028所示。在图6F中，如强度水平计5028所示，接触6006的特征强度增加到高于提示按压强度阈值ITH，这使得消息气泡5018的区域增大、虚拟椅子5020的尺寸增大以及即时消息用户界面5008在消息气泡5018后面开始模糊(例如，向用户提供增大接触的特征强度的效果的视觉反馈)。在图6G中，如强度水平计5028所示，接触6006的特征强度增加到高于轻按压强度阈值ITL，这使得消息气泡5018被盘面6008替换、虚拟椅子5020的尺寸进一步增大以及即时消息用户界面5008在盘面6008后面进一步模糊。在图6H中，如强度水平计5028所示，接触6006的特征强度增加到高于深按压强度阈值ITD使得即时消息用户界面5008停止显示，并发起登台用户界面6010的淡入(由虚线指示)。另外，如图6H所示，接触6006的特征强度增加到高于深按压强度阈值ITD使得设备100的触觉输出发生器167输出触觉输出(如6012处所指示)，该触觉输出指示用登台用户界面6010替换即时消息用户界面5008的标准已得到满足。
在一些实施方案中，在接触6006的特征强度达到深按压强度阈值ITD(如图6H所示)之前，图6E至图6G所示的进展是可逆的。例如，在图6F和/或图6G所示的增加之后，减小接触6006的特征强度将使得与接触6006的减小的强度水平对应的界面状态被显示(例如，根据确定接触的减小的特征强度高于轻按压强度阈值ITL，示出如图6G所示的界面；根据确定接触的减小的特征强度高于提示按压强度阈值ITH，示出如图6F所示的界面；并且根据确定接触的减小的特征强度低于提示按压强度阈值ITH，示出如图6E所示的界面)。在一些实施方案中，在图6F和/或图6G所示的增加之后，减小接触6006的特征强度将使得如图6E所示的界面被重新显示。
在图6I中，显示登台用户界面6010。登台用户界面6010包括虚拟椅子5020显示在其上的台架6014。从图6H至图6I，虚拟椅子5020被动画以指示从图6H中的虚拟椅子5020的位置到图6I中的虚拟椅子5020的位置的转变。例如，虚拟椅子5020相对于台架6014旋转到预定义的位置、以预定义的取向旋转并且/或者旋转预定义的距离(例如，使得虚拟椅子看起来由台架6014支撑)。登台用户界面6010还包括后退控件6016，其在被激活时(例如，通过在与后退控件6016对应的位置处的轻击输入)使得先前所显示的用户界面(例如，即时消息用户界面5008)重新被显示。登台用户界面6010还包括切换控件6018，其指示当前的显示模式(例如，当前的显示模式为登台用户界面模式，如突出显示的“3D”指示符所指示)，并且其在被激活时使得转变到选择的显示模式。例如，当显示登台用户界面6010时，在与切换控件6018对应的位置(例如，与切换控件6018上包括文本“世界”的部分对应的位置)处通过接触进行的轻击输入使得登台用户界面6010被相机的视场替换。登台用户界面6010还包括共享控件6020(例如，用于显示共享界面的共享控件)。
图6J至图6L示出了由接触6006的移动引起的虚拟椅子5020相对于台架6014的旋转。在图6J至图6K中，当接触6006沿箭头6022所指示的路径移动时，虚拟椅子5020旋转(例如，围绕垂直于接触6066的移动的第一轴)。在图6K至图6L中，当接触6006沿箭头6024所指示的路径并且随后沿箭头6025所指示的路径移动时，虚拟椅子5020旋转(例如，围绕垂直于接触6066的移动的第二轴)。在图6M中，接触6006已抬离触摸屏112。在一些实施方案中，如图6J至图6L所示，虚拟椅子5020的旋转受到台架6014的表面的约束。例如，在虚拟椅子的旋转期间，虚拟椅子5020的至少一条腿保持与台架6014的表面接触。在一些实施方案中，台架6014的表面充当虚拟椅子5020的自由旋转和垂直平移的参考系，而不对虚拟椅子5020的移动造成特定的约束。
图6N至图6O示出了调整所显示的虚拟椅子5020的尺寸的输入。在图6N中，检测到与触摸屏112的第一接触6026和第二接触6030。第一接触6026沿箭头6028所指示的路径移动，在第一接触6026移动的同时，第二接触6030沿箭头6032所指示的路径移动。在图6N至图6O中，当第一接触6026和第二接触6030沿箭头6028和6032所指示的路径分别移动时(例如，在分离手势中)，所显示的虚拟椅子5020的尺寸增大。在图6P中，第一接触6030和第二接触6026已抬离触摸屏112，并且在接触6026和6030抬离之后，虚拟椅子5020保持增大的尺寸。
图6Q至图6U示出了使得登台用户界面6010被设备100的一个或多个相机的视场6036替换的输入。在图6Q中，检测到与设备100的触摸屏112的接触6034。该接触的特征强度高于接触检测强度阈值IT0且低于提示按压强度阈值ITH，如强度水平计5028所示。在图6R中，如强度水平计5028所示，接触5026的特征强度增加到高于提示按压强度阈值ITH已使得登台用户界面6010在虚拟椅子5020后面开始模糊(如虚线所指示)。在图6S中，如强度水平计5028所示，接触6034的特征强度增加到高于轻按压强度阈值ITL使得登台用户界面6010停止显示，并发起相机的视场6036的淡入(虚线所指示)。在图6T中，如强度水平计5028所示，接触6034的特征强度增加到高于深按压强度阈值ITD使得相机的视场6036显示。另外，如图6T所示，接触6034的特征强度增加到高于深按压强度阈值ITD使得设备100的触觉输出发生器167输出触觉输出(如6038处所指示)，该触觉输出指示用相机的视场6036的显示替换登台用户界面6010的显示的标准已得到满足。在图6U中，接触6034已抬离触摸屏112。在一些实施方案中，在接触6034的特征强度达到深按压强度阈值ITD(如图6T所示)之前，图6Q至图6T所示的进展是可逆的。例如，在图6R和/或图6S所示的增加之后，减小接触6034的特征强度将使得与接触6034的减小的强度水平对应的界面状态被显示。
从图6Q至图6U，虚拟椅子5020被放置在检测到的平面上(例如，根据设备100确定虚拟椅子5020被配置为以竖直取向放置在检测到的水平表面上，诸如，地板表面5038)，并且虚拟椅子5020的尺寸被调整(例如，基于相机的视场6036中定义的虚拟椅子5020的“真实世界”尺寸和/或所检测到的对象尺寸(诸如，桌子5004)，确定如相机的视场6036中所示的虚拟椅子5020相对于物理空间5002的比例)。当虚拟椅子5020从登台用户界面6010转变到相机的视场6036时，在显示登台界面6010时由虚拟椅子5020的旋转引起的虚拟椅子5020的取向得以保持(例如，如参照图6J至图6K所描述的)。例如，虚拟椅子5020相对于地板表面5038的取向与虚拟椅子5020相对于台架5014的表面的最终取向相同。在一些实施方案中，当在视场6036中相对于物理空间5002的尺寸调整虚拟椅子5020的尺寸时，考虑对登台用户界面中的虚拟对象5020的尺寸的调整。
图6V至图6Y示出了使得相机的视场6036被登台用户界面6010替换的输入。在图6V中，在与切换控件6018对应的位置(例如，与切换控件6018上包括文本“3D”的部分对应的位置)处检测到通过接触6040进行的输入(例如，轻击输入)。在图6W至图6Y中，响应于通过接触6040进行的输入，相机的视场6036淡出(如图6W中的虚线所指示)，登台用户界面6010淡入(如图6X中的虚线所指示)，并且完全显示登台用户界面6010(如图6Y所示)。从图6V至图6Y，虚拟椅子5020的尺寸被调整，并且虚拟椅子5020的位置改变(例如，使虚拟椅子5020返回到用于登台用户界面的预定义位置和尺寸)。
图6Z至图6AC示出了使得登台用户界面6010被即时消息用户界面5008替换的输入。在图6Z中，在与后退控件6016对应的位置处检测到通过接触6042进行的输入(例如，轻击输入)。在图6AA至图6AC中，响应于通过接触6042进行的输入，登台用户界面6010淡出(如图6AA中的虚线所指示)，即时消息用户界面5008淡入(如图6AB中的虚线所指示)，并且完全显示即时消息用户界面5008(如图6AC所示)。从图6Z至图6AB，在显示器上连续调整虚拟椅子5020的尺寸、取向和位置(例如，以使虚拟椅子5020返回到用于即时消息用户界面5008的预定义位置、尺寸和取向)。
图6AD至图6AJ示出了使得即时消息用户界面5008被相机的视场6036替换(例如，绕过登台用户界面6010的显示)的输入。在图6AD中，在与虚拟椅子5020对应的位置处检测到接触6044。通过接触6044进行的输入包括长触摸手势(在此期间，接触6044在触敏表面上与虚拟对象5020的表示对应的位置处以小于阈值移动量的移动保持至少预定义的阈值时间量)以及随后的向上轻扫手势(向上拖动虚拟椅子5020)。如图6AD至图6AE所示，当接触6044沿箭头6046所指示的路径移动时，虚拟椅子5020被向上拖动。在图6AE中，即时消息用户界面5008在虚拟椅子5020后面淡出。如图6AE至图6AF所示，当接触6044沿箭头6048所指示的路径移动时，虚拟椅子5020继续被向上拖动。在图6AF中，相机的视场5036在虚拟椅子5020后面淡入。在图6AG中，响应于包括长触摸手势以及随后的向上轻扫手势的通过接触6044进行的输入，完全显示相机的视场5036。在图6AH中，接触6044抬离触摸屏112。在图6AH至图6AJ中，响应于接触6044的抬离，虚拟椅子5020被释放(例如，因为虚拟椅子5020不再被接触约束或拖动)并下落到平面(例如，地板表面5038，根据确定水平(地板)表面与虚拟椅子5020对应)上。另外，如图6AJ所示，设备100的触觉输出发生器167输出触觉输出(如6050处所示)，该触觉输出指示虚拟椅子5020已着陆在地板表面5038上。
图7A至图7P示出了根据一些实施方案的示例用户界面，其用于显示具有指示项目与虚拟三维对象对应的视觉指示的项目。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图7A示出了在显示应用程序菜单的用户界面400时检测到的输入。该输入与显示第一用户界面(例如，互联网浏览器用户界面5060)的请求对应。在图7A中，在与浏览器模块147的图标420对应的位置处检测到通过接触7000进行的输入(例如，轻击输入)。响应于该输入，显示互联网浏览器用户界面5060，如图7B所示。
图7B示出了互联网浏览器用户界面5060(例如，如参照图5AE详细描述的)。互联网浏览器用户界面5060包括网络对象5066、5068、5070、5072、5074和5076。网络对象5066、5068和5072包括三维虚拟对象的二维表示，如虚拟对象指示符5078、5080和5082分别所指示。网络对象5070、5074和5076包括二维图像(但网络对象5070、5074和5076的二维图像不与三维虚拟对象对应，如不存在虚拟对象指示符所指示)。
图7C至图7D示出了使得互联网浏览器用户界面5060平移(例如，滚动)的输入。在图7B中，检测到与触摸屏112的接触7002。在图7C至图7D中，当接触7002沿箭头7004所指示的路径移动时，网络对象5066、5068、5070、5072、5074和5076向上滚动，从而显露另外的网络对象7003和7005。另外，当接触7002沿箭头7004所指示的路径移动时，分别包括虚拟对象指示符5078、5080和5082的网络对象5066、5068和5072中的虚拟对象根据输入的方向(向上垂直)旋转(例如，向上倾斜)。例如，虚拟灯5084从图7C中的第一取向向上倾斜到图7D中的第二取向。当接触滚动互联网浏览器用户界面5060时，网络对象5070、5074和5076的二维图像不旋转。在图7E中，接触7002已抬离触摸屏112。在一些实施方案中，网络对象5066、5068和5072中所描绘的对象的旋转行为被用作这些网络对象具有在增强现实环境中可见的对应的三维虚拟对象的视觉指示，而网络对象5070、5074和5076中所描绘的对象不存在此类旋转行为被用作这些网络对象不具有在增强现实环境中可见的对应的三维虚拟对象的视觉指示。
图7F至图7G示出了视差效应，其中虚拟对象响应于设备100相对于物理世界的取向的变化而在显示器上旋转。
图7F1示出，设备100由用户7006握持在用户的手5006中，使得设备100具有基本上垂直的取向。图7F2示出了如当设备100处于图7F1所示的取向时设备100显示的互联网浏览器用户界面5060。
图7G1示出，设备100由用户7006握持在用户的手5006中，使得设备100具有基本上水平的取向。图7G2示出了如当设备100处于图7G1所示的取向时设备100显示的互联网浏览器用户界面5060。从图7F2到图7G2，分别包括虚拟对象指示符5078、5080和5082的网络对象5066、5068和5072中的虚拟对象的取向根据设备的取向的变化旋转(例如，向上倾斜)。例如，根据物理空间中的设备取向的同时变化，虚拟灯5084从图7F2中的第一取向向上倾斜到图7G2中的第二取向。当设备的取向改变时，网络对象5070、5074和5076的二维图像不旋转。在一些实施方案中，网络对象5066、5068和5072中所描绘的对象的旋转行为被用作这些网络对象具有在增强现实环境中可见的对应的三维虚拟对象的视觉指示，而网络对象5070、5074和5076中所描绘的对象不存在此类旋转行为被用作这些网络对象不具有在增强现实环境中可见的对应的三维虚拟对象的视觉指示。
图7H至图7L示出了与显示第二用户界面(例如，即时消息用户界面5008)的请求对应的输入。在图7H中，在与显示器112的下边缘对应的位置处检测到接触7008。在图7H至图7I中，接触7008沿箭头7010所指示的路径向上移动。在图7I至图7J中，接触7008沿箭头7012所指示的路径继续向上移动。在图7H至图7J中，当接触7008从显示器112的下边缘向上移动时，互联网浏览器用户界面5060的尺寸减小，如图7I所示；并且在图7J中，显示多任务用户界面7012(例如，响应于通过接触7008进行的向上边缘轻扫手势)。多任务用户界面7012被配置为允许从具有保留状态(例如，当相应的应用程序为在设备上执行的前台应用程序时，保留状态为相应应用程序的最后状态)的各种应用程序和各种控制界面(例如，控制中心用户界面7014、互联网浏览器用户界面5060和即时消息用户界面5008，如图7J所示)中选择界面。在图7K中，接触7008已抬离触摸屏112。在图7L中，在与即时消息用户界面5008对应的位置处检测到通过接触7016进行的输入(例如，轻击输入)。响应于通过接触7016进行的输入，显示即时消息用户界面5008，如图7M所示。
图7M示出了包括消息气泡5018的即时消息用户界面5008(例如，如参照图5B进一步详细描述的)，该消息气泡包括在消息中接收到的虚拟对象(例如，虚拟椅子5020)和虚拟对象指示符5022，该虚拟对象指示符指示虚拟椅子5020是虚拟三维对象(例如，在增强现实视图中可见的对象和/或从不同角度可见的对象)。即时消息用户界面5008还包括消息气泡6005和消息气泡7018，前者包括发送的文本消息，后者包括接收的包括表情符号7020的文本消息。表情符号7020是不与虚拟三维对象对应的二维图像。为此，显示的表情符号7020不具有虚拟对象指示符。
图7N示出了地图用户界面7022，其包括地图7024、第一兴趣点的兴趣点信息区域7026以及第二兴趣点的兴趣点信息区域7032。例如，第一兴趣点和第二兴趣点是地图7024所示的与搜索输入区域7025中的搜索条目“Apple”对应的区域内或附近的搜索结果。在第一兴趣点信息区域7026中，显示的第一兴趣点对象7028具有虚拟对象指示符7030，该虚拟对象指示符指示第一兴趣点对象7028是虚拟三维对象。在第二兴趣点信息区域7032中，显示的第二兴趣点对象7034不具有虚拟对象指示符，因为第二兴趣点对象7034不与在增强现实视图中可见的虚拟三维对象对应。
图7O示出了文件管理用户界面7036，其包括文件管理控件7038、文件管理搜索输入区域7040、用于第一文件(例如，可移植文档格式(PDF)文件)的文件信息区域7042、用于第二文件(例如，照片文件)的文件信息区域7044、用于第三文件(例如，虚拟椅子对象)的文件信息区域7046以及用于第四文件(例如，PDF文件)的文件信息区域7048。第三文件信息区域7046包括邻近文件信息区域7046的文件预览对象7045显示的虚拟对象指示符7050，该虚拟对象指示符指示第三文件与虚拟三维对象对应。显示的第一文件信息区域7042、第二文件信息区域7044和第四文件信息区域7048不具有虚拟对象指示符，因为与这些文件信息区域对应的文件不具有在增强现实环境中可见的对应虚拟三维对象。
图7P示出了电子邮件用户界面7052，其包括电子邮件导航控件7054、电子邮件信息区域7056以及包括第一附件7060的表示和第二附件7062的表示的电子邮件内容区域7058。第一附件7060的表示包括虚拟对象指示符7064，该虚拟对象指示符指示第一附件是在增强现实环境中可见的虚拟三维对象。显示的第二附件7062不具有虚拟对象指示符，因为第二附件不是在增强现实环境中可见的虚拟三维对象。
图8A至图8E是示出根据一些实施方案的在从显示第一用户界面区域切换到显示第二用户界面区域时显示虚拟对象的表示的方法800的流程图。方法800在具有显示器、触敏表面以及一个或多个相机(例如，设备上与显示器和触敏表面相对的一侧上的一个或多个后向相机)的电子设备(例如，图3中的设备300或图1A中的便携式多功能设备100)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法800中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
方法800涉及检测在设备的触敏表面处通过接触进行的输入，该输入用于在第一用户界面区域中显示虚拟对象的表示。响应于该输入，设备使用标准来确定在用设备的一个或多个相机的视场替换第一用户界面区域的至少一部分的显示时是否连续显示虚拟对象的表示。使用标准来确定在用一个或多个相机的视场替换第一用户界面区域的至少一部分的显示时是否连续显示虚拟对象的表示，这使得多种不同类型的操作能够响应于输入而执行。响应于输入而使多种不同类型的操作能够执行(例如，通过用一个或多个相机的视场替换用户界面的至少一部分的显示，或者通过保持第一用户界面区域的显示，而不用一个或多个相机的视场的表示替换第一用户界面区域的至少一部分的显示)提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
设备在显示器112上的第一用户界面区域(例如，二维图形用户界面或其一部分(例如，家具图像的可浏览列表、包含一个或多个可选对象的图像等))中显示(802)虚拟对象的表示(例如，三维对象的图形表示，诸如，虚拟椅子5020、虚拟灯5084、鞋子、家具、手工工具、装饰品、人、表情符号、游戏角色、虚拟家具等)。例如，第一用户界面区域为如图5B所示的即时消息用户界面5008或如图5AE所示的互联网浏览器用户界面5060。在一些实施方案中，除设备周围的物理环境的图像之外，第一用户界面区域还包括背景(例如，第一用户界面区域的背景为预选的背景颜色/图案或背景图像，该背景图像不同于由一个或多个相机同时捕获的输出图像，并且不同于一个或多个相机的视场中的实时内容)。
当在显示器上的第一用户界面区域中显示虚拟对象的第一表示时，设备检测(804)在触敏表面112上与显示器上的虚拟对象的表示对应的位置处通过接触进行的第一输入(例如，在触摸屏显示器上的虚拟对象的第一表示上检测到接触，或者在与虚拟对象的第一表示同时显示在第一用户界面区域中的示能表示上检测到接触，该示能表示被配置为在被接触调用时触发虚拟对象的AR视图的显示)。例如，第一输入为如参照图5C至图5F描述的通过接触5020进行的输入或如参照图5AF至图5AL描述的通过接触5086进行的输入。
响应于检测到通过接触进行的第一输入(806)，根据确定通过接触进行的第一输入满足第一(例如，AR-触发)标准(例如，AR-触发标准是被配置为识别轻扫输入、触摸保持输入、按压输入、轻击输入、强度高于预定义强度阈值的用力按压或另一类型的预定义输入手势的标准，该标准与触发相机的激活、设备周围物理环境的增强现实(AR)视图的显示、虚拟对象的三维表示在物理环境的增强现实视图内部的放置以及/或以上动作中的两者或更多者的组合相关联)：设备在显示器上显示第二用户界面区域，这包括用一个或多个相机的视场的表示替换第一用户界面区域的至少一部分的显示，并且设备在从显示第一用户界面区域切换到显示第二用户界面区域时连续显示虚拟对象的表示。例如，显示器上的第二用户界面区域为如参照图5H描述的盘面5030中的相机的视场5034或如参照图5AH描述的相机的视场5034。在图5C至图5I中，根据确定通过接触5026进行的输入具有增加到高于深按压强度阈值ITD的特征强度，当从显示第一用户界面区域(即时消息用户界面5008)切换到显示第二用户界面区域时，连续显示虚拟椅子对象5020，其中显示第二用户界面区域即为用盘面5030中的相机的视场5034替换即时消息用户界面5008的一部分的显示。在图5AF至图5AH中，根据确定通过接触5086进行的输入具有增加到高于深按压强度阈值ITD的特征强度，当从显示第一用户界面区域(互联网浏览器用户界面5060)切换到显示第二用户界面区域时，连续显示虚拟灯对象5084，其中显示第二用户界面区域即为用相机的视场5034替换互联网浏览器用户界面5060的一部分的显示。
在一些实施方案中，连续显示虚拟对象的表示包括保持虚拟对象的表示的显示或显示虚拟对象的第一表示变化为虚拟对象的第二表示的动画过渡(例如，具有不同尺寸、来自不同视角、具有不同的渲染风格或在显示器上的不同位置处的虚拟对象的视图)。在一些实施方案中，一个或多个相机的视场5034显示设备周围的物理环境5002的实时图像，该实时图像在设备相对于物理环境的位置和取向发生改变时实时地更新(例如，如图5K至图5L所示)。在一些实施方案中，第二用户界面区域完全替换显示器上的第一用户界面。
在一些实施方案中，第二用户界面区域覆盖第一用户界面区域的一部分(例如，第一用户界面区域的一部分沿显示器的边缘或围绕显示器的边界示出)。在一些实施方案中，第二用户界面区域在第一用户界面区域旁边弹出。在一些实施方案中，第一用户界面区域内的背景被相机的视场5034的内容替换。在一些实施方案中，设备显示示出虚拟对象从如第一用户界面区域中所示的第一取向移动并旋转(例如，如图5E至图5I所示)到第二取向(例如，相对于捕获在一个或多个相机的视场中的物理环境的一部分的当前取向来预定义的取向)的动画过渡。例如，动画包括从在显示第一用户界面区域时显示虚拟对象的二维表示到在显示第二用户界面区域时显示虚拟对象的三维表示的转变。在一些实施方案中，虚拟对象的三维表示具有基于如二维图形用户界面(例如，第一用户界面区域)中所示的虚拟对象的形状和取向来预定义的锚定平面。当转变到增强现实视图(例如，第二用户界面区域)时，虚拟对象的三维表示被移动、被重新定尺寸并且被重新取向，以使虚拟对象从显示器上的原始位置到达显示器上的新位置(例如，到达增强现实视图的中心，或者到达增强现实视图中的另一预定义位置)，并且在移动期间或者在移动结束时，对虚拟对象的三维表示进行重新取向，使得虚拟对象的三维表示处于相对于在一个或多个相机的视场中识别到的预定义平面(例如，可充当虚拟对象的三维表示的支撑平面的物理表面，诸如，垂直墙壁或水平地板表面)的预定义位置处和/或取向下。
在一些实施方案中，第一标准包括(808)当(例如，根据以下确定)接触在触敏表面上与虚拟对象的表示对应的位置处以小于阈值移动量的移动保持至少预定义时间量(例如，长按压时间阈值)时所满足的标准。在一些实施方案中，根据确定接触满足用于识别另一类型的手势(例如，轻击)的标准，在保持显示虚拟对象的同时，设备还执行除触发AR用户界面之外的另一预定义功能。根据接触在触敏表面上与虚拟对象的表示对应的位置处是否以小于阈值移动量的移动保持至少预定义时间量，确定在用相机的视场替换第一用户界面区域的至少一部分的显示时是否连续显示虚拟对象的表示，这使得多种不同类型的操作能够响应于输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准包括(810)当(例如，根据以下确定)接触的特征强度增加到高于第一强度阈值(例如，轻按压强度阈值ITL或深按压强度阈值ITD)时所满足的标准。例如，如参照图5C至图5F描述的，当接触5026的特征强度增加到高于深按压强度阈值ITD时，标准得到满足，如强度水平计5028所指示。在一些实施方案中，根据确定接触满足用于识别另一类型的手势(例如，轻击)的标准，在保持显示虚拟对象的同时，设备还执行除触发AR用户界面之外的另一预定义功能。在一些实施方案中，第一标准要求第一输入不是轻击输入(例如，输入具有在接触的向下触摸与接触的抬离之间的持续时间，该持续时间大于轻击时间阈值)。根据接触的特征强度是否增加到高于第一强度阈值，确定在用相机的视场替换第一用户界面区域的至少一部分的显示时是否连续显示虚拟对象的表示，这使得多种不同类型的操作能够响应于输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准包括(812)当(例如，根据以下确定)接触的移动满足预定义的移动标准(例如，接触在触敏表面上移动超出预定义的阈值位置(例如，与第一用户界面区域的边界对应的位置、与接触的原始位置相距阈值距离的位置等)，接触以大于预定义阈值速度的速度移动，接触的移动在按压输入下结束，等等)时所满足的标准。在一些实施方案中，在接触的移动的初始部分期间，通过接触拖动虚拟对象的表示，并且在接触的移动即将满足预定义的定义移动标准时，虚拟对象在接触下停止移动，以指示第一标准即将得到满足；并且，如果接触的移动继续且接触的继续移动使预定义的移动标准得到满足，则开始转变到显示第二用户界面区域且在增强现实视图内显示虚拟对象。在一些实施方案中，当在第一输入的初始部分期间拖动虚拟对象时，对象尺寸和观看视角不会变化，并且一旦显示增强现实视图，并且虚拟对象下落到增强现实视图中的位置处，则显示具有取决于由增强现实视图中的虚拟对象的下落位置表示的物理位置的尺寸和观看视角的虚拟对象。根据接触的移动是否满足预定义的移动标准，确定在用相机的视场替换第一用户界面区域的至少一部分的显示时是否连续显示虚拟对象的表示，这使得多种不同类型的操作能够响应于输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过接触进行的第一输入，根据确定通过接触进行的第一输入已满足第一标准，具有一个或多个触觉输出发生器167的设备输出(814)触觉输出，该触觉输出指示第一输入满足第一标准(例如，如参照图5F描述的触觉输出5032或如参照图5AH描述的触觉输出5088)。在一些实施方案中，在一个或多个相机的视场出现在显示器上之前生成触感。例如，该触感指示触发一个或多个相机的激活并且随后触发一个或多个相机的视场中的平面检测的第一标准得到满足。由于激活相机以及使得视场可显示需要时间，该触感为用户充当指示设备已检测到必要的输入并且设备一准备好就呈现增强现实用户界面的非视觉信号。
输出指示标准(例如，用于用相机的视场替换用户界面的至少一部分的显示)得到满足的触觉输出为用户提供了指示所提供的输入满足标准的反馈。提供改进的触觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一输入的至少初始部分(例如，包括：检测到接触；或检测到满足相应的预定义标准而不满足第一标准的通过接触进行的输入；或检测到满足第一标准的输入)，设备分析(816)一个或多个相机的视场，以检测一个或多个相机的视场中的一个或多个平面(例如，地板表面5038、桌面5046、墙壁等)。在一些实施方案中，响应于检测到第一输入的至少初始部分而激活一个或多个相机，并且在激活相机的同时发起平面检测。在一些实施方案中，在激活一个或多个相机之后延迟一个或多个相机的视场的显示(例如，从一个或多个相机被激活的时间延迟到在相机的视场中检测到至少一个平面的时间)。在一些实施方案中，在一个或多个相机被激活的时间处发起一个或多个相机的视场的显示，并且在视场在显示器上(例如，在第二用户界面区域中)已经可见之后完成平面检测。在一些实施方案中，在一个或多个相机的视场中检测到相应的平面之后，设备基于相应平面相对于一个或多个相机的视场的位置来确定虚拟对象的表示的尺寸和/或位置。在一些实施方案中，当电子设备移动时，随着一个或多个相机的视场相对于相应平面的位置改变，更新虚拟对象的表示的尺寸和/或位置(例如，参照图5K至图5L描述的)。基于在相机的视场中检测到的相应平面的位置来确定虚拟对象的表示的尺寸和/或位置(例如，不需要进一步的用户输入，以相对于相机的视场为虚拟对象定尺寸并且/或者对其进行定位)增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在触敏表面上与显示器上的虚拟对象的表示对应的位置处检测到接触(例如，响应于在触摸屏112上与虚拟椅子5020对应的位置处检测到接触5026)，发起(818)对一个或多个相机的视场的分析来检测一个或多个相机的视场中的一个或多个平面。例如，在第一输入满足第一标准之前(例如，在接触5026的特征强度增加到高于深按压强度阈值ITD之前，如参照图5F描述的)，以及在显示第二用户界面区域之前，开始相机的激活以及对相机的视场中的平面的检测。通过在检测到与虚拟对象的任何交互时开始检测平面，可在AR触发标准得到满足之前完成平面检测，因此，用户在观看以下过程时不存在视觉延迟：当第一输入满足AR触发标准时，虚拟对象转变进入增强现实视图。响应于在虚拟对象的表示的位置处检测到接触，发起分析来检测相机的视场中的一个或多个平面(例如，不需要进一步的用户输入来发起对相机的视场的分析)提高了设备的效率，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过接触进行的第一输入满足第一标准(例如，响应于检测到接触5026的特征强度增加到高于深按压强度阈值ITD，如参照图5F描述的)，发起(820)对一个或多个相机的视场的分析来检测一个或多个相机的视场中的一个或多个平面。例如，当第一输入满足第一标准时，开始相机的激活以及对相机的视场中的平面的检测，并且在平面检测完成之前，显示相机的视场。通过在AR触发标准得到满足时开始相机激活和平面检测，不会不必要地激活和保持运行相机和平面检测，这节省了电池电量并延长了电池寿命和相机寿命。
在一些实施方案中，响应于检测到第一输入的初始部分满足平面检测触发标准而不满足第一标准，发起(822)对一个或多个相机的视场的分析来检测一个或多个相机的视场中的一个或多个平面。例如，当第一输入的初始部分满足一些标准(例如，不如AR触发标准严格的标准)时，开始相机的激活以及对相机的视场中的平面的检测，并且在平面检测完成之前，任选地显示相机的视场。通过在某些标准得到满足之后而不是在检测到接触时开始相机激活和平面检测，不会不必要地激活和保持运行相机和平面检测，这节省了电池电量并延长了电池寿命和相机寿命。通过在AR触发标准得到满足之前开始相机激活和平面检测，减少针对在第一输入满足AR触发标准时显示转变到增强现实视图中的虚拟对象的延迟(由相机激活和平面检测引起的)。
在一些实施方案中，设备以相应的方式在第二用户界面区域中显示(824)虚拟对象的表示，使得虚拟对象(例如，虚拟椅子5020)以相对于在一个或多个相机的视场5034中检测到的相应平面的预定义角度取向(例如，使得虚拟椅子5020的四条腿的下侧与地板表面5038之间没有距离(或存在最小距离))。例如，基于如二维图形用户界面中所示的虚拟对象的形状和取向来预定义虚拟对象相对于相应平面的取向和/或位置(例如，相应平面与可充当增强现实视图中的虚拟对象的三维表示的支撑表面的水平物理表面对应(例如，用于支撑花瓶的水平桌面)，或者相应平面为可充当增强现实视图中的虚拟对象的三维表示的支撑表面的垂直物理表面(例如，用于悬挂虚拟画框的垂直墙壁))。在一些实施方案中，虚拟对象的取向和/或位置由虚拟对象的相应表面或边界(例如，底表面、底边界点、侧表面和/或侧边界点)限定。在一些实施方案中，与相应平面对应的锚定平面是虚拟对象的一组属性中的属性，并且该锚定平面根据虚拟对象应该表示的物理对象的性质来指定。在一些实施方案中，虚拟对象被放置在相对于在一个或多个相机的视场中检测到的多个平面的预定义取向下和/或位置处(例如，虚拟对象的多个相应侧面与在相机的视场中检测到的相应平面相关联)。在一些实施方案中，如果相对于虚拟对象的水平底平面定义为虚拟对象预定义的取向和/或位置，则在相机的视场中检测到的地板平面上显示虚拟对象的底平面(例如，虚拟对象的水平底平面与地板平面平行，且其与地板平面之间的距离为零)。在一些实施方案中，如果相对于虚拟对象的垂直后平面定义为虚拟对象预定义的取向和/或位置，则抵靠在一个或多个相机的视场中检测到的墙壁平面放置虚拟对象的后表面(例如，虚拟对象的垂直后平面与墙壁平面平行，且其与墙壁平面之间的距离为零)。在一些实施方案中，在与相应平面相距固定距离的位置处或者相对于相应平面成除零角度或直角之外的角度放置虚拟对象。相对于在相机的视场中检测到的平面来显示虚拟对象的表示(例如，不需要进一步的用户输入，以相对于相机的视场中的平面来显示虚拟对象)增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在一个或多个相机的视场中检测到相应的平面，具有一个或多个触觉输出发生器167的设备输出(826)触觉输出，该触觉输出指示在一个或多个相机的视场中检测到相应的平面。在一些实施方案中，为相机的视场中检测到的每个平面(例如，地板表面5038和/或桌面5046)生成相应的触觉输出。在一些实施方案中，在完成平面检测时生成触觉输出。在一些实施方案中，触觉输出伴随有示出在第二用户界面部分中的视场中的视场平面的视觉指示(例如，已检测到的视场平面的瞬时突出显示)。输出指示在相机的视场中检测到平面的触觉输出向用户提供了指示已检测到该平面的反馈。提供改进的触觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少用于放置虚拟对象的不必要的另外输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在从显示第一用户界面区域切换到显示第二用户界面区域时，设备显示(828)虚拟对象的表示转变(例如，移动、旋转、重新定尺寸和/或以不同的风格重新渲染等)到第二用户界面区域中相对于相应平面的预定义位置时的动画(例如，如图5F至图5I所示)，并且结合显示相对于相应平面成预定义角度(例如，在相对于相应平面的预定义取向下和/或位置处，以及其待示出在增强现实视图中的到达最终状态的尺寸、旋转角度和外观)的虚拟对象的表示，具有一个或多个触觉输出发生器167的设备输出触觉输出，该触觉输出指示虚拟对象相对于相应平面成预定义角度显示在第二用户界面区域中。例如，如图5I所示，结合显示相对于地板表面5038成预定义角度的虚拟椅子5020，设备输出触觉输出5036。在一些实施方案中，生成的触觉输出被配置为具有反映虚拟对象或虚拟对象所表示的物理对象的以下属性的特征(例如，频率、循环数量、调制、幅度、伴随音频波等)：重量(例如，重与轻)、材料(例如，金属、棉、木材、大理石、液体、橡胶、玻璃)、尺寸(例如，大与小)、形状(例如，薄与厚、长与短、圆与尖等)、弹性(例如，弹性与刚性)、性质(例如，俏皮与庄严、温和与强劲等)以及其他属性。例如，触觉输出使用图4F至图4K所示的触觉输出模式中的一者或多者。在一些实施方案中，包括一个或多个特征随时间推移的一个或多个变化的预设分布与虚拟对象(例如，表情符号)对应。例如，为“微笑”表情符号虚拟对象提供“弹跳”触觉输出分布。输出指示虚拟对象的表示相对于相应平面的放置的触觉输出为用户提供了指示虚拟对象的表示已相对于相应平面自动放置的反馈。提供改进的触觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少用于放置虚拟对象的不必要的另外输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中(830)，触觉输出具有与虚拟对象的特征(例如，模拟物理特性，诸如尺寸、密度、质量和/或材料)对应的触觉输出分布。在一些实施方案中，触觉输出分布具有基于虚拟对象的一个或多个特征(例如，重量、材料、尺寸、形状和/或弹性)而变化的特征(例如，频率、循环数量、调制、幅值、伴随音频波等)。例如，触觉输出使用图4F至图4K所示的触觉输出模式中的一者或多者。在一些实施方案中，随虚拟对象的尺寸、重量和/或质量增加，触觉输出的幅值和/或持续时间也增加。在一些实施方案中，基于构成虚拟对象的虚拟材料来选择触觉输出模式。输出具有与虚拟对象的特征对应的分布的触觉输出为用户提供了指示关于虚拟对象的特征的信息的反馈。提供改进的触觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入；通过减少用于放置虚拟对象的不必要的额外输入；以及通过提供允许用户感知虚拟对象的特征，但不使具有显示的关于这些特征的信息的用户界面混乱)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第二用户界面区域中显示虚拟对象的表示时，设备检测(832)调整一个或多个相机的视场5034(例如，如图5K至图5L所示)的设备移动(例如，设备的横向移动和/或旋转)，并且响应于检测到设备的移动，在调整一个或多个相机的视场时，根据虚拟对象与一个或多个相机的视场中的相应平面(例如，地板表面5038)之间的固定空间关系(例如，取向和/或位置)(例如，虚拟对象以使得虚拟对象的表示与平面之间的固定角度得以保持(例如，虚拟对象看起来保持在平面上的固定位置处或者沿视场平面滚动)的取向和位置显示在显示器上)，设备调整第二用户界面区域中的虚拟对象(例如，虚拟椅子5020)的表示。例如，在图5K至图5L中，当设备100移动时，包括相机的视场5034的第二用户界面区域中的虚拟椅子5020相对于地板表面5038保持固定的取向和位置。在一些实施方案中，虚拟对象看起来相对于周围物理环境5002静止且无变化，也就是说，当一个或多个相机的视场随设备相对于周围物理环境移动而变化时，虚拟对象的表示在显示器上的尺寸、位置和/或取向随设备位置和/或取向变化而变化。根据虚拟对象与相应平面之间的固定关系来调整虚拟对象的表示(例如，不需要进一步的用户输入来保持虚拟对象相对于相应平面的位置)增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，(例如，在与用一个或多个相机的视场的表示替换第一用户界面区域的至少一部分的显示对应的时间处)，设备显示(834)在从显示第一用户界面区域切换到显示第二用户界面区域时连续显示虚拟对象(例如，虚拟椅子5020)的表示的动画(例如，移动、围绕一个或多个轴的旋转和/或缩放)(例如，如图5F至图5I所示)。例如，动画包括从在显示第一用户界面区域时显示虚拟对象的二维表示到在显示第二用户界面区域时显示虚拟对象的三维表示的转变。在一些实施方案中，虚拟对象的三维表示具有相对于捕获在一个或多个相机的视场中的物理环境的一部分的当前取向来预定义的取向。在一些实施方案中，当转变到增强现实视图时，虚拟对象的表示被移动、被重新定尺寸并且被重新取向，以使虚拟对象从显示器上的初始位置到达显示器上的新位置(例如，增强现实视图的中心或增强现实视图中的另一预定义位置)，并且在移动期间或者在移动结束时，对虚拟对象进行重新取向，使得虚拟对象相对于在相机的视场中检测到的平面(例如，可支撑虚拟对象的表示的物理表面，诸如，垂直墙壁或水平地板表面)成固定角度。在一些实施方案中，当发生动画过渡时，调整虚拟对象的照明和/或虚拟对象投射的阴影(例如，以匹配在一个或多个相机的视场中检测到的环境照明)。显示当虚拟对象的表示从显示第一用户界面区域切换到显示第二用户界面区域时的动画为用户提供了指示第一输入满足第一标准的反馈。提供改进的反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在显示器上显示第二用户界面区域时，设备检测(836)通过第二接触(例如，接触5040)进行的第二输入，其中第二输入包括(任选地，通过第二接触进行的选择虚拟对象的表示的按压或触摸输入以及)第二接触沿在显示器上的第一路径的移动(例如，如图5N至图5P所示)，并且响应于检测到通过第二接触进行的第二输入，设备沿与第一路径对应(例如，与第一路径相同或者受到第一路径的约束)的第二路径移动第二用户界面区域中的虚拟对象(例如，虚拟椅子5020)的表示。在一些实施方案中，第二接触不同于第一接触且在第一接触抬离之后被检测到(例如，如图5N至图5P中的接触5040所示，其在图5C至图5F中的接触5026抬离之后被检测到)。在一些实施方案中，第二接触与连续保持在触敏表面上的第一接触相同(例如，如通过接触5086进行的输入所示，该输入满足AR触发标准，并且然后在触摸屏112上移动，以移动虚拟灯5084)。在一些实施方案中，虚拟对象上的轻扫输入使虚拟对象旋转，而虚拟对象的移动任选地受到相机的视场中的平面的约束(例如，轻扫输入使椅子的表示在相机的视场中的地板平面上旋转)。响应于检测到输入而移动虚拟对象的表示为用户提供了指示所显示的虚拟对象的位置可响应于用户输入而移动的反馈。提供改进的反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当虚拟对象的表示基于接触的移动和与虚拟对象对应的相应平面沿第二路径移动时，设备调整(838)虚拟对象的表示的尺寸(例如，基于从虚拟对象的表示到用户的虚拟距离，以保持虚拟对象在视场中的准确视角)。例如，在图5N至图5P中，当虚拟椅子更深入相机的视场5034、远离设备100以及朝向桌子5004移动时，虚拟椅子5020的尺寸减小。在虚拟对象的表示基于接触的移动以及与虚拟对象对应的平面沿第二路径移动时调整虚拟对象的表示的尺寸(例如，不需要进一步的用户输入来调整虚拟对象的表示的尺寸，以将虚拟对象的表示保持在相对于相机的视场中的环境的逼真尺寸下)，这增强了设备的可操作性，并且又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当虚拟对象的表示沿第二路径移动时，设备保持(840)虚拟对象(例如，虚拟灯5084)的表示的第一尺寸(例如，如图5AI至图5AL所示)，设备检测通过第二接触进行的第二输入的终止(例如，包括检测第二接触的抬离，如图5AL至图5AM所示)，并且响应于检测到通过第二接触进行的第二输入终止，设备将虚拟对象的表示放置在第二用户界面区域中的放下位置(例如，桌面5046上)处，并且在第二用户界面区域中的放下位置处显示具有第二尺寸的虚拟对象的表示，第二尺寸不同于第一尺寸(例如，图5AM中通过接触5086进行的输入终止之后的虚拟灯5084的尺寸不同于图5AL中通过接触5086进行的输入终止之前的虚拟灯5084的尺寸)。例如，在被接触拖动时，对象的尺寸和观看视角不会变化，并且当对象下落在增强现实视图中的最终位置处时，显示具有基于物理环境中与相机的视场中示出的虚拟对象的下落位置对应的物理位置来确定的尺寸和观看视角的对象，使得根据确定下落位置为相机的视场中的第一位置，对象具有第二尺寸，以及根据确定下降位置为相机的视场中的第二位置，对象具有与第二尺寸不同的第三尺寸，其中基于下落位置与一个或多个相机之间的距离来选择第二尺寸和第三尺寸。响应于检测到移动虚拟对象的第二输入的终止而显示具有改变的尺寸的虚拟对象的表示(例如，不需要进一步的用户输入来调整虚拟对象的尺寸，以将虚拟对象保持在相对于相机的视场中的环境的逼真尺寸下)增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第二接触沿显示器上的第一路径的移动满足第二标准(例如，在第一路径的末端，接触在阈值距离内，或者在显示器的边缘(例如，底边缘、顶边缘和/或侧边缘)或第二用户界面区域的边缘之外)，设备(842)：停止显示包括一个或多个相机的视场的表示的第二用户界面区域，并且重新显示具有虚拟对象的表示的(完整)第一用户界面区域(例如，如果先前第一用户界面区域的一部分与第二用户界面区域同时显示，那么在不再显示第二用户界面区域之后，设备显示完整的第一用户界面区域)。例如，响应于将虚拟椅子5054拖动到触摸屏112的边缘的接触5054的移动，如图5V至图5X所示，停止显示相机的视场5034，并且重新显示完整的即时消息用户界面5008，如图5Y至图5AD所示。在一些实施方案中，随着接触接近显示器的边缘或第二用户界面区域的边缘，第二用户界面区域淡出(例如，如图5X至图5Y所示)，并且/或者第一用户界面区域(其未显示或被阻挡的部分)淡入(例如，如图5Z至图5AA所示)。在一些实施方案中，用于从非AR视图(例如，第一用户界面区域)转变到AR视图(例如，第二用户界面区域)的手势与用于从AR视图转变到非AR视图的手势相同。例如，虚拟对象上超出当前显示的用户界面中的阈值位置(例如，在当前显示的用户界面区域的边界的阈值距离内，或者超出当前显示的用户界面区域的边界)的拖动手势使得从当前显示的用户界面区域转变到对应的用户界面区域(例如，从显示第一用户界面区域转变到显示第二用户界面区域，或另选地，从显示第二用户界面区域转变到显示第一用户界面区域)。在一些实施方案中，在第一标准/第二标准得到满足之前示出视觉指示(例如，淡出当前显示的用户界面区域以及淡入对应的用户界面)，并且在检测到输入的终止(例如，接触的抬离)之前，如果输入继续且第一标准/第二标准未得到满足，该视觉指示是可逆的。响应于检测到满足输入标准的输入而重新显示第一用户界面提供了另外的控件选项，但不会使具有另外显示的控件(例如，用于从第二用户界面显示第一用户界面的控件)的第二用户界面混乱。提供另外的控件选项但不会使具有另外显示的控件的第二用户界面混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在与重新显示第一用户界面区域对应的时间处，设备显示(844)从在第二用户界面区域中显示虚拟对象的表示到在第一用户界面区域中显示虚拟对象的表示的动画过渡(例如，移动、围绕一个或多个轴的旋转和/或缩放)(例如，如图5AB至图5AD中的虚拟椅子5020的动画所示)。显示从在第二用户界面中显示虚拟对象的表示到在第一用户界面中显示虚拟对象的表示的动画过渡(例如，不需要进一步的用户输入来重新定位第一用户界面中的虚拟对象)增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当第二接触沿第一路径移动时，设备改变(846)在一个或多个相机的视场中识别到的一个或多个相应平面的视觉外观(例如，突出显示、标记、勾勒和/或以其他方式在视觉上改变一个或多个平面的外观)，该一个或多个相应平面与接触的当前位置对应。例如，当接触5042沿如图5O至图5P中的箭头5042和5044所示的路径拖动虚拟椅子5020时，地板表面5038被突出显示(例如，与图5M相比，在接触5042移动之前)。在一些实施方案中，根据确定接触在与在相机的视场中检测到的第一平面对应的位置处，突出显示第一平面。根据确定接触已移动到与在相机的视场中检测到的第二平面对应的位置(例如，如图5S至图5U所示)，停止突出显示第一平面(例如，地板表面5038)，并且突出显示第二平面(例如，桌面5046)。在一些实施方案中，同时突出显示多个平面。在一些实施方案中，以与在视觉上改变其他平面的方式不同的方式在视觉上改变多个在视觉上改变的平面中的第一平面，以指示接触在与第一平面对应的位置处。改变在相机的视场中识别到的一个或多个相应平面的视觉外观为用户提供了指示已识别到该平面(例如，虚拟对象可相对于该平面定位)的反馈。提供改进的视觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过接触进行的第一输入，根据确定通过接触进行的第一输入满足第三(例如，登台用户界面显示)标准(例如，登台用户界面显示标准是被配置为识别轻扫输入、触摸保持输入、按压输入、轻击输入或强度高于预定义的强度阈值的用力按压的标准)，设备在显示器上显示(848)第三用户界面区域，这包括替换第一用户界面区域的至少一部分的显示(例如，包括替换虚拟对象的2D图像的虚拟对象的3D模型)。在一些实施方案中，在显示登台用户界面(例如，如参照图6I描述的登台用户界面6010)时，设备基于检测到的与登台用户界面对应的输入来更新虚拟对象的表示的外观(例如，如下文参考方法900更详细地描述)。在一些实施方案中，当在虚拟对象显示在登台用户界面中时检测到另一输入且该输入满足用于转变到显示第二用户界面区域的标准时，设备用第二用户界面区域替换登台用户界面的显示，同时连续显示虚拟对象。相对于方法900描述了更多细节。根据确定第一输入满足第三标准显示第三用户界面提供了另外的控件选项，但不会使具有另外显示的控件(例如，用于从第一用户界面显示第三用户界面的控件)的第一用户界面混乱。提供另外的控件选项但不会使具有另外显示的控件的第二用户界面混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定通过接触进行的第一输入(例如，与滚动第一用户界面区域对应的轻扫输入或与显示对应于第一用户界面区域中的内容的网页或电子邮件的请求对应的轻击输入)不满足第一(例如，AR触发)标准，设备保持(850)第一用户界面区域的显示，而不用一个或多个相机的视场的表示替换第一用户界面区域的至少一部分的显示(例如，如参照图6B至图6C描述的)。使用第一标准来确定在用一个或多个相机的视场替换第一用户界面区域的至少一部分的显示时是否保持第一用户界面区域的显示或者是否连续显示虚拟对象的表示，这使得多种不同类型的操作能够响应于输入而执行。响应于输入而使多种不同类型的操作能够执行(例如，通过用一个或多个相机的视场替换用户界面的至少一部分的显示，或者通过保持第一用户界面区域的显示，而不用一个或多个相机的视场的表示替换第一用户界面区域的至少一部分的显示)提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图8A至8E中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法900和1000)所述的其他过程的细节同样以类似的方式适用于上文相对于图8A至图8E所述的方法800。例如，上文参考方法800所述的接触、输入、虚拟对象、用户界面区域、强度阈值、触觉输出、视场、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法900、1000、16000、17000、18000、19000和20000)所述的接触、输入、虚拟对象、用户界面区域、强度阈值、触觉输出、视场、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图9A至图9D是示出根据一些实施方案的方法900的流程图，该方法用于在第一用户界面区域中显示虚拟对象的第一表示、在第二用户界面区域中显示虚拟对象的第二表示以及显示具有一个或多个相机的视场的表示的虚拟对象的第三表示。方法900在具有显示器、触敏表面以及一个或多个相机(例如，设备上与显示器和触敏表面相对的一侧上的一个或多个后向相机)的电子设备(例如，图3中的设备300或图1A中的便携式多功能设备100)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法900中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下文所述，方法900涉及检测在设备的触敏表面处通过接触进行的输入，该输入用于在第一用户界面(例如，二维图形用户界面)中显示虚拟对象的表示。响应于第一输入，设备使用标准来确定是否在第二用户界面(例如，登台用户界面，在该登台用户界面中，可移动虚拟对象的三维表示、可为虚拟对象的三维表示重新定尺寸并且/或者可对虚拟对象的三维表示进行重新取向)中显示虚拟对象的第二表示。当在第二用户界面中显示虚拟对象的第二表示时，响应于第二输入，设备基于第二输入改变虚拟对象的第二表示的显示属性，或者在包括设备的一个或多个相机的视场的第三用户界面中显示虚拟对象的第三表示。使得多种不同类型的操作能够响应于输入而执行(例如，通过改变虚拟对象的显示属性或在第三用户界面中显示虚拟对象)提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
设备在显示器112上的第一用户界面区域(例如，二维图形用户界面或其一部分(例如，家具图像的可浏览列表、包含一个或多个可选对象的图像等))中显示(902)虚拟对象的第一表示(例如，三维对象的图形表示，诸如，虚拟椅子5020、虚拟灯5084、鞋子、家具、手工工具、装饰品、人、表情符号、游戏角色、虚拟家具等)。例如，第一用户界面区域为如图6A所示的即时消息用户界面5008。在一些实施方案中，除设备周围的物理环境的图像之外，第一用户界面区域还包括背景(例如，第一用户界面区域的背景为预选的背景颜色/图案或背景图像，该背景图像不同于由一个或多个相机同时捕获的输出图像，并且不同于一个或多个相机的视场中的实时内容)。
当在显示器上的第一用户界面区域中显示虚拟对象的第一表示时，设备检测(904)在触敏表面上与显示器上的虚拟对象的第一表示对应的位置处通过第一接触进行的第一输入(例如，在触摸屏显示器上的虚拟对象的第一表示上检测到第一接触，或者在与虚拟对象的第一表示同时显示在第一用户界面区域中的示能表示(例如，切换控件6018)上检测到第一接触，该示能表示被配置为在被第一接触调用时触发AR视图(例如，相机的视场6036)和/或包括虚拟对象(例如，虚拟椅子5020)的表示的登台用户界面6010的显示)。例如，第一输入为如参照图6E至图6I描述的通过接触6006进行的输入。
响应于检测到通过第一接触进行的第一输入，并且根据确定通过第一接触进行的第一输入满足第一(例如，登台触发)标准(例如，登台触发标准是被配置为识别轻扫输入、触摸保持输入、按压输入、轻击输入、接触的向下触摸、接触的初始移动或另一类型的预定义输入手势，该登台触发标准与触发相机的激活和/或触发相机的视场中的视场平面的检测相关联)，设备在第二用户界面区域中显示(906)虚拟对象的第二表示，第二用户界面区域与第一用户界面区域不同(例如，第二用户界面区域为登台用户界面6010，其不包括相机的视场并且包括模拟三维空间，在该模拟三维空间中可响应于用户输入操纵(例如，旋转或移动)虚拟对象的三维表示)。例如，在图6E至图6H中，根据确定通过接触6006进行的输入具有增加到高于深按压强度阈值ITD的特征强度，虚拟椅子对象5020被显示在登台用户界面6010中(例如，如图6I所示)，该登台用户界面不同于即时消息用户界面5008(例如，如图6E所示)。
在一些实施方案中，响应于检测到第一输入，并且根据确定第一输入满足登台触发标准，设备显示第一动画过渡，第一动画过渡示出了从如第一用户界面区域中所示的第一取向(例如，如图6E中的即时消息用户界面5008中所示的虚拟椅子5020的第一取向)被移动并重新取向为第二取向(例如，基于台架平面6014来确定的虚拟椅子5020的第二取向，如图6I所示)的虚拟对象的三维表示，其中第二取向基于显示器上的虚拟平面来确定，该虚拟平面独立于设备相对于设备周围物理环境的当前取向而取向。例如，虚拟对象的三维表示具有相对于平面的预定义取向和/或距离(例如，基于如二维图形用户界面中所示的虚拟对象的形状和取向)，并且当转变到登台视图(例如，登台用户界面6010)时，三维表示被移动、被重新定尺寸并且被重新取向，以使虚拟对象从显示器上的原始位置到达显示器上的新位置(例如，虚拟台架6014的中心)，并且在移动期间或者在移动结束时，对三维表示进行重新取向，使得虚拟对象相对于预定义的登台虚拟平面6014成固定角度，该预定义的登台虚拟平面独立于设备周围的物理环境而定义。
当在第二用户界面区域中显示虚拟对象的第二表示时，设备检测(908)第二输入(例如，如图6Q至图6T所示的通过接触6034进行的输入)。在一些实施方案中，检测第二输入包括：检测触摸屏上与虚拟对象的第二表示对应的位置处的一个或多个第二接触；检测示能表示上的第二接触，该示能表示被配置为在被第二接触调用时触发设备周围的物理环境的增强现实视图的显示；检测第二接触的移动；并且/或者检测第二接触的抬离。在一些实施方案中，第二输入是通过相同接触进行的第一输入的继续(例如，第二输入是在如图6E至图6I所示的通过接触6006进行的第一输入之后的如图6Q至图6T所示的通过接触6034进行的输入(例如，接触未抬离))，或者是通过完全不同接触进行的独立输入(例如，第二输入是在如图6E至图6I所示的通过接触6006进行的第一输入之后的如图6Q至图6T所示的通过接触6034进行的输入(例如，接触抬离))，或者是通过另外接触进行的输入的继续(例如，第二输入是在如图6E至图6I所示的通过接触6006进行的第一输入之后的如图6J至图6L所示的通过接触6006进行的输入)。例如，第二输入可为轻扫输入的继续、第二轻击输入、第二按压输入、在第一输入之后的按压输入、第二触摸保持输入、从第一输入继续的持续触摸等。
响应于检测到第二输入(910)：根据确定第二输入与在第二用户界面区域中(例如，而不转变到增强现实视图)操纵虚拟对象的请求对应，设备基于第二输入改变虚拟对象的第二表示在第二用户界面区域内的显示属性，并且根据确定第二输入与在增强现实环境中显示虚拟对象的请求对应，设备显示具有一个或多个相机的视场的表示的虚拟对象的第三表示(例如，设备显示包括一个或多个相机的视场6036的第三用户界面，并且将虚拟对象(例如，虚拟椅子5020)的三维表示放置在与设备周围物理环境5002中的物理平面(例如，地板)对应的相机的视场内检测到的虚拟平面(例如，地板表面5038)上)。
在一些实施方案中，与在第二用户界面区域中操纵虚拟对象的请求对应的第二输入为在触敏表面上与第二用户界面区域中的虚拟对象的第二表示对应的位置处通过第二接触进行的捏合或轻扫。例如，第二输入为如图6J至图6L所示的通过接触6006进行的输入或如图6N至图6O所示的通过接触6026和6030进行的输入。
在一些实施方案中，与在增强现实环境中显示虚拟对象的请求对应的第二输入为在触敏表面上与第二用户界面区域中的虚拟对象的表示对应的位置处或者从触敏表面上与第二用户界面区域中的虚拟对象的表示对应的位置进行的轻击输入、按压输入或者触摸保持或按压输入以及随后的拖动输入。例如，第二输入为如图6Q至图6T所示的通过接触6034进行的深按压输入。
在一些实施方案中，基于第二输入改变虚拟对象的第二表示在第二用户界面区域内的显示属性包括围绕一个或多个轴旋转(例如，通过垂直和/或水平轻扫)、重新定尺寸(例如，捏合以重新定尺寸)、围绕一个或多个轴倾斜(例如，通过倾斜设备)、改变视角(例如，通过水平移动设备，在一些实施方案中，这用于分析一个或多个相机的视场，以检测一个或多个视场平面)以及/或改变虚拟对象的表示的颜色。例如，改变虚拟对象的第二表示的显示属性包括，响应于如图6J至图6K所示的通过接触6006进行的水平轻扫手势旋转虚拟椅子5020；响应于如图6K至图6L所示的通过接触6006进行的对角轻扫手势旋转虚拟椅子5020；或者响应于如图6N至图6O所示的通过接触6026和6030进行的分离手势增大虚拟椅子5020的尺寸。在一些实施方案中，虚拟对象的第二表示的显示属性的变化量与第二输入的属性(例如，接触的移动距离或移动速度、接触强度、接触的持续时间等)的变化量相关联。
在一些实施方案中，根据确定第二输入与在增强现实环境中(例如，在一个或多个相机的视场6036中，如参照图6T描述的)显示虚拟对象的请求对应，设备显示第二动画过渡，第二动画过渡示出从相对于显示器上的虚拟平面的相应取向(例如，图6R所示的虚拟椅子5020的取向)被重新取向为第三取向(例如，图6T所示的虚拟椅子5020的取向)的虚拟对象的三维表示，第三取向基于物理环境中被捕获在一个或多个相机的视场中的部分的当前取向来确定。例如，对虚拟对象的三维表示进行重新取向，使得虚拟对象的三维表示相对于在捕获在相机的视场中的物理环境5002(例如，可支撑虚拟对象的三维表示的物理表面，诸如垂直墙壁或水平地板表面)的实时图像中识别到的预定义平面(例如，地板表面5038)成固定角度。在一些实施方案中，在至少一个方面，增强现实视图中的虚拟对象的取向受到登台用户界面中的虚拟对象的取向的约束。例如，当将虚拟对象从登台用户界面转变到增强现实视图时，虚拟对象围绕三维坐标系的至少一个轴的旋转角度得以保持(例如，如参照图6Q至图6U描述的，如参照图6J至图6K描述的虚拟椅子5020的旋转得以保持)。在一些实施方案中，投射在第二用户界面区域中的虚拟对象的表示上的光源为虚拟光源。在一些实施方案中，第三用户界面区域中的虚拟对象的第三表示被真实世界光源照亮(例如，如在一个或多个相机的视场中检测到并且/或者通过一个或多个相机的视场来确定)。
在一些实施方案中，第一标准包括(912)当(例如，根据以下确定)第一输入包括在触敏表面上与虚拟对象指示符5022对应的位置处通过第一接触进行的轻击输入时所满足的标准(例如，重叠和/或邻近显示器上的虚拟对象的表示的指示符，诸如，图标)。例如，虚拟对象指示符5022提供与该虚拟对象指示符对应的虚拟对象在登台视图(例如，登台用户界面6010)和增强现实视图(例如，相机的视场6036)中可见的指示(例如，如下文参考方法1000更详细地描述)。根据第一输入是否包括轻击输入确定是否在第二用户界面区域中显示虚拟对象的第二表示，这使得多种不同类型的操作能够响应于第一输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准包括(914)当(例如，根据以下确定)第一接触在触敏表面上与虚拟对象的第一表示对应的位置处以小于阈值移动量的移动保持至少预定义阈值时间量(例如，长按压时间阈值)时所满足的标准。例如，通过触摸保持输入满足第一标准。在一些实施方案中，第一标准包括要求在第一接触在触敏表面上与虚拟对象的表示对应的位置处以小于阈值移动量的移动保持至少预定义的阈值时间量之后移动第一接触以便满足标准的标准。例如，通过触摸保持输入以及随后的拖动输入来满足第一标准。根据接触在触敏表面上与虚拟对象的表示对应的位置处是否以小于阈值移动量的移动保持至少预定义时间量，确定是否在第二用户界面区域中显示虚拟对象的第二表示，这使得多种不同类型的操作能够响应于第一输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准包括(916)当(例如，根据以下确定)第一接触的特征强度增加到高于第一强度阈值(例如，深按压强度阈值ITD)时所满足的标准。例如，如参照图6Q至图6T描述的，当接触6034的特征强度增加到高于深按压强度阈值ITD时，标准得到满足，如强度水平计5028所指示。在一些实施方案中，根据确定接触满足用于识别另一类型的手势(例如，轻击)的标准，在保持显示虚拟对象的同时，设备还执行除触发第二(例如，登台)用户界面之外的另一预定义功能。在一些实施方案中，第一标准要求第一输入不是轻击输入(例如，在接触的初始向下触摸的轻击时间阈值内检测到接触抬离之前的强度达到高于阈值强度的用力轻击输入)。在一些实施方案中，第一标准包括要求在第一接触的强度超过第一强度阈值之后移动第一接触的标准，以便满足标准。例如，通过按压输入以及随后的拖动输入来满足第一标准。根据接触的特征强度是否增加到高于第一强度阈值，确定是否在第二用户界面区域中显示虚拟对象使得多种不同类型的操作能够响应于第一输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过第一接触进行的第一输入，并且根据确定通过第一接触进行的第一输入满足第二标准(例如，界面滚动标准)，设备在与第一接触的移动方向对应的方向上滚动(918)第一用户界面区域(以及虚拟对象的表示)(例如，第一标准未得到满足，并且放弃在第二用户界面区域中显示虚拟对象的表示)，其中第二标准要求第一输入包括第一接触在跨触敏表面的方向上的移动大于阈值距离(例如，通过轻扫手势来满足第二标准，诸如，垂直轻扫或水平手势)。例如，如参照图6B至图6C描述的，通过接触6002进行的向上垂直轻扫手势使即时消息用户界面5008和虚拟椅子5020向上滚动。在一些实施方案中，第一标准还要求第一输入包括第一接触的移动大于阈值距离，以便满足第一标准，并且设备基于第一输入的初始部分(例如，虚拟对象的表示上的触摸保持或按压)是否满足对象选择标准来确定第一输入是否满足第一标准(例如，登台触发标准)或第二标准(例如，界面滚动标准)。在一些实施方案中，在虚拟对象以及虚拟对象的AR图标的位置之外的触摸位置处发起的轻扫输入满足第二标准。根据第一输入是否满足第二标准，响应于第一输入确定是否滚动第一用户界面区域，这使得多种不同类型的操作能够响应于第一输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过第一接触进行的第一输入，并且根据确定通过第一接触进行的第一输入满足第三(例如，AR触发)标准，设备显示(920)具有一个或多个相机的视场的表示的虚拟对象的第三表示。例如，如参照图6AD至图6AG描述的，通过接触6044进行的长触摸输入以及随后通过接触6044进行的拖动虚拟椅子5020的向上拖动输入使得相机的视场6036显示虚拟椅子5020。
在一些实施方案中，第三标准包括例如根据以下确定满足的标准：一个或多个相机处于活动状态；设备取向落入定义的范围内(例如，来自定义的原始取向、定义的围绕一个或多个轴的旋转角度的范围)；通过接触进行的输入包括选择输入(例如，长触摸)以及随后的拖动输入(移动显示器上的虚拟对象的接触的移动)(例如，移动到与显示器的边缘相距预定距离的范围内)；接触的特征强度增加到高于AR触发强度阈值(例如，轻按压阈值ITL或深按压阈值ITD)；接触的持续时间增加到大于AR触发持续时间阈值(例如，长按压阈值)；并且/或者接触移动的距离增加到大于AR触发距离阈值(例如，长轻扫阈值)。在一些实施方案中，用于在第二用户界面区域(例如，登台用户界面6010)中显示虚拟对象的表示的控件(例如，切换控件6018)显示在包括虚拟对象的表示以及一个或多个相机的视场6036的用户界面(例如，替换第二用户界面区域的至少一部分的第三用户界面区域)中。
在一些实施方案中，当从第一用户界面区域(例如，非AR、非登台、触摸屏UI视图)直接转变到第三用户界面区域(例如，增强现实视图)时，设备显示动画过渡，该动画过渡示出了从显示器上的触摸屏UI(例如，非AR、非登台视图)中表示的相应取向被重新取向为相对于捕获在一个或多个相机的视场中的物理环境的一部分的当前取向来预定义的取向的虚拟对象的三维表示。例如，如图6AD至图6AJ所示，当从第一用户界面区域(例如，即时消息用户界面5008，如图6AD所示)直接转变到第三用户界面区域(例如，包括相机的视场6036的增强现实用户界面，如图6AJ所示)，虚拟椅子5020从如图6AD至图6AH所示的第一取向改变为相对于如捕获在相机的视场6036中的物理环境5002中的地板表面5038的预定义取向(例如，如图6AJ所示)。例如，对虚拟对象的三维表示进行重新取向，使得虚拟对象的三维表示相对于在物理环境5002的实时图像中识别到的预定义平面(例如，可支撑虚拟对象的三维表示的物理表面，诸如，垂直墙壁或水平地板表面(例如，地板表面5038))成固定角度。根据第一输入是否满足第三标准，响应于第一输入确定是否显示具有相机的视场的虚拟对象的第三表示，这使得多种不同类型的操作能够响应于第一输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过第一接触进行的第一输入，设备通过一个或多个设备取向传感器来确定(922)设备的当前设备取向(例如，相对于设备周围物理环境的取向)，并且第三标准(例如，AR触发标准)要求当前设备取向在第一取向范围内，以便满足第三标准(例如，当设备与地面之间的角度小于阈值角度时，第二标准得到满足，这指示设备与地面足够平行(以绕过间隙状态))。在一些实施方案中，第一标准(例如，登台触发标准)要求当前设备取向在第二取向范围内，以便满足第一标准(例如，当设备与地面之间的角度在阈值内且达90度时，第一标准得到满足，这指示设备相对于地面足够竖直，以首先进入间隙状态)。根据设备取向是否在取向范围内，响应于第一输入确定是否显示具有相机的视场的虚拟对象的第三表示，这使得多种不同类型的操作能够响应于第一输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，虚拟对象的第二表示的至少一个显示属性(例如，尺寸、形状、围绕偏航、俯仰和滚动轴的相应角度等)被应用(924)于虚拟对象的第三表示。例如，如参照图6Q至图6U描述的，当虚拟椅子5020的第三表示显示在包括相机的视场6036的增强现实视图中时(例如，如图6U所示)，如参照图6J至图6K描述的应用在登台用户界面6010中的虚拟椅子5020的第二表示的旋转得以保持。在一些实施方案中，在至少一个方面，增强现实视图中的虚拟对象的取向受到登台用户界面中的虚拟对象的取向的约束。例如，当将虚拟对象从登台视图转变到增强现实视图时，虚拟对象围绕预定义的三维坐标系的至少一个轴(例如，偏航、俯仰和滚动轴)的旋转角度得以保持。在一些实施方案中，如果已经通过用户输入以一些方式(例如，改变尺寸、形状、纹理、取向等)操纵虚拟对象的第二表示，则虚拟对象的第二表示的至少一个显示属性仅应用于虚拟对象的第三表示。换句话讲，当对象示出在增强现实视图中或用于以一种或多种方式来约束增强现实视图中的对象外观时，在登台视图中作出的改变得以保持。将虚拟对象的第二表示的至少一个显示属性应用于虚拟对象的第三表示(例如，不需要进一步的用户输入来将相同的显示属性应用于虚拟对象的第二表示和虚拟对象的第三表示)增强了设备的可操作性(例如，通过允许用户在虚拟对象的大版本显示在第二用户界面中时将旋转应用于第二虚拟对象，并且将旋转应用于显示的具有一个或多个相机的视场的表示的虚拟对象的第三表示)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过第一接触(926)进行的第一输入的至少初始部分(例如，包括：检测到第一接触；或检测到满足相应的预定义标准而不满足第一标准的通过第一接触进行的输入；或检测到满足第一标准的输入)：设备激活一个或多个相机(例如，激活相机，而不在显示器上立即显示相机的视场)，并且设备分析一个或多个相机的视场，以检测一个或多个相机的视场中的一个或多个平面。在一些实施方案中，在激活一个或多个相机之后延迟显示一个或多个相机的视场6036(例如，直到检测到与在增强现实环境中显示虚拟对象的请求对应的第二输入，直到检测到至少一个视场平面，或者直到检测到与为虚拟对象定义的锚定平面对应的视场平面)。在一些实施方案中，在与一个或多个相机的激活对应的时间处(例如，在一个或多个相机激活的同时)显示一个或多个相机的视场6036。在一些实施方案中，在一个或多个相机的视场中检测到平面之前显示一个或多个相机的视场6036(例如，响应于检测到通过接触进行的第一输入并且根据确定，显示一个或多个相机的视场)。响应于检测到第一输入的初始部分(例如，在显示具有一个或多个相机的视场的表示的虚拟对象的第三表示之前)激活相机并通过分析相机的视场来检测一个或多个视场平面，这提高了设备的效率(例如，通过减少确定虚拟对象的第三表示相对于相机的视场中的相应平面的位置和/或取向所需的时间量)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在一个或多个相机的视场中检测到相应的平面(例如，地板表面5038)，具有一个或多个触觉输出发生器167的设备输出(928)触觉输出，该触觉输出指示在一个或多个相机的视场中检测到相应的平面。在一些实施方案中，可在识别到视场平面之前示出视场6036。在一些实施方案中，在检测到至少一个视场平面之后或者在识别到所有视场平面之后，在视场中的真实世界图像上覆盖另外的用户界面控件和/或图标。输出指示在相机的视场中检测到平面的触觉输出向用户提供了指示已检测到该平面的反馈。提供改进的触觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少用于放置虚拟对象的不必要的另外输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，基于虚拟对象的模拟真实世界尺寸以及一个或多个相机与一个或多个相机的视场6036中与虚拟对象(例如，虚拟椅子5020)的第三表示具有固定的空间关系的位置(例如，附接虚拟对象的平面，诸如，地面表面5038)之间的距离，确定(930)显示器上的虚拟对象的第三表示的尺寸。在一些实施方案中，虚拟对象的第三表示的尺寸受到约束，使得虚拟对象的第三表示的尺寸相对于一个或多个相机的视场的比例得以保持。在一些实施方案中，为虚拟对象定义一个或多个物理尺寸参数(例如，长度、宽度、深度和/或半径)。在一些实施方案中，在第二用户界面(例如，登台用户界面)中，虚拟对象不受其定义的物理尺寸参数(例如，虚拟对象的尺寸可响应于用户输入而变化)的约束。在一些实施方案中，虚拟对象的第三表示受到其定义的尺寸参数的约束。当检测到用于改变增强现实视图中虚拟对象相对于视场中表示的物理环境的位置的用户输入时，或者当检测到用于改变视场的缩放水平的用户输入时，或者当检测到用于相对于设备周围的物理环境移动的用户输入时，虚拟对象的外观(例如，尺寸、观看视角)将以受到以下因素的约束的方式改变：虚拟对象与物理环境之间的固定空间关系(例如，如由虚拟对象的锚定平面与增强现实环境中的平面之间的固定空间关系所表示)以及基于虚拟对象的预定义尺寸参数和物理环境的实际尺寸的固定比例。基于虚拟对象的模拟真实世界尺寸以及一个或多个相机与相机的视场中的位置之间的距离来确定虚拟对象的第三表示的尺寸(例如，不需要进一步的用户输入来为虚拟对象的第三表示重新定尺寸，以模拟虚拟对象的真实世界尺寸)，这增强了设备的可操作性，并且又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，与在增强现实环境中显示虚拟对象的请求对应的第二输入包括(932)(选择并)拖动虚拟对象的第二表示(例如，拖动增加到超过距离阈值的距离，拖动到超出定义的边界和/或拖动到在显示器或第二用户界面区域的边缘(例如，底边缘、顶边缘和/或侧边缘)的阈值距离内的位置处)的输入。响应于检测到与在增强现实环境中显示虚拟对象的请求对应的第二输入，用相机的视场的表示显示虚拟对象的第三表示，这提供另外的控件选项，但不会使具有另外显示的控件(例如，用于从第二用户界面显示增强现实环境的控件)的第二用户界面混乱。提供另外的控件选项但不会使具有另外显示的控件的第二用户界面混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第二用户界面区域(例如，如图6Z所示的登台用户界面6010)中显示虚拟对象的第二表示时，设备检测(934)满足用于重新显示第一用户界面区域的相应标准的第四输入(例如，在触敏表面上与虚拟对象的第二表示对应的位置处或在触敏表面上的另一位置处(例如，第二用户界面区域的底部或边缘)的轻击、用力按压或触摸保持并拖动输入，以及/或者在触敏表面上与用于返回到第一用户界面区域的控件对应的位置处的输入)，并且响应于检测到第四输入，设备停止在第二用户界面区域中显示虚拟对象的第二表示，并且设备重新在第一用户界面区域中显示虚拟对象的第一表示。例如，如图6Z至图6AC所示，响应于在与显示在登台用户界面6010中的后退控件6016对应的位置处通过接触6042进行的输入，设备停止在第二用户界面区域(例如，登台用户界面6010)中显示虚拟椅子5020的第二表示，并且设备重新在第一用户界面区域(例如，即时消息用户界面5008)中显示虚拟椅子5020的第一表示。在一些实施方案中，虚拟对象的第一表示显示在第一用户界面区域中，其与在转变到登台视图和/或增强现实视图之前示出的那些具有相同的外观、位置和/或取向。例如，在图6AC中，虚拟椅子5020显示在即时消息用户界面5008中，其与显示在图6A中的即时消息用户界面5008中的虚拟椅子5020具有相同的取向。在一些实施方案中，当转变回在第一用户界面区域中显示虚拟对象时，设备在屏幕上连续显示虚拟对象。例如，在图6Y至图6C中，在从显示登台用户界面6010到显示即时消息用户界面5008的转变期间，连续显示虚拟椅子5020。根据当在第二用户界面中显示虚拟对象的第二表示时检测到的第四输入是否满足用于重新显示第一用户界面的标准，确定是否重新在第一用户界面中显示虚拟对象的第一表示，这使得多种不同类型的操作能够响应于第四输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当用一个或多个相机的视场5036的表示显示虚拟对象的第三表示时(例如，如图6U所示)，设备检测(936)满足用于重新显示第二用户界面区域的相应标准的第五输入(例如，在触敏表面上与虚拟对象的第三表示对应的位置处或在触敏表面上的另一位置处的轻击、用力按压或触摸并拖动输入，以及/或者在触敏表面上与用于返回到显示第二用户界面区域的控件对应的位置处的输入)，并且响应于检测到第五输入，设备停止显示虚拟对象的第三表示和一个或多个相机的视场的表示，并且重新在第二用户界面区域中显示虚拟对象的第二表示。例如，如图6V至图6Y所示，响应于在与显示在包括相机的视场6036的第三用户界面中的切换控件6018对应的位置处通过接触6040进行的输入，设备停止显示相机的视场6036并重新显示登台用户界面6010。在一些实施方案中，虚拟对象的第二表示显示在第二用户界面区域中，其与示出在增强现实视图中的虚拟对象的第二表示具有相同的取向。在一些实施方案中，当转变回在第二用户界面区域中显示虚拟对象时，设备在屏幕上连续显示虚拟对象。例如，在图6V至图6Y中，在从显示相机的视场6036到显示登台用户界面6010的转变期间，连续显示虚拟椅子5020。根据当用相机的视场显示虚拟对象的第三表示时检测到的第五输入是否满足用于重新显示第二用户界面的标准，确定是否重新在第二用户界面中显示虚拟对象的第二表示，这使得多种不同类型的操作能够响应于第五输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在用一个或多个相机的视场的表示6036显示虚拟对象的第三表示时，设备检测(938)满足用于重新显示第一用户界面区域(例如，即时消息用户界面5008)的相应标准的第六输入，并且响应于检测到第六输入，设备停止显示虚拟对象(例如，虚拟椅子5020)的第三表示以及一个或多个相机的视场6036的表示(例如，如图6U所示)，并且设备重新在第一用户界面区域中显示虚拟对象的第一表示(例如，如图6AC所示)。在一些实施方案中，第六输入为例如在触敏表面上与虚拟对象的第三表示对应的位置处或在触敏表面上的另一位置处的轻击、用力按压或触摸并拖动输入，以及/或者在触敏表面上与用于返回到显示第一用户界面区域的控件对应的位置处的输入。在一些实施方案中，虚拟对象的第一表示显示在第一用户界面区域中，其与在转变到登台视图和/或增强现实视图之前示出的那些具有相同的外观和位置。在一些实施方案中，当转变回在第一用户界面区域中显示虚拟对象时，设备在屏幕上连续显示虚拟对象。根据当用相机的视场显示虚拟对象的第三表示时检测到的第六输入是否满足用于重新显示第一用户界面的标准，确定是否重新在第一用户界面中显示虚拟对象的第一表示，这使得多种不同类型的操作能够响应于第六输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过第一接触进行的第一输入，并且根据确定通过第一接触进行的输入满足第一标准，设备在从显示第一用户界面区域(例如，即时消息用户界面5008)转变为显示第二用户界面区域(例如，登台用户界面6010)时连续显示(940)虚拟对象，这包括显示第一用户界面区域中的虚拟对象的第一表示转变为第二用户界面区域中的虚拟对象的第二表示的动画(例如，移动、围绕一个或多个轴的旋转和/或缩放)。例如，在图6E至图6I中，在从显示即时消息用户界面5008到显示登台用户界面6010的转变期间，连续显示并动画虚拟椅子5020(例如，虚拟椅子5020的取向改变)。在一些实施方案中，虚拟对象具有相对于相机的视场中的平面来定义的取向、位置和/或距离(例如，基于如第一用户界面区域中所示的虚拟对象的第一表示的形状和取向来定义)，并且当转变到第二用户界面区域时，虚拟对象的第一表示被移动、被重新定尺寸并且/或者被重新取向为在显示器上的新位置(例如，第二用户界面区域中的虚拟登台平面的中心)处的虚拟对象的第二表示，并且在移动期间或者在移动结束时，对虚拟对象进行重新取向，使得虚拟对象相对于预定义的虚拟登台平面成预先确定的角度，该虚拟登台平面独立于设备周围的物理环境来定义。显示当第一用户界面中的虚拟对象的第一表示转变到第二用户界面中的虚拟对象的第二表示时的动画为用户提供了指示第一输入满足第一标准的反馈。提供改进的反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到通过第二接触进行的第二输入，并且根据确定通过第二接触进行的第二输入与在增强现实环境中显示虚拟对象的请求对应，设备在从显示第二用户界面区域(例如，登台用户界面6010)转变为显示包括一个或多个相机的视场6036的第三用户界面区域时连续显示(942)虚拟对象，这包括显示第二用户界面区域中的虚拟对象的第二表示转变为包括一个或多个相机的视场的第三用户界面区域中的虚拟对象的第三表示的动画(例如，移动、围绕一个或多个轴的旋转和/或缩放)。例如，在图6Q至图6U中，在从显示登台用户界面6010到显示相机的视场6036的转变期间，连续显示并动画虚拟椅子5020(例如，虚拟椅子5020的位置和尺寸改变)。在一些实施方案中，对虚拟对象进行重新取向，使得虚拟对象处于相对于在一个或多个相机的视场中检测到的视场平面(例如，可支撑用户界面对象的三维表示的物理表面，诸如，垂直墙壁或水平地板表面)的预定义的取向下、位置处和/或距离处。显示当第二用户界面中的虚拟对象的第二表示转变到第三用户界面中的虚拟对象的第三表示时的动画为用户提供了指示第二输入与在增强现实环境中显示虚拟对象的请求对应的反馈。为用户提供改进的视觉反馈增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图9A至9D中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、16000、17000、18000、19000和20000)所述的其他过程的细节同样以类似的方式适用于上文相对于图9A至图9D所述的方法900。例如，上文参考方法900所述的接触、输入、虚拟对象、用户界面区域、强度阈值、视场、触觉输出、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、16000、17000、18000、19000和20000)所述的接触、输入、虚拟对象、用户界面区域、强度阈值、视场、触觉输出、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图10A至图10D是示出根据一些实施方案的显示具有指示项目与虚拟三维对象对应的视觉指示的项目的方法1000的流程图。方法1000在具有显示器和触敏表面(例如，同时充当显示器和触敏表面的触摸屏显示器)的电子设备(图3中的设备300，或图1A中的便携式多功能设备100)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法1000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下文所述，方法1000涉及在第一用户界面和第二用户界面中显示项目。根据项目是否与相应的虚拟三维对象对应，显示的每个项目具有指示项目与虚拟三维对象对应的视觉指示或者不具有该视觉指示。向用户提供项目是否为虚拟三维对象的指示提高了用户能够在第一项目上执行操作的效率(例如，通过来帮助用户根据项目是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
设备接收(1002)显示包括第一项目(例如，图标、缩略图、图像、表情符号、附件、贴纸、应用程序图标、头像等)的第一用户界面的请求。例如，在一些实施方案中，该请求为用于打开用于在与第一项目相关联的预定义环境中显示第一项目的表示的用户界面(例如，互联网浏览器用户界面5060，如图7B所示)的输入(例如，如参照图7A描述的)。预定义的环境任选地为应用程序的用户界面(例如，电子邮件应用程序、即时消息应用程序、浏览器应用程序、文字处理应用程序、电子阅读器应用程序等)或系统用户界面(例如，锁定屏幕、通知界面、建议界面、控制面板用户界面、home屏幕用户界面等)。
响应于显示第一用户界面的请求，设备显示(1004)具有第一项目的表示的第一用户界面(例如，如图7B所示的互联网浏览器用户界面5060)。根据确定第一项目与相应的虚拟三维对象对应，设备显示第一项目的表示，第一项目的表示具有指示第一项目与第一相应的虚拟三维对象对应的视觉指示(例如，显示在与第一项目的表示对应的位置处的图像，诸如，图标和/或背景面板；轮廓；以及/或者文本)。根据确定第一项目不与相应的虚拟三维对象对应，设备显示不具有视觉指示的第一项目的表示。例如，如图7B所示，在互联网浏览器用户界面5060中，显示的网络对象5068(包括虚拟三维灯对象5084的表示)具有指示虚拟灯8084为虚拟三维对象的视觉指示(虚拟对象指示符5080)，并且显示的网络对象5074不具有视觉对象指示符，因为网络对象5074不包括与虚拟三维对象对应的项目。
在显示第一项目的表示之后，设备接收(1006)显示包括第二项目(例如，图标、缩略图、图像、表情符号、附件、贴纸、应用程序图标、头像等)的第二用户界面(例如，如图7M所示的即时消息用户界面5008)的请求(例如，如参照图7H至图7L描述的输入)。第二项目不同于第一项目，第二用户界面不同于第一用户界面。例如，在一些实施方案中，该请求为用于打开用于在与第二项目相关联的预定义环境中显示第二项目的表示的用户界面的另一输入。预定义的环境任选地为除用于示出第一项目的应用程序之外的应用程序的用户界面(例如，电子邮件应用程序、即时消息应用程序、浏览器应用程序、文字处理应用程序、电子阅读器应用程序等)或除用于示出第一项目的系统用户界面之外的系统用户界面(例如，锁定屏幕、通知界面、建议界面、控制面板用户界面、home屏幕用户界面等)。
响应于显示第二用户界面的请求，设备显示(1008)具有第二项目的表示的第二用户界面(例如，如图7M所示的即时消息用户界面5008)。根据确定第二项目与相应的虚拟三维对象对应，设备显示第二项目的表示，第二项目的表示具有指示第二项目与第二相应的虚拟三维对象对应的视觉指示(例如，与指示第一项目与虚拟三维对象对应的视觉指示相同的视觉指示)。根据确定第二项目不与相应的虚拟三维对象对应，设备显示不具有视觉指示的第二项目的表示。例如，如图7M所示，在即时消息用户界面5008中，显示的虚拟三维椅子对象5020具有指示虚拟椅子5020为虚拟三维对象的视觉指示(虚拟对象指示符5022)，并且显示的表情符号7020不具有视觉对象指示符，因为表情符号7020不包括与虚拟三维对象对应的项目。
在一些实施方案中，显示具有指示第一项目与第一相应虚拟三维对象对应的视觉指示(例如，虚拟对象指示符5080)的第一项目(例如，虚拟灯5084)包括(1010)：响应于检测到导致从第一设备取向到第二设备取向的变化的设备移动(例如，如通过取向传感器(例如，设备100的一个或多个加速度计168)检测到的)，显示与从第一设备取向到第二设备取向的变化对应的第一项目的移动(例如，相对于第一用户界面的第一项目的倾斜和/或第一项目的移动)。例如，第一设备取向为如图7F1所示的设备100的取向，并且第二设备取向为如图7G1所示设备100的取向。响应于图7F1至图7G1所示的移动，第一项目(例如，虚拟灯5084)倾斜(例如，如图7F2至图7G2所示)。在一些实施方案中，如果第二对象与虚拟三维对象对应，第二对象还以上文所述的方式响应检测设备的移动(例如，以指示第二对象也与虚拟三维对象对应)。
显示与从第一设备取向到第二设备取向的变化对应的第一项目的移动为用户提供了指示虚拟三维对象的行为的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性(例如，通过允许用户在不需要提供进一步的输入的情况下观看各取向下的虚拟三维对象)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示具有指示第一项目与第一相应的虚拟三维对象对应的视觉指示的第一项目的表示包括(1012)：响应于检测到通过第一接触进行的当第一项目的表示显示在第一用户界面中时滚动第一用户界面的第一输入(例如，在第一用户界面上在第一方向上的轻扫输入，或者在滚动条末端上的滚动按钮上的触摸保持输入)：设备根据第一用户界面的滚动平移显示器上的第一项目的表示(例如，使第一项目的锚定位置在与滚动相反的方向上移动基于第一用户界面的滚动量的距离(例如，当通过在触敏表面上移动的接触向上拖动第一用户界面时，第一项目的表示在显示器上随第一用户界面向上移动))，并且设备根据第一用户界面滚动的方向相对于第一用户界面(或显示器)所定义的平面旋转第一项目的表示。例如，如图7C至图7D所示，响应于检测到通过接触7002进行的当虚拟灯5084的表示显示在互联网浏览器用户界面5060中时滚动互联网浏览器用户界面5060的输入，根据互联网浏览器用户界面5060的滚动平移虚拟灯5084，并且根据接触7002的移动路径的方向相对于显示器112旋转虚拟灯5084。在一些实施方案中，根据确定第一用户界面被向上拖动，第一项目的表示随第一用户界面向上移动，并且如第一用户界面上所示的第一项目的观看视角发生变化，就好像用户正从不同的视角(例如，较低的角度)观看第一项目。在一些实施方案中，根据确定第二用户界面被向上拖动，第二项目的表示随第二用户界面向上移动，并且如第二用户界面上所示的第二项目的观看视角发生变化，就好像用户正从不同的视角(例如，较低的角度)观看第二项目。
显示与从第一设备取向到第二设备取向的变化对应的项目的移动为用户提供了指示设备取向的变化的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性(例如，通过允许用户在不需要提供进一步的输入的情况下观看各取向下的虚拟三维对象)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第一用户界面(例如，互联网浏览器用户界面5060，如图7B所示)中显示具有视觉指示(例如，虚拟对象指示符5080)的第一项目(例如，灯对象5084)的表示时，设备显示(1014)第三项目的表示，其中显示的第三项目的表示不具有视觉指示，以便指示第三项目不与虚拟三维对象对应(例如，第三项目不与可在增强现实环境中被渲染的任何三维对象对应)。例如，如图7B所示，在互联网浏览器用户界面5060中，显示的网络对象5074、5070和5076不具有视觉对象指示符，因为网络对象5074、5070和5076不与虚拟三维对象对应。
在第一用户界面中显示具有指示第一项目为虚拟三维对象的视觉指示的第一项目以及不具有该视觉指示的第三项目提高了用户能够使用第一用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的项目是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第二用户界面(例如，即时消息用户界面5008，如图7M所示)中显示具有视觉指示(例如，虚拟对象指示符5022)的第二项目(例如，虚拟椅子5020)的表示时，设备显示(1016)第四项目(例如，表情符号7020)的表示，其中显示的第四项目的表示不具有视觉指示，以便指示第四项目不与相应的虚拟三维对象对应。
在第二用户界面中显示具有指示第二项目为虚拟三维对象的视觉指示的第二项目以及不具有该视觉指示的第四项目提高了用户能够使用第二用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的项目是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中(1018)，第一用户界面(例如，互联网浏览器用户界面5060，如图7B所示)与第一应用程序(例如，互联网浏览器应用程序)对应，第二用户界面(例如，即时消息用户界面5008，如图7M所示)与不同于第一应用程序的第二应用程序(例如，即时消息应用程序)对应，并且显示的具有视觉指示(例如，虚拟对象指示符5080)的第一项目(例如，灯对象5084)的表示和显示的具有视觉指示(例如，虚拟对象指示符5022)的第二项目(例如，虚拟椅子5020)的表示共享一组预定义的视觉特征和/或行为特征(例如，使用相同的指示符图标，或者在被预定义类型的输入调用时具有相同的纹理或渲染风格和/或行为)。例如，用于虚拟对象指示符5080的图标和用于虚拟对象指示符5022的图标包括相同的符号。
在第一应用程序的第一用户界面中显示具有视觉指示的第一项目以及在第二应用程序的第二用户界面中显示具有视觉指示的第二项目，使得第一项目的视觉指示和第二项目的视觉指示共享一组预定义的视觉特征和/或行为特征，这提高了用户能够使用第二用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的项目是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面为(1020)互联网浏览器应用程序用户界面(例如，互联网浏览器用户界面5060，如图7B所示)，并且第一项目为网页的元素(例如，第一项目在网页中表示为嵌入的图像、超链接、小应用程序、表情符号、嵌入的媒体对象等)。例如，第一项目为网络对象5068的虚拟灯对象5084。
显示具有指示网页元素为虚拟三维对象的视觉指示的网页元素提高了用户能够使用互联网浏览器应用程序来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的网页元素是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面为(1022)电子邮件应用程序用户界面(例如，电子邮件用户界面7052，如图7P所示)，并且第一项目为电子邮件的附件(例如，附件7060)。
显示具有指示电子邮件附件为虚拟三维对象的视觉指示的电子邮件附件提高了用户能够使用电子邮件应用程序用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的电子邮件附件是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面为(1024)即时消息应用程序用户界面(例如，即时消息用户界面5008，如图7M所示)，并且第一项目为消息中的附件或元素(例如，虚拟椅子5020)(例如，第一项目为图像、超链接、迷你程序、表情符号、媒体对象等)。
显示具有指示消息附件或元素为虚拟三维对象的视觉指示的消息附件或元素提高了用户能够使用即时消息用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的消息附件或元素是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面为(1026)文件管理应用程序用户界面(例如，文件管理用户界面7036，如图7O所示)，并且第一项目为文件预览对象(例如，文件信息区域7046中的文件预览对象7045)。
显示具有指示文件预览对象为虚拟三维对象的视觉指示的文件预览对象提高了用户能够使用文件管理应用程序用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的文件预览对象是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面为(1028)地图应用程序用户界面(例如，地图应用程序用户界面7024)，并且第一项目为地图中的兴趣点(例如，兴趣点对象7028)的表示(例如，与地图上的位置对应的特征的三维表示(例如，包括与地图上的位置对应的地形和/或结构的三维表示)，或者在被致动时使得地图的三维表示显示的控件)。
显示地图中具有指示兴趣点的表示为虚拟三维对象的视觉指示的兴趣点的表示提高了用户能够使用地图应用程序用户界面来执行操作的效率(例如，通过帮助用户根据用户与其进行交互的兴趣点的表示是否为虚拟三维对象来提供适当的输入)，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一项目与相应的虚拟三维对象对应的视觉指示包括(1030)在不需要涉及相应三维对象的表示的输入的情况下发生的第一项目的动画(例如，随时间推移，应用于第一项目的连续移动或变化的视觉效果(例如，闪光、闪烁等))。
显示在没有涉及相应三维对象的表示的输入的情况下发生的第一项目的动画增强了设备的可操作性(例如，通过减少用户观看第一项目的三维方面所需的输入的数量)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示具有指示第二项目与相应的虚拟三维对象对应的视觉指示(例如，虚拟对象指示符5022)的第二项目(例如，虚拟椅子5020)的表示时，设备检测(1032)在触敏表面上与第二项目的表示对应的位置处通过第二接触进行的第二输入(例如，如参照图5C至图5F描述的输入)，并且响应于检测到通过第二接触进行的第二输入，以及根据确定通过第二接触进行的第二输入满足第一(例如，AR触发)标准，设备在显示器上显示第三用户界面区域，这包括用一个或多个相机的视场5036的表示替换第二用户界面(例如，即时消息用户界面5008)的至少一部分的显示(例如，参照图5F至图5I描述的)以及在从显示第二用户界面切换到显示第三用户界面区域时连续显示第二虚拟三维对象。(例如，如本文参考方法800更详细地描述)。在一些实施方案中，设备显示在从显示第二用户界面中具有一个或多个相机的视场的表示的部分切换时连续显示虚拟对象的表示的动画(例如，如本文参考操作834更详细地描述)。
使用第一标准来确定是否显示第三用户界面区域使得多种不同类型的操作能够响应于第二输入而执行。使得多种不同类型的操作能够响应于输入而执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，(例如，如本文参考方法900更详细地描述)在显示具有指示第二项目与相应的虚拟三维对象对应的视觉指示(例如，虚拟对象指示符5022)的第二项目(例如，虚拟椅子5020)时，设备检测(1034)在触敏表面上与第二项目的表示对应的位置处通过第三接触进行的第三输入(例如，如参照图6E至图6I描述的输入)，并且响应于检测到通过第三接触进行的第三输入，以及根据确定通过第三接触进行的第三输入满足第一(例如，登台触发)标准，设备在第四用户界面中显示第二虚拟三维对象，第四用户界面与第二用户界面不同(例如，如参考方法900更详细地描述的登台用户界面6010)。在一些实施方案中，当在第四用户界面(例如，登台用户界面6010，如图6I所示)中显示第二虚拟三维对象时，设备检测第四输入，并且响应于检测到第四输入：根据确定第四输入与在第四用户界面中操纵第二虚拟三维对象的请求对应，设备基于第四输入改变第四用户界面内的第二虚拟三维对象的显示属性(例如，如参照图6J至图6M描述的并且/或者如参照图6N至图6P描述的)，并且根据确定第四输入与在增强现实环境中显示第二虚拟对象的请求对应(例如，在触敏表面上与第二用户界面区域中的虚拟对象的表示对应的位置处或者从触敏表面上与第二用户界面区域中的虚拟对象的表示对应的位置进行的轻击输入、按压输入或者触摸保持或按压输入以及随后的拖动输入)，设备显示具有一个或多个相机的视场的表示的第二虚拟三维对象(例如，如参照图6Q至图6U描述的)。
当在第四用户界面(例如，登台用户界面6010)中显示第二三维对象时，响应于第四输入，设备基于第四输入改变第二三维对象的显示属性，或者显示具有设备的一个或多个相机的视场的表示的第二三维对象。使得多种不同类型的操作能够响应于输入而执行(例如，通过改变第二三维对象的显示属性或者用设备的一个或多个相机的视场的表示来显示第二三维对象)提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图10A至图10D中的操作进行描述的特定顺序仅仅是一个示例，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、16000、17000、18000、19000和20000)描述的其他过程的细节同样以类似的方式适用于上文相对于图10A至图10D所述的方法1000。例如，上文参考方法1000所述的接触、输入、虚拟对象、用户界面、用户界面区域、视场、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、16000、17000、18000、19000和20000)所述的接触、输入、虚拟对象、用户界面、用户界面区域、视场、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图11A至图11V示出了用于根据对象放置标准是否得到满足来显示具有不同视觉属性的虚拟对象的示例用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图11A至图11E示出了在登台视图中显示虚拟对象的输入。例如，在用户界面(例如，电子邮件用户界面7052、文件管理用户界面7036、地图用户界面7022、即时消息用户界面5008、互联网浏览器用户界面5060或第三方应用程序用户界面)中显示三维对象的二维(例如，缩略的)表示时检测输入。
在图11A中，互联网浏览器用户界面5060包括三维虚拟对象11002(椅子)的二维表示。在与虚拟对象11002对应的位置处检测到通过接触11004进行的输入(例如，轻击输入)。响应于该轻击输入，登台用户界面6010的显示替换互联网浏览器用户界面5060的显示。
图11B至图11E示出了当登台用户界面6010的显示替换互联网浏览器用户界面5060的显示时发生的转变。在一些实施方案中，在转变期间，虚拟对象10002逐渐淡入视图，并且/或者登台用户界面6010的控件(例如，后退控件6016、切换控件6018和/或共享控件6020)逐渐淡入视图。例如，在虚拟对象11002淡入视图之后，登台用户界面6010的控件淡入视图(例如，以在显示器上渲染虚拟对象11002的三维表示所需的时间段内延迟控件的显示)。在一些实施方案中，虚拟对象11002的“淡入”包括显示虚拟对象11002的低分辨率、二维和/或全息版本，随后显示虚拟对象11002的最终三维表示。图11B至图11D示出了虚拟对象11002的逐渐淡入。在图11D中，显示虚拟对象11002的阴影11006。图11D至图11E示出了控件6016、6018和6020的逐渐淡入。
图11F至图11G示出了使得虚拟对象11002的三维表示被显示在包括设备100的一个或多个相机的视场6036的用户界面中的输入。在图11F中，在与切换控件6018对应的位置处检测到通过接触11008进行的输入。响应于该输入，包括相机的视场6036的用户界面的显示替换登台用户界面6010的显示，如图11G所示。
如图11G至图11H所示，当最初显示相机的视场6036时，可显示虚拟对象的半透明表示(例如，当未在相机的视场6036中检测到与虚拟对象对应的平面时)。
图11G至图11H示出了显示在包括相机的视场6036的用户界面中的虚拟对象11002的半透明表示。在相对于显示器112的固定位置处显示虚拟对象11002的半透明表示。例如，从图11G到图11H，当设备100相对于物理环境5002移动(例如，如相机的视场6036中的桌子5004的改变的位置所指示)时，虚拟对象11002保持在相对于显示器112的固定位置处。
在一些实施方案中，根据确定已经在相机的视场6036中检测到与虚拟对象对应的平面，将虚拟对象放置在检测到的平面上。
在图11I中，已经在相机的视场6036中检测到与虚拟对象11002对应的平面，并且将虚拟对象11002放置在检测到的平面上。设备已生成如11010处所示的触觉输出(例如，以指示已经在相机的视场6036中检测到至少一个平面(例如，地板表面5038))。当虚拟对象11002被放置在相对于在相机的视场6036中检测到的平面的位置处时，虚拟对象11002保持在相对于一个或多个相机所捕获的物理环境5002的固定位置处。从图11I到图11J，当设备100相对于物理环境5002移动(例如，如所显示的相机的视场6036中的桌子5004的改变的位置所指示)时，虚拟对象11002保持在相对于物理环境5002的固定位置处。
在一些实施方案中，在显示相机的视场6036时，停止显示控件(例如，后退控件6016、切换控件6018和/或共享控件6020)(例如，根据确定已经经过一段未接收到输入的时间)。在图11J至图11L中，控件6016、6018和6020逐渐淡出(例如，如图11K所示)，这增大了显示器112中显示相机的视场6036的部分(例如，如图11L所示)。
图11M至图11S示出了用于当虚拟对象11002显示在包括相机的视场6036的用户界面中时对其进行操纵的输入。
在图11M至图11N中，检测到用于改变虚拟对象11002的模拟物理尺寸的通过接触11012和11014进行的输入(例如，展开手势)。响应于检测到输入，重新显示控件6016、6018和6020。当接触11012沿箭头11016所指示的路径移动且接触11014沿箭头11018所指示的路径移动时，虚拟对象11002的尺寸增大。
在图11N至图11P中，检测到用于改变虚拟对象11002的模拟物理尺寸的通过接触11012至1104进行的输入(例如，捏合手势)。当接触11012沿箭头11020所指示的路径移动且接触11014沿箭头11022所指示的路径移动时，虚拟对象11002的尺寸减小(如图11N至图11O以及图11O至图11P所示)。如图11O所示，在将虚拟对象11002的尺寸调整为其相对于物理环境5002的原始尺寸(例如，最初被放置在物理环境5002中所检测到的平面上时，虚拟对象11002的尺寸，如图11I所示)时，发生触觉输出(如11024处所示)(例如，以提供指示虚拟对象11002已返回到其原始尺寸的反馈)。在图11Q中，接触11012和11014已抬离触摸屏显示器112。
在图11R中，检测到用于使虚拟对象11002返回到其相对于物理环境5002的原始尺寸的输入(例如，双击输入)。在与虚拟对象11002对应的位置处检测到输入，如接触11026所指示。响应于该输入，将虚拟对象11002从图11R所示的减小的尺寸调整为如图11S所指示的虚拟对象11002的原始尺寸。如图11S所示，在将虚拟对象11002的尺寸调整为其相对于物理环境5002的原始尺寸时，发生触觉输出(如11028处所示)(例如，以提供指示虚拟对象11002已返回到其原始尺寸的反馈)。
在图11T中，在与切换控件6018对应的位置处检测到通过接触11030进行的输入。响应于该输入，登台用户界面6010替换包括相机的视场6036的用户界面的显示，如图11U所示。
在图11U中，在与后退控件6016对应的位置处检测到通过接触11032进行的输入。响应于该输入，互联网浏览器用户界面5060替换登台用户界面6010的显示，如图11V所示。
图12A至图12L示出了用于显示根据设备的一个或多个相机的移动而动态地动画的校准用户界面对象的示例用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
根据一些实施方案，当接收到在包括一个或多个相机的视场的用户界面中显示虚拟对象的请求但还需要用于设备的校准的另外数据时，显示校准用户界面对象。
图12A示出了要求在包括一个或多个相机的视场6036的用户界面中显示虚拟对象11002的输入。在与切换控件6018对应的位置处检测到通过接触12002进行的输入。响应于该输入，包括相机的视场6036的用户界面的显示替换登台用户界面6010的显示，如图12B所示。在包括相机的视场6036的用户界面中显示虚拟对象11002的半透明表示。在需要校准时(例如，由于在相机的视场6036中未检测到与虚拟对象11002对应的平面)，相机的视场6036被模糊(例如，以强调提示和/或校准对象的行为，如下文所述)。
图12B至图12D示出了提示用户移动设备的动画图像和文本(例如，根据需要校准的确定来显示)。动画图像包括设备100的表示12004、指示需要设备100左右移动的箭头12006和12008、平面的表示12010(例如，用于指示设备100必须相对于平面移动，以便检测与虚拟对象11002对应的平面)。文本提示12012提供关于校准所需的设备100的移动的信息。在图12B至图12C以及图12C至图12D中，相对于平面的表示12010调整设备100的表示12004和箭头12006，以提供校准所需的设备100的移动的指示。从图12C到图12D，设备100相对于物理环境5002移动(例如，如相机的视场6036中的桌子5004的改变的位置所指示)。作为设备100的移动的检测结果，显示校准用户界面对象12014(立方体的轮廓)，如图12E-1所指示。
图12E-1至图12I-1示出了校准用户界面对象12014的行为，其分别与如图12E-2至图12I-2所示的设备100相对于物理环境5002的移动对应。响应于设备100的移动(例如，横向移动)，动画校准用户界面对象12014(例如，立方体轮廓旋转)(例如，以向用户提供关于有助于校准的移动的反馈)。在图12E-1中，具有第一旋转角度的校准用户界面对象12014被示出在包括设备100的相机的视场6036的用户界面中。在图12E-2中，由用户的手5006握持的设备100被示出在相对于物理环境5002的第一位置处。从图12E-2到图12F-2，设备100相对于物理环境5002横向(向右)移动。作为移动的结果，如设备100显示的相机的视场6036被更新，并且校准用户界面对象12014已旋转(相对于其在图12E-1中的位置)，如图12F-1所示。从图12F-2到图12G-2，设备100相对于物理环境5002继续向右移动。作为移动的结果，如设备100显示的相机的视场6036再次被更新，并且校准用户界面对象12014进一步旋转，如图12G-1所示。从图12G-2到图12H-2，设备100相对于物理环境5002向上移动。作为移动的结果，如设备100显示的相机的视场6036被更新。如图12G-1至图12H-1所示，校准用户界面对象12014不响应于图12G-2至图12H-2所示的设备的向上移动而旋转(例如，以向用户提供设备的垂直移动不会影响校准的指示)。从图12H-2到图12I-2，设备100相对于物理环境5002进一步向右移动。作为移动的结果，如设备100显示的相机的视场6036再次被更新，并且校准用户界面对象12014旋转，如图12I-1所示。
在图12J中，设备100的移动(例如，如图12E至图12I所示)已满足所需的校准(例如，并且已在相机的视场6036中检测到与虚拟对象11002对应的平面)。将虚拟对象11002放置在所检测到的平面上，并且相机的视场6036停止模糊。触觉输出发生器输出指示已经在相机的视场6036中检测到平面(例如，地板表面5038)的触觉输出(如12016处所示)。地板表面5038被突出显示，以提供已检测到的平面的指示。
当虚拟对象11002已被放置在相对于在相机的视场6036中检测到的平面的位置处时，虚拟对象11002保持在相对于一个或多个相机所捕获的物理环境5002的固定位置处。当设备100相对于物理环境5002移动时(如图12K-2至图12L-2所示)，虚拟对象11002保持在相对于物理环境5002的固定位置处(如图12K-1至图12L-1所示)。
图13A至图13M示出了用于约束虚拟对象围绕轴的旋转的示例用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
在图13A中，虚拟对象11002示出在登台用户界面6010中。x轴、y轴和z轴相对于虚拟对象11002示出。
图13B至图13C示出了使虚拟对象11002围绕图13A所指示的y轴旋转的输入。在图13B中，在与虚拟对象11002对应的位置处检测到通过接触13002进行的输入。输入沿箭头13004所指示的路径移动距离d1。当该输入沿该路径移动时，虚拟对象11002围绕y轴旋转(例如，旋转35度)，到达图13B所指示的位置。在登台用户界面6010中，显示与虚拟对象11002对应的阴影13006。从图13B到图13C，阴影13006根据虚拟对象11002的改变的位置而改变。
在接触13002抬离触摸屏112之后，虚拟对象11002继续旋转，如图13C至图13D所示(例如，根据由接触13002的移动赋予的“动量”，以提供虚拟对象11002表现得像物理对象的印象)。
图13E至图13F示出了使虚拟对象11002围绕图13A所指示的x轴旋转的输入。在图13E中，在与虚拟对象11002对应的位置处检测到通过接触13008进行的输入。输入沿箭头13010所指示的路径移动距离d1。当该输入沿该路径移动时，虚拟对象11002围绕x轴旋转(例如，旋转5度)，到达图13F所指示的位置。尽管图13E至图13F中接触13008沿x轴移动的距离d1与图13B至图13C中接触13002移动的距离相同，但图13E至图13F中虚拟对象11002围绕x轴旋转的角度小于图13B至图13C中虚拟对象11002围绕y轴旋转的角度。
图13F至图13G示出了使虚拟对象11002围绕图13A所指示的x轴旋转的进一步的输入。在图13F中，接触13008继续其移动，并且沿箭头13012所指示的路径移动距离d2(大于距离d1)。当该输入沿该路径移动时，虚拟对象11002围绕x轴旋转(旋转25度)，到达图13G所指示的位置。如图13E至图13G所示，接触13008的移动距离d1+d2使得虚拟对象11002围绕x轴旋转30度，而在图13B至图13C中，接触13004的移动距离d1使得虚拟对象11002围绕y轴旋转35度。
在接触13008抬离触摸屏112之后，虚拟对象11002在与由接触13008的移动引起的旋转的方向相反的方向上旋转，如图13G至图13H所示(例如，以指示接触13008的移动使得虚拟对象11002旋转超出旋转极限的量)。
在图13G至13I中，未示出阴影13006(例如，由于当从下方观看对象时虚拟对象11002不会投射阴影)。
在图13I中，检测用于使虚拟对象11002返回到其最初被显示时的视角(例如，如图13A所指示)的输入(例如，双击输入)。在与虚拟对象11002对应的位置处发生输入，如接触13014所指示。响应于该输入，虚拟对象11002围绕y轴旋转(以逆转图13E至图13H中发生的旋转)并围绕x轴旋转(以逆转图13B至图13D中发生的旋转)。在图13J中，通过接触13016进行的输入已使得虚拟对象11002返回到其最初被显示时的视角。
在一些实施方案中，在显示登台用户界面6010时接收用于调整虚拟对象11002的尺寸的输入。例如，调整虚拟对象11002的尺寸的输入为增大虚拟对象11002的尺寸的展开手势(例如，如参照图6N至图6O描述的)或减小虚拟对象11002的尺寸的捏合手势。
在图13J中，接收到用包括相机的视场6036的用户界面的显示替换登台用户界面6010的显示的输入。在与切换控件6018对应的位置处检测到通过接触13016进行的输入。响应于该输入，包括相机的视场6036的用户界面替换登台用户界面6010的显示，如图13K所示。
在图13K中，在包括相机的视场6036的用户界面中显示虚拟对象11002。发生指示已经在相机的视场6036中检测到与虚拟对象11002对应的平面的触觉输出(如13018处所示)。包括相机的视场6036的用户界面中的虚拟对象11002的旋转角度与登台用户界面6010中的虚拟对象11002的旋转角度对应。
当显示包括相机的视场6036的用户界面时，包括横向移动的输入使得包括相机的视场6036的用户界面中的虚拟对象11002横向移动，如图13L至图13M所示。在图13L中，在与虚拟对象11002对应的位置处检测到接触13020，并且该接触沿箭头13022所指示的路径移动。随着该接触移动，虚拟对象11002沿与接触13020的移动对应的路径从第一位置(如图13L所示)移动到第二位置(如图13M所示)。
在一些实施方案中，在显示包括相机的视场6036的用户界面时所提供的输入可使得虚拟对象11002从第一平面(例如，地板平面5038)移动到第二平面(例如，桌面平面5046)，如参照图5AJ至图5AM描述的。
图14A至图14Z示出了用于根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值的示例用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图14AA至图14AD、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
在图14A中，在包括相机的视场6036的用户界面中显示虚拟对象11002。如参照图14B至图14Z进一步描述的，平移移动计14002、缩放移动计14004和旋转移动计14006被用于指示与对象操纵行为对应的相应移动量值(例如，平移操作、缩放操作和/或旋转操作)。平移移动计14002指示在触摸屏显示器112上的一组接触的横向(例如，向左或向右)移动的量值。缩放移动计14004指示触摸屏显示器112上的一组接触中的各接触之间的增大或减小距离的量值(例如，捏合或展开手势的量值)。旋转移动计14006指示在触摸屏显示器112上的一组接触的旋转移动的量值。
图14B至图14E示出了用于在包括一个或多个相机的视场6036的用户界面中旋转虚拟对象11002的输入。用于旋转虚拟对象11002的输入包括其中第一接触14008沿箭头14010所指示的路径在顺时针方向上旋转移动且第二接触14012沿箭头14014所指示的路径在顺时针方向上旋转移动的手势。在图14B中，检测到与触摸屏112的接触14008和14012。在图14C中，接触14008沿箭头14010所指示的路径移动，并且接触14012沿箭头14012所指示的路径移动。由于在图14C中接触14008和接触14012的旋转移动的量值尚未达到阈值RT，虚拟对象11002未响应于输入而旋转。在图14D中，接触14008和接触14012的旋转移动的量值已增大到高于阈值RT，并且虚拟对象11002已响应于输入而旋转(相对于图14B所示的虚拟对象11002的位置)。当旋转移动的量值增大到高于阈值RT时，缩放虚拟对象11002所需的移动量值增大(例如，缩放阈值ST已从ST增大到ST′，如缩放移动计14004所指示)，并且平移虚拟对象11002所需的移动量值增大(例如，平移阈值TT已从TT增大到TT′，如平移移动计14002所指示)。在图14E中，接触14008和接触14012分别沿箭头14010和箭头14014所指示的旋转路径继续移动，并且虚拟对象11002继续响应于输入而旋转。在图14F中，接触14008和14012已抬离触摸屏112。
图14G至图14I示出了用于在包括一个或多个相机的视场6036的用户界面中缩放虚拟对象11002(例如，增大其尺寸)的输入。用于增大虚拟对象11002的尺寸的输入包括其中第一接触14016沿箭头14018所指示的路径移动且第二接触14020沿箭头14022所指示的路径移动(例如，使得接触14016与接触14020之间的距离增大)的手势。在图14G中，检测到与触摸屏112的接触14016和14020。在图14H中，接触14016沿箭头14018所指示的路径移动，并且接触14020沿箭头14022所指示的路径移动。由于在图14H中接触14016远离接触14020移动的量值尚未达到阈值ST，因此未响应于输入调整虚拟对象11002的尺寸。在图141中，接触14016和接触14020的缩放移动的量值已增大到高于阈值ST，并且响应于输入已增大(相对于图14H所示的虚拟对象11002的尺寸)虚拟对象11002的尺寸。当缩放移动的量值增大到高于阈值ST时，旋转虚拟对象11002所需的移动量值增大(例如，旋转阈值RT已从RT增大到RT′，如旋转移动计14006所指示)，并且平移虚拟对象11002所需的移动量值增大(例如，平移阈值TT已从TT增大到TT′，如平移移动计14002所指示)。在图14J中，接触14016和14020已抬离触摸屏112。
图14K至图14M示出了用于在包括一个或多个相机的视场6036的用户界面中平移虚拟对象11002(例如，向左移动虚拟对象11002)的输入。用于移动虚拟对象11002的输入包括其中第一接触14024沿箭头14026所指示的路径移动且第二接触14028沿箭头1430所指示的路径移动(例如，使得接触14024与接触14028均向左移动)的手势。在图14K中，检测到与触摸屏112的接触14024和14028。在图14L中，接触14024沿箭头14026所指示的路径移动，并且接触14028沿箭头14030所指示的路径移动。由于在图14L中接触14024和14028的向左移动的量值尚未达到阈值TT，虚拟对象11002未响应于输入而移动。在图14M中，接触14024和接触14028的向左移动的量值已增大到高于阈值TT，并且虚拟对象11002已在接触14024和14028的移动方向上移动。当平移移动的量值增大到高于阈值TT时，缩放虚拟对象11002所需的移动量值增大(例如，缩放阈值ST已从ST增大到ST′，如缩放移动计14004所指示)，并且旋转虚拟对象11002所需的移动量值增大(例如，旋转阈值RT已从RT增大到RT′，如旋转移动计14006所指示)。在图14N中，接触14024和14028已抬离触摸屏112。
图14O至图14Z示出了包括用于平移虚拟对象11002(例如，向右移动虚拟对象11002)、缩放虚拟对象11002(例如，增大虚拟对象11002的尺寸)和旋转虚拟对象11002的手势的输入。在图14O中，检测到与触摸屏112的接触14032和14036。在图14O至图14P中，接触14032沿箭头14034所指示的路径移动，并且接触14036沿箭头14038所指示的路径移动。接触14032和14036的向右移动的量值已增大到高于阈值TT，并且虚拟对象11002已在接触14032和14036的移动方向上移动。由于接触14032和14036的移动满足阈值TT，缩放虚拟对象11002所需的移动量值增大到ST′，并且旋转虚拟对象11002所需的移动量值增大到RT′。在阈值TT得到满足之后(如图14Q中的平移移动计14002所示的高水位标记14043所指示)，接触14032和14036的任何横向移动将引起虚拟对象11002的横向移动。
在图14Q至图14R中，接触14032沿箭头14040所指示的路径移动，并且接触14036沿箭头14042所指示的路径移动。在图14R中，接触14032远离接触14036移动的量值已超过原始缩放阈值ST，但尚未达到增大的缩放阈值ST′。当增大的缩放移动阈值ST′有效时，直到接触14032远离接触14036移动的量值增大到高于增大的缩放移动阈值ST′，才发生缩放，因此从图14Q到图14R，虚拟对象11002的尺寸未发生变化。在图14R至图14S中，当接触14032沿箭头14044所指示的路径移动且接触14036沿箭头14046所指示的路径移动时，接触14032与接触14046之间的距离继续增大。在图14S中，接触14032远离接触14036移动的量值已超过增大的缩放阈值ST′，并且虚拟对象11002的尺寸已增大。在阈值ST′得到满足之后(如图14T中的缩放移动计14004所示的高水位标记14047所指示)，接触14032和14036的任何缩放移动将引起虚拟对象11002的缩放。
在图14T至图14U中，接触14032沿箭头14048所指示的路径移动，并且接触14036沿箭头14050所指示的路径移动。由于阈值TT已得到满足(如平移移动计14002所示的高水位标记14043所指示)，虚拟对象11002在接触14032和14036的横向移动的方向上自由移动。
在图14V至图14W中，接触14032沿箭头14052所指示的路径移动，并且接触14036沿箭头14054所指示的路径移动。接触14032和14036的移动包括平移移动(接触14032和14036的向左移动)和缩放移动(减小接触14032与接触14036之间的距离的移动(例如，捏合手势))。由于平移阈值TT已得到满足(如平移移动计14002所示的高水位标记14043所指示)，虚拟对象11002在接触14032和14036的横向移动的方向上自由移动，并且由于增大的缩放阈值ST′已得到满足(如缩放移动计14004所示的高水位标记14047所指示)，虚拟对象11002响应于接触14032朝向接触14036的移动而自由缩放。从图14V到图14W，虚拟对象11002的尺寸已减小，并且虚拟对象11002响应于接触14032沿箭头14052所指示的路径的移动以及接触14036沿箭头14054所指示的路径的移动而向左移动。
在图14X至图14Z中，接触14032沿箭头14056所指示的路径在逆时针方向上旋转移动，并且接触14036沿箭头14058所指示的路径在逆时针方向上旋转移动。在图14Y中，接触14032和接触14036的旋转移动的量值已超过原始缩放阈值RT，但尚未达到增大的缩放阈值RT′。当增大的缩放移动阈值RT′有效时，直到接触14032和14036的旋转移动的量值增大到高于增大的旋转移动阈值RT′，才发生虚拟对象11002的旋转，因此从图14X到图14Y，虚拟对象11002未旋转。在图14Y至图14Z中，当接触14032沿箭头14060所指示的路径移动且接触14036沿箭头14062所指示的路径移动时，接触14032和14046继续在逆时针方向上旋转移动。在图14Z中，接触14032和接触14036的旋转移动的量值已超过增大的缩放阈值RT′，并且虚拟对象11002已响应于输入而旋转。
图14AA至图14AD是示出用于根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值的操作的流程图。参照图14AA至图14AD描述的操作在具有显示生成部件(例如，显示器、投影仪、平视显示器等)和触敏表面(例如，触敏表面或同时充当显示生成部件和触敏表面的触摸屏显示器)的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。参照图14AA至图14AD描述的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
在操作14066处，检测包括一个或多个接触的移动的用户输入的第一部分。在操作14068处，确定一个或多个接触(例如，在与虚拟对象11002对应的位置处)的移动是否增大到高于对象旋转阈值(例如，旋转移动计14006所指示的旋转阈值RT)。根据确定一个或多个接触的移动增大到高于对象旋转阈值(例如，如参照图14B至图14D描述的)，流程前进至操作14070。根据确定一个或多个接触的移动未增大到高于对象旋转阈值，流程前进至操作14074。
在操作14070处，基于用户输入的第一部分来旋转对象(例如，虚拟对象11002)(例如，如参照图14B至图14D描述的)。在操作14072处，增大对象平移阈值(例如，从TT增大到TT′，如参照图14D描述的)，并且增大对象缩放阈值(例如，从ST增大到ST′，如参照图14D描述的)。流程从操作14072前进至图14AB的操作14086，如A处所指示。
在操作14074处，确定一个或多个接触(例如，在与虚拟对象11002对应的位置处)的移动是否增大到高于对象平移阈值(例如，平移移动计14002所指示的平移阈值TT)。根据确定一个或多个接触的移动增大到高于对象平移阈值(例如，如参照图14K至图14M描述的)，流程前进至操作14076。根据确定一个或多个接触的移动未增大到高于对象平移阈值，流程前进至操作14080。
在操作14076处，基于用户输入的第一部分来平移对象(例如，虚拟对象11002)(例如，如参照图14K至图14M描述的)。在操作14078处，增大对象旋转阈值(例如，从RT增大到RT′，如参照图14M描述的)，并且增大对象缩放阈值(例如，从ST增大到ST′，如参照图14M描述的)。流程从操作14078前进至图14AC的操作14100，如B处所指示。
在操作14080处，确定一个或多个接触(例如，在与虚拟对象11002对应的位置处)的移动是否增大到高于对象缩放阈值(例如，缩放移动计14004所指示的缩放阈值ST)。根据确定一个或多个接触的移动增大到高于对象缩放阈值(例如，如参照图14G至图14I描述的)，流程前进至操作14082。根据确定一个或多个接触的移动未增大到高于对象缩放阈值，流程前进至操作14085。
在操作14082处，基于用户输入的第一部分来缩放对象(例如，虚拟对象11002)(例如，如参照图14G至图14I描述的)。在操作14084处，增大对象旋转阈值(例如，从RT增大到RT′，如参照图14I描述的)，并且增大对象平移阈值(例如，从TT增大到TT′，如参照图14I描述的)。流程从操作14084前进至图14AD的操作14114，如C处所指示。
在操作14085处，检测包括一个或多个接触的移动的用户输入的另外部分。流程从操作14086前进至操作14066。
在图14AB中，在操作14086处，检测包括一个或多个接触的移动的用户输入的另外部分。流程从操作14086前进至操作14088。
在操作14088处，确定一个或多个接触的移动是否为旋转移动。根据确定一个或多个接触的移动为旋转移动，流程前进至操作14090。根据确定一个或多个接触的移动不为旋转移动，流程前进至操作14092。
在操作14090处，基于用户输入的另外部分来旋转对象(例如，虚拟对象11002)(例如，如参照图14D至图14E描述的)。由于旋转阈值先前已得到满足，对象根据另外的旋转输入自由旋转。
在操作14092处，确定一个或多个接触的移动是否增大到高于增大的对象平移阈值(例如，图14D中的平移移动计14002所指示的平移阈值TT′)。根据确定一个或多个接触的移动增大到高于增大的对象平移阈值，流程前进至操作14094。根据确定一个或多个接触的移动未增大到高于增大的对象平移阈值，流程前进至操作14096。
在操作14094处，基于用户输入的另外部分来平移对象(例如，虚拟对象11002)。
在操作14096处，确定一个或多个接触的移动是否增大到高于增大的对象缩放阈值(例如，图14D中的缩放移动计14004所指示的缩放阈值ST′)。根据确定一个或多个接触的移动增大到高于增大的对象缩放阈值，流程前进至操作14098。根据确定一个或多个接触的移动未增大到高于增大的对象缩放阈值，流程返回至操作14086。
在操作14098处，基于用户输入的另外部分来缩放对象(例如，虚拟对象11002)。
在图14AC中，在操作14100处，检测包括一个或多个接触的移动的用户输入的另外部分。流程从操作14100前进至操作14102。
在操作14102处，确定一个或多个接触的移动是否为平移移动。根据确定一个或多个接触的移动为平移移动，流程前进至操作140104。根据确定一个或多个接触的移动不为平移移动，流程前进至操作14106。
在操作14104处，基于用户输入的另外部分来平移对象(例如，虚拟对象11002)。由于平移阈值先前已得到满足，对象根据另外的平移输入自由平移。
在操作14106处，确定一个或多个接触的移动是否增大到高于增大的对象旋转阈值(例如，图14M中的旋转移动计14006所指示的旋转阈值RT′)。根据确定一个或多个接触的移动增大到高于增大的对象旋转阈值，流程前进至操作14108。根据确定一个或多个接触的移动未增大到高于增大的对象旋转阈值，流程前进至操作14110。
在操作14108处，基于用户输入的另外部分来旋转对象(例如，虚拟对象11002)。
在操作14110处，确定一个或多个接触的移动是否增大到高于增大的对象缩放阈值(例如，图14M中的缩放移动计14004所指示的缩放阈值ST′)。根据确定一个或多个接触的移动增大到高于增大的对象缩放阈值，流程前进至操作14112。根据确定一个或多个接触的移动未增大到高于增大的对象缩放阈值，流程返回至操作14100。
在操作14112处，基于用户输入的另外部分来缩放对象(例如，虚拟对象11002)。
在图14AD中，在操作14114处，检测包括一个或多个接触的移动的用户输入的另外部分。流程从操作14114前进至操作14116。
在操作14116处，确定一个或多个接触的移动是否为缩放移动。根据确定一个或多个接触的移动为缩放移动，流程前进至操作140118。根据确定一个或多个接触的移动不为缩放移动，流程前进至操作14120。
在操作14118处，基于用户输入的另外部分来缩放对象(例如，虚拟对象11002)。由于缩放阈值先前已得到满足，对象根据另外的缩放输入自由缩放。
在操作14120处，确定一个或多个接触的移动是否增大到高于增大的对象旋转阈值(例如，图14I中的旋转移动计14006所指示的旋转阈值RT′)。根据确定一个或多个接触的移动增大到高于增大的对象旋转阈值，流程前进至操作14122。根据确定一个或多个接触的移动未增大到高于增大的对象旋转阈值，流程前进至操作14124。
在操作14122处，基于用户输入的另外部分来旋转对象(例如，虚拟对象11002)。
在操作14124处，确定一个或多个接触的移动是否增大到高于增大的对象平移阈值(例如，图14I中的平移移动计14002所指示的平移阈值TT′)。根据确定一个或多个接触的移动增大到高于增大的对象平移阈值，流程前进至操作14126。根据确定一个或多个接触的移动未增大到高于增大的对象平移阈值，流程前进至操作14114。
图15A至图15AI示出了用于根据确定设备的移动使虚拟对象移动到所显示的一个或多个设备相机的视场之外来生成音频警报的示例用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图15A至图15AI示出了当可访问性特征处于活动状态时发生的用户界面和设备操作。在一些实施方案中，可访问性特征包括其中可使用数量减少的输入或另选输入来访问设备特征的模式(例如，以使得提供上述输入手势的能力有限的用户可更容易地访问设备特征)。例如，可访问性模式为切换控件模式，在该模式下，第一输入手势(例如，轻扫输入)用于推进或逆转可用的设备操作，并且选择输入(例如，双击输入)用于执行当前指示的操作。当用户与设备进行交互时，生成音频警报(例如，以向用户提供指示已执行操作的反馈，以指示虚拟对象11002相对于登台用户界面或设备的一个或多个相机的视场的当前显示状态，等等)。
在图15A中，即时消息用户界面5008包括三维虚拟对象11002的二维表示。选择光标15001被示出为包围三维虚拟对象11002(例如，以指示当前选择的操作为将在虚拟对象11002上执行的操作)。检测到用于执行当前指示的操作(例如，在登台用户界面6010中显示虚拟对象11002的三维表示)的通过接触15002进行的输入(例如，双击输入)。响应于该输入，登台用户界面6010的显示替换即时消息用户界面5060的显示，如图15B所示。
在图15B中，虚拟对象11002显示在登台用户界面6010中。生成如15008处所指示的音频警报(例如，通过设备扬声器111)，以指示设备的状态。例如，音频警报15008包括如15010处所指示的通知：“椅子现在示出在登台视图中”。
在图15B中，选择光标15001被示出为包围共享控件6020(例如，以指示当前选择的操作为共享操作)。检测到通过接触15004进行的输入(例如，沿箭头15006所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15C中，显示向上倾斜控件15012(例如，以指示当前选择的操作为用于向上倾斜所显示的虚拟对象11002的操作)。生成如15014处所指示的音频警报，以指示设备的状态。例如，音频警报包括如15016处所指示的通知：“选中：向上倾斜按钮”。检测到通过接触15018进行的输入(例如，沿箭头15020所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15D中，显示向下倾斜控件15022(例如，以指示当前选择的操作为用于向下倾斜所显示的虚拟对象11002的操作)。生成如15024处所指示的音频警报，以指示设备的状态。例如，音频警报包括如15026处所指示的通知：“选中：向下倾斜按钮”。检测到通过接触15028进行的输入(例如，双击输入)。响应于该输入，执行所选择的操作(例如，在登台视图中向下倾斜虚拟对象11002)。
在图15E中，在登台视图中向下倾斜虚拟对象11002。生成如15030处所指示的音频警报，以指示设备的状态。例如，音频警报包括如15032处所指示的通知：“椅子向下倾斜了5度，椅子现在朝向屏幕倾斜10度”。
在图15F中，检测到通过接触15034进行的输入(例如，沿箭头15036所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15G中，显示顺时针旋转控件15038(例如，以指示当前选择的操作为用于顺时针旋转所显示的虚拟对象11002的操作)。音频警报15040包括如15042处所指示的通知：“选中：顺时针旋转按钮”。检测到通过接触15044进行的输入(例如，沿箭头15046所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15H中，显示逆时针旋转控件15048(例如，以指示当前选择的操作为用于逆时针旋转所显示的虚拟对象11002的操作)。音频警报15050包括如15052处所指示的通知：“选中：逆时针旋转按钮”。检测到通过接触15054进行的输入(例如，双击输入)。响应于该输入，执行所选择的操作(例如，在登台视图中逆时针旋转虚拟对象11002，如图15I所指示)。
在图15I中，音频警报15056包括如15058处所指示的通知：“椅子逆时针旋转了5度。椅子现在远离屏幕旋转5度”。
在图15J中，检测到通过接触15060进行的输入(例如，沿箭头15062所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15K中，显示缩放控件15064(例如，以指示当前选择的操作为用于缩放所显示的虚拟对象11002的操作)。音频警报15066包括如15068处所指示的通知：“比例：可调整”。关键字“可调整”与通知中的控件名称一起指示轻扫输入(例如，垂直轻扫输入)可用于操作控件。例如，当接触5070沿箭头5072所指示的路径向上移动时，该接触提供向上轻扫输入。响应于该输入，执行缩放操作(例如，虚拟对象11002的尺寸增大，如图15K至图15L所指示)。
在图15L中，音频警报15074包括如15076处所指示的通知：“椅子现在调整为原始尺寸的150％”。用于减小虚拟对象11002的尺寸的输入(例如，向下轻扫输入)由沿箭头5078所指示的路径向下移动的接触5078提供。响应于该输入，执行缩放操作(例如，虚拟对象11002的尺寸减小，如图15L至图15M所指示)。
在图15M中，音频警报15082包括如15084处所指示的通知：“椅子现在调整为原始尺寸的100％”。由于虚拟对象11002的尺寸被调整为其在登台视图6010中最初显示时的尺寸，发生触觉输出(如15086处所示)(例如，以提供指示虚拟对象11002已返回到其原始尺寸的反馈)。
在图15N中，检测到通过接触15088进行的输入(例如，沿箭头15090所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15O中，选择光标15001被示出为包围后退控件6016(例如，以指示当前选择的操作为返回先前的用户界面的操作)。音频警报15092包括如15094处所指示的通知：“选中：返回按钮”。检测到通过接触15096进行的输入(例如，沿箭头15098所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15P中，选择光标15001被示出为包围切换控件6018(例如，以指示当前选择的操作为用于在显示登台用户界面6010与显示包括相机的视场6036的用户界面之间切换的操作)。音频警报15098包括如50100处所指示的通知：“选中：世界视图/登台视图切换件”。检测到通过接触15102进行的输入(例如，双击输入)。响应于该输入，包括相机的视场6036的用户界面的显示替换登台用户界面6010的显示(如图15Q所指示)。
图15Q至图15T示出了在显示相机的视场6036时发生的校准序列(例如，由于在相机的视场6036中尚未检测到与虚拟对象11002对应的平面)。在校准序列期间，显示虚拟对象11002的半透明表示，模糊相机的视场6036，并且显示包括动画图像(包括设备100的表示12004和平面的表示12010)的提示以提示用户移动设备。在图15Q中，音频警报15102包括如50104处所指示的通知：“移动设备以检测平面”。从图15Q到图15R，设备100相对于物理环境5002移动(例如，如相机的视场6036中的桌子5004的改变的位置所指示)。作为设备100的移动的检测结果，显示校准用户界面对象12014，如图15S所指示。
在图15S中，音频警报15106包括如50108处所指示的通知：“移动设备以检测平面”。在图15S至图15T中，当设备100相对于物理环境5002移动(例如，如相机的视场6036中的桌子5004的改变的位置所指示)时，校准用户界面对象12014旋转。在图15T中，已经发生足以在相机的视场6036中检测到与虚拟对象11002对应的平面的运动，并且音频警报15110包括如50112处所指示的通知：“检测到平面”。在图15U至图15V中，虚拟对象11002的半透明度降低，并且虚拟对象11002放置在检测到的平面上。
在图15V中，音频警报15114包括如50116处所指示的通知：“椅子现在被投影在世界中，100％可见，占据屏幕的10％”。触觉输出发生器输出指示虚拟对象11002已被放置在平面上的触觉输出(如15118处所指示)。虚拟对象11002显示在相对于物理环境5002的固定位置处。
在图15V至图15W中，设备100相对于物理环境5002移动(例如，如相机的视场6036中的桌子5004的改变的位置所指示)，使得虚拟对象11002在相机的视场6036中不再可见。由于虚拟对象11002移出相机的视场6036，音频警报15122包括如50124处所指示的通知：“椅子不在屏幕上”。
在图15W至图15X中，设备100相对于物理环境5002已移动，使得在图15X中虚拟对象11002在相机的视场6036中再次可见。由于虚拟对象11002移动到相机的视场6036中，生成音频警报15118，该音频警报包括如50120处所指示的通知：“椅子现在被投影在世界中，100％可见，占据屏幕的10％”。
在图15X至图15Y中，设备100相对于物理环境5002已移动(例如，使得在图15Y中，设备100“更靠近”如投影在相机的视场6036中的虚拟对象11002，并且虚拟对象11002在相机的视场6036中部分可见)。由于虚拟对象11002部分地移出相机的视场6036，音频警报15126包括如50128处所指示的通知：“椅子90％可见，占据屏幕的20％”。
在一些实施方案中，在与虚拟对象11002对应的位置处提供的输入使得包括关于虚拟对象11002的言语信息的音频消息被提供。相反，当在远离虚拟对象11002和控件的位置处提供输入时，则不提供包括关于虚拟对象11002的言语信息的音频消息。在图15Z中，发生音频输出15130(例如，“点击声”或“嗡嗡声”)，该音频输出指示在不与用户界面中的控件或虚拟对象11002的位置对应的位置处检测到接触15132。在图15AA中，在与虚拟对象11002的位置对应的位置处检测到通过接触15134进行的输入。响应于该输入，生成与虚拟对象11002对应(例如，指示虚拟对象11002的状态)的音频警报15136，该音频警报包括如50138处所指示的通知：“椅子90％可见，占据屏幕的20％”。
图15AB至图15AI示出了用于当显示包括相机的视场6036的用户界面时在切换控件模式下选择和执行操作的输入。
在图15AB中，检测到通过接触15140进行的输入(例如，沿箭头15142所指示的路径的向右轻扫)。响应于该输入，选择操作，如图15AC所指示。
在图15AC中，显示向右横向移动控件15144(例如，以指示当前选择的操作为用于向右移动虚拟对象11002的操作)。音频警报15146包括如15148处所指示的通知：“选中：向右移动按钮”。检测到通过接触15150进行的输入(例如，双击输入)。响应于该输入，执行所选择的操作(例如，在相机的视场6036中向右移动虚拟对象11002，如图15AD所指示)。
在图15AD中，虚拟对象11002的移动被报告为音频警报15152，该音频警报包括如15154处所指示的通知：“椅子100％可见，占据屏幕的30％”。
在图15AE中，检测到通过接触15156进行的输入(例如，沿箭头15158所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15AF中，显示向左横向移动控件15160(例如，以指示当前选择的操作为用于向左移动虚拟对象11002的操作)。音频警报15162包括如15164处所指示的通知：“选中：向左移动”。检测到通过接触15166进行的输入(例如，沿箭头15168所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15AG中，显示顺时针旋转控件15170(例如，以指示当前选择的操作为用于顺时针旋转虚拟对象11002的操作)。音频警报15172包括如15174处所指示的通知：“选中：顺时针旋转”。检测到通过接触15176进行的输入(例如，沿箭头15178所指示的路径的向右轻扫)。响应于该输入，所选择的操作前进到下一操作。
在图15AH中，显示逆时针旋转控件15180(例如，以指示当前选择的操作为用于顺时针旋转虚拟对象11002的操作)。音频警报15182包括如15184处所指示的通知：“选中：逆时针旋转”。检测到通过接触15186进行的输入(例如，双击输入)。响应于该输入，执行所选择的操作(例如，逆时针旋转虚拟对象11002，如图15AI所指示)。
在图15AI中，音频警报15190包括如15164处所指示的通知：“椅子逆时针旋转了5度。椅子现在相对于屏幕旋转零度”。
在一些实施方案中，在对象(例如，虚拟对象11002)的至少一个表面(例如，下侧表面)上生成反射。使用设备100的一个或多个相机所捕获的图像数据生成反射。例如，反射基于与在一个或多个相机的视场6036中检测到的水平平面(例如，地板平面5038)对应的捕获图像数据(例如，图像、一组图像和/或视频)的至少一部分。在一些实施方案中，生成反射包括生成包括捕获的图像数据的球形模型(例如，通过将捕获的图像数据映射在虚拟球体的模型上)。
在一些实施方案中，在对象的表面上生成的反射包括反射梯度(例如，使得表面上更靠近平面的部分具有比表面上远离平面的部分高的反射率量值)。在一些实施方案中，在对象的表面上生成的反射的反射率量值基于与表面对应的纹理的反射率值。例如，在表面的非反射部分处未生成反射。
在一些实施方案中，随时间推移来调整反射。例如，在接收到用于移动和/或缩放对象的输入时，调整反射(例如，在对象移动时，将对象的反射调整为反射平面上与对象对应的位置处的部分)。在一些实施方案中，在旋转对象时(例如，围绕z轴)，未调整反射。
在一些实施方案中，在将对象显示在确定的位置处(例如，在与对象对应的在相机的视场6036中检测到的平面上)之前，未在对象的表面上产生反射。例如，在显示对象的半透明表示时(例如，如参照图11G至图11H描述的)，以及/或者在执行校准时(例如，如参照图12B至图12I描述的)，未在对象的表面上生成反射。
在一些实施方案中，在相机的视场6036中所检测到的一个或多个平面上生成对象的反射。在一些实施方案中，在相机的视场6036中未生成对象的反射。
图16A至图16G是示出根据对象放置标准是否得到满足在包括一个或多个相机的视场的用户界面中显示使用不同视觉属性的虚拟对象的方法16000的流程图。方法16000在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个输入设备(例如，触敏表面或同时充当显示生成部件和触敏表面的触摸屏显示器)以及一个或多个相机(例如，设备上与显示器和触敏表面相对的一侧上的一个或多个后向相机)的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法16000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
设备接收(16002)(例如，在显示包括虚拟对象的可移动表示的登台用户界面时，以及在显示相机的视场之前)在第一用户界面区域(例如，增强现实观察器界面)中显示虚拟对象(例如，三维模型的表示)的请求，其中第一用户界面区域包括一个或多个相机的视场的至少一部分(例如，该请求为通过在触摸屏显示器上的虚拟对象的表示上检测到的接触或者通过在与虚拟对象的表示同时显示的示能表示上检测到的接触(“AR视图”或“世界视图”按钮上的轻击)进行的输入，其中示能表示被配置为在被第一接触调用时触发AR视图的显示)。例如，该请求为在一个或多个相机的视场6036中显示虚拟对象11002的输入，如参照图11F描述的。
响应于在第一用户界面区域中显示虚拟对象的请求(例如，显示设备周围的物理环境的视图中的虚拟对象的请求)，设备经由显示生成部件在包括在第一用户界面区域中的一个或多个相机的视场的至少一部分上显示(16004)虚拟对象的表示(例如，响应于在第一用户界面区域中显示虚拟对象的请求而显示一个或多个相机的视场)，其中一个或多个相机的视场是一个或多个相机所处的物理环境的视图。例如，如参照图11G所描述的，虚拟对象11002显示在一个或多个相机的视场6036中，该视场是一个或多个相机所处的物理环境5002的视图。显示虚拟对象的表示包括：根据确定对象放置标准未得到满足，其中对象放置标准要求虚拟对象的放置位置(例如，平面)在一个或多个相机的视场中可被识别，以便满足对象放置标准(例如，当设备尚未识别用于在第一用户界面区域中相对于一个或多个相机的视场放置虚拟对象的位置或平面(例如，平面识别仍然在进展中，或者不存在足够的图像数据来识别平面)时，对象放置标准未得到满足)，显示具有第一组视觉属性(例如，处于第一半透明水平，或第一亮度水平，或第一饱和度水平等)和具有第一取向的虚拟对象的表示，该第一取向与在一个或多个相机的视场中显示了物理环境的哪个部分无关(例如，虚拟对象漂浮在相机的视场上，具有相对于预定义平面的取向，该取向与物理环境无关(例如，设置在登台视图中的取向)并且与相机的视场中发生的改变(例如，由于设备相对于物理环境的移动而导致的改变)无关)。例如，在图11G至图11H中，因为尚未在相机的视场6036中识别虚拟对象11002的放置位置，所以显示虚拟对象11002的半透明版本。随着设备移动(如从图11G到图11H所示)，虚拟对象11002的取向不改变。在一些实施方案中，对象放置标准包括视场稳定并且提供物理环境的静止视图(例如，相机在至少阈值时间量期间移动小于阈值量，并且/或者自从接收到请求以来已经过了至少预先确定的时间量，并且/或者相机已经在设备先前进行了充分移动的情况下被校准以进行平面检测)的要求。根据确定对象放置标准得到满足(例如，当设备尚未识别用于在第一用户界面中相对于一个或多个相机的视场放置虚拟对象的位置或平面时，对象放置标准得到满足)，设备显示具有第二组视觉属性(例如，处于第二半透明水平，或第二亮度水平，或第二饱和度水平等)和具有第二取向的虚拟对象的表示，该第二组视觉属性不同于第一组视觉属性，该第二取向与在一个或多个相机的视场中检测到的物理环境中的平面对应。例如，在图11I中，因为已经在相机的视场6036中识别虚拟对象11002的放置位置(例如，对应于物理环境5002中的地板表面5038的平面)，所以显示虚拟对象11002的非半透明版本。虚拟对象11002的取向(例如，在触摸屏显示器112上的位置)已从图11H所示的第一取向改变为图11I所示的第二取向。随着设备移动(如从图11I到图11J所示)，虚拟对象11002的取向改变(因为虚拟对象11002现在以相对于物理环境5002的固定取向显示)。根据对象放置标准是否得到满足来显示具有第一组视觉属性或第二组视觉属性的虚拟对象为用户提供了视觉反馈(例如，以指示已经接收到显示虚拟对象的请求，但是为了将虚拟对象放置在一个或多个相机的视场中，需要附加的时间和/或校准信息)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并在将对象以对应于平面的第二取向放置之前避免尝试提供用于操纵虚拟对象的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在以第一组视觉属性和第一取向显示虚拟对象的表示时，设备检测到(16006)对象放置标准得到满足(例如，在虚拟对象处于半透明状态悬浮在设备周围的物理环境的视图上时，识别用于放置虚拟对象的平面)。在以第一组视觉属性(例如，处于半透明状态)显示虚拟对象时检测到对象放置标准得到满足而不需要用于发起检测对象放置标准的进一步的用户输入减少了对象放置所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到对象放置标准得到满足，设备经由显示生成部件显示(16008)动画过渡，该动画过渡示出虚拟对象的表示从第一取向移动(例如，旋转、缩放、平移和/或以上的组合)到第二取向，并且从具有第一组视觉属性改变为具有第二组视觉属性。例如，一旦在相机的视场中识别用于放置虚拟对象的平面，就在视觉地调整其取向、尺寸和半透明度(等等)的情况下将虚拟对象放置在该平面上。显示从第一取向到第二取向的动画过渡(例如，不需要进一步的用户输入来在第一用户界面中对虚拟对象进行重新取向)减少了对象放置所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测到对象放置标准得到满足包括以下操作中的一个或多个(16010)：检测到在一个或多个相机的视场中已经识别出平面；在至少阈值时间量内检测到设备和物理环境之间的小于阈值移动量的移动(例如，在相机的视场中导致物理环境的基本上静止的视图)；以及检测到自从接收到在第一用户界面区域中显示虚拟对象的请求以来已经过了至少预先确定的时间量。检测到对象放置标准得到满足(例如，通过在一个或多个相机的视场中检测到平面而不需要用户输入来检测平面)减少了对象放置所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在一个或多个相机的视场中捕获的物理环境的第一部分(例如，用户通过半透明的虚拟对象可见的物理环境的第一部分)上显示具有第一组视觉属性和第一取向的虚拟对象的表示时(例如，在虚拟对象处于半透明状态悬浮在设备周围的物理环境的视图上时)，设备检测(16012)一个或多个相机的第一移动(例如，设备相对于围绕设备的物理环境的旋转和/或平移)。例如，在图11G至图11H中，在显示虚拟对象11002的半透明表示时，一个或多个相机移动(如例如相机的视场6036中的桌子5004的改变位置所指示)。在相机的视场6036中捕获并且显示在用户界面中的物理环境的墙壁和桌子通过半透明的虚拟对象11002可见。响应于检测到一个或多个相机的第一移动，设备在一个或多个相机的视场中捕获的物理环境的第二部分上显示(16014)具有第一组视觉属性和第一取向的虚拟对象，其中物理环境的第二部分不同于物理环境的第一部分。例如，在虚拟对象的半透明版本被显示悬停在相机的视场中示出的物理环境上时，当设备相对于物理环境移动时，相机的视场内的物理环境的视图(例如，在半透明的虚拟对象后面)移位并缩放。因此，在设备移动期间，虚拟对象的半透明版本变成覆盖在视场中表示的物理环境的不同部分之上，作为相机的视场内的物理环境的视图的平移和缩放的结果。例如，在图11H中，相机的视场6036显示物理环境5002的第二部分，其不同于显示在图11G中的物理环境5002的第一部分。虚拟对象11002的半透明表示的取向不随着图11G至图11H中发生的一个或多个相机的移动而改变。响应于检测到一个或多个相机的移动而显示具有第一取向的虚拟对象为用户提供了视觉反馈(例如，以指示虚拟对象尚未被放置在相对于物理环境的固定位置处并且因此不随着在一个或多个相机的视场中捕获的物理环境的该部分根据一个或多个相机的移动改变而移动)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户在将对象以对应于平面的第二取向放置之前避免尝试提供用于操纵虚拟对象的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在一个或多个相机的视场中捕获的物理环境的第三部分上显示具有第二组视觉属性和第二取向的虚拟对象的表示(例如，物理环境的第三部分的直接视图(例如，支撑虚拟对象的检测到的平面的一部分)被虚拟对象阻挡)时(例如，在对象放置标准已得到满足并且虚拟对象已被放置在相机的视场中的物理环境中检测到的平面上之后)，设备检测(16016)一个或多个相机的第二移动(例如，设备相对于围绕设备的物理环境的旋转和/或平移)。例如，在图11I至图11J中，在显示虚拟对象11002的非半透明表示时，一个或多个相机移动(如例如相机的视场6036中的桌子5004的改变位置所指示)。响应于检测到设备的第二移动，当在一个或多个相机的视场中捕获的物理环境根据设备的第二移动而移动(例如，移位和缩放)，并且第二取向继续与在一个或多个相机的视场中检测到的物理环境中的平面对应时，设备保持(16018)在一个或多个相机的视场中捕获的物理环境的第三部分上显示具有第二组视觉属性和第二取向的虚拟对象的表示。例如，在虚拟对象的非半透明版本落在相机的视场中示出的物理环境中检测到的平面上的静止位置之后，虚拟对象的位置和取向相对于相机的视场内的物理环境固定，并且当设备相对于物理环境移动时，虚拟对象将随着相机的视场中的物理环境移位和缩放(例如，当在图11I至图11J中发生一个或多个相机的移动时，虚拟对象11002的非半透明表示保持固定在相对于物理环境5002中的地板平面的取向上)。响应于检测到一个或多个相机的移动而将虚拟对象的显示保持在第二取向上为用户提供了视觉反馈(例如，以指示虚拟对象已被放置在相对于物理环境的固定位置处并且因此随着在一个或多个相机的视场中捕获的物理环境的该部分根据一个或多个相机的移动改变而移动)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户针对已被放置在对应于平面的第二取向上的虚拟对象提供合适的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定对象放置标准得到满足(例如，当设备尚未识别用于在第一用户界面中相对于一个或多个相机的视场放置虚拟对象的位置或平面时，对象放置标准得到满足)，设备(例如，使用设备的一个或多个触觉输出发生器)生成(16020)触觉输出，结合显示具有第二组视觉属性(例如，处于减小的半透明水平，或更高的亮度水平，或更高的饱和度水平等)和具有第二取向的虚拟对象的表示，该第二取向与在一个或多个相机的视场中检测到的物理环境中的平面对应(例如，触觉输出的生成与到虚拟对象的非半透明外观的转换的完成和虚拟对象到停置于在物理环境中检测到的平面上的降落位置的旋转和平移的完成同步)。例如，如图11I所示，生成如11010处所指示的触觉输出，结合显示附接到对应于虚拟对象11002的平面(例如，地板表面5038)的虚拟对象11002的非半透明表示。根据确定对象放置标准得到满足而生成触觉输出为用户提供了改进的触觉反馈(例如，指示用于放置虚拟对象的操作被成功执行)。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知对象放置标准已得到满足的感官信息而不由于显示的信息使用户界面杂乱)并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示具有第二组视觉属性和具有与在一个或多个相机的视场中检测到的物理环境中的平面对应的第二取向的虚拟对象的表示时，设备接收(16022)关于在一个或多个相机的视场中检测到的物理环境中的平面的至少位置或取向的更新(例如，更新的平面位置和取向是基于在初始的平面检测结果被用于放置虚拟对象之后累积的附加数据的更准确计算或更耗时的计算方法(例如，更少近似度等)的结果)。响应于接收到关于在一个或多个相机的视场中检测到的物理环境中的平面的至少位置或取向的更新，设备根据更新调整(16024)虚拟对象的表示的至少位置和/或取向(例如，将虚拟对象逐渐移动(例如，平移和旋转)靠近更新的平面)。响应于接收到关于物理环境中的平面的更新而调整虚拟对象的位置和/或取向(例如，不需要用于相对于平面放置虚拟对象的用户输入)减少了调整虚拟对象所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一组视觉属性包括(16026)第一尺寸和第一半透明水平(例如，在落入AR视图之前，对象具有相对于显示器的固定尺寸和固定的高半透明水平)并且第二组视觉属性包括(16028)不同于第一尺寸的第二尺寸(例如，一旦落入AR视图中，对象就显示具有与尺寸相关的模拟物理尺寸和在物理环境中的降落位置)和低于第一半透明水平(例如，比其更不透明)的第二半透明水平(例如，对象在AR视图中不再是半透明的)。例如，在图11H中，虚拟对象11002的半透明表示被示出具有第一尺寸，并且在图11I中，虚拟对象11004的非半透明表示被示出具有第二(更小)尺寸。根据对象放置标准是否得到满足来显示具有第一尺寸和第一半透明水平或第二尺寸和第二半透明水平的虚拟对象为用户提供了视觉反馈(例如，以指示已经接收到显示虚拟对象的请求，但是为了将虚拟对象放置在一个或多个相机的视场中，需要附加的时间和/或校准信息)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并在将对象以对应于平面的第二取向放置之前避免尝试提供用于操纵虚拟对象的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在虚拟对象显示在不包括一个或多个相机的视场的至少一部分的相应用户界面(例如，登台用户界面)中(例如，虚拟对象相对于具有与设备的物理环境无关的取向的虚拟台架取向)时，接收(16030)在包括一个或多个相机的视场的至少一部分的第一用户界面区域(例如，AR视图)中显示虚拟对象的请求。在虚拟对象在接收到请求时显示在相应用户界面中时，第一取向与虚拟对象的取向对应。例如，如参照图11F所描述的，在显示登台用户界面6010(其不包括相机的视场)时，接收到在包括相机的视场6036的用户界面中显示虚拟对象11002的请求。其中虚拟对象11002显示在包括相机的视场6036的用户界面中的图11G中的虚拟对象11002的取向对应于其中虚拟对象11002显示在登台用户界面6010中的图11F中的虚拟对象11002的取向。将虚拟对象以与当显示在(先前显示的)界面(例如，登台用户界面)中时虚拟对象的取向对应的取向显示在第一用户界面(例如，显示的增强现实视图)中为用户提供了视觉反馈(例如，以指示在显示登台用户界面时提供的对象操纵输入可用于建立对象在AR视图中的取向)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并在将对象以对应于平面的第二取向放置之前避免尝试提供用于操纵虚拟对象的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一取向与(16032)预定义取向(例如，默认取向，诸如当虚拟对象最初显示在不包括一个或多个相机的视场的至少一部分的相应用户界面中时所显示的取向)对应。将虚拟对象以第一组视觉属性和以预定义的取向显示在第一用户界面(例如，显示的增强现实视图)中减少了电力使用并且延长了设备的电池寿命(例如，通过允许显示预先生成的虚拟对象的半透明表示而不是根据在登台用户界面中建立的取向来渲染半透明表示)。
在一些实施方案中，在将虚拟对象以第二组视觉属性和与在一个或多个相机的视场中检测到的物理环境中的平面对应的第二取向显示在第一用户界面区域(例如，AR视图)中时，设备检测(16034)(例如，作为缩放输入(例如，指向虚拟对象的捏合或展开手势)的结果)将虚拟对象的模拟物理尺寸从第一模拟物理尺寸改变为相对于在一个或多个相机的视场中捕获的物理环境的第二模拟物理尺寸(例如，从默认尺寸的80％改变为默认尺寸的120％，反之亦然)的请求。例如，用于减小虚拟对象11002的模拟物理尺寸的输入是如参照图11N至图11P所描述的捏合手势。响应于检测到改变虚拟对象的模拟物理尺寸的请求，根据虚拟对象的模拟物理尺寸从第一模拟物理尺寸到第二模拟物理尺寸的逐渐变化，设备逐渐改变(16036)第一用户界面区域中虚拟对象的表示的显示尺寸(例如，虚拟对象的显示尺寸增长或缩小，而在一个或多个相机的视场中捕获的物理环境的显示尺寸保持不改变)，并且在第一用户界面区域中虚拟对象的表示的显示尺寸逐渐改变的过程中，根据确定虚拟对象的模拟物理尺寸已达到预定义的模拟物理尺寸(例如，默认尺寸的100％)，设备生成触觉输出以指示虚拟对象的模拟物理尺寸已达到预定义的模拟物理尺寸。例如，如参照图11N至图11P所描述的，响应于捏合手势输入，虚拟对象11002的表示的显示尺寸逐渐减小。在图11O中，当虚拟对象11002的表示的显示尺寸达到虚拟对象11002的尺寸的100％(例如，当最初显示在包括一个或多个相机的视场6036的用户界面中时虚拟对象11002的尺寸，如图11I所指示)时，生成如11024处所指示的触觉输出。根据确定虚拟对象的模拟物理尺寸已达到预定义的模拟物理尺寸来生成触觉输出为用户提供了反馈(例如，指示不需要进一步的输入来使虚拟对象的模拟尺寸返回到预定义的尺寸)。提供改进的触觉反馈增强了设备的可操作性(例如，通过提供允许用户感知已达到虚拟对象的预定义模拟物理尺寸的感官信息而不由于显示的信息使用户界面杂乱)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一用户界面区域(例如，AR视图)中以虚拟对象的不同于预定义的模拟物理尺寸的第二模拟物理尺寸(例如，默认尺寸的120％，或默认尺寸的80％，作为缩放输入(例如，指向虚拟对象的捏合或展开手势)的结果)显示虚拟对象时，设备检测(16038)使虚拟对象返回到预定义的模拟物理尺寸的请求(例如，检测在触摸屏上(例如，在虚拟对象上，或另选地，在虚拟对象之外)的轻击或双击)。例如，在捏合输入已使得虚拟对象11002的尺寸减小之后(如参照图11N至图11P所述)，在对应于虚拟对象11002的位置处检测到双击输入(如参照图11R所描述的)。响应于检测到使虚拟对象返回到预定义的模拟物理尺寸的请求，根据虚拟对象的模拟物理尺寸到预定义的模拟物理尺寸的变化，设备改变(16040)第一用户界面区域中虚拟对象的表示的显示尺寸(例如，虚拟对象的显示尺寸增长或缩小，而在一个或多个相机的视场中捕获的物理环境的显示尺寸保持不改变)。例如，响应于参照图11R描述的双击输入，虚拟对象11002的尺寸返回到当显示在图11I中时虚拟对象11002的尺寸(当最初显示在包括一个或多个相机的视场6036的用户界面中时虚拟对象11002的尺寸)。在一些实施方案中，根据确定虚拟对象的模拟物理尺寸已达到预定义的模拟物理尺寸(例如，默认尺寸的100％)，设备生成触觉输出以指示虚拟对象的模拟物理尺寸已达到预定义的模拟物理尺寸。响应于检测到使虚拟对象返回到预定义的模拟物理尺寸的请求而将虚拟对象的显示尺寸改变为预定义的尺寸(例如，通过提供用于将显示尺寸精确地调整到预定义的模拟物理尺寸的选项，而不是要求用户估计被提供来调整显示尺寸的输入何时足够使虚拟对象以预定义的模拟物理尺寸显示)减少了显示具有预定义的尺寸的对象所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备选择用于根据一个或多个相机相对于物理环境的相应位置和取向(例如，当对象放置标准得到满足时的当前位置和取向)来设置具有第二组视觉属性的虚拟对象的表示的第二取向的平面，其中选择平面包括(16042)：根据确定当在一个或多个相机的视场中捕获的物理环境的第一部分上显示虚拟对象的表示(例如，半透明对象的底座与物理环境的第一部分中的平面重叠)时对象放置标准得到满足(例如，作为设备指向物理环境中的第一方向的结果)，选择在一个或多个相机的视场中的物理环境中检测到的多个平面的第一平面(例如，根据在显示器上对象的底座与第一平面之间的接近度越大，在物理世界中第一平面与物理环境的第一部分之间的接近度越大)作为用于设置具有第二组视觉属性的虚拟对象的表示的第二取向的平面；并且根据确定当在一个或多个相机的视场中捕获的物理环境的第二部分上显示虚拟对象的表示(例如，半透明对象的底座与物理环境的第二部分中的平面重叠)时对象放置标准得到满足(例如，作为设备指向物理环境中的第二方向的结果)，选择在一个或多个相机的视场中的物理环境中检测到的多个平面的第二平面(例如，根据在显示器上对象的底座与第二平面之间的接近度越大，在物理世界中第二平面与物理环境的第二部分之间的接近度越大)作为用于设置具有第二组视觉属性的虚拟对象的表示的第二取向的平面，其中物理环境的第一部分不同于物理环境的第二部分，并且第一平面不同于第二平面。选择第一平面或第二平面作为将相对于其设置虚拟对象的平面(例如，不需要用户输入来指定许多检测到的平面中的哪个平面将是相对于其设置虚拟对象的平面)减少了选择平面所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备在第一用户界面区域(例如，AR视图)中显示具有第二组视觉属性和第二取向的虚拟对象的同时显示(16044)快照示能表示(例如，相机快门按钮)。响应于快照示能表示的激活，设备捕获(16046)包括虚拟对象的表示的当前视图的快照图像，虚拟对象的表示位于一个或多个相机的视场中的物理环境中的放置位置，具有第二组视觉属性和第二取向，该第二取向与在一个或多个相机的视场中检测到的物理环境中的平面对应。显示用于捕获对象的当前视图的快照图像的快照示能表示减少了捕获对象的快照图像所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备在第一用户界面区域中与具有第二组视觉属性的虚拟对象的表示一起显示(16048)一个或多个控制示能表示(例如，用于切换回到登台用户界面的示能表示、用于退出AR视图器的示能表示、用于捕获快照的示能表示等)。例如，在图11J中，显示包括后退控件6016、切换控件6018和共享控件6020的一组控件。在与具有第二组视觉属性的虚拟对象的表示一起显示一个或多个控制示能表示时，设备检测到(16050)控制渐淡标准得到满足(例如，在阈值时间量内尚未在触敏表面上检测到用户输入(例如，具有或没有设备的移动以及对相机的视场的更新))。响应于检测到控制渐淡标准得到满足，设备停止(16052)显示一个或多个控制示能表示，同时继续在包括一个或多个相机的视场的第一用户界面区域中显示具有第二组视觉属性的虚拟对象的表示。例如，如参照图11K至图11L所描述的，当在阈值时间量内未检测到用户输入时，控件6016、6018和6020逐渐淡出并且停止显示。在一些实施方案中，在控制示能表示逐渐消失之后，在触敏表面上的轻击输入或与虚拟对象的交互使得设备在第一用户界面区域中与虚拟对象的表示一起同时重新显示控制示能表示。响应于确定控制渐淡标准得到满足而自动停止显示控件减少了停止显示控件所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在第一用户界面区域中显示虚拟对象的请求：在包括在第一用户界面区域中的一个或多个相机的视场的至少一部分上显示虚拟对象的表示之前，根据确定校准标准未得到满足(例如，因为不存在来自不同查看角度的足够量的图像来为在一个或多个相机的视场中捕获的物理环境生成尺寸和空间关系数据)，设备向用户显示(16054)用于相对于物理环境移动设备的提示(例如，显示用于移动设备的视觉提示，并且任选地在第一用户界面区域中显示校准用户界面对象(例如，根据设备的移动来移动的弹性线框球或立方体)(例如，校准用户界面对象覆盖在一个或多个相机的视场的模糊图像上)，如下文参考方法17000更详细地描述的)。向用户显示用于相对于物理环境移动设备的提示为用户提供了视觉反馈(例如，以指示需要设备的移动以获得用于将虚拟对象放置在相机的视场中的信息)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供校准输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图16A至图16G中的操作进行描述的特定顺序仅仅是一个示例，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、1000、17000、18000、19000和20000)描述的其他过程的细节同样以类似的方式适用于上文相对于图16A至图16G所述的方法16000。例如，上文参考方法16000所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、17000、18000、19000和20000)所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图17A至图17D是示出显示根据设备的一个或多个相机的移动而动态地动画的校准用户界面对象的方法17000的流程图。方法17000在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个输入设备(例如，触敏表面或同时充当显示生成部件和触敏表面的触摸屏显示器)、一个或多个相机(例如，设备上与显示器和触敏表面相对的一侧上的一个或多个后向相机)，以及用于检测包括一个或多个相机的设备的姿态(例如，相对于周围物理环境的取向(例如，旋转、偏航和/或倾斜角)和位置)的变化的一个或多个姿态传感器(例如，加速度计、陀螺仪和/或磁力仪)的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。方法17000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
设备接收(17002)在第一用户界面区域中显示物理环境(例如，包括一个或多个相机的设备周围的物理环境)的增强现实视图的请求，该第一用户界面区域包括一个或多个相机的视场的表示(例如，该视场捕获物理环境的至少一部分)。在一些实施方案中，该请求是在按钮上检测到的用于从虚拟对象的登台视图切换到虚拟对象的增强现实视图的轻击输入。在一些实施方案中，该请求是对在二维用户界面中紧挨着虚拟对象的表示显示的增强现实示能表示的选择。在一些实施方案中，该请求是对增强现实测量应用程序(例如，促进物理环境的测量的测量应用程序)的激活。例如，该请求是在切换6018处检测到的用于在一个或多个相机的视场6036中显示虚拟对象11002的轻击输入，如参照图12A所描述的。
响应于接收到显示物理环境的增强现实视图的请求，设备显示(17004)一个或多个相机的视场的表示(例如，当校准标准未得到满足时，设备显示一个或多个相机的视场的物理环境的模糊版本)。例如，设备显示一个或多个相机的视场6036的模糊表示，如图12E-1所示。根据确定用于物理环境的增强现实视图的校准标准未得到满足(例如，因为不存在(例如，来自不同查看角度的)足够量的图像数据来为在一个或多个相机的视场中捕获的物理环境生成尺寸和空间关系数据，因为未在一个或多个相机的视场中检测到对应于虚拟对象的平面，和/或因为不存在足够的信息以基于从相机可获得的图像数据来开始或继续进行平面检测)，设备(例如，经由显示生成部件，并且在包括一个或多个相机的视场的表示(例如，视场的模糊版本)的第一用户界面区域中)显示根据物理环境中的一个或多个相机的移动动态地动画的校准用户界面对象(例如，扫描提示对象，诸如弹性立方体或线框对象)。例如，在图12E-1至图12I-1中，显示校准用户界面对象12014。参照例如图12E-1至图12F-1描述了校准用户界面对象根据一个或多个相机的移动的动画。在一些实施方案中，当接收到对应于显示增强现实视图的表示的请求的输入的初始部分时，分析一个或多个相机的视场以检测一个或多个相机的视场中的一个或多个平面(例如，地板、墙壁、桌子等)发生。在一些实施方案中，分析在接收到请求之前(例如，在虚拟对象显示在登台视图中时)发生。显示校准用户界面对象包括：在显示校准用户界面对象时，经由一个或多个姿态传感器检测物理环境中的一个或多个相机的姿态(例如，位置和/或取向(例如，旋转、倾斜、偏航角))的变化；并且，响应于检测到物理环境中的一个或多个相机的姿态变化，根据所检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象(例如，扫描提示对象，诸如弹性立方体或线框对象)的至少一个显示参数(例如，在显示器上的取向、尺寸、旋转或位置)。例如，分别对应于图12E-2至图12F-2的图12E-1至图12F-1示出了设备100相对于物理环境5002的横向移动，以及设备的一个或多个相机的显示视场6036中的对应变化。在图12E-2至图12F-2中，校准用户界面对象12014响应于一个或多个相机的移动而旋转。
在显示根据所检测到的物理环境中的一个或多个相机的姿态变化来在显示器上移动的校准用户界面对象(例如，扫描提示对象，诸如弹性立方体或线框对象)时，设备检测到(17006)校准标准得到满足。例如，如参照图12E至图12J所描述的，响应于从12E-1到12I-1发生的设备的移动，设备确定校准标准得到满足。
响应于检测到校准标准得到满足，设备停止(17008)显示校准用户界面对象(例如，扫描提示对象，诸如弹性立方体或线框对象)。在一些实施方案中，在设备停止显示校准用户界面对象之后，设备显示不具有模糊的相机的视场的表示。在一些实施方案中，虚拟对象的表示显示在相机的视场的非模糊表示上。例如，在图12J中，响应于参照12E-1至12I-1所描述的设备的移动，不再显示校准用户界面对象12014，并且虚拟对象11002显示在相机的视场的非模糊表示6036上。根据一个或多个相机(例如，捕获设备的物理环境的设备相机)的移动来调整校准用户界面对象的显示参数为用户提供了视觉反馈(例如，以指示需要设备的移动以进行校准)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户以提供满足校准标准所需的信息的方式移动设备)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在包括一个或多个相机的视场的表示的第一用户界面区域中显示物理环境(例如，包括一个或多个相机的设备周围的物理环境)的增强现实视图的请求包括(17010)在物理环境的增强现实视图中显示虚拟三维对象(例如，具有三维模型的虚拟对象)的表示的请求。在一些实施方案中，该请求是在按钮上检测到的用于从虚拟对象的登台视图切换到虚拟对象的增强现实视图的轻击输入。在一些实施方案中，该请求是对在二维用户界面中紧挨着虚拟对象的表示显示的增强现实示能表示的选择。例如，在图12A中，由接触12002在对应于切换控件6018的位置处进行的输入是在包括相机的视场6036的用户界面中显示虚拟对象11002的请求，如图12B所示。响应于在增强现实视图中显示虚拟对象的请求而显示物理环境的增强现实视图减少了(例如，显示物理环境的视图和虚拟对象两者)所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供校准输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在停止显示校准用户界面对象之后，设备(例如，在校准标准得到满足之后)在包括一个或多个相机的视场的表示的第一用户界面区域中显示(17012)虚拟三维对象的表示。在一些实施方案中，响应于请求，在完成校准并且完全清晰地显示相机的视场之后，虚拟对象降落到相对于在一个或多个相机的视场中识别的预定义平面(例如，物理表面，诸如可用作虚拟对象的三维表示的支撑平面的垂直墙壁或水平地板)的预定义位置和/或取向。例如，在图12J中，设备已经停止显示在图12E至图12I中显示的校准用户界面对象12014，并且虚拟对象11002显示在包括相机的视场6036的用户界面中。在停止显示校准用户界面对象之后在所显示的增强现实视图中显示虚拟对象提供了视觉反馈(例如，以指示校准标准已得到满足)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并在校准标准得到满足之前避免尝试提供用于操纵虚拟对象的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备在显示校准用户界面对象的同时(例如，在校准标准得到满足之前)在第一用户界面区域中(例如，在校准用户界面对象后面)显示(17014)虚拟三维对象的表示，其中在一个或多个相机在物理环境中的移动的过程中(例如，在校准用户界面对象根据一个或多个相机的移动在第一用户界面区域中移动时)，虚拟三维对象的表示保持在第一用户界面区域中的固定位置(例如，虚拟三维对象不被放置在物理环境中的位置)。例如，在图12E-1至图12I-1中，在显示校准用户界面对象12014的同时显示虚拟对象1102的表示。当包括一个或多个相机的设备100移动时(例如，如图12E-1至图12F-1和对应的图12E-2至图12F-2所示)，虚拟对象1102保持在包括一个或多个相机的视场6036的用户界面中的固定位置。在显示校准用户界面对象的同时显示虚拟对象提供了视觉反馈(例如，以指示针对其正在执行校准的对象)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供对应于将相对于其放置虚拟对象的平面的校准输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在包括一个或多个相机的视场的表示的第一用户界面区域中显示物理环境(例如，包括一个或多个相机的设备周围的物理环境)的增强现实视图的请求包括(17016)显示一个或多个相机的视场的表示(例如，同时显示一个或多个用户界面对象和/或控件(例如，平面的轮廓、对象、指针、图标、标记等))的请求，而不要求在一个或多个相机的视场中捕获的物理环境中显示任何虚拟三维对象(例如，具有三维模型的虚拟对象)的表示。在一些实施方案中，该请求是对在二维用户界面中紧挨着虚拟对象的表示显示的增强现实示能表示的选择。在一些实施方案中，该请求是对增强现实测量应用程序(例如，促进物理环境的测量的测量应用程序)的激活。请求显示一个或多个相机的视场的表示而不请求显示任何虚拟三维对象的表示提供了反馈(例如，通过使用相同的校准用户界面对象来指示需要校准，而不管虚拟对象是否显示)。为用户提供改进的反馈增强了设备的可操作性并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于接收到显示物理环境的增强现实视图的请求，设备显示(17018)一个或多个相机的视场的表示(例如，当校准标准未得到满足时，显示一个或多个相机的视场中的物理环境的模糊版本)，并且根据确定用于物理环境的增强现实视图的校准标准得到满足(例如，因为存在(例如，来自不同查看角度的)足够量的图像数据来为在一个或多个相机的视场中捕获的物理环境生成尺寸和空间关系数据，因为已经在一个或多个相机的视场中检测到对应于虚拟对象的平面，和/或因为存在足够的信息以基于从相机可获得的图像数据来开始或继续进行平面检测)，设备放弃校准用户界面对象(例如，扫描提示对象，诸如弹性立方体或线框对象)的显示。在一些实施方案中，在虚拟三维对象显示在登台用户界面中时，开始对物理环境进行扫描以检测平面，这样使得设备能够在显示增强现实视图之前在一些情况下(例如，在相机的视场已经充分移动以提供足够的数据来检测物理空间中的一个或多个平面的情况下)检测物理空间中的一个或多个平面，使得不需要显示校准用户界面。根据确定用于物理环境的增强现实视图的校准标准得到满足而放弃校准用户界面对象的显示为用户提供了视觉反馈(例如，不存在校准用户界面对象指示校准标准已得到满足并且不需要设备的移动以进行校准)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户避免出于校准目的的设备的不必要移动)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备在显示校准用户界面对象的同时(例如，在校准标准得到满足之前)在第一用户界面区域中显示(17020)文本对象(例如，描述当前检测到的错误状态的文本描述和/或请求用户动作(例如，以纠正检测到的错误状态)的文本提示)，该文本对象(例如，紧挨着校准用户界面对象)提供关于用户能够采取的动作的信息，以改进增强现实视图的校准。在一些实施方案中，文本对象向用户提供针对设备的移动的提示(例如，具有当前检测到的错误状态)，诸如“移动过度”、“细节较差”、“移动靠近一点”等。在一些实施方案中，设备根据用户在校准过程期间的动作和基于用户动作检测到的新的错误状态来更新文本对象。在显示校准用户界面对象的同时显示文本为用户提供了视觉反馈(例如，提供校准所需的移动类型的口头指示)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到校准标准得到满足(例如，标准在校准用户界面对象被显示之前得到满足，或者标准在校准用户界面对象被显示并且以动画方式显示长达某一时间段之后得到满足)，设备(例如，如果校准用户界面对象初始被显示，则在停止显示校准用户界面对象之后)显示(17022)在一个或多个相机的视场中捕获的物理环境中检测到的平面的视觉指示(例如，显示围绕检测到的平面的轮廓，或者突出显示检测到的平面)。例如，在图12J中，突出显示平面(地板表面5038)以指示已经在一个或多个相机的显示视场6036中捕获的物理环境5002中检测到该平面。显示检测到的平面的视觉指示提供了视觉反馈(例如，指示已经在由设备相机捕获的物理环境中检测到平面)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于接收到显示物理环境的增强现实视图的请求：根据确定校准标准未得到满足并且在显示校准用户界面对象之前，设备(例如，经由显示生成部件，并且在包括一个或多个相机的视场的表示(例如，视场的模糊版本)的第一用户界面区域中)显示(17024)动画提示对象(例如，扫描提示对象，诸如弹性立方体或线框对象)，该动画提示对象包括相对于平面的表示移动的设备的表示(例如，设备的表示相对于平面的表示的移动指示由用户实现的所需设备移动)。例如，动画提示对象包括相对于平面的表示12010移动的设备100的表示12004，如参照图12B至图12D所描述的。在一些实施方案中，当设备检测到设备的移动时，设备停止显示动画提示对象(例如，指示用户已经开始以将使得校准继续进行的方式移动设备)。在一些实施方案中，当设备检测到设备的移动时并且在校准已经完成之前，设备用校准用户界面对象替换动画提示对象的显示以进一步相对于设备的校准来引导用户。例如，如参照图12C至图12E所描述的，当检测到设备的移动时(如图12C至图12D所示)，包括设备100的表示12004的动画提示停止显示并且在图12E中显示校准用户界面对象12014。显示包括相对于平面的表示移动的设备的表示的动画提示对象为用户提供了视觉反馈(例如，以示出校准所需的设备的移动类型)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户以提供满足校准标准所需的信息的方式移动设备)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数包括(17026)：根据物理环境中一个或多个相机的第一移动量值，将校准用户界面对象移动第一量；并且根据物理环境中一个或多个相机的第二移动量值，将校准用户界面对象移动第二量，其中第一量不同于(例如，大于)第二量，并且第一移动量值不同于(例如，大于)第二移动量值(例如，基于在物理环境中的同一方向上的移动来测量第一移动量值和第二移动量值)。将校准用户界面对象移动对应于一个或多个(设备)相机的移动量值的量提供了视觉反馈(例如，向用户指示校准用户界面对象的移动是针对校准所需的设备移动的引导)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数包括(17028)：根据确定检测到的一个或多个相机的姿态变化与第一类型的移动(例如，侧向移动，诸如向左、向右或来来回回的侧向移动)对应(并且不与第二类型的移动(例如，垂直移动，诸如向上、向下或上上下下的移动)对应)，基于第一类型的移动来移动校准用户界面对象(例如，以第一方式移动校准用户界面对象(例如，围绕穿过校准用户界面对象的垂直轴旋转校准用户界面对象))；并且根据确定检测到的一个或多个相机的姿态变化与第二类型的移动对应(并且不与第一类型的移动对应)，放弃基于第二类型的移动来移动校准用户界面对象(例如，放弃以第一方式移动校准用户界面对象或者将校准用户界面对象保持静止)。例如，包括一个或多个相机的设备100的侧向移动(例如，如参照图12F-1至图12G-1和图12F-2至图12G-2所描述的)使得校准用户界面对象12014旋转，而设备100的垂直移动(例如，如参照图12G-1至图12H-1和图12G-2至图12H-2所描述的)不会使得校准用户界面对象12014旋转。根据确定检测到的设备相机的姿态变化对应于第二类型的移动而放弃校准用户界面对象的移动提供了视觉反馈(例如，向用户指示不需要一个或多个相机的第二类型的移动以进行校准)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户避免提供不必要的输入)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数包括(17030)：根据检测到的物理环境中的一个或多个相机的姿态变化来移动校准用户界面对象(例如，旋转和/或倾斜)而不改变校准用户界面对象在第一用户界面区域上的特征显示位置(例如，几何中心的位置，或者校准用户界面对象在显示器上的轴)(例如，校准用户界面对象被锚定到显示器上的固定位置，同时物理环境在一个或多个相机的视场内在校准用户界面对象下方移动)。例如，在图12E-1至图12I-1中，校准用户界面对象12014旋转，同时保持在相对于显示器112的固定位置。移动校准用户界面对象而不改变校准用户界面对象的特征显示位置提供了视觉反馈(例如，指示校准用户界面对象不同于被放置在相对于显示的增强现实环境的位置处的虚拟对象)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少用户输入错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数包括(17032)：围绕垂直于物理环境中的一个或多个相机的移动方向的轴旋转校准用户界面对象(例如，当(例如，包括相机)的设备在x-y平面上来来回回地移动时，校准用户界面对象围绕z轴旋转，或者当(例如，包括相机)的设备沿x轴(例如，x轴被限定为相对于物理环境的水平方向并且例如位于触摸屏显示器的平面内)边到边地移动时，校准用户界面对象围绕y轴旋转)。例如，在图12E-1至图12G-1中，校准用户界面对象12014围绕垂直于图12E-2至图12G-2中所示的设备的侧向移动的垂直轴旋转。围绕垂直于设备相机的移动的轴旋转校准用户界面对象提供了视觉反馈(例如，向用户指示校准用户界面对象的移动是针对校准所需的设备移动的引导)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数包括(17034)：以根据在一个或多个相机的视场中检测到的变化率(例如，物理环境的移动速度)来确定的速度移动校准用户界面对象。以根据设备相机的姿态变化确定的速度移动校准用户界面对象提供了视觉反馈(例如，向用户指示校准用户界面对象的移动是针对校准所需的设备移动的引导)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据检测到的物理环境中的一个或多个相机的姿态变化来调整校准用户界面对象的至少一个显示参数包括(17036)：沿着根据在一个或多个相机的视场中检测到的变化(例如，物理环境的移动速度)方向确定的方向移动校准用户界面对象(例如，设备针对设备从右向左的移动顺时针旋转校准用户界面对象并且针对设备从左向右的移动逆时针旋转校准用户界面对象，或者设备针对设备从右向左的移动逆时针旋转校准用户界面对象并且针对设备从左向右的移动顺时针旋转校准用户界面对象)。沿着根据设备相机的姿态变化确定的方向移动校准用户界面对象提供了视觉反馈(例如，向用户指示校准用户界面对象的移动是针对校准所需的设备移动的引导)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图17A至图17D中的操作进行描述的特定顺序仅仅是一个示例，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、1000、16000、18000、19000和20000)描述的其他过程的细节同样以类似的方式适用于上文相对于图17A至图17D所述的方法17000。例如，上文参考方法17000所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、16000、18000、19000和20000)所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图18A至图18I是示出约束虚拟对象围绕轴的旋转的方法18000的流程图。方法18000在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个输入设备(例如，触敏表面或同时充当显示生成部件和触敏表面的触摸屏显示器)、一个或多个相机(例如，设备上与显示器和触敏表面相对的一侧上的一个或多个后向相机)，以及用于检测包括一个或多个相机的设备的姿态(例如，相对于周围物理环境的取向(例如，旋转、偏航和/或倾斜角)和位置)的变化的一个或多个姿态传感器(例如，加速度计、陀螺仪和/或磁力仪)的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。方法18000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
设备通过显示生成部件在第一用户界面区域中显示(18002)虚拟三维对象的第一视角的表示(例如，登台用户界面或增强现实用户界面)。例如，虚拟对象11002在登台用户界面6010中示出，如图13B所示。
当在显示器上的第一用户界面区域中显示虚拟三维对象的第一视角的表示时，设备检测(18004)第一输入(例如，触敏表面上的轻扫输入(例如，通过一个或两个手指接触)，或枢转输入(例如，两个手指旋转，或一个手指接触绕另一个手指接触枢转))，该第一输入对应于将虚拟三维对象相对于显示器(例如，与显示生成部件对应的显示平面，诸如触摸屏显示器的平面)旋转的请求，以显示从虚拟三维对象的第一视角不可见的虚拟三维对象的一部分。例如，该请求是如参照图13B至图13C所描述的输入或如参照图13E至图13F所描述的输入。
响应于检测到第一输入(18006)：根据确定第一输入对应于围绕第一轴(例如，在水平方向上平行于显示器平面(例如，x-y平面)的第一轴，诸如x轴)旋转三维对象的请求，设备相对于第一轴旋转虚拟三维对象一定量，该量基于第一输入的量值(例如，轻扫输入沿着触敏表面(例如，与显示器的x-y平面对应的x-y平面)的垂直轴(例如，y轴)的速度和/或距离)确定，并且该量由对限制虚拟三维对象相对于第一轴旋转超过阈值旋转量的移动的限制来约束(例如，围绕第一轴的旋转被限制在围绕第一轴的+/-30度角的范围内，无论第一输入的量值如何，禁止超出范围的旋转)。例如，如参照图13E至图13G所述，虚拟对象11002的旋转受限制约束。根据确定第一输入对应于围绕与第一轴不同的第二轴(例如，在垂直方向上平行于显示器平面(例如，x-y平面)的第二轴，诸如y轴)旋转三维对象的请求，设备相对于第二轴旋转虚拟三维对象一定量，该量基于第一输入的量值(例如，轻扫输入沿着触敏表面(例如，与显示器的x-y平面对应的x-y平面)的水平轴(例如，x轴)的速度和/或距离)确定，其中对于具有高于相应阈值的量值的输入，设备相对于第二轴旋转虚拟三维对象超过阈值旋转量。在一些实施方案中，对于相对于第二轴的旋转，设备对旋转施加约束，该约束大于对相对于第一轴的旋转的约束(例如，允许三维对象旋转60度而不是30度)。在一些实施方案中，对于相对于第二轴的旋转，设备不对旋转施加约束，使得三维对象可绕第二轴自由旋转(例如，对于具有足够高量值的输入，诸如包括一个或多个接触的移动的快或长的轻扫输入，三维对象可相对于第二轴旋转超过360度)。例如，虚拟对象11002响应于参照图13B至图13C所描述的输入而绕y轴发生的旋转量比虚拟对象11002响应于参照图13E至图13G所描述的输入而绕x轴发生的旋转量更大。根据输入是绕第一轴还是绕第二轴旋转对象的请求，确定将对象旋转受阈值量约束的量还是将对象旋转超过阈值量，从而提高了控制不同类型的旋转操作的能力。提供附加控制选项而不由于附加显示的控件使用户界面杂乱增强了设备的可操作性，并且使用户-设备界面更高效。
在一些实施方案中，响应于检测到第一输入(18008)：根据确定第一输入包括接触在第一方向(例如，y方向，触敏表面上的垂直方向)上跨触敏表面的第一移动，并且确定接触在第一方向上的第一移动满足用于相对于第一轴旋转虚拟对象的表示的第一标准，其中第一标准包括第一输入在第一方向上包括大于第一阈值移动量以便满足第一标准的要求(例如，设备不发起三维对象绕第一轴的旋转，直到设备在第一方向上检测到大于第一阈值移动量)，设备确定第一输入对应于围绕第一轴(例如，x轴，与显示器平行的水平轴，或穿过虚拟对象的水平轴)旋转三维对象的请求；并且根据确定第一输入包括接触在第二方向(例如，x方向，触敏表面上的水平方向)上跨触敏表面的第二移动，并且确定接触在第二方向上的第二移动满足用于相对于第二轴旋转虚拟对象的表示的第二标准，其中第二标准包括第一输入在第二方向上包括大于第二阈值移动量以便满足第二标准的要求(例如，设备不发起三维对象绕第二轴的旋转，直到设备在第二方向上检测到大于第二阈值移动量)，设备确定第一输入对应于围绕第二轴(例如，平行于显示器的垂直轴，或穿过虚拟对象的垂直轴)旋转三维对象的请求，其中第一阈值大于第二阈值(例如，用户需要在垂直方向上轻扫以触发围绕水平轴的旋转(例如，相对于用户向前或向后倾斜对象)比在水平方向上轻扫以触发围绕垂直轴的旋转(例如，旋转对象)更大的量)。根据输入是绕第一轴还是绕第二轴旋转对象的请求，确定将对象旋转受阈值量约束的量还是将对象旋转超过阈值量，从而提高了响应于与旋转对象的请求对应的输入来控制不同类型的旋转操作的能力。提供附加控制选项而不由于附加显示的控件使用户界面杂乱增强了设备的可操作性，并且使用户-设备界面更高效。
在一些实施方案(18010)中，虚拟三维对象相对于第一轴的旋转以第一输入的第一输入参数(例如，轻扫距离或轻扫速度)的特征值与围绕第一轴施加于虚拟三维对象的旋转量之间的第一程度的对应关系发生，虚拟三维对象相对于第二轴的旋转以第二输入手势的第一输入参数(例如，轻扫距离或轻扫速度)的特征值与围绕第二轴施加于虚拟三维对象的旋转量之间的第二程度的对应关系发生，并且第一程度的对应关系涉及的虚拟三维对象相对于第一输入参数的旋转比第二程度的对应关系更少(例如，围绕第一轴的旋转比围绕第二轴的旋转具有更多的摩擦或接获)。例如，虚拟对象11002的第一旋转量响应于轻扫输入而发生，具有轻扫距离d1，用于围绕y轴旋转(如参照图13B至图13C所述)，并且虚拟对象11002的小于第一旋转量的第二旋转量响应于轻扫输入而发生，具有轻扫距离d1，用于围绕x轴旋转(如参照图13E至图13G所述)。响应于输入以更大旋转度还是更小旋转度旋转虚拟对象，取决于输入是绕第一轴还是绕第二轴旋转对象的请求，这提高了响应于与旋转对象的请求对应的输入来控制不同类型的旋转操作的能力。提供附加控制选项而不由于附加显示的控件使用户界面杂乱增强了设备的可操作性，并且使用户-设备界面更高效。
在一些实施方案中，设备检测(18012)第一输入的结束(例如，输入包括触敏表面上的一个或多个接触的移动，并且检测第一输入的结束包括检测一个或多个接触从触敏表面的抬离)。在(例如，响应于)检测到第一输入的结束之后，设备继续(18014)在检测到输入结束之前基于第一输入的量值(例如，基于接触抬离之前接触的移动速度)旋转三维对象，包括：根据确定三维对象相对于第一轴旋转，使对象相对于第一轴的旋转减慢第一量，该第一量与三维对象相对于第一轴的旋转的量值成比例(例如，基于第一模拟物理参数，诸如具有第一摩擦系数的模拟摩擦，减慢三维对象绕第一轴的旋转)；并且根据确定三维对象相对于第二轴旋转，使对象相对于第二轴的旋转减慢第二量，该第二量与三维对象相对于第二轴的旋转的量值成比例(例如，基于第二模拟物理参数，诸如具有小于第一摩擦系数的第二摩擦系数的模拟摩擦，减慢三维对象绕第二轴的旋转)，其中第二量与第一量不同。例如，在图13C至图13D中，虚拟对象11002在接触13002抬离之后继续旋转，这引起虚拟对象11002的旋转，如参照图13B至图13C所描述的。在一些实施方案中，第二量大于第一量。在一些实施方案中，第二量小于第一量。在检测到输入结束之后，根据输入是绕第一轴还是绕第二轴旋转对象的请求，使虚拟对象的旋转减慢第一量或第二量，提供指示将旋转操作以不同方式施加于虚拟对象以围绕第一轴和第二轴旋转的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供合适的输入并在将对象以对应于平面的第二取向放置之前避免尝试提供用于操纵虚拟对象的输入)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备检测(18016)第一输入的结束(例如，输入包括触敏表面上的一个或多个接触的移动，并且检测第一输入的结束包括检测一个或多个接触从触敏表面的抬离)。在(例如，响应于)检测到第一输入的结束之后(18018)：根据确定三维对象相对于第一轴旋转超过相应的旋转阈值，设备使三维对象相对于第一轴的旋转的至少一部分反转；并且，根据确定三维对象相对于第一轴旋转未超过相应的旋转阈值，设备放弃反转三维对象相对于第一轴的旋转。(例如，停止三维对象相对于第一轴的旋转，并且/或者继续三维对象相对于第一轴在输入的运动方向上的旋转，其旋转量值由在检测到输入结束之前输入的量值确定)。例如，在虚拟对象11002旋转超过旋转阈值之后，如参照图13E至图13G所描述的，虚拟对象11002的旋转被反转，如图13G至图13H所示。在一些实施方案中，基于三维对象旋转超过相应旋转阈值的距离来确定三维对象的旋转的反转量(例如，如果三维对象被旋转超过相应旋转阈值的旋转量较大，则将三维对象相对于第一轴的旋转反转较大的量，相比之下，如果三维对象被旋转超过相应旋转阈值的旋转量较小，则将相对于第一轴的旋转反转较小的量)。在一些实施方案中，旋转的反转由模拟的物理参数诸如弹性效应驱动，当三维对象相对于第一轴被旋转超过相应的旋转阈值更远时，该弹性效应以更大的力拉动。在一些实施方案中，旋转的反转是沿基于相对于第一轴被旋转超过相应旋转阈值的旋转方向确定的旋转方向(例如，如果三维对象被旋转成使得对象的顶部向后移动到显示器中，则旋转的反转将对象的顶部向前旋转出显示器；如果三维对象被旋转成使得对象的顶部向前旋转出显示器，则旋转的反转将对象的顶部向后旋转到显示器中；如果三维对象被旋转成使得对象的右侧向后移动到显示器中，则旋转的反转将对象的右侧向前旋转出显示器；并且/或者如果三维对象被旋转成使得对象的左侧向前旋转出显示器，则旋转的反转将对象的左侧向后旋转到显示器中)。在一些实施方案中，例如，在相对于第二轴的旋转被约束到相应的角度范围的情况下，执行用于绕第二轴旋转的类似的橡皮条选择(rubberbanding)(例如，旋转的条件性反转)。在一些实施方案中，例如，在不约束相对于第二轴的旋转使得设备允许三维对象旋转360度的情况下，不执行用于绕第二轴旋转的橡皮条选择(例如，因为设备确实不对相对于第二轴的旋转施加旋转阈值)。根据对象是否被旋转超过旋转阈值，在检测到输入结束之后反转三维对象相对于第一轴的旋转的至少一部分，或者放弃反转三维对象相对于第一轴的旋转的一部分，从而提供指示适用于虚拟对象的旋转的旋转阈值的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户避免尝试提供用于将虚拟对象旋转超过旋转阈值的输入)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案(18020)中，根据确定第一输入对应于绕不同于第一轴和第二轴的第三轴(例如，垂直于显示器的平面(例如，x-y平面)的第三轴，诸如z轴)旋转三维对象的请求，设备放弃相对于第三轴旋转虚拟三维对象(例如，绕z轴的旋转被禁止并且绕z轴旋转对象的请求被设备忽略)。在一些实施方案中，设备提供警报(例如，用于指示输入失败的触觉输出)。根据确定旋转输入对应于绕第三轴旋转虚拟对象的请求而放弃虚拟对象的旋转，提供指示绕第三轴的旋转受到限制的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户避免尝试提供用于将虚拟对象绕第三轴旋转的输入)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备显示(18022)虚拟三维对象投射的阴影的表示，同时在第一用户界面区域(例如，登台用户界面)中显示虚拟三维对象的第一视角的表示。该设备根据虚拟三维对象相对于第一轴和/或第二轴的旋转来改变阴影的表示的形状。例如，当虚拟对象11002旋转时，虚拟对象11002的阴影13006的形状与图13B至图13F不同。在一些实施方案中，阴影移位并改变形状以指示虚拟对象相对于支持虚拟对象的预定义底侧的登台用户界面中的不可见接地层的当前取向。在一些实施方案中，虚拟三维对象的表面看起来反射来自模拟光源的光，该模拟光源位于登台用户界面中表示的虚拟空间中的预定义方向上。根据虚拟对象的旋转改变阴影的形状提供视觉反馈(例如，指示虚拟对象相对于其取向的虚拟平面(例如，登台视图中的台架))。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户确定用于引起绕第一轴或第二轴旋转的轻扫输入的适当方向)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一用户界面区域(18024)中旋转虚拟三维对象时：根据确定以显露虚拟三维对象的预定义的底部的第二视角显示虚拟三维对象，放弃用虚拟三维对象的第二视角的表示来显示阴影的表示。例如，当从下方观察虚拟对象时，设备不显示虚拟对象的阴影(例如，如参照图13G至图13I所描述的)。根据确定显示虚拟对象的底部而放弃显示虚拟对象的阴影提供视觉反馈(例如，指示对象已旋转到不再对应于虚拟平面的位置(例如，登台视图的台架))。为用户提供改进的视觉反馈增强了设备的可操作性并且使用户-设备界面更高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一用户界面区域(例如，登台视图)中旋转虚拟三维对象之后，设备检测(18026)对应于在第一用户界面区域中重置虚拟三维对象的请求的第二输入(例如，第二输入是在第一用户界面区域上的双击)。响应于检测到第二输入，设备在第一用户界面区域中显示(18028)(例如，通过旋转和重新设定虚拟对象的尺寸)虚拟三维对象的预定义原始视角的表示(例如，第一视角，或与第一视角不同的默认起始视角(例如，当第一视角是在登台用户界面中的用户操纵之后的显示视角时))(例如，响应于双击，设备将虚拟对象的取向重置到预定义的原始取向(例如，直立，其中前侧面向用户并且底侧搁置在预定义的接地层上))。例如，图13I至图13J示出了使虚拟对象11002的视角从改变的视角(作为参照图13B至图13G所描述的旋转输入的结果)改变为图13J中的原始视角(其与图13A中所示的虚拟对象11002的视角相同)的输入。在一些实施方案中，响应于检测到与重置虚拟三维对象的指令对应的第二输入，设备还重新设定虚拟三维对象的尺寸以反映虚拟三维对象的默认显示尺寸。在一些实施方案中，双击输入在登台用户界面中重置虚拟对象的取向和尺寸，而双击输入仅重置尺寸，而不重置增强现实用户界面中虚拟对象的取向。在一些实施方案中，设备要求将双击指向虚拟对象，以便重置增强现实用户界面中的虚拟对象的尺寸，同时设备响应于在虚拟对象上检测到的双击和在虚拟对象周围检测到的双击重置虚拟对象的取向和尺寸。在增强现实视图中，单个手指轻扫拖动虚拟对象而不是旋转虚拟对象(例如，与在登台视图中不同)。响应于检测到重置虚拟对象的请求而显示虚拟对象的预定义原始视角增强了设备的可操作性并且使用户-设备界面更高效(例如，通过提供重置对象的选项而不是要求用户估计提供的用于调整对象属性的输入何时将对象返回到预定义的原始视角)。减少执行操作所需的输入数量提高了设备的可操作性，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第一用户界面区域(例如，登台用户界面)中显示虚拟三维对象时，设备检测(18030)对应于重新设定虚拟三维对象的尺寸的请求的第三输入(例如，第三输入是指向在第一用户界面区域上表示的虚拟对象的捏合或展开手势，第三输入具有满足标准(例如，用于发起重新设定尺寸操作的原始或增强标准(如下文参考方法19000更详细描述的))的量值。响应于检测到第三输入，设备根据输入的量值调整(18032)第一用户界面区域中的虚拟三维对象的表示的尺寸。例如，响应于包括展开手势的输入(例如，如参照图6N至图6O所描述的)，虚拟对象11002的尺寸减小。在一些实施方案中，当调整虚拟三维对象的表示的尺寸时，设备显示指示符以指示虚拟对象的当前缩放水平。在一些实施方案中，设备在第三输入终止时停止显示缩放水平的指示符。根据用于重新设定对象尺寸的输入的量值来调整虚拟对象的尺寸增强了设备的可操作性(例如，通过提供按所需量重新设定对象尺寸的选项)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在调整第一用户界面区域(例如，登台用户界面)中虚拟三维对象的表示的尺寸的同时，设备检测(18034)虚拟三维对象的尺寸已达到虚拟三维对象的预定义的默认显示尺寸。响应于检测到虚拟三维对象的尺寸已达到虚拟三维对象的预定义的默认显示尺寸，设备生成(18036)触觉输出(例如，离散触觉输出)以指示虚拟三维对象以预定义的默认显示尺寸显示。图11O提供了触觉输出11024的实施例，其响应于检测到虚拟对象11002的尺寸已达到虚拟对象11002的先前预定义尺寸而被提供(例如，如参照图11M至图11O所描述的)。在一些实施方案中，当响应于双击输入将虚拟对象的尺寸重置为默认显示尺寸时，设备生成相同的触觉输出。根据确定虚拟对象的尺寸已达到预定义的默认显示尺寸来生成触觉输出向用户提供反馈(例如，指示不需要进一步输入将虚拟对象的模拟尺寸返回到预定义的尺寸)。提供改进的触觉反馈增强了设备的可操作性(例如，通过提供允许用户感知已达到虚拟对象的预定义模拟物理尺寸的感官信息而不由于显示的信息使用户界面杂乱)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一用户界面区域(例如，登台用户界面)中显示缩放水平的视觉指示(例如，指示与当前缩放水平对应的值的滑块)。当调整虚拟三维对象的表示的尺寸时，根据虚拟三维对象的表示的经调整尺寸来调整缩放水平的视觉指示。
在一些实施方案中，当在第一用户界面区域(例如，登台用户界面)中显示虚拟三维对象的第三视角的表示时，设备检测(18042)与在第二用户界面区域(例如，增强现实用户界面)中显示虚拟三维对象的请求对应的第四输入，该第二用户界面区域包括一个或多个相机(例如，嵌入在设备中的相机)的视场。响应于检测到第四输入，设备经由显示生成部件在包括在第二用户界面区域中的一个或多个相机的视场的至少一部分上显示(18044)虚拟对象的表示(例如，响应于在第二用户界面区域中显示虚拟对象的请求而显示一个或多个相机的视场)，其中一个或多个相机的视场是一个或多个相机所处的物理环境的视图。显示虚拟对象的表示包括：将虚拟三维对象绕第一轴(例如，在水平方向上平行于显示器的平面(例如，x-y平面)的轴，诸如x轴)旋转到预定义角度(例如，到默认偏航角，诸如0度；或者旋转到与在一个或多个相机的视场中捕获的物理环境中检测到的平面对准(例如，平行)的角度)。在一些实施方案中，设备显示三维对象的动画，该动画相对于第一轴逐渐旋转到预定义角度。保持虚拟三维对象相对于第二轴(例如，在垂直方向上平行于显示器的平面(例如，x-y平面)的轴，诸如y轴)的当前角度。响应于在一个或多个相机的视场中显示虚拟对象的请求，将虚拟对象绕第一轴旋转到预定义角度(例如，无需进一步输入将虚拟对象重新定位到相对于平面的预定义取向)增强了设备的可操作性。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第一用户界面区域(例如，登台用户界面)中显示虚拟三维对象的第四视角的表示时，设备检测(18046)对应于返回到包括虚拟三维对象的二维表示的二维用户界面的请求的第五输入。响应于检测到第五输入，设备(18048)：(例如，在显示虚拟三维对象和二维用户界面的二维表示之前)旋转虚拟三维对象以显示虚拟三维对象的与虚拟三维对象的二维表示对应的视角；并且在旋转虚拟三维对象以显示与虚拟三维对象的二维表示对应的相应视角之后显示虚拟三维对象的二维表示。在一些实施方案中，设备显示三维对象的动画，该动画逐渐旋转以显示虚拟三维对象的与虚拟三维对象的二维表示对应的视角。在一些实施方案中，设备还在旋转期间或旋转之后重新设定虚拟三维对象的尺寸以匹配在二维用户界面中显示的虚拟三维对象的二维表示的尺寸。在一些实施方案中，显示动画过渡以示出旋转的虚拟三维对象在二维用户界面中朝向二维表示(例如，虚拟对象的缩略图)的位置移动，并且稳定在该位置中。响应于用于返回到显示虚拟三维对象的二维表示的输入，将虚拟三维对象旋转到与虚拟三维对象的二维表示对应的视角提供视觉反馈(例如，以指示所显示的对象是二维的)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并且避免尝试提供用于使二维对象沿着轴旋转的输入，二维对象的旋转对于该轴不可用)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示虚拟三维对象的第一视角的表示之前，设备显示(18050)用户界面，该用户界面包括虚拟三维对象(例如，缩略图或图标)的表示，该表示包括来自相应视角的虚拟三维对象的视图的表示(例如，静态表示诸如对应于虚拟三维对象的二维图像)。在显示虚拟三维对象的表示时，设备检测(18052)显示虚拟三维对象的请求(例如，指向虚拟三维对象的表示的轻击输入或其他选择输入)。响应于检测到显示虚拟三维对象的请求，设备用被旋转以匹配虚拟三维对象的表示的相应视角的虚拟三维对象替换(18054)虚拟三维对象的表示的显示。图11A至图11E提供了显示虚拟对象11002的表示的用户界面5060的实施例。响应于显示虚拟对象11002的请求，如参照图11A所描述的，登台用户界面6010中虚拟对象11002的显示替换用户界面5060的显示，如图11E所示。图11E中的虚拟对象11002的视角与图11A中的虚拟对象11002的表示的视角相同。在一些实施方案中，虚拟三维对象的表示在被虚拟三维对象替换之前被放大(例如，放大到与虚拟三维对象的尺寸匹配的尺寸)。在一些实施方案中，虚拟三维对象最初以虚拟三维对象的表示的尺寸显示，并且随后被放大。在一些实施方案中，在从虚拟三维对象的表示到虚拟三维对象的过渡期间，设备逐渐放大虚拟三维对象的表示，将虚拟三维对象的表示与虚拟三维物体叠象渐变，然后逐渐放大虚拟三维对象，以在虚拟三维对象的表示与虚拟三维对象之间形成平滑过渡。在一些实施方案中，选择虚拟三维对象的初始位置以对应于虚拟三维对象的表示的位置。在一些实施方案中，虚拟三维对象的表示被移位到被选择为与将显示虚拟三维对象的位置对应的位置。用旋转的虚拟三维对象替换虚拟三维对象的(二维)表示的显示以匹配(二维)表示的视角提供视觉反馈(例如，以指示三维对象是与虚拟三维对象的二维表示相同的对象)。为用户提供改进的视觉反馈增强了设备的可操作性并且使用户-设备界面更高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示第一用户界面之前，设备显示(18056)包括虚拟三维对象的二维表示的二维用户界面。在显示包括虚拟三维对象的二维表示的二维用户界面时，设备在触敏表面上与虚拟三维对象的二维表示对应的位置处检测(18058)满足预览标准(例如，预览标准要求按压输入的强度超过第一强度阈值(例如，轻按压强度阈值)并且/或者预览标准要求按压输入的持续时间超过第一持续时间阈值)的触摸输入的第一部分(例如，接触强度的增加)。响应于检测到满足预览标准的触摸输入的第一部分，设备显示(18060)虚拟三维对象的预览，该预览大于虚拟三维对象的二维表示(例如，该预览被动画化以显示虚拟三维对象的不同视角)；在一些实施方案中，设备显示三维对象的动画逐渐放大(例如，基于输入的持续时间或压力或基于动画的预先确定的速率)。显示虚拟三维对象的预览(例如，不会用不同的用户界面替换当前显示的用户界面的显示)增强了设备的可操作性(例如，通过使用户能够显示虚拟三维对象并且返回到查看虚拟三维对象的二维表示，而不必提供用于在用户界面之间导航的输入)。减少执行操作所需的输入数量提高了设备的可操作性，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示虚拟三维对象的预览时，设备(例如，通过相同的连续保持的接触)检测(18062)触摸输入的第二部分。响应于检测到触摸输入的第二部分(18064)：根据确定触摸输入的第二部分满足菜单显示标准(例如，菜单显示标准要求接触沿预定义方向(例如，向上)移动超过阈值量)，设备显示对应于与虚拟对象相关联的多个操作的多个可选选项(例如，共享菜单)(例如，共享选项，诸如与另一个设备或用户共享虚拟对象的各种手段)；并且根据确定触摸输入的第二部分满足登台标准(例如，登台标准要求接触的强度超过大于第一阈值强度的第二阈值强度(例如，深按压强度阈值))，设备用包括虚拟三维对象的第一用户界面替换包括虚拟三维对象的二维表示的二维用户界面的显示。根据是否满足登台标准，显示与虚拟对象相关联的菜单或用包括虚拟三维对象的第一用户界面替换包括虚拟三维对象的二维表示的二维用户界面的显示，这使得多种不同类型的操作能够响应于输入而执行。使得多种不同类型的操作能够用第一类型的输入执行提高了用户能够执行这些操作的效率，从而增强了设备的可操作性，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面包括(18066)多个控件(例如，用于切换到世界视图、用于返回等的按钮)。在显示第一用户界面之前，设备显示(18068)包括虚拟三维对象的二维表示的二维用户界面。响应于检测到在第一用户界面中显示虚拟三维对象的请求，设备(18070)在第一用户界面中显示虚拟三维对象，而不显示与虚拟三维对象相关联的一组一个或多个控件；并且在第一用户界面中显示虚拟三维对象之后，设备显示一组一个或多个控件。例如，如参照图11A至图11E所描述的，在登台用户界面6010之前显示包括虚拟对象11002的二维表示的用户界面5060的显示。响应于在登台用户界面6010中显示虚拟对象11002的请求(如参照图11A所描述的)，显示虚拟对象11002(如图11B至图11C所示)，而没有登台用户界面6010的控件6016、6018和6020。在图11D至图11E中，登台用户界面6010的控件6016、6018和6020淡入用户界面中的视图。在一些实施方案中，该组一个或多个控件包括用于在增强现实环境中显示虚拟三维对象的控件，其中虚拟三维对象相对于在设备的一个或多个相机的视场中检测到的平面放置在固定位置。在一些实施方案中，响应于检测到在第一用户界面中显示虚拟三维对象的请求：根据确定虚拟三维对象未准备好在第一用户界面中显示(例如，在准备好显示第一用户界面时，虚拟对象的三维模型没有被完全加载)(例如，虚拟对象的加载时间超过阈值时间量(例如，对于用户而言明显且可察觉))，设备显示第一用户界面的一部分(例如，第一用户界面的背景窗口)，而不在第一用户界面上显示多个控件；并且根据确定虚拟三维对象准备好在第一用户界面中显示(例如，在没有控件的情况下显示第一用户界面的部分之后)，设备在第一用户界面中显示(例如，淡入)虚拟三维对象；并且在第一用户界面中显示虚拟三维对象之后，设备显示(例如，淡入)控件。响应于检测到在第一用户界面中显示虚拟三维对象的请求并且根据确定虚拟三维对象准备好被显示(例如，在准备好显示第一用户界面时虚拟对象的三维模型已被加载(例如，虚拟对象的加载时间小于阈值时间量(例如，对于用户而言可忽略且不可察觉))：设备显示第一用户界面，且在第一用户界面上有多个控件；并且设备在具有多个控件的第一用户界面中显示(例如，不淡入)虚拟三维对象。在一些实施方案中，当存在登台用户界面以返回到二维用户界面时(例如，响应于“返回”的请求)，控件在虚拟三维对象被转换为虚拟三维对象的二维表示之前首先淡出。在用户界面中显示虚拟三维对象之后显示控件提供视觉反馈(例如，指示在加载虚拟对象所需的时间量期间操纵虚拟对象的控件不可用)。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户当在虚拟对象的加载时间期间操纵操作不可用时避免提供操纵对象的输入)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图18A至图18I中的操作进行描述的特定顺序仅仅是一个示例，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、1000、16000、17000、19000和20000)描述的其他过程的细节同样以类似的方式适用于上文相对于图18A至图18I所述的方法18000。例如，上文参考方法18000所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、17000、18000、19000和20000)所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图19A至图19H是示出根据确定第一对象操纵行为满足第一阈值移动量值来增大第二对象操纵行为所需的第二阈值移动量值的方法19000的流程图。方法19000在具有显示生成部件(例如，显示器、投影仪、平视显示器等)和触敏表面(例如，触敏表面或同时充当显示生成部件和触敏表面的触摸屏显示器)的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。方法19000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
设备经由显示生成部件显示(19002)第一用户界面区域，该第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象(例如，包括虚拟对象的表示的用户界面区域)，所述多个对象操纵行为包括响应于满足第一手势识别标准(例如，旋转标准)的输入而执行的第一对象操纵行为(例如，围绕相应轴的用户界面对象的旋转)和响应于满足第二手势识别标准(例如，平移标准和缩放标准中的一者)的输入而执行的第二对象操纵行为(例如，用户界面对象的平移或用户界面对象的缩放中的一者)。例如，所显示的虚拟对象11002与操纵行为相关联，所述操纵行为包括围绕相应轴的旋转(例如，如参照图14B至图14E所描述的)、平移(例如，如参照图14K至图14M所描述的)以及缩放(例如，如参照图14G至图14I所描述的)。
在显示第一用户界面区域时，设备检测(19004)指向用户界面对象的输入的第一部分(例如，设备检测触敏表面上与用户界面对象的显示位置对应的位置处的一个或多个接触)，包括检测一个或多个接触在触敏表面上的移动，并且当在触敏表面上检测到一个或多个接触时，设备结合第一手势识别标准和第二手势识别标准两者评估一个或多个接触的移动。
响应于检测到输入的第一部分，设备基于输入的第一部分更新用户界面对象的外观，包括(19006)：根据确定输入的第一部分在满足第二手势识别标准之前满足第一手势识别标准：基于输入的第一部分(例如，基于输入的第一部分的方向和/或量值)根据第一对象操纵行为改变用户界面对象的外观(例如，旋转用户界面对象)；并且(例如，在不根据第二对象操纵行为改变用户界面对象的外观的情况下)通过增大第二手势识别标准的阈值(例如，增大第二手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)来更新第二手势识别标准。例如，在图14E中，虚拟对象1102已经根据确定已满足旋转标准(在满足缩放标准之前)旋转，并且用于缩放标准的阈值ST增加到ST′。在一些实施方案中，在用于识别用于旋转对象的手势的标准得到满足之前，通过满足用于识别用于平移或缩放的手势的标准(假设用于平移或缩放的标准之前未得到满足)对对象发起平移或缩放操作相对容易。一旦用于识别用于旋转对象的手势的标准得到满足，发起对对象的平移或缩放操作就变得更难(例如，用于平移和缩放的标准被更新为具有增大的移动参数阈值)，并且对象操纵偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。根据确定在满足第一手势识别标准之前输入满足第二手势识别标准：设备基于输入的第一部分(例如，基于输入的第一部分的方向和/或量值)根据第二对象操纵行为来改变用户界面对象的外观(例如，平移用户界面对象或重新设定用户界面对象的尺寸)；并(例如，在不根据第一对象操纵行为改变用户界面对象的外观的情况下)通过增大第一手势识别标准的阈值来更新第一手势识别标准(例如，增大第一手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)。例如，在图14I中，虚拟对象1102的尺寸已经根据确定缩放标准已经(在旋转标准得到满足之前)得到满足而增大，并且用于旋转标准的阈值RT增加到RT’。在一些实施方案中，在满足用于识别用于平移或缩放对象的手势的标准之前，通过满足用于识别用于旋转的手势的标准来对对象发起旋转操作相对容易(假设用于识别用于旋转对象的手势的标准之前未得到满足)。一旦用于识别用于平移或缩放对象的手势的标准得到满足，发起对对象的旋转操作就变得更难(例如，用于旋转对象的标准被更新为具有增大的移动参数阈值)，并且对象操纵行为偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。在一些实施方案中，根据输入的相应移动参数的值动态且连续地(例如，显示不同的尺寸、位置、视角、反射、阴影等)改变用户界面对象的外观。在一些实施方案中，设备遵循移动参数(例如，每种类型的操纵行为的相应移动参数)与对用户界面对象的外观所做的改变(例如，每种类型的操纵行为的外观的相应方面)之间的预设对应关系(例如，每种类型的操纵行为的相应对应关系)。当输入移动增大到大于第二对象操纵的第二阈值时，增大第一对象操纵所需的输入移动的第一阈值增强了设备的可操作性(例如，通过帮助用户避免在尝试提供用于执行第一对象操纵的输入时意外地执行第二对象操纵)。提高用户控制不同类型的对象操纵的能力增强了设备的可操作性并使用户设备界面更加高效。
在一些实施方案中，在基于输入的第一部分更新用户界面对象的外观之后，设备检测(19008)输入的第二部分(例如，通过输入的第一部分中的相同的连续保持的接触，或者在输入的第一部分中的接触的终止(例如，抬离)之后检测到的不同的接触)。在一些实施方案中，基于连续检测到的指向用户界面对象的输入来检测输入的第二部分。响应于检测到输入的第二部分，设备基于输入的第二部分更新(19010)用户界面对象的外观，包括：根据确定输入的第一部分满足第一手势识别标准并且输入的第二部分不满足更新的第二手势识别标准：(例如，不考虑输入的第二部分是否满足第一手势识别标准或原始第二手势识别标准)基于输入的第二部分根据第一对象操纵行为来改变用户界面对象的外观(例如，基于输入的第二部分的方向和/或量值)，而不是根据第二对象操纵行为改变用户界面对象的外观(例如，即使输入的第二部分在更新之前确实满足原始第二手势识别标准)；根据确定输入的第一部分满足第二手势识别标准并且输入的第二部分不满足更新的第一手势识别标准：(例如，不考虑输入的第二部分是否满足第二手势识别标准或原始第一手势识别标准)基于输入的第二部分根据第二对象操纵行为来改变用户界面对象的外观(例如，基于输入的第二部分的方向和/或量值)，而不是根据第一对象操纵行为改变用户界面对象的外观(例如，即使输入的第二部分在更新之前确实满足原始第一手势识别)。
在一些实施方案(19012)中，在输入的第一部分满足第一手势识别标准之后，基于输入的第二部分，根据第一对象操纵行为来改变用户界面对象的外观时，输入的第二部分包括在更新第二手势识别标准之前满足第二手势识别标准的输入(例如，在阈值增大之前，用第二手势识别标准中的输入的移动参数的原始阈值)(例如，输入的第二部分不包括满足更新的第二手势识别标准的输入)。
在一些实施方案(19014)中，在输入的第一部分满足第二手势识别标准之后，基于输入的第二部分，根据第二对象操纵行为来改变用户界面对象的外观时，输入的第二部分包括在更新第一手势识别标准之前满足第一手势识别标准的输入(例如，在阈值增大之前，用第一手势识别标准中的输入的移动参数的原始阈值)(例如，输入的第二部分不包括满足更新的第一手势识别标准的输入)。
在一些实施方案(19016)中，在输入的第一部分满足第一手势识别标准之后，基于输入的第二部分，根据第一对象操纵行为改变用户界面对象的外观时，输入的第二部分不包括满足第一手势识别标准的输入(例如，具有第一手势识别标准中的输入的移动参数的原始阈值)。例如，在满足第一手势识别标准一次之后，输入不再需要继续满足第一手势识别标准以便引起第一对象操纵行为。
在一些实施方案(19018)中，在输入的第一部分满足第二手势识别标准之后，基于输入的第二部分，根据第二对象操纵行为改变用户界面对象的外观时，输入的第二部分不包括满足第二手势识别标准的输入(例如，具有第二手势识别标准中的输入的移动参数的原始阈值)。例如，在满足第二手势识别标准一次之后，输入不再需要继续满足第二手势识别标准以便引起第二对象操纵行为。当输入的第二部分包括增大到大于增大的阈值的移动时执行第一对象操纵行为增强了设备的可操作性(例如，通过在满足增大的标准执行第一对象操作之后向用户提供有意执行第二对象操纵的能力，而无需用户提供新输入)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，基于输入的第二部分更新用户界面对象的外观包括(19020)：根据确定输入的第一部分满足第二手势识别标准并且输入的第二部分满足更新的第一手势识别标准：基于输入的第二部分根据第一对象操纵行为来改变用户界面对象的外观；并且根据基于输入的第二部分的第二对象操纵行为来改变用户界面对象的外观；并且，根据确定输入的第一部分满足第一手势识别标准并且输入的第二部分满足更新的第二手势识别标准：基于输入的第二部分，根据第一对象操纵行为来改变用户界面对象的外观；并且根据基于输入的第二部分的第二对象操纵行为来改变用户界面对象的外观。例如，在首先满足第一手势识别标准并且输入然后满足更新的第二手势识别标准之后，输入现在可以引起第一对象操纵行为和第二对象操纵行为。例如，在首先满足第二手势识别标准并且输入然后满足更新的第一手势识别标准之后，输入现在可以引起第一对象操纵行为和第二对象操纵行为。响应于在满足第二手势识别标准和更新的第一手势识别标准之后检测到的输入的一部分，根据第一对象操纵行为和第二对象操纵行为更新对象增强了设备的可操作性(例如，通过在满足增大的阈值之后使用第一对象操纵和第二对象操纵来向用户提供自由操纵对象的能力，而无需用户提供新输入)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在基于输入的第二部分更新用户界面对象的外观之后，(例如，在满足第一手势识别标准和更新的第二手势识别标准之后，或者在满足第二手势识别标准和更新的第一手势识别标准之后)设备检测(19022)输入的第三部分(例如，通过输入的第一和第二部分中相同的连续保持的接触，或者在输入的第一部分和第二部分中的接触的终止(例如，抬离)之后检测到的不同接触)。响应于检测到输入的第三部分，设备基于输入的第三部分更新(19024)用户界面对象的外观，包括：基于输入的第三部分根据第一对象操纵行为来改变用户界面对象的外观；并且基于输入的第三部分根据第二对象操纵行为来改变用户界面对象的外观。例如，在满足第一手势识别标准和更新的第二手势识别标准之后，或者在满足第二手势识别标准和更新的第一手势识别标准两者之后，输入可以随后引起第一对象操纵行为和第二对象操纵行为，而不考虑原始或更新的第一和第二手势识别标准中的阈值。响应于在满足第二手势识别标准和更新的第一手势识别标准之后检测到的输入的一部分，根据第一对象操纵行为和第二对象操纵行为更新对象增强了设备的可操作性(例如，通过在通过满足增大的阈值来演示执行第一对象操纵类型的意图之后使用第一对象操纵和第二对象操纵来向用户提供自由操纵对象的能力，而无需用户提供新输入)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案(19026)中，输入的第三部分不包括满足第一手势识别标准的输入或满足第二手势识别标准的输入。例如，在满足第一手势识别标准和更新的第二手势识别标准之后，或者在满足第二手势识别标准和更新的第一手势识别标准两者之后，输入可以随后引起第一对象操纵行为和第二对象操纵行为，而不考虑原始或更新的第一和第二手势识别标准中的阈值。响应于在满足第二手势识别标准和更新的第一手势识别标准之后检测到的输入的一部分，根据第一对象操纵行为和第二对象操纵行为更新对象增强了设备的可操作性(例如，通过在满足提高的标准之后使用第一对象操纵和第二对象操纵来向用户提供自由操纵对象的能力，而无需用户提供新输入)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，多个对象操纵行为包括(19028)第三对象操纵行为(例如，使用户界面对象围绕相应轴旋转)，该第三对象操纵行为响应于满足第三手势识别标准(例如，缩放标准)的输入而执行。基于输入的第一部分更新用户界面对象的外观包括(19030)：根据确定在满足第二手势识别标准或满足第三手势识别标准之前输入的第一部分满足第一手势识别标准：基于输入的第一部分(例如，基于输入的第一部分的方向和/或量值)，根据第一对象操纵行为改变用户界面对象的外观(例如，旋转用户界面对象)；并且(例如，在不根据第二对象操纵行为改变用户界面对象的外观的情况下)通过增大第二手势识别标准的阈值(例如，增大第二手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)来更新第二手势识别标准。例如，在用于识别用于旋转对象的手势的标准得到满足之前，通过满足用于识别用于平移或缩放的手势的标准(假设用于平移或缩放的标准之前未得到满足)对对象发起平移或缩放操作相对容易。一旦用于识别用于旋转对象的手势的标准得到满足，发起对对象的平移或缩放操作就变得更难(例如，用于平移和缩放的标准被更新为具有增大的移动参数阈值)，并且对象操纵偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。设备通过增大第三手势识别标准的阈值来更新第三手势识别标准(例如，增大第三手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)。例如，在用于识别用于旋转对象的手势的标准得到满足之前，通过满足用于识别用于平移或缩放的手势的标准(假设用于平移或缩放的标准之前未得到满足)对对象发起平移或缩放操作相对容易。一旦用于识别用于旋转对象的手势的标准得到满足，发起对对象的平移或缩放操作就变得更难(例如，用于平移和缩放的标准被更新为具有增大的移动参数阈值)，并且对象操纵偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。根据确定在满足第一手势识别标准或满足第三手势识别标准之前输入满足第二手势识别标准：设备基于输入的第一部分(例如，基于输入的第一部分的方向和/或量值)根据第二对象操纵行为来改变用户界面对象的外观(例如，平移用户界面对象或重新设定用户界面对象的尺寸)；并(例如，在不根据第一对象操纵行为改变用户界面对象的外观的情况下)通过增大第一手势识别标准的阈值来更新第一手势识别标准(例如，增大第一手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)。例如，在满足用于识别用于平移或缩放对象的手势的标准之前，通过满足用于识别用于旋转的手势的标准来对对象发起旋转操作相对容易(假设用于识别用于旋转对象的手势的标准之前未得到满足)。一旦用于识别用于平移或缩放对象的手势的标准得到满足，发起对对象的旋转操作就变得更难(例如，用于旋转对象的标准被更新为具有增大的移动参数阈值)，并且对象操纵行为偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。在一些实施方案中，根据输入的相应移动参数的值动态且连续地(例如，显示不同的尺寸、位置、视角、反射、阴影等)改变用户界面对象的外观。在一些实施方案中，设备遵循移动参数(例如，每种类型的操纵行为的相应移动参数)与对用户界面对象的外观所做的改变(例如，每种类型的操纵行为的外观的相应方面)之间的预设对应关系(例如，每种类型的操纵行为的相应对应关系)。设备通过增大第三手势识别标准的阈值来更新第三手势识别标准(例如，增大第三手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)。例如，在用于识别用于旋转对象的手势的标准得到满足之前，通过满足用于识别用于平移或缩放的手势的标准(假设用于平移或缩放的标准之前未得到满足)对对象发起平移或缩放操作相对容易。一旦用于识别用于旋转对象的手势的标准得到满足，发起对对象的平移或缩放操作就变得更难(例如，用于平移和缩放的标准被更新为具有增大的移动参数阈值)，并且对象操纵偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。根据确定在满足第一手势识别标准或满足第二手势识别标准之前输入满足第三手势识别标准：设备基于输入的第一部分(例如，基于输入的第一部分的方向和/或量值)根据第三对象操纵行为来改变用户界面对象的外观(例如，重新设定用户界面对象的尺寸)；并且设备(例如，在不根据第一对象操纵行为和第二对象操纵行为改变用户界面对象的外观的情况下)通过增大第一手势识别标准的阈值来更新第一手势识别标准(例如，增大第一手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)。例如，在满足用于识别用于平移或缩放对象的手势的标准之前，通过满足用于识别用于旋转的手势的标准来对对象发起旋转操作相对容易(假设用于识别用于旋转对象的手势的标准之前未得到满足)。一旦用于识别用于平移或缩放对象的手势的标准得到满足，发起对对象的旋转操作就变得更难(例如，用于旋转对象的标准被更新为具有增大的移动参数阈值)，并且对象操纵行为偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。在一些实施方案中，根据输入的相应移动参数的值动态且连续地(例如，显示不同的尺寸、位置、视角、反射、阴影等)改变用户界面对象的外观。在一些实施方案中，设备遵循移动参数(例如，每种类型的操纵行为的相应移动参数)与对用户界面对象的外观所做的改变(例如，每种类型的操纵行为的外观的相应方面)之间的预设对应关系(例如，每种类型的操纵行为的相应对应关系)。设备通过增大第二手势识别标准的阈值来更新第二手势识别标准(例如，增大第二手势识别标准中的移动参数(例如，移动距离、速度等)所需的阈值)。例如，在用于识别用于旋转对象的手势的标准得到满足之前，通过满足用于识别用于平移或缩放的手势的标准(假设用于平移或缩放的标准之前未得到满足)对对象发起平移或缩放操作相对容易。一旦用于识别用于旋转对象的手势的标准得到满足，发起对对象的平移或缩放操作就变得更难(例如，用于平移和缩放的标准被更新为具有增大的移动参数阈值)，并且对象操纵偏向于与已经识别并用于操纵该对象的手势对应的操纵行为。响应于仅在满足对应的第三手势识别标准时检测到的输入的一部分，根据第三对象操纵行为更新对象增强了设备的可操作性(例如，通过帮助用户避免在尝试提供用于执行第一对象操纵或第二对象操纵的输入时意外地执行第三对象操纵)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，多个对象操纵行为包括(19032)响应于满足第三手势识别标准的输入而执行的第三对象操纵行为，在满足第一手势识别标准或第二手势识别标准之前输入的第一部分不满足第三手势识别标准，在输入的第一部分满足第一手势识别标准或第二手势识别标准之后，设备通过增大第三手势识别标准的阈值来更新第三手势识别标准，在满足更新的第一手势识别标准或更新的第二手势识别标准之前输入的第二部分不满足更新的第三手势识别标准(例如，在输入的第一部分满足第一手势识别标准或第二手势识别标准中的一者之后，设备通过增大第三手势识别标准的阈值来更新第三手势识别标准)。响应于检测到输入的第三部分(19034)：根据确定输入的第三部分满足更新的第三手势识别标准(例如，不考虑输入的第三部分是否满足第一手势识别标准或第二手势识别标准(例如，更新的或原始的))，设备基于输入的第三部分(例如，基于输入的第三部分的方向和/或量值)根据第三对象操纵行为来改变用户界面对象的外观(例如，在根据第一对象操纵行为和第二对象操纵行为改变用户界面对象的外观时(例如，即使输入的第三部分不满足原始的第一手势识别标准和第二手势识别标准))。根据确定输入的第三部分不满足更新的第三手势识别标准，设备放弃基于输入的第三部分根据第三对象操纵行为来改变用户界面对象的外观(例如，在根据第一对象操纵行为和第二对象操纵行为改变用户界面对象的外观时(例如，即使输入的第三部分不满足原始的第一手势识别标准和第二手势识别标准))。在第二手势识别标准、更新的第一手势识别标准和更新的第三手势识别标准得到满足之后，响应于检测到输入的一部分，根据第一对象操纵行为、第二对象操纵行为和第三对象操纵行为来更新对象，增强了设备的可操作性(例如，通过在建立通过满足增大的阈值来执行所有三种对象操纵类型的意图之后，通过向用户提供使用第一对象操纵类型、第二对象操纵类型和第三对象操纵类型自由地操纵对象的能力，而无需用户提供新输入)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案(19036)中，输入的第三部分满足更新的第三手势识别标准。在基于输入的第三部分更新用户界面对象的外观之后(例如，在第一手势识别标准和更新的第二手势识别标准和第三手势识别标准均得到满足之后，或者在第二手势识别标准和更新的第一手势识别标准和第三手势识别标准均得到满足之后)，设备检测(19038)输入的第四部分(例如，通过输入的第一部分、第二部分和第三部分中相同的连续保持的接触，或者在输入的第一部分、第二部分和第三部分中的接触终止(例如，抬离)之后检测到的不同接触)。响应于检测到输入的第四部分，设备基于输入的第四部分更新(19040)用户界面对象的外观，包括：基于输入的第四部分根据第一对象操纵行为来改变用户界面对象的外观；基于输入的第四部分根据第二对象操纵行为来改变用户界面对象的外观；并且基于输入的第四部分根据第三对象操纵行为来改变用户界面对象的外观。例如，在第一手势识别标准和更新的第二手势识别标准和第三手势识别标准得到满足之后，或者在第二手势识别标准和更新的第一手势识别标准和第三手势识别标准得到满足之后，输入可随后引起所有三种类型的操纵行为，而不考虑原始或更新的第一手势识别标准、第二手势识别标准和第三手势识别标准中的阈值。
在一些实施方案中，输入的第四部分不包括(19042)：满足第一手势识别标准的输入，满足第二手势识别标准的输入，或满足第三手势识别标准的输入。例如，在第一手势识别标准和更新的第二手势识别标准和第三手势识别标准得到满足之后，或者在第二手势识别标准和更新的第一手势识别标准和第三手势识别标准得到满足之后，输入可随后引起所有三种类型的操纵行为，而不考虑原始或更新的第一手势识别标准、第二手势识别标准和第三手势识别标准中的阈值。需要针对手势的多个同时检测到的接触增强了设备的可操作性(例如，通过在以小于所需数量的同时检测到的接触提供输入时帮助用户避免意外地执行对象操纵)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案(19044)中，第一手势识别标准和第二手势识别标准(和第三手势识别标准)都需要第一数量的同时检测到的接触(例如，两个接触)以便得到满足。在一些实施方案中，单指手势也可以用于平移，并且单指平移阈值低于双指平移阈值。在一些实施方案中，针对双指平移手势设置的原始和更新的移动阈值分别是通过接触的重心移动40个点和70个点。在一些实施方案中，针对双指旋转手势设置的原始和更新的移动阈值分别是通过接触进行的12度和18度的旋转移动。在一些实施方案中，针对双指缩放手势设置的原始和更新的移动阈值分别是50个点(接触之间的距离)和90个点。在一些实施方案中，针对单指拖动手势设置的阈值是30个点。
在一些实施方案(19046)中，第一对象操纵行为改变用户界面对象的缩放水平或显示尺寸(例如，通过捏合手势来重新设定对象的尺寸(例如，在基于第一手势识别标准(例如，原始的或更新的)识别捏合手势之后，接触朝向彼此的移动))，并且第二对象操纵行为改变用户界面对象的旋转角度(例如，通过扭曲/旋转手势改变用户界面对象围绕外轴或内轴的观察视角(例如，在通过第二手势识别标准(例如，原始的或更新的)识别扭转/旋转手势之后，接触围绕公共轨迹的移动))。例如，第一对象操纵行为改变虚拟对象11002的显示尺寸，如参照图14G至图14I所描述的，并且第二对象操纵行为改变虚拟对象11002的旋转角度，如关于图14B至图14E所描述的。在一些实施方案中，第二对象操纵行为改变用户界面对象的缩放水平或显示尺寸(例如，通过捏合手势来重新设定对象的尺寸(例如，在基于第二手势识别标准(例如，原始的或更新的)识别捏合手势之后，接触朝向彼此的移动))，并且第一对象操纵行为改变用户界面对象的旋转角度(例如，通过扭曲/旋转手势改变用户界面对象围绕外轴或内轴的观察视角(例如，在通过第一手势识别标准(例如，原始的或更新的)识别扭转/旋转手势之后，接触围绕公共轨迹的移动))。
在一些实施方案(19048)中，第一对象操纵行为改变用户界面对象的缩放水平或显示尺寸(例如，通过捏合手势来重新设定对象的尺寸(例如，在基于第一手势识别标准(例如，原始的或更新的)识别捏合手势之后，接触朝向彼此的移动))，并且第二对象操纵行为改变第一用户界面区域中的用户界面对象的位置(例如，通过单指或双指拖动手势拖动用户界面对象(例如，在通过第二手势识别标准(例如，原始的或更新的)识别拖动手势之后，接触在相应方向上的移动))。例如，第一对象操纵行为改变虚拟对象11002的显示尺寸，如参照图14G至图14I所描述的，并且第二对象操纵行为改变用户界面中的虚拟对象11002的位置，如关于图14B至图14E所描述的。在一些实施方案中，第二对象操纵行为改变用户界面对象的缩放水平或显示尺寸(例如，通过捏合手势来重新设定对象的尺寸(例如，在基于第二手势识别标准(例如，原始的或更新的)识别捏合手势之后，接触朝向彼此的移动))，并且第二对象操纵行为改变第一用户界面区域中的用户界面对象的位置(例如，通过单指或双指拖动手势拖动用户界面对象(例如，在通过第一手势识别标准(例如，原始的或更新的)识别拖动手势之后，接触在相应方向上的移动))。
在一些实施方案(19050)中，第一对象操纵行为改变第一用户界面区域中的用户界面对象的位置(例如，通过单指或双指拖动手势拖动对象(例如，在第一手势识别标准(例如，原始的或更新的)识别拖动手势之后，接触在相应方向上的移动))，并且第二对象操纵行为改变用户界面对象的旋转角度(例如，通过扭曲/旋转手势改变用户界面对象围绕外轴或内轴的观察视角(例如，在通过第二手势识别标准(例如，原始的或更新的)识别扭转/旋转手势之后，接触围绕公共轨迹的移动))。例如，第一对象操纵行为改变虚拟对象11002的显示尺寸，如参照图14B至图14E所描述的，并且第二对象操纵行为改变用户界面中的虚拟对象11002的位置，如关于图14B至图14E所描述的。在一些实施方案中，第二对象操纵行为改变第一用户界面区域中的用户界面对象的位置(例如，通过单指或双指拖动手势拖动对象(例如，在第二手势识别标准(例如，原始的或更新的)识别拖动手势之后，接触在相应方向上的移动))，并且第一对象操纵行为改变用户界面对象的旋转角度(例如，通过扭曲/旋转手势改变用户界面对象围绕外轴或内轴的观察视角(例如，在通过第一手势识别标准(例如，原始的或更新的)识别扭转/旋转手势之后，接触围绕公共轨迹的移动))。
在一些实施方案(19052)中，输入的第一部分和输入的第二部分由多个连续保持的接触提供。设备重新建立(19054)第一手势识别标准和第二手势识别标准(例如，具有原始阈值)，以在检测到多个连续保持的接触的抬离之后发起另外的第一对象操纵行为和第二对象操纵行为。例如，在接触抬离之后，设备重新建立用于新检测到的触摸输入的旋转、平移和缩放的手势识别阈值。在通过接触的抬离来结束输入之后重新建立用于输入移动的阈值增强了设备的可操作性(例如，通过在每次提供新输入时重置增大的移动阈值来减少执行对象操纵所需的输入程度)。减少执行操作所需的输入程度提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案(19056)中，第一手势识别标准与围绕第一轴的旋转对应，并且第二手势识别标准与围绕与第一轴正交的第二轴的旋转对应。在一些实施方案中，代替更新用于不同类型的手势的阈值，更新还适用于针对与所识别的手势类型(例如，扭曲/枢转手势)对应的一种类型的操纵行为内的不同子类型的操纵行为(例如，围绕第一轴旋转而不是围绕不同轴旋转)设置的阈值。例如，一旦识别并执行围绕第一轴的旋转，则围绕不同轴的旋转阈值组被更新(例如，增大)并且必须由随后的输入克服，以便触发围绕不同轴的旋转。当输入移动增大到高于用于使对象围绕第二轴旋转所需的输入移动的阈值时，增大用于使对象围绕第一轴旋转所需的输入移动的阈值增强了设备的可操作性(例如，通过帮助用户避免在试图使对象围绕第一轴旋转时意外地使对象围绕第二轴旋转)。减少执行操作所需的输入数量提高了设备的可操作性并且使用户-设备界面更加高效，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图19A至图19H中的操作进行描述的特定顺序仅仅是一个示例，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、1000、16000、17000、18000和20000)描述的其他过程的细节同样以类似的方式适用于上文相对于图19A至图19H所述的方法19000。例如，上文参考方法19000所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、16000、17000、18000和20000)所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图20A至图20F是流程图，示出了用于根据确定设备的移动使虚拟对象移动到所显示的一个或多个设备相机的视场之外来生成音频警报的方法20000。方法20000在具有显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个输入设备(例如，触敏表面或同时充当显示生成部件和触敏表面的触摸屏显示器)、一个或多个音频输出发生器，以及一个或多个相机的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)处执行。方法20000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
设备经由显示生成部件在包括一个或多个相机的视场的表示的第一用户界面区域中显示(20002)(例如，响应于将虚拟对象放置在包括相机的设备周围的物理环境的增强现实视图中的请求(例如，响应于轻击与虚拟对象的登台视图一起显示的“世界”按钮))虚拟对象的表示(例如，第一用户界面区域是显示包括相机的设备周围的物理环境的增强现实视图的用户界面)，其中显示包括保持虚拟对象的表示与在一个或多个相机的视场中捕获的物理环境内检测到的平面之间的第一空间关系(例如，虚拟对象以使得虚拟对象的表示与平面之间的固定角度得以保持(例如，虚拟对象看起来保持在平面上的固定位置处或者沿视场平面滚动)的取向和位置显示在显示器上)。例如，如图15V所示，虚拟对象11002显示在包括一个或多个相机的视场6036的用户界面区域中。
设备检测(20004)调整一个或多个相机的视场的设备的移动(例如，包括一个或多个相机的设备的横向移动和/或旋转)。例如，如参照图15V至图15W所描述的，设备100的移动调整一个或多个相机的视场。
响应于检测到调整一个或多个相机的视场的设备的移动(20006)：在调整一个或多个相机的视场时，设备根据虚拟对象与在一个或多个相机的视场内检测到的平面之间的第一空间关系(例如，取向和/或位置)，调整第一用户界面区域中虚拟对象的表示的显示，并且根据确定设备的移动引起大于阈值量(例如，100％、50％或20％)的虚拟对象移动到一个或多个相机的视场的显示部分之外(例如，因为在设备相对于物理环境的移动期间，虚拟对象的表示与在一个或多个相机的视场中捕获的物理环境内检测到的平面之间的空间关系保持固定)，设备通过一个或多个音频输出发生器产生第一音频警报(例如，指示在相机视图中不再显示大于阈值量的虚拟对象的语音通知)。例如，如参照图15W所描述的，响应于设备100的移动引起虚拟对象11002移动到一个或多个相机的视场6036的显示部分之外，生成音频警报15118。根据确定设备的移动引起虚拟对象移动到所显示的增强现实视图之外生成音频输出向用户提供反馈，该反馈指示设备的移动影响虚拟对象相对于增强现实视图的显示的程度。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知虚拟对象是否已移出显示器，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，输出第一音频警报包括(20008)生成音频输出，该音频输出指示在一个或多个相机的视场的显示部分上保持可见的虚拟对象的量(例如，保持可见的虚拟对象的量相对于从当前观看视角看的虚拟对象的总尺寸来测量(例如，20％、25％、50％等))(例如，音频输出说，“对象x为20％可见。”)。例如，响应于设备100的移动引起虚拟对象11002部分地移动到一个或多个相机的视场6036的显示部分之外，如参照图15X至图15Y所描述的，音频警报15126生成为包括通知15128，指示“椅子90％可见，占据屏幕的20％”。生成指示在所显示的增强现实视图中可见的虚拟对象的量的音频输出为用户提供反馈(例如，指示设备的移动改变虚拟对象可见程度的程度)。为用户提供改进的反馈(例如，通过提供允许用户感知虚拟对象是否已移出显示器，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，输出第一音频警报包括(20010)生成音频输出，该音频输出指示被虚拟对象占据的视场的所显示部分的量(例如，虚拟对象所占据的物理环境的增强现实视图的量(例如，20％、25％、50％等))(例如，音频输出包括通知，说“对象x占据了世界视图的15％”)。在一些实施方案中，音频输出还包括由用户执行的引起虚拟对象的显示状态的改变的动作的描述。例如，音频输出包括通知，说“设备向左移动；对象x为20％可见，占世界视图的15％。“例如，在图15Y中，生成音频警报15126，该音频警报包括指示“椅子90％可见，占据屏幕的20％”的通知15128。生成指示由虚拟对象占据的增强现实视图的量的音频输出为用户提供反馈(例如，指示设备的移动改变增强现实视图被占据的程度的程度)。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知虚拟对象相对于显示器的尺寸的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备检测(20012)在触敏表面上与一个或多个相机的视场的表示对应的位置处通过接触进行的输入(例如，检测触摸屏的显示物理环境的增强现实视图的一部分上的轻击输入或双击输入)。响应于检测到输入，并且根据确定在触敏表面上的与未被虚拟对象占据的一个或多个相机的视场的第一部分对应的第一位置处检测到输入，设备生成(20014)第二音频警报(例如，指示无法在所轻击的区域中定位虚拟对象的点击声或嗡嗡声)。例如，如参照图15Z所描述的，响应于在触摸屏112上的与一个或多个相机的视场6036的未被虚拟对象11002占据的一部分对应的位置处检测到的输入，设备生成音频警报15130。在一些实施方案中，响应于检测到输入，根据确定在与一个或多个相机的视场的由虚拟对象占据的第二部分对应的第二位置处检测到输入，放弃生成第二音频警报。在一些实施方案中，代替生成第二音频警报来指示用户未能定位虚拟对象，设备生成指示用户已定位虚拟对象的不同音频警报。在一些实施方案中，代替生成第二音频警报，设备输出描述对虚拟对象执行的操作的音频通知(例如，“对象x被选中。”、“对象x的尺寸被重新设定为默认尺寸。”、“对象x被旋转到默认方向”等)或虚拟对象的状态(例如，对象x，20％可见，占据世界视图的15％。)。
响应于在与所显示的增强现实视图的未被虚拟对象占据的一部分对应的位置处检测到的输入而生成音频输出为用户提供反馈(例如，指示必须在不同位置处提供输入)(例如，获得关于虚拟对象的信息和/或执行操作))。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知输入是否与虚拟对象成功连接的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，输出第一音频警报包括生成(20016)音频输出，该音频输出指示对虚拟对象执行的操作(例如，在生成音频输出之前，设备确定当前选择的操作并响应于确认用户执行当前选择的操作的意图的输入(例如，双击)来执行操作)，以及执行操作后虚拟对象的结果状态。例如，音频输出包括通知，说“设备向左移动；对象x为20％可见，占据世界视图的15％，“对象x顺时针旋转30度；对象围绕y轴旋转50度，”或“对象x放大20％并占据世界视图的50％”。例如，如参照图15AH至图15AI所描述的，响应于相对于虚拟对象11002的旋转操作的执行，生成音频警报15190，该音频警报包括指示“椅子逆时针旋转五度”的通知15192。椅子现在相对于屏幕旋转零度”生成指示对虚拟对象执行的操作的音频输出为用户提供指示所提供的输入如何影响虚拟对象的反馈。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知操作如何改变虚拟对象的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案(20018)中，在第一音频警报的音频输出中相对于与在一个或多个相机的视场中捕获的物理环境对应的参考帧描述了在执行操作之后虚拟对象的结果状态(例如，在(例如，响应于基于触摸的手势或设备的移动)操纵对象之后，设备生成语音描述对象的新状态(例如，当虚拟物体最初放入物理环境的增强现实视图中时，相对于虚拟物体的初始位置/取向旋转30度、旋转60度或向左移动))。例如，如参照图15AH至图15AI所描述的，响应于相对于虚拟对象11002的旋转操作的执行，生成音频警报15190，该音频警报包括指示“椅子逆时针旋转五度”的通知15192。椅子现在相对于屏幕旋转零度”在一些实施方案中，操作包括设备相对于物理环境的移动(例如，引起虚拟对象相对于在一个或多个相机的视场中捕获的物理环境的部分的表示的移动)，并且语音响应于设备相对于物理环境的移动来描述虚拟对象的新状态。在对对象执行操作之后生成指示虚拟对象的状态的音频输出，为用户提供允许用户感知操作如何改变虚拟对象的反馈。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知操作如何改变虚拟对象的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备检测(20020)设备的另外移动(例如，包括一个或多个相机的设备的横向移动和/或旋转)，该另外移动在生成第一音频警报之后进一步调整一个或多个相机的视场。例如，如关于图15W至图15X所描述的，设备100的移动进一步调整一个或多个相机的视场(在响应于设备100从图15V至图15W的移动而发生的一个或多个相机的视场调整之后)。响应于检测到进一步调整一个或多个相机的视场的设备的另外移动(20022)：在进一步调整一个或多个相机的视场时，设备根据虚拟对象与在一个或多个相机的视场内检测到的平面之间的第一空间关系(例如，取向和/或位置)，调整第一用户界面区域中虚拟对象的表示的显示，并且根据确定设备的另外移动引起大于第二阈值量(例如，50％、80％或100％)的虚拟对象移动到一个或多个相机的视场的显示部分之内(例如，因为在设备相对于物理环境的移动期间，虚拟对象的表示与在一个或多个相机的视场中捕获的物理环境内检测到的平面之间的空间关系保持固定)，设备通过一个或多个音频输出发生器产生第一音频警报(例如，包括通知的音频输出，该通知指示大于阈值量的虚拟对象被移回到相机视图中)。例如，如参照图15X所描述的，响应于设备100的移动引起虚拟对象11002移动到一个或多个相机的视场6036的显示部分之内，生成音频警报15122(例如，包括公告，“椅子现在在世界上投影，100％可见，占据屏幕的10％”)。根据确定设备的移动引起虚拟对象移动到所显示的增强现实视图之内生成音频输出向用户提供反馈，该反馈指示设备的移动影响虚拟对象相对于增强现实视图的显示的程度。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知虚拟对象是否已移入显示器，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在第一用户界面区域中显示虚拟对象的表示并且当前为虚拟对象选择适用于虚拟对象的多个对象操纵类型的第一对象操纵类型时，设备检测到(20024)切换到适用于虚拟对象的另一对象操纵类型的请求(例如，检测在触敏表面上与显示一个或多个相机的视场的表示的第一用户界面区域的一部分对应的位置处通过接触进行的轻扫输入(例如，包括接触在水平方向上的移动))。例如，如参照图15AG所描述的，当前选择顺时针旋转控件15170时，检测到轻扫输入以切换到逆时针旋转控件15180(用于使虚拟对象15160逆时针旋转)。响应于检测到切换到适用于虚拟对象的另一对象操纵类型的请求，设备生成(20026)在适用于虚拟对象的多个对象操纵类型中命名第二对象操纵类型的音频输出(例如，音频输出包括通知，说“围绕x轴旋转对象”，“调整对象大小”或“在平面上移动对象”等)，其中第二对象操纵类型与第一对象操纵类型不同。例如，在图15AH中，响应于检测到参照15AG描述的请求，生成音频警报15182，包括通知15184(“选中：逆时针旋转”)。在一些实施方案中，设备响应于在相同方向上的连续轻扫输入而遍历预定义的可应用对象操纵类型列表。在一些实施方案中，响应于检测到来自紧接在前的轻扫输入的反方向的轻扫输入，设备生成音频输出，该音频输出包括命名先前通知的适用于虚拟对象的对象操纵类型的通知(例如，在最近通知的对象操纵类型之前的通知)。在一些实施方案中，设备不为适用于虚拟对象的每个对象操纵类型显示对应的控件(例如，未显示用于由手势发起的操作(例如，旋转、调整尺寸、平移等)的按钮或控件)。响应于切换对象操纵类型的请求而生成音频输出为用户提供指示已经执行了切换操作的反馈。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供确认切换输入成功执行的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在生成(20028)在适用于虚拟对象的多个对象操纵类型中命名第二对象操纵类型的音频输出之后(例如，音频输出包括通知，说“围绕x轴旋转对象”，“重新设定对象尺寸”或“在平面上移动对象”等)，设备检测执行与当前选择的对象操纵类型对应的对象操纵行为的请求(例如，检测在触敏表面上与显示一个或多个相机的视场的表示的第一用户界面区域的一部分对应的位置处通过接触进行的双击输入)。例如，如参照图15AH所描述的，检测到双击输入以逆时针旋转虚拟对象11002。响应于检测到执行与当前选择的对象操纵类型对应的对象操纵行为的请求，设备执行(20030)与第二对象操纵类型对应的对象操纵行为(例如，使虚拟对象围绕y轴旋转5度，或者使对象的尺寸增加5％，或者使平面上的对象移动20个像素)(例如，根据第二对象操纵类型调整第一用户界面区域中虚拟对象的表示的显示)。例如，在图15AI中，响应于检测到参照15AH所描述的请求，使虚拟对象11002逆时针旋转。在一些实施方案中，除了执行与第二对象操纵类型对应的对象操纵行为之外，设备还输出音频输出，该音频输出包括指示相对于虚拟对象执行的对象操纵行为以及在执行对象操纵行为之后虚拟对象的结果状态的通知。例如，在图15AI中，生成音频输出15190，其包括通知15192(“椅子逆时针旋转五度。现在，椅子相对于屏幕“旋转零度”。)响应于在选择操作时检测到的输入执行对象操纵操作提供了用于执行操作的附加控件选项(例如，允许用户通过提供轻击输入而不是需要双击输入来执行操作)。提供用于提供输入的附加控件选项而不用另外的显示控件使用户界面杂乱增强了设备的可操作性(例如，通过为提供多接触手势的能力有限的用户提供操纵对象的选项)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到切换到适用于虚拟对象的另一对象操纵类型的请求(20032)：根据确定第二对象操纵类型是连续可调操纵类型，设备生成音频警报以及命名第二对象操纵类型的音频输出，以指示第二对象操纵类型是连续可调的操纵类型(例如，在命名第二对象操纵类型的音频通知之后输出说出“可调”的音频输出(例如，“使对象围绕y轴顺时针旋转”))；设备检测到执行与第二对象操纵类型对应的对象操纵行为的请求，包括检测在触敏表面上与显示一个或多个相机的视场的表示的第一用户界面区域的一部分对应的位置处的轻扫输入(例如，在触敏表面上与显示一个或多个相机的视场的表示的第一用户界面区域的一部分对应的位置处检测到通过接触进行的双击输入之后)；并且响应于检测到执行与第二对象操纵类型相对应的对象操纵行为的请求，设备执行与第二对象操纵类型相对应的对象操纵行为，其量对应于滑动输入的大小(例如，围绕y轴旋转虚拟对象5度或10度，或者将对象的尺寸增加5％或10％，或者将平面上的对象移动20像素或40像素，具体取决于轻扫输入的量值是第一量还是大于第一量的第二量)。例如，如参照图15J至图15K所描述的，当前选择顺时针旋转控件15038时，检测轻扫输入以切换到缩放控件15064。生成音频警报15066，其包括通知15068(“比例：可调”)。如参照图15K至图15L所描述的，检测轻扫输入以用于放大虚拟对象11002，并且响应于该输入，对虚拟对象11002执行缩放操作(在图15K至图15L的例示性示例中，在显示登台视图界面6010时检测到用于连续可调操纵的输入，但是应当认识到，可在触敏表面上的与显示一个或多个相机的视场的表示的第一用户界面区域的一部分对应的位置处检测到类似的输入)。在一些实施方案中，除了执行第二对象操纵行为之外，设备还输出音频通知，该音频通知指示相对于虚拟对象执行的对象操纵行为的量，以及在执行对象操纵行为之后虚拟对象的结果状态。响应于轻扫输入执行对象操纵操作提供了用于执行操作的附加控件选项(例如，允许用户通过提供轻扫输入而不是需要双接触输入来执行操作)。提供用于提供输入的附加控件选项而不用另外的显示控件使用户界面杂乱(例如，通过为提供多接触手势的能力有限的用户提供操纵对象的选项)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一用户界面区域中显示虚拟对象的表示之前，设备在第二用户界面区域中显示(20034)虚拟对象的表示(例如，登台用户界面)其中第二用户界面区域不包括一个或多个相机的视场的表示(例如，第二用户界面区域是登台用户界面，其中可以操纵(例如，旋转、重新设定尺寸和移动)虚拟对象而不保持与在相机的视场中捕获的物理环境中检测到的平面的固定关系)。当在第二用户界面区域中显示虚拟对象的表示时，当前为虚拟对象选择了适用于虚拟对象的多个操作的第一操作，设备检测(20036)切换到适用于虚拟对象的另一操作的请求(例如，包括切换适用于第二用户界面区域中的虚拟对象的对象操纵类型的请求(例如，重新设定尺寸、旋转、倾斜等)或者适用于第二用户界面区域中的虚拟对象的用户界面操作(例如，返回2D用户界面、使对象落入物理环境的增强现实视图中))(例如，检测请求包括检测在触敏表面上与第一用户界面区域对应的位置处通过接触进行的轻扫输入(例如，包括接触在水平方向上的移动))。例如，如参照图15F至图15G所描述的，当显示登台用户界面6010并且当前选择向下倾斜控件15022时，检测到轻扫输入以切换到顺时针旋转控件15038。响应于检测到切换到适用于第二用户界面区域中的虚拟对象的另一操作的请求，设备生成(20038)音频输出，该音频输出在适用于虚拟对象的多个操作中命名第二操作(例如，音频输出包括通知，说“使对象围绕x轴旋转”、“重新设定对象的尺寸”、“使对象朝显示器倾斜”或“在增强现实视图中显示对象”等)，其中第二操作不同于第一操作。在一些实施方案中，设备响应于在相同方向上的连续轻扫输入而遍历预定义的可应用操作列表。例如，在图15G中，响应于检测到参照15F描述的请求，生成音频警报15040，包括通知15042(“选中：顺时针旋转按钮”)。响应于切换操作类型的请求，生成命名所选择的操作类型的音频输出，为用户提供指示已成功接收到切换输入的反馈。响应于切换操作类型的请求，生成命名所选择的操作类型的音频输出，为用户提供指示已成功接收到切换输入的反馈。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知所选择的控件何时发生变化的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在第一用户界面区域中显示虚拟对象的表示之前(20040)：在不包括一个或多个相机的视场的表示的第二用户界面区域(例如，登台用户界面)中显示虚拟对象的表示时(例如，第二用户界面区域是登台用户界面，其中可以操纵(例如，旋转、重新设定大小和移动)虚拟对象而不保持与物理环境中的平面的固定关系)，设备检测在包括一个或多个相机的视场的表示的第一用户界面区域中显示虚拟对象的表示的请求(例如，在当前选择的操作是“在增强现实视图中显示对象”，并且在设备刚刚响应于轻扫输入(例如，刚好在双击输入之前接收)输出命名当前选择的操作的音频通知之后，检测到双击输入)。例如，如参照图15P至图15V所描述的，当显示登台用户界面6010并且选择切换控件6018时，检测到双击输入以向包括一个或多个相机的视场6036的表示的用户界面区域显示虚拟对象11002的表示。响应于检测到在包括一个或多个相机的视场的表示的第一用户界面区域中显示虚拟对象的表示的请求：设备根据虚拟对象的表示与在一个或多个相机的视场中捕获的物理环境内检测到的平面之间的第一空间关系，在第一用户界面区域中显示虚拟对象的表示(例如，当使虚拟对象落入增强现实视图中表示的物理环境中时，在登台视图中虚拟对象的旋转角度和尺寸保持在增强现实视图中，并且根据在视场中捕获的物理环境中检测到的平面的取向，在增强现实视图中重置倾斜角度。)；并且设备生成第四音频警报，该第四音频警报指示虚拟对象相对于在一个或多个相机的视场中捕获的物理环境放置在增强现实视图中。例如，如参照图15V所描述的，响应于用于在包括一个或多个相机的视场6036的表示的用户界面区域中显示虚拟对象11002的表示的输入，在包括一个或多个相机的视场6036的用户界面区域中显示虚拟对象11002的表示，并且生成音频警报15114，该音频警报包括通知15116(“椅子现在在世界上投影，100％可见，占据屏幕的10％”)。响应于将对象放置在增强现实视图中的请求而生成音频输出，为用户提供指示成功执行放置虚拟对象的操作的反馈。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知对象在增强现实视图中显示的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第三音频警报指示(20042)关于虚拟对象相对于一个或多个相机的视场部分的外观的信息(例如，第三音频警报包括音频输出，其包括通知，说“对象x放置在世界中，对象x为30％可见，占据屏幕的90％。”)。例如，如参考图15V所描述的，生成音频警报15114，其包括通知15116(“椅子现在在世界中投影，100％可见，占据屏幕的10％”)。生成指示相对于所显示的增强现实视图可见的虚拟对象的外观的音频输出为用户提供反馈(例如，指示对象在增强现实视图中的放置的程度影响虚拟对象的外观)。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知对象在增强现实视图中如何显示的信息，而不用另外的显示信息使显示器杂乱，并且不需要用户查看显示器)，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，结合虚拟对象相对于在一个或多个相机的视场中捕获的物理环境在增强现实视图中的放置，设备生成(20044)触觉输出。例如，当对象被放置在相机视场中检测到的平面上时，设备生成触觉输出，指示对象落在平面上。在一些实施方案中，当对象在重新设定对象的尺寸期间达到预定义的默认尺寸时，设备生成触觉输出。在一些实施方案中，设备针对相对于虚拟对象执行的每个操作生成触觉输出(例如，针对以预设角度量进行的每个旋转、针对将虚拟对象拖动到不同平面上、针对将对象重置到原始取向和/或尺寸等)。在一些实施方案中，这些触觉输出先于描述执行的操作和虚拟对象的结果状态的对应的音频警报。例如，如参照图15V所描述的，结合虚拟对象11002在一个或多个相机的视场6036中的放置，生成触觉输出15118。结合相对于由一个或多个相机捕获的物理环境放置虚拟对象来生成触觉输出为用户提供反馈(例如，指示放置虚拟对象的操作被成功执行)。为用户提供改进的反馈增强了设备的可操作性(例如，通过提供允许用户感知虚拟对象的放置已经发生的感官信息，而不由于显示的信息使用户界面杂乱)并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备在第一用户界面区域中的第一位置处(例如，在第一用户界面区域中的不同位置处显示的多个控件之中)显示(20046)第一控件，同时显示一个或多个相机的视场的表示。根据确定控制渐淡标准得到满足(例如，当第一用户界面区域被显示至少阈值时间量而没有在触敏表面上检测到触摸输入时，控制渐淡标准得到满足)，设备停止(20048)在第一用户界面区域中显示第一控件(例如，以及第一用户界面区域中的所有其他控件)，同时保持在第一用户界面区域中显示一个或多个相机的视场的表示(例如，当用户相对于物理环境移动设备时，不会重新显示控件)。在显示第一用户界面区域而不在第一用户界面区域中显示第一控件时，设备检测(20050)触敏表面上与第一用户界面区域中的第一位置对应的相应位置处的触摸输入。响应于检测到触摸输入，设备生成(20052)第五音频警报，该第五音频警报包括指定与第一控件对应的操作的音频输出(例如，“返回登台视图”或“使对象围绕y轴旋转”)。在一些实施方案中，响应于检测到触摸输入，设备还在第一位置处重新显示第一控件。在一些实施方案中，一旦用户知道显示器上控件的位置，重新显示控件并且在显示器上控件的通常位置处进行触摸输入时使其成为当前选择的控件，相比使用一系列轻扫输入浏览可用控件提供更快捷的方式来访问控件。响应于确定控制渐淡标准得到满足而自动停止显示控件减少了停止显示控件所需的输入的数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图20A至图20F中的操作进行描述的特定顺序仅仅是一个示例，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法800、900、1000、16000、17000、18000和20000)描述的其他过程的细节同样以类似的方式适用于上文相对于图20A至图20F所述的方法20000。例如，上文参考方法20000所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画任选地具有本文参考本文所述的其他方法(例如，方法800、900、1000、16000、17000、18000和19000)所述的接触、输入、虚拟对象、用户界面区域、视场、触觉输出、移动和/或动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
以上参考图8A至图8E、图9A至图9D、图10A至图10D、图16A至图16G、图17A至图17D、图18A至图18I、图19A至图19H以及图20A至图20F所述的操作任选地由图1A至图1B中所描绘的部件来实施。例如，显示操作802、806、902、906、910、1004、1008、16004、17004、18002、19002和20002；检测操作804、904、908、17006、18004、19004和20004；改变操作910、接收操作1002、1006、16002和17002；停止操作17008；旋转操作18006；更新操作19006；调整操作20006；以及生成操作20006任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (209)

1.一种方法，包括：
在具有显示器、触敏表面和一个或多个相机的设备处：
在所述显示器上的第一用户界面区域中显示虚拟对象的表示；
当在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时，检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述表示对应的位置处通过接触进行的第一输入；
响应于检测到通过所述接触进行的所述第一输入：
根据确定通过所述接触进行的所述第一输入满足第一标准：
在所述显示器上显示第二用户界面区域，包括用所述一个或多个相机的视场的所述表示替换所述第一用户界面区域的至少一部分的显示；以及
在从显示所述第一用户界面区域切换为显示所述第二用户界面区域时，连续显示所述虚拟对象的所述表示。
2.根据权利要求1所述的方法，其中所述第一标准包括当所述接触在所述触敏表面上与所述虚拟对象的所述表示对应的所述位置处以小于阈值移动量的移动保持至少预定义时间量时所满足的标准。
3.根据权利要求1所述的方法，其中：
所述设备包括一个或多个传感器以检测与所述触敏表面的接触的强度；并且
所述第一标准包括当所述接触的特征强度增大到高于第一强度阈值时所满足的标准。
4.根据权利要求1所述的方法，其中所述第一标准包括当所述接触的移动满足预定义的移动标准时所满足的标准。
5.根据权利要求1至4中任一项所述的方法，其中：
所述设备包括一个或多个触觉输出发生器；并且，
所述方法包括，响应于检测到通过所述接触进行的所述第一输入，根据确定通过所述接触进行的所述第一输入已满足所述第一标准，利用所述一个或多个触觉输出发生器输出触觉输出以指示所述第一输入满足所述第一标准。
6.根据权利要求1至5中任一项所述的方法，包括：
响应于检测到所述第一输入的至少初始部分，分析所述一个或多个相机的所述视场以检测所述一个或多个相机的所述视场中的一个或多个平面；以及，
在检测到所述一个或多个相机的所述视场中的相应平面之后，基于所述相应平面相对于所述一个或多个相机的所述视场的相对位置来确定所述虚拟对象的所述表示的尺寸和/或位置。
7.根据权利要求6所述的方法，其中响应于在所述触敏表面上与所述显示器上的所述虚拟对象的所述表示对应的所述位置处检测到所述接触，发起对所述一个或多个相机的所述视场进行分析来检测所述一个或多个相机的所述视场中的所述一个或多个平面。
8.根据权利要求6所述的方法，其中响应于检测到通过所述接触进行的所述第一输入满足所述第一标准，发起对所述一个或多个相机的所述视场进行分析来检测所述一个或多个相机的所述视场中的所述一个或多个平面。
9.根据权利要求6所述的方法，其中响应于检测到所述第一输入的初始部分满足平面检测触发标准而不满足所述第一标准，发起对所述一个或多个相机的所述视场进行分析来检测所述一个或多个相机的所述视场中的所述一个或多个平面。
10.根据权利要求6至9中任一项所述的方法，包括：
以相应的方式在所述第二用户界面区域中显示所述虚拟对象的所述表示，使得所述虚拟对象相对于在所述一个或多个相机的所述视场中检测到的相应平面以预定义角度取向。
11.根据权利要求10所述的方法，其中：
所述设备包括一个或多个触觉输出发生器；并且
所述方法包括，响应于检测到所述一个或多个相机的所述视场中的所述相应平面，利用所述一个或多个触觉输出发生器输出触觉输出，以指示在所述一个或多个相机的所述视场中检测到所述相应平面。
12.根据权利要求10至11中任一项所述的方法，其中：
所述设备包括一个或多个触觉输出发生器；并且，
所述方法包括：
当从显示所述第一用户界面区域切换为显示所述第二用户界面区域时，显示所述虚拟对象的所述表示转变到所述第二用户界面区域中相对于所述相应平面的预定义位置的动画；以及，
结合以相对于所述相应平面的所述预定义角度显示所述虚拟对象的所述表示，利用所述一个或多个触觉输出发生器输出触觉输出，以指示所述虚拟对象相对于所述相应平面以所述预定义角度显示在所述第二用户界面区域中。
13.根据权利要求12所述的方法，其中所述触觉输出具有与所述虚拟对象的特征对应的触觉输出分布。
14.根据权利要求10至13中任一项所述的方法，包括：
在所述第二用户界面区域中显示所述虚拟对象的所述表示时，检测调整所述一个或多个相机的所述视场的所述设备的移动；以及，
响应于检测到所述设备的移动，在调整所述一个或多个相机的所述视场时，根据所述虚拟对象与所述一个或多个相机的所述视场中的所述相应平面之间的固定空间关系，调整所述第二用户界面区域中所述虚拟对象的所述表示。
15.根据权利要求1至14中任一项所述的方法，包括：显示在从显示所述第一用户界面区域切换为显示所述第二用户界面区域时连续显示所述虚拟对象的所述表示的动画。
16.根据权利要求1至15中任一项所述的方法，包括：
在所述显示器上显示所述第二用户界面区域时，检测通过第二接触进行的第二输入，其中所述第二输入包括所述第二接触沿在所述显示器上的第一路径的移动；以及，
响应于检测到通过所述第二接触进行的所述第二输入，沿与所述第一路径对应的第二路径移动所述第二用户界面区域中的所述虚拟对象的所述表示。
17.根据权利要求16所述的方法，包括当所述虚拟对象的所述表示沿所述第二路径移动时，基于所述接触的所述移动和与所述虚拟对象对应的相应平面，调整所述虚拟对象的所述表示的尺寸。
18.根据权利要求16所述的方法，包括：
当所述虚拟对象的所述表示沿所述第二路径移动时，保持所述虚拟对象的所述表示的第一尺寸；
检测通过所述第二接触进行的所述第二输入的终止；以及
响应于检测到通过所述第二接触进行的所述第二输入的所述终止：
将所述虚拟对象的所述表示放置在所述第二用户界面区域中的下落位置；以及
在所述第二用户界面区域中在所述下落位置处，以与所述第一尺寸不同的第二尺寸显示所述虚拟对象的所述表示。
19.根据权利要求16至18中任一项所述的方法，包括，根据确定所述第二接触在所述显示器上沿所述第一路径的所述移动满足第二标准：
停止显示包括所述一个或多个相机的所述视场的所述表示的所述第二用户界面区域；以及
重新显示具有所述虚拟对象的所述表示的所述第一用户界面区域。
20.根据权利要求19所述的方法，包括：
在与重新显示所述第一用户界面区域对应的时间，显示从在所述第二用户界面区域中显示所述虚拟对象的所述表示到在所述第一用户界面区域中显示所述虚拟对象的所述表示的动画过渡。
21.根据权利要求16至20中任一项所述的方法，包括，当所述第二接触沿所述第一路径移动时，改变在所述一个或多个相机的与所述接触的当前位置对应的所述视场中识别的一个或多个相应平面的视觉外观。
22.根据权利要求1至21中任一项所述的方法，包括，响应于检测到通过所述接触进行的所述第一输入，根据确定通过所述接触进行的所述第一输入满足第三标准，在所述显示器上显示第三用户界面区域，包括替换所述第一用户界面区域的至少一部分的显示。
23.根据权利要求1至22中任一项所述的方法，包括，根据确定通过所述接触进行的所述第一输入不满足所述第一标准，保持所述第一用户界面区域的显示，而不用所述一个或多个相机的所述视场的所述表示替换所述第一用户界面区域的至少一部分的显示。
24.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述显示器上的第一用户界面区域中显示虚拟对象的表示；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时，检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述表示对应的位置处通过接触进行的第一输入；
响应于检测到通过所述接触进行的所述第一输入：
根据确定通过所述接触进行的所述第一输入满足第一标准：
在所述显示器上显示第二用户界面区域，包括用所述一个或多个相机的视场的所述表示替换所述第一用户界面区域的至少一部分的显示；以及
在从显示所述第一用户界面区域切换为显示所述第二用户界面区域时连续显示所述虚拟对象的所述表示。
25.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示器、触敏表面和一个或多个相机的计算机系统执行时，使所述计算机系统：
在所述显示器上的第一用户界面区域中显示虚拟对象的表示；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时，检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述表示对应的位置处通过接触进行的第一输入；
响应于检测到通过所述接触进行的所述第一输入：
根据确定通过所述接触进行的所述第一输入满足第一标准：
在所述显示器上显示第二用户界面区域，包括用所述一个或多个相机的视场的所述表示替换所述第一用户界面区域的至少一部分的显示；以及
在从显示所述第一用户界面区域切换为显示所述第二用户界面区域时连续显示所述虚拟对象的所述表示。
26.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；
用于在所述显示器上的第一用户界面区域中显示虚拟对象的表示的装置；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时启用的、用于检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述表示对应的位置处通过接触进行的第一输入的装置；
响应于检测到通过所述接触进行的所述第一输入而启用的装置，包括：
根据确定通过所述接触进行的所述第一输入满足第一标准而启用的、用于以下操作的装置：
在所述显示器上显示第二用户界面区域，包括用所述一个或多个相机的视场的所述表示替换所述第一用户界面区域的至少一部分的显示；以及
在从显示所述第一用户界面区域切换为显示所述第二用户界面区域时连续显示所述虚拟对象的所述表示。
27.一种用于在具有显示器、触敏表面和一个或多个相机的计算机系统中使用的信息处理装置，包括：
用于在所述显示器上的第一用户界面区域中显示虚拟对象的表示的装置；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时启用的、用于检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述表示对应的位置处通过接触进行的第一输入的装置；
响应于检测到通过所述接触进行的所述第一输入而启用的装置，包括：
根据确定通过所述接触进行的所述第一输入满足第一标准而启用的、用于以下操作的装置：
在所述显示器上显示第二用户界面区域，包括用所述一个或多个相机的视场的所述表示替换所述第一用户界面区域的至少一部分的显示；以及
在从显示所述第一用户界面区域切换为显示所述第二用户界面区域时连续显示所述虚拟对象的所述表示。
28.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至23所述的方法中的任一方法的指令。
29.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器、触敏表面和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求1至23所述的方法中的任一方法。
30.一种计算机系统上的图形用户界面，所述计算机系统具有显示器、触敏表面、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求1至23所述的方法中的任一方法显示的用户界面。
31.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；和
用于执行根据权利要求1至23所述的方法中的任一种方法的装置。
32.一种用于在具有显示器、触敏表面和一个或多个相机的计算机系统中使用的信息处理装置，包括：
用于执行根据权利要求1至23所述的方法中的任一种方法的装置。
33.一种方法，包括：
在具有显示器、触敏表面和一个或多个相机的设备处：
在所述显示器上的第一用户界面区域中显示虚拟对象的第一表示；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时，检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述第一表示对应的位置处通过第一接触进行的第一输入；
响应于检测到通过所述第一接触进行的所述第一输入，并且根据确定通过所述第一接触进行的所述第一输入满足第一标准，在第二用户界面区域中显示所述虚拟对象的第二表示，所述第二用户界面区域与所述第一用户界面区域不同；
在所述第二用户界面区域中显示所述虚拟对象的所述第二表示时，检测第二输入；以及
响应于检测到所述第二输入：
根据确定所述第二输入与操纵所述第二用户界面区域中的所述虚拟对象的请求对应，基于所述第二输入改变所述第二用户界面区域内所述虚拟对象的所述第二表示的显示属性；以及
根据确定所述第二输入与在增强现实环境中显示所述虚拟对象的请求对应，与所述一个或多个相机的视场的表示一起显示所述虚拟对象的第三表示。
34.根据权利要求33所述的方法，其中所述第一标准包括当所述第一输入包括在所述触敏表面上与虚拟对象指示符对应的位置处通过所述第一接触进行的轻击输入时满足的标准。
35.根据权利要求33所述的方法，其中所述第一标准包括当所述第一接触在所述触敏表面上与所述虚拟对象的所述第一表示对应的所述位置处以小于阈值量的移动保持至少预定义阈值时间量时所满足的标准。
36.根据权利要求33所述的方法，其中：
所述设备包括一个或多个传感器以检测与所述触敏表面的接触的强度；并且
所述第一标准包括当所述第一接触的特征强度增大到高于第一强度阈值时所满足的标准。
37.根据权利要求33所述的方法，包括：
响应于检测到通过所述第一接触进行的所述第一输入并且根据确定通过所述第一接触进行的所述第一输入满足第二标准，其中所述第二标准要求所述第一输入包括所述第一接触在跨所述触敏表面的方向上移动大于阈值距离，在与所述第一接触的所述移动方向对应的方向上滚动所述第一用户界面区域。
38.根据权利要求33至37中任一项所述的方法，包括：
响应于检测到通过所述第一接触进行的所述第一输入，并且根据确定通过所述第一接触进行的所述第一输入满足第三标准，与所述一个或多个相机的所述视场的所述表示一起显示所述虚拟对象的所述第三表示。
39.根据权利要求38所述的方法，其中：
所述设备包括一个或多个设备取向传感器；
所述方法包括，响应于检测到通过所述第一接触进行的所述第一输入，通过所述一个或多个设备取向传感器确定所述设备的当前设备取向；并且
所述第三标准要求所述当前设备取向在第一取向范围内，以便满足所述第三标准。
40.根据权利要求33至39中任一项所述的方法，其中所述虚拟对象的所述第二表示的至少一个显示属性被应用于所述虚拟对象的所述第三表示。
41.根据权利要求33至40中任一项所述的方法，包括：
响应于检测到通过所述第一接触进行的所述第一输入的至少初始部分：
激活所述一个或多个相机；以及
分析所述一个或多个相机的所述视场以检测所述一个或多个相机的所述视场中的一个或多个平面。
42.根据权利要求41所述的方法，其中：
所述设备包括一个或多个触觉输出发生器；并且
所述方法包括，响应于检测到所述一个或多个相机的所述视场中的相应平面，利用所述一个或多个触觉输出发生器输出触觉输出，以指示在所述一个或多个相机的所述视场中检测到相应平面。
43.根据权利要求33至42中任一项所述的方法，其中基于所述虚拟对象的模拟真实世界尺寸和所述一个或多个相机与所述一个或多个相机的所述视场中的与所述虚拟对象的所述第三表示具有固定空间关系的位置之间的距离，确定所述显示器上的所述虚拟对象的所述第三表示的尺寸。
44.根据权利要求33至43中任一项所述的方法，其中与在增强现实环境中显示所述虚拟对象的所述请求对应的所述第二输入包括拖动所述虚拟对象的所述第二表示的输入。
45.根据权利要求33至44中任一项所述的方法，包括，在所述第二用户界面区域中显示所述虚拟对象的所述第二表示时，检测满足用于重新显示所述第一用户界面区域的相应标准的第四输入；以及，
响应于检测到所述第四输入：
停止在所述第二用户界面区域中显示所述虚拟对象的所述第二表示；以及
在所述第一用户界面区域中重新显示所述虚拟对象的所述第一表示。
46.根据权利要求33至45中任一项所述的方法，包括：
在与所述一个或多个相机的所述视场的所述表示一起显示所述虚拟对象的所述第三表示时，检测满足用于重新显示所述第二用户界面区域的相应标准的第五输入；以及，
响应于检测到所述第五输入：
停止显示所述虚拟对象的所述第三表示和所述一个或多个相机的所述视场的所述表示；以及
在所述第二用户界面区域中重新显示所述虚拟对象的所述第二表示。
47.根据权利要求33至46中任一项所述的方法，包括在与所述一个或多个相机的所述视场的所述表示一起显示所述虚拟对象的所述第三表示时，检测满足用于重新显示所述第一用户界面区域的相应标准的第六输入；以及，
响应于检测到所述第六输入：
停止显示所述虚拟对象的所述第三表示和所述一个或多个相机的所述视场的所述表示；以及
在所述第一用户界面区域中重新显示所述虚拟对象的所述第一表示。
48.根据权利要求33至47中任一项所述的方法，包括：
响应于检测到通过所述第一接触进行的所述第一输入并且根据确定通过所述接触进行的所述输入满足所述第一标准，在从显示所述第一用户界面区域转变为显示所述第二用户界面区域时连续显示所述虚拟对象，包括显示所述第一用户界面区域中的所述虚拟对象的所述第一表示转变为所述第二用户界面区域中的所述虚拟对象的所述第二表示的动画。
49.根据权利要求33至48中任一项所述的方法，包括：
响应于检测到通过所述第二接触进行的所述第二输入并且根据确定通过所述第二接触进行的所述第二输入与在所述增强现实环境中显示所述虚拟对象的所述请求对应，当从显示所述第二用户界面区域转变为显示包括所述一个或多个相机的所述视场的第三用户界面区域时连续显示所述虚拟对象，包括显示所述第二用户界面区域中的所述虚拟对象的所述第二表示转变为包括所述一个或多个相机的所述视场的所述第三用户界面区域中的所述虚拟对象的所述第三表示的动画。
50.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述显示器上的第一用户界面区域中显示虚拟对象的第一表示；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时，检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述第一表示对应的位置处通过第一接触进行的第一输入；
响应于检测到通过所述第一接触进行的所述第一输入，并且根据确定通过所述第一接触进行的所述输入满足第一标准，在第二用户界面区域中显示所述虚拟对象的表示，所述第二用户界面区域与所述第一用户界面区域不同；
在所述第二用户界面区域中显示所述虚拟对象的所述第二表示时，检测第二输入；以及
响应于检测到所述第二输入：
根据确定所述第二输入与操纵所述第二用户界面区域中的所述虚拟对象的请求对应，基于所述第二输入改变所述第二用户界面区域内所述虚拟对象的所述第二表示的显示属性；以及
根据确定所述第二输入与在增强现实环境中显示所述虚拟对象的请求对应，与所述一个或多个相机的视场的表示一起显示所述虚拟对象的第三表示。
51.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器、触敏表面和一个或多个相机的计算机系统执行时，使所述计算机系统：
在所述显示器上的第一用户界面区域中显示虚拟对象的第一表示；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时，检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述第一表示对应的位置处通过第一接触进行的第一输入：
响应于检测到通过所述第一接触进行的所述第一输入，并且根据确定通过所述第一接触进行的所述输入满足第一标准，在第二用户界面区域中显示所述虚拟对象的所述表示，所述第二用户界面区域与所述第一用户界面区域不同；
在所述第二用户界面区域中显示所述虚拟对象的所述第二表示时，检测第二输入；以及
响应于检测到所述第二输入：
根据确定所述第二输入与操纵所述第二用户界面区域中的所述虚拟对象的请求对应，基于所述第二输入改变所述第二用户界面区域内所述虚拟对象的所述第二表示的显示属性；以及
根据确定所述第二输入与在增强现实环境中显示所述虚拟对象的请求对应，与所述一个或多个相机的视场的表示一起显示所述虚拟对象的第三表示。
52.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；
用于在所述显示器上的第一用户界面区域中显示虚拟对象的第一表示的装置；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时启用的、用于检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述第一表示对应的位置处通过第一接触进行的第一输入的装置；
响应于检测到通过所述第一接触进行的所述第一输入并根据确定通过所述第一接触进行的所述输入满足第一标准而启用的、用于在第二用户界面区域中显示所述虚拟对象的表示的装置，所述第二用户界面区域与所述第一用户界面区域不同；
在所述第二用户界面区域中显示所述虚拟对象的所述第二表示时启用的用于检测第二输入的装置；和
响应于检测到所述第二输入而启用的装置，包括：
根据确定所述第二输入与操纵所述第二用户界面区域中的所述虚拟对象的请求对应而启用的、用于基于所述第二输入改变所述第二用户界面区域内所述虚拟对象的所述第二表示的显示属性的装置；和
根据确定所述第二输入与在增强现实环境中显示所述虚拟对象的请求对应而启用的、用于与所述一个或多个相机的视场的表示一起显示所述虚拟对象的第三表示的装置。
53.一种用于具有显示器、触敏表面和一个或多个相机的计算机系统的信息处理装置，包括：
用于在所述显示器上的第一用户界面区域中显示虚拟对象的第一表示的装置；
在所述显示器上的所述第一用户界面区域中显示所述虚拟对象的所述第一表示时启用的、用于检测在所述触敏表面上与所述显示器上的所述虚拟对象的所述第一表示对应的位置处通过第一接触进行的第一输入的装置；
响应于检测到通过所述第一接触进行的所述第一输入并根据确定通过所述第一接触进行的所述输入满足第一标准而启用的、用于在第二用户界面区域中显示所述虚拟对象的表示的装置，所述第二用户界面区域与所述第一用户界面区域不同；
在所述第二用户界面区域中显示所述虚拟对象的所述第二表示时启用的用于检测第二输入的装置；和
响应于检测到所述第二输入而启用的装置，包括：
根据确定所述第二输入与操纵所述第二用户界面区域中的所述虚拟对象的请求对应而启用的、用于基于所述第二输入改变所述第二用户界面区域内所述虚拟对象的所述第二表示的显示属性的装置；和
根据确定所述第二输入与在增强现实环境中显示所述虚拟对象的请求对应而启用的、用于与所述一个或多个相机的视场的表示一起显示所述虚拟对象的第三表示的装置。
54.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求33至49所述的方法中的任一方法的指令。
55.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器、触敏表面和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求33至49所述的方法中的任一方法。
56.一种计算机系统上的图形用户界面，所述计算机系统具有显示器、触敏表面、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求33至49所述的方法中的任一方法显示的用户界面。
57.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个相机；和
用于执行根据权利要求33至49所述的方法中的任一方法的装置。
58.一种用于具有显示器、触敏表面和一个或多个相机的计算机系统的信息处理装置，包括：
用于执行根据权利要求33至49所述的方法中的任一方法的装置。
59.一种方法，包括：
在具有显示器和触敏表面的设备处：
接收显示包括第一项目的第一用户界面的请求；
响应于显示所述第一用户界面的所述请求，显示具有所述第一项目的表示的所述第一用户界面，包括：
根据确定所述第一项目与相应的虚拟三维对象对应，显示所述第一项目的所述表示，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的视觉指示；以及，
根据确定所述第一项目不与相应的虚拟三维对象对应，显示不具有所述视觉指示的所述第一项目的所述表示；
在显示所述第一项目的所述表示之后，接收显示包括第二项目的第二用户界面的请求；以及，
响应于显示所述第二用户界面的所述请求，显示具有所述第二项目的表示的所述第二用户界面，包括：
根据确定所述第二项目与相应的虚拟三维对象对应，显示所述第二项目的所述表示，所述第二项目的所述表示具有指示所述第二项目与第二相应的虚拟三维对象对应的所述视觉指示；以及，
根据确定所述第二项目不与相应的虚拟三维对象对应，显示不具有所述视觉指示的所述第二项目的所述表示。
60.根据权利要求59所述的方法，其中：
所述设备包括一个或多个设备取向传感器；以及
显示所述第一项目的所述表示，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的所述视觉指示，显示所述第一项目的所述表示包括：
响应于检测到导致从第一设备取向改变为第二设备取向的所述设备的移动，显示与从所述第一设备取向到所述第二设备取向的所述变化对应的所述第一项目的移动。
61.根据权利要求59至60中任一项所述的方法，其中显示所述第一项目的所述表示，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的所述视觉指示，包括：
响应于在所述第一用户界面中显示所述第一项目的所述表示时检测到通过滚动所述第一用户界面的第一接触进行的第一输入：
根据所述第一用户界面的滚动来平移所述显示器上的所述第一项目的所述表示；以及
根据所述第一用户界面滚动的方向，相对于由所述第一用户界面定义的平面旋转所述第一项目的所述表示。
62.根据权利要求59至61中任一项所述的方法，包括，在所述第一用户界面中显示具有所述视觉指示的所述第一项目的所述表示时，显示第三项目的表示，其中所述第三项目的所述表示被显示为不具有所述视觉指示以便指示所述第三项目不与虚拟三维对象对应。
63.根据权利要求59至62中任一项所述的方法，包括，当在所述第二用户界面中显示具有所述视觉指示的所述第二项目的所述表示时，显示第四项目的表示，其中所述第四项目的所述表示被显示为不具有所述视觉指示以便指示所述第四项目不与相应的虚拟三维对象对应。
64.根据权利要求59至63中任一项所述的方法，其中：
所述第一用户界面与第一应用程序对应；
所述第二用户界面与第二应用程序对应，所述第二应用程序不同于所述第一应用程序；并且
显示为具有所述视觉指示的所述第一项目的所述表示和显示为具有所述视觉指示的所述第二项目的所述表示共享预定义的一组视觉特征和/或行为特征。
65.根据权利要求59至64中任一项所述的方法，其中所述第一用户界面是互联网浏览器应用程序用户界面，并且所述第一项目是网页的元素。
66.根据权利要求59至64中任一项所述的方法，其中所述第一用户界面是电子邮件应用程序用户界面，并且所述第一项目是电子邮件的附件。
67.根据权利要求59至64中任一项所述的方法，其中所述第一用户界面是消息传送应用程序用户界面，并且所述第一项目是消息中的附件或元素。
68.根据权利要求59至64中任一项所述的方法，其中所述第一用户界面是文件管理应用程序用户界面，并且所述第一项目是文件预览对象。
69.根据权利要求59至64中任一项所述的方法，其中所述第一用户界面是地图应用程序用户界面，并且所述第一项目是地图中的兴趣点的表示。
70.根据权利要求59至69中任一项所述的方法，其中所述第一项目与相应的虚拟三维对象对应的视觉指示包括所述第一项目的动画，所述动画在不需要指向所述相应的三维对象的所述表示的输入的情况下发生。
71.根据权利要求59至70中任一项所述的方法，其中：
所述设备包括一个或多个相机；并且
所述方法包括：
在显示具有指示所述第二项目与相应的虚拟三维对象对应的所述视觉指示的所述第二项目的所述表示时，检测所述触敏表面上与所述第二项目的所述表示对应的位置处通过第二接触进行的第二输入；并且，
响应于检测到通过所述第二接触进行的所述第二输入，并且根据确定通过所述第二接触进行的所述第二输入满足第一标准：
在所述显示器上显示第三用户界面区域，包括用所述一个或多个相机的视场的表示替换所述第二用户界面的至少一部分的显示；以及
在从显示所述第二用户界面切换为显示所述第三用户界面区域时，连续显示所述第二虚拟三维对象。
72.根据权利要求59至70中任一项所述的方法，其中：
所述设备包括一个或多个相机；并且
所述方法包括：
在显示具有指示所述第二项目与所述第二虚拟三维对象对应的所述视觉指示的所述第二项目时，检测所述触敏表面上与所述第二项目的所述表示对应的位置处通过第三接触进行的第三输入；
响应于检测到通过所述第三接触进行的所述第三输入并且根据确定通过所述第三接触进行的所述第三输入满足第一标准，在第四用户界面中显示所述第二虚拟三维对象，所述第四用户界面与所述第二用户界面不同；
在所述第四用户界面中显示所述相应的虚拟三维对象时，检测第四输入；以及，
响应于检测到所述第四输入：
根据确定所述第四输入与在所述第四用户界面中操纵所述第二虚拟三维对象的请求对应，基于所述第四输入改变所述第四用户界面内的所述第二虚拟三维对象的显示属性；以及
根据确定所述第四输入与在增强现实环境中显示所述第二虚拟对象的请求对应，与所述一个或多个相机的视场的表示一起显示所述第二虚拟三维对象。
73.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
接收显示包括第一项目的第一用户界面的请求；
响应于显示所述第一用户界面的所述请求，显示具有所述第一项目的表示的所述第一用户界面：
根据确定所述第一项目与相应的虚拟三维对象对应，显示所述第一项目的表示，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的视觉指示；以及，
根据确定所述第一项目不与相应的虚拟三维对象对应，显示不具有所述视觉指示的所述第一项目的所述表示；
在显示所述第一项目的所述表示之后，接收显示包括第二项目的第二用户界面的请求；以及，
响应于显示所述第二用户界面的所述请求，显示具有所述第二项目的表示的所述第二用户界面：
根据确定所述第二项目与相应的虚拟三维对象对应，显示所述第二项目的表示，所述第二项目的所述表示具有指示所述第二项目与第二相应的虚拟三维对象对应的所述视觉指示；以及，
根据确定所述第二项目不与相应的虚拟三维对象对应，显示不具有所述视觉指示的所述第二项目的所述表示。
74.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器和触敏表面的计算机系统执行时，使所述计算机系统：
接收显示包括第一项目的第一用户界面的请求；
响应于显示所述第一用户界面的所述请求，显示具有所述第一项目的表示的所述第一用户界面：
根据确定所述第一项目与相应的虚拟三维对象对应，显示所述第一项目的表示，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的视觉指示；以及，
根据确定所述第一项目不与相应的虚拟三维对象对应，显示不具有所述视觉指示的所述第一项目的所述表示；
在显示所述第一项目的所述表示之后，接收显示包括第二项目的第二用户界面的请求；以及，
响应于显示所述第二用户界面的所述请求，显示具有所述第二项目的表示的所述第二用户界面：
根据确定所述第二项目与相应的虚拟三维对象对应，显示所述第二项目的表示，所述第二项目的所述表示具有指示所述第二项目与第二相应的虚拟三维对象对应的所述视觉指示；以及，
根据确定所述第二项目不与相应的虚拟三维对象对应，显示不具有所述视觉指示的所述第二项目的所述表示。
75.一种计算机系统，包括：
显示器；
触敏表面；
用于接收显示包括第一项目的第一用户界面的请求的装置；
响应于显示所述第一用户界面的所述请求而启用的、用于显示具有所述第一项目的表示的所述第一用户界面的装置：
根据确定所述第一项目与相应的虚拟三维对象对应而启用的用于显示所述第一项目的表示的装置，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的视觉指示；和，
根据确定所述第一项目不与相应的虚拟三维对象对应而启用的用于显示不具有所述视觉指示的所述第一项目的所述表示的装置；
在显示所述第一项目的所述表示之后启用的用于接收显示包括第二项目的第二用户界面的请求的装置；和，
响应于显示所述第二用户界面的所述请求而启用的用于显示具有所述第二项目的表示的所述第二用户界面的装置，包括：
根据确定所述第二项目与相应的虚拟三维对象对应而启用的显示所述第二项目的表示的装置，所述第二项目的所述表示具有指示所述第二项目与第二相应的虚拟三维对象对应的所述视觉指示；和，
根据确定所述第二项目不与相应的虚拟三维对象对应而启用的显示不具有所述视觉指示的所述第二项目的所述表示的装置。
76.一种用于在具有显示器和触敏表面的计算机系统中使用的信息处理装置，包括：
用于接收显示包括第一项目的第一用户界面的请求的装置；
响应于显示所述第一用户界面的所述请求而启用的用于显示具有所述第一项目的表示的所述第一用户界面的装置：
根据确定所述第一项目与相应的虚拟三维对象对应而启用的用于显示所述第一项目的表示的装置，所述第一项目的所述表示具有指示所述第一项目与第一相应的虚拟三维对象对应的视觉指示；和，
根据确定所述第一项目不与相应的虚拟三维对象对应而启用的用于显示不具有所述视觉指示的所述第一项目的所述表示的装置；
在显示所述第一项目的所述表示之后启用的用于接收显示包括第二项目的第二用户界面的请求的装置；和，
响应于显示所述第二用户界面的所述请求而启用的用于显示具有所述第二项目的表示的所述第二用户界面的装置，包括：
根据确定所述第二项目与相应的虚拟三维对象对应而启用的显示所述第二项目的表示的装置，所述第二项目的所述表示具有指示所述第二项目与第二相应的虚拟三维对象对应的所述视觉指示；和，
根据确定所述第二项目不与相应的虚拟三维对象对应而启用的显示不具有所述视觉指示的所述第二项目的所述表示的装置。
77.一种计算机系统，包括：
显示器；
触敏表面；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求59至72所述的方法中的任一方法的指令。
78.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器和触敏表面的计算机系统执行时，使所述计算机系统执行根据权利要求59至72所述的方法中的任一方法。
79.一种计算机系统上的图形用户界面，所述计算机系统具有显示器、触敏表面、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求59至72所述的方法中的任一方法显示的用户界面。
80.一种计算机系统，包括：
显示器；
触敏表面；和
用于执行根据权利要求59至72所述的方法中的任一方法的装置。
81.一种用于在具有显示器和触敏表面的计算机系统中使用的信息处理装置，包括：
用于执行根据权利要求59至72所述的方法中的任一方法的装置。
82.一种方法，包括：
在具有显示生成部件、一个或多个输入设备以及一个或多个相机的设备处：
接收在第一用户界面区域中显示虚拟对象的请求，所述第一用户界面区域包括所述一个或多个相机的视场的至少一部分；
响应于在所述第一用户界面区域中显示所述虚拟对象的所述请求，经由所述显示生成部件在所述一个或多个相机的所述视场的被包括在所述第一用户界面区域中的至少一部分上显示所述虚拟对象的表示，其中所述一个或多个相机的所述视场是所述一个或多个相机所处的物理环境的视图，并且其中显示所述虚拟对象的所述表示包括：
根据确定对象放置标准未得到满足，显示具有第一组视觉属性和第一取向的所述虚拟对象的所述表示，其中所述对象放置标准要求所述虚拟对象的放置位置在所述一个或多个相机的所述视场中被识别，以便满足所述对象放置标准，所述第一取向与所述物理环境的哪个部分显示在所述一个或多个相机的所述视场中无关；以及
根据确定所述对象放置标准得到满足，显示具有第二组视觉属性和第二取向的所述虚拟对象的所述表示，所述第二组视觉属性不同于所述第一组视觉属性，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的平面对应。
83.根据权利要求82所述的方法，包括：
在以所述第一组视觉属性和所述第一取向显示所述虚拟对象的所述表示时，检测到所述对象放置标准得到满足。
84.根据权利要求83所述的方法，包括：
响应于检测到所述对象放置标准得到满足，经由所述显示生成部件显示动画过渡，所述动画过渡示出所述虚拟对象的所述表示从所述第一取向移动到所述第二取向，并且从具有所述第一组视觉属性改变为具有所述第二组视觉属性。
85.根据权利要求83至84中任一项所述的方法，其中检测到所述对象放置标准得到满足包括以下操作中的一个或多个：
检测到在所述一个或多个相机的所述视场中已经识别出平面；
检测到在至少阈值时间量内所述设备和所述物理环境之间小于阈值量的移动；以及
检测到自从在所述第一用户界面区域中接收到显示所述虚拟对象的所述请求以来已经过了至少预先确定的时间量。
86.根据权利要求82至85中任一项所述的方法，包括：
当在所述一个或多个相机的所述视场中捕获的所述物理环境的第一部分上以所述第一组视觉属性和所述第一取向显示所述虚拟对象的所述表示时，检测所述一个或多个相机的第一移动；以及
响应于检测到所述一个或多个相机的所述第一移动，在所述一个或多个相机的所述视场中捕获的所述物理环境的第二部分上以所述第一组视觉属性和所述第一取向显示所述虚拟对象的所述表示，其中所述物理环境的所述第二部分不同于所述物理环境的所述第一部分。
87.根据权利要求82至86中任一项所述的方法，包括：
当在所述一个或多个相机的所述视场中捕获的所述物理环境的第三部分上以所述第二组视觉属性和所述第二取向显示所述虚拟对象的所述表示时，检测所述一个或多个相机的第二移动；以及
响应于检测到所述设备的所述第二移动，当在所述一个或多个相机的所述视场中捕获的所述物理环境根据所述设备的所述第二移动而移动，并且所述第二取向继续与在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面对应时，保持在所述一个或多个相机的所述视场中捕获的所述物理环境的第三部分上以所述第二组视觉属性和所述第二取向显示所述虚拟对象的所述表示。
88.根据权利要求82至87中任一项所述的方法，包括：
根据确定所述对象放置标准得到满足，结合以所述第二组视觉属性和所述第二取向显示所述虚拟对象的所述表示，生成触觉输出，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面对应。
89.根据权利要求82至88中任一项所述的方法，包括：
在以所述第二组视觉属性和与在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面对应的所述第二取向显示所述虚拟对象的所述表示时，接收关于在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面的至少位置或取向的更新；以及
响应于接收到关于在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面的至少所述位置或所述取向的更新，根据所述更新调整所述虚拟对象的所述表示的至少位置和/或取向。
90.根据权利要求82至89中任一项所述的方法，其中：
所述第一组视觉属性包括第一尺寸和第一半透明水平；并且
所述第二组视觉属性包括不同于所述第一尺寸的第二尺寸，以及低于所述第一半透明水平的第二半透明水平。
91.根据权利要求82至90中任一项所述的方法，其中：
在所述虚拟对象显示在不包括所述一个或多个相机的所述视场的至少一部分的相应用户界面中时，接收在包括所述一个或多个相机的所述视场的至少一部分的所述第一用户界面区域中显示所述虚拟对象的所述请求，以及
在接收到所述请求时，在所述虚拟对象显示在所述相应用户界面中时，所述第一取向与所述虚拟对象的取向对应。
92.根据权利要求82至90中任一项所述的方法，其中所述第一取向与预定义取向对应。
93.根据权利要求82至92中任一项所述的方法，包括：
当在所述第一用户界面区域中以所述第二组视觉属性和与在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面对应的所述第二取向显示所述虚拟对象时，检测将所述虚拟对象的模拟物理尺寸从第一模拟物理尺寸改变为相对于在所述一个或多个相机的所述视场中捕获的所述物理环境的第二模拟物理尺寸的请求；以及
响应于检测到改变所述虚拟对象的所述模拟物理尺寸的所述请求：
根据所述虚拟对象的所述模拟物理尺寸从所述第一模拟物理尺寸到所述第二模拟物理尺寸的逐渐变化，逐渐改变所述第一用户界面区域中所述虚拟对象的所述表示的显示尺寸；以及
在所述虚拟对象的所述表示在所述第一用户界面区域中的所显示尺寸逐渐改变的过程中，根据确定所述虚拟对象的所述模拟物理尺寸已达到预定义模拟物理尺寸，生成触觉输出以指示所述虚拟对象的所述模拟物理尺寸已达到所述预定义模拟物理尺寸。
94.根据权利要求93所述的方法，包括：
在所述第一用户界面区域中以所述虚拟对象的不同于所述预定义模拟物理尺寸的所述第二模拟物理尺寸显示所述虚拟对象时，检测使所述虚拟对象返回到所述预定义模拟物理尺寸的请求；以及
响应于检测到使所述虚拟对象返回到所述预定义模拟物理尺寸的所述请求，根据所述虚拟对象的模拟物理尺寸到所述预定义模拟物理尺寸的变化，改变所述第一用户界面区域中所述虚拟对象的所述表示的所述显示尺寸。
95.根据权利要求82至94中任一项所述的方法，包括：
选择平面，所述平面用于根据所述一个或多个相机相对于所述物理环境的相应位置和取向，设置具有所述第二组视觉属性的所述虚拟对象的所述表示的所述第二取向，其中选择所述平面包括：
根据确定当在所述一个或多个相机的所述视场中捕获的所述物理环境的第一部分上显示所述虚拟对象的所述表示时所述对象放置标准得到满足，选择在所述一个或多个相机的所述视场中的所述物理环境中检测到的多个平面中的第一平面，作为用于设置具有所述第二组视觉属性的所述虚拟对象的所述表示的所述第二取向的所述平面；以及
根据确定当在所述一个或多个相机的所述视场中捕获的所述物理环境的第二部分上显示所述虚拟对象的所述表示时所述对象放置标准得到满足，选择在所述一个或多个相机的所述视场中的所述物理环境中检测到的所述多个平面中的第二平面，作为用于设置具有所述第二组视觉属性的所述虚拟对象的所述表示的所述第二取向的所述平面，其中所述物理环境的所述第一部分不同于所述物理环境的所述第二部分，并且所述第一平面不同于所述第二平面。
96.根据权利要求82至95中任一项所述的方法，包括：
在所述第一用户界面区域中显示具有所述第二组视觉属性和所述第二取向的所述虚拟对象的同时显示快照示能表示；以及
响应于所述快照示能表示的激活，捕获包括所述虚拟对象的所述表示的当前视图的快照图像，所述虚拟对象的所述表示位于所述一个或多个相机的所述视场中的所述物理环境中的放置位置，并具有所述第二组视觉属性和所述第二取向，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的所述平面对应。
97.根据权利要求82至96中任一项所述的方法，包括：
在所述第一用户界面区域中与具有所述第二组视觉属性的所述虚拟对象的所述表示一起显示一个或多个控制示能表示；以及
在与具有所述第二组视觉属性的所述虚拟对象的所述表示一起显示所述一个或多个控制示能表示时，检测到控制渐淡标准得到满足；以及，
响应于检测到所述控制渐淡标准得到满足，停止显示所述一个或多个控制示能表示，同时继续在包括所述一个或多个相机的所述视场的所述第一用户界面区域中显示具有所述第二组视觉属性的所述虚拟对象的所述表示。
98.根据权利要求82至97中任一项所述的方法，包括：
响应于在所述第一用户界面区域中显示所述虚拟对象的所述请求：在包括在所述第一用户界面区域中的所述一个或多个相机的所述视场的至少一部分上显示所述虚拟对象的所述表示之前，根据确定校准标准未得到满足，为所述用户显示相对于所述物理环境移动所述设备的提示。
99.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
接收在第一用户界面区域中显示虚拟对象的请求，所述第一用户界面区域包括所述一个或多个相机的视场的至少一部分；
响应于在所述第一用户界面区域中显示所述虚拟对象的所述请求，经由所述显示生成部件在包括在所述第一用户界面区域中的所述一个或多个相机的所述视场的至少一部分上显示所述虚拟对象的表示，其中所述一个或多个相机的所述视场是所述一个或多个相机所处的物理环境的视图，并且其中显示所述虚拟对象的所述表示包括：
根据确定对象放置标准未得到满足，显示具有第一组视觉属性和第一取向的所述虚拟对象的所述表示，其中所述对象放置标准要求所述虚拟对象的放置位置在所述一个或多个相机的所述视场中被识别，以便满足所述对象放置标准，所述第一取向与所述物理环境的哪个部分显示在所述一个或多个相机的所述视场中无关；以及
根据确定所述对象放置标准得到满足，显示具有第二组视觉属性和第二取向的所述虚拟对象的所述表示，所述第二组视觉属性不同于所述第一组视觉属性，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的平面对应。
100.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示生成部件、一个或多个输入设备和一个或多个相机的计算机系统执行时，使所述计算机系统：
接收在第一用户界面区域中显示虚拟对象的请求，所述第一用户界面区域包括所述一个或多个相机的视场的至少一部分；
响应于在所述第一用户界面区域中显示所述虚拟对象的所述请求，经由所述显示生成部件在包括在所述第一用户界面区域中的所述一个或多个相机的所述视场的至少一部分上显示所述虚拟对象的表示，其中所述一个或多个相机的所述视场是所述一个或多个相机所处的物理环境的视图，并且其中显示所述虚拟对象的所述表示包括：
根据确定对象放置标准未得到满足，显示具有第一组视觉属性和第一取向的所述虚拟对象的所述表示，其中所述对象放置标准要求所述虚拟对象的放置位置在所述一个或多个相机的所述视场中被识别，以便满足所述对象放置标准，所述第一取向与所述物理环境的哪个部分显示在所述一个或多个相机的所述视场中无关；以及
根据确定所述对象放置标准得到满足，显示具有第二组视觉属性和第二取向的所述虚拟对象的所述表示，所述第二组视觉属性不同于所述第一组视觉属性，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的平面对应。
101.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
用于接收在第一用户界面区域中显示虚拟对象的请求的装置，所述第一用户界面区域包括所述一个或多个相机的视场的至少一部分；和
响应于在所述第一用户界面区域中显示所述虚拟对象的所述请求而被启用的、用于经由所述显示生成部件在包括在所述第一用户界面区域中的所述一个或多个相机的所述视场的至少一部分上显示所述虚拟对象的表示的装置，其中所述一个或多个相机的所述视场是所述一个或多个相机所处的物理环境的视图，并且其中被启用的用于显示所述虚拟对象的所述表示的所述装置包括：
根据确定对象放置标准未得到满足而被启用的用于显示具有第一组视觉属性和第一取向的所述虚拟对象的所述表示的装置，其中所述对象放置标准要求所述虚拟对象的放置位置在所述一个或多个相机的所述视场中被识别，以便满足所述对象放置标准，所述第一取向与所述物理环境的哪个部分显示在所述一个或多个相机的所述视场中无关；以及
根据确定所述对象放置标准得到满足而被启用的用于显示具有第二组视觉属性和第二取向的所述虚拟对象的所述表示的装置，所述第二组视觉属性不同于所述第一组视觉属性，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的平面对应。
102.一种用于在具有显示生成部件、一个或多个输入设备和一个或多个相机的计算机系统中使用的信息处理装置，包括：
用于接收在第一用户界面区域中显示虚拟对象的请求的装置，所述第一用户界面区域包括所述一个或多个相机的视场的至少一部分；和
响应于在所述第一用户界面区域中显示所述虚拟对象的所述请求而被启用的、用于经由所述显示生成部件在包括在所述第一用户界面区域中的所述一个或多个相机的所述视场的至少一部分上显示所述虚拟对象的表示的装置，其中所述一个或多个相机的所述视场是所述一个或多个相机所处的物理环境的视图，并且其中被启用的用于显示所述虚拟对象的所述表示的所述装置包括：
根据确定对象放置标准未得到满足而被启用的用于显示具有第一组视觉属性和第一取向的所述虚拟对象的所述表示的装置，其中所述对象放置标准要求所述虚拟对象的放置位置在所述一个或多个相机的所述视场中被识别，以便满足所述对象放置标准，所述第一取向与所述物理环境的哪个部分显示在所述一个或多个相机的所述视场中无关；和
根据确定所述对象放置标准得到满足而被启用的用于显示具有第二组视觉属性和第二取向的所述虚拟对象的所述表示的装置，所述第二组视觉属性不同于所述第一组视觉属性，所述第二取向与在所述一个或多个相机的所述视场中检测到的所述物理环境中的平面对应。
103.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求82至98所述的方法中的任一方法的指令。
104.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个输入设备和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求82至98所述的方法中的任一方法。
105.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个输入设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求82至98所述的方法中的任一方法显示的用户界面。
106.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；和
用于执行根据权利要求82至98所述的方法中的任一方法的装置。
107.一种用于在具有显示生成部件、一个或多个输入设备和一个或多个相机的计算机系统中使用的信息处理装置，包括：
用于执行根据权利要求82至98所述的方法中的任一方法的装置。
108.一种方法，包括：
在具有显示生成部件、一个或多个输入设备、一个或多个相机以及用于检测包括所述一个或多个相机的所述设备的姿态变化的一个或多个姿态传感器的设备处：
接收在第一用户界面区域中显示物理环境的增强现实视图的请求，所述第一用户界面区域包括所述一个或多个相机的视场的表示；
响应于接收到显示所述物理环境的所述增强现实视图的所述请求，显示所述一个或多个相机的所述视场的所述表示，并且根据确定用于所述物理环境的所述增强现实视图的校准标准未得到满足，显示根据所述物理环境中的所述一个或多个相机的移动被动态地动画化的校准用户界面对象，其中显示所述校准用户界面对象包括：
在显示所述校准用户界面对象时，经由所述一个或多个姿态传感器检测所述物理环境中的所述一个或多个相机的姿态变化；以及
响应于检测到所述物理环境中所述一个或多个相机的所述姿态变化，根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数；
在显示根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化在所述显示器上移动的所述校准用户界面对象时，检测到所述校准标准得到满足；以及
响应于检测到所述校准标准得到满足，停止显示所述校准用户界面对象。
109.根据权利要求108所述的方法，其中在包括所述一个或多个相机的所述视场的所述表示的所述第一用户界面区域中显示所述物理环境的所述增强现实视图的所述请求包括在所述物理环境的所述增强现实视图中显示虚拟三维对象的表示的请求。
110.根据权利要求109所述的方法，包括：
在停止显示所述校准用户界面对象之后，在包括所述一个或多个相机的所述视场的所述表示的所述第一用户界面区域中显示所述虚拟三维对象的所述表示。
111.根据权利要求109至110中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟三维对象的所述表示的同时显示所述校准用户界面对象，其中在所述一个或多个相机在所述物理环境中的所述移动的过程中，所述虚拟三维对象的所述表示保持在所述第一用户界面区域中的固定位置。
112.根据权利要求108所述的方法，其中在包括所述一个或多个相机的所述视场的所述表示的所述第一用户界面区域中显示所述物理环境的所述增强现实视图的所述请求包括显示所述一个或多个相机的所述视场的所述表示的请求，而不请求在所述一个或多个相机的所述视场中捕获的所述物理环境中显示任何虚拟三维对象的表示。
113.根据权利要求108至112中任一项所述的方法，包括：
响应于接收到显示所述物理环境的所述增强现实视图的所述请求，显示所述一个或多个相机的所述视场的所述表示，并且根据确定用于所述物理环境的所述增强现实视图的所述校准标准得到满足，放弃所述校准用户界面对象的显示。
114.根据权利要求108至113中任一项所述的方法，包括：
在所述第一用户界面区域中显示文本对象的同时显示所述校准用户界面对象，所述校准用户界面对象提供关于所述用户能够采取的用于改进所述增强现实视图的校准的动作的信息。
115.根据权利要求108至114中任一项所述的方法，包括：
响应于检测到所述校准标准得到满足，显示在所述一个或多个相机的所述视场中捕获的所述物理环境中检测到的平面的视觉指示。
116.根据权利要求108至115中任一项所述的方法，包括：
响应于接收显示所述物理环境的所述增强现实视图的所述请求：
根据确定所述校准标准未得到满足并且在显示所述校准用户界面对象之前，显示动画提示对象，所述动画提示对象包括相对于平面的表示移动的所述设备的表示。
117.根据权利要求108至116中任一项所述的方法，其中根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数包括：
根据所述物理环境中所述一个或多个相机的第一移动量值，将所述校准用户界面对象移动第一量；以及
根据所述物理环境中所述一个或多个相机的第二移动量值将所述校准用户界面对象移动第二量，其中所述第一量不同于所述第二量，并且所述第一移动量值不同于所述第二移动量值。
118.根据权利要求108至117中任一项所述的方法，其中根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数包括：
根据确定所述一个或多个相机的所检测到的姿态变化与第一类型的移动对应，基于所述第一类型的移动来移动所述校准用户界面对象；以及
根据确定所述一个或多个相机的所检测到的姿态变化与第二类型的移动对应，放弃基于所述第二类型的移动来移动所述校准用户界面对象。
119.根据权利要求108至118中任一项所述的方法，其中根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数包括：
根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来移动所述校准用户界面对象，而不改变所述校准用户界面对象在所述第一用户界面区域上方的特征显示位置。
120.根据权利要求108至119中任一项所述的方法，其中根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数包括：
使所述校准用户界面对象围绕垂直于所述物理环境中所述一个或多个相机的移动方向的轴旋转。
121.根据权利要求108至120中任一项所述的方法，其中根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数包括：
以根据在所述一个或多个相机的所述视场中检测到的变化率确定的速度来移动所述校准用户界面对象。
122.根据权利要求108至121中任一项所述的方法，其中根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数包括：
以根据在所述一个或多个相机的所述视场中检测到的变化方向确定的方向来移动所述校准用户界面对象。
123.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个姿态传感器；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
接收在第一用户界面区域中显示物理环境的增强现实视图的请求，所述第一用户界面区域包括所述一个或多个相机的视场的表示；
响应于接收到显示所述物理环境的所述增强现实视图的所述请求，显示所述一个或多个相机的所述视场的所述表示，并且根据确定用于所述物理环境的所述增强现实视图的校准标准未得到满足，显示根据所述物理环境中的所述一个或多个相机的移动动态地动画的校准用户界面对象，其中显示所述校准用户界面对象包括：
在显示所述校准用户界面对象时，经由所述一个或多个姿态传感器检测所述物理环境中的所述一个或多个相机的姿态变化；以及
响应于检测到所述物理环境中所述一个或多个相机的所述姿态变化，根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数；
在显示根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化在所述显示器上移动的所述校准用户界面对象时，检测到所述校准标准得到满足；以及
响应于检测到所述校准标准得到满足，停止显示所述校准用户界面对象。
124.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个输入设备、一个或多个相机和一个或多个姿态传感器的计算机系统执行时，使所述计算机系统：
接收在第一用户界面区域中显示物理环境的增强现实视图的请求，所述第一用户界面区域包括所述一个或多个相机的视场的表示；
响应于接收到显示所述物理环境的所述增强现实视图的所述请求，显示所述一个或多个相机的所述视场的所述表示，并且根据确定用于所述物理环境的所述增强现实视图的校准标准未得到满足，显示根据所述物理环境中的所述一个或多个相机的移动动态地动画的校准用户界面对象，其中显示所述校准用户界面对象包括：
在显示所述校准用户界面对象时，经由所述一个或多个姿态传感器检测所述物理环境中的所述一个或多个相机的姿态变化；以及
响应于检测到所述物理环境中所述一个或多个相机的所述姿态变化，根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数；
在显示根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化在所述显示器上移动的所述校准用户界面对象时，检测到所述校准标准得到满足；以及
响应于检测到所述校准标准得到满足，停止显示所述校准用户界面对象。
125.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个姿态传感器；
用于接收在第一用户界面区域中显示物理环境的增强现实视图的请求的装置，所述第一用户界面区域包括所述一个或多个相机的视场的表示；
响应于接收到显示所述物理环境的所述增强现实视图的所述请求而被启用的用于以下操作的装置：显示所述一个或多个相机的所述视场的所述表示，以及根据确定用于所述物理环境的所述增强现实视图的校准标准未得到满足，显示根据所述物理环境中的所述一个或多个相机的移动动态地动画的校准用户界面，其中显示所述校准用户界面对象包括：
在显示所述校准用户界面对象时，经由所述一个或多个姿态传感器检测所述物理环境中的所述一个或多个相机的姿态变化；以及
响应于检测到所述物理环境中所述一个或多个相机的所述姿态变化，根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数；
在显示根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化在所述显示器上移动的所述校准用户界面对象时启用的用于检测到所述校准标准得到满足的装置；和
响应于检测到所述校准标准得到满足而被启用的用于停止显示所述校准用户界面对象的装置。
126.一种用于在具有显示生成部件、一个或多个输入设备、一个或多个相机和一个或多个姿态传感器的计算机系统中使用的信息处理装置，包括：
用于接收在第一用户界面区域中显示物理环境的增强现实视图的请求的装置，所述第一用户界面区域包括所述一个或多个相机的视场的表示；
响应于接收到显示所述物理环境的所述增强现实视图的所述请求而被启用的用于以下操作的装置：显示所述一个或多个相机的所述视场的所述表示，以及根据确定用于所述物理环境的所述增强现实视图的校准标准未得到满足，显示根据所述物理环境中的所述一个或多个相机的移动动态地动画的校准用户界面对象，其中显示所述校准用户界面对象包括：
在显示所述校准用户界面对象时，经由所述一个或多个姿态传感器检测所述物理环境中的所述一个或多个相机的姿态变化；以及
响应于检测到所述物理环境中所述一个或多个相机的所述姿态变化，根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化来调整所述校准用户界面对象的至少一个显示参数；
在显示根据所述物理环境中的所述一个或多个相机的所检测到的姿态变化在所述显示器上移动的所述校准用户界面对象时启用的用于检测到所述校准标准得到满足的装置；和
响应于检测到所述校准标准得到满足而被启用的用于停止显示所述校准用户界面对象的装置。
127.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个姿态传感器；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求108至122所述的方法中的任一方法的指令。
128.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个输入设备、一个或多个相机和一个或多个姿态传感器的计算机系统执行时，使所述计算机系统执行根据权利要求108至122所述的方法中的任一方法。
129.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个输入设备、一个或多个相机、一个或多个姿态传感器、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求108至122所述的方法中的任一方法显示的用户界面。
130.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个姿态传感器；和
用于执行根据权利要求108至122所述的方法中的任一方法的装置。
131.一种用于在具有显示生成部件、一个或多个输入设备、一个或多个相机和一个或多个姿态传感器的计算机系统中使用的信息处理装置，包括：
用于执行根据权利要求108至122所述的方法中的任一方法的装置。
132.一种方法，包括：
在具有显示生成部件和包括触敏表面的一个或多个输入设备的设备处：
通过所述显示生成部件在第一用户界面区域中显示虚拟三维对象的第一视角的表示；
当在所述显示器上的所述第一用户界面区域中显示所述虚拟三维对象的所述第一视角的所述表示时，检测第一输入，所述第一输入与相对于显示器旋转所述虚拟三维对象以显示所述虚拟三维对象的从所述虚拟三维对象的所述第一视角不可见的一部分的请求对应；
响应于检测到所述第一输入：
根据确定所述第一输入与围绕第一轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第一轴旋转基于所述第一输入的量值而确定的量，并且所述量由对所述虚拟三维对象相对于所述第一轴超过阈值旋转量的旋转进行限制的对所述移动的限制来约束；以及
根据确定所述第一输入与围绕不同于所述第一轴的第二轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第二轴旋转基于所述第一输入的量值确定的量，其中，对于具有高于相应阈值的量值的输入，所述设备使所述虚拟三维对象相对于所述第二轴旋转超过所述阈值旋转量。
133.根据权利要求132所述的方法，包括：
响应于检测到所述第一输入：
根据确定所述第一输入包括在第一方向上跨触敏表面的接触的第一移动，并且确定所述接触在所述第一方向上的所述第一移动满足用于相对于所述第一轴旋转所述虚拟对象的所述表示的第一标准，其中所述第一标准包括所述第一输入在所述第一方向上包括大于第一阈值移动量的移动以便满足所述第一标准，确定所述第一输入与围绕所述第一轴旋转所述三维对象的请求对应；以及
根据确定所述第一输入包括在第二方向上跨所述触敏表面的所述接触的第二移动，并且确定所述接触在所述第二方向上的所述第二移动满足用于相对于所述第二轴旋转所述虚拟对象的所述表示的第二标准，其中所述第二标准包括所述第一输入在所述第二方向上包括大于第二阈值移动量的移动以便满足所述第二标准，确定所述第一输入与围绕所述第二轴旋转所述三维对象的请求对应，其中所述第一阈值大于所述第二阈值。
134.根据权利要求132至133中任一项所述的方法，其中：
所述虚拟三维对象相对于所述第一轴的旋转以所述第一输入的第一输入参数的特征值与围绕所述第一轴的施加于所述虚拟三维对象的旋转量之间的第一程度的对应关系发生；并且
所述虚拟三维对象相对于所述第二轴的旋转以所述第二输入手势的所述第一输入参数的所述特征值与围绕所述第二轴的施加于虚拟三维对象的旋转量之间的第二程度的对应关系发生；并且
相比于所述第二程度的对应关系，所述第一程度的对应关系涉及所述虚拟三维对象相对于所述第一输入参数的较小旋转。
135.根据权利要求132至134中任一项所述的方法，包括：
检测所述第一输入的结束；以及
在检测到所述第一输入的所述结束之后，在检测到所述输入的所述结束之前，基于所述第一输入的量值继续旋转所述三维对象，包括：
根据确定所述三维对象正相对于所述第一轴旋转，使所述对象相对于所述第一轴的所述旋转减慢第一量，所述第一量与所述三维对象相对于所述第一轴的所述旋转的所述量值成比例；以及
根据确定所述三维对象正相对于所述第二轴旋转，使所述对象相对于所述第二轴的所述旋转减慢第二量，所述第二量与所述三维对象相对于所述第二轴的所述旋转的所述量值成比例，其中所述第二量不同于所述第一量。
136.根据权利要求132至135中任一项所述的方法，包括：
检测所述第一输入的结束；以及
在检测到所述第一输入的所述结束之后：
根据确定所述三维对象相对于所述第一轴已经旋转超过相应的旋转阈值，使所述三维对象相对于所述第一轴的所述旋转的至少一部分反转；以及
根据确定所述三维对象相对于所述第一轴旋转未超过所述相应的旋转阈值，放弃反转所述三维对象相对于所述第一轴的所述旋转。
137.根据权利要求132至134中任一项所述的方法，其中：
根据确定所述第一输入与围绕不同于所述第一轴和所述第二轴的第三轴旋转所述三维对象的请求对应，放弃使所述虚拟三维对象相对于所述第三轴旋转。
138.根据权利要求132至137中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟三维对象的所述第一视角的所述表示时，显示由所述虚拟三维对象投射的阴影的表示；以及
根据所述虚拟三维对象相对于所述第一轴和/或第二轴的所述旋转来改变所述阴影的所述表示的形状。
139.根据权利要求138所述的方法，包括：
在所述第一用户界面区域中旋转所述虚拟三维对象时：
根据确定以显露所述虚拟三维对象的预定义底部的第二视角显示所述虚拟三维对象，放弃以所述虚拟三维对象的所述第二视角的所述表示来显示所述阴影的所述表示。
140.根据权利要求132至139中任一项所述的方法，包括：
在所述第一用户界面区域中旋转所述虚拟三维对象之后，检测与在所述第一用户界面区域中重置所述虚拟三维对象的请求对应的第二输入；以及
响应于检测到所述第二输入，在所述第一用户界面区域中显示所述虚拟三维对象的预定义原始视角的表示。
141.根据权利要求132至140中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟三维对象时，检测与重新设定所述虚拟三维对象的尺寸的请求对应的第三输入；以及
响应于检测到所述第三输入，根据所述输入的量值调整所述第一用户界面区域中的所述虚拟三维对象的所述表示的尺寸。
142.根据权利要求141所述的方法，包括：
在调整所述第一用户界面区域中所述虚拟三维对象的所述表示的所述尺寸时，检测所述虚拟三维对象的所述尺寸已达到所述虚拟三维对象的预定义默认显示尺寸；
响应于检测到所述虚拟三维对象的所述尺寸已达到所述虚拟三维对象的所述预定义默认显示尺寸，生成触觉输出以指示所述虚拟三维对象以所述预定义默认显示尺寸显示。
143.根据权利要求132至142中任一项所述的方法，其中所述设备包括一个或多个相机，并且所述方法包括：
在所述第一用户界面区域中显示所述虚拟三维对象的第三视角的表示时，检测与在第二用户界面区域中显示所述虚拟三维对象的请求对应的第四输入，所述第二用户界面区域包括一个或多个相机的视场；以及
响应于检测到所述第四输入，经由所述显示生成部件在包括在所述第二用户界面区域中的所述一个或多个相机的所述视场的至少一部分上显示所述虚拟对象的表示，其中所述一个或多个相机的所述视场是所述一个或多个相机所处的物理环境的视图，并且其中显示所述虚拟对象的所述表示包括：
使所述虚拟三维对象围绕所述第一轴旋转到预定义角度；以及
保持所述虚拟三维对象相对于所述第二轴的当前角度。
144.根据权利要求132至143中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟三维对象的第四视角的表示时，检测与返回到包括所述虚拟三维对象的二维表示的二维用户界面的请求对应的第五输入；以及
响应于检测到所述第五输入：
旋转所述虚拟三维对象以示出与所述虚拟三维对象的所述二维表示对应的所述虚拟三维对象的视角；以及
在所述虚拟三维对象被旋转以示出与所述虚拟三维对象的所述二维表示对应的所述相应视角之后，显示所述虚拟三维对象的所述二维表示。
145.根据权利要求132至144中任一项所述的方法，包括：
在显示所述虚拟三维对象的所述第一视角的所述表示之前，显示包括所述虚拟三维对象的表示的用户界面，所述用户界面包括来自相应的视角的所述虚拟三维对象的视图的表示；
在显示所述虚拟三维对象的所述表示时，检测显示所述虚拟三维对象的请求；以及，
响应于检测到显示所述虚拟三维对象的所述请求，用被旋转以匹配所述虚拟三维对象的所述表示的所述相应视角的所述虚拟三维对象替换所述虚拟三维对象的所述表示的显示。
146.根据权利要求132至145中任一项所述的方法，包括：
在显示所述第一用户界面之前，显示包括所述虚拟三维对象的二维表示的二维用户界面；
在显示包括所述虚拟三维对象的所述二维表示的所述二维用户界面时，检测触摸输入的第一部分，所述第一部分满足在所述触敏表面上与所述虚拟三维对象的所述二维表示对应的位置处的预览标准；以及
响应于检测到满足所述预览标准的所述触摸输入的所述第一部分，显示比所述虚拟三维对象的所述二维表示大的所述虚拟三维对象的预览。
147.根据权利要求146所述的方法，包括：
在显示所述虚拟三维对象的所述预览时，检测所述触摸输入的第二部分；以及
响应于检测到所述触摸输入的所述第二部分：
根据确定所述触摸输入的所述第二部分满足菜单显示标准，显示对应于与所述虚拟对象关联的多个操作的多个可选选项；以及
根据确定所述触摸输入的所述第二部分满足登台标准，用包括所述虚拟三维对象的所述第一用户界面替换包括所述虚拟三维对象的所述二维表示的所述二维用户界面的显示。
148.根据权利要求132至147中任一项所述的方法，其中所述第一用户界面包括多个控件，并且所述方法包括：
在显示所述第一用户界面之前，显示包括所述虚拟三维对象的二维表示的二维用户界面；以及
响应于检测到在所述第一用户界面中显示所述虚拟三维对象的请求：
在所述第一用户界面中显示所述虚拟三维对象，而不显示与所述虚拟三维对象相关联的一组一个或多个控件；以及
在所述第一用户界面中显示所述虚拟三维对象之后，显示所述一组一个或多个控件。
149.一种计算机系统，包括：
显示生成部件；
包括触敏表面的一个或多个输入设备；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
通过所述显示生成部件在第一用户界面区域中显示虚拟三维对象的第一视角的表示；
当在所述显示器上的所述第一用户界面区域中显示所述虚拟三维对象的所述第一视角的所述表示时，检测与相对于显示器旋转所述虚拟三维对象以显示所述虚拟三维对象的从所述虚拟三维对象的所述第一视角不可见的一部分的请求对应的第一输入；
响应于检测到所述第一输入：
根据确定所述第一输入与围绕第一轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第一轴旋转基于所述第一输入的量值而确定的量，并且所述量由对限制所述虚拟三维对象相对于所述第一轴旋转超过阈值旋转量的所述移动的限制来约束；以及
根据确定所述第一输入与围绕不同于所述第一轴的第二轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第二轴旋转基于所述第一输入的量值确定的量，其中，对于具有高于相应阈值的量值的输入，所述设备使所述虚拟三雏对象相对于所述第二轴旋转超过所述阈值旋转量。
150.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件和包括触敏表面的一个或多个输入设备的计算机系统执行时，致使所述计算机系统：
通过所述显示生成部件在第一用户界面区域中显示虚拟三维对象的第一视角的表示；
当在所述显示器上的所述第一用户界面区域中显示所述虚拟三维对象的所述第一视角的所述表示时，检测与相对于显示器旋转所述虚拟三维对象以显示所述虚拟三维对象的从所述虚拟三维对象的所述第一视角不可见的一部分的请求对应的第一输入；
响应于检测到所述第一输入：
根据确定所述第一输入与围绕第一轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第一轴旋转基于所述第一输入的量值而确定的量，并且所述量由对限制所述虚拟三维对象相对于所述第一轴旋转超过阈值旋转量的所述移动的限制来约束；以及
根据确定所述第一输入与围绕不同于所述第一轴的第二轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第二轴旋转基于所述第一输入的量值确定的量，其中，对于具有高于相应阈值的量值的输入，所述设备使所述虚拟三维对象相对于所述第二轴旋转超过所述阈值旋转量。
151.一种计算机系统，包括：
显示生成部件；
包括触敏表面的一个或多个输入设备；
用于通过所述显示生成部件在第一用户界面区域中显示虚拟三维对象的第一视角的表示的装置；
当在所述显示器上的所述第一用户界面区域中显示所述虚拟三维对象的所述第一视角的所述表示时启用的用于检测与相对于显示器旋转所述虚拟三维对象以显示所述虚拟三维对象的从所述虚拟三维对象的所述第一视角不可见的一部分的请求对应的第一输入的装置；和
用于响应于检测到所述第一输入而启用以进行以下操作的装置：
根据确定所述第一输入与围绕第一轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第一轴旋转基于所述第一输入的量值而确定的量，并且所述量由对限制所述虚拟三维对象相对于所述第一轴旋转超过阈值旋转量的所述移动的限制来约束；以及
根据确定所述第一输入与围绕不同于所述第一轴的第二轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第二轴旋转基于所述第一输入的量值确定的量，其中，对于具有高于相应阈值的量值的输入，所述设备使所述虚拟三维对象相对于所述第二轴旋转超过所述阈值旋转量。
152.一种用于在具有显示生成部件、包括触敏表面的一个或多个输入设备的计算机系统中使用的信息处理装置，包括：
用于通过所述显示生成部件在第一用户界面区域中显示虚拟三维对象的第一视角的表示的装置；
当在所述显示器上的所述第一用户界面区域中显示所述虚拟三维对象的所述第一视角的所述表示时启用的用于检测与相对于显示器旋转所述虚拟三维对象以显示所述虚拟三维对象的从所述虚拟三维对象的所述第一视角不可见的一部分的请求对应的第一输入的装置；和
用于响应于检测到所述第一输入而启用以进行以下操作的装置：
根据确定所述第一输入与围绕第一轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第一轴旋转基于所述第一输入的量值而确定的量，并且所述量由对限制所述虚拟三维对象相对于所述第一轴旋转超过阈值旋转量的所述移动的限制来约束；以及
根据确定所述第一输入与围绕不同于所述第一轴的第二轴旋转所述三维对象的请求对应，使所述虚拟三维对象相对于所述第二轴旋转基于所述第一输入的量值确定的量，其中，对于具有高于相应阈值的量值的输入，所述设备使所述虚拟三维对象相对于所述第二轴旋转超过所述阈值旋转量。
153.一种计算机系统，包括：
显示生成部件；
包括触敏表面的一个或多个输入设备；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求132至148所述的方法中的任一方法的指令。
154.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件和包括触敏表面的一个或多个输入设备的计算机系统执行时，使所述计算机系统执行根据权利要求132至148所述的方法中的任一方法。
155.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、包括触敏表面的一个或多个输入设备、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求132至148所述的方法中的任一方法所显示的用户界面。
156.一种计算机系统，包括：
显示生成部件；
包括触敏表面的一个或多个输入设备；和
用于执行根据权利要求132至148所述的方法中的任一方法的装置。
157.一种用于具有显示生成部件、包括触敏表面的一个或多个输入设备和一个或多个相机的计算机系统的信息处理装置，包括：
用于执行根据权利要求132至148所述的方法中的任一方法的装置。
158.一种方法，包括：
在具有显示生成部件和触敏表面的设备处：
经由所述显示生成部件显示第一用户界面区域，所述第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象，所述多个对象操纵行为包括响应于满足第一手势识别标准的输入而执行的第一对象操纵行为和响应于满足第二手势识别标准的输入而执行的第二对象操纵行为；
在显示所述第一用户界面区域时，检测涉及所述用户界面对象的输入的第一部分，这包括检测一个或多个接触在所述触敏表面上的移动，并且当在所述触敏表面上检测到所述一个或多个接触时，相对于所述第一手势识别标准和所述第二手势识别标准评估所述一个或多个接触的移动；
响应于检测到所述输入的所述第一部分，基于所述输入的所述第一部分更新所述用户界面对象的外观，包括：
根据确定在满足所述第二手势识别标准之前所述输入的所述第一部分满足所述第一手势识别标准：
基于所述输入的所述第一部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第二手势识别标准的阈值来更新所述第二手势识别标准；以及
根据确定在满足所述第一手势识别标准之前所述输入满足所述第二手势识别标准：
基于所述输入的所述第一部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准。
159.根据权利要求158所述的方法，包括：
在基于所述输入的所述第一部分更新所述用户界面对象的所述外观之后，检测所述输入的第二部分；以及
响应于检测到所述输入的所述第二部分，基于所述输入的所述第二部分更新所述用户界面对象的所述外观，包括：
根据确定所述输入的所述第一部分满足所述第一手势识别标准并且所述输入的所述第二部分不满足所述更新的第二手势识别标准：基于所述输入的所述第二部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观，而不根据所述第二对象操纵行为改变所述用户界面对象的所述外观；
根据确定所述输入的所述第一部分满足所述第二手势识别标准并且所述输入的所述第二部分不满足所述更新的第一手势识别标准：基于所述输入的所述第二部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观，而不根据所述第一对象操纵行为改变所述用户界面对象的所述外观。
160.根据权利要求159所述的方法，其中，在所述输入的所述第一部分满足所述第一手势识别标准之后，基于所述输入的所述第二部分根据所述第一对象操纵行为改变所述用户界面对象的所述外观，所述输入的所述第二部分包括在更新所述第二手势识别标准之前满足所述第二手势识别标准的输入。
161.根据权利要求159至160中任一项所述的方法，其中，在所述输入的所述第一部分满足所述第二手势识别标准之后，基于所述输入的所述第二部分根据所述第二对象操纵行为改变所述用户界面对象的所述外观，所述输入的所述第二部分包括在更新所述第一手势识别标准之前满足所述第一手势识别标准的输入。
162.根据权利要求159所述的方法，其中，在所述输入的所述第一部分满足所述第一手势识别标准之后，基于所述输入的所述第二部分根据所述第一对象操纵行为改变所述用户界面对象的所述外观，所述输入的所述第二部分不包括满足所述第一手势识别标准的输入。
163.根据权利要求159或162中任一项所述的方法，其中，在所述输入的所述第一部分满足所述第二手势识别标准之后，基于所述输入的所述第二部分根据所述第二对象操纵行为改变所述用户界面对象的所述外观，所述输入的所述第二部分不包括满足所述第二手势识别标准的输入。
164.根据权利要求159所述的方法，其中基于所述输入的所述第二部分更新所述用户界面对象的所述外观包括：
根据确定所述输入的所述第一部分满足所述第二手势识别标准并且所述输入的所述第二部分满足所述更新的第一手势识别标准：
基于所述输入的所述第二部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
基于所述输入的所述第二部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
根据确定所述输入的所述第一部分满足所述第一手势识别标准并且所述输入的所述第二部分满足所述更新的第二手势识别标准：
基于所述输入的所述第二部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
基于所述输入的所述第二部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观。
165.根据权利要求164所述的方法，包括：
在基于所述输入的所述第二部分更新所述用户界面对象的所述外观之后，检测所述输入的第三部分；以及
响应于检测到所述输入的所述第三部分，基于所述输入的所述第三部分更新所述用户界面对象的所述外观，包括：
基于所述输入的所述第三部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
基于所述输入的所述第三部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观。
166.根据权利要求165所述的方法，其中所述输入的所述第三部分不包括满足所述第一手势识别标准的输入或满足所述第二手势识别标准的输入。
167.根据权利要求164至166中任一项所述的方法，其中：
所述多个对象操纵行为包括响应于满足第三手势识别标准的输入而执行的第三对象操纵行为；以及
基于所述输入的所述第一部分更新所述用户界面对象的所述外观包括：
根据确定在满足所述第二手势识别标准或满足所述第三手势识别标准之前所述输入的所述第一部分满足所述第一手势识别标准：
基于所述输入的所述第一部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第二手势识别标准的所述阈值来更新所述第二手势识别标准；
通过增大所述第三手势识别标准的阈值来更新所述第三手势识别标准；
根据确定在满足所述第一手势识别标准或满足所述第三手势识别标准之前所述输入满足所述第二手势识别标准：
基于所述输入的所述第一部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准；以及
通过增大所述第三手势识别标准的阈值来更新所述第三手势识别标准；以及
根据确定在满足所述第一手势识别标准或满足所述第二手势识别标准之前所述输入满足所述第三手势识别标准：
基于所述输入的所述第一部分根据所述第三对象操纵行为来改变所述用户界面对象的所述外观；
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准；以及
通过增大所述第二手势识别标准的所述阈值来更新所述第二手势识别标准。
168.根据权利要求164至166中任一项所述的方法，其中：
所述多个对象操纵行为包括响应于满足第三手势识别标准的输入而执行的第三对象操纵行为，
在满足所述第一手势识别标准或所述第二手势识别标准之前，所述输入的所述第一部分不满足所述第三手势识别标准，
在所述输入的所述第一部分满足所述第一手势识别标准或所述第二手势识别标准之后，所述设备通过增大所述第三手势识别标准的阈值来更新所述第三手势识别标准，
在满足所述更新的第一手势识别标准或所述更新的第二手势识别标准之前，所述输入的所述第二部分不满足所述更新的第三手势识别标准；并且
所述方法包括：
响应于检测到所述输入的所述第三部分：
根据确定所述输入的所述第三部分满足所述更新的第三手势识别标准，基于所述输入的所述第三部分根据所述第三对象操纵行为改变所述用户界面对象的所述外观；以及
根据确定所述输入的所述第三部分不满足所述更新的第三手势识别标准，放弃基于所述输入的所述第三部分根据所述第三对象操纵行为改变所述用户界面对象的所述外观。
169.根据权利要求164至168所述的方法，其中所述输入的所述第三部分满足所述更新的第三手势识别标准，并且所述方法包括：
在基于所述输入的所述第三部分更新所述用户界面对象的所述外观之后，检测所述输入的第四部分；以及
响应于检测到所述输入的所述第四部分，基于所述输入的所述第四部分更新所述用户界面对象的所述外观，包括：
基于所述输入的所述第四部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；
基于所述输入的所述第四部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
基于所述输入的所述第四部分根据所述第三对象操纵行为来改变所述用户界面对象的所述外观。
170.根据权利要求169所述的方法，其中所述输入的所述第四部分不包括：
输入满足所述第一手势识别标准，
输入满足所述第二手势识别标准，或
输入满足所述第三手势识别标准。
171.根据权利要求158至170中任一项所述的方法，其中所述第一手势识别标准和所述第二手势识别标准都需要第一数量的同时检测到的接触以便得到满足。
172.根据权利要求158至171中任一项所述的方法，其中所述第一对象操纵行为改变所述用户界面对象的缩放水平或显示尺寸，并且所述第二对象操纵行为改变所述用户界面对象的旋转角度。
173.根据权利要求158至171中任一项所述的方法，其中所述第一对象操纵行为改变所述用户界面对象的缩放水平或显示尺寸，并且所述第二对象操纵行为改变所述第一用户界面区域中的所述用户界面对象的位置。
174.根据权利要求158至171中任一项所述的方法，其中所述第一对象操纵行为改变所述第一用户界面区域中的所述用户界面对象的位置，并且所述第二对象操纵行为改变所述用户界面对象的旋转角度。
175.根据权利要求158至174中任一项所述的方法，其中所述输入的所述第一部分和所述输入的所述第二部分由多个连续保持的接触提供，并且所述方法包括：
重新建立所述第一手势识别标准和所述第二手势识别标准，以在检测到所述多个连续保持的接触的抬离之后发起另外的第一对象操纵行为和第二对象操纵行为。
176.根据权利要求158至175中任一项所述的方法，其中所述第一手势识别标准与围绕第一轴的旋转对应，并且所述第二手势识别标准与围绕与所述第一轴正交的第二轴的旋转对应。
177.一种计算机系统，包括：
显示生成部件；
触敏表面；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件显示第一用户界面区域，所述第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象，所述多个对象操纵行为包括响应于满足第一手势识别标准的输入而执行的第一对象操纵行为和响应于满足第二手势识别标准的输入而执行的第二对象操纵行为；
在显示所述第一用户界面区域时，检测涉及所述用户界面对象的输入的第一部分，包括检测一个或多个接触在所述触敏表面上的移动，并且当在所述触敏表面上检测到所述一个或多个接触时，相对于所述第一手势识别标准和所述第二手势识别标准评估所述一个或多个接触的移动；
响应于检测到所述输入的所述第一部分，基于所述输入的所述第一部分更新所述用户界面对象的外观，包括：
根据确定在满足所述第二手势识别标准之前所述输入的所述第一部分满足所述第一手势识别标准：
基于所述输入的所述第一部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第二手势识别标准的阈值来更新所述第二手势识别标准；以及
根据确定在满足所述第一手势识别标准之前所述输入满足所述第二手势识别标准：
基于所述输入的所述第一部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准。
178.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件和触敏表面的计算机系统执行时，使所述计算机系统：
经由所述显示生成部件显示第一用户界面区域，所述第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象，所述多个对象操纵行为包括响应于满足第一手势识别标准的输入而执行的第一对象操纵行为和响应于满足第二手势识别标准的输入而执行的第二对象操纵行为；
在显示所述第一用户界面区域时，检测涉及所述用户界面对象的输入的第一部分，包括检测一个或多个接触在所述触敏表面上的移动，并且当在所述触敏表面上检测到所述一个或多个接触时，相对于所述第一手势识别标准和所述第二手势识别标准评估所述一个或多个接触的移动；
响应于检测到所述输入的所述第一部分，基于所述输入的所述第一部分更新所述用户界面对象的外观，包括：
根据确定在满足所述第二手势识别标准之前所述输入的所述第一部分满足所述第一手势识别标准：
基于所述输入的所述第一部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第二手势识别标准的阈值来更新所述第二手势识别标准；以及
根据确定在满足所述第一手势识别标准之前所述输入满足所述第二手势识别标准：
基于所述输入的所述第一部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准。
179.一种计算机系统，包括：
显示生成部件；
触敏表面；
用于经由所述显示生成部件显示第一用户界面区域的装置，所述第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象，所述多个对象操纵行为包括响应于满足第一手势识别标准的输入而执行的第一对象操纵行为和响应于满足第二手势识别标准的输入而执行的第二对象操纵行为；
在显示所述第一用户界面区域时被启用的用于以下操作的装置：检测涉及所述用户界面对象的输入的第一部分，包括检测一个或多个接触在所述触敏表面上的移动；以及当在所述触敏表面上检测到所述一个或多个接触时，相对于所述第一手势识别标准和所述第二手势识别标准评估所述一个或多个接触的移动；和
响应于检测到所述输入的所述第一部分被启用的用于基于所述输入的所述第一部分更新所述用户界面对象的外观的装置，包括：
根据确定在满足所述第二手势识别标准之前所述输入的所述第一部分满足所述第一手势识别标准：
基于所述输入的所述第一部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第二手势识别标准的阈值来更新所述第二手势识别标准；以及
根据确定在满足所述第一手势识别标准之前所述输入满足所述第二手势识别标准：
基于所述输入的所述第一部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准。
180.一种用于在具有显示生成部件和触敏表面的计算机系统中使用的信息处理装置，包括：
用于经由所述显示生成部件显示第一用户界面区域的装置，所述第一用户界面区域包括与多个对象操纵行为相关联的用户界面对象，所述多个对象操纵行为包括响应于满足第一手势识别标准的输入而执行的第一对象操纵行为和响应于满足第二手势识别标准的输入而执行的第二对象操纵行为；
在显示所述第一用户界面区域时被启用的用于以下操作的装置：检测涉及所述用户界面对象的输入的第一部分，包括检测一个或多个接触在所述触敏表面上的移动，以及当在所述触敏表面上检测到所述一个或多个接触时，相对于所述第一手势识别标准和所述第二手势识别标准评估所述一个或多个接触的移动；和
响应于检测到所述输入的所述第一部分被启用的用于基于所述输入的所述第一部分更新所述用户界面对象的外观的装置，包括：
根据确定在满足所述第二手势识别标准之前所述输入的所述第一部分满足所述第一手势识别标准：
基于所述输入的所述第一部分根据所述第一对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第二手势识别标准的阈值来更新所述第二手势识别标准；以及
根据确定在满足所述第一手势识别标准之前所述输入满足所述第二手势识别标准：
基于所述输入的所述第一部分根据所述第二对象操纵行为来改变所述用户界面对象的所述外观；以及
通过增大所述第一手势识别标准的阈值来更新所述第一手势识别标准。
181.一种计算机系统，包括：
显示生成部件；
触敏表面；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求158至176所述的方法中的任一方法的指令。
182.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件和触敏表面的计算机系统执行时，使所述计算机系统执行根据权利要求158至176所述的方法中的任一方法。
183.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个输入设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求158至176所述的方法中的任一方法所显示的用户界面。
184.一种计算机系统，包括：
显示生成部件；
触敏表面；和
用于执行根据权利要求158至176所述的方法中的任一方法的装置。
185.一种用于在具有显示生成部件和触敏表面的计算机系统中使用的信息处理装置，包括：
用于执行根据权利要求158至176所述的方法中的任一方法的装置。
186.一种方法，包括：在具有显示生成部件、一个或多个输入设备、一个或多个音频输出生成器以及一个或多个相机的设备处：
经由所述显示生成部件在第一用户界面区域中显示虚拟对象的表示，所述第一用户界面区域包括一个或多个相机的视场的表示，其中所述显示包括保持所述虚拟对象的所述表示与在捕获在所述一个或多个相机的所述视场中的物理环境内所检测到的平面之间的第一空间关系；
检测调整所述一个或多个相机的所述视场的所述设备的移动；和
响应于检测到调整所述一个或多个相机的所述视场的所述设备的移动：
根据调整所述一个或多个相机的所述视场时所述虚拟对象与在所述一个或多个相机的所述视场内检测到的所述平面之间的所述第一空间关系，调整所述第一用户界面区域中所述虚拟对象的所述表示的显示，以及，
根据确定所述设备的所述移动导致超过阈值量的所述虚拟对象移动到所述一个或多个相机的所述视场的显示部分之外，经由所述一个或多个音频输出生成器生成第一音频警报。
187.根据权利要求186所述的方法，其中输出所述第一音频警报包括生成音频输出，所述音频输出指示在所述一个或多个相机的所述视场的所述显示部分上保持可见的所述虚拟对象的量。
188.根据权利要求186至187中任一项所述的方法，其中输出所述第一音频警报包括生成音频输出，所述音频输出指示由所述虚拟对象占据的所述视场的所述显示部分的量。
189.根据权利要求186至188中任一项所述的方法，包括：
检测所述触敏表面上与所述一个或多个相机的所述视场的所述表示对应的位置处通过接触进行的输入；以及
响应于检测到所述输入，并且根据确定在所述触敏表面上与未被所述虚拟对象占据的所述一个或多个相机的所述视场的第一部分对应的第一位置处检测到所述输入，生成第二音频警报。
190.根据权利要求186至189中任一项所述的方法，其中输出所述第一音频警报包括生成音频输出，所述音频输出指示相对于所述虚拟对象执行的操作以及执行所述操作后所述虚拟对象的结果状态。
191.根据权利要求190所述的方法，在所述第一音频警报的所述音频输出中，相对于与在所述一个或多个相机的所述视场中捕获的所述物理环境对应的参考帧，描述了在执行所述操作之后所述虚拟对象的结果状态。
192.根据权利要求186至191中任一项所述的方法，包括：
检测所述设备的另外移动，所述另外移动在生成所述第一音频警报之后进一步调整所述一个或多个相机的所述视场；以及
响应于检测到进一步调整所述一个或多个相机的所述视场的所述设备的另外移动：
在进一步调整所述一个或多个相机的所述视场时，根据所述虚拟对象与在所述一个或多个相机的所述视场内检测到的所述平面之间的所述第一空间关系，调整所述第一用户界面区域中所述虚拟对象的所述表示的显示，以及，
根据确定所述设备的所述另外移动导致超过第二阈值量的所述虚拟对象移动到所述一个或多个相机的所述视场的显示部分内，经由所述一个或多个音频输出生成器生成第三音频警报。
193.根据权利要求186至192中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟对象的所述表示，并且当前为所述虚拟对象选择了适用于所述虚拟对象的多个对象操纵类型的第一对象操纵类型时，检测切换到适用于所述虚拟对象的另一对象操纵类型的请求；以及
响应于检测到切换到适用于所述虚拟对象的另一对象操纵类型的所述请求，生成在适用于所述虚拟对象的多个对象操纵类型中命名第二对象操纵类型的音频输出，其中所述第二对象操纵类型与所述第一对象操纵类型不同。
194.根据权利要求193所述的方法，包括：
在生成在适用于所述虚拟对象的所述多个对象操纵类型中命名所述第二对象操纵类型的所述音频输出之后，检测执行与当前选择的对象操纵类型对应的对象操纵行为的请求；以及
响应于检测到执行与所述当前选择的对象操纵类型对应的所述对象操纵行为的所述请求，执行与所述第二对象操纵类型对应的对象操纵行为。
195.根据权利要求193至194中任一项所述的方法，包括：
响应于检测到切换到适用于所述虚拟对象的另一对象操纵类型的所述请求：
根据确定所述第二对象操纵类型是连续可调操纵类型，结合命名所述第二对象操纵类型的所述音频输出生成音频警报，以指示所述第二对象操纵类型是连续可调操纵类型；
检测执行与所述第二对象操纵类型对应的所述对象操纵行为的请求，包括检测所述触敏表面上与显示所述一个或多个相机的所述视场的所述表示的所述第一用户界面区域的一部分对应的位置处的轻扫输入；以及
响应于检测到执行与所述第二对象操纵类型对应的所述对象操纵行为的所述请求，以与所述轻扫输入的量值对应的量，执行与所述第二对象操纵类型对应的所述对象操纵行为。
196.根据权利要求186至195中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟对象的所述表示之前，在第二用户界面区域中显示所述虚拟对象的所述表示，其中所述第二用户界面区域不包括一个或多个相机的所述视场的表示；
在所述第二用户界面区域中显示所述虚拟对象的所述表示，并且当前为所述虚拟对象选择了适用于所述虚拟对象的多个操作的第一操作时，检测切换到适用于所述虚拟对象的另一操作的请求；以及
响应于检测到切换到适用于所述第二用户界面区域中的所述虚拟对象的另一操作的所述请求，生成在适用于所述虚拟对象的所述多个操作中命名第二操作的音频输出，其中所述第二操作不同于所述第一操作。
197.根据权利要求186至196中任一项所述的方法，包括：
在所述第一用户界面区域中显示所述虚拟对象的所述表示之前：在不包括所述一个或多个相机的所述视场的表示的第二用户界面区域中显示所述虚拟对象的所述表示时，检测在包括所述一个或多个相机的所述视场的表示的所述第一用户界面区域中显示所述虚拟对象的表示的请求；以及
响应于检测到在包括所述一个或多个相机的所述视场的表示的所述第一用户界面区域中显示所述虚拟对象的表示的所述请求：
根据所述虚拟对象的所述表示与在所述一个或多个相机的所述视场中捕获的所述物理环境内检测到的所述平面之间的第一空间关系，在所述第一用户界面区域中显示所述虚拟对象的表示；以及
生成第四音频警报，所述第四音频警报指示所述虚拟对象相对于在所述一个或多个相机的所述视场中捕获的所述物理环境放置在所述增强现实视图中。
198.根据权利要求197所述的方法，其中所述第三音频警报指示关于所述虚拟对象相对于所述一个或多个相机的所述视场的所述部分的外观的信息。
199.根据权利要求198所述的方法，包括：
结合所述虚拟对象在所述增强现实视图中相对于在所述一个或多个相机的所述视场中捕获的所述物理环境的放置，生成触觉输出。
200.根据权利要求186至198中任一项所述的方法，包括：
在所述第一用户界面区域中的第一位置处显示第一控件，同时显示所述一个或多个相机的所述视场的表示；
根据确定控制渐淡标准得到满足，停止在所述第一用户界面区域中显示所述第一控件，同时保持在所述第一用户界面区域中显示所述一个或多个相机的所述视场的所述表示；
在显示所述第一用户界面区域而不在所述第一用户界面区域中显示所述第一控件时，检测所述触敏表面上与所述第一用户界面区域中的所述第一位置对应的相应位置处的触摸输入；以及
响应于检测到所述触摸输入，生成包括指定与所述第一控件对应的操作的音频输出的第五音频警报。
201.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个音频输出发生器；
一个或多个相机；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述显示生成部件在第一用户界面区域中显示虚拟对象的表示，所述第一用户界面区域包括一个或多个相机的视场的表示，其中所述显示包括保持所述虚拟对象的所述表示与在捕获在所述一个或多个相机的所述视场中的物理环境内所检测到的平面之间的第一空间关系；
检测调整所述一个或多个相机的所述视场的所述设备的移动；以及
响应于检测到调整所述一个或多个相机的所述视场的所述设备的移动：
根据调整所述一个或多个相机的所述视场时所述虚拟对象与在所述一个或多个相机的所述视场内检测到的所述平面之间的所述第一空间关系，调整所述第一用户界面区域中所述虚拟对象的所述表示的显示，以及，
根据确定所述设备的所述移动导致超过阈值量的所述虚拟对象移动到所述一个或多个相机的所述视场的显示部分之外，经由所述一个或多个音频输出生成器生成第一音频警报。
202.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个输入设备、一个或多个音频输出生成器和一个或多个相机的计算机系统执行时，致使所述计算机系统：
经由所述显示生成部件在第一用户界面区域中显示虚拟对象的表示，所述第一用户界面区域包括一个或多个相机的视场的表示，其中所述显示包括保持所述虚拟对象的所述表示与在捕获在所述一个或多个相机的所述视场中的物理环境内所检测到的平面之间的第一空间关系；
检测调整所述一个或多个相机的所述视场的所述设备的移动：以及
响应于检测到调整所述一个或多个相机的所述视场的所述设备的移动：
根据调整所述一个或多个相机的所述视场时所述虚拟对象与在所述一个或多个相机的所述视场内检测到的所述平面之间的所述第一空间关系，调整所述第一用户界面区域中所述虚拟对象的所述表示的显示，以及，
根据确定所述设备的所述移动导致超过阈值量的所述虚拟对象移动到所述一个或多个相机的所述视场的显示部分之外，经由所述一个或多个音频输出生成器生成第一音频警报。
203.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个音频输出发生器；
一个或多个相机；
用于经由所述显示生成部件在第一用户界面区域中显示虚拟对象的表示的装置，所述第一用户界面区域包括一个或多个相机的视场的表示，其中所述显示包括保持所述虚拟对象的所述表示与在捕获在所述一个或多个相机的所述视场中的物理环境内所检测到的平面之间的第一空间关系；
用于检测调整所述一个或多个相机的所述视场的所述设备的移动的装置；和
响应于检测到调整所述一个或多个相机的所述视场的所述设备的移动而启用的用于以下操作的装置：
根据调整所述一个或多个相机的所述视场时所述虚拟对象与在所述一个或多个相机的所述视场内检测到的所述平面之间的所述第一空间关系，调整所述第一用户界面区域中所述虚拟对象的所述表示的显示，以及，
根据确定所述设备的所述移动导致超过阈值量的所述虚拟对象移动到所述一个或多个相机的所述视场的显示部分之外，经由所述一个或多个音频输出生成器生成第一音频警报。
204.一种用于在具有显示生成部件、一个或多个输入设备、一个或多个音频输出发生器和一个或多个相机的计算机系统中使用的信息处理装置，包括：
用于经由所述显示生成部件在第一用户界面区域中显示虚拟对象的表示的装置，所述第一用户界面区域包括一个或多个相机的视场的表示，其中所述显示包括保持所述虚拟对象的所述表示与在捕获在所述一个或多个相机的所述视场中的物理环境内所检测到的平面之间的第一空间关系；
用于检测调整所述一个或多个相机的所述视场的所述设备的移动的装置；和
响应于检测到调整所述一个或多个相机的所述视场的所述设备的移动而启用的用于以下操作的装置：
根据调整所述一个或多个相机的所述视场时所述虚拟对象与在所述一个或多个相机的所述视场内检测到的所述平面之间的所述第一空间关系，调整所述第一用户界面区域中所述虚拟对象的所述表示的显示，以及，
根据确定所述设备的所述移动导致超过阈值量的所述虚拟对象移动到所述一个或多个相机的所述视场的显示部分之外，经由所述一个或多个音频输出生成器生成第一音频警报。
205.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个相机；
一个或多个音频输出发生器；
一个或多个处理器；和
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求186至200所述的方法中的任一方法的指令。
206.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由具有显示生成部件、一个或多个输入设备、一个或多个音频输出发生器和一个或多个相机的计算机系统执行时，使所述计算机系统执行根据权利要求186至200所述的方法中的任一方法。
207.一种计算机系统上的图形用户界面，所述计算机系统具有显示生成部件、一个或多个输入设备、一个或多个音频输出发生器、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求186至200所述的方法中的任一方法所显示的用户界面。
208.一种计算机系统，包括：
显示生成部件；
一个或多个输入设备；
一个或多个音频输出发生器；
一个或多个相机；和
用于执行根据权利要求186至200所述的方法中的任一方法的装置。
209.一种用于在具有显示生成部件、一个或多个输入设备、一个或多个音频输出发生器和一个或多个相机的计算机系统中使用的信息处理装置，包括：
用于执行根据权利要求186至200所述的方法中的任一方法的装置。
CN201980010176.6A 2018-01-24 2019-01-23 用于3d模型的系统级行为的设备、方法和图形用户界面 Pending CN111954862A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862621529P 2018-01-24 2018-01-24
US62/621,529 2018-01-24
US201862679951P 2018-06-03 2018-06-03
US62/679,951 2018-06-03
DKPA201870346A DK201870346A1 (en) 2018-01-24 2018-06-11 Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
DKPA201870346 2018-06-11
US16/145,035 2018-09-27
US16/145,035 US11099707B2 (en) 2018-01-24 2018-09-27 Devices, methods, and graphical user interfaces for system-wide behavior for 3D models
PCT/US2019/014791 WO2019147699A2 (en) 2018-01-24 2019-01-23 Devices, methods, and graphical user interfaces for system-wide behavior for 3d models

Publications (1)

Publication Number Publication Date
CN111954862A true CN111954862A (zh) 2020-11-17

Family

ID=67069596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010176.6A Pending CN111954862A (zh) 2018-01-24 2019-01-23 用于3d模型的系统级行为的设备、方法和图形用户界面

Country Status (4)

Country Link
US (5) US10339721B1 (zh)
EP (1) EP3743798A2 (zh)
CN (1) CN111954862A (zh)
DK (4) DK201870347A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363652A (zh) * 2020-11-27 2021-02-12 北京城市网邻信息技术有限公司 一种信息处理方法及装置
CN114238685A (zh) * 2022-02-24 2022-03-25 深圳维特智能科技有限公司 基于ble路由器的托盘自动化统计方法、装置及计算机设备

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
KR102130797B1 (ko) * 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP3742405A3 (en) * 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
WO2015200889A1 (en) 2014-06-27 2015-12-30 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
KR20180057693A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10616033B2 (en) * 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
US10984179B2 (en) * 2017-12-04 2021-04-20 Microsoft Technology Licensing, Llc Intelligent object movement
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US11093103B2 (en) * 2018-04-09 2021-08-17 Spatial Systems Inc. Augmented reality computing environments-collaborative workspaces
EP3788775B1 (en) * 2018-05-02 2021-09-22 Telefonaktiebolaget LM Ericsson (publ) User equipment, method by a user equipment, and network node
EP3746869A1 (en) * 2018-05-07 2020-12-09 Google LLC Systems and methods for anchoring virtual objects to physical locations
CN112543901A (zh) 2018-08-08 2021-03-23 三星电子株式会社 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置
CN112639686A (zh) 2018-09-07 2021-04-09 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
CN112740163A (zh) * 2018-09-19 2021-04-30 富士胶片株式会社 带触摸屏显示器的器件及其控制方法和程序
EP3814876B1 (en) * 2018-10-03 2023-02-22 Google LLC Placement and manipulation of objects in augmented reality environment
CN112805800A (zh) * 2018-10-11 2021-05-14 欧姆龙株式会社 输入装置
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US20220004250A1 (en) * 2018-11-19 2022-01-06 Sony Group Corporation Information processing apparatus, information processing method, and program
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system
US10997630B2 (en) * 2018-12-20 2021-05-04 Rovi Guides, Inc. Systems and methods for inserting contextual advertisements into a virtual environment
US11392876B2 (en) * 2019-01-04 2022-07-19 Citrix Systems, Inc. Deploying and implementing enterprise policies that control augmented reality computing functions
US10909751B2 (en) 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
JP7267764B2 (ja) * 2019-02-08 2023-05-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
KR102654804B1 (ko) * 2019-02-20 2024-04-05 삼성전자주식회사 폴더블 디스플레이를 포함하는 전자 장치 및 그 동작 방법
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11158128B2 (en) * 2019-04-26 2021-10-26 Google Llc Spatial and semantic augmented reality autocompletion in an augmented reality environment
US10922892B1 (en) * 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
US11039061B2 (en) * 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US10726630B1 (en) * 2019-06-28 2020-07-28 Capital One Services, Llc Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
US11244516B2 (en) * 2019-09-16 2022-02-08 Magic Leap, Inc. Object interactivity in virtual space
US11657535B2 (en) * 2019-10-15 2023-05-23 Nvidia Corporation System and method for optimal camera calibration
JP7380103B2 (ja) * 2019-11-12 2023-11-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11347371B2 (en) * 2019-11-25 2022-05-31 Unity Technologies ApS Automatic translation of user interface elements from wireframe tools to production augmented reality framework
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
JP7447474B2 (ja) 2019-12-19 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11146765B2 (en) * 2019-12-20 2021-10-12 Everseen Limited System and method for displaying video data in a target environment
US11393337B2 (en) 2020-01-11 2022-07-19 Conduent Business Services, Llc System and interaction method to enable immersive navigation for enforcement routing
US11609345B2 (en) * 2020-02-20 2023-03-21 Rockwell Automation Technologies, Inc. System and method to determine positioning in a virtual coordinate system
US11393135B1 (en) * 2020-02-28 2022-07-19 Apple Inc. Modifying objects in a graphical environment
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
USD948555S1 (en) * 2020-04-02 2022-04-12 Xchange Mall, Inc. Display screen or portion thereof with a graphical user interface with navigation icons for native super application channels
US11574435B1 (en) * 2020-04-07 2023-02-07 Robert Edwin Douglas Multi-user extended reality viewing technique
CN111652964B (zh) * 2020-04-10 2021-09-10 合肥工业大学 基于数字孪生的电力巡检无人机辅助定位方法和系统
US11232640B2 (en) 2020-04-28 2022-01-25 Spatial Systems Inc. Augmented reality interaction, modeling, and annotation system
US11348325B2 (en) * 2020-05-06 2022-05-31 Cds Visual, Inc. Generating photorealistic viewable images using augmented reality techniques
US11188902B1 (en) * 2020-05-20 2021-11-30 Louise Dorothy Saulog Sano Live time connection application method and devices
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11830147B2 (en) * 2020-05-28 2023-11-28 Comcast Cable Communications, Llc Methods and systems for anchoring objects in augmented or virtual reality
CN111770381B (zh) * 2020-06-04 2022-08-05 北京达佳互联信息技术有限公司 视频编辑的提示方法、装置以及电子设备
USD940752S1 (en) * 2020-06-19 2022-01-11 Apple Inc. Display screen or portion thereof with icon
CN111757135B (zh) 2020-06-24 2022-08-23 北京字节跳动网络技术有限公司 直播互动方法、装置、可读介质及电子设备
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
WO2022046924A2 (en) * 2020-08-25 2022-03-03 Sterling Labs Llc Techniques for resizing virtual objects
CN116507990A (zh) * 2020-08-25 2023-07-28 谷歌有限责任公司 使用屏幕外手势检测来发起计算设备交互模式
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11568620B2 (en) * 2020-10-28 2023-01-31 Shopify Inc. Augmented reality-assisted methods and apparatus for assessing fit of physical objects in three-dimensional bounded spaces
US20220221976A1 (en) * 2021-01-13 2022-07-14 A9.Com, Inc. Movement of virtual objects with respect to virtual vertical surfaces
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11573676B2 (en) 2021-03-30 2023-02-07 Honda Motor Co., Ltd. Method and system for managing contextual views within a user interface
IT202100017219A1 (it) * 2021-06-30 2022-12-30 Octo Net S R L Sistema per visualizzare un modello tridimensionale virtuale in un’inquadratura di un ambiente fisico
WO2023095141A1 (en) * 2021-11-25 2023-06-01 Amir Amedi Tactile representation of location characteristics and content in 3d
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
US20230173387A1 (en) * 2021-12-03 2023-06-08 Sony Interactive Entertainment Inc. Systems and methods for training a model to determine a type of environment surrounding a user
US20230281915A1 (en) * 2022-03-04 2023-09-07 Aristocrat Technologies Australia Pty Limited Visualization system for creating a mixed reality gaming environment
US20230306652A1 (en) * 2022-03-11 2023-09-28 International Business Machines Corporation Mixed reality based contextual evaluation of object dimensions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20110041098A1 (en) * 2009-08-14 2011-02-17 James Thomas Kajiya Manipulation of 3-dimensional graphical objects or view in a multi-touch display
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US20140285522A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US20140306993A1 (en) * 2013-04-12 2014-10-16 Adam G. Poulos Holographic snap grid
US20170270715A1 (en) * 2016-03-21 2017-09-21 Megan Ann Lindsay Displaying three-dimensional virtual objects based on field of view

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3761106B2 (ja) 1996-03-04 2006-03-29 シャープ株式会社 倍率設定装置を備えた画像形成装置
US6426745B1 (en) 1997-04-28 2002-07-30 Computer Associates Think, Inc. Manipulating graphic objects in 3D scenes
US6448964B1 (en) 1999-03-15 2002-09-10 Computer Associates Think, Inc. Graphic object manipulating tool
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
KR101019569B1 (ko) 2005-08-29 2011-03-08 에브릭스 테크놀로지스, 인코포레이티드 모바일 이미지 인식을 통한 상호작용
US8181110B2 (en) * 2008-10-14 2012-05-15 I-Fax.Com Inc. DOM based media viewer
US8836645B2 (en) 2008-12-09 2014-09-16 Microsoft Corporation Touch input interpretation
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
BR112012004203A2 (pt) 2009-08-27 2019-09-24 Landa Labs 2012 Ltd método e dispositivo para geração de eletricidade e método de fabricação do mesmo'
JP5573238B2 (ja) 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
US20110296352A1 (en) 2010-05-27 2011-12-01 Microsoft Corporation Active calibration of a natural user interface
CN103314344B (zh) 2010-12-10 2015-11-25 索尼爱立信移动通讯有限公司 触敏触觉显示器
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
EP2546806B1 (en) 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
US8581901B2 (en) 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
US8687023B2 (en) 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
WO2013060085A1 (en) 2011-10-27 2013-05-02 The Hong Kong University Of Science And Technology System and method for constrained manipulations of 3d objects by multitouch inputs
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9316513B2 (en) * 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20130234926A1 (en) 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US20130257856A1 (en) * 2012-04-03 2013-10-03 Google Inc. Determining a View of an Object in a Three-Dimensional Image Viewer
CN104204994B (zh) 2012-04-26 2018-06-05 英特尔公司 增强现实计算装置、设备和系统
US9383895B1 (en) 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
US9159153B2 (en) 2012-06-05 2015-10-13 Apple Inc. Method, system and apparatus for providing visual feedback of a map view change
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
KR101917695B1 (ko) 2012-08-09 2018-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP2722954A1 (en) 2012-10-16 2014-04-23 ABB Technology AG Method of operate Is-limiters in ring systems
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US8997021B2 (en) * 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
WO2014124173A1 (en) 2013-02-08 2014-08-14 Changello Enterprise Llc Force determination based on capacitive sensing
US9679414B2 (en) 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10282083B2 (en) 2013-06-09 2019-05-07 Apple Inc. Device, method, and graphical user interface for transitioning between user interfaces
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
US20150135115A1 (en) 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Multi-touch input for changing text and image attributes
DE112014006380T5 (de) 2014-02-18 2016-11-24 Mitsubishi Electric Corporation Gestenführungsvorrichtung für eine bewegliche Plattform, Gestenführungssystem für eine bewegliche Plattform und Gestenführungsverfahren für eine bewegliche Plattform
US9720934B1 (en) 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
WO2015140813A1 (en) 2014-03-17 2015-09-24 Vats Nitin Interactive display system with screen cut-to-shape of displayed object for realistic visualization and user interaction
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US9971853B2 (en) 2014-05-13 2018-05-15 Atheer, Inc. Method for replacing 3D objects in 2D environment
US9646418B1 (en) 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
CN106937531B (zh) 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
US9589354B2 (en) 2014-06-17 2017-03-07 Chief Architect Inc. Virtual model viewing methods and apparatus
US9495008B2 (en) 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
TWI600322B (zh) 2014-09-02 2017-09-21 蘋果公司 用於操作具有整合式相機之電子器件之方法及相關電子器件，以及非暫時性電腦可讀取儲存媒體
US10070120B2 (en) 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9436369B2 (en) 2014-09-26 2016-09-06 Disney Enterprises, Inc. Touch interface for precise rotation of an object
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
JP6154543B2 (ja) 2015-01-30 2017-06-28 技術研究組合次世代３Ｄ積層造形技術総合開発機構 ３次元造形システム、情報処理装置、３次元造形モデル配置方法および３次元造形モデル配置プログラム
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US10339382B2 (en) 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
US10825049B2 (en) 2015-06-09 2020-11-03 Visa International Service Association Virtual reality and augmented reality systems and methods to generate mobile alerts
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
EP3116212B1 (en) 2015-07-06 2023-04-19 Nokia Technologies Oy Transition from display of first camera information to display of second camera information
US10482659B2 (en) 2015-07-15 2019-11-19 Oracle International Corporation System and method for superimposing spatially correlated data over live real-world images
US10134188B2 (en) 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
WO2017139509A1 (en) 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
TWI567691B (zh) 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
WO2017165705A1 (en) 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US10088898B2 (en) 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
US11494547B2 (en) 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170300214A1 (en) * 2016-04-19 2017-10-19 SAS Automation, LLC Three Dimensional Model Launch Tools And Methods Of Use
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
JP6323960B2 (ja) 2016-08-02 2018-05-16 本田技研工業株式会社 入力装置
US20190050132A1 (en) 2016-10-11 2019-02-14 Hewlett-Packard Development Company, L.P. Visual cue system
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10824294B2 (en) * 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
US20180143693A1 (en) 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20110041098A1 (en) * 2009-08-14 2011-02-17 James Thomas Kajiya Manipulation of 3-dimensional graphical objects or view in a multi-touch display
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US20140285522A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US20140306993A1 (en) * 2013-04-12 2014-10-16 Adam G. Poulos Holographic snap grid
US20170270715A1 (en) * 2016-03-21 2017-09-21 Megan Ann Lindsay Displaying three-dimensional virtual objects based on field of view

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363652A (zh) * 2020-11-27 2021-02-12 北京城市网邻信息技术有限公司 一种信息处理方法及装置
CN114238685A (zh) * 2022-02-24 2022-03-25 深圳维特智能科技有限公司 基于ble路由器的托盘自动化统计方法、装置及计算机设备
CN114238685B (zh) * 2022-02-24 2022-05-06 深圳维特智能科技有限公司 基于ble路由器的托盘自动化统计方法、装置及计算机设备

Also Published As

Publication number Publication date
DK201870346A1 (en) 2019-09-12
DK201870347A1 (en) 2019-10-08
US10475253B2 (en) 2019-11-12
US11099707B2 (en) 2021-08-24
US20210333979A1 (en) 2021-10-28
DK180842B1 (en) 2022-05-12
DK201870349A1 (en) 2019-10-23
US10339721B1 (en) 2019-07-02
US20190228581A1 (en) 2019-07-25
US20190228589A1 (en) 2019-07-25
DK201870348A1 (en) 2019-10-08
EP3743798A2 (en) 2020-12-02
US20190228582A1 (en) 2019-07-25
US10460529B2 (en) 2019-10-29
US20190228588A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
US20210333979A1 (en) Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US11922584B2 (en) Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
KR102543095B1 (ko) 증강 현실을 사용하여 측정하기 위한 디바이스들 및 방법들
JP6745852B2 (ja) ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
AU2019101597B4 (en) Devices, methods, and graphical user interfaces for system-wide behavior for 3D models
AU2022201389B2 (en) Devices, methods, and graphical user interfaces for system-wide behavior for 3D models
EP3901741B1 (en) Devices and methods for measuring using augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination