CN111857529A - 用于基于接近与用户界面对象交互的设备和方法 - Google Patents

用于基于接近与用户界面对象交互的设备和方法 Download PDF

Info

Publication number
CN111857529A
CN111857529A CN202010710188.4A CN202010710188A CN111857529A CN 111857529 A CN111857529 A CN 111857529A CN 202010710188 A CN202010710188 A CN 202010710188A CN 111857529 A CN111857529 A CN 111857529A
Authority
CN
China
Prior art keywords
touch
sensitive surface
contact
input object
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010710188.4A
Other languages
English (en)
Inventor
M·K·豪恩施泰因
J·T·伯恩斯坦
J·密西格
M·A·贝雷扎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111857529A publication Critical patent/CN111857529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及用于基于接近与用户界面对象交互的设备和方法。本发明提供了一种电子设备，电子设备具有触敏表面、显示器、用于检测触敏表面上方的输入对象的接近度的一个或多个第一传感器，以及用于检测输入对象与触敏表面的接触的强度的一个或多个第二传感器，电子设备在第一位置显示用户界面对象，并且检测在显示器上的第一位置处的用户界面对象的选择。在用户界面对象被选择时，设备在输入对象满足悬停标准时检测输入对象在触敏表面上方的横向移动。作为响应，设备根据横向移动来移动所选择的用户界面对象。在移动所选择的用户界面对象时，设备还根据输入对象的当前悬停接近参数动态地改变所选择的用户界面对象的第一视觉特性。

Description

用于基于接近与用户界面对象交互的设备和方法
本申请是申请日为2017年9月22日、申请号为201780053133.7、名称为“通过基于接近和基于接触的输入与用户界面对象交互的设备、方法和用户界面”的发明专利申请的分案申请。
技术领域
本发明总体涉及具有触敏表面的电子设备，包括但不限于具有通过基于接近和基于接触的输入促进用户界面交互的触敏表面的电子设备。
背景技术
触敏表面作为计算机和其他电子计算设备的输入设备的使用在近年来显著增长。示例性触敏表面包括触摸板和触摸屏显示器。此类表面广泛地用于操纵显示器上的用户界面对象。
一些触敏表面还包括检测由对象(例如，触笔)提供的输入的传感器，该对象不与触敏表面直接接触，但是非常接近触敏表面。基于接近的输入为在显示器上操纵用户界面对象提供了额外的途径。然而，基于接触的输入和基于接近的输入通常不能无缝地协同工作并且可能彼此干扰，从而导致用户的困惑和沮丧。
用户界面对象的示例性操纵包括调整一个或多个用户界面对象的位置和/或尺寸或激活按钮或打开由用户界面对象表示的文件/应用程序，以及将元数据与一个或多个用户界面对象相关联或以其他方式操纵用户界面。示例性用户界面对象包括数字图像、视频、文本、图标和控制元件(诸如按钮)以及其他图形。在某些情况下，用户需要在例如笔记记录应用程序、文件管理程序、图像管理应用程序、数字内容管理应用程序、绘图应用程序、演示文稿应用程序、文字处理应用程序或电子表格应用程序中对用户界面对象执行此类操作。
但是，用于执行这些操纵的方法是麻烦且低效的。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有用于与用户界面交互的更快、更有效的方法和界面的电子设备，以使用基于接触的输入和基于接近的输入来执行操作。此类方法和界面可选地补充或替换使用基于接触和基于接近的输入与用户界面交互的传统方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。
借助所公开的设备可减少或消除与具有触敏表面的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，该设备是台式计算机。在一些实施方案中，该设备是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该设备具有触控板。在一些实施方案中，该设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，该设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施方案中，用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能可选地包括图像编辑、绘图、呈现、文字处理、网站创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、笔记记录和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在具有触敏表面和显示器的电子设备处执行方法，其中电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象的接近度，并且可选地包括一个或多个第二传感器以检测输入对象与触敏表面的接触强度。该方法包括在显示器上的第一位置处显示用户界面对象，以及检测在显示器上的第一位置处的用户界面对象的选择。在用户界面对象被选择时，该方法还包括在输入对象满足悬停标准时检测输入对象在触敏表面上方的横向移动。响应于在输入对象满足悬停标准时检测到输入对象在触敏表面上方的横向移动，该方法包括根据输入对象在触敏表面上方的横向移动来移动所选择的用户界面对象。在根据输入对象在触敏表面上方的横向移动来移动所选择的用户界面对象时，该方法还包括根据输入对象的当前悬停接近参数动态地改变所选择的用户界面对象的第一视觉特性。
根据一些实施方案，在具有触敏表面和显示器的电子设备处执行方法，其中该设备包括一个或多个第一传感器以检测触敏表面上方的输入对象的接近度，并且可选地包括一个或多个第二传感器以检测输入对象与触敏表面的接触强度。该方法包括在显示器上的第一位置处显示用户界面对象。当在显示器上的第一位置处显示用户界面对象时，该方法还包括检测通过输入对象进行的输入的第一部分，其中检测输入的第一部分包括在输入对象满足悬停标准时在触敏表面上方的与显示器上的用户界面对象的第一位置相对应的位置处检测输入对象。响应于检测到输入的第一部分，该方法包括根据输入对象的当前悬停接近参数以第一方式动态地改变用户界面对象的外观。在根据输入对象的当前悬停接近参数以第一方式动态地改变用户界面对象的外观之后，该方法还包括检测通过输入对象的输入的第二部分，其中检测输入的第二部分包括检测输入对象在与显示器上的第一位置相对应的初始接触位置处与触敏表面接触；并且，响应于检测到输入的第二部分，根据输入对象在触敏表面上的接触的当前强度，以第二方式动态地改变用户界面对象的外观。
根据一些实施方案，在具有触敏表面和显示器的电子设备处执行方法，其中电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象的接近度，并且可选地包括一个或多个第二传感器以检测与触敏表面的接触强度。该方法包括在触敏表面上方的输入对象满足悬停标准时，在显示器上的文本内显示位置指示符。当在显示器上的文本内显示位置指示符时，该方法包括检测输入对象的包括平行于触敏表面的移动分量的第一移动，其中在第一移动期间输入对象继续满足悬停标准。响应于检测到输入对象在触敏表面上方的第一移动，该方法包括根据输入对象的第一移动在所显示的文本内移动位置指示符。在根据输入对象的第一移动在所显示的文本内移动位置指示符之后，该方法包括检测输入对象的包括平行于触敏表面的移动分量的第二移动；并且，响应于检测到输入对象跨触敏表面的第二移动：根据确定在输入对象与触敏表面接触时检测到输入对象的第二移动，在输入对象与触敏表面保持接触时，根据输入对象跨触敏表面的第二移动选择文本。
在具有显示器和触敏表面的设备上执行一种方法，其中该设备包括一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度。该方法包括在显示器上显示用户界面；检测通过输入对象的与第一用户界面操作的开始相对应的第一输入；在检测到与第一用户界面操作的开始相对应的第一输入之后并且在输入对象满足悬停接近标准时，检测输入对象的横向移动；响应于在输入对象满足悬停接近标准时检测到输入对象的横向移动，更新用户界面以指示第一用户界面操作的预览；在用户界面被更新以指示第一用户界面操作的预览时，检测到输入对象不再满足悬停接近标准；并且，响应于检测到输入对象不再满足悬停接近标准：根据确定因为输入对象已经退出触敏表面的悬停接近范围而不再满足悬停接近标准，取消第一用户界面操作；并且根据确定因为输入对象已经与触敏表面接触而不再满足悬停接近标准，确认第一用户界面操作。
在具有显示器和触敏表面的设备上执行一种方法，其中该设备包括一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度。该方法包括在显示器上的第一位置处显示第一用户界面对象；检测输入对象与第一用户界面对象的预定义交互；响应于检测到输入对象与第一用户界面对象的预定义交互，显示与第一用户界面对象相关联的第二用户界面对象；在显示第二用户界面对象时，检测输入对象的悬停接近参数的变化；并且，响应于检测到输入对象的悬停接近参数的变化：根据确定输入对象满足继续显示标准，其中该继续显示标准要求输入对象继续满足悬停接近标准，以便满足继续显示标准，从而保持第二用户界面对象的显示；并且根据确定输入对象满足停止显示标准，其中该停止显示标准要求输入对象不再满足悬停接近标准，以便满足停止显示标准，从而停止显示第二用户界面对象。
在具有显示器和触敏表面的设备上执行一种方法，其中该设备包括一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度。该方法包括：在显示器上显示第一用户界面；在显示器上显示第一用户界面时，检测到输入对象满足第一悬停接近标准，其中该第一悬停接近标准要求输入对象的悬停接近参数的当前值在第一值范围内，以便满足第一悬停接近标准；响应于检测到输入对象满足第一悬停接近标准，显示与第一悬停接近标准相关联的第一视觉反馈；在显示与第一悬停接近标准相关联的第一视觉反馈时，检测输入对象的悬停接近参数的当前值的变化，并且检测到在该变化之后输入对象满足第二悬停接近标准，其中该第二悬停接近标准要求输入对象的悬停接近参数的当前值在第一值范围内的第二值范围内，以便满足第二悬停接近标准；并且响应于检测到输入对象满足第二悬停接近标准，显示与第一视觉反馈不同且不连续的第二视觉反馈，该第二视觉反馈与第二悬停接近范围相关联。
在具有显示器和触敏表面的设备上执行一种方法，其中该设备包括一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度。该方法包括：在第一用户界面中显示包括至少第一用户界面对象的多个用户界面对象；在显示多个用户界面对象时，检测第一用户界面对象上方的第一悬停位置处的满足第一悬停接近标准的输入对象；在检测到第一用户界面对象上方的第一悬停位置处的满足第一悬停接近标准的输入对象之后，检测输入对象远离第一悬停位置的移动；响应于检测到输入对象远离第一悬停位置的移动：根据确定输入对象满足第一增强悬停接近标准，其中该第一增强悬停接近标准要求输入对象已满足第一悬停接近标准，以及在输入对象离开第一位置之前增强第一悬停接近标准的附加要求，从而执行与输入对象的移动相关联的第一操作；并且根据确定输入对象不满足第一增强悬停接近标准，放弃执行第一操作。
在具有显示器和触敏表面的设备上执行方法，其中该设备包括：一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度；以及一个或多个第二传感器，用于检测与触敏表面的接触强度。该方法包括：在显示器上显示包括第一用户界面对象的多个用户界面对象；检测通过输入对象的输入的第一部分，包括在输入对象满足第一悬停接近标准时在触敏表面上方的第一悬停位置处检测输入对象，其中触敏表面上方的第一悬停位置对应于显示器上第一用户界面对象的位置；响应于检测到输入的第一部分，包括在输入对象满足第一悬停接近标准时检测触敏表面上方的第一悬停位置处的输入对象：根据确定第一用户界面对象对基于强度的输入具有不同的响应，显示与第一用户界面对象相关联的第一视觉反馈，以指示第一用户界面对象对基于强度的输入具有不同的响应；并且，根据确定第一用户界面对象对基于强度的输入不具有不同的响应，放弃显示与第一用户界面对象相关联的第一视觉反馈。
在具有显示器和触敏表面的设备上执行一种方法，其中该设备包括一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度。该方法包括：在可选内容内显示内容选择对象，其中该内容选择对象包括内容选择对象的第一边缘和内容选择对象的第二边缘，并且其中选择位于内容选择对象的第一边缘和内容选择对象的第二边缘之间的内容；检测通过输入对象的输入的第一部分，包括在触敏表面上方的与内容选择对象的第一边缘相对应的第一悬停位置处检测输入对象；并且响应于检测到通过输入对象的输入的第一部分：根据确定输入的第一部分满足第一标准，其中该第一标准要求当在触敏表面上方的与显示器上内容选择对象的第一边缘的位置相对应的第一悬停位置处检测到输入对象时，输入对象满足悬停接近标准以便满足第一标准，从而以第一方式改变第一边缘相对于内容选择对象的第二边缘的外观，以指示当输入对象满足第二标准时，将选择内容选择对象的第一边缘相对于内容选择对象的第二边缘移动。
在具有显示器和触敏表面的设备上执行一种方法，其中该设备包括一个或多个第一传感器，用于检测触敏表面上方的输入对象的接近度。该方法包括：在显示器上显示多个用户界面对象，其中多个用户界面对象包括第一用户界面对象和第二用户界面对象，并且其中第一用户界面对象和第二用户界面对象显示在显示器上的不同位置；在输入对象满足悬停接近标准时，在触敏表面的第一部分上方的第一悬停位置处检测输入对象；响应于在输入对象满足悬停接近标准时在触敏表面的第一部分上方的第一悬停位置处检测到输入对象，将输入焦点放置在第一用户界面对象上；在第一用户界面对象具有输入焦点并且输入对象继续满足悬停接近标准时，检测输入对象从触敏表面的第一部分上方的第一悬停位置到不同于触敏表面的第一部分的触敏表面的相应部分上方的相应悬停位置的相应移动。并且在输入对象继续满足悬停接近标准时，响应于检测到输入对象的相应移动：根据确定相应的移动是从第一悬停位置到在触敏表面的第二部分上方的第二悬停位置的第一移动：根据确定第一移动满足第一焦点保持标准，其中第一焦点保持标准要求第一移动包括小于第一阈值量的横向移动，以便满足第一焦点保持标准，并且其中在输入对象从第一悬停位置到第二悬停位置的第一移动期间，基于输入对象的特征悬停接近参数的值确定第一阈值量的横向移动，从而保持输入焦点在第一用户界面对象上；并且根据确定第一移动满足第一焦点偏移标准，其中该第一焦点偏移标准要求第一移动至少包括第一阈值量的横向移动以便满足第一焦点偏移标准，从而使输入焦点从第一用户界面对象移动至第二用户界面对象。
根据一些实施方案，电子设备包括显示器、触敏表面、用于检测触敏表面上方的输入对象的接近度的一个或多个传感器和可选地用于检测与触敏表面的接触强度的一个或多个传感器、一个或多个处理器、存储器，以及一个或多个程序；一个或多个程序被存储在存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行任何本文所述的方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，所述指令当由具有显示器、触敏表面、用于检测触敏表面上方的输入对象的接近度的一个或多个传感器和可选地用于检测与触敏表面的接触强度的一个或多个传感器的电子设备执行时，使得该设备执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施方案，具有显示器、触敏表面、用于检测触敏表面上方的输入对象的接近度的一个或多个传感器、可选地用于检测与触敏表面的接触强度的一个或多个传感器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元件，该一个或多个元件响应于输入进行更新，如本文所述的任何方法中所描述的。根据一些实施方案，电子设备包括显示器、触敏表面、用于检测触敏表面上方的输入对象的接近度的一个或多个传感器和可选地用于检测与触敏表面的接触强度的一个或多个传感器；以及用于执行或导致执行本文所述方法中的任一方法的操作的装置。根据一些实施方案，用于具有显示器和触敏表面、用于检测触敏表面上方的输入对象的接近度的一个或多个传感器以及可选地用于检测与触敏表面的接触强度的一个或多个传感器的电子设备中的信息处理设备包括用于执行本文所述的任何方法的操作或使得本文所述的任何方法的操作被执行的装置。
因此，具有显示器、触敏表面、用于检测触敏表面上方的输入对象的接近度的一个或多个传感器以及可选地用于检测与触敏表面的接触强度的一个或多个传感器的电子设备被提供有用于与用户界面交互的更快、更有效的方法和界面，以通过基于接近和基于接触的输入执行操作，从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于通过基于接近和基于接触的输入与用户界面交互的传统方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4是根据一些实施方案的示例性电子触笔的框图。
图5A至图5B示出了根据一些实施方案的触笔相对于触敏表面的位置状态。
图6A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图6B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例用户界面。
图7A至图7U示出了根据一些实施方案的用于通过基于接近和基于接触的输入(例如，拉动、拾取、拖动和放下用户界面对象)与用户界面对象交互的示例性用户界面。
图7V至图7AJ示出了根据一些实施方案的用于通过基于接近和基于接触的输入(例如，推动、按压、放松和拉开用户界面对象)与用户界面对象交互的示例性用户界面。
图7AK至图7AU示出了根据一些实施方案的用于通过基于接近和基于接触的输入(例如，移动光标和选择文本)与用户界面对象交互的示例性用户界面。
图8A至图8V示出了根据一些实施方案的用于通过悬停移动输入显示移动操作的预览，并且根据确定输入对象在被抬离出悬停接近范围外之前是否与触敏表面接触而取消或确认移动操作的示例性用户界面。
图9A至图9O示出了根据一些实施方案的用于在通过输入对象的预定义用户界面交互之后显示用户界面对象，并且在输入对象继续满足悬停接近标准时有条件地保持用户界面对象的显示的示例性用户界面。
图10A至图10Y示出了根据一些实施方案的用于在检测到输入对象满足不同级别的悬停接近标准时显示不同视觉反馈的示例性用户界面。
图11A至图11J示出了根据一些实施方案的用于在输入对象满足增强悬停接近标准之后进入信息显示模式，并且在处于信息显示模式时，在输入对象满足非增强悬停接近标准时显示附加对象的信息的示例性用户界面。
图12A至图12R示出了根据一些实施方案的用于在输入对象悬停在对象上方时，显示指示对象是否具有针对基于强度的输入的不同对象特定响应的视觉反馈的示例性用户界面。
图13A至图13N示出了根据一些实施方案的用于在输入对象悬停在选择对象上方时，指示选择对象的哪个选择手柄被选择用于移动的示例性用户界面。
图14A至图14M示出了根据一些实施方案的在悬停移动输入期间将输入焦点保持在对象上，其中在悬停移动输入期间，基于输入对象的特征悬停接近参数动态地改变将输入焦点保持在对象上的标准。
图15A至图15C是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法的流程图。
图16A至图16E是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法的流程图。
图17A至图17C是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法的流程图。
图18A至图18G是示出根据一些实施方案的通过悬停移动输入移动对象的方法的流程图。
图19A至图19E是示出根据一些实施方案的使用悬停输入保持瞬态用户界面对象的显示的方法的流程图。
图20A至图20I是示出根据一些实施方案的当悬停输入满足不同级别的悬停接近标准时显示不同视觉反馈的方法的流程图。
图21A至图21D是示出根据一些实施方案的在满足增强悬停接近标准之后执行操作的方法的流程图。
图22A至图22G是示出根据一些实施方案的响应于悬停输入显示视觉反馈以识别对基于强度的输入具有不同响应的用户界面对象的方法的流程图。
图23A至图23E是示出根据一些实施方案的响应于悬停输入而在视觉上指示将被选择用于移动的选择对象的边缘的方法的流程图。
图24A至图24E是示出根据一些实施方案的基于输入对象是否已经进行超过阈值量的横向移动来保持对象上的输入焦点的方法的流程图，其中阈值量的横向移动是基于输入对象的特征悬停接近参数来确定的。
具体实施方式
提供基于接近的输入和基于接触的输入来操纵用户界面对象。根据用户界面对象是受基于接近的输入(例如，用户界面对象在悬停输入的影响下处于悬停状态)的影响还是受基于接触的输入(例如，用户界面对象在按压输入或轻扫输入的影响下处于接触状态)的影响来提供视觉、触觉和/或音频反馈。当用户界面对象在悬停状态和接触状态之间过渡时，可选地提供视觉、触觉和/或音频反馈。设备基于输入量度诸如悬停接近参数和接触强度动态地改变提供给用户的反馈。
在一些实施方案中，通过悬停输入来移动用户界面对象，并且设备基于悬停输入的悬停接近参数来改变用户界面对象的外观。在一些实施方案中，当连续输入包括一个或多个基于接近的输入和一个或多个基于接触的输入时，设备根据基于接近的输入的悬停接近参数并根据基于接触的输入的强度来改变用户界面对象的外观，使得当用户界面对象在悬停状态和接触状态之间过渡时，至少一个特征的变化是平滑变化。在一些实施方案中，输入对象(例如，手指或触笔)根据输入对象在触敏表面上方的横向移动将光标放置在文本中的位置处，并且根据输入对象跨触敏表面的横向移动，开始从光标位置扩展文本选择。
下面，图1A至图1B、图2和图3提供对示例性设备的描述。图4提供对示例性电子触笔的描述。图5A至图5B示出了触笔相对于触敏表面的位置状态。图6A至图6B、图7A至图7AU、图8A至图8V、图9A至图9O、图10A至图10Y、图11A至图11J、图12A至图12R、图13A至图13N以及图14A至图14L示出了用于通过基于接近的输入和基于接触的输入与用户界面对象交互的示例性用户界面。图15A至图15C、图16A至图16E、图17A至图17C、图18A至图18G、图19A至图19E、图20A至图20I、图21A至图21D、图22A至图22G、图23A至图23E和24A至图24E示出了通过基于接近和基于接触的输入与用户界面对象交互的方法的流程图。图6A至图6B、图7A至图7AU、图8A至图8V、图9A至图9O、图10A至图10Y、图11A至图11J、图12A至图12R、图13A至图13N以及图14A至图14L中的用户界面用于示出图15A至图15C、图16A至图16E、图17A至图17C、图18A至图18G、图19A至图19E、图20A至图20I、图21A至图21D、图22A至图22G、图23A至图23E和24A至图24E中的过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的
Figure BDA0002596266770000121
设备、iPod
Figure BDA0002596266770000122
设备、和
Figure BDA0002596266770000123
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序，诸如以下中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器163(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 120。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、一个或多个CPU 120、和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议、和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS)、和/或短消息服务(SMS))、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。所述一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到所述其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所使用，术语“示能表示”是用户交互式图形用户界面对象(例如，被配置为对指向图形用户界面对象的输入做出响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接、或其他用户界面控件。
触敏显示器系统112具有基于触觉/触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一个示例性实施方案中，触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0002596266770000171
iPod
Figure BDA0002596266770000172
和
Figure BDA0002596266770000173
中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，为500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100可选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。一个或多个触觉输出发生器163任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括用于获得关于设备的位置(例如，姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如，作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地，传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100可选地包括用于获得关于设备100的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。
在一些实施方案中，存储在存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、位置模块(或指令集)131、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图在1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其它信息占据触敏显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他输入或控制设备116获得的信息；以及关于设备的位置和/或姿态的位置和/或方位信息。
操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128促进通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0002596266770000191
iPod
Figure BDA0002596266770000192
和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0002596266770000193
iPod
Figure BDA0002596266770000194
和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括用于执行与(例如手指或触笔)接触检测相关的各种操作的软件部件，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触和/或触笔接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中，检测手指轻击手势取决于检测手指按下事件与手指抬起事件之间的时间长度，但是与检测手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中，根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、0.4或0.5秒)，检测轻击手势，而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值)，例如轻按压或深按压强度阈值。因此，手指轻击手势可以满足特定输入标准，该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见，轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件，低于该标称接触检测强度阈值时，不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面上方悬停的手指或触笔接触的情况下，标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如，可基于满足与手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、展开手势和/或长按压手势。例如，轻扫手势基于一个或多个接触的移动的量来检测；缩放手势基于两个或更多个接触朝彼此的移动来检测；扩放手势基于两个或更多个接触背离彼此的移动来检测；长按压手势基于触敏表面上具有少于阈值移动量的接触的持续时间来检测。因此，关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足，并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中，基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势，而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值，并且基于确定接触移动大于预定义量值来检测轻扫手势，即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如，当接触的强度高于强度阈值时，设备更快地检测到长按压，或者当接触的强度更高时，设备会延迟对轻击输入的检测)，只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准，则对这些手势的检测也不会要求接触达到特定强度阈值(例如，即使识别手势所需的时间量发生变化)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合，以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势，使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估，以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如，在某些情况下，第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在此类竞争中，如果第二手势的第二手势识别标准首先得到满足，则手势任选地不被识别为满足第一手势的第一手势识别标准。例如，如果在接触移动预定义的移动量之前接触达到相应的强度阈值，则检测到深按压手势而不是轻扫手势。相反，如果在接触达到相应的强度阈值之前接触移动预定义的移动量，则检测到轻扫手势而不是深按压手势。即使在此类情况下，第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准，因为如果接触保持低于相应的强度阈值直到手势结束(例如，具有不会增大到高于相应强度阈值的强度的接触的轻扫手势)，手势将被第一手势识别标准识别为轻扫手势。因此，不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下，忽略相对于强度阈值的接触强度(例如，对于轻击手势而言)和/或(B)在某些情况下，如果在特定手势识别标准识别与输入对应的手势之前，一组竞争的强度相关手势识别标准(例如，对于深按压手势而言)将输入识别为与强度相关手势对应，则不能满足特定手势识别标准(例如，对于长按压手势而言)，从这个意义上来讲，仍然取决于相对于强度阈值的接触强度(例如，对于与深按压手势竞争识别的长按压手势而言)。
结合加速度计167、陀螺仪168和/或磁力仪169，位置模块131任选地检测关于设备的位置信息，诸如在特定参考系中设备的姿态(滚转、仰俯和/或偏航)。位置模块130包括用于执行与检测设备位置以及检测设备位置变化相关的各种操作的软件部件。在一些实施方案中，位置模块131使用从与设备一起使用的触笔接收的信息来检测关于触笔的位置信息，诸如检测触笔相对于设备的位置状态以及检测触笔的位置状态的变化。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由触觉输出发生器163使用，以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供这种信息以在各种应用程序中使用(例如，提供至用于基于位置的拨号的电话138；提供至相机143作为图片/视频元数据；以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获得的其他桌面小程序、以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·任选地由视频播放器模块和音乐播放器模块构成的视频和音乐播放器模块152；
·记事本模块153；
·地图模块154；和/或
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、发送相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息、以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块146，健身支持模块142包括可执行指令用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏112上或在无线连接的或经由外部端口124连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上面未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167、一个或多个陀螺仪168、一个或多个磁力仪169和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施方案中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中Test以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，对相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块145中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏可选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中，用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204、用于使设备通电/断电和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212、和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165、和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器163。
图3是根据一些实施方案具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器163)、传感器359(例如，类似于以上参考图1A所述的传感器112、164、165、166、167、168和169的触敏传感器、光学传感器、接触强度传感器、接近传感器、加速度传感器、姿态和/或磁传感器)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370可选地存储上面未描述的另外的模块和数据结构。
图4是根据一些实施方案的示例性电子触笔203的框图。电子触笔203有时简称为触笔。触笔203包括存储器402(其任选地包括一个或多个计算机可读存储介质)、存储器控制器422、一个或多个处理单元(CPU)420、外围设备接口418、RF电路408、输入/输出(I/O)子系统406以及其他输入或控制设备416。触笔203任选地包括外部端口424和一个或多个光学传感器464。触笔203任选地包括用于检测触笔203在设备100上(例如，当触笔203与触敏表面诸如设备100的触敏显示器系统112一起使用时)或在其他表面(例如，桌子表面)上的接触的强度的一个或多个强度传感器465。触笔203任选地包括用于在触笔203上生成触觉输出的一个或多个触觉输出发生器463。这些部件可选地通过一个或多个通信总线或信号线403进行通信。
在一些实施方案中，上面讨论的术语“触觉输出”是指将由用户凭借用户的触摸感检测到的设备(例如，设备100)的附件(例如，触笔203)相对于附件的先前位置的物理位移、附件的部件相对于附件的另一部件的物理位移，或者部件相对于附件的质心的位移。例如，在附件或附件的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，由物理位移生成的触觉输出将由用户解释为触感，该触感对应于所感知的附件或附件的部件的物理特征的变化。例如，部件(例如，触笔203的外壳)的移动任选地由用户解释为对物理致动按钮的“点击”。在一些情况下，用户将感觉到触感，诸如“点击”，即使当通过用户的移动而物理地被按压(例如，被移位)的与触笔相关联的物理致动按钮没有移动时。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感知(例如，“点击”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感知。
应当理解，触笔203仅仅是电子触笔的一个示例，并且触笔203任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图4中所示的各种部件在硬件、软件、固件或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实现。
存储器402任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个闪存存储器设备或其他非易失性固态存储器设备。触笔203的其他部件(诸如一个或多个CPU 420和外围设备接口418)对存储器402的访问任选地由存储器控制器422控制。
外围设备接口418可被用于将触笔的输入外围设备和输出外围设备耦接到一个或多个CPU 420和存储器402。所述一个或多个处理器420运行或执行被存储在存储器402中的各种软件程序和/或指令集，以执行触笔203的各种功能并处理数据。
在一些实施方案中，外围设备接口418、一个或多个CPU 420、和存储器控制器422可选地在单个芯片诸如芯片404上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路408接收和发送也被称作电磁信号的RF信号。RF电路408将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与设备100或设备300、通信网络和/或其他通信设备进行通信。RF电路408可选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路408可选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议、和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS)、和/或短消息服务(SMS))、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
I/O子系统406将触笔203上的输入/输出外围设备诸如其他输入或控制设备416与外围设备接口418耦接。I/O子系统406任选地包括光学传感器控制器458、强度传感器控制器459、触觉反馈控制器461和用于其他输入或控制设备的一个或多个输入控制器460。所述一个或多个输入控制器460从其他输入或控制设备416接收电信号/将电信号发送到所述其他输入或控制设备。其他输入或控制设备416任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、点击轮等。在一些另选的实施方案中，一个或多个输入控制器460任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：红外线端口和/或USB端口。
触笔203还包括用于为各种部件供电的电力系统462。电力系统462任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示器(例如，发光二极管(LED))以及与便携式设备和/或便携式附件中电力的生成、管理和分配相关联的任何其他部件。
触笔203任选地还包括一个或多个光学传感器464。图4示出了与I/O子系统406中的光学传感器控制器458耦接的光学传感器。光学传感器464可选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器464从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。
触笔203任选地还包括一个或多个接触强度传感器465。图4示出了与I/O子系统406中的强度传感器控制器459耦接的接触强度传感器。一个或多个接触强度传感器465任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量表面上的接触的力(或压力)的传感器)。接触强度传感器465从环境接收接触强度信息(例如，压力信息或压力信息代理)。在一些实施方案中，至少一个接触强度传感器与触笔203的尖端并置排列或邻近。
触笔203任选地还包括一个或多个接近传感器466。图4示出了与外围设备接口418耦接的接近传感器466。另选地，接近传感器466与I/O子系统406中的输入控制器460耦接。在一些实施方案中，接近传感器确定触笔203与电子设备(例如，设备100)的接近度。
触笔203任选地还包括一个或多个触觉输出发生器463。图4示出了与I/O子系统406中的触觉反馈控制器461耦接的触觉输出发生器。一个或多个触觉输出发生器463可选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器463从触觉反馈模块433接收触觉反馈生成指令，并且在触笔203上生成能够由触笔203的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触笔203的长度(例如，主体或外壳)并置排列或邻近，并且任选地，通过竖直(例如，在平行于触笔203的长度的方向上)或横向(例如，在垂直于触笔203的长度的方向上)移动触笔203来生成触觉输出。
触笔203任选地还包括用于获取关于触笔203的位置和位置状态的信息的一个或多个加速度计467、陀螺仪468和/或磁力仪470(例如，作为惯性测量单元(IMU)的一部分)。图4示出了与外围设备接口418耦接的传感器467、469和470。另选地，传感器467、469和470任选地与I/O子系统406中的输入控制器460耦接。触笔203任选地包括用于获取关于触笔203的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。
在一些实施方案中，存储在存储器402中的软件部件包括操作系统426、通信模块(或指令集)428、接触/运动模块(或指令集)430、位置模块(或指令集)431和全球定位系统(GPS)模块(或指令集)435。此外，在一些实施方案中，存储器402存储设备/全局内部状态457，如图4所示。设备/全局内部状态457包括以下各项中的一者或多者：传感器状态，包括从触笔的各种传感器和其他输入或控制设备416获取的信息；位置状态，包括关于触笔相对于设备(例如，设备100)的位置(例如，位置、取向、倾斜、转动和/或距离，如图5A和图5B所示)的信息；以及关于触笔位置的位置信息(例如，由GPS模块435确定)。
操作系统426(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、功率管理等)的各种软件部件和/或驱动器，并且促进各种硬件部件和软件部件之间的通信。
通信模块428任选地有利于通过一个或多个外部端口424来与其他设备进行通信，并且还包括用于处理由RF电路408和/或外部端口424所接收的数据的各种软件部件。外部端口424(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0002596266770000391
iPod
Figure BDA0002596266770000392
和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块430任选地检测与触笔203和触笔203的其他触敏器件(例如，触笔203的按钮或其他触敏部件)的接触。接触/运动模块430包括用于执行与对接触的检测(例如，对触笔的尖端与触敏显示器诸如设备100的触摸屏112或与另一表面诸如桌子表面的接触的检测)相关的各种操作的软件部件，所述各种操作诸如为确定是否已发生接触(例如，检测触摸按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的代替物)、确定是否存在接触的移动并跟踪跨该移动(例如，跨设备100的触摸屏112)，以及确定接触是否已停止(例如，检测抬离事件或者接触断开)。在一些实施方案中，接触/运动模块430从I/O子系统406接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。如上所述，在一些实施方案中，与对接触的检测相关的这些操作中的一个或多个操作由设备使用接触/运动模块130执行(作为补充或代替触笔使用接触/运动模块430)。
接触/运动模块430任选地检测触笔203的手势输入。用触笔203进行的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单次轻击手势包括检测触摸按下事件，随后是在与触摸按下事件相同的位置(或基本上相同的位置)处(例如，在图标的位置处)检测抬离事件。又如，检测轻扫手势包括检测触摸按下事件，随后是检测一个或多个触笔拖动事件，并且随后接着是检测抬离事件。如上所述，在一些实施方案中，手势检测由设备使用接触/运动模块130执行(作为补充或代替触笔使用接触/运动模块430)。
结合加速度计467、陀螺仪468和/或磁力仪469，位置模块431任选地检测关于触笔的位置信息，诸如在特定参考系中触笔的姿态(滚转、仰俯和/或偏航)。结合加速度计467、陀螺仪468和/或磁力计469，位置模块431任选地检测触笔移动手势，诸如触笔的轻弹、轻击和转动。位置模块431包括用于执行与检测触笔的位置以及检测在特定参考系中触笔的位置的变化相关的各种操作的软件部件。在一些实施方案中，位置模块431检测触笔相对于设备的位置状态，并且检测触笔相对于设备的位置状态的变化。如上所述，在一些实施方案中，设备100或设备300使用位置模块131来确定触笔相对于设备的位置状态和触笔的位置状态的变化(作为补充或代替触笔使用位置模块431)。
触觉反馈模块433包括用于生成由一个或多个触觉输出发生器463使用的指令的各种软件部件，以响应于用户与触笔203的交互而在触笔203上的一个或多个位置处产生触觉输出。
GPS模块435确定触笔的位置并提供该信息以供在各种应用程序中使用(例如，提供给提供基于位置的服务的应用程序，诸如用于找到丢失的设备和/或附件的应用程序)。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器402任选地存储上述模块和数据结构的子组。此外，存储器402可选地存储上面未描述的另外的模块和数据结构。
图5A至图5B示出了根据一些实施方案的触笔203相对于触敏表面(例如，设备100的触摸屏112)的位置状态。在一些实施方案中，触笔203的位置状态对应于(或指示)：触笔的尖端(或其他代表性部分)在触敏表面上的投影位置(例如，图5A中的(x,y)位置504)、触笔相对于触敏表面的取向(例如，图5A中的取向506)、触笔相对于触敏表面的倾斜(例如，图5B中的倾斜512)和/或触笔相对于触敏表面的距离(例如，图5B中的距离514)。在一些实施方案中，触笔203的位置状态对应于(或指示)触笔的俯仰、偏航和/或转动(例如，触笔相对于特定参考系诸如触敏表面(例如，触摸屏112)或地面的姿态)。在一些实施方案中，位置状态包括一组位置参数(例如，一个或多个位置参数)。在一些实施方案中，根据来自触笔203的发送到电子设备(例如，设备100)的一个或多个测量结果来检测位置状态。例如，触笔测量触笔的倾斜(例如，图5B的倾斜512)和/或取向(例如，图5A的取向506)并将测量结果发送到设备100。在一些实施方案中，代替或者结合根据来自触笔203的一个或多个测量结果检测到的位置状态，根据由触敏表面(例如，设备100的触摸屏112)感测到的来自触笔中的一个或多个电极的原始输出来检测位置状态。例如，触敏表面接收来自触笔中的一个或多个电极的原始输出，并且基于原始输出(任选地，结合由触笔基于由触笔生成的传感器测量结果提供的位置状态信息)来计算触笔的倾斜和/或取向。
图5A示出了根据一些实施方案的从触敏表面(例如，设备100的触摸屏112)正上方的视角查看的触笔203相对于触敏表面。在图5A中，z轴594指向页面外(即，在垂直于触摸屏112的平面的方向上)，x轴590平行于触摸屏112的第一边缘(例如，长度)，y轴592平行于触摸屏112的第二边缘(例如，宽度)，并且y轴592垂直于x轴590。
图5A在(x,y)位置504处示出了触笔203的尖端。在一些实施方案中，触笔203的尖端是触笔的末端，其被配置用于确定触笔与触敏表面(例如，触摸屏112)的接近度。在一些实施方案中，触笔的尖端在触敏表面上的投影是正交投影。换句话讲，触笔的尖端在触敏表面上的投影是在从触笔尖端到触敏表面的垂直于触敏表面的表面的线的端部处的点(例如，(x,y)位置504，如果直接沿垂直于触敏表面的路径移动触笔，则触笔的尖端将在此点处触摸触敏表面)。在一些实施方案中，触摸屏112的左下角处的(x,y)位置是位置(0,0)(例如，(0,0)位置502)并且触摸屏112上的其他(x,y)位置相对于触摸屏112的左下角。另选地，在一些实施方案中，(0,0)位置位于触摸屏112的另一位置处(例如，在触摸屏112的中心)并且其他(x,y)位置相对于触摸屏112的(0,0)位置。
另外，图5A示出触笔203具有取向506。在一些实施方案中，取向506是触笔203在触摸屏112上的投影(例如，触笔203的长度的正交投影或与触笔203的两个不同点在触摸屏112上的投影之间的线对应的线)的取向。在一些实施方案中，取向506相对于平行于触摸屏112的平面中的至少一个轴。在一些实施方案中，取向506相对于平行于触摸屏112的平面中的单个轴(例如，轴508，具有从轴508开始从0度到360度变动的顺时针旋转角度，如图5A所示)。另选地，在一些实施方案中，取向506相对于平行于触摸屏112的平面中的一对轴(例如，x轴590和y轴592，如图5A所示，或者与显示在触摸屏112上的应用程序相关联的一对轴)。
在一些实施方案中，指示(例如，指示516)显示在触敏显示器(例如，设备100的触摸屏112)上。在一些实施方案中，指示516在触笔触摸触敏显示器之前示出触笔将触摸(或标记)触敏显示器的位置。在一些实施方案中，指示516是在触敏显示器上绘制的标记的一部分。在一些实施方案中，指示516与在触敏显示器上绘制的标记分开，并且对应于虚拟“笔尖”或指示将在触敏显示器上绘制标记的位置的其他元素。
在一些实施方案中，根据触笔203的位置状态来显示指示516。例如，在一些情况下，指示516从(x,y)位置504移位(如图5A和图5B所示)，并且在其他情况下，指示516不从(x,y)位置504移位(例如，当倾斜512为零度时，指示516显示在(x,y)位置504处或在其附近)。在一些实施方案中，根据触笔的位置状态，指示516被显示具有变化的颜色、尺寸(或半径或面积)、不透明度和/或其他特征。在一些实施方案中，所显示的指示考虑了触敏显示器上的玻璃层的厚度，以便将指示贯彻到触敏显示器的“像素上”，而不是将指示显示在覆盖像素的“玻璃上”。如本文所用，“指示”还可以用于指在描述示例性用户界面时在触摸屏上不可见的位置。
图5B示出了根据一些实施方案的从触敏表面(例如，设备100的触摸屏112)的侧面视角查看的触笔203相对于触敏表面。在图5B中，z轴594指向垂直于触摸屏112的平面的方向，x轴590平行于触摸屏112的第一边缘(例如，长度)，y轴592平行于触摸屏112的第二边缘(例如，宽度)，并且y轴592垂直于x轴590。
图5B示出触笔203具有倾斜512。在一些实施方案中，倾斜512是相对于触敏表面的表面的法线(也被简称为触敏表面的法线)(例如，法线510)的角度。如图5B所示，当触笔垂直于/垂直触敏表面时(例如，当触笔203平行于法线510时)，倾斜512为零，并且随着触笔倾斜接近平行于触敏表面，倾斜增大。
另外，图5B示出了触笔203相对于触敏表面的距离514。在一些实施方案中，距离514是在垂直于触敏表面的方向上从触笔203的尖端到触敏表面的距离。例如，在图5B中，距离514是从触笔203的尖端到(x,y)位置504的距离。
尽管本文使用术语“x轴”、“y轴”和“z轴”以在特定附图中示出某些方向，但是应当理解，这些术语不是指绝对方向。换句话讲，“x轴”可以是任何相应的轴，并且“y轴”可以是不同于x轴的特定轴。通常，x轴垂直于y轴。类似地，“z轴”不同于“x轴”和“y轴”，并且通常垂直于“x轴”和“y轴”两者。
另外，图5B示出了转动518—围绕触笔203的长度(长轴)的旋转。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图6A示出了根据一些实施方案的用于便携式多功能设备100上的应用程序的菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面600包括以下元件或者其子集或超集：
·一个或多个无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示符602；
·时间604；
·蓝牙指示符605；
·电池状态指示符606；
·具有常用应用程序的图标的托盘608，该图标诸如：
ο电话模块138的被标记为“电话”的图标616，该图标可选地包括未接来电或语音留言的数量的指示符614；
ο电子邮件客户端模块140的被标记为“邮件”的图标618，该图标可选地包括未读电子邮件的数量的指示符610；
ο浏览器模块147的被标记为“浏览器”的图标620；以及
ο视频和音乐播放器模块152(也称为iPod(Apple Inc.的商标)模块152)的被标记为“iPod”的图标622；以及
·其他应用的图标，诸如：
οIM模块141的被标记为“文本”的图标624；
ο日历模块148的被标记为“日历”的图标626；
ο图像管理模块144的被标记为“照片”的图标628；
ο相机模块143的被标记为“相机”的图标630；
ο在线视频模块155的被标记为“在线视频”的图标632；
ο股市桌面小程序149-2的被标记为“股市”的图标634；
ο地图模块154的被标记为“地图”的图标636；
ο天气桌面小程序149-1的被标记为“天气”的图标638；
ο闹钟桌面小程序169-6的被标记为“时钟”的图标640；
ο健身支持模块142的被标记为“健身支持”的图标642；
ο记事本模块153的被标记为“记事本”的图标644；以及
ο用于设置应用程序或模块的图标646，该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是，图6A中示出的图标标签仅是示例性的。例如，在一些实施方案中，视频和音乐播放器模块152的图标622被标记为“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图6B示出了具有与显示器650分开的触敏表面651(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。设备300还可选地包括用于检测触敏表面651上的接触的强度的一个或多个接触强度传感器(例如，传感器359中的一个或多个传感器)、和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器359。
图6B示出了具有与显示器650分开的触敏表面651(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。在一些实施方案中，触敏表面(例如，图6B中的651)具有与显示器(例如，650)上的主轴线(例如，图6B中的653)对应的主轴线(例如，图6B中的652)。根据这些实施方案，设备检测与显示器上相应位置对应的位置处的与触敏表面651的接触(例如，图6B中的660和662)(例如，在图6B中，660对应于668并且662对应于670)。这样，在触敏表面(例如，图6B中的651)与多功能设备的显示器(例如，图6B中的650)是分开的时侯，由设备在触敏表面上所检测到的用户输入(例如，接触660和662以及它们的移动)被该设备用于操纵显示器上的用户界面。下面的一些示例将参考检测与显示器分开的触敏表面上的输入的设备给出，如图6B所示。下面的一些示例将参考触摸屏显示器112(其中触敏表面和显示器被组合)上的输入给出。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然以下一些示例主要参考手指输入(例如，手指接触、手指轻击手势、手指按压手势，以及手指轻扫手势等)给出，但是应当理解，在一些实施方案中，一个或多个手指输入被来自另一输入设备的输入(例如，基于鼠标的输入或基于触笔的输入)替换。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触控板355或图6B中的触敏表面651)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调整。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图6A中的触摸屏)的一些具体实施中，在触摸屏上检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。如本文所用，“焦点选择器”可以是悬停输入对象(例如，手指或触笔)的可见“指示”或不可见“指示”。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或者是指触敏表面上的接触的力或压力的替代物(代理)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，将接触力或压力的替代测量值转换为预估力或压力，并且使用预估力或压力确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130和/或接触/运动模块430使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设置为预定义阈值的大范围中的任一个阈值。另外，在一些实施方案中，向设备的用户提供用于调节这组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续轻扫接触，该连续轻扫接触从起始位置过渡并达到结束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该实施例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的一部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。
下文描述的用户界面图(例如，图7A至图7AU)可选地包括各种强度图，这些强度图示出触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值IT0、轻按压强度阈值ITL、深按压强度阈值ITD和/或一个或多个其他强度阈值)的当前强度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值IT0，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(例如，40ms、100ms、或120ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外的深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到深按压输入的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素(诸如用户设置、接触运动、输入定时、应用运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等)而变化。示例性因素在美国专利申请序列14/399,606和14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。
接触特征强度从低于轻按压强度阈值ITL的强度增大到介于轻按压强度阈值ITL与深按压强度阈值ITD之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值ITD的强度增大到高于深按压强度阈值ITD的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈值IT0的强度增大到介于接触检测强度阈值IT0与轻按压强度阈值ITL之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值IT0的强度减小到低于接触检测强度阈值IT0的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，IT0为零。在一些实施方案中，IT0大于零在一些例示中，阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些例示中，没有阴影的圆或椭圆用于表示触敏表面上的相应接触而不指定相应接触的强度。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中，设备采用强度滞后以避免有时称为“抖动”的意外输入，其中该设备以与按压输入强度阈值的预定义关系来定义或选择滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值小X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。
为了容易解释，任选地响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述，在一些实施方案中，对这些操作的触发还取决于满足基于时间的标准(例如，在满足第一强度阈值和满足第二强度阈值之间已经过延迟时间)。
用户界面和相关联的过程
现在将注意力转向可在具有显示器、触敏表面和(任选地)用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备诸如便携式多功能设备100或设备300上实现的用户界面(“UI”)和相关联的过程的实施方案。
图7A至图7AU、图8A至图8V、图9A至图9O、图10A至图10Y、图11A至图11J、图12A至图12R、图13A至图13N以及图14A至图14L示出了根据一些实施方案的用于通过基于接近的输入和基于接触的输入与用户界面对象交互的示例性用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图15A至图15C，图16A至图16E、图17A至图17C、图18A至图18G、图19A至图19E、图20A至图20I、图21A至图21D、图22A至图22G、图23A至图23E和24A至图24E中的过程。尽管将参考独立于显示器650的触敏表面651上的输入给出以下一些示例，但在一些实施方案中，该设备检测触摸屏显示器(其中组合了触敏表面和显示器)上的输入，如图6A中所示。尽管将参考触摸屏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
图7A至图7U示出了通过输入对象(例如，手指或触笔，诸如触笔203)的基于接近的输入和基于接触的输入与用户界面对象交互(例如，包括拾取、移动和放下用户界面对象)的过程。虽然该示例是参考由触笔203提供的输入给出，但是在一些实施方案中，设备检测由其他类型的输入对象(诸如手指、棒、手持控制器等)提供的输入，以执行下面所示的操作。
由输入对象提供(并且由电子设备(例如，设备100)检测)的输入的输入参数包括悬停接近参数，该悬停接近参数是输入对象的预定部分(例如，手指的尖端或触笔的尖端)与触敏表面(例如，触摸屏112或触敏表面651)之间的距离(例如，距离514)(或基于该距离计算)。在一些实施方案中，输入参数包括输入对象(例如，手指或触笔203)相对于触敏表面的横向位置(例如，(x,y)位置504)。在一些实施方案中，输入参数包括输入对象的三维位置状态和移动，例如如相对于图5A和图5B所描述的。在一些实施方案中，当输入对象与触敏表面接触时，输入参数包括输入对象(例如，手指或触笔的尖端)与触敏表面的接触的特征强度和位置。
在图7A中，用户界面702显示在显示器650上。用户界面702包括多个用户界面对象(例如，由一行和一列圆圈表示)，包括用户界面对象704(例如，应用程序启动图标、按钮等)。当触笔203的尖端距触敏表面保持在阈值悬停距离的距离(例如，距离514)时，该设备可选地不显示与显示器上的触笔203相对应的任何视觉指示符或焦点选择器。
图7B示出了当触笔203的尖端朝向触敏表面移动并且保持在触敏表面的阈值悬停距离内时，该设备可选地显示视觉指示符(例如，指示符706(例如，手形指针706-a))。指示符706显示在用户界面702中与触敏表面上的位置(例如，位置701)相对应的位置处，该位置基于触笔203的横向位置(例如，(x,y)位置504)以及可选地触笔203的垂直位置和/或位置状态来确定。如图7B所示，当触笔203的尖端在触敏表面651上方并且不与触敏表面651接触时，位置701偏离触笔203的(x,y)位置504。偏移量可选地基于垂直距离514并且可选地基于触笔203的位置状态来确定。
图7B至图7C示出了当触笔203在被保持在触敏表面上方并且在触敏表面的阈值悬停距离内时(换句话讲，当触笔203在触敏表面上方的悬停范围内时)横向移动时，指示符706根据触笔203的横向移动来移动。在图7C中，当指示符706到达用户界面对象704时，触笔203的横向移动停止。响应于检测到触笔203悬停在触敏表面上与用户界面对象704的位置相对应的位置上方，该设备改变用户界面对象704的外观(例如，稍微放大用户界面对象704)。
图7D至图7F示出了当触笔203在悬停范围内上下垂直移动时，设备根据触控笔203的当前悬停距离动态地改变用户界面对象704的外观。在该示例中，设备随着悬停距离(例如，由距离514表示)的减小放大用户界面对象704的尺寸，并且随着悬停距离的增加而减小用户界面对象704的尺寸。
图7G至图7H示出了在触笔203在触敏表面的阈值悬停距离内时，当指示符706在距用户界面对象704的原始位置(例如，用户界面对象的质心的位置)的阈值距离(例如，用户界面对象直径的四分之三)内时，触笔203的横向移动影响用户界面对象704的形状。换句话讲，指示符706远离用户界面对象704的原始位置的横向移动在指示符706的移动方向上拉伸用户界面对象704，直到指示符706横向移动超过距用户界面对象704的原始位置的阈值距离。在一些实施方案(未示出)中，当触笔203远离触敏表面时阈值距离较短，并且在对象704快速恢复其原始形状之前可以将较小量的拉伸施加到对象704。
图7I示出了当指示符706移动超过距用户界面对象704的原始位置的阈值距离时，用户界面对象704快速恢复其原始位置和形状。在一些实施方案中，用户界面对象可随着指示符706的移动而从其原始位置拉开一小段距离，但是一旦指示符706移动超过距对象704的原始位置的阈值距离，便快速恢复其原始位置。
图7J示出触笔203与触敏表面651初始接触。在触笔203与触敏表面初始接触时，设备改变指示符706的外观，以指示已经接触并且用户界面对象704不再处于悬停状态，并且将通过触笔203和触敏表面之间的接触来执行与用户界面对象的交互。此外，该设备还改变用户界面对象704的外观(例如，与触笔203与触敏表面接触之前的尺寸相比，进一步放大用户界面对象704，并突出显示用户界面对象704)，以指示用户界面对象现在正由触摸输入操纵，而不是悬停输入。在一些实施方案中，对象704的尺寸的变化在触笔203与触敏表面接触之前和之后的对象状态之间的过渡期间是连续的。在一些实施方案中，设备生成音频输出(例如，音频信号708)以指示触笔203已经与触敏表面初始接触。音频反馈(例如，通过音频信号708)增强视觉反馈(例如，放大和突出显示用户界面对象704)以警告用户对象704已退出悬停状态并进入接触状态，并且与悬停状态相比，在接触状态中用户界面行为将是不同的。在一些实施方案中，如果触笔203在与触敏表面(未示出)保持接触的同时横向移动，则指示符706根据触笔203的横向移动来移动，并且将对象704与其一起拖动到用户界面702内。在一些实施方案中，为了与通过触笔203提供的悬停输入对对象的拖动进行区分，响应于触笔203在与触敏表面保持接触时的横向移动，对象704以与指示符706相同的速度移动并且不会滞后于指示符706。
图7K至图7L示出了当触笔203和触敏表面之间的接触保持超过阈值量的时间(例如，T长按压)使得设备注册长按压输入(例如，在注册长按压输入之前，触笔203没有移动超过阈值量)时，用户界面对象704被触笔203拾取。在检测到触笔203与触敏表面保持接触超过长按压时间阈值时，设备改变指示符706的外观(例如，从张开的手706-b改变为抓取的手706-c)以示出用户界面对象704附接到指示符706。该设备提供触觉输出(例如，离散的触觉输出710)以指示用户界面对象704被拾取并准备好被抬起并与触笔203一起移动。在一些实施方案中，设备示出用户界面对象704看起来从其原始z位置朝向指示符706跳起。在一些实施方案中，触觉输出710的生成与用户界面对象704与指示符706的附接同步。
图7M至图7R示出了响应于触笔203悬停在触敏表面上方时触笔203的移动，用户界面对象704被抬起并且与指示符706一起移动的过程。在图7M至图7O中，在触笔203从触敏表面抬离之后，触笔203在远离触敏表面移动的同时横向移动。随着触笔203和触敏表面之间的距离增大(如通过距离514的增加的值所示)，指示符706的尺寸增大。另外，随着触笔203和触敏表面之间的距离增大，对象704的尺寸也相应地增大。在图7O至图7P中，示出了随着触笔203与触敏表面之间的距离减小，指示符706的尺寸减小。另外，随着触笔203和触敏表面之间的距离减小，对象704的尺寸也减小。
在图7Q中，触笔被提升到触敏表面上方非常接近悬停范围边缘的距离(例如，距离悬停范围边缘的距离小于阈值(例如，阈值悬停距离的10％))，如果触笔203(例如，在阈值量的时间(例如，300毫秒)内)没有立即靠近触敏表面，则该设备生成指示触笔203即将退出悬停范围并且悬停输入即将终止的视觉反馈(例如，指示符702的闪烁边缘712)。在一些实施方案中，设备生成触觉输出714(和/或音频警报)并且显示视觉反馈以指示触笔203即将退出悬停范围。图7R示出了触笔更靠近触敏表面而不退出悬停范围，并且指示符706的外观得以恢复(例如，闪烁边缘712不再显示)。根据触笔203的当前悬停距离调整对象704的尺寸。
在图7M至图7R中，示出了对象704的尺寸根据触笔203的悬停距离的变化动态地改变，而对象704根据指示符706的横向移动(并且根据触笔203在触敏表面上方的横向移动)横向移动。另外，在指示符706的横向移动期间，对象704的移动稍微滞后于指示符704的移动，因此，当指示符706改变其移动方向，或突然减速或加速时，指示符706和对象704的相对位置稍微改变以反映该滞后。
图7S示出了在触笔203拾取并移动用户界面对象704(例如，如图7M至图7R所示)之后，触笔203再次与触敏表面接触以将用户界面对象704放下。在一些实施方案中，在检测到触笔203和触敏表面之间的第二接触时，该设备改变指示符706的外观(例如，从抓取的手706-c改变为张开的手706-d)以指示对象704将在当前位置放下。在一些实施方案中，设备示出对象704与指示符706脱离。该设备可选地生成触觉输出(触觉输出716)以及落在用户界面702的表面上的对象704。
图7T示出了在放下对象704之后，触笔203被抬离触敏表面并且指示符706的外观被改变以指示触笔203再次处于悬停状态。如果此时触笔203在悬停在触敏表面上方的情况下横向移动，则对象706将被移动指示符706拉伸但不会随指示符706移动(例如，如先前在图7G至图7H中所示)。
图7U示出了在放下对象704并从触敏表面抬离之后，触笔203然后被提升到悬停范围之外，使得触笔203不再处于悬停状态。不再显示指示符706，并且在其新位置显示对象704并恢复其原始外观。
图7V至图7AJ示出了设备100响应于连续输入而改变对象704的外观的过程，该连续输入包括输入的第一部分，其中触笔203悬停于触敏表面上方，接着是输入的第二部分，其中触笔203与触敏表面接触，然后是输入的第三部分，其中触笔从触敏表面抬离并再次处于悬停状态。在该示例中，设备在触笔203与触敏表面初始接触之前根据触笔203的悬停距离以第一方式动态地改变对象704的外观。在触笔203与触敏表面初始接触之后，设备根据触笔203的接触强度以第二方式动态地改变对象704的外观。在一些实施方案中，外观的至少一个变化(例如，对象704的尺寸的变化)在悬停状态和接触状态之间的过渡期间是连续的。在一些实施方案中，外观的至少一个变化(例如，对象704的颜色的变化)在悬停状态和接触状态之间的过渡期间是不连续的。另外，当触笔203停止与触敏表面的初始接触时，设备根据触笔203的悬停距离动态地改变对象704的外观。在一些实施方案中，外观的至少一个变化(例如，对象704的尺寸的变化)在接触状态和悬停状态之间的过渡期间是连续的。在一些实施方案中，外观的至少一个变化(例如，对象704的颜色的变化)在接触状态和悬停状态之间的过渡期间是不连续的。
图7U至图7V示出了当触笔203在对应于用户界面702中的对象704的位置的位置处从触敏表面上方进入悬停范围时，设备在用户界面702中的对象704的位置处显示指示符706。
图7V至图7X示出了当触笔203从上方接近触敏表面时，在触笔203与触敏表面初始接触之前，设备100随着触笔203的悬停距离的减小(例如，由减少的距离514表示)而增大对象704的尺寸。在一些实施方案中，设备还随着触笔203的悬停距离的减小而增大指示符706的尺寸。
图7Y示出了触笔203与触敏表面的初始接触。在图7Y中，示出了一旦触笔203与触敏表面接触并且接触强度满足检测阈值IT0，设备改变指示符706的外观(例如，从手形指针706-a改变为张开的手706-b)以指示触笔203已退出悬停状态并且现在处于接触状态。另外，在检测到触笔203与触敏表面的接触时(例如，在检测到接触强度满足检测阈值IT0时)，设备100改变对象704的外观(例如，通过突出显示对象704或改变对象704的颜色)以指示对象704现在将响应于触笔203与触敏表面之间的接触的接触强度的变化。从未突出显示状态到突出显示状态的过渡是对象704的外观的突然改变，当触笔203与触敏表面接触时，或者当接触强度达到接触检测强度阈值IT0时，发生这种情况。在一些实施方案中，在触笔触摸触敏表面并且接触强度低于检测阈值强度IT0之前的中间阶段，设备应用动画过渡，以将对象704的尺寸从触笔203触摸触敏表面之前的状态改变(例如，以增大尺寸)为触笔203和触敏表面之间的接触强度满足检测强度阈值IT0之后的状态。换句话讲，当触笔203从悬停状态过渡到接触状态时，对象704的尺寸的变化(例如，尺寸增大)为平滑过渡。
图7Z至图7AB示出了当触笔203与触敏表面接触时，设备100根据触笔203和触敏表面之间的接触的特征强度(例如，在强度计中示出为接触强度655)动态地改变对象704的外观。例如，如图7Z至图7AB所示，随着触笔203与触敏表面之间的接触强度的增大，设备增大对象704的尺寸。在一些实施方案中，当触笔203与触敏表面之间的接触强度增大时，设备也可选地增大指示符706的尺寸。
可以看出，当触笔203接近触敏表面651、与触敏表面651接触、以及以增大的强度压靠触敏表面651时，对象704的尺寸连续增大。换句话讲，当首先根据悬停状态下减小的悬停距离，然后根据接触状态下增大的接触强度改变对象704的尺寸时，接触状态下增大的接触强度被视为悬停状态下减小的悬停距离的延续。相反，当触笔203与触敏表面初始接触时，对象704的颜色或突出显示经历突然转变。换句话讲，设备通过对对象704的外观应用突然改变来指示从悬停状态到接触状态的过渡。
图7AB还示出了当触笔203和触敏表面之间的接触强度达到轻按压强度阈值ITL时(并且在满足轻按压强度阈值之前接触不会移动超过阈值量)，设备100执行与对象704相关联的操作，诸如显示与对象704相关联的菜单718。在一些实施方案中，在接触强度达到轻按压强度阈值之前(例如，在接触强度达到低于轻按压强度阈值的提示强度阈值之后)，可选地显示提示动画(例如，对象704或用户界面702的视觉改变(例如，除了对象704之外的用户界面702的模糊和变暗))。
图7AB至图7AD示出了当触笔203与触敏表面保持接触时，触笔203逐渐降低与触敏表面的接触的强度。当触笔203和触敏表面之间的接触强度逐渐减小时，设备根据触笔203与触敏表面之间的接触强度的减小逐渐减小对象704的尺寸。在一些实施方案中，随着触笔203与触敏表面之间的接触强度降低，设备还逐渐减小指示符706的尺寸。另外，在一些实施方案中，当触笔203与触敏表面之间的接触强度逐渐减小时，仍然显示菜单718。
图7AE示出了当触笔203即将从触敏表面抬离，并且触笔203与触敏表面之间的接触强度已降低至接触检测阈值IT0时，设备确定触笔203将再次从接触状态过渡到悬停状态。当触笔203从接触状态过渡到悬停状态时，当触笔203在与触敏表面初始接触之后立即从悬停状态过渡到接触状态时，对象704的尺寸与对象704的尺寸相同。
图7AE至图7AH示出了在触笔203再次从接触状态过渡回悬停状态之后，设备随着触笔203的悬停距离的增大而增大对象704的尺寸。指示符706的尺寸随着触笔203的悬停距离的增大而增大。在触笔203从触敏表面上抬离之后指示符外观的变化与触笔203与触敏表面初始接触之前指示符706的外观变化一致。换句话讲，指示符706的尺寸随着触笔203的悬停距离的增大而增大，而不管是在触笔203与触敏表面初始接触之前还是之后。与指示符706的行为相反，对象704的尺寸根据触笔203从触敏表面抬离之后的悬停距离的改变，与对象704的尺寸根据触笔203与触敏表面初始接触之前的悬停距离的改变相反。换句话讲，在触笔203从触敏表面抬离之后，对象704的尺寸随着触笔203的悬停距离的增大而增大(例如，如图7AF至图7AH所示)，而在触笔203与触敏表面初始接触之前，对象704的尺寸随着触笔203的悬停距离的减小而增大(例如，如图7V至图7X所示)。
图7AI示出了当触笔203在远离达到悬停范围边缘的阈值距离(例如，阈值悬停距离的10％)内时，如果触笔203没有立即(例如，在300ms内)靠近触敏表面，则设备确定触笔203即将退出悬停范围。当设备100检测到触笔203即将退出悬停范围时，设备100提供视觉反馈(例如，对象704的闪烁边缘724)以指示触笔203即将退出悬停范围。
图7AJ示出了当触笔203退出悬停范围时，不再显示指示符706，并且对象704从指示符706脱离并落到用户界面702的表面。对象704的尺寸也快速恢复到其原始状态。在一些实施方案中，结合对象704恢复到其原始状态，设备100生成触觉输出(例如，触觉输出726)。
图7AK至图7AU示出了当输入对象在悬停状态下横向移动时输入对象(例如，手指)将光标移动并定位在可选文本(例如，可编辑或不可编辑文本)内的过程，并且其中当输入对象在接触状态下横向移动时输入对象选择文本(例如，从当前光标位置扩展文本选择)。
在图7AK中，用户界面(例如，用户界面730)显示在触摸屏112上。用户界面730包括可选文本732。当输入对象、手指或手734距触摸屏112高于阈值悬停距离(例如，距离514大于阈值悬停距离)时，在用户界面730中不显示与输入对象相对应的指示符。
图7AL示出了当输入对象(例如，手指或手734)在距触摸屏112的阈值悬停距离内时，指示符(例如，光标738)显示在触摸屏112上的位置701处的可选文本732内(例如，在与触摸屏112上的(x,y)位置504相对应的位置处)。位置701偏离手指734的横向位置(x,y)位置504，并且可选地基于手指734的悬停距离(例如，由距离514表示)和/或位置状态(例如，倾斜)来确定该偏移量。在一些实施方案中，除了光标738之外，设备100还在可选文本732上方显示放大镜(例如，放大镜736)。放大镜736显示在用户界面730中的光标734上方，并随光标732在用户界面730中移动。在放大镜736内，显示可选文本732的一部分的放大版本，并且根据光标738在可编辑文本732内的位置，在放大文本内的位置处还显示光标738的副本742。
图7AM示出了当手指734在保持在悬停范围内的情况下横向移动时，光标738根据手指734的横向移动在可选文本732内移动。放大镜736随光标738移动并显示文本732的更新部分和光标738的更新位置。图7AM还示出了，在手指734的移动期间，悬停距离不必保持在恒定值，以便将光标738移动到可选文本732内。
图7AN示出了当手指734横向移动到触摸屏112上的另一位置时，光标738移动到可选文本732内的新位置。在触摸屏112上检测到手指734的触摸按下(例如，手指734和触摸屏112之间的接触强度高于接触检测阈值IT0)。在手指734在与触摸屏112接触的情况下横向移动之前，光标732在其可选文本732内的当前位置处显示。放大镜742显示在光标732上方。光标732周围的文本的放大版本在放大镜736内显示，并且光标732在可选文本内的位置由放大镜中的光标736的副本742表示。
图7AO示出了在手指734与触摸屏接触之后，手指734在与触摸屏112保持接触的情况下横向移动。接触的移动使光标738在可选文本732内移动，并且光标738从其先前位置(例如，手指734在触摸屏112上触摸按下时的光标位置)到其当前位置的移动导致光标的先前位置和当前位置之间的文本的一部分被选择(例如，如选择740所示)。随着光标738的移动随着手指734与触摸屏112之间的接触的移动继续，选择740根据光标738的移动而扩展或收缩。如图7AO所示，选择740还在放大镜736内表示(例如，作为选择744)。
图7AP示出了在移动手指734与触摸屏112之间的接触并通过移动光标738调整选择740的结束边界之后，检测到手指734的抬离。在从触摸屏112抬离之后，手指734再次悬停在触摸屏112上方。当手指734悬停在触摸屏112上方时，光标738从选择740脱离，并且在手指734在触摸屏112上方保持在悬停范围内时，随着手指734的横向移动在可选文本732内移动。如图7AP所示，在一些实施方案中，在检测到手指734和触摸屏112之间的接触的抬离之后，在文本732中保持选择740。放大镜继续随光标732移动，并显示光标738周围的文本的放大版本。
图7AQ示出了在手指734在触摸屏112上方的悬停范围内时，光标738已根据手指734的横向移动移动到文本732内的新位置。放大镜736也随着移动光标736移动，并显示光标738周围的文本的放大版本。选择740仍保持在其原始位置处。
图7AR至图7AS示出了当在新位置再次检测到手指734的触摸时，取消选择740(图7AR中不再示出选择740)。光标738显示在新位置(例如，位置701)，该新位置与手指734在触摸屏112上的触摸位置(例如，(x,y)位置504)相对应，如图7AR所示。在图7AS中，检测到手指734跨触摸屏112的横向移动，并且光标738从其先前位置(例如，图7AR中手指734的第二触摸按下时光标738的位置)到其当前位置的移动，导致光标738的先前位置和当前位置之间的文本的一部分被选择(例如，如选择746所示)。放大镜736随光标738移动并显示当前文本选择(例如，由选择746的放大副本748表示)。
图7AT示出了检测到手指734的抬离，并且响应于手指734从触摸屏112的抬离，光标738与选择746脱离。在光标738根据手指734的移动远离选择746时，保持选择746。
图7AU示出了当手指734被提升到悬停范围之外(例如，超过触摸屏112上方的阈值悬停距离)时，放大镜736被菜单750(例如，“剪切/复制/查找”菜单)替换，并且选择746改变外观(例如，用具有可调边界的选择对象752替换)。选择对象752可选地通过接触(例如，手指734的另一个接触)作为整体移动到另一个位置，或者通过拖动选择对象752的可调节边界的接触(例如，手指734的另一个接触)来调整尺寸。在一些实施方案中，当显示选择对象752时，当手指734重新进入悬停范围时，设备100可选地不显示光标738。在一些实施方案中，由接触(例如，手指734的另一个接触)输入的轻击解除菜单750并取消由选择对象752表示的选择，并且当检测到后续悬停输入时，再次以图7AK至图7AT所示的方式显示和放置光标738。
图8A至图8V示出了根据一些实施方案的用于在用户界面(例如，home屏幕用户界面802或内容显示用户界面830)中移动对象(例如，应用程序启动图标806，或内容选择对象的可移动边界或选择手柄838)的用户界面交互。特别地，图8A至图8V示出了当对象在输入对象悬停在触敏表面上方时根据输入对象的横向移动跨用户界面移动时，当输入对象被提升到悬停接近范围之外而没有首先接触触敏表面时取消对象的移动，并且当输入对象在横向移动后与触敏表面接触时确认对象的移动。
图8A示出了用户界面(例如，home屏幕用户界面802)，该用户界面包括与安装在电子设备100上的不同应用程序(例如，与“计算器”应用程序相对应的应用程序启动图标806，以及与包括一个或多个应用程序启动图标的文件夹的文件夹图标808、与电话应用程序相对应的应用程序启动图标810、与邮件应用程序相对应的应用程序启动图标812、与互联网浏览器应用程序相对应的应用程序启动图标814等)相对应的许多用户界面对象。用户界面对象根据预定布局(例如，根据四列网格)布置在用户界面中。一些对象(例如，应用程序启动图标810、812和814)被包括在容器对象(例如，任务栏804)中。
在图8B中，已经触发home屏幕重新配置模式，并且当前选择应用程序启动图标806，例如，响应于通过与触敏表面的接触814进行的长按压输入。在home屏幕重新配置模式中，可以通过移动一个或多个图标来重新布置home屏幕用户界面中的图标。
图8C至图8F示出了当输入对象悬停在触敏表面112上方时，根据输入对象(例如，手或手指734)的横向移动，跨用户界面拖动所选图标806。在一些实施方案中，在触摸屏上显示悬停输入对象的视觉指示(例如，指示816)。在一些实施方案中，指示816在触摸屏上不可见。在图8C中，当图标806移出其在home屏幕用户界面802中的原始位置时，根据预定义的用户界面布局规则在home屏幕用户界面802中重新布置其他图标(例如，图标808)。在图8D中，当在任务栏804附近拖动图标806时，任务栏804内的其他图标(例如，图标810、812和814)被重新布置以便为图标806腾出空间。
图8C至图8F还示出了在手指734横向移动期间，当手指734悬停在触摸屏112上方时，806的外观根据手指734的悬停距离514动态地改变。例如，当手指734在触摸屏112上方较高处悬停时(例如，如图8C至图8D中所示)，与手指734在触摸屏上方较低处悬停时相比，图标806看起来更大(例如，如图8E至图8F中所示)。
图8G至图8H示出了在使图标806根据悬停手指734的横向移动跨触摸屏移动之后，手指734在与触敏表面上的图标806的可接受的放下位置相对应的位置处与触摸屏接触(如图8G所示)。因此，图标806在与触摸屏112上的触点818的位置相对应的可接受的放置位置处放下，并且在接触818的抬离之后保持在该新位置(例如，如图8H所示)。确认并完成图标806的移动和home屏幕用户界面802的重新布置，并且在手指734被提升到悬停接近范围外之后，home屏幕用户界面上的图标的位置保持在新配置中。
与图8G至图8H所示的场景相反，图8I至图8J示出了在使图标806根据悬停手指734的横向移动跨触摸屏移动之后，在手指734与触摸屏进行任何接触之前，手指734被提升到悬停接近范围之外(如图8I所示，作为图8C至图8F中的任何一者的继续)。因此，图标806飞回到其在home屏幕用户界面806中的原始位置，其他图标(例如，图标808、810、812和814)已经响应于图标806的移动来移动；并且取消图标806的移动和home屏幕用户界面的重新布置(例如，如图8I至图8J所示)。换句话讲，在已经向用户呈现home屏幕用户界面的重新布置的预览之后，当悬停输入结束而没有手指734首先与触摸屏112接触时，恢复home屏幕用户界面的重新布置。
图8K至图8M示出了图标806被连续保持的接触820从其原始位置(在图8K中)拖动到与之前相同的放下位置(例如，图8F和图8M中的相同的放下位置)。当拖动图标806时，home屏幕用户界面112中的其他图标也响应于图标806的移动而重新布置(例如，如图8L和图8M所示)。
在图8K至图8M之后，在图8N至图8O中，手指734被抬离触摸屏112并被提升到触摸屏上方的悬停接近范围之外，并且图标806保持在其在任务栏804中的新位置，并且home屏幕用户界面保持在新配置中。
图8P示出了内容显示用户界面830(例如，文本编辑器应用程序或web浏览器应用程序的用户界面)。内容显示用户界面830显示可选文本。在内容显示用户界面830内，当前选择文本的一部分，如包括所选文本的一部分的文本选择框843所指示的。文本选择框843包括开始边缘(例如，选择手柄836)和结束边缘(例如，选择手柄838)。
图8Q示出了两个选择手柄中的一者(例如，选择手柄838)(例如，通过手指734与触摸屏的接触842)被选择以用于后续移动。在一些实施方案中，当手指734悬停在选择手柄838上方时(例如，当手指734的(x,y)位置504与选择手柄838的位置相对应时)，选择手柄838由另一个所需输入诸如预定义的悬停手势(例如，空中手指摆动手势)选择。选择手柄838的选择通过选择手柄838的末端部分相对于选择手柄836的对应末端部分的放大来可视地指示。另外，在所选择的选择手柄838附近显示放大对象(例如，放大镜840)，以在所选择的选择手柄838附近显示文本的一部分。在一些实施方案中，光标844显示在放大镜840中所示的文本内，以指示文本选择框的边界。
图8R示出了，当手指734悬停在触摸屏112上方时(例如，悬停手指734的指示846被示出以指示悬停手指734和所选择的选择手柄38的相对位置)，根据手指734的横向移动，所选择的选择手柄838相对于未选择的选择手柄836跨触摸屏移动，从而改变文本选择834的尺寸(例如，扩展文本选择834)。
图8S至图8T示出了在所选择的选择手柄838随着悬停手指734移动之后(如图8Q至图8R所示)，手指734与触摸屏112接触，结果，在手指734被提升到触摸屏112上方的悬停接近范围外之后，确认选择手柄838的重新定位和文本选择对象834的尺寸调整并保持有效(例如，如图8T所示)。
图8U至图8V示出，与图8S至图8T中所示的场景相反，在所选择的选择手柄838随着悬停手指734移动之后(如图8Q至图8R所示)，手指734被提升到悬停接近范围之外而没有首先与触摸屏112接触，因此当手指734被提升到触摸屏112上方的悬停接近范围之外时，取消选择手柄838的重新定位和文本选择对象834的尺寸调整。
图9A至图9O示出了通过输入对象进行的用于显示瞬态视觉效果(例如，前导图像906或快速动作菜单914的视觉提示、迷你应用程序对象912)的用户交互，并且通过将输入对象保持在触摸屏112上方的悬停接近范围内来保持瞬态视觉效果(例如，瞬态用户界面对象)的显示。另外，当输入对象正在朝向触摸屏盘旋进入时(例如，当输入对象正在从悬停接近范围外进入悬停接近范围，并且在与触摸屏接触之前在悬停接近范围内移动时)显示的瞬态视觉效果不同于当输入对象正在远离触摸屏盘旋出时(例如，当输入物体在与触摸屏接触后正在退出悬停接近范围的途中)显示的瞬态视觉效果。在一些实施方案中，通过与触敏表面接触并抬离，由输入对象激活操作(例如，启动应用程序，或激活菜单选项)。在一些实施方案中，利用通过输入对象的接触的快速抬离，在输入对象移动通过悬停接近范围的短暂时间内执行操作而不显示瞬态视觉效果。
图9A示出了用户界面(例如，home屏幕用户界面902)，该用户界面包括许多对象(例如，应用程序启动图标，包括用于即时消息应用程序的应用程序启动图标904)。
图9B示出了当输入对象(例如，手指734)悬停在应用程序图标904上方时，显示快速动作菜单914和迷你应用程序对象912的前导图像(例如，预览盘面906)。图9B中示出了输入对象的指示908和触摸屏上的图标904的相对位置。在一些实施方案中，前导图像的尺寸和外观随着悬停手指734的悬停距离514动态地改变。图9B还示出了当检测到手指734悬停在触摸屏112上方时，图标904外部的home屏幕用户界面902的部分变暗和模糊，作为提示指示图标904是强度反应图标，该图标将响应于轻按压输入(例如，与轻击输入相反)提供对象特定响应(例如，显示与即时消息应用程序相对应的快速操作菜单和迷你应用程序对象)。在一些实施方案中，应用于home屏幕用户界面902的变暗和模糊的量随着悬停手指734的悬停距离514动态地改变。尽管未示出，但是前导图像的显示和提示视觉效果(例如，home屏幕用户界面902的模糊和变暗)是瞬态的，并且在手指734与触敏表面进行任何接触之前，当手指734被提升到触摸屏上方的悬停接近范围之外时，停止显示。
图9C至图9D示出了当手指734与触摸屏112接触(例如，接触910)并增大接触(例如，接触910)的强度时，前导图像和提示视觉效果进一步增强(例如，预览盘面906被放大并偏离中心，并且home屏幕用户界面902的模糊和变暗增加)。在一些实施方案中，当手指734朝向触摸屏移动，与触摸屏接触并压靠触摸屏时，所示的视觉效果是连续且非离散的。虽然在此未示出，但是当接触强度910超过轻按压强度阈值ITL之前手指734从触摸屏抬离时，设备将所接收的由手指734进行的输入视为轻击输入，并响应于检测到接触910的抬离而启动应用程序。
图9E示出当手指734的接触(例如，接触910)的特征强度超过轻按压强度阈值ITL(如强度计901所示)时，前导图像(例如，预览盘面906)变换为对应于即时消息应用程序的迷你应用程序对象912和快速动作菜单914(例如，可选择选项列表)。当首次显示迷你应用对象912和快速动作菜单914时，迷你应用对象912和快速动作菜单914后面的home屏幕用户界面以其最大程度模糊和变暗。
图9F示出了当手指734从触摸屏112抬离但仍保持在触摸屏上方的悬停接近范围内时，迷你应用对象912和快速动作菜单914保持显示在模糊和变暗的home屏幕用户界面902上方。随着手指734的悬停距离的改变，迷你应用对象912和快速动作菜单914的外观发生改变，以指示迷你应用对象912和快速动作菜单914的显示是瞬态的，一旦手指734被提升到触摸屏112上方的悬停接近范围之外时就将停止显示。例如，当手指734远离触摸屏移动时，迷你应用对象912和快速动作菜单914变得越来越半透明。在一些实施方案中，迷你应用对象912和快速动作菜单914与悬停手指734一起从home屏幕用户界面的z层抬离，并且可选地在手指悬停在触摸屏112上方时随着手指734的横向移动而颤动。
图9G至图9H示出了在手指734被提升到悬停接近范围外之前并且迷你应用对象912和快速动作菜单914仍然在home屏幕用户界面902上方可见时，手指734向下移动并与触摸屏112接触(例如，如应用启动图标904上的接触918所示)(如图9G所示)；并且响应于检测到手指734与触摸屏112接触并且在手指734从触摸屏112上抬离时(例如，在一些实施方案中，需要进行具有最小悬停的快速抬离)，设备启动即时消息应用程序(如图9H所示)。在一些实施方案中，启动即时消息应用程序以显示与接触(例如，接触918)的位置处的项目相对应的用户界面。例如，接触918在应用程序启动图标904上，并且在接触抬离时(或者在检测到手指734在接触918抬离后的阈值量的时间内已退出悬停接近范围时)启动应用程序以显示即时消息应用程序的对话列表界面920。如果接触是在迷你应用程序对象912中的头像中的一个头像上，则设备可选地启动即时消息应用程序以显示与该头像相对应的对话界面。如果接触是在快速操作菜单914中的可选选项中的一个可选选项上，则设备启动与可选选项相对应的用户界面。图9G示出了在手指734与触摸屏接触时，迷你应用对象912和快速动作菜单914恢复其原始外观。在一些实施方案(未示出)中，用户可将接触(例如，接触918)移动到触摸屏上的期望位置(例如，快速操作菜单中的一个可选选项上方或迷你应用程序对象中的一个头像上方)，然后从该位置抬离以使应用程序被启动以显示对应的用户界面。在一些实施方案中，设备要求手指734在抬离接触之后的阈值量的时间内退出悬停接近范围以便启动应用程序；否则，将在手指重新进入悬停接近范围并且保持在触摸屏上方的悬停接近范围内时显示瞬态用户界面对象(例如，快速动作菜单和迷你应用程序对象)。
图9I示出了如果手指734进一步远离触摸屏移动但仍保持在触摸屏上方的悬停接近范围内，则代替靠近触摸屏并与触摸屏接触，当手指734远离触摸屏移动时，迷你应用程序对象912和快速动作菜单914变得越来越半透明(例如，比图9F中所示的更加透明)。另外，迷你应用程序对象912和快速动作菜单914与悬停手指734一起被抬离home屏幕用户界面，在home屏幕用户界面上留下较长的浅层区。图9I还示出，当迷你应用程序对象912变得更加半透明时，应用于home屏幕用户界面902的模糊和变暗的量也减少，向用户指示如果手指734继续远离触摸屏移动并退出触摸屏上方的悬停接近范围，则home屏幕用户界面902将完全恢复。
图9J示出了在盘旋进入过程(例如，当输入对象朝向触摸屏移动并移动到悬停接近范围内时)和在盘旋出的过程中(例如，当输入对象远离触摸屏并移出悬停接近范围时)显示的瞬态用户界面对象是不同的，并且响应于输入对象的改变的悬停接近参数，瞬态用户界面对象的外观可以不同的方式改变。在图9J的顶行中，当手指734刚刚进入触摸屏上方的悬停接近范围并且未与触摸屏进行任何接触时，在应用程序启动图标后面显示预览盘面(例如，如(A)中所示)；当手指靠近触摸屏时，预览盘面变大(例如，如(B)中所示)；并且当手指压靠触摸屏时，预览盘面扩展且移动，并且当接触强度超过轻按压阈值时，最终变换为迷你应用程序对象和快速动作菜单(如(C)中所示)。在图9J的底行中，在手指与触摸屏接触并且在显示迷你应用程序对象和快速动作菜单之后，将手指从触摸屏移开使得迷你应用程序对象和快速动作菜单变得越来越半透明，指示一旦手指被抬离触摸屏上方的悬停接近范围，它们将不再显示(例如，如(D)和(E)中所示)；并且将手指移向触摸屏使得迷你应用程序对象和快速动作菜单变得越来越不透明，指示当手指再次与触摸屏接触时它们将完全恢复其初始外观(如(F)中所示)。
图9K从图9E继续，其中在响应于检测到接触强度910超过轻按压强度阈值(如强度计901所示)而显示迷你应用对象912和快速动作菜单914之后，接触强度降低，但只要保持接触，迷你应用程序对象912和快速动作菜单914就保持其原始外观。
图9L和图9M示出了快速抬离(例如，手指734的速度超过第一阈值速度以及/或者手指734在阈值量的时间内退出悬停接近范围)，即使在手指734仍然在移动通过触摸屏112上方的悬停接近范围时，也停止显示瞬态用户界面对象(例如，迷你应用程序对象912和快速动作菜单914)(如图9L所示)。
图9N至图9O从图9E或图9I继续，其中在显示迷你应用程序对象912和快速动作菜单914之后，手指934未与触摸屏112再次接触。图9N至图9O示出了当手指934缓慢地从悬停接近范围中抬出时(例如，手指734的速度低于第二阈值速度以及/或者手指734在悬停接近范围内徘徊超过阈值量的时间)，即使在手指734退出触摸屏112上方的悬停接近范围之后，瞬态用户界面对象(例如，迷你应用程序对象912和快速动作菜单914)仍然显示片刻(如图9N所示)。图9O示出瞬态用户界面对象仅停留片刻(例如，200ms)并且在该片刻之后停止显示。在一些实施方案(未示出)中，如果手指734重新进入悬停接近范围，则设备保持瞬态用户界面对象的显示并将手指734的退出解释为意外的并将其忽略。
在一些实施方案中，图9K从图9G继续，其中在当手指934被充分缓慢地(例如，手指734的速度低于第二阈值速度以及/或者手指734在悬停接近范围内徘徊超过阈值量的时间)提升到悬停接近范围之外时显示迷你应用程序对象912和快速动作菜单914之后，手指934与触摸屏112再次接触。在这种情况下，在抬离接触时不激活应用程序启动操作，并且在手指734被抬离触摸屏112之后，瞬态用户界面对象(例如，迷你应用程序对象912和快速动作菜单914)保持显示。
图10A至图10Y示出了根据一些实施方案的对输入对象进入和/或离开不同级别的悬停接近范围的不同设备响应。
图10A至图10E示出当手指734从第一悬停接近范围之外进入第一悬停接近范围时显示工具栏，并且当手指734从第二悬停接近范围外进入第二悬停接近范围时，激活或突出显示工具栏中的控件，其中第一悬停接近范围是包括第二悬停接近范围的较大范围。例如，第一悬停接近范围对应于触摸屏上方的较大阈值悬停距离(例如，阈值悬停距离1)，并且第二悬停接近范围对应于触摸屏上方的较小阈值悬停距离(例如，阈值悬停距离2)。
图10A示出了用户界面(例如，浏览器用户界面1002)。浏览器用户界面1002显示网页的内容。浏览器用户界面1002以全屏模式显示，而不显示浏览器应用程序的任何菜单栏或工具栏。
图10B示出当手指734从第一级悬停接近范围之外进入第一级悬停接近范围时，在手指734的(x,y)位置504在触摸屏112的预定义下边缘部分内时(例如，如手指734相对于触摸屏112的指示1004所指示的)，浏览器用户界面1002中的显示内容作为整体向上移动远离触摸屏的下边缘，并且工具栏(例如，工具栏1006)显示在由移位内容腾出的空间中。在一些实施方案(未示出)中，然后当手指734移出第一级悬停接近范围而不首先进入第二级悬停接近范围时，显示内容又向下移向触摸屏的下边缘，工具栏停止显示。需注意，在一些实施方案中，在触摸屏上看不到手指734的指示。
图10C示出了当手指734继续朝向触摸屏移动同时保持在触摸屏的底部边缘附近(如手指734相对于触摸屏112的指示1004所示)并且当手指734从第二级悬停接近范围之外进入第二级悬停接近范围时，在工具栏1006中与手指734最近的控件示能表示(例如，用于共享所显示内容的示能表示1008)被突出显示和放大。在一些实施方案中，如果手指734没有继续朝向触摸屏移动，而是通过远离触摸屏离开第二级悬停接近范围，则移除对控件示能表示1008的突出显示，并且控件示能表示1008恢复其原始外观。虽然手指734仍然保持在第一级悬停接近范围内，但工具栏1006仍显示为其所有示能表示都呈现其原始外观。在一些实施方案(未示出)中，如果在手指734保持在第二级悬停接近范围内的情况下，手指734横向移动到工具栏1006中另一控件示能表示上方的悬停位置，则突出显示并放大与手指734最近的控件示能表示而不是示能表示1008。
图10D至图10E示出当手指734在与工具栏1006中的控件示能表示相对应的触摸位置处与触摸屏接触时(例如，由突出显示的控件示能表示1008上的接触1010指示)，执行与所选择的控件示能表示1008相对应的操作(例如，显示示出各种共享选项的共享卡1012)。在一些实施方案(未示出)中，在显示工具条1006之后，将手指734移向触摸屏不会突出显示任何控件示能表示，并且仅当手指734在与控件示能表示相对应的触摸位置处与触摸屏接触时，才激活控件示能表示。
图10F至图10M示出了根据一些实施方案的当手指734从第一悬停接近范围之外进入第一悬停接近范围时显示包括一个或多个控件示能表示的控制面板，并且当手指734从第二悬停接近范围之外进入第二悬停接近范围时突出显示工具栏中的控件。
图10F示出了以全屏播放模式操作的媒体播放器应用程序。媒体播放器应用程序的用户界面1020以回放模式显示视频。
图10G示出了当手指734朝向触摸屏移动并进入第一级悬停接近范围时，具有三个回放控件示能表示(例如，倒回示能表示1024、暂停示能表示1026和快进示能表示1028)的控制面板(例如，控制面板1023)显示在媒体播放器用户界面1020上，同时继续播放视频。基于手指734的(x,y)位置504选择控制面板1023的位置。例如，控制面板1023的中心略微位于手指734的(x,y)位置504上方(例如，手指734的(x,y)位置由相对于触摸屏112的指示1030指示)。需注意，在一些实施方案中，在触摸屏上看不到手指734的指示。图10G还示出在用户界面1020的顶部显示刷动器1022以指示视频回放的当前进度。刷动器1022的位置是预定义的，并且与手指734的(x,y)位置504无关。
图10H示出了当手指734在悬停在第一水平悬停接近范围内(但不进入第二级悬停接近范围)时横向移动时，控制面板1023根据手指734的(x,y)位置504在触摸屏上重新定位。
图10I示出了当手指734移近触摸屏并进入第二级悬停接近范围时，相对于控制面板1023中的其他控件示能表示，与手指734最近的控件示能表示(例如，倒回示能表示1024)被突出显示。
在图10J中，当手指734在保持在第二级悬停接近范围的情况下横向移动时，控制面板1023保持静止，并且相反，与手指734最近的不同的控件示能表示(例如，暂停示能表示1026)被突出显示。
图10K示出了当手指734与控制面板1023中的控件示能表示(例如，暂停示能表示1026)接触(例如，由接触1032指示)时，该控件示能表示被激活(例如，暂停示能表示1026被切换到播放示能表示1026')。在一些实施方案中，控件示能表示在接触时被激活。在一些实施方案中，控件示能表示在接触抬离时被激活。
图10L示出了当手指734在与暂停控件1026接触之后从触摸屏抬离，并且在退出第二悬停接近范围之后返回到第一悬停接近范围时，停止显示控件示能表示的突出显示，并且控制面板1023保持显示在与手指734的(x,y)位置504相对应的位置处(例如，如控制面板1023的相对位置和手指734的指示1034所示)。
在图10M中，在手指734退出第一级悬停接近范围之后，控制面板1023和刷动器1022停止显示，并且用户界面1020中的视频回放保持在暂停状态。
图10N至图10R示出了根据一些实施方案的当手指734悬停在第一级悬停接近范围内的应用程序图标或文件夹图标上方时，显示文件夹中的一个或多个应用程序的信息(例如，错过的通知)，并且当手指734从第二悬停接近范围之外进入第二悬停接近范围时，显示该信息的更多细节(例如，错过的通知的细节)。
图10N示出了home屏幕用户界面1042，其包括应用程序启动图标和文件夹图标1044。文件夹图标1044上的徽章(例如，指示符“4”)指示存在由文件夹图标1044表示的文件夹内的应用程序的多个未读通知(例如，四个未读通知)。
图10O示出了当手指734朝向触摸屏移动并进入文件夹图标1044的位置附近的第一级悬停接近范围时(例如，如由文件夹图标1044和手指734的(x,y)位置504的指示1046的相对位置所指示的)，通知列表1048在文件夹图标1044附近显示。通知列表1048包括文件夹内具有未读通知的每个应用程序的未读通知的计数。可选地，文件夹图标1044外部的home屏幕用户界面1042的部分在通知列表1048下方变暗和模糊。在该示例中，文件夹中的五个应用程序中的三个应用程序具有未读通知，例如，App Store应用程序具有一个未读通知，消息应用程序具有两个未读通知，并且邮件应用程序具有一个未读通知。在一些实施方案(未示出)中，如果手指734现在通过远离触摸屏离开第一级悬停接近范围，则通知列表1048将停止显示，并且通知保持未读。
图10P示出了当手指734靠近触摸屏移动并进入文件夹图标1044的位置附近(或通知列表1048的任何部分附近)的第二级悬停接近范围时，显示未读通知的更多细节。例如，每个未读通知的内容显示在扩展通知列表1050中。在一些实施方案中，如果手指734被抬离触摸屏并退出第二级悬停接近范围，则只要手指734仍保持在第一级悬停接近范围内，就保持显示扩展通知列表150。在一些实施方案中，如果手指734被抬离触摸屏并离开第二级悬停接近范围，则只要手指734仍保持在第一级悬停接近范围内，就停止显示扩展通知列表1050并重新显示通知1048。在一些实施方案中，一旦手指734被提升到第一级悬停接近范围之外，则不显示通知列表，并且先前未读通知的状态被设备改为“已读”。
图10Q示出了如果手指734没有退出第一级悬停接近范围，而是与触摸屏接触(例如，在文件夹图标1044上检测到接触1052)，则在触摸屏上保持接触1052时保持显示扩展通知列表1050。在一些实施方案中，如果在接触1052在文件夹图标1044上时检测到接触1052的抬离，则home屏幕用户界面1042和扩展通知列表1052的显示被文件夹图标1044所表示的文件夹的内容替换或部分替换。在一些实施方案中，如果手指悬停在与具有未读通知的应用程序相对应的应用程序启动图标上而不是文件夹图标，则在手指734与应用程序启动图标接触之后，该手指的抬离使应用程序启动，并且使应用程序的用户界面的显示替换home屏幕用户界面的显示。
图10R至图10S示出了当手指734与触摸屏保持接触(例如，接触1052)时，手指734跨触摸屏移动至消息应用程序的未读通知上方的新位置；并且响应于检测到消息应用程序的未读通知上方的接触1052的抬离，该设备用对应于与错过的通知相关联的对话的消息应用程序的用户界面1062替换home屏幕用户界面1042和扩展通知列表1050的显示。尽管未示出，但是在一些实施方案中，通知列表1050中示出的所有先前未读通知的已读/未读状态被设备改为“已读”。在一些实施方案中，文件夹内的其他应用程序(例如，App Store和邮件)的未读通知的状态保持为未读。
图10T至图10Y示出了根据一些实施方案的当手指734在第一级悬停接近范围内悬停在可选内容上方时激活光标放置模式，并且当手指734从第二悬停接近范围之外进入第二悬停接近范围时，激活选择调整尺寸模式。
在图10T中，用户界面1072显示内容(例如，可选文本)。
图10U，当手指734朝向触摸屏移动并进入第一级悬停接近范围时，光标1074在显示的文本内在与手指734相对于触摸屏112的(x,y))位置504(例如，如指示1076所示(不可见))相对应的位置处显示。另外，显示放大镜(例如，放大镜1078)。在放大镜1078中示出了光标1074附近的文本的一部分的放大版本。在放大镜1078中还示出了光标1074的放大版本1080。
图10V示出，当手指734在第一水平悬停接近范围内横向移动时，光标1076和放大镜1078根据手指734的(x,y)位置504跨触摸屏移动。在一些实施方案(未示出)中，如果手指734被提升到第一级悬停接近范围之外，则停止显示光标1076和放大镜1078。在一些实施方案中，当内容中已经存在选择时，可以激活光标放置模式。在一些实施方案中，光标1074保持显示(例如，至少持续阈值量的时间)，并且当手指734被提升到第一级悬停接近范围之外而不首先进入第二级悬停接近范围时，停止显示放大镜。例如，用户可在之后的光标位置开始键入或粘贴其他内容。如果在阈值量的时间内没有检测到用户输入，则可以停止显示光标1074。
图10W示出，当手指734继续朝向触摸屏移动并进入第二级悬停接近范围时，光标1074的外观改变以指示选择调整尺寸模式被激活。例如，光标1074变换为两个重叠的选择手柄1084和1086。放大镜1978的外观被改变(例如，改变为放大镜1088)以指示选择调整尺寸模式被激活。
图10X至图10Y示出，一旦激活选择调整尺寸模式，手指723在第二级悬停接近范围内的后续横向移动导致文本(例如，在选择对象1082中)被选择，其中一个选择手柄(例如，选择手柄1086)保持在其初始位置，并且另一个选择手柄(例如，选择手柄1084)根据手指723的横向移动来移动。放大镜1088随着由手指734重新定位的选择手柄(例如，选择手柄1084)移动。在一些实施方案(未示出)中，在文本选择已经扩展之后，如果手指743被提升到第二悬停接近范围之外然后离开第一悬停接近范围而没有首先与触摸屏接触，则选择被取消；并且如果手指734首先与触摸屏接触，则在手指734被提升到第二悬停接近范围之外并且然后离开第一悬停接近范围之后，选择被保持。在一些实施方案中，在光标放置模式结束并且激活选择调整尺寸模式之前，设备要求手指734在第二级悬停接近范围内悬停至少阈值量的时间。在一些实施方案中，在光标放置模式结束并且激活选择调整尺寸模式之前，设备要求手指734在第二级悬停接近范围内在光标1074上方悬停至少阈值量的时间。在一些实施方案中，一旦选择对象1082被扩展，手指734就可以移回到第一级悬停接近范围而不会干扰选择，并且重新进入第二级悬停接近范围，以(例如，通过悬停在选择手柄附近，或悬停并保持在选择手柄上方达阈值量的时间)重新选择两个选择手柄之一，并且移动所选择的选择手柄以调整选择对象的尺寸。在一些实施方案中，当手指734移回到第一级悬停接近范围时，放大镜1088停止显示，并且当手指734重新进入第二级悬停接近范围并选择选择手柄中的一者时，在所选择的选择手柄附近重新显示放大镜1088。在一些实施方案中，当手指734又移出第一级悬停接近范围时，除非手指734首先与触摸屏接触，否则移除选择对象1082(例如，取消选择)。在一些实施方案中，当手指734移回到第一级悬停接近范围之外时，选择对象1082保持显示，并且当手指734然后移回到第一级悬停接近范围时，重新进入光标放置模式，其中选择对象1082保持在触摸屏上。
图11A至图11J示出了在第一对象上方悬停输入对象至少阈值量的时间以进入用于执行相对于第一对象的相应操作的模式(例如，用于显示对象的工具提示或错过的通知的信息显示模式，诸如控件示能表示或应用程序启动图标)，并且一旦进入模式，当输入对象横向移动到另一个对象(例如，相同类型的对象)上方时，相对于该对象执行相应的操作，而不需要输入对象在该对象上方悬停至少阈值量的时间(例如，立即执行相应的操作)。在一些实施方案中，设备要求输入对象满足除了悬停保持时间阈值之外的要求以进入该模式。例如，进入该模式需要预定义的空中手势，并且一旦进入该模式，设备不需要针对下一个对象再次执行空中手势来执行相对于下一个对象的操作。在一些实施方案中，设备要求输入对象进入第二级悬停接近范围(例如，靠近触摸屏)以进入该模式，并且一旦进入该模式，设备仅要求输入对象处于第一级悬停接近范围，以便执行与该模式相关联的操作。
在图11A中，显示home屏幕用户界面1102。在home屏幕用户界面1102内，显示许多应用程序启动图标，包括具有未读通知或消息的一些应用程序启动图标。例如，存在针对电话应用程序的四个未读通知或消息(例如，如应用程序启动图标1106上的徽章所示)；存在针对邮件应用程序的五个未读通知或消息(例如，如应用程序启动图标1104上的徽章所示)，并且存在针对即时消息应用程序的两个未读通知或消息。
在图11B中，针对邮件应用程序的新消息已到达设备，并且生成通知(例如，如通知横幅1108所示)并显示在home屏幕用户界面1102上方。如果在通知横幅1108的初始显示之后的阈值量的时间内没有检测到与通知横幅1108的用户交互，则停止显示通知横幅1108(例如，通知可以存储在通知中心中以供用户稍后查看)。
在图11C至图11D中，手指734已朝向触摸屏移动并进入触摸屏上方的悬停接近范围(例如，手指734在时间t0移动到应用程序启动图标1104上方的悬停位置)。然后将手指734保持在用于邮件应用程序的应用程序启动图标1104上方(例如，在图11C至图11D中，手指734的指示1110在应用程序启动图标1104的徽章部分上方)。当手指734被保持在应用程序启动图标1104上方小于阈值量的时间T时，没有可见的变化被应用于应用程序启动图标1104(例如，如图11C所示)。当手指734在应用程序启动图标1104上方保持至少阈值量的时间T时，应用程序启动图标1104被突出显示，并且先前显示的通知横幅1108在home屏幕用户界面1102上被重新显示。在一些实施方案(未示出)中，通知横幅1108将保持显示一段时间而不需要手指734连续保持在应用程序启动图标1104上方。如果手指734被提升到悬停接近范围之外，并且在仍然显示通知横幅1108时轻击通知横幅1108，则将启动邮件应用程序。如果手指734被提升到悬停接近范围之外，并且在阈值量的时间内没有检测到与通知横幅1108的用户交互，则停止显示通知横幅1108。只要手指734悬停在应用程序启动图标1104上方，通知横幅1108将保持显示。在一些实施方案中，图标1104外部的home屏幕用户界面1102的部分是模糊的并且在通知横幅1108下方变暗。
图11E至图11F示出，一旦显示通知横幅1108，设备就进入信息显示模式，该信息显示模式将显示针对附加对象的信息(例如，错过的通知)，而不需要手指734在附加对象上方保持与在应用程序启动图标1104上方保持的阈值量的时间相同的时间。在一些实施方案中，附加对象与首先激活信息显示模式的第一对象(例如，应用程序启动图标1104)的类型相同，并且针对附加对象显示的信息与针对第一对象(例如，应用程序启动图标1104)显示的信息(例如，通知横幅1108)具有相同的类型。如图11E所示，当通知横幅1108保持显示在home屏幕用户界面1102上方时，手指734开始朝向应用程序启动图标1106横向移动，同时保持在触摸屏上方的悬停接近范围内。在图11F中，一旦手指734移动到应用程序启动图标1106上方的悬停位置(如手指734的指示1110的位置所示)，应用程序启动图标1106变为突出显示并且显示电话应用程序的通知横幅1112。同时，应用程序启动图标1104停止突出显示，并且通知横幅1108停止显示。
图11G示出了一个实施方案，其中当手指734在进入信息显示模式之后横向移动到应用程序启动图标1106时，显示针对应用程序启动图标1106的通知横幅1112，同时针对应用程序启动图标1104的通知横幅1108保持显示在home屏幕用户界面1102上方。在一些实施方案中，当手指734被提升到触摸屏上方的悬停接近范围并且退出信息显示模式时，通知横幅1108和通知横幅1112两者停止显示。
图11H从图11F或图11G继续。图11H示出，当手指734被提升到触摸屏上方的悬停接近范围之外时，(例如，在预定义的时间段之后)通知横幅1112(和通知横幅1108)停止显示并且退出信息显示模式(例如，在手指734离开悬停接近范围时立即退出)。
图11I至图11J示出了在退出信息显示模式之后，为了重新显示通知横幅1112，手指734需要重新进入悬停接近范围并在应用程序启动图标1106(例如，如应用程序启动图标1106上的指示1114所示)上方悬停至少阈值量的时间T。一旦手指734重新进入悬停接近范围(例如，手指734在时间t3重新进入应用程序启动图标1106上方的悬停接近范围，如图11I所示)并且在应用程序启动图标1106上悬停至少阈值量的时间，则重新进入信息显示模式，并且重新显示通知横幅1112(例如，在时间t4，重新显示通知横幅1112)。
图12A至图12R示出了使用悬停输入来区分对基于强度的输入具有区分的对象特定响应的用户界面对象(例如，轻按压、深按压输入，例如与不基于强度的输入相反，诸如轻击输入、触摸保持输入)和对基于强度的输入没有区分的对象特定响应的用户界面对象。高于接触检测强度阈值的强度阈值用作检测和识别基于强度的输入的标准的一部分。不基于强度的输入，诸如轻击输入或触摸保持输入(例如，长按压输入)不需要接触具有满足高于接触检测强度阈值的另一强度阈值的强度，以便检测和识别输入。触摸按下和抬离之间的时间阈值有时被用作检测和识别不基于强度的输入的标准的一部分。对基于强度的输入具有区分响应的对象对轻击输入具有第一响应并且对强度超过轻按压强度阈值的轻按压输入具有不同的响应，并且可选地，对强度超过高于轻按压强度阈值的深按压强度阈值的深按压输入具有另一个不同的响应。例如，对基于强度的输入没有区分响应的对象对轻击输入和轻按压输入具有相同的响应。
在图12A中，显示home屏幕用户界面1202。home屏幕用户界面1202包括与安装在设备上的不同应用程序对应的许多应用程序启动图标。一些应用程序启动图标(例如，应用程序启动图标1204和1212)具有相应的应用程序特定的快速动作菜单，当通过具有超过轻按压强度阈值ITL的强度的接触来激活应用程序启动图标时，显示这些快速动作菜单。一些其他应用程序启动图标(例如，应用程序启动图标1210和1216)没有对应的应用程序特定的快速动作菜单，并且当应用程序启动图标由强度超过轻按压强度阈值ITL的接触激活时，不显示此类菜单或其他相关联的应用程序特定的用户界面对象。任何应用程序启动图标上的轻击输入将使设备启动与轻击的应用程序启动图标相对应的应用程序。
图12B至图12C示出了当手指734进入触摸屏上方的悬停接近范围并且手指734悬停在应用程序启动图标1204上方时(如手指734的指示1208所示)，预览盘面1206从后面的应用程序启动图标1204合并，以向用户指示应用程序启动图标1204对基于强度的输入具有区分的对象特定的/应用程序特定的响应。在图12B至图12C中，在手指734悬停在应用程序启动图标1204上方时，在应用程序启动图标1204之外的home屏幕用户界面1202的部分变暗并模糊。在一些实施方案中，应用于home屏幕用户界面1202和预览盘面1206的外观的变暗和模糊的量根据手指734的悬停接近参数(例如，悬停距离514)的当前值动态地改变。例如，当手指734悬停在触摸屏附近时，预览盘面1206的尺寸增大，并且home屏幕用户界面1202变得越来越暗且模糊。如果手指734被提升到悬停接近范围之外或者移动到对基于强度的输入没有区分的对象特定响应的另一个应用程序启动图标上方，则移除视觉效果(例如，预览盘面以及home屏幕用户界面的变暗和模糊)。
图12D至图12E示出了当手指734横向移动到对基于强度的输入没有区分的对象特定响应的应用程序启动图标1210上方的另一个悬停位置时，应用程序启动图标1210的外观被改变，以指示手指734现在悬停在应用程序启动图标1210上方(如手指734的指示1208和应用程序启动图标1210的突出显示所示)，但是没有预览盘面从应用程序启动图标1210后面合并，并且不应用home屏幕用户界面1202的变暗和模糊。在一些实施方案中，当手指734的悬停接近参数(例如，悬停距离514)的当前值改变时(例如，应用程序启动图标1210在图12D和图12E中看起来相同)，应用程序启动图标1210的突出显示保持不变。
图12F示出了当手指734悬停在对基于强度的输入具有区分的对象特定响应的另一个应用程序启动图标1212(例如，如手指734的指示1208所指示)上方时，预览盘面1214从应用程序启动图标1212后面出现。预览盘面1214的外观和行为可选地与应用程序启动图标1204的预览盘面1206的外观和行为相同。类似地，home屏幕用户界面1202以与图12B中所示相同的方式变暗和模糊。
图12G示出了当手指734悬停在对基于强度的输入没有区分的对象特定响应的另一个应用程序启动图标1216(例如，如指示1208所示)上方时，应用程序启动图标1216被突出显示。应用于应用程序启动图标1216的突出显示与应用于图12D中的应用程序启动图标1210的突出显示一致、类似且可选地相同。
图12H至图12I从图12E继续。在手指734悬停在应用程序启动图标1210上方之后，手指734与应用程序启动图标1210进行接触(例如，如接触1220所示)。当接触强度1220增大并超过轻按压强度阈值ITL时(如强度计1201所示)，示出了预设的视觉效果以指示已经检测到轻按压输入，但是该应用程序启动图标1210对轻按压输入不具有对象特定响应。如图12H所示，当检测到轻按压输入时，从应用程序启动图标1210后面出现预览盘面的提示1222并且生成触觉输出1224(例如，“失败”触觉)。在预设视觉效果期间，预览盘面的提示1222快速淡出。图12I示出完成预设视觉效果，并且手指734被抬离触摸屏。当手指734悬停在应用程序启动图标1210上方时(如指示1226所示)，相同的突出显示应用于应用程序启动图标1210，以指示它对基于强度的输入没有区分的对象特定的响应，并且仅具有预设的通用响应(已在图12H中示出)。
在图12J至图12L中，手指734再次横向移动到应用程序启动图标1204上方的悬停位置。重新显示图12C中所示的相同的视觉效果。在图12K中，手指734与应用程序启动图标1204接触(例如，如接触1226所示)。当接触强度1226增大时，预览盘面1206的尺寸增大并相对于应用程序启动图标1204移动，并且用户界面1202进一步变暗和模糊(如图12K所示)。一旦接触强度1226超过轻按压强度阈值，预览盘面1206就变换为对应于消息应用程序的迷你应用程序对象1228和快速动作菜单1230(如图12L所示)。应用于用户界面1202的模糊和变暗的量处于其最大程度。当检测到轻按压输入并且显示快速动作菜单和迷你应用程序对象时，生成触觉输出(例如，触觉输出1232)。
图12M至图12O示出了当响应于通过接触1226进行的轻按压输入显示迷你应用程序对象1228和快速动作菜单1230之后手指734从触摸屏抬起时，迷你应用程序对象1228和快速动作菜单1230的外观根据手指734的悬停接近参数的当前值而改变，例如，随着触摸屏上方的悬停距离514的增大而变得越来越半透明。另外，home屏幕用户界面1202的模糊和变暗的量也随着触摸屏上方的悬停距离514的增大而减小。图12M至图12O还示出了在手指734从触摸屏抬离之后，手指734横向移动同时保持在触摸屏上方的悬停接近范围内(如指示1238所示)，并且只要在触摸屏上方的悬停接近范围内仍然检测到手指734，则保持迷你应用程序对象1228和快速动作菜单1230的显示。
图12P从图12O继续。图12P示出，如果手指734被提升到悬停接近范围之外而没有首先再次与触摸屏接触，则迷你应用程序对象1228和快速动作菜单1230停止显示，并且home屏幕用户界面1202恢复其原始外观。
图12Q至图12R从图12O继续。与图12P中所示的场景相反，手指734在与快速动作菜单1230中的可选选项之一相对应的位置处与触摸屏接触(如通过接触1234所示)。在抬离接触1234时，接触1234所触摸的可选选项被激活，并且启动与应用程序启动图标1204相对应的即时消息应用程序，并显示与可选选项相对应的用户界面1236(如图12R所示)。
图13A至图13N示出了根据一些实施方案的当输入对象悬停在选择手柄上方时，可视地指示内容选择对象的多个选择手柄中的哪个选择手柄被选择用于移动。
在图13A中，内容显示用户界面1302(例如，文本编辑器应用程序的用户界面或网络浏览器应用程序的用户界面等)显示可选择的内容(例如，文本)。已选择所显示内容的一部分。选择被包含在选择对象中(例如，具有两个选择手柄的选择对象1304，包括开始选择手柄1306和结束选择手柄1308)。可选地，以相对于图10T至图10Y或其他传统文本选择方法描述的方式来执行文本的选择。
图13B至图13C示出了当手指734朝向触摸屏移动并进入悬停接近范围时，并且如果手指734的(x,y)位置504在选择手柄中的一者(例如，选择手柄1308)上方(例如，如手指734的指示1314所示)持续至少阈值量的时间T，则选择手柄(例如，选择手柄1308)相对于另一个选择手柄(例如，选择手柄1306)被突出显示。例如，选择手柄1308的端部相对于选择手柄1306的相应端部被放大，以指示选择手柄1308已被选择用于移动。在一些实施方案中，放大镜1310显示在所选择的选择手柄1308附近。在一些实施方案中，仅在手指734在选择手柄1308上方悬停至少阈值量的时间T之后才显示放大镜1310。该放大镜包括围绕选择手柄1308的文本的一部分的放大版本。选择手柄1308在放大镜1310中的放大文本内表示为光标1312。
图13D至图13G示出了通过连续保持的接触的移动重新定位所选择的选择手柄1308。在一些实施方案中，图13D从图13C继续。在一些实施方案中，图13D从图13B继续。当手指734移动靠近触摸屏并且在与所选择的选择手柄1308相对应的位置处与触摸屏接触(例如，如强度计1301所示)时(例如，如由接触1316所示)，选择手柄1308的外观可选地改变以指示已经与选择手柄1308进行了接触(如图13D所示)。当接触1316跨触摸屏移动时，接触1316拖动选择手柄1308以扩展包含在选择对象1304中的选择。放大镜1310随选择手柄1308移动，并且放大镜1310中所示的文本根据文本内选择手柄1308的位置持续更新(如图13E所示)。在图13F中，手指734被抬离触摸屏，并且在手指734继续悬停在选择手柄1308上方时选择手柄1308(例如，以与图12C中所示相同的方式)保持突出显示。如果手指734横向移动到选择手柄1306上方的另一个悬停位置(未示出)，则选择手柄1308将恢复其原始外观，并且将相对于选择手柄1308突出显示选择手柄1306，以指示现在选择选择手柄1306进行移动。另外，放大镜1310将被移动(未示出)以靠近选择手柄1306并且显示围绕选择手柄1306的文本。在图13G中，一旦手指734被提升到触摸屏上方的悬停接近范围之外，先前突出显示的选择手柄(例如，选择手柄1308)恢复其原始外观但保持在新位置，并且完成选择对象的尺寸调整。
图13H至图13J示出了在手指734与触摸屏接触之前手指734未被保持在选择手柄上方超过阈值量的时间T的情况。当接触跨触摸屏移动时，滚动内容显示用户界面1302。在图13H中，手指734位于选择手柄1308上方的悬停位置(如手指734的指示1318所示)(例如，当手指734在其与触摸屏接触的途中时)。在手指734在选择手柄1308上方悬停至少阈值量的时间T之前，选择对象的外观不会改变。在手指734与触摸屏接触之后(例如，如用接触1320所示)，整个内容显示用户界面1302随着接触1320跨触摸屏的移动而滚动(如图13I至图13J所示)。尽管内容选择对象1304显示在内容显示用户界面上，但是通过接触1320滚动用户界面1302不需要内容选择对象的存在。另外，用户界面的滚动不需要接触位于选择手柄上或其附近，并且可以通过显示内容的任何部分上的接触来执行。
图13K从图13D继续。图13K示出了在手指734保持在触摸屏上方的悬停接近范围内时，选择手柄1308根据手指734的横向移动来移动。
图13L在图13K之后，并且示出了如果手指734被提升到悬停接近范围之外而没有首先再次与触摸屏接触，则选择手柄1308恢复到其原始位置并且取消选择对象1304的尺寸调整。
图13M至图13N在图13K之后，并且示出了如果手指734在与触摸屏接触(例如，如接触1322所示)之后被提升到悬停接近范围之外，选择手柄1308保持在文本中的新位置。例如，相对于图8P和图8V描述了这种行为的其他细节。
图14A至图14M示出了根据一些实施方案的用于将输入焦点保持在对象上的反应区域的操作，其中该反应区域在触摸屏上方的不同悬停距离处具有不同的横向范围。
图14A示出了用户界面(例如，地图用户界面1402)，该用户界面包括多个用户界面对象(例如，定位图钉1404和定位图钉1406)，当手指734悬停在这些用户界面对象上方时，这些用户界面对象是可选择的。在触摸屏112上指示了位置图钉1404的(x,y)位置1408。
图14B至图14C示出了当手指734朝向触摸屏移动并进入不具有任何可选对象的区域上方的悬停接近范围时(例如，如图14C中的指示1410所示)，在与手指734的(x,y)位置504相对应的位置处显示空信息弹出窗口(例如，弹出窗口1412)。
图14D示出了当手指734移动到位于图钉1404正上方的悬停位置时(例如，手指734的(x,y)位置504在位置1408周围的窄横向范围内)，输入焦点被移动到定位图钉1404，并且显示与定位图钉1404相对应的信息弹出窗口1414。
图14E至图14F示出了定位图钉1404的反应区域，该反应区域越靠近触摸屏越宽并且越远离触摸屏越窄(例如，如反应区域的边界线1418所示，其中该反应区域位于由边界线1418限定的圆锥内(图中仅示出了该圆锥的一半))。图14E示出，一旦输入焦点移位到定位图钉1404(在手指734已满足将输入焦点移动到定位图钉1404上的严格要求之后)，当手指734不再位于定位图钉1404正上方时(例如，手指734的(x,y)位置504在位置1408周围的窄横向范围之外)，输入焦点不会偏离定位图钉1404。图14E至图14F示出，当手指734远离定位图钉1404横向移动时，只要手指734保持在由边界线1418限定的反应区域内，输入焦点将保持在定位图钉1404上，并且信息弹出窗口1414将保持显示。需注意，尽管边界线1418显示为直的，但在一些实施方案中不需要是直的。在一些实施方案中，基于各种因素，包括手指734的悬停接近参数以及可选地此时手指734的速度和方向，在运行中计算反应区域的横向范围，因此，反应区域不是具有固定形状的预定义区域，而是在手指734的悬停移动期间动态地确定。另外，在一些实施方案中，反应区域的横向范围对于第一范围的悬停距离，可随悬停距离的增大而增大，并且对于(例如，高于第一范围或低于第一范围的)第二范围的悬停距离，可随悬停距离的增大而减小。
图14G示出了手指734移动到由边界1418限定的反应区域之外，输入焦点从定位图钉1404被带走，并且信息弹出窗口1414被空信息弹出窗口1410替换。
图14H至图14I示出了当手指734位于定位图钉1404的反应区域之外，然后再次悬停在定位图钉1404正上方时，输入焦点被放置在定位图钉1404上并且再次显示信息弹出窗口1414。
图14J示出了当手指734以(与图14F中所示的情况相比)距离触摸屏更高的悬停距离横向移动时，当手指734从位置1408移动的距离小于图14F至图14G中所示的横向距离时，输入焦点从定位图钉1404被带走，因为针对将输入焦点从定位图钉1404移开的阈值横向范围在触摸屏上方的较高悬停距离处较小。
图14示出了当手指734再次悬停在定位图钉1404上方时，输入焦点被放置在定位图钉1404上并且再次显示信息弹出窗口1414。如果手指734以大于阈值速度的速度朝触摸屏移动，即使手指734在其到达触摸屏的行程期间位于定位图钉1404的反应区域之外，输入焦点也在定位图钉1404上保持至少阈值量的时间。例如，如图14L所示，当手指734在阈值量的时间内与触摸屏接触时(例如，如接触1420所示)，即使手指734已经与位置图钉734的反应区域外的触摸屏接触，输入焦点也保持在定位图钉1404上。图14M示出，当检测到接触1420的抬离时，例如在信息盘面1422中显示与定位图钉1404相关的附加信息。
图15A至图15C是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法1500的流程图。方法1500是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法1500中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1500提供了通过基于接近和基于接触的输入与用户界面对象交互的直观方式。特别地，通过在输入对象拖动用户界面对象时根据输入对象的当前悬停接近参数动态地改变所选用户界面对象的视觉特性，设备向用户提供关于用户输入的视觉反馈，使得用户可以及时调整输入(例如，悬停接近参数)以避免输入错误(例如，通过移动至距离触敏表面太近或太远而使对象意外放下)并(例如，通过使对象及时放在所需位置或使对象继续移向预定目的地)更有效地完成预期操作。该方法在与用户界面对象交互时，减少了来自用户的输入的数量、程度和/或性质，从而创建更高效的人机界面。针对电池驱动的电子设备，使得用户能够更快速且更有效地重新定位对象节省了功率并增加了电池两次充电之间的数据间隔。
设备在显示器上的第一位置显示(1502)用户界面对象(例如，用户界面对象704)(例如，如图7A所示)。
设备检测(1504)在显示器上的第一位置处的用户界面对象的选择(例如，响应于悬停输入、轻击输入或指向用户界面对象的按压输入而选择用户界面对象)。
在用户界面对象被选择时(1506)，当输入对象满足悬停标准时(例如，悬停标准要求与输入对象相关联的悬停接近参数(例如，基于悬停距离的参数)小于阈值接近值(例如，阈值悬停距离)，以便满足悬停标准)，设备检测输入对象(例如，手指或触笔)在触敏表面上的横向移动；并且响应于在输入对象满足悬停标准时检测到输入对象在触敏表面上方的横向移动，该设备根据输入对象在触敏表面上方的横向移动来移动所选择的用户界面对象(例如，从显示器上的第一位置到第二位置)；并且在根据输入对象在触敏表面上方的横向移动来移动所选择的用户界面对象时，该设备根据输入对象的当前悬停接近参数动态地改变所选择的用户界面对象的第一视觉特性(例如，尺寸、颜色饱和度、透明度、相对于显示器表面的感知深度等)。例如，如图7L至图7R所示，在触笔203保持在触敏表面651上方的阈值悬停距离内时，在用触笔203抬起对象704之后，在触笔203的横向移动期间，对象704的尺寸根据触笔203的悬停距离514动态地改变。
在一些实施方案中，悬停标准包括(1508)当输入对象的悬停接近参数小于阈值接近值时满足的标准。例如，检测到的指尖在触敏表面上方的距离小于阈值距离。如说明书和权利要求书中所使用的，术语“悬停接近参数”是指输入对象在触敏表面上方的(非零)距离或输入对象在触敏表面上方的距离的替代(代理)。在一些实施方案中，由于输入对象在触敏表面上方的距离改变而在触敏表面上检测到的电容变化是输入对象在触敏表面上方的距离的代理。在一些实施方案中，悬停标准包括输入对象未触摸触敏表面的标准。
在一些实施方案中，当检测到输入对象时，设备在显示器上与输入对象在触敏表面上的当前位置(例如，触笔203的(x,y)位置504)相对应的位置处显示(1510)位置指示符(例如，光标、指尖或手的图像、表示由输入对象投射的阴影的图像、表示焦点选择器的图标、表示选择工具的图标等)(例如，指示符706)。在一些实施方案中，显示器上与输入对象的当前位置相对应的位置位于输入对象的正下方。在一些实施方案中，显示器上与输入对象的当前位置相对应的位置不一定位于输入对象的正下方，并且可从位于输入对象正下方的位置横向偏移(例如，位置701偏离触笔203的(x,y)位置504)。例如，显示器上与输入对象的当前位置相对应的位置可以是输入对象的尖端根据输入对象的当前方位角和倾斜角度在显示表面上的投射。在另一示例中，悬停在触摸屏上方的手指使得位置指示符(也作为焦点选择器)显示在触摸屏上向上偏移一定距离的位置处，使得手指不会遮挡用户对焦点选择器的视图。通过将位置指示符的位置偏离指尖的(x,y)位置，用户能够更好地控制位置指示符的移动和位置，并且以更好的精度和更少的错误操纵对象。
在一些实施方案中，设备根据输入对象的当前悬停接近参数(例如，当在触敏表面上方检测到的输入对象的(非零)悬停距离改变时(例如，增大或减少，反之亦然)，动态地改变(例如，增大或减小)位置指示符的尺寸或透明度)(动态地)改变(1512)位置指示符的视觉特性(例如，尺寸、颜色饱和度、透明度和/或3D视觉效果，诸如阴影形状和/或长度)。例如，如图7L至图7R所示，该设备根据触笔203移动期间的悬停距离514动态地改变指示符706的尺寸。在一些实施方案中，当输入对象完全在距触敏表面的悬停距离内时，位置指示符具有“正常的”外观(例如，中性颜色或正常不透明度)；并且当输入对象非常接近触敏表面并且即将与触敏表面接触时，位置指示符呈现出第一“警告”外观(例如，橙色警报颜色和/或完全不透明)；并且当输入对象非常接近接近阈值并且即将终止悬停交互时，位置指示符呈现出第二“警告”外观(例如，红色警报颜色和/或接近完全透明)。这在图7Q中(例如，通过指示符706的闪烁边缘712)示出。在一些实施方案中，通过根据输入对象的当前悬停接近参数(例如，在选择用户界面对象之前、用户界面对象被输入对象拖动时，以及/或者在对象被放下之后)(动态地)改变位置指示符的视觉特性，设备向用户提供关于当前状态用户输入的视觉反馈(例如，当前执行的功能或可由当前输入激活的功能)，使得用户可以及时调整输入(例如，调整悬停接近参数)以避免输入错误(例如，通过移动至距离触敏表面太近或太远而意外地拾起或放下对象)并更有效地完成预期操作(例如，通过及时拾取所需对象，或将对象放在所需位置，或继续将对象移向预定目的地)。
在一些实施方案中，检测用户界面对象的选择包括(1514)检测输入对象在与显示器上的用户界面对象的第一位置相对应的位置处与触敏表面进行接触和断开接触(例如，检测输入对象在与用户界面对象相对应的位置处进行的轻击手势或长按压手势)。在一些实施方案中，在输入对象抬离时，用户界面对象被选择；并且在选择用户界面对象时，输入对象的位置指示符也改变外观(例如，手指示符从张开的手掌变为握紧的拳头)。例如，这在图7J至图7M中示出。
在一些实施方案中，检测用户界面对象的选择包括(1516)检测输入对象在与显示器上的用户界面对象的第一位置相对应的位置处的按压输入，其中检测按压输入包括检测输入对象与触敏表面的接触的特征强度高于第一阈值强度(例如，轻按压或深按压强度阈值)。在一些实施方案中，当在输入对象满足第一阈值强度之后或者在输入对象满足第一阈值强度时立即检测到抬离时，用户界面对象被选择；并且在选择用户界面对象时，输入对象的位置指示符也改变外观(例如，手指示符从张开的手掌变为握紧的拳头)。在一些实施方案中，当需要按压输入来选择对象时，通过不满足第一强度阈值的接触的输入可选地触发与对象相关联的操作。例如，当对象为天气项目时，轻击输入触发包括关于天气项目的更多信息的用户界面的显示，并且满足第一阈值强度的按压输入选择该天气项目。在另一示例中，在对象为日历项目的情况下，轻击输入触发包括关于日历的更多信息的用户界面的显示，并且满足第一阈值强度的按压输入选择该日历项目。通过要求接触的特征强度增大到第一阈值强度以上以便选择用户界面对象，设备减少用户错误(例如，可以避免在悬停在触敏表面上方时意外选择对象)，并且改善设备的可操作性(例如，不强制要求对触敏表面上方的输入对象进行精确控制)。
在一些实施方案中，检测用户界面对象的选择包括(1518)检测输入对象在与显示器上的用户界面对象的第一位置相对应的位置处的长按压输入，其中检测长按压输入包括检测输入对象与触敏表面的接触的特征强度保持在第一阈值强度以上至少阈值量的时间。这在图7K至图7L中示出。在一些实施方案中，当需要长按压输入来选择对象时，通过不满足第一强度阈值或时间阈值的接触的输入可选地触发与对象相关联的操作或触发与对象相关的附加信息的显示。例如，当对象为应用程序启动图标时，轻击输入触发启动与应用程序启动图标相关联的应用程序，按压输入导致显示具有可选选项的快速动作菜单以激活与应用程序相关联的相应操作，并且长按压输入导致选择应用程序启动图标。通过要求接触的特征强度增大到第一阈值强度以上并且保持至少阈值量的时间以便选择用户界面对象，设备减少用户错误(例如，可以避免在悬停在触敏表面上方时意外选择对象)，并且改善设备的可操作性(例如，不强制要求对触敏表面上方的输入对象进行精确控制)。
在一些实施方案中，在检测到第一位置处的用户界面对象的选择之前(例如，在与输入对象的轻击手势、长按压输入或按压输入之前，选择用户界面对象作为“悬停拖动”手势的目标)以及在输入对象满足悬停标准时(1520)：设备在触敏表面上与显示器上的用户界面对象的第一位置相对应的位置上检测输入对象；并且当在触敏表面上与显示器上的用户界面对象的第一位置相对应的位置上检测到输入对象时，设备根据输入对象的当前悬停接近参数(动态地)改变第一位置处的用户界面对象的外观(例如，当所检测到的触敏表面上方的输入对象的(非零)悬停距离改变时，动态地改变未选择的用户界面对象的尺寸和/或颜色)(如图7C至图7E所示)；当(动态地)改变第一位置处的用户界面对象的外观时，该设备检测输入对象在触敏表面上方的横向移动(例如，在未选择的用户界面对象上方超出紧邻区域(例如，阈值横向范围)的横向移动)；并且，响应于检测到输入对象在触敏表面上方的横向移动：设备停止(动态地)改变第一位置处的用户界面对象的外观；并且，设备将用户界面对象保持在第一位置(例如，如图7I所示，其中触笔203的横向和垂直移动停止影响对象704)。在一些实施方案中，当输入对象在未选择的用户界面对象上方悬停时改变其横向位置时，未选择的用户界面对象的图像随着输入对象的小的横向移动而倾斜(例如，在保持锚定在其原始位置的同时动态拉伸)(例如，如图7F至图7I所示)。在一些实施方案中，通过在选择对象之前(例如，在输入对象满足选择标准之前)向用户提供关于与对象的交互(例如，靠近对象的输入对象的横向移动)的视觉反馈，设备帮助用户及时调整输入(例如，悬停接近参数)以避免输入错误(例如，通过太靠近触敏表面移动而意外选择对象，或者在几个紧密定位的对象中太靠近错误对象移动时意外选择错误的对象)并更有效地完成预期的操作(例如，通过调整朝向期望目标的移动方向以及调整期望位置处的悬停接近参数)。
在一些实施方案中，响应于检测到在显示器上的第一位置处对用户界面对象的选择，设备提供(1522)视觉反馈以指示用户界面对象被选择(例如，显示示出用户界面对象被悬停输入对象“拾取”的动画、示出用户界面对象的闪烁以指示用户界面对象的激活状态，或在所选择的用户界面对象下方投射阴影以指示用户界面对象现在悬停在其原始平面之上)(例如，输入对象的位置指示符改变其外观以指示对象被选择(例如，位置指示符将其外观从张开的手掌改变为握紧的拳头))。这在图7L中示出。
在一些实施方案中，根据输入对象的当前悬停接近参数动态地改变用户界面对象的第一视觉特性包括(1524)根据输入对象的当前悬停接近参数动态地改变用户界面对象的尺寸(例如，当所检测到的触敏表面上方的输入对象的(非零)悬停距离改变时，动态地改变所选择的用户界面对象的尺寸)。在一些实施方案中，当输入对象与显示器(或触敏表面)之间的距离增大(例如，用手指或触笔提升用户界面对象)时，用户界面对象的尺寸增加。例如，这在图7L至图7R中示出。在一些实施方案中，当输入对象与显示器之间的距离增大(例如，用户界面对象逐渐远离手指)时，用户界面对象的尺寸减小。在一些实施方案中，通过在输入对象拖动用户界面对象时根据输入对象的当前悬停接近参数(动态地)改变用户界面对象的尺寸，设备向用户提供关于当前状态用户输入的视觉反馈，使得用户可以及时调整输入(例如，调整悬停接近参数)以避免输入错误(例如，通过移动至距离触敏表面太近而使对象意外放下)并(例如，通过使对象及时放在所需位置或使对象继续移向预定目的地)更有效地完成预期操作。
应当理解，对图15A至15C中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1600、1700、1800、1900、2000、2100、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图15A至图15C所述的方法1500。例如，上文参考方法1500所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1600、1700、1800、1900、2000、2100、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图15A至图15C所述的操作任选地由图1A至图1B中所描绘的部件来实施。例如，检测操作和反馈操作1504、1506和1520任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图16A至图16E是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法1600的流程图。方法1600是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，设备包括一个或多个第一传感器以检测触敏表面上方的输入对象的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法1600中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下文所述，方法1600提供了通过基于接近的输入和基于接触的输入与用户界面对象交互的直观方式。在一些实施方案中，通过提供关于对象是否响应于输入的悬停部分或按压部分的可区分视觉反馈，设备提供更具响应性的用户界面并且允许用户及时地调整他/她的输入以实现预期任务(例如，以继续朝向触敏表面压下以与对象接触)和/或避免输入错误(例如，以停止更用力地按压以避免达到触发非预期动作的强度阈值)。更具响应性的用户界面还有助于避免在输入期间引起用户混淆，因为输入的每个部分对用户界面的视觉外观具有直接和即时的影响。该方法在与用户界面对象交互时，减少了来自用户的输入的数量、程度和/或性质，从而创建更高效的人机界面。对于电池驱动的电子设备，使用户能够更快且更有效地与用户界面进行交互(例如，通过用改善的视觉反馈来减少用户错误)节省了电力并且增加了电池充电之间的时间。
设备在显示器上的第一位置处显示(1602)用户界面对象(例如，用户界面对象704)，例如，如图7U所示。
当在显示器上的第一位置处显示用户界面对象时，设备(1604)检测通过输入对象(例如，指尖或触笔)进行的输入的第一部分，其中检测输入的第一部分包括在输入对象满足悬停标准时触敏表面上方与显示器上的用户界面对象的第一位置相对应的位置处检测输入对象。例如，当显示用户界面对象时，设备检测到手指从触敏表面上方接近用户界面对象而不与触敏表面接触，同时输入对象的悬停接近参数小于触敏表面上方的阈值距离(例如，当输入对象保持在触敏表面上方的阈值距离内而不接触触敏表面时)。例如，这在图7V中示出。
响应于检测到输入的第一部分，设备根据输入对象的当前悬停接近参数以第一方式动态地改变(1606)用户界面对象的外观(例如，用户界面对象的外观随输入对象的悬停距离的变化而动态地变化)。例如，在一些实施方案中，当满足悬停标准时并且在输入对象与触敏表面接触之前，输入对象接近触敏表面时用户界面对象的尺寸增大，并且输入对象退离触敏表面时用户界面对象的尺寸减小。例如，这在图7V至7X中示出。在另一示例中，在一些实施方案中，当满足悬停标准时并且在输入对象与触敏表面接触之前，输入对象接近触敏表面时用户界面对象的颜色变暗，并且输入对象退离触敏表面时用户界面对象的颜色变浅。
在根据输入对象的当前悬停接近参数以第一方式动态地改变用户界面对象的外观之后，设备检测(1608)通过输入对象进行的输入的第二部分，其中检测输入的第二部分包括检测输入对象在与显示器上的第一位置相对应的初始接触位置处与触敏表面接触。例如，这在图7Y中示出。
响应于检测到输入的第二部分，设备根据通过触敏表面上的输入对象进行的接触的当前强度以第二方式动态地改变(1610)用户界面对象的外观(例如，当输入对象与触敏表面接触时，用户界面对象的外观根据输入对象在触敏表面上的变化的力或压力而动态地变化)。在一些实施方案中，改变外观的第二方式涉及改变用户界面对象的与第一方式中改变的属性相同的属性(例如，尺寸或颜色)，但其基于与第一方式中使用的输入参数或度量不同的输入参数或度量的变化(例如，属性(例如，尺寸)的值随输入的第一部分中的悬停接近参数增大而增大，并且属性(例如，尺寸)的值随输入的第二部分中的接触强度增大而增大)。在一些实施方案中，改变外观的第一方式和第二方式涉及改变用户界面对象的两种不同属性(例如，用输入的第一部分中的悬停接近参数来改变尺寸，并且用输入的第二部分中的接触强度来改变颜色)。在图7Z至图7AE中，随触笔203与触敏表面651之间的接触强度变化，设备动态地改变对象704的尺寸。
在一些实施方案中，悬停标准要求(1612)输入对象的悬停接近参数小于阈值接近值，以便满足悬停标准。例如，检测到的指尖在触敏表面上方的距离小于阈值距离。如说明书和权利要求书中所使用的，术语“悬停接近参数”是指输入对象在触敏表面上方的(非零)距离或输入对象在触敏表面上方的距离的替代(代理)。在一些实施方案中，由于输入对象在触敏表面上方的距离改变而在触敏表面上检测到的电容变化是输入对象在触敏表面上方的距离的代理。在一些实施方案中，悬停标准包括输入对象未触摸触敏表面的标准。
在一些实施方案中，当检测到输入对象时，设备在显示器上与输入对象在触敏表面上方或上的当前位置相对应的位置处显示(1614)位置指示符(例如，光标、指尖或手的图像、表示由输入对象投射的阴影的图像、表示焦点选择器的图标、表示选择工具的图标等)(例如，图7V中的指示符706)。在一些实施方案中，显示器上与输入对象的当前位置相对应的位置位于输入对象的正下方。在一些实施方案中，显示器上与输入对象的当前位置相对应的位置不一定位于输入对象的正下方，并且可从位于输入对象正下方的位置横向偏移。例如，显示器上与输入对象的当前位置相对应的位置可以是输入对象的尖端根据输入对象的当前方位角和倾斜角度在显示表面上的投影。
在一些实施方案中，设备根据输入对象的当前悬停接近参数(例如，当在触敏表面上方检测到的输入对象的(非零)悬停距离改变时(例如，增大或减少，反之亦然)，动态地改变(例如，增大或减小)位置指示符的尺寸或透明度)(动态地)改变(1616)位置指示符的视觉特性(例如，尺寸、颜色饱和度、透明度和/或3D视觉效果，诸如阴影形状和/或长度)。例如，这在图7V至图7X中示出。在一些实施方案中，当输入对象完全在距触敏表面的悬停距离内时，位置指示符具有“正常的”外观(例如，中性颜色或正常不透明度)；并且当输入对象非常接近触敏表面并且即将与触敏表面接触时，位置指示符呈现出第一“警告”外观，例如，橙色警报颜色和/或完全不透明；并且当输入对象非常接近接近阈值并且即将终止悬停交互时，位置指示符呈现出第二“警告”外观，例如，红色警报颜色和/或接近完全透明(如图7AI所示)。
在一些实施方案中，用于动态地改变用户界面对象的外观的第一方式不同于(1618)用于动态地改变外观的第二方式。例如，在输入对象与触敏表面初始接触之前，用户界面对象处于第一状态(例如，悬停状态)，并且其以第一方式在视觉上响应于改变的悬停距离(例如，用改变的悬停距离改变尺寸)；并且在输入对象与触敏表面初始接触之后，用户界面对象处于第二状态(例如，接触状态)，并且其以第二方式在视觉上响应于改变的接触强度(例如，用改变的接触强度改变颜色)。在一些实施方案中，通过提供关于对象是否响应于输入的悬停部分或按压部分的可区分视觉反馈，设备提供更具响应性的用户界面并且允许用户及时地调整他/她的输入以实现预期任务(例如，以继续朝向触敏表面压下以与对象接触)和/或避免输入错误(例如，以停止更用力地按压以避免达到触发非预期动作的强度阈值)。更具响应性的用户界面还有助于避免在输入期间引起用户混淆，因为输入的每个部分对用户界面的视觉外观具有直接和即时的影响。
在一些实施方案中，设备在视觉上区分(1620)：用户界面对象的悬停状态，在该悬停状态期间，用户界面对象的外观根据当前悬停距离动态地改变；和用户界面对象的接触状态，在该接触状态期间，第一用户界面对象的外观根据当前接触强度动态地改变。例如，在一些实施方案中，将不同的颜色或色调应用于用户界面对象，以指示用户界面对象是处于悬停状态还是处于接触状态(例如，如图7V至7AI所示，对象704的颜色在接触之前和之后均改变)。在更具体的示例中，当指尖悬停在按钮上方时，该按钮具有蓝色以指示其处于悬停状态以及其具有随悬停距离减小而增大的尺寸；当指尖与触敏表面接触时，该按钮变为红色且当前处于接触状态，并且按钮的尺寸随接触强度增大而增大。在一些实施方案中，通过提供关于对象是处于悬停状态还是处于接触状态的可区分视觉反馈，设备提供更具响应性的用户界面并且允许用户及时地调整他/她的输入以实现预期任务(例如，以继续朝向触敏表面压下以与对象接触)和/或避免输入错误(例如，以停止更用力地按压以避免达到触发非预期动作的强度阈值)。更具响应性的用户界面还有助于避免在输入期间引起用户混淆，因为输入的每个部分对用户界面的视觉外观具有直接和即时的影响。
在一些实施方案中，设备在听觉上区分(1622)：用户界面对象的悬停状态，在该悬停状态期间，用户界面对象的外观根据当前悬停距离动态地改变；和用户界面对象的接触状态，在该接触状态期间，第一用户界面对象的外观根据当前接触强度动态地改变。例如，在一些实施方案中，播放不同类型的声音，以指示用户界面对象是处于悬停状态还是处于接触状态。在更具体的示例中，当指尖悬停在按钮上方时，播放连续的呼呼声以指示按钮处于悬停状态，并且用户界面对象的尺寸随悬停距离减小(例如，当用户朝向触敏表面向下压下时)而增大。当指尖与触敏表面接触时，播放连续的嗡嗡声以指示按钮当前处于接触状态，并且按钮的尺寸随接触强度增大(例如，当用户抵靠触敏表面向下压下时)而增大。在一些实施方案中，在悬停状态期间所播放的声音的频率或音高与当前悬停距离相关(例如，与其负相关)，并且在接触期间所播放的声音的频率或音高与当前接触强度相关(例如，与其正相关)。尽管在上述实施方案中，用户界面对象的外观根据改变的悬停距离和/或接触强度而动态地变化，但是在一些实施方案中，仅使用动态改变的声音(例如，声音频率和/或组成)来指示当前悬停距离和/或当前接触强度，并且按钮的外观不随悬停距离和/或接触强度改变而改变。在一些实施方案中，当与视觉反馈同时提供音频反馈时，音频反馈增强了在用户界面中发生的视觉变化，并且允许用户在不在视觉上关注用户界面的情况下了解对象是响应于输入的悬停部分还是输入的按压部分。在一些实施方案中，在未伴随视觉反馈的情况下提供音频反馈，设备确保用户可基于该音频反馈确定用户界面元素的状态，而不会在视觉上分散用户的注意力。该音频反馈允许用户及时地调整他/她的输入以实现预期任务(例如，以继续朝向触敏表面压下以与对象接触)和/或避免输入错误(例如，以停止更用力地按压以避免达到触发非预期动作的强度阈值)。
在一些实施方案中，设备响应于检测到输入对象在初始接触位置处与触敏表面接触而提供(1624)第一视觉和/或音频和/或触觉信号(例如，以指示从悬停状态到接触状态的过渡)。在一些实施方案中，通过提供音频和/或视觉和/或触觉信号以指示从悬停状态到接触状态的过渡，设备减少了提供输入时发生的用户混淆，因为当用户在悬停输入期间与触敏界面意外接触时，用户将不会对用户界面行为的突然改变感到惊讶。
在一些实施方案中，设备响应于检测到输入对象在最终接触位置处与触敏表面断开接触而提供(1626)第二视觉和/或音频和/或触觉信号(例如，图7AE中的音频信号722)(例如，以指示从接触状态到悬停状态的过渡)。在一些实施方案中，第二视觉和/或音频信号不同于第一视觉和/或音频信号。在一些实施方案中，第二视觉和/或音频信号与第一视觉和/或音频信号相同。在一些实施方案中，通过提供音频和/或视觉和/或触觉信号以指示从接触状态到悬停状态的过渡，设备减少了提供输入时发生的用户混淆，因为当用户在按压输入期间与触敏界面意外断开接触时，用户将不会对用户界面行为的突然改变感到惊讶。
在一些实施方案中，在根据输入对象和触敏表面之间的当前接触强度动态地改变用户界面对象的外观时，设备检测到(1628)输入对象在与用户界面对象的当前屏幕位置相对应的最终接触位置处与触敏表面断开接触；并且响应于检测到输入对象与触敏表面断开接触，设备根据输入对象的当前悬停接近参数以第三方式动态地改变用户界面对象的外观(例如，用户界面对象的外观随输入对象的悬停距离改变而动态地变化)，其中：在输入对象与触敏表面初始接触之前根据当前悬停接近参数动态地改变用户界面对象的外观的第一方式不同于在输入对象断开与触敏表面的初始接触之后根据当前悬停接近参数动态地改变用户界面对象的外观的第三方式。这示出在图7AE至图7AI中，与图7V至图7X相反。例如，在一些实施方案中，在手指与触摸屏上的按钮初始接触之前，随着指尖接近触摸屏，按钮随指尖的悬停距离以第一可变速率减小而缩小(例如，好像按钮受到接近的指尖的排斥，但最终还是被接近的指尖追上了)；并且在指尖从触摸屏抬离之后，随着指尖远离触摸屏移动，按钮立即随指尖的悬停距离以第二可变速率增大而增大(例如，给人以以下错觉：按钮粘在指尖上并且指尖正朝向用户拉动按钮，但最终按钮还是摆脱了指尖的拉力)。在另一示例中，在一些实施方案中，在手指与触摸屏上的按钮初始接触之前，按钮保持其尺寸并且随悬停距离减小而逐渐变暗，并且在指尖与触敏表面接触之后，按钮随接触强度增大而继续变暗(并且随接触强度增大而保持其尺寸不变或缩小其尺寸)；然后，当指尖开始减轻压力时，按钮随接触强度减小而逐渐变大(并且随接触强度减小而保持其当前亮度不变或逐渐变得更亮)；并且在指尖与触敏表面断开接触之后，按钮随悬停距离增大而继续变大，同时按钮的亮度保持恒定。换句话讲，在接触之前，用户界面对象的亮度(而不是尺寸)随悬停距离而改变；并且在接触之后，用户界面对象的尺寸(而不是亮度)随悬停距离而改变。在一些实施方案中，通过提供关于对象是处于悬停状态还是处于接触状态以及对象是在与触敏表面初始接触之前还是在与触敏表面初始接触之后处于悬停状态的可区分视觉反馈，设备提供了更具响应性的用户界面，该更具响应性的用户界面有助于减少提供输入时发生的用户混淆，因为当用户在输入期间与触敏界面意外地接触或意外地断开接触时，用户将不会对用户界面行为的突然改变感到惊讶。
在一些实施方案中，在输入对象与触敏表面接触或输入对象与触敏表面断开接触的过渡过程中，设备保持(1630)根据当前悬停接近参数或当前接触强度动态地改变用户界面对象的第一视觉特性所在的方向(例如，增大特性值的方向或减小值的方向)。这在图7V至图7AB中示出。例如，在一些实施方案中，如果在输入对象与触敏表面接触之前，第一视觉特性与悬停接近参数具有正相关性(例如，尺寸随悬停距离增大而增大，尺寸随悬停距离减小而减小)，则在输入对象与触敏表面接触之后，第一视觉特性将与接触强度具有负相关性(例如，尺寸随接触强度增大而减小，并且尺寸随接触强度减小而增大)。在更具体的示例中，设备可随悬停距离减小而减小用户界面对象的尺寸，直到输入对象到达触敏表面，并且当输入对象保持与触敏表面接触时，设备将随接触强度增大而继续减小用户界面对象的尺寸。在一些实施方案中，如果在输入对象与触敏表面断开接触之前，第一视觉特性与接触强度具有负相关性，则在输入对象与触敏表面断开接触之后，第一视觉特性与悬停距离具有正相关性。在更具体的示例中，设备可随接触强度减小而减小用户界面对象的尺寸，直到用户输入对象与触敏表面断开接触，并且当输入对象保持在触敏表面上方的阈值悬停距离内时，设备将随悬停距离增大而继续增大用户界面对象的尺寸。当用户输入从悬停输入过渡到按压输入时，通过保持对象的第一视觉特性的改变方向，设备提供平滑过渡，该平滑过渡在用户首先朝向触敏表面且然后抵靠触敏表面压下时不那么分散用户的注意力并且让用户感觉更加自然。这种平滑且自然的反馈有助于在提供输入时减少用户混淆，因为当首先朝向触敏表面且然后抵靠触敏表面压下时，用户将不会对用户界面行为的突然改变感到惊讶。
在一些实施方案中，设备检测(1632)输入的第三部分，其中检测输入的第三部分包括检测：在输入对象处于与用户界面对象的当前屏幕位置相对应的最终悬停位置时，当前悬停接近参数停止满足悬停标准；并且响应于检测到输入的第三部分，将用户界面对象的外观恢复到在检测到输入的第一部分之前所示的初始状态。在一些实施方案中，在终止悬停输入之后恢复用户界面对象的外观符合用户期望，有助于避免用户混淆，并且减少了用户在混淆期间所犯的输入错误。
在一些实施方案中，响应于检测到输入的第三部分，设备提供(1634)第三视觉和/或音频和/或触觉信号(例如，以指示输入对象最终退出悬停状态)。这在图7AJ中示出。在一些实施方案中，第三视觉和/或音频和/或触觉信号不同于第一视觉和/或音频和/或触觉信号以及第二视觉和/或音频和/或触觉信号。在一些实施方案中，第三视觉和/或音频和/或触觉信号与第一视觉和/或音频和/或触觉信号以及第二视觉和/或音频和/或触觉信号相同。在一些实施方案中，通过提供音频和/或视觉和/或触觉信号以指示退出悬停状态，设备减少了提供输入时发生的用户混淆，因为当用户在与触敏表面初始接触之后的悬停输入期间意外地移动到悬停距离之外时，用户将不会对用户界面行为的突然改变感到惊讶。
在一些实施方案中，在完成将用户界面对象的外观恢复到初始状态之前，设备显示(1636)示出恢复的过冲以及过冲的逆转(例如，示出退出悬停状态之后恢复用户界面对象的弹性视觉效果)的动画。在一些实施方案中，过冲的大小基于输入的参数的变化速率(例如，输入的悬停距离的变化速率，输入的强度的变化速率)，使得过冲的大小随参数的变化速率增大而增大，并且过冲的大小随参数的变化速率减小而减小。通过提供过冲动画，设备在对象进入最终状态之前为用户准备好用户界面对象的最终状态，从而减少用户混淆并且减少用户在混淆期间所犯的输入错误。
在一些实施方案中，动态地改变用户界面对象的外观包括(1638)动态地改变选自由以下各项组成的组的一个或多个视觉特性：尺寸、颜色、色调、色彩饱和度、亮度、粗体、动画速度、振动频率、图像清晰度或细节水平、不透明度、图像分辨率和变形程度。
在一些实施方案中，在根据输入对象的当前悬停接近参数以第一方式动态地改变用户界面对象的外观时，设备应用(1640)第一动态变化的声音效果以伴随用户界面对象的动态改变的外观(例如，根据输入对象的当前悬停接近参数或正在改变的外观)。
在一些实施方案中，在根据通过输入对象进行的接触的当前接触强度以第二方式动态地改变用户界面对象的外观时，设备应用(1642)第二动态变化的声音效果以伴随用户界面对象的动态改变的外观(例如，根据输入对象的当前悬停接近参数或正在改变的外观)。
在一些实施方案中，在以第一方式并且以第二方式(例如，根据输入对象的当前悬停接近参数，并且根据通过输入对象进行的接触的当前接触强度)动态地改变用户界面对象的外观时，设备应用(1644)第三动态变化的声音效果以伴随用户界面对象的动态改变的外观，其中在输入对象与触敏表面接触或输入对象与触敏表面断开接触的过渡过程中，设备保持(例如，根据当前悬停接近参数或当前接触强度，或根据用户界面对象的改变的外观)动态地改变第三声音效果的音频特性所在的方向(例如，增大特性值的方向或减小值的方向)。
在一些实施方案中，在以第一方式或以第二方式动态地改变用户界面对象的外观时(1646)：设备检测输入对象相对于触敏表面的当前角度(例如，斜度、倾斜和/或取向，例如由倾斜角和方位角所表征的那些)；并且设备应用第四动态变化的声音效果以伴随用户界面对象的动态改变的外观，其中第四动态变化的声音效果根据输入对象的当前角度而变化。例如，在一些实施方案中，当输入对象围绕垂直轴旋转(例如，改变方位角)且同时保持第一固定倾斜角时，播放第一呼呼声(例如，shu-shu-shu)，并且当输入对象围绕垂直轴旋转(例如，改变方位角)其同时保持第二固定倾斜角时，播放第二呼呼声音(例如，sh-sh-sh)。在一些实施方案中，每种呼呼声的频率所旋转速度增大而增大。
在一些实施方案中，应用第四动态变化的声音效果以伴随用户界面对象的动态改变的外观包括(1648)：在以第一方式和第二方式动态地改变用户界面对象的外观时，选择用于第四动态变化的声音效果的不同声音质量。例如，当用户界面对象处于悬停状态时，第四动态变化的声音效果的声音质量指示通过空气的摩擦(例如，输入对象在空气中旋转)；并且当用户界面对象处于接触状态时，第四动态变化的声音效果的声音质量指示在固体材料上的摩擦(例如，输入对象摩擦用户界面对象)；在一些实施方案中，响应于检测到输入对象在与用户界面对象的当前屏幕位置相对应的相应最终接触位置处与触敏表面断开接触，提供结束声音效果以结束当前应用的动态变化的声音效果。在一些实施方案中，响应于检测到输入对象在与用户界面对象的当前屏幕位置相对应的相应最终悬停位置处移动超出在触敏表面上方的悬停距离，提供结束声音效果以结束当前应用的动态变化的声音效果。
在一些实施方案中，当输入对象满足悬停标准时(例如，在输入对象选择并拾取用户输入对象之后)，设备检测(1650)输入对象在触敏表面上方的第一横向移动；并且响应于在输入对象满足悬停标准时检测到输入对象在触敏表面上方的第一横向移动，设备根据输入对象在触敏表面上方的第一横向移动，跨显示器移动用户界面对象。在一些实施方案中，用户界面对象的移动看起来滞后于输入对象的横向移动。
在一些实施方案中，当输入对象与触敏表面保持接触时(例如，当输入对象满足长按压标准且输入对象选择用户界面对象时)，设备检测(1652)输入对象跨触敏表面的第二横向移动；并且响应于在输入对象与触敏表面保持接触时检测到输入对象跨触敏表面的第二横向移动，设备根据输入对象跨触敏表面的第二横向移动跨显示器移动用户界面对象。在一些实施方案中，当用户界面对象与输入对象一起移动时，用户界面对象未滞后于输入对象。
在一些实施方案中，在选择用户界面对象之前(例如，在响应于初始选择输入(例如，轻击或长按压用户界面对象)选择用户界面对象之前)，同时输入对象满足悬停标准，设备检测(1654)输入对象跨触敏表面的第三横向移动；并且响应于在输入对象满足悬停标准时检测到输入对象跨触敏表面的第三横向移动，设备根据输入对象跨触敏表面的第三横向移动扭曲用户界面对象，而不移动用户界面对象。
应当理解，对图16A至图16E中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1700、1800、1900、2000、2100、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图16A至图16E所述的方法1600。例如，上文参考方法1600所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1700、1800、1900、2000、2100、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图16A至图16E所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如，检测操作1604和1608、以及改变操作1606和1610任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图17A至图17C是示出根据一些实施方案的通过基于接近的输入和基于接触的输入与可选文本进行交互的方法1700的流程图。方法1700是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)。在一些实施方案中，电子设备包括用于检测输入对象与触敏表面的接触的强度的一个或多个第二传感器。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法1700中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1700提供了一种与可选文本进行交互的直观方式。特别地，该方法提供了从光标放置模式切换到文本选择模式的直观且有效的方式，而不需要用户方的额外动作(例如，接触强度增大到高于阈值强度的按压输入，或者选择示能表示)，从而使得用户与用户界面的交互更快且更简化。该方法在与可选文本进行交互时减少来自用户的输入的数量、程度和/或性质，从而创建更有效的人机界面。针对电池驱动的电子设备，使得用户能够更快且更有效地选择文本节省了功率并增加了电池两次充电之间的时间间隔。
当触敏表面上方的输入对象(例如，手指或触笔)符合悬停标准时，设备在显示器上的文本(例如，可编辑文本或不可编辑文本)内显示(1702)位置指示符(例如，光标、聚光灯或文本突出显示)(例如，光标738)。例如，当显示用户界面对象时，设备检测到：手指(例如，手指734)从触敏表面(例如，触摸屏112)上方接近用户界面对象(例如，可选文本732)而不与触敏表面接触，同时保持在触敏表面上方的阈值距离内，如图7AK至图7AL所示。
当在显示器上的文本(例如，文本732)内显示位置指示符(例如，光标738)时，设备检测(1704)输入对象的包括平行于触敏表面的移动分量的第一移动，其中在第一移动期间输入对象继续满足悬停标准。例如，当显示位置指示符时，设备检测到：手指跨触敏表面上方的空间横向移动而不与触敏表面接触，同时保持在触敏表面上方的阈值距离内。这示出在图7AL至图7AM中(例如，手指734在触摸屏112上方的移动使得文本732中的光标738移动)。
响应于检测到输入对象在触敏表面上方的第一移动，设备根据输入对象的第一移动在所显示的文本内移动(1706)位置指示符(例如，光标738)。例如，当悬停手指跨触敏表面移动时，显示器上的光标跟踪悬停手指的移动并且在文本中允许的光标位置之间移动。这在图7AL至图7AM中示出。
在根据输入对象的第一移动在所显示的文本内移动位置指示符之后，设备检测(1708)输入对象的包括平行于触敏表面的移动分量的第二移动。例如，在跨触敏表面悬停以将光标定位在文本内的期望位置处之后，手指在第一位置处与触敏表面接触，然后跨触敏表面移动同时与触敏表面保持接触以选择文字。
响应于检测到输入对象跨触敏表面的第二移动：根据确定在输入对象与触敏表面接触时检测到输入对象的第二移动，设备在输入对象与触敏表面保持接触时根据输入对象跨触敏表面的第二移动选择(1710)文本(例如，在第二移动期间，基于输入对象在触敏表面上的当前位置来确定文本选择在显示器上的当前结束边界)。这示出在图7AN至图7AO中(例如，手指734跨触摸屏112的移动使得选择文本)。
在一些实施方案中，设备检测到(1712)输入对象在触敏表面上的第一位置处与触敏表面接触，然后检测到输入对象跨触敏表面的第二移动；并且响应于检测到输入对象在触敏表面上的第一位置处与触敏表面接触并且随后检测到输入对象跨触敏表面的第二次移动：设备在显示器上与触敏表面上的第一位置相对应的第一位置处开始在文本内选择文本(例如，接触位置确定文本选择的起始边界)，并且设备根据输入对象跨触敏表面的第二移动来扩展所选择的文本。例如，这在图7AN至图7AO中示出。
在一些实施方案中，响应于检测到输入对象跨触敏表面的第二移动：根据确定在输入对象悬停在触敏表面上方而不与触敏表面接触的情况下检测到输入对象的第二移动，设备根据第二输入移动(1714)位置指示符而不选择文本。例如，这在图7AP至图7AQ中示出。
在一些实施方案中，悬停标准包括(1716)当输入对象的悬停接近参数小于阈值接近值时满足的标准。例如，检测到的触敏表面上方的指尖的距离小于阈值距离。如说明书和权利要求书中所使用的，术语“悬停接近参数”是指输入对象在触敏表面上方的(非零)距离或输入对象在触敏表面上方的距离的替代(代理)。在一些实施方案中，由于输入对象在触敏表面上方的距离改变而在触敏表面上检测到的电容变化是输入对象在触敏表面上方的距离的代理。在一些实施方案中，悬停标准还包括输入对象未触摸触敏表面的标准。
在一些实施方案中，响应于检测到输入对象的悬停接近参数小于在触敏表面上的初始位置上方的阈值接近值(例如，当手指朝向触摸屏显示器移动并且进入到触摸屏显示器上方的阈值悬停距离内时，手指满足悬停标准并且检测到悬停输入)，在文本内初始显示(1718)位置指示符。例如，这在图7AK至图7AL中示出。在一些实施方案中，当手指靠近触摸屏显示器而未触摸它时，显示光标或其他位置指示符；并且当手指远离触摸屏显示器移动时，停止显示光标。在一些实施方案中，仅当在显示可选文本的区域上方检测到输入对象时才显示位置指示符，并且当手指移动到显示可选文本的区域之外时(即使在输入对象的悬停接近参数保持低于阈值接近值的情况下)停止显示位置指示符。
在一些实施方案中，在文本内显示位置指示符包括(1720)在基于以下各项中的一者或多者的位置处在文本(例如，文本732)内显示位置指示符(例如，光标738)：输入对象的尖端(或其他代表性部分)在触敏表面上的投影位置(例如，图7AL中的(x,y)位置504)；输入对象相对于触敏表面的取向；输入对象相对于触敏表面的倾斜；以及输入对象相对于触敏表面的距离(例如，距离514，图7AL)。在一些实施方案中，光标、聚光灯或文本突出显示定位在文本中，好像其沿手指的主体从手指的尖端投射到触摸屏显示器上。并且当悬停手指的悬停接近参数继续满足悬停标准时，位置指示符的位置随悬停手指的位置、取向、倾斜和/或距离改变而动态地改变。通过在基于除输入对象的尖端的位置之外的一个或多个因素的位置处显示位置指示符，设备减少了尖端遮蔽位置指示符的负面影响，从而减少了用户错误并且改善了设备的可操作性。
在一些实施方案中，当满足悬停标准时，设备在所显示的文本的一部分上方显示(1722)放大镜对象(例如，放大窗口或放大镜)(例如，放大镜736)，其中放大镜对象显示位置指示符和位置指示符附近的文本的放大图像(而不放大所显示的文本的其他部分)。在一些实施方案中，当输入对象与触敏表面接触时，继续显示放大镜对象。例如，这在图7AN中示出。
在一些实施方案中，响应于检测到输入对象在触敏表面上方的第一移动(1724)：设备根据输入对象在触敏表面上方的第一移动移动放大镜对象；并且设备更新放大镜对象以显示位置指示符和位置指示符附近的文本的更新放大图像。例如，这在图7AL至图7AM中示出。通过更新放大镜对象以显示位置指示符和位置指示符附近的文本的更新放大图像，设备提供了输入对象附近的文本的更清晰且未被遮蔽的视图，并且允许用户在与用户界面进行交互时提供适当的输入(例如，文本选择或光标放置)。
在一些实施方案中，在根据输入对象的第二移动在显示器上选择文本的第一部分时，设备检测(1726)输入对象从触敏表面的抬离；并且响应于检测到输入对象的抬离，保持在显示器上选择文本的第一部分。例如，这在图7AP中示出。在一些实施方案中，当输入对象与触敏表面断开接触时，检测到输入对象的抬离。在一些实施方案中，当输入对象与触敏表面断开接触并且移动超出在触敏表面上方的阈值接近距离时，检测到输入对象的抬离。另选地，在一些实施方案中，输入对象的抬离使得取消选择，除非在检测到抬离之前在预定义时间内检测到按压输入。在一些实施方案中，在不要求用户的另外确认输入的情况下在抬离时保持对所选文本的选择简化了用户与设备的交互，从而使得设备-用户界面更有效。在一些实施方案中，在抬离通过输入对象进行的接触之前，设备在确认输入(例如，按压输入)时保持对所选文本的选择。要求确认输入以保持对所选文本的选择减少了用户错误并且避免了因用户错误导致的低效率。
在一些实施方案中，响应于检测到输入对象的抬离，设备显示(1728)用于所选择的文本的第一部分的选项菜单(例如，具有复制、粘贴、删除、查找等选项的菜单)。在一些实施方案中，将菜单显示在所选择的文本的附近。在一些实施方案中，当设备确定输入对象超出触敏表面上方的阈值接近距离时，显示菜单。例如，这在图7AU中示出。在一些实施方案中，当设备确定输入对象不再与触敏表面接触时，无论输入对象是否仍在触敏表面上方的阈值接近距离内，显示菜单。通过在输入对象抬离之后并且在保持对文本的选择时自动显示菜单栏，用户可相对于所选择的文本立即指定要执行的操作，而无需提供另外的输入来调用菜单栏。因此，在该适当的时机自动显示菜单栏有助于简化用户与设备的交互并且改善了设备用户-界面的效率。
在一些实施方案中，在检测到输入对象的抬离之后(1730)：设备确定输入对象是否满足悬停标准(例如，确定输入对象是否超出触敏表面上方的阈值接近距离)；根据确定输入对象满足悬停标准，设备保持在显示器上显示位置指示符；并且根据确定输入对象不再满足悬停标准(例如，在确定输入对象超出触敏表面上方的阈值接近距离之后)，设备停止在显示器上显示位置指示符。例如，这在图7AT至图7AU中示出。在一些实施方案中，如果在悬停输入期间显示放大镜对象(例如，放大窗口、放大镜等)，则当输入对象抬离超过触敏表面上方的阈值接近距离时，设备也停止显示放大镜对象。例如，这在图7AU中示出。在一些实施方案中，通过在输入对象抬离之后但输入对象仍悬停在触敏表面上方时保持显示位置指示符，设备允许用户继续当前输入(例如，重新定位位置指示符)而无需开始新的输入。这改善了设备-用户界面的效率，因为用户不需要通过退出悬停范围来重新开始定位位置指示符的过程并且不需要用输入对象重新进入悬停范围。
在一些实施方案中，在检测到输入对象的抬离之后(例如，当输入对象与触敏表面断开接触但保持在触敏表面上方的阈值接近距离内时)(1732)：当输入对象满足悬停标准时，设备检测到输入对象在触敏表面上方的第三移动；并且，响应于检测到输入对象在触敏表面上方的第三移动，设备根据输入对象的第三移动移动位置指示符，同时保持在显示器上选择文本的第一部分。例如，这在图7AQ中示出。通过在允许位置指示符移动到新位置时保持对所选文本的选择，设备向用户提供开始新选择的选项以及保持当前选择的选项，直到用户做出关于这两个选项的决定(例如，通过退出悬停范围，或通过在触敏表面上的再次触摸按下)。通过允许用户拥有更长的时间来考虑他/她的选项，设备有助于减少用户错误并且有助于通过减少用户错误来改善设备-用户界面的效率。
在一些实施方案中，在根据输入对象在触敏表面上方的第三移动移动位置指示符之后，设备检测(1734)输入对象在触敏表面上的第二位置处与触敏表面接触；并且，响应于检测到输入对象在触敏表面上的第二位置处与触敏表面接触：设备取消对文本的第一部分的选择；并且设备在显示器上与触敏表面上的第二位置相对应的位置处重新开始文本选择(并且根据输入对象的后续移动来扩展文本选择)。
应当理解，对图17A至图17C中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1800、1900、2000、2100、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图17A至图17C所述的方法1700。例如，上文参考方法1700所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1800、1900、2000、2100、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图17A至图17C所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如，检测操作1704和1708、移动操作1704以及选择操作1710任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图18A至图18G是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法1800的流程图。方法1800是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法1800中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如本文所述，方法1800涉及用于在响应于通过输入对象进行的悬停移动输入提供了用户界面操作的预览之后确定是否确认或取消用户界面操作的启发法。具体地讲，在设备检测到与用户界面操作的开始相对应的输入之后，设备检测悬停移动输入，该悬停移动输入在输入对象悬停在触敏表面上方时利用输入对象的至少横向移动来传达用户界面操作的特定参数。设备根据悬停移动输入来提供用户界面操作的预览。在提供了预览之后，根据输入对象是与触敏表面接触还是远离触敏表面移动以结束悬停移动输入，设备确认用户界面操作或取消用户界面操作。方法1800利用两种自然且直观的方式来结束悬停移动输入(即(1)与触敏表面接触和(2)远离触敏表面移动)，以在设备根据悬停移动输入提供了用户界面操作的预览之后，确认或取消用户界面操作。因此，设备能够向用户提供关于操作的完全效果的改进的反馈，而不需要用户实际执行操作。响应于悬停移动输入的自然结束而进行对操作的确认和取消，而不需要用户采取任何另外的步骤。根据本文所述的方法提供此类改善的反馈并且减少确认或取消操作的步骤的数量增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。另外，响应于悬停移动输入提供操作的预览也增强了设备的可操作性(例如，通过允许用户在输入期间具有更好的用户界面视图，从而减少用户在操作设备时的错误)，并且延长了设备的寿命(例如，通过在输入期间消除对触敏表面上的不必要压力和摩擦，从而减小触敏表面的结构疲劳)。
设备在显示器上显示(1802)用户界面(例如，包括在显示器上的第一位置处显示第一用户界面对象(例如，滑块控件上的指示符、拨号盘、home屏幕上的应用程序图标、列表中的列表项、对象上的调整尺寸手柄或选择框的边缘等))。设备检测(1804)通过输入对象进行的与第一用户界面操作的开始相对应的第一输入(例如，包括检测作为移动操作的开始的通过输入对象进行的对第一用户界面对象的选择(例如，以改变滑块控件或拨号盘的当前值、以重新配置home屏幕、以对列表进行重新排序或以调整对象或选择框的尺寸)(例如，通过由输入对象进行的轻击第一用户界面对象、按压第一用户界面对象、触摸第一用户界面对象并保持一段时间或者在第一用户界面对象上方悬停在显示器上方的要求距离处以及/或者保持阈值时间量等来触发选择))。在一些实施方案中，由视觉、音频和/或触觉反馈指示对第一用户界面对象的选择。在检测到与第一用户界面操作的开始(例如，移动操作的开始、调整尺寸操作的开始等)相对应的第一输入之后，并且在输入对象满足悬停接近标准(例如，输入对象在触敏表面上方的悬停接近范围内并且未与触敏表面接触)时，设备检测(1806)输入对象的横向移动(例如，输入对象的横向移动包括输入对象的平行于触敏表面的移动分量)。响应于在输入对象满足悬停接近标准时检测到输入对象的横向移动，设备更新用户界面以指示第一用户界面操作的预览。例如，当第一用户界面操作为移动操作时，第一用户界面操作的预览包括在显示器上将第一用户界面对象从第一位置移动到第二位置，其中第二位置不同于第一位置。这在图8A至图8F中示出，预览示出通过悬停移动输入移动图标806。在另一示例中，当第一用户界面操作为调整尺寸操作时，第一用户界面操作的预览包括在显示器上将对象的调整尺寸手柄或边缘从第一位置移动到第二位置，其中第二位置不同于第一位置。这在图8P至图8R中示出，其中预览示出利用通过手指734进行的悬停移动输入来调整选择对象834的尺寸。在一些实施方案中，第一用户界面操作的预览还包括将因移动操作或调整尺寸操作而发生的其他变化的视觉指示，诸如在用户界面中重新布置其他用户界面对象以便为正在移动或调整尺寸的用户界面对象腾出空间。这在图8C至图8F中示出，其中其他图标(例如，图标808、810、812和814)被重新布置为例如移动操作的预览的一部分。在更新用户界面以指示第一用户界面操作的预览时(例如，当第一用户界面对象(例如，所选图标、列表项、调整尺寸手柄或边缘)位于显示器上的第二位置处时)，设备检测到(1810)输入对象不再满足悬停接近标准(例如，输入对象抬离触敏表面或输入对象已与触敏表面接触)。响应于检测到输入对象不再满足悬停接近标准：根据确定由于输入对象已经退出触敏表面的悬停接近范围，输入对象不再满足悬停接近标准，设备取消(1812)第一用户界面操作(例如，包括通过在显示器上将第一用户界面对象从第二位置恢复到第一位置来反转已经对用户界面进行的更新)；并且根据确定由于输入对象已经与触敏表面接触，输入对象不再满足悬停接近标准，设备确认第一用户界面操作(例如，包括通过将第一用户界面对象释放到显示器上的第二位置或者通过将第一用户界面对象自动地释放到与显示器上的第一位置和第二位置不同的第三位置(例如，与第二位置相对应的最近的捕捉位置，包括在接触抬离之后将选择保持在更新的尺寸下)来完成操作)。这在图8A至图8J中示出，其中通过悬停移动输入移动图标806。当手指734在抬离之前与触摸屏接触(例如，接触818)时，确认图标806的移动，并且当手指734在抬离到触摸屏上方的悬停接近范围之外之前未与触摸屏接触时，取消图标806的移动。这还在图8P至图8V中示出，其中利用通过手指734进行的悬停移动输入来调整选择对象834的尺寸。当手指734在抬离之前与触摸屏接触(例如，接触848)时，确认对选择对象834的尺寸调整，并且当手指734在抬离到触摸屏上方的悬停接近范围之外之前未与触摸屏接触时，取消对选择对象843的尺寸调整。
在一些实施方案中，用户界面包括(1814)第一位置处的第一项目(例如，用户界面上的控件(例如，滑块控件或拨号盘上的指示符)、画布上的对象(例如，形状)、项目列表(例如，播放列表或不同城市的天气项目的列表)中的项目(例如，歌曲项目或天气项目)、图标排列中的图标(例如，home屏幕上的应用程序图标网格中的应用程序图标，如图8A至图8J所示)、可调整尺寸的对象的调整尺寸手柄或可移动边缘(例如，可调整尺寸对象、选择框或可选文本内的文本选择，如图8P至图8V所示)或用户界面中的其他内容或控件(例如，在显示器的窗口或显示区域中显示的文档的内容))。第一用户界面操作包括在显示器上重新定位第一项目的操作(例如，该操作为移动操作或滚动操作，并且操作的开始是选择要移动的项目或触发用户界面滚动模式)。更新用户界面以指示第一用户界面操作的预览包括根据输入对象的横向移动在显示器上将第一项目从第一位置移动到第二位置(例如，当第一项目相对于用户界面或相对于用户界面上的另一对象(例如，滑块或滚动条上的参考位置)移动时，或者当用户界面根据输入对象的横向移动作为整体移位或滚动时，第一项目的位置改变)。响应于悬停移动输入提供移动操作的预览增强了设备的可操作性(例如，通过允许用户在输入期间具有更好的用户界面视图，从而减少用户在操作设备时的错误)，并且延长了设备的寿命(例如，通过在输入期间消除对触敏表面上的不必要压力和摩擦，从而减小触敏表面的结构疲劳)。
在一些实施方案中，根据确定由于输入对象已经退出触敏表面的悬停接近范围，输入对象不再满足悬停接近标准，取消第一用户界面操作，这包括(1816)在检测到输入对象不再满足悬停接近标准之后将第一项目恢复到第一项目在显示器上的原始位置(例如，项目的原始位置是在检测到通过输入对象进行的与第一用户界面操作的开始相对应的第一输入以及输入对象的横向移动之前第一项目的位置)。例如，这在图8I至图8J、图8R以及图8U至图8V中示出。在一些实施方案中，项目的原始位置与第一位置相同，并且在一些实施方案中，项目的原始位置略微偏离第一位置(例如，当在选择第一项目之后第一项目跳出其原始位置时)。在一些实施方案中，将第一项目恢复到其在显示器上的原始位置包括在移动之前将第一项目移回其在用户界面上的原始位置。在一些实施方案中，将第一项目恢复到其在显示器上的原始位置包括在根据输入对象的移动滚动或移位用户界面之前将用户界面恢复到其原始状态。在一些实施方案中，设备显示示出第一项目飞回其原始位置并且稳定在其原始位置中的动画。在一些实施方案中，设备生成触觉输出以指示已取消该移动并且第一项目已经返回并稳定在其原始位置中。根据悬停移动输入提供移动操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否取消移动操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少取消移动操作所需步骤的数量)。
在一些实施方案中，根据确定由于输入对象已经与触敏表面接触，输入对象不再满足悬停接近标准，确认第一用户界面操作，这包括(1818)在检测到输入对象不再满足悬停接近标准之后在不同于第一位置的最终位置处显示第一项目(例如，最终位置是第一项目的放下位置，并且在检测到输入对象从触敏表面的抬离之后该项目保持在该放下位置处)。例如，这在图8F至图8H以及图8R至图8T中示出。在一些实施方案中，项目的最终位置与第二位置相同，并且在一些实施方案中，项目的最终位置略微偏离第二位置(例如，在输入对象与触敏表面接触或接触抬离时第一项目放下之后，第一项目稳定在其最终位置时)。在一些实施方案中，项目的最终位置是离输入对象与触敏表面初始接触的位置最近的第一项目的捕捉位置(例如，与第一位置和第二位置不同的第三位置)。在一些实施方案中，项目在显示器上的最终位置是当用户界面在根据输入对象的移动滚动或移位之后稳定在其最终位置处时用户界面上的第一项目的位置。在一些实施方案中，生成触觉输出以指示第一项目稳定在其在用户界面中的最终位置处。根据悬停移动输入提供移动或滚动操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否确认移动或滚动操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少确认移动或滚动操作所需步骤的数量)。
在一些实施方案中，设备检测(1820)通过输入对象进行的第二输入(例如，在检测到第一输入之前或者在完成第一输入之后)，其中第二输入与显示与第一项目相关联的内容的操作相对应，并且其中第二输入不与第一用户界面操作的开始相对应(例如，第二输入为对第一项目的轻击，而不是触摸保持或按压输入，以选择第一项目用于随后根据输入对象的悬停移动的移动)。响应于检测到与显示与第一项目相关联的内容的操作相对应的第二输入，设备显示与第一项目相关联的第一内容。例如，当在应用程序图标上检测到轻击输入时，设备启动与应用程序图标相对应的应用程序，并且显示应用程序的用户界面。当在列表项(例如，电子消息列表中的电子消息的表示、电子消息列表中的电子消息会话的表示、联系人列表中的联系人的表示)上检测到轻击输入时，设备显示与列表项相对应的附加内容(例如，电子消息、电子消息会话或联系人名片)。与和移动第一项目的操作相对应的第一输入(例如，轻按压输入或触摸并保持输入)相反，第二输入不包括强度超过强度阈值的接触或者不包括保持超过阈值时间量的接触。使用用于显示内容并执行与第一用户界面相关联的第一用户界面操作(例如，移动操作)的不同输入增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过提供附加功能性和控制功能，而不会使UI因附加显示的控件而混乱)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在根据输入对象的横向移动在显示器上将第一项目从第一位置移动到第二位置时(例如，当相对于用户界面移动第一项目时或者根据输入对象的横向移动整体地滚动用户界面时)，设备根据输入对象的当前悬停接近参数动态地调整(1822)第一项目的外观(例如，当根据输入对象的横向悬停移动跨显示器拖动第一项目时，根据输入对象在触敏表面上方的当前悬停距离动态地调整第一项目的尺寸、色调、不透明度和/或其他视觉属性)。这在图8D至图8E中示出，其中图标806的尺寸例如随手指734的悬停距离514动态地变化。在一些实施方案中，当输入对象根据第一项目的模拟惯性加速时，第一项目的移动滞后于输入对象的横向悬停移动。在一些实施方案中，第一项目和输入对象以不同的速度移动，并且第一项目与输入对象之间的滞后是输入对象的速度的函数。当在输入对象悬停在触敏表面上方时输入对象移动第一项目时，以及当在输入对象与触敏表面保持接触时输入对象移动第一项目时，第一项目的行为均是不同的。例如，在正常拖动场景中，输入对象在横向移动期间与触敏表面保持接触，并且第一项目具有与输入对象跨显示器拖动第一项目时进行的接触的速度相同的速度。即使项目在通过接触进行的正常拖动期间滞后于输入对象，但在其移动期间项目的外观不会改变(例如，不会根据输入对象的悬停接近参数而改变)。在移动或滚动操作期间根据输入对象的当前悬停接近参数动态地调整视觉反馈(例如，调整第一项目的外观)增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备检测(1824)通过输入对象进行的与第二操作的开始相对应的第三输入，该第二操作用于在显示器上重新定位第一项目(例如，在已经确认或取消第一用户界面操作之后)。在一些实施方案中，第一输入和第三输入具有相同的类型，例如触摸并保持输入或轻按压输入。在一些实施方案中，第一输入和第三输入具有不同的类型，例如第一输入为触摸并保持输入且第三输入为按压输入，或反之亦然。在检测到与在显示器上重新定位第一项目的第二操作的开始相对应的第三输入之后，设备在输入对象与触敏表面保持接触时检测输入对象的第二横向移动(例如，在已经通过第二输入选择第一项目以用于重新定位第一项目的第二操作之后，输入对象跨触敏表面拖动)。响应于在输入对象与触敏表面保持接触时检测到输入对象的第二横向移动，设备根据输入对象的第二横向移动(例如，接触跨触敏表面拖动第一项目)在显示器上将第一项目从第三位置(例如，第一项目的原始位置，或略微偏离第一项目的原始位置的位置)(例如，第三位置与第一位置相同)移动到第四位置(例如，与第三位置不同的位置)(例如，第四位置与第二位置相同)。在将第一项目从第三位置移动到第四位置之后，设备检测到输入对象不再与触敏表面接触(例如，输入对象从触敏表面抬离，并且任选地输入对象抬离到触敏表面上方的悬停接近范围之外)。响应于检测到输入对象不再与触敏表面接触：根据确定第四位置与第一项目在显示器上的允许放下位置相对应，设备在显示器上与第四位置相对应的最终位置处显示第一项目(例如，最终位置为第四位置或最接近第四位置的捕捉位置)；并且根据确定第四位置与第一项目在显示器上的禁止放下位置相对应，设备将第一项目恢复到显示器上与第三位置相对应的第一项目的原始位置处。例如，在通过接触进行的正常拖动中，只要最终位置为可接受的放下位置，则在拖动手势的最终位置处放下该项目。在放下之后，项目保持在该位置处；在放下之后，完成重新定位第一项目的操作。这在图8K至图8O中示出，其中通过接触拖动图标806，并且例如在新位置处将其放下。如果用户要取消对第一项目的重新定位，则用户必须手动地将第一项目拖回到其原始位置。允许通过在悬停期间的移动输入和保持接触时的移动输入来执行移动或滚动操作为用户提供了执行期望任务的更大灵活性。另外，这种灵活性允许用户选择更合适的手势来执行移动操作(例如，如果用户确定移动操作，则可在保持接触时更有效地拖动，并且如果用户在观看移动操作的预览之后可能取消移动操作，则可在悬停时更有效地拖动)。因此，提供执行如本文所述的移动或滚动操作的多种另选方式增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果、减少执行期望任务所需的步骤的数量以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，用户界面包括(1826)项目的布置(例如，项目列表或应用程序启动图标网格)，该项目的布置包括处于第一配置(例如，处于第一顺序次序或第一布局)的至少第一项目和第二项目。在显示器上重新定位第一项目的操作包括重新排列项目布置的操作(例如，对项目列表进行重新排序或者重新排列应用程序图标的网格)。第一用户界面操作的开始包括选择第一项目。检测通过输入对象进行的与第一用户界面操作的开始相对应的输入包括检测通过输入对象进行的与触敏表面在与项目布置中的第一项目相对应的位置处的接触，以及检测到该接触在该位置处保持超过第一阈值时间量(例如，检测指向第一项目的轻击-保持输入以选择第一项目)。另选地，检测通过输入对象进行的与第一用户界面操作的开始相对应的输入包括检测通过输入对象进行的与触敏表面在与项目布置中的第一项目相对应的位置处的接触，以及检测到该接触的特征强度增大到超过第一阈值强度(例如，检测指向第一项目的轻按压输入以选择第一项目)。响应于检测到通过输入对象进行的与第一用户界面操作的开始相对应的输入(例如，响应于检测到选择第一项目的输入)，设备可视地指示对第一项目的选择(例如，示出第一项目远离其原始z位置朝向输入对象移动(例如，第一项目朝向输入对象“跳出”其在用户界面中的原始位置或槽))。检测输入对象的横向移动包括检测输入对象的超过第一阈值距离的横向移动。在一些实施方案中，第一阈值距离为用于确定输入对象是基本上保持静止还是已经移动的阈值距离。在一些实施方案中，第一阈值距离为用于在已选择第一项目之后确定是将第一项目拉离其原始位置(例如，拉出其原始槽或捕捉位置)还是将其保持在其原始位置的阈值距离。更新用户界面以指示第一用户界面操作的预览还包括根据第一项目从第一位置到第二位置的移动来移动用户界面中的至少第二项目(以及列表或网格中的其他项目)。例如，在一些实施方案中，当第一项目在用户界面中第二项目的位置的附近时，第二项目远离其在用户界面中的原始位置移动，以向用户界面中的第一项目提供可接受的放下位置。在一些实施方案中，在第一项目已经移出其在用户界面中的原始位置之后，第二项目远离其本身在用户界面中的原始位置移动到第一项目的原始位置中，以填充已由第一项目腾出的位置)。响应于悬停移动输入提供重新布置或重新排序操作的预览增强了设备的可操作性(例如，通过允许用户在输入期间具有更好的用户界面视图，从而减少用户在操作设备时的错误)，并且延长了设备的寿命(例如，通过在输入期间消除对触敏表面上的不必要压力和摩擦，从而减小触敏表面的结构疲劳)。
在一些实施方案中，根据确定由于输入对象已经退出触敏表面的悬停接近范围，输入对象不再满足悬停接近标准，取消第一用户界面操作，这还包括(1828)：在检测到输入对象不再满足悬停接近标准之后，将第一项目和第二项目(以及列表或网格中的任何其他项目)恢复到用户界面(其在显示器上保持静止)中第一项目和第二项目(以及列表或网格中的任何其他项目)的相应原始位置。(例如，在输入对象已经退出触敏表面的悬停接近范围之后，以第一顺序显示项目列表；在输入对象已经退出触敏表面的悬停接近范围之后，以第一配置显示应用程序项目网格(例如，如图8J所示))。在一些实施方案中，设备生成触觉输出以指示在输入对象抬离到触敏表面上方的悬停接近范围以外之后将第一项目和第二项目(以及其他项目)恢复到其原始位置(例如，当取消第一用户界面操作时，反转作为第一用户界面操作的预览的一部分显示的重新布置)。根据悬停移动输入提供重新布置或重新排序操作的预览并且根据悬停移动结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否取消重新布置或重新排序操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少取消重新布置或重新排序操作所需步骤的数量)。
在一些实施方案中，根据确定由于输入对象已与触敏表面接触，输入对象不再满足悬停接近标准，确认第一用户界面操作，这包括(1830)：以与第一配置不同的第二配置在用户界面中显示第一项目和第二项目(以及列表或网格中的任何其他项目)(例如，在检测到输入对象从触敏表面的抬离之后，并且在输入对象抬离到触敏表面上方的悬停接近范围以外之后，以与第一顺序不同的第二顺序保持显示项目列表；在检测到输入对象从触敏表面的抬离之后，并且在输入对象抬离到触敏表面上方的悬停接近范围以外之后，保持以与第一配置不同的第二配置显示应用程序项目网格)，例如，如图8H所示。根据悬停移动输入提供重新布置或重新排序操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否确认重新布置或重新排序操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少确认重新布置或重新排序操作所需步骤的数量)。
在一些实施方案中，在显示器上重新定位第一项目的操作包括(1832)使用户界面作为整体滚动的操作，并且更新用户界面以指示第一用户界面操作的预览包括根据输入对象的横向移动在显示器中滚动用户界面(例如，整个用户界面(包括其所有内容)根据输入对象的横向移动一致地移动)。在一些实施方案中，第一用户界面操作的开始包括滚动模式的触发。在一些实施方案中，检测通过输入对象进行的与第一用户界面操作的开始相对应的输入包括检测通过输入对象进行的与触敏表面在与用户界面相对应的位置处的接触，以及检测到该接触在该位置处保持超过第一阈值时间量(例如，检测指向用户界面的轻击-保持输入以触发滚动模式)。在一些实施方案中，检测通过输入对象进行的与第一用户界面操作的开始相对应的输入包括检测通过输入对象进行的与触敏表面在与用户界面相对应的位置处的接触，以及检测到该接触的特征强度增大到高于第一阈值强度(例如，检测指向用户界面的轻按压输入以触发滚动模式)。在一些实施方案中，检测通过输入对象进行的与第一用户界面操作的开始相对应的输入包括检测通过输入对象在第一项目或用户界面正上方的悬停位置处进行的空中手势(例如，空中扭动手势)。在一些实施方案中，取消操作包括将用户界面恢复到触发滚动模式之前的状态。在一些实施方案中，确认操作包括在输入对象抬离到触敏表面上方的悬停接近范围以外之后将用户界面保持在已经根据输入对象的横向悬停移动滚动用户界面之后用户界面具有的状态。根据悬停移动输入提供滚动操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否确认滚动操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少确认滚动操作所需步骤的数量)。
在一些实施方案中，第一用户界面操作包括(1834)调整选择对象(例如，文本选择框或对象选择框)的尺寸的操作，这包括在显示器上重新定位选择对象的第一边界(同时保持选择对象在显示器上的第二边界的位置)的操作。更新用户界面以指示用户界面操作的预览包括通过根据输入对象的横向移动将可选内容(例如，可选文本)内的选择对象的第一边界从第一位置移动到第二位置来调整被包括在选择对象中的可选内容(例如，在用户界面中将选择框的边缘或者将选择框的边缘上或附近的棒棒糖状物或选择手柄从第一位置移动到第二位置，以调整内容选择)。例如，这在图8P至图8V中示出。在一些实施方案中，如果新选择由输入发起，则在开始横向移动时从文本选择光标的原始位置处开始选择，并且根据输入对象的横向移动从文本选择光标的原始位置处扩展选择。在一些实施方案中，如果通过输入重新参与现有选择(例如，输入对象选择现有选择的边缘之一)，则输入对象的横向移动扩展或收缩根据输入对象的横向悬停移动的当前选择。根据悬停移动输入提供调整所选对象尺寸的操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否确认调整尺寸操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少确认调整尺寸操作所需步骤的数量)。
在一些实施方案中，根据确定由于输入对象已经退出触敏表面的悬停接近范围，输入对象不再满足悬停接近标准，取消第一用户界面操作，这包括(1836)在检测到输入对象不再满足悬停接近标准之后停止显示选择对象或将选择对象的第一边界恢复到第一位置(例如，将选择光标恢复到可选内容内的选择光标的原始位置，或者将选择对象的第一边界恢复到可选内容内的选择对象的第一边界的原始位置)。这在图8U至图8V中示出，其中选择手柄838被恢复到例如其原始位置。根据悬停移动输入提供调整选择对象尺寸的操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否取消调整尺寸操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少取消调整尺寸操作所需步骤的数量)。
在一些实施方案中，根据确定由于输入对象已经与触敏表面接触，输入对象不再满足悬停接近标准，确认第一用户界面操作，这包括(1838)在检测到输入对象不再满足悬停接近标准之后保持显示选择对象，其中选择对象的第一边界在不同于第一位置的第二位置处(例如，甚至在输入对象抬离触敏表面且抬离到触敏表面上方的悬停接近范围以外之后，保持第一边界的位置)。例如，这在图8T中示出。在一些实施方案中，响应于检测到输入对象不再满足悬停接近标准，设备显示用于与对应于选择对象的所选内容进行交互的选项(例如，剪切、复制、粘贴、格式用粗体、格式用下划线、格式用斜体)。根据悬停移动输入提供调整选择对象尺寸的操作的预览并且根据悬停移动输入结束的方式(例如，通过向下触摸触敏表面或通过远离触敏表面移动)来确定是否确认调整尺寸操作增强了设备的可操作性并且使用户-设备界面更有效(例如，通过减少确认调整选择对象尺寸的操作所需步骤的数量)。
在一些实施方案中，当输入对象满足悬停接近标准时，设备检测到(1840)输入对象满足第一标准(例如，引导提供标准或警报生成标准)，其中第一标准(例如，引导提供标准或警报生成标准)包括要求输入对象在悬停接近范围的边界的相应阈值范围(例如，距离)内，以便满足第一标准(例如，当输入对象在远离悬停接近范围的上边界的第一阈值距离内时(例如，当输入对象即将退出触敏表面的悬停接近范围时)或者当输入对象在远离触敏表面的第二阈值距离内时(例如，当输入对象即将与触敏表面接触时)，满足第一标准)。响应于检测到输入对象满足第一标准(例如，引导提供标准或警报生成标准)，设备提供反馈(例如，视觉、音频和/或触觉反馈)以指示输入对象在悬停接近范围的边界的相应阈值范围(例如，距离)内。提供视觉反馈以指示输入对象即将退出悬停接近范围(例如，指示悬停输入因抬离而即将结束)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过警告用户设备状态的可能变化，从而通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，提供反馈以指示输入对象在悬停接近范围的边界的相应阈值范围内包括(1842)：根据确定由于输入对象在触敏表面的悬停接近范围的上边界的第一阈值距离内，输入对象满足第一标准(例如，引导提供标准)，提供第一用户界面操作的取消的预览(例如，当第一用户界面操作为用于在用户界面中移动第一项目的移动操作时，如果输入对象现在要退出悬停接近范围，则在视觉上突出显示用户界面中的第一项目的原始位置)。在一些实施方案中，当输入对象远离悬停接近范围的边界移动且继续跨触敏表面悬停时，停止显示取消的预览。提供反馈以指示输入对象在悬停接近范围的边界的相应阈值范围内还包括：根据确定由于输入对象在触敏表面的第二阈值距离内，输入对象满足第一标准(例如，引导提供标准)，提供第一用户界面操作的确认的预览(例如，当第一用户界面操作为用于在用户界面中移动第一项目的移动操作时，如果输入对象现在要与触敏表面接触，则在视觉上突出显示用户界面中的第一项目的最终位置)。在一些实施方案中，当输入对象远离触敏表面移动且继续跨触敏表面悬停时，停止显示确认的预览。提供不同视觉反馈以指示是否即将取消或确认操作(例如，根据悬停输入是否因抬离或输入对象的触摸按下而即将结束)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过警告用户设备状态的可能变化，从而通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，提供反馈以指示输入对象在悬停接近范围的边界的相应阈值范围内包括(1844)：向用户提供警报以指示：如果输入对象要在当前方向上朝向或远离触敏表面继续移动，则输入对象将不再满足悬停接近标准(例如，当第一用户界面操作为用于在用户界面中移动第一项目的移动操作时，通过放大第一项目在视觉上突出显示用户界面中的第一项目，并且/或者在视觉上突出显示第一项目的放下位置(例如，如果输入对象通过远离触敏表面移动而退出悬停接近范围，则放下位置为第一项目的原始位置；如果输入对象通过与触敏表面接触而退出悬停接近范围，则放下位置为第一项目的新最终位置))；以及/或提供触觉或音频输出以指示：如果输入对象要在当前方向上朝向或远离触敏表面继续移动，则输入对象将不再满足悬停接近标准。提供视觉反馈以指示输入对象即将退出悬停接近范围(例如，指示悬停输入因抬离或输入对象的触摸按下而即将结束)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过警告用户设备状态的可能变化，从而通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，向用户提供警报包括(1846)：根据确定由于输入对象在触敏表面的悬停接近范围的上边界的第一阈值距离内，输入对象满足第一标准(例如，警报生成标准)，改变第一项目的外观(例如，当第一用户界面操作为用于在用户界面中移动第一项目的移动操作时，在视觉上突出显示用户界面中的第一项目)。在一些实施方案中，当输入对象远离悬停接近范围的边界移动且继续跨触敏表面悬停时，或者在输入对象继续朝向悬停接近范围的边界移动且然后退出悬停接近范围之后，停止显示警报。向用户提供警报还包括：根据确定由于输入对象在触敏表面的第二阈值距离内，输入对象满足第一标准(例如，警报生成标准)，突出显示用户界面中的第一项目的放下位置(例如，当第一用户界面操作为用于在用户界面中移动第一项目的移动操作时，如果输入对象现在要与触敏表面接触，则在视觉上突出显示用户界面中的第一项目的最终位置)。在一些实施方案中，当输入对象远离触敏表面移动且继续跨触敏表面悬停时，或者当输入对象与触敏表面接触时，停止对第一项目的放下位置的突出显示。根据悬停输入是否因抬离或输入对象的触摸按下而即将结束提供不同的视觉反馈(例如，改变第一项目的外观和突出显示第一项目的放下位置)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过警告用户设备状态的可能变化，从而通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
应当理解，对图18A至18G中已进行描述的操作的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1900、2000、2100、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图18A至图18G所述的方法1800。例如，上文参考方法1800所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1900、2000、2100、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图18A至图18G所述的操作任选地由图1A至图1B中所描绘的部件来实施。例如，检测操作1804和1810、更新操作1806以及取消操作和确认操作1812任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图19A至图19E是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法1900的流程图。方法1900是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法1900中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
方法1900涉及用于确定是否保持或取消当前显示的视觉反馈的启发法。具体地讲，在设备检测到通过输入对象进行的与第一用户界面对象的预定义交互之后，设备显示与第一用户界面对象相关联的对应视觉反馈(例如，第二用户界面对象的显示)。设备根据输入对象是否继续悬停在触敏表面上方来确定是保持还是取消视觉反馈(例如，第二用户界面对象的显示)。根据本文所述的方法，设备根据输入对象是否继续满足悬停接近标准来保持瞬态用户界面对象(例如，第二用户界面对象)的显示。换句话讲，响应于用户交互而显示的瞬态用户界面对象既不是随后需要通过单独的输入来解除的“粘性”对象，也不是在触发瞬态用户界面对象的显示的接触抬离之后立即停止显示的常规“非粘性”对象。相反，在不与触敏表面保持任何接触的情况下(例如，在接触抬离之后)，保持显示瞬态用户界面对象，并且在输入对象不再悬停在触敏表面上方时(例如，在输入对象抬离或与触敏表面接触时)解除瞬态用户界面对象的显示。因此，设备能够在需要时(例如，如由用户输入的持续时间所确定的)并且仅在必要时(例如，仅在用户终止悬停输入时)向用户提供信息和/或功能性(例如，如在瞬态用户界面对象中体现的)。根据本文所述的方法提供此类改善的反馈并且减少保持或取消当前显示的视觉反馈的步骤的数量增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
设备在显示器上的第一位置处显示(1902)第一用户界面对象(例如，应用程序启动图标、列表项等)。设备检测(1904)通过输入对象进行的与第一用户界面对象的预定义交互(例如轻击、按压、触摸并保持、悬停交互等)。响应于检测到通过输入对象进行的与第一用户界面对象的预定义交互，设备显示与第一用户界面对象相关联的第二用户界面对象(例如，第二用户界面对象是与第一用户界面对象(例如，应用程序启动图标、列表中的项目等)相关联的预览、工具提示、弹出窗口、未读通知、控件(例如，放射状菜单或拨号盘)或快速动作菜单)。在一些实施方案中，第二用户界面对象与第一用户界面对象同时显示。在一些实施方案中，第二用户界面对象覆盖在第一用户界面对象上，并且可部分地遮挡第一用户界面对象。在一些实施方案中，当显示第二用户界面对象时，不再强调用户界面中未被第一用户界面对象和第二用户界面对象占据的部分，例如使其模糊和/或变暗。在显示第二用户界面对象时，设备检测(1908)输入对象的悬停接近参数(例如，输入对象在触敏表面上方的悬停距离，或者悬停距离的其他等效或类似测量结果，诸如电容、阴影特征等)的变化。响应于检测到输入对象的悬停接近参数的变化：根据确定输入对象满足继续显示标准，其中继续显示标准要求输入对象继续满足悬停接近标准(例如，悬停接近标准要求与输入对象相关联的悬停接近参数(例如，基于悬停距离的参数)小于阈值接近值(例如，阈值悬停距离)，以便满足悬停接近标准)以便满足继续显示标准，设备保持(1910)显示第二用户界面对象；并且根据确定输入对象满足停止显示标准，其中停止显示标准要求输入对象不再满足悬停接近标准(例如，因为输入对象已经退出触敏表面上方的悬停接近范围)以便满足停止显示标准，设备停止显示第二用户界面对象(例如，在保持显示第一用户界面对象时)。这在图9E、图9F、图9I、图9N和图9O中示出，其中迷你应用程序对象912和快速动作菜单914在手指734保持在触摸屏上方的悬停接近范围内时保持显示，并且在手指734抬离到触摸屏上方的悬停接近范围以外时停止显示。
在一些实施方案中，响应于检测到输入对象的悬停接近参数的变化：根据确定输入对象满足激活功能标准，其中激活功能标准要求输入对象与触敏表面接触以便满足激活功能标准，设备激活(1912)与第二用户界面对象相关联的功能(例如，显示与预览相关联的全部内容、扩展工具提示以显示与工具提示相关的帮助页面、打开与弹出窗口相关联的网页、显示与未读通知相对应的通信、突出显示或调整控件(例如，放射状菜单或拨号盘)的当前值或者选择与第一用户界面对象(例如，应用程序图标、列表中的项目等)相关联的快速动作菜单中的菜单选项)。这在图12M至图12N以及图12Q至图12R中示出，例如，其中快速动作菜单1230中的菜单选项通过接触1234激活。在一些实施方案中，根据确定不再显示第二用户界面对象以及在输入对象首次退出悬停接近范围之后输入对象与触敏表面接触，启动与第一用户界面对象相对应的应用程序(如果第一用户界面对象为应用程序图标)，或者打开第一用户界面对象以显示/回放第一用户界面对象的内容(例如，如果第一用户界面对象为项目诸如电子邮件项目、天气项目、媒体项目等)。在一些实施方案中，激活功能标准还要求通过输入对象进行的接触的特征强度超过第一强度阈值，以便满足激活功能标准。在一些实施方案中，激活功能标准还要求通过输入对象进行的接触保持超过阈值时间量且移动小于阈值移动量，以便满足激活功能标准。在满足悬停接近标准时保持显示第二用户界面对象，并且在输入对象因与触敏表面接触而不再满足悬停接近标准时激活与第二用户界面对象相关联的功能，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少在检测到接触的抬离之后激活与第二用户界面对象相关联的功能所需的步骤的数量)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定输入对象满足继续显示标准来保持显示第二用户界面对象包括(1914)根据输入对象的悬停接近参数的特征值动态地改变第二用户界面对象的外观(例如，动态地调整第二用户界面对象的尺寸、色调、不透明度和/或其他视觉属性)(例如，当输入对象远离触敏表面移动时，第二用户界面对象的尺寸和不透明度均增大，并且当输入对象朝向触敏表面移动时，第二用户界面对象的尺寸和不透明度均减小)。例如，这在图9F、图9I和图9J中示出。根据输入对象的当前悬停接近参数动态地调整视觉反馈(例如，调整第二用户界面对象的外观)增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测与第一用户界面对象的预定义交互包括(1916)检测输入对象的悬停接近参数在第一方向上的第一变化(例如，在输入对象的触摸按下之前在悬停接近范围内单调增大或减小)，并且显示第二用户界面对象包括：显示第二用户界面对象的前导图像；以及根据输入对象的悬停接近参数的第一变化，以第一方式动态地改变第二用户界面对象的前导图像的外观。例如，当首次在第一用户界面对象上方的触敏表面上的悬停接近范围内检测到输入对象时，显示第二用户界面对象的前导图像(例如，预览盘面从第一用户界面对象后面出现)；并且当输入对象更靠近触敏表面移动时，前导图像的尺寸随输入对象的悬停接近参数减小而增大(例如，当输入对象更靠近触敏表面移动时，预览盘面的更多部分从第一用户界面对象后面露出)。例如，这在图9A至图9B以及图12B至图12C中示出。显示第二用户界面对象(例如，前导图像)的预览以及在输入对象的盘旋进入过程期间根据输入对象的变化的接近参数动态地调整预览的外观增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供设备的内部状态的指示，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据输入对象的悬停接近参数的特征值动态地改变第二用户界面对象的外观包括(1918)：根据检测到输入对象的悬停接近参数在第一方向上的与第一变化相同的第二变化(例如，在输入对象的触摸按下之后在悬停接近范围内单调增大或减小)，根据输入对象的悬停接近参数的第二变化以第二方式动态地改变第二用户界面对象的外观，其中第二方式与第一方式不同。例如，当输入对象最初朝向触敏表面移动且进入悬停接近范围时，第二用户界面对象的预览是第二用户界面对象的阴影图像，该阴影图像随输入对象继续更靠近触敏表面移动从第一用户界面对象后面逐渐扩展(并且变得更亮、更饱和)，并且最终弹出以在输入对象与触敏表面接触且抵靠触敏表面按压时变成第二用户界面对象。当输入对象然后远离触敏表面移动时，第二用户界面对象保持在显示器上，并且变得更大且变得更透明；并且如果输入对象再次接近触敏表面，则第二用户界面对象的尺寸缩小并且变得更不透明。换句话讲，在输入对象与触敏表面接触之前和之后，用户界面对输入对象的悬停接近参数的相同变化表现不同。例如，这在图9J中示出。根据用于盘旋进入和盘旋离开过程的输入对象的变化的接近参数显示不同的动态视觉反馈(例如，在盘旋进入期间改变第二用户界面对象的预览的外观，以及在盘旋离开期间改变第二用户界面对象的外观)增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供设备的内部状态的指示，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，继续显示标准要求(1920)在显示第二用户界面对象之后输入对象的悬停接近参数的第一特征变化率(例如，紧随输入对象从触敏表面抬离之后的变化率)小于第一阈值率(并且/或者在检测到预定义交互之后，输入对象在悬停范围内保持小于第一阈值时间量的时间)，以便满足继续显示标准。例如，如果第一变化率很高(例如，输入对象从触敏表面快速抬离)，则即使在输入对象仍然在触敏表面上方的悬停接近范围内的短暂时刻内，设备也不保持第二用户界面对象的显示。如果第一变化率很低(例如，输入对象从触敏表面逐渐地抬离)，则在输入对象悬停在触敏表面的悬停接近范围内时继续显示第二用户界面对象。换句话讲，输入对象的快速抬离使得设备在通过输入对象进行的接触抬离之后跳过第二用户界面对象的瞬时显示，并且输入对象的缓慢且更蓄意的抬离使得设备在通过输入对象进行的接触抬离之后提供第二用户界面对象的瞬时显示。例如，这在图9K至图9M中示出。在输入对象从用户界面对象快速抬离时跳过瞬时用户界面对象(例如，第二用户界面对象)的显示增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免非必要的视觉反馈和减少用户混淆，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，停止显示标准要求(1922)显示第二用户界面对象之后输入对象的悬停接近参数的第二特征变化率(例如，当接近触敏表面上方的悬停接近范围的上边界时的变化率)大于第二阈值率(例如，在一些实施方案中，第二阈值率与第一阈值率相同)。在一些实施方案中，第二阈值率与第一阈值率不同(并且/或者在检测到任选地与第一阈值时间量不同或相同的预定义交互之后，将输入对象在悬停范围内保持超过第二阈值时间量的时间)以便满足停止显示标准。例如，如果第二变化率很高(例如，输入对象快速抬离到悬停接近范围以外)，则在输入对象退出触敏表面上方的悬停接近范围时，设备立即停止显示第二用户界面对象。如果第二变化率很低(例如，输入对象逐渐抬离到悬停接近范围以外)，则在设备完全停止显示第二用户界面对象之前，在输入对象处于触敏表面上方的悬停接近范围以外之后，继续显示第二用户界面对象一小段时间。换句话讲，输入对象的快速抬离使得设备在输入对象退出悬停接近范围之后从显示中快速移除第二用户界面对象，并且输入对象的缓慢且更蓄意的抬离使得设备在输入对象已经退出悬停接近范围之后提供第二用户界面的持续瞬时显示。例如，这在图9N至图9O中示出。在一些实施方案中，在输入对象已经退出悬停接近范围之后，显示示出第二用户界面对象被拉离用户界面的z平面然后朝向用户界面的z平面弹回的动画。如果输入对象缓慢地抬离悬停接近范围，则在输入对象已经抬离到触敏表面上方的悬停接近范围以外之后允许瞬时用户界面对象停留，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过允许用户拥有更多时间来查看和考虑第二用户界面对象，通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)。
在一些实施方案中，当输入对象满足继续显示标准且保持第二用户界面的显示时：设备检测到(1924)输入对象的悬停接近参数从第一值到第二值的第三变化(例如，当输入对象远离触敏表面移动且仍然保持在悬停接近范围内时)。响应于检测到悬停接近参数的第一变化，设备将第一视觉变化应用于第二用户界面对象的外观(例如，将第二用户界面对象的透明度或不透明度从第一透明度值(例如，离散地或另选地、动态地)改变为第二透明度或不透明度值，或者将第二用户界面对象的颜色饱和度从第一饱和度值(例如，离散地或另选地、动态地)改变为第二饱和度值)。在将第一视觉变化应用到第二用户界面对象的外观之后，设备检测到输入对象的悬停接近参数从第二值到第一值的第二变化(例如，当输入对象朝向触敏表面移动且仍然保持在悬停接近范围内时)。响应于检测到输入对象的悬停接近参数的第二变化，设备将反转对第二用户界面对象的外观的第一视觉变化。例如，当输入对象再次朝向触敏表面移动而未首先退出悬停接近范围时，回复对第二用户界面对象的外观所做的改变。在一些实施方案中，当输入对象自初始显示第二用户界面对象之后第二次与触敏表面接触时，完全恢复第二用户界面。如果输入对象缓慢地抬离悬停接近范围，则在输入对象已经抬离到触敏表面上方的悬停接近范围以外之后允许瞬时用户界面对象(例如，第二用户界面对象)停留，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过允许用户拥有更多时间来查看和考虑第二用户界面对象，通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)。
在一些实施方案中，检测通过输入对象进行的与第一用户界面对象的预定义交互包括(1926)：检测通过第一接触(通过输入对象在触敏表面进行)在触敏表面上与显示器上的第一用户界面对象相对应的位置处进行的第一输入，以及检测到第一输入满足对象显示标准，其中对象显示标准要求第一接触的特征强度超过第一强度阈值(例如，轻按压强度阈值)以便满足对象显示标准。例如，这在图9C至图9E中示出。请求按压输入以触发瞬时用户界面对象(例如，第二用户界面对象)的显示增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外显示第二用户界面对象，通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)。
在一些实施方案中，第一用户界面对象对应于(1928)应用程序(例如，第一用户界面对象为显示在home屏幕上的应用程序启动图标，并且在应用程序启动图标上检测到的轻击输入启动应用程序)，第二用户界面对象包括被配置为使得执行应用程序的功能的子集的选项的菜单(例如，图9E中的迷你应用程序对象912或快速动作菜单914)(例如，第二用户界面对象为与当用户按压与应用程序相对应的应用程序图标时所显示的应用程序相关联的快速动作菜单)。请求按压输入以触发快速动作菜单的显示增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外显示快速动作菜单并减少操作设备/与设备交互时的用户错误)。另外，作为可根据输入对象是继续悬停在触敏表面上方还是抬离到悬停接近范围以外来保持或解除的瞬时用户界面对象来显示快速动作菜单增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少执行操作(例如，激活菜单功能或解除菜单)所需的输入的数量)，从而例如通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面对象对应于(1930)内容项(例如，第一用户界面对象为列表(例如，播放列表、天气列表、新闻列表、电子邮件列表、消息列表、会话列表、联系人列表等)中的列表项(例如，歌曲、天气、新闻、电子邮件、消息、对话、联系人等))，并且第二用户界面对象为内容项的预览(例如，预览示出了内容项的缩略或缩小比例版本)。在一些实施方案中，在第一用户界面对象上检测到的轻击输入打开内容项，而不显示内容项的预览。请求按压输入以触发内容项的预览的显示增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外显示预览并减少操作设备/与设备交互时的用户错误)。另外，作为可根据输入对象是继续悬停在触敏表面上方还是抬离到悬停接近范围以外来保持或解除的瞬时用户界面对象来显示内容项的预览增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少执行操作(例如，显示预览或解除预览)所需的输入的数量)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示内容项的预览时，设备检测(1932)通过输入对象进行的第二输入，这包括检测通过输入对象在触敏表面上与预览相对应的位置处进行的第二接触(例如，第二接触与持续保持在触敏表面上的第一接触相同，或者第二接触为不同于第一接触的单独接触)。响应于检测到通过输入对象进行的第二输入：根据确定第二输入满足项目打开标准，其中项目打开标准要求第二接触的特征强度超过第二强度阈值(例如，第二强度阈值与第一强度阈值相同，或者为与第一强度阈值不同的另一强度阈值)以便满足项目打开标准(例如，需要另一轻按压输入或深按压输入来满足项目打开标准)，设备停止显示预览并打开内容项。在一些实施方案中，当不再显示预览时，在输入对象抬离触敏表面并且在悬停接近范围内悬停在触敏表面上方时，不显示瞬时预览；反而，在显示器上保持显示完全打开的内容项。在一些实施方案中，预览上的轻扫使得显示与预览相关联的选项。例如，响应于检测到通过输入对象进行的第二输入：根据确定第二输入满足选项显示标准，其中选项显示标准要求第二接触的移动(例如，在预定方向上)超过跨触敏表面的阈值距离以便满足选项显示标准(例如，需要轻扫输入来满足选项显示标准)，设备在保持显示预览的同时显示与内容项相关联的一个或多个选项(例如，一旦向上或侧向轻扫预览，则与预览一起显示一个或多个选项(诸如，保存、共享、复制、删除等))。请求深按压输入以完全打开内容项增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外打开内容项并减少操作设备/与设备交互时的用户错误)。另外，允许用户通过更用力地按压预览来打开内容项或通过悬停在预览上方来保持显示预览增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少执行操作(例如，打开项目或保持预览)所需的输入的数量，以及提供附加功能性而不会使用户界面因附加显示的控件而混乱)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到输入对象与触敏表面的第一接触之前，设备检测到(1934)输入对象满足强度-反应-提示标准，其中强度-反应-提示标准要求输入对象在触敏表面的悬停接近范围内，并且要求第一用户界面对象为强度反应对象(例如，当第一用户界面对象由具有第一强度的接触和具有不同于第一强度的第二强度的接触激活时，设备提供差异化的对象特定反应，换句话讲，第一用户界面对象针对基于强度的输入(例如，具有不同强度的触摸输入)具有不同的对象特定响应)。响应于检测到输入对象满足强度-反应-提示标准，设备显示第一视觉效果以指示第一用户界面对象是强度反应的。例如，在一些实施方案中，设备在第一用户界面对象后面显示根据输入对象的当前悬停接近参数扩展或收缩的阴影盘面。在一些实施方案中，当设备确定输入对象满足强度-反应-提示标准时，设备进一步调暗用户界面中围绕第一用户界面对象的部分。在一些实施方案中，设备在视觉上突出显示或放大第一用户界面对象以指示第一用户界面对象是强度反应的。相反，对于非强度反应的用户界面对象，当输入对象悬停在显示器上的用户界面对象上方的触敏表面的悬停接近范围内时，将不会满足强度-反应-提示标准，并且设备放弃显示任何上述视觉效果。在一些实施方案中，第一用户界面对象为应用程序图标，并且针对按压输入的基于强度的响应是显示快速动作菜单，与响应于轻击输入而启动应用程序相反。在一些实施方案中，当在具有其他类型的基于强度的响应的其他类型的用户界面对象上方的悬停接近范围内检测到输入对象时，满足强度-反应-提示标准。例如，在一些实施方案中，第一用户界面对象为与内容项相对应的列表项，并且基于强度的响应是在用户按压列表项时显示内容项的预览，这与响应于轻击输入而打开列表项相反。在一些实施方案中，除提供视觉反馈以指示用户界面对象响应于在对象的悬停接近范围内检测到输入对象是否为强度反应的之外，设备还任选地提供触觉和/或音频反馈以进一步增强或促进视觉反馈。相对于图12A至图12R和方法2200描述了另外的细节。提供视觉反馈以指示当输入对象悬停在对象上方时对象是否对基于强度的输入(例如，轻按压输入和深按压输入)具有差异化的对象特定响应增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过向用户警告对象的性质和行为，避免因与触敏表面接触而意外触发基于强度的响应，通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面对象对应于(1936)应用程序(例如，第一用户界面对象为在home屏幕上显示的应用程序启动图标)，并且第二用户界面对象为未读通知或应用程序的通信的预览。检测预定义的交互包括：检测到输入对象满足通知显示标准，其中通知显示标准要求输入对象在触敏表面的悬停接近范围内，并且要求应用程序具有可供用户查看的至少一条未读通知或未读通信(例如，应用程序图标具有指定可供用户查看的未读通知或通信的数量的指示符，并且/或者通知已经呈现一次并且已经存储在通知中心中以便等待用户处理(例如，丢弃、保存、查看等))以便满足通知显示标准；并且响应于检测到输入对象满足通知显示标准，显示未读通知或通信的预览而不启动应用程序。例如，在一些实施方案中，在用户界面上方或在第一用户界面对象附近再次显示通知横幅。在一些实施方案中，继续显示通知，直到用户将输入对象抬离到悬停接近范围以外。例如，这在图11A至图11G中示出。当检测到输入对象悬停在应用程序的应用程序启动图标上方时，触发与应用程序相对应的未读通知或通信的显示，并且保持显示未读通知或通信一段时间，该时间量由输入对象保持悬停在触敏表面上方的时间量来确定，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过使信息呈现的持续时间动态地适应用户输入，以及减少显示可用信息和解除信息的显示所需的步骤的数量)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户界面对象为(1938)控件对象(例如，第一用户界面对象为显示在home屏幕上的应用程序启动图标或显示在用户界面中的控件)，并且第二用户界面对象为包括与控件对象的功能相关的信息的信息对象(例如，工具提示弹出窗口)。检测预定义的交互包括：检测到输入对象满足信息显示标准，其中信息显示标准要求输入对象在触敏表面的悬停接近范围内，并且要求对应于第一用户界面对象的信息对象可供用户查看(例如，控件具有工具提示)，以便满足信息显示标准；以及响应于检测到输入对象满足信息显示标准，显示对应于第一用户界面对象的信息对象。例如，在一些实施方案中，在第一用户界面对象附近显示工具提示。在一些实施方案中，继续显示工具提示，直到用户将输入对象抬离到悬停接近范围以外。当检测到输入对象悬停在用户界面控件上方时，触发与用户界面控件相对应的信息对象的显示，并且保持显示信息对象一段时间，该时间量由输入对象保持悬停在触敏表面上方的时间量来确定，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过使信息呈现的持续时间动态地适应用户输入，以及减少显示可用信息和解除信息的显示所需的步骤的数量)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
应当理解，对图19A至图19E中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1800、2000、2100、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图19A至图19E所述的方法1900。例如，上文参考方法1900所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1800、2000、2100、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图19A至图19E所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如，检测操作1904和1908以及保持操作和停止操作1910任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图20A至图20I是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法2000的流程图。方法2000是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法2000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
方法2000涉及在输入对象悬停在触敏表面上方时响应于输入对象的悬停-接近参数(例如，悬停距离)的变化而提供多级不同且不连续的视觉反馈。具体地讲，设备识别至少两个悬停接近范围，其中一个为另一个的子范围。当输入对象最初朝向触敏表面移动时，输入对象首先进入1级悬停接近范围，同时保持在2级悬停接近范围之外；并且当输入对象继续更靠近触敏表面移动时，输入对象然后进入2级悬停接近范围，同时保持在1级悬停接近范围内。跨越边界进入1级悬停接近范围和跨越边界进入2级悬停接近范围触发了两种不同的响应，这两种响应在形式上彼此分离并且在功能和/或内容上彼此相关。将触敏表面上方的悬停范围分割成多个子范围，并且使用不同的子范围来触发与相应功能(包括以不同的相应方式改变设备的状态和/或提供不同的相应类型的信息)相对应的不同视觉反馈，这允许设备向用户提供更多差异化并微调的反馈，并且允许用户在已经开始输入之后调整他/她的输入以实现期望结果。提供此类改善的反馈增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
设备在显示器上显示(2002)第一用户界面。在显示器上显示第一用户界面(例如，全屏模式下的媒体播放器用户界面，或后台用户界面(例如，桌面)上的应用程序的窗口)时，设备检测到(2004)输入对象满足第一悬停接近标准，其中第一悬停接近标准要求输入对象的悬停接近参数的当前值在第一值范围内以便满足第一悬停接近标准(例如，输入对象在触敏表面上方小于0.8cm的位置处而不触摸触敏表面)。响应于检测到输入对象满足第一悬停接近标准，设备显示(2006)与第一悬停接近标准相关联的第一视觉反馈(例如，与第一用户界面同时(例如，覆盖在第一用户界面上)显示第一用户界面对象(例如，先前未显示的回放控制面板))。在显示与第一悬停接近标准相关联的第一视觉反馈时(例如，在显示第一用户界面对象(例如，回放控制面板)时)，设备检测到(2008)输入对象的悬停接近参数的当前值的变化并且检测到在该变化之后输入对象满足第二悬停接近标准，其中第二悬停接近标准要求输入对象的悬停接近参数的当前值在第一值范围内的第二值范围内，以便满足第二悬停接近标准(例如，输入对象在触敏表面上方小于0.5cm的位置处而不触摸触敏表面)(换句话讲，第二悬停接近标准比第一悬停接近标准更难满足，并且当第二悬停接近标准得到满足时，第一悬停接近标准也得到满足，但反之则不成立)。响应于检测到输入对象满足第二悬停接近标准，设备显示与第一视觉反馈不同且不连续的第二视觉反馈，第二视觉反馈与第二悬停接近范围相关联(例如，改变第一用户界面对象中的两个或更多个子元素中的相应子元素的外观(例如，在指尖正下方的回放控制面板中突出显示回放按钮)，或者通过添加附加元素来增强第一视觉反馈，或者在检测到输入对象满足第二悬停接近标准时突然地/离散地改变第一视觉反馈的一个或多个视觉特性)。这在图10A至图10E中示出，例如，其中当满足第一悬停接近标准时显示工具栏1006，并且当满足第二悬停接近标准时突出显示控件示能表示1008。这同样在图10F至图10M中示出，例如，其中当满足第一悬停接近标准时显示控制面板1023，并且当满足第二悬停接近标准(并且手指734在回放控件1024和1026中每一者附近)时分别突出显示回放控件1024和1026。这同样在图10O至图10P中示出，例如，其中当满足第一悬停接近标准时(例如，在通知列表1048中)显示文件夹中一个或多个应用程序的未读通知的相应计数，并且当满足第二悬停接近标准时(例如，在扩展通知列表1050中)显示未读通知的通知内容。这同样在图10T至图10Y中示出，例如，其中当满足第一悬停接近标准时显示光标1074，并且当满足第二悬停接近标准时显示选择手柄1084和1086。在一些实施方案中，当满足第二悬停接近标准时，停止显示第一视觉反馈。在一些实施方案中，当满足第二悬停接近标准且显示第二视觉反馈时，继续显示第一视觉反馈。在一些实施方案中，使用一个或多个另外的悬停接近标准来触发另外的设备/用户界面行为。例如，可组合本文所述的不同实施方案，以具有三级接近用户界面、四级接近用户界面等。在一些实施方案中，对于特定级别的悬停接近标准，在一个实施方案中满足第一级别的接近标准的效果可与在本文所述的另一实施方案中满足相同级别或不同级别的接近标准的效果同时出现。
在一些实施方案中，在显示第二视觉反馈时，设备检测到(2012)输入对象满足动作触发标准，其中动作触发标准要求输入对象与触敏表面接触，以便满足动作触发标准。在一些实施方案中，动作触发标准还需要输入对象从触敏表面抬离以便满足动作触发标准，诸如轻击输入。响应于检测到输入对象满足动作触发标准，设备发起与第二用户界面对象相对应的动作的执行(并且如果第一视觉反馈和第二视觉反馈中的一者或两者仍然显示，则停止显示第一视觉反馈和第二视觉反馈)。这在图10D至图10E中示出，例如，其中轻击输入激活控件示能表示1008。这同样在图10K至图10L中示出，例如，其中轻击输入激活切换回放控件1026。例如，这同样在图10R至图10S中示出，其中轻击输入启动即时消息应用程序，以出现与轻击的未读通知相对应的用户界面。在响应于满足第二悬停接近标准而显示第二视觉反馈之后通过接触触发动作增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供附加信息或功能性并允许用户利用当前输入手势的自然发展(例如，继续更靠近触敏表面移动)对信息或功能性采取动作，以及通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)。
在一些实施方案中，响应于检测到输入对象满足第二悬停接近标准，设备在显示第二视觉反馈时停止(2014)显示第一视觉反馈。在显示第二视觉反馈时，设备检测到不再满足第二悬停接近标准并且仍然满足第一悬停接近标准。响应于检测到不再满足第二悬停接近标准并且仍然满足第一悬停接近标准：设备停止显示与第二悬停接近标准相关联的第二视觉反馈；并且设备重新显示与第一悬停接近标准相关联的第一视觉反馈(或者在输入对象已经移出到第二悬停接近范围之外但仍处于第一悬停接近范围内时，根据输入对象的悬停接近参数的变化显示第一视觉反馈的修改(例如，反转)版本)。在满足第二悬停接近标准时(例如，在通过输入对象进行的盘旋进入过程期间)停止显示第一视觉反馈有助于减少视觉混乱以及避免用户在提供输入时混淆；在不再满足第二悬停接近标准且仍然满足第一悬停接近标准时(例如，在通过输入对象进行的盘旋离开过程期间)重新显示第一视觉反馈有助于减少重新显示先前所显示的信息的步骤的数量，这两者均增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少执行任务所需的步骤的数量，通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)。
在一些实施方案中，响应于检测到输入对象满足第二悬停接近标准，设备在显示第二视觉反馈时保持(2016)显示第一视觉反馈。在显示第一视觉反馈和第二视觉反馈时，设备检测到不再满足第二悬停接近标准并且仍然满足第一悬停接近标准。响应于检测到不再满足第二悬停接近标准并且仍然满足第一悬停接近标准：设备停止显示与第二悬停接近标准相关联的第二视觉反馈；并且设备继续保持显示与第一悬停接近标准相关联的第一视觉反馈。例如，这在图10F至图10I以及图10L中示出。在满足第二悬停接近标准时(例如，在通过输入对象进行的盘旋进入过程期间)保持第一视觉反馈的显示有助于为后续输入和第二视觉反馈提供上下文，在不再满足第二悬停接近标准时(例如，在通过输入对象进行的盘旋离开过程期间)停止显示第二视觉反馈有助于减少视觉混乱并避免用户混淆，这两者均增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示与第二悬停接近范围相关联的第二视觉反馈包括(2018)：当在触敏表面上方的第一悬停位置处检测到输入对象时(例如，基于第一用户界面的第一部分比第一用户界面的其他部分更靠近输入对象的第一悬停位置)，将第一视觉变化应用于第一用户界面的第一部分。当第一视觉变化应用于第一用户界面的第一部分时，设备检测在输入对象继续满足第二悬停接近标准(或者，在一些实施方案中，第一悬停接近标准)时输入对象从第一悬停位置到第二悬停位置的第一移动(例如，包括横向移动)。响应于在输入对象继续满足第二悬停接近标准时(或者，在一些实施方案中，第一悬停接近标准)时检测到输入对象的第一移动：设备任选地停止将第一视觉变化应用于第一用户界面的第一部分，并且在触敏表面上方的第二悬停位置处检测到输入对象时(例如，基于第一用户界面的第二部分比第一用户界面的其他部分更靠近输入对象的第二悬停位置)，设备将第二视觉变化应用于第一用户界面中与第一部分不同的第二部分。这在图10I至图10J中示出，其中当手指734在两个控件示能表示中的每一者附近横向移动且继续满足第二悬停接近标准时，突出显示不同的控件示能表示1024和1026。当输入对象继续满足第二悬停接近标准时，允许用户在输入对象的移动期间与用户界面的不同部分交互(例如，引起指示设备的内部状态的变化的视觉变化)，并且提供指示用户界面的哪个部分被激活或者将在接触时被激活的视觉反馈，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需输入来帮助用户实现预期结果，通过减少在操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2020)：跨显示器横向移位显示在显示器上的第一内容(例如，在第一用户界面内移位内容或者将整个第一用户界面从显示器的第一部分移位到显示器的第二部分)(并且任选地，在显示器上的第三位置处显示第三用户界面对象(例如，用于控制面板的拉片)，在移位第一内容之前，该第三位置由第一内容占据的)。显示与第二悬停接近标准相关联的第二视觉反馈包括：在第一内容保持移位时，在显示器上先前由第一内容占据的位置处显示用户界面对象(例如，控制面板)(例如，覆盖在第一用户界面上)。这在图10A至图10C中示出，其中例如，web内容向上移位以为控件栏1006腾出空间。在一些实施方案中，一旦移位第一内容，则显示用户界面对象，而不需要输入对象悬停得更近。在一些实施方案中，用户界面对象为通过接触拉动以引入覆盖在第一内容上的控制面板的选项卡或指示符。在一些实施方案中，第一内容包括在输入对象的悬停位置下方的可激活控件或链接，并且在输入对象满足第一悬停接近标准时，移位第一内容使得输入对象的悬停位置下方不存在可激活控件或链接。在一些实施方案中，在输入对象的先前由第一内容的可激活控件或链接占据的悬停位置下方显示拉片，并且用户可在拉片上轻扫或轻击以在第一内容上方调出控制面板。在一些实施方案中，响应于输入对象满足第二悬停接近标准(例如，悬停在更靠近触敏表面的位置处)，显示控制面板。在一些实施方案中，当输入对象在第一悬停位置处满足第一悬停接近标准时，设备放大或突出显示用户界面中具有在输入对象下方的可用控件的一部分。在一些实施方案中，用户可轻击放大部分中的特定可激活控件或链接或者更靠近放大部分中的特定可激活控件或链接悬停以对其进行激活。在检测到输入对象悬停在第一悬停距离处时，将内容移出；并且在输入对象更靠近触敏表面悬停时，在内容的原始位置处显示用户界面对象，这增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过提供更具响应性的用户界面，通过提供所需输入来帮助用户实现预期结果，以及通过减少在操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2022)：将第一变化应用于已经显示在显示器上的第一用户界面对象的外观(例如，突出显示包括多个子元素的全屏用户界面，或者突出显示或放大包括多个子元素(例如，窗口、工具栏、任务栏、列表、菜单、包括内容的子块的内容块)并且已经显示在用户界面中的容器对象)，其中第一用户界面对象包括第二用户界面对象(例如，第一项目、对象、控件或内容的子块)和第三用户界面对象(例如，第二项目、对象、控件或内容的子块)。显示与第二悬停接近标准相关联的第二视觉反馈包括：相对于第一用户界面对象内的第三用户界面对象的外观，对第二用户界面对象的外观应用第二变化(例如，突出显示或放大第一用户界面对象中显示在输入对象的悬停位置附近的一些子元素)。尽管在输入对象满足第一悬停接近标准时对第一用户界面对象整体地应用第一变化时，第二对象和第三对象的外观也受到影响，但对第一用户界面对象的外观的第一变化不会区分出第二对象和第三对象。当输入对象满足第二悬停接近标准时，基于输入对象相对于第二用户界面对象和第三用户界面对象的位置的悬停位置将外观的第二变化选择性地应用于第二用户界面对象而不是应用于第三用户界面对象或第一用户界面对象中的其他用户界面对象(例如，当相比于第三用户界面对象悬停位置更靠近第二用户界面对象时，将外观的第二变化应用于第二用户界面对象，而不是应用于第三用户界面对象)。作为更具体的示例，在一些实施方案中，第一用户界面对象包括工具栏，并且悬停在工具栏上方的第一悬停距离处使得设备放大工具栏和工具栏内的控件，并且当工具栏保持放大时，悬停在工具栏上方的第二更靠近的悬停距离处使得设备突出显示和/或放大工具栏内最靠近输入对象的第一控件，同时保持其他控件不变。在另一示例中，第一用户界面包括若干文本段落，并且悬停在第一用户界面上方的第一悬停距离处使得设备选择用户界面内最靠近输入对象的悬停位置的第一段落，并且当输入对象悬停在用户界面上方的第二更靠近悬停距离处时，设备停止选择第一段落，而是选择第一段落内最靠近输入对象的当前悬停位置的句子。在一些实施方案中，当输入对象满足第二悬停接近标准时，设备不再相对于最靠近输入对象的悬停位置的第二用户界面对象强调(例如，模糊或变暗)第一用户界面对象的其他部分(并且任选地保持第二用户界面对象不变)。在检测到输入对象悬停在第一悬停距离处时突出显示用户界面对象，并且当输入对象更靠近触敏表面悬停时突出显示用户界面对象的子元素，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供更具响应性的用户界面，通过逐渐引导用户注意用户界面的较小部分，通过允许用户基于不同级别的视觉反馈来调整输入，以及通过减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
当对第二用户界面对象的外观应用第二变化时，保持(2024)对第一用户界面对象的外观的第一变化。例如，这在图10B至图10C以及图10H至图10I中示出。在一些实施方案中，当输入对象悬停在工具栏上方的第一阈值悬停距离处时，放大工具栏，当输入对象更靠近工具栏悬停在其上方的第二阈值悬停距离处时，突出显示工具栏中最靠近输入对象的控件，同时保持放大工具栏。当输入对象从触敏表面抬离时，首先取消对控件的突出显示，同时保持对工具栏的放大，直到输入对象离触敏表面的距离大于第一阈值悬停距离。在一些实施方案中，当输入对象在触敏表面上方从第二用户界面对象上方的位置横向移动到第三用户界面对象上方的位置(同时继续满足第二悬停接近阈值)时，取消对第二用户界面对象的突出显示，并且对第三用户界面对象应用突出显示，同时继续放大工具栏。在输入对象悬停在更靠近触敏表面的位置处时保持先前所显示的视觉反馈增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过在保持用于新变化的上下文的同时逐渐引导用户注意用户界面的较小部分，通过提供所需输入来帮助用户实现预期结果，以及通过减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当对第二用户界面对象的外观应用第二变化时，取消(2026)对第一用户界面对象的外观的第一变化。这在图10O至图10P(通知列表1048被扩展通知列表1050替换)和图10V至图10W(光标1074被两个选择手柄1084和1086替换)中示出。在一些实施方案中，当输入对象悬停在文本段落上方的第一阈值悬停距离处时，选择文本段落，当输入对象更靠近文本悬停在其上方的第二阈值悬停距离处时，取消对段落的选择，并且选择段落内的句子。在一些实施方案中，当输入对象从触敏表面抬离时，取消对句子的选择。在一些实施方案中，恢复对段落的选择。在一些实施方案中，不恢复对段落的选择。在一些实施方案中，当输入对象在触敏表面上方从第一句子上方的位置横向移动到第二句子上方的位置(同时继续满足第二悬停接近阈值)时，取消对第一句子的选择并选择第二句子。在输入对象悬停在更靠近触敏表面的位置处时取消先前所显示的视觉反馈增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少视觉混乱并避免用户混淆，通过提供所需输入来帮助用户实现预期结果，通过减少操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2028)：将第一变化应用于已经在显示器上显示的第一用户界面对象的外观(例如，突出显示或放大已经在用户界面中显示的用户界面元素(例如，应用程序图标、列表、菜单等))。显示与第二悬停接近标准相关联的第二视觉反馈包括显示与第一用户界面对象相关联并且在输入对象满足第二悬停接近标准之前未与第一用户界面对象一起显示的第二用户界面对象(例如，第二用户界面对象是响应于输入对象满足第二悬停接近标准而显示的新对象)。作为更具体的示例，在一些实施方案中，第一用户界面对象包括对应应用程序的应用程序图标，并且悬停在应用程序图标上方的第一悬停距离处使得设备选择/突出显示应用程序图标，并且在保持选择/突出显示应用程序图标时，悬停在应用程序图标上方的第二更靠近悬停距离处使得设备显示与应用程序相关的工具提示、应用程序的未读通知、应用程序的快速动作菜单等。在一些实施方案中，在显示第二用户界面对象时对其轻击使得执行应用程序的操作(例如，工具提示变为帮助页面，应用程序启动成与触发通知的通信相对应的用户界面，执行菜单中的动作等)。在一些实施方案中，在不启动应用程序的情况下，执行动作。在另一示例中，第一用户界面对象包括列表中的项目(例如，收件箱中的电子邮件项目，或消息列表中的消息，或联系人列表中的联系人，或会话列表中的会话)，并且悬停在列表项上方的第一悬停距离处使得设备选择/突出显示项目，并且在保持选择/突出显示项目时，悬停在应用程序图标上的第二更靠近悬停距离处使得设备显示项目的预览(例如，具有与项目相对应的内容的弹出盘面)。在一些实施方案中，在显示第二用户界面对象时对其轻击使得应用程序被启动为与预览的内容相对应的用户界面。在另一示例中，第一用户界面对象包括附加内容的链接(例如，网页)，并且悬停在链接上方的第一悬停距离处使得设备选择/突出显示链接，并且悬停在链接上方的第二更靠近悬停距离处使得设备显示附加内容的预览(例如，具有与链接相对应的附加内容的弹出盘面)。在一些实施方案中，在显示第二用户界面对象时对其轻击使得完全显示与链接相对应的内容。在检测到输入对象悬停在第一悬停距离处时突出显示用户界面对象，并且在输入对象悬停在更靠近触敏表面的位置处时形成与突出显示的用户界面对象相关联的新用户界面对象，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供更具响应性的用户界面，逐渐引导用户注意用户界面中的新用户界面对象，根据需要提供更多功能而不会不必要地使用户界面混乱，并且减少在操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示第二用户界面对象时，设备检测到(2030)不再满足第二悬停接近标准：根据确定由于输入对象已经与触敏表面接触，不再满足第二悬停接近标准，设备执行与第二用户界面对象相对应的操作(例如，打开网页、显示通信的全部内容、启动应用程序等)(并且停止显示第二用户界面对象)；并且根据确定不再满足第二悬停接近标准且仍然满足第一悬停接近标准，设备停止显示第二用户界面对象(而不执行与第二用户界面对象相对应的操作)。例如，这在图10F至图10M中示出。在响应于满足二级悬停接近标准而显示新用户界面对象(例如，第二用户界面对象)之后，激活新用户界面对象以执行操作或者停止显示新用户界面对象，这取决于输入对象是更靠近触敏表面移动并与触敏表面接触还是远离二级悬停接近范围移动并退出二级悬停接近范围。这两种结果均可通过当前输入的自然发展轻松实现。因此，如本文所述的用于确定是否执行操作或停止显示新用户界面对象的启发法增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过减少执行任务所需的步骤的数量，并且提供另外的功能控制选项，但用户界面不会因另外显示的控件混乱)。
响应于检测到输入对象满足第二悬停接近标准，设备取消(2032)已经应用于第一用户界面对象的外观的第一变化(例如，停止突出显示或放大已经显示在用户界面中的第一用户界面对象(例如，应用程序图标、列表项、链接等))。响应于检测到不再满足第二悬停接近标准并且仍然满足第一悬停接近标准(例如，在取消已经应用于第一用户界面对象的外观的第一变化之后)，设备对第一用户界面对象的外观重新应用已经取消的第一变化。在一些实施方案中，响应于检测到由于输入对象已经退出触敏表面上方的悬停接近范围而不再满足第一悬停接近标准和第二悬停接近标准，设备取消已经重新应用于第一用户界面对象的外观的第一变化。在满足第二悬停接近标准时(例如，在通过输入对象进行的盘旋进入过程期间)停止显示第一视觉反馈有助于减少视觉混乱以及避免用户在提供输入时混淆；在不再满足第二悬停接近标准且仍然满足第一悬停接近标准时(例如，在通过输入对象进行的盘旋离开过程期间)重新显示第一视觉反馈有助于减少重新显示先前所显示的信息的步骤的数量，这两者均增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少执行任务所需的步骤的数量，通过提供所需的输入来帮助用户实现预期结果，以及减少在操作设备/与设备交互时的用户错误)。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2034)：显示在输入对象满足第一悬停接近标准之前未显示的第一用户界面对象(例如，当输入对象在触敏表面上方悬停在应用程序图标上方的第一阈值悬停距离处时，与应用程序图标相关联的快速动作菜单从应用程序图标旁边弹出)。显示与第二悬停接近标准相关联的第二视觉反馈包括：在保持显示第一用户界面对象时，显示与第一用户界面对象相关联并且在输入对象满足第二悬停接近标准之前未与第一用户界面对象一起显示的第二用户界面对象(例如，第二用户界面对象是响应于输入对象满足第二悬停接近标准而显示的另一新对象)。在一些实施方案中，当自显示第一用户界面对象之后输入对象保持其横向位置(无横向移动)时，显示第二用户界面对象。在一些实施方案中，悬停在应用程序图标上方的第一悬停距离处使得设备显示与应用程序图标相关联的弹出菜单，并且在显示弹出菜单时，悬停在应用程序图标(或弹出菜单)上方的第二更靠近悬停距离处使得设备显示弹出菜单的子菜单。在一些实施方案中，在显示子菜单时轻击子菜单或子菜单中的项目使得设备执行与子菜单或菜单项相对应的应用程序的操作。在一些实施方案中，在不启动应用程序的情况下，执行动作。在一些实施方案中，在显示子菜单之后，当输入对象远离触敏表面移动(小于阈值量的横向移动或非横向移动)，并回到触敏表面上方的第一阈值悬停距离内时，设备停止显示子菜单，同时继续显示菜单。当输入对象退出触敏表面上方的第一悬停接近范围时，设备停止显示菜单。在检测到输入对象悬停在第一悬停距离处时显示第一新用户界面对象，并且在输入对象悬停在更靠近触敏表面的位置处时形成与第一新对象相关联的第二新用户界面对象，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供更具响应性的用户界面，逐渐引导用户注意用户界面中的新用户界面对象，根据需要提供更多功能而不会不必要地使用户界面混乱，并且减少在操作设备/与设备交互时的用户错误)，此外，这(例如通过使用户能够更快速且更有效地使用设备)减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示第二用户界面对象时，检测到不再满足第二悬停接近标准：根据确定因为输入对象已经与触敏表面接触而不再满足第二悬停接近标准，设备执行与第二用户界面对象相对应的操作(例如，激活子菜单中的选项)(并且停止显示第二用户界面对象)；并且根据确定不再满足第二悬停接近标准并且仍然满足第一悬停接近标准，设备停止显示第二用户界面对象(而不执行与第二用户界面对象相对应的操作，并且同时保持第一用户界面对象的显示)。在响应于满足二级悬停接近标准而显示第二新用户界面对象之后，第二新用户界面对象被激活以执行操作或停止显示，这取决于输入对象是移近并与触敏表面接触还是移开并退出二级悬停接近范围。这两种结果均可通过当前输入的自然发展轻松实现。因此，如本文所述的用于确定是否执行操作或停止显示第二新用户界面对象的启发法增强了设备的可操作性并(例如，通过减少执行任务所需的步骤数，并提供额外的功能控制选项而不会用其他显示的控件使用户界面混乱)使得用户设备界面更高效。
在一些实施方案中，在检测到不再满足第二悬停接近标准之后，设备检测到不再满足第一悬停接近标准。响应于检测到因为输入对象已经退出触敏表面上方的第一悬停接近范围而不再满足第一悬停接近标准，设备停止显示第一用户界面对象当输入对象被提升到第一级悬停接近范围之外时，停止显示当前显示的新对象增强了设备的可操作性并(例如，通过减少视觉混乱并避免用户混淆，通过提供所需输入并减少操作/与设备交互时的错误来帮助用户实现预期结果)使得用户设备界面更高效，此外，这通过使用户能够更快速有效地使用设备降低功率使用并延长设备的电池寿命。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2040)：显示在输入对象满足第一悬停接近标准之前未显示的第一用户界面对象，其中第一用户界面对象包括多个子元素，包括第二用户界面对象和第三用户界面对象(例如，当输入对象在触敏表面上方的第一阈值悬停距离处悬停在媒体播放器窗口或全屏媒体播放窗口上方时，与媒体播放器应用程序相关联的控制面板显示在媒体播放器窗口上方)。在一些实施方案中，在输入对象满足第一悬停接近标准时第一用户界面对象显示在与输入对象的悬停位置相对应的位置(例如，在其正下方或从其投影)处。显示与第二悬停接近标准相关联的第二视觉反馈包括：在保持第一用户界面对象的显示时，相对于第三用户界面对象的外观应用对第二用户界面对象的外观的改变。例如，在一些实施方案中，第二用户界面对象是暂停按钮，并且第三用户界面对象是快进按钮。当输入对象在第二阈值悬停距离处更接近触敏表面悬停并且输入对象比快进按钮更接近暂停按钮时，相对于快进按钮(和控制面板中的其他按钮)突出显示暂停按钮。在一些实施方案中，如果输入对象横向移动并且比暂停按钮更接近快进按钮，则突出显示快进按钮，并且不再突出显示暂停按钮。在一些实施方案中，当输入对象垂直移动并与触敏表面接触时，激活突出显示的控件(例如，快进按钮)并快进媒体播放。在一些实施方案中，当输入对象在第二阈值悬停距离处更接近触敏表面悬停，并且相比快进按钮输入对象更接近暂停按钮时，暂停按钮保持不变，而快进按钮和控制面板中的其他控件相对于暂停按钮不再强调(例如，变暗或模糊)。例如，这在图10F至图10M中示出。在检测到输入对象悬停在第一悬停距离时显示新的用户界面对象并且当输入对象悬停在更接近触敏表面时突出显示新对象内的子元素，(例如，通过提供响应更快的用户界面，逐渐引导用户注意新用户界面对象的一部分，根据需要提供更多功能而不会不必要地使用户界面混乱，并且减少用户在操作/与设备交互时的错误)增强了设备的可操作性并使用户-设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)减少了功率使用并延长了设备的电池寿命。
在一些实施方案中，在显示第一用户界面对象时，在输入对象继续满足第一悬停接近标准时，设备检测(2042)输入对象从第三悬停位置到第四悬停位置的第二移动(例如，包括横向移动)。响应于在输入对象继续满足第一悬停接近标准时检测到输入对象的第二移动，设备将第一用户界面对象从显示器上与输入对象的第三悬停位置相对应的第一位置移动到显示器上的第二位置，该第二位置不同于显示器上的第一位置并且对应于输入对象的第四悬停位置。例如，在一些实施方案中，在输入对象满足第一悬停接近标准时回放控制面板显示在与输入对象的悬停位置相对应的位置，当输入对象从第三悬停位置移动到第四悬停位置同时保持在触敏表面上方的第一悬停接近范围内时，回放控制面板随输入对象移动。例如，这在图10G至图10H中示出。在检测到输入对象在第一悬停距离处悬停时显示新的用户界面对象之后，根据第一级悬停接近范围内的横向悬停移动来移动新的用户界面对象增强了设备的可操作性并(例如，通过允许用户将新的用户界面对象重新定位到远离用户界面上的现有内容的更方便的位置，从而通过在操作/与设备交互时提供所需输入并减少用户错误来帮助用户实现预期结果)使得用户-设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)减少了功率使用并延长了设备的电池寿命。
在一些实施方案中，在应用对第二用户界面对象的外观的变化时，设备检测(2044)不再满足第二悬停接近标准。响应于检测到不再满足第二悬停接近标准：根据确定因为输入对象已经与触敏表面接触而不再满足第二悬停接近标准，设备执行与第二用户界面对象相对应的操作(例如，激活突出显示的按钮以控制媒体的回放)(并且可选地，保持第一用户界面对象的显示)。在一些实施方案中，除了需要与触敏表面接触之外，该设备还要求接触的特征强度增加到第一强度阈值(例如，轻按压强度阈值)以上，以便触发对应于第二用户界面对象的操作的执行。根据确定不再满足第二悬停接近标准并且仍然满足第一悬停接近标准，设备取消已经应用于第二用户界面对象的外观的变化(而不执行与第二用户界面对象相对应的操作，并保持第一用户界面对象的显示)。例如，当输入对象远离触敏表面移动并退出第二悬停接近范围时，最接近输入对象的特定控件的突出显示被取消。在显示新用户界面对象(例如，第二用户界面对象)并且响应于满足二级悬停接近标准而突出显示新用户界面对象内的子元素之后，根据输入对象是否移近并与触敏表面接触或移开并退出二级悬停接近范围，子元件被激活以执行操作或停止突出显示。这两种结果均可通过当前输入的自然发展轻松实现。因此，如本文所述的用于确定是否执行操作或停止停止突出显示新用户界面对象中的子元素的启发法增强了设备的可操作性并(例如，通过减少执行任务所需的步骤数，并提供额外的功能控制选项而不会用其他显示的控件使用户界面混乱)使得用户设备界面更高效。
在一些实施方案中，在检测到不再满足第二悬停接近标准之后，设备检测到(2046)不再满足第一悬停接近标准。响应于检测到因为输入对象已经退出触敏表面上方的悬停接近范围而不再满足第一悬停接近标准，设备停止显示第一用户界面对象(例如，当输入对象被提升到第一悬停接近范围外时，设备停止在媒体播放器用户界面上显示回放控制面板)。当输入对象被提升到第一级悬停接近范围之外时，停止显示当前显示的新对象增强了设备的可操作性并(例如，通过减少视觉混乱并避免用户混淆，通过提供所需输入并减少操作/与设备交互时的错误来帮助用户实现预期结果)使得用户设备界面更高效，此外，这通过使用户能够更快速有效地使用设备降低功率使用并延长设备的电池寿命。
在一些实施方案中，显示在输入对象满足第一悬停接近标准之前未显示的第一用户界面对象包括(2048)：根据确定输入对象满足第一悬停接近标准但不满足第二悬停接近标准，当输入对象移近触敏表面时，改变(例如，增加)第一用户界面物体的不透明度。在一些实施方案中，当输入对象远离触敏表面移动同时仍然满足第一悬停接近标准时，减小第一用户界面对象的不透明度。当输入对象靠近触敏表面时改变新显示的物体的不透明度增强了设备的可操作性并(例如，通过提供有关输入对象状态的信息，通过提供所需输入来帮助用户实现预期结果，并减少操作/与设备交互时的错误)使用户-设备界面更高效，此外，这通过使用户能够更快速有效地使用设备降低功率使用并延长设备的电池寿命。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2050)：将第一变化应用于已经在第一用户界面中显示的第一用户界面对象的外观。显示与第二悬停接近标准相关联的第二视觉反馈包括：在保持对第一用户界面对象的外观的第一变化的同时，对第一用户界面对象的外观应用第二变化，该第二变化与已应用于第一用户界面对象的第一变化不同且不连续。例如，在一些实施方案中，悬停在可选文本上方以放大文本(例如，当手指处于触敏表面上方的第一阈值悬停距离时，放大手指下方的句子)，并且更靠近悬停以选择放大的句子(例如，当手指移动到触敏表面上方的第二阈值悬停距离时，选择放大的句子)。在检测到手指在满足第一悬停接近标准而不满足第二悬停接近标准时横向移动时，设备显示随着手指的横向移动而放大的文本的不同部分；并且当检测到手指在满足第二悬停接近标准时横向移动时，设备显示随着手指的横向移动选择文本的不同部分。根据是在一级悬停接近范围还是在二级悬停接近范围内检测到输入对象，将两种不同类型的视觉效果应用于现有用户界面对象，(例如，通过向用户指示设备当前所处的不同状态，从而通过提供所需输入并在操作/与设备交互时减少用户错误来帮助用户实现预期结果)增强了设备的可操作性并使用户-设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)减少了功率使用并延长了设备的电池寿命。
在一些实施方案中，在显示第二视觉反馈时，设备检测(2052)输入对象满足第三悬停接近标准，其中第三悬停接近标准要求输入对象的悬停接近参数的当前值在第三值范围内，并且其中第三值范围在第二值范围内(例如，输入对象距离触敏表面不到0.3cm但不接触触敏表面)(换句话讲，第三悬停接近标准比第二悬停接近标准更难以满足，并且当满足第三悬停接近标准时，也满足第一悬停接近标准和第二悬停接近标准，但反之亦然)。响应于检测到输入对象满足第三悬停接近标准，设备显示与第一视觉反馈和第二视觉反馈不同且不连续的第三视觉反馈，第二视觉反馈与第三悬停接近范围相关联。响应于输入对象的悬停-接近参数(例如，悬停距离)的变化提供多个级别的不同且非连续的视觉反馈，(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强了设备的可操作性并使得用户-设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)降低了功率使用并延长了设备的电池寿命。
在一些实施方案中，显示与第一悬停接近标准相关联的第一视觉反馈包括(2054)：对于在与输入对象的当前悬停位置相对应的位置处显示的可选文本的第一部分应用放大；并且在输入对象满足第一悬停接近标准之前显示未显示的光标(例如，将光标显示在可选文本的已被放大的部分内)。显示与第二悬停接近标准相关联的第二视觉反馈包括：在将放大应用于可选文本的第一部分并显示光标时，改变光标的外观以指示文本选择模式被激活(例如，包括增强光标的颜色和厚度，或在光标顶部或光标旁边添加棒棒糖状物)。例如，这在图10T至图10Y中示出。在一些实施方案中，除了要求输入对象满足第一悬停接近标准之外，设备还要求输入对象在第一悬停接近范围内以小于阈值量的移动保持阈值量的时间，以便应用放大率并显示光标。在一些实施方案中，除了要求输入对象满足第一悬停接近标准之外，设备还要求输入对象在悬停并将输入对象保持在第一悬停接近范围内之前首先与触敏表面接触，以便应用放大并显示光标。在一些实施方案中，除了要求输入对象满足第一悬停接近标准之外，设备还要求在将输入对象悬停并保持在第一悬停接近范围内之前输入对象与触敏表面接触并且以超过阈值强度压靠触敏表面，以便应用放大并显示光标。在检测到输入对象在第一悬停距离处悬停时突出显示可选文本并显示光标并且当输入对象更接近触敏表面悬停时改变光标的外观以指示文本选择模式被激活，(例如，通过提供响应更快的用户界面，根据需要提供附加功能，而不会不必要地使用额外的显示控件使用户界面混乱，并且减少操作/与设备交互时的用户错误)增强了设备的可操作性并使用户设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)减少了功率使用并延长了设备的电池寿命。
在一些实施方案中，设备检测(2056)输入对象的横向移动。响应于检测到输入对象的横向移动：根据确定在输入对象的横向移动期间输入对象满足第二悬停接近标准：设备根据输入对象的横向移动来移动光标(例如，根据输入对象的横向移动，用表示选择边界的用户界面对象移动光标)；并且设备根据光标的移动选择文本(例如，根据光标在顶部的棒棒糖状物的移动选择文本)。根据确定在输入对象的横向移动期间输入对象满足第一悬停接近标准并且不满足第二悬停接近标准：设备根据输入对象的横向移动来移动光标(例如，根据输入对象的横向移动来移动光标而不移动表示选择的边界的用户界面对象)而不选择文本。例如，这在图10T至图10Y中示出。根据横向悬停移动是发生在第二级悬停接近范围内还是在第二级悬停接近范围之外，响应于横向悬停移动执行不同功能(例如，移动光标或调整文本选择尺寸)，(例如，通过提供附加功能而不会用其他显示控件使用户界面混乱，减少执行所需操作所需的输入次数，通过提供所需输入来帮助用户实现预期结果，并且减少在操作/与设备交互时的用户错误)增强了设备的可操作性并使用户设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)降低了功率使用并延长了设备的电池寿命。
在一些实施方案中，响应于检测到输入对象的横向移动：根据确定在输入对象的横向移动期间输入对象与触敏表面接触：设备根据输入对象的横向移动来滚动(2058)用户界面(例如，不移动光标，不选择文本)。根据横向移动是在悬停期间发生还是在与触敏表面保持接触时发生，响应于横向移动执行不同的功能(例如，移动光标、调整文本选择尺寸或滚动用户界面)，(例如，通过提供附加功能而不用其他显示控件使用户界面混乱，减少执行所需操作所需的输入次数，通过提供所需输入来帮助用户实现预期结果，减少在操作/与设备交互时的用户错误)增强了设备的可操作性并使得用户设备界面更高效，此外，这(例如，通过使用户能够更快速有效地使用设备)降低了功率使用并延长了设备的电池寿命。
应当理解，对图20A至图20I中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2100、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图20A至图20I所述的方法2000。例如，上文参考方法2000所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2100、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图20A至图20I所述的操作可选地由图1A至图1B中所描绘的部件来实现。例如，检测操作2004和2008可选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图21A至图21D是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法2100的流程图。方法2100是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法2100中的一些操作可选地被组合，并且/或者一些操作的顺序可选地被改变。
方法2100涉及当输入对象在输入对象的移动之前已经满足用于检测悬停输入的通常悬停接近标准和增强通常悬停接近标准的附加要求(例如，用于将输入对象保持就位的时间阈值，或者更接近的悬停接近范围等)两者时，根据输入对象的悬停移动输入有条件地执行操作。增强通常悬停接近标准的附加要求用作进入执行操作的模式的触发；并且一旦进入该模式，只要输入对象继续满足通常悬停接近标准，输入对象就不再需要满足(例如，相对于另一个对象)继续操作或重复执行操作的附加要求。通过使用可通过单个输入而不是多个输入(例如，多个并发或顺序输入)的组合满足的增强要求，作为进入特定操作模式的条件，该设备减少了执行操作所需的输入次数，从而增强了设备的可操作性并使用户-设备界面更高效。此外，通过不要求输入对象在悬停移动输入期间继续满足增强的要求，该设备还使用户更容易继续或重复操作的执行，从而增强用户设备的可操作性并使用户设备界面更高效(例如，通过减少操作/与设备交互时的用户错误)。
设备在第一用户界面中显示(2102)包括至少第一用户界面对象的多个用户界面对象。在显示多个用户界面对象时，设备在第一用户界面对象上的第一悬停位置处检测满足第一悬停接近标准(例如，输入对象的悬停接近参数在触敏表面上方的第一悬停接近范围内)的(2104)输入对象。在检测到第一用户界面对象上的第一悬停位置处的满足第一悬停接近标准的输入对象之后，设备检测(2106)输入对象远离第一悬停位置的移动(例如，检测输入对象的悬停位置的变化，包括输入对象的横向位置的变化，以及输入对象的垂直位置的变化)。响应于检测到输入对象远离第一悬停位置的移动：根据确定输入对象满足第一增强悬停接近标准，其中第一增强悬停接近标准要求输入对象满足第一悬停接近标准和在输入对象离开第一位置之前增强第一悬停接近标准的附加要求(例如，附加要求是输入对象满足第一悬停接近标准，进行小于预定量的移动超过阈值量的时间(例如，输入对象在满足第一悬停接近标准时保持基本静止达阈值量的时间))，设备执行(2108)与输入对象的移动相关联的第一操作(例如，选择文本选择框的边缘并将其相对于文本选择框的另一边进行移动，或者停止显示与第一用户界面对象相关联的工具提示，并且当输入对象移动到第二用户界面对象上方的第二悬停位置时，显示与第一用户界面对象不同的第二用户界面对象的工具提示)。并且根据确定(例如，因为输入对象未满足第一悬停接近标准或附加要求(例如，输入对象已被提升到触敏表面上方的悬停接近范围之外))(例如，因为在输入对象离开第一悬停位置之前进行小于预定量的移动，输入对象未满足附加要求)输入对象不满足第一增强悬停接近标准，设备放弃执行第一操作。这在图11A至图11G中示出，其中手指734悬停在应用程序图标1104上方达阈值量的时间以触发通知重新显示模式，并且当手指734移动到另一个图标1106上方时，重新显示图标1106的通知1112，而不需要将手指734悬停达该阈值量的时间。
在一些实施方案中，第一增强悬停接近标准要求(2110)输入对象在输入对象离开第一悬停位置之前已经持续满足第一悬停接近标准超过预定量的时间且进行小于预定量的移动。例如，这在图11A至图11G中所示的示例中示出。当输入对象在输入对象离开之前已满足悬停保持要求时，根据输入对象的悬停移动输入有条件地执行操作，减少了执行操作所需的输入次数，从而增强了设备的可操作性并使用户设备界面更高效。此外，通过不要求输入对象在悬停移动输入期间继续满足悬停保持标准，该设备还使用户更容易继续或重复操作的执行，从而增强用户设备的可操作性并使用户设备界面更高效(例如，通过减少操作/与设备交互时的用户错误)。
在一些实施方案中，第一增强悬停接近标准要求(2112)输入对象在输入对象远离第一悬停位置之前满足第二悬停接近标准(进行小于预定量的移动，超过预定量的时间)，其中第一悬停接近标准要求输入对象的当前悬停接近参数在第一值范围内，第二悬停接近标准要求输入对象的当前悬停接近参数在第二值范围内，并且第二值范围在第一值范围内(例如，第二悬停接近标准要求相比第一悬停接近标准输入对象更靠近触敏表面)。当输入对象在输入对象离开之前已满足靠近悬停要求时，根据输入对象的悬停移动输入有条件地执行操作，减少了执行操作所需的输入次数，从而增强了设备的可操作性并使用户设备界面更高效。此外，通过不要求输入对象在悬停移动输入期间继续满足靠近悬停要求，该设备还使用户更容易继续或重复操作的执行，从而增强用户设备的可操作性并使用户设备界面更高效(例如，通过减少操作/与设备交互时的用户错误)。需注意，需要针对特定响应的悬停保持输入的实施方案的描述可能要求输入对象更靠近地悬停(例如，满足较小的悬停接近范围而不满足“保持”要求的时间阈值)以实现相同的响应。类似地，要求针对特定响应的输入对象进入更接近的悬停距离(例如，二级悬停接近范围)的实施方案的描述可能需要输入对象悬停并保持阈值量的时间以实现相同的响应。因此，图10A至图10Y中所示的示例也适用于方法1100。为了简洁起见，在此没有列举标准和响应的不同排列。
在一些实施方案中，执行第一操作包括(2114)改变第一用户界面对象的外观(例如，在第一用户界面对象后面显示阴影，突出显示第一用户界面对象，当对象是光标时在对象顶部添加棒棒糖状物，将对象从其原始z平面抬离，当对象是棒棒糖状物时改变对象的颜色等)，以指示已输入与执行第一操作相关联的模式(例如，用于显示与图标或控件相关联的工具提示的工具提示显示模式，用于显示来自与应用程序启动图标相对应的应用程序的未读通知的通知显示模式，用于显示列表项目的预览的预览显示模式，用于移动选择手柄或棒棒糖状物以更改选择的尺寸的文本选择模式等))。通过改变第一用户界面对象的外观提供与进行第一操作相关联的模式的可视指示，(例如，通过提醒用户设备状态的变化并通过提供所需输入帮助用户实现预期结果)增强了设备的可操作性并使用户设备界面更高效，此外，这通过使用户能够更快速有效地使用设备，降低了功率使用并延长了设备的电池寿命。
在一些实施方案中，执行第一操作包括(2116)根据输入对象的移动来改变选择的尺寸(例如，在输入对象悬停在可选文本上方超过阈值量的时间之后，根据输入对象的移动改变文本选择的尺寸或边界)。在一些实施方案中，第一用户界面对象是选择框的边缘或选择框上的选择手柄或者是光标。在一些实施方案中，如果输入对象未被保持在第一用户界面对象上方超过阈值量的时间，则输入对象的移动将移动第一用户界面对象而不选择文本或扩展所选择的文本。在一些实施方案中，第一用户界面对象是光标，并且当输入对象满足第一增强悬停接近标准时，光标的外观改变(例如，显示选择手柄或放大现有选择手柄或改变颜色)，以指示已进入文本选择模式，并且随后根据输入对象的移动改变外观的光标移动会改变选择的尺寸(例如，扩展文本选择)。在一些实施方案中，触敏表面上的输入对象的触摸确认了选择(例如，在输入对象然后被提升到触敏表面上方的悬停接近范围之外时选择保持不变)。在一些实施方案中，将输入对象提升到悬停接近范围之外而不首先向下触摸触敏表面取消文本选择。当输入对象已经满足检测悬停输入的通常悬停接近标准和在输入对象的移动之前增加通常悬停接近标准的附加要求(例如，用于将输入对象保持就位的时间阈值，或者更接近的悬停接近范围等)时，根据输入对象的悬停移动输入有条件地改变选择的尺寸，(例如，通过减少改变选择的尺寸所需的输入次数并减少操作/与设备交互时的用户错误)增强了设备的可操作性，并使用户-设备界面更高效。
响应于检测到输入对象远离第一悬停位置的移动：根据确定输入对象不满足第一增强悬停接近标准，设备根据输入对象的移动来移动(2118)第一用户界面对象，而不改变选择的尺寸(例如，在一些实施方案中，当输入对象不满足第一增强悬停接近标准时，光标的外观不会改变并且不进入选择模式；并且输入对象的移动将光标重新定位在可选文本中而不选择文本))。在一些实施方案中，触敏表面上的输入对象的向下触摸确认了光标的移动(例如，在输入对象然后被提升到触敏表面上方的悬停接近范围之外时，光标保持在新位置)。在一些实施方案中，将输入对象提升到悬停接近范围之外而不首先向下触摸触敏表面取消移动并在该移动之前将光标恢复到其原始位置。在一些实施方案中，快速轻弹而不向下触摸将第一用户界面对象横向地抛过第一用户界面，并且第一用户界面进入最终位置(例如，捕捉位置)。当输入对象未满足检测悬停输入的通常悬停接近标准和在输入对象移动之前增加通常悬停接近标准的附加要求时，根据悬停移动输入有条件地移动光标(而不是改变选择的尺寸)，(例如，通过减少移动光标所需的输入次数并减少操作/与设备交互时的用户错误)增强了设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，检测输入对象远离第一悬停位置的移动包括检测输入对象到多个用户界面对象的第二用户界面对象上方的第二悬停位置的移动(例如，现在第二用户界面对象具有输入焦点)。执行第一操作包括响应于检测到在第二用户界面对象上方的第二悬停位置处的输入对象，显示关于第二用户界面对象的第二信息(例如，当输入对象移动到第二用户界面对象上方时，只要在输入对象移动到第二悬停位置之前输入对象已满足增强的悬停接近标准，并且在第二悬停位置处检测到输入对象时输入对象继续满足第一悬停接近标准，设备显示与第二用户界面对象相对应的工具提示或预览)。当输入对象已满足检测悬停输入的通常悬停接近标准和在输入对象移动之前增加通常悬停接近标准的附加要求时，根据输入对象的悬停移动输入有条件地显示信息，(例如，通过减少显示与第二对象相关联的信息所需的输入次数，并减少操作/与设备交互时的用户错误)增强了设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，设备检测到(2122)输入对象满足第一悬停接近标准以及在输入对象远离第一位置之前增加第一悬停接近标准的附加要求。响应于检测到输入对象满足第一悬停接近标准以及在输入对象离开第一悬停位置之前增加第一悬停接近标准的附加要求，设备显示关于第一用户界面对象的第一信息(例如，当输入对象悬停在第一用户界面对象上方并且保持超过阈值量的时间时，设备显示与第一用户界面对象相对应的信息弹出窗口、菜单或预览；或者当输入对象进入距触敏表面的比常规悬停接近范围更近的阈值距离时，设备显示与第一用户界面对象相对应的信息弹出窗口、菜单或预览)。在有条件地显示关于第二对象的第二信息之前，当在输入对象的移动之前满足增强的悬停接近标准时显示关于第一对象的第一信息，(例如，通过减少显示关于第一对象的信息所需的输入数量，并减少操作/与设备交互时的用户错误)增强了设备的可操作性并使得用户-设备界面更高效。
在一些实施方案中，执行第一操作包括(2124)停止显示关于第一用户界面对象的第一信息(例如，停止显示与响应于满足第一增强悬停接近标准(例如，在第一用户界面对象上方悬停并保持静止一段时间，或者悬停在足够靠近第一用户界面对象的位置)的输入对象而显示的第一用户界面对象(例如，第一应用程序启动图标或第一列表项)相对应的工具提示或预览)。在输入对象移动之前满足增强的悬停接近标准时，当输入对象离开第一对象时，停止显示第一信息，(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强了设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，显示关于第二用户界面对象的第二信息包括(2126)显示第二信息而不要求输入对象满足第一增强悬停接近标准(例如，不要求输入对象满足第一悬停接近标准和在第二悬停位置处增强第一悬停接近标准的附加要求)。通过在悬停移动输入期间不要求输入对象继续满足增强的要求，该设备还使用户更容易显示关于附加对象(例如，第二对象)的信息，从而(例如，通过减少操作/与设备交互时的用户错误)增强用户设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，在响应于检测到第二用户界面对象上方的第二悬停位置处的输入对象而显示关于第二用户界面对象的第二信息之后，设备检测到(2128)因为输入对象已经退出触敏表面上方的悬停接近范围而不再满足第一悬停接近标准。响应于检测到因为输入对象已退出触敏表面上方的悬停接近范围而不再满足第一悬停接近标准，设备停止显示关于第二用户界面对象的第二信息(并且如果在输入对象从第一位置移动到第二位置之后保持第一信息，则停止显示关于第一用户界面对象的第一信息)。当输入对象退出悬停接近范围时，停止显示关于对象的信息(例如，通过提供关于设备状态的及时反馈，通过提供所需输入帮助用户实现预期结果，以及在操作/与设备交互时减少用户错误)增强了用户设备的可操作性并使得用户-设备界面更高效。
在一些实施方案中，在检测到因为输入对象已经退出触敏表面上方的悬停接近范围而不再满足第一悬停接近标准之后，设备检测(2130)到在输入对象重新进入第二用户界面对象上方的第二位置处的悬停接近范围之后，输入对象再次满足第一悬停接近标准。响应于检测到输入对象满足第二用户界面对象上方的第二位置处的第一悬停接近标准：根据确定输入对象满足第一增强悬停接近标准，设备重新显示关于第二用户界面对象的第二信息；并且根据确定输入对象不满足第一增强悬停接近标准，设备放弃重新显示关于第二用户界面对象的第二信息。例如，这在图11I至图11J中示出。在设备退出显示信息的模式之后，要求输入对象再次满足增强要求以重新显示关于第二对象的信息，(例如，通过避免在操作/与设备交互时意外触发信息的显示并减少用户错误)增强了用户设备的可操作性并使得用户-设备界面更高效。
在一些实施方案中，第一用户界面对象和第二用户界面对象是(2132)第一类型的对象，并且第一信息和第二信息是第一类型的信息。例如，多个用户界面对象是主屏幕上的应用程序启动图标，或列表中的列表项。在一些实施方案中，第一信息和第二信息是在其对应的应用程序启动图标或列表项附近显示的工具提示或预览。在一些实施方案中，第一信息和第二信息是显示在显示器上的指定位置处(例如，在显示器顶部的横幅区域)的工具提示或通知，独立于其对应的应用程序启动图标或列表项的相应位置。在一些实施方案中，当显示第二信息时，第一信息停止显示。在一些实施方案中，当输入对象在第一用户界面对象上方远离第一位置移动时，第一信息停止显示。在一些实施方案中，当输入对象退出悬停接近范围时，例如通过触敏表面上的向下触摸，或者通过向上移动并退出触敏表面上方的悬停接近范围，第一信息停止显示。具有用于显示关于对象的信息的模式仅针对相同类型的对象显示相同类型的信息，(例如，通过符合用户的期望并减少操作/与设备交互时的用户错误)增强了用户设备的可操作性并且使得用户-设备界面更高效，此外，这通过使用户能够更快速有效地使用设备，降低了功率使用并延长了设备的电池寿命。
应当理解，对图21A至图21D中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2200、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图21A至图21D所述的方法2100。例如，上文参考方法2100所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2200、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图21A至图21D所述的操作可选地由图1A至图1B中所描绘的部件来实现。例如，检测操作2104和2106以及执行操作2108可选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图22A至图22G是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法2200的流程图。方法2200是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法2200中的一些操作可选地被组合，并且/或者一些操作的顺序可选地被改变。
方法2200涉及提供视觉反馈以指示在关于用户界面对象检测到任何基于强度的输入之前用户界面对象是否对基于强度的触摸输入具有区分的、对象特定的响应(例如，响应于轻击激活默认功能与响应于深按压显示菜单)。具体地，当在触敏表面上方的悬停接近范围内的一个这样的用户界面对象附近检测到输入对象时，该设备为此类“强度反应”用户界面对象提供视觉指示。当输入对象悬停在用户界面对象上方时，向用户提供关于用户界面对象是否是“强度反应”的视觉指示，允许用户接收信息而不与触敏表面接触或提供必要的力而意外地激活与用户界面对象相对应的功能。提供此类改进的视觉反馈以指示用户响应于悬停输入的强度-反应行为，(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)增强了设备的可操作性，并且使得用户-设备界面更有效，从而通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
设备在显示器上显示(2202)多个用户界面对象(例如，用于启动相应应用程序的应用程序启动图标)，包括第一用户界面对象。设备检测(2204)通过输入对象进行的输入的第一部分，包括在输入对象满足第一悬停接近标准时检测触敏表面上方的第一悬停位置处的输入对象(例如，第一悬停接近标准要求输入对象的悬停接近参数在第一范围内(例如，输入对象在触敏表面上方的第一悬停距离内))，其中触敏表面上方的第一悬停位置与显示器上第一用户界面对象的位置相对应(例如，第一悬停位置位于第一用户界面对象的显示位置的三维反应区域的正上方或在其内)。响应于检测到输入的第一部分，包括在输入对象满足第一悬停接近标准时检测触敏表面上方的第一悬停位置处的输入对象：根据确定第一用户界面对象对基于强度的输入具有不同的响应(例如，根据确定第一用户界面对象对通过具有第一特征强度的接触进行的第一输入(例如，按压输入)具有第一对象特定响应(例如，显示预览或菜单)，并且对通过具有第二特征强度的接触进行的第二输入(例如，轻击输入)具有第二对象特定的响应(例如，启动应用程序或打开文档)，等等)，设备显示(2206)与第一用户界面对象相关联的第一视觉反馈(例如，在第一用户界面对象后面显示预览盘面的阴影或边缘，或者在第一用户界面对象周围模糊用户界面的其余部分，或者显示从第一用户界面对象的原始z平面朝向用户浮动的第一用户界面对象，或者在第一用户界面对象上突出或照亮聚光灯，以及/或者以其他方式改变第一用户界面对象的外观)，以指示第一用户界面对象对基于强度的输入具有不同的响应；并且，根据确定第一用户界面对象对基于强度的输入不具有不同的响应(例如，根据确定第一用户界面对象对通过接触进行的输入具有统一的响应，而不管接触的特征强度如何)，设备放弃显示与第一用户界面对象相关联的第一视觉反馈。在一些实施方案中，设备为那些对基于强度的输入不具有区分的对象特定响应的用户界面对象实施故障反馈，诸如显示非对象特定的预设动画和/或提供非对象特定的触觉反馈，其指示对于满足特定强度阈值的按压输入缺乏对象特定响应。尽管该故障反馈与用户界面对象上的轻击输入的正常对象特定响应不同，但是为了显示第一视觉反馈，这些用户界面对象仍然被认为对基于强度的输入没有不同的响应。例如，这在图12A至图12E中示出。
在一些实施方案中，显示第一视觉反馈包括(2208)在输入对象在距第一用户界面对象的第一阈值范围内时动态地改变根据输入对象的当前悬停接近参数显示的视觉效果(例如，当输入对象在第一用户界面对象的三维反应区域内时，根据输入对象在触摸屏上方的当前悬停距离，改变第一用户界面对象后面的预览盘面的阴影或边缘的尺寸或外观，或者改变应用于第一用户界面对象周围的其余用户界面的模糊量，或者改变第一用户界面对象的原始z平面上方的第一用户界面对象的z高度，或者改变第一用户界面对象上发亮的突出显示或聚光灯的亮度，以及/或者以其他方式改变应用于第一用户界面对象外观的改变量)。例如，这在图12B至图12中示出。当输入对象悬停在用户界面对象上时，根据输入对象的当前悬停接近参数动态地改变视觉效果允许用户接收有关输入对象与触敏表面的接近程度的信息，(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强了设备的可操作性并使用户-设备界面更高效，此外，这通过使用户能够更快速有效地使用设备，降低了功率使用并延长了设备的电池寿命。
在一些实施方案中，响应于检测到输入的第一部分，包括在输入对象满足第一悬停接近标准时检测到触敏表面上方的第一悬停位置处的输入对象：根据确定第一用户界面对象对基于强度的输入没有不同的响应，设备显示(2210)与第一视觉反馈不同的第二视觉反馈(例如，显示不同类型的反馈或仅显示第一视觉反馈的开始部分以向用户指示满足悬停接近标准(例如，显示阴影达非常短的时间段))，该第一视觉反馈与第一用户界面对象相关联，以指示第一用户界面对象对基于强度的输入不具有不同的响应。例如，这在图12D至图12E中示出。针对非强度反应对象显示不同的视觉效果有助于在输入对象与触敏表面接触之前区分强度反应对象和非强度反应对象，(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强了设备的可操作性并使用户-设备界面更高效，此外，这通过使用户能够更快速有效地使用设备，降低了功率使用并延长了设备的电池寿命。
在一些实施方案中，显示第二视觉反馈包括(2212)在输入对象在距第一用户界面对象的第一阈值范围内时，显示与输入对象的当前悬停接近参数的变化无关的视觉效果(例如，当输入对象在第一用户界面对象的三维反应区域内时，显示静态视觉效果或预设动画(例如，示出针对对于基于强度的输入具有不同响应的对象显示的视觉效果的初始部分然后切出的预设动画))。例如，这在图12D至图12E中示出。显示不根据输入对象的当前悬停接近参数而变化的不同视觉效果有助于在输入对象与触敏表面接触之前区分强度反应对象和非强度反应对象，(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强了设备的可操作性并使用户-设备界面更高效，此外，这通过使用户能够更快速有效地使用设备，降低了功率使用并延长了设备的电池寿命。
在一些实施方案中，设备检测(2214)通过输入对象进行的输入的第二部分，包括检测输入对象从第一悬停位置到第二悬停位置的移动，其中第二悬停位置对应于与第一用户界面对象不同的第二用户界面对象(例如，第二悬停位置在第二用户界面对象的显示位置的三维反应区域的正上方或在其内)，并且其中第二用户界面对象对基于强度的输入具有不同的响应。响应于检测到输入的第二部分，包括检测输入对象从第一悬停位置到第二悬停位置的移动：根据确定输入对象满足第二悬停接近标准(例如，在一些实施方案中，第二悬停接近标准与第一悬停接近标准相同；在一些实施方案中，第二悬停接近标准的要求不如第一悬停接近标准那么严格，并且只要满足第一悬停接近标准就能够满足第二悬停接近标准)，设备显示与第二用户界面对象相关联的第一视觉反馈(例如，在第二用户界面对象后面显示预览盘面的阴影或边缘，或者在第二用户界面对象周围模糊用户界面的其余部分，以及/或者在第二用户界面对象上突出显示或照亮聚光灯)，以指示第二用户界面对象对基于强度的输入具有不同的响应。例如，这在图12F中示出。在一些实施方案中，响应于检测到输入对象从第一悬停位置到第二悬停位置的移动，根据确定输入对象不满足第二悬停接近标准，设备放弃显示与第二用户界面对象相关联的第一视觉反馈。当输入对象悬停在强度反应对象上方时，针对强度反应对象显示相同的视觉效果有助于从用户界面中的其他对象调出这些强度反应对象，从而(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，设备检测(2216)通过输入对象进行的输入的第三部分，包括检测输入对象从第二悬停位置到第三悬停位置的移动，其中第三悬停位置对应于与第一用户界面对象和第二用户界面对象不同的第三用户界面对象(例如，第三悬停位置在第三用户界面对象的显示位置的三维反应区域的正上方或在其内)，并且其中第三用户界面对象对基于强度的输入不具有不同的响应。响应于检测到输入的第三部分，包括检测到输入对象从第二悬停位置到第三悬停位置的移动：根据确定输入对象满足第二悬停接近标准，设备显示与第三用户界面对象相关联的第二视觉反馈(例如，当输入对象在第三用户界面对象的三维反应区域内时，显示静态视觉效果或预设动画(例如，示出针对对于基于强度的输入具有不同响应的对象显示的视觉效果的初始部分然后切出的预设动画))，以指示第三用户界面对象对基于强度的输入不具有不同的响应。例如，这在图12G中示出。当输入对象悬停在强度反应对象上方时，针对非强度反应对象显示相同的视觉效果有助于从用户界面中的其他对象调出这些非强度反应对象，从而(例如，通过提供所需输入并在操作/与设备交互时减少用户错误，帮助用户实现预期结果)增强设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，设备检测(2218)通过输入对象进行的输入的第一部分的继续，包括检测输入对象在触敏表面上与第一用户界面对象相对应的位置上方的悬停接近参数的减小，直到输入对象在与第一用户界面对象相对应的第一接触位置处与触敏表面接触。在输入对象与触敏表面保持接触时，设备检测输入对象与触敏表面的接触的特征强度增加到高于第一强度阈值(例如，轻按压强度阈值)。响应于检测到接触的特征强度增加到高于第一强度阈值：根据确定第一用户界面对象对基于强度的输入具有不同的响应，设备显示与第一用户界面对象相对应的预览用户界面对象(例如，对应于应用程序启动图标的快速动作菜单、对应于电子邮件项目列表中的电子邮件项目的电子邮件消息的预览、对应于照片的缩略图图像的预览，等等)。这在图12J至图12L中示出，例如，其中响应于轻按压输入显示快速动作菜单1230和迷你应用程序对象1228。在显示视觉效果以指示对象是强度反应的之后，响应于基于强度的输入提供对象特定响应(例如，接触强度超过大于接触检测强度阈值的阈值)，(例如，通过避免用户混淆，通过提供所需输入帮助用户实现预期结果，并在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，响应于检测到接触的特征强度增加到高于第一强度阈值：根据确定第一用户界面对象对基于强度的输入不具有不同的响应：该设备提供(2220)预定义的(例如，非对象特定的)故障反馈(例如，预设故障动画或触觉/音频输出)，以指示设备已检测到通过没有对应的对象特定响应的接触进行的基于强度的输入。例如，这在图12H中示出。在一些实施方案中，设备不提供任何故障反馈(或任何对象特定的反馈)以及不存在对输入的反馈指示第一用户界面对象对通过接触进行的基于强度的输入不具有对应的对象特定响应。在显示视觉效果以指示对象是非强度反应的或未显示任何视觉效果以指示对象是非强度反应的之后，响应于基于强度的输入提供通用/预定义的非对象特定响应，(例如，通过避免用户混淆，通过提供所需输入帮助用户实现预期结果，并且在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，响应于检测到接触的特征强度增加到高于第一强度阈值：根据确定第一用户界面对象对基于强度的输入具有不同的响应：在检测到输入对象的悬停接近参数的减少并且检测到输入对象与触敏表面的接触的特征强度的增加时，设备显示(2222)预览用户界面对象的前导图像。这在图12K中示出，例如，其中显示了前导图像(例如，预览盘面1206)。在显示视觉效果以指示对象是强度反应的之后，(例如，在接触强度超过大于接触检测强度阈值的阈值之前)响应于检测到接触强度的增大而提供视觉反馈(例如，预览用户界面的前导图像)，(例如，通过向用户通知设备的状态，避免用户混淆，通过提供所需输入帮助用户实现预期结果，并且在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户设备界面更高效
在一些实施方案中，显示预览用户界面对象的前导图像包括(2224)：在输入对象与触敏表面接触之前，根据输入对象的悬停接近参数动态地改变前导图像的外观；当输入对象与触敏表面保持接触时，根据接触的特征强度动态地改变前导图像的外观；当输入对象与触敏表面接触时，显示前导图像的外观的平滑过渡(而不是不连续的或突然的过渡)；并且当接触的特征强度增加到高于第一强度阈值时，显示从前导图像到预览用户界面对象的连续变换。在显示视觉效果以指示对象是强度反应的之后，(例如，在接触强度超过大于接触检测强度阈值的阈值之前)根据接触强度的变化动态地改变视觉反馈(例如，动态地改变预览用户界面的前导图像)并且当达到阈值强度时使前导图像平滑地过渡到预览用户界面，(例如，通过向用户通知设备的状态，避免用户混淆，通过提供所需的输入帮助用户实现预期结果，并且在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户-设备界面更高效。
在一些实施方案中，在响应于检测到接触的特征强度的增加到高于第一强度阈值而显示对应于第一用户界面对象的预览用户界面对象时，根据确定第一用户界面对象对基于强度的输入具有不同的响应，设备检测(2226)输入对象与触敏表面断开接触。响应于检测到输入对象与触敏表面断开接触：根据确定输入对象满足第二悬停接近标准(例如，与第一悬停接近标准相同或具有比第一悬停接近标准更大或更小的悬停接近范围)，当输入对象继续满足第二悬停接近标准时，设备保持预览用户界面对象的显示；并且根据确定因为输入对象已经退出由第二悬停接近标准指定的悬停接近范围而不再满足第二悬停接近标准，设备停止显示预览用户界面对象。例如，这在图12M至12P中示出。在抬离触点之后以及在输入对象被提升到悬停接近范围外之前保持预览用户界面的显示，(例如，通过向用户通知设备的状态，通过提供所需输入来帮助用户实现预期结果，并且在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户设备界面更高效。
在一些实施方案中，在输入对象继续满足第二悬停接近标准时保持预览用户界面对象的显示包括(2228)：当输入对象继续满足第二悬停接近标准时，根据输入对象的当前悬停接近参数动态地改变预览用户界面对象的外观(例如，当输入对象在第一用户界面对象的三维反应区域内时，根据输入对象在触摸屏上方的当前悬停距离，改变预览的尺寸或外观，以及/或者改变应用于预览周围的其余用户界面的模糊量，以及/或者改变预览的原始z平面上方的预览的z高度，或改变突出显示或照在预览上的聚光灯的亮度，以及/或者以其他方式改变应用于预览外观的改变量)。例如，这在图12M至12O中示出。在抬离触点之后以及在输入对象被提升到悬停接近范围外之前保持预览用户界面的显示时，动态地改变预览用户界面的外观(例如，通过向用户通知设备的状态，通过提供所需输入来帮助用户实现预期结果，并且在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户设备界面更高效。
在一些实施方案中，在检测到所述输入对象与所述触敏表面断开接触并且在保持显示与所述第一用户界面对象相对应的所述预览用户界面对象时，设备检测(2230)到所述输入对象与所述触敏表面再次接触。响应于检测到输入对象再次与触敏表面接触，设备继续保持预览用户界面对象的显示(例如，包括将预览用户界面对象的外观恢复到输入对象与触敏表面断开接触之前的状态)。在盘旋离开的过程中仍然显示预览用户界面时(例如，在第一抬离之后的一段时间的悬停)，在抬离通过在触敏表面上再次向下触摸进行的接触之后，允许用户保持预览用户界面的显示，(例如，通过减少执行任务所需的输入次数，诸如在显示器上保持预览，通过提供所需输入帮助用户实现预期结果，以及在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户设备界面更高效。在一些实施方案中，替代保持预览用户界面对象的显示，设备执行功能并停止显示第二用户界面对象，例如将应用程序启动到与接触位置处的项目相对应的用户界面，或者打开内容项并用显示内容的另一个用户界面替换当前用户界面。
应当理解，对图22A至图22G中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2100、2300和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图22A至图22G所述的方法2100。例如，上文参考方法2200所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2100、2300和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图22A至图22G所述的操作可选地由图1A至图1B中所描绘的部件来实现。例如，检测操作2204和显示操作2206和2210可选地由事件分类器170、事件识别器180和事件处理器190实施。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图23A至图23E是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法2300的流程图。方法2300是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法2300中的一些操作可选地被组合，并且/或者一些操作的顺序可选地被改变。
方法2300涉及提供视觉反馈以指示内容选择对象(例如，文本选择框)的哪个边缘将根据输入对象的移动而移动以改变内容选择对象的尺寸。常规地，当内容选择对象的两个边缘彼此靠近时，通常难以用接触选择内容选择对象的相应边缘。例如，当输入对象移动靠近触摸屏上的两个边缘时，输入对象(例如，手指或触笔)可以阻挡内容选择对象的两个边缘的视图并且/或者意外地选择错误的边缘，在某些情况下，这会导致输入错误，并且需要额外的步骤来纠正输入错误。在本文公开的方法中，当检测到输入对象悬停在一个或两个边缘上时(并且可选地，在满足选择和移动边缘的要求之前)，提供清楚地指示选择(或将选择)哪个边缘进行重新定位的视觉反馈。如果在看到视觉反馈时，用户判断选择了(或将选择)错误边缘进行重新定位，则用户可以调整输入对象的悬停位置以使得选择正确的边缘。提供视觉反馈以指示在开始实际移动之前哪个边缘被选择(或将被选择)进行后续移动，(例如，通过提供所需输入帮助用户实现预期结果，并且在操作/与设备交互时减少用户错误)增强了设备的可操作性并使用户设备界面更高效，此外，这通过使用户能够更快速有效地使用设备，降低了功率使用并延长了设备的电池寿命。
设备在可选内容内显示(2302)内容选择对象(例如，文本选择框或对象选择框)，其中内容选择对象包括内容选择对象的第一边缘和内容选择对象的第二边缘，并且其中选择位于内容选择对象的第一边缘和内容选择对象的第二边缘之间的内容(例如，文本)。设备检测(2304)通过输入对象进行的输入的第一部分，这包括在触敏表面上方的与内容选择对象的第一边缘相对应的第一悬停位置处检测输入对象。响应于检测到通过输入对象进行的输入的第一部分：根据确定输入的第一部分满足第一标准(例如，边缘消歧标准)，其中第一标准(例如，边缘消歧标准)要求当在触敏表面上方与显示器上的内容选择对象的第一边缘相对应的第一悬停位置处检测到输入对象时，输入对象满足悬停接近标准以便满足第一标准，设备以第一方式相对于内容选择对象的第二边缘改变(2306)(例如，在视觉上增强)第一边缘的外观(例如，相对于第二边缘放大第一边缘的尺寸，相对于第二边缘改变第一边缘的颜色，放大第一边缘的一部分，使第一边缘动画化同时保持第二边缘静止，在第一边缘旁边显示阴影或幽灵光标以指示第一边缘相对于第二边缘朝向用户抬起等)，以指示当输入对象满足第二标准(例如，边缘移动标准)时(例如，当在满足第一标准之后或者在满足增强的第一标准(例如，第一标准和关于第一标准的附加标准)之后检测到输入对象的横向移动时)，将选择内容选择对象的第一边缘以用于相对于内容选择对象的第二边缘移动。这在图13A至图13C中示出，例如，其中选择边缘1308以用于移动。
在一些实施方案中，响应于检测到通过输入对象进行的输入的第一部分：根据确定输入的第一部分不满足第一标准(例如，边缘消歧标准)，设备相对于内容选择对象的第二边缘保持(2308)第一边缘的外观，以指示当输入对象满足第二标准(例如，内容滚动标准)时(例如，当在未满足第一标准或者未满足增强的第一标准的情况下检测到输入对象的横向移动时)将滚动可选内容。例如，这在图13H至图13I中示出，其中滚动内容。将缺少对已选择或待选择以用于移动的边缘的外观的改变用作视觉反馈以指示将作为整体滚动可选内容。如果在看到缺少视觉反馈时，用户判断应该选择边缘来进行重新定位，则用户可调整输入对象的悬停位置以使得选择正确的边缘。利用缺少视觉反馈来传达设备的相对于为其提供了视觉反馈的另一状态的一种状态，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到输入的第一部分之后，设备检测(2310)通过输入对象进行的输入的第二部分，这包括检测输入对象的横向移动。响应于检测到输入对象的第二部分：根据确定输入的第二部分满足第二标准(例如，边缘动作标准)：根据确定输入对象在输入的第一部分期间已经满足第一标准(例如，边缘消歧标准)，设备根据输入对象跨触敏表面的横向移动，相对于内容选择对象的第二边缘移动内容选择对象的第一边缘。根据确定在输入的第一部分期间输入对象未满足第一标准(例如，边缘消歧标准)，设备根据输入对象跨触敏表面的横向移动来滚动可选内容。例如，这在图13A至图13E以及图13H至图13J中示出。基于输入对象先前是否已经选择内容选择对象的边缘，将移动输入确定为滚动输入或调整尺寸输入，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过减少执行任务所需的输入的数量，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二标准(例如，边缘动作标准)要求(2312)输入对象在跨触敏表面横向移动时与触敏表面接触并与触敏表面保持连续的接触，以便满足第二标准。要求输入对象在跨触敏表面进行横向移动时与触敏表面接触并保持接触，以便移动内容选择对象的边缘以调整内容选择对象的尺寸，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外调整内容选择对象的尺寸，并且通过减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在相对于第二边缘以第一方式改变(例如，在视觉上增强)第一边缘的外观时，设备在与内容选择对象的第一边缘相对应的位置处检测(2314)输入对象与触敏表面的第一接触(当第一边缘具有输入焦点时)。响应于在与内容选择对象的第一边缘相对应的位置处检测到输入对象与触敏表面的第一接触：设备以与第一方式不同的第二方式相对于内容选择对象的第二边缘改变(例如，在视觉上增强)内容选择对象的第一边缘(例如，改变第一边缘上的棒棒糖状物的颜色，进一步放大棒棒糖状物的端部等)。例如，这在图12C和图12D中示出。当输入对象悬停在触敏表面上方且与触敏表面接触时，提供不同的视觉反馈(例如，以不同的方式相对于第二边缘改变第一边缘的外观)，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过向用户通知设备的状态，通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当以第二方式改变(例如，在视觉上增强)第一边缘的外观时，设备检测(2314)第一接触从触敏表面的抬离。响应于检测到第一接触从触敏表面的抬离：设备停止以第二方式改变(例如，在视觉上增强)第一边缘的外观。根据确定输入对象满足第一标准，设备以第一方式相对于第二边缘改变(例如，在视觉上增强)第一边缘的外观。根据确定输入对象不满足第一标准，设备相对于内容选择对象的第二边缘恢复第一边缘的外观。这在图13E至图13G中示出，其中当手指734抬离触摸屏并抬离到触摸屏上方的悬停接近范围之外时，反转对选择手柄1308的改变。根据输入对象是继续悬停在第一边缘上方还是抬离到第一边缘上方的悬停范围之外，反转应用于第一边缘的视觉变化(例如，反转为以第一方式改变外观，或者完全去除先前应用的改变)，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过向用户通知设备的内部状态，通过提供所需的输入帮助用户实现预期结果，并且减少了操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二标准要求(2318)输入对象在继续满足悬停接近标准时在触敏表面上方进行横向移动，以便满足第二标准。要求输入对象在触敏表面上方进行横向移动时保持在悬停状态，以便移动内容选择对象的边缘以调整内容选择对象的尺寸，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过允许用户通过抬离输入对象而不首先与触敏表面接触来取消移动，并且通过减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到输入的第一部分之后，设备检测(2320)通过输入对象进行的输入的第二部分，这包括检测输入对象的横向移动。响应于检测到输入对象的第二部分：根据确定输入的第二部分满足第二标准(例如，边缘动作标准)并且输入对象在输入的第一部分期间已经满足第一标准(例如，边缘消歧标准)，设备根据输入对象的横向移动，相对于内容选择对象的第二边缘移动内容选择对象的第一边缘。根据确定输入的第二部分满足第二标准(例如，边缘动作标准)并且输入对象在输入的第一部分期间未满足第一标准(例如，边缘消歧标准)，设备放弃移动内容选择对象的第一边缘(并且任选地，在保持显示内容选择对象的同时，在内容内移动光标)。要求在通过输入对象的横向移动进行调整尺寸操作之前输入对象满足边缘消歧标准，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外调整内容选择对象的尺寸，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在检测到通过输入对象进行的输入的第二部分并且响应于输入的第二部分相对于第二边缘移动第一边缘之后，设备检测(2322)通过输入对象进行的输入的第三部分，这包括检测输入对象不再满足悬停接近标准。响应于检测到通过输入对象进行的输入的第三部分：根据确定由于输入对象已经退出触敏表面上方的悬停接近范围，输入对象不再满足悬停接近标准，设备根据输入对象跨触敏表面的横向移动，将选择对象的第一边缘恢复到在移动第一边缘之前第一边缘所处的位置(例如，当用户抬离输入对象而不与触敏表面接触时，取消对内容选择对象的改变)。并且根据确定由于输入对象已经与触敏表面接触，输入对象不再满足悬停接近标准，设备确认内容选择对象的第一边缘与第二边缘之间的内容选择(例如，在检测到输入对象随后从触敏表面抬离时，或者在检测到输入对象随后退出触敏表面上方的悬停接近范围时，设备将继续保持选择，并且任选地与选择一起显示菜单(例如，具有剪切、复制、粘贴、查找等选项的菜单)。例如，这在图13J至图13N中示出。在根据输入对象的横向移动移动第一边缘之后，允许用户通过与触敏表面接触来确认移动或者通过将输入对象抬离到悬停接近范围之外而不首先与触敏表面接触来取消移动，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准(例如，边缘消歧标准)还要求(2324)输入对象在至少第一阈值时间量内满足悬停接近标准，其中远离第一悬停位置的移动小于阈值量，以便满足第一标准(例如，第一标准要求输入对象在悬停在第一边缘上方时基本上保持静止，以便选择第一边缘以随后相对于第二边缘移动)。这在图13A至图13C中示出，例如，其中在选择选择手柄1308以用于移动之前，手指734在选择手柄1308上方悬停至少阈值时间量T。要求在通过输入对象的横向移动执行调整尺寸操作之前输入对象满足悬停保持要求，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外调整内容选择对象的尺寸，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准还要求(2326)当输入对象在第一悬停位置处满足悬停接近标准时，输入对象做出预定义手势(例如，包括输入对象在触敏表面的一部分的上方来回移动且同时保持在触敏表面上方的悬停距离范围内的空中扭动手势)，以便满足第一标准。要求在通过输入对象的横向移动执行调整尺寸操作之前，当输入对象悬停在触敏表面上方时检测预定义的手势，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外调整内容选择对象的尺寸，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，以第一方式相对于内容选择对象的第二边缘改变(例如，在视觉上增强)内容选择对象的第一边缘的外观包括(2328)将内容选择对象的第一边缘转换为内容选择手柄(例如，具有放大的圆形端部的直杆)(同时保持内容选择对象的第二边缘的对应端部不变(例如，不具有任何内容选择手柄))。要求在通过输入对象的横向移动执行调整尺寸操作之前输入对象满足悬停保持要求，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免意外调整内容选择对象的尺寸，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，相对于内容选择对象的第二边缘以第一方式改变(例如，在视觉上增强)内容选择对象的第一边缘的外观包括(2330)邻近内容选择对象的第一边缘显示内容选择手柄(例如，使得当输入对象跨显示器拖动内容选择手柄时，第一边缘附接到内容选择手柄)(不同时邻近内容选择对象的第二边缘显示棒棒糖状物)。邻近所选边缘显示内容选择手柄增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，内容选择对象的第一边缘为(2332)第一内容选择手柄，并且内容选择对象的第二边缘是除第一内容选择手柄之外的第二内容选择手柄。以第一方式相对于内容选择对象的第二边缘改变(例如，在视觉上增强)内容选择对象的第一边缘的外观，包括相对于第二内容选择手柄的对应部分放大第一内容选择手柄的至少一部分(例如，内容选择手柄的圆形头部)。在一些实施方案中，第一内容选择手柄和第二内容选择手柄具有相同的原始颜色，并且相对于第二边缘在视觉上增强第一边缘的外观包括相对于第一内容选择手柄和第二内容选择手柄的原始颜色改变第一内容选择手柄的颜色。例如，这在图13B至图13C中示出。相对于未选内容选择手柄放大所选内容选择手柄的至少一部分增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
应当理解，对图23A至图23E中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2100、2200和2400)所述的其他过程的细节同样以类似的方式适用于上文相对于图23A至图23E所述的方法2300。例如，上文参考方法2300所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2100、2200和2400)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图23A至图23E所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如，检测操作2304和改变操作2306可选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图24A至图24E是示出根据一些实施方案的通过基于接近和基于接触的输入与用户界面对象交互的方法2400的流程图。方法2400是在具有显示器和触敏表面的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。在一些实施方案中，电子设备包括一个或多个第一传感器以检测触敏表面上方的输入对象(例如，手指或触笔)的接近(例如，接近传感器(诸如红外传感器)，触敏表面中的电容传感器，或触敏表面旁边的相机)，以及一个或多个第二传感器以检测输入对象与触敏表面的接触强度。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器不同。在一些实施方案中，一个或多个第二传感器与一个或多个第一传感器相同。在一些实施方案中，该触敏表面和显示器整合成触敏显示器。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法2400中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
方法2400涉及用于将输入焦点保持在用户界面对象上且输入焦点可稳定地对抗输入对象在用户界面对象上方的意外移动的启发法。具体地讲，在响应于在第一用户界面对象上方的第一悬停位置处检测到输入对象而将输入焦点放置在第一用户界面对象上之后，设备将输入对象远离第一悬停位置(或从与第一用户界面对象相关联的另一静态参考位置(例如，第一用户界面对象的质心))的后续移动(例如，意外移动或有意移动)与可变移动阈值进行比较，以便确定是将输入焦点保持在第一用户界面对象上还是将输入焦点移位到另一用户界面对象。可变移动阈值具有基于输入对象远离第一悬停位置的移动期间输入对象的特征悬停接近参数而动态地确定的值。将输入对象的悬停移动期间输入对象的特征悬停接近参数用作指示移动可能是有意的还是意外的指示符。例如，悬停移动期间较小的悬停距离或较快的悬停距离变化率可指示，移动是意外移动且设备应该请求更大的移动以便将输入焦点移离第一输入对象。在确定是否将输入焦点移离第一用户界面对象时，还可结合输入对象的特征悬停接近参数考虑其他因素。提供确定是否将输入焦点保持在用户界面对象上的更智能且更精细的方式(例如，通过在输入对象的悬停移动期间考虑特征悬停接近参数)增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
设备在显示器上显示(2402)多个用户界面对象，其中多个用户界面对象包括第一用户界面对象和第二用户界面对象，并且其中第一用户界面对象和第二用户界面对象显示在显示器上的不同位置处(例如，相隔第一非零距离)。当输入对象满足悬停接近标准(例如，输入对象在触敏表面上方的阈值悬停距离内，或者输入对象的悬停接近参数在预定值范围内)时，设备在触敏表面的第一部分上方(例如，正上方)的第一悬停位置处检测到(2404)输入对象。响应于当输入对象满足悬停接近标准时在触敏表面的第一部分上方的第一悬停位置处检测到输入对象，设备将输入焦点放置(2406)在第一用户界面对象上(例如，将输入焦点从另一用户界面对象移位到第一用户界面对象，或者在其他对象均不具有输入焦点时，将输入焦点放在第一用户界面对象上)。在第一用户界面对象具有输入焦点并且输入对象继续满足悬停接近标准时，设备检测(2406)输入对象从触敏表面的第一部分上方的第一悬停位置到不同于触敏表面的第一部分的触敏表面的相应部分上方(例如，正上方)的相应悬停位置的(例如，具有横向分量和任选的垂直分量)相应移动。响应于在输入对象继续满足悬停接近标准时检测到输入对象的相应移动：根据确定相应移动是从第一悬停位置到在触敏表面的第二部分上方的第二悬停位置的第一移动：根据确定第一移动满足第一焦点保持标准，其中第一焦点保持标准要求第一移动包括小于第一阈值量的横向移动，以便满足第一焦点保持标准，并且其中在输入对象从第一悬停位置到第二悬停位置的第一移动期间，基于输入对象的特征悬停接近参数的值确定第一阈值量的横向移动，设备将输入焦点保持(2410)在第一用户界面对象上；并且根据确定第一移动满足第一焦点移位标准，其中第一焦点移位标准要求第一移动至少包括第一阈值量的横向移动以便满足第一焦点移位标准，设备将输入焦点从第一用户界面对象移位到第二用户界面对象。例如，这在图14A至图14G中示出。在一些实施方案中，每个用户界面对象在触敏表面中与用户界面对象相对应的部分上方具有相应的三维反应区域，并且如果其他用户界面对象均不具有输入焦点，则在第二用户界面对象的相应三维反应区域内检测到的输入对象通常将输入焦点提供给第二用户界面对象。然而，当第一用户界面对象和第二用户界面对象彼此靠近且第一用户界面对象已经具有输入焦点时，需要更多的横向移动以将输入焦点从第一用户界面对象移位到第二用户界面对象。具体地讲，由于输入对象移动，在第二用户界面对象上方的反应区域内检测输入对象是不够的，还需要输入对象的横向移动已经超过阈值量，以便将输入焦点从第一用户界面对象移位到第二用户界面对象。此外，基于移动期间输入对象的特征悬停接近参数来确定横向移动的阈值量。换句话讲，对输入对象的横向移动的这种附加要求使得第一用户界面对象上的输入焦点更加稳定。
在一些实施方案中，如果在其他用户界面对象均不具有输入焦点时输入对象悬停在触敏表面的第二部分上方，则设备将输入焦点放置(2412)在第二用户界面对象上。当输入对象悬停在触敏表面的第二部分上方时，满足焦点保持标准，此时，输入焦点保持在第一用户界面对象上，并且当第一输入对象尚未具有输入焦点时，第二用户界面对象在输入对象悬停在触敏表面的第二部分上方时获得输入焦点。通过在另一对象已经具有输入焦点时覆写在对象上授予输入焦点的默认规则，设备使得输入焦点更加稳定地对抗悬停输入期间的意外移动，从而增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在输入对象继续满足悬停接近标准时检测到输入对象的相应移动：根据确定相应移动为从第一悬停位置到在触敏表面的第三部分上方(例如，正上方)的第三悬停位置的第二移动：根据确定第二移动满足第二焦点保持标准，其中第二焦点保持标准要求第二移动包括小于第二阈值量的横向移动(例如，第二阈值量的横向移动小于第一阈值量的横向移动)，以便满足第二焦点保持标准，设备将输入焦点保持(2414)在第一用户界面对象上，而不考虑输入对象从第一悬停位置到第三悬停位置的第二移动期间输入对象的特征悬停接近参数的值(例如，第二阈值量的横向移动与输入对象从第一悬停位置到第三悬停位置的第二移动期间输入对象的特征悬停接近参数的值无关)。通过具有在输入对象在悬停期间进行非常小的移动时满足的第二组焦点保持标准，设备使得输入焦点更加稳定地对抗悬停输入期间的意外移动，从而增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过提供所需的输入来帮助用户实现预期结果，以及减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在输入对象继续满足悬停接近标准时检测到输入对象的相应移动：根据确定相应移动为从第一悬停位置到在触敏表面的第四部分上方(例如，正上方)的第四悬停位置的第三移动：根据确定第三移动满足第二焦点移位标准，其中第二焦点移位标准要求触敏表面的第四部分与多个用户界面对象中的第三用户界面对象相对应，并且要求第三移动包括至少第三阈值量的横向移动(例如，第三阈值量的横向移动大于第一阈值量的横向移动)，以便满足第二焦点移位标准，设备将输入焦点从第一用户界面对象移位到(2416)第三用户界面对象，而不考虑输入对象从第一悬停位置到第四悬停位置的第三移动期间输入对象的特征悬停接近参数的值(例如，第三阈值量的横向移动与输入对象从第一悬停位置到第四悬停位置的第三移动期间输入对象的特征悬停接近参数的值无关)。当第一输入对象在悬停期间进行足够量的横向移动时，设备取消用于第一用户界面对象的输入焦点，从而增强了设备的可操作性，并且使得用户-设备界面更有效(例如，根据用户期望来执行操作，并且减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，输入对象的特征悬停接近参数基于(2418)输入对象离触敏表面的悬停距离(或其等效物)(并且因此，在一些实施方案中，基于在从第一悬停位置到第二悬停位置的第一移动期间输入对象离触敏表面的垂直距离来确定第一阈值量的横向移动(其不是输入对象执行的实际横向移动))。例如，这在图14E至图14G中示出。
在一些实施方案中，输入对象的特征悬停接近参数基于(2420)输入对象离触敏表面的悬停距离(或其等效物)的变化率(并且因此，在一些实施方案中，基于在从第一悬停位置到第二悬停位置的第一移动期间输入对象离触敏表面的垂直距离的变化率来确定第一阈值量的横向移动(其不是输入对象执行的实际横向移动))。将输入对象的悬停距离的变化率用作确定远离第一用户界面对象移位输入焦点所需的横向移动量的参数，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免在触摸按下或抬离过程期间意外地将输入焦点移离对象，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，对于输入对象的更大特征悬停接近参数，第一阈值量的横向移动(2422)更小(例如，因此，当输入对象在触敏表面上方更低位置处悬停时，第一对象上的输入焦点更稳定，并且当输入对象更靠近触敏表面时，需要更多的横向移动来将输入焦点移离第一用户界面对象)。例如，这在图14D至图14G中示出。例如，随着输入对象朝向触敏表面移动，横向移动的第一阈值量以一系列值减小，并且/或者随着输入对象更缓慢地移动，横向移动的第一阈值量以一系列值减小，并且任选地，随着输入对象远离触敏表面移动，横向移动的第一阈值量以一系列值增大，并且/或者随着输入对象更快速地移动，横向移动的第一阈值量以一系列值增大。当输入对象远离触敏表面时，需要较小量的横向移动来移位输入焦点，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免在靠近触敏表面悬停时意外地将输入焦点移离对象，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，对于输入对象的更大特征悬停接近参数，第一阈值量的横向移动(2424)更大(例如，因此，当输入对象在触敏表面上方更高位置处悬停时，第一对象上的输入焦点更稳定，并且当输入对象更远离触敏表面时，需要更多的横向移动来将输入焦点移离第一用户界面对象)。例如，随着输入对象朝向触敏表面移动，横向移动的第一阈值量以一系列值增大，并且/或者随着输入对象更缓慢地移动，横向移动的第一阈值量以一系列值增大，并且任选地，随着输入对象远离触敏表面移动，横向移动的第一阈值量以一系列值减小，并且/或者随着输入对象更快速地移动，横向移动的第一阈值量以一系列值减小。当输入对象远离触敏表面时，需要较大量的横向移动来移位输入焦点，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免在远离触敏表面悬停时意外地将输入焦点移离对象，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定输入对象正朝向触敏表面移动，设备将输入焦点在第一用户界面对象上保持(2426)至少预定时间量(例如，保持足够长的时间以确定，用户是否正在轻击触敏表面以确认对突出显示的用户界面对象的选择)(例如，因此，当输入对象朝向触敏表面快速移动时(例如，在轻击期间)，第一对象上的输入焦点更稳定，并且在第一用户界面对象上的轻击输入期间，不太可能意外失去第一用户界面对象上的输入焦点)。例如，这在图14K至图14L中示出。当输入对象朝向触敏表面移动时，将输入焦点保持预定时间量，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过避免在触摸按下过程期间意外地将输入焦点移离对象，并且通过减少在操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备检测到(2428)输入对象满足信息对象显示标准，其中信息对象显示标准要求输入对象满足悬停接近标准，以便满足信息对象显示标准。响应于检测到输入对象满足信息对象显示标准，设备显示对应于输入对象的信息显示对象(例如，信息弹出窗口)，这包括：根据确定多个用户界面对象(例如，由地图上的对应图钉表示的多个兴趣点(POI))中的相应用户界面对象(例如，由地图上的对应图钉表示的相应POI)具有输入焦点，在信息显示对象中显示与多个用户界面对象中的相应用户界面对象相对应的对象特定信息(例如，名称、类型、评级信息、位置信息等)，以及根据确定多个用户界面对象中没有一个具有输入焦点，放弃在信息显示对象中显示任何对象特定信息(例如，显示空的弹出窗口，或者在信息弹出窗口中显示适用于显示器上的多个用户界面对象的通用信息(例如，地图上的多个图钉的群集))。例如，这在图14C(例如，空信息弹出窗口1412)和图14D(例如，定位图钉1404的信息弹出窗口1414)中示出。在悬停输入期间，显示具有输入焦点的用户界面对象的对象特定信息，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过向用户提供信息，通过提供所需输入来帮助用户实现预期结果，通过减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，信息对象显示标准还要求(2430)输入对象悬停在触敏表面的相应部分上方，该相应部分位于显示器上的多个用户界面对象中的至少一个用户界面对象的位置的阈值范围内，以便满足信息对象显示标准(例如，如果输入对象悬停在离触摸屏上的至少一个兴趣点足够近的位置上方，则仅显示信息弹出窗口)。在悬停输入期间，显示在输入对象的阈值范围内的用户界面对象的对象特定信息，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过向用户提供信息，通过向用户通知设备的内部状态，通过提供所需输入来帮助用户实现预期结果，通过减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在显示信息显示对象(例如，信息弹出窗口)时，设备检测到(2432)输入对象满足信息对象扩展标准，其中信息对象扩展标准要求在相应用户界面对象具有输入焦点时输入对象与触敏表面接触。响应于检测到输入对象满足信息对象扩展标准，设备显示与相应用户界面对象相对应的附加对象特定信息(例如，扩展信息弹出窗口以在具有输入焦点的兴趣点上显示更多信息，或者打开网页或窗口以在具有输入焦点的兴趣点上显示更多信息)。当输入对象与触敏表面接触时，扩展用户输入对象的对象特定信息，这增强了设备的可操作性，并且使得用户-设备界面更有效(例如，通过向用户提供信息，通过提供所需输入来帮助用户实现预期结果，通过减少操作设备/与设备交互时的用户错误)，此外，这通过使用户能够更快速且更有效地使用设备减少了电力使用并且延长了设备的电池寿命。
应当理解，对图24A至图24E中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2100、2200和2300)所述的其他过程的细节同样以类似的方式适用于上文相对于图24A至图24E所述的方法2400。例如，上文参考方法2400所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画任选地具有本文参考本文所述的其他方法(例如，方法1500、1600、1700、1800、1900、2000、2100、2200和2300)所述的接触、手势、输入对象、用户界面对象、触觉输出、音频输出、强度阈值、位置指示符、焦点选择器和动画的特征中的一者或多者。为了简明起见，此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图24A至图24E所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如，检测操作2404和2408、放置操作2406以及移位操作2410任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应，预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (15)

1.一种方法，包括：
在具有触敏表面和显示器的电子设备处：
在所述触敏表面上方的输入对象满足悬停标准时，在所述显示器上的文本内显示位置指示符，其中所述文本位于所述显示器上的第一位置处；
当在所述显示器上的所述文本内显示所述位置指示符时，检测所述输入对象的包括平行于所述触敏表面的移动分量的第一移动，其中在所述第一移动期间所述输入对象继续满足所述悬停标准；
响应于检测到所述输入对象在所述触敏表面上方的所述第一移动：
根据所述输入对象的所述第一移动在所显示的文本内移动所述位置指示符；以及
在所显示的文本内移动所述位置指示符期间，保持在所述显示器上显示所述文本；
在根据所述输入对象的所述第一移动在所显示的文本内移动所述位置指示符之后，检测所述输入对象的包括平行于所述触敏表面的移动分量的第二移动；以及，
响应于检测到所述输入对象跨所述触敏表面的所述第二移动：
根据确定在所述输入对象与所述触敏表面接触时检测到所述输入对象的所述第二移动，在所述输入对象与所述触敏表面保持接触时，根据所述输入对象跨所述触敏表面的所述第二移动选择文本。
2.根据权利要求1所述的方法，还包括：
检测所述输入对象在所述触敏表面上的位置处与所述触敏表面进行接触，然后所述输入对象跨所述触敏表面进行所述第二移动；以及
响应于检测到所述输入对象在所述触敏表面上的所述位置处与所述触敏表面进行接触，然后所述输入对象跨所述触敏表面进行所述第二移动：
在所述显示器上与所述触敏表面上的所述位置相对应的位置处在所述文本内开始文本选择，以及
根据所述输入对象跨所述触敏表面的所述第二移动来扩展所选择的文本。
3.根据权利要求1所述的方法，还包括：
响应于检测到所述输入对象跨所述触敏表面的所述第二移动：
根据确定在所述输入对象悬停在所述触敏表面上方而不与所述触敏表面接触时检测到所述输入对象的所述第二移动，根据所述输入对象的所述第二输入移动所述位置指示符而不选择文本。
4.根据权利要求1所述的方法，其中所述悬停标准包括当所述输入对象的悬停接近参数小于阈值接近值时满足的标准。
5.根据权利要求4所述的方法，其中：
响应于检测到在所述触敏表面上的位置上方所述输入对象的所述悬停接近参数小于所述阈值接近值，所述位置指示符最初显示在所述文本内。
6.根据权利要求1所述的方法，其中在所述文本内显示所述位置指示符包括在基于以下各项中的一个或多个的位置处在所述文本内显示所述位置指示符：
所述输入对象的尖端在所述触敏表面上的投影位置；
所述输入对象相对于所述触敏表面的取向；
所述输入对象相对于所述触敏表面的倾斜；以及
所述输入对象相对于所述触敏表面的距离。
7.根据权利要求1所述的方法，还包括：
在所述悬停标准得到满足时，在所显示文本的一部分上方显示放大镜对象，其中所述放大镜对象显示所述位置指示符和与所述位置指示符相邻的文本的放大图像。
8.根据权利要求7所述的方法，还包括：
响应于检测到所述输入对象在所述触敏表面上方的所述第一移动：
根据所述输入对象在所述触敏表面上方的所述第一移动来移动所述放大镜对象；以及
更新所述放大镜对象以显示所述位置指示符和与所述位置指示符相邻的文本的更新的放大图像。
9.根据权利要求1所述的方法，还包括：
在根据所述输入对象的所述第二移动在所述显示器上选择所述文本的第一部分时，检测所述输入对象从所述触敏表面的抬离；以及，
响应于检测到所述输入对象的所述抬离，保持在所述显示器上选择所述文本的所述第一部分。
10.根据权利要求9所述的方法，还包括：
响应于检测到所述输入对象的所述抬离，显示用于所述文本的所选择的第一部分的选项菜单。
11.根据权利要求9所述的方法，还包括：
在检测到所述输入对象的所述抬离之后：
确定所述输入对象是否满足所述悬停标准；
根据确定所述输入对象满足所述悬停标准，保持在所述显示器上显示所述位置指示符；以及
根据确定所述输入对象停止满足所述悬停标准，停止在所述显示器上显示所述位置指示符。
12.根据权利要求9所述的方法，还包括：
在检测到所述输入对象的所述抬离之后：
在所述输入对象满足所述悬停标准时，检测所述输入对象在所述触敏表面上方的第三移动；以及，
响应于检测到所述输入对象在所述触敏表面上方的所述第三移动，根据所述输入对象的所述第三移动来移动所述位置指示符，同时保持对所述显示器上的所述文本的所述第一部分的选择。
13.根据权利要求12所述的方法，还包括：
在根据所述输入对象在所述触敏表面上方的所述第三移动来移动所述位置指示符之后，检测所述输入对象在所述触敏表面上的位置处与所述触敏表面进行接触；以及，
响应于检测到所述输入对象在所述触敏表面上的所述位置处与所述触敏表面进行接触：
取消对所述文本的所述第一部分的选择；以及
在所述触敏表面上的所述位置处重新开始文本选择。
14.一种电子设备，包括：
显示器；
触敏表面；
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至13所述的方法中的任一方法或使得根据权利要求1至13所述的方法中的任一方法被执行的指令。
15.一种包括可执行指令的计算机可读存储介质，所述可执行指令当由具有显示器和触敏表面的电子设备的一个或多个处理器执行时，使所述电子设备执行根据权利要求1至13所述的方法中的任一方法或使得根据权利要求1至13所述的方法中的任一方法被执行。
CN202010710188.4A 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法 Pending CN111857529A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662399239P 2016-09-23 2016-09-23
US62/399,239 2016-09-23
US201762506502P 2017-05-15 2017-05-15
US62/506,502 2017-05-15
US15/712,092 2017-09-21
US15/712,092 US10318034B1 (en) 2016-09-23 2017-09-21 Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
CN201780053133.7A CN109643217B (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780053133.7A Division CN109643217B (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法

Publications (1)

Publication Number Publication Date
CN111857529A true CN111857529A (zh) 2020-10-30

Family

ID=60037711

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010711927.1A Pending CN111857530A (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法
CN202010710188.4A Pending CN111857529A (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法
CN201780053133.7A Active CN109643217B (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010711927.1A Pending CN111857530A (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780053133.7A Active CN109643217B (zh) 2016-09-23 2017-09-22 用于基于接近与用户界面对象交互的设备和方法

Country Status (4)

Country Link
US (6) US10318034B1 (zh)
EP (3) EP3491507B1 (zh)
CN (3) CN111857530A (zh)
WO (1) WO2018057944A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US10261672B1 (en) * 2014-09-16 2019-04-16 Amazon Technologies, Inc. Contextual launch interfaces
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR102586424B1 (ko) * 2016-04-18 2023-10-11 삼성전자주식회사 이벤트 알림 처리 방법 및 이를 지원하는 전자 장치
US10318034B1 (en) 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
JP6594359B2 (ja) 2017-01-31 2019-10-23 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20180329581A1 (en) * 2017-05-15 2018-11-15 International Business Machines Corporation Generating a catalog for a web page
KR20180135698A (ko) * 2017-06-13 2018-12-21 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN113900563B (zh) * 2017-06-15 2024-04-12 华为技术有限公司 电子设备及其处理方法
KR20190074335A (ko) * 2017-12-19 2019-06-28 삼성디스플레이 주식회사 스타일러스를 포함하는 전자장치 및 이의 동작방법
FR3076023A1 (fr) * 2017-12-26 2019-06-28 Orange Interface d'utilisateur a interaction perfectionnee par presentation de contenu informatif approprie
US11157130B2 (en) * 2018-02-26 2021-10-26 Adobe Inc. Cursor-based resizing for copied image portions
CN108536387B (zh) * 2018-04-03 2021-03-23 广州视源电子科技股份有限公司 一种悬浮控件的交互方法及其交互装置
CN108769362B (zh) * 2018-04-12 2021-04-13 Oppo广东移动通信有限公司 应用程序的未读消息提示方法及相关产品
US10790823B1 (en) * 2018-05-16 2020-09-29 Valve Corporation Proximity-based power switch appearance
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US20190378334A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US10996831B2 (en) * 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
KR102519800B1 (ko) * 2018-07-17 2023-04-10 삼성디스플레이 주식회사 전자 장치
US11030813B2 (en) * 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11003317B2 (en) 2018-09-24 2021-05-11 Salesforce.Com, Inc. Desktop and mobile graphical user interface unification
US11036360B2 (en) * 2018-09-24 2021-06-15 Salesforce.Com, Inc. Graphical user interface object matching
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
TWM576682U (zh) * 2018-11-30 2019-04-11 華碩電腦股份有限公司 電子裝置
US11023033B2 (en) * 2019-01-09 2021-06-01 International Business Machines Corporation Adapting a display of interface elements on a touch-based device to improve visibility
US11587412B1 (en) * 2019-02-14 2023-02-21 Block, Inc. Self-centering user interface for inputting information
USD915446S1 (en) * 2019-02-19 2021-04-06 Beijing Xiaomi Mobile Software Co., Ltd. Mobile phone with animated graphical user interface
US11019011B1 (en) * 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
JP6568331B1 (ja) * 2019-04-17 2019-08-28 京セラ株式会社 電子機器、制御方法、及びプログラム
US11429274B2 (en) 2019-05-06 2022-08-30 Apple Inc. Handwriting entry on an electronic device
US10942603B2 (en) * 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US10788964B1 (en) * 2019-05-10 2020-09-29 GE Precision Healthcare LLC Method and system for presenting function data associated with a user input device at a main display in response to a presence signal provided via the user input device
CN110351426B (zh) * 2019-05-31 2021-01-26 努比亚技术有限公司 智能手表信息输入方法、智能手表及计算机可读存储介质
DE102019115946A1 (de) * 2019-06-12 2020-12-31 Preh Gmbh Eingabevorrichtung mit beweglicher Handhabe auf kapazitiver Detektionsfläche und kapazitiven Koppeleinrichtungen
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
CN110427887B (zh) * 2019-08-02 2023-03-10 腾讯科技（深圳）有限公司 一种基于智能的会员身份识别方法及装置
CN112395530A (zh) * 2019-08-19 2021-02-23 北京字节跳动网络技术有限公司 数据内容的输出方法、装置、电子设备及计算机可读介质
US11460961B2 (en) 2019-08-23 2022-10-04 Samsung Electronics Co., Ltd. Method for determining proximity of at least one object using electronic device
US11580465B2 (en) * 2019-11-21 2023-02-14 Intelligrated Headquarters, Llc Methods and systems for task execution in a workplace
CN110888178B (zh) * 2019-11-29 2024-05-28 北京小米移动软件有限公司 接近检测电路及终端设备
WO2021117446A1 (ja) * 2019-12-13 2021-06-17 アルプスアルパイン株式会社 入力装置
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
KR102297903B1 (ko) * 2019-12-20 2021-09-06 네이버 주식회사 웹 브라우저 디스플레이 방법 및 이를 이용하는 단말장치
CN111290691A (zh) * 2020-01-16 2020-06-16 北京京东振世信息技术有限公司 用于操作页面的方法、装置、计算机设备及可读存储介质
US11316806B1 (en) * 2020-01-28 2022-04-26 Snap Inc. Bulk message deletion
US11393135B1 (en) * 2020-02-28 2022-07-19 Apple Inc. Modifying objects in a graphical environment
US11334825B2 (en) * 2020-04-01 2022-05-17 Citrix Systems, Inc. Identifying an application for communicating with one or more individuals
US11188157B1 (en) * 2020-05-20 2021-11-30 Meir SNEH Touchless input device with sensor for measuring linear distance
US11163428B1 (en) * 2020-06-15 2021-11-02 Microsoft Technology Licensing, Llc Displaying a hover graphic with a dynamic time delay
KR20220017143A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치 및 이의 전자 펜 포인터를 표시하는 방법
US11182136B1 (en) * 2020-08-20 2021-11-23 Ebay Inc. Control bar for element activation
US11379056B2 (en) * 2020-09-28 2022-07-05 Arian Gardner Editor's pen pad
KR20230121029A (ko) * 2020-09-28 2023-08-17 프레셰이프 에스에이 광학 위치 결정 디바이스용 광학 스타일러스
BR112022001065A2 (pt) * 2020-11-13 2022-07-05 Tencent Tech Shenzhen Co Ltd Método e aparelho de controle de objeto virtual, meio de armazenamento e dispositivo eletrônico
AU2021431032A1 (en) * 2021-03-03 2023-07-20 Telefonaktiebolaget Lm Ericsson (Publ) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved user interface controlling multiple applications simultaneously
US11372486B1 (en) 2021-03-16 2022-06-28 Microsoft Technology Licensing, Llc Setting digital pen input mode using tilt angle
US11526659B2 (en) 2021-03-16 2022-12-13 Microsoft Technology Licensing, Llc Converting text to digital ink
US11361153B1 (en) 2021-03-16 2022-06-14 Microsoft Technology Licensing, Llc Linking digital ink instances using connecting lines
US11875543B2 (en) 2021-03-16 2024-01-16 Microsoft Technology Licensing, Llc Duplicating and aggregating digital ink instances
US11435893B1 (en) 2021-03-16 2022-09-06 Microsoft Technology Licensing, Llc Submitting questions using digital ink
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
US11394755B1 (en) * 2021-06-07 2022-07-19 International Business Machines Corporation Guided hardware input prompts
JP7467391B2 (ja) * 2021-06-18 2024-04-15 キヤノン株式会社 情報処理装置および情報処理装置の制御方法
US11679678B2 (en) 2021-06-28 2023-06-20 Sigmasense, Llc. Vehicle system for detecting and visually conveying vehicle button interaction
US12026317B2 (en) * 2021-09-16 2024-07-02 Apple Inc. Electronic devices with air input sensors
CN113672145B (zh) * 2021-10-23 2021-12-14 湖南米山科技有限公司 一种空中彩屏成像交互装置
US11954289B2 (en) * 2022-03-04 2024-04-09 Humane, Inc. Laser projected virtual interface
US11775071B1 (en) 2022-03-08 2023-10-03 Microsoft Technology Licensing, Llc Haptic feedback from a computing accessory
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings
US20240004532A1 (en) * 2022-05-10 2024-01-04 Apple Inc. Interactions between an input device and an electronic device
US20240046669A1 (en) * 2022-08-08 2024-02-08 Capital One Services, Llc Systems and methods for extracting in-video moving text in live video streams
WO2024108139A1 (en) * 2022-11-18 2024-05-23 Intuitive Surgical Operations, Inc. Object detection and visual feedback system
US20240184420A1 (en) * 2022-12-06 2024-06-06 Microsoft Technology Licensing, Llc Expanded preview mode for folders
US20240264660A1 (en) * 2023-02-08 2024-08-08 Meta Platforms Technologies, Llc Facilitating User Interface Interactions in an Artificial Reality Environment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060022955A1 (en) * 2004-07-30 2006-02-02 Apple Computer, Inc. Visual expander
US20080012835A1 (en) * 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for digitizer
US20130241827A1 (en) * 2012-03-15 2013-09-19 Nokia Corporation Touch screen hover input handling
US20150082216A1 (en) * 2013-09-16 2015-03-19 Microsoft Corporation Hover Controlled User Interface Element
CN104487930A (zh) * 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
CN104487927A (zh) * 2012-05-09 2015-04-01 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
US20150143273A1 (en) * 2012-12-29 2015-05-21 Apple Inc. Device, Method, and Graphical User Interface for Determining Whether to Scroll or Select Content

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7169321B2 (en) 2002-10-28 2007-01-30 Battelle Memorial Institute Biobased deicing/anti-icing fluids
US7783990B2 (en) 2006-05-05 2010-08-24 Microsoft Corporation Association of display elements
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
US20130241832A1 (en) * 2010-09-07 2013-09-19 Zrro Technologies (2009) Ltd. Method and device for controlling the behavior of virtual objects on a display
CN105955617B (zh) * 2011-06-03 2019-07-12 谷歌有限责任公司 用于选择文本的手势
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
EP2624116B1 (en) * 2012-02-03 2017-09-06 EchoStar Technologies L.L.C. Display zoom controlled by proximity detection
US10042440B2 (en) * 2012-03-26 2018-08-07 Lenovo (Singapore) Pte. Ltd. Apparatus, system, and method for touch input
JP6002836B2 (ja) * 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
KR101329584B1 (ko) * 2012-10-22 2013-11-14 신근호 멀티터치 기반의 텍스트블록 설정에 따른 편집제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US20140282279A1 (en) * 2013-03-14 2014-09-18 Cirque Corporation Input interaction on a touch sensor combining touch and hover actions
US20140306897A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Virtual keyboard swipe gestures for cursor movement
WO2014207288A1 (en) 2013-06-24 2014-12-31 Nokia Corporation User interfaces and associated methods for controlling user interface elements
US20150109257A1 (en) * 2013-10-23 2015-04-23 Lumi Stream Inc. Pre-touch pointer for control and data entry in touch-screen devices
US20150199030A1 (en) * 2014-01-10 2015-07-16 Microsoft Corporation Hover-Sensitive Control Of Secondary Display
US20160334912A1 (en) * 2015-05-15 2016-11-17 Microsoft Technology Licensing, Llc Force Curves and Inadvertent Input Control
US10416799B2 (en) * 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) * 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10318034B1 (en) 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060022955A1 (en) * 2004-07-30 2006-02-02 Apple Computer, Inc. Visual expander
US20080012835A1 (en) * 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for digitizer
US20130241827A1 (en) * 2012-03-15 2013-09-19 Nokia Corporation Touch screen hover input handling
CN104487930A (zh) * 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
CN104487927A (zh) * 2012-05-09 2015-04-01 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
US20150143273A1 (en) * 2012-12-29 2015-05-21 Apple Inc. Device, Method, and Graphical User Interface for Determining Whether to Scroll or Select Content
US20150082216A1 (en) * 2013-09-16 2015-03-19 Microsoft Corporation Hover Controlled User Interface Element

Also Published As

Publication number Publication date
EP3491507A1 (en) 2019-06-05
US20230297180A1 (en) 2023-09-21
US11644917B2 (en) 2023-05-09
US20200371629A1 (en) 2020-11-26
US20240192792A1 (en) 2024-06-13
WO2018057944A1 (en) 2018-03-29
US11947751B2 (en) 2024-04-02
EP3491507B1 (en) 2020-08-26
US10852868B2 (en) 2020-12-01
CN109643217A (zh) 2019-04-16
EP3742275A1 (en) 2020-11-25
EP4310654A3 (en) 2024-04-17
EP4310654A2 (en) 2024-01-24
US11243627B2 (en) 2022-02-08
CN109643217B (zh) 2020-07-24
US20190265828A1 (en) 2019-08-29
US20220147173A1 (en) 2022-05-12
US10318034B1 (en) 2019-06-11
CN111857530A (zh) 2020-10-30
EP3742275B1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
CN109643217B (zh) 用于基于接近与用户界面对象交互的设备和方法
US12001670B2 (en) Devices, methods, and graphical user interfaces for moving user interface objects
AU2022224714B2 (en) Devices and methods for interacting with an application switching user interface
CN111240572B (zh) 用于移动用户界面对象的设备、方法和图形用户界面
US20240319869A1 (en) Devices, Methods, and Graphical User Interfaces for Moving User Interface Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination