CN111240572B - 用于移动用户界面对象的设备、方法和图形用户界面 - Google Patents
用于移动用户界面对象的设备、方法和图形用户界面 Download PDFInfo
- Publication number
- CN111240572B CN111240572B CN202010011056.2A CN202010011056A CN111240572B CN 111240572 B CN111240572 B CN 111240572B CN 202010011056 A CN202010011056 A CN 202010011056A CN 111240572 B CN111240572 B CN 111240572B
- Authority
- CN
- China
- Prior art keywords
- user interface
- contact
- input
- touch
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了用于移动用户界面对象的设备、方法和图形用户界面。具有显示器和触敏表面的设备在第一位置处显示包括用户界面对象的用户界面。在显示用户界面时,该设备检测输入的一部分,包括触敏表面上对应于用户界面对象的位置处的接触。响应于检测到输入的部分:在确定输入的部分满足菜单显示标准时,该设备显示对应于显示器上的用户界面对象的多个可选选项;并且,在确定输入的部分满足对象移动标准时,该设备根据接触的移动将用户界面对象或其表示从第一位置移动到第二位置。
Description
本申请是国际申请日为2018年5月2日、国家申请号为201880032335.8(国际申请号为PCT/US2018/030697)、发明名称为“用于移动用户界面对象的设备、方法和图形用户界面”的发明专利申请的分案申请。
技术领域
本文整体涉及具有触敏表面的电子设备,包括但不限于具有用于显示用户界面以及与用户界面内的用户界面对象进行交互的触敏表面的电子设备。
背景技术
触敏表面作为计算机和其他电子计算设备的输入设备的使用在近年来显著增长。示例性触敏表面包括触控板和触摸屏显示器。此类表面广泛地用于操纵显示器上的用户界面和其中的对象。示例性用户界面对象包括数字图像、视频、文本、图标和控制元件(诸如,按钮)以及其他图形。
示例性操纵包括调整一个或多个用户界面对象的位置和/或尺寸,或者激活按钮或打开由用户界面对象表示的文件/应用程序,以及将元数据与一个或多个用户界面对象相关联或以其他方式操纵用户界面。示例性用户界面对象包括数字图像、视频、文本、图标、控制元件(诸如,按钮)以及其他图形。在某些情况下,用户将需要对以下各项中的用户界面对象执行此类操纵:文件管理程序(例如,来自Apple Inc.(Cupertino,California)的Finder);图像管理应用程序(例如,来自Apple Inc.(Cupertino,California)的Aperture、iPhoto、Photos);数字内容(例如,视频和音乐)管理应用程序(例如,来自Apple Inc.(Cupertino,California)的iTunes);绘图应用程序;展示应用程序(例如,来自Apple Inc.(Cupertino,California)的Keynote);文字处理应用程序(例如,来自Apple Inc.(Cupertino,California)的Pages);或电子表格应用程序(例如,来自Apple Inc.(Cupertino,California)的Numbers)。
但是,用于执行这些操纵的方法是麻烦且低效的。例如,使用基于鼠标的输入的序列来选择一个或多个用户界面对象并对选择的用户界面对象执行一个或多个动作单调乏味并对用户造成明显的认知负担。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此,需要具有用于与用户界面对象交互(例如,移动用户界面对象和显示对应于用户界面对象的信息)的改进的方法和界面的电子设备。此类方法和界面任选地补充或替换用于与用户界面对象进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质,并且产生更有效的人机界面。对于电池驱动设备,此类方法和界面可节省用电并且增加两次电池充电之间的时间。
借助所公开的设备可减少或消除与具有触敏表面的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,该设备是台式计算机。在一些实施方案中,该设备是便携式的(例如,笔记本电脑、平板电脑或手持设备)。在一些实施方案中,该设备是个人电子设备(例如,可穿戴电子设备,诸如手表)。在一些实施方案中,该设备具有触控板。在一些实施方案中,该设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,该设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施方案中,用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中,这些功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案,在具有显示器和触敏表面的设备上执行方法。该方法包括:在显示器上显示第一用户界面,其中第一用户界面包括在该第一用户界面中的第一位置处的第一用户界面对象;当显示包括在第一用户界面中的第一位置处的第一用户界面对象的第一用户界面时,检测第一输入的第一部分,包括检测触敏表面上对应于第一用户界面中的第一用户界面对象的位置处的第一接触;响应于检测到第一输入的第一部分:根据确定第一输入的第一部分满足菜单显示标准,在显示器上显示对应于第一用户界面对象的多个可选选项,其中菜单显示标准要求第一接触以小于阈值量的移动在触敏表面上保持超过第一阈值时间量以便满足菜单显示标准;并且,根据确定第一输入的第一部分满足对象移动标准,根据第一接触的第一移动将第一用户界面对象或其表示从显示器上的第一位置移动到第二位置,其中对象移动标准要求第一接触以小于阈值量的移动在触敏表面上保持超过第一阈值时间量,并且在接触以小于阈值量的移动在触敏表面上保持超过第一阈值时间量之后,第一输入的第一部分包括第一接触在触敏表面上的大于阈值量移动的第一移动以便满足对象移动标准。
在具有显示器和触敏表面的设备处执行一种方法。该方法包括:在显示器上显示第一用户界面,其中第一用户界面包括在该第一用户界面中的第一位置处的第一用户界面对象;在显示包括第一用户界面对象的第一用户界面时,检测第一输入,第一输入包括第一输入的第一部分和第一输入的第二部分,其中检测输入的第一部分包括检测触敏表面上对应于第一用户界面中的第一用户界面对象的位置处的一个或多个第一接触,并且检测第一输入的第二部分包括检测一个或多个第一接触在触敏表面上的第一移动,其中在检测到第一输入的第一部分时,第一用户界面对象显示在第一用户界面中的第一位置处;响应于检测到第一输入:根据确定在已经在触敏表面上的位置处检测到一个或多个第一接触达第一阈值时间量而没有超过阈值量的移动之前检测到了第一输入的第二部分:根据确定第一输入具有第一预定义数量的接触,根据第一输入的第二部分来相对于第一用户界面拖动第一用户界面对象或其表示;并且根据确定第一输入具有第二预定义数量的接触,放弃根据所述第一输入的第二部分来相对于第一用户界面拖动第一用户界面对象或其表示;并且根据确定在已经检测到一个或多个第一接触以不超过阈值量的移动在触敏表面上的位置处保持至少第一阈值时间量之后检测到第一输入的第二部分,根据第一输入的第二部分来相对于第一用户界面拖动第一用户界面对象或其表示。
在具有触摸屏显示器的设备处执行一种方法。该方法包括:在触摸屏显示器上的第一用户界面中显示内容;当在触摸屏显示器上的第一用户界面中显示内容时,检测选择该内容内的第一内容的第一用户交互;当显示该内容内的选中状态的第一内容时,检测激活针对所选第一内容的移动操作的第一输入的第一部分,包括检测在触摸屏显示器上对应于所选第一内容的位置处的一个或多个接触;响应于检测到激活针对所选第一内容的移动操作的第一输入的第一部分,在容器对象中显示第一内容的至少一部分的副本;将显示第一内容的至少一部分的副本的容器对象从相对于触摸屏上一个或多个接触的特征位置的第一放置位置移动到相对于触摸屏上一个或多个接触的特征位置的第二放置位置;并且将显示第一内容的至少一部分的副本的容器对象相对于一个或多个接触的特征位置从第一放置位置移动到第二放置位置之后,根据一个或多个接触的移动来移动显示第一内容的至少一部分的副本的容器对象,同时在一个或多个接触在触敏表面上移动时将容器对象保持在相对于一个或多个接触的特征位置的第二放置位置处。
根据一些实施方案,一种电子设备包括:显示器;触敏表面;任选地一个或多个存储器,用于检测与触敏表面的接触强度;任选地一个或多个触觉输出发生器;一个或多个处理器;以及存储器,该存储器存储一个或多个程序;一个或多个程序被配置为由一个或多个处理器执行,并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一方法的操作的指令。根据一些实施方案,一种非暂态计算机可读存储介质在其中存储有指令,这些指令当由具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器以及任选地一个或多个触觉输出发生器的电子设备执行时,使得该设备执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施方案,具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元件,该一个或多个元件响应于输入进行更新,如本文所述的任何方法中所描述的。根据一些实施方案,一种电子设备包括:显示器、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器以及任选地一个或多个触觉输出发生器;以及用于执行或导致执行本文所述方法中的任一种方法的操作的装置。根据一些实施方案,用于具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器以及任选地一个或多个触觉输出发生器的电子设备中的信息处理装置包括用于执行本文所述的任何方法的操作或使得本文所述的任何方法的操作被执行的装置。
因此,向具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个触觉输出发生器、任选地一个或多个设备取向传感器以及任选地音频系统的电子设备提供用于移动用户界面对象的改进的方法和界面,从而提高这些设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于移动用户界面对象的常规方法。
附图说明
为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图4C至图4E示出了根据一些实施方案的动态强度阈值的示例。
图5A至图5S示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象,以及显示与所选对象对应的菜单)的示例性用户界面。
图5T至图5AC示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象)的示例性用户界面。
图5AD至图5AP示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象,以及显示与所选对象对应的菜单)的示例性用户界面。
图5AQ至图5BD示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象)的示例性用户界面。
图6A至图6W示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,拖放所选文本)的示例性用户界面。
图7A至图7J是示出根据一些实施方案的方法的流程图,该方法响应于触摸输入而与用户界面对象进行交互(例如,选择和移动对象,以及显示与所选对象对应的菜单)。
图8A至图8F是示出根据一些实施方案的响应于触摸输入而与用户界面对象进行交互(例如,选择和移动对象)的方法的流程图。
图9A至图9E是示出根据一些实施方案的响应于触摸输入而与用户界面对象进行交互(例如,拖放所选文本)的方法的流程图。
具体实施方式
移动用户界面对象,激活用户界面对象(例如,打开内容项或启动应用程序等),显示可选选项(例如,上下文菜单或快速动作选项菜单)的常规方法需要单独的手势,在不同时间检测到不同的接触。下面的实施方案集成了不同的手势,使得可以使用相同的接触来提供所需的输入以完成上述操作中的多个,例如,通过将长按压要求和/或移动要求集成到这些操作的某些标准中。此外,可选地使用不同数量的接触进行的移动作为另选方法,来实现长按压输入,之后是在移动对象和/或显示可选选项时接触的移动。此外,配置所移动的对象的放置,使得该对象或其副本不太可能干扰用户对底层用户界面和/或内容的查看。
下面,图1A-1B、图2和图3提供对示例性设备的描述。图4A至图4B、图5A至图5BD以及6A至图6W示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象,以及显示与所选对象对应的信息)的示例性用户界面。图7A至图7J、图8A至图8F以及图9A至图9E是根据一些实施方案的响应于触摸输入而与用户界面对象进行交互的方法的流程图。图5A至图5BD以及图6A至图6W中的用户界面用于示出图7A至图7J、图8A至图8F以及图9A至图9E中的过程。
示例性设备
现在将详细地参考实施方案,这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节,以便提供对各种所描述的实施方案的充分理解。但是,对本领域的普通技术人员将显而易见的是,各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下,没有详细地描述众所周知的方法、过程、部件、电路和网络,从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是,虽然在一些情况下,术语“第一”、“第二”等在本文中用于描述各种元件,但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一接触可被命名为第二接触,并且类似地,第二接触可被命名为第一接触,而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触,但它们不是同一个接触,除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用,根据上下文,术语“如果”任选地被解释为意思是“当……时”后“在……时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中,该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备,诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的iPod和设备。任选地使用其他便携式电子设备,诸如具有触敏表面(例如,触摸屏显示器和/或触控板)的膝上型电脑或平板电脑。还应当理解的是,在一些实施方案中,该设备并非便携式通信设备,而是具有触敏表面(例如,触摸屏显示器和/或触控板)的台式计算机。
在下面的讨论中,描述了一种包括显示器和触敏表面的电子设备。然而,应当理解,该电子设备任选地包括一个或多个其他物理用户接口设备,诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用,诸如以下应用中的一个或多个应用:记笔记应用、绘图应用、演示应用、文字处理应用、网站创建应用、盘编辑应用、电子表格应用、游戏应用、电话应用、视频会议应用、电子邮件应用、即时消息应用、健身支持应用、照片管理应用、数字相机应用、数字摄像机应用、Web浏览应用、数字音乐播放器应用序、和/或数字视频播放器应用。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备,诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化,和/或在相应应用程序内被调整和/或变化。这样,设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”,并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如,触敏表面,诸如设备100的触敏显示器系统112)上的接触强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如,在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的,术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如,触敏表面)相对于设备的另一个部件(例如,外壳)的物理位移、或部件相对于设备的质心的位移。例如,在设备或设备的部件与用户对触摸敏感的表面(例如,手指、手掌或用户手部的其他部分)接触的情况下,通过物理位移生成的触觉输出将由用户解释为触感,该触感对应于设备或设备的部件的物理特征的所感知的变化。例如,触敏表面(例如,触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下,用户将感觉到触感,诸如“按下点击”或“松开点击”,即使在通过用户的移动而物理地被按压(例如,被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如,即使在触敏表面的光滑度无变化时,触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制,但是对触摸的许多感官知觉是大多数用户共有的。因此,当触觉输出被描述为对应于用户的特定感官知觉(例如,“按下点击”、“松开点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其部件的物理位移,该物理位移将会生成典型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,触觉输出模式指定触觉输出的特性,诸如触觉输出的幅值、触觉输出的运动波形的形状、触觉输出的频率、和/或触觉输出的持续时间。
当设备(例如经由移动可移动质块生成触觉输出的一个或多个触觉输出发生器)生成具有不同触觉输出模式的触觉输出时,触觉输出可在握持或触摸设备的用户中产生不同触感。虽然用户的感官基于用户对触觉输出的感知,但大多数用户将能够识别设备生成的触觉输出的波形、频率和幅值的变化。因此,波形、频率和幅值可被调节以向用户指示已执行了不同操作。这样,具有被设计、选择和/或安排用于模拟给定环境(例如,包括图形特征和对象的用户界面、具有虚拟边界和虚拟对象的模拟物理环境、具有物理边界和物理对象的真实物理环境、和/或以上任意者的组合)中对象的特性(例如大小、材料、重量、刚度、光滑度等);行为(例如振荡、位移、加速、旋转、伸展等);和/或交互(例如碰撞、粘附、排斥、吸引、摩擦等)的触觉输出模式的触觉输出在一些情况下将为用户提供有帮助的反馈,其减少输入错误并提高用户对设备的操作的效率。另外,触觉输出任选地被生成为对应于与所模拟物理特性(诸如输入阈值或对象选择)无关的反馈。此类触觉输出在一些情况下将为用户提供有帮助的反馈,其减少输入错误并提高用户对设备的操作的效率。
在一些实施方案中,具有合适触觉输出模式的触觉输出充当在用户界面中或在设备中屏幕后面发生感兴趣事件的提示。感兴趣事件的示例包括设备上或用户界面中提供的示能表示(例如真实或虚拟按钮、或拨动式开关)的激活、所请求操作的成功或失败、到达或穿过用户界面中的边界、进入新状态、在对象之间切换输入焦点、激活新模式、达到或穿过输入阈值、检测或识别一种类型的输入或手势等等。在一些实施方案中,提供触觉输出以充当关于除非改变方向或中断输入被及时检测到、否则会发生的即将发生事件或结果的警告或提示。触觉输出在其他情境下也用于丰富用户体验、改善具有视觉或运动困难或者其他可达性需要的用户对设备的可达性、和/或改善用户界面和/或设备的效率和功能性。任选地将触觉输出与音频输入和/或视觉用户界面改变进行比较,这进一步增强用户与用户界面和/或设备交互时用户的体验,并有利于关于用户界面和/或设备的状态的信息的更好传输,并且这减少输入错误并提高用户对设备的操作的效率。
应当理解,设备100仅仅是便携式多功能设备的一个示例,并且设备100任选地具有比所示出的部件更多或更少的部件,任选地组合两个或更多个部件,或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器,并且还任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 120。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中,外围设备接口118、一个或多个CPU 120、和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中,它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信,这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如,蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如,可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户和设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据转换为电信号,并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中,音频电路110还包括耳麦插孔(例如,图2中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口,该外围设备为诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。一个或多个输入控制器160从其它输入或控制设备116接收电信号或者将电信号发送到该其它输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中,一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者):键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如,图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如,图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中,一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用,术语“示能表示”是指用户交互式图形用户界面对象(例如,被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断),并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如,一个或多个软按键、图标、网页或图像)的交互。在一些实施方案中,在触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术,但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中,使用投射式互电容感测技术,诸如从Apple Inc.(Cupertino,California)的iPod和中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中,触摸屏视频分辨率超过400dpi(例如,500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中,将用户界面设计成与基于手指的接触和手势一起工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些实施方案中,设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中,除了触摸屏之外,设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中,触控板是设备的触敏区域,与触摸屏不同,该触敏区域不显示视觉输出。触控板任选地是与触敏显示器系统112分开的触敏表面,或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光,并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块),一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中,光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上,使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中,另一光学传感器位于设备的前部上,从而获取该用户的图像(例如,用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些实施方案中,至少一个接触强度传感器与触敏表面(例如,触敏显示器系统112)并置排列或邻近。在一些实施方案中,至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地,接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中,当多功能设备被置于用户耳朵附近时(例如,用户正在打电话时),接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些实施方案中,一个或多个触觉输出发生器167包括一个或多个电声设备诸如扬声器或其他音频部件;和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如,用于将电信号转换成设备上的触觉输出的部件)。触觉输出发生器167从触觉反馈模块133接收触觉反馈生成指令,并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中,至少一个触觉输出发生器与触敏表面(例如,触敏显示器系统112)并置排列或邻近,并且任选地通过竖直地(例如,向设备100的表面内/外)或侧向地(例如,在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中,至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个加速度计168。图1A示出与外围设备接口118耦接的加速度计168。另选地,加速度计168任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中,基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100任选地除了一个或多个加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出),以用于获取关于设备100的位置和取向(例如,纵向或横向)的信息。
在一些实施方案中,存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外,在一些实施方案中,存储器102存储设备/全局内部状态157,如图在1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者:活动应用程序状态,其指示哪些应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其它信息占据触敏显示器系统112的各个区域;传感器状态,包括从设备的各个传感器和其他输入或控制设备116获得的信息;以及关于设备的位置和/或姿态的位置和/或方位信息。
操作系统126(例如,iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器,并且有利于各种硬件和软件组件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信,并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如,通用串行总线(USB)、火线等)适于直接耦接到其他设备,或间接地通过网络(例如,互联网、无线LAN等)进行耦接。在一些实施方案中,外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如,30针)连接器。在一些实施方案中,外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如,触控板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作,诸如确定是否已发生接触(例如,检测手指按下事件)、确定接触的强度(例如,接触的力或压力,或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如,检测一个或多个手指拖动事件),以及确定接触是否已停止(例如,检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变),所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如,单指接触或触笔接触)或者多点同时接触(例如,“多点触摸”/多指接触)。在一些实施方案中,接触/运动模块130和显示控制器156检测触控板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如,所检测到的接触的不同运动、计时和/或强度)。因此,任选地通过检测特定接触模式来检测手势。例如,检测单指轻击手势包括检测手指按下事件,然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如,在图标位置处)检测手指抬起(抬离)事件。又如,检测触敏表面上的手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检测手指抬起(抬离)事件。类似地,通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中,检测手指轻击手势取决于检测手指按下事件与手指抬起事件之间的时间长度,但是与检测手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中,根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如,小于0.1、0.2、0.3、0.4或0.5秒),检测轻击手势,而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值),例如轻按压或深按压强度阈值。因此,手指轻击手势可以满足特定输入标准,该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见,轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件,低于该标称接触检测强度阈值时,不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面上方悬停的手指或触笔接触的情况下,标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如,可基于满足与手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、扩张手势和/或长按压手势。例如,轻扫手势基于一个或多个接触的移动的量来检测;缩放手势基于两个或更多个接触朝彼此的移动来检测;扩张手势基于两个或更多个接触背离彼此的移动来检测;长按压手势基于触敏表面上具有少于阈值量的移动的接触的持续时间来检测。因此,关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足,并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中,基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势,而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值,并且基于确定接触移动大于预定义量值来检测轻扫手势,即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如,当接触的强度高于强度阈值时,设备更快地检测到长按压,或者当接触的强度更高时,设备会延迟对轻击输入的检测),只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准,则对这些手势的检测也不会要求接触达到特定强度阈值(例如,即使识别手势所需的时间量发生变化)。
在某些情况下,接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合,以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势,使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估,以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如,在某些情况下,第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在此类竞争中,如果第二手势的第二手势识别标准首先得到满足,则手势任选地不被识别为满足第一手势的第一手势识别标准。例如,如果在接触移动预定义的移动量之前接触达到相应的强度阈值,则检测到深按压手势而不是轻扫手势。相反,如果在接触达到相应的强度阈值之前接触移动预定义的移动量,则检测到轻扫手势而不是深按压手势。即使在此类情况下,第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准,因为如果接触保持低于相应的强度阈值直到手势结束(例如,具有不会增大到高于相应强度阈值的强度的接触的轻扫手势),手势将被第一手势识别标准识别为轻扫手势。因此,不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下,忽略相对于强度阈值的接触强度(例如,对于轻击手势而言)和/或(B)在某些情况下,如果在特定手势识别标准识别与输入对应的手势之前,一组竞争的强度相关手势识别标准(例如,对于深按压手势而言)将输入识别为与强度相关手势对应,则不能满足特定手势识别标准(例如,对于长按压手势而言),从这个意义上来讲,仍然取决于相对于强度阈值的接触强度(例如,对于与深按压手势竞争识别的长按压手势而言)。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件部件,包括用于改变所显示的图形的视觉冲击(例如,亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用,术语“图形”包括可被显示给用户的任何对象,非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中,图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码,在必要的情况下还一起接收坐标数据和其他图形属性数据,并且然后生成屏幕图像数据,以输出至显示控制器156。
触觉反馈模块133包括用于生成指令(例如,由触觉反馈控制器161使用的指令)的各种软件部件,以响应于用户与设备100的交互而使用触觉输出发生器167在设备100上的一个或多个位置处生成触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如,联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供这种信息以在各种应用程序中使用(例如,提供至用于基于位置的拨号的电话138;提供至相机143作为图片/视频元数据;以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集:
·联系人模块137(有时称作通讯录或联系人列表);
·电话模块138;
·视频会议模块139;
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·健身支持模块142;
·用于静态图像和/或视频图像的相机模块143;
·图像管理模块144;
·浏览器模块147;
·日历模块148;
·桌面小程序模块149,其任选地包括以下各项中的一者或多者:天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5和由用户获得的其他桌面小程序,以及用户创建的桌面小程序149-6;
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150;
·搜索模块151;
·视频和音乐播放器模块152,任选地由视频播放器模块和音乐播放器模块构成;
·记事本模块153;
·地图模块154;和/或
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134,联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如,存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中),包括:添加姓名到通讯录;从地址簿删除姓名;将电话号码、电子邮件地址、物理地址或其他信息与姓名关联;将图像与姓名关联;对姓名进行归类和分类;提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信;等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134,电话模块138包括用于进行以下操作的可执行指令:输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述,无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138,视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,即时消息模块141包括用于进行以下操作的可执行指令:输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如,使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息,以及查看所接收的即时消息。在一些实施方案中,所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用,“即时消息”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及视频和音乐播放器模块152,健身支持模块142包括可执行指令用于创建健身(例如,具有时间、距离和/或卡路里燃烧目标);与(体育设备和智能手表中的)健身传感器通信;接收健身传感器数据;校准用于监视健身的传感器;为健身选择和播放音乐;以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144,相机模块143包括用于进行以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143,图像管理模块144包括用于排列、修改(例如,编辑)、或以其他方式操控、加标签、删除、展示(例如,在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134,浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如,日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如,天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如,用户创建的桌面小程序149-6)。在一些实施方案中,桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中,桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147,桌面小程序创建器模块150包括用于创建桌面小程序(例如,将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134,搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如,一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令,以及用于显示、呈现或以其他方式回放视频(例如,在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中,设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如,驾车路线;特定位置处或附近的商店和其他兴趣点的数据;和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括允许用户访问、浏览、接收(例如,通过流式传输和/或下载)、回放(例如在触摸屏112上或在无线连接的或经由外部端口124连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中,使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如,本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即,指令集)不必以独立的软件程序、过程或模块实现,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中,存储器102任选地存储上述模块和数据结构的子组。此外,存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中,设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备,任选地减少设备100上的物理输入控制设备(例如,下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中,触控板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中,使用触控板来实现“菜单按钮”。在一些其他实施方案中,菜单按钮是物理下压按钮或者其他物理输入控制设备,而不是触控板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中,存储器102(图1A中)或存储器370(图3)包括事件分类器170(例如,在操作系统126中)和相应的应用程序136-1(例如,前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中,应用程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中,设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的,并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中,应用程序内部状态192包括附加信息,诸如以下各项中的一者或多者:当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列,以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如,作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中,事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应,外围设备接口118传输事件信息。在其他实施方案中,外围设备接口118仅当存在显著事件(例如,接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中,事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时,命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如,在其中检测到触摸的最低水平视图任选地被称为命中视图,并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定,所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下,命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别,命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中,活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图,并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中,即使触摸子事件完全被局限到与一个特定视图相关联的区域,分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如,事件识别器180)。在包括活动事件识别器确定模块173的实施方案中,事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中,事件分配器模块174在事件队列中存储事件信息,该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中,操作系统126包括事件分类器170。另选地,应用程序136-1包括事件分类器170。在又一个实施方案中,事件分类器170是独立模块,或者是存储在存储器102中的另一个模块(诸如,接触/运动模块130)的一部分。
在一些实施方案中,应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191,其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常,相应应用程序视图191包括多个事件识别器180。在其他实施方案中,事件识别器180中的一个或多个事件识别器是独立模块的一部分,该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中,相应事件处理程序190包括以下各项中的一者或多者:数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地,应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外,在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179),并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中,事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息任选地还包括子事件的速率和方向。在一些实施方案中,事件包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向取向,或反之亦然),并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该比较来确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施方案中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中,事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中,事件1(187-1)的定义是被显示对象上的双击。例如,双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中,事件2(187-2)的定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中,事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中,事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在触敏显示器系统112上显示三个用户界面对象的应用程序视图中,当在触敏显示器系统112上检测到触摸时,事件比较器184执行命中Test以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如,事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中,对相应事件187的定义还包括延迟动作,该延迟动作延迟事件信息的递送,直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时,该相应事件识别器180进入事件不可能、事件失败或事件结束状态,在此之后忽略基于触摸的手势的后续子事件。在这种情况下,对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中,相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中,元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中,元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中,当事件的一个或多个特定子事件被识别时,相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中,相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中,事件识别器180抛出与所识别的事件相关联的标记,并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中,事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反,子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中,数据更新器176创建并更新在应用程序136-1中使用的数据。例如,数据更新器176对联系人模块137中所使用的电话号码进行更新,或者对视频或音乐播放器模块152中所使用的视频文件进行存储。在一些实施方案中,对象更新器177创建和更新在应用程序136-1中使用的对象。例如,对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息,并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中,事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中,它们被包括在两个或更多个软件模块中。
应当理解,关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入,并不是所有用户输入都是在触摸屏上发起的。例如,任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下;触控板上的接触移动,诸如轻击、拖动、滚动等;触笔输入;设备的移动;口头指令;检测到的眼睛移动;生物特征输入;和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏(例如,图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施方案中,用户能够通过例如利用一个或多个手指202(在图中未按比例绘制)或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮,诸如“home”按钮、或菜单按钮204。如前所述,菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择,在一些实施方案中,菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中,设备100包括触摸屏显示器、菜单按钮204(有时称为主屏幕按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁过程。在一些实施方案中,设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165、和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中,设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如,家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330,该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如,类似于以上参考图1A所述的一个或多个触觉输出发生器167)、传感器359(例如,光学传感器、加速度传感器、接近传感器、触敏传感器、和/或类似于以上参考图1A所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU310定位的一个或多个存储设备。在一些实施方案中,存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构,或它们的子组。此外,存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如,设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390,而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即,指令集)不必被实现为单独的软件程序、过程或模块,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中,存储器370任选地存储上述模块和数据结构的子组。此外,存储器370任选地存储上文未描述的另外的模块和数据结构。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,用户界面400包括以下元件或者其子集或超集:
·一种或多种无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示符;
·时间;
·蓝牙指示符;
·电池状态指示符;
·具有常用应用程序图标的托盘408,诸如:
о电话模块138的被标记为“电话”的图标416,该图标416任选地包括未接来电或语音留言的数量的指示符414;
о电子邮件客户端模块140的被标记为“邮件”的图标418,该图标418任选地包括未读电子邮件的数量的指示符410;
о浏览器模块147的标记为“浏览器”的图标420;以及
о视频和音乐播放器模块152的被标记为“音乐”的图标422;以及
·其他应用程序的图标,诸如:
оIM模块141的被标记为“消息”的图标424;
о日历模块148的被标记为“日历”的图标426;
о图像管理模块144的被标记为“照片”的图标428;
о相机模块143的被标记为“相机”的图标430;
о在线视频模块155的被标记为“在线视频”的图标432;
о股市桌面小程序149-2的被标记为“股市”的图标434;
о地图模块154的被标记为“地图”的图标436;
о天气桌面小程序149-1的被标记为“天气”的图标438;
о闹钟桌面小程序149-4的被标记为“时钟”的图标440;
о健身支持模块142的被标记为“健身支持”的图标442;
о记事本模块153的标记为“记事本”的图标444;以及
о用于设置应用程序或模块的图标446,该图标提供对设备100及其各种应用程序136的设置的访问。
应当注意,图4A中示出的图标标签仅仅是示例性的。例如,其他标签任选地用于各种应用图标。在一些实施方案中,相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中,特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450分开的触敏表面451(例如,图3中的平板或触控板355)的设备(例如,图3中的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如,传感器357中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器359。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多示例,但是在一些实施方案中,设备检测与显示器分开的触敏表面上的输入,如图4B中所示。在一些实施方案中,触敏表面(例如,图4B中的451)具有与显示器(例如,450)上的主轴线(例如,图4B中的453)对应的主轴线(例如,图4B中的452)。根据这些实施方案,设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触(例如,图4B中的460和462)(例如,在图4B中,460对应于468并且462对应于470)。这样,在触敏表面(例如,图4B中的451)与多功能设备的显示器(例如,图4B中的450)是分开的时侯,由设备在触敏表面上所检测到的用户输入(例如,接触460和462以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解,类似的方法任选地用于本文所述的其他用户界面。
另外,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势等)来给出下面的示例,但是应当理解的是,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如,基于鼠标的输入或触笔输入)替换。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
如本文所用,术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中,光标充当“焦点选择器”,使得当光标在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如,图3中的触控板355或图4B中的触敏表面451)上检测到输入(例如,按压输入)的情况下,该特定用户界面元素根据所检测到的输入而被调整。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如,图1A中的触敏显示器系统112或图4A中的触摸屏)的一些具体实施中,在触摸屏上检测到的接触充当“焦点选择器”,使得当在触摸屏显示器上在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如,通过接触的按压输入)时,根据所检测到的输入来调整特定用户界面元素。在一些具体实施中,焦点从用户界面的一个区域移动到用户界面的另一个区域,而无需光标的对应移动或触摸屏显示器上的接触的移动(例如,通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮);在这些具体实施中,焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式,焦点选择器通常是由用户控制以便传送与用户界面的用户期望的交互(例如,通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如,在触敏表面(例如,触控板或触摸屏)上检测到按压输入时,焦点选择器(例如,光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如在本说明书和权利要求书中所使用的,术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如,手指接触或触笔接触)的力或压力(每单位面积的力),或者是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围,该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如,至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如,在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中,来自多个力传感器的力测量被合并(例如,加权平均或者加和),以确定估计的接触力。类似地,触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地,在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中,接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如,强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中,将接触力或压力的替代测量值转换为预估力或压力,并且使用预估力或压力确定是否已超过强度阈值(例如,强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性,从而允许用户访问用户在用于(例如,在触敏显示器上)显示示能表示和/或接收用户输入(例如,经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中,接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如,确定用户是否已“点击”图标)。在一些实施方案中,根据软件参数来确定强度阈值的至少一个子集(例如,强度阈值不是由特定物理致动器的激活阈值来确定的,并且可在不改变设备100的物理硬件的情况下被调节)。例如,在不改变触控板或触摸屏显示器硬件的情况下,触控板或触摸屏显示器的鼠标“点击”阈值可被设置为预定义阈值的大范围中的任一个阈值。另外,在一些具体实施中,设备的用户提供有用于调节一组强度阈值中的一个或多个强度阈值(例如,通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
如说明书和权利要求中所使用的,接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中,特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如,在检测到接触之后,在检测到接触抬离之前,在检测到接触开始移动之前或之后,在检测到接触结束之前,在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如,0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者:接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10%处的值、接触强度的半最大值、接触强度的90%最大值、通过在预定义时间段上或从预定义时间开始低通滤波接触强度而生成的值等。在一些实施方案中,在确定特征强度时使用接触的持续时间(例如,在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中,将特征强度与一组一个或多个强度阈值进行比较,以确定用户是否已执行操作。例如,该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中,特征强度未超过第一阈值的接触导致第一操作,特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作,并且特征强度超过第二阈值的接触导致第三操作。在一些实施方案中,使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如,是否执行相应选项或放弃执行相应操作),而不是用于确定执行第一操作还是第二操作。
在一些实施方案中,识别手势的一部分以用于确定特征强度。例如,触敏表面可接收连续轻扫接触,该连续轻扫接触从起始位置过渡并达到结束位置(例如拖动手势),在该结束位置处,接触的强度增大。在该示例中,接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分,而不是整个轻扫接触(例如,仅结束位置处的轻扫接触的一部分)。在一些实施方案中,可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如,平滑化算法任选地包括以下各项中的一种或多种:不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下,这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷,以实现确定特征强度的目的。
本文所述的用户界面图任选地包括各种强度图,这些强度图示出触敏表面上的接触相对于一个或多个强度阈值(例如,接触检测强度阈值IT0、轻按压强度阈值ITL、深按压强度阈值ITD(例如,至少初始高于ITL)和/或一个或多个其他强度阈值(例如,比ITL低的强度阈值ITH))的当前强度。该强度图通常不是所显示的用户界面的一部分,但是被提供以帮助解释所述图。在一些实施方案中,轻按压强度阈值对应于这样的强度:在该强度下设备将执行通常与点击物理鼠标或触控板的按钮相关联的操作。在一些实施方案中,深按压强度阈值对应于这样的强度:在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中,当检测到特征强度低于轻按压强度阈值(例如,并且高于标称接触检测强度阈值IT0,比标称接触检测强度阈值低的接触不再被检测到)的接触时,设备将根据接触在触敏表面上的移动来移动焦点选择器,而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲,除非另有陈述,否则这些强度阈值在不同组的用户界面附图之间是一致的。
在一些实施方案中,设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如,对于一些“轻按压”输入,在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中,设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如,对于一些“深按压”输入,只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间,在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(毫秒)(例如,40ms、100ms、或120ms,这取决于第二强度阈值的量值,其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外地识别深按压输入。又如,对于一些“深按压”输入,在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间,第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入,对检测到深按压输入的响应不取决于基于时间的标准。
在一些实施方案中,输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素(诸如用户设置、接触运动、输入定时、应用运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如,环境噪声)、焦点选择器位置等)而变化。示例因素在美国专利申请14/399,606和14/624,296中有所描述,这些美国专利申请全文以引用方式并入本文。
例如,图4C示出了部分地基于触摸输入476随时间的强度而随时间改变的动态强度阈值480。动态强度阈值480是两个分量的总和:在从触摸输入476初始被检测到开始的预定义的延迟时间p1之后随时间衰减的第一分量474和随时间而跟踪触摸输入476的强度的第二分量478。第一分量474的初始高强度阈值减少意外触发“深按压”响应,同时仍然允许在触摸输入476提供足够强度的情况下进行即时“深按压”响应。第二分量478减少通过触摸输入的逐渐的强度波动而无意触发“深按压”响应。在一些实施方案中,在触摸输入476满足动态强度阈值480时(例如,在图4C中的点481处),触发“深按压”响应。
图4D示出了另一个动态强度阈值486(例如,强度阈值ID)。图4D还示出了两个其他强度阈值:第一强度阈值ITH和第二强度阈值IL。在图4D中,尽管触摸输入484在时间p2之前满足第一强度阈值ITH和第二强度阈值ITL,但是直到在时间482处经过延迟时间p2才提供响应。另外,在图4D中,动态强度阈值486随时间而衰减,其中衰减在从时间482(当触发与强度阈值ITL相关联的响应时)经过预定义的延迟时间p1之后的时间488开始。这种类型的动态强度阈值减少紧接在触发与较低阈值强度(诸如第一强度阈值ITH或第二强度阈值ITL)相关联的响应之后或与其同时意外触发与动态强度阈值ITD相关联的响应。
图4E示出了另一个动态强度阈值492(例如,强度阈值ID)。在图4E中,在从触摸输入490被初始检测到已经过延迟时间p2之后,触发与强度阈值ITL相关联的响应。同时,动态强度阈值492在从触摸输入490被初始检测到的时候已经过预定义的延迟时间p1之后衰减。因此,在触发与强度阈值IL相关联的响应之后降低触摸输入490的强度,接着在不释放触摸输入490的情况下增大触摸输入490的强度可触发与强度阈值ID相关联的响应(例如,在时间494处),即使当触摸输入490的强度低于另一强度阈值(例如,强度阈值IL)时也是如此。
接触特征强度从低于轻按压强度阈值ITL的强度增大到介于轻按压强度阈值ITL与深按压强度阈值ITD之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值ITD的强度增大到高于深按压强度阈值ITD的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈值IT0的强度增大到介于接触检测强度阈值IT0与轻按压强度阈值ITL之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值IT0的强度减小到低于接触检测强度阈值IT0的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中,IT0为零。在一些实施方案中,IT0大于零。在一些例示中,阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些例示中,没有阴影的圆或椭圆用于表示触敏表面上的相应接触而不指定相应接触的强度。
在本文中所述的一些实施方案中,响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入来执行一个或多个操作,其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实施方案中,响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如,在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值,并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如,在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中,设备采用强度滞后以避免有时被称为“抖动”的意外输入,其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如,滞后强度阈值比按压输入强度阈值低X个强度单位,或滞后强度阈值是按压输入强度阈值的75%、90%或某个合理比例)。因此,在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值,并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如,在相应按压输入的“向上冲程”上执行相应操作)。类似地,在一些实施方案中,仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入,并且响应于检测到按压输入(例如,根据环境,接触强度增大或接触强度减小)来执行相应操作。
为了容易解释,任选地响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述:接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外,在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中,任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述,在一些实施方案中,对这些操作的触发还取决于满足基于时间的标准(例如,在满足第一强度阈值和满足第二强度阈值之间已经过延迟时间)。
用户界面和相关联的过程
现在将注意力转向可在具有显示器、触敏表面和(任选地)用于检测与触敏表面的接触的强度的一个或多个传感器的电子设备诸如便携式多功能设备100或设备300上实现的用户界面(“UI”)和相关联的过程的实施方案。
图5A至图5S示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象,以及显示与所选对象对应的菜单)的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,包括图7A至图7J和图8A至图8F中的过程。为了便于解释,将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中,焦点选择器为任选地:相应手指或触笔接触、对应于手指或触笔接触的表示点(例如,相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而,响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触,任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
为了便于解释,将参考在不具有home按钮的设备上执行的操作来讨论实施方案中的一些实施方案,并且使用满足预定义标准的手势来解除当前显示的用户界面并显示home屏幕用户界面。尽管在图5A至图5S中未示出,但在一些实施方案中,在设备上包括home按钮(例如,机械按钮、固态按钮或虚拟按钮),并且该home按钮用于解除当前显示的用户界面并显示home屏幕用户界面。
图5A示出了包括多个用户界面对象(例如,与安装在设备上的不同应用程序对应的应用程序启动图标,包括图标504、506、508、510、514、516、518、520、522和524等)的用户界面(例如,主屏幕用户界面502)。
图5B至图5D示出了在时间t=t0(如图5B所示)在触摸屏112上的与图标504对应的位置处检测到接触(例如,接触526)。在将接触526在图标504上的那个初始触摸位置保持阈值时间量(例如,长按压时间阈值T)之前,图标504保持未被选择状态(例如,如图5C所示)。在时间t=t0+T,当接触526已经在图标504上保持基本上固定达阈值时间量时,图标504被选中(例如,图标504被放大并从其原始z层提起,在下方用户界面502上投射阴影),如图5D所示。
图5D至图5E示出,在一些实施方案中,如果接触526已经在图标504上保持基本上固定达至少阈值时间量T,然后提起而没有额外移动,则设备显示与图标504对应的信息(例如,微型应用程序对象528和消息应用程序的快速动作菜单530)。在接触526抬离之后,图标504可选地返回到其在主屏幕用户界面526上的原始z层。
图5F示出,在一些实施方案中,当接触526已经在图标504上保持基本上固定达至少阈值时间量T之后,设备在检测到接触526抬离之前显示与图标504对应的信息(例如,微型应用程序对象528和消息应用程序的快速动作菜单530)。
图5G示出了在图5D或图5F之后(例如,接触526已经在图标504上保持基本上固定达至少阈值时间量T的情况),检测到接触526的移动。响应于检测到接触526的移动,设备根据接触526的移动来移动图标504(例如,图标504被接触526在主屏幕用户界面502的z层上方的z层中在该主屏幕用户界面上拖动)。此外,响应于检测到接触526的移动,设备激活主屏幕重新配置模式(例如,主屏幕上的其他图标动画化(例如,“抖动”)以指示主屏幕重新配置模式已激活),在该模式下可以删除和重新排列主屏幕上的图标。在图5G中,图标504已被拖离其原始位置,并且在将图标504拖到允许的放下位置附近之前,图标504看起来是半透明的,使得可透过半透明图标504部分地看见下方的用户界面和图标。
在图5H中,当在接触526进行移动操作期间图标504保持被接触526选择时,设备在图标520上方检测到另一个接触532。在图5I中,在将接触532保持在图标520上方至少阈值时间量T之后,图标520也被选中(例如,图标520被放大并从其原始z层提起,在下方主屏幕用户界面上投射阴影)。在一些实施方案中,根据确定另一个图标(例如,图标502)已经被选中而且移动操作已经被发起并且正在进行中,设备放弃在接触532抬离时显示与图标520对应的信息。
图5I至图5J示出了在图标520被选中之后,图标520在其在主屏幕用户界面上的原始位置上方保持基本上固定,直到接触526的移动恢复。在图5J中,响应于接触526的移动,图标520向图标504移动并接合图标504以在接触526下方形成一个集合。指示符534(例如,具有计数“2”的徽章)被显示为覆盖在两个图标504和520的集合上。由于图标504和520的移动,其他图标(例如,图标506、522和524)会自动在主屏幕用户界面502上重新排列。在一些实施方案中,该集合中的图标504和520两者是半透明的,以指示该集合当前位于禁止的放下位置。如果要在图5J中表示的时间检测到接触526的抬离,则将取消移动操作,并且图标504和520将各自飞回到显示器上它们的原始位置。
图5J至图5K示出了随着接触526继续在主屏幕用户界面502上移动,图标504和520作为集合被接触526在显示器上拖动。
图5K至图5L示出了当图标504和520被接触526拖动时,主屏幕用户界面502保持响应于在触摸屏112上检测到的其他输入。例如,响应于接触536进行的轻击输入(例如,接触536在触摸屏上保持少于阈值时间量),图标522被删除。由于图标522的删除,其他图标(例如,图标524)会自动在主屏幕用户界面502上重新排列。
图5M示出,当接触526将两个图标504和520的集合拖动到触摸屏上的另一位置时(例如,在接触526悬停在该位置上阈值时间量之后),显示该集合的放下的预览(例如,预览对象540和542显示在主屏幕用户界面502上的两个允许的放下位置,并且图标504和520的透明度级别会提高)。
在图5M至图5O中,当接触526保持并且移动操作仍在进行时,新检测到的接触进行的轻扫手势(例如,在满足长按压时间阈值T之前,开始了接触538的移动)使主屏幕用户界面502向右滚动,并且另一个主屏幕用户界面544显示(例如,如图5O所示)。在图5O中,当在主屏幕用户界面544上保持接触526时(例如,在接触526在该位置上悬停阈值时间量之后),显示了该集合的放下的预览(例如,预览对象540和542显示在主屏幕用户界面544上的两个允许的放下位置,并且图标504和520的透明度保持提高)。
在图5P至图5Q中,当接触526保持在触摸屏112上并且图标504和520的集合保持在接触526下方时,设备在触摸屏上对应于图标504和520的集合的位置处检测到另一个接触552(例如,如图5P所示)。在检测到接触552之后,设备检测接触526和552的相对移动(例如,接触彼此远离地移动的扩张手势),并且响应于检测到接触的相对移动(例如,在图5Q中),设备使该集合中的图标散开,使得各个图标504和520并排显示且不重叠。在一些实施方案中,该集合中图标的散开可选地超出接触526和552之间的距离,并且取决于该集合中包括的图标的数量。
图5R示出,当在扩张手势之后检测到两个接触(例如,接触526和552)中的一个接触时,图标504和520飞回到剩余的接触(例如,接触526或552)并重新加入该集合。
在图5S中,检测到剩余接触的抬离,并且图标504和520被放到最接近该接触的最终位置的允许的放下位置(例如,显示预览对象540和542的位置)。在一些实施方案中,检测到接触的抬离时主屏幕重新配置模式保持激活,使得可以根据附加输入来重新布置主屏幕用户界面。在一些实施方案中,设备响应于检测到接触的抬离而退出图标重新配置模式。
图5T至图5AC示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象)的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,包括图7A至图7J和图8A至图8F中的过程。为了便于解释,将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中,焦点选择器为任选地:相应手指或触笔接触、对应于手指或触笔接触的表示点(例如,相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而,响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触,任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。尽管图5T至图5BD中将导致将执行拖动操作的输入显示为多个接触输入(例如,两个接触输入),但是应当理解,在一些实施方案中,使用单个接触输入(满足对象移动标准的单个接触输入,诸如在相应用户界面对象上保持基本上固定至少阈值时间量T)来发起拖动操作,如上面参考图5A至图5S更详细地描述。
在图5T中,两个接触554和556基本上同时(例如,时间差小于200ms)检测到并且在触摸屏112上的图标504上方彼此接近(例如,间距小于0.5厘米)。响应于在接触进行任何移动之前检测到两个并发的接触554和556(例如,在t=t0),图标504被选中(例如,图标504被放大并从图标504的原始z层提起,在下方主屏幕用户界面502上投射阴影)。
在图5U中,在图标504被选中之后,接触554和556在相同方向上的同时移动将所选图标504在显示器上拖动。响应于检测到这对接触554和556的移动,设备激活主屏幕重新配置模式,在该模式下,主屏幕用户界面上的图标可以响应于附加输入而被重新排列和/或删除。在图5U中,当这对接触悬停在允许的放下位置(先前由图标506占据)上方时,预览对象558显示在该允许的放下位置处以指示如果在图5U所示的时间检测到接触554和556的抬离,则将在何处显示图标504。
图5V至图5X示出,当响应于检测到这对图标554和556使图标504保持选中时,如果分别在图标520和522上检测到两个双指轻击输入(例如,图5V中的一对接触558和560进行的轻击输入,以及图5W中的一对接触562和564进行的另一个轻击输入),则图标520和522分别被选中(图标520和522被放大并从其原始z层提起,在下方主屏幕用户界面上投射阴影)。当接触554和556保持基本上固定时(例如,在其初始触摸位置处),图标520和522在被选中之后保持在其各自的原始位置附近,例如如图5X所示。
图5Y示出,在图标520和522被选中之后,检测到这对接触554和556的移动。响应于这对接触554和556的移动,图标520和522朝着这对接触554和556飞去并接合图标504以形成由这对接触554和556拖动的图标集合。指示符566(例如,计数“3”)显示在该图标集合上,以指示当前包括在该图标集合中的图标总数。在图5Y中,响应于检测到这对接触554和556的移动,设备激活用户界面重新配置模式,并且主屏幕用户界面502上的图标被动画化以指示用户界面重新配置模式已经被激活。
图5Z至图5AA示出,当这对接触554和556移动到图标514上方的位置时,图标504、520和522的集合被拖动到图标514。当图标504、520和522的集合保持在图标514上方阈值时间量时,创建文件夹(例如,文件夹566)(如图5AA所示),并且图标514被包括在文件夹566中。在一些实施方案(未示出)中,当这对接触悬停在图标514上方时,不创建文件夹;相反,图标514(和其他附近的图标)将移动以腾出空间来容纳图标集合,并且与图标504、520和522对应的预览对象将显示在已腾出的空间中。
图5AA至图5AC示出,检测到这对接触554和556的抬离,并且响应于接触的抬离,图标504、520和522被放到文件夹566中(如图5AA至图5AB所示)。由文件夹566外部的新近检测到的接触570进行的轻击输入使文件夹566消失,并且表示文件夹566的文件夹图标572显示在主屏幕用户界面502中(如图5AC所示)。
图5AD至图5AP示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象)的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,包括图7A至图7J和图8A至图8F中的过程。为了便于解释,将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中,焦点选择器为任选地:相应手指或触笔接触、对应于手指或触笔接触的表示点(例如,相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而,响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触,任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图5AD示出了在显示器上并排显示的用于两个不同应用程序的两个用户界面(例如,用于互联网浏览器应用程序的用户界面574和用于文本编辑器应用程序(例如,“记事本”应用程序)的用户界面576)。用户界面574显示包括可选内容(例如,超链接、文本和图像等)的网页,用户界面576包括可编辑内容(例如,示出网页的URL的文本,和一些其他文本)。
图5AE至图5AF示出,在触摸屏上与对应于另一网页(例如,名为“了解更多”的网页)的超链接(例如,超链接580)对应的位置处检测到接触(例如,接触578)(例如,在图5AE中)。当接触578在超链接580上保持至少阈值时间量T(例如,在图5AF中)时,超链接580被选中(例如,超链接580的锚文本变灰,容器对象582显示在接触578下方和用户界面574的z层上方,并且容器对象582包括所选超链接580的锚文本的副本)。图5AF进一步示出,在一些实施方案中,与所选内容对应的可选选项菜单(例如,打开/复制/共享菜单584)显示在所选超链接580旁边。
图5AG至图5AH示出,根据接触578在触摸屏112上的移动,容器对象582在用户界面574上被拖动。用户界面574不可编辑,因此,在用户界面574中没有标识出用于容器对象582的允许放下位置(如图5AG所示)。一旦接触578移到用户界面576中,就为选定的超链接580识别可能的放下位置。例如,根据接触578的位置,将插入光标586显示在用户界面576的可编辑内容内的允许插入位置。预览对象584(例如,与所选超链接580对应的URL)显示在由插入光标586识别的允许插入位置处。在一些实施方案中,容器对象的外观改变(例如,变得更不透明)以指示正在显示放置操作的预览。
图5AI示出,当预览对象584显示在允许的插入位置时,检测到接触578的抬离;并且,响应于检测到接触578的抬离,将与所选超链接580对应的URL 588插入用户界面576中的可编辑内容中。响应于检测到接触578的抬离,超链接580不再被选中,并且恢复为其在用户界面574中的外观。
图5AJ示出一对接触590和592,其基本上同时被检测到(例如,时间差小于200ms)并且在用户界面576中的URL 596上方彼此接近(例如,间距小于0.5厘米)。响应于在URL596上方检测到这对接触590和592(并且没有施加触摸保持要求),URL 596被选中(例如,URL 596的文本变灰)。此外,包括所选URL的副本的容器对象598显示在这对接触590和592下方(例如,在用户界面576的z层上方的z层中)。在一些实施方案中,与所选内容(例如URL596的文本)对应的菜单594(例如,剪切/复制/查找菜单)显示在所选内容(例如URL 596)附近。
在图5AK中,这对接触590和592已经越过用户界面574和用户界面576之间的边界,并且位于用户界面574上方。由于用户界面574没有为所选内容596提供任何允许的放下位置,因此容器对象598看起来比以前更透明(例如,在图5AJ中),以指示没有当前用户界面中识别出允许的放下位置。
图AL至图AM示出,当这对接触590和592保持在用户界面574上方时(例如,当容器对象598悬停在用户界面574上方时),检测到用于使当前用户界面消失并显示主屏幕用户界面的输入(例如,接触599进行的归位手势(从设备底部边缘向上的滑动手势)或主按钮上的按压输入)。响应于该输入,用户界面574和596消失,并且在触摸屏112上显示主屏幕用户界面502,如图5AM所示。
在图5AM中,显示所选URL的另选表示(例如,Web剪辑图标598')来代替这对接触590和592下方的容器对象598。Web剪辑图标598'覆盖在主屏幕用户界面502上。在一些实施方案中,当这对接触590和592悬停在相同位置上方达阈值时间量时,显示放下操作的预览,例如,根据这对接触590和592的当前位置,在主屏幕用户界面502上允许的放下位置显示用于Web剪辑图标598'的预览对象597。
图5AN示出,在一些实施方案中,当在这对接触590和592拖动Web剪辑图标598'(例如,单个对象,而不是多个对象的集合)的同时检测到扩张手势时,该对象根据接触590和592彼此远离的相对移动而被放大。在一些实施方案中,Web剪辑图标598'包括与所选URL596对应的网页的缩略图像,使得当根据接触590和592进行的扩张手势来扩展Web剪辑图标598'时,该网页的内容可对于用户可见。
图5AO示出了检测到这对接触中的一个接触(例如,接触592)的抬离,并且Web剪辑图标598’保持在接触590下方。在一些实施方案中,一旦由这对接触(例如,接触590和592)选择了对象,则设备不需要在该对象的后续移动期间根据剩余接触的移动来保持这两个接触。图5AP示出,一旦检测到接触590的抬离,就将web剪辑图标598'放到主屏幕用户界面上的先前由预览对象597占用的允许的放下位置。在一些实施方案中,如果在接触590之前没有发生抬离接触592,则在同时检测到两个接触的抬离时web剪辑图标598’将被放到主屏幕用户界面上先前由预览对象597占据的允许的放下位置。
图5AQ至图5BD示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象)的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,包括图7A至图7J和图8A至图8F中的过程。为了便于解释,将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中,焦点选择器为任选地:相应手指或触笔接触、对应于手指或触笔接触的表示点(例如,相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而,响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触,任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图5AQ示出了互联网搜索应用程序的用户界面(例如,用户界面501)。已经执行搜索(例如,对“花”的图像搜索),并且已经识别出多个搜索结果(例如,图像503、505、507、509、511和513)并将其呈现在用户界面501中。
在图5AR中,一对接触517和519基本上同时被检测到(例如,时间差小于200ms)并且在用户界面501中的图像503上方彼此接近(例如,间距小于0.5厘米)。响应于检测到这对接触517和519,图像503被选中(例如,图像503的副本(例如,复制品515)显示在图像503的z层稍上方的z层处,并且图像503在其原始位置处变灰以指示图像503的选中状态)。
图5AS至图5AT示出了,当这对接触517和519保持在图像503上方(并且保持复制品515)时,在图像505上检测到第二对接触521和523进行的轻击输入(例如,第二对接触521和523基本上同时(例如,时间差小于200ms)被检测到并且在用户界面501中的图像505上方彼此接近(例如,间距小于0.5厘米),并且在第二对接触521和523保持超过阈值时间量T之前检测到这些接触的抬离)。响应于检测到这对接触521和523(在图5AS中),图像505被选中(例如,图像505的副本(例如,复制品525)显示在图像505的z层稍上方的z层处,并且图像505在其原始位置处变灰以指示图像505的选中状态),如图5AT所示。
图5AT至图5AU示出,在这对接触517和519的移动开始之前,分别在其对应的基础图像503和505附近显示复制品515和525。当检测到这对接触517和519的移动时,复制品515和525移动到这对接触517和519下方的放置位置,并形成由这对接触517和519拖动的集合。指示符(例如,具有对象计数“2”的徽章527)被显示在根据这对接触517和519的移动而拖动的复制品的集合上。
图5AV至图5AW示出,当复制品515和525的集合被这对接触517和519拖动时,第三对接触进行的轻击输入选择第三图像,并且所选的第三图像立即移动以加入该集合。在图5AS,当根据这对接触517和519的移动拖动复制品515和525的集合时,在图像507上方检测到第三对接触529和531进行的轻击输入(例如,第三对接触529和531基本上同时(例如,时间差小于200ms)被检测到并且在用户界面501中的图像507上方彼此接近(例如,间距小于0.5厘米),并且在第三对接触521和523保持超过阈值时间量T之前检测到这些接触的抬离)。响应于检测到这对接触529和531(在图5AV中),图像507被选中(例如,图像507的副本(例如,复制品533)显示在图像507的z层稍上方的z层处,并且图像507在其原始位置处变灰以指示图像507的选中状态),如图5AV所示。在显示复制品533之后,复制品533立即飞向这对接触517和519(处于运动中)并加入复制品515和525的集合,如图5AW所示。
图5AX至图5AY示出,当根据这对接触517和519的移动在显示器上拖动复制品515、525和533的集合时,检测到用于使当前用户界面消失并显示主屏幕用户界面的输入(例如,接触535进行的归位手势(从设备底部边缘向上的滑动手势)或机械主按钮、固态主按钮或虚拟主按钮上的按压输入)。响应于输入(例如,如图5AX所示),并且当这对接触517和519继续在显示器上拖动复制品515、525和533的集合时,用户界面501消失,并且主屏幕用户界面502显示在触摸屏112上(例如,如图5AY所示)。
图5AZ至图5BA示出,当根据这对接触517和519的移动将复制品515、525和533的集合在显示器上拖动时,在用于文本编辑器应用程序(例如“记事本”应用程序)的应用程序启动图标516上检测到接触537进行的轻击输入。响应于检测到该轻击输入,显示用于该文本编辑器应用程序的用户界面576(例如,如图5BA所示)。在图5BA中,当这对接触517和519继续移动并拖动复制品515、525和533的集合时,根据这对接触517和519的当前位置,在用户界面576所示的内容内的允许插入位置处显示插入光标545。在一些实施方案中,与复制品515、525和533对应的预览对象539、541和543显示在已经为这些复制品识别的允许插入位置处。在一些实施方案中,不显示预览对象539、541和543,并且插入光标545用于指示正被拖动的项目在参与该拖动操作的一个或多个接触(例如517和519)抬离时将被插入的插入位置。
图5BB至图5BC示出,当根据这对接触517和519的移动将复制品515、525和533的集合在显示器上拖动时,在触摸屏112上的用户界面576上方检测到接触547进行的向下轻扫输入。响应于检测到接触547进行的向下轻扫输入,设备滚动显示在用户界面547内的内容,使得该内容的不同部分在触摸屏上变得可见(例如,如图5BC所示)。在图5BC中,根据这对接触517和519的位置(例如,并且基于内容的当前在显示器上可见的部分),将插入光标545移动到了不同的允许插入位置,并且预览对象539、541和543已显示在内容中新识别的允许插入位置。
图5BC至图5BD示出,当预览对象539、541和543被显示在由插入光标545识别的插入位置处(在图BC中)时,检测到这对接触517和519的抬离,并且复制品515、525和533显示在该插入位置处并且成为用户界面576中所示内容的一部分(如图5BD所示)。如果响应于一个或多个后续输入(例如,归位手势,然后在与互联网浏览器应用程序对应的应用程序启动图标上的轻击输入)而重新显示用户界面501,则在用户界面501中停止选择图像503、505和507(未示出)。
图6A至图6W示出了根据一些实施方案的用于响应于触摸输入而与用户界面对象进行交互(例如,选择、拖放对象)的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,包括图9A至图9E中的过程。为了便于解释,将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中,焦点选择器为任选地:相应手指或触笔接触、对应于手指或触笔接触的表示点(例如,相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而,响应于在显示附图中示出的在显示器450上的用户界面以及焦点选择器时检测触敏表面451上的接触,任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图6A示出了文本编辑器应用程序的用户界面中的可选择、可编辑内容602(例如,在不同段落中和采用不同字体的可选择、可编辑文本)。
图6B至图6E示出了用于响应于一些与可选内容602的用户交互而选择该可选内容中的文本块的过程。在图6B至图6C中,在可选内容602中的第一位置处检测到接触604,并且在接触604在第一位置处保持阈值时间量T之后,在接触604下方显示选择对象606,并且在选择对象606内选择接触604下方的一部分文本(例如,一个单词)。当接触604移动时,选择对象606的一个边缘被接触604拖动,并且在选择对象606中选择的文本量增加,如图6D所示。在图6E中,检测到接触606的抬离,并且显示与所选文本对应的菜单608(例如,剪切/复制/查找菜单)。
图6F至图6I示出了用于启动针对所选文本的移动操作(例如,拖放操作)的过程。
在图6F中,在所选文本606上方的某个位置处检测到接触610(例如,在t=t3)。在图6G中,当接触610保持基本上固定达阈值时间量T时,所选文本606变灰,包括所选文本的副本的容器对象612被显示(例如,在所选文本606的z层上方的z层中)。在检测到接触610的移动之前,容器对象612处于相对于接触610的第一放置位置。例如,第一放置位置具有与所选文本606相同的x-y位置,但是被提升到不同的z层,从而在下方的用户界面上投射阴影。如图6G所示,容器对象612在所选文本的副本下方具有半透明的背景。
在图6G至图6I中,一旦接触610开始从其初始触摸位置移动,容器对象612就被动画化并且从所选文本的原始位置附近的第一放置位置移动(例如,如图6G所示)到在接触610下方的第二放置位置(例如,如图6I所示)。图6H示出了中间状态,在该状态下,容器对象612朝着第二放置位置移动(例如,其速度比接触610的移动速度快)。一旦将容器对象从第一放置位置移开,就显示插入光标614以指示如果在当前时刻检测到接触610的抬离,则用于插入所选文本的当前允许的插入位置。在图6I中,容器对象612位于相对于接触610的第二放置位置处,指示符(例如,三角形尖端616)显示在容器对象612的顶部边缘,在接触610正下方。在接触610的后续移动期间,三角形尖端616跟随接触610的移动,并保持在接触610正下方。
图6J至图6N示出,随着接触610继续在触摸屏112上移动,容器对象612被接触610拖动并且始终保持在相对于容器的第二放置位置处(例如,在接触610正下方)。此外,随着接触610在显示器上移动,三角形尖端616沿着容器对象612的顶部边缘移动,使得三角形尖端616始终保持在接触610正下方。图6J至图6N进一步示出,尽管容器对象612的移动和三角形指示符616的移动是平滑且连续的,并且与接触610在显示器上的平滑和连续移动相匹配,但是根据接触610的当前位置,插入光标614从一个允许的插入位置跳至下一允许的插入位置,并且跳过段落之间不包括用于所选文本的允许插入位置的空白。
图6N至图6O示出,检测到接触610的抬离,并且响应于检测到接触610的抬离,将所选文本606(例如,作为文本618)插入到由插入光标614(在图6N中)指示的位置处的可选内容602中,并从所选文本的原始位置移除。在该示例中,由于所选文本618的原始位置和放下位置在同一用户界面中,所以所选文本606移动(而不是复制)。在一些实施方案中,如果所选文本的原始位置和放下位置在不同的用户界面中,则所选文本将被复制到新位置,而不是被移动到新位置。
在图6G至图6N中,容器对象612具有与所选文本606基本上相同的形状和尺寸(例如,容器对象的宽度为底层内容的约一整行宽度,而容器对象的高度为底层内容的行高的约五倍)。包括在容器对象612中的所选文本的副本具有与在其原始位置的所选文本相同的字体大小和布局。当所选内容的量相对较小而且所选文本的完整尺寸副本不会在所选内容移动期间过度干扰用户对底层内容的查看时,将使用容器对象的这种配置。在一些实施方案中,当所选文本小于整行文本时(例如,在重排所选文本之后),调整容器对象的大小以使其适合所重排的所选文本,并且比底层内容的整个宽度窄。
图6P至图6T示出了用于移动大于图6G至图6N所示的所选内容的块(例如,所选文本620)的过程。在一些实施方案中,当所选文本的量大于阈值量时,为包括所选文本的容器对象使用不同的配置。
如图6P所示,在t=t3,在所选文本620上方检测到接触622。在图6Q中,当接触622保持固定至少阈值时间量T时,移动操作启动,并且容器对象624在所选文本620的原始z层上方的z层中显示在所选文本620的原始位置附近的第一放置位置。最初,容器对象624具有与所选文本620基本上相同的形状和大小,并且在包含在其中的所选文本副本下方具有半透明背景。一旦接触622开始在触摸屏112上移动,就会显示动画过渡,其显示容器对象624从相对于接触622的第一放置位置朝相对于接触622的第二放置位置(例如,在接触622正下方)移动,如图6Q至图6S所示。除了从第一放置位置移动到第二放置位置之外,该动画过渡还显示容器对象624的宽度和高度逐渐缩小,其中包含的所选内容副本的大小也逐渐缩小(例如,字体大小减小,并且在容器对象624内重排的文本或容器对象624以及其中包含的所选文本作为整体缩小到其原始大小的某个百分比)。在一些实施方案中,当容器对象624到达接触622下方的第二放置位置时,容器对象624被缩放到其初始大小的50%。在一些实施方案中,当容器对象624到达接触下方的第二放置位置时,容器对象624将已经被缩放到预定的阈值大小(例如,预定义的高度和/或宽度)。在一些实施方案中,当容器对象624围绕在其中选择该文本的应用程序视图移动时,其大小保持不变,并且容器对象624响应于导致该设备导航离开在其中选择该文本的应用程序视图的用户输入而减小大小(例如,通过响应于一个或多个用户输入诸如归位手势或激活主按钮导航到主屏幕或其他应用程序,或通过导航到该应用程序的不同视图(例如,导航到用于创建新内容项诸如新创建的备忘录或新创建的消息的用户界面,导航到与不同内容项对应的用户界面,该不同内容项诸如除从中创建所选文本的备忘录之外的现有备忘录,或除从中选择该文本的消息之外的草稿消息)。
在图6R中,一旦检测到接触622的移动,并且容器对象624移动远离第一放置位置,插入光标628就显示在与接触622的当前位置对应的允许插入位置(例如,所选文本的原始位置)。
在图6S中,容器对象624到达接触622下方的第二放置位置,指示符(例如,三角形尖端626显示在容器对象624的顶部边缘,在接触622正下方)。当接触622继续在触摸屏112上移动时,容器对象624根据接触622的移动被拖动,同时相对于接触622保持在第二放置位置处。插入光标628根据接触622的当前位置,在可编辑内容602内从一个允许的插入位置跳到下一允许的插入位置。在一些实施方案中,当检测到接触622的抬离时,将在插入光标628指示的位置处插入所选文本620,并且将所选文本620从其在可编辑内容602中的原始位置移除。
图6U至图6W示出了用于移动甚至比图6G至图6N和图6P至图6T所示的更大的所选内容的块(例如,所选文本632)的过程。在一些实施方案中,当所选文本的量大于第二阈值量时,第三配置用于包括所选文本的容器对象。
如图6U所示,已经在所选文本634上方检测到接触630,并且在开始接触630的移动之前,该接触已经保持固定至少阈值时间量T;并且响应于该移动,将最初显示在所选文本620的原始z层上方的z层上的所选文本634的原始位置附近的第一放置位置处的容器对象634移动到接触630下方的第二放置位置。最初,当容器对象634显示在相对于接触630的第一放置位置,容器对象634具有与所选文本632基本上相同的形状和大小,并且在包含在其中的所选文本副本下方具有半透明背景。一旦接触630开始在触摸屏112上移动,就会显示动画过渡,其显示容器对象634从相对于接触630的第一放置位置朝相对于接触630的第二放置位置(例如,在接触630正下方)移动。除了从第一放置位置移动到第二放置位置之外,该动画过渡还显示容器对象624的宽度和高度逐渐缩小,其中包含的所选内容副本的大小也逐渐缩小(例如,字体大小减小,并且在容器对象624内重排的文本或容器对象624以及其中包含的所选文本作为整体缩小到其原始大小的某个百分比)。在一些实施方案中,当容器对象624到达接触622下方的第二放置位置时,容器对象624被缩放到其初始宽度的50%,具有预定义高度。如图6U所示,容器对象中包括的文本从上到下逐渐淡出。在一些实施方案中,所选文本的副本的下部被省略并且在容器对象634中不可见。
在图6U中,在检测到接触630的移动之后,并且容器对象634移动远离第一放置位置,插入光标638就显示在与接触630的当前位置对应的允许插入位置(例如,所选文本的原始位置)。当容器对象634到达接触630下方的第二放置位置时,出现指示符(例如,三角形尖端636显示在容器对象634的顶部边缘,在接触630正下方)。
图6V至图6W示出,当接触630继续在触摸屏112上移动时,容器对象634根据接触630的移动被拖动,同时相对于接触630保持在第二放置位置处。插入光标638根据接触630的当前位置,在可编辑内容602内从一个允许的插入位置跳到下一允许的插入位置。尽管未示出,当检测到接触630的抬离时,将在插入光标638指示的位置处插入所选文本632,并且将所选文本632从其在可编辑内容602中的原始位置移除。
图7A至图7J是示出根据一些实施方案的方法700的流程图,该方法响应于触摸输入而与用户界面对象进行交互(例如,选择和移动对象,以及显示与所选对象对应的菜单)。方法700是在具有显示器和触敏表面的电子设备(例如,设备300,图3;或便携式多功能设备100,图1A)上执行的。在一些实施方案中,电子设备包括用于与检测触敏表面的接触的强度的一个或多个传感器。在一些实施方案中,该触敏表面和显示器整合成触敏显示器。在一些实施方案中,显示器是触摸屏显示器,并且触敏表面在显示器上或与显示器集成。在一些实施方案中,显示器与触敏表面是分开的。方法700中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
方法700涉及一种启发法,其用于确定是否显示用于用户界面对象的菜单和/或响应于接触在触敏表面上的移动来移动用户界面对象。具体地,当设备在触敏表面上的与用户界面对象对应的位置处检测到接触之后,设备确定该接触是否已经保持基本上固定(例如,以小于阈值量的移动的方式)至少阈值时间量。如果以小于阈值量的移动的方式在触敏表面上保持接触至少阈值时间量(例如,满足触摸保持要求),则设备显示与对象对应的菜单;并且如果接触保持基本上固定至少阈值时间量(例如,在满足触摸保持要求之后)并随后移动,则设备根据接触的移动来移动对象。因此,设备能够提供与用户界面对象相关联的附加控制选项(例如,显示该对象的菜单的选项和移动该对象的选项),而不会使其他显示的控件在该用户界面上乱放。可以利用相同的接触来选择菜单显示操作和对象移动操作(例如,根据在满足触摸保持要求之后是否检测到移动),而无需用户选择任何附加的用户界面控件。根据本文所述的方法提供附加的控制选项而不会使附加的显示控件在UI上乱放增强了设备的可操作性(例如,通过允许用户利用同一接触在两个控制选项之间做出决定,这减少了操作设备时的用户错误),并且使用户设备界面更有效(例如,通过帮助用户利用所需的输入实现预期成果,以及减少操作设备/与设备交互时的用户错误)。此外,响应于触摸输入和随后由相同接触进行的移动输入而提供附加的控制选项可以延长设备的寿命(例如通过消除因使用基于强度的输入或基于多个接触的输入而在触敏表面上产生的不必要的压力和摩擦,从而减少触敏表面的结构疲劳)。
方法700在具有显示器和触敏表面的设备(例如,充当显示器和触敏表面两者的触摸屏显示器)上执行。该设备在显示器上显示第一用户界面(例如,主屏幕、桌面小程序屏幕、桌面、应用程序的用户界面、两个(或更多个)同时显示的应用程序、浏览器用户界面、电子邮件用户界面、日历用户界面、表、电子表格、绘图画布、文本文档、在线购物车、地图等),其中第一用户界面在第一用户界面的第一位置处包括第一用户界面对象(例如图像、图标、所选文本、应用程序启动图标、文件、超链接、文件夹、控件、快捷方式图标、日历事件、电子邮件消息、通信项目、内容项目、桌面小程序、标贴、横幅、通知、数据项目、图形、公式、地图上的兴趣点等)(702)。当显示包括在第一用户界面中的第一位置处的第一用户界面对象的第一用户界面时,设备检测第一输入的第一部分,包括检测触敏表面上对应于(显示器上的)第一用户界面中的第一用户界面对象的位置处的第一接触(704)。(706)响应于检测到第一输入的第一部分:根据确定第一输入的第一部分满足菜单显示标准,设备在显示器上显示对应于第一用户界面对象的多个可选选项(例如,快速动作菜单或剪切/复制/粘贴/格式化菜单),其中菜单显示标准要求第一接触以小于阈值量的移动(例如,0.2mm、0.5mm、1mm、2mm、2.5mm或3mm)在触敏表面上保持超过第一阈值时间量(例如,长按压时间阈值)以便满足菜单显示标准(例如,当第一个接触保持基本上固定直到达到长按压时间阈值时,满足菜单显示标准)。这在图5A至图5E或图5F中示出,其中当接触526满足触摸保持要求时,显示快速动作菜单530。这也在图5AD至图5AF中示出,其中当接触578满足触摸保持要求时,显示菜单584。在一些实施方案中,菜单显示标准要求第一接触在第一输入的终止(例如,第一接触的抬离)被检测到之前以小于阈值量的移动(例如,0.2mm、0.5mm、1mm、2mm、2.5mm或3mm)在触敏表面上保持超过第一阈值时间量(例如,长按压时间阈值)以便满足菜单显示标准。在一些实施方案中,菜单显示标准要求检测到第一接触的抬离以便满足菜单显示标准,并且在检测到第一接触的抬离时显示该菜单。在一些实施方案中,菜单显示标准不要求为了满足菜单显示标准而检测到第一接触的抬离,并且在检测到已经过第一阈值时间量并且在第一阈值时间量(例如,从检测到第一接触以来的时间)过去之前第一接触进行了小于阈值量的移动时显示菜单。根据确定第一输入的第一部分满足对象移动标准,设备根据第一接触的第一移动(例如,在不滚动第一用户界面的情况下)将第一用户界面对象或其表示(例如,第一用户界面对象的缩小比例图像)从显示器上的第一位置移动到第二位置,其中对象移动标准要求第一接触以小于阈值量的移动在触敏表面上保持超过第一阈值时间量,并且在接触以小于阈值量的移动在触敏表面上保持超过第一阈值时间量之后,第一输入的第一部分包括第一接触在触敏表面上的大于阈值量移动的第一移动以便满足对象移动标准(例如,当第一接触在达到长按压时间阈值之后移动超过2mm时满足移动对象标准)。这在图5F至图5G中示出,其中在接触526满足触摸保持要求之后,图标504根据接触526的移动而移动。在一些实施方案中,在满足对象移动标准之前满足菜单显示标准,并且当满足对象移动标准时停止满足菜单显示标准。在一些实施方案中,当停止满足菜单显示标准时,如果在最初满足菜单显示标准时显示了菜单,则设备停止显示菜单。在一些实施方案中,双指移动可以立即开始拖动操作,而无需首先满足触摸保持要求。例如,这在图5T至图5U中示出,其中图标504被一对接触554和556拖动而该这对接触不满足触摸保持要求。当在触敏表面上与显示器上的第一用户界面对象对应的位置上检测到两个并发接触时,对象移动标准要求这两个并发接触进行大于阈值量的移动的第二量的移动,并且不要求这两个并发接触在进行第二量的移动之前以小于阈值量的移动在触敏表面上保持超过第一阈值时间量来满足对象移动标准(例如,当检测到两个并发接触的有意移动(例如,如根据超过阈值量的移动的移动量确定)时满足对象移动标准,无需考虑这两个接触是否首先在触敏表面上保持静止达第一阈值时间量)。下面参考方法800来描述使用预定义数量的接触(例如,两个接触)来发起拖动操作的示例。
在一些实施方案中,(708)响应于检测到第一输入的第一部分,根据确定第一输入的第一部分满足界面滚动标准,设备根据第一接触的第二移动滚动第一用户界面(作为一个整体),其中界面滚动标准要求第一输入的第一部分包括第一接触在触敏表面上的第二移动,该第二移动大于阈值量的移动并且在第一接触在触敏表面上保持超过第一阈值时间量之前检测到第二移动以便满足界面滚动标准(例如,当第一接触在满足长按压时间阈值之前移动超过2mm时满足界面滚动标准)。这在图5M至图5N中示出,其中在不首先满足触摸保持要求的情况下接触538的移动导致用户界面502被滚动(例如,由用户界面544代替)。基于是否满足某些条件(例如,在接触移动之前是否已检测到触摸保持输入)来提供附加的控制选项(例如,滚动界面)增强了设备的可操作性并且使用户设备界面更有效(例如,通过允许用户使用同一接触在三个控制选项之间做出决定,这减少了操作设备时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步延长了设备的电池寿命。
在一些实施方案中,(710)响应于检测到第一输入的第一部分,根据确定第一输入的第一部分满足对象激活标准,设备执行与第一用户界面对象对应的操作,包括停止显示第一用户界面,并显示与第一用户界面对象对应的第二用户界面(例如,第一用户界面对象是第一应用程序的应用程序启动图标,并且该操作是启动第一应用程序;第一用户界面对象代表内容项,并且该操作是打开并显示该内容项;或者第一用户界面对象是超链接,并且该操作是加载与该超链接对应的网页或其他资源等),其中对象激活标准要求在第一接触的终止(例如,第一接触的抬离)被检测到之前第一接触以小于阈值量的移动(例如,2mm)在触敏表面上保持少于第一阈值时间量(例如,长按压时间阈值)以便满足对象激活标准(例如,通过轻击输入满足对象激活标准)。例如,在图5A中的图标504上的轻击输入将导致主屏幕用户界面502被消息应用程序的用户界面代替。基于是否满足某些条件(例如,是否检测到轻击输入)来提供附加的控制选项(例如,激活用户界面对象)增强了设备的可操作性并且使用户设备界面更有效(例如,通过允许用户使用同一接触在多个控制选项之间做出决定,这减少了操作设备时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步延长了设备的电池寿命。
在一些实施方案中,(712)响应于检测到第一输入的第一部分:根据确定接触已经以小于阈值量的移动在触敏表面上保持超过第一阈值时间量,设备改变第一用户界面对象的外观(例如,将第一用户界面对象从第一用户界面对象的原始z层上抬离;放大第一用户界面对象,或者以其他方式指示对第一用户界面对象的选择,或者对用于根据预定义的启发法显示菜单或移动对象的模式激活)以指示第一接触已经以小于阈值量的移动保持超过第一阈值时间量。这在图5D和5F中示出,其中一旦接触526满足触摸保持要求,图标504就被提起。这也在图5AF中示出,其中超链接580的副本被提起,在用户界面574上留下了超链接580的重影。当在本说明书中提到对象的复制品、副本或表示时,该复制品、副本或表示也可以被认为是具有改变的外观的对象本身;并且在这种情况下,可以将保留在其原始位置的对象视为对象的复制品、副本或表示。在一些实施方案中,设备改变第一用户界面的外观(例如,使第一用户界面对象外部的区域模糊或变暗)以指示第一接触已经以小于阈值量的移动保持超过第一阈值时间量,并且用于根据预定义启发法显示菜单或移动对象的模式已激活。在一些实施方案中,提升动画由与应用程序无关的模块生成,该模块被多个不同的应用程序用来生成放下动画。指示对于某个用户界面对象已经满足用于激活控制选项的标准(例如,通过改变该用户界面对象的外观)为用户提供了关于设备内部状态的改善的视觉反馈。提供改善的反馈增强了设备的可操作性,并且使得用户-设备界面更有效(例如,通过帮助用户利用所需输入实现预期成果,以及减少操作设备/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(714)改变第一用户界面对象的外观以指示第一接触已经以小于阈值量的移动保持超过第一阈值时间量包括以下中一项或多项:减少第一用户界面对象的不透明度,增大第一用户界面对象的大小,改变第一用户界面对象相对于其中曾显示第一用户界面对象的用户界面的模拟z高度,或在第一用户界面对象后面显示阴影来指示第一用户界面对象与其中曾显示第一用户界面对象的用户界面的分离。例如,这在图5D、图5F、图5AF和图6G中示出。通过更改用户界面对象的外观提供改进的视觉反馈增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,满足菜单显示标准,在检测到第一接触的抬离之前显示多个可选选项(716)。例如,这在图5F和图5AF中示出。在一组条件已经被满足而不需要进一步的用户输入时执行操作(例如,显示菜单)增强了设备的可操作性,并且使用户设备界面更有效(例如,通过帮助用户利用所需输入实现预期成果,并减少操作设备/与设备进行交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(718)响应于检测到第一输入的第一部分:根据确定在接触已经以小于阈值量的移动在触敏表面上保持超过第一阈值时间量之后,并且第一输入的第一部分包括第一接触在触敏表面上的大于阈值量的移动的第一移动,设备停止显示与第一用户界面对象对应的多个可选选项。例如,这在图5F至图5G以及图5AF至图5AG中示出。在一些实施方案中,如果在满足对象移动标准之前检测到第一输入的终止(例如,第一接触的抬离),则设备在检测到第一输入的终止之后保持菜单的显示。停止显示一个控制选项(例如,菜单显示操作)的结果/进度以便在激活下一控制选项(例如,对象移动操作)时显示下一控制选项的结果/进度增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过减少用户混淆,以及减少操作设备/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,满足菜单显示标准,在检测到第一接触的抬离之后显示多个可选选项(720)。例如,这在图5E中示出。在完全探知用户显示菜单的意图之后显示菜单(例如,在检测到接触的抬离之后而未在触摸保持输入之后检测到移动)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过减少用户混淆,以及减少由于该混淆引起的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,满足对象移动标准,在检测到第一输入的终止之前,根据第一接触的第一移动,将第一用户界面对象从第一位置移动到第二位置(722)。例如,这在图5F至图5G中示出。例如,这在图5AF至图5AG中示出。在满足一组条件时执行操作(例如,在满足对象移动标准时移动对象)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需的输入来实现预期成果,减少执行操作所需的输入的数量,以及减少操作设备/与设备进行交互时的用户错误),这(例如,通过使用户能够更快速且更高效地使用设备)进一步延长了设备的电池寿命。
在一些实施方案中,(724)设备检测第一输入的终止,包括检测第一接触的抬离。响应于检测到第一输入的终止:根据确定第一输入已经满足对象移动标准并且第一用户界面对象在显示器上的当前位置(例如,显示器上的第二位置或显示器上的第三位置)对应于显示器上当前显示的用户界面中的允许放下位置(例如,第一用户界面中与第一用户界面中第一用户界面对象的初始位置不同的新位置,或第二用户界面中与第一用户界面不同的新位置),在第一输入终止之后,设备在显示器上当前显示的用户界面中的允许放下位置处显示第一用户界面对象或其副本。例如,这在图5R至图5S以及图5AF至图5AI中示出。根据移动的目的地是否被允许来执行移动操作增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需的输入来实现预期成果,以及减少操作设备/与设备进行交互时的用户错误),这(例如,通过使用户能够更快速且更高效地使用设备)进一步延长了设备的电池寿命。
在一些实施方案中,(726)响应于检测到第一输入的终止:根据确定第一输入已经满足对象移动标准并且第一用户界面对象在显示器上的当前位置不对应于显示器上当前显示的用户界面中的允许放下位置,设备提供视觉反馈以指示与第一用户界面对象对应的对象移动操作取消。在一些实施方案中,在第一输入终止之后,在第一位置处恢复第一用户界面对象(例如,显示动画,其示出第一用户界面对象在其在第一用户界面中的原始位置恢复)。在一些实施方案中,如果在检测到第一输入的终止时当前未显示第一用户界面,则提供视觉/音频/触觉反馈以指示对象移动操作取消,可选地不伴随示出第一用户界面对象在其在第一用户界面中的原始位置的恢复的动画。在一些实施方案中,放下动画由与应用程序无关的模块生成,该模块被多个不同的应用程序用来生成放下动画。根据移动的目的地是否被允许来取消移动操作增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需的输入来实现预期成果,以及减少操作设备/与设备进行交互时的用户错误),这(例如,通过使用户能够更快速且更高效地使用设备)进一步延长了设备的电池寿命。
在一些实施方案中,(728)在将第一用户界面对象或其表示从第一位置移动到第二位置时:根据确定第一输入已经满足对象移动标准并且显示器上的第一用户界面对象的当前位置(例如,显示器上的第二位置或显示器上的第三位置)对应于显示器上当前显示的用户界面中的允许放下位置,设备显示具有第一外观(例如,具有第一半透明级别)的第一用户界面对象或其表示;并且根据确定第一输入已经满足对象移动标准并且第一用户界面对象在显示器上的当前位置不对应于显示器上当前显示的用户界面中的允许放下位置,显示具有不同于第一外观的第二外观(例如,具有大于第一透明度级别的第二透明度级别)的第一用户界面或其表示。例如,这在图5J(例如,图标504和520是透明的以指示允许的放下位置不可用)和图5M中示出(例如,图标504和520是不透明的以指示已经识别了允许的放下位置)。例如,这也在图5AG(例如,超链接582是透明的以指示在用户界面574中不允许放下)和图5AH中示出(超链接582是不透明的以指示在用户界面576中允许放下)。在一些实施方案中,如果第一用户界面对象的当前位置不对应于当前显示的用户界面中的允许放下位置,则以小于第一透明度级别的第三透明度级别显示第一用户界面对象。提供改进的视觉反馈(例如,根据用户界面对象是否位于允许的放下位置附近来改变对象的外观)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提示用户允许的放下位置,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,显示器上的第二位置对应于第一用户界面内的第一用户界面对象的允许放下位置(730)。例如,在整体上滚动用户界面或不滚动用户界面的情况下,将第一用户界面对象移动到同一用户界面(例如,当前显示的应用程序的用户界面)中的另一个位置。例如,这在图6F至图6O中示出,其中将所选文本拖放到同一用户界面602内。在同一用户界面中提供有关对象是否位于允许的放下位置附近的视觉反馈增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提示用户允许的放下位置,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,显示器上的第二位置对应于第三用户界面中的允许放下位置,该第三用户界面是在检测到第一输入的第一部分时与第一用户界面同时显示在显示器上的(732)。例如,第一用户界面对象被移动到与显示器上的第一用户界面并排显示的用户界面中的另一位置。在一些实施方案中,两个同时显示的用户界面是两个不同应用程序的界面。例如,这在图5AD至图5AG中示出。在一些实施方案中,两个同时显示的用户界面是同一应用程序的界面。在一些实施方案中,在开始第一用户界面对象的移动之前,同时显示两个用户界面。在一些实施方案中,第三用户界面在第一用户界面对象的移动已经开始之后显示,例如,响应于不同接触进行的另一个用户输入,该输入启动新应用程序或打开相同应用程序的新用户界面。在同时显示的用户界面中提供有关对象是否位于允许的放下位置附近的视觉反馈增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提示用户允许的放下位置,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,显示器上的第二位置对应于第四用户界面中的允许放下位置,该第四用户界面在检测到第一输入的第一部分时不与第一用户界面同时显示在显示器上(734)。例如,第四用户界面在第一用户界面对象的移动已经开始之后显示,例如,响应于不同接触进行的另一个用户输入,该输入启动新应用程序或打开相同应用程序的新用户界面。这在图5M至图5O中示出,其中第二位置在用户界面544上,当第一次在图标504上检测到接触526时,不显示第二位置。这也在图5AJ至图5AP中示出,其中第二位置在用户界面502上,当第一次检测到接触590时,不显示第二位置。在新显示的用户界面中提供有关对象是否位于允许的放下位置附近的视觉反馈增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提示用户允许的放下位置,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,第一用户界面是第一应用程序的用户界面,并且显示器上的第二位置对应于与第一应用程序不同的第二应用程序的用户界面中的允许放下位置(736)。例如,第一应用程序的第一用户界面和第二应用程序的用户界面是同时显示的应用程序。例如,这在图5AD至图5AI中示出。又如,在第一应用程序关闭之后显示第二应用程序。又如,第二应用程序在第一应用程序关闭之前显示,并且在第一应用程序关闭之后保持显示。例如,这在图5AJ至图5AP中示出。在不同应用程序的用户界面中提供有关对象是否位于允许的放下位置附近的视觉反馈增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提示用户允许的放下位置,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,第二位置对应于第五用户界面中的允许的放下位置,并且第一用户界面和第五用户界面是第一应用程序的不同用户界面(738)。例如,,第一用户界面和第五用户界面是当检测到输入时同一应用程序的同时显示的用户界面。例如,这在图6G至图6O中示出。又如,在第一用户界面关闭之后显示第五用户界面。例如,这在图5M至图5O中示出。又如,第五用户界面在第一用户界面关闭之前显示,并且在第一用户界面关闭之后保持显示。在同一应用程序的不同用户界面中提供有关对象是否位于允许的放下位置附近的视觉反馈增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提示用户允许的放下位置,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(740)当显示器上的用户界面对象的当前位置(例如,第二位置)对应于显示器上当前显示的用户界面(例如,同一用户界面,同一应用程序或不同应用程序中同时显示的用户界面,同一应用程序或不同应用程序中新显示的用户界面)中的允许放置位置时,设备检测到输入的终止(例如,在第一接触的第一移动之后检测到第一接触的抬离)。响应于检测到第一输入的终止:根据确定当前显示的用户界面和第一用户界面是两个不同应用程序的界面:在第一输入终止之后,设备在显示器上当前显示的用户界面中的允许放下位置处显示第一用户界面对象的副本;并且在第一输入终止之后(例如,如果第一用户界面仍在显示器上显示),设备将第一用户界面对象保持在第一用户界面中的第一位置处。在一些实施方案中,如果在检测到输入的终止时不再显示第一用户界面,则当随后响应于另一个用户输入重新显示第一用户界面时,第一用户界面对象将显示在第一用户界面中的第一位置处。根据确定当前显示的用户界面和第一用户界面是通用应用程序的界面,在第一输入终止之后,设备在显示器上当前显示的用户界面中的允许放下位置显示第一用户界面对象,而不在第一输入终止后将第一用户界面对象保持在第一用户界面中的第一位置处(例如,如果第一用户界面仍在显示器上显示)。例如,如果在两个应用程序之间拖动第一用户界面对象,则该对象将被复制到第二应用程序中的新位置;并且如果将第一用户界面对象在同一应用程序内拖动,则该对象从原始位置移动到同一应用程序中的新位置。在一些实施方案中,如果在检测到输入的终止时不再显示第一用户界面,则当随后响应于另一个用户输入重新显示第一用户界面时,第一用户界面对象将不会显示在第一用户界面中的第一位置处。在图5A至图5S中,图标在主屏幕用户界面内从一个位置移动到另一位置(例如,主屏幕用户界面的两个页面)。在图5AD至图5AI中,超链接580从浏览器应用程序的用户界面574复制到文本编辑器应用程序的用户界面576。在图5AJ至图5AP中,URL 596从文本编辑器应用程序的用户界面576复制到主屏幕用户界面502。在图5AQ至图5BD中,图像503、505和507从搜索引擎应用程序的用户界面501复制到文本编辑器应用程序的用户界面576。基于预设条件并在不提示用户的情况下决定是移动还是复制对象(例如,根据对象的目的地是在同一应用程序中还是在不同应用程序中)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过减少执行复制或移动操作所需的输入的数量,以及减少与设备交互/操作设备时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(742)在保持第一接触时(例如,在第一输入终止之前),设备检测第二输入(例如,轻扫手势、轻击手势、按压输入等),包括检测触敏表面上的不同于触敏表面上的第一接触的第二接触。响应于检测到第二输入,设备执行与第二输入对应的操作,同时保持第一用户界面对象或其表示的显示,而不受该操作对第一用户界面的任何影响。在一些实施方案中,执行该操作包括以下至少一项:(1)滚动第一用户界面,(2)显示在检测到第一输入时未显示的相应用户界面,以及(3)利用该相应用户界面替换第一用户界面。例如,在一些实施方案中,当第一用户界面对象处于被第一接触移动的过程中时,设备继续检测其他接触进行的其他输入,诸如用以打开新应用程序的轻击输入,用以滚动用户界面的轻扫输入,用以使第一用户界面消失并显示主屏幕的主屏幕按钮按压或归位手势,用以缩放第一用户界面捏合或扩张手势,用以显示应用程序切换器用户界面的多任务手势后跟用以激活与应用程序切换器用户界面不同的应用程序的选择输入等。这在图5M至图5O中示出,其中检测到用以切换到主屏幕用户界面502到主屏幕用户界面544的轻扫输入。在图5AK至图5AM中,检测到接触599进行的归位手势以使用户界面576和574消失,并显示主屏幕用户界面502。在图5AX至图5AY中,检测到接触535进行的归位手势以使用户界面501消失并显示主屏幕用户界面502。在图5AY至图5BA中,检测到接触537进行轻击输入以启动文本编辑器应用程序并显示用户界面576。允许用户界面接受附加输入并执行与第一接触进行的移动操作无关的附加对应操作增强了设备的可操作性,并且使的用户设备界面更有效(例如,通过减少执行附加任务所需的输入的数量)。另外,启用附加操作使附加对象可用于加入所选对象并作为一组进行移动,并使附加用户界面可作为可能的放下位置,从而进一步增强设备的可操作性(例如,通过帮助用户利用所需的输入实现其他预期的结果,而不必等待第一个预期的结果完成,或者不必始终以固定的顺序执行一组必需的操作),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(744)在满足对象移动标准之后并且在检测到第一输入的终止之前,设备检测第三输入,包括检测在触敏表面上对应于当前显示的用户界面(例如,第一用户界面或同一应用程序或不同应用程序中的另一用户界面)中的第二用户界面对象(例如,第二用户界面对象为与第一用户界面对象相同的对象类型,或者第二用户界面对象为与第一用户界面对象不同的对象类型)的位置的第三接触,随后检测第三接触从触敏表面的抬离。响应于检测到第三输入:根据确定第三输入满足对象选择标准,设备将第二用户界面对象或其表示移动到显示器上对应于触敏表面上的第一接触的当前位置的相应位置(例如,第二用户界面对象或其表示朝向第一用户界面对象或其表示的当前位置移动并将其接合来作为第一接触正在移动的对象的集合),其中对象选择标准要求在检测到第三接触的抬离之前,第三接触以小于阈值量的移动(例如,2mm)在触敏表面上保持少于第一阈值时间量(例如,长按压时间阈值)以便满足对象选择标准(例如,通过在第二用户界面对象上的轻击输入来满足对象选择标准)。这在图5G至图5J中示出,其中图标520响应于接触532进行的轻击输入朝接触526移动。这也在图5V至图5Y中示出,其中图标520和522分别响应于两个双指轻击输入朝接触554和556移动。这在图5AQ至图5AW中进一步示出,其中图像505和507(或其复制品)分别响应于两个双指轻击输入朝接触517和519移动。在一些实施方案中,关于在检测到第三接触的抬离时是将第二用户界面对象添加到集合中还是丢弃第二用户界面对象的决定取决于第二用户界面对象是否足够接近第一用户界面对象(例如,如果第二用户界面对象正在触摸或重叠在第一用户界面对象上,或者第二用户界面对象在第一用户界面对象的预定义距离之内,则将第二用户界面对象添加到集合中;如果不满足条件,则不添加第二用户界面对象),或者第三接触是否足够接近第一接触(例如,如果第三接触在第一接触的预定义距离内,则将第二用户界面对象添加到集合中;如果不满足条件,则不添加第二用户界面对象)。为用户提供用以在初始对象仍被选中的同时将附加对象添加到具有初始选中的对象的集合中的选项使得用户设备界面更有效(例如,通过减少选择多个对象并在每个对象上执行类似任务所需的输入数量,从而帮助用户利用所需的输入执行多项操作,而不必等待第一项操作完成,或者不需要始终按固定顺序执行操作(例如,选择所有对象然后移动)),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(746)在将第二用户界面对象或其表示移动到显示器上的对应于触敏表面上的第一接触的当前位置的相应位置之后,设备检测第一输入的第二部分,包括检测第一接触从触敏表面上的第三位置到第四位置的第三移动。响应于检测到第一输入的第二部分,设备根据第一接触的第三移动在显示器上移动第二用户界面对象和第一用户界面对象。这在图5G至图5K中示出,其中图标520和图标502与接触526作为集合一起移动。这也在图5V至图5Z中示出,其中图标504、520和522与接触554和556作为集合一起移动。这在图5AQ至图5AX中进一步示出,其中图像503、505和507(或其复制品)与接触517和519作为集合一起移动。为用户提供用以在初始对象仍被选中的同时将附加对象添加到具有初始选中的对象的集合中的选项并且进一步允许用户将对象作为集合同时移动使得用户设备界面更有效(例如,通过减少选择多个对象并在每个对象上执行类似任务所需的输入数量),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(748)在将第二用户界面对象或其表示移动到显示器上的对应于触敏表面上的第一接触的当前位置的相应位置之后:设备将第一用户界面对象或其表示的显示以及第二用户界面对象或其表示的显示合并为对象集合(例如,与第一接触作为一组移动的对象堆栈)的表示。当在显示器上显示对象集合时,设备检测第四输入,包括检测触敏表面上的与显示器上对象集合对应的位置处的扩张手势(例如,两个移动远离彼此的并发接触)。在一些实施方案中,检测扩张手势包括在保持第一接触的同时检测第二接触,以及检测第一接触与第二接触之间的相对移动。响应于检测到第四输入,设备扩展对象集合的表示以分别显示第一用户界面对象或其表示和第二用户界面对象或其表示(例如,响应于在对象堆栈上检测到的扩张手势,对象堆栈扩展成单独的对象)。例如,这在图5P至图5Q中示出。在一些实施方案中,如果使用两个并发的接触来激活移动操作(例如,在不要求将这两个并发接触以小于阈值量的移动在第一用户界面对象的位置处保持至少阈值时间量),在保持触敏表面上的这两个并发接触的同时轻击其他对象(例如,使用单个接触或两个其他并发接触)会导致所述其他对象接合第一用户界面对象作为集合。在这两个并发接触的后续移动期间,设备根据确定这两个接触的移动基本上共线(例如,沿相同方向的平行和同步移动)来整体上移动对象集合;设备根据确定这两个接触的移动是否相对于彼此(例如,如在扩张手势中那样),将该集合扩展以显露其组成对象。为用户提供在移动操作期间查看集合中对象的选项(例如,通过展开集合以单独显示每个对象)改善了设备的可操作性,并使得用户设备界面更有效(例如,通过帮助用户提供适当的输入,以及通过允许用户在不完成或取消操作的情况下查看当前操作的状态),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,第一用户界面对象是与第一应用程序对应的第一应用程序启动图标,并且其中第一用户界面是主屏幕用户界面,其包括与多个不同的应用程序(包括第一应用程序)对应的多个应用程序启动图标(750)。例如,这在图5A至图5C中示出。提供附加控制选项(例如,激活应用程序启动图标)而不会使附加的显示控件在UI上乱放增强了设备的可操作性(例如,通过允许用户利用同一接触在多个控制选项之间做出决定,这减少了操作设备时的用户错误),并延长了设备的寿命(例如通过消除因多个接触在触敏表面上产生的不必要的压力和摩擦,从而减少触敏表面的结构疲劳)。
在一些实施方案中,响应于检测到第一输入的第一部分:根据确定第一输入的第一部分满足对象移动标准,设备激活界面重新配置模式,其中在在界面重新配置模式下,多个应用程序图标中的相应应用程序启动图标能够通过指向相应应用程序启动图标的拖动输入来重新定位,而无需拖动输入满足对象移动标准(例如,在界面重新配置模式下,可以移动接触所触摸的相应应用程序启动图标,而无需接触在移动之前保持固定达长按压时间阈值)(752)。例如,这在图5A至图5G中示出。例如,这在图5T至图5Y中示出。在满足对象移动标准时提供附加控制选项(例如,激活重新配置模式)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过利用同一输入激活多个相关操作,减少了执行界面重新配置操作所需的输入数量),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,响应于检测到第一输入的第一部分:根据确定第一输入的第一部分满足界面重新配置标准,设备激活界面重新配置模式(754),其中在界面重新配置下,多个应用程序图标中的相应应用程序启动图标能够由拖动输入来重新定位,而无需拖动输入满足对象移动标准(例如,可以移动该接触所触摸的相应应用程序启动图标,而无需该接触在移动之前保持固定达长按压时间阈值),其中界面重新配置标准要求在检测到第一输入的终止(例如,第一接触的抬离)之前,第一接触以小于阈值量的移动(例如,2mm)在触敏表面上保持超过第二阈值时间量(例如,第二阈值时间量是扩增的长按压时间阈值)以便满足界面重新配置标准(例如,第一接触在达到扩增的长压按时间阈值之前基本上保持固定时满足接口重新配置标准),第二阈值时间量大于第一阈值时间量。在一些实施方案中,至少有两种方式来激活界面重新配置模式(例如,主屏幕用户界面的抖动删除模式),包括(1)在第一用户界面对象上触摸并保持第一阈值时间量T1,然后将第一用户界面对象拖离其原始位置,以及(2)在第一用户界面对象上触摸并保持大于T1的第二阈值时间量T2。基于接触是否基本上保持固定达第二阈值时间量来提供附加控制选项(例如,激活重新配置模式)增强了设备的可操作性,并使得用户设备界面更有效(例如,允许用户使用同一接触在多个控制选项之间做出决定,这减少了操作设备时的用户错误),从而进一步延长了设备的寿命(例如,通过消除由于基于强度的对激活重新配置模式的要求而在触敏表面上产生的不必要的压力,从而降低了触敏表面的结构疲劳)。
在一些实施方案中,第一用户界面包括第一内容,并且第一用户界面对象是被选择的内容,所述被选择的内容是第一用户界面中第一内容的被选择的部分(756)。例如,这在图6A至图6W中示出,其中第一用户界面对象是所选的文本。选择内容的一部分,显示与选择有关的菜单和/或基于满足不同条件的输入来移动所选内容增强了设备的可操作性,并使的用户设备界面更高效(例如,例如,允许用户使用同一接触在多个控制选项之间做出决定,这减少了操作设备时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(758)显示器和触敏表面被集成在触摸屏显示器中,并且根据第一接触的第一移动将第一用户界面对象或其表示从显示器上的第一位置移动到第二位置包括:在触摸屏显示器上的容器对象中显示被选择的内容的至少一部分的副本(例如,所选文本从第一用户界面抬离并在半透明或半透明的拼盘中显示,将所选文本的重影保留在第一用户界面中);并且根据第一接触的第一移动在显示器上移动包含被选择的内容的至少一部分的副本的容器对象,包括在第一接触的第一移动期间相对于第一接触的特征位置保持容器对象的预定义放置位置(例如,第一接触的质心或顶点,或第一接触的其他动态确定的特征位置)(例如,使得在第一接触的第一移动期间,容器对象的预定义区域(例如,容器对象的顶部边缘)将移动到触敏表面上的第一接触并保持在其稍下方或保持在第一接触处(例如,容器对象的顶部边缘的中心与触摸屏上第一接触的顶点或质心对准)。这在图6A至图6W中示出,其中所选文本(或其副本)(例如,所选文本606或容器对象612;所选文本620或容器对象624;所选文本632或容器对象634)向下移动到接触(例如,分别为接触610、622、630)下方。在一些实施方案中,容器对象的预定义区域由视觉指示器(例如,当容器对象首先移动到预定义放置位置时,在容器对象的顶部中心处的尖头)指示。当所选内容被接触拖动时(例如,通过移动所选内容的一部分的副本,同时保持该内容相对于该接触的预定义放置位置)防止所选内容遮挡可能的插入位置(例如,接触附近的位置)增强了设备的可操作性,并使得用户设备界面更有效(例如,通过允许用户在移动操作期间更好地查看用户界面,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,在容器对象中显示被选择的内容的至少一部分的副本包括根据预定义的缩放约束调整容器对象和被选择的内容的至少一部分的副本的大小(例如,缩放所选文本以适合预定义大小的容器对象,仅显示所选文本的适合预定义大小的容器对象的一部分,或按预定义比例缩放所选文本,并仅显示缩放文本的适合预定义大小的容器对象的一部分)(760)。例如,这在图6Q至图6S中示出。在一些实施方案中,当所选文本只有一部分可以适合预定大小的容器对象时,容器对象的底部部分和在容器对象的底部部分内显示的文本被显示为变淡样和/或比容器对象的顶部部分和在容器对象顶部部分内显示的文本更加半透明。例如,这在图6U中示出。当所选对象被接触拖动时(例如,通过移动所选内容的一部分的副本,并根据缩放常数缩放该副本)防止所选对象遮挡可能的插入位置增强了设备的可操作性,并使得用户设备界面更有效(例如,通过允许用户在输入期间更好地查看用户界面,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(762)第一用户界面对象是到第一内容(例如,网页、媒体文件、文件、文档、电子书等)的超链接(例如,URL、书签等),显示器上的第二位置对应于主屏幕用户界面上的位置(例如,在拾取第一用户界面对象之前已与第一用户界面同时显示主屏幕用户界面,或者在拾取第一用户界面对象之后以及在第一用户界面被其他输入清除之后显示主屏幕用户界面)。设备检测第一输入的终止,包括检测第一接触的抬离。响应于检测到第一输入的终止,设备在主屏幕用户界面上显示第一内容的表示(例如,超链接的图标),其中激活第一内容的表示(例如,轻击超链接的图标)导致在显示器上显示第一内容(例如,网页、媒体文件、文档、电子书等)。例如,这在图5AI至图5AP中示出,其中URL596作为web剪辑598’被放到主屏幕用户界面502上。选择超链接并将其复制到主屏幕上的可以更轻松地激活该超链接的位置增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过减少打开链接内容所需的输入数量,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
应当理解,对图7A至图7J中的操作进行描述的特定次序仅仅是示例性的,并非旨在表明所述顺序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文关于本文所述的其他方法(例如,方法800和方法900)描述的其他过程的细节同样以类似的方式适用于上文关于图7A至图7J描述的方法700。例如,上文参考方法700所描述的接触、手势、用户界面对象、时间阈值、焦点选择器和/或动画任选地具有本文参考本文所述的其他方法(例如,方法800和900)所描述的接触、手势、用户界面对象、时间阈值、焦点选择器和/或动画的特征中的一个或多个。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如为通用处理器(例如,如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图7A至图7J所述的操作可选地由图1A至图1B中所描绘的部件来实现。例如,检测操作704和移动操作706任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触,并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件,诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时,事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些示例中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图8A至图8F是示出根据一些实施方案的方法800的流程图,该方法响应于触摸输入而与用户界面对象进行交互(例如,选择和移动对象,以及显示与所选对象对应的菜单)。方法800是在具有显示器和触敏表面的电子设备(例如,设备300,图3;或便携式多功能设备100,图1A)上执行的。在一些实施方案中,电子设备包括用于与检测触敏表面的接触的强度的一个或多个传感器。在一些实施方案中,该触敏表面和显示器整合成触敏显示器。在一些实施方案中,显示器是触摸屏显示器,并且触敏表面在显示器上或与显示器集成。在一些实施方案中,显示器与触敏表面是分开的。方法800中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
方法800涉及提供基于手势中使用的接触的数量来触发用于用户界面对象的移动操作的两个另选手势。具体地,当检测到第一数量的接触(例如,两个接触)时,通过第二数量的接触的移动来触发移动操作,而不需要第二数量的接触保持基本上固定达第一阈值时间量(例如,在接触移动之前没有轻击保持要求)。当检测到第二数量的接触(例如,单个接触)时,设备要求在第一数量的接触的后续移动触发移动操作之前,第一数量的接触保持基本上固定至少第一阈值时间量(例如,需要轻击保持)。此外,在没有初始固定时间段(例如,没有触摸保持)的情况下,第一数量的接触的移动可选地被保留用于触发其他操作。提供前述基于输入中的接触数量以及是否满足初始触摸保持要求两者的控制选项增强了设备的可操作性,并使得用户设备界面更有效(例如,通过减少用户界面中完成不同控制选项所需的控制示能表示的数量,并允许多种另选方式来触发相同的操作),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
方法800在具有显示器和触敏表面的设备(例如,充当显示器和触敏表面两者的触摸屏显示器)上执行。该设备在显示器上显示第一用户界面(例如,主屏幕、桌面小程序屏幕、桌面、应用程序的用户界面、两个(或更多个)同时显示的应用程序、浏览器用户界面、电子邮件用户界面、日历用户界面、表、电子表格、绘图画布、文本文档、在线购物车、地图等),其中第一用户界面在第一用户界面的第一位置处包括第一用户界面对象(例如图像、图标、所选文本、应用程序启动图标、文件、超链接、文件夹、控件、快捷方式图标、日历事件、电子邮件消息、通信项目、内容项目、桌面小程序、标贴、横幅、通知、数据项目、图形、公式、地图上的兴趣点等)(802)。(804)在显示包括第一用户界面对象的第一用户界面时,设备检测第一输入,第一输入包括第一输入的第一部分和第一输入的第二部分,其中检测输入的第一部分包括检测触敏表面上对应于(显示器上)第一用户界面中的第一用户界面对象的位置处的一个或多个第一接触,检测第一输入的第二部分包括检测一个或多个第一接触在触敏表面上的第一移动,其中在检测到第一输入的第一部分时,第一用户界面对象显示在第一用户界面中的第一位置处。(806)响应于检测到第一输入:根据确定,在已经在触摸屏上的位置检测到以少于阈值量的移动(例如,2mm)保持第一阈值时间量(例如,长按压时间阈值)的一个或多个第一接触之前,检测到第一输入的第二部分(例如,接触的第一移动)(例如,根据确定在检测到一个或多个第一接触的第一移动之前,一个或多个第一接触在触摸屏上的第一用户界面对象上已保持基本上固定达第一阈值时间量):根据确定第一输入具有第一预定义数量的接触(例如,两个接触)(并且可选地,在彼此的阈值距离(例如,两个接触相隔不超过1厘米)内检测到第一预定义数量的接触),设备根据第一输入的第二部分(例如,两个接触在相同方向上的同步和平行移动)将第一用户界面对象或其表示相对于第一用户界面拖动(例如,在第一用户界面上拖动第一用户界面对象,而无需滚动第一用户界面);并且根据确定第一输入具有第二预定义数量的接触(例如,单个接触),设备放弃根据第一输入的第二部分将第一用户界面对象或其表示(例如,第一用户界面的缩小比例图像)相对于第一用户界面拖动(例如,作为代替,滚动第一用户界面);并且根据确定在已经在触敏表面上的位置处检测到以少于阈值量的移动保持至少第一阈值时间量的一个或多个第一接触之后检测到第一输入的第二部分(例如,接触的第一移动)(根据确定一个或多个第一接触当在触摸屏上的第一用户界面对象上保持基本上固定第一阈值时间量之后移动),设备根据第一输入的第二部分(例如,不考虑第一输入是具有第一预定义数量的接触还是第二预定义数量的接触)将第一用户界面对象或其表示(例如,第一用户界面对象的缩小比例图像)相对于第一用户界面拖动(例如,在第一用户界面上拖动第一用户界面对象,而无需滚动第一用户界面)。这在图5A至图5G中示出,其中需要图标504上的单个接触526满足触摸保持要求以便在显示器上拖动图标504或其副本;并且在图5T至图5U中示出,其中一对接触554和556在不首先满足触摸保持要求的情况下在显示器上拖动图标504或其副本;并且在图5M至图5O中示出,其中单个接触538不满足触摸保持要求,并且单个接触538的移动导致主屏幕用户界面502滚动并被另一个主屏幕用户界面544代替。这也在图5AQ至图5AU中示出,其中当根据一对接触517和519的移动将图标503或其副本515在显示器上拖动时,不要求这对接触517和519的触摸保持。
在一些实施方案中,(808)在根据第一输入的第二部分(例如,通过第一输入的单个接触或通过第一输入的两个并发接触)并且在检测到第一输入的终止之前将第一用户界面对象或其表示拖动到显示器上的第二位置(例如,显示器上的第二位置可以在第一用户界面内,或在与第一用户界面同时显示的其他用户界面中,或在根据第一输入的第二部分将第一用户界面对象拖动之后替换第一用户界面的显示的不同用户界面中)之后,设备检测显示器上的第二输入,包括检测在触敏表面上与不同于第一用户界面对象的第二用户界面对象(例如,第一用户界面或另一个用户界面中的对象)对应的位置处的一个或多个第二接触。响应于检测到第二输入:根据确定第二输入满足对象选择标准,设备选择第二用户界面对象(例如,选择第二用户界面对象包括将第二用户界面对象从显示它的用户界面上抬离,和/或将第二用户界面对象或其表示移动到显示器上的与触敏表面上一个或多个第一接触的当前位置对应的相应位置),其中对象选择标准要求第二输入具有第一预定义数量的接触(例如,两个接触),在检测到一个或多个第二接触的抬离之前,一个或多个第二接触以少于阈值量的移动(例如,2mm)在触敏表面上保持少于第一阈值时间量(例如长按压时间阈值)以便满足对象选择标准(例如,第二用户界面对象上的双指轻击输入满足对象选择标准)。在一些实施方案中,当第一用户界面对象被第一输入的一个或多个第一接触保持提起时,如果由在这些附加对象上的双指轻击选择显示器上显示的一个或多个附加对象,则这些附加对象从显示附加对象的用户界面上提起,并飞到第一用户界面对象以形成根据一个或多个第一接触的后续移动一起移动的对象集合。这在图5T至图5Z中示出,其中在根据这对接触554和556的移动开始504的运动之后,由两对接触558和560以及562和564进行的双指轻击输入引起图标520和522被选中,并且在接触554和556的附加移动之后,图标520和522移动以接合图标504,形成根据接触554和556的后续移动的集合。这在图5AU至图5AW中进一步示出,其中图像507响应于接触529和531进行的双指轻击输入而被选中,而其他图像被接触517和519拖动,新选择的图像507或其复制品接合已选中的图像以与接触517和519一起移动。在一些实施方案中,附加对象彼此之间以及与第一用户界面对象具有不同的对象类型(例如,它们是与不同的应用程序对应的对象)。在一些实施方案中,只有具有相同对象类型的对象(例如,对象类型包括应用程序启动图标、媒体内容、文档、地址簿联系人、URL等)。在一些实施方案中,如果一个或多个第二接触满足拖动输入的要求,而不是被添加到第一拖动中,则将第二用户界面对象作为第二拖动会话的一部分与第一用户界面对象分开地拖动。提供用于可选地在移动操作已经开始之后将附加对象添加到所选对象以形成集合的手势增强了设备的可操作性,并使得用户设备界面更有效(例如,通过减少移动多个对象所需的输入数量,并允许用户更改移动操作已经开始之后移动的对象数量),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,选择第二用户界面对象包括改变第二用户界面对象的外观以指示第二用户界面对象处于被选中状态(例如,将第一用户界面对象从第一用户界面对象的原始z层上抬离;放大第一用户界面对象,或以其他方式指示对第一用户界面对象的选择或对用于根据预定义的启发法显示菜单或移动对象的模式的激活)(810)。例如,这在图5V至图5X(例如,图标520和522)以及图5AV(例如,图像507)中示出。提供改进的视觉反馈(例如,更改新选择的对象的外观)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(812)当第二用户界面对象被选中时,设备检测第一输入的第三部分,包括检测一个或多个第一接触的第二移动;并且响应于检测到第一输入的第三部分:设备将第二用户界面对象或其表示移动到显示器上的对应于触敏表面上一个或多个第一接触的当前位置的相应位置;并且设备根据第一输入的第三部分将第一用户界面对象和第二用户界面对象作为集合移动(例如,第二用户界面对象或其表示朝向第一用户界面对象或其表示的当前位置移动,并接合第一用户界面对象来作为由一个或多个第一接触所移动的对象的集合将)。这在图5H至图5J、图5V至图5Z、图5AR至图5AU以及图5AV至图5AW中示出,其中在选择第二对象之后移动第一对象时,将启动第二对象的移动。提供单独的视觉反馈来指示集合的形成以及集合的后续移动增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化,以及减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(814)第一输入具有第一预定义数量的接触(例如,两个接触),检测第一输入还包括检测第一输入的第四部分(例如,在第二用户界面对象已接合集合中的第一用户界面对象之后),包括检测第一输入的第一预定义数量的接触中的至少两个之间的第一相对移动(例如,检测这两个接触进行的扩张手势(例如,在这两个接触的将该集合作为整体拖动的移动之后))。响应于检测到第一输入的第四部分,设备根据第一输入的第四部分从第二用户界面对象扩展第一用户界面对象(例如,根据第一输入的两个接触进行的扩张手势来扩展集合中的对象,使得集合中的构成对象可以单独显示,并且不会相互遮挡或分散,这样随着接触之间的距离增加,构成对象之间的重叠减少)。例如,这在图5P至图5R中示出。提供用于查看已作为集合的一部分移动的多个对象的手势提供了改善的视觉反馈,这使得用户设备界面更有效(例如,通过帮助用户利用所需的输入来实现预期成果,以及减少操作设备/与设备进行交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,选择第二用户界面对象包括将第二用户界面对象或其表示移动到显示器上的对应于触敏表面上的一个或多个第一接触的当前位置的相应位置(例如,第二用户界面对象或其表示朝向第一用户界面对象或其表示的当前位置移动,并接合第一用户界面对象来作为由第一输入的一个或多个第一接触所移动的对象的集合)(816)。提供用于将第二对象添加到包括第一对象的集合中的手势(例如,通过将第二对象移动到第一对象的位置)增强了设备的可操作性,并使得用户设备界面更有效(例如,通过帮助用户利用所需的输入来实现预期成果,以及减少操作设备/与设备进行交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,响应于检测到第二输入:根据确定第二输入满足对象激活标准,设备显示与第二用户界面对象对应的用户界面或内容(例如,启动与第二用户界面对象对应的应用程序(例如,当第二用户界面对象是应用程序启动图标时),和/或显示与第二用户界面对象对应的内容(例如,网页、视频、文档等)(例如,当第二用户界面对象是Web剪辑、快捷方式、链接、书签、文件图标等时))(818),其中对象激活标准要求第二输入具有第二预定义数量的接触(例如,单个接触),在检测到一个或多个第二接触的抬离之前,一个或多个第二接触以少于阈值量的移动(例如,2mm)在触敏表面上保持少于第一阈值时间量(例如长按压时间阈值)以便满足对象激活标准(例如,第二用户界面对象上的单指轻击输入满足对象激活标准)。这在图5AY至图5BA中示出,其中当图像复制品515、525和533由接触517和519拖动时,图标516上的接触537进行的轻击输入使对应于记事本应用程序的文本编辑器用户界面576显示。在第一对象保持选中的同时为第二对象提供附加控制选项(例如,激活第二对象以显示与第二对象对应的用户界面或内容)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过提供附加功能和控制功能,而无需取消初始移动操作),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(820)响应于检测到第一输入:根据确定在已经在触敏表面上的位置处检测到以不超过阈值量的移动保持至少第一阈值时间量的一个或多个第一接触之后检测到第一输入的第二部分(例如,接触的第一移动)(例如,根据确定一个或多个第一接触当在触摸屏上的第一用户界面对象上保持基本上固定达至少第一阈值时间量之后移动):根据确定第一输入包括第二预定义数量的接触(例如,单个接触),设备在已经在触敏表面上的位置处检测到以不超过阈值量的移动保持至少第一阈值时间量的一个或多个第一接触之后(例如,当在单个接触移动之前检测到单指长按压时)显示对应于第一用户界面对象的多个可选选项(例如,显示快速动作菜单或剪切/复制/粘贴/格式化菜单)。这在图5A至图5E和图5F,以及图5AD至图5AF中示出。在一些实施方案中,当检测到第一接触的移动时,多个可选选项停止显示。根据确定第一输入包括第一预定义数量的接触(例如,两个接触),设备放弃显示与第一用户界面对象对应的多个可选选项。上文参考方法700描述了在已经在触敏表面上的位置处检测到以不超过阈值量的移动保持至少第一阈值时间量的一个或多个第一接触之后显示包括多个可选选项的菜单的示例。提供针对对象的附加控制选项(例如,在开始移动操作之前显示菜单)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过在检测到输入完成之前和在完全确定用户意图之前提供附加功能和控制功能),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(822)响应于检测到第一输入:根据确定第一输入包括第二预定义数量的接触(例如,单个接触),设备在已经在触敏表面上的位置处检测到以不超过阈值量的移动保持至少第一阈值时间量的一个或多个第一接触之后(例如,当在单个接触移动之前检测到单指长按压时)改变第一用户界面对象的外观(例如,将第一用户界面对象从第一用户界面对象的原始z层上抬离;放大第一用户界面对象,或者以其他方式指示对第一用户界面对象的选择,或者对用于根据预定义的启发法显示菜单或移动对象的模式的激活)。例如,这在图5B至图5D、图5H至图5I、图5AE至图5AF中示出。在一些实施方案中,当未检测到第一接触的移动时,在抬离单个第一接触时显示多个可选选项。响应于检测到第一输入:根据确定第一输入包括第一预定义数量的接触(例如,两个接触),设备改变第一用户界面对象的外观(例如,将第一用户界面对象从第一用户界面对象的原始z层上抬离;放大第一用户界面对象,或者以其他方式指示对第一用户界面对象的选择,或者对用于根据预定义的启发法移动对象的模式的激活),而无需等待直到一个或多个第一接触保持至少第一阈值时间量(例如,当双指在触摸屏上第一用户界面对象上按下时,第一用户界面对象立即从用户界面上抬离)。例如,这在图5T、图5V至图5X、图5AI至图5AJ、图5AR至图5AT和图5AV中示出。在一些实施方案中,在两个第一接触抬离时,菜单(例如,快速动作菜单或剪切/复制/粘贴/格式化菜单)停止显示。选中对象后改变其外观(例如,以两种可能的方式之一进行选择)提供了改善的反馈,这增强了设备的可操作性(例如,通过提供对象已被选中的视觉确认),并使得用户设备界面更有效(例如,通过帮助用户利用所需的输入来实现预期成果,以及减少操作设备/与设备进行交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,响应于检测到第一输入:根据确定在已经在触敏表面上的位置处检测到以不超过阈值量的移动(例如,2mm)保持至少第一阈值时间量(例如,长按压时间阈值)的一个或多个第一接触之前检测到第一输入的第二部分(例如,接触的第一移动)(例如,在满足长按压时间阈值之前,第一接触移动超过2mm),设备根据第一输入的第二部分滚动第一用户界面(例如,作为整体)(824)。例如,这在图5M至图5O(例如,接触538进行的轻扫输入滚动用户界面502)和图5BB至图5BC(例如,接触547进行的轻扫输入滚动用户界面576)中示出。在第二数量的接触不满足触摸保持要求的情况下,在移动发生时滚动用户界面增强了设备的可操作性,并使得用户设备界面更有效(例如,通过提供附加控制选项而不会使附加显示控件在UI上乱放,减少滚动用户界面所需的输入数量,以及减少操作设备/与设备进行交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(826)根据第一输入的第二部分拖动第一用户界面对象或其表示包括根据第一输入中第一预定义数量的接触的第一移动来拖动第一用户界面对象或其表示,其中第一移动包括小于第二预定义数量的接触中的各个接触之间阈值量的相对移动(例如,双指拖动的两个接触在同一方向上基本上一致地移动,并且在进行第一移动时相对于彼此进行小于阈值量的移动)。要求多接触拖动手势中的每个接触一致地移动(例如,通过在每个接触之间包括小于阈值量的相对移动)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过避免意外启动移动操作,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(828)第一输入具有第一预定义数量的接触(例如,两个接触)。检测第一输入还包括检测第一输入的第五部分(例如,在检测到第一输入的第二部分(例如,双指拖动输入)之后或之前,选择第一用户界面对象,和/或根据输入的第二部分拖动第一用户界面对象),包括检测第一输入的第二预定义数量的接触中的至少两个接触之间的第一相对移动(例如,检测第一输入的这两个接触进行的扩张手势)。响应于检测到第一输入的第五部分,设备根据第一输入的第五部分来改变第一用户界面对象的大小(例如,根据第一输入的这两个接触进行的扩张手势来展开第一用户界面对象)。例如,这在图5AM至图5AN中示出。在一些实施方案中,如果已经存在作为集合由双指拖动输入拖动的一个以上的对象,则扩张手势根据第一输入的第三部分中接触的相对移动来扩展对象集合中的各个对象。提供在移动操作期间扩大对象(例如,通过扩张两个接触)的控件增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过允许用户查看正在拖动的对象,并由此减少操作设备/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(830)响应于检测到第一输入:根据确定满足删除模式激活标准,设备以对象删除模式显示第一用户界面,其中:在以对象删除模式显示第一用户界面对象期间,当在触敏表面上对应于相应对象的位置处检测到预定义的删除输入时执行在第一用户界面中显示的相应对象的删除(例如,当处于对象删除模式时,在第一用户界面中用户界面对象上的轻击输入导致从第一用户界面中删除该用户界面对象,而不是导致该对象被激活(例如,激活是指启动对应的应用程序或显示与激活的对象相关联的内容))。根据以下任何一项来满足删除模式激活标准:(1)第一输入具有第一预定义数量的接触(例如,两个接触),并且第一输入的第二部分(例如,接触的第一移动)包括超过阈值量的移动(例如,检测到双指拖动输入)(例如,如图5T至图5U所示);(2)第一输入具有第二预定义数量的接触(例如,单个接触),并且在检测到第一输入的第二部分之前,已经在触敏表面上的位置处检测到一个或多个第一接触以不超过阈值量的移动保持至少第一阈值时间量(例如,在检测到单指长按压输入之后检测到单指拖动输入)(例如,如图5A至图5G所示);以及(3)第一输入具有第二预定义数量的接触(例如,单个接触),并且在检测到第一输入的第二部分(例如,检测到接触的第一移动)之前,已经在触敏表面上的位置处检测到一个或多个第一接触以不超过阈值量的移动保持至少第二阈值时间量(大于第一阈值时间量)(例如,检测到单指超长按压输入)。在一些实施方案中,当检测到单指超长按压输入时,不需要移动来触发对象删除模式。经由多个另选手势提供删除模式增强了设备的可操作性,并使得用户设备界面更有效(例如,通过提供附加功能和控制功能而不会使附加显示控件在UI上乱放,减少执行删除所需的输入数量,以及减少操作设备/与设备进行交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,可以在两个不同的对象上并行使用两个对象移动手势(例如,单个接触进行的触摸保持后移动手势,或两个接触进行的拖动手势),随后释放这两个对象中的一个(例如,通过抬离控制该对象的接触)导致释放的对象接合集合中的另一个对象,该集合随后可以由移动未释放的对象的接触来移动。在一些实施方案中,可以首先在一个对象上使用第一对象移动手势(例如,单个接触进行的触摸保持后移动手势,或两个接触进行的拖动手势),并且在第一对象移动手势终止之前,在另一个对象上使用另一对象移动手势(例如,单个接触进行的触摸保持后移动手势,或两个接触进行的拖动手势),并且之后这两个对象移动手势可以同时执行。
应当理解,对图8A至图8F中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700和方法900)所述的其他过程的细节同样以类似的方式适用于上文结合图8A至图8F所述的方法800。例如,上文参考方法800所描述的接触、手势、用户界面对象、时间阈值、焦点选择器和/或动画任选地具有本文参考本文所述的其他方法(例如,方法700和900)所描述的接触、手势、用户界面对象、触觉输出、强度阈值、焦点选择器和/或动画的特征中的一个或多个。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如为通用处理器(例如,如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图8A至图8F所述的操作可选地由图1A至图1B中所描绘的部件来实现。例如,检测操作804和拖动操作806任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触,并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件,诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时,事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些示例中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
图9A至图9E是示出根据一些实施方案的响应于触摸输入而与用户界面对象进行交互(例如,拖放所选文本)的方法900的流程图。方法900是在具有显示器和触敏表面的电子设备(例如,设备300,图3;或便携式多功能设备100,图1A)上执行的。在一些实施方案中,电子设备包括用于与检测触敏表面的接触的强度的一个或多个传感器。在一些实施方案中,该触敏表面和显示器整合成触敏显示器。在一些实施方案中,显示器是触摸屏显示器,并且触敏表面在显示器上或与显示器集成。在一些实施方案中,显示器与触敏表面是分开的。方法900中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
方法900涉及在根据焦点选择器的移动在显示器上移动所选内容的拖动操作期间,将所选内容保持在偏离焦点选择器(例如,手指接触)的放置位置。具体地,当设备检测到移动操作时(例如,通过在与所选内容对应的位置处检测到一个或多个接触),设备在容器对象中显示所选内容的至少一部分。设备随后将容器对象移动到一个或多个接触下方的位置(例如,通过将容器对象从其相对于接触的原始位置移动到接触下方的放置位置)。当用户在触敏表面上移动接触时,容器对象相对于手指接触在第二放置位置处保持相对固定。因此,在接触的移动期间,容器对象不会遮挡用于所选内容的可能的插入位置。所选对象与接触的偏移提供了改善的视觉反馈,因为它允许用户更好地查看底层内容,这增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需输入达到预期的结果,以及减少在操作设备和/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
方法900在具有触摸屏显示器的设备处执行。设备在触摸屏显示器上的第一用户界面中显示内容(例如,该内容包括文档中的文本和/或图像,绘图画布上的图形和形状,或内容显示用户界面中的其他可选内容)(902)。当在触摸屏显示器上的第一用户界面中显示内容时,设备检测选择该内容内的第一内容的第一用户交互(例如,检测可选择文本中的第一位置处的由单个接触进行的用以显示选择对象(例如,文本选择框)的触摸保持手势,并在显示器上沿第一方向拖动相同的单个接触产生的选择手柄以展开选择对象并选择包含在选择对象内的文本)(904)。在显示所述内容中处于选中状态的第一内容(例如,突出显示所述内容的与当前未选择的其他部分相关的第一内容(例如,包围在选择对象中或用不同颜色突出显示))时,设备检测第一输入的第一部分,其激活针对所选的第一内容的移动操作(例如,第一输入是单指长按压后移动,或者是双指移动),包括检测触摸屏显示器上的与所选第一内容对应的位置处的一个或多个接触(906)。在一些实施方案中,检测第一输入的第一部分包括检测在所选内容的位置处持续至少阈值时间量(例如,长按压时间阈值)的单个接触,而不检测接触的移动或抬离。在一些实施方案中,检测第一输入的第一部分包括在与所选内容对应的位置处检测彼此相隔小于距离阈值量的两个接触,而不检测接触的抬离或接触彼此分开的相对移动。在一些实施方案中,在检测到单接触触摸保持手势时,设备在所选内容旁边显示剪切/复制/粘贴/格式化菜单。在一些实施方案中,如果单个接触在触摸屏上的所选内容上保持基本上固定(例如,进行小于阈值量的移动)至少阈值时间量(例如,长按压时间阈值),则在单个接触抬离时显示剪切/复制/粘贴/格式化菜单。在一些实施方案中,在检测到在所选内容上彼此间隔小于阈值距离的两个并发接触时,设备在所选内容旁边显示剪切/复制/粘贴/格式化菜单。在一些实施方案中,如果在接触抬离之前检测到接触的小于阈值量的移动,设备在两个接触抬离时显示剪切/复制/粘贴/格式化菜单。响应于检测到激活针对所选第一内容的移动操作的第一输入的第一部分,设备在容器对象中显示第一内容的至少一部分的副本(908)。例如,所选文本从其原始z层上抬离并显示在浮动于所选文本的原始z层上方的半透明拼盘中,从而使所选文本的重影保留在所选文本的原始z层中。在一些实施方案中,在容器对象从其原始位置移离到稍低于接触的第二放置位置之前,容器对象的尺寸减小(例如,具有所选第一内容的至少一部分的副本的容器的尺寸减小到所选的第一内容的原始宽度和/或高度的90%、85%、75%、50%或25%)。在一些实施方案中,容器对象是半透明的,并且通过半透明的容器背景可以看到用户界面的第一内容和其他部分。在一些实施方案中,容器对象是所选内容或所选内容的复制品(可选地,具有改变的外观)。设备将显示第一内容的至少一部分的副本的容器对象从相对于触摸屏上一个或多个接触的特征位置的第一放置位置移动到相对于触摸屏上个或多个接触的特征位置的第二放置位置(例如,容器从其相对于一个或多个接触的初始显示位置移动到一个或多个接触稍下方的位置,使得容器对象不会遮挡显示在一个或多个接触上方的插入光标)(910)。在一些实施方案中,将容器对象相对于触摸屏上的一个或多个接触的特征位置进行移动示响应于检测到第一标准已满足(例如,当检测到单接触长按压输入或双接触触摸输入时(例如,在检测到接触的移动之前),满足第一标准)。在一些实施方案中,响应于检测到一个或多个接触的移动,将容器对象相对于触摸屏上的一个或多个接触的特征位置移动。在一些实施方案中,当将容器对象从第一放置位置移动到第二放置位置时,在容器对象的移动期间,容器对象的尺寸从其原始尺寸缩小到更小尺寸(例如,预定义尺寸,为原始尺寸的50%或25%)。将显示第一内容的至少一部分的副本的容器对象相对于一个或多个接触的特征位置从第一放置位置移动到第二放置位置之后,设备根据一个或多个接触的移动来移动显示第一内容的至少一部分的副本的容器对象,同时在一个或多个接触在触敏表面上移动时将容器对象保持在相对于一个或多个接触的特征位置的第二放置位置处(例如,容器对象在一个或多个接触的后续移动期间继续保持稍低于一个或多个接触(例如,容器对象紧密跟踪接触的移动))(912)。在一些实施方案中,将容器对象移动到相对于一个或多个接触的特征位置的第二放置位置,而不考虑容器对象相对于一个或多个接触的特征位置的初始放置位置(例如,无论一个或多个接触开始选中状态下的第一内容的中心、右上角、右下角、左下角、右上角还是任何其他部分,容器对象都移动到相对于一个或多个接触的特征位置的第二放置位置)。将容器对象移动到相对于一个或多个接触的特征位置的第二放置位置而不考虑容器对象相对于一个或多个接触的特征位置的初始放置位置,确保了容器对象将(在检测到接触的移动之后)在相对于一个或多个接触的特征位置的可预测位置显示,这提供了改善的视觉反馈,增强了设备的可操作性,并使得用户设备界面更有效(例如,通过允许用户更好地查看已选中的内容,这帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。例如,图6A至图6K中示出了方法900,其中将所选内容的副本放置在容器对象612内,该容器对象从第一放置位置(例如,图6G中)转移到相对于接触610的第二放置位置(例如,图6I中),然后在接触610的后续移动期间,容器对象612保持在相对于接触610的第二放置位置处。
在一些实施方案中,在容器对象中显示第一内容的至少一部分的副本包括:在相对于触摸屏上一个或多个接触的特征位置的第一放置位置处显示包括第一内容的至少一部分的容器对象,其中第一放置位置对应于第一内容的原始显示位置,并且位于与第一内容的原始显示位置不同的z层上(例如,响应于检测到激活所选第一内容的移动操作的第一输入的第一部分,设备将位于所选第一内容下面的背景的部分连同所选第一内容提升到略高于最初显示所选内容的背景的z层上方,留在所选第一内容的重影和原始背景后面)(914)。例如,这在图6F至图6G中示出。在所选内容的原始位置附近的不同z层上的容器对象中显示所选内容的一部分提供了改善的视觉反馈,这增强了设备的可操作性,并使得用户设备界面更有效(例如,通过允许用户更好地查看已选中的内容,这帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(916)第一输入的第一部分具有第一预定义数量的接触(例如,单个接触)。设备检测第一输入的第二部分,包括在检测到第一输入的一个或多个接触(例如,单个接触)已经以小于阈值量的移动保持在与所选第一内容对应的位置至少阈值时间量(例如,长按压阈值)之后检测一个或多个接触的至少阈值量的移动(例如,0.2mm、0.5mm、1mm、2mm、2.5mm、3mm),其中:响应于检测到第一输入的第二部分,执行将容器对象从第一放置位置移动到第二放置位置。这在图6G至图6I中示出,其中在接触610满足触摸保持要求之后,在接触610移动时,容器对象612从第一放置位置移动到第二放置位置。在满足触摸保持要求之后检测到移动时,将容器对象中的所选内容的一部分移动到接触下方的第二放置位置提供了改善的视觉反馈,这增强了设备的可操作性,并使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化并将用户界面设置为就绪状态以便随后放置插入光标,这帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(918)第一输入的第一部分具有第一预定义数量的接触(例如,单个接触)。响应于检测到第一输入的一个或多个接触(例如,单个接触)已经以小于阈值量的移动(例如,0.2mm、0.5mm、1mm、2mm、2.5mm、3mm)在与所选第一内容对应的位置保持至少阈值时间量(例如,长按压时间阈值,诸如0.5秒、0.1秒、0.2秒或0.3秒),执行将容器对象从第一放置位置移动到第二放置位置。当满足触摸保持要求时,使更多的底层内容和可能的插入位置可见(例如,通过将容器对象中的所选内容移动到接触下方)提供了改善的视觉反馈,这增强了设备的可操作性,并使得用户设备界面更有效(例如,通过允许用户更好地查看底层内容和插入位置,这帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(920)第一输入的第一部分包括一个或多个接触的初始移动,该初始移动为至少阈值量的移动。响应于检测到一个或多个接触的初始移动,设备将第一内容的至少一部分的副本从用户界面中第一内容的这部分的原始位置移动到第一放置位置(例如,一旦设备检测到接触已移动了阈值量的移动,设备就将第一内容移动到浮动容器对象中,或者将含有第一内容的副本的容器对象移动到预定义的中间位置,该中间位置在第一内容的初始位置和输入对象附近的位置之间)。在响应于检测到第一输入的第一部分而在容器对象中显示第一内容的至少一部分的副本之后,设备检测第一输入的第二部分,包括在一个或多个接触的初始移动之后检测一个或多个接触的附加移动,其中:响应于检测到一个或多个接触的附加移动而执行将容器对象从第一放置位置移动到第二放置位置(例如,在第一内容或其副本响应于检测到一个或多个接触的初始移动而略微移动之后,第一内容或其副本快速移动至第二放置位置以赶上接触的后续移动),并且第二放置位置以预定义方式偏离一个或多个接触(例如,容器对象的顶部边缘的中心移动到一个或多个接触的正下方)。这在图6G至图6I、图6P至图6S中示出,其中在接触610和622分别满足触摸保持要求之后,在接触610和622移动时容器对象612和624从它们各自的第一放置位置移动到它们各自的第二放置位置。在选择时(例如,在按下双接触时,或在单个接触满足触摸保持要求时)以及在激活移动操作时(例如,在接触移动时)分别显示所选内容的移动增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化,以及帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,容器对象包括半透明的背景(例如,至少部分地遮盖底层内容),并且在容器对象移动期间,可以通过容器对象的背景看见内容的一些部分(922)。例如,这在图6M、图6S和图6U中示出,其中容器对象612、624和634具有半透明的背景,可让下面的内容显露出来。在容器对象移动期间为容器对象提供半透明背景增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过允许用户在所选内容移到未选定内容上方时更好地查看未选定内容,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,容器对象包括背景(例如,上述的半透明背景),该背景将第一内容的至少一部分的副本与内容分开(例如,背景是遮挡和/或模糊底层内容的层)(924)。例如,这在图6M、图6S和图6U中示出,其中容器对象612、624和634具有半透明的背景,其遮挡并模糊底层内容。通过容器对象的背景将所选内容和底层内容分开增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过允许用户在将所选内容拖动到底层内容上方时更好地将所选内容与底层内容区分开,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,容器对象包括指示符(例如,尖头元素,诸如容器对象顶部边缘上的八字形对象),其指示所选内容的插入位置(例如,该指示具有对应的插入光标,该光标显示在接触上方,并且在容器对象被一个或多个接触拖动时,从一个允许的插入位置跳到另一个允许的插入位置,并且容器对象顶部边缘上的八字形指示符可选地沿着容器对象的顶部边缘移动以跟随插入光标的移动,并有助于将用户的注意力集中在插入光标的位置)(926)。在一些实施方案中,在接触移动期间,该指示的位置保持在接触的正下方,同时插入光标基于接触的当前位置从一个允许的插入位置跳到下一个允许的插入位置。例如,这在图6I至图6N(例如,指示符616和插入光标614)、图6S至图6T(例如,指示符626和插入光标628)和图6U至图6W(例如,指示符636和插入光标638)中示出。当所选内容在用户界面中在容器对象中移动时,使用直接耦接到容器对象的指示符来指示所选内容的潜在插入位置增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需输入达到预期的结果,以及减少在操作设备和/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(928)在容器对象中显示第一内容的至少一部分的副本包括:以第一不透明度显示第一内容的第一部分;并以不同于第一不透明度的第二不透明度显示第一内容的第二部分(例如,第二部分在第一内容中的第一部分下方)(例如,第一内容的第二部分以更高的透明度级别显示(或者比容器对象中第一内容的顶部部分更淡))。在一些实施方案中,当包含在容器对象中时,第一内容的底部部分完全被遮挡、省略和/或不可见。例如,这在图6U至图6W中示出,其中容器635包括具有第一不透明度的第一内容的第一部分,和具有第二不透明度的第一内容的第二部分。显示内容的具有不同透明度的部分(例如,使容器对象中所选内容的下部部分逐渐淡出)提供了改善的视觉反馈,这增强了设备的可操作性,并使得用户设备界面更有效(例如,通过允许用户查看一些所选内容,同时将容器对象的大小保持在限值以下,这减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(930)在容器对象中显示第一内容的至少一部分的副本包括:以与第一内容的一部分的原始配置对应的第一配置,在容器对象中显示第一内容的至少一部分的副本;并以与第一配置不同的第二配置,对第一内容的至少一部分进行重排以在容器对象中显示第一内容的至少一部分的副本。例如,当所选文本显示在所显示内容宽度的一半的容器对象中时,根据减小的文本大小和容器对象的宽度,将所选文本按比例缩小并同时在容器对象中重排。在一些实施方案中,当所选文本包括第一行中的第一部分和下一行中的第二部分,但是从内容的原始显示层提起时,这两个部分下面的背景没有连接,则所选文本的这两部分重排,使得将它们合并成单一容器对象中的一行。重排容器中的内容增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过允许用户更好地查看已选择的内容,从而帮助用户利用所需的输入实现预期的成果,并且减少操作设备/与设备交互时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,当容器对象显示在相对于一个或多个接触的特征位置的第二放置位置处时,设备在内容中与第一内容的原始位置对应的第一位置显示插入光标(932)。例如,这在图6I至图6N(例如,插入光标614)、图6R至图6T(例如,插入光标628)以及图6U至图6W(例如,插入光标638)中示出。在一些实施方案中,当容器对象在一个或多个接触的初始移动之后从其初始位置移动到在一个或多个接触下方的位置时,插入光标显示在第一个内容结尾(或第一内容开始)的原始位置,以指示如果此时检测到一个或多个接触的抬离,则所选内容将被放回到其原始位置。从初始选择位置开始指示所选内容的潜在插入位置提供了改善的视觉反馈,这增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需输入达到预期的结果,以及减少在操作设备和/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,当一个或多个接触在触敏表面上移动时,在根据一个或多个接触的移动来移动容器对象的同时,将容器对象保持在相对于一个或多个接触的特征位置的第二放置位置处,同时设备根据一个或多个接触的移动,将插入光标移动通过内容内的一个或多个允许的插入位置(934)。例如,这在图6I至图6N(例如,插入光标614)、图6R至图6T(例如,插入光标628)以及图6U至图6W(例如,插入光标638)中示出。在一些实施方案中,当容器对象被一个或多个接触拖动时,接触和容器对象的相对位置保持基本上不变(例如,容器对象的移动紧密跟踪一个或多个接触的移动),而插入光标从一个允许的插入位置跳到下一个允许的插入位置,具体取决于一个或多个接触的当前位置(例如,将插入光标放置在最靠近一个或多个接触的特征位置的允许插入位置)。在一些实施方案中,插入光标与容器对象和一个或多个接触偏离。当容器对象在底层内容上移动(例如,平滑移动)时使用“跳跃”插入光标指示选定内容的允许插入位置(例如,离散位置)增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需输入达到预期的结果,以及减少在操作设备和/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,在根据一个或多个接触的移动来移动容器对象的同时,将容器对象保持在相对于一个或多个接触的特征位置的第二放置位置处,同时设备将插入光标从第一允许插入位置移动到第二允许插入位置,其中第一允许插入位置在第一用户界面中,第二允许插入位置在与第一用户界面不同的第二用户界面中(例如,第一用户界面和第二用户界面是两个不同应用的用户界面,或同一应用的不同用户界面)(936)。指示不同用户界面中选定内容的允许插入位置(例如,离散位置)这增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需输入达到预期的结果,以及减少在操作设备和/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(938)设备改变在第一用户界面中第一内容的原始位置处的第一内容的外观(例如,将所选的第一内容变灰,以褪色的外观显示第一内容)(例如,当第一内容的至少一部分的副本显示在容器对象中并且容器对象从内容的原始z层提起时,原始第一内容以变灰的外观显示(例如,作为第一内容的重影))。在根据一个或多个接触的移动来移动显示第一内容的至少一部分的副本的容器对象时,设备保持显示具有改变的外观的第一内容(例如,当包括第一内容的至少一部分的副本的容器对象与接触一起移动时,第一内容的重影保持显示)。例如,这在图6I至图6N(例如,所选内容606)、图6R至图6T(例如,所选内容620)以及图6U至图6W(例如,所选内容632)中示出。当选定内容在显示器上移动时改变选定内容在其原始位置的外观提供了改善的视觉反馈(例如,通过允许用户在选定内容移动时记录选定内容的起点),增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过帮助用户利用所需输入实现预期的成果,以及减少在操作设备和/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(940)当一个或多个接触在第一用户界面上方时,设备检测第一输入的终止,包括检测一个或多个接触的抬离。响应于检测到第一输入的终止:设备在第一用户界面内的第一插入位置处显示第一内容(或其表示)。在一些实施方案中,设备显示动画,该动画示出容器对象,该容器对象包含合并到第一插入位置处的内容中的第一内容的副本。此外,响应于检测到第一输入的终止:设备停止在第一用户界面中第一内容的原始位置处显示第一内容(例如,停止在第一内容的原始位置处显示第一内容的重影)。例如,当在同一用户界面内拖动所选内容时,在移动操作结束时,内容将从其原始位置移动到新位置。在一些实施方案中,响应于第一内容的移动,对第一用户界面中的剩余内容进行重排。例如,这在图6N至图6O中示出。在最初将所选内容移动到插入位置的接触终止后将内容选择移动到新位置增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化,以及减少与设备交互/操作设备时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(942)当一个或多个接触在第二用户界面上方时,设备检测第一输入的终止,包括检测一个或多个接触的抬离。响应于检测到第一输入的终止:设备在第二用户界面(例如,在一些实施方案中,第二用户界面不同于第一用户界面。在一些实施方案中,第二用户界面是第一用户界面)内的第二插入位置处显示第一内容(或其精确副本,或其表示)。在一些实施方案中,设备显示动画,该动画示出容器对象,该容器对象包含合并到第二插入位置处的内容中的第一内容的副本。此外,响应于检测到第一输入的终止,设备恢复第一用户界面中第一内容的原始位置处第一内容的外观。例如,当跨两个不同用户界面(例如,相同应用程序的两个不同用户界面,或两个不同应用程序或文档的两个不同用户界面)拖动所选内容时,在移动操作结束时,内容将从其原始位置复制到新位置,并且将复制的内容恢复到内容的原始位置(例如,所选文本的重影恢复到其原始外观)。在最初将所选内容移动到插入位置的接触终止后将内容选择复制到新位置增强了设备的可操作性,并且使得用户设备界面更有效(例如,通过通知用户设备内部状态的变化,以及减少与设备交互/操作设备时用户的错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
在一些实施方案中,(944)响应于检测到第一输入的终止:根据确定当前识别了用于第一内容的允许插入位置(例如,当前在该允许插入位置显示插入光标),设备在当前识别的用于第一内容的允许插入位置处显示第一内容(或其精确副本,或其表示)。在一些实施方案中,设备显示动画,该动画示出容器对象,该容器对象包含合并到第一插入位置处的内容中的第一内容的副本。此外,响应于检测到第一输入的终止:根据确定当前没有识别到用于第一内容的允许插入位置(例如,当前未显示插入光标,或者插入光标以改变的外观显示以指示当前没有识别用于第一内容的允许插入位置),设备恢复在第一用户界面中第一内容的原始位置处的第一内容的外观,而不将第一内容复制或移动到与原始位置不同的另一个位置(例如,第一内容在移动操作结束时被放回原始位置(例如,所选文本的重影恢复为其原始外观))。在一些实施方案中,在插入光标显示在用于第一内容的相应插入位置的同时将一个或多个接触的位置保持预定义的阈值时间量(例如,在至少第一阈值时间量内具有小于阈值量的移动),设备显示预览,该预览显示第一内容在相应插入位置处的插入(例如,在相应插入位置处显示第一内容并重排其余文本)。在一些实施方案中,如果在显示该预览时检测到第一输入的终止,则确认并完成插入;并且如果在未显示该预览的情况下检测到第一输入的终止,则取消移动操作,并且将第一内容恢复到其原始位置。在尝试将所选内容移动到不允许的位置时将其恢复到其原始位置增强了设备的可操作性,并且使用户设备界面更高效(例如,通过通过防止用户达到非预期的结果,从而减少操作设备/与设备交互时的用户错误),这通过使用户能够更快速且更高效地使用设备进一步减少了功率使用并且延长了设备的电池寿命。
应当理解,对图9A至图9E中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文关于本文所述的其他方法(例如,方法700和方法800)描述的其他过程的细节同样以类似的方式适用于上文关于图9A至图9E描述的方法700。例如,上文参考方法900所描述的接触、手势、用户界面对象、时间阈值、焦点选择器和/或动画任选地具有本文参考本文所述的其他方法(例如,方法700和800)所描述的接触、手势、用户界面对象、触觉输出、强度阈值、焦点选择器和/或动画的特征中的一个或多个特征。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如为通用处理器(例如,如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图9A至图9E所述的操作可选地由图1A至图1B中所描绘的部件来实现。例如,检测操作904和906、以及移动操作910和912任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触,并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件,诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时,事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些示例中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
Claims (19)
1.一种用于与用户界面对象进行交互的方法(700),包括:
在具有显示器和触敏表面的设备处:
在所述显示器上显示(702)第一用户界面,其中所述第一用户界面包括在所述第一用户界面中的第一位置处的第一用户界面对象,其中所述第一用户界面对象是与第一应用程序对应的第一应用程序启动图标,并且其中所述第一用户界面是主屏幕用户界面,所述主屏幕用户界面包括与包括所述第一应用程序在内的多个不同应用程序对应的多个应用程序启动图标;
当显示(704)包括在所述第一用户界面中的所述第一位置处的所述第一用户界面对象的所述第一用户界面时,检测第一输入的第一部分,所述检测包括检测所述触敏表面上与所述第一用户界面中的所述第一用户界面对象对应的位置处的第一接触,而不检测所述第一接触的抬离;
响应于检测到(706)所述第一输入的所述第一部分:
根据确定所述第一输入的所述第一部分满足菜单显示标准,在检测到所述第一接触的所述抬离之前在所述显示器上显示与所述第一用户界面对象对应的多个可选选项,其中所述菜单显示标准要求所述第一接触以小于阈值量的移动在所述触敏表面上保持超过第一阈值时间量以便满足所述菜单显示标准;以及
根据确定所述第一输入的所述第一部分满足对象移动标准:
停止显示与所述第一用户界面对象对应的所述多个可选选项;并且
根据所述第一接触的第一移动,将所述第一用户界面对象或其表示在所述显示器上从所述第一位置移动到第二位置,并且激活界面重新配置模式,其中在所述界面重新配置模式下,所述多个应用程序图标中的相应应用程序启动图标能够由指向所述相应应用程序启动图标的拖动输入重新定位,而不需要所述拖动输入满足所述对象移动标准,
其中所述对象移动标准要求:
所述第一接触以小于所述阈值量的移动在所述触敏表面上保持超过所述第一阈值时间量,并且
在所述接触以小于所述阈值量的移动在所述触敏表面上保持超过所述第一阈值时间量之后,所述第一输入的所述第一部分包括所述第一接触在所述触敏表面上的大于所述阈值量的移动的所述第一移动,
以便满足所述对象移动标准。
2.根据权利要求1所述的方法,包括:
响应于检测到所述第一输入的所述第一部分:
根据确定所述第一输入的所述第一部分满足界面滚动标准,根据所述第一接触的第二移动滚动所述第一用户界面,其中所述界面滚动标准要求所述第一输入的所述第一部分包括所述触敏表面上所述第一接触的所述第二移动,所述第二移动大于所述阈值量的移动,并且在所述第一接触在所述触敏表面上保持超过所述第一阈值时间量之前检测到所述第二移动,以便满足所述界面滚动标准。
3.根据权利要求1至2中任一项所述的方法,包括:
响应于检测到所述第一输入的所述第一部分:
根据确定所述第一输入的所述第一部分满足对象激活标准,执行与所述第一用户界面对象对应的操作,包括停止显示所述第一用户界面,并显示与所述第一用户界面对象对应的第二用户界面,其中所述对象激活标准要求在检测到所述第一输入的终止之前所述第一接触以小于所述阈值量的移动在所述触敏表面上保持小于所述第一阈值时间量以便满足所述对象激活标准。
4.根据权利要求1至2中任一项所述的方法,包括:
响应于检测到所述第一输入的所述第一部分:
根据确定所述接触已经以小于所述阈值量的移动在所述触敏表面上保持超过所述第一阈值时间量,改变所述第一用户界面对象的外观以指示所述第一接触已经以小于所述阈值量的移动保持超过所述第一阈值时间量。
5.根据权利要求4所述的方法,其中,改变所述第一用户界面对象的所述外观以指示所述第一接触已经以小于所述阈值量的移动保持超过所述第一阈值时间量包括以下中的一项或多项:减少所述第一用户界面对象的不透明度,增大所述第一用户界面对象的大小,改变所述第一用户界面对象相对于其中曾显示所述第一用户界面对象的用户界面的模拟z高度,或在所述第一用户界面对象后面显示阴影来指示所述第一用户界面对象与其中曾显示所述第一用户界面对象的所述用户界面的分离。
6.根据权利要求1至2中任一项所述的方法,其中,满足所述对象移动标准,并且,在检测到所述第一输入的终止之前,根据所述第一接触的所述第一移动,将所述第一用户界面对象从所述第一位置移动到所述第二位置。
7.根据权利要求6所述的方法,包括:
检测所述第一输入的终止,所述检测包括检测所述第一接触的抬离;以及
响应于检测到所述第一输入的所述终止:
根据确定所述第一输入已经满足所述对象移动标准并且所述第一用户界面对象在所述显示器上的当前位置与所述显示器上当前显示的用户界面中的允许放下位置对应,在所述第一输入的所述终止之后,在所述显示器上所述当前显示的用户界面中的所述允许放下位置处显示所述第一用户界面对象或其副本。
8.根据权利要求7所述的方法,包括:
响应于检测到所述第一输入的所述终止:
根据确定所述第一输入已经满足所述对象移动标准并且所述第一用户界面对象在所述显示器上的所述当前位置不与所述显示器上所述当前显示的用户界面中的允许放下位置对应,提供视觉反馈以指示与所述第一用户界面对象对应的对象移动操作取消。
9.根据权利要求1至2中任一项所述的方法,包括:
当将所述第一用户界面对象或其表示从所述第一位置移动到所述第二位置时:
根据确定所述第一输入已经满足所述对象移动标准并且所述第一用户界面对象在所述显示器上的当前位置与所述显示器上当前显示的用户界面中的允许放下位置对应,以第一外观显示所述第一用户界面对象或其表示;以及
根据确定所述第一输入已经满足所述对象移动标准并且所述第一用户界面对象在所述显示器上的所述当前位置不与所述显示器上所述当前显示的用户界面中的允许放下位置对应,以不同于所述第一外观的第二外观显示所述第一用户界面或其表示。
10.根据权利要求1至2中任一项所述的方法,其中所述显示器上的所述第二位置与所述第一用户界面内的所述第一用户界面对象的允许放下位置对应。
11.根据权利要求1至2中任一项所述的方法,其中所述显示器上的所述第二位置与第三用户界面中的允许放下位置对应,所述第三用户界面是在检测到所述第一输入的所述第一部分时与所述第一用户界面同时显示在所述显示器上的。
12.根据权利要求1至2中任一项所述的方法,其中所述显示器上的所述第二位置与第四用户界面中的允许放下位置对应,所述第四用户界面在检测到所述第一输入的所述第一部分时不与所述第一用户界面同时显示在所述显示器上。
13.根据权利要求1至2中任一项所述的方法,包括:
在保持所述第一接触的同时,检测第二输入,所述检测包括检测所述触敏表面上的不同于所述触敏表面上的所述第一接触的第二接触;以及
响应于检测到所述第二输入,执行与所述第二输入对应的操作,同时保持所述第一用户界面对象或其表示的显示,而不受所述操作对所述第一用户界面的任何影响。
14.根据权利要求1至2中任一项所述的方法,包括:
在满足所述对象移动标准之后并且在检测到所述第一输入的终止之前,检测第三输入,所述检测包括检测所述触敏表面上与当前显示的用户界面中的第二用户界面对象对应的位置处的所述触敏表面上的第三接触,并且随后检测所述第三接触从所述触敏表面的抬离;以及
响应于检测到所述第三输入:
根据确定所述第三输入满足对象选择标准,将所述第二用户界面对象或其表示移动到所述显示器上与所述触敏表面上的所述第一接触的当前位置对应的相应位置,其中所述对象选择标准要求在检测到所述第三接触的所述抬离之前,所述第三接触以小于所述阈值量的移动在所述触敏表面上保持小于所述第一阈值时间量以便满足所述对象选择标准。
15.根据权利要求14所述的方法,包括:
在将所述第二用户界面对象或其表示移动到所述显示器上与所述触敏表面上的所述第一接触的所述当前位置对应的所述相应位置之后,检测所述第一输入的第二部分,所述检测包括检测所述第一接触在所述触敏表面上从第三位置到第四位置的第三移动;以及
响应于检测到所述第一输入的所述第二部分,根据所述第一接触的所述第三移动,在所述显示器上移动所述第二用户界面对象和所述第一用户界面对象。
16.根据权利要求14所述的方法,包括:
在将所述第二用户界面对象或其表示移动到所述显示器上与所述触敏表面上的所述第一接触的所述当前位置对应的所述相应位置之后:
将所述第一用户界面对象或其表示的显示与所述第二用户界面对象或其表示的显示合并成对象集合的表示;
当在所述显示器上显示所述对象集合时,检测第四输入,所述检测包括检测所述触敏表面上的与所述显示器上所述对象集合对应的位置处的扩张手势;以及
响应于检测到所述第四输入,展开所述对象集合的所述表示以分别显示所述第一用户界面对象或其表示和所述第二用户界面对象或其表示。
17.根据权利要求1至2中任一项所述的方法,包括:
响应于检测到所述第一输入的所述第一部分:
根据确定所述第一输入的所述第一部分满足界面重新配置标准,激活所述界面重新配置模式,其中所述界面重新配置标准要求在检测到所述第一输入的终止之前,所述第一接触以小于所述阈值量的移动在所述触敏表面上保持超过大于所述第一阈值时间量的第二阈值时间量,以便满足所述界面重新配置标准。
18.一种电子设备,包括:
显示器;
触敏表面;
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至17所述的方法中的任一方法的指令。
19.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由具有显示器和触敏表面的电子设备执行时使得所述设备执行根据权利要求1至17所述的方法中的任一方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762507124P | 2017-05-16 | 2017-05-16 | |
US62/507,124 | 2017-05-16 | ||
DKPA201770376A DK180127B1 (en) | 2017-05-16 | 2017-05-24 | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR MOVING USER INTERFACE OBJECTS |
DKPA201770376 | 2017-05-24 | ||
US15/845,528 | 2017-12-18 | ||
US15/845,528 US10908809B2 (en) | 2017-05-16 | 2017-12-18 | Devices, methods, and graphical user interfaces for moving user interface objects |
CN201880032335.8A CN110678833A (zh) | 2017-05-16 | 2018-05-02 | 用于移动用户界面对象的设备、方法和图形用户界面 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880032335.8A Division CN110678833A (zh) | 2017-05-16 | 2018-05-02 | 用于移动用户界面对象的设备、方法和图形用户界面 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111240572A CN111240572A (zh) | 2020-06-05 |
CN111240572B true CN111240572B (zh) | 2021-08-31 |
Family
ID=64274572
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010011056.2A Active CN111240572B (zh) | 2017-05-16 | 2018-05-02 | 用于移动用户界面对象的设备、方法和图形用户界面 |
CN201880032335.8A Pending CN110678833A (zh) | 2017-05-16 | 2018-05-02 | 用于移动用户界面对象的设备、方法和图形用户界面 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880032335.8A Pending CN110678833A (zh) | 2017-05-16 | 2018-05-02 | 用于移动用户界面对象的设备、方法和图形用户界面 |
Country Status (3)
Country | Link |
---|---|
EP (2) | EP3607423B1 (zh) |
CN (2) | CN111240572B (zh) |
WO (1) | WO2018212998A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10466889B2 (en) | 2017-05-16 | 2019-11-05 | Apple Inc. | Devices, methods, and graphical user interfaces for accessing notifications |
US11455085B2 (en) | 2020-03-10 | 2022-09-27 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications |
US11871464B2 (en) | 2020-08-26 | 2024-01-09 | Arris Enterprises Llc | Unified graphical user interface for devices in a wireless network |
TWI817186B (zh) * | 2020-09-29 | 2023-10-01 | 仁寶電腦工業股份有限公司 | 物件操作系統及物件操作方法 |
CN113177391B (zh) * | 2021-05-28 | 2021-11-19 | 掌阅科技股份有限公司 | 在流式界面中操作光标重定向方法、计算设备及存储介质 |
JP2023067157A (ja) * | 2021-10-29 | 2023-05-16 | フォルシアクラリオン・エレクトロニクス株式会社 | アイコン表示制御装置及びアイコン表示制御プログラム |
EP4273677A1 (en) | 2022-05-06 | 2023-11-08 | Apple Inc. | Devices, methods, and graphical user interfaces for updating a session region |
US11842028B2 (en) | 2022-05-06 | 2023-12-12 | Apple Inc. | Devices, methods, and graphical user interfaces for updating a session region |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5561444A (en) * | 1992-12-21 | 1996-10-01 | Apple Computer, Inc. | Method and apparatus for providing visual feedback during manipulation of text on a computer screen |
CN101763341B (zh) * | 2009-12-23 | 2014-10-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种文本协同方法及系统 |
CN105955617B (zh) * | 2011-06-03 | 2019-07-12 | 谷歌有限责任公司 | 用于选择文本的手势 |
CN103064625B (zh) * | 2012-12-30 | 2016-02-10 | 珠海金山办公软件有限公司 | 基于多点触控屏的对象选择方法和系统 |
CN103970460A (zh) * | 2013-01-30 | 2014-08-06 | 三星电子(中国)研发中心 | 基于触摸屏的操作方法和使用该方法的终端设备 |
US9152321B2 (en) * | 2013-05-03 | 2015-10-06 | Barnes & Noble College Booksellers, Llc | Touch sensitive UI technique for duplicating content |
AU2014274537A1 (en) * | 2013-06-09 | 2015-01-22 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
US10095396B2 (en) * | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9632664B2 (en) * | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US9880735B2 (en) * | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10346510B2 (en) * | 2015-09-29 | 2019-07-09 | Apple Inc. | Device, method, and graphical user interface for providing handwriting support in document editing |
-
2018
- 2018-05-02 EP EP18726290.2A patent/EP3607423B1/en active Active
- 2018-05-02 CN CN202010011056.2A patent/CN111240572B/zh active Active
- 2018-05-02 EP EP22163203.7A patent/EP4036701A1/en active Pending
- 2018-05-02 CN CN201880032335.8A patent/CN110678833A/zh active Pending
- 2018-05-02 WO PCT/US2018/030697 patent/WO2018212998A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
EP3607423A1 (en) | 2020-02-12 |
EP3607423B1 (en) | 2022-04-27 |
CN110678833A (zh) | 2020-01-10 |
CN111240572A (zh) | 2020-06-05 |
EP4036701A1 (en) | 2022-08-03 |
WO2018212998A1 (en) | 2018-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11449222B2 (en) | Devices, methods, and graphical user interfaces for moving user interface objects | |
AU2018253539B2 (en) | Device, method, and graphical user interface for moving and dropping a user interface object | |
AU2022224714B2 (en) | Devices and methods for interacting with an application switching user interface | |
CN111240572B (zh) | 用于移动用户界面对象的设备、方法和图形用户界面 | |
EP2939096B1 (en) | Device, method, and graphical user interface for determining whether to scroll or select contents | |
CN109062488B (zh) | 用于选择用户界面对象的设备、方法和图形用户界面 | |
WO2013169845A1 (en) | Device, method, and graphical user interface for scrolling nested regions | |
US20240069716A1 (en) | Devices and Methods for Interacting with an Application Switching User Interface | |
US11966578B2 (en) | Devices and methods for integrating video with user interface navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |