CN107797656B - 用于触觉混合的设备、方法和图形用户界面 - Google Patents

用于触觉混合的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN107797656B
CN107797656B CN201710734877.7A CN201710734877A CN107797656B CN 107797656 B CN107797656 B CN 107797656B CN 201710734877 A CN201710734877 A CN 201710734877A CN 107797656 B CN107797656 B CN 107797656B
Authority
CN
China
Prior art keywords
tactile output
group
tactile
output
modified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710734877.7A
Other languages
English (en)
Other versions
CN107797656A (zh
Inventor
C·茂塞特
B·T·格里森
J·B·莫瑞尔
D·A·斯科特
J·M·威廉姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201670721A external-priority patent/DK179278B1/en
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN201910901923.7A priority Critical patent/CN110673728B/zh
Publication of CN107797656A publication Critical patent/CN107797656A/zh
Application granted granted Critical
Publication of CN107797656B publication Critical patent/CN107797656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明题为：“用于触觉混合的设备、方法和图形用户界面”。一种电子设备接收与显示在显示器上的用户界面元素以及第一组一个或多个触觉输出对应的第一组一个或多个输入，并且还接收与一个或多个硬件元件以及第二组一个或多个触觉输出对应的第二组一个或多个输入。作为响应，根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出重叠，所述设备利用一个或多个触觉输出发生器输出经修改的触觉输出序列，所述触觉输出序列经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出。

Description

用于触觉混合的设备、方法和图形用户界面
技术领域
本发明整体涉及具有触敏表面和触觉输出发生器的电子设备，包括但不限于显示用户界面并且组合对应于不同事件或触发条件的多个触觉输出以产生组合触觉输出的电子设备。
背景技术
触敏表面作为计算机和其他电子计算设备的输入设备的使用在近年来显著增长。示例性触敏表面包括触摸板和触摸屏显示器。此类表面广泛地用于操纵显示器上的用户界面对象。
结合检测触摸输入和电子设备的其他功能提供触觉输出可用于促进用户与设备的交互。然而，触觉输出发生器的物理限制，和用户感觉并理解重叠触觉输出的能力的限制，使得使用多个触觉输出源对于向用户提供有用信息来讲具有挑战性。
发明内容
因此，需要这样的电子设备，其采用更快且更有效方法和界面来混合触觉输出并区分其优先级，所述触觉输出对应于多个生成触觉输出的请求，或多个与触觉输出对应(例如，与显示器上所显示的用户界面元素对应，以及与硬件元件对应)的用户输入，或触觉输出的多个触发条件。此类方法和界面减少了来自用户的输入的数量、范围和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法和界面节省了功率并且增加了电池充电之间的时间。
借助所公开的设备可减少或消除与具有触敏表面的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，所述设备是台式计算机。在一些实施方案中，所述设备是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该设备是个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该设备具有触控板。在一些实施方案中，该设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，该设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施方案中，用户主要通过触敏表面上的触笔和/或手指接触和手势来与GUI交互。在一些实施方案中，这些功能任选地包括图像编辑、画图、展示、文字处理、电子表格制作、玩游戏、打电话、视频会议、收发电子邮件、即时消息、锻炼支持、数字摄影、数字视频记录、网络浏览、数字音乐播放、笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备上执行方法。该方法包括：接收对使用该一个或多个触觉输出发生器生成多个触觉输出的多个请求，其中该多个触觉输出包括两个或更多个重叠触觉输出。该方法还包括响应于接收到该多个请求，经由该一个或多个触觉输出发生器生成并输出组合触觉输出。该生成和输出包括：根据确定该多个触觉输出不超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量，将该多个触觉输出混合在一起成第一组合触觉输出，并且将该第一组合触觉输出包括在该组合触觉输出中；以及经由该一个或多个触觉输出发生器输出该组合触觉输出，包括该第一组合触觉输出。该生成和输出还包括：根据确定该多个触觉输出超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量，将该多个触觉输出的子集混合在一起成不包括该多个触觉输出中的至少一者的第二组合触觉输出并且将该第二组合触觉输出包括在该组合触觉输出中；以及经由该一个或多个触觉输出发生器输出该组合触觉输出，包括该第二组合触觉输出。
根据一些实施方案，在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备上执行方法。该方法包括：接收对应于显示器上所显示的用户界面元素的第一组一个或多个输入，其中该第一组一个或多个输入对应于第一组一个或多个触觉输出，并且接收对应于一个或多个硬件元件的第二组一个或多个输入，其中该第二组一个或多个输入对应于第二组一个或多个触觉输出。该方法还包括响应于该第二组一个或多个输入，根据确定第一组触觉输出和第二组一个或多个触觉输出不重叠，使用该组一个或多个触觉输出发生器输出包括第一组一个或多个触觉输出和第二组一个或多个触觉输出的触觉输出序列。该方法还包括根据确定第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠，使用该组一个或多个触觉输出发生器输出经过修改的触觉输出序列，该触觉输出序列被修改以便相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出。
根据一些实施方案，在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备上执行方法。该方法包括：检测用于具有第一优先级的第一组一个或多个触觉输出的触发条件并且检测用于具有第二优先级的第二组一个或多个触觉输出的触发条件。该方法还包括响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠：(a)根据确定第一优先级高于第二优先级，减小第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少一部分的规模；以及(b)根据确定第二优先级高于第一优先级，减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模。
根据一些实施方案，一种电子设备包括：显示单元，其被配置为显示一个或多个用户界面；触敏表面单元，其用于接收触摸输入；一个或多个触觉输出发生器单元，其用于生成触觉输出；以及处理单元，其与该显示单元、该触敏表面单元和该一个或多个触觉输出发生器单元耦接。该处理单元被配置为：接收对使用该一个或多个触觉输出发生器单元生成多个触觉输出的多个请求，其中该多个触觉输出包括两个或更多个重叠触觉输出；以及响应于接收到该多个请求，经由该一个或多个触觉输出发生器单元生成并输出组合触觉输出。该生成和输出包括根据确定该多个触觉输出不超过被准许混合在一起以供经由一个或多个触觉输出发生器单元同时输出的触觉输出的阈值数量，将该多个触觉输出混合在一起成第一组合触觉输出，将该第一组合触觉输出包括在该组合触觉输出中，并且经由该一个或多个触觉输出发生器单元输出该组合触觉输出，包括该第一组合触觉输出。该生成和输出还包括根据确定该多个触觉输出超过被准许混合在一起以供经由该一个或多个触觉输出发生器单元同时输出的触觉输出的阈值数量，将该多个触觉输出的子集混合在一起成不包括该多个触觉输出中的至少一者的第二组合触觉输出，将该第二组合触觉输出包括在该组合触觉输出中，并且经由该一个或多个触觉输出发生器单元输出该组合触觉输出，包括该第二组合触觉输出。
根据一些实施方案，一种电子设备包括：显示单元，其被配置为显示一个或多个用户界面；触敏表面单元，其用于接收触摸输入；一个或多个触觉输出发生器单元，其用于生成触觉输出；以及处理单元，其与该显示单元、该触敏表面单元和该一个或多个触觉输出发生器单元耦接。该处理单元被配置为：接收对应于显示器上所显示的用户界面元素的第一组一个或多个输入，其中该第一组一个或多个输入对应于第一组一个或多个触觉输出，并且接收对应于一个或多个硬件元件的第二组一个或多个输入，其中该第二组一个或多个输入对应于第二组一个或多个触觉输出。该处理单元被进一步配置为根据确定第一组触觉输出和第二组一个或多个触觉输出不重叠，通过使用该组一个或多个触觉输出发生器输出包括第一组一个或多个触觉输出和第二组一个或多个触觉输出的触觉输出序列，来对第二组一个或多个输入做出响应。该处理单元还被配置为根据确定第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠，通过使用该组一个或多个触觉输出发生器输出经过修改的触觉输出序列，来对第二组一个或多个输入做出响应，该触觉输出序列被修改以便相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出。
根据一些实施方案，一种电子设备包括：显示单元，其被配置为显示一个或多个用户界面；触敏表面单元，其用于接收触摸输入；一个或多个触觉输出发生器单元，其用于生成触觉输出；以及处理单元，其与该显示单元、该触敏表面单元和该一个或多个触觉输出发生器单元耦接。该处理单元被配置为：检测用于具有第一优先级的第一组一个或多个触觉输出的触发条件，并且检测用于具有第二优先级的第二组一个或多个触觉输出的触发条件。该处理单元被进一步配置为根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠，通过以下操作来对检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件做出响应：根据确定第一优先级高于第二优先级，减小第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少一部分的规模；以及根据确定第二优先级高于第一优先级，减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模。
根据一些实施方案，一种电子设备包括显示器、触敏表面、一组一个或多个触觉输出发生器、一个或多个处理器、存储器和一个或多个程序；该一个或多个程序被存储在存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或致使执行本文所述的任何方法的操作的指令。根据一些实施方案，一种计算机可读存储介质在其中存储有指令，这些指令在由具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备执行时致使该设备执行或致使执行本文所述的任何方法的操作。根据一些实施方案，一种在具有显示器、触敏表面、一组一个或多个触觉输出发生器、存储器以及用于执行存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文所述的任何方法中所显示的一个或多个元素，这些元素根据本文所述的任何方法响应于输入而更新。
根据一些实施方案，一种电子设备包括：显示器、触敏表面和一组一个或多个触觉输出发生器；以及用于执行或致使执行本文所述的任何方法的操作的装置。根据一些实施方案，一种供在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备中使用的信息处理设备包括用于执行或致使执行本文所述的任何方法的操作的装置。
因此，具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备具有更快、更有效的方法和界面以用于提供、组合并输出触觉输出，从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于提供通知以及响应于用户输入或其他触发条件提供反馈的常规方法。
附图说明
为了更好地理解各种所描述的实施方案，应当结合以下附图参考下面的具体实施方式，在附图中类似的附图标号在所有图式中指代对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图1C是根据一些实施方案的触觉引擎的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图4C示出了根据一些实施方案的显示图形用户界面并且提供对应触觉输出的电子设备。
图4D至4E示出了根据一些实施方案的一组样本触觉输出模式。
图5A至5L示出了根据一些实施方案的触觉输出、触觉输出组合以及任选地，对应音频输出。
图6A至6F的流程图示出根据一些实施方案的向将触觉输出混合成组合触觉输出施加限制的方法。
图7A至7D的流程图示出根据一些实施方案的在将触觉输出混合成组合触觉输出时使一些触觉输出优先于其他触觉输出的方法。
图8A至8D的流程图示出根据一些实施方案的在将触觉输出混合成组合触觉输出时对触觉输出区分优先级并且进行缩放的方法。
图9至11是根据一些实施方案的电子设备的功能框图。
具体实施方式
在显示图形用户界面的电子设备中，使得多个应用程序能够提供触觉输出可能由于能够被同时生成的触觉输出的数量的限制、电子设备的一个或多个触觉输出发生器能够生成的触觉输出的物理限制以及用户感受并理解重叠或彼此紧接的多个触觉输出的能力的限制而具有挑战性。为了能够稳健生成触觉输出，在解决前述物理限制和用户限制时，采用了许多方法。此类技术的示例包括限制在任何一个时间处组合的触觉输出的数量，和/或在将会重叠的被调度来生成的触觉输出的数量超过阈值时减小规模并且接着结束一个或多个“最老”触觉输出。在另一个示例中，对组合触觉输出进行分析，并且在将会超过振幅限制的情况下减小规模。在另一个示例中，向触觉输出指派优先级，例如基于其来源，并且根据那些优先级对重叠触觉输出进行混合，包括减小一个或多个较低优先级触觉输出的规模。在另一个示例中，当混合并组合触觉输出时，相对于第一组触觉输出强调第二组触觉输出(例如，基于那些触觉输出的来源或触发条件)。
参考图1A至1B、图2和图3提供以下对示例性设备的描述。图4A至4C示出了示例性用户界面，包括在生成触觉输出时所显示的用户界面，并且图5A至5L示出了在执行各种应用程序并且生成并混合触觉输出以产生组合触觉输出时所产生的触觉输出、触觉输出组合和音频输出。图6A至6F示出了组合对应于来自多个来源的触发条件或输入的触觉输出并且向所组合的触觉输出的数量或者向组合触觉输出的量值和/或频率分量施加限制的方法的流程图。图7A至7D示出了使对应于硬件元件上的输入的触觉输出优先于其他触觉输出的方法的流程图。图8A至8D示出了根据那些触觉输出的优先级来混合触觉输出的方法的流程图。图4A至4C中的用户界面以及图5A至5J中的触觉输出和音频输出用于示出图6A至6F中的过程。图4A至4C中的用户界面以及图5H、图5I和图5K中的触觉输出和音频输出用于示出图7A至7D中的过程。图4A至4C中的用户界面以及图5A、图5H至5J和图5L中的触觉输出和音频输出用于示出图8A至8D中的过程。
示例性设备
现在将详细参考实施方案，其示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，未详细描述众所周知的方法、程序、部件、电路和网络，以免不必要地混淆这些实施方案的各方面。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一触点和第二触点均为触点，但它们不是同一个触点，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案和所附权利要求书的描述中所使用的那样，单数形式“一个”和“该”旨在还包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”、“包含”、“含有”和/或“具有”当在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关联的过程的实施方案。在一些实施方案中，该设备是还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自加利福尼亚州库比蒂诺的苹果公司(AppleInc.of Cupertino,California)的iPod和设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持多种应用程序，诸如以下一者或多者：笔记应用程序、绘图应用程序、展示应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、锻练支持应用程序、相片管理应用程序、数码相机应用程序、数字摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用物理用户接口设备，诸如触敏表面。触敏表面的一种或多种功能以及显示在设备上的对应信息任选地从一种应用调整和/或变化至下一种应用和/或在相应应用内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用。
现在关注具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、射频电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入或控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100上的接触的强度的一个或多个强度传感器165(例如，触敏表面，诸如设备100的触敏显示器系统112)。设备100任选地包括用于在设备100上生成触觉输出(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)的一个或多个触觉输出发生器167。这些部件任选地经由一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解读为触感，该触感对应于设备或设备的部件的物理特征的感知变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解读为对物理致动器按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，触敏表面的移动任选地由用户解读或感测为触敏表面的“粗糙度”，即使在触敏表面的光滑度无变化时。虽然用户对触摸的此类解读将受到用户的个体化感官知觉的限制，但是存在触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。
在一些实施方案中，触觉输出模式指定触觉输出的特征，诸如触觉输出的振幅、触觉输出的移动波形的形状、触觉输出的频率和/或触觉输出的持续时间。
当设备(例如，经由移动活动块体以生成触觉输出的一个或多个触觉输出发生器)生成具有不同触觉输出模式的触觉输出时，这些触觉输出可在手持或触摸设备的用户中引起不同触感。虽然用户的感觉是基于用户对触觉输出的感知，但大部分用户将能够识别设备所生成的触觉输出的波形、频率和振幅的变化。因此，可对波形、频率和振幅进行调整以向用户指示已经执行了不同操作。因而，具有被设计、选择和/或创制以模拟在给定环境(例如，包括图形特征和对象的用户界面、具有虚拟边界和虚拟对象的模拟物理环境、具有物理边界和物理对象的真实物理环境和/或以上任何各项的组合)下对象的特征(例如，大小、材料、重量、硬度、光滑度等)、行为(例如，振荡、移位、加速、旋转、扩张等)和/或交互(例如，碰撞、粘合、排斥、吸引、摩擦等)的触觉输出模式的触觉输出将在一些情况下向用户提供有用反馈，该反馈减少输入错误并且提高用户对设备的操作的效率。另外，触觉输出任选地被生成为对应于与模拟物理特征无关的反馈，诸如输入阈值或对象选择。此类触觉输出将在一些情况下向用户提供有用反馈，该反馈减少输入错误并且提高用户对设备的操作的效率。
在一些实施方案中，具有合适触觉输出模式的触觉输出充当用于在用户界面中或在设备中后台发生关注事件的提示。关注事件的示例包括激活设备上或用户界面中所提供的示能表示(例如，真实或虚拟按钮或者拨动开关)、请求操作的成功或失败、达到或越过用户界面中的边界、进入新状态、在对象之间切换输入焦点、激活新模式、达到或越过输入阈值、检测或辨识到某种输入或手势类型等。在一些实施方案中，提供触觉输出以充当用于除了及时检测到更改或中断输入之外将会发生的临近事件或结果的警告或警报。触觉输出还在其他情形中用于丰富用户体验，改善设备对具有视觉或运动困难的用户的可及性或其他可及性需要，和/或改善用户界面和/或设备的效率和功能性。触觉输出任选地伴随有音频输出和/或可见用户界面变化，其进一步增强用户在与用户界面和/或设备交互时的体验并促进更好地传达关于用户界面和/或设备的状态的信息，并且其减少输入错误并提高用户对设备的操作的效率。
图4D提供一组样本触觉输出模式，其可单独地或组合地、按现状或通过一个或多个变换(例如，调制、放大、删减等)来使用以在各种场景中并且针对各种目的创建合适的触觉反馈，诸如上文所提及的那些触觉反馈以及相对于本文所论述的用户界面和方法所描述的那些触觉反馈。触觉输出选项板的这个示例展示一组三个波形和八个频率可如何用于产生一系列触觉输出模式。除了该图中所示的触觉输出模式之外，任选地通过改变触觉输出模式的增益值来在振幅上对这些触觉输出模式中的每一者进行调整，如例如针对图4E中的全轻击80Hz、全轻击200Hz、小轻击80Hz、小轻击200Hz、微轻击80Hz和微轻击200Hz所示，其各自被示出为具有增益为1.0、0.75、0.5和0.25的变型。如图4E所示，改变触觉输出模式的增益会改变模式的振幅，而不改变模式的频率或改变波形的形状。在一些实施方案中，改变触觉输出模式的频率还导致较低振幅，因为一些触觉输出发生器受可向活动块体施加多少力限制，并且因此，块体的较高频率移动被限于较低振幅以确保创建波形所需要的加速度不需要在触觉输出发生器的操作力范围之外的力(例如，在230Hz、270Hz和300Hz下的全轻击的峰值振幅比在80Hz、100Hz、125Hz和200Hz下的全轻击的振幅低)。
在图4D中，每一列展示具有特定波形的触觉输出模式。触觉输出模式的波形表示活动块体为了生成具有那个触觉输出模式的触觉输出所通过的相对于中性位置(例如，xzero)的物理位移对时间的图案。例如，图4D的左侧列中所示的第一组触觉输出模式(例如，“全轻击”的触觉输出模式)各自具有包括含有两个完整循环的振荡(例如，在中性位置中开始和结束并且三次穿过中性位置的振荡)的波形。图4D的中间列中所示的第二组触觉输出模式(例如，“小轻击”的触觉输出模式)各自具有包括含有一个完整循环的振荡(例如，在中性位置中开始和结束并且一次穿过中性位置的振荡)的波形。图4D的右侧列中所示的第三组触觉输出模式(例如，“微轻击”的触觉输出模式)各自具有包括含有半个完整循环的振荡(例如，在中性位置中开始和结束并且不穿过中性位置的振荡)的波形。触觉输出模式的波形还包括开始缓冲和结束缓冲，其表示活动块体在触觉输出的开始和结束处的逐渐加速和减速。图4D至4E所示的示例性波形包括xmin和xmax值，其表示活动块体的最大和最小移动程度。对于具有较大活动块体的较大电子设备，可存在块体的较大最小移动程度和较小最大移动程度。图4D至4E所示的示例描述块体在一个维度中的移动；然而，类似原理还将适用于活动块体在两个或三个维度中的移动。
如图4D所示，每个触觉输出模式还具有影响用户从具有某个特征频率的触觉输出感受到的触感的“节距”的对应特征频率。对于连续触觉输出，特征频率表示触觉输出发生器的活动块体在给定时间周期内完成的循环数量(例如，每秒循环数)。对于离散触觉输出，生成离散输出信号(例如，具有0.5、1或2个循环)，并且特征频率值指定活动块体需要移动多快来生成具有那个特征频率的触觉输出。如图4D所示，对于每种类型的触觉输出(例如，如相应波形所界定，诸如全轻击、小轻击或微轻击)，较高频率值对应于活动块体的较快移动，并且因此，一般来讲，对应于用于完成触觉输出的较短时间(例如，包括用于针对离散触觉输出完成所需循环数量的时间加上开始和结束缓冲时间)。例如，具有80Hz特征频率的全轻击花费比具有100Hz特征频率的全轻击长的时间来完成(例如，在图4D中35.4ms对28.3ms)。另外，对于给定频率，在相应频率下在其波形中具有较多循环的触觉输出花费比在相同相应频率下在其波形中具有较少循环的触觉输出长的时间来完成。例如，在150Hz下的全轻击花费比在150Hz下的小轻击长的时间来完成(例如，19.4ms对12.8ms)，并且在150Hz下的小轻击花费比在150Hz下的微轻击长的时间来完成(例如，12.8ms对9.4ms)。然而，对于具有不同频率的触觉输出模式，这个规则可能不适用(例如，具有较多循环但较高频率的触觉输出可能花费比具有较少循环但较低频率的触觉输出短的时间量来完成，反之亦然)。例如，在300Hz下，全轻击花费与小轻击一样长的时间(例如，9.9ms)。
如图4D所示，触觉输出模式还具有影响触觉信号中所含有的能量的量或用户可通过具有某个特征振幅的触觉输出感受到的触感的“强度”的特征振幅。在一些实施方案中，触觉输出模式的特征振幅是指表示在生成触觉输出时活动块体从中性位置的最大位移的绝对或归一化值。在一些实施方案中，触觉输出模式的特征振幅是能够根据各种条件(例如，基于用户界面上下文和行为来自定义)和/或预先配置的度量(例如，基于输入的度量和/或基于用户界面的度量)来调整的，例如，通过固定或动态确定的增益因子(例如，介于0与1之间的值)。在一些实施方案中，基于输入的度量(例如，强度变化度量或输入速度度量)测量在触发生成触觉输出的输入期间输入的特征(例如，按压输入中的接触的特征强度的变化速率或接触跨触敏表面的移动速率)。在一些实施方案中，基于用户界面的度量(例如，跨边界速度度量)测量在触发生成触觉输出的用户界面变化期间用户界面元素的特征(例如，元素跨用户界面中的隐藏或可见边界的移动速度)。在一些实施方案中，触觉输出模式的特征振幅可通过“包络”来调制，并且相邻循环的峰值可具有不同振幅，其中上文所示的波形中的一者通过乘以随时间变化的包络参数(例如，从0到1)来进行进一步修改以在正在生成触觉输出时随时间逐渐调整触觉输出的各部分的振幅。
虽然出于例示性目的而在图4D的样本触觉输出模式中表示特定频率、振幅和波形，但可出于相似目的使用具有其他频率、振幅和波形的触觉输出模式。例如，可使用具有0.5至4个循环的波形。还可使用在60Hz至400Hz的范围内的其他频率。表1提供特定触觉反馈行为、配置及其使用实施例的示例。
表1
上文在表1中所示的实施例旨在示出可针对不同输入和事件生成触觉输出的一系列情形。表1不应被视为要求设备以所指示的触觉输出对所列举的输入或事件中的每一者做出响应。而是，表1旨在示出触觉输出如何针对不同输入和/或事件而不同和/或相似(例如，基于触觉输出模式、频率、增益等)。例如，表1展示“事件成功”触觉输出如何不同于“事件失败”触觉输出以及重定向触觉输出如何不同于冲击触觉输出。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件或它们的任何组合(包括一个或多个信号处理和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件诸如CPU 120和外围设备接口118对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可用于将设备的输入和输出外围设备耦接到CPU 120和存储器102。该一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、CPU 120和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被叫做电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络诸如为互联网，也被称为万维网(WWW)，内联网和/或无线网络诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)。无线通信任选地使用多种通信标准、协议和技术中的任何一种，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件的协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息递送和到场协议(XMPP)、用于即时消息和出席利用扩展的会话发起协议(SIMPLE)、即时消息和出席服务(IMPS))和/或短消息服务(SMS)，或者任何其他适当的通信协议，包括截止本文档的提交日期还未开发出的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听的声波。音频电路110还接收由麦克风113根据声波转换的电信号。音频电路110将电信号转换为音频数据，并将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除的音频输入/输出外围设备之间的接口，该外围设备诸如仅输出的耳机或者具有输出(例如，单耳或双耳耳机)和输入(例如，麦克风)二者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161和用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入或控制设备116接收电信号/发送电信号到其他输入或控制设备116。其他输入或控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑块开关、操纵杆、点击轮等等。在一些另选实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频和它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所使用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对指向图形用户界面对象的输入做出响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选菜单项目、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触感和/或触觉接触接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性实施方案中，触敏显示器系统112与用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示器系统112和显示控制器156任选地使用现在已知的或以后开发的多种触摸感测技术中的任何技术以及其他接近传感器
阵列或用于确定与触敏显示器系统112的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性、电阻性、红外线和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的iPod和中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等与触敏显示器系统112形成接触。在一些实施方案中，用户界面被设计为与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入那样精确。在一些实施方案中，设备将基于手指的粗略输入翻译为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电力状态指示器(例如，发光二极管(LED))和与便携式设备中的电力生成、管理和分配相关联的任何其它部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜投射的光，并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块)，光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的后部上，与设备前部上的触敏显示器系统112相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如用于自拍、用于在用户在触摸屏上观看其他视频会议参与者的同时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变计、电容式力传感器、电力传感器、压电力传感器、光学力传感器、电容式触敏表面或其它强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器系统112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备，诸如扬声器或其他音频部件，和/或将能量转换成线性运动的机电设备，诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。触觉输出发生器167从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的后部上，与位于设备100的前部上的触敏显示器系统112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出与外围设备接口118耦接的加速度计168。另选地，加速度计168任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出)以用于获得关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储器102中所存储的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图1A和图3中所示。设备/全局内部状态157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触敏显示器系统112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和其他输入或控制设备116获得的信息；和关于设备位置和/或姿态的位置和/或定位信息。
操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器，并且促进各种硬件和软件部件之间的通信。
通信模块128促进通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括各种软件组件以用于执行与接触(例如，通过手指或通过触笔)的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)以及确定接触是否已停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据来表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案(例如，所检测到的接触的不同运动、定时和/或强度)。因此，任选地通过检测特定接触图案来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，在触敏表面上检测到手指轻扫手势包括检测到手指按下事件，然后检测到一个或多个手指拖动事件，并且随后检测到手指抬起(抬离)事件。类似地，任选地通过检测触笔的特定接触图案来针对触笔检测轻击、轻扫、拖动和其他手势。
图形模块132包括用于在触敏显示器系统112或其他显示器上呈现和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，包括但不限于文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储待使用的用于表示图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还接收坐标数据和其他图形属性数据，并且接着生成屏幕图像数据以输出到显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由触觉输出发生器167使用，以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置，并且提供该信息以在各种应用程序中使用(例如，提供给电话138以用于基于位置的拨号、提供给相机143作为照片/视频元数据、以及提供给提供基于位置的服务的应用程序，诸如天气桌面小程序、本地黄页桌面小程序、和地图/导航桌面小程序)。
应用136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为地址簿或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·锻炼支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下一者或多者：天气桌面小程序149-1、股票桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、字典桌面小程序149-5和由用户获得的其他桌面小程序，以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其任选地由视频播放器模块和音乐播放器模块构成；
·记事本模块153；
·地图模块154；和/或
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、展示应用程序、支持JAVA的应用程序、加密、数字版权管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132以及文本输入模块134，联系人模块137包括用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)的可执行指令，包括：将姓名添加到通讯录；从通讯录中删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名相关联；将图像与姓名相关联；对姓名进行分类和排序；提供电话号码和/或电子邮件地址以发起和/或促进通过电话138、视频会议139、电子邮件140或IM 141进行的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电话模块138包括用于输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话以及当会话完成时断开或挂断的可执行指令。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括用于根据用户指令发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于输入与即时消息对应的字符序列、修改先前输入的字符、发送相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息以及查看所接收的即时消息的可执行指令。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS及/或增强消息服务(EMS)中所支持的其他附件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块152，健身支持模块142包括用于以下操作的可执行指令：创建健身(例如具有时间、距离、和/或卡路里燃烧目标)；与(运动设备和智能手表中的)健身传感器进行通信；接收健身传感器数据；校准用于监测健身的传感器；选择健身音乐并进行播放；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征和/或从存储器102删除静态图像或视频的可执行指令。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令浏览互联网(包括搜索、链接到、接收和显示网页或其部分以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可延伸标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载并重放以一种或多种文件格式诸如MP3或AAC文件存储的记录音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式重放视频(例如，在触敏显示器系统112上或在无线地或经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(苹果公司的商标)的功能性。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向；关于特定位置处或附近的商店和其他兴趣点的数据；以及其他基于位置的数据)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括可执行指令，这些可执行指令允许用户访问、浏览、接收(例如，通过流媒体和/或下载)、重放(例如，在触摸屏112上或在无线地或经由外部端口124连接的外部显示器上)、发送具有特定在线视频的链接的电子邮件，以及以其他方式管理呈一种或多种文件格式诸如H.264的在线视频。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
每个上述模块和应用程序对应于用于执行上述一种或多种功能以及本专利申请所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些示例中，存储器102任选地存储上述模块和数据结构的子集。此外，存储器102任选地存储上面未描述的附加的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板作为用于设备100的操作的主要输入控制设备，任选地减少设备100上的物理输入控制设备(诸如下压按钮、拨号盘等等)的数量。
唯一地通过触摸屏和/或触控板执行的该预定义的一组功能任选地包括在用户界面之间进行导航。在一些实施方案中，触控板在被用户触摸时将设备100从被显示在设备100上的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触控板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触控板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或370(图3)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序136,137至155,380至390中的任一者)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括额外信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被应用程序136-1显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或超过预先确定的持续时间)时传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户可在显示器上看到的控件和其他元件构成。
与应用程序相关联的用户界面的另一方面是一组视图，在本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用的)应用视图任选地对应于在应用的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被认为是正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，该初始触摸开始基于触摸的手势。
点击视图确定模块172接收与基于接触的手势的子事件相关的信息。当应用程序具有在分级结构中组织的多个视图时，命中视图确定模块172将命中视图识别为分级结构中的最低视图，该分级结构应对子事件进行处理。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并且因此确定所有活跃参与的视图应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些示例中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用136-1包括事件分类器170。在另一个实施方案中，事件分类器170是独立的模块，或者是存储在存储器102中的另一个模块(诸如接触/运动模块130)的一部分。
在一些实施方案中，应用136-1包括多个事件处理程序190和一个或多个应用视图191，其中每个应用视图包括用于处理发生在应用的用户界面的相应视图内的触摸事件的指令。应用136-1的每个应用视图191包括一个或多个事件识别器180。通常，相应应用视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序190包括以下一者或多者：数据更新器176、对象更新器177、GUI更新器178和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括至少以下一个子集：元数据183和事件递送指令188(其任选地包括子事件递送指令)。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件、或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他。在一些示例中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是在所显示的对象上的两次轻按。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是在显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬起(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪和处理正在进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当识别事件的一个或多个特定子事件时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件系列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块152中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建并更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息并将其发送到图形模块132以供在触敏显示器上显示。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述讨论还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地利用鼠标移动和鼠标按钮按压，任选地结合单次或多次键盘按压或保持；触控板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛运动；生物识别输入；和/或其任何组合，作为对应于定义要识别的事件的子事件的输入。
图1C是示出根据一些实施方案的触觉输出模块的框图。在一些实施方案中，I/O子系统106(例如，触觉反馈控制器161(图1A)和/或其他输入控制器160(图1A))包括图1C所示的至少一些示例性部件。在一些实施方案中，外围设备接口118包括图1C所示的至少一些示例性部件。
在一些实施方案中，触觉输出模块包括触觉反馈模块133。在一些实施方案中，触觉反馈模块133聚集并且组合用于来自电子设备上的软件应用程序的用户界面反馈(例如，响应于对应于所显示的用户界面以及电子设备的用户界面中的指示操作执行或事件发生的警报和其他通知的用户输入的反馈)的触觉输出。触觉反馈模块133包括以下一者或多者：波形模块123(用于提供用于生成触觉输出的波形)、混合器125(用于混合波形，诸如不同通道中的波形)、压缩器127(用于减小或压缩波形的动态范围)、低通滤波器129(用于滤出波形中的高频信号分量)以及热控制器131(用于根据热状况调整波形)。在一些实施方案中，触觉反馈模块133包括在触觉反馈控制器161(图1A)中。在一些实施方案中，触觉反馈模块133的独立单元(或触觉反馈模块133的独立具体实施)也包括在音频控制器(例如，音频电路110，图1A)中并且用于生成音频信号。在一些实施方案中，单个触觉反馈模块133用于生成音频信号并且生成用于触觉输出的波形。
在一些实施方案中，触觉反馈模块133还包括触发模块121(例如，确定待生成触觉输出并且发起用于生成对应触觉输出的过程的软件应用程序、操作系统或其他软件模块)。在一些实施方案中，触发模块121生成用于发起(例如，通过波形模块123)生成波形的触发信号。例如，触发模块121基于预设时序标准来生成触发信号。在一些实施方案中，触发模块121从触觉反馈模块133外部接收触发信号(例如，在一些实施方案中，触觉反馈模块133从位于触觉反馈模块133外部的硬件输入处理模块146接收触发信号)并且将触发信号中继至触觉反馈模块133内的其他部件(例如，波形模块123)或软件应用程序，其基于用户界面元素(例如，应用程序图标或应用程序内的示能表示)或硬件输入设备(例如，home按钮)的激活来(例如，使用触发模块121)触发操作。在一些实施方案中，触发模块121还接收触觉反馈生成指令(例如，从触觉反馈模块133，图1A和图3)。在一些实施方案中，触发模块121响应于触觉反馈模块(或触觉反馈模块133中的触发模块121)接收触觉反馈指令(例如，从触觉反馈模块133，图1A和图3)而生成触发信号。
波形模块123接收触发信号(例如，从触发模块121)作为输入，并且响应于接收到触发信号，提供用于生成一个或多个触觉输出的波形(例如，从被指定供波形模块123使用的一组预定义波形中选择的波形，诸如下文参考图4D至4E更详细描述的波形)。
混合器125接收波形(例如，从波形模块123)作为输入，并且将这些波形混合在一起。例如，当混合器125接收两个或更多个波形(例如，第一通道中的第一波形和第二通道中的至少部分地与第一波形重叠的第二波形)时，混合器125输出对应于这两个或更多个波形的总和的组合波形。在一些实施方案中，混合器125还修改这两个或更多个波形中的一个或多个波形以强调特定波形突出于这两个或更多个波形中的其余波形(例如，通过增大特定波形的规模和/或减小其余波形的规模)。在一些情况下，混合器125选择一个或多个波形以从组合波形中移除(例如，当存在已被请求通过触觉输出发生器167同时输出的来自三个以上来源的波形时，丢弃来自最老来源的波形)。
压缩器127接收波形(例如，来自混合器125的组合波形)作为输入，并且修改这些波形。在一些实施方案中，压缩器127减小波形(例如，根据触觉输出发生器167(图1A)或357(图3)的物理规格)，使得减小对应于这些波形的触觉输出。在一些实施方案中，压缩器127限制波形，诸如通过对这些波形强制执行预定义最大振幅。例如，压缩器127降低波形的超过预定义振幅阈值的部分的振幅，同时维持波形的不超过预定义振幅阈值的部分的振幅。在一些实施方案中，压缩器127减小波形的动态范围。在一些实施方案中，压缩器127动态减小波形的动态范围，使得组合波形保持在触觉输出发生器167的性能规格(例如，力和/或活动块体位移限制)内。
低通滤波器129接收波形(例如，来自压缩器127的压缩波形)作为输入，并且对波形进行滤波(例如，光滑化)(例如，移除或减少波形中的高频信号分量)。例如，在某些情况下，压缩器127在压缩波形中包括在根据压缩波形生成触觉输出时干扰触觉输出生成和/或超出触觉输出发生器167的性能规格的外来信号(例如，高频信号分量)。低通滤波器129减少或移除波形中的此类外来信号。
热控制器131接收波形(例如，来自低通滤波器129的经过滤波的波形)作为输入，并且根据设备100的热状况调整波形(例如，基于在设备100内检测到的内部温度，诸如触觉反馈控制器161的温度，和/或设备100所检测到的外部温度)。例如，在一些情况下，触觉反馈控制器161的输出依据温度而变化(例如，触觉反馈控制器161响应于接收到相同波形而在触觉反馈控制器161处于第一温度时生成第一触觉输出并且在触觉反馈控制器161处于与第一温度不同的第二温度时生成第二触觉输出)。例如，触觉输出的量值(或振幅)可依据温度而变化。为了减小温度变化的影响，修改这些波形(例如，基于温度来增大或减小波形的振幅)。
在一些实施方案中，触觉反馈模块133(例如，触发模块121)耦接至硬件输入处理模块146。在一些实施方案中，图1A中的其他输入控制器160包括硬件输入处理模块146。在一些实施方案中，硬件输入处理模块146从硬件输入设备145(例如，图1A中的其他输入或控制设备116，诸如home按钮)接收输入。在一些实施方案中，硬件输入设备145是本文所述的任何输入设备，诸如触敏显示器系统112(图1A)、键盘/鼠标350(图3)、触控板355(图3)、其他输入或控制设备116中的一者(图1A)或强度敏感性home按钮(例如，具有机械致动器的home按钮)。在一些实施方案中，硬件输入设备145由强度敏感性home按钮(例如，具有机械致动器的home按钮)构成，而不是由触敏显示器系统112(图1A)、键盘/鼠标350(图3)或触控板355(图3)构成。在一些实施方案中，响应于来自硬件输入设备145的输入，硬件输入处理模块146向触觉反馈模块133提供一个或多个触发信号以指示已经检测到满足预定义输入标准的用户输入，诸如对应于home按钮的“点击”(例如，“按下点击”或“松开点击”)的输入。在一些实施方案中，触觉反馈模块133响应于对应于home按钮的“点击”的输入而提供对应于home按钮的“点击”的波形，其模拟按压物理home按钮的触觉反馈。
在一些实施方案中，触觉输出模块包括触觉反馈控制器161(例如，图1A中的触觉反馈控制器161)，其控制触觉输出的生成。在一些实施方案中，触觉反馈控制器161耦接至多个触觉输出发生器，并且选择该多个触觉输出发生器中的一个或多个触觉输出发生器并且将波形发送至所选择的一个或多个触觉输出发生器以用于生成触觉输出。在一些实施方案中，触觉反馈控制器161协调对应于硬件输入设备145的激活的触觉输出请求和对应于软件事件的触觉输出请求(例如，来自触觉反馈模块133的触觉输出请求)，并且修改这两个或更多个波形中的一个或多个波形以强调特定波形突出于这两个或更多个波形中的其余波形(例如，通过增大特定波形的规模和/或减小其余波形的规模，以便使对应于硬件输入设备145的激活的触觉输出优先于对应于软件事件的触觉输出)。
在一些实施方案中，如图1C所示，触觉反馈控制器161的输出耦接至设备100的音频电路(例如，音频电路110，图1A)，并且向设备100的音频电路提供音频信号。在一些实施方案中，触觉反馈控制器161提供用于生成触觉输出的波形和用于结合触觉输出生成提供音频输出的音频信号两者。在一些实施方案中，触觉反馈控制器161修改音频信号和/或波形(用于生成触觉输出)，使得音频输出和触觉输出被同步(例如，通过延迟音频信号和/或波形)。在一些实施方案中，触觉反馈控制器161包括用于将数字波形转换成模拟信号的数/模转换器，这些模拟信号由放大器163和/或触觉输出发生器167接收。
在一些实施方案中，触觉输出模块包括放大器163。在一些实施方案中，放大器163接收波形(例如，从触觉反馈控制器161)并且放大这些波形，之后将经过放大的波形发送至触觉输出发生器167(例如，触觉输出发生器167(图1A)或357(图3)中的任一者)。例如，放大器163将所接收的波形放大至根据触觉输出发生器167的物理规格的信号电平(例如，放大至触觉输出发生器167生成触觉输出所需要的电压和/或电流，使得发送至触觉输出发生器167的信号产生对应于从触觉反馈控制器161接收的波形的触觉输出)并且将经过放大的波形发送至触觉输出发生器167。作为响应，触觉输出发生器167生成触觉输出(例如，通过在一个或多个维度中相对于活动块体的中性位置来回移动活动块体)。
在一些实施方案中，触觉输出模块包括传感器169，其耦接至触觉输出发生器167。传感器169检测触觉输出发生器167或触觉输出发生器167的一个或多个部件(例如，一个或多个移动零件，诸如薄膜，其用于生成触觉输出)的状态或状态变化(例如，机械位置、物理位移和/或移动)。在一些实施方案中，传感器169是磁场传感器(例如，霍尔效应传感器)或其他位移和/或运动传感器。在一些实施方案中，传感器169向触觉反馈控制器161提供信息(例如，触觉输出发生器167中的一个或多个零件的位置、位移和/或移动)，并且根据传感器169所提供的关于触觉输出发生器167的状态的信息，触觉反馈控制器161调整从触觉反馈控制器161输出的波形(例如，发送至触觉输出发生器167的波形，任选地经由放大器163)。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在附图中没有按比例绘制)或者利用一个或多个触笔203(在附图中没有按比例绘制)在图形上做出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器112上的GUI中的软按键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204、用于使设备开/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过按下按钮并使按钮在下压状态中保持预定义时间间隔来使设备通电/断电；通过按下按钮并在经过预定义时间间隔之前释放按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型计算机、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一个或多个通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时叫做芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于上文参考图1A所述的触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器和/或类似于上文参考图1A所述的接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且任选地包括非易失性存储器诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块、和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中上述所识别的元件的每一个任选地被存储在一个或多个先前提到的存储器设备中。上述所识别的模块中的每一者对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子组任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上面未描述的附加的模块和数据结构。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元件或者其子集或超集：
·一个或多个无线通信(诸如蜂窝信号和Wi-Fi信号)的一个或多个信号强度指示符402；
·时间404；
·蓝牙指示符405；
·电池状态指示符406；
·具有针对常用应用程序的图标的托盘408，该图标诸如：
○电话模块138的被标记为“电话”的图标416，该图标416任选地包括未接来电或语音留言的数量的指示符414；
○电子邮件客户端模块140的被标记为“邮件”的图标418，该图标418任选地包括未读电子邮件的数量的指示符410；
○浏览器模块147的被标记为“浏览器”的图标420；以及
○视频和音乐播放器模块152(也称为iPod(Apple Inc.的商标)模块152)的被标记为“iPod”的图标422；以及
·其他应用程序的图标，诸如：
○IM模块141的被标记为“消息”的图标424；
○日历模块148的被标记为“日历”的图标426；
○图像管理模块144的被标记为“照片”的图标428；
○相机模块143的被标记为“相机”的图标430；
○在线视频模块155的被标记为“在线视频”的图标432；
○股票桌面小程序149-2的被标记为“股票”的图标434；
○地图模块154的被标记为“地图”的图标436；
○天气桌面小程序149-1的被标记为“天气”的图标438；
○闹钟桌面小程序149-4的被标记为“时钟”的图标440；
○健身支持模块142的被标记为“健身支持”的图标442；
○记事本模块153的被标记为“记事本”的图标444；和
○设置应用程序或模块的图标446，该图标446提供对设备100及其各种应用程序136的设置的访问。
应当指出的是，图4A中示出的图标标签仅仅是示例。例如，在一些实施方案中，视频和音乐播放器模块152的图标422被标记为“音乐”或“音乐播放器”。其他标签任选地用于各种应用程序图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4A还示出输入403，诸如home按钮204上的手指或触笔接触。手指或触笔接触在本文中有时叫做触摸输入。在一些实施方案中，home按钮204与显示器112分开，并且任选地，包括与用于检测显示器上的输入的强度的强度传感器分开的一组一个或多个强度传感器。在一些实施方案中，home按钮204是显示器上所显示的虚拟home按钮(例如，具有与用于检测显示器上的输入的强度的强度传感器分开的一组一个或多个强度传感器，或任选地，使用集成到显示器中的强度传感器来确定使用虚拟home按钮的输入的强度)。
在一些实施方案中或在一些情况下，home按钮204上的输入403致使生成触觉输出409。例如，可响应于home按钮204上的单击、双击、长按或者其他输入或输入手势而生成相应触觉输出409。类似地，图4A还示出另一个输入407，诸如应用程序图标424上的手指或触笔接触。在一些实施方案中或在一些情况下，应用程序图标204上的输入407致使生成相应触觉输出411。例如，可响应于应用程序图标424上的单击、双击、长按或者其他输入或输入手势而生成相应触觉输出411。此外，在一些实施方案中，触觉输出409可具有比触觉输出411高的优先级，例如因为触觉输出409对应于硬件元件(例如，home按钮204)上的输入，并且触觉输出411对应于电子设备的显示器112上所显示的用户界面元素(例如，应用程序图标)的输入。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如，传感器357中的一者或多者)，和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器359。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后许多示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有对应于显示器(例如，450)上的主轴(例如，图4B中的453)的主轴(例如，图4B中的452)。根据这些实施方案，设备检测在对应于显示器上的相应位置的位置(例如，在图4B中，460对应于468并且462对应于470)处与触敏表面451的接触(例如，图4B中的460和462)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(例如，图4B中的450)分开时，由设备在触敏表面上检测到的用户输入(例如，接触460和462及其移动)被该设备用来操纵显示器上的用户界面。应当理解，类似方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、手指轻击手势、手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一者或多者由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠标点击(例如，代替接触)，之后是光标沿着轻扫的路径的移动(例如，代替接触的移动)来替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)来替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所使用，术语“焦点选择器”是指示用户正与之交互的用户界面的当前部分的输入元素。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触控板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)时，根据检测到的输入来调整该特定用户界面元素。在包括实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏)的一些具体实施中，在触摸屏上所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整该特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据用户界面的不同区域之间的焦点移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送用户打算的与用户界面的交互(例如，通过向设备指示用户界面的用户打算与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量值被合并(例如，加权平均或者加和)以确定估计的接触的力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代测量值直接用于确定是否已超过强度阈值(例如，强度阈值是以与替代测量值对应的单位来描述的)。在一些具体实施中，将接触力或压力的替代测量值转换为预估力或压力，并且使用预估力或压力确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定用户是否已经执行操作(例如，确定用户是否已经“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设置为大范围预定义阈值中的任一者。另外，在一些具体实施中，向设备的用户提供用于调整该组强度阈值中的一个或多个强度阈值(例如，通过调整各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调整多个强度阈值)的软件设置。
如说明书和权利要求书中所使用，接触的“特征强度”这一术语是基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特性强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬起之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值、通过对在预定义周期内或在预定义时间处开始的接触强度进行低通滤波来产生的值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特性强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续的轻扫接触，该连续的轻扫接触从起始位置过渡并到达结束位置(例如拖动手势)，在该结束位置处，接触的强度增加。在该示例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，并且不是整个轻扫接触(例如，仅结束位置处的轻扫接触部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，该平滑化算法任选地包括以下各项中的一者或多者：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄尖峰或凹陷以实现确定特征强度的目的。
本文描述的用户界面图任选地包括各种强度图，这些强度图示出触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值IT0、轻按压强度阈值ITL、深按压强度阈值ITD(例如，至少初始高于IL)和/或一个或多个其他强度阈值(例如，比IL低的强度阈值IH))的当前强度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标的按钮或触控板相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值IT0，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对设备所检测到的输入的响应取决于包括基于输入期间的接触强度和时间的标准两者的标准。例如，对于一些“深按压”输入，在输入期间超过第二强度阈值的接触的强度仅在已经在满足第一强度阈值与满足第二强度阈值之间过去某个延迟时间的情况下触发第二响应，其中该第二强度阈值大于轻按压的第一强度阈值。这个延迟时间通常在持续时间上小于200ms(例如，40、100或120ms，具体取决于第二强度阈值的量值，其中延迟时间随着第二强度阈值增大而增大)。这个延迟时间帮助避免意外识别深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后会出现敏感度降低的时间段。在这个敏感度降低的时间段期间，提高第二强度阈值。第二强度阈值的这种临时增大还有助于避免意外的深按压输入。对于其他深按压输入，对检测到深按压输入的响应不依赖于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素而变化，诸如用户设置、接触运动、输入时序、应用程序运行、施加强度的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等。示例性因素在美国专利申请序列号14/399,606和14/624,296中有所描述，这些美国专利申请的全文以引用的方式并入本文中。
图4C示出了设备100(例如，设备300，图3)上的示例性用户界面472。在该示例中，用户界面472包括响应于设备100所接收的电子消息而产生的通知413(例如，对参加活动的邀请)。通知413相对于设备100的用户的任何动作为异步的，因为其不是由触敏表面或硬件元件上的用户输入触发的。在一些实施方案中，设备100响应于或结合显示通知413生成触觉输出415。此外，在一些实施方案中，触觉输出415具有比响应于硬件元件上的用户输入而生成的触觉输出低的优先级以及比响应于电子设备的显示器上所显示的图形用户界面元素上的用户输入而生成的触觉输出低的优先级。
用户界面和相关联的过程
现在关注可在具有显示器、触敏表面和一个或多个用于检测与触敏表面的接触的强度的传感器的电子设备诸如便携式多功能设备100或设备300上实现的用户界面(“UI”)和相关联过程的实施方案。
图5A至5L示出了根据一些实施方案的触觉输出、触觉输出组合和对应音频输出的示例。请注意，上文参考图4D至4E论述了触觉输出的示例，并且此类示例适用于本文相对于图5A至5L以及方法600,700和800所论述的触觉输出。图5A至5L所示的触觉输出和音频输出用于示出下文所述的过程，包括图6A至6F、图7A至7D和图8A至8D中的过程。
为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来讨论一些实施方案。在此类实施方案中，焦点选择器任选地为：在触敏显示器系统112上所检测到的相应手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的质心或与相应接触相关联的点)或者两个或更多个接触的质心。然而，响应于在显示器450上显示图中所示的用户界面连同焦点选择器时在触敏表面451上检测到接触，任选地在具有显示器450和独立触敏表面451的设备上执行类似操作。
图5A示出了第一触觉通道(触觉通道1)上的第一触觉输出502和第二触觉通道上的第二触觉输出504，以及从组合第一触觉输出和第二触觉输出产生的组合触觉输出510(本文中有时叫做“组合触觉输出”)。第一触觉输出502对应于对生成触觉输出的第一请求，或第一输入(例如，对应于电子设备的显示器上所显示的用户界面元素的输入)，或第一触发条件(例如，用于具有第一优先级的第一组一个或多个触觉输出的触发条件)，其由指示符501表示。类似地，第二触觉输出504对应于对生成触觉输出的第二请求，或第二输入(例如，对应于电子设备的一个或多个硬件元件的输入)，或第二触发条件(例如，用于具有第二优先级的第二组一个或多个触觉输出的触发条件)，其由指示符503表示。任选地，额外触觉通道中的额外触觉输出(图5A中未示出，但见图5C)与第一触觉输出502和第二触觉输出504组合以产生组合触觉输出510。
在一些实施方案中或在一些情况下，组合两个或更多个触觉输出是通过混合这两个或更多个触觉输出来完成的，任选地具有被执行以调节触觉输出中的一者或多者的一个或多个部分和/或调节组合触觉输出510的一个或多个部分的额外处理。然而，在图5A的示例中，尚未执行此类额外处理。例如，在图5A的示例中，不需要额外处理，因为待组合的触觉输出的数量不超过预定义限制，并且因为组合触觉输出的振幅不超过预定义振幅限制。
任选地，同时或在重叠时间期间，在生成并组合触觉输出502和504时，生成并组合一个或多个音频输出信号。在图5A所示的示例中，第一音频输出512对应于指示符501所表示的第一请求、第一输入或第一触发条件，并且第二音频输出514对应于指示符503所表示的第二请求、第二输入或第二触发条件。换句话说，分别对应于触觉输出502和504的相同请求、输入或触发条件501和503还分别对应于音频输出512和514。如图所示，第一音频输出512和第二音频输出514被组合以产生在与例如使用一个或多个触觉输出发生器输出组合触觉输出的时间周期相同或重叠的时间周期期间播放(例如，以产生可听信号)的组合音频输出520。
在一些实施方案中，触觉输出502,504中的一者或多者是同步触觉和音频输出诸如502/512和504/514中的一者或多者的一部分，这些同步触觉和音频输出包括被同步为以特定时间对准发生的音频输出和对应触觉输出两者。
为了简化图5B至5L的描述，将不再重复上文所提供的关于请求、输入或触发条件诸如指示符501和503所指示的那些内容与触觉输出诸如触觉输出502和504以及任选地音频输出诸如音频输出512和514之间的对应的描述。类似地，将不再重复使用一个或多个触觉输出发生器输出相应组合触觉输出510以及播放相应组合音频输出520以产生可听信号的事实，除非提供进一步评论或解释。
图5B类似于图5A，不同之处只是在图5B所示的示例中，除了第一触觉输出502和第二触觉输出504之外，第三触觉输出506对应于对生成触觉输出的第三请求、第三输入(例如，对应于电子设备的显示器上所显示的用户界面元素的输入)或第三触发条件(例如，用于具有第三优先级的第三组一个或多个触觉输出的触发条件)，其由指示符505表示。
在该示例中，触觉输出的数量超过被准许混合在一起以供经由一个或多个触觉输出发生器同时输出的触觉输出的阈值数量。因而，将触觉输出的子集组合或混合在一起，排除触觉输出中的至少一者，以产生组合触觉输出510。非限制地，被准许混合在一起以供经由一个或多个触觉输出发生器同时输出的触觉输出的阈值数量的示例为两个、三个和四个。
类似地，在一些实施方案中，音频输出的数量可超过被准许组合在一起以供经由一个或多个扬声器同时输出的音频输出的阈值数量。因而，将音频输出的子集组合或混合在一起，排除音频输出中的至少一者，以产生组合音频输出520。非限制地，被准许混合在一起以供经由一个或多个触觉输出发生器同时输出的音频输出的阈值数量的示例为两个、三个、四个、五个、六个、七个和八个。在一些实施方案中或在一些情形中，在不排除已被请求或触发的该多个音频输出中的任一者的情况下组合音频输出，而在排除已被请求或触发的该多个触觉输出中的一者或多者的情况下组合触觉输出。
在一些实施方案中，触觉输出502,504,506中的一者或多者是同步触觉和音频输出诸如502/512、504/514和506/516中的一者或多者的一部分，这些同步触觉和音频输出包括被同步为以特定时间对准发生的音频输出和对应触觉输出两者。
图5C类似于图5B，不同之处只是在图5C所示的示例中，第三触觉输出506A和指示符505A所指示的对应第三请求、第三输入或第三触发条件比图5B中的对应条目晚发生，使得第三触觉输出506A仅部分地与第一触觉输出502重叠。在该示例中，第三触觉输出506不与第一触觉输出502的第一部分521重叠。另外，在该示例中，输出第一触觉输出502的第一部分521，作为组合触觉输出510A的第一部分531的一部分。
在该示例中，第三触觉输出506与第一触觉输出502的第二稍后部分522重叠。如果第三触觉输出506与第一触觉输出502和第二触觉输出504的组合不超过被准许混合在一起以供经由一个或多个触觉输出发生器同时输出的触觉输出的阈值数量，则将第三触觉输出506与第一触觉输出502和第二触觉输出504混合以生成组合触觉输出510A的第二部分532，而不排除第一触觉输出502的第二部分。另一方面，如果第三触觉输出506与第一触觉输出502和第二触觉输出504的组合超过被准许混合在一起以供经由一个或多个触觉输出发生器同时输出的触觉输出的阈值数量，则将第三触觉输出506与第一触觉输出502和第二触觉输出504混合，但在生成组合触觉输出510A的第二部分532时排除第一触觉输出502的第二部分。
在该示例中，第三音频输出516A部分地与第一音频输出512和第二音频输出514重叠。如上提到，在一些实施方案中，如在该示例中，第一音频输出512与第一触觉输出502同步并且由触发第一触觉输出502的相同条件触发。此外，在一些实施方案中，组合音频输出520A是通过组合第一音频输出512、第二音频输出514和第三音频输出516来生成的，而不管是否从组合触觉输出510排除第一触觉输出502的第二部分522。
图5D示出了一个示例，其中第一触觉输出502和第二触觉输出504以及对应的第一音频输出512和第二音频输出514与图5A、图5B和图5C所示相同，但在该示例中，额外(第三)触觉输出506B不与第一触觉输出502和第二触觉输出504重叠，并且额外(第三)音频输出516B不与第一音频输出512和第二音频输出514重叠。额外/第三触觉输出506B和第三音频输出516B对应于指示符505B所指示的额外/第三请求或输入或触发条件。
在图5D所示的示例中，由于额外/第三触觉输出506B不与第一触觉输出502和第二触觉输出504重叠，所以重叠或同时触觉输出的数量不超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量。因而，如图5D所示，组合触觉输出510B是通过在不排除或减小正被混合的触觉输出中的任一者的规模的情况下将额外/第三触觉输出与该多个(例如，第一和第二)较早触觉输出502,504进行混合来产生的。
图5E示出了第一触觉通道(触觉通道1)上的第一触觉输出502和第二触觉通道上的第二触觉输出504，其被混合以产生组合触觉输出510C。在图5E中，组合触觉输出510C由虚线表示，而修改版本510C-RS由实线表示，在下文中更详细地描述该修改版本的生成。组合触觉输出510C包括第一部分P1和第二部分P2。在该示例中，向组合触觉输出510C施加先行振幅限制以确保所得的组合触觉输出510C-RS(本文中有时叫做组合触觉输出)满足用于该一个或多个触觉输出发生器的输出限制标准。更具体地讲，根据确定组合触觉输出510C的第二部分P2(组合触觉输出510C的第二部分的振幅)满足用于该一个或多个触觉输出发生器的输出限制标准(例如，通过超过用于该一个或多个触觉输出发生器的输出限制)，在紧接在组合触觉输出510C的第二部分P2之前的组合触觉输出510C的至少第一部分P1期间减小组合触觉输出510C的规模。
请注意，用于该一个或多个触觉输出发生器的输出限制标准可对应于该一个或多个触觉输出发生器的物理限制。在一些实施方案中，确保符合用于该一个或多个触觉输出发生器的输出限制标准防止在输出触觉输出信号时对该一个或多个触觉输出发生器造成破坏。任选地，此类破坏包括加速磨损该一个或多个触觉输出发生器，这将缩短该一个或多个触觉输出发生器的功能寿命。
在一些实施方案中，在第一部分P1期间减小组合触觉输出的规模之后，设备继续经由该一个或多个触觉输出发生器输出在第二部分P2期间具有减小规模的组合触觉输出510C-RS。因此，减小的第二部分的振幅满足预定义限制。
此外，在一些实施方案中，如图5E所指示，组合触觉输出510C的减小规模可变化。例如，在组合触觉输出510的第一部分P1中，组合触觉输出510C-RS的规模可从初始规模(例如，1.0)平滑地减小到相应减小规模(例如，0.6)，使得相应减小规模足以确保组合触觉输出510C-RS的第二部分满足用于该一个或多个触觉输出发生器的输出限制标准。接着，在组合触觉输出510C-RS的第二部分P2中，将组合触觉输出510C-RS的规模维持于在第一部分P1的结束处获得的相应减小规模。
所得的组合触觉输出是经过修改的组合触觉输出510C-RS。请注意，在正在减小组合触觉输出510C-RS的规模的任何时刻，组合触觉输出510C-RS的振幅可正在增大或减小。这可用数学方式表示为：
outputRS(t)＝scale(t)*cutput(t)
其中outputRS(t)是所得的组合触觉输出510C-RS，并且减小规模scale(t)和组合触觉输出510C output(t)两者均可随时间动态地改变。经由该一个或多个触觉发生器输出基于经过修改的组合触觉输出510-RS的触觉输出序列，包括具有减小规模的组合触觉输出510C-RS的第一部分。
在图5E所示的示例中，将音频输出512和514处理成产生的组合音频输出520与在图5A所示的示例中相同。换句话讲，尽管组合触觉输出510C的若干部分的规模被减小以满足用于该一个或多个触觉输出发生器的输出限制标准，但在该示例中在不减小的情况下组合音频输出512,514。另一方面或者另选地，尽管组合触觉输出510C的若干部分的规模被减小以满足用于该一个或多个触觉输出发生器的输出限制标准，但独立于如何组合触觉输出502,504来组合音频输出512,514。
图5F示出了一个示例，其中对通过混合多个触觉输出诸如触觉输出502和504来产生的组合触觉输出510D的至少一部分进行低通滤波以便移除或减少组合触觉输出的高于预定义截止频率的频率分量(如果存在的话)。在图5F中使用实线展示组合触觉输出510D，而使用虚线展示经过低通滤波的组合触觉输出510D-LP。
在一些实施方案中，对整个组合触觉输出510D进行低通滤波，以确保发送至该一个或多个触觉输出发生器的组合触觉输出不包括高于预定义截止频率的频率分量。在一些其他实施方案中，对组合触觉输出510D的通过混合两个或更多个触觉输出来产生的若干部分进行低通滤波，而不对对应于未与其他触觉输出组合的触觉输出或触觉输出的若干部分的至少一些其他部分进行低通滤波。
在一些实施方案中，应用于组合触觉输出510D的低通滤波器具有基于设备的硬件的物理约束来设置的截止频率(例如，对于具有能够实现较高频率的较小触觉输出发生器的设备，低通滤波器任选地具有较高截止频率，而对于具有不能够实现较高频率的较大触觉输出发生器的设备，低通滤波器任选地具有较低截止频率)。通过基于设备的性能来设置低通滤波器的截止频率，应用程序、操作系统模块或者此类应用程序和模块的UI元素或其他元素可请求生成触觉输出而不管设备的硬件的物理约束，并且低通滤波器将确保设备的触觉输出发生器不接收用于生成其不能够生成或不能够可靠地或有效地生成的触觉输出的指令。
图5G示出了一个示例，其中第一触觉输出502和第二触觉输出504E被混合以产生组合触觉输出510E，其在图5G中使用虚线来展示。组合触觉输出的修改版本510E-RS通过实线来表示，下文中更详细地描述该修改版本的生成。组合触觉输出510E包括第一至第五连续部分P1、P2、P3、P4和P5，如图5G所示。在该示例中，向组合触觉输出510E施加先行振幅限制以确保所得的组合触觉输出510E-RS满足用于该一个或多个触觉输出发生器的输出限制标准。更具体地，根据确定组合触觉输出510E的第三部分P3(例如，组合触觉输出510E的部分P3的振幅)满足用于该一个或多个触觉输出发生器的输出限制标准(例如，通过超过用于该一个或多个触觉输出发生器的输出限制)，在紧接在组合触觉输出510E的第三部分P3之前的组合触觉输出510E的至少第二部分P2期间减小组合触觉输出510E的规模。
在一些实施方案中，在第二部分P2期间减小组合触觉输出的规模之后，设备继续经由该一个或多个触觉输出发生器输出在第三部分P3期间具有减小规模的组合触觉输出。因而，第三部分P3的振幅满足预定义限制。另外，在减小第二部分P2和第三部分P3的规模之后，电子设备在组合触觉输出的跟随第三部分P3之后的至少第四部分P4期间逐渐增大组合触觉输出510E-RS的规模，如图5G所示。
在该示例中，不减小组合触觉输出510E的第一部分P1和第五部分P5的规模。另外，在对该示例的一些论述中，可忽略部分P1和P5，并且因而，部分P2、P3和P4有时分别叫做组合触觉输出的第一部分、第二部分和第三部分。
在图5G所示的示例中，对音频输出512和514E进行处理以产生组合音频输出520E与在图5A所示的示例中相同。换句话讲，尽管组合触觉输出510E的若干部分的规模被减小以满足用于该一个或多个触觉输出发生器的输出限制标准，但在不减小的情况下组合音频输出512,514E。另选地，尽管组合触觉输出510G的若干部分的规模被减小以满足用于该一个或多个触觉输出发生器的输出限制标准，但独立于如何组合触觉输出502,504E来组合音频输出512,514E。
图5H示出了一个示例，其中第一触觉输出502和不与第一触觉输出502重叠的第二触觉输出504F被混合以产生组合触觉输出510F。类似地，不重叠的第一音频输出512和第二音频输出514F被组合以产生组合音频输出520F。下文更详细论述的图5J和图5L示出重叠触觉输出被混合以产生组合触觉输出510H和510K的示例。
图5I示出了一个示例，其中第一触觉输出502和与第一触觉输出502重叠的第二触觉输出504G被混合以产生组合触觉输出510G，在本文中还叫做经过修改的触觉输出序列，其中相对于触觉输出502或504G中的一者(例如，触觉输出502)强调这些触觉输出中的另一者(例如，触觉输出504G)。另外，在该示例中，重叠的第一音频输出512和第二音频输出514F被组合以产生组合音频输出520G。
在该示例中，第一触觉输出502是响应于检测到指示符501所指示的第一触发条件而产生的，并且第一触觉输出具有第一优先级。类似地，第二触觉输出504G是响应于检测到指示符503G所指示的第二触发条件而产生的，并且第二触觉输出504G具有第二优先级。
根据确定第二优先级高于第一优先级，减小第一触觉输出502的与第二触觉输出504G重叠的至少一部分(例如，部分P3，或P2至P4)的规模(例如，相对于这些触觉输出中的另一者诸如具有第二优先级的触觉输出504G的规模)。任选地，还减小第一触觉输出的相邻部分诸如部分P1至P2和P4至P5的规模，例如通过将第一此类部分P1中的规模从初始规模(例如，在部分P1之前使用的规模)平滑地减小到部分P2至P4中使用的减小规模，并且接着将最后此类部分P5中的规模从该减小规模平滑地增大回到初始规模。在图5I所示的示例中，在部分P2至P4中使用的减小规模为零，这意味着在部分P2至P4中出于组合触觉输出502和504G的目的而用触觉静默替换第一触觉输出502，但在其他示例中，该减小规模可高于零但小于初始规模。组合触觉输出510G是通过组合至少第一触觉输出502(包括其具有减小规模的任何部分)与第二触觉输出504G(包括其具有减小规模的任何部分)来生成的(但在该示例中，第二触觉输出504G没有具有减小规模的任何部分)。
图5J示出了一个示例，其中第一触觉输出502和与第一触觉输出502重叠的第二触觉输出504G被混合以产生组合触觉输出510H，在本文中还叫做经过修改的触觉输出序列，其中相对于触觉输出502或504G中的一者(例如，触觉输出504G)强调这些触觉输出中的另一者(例如，触觉输出502)。重叠的第一音频输出512和第二音频输出514F被组合以产生组合音频输出520H。在该图5J中，使用虚线来展示第一触觉输出502和第二触觉输出504G的未缩放组合510H-C，而使用实线来展示缩放组合510H。
在该示例中，第一触觉输出502是响应于检测到指示符501所指示的第一触发条件而产生的，并且第一触觉输出具有第一优先级。类似地，第二触觉输出504G是响应于检测到指示符503G所指示的第二触发条件而产生的，并且第二触觉输出504G具有第二优先级。
根据确定第一优先级高于第二优先级，减小第二触觉输出504G的与第一触觉输出502重叠的至少一部分(例如，部分P3，或P2至P4)的规模(例如，相对于这些触觉输出中的另一者诸如具有第一优先级的触觉输出502的规模)。任选地，还减小第二触觉输出的相邻部分(如果存在的话)诸如部分P1和P5(如果此类部分存在的话)的规模，例如通过将第一此类部分P1(如果存在的话)中的规模从初始规模(例如，在部分P1之前使用的规模)平滑地减小到部分P2至P4中使用的减小规模，并且接着将最后此类部分P5(如果存在的话)中的规模从减小规模平滑地增大回到初始规模。组合触觉输出510H是通过组合至少第一触觉输出502(包括其具有减小规模的任何部分；但在该示例中，第一触觉输出502没有具有减小规模的任何部分)与第二触觉输出504G(包括其具有减小规模的任何部分)来生成的。
图5K示出了一个示例，其与图5I或5J所示的示例相关，其中组合触觉输出510G(图5I)或510H(图5J)的第二部分P2的持续时间是基于组合触觉输出的第一部分P1的量值(例如，振幅)来选择的，该组合触觉输出在本文中有时叫做经过修改的触觉输出序列。使得第二部分P2的持续时间能够基于经过修改的触觉输出序列的紧接在前的部分的量值来调整有助于确保用户能够检测经过修改的触觉输出序列的随后部分(P3)作为相异触觉输出或相异事件。在图5K的上半部分中，与第二触觉输出504G组合以产生组合触觉输出510J(低)的第一触觉输出502J(低)具有低量值，而在图5K的下半部分中，与第二触觉输出504G组合以产生组合触觉输出510J(高)的第一触觉输出502J(高)具有高量值。
如图5K的示例所示，如果组合触觉输出510J(低)或510J(高)的第一部分P1具有低量值(见图5K的上半部分)，则组合触觉输出510J(低)的第二部分P2的持续时间相对较短(例如，持续时间被设置为预定义最小持续时间，诸如5毫秒(5ms))，该组合触觉输出在本文中还叫做经过修改的触觉输出序列。另一方面，如果第一部分P1具有高量值，如图5K的下半部分所示，组合触觉输出510J(高)的第二部分P2的持续时间相对较长(例如，7至8ms，其比预定义最小持续时间长)。
在一些实施方案中，如果触觉输出的量值小于第一阈值，则触觉输出的第一部分具有低量值，并且如果触觉输出的量值大于第一阈值，则触觉输出的第一部分具有高量值。在一些实施方案中，其他预定义标准用于分类触觉输出的第一部分的量值。在一些实施方案中，映射函数或缩放函数(例如，连续线性函数或分段单调函数)用于将触觉输出的第一部分的量值映射到触觉输出的第二部分的持续时间或用于持续时间的缩放因子。
任选地，在一些实施方案中，经过修改的触觉输出序列具有第一部分(例如，组合触觉输出510J(高)的部分P1，图5K)和第四部分(例如，组合触觉输出510J(高)的部分P4，图5K)，在该第一部分期间使用从第一输出水平逐渐减小至第二输出水平的输出水平输出第一组触觉输出(例如，触觉输出502)，并且在该第四部分期间使用从第三输出水平(例如，与第二输出水平相同)逐渐增大至第四输出水平(例如，与第一输出水平相同)的输出水平输出第一组触觉输出(例如，触觉输出502)，其中第四部分(例如，P4，图5K)在第三部分(例如，P3，图5K)之后。在一些实施方案(见图5K的上半部分中的组合触觉输出510J(低))中，第三部分紧跟有触觉静默的第四部分，其又紧跟有第五部分，在第五部分期间使用从第三输出水平(例如，与第二输出水平相同)逐渐增大至第四输出水平(例如，与第一输出水平相同)的输出水平输出第一组触觉输出(例如，触觉输出502)。
图5L示出了一个示例，其中检测用于第三触觉输出506K的第三触发条件，其由指示符505K指示。第三触觉输出506K具有比(第二触觉输出504的)第二优先级和(第一触觉输出502的)第一优先级高的第三优先级。例如，第三触发条件和第三触觉输出对应于一个或多个硬件元件，诸如home按钮204(图4A和图4C所示)或者其他物理按钮或模拟物理按钮。
响应于检测到第三触发条件505K，并且根据确定第三触觉输出506K被调度为至少部分地与第一触觉输出502和第二触觉输出504重叠，电子设备减小第一触觉输出502的与第三触觉输出506K重叠的至少一部分的规模，并且还减小第二触觉输出504的与第三触觉输出506K重叠的至少一部分的规模。在图5L所示的示例中，三个触觉输出502,504和506K在对应于组合触觉输出510K的部分P3的时间周期期间重叠，并且在那个时间周期期间第一触觉输出和第二触觉输出的规模被减小至零。因而，组合触觉输出510K在部分P3期间仅包括第三触觉输出506K。在该示例中，在组合触觉输出510K的部分P1和P5期间，以全规模(没有减小规模)混合第一触觉输出502和第二触觉输出504，从而得到在部分P1和P5期间具有相对较高量值的组合触觉输出。
另外，在图5L所示的示例中，在紧接在组合触觉输出506K的部分P3之前和之后的组合触觉输出506K的部分P2和P4期间，将组合触觉输出506K的量值设置为零或显著减小组合触觉输出506K的规模(例如，50％以上)，从而使得组合触觉输出506K的部分P3更易于由电子设备的用户观测作为独立触觉输出。
在图5L所示的示例中，第一音频信号512、第二音频信号514和第三音频信号516K分别与第一触觉输出502、第二触觉输出504和第三触觉输出506K同步。在该示例中，音频信号512,514和516K在不进行缩放的情况下被组合以产生组合音频输出520K。如图所示，组合音频输出520K的中部部分，其对应于其中所有三个音频信号512,514和516K重叠的部分，具有比紧接在中部部分之前和之后的部分大的量值，因为那些部分具有较少重叠音频信号(两个重叠音频信号，代替三个)。然而，请注意，归因于相消干扰和变化的触觉输出振幅，较大数量的波形的重叠未必导致组合触觉输出的较大振幅。
图6A至6F是根据一些实施方案的示出组合对应于来自多个来源的触发条件或输入的触觉输出并且向所组合的触觉输出的数量或向组合触觉输出的量值和/或频率分量施加限制的方法600的流程图。图5A至5J中示出触觉输出、组合触觉输出和音频输出的对应示例。方法600是在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备(例如，设备300，图3，或便携式多功能设备100，图1A)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些示例中，显示器与触敏表面是分开的。方法600中的一些操作任选地被组合，和/或一些操作的次序任选地被改变。
如下文所述，方法600通过根据一个或多个触觉输出发生器的限制标准向进行组合的触觉输出的数量和/或向通过混合或以其他方式组合多个触觉输出来产生并且使用一个或多个触觉输出发生器进行输出的组合触觉输出的量值和/或频率分量施加限制来提供改善的触觉反馈，并且在一些情况下，提供同步触觉和音频反馈。方法600使得多个应用程序能够提供触觉输出，其中这些应用程序不必考虑对能够组合的触觉输出的数量的限制或对组合触觉输出的振幅或量值或频率分量的限制，同时确保输出较高优先级触觉输出或相对于较低优先级触觉输出强调较高优先级触觉输出。该方法减小了在与设备或在设备上运行的应用程序交互时来自用户的输入的数量、程度和/或性质，从而创建更有效的人机界面。从设备的用户的角度来看，方法600使得用户能够接收多个触觉输出，其具有优先级区分以确保较高优先级触觉输出不被排除或相对于较低优先级触觉输出进行强调，并且使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入，这增强了设备的可操作性。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
请注意，触觉反馈还向触摸屏用户界面的用户提供有价值的信息，其中用户的手指正遮蔽对应视觉反馈。
设备接收(602)对使用设备的一个或多个触觉输出发生器生成多个触觉输出的多个请求。该多个触觉输出包括两个或更多个重叠触觉输出。例如，如图5A和5B所示，分别对应于指示符501和503的第一请求和第二请求是分别从第一应用程序和第二应用程序或从应用程序和从设备的操作系统接收的。对应于第一请求的第一触觉输出502和对应于第二请求的第二触觉输出504至少部分地重叠。
方法600包括响应于接收到该多个请求而经由该一个或多个触觉输出发生器生成并输出(604)组合触觉输出，例如图5A和5B所示的组合触觉输出510。图5C至5L中示出组合触觉输出的其他示例。如何生成组合触觉输出至少部分地取决于该多个触觉输出是否超过被准许混合在一起以供经由一个或多个触觉输出发生器同时输出的触觉输出的阈值数量，并且因此设备确定(606)该多个触觉输出是否超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量。
根据确定该多个触觉输出不超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(606-否)，生成和输出(604)包括将该多个触觉输出混合(606)在一起成第一组合触觉输出，将第一组合触觉输出包括在组合触觉输出(例如，组合触觉输出510，图5A)中，并且经由一个或多个触觉输出发生器输出(608)组合触觉输出，包括第一组合触觉输出。例如，图5A示出不超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(例如，两个)的多个触觉输出(例如，两个触觉输出502,504)。在该示例中，该多个触觉输出被混合在一起成组合触觉输出510中所包括的第一组合触觉输出。
根据确定该多个触觉输出超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(606-是)，该生成和输出包括将该多个触觉输出的子集混合(612)在一起成不包括该多个触觉输出中的至少一者的第二组合触觉输出，将第二组合触觉输出包括在组合触觉输出中，并且经由一个或多个触觉输出发生器输出(614)组合触觉输出，包括第二组合触觉输出。通过以此方式混合触觉输出并且防止过多数量的重叠触觉输出被混合成组合触觉输出，向用户提供改善的触觉反馈，从而增强设备的可操作性。在图5B中提供以刚刚描述的方式混合触觉输出的示例，图5B示出多个触觉输出(例如，三个触觉输出502,504,506)超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(例如，两个)。在该示例中，当该多个触觉输出被混合在一起成组合触觉输出510中所包括的第二组合触觉输出时，第三触觉输出506被排除并且因此不包括在组合触觉输出510中。
在一些实施方案中，该多个触觉输出中的一个或多个触觉输出是包括被同步以使用特定时间对准发生的音频输出和对应触觉输出两者的同步触觉和音频输出的一部分(620)。例如，在图5A中，音频输出512与触觉输出502同步，并且音频输出514与触觉输出504同步。提供同步的触觉和音频输出，同时防止过多
在一些实施方案中，该多个触觉输出包括(622)响应于指向所显示的用户界面中的控制元件的用户输入(例如，应用程序图标424上的用户输入407，图4A)而生成的触觉输出(例如，触觉输出502，图5A)。在一些实施方案中，不同控制元件被指派给不同触觉输出通道(例如，见图5A和图5B中的触觉通道1、2和3)，使得第一控制元件请求经由被指派给第一控制元件的第一触觉输出通道生成触觉输出(例如，第一控制元件上的用户输入致使对应应用程序或操作系统模块生成用于第一触觉输出的第一请求)，并且第二控制元件请求经由被指派给第二控制元件并且不同于第一触觉输出通道的第二触觉输出通道生成触觉输出(例如，第二控制元件上的用户输入致使另一个应用程序或操作系统模块使用与用于第一请求的触觉输出通道不同的触觉输出通道生成用于第二触觉输出的第二请求)。
在一些实施方案中，该多个触觉输出包括(624)响应于指向硬件控件的用户输入而生成的触觉输出。硬件控件的示例包括触摸或强度敏感性控件、机械输入设备诸如机械开关或转盘以及固态home按钮。本文中参考方法700和图7A至7D提供关于响应于硬件控件上或指向硬件控件的输入而产生触觉输出的进一步论述。
在一些实施方案中，该多个触觉输出包括(626)响应于发生预定义条件(例如，传入电话呼叫、传入文本消息、调度闹钟或从在设备外部的光源或从在设备内部的来源诸如应用程序或操作系统模块接收的其他警报)而生成的触觉输出。
在一些实施方案中，接收该多个请求包括(628)：接收对应于显示器上所显示的用户界面元素的第一组一个或多个输入并且接收对应于一个或多个硬件元件的第二组一个或多个输入。该第一组一个或多个输入对应于第一组一个或多个触觉输出，并且该第二组一个或多个输入对应于第二组一个或多个触觉输出。此外，该多个触觉输出包括第一组一个或多个触觉输出和第二组一个或多个触觉输出。例如，在图5A中，这些输入中的由指示符501表示的一者任选地对应于显示器上所显示的用户界面元素，并且这些输入中的由指示符503表示的另一者对应于一个或多个硬件元件。本文中参考方法700和图7A至7D进一步论述响应于硬件控件上或指向硬件控件的输入而产生触觉输出。
在一些实施方案中，接收该多个请求包括(630)检测用于具有第一优先级的第一组一个或多个触觉输出的触发条件并且检测用于具有第二优先级的第二组一个或多个触觉输出的触发条件。例如，用于具有第一优先级的第一组一个或多个触觉输出的触发条件可为触敏显示器上所显示的用户界面元素(例如，应用程序图标424，图4A)上的触摸输入，其满足第一强度阈值，并且用于具有第二优先级的第二组一个或多个触觉输出的触发条件可为硬件元件(例如，home按钮204，图4A)上的触摸输入，其满足与第一强度阈值相异的第二强度阈值。
此外，在一些此类实施方案中，生成组合触觉输出包括(632)响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠：根据确定第一优先级高于第二优先级(例如，如在上文论述的图5J所示的示例中)，减小第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少一部分的规模(例如，相对于第一组一个或多个触觉输出的规模)；以及根据确定第二优先级高于第一优先级(例如，如在上文论述的图5I所示的示例中)，减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模(例如，相对于第二组一个或多个触觉输出的规模)。以此方式，通过在混合触觉输出以生成组合触觉输出时减小具有较低优先级的一个或多个触觉输出的至少一部分的规模，方法600向电子设备的用户提供改善的触觉反馈，这增强了设备的可操作性。在此类实施方案中，方法600包括通过组合至少第一组一个或多个触觉输出(包括其具有减小规模的任何部分)和第二组一个或多个触觉输出(包括其具有减小规模的任何部分)来生成组合触觉输出。如上文论述，图5I和图5J示出组合具有不同优先级的触觉输出的示例。本文中参考方法800和图8A至8D进一步论述组合具有不同优先级的触觉输出。
在一些实施方案中，将该多个触觉输出混合成组合触觉输出包括(634)：根据确定第一组触觉输出和第二组一个或多个触觉输出不重叠(例如，如图5H的示例中所示)，在组合触觉输出中包括依序播放的第一组一个或多个触觉输出和第二组一个或多个触觉输出(例如，图5H的组合触觉输出510F包括第一组触觉输出诸如触觉输出502和第二组触觉输出诸如触觉输出504F)。另外，根据确定第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠(例如，如图5I的示例中所示)，在组合触觉输出中包括经过修改的触觉输出序列，该触觉输出序列被修改以便相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出(例如，图5I的经过修改的触觉输出序列510G相对于第一触觉输出502强调第二触觉输出504G)。本文中参考方法700和图7A至7D进一步论述产生经过修改的触觉输出序列。
在一些实施方案中，第一组合触觉输出(见以上关于混合操作608的论述)和第二组合触觉输出(见以上关于混合操作612的论述)中的相应组合触觉输出包括(636)第一部分和第二部分(例如，见图5E中的第一部分P1和第二部分P2或者图5G中的部分P2和P3)。方法600还包括根据确定组合触觉输出的第二部分(例如，组合触觉输出510C的部分P2的振幅，图5E，或组合触觉输出510E的部分P3的振幅，图5G)满足用于该一个或多个触觉输出发生器的输出限制标准(例如，通过超过用于该一个或多个触觉输出发生器的输出限制)：在紧接在组合触觉输出的第二部分之前的组合触觉输出的至少第一部分期间减小(636)组合触觉输出的规模；以及基于包括组合触觉输出的具有减小规模的第一部分的组合触觉输出来经由该一个或多个触觉输出发生器输出(638)触觉输出序列(例如，组合触觉输出510C-RS，图5E，或组合触觉输出510E-RS，图5G)。任选地，经由该一个或多个触觉输出发生器输出(638)的触觉输出序列包括组合触觉输出的具有减小规模的第二部分，如下文参考操作640所论述。此外，请注意，在正在减小组合触觉输出的规模的任何时刻，组合触觉输出的瞬时振幅可正在增大或减小。上文参考图5E和图5G提供对将用于该一个或多个触觉输出发生器的输出限制标准应用于触觉输出的进一步论述。通过减小组合触觉输出的至少一部分的规模以便符合用于一个或多个触觉输出发生器的输出限制标准，方法600使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的触觉输出，同时仍符合对应于设备的一个或多个触觉输出发生器的物理限制或性能的输出限制标准。这又向电子设备的用户提供改善的触觉反馈，这增强了设备的可操作性。
在一些实施方案中，在第一部分期间减小组合触觉输出的规模(见以上对操作636的论述)之后，方法600包括继续经由一个或多个触觉输出发生器输出(640)在第二部分期间具有减小规模的组合触觉输出。因而，规模减小的第二部分的振幅满足预定义限制，其对应于用于一个或多个触觉输出发生器的前述输出限制标准。图5E示出一个示例，其中在第一部分P1期间减小组合触觉输出的规模之后，在组合触觉输出510C的第二部分P2期间施加减小规模。
任选地，在减小组合触觉输出的第一部分的规模之后，方法600包括向组合触觉输出应用(642)低通滤波器以便移除或减少组合触觉输出的高于预定义截止频率的频率分量(如果存在的话)。通过减小组合触觉输出的至少一部分的规模以便符合用于该一个或多个触觉输出发生器的输出限制标准并且向组合触觉输出应用低通滤波器，方法600使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的触觉输出，同时仍符合对应于设备的一个或多个触觉输出发生器的物理限制或性能的输出限制标准。这又向电子设备的用户提供改善的触觉反馈，这增强了设备的可操作性。
图5F示出向组合触觉输出510D应用低通滤波器以便产生经过低通滤波的组合触觉输出510D-LP的示例。在一些实施方案中，低通滤波器具有基于设备的硬件的物理约束来设置的截止频率。例如，对于具有能够实现较高频率的较小触觉输出发生器的设备，低通滤波器任选地具有较高截止频率，而对于具有不能够实现较高频率的较大触觉输出发生器的设备，低通滤波器任选地具有较低截止频率。通过基于设备的性能来设置低通滤波器的截止频率，应用程序、操作系统模块或者此类应用程序和模块的UI元素或其他元素可请求生成触觉输出而不管设备的硬件的物理约束，并且低通滤波器将确保设备的一个或多个触觉输出发生器不接收用于生成其不能够生成或能够可靠地且有效地生成的触觉输出的指令。
另外，在一些实施方案中，在经由一个或多个触觉输出发生器以减小规模输出(638)组合触觉输出的第二部分之后，方法600包括在组合触觉输出的至少第三部分期间逐渐增大(643)组合触觉输出的规模。例如，如图5G所示，在部分P3期间减小组合触觉输出510E的规模之后，逐渐增大组合触觉输出510E的部分P4的规模。在图5G中将所得的经过修改的触觉输出序列标记为510E-RS。
在一些实施方案中，方法600包括根据确定组合触觉输出的第二部分不满足用于该一个或多个触觉输出发生器的输出限制标准(例如，组合触觉输出的振幅不超过预定义限制)，经由一个或多个触觉输出发生器输出(644)触觉输出序列而没有在组合触觉输出的至少第一部分期间减小组合触觉输出的规模。图5A、图5C和图5D示出示例，其中不减小组合触觉输出的振幅，因为组合触觉输出不超过一个或多个触觉发生器的预定义限制(或更一般来讲，因为组合触觉输出满足用于该一个或多个触觉输出发生器的限制标准)。
在一些实施方案中，在接收(602，图6A)对输出该多个触觉输出的该多个请求之后，方法600包括接收650(图6E)对输出至少部分地与该多个触觉输出(例如，触觉输出502和504，图5C)中的相应触觉输出(例如，第一触觉输出502，图5C)重叠的额外触觉输出(例如，第三触觉输出506A，图5C)的请求。例如，该多个触觉输出中的最老触觉输出部分地与该额外触觉输出重叠。在图5C中示出一个示例，其中第三触觉输出506A对应于该额外触觉输出并且该相应触觉输出对应于第一触觉输出502。通过允许电子设备接收并处理对应于被调度为至少部分地重叠的触觉输出的至少三个或更多个用于触觉输出的请求，方法600使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的触觉输出。这又向电子设备的用户提供改善的触觉反馈，这增强了设备的可操作性。在此类实施方案中或在此类情形中，确定该额外触觉输出和该多个触觉输出的组合是否超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(654)。
在输出(652)相应触觉输出的第一部分之后，并且响应于接收到对输出该额外触觉输出的请求，根据确定该额外触觉输出和该多个触觉输出的组合不超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(654-否)，方法600包括将该额外触觉输出与该多个触觉输出(例如，触觉输出502和504)，包括相应触觉输出的第二部分(例如，第一触觉输出502的部分522，图5C)，混合(656)在一起成第三组合触觉输出(例如，组合触觉输出510A，图5C)，并且将第三组合触觉输出包括在组合触觉输出中(如图5C的示例中所示)，并且经由该一个或多个触觉输出发生器输出(658)包括第三组合触觉输出的组合触觉输出。参考图5C，在这个场景中，触觉输出502和504两者与额外/第三触觉输出506A混合以生成组合触觉输出510A。通过允许电子设备混合被调度为至少部分地重叠的三个或更多个触觉输出，而不在触觉输出的数量不超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量时排除那些触觉输出中的任一者，方法600使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的触觉输出。这又向电子设备的用户提供改善的触觉反馈，这增强了设备的可操作性。
另一方面，在输出(652)相应触觉输出的第一部分之后，并且响应于接收到对输出额外触觉输出的请求，根据确定该额外触觉输出与该多个触觉输出的组合超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(654-是)，方法600包括将该额外触觉输出与该多个触觉输出，不包括相应触觉输出的第二部分，混合(660)在一起成第四组合触觉输出，并且将第四组合触觉输出包括在组合触觉输出中；以及经由一个或多个触觉输出发生器输出(662)组合触觉输出，包括第四组合触觉输出。参考图5C，在该第二场景中，将触觉输出502和504与额外/第三触觉输出506A混合以生成组合触觉输出510A，但排除触觉输出502的第二部分(部分522)，因为第三触觉输出506A与该多个触觉输出(502、504)的组合超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量(654-是)。通过允许电子设备在触觉输出的数量超过被准许混合在一起以供经由该一个或多个触觉输出发生器同时输出的触觉输出的阈值数量时混合被调度为至少部分地重叠的三个或更多个触觉输出但排除那些触觉输出中的一者或多者(例如，响应于最老触发条件而产生的一个或多个触觉输出)，方法600使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的触觉输出。这又向电子设备的用户提供改善的触觉反馈，这增强了设备的可操作性。
在一些实施方案中，在执行上文论述的混合操作660时，基于触发相应触觉输出的输入的年龄从该多个触觉输出中选择(670)相应触觉输出的第二部分以从该多个触觉输出中排除。例如，如图5C所示，第一触觉输出502的第二部分522是基于其为最久触发的触觉输出来选择的，如其对应于指示符501的触发条件所指示，其是用于正被组合的触觉输出的触发条件中的最老触发条件。
在一些实施方案中，方法600包括播放(672)与相应触觉输出同步并且由触发相应触觉输出的相同条件触发的音频输出(例如，播放音频输出512，其与触觉输出502同步并且由指示符501所指示的相同条件触发，如图5C所示)；并且还包括继续播放(674)与相应触觉输出同步的音频输出而不管是否从经由一个或多个触觉输出发生器输出的组合触觉输出排除触觉输出的第二部分。例如，如图5C所示，继续播放同步的触觉/音频输出502/512中的音频分量512，即使从组合触觉输出510A移除同步的触觉/音频输出502/512中的触觉分量502。通过提供同步的触觉输出和音频输出，同时还混合这些触觉输出以产生组合触觉输出以便使用一个或多个触觉输出发生器输出并且混合这些音频输出以产生组合音频输出，方法600使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的同步触觉和音频输出。这又向电子设备的用户提供改善的触觉和音频反馈，这增强了设备的可操作性。
应当理解，图6A至6F中的操作被描述的特定次序仅仅是示例，并非旨在指示所述次序是操作可被执行的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法700和800)描述的其他过程的细节同样以类似的方式适用于上文参考图6A至6F所述的方法600。例如，上文参考方法600所述的根据一个或多个触觉输出发生器的限制标准向通过混合或以其他方式组合多个触觉输出来产生并且使用一个或多个触觉输出发生器输出的组合触觉输出的数量、量值和/或频率分量施加限制任选地具有本文参考方法700所述的使对应于硬件元件上的输入的触觉输出优先于其他触觉输出或本文参考方法800所述的根据那些触觉输出的优先级混合触觉输出等特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图7A至7D为示出组合对应于来自多个来源的触发条件或输入的触觉输出并且使对应于硬件元件上的输入的触觉输出优先于其他触觉输出的方法700的流程图。在图5H、图5I和图5K中示出触觉输出、组合触觉输出和音频输出的对应示例。方法700是在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备(例如，设备300，图3，或便携式多功能设备100，图1A)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法700中的一些操作任选地被组合，和/或一些操作的次序任选地被改变。
如下文所述，方法700组合对应于来自多个来源的触发条件或输入的触觉输出，并且使对应于硬件元件上的输入的触觉输出优先于其他触觉输出。方法700使得多个应用程序能够提供触觉输出，其中这些应用程序不必考虑对能够组合的触觉输出的数量的限制或对组合触觉输出的振幅或量值或频率分量的限制，同时确保输出较高优先级触觉输出或相对于较低优先级触觉输出强调较高优先级触觉输出。该方法减小了在与设备或在设备上运行的应用程序交互时来自用户的输入的数量、程度和/或性质，从而创建更有效的人机界面。从设备的用户的角度来看，方法700使得用户能够接收多个触觉输出，其具有优先级区分以确保较高优先级触觉输出不被排除或相对于较低优先级触觉输出进行强调，并且使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入，这增强了设备的可操作性。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在执行方法700时，设备接收(702)对应于显示器(例如，触摸屏112，图4A)上所显示的用户界面元素(例如，应用程序图标424，图4A)的第一组一个或多个输入(例如，输入407，图4A)，其中该第一组一个或多个输入对应于第一组一个或多个触觉输出(例如，触觉输出411，图4A，或触觉输出502，图5H和图5I)。该设备还接收对应于一个或多个硬件元件(例如，home按钮204，图4A，其在一些实施方案中是模拟物理按钮)的第二组一个或多个输入(例如，输入403，图4A)，其中第二组一个或多个输入对应于第二组一个或多个触觉输出(例如，触觉输出409，图4A，或触觉输出504F或504G，图5H和图5I)。在一些实施方案中，第二组一个或多个输入对应(706)于使用相应硬件元件(例如，home按钮204，图4A)执行的点击手势或点击手势的一部分。如上文参考图1C论述，将使用相应硬件元件(图1C中由硬件输入设备145表示)执行的输入经由硬件输入处理模块145递送到触觉反馈模块133。接着通过混合器123将(例如使用波形模块123产生的)所得触觉输出波形与来自其他来源的重叠触觉输出(如果存在的话)混合。
在已经接收到第一组和第二组输入的情况下，设备确定第一组触觉输出和第二组触觉输出是否重叠(710)。响应于第二组一个或多个输入(708)，根据确定(710-否)第一组触觉输出和第二组一个或多个触觉输出不重叠(例如，图5H中的触觉输出502和504F不重叠)，设备使用该组一个或多个触觉输出发生器输出(712)包括第一组一个或多个触觉输出和第二组一个或多个触觉输出的触觉输出序列(例如，组合触觉输出510F，图5H)(例如，以全音量播放两组触觉输出，触觉输出包括依序播放的第一组和第二组触觉输入)。
另一方面，响应于第二组一个或多个输入(708)，根据确定(710-是)第一组一个或多个触觉输出(例如，触觉输出502，图5I)和第二组一个或多个触觉输出(例如，触觉输出504G，图5I)重叠，设备使用该组一个或多个触觉输出发生器输出(714)经过修改的触觉输出序列(例如，组合触觉输出510G，图5I)，该触觉输出序列被修改以便相对于第一组一个或多个触觉输出(触觉输出502)强调第二组一个或多个触觉输出(例如，触觉输出504G)。通过以此方式混合触觉输出，相对于其他触觉输出强调对应于来自硬件元件的输入的触觉输出，向用户提供改善的触觉反馈，例如通过确保用户能够检测响应于该一个或多个硬件元件上的用户输入而产生的触觉输出，同时仍允许生成其他触觉输出。改善的触觉反馈使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入，这增强了设备的可操作性。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，方法700包括通过执行以下一项或多项来修改(716)触觉输出序列以便相对于第一组触觉输出强调第二组触觉输出：增大第二组触觉输出的振幅以及减小第一组触觉输出的振幅。例如，在图5I所示的示例中，通过在重叠部分P3期间减小第一触觉输出502的振幅来相对于第一触觉输出502强调第二触觉输出504G。
在一些实施方案中，经过修改的触觉输出序列包括(718)第一部分，在该第一部分期间将第一组触觉输出中的输出从第一输出水平逐渐减小至第二输出水平。例如，在图5I所示的示例中，在经过修改的触觉输出序列510G的第一部分P1期间，将第一触觉输出502的输出或另选地第一触觉输出502对经过修改的触觉输出序列510G的贡献从第一输出水平(例如，初始水平)逐渐减小到第二输出水平(例如，比初始水平低的输出水平)。在一些实施方案中，第一部分具有固定持续时间，诸如5ms。在一些实施方案中，在第一部分期间将输出水平从初始输出水平完全减小至零，如图5I的示例中所示。在一些其他实施方案中，在第一部分内将输出水平从初始输出水平逐渐减小，但不完全减小至零。通过以此方式混合触觉输出，其中在输出相对于其他触觉输出强调对应于来自硬件元件的输入的触觉输出的触觉输出序列的那部分之前将触觉输出的规模从初始水平逐步减小至较低水平，向用户提供改善的触觉反馈，从而增强设备的可操作性。第一触觉输出的逐步减小向用户告知新的触觉输出或新的反馈可能正在来临，和/或避免原本可能会使用户分心的从一个触觉输出到另一个触觉输出的急剧转变。
在一些实施方案中，经过修改的触觉输出序列包括(720)减小的触觉输出的第二部分，例如，存在触觉静默的时间周期或设备停止向触觉输出发生器提供指令以生成触觉输出的时间周期。在图5I所示的示例中，在经过修改的触觉输出序列的第二部分P2期间存在触觉静默。在一些实施方案中，第二部分具有固定持续时间，诸如5ms。在一些实施方案中，减小的触觉输出(例如，触觉静默)的第二部分(例如，部分P2，图5I)在第一部分之后并且紧跟着第一部分(例如，部分P1，图5I)，在第一部分期间逐渐减小第一组触觉输出。在图5I未示出的一些实施方案中，经过修改的触觉输出包括第二部分(例如，触觉静默周期)而不包括第一部分(例如，第一组触觉输出从第一输出水平逐步减小至第二输出水平的周期)。通过以此方式混合触觉输出，其中在输出相对于其他触觉输出强调对应于来自硬件元件的输入的触觉输出的触觉输出序列的那部分之前将第一触觉输出从初始水平逐步减小至较低水平，随后是触觉静默周期，向用户提供改善的触觉反馈，从而增强设备的可操作性。在触觉静默周期之前逐步减小第一触觉输出使得用户能够接收或感觉到触觉反馈的后续部分，包括对应于硬件元件上的用户输入的触觉输出，而不从其他触觉输出分心。通过针对一个或多个硬件元件上的用户输入提供相异触觉反馈，同时仍在那些其他触觉输出不重叠对应于一个或多个硬件元件上的用户输入的触觉输出时提供其他触觉输出，相对于一个或多个硬件元件上的用户输入向用户提供更准确的反馈，这又使得用户能够更确信地、更快地并且更有效地在硬件元件上做出输入，从而得到用户的较少不正确输入。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，基于经过修改的触觉序列的第一部分的量值来选择(722)经过修改的触觉序列的第二部分的持续时间。在图5K中示出并且上文参考图5K论述了基于经过修改的触觉序列的先前部分的量值来选择触觉静默周期的持续时间的示例。
在一些实施方案中，经过修改的触觉输出序列包括(724)继第二部分(部分P2)之后的第三部分(例如，组合触觉输出510J(低)或510J(高)的部分P3，图5K)并且包括第二组触觉输出(例如，部分P2，图5K)，并且第三部分的持续时间(例如，7至8ms)比减小的触觉输出的第二部分的持续时间(例如，5ms)长。换句话讲，经过修改的触觉输出序列的紧接在第三部分之前的触觉静默周期通常比经过修改的触觉输出序列的第三部分短，其中第三部分通常包括高优先级触觉输出，诸如与硬件元件上的输入相关联的触觉输出。通过以此方式混合触觉输出，包括在提供经过修改的触觉输出序列的包括高优先级触觉输出诸如与硬件元件上的输入相关联的触觉输出的一部分之前提供触觉静默周期，其中经过修改的触觉输出序列的所述部分的持续时间比紧接在前的触觉静默周期长，向用户提供改善的触觉反馈，从而增强设备的可操作性。时序和触觉输出混合特征的这个组合使得用户能够接收或感觉到对应于硬件元件上的用户输入的触觉输出而不从其他触觉输出分心。通过针对一个或多个硬件元件上的用户输入提供相异触觉反馈，同时仍在那些其他触觉输出不重叠对应于一个或多个硬件元件上的用户输入的触觉输出时提供其他触觉输出，相对于一个或多个硬件元件上的用户输入向用户提供更准确的反馈，这又使得用户能够更确信地、更快地并且更有效地在硬件元件上做出输入，从而得到用户的较少不正确输入。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，经过修改的触觉输出序列包括(726)包括第二组触觉输出(例如，触觉输出504G)的第三部分(例如，组合触觉输出510J(低)或510J(高)的部分P3，图5K)和第四部分(例如，组合触觉输出510J(低)或510J(高)的部分P4，图5K)，在第四部分期间使用从第三输出水平(例如，与第二输出水平相同)逐渐增大至第四输出水平(例如，与第一输出水平相同)的输出水平输出第一组触觉输出(例如，触觉输出502)，其中第四部分(例如，P4，图5K)在第三部分(例如，P3，图5K)之后。通过以此方式混合触觉输出，其中在输出相对于其他触觉输出强调对应于来自硬件元件的输入的触觉输出的触觉输出序列的那部分之前和之后在触觉输出中发生逐步转变，向用户提供改善的触觉反馈，从而增强设备的可操作性。这些逐步转变使得用户能够明显地接收或感受到触觉输出序列的对应于硬件元件上的用户输入的那部分而不从其他触觉输出分心。通过针对一个或多个硬件元件上的用户输入提供相异触觉反馈，同时仍在那些其他触觉输出不重叠对应于一个或多个硬件元件上的用户输入的触觉输出时提供其他触觉输出，相对于一个或多个硬件元件上的用户输入向用户提供更准确的反馈，这又使得用户能够更确信地、更快地并且更有效地在硬件元件上做出输入，从而得到用户的较少不正确输入。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在这些实施方案中的一些实施方案中，第三部分的持续时间(例如，7至8ms)比第四部分的持续时间(例如，5ms)长。在一些实施方案中，第三部分在触觉静默的第二部分之后并且紧随着该第二部分，并且在一些此类实施方案中，第三部分的持续时间(例如，7至8ms)比触觉静默的第二部分的持续时间(例如，5ms)长并且还比第四部分的持续时间(例如，5ms)长。
在一些实施方案中，经过修改的触觉输出序列包括(728)包括第二组触觉输出(例如，触觉输出504G，图5K)的第三部分(例如，组合触觉输出510J(低)或510J(高)的部分P3，图5K)以及减小的触觉输出的第五部分，其中第五部分在第三部分之后(图5K中未示出)。在图5K的上半部分所示的一些此类实施方案中，第三部分(例如，P3)紧跟有触觉静默的第四部分(例如，P4)，其又紧跟有第五部分(例如，P5)，在第五部分期间使用从第三输出水平(例如，与第二输出水平相同)逐渐增大至第四输出水平(例如，与第一输出水平相同)的输出水平输出第一组触觉输出(例如，触觉输出502)。通过以此方式混合触觉输出，其中在触觉输出序列的多个连续部分中具有相异转变和输出，向用户提供改善的触觉反馈，从而增强设备的可操作性。依序提供这些相异部分使得用户能够明显地接收或感受到触觉输出序列的对应于硬件元件上的用户输入的那部分而不从其他触觉输出分心。通过针对一个或多个硬件元件上的用户输入提供相异触觉反馈，同时仍在那些其他触觉输出不重叠对应于一个或多个硬件元件上的用户输入的触觉输出时提供其他触觉输出，相对于一个或多个硬件元件上的用户输入向用户提供更准确的反馈，这又使得用户能够更确信地、更快地并且更有效地在硬件元件上做出输入，从而得到用户的较少不正确输入。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，在强调第二组一个或多个触觉输出突出于第一组一个或多个触觉输出时，设备继续处理第一组一个或多个输入(730)，包括将用于第一组一个或多个输入的触觉输出混合在一起。例如，设备这样做以使得当设备停止强调第二组一个或多个触觉输出突出于第一组一个或多个触觉输出时，设备输出第一组一个或多个触觉输出，就好像其在被削弱时一直在进行中。因而，当设备停止强调第二组一个或多个触觉输出突出于第一组一个或多个触觉输出时，可迅速恢复第一组一个或多个触觉输出，并且第一组一个或多个触觉输出仍与其所对应的输入同步。例如，在响应于硬件元件(例如，home按钮204，图4A)上的输入(例如，点击)产生第二触觉输出时，响应于其他触发条件而产生的第一用户界面触觉输出继续被接收、处理和混合，但在生成组合触觉输出的第二部分(例如，P2，图5K)期间减小其振幅或使其静默。通过以此方式混合触觉输出，其中即使在那些触觉输出静默的触觉输出序列的部分期间仍继续生成触觉输出，提供较快且较平滑的转变以恢复那些触觉输出的供应，并且因此向用户提供改善的触觉反馈，从而增强设备的可操作性。通过相对于用户输入向用户提供较准确的反馈，使得用户能够更确信地、更快地且更有效地在硬件元件上进行输入，从而得到用户的较少不正确输入。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，输出经过修改的触觉序列(714)包括减小(732)第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模。上文参考图5I、图5K和图5L论述这个实施方案的示例。下文参考方法800和图8A至8D提供对此类规模减小的进一步论述。
在一些实施方案中，根据确定(734)组合触觉输出的第一部分满足用于该一个或多个触觉输出发生器的输出限制标准，方法700包括在紧接在组合触觉输出的第一部分之前的组合触觉输出的至少第二部分期间减小(736)组合触觉输出的规模，并且基于包括组合触觉输出的具有减小规模的第二部分的组合触觉输出来使用该组一个或多个触觉输出发生器输出(738)触觉输出序列(例如，组合触觉输出510C-RS，图5E，或组合触觉输出510E-RS，图5G)。
在一些实施方案中，在第二部分(例如，部分P1，图5E)期间减小组合触觉输出的规模之后，方法700包括继续经由该一个或多个触觉输出发生器输出在第一部分(例如，部分P2，其跟随部分P1，图5E)期间具有减小规模的组合触觉输出。因而，规模减小的部分的振幅满足预定义限制，其对应于用于一个或多个触觉输出发生器的前述输出限制标准。图5E示出一个示例，其中在第一部分P1期间减小组合触觉输出的规模之后，在组合触觉输出510C的第二部分P2期间施加减小规模。
上文参考图5E和图5G以及参考方法600的操作636和638提供对将用于该一个或多个触觉输出发生器的输出限制标准应用于触觉输出的进一步论述。
在一些实施方案中，方法700包括播放(740)与第一组一个或多个触觉输出同步并且由触发第一组一个或多个触觉输出(例如，第一触觉输出502，图5H和图5I)的相同条件(例如，对应于指示符501的触发条件，图5H和5I)触发的音频输出(例如，第一音频输出512，图5H和图5I)，并且(例如，结合接收第二组一个或多个输入)继续没有修改地播放(742)与第一组一个或多个触觉输出同步的音频输出而不管是否相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出(例如，触觉输出504F，图5H，或触觉输出504G，图5I)。例如，继续以相同音量播放同步触觉/音频输出的音频分量，即使同步触觉/音频输出的触觉分量被削弱，如图5I所示。通过提供同步的触觉输出和音频输出，同时还混合这些触觉输出以产生组合触觉输出以便使用一个或多个触觉输出发生器输出并且混合这些音频输出以产生组合音频输出，方法700使得多个应用程序、模块或用户界面元素能够提供在重叠时被组合的同步触觉和音频输出。这又向电子设备的用户提供改善的触觉和音频反馈，这增强了设备的可操作性。
在一些实施方案中，方法700包括播放(744)与第一组一个或多个触觉输出(例如，触觉输出502，图5I)同步并且由触发第一组一个或多个触觉输出的相同条件(例如，对应于指示符501的触发条件，图5I)触发的第一音频输出(例如，音频输出512，图5I)；并且在播放第一音频输出时，播放(746)与第二组一个或多个触觉输出(例如，触觉输出504G，图5I)同步并且由触发第二组一个或多个触觉输出的相同条件(例如，对应于指示符503G的触发条件，图5I)触发的第二音频输出(例如，音频输出514G，图5I)，其中第一音频输出被修改(图5I中未示出)以在播放第二音频输出时强调第二音频输出。因此，在至少一些此类实施方案中，以与触觉输出类似的方式组合音频输出，并且具体地，当组合音频输出时，相对于对应于用户界面元素上的输入的音频输出强调对应于硬件元件上的输入的音频输出。
在一些此类实施方案中，第一音频输出的量值是用户选择的，和/或第二音频输出的量值是用户选择的(748)。例如，设备可提供一个或多个用户可调整的设置以及任选地，一个或多个对应用户界面或用户界面示能表示以用于选择第一音频输出的量值，用于选择第二音频输出的量值，和/或用于相对于第一音频输出选择第二音频输出的相对量值。
在一些实施方案中，方法700包括响应于第二组一个或多个输入，播放(750)由触发第二组一个或多个触觉输出的相同条件触发的音频输出，其中音频输出在第二组一个或多个触觉输出开始之后开始。因此，在一些此类实施方案中，方法700包括响应于第二组一个或多个输入，发起经过修改的触觉输出序列的输出，并且在发起经过修改的触觉输出序列的输出之后，发起由触发第二组一个或多个触觉输出的相同条件触发的音频输出的播放。例如，在一些实施方案中，从点击检测(例如，在home按钮204上，图4A)到用于按钮点击的触觉输出的延迟少于50ms，而到播放对应于按钮点击的音频输出的延迟多于50ms。更一般地讲，在一些实施方案中，从接收对应于一个或多个硬件元件的第二组一个或多个输入到输出经过修改的触觉输出序列的延迟少于第一时间量(例如，50ms)，而从接收对应于一个或多个硬件元件的第二组一个或多个输入到输出对应音频序列的延迟多于第一时间量。
应当理解，图7A至7D中的操作被描述的特定次序仅仅是示例，并非旨在指示所述次序是操作可被执行的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法600和800)描述的其他过程的细节同样以类似的方式适用于上文参考图7A至7D所述的方法700。例如，上文参考方法700所述的使对应于硬件元件上的输入的触觉输出优先于其他触觉输出任选地具有本文中参考本文所述的其他方法(例如，方法600和800)所述的向组合触觉输出的数量、量值和/或频率分量施加限制和/或根据那些触觉输出的优先级混合触觉输出等特征中的一者或多者。为了简明起见，此处不再重复这些细节。
图8A至8D为示出根据触觉输出的优先级组合对应于来自多个来源的触发条件或输入的触觉输出的方法800的流程图。在图5A、图5H、图5I、图5J和图5L中示出触觉输出、组合触觉输出和音频输出的对应示例。方法800是在具有显示器、触敏表面和一组一个或多个触觉输出发生器的电子设备(例如，设备300，图3，或便携式多功能设备100，图1A)处执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面在显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面是分开的。方法800中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下文所述，方法800组合对应于来自多个来源的触发条件或输入的触觉输出，并且在混合期间基于所指派的优先级来区分触觉输出的优先级。方法800使得多个应用程序能够提供触觉输出，其中这些应用程序不必考虑对能够组合的触觉输出的数量的限制或对组合触觉输出的振幅或量值或频率分量的限制，同时确保输出较高优先级触觉输出或相对于较低优先级触觉输出强调较高优先级触觉输出。该方法减小了在与设备或在设备上运行的应用程序交互时来自用户的输入的数量、程度和/或性质，从而创建更有效的人机界面。从设备的用户的角度来看，方法800使得用户能够接收多个触觉输出，其具有优先级区分以确保较高优先级触觉输出不被排除或相对于较低优先级触觉输出进行强调，并且使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在执行方法800时，设备检测(802)用于具有第一优先级的第一组一个或多个触觉输出的触发条件(例如，接收对应于第一组一个或多个触觉输出的第一组一个或多个输入)，并且检测(804)用于具有第二优先级的第二组一个或多个触觉输出的触发条件(例如，接收对应于第二组一个或多个触觉输出的第二组一个或多个输入)。在一些实施方案中，具有第一优先级的第一组一个或多个触觉输出对应(820)于异步事件(例如，不响应于用户输入的用户界面事件，诸如显示传入消息的通知、交易的完成等)。类似地，在一些实施方案中，具有第二优先级的第二组一个或多个触觉输出对应(822)于同步事件(例如，对应于执行方法800的设备的显示器上所显示的用户界面元素的一个或多个输入)。
在一些实施方案中，检测操作802包括接收(824)对应于显示器上所显示的用户界面元素的第一组一个或多个输入，其中第一组一个或多个输入对应于具有第一优先级的第一组一个或多个触觉输出(例如，触觉输出502，图5I和图5J)。类似地，在一些实施方案中，检测操作804包括接收(826)对应于一个或多个硬件元件的第二组一个或多个输入，其中第二组一个或多个输入对应于具有第二优先级的第二组一个或多个触觉输出(例如，触觉输出504G，图5I和图5J)。在一些实施方案中，第二优先级高于第一优先级(828)。此外，在一些实施方案中，第二组一个或多个输入对应(830)于使用相应硬件元件(例如，home按钮204，图4A，或其他按钮，或键盘上的按键)执行的点击手势或点击手势的一部分。如上文参考图1C论述，将使用相应硬件元件(图1C中由硬件输入设备145表示)执行的输入经由硬件输入处理模块145递送到触觉反馈模块133。接着通过混合器123将所得的触觉输出波形，例如使用波形模块123产生的，与来自其他来源的重叠触觉输出(如果存在的话)混合。
接下来，响应(808)于检测(802,804)到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件，并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠，方法800包括根据确定(810，第一优先级)第二优先级)第一优先级高于第二优先级(例如，如图5J的示例中所示)，电子设备减小(812)第二组一个或多个触觉输出(例如，第二触觉输出504G)的与第一组一个或多个触觉输出(例如，第一触觉输出502)重叠的至少一部分的规模。例如，“减小”第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少一部分的“规模”意指相对于第一组一个或多个触觉输出的规模减小第二组一个或多个触觉输出的那部分的规模。
此外，在一些实施方案中，结合减小(812)具有第二优先级的第二组一个或多个触觉输出的规模，方法800包括输出(840)具有第一优先级的第一组一个或多个触觉输出。例如，在图5J所示的示例中，结合减小第二触觉输出504G的规模，输出第一触觉输出502(例如，包括在组合触觉输出510H中，该组合触觉输出由设备的一个或多个触觉输出发生器输出)。
另一方面，响应(808)于检测(802,804)到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件，并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠，方法800包括根据确定(810，第二优先级)第一优先级)第二优先级高于第一优先级(例如，如图5I的示例中所示)，电子设备减小第一组一个或多个触觉输出(例如，第一触觉输出502的部分P3，图5I)的与第二组一个或多个触觉输出(例如，第二触觉输出504G，图5I)重叠的至少一部分的规模。例如，减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模意指相对于第二组一个或多个触觉输出的规模减小第一组一个或多个触觉输出的那部分的规模。
此外，在一些实施方案中，结合减小(814)具有第一优先级的第一组一个或多个触觉输出的规模，方法800包括输出(842)具有第二优先级的第二组一个或多个触觉输出。例如，在图5I所示的示例中，结合减小第一触觉输出502的部分P3的规模，输出第二触觉输出504G(例如，包括在组合触觉输出510G中，该组合触觉输出由设备的一个或多个触觉输出发生器输出)。
在一些实施方案中，较高优先级触觉输出是对应于高于阈值的延迟将为显而易见(例如，50ms)的用户交互的触觉输出，诸如关于与控制元件以及具体地讲用户输入直接操纵的控制元件(例如，滑块、拖动条、按钮、开关、滚动区等，其中一些元件还响应于与那些控制元件的用户交互提供视觉反馈)的用户交互的反馈。
在一些实施方案中，响应(808)于检测(802,804)到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件，并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠，方法800包括根据确定(810，第一优先级＝第二优先级)第一优先级与第二优先级相同，在没有相对于第二组一个或多个触觉输出的规模减小第一组一个或多个触觉输出的规模的情况下组合(816)第一组一个或多个触觉输出与第二组一个或多个触觉输出。例如，在图5A所示的示例中，在没有相对于第二触觉输出的规模减小第一触觉输出的规模的情况下组合第一触觉输出502和第二触觉输出504。通过以此方式混合触觉输出，其中相对于较高优先级触觉输出减小较低优先级触觉输出的规模，向用户提供改善的触觉反馈，例如通过确保用户可检测到所产生的较高优先级触觉输出，同时仍允许生成其他触觉输出。改善的触觉反馈使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入，这增强了设备的可操作性。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，方法800包括响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出不被调度为与其他触觉输出重叠(例如，如图5H的示例中所示，第一触觉输出502和第二触觉输出504F不被调度为重叠)，在不减小第一组一个或多个触觉输出和第二组一个或多个触觉输出的规模的情况下使用一个或多个触觉输出发生器输出(832)第一组一个或多个触觉输出和第二组一个或多个触觉输出。如图5H的示例中所示，在不减小第一触觉输出502和第二触觉输出504F的规模的情况下输出第一触觉输出502和第二触觉输出504F。通过以此方式混合触觉输出，向用户提供改善的触觉反馈。改善的触觉反馈使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入，这增强了设备的可操作性。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，方法800还包括通过组合至少第一组一个或多个触觉输出(例如，触觉输出502，包括其具有减小规模的任何部分)和第二组一个或多个触觉输出(例如，触觉输出504G，包括其具有减小规模的任何部分)来生成(850)组合触觉输出(例如，组合触觉输出510G，图5I，或510H，图5J)；并且基于组合触觉输出来使用该组一个或多个触觉输出发生器输出(852)触觉输出序列(例如，如图5I和图5J所示)。此外，在一些实施方案中，触觉输出序列包括(854)第一部分(例如，组合触觉输出510G的部分P1，图5I)，在第一部分期间将第一组触觉输出的输出从第一输出水平逐渐减小至第二输出水平(例如，如图5I所示)。
在一些实施方案中，方法800包括检测(860)用于具有比第二优先级和第一优先级高的第三优先级的第三组一个或多个触觉输出(例如，第三触觉输出506K，如图5L所示)的触发条件。任选地，具有第三优先级的第三组一个或多个触觉输出对应(862)于一个或多个硬件元件(例如，模拟物理按钮，诸如home按钮204，图4A)。
在一些实施方案中，响应于检测(860)到用于第三组一个或多个触觉输出的触发条件并且根据确定第三组一个或多个触觉输出被调度为至少部分地与第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠(例如，如图5L所示)，方法800包括减小(866)第一组一个或多个触觉输出的与第三组一个或多个触觉输出重叠的至少一部分的规模，并且减小(868)第二组一个或多个触觉输出的与第三组一个或多个触觉输出重叠的至少一部分的规模。例如，如图5L所示，在第一触觉输出502和第二触觉输出504的与第三触觉输出506K重叠的部分中，减小第一触觉输出502和第二触觉输出504两者的规模(例如，两者的减小规模版本包括在组合触觉输出510K中，这些组合触觉输出510K由设备的一个或多个触觉输出发生器输出)。换句话讲，在输出具有比第一优先级或第二优先级高的第三优先级的触觉输出序列时，设备减小第一优先级和第二优先级的触觉输出的振幅。通过以此方式混合触觉输出，其中相对于较高优先级触觉输出减小较低优先级触觉输出的规模，向用户提供改善的触觉反馈，例如通过确保用户可检测到所产生的较高优先级触觉输出，同时仍允许生成其他触觉输出。改善的触觉反馈使得用户能够更确信地、更快地并且更有效地进行输入，从而得到用户的较少不正确输入，这增强了设备的可操作性。对于电池驱动的电子设备，这节省了功率并且增大了电池充电之间的时间。
在一些实施方案中，方法800包括播放(870)与第一组触觉输出或第二组触觉输出同步的音频输出(例如，音频输出512或514F，图5H；或音频输出512或514G，图5I；或音频输出512或512G，图5J)，并且继续在不修改的情况下播放(872)音频输出而不管第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少该部分的规模或第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少该部分的规模是否被减小。在图5I和图5J中示出此类连续播放音频输出的示例。
应当理解，图8A至8D中的操作被描述的特定次序仅仅是示例，并非旨在指示所述次序是操作可被执行的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参考本文所述的其他方法(例如，方法600和700)描述的其他过程的细节同样以类似的方式适用于上文参考图8A至8D所述的方法800。例如，上文参考方法800所述的根据本文所述的那些触觉输出的优先级混合触觉输出任选地具有本文参考方法600所述的向组合触觉输出的数量、量值和/或频率分量施加限制和/或本文参考方法700所述的使对应于硬件元件上的输入的触觉输出优先于其他触觉输出等特征中的一者或多者。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图9示出根据各种所述实施方案的原理进行配置的电子设备900的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原则的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图9中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的示例的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图9所示，电子设备900包括：显示单元902(例如，包括显示器112)，其被配置为显示用户界面；触敏表面单元904，其被配置为接收触摸输入(在表面上，诸如在显示单元902的显示表面上)；一个或多个触觉输出发生器单元906，其被配置为生成一个或多个触觉输出；以及处理单元910，其与显示单元902、触敏表面单元904和一个或多个触觉输出发生器单元906耦接。在一些实施方案中，电子设备900还包括用于生成音频输出的音频输出单元908，其也耦接至处理单元910。在一些实施方案中，处理单元910包括以下子单元中的一者或多者：请求接收单元912、触觉输出组合单元914、先行触觉输出限制单元920、触觉输出单元922、音频组合单元924以及音频播放单元926。在一些实施方案中，触觉输出组合单元914包括缩放和降音单元916和/或触觉输出排除单元918。
在一些实施方案中，处理单元910被配置为接收多个请求(例如，使用请求接收单元912)以使用一个或多个触觉输出发生器单元906生成多个触觉输出(例如，使用触觉输出单元922)，其中该多个触觉输出包括两个或更多个重叠触觉输出。处理单元910被配置为响应于接收到该多个请求，经由一个或多个触觉输出发生器单元906生成并输出(例如，使用触觉输出单元922)组合触觉输出。该生成和输出包括根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)该多个触觉输出不超过被准许混合在一起以供经由一个或多个触觉输出发生器单元906同时输出的触觉输出的阈值数量，将该多个触觉输出混合在一起(例如，使用触觉输出组合单元914)成第一组合触觉输出，将第一组合触觉输出包括在组合触觉输出中，并且经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)组合触觉输出，包括第一组合触觉输出。该生成和输出还包括根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)该多个触觉输出超过被准许混合在一起以供经由一个或多个触觉输出发生器单元906同时输出的触觉输出的阈值数量，将该多个触觉输出的子集混合在一起(例如，使用触觉输出组合单元914和/或触觉输出排除单元918)成不包括该多个触觉输出中的至少一者的第二组合触觉输出，将第二组合触觉输出包括在该组合触觉输出中，并且经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)组合触觉输出，包括第二组合触觉输出。
在一些实施方案中，处理单元910被进一步配置为在接收到对输出该多个触觉输出的该多个请求之后，接收对输出至少部分地与该多个触觉输出中的相应触觉输出重叠的额外触觉输出的请求(例如，使用请求接收单元912)。处理单元910被配置为在输出(例如，使用触觉输出单元922)相应触觉输出的第一部分之后并且响应于接收到对输出额外触觉输出的请求，根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)该额外触觉输出和该多个触觉输出的组合不超过被准许混合在一起以供经由一个或多个触觉输出发生器单元906同时输出的触觉输出的阈值数量，将该额外触觉输出与该多个触觉输出(例如，使用触觉输出组合单元914)，包括相应触觉输出的第二部分，混合在一起成第三组合触觉输出并将第三组合触觉输出包括在组合触觉输出中，并且经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)组合触觉输出，包括第三组合触觉输出。处理单元910被配置为根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)该额外触觉输出与该多个触觉输出的组合超过被准许混合在一起以供经由一个或多个触觉输出发生器单元906同时输出的触觉输出的阈值数量，将该额外触觉输出与该多个触觉输出，排除相应触觉输出的第二部分，混合在一起(例如，使用触觉输出组合单元914和/或触觉输出排除单元918)成第四组合触觉输出并将第四组合触觉输出包括在组合触觉输出中，并且经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)组合触觉输出，包括第四组合触觉输出。
在一些实施方案中，基于触发相应触觉输出的输入的年龄来从该多个触觉输出中选择(例如，使用触觉输出排除单元918)相应触觉输出的第二部分来从该多个触觉输出中排除。
在一些实施方案中，处理单元910被进一步配置为播放与相应触觉输出同步(例如，使用音频组合单元924)并且由触发相应触觉输出的相同条件触发的音频输出(例如，使用音频播放单元926)，并且处理单元910被配置为继续播放(例如，使用音频播放单元926)与相应触觉输出同步(例如，使用音频组合单元924)的音频输出而不管是否从经由一个或多个触觉输出发生器单元906输出的组合触觉输出中排除触觉输出的第二部分。
在一些实施方案中，该多个触觉输出中的一个或多个触觉输出是包括被同步(例如，使用音频组合单元924和/或音频播放单元926)以使用特定时间对准发生的音频输出和对应触觉输出两者的同步触觉和音频输出的一部分。
在一些实施方案中，该多个触觉输出包括响应于指向所显示的用户界面中的控制元件的用户输入而生成(例如，使用触觉输出单元922)的触觉输出。
在一些实施方案中，该多个触觉输出包括响应于指向硬件控件的用户输入而生成(例如，使用触觉输出单元922)的触觉输出。在一些实施方案中，该多个触觉输出包括响应于发生预定义条件而生成(例如，使用触觉输出单元922)的触觉输出。
在一些实施方案中，组合触觉输出包括第一部分和第二部分。处理单元910被配置为根据确定(例如，使用触觉输出和/或触觉输出组合914和/或先行触觉输出限制单元920做出)组合触觉输出的第二部分满足用于一个或多个触觉输出发生器单元906的输出限制标准，在紧接在组合触觉输出的第二部分之前的组合触觉输出的至少第一部分期间减小组合触觉输出的规模(例如，使用触觉输出组合单元914和/或缩放和降音单元916)，并且基于包括组合触觉输出的具有减小规模的第一部分的组合触觉输出来经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)触觉输出序列。
在一些实施方案中，处理单元910被配置为根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)组合触觉输出的第二部分不满足用于一个或多个触觉输出发生器单元906的输出限制标准，在不在组合触觉输出的至少第一部分期间减小组合触觉输出的规模的情况下经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)触觉输出序列。
在一些其他实施方案中，处理单元910被配置为在第一部分期间减小组合触觉输出的规模之后，继续经由一个或多个触觉输出发生器单元906输出(例如，使用触觉输出单元922)在第二部分期间具有减小规模的组合触觉输出。在一些实施方案中，处理单元910被配置为在减小组合触觉输出的第一部分的规模之后，向组合触觉输出应用低通滤波器(例如，使用缩放和降音单元916)以便移除或减少组合触觉输出的高于预定义截止频率的频率分量(如果存在的话)。在一些实施方案中，处理单元910被配置为在经由一个或多个触觉输出发生器单元906输出包括具有减小规模的第二部分的组合触觉输出的第二部分之后，在组合触觉输出的至少第三部分期间逐渐增大组合触觉输出的规模(例如，使用缩放和降音单元916)。
在一些实施方案中，减小组合触觉输出的规模(例如，使用缩放和降音单元916)是使用平滑变化的规模减小参数来执行的。
在一些实施方案中，接收(例如，使用请求接收单元912)该多个请求包括接收对应于显示单元902上所显示的用户界面元素的第一组一个或多个输入，其中该第一组一个或多个输入对应于第一组一个或多个触觉输出；并且接收(例如，使用请求接收单元912)对应于一个或多个硬件元件的第二组一个或多个输入，其中第二组一个或多个输入对应于第二组一个或多个触觉输出。在一些实施方案中，该多个触觉输出包括第一组一个或多个触觉输出和第二组一个或多个触觉输出。
在一些实施方案中，生成组合触觉输出包括根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)第一组触觉输出和第二组一个或多个触觉输出不重叠，在组合触觉输出中包括(例如，使用触觉输出组合单元914)第一组一个或多个触觉输出和第二组一个或多个触觉输出；并且根据确定(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠，在组合触觉输出中包括(例如，使用触觉输出组合单元914)经过修改的触觉输出序列，该触觉输出序列被修改(例如，使用触觉输出组合单元914)以便相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出。
在一些实施方案中，接收该多个请求包括检测用于具有第一优先级的第一组一个或多个触觉输出的触发条件并且检测用于具有第二优先级的第二组一个或多个触觉输出的触发条件。在一些实施方案中，生成组合触觉输出包括响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠，根据(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)确定第一优先级高于第二优先级，(例如，使用缩放和降音单元916)减小第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少一部分的规模；根据(例如，使用触觉输出组合单元914和/或先行触觉输出限制单元920做出)确定第二优先级高于第一优先级，(例如，使用缩放和降音单元916)减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出的至少一部分的规模；并且通过(例如，使用触觉输出组合单元914)组合至少第一组一个或多个触觉输出(包括其具有减小规模的任何部分)与第二组一个或多个触觉输出(包括其具有减小规模的任何部分)来(例如，使用触觉输出单元922)生成组合触觉输出。
根据一些实施方案，图10示出根据各种所述实施方案的原理进行配置的电子设备1000的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原则的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图10中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的示例的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图10所示，电子设备1000包括：显示单元1002(例如，包括显示器112)，其被配置为显示用户界面；触敏表面单元1004，其被配置为接收触摸输入(例如，在显示单元1002的显示表面上)；一组一个或多个触觉输出发生器单元1006，其被配置为生成一个或多个触觉输出；以及处理单元1010，其与显示单元1002、触敏表面单元1004和一个或多个触觉输出发生器单元1006耦接。在一些实施方案中，电子设备1000还包括被配置为生成音频输出的音频输出单元1008，其也与处理单元1010耦接。在一些实施方案中，处理单元1010包括以下子单元中的一者或多者：输入接收单元1012、触觉输出组合单元1014、触觉输出单元1022、音频组合单元1024以及音频播放单元1026。在一些实施方案中，触觉输出组合单元1014包括缩放和降音单元1016。
在一些实施方案中，处理单元1010被配置为接收(例如，使用输入接收单元1012)对应于显示单元1002上所显示的用户界面元素的第一组一个或多个输入，其中第一组一个或多个输入对应于第一组一个或多个触觉输出。处理单元1010被进一步配置为接收(例如，使用输入接收单元1012)对应于一个或多个硬件元件的第二组一个或多个输入，其中第二组一个或多个输入对应于第二组一个或多个触觉输出。处理单元1010被进一步配置为响应于第二组一个或多个输入，根据确定(例如，使用触觉输出组合单元1014做出)第一组触觉输出和第二组一个或多个触觉输出不重叠，使用该组一个或多个触觉输出发生器单元1006输出(例如，使用触觉输出单元1022)包括第一组一个或多个触觉输出和第二组一个或多个触觉输出的触觉输出序列。处理单元1010被进一步配置为根据确定第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠，使用该组一个或多个触觉输出发生器单元1006输出(例如，使用触觉输出单元1022)经过修改的触觉输出序列，该触觉输出序列被修改(例如，使用触觉输出组合单元1014和/或缩放和降音单元1016)以便相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出。
在一些实施方案中，第二组一个或多个输入对应于使用相应硬件元件执行的点击手势、或点击手势的一部分。
在一些实施方案中，处理单元1010被配置为通过执行以下一项或多项来修改(例如，使用缩放和降音单元1016)触觉输出序列以便相对于第一组触觉输出强调第二组触觉输出：增大第二组触觉输出的振幅以及减小第一组触觉输出的振幅。
在一些实施方案中，经过修改的触觉输出序列包括第一部分，在第一部分期间将第一组触觉输出的输出从第一输出水平逐渐减小(例如，使用缩放和降音单元1016)到第二输出水平。
在一些实施方案中，经过修改的触觉输出序列包括减小的触觉输出的第二部分。
在一些实施方案中，基于第一部分的量值来选择第二部分的持续时间。
在一些实施方案中，经过修改的触觉输出序列包括继第二部分之后并且包括第二组触觉输出的第三部分，并且第三部分的持续时间比减小的触觉输出的第二部分的持续时间长。
在一些实施方案中，经过修改的触觉输出序列包括：包括第二组触觉输出的第三部分以及第四部分，在第四部分期间使用从第三输出水平逐渐增大到第四输出水平的输出水平输出第一组触觉输出，其中第四部分在第三部分之后。
在一些实施方案中，经过修改的触觉输出序列包括：包括第二组触觉输出的第三部分和减小的触觉输出的第五部分，其中第五部分在第三部分之后。
在一些实施方案中，处理单元1010被进一步配置为播放与第一组一个或多个触觉输出同步(例如，使用音频组合单元1024)并且由触发第一组一个或多个触觉输出的相同条件触发的音频输出(例如，使用音频播放单元1026)。处理单元1010被进一步配置为继续在不修改的情况下播放与第一组一个或多个触觉输出同步的音频输出(例如，使用音频播放单元1026)而不管是否相对于第一组一个或多个触觉输出强调第二组一个或多个触觉输出。
在一些实施方案中，处理单元1010被进一步配置为播放与第一组一个或多个触觉输出同步(例如，使用音频组合单元1024)并且由触发第一组一个或多个触觉输出的相同条件触发的第一音频输出(例如，使用音频播放单元1026)。处理单元1010被配置为在播放第一音频输出时，播放与第二组一个或多个触觉输出同步(例如，使用音频组合单元1024)并且由触发第二组一个或多个触觉输出的相同条件触发的第二音频输出(例如，使用音频播放单元1026)，其中第一音频输出被修改以在播放第二音频输出时强调第二音频输出。
在一些实施方案中，处理单元1010被配置为在强调第二组一个或多个触觉输出突出于第一组一个或多个触觉输出时，继续处理第一组一个或多个输入，包括将用于第一组一个或多个输入的触觉输出混合在一起(例如，使用触觉输出组合单元1014)。
在一些实施方案中，第一音频输出的量值是用户选择的，和/或第二音频输出的量值是用户选择的。
在一些实施方案中，处理单元1010被配置为响应于第二组一个或多个输入，播放由触发第二组一个或多个触觉输出的相同条件触发的音频输出(例如，使用音频播放单元1026)，其中音频输出在第二组一个或多个触觉输出开始之后开始。
在一些实施方案中，输出经过修改的触觉序列包括减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模(例如，使用缩放和降音单元1016)。
在一些实施方案中，处理单元1010被配置为根据确定(例如，使用触觉输出组合单元和/或先行触觉输出限制单元920做出)组合触觉输出的第一部分满足用于该组一个或多个触觉输出发生器单元1006的输出限制标准，在紧接在组合触觉输出的第一部分之前的组合触觉输出的至少第二部分期间减小组合触觉输出的规模(例如，使用缩放和降音单元1016)并且基于包括组合触觉输出的具有减小规模的第二部分的组合触觉输出来使用该组一个或多个触觉输出发生器单元1006输出(例如，使用触觉输出单元1022)触觉输出序列。
根据一些实施方案，图11示出根据各种所述实施方案的原理进行配置的电子设备1100的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原则的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图11中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的示例的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图11所示，电子设备1100包括：显示单元1102(例如，包括显示器112)，其被配置为显示一个或多个用户界面；触敏表面单元1104，其被配置为接收触摸输入(例如，在表面上，诸如在显示单元1102的显示表面上)；一组一个或多个触觉输出发生器单元1106，其被配置为生成一个或多个触觉输出；以及处理单元1110，其与显示单元1102、触敏表面单元1104和一个或多个触觉输出发生器单元1106耦接。在一些实施方案中，电子设备1100包括音频输出单元1108，其也与处理单元1110耦接。在一些实施方案中，处理单元1110包括以下子单元中的一者或多者：触发条件检测单元1112、触觉输出组合单元1114、触觉输出单元1118和音频播放单元1120。在一些实施方案中，触觉输出组合单元1114包括缩放和降音单元1116。
在一些实施方案中，处理单元1110被配置为检测用于具有第一优先级的第一组一个或多个触觉输出的触发条件(例如，使用触发条件检测单元1112)并且检测用于具有第二优先级的第二组一个或多个触觉输出的触发条件(例如，使用触发条件检测单元1112)。处理单元1110被配置为响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠，根据确定第一优先级高于第二优先级，减小第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少一部分的规模(例如，使用缩放和降音单元1116)。处理单元1110被配置为根据确定第二优先级高于第一优先级，减小第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少一部分的规模(例如，使用缩放和降音单元1116)。
在一些实施方案中，处理单元1110被进一步配置为使得能够通过(例如，使用触觉输出组合单元1114)组合至少第一组一个或多个触觉输出(包括其具有减小规模的任何部分)与第二组一个或多个触觉输出(包括其具有减小规模的任何部分)来(例如，使用触觉输出单元1118)生成组合触觉输出，并且基于组合触觉输出来使用该组一个或多个触觉输出发生器单元1106(例如，使用触觉输出单元1118)输出触觉输出序列。
在一些实施方案中，触觉输出序列包括第一部分，在第一部分期间将第一组触觉输出的输出从第一输出水平逐渐减小到第二输出水平。
在一些实施方案中，处理单元1110被配置为根据确定第一优先级与第二优先级相同，在不相对于第二组一个或多个触觉输出的规模减小第一组一个或多个触觉输出的规模的情况下组合(例如，使用触觉输出组合单元1114和/或缩放和降音单元1116)第一组一个或多个触觉输出与第二组一个或多个触觉输出。
在一些实施方案中，处理单元1110被配置为响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出不被调度为与其他触觉输出重叠，在不减小第一组一个或多个触觉输出和第二组一个或多个触觉输出的规模的情况下输出(例如，使用触觉输出单元1118)第一组一个或多个触觉输出和第二组一个或多个触觉输出。
在一些实施方案中，处理单元1110被进一步配置为检测用于具有比第二优先级和第一优先级高的第三优先级的第三组一个或多个触觉输出的触发条件(例如，使用触发条件检测单元1112)。处理单元1110被配置为响应于检测到用于第三组一个或多个触觉输出的触发条件并且根据确定第三组一个或多个触觉输出被调度为至少部分地与第一组一个或多个触觉输出和第二组一个或多个触觉输出重叠，减小第一组一个或多个触觉输出的与第三组一个或多个触觉输出重叠的至少一部分的规模(例如，使用缩放和降音单元1116)并且减小第二组一个或多个触觉输出的与第三组一个或多个触觉输出重叠的至少一部分的规模(例如，使用缩放和降音单元1116)。
在一些实施方案中，具有第三优先级的第三组一个或多个触觉输出对应于一个或多个硬件元件。在一些实施方案中，具有第一优先级的第一组一个或多个触觉输出对应于异步事件。在一些实施方案中，具有第二优先级的第二组一个或多个触觉输出对应于同步事件。
在一些实施方案中，处理单元1110被进一步配置为响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出被调度为至少部分地与第二组一个或多个触觉输出重叠且根据确定第一优先级高于第二优先级，结合减小具有第二优先级的第二组一个或多个触觉输出的规模，输出(例如，使用触觉输出单元1118)具有第一优先级的第一组一个或多个触觉输出。
在一些实施方案中，处理单元1110被进一步配置为响应于检测到用于第一组一个或多个触觉输出的触发条件和用于第二组一个或多个触觉输出的触发条件并且根据确定第一组一个或多个触觉输出被调度为至少部分地重叠且根据确定第二优先级高于第一优先级，结合减小对应于第一优先级的第一组触觉输出的规模，使用该组一个或多个触觉输出发生器单元1106输出(例如，使用触觉输出单元1118)具有第二优先级的第二组一个或多个触觉输出。
在一些实施方案中，处理单元1110被进一步配置为播放与第一组触觉输出或第二组触觉输出同步的音频输出(例如，使用音频播放单元1120)，并且继续在不修改的情况下播放音频输出(例如，使用音频播放单元1120)而不管第一组一个或多个触觉输出的与第二组一个或多个触觉输出重叠的至少该部分的规模或第二组一个或多个触觉输出的与第一组一个或多个触觉输出重叠的至少该部分的规模是否被减小。
在一些实施方案中，处理单元1110被进一步配置为接收对应于显示单元1102上所显示的用户界面元素的第一组一个或多个输入(例如，使用触发条件检测单元1112)，其中第一组一个或多个输入对应于具有第一优先级的第一组一个或多个触觉输出，并且接收对应于一个或多个硬件元件的第二组一个或多个输入(例如，使用触发条件检测单元1112)，其中第二组一个或多个输入对应于具有第二优先级的第二组一个或多个触觉输出，其中第二优先级高于第一优先级。
在一些实施方案中，第二组一个或多个输入对应于使用相应硬件元件执行的点击手势、或点击手势的一部分。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
上文参考图6A至6F、图7A至7D和图8A至8D所述的操作任选地由图1A至1B或图3中所描绘的部件来实现。例如，接收输入操作602、702和检测操作802,804任选地由接触/运动模块130实现；输出组合触觉输出和触觉输出序列操作610,614,712,714和852任选地由触觉反馈模块133实现；而一些其他操作任选地由事件分类器170、事件分类器170、事件识别器180和事件处理程序190实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些示例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域技术人员会清楚地知道基于在图1A至1B中所示的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (48)

1.一种用于输出触觉输出的方法，包括：
在具有显示器、触敏表面、一组一个或多个触觉输出发生器以及与所述显示器和所述触敏表面不同的一个或多个硬件元件的电子设备处：
接收对应于在所述显示器上显示的用户界面元素的第一组一个或多个输入，其中所述第一组一个或多个输入包括所述触敏表面上的触摸输入并且对应于第一组一个或多个触觉输出；
接收对应于所述一个或多个硬件元件的第二组一个或多个输入，其中所述第二组一个或多个输入包括所述一个或多个硬件元件中的硬件元件上的触摸输入并且对应于第二组一个或多个触觉输出；以及
响应于所述第二组一个或多个输入：
根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出不重叠，利用所述一组一个或多个触觉输出发生器输出触觉输出序列，所述触觉输出序列包括所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出；以及
根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出重叠，利用所述一组一个或多个触觉输出发生器输出经修改的触觉输出序列，所述触觉输出序列经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出。
2.根据权利要求1所述的方法，其中所述第二组一个或多个输入对应于使用相应硬件元件执行的点击手势、或点击手势的一部分。
3.根据权利要求1至2中任一项所述的方法，其中输出所述经修改的触觉输出序列包括执行以下操作中的一个或多个：增大所述第二组一个或多个触觉输出的振幅，以及减小所述第一组一个或多个触觉输出的振幅。
4.根据权利要求1至2中任一项所述的方法，其中所述经修改的触觉输出序列包括所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出的组合，该组合经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出，并且，所述经修改的触觉输出序列包括第一部分，在所述第一部分期间，所述第一组一个或多个触觉输出的输出从第一输出水平逐渐减小到第二输出水平。
5.根据权利要求4所述的方法，其中所述经修改的触觉输出序列包括第二部分，在所述第二部分期间，所述第一组一个或多个触觉输出的输出保持减小。
6.根据权利要求5所述的方法，其中基于所述第一部分的量值来选择所述第二部分的持续时间。
7.根据权利要求5所述的方法，其中所述经修改的触觉输出序列包括第三部分，所述第三部分在所述第二部分之后并且包括所述第二组一个或多个触觉输出，并且所述第三部分的持续时间长于所述第二部分的持续时间，在所述第二部分的所述持续时间期间，所述第一组一个或多个触觉输出的输出保持减小。
8.根据权利要求1至2中任一项所述的方法，其中所述经修改的触觉输出序列包括：
第三部分，所述第三部分包括所述第二组一个或多个触觉输出；和
第四部分，在所述第四部分期间，使用从第三输出水平逐渐增大到第四输出水平的输出水平来输出所述第一组一个或多个触觉输出，其中所述第四部分在所述第三部分之后。
9.根据权利要求8所述的方法，其中所述经修改的触觉输出序列包括：
第五部分，在所述第五部分期间，所述第一组一个或多个触觉输出的输出保持减小，其中所述第五部分在所述第三部分之后并且在所述第四部分之前。
10.根据权利要求1至2中任一项所述的方法，包括：
播放音频输出，所述音频输出与所述第一组一个或多个触觉输出同步并且由触发所述第一组一个或多个触觉输出的相同条件触发；以及
继续播放与所述第一组一个或多个触觉输出同步的所述音频输出而不修改，无论所述第二组一个或多个触觉输出是否相对于所述第一组一个或多个触觉输出被强调。
11.根据权利要求1至2中任一项所述的方法，包括：
播放第一音频输出，所述第一音频输出与所述第一组一个或多个触觉输出同步并且由触发所述第一组一个或多个触觉输出的相同条件触发；以及
在播放所述第一音频输出时，播放第二音频输出，所述第二音频输出与所述第二组一个或多个触觉输出同步并且由触发所述第二组一个或多个触觉输出的相同条件触发，其中所述第一音频输出被修改为在播放所述第二音频输出时强调所述第二音频输出。
12.根据权利要求11所述的方法，包括在相对于所述第一组一个或多个触觉输出强调所述第二组一个或多个触觉输出的同时，继续处理所述第一组一个或多个输入，包括将针对所述第一组一个或多个输入的触觉输出混合在一起。
13.根据权利要求11所述的方法，其中所述第一音频输出的量值是用户选择的，并且/或者所述第二音频输出的量值是用户选择的。
14.根据权利要求1至2中任一项所述的方法，包括：
响应于所述第二组一个或多个输入，播放由触发所述第二组一个或多个触觉输出的相同条件触发的音频输出，其中所述音频输出在所述第二组一个或多个触觉输出开始之后开始。
15.根据权利要求1所述的方法，其中输出所述经修改的触觉输出序列包括减小与所述第二组一个或多个触觉输出重叠的所述第一组一个或多个触觉输出的至少一部分的规模。
16.根据权利要求1所述的方法，包括：
根据确定所述经修改的触觉输出序列的第一部分满足用于所述一个或多个触觉输出发生器的输出限制标准：
在紧邻所述经修改的触觉输出序列的所述第一部分之前的所述经修改的触觉输出序列的至少第二部分期间，减小所述经修改的触觉输出序列的规模；以及
利用所述一组一个或多个触觉输出发生器，基于所述经修改的触觉输出序列输出触觉输出序列，所述触觉输出序列包括所述经修改的触觉输出序列的具有减小的规模的所述第二部分。
17.一种用于输出触觉输出的电子设备，包括：
显示器；
触敏表面；
一组一个或多个触觉输出发生器；
与所述显示器和所述触敏表面不同的一个或多个硬件元件；
一个或多个处理器；和
存储器，所述存储器存储由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
接收对应于在所述显示器上显示的用户界面元素的第一组一个或多个输入，其中所述第一组一个或多个输入包括所述触敏表面上的触摸输入并且对应于第一组一个或多个触觉输出；
接收对应于所述一个或多个硬件元件的第二组一个或多个输入，其中所述第二组一个或多个输入包括所述一个或多个硬件元件中的硬件元件上的触摸输入并且对应于第二组一个或多个触觉输出；以及
响应于所述第二组一个或多个输入：
根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出不重叠，利用所述一组一个或多个触觉输出发生器输出触觉输出序列，所述触觉输出序列包括所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出；以及
根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出重叠，利用所述一组一个或多个触觉输出发生器输出经修改的触觉输出序列，所述触觉输出序列经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出。
18.根据权利要求17所述的电子设备，其中所述第二组一个或多个输入对应于使用相应硬件元件执行的点击手势、或点击手势的一部分。
19.根据权利要求17至18中任一项所述的电子设备，其中输出所述经修改的触觉输出序列包括执行以下操作中的一个或多个：增大所述第二组一个或多个触觉输出的振幅，以及减小所述第一组一个或多个触觉输出的振幅。
20.根据权利要求17至18中任一项所述的电子设备，其中所述经修改的触觉输出序列包括所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出的组合，该组合经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出，并且，所述经修改的触觉输出序列包括第一部分，在所述第一部分期间，所述第一组一个或多个触觉输出的输出从第一输出水平逐渐减小到第二输出水平。
21.根据权利要求20所述的电子设备，其中所述经修改的触觉输出序列包括第二部分，在所述第二部分期间，所述第一组一个或多个触觉输出的输出保持减小。
22.根据权利要求21所述的电子设备，其中基于所述第一部分的量值来选择所述第二部分的持续时间。
23.根据权利要求21所述的电子设备，其中所述经修改的触觉输出序列包括第三部分，所述第三部分在所述第二部分之后并且包括所述第二组一个或多个触觉输出，并且所述第三部分的持续时间长于所述第二部分的持续时间，在所述第二部分的所述持续时间期间，所述第一组一个或多个触觉输出的输出保持减小。
24.根据权利要求17至18中任一项所述的电子设备，其中所述经修改的触觉输出序列包括：
第三部分，所述第三部分包括所述第二组一个或多个触觉输出；和
第四部分，在所述第四部分期间，使用从第三输出水平逐渐增大到第四输出水平的输出水平来输出所述第一组一个或多个触觉输出，其中所述第四部分在所述第三部分之后。
25.根据权利要求24所述的电子设备，其中所述经修改的触觉输出序列包括：
第五部分，在所述第五部分期间，所述第一组一个或多个触觉输出的输出保持减小，其中所述第五部分在所述第三部分之后并且在所述第四部分之前。
26.根据权利要求17至18中任一项所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
播放音频输出，所述音频输出与所述第一组一个或多个触觉输出同步并且由触发所述第一组一个或多个触觉输出的相同条件触发；以及
继续播放与所述第一组一个或多个触觉输出同步的所述音频输出而不修改，无论所述第二组一个或多个触觉输出是否相对于所述第一组一个或多个触觉输出被强调。
27.根据权利要求17至18中任一项所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
播放第一音频输出，所述第一音频输出与所述第一组一个或多个触觉输出同步并且由触发所述第一组一个或多个触觉输出的相同条件触发；以及
在播放所述第一音频输出时，播放第二音频输出，所述第二音频输出与所述第二组一个或多个触觉输出同步并且由触发所述第二组一个或多个触觉输出的相同条件触发，其中所述第一音频输出被修改为在播放所述第二音频输出时强调所述第二音频输出。
28.根据权利要求27所述的电子设备，其中所述一个或多个程序还包括指令，所述指令用于在相对于所述第一组一个或多个触觉输出强调所述第二组一个或多个触觉输出的同时，继续处理所述第一组一个或多个输入，包括将针对所述第一组一个或多个输入的触觉输出混合在一起。
29.根据权利要求27所述的电子设备，其中所述第一音频输出的量值是用户选择的，并且/或者所述第二音频输出的量值是用户选择的。
30.根据权利要求17至18中任一项所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
响应于所述第二组一个或多个输入，播放由触发所述第二组一个或多个触觉输出的相同条件触发的音频输出，其中所述音频输出在所述第二组一个或多个触觉输出开始之后开始。
31.根据权利要求17所述的电子设备，其中输出所述经修改的触觉输出序列包括减小与所述第二组一个或多个触觉输出重叠的所述第一组一个或多个触觉输出的至少一部分的规模。
32.根据权利要求17所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
根据确定所述经修改的触觉输出序列的第一部分满足用于所述一个或多个触觉输出发生器的输出限制标准：
在紧邻所述经修改的触觉输出序列的所述第一部分之前的所述经修改的触觉输出序列的至少第二部分期间，减小所述经修改的触觉输出序列的规模；以及
利用所述一组一个或多个触觉输出发生器，基于所述经修改的触觉输出序列输出触觉输出序列，所述触觉输出序列包括所述经修改的触觉输出序列的具有减小的规模的所述第二部分。
33.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器、触敏表面、一组一个或多个触觉输出发生器以及与所述显示器和所述触敏表面不同的一个或多个硬件元件的电子设备执行时，致使所述设备：
接收对应于在所述显示器上显示的用户界面元素的第一组一个或多个输入，其中所述第一组一个或多个输入包括所述触敏表面上的触摸输入并且对应于第一组一个或多个触觉输出；
接收对应于所述一个或多个硬件元件的第二组一个或多个输入，其中所述第二组一个或多个输入包括所述一个或多个硬件元件中的硬件元件上的触摸输入并且对应于第二组一个或多个触觉输出；以及
响应于所述第二组一个或多个输入：
根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出不重叠，利用所述一组一个或多个触觉输出发生器输出触觉输出序列，所述触觉输出序列包括所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出；以及
根据确定所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出重叠，利用所述一组一个或多个触觉输出发生器输出经修改的触觉输出序列，所述触觉输出序列经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出。
34.根据权利要求33所述的计算机可读存储介质，其中所述第二组一个或多个输入对应于使用相应硬件元件执行的点击手势、或点击手势的一部分。
35.根据权利要求33至34中任一项所述的计算机可读存储介质，其中输出所述经修改的触觉输出序列包括执行以下操作中的一个或多个：增大所述第二组一个或多个触觉输出的振幅，以及减小所述第一组一个或多个触觉输出的振幅。
36.根据权利要求33至34中任一项所述的计算机可读存储介质，其中所述经修改的触觉输出序列包括所述第一组一个或多个触觉输出和所述第二组一个或多个触觉输出的组合，该组合经修改以便相对于所述第一组一个或多个触觉输出来强调所述第二组一个或多个触觉输出，并且，所述经修改的触觉输出序列包括第一部分，在所述第一部分期间，所述第一组一个或多个触觉输出的输出从第一输出水平逐渐减小到第二输出水平。
37.根据权利要求36所述的计算机可读存储介质，其中所述经修改的触觉输出序列包括第二部分，在所述第二部分期间，所述第一组一个或多个触觉输出的输出保持减小。
38.根据权利要求37所述的计算机可读存储介质，其中基于所述第一部分的量值来选择所述第二部分的持续时间。
39.根据权利要求37所述的计算机可读存储介质，其中所述经修改的触觉输出序列包括第三部分，所述第三部分在所述第二部分之后并且包括所述第二组一个或多个触觉输出，并且所述第三部分的持续时间长于所述第二部分的持续时间，在所述第二部分的所述持续时间期间，所述第一组一个或多个触觉输出的输出保持减小。
40.根据权利要求33至34中任一项所述的计算机可读存储介质，其中所述经修改的触觉输出序列包括：
第三部分，所述第三部分包括所述第二组一个或多个触觉输出；和
第四部分，在所述第四部分期间，使用从第三输出水平逐渐增大到第四输出水平的输出水平来输出所述第一组一个或多个触觉输出，其中所述第四部分在所述第三部分之后。
41.根据权利要求40所述的计算机可读存储介质，其中所述经修改的触觉输出序列包括：
第五部分，在所述第五部分期间，所述第一组一个或多个触觉输出的输出保持减小，其中所述第五部分在所述第三部分之后并且在所述第四部分之前。
42.根据权利要求33至34中任一项所述的计算机可读存储介质，其中所述一个或多个程序当由所述一个或多个处理器执行时还使所述设备执行以下操作：
播放音频输出，所述音频输出与所述第一组一个或多个触觉输出同步并且由触发所述第一组一个或多个触觉输出的相同条件触发；以及
继续播放与所述第一组一个或多个触觉输出同步的所述音频输出而不修改，无论所述第二组一个或多个触觉输出是否相对于所述第一组一个或多个触觉输出被强调。
43.根据权利要求33至34中任一项所述的计算机可读存储介质，其中所述一个或多个程序当由所述一个或多个处理器执行时还使所述设备执行以下操作：
播放第一音频输出，所述第一音频输出与所述第一组一个或多个触觉输出同步并且由触发所述第一组一个或多个触觉输出的相同条件触发；以及
在播放所述第一音频输出时，播放第二音频输出，所述第二音频输出与所述第二组一个或多个触觉输出同步并且由触发所述第二组一个或多个触觉输出的相同条件触发，其中所述第一音频输出被修改为在播放所述第二音频输出时强调所述第二音频输出。
44.根据权利要求43所述的计算机可读存储介质，其中所述一个或多个程序当由所述一个或多个处理器执行时，还使所述电子设备在相对于所述第一组一个或多个触觉输出强调所述第二组一个或多个触觉输出的同时，继续处理所述第一组一个或多个输入，包括将针对所述第一组一个或多个输入的触觉输出混合在一起。
45.根据权利要求43所述的计算机可读存储介质，其中所述第一音频输出的量值是用户选择的，并且/或者所述第二音频输出的量值是用户选择的。
46.根据权利要求33至34中任一项所述的计算机可读存储介质，其中所述一个或多个程序当由所述一个或多个处理器执行时还使所述设备执行以下操作：
响应于所述第二组一个或多个输入，播放由触发所述第二组一个或多个触觉输出的相同条件触发的音频输出，其中所述音频输出在所述第二组一个或多个触觉输出开始之后开始。
47.根据权利要求33所述的计算机可读存储介质，其中输出所述经修改的触觉输出序列包括减小与所述第二组一个或多个触觉输出重叠的所述第一组一个或多个触觉输出的至少一部分的规模。
48.根据权利要求33所述的计算机可读存储介质，其中所述一个或多个程序当由所述一个或多个处理器执行时还使所述设备执行以下操作：
根据确定所述经修改的触觉输出序列的第一部分满足用于所述一个或多个触觉输出发生器的输出限制标准：
在紧邻所述经修改的触觉输出序列的所述第一部分之前的所述经修改的触觉输出序列的至少第二部分期间，减小所述经修改的触觉输出序列的规模；以及
利用所述一组一个或多个触觉输出发生器，基于所述经修改的触觉输出序列输出触觉输出序列，所述触觉输出序列包括所述经修改的触觉输出序列的具有减小的规模的所述第二部分。
CN201710734877.7A 2016-09-06 2017-08-24 用于触觉混合的设备、方法和图形用户界面 Active CN107797656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910901923.7A CN110673728B (zh) 2016-09-06 2017-08-24 用于触觉混合的设备、方法和图形用户界面

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662384113P 2016-09-06 2016-09-06
US62/384,113 2016-09-06
DK201670721 2016-09-16
DKPA201670721A DK179278B1 (en) 2016-09-06 2016-09-16 Devices, methods and graphical user interfaces for haptic mixing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910901923.7A Division CN110673728B (zh) 2016-09-06 2017-08-24 用于触觉混合的设备、方法和图形用户界面

Publications (2)

Publication Number Publication Date
CN107797656A CN107797656A (zh) 2018-03-13
CN107797656B true CN107797656B (zh) 2019-10-25

Family

ID=59742252

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710734877.7A Active CN107797656B (zh) 2016-09-06 2017-08-24 用于触觉混合的设备、方法和图形用户界面
CN201910901923.7A Active CN110673728B (zh) 2016-09-06 2017-08-24 用于触觉混合的设备、方法和图形用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910901923.7A Active CN110673728B (zh) 2016-09-06 2017-08-24 用于触觉混合的设备、方法和图形用户界面

Country Status (4)

Country Link
EP (2) EP3291054B8 (zh)
CN (2) CN107797656B (zh)
AU (2) AU2017216447B1 (zh)
WO (1) WO2018048522A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201906852D0 (en) * 2019-05-15 2019-06-26 Cambridge Mechatronics Ltd Scheduling haptic feedback
TWI769438B (zh) * 2020-03-18 2022-07-01 友達光電股份有限公司 具有振動回饋的觸控顯示裝置
CN112558853B (zh) * 2020-12-04 2023-03-17 广州博冠信息科技有限公司 会话消息处理方法及装置、电子设备和存储介质
CN113296638A (zh) * 2021-06-10 2021-08-24 武汉市聚芯微电子有限责任公司 用于控制触觉反馈的方法、装置和包括该装置的电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649885A (zh) * 2012-04-27 2014-03-19 松下电器产业株式会社 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法
CN104321723A (zh) * 2012-12-19 2015-01-28 松下知识产权经营株式会社 触觉输入输出装置
CN104423595A (zh) * 2013-09-10 2015-03-18 意美森公司 执行触觉转换的系统和方法
CN105278746A (zh) * 2014-07-21 2016-01-27 意美森公司 用于确定对多触摸输入的触觉效果的系统和方法
GB2533572A (en) * 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
EP1805585B1 (en) * 2004-10-08 2017-08-16 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
KR101443341B1 (ko) * 2008-06-30 2014-11-03 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
US9746923B2 (en) * 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
EP3185116B1 (en) * 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
EP2901257A4 (en) * 2012-09-28 2016-06-22 Nokia Technologies Oy DEVICE FOR DISPLAYING ANIMATED IMAGES IN COMBINATION WITH A TOUCH OUTPUT
WO2014083751A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 触感呈示装置および触感呈示方法
US9285880B2 (en) * 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
JP6297787B2 (ja) * 2013-04-25 2018-03-20 京セラ株式会社 携帯電子機器
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
JP6667987B2 (ja) * 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
CN104932681B (zh) * 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
KR102243680B1 (ko) * 2014-04-07 2021-04-23 엘지전자 주식회사 투명 플렉서블 디스플레이 장치 및 그 장치의 제어 방법
US9733880B2 (en) * 2014-05-30 2017-08-15 Immersion Corporation Haptic notification manager
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
KR102096146B1 (ko) * 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US9851805B2 (en) * 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
US9619034B2 (en) * 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
KR101708319B1 (ko) * 2015-10-12 2017-02-20 엘지전자 주식회사 와치 타입 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649885A (zh) * 2012-04-27 2014-03-19 松下电器产业株式会社 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法
CN104321723A (zh) * 2012-12-19 2015-01-28 松下知识产权经营株式会社 触觉输入输出装置
CN104423595A (zh) * 2013-09-10 2015-03-18 意美森公司 执行触觉转换的系统和方法
CN105278746A (zh) * 2014-07-21 2016-01-27 意美森公司 用于确定对多触摸输入的触觉效果的系统和方法
GB2533572A (en) * 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices

Also Published As

Publication number Publication date
AU2017251751A1 (en) 2017-11-16
EP3531250A1 (en) 2019-08-28
CN110673728A (zh) 2020-01-10
CN107797656A (zh) 2018-03-13
AU2017216447B1 (en) 2017-09-07
EP3531250B1 (en) 2021-02-24
CN110673728B (zh) 2021-12-14
AU2017251751B2 (en) 2020-01-16
EP3291054A1 (en) 2018-03-07
EP3291054B1 (en) 2019-06-12
WO2018048522A1 (en) 2018-03-15
EP3291054B8 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
CN107797658B (zh) 用于触觉混合的设备、方法和图形用户界面
AU2020210234B2 (en) Recording and broadcasting application visual output
US20220060775A1 (en) Video recording and replay
US10616416B2 (en) User interface for phone call routing among devices
CN106605196B (zh) 远程相机用户界面
CN105955520B (zh) 用于控制媒体呈现的设备和方法
CN108762605B (zh) 设备配置用户界面
CN105264479B (zh) 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
US10942639B2 (en) Accelerated scrolling
CN104903835B (zh) 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
CN104903834B (zh) 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
US11784992B2 (en) Credential entry and management
JP2021007259A (ja) インテリジェントなデバイス識別
CN110209290A (zh) 使用表冠和传感器进行手势检测、列表导航和项目选择
CN108174612A (zh) 用于利用基于先前输入强度的强度阈值对触摸输入进行处理和消除歧义的设备和方法
CN107430488A (zh) 基于活动的阈值和反馈
CN109219781A (zh) 显示和更新应用程序视图组
CN107797656B (zh) 用于触觉混合的设备、方法和图形用户界面
CN109416599A (zh) 用于基于调整的输入参数来处理触摸输入的设备和方法
CN110134248A (zh) 基于内容的触觉输出

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant