CN109844711A - 用于向设备上显示的内容加注释的统一注释层的设备、方法和图形用户界面 - Google Patents

Abstract

本发明公开了一种电子设备，该电子设备显示第一应用程序的第一用户界面。该第一应用程序为多个应用程序中的相应应用程序，并且该第一用户界面包括第一应用程序内容。在显示该第一用户界面时，并且响应于检测到第一输入，该设备继续显示第一应用程序内容，并在该第一用户界面的至少第一部分上方显示注释层。该注释层与不同于该多个应用程序的用户应用程序相关联。在至少该第一部分上方显示注释层时，以及响应于检测到第二输入，该设备将第一用户界面的至少第二部分的表示添加到注释层。在显示该表示时，设备检测一组一个或多个附加输入，并且作为响应，将注释添加到注释层。

Description

用于向设备上显示的内容加注释的统一注释层的设备、方法 和图形用户界面

技术领域

本文整体涉及具有触敏显示器的电子设备，包括但不限于具有通过向统一注释层添加注释来操控用户界面的触敏显示器的电子设备。

背景技术

触敏表面作为计算机和其他电子计算设备的输入设备的使用在近年来显著增长。触敏表面的示例包括触摸板和触摸屏显示器。此类表面广泛地用于操纵显示器上的用户界面对象。

可以通过添加注释来操控用户界面。将注释添加到用户界面的常规方法繁琐且效率低下。

发明内容

因此，电子设备需要具有更快、更有效的方法和界面以用于将注释添加到用户界面。此类方法和界面另选地补充或替换用于将注释添加到用户界面的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。

借助所公开的设备可减少或消除与具有触敏表面的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，该设备是台式计算机。在一些实施方案中，该设备是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该设备是个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该设备具有触控板。在一些实施方案中，该设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，该设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施方案中，用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。

根据一些实施方案，在具有触敏显示器和用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器的电子设备处执行方法。该方法包括：显示第一应用程序的第一用户界面。该第一应用程序为多个应用程序中的相应应用程序，并且第一用户界面包括第一应用程序内容。该方法还包括，在显示所述第一应用程序的第一用户界面时，检测第一输入；以及响应于检测到第一输入，继续显示第一应用程序内容，以及此外，在第一用户界面的至少第一部分上方显示注释层。该注释层与不同于该多个应用程序的用户应用程序相关联该方法还包括，当在该第一用户界面的至少第一部分上方显示所述注释层时，检测第二输入；响应于检测到所述第二输入，将第一用户界面的至少第二部分的表示添加到所述注释层；在显示该注释层中的表示时，检测一组一个或多个附加输入；以及响应于检测到所述一组一个或多个附加输入，向所述注释层添加注释。

根据一些实施方案，一种电子设备包括被配置为显示第一应用程序的第一用户界面和接收用户输入的触敏显示器单元；以及耦接至触敏显示器单元的处理单元。在一些实施方案中，电子设备包括用于检测来自与设备相关联的触笔的信号的一个或多个传感器单元(例如，与处理单元耦接)。处理单元被配置为使能第一应用程序的第一用户界面的显示。第一应用程序为多个应用程序中的相应应用程序，并且第一用户界面包括第一应用程序内容。该处理单元还被配置为，在显示第一应用程序的第一用户界面时，检测第一输入；以及响应于检测到第一输入，使能第一应用程序内容的继续显示，以及此外，使能注释层的在第一用户界面的至少第一部分上方的显示。所述注释层与不同于所述多个应用程序的用户应用程序相关联。处理单元被进一步配置为，当在第一用户界面的至少第一部分上方显示注释层时，检测第二输入；响应于检测到第二输入，将第一用户界面的至少第二部分的表示添加到注释层；在注释层中显示表示时，检测一组一个或多个附加输入；以及响应于检测到一组一个或多个附加输入，向注释层添加注释。

根据一些实施方案，电子设备包括：触敏显示器、用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器、一个或多个处理器、存储器以及一个或多个程序；一个或多个程序被存储在存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行任何本文所述的方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，该指令当由具有触敏显示器、以及用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器的电子设备执行时，使该设备执行本文所述的任何方法的操作或使本文所述任何方法的操作被执行。根据一些实施方案，具有触敏显示器、用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器、存储器以及执行存储于存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元素，该一个或多个元素响应于输入进行更新，如本文所述的任何方法中所描述的。根据一些实施方案，电子设备包括：触敏显示器；用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器；以及用于执行本文所述的任何方法的操作或使本文所述的任何方法的操作被执行的装置。根据一些实施方案，用于具有触敏显示器和用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器的电子设备中的信息处理设备包括用于执行本文所述的任何方法的操作或使本文所述的任何方法的操作被执行的装置。

因此，为具有触敏显示器和用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器的电子设备提供使用统一注释层将注释添加到用户界面的更快、更有效的方法和界面，从而提高此类设备的效能、效率和用户满意度。此类方法和界面可补充或替换用于将注释添加到用户界面的常规方法。

附图说明

为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。

图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。

图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。

图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。

图4是根据一些实施方案的示例性电子触笔的框图。

图5A至图5B示出了根据一些实施方案的触笔相对于触敏表面的位置状态。

图6A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。

图6B示出了根据一些实施方案用于具有与显示器分开的触敏表面的多功能设备的示例用户界面。

图7A-图7RRR示出了根据一些实施方案的用于将注释添加到注释层的示例性用户界面。

图8A是根据一些实施方案的注释应用程序的框图。

图8B是示出根据一些实施方案的用于保存的注释层的示例性部件的框图。

图9A-图9E是示出根据一些实施方案的将注释添加到注释层的方法的流程图。

图10是根据一些实施方案的电子设备的功能框图。

具体实施方式

许多电子设备具有用于查看和编辑文档的多个应用程序。这些应用程序中的一些允许用户将注释添加到文档。但是，为文档加注释的现有方法缓慢且效率低下。例如，不同的应用程序使用不同的方法来注释文档和/或保存注释的文档和注释。此外，对于与不允许添加注释的应用程序相关联的文档，需要单独的应用程序来进行注释。此外，添加到一个应用程序中的文档的注释可能不会被保存以用于在其他应用程序中显示或编辑。以下实施方案通过提供一种方法来解决这些问题，该方法允许将注释添加到与多个应用程序结合操作的统一注释层，并且独立于多个应用程序由注释应用程序来控制。

下面，图1A至图1B、图2、图3、图4、图5A-图5B以及图6A至图6B提供了对示例性设备的描述。图7A-图7RRR示出用于将注释添加到注释层的示例性用户界面。图8A-图8B是注释应用程序和相关联的注释层的示例性框图。图9A-图9E是示出将注释添加到注释层的方法的流程图。图7A-图7RRR中的用户界面用于示出图9A-图9E中的过程。

示例性设备

现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。

还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元素，但是这些元素不应受到这些术语限制。这些术语只是用于将一个元素与另一元素区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。

在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元素和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件和/或其分组。

如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的iPod和设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。

该设备通常支持各种应用，诸如以下应用中的一个或多个应用：记笔记应用、绘图应用、演示应用、文字处理应用、网站创建应用、盘编辑应用、电子表格应用、游戏应用、电话应用、视频会议应用、电子邮件应用、即时消息应用、健身支持应用、照片管理应用、数字相机应用、数字摄像机应用、Web浏览应用、数字音乐播放器应用序、和/或数字视频播放器应用。

在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。

现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器163(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。

如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。

应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。

存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。

外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 120。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。

在一些实施方案中，外围设备接口118、一个或多个CPU 120、和存储器控制器122任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。

RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。

音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。

I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。所述一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到所述其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。

触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接、或其他用户界面控件。

触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一个示例性实施方案中，触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。

触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的iPod和中发现的技术。

触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。

在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。

设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。

设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。

设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。

设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。

设备100任选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。一个或多个触觉输出发生器163任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。

设备100任选地还包括用于获得关于设备的位置(例如，姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如，作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地，传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100可选地包括用于获得关于设备100的定位和取向(例如，纵向或横向)的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。

在一些实施方案中，存储在存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、位置模块(或指令集)131、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如在图1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其它信息占据触敏显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他输入或控制设备116获得的信息；以及关于设备的位置和/或姿态的位置和/或方位信息。

操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。

通信模块128促进通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。

接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触和/或触笔接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。

接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。

结合加速度计167、陀螺仪168和/或磁力仪169，位置模块131任选地检测关于设备的位置信息，诸如在特定参考系中设备的姿态(滚转、仰俯和/或偏航)。位置模块130包括用于执行与检测设备位置以及检测设备位置变化相关的各种操作的软件部件。在一些实施方案中，位置模块131使用从与设备一起使用的触笔接收的信息来检测关于触笔的位置信息，诸如检测触笔相对于设备的位置状态以及检测触笔的位置状态的变化。

图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。

在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。

触觉反馈模块133包括用于生成指令的各种软件部件，该指令由触觉输出发生器163使用，以便响应于用户与设备100的交互而在设备100上的一个或多个定位处产生触觉输出。

任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。

GPS模块135确定设备的位置并提供这种信息以在各种应用程序中使用(例如，提供至用于基于位置的拨号的电话138；提供至相机143作为图片/视频元数据；以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。

应用程序136任选地包括以下模块(或指令集)或者其子集或超集：

·联系人模块137(有时称为通讯录或联系人列表)；

·电话模块138；

·视频会议模块139；

·电子邮件客户端模块140；

·即时消息(IM)模块141；

·健身支持模块142；

·用于静态图像和/或视频图像的相机模块143；

·图像管理模块144；

·浏览器模块147；

·日历模块148；

·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获得的其他桌面小程序、以及用户创建的桌面小程序149-6；

·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；

·搜索模块151；

·任选地由视频播放器模块和音乐播放器模块构成的视频和音乐播放器模块152；

·记事本模块153；

·地图模块154；

·在线视频模块155；和/或

注释应用程序195，用于向用户界面提供注释并任选地存储和/或访问存储器102中的保存的注释196。

任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。

结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信；等等。

结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。

结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。

结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。

结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、发送相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息、以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。

结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块146，健身支持模块142包括可执行指令用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。

结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。

结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。

结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。

结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。

结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。

结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。

结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。

结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。

结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。

结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)的可执行指令。

结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏112上或在无线连接的或经由外部端口124连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。

上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上面未描述的另外的模块和数据结构。

在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。

唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触摸板。

图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。

事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。

在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。

事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167、一个或多个陀螺仪168、一个或多个磁力仪169和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。

在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。

在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。

当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。

与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。

命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。

活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。

事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。

在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模块130)的一部分。

在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一者包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。

相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。

事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。

事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施方案中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。

在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。

在一些实施方案中，对相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。

当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。

在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。

在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。

在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。

在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块145中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息并将显示信息发送到图形模块132用以显示在触敏显示器上。

在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。

应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。

图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中，用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不选择对应的应用程序。

设备100任选地还包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。

在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204、用于使设备通电/断电和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212、和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165、和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器163。

图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器163)、传感器359(例如，类似于以上参考图1A所述的传感器112、164、165、166、167、168和169的触敏传感器、光学传感器、接触强度传感器、接近传感器、加速度传感器、姿态和/或磁传感器)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。

图3中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上面未描述的附加的模块和数据结构。

图4是根据一些实施方案的示例性电子触笔203的框图。电子触笔203有时简称为触笔。触笔203包括存储器402(其任选地包括一个或多个计算机可读存储介质)、存储器控制器422、一个或多个处理单元(CPU)420、外围设备接口418、RF电路408、输入/输出(I/O)子系统406以及其他输入或控制设备416。触笔203任选地包括外部端口424和一个或多个光学传感器464。触笔203任选地包括用于检测触笔203在设备100上(例如，当触笔203与触敏表面诸如设备100的触敏显示器系统112一起使用时)或在其他表面(例如，桌子表面)上的接触的强度的一个或多个强度传感器465。触笔203任选地包括用于在触笔203上生成触觉输出的一个或多个触觉输出发生器463。这些部件任选地通过一个或多个通信总线或信号线403进行通信。

在一些实施方案中，上面讨论的术语“触觉输出”是指将由用户凭借用户的触摸感检测到的设备(例如，设备100)的附件(例如，触笔203)相对于附件的先前位置的物理位移、附件的部件相对于附件的另一部件的物理位移，或者部件相对于附件的质心的位移。例如，在附件或附件的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，由物理位移生成的触觉输出将由用户解释为触感，该触感对应于所感知的附件或附件的部件的物理特征的变化。例如，部件(例如，触笔203的外壳)的移动任选地由用户解释为对物理致动按钮的“点击”。在一些情况下，用户将感觉到触感，诸如“点击”，即使当通过用户的移动而物理地被按压(例如，被移位)的与触笔相关联的物理致动按钮没有移动时。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感知(例如，“点击”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感知。

应当理解，触笔203仅仅是电子触笔的一个示例，并且触笔203任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图4中所示的各种部件在硬件、软件、固件或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实现。

存储器402任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个闪存存储器设备或其他非易失性固态存储器设备。触笔203的其他部件(诸如一个或多个CPU 420和外围设备接口418)对存储器402的访问任选地由存储器控制器422控制。

外围设备接口418可被用于将触笔的输入外围设备和输出外围设备耦接到一个或多个CPU 420和存储器402。所述一个或多个处理器420运行或执行被存储在存储器402中的各种软件程序和/或指令集，以执行触笔203的各种功能并处理数据。

在一些实施方案中，外围设备接口418、一个或多个CPU 420和存储器控制器422任选地实现在单个芯片诸如芯片404上。在一些其他实施方案中，它们任选地实现在独立的芯片上。

RF(射频)电路408接收和发送也被称作电磁信号的RF信号。RF电路408将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与设备100或设备300、通信网络和/或其他通信设备进行通信。RF电路408任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路408任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。

I/O子系统406将触笔203上的输入/输出外围设备诸如其他输入或控制设备416与外围设备接口418耦接。I/O子系统406任选地包括光学传感器控制器458、强度传感器控制器459、触觉反馈控制器461和用于其他输入或控制设备的一个或多个输入控制器460。所述一个或多个输入控制器460从其他输入或控制设备416接收电信号/将电信号发送到所述其他输入或控制设备。其他输入或控制设备416任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、点击轮等。在一些另选的实施方案中，一个或多个输入控制器460任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：红外线端口和/或USB端口。

触笔203还包括用于为各种部件供电的电力系统462。电力系统462任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示器(例如，发光二极管(LED))以及与便携式设备和/或便携式附件中电力的生成、管理和分配相关联的任何其他部件。

触笔203任选地还包括一个或多个光学传感器464。图4示出了与I/O子系统406中的光学传感器控制器458耦接的光学传感器。一个或多个光学传感器464任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器464从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。

触笔203任选地还包括一个或多个接触强度传感器465。图4示出了与I/O子系统406中的强度传感器控制器459耦接的接触强度传感器。一个或多个接触强度传感器465任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器465从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触笔203的尖端并置排列或邻近。

触笔203任选地还包括一个或多个接近传感器466。图4示出了与外围设备接口418耦接的接近传感器466。另选地，接近传感器466与I/O子系统406中的输入控制器460耦接。在一些实施方案中，接近传感器确定触笔203与电子设备(例如，设备100)的接近度。

触笔203任选地还包括一个或多个触觉输出发生器463。图4示出与I/O子系统406中的触觉反馈控制器461耦接的触觉输出发生器。一个或多个触觉输出发生器463任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器463从触觉反馈模块433接收触觉反馈生成指令，并且在触笔203上生成能够由触笔203的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触笔203的长度(例如，主体或外壳)并置排列或邻近，并且任选地，通过竖直(例如，在平行于触笔203的长度的方向上)或横向(例如，在垂直于触笔203的长度的方向上)移动触笔203来生成触觉输出。

触笔203任选地还包括用于获取关于触笔203的定位和位置状态的信息的一个或多个加速度计467、陀螺仪468和/或磁力仪469(例如，作为惯性测量单元(IMU)的一部分)。图4示出了与外围设备接口418耦接的传感器467、468和469。另选地，传感器467、468和469任选地与I/O子系统406中的输入控制器460耦接。触笔203任选地包括用于获取关于触笔203的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。

在一些实施方案中，存储在存储器402中的软件部件包括操作系统426、通信模块(或指令集)428、接触/运动模块(或指令集)430、位置模块(或指令集)431和全球定位系统(GPS)模块(或指令集)435。此外，在一些实施方案中，存储器402存储设备/全局内部状态457，如图4所示。设备/全局内部状态457包括以下各项中的一者或多者：传感器状态，包括从触笔的各种传感器和其他输入或控制设备416获取的信息；位置状态，包括关于触笔相对于设备(例如，设备100)的位置(例如，位置、取向、倾斜、转动和/或距离，如图5A和图5B所示)的信息；以及关于触笔位置的位置信息(例如，由GPS模块435确定)。

操作系统426(例如，iOS、Darwin、RTXC、LINUX、UNIX、OSX、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、功率管理等)的各种软件部件和/或驱动器，并且促进各种硬件部件和软件部件之间的通信。

通信模块428任选地有利于通过一个或多个外部端口424来与其他设备进行通信，并且还包括用于处理由RF电路408和/或外部端口424所接收的数据的各种软件部件。外部端口424(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些iPod和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。

接触/运动模块430任选地检测与触笔203和触笔203的其他触敏器件(例如，触笔203的按钮或其他触敏部件)的接触。接触/运动模块430包括用于执行与对接触的检测(例如，对触笔的尖端与触敏显示器诸如设备100的触摸屏112或与另一表面诸如桌子表面的接触的检测)相关的各种操作的软件部件，所述各种操作诸如为确定是否已发生接触(例如，检测触摸按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的代替物)、确定是否存在接触的移动并跟踪跨该移动(例如，跨设备100的触摸屏112)，以及确定接触是否已停止(例如，检测抬离事件或者接触断开)。在一些实施方案中，接触/运动模块430从I/O子系统406接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。如上所述，在一些实施方案中，与对接触的检测相关的这些操作中的一个或多个操作由设备使用接触/运动模块130执行(作为补充或代替触笔使用接触/运动模块430)。

接触/运动模块430任选地检测触笔203的手势输入。用触笔203进行的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单次轻击手势包括检测触摸按下事件，随后是在与触摸按下事件相同的位置(或基本上相同的位置)处(例如，在图标的位置处)检测抬离事件。又如，检测轻扫手势包括检测触摸按下事件，随后是检测一个或多个触笔拖动事件，并且随后接着是检测抬离事件。如上所述，在一些实施方案中，手势检测由设备使用接触/运动模块130执行(作为补充或代替触笔使用接触/运动模块430)。

结合加速度计467、陀螺仪468和/或磁力仪469，位置模块431任选地检测关于触笔的位置信息，诸如在特定参考系中触笔的姿态(滚转、仰俯和/或偏航)。结合加速度计467、陀螺仪468和/或磁力计469，位置模块431任选地检测触笔移动手势，诸如触笔的轻弹、轻击和转动。位置模块431包括用于执行与检测触笔的位置以及检测在特定参考系中触笔的位置的变化相关的各种操作的软件部件。在一些实施方案中，位置模块431检测触笔相对于设备的位置状态，并且检测触笔相对于设备的位置状态的变化。如上所述，在一些实施方案中，设备100或设备300使用位置模块131来确定触笔相对于设备的位置状态和触笔的位置状态的变化(作为补充或代替触笔使用位置模块431)。

触觉反馈模块433包括用于生成由一个或多个触觉输出发生器463使用的指令的各种软件部件，以响应于用户与触笔203的交互而在触笔203上的一个或多个位置处产生触觉输出。

GPS模块435确定触笔的位置并提供该信息以供在各种应用程序中使用(例如，提供给提供基于位置的服务的应用程序，诸如用于找到丢失的设备和/或附件的应用程序)。

上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器402任选地存储上述模块和数据结构的子组。此外，存储器402任选地存储上面未描述的附加的模块和数据结构。

图5A至图5B示出了根据一些实施方案的触笔203相对于触敏表面(例如，设备100的触摸屏112)的位置状态。在一些实施方案中，触笔203的位置状态对应于(或指示)：触笔的尖端(或其他代表性部分)在触敏表面上的投影位置(例如，图5A中的(x,y)位置504)、触笔相对于触敏表面的取向(例如，图5A中的取向506)、触笔相对于触敏表面的倾斜(例如，图5B中的倾斜512)和/或触笔相对于触敏表面的距离(例如，图5B中的距离514)。在一些实施方案中，触笔203的位置状态对应于(或指示)触笔的俯仰、偏航和/或转动(例如，触笔相对于特定参考系诸如触敏表面(例如，触摸屏112)或地面的姿态)。在一些实施方案中，位置状态包括一组位置参数(例如，一个或多个位置参数)。在一些实施方案中，根据来自触笔203的发送到电子设备(例如，设备100)的一个或多个测量结果来检测位置状态。例如，触笔测量触笔的倾斜(例如，图5B的倾斜512)和/或取向(例如，图5A的取向506)并将测量结果发送到设备100。在一些实施方案中，代替或者结合根据来自触笔203的一个或多个测量结果检测到的位置状态，根据由触敏表面(例如，设备100的触摸屏112)感测到的来自触笔中的一个或多个电极的原始输出来检测位置状态。例如，触敏表面接收来自触笔中的一个或多个电极的原始输出，并且基于原始输出(任选地，结合由触笔基于由触笔生成的传感器测量结果提供的位置状态信息)来计算触笔的倾斜和/或取向。

图5A示出了根据一些实施方案的从触敏表面(例如，设备100的触摸屏112)正上方的视角查看的触笔203相对于触敏表面。在图5A中，z轴594指向页面外(即，在垂直于触摸屏112的平面的方向上)，x轴590平行于触摸屏112的第一边缘(例如，长度)，y轴592平行于触摸屏112的第二边缘(例如，宽度)，并且y轴592垂直于x轴590。

图5A在(x,y)位置504处示出了触笔203的尖端。在一些实施方案中，触笔203的尖端是触笔的末端，其被配置用于确定触笔与触敏表面(例如，触摸屏112)的接近度。在一些实施方案中，触笔的尖端在触敏表面上的投影是正交投影。换句话讲，触笔的尖端在触敏表面上的投影是在从触笔尖端到触敏表面的垂直于触敏表面的表面的线的端部处的点(例如，(x,y)位置504，如果直接沿垂直于触敏表面的路径移动触笔，则触笔的尖端将在此点处触摸触敏表面)。在一些实施方案中，触摸屏112的左下角处的(x,y)位置是位置(0,0)(例如，(0,0)位置502)并且触摸屏112上的其他(x,y)位置相对于触摸屏112的左下角。另选地，在一些实施方案中，(0,0)位置位于触摸屏112的另一位置处(例如，在触摸屏112的中心)并且其他(x,y)位置相对于触摸屏112的(0,0)位置。

另外，图5A示出触笔203具有取向506。在一些实施方案中，取向506是触笔203在触摸屏112上的投影(例如，触笔203的长度的正交投影或与触笔203的两个不同点在触摸屏112上的投影之间的线对应的线)的取向。在一些实施方案中，取向506相对于平行于触摸屏112的平面中的至少一个轴。在一些实施方案中，取向506相对于平行于触摸屏112的平面中的单个轴(例如，轴508，具有从轴508开始从0度到360度变动的顺时针旋转角度，如图5A所示)。另选地，在一些实施方案中，取向506相对于平行于触摸屏112的平面中的一对轴(例如，x轴590和y轴592，如图5A所示，或者与显示在触摸屏112上的应用程序相关联的一对轴)。

在一些实施方案中，指示(例如，指示516)显示在触敏显示器(例如，设备100的触摸屏112)上。在一些实施方案中，指示516在触笔触摸触敏显示器之前示出触笔将触摸(或标记)触敏显示器的位置。在一些实施方案中，指示516是在触敏显示器上绘制的标记的一部分。在一些实施方案中，指示516与在触敏显示器上绘制的标记分开，并且对应于虚拟“笔尖”或指示将在触敏显示器上绘制标记的位置的其他元素。

在一些实施方案中，根据触笔203的位置状态来显示指示516。例如，在一些情况下，指示516从(x,y)位置504移位(如图5A和图5B所示)，并且在其他情况下，指示516不从(x,y)位置504移位(例如，当倾斜512为零度时，指示516显示在(x,y)位置504处或在其附近)。在一些实施方案中，根据触笔的位置状态，指示516被显示具有变化的颜色、尺寸(或半径或面积)、不透明度和/或其他特征。在一些实施方案中，所显示的指示考虑了触敏显示器上的玻璃层的厚度，以便将指示贯彻到触敏显示器的“像素上”，而不是将指示显示在覆盖像素的“玻璃上”。

图5B示出了根据一些实施方案的从触敏表面(例如，设备100的触摸屏112)的侧面视角查看的触笔203相对于触敏表面。在图5B中，z轴594指向垂直于触摸屏112的平面的方向，x轴590平行于触摸屏112的第一边缘(例如，长度)，y轴592平行于触摸屏112的第二边缘(例如，宽度)，并且y轴592垂直于x轴590。

图5B示出触笔203具有倾斜512。在一些实施方案中，倾斜512是相对于触敏表面的表面的法线(也被简称为触敏表面的法线)(例如，法线510)的角度。如图5B所示，当触笔垂直于/垂直触敏表面时(例如，当触笔203平行于法线510时)，倾斜512为零，并且随着触笔倾斜接近平行于触敏表面，倾斜增大。

另外，图5B示出了触笔203相对于触敏表面的距离514。在一些实施方案中，距离514是在垂直于触敏表面的方向上从触笔203的尖端到触敏表面的距离。例如，在图5B中，距离514是从触笔203的尖端到(x,y)位置504的距离。

尽管本文使用术语“x轴”、“y轴”和“z轴”以在特定附图中例示某些方向，但是应当理解，这些术语不是指绝对方向。换句话讲，“x轴”可以是任何相应的轴，并且“y轴”可以是不同于x轴的特定轴。通常，x轴垂直于y轴。类似地，“z轴”不同于“x轴”和“y轴”，并且通常垂直于“x轴”和“y轴”两者。

另外，图5B示出了转动518—围绕触笔203的长度(长轴)的旋转。

现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。

图6A示出了根据一些实施方案的用于便携式多功能设备100上的应用程序的菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面600包括以下元素或者其子集或超集：

·一个或多个无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示器602；

·时间604；

·蓝牙指示器605；

·电池状态指示器606；

·具有常用应用程序的图标的托盘608，该图标诸如：

○电话模块138的被标记为“电话”的图标616，该图标416任选地包括未接来电或语音留言的数量的指示符614；

○电子邮件客户端模块140的被标记为“邮件”的图标618，该图标418任选地包括未读电子邮件的数量的指示符610；

○浏览器模块147的被标记为“浏览器”的图标620；以及

○视频和音乐播放器模块152(也称为(Apple Inc.的商标)模块152)的被标记为“iPod”的图标622；以及

·其他应用的图标，诸如：

○IM模块141的被标记为“消息”的图标624；

○日历模块148的被标记为“日历”的图标626；

○图像管理模块144的被标记为“照片”的图标628；

○相机模块143的被标记为“相机”的图标630；

○在线视频模块155的被标记为“视频编辑”的图标632；

○股市桌面小程序149-2的被标记为“股市”的图标634；

○地图模块154的被标记为“地图”的图标636；

○天气桌面小程序149-1的被标记为“天气”的图标638；

○闹钟桌面小程序149-4的被标记为“时钟”的图标640；

○健身支持模块142的被标记为“健身支持”的图标642；

○记事本模块153的被标记为“记事本”的图标644；以及

○用于设置应用程序或模块的图标646，该图标提供对设备100及其各种应用程序136的设置的访问。

应当注意，图6A中示出的图标标签仅仅是示例性的。例如，在一些实施方案中，视频和音乐播放器模块152的图标622被标记为“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。

图6B示出了具有与显示器650分开的触敏表面651(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面651上的接触的强度的一个或多个接触强度传感器(例如，传感器359中的一个或多个传感器)，和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。

图6B示出了具有与显示器650分开的触敏表面651(例如，图3中的平板或触控板355)的设备(例如，图3中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图6B中所示。在一些实施方案中，触敏表面(例如，图6B中的651)具有与显示器(例如，650)上的主轴线(例如，图6B中的653)对应的主轴线(例如，图6B中的652)。根据这些实施方案，设备检测与显示器上相应位置对应的位置处的与触敏表面651的接触(例如，图6B中的660和662)(例如，在图6B中，660对应于668并且662对应于670)。这样，在触敏表面(例如，图6B中的651)与多功能设备的显示器(例如，图6B中的650)是分开的时侯，由设备在触敏表面上所检测到的用户输入(例如，接触660和662以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。

另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势等)和/或触笔输入来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入)替换。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触(或触笔接触)任选地被同时使用。

如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或者是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值是以对应于替代物测量的单位来描述的)。在一些具体实施中，将接触力或压力的替代测量值转换为预估力或压力，并且使用预估力或压力确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。

在一些实施方案中，接触/运动模块130和/或接触/运动模块430使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设置为预定义阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。

如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。

在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续轻扫接触，该连续轻扫接触从起始位置过渡并达到结束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该示例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的一部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。

本文所述的用户界面图任选地包括各种强度图，这些强度图示出了触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值IT₀、轻按压强度阈值IT_L、深按压强度阈值IT_D(例如，其至少部分地高于I_L)和/或一个或多个其他强度阈值(例如，比I_L更低的强度阈值I_H))的当前强度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值IT₀，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。

在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(例如，40ms、100ms、或120ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外的深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到深按压输入的响应不取决于基于时间的标准。

在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素(诸如用户设置、接触运动、输入定时、应用运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等)而变化。示例因素在美国专利申请14/399,606和14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。

接触特征强度从低于轻按压强度阈值IT_L的强度增大到介于轻按压强度阈值IT_L与深按压强度阈值IT_D之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值IT_D的强度增大到高于深按压强度阈值IT_D的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈值IT₀的强度增大到介于接触检测强度阈值IT₀与轻按压强度阈值IT_L之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值IT₀的强度减小到低于接触检测强度阈值IT₀的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，IT₀为零。在一些实施方案中，IT₀大于零在一些例示中，阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些例示中，没有阴影的圆或椭圆用于表示触敏表面上的相应接触而不指定相应接触的强度。

在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。

在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。

为了容易解释，任选地响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述，在一些实施方案中，对这些操作的触发还取决于满足基于时间的标准(例如，在满足第一强度阈值和满足第二强度阈值之间已经过延迟时间)。

用户界面和相关联的过程

现在将注意力转向可在具有触敏显示器和用于检测来自与设备相关联的触笔的信号的另选的一个或多个传感器的电子设备诸如便携式多功能设备100或设备300上实现的用户界面(“UI”)和相关联的过程的实施方案。

图7A-图7RRR示出了根据一些实施方案的用于将注释添加到注释层的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图9A-图9E中的过程。尽管将参考触摸屏显示器(其中组合了触敏表面和显示器，例如在触摸屏112上)上的输入给出随后的示例中的一些，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。

图7A示出了根据一些实施方案的显示器750上的用户界面702。在一些实施方案中，显示器750可为触敏显示器(例如，触敏显示器112，图1A)。在图7A-图7SS中所示的示例中，用户界面702包括web浏览器应用程序的用户界面(例如，浏览器模块147，图1A)。Web浏览器应用程序的用户界面包括显示包括图像704和地图706的网页的一部分。

图7B-图7C示出了用户界面702从图7A中的用户界面702的过渡。特别地，图7B-图7C示出了在显示web浏览器应用程序的用户界面702时检测到的用户输入708，并且图7C还示出了响应于检测到用户输入708而显示的注释层712。在一些实施方案中，注释层712响应于输入手势而显示，诸如拖动手势(例如，在显示器750的边缘处或附近开始的拖动手势，诸如，在显示器750的上边缘处或附近开始的向下拖动手势)。例如，图7B示出了显示器750的上边缘处或附近检测的由触笔710的用户输入708的初始位置(例如，初始接触位置)。图7C示出了由触笔710的用户输入708从图7B所示其初始位置沿箭头714所指示的路径的移动。当继续显示web浏览器应用程序的用户界面702时，在触笔710的用户输入708沿箭头714指示的路径移动时，在用户界面702的至少一部分上方逐渐显示注释层712。

图7D-图7E示出了用户界面702从图7A中的用户界面702的另选过渡。特别地，图7D-图7E示出了在显示如图7A所示的web浏览器应用程序的用户界面702时检测到的另选的用户输入716。图7D示出了在显示器750的上边缘处或附近检测到的手指718的用户输入716(例如，接触)的初始位置。响应于手指718的用户输入716从图7D所示其初始位置沿箭头720所指示的路径的移动，未显示注释层(例如，图7C中所示的注释层712)。相反，在一些实施方案中，在手指718的用户输入716沿箭头720所指示的路径移动时，不同的用户界面，诸如通知用户界面722，逐渐显示在用户界面702上方。在一些实施方案中，检测用户输入(例如，输入手势，诸如从显示器的边缘的拖动手势，或对应于用于显示注释层的控制示能表示的定位处的输入)包括确定用户输入是否是使用触笔提供的(例如，图7B-图7C示)，而不是，例如，手指(例如，如图7D-图7E所示)。

图7F-图7G示出了用户界面702从图7A中的用户界面702的另一过渡。图7F示出了在显示器750的下边缘处或附近检测到的输入724(例如，接触)的初始位置。响应于输入724从图7F所示其初始位置沿箭头726所指示的路径的移动，显示包括多个控制示能表示的控制用户界面728，如图7G所示。在一些实施方案中，多个控制示能表示包括用于显示注释层诸如注释图标730的控制示能表示。在一些实施方案中，根据检测对应于注释图标730的位置处的输入(例如，轻击手势)，显示注释层。在一些实施方案中，在响应于输入的移动而显示控制用户界面728之后，检测到后续输入732(例如，在输入724的接触抬离之后检测到的后续接触)，并且响应于后续输入732沿着箭头734所指示的路径的移动，显示注释层。

图7H示出了根据一些实施方案的在显示器750上的用户界面702(例如，图7A所示)上方显示的注释层712。在一些实施方案中，用户界面702继续被显示并且通过注释层712至少部分可见(例如，注释层712是半透明的)。在一些实施方案中，注释层712包括一个或多个控制示能表示。例如，在一些实施方案中，注释层712包括注释工具图标740，其指示当前选定的注释工具(例如，虚拟刀工具，标记或加亮工具，毡尖笔工具，铅笔工具，橡皮擦工具等)，以及任选地，当前选定的颜色(例如，如果当前所选择的注释工具具有相关联的颜色选项)。在一些实施方案中，注释层712包括在注释层712和显示器750的边缘处或附近显示的注释层撤销示能表示742。在一些实施方案中，当在对应于注释层撤销示能表示742的定位处检测到输入(例如，在对应于注释层撤销示能表示742的定位处检测到轻击手势)时，停止显示注释层712。

图7I-图7J示出了响应于检测到用户输入744注释层712从图7H中的注释层712的过渡。特别地，图7I示出在未对应于注释工具图标740或注释层撤销示能表示742的注释层712中的定位处用户输入744(例如，手指的接触)的位置。图7J示出了用户输入744的接触的后续抬离，或者更一般地，停止检测用户输入744。图7J还示出响应于检测到用户输入744(或者用户输入744的接触的后续抬离)显示的注释层712的一组注释控件(例如，除了和包括图7H所示的控制示能表示)。例如，在一些实施方案中，该组注释控件还包括相机图标746(例如，用于捕获将要添加到注释层的应用程序内容，诸如应用程序内容的全屏快照)，纹理选择图标748(例如，用于选择注释层的纹理)，不透明度滑块749(例如，用于改变注释层的不透明度水平)和共享图标752(例如，用于共享和/或存储注释层)。在图7J中，不透明度滑块749被设置为对应于滑动位置753的不透明度水平。

在一些实施方案中，用于显示一组注释控件的输入与在注释层上产生注释的输入区别开来。例如，在一些实施方案中，根据确定用户输入744(例如，轻击手势)是使用手指提供的来显示该组注释控件，而使用触笔提供的另外方式的类似用户输入在注释层上产生注释(例如，点画)。在一些实施方案中，响应于满足强度标准的输入(例如，响应于深压输入)来显示该组注释控件，然而，例如，不满足强度标准的另外方式的类似用户输入(例如，轻压输入)可能在注释层产生注释。

图7K类似于图7J，不同之处在于图7K示出了具有设置为对应于滑块位置754的不透明度水平的不透明度滑块的注释层712，该不透明度水平对应于比图7J中的滑块位置753所指示的不透明度水平低的注释层712的不透明度(例如，较高透明度)。因此，在图7K中所示的示例中，增大了在注释层下面显示的应用程序内容的可见度，使得用户界面702通过注释层712可见程度大于图7J中示出的用户界面702。

图7L类似于图7J-图7K，不同之处在于图7L示出了具有设置为对应于滑块位置756的不透明度水平的不透明度滑块的注释层712，该不透明度水平对应于比图7K中的滑块位置754所指示的不透明度水平更低的注释层712的不透明度(例如，更高透明度)。在图7L所示的示例中，滑块位置756对应于最低不透明度(例如，最高透明度)。在一些实施方案中，滑块位置756对应于零不透明度(例如，完全透明)，并且因此，显示在注释层下面的应用程序内容是完全可见的，使得用户界面702在与图7A相同的程度上可见(例如，不显示任何注释层)。应当指出的是，根据零不透明度设置，即使注释层712的纹理没有一个可见，注释层712仍保持在用户界面702上方，如由注释控件(例如，控制示能表示740，742，746，748，749，752和756)所指示的。

图7M类似于与图7J-图7L，不同的是图7M示出了具有设置为比分别在图7J-图7L中的滑块位置753，754，756中任一个所指示的不透明度水平高的不透明度(例如，较低透明度)的不透明度滑块的注释层712。特别地，在图7M所示的示例中，滑块位置758对应于最高不透明度(例如，最低透明度)。在一些实施方案中，滑块位置758对应于全不透明度(例如，零透明度)，并且因此，在注释层下面所显示的应用程序内容不可见，使得只有注释层712及其注释控件(例如，控制启示740，742，746，748，749，752和758)可见。

图7N-图7O示出了响应于检测到用户输入760注释层712从图7M中的注释层712的过渡。特别地，图7N示出在对应于相机图标746的注释层712中的定位处用户输入760(例如，手指的接触)的位置。图7O示出了停止检测用户输入760(例如，根据接触的后续抬离)。图7O还示出了，响应于检测到用户输入760，用户界面702的表示(例如，下面的web浏览器应用程序内容的屏幕截图)被添加到注释层712。应该注意到不透明度滑块仍然设置为全不透明度，如由滑块位置758所指示，并且因此，图7O中的注释层712中显示的应用程序内容本身不是用户界面702，因为在注释层被设置为全不透明度时，用户界面702通过注释层712将不可见。相反，在注释层712中显示的应用程序内容是用户界面702的表示，在一些实施方案中，响应于用户输入760(例如，激活相机图标746)来创建该表示。

图7P-图7Q示出注释层712从图7K中的注释层712的另选过渡。特别地，图7P示出了注释层712具有可选自多个纹理选项(例如，当前所选择的网格纹理761、水平格子纹理762、实心或半透明纹理764、点状纹理766等)的可调节纹理。在一些实施方案中，响应于检测对应于图7K的纹理选择图标748的注释层712中的定位处的用户输入来显示纹理选择控制区域768。在一些实施方案中，纹理选项761、762、764、768显示在纹理选择控制区域768内。

图7P还示出了在对应于水平格子纹理图标762的定位处检测用户输入763(例如，轻击手势)。

图7Q示出了注释层712从图7P中的注释层712的过渡。特别地，图7Q示出了注释层712的纹理已从图7P中所示的网格纹理变为水平格子纹理(例如，响应于与图7P中的水平格子纹理图标762对应的定位处的用户输入763)。在一些实施方案中，更新图7Q的纹理选择图标748(例如，以匹配水平格子纹理762)以指示当前所选择的纹理是水平格子纹理。

图7R示出了注释层712从图7K中的注释层712的另选过渡。特别地，图7R示出了用于注释层712的多个可用工具或工具模式(例如，虚拟刀工具图标770、毡尖笔工具图标771、铅笔工具图标772、橡皮擦工具图标773、(当前选定)标记或加亮工具图标740)和当前选择的工具的多个颜色选项(例如，颜色选项774、775、776、777)。在一些实施方案中，响应于检测注释层712中的对应于图7K的注释工具图标740的定位处的用户输入来显示工具选择控制区域778。在一些实施方案中，工具选项图标和/或颜色选项图标显示在工具选择控制区域778内。在一些实施方案中，当前所选择的工具被显示在工具选择控制区域778的中心位置中，和/或包括指示(例如，用标记工具图标740显示的黑色的、粗的环)这是当前选择的工具。在一些实施方案中，当前所选择的工具的当前所选颜色选项包括指示其是当前选定的颜色的视觉指示(例如，用颜色选项图标777显示的白环)。在一些实施方案中，当前选择的工具图标(例如，标记笔尖图标740)的至少一部分反映了当前选定的颜色选项(例如，当前选择的工具的颜色)。本领域的普通技术人员将认识到，许多其他工具选项可表示在工具选择控制示能表示中，诸如线条粗细度(例如，对于毡尖笔或标记笔工具)或选择模式(例如，用于虚拟刀工具的基于形状的和自由形状选择模式)。

图7S-图7T示出了注释层712从图7R中的注释层712的过渡。特别地，图7S示出在注释层712中的对应于虚拟刀工具770的定位处用户输入780(例如，手指的接触)的位置。图7T示出了用户输入780停止被检测(例如，根据接触的抬离)，并且还示出，响应于检测到用户输入780，具有标记工具图标740的虚拟指示(如图7R所示)被移除和虚拟指示显示带有虚拟刀工具图标770以指示当前选择的工具已从标记工具变为虚拟刀工具。例如，虚拟刀工具770显示在具有黑色环的工具选择控制区域778的中心位置。此外，在一些实施方案中，由虚拟刀工具图标770所表示的虚拟刀工具不具有或需要相关联的颜色选择。因此，在图7T所示的示例中，颜色选项图标777不再显示有当前选择指示(例如，停止在图7T中显示图7R中所显示的白色环)。

图7U-图7W示出了注释层712通过向注释层712中添加下面的应用程序内容从图7T中的注释层712的过渡。特别地，图7U示出了在图像704的左上角附近检测到的由触笔710的用户输入782的初始位置。此外，在图7U中，刀工具图标770和注释层撤销示能表示742只是在未显示附加控件(例如，图7K的相机图标，纹理选择图标，不透明度滑块，和共享图标，或控制子菜单诸如图7P的纹理选择控制示能表示或图7R的工具选择控制示能表示)时显示的控制示能表示(例如，类似于图7H中的示图)。在一些实施方案中，响应于检测到用于在注释层上产生注释的用户输入(例如，使用触笔提供的和/或在不对应于控制示能表示的注释层上的定位处的用户输入)停止显示附加控件。

图7V示出了触笔710的用户输入782从图7U所示其初始位置沿着箭头783所指示的路径移动到图像704的字幕的右下角附近的定位以选择将要添加到注释层712的用户界面702的第一部分。在图7V中所示的示例中，触笔710的输入对应于具有针对对应于虚拟刀工具图标770的虚拟刀工具的预定义形状(例如，矩形选择工具)的选择模式。因此，响应于触笔710的用户输入782的移动，显示选择指示784以指示用户输入所选择的用户界面702的第一部分。

图7W示出了注释层712响应于停止检测由触笔710的用户输入782(例如，检测接触的抬离)从图7V中的注释层712的过渡。特别地，图7W示出了用户界面702所选择的第一部分的表示785(如图7V中的选择指示784所指示)已被添加到注释层712。因此，注释层712的纹理在表示785上方不可见。在图7W中所示的示例中，表示785包括图像704及其相关联的标题，并且具有与图7V中的选择指示784所指示的用户界面702的选择部分一致的边界(例如，给出使用虚拟刀切掉注释层的印象)。

图7X-图7Y示出了注释层712通过添加其他下面的应用程序内容从图7W中的注释层712的过渡。特别地，图7X示出了以用于虚拟刀工具770的自由形式或手绘选择模式由触笔710的用户输入786。响应于由触笔710的用户输入786沿着自由形式选择路径的移动显示选择指示787。

图7Y示出了注释层712响应于停止检测由触笔710的用户输入786(例如，检测接触的抬离)从图7X中的注释层712的过渡。特别地，图7Y示出了已将用户界面702的选择部分的表示788添加到注释层712。在一些实施方案中，如在图7X-图7Y中所示的示例中，即使用户输入的选择路径偏离预定义的内容边界(例如，基于自动确定的alpha通道)，基于下面的应用程序内容的结构自动和/或智能地确定添加到注释层712的用户界面部分的边界。尽管用户输入786遵循自由形式选择路径(如图7X中的选择指示787所指示)，图7Y中的表示788具有矩形边界，并且包括来自下面的web浏览器应用程序内容的文本的完整段落(而不是仅图7X中的选择指示787所包围的部分)。

图7Z和图7AA-图7EE示出了注释层712从图7Y中的注释层712的一系列过渡。图7Z示出了在对应于注释工具图标770的定位处检测用户输入790(例如，接触)。图7AA示出了用户输入790停止被检测(例如，根据接触的抬离)，并且还示出了响应于检测到用户输入790显示的附加注释工具，包括工具选择控制区域778(例如，如上参照图7R-图7T所述)。

接下来，图7BB示出了在对应于毡尖笔工具图标771的定位处检测用户输入791(例如，接触)。响应于用户输入791，如图7CC所示，由毡尖笔工具图标771表示的毡尖笔工具成为当前所选择的工具(例如，显示在具有黑色环的工具选择控制区域778的中心位置中)和先前所选择的工具(例如，由虚拟刀工具图标770所表示的虚拟刀工具)被重新显示在工具选择控制区域778的左半侧中。此外，颜色选项图标777显示有当前选择指示(例如，白色环)以指示它是毡尖笔工具图标771所表示的毡尖笔工具的当前选择的颜色选项。

接下来，图7DD示出了在对应于滑块位置754(例如，如图7CC所示)的定位处检测用户输入792(例如，接触)。响应于如图7EE所示的用户输入792的移动，注释层712的不透明度增大，以及注释层712下方显示的web浏览器应用程序内容的可见度减少。

图7FF-图7NN示出了注释层712从图7EE中的注释层712的一系列过渡。特别地，图7FF-图7HH示出了响应于检测到第一附加用户输入793而将第一注释添加到注释层712。图7FF示出了注释层712上由触笔710的用户输入793(例如，接触)的初始位置。如上参照图7U所述，在一些实施方案中，响应于检测到在未对应于图7EE中所显示的任何控制示能表示的注释层712上的定位处使用触笔710提供的用户输入793，附加控件(例如，如图7EE所示的图标770、740、777、746、748和752)停止显示。此类输入(例如，在未对应于图7EE中所表示的任何控制示能表示的注释层712上的定位处使用触笔710所提供的用户输入793)被认为旨在用于在注释层上产生注释。图7GG-图7HH示出了响应于使用触笔710提供的用户输入793的移动将手写注释(例如，短语“Gettysburg Address(葛底斯堡演说)”)添加到注释层712。

图7II-图7MM示出了响应于检测到附加用户输入将第二注释添加到注释层712。特别地，图7II示出了注释层712从图7HH中的注释层712的过渡并且示出了注释层712上由触笔710的用户输入794的初始位置。图7JJ示出了，响应于使用触笔710的用户输入794的移动，将具有设置为由颜色选项图标777表示的颜色选项的线条颜色的手写注释795的第一部分(例如，部分文本“-Nove”)添加到注释层712。

在一些实施方案中，当检测触笔710的移动以产生手写注释795时，在注释控件的相应一个上检测到手指输入。例如，图7KK示出了在与工具选择控制区域778中的颜色选项图标776(例如，如图7JJ所示)对应的定位处检测到用户输入796。响应于检测由颜色选项图标776所表示的颜色选项上的用户输入796，触笔710的线条颜色从由颜色选项图标777表示的颜色选项变为由颜色选项图标776所表示的颜色选项。图7KK示出了，根据用户输入796，颜色选项图标776显示具有当前选择指示(例如，白色环)以指示对应的颜色(例如，由颜色选项图标776所表示的颜色)是当前选择的颜色。因此，当前选择指示不再显示在颜色选项图标777上。图7LL示出了，响应于使用触笔710的用户输入794的继续移动，并且根据颜色选项图标776上的手指输入796，将手写注释795的至少一部分的线条颜色改变为由颜色选项图标776所表示的颜色。

图7MM示出了根据停止检测用户输入794(例如，在触笔710的触摸抬离时)完成的手写注释795(例如，短语“1963年11月19日”)。手写注释795的第一部分(例如，部分文本“-Novem”)具有由颜色选项图标777表示的线条颜色(针对手写注释795的第一部分选择的颜色选项)，而手写注释795的第二部分(例如，部分文本“1963年11月19日”)具有基于颜色选项776的线条颜色(针对手写注释795的第二部分由用户输入796选择的颜色选项)。

图7NN示出了注释层712从图7MM中的注释层712的过渡。在一些实施方案中，处理手写注释以生成与手写注释相关联的可搜索文本。在一些实施方案中，所述可搜索文本被存储为手写注释或者更一般地注释层的元数据。在一些实施方案中，对手写注释执行光学字符识别(OCR)以识别手写字符。在一些实施方案中，手写注释的显示替换为注释层中的数字文本(例如，对应于识别的字符)。在图7NN中所示的示例中，图7MM中所示的手写注释(例如，短语“Gettysburg Address”和“-1963年11月19日”)被替换为包括识别的字符的数字文本注释，同时保持手写注释的其他特征，诸如注释层712中的线条颜色和大致位置。

图7OO-图7RR示出了注释层712的共享和协作编辑。图7OO示出了在设备A的显示器750上显示的图7NN的注释层712。响应于来自设备A的第一用户的用户输入来共享注释层712(例如，在对应于共享图标752的定位处检测到用户输入，诸如轻击手势)，使用设备B将注释层712与第二用户共享。图7PP示出了注释层712借助设备B传递到第二用户(例如，通过向设备B发送或传送包括至少注释层712的对象或其他数据)以及显示在设备B的显示器751上。另外，显示(例如，在相应设备的左上角)标记为“J”的用户图标7100(表示设备A的第一用户)和标记为“M”的用户图标7101(表示设备B的第二用户)以指示哪些用户正在参与共享会话。在一些实施方案中，如图7PP所示，在相应设备上最左侧用户图标位置中显示表示相应设备的相应用户的用户图标(例如，在设备A的显示器750上的最左侧用户图标位置中显示标记为“J”的表示设备A处的第一用户的用户图标7100，而在设备B的显示器751上的最左侧用户图标位置中显示表示设备B处的第二用户的标记为“M”的用户图标7101)。

在一些实施方案中，注释层被配置为接受来自使用设备A的第一用户和使用设备B的第二用户两者的输入。例如，图7QQ示出了在设备B处使用触笔711在第二用户的共享会话期间添加到共享注释层的手绘注释797。因此，如图7RR中所指示，手绘注释797在设备A上的共享注释层中的共享会话期间被传送和显示。

图7SS示出了用户界面702从图7A中的用户界面702的另选过渡。特别地，图7SS示出了与在对应于地图706的定位处的用户界面702上检测的取消捏合手势对应的用户输入798(例如，检测到图7SS中所示的初始位置处的两个手指接触以及两个接触如箭头所指示彼此远离的移动)。

图7TT示出了根据一些实施方案的显示器750上的用户界面703。在图7TT中所示的示例中，用户界面703包括地图的用户界面。在一些实施方案中，响应于图7SS中示出的web浏览器应用程序的用户界面702上的取消捏合手势显示地图界面。在其他实施方案中，地图界面与地图应用程序(例如，地图模块154，图1A)相关联。图7TT还示出了显示器750的上边缘处或附近检测的由触笔710的用户输入7102的初始位置(例如，初始接触位置)。

图7UU示出了用户界面703通过由触笔710的用户输入7102从图7TT所示的其初始位置的移动从图7TT中的用户界面703的过渡。当继续显示用户界面703时，在触笔710的用户输入7102沿图7UU指示的路径移动时，在用户界面703的至少一部分上方逐渐显示注释层713。

图7VV示出了根据一些实施方案的在显示器750上的用户界面703上方显示的注释层713。在一些实施方案中，用户界面703继续被显示并且通过注释层713至少部分可见。在一些实施方案中，注释层713包括一个或多个控制示能表示(例如，注释工具图标771，指示毡尖笔工具是当前所选择的工具，相机图标746，纹理选择图标748，具有滑动位置754的不透明滑块749，共享图标752和注释层撤销示能表示742)。在一些实施方案中，注释层713包括注释记录控制区域7104，其包括例如保存的注释图标7106，注释记录按钮7108和重置按钮7110。

图7WW-图7GGG示出了从图7VV中的注释层713的一系列过渡上方添加到注释层713的记录的注释序列。在一些实施方案中，可将记录的注释序列保存和/或与另一用户共享。在图7WW-图7GGG所示的示例中，注释在注释层713上制作和记录以为记录的注释序列的接收人提供地图指向。在图7WW中，注释记录按钮7108指示已发起注释记录(例如，响应于对应于注释记录按钮7108的定位处的用户输入，诸如轻击手势)。图7WW还示出了在注释层713上检测到由触笔710的用户输入7111。

图7XX示出了，响应于用户输入7111(例如，由触笔710的轻击手势)，将定位注释7112(例如，以指示地图上的定位或地标)添加到注释层713。图7XX还示出了检测到由触笔710的用户输入7113。

图7YY示出了，响应于由触笔710的用户输入7113的移动，将箭头注释7114添加到注释层713。

图7ZZ示出了检测到由触笔710的用户输入7115。图7AAA示出，响应于由触笔710的用户输入7115的移动，将手写注释7116添加到注释层713。在如图7AAA中所示的示例中，手写注释7116包括短语“你在这里，”以指示(例如，记录的注释序列的接收人的)起始位置。

图7BBB-图7CCC示出了添加到注释层713的附加注释。特别地，图7BBB示出在添加注释诸如路线或路径注释7117(例如，以指示从一个定位到下一个定位的路线)，定位注释7118，路线注释7119和路线信息注释7120(例如，以提供关于路线的信息，例如，行进的距离或持续时间)之后的注释层713。图7CCC示出了在添加注释诸如箭头7121和手写注释7122以提供有关定位注释7123的信息之后的注释层713。

图7DDD-图7FFF示出了注释层713从图7CCC中的注释层713的过渡。特别地，图7DDD示出了靠近注释层713的下边缘的定位注释7124。图7DDD还示出了由触笔710的用户输入7125在定位注释7123附近的初始位置。

图7EEE示出了由触笔710的用户输入7125沿虚线7126所指示的路径的移动。在一些实施方案中，由虚线7126所指示的路径显示在显示器750上。在一些实施方案中，由虚线7126所指示的路径未显示在显示器750上。如图7EEE所示，虚线7126被绘制在大约定位注释7123和定位注释7124之间(例如，虚线7126在与定位注释7123相邻的定位处开始并且在与定位注释7124相邻的定位处结束)，以及大致跟随在那些定位注释之间的用户界面703上的道路的一部分(例如，虚线7126保持在距地图上的特定道路的预定义距离内，诸如“华盛顿大街”)。

图7FFF示出了，响应于用户输入7125(例如，在触笔710的接触的抬离时)，将注释7127和7128添加到注释层713。特别地，注释7127为指示从定位注释7123到定位注释7124的路线的路线注释。注释7128是提供关于对应于路线注释7127的路线的信息的路线信息注释。在一些实施方案中，基于从下面的地图内容的数据或元数据确定的路线信息自动创建路线信息注释。在一些实施方案中，路线信息注释由用户手动添加。

图7GGG示出了在记录添加到注释层713中的注释序列完成时的注释层713。在图7GGG中，注释记录按钮7108指示已停止注释记录。注释层713示出了添加到该层的完整的一组注释，该层包括上文相对于图7WW-图7FFF所述的注释。如图7GGG所示，添加到注释层713的完整的一组注释还包括箭头注释7130和图像注释7131，该组注释对应于并另选地提供关于定位注释7124和路线注释7132和路线信息注释7133(例如，的照片)的信息，其指示到定位注释7134的路线并提供关于该路线的信息。

图7HHH-图7III示出了添加到注释层的记录的注释序列。图7HHH示出了显示在设备A的显示器750上的图7GGG的注释层713。注释层713被设置为具有如上文参考图7WW-图7GGG所述的完整的一组添加的注释的最低不透明度756。此外，图7HHH示出了附加注释控件，包括共享图标752。

图7III示出了显示在设备B的显示器751上的注释层713及其记录的注释序列。在一些实施方案中，响应于来自设备A的第一用户的用户输入以共享记录的注释层713(例如，在对应于共享图标752的定位处的用户输入)，在设备B上将记录的注释层713与第二用户共享。记录的注释层713在设备B上显示有播放图标7136，在被激活(例如，通过图标上的轻击)时，播放图标发起在显示器751上的注释层713中的记录的注释序列(例如，作为视频)的回放。

图7JJJ-图7RRR示出了添加到注释层的记录的注释序列的回放。在一些实施方案中，回放所记录的注释序列(例如，注释视频被添加到注释层或注释的动画以添加注释的相同次序显示在注释层上)。图7JJJ示出了在对应于播放图标7136的定位处在设备B上由第二用户的用户输入799(例如，手指接触)。

图7KKK示出了，响应于用户输入799(或响应于停止检测到用户输入799，例如，响应于检测到的手指接触的抬离)，在显示器751上发起对所记录的注释序列的回放。在图7KKK中，定位注释7112首先显示在显示器751上。

接下来，在图7LLL中，对应于定位注释7112，显示箭头注释7114和手写注释7116。

接下来，在图7MMM中，显示路线注释7117，示出从定位注释7112到定位注释7118的路线。

接下来，在图7NNN中，路线注释7119显示有路线信息注释7120，示出了从定位注释7118到定位注释7123的路线。

接下来，在图7OOO中，对应于定位注释7123，显示箭头注释7121和手写注释7122。

接下来，在图7PPP中，路线注释7127显示有路线信息注释7128，示出从定位注释7123到定位注释7124的路线。

接下来，在图7QQQ中，对应于定位注释7124，显示箭头注释7130和图像7131。

最后，在图7RRR中，路线注释7132显示有路线信息注释7133，示出了从定位注释7124到定位注释7134的路线。

图8A是根据一些实施方案的注释层应用程序(在这里也称为注释应用程序)195的框图。注释应用程序195显示注释层818并根据一个或多个输入来更新注释层。在一些实施方案中，注释应用程序195从独立于注释应用程序的用户界面应用程序(例如，web浏览器应用程序)接收内容802(例如，注释层下面的应用程序内容)，在一些实施方案中响应于用户输入(例如，对应于相机图标746的用户输入，图7J)来执行。另选地，在添加到注释层818之前，将内容802预先处理(例如，使用预先处理模块806)。例如，在一些实施方案中，基于应用程序内容的一部分的用户选择804来确定要添加到注释层818中的内容802(例如，如上文参考图7U-图7Y所述)。

在一些实施方案中，注释应用程序接收手写用户输入808(例如，包括使用触笔提供的输入，如上所述参考图7FF-图7MM所述)和因此向注释层818添加注释。另选地，在添加到注释层818(例如，如上文参考图7MM-图7NN所述)之前，将手写输入808转换为文本(例如，使用文本转换模块810)。

在一些实施方案中，注释应用程序195接收对应于工具和/或颜色选择812的输入，并且相应地更新注释层818。类似地，在一些实施方案中，注释应用程序195接收对应于纹理控制选择814和/或透明度控制选择816的输入，并且相应地更新注释818。

在一些实施方案中，注释层818共享到其他设备或者与其他设备共享。例如，注释层818及其相应的注释可借助第二设备(例如，对于使用第二设备的第二用户)共享为共享的注释层822。在一些实施方案中，针对共享的注释层822(例如，如上文参考图7OO-图7RR所述)建立实况和/或协作共享会话。

在一些实施方案中，注释层818例如被保存在存储器(例如，存储器102，图1A)中的保存的注释196中。在一些实施方案中，结合保存到保存的注释196，记录注释层818(例如，使用记录模块820记录)。例如，在一些实施方案中，保存的注释层包括记录的注释序列(例如，如上文参考图7WW-图7GGG所述)。在一些实施方案中，保存的注释层(例如，从保存的注释196)调用到注释应用程序195中并重新显示。在一些实施方案中，包括具有记录的序列注释的注释的保存的注释层可从注释应用程序195共享至另一设备(例如，如上文参考图7HHH-图7RRR所述)。

图8B是示出根据一些实施方案的用于保存的注释层的示例性部件的框图。在一些实施方案中，一个或多个注释层被保存在存储器(例如，存储器102，图1A)中的保存的注释196中。在一些实施方案中，该一个或多个保存的注释层作为注释对象(例如，注释对象850-1到850-N)保存在保存的注释196中。

在一些实施方案中，相应的注释对象850-1包括注释元数据852-1以及注释数据/状态854-1。注释数据/状态854-1表示保存的注释层的数据和/或状态，并且在一些实施方案中，包括捕获的内容856-1的数据(例如，从应用程序用户界面捕获的内容，诸如表示785和788，图7Y，或者内容802，图8A)和注释858-1(例如，注释7112、7114、7116、7118-7124等，图7XX-图7GGG，或手写输入808，图8A)。在一些实施方案中，用于保存的注释层的注释元数据852-1包括用于下面的应用程序用户界面内容的元数据，即使内容未被添加到注释层作为捕获的内容。

在一些实施方案中，相应的注释对象850-1包括添加到由注释对象850-1表示的注释层的记录的注释序列。在一些实施方案中，相应的注释对象850-1包括记录的注释858-1的序列860-1的数据。

图9A-图9E是示出根据一些实施方案将注释添加到注释层的方法900的流程图。方法900是在具有触敏显示器的电子设备(例如，设备300，图3；或便携式多功能设备100，图1A)上执行的。方法900中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。

如下所述，方法900提供了将注释添加到由独立注释应用程序控制的统一注释层的直观方式，允许跨越多个应用程序和应用程序用户界面的注释。

响应于用户输入，将用户界面的至少一部分的表示在与注释层显示的同时添加到注释层，提供将用户界面的一部分快速转移到注释层并且向所述用户提供视觉反馈，指示将所述用户界面的所述部分转移到所述注释层。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，当向应用程序内容添加注释时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。针对电池驱动的电子设备，使得用户能够更快输入且更有效地节省功率并增加了两次电池充电之间的间隔。

设备显示(902)第一应用程序的第一用户界面(例如，web浏览器应用程序的用户界面702，图7A)。第一应用程序(例如，浏览器模块147，图1A)是多个应用程序中的相应应用程序(例如，除注释应用程序195之外的应用程序136，图1A)，并且第一用户界面包括第一应用程序内容。

在一些实施方案中，所述多个应用程序包括(904)至少两个应用程序，所述至少两个应用程序选自由以下项组成的组：浏览器应用程序，照片应用程序，通信应用程序和内容编辑应用程序。在一些实施方案中，多个应用程序还包括地图应用程序。

在显示第一应用程序的第一用户界面时，设备检测(906)第一输入(例如，用户输入708，图7B或用户输入732，图7G)。在一些实施方案中，第一输入为手势。在一些实施方案中，手势是独立于应用程序的预定义手势，独立于多个不同软件应用程序中的任一个。在一些实施方案中，手势是横扫或平移手势。在一些实施方案中，第一输入是轻击手势(例如，通过手指接触)。

在一些实施方案中，所述设备还包括(908)一个或多个传感器以检测来自与设备相关联的触笔的信号，并且所述第一输入为使用触笔执行的以及选自由以下项组成的组中的第一手势：从触敏显示器的边缘移动到触敏显示器的内部位置的边缘手势(例如，用户输入708，图7B-图7C)，包括向触敏显示器的轻弹动作的铅笔轻弹手势，以及在触敏显示器上显示的预定义示能表示上的手势。在一些实施方案中，预定义示能表示不响应于来自手指接触的触摸输入。在一些实施方案中，该预定义示能表示比手指接触的触摸目标的标准尺寸小(例如，因为触笔更精确并且可以被用来可靠地选择较小触摸目标)。

在一些实施方案中，检测第一输入包括(910)确定使用触笔执行第一手势。在一些实施方案中，响应于检测到作为边缘手势的非触笔输入，设备执行不同于显示注释层的不同操作。例如，在一些实施方案中，当检测到借助手指执行的边缘手势时，显示不同于注释用户界面的不同用户界面，诸如控制中心用户界面(包括用于控制设备功能的控件)，通知中心用户界面(包括由设备接收的通信的通知)，或先前显示的页面用户界面(例如，由于执行导航操作诸如通过一个或多个页面向后导航)。在一些实施方案中，如果边缘手势正在用触笔执行，则设备在检测边缘手势时确定边缘手势是否正在由手指或触笔执行，并且显示注释用户界面(例如，如上文参考图7B-图7C所述)，以及如果边缘手势正在用手指执行则显示不同的用户界面(例如，如上文参考图7D-图7E所述)。

在一些实施方案中，独立于多个应用程序检测(912)第一输入。在一些实施方案中，在执行或显示所述多个应用程序中的任何一个的同时检测到所述第一输入。

响应于检测到第一输入(例如，用户输入708，图7C)，设备继续(914，图9B)显示第一应用程序内容，以及此外，在第一用户界面的至少第一部分(例如，web浏览器应用程序的用户界面702，图7C)上方显示注释层(例如，注释层712，图7C)。所述注释层与不同于所述多个应用程序的用户应用程序(例如，注释应用程序195，图1A)相关联。

在一些实施方案中，注释层具有(916)可调节的不透明度(例如，如上参考图7J-图7M所述)，以及设备响应于第五输入改变注释层的不透明度(例如，由滑块位置753、754、756或758，图7J-图7M)，其中增加注释层的不透明度降低了注释层下方显示的应用程序内容的可见度。

在一些实施方案中，注释层具有(918)可调节纹理(例如，如上文参考图7P-图7Q所述)。在一些实施方案中，可调节纹理是实心的，格子的，网格的，点状的或半透明的。在一些实施方案中，纹理包括褪色，模糊和/或半透明度。

当在第一用户界面的至少第一部分上方显示注释层时，设备检测(920)第二输入(例如，用户输入782，图7U)。

在一些实施方案中，响应于检测到第二输入(922)，该设备创建(924)添加到注释层的用户界面的至少第二部分的表示。

响应于检测到第二输入(922)，设备将第一用户界面的至少第二部分的表示(例如，表示785，图7W)添加(926)到注释层(例如，对于覆盖注释层构型在注释层下方，或者对于其中注释层与第一应用程序内容并排显示的并排构型与注释层并排显示的应用程序内容的屏幕抓图或屏幕捕获)。

在一些实施方案中，所述第二输入是(928)具有路径的手势，并且根据第二输入手势的路径来确定要在所述注释层中表示的所述用户界面的所述第二部分的边界(例如，如上文参考图7U-图7W所述)。在一些实施方案中，第二输入对应于虚拟刀工具(例如，虚拟刀工具770，图7U)用于选择添加到注释层的内容。在一些实施方案中，虚拟刀工具是用于注释层的可用工具或工具模式中的一种(例如，如上文参考图7R所述)。在一些实施方案中，虚拟刀工具是用于触笔的可用工具或工具模式之一。在一些实施方案中，用户界面的第二部分的边界(例如，选择指示784所指示的，图7V)是待添加到注释层的内容区域(例如，对应于表示785的内容，图7W)的边界。在一些实施方案中，边界基于手势的路径和另选地内容的结构(例如，下面的应用程序内容)。在一些实施方案中，即使手势路径偏离内容边界(例如，如上文参考图7X-图7Y所述)，基于内容结构自动或智能地确定内容区域的边界。

在显示注释层中的表示时，设备检测(930，图9C)一组一个或多个附加输入(例如，图7FF中的用户输入793或图7II中的用户输入794)。

响应于检测到该组一个或多个附加输入，设备将注释添加(932)到注释层(例如，注释795，图7MM)。

在一些实施方案中，在不同于多个应用程序(例如，注释应用层程序195，图1A)的用户应用程序的控制下将表示添加(934)到注释层，以及在不同于多个应用程序的用户应用程序的控制下将注释添加到注释层。

在一些实施方案中，将注释添加到注释层(936)响应于一组一个或多个附加输入以及在注释层下面显示的应用程序内容两者。在一些实施方案中，这是使用下面的应用程序内容的元数据完成的。例如，当在地图上方的注释层上绘图时，注释线可捕捉到地图上的对象，诸如道路和地标(例如，如上文参考图7DDD-图7FFF所述)。

在一些实施方案中，设备使用先前与第一应用程序一起使用的相同注释层重复上文针对第二应用程序(例如，不同于第一应用程序)所述的方法。更具体地，在一些实施方案中，表示为(938)第一表示，该组一个或多个附加输入是第一组一个或多个附加输入，并且注释是第一组注释。在将第一组注释添加到注释层之后，设备显示第二应用程序(例如，地图应用程序，照片应用程序，通信应用程序，内容编辑应用程序等)的第二用户界面(例如，不同于第一应用程序)。第二用户界面包括第二应用程序内容(例如，不同于第一应用程序内容)。在显示所述第二应用程序的所述第二用户界面时，所述设备检测到第三输入。在一些实施方案中，第三输入包括多个用户输入，以选择先前添加的第一用户界面的至少第二部分的表示的注释层(例如，先前与第一应用程序一起使用的相同注释层)。响应于检测到所述第三输入，设备继续显示所述第二应用程序内容，以及此外，在所述第二用户界面的至少第一部分上方显示所述注释层。当在所述第二用户界面的至少所述第一部分上方显示所述注释层时，所述设备检测第四输入。响应于检测到所述第四输入，设备将第二用户界面的至少第二部分的第二表示添加到注释层。在显示注释层中的第二表示时，设备检测第二组一个或多个附加输入，并且响应于检测到第二组一个或多个附加输入，设备将第二组注释添加到注释层。

在一些实施方案中，设备使用先前与第一应用程序(例如，空白画布)一起使用的注释层的不同注释层重复针对第二应用程序(例如，不同于第一应用程序)上述的方法。更具体地，在一些实施方案中，所述注释层为(940，图9D)第一注释层，所述表示为第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，所述注释是第一组注释。在将所述第一组注释添加到所述注释层之后，所述设备显示所述多个应用程序中的第二应用程序(例如，不同于第一应用程序)的第二用户界面。所述第二用户界面包括第二应用程序内容(不同于所述第一应用程序内容)。在显示所述第二应用程序的所述第二用户界面时，设备检测第三输入。响应于检测到所述第三输入，设备继续显示所述第二应用程序内容，以及此外，在所述第二用户界面的至少第一部分上方显示不同于所述第一注释层(例如，空白画布)的第二注释层。当在所述第二用户界面的至少所述第一部分上方显示所述第二注释层时，所述设备检测第四输入。响应于检测到所述第四输入，设备将第二用户界面的至少第二部分的第二表示添加到第二注释层。在显示第二注释层中的第二表示时，设备检测第二组一个或多个附加输入，并且响应于检测到第二组一个或多个附加输入，设备将第二组注释添加到注释层。

在一些实施方案中，电子设备还包括(942，图9E)一个或多个传感器以检测来自与设备相关联的触笔的信号。在一些实施方案中，该一个或多个附加输入包括第一附加输入，并且第一附加输入使用触笔被输入到电子设备。

在一些实施方案中，该一个或多个附加输入包括(944)第二附加输入，并且第二附加输入包括来自触笔和一个或多个手指接触两者的输入(例如，来自触笔710的用户输入794和来自手指接触的用户输入796，图7KK)。例如，在一些实施方案中，设备检测到注释层上的手指输入，并且作为响应，显示用于控制由触笔输出的线条的一组绘图控件(例如，如上文参考图7II-图7MM所述)。在一些实施方案中，设备检测触笔的移动(例如，用户输入794，图7KK)以绘制注释(例如，线条)，并且结合基于触笔的移动绘制注释，检测绘图控件的相应一个上的手指输入(例如，用户输入796，图7KK)，以及当触笔继续在触敏显示器上移动时，响应于检测到相应绘图上的手指输入，改变注释输出(例如，线条的颜色，样式，不透明度或宽度)。例如，如上文参考图7KK-图7LL所述，注释795的颜色响应于由触笔710继续绘制输入794和颜色选项776上的手指接触796两者而改变。

在一些实施方案中，注释中的至少一个(946)是使用触笔输入的手写注释(例如，手写注释795，图7JJ-图7MM)。

在一些实施方案中，设备处理(948)手写注释以生成与手写注释相关联的可搜索文本(例如，如上参照图7NN所述)。

在一些实施方案中，所述一个或多个附加输入包括第三附加输入，并且根据确定第三附加输入是使用手指提供的，设备显示(950)用于所述注释层的一组注释控件(例如，如上文参考图7I-图7J所述)。在一些实施方案中，根据确定第三附加输入使用触笔提供，则不显示注释控件(例如，如上文参考图7U-图7FF所述)。

在一些实施方案中，设备检测(952)第六输入，并且响应于第六输入，发送或传送包括至少所述注释层的对象(例如，如上文参考图7OO和图7HHH所述)。例如，在一些实施方案中，对象为文件，诸如便笺，图像文件或其他文档。在一些实施方案中，所述对象包括显示的应用程序内容。在一些实施方案中，对象包括用于注释层下面的所显示的应用程序内容的元数据。在一些实施方案中，本文所述方法的每个性能包括将对象存储在存储器中，或将对象发送或传送到另一电子设备。在一些实施方案中，向另一电子设备发送或传送对象包括将所述注释层与第二电子设备的第二用户(例如，使用设备B的第二用户，图7OO或图7HHH)共享。在一些实施方案中，为了呈现给第二用户，响应于来自在共享注释层时在第一设备处的第一用户的输入，第一设备向第二设备输送添加到注释层的注释。在一些实施方案中，注释层被配置为接收来自第一用户和第二用户两者的输入和/或注释。在一些实施方案中，响应于在共享注释时来自第二设备处的第二用户的输入，设备在第一设备处显示添加到注释层的注释(例如，作为实况共享或虚拟白板会话，上文参照图7OO-图7RR所述)。

在一些实施方案中，所述设备存储(954)包括至少一个注释层的对象；在存储包括至少所述注释层的对象之后，检测后续输入；并且响应于检测到后续输入，显示至少所述注释层(例如，后续输入发起从所存储的对象调用所述注释层，另选地通过激活图7VV中所示的保存的注释图标7106，以及显示所述调用的注释层)。

在一些实施方案中，包括至少所述注释层的对象还包括(956)：用于制备所述注释层的注释序列，并且响应于检测到后续输入(例如，用户输入799，图7JJJ)显示至少注释层包括；回放用于制备注释层的注释序列(例如，如上文参考图7KKK-图7RRR所述)并且在回放所述注释序列之后，显示所述注释层(例如，如上文参考图7RRR所述)。在一些实施方案中，在回放注释序列之后，同时显示用于制备注释层的所有注释。

应当理解，对图9A至图9E中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。

根据一些实施方案，图10示出了根据各种所描述的实施方案的原理配置的电子设备1000的功能框图。该设备的功能块任选地由执行各种所述实施方案的原理的硬件、软件或硬件和软件的组合来实现。本领域的技术人员应当理解，图10中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。

如图10所示，电子设备1000包括触敏显示器单元1002以及与触敏显示器单元1002耦接的处理单元1004，该触敏显示器单元被配置为显示第一应用程序的第一用户界面并接收用户输入。在一些实施方案中，处理单元1004包括显示使能单元1006，检测单元1008，添加单元1010，创建单元1012，文本处理单元1014，改变单元1016，通信单元1018和存储单元1020。

处理单元1004被配置为：使能所述第一应用程序的第一用户界面的显示(例如，借助显示使能单元1006)，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；在显示所述第一应用程序的第一用户界面时，检测第一输入(例如，借助检测单元1008)；响应于检测到所述第一输入，使能所述第一应用程序内容的继续显示，以及此外，启用在所述第一用户界面的至少第一部分上方显示注释层(例如，借助显示使能单元1006)，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；当在所述第一用户界面的至少所述第一部分上方显示所述注释层时，检测第二输入(例如，借助检测单元1008)；响应于检测到所述第二输入，将第一用户界面的至少第二部分的表示添加到所述注释层(例如，借助添加单元1010)；在所述注释层中显示所述表示时，检测一组一个或多个附加输入(例如，借助检测单元1008)；并且响应于检测到所述一组一个或多个附加输入，将注释添加到所述注释层(例如，借助添加单元1010)。

在一些实施方案中，处理单元1004被配置为，响应于检测到所述第二输入，创建添加到所述注释层的用户界面的至少第二部分的表示(例如，借助创建单元1012)。

在一些实施方案中，在不同于多个应用程序的用户应用程序的控制下将表示添加到注释层，以及在不同于多个应用程序的用户应用程序的控制下将注释添加到注释层。

在一些实施方案中，所述第二输入是具有路径的手势，并且根据第二输入手势的路径来确定要在所述注释层中表示的所述用户界面的所述第二部分的边界。

在一些实施方案中，所述表示为第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，所述注释是第一组注释，并且处理单元1004被配置为，在将第一组注释添加到所述注释层之后，使能所述多个应用程序中的第二应用程序的第二用户界面的显示(例如，借助显示使能单元1006)，其中第二用户界面包括第二应用程序内容；在显示所述第二应用程序的所述第二用户界面时，检测第三输入(例如，借助检测单元1008)；响应于检测到所述第三输入，使能所述第二应用程序内容的继续显示，以及此外，使能所述注释层在所述第二用户界面的至少第一部分上方的显示(例如，借助显示使能单元1006)；当在所述第二用户界面的至少所述第一部分上方显示所述注释层时，检测第四输入(例如，借助检测单元1008)；响应于检测到所述第四输入，将所述第二用户界面的至少第二部分的第二表示添加到所述注释层(例如，借助添加单元1010)；在所述注释层中显示所述第二表示时，检测第二组一个或多个附加输入(例如，借助检测单元1008)；并且响应于检测到所述第二组一个或多个附加输入，将第二组注释添加到所述注释层(例如，借助添加单元1010)。

在一些实施方案中，所述注释层是第一注释层，所述表示为第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，注释为第一组注释，并且处理单元1004被配置为，在将第一组注释添加到所述注释层之后，使能所述多个应用程序中的第二应用程序的第二用户界面的显示(例如，借助显示使能单元1006)，其中第二用户界面包括第二应用程序内容；在显示所述第二应用程序的所述第二用户界面时，检测第三输入(例如，借助检测单元1008)；响应于检测到所述第三输入，使能所述第二应用程序内容的继续显示，以及此外，使能不同于所述第一注释层的第二注释层在所述第二用户界面的至少第一部分上方的显示(例如，借助显示使能单元1006)；当在所述第二用户界面的至少所述第一部分上方显示所述第二注释层时，检测第四输入(例如，借助检测单元1008)；响应于检测到所述第四输入，将第二用户界面的至少第二部分的第二表示添加到第二注释层(例如，借助添加单元1010)；在所述第二注释层中显示所述第二表示时，检测第二组一个或多个附加输入(例如，借助检测单元1008)；并且响应于检测到所述第二组一个或多个附加输入，将第二组注释添加到所述注释层(例如，借助添加单元1010)。

在一些实施方案中，电子设备1000还包括一个或多个传感器单元(例如，传感器单元1022)，被配置为检测来自与设备相关联的触笔的信号，其中第一输入是使用触笔执行的以及选自由以下项组成的组中的第一手势：从触敏显示器单元1002的边缘移动到触敏显示器单元1002的内部位置的边缘手势，包括向触敏显示器单元1002的轻弹动作的铅笔轻弹手势，以及在触敏显示器单元1002上显示的预定义示能表示上的手势。

在一些实施方案中，检测第一输入包括确定第一手势是使用触笔执行的。

在一些实施方案中，所述电子设备1000还包括配置为检测来自与所述设备相关联的触笔的信号的一个或多个传感器单元(例如，传感器单元1022)；一个或多个附加输入包括第一附加输入；并且使用触笔将所述第一附加输入输入到所述电子设备。

在一些实施方案中，该一个或多个附加输入包括第二附加输入；并且第二附加输入包括来自触笔和一个或多个手指接触两者的输入。

在一些实施方案中，注释中的至少一个是使用触笔输入的手写注释。

在一些实施方案中，处理单元1004被配置为处理手写注释以生成与手写注释相关联的可搜索文本(例如，借助文本处理单元1014)。

在一些实施方案中，一个或多个附加输入包括第三附加输入，并且处理单元1004被配置为，根据确定第三附加输入使用手指执行，使能注释层的一组注释控件的显示(例如，借助显示使能单元1006)。

在一些实施方案中，独立于所述多个应用程序检测所述第一输入。

在一些实施方案中，所述多个应用程序包括至少两个应用程序，所述至少两个应用程序选自由以下项组成的组：浏览器应用程序，照片应用程序，通信应用程序和内容编辑应用程序。

在一些实施方案中，所述注释层具有可调节的不透明度，并且所述处理单元1004被配置为响应于第五输入改变所述注释层的不透明度(例如，借助改变单元1016)，其中增加所述注释层的不透明度使在所述注释层下方显示的应用程序内容的可见度减小。

在一些实施方案中，注释层具有可调节纹理，以及可调节纹理为实心的，格子的，网格的，点状的或半透明的。

在一些实施方案中，处理单元1004被配置为：检测第六输入(例如，借助检测单元1008)；和响应于第六输入，发送或传送包括至少注释层的对象(例如，借助通信单元1018)。

在一些实施方案中，处理单元1004被配置为：存储包括至少所述注释层的对象(例如，借助存储单元1020)；在存储包括至少所述注释层的所述对象之后，检测后续输入(例如，借助检测单元1008)；并且响应于检测到所述后续输入，使能至少所述注释层的显示(例如，借助显示使能单元1006)。

在一些实施方案中，包括至少所述注释层的对象还包括用于产生所述注释层的注释序列；以及响应于检测到后续输入显示至少所述注释层包括：回放用于产生所述注释层的所述注释序列；以及在回放注释序列之后，显示注释层。

在一些实施方案中，将注释添加到注释层响应于一组一个或多个附加输入以及在注释层下面显示的应用程序内容两者。

上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现，该信息处理装置诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。

以上参考图9A至图9E所述的操作任选地由图1A至图1B或图10中所描绘的部件来实现。例如，显示操作902、检测操作906和响应操作916任选地由事件分类器170、事件识别器180和事件处理程序190来实施。事件分类器170中的事件监视器171检测在触敏显示器112上的接触(或接近)，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或接近)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。

出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (51)

1.一种方法，包括：

在具有触敏显示器的电子设备处：

显示第一应用程序的第一用户界面，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；

在显示所述第一应用程序的所述第一用户界面时，检测第一输入；

响应于检测到所述第一输入，继续显示所述第一应用程序内容，以及此外，在所述第一用户界面的至少第一部分上方显示注释层，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；

在所述第一用户界面的至少所述第一部分上方显示所述注释层时，检测第二输入；

响应于检测到所述第二输入，将所述第一用户界面的至少第二部分的表示添加到所述注释层；

在显示所述注释层中的所述表示时，检测一组一个或多个附加输入；以及

响应于检测到所述一组一个或多个附加输入，向所述注释层添加注释。

2.根据权利要求1所述的方法，包括响应于检测到所述第二输入，创建添加到所述注释层的所述用户界面的至少所述第二部分的表示。

3.根据权利要求1至2中任一项所述的方法，其中在不同于所述多个应用程序的所述用户应用程序的控制下将所述表示添加到所述注释层，并且其中在不同于所述多个应用程序的所述用户应用程序的控制下将所述注释添加到所述注释层。

4.根据权利要求1至3中任一项所述的方法，其中所述第二输入是具有路径的手势，并且其中根据所述第二输入手势的所述路径来确定要在所述注释层中表示的所述用户界面的所述第二部分的边界。

5.根据权利要求1至4中任一项所述的方法，其中所述表示是第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，所述注释是第一组注释，并且所述方法包括，在将所述第一组注释添加到所述注释层之后：

显示所述多个应用程序中的第二应用程序的第二用户界面，其中所述第二用户界面包括第二应用程序内容；

在显示所述第二应用程序的所述第二用户界面时，检测第三输入；

响应于检测到所述第三输入，继续显示所述第二应用程序内容，以及此外，在所述第二用户界面的至少第一部分上方显示所述注释层；

在所述第二用户界面的至少所述第一部分上方显示所述注释层时，检测第四输入；

响应于检测到所述第四输入，将所述第二用户界面的至少第二部分的第二表示添加到所述注释层；

在显示所述注释层中的所述第二表示时，检测第二组一个或多个附加输入；以及

响应于检测到所述第二组一个或多个附加输入，将第二组注释添加到所述注释层。

6.根据权利要求1至4中任一项所述的方法，其中所述注释层是第一注释层，所述表示是第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，所述注释是第一组注释，并且所述方法包括，在将所述第一组注释添加到所述注释层之后：

显示所述多个应用程序中的第二应用程序的第二用户界面，其中所述第二用户界面包括第二应用程序内容；

在显示所述第二应用程序的所述第二用户界面时，检测第三输入；

响应于检测到所述第三输入，继续显示所述第二应用程序内容，以及此外，在所述第二用户界面的至少第一部分上方显示不同于所述第一注释层的第二注释层；

当在所述第二用户界面的至少所述第一部分上方显示所述第二注释层时，检测第四输入；

响应于检测到所述第四输入，将所述第二用户界面的至少第二部分的第二表示添加到所述第二注释层；

在显示所述第二注释层中的所述第二表示时，检测第二组一个或多个附加输入；以及

响应于检测到所述第二组一个或多个附加输入，将第二组注释添加到所述注释层。

7.根据权利要求1至6中任一项所述的方法，其中所述电子设备还包括一个或多个传感器以检测来自与所述设备相关联的触笔的信号，并且其中所述第一输入为使用触笔执行的以及选自由以下项组成的组中的第一手势：从所述触敏显示器的边缘移动到所述触敏显示器的内部位置的边缘手势；包括向所述触敏显示器的轻弹动作的铅笔轻弹手势；以及在所述触敏显示器上显示的预定义示能表示上的手势。

8.根据权利要求7所述的方法，其中检测所述第一输入包括确定所述第一手势是使用所述触笔来执行的。

9.根据权利要求1至8中任一项所述的方法，其中：

所述电子设备还包括一个或多个传感器以检测来自与所述设备相关联的触笔的信号；

所述一组一个或多个附加输入包括第一附加输入；以及

使用所述触笔来将所述第一附加输入输入到所述电子设备。

10.根据权利要求9所述的方法，其中：

所述一组一个或多个附加输入包括第二附加输入；并且

所述第二附加输入包括来自所述触笔和一个或多个手指接触两者的输入。

11.根据权利要求9所述的方法，其中所述注释中的至少一个注释为使用所述触笔输入的手写注释。

12.根据权利要求11所述的方法，包括处理所述手写注释以生成与所述手写注释相关联的可搜索文本。

13.根据权利要求1至12中任一项所述的方法，其中所述一组一个或多个附加输入包括第三附加输入，并且所述方法包括根据确定所述第三附加输入是使用手指提供的，显示用于所述注释层的一组注释控件。

14.根据权利要求1至13中任一项所述的方法，其中独立于所述多个应用程序来检测所述第一输入。

15.根据权利要求1至14中任一项所述的方法，其中所述多个应用程序包括至少两个应用程序，所述至少两个应用程序选自由以下项组成的组：浏览器应用程序、照片应用程序、通信应用程序和内容编辑应用程序。

16.根据权利要求1至15中任一项所述的方法，其中所述注释层具有可调节的不透明度，并且所述方法包括响应于第五输入来改变所述注释层的所述不透明度，其中增加所述注释层的所述不透明度使在所述注释层下方显示的应用程序内容的可见度减小。

17.根据权利要求1至16中任一项所述的方法，其中所述注释层具有可调节纹理，并且其中所述可调节纹理为实心的、格子的、网格的、点状的或半透明的。

18.根据权利要求1至17中任一项所述的方法，包括：

检测第六输入；以及

响应于所述第六输入，发送或传送包括至少所述注释层的对象。

19.根据权利要求1至18中任一项所述的方法，包括：

存储包括至少所述注释层的对象；

在存储包括至少所述注释层的所述对象之后，检测后续输入；

以及

响应于检测到所述后续输入，显示至少所述注释层。

20.根据权利要求19所述的方法，其中：

包括至少所述注释层的所述对象还包括用于产生所述注释层的注释序列；并且

响应于检测到所述后续输入来显示至少所述注释层包括：

回放用于产生所述注释层的所述注释序列；以及

在回放所述注释序列之后，显示所述注释层。

21.根据权利要求1至20中任一项所述的方法，其中将注释添加到所述注释层响应于所述一组一个或多个附加输入以及在所述注释层下面显示的应用程序内容两者。

22.一种电子设备，包括：

触敏显示器；

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：

显示第一应用程序的第一用户界面，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；

在显示所述第一应用程序的所述第一用户界面时，检测第一输入；

响应于检测到所述第一输入，继续显示所述第一应用程序内容，以及此外，在所述第一用户界面的至少第一部分上方显示注释层，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；

当在所述第一用户界面的至少所述第一部分上方显示所述注释层时，检测第二输入；

响应于检测到所述第二输入，将第一用户界面的至少第二部分的表示添加到所述注释层；

在显示所述注释层中的所述表示时，检测一组一个或多个附加输入；以及

响应于检测到所述一组一个或多个附加输入，向所述注释层添加注释。

23.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有触敏显示器的电子设备执行时使所述设备：

显示第一应用程序的第一用户界面，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；

在显示所述第一应用程序的第一用户界面时，检测第一输入；

响应于检测到所述第一输入，继续显示所述第一应用程序内容，以及此外，在所述第一用户界面的至少第一部分上方显示注释层，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；

当在所述第一用户界面的至少所述第一部分上方显示所述注释层时，检测第二输入；

响应于检测到所述第二输入，将第一用户界面的至少第二部分的表示添加到所述注释层；

在显示所述注释层中的所述表示时，检测一组一个或多个附加输入；以及

响应于检测到所述一组一个或多个附加输入，向所述注释层添加注释。

24.一种电子设备，包括：

触敏显示器；和

用于显示第一应用程序的第一用户界面的装置，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；

用于在显示所述第一应用程序的第一用户界面时启用来检测第一输入的装置；

响应于检测到所述第一输入而启用的用于继续显示第一应用程序内容以及此外在所述第一用户界面的至少第一部分上方显示注释层的装置，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；

当在所述第一用户界面的至少所述第一部分上方显示所述注释层时启用的用于检测第二输入的装置；

响应于检测到所述第二输入而启用的用于将所述第一用户界面的至少第二部分的表示添加到所述注释层的装置；

在显示所述注释层中的所述表示时启用的用于检测一组一个或多个附加输入的装置；和

响应于检测到所述一组一个或多个附加输入而启用的用于向所述注释层添加注释的装置。

25.一种在具有触敏显示器的电子设备中使用的信息处理装置，包括：

用于显示第一应用程序的第一用户界面的装置，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；

在显示所述第一应用程序的第一用户界面时启用的用于检测第一输入的装置；

响应于检测到所述第一输入而启用的用于继续显示第一应用程序内容以及此外在所述第一用户界面的至少第一部分上方显示注释层的装置，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；

当在所述第一用户界面的至少所述第一部分上方显示所述注释层时启用的用于检测第二输入的装置；

响应于检测到所述第二输入而启用的用于将所述第一用户界面的至少第二部分的表示添加到所述注释层的装置；

在显示所述注释层中的所述表示时启用的用于检测一组一个或多个附加输入的装置；和

响应于检测到所述一组一个或多个附加输入而启用的用于向所述注释层添加注释的装置。

26.一种电子设备，包括：

触敏显示器；

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至21所述的方法中的任一种方法的指令。

27.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有触敏显示器的电子设备执行时使所述设备执行根据权利要求1至21所述的方法中的任一种。

28.一种电子设备上的图形用户界面，所述电子设备具有触敏显示器、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求1至21所述的方法中的任一方法显示的用户界面。

29.一种电子设备，包括：

触敏显示器；和

用于执行根据权利要求1至21所述的方法中的任一方法的装置。

30.一种在具有触敏显示器的电子设备中使用的信息处理装置，包括：

用于执行根据权利要求1至21所述的方法中的任一方法的装置。

31.一种电子设备，包括：

触敏显示器单元，所述触敏显示器单元被配置为显示第一应用程序的第一用户界面并接收用户输入；和

处理单元，所述处理单元与所述触敏显示单元耦接，所述处理单元被配置为：

使能所述第一应用程序的所述第一用户界面的显示，其中所述第一应用程序是多个应用程序中的相应应用程序，并且其中所述第一用户界面包括第一应用程序内容；

在显示所述第一应用程序的所述第一用户界面时，检测第一输入；

响应于检测到所述第一输入，使能所述第一应用程序内容的继续显示，以及此外，使能注释层在所述第一用户界面的至少第一部分上方的显示，其中所述注释层与不同于所述多个应用程序的用户应用程序相关联；

当在所述第一用户界面的至少所述第一部分上方显示所述注释层时，检测第二输入；

响应于检测到所述第二输入，将第一用户界面的至少第二部分的表示添加到所述注释层；

在所述注释层中显示所述表示时，检测一组一个或多个附加输入；以及

响应于检测到所述一组一个或多个附加输入，向所述注释层添加注释。

32.根据权利要求31所述的电子设备，其中所述处理单元被配置为响应于检测到所述第二输入，创建添加到所述注释层的用户界面的至少第二部分的所述表示。

33.根据权利要求31至32中任一项所述的电子设备，其中在不同于所述多个应用程序的所述用户应用程序的控制下将所述表示添加到所述注释层，并且其中在不同于所述多个应用程序的所述用户应用程序的控制下将所述注释添加到所述注释层。

34.根据权利要求31至33中任一项所述的电子设备，其中所述第二输入是具有路径的手势，并且其中根据所述第二输入手势的所述路径来确定要在所述注释层中表示的所述用户界面的所述第二部分的边界。

35.根据权利要求31至34中任一项所述的电子设备，其中所述表示是第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，所述注释是第一组注释，并且所述处理单元被配置为在将所述第一组注释添加到所述注释层之后：

使能所述多个应用程序中的第二应用程序的第二用户界面的显示，其中所述第二用户界面包括第二应用程序内容；

在显示所述第二应用程序的所述第二用户界面时，检测第三输入；

响应于检测到所述第三输入，使能所述第二应用程序内容的继续显示，以及此外，使能所述注释层在所述第二用户界面的至少第一部分上方的显示；

当在所述第二用户界面的至少所述第一部分上方显示所述注释层时，检测第四输入；

响应于检测到所述第四输入，将所述第二用户界面的至少第二部分的第二表示添加到所述注释层；

在所述注释层中显示所述第二表示时，检测第二组一个或多个附加输入；以及

响应于检测到所述第二组一个或多个附加输入，将第二组注释添加到所述注释层。

36.根据权利要求31至34中任一项所述的电子设备，其中所述注释层为第一注释层，所述表示是第一表示，所述一组一个或多个附加输入是第一组一个或多个附加输入，所述注释是第一组注释，并且所述处理单元被配置为在将所述第一组注释添加到所述注释层之后：

使能所述多个应用程序中的第二应用程序的第二用户界面的显示，其中所述第二用户界面包括第二应用程序内容；

在显示所述第二应用程序的所述第二用户界面时，检测第三输入；

响应于检测到所述第三输入，使能所述第二应用程序内容的继续显示，以及此外，使能不同于所述第一注释层的第二注释层在所述第二用户界面的至少第一部分上方的显示；

当在所述第二用户界面的至少所述第一部分上方显示所述第二注释层时，检测第四输入；

响应于检测到所述第四输入，将第二用户界面的至少第二部分的第二表示添加到第二注释层；

在所述第二注释层中显示所述第二表示时，检测第二组一个或多个附加输入；以及

响应于检测到所述第二组一个或多个附加输入，将第二组注释添加到所述注释层。

37.根据权利要求31至36中任一项所述的电子设备，其中所述电子设备还包括被配置为检测来自与所述设备相关联的触笔的信号的一个或多个传感器单元，其中所述第一输入为使用触笔执行的以及选自由以下项组成的组中的第一手势：从所述触敏显示器单元的边缘移动到所述触敏显示器单元的内部位置的边缘手势、包括向所述触敏显示器单元的轻弹动作的铅笔轻弹手势、以及在所述触敏显示器单元上显示的预定义示能表示上的手势。

38.根据权利要求37所述的电子设备，其中检测所述第一输入包括确定所述第一手势是使用所述触笔来执行的。

39.根据权利要求31至38中任一项所述的电子设备，其中：

所述电子设备还包括被配置为检测来自与所述设备相关联的触笔的信号的一个或多个传感器单元；

所述一组一个或多个附加输入包括第一附加输入；以及

使用所述触笔将所述第一附加输入输入到所述电子设备。

40.根据权利要求39所述的电子设备，其中：

所述一组一个或多个附加输入包括第二附加输入；并且

所述第二附加输入包括来自所述触笔和一个或多个手指接触两者的输入。

41.根据权利要求39所述的电子设备，其中所述注释中的至少一者为使用所述触笔输入的手写注释。

42.根据权利要求41所述的电子设备，其中所述处理单元被配置为处理手写注释以生成与所述手写注释相关联的可搜索文本。

43.根据权利要求31至42中任一项所述的电子设备，其中所述一组一个或多个附加输入包括第三附加输入，并且所述处理单元被配置为根据确定所述第三附加输入是使用手指提供的，使能用于所述注释层的一组注释控件的显示。

44.根据权利要求31至43中任一项所述的电子设备，其中独立于所述多个应用程序来检测所述第一输入。

45.根据权利要求31至44中任一项所述的电子设备，其中所述多个应用程序包括至少两个应用程序，所述至少两个应用程序选自由以下项组成的组：浏览器应用程序、照片应用程序、通信应用程序和内容编辑应用程序。

46.根据权利要求31至45中任一项所述的电子设备，其中所述注释层具有可调节的不透明度，并且所述处理单元被配置为响应于第五输入改变所述注释层的所述不透明度，其中增加所述注释层的所述不透明度使在所述注释层下方显示的应用程序内容的可见度减小。

47.根据权利要求31至46中任一项所述的电子设备，其中所述注释层具有可调节纹理，并且其中所述可调节纹理为实心的、格子的、网格的、点状的或半透明的。

48.根据权利要求31至47中任一项所述的电子设备，其中所述处理单元被配置为：

检测第六输入；以及

响应于所述第六输入，发送或传送包括至少所述注释层的对象。

49.根据权利要求31至48中任一项所述的电子设备，其中所述处理单元被配置为：

存储包括至少所述注释层的对象；

在存储包括至少注释层的所述对象之后，检测后续输入；以及

响应于检测到所述后续输入，使能至少所述注释层的显示。

50.根据权利要求49所述的电子设备，其中：

包括至少所述注释层的所述对象还包括用于产生所述注释层的注释序列；并且

响应于检测到所述后续输入来显示至少所述注释层包括：

回放用于产生所述注释层的所述注释序列；以及

在回放所述注释序列之后，显示所述注释层。

51.根据权利要求31至50中任一项所述的电子设备，其中将注释添加到所述注释层响应于所述一组一个或多个附加输入以及在所述注释层下面显示的应用程序内容两者。