CN103080980B - 基于上下文向文档自动附加捕捉的图像 - Google Patents

Abstract

公开了一种用于由捕捉图像的行为触发的、向正在显示的文档自动附加该捕捉的图像的便携式计算设备。向当前正在查看的文档添加新页面，并将新页面显示在便携式计算设备上，并且随后将该图像和元数据附加到该新页面中。在其它变型中，该文档包括具有位置的元数据，图像可存储在该位置处并且当捕捉图像时，捕捉的图像存储在元数据位置。

Description

基于上下文向文档自动附加捕捉的图像

技术领域

本发明的当前实施例涉及便携式计算设备和电子文档，并且特别地涉及用于便携式计算设备的用户界面，其允许基于便携式计算设备的使用的上下文向文档自动附加捕捉的图像。

背景技术

便携式计算设备的使用对于很多用户已经是司空见惯的事情。很多用户除了拥有传统的台式计算机，还拥有某种类型的便携式计算设备。目前的计算设备的例子包括用于阅读的电子设备，诸如来自索尼公司的Reader、来自Amazon的Kindle以及来自Barnes&Noble的Nook。更小的便携式计算装置包括众多的智能电话，包括来自苹果计算机公司的iPhone、来自ResearchInMotion的Blackberry以及来自Palm的Pre等等。此外已经有提供不同级别的处理能力和尺寸的笔记本膝上型计算机以及平板计算机的增长的销售。

这样的现有设备具有的一个特别的问题是其难以操作和配置，特别是对外行或不熟练的用户。例如，这些便携式计算设备与台式计算机非常类似且具有各种配置细节，诸如输入设备、输出设备、通信类型、可用的连接、数据同步，这使得其难以使用。此外，这些设备的很多都需要在其中向便携式计算设备输入数据的传统键盘或该键盘的某伪模拟类型版本。这需要用户学习许多不同的界面以与便携式计算设备交互。那些界面还可取决于便携式计算设备正在运行的应用而改变。要求使用这样多且不同的界面使这样的设备的可用性和便利性降低。

许多便携式计算设备还包括相机。然而，便携式计算设备的一个特别难以使用的方面就是相机。首先，用户通常必须改变模式以操作相机。这要求退出当前的应用，开始新的应用或相机模式，以及输入对相机的设置，只有在完成这些之后用户才能够拍照。其次，一旦已经捕捉了图片，其存储在便携式计算设备上。需要许多步骤或用户与便携式计算设备的许多交互来发送该图片或将其移动到另一位置。例如，为了发送刚拍的图片，用户必须退出相机模式，进入将要发送该图片的应用，将该图片附加到消息，并然后发送该消息。即使仅将图片从便携式计算设备拷贝到台式计算机也需要许多步骤。典型地，相机必须以某种方式与台式计算机连接以通信。然后必须使用浏览器或文件系统以从包括便携式计算设备上文件的目录定位该图片。然后必须将图片从便携式计算设备拷贝到台式计算机期望的位置。最后，必须打开应用使得可以使用或发送（电子邮件发送）该图片。因此，当前的便携式计算设备使得难以使用相机捕捉图像以及将那些图像并入工作流或发送那些图像。

发明内容

解决问题的手段

本发明的当前实施例通过提供一种用于基于便携式计算设备的使用上下文向文档自动附加捕捉的图像的系统而克服了现有技术的不足和局限。本发明的当前实施例的系统响应于捕捉图像向便携式计算设备上正在显示的文档自动附加捕捉的图像。在一个实施例中，新页面被添加到正在被查看的当前文档并被显示在便携式计算设备上，并且然后在该新页面中附加图像和元数据。在另一个实施例中，文档包括元数据，元数据具有可存储图像的位置且当捕捉图像时，该捕捉的图像存储在元数据的位置处。由于系统自动识别正在查看的文档（例如在其中正在操作便携式计算设备的上下文）并且当用户输入捕捉图像命令时，该图像被捕捉并自动添加到该文档，因此这是特别有利的。

在一个实施例中，便携式计算设备包括处理器、显示器、敲击捕捉能力、相机和无线通信能力。便携式计算设备适于接收文档、向接收的文档添加敲击注释(annotation)，向接收的文档添加捕捉的图像注释，以及发送该注释的文档。便携式计算设备还包括呈现模块和自动捕捉模块。呈现模块负责在显示器上呈现文档页面以及呈现允许添加敲击注释、添加捕捉的图像以及对文档采取的其它行动的用户界面。自动捕捉模块被用于自动捕捉图像和向文档添加该捕捉的图像。自动捕捉模块有利地确定当前由便携式计算设备显示的文档以及对捕捉图像信号监视。一旦检测到捕捉的图像信号，自动捕捉模块向便携式计算设备上当前显示的文档添加该捕捉的图像。

本发明的当前实施例还包括用于捕捉图像并将其自动添加到文档的新颖的方法，以及很多新颖的用户界面。

这里描述的特征和优点不是包括一切的，并且许多额外的特征和优点对于本领域的普通技术人员在当考虑到附图和描述时是显而易见的。此外，应注意主要出于可读性和教导性的目的选择了说明书中使用的语言，并且不是为了限制发明主题的范围。

附图说明

图1是根据本发明的当前实施例、用于自动附加捕捉图像的系统的实施例的框图；

图2A是根据本发明的当前实施例的便携式计算设备的实施例的前视图；

图2B是根据本发明的当前实施例的图2A的便携式计算设备的实施例的后视图；

图3是根据本发明的当前实施例的便携式计算设备的实施例的框图；

图4是根据本发明的当前实施例的敲击（stroke）和图像工作流服务器的实施例的框图；

图5是示出根据本发明的当前实施例的自动文档处理的示意流程图；

图6是示出根据本发明的当前实施例的用于自动附加捕捉的图像的方法的第一实施例的流程图；

图7是示出根据本发明的当前实施例的用于自动附加捕捉的图像的方法的第二实施例的流程图；

图8是根据本发明的当前实施例的收件箱用户界面的一个实施例的图形表示；

图9是根据本发明的当前实施例的表格用户界面的一个实施例中显示的示例表格的图形表示；

图10是根据本发明的当前实施例的一个实施例、用于自动附加捕捉的图像的用户界面的流程图；以及

图11是根据本发明的当前实施例的第二实施例、用于自动附加捕捉的图像的用户界面的流程图。

参考标记的描述

100系统

102便携式计算设备

104网络

106敲击和图像工作流服务器

108计算机

110数据存储

112耦合（coupling）

116信号线

118信号线

120信号线

202计算板（pad）

204手写笔

206显示设备

208敲击捕捉设备和模块

210输入设备

212输入设备

214输入设备

216输入设备

218输入设备

220输出设备

302处理器

304存储器

306通信单元

308唯一设备ID

310时钟

312元数据模块

314日志（logging）模块

316文档传输模块

318文档创建模块

320总线

322呈现模块

324其它应用

324其它应用

326其它I/O设备

328自动捕捉模块

402处理器

404存储器

406通信单元

408文档传输模块

410时钟

412工作流模块

416日志模块

418其它应用

422显示设备

424输出设备

426唯一设备ID

428输入设备

430验证模块

502收件箱

504文档

512备用服务器

750底部区域

具体实施方式

描述了一种用于基于便携式计算设备的使用的上下文、向文档自动附加捕捉的图像的系统。在以下描述中，为了解释的目的，阐述了许多特定的细节从而提供对本发明的透彻的理解。然而，对本领域技术人员明显的是，本发明可以不需要这些特定的细节而实施。在其它情况下，以框图的形式示出结构和设备从而避免模糊本发明。例如，参照便携式计算设备在以下的一个实施例中描述本发明的当前实施例，在像AmazonKindle的使用电子纸、e-paper或电子墨水显示的硬件和软件平台中示例便携式计算设备。然而，本发明的当前实施例应用于任何类型的可捕捉墨水、数据和命令并且以电子方式发送文档的便携式计算设备。

说明书中提到“一个实施例”或“实施例”意味着与实施例有关地描述的具体特征、结构或特征包括在本发明的至少一个实施例中。在说明书中不同地方出现的“在一个实施例中”词组不一定全都指代同一个实施例。特别地，以下在两个明显不同的构造的内容中描述了本发明的当前实施例，并且一些元件能在两个构造中操作而其它的不能。

随后的一些部分的详细描述按照算法和对计算机存储器内数据比特操作的符号表示来呈现。这些算法的描述和表示是数据处理领域的技术人员用来向该领域的其他技术人员最有效地传达其工作的实质的方式。在这里且通常而言，算法被认为是通向期望结果的自相一致的步骤序列。这些步骤要求对物理的量进行物理的操作。尽管不是必须的但是通常这些量采取能够被存储、传输、组合、比较或以其它方式操作的电或磁信号的形式。已经证明有时、主要为了通用的原因以比特、值、元件、符号、字符、项目、数字等指代这些信号是方便的。

然而需记住所有这些和类似的术语要与适当的物理量相关联，且仅仅是应用于这些量的方便的标记。除非特别说明，否则从以下的讨论中显而易见的是，应理解在整个描述中，使用诸如“处理”或“计算处理（computing）”或“计算”或“确定”或“显示”等术语的讨论，是指将表示为计算机系统寄存器和存储器中物理（电子）量的数据操作或转换为类似地表示为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备中物理量的其它数据的计算机系统或类似的电子计算设备的动作和过程。

本发明的当前实施例还涉及用于执行这里的操作的装置。该装置可专门为所需的目的而构造，或者其可包括由计算机中存储的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可存储在计算机可读存储介质中，诸如但不限于，任何类型的盘，包括软盘、光盘、CD-ROM和磁光盘、只读存储器（ROM）、随机存取存储器（RAM）、EPROM、EEPROM、磁或光卡，或适合存储电子指令、每个耦接到计算机系统的任何类型的介质。

本发明可采取完全地硬件实施例、完全地软件实施例或包括硬件和软件元件两者的实施例的形式。在优选的实施例中，本发明以软件实现，其包括但不限于固件、驻存软件、微代码等。

此外，本发明可采取可从计算机可用或计算机可读的介质存取的计算机程序产品的形式，计算机可用或计算机可读的介质提供由计算机或任何指令执行系统使用或与之相关的程序代码。为此描述的目的，计算机可用或计算机可读的介质可以是任何可包含、存储、通信、传播或运送由该指令执行系统、装置或设备使用或与之相关的程序的装置。

该介质可以是电子的、磁的、光的、电磁的、红外线的或半导体系统（或装置或设备）或传播媒质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移除的计算机磁盘、随机存取存储器（RAM）、只读存储器（ROM）、硬式（rigid）磁盘和光盘。光盘的目前的例子包括只读光盘存储器（CD-ROM）、读写光盘（CD-R/W）和DVD。

适合用于存储和/或执行程序代码的数据处理系统会包括通过系统总线直接或间接地耦接到存储器元件的至少一个处理器。该处理器元件可包括在实际执行程序代码时使用的局部存储器、大容量存储器，以及提供对至少某些程序代码的临时存储从而减少在执行期间必须从大容量存储器检索代码的次数的高速缓存存储器。

可以直接地或通过介于中间的I/O控制器将输入/输出或I/O设备（包括但不限于键盘、显示器、定位设备等）耦接到系统。

还可将网络适配器耦接到系统从而使能数据处理系统变为通过介于中间的私有或公共的网络耦接到其它数据处理系统或远程打印或存储设备。调制解调器、电缆调制解调器和以太卡只是网络适配器目前可用的类型中的一些。

最后，这里呈现的算法和显示并不固有地与任何特定的计算机和其它装置有关。可以根据这里的教导和程序一起使用各种通用系统，或构造更专门的装置以执行所需方法步骤可被证明是方便的。用于各种这些系统的所需结构将出现在以下的描述中。此外，参照特定的编程语言描述本发明的当前实施例。应理解可使用多种编程语言实现这里所描述的本发明的教导。

系统概述

图1示出用于基于自动敲击和图像的工作流的系统100的实施例。现在参照图1，系统100的该实施例包括：多个便携式计算设备102a-102n、网络104、计算机108、敲击和图像工作流服务器106和数据存储器110。

多个便携式计算设备102a-102n经由各自的耦合112a-112n无线地耦接到网络104。在一个实施例中，便携式计算设备102a-102n是包括显示器、敲击捕捉能力和无线通信能力的便携式计算设备。该便携式计算设备102a-102n适于接收图像（例如表格（form）或文档）、向接收的图像添加敲击注释，以及发送该注释了的接收的图像。以下将参照图2和图3更详细地描述便携式计算设备102a-102n的实施例。

网络104是传统的类型、有线或无线的，且可具有许多配置，诸如星型配置、令牌环型配置或为本领域技术人员熟知的其它配置。此外，网络104可包括局域网（LAN）、广域网（WAN）（例如因特网）和/或多个设备可以在其间通信的其它互联的数据通路。在又一个实施例中，网络104可以是点对点网络。网络104还可耦接到或包括用于以各种不同的通信协议发送数据的通信网络的部分。在又一个实施例中，网络104包括用于（诸如经由短消息服务（SMS）、多媒体消息服务（MMS）、超文本传输协议（HTTP）、直接数据连接、WAP、电子邮件等）发送和接收数据的蓝牙通信网络或蜂窝通信网络。

计算机108是诸如个人计算机或硬件服务器的传统类型。计算机108通过信号线118耦接到网络104。在一个实施例中，计算机可以访问并与敲击和图像工作流服务器106通信从而最初输入用于处理的表格或根据工作流验证对特定表格的处理。例如，用户可使用计算机108向敲击和图像工作流服务器106输入诸如PDF文件的用于进一步处理的文档。类似地，计算机108可以是在已经完成了根据其工作流的所有处理之后的完成表格的接收者。计算机108可与敲击和图像工作流服务器106的验证模块430（见图4）通信从而验证特定表格的处理的状态或处理的完成。最后，计算机108可作为工作流的中间阶段在电子文档上操作，或者甚至包括敲击和图像工作流服务器106的一些性能，并直接与便携式计算设备102a-102n通信。

敲击和图像工作流服务器106经由信号线116耦接到网络104，用于与便携式计算设备102a-102n通信。敲击和图像工作流服务器106包括文档传输模块408、工作流模块412、日志模块416和验证模块430（见图4）。敲击和图像工作流服务器106发送和接收来自便携式计算设备102a-102n的文档，维护（maintain）用于验证的日志，和实现类纸式工作流（paperlikeworkflow）以及处理文档。由于敲击和图像工作流服务器106为便携式设备用户实现类纸式工作流并且处置处理电子文档的开支（overhead）从而使得该处理对用户是看不到的，因此这是特别有利的。

数据存储器110经由信号线120耦接到敲击和图像工作流服务器106。在可选实施例中，数据存储器110通过网络104耦接到敲击和图像工作流服务器106。例如，在这样的可选实施例中，数据存储器110是诸如AmazonS3的在线存储网络服务。数据存储器110是非易失性存储设备或类似的永久存储设备和介质。数据存储设备110存储用于处理器302的数据和指令并包括一个或多个设备，包括硬盘驱动、软盘驱动、CD-ROM设备、DVD-ROM设备、DVD-RAM设备、DVD-RW设备、闪速存储设备或本领域熟知的某些其它大容量存储设备。数据存储器110被用来存储关于工作流处理的信息（诸如处理日志）。

尽管图1的系统仅示出一个敲击和图像工作流服务器106，但是应该理解可以有任意数目的额外的工作流服务器，例如专用于其它功能、公司、机构、组织的结构。计算设备102a-n可与不止一个敲击和图像工作流服务器106通信。文档的特定页面或部分（section）可与不同的工作流服务器相关联。还有，可转发（forward）合成文档的部分而不是发送整个的合成文档。

便携式计算设备102

现在参照图2A、2B和图3，将详细地描述便携式计算设备102的实施例。便携式计算设备102包括计算板202和手写笔204。在可选的实施例中，便携式计算设备102可仅包括计算板202且用户可使用其手指或其它像笔的物体作为手写笔。计算板202显示图像并记录写在图像上的任何敲击。敲击通常立即显示在图像上面，就如同笔写在纸上一样。还通常将敲击捕捉为一系列点或片段。通常和敲击一起捕捉某些定时信息，并且有时捕捉压力信息。还可和敲击一起记录“抬笔”和“落笔”，指示与板的接触相对与板的邻近度。在有些情况下，手写笔204可具有标识符或按钮或不同的“末端”，且可以将其和敲击一起记录。在有些情况下，还记录笔或手写笔204速度和/或笔加速度。在有些情况下，记录笔或手写笔204的其它方面，诸如笔的旋转或笔相对于显示器表面的角度。

计算板202包括显示设备206、敲击捕捉设备和模块208、多个输入设备210-216、相机218、输出设备220、处理器302、存储器304、通信单元306、唯一设备标识符存储器308、时钟310、元数据模块312、日志模块314、文档传输模块316、文档创建模块318、总线320、呈现模块322、其它应用324以及自动捕捉模块328。

现在参照图2A和图2B，示出计算板202的一个实施例。在该实施例中，显示设备206是诸如由E-ink制造和销售的电子纸显示器。在其它实施例中，显示设备206是液晶显示器（LCD）或任何其它类似地配备的显示设备、屏幕或监视器。显示设备206代表配备以显示如这里所述的电子图像和数据的任何设备。显示设备206的尺寸足以显示至少信息的小“页面”。在不同的实施例中，显示器是二元的（只有用于像素的两个不同的值）、单色（一种颜色的多种明暗度）或允许多个颜色和明暗度。显示设备206优选是重量轻、功率低的显示器。在一个实施例中，显示设备206使用反射光而非发射光以供用于在户外使用且使用较少的功率。该显示设备206还具有较高的分辨率，用于显示否则可在纸上显示的信息，但是显示设备206容许比LCD显示器常见的60Hz刷新率低得多的更新速率。

与该显示设备206一起排列的有敲击捕捉设备208，诸如数字化平板或图画板（graphicspad）。敲击捕捉设备208是接触感测（contactsensing）设备或具有可以在显示器上方、下方或周围的接收器的声波、电磁或光感测设备。敲击捕捉设备208能够接受来自手写笔204或手指或其它工具的敲击。敲击捕捉设备208是用于手写笔204的传感器，并且具有足够捕捉可识别的笔迹和印刷和其它绘画的分辨率。在一个实施例中，显示设备206配备有触摸屏，其中触摸敏感的、透明的面板覆盖住显示设备206的屏幕。在一个实施例中，敲击捕捉设备208是由Wacom有限公司制造和销售的数字转换器。在另一个实施例中，敲击捕捉设备208是返回单个接触点的水平和垂直位置的简单的传感器。在又一个实施例中，敲击捕捉设备208是返回如下指示的多个更复杂的传感器：压力、位置（location）、时间的指示，甚至手写笔204的ID号或类型或是否按下手写笔上的按钮或已经倒置该手写笔以例如擦除的指示。一些传感器可返回多个接触点。一些传感器能够区分基于手写笔的触摸输入和基于手指的触摸输入之间区分。敲击捕捉设备208或者是敲击捕捉模块208的一部分，或者适于与之通信。

除了手写笔204之外，计算板202提供多个输入设备210-216以输入命令。如图2A所示，当选择了在计算板202的顶部边缘上的第一按钮210时，其开启或关闭计算板202。在一个实施例中，可以以短的持续时间选择第一按钮210从而使计算板20处于睡眠模式，并且以更长的持续时间按下按钮从而关闭计算板202。第二按钮212控制相机218的操作，并且当第二按钮被选择时使得相机218捕捉图像。当选择了第三按钮时，其指示文档的注释是完整的且该文档应该由计算板202发送。第四对输入按钮216允许用户分别变换到文档的下一页或前一页。本领域技术人员将认识到作为按钮的这些输入设备仅仅是用于多个输入设备210-216的一个实施例，且各种其它或多或少按钮或输入设备的配置在本发明的当前实施例的主旨和范围内。更具体地，在另一个实施例中，由于按钮可能妨碍设备被认为是类纸式的，因此计算板202具有很少（或者没有）按钮。

在这样的实施例中，只要有网络连通性就会连续地发送敲击和其它元数据。可通过按下板上的“提交”或“拒绝”按钮而指示页面或一组页面的完成，或者在显示的页面上可能有区域并且向那些区域添加敲击可提交适当的数据。本领域技术人员会认识到有各种不同的数目和配置用于多个输入设备210-216。例如，另一个配置包括一个按钮用于电力以及一个按钮用于提交；第二示例具有滑动器（slider）从而取决于手指的位置来从大量的页面中选择页面，以及一个或多个按钮。

现在还参考图2B，示出了计算板202的背面。计算板202包括相机218和输出设备220。如图2B中所示，相机218被放置为，其镜头在计算板202的背面向外，处于左上角。相机218是诸如在蜂窝电话或笔记本计算机上可用的传统类型。输出设备220在计算板202的前面且在图2A中示出。输出设备220是用于显示小图像的设备，且被用作相机的取景器(viewfinder)。在一个实施例中，输出设备220是有机发光二极管（OLED）且仅当相机可操作时才可操作。在另一个实施例中，输出设备220被用来指示该设备诸如如下的状态：1）计算板202是否有电及可操作；2）计算板202是否具有网络连通性；3）计算板202是否正在发送或接收合成的文档；等等。本领域技术人员会认识到在以上所列之外可有各种额外的状态指示符可以是输出设备220的部分，或可以通过主显示器206提供该状态。

现在参照图3，描述了计算板202的剩余的部件。

处理器302包括执行计算、向显示设备206提供电子显示信号并检测和处理敲击输入的运算逻辑单元、微处理器、通用控制器或某些其它处理器阵列。处理器302耦接到总线320用于与计算板202的其它部件通信。处理器302处理数据信号，并可包括各种计算架构，计算架构包括复杂指令集计算机（CISC）架构、精简指令集计算机（RISC）架构，或实现指令集组合的架构。尽管图3中仅示出单个的处理器，但可包括多个处理器。计算板202的处理能力可限于支持图像的显示和敲击的记录以及敲击的发送。处理能力可能足够处理更复杂的任务，包括各种类型的图像处理、敲击处理或识别任务。对本领域技术人员显而易见的是，其它的处理器、操作系统、传感器、显示器和物理配置是可能的。计算板202还包括可由处理器执行的操作系统，诸如但不限于基于、MacOSX、Android或的操作系统。

存储器304存储可由处理器302执行的指令和/或数据。指令和/或数据可包括用于执行任何和/或所有这里描述的技术的代码。存储器304可以是动态随机存取存储器（DRAM）设备、静态随机存取存储器（SRAM）设备、闪速存储器或本领域中熟知的某些其它存储设备。在一个实施例中，存储器304还包括非易失性存储器，诸如以更永久的基础存储日志信息的硬盘驱动或闪速驱动。存储器304由总线320耦接用于与计算板202的其它部件通信。

通信单元306耦接到天线和总线320。在可选实施例中，通信单元306可提供用于直接物理连接到网络104的端口。通信单元306包括收发机用于发送和接收合成的文档。在一个实施例中，通信单元306包括用于与接入点无线通信的Wi-Fi收发机。在另一个实施例中，通信单元306包括用于与其它设备无线通信的蓝牙收发机。在又一个实施例中，通信单元306包括用于诸如经由短消息服务（SMS）、多媒体消息服务（MMS）、超文本传输协议（HTTP）、直接数据连接、WAP、电子邮件等在蜂窝通信网络上发送和接收数据的蜂窝通信收发机。在另一个实施例中，通信单元306包括用于有线的连通性的端口，诸如但不限于USB、SD或CAT-5等。通信单元306将处理器302链接到可包括多个处理系统的网络104。处理系统的网络可包括局域网（LAN）、广域网（WAN）（例如因特网）、和/或多个设备可在其间通信的任何其它互联的数据通路。通信单元306还使用标准的网络协议（诸如本领域技术人员会理解的TCP/IP、HTTP、HTTPS和SMTP）提供到网络104的其它传统的连接以用于文件（多媒体对象）的分发。

计算板202包括用于唯一设备标识符308的存储器。计算板202耦接到总线320以根据需要向其它部件提供唯一标识符。在一个实施例中，该存储器是用于存储唯一设备标识符308的只读存储器。在另一个实施例中，唯一标识符存储器308是存储公钥-私钥对的非易失性存储器。在另一个实施例中，公钥-私钥对存储在与设备的CPU或主板集成在一起的专门的可信计算存储器中。对于计算板202，具有用来指示敲击存储在哪里或用于各种通信协议的唯一标识符是有用的。在一个实施例中，唯一标识符是计算板202中网络芯片的硬件MAC地址。唯一标识符308可以是另一功能块（诸如通信单元306）的内部部分，或在存储单元304的非易失性存储器中。在另一实施例中，唯一标识符是与计算板202上的存储卡相关联的唯一ID，以此方式，与特定的设备的关联在当存储卡移动时会移动到不同的设备，而这可以是预料中的行为。唯一标识符对于各种操作是有用的，但通常不太安全。例如硬件MAC地址可以被其它设备模仿。因此有时将设备与来自公钥密码系统（诸如）的一对密钥相关联是有用的。在一个实施例中，以私钥制造或配置计算板202且公钥被传播。随后计算板202可使用其私钥用于敲击、图像、日志或在设备上起源的其它媒体的数字签名。其他人可使用公钥来验证这样的媒体。公钥还可被用来提供与设备的秘密的通信。使用设备公钥用于加密会限制其他人对仅旨在用于特定计算板202的页面图像或元数据的访问。

时钟310是传统的类型并且为计算板202提供本地时间的指示。特别地，时钟310被用来提供处理合成文档的本地时间。还使用日志模块314将该时间值和数据一起存储在本地日志文件中。时钟310适于使用系统总线320将该信息通信给处理器302和日志模块314。

元数据模块312是包括用于从文档提取元数据并将元数据存储为文档的部分的例程（routine）的软件。在一个实施例中，元数据模块312是可由处理器执行以提供参照图5-9的以下功能、用于访问图像/页面元数据两者以及文档元数据的指令。在另一个实施例中，元数据模块312软件例行用于呈现用户界面、捕捉敲击信息以及根据工作流路由（从便携式计算设备102发送文档且在便携式计算设备102处接收）文档。在一个实施例中，元数据模块312存储在存储器304中且可由处理器302访问（accessible）或执行。在任何事件中，元数据模块312适于与处理器302及计算板202的其它部件合作和通信。

日志模块314是包括用于创建本地日志和将本地日志存储在存储器304中，且更具体地存储在存储器304的非易失性存储部分中的例程的软件。在一个实施例中，日志模块314是一组可由处理器302执行的例程，用于将缠结的（entangled）日志中的元数据存储在计算板202以及敲击和图像工作流服务器106处。日志模块314对在交易处理中提供对工作流完成的验证是特别关键的。在一个实施例中，日志模块314还包括用于在网络上公共可用的位置发布或存储其特定计算板202的日志的例程。日志模块314由总线320耦接到处理器302、存储器304和通信单元306。

文档传输模块316是用于发送和接收来自敲击和图像工作流服务器106的文档的软件和例程。在其它实施例中，文档传输模块316将来自任何其它计算设备（诸如但不限于计算机108、敲击和图像工作流服务器106或其它便携式计算设备102）的文档作为格式化的消息发送和接收。文档传输模块316由总线320耦接用于与处理器302和通信单元306通信。文档传输模块316负责诸如通过电子邮件、文件传输、XMPP或专用应用来发送和接收来自计算板202的文档或格式化的消息。

在第一实施例中，文档传输模块316是在计算板202上可操作的客户端软件，其维护充当收件箱的目录结构。文档传输模块316将文档从敲击和图像工作流服务器106上对应的收件箱移动到该目录。一旦计算板202的收件箱中的文档已被注释且用户输入了提交指令，则文档传输模块316从目录结构中移除该文档并将其传输到敲击和图像工作流服务器106用于进一步处理。

在第二实施例中，文档传输模块316是电子邮件客户端，其能够接收和发送具有附件的电子邮件。电子邮件客户端可操作在处理器302上。邮件服务器常见地使用POP或IMAP协议来和邮件客户端对话，并且计算板被配置为使用两者中一者。消息是计算板202可直接使用的格式，例如图像文件附件。消息是需要在计算板202上转换的格式，例如pdf文档。可选地，特别的邮件服务器可提供消息的转换从而使得板不需要支持多个格式。在工作流中使用多个设备以分发必须仅做一次的工作的情况下，例如如同在上述的分部的（departmental）收件箱的情况下，使用IMAP是有利的。多个设备102a-n可被配置为具有相同的IMAP服务器和“用户名”的客户端。设备102a-n的群组可显示“收件箱”中的所有表格。一旦任何设备102a-n上的任何用户将表格标记为“已处理”，则设备将该消息从“收件箱”移出，并且可能移动到IMAP服务器上的“已处理”信箱。当其它设备102a-n检查IMAP服务器上的“收件箱”时，其会确定所述页面已不存在且不会再显示所述页面。当板需要发送一个页面或敲击或者多个页面或敲击时，该板可充当电子邮件客户端并且发送邮件，可能通过使页面在已经被压缩且合并为单个文件的目录结构中的方式。

在第三实施例中，文档传输模块316是用于执行文件传输的例程。可以使用各种文件传输方法将文档移动到计算板202上或从计算板202上移走。计算板202可以运行ftp、http或webdav服务器并且其它设备可推或拉计算板202上的文档。计算板202还可配置为还是经由ftp、http、rsync、webdav或其它协议来得到新文档或发布新文档到外部服务器。

在第四实施例中，文档传输模块316是诸如用于经由MMS通信或在其它通信协议上的客户端通信程序。用在即时消息中的协议XMPP被用来提供与板的文档和敲击通信。即时消息协议是有用的，这是因为消息群组的任何成员可发起消息，即使在当其他成员正在发送消息时也如此。对于计算板202，这允许当正在将敲击从板发送到服务器的同时为板发送图像的服务。如果计算板202的群组正在共享显示空间且因此该群组的所有成员可被通知有新敲击时，即时消息协议也可以是有用的。

在第五实施例中，文档传输模块316是定制应用。当然，可利用设计为使用板特定的API与板合作的专用应用将信息传输到计算板202。指导员（instructor）可能想要在不知道用来移动文件的特定方法的情况下将工作表“拖放”到板的图形表示上。在一个实施例中，文件传输模块316是rsync。Rsync是用于Unix的数据传输软件应用，其同步从某位置到其它位置处的文件和目录，在适当时使用增量(delta)编码最小化数据传输。在以上提到的实施例中，文档传输模块316可实现为仅当网络连通性可用时才抓住时机地发送文档的存储和转发系统。

文档创建模块318是用于创建新文档的软件或例程。文档创建模块318可操作在处理器302上,并耦接到总线320，以供用于与计算板202的其它部件通信。文档创建模块318响应于来自输入设备210-218或敲击捕捉设备208的信号。文档创建模块318将文档的模板表格(form)存储在存储器304。响应于用户输入，文档创建模块318访问存储的模板表格并拷贝所选表格以从模板表格创建新的文档。一旦创建，存储器304中存储的文档被添加到由呈现模块322维护的收件箱列表，且另外地如同任何其它文档一样是可编辑、可操作以及可发送的。

总线320代表用于贯穿计算板202上传输信息和数据的共享总线。总线320可代表包括下述的一个或多个总线：工业标准结构（ISA）总线、外围部件互联（PCI）总线、通用串行总线（USB）或提供类似功能的本领域中一些其它已知的总线。通过系统总线320耦接到处理器302的额外的部件包括显示设备206、敲击捕捉设备和模块208、多个输入设备210-216、输出设备220、处理器302、存储器304、通信单元306、唯一设备标识符存储器308、时钟310、元数据模块312、日志模块314、文档传输模块316、呈现模块322和其它应用324。在计算系统202中可能还有多个总线，被设计用来提供功能元件之间最有效的通信。

呈现模块322是用于将文档和收件箱显示在显示设备206上以及响应于来自输入设备210-216的输入调整图像的显示的软件和例程。呈现模块322执行产生图2、8和0中所示的双模式用户界面的例程。呈现模块322还与自动捕捉模块328合作以产生以下将参照图10和11描述的自动捕捉界面。在一个实施例中，呈现模块322是可由处理器302执行以致使在显示设备206上显示图像的瘦客户端例程。呈现模块322由总线320耦接到显示设备206、处理器302和存储器304。

其它的应用324包括可由处理器302执行的用于各种其它类型功能的其它软件和例程。在一个实施例中，由处理器302执行一个或多个应用程序，包括而不限于，字处理应用、电子邮件应用、财务应用以及网络浏览应用。

自动捕捉模块328是用于响应于捕捉图像命令自动地捕捉图像、用于确定计算板202的操作上下文并将捕捉的图像插入文档的软件和例程。例如，自动捕捉模块328负责确定当前正在由计算板202显示的文档。在一个实施例中，自动捕捉模块328还负责直接或间接地创建新的页面，向新创建的页面添加捕捉的图像以及向文档添加具有捕捉的图像的新创建的页面。在另一个实施例中，自动捕捉模块328还确定文档是否包括图片矩形，捕捉图像，并在现有的文档中用捕捉的图像取代图片矩形。以下将参照图6-11详细描述呈现模块322的操作。

最后，计算板202可包括一个或多个其它I/O设备326。例如，其它I/O设备326可包括产生声音的扬声器、录音的麦克风、记录文档或图像的扫描仪或相机，以及诸如加速计、呼机发动机或触觉反馈的其它传感器或反馈设备。可选地，其它I/O设备326可包括一个或多个模数或数模转换器，和/或一个或多个数字信号处理器以便于音频处理。这些其它的I/O设备326由总线320耦接以用于与处理器302和存储器304通信。可选地，可添加微控制器作为其它I/O设备326的部分从而便于电力系统控制，以及将主处理器302从较低速、不太重要的任务中卸荷。

敲击和图像工作流服务器106

现在参照图4，将更详细地描述敲击和图像工作流服务器106的实施例。敲击和图像工作流服务器106包括处理器402、存储器404、通信单元406、文档传输模块408、时钟410、工作流模块412、日志模块416、其它应用418、总线420以及验证模块430。在可选实施例中，敲击和图像工作流服务器106还包括显示设备422、输出设备424、唯一设备ID存储器426和输入设备428。

本领域技术人员将认识到敲击和图像工作流服务器106的一些部件具有与计算板202的部件相同或类似的功能，因此这里将不重复对这些部件的描述。例如，处理器402、存储器404、通信单元406、文档传输模块408、日志模块416、时钟410、其它应用418、显示设备422、输出设备424、唯一设备ID426以及输入设备428分别具有与图3的处理器302、存储器304、通信单元306、文档传输模块316、日志模块314、时钟310、其它应用324、显示设备206、输出设备202、唯一设备ID308以及输入设备210-218类似的功能。以下提到在敲击和图像工作流服务器106和计算板的部件之间的一些不同。例如，通信单元406可以以有线的方式而非无线地将敲击和图像工作流服务器106耦接至网络104。由于工作流服务器106很可能服务许多的便携式计算设备102，因此处理器402比处理器302的计算能力更强。文档传输模块408是与邮件客户端相对的邮件服务器。显示设备422可以是CRT，且输出设备424是扬声器。输入设备428包括键盘和鼠标类型控制器。本领域技术人员将认识到由于敲击和图像工作流服务器106充当与远程客户端相对的硬件服务器，因此可能有各种其它不同。

敲击和图像工作流服务器106的验证模块430是用于验证文档的处理的软件和例程。在一个实施例中，验证模块430是可由处理器402执行来进行下述的文档处理的验证的例程。验证模块430由总线420耦接到处理器402、存储器404和通信单元406。注意验证模块430可独立于敲击和图像工作流服务器106而使用。事实上，其可以运行在计算机108上用于文档的独立验证而无需信任特定的服务器。

敲击和图像工作流服务器106的工作流模块412是用于处理和路由文档或格式化消息的软件和例程。工作流模块412创建文档400或创建格式化的消息。工作流模块412还与日志模块416合作从而创建系统日志（存储在日志模块416、存储器404或数据存储器110中）并根据需要公布或使得该日志可用。工作流模块412还负责将文档或格式化的消息继续路由到下一个位置作为处理工作流的部分。在一个实施例中，计算板202通过提交文档而返回文档或向敲击和图像工作流服务器106发送包括附件的回复电子邮件，且工作流模块412确定路由和下一个工作流步骤。需注意，由工作流模块412创建系统日志的过程可创建缠结的日志，且服务文档不同页面的多个工作流模块412的存在显著地增加了篡改文档而不被发现的难度。例如，工作流服务器106可创建记事本文档，该文档将在会议结束后被发送到所有的会议成员。记事本文档将会被创建为具有包括群组电子邮件地址的“下一个目的地”URL。一旦该记事本由平板提交回工作流服务器106，则工作流服务器106将会将该文档路由到群组的每个成员。

为了方便及便于理解，以下描述工作流内的文档的转发和文档的处理由敲击和图像工作流服务器106的工作流模块412执行；然而，本领域技术人员将认识到可替换地可由计算板202执行相同的操作。可替换地，本领域技术人员将认识到可由分离的服务器而非作为一个集成的服务器来实现文档路由处理和工作流规则。

本领域技术人员将认识到敲击和图像工作流服务器106的工作流模块412可以各种方式确定一旦已经从计算板202接收了文档（由计算板202提交）后如何处理该文档。在一个实施例中，计算板202被配置为与特定的敲击和图像工作流服务器106合作且向该敲击和图像工作流服务器106提交页面；对于该页面，敲击和图像工作流服务器106然后基于预编程的规则确定下一步骤。在一个实施例中，敲击和图像工作流服务器106基于文档自身内存储的元数据确定如何处理该文档。元数据可具体指明（specify）文档的额外处理，如何路由文档以及将其路由到其它哪个计算设备。例如，工作流的一个例子是作为元数据存储的有序的一系列电子邮件地址，其中文档会被传给每个依次的电子邮件地址。还可基于整个文档或基于页面提供元数据。

在另一个实施例中，在文档中或在其中发送文档的电子邮件（格式化的消息）中具体指明工作流。在通过电子邮件接收文档的简单情况中，计算板202向敲击和图像工作流服务器106返回完成的文档。敲击和图像工作流服务器106然后从完成的文档提取元数据，确定工作流中的下一步，并且然后将完成的文档发送给标识为执行工作流中下一步的设备（例如计算机108）。在可选实施例中，计算板202通过电子邮件向敲击和图像工作流服务器106返回完成的文档，且该电子邮件包括该工作流。敲击和图像工作流服务器106从包括该完成的文档的电子邮件确定将在其中发送该完成的文档的下一个电子邮件地址。在可选实施例中，可以取代电子邮件头部或除了电子邮件之外使用HTTP头部。如果正在以支持页面图像、敲击和元数据的方式传输文档，则元数据可以包含工作流指令和状态。此外，在简单的情况下，元数据包括电子邮件地址的列表和工作流的当前步骤。

文档格式

在一个实施例中，文档的基本格式或结构是包括一个或多个文件或目录的目录。该目录中有一系列页面图像以及可选的元数据。元数据可与每个页面独立地关联，和/或元数据可与整个文档相关联。这样的元数据可存储在进一步嵌套的目录中，并且是可选的。在一个实施例中，文档的每个页面存储为图像。由于这样避免了要求计算板202支持广泛范围的文档格式，因此这是特别有利的。向计算板202提供纯粹的图像即不是要求渲染（rendering）的文件，确保了一致性的观看并消除了不能渲染字体或其它图形命令的问题。在一个实施例中，图像为以下文件格式中的一个格式：JPEG、JPEG2000、JPM、PNG、PDF、TIFF或简单的PBM（portablebitmap，便携式位图）文件格式。本领域技术人员将认识到文档目录可以作为标准的ZIP格式档案(archive)传输和存储。

共享相同的字首名称片段的多个页面图像文件被认为是相同质量的文件可替换表示，且呈现模块332可选择最便于其使用的表示。因此，例如，具有如下内容：001.pgm、001.png、002.pgm、002.jpg和5.pgm的目录将产生具有3个页面的文档。第一页面由两个文件之一（001.gpm或001.png）表示。第二页面由002.jpg或002.pgm表示，以及第三页面由5.pgm表示。在一个实施例中，名称的片段被用来具体指明任何图像的分辨率或尺寸，从而允许设备简单地选择图像。例如，可能有图像页面001.600x800.pgm和页面001.cif.pgm，其中600x800或cif（通用中间格式）标识图像的分辨率。

多个图像的每个可包括关联的页面或图像元数据。页面或图像元数据包括敲击数据、其它元数据或日志数据。例如，页面或图像元数据还可包括图片矩形，其标识图像中可嵌入或放置捕获的图像的区域。此外，整个文档包括文档元数据。文档元数据包括文档日志以及其他文档元数据。

用于文档的元数据由目录中存储的文件表示，其与该文档整体或与各个页面相关联。在一个实施例中，元数据目录具有后缀“.d”作为目录名称中最后一对字符。元数据目录中的信息存储在文件或子目录中，其预期具有唯一的名称片段。鼓励组织使用唯一标识符对其命名——例如，传统的Java反向域名方法。元数据目录自身可包括子目录，其内容可根据该目录创建者而排序和定义。通常的方针是，不理解元数据文件或目录内容的应用应该保留该内容而不应改变该内容。因为给定的元数据文件或目录是自包含的，除非元数据的条目包含在相同的目录中，否则元数据的条目之间不应有任何从属关系。元数据的项目或者连接到文档整体，或者特定的页面。

在一个实施例中，文档元数据406是全局元数据并存储在包含一个或多个文件的目录中，名称为“document.d”。该目录被包括在最上层目录。在文档元数据中存储与文档相关联的动作的日志是有利的。在一个实施例中，系统100还存储“原始”（original）文档的版本作为文档元数据。例如，如果从PDF、微软WORD、微软Excel或其它文档形成该文档，则可将原始格式的文档保存在元数据目录中。

在一个实施例中，以与页面图像相同的名称片段命名页面或图像元数据，并且以扩展“.d”结束。例如，如果页面图像被命名为“page.001.jpg”，则页面元数据目录应被命名为“page.001.d”以指示其与该页面相关联。在另一个实施例中，页面或图像元数据包括用于页面元数据目录中每个页面的某种格式的原始图像。例如通过在最上层目录和页面元数据目录两者中存储光栅格式，或首次改变页面图像时可存储原始光栅格式的拷贝，从而一旦创建了该文件就创建了元数据。在其它的实施例中，页面或图像元数据包括日志数据。该日志数据表示应用到元数据目录中每个页面、对于该页面的改变的日志。其它元数据被用于存储与特定页面或图像有关的其它数据。例如，如果图像被添加到页面，则在页面元数据目录中存储这些添加的图像是有用的。因为可能以类似于在纸页面上“加印记”（例如，“接收到”或“已提交”）的理由将图像添加到页面，从而，向任何阅读者提供页面状态的视觉（visual）指示。

方法

现在参照图5-7，更详细地描述本发明的当前实施例的方法。

图5示出根据本发明的当前实施例的自动文档处理方法的一个实施例。该处理开始于敲击和图像工作流服务器106创建和建立与便携式计算设备102a相关联的收件箱502。然后敲击和图像工作流服务器106创建并放置计划要传送给便携式计算设备102a的一个或多个文档504在收件箱502中。例如，文档可以是便携式计算设备102a的用户需要完成并返回的表格，诸如医学信息表格。敲击和图像工作流服务器106将文档504从收件箱502自动传输506到便携式计算设备102a上的对应的收件箱（未示出）。取决于实施例，可在许多不同的时间发生文档的传输：1）一旦文档504被置于收件箱502中；2）一旦便携式计算设备102a被耦接用于与敲击和图像工作流服务器106通信；3）以周期性时间，诸如15分钟的间隔；或者4）上述的各种组合。一旦已经将文档504传输506到便携式计算设备102a，便携式计算设备102a用来注释该文档504和向其添加敲击和其它信息。向文档504添加注释且如线508所示将文档504存储回便携式计算设备102a上。在一个实施例中，添加到文档504的信息和注释被从便携式计算设备102a备份510到备份服务器512。可在与上述的那些类似的时间发生该文档的传输。本领域技术人员将认识到对便携式计算设备102进行该备份注释的步骤可以以诸如每10分钟或更长的定期的间隔执行从而保留便携式计算设备102的电量。然而在另一个实施例中，可由用户设置该备份间隔。一旦用户已经完成了向特定的文档504添加注释且该文档504已经准备好用于提交，用户输入提交指令且注释的文档504从便携式计算设备102a传输514到敲击和图像工作流服务器106。一旦在敲击和图像工作流服务器106接收到注释的文档504，该文档被存储、日志化且确定工作流过程中的下一步。基于文档504下一步应被送到哪里的确定，敲击和图像工作流服务器106向确定的设备（例如，其它的计算机108）传送516该文档。尽管图5示出多个计算机作为计算机108，但是本领域技术人员将认识到计算机108表示能够执行对文档504的额外处理或注释的各种不同的售卖者（vendor）。

由于本发明的当前实施例自动处理表格或文档并且在工作流中推进其的程度（level），因此本发明的当前实施例是特别有利的。上述的图5示出本发明的当前实施例的自动程度，在于表格或文档在工作流中自动推进，且从敲击和图像工作流服务器106发送到便携式计算设备102a-n。一旦表格和文档已经被用户注释，则其被发回敲击和图像工作流服务器106，其中用户仅需要输入单个的“提交”命令或指令。由于其使得便携式计算设备102a足够容易和简单以用于日常的文档处理，因此表格和文档的该自动化程度的处理是特别有利的。此外，本发明的当前实施例是用于向用户提供非常接近地模仿使用笔和纸的体验或互动，因此需要很少或不需要学习曲线。

由于本发明的当前实施例提供一系列很简单且易于使用的用户界面，因此也是有利的。特别地，将在以下描述的用户界面提供了与计算板202交互的两种模式。在第一模式（收件箱模式）中，用户界面（见图8中的800）呈现列出所有可由用户修改、编辑或注释的文档。在该第一模式中，用户限于进行以下三个动作：1）对列出文档的顺序重新排序；2）选出用于编辑的文档；3）创建用于编辑的新文档。在第二模式（文档注释模式）中，呈现显示文档图像的用户界面（见图9中的900）。此外，用户限于进行以下三个动作：1）向文档添加敲击或注释；2）向文档添加图片；3）变换为显示该图像的不同页面或变换回收件箱模式。由于本发明的当前实施例限制用户要求决定的个数，因此是特别有利的。通过仅提供两个界面来在其中与文档交互以及限制在每个模式下可能进行的动作的个数，用户界面是简练地简单且有效的。这使得以很少或不用学习曲线就可以采用该用户界面，从而提供模仿与纸进行交互的用户体验，并集成信息收集与工作流中的自动处理。此外，本发明的当前实施例提供了单个命令工作流路由。

现在参照图8，示出用于收件箱视图或用户界面800的一个实施例。收件箱视图800是包括菜单区域802、显示区域804和导航区域822的窗口。

菜单区域802包括多个按钮806、用于计算板202的标签808和用于计算板202的状态指示符810。按钮806允许用户修改如何在收件箱中列出文档或创建新文档。例如，一个标以“IL”（收件箱列表）的按钮806呈现收件箱中的文档为如图8所示的列表。另一个标以“IT”（收件箱缩略图）的按钮806致使显示区域804示出文档作为每个文档第一页的缩略图图像。标以“ANF”（添加新表格）的第三按钮在以下两者之间切换：图2A的用户界面，其在显示设备206的窗口底部示出可选的可以创建的新文档的模板，以及图8中示出的显示，其中没有允许用户创建新文档的区域。标签808是计算板202的所有者的某种指示，诸如用户的名字。状态指示符810是用于示出计算板202的状态的图标。例如，可示出不同的图标，诸如一系列条形、一系列无线电细条或电池，来分别指示Wi-Fi信号、3G信号（或蓝牙）或电池的状态。

显示区域804包括多个选择按钮812、一系列的列和一系列按钮814、816、818和标签。本发明的当前实施例有利地列出了与收件箱中的电子邮件的表示类似的、每个具有对应的行和一系列的列的文档。每个文档（行）具有对应的选择按钮812。当用户选择选择按钮812时，计算板202从图8的收件箱视图800转换到图9的表格视图900，其中显示出所选的文档。每个行具有四列，一列用于选择按钮812、一列用于表格名称、一列用于文档中的页数，以及最后一列用于文档的状态。靠近显示区域804的顶部区域的区域提供一系列的列标题。在一个实施例中，三个列每个具有选择按钮814、816、818和对应的标签。例如，第二列包括选择按钮814和标签“表格名称”，第三列包括选择按钮816和标签“页”，以及第四列包括选择按钮818和标签“状态”。在一个实施例中，在任何给定的时间三个选择按钮814、816和818中仅一个是可选择的。基于用户的选择，根据选择按钮814、816和818的属性对显示区域804所列和示出的文档进行排序。换言之，根据表格名称、页数或状态，文档列出为排序的。文档的状态是其在工作流中的状态或其查看或编辑的状态。收件箱中任何文档的状态可以是以下一个并且可以提供有视觉上与其状态对应的图标：1）已提交且上传；2）已提交（但没有上传）；3）已编辑；4）已读（但没有被编辑）；以及5）新的（没有打开）。

导航区域822包括用于在页面之间导航的控制和关于正在显示文档的哪个页面的指示符。例如，导航区域包括方形或矩形的滑动条，指示页面在文档中的位置。导航区域822还包括导航到下一页或前一页的一对按钮，在两个按钮之间具有在总页数中第几页的指示。

现在参照图9，示出用于表格视图或用户界面的一个实施例。表格视图900是包括菜单区域802、显示区域902和导航区域822的窗口。表格视图900的菜单区域802类似于上述用于收件箱视图800的菜单区域；然而表格视图900的菜单区域802仅包括从表格视图900转换到收件箱视图800的单个按钮806。表格视图900的导航区域822类似于上述用于收件箱视图800的导航区域，从而这里将不重复描述。

表格视图900的显示区域902被用于显示文档的页面图像。图9示出具有多个区域（诸如用于插入图像的区域904、用于响应于问题填写的区域906，以及用于签名的区域908）的示例表格。在表格视图900的显示期间，用户简单地通过在显示器206上移动手写笔204就可以向任一上述区域904、906和908添加注释。本领域技术人员将认识到可显示许多不同类型的表格或文档，并且这些表格可具有各种不同的页面，包括仅文本或文本与区域904、906和908中的任何区域组合。由于该用户界面允许用户如同纸张时一样在表格视图900中通过注释文档而对其处理，因此其是完全有利的。一旦用户已经完成她对文档的注释，她仅需点击提交按钮214，并且计算板202自动地记录这些注释，存储计算板202的文档、向敲击和图像工作流服务器106转发该文档，并且敲击和图像工作流服务器106在需要时完成对注释的文档的额外处理。例如，在一个实施例中当正在显示表格视图900且用户选择或按下提交按钮214时，计算板202确定当前正在表格视图900中显示的文档，通过为该文档添加已经由计算板202接收的任何敲击或其它输入（其可以已经存储在或没有存储在计算板202上）而创建注释的文档，然后将注释的文档发送到敲击和图像工作流服务器106。在可替换实施例中，计算板202不但确定当前正在表格视图900中显示的文档，还确定正在其中显示的页面，并且仅向敲击和图像工作流服务器106提交该文档的页面。在另一个实施例中，计算板202确定其是否已经接收可以被添加到文档以创建注释的文档的任何敲击输入或其它输入。如果计算板已经接收了某些敲击输入或其它输入，则处理通过创建注释的文档并将其从计算板202发送到敲击和图像服务器106而如上所述地继续。另一方面，如果计算板202还没有接收到敲击输入或其它输入，则计算板202向用户显示错误消息，指示没有在表格视图900中正在显示的文档上进行编辑；并且因此将不会有文档或注释的文档被发给敲击和图像工作流服务器106。在另一个实施例中，计算板202确保已经在接收者所期望的程度上完成了表格视图900中呈现的任何文档。例如，文档可要求在该文档可被提交之前完成文档中所有域（filed）中特定数量的域。在这种情况下，计算板202确定输入数据的数量、长度和其它特征是否足够满足正在表格视图900中呈现的文档的要求。如果满足，则计算板202从必需的输入创建注释的文档，并将该注释的文档发送给敲击和图像工作流服务器。如果不满足，则计算板202显示一个或多个错误消息，指示因为文档的所需要的域未完成，且因此不能（且将不会）提交该文档。该错误消息的范围可从仅一般的错误消息到更具体的错误消息，该更具体的错误消息向用户标识必须完成页的什么域该页才能被提交。本领域的技术人员从以上的描述将认识到，有对不同的执行场景的各种修改，其可在由计算板202执行文档的提交之前由计算板202应用。

现在回过来参照图2A，示出新表格视图734的实施例。新表格视图734类似于上述的收件箱视图800。然而，新表格视图734还包括底部区域750，其包括标签、导航区域和新表格模板区域。在新表格模板区域中为可由用户选择的表格。响应于选择模板区域中表格之一，计算板202创建被选的类型的新表格，并将其添加到由收件箱维护的列表中。图2A示出不具有文档且在用户从模板区域选择表格之前的收件箱。在可替换的实施例中，表格模板的每个缩略图图像可包括靠近该缩略图左上角的复选框。响应于用户选择该复选框，计算板202执行创建并向收件箱添加新文档的步骤。

自动图像捕捉

现在参考图6，描述了根据本发明的当前实施例、用于自动附加捕捉的图像的方法600的第一实施例。方法600开始于用户在表格视图模式下操作，其中计算板202显示602诸如图9中所示的表格视图900中的文档。下面，计算板202接收604“捕捉图像”命令。例如，这可在当用户按下计算板202的第二按钮212时发生。按第二按钮212控制相机218的操作并当被选择时使得相机218捕捉图像。响应于选择该按钮212，计算板202使得相机218捕捉606图像。在图像捕捉的同时或几乎同时，计算板202还记录608与计算板202相关联的任何元数据。例如，元数据包括当日时间、日期、GPS位置、计算板定向、计算板202信息（诸如固件和操作系统的版本）、计算板202的无线通信内的任何其它设备的ID，其它信息或上述的组合。下面，方法600确定610正在由计算板202显示的文档。在一个实施例中，自动捕捉模块328与处理器302和呈现模块322合作从而确定哪个文档正呈现在便携式计算板202的显示器206上。在其它实施例中，确定正在显示的确切的页面。对文档和页面的标识提供了在该处添加任何捕捉的图像和存储记录的元数据的目录位置。最后，方法606向文档添加612捕捉的图像及其相关联的元数据作为注释。如上所提到的，该信息可被添加在确定的目录位置。在第一实施例中，这通过向与文档相同的目录位置添加捕捉的图像，以及向用于该文档的元数据添加新的元数据而进行。在第二实施例中，自动捕捉模块328在文档中创建新页面并且然后将图像添加到该新页面。在该实施例中，元数据也被添加到该新页面。在第三实施例中，每个文档的每个页面具有与其相关联的元数据。与每个页面相关联的该元数据的部分是用于添加图像的一个或多个位置。在该第三实施例中，捕捉的图像被添加在由元数据具体指明的位置。

现在参照图7，描述了根据本发明的当前实施例、用于自动附加捕捉的图像的方法700的第二实施例。对于该方法700，假设用户正在计算板202的显示设备206上显示文档。此外，假设文档可能包括用于至少一个页面的元数据，且该元数据可以具体指明应该放置图像的位置。元数据使用在贯穿本申请所提到的“图片矩形”来具体指明这些位置。图片矩形是x，y坐标的简单对，其表示基本页图像中的、图片数据应并入到表格中的矩形区域。可替换地，“图片矩形”可表示基本页图像的任何像素区域。其可被具体指明为基本页图像中特定颜色值的所有像素。本领域技术人员将认识到即使使用了术语矩形，可使用很多几何方式（诸如多边形、样条（spline）、二维运行阵列（run-array）、掩膜通道位图或本领域中公知的许多其它方法）来具体指明页面的这样的目的地区域。以下将参照图10描述使用图片矩形的更具体的示例。

方法700开始于计算板202接收702捕捉的图像命令以及使用相机218捕捉图像。下面，方法700确定正在显示的文档的页面以及确定704是否有用于当前页面的任何图片矩形。在一个实施例中，从该当前页面的元数据读取用于当前页面的图片矩形的列表，用于做出该决定。下面，该方法确定706是否至少存在用于该页面的至少一个图片矩形。如果不存在，则该方法从捕捉的图像中创建新页面，并然后在计算板202的显示设备206上显示710该新页面。此后，该方法完成且结束。

另一方面，如果存在用于当前页面的至少一个图片矩形，则方法700从步骤706转换到步骤712。在步骤712，方法700确定用户是否已经选择了图片矩形。在一个实施例中，用户可以在计算板202上正在显示的页面上添加敲击注释从而选择图片矩形。通过对于图片矩形向选择框添加敲击，有效地向计算板202标识出用户想在哪里添加该捕捉的图像。如果用户已经选择了图片矩形，方法700通过在显示的页面将捕捉的图像插入718到当前的文档中取代图片矩形而继续。一旦已经将捕捉的图像插入到该文档中，该方法继续到步骤716。

如果用户没有选择图片矩形，则方法700从步骤712到步骤714继续。在步骤714，方法700对于页面标识出第一未填充的图片矩形，并将捕捉的图像插入当前文档的页面取代标识出的未填充图片矩形。方法700继续以确定是否设置了如下的标记，其具体指明自动的捕捉应该既存储图像取代图片矩形，以及还添加新页面并将该图像保存到该新页面。如果没有设置“还保存为页面”标记，则方法700完成且结束。然而，如果已经设置了“还保存为页面”标记，则方法700继续以从捕捉的图像创建720新页面并将其存储。该图像是插入到图片矩形中的图像数据的全分辨率拷贝，并且可标记有元数据，该元数据将其程序地（programmatically）约束到特定的所选图片矩形。在已经存储了捕捉的图像后，方法700完成且结束。

现在参照图10，将描述用于自动附加捕捉的图像的方法100的第三实施例。图10示出流程图，其示出计算板202与用户以及由由呈现模块322与自动捕捉模块328合作产生的用户界面之间的互动。方法100开始于计算板202在表格视图900中显示示例文档。如已经在以上参照图9所描述的，表格视图900包括菜单区域802、显示区域804和导航区域822。为了简明和便于理解，菜单区域802和导航区域822在图10中以简单的框示出。然而，应理解菜单区域802和导航区域822可以呈现信息并且具有类似的按钮以提供如以上已经参照图8描述的功能。

回到图10，在表格视图900的显示区域804中示出示例文档。示例文档包括一对图片矩形1020。这些图片矩形1020是已经由文档的创建者指定为用户插入捕捉的图像的可能插入点的区域。每个图片矩形1020还包括各自的选择复选框1022。选择复选框1022是可通过使用手写笔204在选择复选框上放置敲击而选择的区域。尽管表格视图900中示出的示例文档具有两个图片矩形1020，但是本领域技术人员将认识到特定的文档可具有从零到单个页面上允许的最大数目（在特定实施例中为100个）的任意数目的图片矩形。

表格视图900显示示例文档，并且计算板202允许敲击注释被添加到示例文档。敲击注释可被添加到任何划线的（lined）区域，并且甚至有标记为要求或请求用于该特定表格的签名的区域。如果用户使用手写笔204来在复选框1022上添加勾形符号（checkmark）敲击，则敲击捕捉模块208捕捉敲击输入并将其发送到自动捕捉模块328。然后自动捕捉模块328将显示从表格视图900转换或更新1002到表格视图1050。

在表格视图1050中，围绕图片矩形1024的框被以视觉上有区别的方式示出为加粗或高亮的。复选框1026也被更新以示出勾形符号。因此表格视图1050向用户提供当图像被捕获时将向哪里插入图片的视觉反馈。在转换1002到表格视图1050后，自动捕捉模块328还激活输出设备220（例如，OLED）。激活的输出设备220示出当前正由相机218捕获的人的图像1028，如可以通过比较表格90241050看到的。复选框中的勾形符号1026还向用户指示计算板202特别是输出设备220被激活，并且已经准备好捕捉图像。

一旦用户按下第二按钮212，计算板202做出响应而用相机218捕捉图像。自动捕捉模块328处理该捕捉的图像并将其存储为该文档的部分。自动捕捉模块328还更新1004显示器206从而示出表格视图1052。在表格视图1052中，第二图片矩形1030已被更新以显示捕捉的图像。该第二图片矩形1030还包括新的、未被选中的复选框。由于在查看表格（表格视图900）时，用户仅需在第二图片矩形上添加敲击且表格视图（表格视图1050）被更新，输出设备220被激活且然后简单地通过按下第二按钮212就捕捉了图像且显示在第二矩形1030（表格视图1052）中，因此本发明的当前实施例是特别有利的。本发明的当前实施例有利地自动识别在其中正捕捉图像的上下文并将捕捉的图像添加到正在显示的文档中。

如上所提到的，在表格视图1052中，第二矩形1030包括未选中的复选框。如果用户在复选框上添加勾形符号，则计算板202将显示器206从表格视图1052转换1006到表格视图1054。表格视图1054呈现指令框1032，其包括每个对应于不同的命令的多个复选框。例如，不同的命令包括重拍图片、删除图片、移动图片或取消全部操作。用户可在任意的复选框上添加敲击，并且计算板202会转换到表格视图900、表格视图1050或表格视图1052以及执行其它的动作从而将文档修改为与这些视图对应的状态。如果用户在与重拍命令对应的复选框上输入敲击，则计算板202从表格视图1054转换1010回到表格视图1050，删除已有的捕捉的图像，并且计算板202准备好捕捉另一图像（重拍图片）。如果用户在与删除命令对应的复选框上输入敲击，则计算板202从表格视图1054转换1012到表格视图900，删除已有的捕捉的图像并且该表格被重置为图像捕捉处理开始之前的该表格的原始状态。如果用户在与取消命令对应的复选框上输入敲击，则计算板202从表格视图1054转换1008到表格视图1052，且计算板202保留捕捉的图像。如果用户在与移动命令对应的复选框上输入敲击，则计算板202会高亮所有其他目的地图片矩形，并且等待来自用户的敲击输入。如果该敲击输入来源在目的地图片矩形之一内，则图像将被从其当前的位置处移除并取代新选的图片矩形。例如，移动会示出类似于表格视图1052的界面，但是其中图片矩形1034是被高亮的。如果用户在图片矩形1034中输入敲击，计算板202会将图片从图片矩形1030移到图片矩形1034。本领域技术人员将认识到尽管图10中只示出两个图片矩形1030和1034，但是其它实施例可具有任意数目的图片矩形，因此可以高亮很多其它图片矩形且图像可被移到那些矩形中的任一个。在可替换的实施例中，可响应于在多个图片矩形上的敲击输入将图片从单个位置移动到多个位置处。在另一个实施例中，图像可取代已有的图像放置，并且已有的图像被删除。

现参照图11，将描述用于自动附加捕捉的图像的方法1100的第四实施例。图11示出流程图，其示出计算板202与用户以及由呈现模块322与自动捕捉模块328合作产生的用户界面之间的互动。以下参照11描述的处理示出本发明的当前实施例的实施例，其中将任何捕捉的图像作为新页面添加。方法1100开始于计算板202在表格视图900中显示示例文档。在该例中，显示的文档没有任何图片矩形。响应于用户按下相机按钮212，计算板202将显示器206从表格视图900转换1102到表格视图1150。在表格视图1150中，显示区域804示出具有相机图标、消息“增加新页面”以及复选框1130的空白页1120。计算板202还激活输出设备220设备从而示出当前正由相机218捕捉的图像1122。由于计算板202通过仅在相机218和输出设备220使用时激活相机和输出设备从而保持了使用的电量，因此这是特别有利的。

当显示表格视图1150且用户在复选框1130上添加敲击时，计算板202转换1112显示器206从而显示表格视图1154。在复选框上添加敲击的行为向计算板202指示用户想要取消捕捉图像的操作。在表格视图1154中，计算板202显示指令框1128。在一个实施例中，指令框1128包括删除指令、取消指令和相关联的复选框。如果用户在与删除指令相关联的复选框添加敲击，则计算板202改变1116显示器206从而示出具有用户刚好在转换1102之前正在查看的文档的表格视图900。另一方面，如果用户在与取消指令相关联的复选框上添加敲击，则计算板202改变1114显示器206从而返回到表格视图1150。

当显示表格视图1150且用户按下相机按钮212时，计算板202将显示器206从表格视图1150改变到表格视图1152。计算板202还捕捉图像1124，并且该图像1124显示在用户界面1152的显示区域804中。显示区域804还包括允许导航和其它动作的复选框1132。如果用户在复选框1132上添加勾选符号，则计算板202改变1106显示区域804以显示表格视图1156。表格视图1156包括指令框1126。指令框1126包括多个指令和相关联的复选框。例如，图11的指令框1126包括四个指令：重拍、删除、移动和取消；以及四个对应的复选框。如果用户在与重拍指令相关联的复选框上输入敲击，则计算板202转换1118显示器206以示出表格视图1150。如果用户在与取消指令相关联的复选框上输入敲击，则计算板转换1108显示器以示出表格视图1152。如果用户在与删除指令相关联的复选框上输入敲击，则计算板202将显示器206改变回表格视图900。

当示出表格视图1152时，用户还可按下相机按钮212，这使得计算板202改变1110显示器206从而示出表格视图1150，因此添加允许用户捕捉额外的图片的额外的页面。此外，当由计算板202显示表格视图1152时，由用户对按钮216选择从而移动到前一页或下一页会使得计算板202将显示器从表格视图1152改变到表格视图900。以这种方式使用按钮216，用户能够查看并确定捕捉的图像相对于文档已有的页面所位于的准确页。

已经出于说明和描述的目的呈现了对本发明当前实施例的实施例的以上描述。其不旨在为穷尽的或将本发明的当前实施例限制于所公开的准确的形式。根据上述教导，许多修改和变化是可能的。旨在本发明当前实施例的范围不由此具体描述所限制，而是由本申请的权利要求所限定。正如会由熟悉本领域的技术人员所理解的，本发明的当前实施例可在不偏离其主旨或本质特性的情况下实施为其它特别的形式。同样地，模块的特定命名和划分、例程、特征、属性、方法学和其它方面并不是强制或有重大意义的，且实现本发明的当前实施例或其特征的机制可以具有不同的名称、划分和/或格式。此外，如对相关领域的普通技术人员显而易见的，本发明的当前实施例的模块、例程、特征、属性、方法学和其它方面可以实现为软件、硬件、固件或这三者的任意组合。另外，无论本发明的当前实施例的部件（其例子为模块）被以软件实现，该部件可实现为：单独的程序、更大程序的部分，多个单独的程序、静态或动态链接的库、内核可下载的模块、设备驱动器和/或以现在或将来被计算机编程领域的普通技术人员所熟知的每个或任何其它方式。此外，本发明的当前实施例决不限于以任何特定的编程语言来实现，或用于任何特定的操作系统或环境。因此，本发明的当前实施例的公开旨在是说明而非限制性的，其在由以下权利要求中所阐述的范围之内。

本申请是基于且要求于2010年6月29日提交的美国专利申请No.12/826/578的优先权的权益。

Claims (11)

1.一种用于向文档自动附加图像的方法，该方法包括：

接收捕捉图像命令；

捕捉图像；

确定正在由计算设备显示的文档以及所述文档中的包括文本的页面；

确定与文档的每个页面相关联的页面元数据；

向所述文档中的所述包括文本的页面上的位置添加捕捉的图像作为注释，所述位置至少部分地基于所述页面元数据而确定；

基于所述页面元数据确定是否有用于所述页面的任何图片矩形；以及

响应于没有用于所述页面的任何图片矩形，在所述文档中创建新页面，并向所述文档的所述新页面添加所述捕捉的图像。

2.根据权利要求1所述的方法，还包括：

记录包括以下的至少一个的计算设备元数据：当日时间、日期、位置、计算设备定向、计算设备信息；以及

向所述页面元数据添加所述计算设备元数据。

3.根据权利要求2所述的方法，其中添加捕捉的图像包括向与所述文档相同的目录位置添加所述捕获的图像以及向文档元数据添加所述计算设备元数据。

4.根据权利要求2所述的方法，其中添加所述捕捉的图像包括：

在所述文档中创建新页面；以及

向所述文档的所述新页面添加所述捕捉的图像。

5.根据权利要求1的方法，还包括：

确定所述计算设备上正在显示的文档的页面；

确定与该文档的页面相关联的页面元数据；

基于所述页面元数据确定是否有用于所述页面的图片矩形；以及

响应于有用于所述页面的至少一个图片矩形，向所述页面添加所述捕捉的图像而取代所述图片矩形。

6.根据权利要求5所述的方法，还包括：

确定是否已经选择了图片矩形；

响应于选择了图片矩形，用所述捕捉的图像取代所述选择的图片矩形。

7.根据权利要求5所述的方法，还包括：

确定是否已经选择了图片矩形；

响应于没有选择图片矩形，确定第一未填充的图片矩形，并用所述捕捉的图像取代所述第一未填充的图片矩形。

8.一种用于向文档自动附加图像的装置，所述装置包括：

具有输入和输出的相机，所述相机捕捉图像；

具有输入的显示设备，所述显示设备显示图像；

具有输入和输出的敲击捕捉设备，所述敲击捕捉设备接受敲击并产生表示所述敲击的信号；

具有输入和输出的呈现模块，所述呈现模块产生并呈现用于显示文档的用户界面以及用于示出向文档附加捕捉的图像的状态的自动捕捉界面；以及

具有输入和输出的自动捕捉模块，所述自动捕捉模块响应于捕捉图像命令自动地捕捉图像，确定正在由计算设备显示的文档以及所述文档中的包括文本的页面，确定与文档的每个页面相关联的页面元数据，并向所述文档中的所述包括文本的页面上的位置添加捕捉的图像作为注释，所述位置至少部分地基于所述页面元数据而确定，所述自动捕捉模块还基于所述页面元数据确定是否有用于所述页面的任何图片矩形，并响应于没有用于所述页面的任何图片矩形，在所述文档中创建新页面，并向所述文档的所述新页面添加所述捕捉的图像；以及

具有输入和输出的处理器，耦接到所述相机的输出，以及所述显示设备、所述敲击捕捉设备、所述呈现模块和所述自动捕捉设备的输入，所述处理器接收文档，显示所述文档的页面的图像，存储由所述敲击捕捉设备捕捉的敲击并与所述自动捕捉模块合作从而向文档自动地附加捕捉的图像。

9.根据权利要求8所述的装置，其中所述自动捕捉模块对图像捕捉命令有响应，并且作为响应创建文档的新页面。

10.根据权利要求8所述的装置，其中所述自动捕捉模块对敲击输入有响应，并且响应于所述敲击输入，以视觉上明显不同的方式显示图片矩形从而指示捕捉的图像将被插入哪里。

11.根据权利要求8所述的装置，其中所述自动捕捉模块对敲击输入有响应，并且响应于所述敲击输入，显示具有多个命令和关联的复选框的指令框。