CN110168540A - 在电子显示器上捕获注释 - Google Patents

Abstract

本发明描述了一种系统，其包括电子显示装置，注释捕获模块和摄像机。注释捕获模块被配置为响应于捕获触发而触发在电子显示装置上显示的图像的改变，并且摄像机被配置为响应于捕获触发和/或从注释捕获模块接收的触发，来捕获电子显示装置的一个或多个图像。注释捕获模块还被布置为通过分析由摄像机捕获的电子显示装置的图像，来识别用户在电子显示装置上做出的任何手动注释，其中图像中的至少一个图像在显示的图像改变之后被捕获。

Description

在电子显示器上捕获注释

背景技术

文档或绘图的手写注释是非常自然的动作，并且即使在使用键盘输入的一些软件应用中可以在屏幕上注释，并且在使用由平板电脑感测的特殊笔的一些平板计算装置上，许多人仍然选择手写注释纸张打印输出，因为它们重量轻，成本低，易于携带和传递给他人。然而，人们面临着将手注释合并回电子版文档的困难。

以下描述的实施例不限于解决已知的手写注释方法的任何或所有缺点的实施方式。

发明内容

以下呈现了本公开的简化概述，以便向读者提供基本的理解。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。其唯一目的是以简化形式呈现本文公开的一些概念，作为稍后呈现的更详细描述的序言。

本发明描述了一种系统，其包括电子显示装置，注释捕获模块和摄像机。注释捕获模块被配置为响应于捕获触发而触发在电子显示装置上显示的图像的改变，并且摄像机被配置为响应于捕获触发和/或从注释捕获模块接收的触发来捕获电子显示装置的一个或多个图像。注释捕获模块还被布置为，通过分析由摄像机捕获的电子显示装置的图像，来识别用户在电子显示装置上做出的任何手动注释，其中图像中的至少一个图像在显示的图像的改变之后被捕获。

通过参考结合附图考虑的以下详细描述，将更容易理解许多伴随特征，因为这些特征将变得更好理解。

附图说明

从以下根据附图阅读的详细描述中将更好地理解本说明书，其中：

图1是用于捕获电子显示器上的墨水注释的示例系统的示意图；

图2是示出图1所示系统中的注释捕获模块的第一示例操作方法的流程图；

图3是示出图1所示系统中的注释捕获模块的第二示例操作方法的流程图；

图4是示出混合白板的示意图，该混合白板包括设置在较大表面内的电子显示装置；和

图5是示出在电子显示装置上电子呈现的日历上的手动注释的示意图。

在附图中，相同的附图标记用于表示相同的部件。

具体实施方式

以下结合附图提供的详细描述旨在作为本示例的描述，而不旨在表示构造或利用本示例的唯一形式。该描述阐述了示例的功能和用于构造和操作示例的操作序列。然而，可以通过不同的示例来实现相同或等同的功能和序列。

如上所述，尽管技术可用于允许人们在屏幕上注释文档的电子副本(例如，使用键盘输入或由显示器感测的特殊笔)，但是许多人仍然喜欢手动注释(即，手使用钢笔/铅笔的注释)印刷版文件。该手动(或手写)注释可以称为“着墨”。这种对手动注释的偏好有很多原因，这些原因包括注释过程的简易性，即用户只需拿起笔并注释而无需在软件应用程序中学习或运行特殊软件或特殊工具。此外，纸张打印输出本身很轻，便于携带，不需要电源。这使得手写注释可以在任何时间容易地执行(例如，无论是在家中还是办公室，或者远离家庭或办公室)。

电子纸显示器(也可以称为持久显示器)共享纸张打印输出的许多品质，因为它们可以重量轻，易于携带并且不需要电源来显示图像(只更改显示的图像)。然而，虽然可以将电子纸显示器与传感阵列集成以使用特殊(例如，有源)笔在电子纸显示器上着墨，但这大大增加了设备的尺寸和重量，可能在功能上受限。(例如，与人手可用笔和/或行程厚度可获得的分辨率相比，在分辨率方面受到限制)并且需要电源。此外，由于电子纸显示器的刷新速度相对较慢(例如与发光显示器相比)，在进行笔划的用户与出现在电子纸显示器上的相应标记之间存在可见的延迟。这导致糟糕的用户体验。

这里描述的是用于捕获电子显示器上的临时手动注释的系统，即，由用户使用可擦除的墨水笔，例如干擦马克笔(或可以被擦除或擦掉的其他被动标记工具，如蜡笔或彩绘笔)在电子显示器的表面手动绘制的注释，或用墨水笔(或其他被动式标记工具，如蜡笔或彩绘笔)画在便签(或其他可移动的笔记本)上的注释，并且然后将便签附在电子显示器的表面上。使用摄像机捕获墨水注释(其在许多示例中不能被电子显示器检测到)并且如下面更详细描述的那样，响应于捕获触发(例如，用户输入)捕获一个或多个图像或视频序列。可以在摄像机，电子显示器或另一计算装置上运行的软件响应于捕获触发(例如，在捕获图像之前)改变在电子显示器上显示的图像，并且这改善了注释捕获过程的质量。作为使用摄像机的结果，并且在一些实施方式中，响应于捕获触发对图像进行改变，可以以高分辨率(例如，以与可通过持笔的人手实现的分辨率相当的分辨率)捕获墨水注释，并且可以区分不同颜色的笔和/或可以识别和捕获不同厚度的标记。

在使用摄像机104捕获一个或多个图像(其中至少一个图像在显示的图像已被改变之后被捕获)之后，可以处理捕获的图像以提取注释，并且注释可以自己存储和/或它们可以被合并到在进行注释时显示的任何内容中，并且可以存储内容和注释的组合。然后可以将注释的内容显示在电子显示装置上，这允许用户擦除它们的临时墨水并保留本地和文档的电子版本中的注释。在各种示例中，如果文档被显示在多于一个位置(例如，在两个以上的显示器上，其中两个显示器可以在地理上分开)，无论是同步还是异步，这具有使得注释行具有远程动作的效果。

术语“电子纸”在本文中用于指代反射光(如纸)而不是像传统LCD显示器那样发光的显示技术。由于它们是反射性的，电子纸显示器不需要大量功率来维持显示器上的图像，因此可以描述为持久显示器。多稳态显示器是电子纸显示器的示例。在一些显示装置中，电子纸显示器可以与光发生装置一起使用，以便当环境光水平太低时(例如，当天黑时)，用户能够更容易地读取显示器。在这样的示例中，光发生装置用于照亮电子纸显示器以改善其可视性而不是图像显示机构的一部分，并且电子纸不需要发光以便起作用。

术语“多稳态显示器”在本文中用于描述包括可在两个或更多个稳定状态(例如，黑色状态和白色状态和/或一系列灰色或彩色状态)之间移动的像素的显示器。因此，包括具有两个稳定状态的像素的双稳态显示器是多稳态显示器的示例。多功能显示器在通电时可以更新，但在未通电时可以保持静态图像，因此可以在很短或没有外部电源的情况下长时间显示静态图像。因此，多稳态显示器也可以称为“持久显示”或“持久稳定”显示。在下面描述的示例中，显示装置包括电泳墨水层，该电泳墨水层是可以通过施加电场来改变(或控制)的多稳态层的示例。这是作为示例描述的，并且电泳墨水层可替代地由不同的多稳态层代替，例如胆甾型液晶层或双稳态电润湿显示层，其使用经由在图层的面上的电极施加的电场或电流来控制。

图1是用于在电子显示器上捕获手动注释的示例系统的示意图。系统100包括电子显示装置102，摄像机104和注释捕获模块106。在一些示例中，注释捕获模块106(其可以用如图1所示的软件或硬件，或者硬件和软件组合实现)可以在单独的装置中实现，例如图1所示的计算装置110。在其他示例中，注释捕获模块106和摄像机104可以集成到同一装置中，如虚线轮廓112所示，并且该装置112例如可以是便携式计算装置(诸如智能电话或平板电脑，其包括发射或电子纸显示器)或固定装置(例如用于或其他协作工作解决方案的集线器设备)。在进一步的示例中，注释捕获模块106和电子显示装置102可以集成到同一装置中，如虚线轮廓114所示(例如，具有集成电子显示装置的桌面)。

电子显示装置102可以包括发光显示器或电子纸显示器，并且可以具有任何尺寸(例如小型和便携式到大型固定安装，例如白板或壁式电子显示装置)。在电子显示装置102包括电子纸显示器的示例中，不需要电力来维持显示器上的图像，而是仅需要电力来改变该图像。这可以使电子显示装置102比发光显示器更轻和更薄，并且在各种示例中，电子显示装置102可以是柔性的。电子纸显示器的使用也可以比发光显示器更具可扩展性(例如，显示器延伸穿过房间的整个墙壁)，因为功率要求小于发光显示器，不需要背光，区域可以迭代地更新并且没有必要实现超高速度来更新显示器。摄像机104可以在可见波长下运行和/或可以在红外线下运行(例如，它可以包括红外闪光灯和响应于红外波长的光电探测器)。如上所述，摄像机104可以是独立装置，或者可以集成到诸如智能电话，平板电脑，游戏机等的计算装置中。

注释捕获模块106(或其中包含注释捕获模块106的装置)被布置为与至少摄像机104通信并且在各种示例中与电子显示器102和摄像机104两者通信，尽管注释捕获模块106可以通过具有不同特征的链路与电子显示器102和摄像机104通信(例如，与电子显示器102的通信可以使用任何低带宽机制，而与摄像机104的通信具有足够的带宽将捕获的图像从摄像机104传输到注释捕获模块106)。可以参考图2和图3描述注释捕获模块106的运行。

该方法从接收到捕获触发信号开始(框202)，其中该信号可响应于用户输入(例如，用户按下电子显示器102上的，摄像机104或在计算装置110上运行的应用程序中的捕获按钮)生成或者可以由检测到手动注释已经完成的软件(例如，在摄像机104或计算装置110中运行的计算机视觉软件或在电子显示装置102中运行的感测软件)生成。

如在图2和3中所示，响应于接收到捕获触发信号(在框202中)，注释捕获模块106触发在电子显示装置上显示的图像的改变(框206)，例如，通过触发向电子显示装置102发送更新的显示数据。有许多方式可以响应该触发来改变图像，下面描述了各种示例。在触发显示装置上显示的图像的改变之后(在框206中)，注释捕获模块106触发摄像机捕获一个或多个图像(框208)。在各种示例中，注释捕获模块106可以重复地触发在电子显示装置102上显示的内容的改变，随后触发摄像机104的图像捕获(如图3中的框208到框206的虚线箭头所示)。在其他示例中，触发的图像的改变(在框206中)可以是图像的改变序列，即，单个触发，其导致对所显示图像的更新序列(例如，擦除到黑色，擦除到白色，恢复所显示的原始内容)并且摄像机104可以根据单个触发(在框208中)或多个触发(例如在框208的重复实例中)捕获图像序列。还如图3所示，在一些示例中，可以在触发所显示的图像的改变之前(在框206中)触发摄像机104以捕获图像(框204)。

在触发摄像机捕获一个或多个图像之后(在框208中并且可选地在框204中)，通过注释捕获模块106或通过单独的注释处理模块(未在图1中示出)接收这些捕获的图像(框210)。通过注释捕获模块106，通过例如，使用计算机视觉技术(例如3D旋转)分析图像并且随后通过后处理删除背景(例如，从捕获的图像中减去已知内容)，从接收的图像(框212)提取注释。如图1所示。如图3所示，然后可以存储提取的注释(框214)。

通过分析所接收的图像来提取注释(在框212中)可以包括以下中的一个或多个：

·校正电子显示装置102相对于摄像机104的姿势角(例如3D旋转)

·使用显示参考图像(或完全黑/白显示)的电子显示装置102的存储的参考图像估计照明条件，其中，响应于框206中的触发，电子显示装置102显示参考图像

·校正照明条件，例如阴影，昏暗或明亮的条件等(可以使用上述方法或任何其他方法估算照明条件)

·估算和减去背景内容(例如，生成仅显示注释的图像)

·使用多角度消除反射(例如，使用单个可移动摄像头或多个摄像头)

·从像素图像中提取基于矢量的图像数据

如上所述，注释可以与(在框202中)接收到捕获触发时在显示装置102上显示的任何内容分开存储和/或注释可以组合到在接收到原始触发时(在框202中)显示的内容中，例如，生成新版本的内容，并且可以存储更新的内容(在框214中)。

由注释捕获模块106捕获(在由摄像机捕获的图像中)并且由注释捕获模块106提取的注释(在框212中)是由用户在电子显示装置102上进行的临时(即，可移除)手动注释。如上所述，这些注释可以由用户使用可擦除墨水笔(例如干擦马克笔)或其他被动标记工具手动施加到电子显示装置102的表面，所述可擦除墨水笔可以擦除或以其他方式从电子显示装置102的表面擦除，例如蜡笔，彩绘笔，墨水印章等。注释可以直接绘制或压印在电子显示器的表面上，或者可以被绘制在一张纸(例如粘签)或贴纸上，然后贴在电子显示器便签的表面上。捕获的注释可从电子显示器102的表面移除，例如，通过擦除注释(例如，通过擦掉墨水，蜡或其他标记介质)或剥离已经粘附到电子显示器102的表面的纸张。

在各种示例中，标记介质(例如墨水或蜡)可以反射到人类可见光谱之外的光，例如红外(IR)波长范围内，以不同于电子显示装置的下面结构(例如，下面的结构可能不反射所使用的不可见光谱的一部分)。通过使用具有闪光灯的摄像机104，该闪光灯至少包含在非可见光谱(例如IR)的部分中的光并且可以检测相同波长的光(即，由闪光灯发射的部分不可见光谱)，可以在与电子显示装置102上显示的内容分开的图像中捕获注释，该内容不以相同的方式反射不可见光。以这种方式，可以清楚地将注释与所显示的内容区分开，而不需要显著的图像处理。

在各种示例中，不能由电子显示装置102检测由注释捕获模块106捕获和提取的注释。在其他示例中，电子显示装置102可能能够检测到已经进行了注释(例如，电子显示装置102包括触敏显示器)；然而，这里描述的方法可以使得能够以比触敏显示器更高的分辨率捕获注释。

在各种示例中，由注释捕获模块106捕获和提取的注释可以延伸到电子显示装置102的边缘之外。例如，这可以为用户提供比在电子显示装置上可提供的用于注释的更大的区域(例如，特别是在显示的内容很少或没有注释空间的情况下)，同时仍然使用户能够将注释链接到所显示的内容。图4中示出了示例布置，在图4中，电子显示装置102定位在较大表面中或上(例如，使得电子显示器102的正面与周围表面402齐平)。在所示的示例中，注释404从电子显示器102的表面延伸到周围表面402上。

在电子显示装置102上显示的图像(也可以称为内容)的改变(如在框206中触发的)改进了注释提取过程(在框212中)。在各种示例中，图像的改变可以提高注释提取的准确度(或质量)，降低执行注释提取所需的计算能力，识别电子显示装置(例如，在视野内存在多个显示器的地方)和/或帮助识别当前正在电子显示设备102上显示的内容。取决于所做的改变，图像的改变还可以提供用户反馈(例如，使得用户可以识别正在捕获显示器上的注释，并且因此可以随后擦除)。

如上所述，存在许多不同的方式，其中可以在触发图像的捕获之前改变所显示的图像。可以通过改变一个或多个像素的颜色和/或改变显示器的前灯和/或背光来实现改变。可能做出的更改示例包括：

·删除显示的图像，例如使得在随后捕获的图像中(如框208中所触发的)，注释是可见的，与在进行注释时显示的任何内容分开

·改变将显示到完全是单色的(例如黑色，白色或其他颜色的)屏幕上的图像，例如，使得注释可以更清楚地与显示器上的捕获图像和/或阴影区分开，和/或区分以不同颜色制成的注释

·添加识别功能，例如以字母数字ID，条形码或QR码，bokode(可以响应于触发信号而被照亮)等的形式，其中该特征可以是人类可见的或者可以是不可见的或者可以是仅对人类有意义的(例如隐写特征)。识别特征可以识别在接收到原始触发时显示的内容(在框202中)或者可以识别电子显示装置102(例如，这可以用于识别内容，在摄像机104的视野中有多个显示器时在显示器时对显示器进行区分)。

·添加身份验证功能，例如可以用于以下中的一个或多个：验证注释是否被允许；将注释的所有权分配给捕获它们的用户的用户ID；使得能够随后更新显示在显示装置上的内容；和/或访问在接收到捕获触发时显示在显示装置上的内容等。

·添加校准或对准特征，例如以棋盘形或同心环的形式，可以确定电子显示装置102的姿势，并且这在显示器是柔性的情况下特别有用。当处理捕获的图像以提取注释时(在框212中)，可以使用校准/对准特征来校正电子显示装置102相对于摄像机104的姿势。

·闪烁一个或多个像素或以其他方式添加特征以识别要捕获的显示，例如，在摄像机视野中有多个显示器

·照亮感兴趣的区域以引导摄像机并获得更高分辨率的图像

尽管上面的示例是单独列出的，但是对显示的内容的改变可以包含这些示例中的多于一个(例如，可以显示标识和校准特征)。

如上所述，可以触发对所显示图像的多个改变(例如，在框206的单个实例中或在框206的多个实例中)。例如，可以通过将显示器设置为完全白色然后将显示器设置为完全黑色(或者设置为黑色然后是白色)来擦除显示的内容，然后再次恢复显示的内容。由摄像机捕获的针对黑/白背景的图像将仅包括注释，并且取决于所使用的标记介质的颜色，注释可以针对黑色和白色背景之一更清晰可见。在电子显示装置102是彩色显示器的情况下，它可以循环通过一系列颜色(例如，通过一系列用于标记介质的常用颜色，例如红色，绿色，蓝色和黑色)，以使得不同颜色的注释能够被清晰地相互区别。在另一示例中，可以擦除所显示的内容(以使得能够捕获没有背景内容的注释)，然后可以显示识别特征以使得能够识别背景内容(由用户注释)。

在各种示例中，在由摄像机捕获图像之后(例如，在图3中的框210之前或与之并行)，可以始终恢复所显示的内容。

已经接收到捕获的图像(在框210中)，通过分析图像(例如，图像)从接收的图像中提取注释。使用图像处理技术，然后可以存储所提取的图像(在框214中)。在注释具有不同颜色的示例中(例如，使用不同颜色的墨水和/或不同颜色的便笺)，可以分别提取和存储注释。例如，如果注释部分为红色墨水并且部分为蓝色墨水，则红色注释可以与蓝色注释分开存储。或者，可以将不同颜色的注释一起存储(例如，与在触发捕获时显示的内容一起)，并且可以标记(或以其他方式标记)它们以指示它们以不同颜色书写。

在各种示例中，注释的存储包括将它们添加到在触发捕获时显示的内容中。如图3所示，这可以包括识别在触发捕获时显示的内容(框216)，访问该内容(框218)，将注释添加到所识别的内容(框220)并且将存储具有添加的注释的更新的内容(框222)。可以基于来自捕获图像的一个或多个特征来识别(在框216中)内容。在各种示例中，响应于改变所显示的图像的触发，可以将这些特征添加到显示的内容中(在框206中)，并且在其他示例中，可以始终显示特征。在其他示例中，可以使用模式匹配(例如，在显示的内容的图像和一组存储的文档之间)来识别文档。在其他示例中，可以以另一种方式识别内容，例如，基于具有计算装置110的电子显示装置102无线共享的标识符。可以从计算装置110中的本地数据存储器116访问所识别的内容(在框218中)，或者该内容也可以从远程数据存储器(例如，来自云服务或远程数据中心)访问。

在将注释添加到所识别的内容的示例中(在框220中)，可以以确切形式添加注释，注释以该形式被捕获或者可以在添加之前被处理。例如，光学字符识别(OCR)可用于将手写注释转换为可添加到电子文档中的文本。在另一示例中，在将手写注释添加到所识别的内容(例如，用于校正手写)之前，可以减小手写注释的大小或以其他方式修改(不执行OCR)。例如，注释的处理可以使注释更大，更清晰，更容易阅读，更容易共享等。在一段时间内进行多个注释和/或以不同颜色书写的示例中，分开的注释可以被标记，以使得能够生成注释的时间线(例如，使得用户可以回滚并重放注释)。还应当理解，在注释被单独存储并且未被添加到所识别的内容的示例中，可以以类似的方式处理注释。

图5中示出了示例应用。图5示出了在电子显示装置102上显示的日历404。用户可以直接在显示器上以手写注释406，407的形式向日历添加条目(例如，在相关日406或周边407的周围的指示注释与哪一天相关的箭头或类似物)或便笺408(其上带有手写注释)。

在将注释添加到所识别的内容中的示例中，该方法还可以包括在电子显示装置102上呈现更新的内容(框224)。注释也可以在显示器上与任何内容分开地电子呈现，例如有助于协同工作，例如，使得注释可以被更清楚地看到。在电子呈现的另外的示例中，注释可以在电子显示装置102的整个表面上延伸(例如，在电子显示装置102的表面上绘制的小图案可以在整个显示区域上复制和平铺)。

尽管图2和3中所示的和以上描述的方法示出了摄像机104响应于由注释捕获模块106生成(并因此从注释捕获模块106接收)的触发信号被处罚以捕获图像，此外或替代地，摄像机可以响应于由注释捕获模块106接收的(在框202中)相同的触发信号来捕获图像。在各种示例中，摄像机104然后可以响应于从注释捕获模块106接收的触发信号捕获另一图像(使得在显示的图像的改变和图像的捕获之间存在一些同步)或者摄像机可以不被注释捕获模块106触发(使得不能保证所显示的图像的改变和图像的捕获之间的同步)。在后一种情况下，摄像机可以响应于原始捕获触发信号(来自框202)捕获一系列图像，并且以这种方式，在显示的图像已被更新后由注释捕获模块106捕获至少一个捕获的图像。

在上述示例中，在最后的触发事件之后(在框208中)发生捕获的图像的接收(在框210中)；然而，在其他示例中，可以接收捕获的图像并且之前提取注释。在各种示例中，在每次由摄像机捕获之后(如在框208中触发的)，可以几乎立即接收捕获的图像，并且可以在捕获所有图像之前开始注释处理(在框212中)。

尽管图3示出了在提取注释(在框212中)之后发生的内容的识别(在框216中)，在各种示例中，可以在提取注释之前识别内容，并且在一些示例中，显示内容的知识(如在框216中所识别的那样)可以在提取注释(在框212中)的过程中使用，例如通过从接收的图像中减去已知内容。

在各种示例中，在接收到捕获的图像时，可以提取任何注释并且评估所提取的注释的质量，并且如果质量低于目标值，则触发对显示的进一步改变(在框206中)，然后触发另一图像的捕获(在框208中)，如图3中从框212到框206的虚线箭头所示。可以使用任何合适的质量度量(例如，所显示的背景或注释区域上的识别边缘的柔和度)。例如，该过程可以用于使得能够在仍然捕获注释的同时触发(并因此执行)最小组显示改变，并且这可以在与电子纸显示器的组合中特别有用，因为与在显示器上保持静态图像相比，需要与改变显示的图像相关联的额外功耗。例如，注释捕获模块106可以触发电子显示装置102显示完全白色的图像，然后触发图像捕获。如果从显示针对白色背景的注释的图像提取的注释的质量不足(例如，当使用预定义的质量度量和预定义的目标值进行评估时)，则注释捕获模块106可以触发电子显示装置102显示完全黑色的图像，然后可以重复该方法。

上面描述并在图1中示出的计算装置110包括：一个或多个处理器118，它们是微处理器，控制器或任何其它合适类型的处理器，用于处理计算机可执行指令以控制装置的运行，以便实现图2或图3的方法。在一些示例中，例如在使用片上系统架构的情况下，处理器118可以包括一个或多个固定功能块(也称为加速器)，其以硬件(而不是软件或固件)实现图2或图3的方法的一部分。在计算装置处提供包括操作系统120或任何其他合适的平台软件的平台软件，以使得应用软件122(其可以包括注释捕获模块106)能够在装置上执行。

使用可由计算装置110访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质例如包括诸如存储器124的计算机存储介质和通信介质。诸如存储器124之类的计算机存储介质包括以用于存储诸如计算机可读指令，数据结构，程序模块等信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质。计算机存储介质包括但不限于随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编程只读存储器(EPROM)，电子可擦除可编程只读存储器(EEPROM)，闪存或其他存储器技术，光盘只读存储器(CD-ROM)，数字通用光盘(DVD)或其他光学存储器，磁带盒，磁带，磁盘存储器或其他磁存储设备，或用于存储的任何其他非传输介质用于计算装置访问的信息。相反，通信介质在诸如载波或其他传输机制的已调制数据信号中体现计算机可读指令，数据结构，程序模块等。如这里所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质本身不应被解释为传播信号。尽管在计算装置110内示出了计算机存储介质(存储器124)，但是应当理解，在一些示例中，存储是远程分布或定位的，并且经由网络或其他通信链路(例如，使用通信接口126)来访问。

计算装置110与电子显示装置102和摄像机104之间的通信可以经由通信接口126和/或输入/输出控制器128。输入/输出控制器128可以被布置为输出显示信息至电子显示装置102，其可以与计算装置110分离或集成在一起(如上所述)。在计算装置110与电子显示装置102分离的各种示例中，计算装置110可以包括附加显示装置，并且输入/输出控制器128可以被布置为，将显示信息输出到该整体显示器以及分离的电子显示装置102。显示信息可以提供图形用户界面(GUI)，并且在计算装置110包括整体显示装置的各种示例中，GUI可以包括对准特征，以在捕获图像时帮助用户定位摄像机104。输入/输出控制器128还可以被布置为，接收和处理来自一个或多个装置的输入，诸如摄像机104或其他用户输入设备(例如，鼠标，键盘，麦克风或其他传感器)。在一些示例中，摄像机或其他用户输入装置检测语音输入，用户手势或其他用户动作，并提供自然用户界面(NUI)。

输入/输出控制器128，显示装置102和摄像机104或其他用户输入设备(图1中未示出)中的任何一个可以包括NUI技术，其使得用户能够与基于计算的装置以自然的方式进行交互，没有由诸如鼠标，键盘，遥控器等输入设备施加的人为约束。在一些示例中提供的NUI技术的示例包括但不限于依赖于声音和/或语音识别，触摸和/或手写笔识别(触敏显示器)，屏幕上和屏幕附近的手势识别，手势感应，头部和眼睛跟踪，声音和语音，视觉，触摸，手势和机器智能。在一些示例中使用的NUI技术的其他示例包括意图和目标理解系统，使用深度摄像机(诸如立体摄像机系统，红外摄像机系统，红绿蓝(RGB)摄像机系统及其组合)的运动手势检测系统，使用加速度计/陀螺仪的运动手势检测，面部识别，三维(3D)显示，头部，眼睛和凝视跟踪，用于使用电场感应电极(脑电图(EEG)和相关方法)感应脑活动的沉浸式增强现实和虚拟现实系统和技术。

在各种示例中，计算装置110可以是智能电话或平板电脑，并且可以包括摄像机104(如虚线轮廓112所示)。在这样的示例中，计算装置110包括整体显示装置，该显示装置与其上进行手动注释的电子显示装置102分离且不同。注释捕获模块106可以实现为在智能电话或平板计算机上运行的应用程序，或者可以在操作系统内实现。在各种示例中，整体显示装置可以用于显示对准特征，以帮助用户将电子显示装置102(和可选的周围表面402)定位在摄像机104的视野内。整体显示装置可以是触摸敏感的，也可以用于显示捕获按钮，当用户按下该捕获按钮时，产生捕获触发信号，该捕获触发信号启动图2和3的方法。

在各种示例中，摄像机104可以被固定安装在房间内，并且计算装置110可以与摄像机104集成。例如，这可以用于捕获在大型壁挂式的或桌面式的电子显示装置102(例如，在会议室或其他协作工作空间中)上的临时手动注释。

尽管本文中将本示例描述和示出为在如图1所示的系统中实现，所描述的系统仅被提供作为示例而非限制。如本领域技术人员将理解的，本发明的实施例适用于各种不同类型的系统。虽然图1仅示出单个摄像机104，在其他示例中，可以存在多个摄像机104(例如，使得可以以多个不同角度捕获图像，并且这些可以例如用于移除反射或捕获这样的注释，这些注释在一些图像中由于物体阻挡而不可见)。此外，尽管在此描述和示出了方法阶段示例，其以图2和3中所示的顺序实现，可以理解的是，只要在触发电子显示装置上显示的图像的变化之后捕获至少一个图像，就可以改变方法阶段的顺序。

在上述示例的变型中，电子显示装置102可以包括多个自主的，独立的像素。每个自主的独立像素可包括显示元件，多个不同的传感器和控制元件。每个传感器检测外部刺激，并且自主像素内的不同传感器可以检测不同的外部刺激和/或具有不同的感测特性(例如，传感器可以是不同的物理尺寸，形状，取向和/或由不同的感测材料制成)。控制元件接收来自多个不同传感器中的一个或多个的信号，并且至少部分地基于由多个不同传感器中的一个或多个检测到的外部刺激的幅度(或水平)来产生控制信号。由控制元件在像素内产生的控制信号用于控制显示元件的状态(例如，控制它是黑/白还是控制像素的颜色，它是彩色或灰度显示)并且因此像素局部的外部刺激的大小决定了显示元件(以及因此像素)的视觉外观。这些像素被称为自主的，因为它们独立工作(即，不需要来自中央驱动器电路的驱动信号)，并且用于控制每个像素的信号是在本地产生的，即在像素本身内产生。外部刺激可以包括入射在传感器装置上的环境信号和/或施加在像素本身的区域中的施加的信号/刺激，并且在各种示例中，像素内的不同传感器可以被布置为检测不同的外部刺激。使用这里描述的自主像素，可以使用外部刺激将视觉信息(例如图像或文本)直接“写”到显示器上。可以通过应用外部刺激(其可能可见或可能不可见)来呈现可见图像。

在电子显示装置102包括多个自主像素的示例中，触发所显示的图像的改变(在框206中)可以包括触发外部刺激的源。在墨水(或其他标记介质)对外部刺激是透明的示例中，无论在自主像素前面是否存在标记，都可以改变所显示的图像。

然而，在墨水(或其他标记介质)对外部刺激是不透明的示例中，显示的图像可以仅在没有注释的情况下改变。因此，如果应用均匀的外部刺激，则对所显示的图像的所得改变将捕获注释(因为那些被注释模糊的像素将不会响应于外部刺激而被更新)。在这样的示例中，触发摄像机以捕获图像(在框208中)可以在用户擦除注释(或以其他方式由用户移除)之后发生，因为注释已经在显示器上被捕获。

尽管以上将注释捕获模块106描述为以软件实现(如由处理器执行)，替代地或另外地，注释捕获模块106的功能(如本文所述)可以至少部分地由一个或多个硬件逻辑组件执行。例如但不限于，可选地使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)，专用集成电路(ASIC)，专用标准产品(ASSP)，片上系统(SOC)，复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。

上述方法使得能够实时捕获电子显示装置的表面上的可移除注释并且以各种示例存储，以电子方式(即作为所显示内容的一部分)写回电子显示装置。该方法可以与不是触敏的电子显示装置一起使用或者不包括任何数字转换器技术(例如，它可以改装到现有的显示硬件)。当注释被手动添加到电子显示装置的表面时，注释的外观没有滞后(这可以在使用触敏显示器或数字转换器时发生)，因此可以改善用户可访问性和体验。

与使用可由电子显示装置102感测的特殊(例如，活动)笔相比，上述系统和方法提供了捕获手动注释的更加可扩展的方式。

对显示的图像做出的改变(如在框206中触发的)可以使电子显示装置能够在捕获操作期间(如框208中所触发的)启用低功率(例如，睡眠)模式，从而减少电子显示装置和整个系统的功耗。

第一进一步示例提供了一种系统，包括：电子显示装置；注释捕获模块，被配置为响应于捕获触发而触发在电子显示装置上显示的图像的改变；以及摄像机，被配置为响应于从注释捕获模块接收的捕获触发和/或从注释捕获模块接收的触发来捕获电子显示装置的一个或多个图像，并且其中注释捕获模块还被布置为通过分析由摄像机捕获的电子显示装置的图像来识别由用户在电子显示装置上做出的任何手动注释，其中，图像中的至少一个图像在显示的图像的改变之后被捕获。

第二进一步示例提供了一种系统，包括：电子显示装置；注释捕获模块，被配置为响应于捕获触发而触发在电子显示装置上显示的图像的改变；以及图像捕获装置，被配置为响应于捕获触发和/或从注释捕获模块接收的触发来捕获电子显示装置的一个或多个图像，并且其中，注释捕获模块还被布置为通过分析由图像捕获装置捕获的电子显示装置的图像识别用户所做出的任何手动注释，其中图像中的至少一个图像在显示的图像改变之后被捕获。

在第一或第二其他示例中，注释捕获模块还可以被配置为存储手动注释。

在第一或第二进一步示例中，注释捕获模块还可以被配置为，在捕获触发被接收时，识别在电子显示装置(或电子显示设备)上显示的内容，以将手动注释添加到所识别的内容，以生成更新的内容并存储更新的内容。

在第一或第二其他示例中，注释捕获模块还可以被配置为，触发在电子显示装置或电子显示设备上更新的内容的显示。

在第一或第二其他示例中，注释捕获模块还可以被配置为，在触发电子显示装置(或电子显示设备)上显示的图像的改变之后，触发摄像机(或图像捕获装置)捕获图像。

在第一或第二其他示例中，系统还可以包括计算装置，计算装置包括处理器和存储器，并且其中注释捕获模块包括存储在存储器中的装置可执行指令，当装置可执行指令由处理器执行时，使处理器响应于捕获触发而触发在电子显示装置(或电子显示设备)上显示的图像的改变。注释捕获模块可以包括存储在存储器中的装置可执行指令，当由处理器执行时，使得处理器触发在电子显示装置(或电子显示设备)上显示所标识的注释。

在第一或第二其他示例中，电子显示装置可以是电子纸显示装置。

在第一或第二其他示例中，手动注释可以是直接绘制到电子显示装置上的手写注释。

在第一或第二进一步的示例中，手动注释可以是附着在电子显示装置上的一张或多张纸上的手写注释。

在第一或第二进一步的示例中，可以使用无法由电子显示装置检测的被动书写工具来书写手动注释。

在第一或第二进一步示例中，系统还可包括围绕电子显示装置(或电子显示设备)的书写表面，并且其中摄像机(或图像捕获装置)被配置为捕获从电子显示装置(或电子显示设备)延伸到书写平面上的手动注释。

在第一或第二进一步的示例中，摄像机(或图像捕获装置)可以对一系列不可见光波长敏感并且包括发射不可见光波长范围的闪光灯，并且其中，在标记介质中形成手动注释，该标记介质以与电子显示装置(或电子显示装置)不同的方式反射不可见波长的光的范围。

第三进一步示例提供了一种方法，包括：响应于接收到的捕获触发，触发在电子显示装置上显示的图像的改变，并且在显示的图像改变之后触发对电子显示装置的一个或多个图像的捕获；分析由摄像机捕获的电子显示装置的图像，以提取用户在电子显示装置上做出的任何手动注释。

第三进一步示例的方法还可以包括：存储手动注释。

第三进一步示例的方法还可以包括：当接收到捕获触发时，识别在电子显示装置上显示的内容；将手动注释添加到所标识的内容以生成更新的内容；并存储更新的内容。第三其他示例的方法还可以包括：触发在电子显示装置上显示更新的内容。

在第三进一步示例的方法中，触发电子显示装置上显示的图像的改变可以包括：触发在电子显示装置上显示预定义图像。预定义图像可以包括以下中的一个或多个：单色像素；识别特征；对准特征；和校准特征。

第四进一步示例提供了一种计算装置，包括：摄像机；处理器；存储器，用于存储装置可执行指令，当由处理器执行时，使得处理器响应于捕获触发，触发电子显示装置上显示的图像的改变并在显示的图像改变后使用摄像机捕获电子显示装置的图像的一个或多个图像；并且进一步分析所捕获的电子显示装置的图像，以提取用户在电子显示装置上做出的任何手动注释。

术语“计算机”或“基于计算的装置”在本文中用于指代具有处理能力的任何装置，使得其执行指令。本领域技术人员将认识到，这种处理能力被结合到许多不同的装置中，因此术语“计算机”和“基于计算的装置”分别包括个人计算机(PC)，服务器，移动电话(包括智能电话)，平板电脑，机顶盒，媒体播放器，游戏机，个人数字助理，可穿戴计算机和许多其他装置。

在一些示例中，本文描述的方法通过有形存储介质上的机器可读形式的软件来执行，例如，本发明的计算机程序形式包括计算机程序代码装置，适于在程序在计算机上运行时执行本文所述的一种或多种方法的所有操作，并且计算机程序可以在计算机可读介质上实现。该软件适合于在并行处理器或串行处理器上执行，使得方法操作可以以任何合适的顺序或同时执行。

这承认软件是有价值的，可单独交易的商品。它旨在包含运行或控制“哑”或标准硬件的软件，以执行所需的功能。它还旨在包括“描述”或定义硬件配置的软件，例如HDL(硬件描述语言)软件，如用于设计硅芯片或用于配置通用可编程芯片，以执行所需功能。

本领域技术人员将认识到，用于存储程序指令的存储设备可选地分布在网络上。例如，远程计算机能够存储描述为软件的过程的示例。本地或终端计算机能够访问远程计算机并下载部分或全部软件以运行该程序。或者，本地计算机可以根据需要下载软件的片段，或者在本地终端处执行一些软件指令，而在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员已知的常规技术，软件指令的全部或一部分可以由诸如数字信号处理器(DSP)的专用电路来执行，可编程的。逻辑阵列等。

如本领域技术人员显而易见的，可以扩展或改变本文给出的任何范围或装置值而不丧失所寻求的效果。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但应理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。而是，公开了上述具体特征和动作作为实现权利要求的示例形式。

应当理解，上述益处和优点可以涉及一个实施例，或者可以涉及多个实施例。实施例不限于解决任何或所有所述问题的那些或具有任何或所有所述益处和优点的那些。将进一步理解，对“一个”项目的引用是指那些项目中的一个或多个。

本文描述的方法的运行可以以任何合适的顺序进行，或者在适当的情况下同时进行。另外，在不脱离本文描述的主题的范围的情况下，可以从任何方法中删除各个框。上述任何示例的方面可以与所描述的任何其他示例的方面组合以形成进一步的示例而不会丧失所寻求的效果。

术语“包括”在本文中用于表示包括所识别的方法框或元素，但是这样的框或元素不包括排他列表，并且方法或装置可以包含附加的框或元素。

术语“子集”在本文中用于指代适当的子集，使得集合的子集不包括集合的所有元素(即，集合中缺少该集合的至少一个元素)。

应当理解，以上描述仅作为示例给出，并且本领域技术人员可以进行各种修改。以上说明书，示例和数据提供了示例性实施例的结构和使用的完整描述。尽管上面已经以一定程度的特殊性或者参考一个或多个单独的实施例描述了各种实施例，但是本领域技术人员可以在不脱离本说明书的范围的情况下对所公开的实施例进行多种改变。

Claims (15)

1.一种系统，包括：

电子显示装置；

注释捕获模块，被配置为响应于捕获触发而触发在所述电子显示装置上显示的图像的改变；和

摄像机，被配置为响应于所述捕获触发和/或从所述注释捕获模块接收的触发，来捕获所述电子显示装置的一个或多个图像，

并且其中，所述注释捕获模块还被布置为通过分析所述摄像机捕获的所述电子显示装置的所述图像，来识别用户在所述电子显示装置上做出的任何手动注释，其中所述图像中的至少一个图像在显示的所述图像的所述改变之后被捕获。

2.根据权利要求1所述的系统，其中，所述注释捕获模块还被配置为存储所述手动注释。

3.根据前述权利要求中任一项所述的系统，其中，所述注释捕获模块还被配置为，当所述捕获触发被接收时，识别在所述电子显示装置上显示的内容，以将所述手动注释添加到所识别的内容，以生成更新的内容，以及存储所述更新的内容。

4.根据权利要求3所述的系统，其中，所述注释捕获模块还被配置为，触发在所述电子显示装置上所述更新的内容的显示。

5.根据前述权利要求中任一项所述的系统，其中，所述注释捕获模块还被配置为，在触发所述电子显示装置上显示的所述图像的所述改变之后，触发所述摄像机捕获图像。

6.根据前述权利要求中任一项所述的系统，还包括计算装置，所述计算装置包括处理器和存储器，并且其中，所述注释捕获模块包括存储在所述存储器中的装置可执行指令，所述装置可执行指令在由所述处理器执行时使得所述处理器响应于捕获触发而触发在所述电子显示装置上显示的所述图像的所述改变。

7.根据权利要求6所述的系统，其中，所述注释捕获模块包括存储在所述存储器中的装置可执行指令，所述装置可执行指令在由所述处理器执行时使得所述处理器触发在所述电子显示装置上所识别的注释的显示。

8.根据前述权利要求中任一项所述的系统，其中，所述电子显示装置是电子纸显示装置。

9.根据前述权利要求中任一项所述的系统，其中，所述手动注释是直接绘制到所述电子显示装置上的手写注释和/或附着到所述电子显示装置上的一张或多张纸上的手写注释，和/或所述手动注释是使用所述电子显示装置无法检测的被动书写工具来书写的。

10.根据前述权利要求中任一项所述的系统，其中，所述摄像机对不可见波长范围的光敏感，并且包括发射所述不可见波长范围的光的闪光灯，并且其中所述手动注释形成于标记介质中，所述标记介质以不同于所述电子显示装置的方式反射所述不可见波长范围的光。

11.一种方法，包括：

响应于接收到捕获触发，触发电子显示装置上显示的图像的改变，并且在显示的所述图像的所述改变之后触发所述电子显示装置的一个或多个图像的捕获；和

分析由所述摄像机捕获的所述电子显示装置的所述图像，以提取用户在所述电子显示装置上做出的任何手动注释。

12.根据权利要求11所述的方法，还包括：

存储所述手动注释。

13.根据权利要求11或12所述的方法，还包括：

当所述捕获触发被接收时，识别在所述电子显示装置上显示的内容；

将所述手动注释添加到所识别的内容以生成更新的内容；和

存储所述更新的内容。

14.根据权利要求13所述的方法，还包括：

触发所述电子显示装置上所述更新的内容的显示。

15.根据权利要求11至14中任一项所述的方法，其中，触发所述电子显示装置上显示的图像的改变包括：

触发在所述电子显示装置上预定义图像的显示，并且可选地，其中所述预定义图像包括以下中的一个或多个：

单色像素；

识别特征；

对准特征；和

校准特征。