CN1648933A - 通过快速图像匹配的全局定位 - Google Patents

Abstract

提供一种有效技术，用于确定对应于捕捉图像的文档部分。标识其中图案至少被部分遮掩的文档区域。在图像中选择一个参考像素，并确定像素与图案之间的偏移。随后将图像与文档进行逐像素比较，使得仅将参考像素与文档中这样的位置比较，这些位置既在所标识的区域内，又与图案有确定的偏移。具有图像像素与电子文档之间最高一致性的比较则标识参考像素相对于电子文档的位置。

Description

通过快速图像匹配的全局定位

技术领域

本发明涉及确定文档的哪个部分对应于该部分的捕捉图像。本发明的各方面尤其适用于通过捕捉该文档的图像标识文档上记号的位置。

背景技术

尽管存储在计算机上的电子文档比书写的文档提供许多优点，但许多用户继续用电子文档的打印版本来执行某些任务。这些任务包括，例如，阅读和批注文档。有了批注，文档的纸质版本呈现特殊的意义，因为批注一般由用户直接写在打印文档上。然而，问题之一是，具有直接批注的文档的打印版本以后难以将批注转换成电子格式。理论上，以电子方式存储的批注应当以书写批注与文档的纸质版本相一致的相同方式，与文档的电子版本相一致。

这种一致通常要求原始或另一用户费力地读完这些批注并亲自将它们输入到计算机中。在某些情况下，用户可用电子方式扫描书写在纸质文档上的批注，从而建立新的电子文档。这些多重步骤使得难以在重复的基础上处理的文档打印版本与文档电子版本之间一致性。而且，扫描得到的图像常常不能被编辑。因而，可能没有将批注与文档的原始文本分开的方法。这使得难以使用批注。

为解决这个问题，已经开发了笔以捕捉用笔书写在打印文档上的批注。这种类型的笔包括摄像机，它在用户书写批注时捕捉打印文档的图像。然而，用这种类型的笔的某些例子，笔可使用对于摄像机不可见的墨水。例如，该笔可使用无炭墨水和红外照明用于摄像机，这防止摄像机“看见”用这种墨水书写的批注。用这种类型的笔，笔将根据由笔在批注的书写过程中捕捉的图像，来推断在文档上形成的批注的笔尖运动。然而，为了将图像与原始的电子文档相关联，必须确定这些图像相对于文档的位置。因此，常与包括一种图案的纸一起使用这种类型的笔，该图案唯一地标识纸上的不同位置。通过分析这种图案，接收图像的计算机可以确定在该图像中所捕捉的是纸的什么部分(即打印文档的什么部分)。

尽管这样的加有图案的纸或其它媒质的使用允许将在纸质文档上书写的批注转换成电子格式并且正确地与文档的电子版本相关联，但该技术并不总是可靠的。例如，在纸上包含文本的文档可遮掩图案区域。如果笔捕捉这些区域之一的图像，则计算机不能使用该图案来准确地确定由该图像捕捉的文档部分的位置。相反，计算机必须使用替换的技术来标识在该图像中捕捉的文档部分的位置。例如，计算机可执行所捕捉图像与电子文档的逐像素比较。

逐像素比较通常将标识在捕捉的图像中文档的部分，但该技术具有高处理开销。为执行该技术，例如，必须首先估算所捕捉图像与文档图像之间的变换，例如旋转和比例(scale)，从而可以将所捕捉图像扭曲(warp)并将它与文档图像逐像素地匹配。如果变换是未知的，则必须考虑所有可能的旋转和比例。此外，在图像中选择一参考像素。随后将扭曲的图像中的每一像素与电子文档中的相应像素比较，使得将图像参考像素与电子文档的第一位置比较。随后必须重复该比较，使得最终将参考像素与电子文档中的每一位置比较。在图像像素与电子文档之间具有最高一致性的比较，标识参考像素相对于电子文档的位置，并由此标识图像中所捕捉文档的部分。因此，所希望的是提供一种技术，使计算机能够确定在捕捉的图像中文档的部分的位置，而不必执行图像与整个文档的逐像素比较。

发明内容

有利的是，本发明的各种实施例提供一种有效的技术，用于确定相应于捕捉图像的文档部分。按照本发明的各种实施例，标识其中图案至少被部分地遮掩的文档区域。在图像中选择一参考像素、估算所捕捉图像的旋转和比例、并确定像素与图案之间的偏移。随后将扭曲的图像与文档进行逐像素比较，使得仅将参考像素与文档中这样的位置比较，这些位置既在所标识的区域内，又与图案有确定的偏移。图像像素与电子文档之间最高相关性的比较则标识参考像素相对于电子文档的位置。使用该技术，可以避免参考像素与文档的其它位置的比较，从而减少确定图像中所捕捉文档的部分的位置所需要的处理开销。

附图说明

图1示出可结合本发明的实施例使用的计算机的一般描述。

图2A例示按照本发明的各种实施例的笔的一个例子，而图2B例示可由本发明的各种实施例获得的图像的分辨率。

图3A至3I示出按照本发明的实施例的编码系统的各种例子。

图4以图形例示可以如何使用一种编码的图案来确定从文档部分捕捉的图像的旋转。

图5例示一个公式，可用于确定从文档部分捕捉的图像的旋转。

图6例示一种按照本发明的各种实施例的工具，可用于将捕捉图像与文档部分进行匹配。

图7A-7C例示一流程图，描述一种按照本发明的各种实施例将捕捉图像与文档部分进行匹配的方法。

图8例示如何将捕捉图像扭曲并随后以多个90°旋转它的例子。

具体实施方式

图1示出常规通用数字计算环境的一个例子的功能框图，该环境可以用于实现本发明的各种方面。在图1中，计算机100包括处理单元110，系统存储器120和系统总线130，它将包括系统存储器在内的各种系统组件耦合到处理单元110。系统总线130可以是若干总线结构中的任何一种，包括存储器总线或存储器控制器，外围总线和使用任何各种总线结构的局部总线。系统存储器120包括只读存储器(ROM)140和随机存取存储器(RAM)150。

基本输入/输出系统160(BIOS)，包含帮助诸如在启动期间在计算机100内的元件之间传送信息的例程，存储在ROM 140中。计算机100还包括用于从硬盘(未示出)读写的硬盘驱动器170，用于从可移动磁盘190读写的磁盘驱动器180，和用于从诸如CD ROM或其它光媒质等可移动光盘192读写的光盘驱动器191。硬盘驱动器170、磁盘驱动器180和光盘驱动器191分别通过硬盘驱动器接口192、磁盘驱动器193和光盘驱动器194连接到系统总线130。这些驱动器及其相关联的计算机可读媒质为计算机100提供计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。本领域的熟练技术人员将意识到，可以存储可由计算机访问的数据的其它类型的计算机可读媒质，诸如磁盒、闪存卡、数字视频盘、伯努利盒(Bernoullicartridge)、随机存取存储器(RAM)、只读存储器(ROM)等，也可在示例的操作环境中使用。

可以在硬盘驱动器170、磁盘190、光盘192、ROM 140或RAM 150中存储多个程序模块，包括操作系统195、一个或多个应用程序196、其它程序模块197和程序数据198。通过输入设备，诸如键盘101和定位设备102，用户可以将命令和信息输入到计算机100。其它输入设备(未示出)可包括麦克风、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备常常通过耦合到系统总线的串行端口接口106连接到处理单元110，但可通过其它接口连接，诸如并行端口、游戏端口或通用串行总线(USB)。而且，这些设备可直接通过适合的接口(未示出)耦合到系统总线130。监示器107或其它类型的显示设备也通过诸如视频适配器108的接口连接到系统总线130。除监示器之外，个人计算机一般包括其它外围输出设备(未示出)，诸如扬声器和打印机。在一个较佳的实施例中，配备笔数字化仪165和随附的笔或触针165以便以数字方式捕捉手写输入。尽管示出笔数字化仪165和串行端口之间的直接连接，但实际上，笔数字化仪165可直接耦合到处理单元110，通过并行端口或者其它接口和系统总线130，如本领域已知的。而且，尽管所示的数字化仪165与监示器107是分开的，但最好数字化仪165的可用输入区域可与监示器107的显示区域共用同一空间。而且，数字化仪165可集成在监示器107中，或者可作为覆盖或者附加于监示器107的独立设备存在。

计算机100可以在网络化环境中运行，该环境使用与一个或多个远程计算机如远程计算机109的逻辑连接。远程计算机109可以是服务器、路由器、网络PC、对等设备或其它通用网络节点，并且一般包括上述相对于计算机100的许多或所有元件，尽管在图1中仅例示了存储器存储设备111。图1中所示的逻辑连接包括局域网(LAN)112和广域网(WAN)113。这样的网络环境在办公室、企业级计算机网络、内联网和因特网中很常见。

当在LAN网络环境中使用时，计算机100通过网络接口或适配器114连接到局域网112。当在WAN网络环境中使用时，个人计算机100一般包括调制解调器115或者其它用于通过广域网113如因特网建立通信的装置。调制解调器115可以是内置或外置的，通过串行端口接口106连接到系统总线130。在网络化环境中，相对于个人计算机100所述的程序模块或者其部分，可存储在远程存储器存储设备中。

将意识到，所示的网络连接是例示性的，并且可以使用在计算机之间建立通信链路的其它技术。假定各种知名协议，诸如TCP/IP，以太网，FTP，HTTP，蓝牙，IEEE 802.11x等中任意一个存在，并且系统可以在客户机-服务器配置中操作，以允许用户从基于web的服务器检索网页。可以使用任何各种常规的web浏览器，以显示和操纵网页上的数据。

图像捕捉设备

可以使用本发明的各种实施例来确定由一系列图像捕捉的文档部分的位置。如上所述，在图像中所捕捉的文档部分位置的确定可以用于查明用户与纸、显示屏或其它显示文档的媒质交互的位置。按照本发明的某些实施例，可由用于将墨水书写在纸上的墨水笔来获得图像。在本发明的其它实施例中，笔可以是触针，用于在显示文档的数字化仪的表面上“书写”电子墨水。

图2A和2B示出笔201的例示性例子，它可按照本发明的各种实施例来使用。笔201包括尖端202和摄像机203。尖端202可以包括墨水容器，也可以不包括。摄像机203从表面207捕捉图像204。笔201还可包括附加的传感器和/或处理器，如在虚线框206中表示的。这些传感器和/或处理器206也可包括将信息发送到另一笔201和/或个人计算机的能力(例如，通过蓝牙或者其它无线协议)。

图2B表示由摄像机203观察到的图像。在一个说明性例子中，由摄像机203捕捉的图像的分辨率是N×N像素(其中N＝32)。因此，图2B示出32像素长×32像素宽的示例图像。N的大小是可调整的，其中N的值越高，则提供越高的图像分辨率。而且，尽管由摄像机203捕捉的图像在此为了例示的目的而示为正方形，但摄像机的视野可包括其它形状，如本领域所已知的。

由摄像机203捕捉的图像可被定义为图像帧序列{I_i}，其中I_i是由笔201在采样时刻ti捕捉的。采样率可大可小，取决于系统配置和性能要求。所捕捉图像帧的大小可大可小，取决于系统配置和性能要求。而且，应该意识到，由摄像机203捕捉的图像可由处理系统直接使用，或者可经受预滤波。该预滤波可在笔201中发生，或者可在笔201之外(例如，在个人计算机中)发生。

图2A还示出图像平面209，在其上形成来自位置204的图案的图像210。在目标平面207上从图案接收的光由透镜208聚焦。按照本发明的各种实施例，透镜208可以是单透镜或由多部分组成的透镜系统，但这里为简单而表示为单透镜。图像捕捉传感器211捕捉图像210。

图像传感器211可大到足以捕捉图像210。可替换地，图像传感器211可大到足以捕捉在位置212处笔尖202的图像。作为参考，在位置212处的图像将称为虚拟笔尖。应当注意，虚拟笔尖位置相对于图像传感器211是固定的，这是由于在笔尖、透镜208和图像传感器211之间的不变关系。

如前面提到的，笔201一般用于诸如打印在纸上的文档之类的媒质，它显示一种图案，用于标识位置在媒质上的位置。有利的是，这种图案可用于将摄像机203捕捉的图像210变换成相应于媒质外观的形式。例如，下面的变换F_S→P将由摄像机203捕捉的图像210变换成在一张纸上的真实图像：

L_paper＝F_s→p(L_Sensor)

在书写期间，笔尖和纸在同一平面上。因此，从虚拟笔尖到真实笔尖的变换也是F_S→P：

L_pentip＝F_s→p(L_{virtual-pentip})

变换F_S→P可估算为仿射变换。这简化为：

$F_{S\→P}^{\′}=\left\{\begin{array}{ccc}\frac{s_x\sin {\mathrm{\θ}}_y}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& \frac{s_x\cos {\mathrm{\θ}}_y}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& 0\\ \frac{s_y\sin {\mathrm{\θ}}_x}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& \frac{s_y\cos {\mathrm{\θ}}_x}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& 0\\ 0,& 0,& 1\end{array}\right\}$

作为F_S→P的估算，其中θ_x，θ_y，s_x和s_y是在位置204处捕捉的图案的两个方向的旋转和比例。而且，通过将所捕捉图像与纸上相应的真实图像进行匹配，可以改进F’_S→P。“改进(refine)”指通过一种称为递归法的优化算法，获得变换F_S→P的更精确的估算。递归法将矩阵F’_S→P视为初值。改进的估算更精确地描述S与P之间的变换。

虚拟笔尖的位置可以通过校准更精确地来确定。为了校准虚拟笔尖的位置，用户将笔尖202放在纸上固定位置L_pentip处。接着，用户倾斜笔，让摄像机203捕捉一系列具有不同笔姿态的图像。对于每个捕捉的图像，获得变换F_S→P。由这个变换，可以获得虚拟笔尖的位置L_{virtual-pentip}：

L_{virtual-pentip}＝F_p→s(L_pentip)

其中L_pentip初始化为(0，0)以及

F_p→s＝(F_s→p)^-1

通过对从每一图像获得的L_{virtual-pentip}求平均值，可确定虚拟笔尖的位置L_{virtual-pentip}。有了L_{virtual-pentip}，可以得到L_pentip的更准确的估算。在重复几次之后，可确定虚拟笔尖的准确位置L_{virtual-pentip}。

用于标识媒质上位置的图案

如前面所提到的，使用本发明的各种实施例，以确定相应于捕捉图像的文档部分，其中显示文档的媒质还包括一种图案，用于标识在媒质上的不同位置。因而，可将图案视为在一种显示格式的编码的数据流。显示图案的媒质可以是打印的纸(或者其它物理媒质)，或者可替换地，可以是投影结合另外的图像或图像组的编码的数据流的显示器。例如，可以将编码的数据流表示为纸上的物理图像或者叠加在被显示图像上的图像，或者可以是物理编码的图案(即不可更改的图案)，它与显示屏幕相结合，或者叠加在显示屏幕上(因此，由笔捕捉的任何图像部分可在显示屏幕上确定其位置)。

图3A示出编码技术的一个例子，用于将第一比特和第二比特编码到图案中，以标识媒质上的位置。第一比特301(例如，具有值“1”)由黑墨水列表示。第二比特302(例如，具有值“0”)由黑墨水行表示。然而，应当意识到，可使用任何彩色墨水表示各种比特。在选择墨水的色彩时，唯一的要求是提供与媒质背景的明显反差，以让图像捕捉系统能够区分。在本例中，图3A中的比特由3×3点矩阵表示。根据捕捉媒质图像所使用的图像捕捉系统的大小和分辨率，可将矩阵的大小修改成任何所希望的大小。

在图3C-3E中示出具有0和1值的比特的可替换的表示。应当意识到，可交换用于图3A-3E的样本编码的1或0的表示而没有影响。图3C示出以交叉排列占据两行或列的比特表示。图3D以虚线格式示出在行和列中像素的可替换的排列。最后图3E以不规则间隔格式示出在列或行中的像素表示(例如，两个黑点之后跟着一个白点)。

应当注意，可替换的网格对齐是可能的，包括将底层网格旋转到非水平和非垂直的排列(例如，其中图案的正确方向是45度)。使用非水平和垂直的方案可提供很有可能的好处，即消除用户的视觉上的分心，因为用户往往会最先注意到水平和垂直图案。然而，为了简明性目的，网格的方向(底层网格的水平、垂直和任何其它所希望的方向)总称为预定义的网格方向。

回来参考图3A，如果一个比特由3×3的元素矩阵表示，并且成像系统在3×3区域中检测到一个黑行和两个白行，则该区域被检测为值0(或者可替换地为值1)。如果3×3区域检测到具有一个黑列和两白列，则该区域检测为值1(或者可替换地，为值0)。因此，如果图2B中的图像210的大小是32×32像素，并且每个编码单元的大小为3×3像素，则所捕捉的编码单元的数量大约为100个单元。如果编码单元的大小为5×5，则所捕捉的编码单元的数量应当大约为36。

如在图3A中所示，可使用一个以上像素或点来表示一个比特。使用单一像素(或点)来表示一个比特是脆弱的。灰尘、纸中的折痕、不平坦的表面等在阅读数据单元的单元素表示时产生困难。然而，即使在使用多个元素表示比特的情况下，在具有图案的媒质上显示其它文本，诸如在文档中的打字文本，仍可遮掩图案中的一个或多个比特。

使用比特流创建图3B的图形图案303。图形图案303包括12行18列。更具体地说，由使用比特表示301和302被转换成图形图案303的比特流形成这些行和列。因而，图3B的图案303可视为具有下面的比特表示：

$\left[\begin{array}{ccccccccc}0& 1& 0& 1& 0& 1& 1& 1& 0\\ 1& 1& 0& 1& 1& 0& 0& 1& 0\\ 0& 0& 1& 0& 1& 0& 0& 1& 1\\ 1& 0& 1& 1& 0& 1& 1& 0& 0\end{array}\right]$

可使用各种比特流来创建图3B中所示的图像303。例如，可使用1或0的随机或伪随机序列。可以用行、用列、用对角线或者按照任何其它公式的顺序来排列比特序列。例如，如果从左至右再向下，则可由下面的比特流来形成上面的矩阵：

0100 0111 0110 0100 1000 1110 0111 0100 1100.

如果从上到下然后向右，则可由下面的比特流来形成上面的矩阵：

0101 1100 0011 0010 0110 1001 1001 1110 0010.

如果沿对角线随后环绕，则可由下面的比特流表示上面的矩阵：

0110 0000 0101 0101 1000 0011 1111 1010 1010.

图3B还包括来自图像303的像素块的放大。放大304-311示出5×5的像素块。像素块304示出在白行之间的黑行。像素块305示出在白列之间的黑列。像素块306示出一个左下角。像素块307示出右上角。像素块308示出一个黑列，在左边带有半个黑行。像素块309示出一个黑行，在其上方带有半个黑列。像素块310示出半个黑行。像素块311示出半个黑列。分析这些像素块的组合，应当意识到，像素的所有组合可由在像素块304-311中存在的图像段形成。在图3B中所示的图案类型可称为“迷宫”图案，因为这些线段好象形成一个迷宫，没有在所有四个边上被迷宫完全包围的区域。

不必说，可以预期，可在图303所示的迷宫图案中找到在图3F-3I中所示的像素的四个“角”组合的每一个。然而，如在图3B中所看到的，在八个像素块304-311中只有三种类型的角实际存在。在本例中，没有如图3F中所示的像素的角组合。通过选择图像段301和302以此方式消除一种类型的角，可以基于缺少的角类型来确定所捕捉图像的方向。

例如，如在图4中所示，可分析由摄像机203捕捉的图像401并确定其方向，使得它能解释为由图401所实际表示的位置。首先，回顾图像401以确定图像401的哪些像素形成迷宫图案，并且确定旋转图像所需的角度θ，使得水平和垂直地对齐图案的像素。应当注意，如上所述，在本发明的不同实施例中，可替换的网格对齐是可能的，包括将底层网格旋转成非水平和非垂直的排列(例如，其中图案的正确方向是45度)。

接着，分析图像401以确定缺少哪一种角。将图像401旋转到准备用于解码的图像403所需的旋转量o示为o＝(θ加旋转量(由缺少的角定义的))。旋转量由图5中的方程示出。回来参考图4，首先通过像素的布局来确定角度θ，以达到像素的水平和垂直(其它预定义的网格方向)排列，并如图402中所示旋转该图像。然后进行一种分析以确定缺少的角并且将图像402旋转到图像403以设置图像用于解码。这里，逆时针旋转图像90度，因此图像403具有正确的方向并且可以用于解码。

应当意识到，旋转角度θ可在图像401的旋转之前或之后应用，以说明缺少的角。也应当意识到，考虑到捕捉图像中的噪声，所有四种类型的角都可能存在。因此，在本发明的各种实施例中，可计数每种类型的角的数量，并且可将具有最少数量的角确定为缺少的角类型。

最后，阅读图像403中的代码并且将它与用于创建图像303的原始比特流相关。相关可用许多方法来完成。例如，可由递归法来完成，其中将恢复的比特流与原始比特流内的所有其它比特流片段比较。其次，可在恢复的比特流与原始比特流之间进行统计分析，例如，通过使用两个比特流之间的汉明距离(hamming distance)。可意识到，可使用各种方法来确定恢复的比特流在原始比特流内的位置。

从前述内容，将意识到，上述迷宫图案可用于将信息编码到媒质的表面上，诸如一张纸或数字化仪的显示器。然后可以由笔201的摄像机203将该信息捕捉到一个或多个图像中。可被编码到媒质表面上的一种特别有用的信息类型是位置信息。如果比特流的部分在媒质上不重复，则计算机101可以确定包含特定比特流的文档部分。

如果在图像中捕捉到图案的完整部分，则计算机101将能够确定在该图像中的文档部分，如上所述。然而，在某些情况下，图案的一部分可被遮掩。例如，如果媒质是一个包含例如打字文本的文档，则文本可部分地遮掩图案中一个或多个比特。在上面的例子(其中每个比特由3×3的像素矩阵构成，并且摄像机203的分辨率为32×32像素)中，如果可以从图像中标识60或更多的比特，计算机101将非常有可能能够确定在图像中捕捉的文档部分的位置。然而，如果在图像中只能标识36至60比特，则计算机101可能仍能够确定在图像中捕捉的文档部分的位置。而且，如果只能从图像中标识35或更少的比特，则计算机101将不能够确定在图像中捕捉的文档部分。

通过快速图像匹配的定位

如上面所提到的，如果从图像中标识了不足数量的比特，则计算机101不能确定在图像中所捕捉的是文档的哪个部分。相反，计算机101必须使用另外的技术以确定在图像中所捕捉的是文档的哪个部分。首先应当估算捕捉图像与文档图像之间的变换(例如，旋转，比例等)，使得可以将捕捉图像扭曲，以具有与电子文档图像一样的旋转和比例。如果变换是未知的，则应当考虑所有可能的旋转和比例。因此，如果以电子格式存储文档，则计算机101可以执行在扭曲的图像中的每一像素与电子文档的每一位置的逐像素比较。然而，该技术需要大量的比较过程。例如，电子文档的一页可包含1410×2019个像素，因此需要2,889,090(1410×2019)次比较。另外，每个比较过程比较大量像素。例如，一个捕捉图像可包含1024(32×32)个像素。因而该技术需要大量的处理器开销且是耗时的。

相反，按照本发明的各种实施例，计算机101可通过执行快速图像匹配来定位图像。如将在下面详细讨论的，在捕捉图像中选择一个参考像素。电子文档中不能对应于参考像素的那些位置(例如像素)被排除。计算机101然后可以执行图像与文档的逐像素比较，使得仅将参考像素与文档中未被排除的那些位置比较。如此，可以标识由图像捕捉的文档中的位置。

图6例示一种按照本发明的各种实施例的工具601，可用于执行快速图像匹配。工具601包括图像接收模块603、迷宫图案分析模块605、文档图像分析模块607、像素偏移确定模块609和图像比较模块611。如在下面将更详细地讨论的，图像接收模块603接收在物理媒质上显示的文档部分的图像，该媒质包括一种图案，诸如在上面详细描述的迷宫图案。迷宫图案分析模块605随后分析图像以获得图像中的图案的旋转和比例，诸如上面详细描述的迷宫图案。文档图像分析模块607随后分析文档的电子版本，以确定在哪里图案被例如文档中的文本或图画部分地遮掩。更具体地说，在本发明例示的实施例中，文档图像分析模块607分析文档的电子版本，以确定其中图案被遮掩得太多而不能提供可靠的位置信息的区域。

像素偏移确定模块609随后确定捕捉图像中参考像素与捕捉图像中图案之间的偏移，而图像比较模块611将扭曲的图像(通过从迷宫图案分析模块605获得的旋转和比例而扭曲的)与文档的电子版本比较。更具体地说，基于在所标识的被遮掩区域中且具有确定的偏移的文档位置，图像比较模块611进行扭曲的图像与文档的电子版本的逐像素比较。在例示的实施例中，一个或多个模块603-611可由在计算机，如计算机101上执行的指令来实现。然而，在本发明的另一个实施例中，可使用硬件组件实现一个或多个模块603-611。

图7A-7C例示一种可按照本发明的各种例子利用例如诸如工具601等工具来使用的快速图像匹配的方法。在步骤701中，图像接收模块603接收在物理媒质上显示的文档部分的图像。媒质可以是，例如，一张纸、可以同时显示文档和从笔201接收输入的数字化显示器、或者任何其它类型的物理媒质。在例示的实施例中，所接收的图像是未定位的图像，并且不能使用其它技术来与文档的特定部分相关联。

接着，在步骤703中，为图像选择一个参考像素。在本发明的各种实施例中，参考像素可以是图像中的中心像素。如可从下面的描述清楚的，使用中心像素作为参考像素可使某些与处理相关联的计算更易于确定。然而，在本发明的其它实施例中，参考像素可以是任何所希望的像素。例如，参考像素可替换地可以是图像中最左上的像素、图像中最左下的像素、图像中最右上的像素、或者图像中最右下的像素。

接着，文档图像分析模块607分析文档的电子版本，以确定文档中图案被部分遮掩的区域(为了方便在下文中称为“被遮掩区域”)。按照本发明的各种实施例，文档图像分析模块607明确地标识文档中按一阈值来遮掩图案的被遮掩区域。更具体地说，文档图像分析模块607标识在文档中那些区域，其中图案被遮掩到这样程度，使得计算机101不能确定在那些区域中的位置信息。

如在上面详细地说明的，本发明的各种实施例使用一种图案，其中图案中的每个比特由3×3的像素的矩阵构成。而且，在本发明的某些实施例中，用于捕捉加图案的文档的部分的图像的摄像机203的分辨率可以是32×32像素。在这种方案中，如果可以从图像中标识60或更多的像素，分析图像的计算机101将能够确定图像中捕捉的文档部分的位置。然而，如果只能在图像中标识59或更少的比特，则计算机101可能不能够确定在图像中捕捉的文档部分的位置。因此，如果文档部分的图像不能用这种方案来标识，则图像必须是文档中32×32的像素区域，其中除59或更少的图案比特之外都被遮掩。通过标识文档中具有59或更少不被遮掩的比特的那些32×32像素区域，文档图像分析模块607可以排除文档中其它区域(即，其中显示了60或更多的比特的区域)作为图像源。

应当注意到，文档图像分析模块607将相对于在步骤703中选择的参考像素来标识文档的被遮掩区域。例如，如果选择中心像素作为参考像素，则被遮掩区域将由这样的像素构成：其中周围的32×32像素数组具有59或更少的未被遮掩的比特。同样，如果参考像素是图像中最右上的像素，则被遮掩区域将由这样的文档像素构成：其中在文档像素的下面和左边的32×32像素数组具有59或更少的未被遮掩的比特。另一方面，如果参考像素是图像中右下像素，则被遮掩区域将由这样的文档像素构成：在上面和右边的32×32像素数组具有59或更少的未被遮掩的比特。

在步骤706中，迷宫图案分析模块605确定所接收图像相对于文档的旋转和比例，并且像素偏移确定模块609确定参考像素与图案的偏移。在步骤707中，使用旋转和比例信息将所接收的图像扭曲。例如，如上面详细说明的，用户可同时使包含摄像机203的笔201改变角度并旋转它，使得得到的图像相对实际的文档不规则地成形。因此，捕捉图像的每一像素的正确位置必须被转换成坐标值，用于描述文档中各个位置。例如，如果图像具有32×32个像素，则扭曲过程将按照文档坐标系统计算所有1024个像素的相对位置坐标。因而扭曲操作是仿射变换，并且使用变换矩阵来执行。这将包括图像的旋转和比例的变化。

通过根据图像的迷宫图案分析确定的比例和旋转而将图像扭曲，如上面详细描述的。如前面提到的，图案是由互相垂直并且相距规则距离的线构成的。因此，通过标识图像中的图案，迷宫图案分析模块605可以确定图像图案与文档图案之间沿x和y维的角差。迷宫图案分析模块605也可以确定图像图案之间的间距与文档图案的间距之间的差。基于这些差，迷宫图案分析模块605可以确定变换以将图像扭曲，使得图像对应于文档的坐标系统。

如前面也提到的，图案的不同特征，诸如角形状的类型，可以用于标识图像相对于文档的绝对角方向。如果这些不同特征的存在(或不存在)在图像中被遮掩，则迷宫图案分析模块605可能不能够确定图像相对于文档的绝对角方向。在这种情况下，像素偏移确定模块611将以90°间隔重复扭曲过程四次，以保证标识具有到文档坐标的最佳方向的扭曲。例如，在图8中示出的初始图像801。该图还示出图像的第一次扭曲803而没有附加旋转(即以0°的扭曲旋转)，并且示出图像的第二次扭曲805具有90°的附加旋转(即以90°的扭曲旋转)。图8还示出图像的第三次扭曲807具有180°的附加旋转(即以180°的扭曲旋转)，并且示出图像的第四次扭曲具有270°的附加旋转(即以270°的扭曲旋转)。

接着，像素偏移确定模块609确定从参考像素到图案的最近单元的距离。而且，在x和y两个方向上计算这个距离(如果使用笛卡尔坐标系统标识文档中的位置，如在例示的例子中)。如果在原始图像中迷宫图案的偏移被定义为(dx，dy)，且扭曲矩阵是M，则在扭曲的图像中参考像素与图案的偏移(称为(dx₁，dy₁))可以按下面计算

(dx₁，dy₁)^T＝M(dx，dy)^T

其中T是矩阵上的“转置”运算符。

一旦确定相对于文档电子版本的坐标系统的偏移，在步骤709中，像素偏移确定模块609就检查文档中的每个位置，以确定该位置是否共享与参考像素相同的偏移。更具体地说，检查在先前标识的文档的被遮掩区域中每个位置(x，y)，以查看该位置是否共享与参考像素相同的偏移。如果在被遮掩区域中的一个位置到最近的图案单元的偏移(在x和y两个方向上)与参考像素按一阈值，诸如0.7像素的偏移相匹配，则将该位置视为图像中参考像素的一个可能的匹配。因而，文档位置x，y将被视为对图像中参考像素的一个可能的匹配，如果：

CellDistance(x+dx1，h)＜0.7；并且

CellDistance(y+dy₁，h)＜0.7

其中h是迷宫图案单元的大小，CellDistance(单元距离)定义为

其中mod(a，b)指a mod b。

应当注意，选择阈值0.7以考虑在将图像扭曲时出现的可能的光栅误差和其它计算误差。可替换地可按所希望地使用其它阈值。为了方便，在文档中具有足以与参考像素的偏移匹配的偏移的位置将称为“匹配位置”。

在步骤711中，图像比较模块611基于匹配位置(即在被遮掩区域中匹配图像的参考像素的偏移的位置)将图像与文档比较。更具体地说，将扭曲的图像与文档的不同部分比较，使得将在扭曲的图像中的参考像素与文档中每个匹配位置比较(并且仅与文档中的匹配位置比较)。如前面所提到的，为图像的每个扭曲旋转重复这个比较过程。在扭曲的图像与文档部分之间的比较可以，例如，确定文档部分的灰度值与扭曲的图像的灰度值之间的相关性。当然，可使用任何适合将扭曲的图像与文档部分比较的技术。

如果扭曲的图像与文档部分的比较满足一个或多个所希望的阈值要求，则图像比较模块611将确定捕捉图像是文档部分的图像。例如，如上面提到的，扭曲的图像与文档部分的每次比较产生一个相关性结果。在本发明的各种实施例中，图像比较模块611将标识产生例如0.5(50％)或更佳的相关性的那些比较。图像比较模块611随后将标识具有最高相关性的第一比较和具有第二最高相关性的第二比较。如果第一比较的相关值比第二比较的相关值高0.1(即高10％)，则图像比较模块611将在步骤717中确定在第一比较中使用的图像部分是在图像中捕捉的文档部分。

如果没有一个比较相关值满足阈值(例如0.5)，则图像将不匹配文档的一个特定部分。同样，如果没有一个比较相关值比其它比较相关值高，则图像将不与文档的特定部分相匹配。如果图像不能匹配特定的文档部分，则在步骤719中由图像接收模块603接收另一个未定位的图像并且重复上述技术。

结论

尽管已经参考特定的例子，包括实现本发明的当前的较佳方式描述了本发明，但本领域中的熟练技术人员将意识到，有上述系统和技术的众多的变体和改变落在所附的权利要求书中所述的本发明的精神和范围内。

Claims (10)

1.一种确定对应于捕捉图像的文档部分的方法，其特征在于，所述方法包括：

获得文档部分的捕捉图像，所述文档具有一种图案，它唯一地标识所述文档中的不同位置；

确定所述文档的被遮掩区域，其中所述图案至少被部分地遮掩；

在所述捕捉图像中指定一参考像素；

标识在所述文档的被遮掩区域中可能与所述参考像素对应的位置；

将所述捕捉图像与所述文档的不同部分比较，使得所述参考像素与一个或多个所述标识位置比较；以及

基于所述比较，确定所述文档中一与所述参考像素对应的标识位置。

2.如权利要求1所述的方法，其特征在于，标识所述文档的被遮掩区域中与所述参考像素对应的位置包括：

确定所述参考像素与所述捕捉图像中所述图案的表示之间的一偏移距离；以及

标识所述文档的被遮掩区域中从所述图案偏移了所述偏移距离的位置。

3.如权利要求1所述的方法，其特征在于，它还包括将所述捕捉图像扭曲，使得所述捕捉图像的比例和旋转与所述文档的比例和旋转相匹配。

4.如权利要求3所述的方法，其特征在于，它还包括：

将所述捕捉图像扭曲，以及

以多个90°旋转所扭曲的捕捉图像。

5.如权利要求4所述的方法，其特征在于，将所述捕捉图像与所述文档的不同部分比较包括，将每个被旋转的扭曲的捕捉图像与所述文档的不同部分比较。

6.如权利要求1所述的方法，其特征在于，所述文档是电子文档。

7.如权利要求1所述的方法，其特征在于，确定所述文档中与所述参考像素对应的标识位置包括：确定所述图像与所述文档部分的每一比较的一相关值。

8.如权利要求7所述的方法，其特征在于，确定所述文档中与所述参考像素对应的标识位置还包括，标识具有0.5或更大的相关值的比较值。

9.如权利要求8所述的方法，其特征在于，确定所述文档中与所述参考像素对应的标识位置还包括：

标识一最高比较相关值，它比所有其它比较相关值高出一阈值量；以及

确定所述参考像素对应于具有所述最高比较相关值的比较中使用的文档位置。

10.如权利要求9所述的方法，其特征在于，所述阈值量是0.1。

Images