CN1641683B - 通过m阵列解码和快速图像匹配的笔划定位 - Google Patents

Abstract

描述了当笔尖移过文档时确定笔尖路径的系统和方法。该文档为具有迷宫图案的水印文档，从该迷宫图案中确定编码的位置信息。利用位于笔中的摄像机来捕获图像序列。该笔尖路径是通过对该相应的迷宫图案解码和通过匹配该捕获图像与文档图像来确定的。如果与笔划相关的任何一帧的位置坐标不能根据m-阵列解码决定，那么这些帧被转换然后与文档图像的一个区域相配。一旦至少一帧的位置坐标被确定，其他帧的位置坐标则通过在相邻区域中匹配这些帧而进行确定。

Description

通过m阵列解码和快速图像匹配的笔划定位

技术领域

本发明涉及利用一数字笔对介质进行交互。更特别地，本发明涉及在与一个或多个表面相互作用期间确定数字笔的位置。

背景技术

计算机用户习惯于利用鼠标和键盘作为与个人计算机交互的方式。虽然个人计算机对于书面文档提供有若干种优势，但大多数用户继续利用打印纸张完成某些功能。这些功能包括读取并注释书面文档。就注解而言，由于此用户对该打印文档的批注，则此打印文档呈现更大的意义。然而，困难之一是，对于具有批注的打印文档来说，该批注需要输入为电子形式文档。这就要求原始用户或者另一用户费劲地看完这些批注，并将它们输入到个人计算机里。在某些情况下，一用户会扫描这批注和这原文，从而创建一个新建文档。这种多个步骤使打印文档和电子版本文档之间的交互很难在一重复基础进行处理。此外，扫描输入图像通常是不可修正的。可能没有办法从原文中分隔这些批注。这使利用这些批注变得困难。从而，需要一种改进的处理批注的方法。

一种捕获手稿信息的技术是借助于一支笔，其位置在书写期间可以被确定。提供这种能力的笔是Anoto公司的Anoto笔。这种笔是通过利用摄象机来捕获以预定图案编码的纸张图像而起作用的。这种图像图案的一个示例如图11所示。此模式使用Anoto笔(Anoto公司制造)确定笔在一张纸上的位置。然而，使用Anoto笔的系统来确定位置有怎样的效率是不清楚的。为了提供高效的确定捕获图像的位置，需要提供一种高效的捕获图像解码的系统。

当复查文档时，针对该文档，用户可以通过移动笔尖来注解该文档。此笔尖的路径可以包含多个笔划，其中每个笔划对应于一系列捕获图像。因此，在本行业中真正需要识别笔的路径以便对文档进行处理。

发明内容

本发明的各方面提供了当笔尖横移过文档时测定笔尖路径的系统和方法。对于本发明的一方面来说，文档用迷宫图案(maze pattern)加水印，根据该迷宫图案确定编码位置信息。

本发明的另一方面，通过位于笔中的摄影机来捕获一序列的图像。笔尖路径是通过对相关迷宫图案(m-阵列)解码和通过将捕获的图像与文档图像进行匹配来确定的。

本发明的另一个方面，如果与笔画相关的任何帧(对应于一捕获图像)的位置坐标不能根据m-阵列解码确定，那么这些帧被转换并且然后与文档图像的一个区域进行匹配。一旦至少一帧的位置坐标被确定，另外一些帧的位置坐标就可以通过匹配相邻区域中的这些帧来确定。

本发明的另一方面，笔尖路径(对应于一笔划)是利用一透视变换和校准参数从一帧中心中来映射的。透视变换是从迷宫图案分析中并通过将摄像机捕获的图像与文档图像进行匹配所获得的。

附图说明

当结合附图阅读本发明时，上述概述以及以下优选实施例的详细说明将更容易理解，附图以示例方式包括，而不是对所要求发明的限制。

图1表示可以用于结合本发明实施例的计算机的一般说明。

附图2A和2B表示根据本发明实施例的一个图像捕获系统和相应的捕获图像。

附图3A至3F表示根据本发明实施例的各种序列和折叠技术。

附图4A至4E表示根据本发明实施例的各种编码系统。

附图5A至5D表示与根据图4A和4B的编码系统相关的四个可能的合成角。

图6表示根据本发明实施例的捕获图像部分的旋转。

图7表示结合图4A至4E的编码系统使用的各种旋转角。

图8表示根据本发明实施例用于确定捕获阵列位置的过程。

图9表示根据本发明实施例用于确定捕获图像位置的方法。

图10表示根据本发明实施例用于确定捕获图像位置的另一种方法。

图11表示在根据现有技术文档中编码间隔的表述。

图12表示根据本发明实施例用于从确定捕获图像中解码提取的比特的一个流程图。

图13表示根据本发明实施例从捕获图像中提取比特的比特选择。

图14表示根据本发明实施例用于从捕获图像中解码提取的比特的一个装置。

图15表示根据本发明实施例用于从捕获帧序列中确定笔尖路径的一种方法。

图16表示根据本发明实施例用于从捕获帧序列中确定笔尖路径的一个装置。

图17表示根据本发明一个实施例的捕获图像的一个示例。

图18表示根据本发明一个实施例的包含文本成分的捕获图像的一个示例。

图19表示根据本发明一个实施例的捕获图像的一个迷宫图案分析。

图20表示根据本发明的一个实施例，包含文本成分的捕获图像的一个迷宫图案分析。

图21表示根据本发明的一个实施例，分析文档图像的一个结果。

图22表示根据本发明的一个实施例，用于一个典型笔划的全局定位结果。

图23表示根据本发明的一个实施例，用于一个典型笔划的局部定位结果。

图24表示根据本发明的一个实施例，重新获得的笔尖笔划和对应捕获图像中心的路径。

图25表示对应于图24所示的重新获得的笔划的一个实际笔划。

具体实施方式

本发明的一些方面涉及确定与较大图像有关的一个捕获图像的位置。在此描述的位置确定方法和系统可以结合多功能笔使用。

以下内容以副标题分隔以便于读者得益。副标题包括：术语、通用计算机、图像捕获笔、阵列编码、解码、纠错、位置确定、m-阵列解码、和用于确定笔的路径的体系结构。

术语

笔(Pen)-可以包括或者不包括能够存储墨水的任何写入工具。在某些例子中，根据本发明的实施例，没有墨水能力的可以用作笔使用。

摄像机(Camera)-可以从纸张或者任何其他介质中捕获图像的一种图像捕获系统。

通用计算机

图1是常规通用数字计算环境示例的功能方块图，该数字计算环境可用来实现本发明的多种方式。在图1中，计算机100包括处理单元110、系统存储器120和系统总线130，系统总线130将包括系统存储器的多种系统部件耦合到处理单元110。系统总线130可以是总线结构类型的任何几种类型，这些总线结构包括存储器总线或者存储控制器、外围总线和利用任何各种总线体系结构的本地总线。系统存储器120包括只读存储器(ROM)140和随机存取存储器(RAM)150。

基本输入/输出系统160(BIOS)存储在ROM 140中，包含有助于在计算机100内部元素之间传送信息的基本例行程序，诸如在启动期间。计算机100还包括硬盘驱动器170，用于从硬盘(未显示)读取和写入到硬盘；磁盘驱动器180，用于从可移动磁盘190中读取或者写入到可移动磁盘190；和一个光盘驱动器191，用于从可移动光盘192，诸如CD ROM或者其他光介质中读取或者写入到该可移动光盘192。硬盘驱动器170、磁盘驱动器180和光盘驱动器191分别通过硬盘驱动器接口192、磁盘驱动器接口193和光盘驱动器接口194连接到系统总线130。这些驱动器和其相关的计算机可读介质提供计算机可读指令的非易失存储器、数据结构、程序模块和此个人计算机100的其他数据。本领域技术人员将意识到，在此示例操作环境中也可以使用能够储存计算机可存取数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、数字视频盘、Bernoulli盒式磁盘、随机存取存储器(RAM)、只读存储器(ROM)等等。

很多程序模块能够存储在硬盘驱动器170、磁盘190、光盘192、ROM 140或者RAM 150中，包括操作系统195、一个或多个应用程序196、其他程序模块197和程序数据198。用户能够经由输入设备诸如键盘101和定点设备(pointingdevice)102将命令和信息输入到计算机100里。其他输入设备(未显示)可以包括麦克风、操纵杆、游戏垫、卫星盘(satellite dish)、扫描器等等。这些和其他输入设备一般经由耦合到此系统总线的串行口接口106连接到处理单元110，但也可以通过其他接口诸如并行端口、游戏端口或者通用的串行总线(USB)连接。此外，这些设备仍然可以经由适当的接口(未显示)直接耦合到系统总线130。监视器107或者其他类型的显示设备也经由接口诸如视频适配器108连接到此系统总线130。除了此监视器外，个人计算机典型地包括其他外围输出设备(未显示)，诸如扬声器和打印机。在一优选实施例中，提供数字器165和伴随笔或者触针166以便于数字地捕获手画线输入。虽然显示了此笔数字器165和此串行口之间的直接连接，但实际上，笔数字器165可以经由并行端口或者其他接口和作为巳知技术的130直接耦合到处理单元110。此外，虽然数字器165显示为与监视器107分离开，但最好数字器165的可用输入区与监视器107的显示区是共同延伸的。此外，数字器165仍然可以是集成到监视器107中，或者可以作为重叠的分离装置或者在某些方面附加到监视器107中的形式而存在。

计算机100能够利用与一个或多个远程计算机诸如远程计算机109的逻辑连接，在网络环境下操作。远程计算机109可以是一个服务器、路由器、网络PC、同级设备或者其他公用网络节点，典型地包括如上所述的有关计算机100的许多或者全部元素，虽然在图1中说明只有一个存储器设备111。图1描绘的逻辑连接包括局域网(LAN)112和广域网(WAN)113。这种网络环境在办公室、企业宽带计算机网络、内部网和因特网中是非常普遍的。

当在LAN网络环境使用时，计算机100经由网络接口或者适配器114连接到本地网络112。当在WAN网络环境使用时，个人计算机100典型地包括一个调制解调器115或者其他装置，用于建立对此广域网113诸如因特网的通信。调制解调器115可以位于内部或者外部，经由串行口接口106连接到系统总线130。在网络环境中，相对于个人计算机100或者其部分描述的程序模块可以存储在远程存储器存储设备中。

将意识到所示的网络连接只是说明性的，可以使用在计算机之间建立通信链路的其他技术。假定存在任何多种众所周知的协议，诸如TCP/IP、Ethernet、FTP、HTTP，Bluetooth、IEEE 802.11x 802.11x等等，并且该系统能够在客户-服务器配置下操作以便允许用户从基于服务器的web中检索网页。可以使用多种常规浏览器的任何一种来显示和操作网页上的数据。

图像捕获笔

本发明的特征包括将一个编码数据流放置在代表该编码数据流的显示的构成中。(例如，正如图4B将讨论的，该编码数据流用来创建一个图解图案)。该显示方式可以是打印的纸张(或者其他实际媒体)或者可以是投影连带另一个图像或者一套图像的编码数据流的显示器。例如，该编码数据流可以表示为纸张上的物理图解图像或者覆盖该显示图像的图解图像(例如代表文档文字)，或者可以是在显示器屏幕上的物理(不可修正的)图解图像(因此由笔捕获的任何图像部分位于该显示屏上)。

此捕获图像的位置确定可以用来确定用户与纸张、介质或者显示屏的交互作用的位置。在本发明的某些方面，此笔可以是一个在纸上书写的墨水笔。在其他方面，此笔可以是用户在计算机显示器表面上书写的一个触针。借助于对此文档的编码图像的知识或者支持显示在计算机屏幕上的文档，任何交互作用可以是提供回给此系统。当笔或者触针划过文档时，通过借助于此笔或者触针中的摄像机来重复地捕获图像，此系统能够跟踪由用户控制的此触针的运动。此显示的或者打印的图像可以是与空白或者富含内容的纸张有关的一种水印，或者可以是与显示的图像有关的或者与覆盖屏幕或内置在屏幕内的固定编码有关的的一个水印。

图2A和2B表示具有摄像机203的笔201的一个说明性示例。笔201包括笔尖202，可以包括或者不包括墨水储存器。摄像机203从表面207捕获图像204。笔201此外可以包括辅助传感器和/或处理器，如在虚线框206所示的。T这些传感器和/或处理器206可以同时包括向另一个笔201和/或个人计算机发送信息的能力(例如，经由Bluetooth或者其他无线协议)。

图2B表示由摄像机203观察的图像。在一个说明性的示例中，摄像机203的视觉字段(field of view)(即此摄像机的图像传感器的分辩率)是32x32像素(其中N＝32)。在此实施例中，捕获图像(32像素乘32像素)对应于摄像机203捕获的表平面大约5毫米乘5毫米的一个区域。从而，图2B表示32像素长乘以32像素宽的一次视场。N的大小可调整，以致于较大的N对应于较高的图象分辨度。同时，虽然用于说明目的将摄像机203的视场显示为方形，此视场可以包括巳知技术中的其他形状。

摄像机203捕获的图像可以定义为图像帧{Ii}的一个序列，其中Ii在抽样时间ti.由笔201捕获。采样率可大可小，取决于系统配置和性能要求。此捕获帧的大小可大或小，取决于系统配置和性能要求。

摄像机203捕获的图像可以由处理系统直接使用，或者可以经受前置滤波。此前置滤波可以发生在笔201内或者可以发生在笔201外(例如，在个人计算机中)。

图2B的图像尺寸是32x32像素。如果每个编码单元尺寸是3x3像素，那么捕获的编码单元数目将大约为100个单元。如果每个编码单元尺寸是5x5像素，那么捕获的编码单元数目大约为36。

图2A还表示图像平面209，在其上图案图像210从位置204中形成。在目标平面207上，从此图案接收的光由208聚焦。透镜208可以是一个透镜或者是多部件透镜系统，但为简单起见这里以单镜头为代表。图像捕获传感器211捕获此图像210。

图像传感器211可以足够大以捕获图像210。做为选择，图像传感器211可以足够大到捕获笔尖202在位置212处的图像，在位置212处的图像被称为虚拟笔尖(pen tip)。注意到由于笔尖、透镜208和图像传感器211之间的恒定关系，此虚拟笔尖位置相对于图像传感器211是固定的。

以下换算(transformation)F_S→P将摄像机捕获的图像的位置坐标变换为纸张上实际图像的位置坐标：

L_paper＝F_S→P(L_Sensor)

在书写时，笔尖和纸张在同一平面上。从而，从虚拟笔尖到实际笔尖的转换也是F_S→P：

L_pentip＝F_S→P(F_{virtual-pentip})

换算F_S→P可以估算为一个仿射变换(affine transform)，其简化为：

$F_{S\→P}^{\′}=\left\{\begin{array}{ccc}\frac{s_x\sin {\mathrm{\θ}}_y}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& -\frac{s_x\cos {\mathrm{\θ}}_y}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& 0\\ -\frac{s_y\sin {\mathrm{\θ}}_x}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& \frac{s_y\cos {\mathrm{\θ}}_x}{\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y-\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_x},& 0\\ 0,& 0,& 1\end{array}\right\}$

对于估算F_S→P，其中θ_x，θ_y，s_x，和s_y是在位置204捕获的图案的两个方向上的旋转和比例等级。此外，通过匹配捕获的图像与纸上对应的实际图像，可以细化F′_S→P。“细化(Refine)”意思是利用一种被称为递归方法的最佳算法类型来得到对换算F_S→P更准确的估算。此递归算法将矩阵F′_S→P作为初始值对待。此细化的估算描述S和P之间的换算更为准确。

下面，通过校准可以确定虚拟笔尖的位置。

把笔尖202放在纸上固定位置L_pentip。接着，使笔倾斜，借助于笔的不同姿势允许摄像机203捕获一系列图像。对于每个捕获的图像，可以获得换算F_S→P.从这个换算中，可以获得虚拟笔尖的位置L_{virtual-pentip}：

L_{virtual-pentip}＝F_P→S(L_penttp)

其中，L_pentip以(0，0)开始，并且

F_P→S＝(F_S→P)^-1

将从每个图像获得的L_{virtual-pentip}进行平均，可以确定虚拟笔尖的位置L_{virtual-penttp}。借助于L_{virtual-pentip}，可以得到更准确的L_pentip估算。反复几次之后，可以确定更准确的虚拟笔尖位置L_{virtual-pentip}。

现在已经知道了虚拟笔尖的位置L_{virtual-pentip}。也可以从捕获的图象中获得换算F_S→P。最终，可以使用此信息来确定实际笔尖的位置L_pentip：

L_pentip＝F_S→P(L_{virtual-pentip})

阵列解码

通过折叠一维序列可以构成两维阵列。包含足够大数目比特的两维阵列的任何部分可以用来确定其在完全两维阵列中的位置。然而，可能有必要从一个捕获的图象或者几个捕获的图象中来确定位置。至于要最小化与两个或多个两维阵列位置相关的捕获图像部分的可能性，可以使用非重复序列来创建该阵列。所创建序列的一个性质是该序列在在长度(或窗口)n上不重复。以下描述了一维序列的创建，然后是该序列折叠为一个阵列。

序列结构

一个序列号可以用作编码系统的起点。例如，一个序列(也被称为m-序列)可以表示为以字段Fq.设置的q-元素。这里，q＝pn其中n≥1，p是最初的序号。该序列或m-序列可以利用多种技术产生，包括但不限于多项式除法。利用多项式除法，该序列可以定义为以下：

$\frac{R_l\left(x\right)}{P_n\left(x\right)}$

其中Pn(x)是字段Fq[x]的n次本原多项式(具有qⁿ个元素)。Rl(x)是字段Fq[x].的1次非零多项式(其中1＜n)。可以使用两步骤迭代流程创建此序列：第一，两个多项式相除(结果是字段Fq的一个元素)，第二，乘以余数x。当输出开始重复时，计算停止。此处理可以利用Douglas W.Clark and Lih-Jyh Weng在一篇文章中撰写的“Maximal and Near-Maximal Shift Register Sequences：Efficient EventCounters and Easy Discrete Logarithms，”IEEE Transactions on Computers 43.5(May1994，pp 560-568)线性反馈移位寄存器来实现。在此环境下，建立序列循环移位与多项式Rl(x)之间的关系：仅仅循环移位该序列来改变Rl(x)并且每一个循环移位对应于一个多项式Rl(x)。合成序列的特性之一是，该序列具有qⁿ-1周期，并且在一个周期内，宽度(或长度)为n，在该序列中任何部分存在一次而且只存在一次。这被称为“窗口特性”。周期qⁿ-1也被称为序列长度，n作为该序列的阶数。

上述处理只是可以用来创建窗口特性序列的多种处理中的一种。

阵列结构

可以用来创建图像(其中部分可以由摄像机捕获)的阵列(或者m-阵列)是一维序列或m-序列的扩展。令A是周期(m1，m2)的一个阵列，即A(k+m₁，l)＝A(k，l+m₂)＝A(k，l).当n1×n2窗口在周期A移位时，所有非零n1×n2矩阵在Fq出现一次而且只有一次。此特性也被称为“窗口特性”其中每个窗口是唯一的。

通过折叠该阵列可以得到二进制阵列(或m-阵列)。一种方案是得到一个序列然后将之折叠为m1×m2大小，其中该阵列的长度是L＝m1×m2＝2n-1.作为选择方式，可以以希望覆盖的预定间隔开始(例如一片纸，30片纸或计算机监视器大小的纸)确定区域(m1×m2)，然后使用该大小令L≥m1×m2，其中L＝2n-1.

可以使用多种不同的折叠技术。例如，图3A到3C表示3个不同的序列。每个序列可以折叠为图3D所示的阵列。3个不同的折叠方法显示为在图3D中有重叠，而且在图3E和3F中有光栅路径。我们采用图3D所示的折叠方法。

为了创建图3D所示的折叠方法，创建长度为L和n阶的序列{a_i}。接着，大小为m1×m2的阵列{b_kl}，其中gcd(m1，m2)＝1and L＝m1×m2是从序列{ai}中通过令该阵列的每个比特为等式1所计算的结果：

b_kl＝a_i，其中k＝i mod(m₁)，l＝i mod(m₂)，i＝0，…，L-1.(1)

此折叠方法可以另外表示为将序列布置在此阵列的对角线上，然后当到达一个边缘时从相反边缘继续。

图4A表示可以用来编码图3D阵列的抽样编码技术。意识到可以使用其他编码技术。例如，可以使用图11所示的替换编码技术。

参考图4A，由深色墨水列代表401(例如″1″)。由深色墨水行代表第二比特402(例如″0″)。将意识到任何彩色油墨可以被用来代表多个比特。选择墨水的唯一必要条件是提供与此介质背景有效的对比，以便由图像捕获系统可区分。图4A的比特由3x3矩阵单元所代表。矩阵的大小可以基于图像捕获系统的大小和分辩率修改为具有任何大小。比特0和1的替换表述如图4C-4E所示。会意识到用于图4A-4E的抽样编码的1或0的表述可以不受影响地相互转换。图4C表示以交织排列的占用两行或者两列的比特表述。图4D表示以断线形式的行列像素的交错排列。最后图4E表示以不规则间距形式排列的行列像素表述(例如两个深色点继之以一个空白点)。

回头查阅图4A，如果一比特由3×3矩阵代表，并且一个成像系统检测检测此3×3区域内的一个深色行和白色行，然后检测为一个零(或者一个一)。如果检测到一个图像具有一列深色和两列白色，那么检测为一个一(或者一个零)。

这里，使用多个像素或点来代表一个比特。使用一个像素(或者比特)代表一个比特是易被损坏的。纸上的灰尘、漂白点、表面不平等等在读取数据单元表述的一个比特时往往造成困难。然而，将意识到可以使用不同的方案来用图表表示表面上的阵列。在图4C至4E中表示某些渐近弧。将意识到也可以使用其他方法。在图11阐述的一个方案是只使用空号移位点(space-shifted dots)。

使用比特流来创建图4B的图解图案403。图解图案403包括12行和18列。这些行和列由比特流形成，可以转化为使用比特表述401和402的图解表示。图4B可以视为具有以下比特表述：

$\left[\begin{array}{ccccccccc}0& 1& 0& 1& 0& 1& 1& 1& 0\\ 1& 1& 0& 1& 1& 0& 0& 1& 0\\ 0& 0& 1& 0& 1& 0& 0& 1& 1\\ 1& 0& 1& 1& 0& 1& 1& 0& 0\end{array}\right]$

解码

当人员用图2A的笔书写或者在编码图案附近移动这些笔时，摄像机捕获一个图像。例如，当笔201按压在纸上和笔201横移过纸上的文档时，笔201可以利用一个压力传感器。然后处理此图像以确定相对于此编码图像的完全表述，此捕获图像的定位并提取构成此捕获图像的比特。

对于确定此捕获图像相对于整个编码区域的取向来说，人们可能注意到并不是图5A-5D所示的四个可能的边角都存在于此图解图案403中。事实上，利用此正确的方位，图5A所示的边角类型存在于图解图案403中。因此，图5A所示的边角类型定位在右方向上丢失。

继续图6，可以解析摄像机601捕获的图像和其确定的方向，由此可解释图像601实际表示的位置。首先复查图像601以确定需要旋转图像的角度θ，以此水平地和垂直地定位这些像素。注意到替换的网格校准是可能的，包括旋转这些基础的格子为不水平和垂直排列(例如45度).当用户在其他图案之前倾向于注意水平和垂直图案时，使用非水平和垂直排列可以提供消除用户直观干扰的可能的利益。为简明起见，此格子方向(基础格子的水平和垂直以及任何其他旋转)被集合地称为预定义的格子方向。

接着，分析图像601以确定哪个角丢失了。需要旋转图像601为解码603准备好的图像的旋转量o被显示为o＝(θ加一旋转量{由丢失角定义的}。此旋转量由图7的等式表示。再查阅图6，角度θ首先由此像素的布局确定，以便到达此像素在水平和垂直(或者其他预定义格子方向)的排列，以及此图像被如图602所示进行旋转。然后分析得出结论来确定丢失的角和旋转为图像603的图像602，以建立解码的图像。这里，图像反时针旋转90度，图像603具有正确的方向并且能被用来解码。

将意识到可以在图像601旋转之前和之后适用旋转角θ，以占据丢失角。同样会意识到，由于考虑了此捕获图像中的噪声，可以呈现全部四个类型的角。我们可以统计每个角的数目，并选择具有最小的类型作为丢失的角类型。

最后，读出图像603中的代码并与用于创建图像403的原始比特流相关。此相关可以以许多方式实现。例如，可以通过递归法实现，其中比较恢复的比特流与原始比特流之内的全部其他比特流片段。第二，通过使用两个比特流之间的汉明间距，可以在此恢复恢复比特流和原始比特流之间执行统计分析。将意识到也可以用其它方案来确定原始比特流内部所恢复的比特流。

一旦具有恢复的比特，则必须定位此原始阵列内部的捕获图像(例如图4B所示的一个)。确定整个阵列内部比特段位置的流程是由若干选项完成的。首先，捕获的实际比特可以是模糊的(例如，摄像机可以捕获具有模糊代码文档内容的一个图像)。第二，灰尘、漂白点、反射等等也可能引起此捕获图像的误差。这些误差使得定位处理更加困难。在这点上，此图像捕获系统可能必须具有从此图像中提取的非时序比特功能。以下表示用于利用此图像的非时序比特进行操作的方法。

令序列(m-序列)I对应于幂系列I(x)＝1/P_n(x)，其中n时该m-序列的阶数，捕获的图像包含Ib＝(b₀ b₁ b₂…b_K-1)^t，的K比特，其中K≥n，上标代表矩阵或矢量的转置矩阵。K比特的位置s正是I的循环移位数目，所以b₀被移位到该序列的起始处。接着该移位的序列R对应于幂系列x^s/P_n(x)或R＝T^s(I)，其中T是循环移位算子。我们不能直接找到此s。多项式模块形成了一个字段。保证x^s≡r₀+r₁x+…r_n-1x^n-1mod(P_n(x))。因此，我们可以找到(r₀，r₁，…，r_n-1)并且解s。

x^s≡r₀+r₁x+…r_n-1x^n-1mod(P_n(x))的关系意味着R＝r₀+r₁T(I)+…+r_n-1T^n-1(I)。以二进制等式表示为：

R＝r^tA      (2)

其中r＝(r₀ r₁ r₂…r_n-1)^t和A＝(I T(I)…T^n-1(I))^t，形成I从0移位到(n-1)移位的循环移位。现在在R中只有稀少的K比特可用来解决r。令R中的b_i和b₀之间索引差值为k_i，i＝1，2，…，k-1，那么R的第一和第(k_i+1)个元素正是b₀，b₁，...，b_k-1，i＝1，2，…，k-1。通过选择A的第一和第(k_i+1)列，i＝1，2，…，k-1，可以形成以下二进制等式：

b^t＝r^tM     (3)

其中M是一个A的n×K子矩阵

如果b无差错，那么r的解决方案可以表示为：

$r^t={\tilde{b}}^t{\tilde{M}}^{-1}---\left(4\right)$

其中是M的任何非退化n×n子矩阵，是b的相应的子矢量

借助于已知的r，我们可以使用Pohlig-Hellman-Silver算法，正如Douglas W.Clark and Lih-Jyh Weng在“Maximal and Near-Maximal Shift Register Sequences：Efficient Event Counters and Easy Discrete Logarithms，”IEEE Transactions onComputers 43.5(May 1994，pp 560-568)中所述的那样，以发现s，使得x^s≡r₀+r₁x+…r_n-1x^n-1mod(P_n(x)).

由于矩阵A可以很大(具有n除L的大小，其中L＝2n-1)，我们应当避免存储整个矩阵A。事实上，正如我们在上述处理看到的，假定提取的比特具有索引差值k_i，那么只有A的第一和第(k_i+1)列与计算相关。给定了捕获的图像之后，这种k_i的选择是非常受限的。因此，只有涉及到计算的那些列需要保留。这些列的总数目比L要小得多(其中，L＝2n-1是该m-阵列的长度)。

纠错

如果在b中存在误差，那么解决方案r变得更加复杂。可能不能轻易地使用具有纠错解码的传统方法，因为与捕获比特相关的矩阵M可能从一个捕获图像变为另一个。

我们采用随机逼近法。假定在b、n_e，中的误差比特数目与K比较相对为小，那么从b的K比特中选择正确的n比特的概率以及非退化的的相应M子矩阵

就比较高。

当所选的n比特全部正确时，b^t和r^tM之间的汉明间距或者与r有关的差错比特数目应该为最小，其中，r利用等式(4)来计算。重复该处理几次，很可能造成最小差错的正确的r可以被识别。

如果只有一个与最小数目的差错比特相关的r，那么就被认为是正确的解决方案。否则，如果多于一个r与最小数目的差错比特有关，那么n_e超过M产生的代码的纠错能力的可能性就高，并且解码处理失败。此系统然后移动以便处理下一个捕获的图像。在另一个示例中，可以考虑有关笔先前位置的信息。也就是说，对于每个捕获的图像来说，笔接着所希望的目的域可以被识别。例如，如果用户在摄像机捕获的两个图像之间没有抬起笔，那么第二捕获图像确定的位置不应当离第一位置太远。与最小数目差错比特相关的每个r接着被检测，以便看是否从r计算的位置s满足该本地限制，即是否该位置在指定的目的区域。

如果位置s满足本地限制，那么在每个阵列提取的X，Y位置被返回。如果不满足，那么解码处理失败。

图8描绘了在捕获图像的序列(或m-序列)中用来确定位置的一个处理流程。首先，在步骤801，接收涉及捕获图像的数据流。在步骤802，相应的列从A中提取出来，并构成矩阵M。

在步骤803，n独立列矢量是从矩阵M中随机选择，并且矢量r由等式(4)确定。在步骤804，此流程进行Q次(例如，100次)。以后将在“循环次数计算”中讨论确定循环次数。

在步骤805，根据其相关的差错比特数对r进行分类。可以利用多种已知技术中的分类算法进行排序。例如，可以使用选择分类算法。当数目Q不大时选择分类算法是有益的。然而，如果Q变大，可以更有效地采用处理更大数目项的其它分类算法(例如合并分类)。

接着在步骤806，通过检测是否多个r与最小数目的差错比特相关，系统确定是否成功地完成纠错。如果是，那么在步骤809返回一个错误，表明解码失败。如果否，那么在步骤807计算在序列(或m-序列)中提取的比特的位置s，例如，通过使用Pohig-Hellman-Silver算法。

下面，阵列中(X，Y)位置被计算为：x＝s mod m1和y＝s mod m2在步骤808返回该结果。

位置确定

图9表示用于确定笔尖位置的一个处理流程。此输入是摄像机捕获的一个图像，输出可以是此笔尖的位置坐标。同时，此输出可以包括(或不包括)其他信息诸如此捕获图像的旋转角。

在步骤901，接收来自摄像机的一个图像。接着，在步骤902选择性地预处理此接收的图像(由步骤902的间断线表示)，以便调整深浅像素等等之间的差别对比。

接着，在步骤903，分析此图像以确定其内部的比特流。

接着，在步骤904，多次从比特流中随机选择n比特，并确定该原始序列(或者m-序列)内部接收的比特流的位置。

最后，在步骤904一旦确定了此捕获图像的位置，在步骤905确定笔尖的位置。

图10给出关于903和904的更多详情，并表示提取捕获图像内部比特流的方案。首先，在步骤1001接收来自于摄像机的一个图像。在步骤1002此图像接着可以选择性地经历图像预处理(由步骤1002的间断线表示)。在步骤1003提取此图案。这里各个线上的像素可以被识别，并且穿过此像素的图案方向(对应于角度θ)能够被估算。

接着，在步骤1004分析接收的图像以确定此基础网格线。如果在步骤1005发现网格线，那么在步骤1006从此图案中提取代码。接着在步骤1007对代码解码，在步骤1008确定笔尖的位置。如果在步骤1005未发现网格线，那么在步骤1009返回一个错误。

增强型解码和纠错算法的概要

利用图12所示的本发明实施例，假定从捕获图像(对应于捕获阵列)和目的地区域中提取比特1201，m-阵列解码的变型和纠错处理对此X，Y位置解码。图12表示此增强型方法的处理1200的流程图。处理流程1200包含两个部分1251和1253。

·解码一次。部分1251包括三个部分。

随机比特选择：随机选择此提取比特1201的一个子集(步骤1203)

解码此子集(步骤1205)

确定具有局部约束的x，y位置(步骤1209)

·利用智能比特选择解码。部分1253包括四个部分。

智能比特选择：选择此提取比特1201的另一个子集(步骤1217)

解码此子集(步骤1219)

调整步骤1217和步骤1219重复(循环时间)的数目(步骤1221)

确定具有局部约束的x，y位置(步骤1225)

本发明的实施例利用谨慎的策略来选择比特、调整循环迭代数目并根据局部约束确定X，Y位置(位置坐标)，流程1200提供。借助于部分1251和1253，步骤1205和1219(解码一次)利用等式(4)计算r

令

为解码的比特，即

${\hat{b}}^t=r^{t}M$

b和

之间的差值是与r相关的差错比特。

图12表示根据本发明的实施例，用于对从捕获图像中提取的比特1201解码的处理流程1200的流程图。处理流程1200包含部分1251和1253。部分1251获得与捕获图像相关(对应于捕获阵列)的提取比特1201(包含K比特))))。在步骤1203，从提取的比特1201中随机选择n比特。在步骤1205，处理流程1200解码一次并计算r。在步骤1207，处理流程1200确定对于b是否检测出误差比特。如果步骤1207确定没有误差比特，那么在步骤1209确定此捕获阵列的X，Y位置坐标。对于步骤1211，如果X，Y坐标满足局部约束即目的地区域内部的坐标，那么在步骤1213处理流程1200提供此X，Y位置(达到另一个处理或者用户接口)。否则，步骤1215提供一个失败指示。

如果步骤1207检测出b中的误差比特，执行部分1253以便对误差比特解码。步骤1217从提取的比特1201中选择另一套n比特(与在步骤1203选择的n比特至少有一个比特不同)。步骤1221和1223确定对此提取比特解码所必须的重复数目(循环时间)。步骤1225通过测试在步骤1219获得的哪个候选者满足此局部约束来确定此捕获阵列的位置。将更详细地讨论步骤1217-1225。

智能比特选择

步骤1023从提取的比特1201(具有K个比特)中随机选择n个比特，并解答为r₁。利用方程式(5)，能计算出解码比特。令

当是

的第k个比特时，B₁＝{b_k|k∈I₁}并且

，即，B1是与原始比特一样的解码结果的比特，

是于原始比特不同的解码结果的比特，I₁和

是与这些比特相关的索引。当从B1中选择任何n个比特时可以获得相同的r₁是可以意识到的。因此，如果不谨慎的选取下一个n比特，就可能导致选择的比特是的B₁子集，因而发生导致获得相同的r₁结果。

为了避免这样的情况发生，步骤1217按照下面的步骤选取下一个n个比特. 

1.在1303中选取至少一个比特并且从B₁ 1301中随机的选取剩余的比特，如图13所示的与比特排列1351一致。通过计算，处理流程1200解出r₂并且得到B2 1305，1309和

1307，1311。

2.重复步骤1。当选择下n个比特时，对于任何(i＝1，2，3…，x-1，其中x是当前循环数)，至少有一个从中选择的比特。当没有这样的比特子集可被选择时或者当循环次数达到时该迭代终止。

循环次数的计算

误差校正部分1253，需要的迭代数(循环次数)是每次循环后调整的。循环的次数是由预期的误差率来决定。即不是全部的被选择的n比特是正确的预期的误差率p_e是：

$p_e={(1-\frac{C_{{K-n}_e}^n}{C_K^n})}^{\mathrm{lt}}\≈-e^{-\mathrm{lt}{\left(\frac{K-n}{K}\right)}^{n_e}}---\left(6\right)$

其中lt代表循环次数并且被一个常量初始化，K是从捕获的阵列中提取的比特数，n_e代表在处理流程1200的迭代期间招致的最小误差比特数，n是多维阵列的阶数，C_K ⁿ是从K比特里选择n比特的组合数目.

在实施例中，我们想要p_e小于e^-5＝0.0067.结合(6)，我们有：

${\mathrm{lt}}_i=\min ({\mathrm{lt}}_{i-1},\frac{5}{{\left(\frac{K-n}{K}\right)}^{n_e}}+1)---\left(7\right)$

调整循环次数可能明显地减少需要误差校正的处理流程1253的迭代次数。

用本地限制确定X，Y的位置

步骤1209和1225，解码位置应该在目的区域内。目的区域是算法的一个输入部分，根据不同的应用，它可以是各种大小和位置或者只不过是整个m-阵列。例如，如果确定了先前的位置，考虑书写速度，当前笔尖的目的区域应该接近先前的位置。然而，如果笔被抬起，那么下一个位置可能是任何地方。因此在此情况下，目的区域应当是整个m-阵列。正确的X，Y位置由以下步骤来确定。

在步骤1224，处理流程1200选择其对应的差错比特数小于以下的r_i

$N_e=\frac{{\log }_{10}\left(\frac{3}{\mathrm{lt}}\right)}{{\log }_{10}\left(\frac{K-n}{K}\right)\×{\log }_{10}\left(\frac{10}{\mathrm{lr}}\right)}---\left(8\right)$

其中lt是实际的循环次数，lr代表由以下公式计算的本地限制：

其中L是m-阵列的长度.

步骤1224以差错比特数目的升幂来分类r_i。然后步骤1225，1211和1212找出其相应的X，Y位置位于目的区域的第一r_i。步骤1225，1211和1212最后返回X，Y位置作为结果(经由步骤1213)，或者指示解码处理失败(经由步骤1215)。

用于确定笔划路径(笔划定位)的体系

图15表示根据本发明的一个实施例，用于从捕获帧1551的序列中确定笔尖路径的一种方法。在步骤1501，处理一帧，以此诸如正文的文档内容就从只包含迷宫图案单元的其他区域分离开。此外，此图像(灰度级的)被归一化以补偿不均匀照明。在步骤1503，从一帧(捕获图像)中的可见迷宫图案条形图(bar)中提取m-阵列。在步骤1505，如果提取的比特数目(在步骤1503确定的)大于此嵌入的m-阵列阶数，那么通过m-阵列解码可以获得唯一的位置坐标(对应于此帧中心的x-y位置)。

步骤1507分析数字文档1553，以便确定由文档1553的内容遮盖的迷宫图案的文档区域1553。(利用此实施例，数字文档1553不包括用户产生的批注)。如果文档内容1553遮盖迷宫图案单元，那么步骤1505不能提取足够的m-阵列比特来确定此帧的x-y位置。通过分析此整个水印文档1553，处理流程1500能够查明x-y位置不能被唯一确定的文档区域1553。如将要讨论的，在步骤1509采用此分析。

在步骤1511，如果不能根据m-阵列解码确定与笔划相关的任何帧的x-y位置(对应于步骤1505)，那么处理流程1500不能用于确定此帧的位置。在此情况下，步骤1509执行全局定位，其中捕获的图像能够被一个通过迷宫图案分析(步骤1503)获得的仿射变换弄弯，然后能够与文档图像1553相配，文档图像1553中迷宫图案单元的重要数量被此文档内容所遮盖。在此情况下，步骤1509执行全局定位，其中捕获的图像能够被一个通过迷宫图案分析(步骤1503)获得的仿射变换弄弯，然后能够与文档图像1553相配，文档图像1553中迷宫图案单元的重要数量被此文档内容所遮盖。一旦成功地匹配好一帧，那么使用局部定位(将要讨论的步骤1517)来定位整个笔划(对应于一系列帧)。

在步骤1517，其x-y位置不能利用步骤1505解码或者不能利用步骤1509进行全局定位确定的帧还要再处理。这种帧的位置应该靠近其x-y位置被m-阵列解码或者全局定位确定的那些帧的位置。这种帧的位置是通过匹配此帧与已经确定了x-y位置的相邻区域来确定的。也可以获得捕获图像和文档图像之间的透视变换F_S→P(如以前所讨论的)。

从m-阵列解码(对应于步骤1505)和全局局部定位(分别对应于步骤1509和1517)获得的X-y位置表示捕获图像的中心的位置(x-y位置)。(本的实施例可以一维、两维和三维。在本实施例中，支持二维空间以此位置定位对应于一个x-y位置)。为了获得笔尖的x-y位置，需要校准笔尖(例如图2所示的笔尖202)和关联的摄像机(例如图2所示的摄像机203)之间的关系。步骤1513支持将要讨论的校准(calibration)。

在步骤1515，通过使用从局部定位和校准参数处获得的透视变换来映射图像中心的x-y位置，以此确定笔尖的x-y位置。(确定笔尖路径1555的一个例子如将要讨论的图26所示。)

图16表示根据本发明的一个实施例，用于从捕获图像(帧)的序列中确定笔尖路径的一个装置1600。在本发明的一个实施例中，图像分割1601执行步骤1501、迷宫图案分析器1603执行步骤1503、m-阵列解码模块1605执行步骤1505、匹配模块1609执行步骤1511、1509和1517、水印文档分析器1607执行步骤1507、校准模块1611执行步骤1513、和映射模块1613执行步骤1515。

文档图像分析和校准可以脱机执行、或者在在线图像捕获和处理之前分离。可以联机或者脱机执行另一部分(例如图像分割模块1601、迷宫图案分析器1603m-阵列解码模块1605、匹配模块1609、和映射模块1613)。下面将详细描述这部分的功能。

图像分割

捕获图像可以包含文档内容诸如正文或者附图，这是在预处理时最初评价的。图17表示根据本发明的一个实施例，捕获图像1700的一个例子。图18表示根据本发明的一个实施例，包含正文部分包括正文字符1801和1803)的一个捕获图像示例。如果一个图像包含正文/附图区域，那么此正文/附图区域从只包含迷宫图案或者空白像素的另一个区域中分离开。

此外，此捕获图像例如捕获图像1700和1800)被标准化以补偿不均匀照明。图19表示根据本发明的一个实施例，对应于对捕获图像1700(图17所示)照明的标准化的处理过的图像1900。图20表示根据本发明的一个实施例，对应于对捕获图像1800照明的标准化的处理过的图像2000。

迷宫图案分析

迷宫图案分析的任务是在捕获图像中，从可见迷宫图案条形(例如图4A所示的条形图401和402)中提取m-阵列比特。图19表示根据本发明的一个实施例，捕获图像1700(图17所示)的一个迷宫图案分析。比特1901(对应于比特值1902的“0”)和比特1903(对应于比特值1904的“1”)是m-阵列比特的两个成员。在此迷宫图案中根据迷宫图案网格线例如网格线1905和1907来组织m-阵列。图20表示根据本发明的一个实施例，捕获图像1800(图18所示)的一个迷宫图案分析2000。(在此例子中不能确定在正文字符1801和1803附近的某些迷宫图案单元的m-阵列比特)。

图19和20表示对迷宫图案单元和迷宫图案条形图的一个说明。首先计算迷宫图案网格线的参数(沿着每个维度即仿射变换的刻度等级和旋转)，然后确定嵌入到此迷宫图案中的原始方向(或者象限)。从而，基于此网格线和条形图方向确定此m-阵列比特信息。

m-阵列解码

如果在步骤1505(图15所示的)获得的提取比特数目大于嵌入的m-阵列的阶数，那么通过m阵列解码可以获得唯一的x-y位置。

水印文档图像分析

迷宫图案可能被此文档内容所遮盖，这意味着没有能够从捕获图像中提取解码的足够的m-阵列比特。通过分析此整个水印文档图像，处理流程1500或者装置1600能够确定在哪个区域能够唯一地确定此x-y位置和在哪个区域不能唯一地确定x-y位置。在全局定位时使用此分析结果。图21表示根据本发明的一个实施例，分析文档图像1553的结果2100。在此实施例，文档图像(例如文档1553)上的像素被称为四个类型中的一种。根据以下关系标记像素：

类型I：32乘32像素相邻窗口(考虑此中心的像素)只包含迷宫图案单元

类型II：32乘32像素相邻窗口包含60个或更多个迷宫图案单元

类型III：32乘32像素相邻窗口包含36至60个迷宫图案单元。

类型IV：32乘32像素相邻窗口包含35或者小于35个迷宫图案单元。

在此实施例，如果捕获图像的中心位于类型I或者类型II区域，则能够确定此捕获图像的x-y位置，如果此中心位于类型III区域，则可以确定确定此捕获图像的x-y位置。在图21，区域2101对应于类型I象素面积，区域2103对应于类型II象素面积，区域2107对应于类型III象素面积，区域2105对应于类型IV象素面积。(分析和标记此整个文档，但在图21只显示一部分)。

在此实施例，通过产生一个位图(bitmap)电子文档或者通过扫描纸件然后再以适当分辩率抽样此相应位图，处理流程1500就可以得到数字文档1553。分辩率的确定是基于以下考虑的：(1)文档图像的分辩率不应小于此捕获图像，因为此水印的灰阶文档图像将与摄像机捕获的图像相配，以便确定此捕获图像的位置；(2)一个打印的迷宫图案单元应该映射为文档图像像素的整数目，以此该匹配算法会更有效地工作。例如，如果摄像机的分辩率是0.15mm/像素，即物理世界中的0.15mm被映射为一个摄像机像素，那么该印刷的迷宫图案单元尺寸是0.45mm*0.45mrm，即在该摄像机传感器上一个印刷的迷宫图案单元被映射为3*3像素，该文档图像的分辩率还应该设置为0.15mm像素，以此在该文档图像中一个印刷的迷宫图案单元将映射为3*3象素面积。

快速图像匹配的全局定位

如果一个笔划的捕获图像的x-y位置不能从m-阵列解码中确定，那么位于该不能唯一确定x-y位置区域的所有图像的中心是可预言的。在这种情况下，通过由迷宫图案分析得到的仿射变换来弄弯此捕获图像，然后与其中不能唯一确定x-y位置的文档图像区域相配。一旦成功地匹配了一帧，那么就采用局部定位算法来定位此整个笔划。

对于文档1553(图15所示)，在32乘32像素子窗口中的可见迷宫图案单元数目典型地从10到100变化。此文档中的像素被标记为水印文献分析(图15所示的步骤1507)的四个类型之一。一个搜索区域被设置为类型III和类型IV区域的集合。

图22表示根据本发明的一个实施例，用于示例性笔划2201的全局定位结果。借助于全局定位(对应于步骤1509)来确定笔划2201上的点2203的x-y的位置。部分2202被放大为放大的部分2204以便更好地表示笔划上的点2203。((在此实施例，借助于全局定位只确定笔划2201上的一点，剩余的点由局部定位确定)。

利用全局定位，在此搜索区域的选择点处将一帧与此文档图像匹配。通过对迷宫图案分析(对应于图15所示的步骤1503)进行刻度定标和旋转(仿射变换)，可以将此原始帧弄弯(变换)。对于在匹配帧中确定选择点来说，一个偏移可能有用。

在此实施例，一帧匹配成功对应于捕获图像和此文档图像之间的最大互相关值。(此互相关值交替变换为0到1)。此最大互相关值应该比其他互相关值和此门限值充分地大，即大到多少，可以由脱机训练确定。例如，全局定位可以要求最高互相关值和第二高互相关值之间的差值要大于0.1。

快速图像匹配的局部定位

对于其x-y位置不能通过m-阵列解码/全局定位确定的那些帧来说，此位置应该靠近其中x-y位置被确定的帧的位置。从而，相应的位置是通过匹配此图像与已经确定了x-y位置的相邻区域来确定的。还得到捕获图像和文档图像之间的透视变换。

图23表示根据本发明的一个实施例，用于示例性笔划2301的局部定位结果。借助于m-阵列解码确定笔划2301上点(例如点2305a和2305b)的子集的存储单元位置，和借助于局部定位确定剩余点(例如点2303a和2303b)的位置。

在此实施例，局部定位利用起始点和中枢起始点。起始点是由m-阵列解码(对应于图15所示的1505)或者由全局定位(对应于图15所示的步骤1509)成功地定位了的那些帧的位置。一帧序列被分割为一些段，其中逐段执行本地搜索。在局部定位期间，一个段可以被分成几个分段。在此实施例中，本地搜索被限制在基于笔尖移动的速度和加速度限制之内的搜索区域。

下面的程序描绘局部定位的一个实施例：

·帧序列分割

(a)选择中枢起始点

一笔划中的第一和最后一个起始点是中枢起始点。

对于两个中枢起始点p1、p2之间的起始点来说，具有距穿过p1、p2的线路L的最大距离Dmax的一个，和大于门限(典型地设置为0.5)的Dmax作为中枢起始点。

(b)细化此中枢起始点处的透视变换，通过比较摄像机捕获的图像与此文档图像来得到更精确的透视变换。

(c)由中枢起始点对此帧序列分段

每个分段是从中枢起始点或者此笔划的第一点开始，在中枢起始点或者此笔划的最后一点结束。

·确定完成的分段

当以下情况发生时，宣布一个分段为完成的分段：

(a)这分段中至少有一个起始点不中枢起始点，即在此分段上不能找到更多的中枢起始点，或者换句话说，此分段非常像一条直线。在这种情况下，所有的点是插入的并且此分段被宣布完成。

或者

(b)对于此分段中的每个点，相应的帧已经被处理。

·为未完成的分段的一帧找到一个搜索区域

(a)此分段的第一点是一个起始点，并且不必进行处理。

(b)对于此分段的第二个点，此搜索区域的中心设置为第一点，并且搜索区域的大小受最大速度的限制。

(c)对于此分段的其他点，能够估算已经处理过的前一点的速度。能够从此位置和前一点的速度中计算搜索区域的中心，并且搜索区域的大小受到最大加速度的限制。

·在搜索区域的模板匹配

此步骤是基于这样的假定：在较短时间内笔的姿势仅仅有一点儿改变，其意味着相邻的帧之间的仅有一点透视变换差值。

(a)借助于前一处理过的帧的透视矩阵弄弯此帧。

(b)通过匹配此帧与作为中心点的文档图像，确定在此搜索区域每个点的互相关。

(c)具有最高互相关的点应该为此帧的正确位置。

·细化对于此点的透视变换

通过比较此摄像机捕获的图像与此文档图像来细化此透视变换。

·切断(Prune)此搜索结果

几个因素可以造成获得的错误结果，诸如不正确的初始透视变换参数和移动混乱。通过限制移动的速度和加速度，能够切断此错误结果。

(a)所有此起始点将不会被切断。

(b)从第一点到最后点经历整个笔划。如果一个点不能满足前一点的移动限制，那么此点一定是错误的并应该切断。

(c)从最后一点到第一点经历整个笔划。如果一个点不能满足前一点的移动限制，那么此点一定是错误的并应该切断。

(d)切断之后，笔划中保持的点是正确的点。此切断的点被根据内插法确定的点替代。

摄像机-笔-尖校准

从m-阵列解码和全局/局部定位获得的X-y位置表示此捕获图像中心的位置。为获得笔尖202的x-y位置，笔尖202和摄像机203的中心之间的关系必须要校准。快速和准确校准是有效的，因为墨水盒可以频繁地改变。

通过以不同姿势在书写表面上的固定触点上接触笔尖，可以捕获到一些图像。通过使用一个限制来确定校准参数，该限制是此图像的所有x-y位置应该借助于正确的校准参数被映射为相同点(固定触点)。

在此实施例中下面的过程是用来校准笔尖。该过程用来估算校准参数L_{virtuai-pentip}：

a)把实际的笔尖放在纸张上的固定位置L_pentip

b)使笔尖在象素位置L_pentip上直立，并且捕捉一系列具有不同姿势的图象.

c)对于每一个捕获图象，通过曲径图案分析，m-阵列解码和匹配捕获图象和图象文档来计算该转换F_S→P(把摄象机捕获的图象的位置坐标转换为纸张上的实际图象的位置坐标)和

(F_S→P的逆变换)，因而：

$L_{\mathrm{pentip}}^i=F_{S\→P}^i\·L_{\mathrm{virtual}-\mathrm{pentip},}$ i＝1，2，…，N

$L_{\mathrm{virtual}-\mathrm{pentip}}^i=F_{P\→S}^i\·(L_{\mathrm{pentip}}+{\mathrm{\ΔL}}_i),$ i＝1，2，…，N

在那里N是实验中捕获图象的数量，ΔP_i是在第i个帧中的笔尖确切位置和L_pentip之间的偏移。

d)初始化

为s(0，0)，这里是L_{virtual-pentip}的估算值。

e)使用中(c)的第一个方程式，设定L_{virtual-pentip}为求得L_pentip ⁱ，i＝1，2，…，N.通过平均L_pentip ⁱ，L_penttp被估算为：

${\stackrel{\_}{L}}_{\mathrm{pentip}}=\frac{1}{N}\underset{i=1}{\overset{i=N}{\mathrm{\Σ}}}{L}_{\mathrm{pentip}}^i$

f)使用中(c)的第二个方程式，设定L_pentip为求得L_{virtual-pentip} ⁱ，i＝1，2，…，N.通过平均L_{virtual-pentip} ⁱ，L_{virtual-pentip}被估算为：

${\stackrel{\_}{L}}_{\mathrm{virtual}-\mathrm{pentip}}=\frac{1}{N}\underset{i=1}{\overset{i=N}{\mathrm{\Σ}}}{L}_{\mathrm{virtual}-\mathrm{pentip}}^i$

g)重复步骤e.在数次迭代后，L_{virtual-pentip}和L_pentip将会分别的聚合到更充分精确的结果，这可以被称为L_{virtual-pentip} ^accurate和L_pentip ^accurate.

最后，获得一个L_{virtual-pentip} ^accurate作为校准参数L_{virtual-pentip}.

把图像中心位置映射到笔尖

笔尖202的位置X-y是通过映射图象中心的x-y位置确定，该图象中心的x-y位置是从局部定位和校准参数利用透视变换获得。图24和25图解说明了笔尖校准结果的一个示例。图26展示了依照本实施发明笔尖202恢复的笔划。图25展示了与图24所示的恢复的笔划有关的实际笔划2501。在图24中的笔划2403展示了捕获图象的中心位置路径。就是说，如果没有校准，笔划2501就可能被错误地恢复(恢复为笔划2403)，反之如果有适当的校准，笔划2501就可被正确地恢复(恢复为笔划2401)。

正如本领域技术人员可以意识到的，可以使用具有包含指令用于控制计算机系统的相关计算机可读介质的计算机系统来实现这里公开的示例实施例。此计算机系统能够包括至少一个计算机诸如微处理器、数字信号处理器、和有关外围电子电路。

虽然本发明被所附权利要求所限定，但这些权利要求只是说明本发明希望包括这里以任何组合和子组合描述的元素和步骤。从而，还具有任何数目的可替换组合用来限定本发明，这些替换组合了结合说明书包括描述说明、附图和权利要求的一个或多个元素。对于相关领域技术人员很明显的是，根据本发明的说明书，本发明一些方面的替换组合，或者单独或者与这里限定的一个或多个元素或步骤组合，可以被用来修改或替换本发明或者本发明的部分。希望本发明这里包含的书写描述覆盖所有这种修改和替换。

Claims (23)

1.一种用于确定图像捕获笔在文档内部的笔尖路径的方法，其特征在于，所述方法包含：

对与由所述图像捕获笔捕获的捕获图像相关联的提取的比特解码以便确定所述捕获图像的位置坐标，所述解码包括：

(i)获得与所述捕获图像相关联的提取比特；

(ii)处理所述提取比特以便确定所述提取比特是否包含至少一个误差比特，并且如果没有检测到误差比特，则确定所述位置坐标，其中步骤(ii)包括选择和解码来自所述提取比特的第一子集；以及

(iii)如果检测到所述至少一个误差比特，则进一步处理所述提取比特以便根据所述提取比特的一部分确定所述位置坐标，

其中，所述位置坐标符合一局部约束，其中，(iii)包含：

(1)如果检测到一个误差比特，则从所述提取比特中选择一个不同的子集，其中，所述不同子集的至少一个比特不是先前已正确解码的比特中的一个；

(2)对所述不同子集的相关联的比特解码；

(3)响应于(2)，确定是否应该执行另一解码迭代；

(4)如果应该执行另一解码迭代，则从所述提取比特中选择另一子集，其中，所述其它子集的至少一个比特是从每一先前的迭代的一组错误解码的比特中选出的，并且重复(2)；以及

(5)如果不应该执行另一解码迭代，则确定所述捕获图像的位置坐标；

如果所述捕获图像的位置坐标不能通过解码确定，则将所述捕获图像与所述文档的图像信息进行匹配，其中所述匹配包括：(a)将所述捕获图像与所述文档的图像的一个区域进行匹配，其中，所述区域是通过分析所述捕获图像或者一相邻的图像帧的对应位置而估计的，并且其中，所述对应位置是通过m-阵列解码或者全局定位来确定的；以及

通过在所述图像捕获笔在所述文档上移动时重复地对所述捕获图像内的提取比特进行解码，将所述笔尖路径从所述位置坐标映射到所述捕获图像内。

2.根据权利要求1所述的方法，其特征在于，所述文档的图像信息是从加水印的文档图像信息中或者从对应于所述捕获图像的已解码位置的相邻区域的图像信息中选出的。

3.根据权利要求1所述的方法，其特征在于，它还包含：

分析一迷宫图案以便从所述捕获图像中提取比特，其中，所述迷宫图案对应于一m-阵列。

4.根据权利要求3所述的方法，其特征在于，它还包含：

从该捕获图像的一个遮盖成分中分割该迷宫图案，其中该遮盖成分遮盖该迷宫图案。

5.根据权利要求4所述的方法，其特征在于，所述分割包含：

归一化所述捕获图像以便补偿不均匀的光照。

6.根据权利要求1所述的方法，其特征在于，所述匹配还包含：

(b)响应于(a)，如果所述位置坐标不能被确定，则扭曲所述捕获图像以得出所述经扭曲的捕获图像的多个扭曲的帧；以及

(c)将所述经扭曲的捕获图像与所述文档的一个区域进行匹配，其中，通过m-阵列解码不能唯一地确定x-y位置。

7.根据权利要求6所述的方法，其特征在于，所述匹配还包含：

(d)响应于(c)，重复(a)。

8.根据权利要求6所述的方法，其特征在于，它还包含：

确定所述文档的区域，其中，所述区域被所述文档的内容所遮盖，并且其中，所述文档是加水印的。

9.根据权利要求1所述的方法，其特征在于，它还包含：

校准所述笔尖以获得一校准参数，其中，所述映射包含利用所述校准参数和一从局部定位中获得的透视变换。

10.根据权利要求9所述的方法，其特征在于，所述校准包含：

将所述笔尖固定在所述文档的一接触点上；

改变一笔式摄像机中心的位置；以及

将所述笔式摄像机中心的位置映射到所述接触点。

11.根据权利要求9所述的方法，其特征在于，所述校准参数表示一虚拟笔尖位置。

12.根据权利要求1所述的方法，其特征在于，(ii)包含：

(ii-1)从所述提取比特中选择第一子集；

(ii-2)解码所述第一子集；以及

(ii-3)响应于(ii-2)，如果没有检测到误差比特，则直接从提取比特的经解码的第一子集确定所述捕获图像的位置坐标。

13.根据权利要求3所述的方法，其特征在于，所述分析包含：

计算一图案参数，所述图案参数表征所述迷宫图案的网格线。

14.根据权利要求6所述的方法，其特征在于，(ii)包含：

(ii-1)通过应用从迷宫图案分析中获得的一仿射变换来缩放和旋转一捕获的图像；以及

(ii-2)将经缩放和旋转的捕获的图像对齐到一搜索区域的选择点。

15.根据权利要求14所述的方法，其特征在于，(ii)还包含：

(ii-3)将所述经缩放和旋转的捕获的图像与一文档图像进行匹配，其中，所述经缩放和旋转的捕获的图像对应于一最大互相关值。

16.根据权利要求1所述的方法，其特征在于，所述映射包含：

利用一透视变换根据所述捕获图像的位置坐标计算笔尖位置坐标。

17.根据权利要求8所述的方法，其特征在于，所述确定包含：

(aa)获得一文档图像，其中，所述文档图像是加水印的。

18.根据权利要求17所述的方法，其特征在于，所述确定还包含：

(bb)确定一像素的相邻窗口是否只包含迷宫图案单元，其中，所述文档图像是由多个子窗口来表示的；以及

(cc)如果所述子窗口不仅仅包含所述迷宫图案，则确定可见迷宫图案单元的一个度量，其其中，(cc)包含：

(cc-1)将所述文档图像划分成具有与迷宫图案单元相同大小的多个块；

(cc-2)如果对应的小块被文档内容遮盖，则以一像素作为相邻窗口的中心，对在所述相邻窗口中完全可见块的数目进行计数；以及

(cc-3)以一表示可见块数目的指示符来标记所述像素。

19.一种确定图像捕获笔在文档内部的笔尖路径的设备，其特征在于，它包含：

一解码模块，它对与由所述图像捕获笔捕获的捕获图像相关联的提取比特解码，所述解码模块包括：

用于获得与所述捕获图像相关联的提取比特的装置；

用于处理所述提取比特以便确定所述提取比特是否包含至少一个误差比特，并且如果没有检测到误差比特则确定所述捕获图像的位置坐标的装置；以及

如果检测到所述至少一个误差比特，则处理所述提取比特以便根据所述提取比特的一部分确定所述位置坐标的装置，

其中，所述位置坐标符合一局部约束，其中，所述如果检测到所述至少一个误差比特，则处理所述提取比特以便根据所述提取比特的一部分确定所述位置坐标的装置包含：

如果检测到一个误差比特，则从所述提取比特中选择一个不同的子集的装置，其中，所述不同子集的至少一个比特不是先前已正确解码的比特中的一个；

用于对所述不同子集的相关联的比特解码的装置；

用于确定是否应该执行另一解码迭代的装置；

如果应该执行另一解码迭代，则从所述提取比特中选择另一子集的装置，其中，所述其它子集的至少一个比特是从每一先前的迭代的一组错误解码的比特中选出的，并且重复所述用于解码的装置的动作；以及

如果不应该执行另一解码迭代，则确定所述捕获图像的位置坐标的装置；

一匹配模块，如果所述捕获图像的位置坐标不能由所述解码模块来确定，则将所述捕获图像与所述文档的图像信息进行匹配，其中将所述捕获图像与所述文档的图像的一个区域匹配，其中，所述区域是通过分析所述文档的所述图像或者一相邻的图像帧的对应位置而估计的，并且其中，所述对应位置是通过m-阵列解码或者全局定位来确定的；以及

一映射模块，它根据在所述笔在所述文档上移动时由所述笔捕获的图像的位置坐标来映射所述笔尖路径，并且提供路径信息。

20.根据权利要求19所述的装置，其特征在于，它还包含：

一校准模块，它根据笔相对于所述笔尖的移动信息确定一校准参数，其中，所述映射模块使用一变换和所述校准参数连同所述捕获图像的位置坐标一起来映射所述笔尖的路径。

21.根据权利要求19所述的装置，其特征在于，它还包含：

一加水印文档分析器，它确定文档的一个区域并提供有关所述区域的图像信息，其中，所述区域被所述文档的内容所遮盖，并且其中，所述文档是加水印的。

22.根据权利要求19所述的装置，其特征在于，它还包含：

一迷宫图案分析器，它提取与所述捕获图像的迷宫图案相关联的提取比特，并且向所述解码模块提供所提取的比特。

23.根据权利要求22所述的装置，其特征在于，它还包含：

一图象分割模块，它从所述捕获图像的一遮盖成分分割所述迷宫图案，其中，所述遮盖成分包含遮盖所述迷宫图案的文档内容。

Images