CN1902644A - 记录用户单元的移动的方法、装置、计算机程序和存储介质 - Google Patents

Abstract

当一个用户单元在基底上书写时，通过捕获一个图像序列来记录一个位置代码。该位置代码可被译码为一系列反映该用户单元在该基底上的移动的绝对位置。如果在任一图像中的位置代码没有被充分记录，例如因为被基底上的其它图形所遮盖，该图像相对于图像序列中的其它图像的空间关系被确定。如果在图像序列中的该其他图像的位置代码可译码为一个绝对位置，其位置代码不能被译码的图像的绝对位置也可以利用该空间关系进行确定。通过这种方式，该用户单元的移动即使在位置代码被遮盖的时候，可能是当位置代码和基底上的其它图形使用相同的印刷油墨的情况时，也能被记录。

Description

记录用户单元的移动的方法、 装置、计算机程序和存储介质

相关申请的交叉引用

本发明要求瑞典专利申请NO.03033710-1和美国临时专利申请NO.60/529627的优先权，两篇申请的申请日都是2003年12月16日，在此全部引用作为参考。

技术领域

本发明一般来说涉及移动的记录，更具体地说，涉及记录用户单元在提供有位置代码的基底上的移动的方法。执行对移动的记录可例如用来电子记录手写信息。

本发明还涉及一种可用来记录移动的装置，一种计算机程序及一种存储介质。

背景技术

通过确定用于提供笔迹的笔的移动来对笔迹进行数字化是已知的。该移动例如可通过一个或多个安装在笔上的加速计来确定。或者使用一个具有位置代码的基底，并为该笔提供一个记录该笔在该基底上移动期间其笔尖处的位置代码的传感器。设置在该笔内部或外部的一个处理单元然后就可以将该位置代码译码为一系列位置指示，如反映该笔在该基底上的移动的坐标。

WO01/26033，US5,477,012，WO00/73983和WO92/17859中披露了可用于记录笔迹的位置代码的不同例子。

另外，WO01/75779中披露了一种表单(form)，该表单具有能数字化记录写在该表单上的信息的位置代码。除了该位置代码，该基底在这里还提供了一种表单布局，如围绕输入区和指示什么信息应该填入到该输入区中的文本的框架。

根据WO01/75779，该表单布局可随该位置代码一起或在不同的阶段打印在该基底上。为了不妨碍该位置代码的阅读，应为该表单布局和该位置代码使用不同的印刷油墨。该表单布局的印刷油墨还应该对笔中的传感器是不可见的。如果该打印代码和该表单布局以相同的印刷油墨打印，则该表单布局可能部分遮盖掉该打印代码，使得在靠近该表单布局的区域或被该表单布局遮盖的区域不可能对位置代码进行译码。

但是，不同印刷油墨的使用是不现实的。更现实的是该笔在由一个单色打印机如一个单色激光打印机打印在空白纸张上的表单上使用。

发明内容

本发明的一个目的是当位置代码没有被充分记录，例如是由于该位置代码全部或部分被其它图形遮盖时，能够确定用户单元在具有该位置代码的基底上的移动。

本发明的另一个目的是能够确定用户单元在一个具有位置代码以及用相同印刷油墨打印的其它图形的基底上的移动。

这些目的中的一项或多项至少部分地通过独立权利要求所述的方法、装置、计算机程序和存储介质来实现。

根据第一方面，本发明是一种用于记录用户单元在一个提供有位置代码基底上的移动的方法，该方法包括：根据该用户单元在基底上移动期间获得的位置代码的一个图像序列中的至少一个图像的位置代码，确定该用户单元在该位置代码基础上的绝对位置；确定图像序列中第一和第二图像间的空间关系；并根据前面提及的第一和第二图像间的空间关系确定该用户单元的另一绝对位置。

为了确定该用户单元的移动，该位置代码不需要在记录的序列的所有图像中都是可译码的。如果对于一个特定图像，该用户单元的一个绝对位置不能确定，则该用户单元的位置可以作为根据序列中的两个图像间的空间关系确定的一个备选位置以及一个之前或之后确定的绝对位置。

根据在至少一个图像中的位置代码确定该用户单元的一个绝对位置的步骤以及确定第一图像和第二图像间的空间关系的步骤可以以任意的顺序被执行。

第一或第二图像可以是和对于该用户单元的前面提及的绝对位置所确定的图像相同的图像。

该第二或第一图像可以是和对于该用户单元的另一绝对位置所确定的图像相同的图像。

该用户单元的首次提及的绝对位置可以通过对该图像的位置代码进行译码来确定。下面的描述中还可以看出也可以使用其它的方法。

当确定该用户单元的首次提及的绝对位置时，如果在一个图像中的位置代码不足以对绝对位置进行译码，则可以使用两个或更多个图像中的位置代码。

从上面的描述可以看出，为了确定该用户单元的位置，这些图像不总是一个接一个进行处理的，而是有时根据来自几个图像中的信息来确定一个位置。使用多于一个图像来对一个位置进行译码这里被称为一种分布式译码。

因此，该方法还可以被描述为一种记录一个用户单元在一个具有位置代码的基底上的移动的方法，该方法包括：记录一系列图像，每个图像对应于该位置代码的一个部分区域，该部分区域足够大，以使得至少一个位置能够被译码，并能够使用来自不只一个图像的信息确定一个用户单元的位置。

本发明可以用于其中一个图像的位置代码由于一个或另一个原因不能被译码的所有情况。不能对该位置代码进行译码的原因不一定就是该位置代码被其它图形信息部分遮盖。本发明还可以用于比如当该位置代码发生了变形或不正确地位于基底上时使得一个绝对位置的译码变得不可能，或者当该位置代码没有位于基底上时的场合。

如果需要的话，本发明当然还可以用于当每个图像中的位置代码都不能译码为一个绝对图像的情况。这例如可能是与每个图像中的位置代码的译码相比，分布式译码太快和/或太简单和/或更可靠地被执行的情况。

本申请中的一个绝对位置被解释为一个不需要参考其它位置而被定义的位置，如一个由一个或多个绝对坐标定义的位置。

该第一和第二图像可以是序列中的任意一对图像。第一图像可以位于序列中第二图像之前或之后。该序列可只包括具有重叠内容的图像，或者一些图像具有重叠内容而另一些没有，或者只包括没有重叠内容的图像。该图像序列在用户单元在记录期间没有从基底抬起的情况下可能已经被记录了。该用户单元也可能在记录期间在一种或多种场合下已经从该基底上抬起了，然后又重新放到了基底上。

该位置代码可以通过一维或多维坐标来定义位置。所记录的移动可以是一维或多维方向上的移动。

该空间关系的确定可包括确定第一和第二图像间的最佳重叠位置。一种方式是校正至少第一和第二图像的内容。该第一和第二图像可以是部分重叠的。在这种情况下，这些图像的至少部分内容可进行直接比较以建立它们的空间关系。它们可以但不是必须是序列中的连续图像。

作为替代，这些图像是不重叠的，但属于一个部分重叠图像序列，这样它们的空间关系可通过连续确定该序列中中间图像的空间关系来建立。

然而在另一替代方案中，该第一和第二图像没有重叠的内容，但该空间关系可根据这些图像的内容进行确定。

这些图像可以经过预处理或未经预处理的格式进行校正。这些图像例如可以是二进制的、灰度级的或彩色的。

该校正可在像素级或更高的级别上进行，如在特征级上，其中图像中的特定特征被比较。每个特征可由多个像素来表示。可以具有特定的形式。基底上的部分表单布局或其它图形化信息可作为特征。来自用户单元的由油墨构成的笔迹也可作为特征校正。

一个位置代码通常包括多个符号或标记，其中每个符号对一个值、如一个二进制值进行编码。两个图像间的空间关系因此也可以根据符号值或确定的符号组的值的校正加以确定。

该空间关系例如可以表达或存储为一个一维或二维或多维表示第一和第二图像间的偏移的矢量。

根据第二方面，本发明涉及一种装置，其包括一个控制单元，用于执行根据第一方面的方法。

该处理单元例如可以由一个合适的可编程处理器，一个专门适用的硬件，如ASIC(专用集成电路)或FPGA(现场可编程门阵列)，数字或模拟电路或其任意组合来实现。该处理单元可与对位置代码进行成像的传感器同处一个单元内或位于另一单元内。

本发明的第三方面涉及一种计算机程序，该程序包括当在计算机中运行时使得计算机执行根据第一方面的方法的程序代码。

该计算机程序可以在如RAM，SRAM，DRAM，SDRAM，ROM，PROM，EPROM，EEPROM等电子存储器；光盘；磁盘或磁带；或其它商用的存储介质的形式进行存储或发布。该存储介质也可以是一个传播信号。

本发明其它的目标、特征和优点从下面的详细描述、所附的权利要求及附图中可以很清楚地看出。

当然，本发明不同实施方式的特征也可组合在同一个实施例中。

一般而言，权利要求中使用的所有的术语都根据本技术领域通常的含义进行解释，除非有其它明确的定义。所有对“一个、该[部件、设备、元件、装置、步骤等]”的引用都开放式解释为表示至少所述部件、设备、元件、装置、步骤等中的一个，除非有其它明确的定义。这里公开的任一方法的步骤都不必严格按照公开的顺序执行，除非有其它明确的声明。

附图说明

本发明现在将参考附图进行详细的描述。

图1是可以使用分布式译码的系统的示意图。

图2是表示一系列图像如何从具有位置代码的一个基底上被记录的示意图。

图3示出了位置代码中的一个标记的四个理想位置。

图4是可被用于记录用户单元的移动的位置代码的示意图。

图5是一个用户单元的示意图，其中可以执行分布式译码。

图6是图5所示的用户单元中的一个电子电路部分和一个图像传感器的示意性方框图。

图7A和7B示出了具有部分遮盖该位置代码的表单布局的格式的两个图像。

图8A和8B示出了包括二进制的预处理后的图7A和7B的图像。

图9A和9B示出了在点定位、光栅调整及透视校正后的图8A和8B的图像。

图10A和10B示出了从图9A和9B的图像中生成的两个点阵。

图11是一个说明了一个全部译码过程的例子的流程图。

图12是一个说明了怎样实现本发明的分布式译码的流程图。

图13是一个示出了图10A和10B的点阵的较正结果的图。

具体实施方式

图1示出了一种可以使用本发明的信息管理系统。该系统包括一个一张纸形状的基底、一个用于记录笔式用户单元2的移动的装置、和一个外部单元3。该张纸构成一个表单。可以为整张纸提供一个位置代码4，仅该代码的一小部分被示意性地放大显示，和一个表单布局5，这里该表单布局包括文本6、要被填充的框7和图像8。在该例中，假定该位置代码及该表单布局5使用相同的或不同的(但对用户单元都是可见的)印刷油墨打印。这可能导致在被表单布局遮盖的区域中无法记录位置代码。

可以用和普通笔相同的方式来使用用户单元2在纸张1上书写，并且同时以数字形式通过记录它的移动来记录正在写什么。为此，在写的过程中用户单元2连续地记录用户单元2末端处的位置代码的图像。如果每个图像中的位置代码被译码为一个绝对位置，这种译码位置所得到的顺序通常构成了一个用户单元2在基底上的运动的精确的数字表示，因此也就是基底1上所写内容以及所写位置的数字表示。

位置译码在用户单元2和/或外部单元3中执行，所记录的图像可以自动(在线)地或者当用户命令时被发送至这些单元。外部单元3可以是一个PC、一个移动电话、一个PDA(个人数字助理)、一个因特网上的服务器、或者是任何具有执行位置译码能力的其它单元。为了使数字化记录的信息正确地反映用户单元在纸张上的移动，尽可能正确和完整地进行位置译码是非常重要的。

下面将更详细地进行描述的位置代码4由符号或标记构成，它们被根据预定的规则排列或设计。如果位置代码的部分区域被正确地成像，所述部分区域具有预定的最小尺寸，则全部位置代码中的该部分区域的位置可以通过该成像的部分区域中的一个或多个符号及一种预定译码算法来明确确定。该位置可以作为笛卡尔或其它坐标系中的一对坐标来获得。

只要该部分区域中的位置代码是被完全地和正确地成像，译码就可以很好地工作。但是在实际情况下，用户单元2有时不能对位置代码全部正确成像，例如因为照明条件差，或者因为成像系统中的缺陷。如果位置代码未能在基底上很好地被精确重建，而是当被敷设到基底上时已发生了一定程度的变形，则也可能出现问题。

如果位置代码包含冗余信息，影响有限数目符号的差错在特定条件下可以被校正。

另外，WO 03/038741披露了一种位置译码的方法，其中，在译码错误的情况下，从部分区域中确定的信息与接近先前正确译码位置的匹配区域中的位置代码是如何构成的信息进行比较或匹配。选择已知匹配区域的最佳匹配部分，并且相应的位置被确定为译码位置。

但是，如果太大部分的位置代码发生变形或丢失，例如因为位置代码部分或全部被用相同类型的印刷油墨打印的表单布局所遮盖，错误校正或与位置代码的已知构成相匹配将不再可能，因为有过多的符号丢失或发生错误。作为替代，可以使用一种分布式译码，如下面参考图2所解释的。

图2示意性地示出了图1中的基底1的一小部分，但为了清楚起见，位置代码和表单布局都没有在基底上示出。当笔在基底上划动时，用户单元2同时记录位于该用户单元的末端的基底部分的图像。图2示意性地示出了4幅图像A-D被记录的位置的例子。这些图像在这里形成了一系列部分重叠的图像。理想的是，在该例子中，每个图像的位置代码被译码为一个如一对坐标形式的绝对位置指示。但是，如果该位置代码被遮盖，这将变得不可能。例如假定从图像A的位置代码中不能译码出绝对位置。然后图像A的信息被保存。如果从图像B中也不能确定位置，则图像A和B间的最佳重叠位置被确定。然后检查图像A中的位置代码和图像B中的位置代码是否可以一起被译码为一个绝对位置。即使图像A和图像B中的位置代码因为在各自的图像中被遮盖了太大程度，以至于单独都不能译码，但两个图像组合起来的位置代码则可能被译码为一个绝对位置。这在图2中用一个覆盖图像A和B的一部分的阴影区H示意性地表示。如果是这样的话，在记录图像A和B时，该用户单元的绝对位置就可以被确定，因为两个图像间的空间关系已经建立。

如果由图像A和B的组合还不能译码出一个绝对位置，则这两个图像间的空间关系被保存，例如作为一个反映图像A和B间在两维方向上、如水平和垂直方向上的位移的矢量V。上述步骤被重复直到发现一个图像或多个图像的组合中的位置代码对于一个要译码的绝对位置已经被充分完整和正确地成像。假定例如可以根据图像C中的位置代码译码出一个绝对位置。如果图像B和C间的偏移也可以被确定，则图像A和B的绝对位置就可以通过接着从图像序列中的后续图像的绝对位置中减去该偏移来确定。如果从图像D中的位置代码也不能译码出一个绝对位置，则图像C和D间的偏移被确定，并通过将该偏移加到从图像C的位置代码中译码得到的绝对位置上来确定图像D的绝对位置。

在进一步详细解释分布式译码之前，该例中使用的位置代码和用户单元将分别参考图3和4以及图5和6更为详细地进行描述。该位置代码的更加全面的描述参见WO03/001440。

该位置代码是基于一个数字序列，该序列在下面被称为一个差分数字序列。该差分数字序列具有这样的属性，即如果取预定长度的任意一部分序列，例如具有5个差分数字的部分序列，该部分序列在该差分数字序列中总是具有明确确定的位置。换句话说，它在该差分数字序列中只出现一次，并且因此可以用于位置确定。具有这样的属性的一个序列有时候被称为一个DeBruijn序列。更具体的说，该差分数字序列同时沿该位置代码的X轴和Y轴移动。

实际的位置代码由简单的图形符号或标记22组成，该符号或标记可以采用四个不同的值0-3，这取决于它们各自相对于标定位置23或光栅点的位置。如图3所示，每个符号22都是圆点状的，并沿相对于标定位置23的四个不同的方向中的一个方向放置一段距离24。该标定位置23处于可见或不可见或者虚光栅或栅格的光栅线21之间的交叉点处。符号值由位移的方向确定。每个符号值0-3可以转换为一个用于对一个x坐标进行编码的比特和一个用于对一个y坐标进行编码的比特，即转换为比特对(0，0)，(0，1)，(1，0)和(1，1)。因此，该编码在x方向和y方向上是独立进行的，但图形编码是以一个对x和y比特是公共的符号进行的。

需要提到的是该编码例如可以是如下方式：

位移	比特对(x，y)
		右	0，1
上	0，0
		左	1，0
下	1，1

合适的距离24不小于两个相邻光栅线21间的距离的约1/8，并且不大于约1/4，最好是约1/6。该距离例如可以是大约300毫米或者大约254毫米。后一个距离特别适合于打印机和扫描仪，它们的分辨率经常是几个100dpi(每英寸的点数)。位置代码的所有符号通常用同一种打印油墨打印，使得位置代码是单色的。

每个位置用6*6个符号编码，然后这些符号可以被转化成针对该位置的对x坐标的6*6比特的矩阵和对y坐标的6*6比特的矩阵。如果考虑x比特的矩阵，可以将之分割成每一个6比特的6列。一列中的每个比特序列包括一个63比特长的循环主号码序列的一个部分序列，该循环主号码序列具有的特性是：如果选择了一个长度为6比特的部分序列，则在该主号码序列中可以确定出它的明确位置。这样这6列可以被转化成对应于主号码序列中的六个位置的6个位置号码或序列值。在这6个位置号码中，可以在相邻的号码对中形成5个不同的号码，其包含不同号码序列的一个部分序列，这样同样具有一个明确确定的位置，因此，是一个沿x轴的明确确定的位置。对于特定x坐标，位置代码将根据y坐标而变化。另一方面，不同的号码将与y坐标无关地成为相同的，因为位置号码总是根据主号码序列而变化，而主号码序列在整个位置编码模式的列中是周期性重复的。

因此，y比特矩阵中的6行定义了主号码序列中的6个位置号码。这6个位置号码定义了5个不同的号码，其构成了不同号码序列的一个部分序列，因此具有沿y轴的明确确定的位置。

图4示出了具有4*4个符号的位置代码一个非常小的部分。图中所示的光栅线21仅用作说明的目的。一般说来，光栅是虚拟的。

当使用位置代码时，记录下位置代码的不同位置的图像，如上所述。该图像可包含大大超过6*6个符号。这样，如果在图像中可见的符号数目较大，可以基于6*6个符号的不同集合来对位置代码进行译码。周围的符号也可以用来译码，尤其用于误差检测和/或纠正。位置代码是所谓的“浮点类型”。这意味着，包括预定数目的符号(这里是6*6个符号)的任意部分区域将定义一个位置，并且该任意部分区域中的至少一些符号对一个以上的位置的编码做出了贡献。除非另有说明，如果该任意部分区域被向上、向下、向左或向右移动一个符号距离，则该任意部分区域中移动的符号将定义一个新的位置。

在下文中，将参考图5和图6描述一个怎样实现图1的用户单元2的例子。在该例中，用户单元2包括一个具有与笔的形状近似相同的外壳或外罩2011。在外壳短的一侧有一个开口或窗口2012，通过它来记录图像。

外壳主要装有一个摄像系统、一个电子系统和一个电源。

摄像系统2014包括至少一个照明光源、一个透镜和/或平面镜装置、和一个光学图像读取器或图像传感器(图中未显示)。光源，合适的是发光二极管或激光二极管，照亮了利用红外辐射通过窗口2012可以看到的一部分区域。利用透镜装置将可见区域的一个图像投射到图像传感器上。图像传感器可以是一个光敏区域传感器，如CCD(电荷耦合器件)或者CMOS(互补金属氧化半导体)传感器，它可以被触发，以固定速率(典型地约为70-100Hz)来记录两维图像。传感器可以是对红外线敏感的。可以以同步方式来触发传感器和发光光源。

一般而言，该图像传感器可以用任何类型的传感器来代替，只要该传感器适于对位置代码进行成像，以能够获得黑白、灰度级或彩色的符号图像。这样的传感器可以是一个对任何适当波长范围的电磁辐射敏感的固态单片或多片设备。例如，该传感器可以包括CCD元件，CMOS元件，或CID元件(电荷注入器件)。作为替代，该传感器可以包括一个用于检测该标记的磁特性的磁传感器阵列。而且，该传感器还可以被设计为形成该标记的任何化学的、声学的、磁性、电容性或电感性属性的一个图像。

该用户单元的电源可以是电池2015。该电源可以是备选的或作为通过电缆从外部电源(未示出)获得的补充。

该电子系统包括一个控制单元2016和一个存储块2013，该控制单元与该存储块相连接。该控制单元负责该用户单元内的不同功能，如从传感器读取图像以及根据这些图像执行位置译码。控制单元2016可以由一个商用的微处理器如CPU(中央处理单元)、一个DSP(数字信号处理器)或其它可编程逻辑器件如FPGA(现场可编程门阵列)或ASIC(专用集成电路)、分立的模拟和数字元件或上述组合来实现。存储块2013最好包括不同类型的存储器，如工作存储器(如RAM)和程序代码及永久存储存储器(非易失性存储器，如闪存)。相关的软件被存储在该存储块2013中，并由控制单元2016来执行，以提供给一个用户单元控制系统该用户单元的操作。

外壳2011还带有一个笔点(pen point)2017，该笔点使得用户可以在一个表面上通过设置在其上的普通的基于颜料的标记墨水进行物理性的写或画。该笔点2017处的标记墨水对照明射线是适当透明的，以免干扰用户单元中的光电检测。接触传感器2021可操作地与该笔点2017相连接，以检测什么时候该笔被应用(下笔)和/或被抬起(起笔)，并可选地用于确定应用强度。根据该接触传感器2017的输出，照相系统2014被控制以捕获该笔放下和抬起之间的图像。时间连贯的位置所得到的序列形成了一个笔触划(strike)的电子表示。

该笔点2017可以是可展开及可收缩的，这样该用户就能够控制它是否被使用。在特定的应用中，用户单元根本不需要有一个笔点。

该电子系统还包括一个通信接口2019，用于给附近或远端的装置如计算机、移动电话、PDA、网络服务器等提供数据。该通信接口2019因此可以提供有线或无线的短距离通信(如USB，RS232，无线传输，红外传输，超声传输，电感耦合等)器件，和/或用于有线或无线的远程通信，典型地通过计算机、电话或卫星通信网络的器件。

该笔还可以包括一个MMI 2020(人机界面)，其可以被选择性激活以用于用户反馈。该MMI可以包括一个显示器，一个指示灯或LED，一个振荡器，一个扬声器等。

而且，该笔还可以包括一个或多个按钮2018，通过这些按钮，该笔可以被激活和/或控制。

该用户单元可被分成不同的物理外壳。该传感器和其它对于捕获位置代码的图像并发送这些图像所必需的元件可位于第一外壳内，而对于执行位置译码所必需的元件可位于第二外壳内。

图6是图5示出的用户单元中的控制单元2016、存储块2013和图像传感器的一个实施例的示意性方框图。一个ASIC 700包括一个作为该电子电路的主控制器的CPU 720。CPU 720通过一个片装数据总线760访问存储器730。该图像传感器被实现为一个CMOS区域传感器750，其与ASIC 700的数据总线760相连，并能够以100Hz的频率产生96×96比特、256级灰度的数字图像。ASIC 700上的图像处理器710将对从图像传感器750接收到的图像进行预处理，并可在译码前将预处理过的图像存储在存储器730中。CPU 720将预处理过的图像中的位置代码译码成位置。匹配单元740可以辅助CPU 720来确定所记录的图像间的空间位置，和/或将图像中的位置代码信息与先前已知的关于有限区域内的位置代码的信息进行匹配。

在下文中，将参考图7-13对译码过程进行更详细地解释。

图7-10示意性地且以说明为目的仅示出了怎样处理一对图像。应该理解，图像一般是被以图11和12的流程图所示的顺序被处理。

当用户单元2在图1中的基底1上书写的过程中，用户单元2的图像传感器2014在图11的步骤1110捕捉基底的图像。每个捕获的图像的尺寸至少与确定一个位置所需的部分区域相同，但通常要大一些。

图7A和7B示出了从一个具有位置代码及多个圆点及表单布局的基底上顺序捕获的两个典型的图像，这些图像中的该表单布局包括字母或字母的一部分。很明显，图像具有重叠内容，并且图像是作为灰度级图像而获得的。

在步骤1120预处理每个捕获的图像，以形成一个对下面的步骤1130合适的输入，其中圆点被定位，虚拟光栅适配于这些圆点及纠正的透视图。在此关系中，可以替换掉纠正的透视图的具有圆点的光栅，以使得光栅点被定位于传感器坐标系的原点。

可以通过本领域众所周知的技术来执行步骤1120和1130，如滤波、二值化或阈值处理、以及使用傅立叶变换。例如可以如WO01/26034、WO 01/75783或WO 03/049023中描述的方法来确定光栅。

图8A和8B示出了预处理后的图7A和7B的图像。这些图像现在是二进制形式的。很明显对应于图7A和7B中的表单布局的部分图像的位置代码已经丢失。这些二进制图像还包括明显不属于位置代码的像素格式。

图9A和9B示出了图7A和7B的图像在步骤1130之后、即在圆点22已被定位且虚拟光栅21适配到其中之后的图像。而且，该透视图中已经被校正过，因此该光栅21是一个正方形光栅。

应当提到的是，该透视图不一定必须被校正。圆点值也可以根据未校正的透视图的图像进行译码，但需要考虑透视信息。可以相信，如果该透视图被校正过且该圆点值是根据透视图经过校正的点阵进行译码，结果会更好。

光栅线的交点构成了这些圆点的标定位置23。如果位置代码被全部且正确地成像，则每个标定位置23都应该有一个相关的圆点，该圆点根据其编码值的大小位于距标定位置23的四个方向中的一个方向上。在图9A和9B中，有一些标定位置23缺失，而一个相关的圆点及其它标定位置上具有多于一个的相关圆点。这可能是由于例如遮盖了表单布局，不完全的成像、不完全的预处理和/或不完全的圆点定位造成的。

在下面的步骤1140中，为每个标定位置23确定一个圆点值。为此可以使用各种方法。

例如，如果一个标定点23只有一个相关点，则可能对其进行调查以确定它是否位于图3所示的四个理想的位移位置的任一位置周围的一个特定的“安全”区内。这样的“安全”区例如可以是由中心位于四个理想的位移位置中的任一位置处、且具有预定半径的圆形区域所限定的。这样，如果发现一个圆点位于任一这样的“安全”区内，则该圆点具有由形成该“安全”区的中心的理想位移位置表示的值。

如果例如由于没有与该点相关的圆点或者由于两个圆点距离理想的位移等距离而不能确定一个标定位置的圆点值，则该位置被标记为“-”。

作为替代，如WO03/001441中描述的，对于每个标定位置，可以确定相关的圆点采用四个不同的可能圆点值中的任一个的概率。然后，可应用概率阈值，这样如果一个特定的圆点以超出比如0.8的概率对圆点值0-3中的任一个进行译码时，其中0.8是阈值，则该圆点被指定该圆点值，否则标记为“-”。

图9A和9B中圆点值的确定产生的点阵示于图10A和10B中，其中0-3表示圆点值，“-”表示对应的标定位置没有圆点值可以确定。

图10A和10B中的点阵的每一个也可以分成两个比特阵列-一个x阵列和一个y阵列-通过将这些圆点值0-3转换成比特对0，0；0，1；1，0和1，1，其中第一个比特用在x阵列中，用来确定一个x坐标，第二个比特用在y阵列中，用于确定一个y坐标，正如WO01/26033中所描述的。

最后，在步骤1150，将图10A和10B中的点阵实际译码为绝对位置。一种执行该步骤的方式将参考下面的流程图12进行详细描述。

首先，在步骤1200，获得一个用于对位置信息进行译码的新的图像。该新的图像是一个已经如上所述的处理过的捕获图像，因此已经得到了两个比特阵列。为了简化描述，这两个阵列被称为新的图像。在步骤1205，确定是否可能将该新的图像中的位置代码译码为一个绝对位置。如果该位置代码未被充分记录，例如因为在基底上部分或全部被遮盖，则该新的图像可能不包含足够用来对一个绝对位置进行译码的信息。

如果该位置代码不能被译码，则在步骤1210，通过进行相关来确定该新的图像相对于之前图像的空间关系或相对位置关系。如果由于该新的图像是第一个图像而没有之前的图像，该过程只是进行到下一步骤。

在下面的步骤1215中，检查之前图像的一个绝对位置是否已知，即是否已经被确定。如果是，则在步骤1225，利用在步骤1210确定的相对位置确定该新的图像的绝对位置，并存储为该新的图像的绝对位置。如果绝对位置未知，则步骤1220只是将该相对位置存储为该新的图像的一个相对位置，处理过程进行到步骤1270，其中该新的图像被设置为该之前的图像。但是，如果没有之前的图像，步骤1225中明显没有已知的绝对位置，则步骤1220不存储相对位置，处理过程进行到步骤1270。

步骤1270之后，处理过程在步骤1200以一个新的图像重新开始。

另一方面，如果在步骤1205确定该位置代码能够被译码为一个绝对位置，则在步骤1230对该新的图像执行译码。在下面的步骤1235中，如果有的话，检查该绝对位置对于之前的图像是否是已知的。

根据前述很显然，该之前图像的绝对位置可以是根据该之前图像的译码或根据基于相对位置的计算而已知的。

如果该绝对位置是已知的，译码后的绝对位置就简单地在步骤1240存储为该新的图像的一个绝对位置，处理过程进行到步骤1270，之后在步骤1200重新开始。

作为替代，如果该绝对位置是未知的，则以与步骤1210相同的方式，在步骤1245，该新的图像与之前的图像进行相关。之后，所有没有存储相关绝对位置的之前图像的绝对位置都可以利用该存储的相对位置在步骤1250进行计算。

从上面可以看出，如果在笔触击开始时位置代码没有被充分记录为一序列图像，则最后当一个绝对位置是可译码的时，将可能向后追溯并确定之前图像的绝对位置。

但是，一旦一个图像的绝对位置已经确定，则具有可确定的空间关系的每个图像的绝对位置也可以直接确定，通过对图像中的位置代码进行译码，或者通过与之前的图像比较其内容的至少一部分。

如果两个图像的绝对位置都已经确定，并且已经不可能确定它们之间的一个图像的绝对位置，则这两个图像的绝对位置可用于例如通过内插法来估计二者之间的该图像的位置。

步骤1210和1245中的相关可以采用不同的方法执行。一种方法是通过检查哪个重叠位置具有最多的圆点值/二进制值，对点阵的圆点值或x比特阵列和/或y比特阵列的二进制值进行相关。这种方法的优点是之前的图像可以以相对紧凑的方式被存储。

另一种替代方案是在一个更高级别上执行相关。如前所述，6*6个符号的局部区域中的一列中的每个比特序列构成了一个63比特长的循环主数字序列中的一个局部序列，该主数字序列具有这样的特性：即如果选择一个长度为6比特的局部序列，其将在该主数字序列中具有一个明确确定的位置。因此6列可以转换为对应于该主数字序列中的6个位置的6个位置数字或序列值。因此，足够完整的x阵列中的这些列可以被译码为序列值，并且可以根据这些序列值执行相关。相应地，y阵列中的行也可以被译码为序列值，并利用这些序列值执行相关。显然，能够被译码为一组符号值的其它符号组也可以用于执行相关。

另一种替代方案是以预处理的二进制的形式，但在转化为点阵或二进制值阵列之前执行之前图像和新图像的相关。该比较可以采用已知的方式通过根据不同重叠位置中的重叠像素数计算得分来进行。可以用于像素方式的相关的方法的例子在如WO98/20446和WO99/36879中公开。

另一种替代方案是当图像出现在灰度级的形式的预处理之前时对这些图像进行相关。

另一种替代方案是利用图像中独特的特征，如图7A和7B中的表单布局，对图像进行相关。

用于灰度级和特征相关的合适的相关技术对于本领域技术人员是众所周知的，例如包括方差求和和绝对差求和。

如果用户单元包括一个笔点，其输出对于用户单元的图像传感器可见的书写墨水，则相关可以根据出现在图像中的笔迹来执行。

如果之前的图像和下一图像在圆点值的基础上进行了相关，则可以用到下面的相关公式f(u，v)：

其中，I(a，b)是相等函数(equality function)，当a＝b时等于1，其它时候等于0，im1是之前的图像，im2是新的图像，宽度是这些图像的宽度，高度是这些图像的高度，u和v是表示重叠位置的平移矢量的元素，x和y是像素坐标。

图13的图表示出了图10A和10B中的点阵的相关结果。在该图中，u和v是平移矢量的元素，z表示一个相关量度。图中的峰值表示该新的图像通过一个矢量(3，0)相对于之前的图像被转换。但是，当之前的图像和新的图像之间的空间关系确定时，为了使该传感器坐标系中的原点具有一个光栅点，该透视图相关的光栅的可能的位移可能不得不加以考虑。

上面已经通过一个包括在光栅中从标定位置发生位移的圆点的特定位置代码的例子描述了本发明。

但是，分布式译码可能同样能很好地应用于连接其它类型的位置代码。例如可能用于用一个更复杂的符号对每个位置进行编码的位置代码，如US5,477,012中的位置代码，用于用多个符号但以非浮点形式对每个位置进行编码的其它位置代码，或用于其它浮点型的位置代码，如WO 00/73983，或用于任何其它位置代码。

此外本发明还通过一系列重叠图像来阐述。如上所述，一系列图像中的两个图像间的空间关系有时候即使是没有重叠内容的时候也能够被确定。作为代替，该空间关系可以根据这些图像的内容被确定。上面的例子中使用的位置代码是基于循环主数字序列，其各行和各列是重复的。例如如果用户单元在该用户代码上在水平方向移动，并且两个没有重叠的图像一个接一个地被捕获，并且如果图像间的距离在两个可能方向中的任一方向上均等于或小于该循环主数字序列的长度的一半，则该空间关系可以根据对图像内容的比较以及根据对该循环主数字序列的认识进行确定。这当然仅仅是一个例子。

参考图12中的流程图描述的译码的例子可以扩展。相关步骤1210之后，例如可以执行一个检查，以确定该新的图像和之前的图像的组合位置代码是否可译码为一个绝对位置。如果不能，该过程继续如图所示进行到步骤1215。但如果可以译码为一个绝对位置，则该新的图像的绝对位置被确定并存储。如果不知道之前图像的绝对位置，则它的绝对位置也被确定并存储。然后该新的图像在步骤1270被设置为之前的图像。

如前面所提到的，一个图像可以包括能够确定多个不同位置的多个符号集。但是，一个图像的位置或用户单元的位置在图像被记录时总是相对于该用户单元传感器的坐标系中的一个特定的参考点被定义，例如左上角。因此应该理解，当上面表明一个图像的绝对位置被存储时，是指该参考点的绝对位置被存储。如果该传感器坐标系中的另一点的绝对位置已经被确定，则该参考点的绝对位置就可以很容易地被计算出来。

在上面的例子中，使用了之前图像和该新的图像的信息。但是，当执行分布式译码时，序列中其它的图像也可以被存储并被组合使用。

不利用任何的空间关系，一个或多个图像的绝对位置也可以通过计算来自一组圆点的译码值的一个绝对位置来确定，如在US6674427和US6667695中披露的，其在此引用作为参考。一个绝对位置也可以通过根据一个用户单元的已知绝对位置对该用户单元的下一个位置进行预测，并通过将该预测出的用户单元的位置与关于该位置代码如何在该预测位置附近被构建的信息相匹配来确定，如WO 04/097723中披露的，其在这里被引用作为参考。

在图12的例子中，第一和第二图像间的空间关系只有当第一图像的绝对位置未知时才被确定。然而，根据一种变体，两个连续图像间的空间关系总是被确定，只是该信息在需要时才被使用。关于是否需要确定该空间关系并不需要特别的判断。

分布式译码的目的是为图像序列中的每个图像获得一个位置。但是，可能存在不能根据位置代码对绝对位置进行译码的图像，对于该图像也不能建立相对于另一个图像的空间关系。对于这样的图像，作为替代例如通过内插或外插的方式可确定一个位置。或者可决定不记录这样的图像的任何位置。也可能存在决定不记录图像的任何位置的其它情况。

这样，用户单元在基底上的连续移动通过该基底上的位置代码的一系列图像被记录。对于一些图像，该位置代码被直接译码为用户单元的绝对位置，对于其它图像，它们相对于之前后之后的图像的空间关系被确定，用户单元的位置从而也被确定。

Claims (14)

1、一种记录用户单元在具有位置代码的基底上的移动的方法，该方法包括：

根据该用户单元在该基底上移动期间获得的位置代码的一个图像序列中的至少一个图像中的位置代码，确定该用户单元的绝对位置；

确定该图像序列中的第一和第二图像间的空间关系；并

根据首次提到的绝对位置以及第一和第二图像间的空间关系确定该用户单元的另一绝对位置。

2、如权利要求1所述的方法，其中确定该用户单元的首次提到的绝对位置的步骤包括对所述至少一个图像中的位置代码进行译码。

3、如权利要求1所述的方法，其中确定该用户单元的首次提到的绝对位置的步骤包括根据图像序列中的至少两个图像对位置代码进行译码。

4、如权利要求1、2或3所述的方法，其中确定该空间关系的步骤包括对第一和第二图像的内容进行相关。

5、如权利要求1-4中任一权利要求所述的方法，其中确定该空间关系的步骤包括对第一和第二图像的特征进行相关。

6.如权利要求1-5中任一权利要求所述的方法，其中确定该空间关系的步骤包括对第一和第二图像中的位置代码信息进行相关。

7.如权利要求6所述的方法，其中基底上的位置代码包括多个符号，每个符号代表一个符号值，其中确定该空间关系的步骤包括对第一和第二图像中的符号值进行确定和相关。

8.如权利要求6所述的方法，其中基底上的位置代码包括至少一组符号，其对一组符号值进行编码，并且其中确定空间关系的步骤包括对至少第一和第二图像中的符号值组进行确定和相关。

9.如前面任一权利要求所述的方法，其中该基底除了该位置代码外还提供有部分遮盖了该位置代码的图形信息。

10.如前面任一权利要求所述的方法，其中该位置代码包括多个符号，每个符号相对于一个由规则光栅中的格栅线的交叉点所限定的标定位置被移位。

11.如前面任一权利要求所述的方法，其中该图像序列包括具有重叠内容的图像。

12.一种用于记录用户单元在具有位置代码的基底上的移动的装置，该装置包括一个控制单元，适用于执行根据权利要求1-11中任一权利要求所述的方法。

13.一种计算机程序，该程序包括当在计算机中运行时，使计算机执行根据权利要求1-11中任一权利要求所述方法的程序代码。

14.一种计算机可读存储介质，其中存储了一种计算机程序，当在计算机中运行该程序时，使计算机执行根据权利要求1-11中任一权利要求所述的方法。

Images