CN1499443A - 被动嵌入的交互编码 - Google Patents

Abstract

本发明提供一种被动嵌入的交互编码，描述了一用于编码一文件图像和根据该图像找出位置的系统和方法。将文件页面编码成与该文件页面的不同位置关联的代码。将代码编制成代码本。然后对被拍摄的图像相似地编码并对照代码本的代码进行搜索。返回一个或多个代码及其关联的位置，从而为该被拍摄的图像提供一个或多个可能的位置。

Description

被动嵌入的交互编码

技术领域

本发明涉及用一支数字笔与纸交互。更特别是，本发明涉及确定由一支数字笔在纸上所做注释的位置。

背景技术

计算机用户习惯于使用鼠标和键盘作为一种与个人计算机交互的方法。尽管个人计算机比书面文件提供许多优点，但大多数用户继续使用打印的纸来完成某些功能。这其中的一些功能包括阅读和注释书面文件。就注释而言，打印文件承担更重大的意义，因为用户将注释放在打印文件上。然而，当有一个带有注释的打印文件时，困难之一是以后需要将这些注释输入回该文件的电子格式中。这要求原用户或其它用户费力地读完注释并将它们输入到个人计算机中。在有些情况下，用户会扫描输入注释和原始文本，从而创建一个新文件。这些复杂的步骤使在打印文件与该文件的电子版本之间的交互难以反复地处理。而且，扫描输入的图像常常是不可修改的。可能没有办法将注释与原始文字分开。这使得注释难以使用。因此，需要一种改进的处理注释方法。

概述

本发明的构思为上面所提到的至少一个问题提供解决方案，从而使人们能够在一个可视图像上确定一个或多个位置。知道这些位置可让用户在一个物理文件上书写注释并使那些注释与物理文件的一个电子版本联系起来。本发明的有些构思涉及用于编码物理文件的各种技术。其它构思涉及以可搜索的格式组织编码文件。

通过下面的附图和相关的说明将会了解本发明的这些和其它构思。

附图简要说明

在结合附图阅读时，能更好地理解前面的本发明的概要和下述最佳实施例的详细说明，这些附图是作为例子包括在此，而不是用来限制所要求保护的发明。

图1示出对结合本发明的实施例可使用的计算机的一般描述。

图2示出一个按照本发明的实施例分析收到的图像并创建一个代码本的过程。

图3示出一个用于按照本发明实施例确定一个来自摄像机的图像的一个或多个可能位置的过程。

图4示出按照本发明实施例的一个笔和图像拍摄系统的可能视图。

图5示出按照本发明实施例的一个用于编码图像的第一过程。

图6示出按照本发明实施例的一个用于编码图像的第二过程。

图7示出按照本发明实施例的一个用于编码图像的第三过程。

图8示出按照本发明实施例的一个代码本的结构的例图。

详细说明

本发明的构思涉及确定一个被拍摄图像相对于一个较大图像的的位置。在此描述的位置确定方法和系统可与一支多功能笔结合使用。此多功能笔提供拍摄在一固定文件上所做的手写注释的能力，然后用固定文件上信息使注释可定位。固定文件可以是一个打印文件或者可以是一个在计算机屏幕上再现的文件。

下面安排成许多小节，帮助读者理解本发明的不同构思。这些小节包括：术语、通用计算机、确定被拍摄图像的位置、编码、代码本的生成、和候选搜索。

术语

笔-可包括或不包括贮存墨水能力的任何书写工具。在有些例子中，按照本发明实施例可使用无墨水能力的指示笔(stylus)作为笔。

摄像机-一个图像拍摄系统。

编码-(或者从一物理纸格式扫描输入或者从一电子格式再现)或从一摄像机取得的一图像并以某种方式修改它的一个过程。

代码本-存储编码图像或编码子图像的存储器。

通用计算机

图1是一个常规的通用数字计算环境的一个实例的功能方框图，该计算环境能用于实现本发明的不同构思。在图1中，一个计算机100包括一个处理单元110，一个系统存储器120，和一个连接各种系统组件包括系统存储器到处理单元110在内的系统总线。系统总线130可以是几种类型中任一种的总线结构，包括存储器总线或存储器控制器，外部总线，和使用任何各种各样的总线结构的局部总线。系统存储器120包括只读存储器(ROM)140和随机存取存贮器(RAM)150。

一个包含基本例行程序的基本输入/输出系统160(BIOS)存贮在ROM140中，而这些例行程序帮助在计算机100内的组件之间传送信息，如在启动时。计算机100还包括一个用于读写硬盘(未示出)的硬盘驱动器170，一个用于读写可移动磁盘190的磁盘驱动器180，和一个用于读写可移动光盘192如CD ROM或其它光盘介质的光盘驱动器191。硬盘驱动器170、磁盘驱动器180和光盘驱动器191由硬盘驱动器接口194、磁盘驱动器接口193和一个光盘驱动器接口194分别连接到系统总线130。驱动器和它们关联的计算机可读介质为个人计算机100提供计算机可读指令、数据结构、程序模块和其它数据的非易失存储。本技术领域的技术人员能了解能够存储由计算机存取的数据的其它类型的计算机可读介质，如磁带盒、闪存卡、数字视频盘、伯努利盒(Bernoulli catridge)、随机存取存储器(RAM)、只读存储器(ROM)等等，也可以在范例操作环境中使用。

能够在硬盘驱动器170、磁盘190、光盘192、ROM140或RAM150上存储许多程序模块，包括操作系统195、一个或多个应用程序196、其它程序模块1997和程序数据198。一个用户能够通过输入设备诸如键盘101和指点器102向计算机100输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏垫、圆盘式卫星电视天线、扫描仪等等。这些和其它输入设备经常通过连接到系统总线的串行口接口106连接到处理单元110，但可以用其它接口连接，如并行口、游戏口或通用串行总线(USB)。另外，这些设备还可以通过适当的接口(未示出)直接连接到系统总线130。监视器107或其它类型的显示设备也通过一个接口如视频适配器108连接到系统总线130。除了监视器，个人计算机通常包括其它外部设备(未示出)，如扬声器和打印机。在一个较佳实施例中，为了以数字方式捕捉手写输入提供了笔数字化器165和与它共存的笔或指示笔。虽然示出的是笔数字化器165与串行口直接连接，实际上，如在本技术领域中所公知的，笔数字化器165可以通过一个并行口或其它接口和系统总线130直接与处理单元110连接。而且，尽管所示的数字化器165与监视器107是分开的，较佳的是数字化器165的可用输入区域与监视器107的显示区域在大小上是一致的。更进一步，数字化器165可以集成在监视器107中，或者可以作为一个独立的设备，重迭在监视器107上或悬挂在监视器107上。

计算机100使用逻辑连接至一个或多个远程计算机如远程计算机109，能够在一个网络环境中运行。远程计算机109可以是一个服务器、路由器、网络PC、点对点设备或其它普通网络节点，并且通常包括上面有关计算机100所述的许多或全部元件，尽管在图1中只示出一个存储器存储设备111。在图1中所示的逻辑连接包括局域网(LAN)112和广域网(WAN)113。这样的网络环境在办公室、企业级计算机网络、企业内部互联网和互联网中是很普通的。

当在一个LAN网络环境中使用时，计算机100通过网络接口或适配器114连接至局域网112。当在一个WAN网络环境中使用时，个人计算机100通常包括一个用于与广域网113如互联网建立通信的调制解调器或其它工具。调制解调器115可以是内置式的或外置式的，通过串行口接口106连接到系统总线130。在一个网络化环境中，所述与个人计算机100有关的程序模块或其部分，可以存储在远程存储器存储设备中。

可以理解，所示的网络连接是示意性的，可以使用在计算机之间建立通信连接的其它技术。假定存在任何现有的各种公知的协议如TCP/IP、以太网、FTP、HTTP等，系统就可以以客户机-服务器配置运行允许用户从一个基于网站的服务器检索网页。可以使用任何不同的常规网页浏览器显示和操纵网页上的数据。

确定被拍摄图像的位置

本发明的构思包括以可搜索格式存储一个文件的编码版本。当用一个注释装置(例如，一支附带着一个用于拍摄文件的子图像的摄像机的笔)书写注释时，系统可确定摄像机的位置。确定照机机位置可用于确定注释所处的位置。在本发明的有些构思，笔可以是在纸上书写的墨水笔。在其它构思，笔可以是一种指示笔，让用户在计算机显示器的表面上书写。在后一种例子中，可将写在计算机屏幕上的注释提供返回支持显示在计算机屏幕上的文件的系统。通过反复地拍摄摄像机的位置，系统能够跟踪正由用户控制着的指示笔的动作。

要确定一个被拍摄图像的位置，可使用三个步骤。然而，在实际上，这三个步骤方面可以组合成少于三个步骤或者分成多于三个步骤。第一步骤涉及将图像编码成一个可搜索格式。在一个例子中，将图像编码成一种可搜索格式并与图像的一个位置(例如，图像的中心坐标)联系起来。一个被拍摄图像的中心位置可以是在文件图像的任意位置。任何子图像(其中心在文件图像的任意位置)可被编码。这提供的好处是可以编码文件图像的不同位置，因此任何可能的位置(在该位置能够确定被拍摄图像的位置)被存储在一个代码本中并可以被搜索。

第二个步骤涉及将编码的图像或子图像编制成一个可搜索的结构。第三个步骤涉及搜索编码的信息集合以确定一摄像机的图像相对于原文件的位置。然后可以用随后的处理确定指示笔笔尖相对于来自摄像机的图案的位置。

参照图2，在步骤203中接收一个文件的一个图像。在步骤203中接收的文件图像可以是从步骤201中纸文件的扫描而得到的。做为选择，步骤203的图像可以由步骤202中的一个应用程序生成的。

在步骤204中，将图像分析成子图像。在步骤205中，将子图像转换成一种附带了其位置的可搜索格式，也就是说，得到一些位置-代码对。因此，每个具有整数象素单位的位置具有一个对应的代码。在步骤206中，具有来自步骤205的位置-代码对的编码数据集被安排在一个可搜索的代码本中，该代码本是按代码的性质索引的。

参照图3，在一个代码本中搜索一个对应于来自摄像机的图像的图像。来自摄像机的图像的尺寸可近似于来自一个较大图像的子图像的尺寸。使子图像的尺寸近似于来自摄像机的图像的相同尺寸可让搜索更快。否则，将来自摄像机的图像缩放到子图像尺寸，将子图像缩放到摄像机图像尺寸，或者两种缩放类型的某些组合可用于比较图像。在步骤304中，来自步骤302的摄像机的一个图像与来自代码本301的数据集比较。比较步骤304可包括找出N个最佳代码，这些代码超过代码本数据301和被拍摄图像302之间的一个阈值。在步骤302中来自摄像机的图像可直接用于步骤304或可经过步骤303的预处理和编码。步骤303的预处理可包括将灰度级图像转换成二进制黑白图像。预处理可包括旋转，弯曲，白层次平衡(white level balance)，量化误差，透视校正等等。步骤303的编码指对来自摄像机的图像(步骤302)应用与步骤205相似的处理。

然后，在步骤305中，所找到的N个(超过阈值的)编码作为位置候选。从步骤303获得的代码与代码本中的代码比较，并保留与来自步骤303的代码最佳匹配的代码。由在步骤305中所确定的图像的位置，在步骤306中确定笔尖的位置。可选择地，如在虚线框中所示，可在步骤307中处理新的注释并在步骤308中更新代码本。当用户在先前存在的注释上或其附近书写时，把注释增加回原处的工序可提高系统确定一个摄像机帧(camera frame)位置的能力。

这种被拍摄图像位置的确定可用于确定用户与纸、介质或显示屏幕交互作用的位置。在本发明的有些构思，笔可以是在纸上书写的墨水笔。在另外的构思，笔可以是让用户在计算机显示器的表面上书写的指示笔。任何交互可被提供回具有文件上的编码水印知识的系统或者支持显示于计算机屏幕上文件的系统。通过反复地俘获摄像机的位置，系统能够跟踪正由用户控制的指示笔的动作。

图4A和4B示出一支带有一个摄像机403的笔401的图解例子。笔401包括一个可包括或不包括储墨水器的笔尖402。摄像机403从表面407拍摄到一个图像404。笔401可进一步包括附加的传感器和/或如在虚线框406表示的处理器。这些传感器和/或处理器406还可包括传送信息至另一支笔401和/或一台个人计算机(例如通过蓝牙(Bluetooth)或其它无线协议)的能力。

图4B表示由摄像机403所看到的一个图像。在一个图解例子中，摄像机403的视野为32×32象素(其中N＝32)。因此，图4B示出一个32象素长32象素宽的视野。尺寸N可根据所需要的图像分辨率值进行调整。而且，虽然为了这里图解的目的将摄像机403的视野示为一个正方形，但是视野可以是其它形状，如在本技术领域中已知的其它形状。

从摄像机403到笔401的输入可以定义为一个图像帧序列{Ii}，i＝1，2，...，A，其中Ii是由笔401在采样时刻ti拍摄的。采样速度可以是固定的或者可以是根据文件尺寸变化。拍摄的图像帧尺寸可大可小，依赖于文件的尺寸和所需要的精度。而且，摄像机图像尺寸可以根据要被搜索的文件尺寸确定。

由摄像机403拍摄的图像可直接由处理系统使用或者经过预过滤。预过滤可在笔401中进行或者可以在笔401之外(例如在一台个人计算机中)进行。

图4B的图像尺寸为32×32象素。如果每个编码单元尺寸为3×3象素，那么拍摄的编码单元的数量会约为100个。如果编码单元尺寸为5×5，那么拍摄的编码单元数量约为36。

摄像机403的输出可以与代码本中的编码信息比较。代码本可以由一个图像的颜色、灰度级或黑白扫描创建。做为选择，代码本可以由一个由应用程序输出的图像或者一个接收到的图像生成。代码本与序列{Ii}比较的输出可以由序列{Pi}，i＝1，2，...，A表示，其中Pi表示笔尖402在采样时刻ti在文件位图中所有可能的位置候选。

图4A还示出图像平面409，在它上面形成了一个来自位置404的图案的图像410。从图案接收到的光由透镜408聚焦在目标平面407上。透镜408可以是一个单一透镜或者一个由多部分组成的透镜系统，但是这里为了简单起见，只是用一个单一透镜作为代表。图像拍摄传感器411拍摄图像410。

图像传感器411可以大到足够拍摄图像410。作为选择，图像传感器411可以大到足够在位置412拍摄一个笔尖402的图像。作为参考，在位置412的图像被称为虚拟笔尖。要注意虚拟笔尖相对于图像传感器411的位置是固定的，因为在笔尖、透镜408和图像传感器411之间是常数关系。因为从虚拟笔尖412的位置(由L_{virutal_pentip}表示)到真正的笔尖402的位置(由p_entip表示)的转换，人们能够确定被拍摄图像410相对于真正笔尖的位置。

下面的转换F_s-p将由摄像机拍摄的图像转换为在纸上的真实图像：L_paper＝F_s-p(L_Sensor)

在书写期间，笔尖和纸是在同一平面上的。因此，从虚拟笔尖到真实笔尖的转换也是F_s-p：L_pentip＝F_s-p(L_{virutal_pentip})

转换F_s-p可以被称为透视转换。这个转换可以简化为：

作为F_s-p的估算，其中θ、s_x和s_y是在位置404所拍摄的图案的旋转角度和两个方向的比例。而且，人们能够通过将拍摄图像与纸上相应的背景图像匹配而从F’_s-p提炼(refine)出F_s-p。“提炼”指通过一种被称为一种递归方法的优化算法得到一个更精确的透视矩阵F_s-p(8个参数)。递归方法以矩阵F’_s-p作为初值。F_s-p比F’_s-p更精确地描述了S与P之间的转换。

接着，能够通过校准确定虚拟笔尖的位置。

将笔尖402放在纸上一个已知位置L_pentip。然后倾斜笔，让摄像机403以笔的不同姿势拍摄一系列图像。对于被拍摄的每个图像，可以收到转换F_s-p。从这个转换，能够获得笔尖的虚拟图像的位置L_{virutal_pentip}：L_{virutal_pentip}＝F_p-s(L_pentip)和F_p-s＝1/F_s-p

通过对从每个图像收到的L_{virutal_pentip}取平均值，可以确定虚拟笔尖L_{virutal_pentip}的一个精确的位置。

现在虚拟笔尖L_{virutal_pentip}的位置是已知的。还能够从拍摄的图像获得转换F_s-p。最后，能够使用这个信息确定真实笔尖L_pentip的位置。L_pentip＝F_s-p(L_{virutal_pentip})

编码

待编码的图像可以来自于扫描文件的扫描仪。做为选择，待编码的图像可以是一种固定的、电子格式的(例如一个具有固定显示尺寸且只有只读权限的电子文件)。尽管文件实际上是可修改的，但是为了定位摄像机的位置，编码的版本通常对应于摄像机403所看到的文件。否则，虽然还存在相关性，但是代码本可能不如在扫描文件和来自摄像机的图像之间的相似性那样精确。

将图像语法分析成子图像。将每个子图像编码成一种易于搜索的格式。可将子图像设置成与摄像机403的输出相同的尺寸。这样提供的好处是，在摄像机403的输出和存储在代码本中的信息之间进行大致相等的搜索比较。在所得到的位置上可执行后续的处理以确定在输入图像上的注释和/或控制一个基于所扫描图像的计算系统的其它操作。

下面介绍多个不同的编码法方案，可用于生成代码本。从摄像机拍摄的图像在使用笔401时也可以使用下列编码方法之一编码，有助于代码本中的信息与来自摄像机的编码信息的比较。可能存在多种编码系统。在这里提供三种；不过可以使用其它编码技术。

简单编码法

第一种类型编码法包括使用从一个收到的图像本身被语法分析的子图像充当代码。图5示出这个过程的一个例子。一个输入图像501在步骤502中被语法分析成子图像。子图像(由503表示的)与其在图像501中的位置联系在一起并被存储在代码本505中。当搜索代码本505时，将来自摄像机403的一个图像与代码本505中的一个或多个存储的子图像比较。由比较可提供一个或多个候选。接着，可以确定笔尖402的位置。

减小尺寸编码法

另一个编码例子包括减小每个子图像的尺寸。首先，接收图像601。图像601可表示为图像块I。图像块I，在某些情况下，可以通过对图像块I应用一个阈值而被转换成一个二进制图像I_b。下一步，从种族上说，子图像可用K_x*K_y表示，而每个子图像的尺寸为m*m。在图6的例子中，m＝4。在另一个例子中，m＝32即子图像被分成一个32*32点阵，与图4B的点阵相似。

而且，每个子图像的细分部分m不必直接对应于一个摄像机的图像分辨率。例如，细分部分m可以是更小的细分部分的组合或部分组合。这里，如果更小的细分部分数量为32，而m＝4(在图6中)，则每个细分部分m可包含8个象素。

接着，可以对一个细分部分的内容应用一个基于规则的分析或阈值604(例如，一个是/否测试)。一个待应用于子图像603中每个细分部分的阈值或规则的例子可包括一个在每个细分部分中是否存在三个邻接的白色列的判断。当然，可以使用基于其它规则的分析代替这个实例，或者结合这个实例使用。

基于这个分析604的结果，可以产生一个矩阵605。矩阵605示出阈值604应用于子图像603中每个细分部分的结果的例子。K矩阵(K_x宽乘K_y高)具有值0/1，其中1表示是而0表示否。所得到的矩阵K可表示为图像块I的C_I ^k-win，其中k-win是涉及本编码方法的另一种方式。在如矩阵605的一个子图像映射的例子中，C_I ^k-win可以表示为方程式1。

(1)[方程式1]

这种类型的编码法可以通过确定第一矩阵和来自摄像机403的图像所形成的矩阵之间的距离进行搜索。在两个矩阵之间的距离是两个矩阵之间的海明距离(hammingdistance)，如由方程式2所表示的。

(2)[方程式2]，Dist^ham C₁C₂＝Ham(C₁，C₂)

其中Ham(a，b)是矩阵a和矩阵b之间的海明距离。

径向编码法

另一种类型编码法，称为径向编码，参照图7描述。接收图像701并在步骤702中将它语法分析成子图像。在703中，通过沿方向S围绕子图像的中心旋转向量T对子图像采样。在703的子图像中所遇到的信息由展开的图像704表示。也就是说，在极坐标中对703的子图像块采样。

将在703中的子图像的中心象素(或区域)作为原点，采样角度为S，采样向量的量值为T。对于一个32乘32的象素区域，S＝32且T＝16。

对于每个采样点(t，s)，t＝0，1，...，T-1，s＝0，1，...，S-1，它在笛卡儿坐标中的位置是(x_t，s，y_t，s)，其中x_t，s和y_t，s分别由方程式3和4表示。

(3)[方程式3] $\left(x_{t,s}\right)=t\frac{N}{2T}\cos (s\·\frac{2\mathrm{\π}}{s})$

(4)[方程式4] $y_{t,s}=t\frac{N}{2T}\sin (s\·\frac{2\mathrm{\π}}{s})$

点(t，s)的灰度值由方程式5表示，

(5)[方程式5]，G_t，s＝F(X_t，s，Y_t，s)

其中F是一个由方程式6表示的2-D高斯过滤器。

(6)[方程式6] $F(s,y)=\frac{\underset{i=-q}{\overset{q}{\mathrm{\Σ}}}\underset{j=-q}{\overset{q}{\mathrm{\Σ}}}{e}^{\underset{\‾}{-({\left(\right[x]+i-x)}^2+{\left(\right[y]+j-y)}^2)}}p\left(\right[x]+i,[y]+j)}{\underset{i=-q}{\overset{q}{\mathrm{\Σ}}}\underset{j=-q}{\overset{q}{\mathrm{\Σ}}}{e}^{\frac{-({\left(\right[x]+i-x)}^2+{\left(\right[y]+j-y)}^2)}{{\mathrm{\σ}}^2}}}$

其中P(x，y)表示在位置(x，y)象素的灰度值；括号“[]”表示一个实数值的最接近整数；σ和q是过滤参数。过滤参数的例子可包括σ＝1.15，q＝1。这些值是通过经验地测试该算法，判断对于一个给定环境哪个值工作得最好来确定的。

当极坐标用来分析如703中所示的子图像块时，所得到的解析在处理摄像机帧和子图像之间的旋转差异中具有较高的健壮性。因为拍摄的摄像机图像的旋转转换成704中的移位，所以要与代码本中信息比较的摄像机图像的旋转不是一个复杂问题。

对于其与向量T相交的每个角度S，可将704中的图像转换成它的二进制表示，如在表705中所示。在s的范围为从0至S-1时，度数值为2π·s/S。如果在最初扫描、接收和拍摄时没有预先将图像或子图像(701，702，703，704)转换成一个二进制(黑和白)图像，则可在许多地方将它们转换成二进制图像。

可通过对灰度值矩阵中的值应用一个阈值，将灰度值矩阵{G_t，s}(其中t＝0，1，...，T，s＝0，1，...，S-1)转换成一个二进制矩阵C_I ^rad(如方程式7所示)。

(7)[方程式7]

然后可以将这个代码编译到具有与子图像在较大图像中的位置有关的信息的代码本中。

要用代码本中的不同代码确定一个摄像机图像的位置，可以求出在摄像机图像和其它代码表示之间的距离。对于候选的最小距离或最小距离集合可表示不同位置的最佳选择。可由摄像机图像和当前子图像的之间的海明距离计算出这个距离。

如前面所述，来自摄像机拍摄图像的距离可与来自代码本的一个或多个代码段比较。对于径向编码至少可以使用两种类型的距离：常用海明距离(common hammingdistance)和旋转标量距离(rotation-invariant distance)。可以使用其它距离测定法。

如方程式8表示的常用海明距离可用于求出一个代码本代码和与一个摄像机图像关联的代码之间的距离。

(8)[方程式8]Dist^ham(C₁，C₂)＝Ham(C₁，C₂)

可使用的另一种距离类型包括旋转标量距离。使用旋转标量距离的好处是摄像机的旋转如方程式9所示进行选址。

(9)[方程式9] ${\mathrm{Dist}}^{r-i}(C_1,C_2)=\underset{d-0,...,s-1}{\min }\left(\mathrm{Ham}(C_1,\mathrm{Rot}(C_2,d))\right)$

其中Rot(C_I ^rad，d)的定义成如在方程式10中所述。

(10)[方程式10]

代码本的生成

代码本存储与取自一个图像的子图像有关的代码和与它们在图像中的位置相关的代码。可在用摄像机403拍摄图像之前创建代码本。做为选择，可在使用期间创建代码本或至少扩充代码本。例如，摄像机可在操作期间捕获图像。如果用户只是在如图501、601和701中的现有的信息上书写，那么可象现在所述那样使用代码本确定由摄像机拍摄的图像位置。不过如果用户在新的注释上书写，代码本就不会像其原来那样正确。因此，当用笔401增加新的注释时，可将这些注释合并回代码本，这样将来的注释将会更准确地与它们在屏幕上的显示联系在一起。

下面是代码本的生成。用一种编码方法对503、603和703中所示的子图像编码。接着，组织位置一代码对以创建代码本。至少两种类型的组织方法可用于创建代码本。当然，也可以使用其它方法创建代码本。这两种方法只是作为示意性例子给出的。

第一种方法是将位置-代码对放在一种线性表中，在线性表中每个节点包含一个代码与一个位置的序列，其中所有的位置变换成代码。那么代码本可以用方程式11表示：

(11)[方程式11]Ω＝{Ψ_I，i＝1，2，....，N_Ω}

其中Ψ定义为Ψ＝{C_Ψ，P_Ψ}，P_Ψ是在文件位图中所有位置的集合，其中P_Ψ的代码是在方程式12中所示的C：

(12)[方程式12]P_Ψ＝{P_i|在位置P_I的代码是C_Ψ，i＝1，2，...}

接着，集合Ω可按每个成员Ψ的代码以字母顺序分类排序，于是获得线性表类型的代码本。

第二种方法是将代码及它们对应的位置放到一个二进制树中。

二进制树可基于在如图8所表示的代码之间的汉明距离。首先，找出全部代码集合Ω的矩心Cc₀。接着，找出具有离矩心Cc₀的最大汉明距离的代码C₀。接着，找出具有离代码C₀的最大距离的代码C₁。

然后将代码集合C划分为两个子集：Ω₀和Ω₁。Ω₀的内容可用方程式12表示，并且Ω₁的内容可用方程式13表示。

(12)[方程式12] ${\mathrm{\&Omega;}}_0=\{{\mathrm{\&psi;}}_1,|\mathrm{Dist}(C_{{\mathrm{\&psi;}}_I},C_0)<\mathrm{Dist}(C_{{\mathrm{\&psi;}}_i},C_i)\}$

(13)[方程式13] ${\mathrm{\&Omega;}}_1=\left\{{\mathrm{\&psi;}}_1\right|\&NotElement;{\mathrm{\&Omega;}}_0\}$

然后，对于子集Ω₀和Ω₁，重复进行找出矩心，找出具有离矩心最大距离的代码，找出具有离矩心距离最大代码的最大距离的代码，然后分解子集的步骤，直到子集的成员数量是1为止。

候选搜索

可通过搜索代码本确定来自摄像机的一个拍摄帧的位置候选。对于每个摄像机拍摄帧Ii，笔尖的候选位置可以如下面确定：

1)使用用于生成代码本的相同编码方法对来自摄像机的帧Ii编码；

2)把编码帧E_Ii与代码本中的信息比较。求出编码帧E_Ii和代码本中的编码信息之间的距离。具有离编码帧E_Ii最小距离的代码本中的编码信息可用作位置候选或位置候选之一。从这些候选中，选择一个最佳的匹配。

最佳侯选的选择可包括一些不同的分析。首先，可选择最接近匹配的候选(离代码E_Ii的最小距离)。做为选择，可把最最新的候选集合与一最新的候选序列比较并依照时间比较各帧。所得到的比较应该生成一系列彼此最靠近的位置。这是所期望的结果，因为它表示笔尖随时间的移动尽可能小。另一种的结果表示笔尖在一非常短的时间内(较小概率)沿着页面转移。

为了搜索代码本，可以使用下面方法。对于每个拍摄的图像I，最佳匹配代码集S(C_I)用代码C_I定义为方程式14。

(14)[方程式14]S(C_I)＝{Ψ_I|Dist(C_I，C_Ψi)＜d_thresh，Ψ_i∈ Ω，i＝1...，N_S}

如果使用径向编码，则距离函数就应该是Dist^r-i(.，.)。

如果N_s＞N_thresh.d_thresh并且N_thresh是根据摄像机的性能选择的，则只保留在S(C_I)中具有较少距离的一些N_thresh代码。

对于图像I的位置候选集合可用方程式(15)表示。

(15)[方程式15] $P_1=\underset{i=0}{\overset{N_1}{\&cup;}}{P}_{{\mathrm{\&psi;}}_1},{\mathrm{\&psi;}}_i\&Element;S\left(C_I\right)$

虽然已经用所附的权利要求定义了本发明，但这些权利要求，对本发明旨在包括在任何组合或子组合中本文所描述的元件和步骤来说，是示例性的。因此，存在各种定义本发明的可选择的组合，这些组合包括用来自由说明、权利要求和附图组成的专利说明书的一个或多个元件构成的以各种组合或子组合。按照本设计说明书，本发明构思的交替组合，或者单独地或者与本文定义的一个或多个元件或步骤的组合，可以用作为本发明的修正方案或替代方案或作为本发明的部分，这对于相关技术领域中的技术人员来说是显而易见的：。所抱的意图是在此所包含的本发明的书面说明要覆盖所有这样的修改方案和替代方案。

Claims (20)

1.一个用于对文件的图像编码的系统，其特征在于，所述系统包括：

一接收所述文件的图像的输入设备；

一把所述图像语法分析成子图像的分析器；

一把所述子图像编码成代码的编码器；

一把与所述子图像相对于所述图像的位置相关联的代码进行存储的存储器。

2.如权利要求1所述的用于编码的系统，其特征在于，所述编码器根据所述子图像的部分进行编码。

3.如权利要求1所述的用于编码的系统，其特征在于，所述编码器根据所述子图像的径向分析进行编码。

4.一个用于创建代码本的系统，其特征在于，所述系统包括：

一接收与图像的子图像相关联的代码的输入设备；

一把所述代码组织成所述代码本的处理器，所述代码与所述子图像相对于所述图像的位置相关联；

以及一个存储所述代码本的存储器。

5.如权利要求4所述的用于创建代码本的系统，其特征在于，所述处理器将所述代码组织成一所述代码的线性表。

6.如权利要求4所述的用于创建代码本的系统，其特征在于，所述处理器将所述代码组织成一二进制树。

7.如权利要求6所述的用于创建代码本的系统，其特征在于，所述二进制树根据其离开一个所述代码本的矩心的距离分离所述代码。

8.如权利要求7所述的用于创建代码本的系统，其特征在于，所述二进制树进一步根据其离开所述代码本的细分部分的矩心的距离分离所述代码。

9.一用于搜索代码本的系统，其特征在于，所述系统包括：

一个接收代码本的第一输入设备，而该代码本拥有与图像的子图像相关联的代码和与子图像在所述图像中的位置相关的信息；

一个从附属在一支笔上的摄像机接收一个图像的第二输入设备；

一个对来自所述摄像机的所述图像进行编码和输出一与所述摄像机图像相关联的代码的编码器；

一个在所述代码本中搜索一个或多个所述代码侯选的处理器，而所述代码侯选与所述摄像机图像相关联的所述代码相类似；

一个输出与所述一个或多个代码候选相关联的一个或多个位置的输出设备。

10.一种用于对来自一文件图像的信息进行编码的方法，其特征在于，所述方法包括下列步骤：

接收所述文件图像；

把所述图像语法分析成子图像；

把与所述子图像相关的信息添加到一代码本。

11.如权利要求10所述的对信息编码的方法，其特征在于，所述方法进一步包括下列步骤：

把所述子图像和与所述子图像位于所述文件图像何处的位置信息相关联起来。

12.如权利要求10所述的对信息编码的方法，其特征在于，所述方法进一步包括下列步骤：

处理至少所述子图像中的一个图像，从而创建一个数据集，该数据集具有所述子图像中所述图像的较少信息。

13.如权利要求10所述的对信息编码的方法，其特征在于，所述方法进一步包括下列步骤：

用径向编码法处理至少所述子图像中的一个图像。

14.如权利要求10所述的对信息编码的方法，其特征在于，所述方法进一步包括对所述子图像进行图像处理的步骤。

15.一种用于创建代码本的方法，其特征在于，所述方法包括下列步骤：

接收有关子图像的已编码信息；

接收有关所述子图像位于一较大图像中何处的位置信息；

把所述已编码信息与所述位置信息相关联起来；以及，

把所述关联的信息存储为所述代码本。

16.如权利要求15所述的方法，其特征在于，所述存储步骤进一步包括把所述代码本存储为一线性表。

17.如权利要求15所述的方法，其特征在于，所述存储步骤进一步包括把所述代码本存储为一二进制树。

18.如权利要求17所述的方法，其特征在于，所述方法进一步包括减少存储在所述二进制树中的所述编码信息容量的步骤。

19.如权利要求17所述的方法，其特征在于，所述方法进一步包括下列步骤：

找出一所述已编码信息的矩心；

找出一离所述矩心最远的所述已编码信息的第一代码；

找出一离所述第一代码最远的所述已编码信息的第二代码；

将所述编码信息分离成两个数据集，一个数据集离所述第一代码较近而另一个数据集离所述第二代码较近。

20.如权利要求19所述的方法，其特征在于，所述方法重复找出一矩心到将所述已编码信息分离开的步骤，直到获得一二进制数。

Images