CN1842122A

CN1842122A - 处理注释数据的装置和方法

Info

Publication number: CN1842122A
Application number: CNA2006100085541A
Authority: CN
Inventors: 鹰合基行; 阿部仁; 江草尚之
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-03-29
Filing date: 2006-02-17
Publication date: 2006-10-04
Anticipated expiration: 2026-02-17
Also published as: CN1842122B; KR100847037B1; JP2006277167A; US7703001B2; US20060224950A1; KR20060105435A

Abstract

一种计算机可读的存储介质存储可由计算机执行的指令的程序以执行功能。该功能包括将输入图像数据与参考图像数据进行比较，根据比较结果提取包含在输入图像数据中的注释，分辩注释的几何图形，以及根据注释的几何图形将注释分类。

Description

处理注释数据的装置和方法

技术领域

本发明涉及一种电子化地处理手写在纸上的注释的技术，特别涉及一种根据注释的几何性质处理注释的技术。

背景技术

为了记录注解、纠正文档中的描述，或为其他目的，经常将注释手写在纸质材料上，比如文档或图。尽管这种手写的注释可能通常仅用于个人使用，但是基于文档的性质和注释的目的，有时人们会希望与他人共享该注释。例如，如果将会议上显示的演示材料打印并分发给会议的参加者，那么参加者可以在分发的演示材料上做注释。在这种情况下，在参加者间共享注释有很大的好处。

作为一个例子，通过处理经扫描转换成电子版的文档上的手写注释，能够共享使用手写注释。然而，手写注释有很多种几何图形、尺寸和位置，这些会使手写的注释比电子输入的注释更难于处理。因此，手写的注释通常由每个参加者个人保存而不在参加者之间有效地共享。

例如，在上述会议材料的情况中，由于注释经常被写在会议材料的页边空白处，所以必须将原来包含在会议材料中的文档部分按比例缩小，以便可以在屏幕上完整地显示扫描的会议材料。此外，在这种会议材料中，多个参加者会在会议材料的不同页上同时做注释。如果这些页被简单地扫描，那么将产生多个独立的文件，这些文件不带有任何原来连接这些文件的链接。在这些情况下，难以在参加者之间共享个人所做的注释。此外，还有一个问题是，目前还没有建立起适当的方案来处理不想将个人所做的注释公之于众的情况。

发明内容

注释数据处理装置包括：比较单元，用于将输入图像数据与参考图像数据进行比较；提取器，用于根据比较结果提取包含在输入图像数据中的注释；分辩单元，用于分辩注释的几何图形；分类单元，用于根据注释的几何图形将注释分类。

可由计算机执行的注释数据处理方法，包括：将输入图像数据与参考图像数据进行比较，根据比较结果提取包含在输入图像数据中的注释，分辩注释的几何图形，根据注释的几何图形将其分类。

附图简述

将根据下列附图详细描述本发明的优选实施例。

图1是显示根据本发明的实施例的装置结构的例子的框图；

图2是描述全部处理的流程图；

图3显示了打印的分发材料的例子；

图4显示了经扫描产生的输入图像数据的例子；

图5显示了一组原始图像数据的例子；

图6显示了不同图像数据的例子；

图7是描述提取注释数据的过程的流程图；

图8显示了存储的注释数据的例子；

图9是描述显示注释的过程的流程图；

图10A和10B显示了浮动类型的注释的显示格式；

图11A和11B显示了固定类型的注释的显示格式；

图12A至12C显示了被分类为浮动类型的注释的几何图形；

图13A和13B显示了被分类为非公开类型的注释的几何图形。

具体实施方式

下面将参照例子描述本发明的优选实施例，其中本发明与如上述的会议中所做的笔记结合使用。

图1示意性地显示了根据本实施例的装置的结构。图1中描述了主要的组成部分，包括计算机系统10、用户40、分发材料42和46。用包括个人计算机和外围设备的硬件组，以及控制该硬件组的操作的软件(程序)来配置计算机系统10。在本例中，用户40，除了作为计算机系统10的操作者和使用者外，还是会议的参加者。分发材料42是由计算机系统10输出的文档并被分发给会议上的用户40。用户40在分发材料42上做注释，从而创建由计算机系统10读取并电子化处理的分发材料46。

典型地，计算机系统10从记录介质11中读取程序并根据包含在该程序中的指令进行操作。计算机系统10包括前端12以及其它部件，典型地，前端12由包含显示设备和用户输入设备的硬件，以及在显示设备上显示的并由来自用户输入设备的输入操作的GUI(图形用户界面)构成。

分发材料产生器14根据经由前端的用户指令和程序进行操作，以将之前输入的、在演示中使用的图像数据(图像文件)转换为打印图像数据。在转换过程中，可以执行：将多页原始图像数据合并到一页的处理(称为N-up处理)；当预先知道会议的参加者时，增加参加者姓名和参加者选择框的处理；为生成的打印图像数据或原始图像数据分配标识文件名、页号等等的文件ID的处理，所述文件ID；或其它处理。分发材料产生器14将产生的打印图像数据发送到打印机16并使打印机16打印分发材料42。

为将手写在分发材料46上的注释转换成电子形式，用户40使用扫描仪18扫描分发材料46并产生输入图像数据。通过ID检测器20、文档获取设备22、以及图像分辩器24顺序地处理产生的输入图像数据。更明确地，ID检测器20检测产生的输入图像数据中的文件ID，文档获取设备22根据由ID检测器20检测到的文件ID检索到打印图像数据。打印图像数据是不包含注释的参考图象数据，而输入图像数据是包含注释的数据。然后，图像分辩器24将打印图像数据与输入图像数据相比较以找出两者的不同并产生包含一组手写注释的差别图像数据。此外，用户检测器26读取输入图像数据中的参加者的姓名和选择框区域内输入的选择标记，以识别与分发材料46关联的输入图像数据属于哪个用户。

注释提取器28从图像分辩器24中接收差别图像数据，从用户检测器26获得用户识别结果，然后除了将差别图像数据与用户链接之外，还从差别图像数据中提取注释。可以使用图像分析，例如，将区别图像数据划分为图像图案组的处理，来执行注释的提取。注释提取器28装备有浮动类型确定部分30以及非公开类型确定部分32，以基于注释的几何图形将注释分成不同类别。浮动类型确定部分30确定所提取的注释是否为具有指向特定位置的符号的浮动类型，非公开类型确定部分32确定所提取的注释是否包含指示注释非公开的标记。根据确定结果分类的注释的数据被存储在注释存储器34中。

注释存储器34由数据存储设备构成，比如硬盘驱动器。在存储设备中，存在包含原始图像数据和打印图像数据的文档存储器36。存储在存储设备中的图像数据由后端38读出，该后端38是指定用于根据注释存储器34和文档存储器36中存储的数据进行显示操作的设备。根据来自前端12的指令，后端38在根据原始图像数据的图像上显示注释。

现在参照图2中显示的流程图描述计算机系统10的操作流程。对于一次会议，用户40操作前端12打印分发材料42(S10)。分发材料42是打印在纸介质上的、将在会议上通过显示器(比如液晶显示器，投影机屏幕等等)观看的演示材料。演示材料由用户40独立地输入到计算机系统10中并被作为原始图像数据存储在文档存储器36中。通常，通过N-up打印来输出分发材料42，并为其提供足够的可以写注释的页边空白，在所述N-up打印中，原始图像数据的多(N)页被合并为一页。分发材料42也被提供了指示原始图像数据或由原始图像数据创建的打印图像数据的文件ID，以及用于标识谁写了注释的参加者选择框(S12)。

会议期间，用户40可以修改他们拥有的分发材料42中的描述，为做笔记而做注释，或标记标有用户自己姓名的参加者选择框，以产生分发材料46。会议结束后，或在会议期间的适当时间，用户40使用扫描仪18扫描分发材料46以创建输入图像数据(S14)。

ID检测器20从输入图像数据中读取文件ID以检测相应的打印图像数据的文件名和该文件中的页号(S16)。文档获取设备22基于检测结果从文档存储器36中检索出打印图像数据(S18)。然后，图像分辩器24比较打印图像数据和输入图像数据之间的差别以产生差别图像数据(S20)。用户检测器26从参加者选择框的标记状态中识别出做注释的用户(S22)。

注释提取器28从差别图像数据中提取注释数据(S24)，然后浮动类型确定部分30和非公开类型确定部分32基于注释的几何图形确定注释的类型。将分类后的注释数据连同标识用户姓名、用于打印的打印图像数据等的信息存储在注释存储器34中(S26)。

当需要时，通过前端12发出指令，用户40可以回顾存储的注释数据。在此情况下，后端38根据构成从文档存储器36获得的打印图像数据的原始图像数据中的单个图像以及存储在注释存储其34中的注释数据合成图像，然后在前端12上显示合成的图像(S28)。

接下来，参照图3到11，将使用特定例子详细描述上述操作。图3显示了图1中描述的分发材料42的例子。分发材料42被创建在纸页52上。在纸页52的顶部，文件ID54被表示为“FileA.ppt_1-2”，其表示分发材料42是根据由文件名“FileA.ppt”标识的原始图像数据的“1-2”页而产生的打印图像数据的打印输出。此外，在纸页52上，对应于原始图像数据的两页的演示材料56和58被2-up打印，在纸页52的底部提供用名字“Paul”、“Joe”、“Jack”标记的参加者选择框60。为了提供足够的用于注释的可写空间，提供了位于右边的纸页52的页边空白62。

图4显示了通过经由扫描仪18读取图3中描述的、已在其上做了注释的分发材料42而创建的输入图像数据70的图像。输入图像数据70的纸面区域72包含文件ID54的数据、演示材料56和58，以及参加者选择框60。

输入图像数据70与图3中描述的分发材料42的不同在于，输入图像数据70具有注释74和80以及添加的选择标记86。注释74由加到页边空白62上的指示线76和手写文本78“me too”(下文中斜体字表示手写注释)构成，所述指示线从演示材料56中的名字“Joe”的最后部分延伸到页边空白62中。也就是说，注释74具有其作者指出的描述，该描述指明作者本人未被列为“Patent Strategies‘04’”的成员。另一方面，注释80由画在“●Trends”的描述上的双线修正线84，以及写在修正线84旁边的“cancel”的手写文本82构成。也就是说，注释80表示根据会议决定，与为“Stratege A”准备的“Trends”相关的动作的过程被取消了。选择标记86位于标记为“Jack”的选择框中，其指示该注释由“Jack”所做。

图5显示了由文件ID54标识的一组原始图像数据90。文档获取设备22基于文件ID54从文档存储器36检索出在打印分发材料42中使用的两个原始演示材料92和94(或根据材料92和94的组合生成的打印图像数据)。原始演示材料92和94是分别对应于演示材料56或58的图像的数据。

图6显示了差别图像数据100的例子。差别图像数据100是通过从图4中显示的输入图像数据70中减去图5中显示的所述原始图像数据90而获得的结果图像数据。更明确地，由指示线76和文本78构成的注释74，以及由文本82和修正线84构成的注释80是在纸张区域102中描述的。图4中所描述的选择标记86并不包含在差别图像数据中，这是因为参加者选择框60所在的区域并未被指定为注释提取的目标。然而，整个纸张102当然可以被适当地指定为注释提取的目标。

包含在差别图像数据100中的注释74和80被注释提取器28分离并归类。注释74和80是基于图像图案组而分离的。因为图6中显示的每个组104或106指示包含独立的图像图案的区域，所以通过使用图像分析识别组来完成分离。参照几何图形来分辩组中的注释是否为浮动类型。更明确地，图6中显示的指示线76具有由组合图案形成的几何图形，该组合图案包含指向特定位置的实线圆76a，从实线圆76a延伸的引线76b，以及位于引线76b附近的文本78，因此根据该几何图形确定指示线76为浮动类型。

图7是说明注释提取器28的详细操作的流程图。注释提取器28提取图6中描绘的组104和106以完成包含在差别图像数据100中的多组注释数据之间的分离(S40)。然后，为每组提取的注释数据检测用于定位注释数据的显示位置的显示参考坐标(S42)。

接下来，浮动类型确定部分对于每组注释数据确定注释数据是浮动类型还是固定类型(S44)。在此确定中，基于注释是否具有预定的几何图形来检测其中做出指向特定位置(或区域)的备注的注释。例如，可以说图6的注释74中的指向特定位置的实线圆76a、从实线圆76a延伸的引线76b、以及位于引线76b附近的文本78的组合表示文本78是关于实线圆76a所指事物的备注。因此，通过将这种几何图形定义为判断标准，将注释74分类为浮动类型。另一方面，带有修正线84所指区域的指示的注释80可能被确定为浮动类型。然而，在此例中，修正线84所指的指示并未被定义为判断标准，因而假设注释80应该被分类为固定类型。根据分类类型，将分类后的多组注释数据存储在注释存储器34中(S46)。

图8显示了输入到注释存储器34中的存储的注释数据110。以组织成多个域的形式来存储注释数据110。在图8的例子中，存在用户域112，文件域114，页号域116，坐标域118，类型域120，以及注释域112，两组数据130和132中的各个条目都被存储在相应的域中。例如，对于数据组130，存储以下条目：表示注释由“Jack”所做的条目、表示注释与包含在文件“FileA.ppt”的页“1”上的原始图像数据有关的条目、表示注释的位置被定位于参考坐标“(112，50)”的条目、表示注释被分类为“浮动”类型的条目。此外，与输入到注释域122中的“me too”相对应的图像数据被存储在与注释域122相关联的分离的文件中。注释域122的图像数据不包括指示线76，这是因为，在显示操作中，将使用指示特定位置的图案以取代指示线76。以类似的方式存储数据组132，但与存储数据组130有以下不同，数据组132被分类为“固定”类型，以及存储在注释域122中的图像数据除字符以外还包含另外的符号表示：“＝＝cancel”中的“＝＝”，如图8所示。

图9是由后端38执行的显示操作的流程图。响应于发送自前端12的显示操作的指令，后端38从文档存储器36读取作为将被显示的对象的原始图像数据，并且参考所存储的注释数据110以检索附加到原始图像数据的注释数据。然后，后端38在基于原始图像数据的图像上叠加指示存在注释的图标以及指示作为注释的作者的用户的图标，并且在前端12上显示合成的叠加图像(S60)。

希望查看对应于图标的注释的用户可以通过点击图标来完成查看(S62)。响应于点击，后端38显示相应的注释而代替图标(S64)。用户可以通过拖放操作发出移动注释的指令(S66)。在此情况中，当被移动的注释是浮动类型时，后端38仅仅移动所写的文本等，同时保持注释所指的特定位置不变(S68)。

图10A和10B显示了浮动类型的注释的显示例子。图10A中，带有叠加在图像上的注释查看图标144和用户查看图标146的演示材料142的图像被显示在显示屏140上。两个图标指明存在“Jack”所写的注释。当用户点击图10A中说明的显示屏140上的注释查看图标144时，图10B中描绘的图像将被显示出来。

在图10B中，显示注释148而取代注释查看图标144，选择标记被输入到用户查看图标146的选择框中以指示注释148是由“Jack”所写。注释148被叠加并显示在演示材料142的空白区域上。尽管图4中显示的原始注释74是由位于页边空白62的文本78构成的，但由于页边空白62上所写的文本超出了显示区域，所以文本78被重新放在演示材料42上。此外，注释148由指示特定位置150的指针部分152以及包含所写文本“me too”的文本显示部分154构成。也就是说，代替图4中所示的原始注释74中的指向特定位置的指示线76，由预定的箭头形状的图案形成的指向部分152被用于指示特定位置150。因此，尽管对注释148从原始位置进行了重定位，但是也可以指示与原始位置相同的特定位置150。

当如此显示浮动类型的注释148时，可以容易地执行根据用户指令的移动。即使用户移动注释148以获得如图10B中虚线所显示的注释160，指针部分162也仍然指示原来创建的特定位置150，同时允许按照用户指令移动文本显示部分164。因此，仍然能够适当地识别移动的注释160所注解的对象。

图11A和11B显示了固定类型注释的显示例子。在图11A中，与图10A类似地，带有叠加在图像上的注释查看图标172和用户查看图标174的演示材料170的图像被显示在显示屏140上。

图11B显示了当点击图11A中说明的注释查看图标172时所显示的图像。然后，显示注释176来代替注释查看图标172，并且在用户查看图标174的选择框中输入了选择标记以指示所显示的注释176是由“Jack”所写。因为注释176是固定类型并且初始位于演示材料170内，所以注释176被放在与图6中描绘的注释80相同的位置上。

参考图12，下面将描述被分类为浮动类型的注释的例子。图12A中显示的注释74是与图6相关联来描述的注释，并且如上所述，由指示线76和文本78构成，该指示线76具有指示特定位置的实线圆76a和引线76b。图12B中说明的注释190是典型的被分类为浮动类型的注释的例子。注释190由箭头192和文本78构成，所述箭头192具有箭头头192a和引线192b。在此例中，显然，文本78是关于由箭头头192a所指的特定位置处的对象的备注，并且通常按浮动类型处理。注意，当箭头头192a被附加在文本78的旁边时，注释190通常被确定为浮动类型。图12C中说明的注释200是指示特定区域而非特定点的浮动类型的注释的例子。注释200由指示线202和文本78构成，该指示线202包含圆形围圈202a和从圆形围圈202a延伸的引线202b，文本78位于引线202b的开放的另一端。因此，注释200通常被看作是用圆形围圈202a指示特定位置的浮动类型。

用户可以确定适当的作为判断标准而建立的图案。此外，为方便利用浮动类型的注释，做注释的人最好掌握用于分类的判断标准。

最后，参考图13，将描述由非公开确定部分32执行的非公开确定。在非公开确定中，在可向另一个用户公开的注释和禁止向其他用户公开的注释之间区分所写的注释。用户可以为用户希望(或不希望)公开的注释赋予一个几何图形，以实现不公开(公开)注释，所述几何图形根据判断标准指明不公开(公开)注释。

图13A和13B是指定非公开的几何图形的例子。在图13A中，普通注释80被包含在以双线框形状形成的矩形注释210内。一检测到双线框形状的矩形注释210，非公开确定部分32就确定矩形注释210内的注释80不是将要公开的对象。在图13B中，普通注释80被注释220围绕，所述注释220由单线框224和位于单线框224的左上角的小叉222构成。一检测到注释220，非公开确定部分32同样也确定内部注释80不是将要公开的对象。

根据上述实施例，可以通过计算机系统10以集中式的方式对会议上由个人写在文档上的注释进行管理。在这种方式下，例如，参加者可以对发言人的讲话做备注，同时显示其自己的手写注释。此外，当回顾会议时，能够一同查看参加者所做的注释和演示材料。此外，可以类似于处理对调查表的回应来处理参加者所做的注释，从而使得能够收集参加者的意见。

尽管是与传统会议相联系来描述上述实施例的，然而，除了这种所有参加者都聚集在同一地点所举行的传统会议以外，本发明也可有利地应用于通过连接多个地点而实现的会议，其中，经由通信设备将一部分参加者聚集到一起，即，电话会议。在此情况下，通过将打印机和扫描仪分发到各处，可以产生与在传统会议中所获得的效果类似的效果。

接下来，将描述本发明的实施例的各种变形。

在本发明的一个实施例中，在分类过程中确定包含在手写注释数据中的注释是否包括指向根据输入图像数据的图像的特定位置的几何图形。当包含该几何图形时，手写注释数据被分类为浮动类型，并产生表示特定位置的位置信息的特定位置数据。也就是说，确定是否包含指向由输入图像数据产生的图像中的特定范围或特定点的形状图案。然后，当包含形状图案时，注释数据被归类为暂时指定为“浮动类型”的种类中，并且产生表示有关特定位置的范围或点的位置信息的特定位置数据。“浮动类型”注释具有与特定位置相联系而描述的特性。因此，在后续过程中，例如显示过程，存储过程，分析过程等等，代替共同处理，最好考虑注释是否是“浮动类型”而对其进行单独处理。根据此实施例的技术使得能够对注释进行这种单独处理。

在本发明的另一个实施例中，计算机被命令执行一个显示过程，该显示过程用于在根据参考图像数据的图像上显示被确定为浮动类型的手写注释数据中包含的注释。在显示过程中，在将注释的书写位置从原来的书写位置移动到注释可被部分或全部地显示的位置之后，以及在为连接注释到基于特定位置数据的特定位置产生图形表示之后，注释就连同图形表示一起显示在书写位置上。典型的，用于连接到特定位置的图形表示是线形图案，比如直线、曲线、箭头等等，他们连续地将注释连接到特定位置。在不易引起混淆的情况下，例如，当将要显示的注释总数较少时，可以基于分配给它们的共同的图案，比如共同的颜色、共同的符号等等，方便地连接注释和特定位置。

在本发明的另一个实施例中，在显示过程中，显示通过将指向特定位置的几何图形从原始注释中移除而获得的注释。更明确地，当显示书写位置改变的注释时，原来用于指示特定位置的几何图形变得不必要。因此，移除几何图形以增加易读性。

在本发明的一个实施例中，在显示过程中，当原始的书写位置在根据参考图像数据的图像的显示范围之外时，在将书写位置重定位到显示范围内之后，在重定位的书写位置处显示注释。原始书写位置在显示范围之外的情形的例子包括以下情况：一个情况是，输入图像数据被从其获得的纸张在页边空白处具有较大的可写区域，注释被加入其中；另一个情况是，输入图像数据被从其获得的纸张包括N-up打印的多个页，这些页具有写在页外的注释。注意，在此实施例中，假设特定位置在显示范围内。

根据本发明的另一个实施例，在显示过程中，当包含在多组手写注释数据中的注释的原始书写位置重叠时，在重定位至少一个注释的原始书写位置之后显示该注释，以防止注释相互重叠。可以通过比较书写位置来检测重叠是否出现。例如，当同时显示包含在独立创建的多组不同的输入图像数据中的手写注释时，会出现这种重叠。

根据本发明的另一个实施例，在显示过程中，当原始书写位置与根据参考图像数据的图像中的非空白区域重叠时，在将书写位置设置到不会与该非空白区域的重叠的位置后显示注释。可以通过检测根据参考图像数据的图像中的非空白区域(或空白区域)找到是否出现重叠来实现本实施例。

根据本发明的另一个实施例，在显示过程中，接收到由用户输入的移动注释的显示位置的指令时，在指定的位置重新显示注释，以及连接重新显示的注释与特定位置的新的图形表示。也就是说，当用户使用输入装置(比如鼠标)将已显示的注释拖到另一位置时，重新生成显示图像以保持到特定位置的连接。

根据本发明的另一个实施例，在分类过程中，基于判断手写注释数据中包含的注释是否包括指示允许或不允许公开注释的几何图形来执行分类。可以通过预先设置表示允许(不允许)公开的几何图形的区别图案来形成判断。要求试图做手写注释的人根据区别图案来进行书写，从而使得能够控制允许/不允许公开。对于归入不允许公开类别的注释，执行禁止公开的处理。一个非常简单的处理例子是数据删除。或者，可以获取拥有与非公开注释相关联的输入图像数据的用户的信息以准许仅向该用户授予访问权。根据此实施例，可以保障共享信息时的对个人隐私的保护和便利性。

在本发明的另一个实施例中，计算机被指示进一步执行包括以下步骤的功能：用于基于输入图像数据的图像处理结果来识别做出注释的用户的用户识别过程；存储过程，用于在将分类过程中分类的手写注释数据的部分或整体与在用户识别过程中识别的用户关联来之后，存储与该用户相关联的手写注释数据；以及用户查看过程，用于通过用户输入接收与作为显示对象的注释相关联的用户的指示，然后显示或不显示根据与用户相关联而存储的手写注释数据的注释。尽管通过经由图像处理而完成的自动用户识别，用户识别过程能够有效地减轻工作负担，但是，当希望时或当不会增加繁重的工作负担时，也可以通过例如，手动地从操作者的输入接收用户名来执行用户识别。此外，即使未执行分类过程时，此实施例也同样有效。

在上述的任一实施例中，计算机可以由例如可执行计算的个人计算机这样的硬件构成，而程序可以是控制计算机以指示计算机执行预定过程的软件。记录介质可以是，例如，DVD(Digita Versatile Disc，数字多用盘)、CD(Compact Disc，压缩盘)、软盘、半导体存储器、硬盘等等，其中存储有程序。

在提取过程中，可以将输入图像数据与参考图像数据进行比较。输入图像数据是假定包含手写注释的图像数据并且典型地通过扫描纸版文档而产生。尽管通常以光栅格式描述输入图像数据，但也可以通过格式转换，用其它图像格式来描述所述数据，比如向量格式。因为参考图像数据是不包含手写注释的图像数据(或作为不带有手写注释的图像数据而处理)，可以使用例如：用于产生根据输入图像数据的纸张的图像数据，或通过扫描未做手写注释的纸张而产生的图像数据。类似于输入图像数据，参考图像数据的描述格式并不局限于特定格式。当通过分辩输入图像数据和参考图像数据来提取手写注释数据时，如上所述，可以适当执行以下处理，比如相对位置的调整，降噪等等。

在分类过程中，可以辨别由提取的手写注释数据所表示的注释的几何图形。因为注释的几何图形涉及由包含在注释中的对象实体(例如字符、图形对象、或符号)的形状和颜色所表示的图案，可以通过例如图像图案识别等等的处理来分辩注释的几何图形。在这种识别过程中，至少分辩注释中的特征图案，并根据预定的标准将它们归类到多种类型中。可以将分类的手写注释数据部分地或全部地存储在计算机或外部存储设备中。

在上述实施例中，手写注释被从输入图像数据中提取并被分类到至少两种类型中。通过分类标准的各种设置，可以在作为将要显示、存储、分析的对象的注释和其他注释之间实现分辩，可以为注释指定单独的显示格式、存储格式和分析类型。在此方式中，例如，在存在大量的手写注释时，可以在处理中容易地处理手写注释，比如显示处理、存储处理、或分析处理，还可实现清晰可见的显示手写注释。

已经描述了与本发明有关的实施例，应该知道本发明并不局限于特定的实施例，而可以是在下面权利要求范围内的各种体现。

通过参考，将2005年3月29日提交的，包含说明书、权利要求、附图和摘要在内的日本专利申请No.2005-093470的完整公开包含在此。

Claims

1.一种注释数据处理装置，包括：

比较单元，用于将输入图像数据与参考图像数据进行比较；

提取器，用于根据比较结果提取包含在所述输入图像数据中的注释；

分辩单元，用于分辩所述注释的几何图形；以及

分类单元，用于根据所述注释的几何图形将所述注释分类。

2.如权利要求1所述的注释数据处理装置，还包括：

确定单元，用于确定所述注释是否包含指向所述输入图像数据中的特定位置的几何图形，其中

当包含所述几何图形时，将所述注释数据分类为浮动类型，并产生表示所述特定位置的位置信息的特定位置数据。

3.如权利要求2所述的注释数据处理装置，还包括：

显示器，用于在所述参考图像数据上显示被分类为所述浮动类型的所述注释，其中，将所述注释以及用于连接该注释和基于所述特定位置数据的所述特定位置的图形表示一起显示在从原始书写位置重新定位的位置处。

4.如权利要求3所述的注释数据处理装置，其中，所述显示器显示通过从所述原始注释中移除指向所述特定位置的所述几何图形而获得的注释。

5.如权利要求3所述的注释数据处理装置，其中，当所述原始书写位置在所述参考图像数据的显示范围之外时，所述显示器在从所述原始书写位置重新定位到所述显示范围之内的位置处显示所述注释。

6.如权利要求3所述的注释数据处理装置，其中，当多个所述注释的原始书写位置重叠时，所述显示器在不与其他注释重叠的重新定位的位置显示所述多个注释中的至少一个注释。

7.如权利要求3所述的注释数据处理装置，其中，当所述注释的所述原始书写位置与所述参考图像数据中的非空白区域重叠时，所述显示器在不与该非空白区域重叠的重新定位的位置显示所述注释。

8.如权利要求3所述的注释数据处理装置，其中，当接收到由用户输入的移动所述注释的显示位置的指令时，所述显示器在指定的位置重新显示所述注释以及用于连接所述重新显示的注释和所述特定位置的新的图形表示。

9.如权利要求1所述的注释数据处理装置，还包括：

分类单元，用于根据对所述注释是否包含指示允许或不允许公开所述注释的几何图形的判断，将所述注释分类。

10.如权利要求1所述的注释数据处理装置，还包括：

识别单元，用于识别做出所述注释的用户；

存储器，将所述注释与所述识别的用户相关联而存储到该存储器中；

接收单元，用于通过用户输入接收对与作为显示对象的所述注释相关联的用户的指示；以及

显示器，用于显示与所述用户相关联而存储的所述注释。

11.可由计算机执行的注释数据处理方法，包括：

将输入图像数据与参考图像数据进行比较；

根据比较结果提取包含在所述输入图像数据中的注释；

分辩所述注释的几何图形；以及

根据所述注释的所述几何图形将所述注释分类。

12.如权利要求11所述的注释数据处理方法，还包括：

确定所述注释是否包含指向所述输入图像数据中的特定位置的几何图形；其中

当包含所述几何图形时，将所述注释分类为浮动类型，并产生表示所述特定位置的位置信息的特定位置数据。

13.如权利要求12所述的注释数据处理方法，还包括：

在所述参考图像数据上显示被分类为所述浮动类型的所述注释，其中，

将所述注释以及用于连接该注释和基于所述特定位置数据的所述特定位置的图形表示一起显示在从原始书写位置重新定位的位置。

14.如权利要求13所述的注释数据处理方法，其中，显示通过从所述原始注释中移除指向所述特定位置的所述几何图形而获得的注释。

15.如权利要求13所述的注释数据处理方法，其中，当所述原始书写位置在所述参考图像数据的显示范围之外时，在从所述原始书写位置重新定位到所述显示范围之内的位置显示所述注释。

16.如权利要求13所述的注释数据处理方法，其中，当多个所述注释的原始书写位置重叠时，在不与其他注释重叠的重新定位的位置显示所述多个注释中的至少一个注释。

17.如权利要求13所述的注释数据处理方法，其中，当所述注释的所述原始书写位置与所述参考图像数据中的非空白区域重叠时，在不与该非空白区域重叠的重新定位的位置显示所述注释。

18.如权利要求13所述的注释数据处理方法，其中，当接收到由用户输入的移动所述注释的显示位置的指令时，在指定的位置重新显示所述注释以及用于连接所述重新显示的注释和所述特定位置的新的图形表示。

19.如权利要求11所述的注释数据处理方法，还包括：

根据对所述注释是否包含指示允许或不允许公开所述注释的几何图形的判断，将所述注释分类。

20.如权利要求11所述的注释数据处理方法，还包括：

识别做出所述注释的用户；

将所述注释与所述识别的用户相关联而存储；

通过用户输入接收对与作为显示对象的所述注释相关联的用户的指示；以及

显示与所述用户相关联而存储的所述注释。

21.一种可由计算机读取的存储介质，所述存储介质存储可由所述计算机运行以执行下述功能的指令的程序：

将输入图像数据与参考图像数据进行比较；

根据比较结果提取包含在所述输入图像数据中的注释；

分辩所述注释的几何图形；以及

根据所述注释的所述几何图形将所述注释分类。