CN100476827C

CN100476827C - 信息处理设备和信息处理方法

Info

Publication number: CN100476827C
Application number: CNB2007100083339A
Authority: CN
Inventors: 岩崎雅二郎
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2006-01-26
Filing date: 2007-01-19
Publication date: 2009-04-08
Anticipated expiration: 2027-01-19
Also published as: US20070171473A1; CN101008960A; JP2007200014A

Abstract

一种信息处理设备包括输入单元，对象提取单元，以及整合单元。输入单元从文档数据的各个页面接收关于以最小单位表示的对象的对象信息以及关于对象在文档数据中的位置的对象的位置信息的输入。对象提取单元基于所输入的对象的位置信息提取包括在图像、图表或图形的区域中的对象。整合图像创建单元通过整合所提取的对象创建各个区域的整合图像。

Description

信息处理设备和信息处理方法

相关申请的交互引用

本文档通过引用结合2006年1月26日在日本申请的2006-017735号日本优先权文档的全部内容。

技术领域

本发明涉及用于一种处理包括对象的文档信息的技术。

背景技术

近年来，由于计算机相关技术的改进和网络环境的提高，电子文档的容量和数目日益增加。这样就提高了办公室的无纸化工作流程。

人们在个人电脑(PC)上创建作为电子文档的各种文档。然后人们可以用其它PC或在服务器上对所生成的电子文档进行编辑，复制，传送或共享。保存这样的电子文档的PC或服务器可以通过网络连接到其它PC上，从而其他人可以从另外的PC上读取编辑这些电子文档。

在这样的办公环境下，很多人用多台PC创建电子文档，结果，难以对公用的每个文档进行管理。这样可能会导致用户之间的混乱。例如，由于用户不知道必须的电子文档在哪台计算机上和以什么方式存储，所以用户找不到该文档。因此，目前提出了一些文档管理系统。

例如，H8-212331号日本专利申请公开公报中揭示了一种将扫描文档、传真文档、应用程序产生的电子文档、网络文档等结合原始数据、文本文档以及各页面的缩略图一起按文档保存的技术。结果，不论电子文档的格式是否相同都可以进行集中管理。

此外，目前，随着计算机相关技术的发展，除了文档数据外，保存为电子文档的信息还可以附有各种类型的数据，诸如图形或图像数据。

但是，根据H8-212331号专利文档中揭示的发明，原始文档只是结合了文本和各页面的缩略图。换言之，如果文本之外的诸如图像的其他数据附属于电子文档，则所附属的数据就不能与电子文档相关联地一起管理。

相关的数据不能划分为对与上述每一种个别数据相关的文档数据进行管理合适的单位。将文档数据划分为适合于用户查找和参考的各个区域是件非常困难的事。

例如，当划分文档的图像数据时，可以很容易地将文档图像数据划分为形成该文档图像数据的最小单位的对象。但是，单个对象是没有意义的，因此用户在参考该对象时不可能理解其内容。此外，也难以通过设定搜索条件搜索每一个都是无意义的对象。在通过将一个图表划分为形成该图表的各个元素而获取一个对象时这一点十分明显。因此，将各个对象结合到适当的区域并且按区域对其进行管理是非常必要的。

发明内容

本发明的一个目的是至少部分地解决常规技术中存在的问题。

根据本发明的一个方面，信息处理设备包括接收各个对象的对象信息和位置信息的输入的输入单元，对象信息是关于包括在文档信息页面中的某一单位表示的各个对象的信息，而位置信息是关于文档信息中各个对象的位置的信息；基于位置信息提取包括在文档信息内某区域中的对象的提取单元；具有判断单元，且基于各所述区域内包括的对象提取特征量的区域特征提取单元；和整合所提取的对象从而产生该区域的整合图像的整合单元，所述判断单元基于所述特征量判断所述区域的类型。

根据本发明的另一方面，信息处理方法包括接收各个对象的对象信息和位置信息的输入，对象信息是关于包括在文档信息页面中的某一单位表示的各个对象的信息，而位置信息是关于文档信息中各个对象的位置的信息；基于位置信息提取包括在文档信息内某区域中的对象；基于各所述区域内包括的对象提取特征量，并基于所述特征量判断所述区域的类型；和整合所提取的对象从而产生该区域的整合图像。

通过阅读下文参考附图对于本发明当前的优选实施例的详尽叙述，对本发明的上述和另外的目的，特征和优点以及技术和工业意义将能得到更好的理解。

附图说明

图1是根据本发明的第一实施例的个人电脑(PC)的方块图；

图2是阐释图1所示PC的文档元数据库中存在的文档管理表的示意图；

图3是阐释图1所示PC的文档元数据库中存在的页面管理表的示意图；

图4是阐释图1所示PC的文档元数据库中存在的区域管理表的示意图；

图5是阐释通过编辑图1所示PC上的应用程序编辑的文档数据的实例的示意图；

图6是阐释编辑应用程序作为图形代码从图5所示的文档数据创建的数据的示意图；

图7是阐释图1所示PC的对象提取单元联接同一行中包括的字符对象的联接过程的示意图；

图8是阐释所示PC的对象提取单元联接不同行中包括的字符对象的联接过程的示意图；

图9是阐释对象提取单元不联接字符对象但是设定不同的文本区域的实例的示意图；

图10是阐释对象提取单元不联接字符对象但是设定不同的文本区域的另一个实例的示意图；

图11是阐述形成包括在图5所示文档数据中的示意图的对象的实例的示意图；

图12是阐述对象提取单元通过第一种方法组合形成示意图的对象的过程的示意图；

图13是阐述对象提取单元通过第二种方法组合形成示意图的对象的过程的示意图；

图14是阐述由图1所示PC的显示单元显示在监视器上显示的搜索屏的实例的示意图；

图15是阐述由显示单元显示搜索结果的屏幕的实例的示意图；

图16是阐述按下图15所示屏幕上的按钮时或在图14所示屏幕上选择某种显示形式的缩略图时显示单元显示各个区域的缩略图的屏幕的实例的示意图；

图17是阐释当按下图16所示屏幕上显示的其中一个区域的参考按钮时显示单元显示该区域细节的屏幕的实例的示意图；

图1 8是阐释当按下图16所示屏幕上的搜索按钮时显示单元显示相似区域的搜索结果的搜索结果屏幕的实例的示意图；

图19是阐释显示单元显示满足搜索条件的页面的细节的屏幕的实例的示意图；

图20是图1所示PC进行的编辑应用程序读取文档数据，然后将文档数据寄存到存储单元中的处理过程的流程图；

图21是图1所示PC进行的从对于文档数据中的某一区域的搜索请求到搜索结果的显示的处理过程的流程图；

图22是图1所示PC进行的从对于文档数据中的某一页面的搜索请求到搜索结果的显示的处理过程的流程图；以及

图23是执行实现图1所示PC的功能的计算机程序的PC的硬件结构的方块图。

具体实施方式

下文将参照附图详尽介绍本发明的示例性实施例。

图1是根据本发明的第一实施例的个人电脑(PC)100的方块图。图1所示的PC 100包括存储单元101，操作单元102，编辑应用程序103，打印机驱动程序104，以及显示应用程序105。PC 100可以对从编辑应用程序103编辑和/或创建的文档数据划分的每个区域的整合图像进行管理。

在第一实施例中，由用户编辑的文档数据可以是呈现作为图像的特征的图像文档，也可以是通过文档处理应用程序创建的电子文档。

受到处理的图像文档包括用户创建的文档图像，扫描仪读取的扫描文档，以及传真机接收的传真文档。此外，电子文档包括根据超文本链接语言(HTML)创建的网络文档。

在第一实施例中，当PC 100对编辑应用程序103创建、编辑和/或查阅的文档数据进行寄存时，PC 100使用用于寄存的打印机驱动程序104(分析驱动程序)。打印机驱动程序104并不是真的打印文档，而是分析电子文档并且将其寄存。

换言之，用户调用可用于寄存文档数据的编辑应用程序103的打印功能。因此，编辑应用程序103创建用于将文档打印到打印机驱动程序104中的图形代码，并且将图形代码输出到打印机驱动程序104。当输入图形代码时，打印机驱动程序104通过分析图形代码提取显示构成该文档的各个区域的图像的整合图像数据。然后打印机驱动程序104将提取的整合图像数据和文档数据以可搜索的格式寄存到存储单元101中。

存储单元101包括文档元数据库121，区域图像存储单元122，以及文档数据存储单元123。此外，存储单元101可以构造成带有任何通用的存储单元，诸如硬盘驱动器(HDD)，光盘，存储卡，以及随机访问存储器(RAM)。

文档元数据库121包括文档管理表，页面管理表，以及区域管理表。

图2是阐释文档管理表的示意图。文档管理表中保存的每条记录都包括文档标识(ID)、标题、创建或更新日期、页面数量、文件格式、文件路径，以及文件名，所有这些彼此之间都有联系。在第一实施例中，这些信息被称为表示文档属性和其它信息的文档元数据。

文档ID是分配给每个文档数据的唯一的ID，文档数据可因为该文档ID而得到识别。标题是文档数据的标题。创建或更新日期记录了文档数据的创建日期或最新的更新日期。页面数量记录了文档数据中包括的页面的数量。文件格式记录了每个文档数据的格式。由此，受控文档的格式可以被识别为扫描文档、传真文档、由应用程序创建的电子文档，或网络文档中的一种。

文件路径表示文档存放的位置。文件名代表文档数据的文件的名字。

图3是阐释页面管理表的示意图。页面管理表中保存的每条记录都包括页面ID，文档ID，页面号，特征量，文本特征量，以及缩略图路径，所有这些彼此间都是相互联系的。在第一实施例中，这些信息被称为页面元数据。

页面ID是分配给组成文档数据的每一页面的唯一的ID。由于该页面ID，在存储单元101中存在的文档数据中的页面可以被唯一地识别。文档ID是识别包括由页面ID标识的页面的文档数据的ID。页面号是分配给文档中的页面的数字。特征量与从页面的整个图像中提取的特征有关。

文本特征量与从包括在页面中的文本信息提取的特征有关。例如，文本特征量保存文本信息中包括的关键词，以及该关键词出现的频率。如果文档数据是一个文档图像，文本特征量从文本信息中提取，文本信息通过进行光学字符识别(OCR)从页面的文档图像中提取。缩略图路径记录了呈现页面的整个图像的缩略图的存储位置。

图4是阐释区域管理表的示意图。保存在区域管理表中的每条记录都包括区域ID，文档ID，区域坐标，数据类型，标题，文本，周围文本，特征量，以及缩略图路径，所有这些都是彼此相联系的。在第一实施例中，这些信息被称为区域元数据。

区域ID是分配给从文档数据划分而来的各个区域的唯一的ID。由于该ID，包括在存储单元101中存在的文档数据中的区域可以被识别。文档ID和页面ID表示识别包括由区域ID标识的区域的文档数据和页面的各个ID。区域坐标记录了标识区域的坐标。在第一实施例中，区域通过保存其左上角和右下角的坐标来标识。

数据类型记录了识别区域中的数据的类型的信息。数据的类型包括例如文本，图像，图表(诸如组织图，流程图，以及甘特图)，照片，表格，图形(诸如圆形百分比图，直方图)等。标题记录了代表区域的标题。文本记录了区域内包括的文本信息。

周围文本记录了当数据类型是图像，图表，照片，表格，图形等时位于图片周围的文本信息。由于该周围文本，用户可以在搜索屏上的文本中设定条件，并且搜索相关的图像。

特征量记录了识别区域的特征的数量。此外，如果数据类型是图像，则存储图像的特征量，而如果数据类型是文本，则存储文本特征量。因此，特征量根据数据类型记录特征量的不同种类。从而，可以通过比较相同数据类型的特征量正确地判断某一区域是否与另一区域相似。缩略图路径记录了表述区域的缩略图存储的位置。

区域图像存储单元122在其中存储从文档数据中划分的各个区域的整合图像，以及表述页面或区域的缩略图。此外，文档数据存储单元123在其中存储文档数据。

操作单元102对用户输入的操作进行处理。结果，用户可以利用编辑应用程序103创建和/或编辑文档数据，请求编辑应用程序103将文档数据提交给打印机驱动程序104，并且在显示应用程序105显示的搜索屏上设定搜索条件。

编辑应用程序103根据操作单元102处理的操作进行诸如创建或编辑文档数据的处理。创建或编辑的文档数据可以在监视器10上显示。当编辑应用程序103接收到来自用户的打印其正在编辑的文档数据的请求时，编辑应用程序103然后从文档数据中创建图形代码，并且将图形代码输出到打印机驱动程序104。

作为图形代码获取的数据通常是以最小单位表示的对象的集合。以最小单位表示的对象是表示时不能进一步进行任何划分的最小单位的信息，例如表示字符的信息或表示诸如圆形或直线的图形形状的信息。

图5是阐释由编辑应用程序103编辑的文档数据的实例的示意图。图6是阐释由编辑应用程序103从图5所示的文档数据中作为图形代码创建的数据的示意图。图形代码包括字符代码，字体，字体大小，以及图形形状的信息(诸如圆形或直线)，连同每个对象的被划定边界的每个矩形的信息。图形代码还包括在文档数据中的位置信息。由于该位置信息，当在打印机驱动程序104中进行处理时，就可识别每一页面上的对象的位置。

在图1中，打印机驱动程序104包括输入单元111，对象提取单元112，整合图像创建单元113，页面特征提取单元114，区域特征提取单元115，联系提取单元116，以及寄存单元117。打印机驱动程序104创建每个从编辑应用程序103输入的文档数据划分的区域的整合图像数据。然后打印机驱动程序104通过与文档数据相关联而将整合图像数据寄存到存储单元101中。

输入单元111输入将由编辑应用程序103寄存的文档数据的图形代码。

寄存单元117寄存输入的待寄存文档数据。在第一实施例中，寄存单元117从接收的图形代码中创建文档数据，并且将文档数据存储到文档数据存储单元123。所创建的文档数据可以是任何数据类型，例如，可移动文件格式(PDF)的数据。寄存单元117将存储在文档数据存储单元123中的文档数据的元数据存储到文档元数据库121中的文档管理表中。具体地，寄存单元117从文档数据中提取标题，创建或更新日期以及页面数量。然后寄存单元117将文档ID与所提取的元数据、文档数据的文件名、用文件名的扩展名指示的文件格式以及文档数据向其存储的文件路径相关联，并将它们存储到文档管理表中。此外，在寄存时文档ID自动生成。在第一实施例中，寄存单元117创建文档数据，然后寄存所创建的文档数据。但是，寄存单元117可以直接寄存编辑应用程序103创建的文档数据。

除了文档数据以外，寄存单元117还将数据寄存到页面管理表和区域管理表中。

对象提取单元112从输入图形代码中包括的所有对象中按区域提取对象。

首先，如果输入的图形代码包括显示整个所表示的页面上的图像的对象，即该对象出现在背景上，则对象提取单元112将其作为背景成分提取。

此外，对象提取单元112判断对象是否显示字符信息。对象提取单元112可以使用无论是已知的还是未知的任何方法进行该判断。如果输入的图形代码包括显示字符信息的任何对象(下文称之为字符对象)，则提取单元112按文本区域提取字符对象。

为了进行这个操作，对象提取单元112需要规定文本区域。首先，对象提取单元112从判断为字符的字符对象中判断字符的读取顺序。如果字符对象比预定的间隔更接近于其前一个字符对象，则对象提取单元112判断字符对象与其前一字符对象包括在同一行内。此外，如果在读取顺序方向上有不与其上一个字符对象靠近但是比预定间隔更接近于其上一行的字符对象，则对象提取单元112判断该字符对象包括在同一文本区域(段)中的下一行中。因此，对象提取单元112可以通过反复执行这些过程提取构成文本区域的字符对象。相反，对象提取单元112判断既不靠近其上一个字符也不靠近其上一行的字符为下一文本区域(段)的成分。

上述预定的字符间隔和预定的行间隔是基于输入的图形代码中包括的字体大小预定的距离。例如，可以想象预定的字符间隔和预定的行间隔可以是字体的尺寸或是字体尺寸乘上一个合适因数后的值(L1)。

图7是阐释联接包括在同一行中的字符对象的联接过程的示意图。如果x轴方向(水平方向)上的字符对象之间的距离比y轴方向(垂直方向)上的字符对象之间的距离小，则对象提取单元112判断x轴方向是读取顺序方向。结果，如果字符对象之间的距离小于L1，如图7所示，则对象提取单元112判断这些字符是相邻的字符，并且将它们并入一个行矩形中(例如，将字符并入行矩形701中，并且进一步并入行矩形702中)。

图8是阐释联接包括在不同行中的字符对象的联接过程的示意图。在将字符对象并入x轴方向上的行矩形中后，如果在y轴方向上行矩形与字符对象之间的距离小于L2，其中L2被乘上适当的因数因此比L1大，则对象提取单元112用行矩形将不同行的字符并入同一个文本区域(例如，文本区域801)中。

图9是阐释对象提取单元112不联接对象字符但是设定不同的文本区域的实例的示意图。如果并入到文本区域801内的矩形901与字符对象902在y轴方向之间的距离大于L2，则对象提取单元112判断字符对象902在不同的文本区域。

图10是阐释对象提取单元112不联接对象字符但是设定不同的文本区域的另一实例的示意图。如果垂直于x轴的文本区域801的边线与字符对象1001的矩形的边线之间的距离大于L1，则对象提取单元112判断字符对象1001在不同的文本区域内。

通过进行上述过程，对象提取单元112可以从输入图形数据中判断包括在文档数据中的文本区域。这样可以使对象提取单元112能够提取包括在文本区域中的字符对象，从而创建相关于各个文本区域的整合图像。

接着，对象提取单元112提取文本区域以外的其他区域中包括的对象。包括在文档数据中的文本区域以外的区域可以是图像区域，图表区域，图形区域，照片区域等。对象提取单元112按区域从所输入的图形数据中提取图像、图表等对象。

换言之，对象提取单元112获得与所输入的图形代码分离的形式的形成图像、图表等的各个对象。这些对象中的每一个都呈现例如一条直线或一个圆，但是每一个单个对象都是没有意义的。因此，对象提取单元112进行提取诸如图表区域的具有意义的区域的处理。

根据第一实施例的对象提取单元112可以进行两种按区域提取对象的处理。作为第一种方法，如果包括各个对象的每个矩形与另一矩形重叠，则对象提取单元112将这样重叠的对象组合成一个区域，然后提取对象。

图11是阐述形成包括在所示文档数据中的示意图的对象的实例的示意图。当输入单元111输入对象后，各个对象处于分离的形式。此外，当输入对象后，将被排列在页面中的各个对象的位置用各个对象的位置信息规定。

图12是阐述对象提取单元112通过第一种方法组合形成示意图的对象的过程的示意图。假设图12的(I)部分所示的示意图用编辑应用程序103生成。然后用户提出打印请求，结果，当调用打印机驱动程序104时，所创建的示意图被划分为如图12的(II)部分所示的各个对象。

输入这些对象后，对象提取单元112参考对象的位置信息，然后判断区域是否在对象之间重叠。如果一些区域重叠，则对象提取单元112判断这些对象形成非文本区域(例如，图表或图像)，然后如图12的(III)部分所示组合对象。

第二种方法是当对象不相互重叠时组合对象的方法。图13是阐述对象提取单元112通过第二种方法组合形成示意图的对象的过程的示意图。假设图13的(I)部分所示的示意图用编辑应用程序103创建。然后用户提出打印请求，结果，当调用打印机驱动程序104时，所生成的示意图被划分为如图13的(II)部分所示的各个对象。

输入这些对象后，对象提取单元112参考对象的位置信息，然后判断对象之间没有区域重叠。在这种情况下，对象不通过第一种方法组合。然后对象提取单元112创建用于每个包括各个对象的矩形的尺寸加倍的扩展区域，如图13的(III)部分所示，然后判断所创建的区域是否重叠。如果某些区域重叠，则对象提取单元112判断创建重叠区域的对象形成非文本区域，然后如图13的(IV)部分所示进行对象组合。当进行这种处理时，对象提取单元112可以确认对象形成了图表、图形等(即不是字体数据)。

然后对象提取单元112可以提取组合后的对象，并且可以将整合图像传递到整合图像创建单元113，从而为每个区域创建图像。

此外，当非文本区域与上述文本区域重叠时，对象提取单元112将文本区域视为非文本区域的一部分，然后合并文本区域和非文本区域。

因此，对象提取单元112可以定义一个非文本区域，并且可以提取包括在非文本区域内的对象。非文本区域可以包括各种类型的图片，诸如图表(组织图，流程图，甘特图等)，照片，表格，以及图形(圆形百分比图，直方图等)。非文本区域的数据类型可以根据包括在非文本区域内的对象特征而判断到一定的范围。

此外，在提出打印请求时创建的对象经常包括指定形状的信息，诸如表示线段的向量信息。在这种情况下，基于包括在非文本区域内的对象的非文本区域的数据类型的判断要比仅基于某一区域的图像数据的数据类型的判断更精确。因此，包括在区域特征提取单元115中的判断单元118判断每个区域的数据类型。

在图1中，区域特征提取单元115包括判断单元118，并且基于各区域内包括的对象按区域提取特征量。

区域特征提取单元115提取的特征量可以是例如下列中的一个或多个：各个区域内包括的对象的数量，每非文本矩形表面面积的对象矩形的平均表面面积，每对象总数的线段对象的数量，每对象总数的圆形或圆弧的数量，每线段对象总数的水平线段对象的数量，每线段对象总数的垂直线段对象的数量，每对象总数的图像对象的数量等。当然，除了上述参数以外的其他参数也可用来作为特征量提取。

判断单元118通过基于所提取的特征量进行图形识别判断某区域的数据类型。可以使用图形识别的任何方法，例如神经网络或支持向量机。由于使用神经网络或支持向量机，生成了用于研究的数据集并对其进行研究，从而可以达到对于区域识别的更精确的判断。

因此，基于对象的特征量包括上述详细信息，从而判断单元118可以更精确地判断某区域的数据类型。这样就使用户易于参考数据类型而把范围缩小到表述所需区域的整合图像。

除了上述特征量外，区域特征提取单元115根据判断单元118判断的数据类型提取不同的特征量。例如，如果某一区域的数据类型被判断为图像，则区域特征提取单元115提取图像数据的特征量。

如果所判断的某区域内的数据类型是文档，则区域特征提取单元115可以从诸如字符对象中包括的字体数据的数据中获取包括在该区域内的字符信息。然后区域特征提取单元115从获取的字符信息中提取文本信息量。这样，根据各个区域的数据类型提取的特征量被寄存到区域管理表中。

此外，如果区域内包括的对象是呈现文档的图像数据，则区域特征提取单元115用OCR获得该区域内包括的文本数据。然后区域特征提取单元115从获取的文本数据中提取特征量。

此外，如果可能，区域特征提取单元115提取各个划分区域的标题和文本。另外，如果划分区域的数据类型是图像，则如果可能，区域特征提取单元115将提取周围文本。任何方法可以用于区域特征提取单元115提取被处理区域的标题、文本以及周围文本，但是根据第一实施例使用下列方法。

下文首先介绍提取标题的实例。如果被处理区域是图像区域，则区域特征提取单元115获取包括在图像区域中的文本或包括在图像周围的文本区域内的作为标题的字符串。

如果被处理区域的数据类型是文本，则区域特征提取单元115通过对权重和其他方面的考虑提取作为标题的合适的字符串。

根据第一实施例的文本特征量是从包括在被处理页内的对象提取的文本中创建的作为特征量的向量(阵列)数据。换言之，页面特征提取单元114通过对包括在被处理页面内的文本数据进行词法分析提取词语。通过计算相对于各个所提取词语的权重，然后页面特征提取单元114创建指示各个关键词的关联程度的向量数据。

可以使用向所提取词语加权的任何方法。在第一实施例中，权重的计算采用tf-idf方法。Tf-idf方法是基于被处理页面中一个词出现的次数(出现频率越高被认为越重要)，以及在所有受控数据中出现该词的页面数(出现频率越少被认为越重要)向词语加权的方法。

下列等式是通过tf-idf方法加权的公式：

w_i，j＝tf_i，j×log(N/df_i)

其中，w_i，j表示文档数据中第D_i页的一个词语的权重，tf_i，j表示第D_i页中该词出现的频率，df_i表示在所有文档数据中出现该词的页面的数量，以及N表示在受控文档数据中包括的总页面数。因此，页面特征提取单元114可以在词语和词语权重阵列的基础上提取每一页面的文本特征量。

整合图像创建单元113从由对象提取单元112自各个区域提取的对象中按区域创建整合的图像数据。此外，整合图像创建单元113创建表述该区域的缩略图。然后，区域图像存储单元122将所创建的缩略图存储在其中。

联系提取单元116提取由整合图像创建单元113创建的各个区域的整合图像数据，包括这些区域的文档数据以及这些区域在其上排列的页面之间的相关联性。根据第一实施例的联系提取单元1 16提取页面上各个区域的坐标，指示包括各个区域的数据的页面的页面ID，以及包括该页面的文档的文档ID。由于该提取，联系提取单元116可以识别所创建的整合图像数据存在于哪个位置，哪一页面以及哪个文档中。此外，联系提取单元116可以从所输入的各个对象的位置信息识别页面上各个区域的坐标。

之后，寄存单元117将联系提取单元116提取的关联性，整合图像创建单元113创建的整合图像数据，以及区域特征提取单元115提取的数据类型和特征量寄存到区域管理表中。更具体地，寄存单元117使区域ID与联系提取单元116提取的文档ID，页面ID以及区域坐标相关联，使区域ID与区域特征提取单元115提取的数据类型，文本，周围文本，特征量以及缩略图路径相关联，并且将它们寄存到区域管理表中。区域ID在上述区域的信息被寄存到区域管理表中时自动生成。

页面特征提取单元114从形成所输入的文档数据中的各个页面的对象中提取各个页面的图像的特征量。页面特征提取单元114可以使用提取特征量的任何方法，而且也可以使用神经网络或支持向量机(support vector machine)。

此外，页面特征提取单元114从各个页面中除了提取图像的特征量以外还提取页面号和文本特征量。另外，页面特征提取单元114从包括在对象中的诸如字体数据的数据中提取文本信息。然后页面特征提取单元114从所提取的文本信息中提取文本特征量。

此外，页面特征提取单元114创建表述页面的缩略图。然后区域图像存储单元122在其中存储所创建的缩略图。

然后，寄存单元117将页面特征提取单元114提取的元数据寄存到页面管理表中。换言之，寄存单元117使页面ID和文档ID与页号，特征量，文本特征量和缩略图的存储位置(缩略图路径)相关联，并且将它们寄存到页面管理表中。文档ID是在包括被处理页面的文档数据被寄存到文档管理表中时创建的ID。页面ID在被处理页面的上述信息被寄存到页面管理表中时自动创建。

显示应用程序程序105包括搜索单元131，相似数据搜索单元132，以及显示单元133，并且进行显示和搜索诸如存在于存储单元101中的文档数据的数据的处理。

显示单元133进行将搜索屏或搜索结果显示到监视器10上的处理。搜索单元131响应文档数据的搜索请求对文档元数据库121中的文档管理表，页面管理表以及区域管理表进行搜索。

图14是阐释显示单元133在监视器10上显示的搜索屏的实例的示意图。当用户搜索文档时显示搜索屏。在搜索屏上显示设定搜索条件的选项。搜索选项1401是用户从文档、页面或区域中选择搜索主题的选项。在图14中，区域被选择为搜索选项。显示式样1404是用户从标准、缩略图、树状图等中选择显示式样的选项。在图14中选择了标准式样。

根据例如用户从未示出的键盘的输入，操作单元102为显示在搜索屏上的各个选项设定搜索条件。当操作单元102接收到用户对搜索按钮1402的按压时，操作单元102调用显示应用程序105，并且传递所设定的搜索条件。在图14中，作为实例，将“特征”输入到文本1403中作为搜索条件。从而，搜索单元131进行搜索。

在显示应用程序105接收到搜索条件后，搜索单元131基于所接收的搜索条件对可用列表进行搜索。具体地，如果在如图14所示的搜索选项1401中选择了文档，则搜索单元131搜索文档管理表。如果选择了页面，则搜索单元131搜索页面管理表。如果选择了区域，则搜索单元131搜索区域管理表。此外，搜索单元131基于作为搜索关键词的所接收到的搜索条件进行搜索。这样就使搜索单元131能够获得提供用户所需文档数据的整合图像数据，或者包括在文档数据中的页面或区域。因此，PC 100可以有效地检测到用户所需的区域或页面的信息。

然后显示单元133进行显示由搜索单元131获取的搜索结果以及由相似数据搜索单元132获取的搜索结果的处理。

图15是阐释显示单元13显示搜索结果的屏幕的实例的示意图。该搜索结果屏展示出当搜索对象为区域并且在如图14所示的搜索屏上的文本中设定“特征”时的搜索结果的实例。在这种情况下，显示式样是标准型。任何选项都可以作为搜索结果显示。在第一实施例中，该实例显示了区域ID，区域名(标题)，数据类型，以及文本。

当显示如图15所示的搜索结果屏时，用户点击区域名，然后显示提供区域的详细信息的屏幕。此外，当用户按下按钮1501时，显示单元133在以各个区域的缩略图的形式的相同条件的基础上显示搜索结果。换言之，可以容易地更换显示式样。

图16是阐述当按下图15所示屏幕上的按钮1501或选择图14所示屏幕上的显示式样的缩略图时显示单元显示各个区域的缩略图的屏幕的实例的示意图。在显示式样1602中，呈现用户选择的显示式样。显示单元133在搜索结果屏上显示各个区域的搜索按钮和参考按钮。当用户按下搜索按钮时，对与被按下搜索键按钮的区域相似的区域进行搜索。当用户按下参考按钮时，显示单元133显示被按下参考按钮的区域的详细信息。当用户按下按钮1603时，再次显示如图15所示的屏幕。因此如图16所示显示各个区域的缩略图，从而可以使用户方便地获取各个区域的内容。

下面将介绍从图15所示的屏幕到如图16所示的屏幕的显示的处理过程。当按下图15所示屏幕上的按钮1501时，操作单元102向显示应用程序105传送一个标志从而显示搜索条件和缩略图。在显示应用程序105接收到该信息后，搜索单元131基于搜索条件进行搜索。本次搜索和上述搜索之间的区别在于，当响应显示缩略图的标志搜索区域管理表时，搜索单元131获取各个缩略图路径的场信息。然后显示单元133基于搜索结果显示搜索结果屏，连同搜索结果一起显示的还有用缩略图路径创建的每个区域的缩略图。

图17是阐释当按下图16所示屏幕上显示的其中一个区域的参考按钮时显示单元133显示该区域细节的屏幕的实例的示意图。在这样的细节显示屏幕上，显示单元133显示保存在区域管理表中的区域的元数据。由于该详细的显示，用户可以掌握该区域。

下面将介绍从如图16所示的屏幕到如图17所示的屏幕的显示的处理过程。当按下图16所示屏幕上的参考按钮时，操作单元102将信息传递给显示应用程序105从而显示区域ID和被按下参考按钮的区域的细节。显示应用程序105接收到该信息后，搜索单元131用所接收的区域ID作为搜索关键词对区域管理表进行搜索。然后显示单元133获取所有显示满足搜索条件的记录所需的场信息。显示单元133基于所获取的信息进行将详细信息显示到监视器10上的处理过程。

此外，如图16所示的细节显示屏幕除了区域的元数据外还可以显示包括该区域的文档图像或页面的元数据。之所以能够实现这一点是因为区域管理表保存了区域、页面和文档图像互相之间的相关联性。

另外，当用户按下图17所示屏幕上的执行按钮1701时，包括该区域所属页面的缩略图和元数据的屏幕被显示。之所以能够实现这一点是因为区域管理表保存了区域ID和页面ID之间的相关联性。换言之，这是因为，在搜索单元131获取区域的页面ID后，通过用页面ID作为关键词搜索页面管理表，搜索单元131就可以获取用于显示的必要信息。

此外，当用户按下图17所示屏幕上的“打开文档-数据”按钮1702时，显示包括该区域的文档数据。可以对该文档数据进行编辑。之所以能够实现这一点是因为区域管理表保存了区域ID和文档ID之间的相关联性。换言之，这是因为，搜索单元131获取区域的文档ID后，通过用该文档ID作为关键词搜索文档管理表，搜索单元131可以获取该文档的存储位置的路径。

此外，通过按搜索按钮1703，用户可以搜索与该区域相似的其它区域。

在图1中，相似数据搜索单元132搜索与显示单元133显示的区域相似的区域。另外，相似数据搜索单元132同样也搜索相似的页面。相似数据搜索单元132可以使用搜索区域和页面的任何方法。在第一实施例中，相似数据搜索单元132使用区域管理表中保存的特征量或文档管理表中保存的特征量进行搜索。

具体地，首先，相似数据搜索单元132获取与所提交的页面ID或区域ID相关联的特征量，并且将获取的特征量设定为搜索条件。例如，如果接收到的信息是区域ID，则相似数据搜索单元132用该区域ID搜索区域管理表以获取与区域ID相关联的特征量。同样，相似数据搜索单元132可以从页面管理表中获取与页面ID相关联的特征量。

然后相似数据搜索单元132用所设定的搜索条件搜索区域管理表或页面管理表。在一个具体的实例中，相似数据搜索单元132从设定为搜索条件的特征量和各条记录的特征量中计算相似性，然后基于该相似性获取相似区域或相似页面。在第一实施例中，当计算相似性时，可以改变对于参数的权重。不论是已知的还是未知的，可以使用计算相似性的任何方法。

然后，基于相似数据搜索单元132获取的搜索结果，显示单元133进行将搜索结果显示到监视器10上的处理过程。

图18是阐释当按下图16所示屏幕上的搜索按钮1601时显示单元133显示相似区域的搜索结果的搜索结果屏幕的实例的示意图。显示单元133进行将用于搜索的原始参考区域显示到网页浏览器的上部的处理，然后进行将搜索到的相似区域显示到下部的处理。可以在上部改变相似区域的图像的权重或显示式样。显示式样可以从缩略图、树状图等中选择。在图18中，显示式样被设定为缩略图。

当详细显示一个页面时，显示单元133进行显示通过组合各个区域的整合图像数据而再现的页面信息的处理过程。

图19是阐释显示单元133显示满足搜索条件的页面的细节的屏幕的实例的示意图。页面1906通过组合整合图像数据1901、1902、1903、1904和1905具体化。每个整合图像数据1901和1902都呈现一幅照片。每个整合图像数据1903、1904和1905都呈现一个文本区域。

显示单元133根据区域管理表中保存的坐标将这些整合图像数据排列在页面1906内以进行显示的处理过程。这样就使PC 100能够减少存储在存储单元101中的数据量，因为存储单元101不需要保存各个页面的详细的图像数据。

图20是由PC 100进行的，具体地，从将文档数据读取到编辑应用程序103中直到将文档数据寄存到存储单元101的处理过程的流程图。

首先，操作单元102指定用户从诸如键盘的输入装置指定的文档数据，并且编辑应用程序103读取指定的文档数据(步骤S2001)。

接着，当接收到来自用户的打印请求时，编辑应用程序103创建呈现所读取的文档数据的图形数据，并且将该图形数据输出到打印机驱动程序104(步骤S2002)。

然后输入单元111输入图形数据(步骤S2003)。

接下来，寄存单元117从输入的图形数据中创建文档数据，将所创建的文档数据存入文档数据存储单元123，从文档数据中提取元数据，并且将所提取的元数据和对于文档数据的路径寄存到文档管理表中(步骤S2004)。

然后对象提取单元112从图形数据中按区域提取对象(步骤S2005)。

接下来，区域特征提取单元115从所提取的每区域的对象中提取每区域的特征量(步骤S2006)。同时，判断单元118判断各个区域的数据类型。

然后整合图像创建单元113从每区域的对象中创建整合图像数据(步骤S2007)。

接着，联系提取单元116从每区域的整合图像数据和包括整合图像数据的区域的文档数据中提取页面中各个整合图像数据的位置关系(步骤S2008)。所提取的位置关系的信息的实例是文档ID、页面ID和在页面中的坐标。

然后寄存单元117使每区域的特征量与位置关系相关联，并且将它们寄存到区域管理表中(步骤S2009)。

接着，页面特征提取单元114从形成文档数据的各个页面的对象中提取元数据、作为图像的页面的特征量，和文本特征量(步骤S2010)。然后寄存单元117将元数据、页面的特征量和文本特征量寄存到页面管理表中(步骤S2011)。

接着，寄存单元117判断所有页面上的处理是否完成(步骤S2012)。如果寄存单元117判断处理过程未完成(步骤S2012中为否)，则寄存单元117设定下一页面以便被寄存(步骤S2013)，然后从由对象提取单元112进行的每区域对象的提取进行处理(步骤S2005)。

如果寄存单元117判断处理过程完成(步骤S2012中为是)，则处理过程结束。

图21是PC 100进行的，具体地，从对于文档数据中的区域的搜索请求直到显示搜索结果的处理的流程图。

显示单元133进行将搜索屏幕显示到监视器10上的处理过程(步骤S2101)。然后操作单元102输入用户通过输入装置输入的用以搜索某区域的搜索条件(步骤S2102)。在图14所示的实例中，操作单元102设定对于区域的搜索选项1401以作为搜索条件来选择区域。

接着，搜索单元131用输入的搜索条件搜索区域管理表(步骤S2103)。

然后显示单元133进行将搜索结果显示到监视器10上的处理过程(步骤S2104)。

接着，当接收到来自用户的显示文档数据的请求时，然后显示单元133进行显示文档数据的被请求区域的处理过程(步骤S2105)。

因此，可以根据用户设定的搜索条件搜索包括在文档数据中的区域。

图22是PC 100进行的，具体地，从对于文档数据中的某页面的搜索请求直到显示搜索结果的处理过程的流程图。

图22所示的页面搜索的流程图与图21所示的区域搜索的流程图基本相似。图22与图21的区别如下：图21中步骤S2102的用于搜索区域的搜索条件被步骤S2202的用于搜索页面的搜索条件代替；并且图21中步骤S2103的通过区域管理表的搜索被步骤S2203的通过页面管理表的搜索代替。对于与图21相似的其它方面的解释将被省略。

图23是执行实现PC 100的功能的计算机程序的PC的硬件结构的方块图。根据第一实施例的PC 100包括诸如中央处理单元(CPU)2301的控制单元，诸如只读存储器(ROM)2302和随机访问存储器(RAM)2303的存储装置，诸如硬盘驱动器(HDD)或光盘(CD)驱动装置的外部存储装置2304，显示装置2305，诸如键盘或鼠标的输入装置2306，PC 100可以与其它计算机通信所通过的网络接口(I/F)2307，以及连接这些单元的总线2308。PC100具有使用通用计算机的硬件结构。

由PC 100执行的诸如打印机驱动程序和显示应用程序的信息处理程序以记录在诸如CD-ROM或数字通用光盘(DVD)的计算机可读记录介质上的可安装或可执行格式的文档的形式提供。

此外，信息处理程序可以通过在连接到诸如因特网的网络的计算机上存储通过网络下载的程序而提供。此外，信息处理程序可以通过诸如因特网的网络提供或分配。

另外，信息处理程序可以通过将程序事先安装到诸如ROM的存储装置而提供。

在PC 100上执行的打印机驱动程序具有包括上述各个单元即寄存单元、联系提取单元、区域特征提取单元，页面特征提取单元，整合图像创建单元，对象提取单元，以及输入单元的模块结构。根据实际的硬件，CPU从存储装置中读取信息处理程序，并且执行这些程序，从而在主存储器中创建寄存单元、联系提取单元、区域特征提取单元、页面特征提取单元、整合图像创建单元、对象提取单元和输入单元。

在PC 100上执行的显示应用程序具有包括上述各个单元即搜索单元、相似数据搜索单元以及显示单元的模块结构。根据实际硬件，CPU从存储装置中读取信息处理程序，并且执行这些程序，从而将各个单元装载在主存储器中，然后在主存储器中创建搜索单元、相似数据搜索单元以及显示单元。

在第一实施例中，用于文档、页面和区域的各个表格存入通过使用相关的数据库系统构建的文档元数据库。但是，信息的管理不限于此。例如，文档的元数据可以用可扩展标记语言(XML)描述，并且被存储到XML数据库中。

另外，虽然编辑应用程序103和打印机驱动程序104在第一实施例中作为单独的程序提供，但是这两个程序的集成应用程序也可以进行上述处理过程。

在第一实施例中，区域的数据类型从对象中判断，因此实现对数据类型比基于区域的图像更精确的判断。

此外，区域的图像通过使用第一种方法和第二种方法从对象中产生，结果，不论对象之间是否存在间隔对每区域都产生整合图像。这样就使PC 100能够获取由适当划分和组合的区域的各个整合图像数据构成的文档信息。换言之，由于所产生的整合图像数据与和文档数据(诸如区域坐标)相关的信息相关联地进行管理，所以文档数据可以容易地通过组合整合图像数据再生。

此外，当获取了在圆和/或直线之间包括很多空白间隔的图表或图形的整合图像时，上述整合图像数据的产生就非常有用。

另外，与位置坐标相关联的整合图像被寄存到区域管理表中，从而当用户参考整合图像时可以识别整合图像的区域存在于哪一个文档数据中的什么位置。这样就提高了方便性。

此外，特征量与各个整合图像相关联地寄存。这样就使用户能够基于特征量搜索整合图像，因此可以容易地检测到所需的整合图像。

而且，由于上述处理在用户通过编辑应用程序输入打印请求时进行，当用户未实现或不需要进行特殊处理时，整合图像就创建并寄存到数据库中。这样就减少了用户的操作性的工作，从而实现便捷的寄存。

本发明不局限于上述实施例。可以有如下的各种修改。

在第一实施例中介绍了由PC 100运行的孤立的系统。然而，本发明的第一修改可以用于服务器-客户系统。

例如，系统可以具有PC和控制服务器通过网络互连的结构。PC可以通过网络从打印机驱动程序将文档数据寄存到控制服务器中。

为了通过PC搜索或参考文档数据，例如，PC可以在其上预先安装网页浏览器，且诸如网页应用服务器的另一个服务器可以响应来自网页浏览器的请求进行处理。

此外，文档数据的寄存不局限于PC使用打印机驱动程序的方法。PC也可以使用网页浏览器或用于寄存的应用程序来寄存文档数据。

另外，PC之外的诸如多功能外围设备的图像形成设备可以根据上述处理过程寄存所输入的文档数据。

在第一实施例中，也在只包括字符对象的文本区域中创建整合图像。但是，根据本发明的第二个修改例，文本区域可以作为文本信息代替创建整合图像存储到区域管理表中，因为字符对象保存诸如字体数据的信息。

在这种情况下，区域管理表需要诸如字体大小、字体名和直线方向的作为选项的各种领域。当显示一个区域、页面等时，屏幕根据这些信息显示，从而重新创建原始页面的布局。这样可以降低存储在存储单元中的数据量，因为存储单元不保存文本区域的整合图像数据。

根据本发明实施例的信息处理设备可以创建每区域的合适的整合图像，从而获取包括表述适当的区域的整合图像的文档信息。

此外，该信息处理设备可以精确地识别某区域的数据类型，从而当用户搜索整合图像时通过该数据类型缩小整合图像的范围。

另外，该信息处理设备可以基于特征信息搜索整合图像，从而提高方便性。

此外，该信息处理设备可以获取呈现高精度的图表或图形的整合图像。

另外，该信息处理设备响应打印请求获取整合图像，因此用户不需要关注获取整合图像的任何特殊过程。

另外，根据本发明的实施例，可以提供使计算机执行根据该实施例的信息处理方法的信息处理程序。

此外，可以提供在其上存储信息处理程序的计算机可读记录介质。

虽然通过用于完整而清晰地揭示的特殊的实例对本发明进行了阐述，但是附后的权利要求并不因此受到局限，而被认为是体现了本技术领域中的熟练人员能够实现的并且落入本文阐述的基本原理中的所有的修改和替代结构。

Claims

1.一种信息处理设备，其特征在于，该信息处理设备包括：

接收各个对象的对象信息和位置信息的输入的输入单元，所述对象信息是关于包括在文档信息的页面中的某一单位表示的各个对象的信息，而所述位置信息是关于所述文档信息中各个对象的位置的信息；

基于所述位置信息提取包括在所述文档信息内某区域中的对象的提取单元；和

具有判断单元，且基于各所述区域内包括的对象提取特征量的区域特征提取单元；

整合所提取的对象从而创建所述区域的整合图像的整合单元，

所述判断单元基于所述特征量判断所述区域的类型。

2.如权利要求1所述的信息处理设备，其特征在于，该信息处理设备还包括：

在其中存储信息的存储单元；

基于所述对象在页面上的排列获取所述整合图像的位置信息的图像位置提取单元；和

寄存单元，所述寄存单元使所述整合图像与所获取的整合图像的位置信息相关联并将它们寄存到所述存储单元中。

3.如权利要求1所述的信息处理设备，其特征在于，该信息处理设备还包括：

在其中存储信息的存储单元；

基于所提取的对象创建指示所述区域中的特征的特征信息的特征创建单元；和

寄存单元，所述寄存单元使所述整合图像与所创建的特征信息相关联，并且将与所述特征信息相关联的整合图像作为区域信息寄存到存储单元中。

4.如权利要求1所述的信息处理设备，其特征在于，该信息处理设备还包括通过以特征量作为关键词搜索所述区域信息而获取所述整合图像的搜索单元。

5.如权利要求1所述的信息处理设备，其特征在于，所述输入单元接收对象信息的输入，所述对象信息是关于形成所述页面中所包括的示意图的对象的信息。

6.如权利要求1所述的信息处理设备，其特征在于，该信息处理设备还包括将所述文档信息划分为各个对象，并且输出文档信息中的各个对象的对象信息和位置信息的打印输出单元，其中

所述输入单元接收各个对象的对象信息和位置信息的输入，该两者都由打印输出单元输出。

7.一种信息处理方法，其特征在于，该方法包括：

接收各个对象的对象信息和位置信息的输入，所述对象信息是关于包括在文档信息的页面中的某一单位表示的各个对象的信息，而所述位置信息是关于所述文档信息中各个对象的位置的信息；

基于所述位置信息提取包括在所述文档信息内某区域中的对象；和

基于各所述区域内包括的对象提取特征量，并基于所述特征量判断所述区域的类型；

整合所提取的对象从而创建所述区域的整合图像。

8.如权利要求7所述的方法，其特征在于，该方法还包括：

基于对象在所述页面上的排列提取所述整合图像的位置信息；和

使所述整合图像与所获取的整合图像的位置信息相关联并将它们寄存到存储单元中。

9.如权利要求7所述的方法，其特征在于，该方法还包括：

基于所提取的对象创建指示所述区域内的特征的特征信息；

使所述整合图像与所创建的特征信息相关联，并且将与所述特征信息相关联的整合图像作为区域信息寄存到所述存储单元中。

10.如权利要求9所述的方法，其特征在于，该方法还包括通过以特征量作为关键词搜索所述区域信息而获取所述整合图像。

11如权利要求7所述的方法，其特征在于，所述接收包括接收对象信息的输入，所述对象信息是关于形成所述页面中所包括的示意图的对象的信息。