CN1829273A - 图像处理装置及其方法 - Google Patents

Abstract

一种图像处理装置及其方法。在搜索文档图像的数字文档时，如果在感兴趣的文档中嵌入表示安全等级“不能进行对象的矢量转换”的信息，则在搜索中所使用的对象的信息是不足的，从而影响了满意的搜索处理。为了解决该问题，读取文档图像，并根据图像区的属性分割所读取的图像。接受对分割后的图像区中图像被矢量转换的图像区的指定，并提取包括在所指定的图像区中的附加信息。根据该附加信息的有/无或该附加信息的解释结果，来控制与该文档图像相对应的数据文件的搜索处理。

Description

图像处理装置及其方法

技术领域

本发明涉及一种图像处理装置及其方法，尤其涉及一种用于从文档图像生成可再使用的数据的图像处理。

背景技术

随着信息的数字化，更容易大范围地共享和使用信息。尤其是，对将基于纸的文档作为数字数据(数字文档)再使用的需求日益增加。作为从基于纸的文档(原稿)生成数字文档的方法，已经提出了一种读取文档图像以搜索原始数字文档的方法(日本专利3017851号)。

作为在上面的提案中提高搜索效率的例子，已经提出了这样一个系统：读取文档图像，然后对各块图像的对象进行矢量转换，并基于文档图像的布局信息和各块的矢量信息来搜索数字文档。

而且，当对文档图像进行矢量转换并作为数字数据再使用时，防止篡改和安全保护的必要性在增加。例如，日本特开2004-164538号公报记载了一种判断所读取的图像文档是否是保密文档的方法。即利用该技术，预先登记保密文档的复制伪造禁止图案，并检查所读取的文档图像的复制伪造禁止图案是否与所登记的复制伪造禁止图案相匹配，从而检查所读取的图像是否是保密文档的图像。

另外，有对各文档改变安全等级的提案。然而，在搜索文档图像的数字文档时，如果在感兴趣的文档中嵌入表示安全等级“不能进行对象的矢量转换”的信息，则在搜索中所使用的对象的信息是不足的，因而影响满意的搜索处理。或经常需要非常长的搜索时间。

发明内容

本发明的第一方面公开了一种图像处理方法，包括以下步骤：读取步骤，用于读取文档图像；提取步骤，用于提取所读取的文档图像的附加信息；以及控制步骤，用于进行控制，以根据所提取的附加信息将应用于该文档图像的矢量转换限制为用于搜索的矢量转换，该搜索用于搜索与该文档图像相对应的数据文件。

一种图像处理装置，包括：读取器，用于读取文档图像；提取器，用于提取所读取的文档图像的附加信息；以及控制器，用于进行控制，以根据所提取的附加信息将应用于该文档图像的矢量转换限制为用于搜索的矢量转换，该搜索用于搜索与该文档图像相对应的数据文件。

本发明的第二方面公开了一种图像处理方法，包括以下步骤：读取步骤，用于读取文档图像；分割步骤，用于根据图像区的属性来分割所读取的图像；输入步骤，用于输入对分割后的图像区中、被应用矢量转换的图像区的指定；矢量转换步骤，用于对所指定的图像区的图像进行矢量转换；检测步骤，用于通过搜索来检测与所指定的图像区的图像相对应的数据文件；生成步骤，用于使用分割后的图像区的图像、检测到的数据文件和通过矢量转换所获得的矢量数据中的至少一个，生成可再使用的数据；提取步骤，用于提取包括在所指定的图像区中的附加信息；以及控制步骤，用于根据所提取的附加信息来控制该矢量转换步骤、以及该检测步骤和该生成步骤的操作。

一种图像处理方法，包括：读取器，用于读取文档图像；分割器，用于根据图像区的属性来分割所读取的图像；输入部分，用于输入对分割后的图像区中、被应用矢量转换的图像区的指定；转换器，用于对所指定的图像区的图像进行矢量转换；检测器，用于通过搜索来检测与所指定的图像区的图像相对应的数据文件；生成器，用于使用分割后的图像区的图像、检测到的数据文件和通过矢量转换获得的矢量数据中的至少一个，生成可再使用的数据；提取器，用于提取包括在所指定的图像区中的附加信息；以及控制器，用于根据所提取的附加信息来控制该转换器、以及该检测器和该生成器的操作。

根据本发明，在基于从文档读取的图像搜索数据文件时，可提高搜索效率和搜索精度，同时保持高的安全性。

通过下面结合附图的说明，本发明的其它特征和优点将会显而易见，其中，在整个附图中相同的附图标记表示相同或相似的部分。

附图说明

图1是示出使用多功能外围设备(MFP)对信息进行数字化的图像处理系统的配置的框图；

图2是示出MFP的配置的框图；

图3是用于说明图1中所示的图像处理系统的处理概要的流程图；

图4示出操作窗口的显示例子；

图5A示出块选择结果的例子；

图5B示出块选择结果的例子；

图6是示出矢量转换处理的细节的流程图；

图7是用于说明在矢量转换中的拐角提取处理的视图；

图8是用于说明在矢量转换中对轮廓线进行分组的处理的视图；

图9是示出对通过矢量转换生成的矢量数据进行分组处理的流程图；

图10是示出对图形要素进行检测处理的流程图；

图11是示出对数据文件进行搜索处理的流程图；

图12示出表示矢量转换结果的中间数据的格式；

图13是示出转换成应用程序数据格式的处理的流程图；

图14是示出文档结构树生成处理(S1703)的细节的流程图；

图15示出输入图像的例子；

图16示出从图15中所示的图像获取的文档结构树；

图17是用于说明考虑到包括不能进行矢量转换的图块(segment)的情况的矢量转换的流程图；

图18和19是用于说明部分矢量转换图像数据的方法的视图；以及

图20是用于说明根据本发明的第二实施例考虑到包括不能进行矢量转换的图块的情况的矢量转换的流程图。

具体实施方式

下面将参考附图来详细说明根据本发明优选实施例的图像处理。

第一实施例

图像处理系统

图1是示出图像处理系统的配置的框图，其中该图像处理系统使用多功能外围设备(MFP)作为功能被扩展了的记录装置对信息进行数字化。

在通过广域网(WAN)104例如因特网等连接办公室(或多个办公室那样的区域)10和20的环境下，来实现该图像处理系统。

MFP 100、控制该MFP 100的管理PC 101、客户端PC 102、文档管理服务器106、以及由该文档管理服务器106管理的数据库服务器105等被连接到在办公室10中构建的局域网(LAN)107。办公室10和20具有基本相同的配置。至少文档管理服务器106、以及由该文档管理服务器106管理的数据库服务器105等被连接到在办公室20中构建的LAN 108。通过连接到LAN 107的代理服务器103、WAN 104、以及连接到LAN 108的另一代理服务器103，将办公室10和20中的LAN 107和LAN 108相互连接。

MFP 100执行用于读取文档图像及处理所读取的图像的一些图像处理。从MFP 100输出的图像信号通过通信线109输入到管理PC 101。管理PC 101包括普通个人计算机(PC)。管理PC 101具有：用于存储图像的存储器，例如，硬盘等；由硬件或软件实现的图像处理器；监视器，例如，CRT、LCD等；以及输入单元，包括鼠标、键盘等。管理PC 101的某些组件被集成与MFP 100构成一体。注意，以下说明管理PC 101执行后面将说明的搜索处理等的情况，但MFP 100可以执行由管理PC 101执行的处理。

MFP

图2是示出MFP 100的配置的框图。

包括自动进稿器(auto document feeder，ADF)的图像读取器110用来自光源的光照射一个或多个堆叠的文档中的每个上的图像，并通过镜头在固态图像传感元件上形成由该文档反射的光的图像。然后，图像读取器110按光栅顺序从该固态图像传感元件获取所读取的图像信号(例如，600dpi，8位)。当复制文档时，数据处理器115将该读取的图像信号转换为打印信号。当在多个打印薄片上复制图像时，数据处理器115将一页的打印信号临时存储在存储器单元111中，并将该打印信号重复输出到打印机单元112，从而在多个打印薄片上形成图像。

另一方面，从客户端PC 102输出的打印数据通过LAN 107输入到网络接口(I/F)114。由数据处理器115将该打印数据转换为可打印的光栅数据，并由打印机单元112将其在打印薄片上形成为图像。

包括MFP 100上装配的按键操作单元和管理PC 101的键盘及鼠标的输入单元113用于将操作者的指令输入到MFP 100。显示单元116显示操作输入及图像处理状态等。

由包括在数据处理器115中并包括例如单片微控制器的控制器115a来控制MFP 100的操作。

注意，存储器单元111也可以由管理PC 101来控制。MFP 100和管理PC 101之间的数据交换和控制通过网络I/F 117及直接连接它们的信号线109来进行。

注意，该MFP 100可包括作为输入单元113的一部分的接口，该接口用于从图像传感装置例如数字照相机或数字摄像机等、以及便携式终端例如便携式数字助理(PDA)、传真机等获取图像数据。

用于识别用户的用户识别单元118被连接到输入单元113。用户识别单元118是例如IC卡读取器、用于输入ID或密码的按键、或用于识别生物特征信息例如指纹、手印、毛细血管图案以及虹膜等的生物特征辨识设备。用户识别单元118输入用于指定使用该MFP 100的用户的信息(以下称之为“用户指定信息”)，并通过输入单元113将该用户指定信息输出到数据处理器115。

另外，设置表示MFP 100的每一用户的安全等级的信息，并将其存储在数据处理器115或管理PC 101的非易失性存储器(例如，硬盘)中。因此，数据处理器115可以从任何一个非易失性存储器中获取与从用户识别单元118输入的用户指定信息相对应的安全等级。当使用IC卡读取器作为用户识别单元118时，用户识别单元118可以通知数据处理器115存储在IC卡的存储器中的安全等级。

在以下说明中，将数据处理器115获取与由用户识别单元118获取的用户指定信息相对应的安全等级(或直接从用户识别单元118获取安全等级)的事件称为“用户认证”。

从输入单元113或客户端PC 102指示MFP 100将数据发送并存储到管理PC 101。在这种情况下，通过数据处理器115将图像读取器110所读取的或从客户端PC 102接收的图像信号转换为打印信号，然后经由网络I/F 114(或117)将其发送或存储在存储器单元111。

而且，从输入单元113将用于将文档图像转换为可再使用的数字数据的指令发送到管理PC 101。在这种情况下，由图像读取器110读取的图像信号被管理PC 101进行矢量转换(后面将对其进行说明)，然后经由网络I/F 114(或117)将其发送或存储在存储器单元111中。

处理流程

图3是用于说明由上述图像处理系统执行的处理流程的流程图。通过管理PC 101或数据处理器115或它们的组合来执行该处理。

MFP 100执行用户认证(S300)。如果用户认证失败，则MFP100将相应的消息显示在显示单元116上，并且不接受任何操作。如果用户认证成功，则MFP 100使图像读取器110能够按照光栅顺序扫描一页文档图像，从而获取读取的图像信号。由数据处理器115预处理该读取的图像信号，并将其作为一页输入图像的图像数据保存在存储器单元111中(S301)。

接着，管理PC 101对存储在存储器单元111中的图像数据执行块选择(block selection，BS)处理，以将该图像数据分割为包括字符或线条图像的文本和线条区、半色调照片区、具有中间形式的图像区以及其它区。而且，将文本和线条区分割为主要包括字符的文本区和主要包括表格、图形等的线条区，并且将该线条区分割为表格区和图区(S302)。注意，第一实施例检测连接像素，并使用该连接像素的外接矩形区的形状、大小、及像素密度等将图像数据分割为各属性的区。然而，还可以使用其它区域分割方法。

文本区被分割为矩形块(文本区矩形块)，以将段落等的群(cluster)作为块，例如。线条区被分割为各对象例如表格和图形等的矩形块(表格区矩形块，线条区矩形块)。由半色调表现的照片区被分割为矩形块，例如图像区矩形块、背景区矩形块等。注意，以下将这些矩形块的信息称作“块分割信息”。

如图4中所示，数据处理器115对通过BS处理所获得的块分割信息和输入图像进行合成，并将它们显示在显示单元116的操作窗口上(S303)。输入图像本身被显示在操作窗口的左侧，而块分割信息被作为矩形块显示在右侧。注意，图4示出表示与各块相对应的属性的字符串TEXT(文本)、PICTURE(图形)、LINE(线)和TABLE(表格)等，以便易于理解矩形块。然而，在实际的操作窗口上不显示这样的属性信息，并且矩形块被显示为框边。属性信息TEXT表示文本属性；PICTURE表示图形属性；PHOTO表示照片属性；LINE表示线条属性；TABLE表示表格属性。当然，除了图4中所示的输入图像和块分割信息的并列显示外，它们还可以相互重叠，以便将矩形块显示在输入图像上。因此，可以利用各种其它的显示模式。

接着，用户从操作窗口上所显示的矩形块(图块)中指定将被矢量转换的矩形块(S304)。可以采用各种方法作为指定块的方法。例如，用户可以使用指示设备指定一个或多个图块。可选地，操作窗口可以包括触摸式面板，用户可以利用手指通过触摸它来指定所期望的图块。

管理PC 101提取所指定的块的图像数据，以将下列处理应用于由数据处理器115通知的该所指定的块(S305)。管理PC 101执行矢量转换，以将所指定的块的所提取的图像数据转换为矢量数据(S306)。如果所指定的块具有照片属性，则不对该图像数据进行矢量转换。

接着，管理PC 101搜索包括所指定的块的图像的数据文件(或其原始数据文件)(S307)。如果原稿中有折叠，或当光栅扫描原稿时读取图像的精度低，则获得有噪声的读取信号，因而原稿的读取的质量低。另一方面，该被搜索的数据文件对应于在形成原稿图像时使用的原始数据的可能性高，并且该被搜索的数据文件的数据的质量高。搜索位置包括存储器单元111、文档管理服务器106(数据库服务器105)以及客户端PC 102的本地硬盘等。在这种情况下，从所指定的块的光学字符识别(OCR)结果中提取关键词，并进行包括该关键词的文档的全文搜索。可选地，可以参考所指定的块的矢量数据，进行搜索，该搜索基于以下信息，例如：矩形或特定图形的有/无、表格格式的数据的有/无等。另外，可以进行使用从位置关系或布局等获得的布局信息的所谓的布局搜索。

如果作为搜索结果检测到具有较高相似性的数据文件，则管理PC 101将候选的数据文件作为搜索结果显示在显示单元116上(S308)。在这种情况下，最好是按照相似性的递减顺序列出数据文件，并一起显示这些候选数据文件的缩略图。如果存在多个候选数据文件，即如果操作者必须选择数据文件，则从多个候选项中进行选择的消息被显示在显示单元116上，以提示操作者选择数据文件。作为对该提示的响应，用户指定数据文件。当用户判断出难以确定原始数据文件时，他或她可以省略该处理。如果仅发现了一个候选数据文件，并具有较高的相似性，则可以跳过步骤S308，流程进入步骤S310。

管理PC 101检查是否指定了数据文件(S309)。如果没有数据文件被指定，则流程跳到步骤S312。如果指定了数据文件，则管理PC 101检查所指定的数据文件是否具有光栅格式或是否是通过编码由BMP、TIFF等表示的光栅数据而获得的图像数据文件(S310)。如果所指定的数据文件具有光栅格式或者是BMP或TIFF的图像数据文件，则流程跳到步骤S312。另一方面，如果所指定的数据文件具有例如易于再使用的字符代码或矢量数据等的数据格式，则获取该数据文件(S311)，然后流程进入步骤S312。

如果没有指定数据文件或者如果所指定的数据文件是与输入的图像数据相同的光栅数据格式的数据文件，则将在步骤S306中生成的矢量数据转换为应用程序数据格式。如果获取了具有易于再使用的数据格式的原始数据，则将所获取的数据转换为应用程序数据格式(S312)。该处理将所获取的数据转换为用于不同目的的文件格式，因为数据格式依赖于所使用的应用程序。例如，作为代表性应用程序软件的文字处理器软件和电子数据表软件等定义用于不同目的的文件格式，必须以这样的格式生成数据文件。

作为通用文件格式，有例如，由Microsoft提出的Rich TextFormat(RTF)格式以及近年来已经普及并由万维网联盟(W3C)提出的Scalable Vector Graphics(SVG)格式。另外，可以使用仅简单处理文本数据的纯文本格式等。在各种应用程序软件中通常更有可能使用这些数据格式。

重复步骤S305到S312中的处理，直到在步骤S313判定所有所指定的块被转换为应用程序数据格式。当然，如果指定一个包括所有所指定的块的数据文件作为原始数据文件，则仅需要执行一次步骤S305到S312中的处理。

在第一实施例中，所指定的块被转换为矢量数据，其它块作为输入的图像数据保持不变，并将它们合成并转换为上述的应用程序数据格式。此时，保存所指定的块在输入图像中的位置信息以重建整个输入图像。

利用上面的结构，仅将用户选择的块(所指定的块)转换为可以易于再使用(编辑等)的矢量数据。另外，可以防止无意地对不能或不应该进行矢量转换的块例如照片属性的图块进行矢量转换。

下面对图3中所示的主要步骤的处理进行详细说明。

块选择(S302)

块选择是这样的处理：用于将图4中所示的一页的图像识别为一组对象；判定各个对象的属性为TEXT、PICTURE、PHOTO、LINE和TABLE；并将它们分割成具有不同属性的图块(块)。下面将说明块选择的实际例子。

待处理的图像被二进制化为单色图像，并通过轮廓线跟踪来提取由黑色像素所包围的像素群。对于具有预定面积或更大面积的黑色像素群，还对该群中的白色像素进行轮廓线跟踪，以提取白色像素群。此外，递归重复黑色和白色像素群的提取，以便从具有预定面积或更大面积的白色像素群中提取黑色像素群。

生成外接以这种方式所获得的像素群的矩形块，并基于该矩形块的大小和形状来判定它们的属性。例如，具有高宽比近似为1及具有落入预定范围内的大小的像素群被判定为文本属性的像素群。而且，当该文本属性的相邻像素群规则排列并可被分组时，将其判定为文本区。另外，具有小高宽比的低像素群被归类为线块。另外，由具有预定大小或更大并近似为矩形形状、包括规则排列的矩形白色像素群的黑色像素群所占据的范围被归类为表格区。而且，分布有不确定形式的像素群的区域被归类为照片区。其它具有任意形状的像素群被归类为图区。

图5A和5B示出块选择结果的例子。图5A示出每个所提取的矩形块的块信息。该块信息包括：每个块的属性、位置坐标X和Y、宽度W、高度H、OCR信息等。由数值1到5给出该属性：“1”表示文本属性；“2”表示图形属性；“3”表示表格属性；“4”表示线条属性；“5”表示照片属性。坐标X和Y表示输入图像的每个矩形块的起点的X和Y坐标(左上角的坐标)，宽度W和高度H表示矩形块在X坐标方向的宽度和在Y坐标方向的高度，而OCR信息表示有/无OCR信息。

图5B示出表示由块选择所提取的矩形块的总数的输入文件信息。

每个矩形块的块信息被用于该所指定的块的矢量转换。基于该块信息，可以指定矢量转换后的所指定的块和光栅数据之间的相对位置关系，而且可以合成矢量转换后的块和光栅数据块，而不破坏输入图像的布局。

矢量转换(S306)

对于矢量转换，可以利用以下方案。

(a)在文本属性的指定块的情况下，通过OCR处理将字符图案转换为字符代码，或通过识别字符的大小、样式和外观将其转换为忠实于视觉的字体数据。

(b)在不能通过OCR处理进行字符识别的线或文本属性的指定块的情况下，跟踪线条图像或字符的轮廓，并将轮廓信息转换为将该线条图像或字符表示为线段连接的格式。

(c)在图形属性的指定块的情况下，跟踪图形对象的轮廓，并将轮廓信息转换为将轮廓信息表示为线段连接的格式。

(d)通过方案(b)或(c)所获得的线段格式的轮廓信息经过Bezier函数的拟合被转换为函数信息。

(e)基于由方案(c)所获得的图形对象的轮廓信息来识别图形的形状，并将其转换为图定义信息例如圆、矩形、或多边形等。

(f)在表格属性的指定块的情况下，识别格线和框边，并将其转换为预定格式的表格信息。

除上述方案之外，还有用例如代码信息、图形信息、或函数信息等命令定义类型信息来代替图像数据的各种矢量转换。

文本区的矢量转换

图6是示出矢量转换(S306)的细节的流程图，该处理是由数据处理器115(或管理PC 101)执行的处理。

通过参考块信息来检查感兴趣的图块是否是文本属性的图块(S901)。如果该感兴趣的图块是文本属性的图块，则流程进入步骤S902，以使用任意的模式匹配方案来进行字符识别，从而获得对应的字符代码。

如果感兴趣的图块不是文本属性的图块，则执行基于图像轮廓的矢量转换(S912)，稍后将对其详细说明。

在文本属性的图块的情况下，计算像素值的水平和垂直投影以判定是水平书写还是垂直书写(以判定排版的方向)(S902)。估计投影的分布(S903)。如果水平投影的分布较大，则判定为水平书写；如果垂直投影的分布较大，则判定为垂直书写。基于该判定结果来分割行，然后分割字符，从而获取字符图像(S904)。

在分解为字符串或字符时，在水平书写的情况下，使用水平投影来分割行，并基于所分割的行的垂直投影来分割字符。对于垂直书写文本区，使用垂直投影来分割列，并根据所分割的列的水平投影来分割字符。注意，在分割行和字符时，还可以检测每一字符大小。

接着，对于每个所分割的字符，生成通过将从字符图像获得的特征转换为几十维的数值串而获得的观察特征矢量(S905)。特征矢量提取可使用各种已知的方法。例如，可以使用以下方法。即，将字符分割为网格，将形成网格中的字符的线作为依赖于方向的线要素来计数，并将维数与网格数相同的矢量定义为特征矢量。

将观察特征矢量与对各个字符类型计算的并被存储在特征字典中的特征矢量进行比较，以计算这些矢量之间的距离(S906)。估计所计算的距离，并将具有最短距离的字符类型判定为识别结果(S907)。基于该距离的评估结果，将最短距离和阀值进行比较。如果该最短距离小于该阀值，则判定相似性高；反之，则判定相似性低(S908)。如果该最短距离等于或大于该阀值(如果相似性低)，则感兴趣的字符图像很可能被错误地识别为具有相似形状的另一字符。因此，不采用步骤S907中的识别结果，以与线条图像一样的方式来处理该字符图像，并对该字符图像的轮廓进行矢量转换(S911)。换句话说，对于有很大可能被错误识别的字符图像，生成忠实于视觉的轮廓矢量数据。

另一方面，如果相似性高，则采用步骤S907中的识别结果，将字体信息和字符代码一起输出，从而识别该字符字体(S909)。注意，对应于字符形状类型即字体类型，来编制与在字符识别中使用的字符类型一样多的多个特征字典，从而实现字体识别。随后，参考通过字符识别和字体识别获的的字符代码和字体信息，使用按照该字符代码和字体信息预先编制的轮廓数据，将每个字符转换为矢量数据(S910)。在彩色图像数据的情况下，提取字符的颜色，并将其与矢量数据一起进行记录。

利用上述处理，包括在文本属性的图块中的字符图像可被转换为具有基本忠实的形状、大小、及颜色的矢量数据。

非文本区的矢量转换(S912)

对于非文本属性的图块，即被判定为图形、线条、及表格属性的图块，提取黑色像素群，并将其轮廓转换为矢量数据。注意，照片属性的图块作为图像数据保持不变，而无需进行矢量转换。

非文本区的区域的矢量转换检测将曲线分割为多个部分(像素阵列)的“拐角”，以便将线条图像等表示为直线和/或曲线的组合。图7是用于说明矢量转换中的拐角提取处理的视图。拐角是对应于最大曲率的点，并通过如下方法来判断图7所示的曲线上的像素Pi是否为拐角。

像素Pi被定义为起点，从像素Pi通过预定的像素数k沿线条图像曲线的两个方向分开的像素Pi-k和Pi+k通过线段L连接。假定d1为像素Pi-k和Pi+k之间的距离，d2为从像素Pi画出与线段L垂直相交的线段的长度(像素Pi和线段L之间的距离)。如果d2最大化或者如果像素Pi-k和Pi+k之间的弧长A与距离d1的比率d1/A等于或小于预定的阀值时，则像素Pi被判定为拐角。

在检测到拐角之后，由该拐角分割的线条图像曲线的像素阵列由直线或曲线来近似。通过最小二乘法等来执行近似为直线，而使用三次样条函数等来执行近似为曲线。分割像素阵列的拐角处的像素成为近似直线或曲线的起点或终点。

而且，检查在矢量转换后的轮廓中是否存在白色像素群的内部轮廓。如果这样的内部轮廓存在，则对该轮廓进行矢量转换，并对黑色和白色像素群的内部轮廓进行递归矢量转换，获取每个内部轮廓中的内部轮廓。

如上所述，使用通过直线或曲线近似轮廓的划分线(partialline)的方法，可对任意形状的图形的轮廓进行矢量转换。当输入图像为彩色图像时，从该彩色图像中提取该图形的颜色，并将其与矢量数据一起进行记录。

图8是用于说明矢量转换中对轮廓线进行分组的处理的视图。

当在轮廓的感兴趣部分内外部轮廓PRj靠近内部轮廓PRj+1或者另一外部轮廓时，结合两个、三个或多个轮廓以表示具有给定宽度的线。例如，计算轮廓PRj+1上的像素Pi与轮廓PRj上距离像素Pi最近的像素Qi的之间的距离PQi。当多个像素之间的距离PQi的变化很小时，通过沿线段PQi的中点Mi的点序列的直线或曲线来近似轮廓PRj和PRj+1的感兴趣的部分。可以将沿中点Mi的点序列的近似直线或曲线的宽度设置为距离PQi的平均值。

通过将作为一组线的线或表格的格线表示为一组具有宽度的线，可以有效地对其进行矢量转换。

图形的识别

在将线图形等的轮廓进行矢量转换后，对每个图形对象分组矢量转换后的划分线。

图9是示出由矢量转换生成的矢量数据的分组处理，即对每一图形对象分组矢量数据的处理的流程图。

计算每个矢量数据的起点和终点(S1401)，以使用该起点和终点的信息来检测图形要素(S1402)。注意，该图形要素是由划分线形成的闭合图形，在检测时，在用作起点和终点的共同拐角像素处连接矢量。即应用形成闭合形状的矢量组具有连接到其两个端点的矢量的原理。

接着，检查在该图形要素中是否存在另一图形要素或划分线(S1403)。如果存在这样的图形要素或划分线，则递归重复步骤S1401和S1402。然后，将这些要素或线进行分组以形成图形对象(S1404)。如果在该图形要素不存在其它图形要素或者划分线，则将该图形要素定义为一个图形对象(S1405)。

注意，图9示出仅对一个图形对象的处理。如果存在另一图形对象，则照此重复图9中的处理。

图形要素的检测(S1402)

图10是示出图形要素的检测处理的流程图。

从矢量数据中排除两端没有被连接到其他矢量的矢量，以提取形成闭合图形的矢量(S1501)。

对于形成闭合图形的矢量，将感兴趣的矢量的一个端点(起点或终点)设置为开始点，并沿预定的方向(例如，顺时针)搜索矢量。即，在另一端点处搜索另一矢量的端点，并将预定距离内的最近的端点定义为将要被连接的矢量的端点。当形成闭合图形的全部矢量被跟踪一次直至到达开始点时，所有经过的矢量被分组为形成一个图形要素的闭合图形(S1502)。另外，对在该闭合图形内呈现的形成闭合图形的所有矢量进行递归分组。而且，没有被分组的矢量的起点被设置为开始点，以重复相同的处理。

在被排除的矢量中，检测端点靠近被分组为闭合图形的矢量的矢量(连接到闭合图形的矢量)，并将检测到的矢量分入该组(S1503)。

利用上述处理，可以将图形块作为独立再使用的图形对象进行处理。

一般来说，不需要总是将上述矢量转换应用于整个输入图像，而通常仅将其应用于用户所指定的块就足够了。通过仅对用户的指定的块应用矢量转换，可以改善处理性能，并仅对用户所期望的块有效地进行矢量转换。然后，矢量数据可被用在接下来的搜索处理中，或者可以仅对所需要的图像的块进行有效地再编辑或再使用。

文件搜索(S307)

图11是示出数据文件搜索处理的流程图。假定作为BS处理结果，输入图像被分割为图4中所示的矩形块，以获取5A和5B中所示的块信息和输入文件信息，并保持由用户所指定的块的矢量数据。

如图5A和5B所示，对块1～6的六个图块记录属性、坐标、宽度、高度以及OCR信息的有/无，并将它们的属性分别归类为文本、表格、图形、文本、表格和照片。输入文件信息的块的总数表示输入图像中的图块的总数。块的总数为N＝6。在块信息中，将图块按照坐标X的升序进行分类，如果它们具有相同的坐标X，则按照坐标Y的升序进行分类。使用这些信息，例如，参考登记在数据库服务器105中的数据文件的块信息(或类似于块信息的信息)，来搜索与所指定的块的图像相类似的数据文件。

首先执行初始化以将相似比(ratio of similarity)(后面对其进行说明)初始化为0(S1101)。检查是否存在具有与输入文件信息的块的总数N的差落在预定值范围(N-ΔN＜n≤N+ΔN)内的块的总数的数据文件(S1102)。如果不满足该条件，则流程跳到步骤S1114。

如果发现满足该条件的数据文件，则对该数据文件的矩形块信息和输入图像的矩形块信息进行比较，从上面的图块开始依次进行属性的比较(S1103)、大小的比较(S1105)以及OCR信息的有/无的比较(S1107)。如果图块的属性匹配，则更新属性相似比(S1104)。如果大小匹配，则更新大小相似比(S1106)。如果有OCR信息，则比较两个OCR信息(S1108)，并更新OCR信息的相似比(S1109)。检查是否完成记录在输入图像的矩形块信息中的所有图块的比较(S1110)。如果还有待比较的图块，则流程返回到步骤S1103以对下一图块进行比较。

如果属性不匹配，则不更新任何相似比。如果大小不匹配，则不更新大小相似比和OCR信息相似比。如果无OCR信息，则不更新OCR信息相似比。之后，流程跳到步骤S1110。

一旦完成所有图块的比较，则基于属性相似比、大小相似比以及OCR信息相似比，计算待比较的数据文件的总的相似比(S1111)，并检查总的相似比是否超过预先设置的阀值Th(S1112)。如果总的相似比超过了该阀值Th，则将该数据文件作为候选进行记录(S1113)。

检查是否完成与登记在数据库服务器105中的所有数据文件的比较(S1114)。如果还有待比较的数据文件，则流程返回到步骤S1101以对下一数据文件进行比较。一旦完成数据文件的比较，在步骤S308将作为候选被记录的数据文件以列表显示在操作窗口。

通过计算例如相似性+1/N(N为总的块数)来更新属性相似比。当大小差落在预定范围W-ΔW＜w＜W+ΔW和H-ΔH＜h＜H+ΔH内时，判定大小匹配。另外，通过将1-(w-W)/W(W为输入图像的感兴趣的图块的大小)定义为每一图块的大小相似比并计算所有图块的大小相似比的平均值，来更新大小相似比。而且，通过由比较OCR信息的字符串计算匹配的字符比、并计算所有图块的OCR相似比的平均值，来更新OCR信息相似比。而且，通过计算相似比的总和，可以计算总的相似比。可选地，可以对各个相似比给出预定的权重，并计算它们的总和。

注意，不仅可以添加图块的大小比较，而且可以添加位置信息(坐标X和Y)的比较。

在上述处理中，可以在文件搜索(S307)中使用如下矢量数据：在步骤S306对用户所指定的块生成的矢量数据、由OCR处理获取的字符代码信息、表示垂直/水平书写等的布局信息、图形识别的图形的数量和布局、以及字体识别的文档中的字体信息等。

通过该方式，除由BS处理获得的布局信息外，在文件搜索中的相似比计算中，使用用户感兴趣的(用户所指定的)块的详细矢量数据。因而，可以缩短文件搜索时间，并可以提高其精度。在文件搜索中，由于可以增加所指定的块的矢量数据的权重，并可以通过在用户感兴趣的部分附加重要度来计算相似比，因此可以获得满足用户要求的搜索结果。

转换为应用程序数据格式(S312)

图12示出表示矢量转换结果的中间数据的格式。以被称为文档分析输出格式(DAOF)的格式来保存中间数据。

DAOF包括：头1601、布局描述数据字段1602、字符识别描述数据字段1603、表格描述数据字段1604、及图像描述数据字段1605。该头1601保持关于待处理的输入图像的信息。

该布局描述数据字段1602保持表示输入图像中的矩形图块的属性信息，例如，TEXT、TITLE(题目)、CAPTION(标题)、LINE、PICTURE、FRAME(框)、TABLE以及PHOTO等，以及这些矩形图块的位置信息。

该字符识别描述数据字段1603保持字符识别结果，该字符识别结果是通过对在文本属性例如TEXT、TITLE以及CAPTION等的矩形图块中由用户所指定的块执行字符识别而获得的。

该表格描述数据字段1604保持表格属性的矩形图块的表格结构的细节。该图像描述数据字段1605保持从图形属性或线条属性的矩形图块中的输入图像数据中分割的图像数据。

矢量转换后所指定的块的图像描述数据字段1605保持表示由矢量转换所获得的图块的内部结构、图像形状、字符代码等的一组数据。另一方面，图像描述数据字段1605保持除所指定的块以外的未经过矢量转换的图块本身的输入图像数据。

图13是示出转换为应用程序数据格式的处理的流程图。

输入DAOF格式的数据(S1701)，并生成作为应用程序数据的基础的文档结构树(S1702)。基于该文档结构树来获取DAOF中的真实数据，以生成应用程序数据(S1703)。

图14是示出文档结构树生成处理的细节的流程图(S1703)。作为在该处理中的全面控制的基本规则，处理的流程从小块(microblock)(单个矩形块)转变为大块(macroblock)(一组矩形块)。在下面的说明中，“矩形块”指小块和大块二者。

基于垂直方向上的相关性对各个矩形块进行矩形块分组(S1801)。注意，通常反复执行图14中所示的处理。处理一开始后，就对各个小块进行判定。注意，可以通过表示相邻的矩形块之间的距离是否小、矩形块是否具有几乎相同的块宽度(在水平方向的情况下为高度)等特征，来定义该相关性。可以参考DAOF来提取距离、宽度和高度等的信息。

例如，在图15所示的输入图像的情况下，矩形块T1和T2沿水平方向并排放置在其最上面的部分。水平分离器S1位于矩形块T1和T2下面，而矩形块T3、T4、T5、T6和T7位于水平分离器S1下面。矩形块T3、T4、T5沿垂直方向从上到下布置在水平分离器S1下方区域的左半部分。矩形块T6和T7从上到下布置在水平分离器S1下方区域的右半部分。

如果在步骤S1801执行基于垂直方向上的相关性的分组，则将矩形块T3、T4和T5组合为一组(矩形块V1)，将矩形块T6和T7组合为另一组(矩形块V2)。组V1和V2属于同一层。

接着，检查垂直分离器的有/无(S1802)。分离器是DAOF中具有线条属性的对象，并在应用程序软件中具有明确地分离块的功能。一旦检测到分离器，则在待处理层中以该分离器为边界将输入图像的区域分割为右和左区域。图15的例子不包括垂直分离器。

然后检查垂直方向上组的总高度是否等于输入图像的高度(S1803)。即，如果通过沿垂直方向(例如，从上到下)移位待处理的区域来进行水平方向上的分组，则在完成对整个输入图像的处理时，组的总高度等于输入图像的高度。利用该事实，判定处理的结束。

如果还没有完成分组，则基于水平方向上的相关性来分组矩形块(S1804)。这样，将图15中所示的矩形块T1和T2组合为一组(矩形块H1)，并将矩形块V1和V2组合为一组(矩形块H2)。组H1和H2属于同一层。即使在该情况下，处理一开始后，也对各个小块进行判定。

接着，检查水平分离器的有/无(S1805)。一旦检测到分离器，就在待处理层中以该分离器为边界将输入图像的区域分割为上和下区域。注意，图15包括水平分离器S1。

检查在水平方向上组的总宽度是否等于输入图像的宽度(S1806)。利用该处理，检查是否完成在水平方向上的分组。如果在水平方向上组的总宽度的等于输入图像的宽度(页宽)，则文档结构树生成处理结束。如果水平方向上组的总宽度小于页宽，则流程返回到步骤所1801以重复从检查垂直方向上的相关性的步骤开始的处理。

图16示出从图15中所示的图像V0获得的文档结构树。

图像V0包括组H1和H2，以及最上层中的分离器S1，并且第二层中的矩形块T1和T2属于组H1。第二层中的组V1和V2属于组H2。第三层中的矩形块T3、T4和T5属于组V1。第三层中的矩形块T6和T7属于组V2。

当获得图16所示的树时，由于水平方向上组的总宽度等于页宽，因此处理结束，并最后将表示整个页的最上层的V0附加到文档树结构。在完成文档树结构后，基于该信息生成应用程序数据。

由于组H1在水平方向上具有两个矩形块T1和T2，因此设置两列，并参考T1的DAOF，将矩形块T1的内部信息(作为字符识别结果的文本、图像等)输出到第一列(左列)。之后，选择第二列(右列)，并输出T2的内部信息。然后，输出分离器S1。

接着，选择组H2。由于组H2在水平方向上具有两个矩形块V1和V2，因此设置两列，并按照组V1的矩形块T3、T4和T5的顺序将内部信息输出到第一列(左列)。之后，选择第二列(右列)，并按照V2的矩形块T6和T7的顺序将内部信息输出到所选择的列。

利用上述处理，执行转换到应用程序数据格式的处理。

在上面的例子的说明中，用户使用输入单元113等指定一个或多个通过BS处理自动生成的矩形块作为将被矢量转换的块。然而，本发明不局限于此。例如，用户可以使用画线器等包围文档上所期望的块来指定块。

安全性

如上所述，为了满足防止篡改和安全保护的需要，通常将表示安全等级的“不能进行块图或该文档的矢量转换”的信息(以下称之为“附加信息”)嵌入在整个文档或图块(对象)中。使用条形码、二维码、数字水印或背景图案等嵌入该附加信息。当将添加有这样的附加信息的文档图像矢量转换为可再使用的应用程序数据时，对禁止矢量转换的块不执行矢量转换。结果，能够在搜索中使用的图块的图块信息变得不足，从而不能执行精确搜索。或者通常需要非常长的搜索时间。

当然，可以进行仅对搜索允许矢量转换的设置。然而，这就意味着在搜索时矢量数据存在于网络上，而在这种状态中不能确保高的安全性，因为矢量数据有可能在网络上被窃取。

作为附加附加信息的方法，可以利用的方法有：使用在生成数字文件时附加附加信息的应用程序的方法；以及在打印薄片上打印文档时通过设备驱动器附加附加信息的方法等。该附加信息指定对矢量转换的限制，即能否进行矢量转换、以及被允许执行矢量转换的用户的用户指定信息或安全等级等。

因此，当有矢量转换受限的图块时，允许部分图块的矢量转换以在搜索中使用该转换结果。即，提供被限制在搜索中的矢量转换，因而弥补了图块信息的不足。下面将对该方法进行说明。

图17是用于说明考虑在包括不能进行矢量转换的图块的情况下的矢量转换的流程图。在图3所示的步骤S306中通过管理PC101执行该处理。

检查在步骤S305中分割的所指定的块的图像数据是否包括附加信息(S3601)，如果包括附加信息，则提取并解释该附加信息(S3602)。基于该附加信息的解释结果和在步骤S300获取的用户指定信息或安全等级，检查是能还是不能进行由用户指定的块的图像数据的矢量转换(S3603)。当然，不能进行一些图块的矢量转换而不依赖于操作者是谁。

如果不包括附加信息或者如果判定虽然包括附加信息但是可以进行矢量转换，则对所指定的块的数据进行矢量转换(S3604)。另一方面，如果判定包括附加信息且不能进行矢量转换，则对所指定的块的图像数据进行部分矢量转换(S3605)。下面将说明该转换。

注意，对各个所指定的块执行图17所示的处理。

图18和19是用来说明部分矢量转换图像数据的方法的视图。

如图4所示，通过块选择(BS)处理判定各个矩形块的属性。例如，如图18所示，当不能进行矢量转换的表格属性的图块1801存在时，生成通过仅矢量转换表格的框和第一行而获得的矢量数据1802。另一方面，如图19所示，当不能进行矢量转换的文本属性的图块1901存在时，生成通过仅矢量转换一行的字符串而获得的矢量数据1902。另外，当不能进行矢量转换的图形或线条属性的图块存在时，对该图块的相对面积或绝对面积的一部分(1/10左上面积、100×100右上点等)进行矢量转换。此外，如果需要，还可以对1/10左下面积、1/10右上面积以及1/10右下面积进行矢量转换，并在搜索中使用矢量转换后的面积以提高搜索的精确性。

如上所述，不对照片属性的图块进行矢量转换。然而，当将限制矢量转换的附加信息附加到照片属性的图块，并且是所指定的块时，可以在搜索中使用该图块的部分图像(1/9中央面积)。

在步骤S310判定指定了数据文件之后，当在步骤S311获取该数据文件时，禁止使用附加有附加信息的图块的矢量数据。因此，获取该图块作为位图格式的图像数据或空数据。当然，如果在步骤S3603判定可以进行该图块的矢量转换，则可以在步骤S312使用在步骤S3604中被矢量转换的数据来生成应用程序数据。

这样，用户想要通过矢量转换文档图像生成可再使用的应用程序数据。在这种情况下，如果有矢量转换受限制的图块(对象)，则根据该限制完全或部分地矢量转换该图块(对象)，并可以将其应用在数据文件搜索中。因此，在维持高的安全性的同时，可以消除在搜索中可以使用的图块的信息不足、影响搜索、以及需要非常长的搜索时间等问题，以及搜索精度的下降。

第二实施例

下面将对根据本发明的第二实施例的图像处理进行说明。注意，在第二实施例中相同的附图标记表示与在第一实施例中的相同的部分，并且省略了对其的详细说明。

图20是用于说明根据本发明的第二实施例考虑在包括不能进行矢量转换的图块的情况下的矢量转换的流程图。在图3所示的步骤S306中通过管理PC 101执行该处理。

在步骤S3601到S3605中的处理与在图17中所示的第一实施例中的处理相同。在第二实施例的情况下，如果在步骤S3603判定发现了附加信息且不能进行所指定的块的图像数据的矢量转换，则基于附加信息的解释结果和操作者的用户指定信息或安全等级，检查搜索时是否可以进行矢量转换(S3606)。如果判定搜索时不能进行矢量转换，则跳过矢量转换；如果判定可以进行部分矢量转换，则对所指定的块的图像数据进行部分矢量转换以获取在搜索中使用的数据(S3605)；如果判定可以进行矢量转换，则为搜索目的对所指定的块的整个图像数据进行矢量转换(S3607)。在这种情况下，矢量转换仅被允许用于搜索目的，而禁止将矢量转换后的矢量数据存储在用于再使用的数据文件中。即，将矢量转换限制为仅用于搜索目的，并禁止用于生成数据文件和在数据库中登记的目的的矢量转换。

总之，假定用户想要通过矢量转换文档图像生成可再使用的应用程序数据。在这种情况下，如果有矢量转换是受限的图块(对象)，则根据该限制完全地矢量转换该图块(对象)，或者为了搜索目的对其进行部分或完全地矢量转换，并可用于数据文件搜索。因此，在维持高的安全性的同时，与第一实施例相比，可以更加灵活地消除在搜索中可以使用的图块的信息不足、影响搜索、以及需要非常长的搜索时间等问题，以及搜索精度的下降。

其它实施例

本发明可应用于由多个设备(例如，主机、接口、读取器、打印机)构成的系统或者由单个设备(例如，复印设备、传真机)组成的装置。

此外，可以通过将存储有用于执行前述处理的程序代码的存储介质提供给计算机系统或装置(例如，个人计算机)，由该计算机系统或装置的CPU或MPU从该存储介质读取程序代码，然后执行该程序，也可以实现本发明的目的。

在这种情况下，从存储介质读取的程序代码实现根据所述实施例的功能，并且存储该程序代码的存储介质构成本发明。

此外，可以用于提供该程序代码的存储介质有：例如，软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、以及ROM。

而且，除了通过执行由计算机读取的程序代码实现根据上述实施例的上述功能外，本发明包括这样一种情况：运行在计算机上的OS(操作系统)等根据程序代码的指令执行部分或全部处理，并实现根据上述实施例的功能。

而且，本发明还包括这样一种情况：在从存储介质读取的程序被写入插在计算机中的功能扩展卡或连接在计算机上的功能扩展单元提供的存储器中之后，包含于功能扩展卡或功能扩展单元中的CPU等根据程序代码的指令执行全部或部分处理，并实现上述实施例的功能。

在本发明应用于上述存储介质的情况下，存储介质存储与实施例中所述的流程相对应的程序代码。

由于在不脱离本发明的精神和范围的情况下，可以做出本发明的许多明显不同的实施例，因此应该理解，除了在所附权利要求中定义的以外，本发明不局限于其特定的实施例。

Claims (15)

1.一种图像处理方法，包括以下步骤：

读取步骤，用于读取文档图像；

提取步骤，用于提取所读取的文档图像的附加信息；以及

控制步骤，用于进行控制，以根据所提取的附加信息将应用于该文档图像的矢量转换限制为用于搜索的矢量转换，该搜索用于搜索与该文档图像相对应的数据文件。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括分割步骤，该分割步骤用于根据图像区的属性来分割所读取的文档图像，其中，将用于搜索的矢量转换应用于分割后的图像区。

3.一种图像处理装置，包括：

读取器，用于读取文档图像；

提取器，用于提取所读取的文档图像的附加信息；以及

控制器，用于进行控制，以根据所提取的附加信息将应用于该文档图像的矢量转换限制为用于搜索的矢量转换，该搜索用于搜索与该文档图像相对应的数据文件。

4.根据权利要求3所述的图像处理装置，其特征在于，还包括分割器，该分割器用于根据图像区的属性来分割所读取的文档图像，其中，将用于搜索的矢量转换应用于分割后的图像区。

5.一种图像处理方法，包括以下步骤：

读取步骤，用于读取文档图像；

分割步骤，用于根据图像区的属性来分割所读取的图像；

输入步骤，用于输入对分割后的图像区中、被应用矢量转换的图像区的指定；

矢量转换步骤，用于对所指定的图像区的图像进行矢量转换；

检测步骤，用于通过搜索来检测与所指定的图像区的图像相对应的数据文件；

生成步骤，用于使用分割后的图像区的图像、检测到的数据文件和通过矢量转换所获得的矢量数据中的至少一个，生成可再使用的数据；

提取步骤，用于提取包括在所指定的图像区中的附加信息；以及

控制步骤，用于根据所提取的附加信息来控制该矢量转换步骤、以及该检测步骤和该生成步骤的操作。

6.一种图像处理装置，包括：

读取器，用于读取文档图像；

分割器，用于根据图像区的属性来分割所读取的图像；

输入部分，用于输入对分割后的图像区中、被应用矢量转换的图像区的指定；

转换器，用于对所指定的图像区的图像进行矢量转换；

检测器，用于通过搜索来检测与所指定的图像区的图像相对应的数据文件；

生成器，用于使用分割后的图像区的图像、检测到的数据文件和通过矢量转换获得的矢量数据中的至少一个，生成可再使用的数据；

提取器，用于提取包括在所指定的图像区中的附加信息；以及

控制器，用于根据所提取的附加信息来控制该转换器、以及该检测器和该生成器的操作。

7.根据权利要求6所述的图像处理装置，其特征在于，所述控制器根据该附加信息的有/无和由该附加信息所表示的限制中的一个，来控制应用于所指定的图像区的矢量转换。

8.根据权利要求6所述的图像处理装置，其特征在于，还包括认证部分，该认证部分用于认证用户，其中所述控制器根据该附加信息的有/无、由该附加信息所表示的限制中的一个，以及根据该用户认证的结果，来控制应用于所指定的图像区的矢量转换。

9.根据权利要求6所述的图像处理装置，其特征在于，所述控制器根据该附加信息的有/无和由该附加信息所表示的限制中的一个，来控制与所指定的图像区的图像相对应的数据文件的检测处理和应用于所指定的图像区的矢量转换。

10.根据权利要求6所述的图像处理装置，其特征在于，还包括认证部分，该认证部分用于认证用户，其中所述控制器根据该附加信息的有/无、由该附加信息所表示的限制中的一个，以及根据该用户认证的结果，来控制与所指定的图像区的图像相对应的数据文件的检测处理和应用于所指定的图像区的矢量转换。

11.根据权利要求6所述的图像处理装置，其特征在于，通过控制所述转换器，所述控制器将用于搜索目的的矢量转换应用于所指定的图像区。

12.根据权利要求6所述的图像处理装置，其特征在于，所述检测器基于分割后的图像区的信息和矢量数据，通过搜索从存储器设备中检测数据文件。

13.根据权利要求12所述的图像处理装置，其特征在于，所述生成器将可再使用的数据存储在存储器设备中。

14.根据权利要求12所述的图像处理装置，其特征在于，该存储器设备位于网络上。

15.根据权利要求6所述的图像处理装置，其特征在于，禁止为生成数据库的目的而应用矢量转换。

Images