CN1525355A - 图像处理方法与图像处理系统 - Google Patents

Abstract

本发明提供了可减少像质恶化和能以小的存储容量存储图像信息且使之能容易地再利用的图像处理方法与图像处理系统。其中，对于各输入的图像检索存储装置中存储的原始电子数据，在未检索到原始电子数据时将上述输入的图像矢量数据化为电子数据而存储于存储装置中，对于在检索到原始电子数据时有关此原始电子数据的信息以及未检索到原始电子数据时有关通过上述矢量化后而存储的电子数据的信息，通过生成包含这两种信息中至少一种的页就能容易地再利用存储装置中存储的电子数据。

Description

图像处理方法与图像处理系统

发明领域

本发明涉及将复印机等图像处理装置读取的图像数据变换为由Word等文档制作应用软件可再利用的矢量数据，而能将其简便利用的图像处理方法与图像处理系统。

背景技术

近年来，在环境问题受到重视的情形下，办公场所的无纸化急速发展，提出了处理电子文档的种种技术。

例如在特许文献1(特开2001-358863号公报)中，描述了由扫描器读取纸文档，变换为电子文档格式(JPEG与PDF等)而存储于图像存储装置中。

在特许文献2(特开平8-147445号公报)中，描述了检测文档图像内所含属性的每个区域，作为该每个区域的内容来管理文档的文档管理系统。

特许文献3(特开平10-285378号公报)中描述了这样的技术，在数字复合机(具有复印功能、扫描功能、打印功能等)中，于所扫描的图像内确认是否有示明页ID的图形代码，而当发现了图形代码时，则于数据库上检索该相应的页ID。然后若在数据库上发现有页ID时，则只废弃这次输入的扫描图像，代替它的则是取出与页ID有关的印刷数据，通过打印操作，生成印刷图像且印刷到纸上。另一方面则记载有，当于数据库上未发现该相应的页ID的情形，则在复印操作时将扫描图像原样地复印到纸上，而在传真操作时或归档操作时，则于扫描图像上附以PDL命令，作成PDL格式发送。

但在特许文献1的技术中，虽可将扫描器读取的图像作为紧缩信息量的JPEG文件或PDF文件保存，但由于不能从打印的文档检索保存的文件，当反复地打印与扫描后，就会有使保存的文档图像恶化的问题。

在特许文献2的技术中，虽可将图像分割成多个区域再利用其各个内容，但由于要根据用户的指示检索内容再从其中决定所用的内容，在利用存储的内容制成文档时，用户就需决定采用哪项内容而成了非常费力的问题。

在特许文献3的技术中，当没有发现与纸文档相对应的原电子文档时，虽于扫描图像付与PDL命令制成PDL格式，但仅仅是对图像付与PDL命令制成PDL格式，就会有使文件大小增大的问题。

发明内容

本发明正是考虑到上述问题而提出的，目的在于提供利用输入的图像的入口页，而能容易地再利用存储装置中所存储的电子数据的图像处理方法与图像处理系统。

为了达到上述目的，本发明的图像处理方法的特征在于具有：对于各个输入的图像检索存储装置中存储的原始电子数据的检索步骤；于上述检索步骤中未检索到原始电子数据时，将上述输入的图像进行矢量数据化后的矢量化步骤；将上述矢量化步骤中矢量数据化的图像作为电子数据存储于存储装置中的存储步骤；对于于上述检索步骤中检索到原始电子数据时有关该检索出的原始电子数据的信息，或是在上述检索步骤中未检索到电子数据时于上述矢量化步骤中矢量化而在上述存储步骤中存储的电子数据的有关信息，对于这两种信息生成包含其中至少一种的页的页生成步骤。

为了达到上述目的，本发明的图像处理系统的特征在于具有：相对于各个输入的图像检索存储装置中存储的原始电子数据的检索装置；于上述检索步骤中未检索到原始电子数据时，将上述输入的图像进行矢量数据化的矢量化装置；将由上述矢量化装置矢量数据化后的图像作为电子数据存储于存储装置中的存储装置；对于由上述检索装置检索到原始电子数据时有关该检索出的原始电子数据的信息，或是由上述检索装置来检索到电子数据时由上述矢量化装置矢量化而由上述存储装置存储的电子数据的有关信息，对于这两种信息生成包含其中至少一种的页的页生成装置。

本发明其他的特点与优点可从下面结合附图所作的描述中获得理解，各附图中以相同的标号指相同或相似的部件。

附图说明

包括在本说明书中并构成其一部分的附图，它们与说明书在一起阐示了本发明的实施形式，用以解释本发明的原理。

图1例示图像处理系统的结构。

图2例示MFP的结构。

图3是概示图像处理全部操作的流程图。

图4例示块选择处理。

图5例示块信息与输入文件信息的结构。

图6示明2维条形码的译码处理流程。

图7例示附加有2维条形码的原稿。

图8示明根据指示字信息的文件检索流程图。

图9示明附加有访问限制的文件检索流程图。

图10A、B示明文件的布局检索处理流程图。

图11说明矢量化处理。

图12说明矢量化处理。

图13示明矢量数据的分组化处理流程图。

图14示明图像要素检测流程。

图15示明PADF的数据结构。

图16示明应用数据变换流程图。

图17示明文档结构树的形成流程图。

图18A、18B说明文档结构树的制作。

图19例示入口页。

图20示明入口页制作处理的流程图。

图21示明指示字信息编码处理的流程图。

图22示明入口页编辑画面。

图23示明访问部分信息时的入口页编辑画面。

具体实施形式

现在说明本发明的实施形式。图1例示明本申请的发明的图像处理系统的结构。此图像处理系统实现了由因特网104连接办公场所10与办公场所20的环境。在办公场所10内构造的LAN107上连接有MFP(多功能外围数字复合机)100、控制该MFP的管理PC101、客户PC102、文档管理服务器106、它的数据库105与代理服务器103，LAN107与办公场所20内的LAN108经代理服务器103与因特网104连接。MFP100负担本发明中纸文档图像读取处理(扫描)与对读取的图像信号进行图像处理的一部分，应用LAN109将图像信号输入管理PC101。管理PC为通常的PC，内有图像存储装置、图像处理装置、显示装置与输入装置，它的一部分则构成为与MFP100整体化。

图2是MFP100的结构图。图2中，包括自动文档供纸机(以后记为ADF)的图像读取部110以未图示的光源照射多张状的或一张原稿图像，由透镜使原稿反射像成像于固体摄像元件上，从固体摄像元件将光删状的图像读取信号作为例如600DPI密度的图像信息获得。通常的复印功能可将此图像信号由数据处理部115图像处理成记录信号，当每次作多件复印时，记录装置111临时存储保持记录数据后，即顺次输出到记录装置112中于纸上形成图像。

一方面，从客户PC102输出的打印数据由LAN107经网络IF114由数据处理装置115变换为可以记录的光删数据后，由上述记录装置于纸上形成记录图像。

操作者对MFP100的指示可由能对MFP中装备的键操作单元与管理PC进行输入的键盘以及鼠标组成的输入装置进行，这一系列的操作由数据处理装置115内未图示的控制部控制。

另一方面，操作输入状态的显示与处理中图像数据的显示则由显示装置116进行。此外，存储装置111也由管理PC控制，MFP与管理PC的数据收发与控制则用网络IF117和直接连接的LAN109进行。

本发明是在图2所示的装置以及图1所示的系统中执行的，例如可将图2的存储装置111中存储的能由计算机执行的控制程序(此时，构成本发明的控制程序可以存储于存储装置111中，也可以由外围设备经通信线路读取来执行。此外，存储装置也不限于内置型硬盘而也可以是可换磁盘)，由数据处理装置115的控制部(CPU)执行，实行后述的本发明的处理，此外也可将上述数据处理装置115的控制单元的全部或一部分由电路的硬件构成，通过该电路处理信号来实行本发明的处理。

《处理概要》

下面用图3概略地说明本发明的图像处理。

图3中，首先起动MFP100的图像读取单元110，对一页原稿作光删式扫描，由图像信息输入处理单元120求得600DPI-8位图像信号。由数据处理单元115对该图像信号施行前处理，作为1页大小的图像数据保存于存储装置111。管理PC101的CPU根据该存储的图像信号，首先将区域分成字符/艺术线条部分与半色调图像部分，字符部分再按段落分块，而艺术线条部分再分离成线段构成的各个表与图形，进行分段化。另一方面，半色调表现的图像部分则分割成分离为矩形块的图像部分，背景部分等所谓块的独立的对象(步骤121)。

此时，检测作为原稿图像中的附加信息而记录的二维条形码或是URL中对应的对象，对于URL实行字符识别处理(OCR)，或若是二维条形码则解码(OMR)该标记(步骤122)，检测该原稿的原电子文件所存储的存储装置内的指示字信息(步骤123)。作为附加指示字信息的方法尚有通过使字符与字符间隔作微小变化来嵌入信息的方法，或在半色调图像中作为电子水印嵌入的方法等。

在检测出指示字信息时，转移到步骤125，根据指示字所示的地址，检索原电子文件。电子存储于图1中客户PC的硬盘内，或是办公场所10或20与LAN连接的文档管理服务器106所管理的数据库105内，或是MFP100自身具有的存储装置111内，根据步骤123求得的地址信息，检索上述各存储装置的内容。在步骤1-5未发现电子文件的情形下，所发现的是JPEG与PDF或是tiff所代表的所谓图像文件的情形，或者于步骤124中指示字信息本身不存在时，则转向步骤126。当于步骤125未发现基于指示字信息的电子文件时，转向步骤133。

步骤126是所谓文档检索处理例程。首先于步骤122根据相对于各字符块进行OCR的结果抽出单词，使其与电子文件内所含单词比较，将全文检索或各对象的排列与各对象的属性与电子文件的对象排列与对象属性比较，而进行所谓的布局检索。当检索的结果未发现相似性高的电子文件时，由缩略图等显示候选的电子文件(步骤127)，若是操作者有必要从多个候选中进行选择，便通过操作者的输入操作特定文件。在电子文件已特定的情形下进入步骤133，但当于步骤126的检索处理中未发现电子文件时，或是当所特定的电子文件是由PDF或是由tiff所代表的所谓图像文件时，转向步骤129。

步骤129是从图像数据变换为矢量数据的变换处理单元，将图像信息变换为矢量化电子数据。首先于步骤122对于进行了OCR的字符块，进而对字符大小、字体等进行识别，于扫描原稿所得的字符中变换为可视的真实的字体数据。另一方面对由线条构成的表、图形块进行轮廓化。对于照片等的自然图画块则作为图像数据，当作个别的JPEG文件处理。它们的矢量化处理是对各个对象进行。进而保存各对象的布局信息，于步骤130由一般的应用程序变换为可编辑的应用数据，于步骤131作为电子文件存储于存储装置111中，而为了在以后进行同样的处理时可直接作为电子文件检索出，于步骤132生成检索用的索引信息，追加到检索用索引文件中，再于步骤130，作为通用的文件形式，也可变换为例如rtf(丰富文本格式)。此外，变换的应用数据文件也可不限于能嵌入对象的rtf形式，而能变换成例如SVG(可扩缩矢量图形)格式等其他文件形式。

在以上处理结束后，于步骤133判别该页是否是最终的页，若不是返回到步骤120的控制，再重复下一页的处理。

若是最终的页时，则转移到步骤134中控制。

步骤134是本发明着重的处理，生成包含了经过上述的扫描、检索、矢量化而特定的全页的页信息(例如缩略图、标题、摘要、关键词、ID、日期、作者以及处理结果的指示字信息等)的索引页(以后称作入口页)，并输出。

下面详细说明各处理块。

《块选择处理》

首先说明步骤121所示的块选择处理。

块选择处理如图4中右部分所示，将步骤120输入的图像数据(图4中左部分)作为各对象块识别。判定该各块的字符/图像/照片/线/表等属性，进行分割成具有不同属性的区域的处理。

下面说明块选择处理的实施例。

首先将输入图像二值化为白黑，进行黑像素轮廓线追踪，提取黑像素轮廓所围像素的块。至于面积大的黑像素块的情形，还对于内部的白像素进行轮廓线追踪提取白像素块，进而从一定面积以上的白像素块的内部递归地提取黑像素的块。

将这样求得的黑像素块按大小与形状分类，分类成具有不同属性的区域。例如将纵横比接近于1而大小在一定范围内的块作为与字符相当的像素块，再将接近于字符的像素块的排列良好能分组的部分作为字符区，将扁平的像素块作为线条区域，将一定大小之上且为方形系的白像素块取良好排列并包围于内部的黑像素块所占的范围作为表区域，将形状不定的像素块分散的区域作为照片区域，而将其他任意形状的像素块作为图画区域，等等。

图5示明由块选择处理求得的各个块所对应的块信息以及用于管理输入图像中所含的块的输入文件信息。将这些块各个的信息用作在以后说明的用于矢量化或检索的信息。

《指示字信息的检测》

下面说明用于将文件的存储位置从图像信息中提取出的OCR/OMR处理(步骤122)。

图6是流程图，示明将原稿图像中附加的二维条形码(QR码符号)译码，输出数据字符序列的过程。图7例示附加有二维条形码的原稿310。

首先由CPU(未图示)扫描表明数据处理装置115内页存储器中所存储的原稿310的图像，根据以前说明的块选择的处理结果，检测预定的二维条形码符号311的位置。QR码的位置检测图案由配置于符号四个角上之中三个角处同一位置检测要素图案构成(步骤300)。

然后复原与位置检测图案邻接的形式信息，求得适用于此符号的纠错等级与屏蔽图案(步骤301)。

决定符号的型号(步骤302)后，应用由形式信息求得的屏蔽图案对/编码区域的位图案进行XOR运算而解除屏蔽处理(步骤303)。

再根据与模型对应的配置规则，读取符号字符，将消息的数据与纠错代码语言还原(步骤304)。

对还原的码进行有无差错的检测(步骤305)在检测出差错时转向步骤306，将其校正。

由已纠错的数据，根据方式指示符与字符数指示符，将数据代码语言分割成段(步骤307)。

最后根据规范方式将数据字符译码并输出其结果(步骤308)。

此外，二维条形码内内建的数据是由表明对应文件的地址信息，例如文件服务器各与文件各组成的路径信息，或也可以是由对应的文件的URL构成。

本实施例中是就将指示字信息应用2维条形码附于原稿310的情形进行说明，但也可以以字符序列记录指示字信息，此时，将依从预定规则的字符序列的块(例如在预定位置上的字符块)由预先进行的块选择处理检测，通过对示明该指示字信息的字符序列块的各个字符进行字符识别，就能获得原文件的地址信息。

此外，图7的文档310的字符块312或是313的字符序列中，通过对相邻的字符与字符的间隔等加以细微的调制，即使于该字符间隔中嵌入有信息也能付与指示字信息，因而例如在进行后述的字符识别处理时若是检测各字符的间隔，即可获得指示字信息。此外，在图画314中也可附加指示字信息作为不可见的电子水印。

《利用指示字信息的文件检索》

下面用图8的流程图说明图3中步骤125所示的根据指示字信息的电子文件检索。

首先根据指示字信息中所含的地址，特定文件服务器(步骤400)。

这里所谓的文件服务器是指内设有客户PC102与数据库105等文档管理服务器106或内设有存储装置111的MFP100本身。这里的地址则是URL或是服务器名称与文件组成的路径信息。

当文件服务器特定后，则将地址传送给文件服务器(步骤401)。文件服务器接收到地址后即检索相应的文件(步骤402)。当不存在该文件时(步骤403-N)，则将此情形通知MFP。

当该文件存在时(步骤403-Y)，则通知文件地址用于步骤134的处理中(步骤408)。

《文件检索处理》

下面用图5与图10A、10B说明图3中步骤126所示文件检索处理的细节。

步骤126的处理，如前所述是在下述情形中进行：步骤124中在输入原稿(输入文件)内不存在指示字信息时，或是于步骤125中虽存在指示字信息但未发现电子文件时，或是电子文件是图像文件时。

在此假定步骤122的结果、提取出的各块与输入文件具有图5中所示的信息(块信息、输入文件信息)。作为信息内容例如是属性、坐标位置、宽度与高度尺寸以及OCR信息的有无。属性将分类为字符、线、照片、图、表以及其他。为便于说明，块本身按照坐标X从小到大的顺序(例如X1＜X2＜X3＜X4＜X5＜X6＝各为块1、块2、块3、块4、块5与块6。块的总数为输入文件中的所有块数，图10A和10B中块的总数为6。下面由图10A、10B示明应用这类信息从数据库内进行类似于输入文件的文件布局检索的流程图。在此假定数据库中存储的文件具有与图5同种类的信息(块信息、文件信息)。

流程图中的流程将输入文件与数据库中文件顺次比较。首先于步骤510，进行后述相似率等的初始化。然后于步骤511比较块的总数，在此，对于为真的情形，再顺次比较文件内的块信息。在块信息的比较中，于步骤513、515、518分别算出属性相似率、尺寸相似率、OCR相似率，再于步骤522根据以上结果算出综合相似率。至于相似率的计算方法由于可应用周知的技术故略去其说明。于步骤523，当综合相似率比预定的阈值Th高，则于步骤524将此文件作为相似候选。这里，图中的N、W、H设定为输入文件的块总数、各块的宽度、各块的高度，而ΔN、ΔW、ΔH则是以输入文件的块信息为基准时所考虑的误差。n、w、h则为数据库中存储的文件的块总数、各块的宽度、各块的高度。此外，在图中虽未示明，于步骤514作尺寸比较时，也可进行位置信息XY的比较等。

当上述检索结果中，相似度比阈值Th高时，以缩略图等显示(步骤127)作为候选保存的数据库文件(步骤524)。然后在显示多个候选时，通过操作者的输入操作从其中进行文件的特定。

《矢量化处理》

下面详述图3中步骤129所示的矢量化处理。这里，当判断文件服务器中不存在原电子文件时，将图4所示的图像数据(扫描输入的图像数据)于各块中进行矢量化。

<字符块的矢量化>

首先就字符块对各字符进行字符识别处理。在字符识别单元对按字符单位分离出的图像用模式匹配的方法识别，求得对应的字符码。这种识别处理是将由字符图像求得的特征变换为数十维的数值序列的观察特征矢量与预先对每种字体求得的辞典特征矢量进行比较，将距离最近的字内容作为识别结果。特征矢量的提取有种种周知的方法，例如具备下述特征的方法，即将字符分离成网孔状，将各网孔内的字符线按不同的方向作为线素而计数的网孔数为维数的矢量。

在对于由块选择(步骤121)提取出的字符区进行字符识别时，首先对于各区域进行横写与竖写的判定，沿各个对应的方向分离出行，然后分离出字符，求得字符图像。横写与竖写的判定可以在相应区域内取相对于像素值的水平/垂直投影，当水平投影的离差大时则判断为横写区域，而当垂直投影的离差大时则判断为竖写区域。对字符序列与字符的分解，若为横写时则利用水平方向的投影分离出行，然后再根据相对于切出的行作垂直方向的投影，分离出字符。对于竖写的字符区则可使水平与垂直互换即可。此外，这时可检测出字符的大小。

然后识别该字符块内各字符的字体类别、将字符识别时所用的字体若干部分的辞典特征矢量，相对于字符形状类别即字体类别准备多种，通过在匹配时输出字符码与字体，可识别字符的字体。

应用上述文字识别与字体识别求得的字符码与字体信息，利用对各个字符码与字体预先准备的轮廓数据，将字符部分信息变换为矢量数据。此外，当原始原稿为彩色的时，则从彩色图像提取各字符的颜色与矢量数据一起记录。

通过上述处理，能将属于字符块的图像信息的大致形状、大小变换为保真的矢量数据。

《艺术线条块、图画块等的矢量化》

于块选择处理(步骤121)中，以艺术线条、图画或图表区域为对象，将该区域中提取出的像素块的轮廓变换为矢量数据。具体地说，由看作拐角处的点分离构成轮廓的像素的点序列，将各个区间以部分直线或曲线近似。拐角处乃是曲率极大的点，曲率为极大的点，如图11所示，是在相对于任意点Pi在左右k个离开的点Pi-k与Pc+k之间引弦时，所求得的此弦与Pi的距离成为极大的点。再将(Pi-k与Pi+k间的弦长/延长)设为R，可将R的值小于等于阈值的点视作为拐角点。由拐角点分开后的各区间，对于直线可用相对于点列的最小二乘法等，对于曲线可用三次样条函数，使其矢量化。

当对象具有内轮廓时，进行白像素的轮廓线追踪，应用提取出的白像素轮廓的点序列，可同样地由部分直线或曲线近似。

如上所述，当应用轮廓的区分线近似时，可使任意形状的图形轮廓矢量化。对于原始原稿为彩色的情形，则从彩色图像提取图形的颜色与矢量数据一起记录。

再如图12所示，当在某个区间上外轮廓与内轮廓或别的外轮廓接近时，则可把两种轮廓线汇集到一起以粗的线条表示。具体地说，从某个轮廓上的各点Pi到另一轮廓上为最短距离的点Qi引线，当各距离PQi平均地小于等于定长时，在所考虑的区间中以PQi的中点作为点的序列，由直线或曲线近似，而其粗细则作为PQi的平均值。作为线、或线的集合体的表格线，作为具有上述粗细的线的集合能高效地作矢量表示。

上面说明了应用相对于字符块的字符识别处理的矢量化，但该字符识别处理结果是把至辞典距离最近的字符用作识别结果，而当此距离大于等于预定值时就未必与原来的字符一致，错误识别了形状类似的字符的情形是很多的。因此在本发明中，对于这样的字符是如以上所述进行与一般的艺术线条相同的处理，将该字符轮廓化。这就是说，即使对于由既有的字符识别处理会引起错误识别的字符，也不会对错误的字符矢量化，而能通过可见的使图像数据保真地轮廓化来进行矢量化。

再有，对于判定为照片的块，本发明中由于不能矢量化而仍保留图像数据。

如上所述，是就将任意形状的图形的轮廓矢量化后，将这些矢量化后的区分线对每个图形对象所进行的分组化处理。

图13示明了将矢量数据对于每个图形对象分组化的流程图。首先计算出各矢量数据的始点与终点(700)。然后应用各矢量的始点与终点的信息检测图形要素(701)。图形要素的检测是检测区分线构成的封闭图形。在检测之际是应用构成封闭图形的各矢量在其两端具有分别连接的矢量的原理进行检测。随后将图形要素内存在的其他图形要素或是区分线分组化，作为一个图形对象(702)。此外，当图形要素内不存在其它的图形要素、区分线时，则将图形要素作为图形对象。

图14是示明检测图形要素的流程图。首先从矢量数据除去未连接在两端的不需要的矢量，提取封闭图形结构矢量(710)。然后在封闭图形结构矢量中以该矢量的始点为起点按时针走向追踪向量。一直进行到返回起点，把所有通过的矢量作为构成一个图形要素的封闭图形而分组化(711)。此外，封闭图形内部存在的封闭图形结构矢量也全部分组化。再以尚未分组化的矢量的始点为起点，反复进行相同的处理。最后于710中除去的不要的矢量之中，于711中检测出作为封闭图形与已分组化的矢量相接合的矢量，作为一个图形要素而进行分组化(712)。

根据以上所述，能将图形块个别地作为可再利用的图形对象进行处理。

《对应用数据的变换处理》

但是，将一页大小的图形数据于每个块中矢量化处理(步骤129)的结果，即变换为图15所示的中间数据形式的文件。这种数据形式称为文档分析输出格式(DAOF)。

图15示明DAOF的数据结构。图15中，791为标题，保持处理对象的文档图像数据的信息。布局描述数据单元792保持有识别文档图像数据中TEXT(字符)、TITLE(名称)、CAPITION(字幕)、LINEART(艺术线条)、PICTURE(图片)、FRAME(框架)、TABLE(表)等各个属性的各个块的属性信息及其矩形地址信息。字符识别描述数据单元793保持有对TEXT、TITLE、CAPTION等TEXT块进行字符识别所得的字符识别结果。表描述数据单元794存储TABLE块结构的细节。图像描述数据单元795则保持从文档图像数据分离出的PICTURE与LINEART等块的图像数据。

这种DAOF不仅作为中间数据，其本身也有通过文件化保存的情形，但在这种文件的状态下则不能由所谓一般的文档制作应用程序再利用各个对象。为此，下面用图16详细说明由这种DAOF变换到应用数据的处理(步骤130)。

于步骤8000，进行DAOF数据的输入。

于步骤8002生成成为应用数据源的文档结构树。

步骤8004根据文档结构树流入DAOF内的实数据，生成实际的应用数据。

图17说明步骤8002中文档结构树生成的详细流程，图18A、18B说明文档结构树。作为总体控制的基本规则，处理的流程从微块(单一的块)转移到宏块(块的集合体)。以后的块设定表示的是微块与宏块。

步骤8100按块单位根据纵向的相关性再分组化。在紧接启动之后即为依微块单位的判定。这里的相关性可由距离的远近、块的宽度(模向时为高度)大致为同一等定义。此外，距离、宽度、高度等信息则参考DAOF提取。

图18A为页结构例，图18B为文档结构树，步骤8100的结果，T3、T4、T5作为同一层次的组V1生成，而T6、T7则作为同一层次的组V2首先生成。

于步骤8102，检验有无纵向的分隔符。分隔符例如在物理意义上是DAOF中具有行属性的对象，而作为理论上的意义则是应用中明确示明的将块分割的要素。这里，在检测出分隔符时于同一层次中再分割。

于步骤8104，利用组长判定是否不再存在分割。在此，当纵向的组长成为页的高度(存在于该页中的多个块的最上端与最下端的距离)时，文档结构树的生成结束。图18A、B的情形中。在组V1、V2中没有分隔符，组高也不是页的高度，于是进到步骤8106。

于步骤8106，按块单位根据横向的相关性再分组化。这里紧接启动后的第一步也是以微块单位进行判定。此时的相关性及其判定信息的定义与纵向的情形相同。

图18A、18B的情形中是由T1、T2生成组H1，而由V1、V2生成H2。组H1与组H2是作为V1、V2中一个之上同一层次的组生成的。

步骤8108检验有无横向分隔符。图18A和18B中，由于有S1，将其登录于树中，生成H1、S1、H2这样的层次。

于步骤8110，利用组长判定分割是否不能再存在。这里，当横向的组长成为页的宽度时，文件结构树的生成结束。

当不是这种情形时，返回步骤8102，于再一段上的层次从纵向相关性的检验返回。

图18A和18B的情形，由于分割宽度成为页的宽度(存在于该页中的多个块的最左端与最右端的距离)，就于此结束，最后将表示页整体的最上位层次的VO附加到文档结构树中。

文档结构书完成后，根据其信息于8004中进行应用数据的生成。图18A和18B的情形具体如以下所示。

这就是说，H1由于在横向上有两个块T1与T2，作为两列，T1的内部信息(参考DAOF，字符识别结果的文章、图像等)输出后，改变列，T2的内部信息输出，然后S1成为输出。

H2由于横向有两个块V1与V2，作为2列输出，V1按T3、T4、T5的顺序输出其内部信息，然后改变列，输出V2的T6、T7的内部信息。

根据以上所述，由于是按照输出的顺序进行向应用数据的变换处理，就能依正确的顺序例如将字符区的读取顺序等变换为应用数据。

《入口页的生成》

首先参考图19说明入口页2201。图19的入口页记录有6个原稿的信息(步骤120中输入的图像信息)。分别由以下的2202-2205的信息组成。

2203是原稿的缩小图像(缩略图)，表示第一页。

2202、2204是日期、名称、作者、ID、关键词、摘要等，是与缩略图2203有关的信息，是预先附随原稿的信息或是用户输入的信息或者是从原稿的内容中自动提取出的信息。

2205是示明原稿存放场所的指示字，在此是以二维条形码表示，但显然也可由一维条形码甚至是电子水印表示。

以下用图20说明图3的134处理中的入口页的形成方法。

操作者预先由操作板(未图示)选择输出入口页的方式，由操作板的电键输入在一页上显示的件数(页内原稿数)。本例中设定为6。

首先于步骤2211确认入口页的页内是否配置有原稿，于2212中进行入口页的页的初始化处理。

其次获取上述各原稿的日期与名称等原稿信息(2213)，将它们如图19所示，配置于入口页的页上(2214)。再于步骤2214还附加上各原稿的指示字信息。

再来确认入口页的页内配置的原稿数是否达到了操作者指定的页内原稿数(2215)，若是达到了时，则将现在的页输出给打印机。

最后确认是否配置了所有的原稿(2217)，若还存在未配置的原稿则返回2211的处理，若是所有的都已配置完成，则根据必要输出最后的页(2218、2219)，结束。

以下说明步骤2213取得的由2214配置的原稿信息(名称、关键词、ID、日期、著者、目次等)的形成方法。

作为相对于原稿中所含文本数据提取关键词的方法，例如首先通过通全体文本数据的词素分析，分解单词。根据使用频度对所有单词分类，从频度高的开始顺次设定关键词。此外，为了提取更有效的关键词，也可与预先准备的关键词用数据库核对。

关于ID、日期、著作权的信息，当通过电子文件检索存在文件时，即作为该文件的属性信息求得。

有关摘要的信息，作为相对于字符码序列构成的文本数据形成其摘要的方法有以下所示的。首先将文本数据分解为语句或子句单位。这能够以句号和逗号的字符码为边界进行机械的分割。然后对各个语句或子句计算重要度并附上此重要度，作为这种重要度的计算方法如下：对于整个文本数据中所含的单词求其出现频度。频繁出现的单词给以高的点数，而各语句或子句的重要度即取作为其中所含各单词点数的总和；或是应用布局信息与字体信息等检测相当于名称或题目中的语句而提高该语句本身的重要度或是增加语句中所含单词点数来计算重要度的方法，等等。最后，提取重要度居于高位的语句或字句编制摘要语句。这时，能改变提取到高位何种水平来生成所希望大小的摘要语句。

在编制目录信息时，例如在相对概括有多页的文本数据来编制目录时，可以根据布局上的空白等将文本分段，对每一段进行摘要，分配以约一行的摘要语句。特别是将从布局信息与字体信息等作为名称或题目提取的语句作为目录时最为恰当。

下面说明用以指出图19的2205等所示原搞存储场所的指示字信息的附加处理。这种指示字信息的附加处理在步骤2214的原搞信息配置时进行。

图21是流程图，示明将作为指示字信息的数据字符序列以二维条形码(QR码符号iJISX0510)311进行编码的过程。

编入二维条形码内的数据表明的对应文件的地址信息，例如由文件服务器名与文件名组成的路径信息构成，或者由到对应文件的URL以及对应的文件内存储的数据库105内或是MFP100自身具有的存储装置内管理的文件ID等构成。

首先，为了识别编码的种种不同的字符，分析输入数据序列。此外，选择检错与纠错等级，选择能收容输入数据的最小型号(步骤900)。

然后将输入数据序列变换为预定的位序列，根据需要附加表明数据形式(数字、英文数字、8位字节、汉字等)的指示字与终端图案。再变换为所定的位码字(步骤901)。

此时，为了进行纠错，根据型号与纠错等级将代码语言序列分割成预定的块数，对于各个块生成纠错代码语言附于数据代码语言序列之后(步骤902)。

将上述步骤902求得的各块的数据代码语言连接，而将各个块的纠错代码语言以及必要时剩余的代码语言接续于后面(步骤903)。

然后将位置检测图案、分离图案、定时图案以及对位图案等与代码语言模块一起配置成矩阵。

此外，相对符号的编码区选择最佳的屏蔽图案，将屏蔽处理图案由XOR运算变换为由步骤904求得的模块中(步骤905)。

最后于步骤905求得的模块中生成形式信息与类型信息，完成二维代码符号(步骤906)。

如上所述的编入了地址信息的二维条形码是在步骤2214的原稿信息配置时设置的，但例如在由客户PC102生成入口页时，也可于数据处理装置115内变换为可记录的光删数据后，附加到光删数据上预定处进行图像的形成。

此外，出于同样目的给予附加信息的装置，除本实施例所说的二维条形码之外，例如还可以采用将指示字信息以直接字符序列形式附加到文档上的方法、将文档内的字符序列特别是字符与字符间隔作细微调制而嵌入信息的方法、文档中嵌入半色调图像的方法等一般所谓的电子水印方法。

下面说明适用电子水印将代码信息嵌入于入口页上揭示的半色调图像(简略图像)中的例子。

代码信息作为二进制数据序列相对于图像上各彩色分量的一像素用位加权1比特进行嵌入。在像素中嵌入一个代码信息时，相对于由近旁像素构成的一个块嵌入代码信息。代码信息重复地嵌入互不相重的多个块中。这里将嵌入同一代码信息的多个块构成的块称为宏块。此外也可把全部缩略图像作为宏块。在提取嵌入的代码信息时，可由宏块取出各个块的相关性，从其统计量来提取代码信息。

这种将代码信息嵌入图像的方法可以人的视觉不能识别的水平使像素变化而作充分地嵌入，但在入口页中所用的缩略图像由于它的目的性并不重视像质而更着重于使这种嵌埋具有耐久性。

《入口页的编辑》

下面说明按以上所述形成的入口页。首先用图22、图23说明，应用扫描的入口页，对指定页、指定段落、指定图像、指定文档的指定页、指定文档的指定页的指定段落、指定文档的指定页的指定图像等，进行访问的所希望的入口页的编辑。但这里所示的实施例的基本形，可任意扩展。此外，这里所描述的虽为扫描入口页获得的入口页的编辑，但也可将按以上所述形成的入口页原样地保持为电子数据，而编辑这样保持的入口页。

图22的2501是MFP等用户接口(以下作为UI)的示意图。如前所述，通过扫描入口页能从电子水印等得到缩略图、名称、日期、摘要、关键词、指示字信息等信息。于是将它们在UI上显示，用户就能观察到相应的信息，进行所希望的新的入口页的编辑。

下面说明UI中显示的各个图。

2502-2506是利用显示的缩略图编辑入口页用的按钮，分别顺次地具有“追加”、“删除”、“全选择”、“部分信息访问”、“结束”等功能。此外，2530、2531则是扫描多个入口页时用的具有“返回到前页”、“进到下页”功能的按钮。2510-2515是示明入口页扫描后求得的缩略图与名称、日期等信息的图。2520-2525则是示明编辑后的页(以下称为新的入口页)的图。

现在说明图22中入口页的编辑操作。用户于画面左侧(已扫描的入口页画面)所希望的缩略图中以手指或笔碰触，在将缩略图激活后，通过按压追加按钮，能在画面右侧(新入口页画面)追加其缩略图。若是按压全选择按钮2504，则能使画面左侧中显示的所有缩略图处于激活状态。为了从新入口页中消除缩略图，只需按压删除按钮2503即可。在想把下一个已扫描的入口页显示于画面左方时，可按压页变更按钮2530、2531。在结束了所希望的编辑后，通过按“编辑结束”按钮2506，结束作业。图22示明选择2511、2515(激活状态)，按压追加按钮的结果。除利用按钮进行操作外，也可用拖拽和放下进行入口页的编辑。具体地说，在接触扫描的入口页所希望的缩略图方式下拖拽。于新入口页画面的所希望追加位置处进行放下(离开)。由此即可进行追加。此外，在已放下的追加位置处已登录缩略图时，可按顺序挪动已登录的缩略图。在该追加位置处追加已放下的缩略图。此外，以写指触摸新入口页画面，拖拽后通过于新的入口页画面外的位置放下，可从新的入口页删除该入口页。再有，通过拖拽与放下，也能变更新入口页画面中登录的缩略图的顺序。例如在新的入口页画面中，当拖拽缩略图而于2520位置处放下后，缩略图B的登录顺序错位而显示于2521的位置，同时缩略图F显示于2520的位置。

再者，虽然没有图示，还能编辑名称以外的信息。此外，这些画面右方的编辑结果继承了画面左方的入口页的内部信息(对电子水印形成的原始图像的指示字信息等)，形成为新的入口页。这样就能构成只汇集了必要信息的新入口页。

图23是显示选择图22中“部分信息访问”(2505)时的UI画面。画面左方的2603是根据从图22的入口页中选择的缩略图的指示字信息所显示的原始电子数据(原稿页单位数据)。这种原始电子数据根据名称与正文以及插图等属性进行区域分割，每个这样分割出的区域的对象以可识别的状态显示(2631、2632)。图23提供了用于能把这种对象追加到图22的入口页上的UI画面。

2633表明现在正显示的缩略图的页番号。2643-2646表示从左侧显示的原始电子数据中选择的对象，根据2640-2642能使显示移动。此外能够用按钮2650-2652进行对象的追加。删除功能以及编辑结束功能。由拖拽与放下所作的对象的追加、删除、顺序变更等编辑操作可与图22所示的同样地进行。

下面详细说明将扫描入口页所得的信息如图22所示，作为缩略图显示于UI上，利用作为该缩略图所显示的文档的部分信息(指定页、指定段落、指定图像等)，来形成新入口页的过程。用户从扫描入口页信息求得的缩略图显示(2510-2515)之中选择拟访问部分信息的即选择“对部分信息的访问”(2505)。于是便显示出图23所示的UI画面，所选择的缩略图的原始电子数据作为2630显示。此2630显然是分割成矢量化的对象(段落、图像等)的在用户想访问的部分信息中进行触摸选择，通过按下“追加”按钮，能在显示选择对象的部分信息(对象)右侧的画面上进行追加。此外，想于指定页中进行访问时，可于2634、2635将页移动进行访问。所追加的部分信息也可通过“删除”按钮进行删除。此外，通过“结束”按钮，对部分信息的访问结束，返回到图22，由图23选择的部分信息(图23右侧画面所示的对象)是顺次地追加到新入口页之上(2520-2525)。这样，通过应用“对部分信息的访问”按钮，能按部分信息(指定页、指定段落、指定图像等)单位，追加到新入口页，而且只把必要的部分进到入口页中。

《入口页的利用》

采用如上形成的或编辑成的入口页，容易选择拟进行阅览或发送或印刷等处理的页或对象。例如扫描页后，如图22左侧所示。显示所扫描的入口页，根据该页选择拟进行处理的页(或对象)，当选择好所希望的处理方式压下“START(起动)”按钮后，从所选择的页(或对象)的指示字信息取得原始电子文件，对于该原始电子数据执行所希望的处理(阅览或发送或印刷等)。

(其它实施形式)

<有关文件访问权的另外的实施例>

人们在处理的文档文件中，有的应限制为第三者再利用。在前面的实施例中，是以存储于文件服务器中的文件能完全自由地访问文件的全部或其一部分的对象能完全再利用为前提进行说明的。因此，在前面的实施例中，在根据指示字信息检索文件时，当检索的结果对于所形成的特定文件的访问权有限制时，则用图9说明另一种实施例。至步骤403之前与先前的实施例相同，故略去其说明。于步骤403当文件已特定时，则于步骤404由服务器调查此文件的访问权信息，当存在访问限制时，便对于MFP要求发送口令(步骤405)。

MFP敦促操作者输入口令，将输入的口令发送给文件服务器(步骤406)。

文件服务器核对发送出的口令，进行认证(步骤407)，认证成功时，如图3所说明的，在通知文件的地址(步骤134)的同时，若是用户所希望的处理是获得文件数据时，则对于MFP传送文件(步骤408)。

用于进行访问权控制的方法不限于步骤405、406所示的口令方法，例如还可以采用指纹认证等一般广泛采用的生物认证、查卡认证等种种认证方法。

另外，此另一种实施例所示的是由附加的附于纸面文档上的指示字信息来特定文件情形的实施例，但在图3的步骤126-128给出的由所谓检索处理来特定文件时，也能进行同样的控制。

对于图3的步骤129中说明的矢量化处理，也能加以限制。具体地说，根据扫描纸面文档求得的图像信息，通过电子水印等检测出对该文档的访问权存在限制时，只在取得认证确认时才进行向量化处理，由此可以对机密性高的文档的使用作出限制。

<有关文件特定的另外的实施例>

在前面的实施例中，根据原稿扫描求得的图像信息来特定原始文件数据的方法，如图3所示，是依赖于根据附于文档中的指示字信息进行特定或是根据文档中记载的各个对象的信息来检索对应的电子文件，更正确地说，为了特定原始文件，最好是去对能满足上述两种方法要求的电子文件进行特定，具体地说，即使根据原稿中求得的指示字信息能检测出存在原始文件时，还要利用该文档中的对象信息，例如相对于已检测出根据布局信息的布局检索、根据字符识别的关键词进行的全文检索等的文件进行检测，在取得了高度的一致时，才将该检测出的文件正式地特定为原始文件。这样，例如当指示字信息的低位部分有模糊等情形时，对于错误校正或没有校正时，也能缩小检索范围特定文件，从而可以以更高的速度与更高的准确度进行文件的特定。

<矢量化的另一种实施例>

在前面的实施例中不能由检索方法或装置特定原始文件的情形下是相对于全体图像进行矢量化处理的，但例如在一般文档的情形，文档中的对象并不完全是重新形成的，有时一部分对象是从其他文件中挪用形成的。例如，后台对象(壁纸)按文档制作应用程序预先准备了几个图案时，通常是从其中选择地应用。因此，这样的对象存在于文档文件数据库中的其他文档件的可能性大，作为能再利用的矢量数据存在的可能性大。

于是，作为图3的矢量化处理129的另一种实施例，是相对于由块选择处理分割为一个对象的各个对象，以该对象为单位从数据库中检索在一部分中包含有与该对象一致的对象的文件，而对于相一致的对象则逐个地从该文件以对象为单位取得矢量化数据。这样就可不必使整个文档都矢量化而可以更快速地矢量化，进而能防止因矢量化造成像质恶化。

另一方面，当于图3中由检索处理126-128将原始文件作为PDF特定时，有时此PDF会相对于该文档的字符对象作为附加有已进行了字符识别的字符码。在将这种PDF文件矢量化时，若采用该字符码文件，则可以消除129之后的矢量化处理中的字符识别处理，即可以更高速地进行矢量化处理。

此外，在上述的实施形式中是以字符识别结果的字符码与字体数据为基础将字符块变换为矢量数据，但显然也可与艺术线条块与图画块的矢量化处理相同，提取出字符图像的轮廓而变换为矢量数据。

<入口页化对象的另一种实施例>

前面的实施例中，控制对象文档是以文档图像的页单位进行入口页化，但可不局限于此，也可以以多个文档的页单位生成入口页，或也可以以文档单位将其封面作为缩略图显示而制成入口页。此外，也可将文档单位、页单位的信息混合。

上面已然详细地描述了实施形式例，但本发明也可取作为例如系统、装置、方法、程序或存储媒体等的实施形式，具体地说，既可以适用于由许多机器构成的系统，也可以适用于由一种机器组成的装置。

此外，本发明还包括这样的情形；将实现上述实施形式的功能的软件程序(在实施形式中对应于图示流程图的程序)直接或远程地提供给装置，而由该系统或装置的计算机读出所提供程序码来执行。

因此，为了由计算机实现本发明的功能处理，安装于该计算机中的程序码本身也是用于实现本发明的内容。这就是说，用于实现本发明功能处理的计算机程序本身也包括在本发明中。

此时，当具有程序码功能时，则由对象码、解释器执行的程序也可以是提供给OS的脚本数据等形式。

作为用来提供程序的记录媒体例如有软盘、硬盘、光盘、光磁盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、DVD、(DVD-ROM、DVD-R)等。

此外，作为程序的提供方法可以是，应用客户计算机的游览器与因特网的主页连接，由该主页将本发明计算机程序本身或包括压缩、自动安装功能的文件下载等硬盘等记录媒体上而进行提供。或者，也可将构成本发明程序的程序码分割到多个文件中，而从不同的主页来下载各个文件来实现。这就是说，本发明还包括将用来由计算机实现本发明的机器处理的程序文件，相对于多个用户下载的WWW的服务器。

还有，也可把本发明的程序密码化存储于CD-ROM等存储媒体中分配给用户，将预定的条件相对于释放的用户经因特网由主页下载解开密码的密钥信息，通过使用此密钥信息执行密码化的程序而实现安装到计算机中。

还有，计算机通过执行读出的程序，除实现上述实施形式的功能之外，还能根据该程序的指示，由计算机上工作的OS等执行实际处理的一部分或全部，通过这种处理也能实现上述实施形式的功能。

还有，从记录媒体读出的程序在写入具有插入到计算机中的功能扩展端口或与计算机连接的功能扩展单元的存储器中之后，可根据此程序的指示。使具有这种功能扩展端口或功能扩展单元的CPU等执行实际处理的一部分或全部，通过这种处理也能实现上述实施形式的功能。

如上所述，根据本发明，由于形成了输入图像的入口页，就能有效地应用此入口页容易地再利用存储装置中存储的电子数据。

还由于附加了用于特定原始电子数据的指示字信息，便有效于容易检索原始电子数据。

还由于能以对象单位(块单位)编辑制成入口页，可以只处理必要的部分，就能有效地便于在阅览等处理时的选择。

还由于是以矢量数据进行存储，就能有效地以小的存储容量实现所需的存储。此外，由于能在发现原始电子数据时应用这种原始电子数据，就能有效地减少像质的恶化。

本发明并不局限于上述的实施形式，而是可以在它的精神与范围内作出种种变动与改进。因此，为了告知本发明的普遍性而提供了下面的权利要求书。

Claims (17)

1.一种图像处理方法，其特征在于，此方法具有：

对于各个输入的图像检索存储装置中存储的原始电子数据的检索步骤；

于上述检索步骤中未检索到原始电子数据时，将上述输入的图像进行矢量数据化的矢量化步骤；

将上述矢量化步骤中矢量数据化后的图像作为电子数据存储于存储装置中的存储步骤；

对于在上述检索步骤中检索到原始电子数据时有关该检索出的原始电子数据的信息、或是在上述检索步骤中未检索到电子数据时于上述矢量化步骤中矢量化后而在上述存储步骤中存储的电子数据的相关信息这两种信息，生成包含其中至少一种的页的页生成步骤。

2.权利要求1所述的图像处理方法，其特征在于，由上述页生成步骤生成的页中所含的原始电子数据的相关信息或上述存储步骤中所存储的电子数据的相关信息，分别包含有该检索出的原始电子数据的存储地址或是上述存储步骤中存储的电子数据的存储地址。

3.权利要求1所述的图像处理方法，其特征在于，上述检索步骤识别示明附加于上述输入图像中的存储上述原始电子数据的地址的识别符，根据对该识别符进行识别的结果检索上述原始电子数据。

4.权利要求1所述的图像处理方法，其特征在于，上述矢量化步骤根据对上述图像内所含的字符块进行字符识别的结果进行矢量化。

5.权利要求1所述的图像处理方法，其特征在于，上述矢量化步骤根据有意义的像素轮廓而进行轮廓化，进行矢量化。

6.权利要求1所述的图像处理方法，其特征在于，此方法还具有，将上述矢量化步骤矢量数据化后的图像变换为能由已有的文档制作应用程序处理的既定格式的格式变换步骤。

7.权利要求1所述的图像处理方法，其特征在于，上述矢量化步骤将上述图像中所含的各个对象进行矢量数据化。

8.权利要求1所述的图像处理方法，其特征在于，与上述页生成步骤生成的页中所含的原始电子数据相关的信息或是与上述存储步存储的电子数据相关的信息，分别包括电子数据的缩略图、名称、摘要、关键词、ID、日期、作者等之中的至少一种。

9.权利要求1所述的图像处理方法，其特征在于，此方法还具有对上述生成的页进行编辑的编辑步骤。

10.权利要求9所述的图像处理方法，其特征在于，上述编辑步骤从与上述页中所包含的原始电子数据相关的信息或与上述存储步骤中所存储的电子数据相关的信息之中选择所希望的数据，编辑制成新页。

11.权利要求9所述的图像处理方法，其特征在于，上述编辑步骤从与上述页中所包含的原始电子数据相关的信息或与上述存储步骤中所存储的电子数据相关的信息之中选择所希望的数据，进而选择该已选择的数据中所希望的部分信息，而应用此选择的部分信息进行编辑。

12.权利要求1所述的图像处理方法，其特征在于，此方法还具有将扫描上述生成的页所得的图像进行显示，根据与此显示的图像中由用户所选择的电子数据相关的信息进行处理的处理步骤。

13.权利要求12所述的图像处理方法，其特征在于，上述处理步骤对于由上述用户选择的信息所对应的原始电子数据或电子数据执行所希望的处理。

14.权利要求2所述的图像处理方法，其特征在于，与上述存储的地址相关信息由电子水印或条形码中的至少一种描述。

15.一种图像处理系统，其特征在于，此系统具有：

相对于各个输入的图像检索存储装置中存储的原始电子数据的检索装置；

上述检索装置未检索到原始电子数据时，将上述输入的图像进行矢量数据化的矢量化装置；

将上述矢量化装置矢量数据化后的图像作为电子数据存储于存储装置中的保存装置；

对于由上述检索装置检索到原始电子数据时有关该检索出的原始电子数据的信息、或是由上述检索装置中未检索到电子数据时由上述矢量化装置矢量化而由上述保存装置存储的电子数据的相关信息两种信息，生成包含其中至少一种的页的页生成装置。

16.一种计算机程序，其特征在于，它用于使计算机执行权利要求1所述的各步骤。

17.一种计算机可读存储媒体，其特征在于，它存储有权利要求16所描述的计算机程序。

Images