CN100367750C - 图像处理系统以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理系统以及图像处理方法，能够在从纸原稿取得矢量数据之前适当地设定是否变换成可再利用原来的纸原稿的矢量数据。因此，图像读取部(110)读取原稿以取得图像信息，存储装置(111)保存图像信息。此外，数据处理装置(115)，从图像信息检测出原稿上所附加的控制信息，并判定图像信息的矢量化被许可还是被禁止，在判定为矢量化被许可的情况下将图像信息变换成矢量数据，在判定为矢量化被禁止的情况下则将图像信息原样保存在存储装置(111)中。

Description

图像处理系统以及图像处理方法

技术领域

本发明涉及将用复印机等图像处理装置所读取的图像信息变换成可用文档创建应用软件进行再利用的矢量数据的图像处理系统以及图像处理方法。

背景技术

在近些年功能得以扩充的数字多功能复合机(MFP)中，以往存在以下情况，即，用扫描器读取由装订机等订缀起来而被累积的纸文档，并将所读取的图像(イメ一ジ)信息变换成矢量数据(ベクトルデ一タ)后存储在图像存储装置中，以可在计算机的应用程序上进行再利用。

例如，对包含在读取原稿所得到的图像数据中的字符信息进行识别，并与字体数据关联起来的做法已为公众所知(例如，日本专利申请公开特开平5-12402号公报)。由此，纸文档等的再利用·再编集就变得容易。

但是，由于能够作为矢量数据进行再利用，所以发生原始的原稿所持有的信息被故意篡改、具有著作权的数据的盗用却变得容易之类的问题。

发明内容

本发明就是为了解决上述以往问题而提出的，其目的是提供一种能够在从纸原稿取得矢量数据之前适当地设定是否变换成可再利用原来的纸原稿的矢量数据的图像处理系统以及图像处理方法。

为了解决上述问题，本发明的第1技术方案提供一种图像处理系统，包括：读取装置，读取原稿以取得图像信息；保存装置，保存上述图像信息；矢量化装置，将上述图像信息矢量化；检测装置，从上述图像信息检测出上述原稿上所附加的控制信息；判定装置，基于上述控制信息，判定上述图像信息的矢量化被许可还是被禁止；以及控制装置，在由上述判定装置判定为上述图像信息的矢量化被许可的情况下，使该图像信息由上述矢量化装置变换成矢量数据，在由上述判定装置判定为上述图像信息的矢量化被禁止的情况下，使该图像信息原样保存在上述保存装置中。

另外，本发明的第2技术方案提供一种图像处理系统，包括：读取装置，读取原稿以取得图像信息；保存装置，保存上述图像信息；矢量化装置，将上述图像信息矢量化；字符识别装置，将上述图像信息字符代码化；图像变换装置，将上述图像信息变换成规定的图像形式；变换装置，利用上述矢量化装置、上述字符识别装置或者上述图像变换装置中的至少一个来变换上述图像信息；检测装置，从上述图像信息检测出上述原稿上所附加的控制信息；判定装置，基于上述控制信息，判定上述图像信息的变换被许可还是被禁止；以及控制装置，在由上述判定装置判定为上述图像信息的变换被许可的情况下，使该图像信息由上述变换装置进行变换，在由上述判定装置判定为上述图像信息的变换被禁止的情况下，使该图像信息原样保存在上述保存装置中。

进而，本发明的第3技术方案提供一种图像处理系统，包括：读取装置，读取原稿以取得图像信息；设定装置，对上述图像信息设定用于控制矢量化处理的控制信息；附加装置，将所设定的上述控制信息附加在上述图像信息中；以及形成装置，将附加了上述控制信息的上述图像信息形成在规定的媒体上。

再进而，本发明的第4技术方案提供一种图像处理方法，包括：读取步骤，读取原稿以取得图像信息；保存步骤，将上述图像信息保存在保存装置中；矢量化步骤，将上述图像信息矢量化；检测步骤，从上述图像信息检测出上述原稿上所附加的控制信息；判定步骤，基于上述控制信息，判定上述图像信息的矢量化被许可还是被禁止；以及控制步骤，在由上述判定步骤判定为上述图像信息的矢量化被许可的情况下，使该图像信息由上述矢量化步骤变换成矢量数据，在由上述判定步骤判定为上述图像信息的矢量化被禁止的情况下，使该图像信息由上述保存步骤原样保存在保存装置中。

再进而，本发明的第5技术方案提供一种图像处理方法，包括：读取步骤，读取原稿以取得图像信息；保存步骤，将上述图像信息保存在保存装置中；矢量化步骤，将上述图像信息矢量化；字符识别步骤，将上述图像信息字符代码化；图像变换步骤，将上述图像信息变换成规定的图像形式；变换步骤，利用上述矢量化步骤、上述字符识别步骤或者上述图像变换步骤中的至少一个来变换上述图像信息；检测步骤，从上述图像信息检测出上述原稿上所附加的控制信息；判定步骤，基于上述控制信息，判定上述图像信息的变换被许可还是被禁止；以及控制步骤，在由上述判定步骤判定为上述图像信息的变换被许可的情况下，使该图像信息由上述变换步骤进行变换，在由上述判定步骤判定为上述图像信息的变换被禁止的情况下，使该图像信息由上述保存步骤原样保存在上述保存装置中。

再进而，本发明的第6技术方案提供一种图像处理方法，包括：读取步骤，读取原稿以取得图像信息；设定步骤，对上述图像信息设定用于控制矢量化处理的控制信息；附加步骤，将所设定的上述控制信息附加在上述图像信息中；以及形成步骤，将附加了上述控制信息的上述图像信息形成在规定的媒体上。

本发明的其他特征以及优点，根据结合附图的以下描述将会明白，其中，在附图中对同样或相似的部分附加相同的参照标号。

附图说明

附图包含在说明书中且构成其一部分，表示本发明的实施形式，并与其描述一起用于解释本发明的原理。

图1是表示本发明第1实施方式的图像处理系统的构成的框图。

图2是表示本发明第1实施方式的MFP100的构成的框图。

图3是用于就利用本发明第1实施方式的图像处理系统的图像处理的过程进行说明的流程图。

图4是表示通过块选择处理对读取到的1张图像数据判定属性并分割成多个块的情形的图。

图5是就对于由块选择处理所得到的各块的块信息的一例进行表示的图。

图6是用于说明对原稿图像中所附加的2维条形码(バ一コ一ド)(QR码符号(コ一ドシンボル))进行解码后输出数据字符串的过程的流程图。

图7是表示附加了2维条形码的原稿310的一例的图。

图8是用于说明曲率成为极大的点的图。

图9是用于就在外轮廓与内轮廓或者别的外轮廓接近的情况下表现为具有粗细的线条的例子进行说明的图。

图10是用于说明直到将矢量数据对每个图形对象分组化为止的处理过程的流程图。

图11是用于说明对图形要素进行检测的处理过程的流程图。

图12是表示作为通过块选择处理及矢量化(ベクトル化)处理对一页图像数据进行了变换的结果所得到的中间数据形式的文件的数据结构的图。

图13是用于说明向应用程序(アプリ)数据的变换处理全体的概略过程的流程图。

图14是用于说明文档结构树生成处理(步骤S802)的详细处理过程的流程图。

图15A、B是用于说明文档结构树的概要的图。

图16是用于说明利用2维条形码(QR码符号：JISX0510)311对作为矢量化控制信息的数据字符串进行编码后附加到图像中的过程的流程图。

图17是用于说明处理带密码的矢量化控制信息的图像处理的过程的流程图。

图18是用于说明利用MFP100上所装备的键操作部的各对象的矢量化控制设定处理过程的流程图。

图19是表示MFP100的键操作部的复制的基本画面的一例的图。

图20是表示MFP100的键操作部的应用模式画面的一例的图。

图21是表示MFP100的键操作部的矢量化(Vectorize)画面的一例的图。

图22是表示MFP100的键操作部的图像读取后的画面的一例的图。

图23是用于说明处理带密码的矢量化控制信息的图像处理的过程的流程图。

具体实施方式

下面，参照附图对本发明的优选实施方式的图像处理系统以及图像处理方法进行说明。

<第1实施方式>

图1是表示本发明第1实施方式的图像处理系统的构成的框图。图1所示的图像处理系统，在通过互联网等网络104连接办公室10和办公室20的环境下得以实现。

在办公室10内所构筑的LAN107上连接有MFP100、控制MFP100的管理PC101、客户端PC102、文档管理服务器106a、其数据库105a以及代理服务器103a。另外，在办公室20内所构筑的LAN108上连接有文档管理服务器106b、其数据库105b以及代理服务器103b。此外，客户端PC102具备有外部存储部、检索图像输入部以及检索结果输出部。另外，LAN107及办公室20内的LAN108经由代理服务器103a、103b连接到互联网等网络104。

MFP100，在本实施方式中担当光学地读取纸文档后变换成图像信号的图像读取处理和针对所读取的图像信号的图像处理的一部分，图像信号利用LAN109输入到管理PC101。此外，管理PC101即便是用普通的PC也可实现，在内部具备图像存储部、图像处理部、显示部以及输入部。此外，管理PC101还可以使其一部分或者全部与MFP100一体化来构成。

图2是表示本发明第1实施方式的MFP100的构成的框图。在图2中，包含自动输稿器(下面简称为“ADF”，)的图像读取部110用内部所具备的光源照射束状或者1张原稿图像，用透镜将原稿反射像成像在固体摄像元件上，并从固体摄像元件取得光栅状的图像读取信号作为例如600dpi密度的图像信息。然后在使用通常的复印功能的情况下，用数据处理部115将此图像信号图像处理成记录信号，在多个各复印的情况下一旦将1页的记录数据保持到存储装置111之后，就依次输出到形成装置112以在纸上形成图像。

另一方面，从客户端PC102输出的打印数据，被从LAN107输入到MFP100，经由网络I/F114用数据处理装置115变换成可记录的光栅数据之后，就输出到形成装置112以在纸上作为记录图像进行形成。

操作者对MFP100的指示，由MFP100上所装备的键等输入装置113、或者管理PC101的键盘或鼠标等组成的输入装置进行，这一系列的动作由数据处理装置115内的控制部来进行控制。

另一方面，操作输入的状态显示以及处理中的图像数据的显示，由MFP100的显示装置116、或者管理PC101、客户端PC102的监视器等进行。此外，存储装置111也由管理PC101进行控制，MFP100和管理PC101的数据的收发及控制，使用网络I/F117以及直接连结的LAN109来进行。

[读取处理的概要]

接着，就利用本发明第1实施方式的图像处理系统的图像处理全体的概要进行说明。图3是用于就利用本发明第1实施方式的图像处理系统的图像处理的过程进行说明的流程图。在这里，使用图3的流程图就读取纸原稿并取得图像信息的处理进行说明。

首先，使MFP100中的图像读取部110动作以对1张原稿进行光栅扫描、取得例如、600dpi、8位的图像信号(图像信息输入处理：步骤S1200)。此外，该图像信号在用数据处理装置115实施前处理后作为1页的图像数据保存到存储装置111。

接着，由管理PC101的CPU，根据从存储装置111中所保存的图像信号，首先按字符/线条图部分和中间色调的图像部分来分离区域。然后，字符部分被进一步分离成以段落作为块而集中的每块、或者用线条所构成的表格、图形后分别进行分段化(セグメント化)。另一方面，用中间色调所表现的部分则分割成被矩形地分离的块的图像部分、背景部等所谓的对每块独立的对象(块选择(BS：ブロツクセレクシヨン)处理：步骤S1201)。

此时，检测作为附加信息被记录在原稿图像中的2维条形码、或者符合URL的对象，URL用OCR处理(光学字符识别处理)进行字符识别，以判读2维条形码或者该对象(步骤S1202)。然后，根据判读出的结果对原稿的矢量化控制信息进行检测(步骤S1203)。此矢量化控制信息表示按原稿的各对象、对象种类、或者对特定的对象进行矢量化的禁止或者许可用的信息。此外，作为附加指针(ポインタ)信息的手段，除了通过使多个位置上的字符及字符间隔不同来嵌入信息的方法外，还可以使用在中间色调的图像中嵌入特定频率的信息的方法等、嵌入用人类眼睛难以辨别的信息的利用电子水印透的方法。在这样附加信息作为电子水印被嵌入的情况下，就在步骤S1202中检测并判读水印信息。这样，只要矢量化控制信息能够达到本实施方式的目的，就不过问其形态。

然后，在矢量化控制信息检测处理后，分支到步骤S1204，当在步骤S1204判断为输入图像信息中没有矢量化控制信息的情况下(否)，则将图像信息原样保存到存储装置111(步骤S1208)。另一方面，当在步骤S1204发现了矢量化控制信息的情况下(是)，则分支到步骤S1205。

然后，在步骤S1205中，基于矢量化控制信息来判断是否可进行矢量化，在判断为可进行矢量化的情况下(是)，则进行图像信息的矢量化(步骤S1206)。

步骤S1206的处理，就是从图像信息向矢量数据的变换处理，变换成接近于原始电子文件的电子文件。首先，对在步骤S1202经过OCR处理后的字符块，进一步识别字符大小、式样、字体等，将扫描原稿所读取到的字符可视地变换成忠实的字体数据。另一方面，对由线条所构成的表格、图形块等进行轮廓(アウトライン)化。

此外，对图像块，作为图像信息处理为个别的JPEG文件。这些矢量化处理对各对象进行，进而保存各对象的布局(レイアウト)信息，例如，变换成Rich-Text格式(rtf)文件等应用程序数据(步骤S1207)，并作为电子文件保存到存储装置111(步骤S1208)。

另一方面，在步骤S1205中的判定结果为矢量化禁止的情况下(否)、分支到步骤S1208，将图像信息原样作为电子文件保存到存储装置111。这样，通过将图像信息原样保存到存储装置111，就不会在应用程序上将文本数据篡改或者作为图形数据进行加工，所以就能够原封不动地保存原始信息。即，能够原样保存从纸原稿读取到的无法再利用的形式的数据。

在步骤S1208中所保存的包含从上述原稿图像得到的矢量数据、字体数据的各种图像信息，为了在以后进行同样的处理时，能够直接作为电子文件进行检索，而生成检索用的索引信息并追加到检索用索引文件(步骤S1209)。然后，将该电子文件的保存地址通知给操作者(步骤S1210)，进而将表示保存地址的指针信息作为图像信息附加到文件(步骤S1211)。

然后，就可使用按照直到以上说明过的步骤S1211为止的处理过程所得到的电子文件本身，进行例如文档的记录、编集、传送、存储(步骤S1212)。

[图像输出处理]

图3中步骤S1213以后的处理，表示将直到上述步骤S1212为止的处理中所得到的电子文件作为矢量化数据或者作为图像数据从存储装置111读出并输出的图像输出处理的处理过程。

于是，由未图示的CPU根据所存储的图像信号读出在MFP100的存储装置111中被保存为电子文件的图像，并在数据处理装置115内变换成可记录的光栅数据。然后，在步骤S1213中判定矢量化控制信息是否被检测到。其结果在矢量化控制信息被检测出的情况下(是)，进行矢量化控制信息的附加(步骤S1216)。

另一方面，当在步骤S1213中未检测出矢量化控制信息的情况下(否)，则进一步判定由操作者所设定的是否进行矢量化控制的条件(步骤S1214)。然后，在被指示为需要矢量化控制的情况下(是)，进行矢量化控制信息的生成(步骤S1215)，并附加所生成的矢量化控制信息(步骤S1216)。之后，在步骤S1217，将被变换成矢量数据的图像由形成装置112在纸等媒体上形成后输出。

通过以上本实施方式就可根据检测出的矢量化控制信息，基于再利用的有无来控制所输入的图像信息，就能够实现比起以往使所输入的图像信息的维护性(保守性)提高了的图像处理系统。

此外，虽然在本实施方式中，采用当在步骤S1204中没有矢量化控制信息的输入的情况下执行控制以进行矢量化的构成，但也可反过来在没有矢量化控制信息的情况下，进行控制以不进行矢量化。如这样进行哪种控制的设定，取决于使矢量化的方便性优先还是使原始原稿的安全性或著作权优先。另外，作为图像处理系统。还可以使操作者能够任意地选择任何一种。

下面，就各处理块详细地进行说明。

首先，就在步骤S1201中所示的块选择(BS)处理进行说明。

[块选择处理]

图4是表示通过块选择处理对读取到的1张图像数据判定属性并分割成多个块的情形的图。即，块选择处理是指将标记41所示的、在步骤S1200所读取的一页的图像数据如标记42所示那样识别为每个对象的块，将各个块判定成字符(TEXT)、照片(PHOTO)、线条(LINE)、表格(TABLE)等属性，并分割成具有不同属性的区域(块)的处理。

下面说明块选择处理的一个实施方式。

首先，将输入图像按白黑进行2值化，进行轮廓线跟踪以抽取用黑像素轮廓所包围的像素块。然后，针对面积较大的黑像素块，对处于内部的白像素同样地进行轮廓线跟踪以抽取白像素块。进而，还从大于等于一定面积的白像素块的内部递归地抽取黑像素块。此外，上述处理是在白背景上用黑字等所记载的原稿的情况的处理，在除此以外的情况下，通过将相当于背景的颜色设为“白”、而将相当于对象的颜色设为“黑”就能够同样地进行处理。

将这样所得到的黑像素块，按大小以及形状等进行分类，以分类成具有不同属性的区域。例如，将纵横比靠近1、大小为一定范围的块设为字符相当的像素块，进而将接近的字符可整齐排列地分组化的部分设为字符区域。另外，将扁平的像素块设为线条区域，将一定大小以上且整齐排列地内含四边形的白像素块的黑像素块所占的范围设为表格区域，将不定形的像素块分散存在的区域设为照片区域，将除其以外的任意形状的像素块设为图片区域等。由此，就能够对读取1张原稿而创建的电子数据的再利用设置更高度的限制等。

图5是就对于由块选择处理所得到的各块的块信息的一例进行表示的图。图5所示的每个块的信息被用作后述的矢量化用的信息。

[从图像信息检测出矢量化控制信息]

首先，对步骤S1202所示的用于从读取到的图像信息抽取矢量化控制信息的OCR/OMR处理进行说明。

图6是用于说明对原稿图像中所附加的2维条形码(QR码符号)进行解码后输出数据字符串的过程的流程图。图7是表示附加了2维条形码的原稿310的一例的图。

首先，用内部的CPU扫描对数据处理装置115内的页存储器中所保存的原稿310进行读取而得到的图像数据，并根据上述的块选择处理的结果对规定的2维条形码符号311的位置进行检测。QR码的位置检测模式由配置于符号的4个角之中3个角的同样的位置检测要素模式311a～311c构成(步骤S300)。

接着，对邻接于位置检测模式的形式信息进行复原，以得到符号中所适用的纠错等级以及掩码模式(マスクパタ一ン)(步骤S301)。进而，在决定了符号的型号后(步骤S302)，通过使用由形式信息所得到的掩码模式对编码区域位模式(ビツトパタ一ン)进行XOR运算来解除掩码处理(步骤S303)。

然后，按照对应于模型(モデル)的配置规则，读取符号特性(キヤラクタ)，以复原消息的数据以及纠错代码字(コ一ド語)(步骤S304)。接着，进行在所复原的代码上是否有错误的检测(步骤S305)。在其结果为检测出错误的情况下(是)则对该错误进行订正(步骤S306)。然后，根据纠错后的数据，基于模式指示符以及字符数指示符对数据代码字按段进行分割(步骤S307)。最后，基于规格模式(仕様モ一ド)对数据字符进行解码并输出结果(步骤S308)。此外，当在步骤S305未检测出错误的情况下(否)则进入上述步骤S307。

另外，2维条形码内所插入的数据表示矢量化控制信息。

在本实施方式中如上述那样，以使用2维条形码来附与矢量化控制信息的原稿310为例进行了列举说明，但在直接以字符串记录矢量化控制信息的情况下则可用上述的块选择处理对遵照预定规则的字符串的块进行检测，并对表示相应指针信息的字符串的各字符进行字符识别，由此直接获得矢量化控制信息。

另外，针对图7的文档310的字符块312或字符块313的字符串，以邻接的字符及字符的间隔等施加难以辨识程度的调制，并嵌入利用了该字符间隔的水印信息，由此也能够附与矢量化控制信息。这样的水印信息，能够通过在进行后述的字符识别处理时对各字符的间隔进行检测而获得矢量化控制信息。另外，还可在图片块314中附加矢量化控制信息作为电子水印。

[矢量化处理]

接着，就图3的步骤S1206所示的矢量化处理进行说明。首先，针对字符块对各字符进行字符识别处理。

《字符识别》

为了字符识别处理，在本实施方式中对以字符单位所切出的图像，利用模式匹配(パタ一ンマツチング)这一方法进行识别，以得到对应的字符代码(文字コ一ド)。此识别处理是比较将从字符图像得到的特征变换成数十维的数值列的观测特征矢量、和预先对每个字种所求得的辞典特征矢量，并设距离最近的字种为识别结果的处理。此外，在特征矢量的抽取上有各种公知方法，例如，能够使用网格(メツシュ)状地分割字符，并将各网格内的字符线条按不同方向作为线条元素进行了计数的网格数维矢量为特征的方法。

在对用块选择处理(步骤S1201)所抽取出的字符区域进行字符识别的情况下，首先对该区域进行横写、纵写的判定，按各自对应的方向切出行，之后切出字符以得到字符图像。横写、纵写的判定，在该区域内获取对于像素值的水平/垂直的投影，在水平投影的分散较大的情况下判断为横写区域而在垂直投影的分散较大的情况下则判断为纵写区域即可。

另外，向字符串及字符的分解，在横写的情况下利用水平方向的投影切出行，进而根据对于所切出的行的垂直方向的投影切出字符。另一方面，对于纵写的字符区域，使水平和垂直相反即可。此外，字符的大小能够基于所切出的大小进行检测。

《字体识别》

对字符形状种类、即字体种类准备多个与字符识别时所用的字种数目相应的辞典特征矢量，并在匹配时与字符代码一起输出字体种类，由此就能够识别字符的字体。

《字符的矢量化》

本实施方式中，在字符矢量化时，利用由上述字符识别以及字体识别所得到的字符代码及字体信息，并分别使用预选所准备的轮廓数据将字符部分的信息变换成矢量数据。此外，在原来的原稿是彩色原稿的情况下，则从彩色图像抽取各字符的颜色后与矢量数据一起进行记录。

通过以上处理，就能够将属于字符块的图像信息在形状、大小、颜色上都变换成大体上忠实的矢量数据。由此，处理高品位的字符数据就成为可能。

《字符以外部分的矢量化》

以用步骤S1201的块选择处理，被设为图片、线条或者表格区域的区域为对象，将分别抽取出的像素块的轮廓变换成矢量数据。具体而言，就是用被视为角的点来区分组成轮廓的像素的点列，用部分直线或者曲线来近似各区间。这里，“角”是指曲率成为极大的点。

图8是用于说明曲率成为极大的点的图。如图8所示，在相对于任意点Pi左右离开k个的点Pi-k～Pi+k之间画弦时，作为此弦和Pi的距离成为极大的点来求解。进而，设Pi-k～Pi+k间的弦长/弧长为R，能够将R的值小于等于阈值的点视为角。由角所分割的各区间，直线能够使用针对点列的最小二乘法等而曲线则能够使用3次样条(スプライン)函数等来进行矢量化。

另外，对象具有内轮廓的情况下，利用由块选择处理所抽取出的白像素轮廓的点列，同样地用部分直线或者曲线进行近似。

如以上那样，通过使用轮廓的区分线近似，就能够对任意形状的图形的轮廓进行矢量化。此外，在所输入的原稿为彩色的情况下，则从彩色图像抽取图形的颜色后与矢量数据一起进行记录。

图9是用于就在外轮廓与内轮廓或者别的外轮廓接近的情况下表现为具有粗细的线条(粗线条)的例子进行说明的图。如图9所示，在某区间上外轮廓与内轮廓或者别的外轮廓接近的情况下，就能够将这两个轮廓线集中成一个而表现为具有粗细的线条。具体而言，从某轮廓的各点Pi到在别的轮廓上成为最短距离的点Qi之间画线，在各距离PQi平均地小于等于一定长度的情况下，关注区间就以PQi中点作为点列用直线或者曲线来近似，并设其粗细为PQi的平均值。线条或作为线条的集合体的表格划线，就能够作为如上述那样作为具有粗细的线条的集合、高效率地进行矢量表达。

此外，关于使用了针对字符块的字符识别处理的矢量化，如上述那样，该字符识别处理的结果是，将离辞典的距离最近的字符作为识别结果来使用。这里，在此距离大于等于规定值的情况下，则未必与本来的字符相一致，误识别成形状类似的字符这样的情况较多。从而，在本发明中，针对这样的字符就如上述那样与一般的线条图同样地处理后对该字符进行轮廓化。即，即使是以往在字符识别处理中引起误识别这样的字符，也能够可视地进行利用忠实于图像数据的轮廓化的矢量化，而不会被矢量化成错误的字符。另外，针对被判定为照片的块，则在本发明中不进行矢量化而原样设为图像数据。

[图形识别]

在这里，就如上述那样对任意形状的图形的轮廓进行了矢量化后，将这些矢量化后的区分线按图形对象逐个分组化的处理进行说明。

图10是用于说明直到将矢量数据对每个图形对象分组化为止的处理过程的流程图。首先，计算出各矢量数据的起点、终点(步骤S700)。接着，使用各矢量的起点、终点信息来检测图形要素(步骤S701)。这里，图形要素的检测是指对区分线构成的闭图形进行检测。在检测时，应用构成闭形状的各矢量具有分别连结在其两端的矢量这样的原理来进行检测。

接着，将图形要素内存在的其他图形要素或者区分线分组化，并设为一个图形对象(步骤S702)。此外，当在图形要素内不存在其他的图形要素或者区分线的情况下则将图形要素设为图形对象。

图11是用于说明对图形要素进行检测的处理过程的流程图。首先，从矢量数据除去未连结在两端的不要的矢量，以抽取闭图形构成矢量(步骤S710)。接着，从闭图形构成矢量之中将该矢量的起点作为开始点，按顺时针顺序追踪矢量。然后，进行跟踪直到返回开始点，将通过的矢量全部作为构成一个图形要素的闭图形来进行分组化(步骤S711)。此外，在此时，处于闭图形内部的闭图形构成矢量也全部进行分组化。进而，将尚未被分组化的矢量的起点作为开始点，反复进行同样的处理。最后，检测出在步骤S710所除去的不要矢量之中、与在步骤S711作为闭图形被分组化的矢量接合的矢量，作为一个图形要素进行分组化(步骤S712)。

通过以上处理，将图形块个别地作为可再利用的个别图形对象来对待就成为可能。

[向应用程序数据的变换处理]

图12是表示作为通过块选择处理(步骤S1201)及矢量化处理(步骤S1206)对一页图像数据进行了变换的结果所得到的中间数据形式的文件的数据结构的图。图12所示那样的数据形式被称为文档分析输出格式(DAOF：ドキュメント·アナリシス·アウトプツト·フオ一マツト)。即，图12是表示DAOF的数据结构的图。

图12中，791是首标(ヘツダ)，保持与处理对象的文档图像数据有关的信息。792是布局描述数据部，保持按文档图像数据中的TEXT(字符)、TITLE(标题)、CAPTION(说明)、LINEART(线条图)、PICTURE(图片)、FRAME(框架)、TABLE(表格)等属性所识别的各块的属性信息及其矩形地址信息。

793是字符识别描述数据部，保持对TEXT、TITLE、CAPTION等TEXT块进行字符识别而得到的字符识别结果。794是表格描述数据部，保存TABLE块的结构的细节。795是图像描述数据部，将PICTURE或LINEART等块的图像数据从文档图像数据切出后进行保持。

这样的DAOF，不仅作为中间数据，还有其自身也被文件化后进行保存的情况，但在此文件状态下，就无法在一般的文档创建应用程序中对各个对象进行再利用。因此，接着，就从DAOF变换成应用程序数据的处理(步骤S1210)进行详细说明。

图13是用于说明向应用程序数据的变换处理全体的概略过程的流程图。首先，输入DAOF数据(步骤S800)。接着，进行成为应用程序数据之基础的文档结构树生成(步骤S802)。然后，基于所生成的文档结构树，流入DAOF内的真实数据，生成实际的应用程序数据(步骤S804)。

图14是用于说明文档结构树生成处理(步骤S802)的详细处理过程的流程图。另外，图15是用于说明文档结构树的概要的图。此外，作为全体控制的基本规则，设处理流程是从微块(单一块)转移至宏块(块的集合体)。另外，在以后的说明中，块是指微块(micro block：ミクロブロツク)及宏块(macro block：マクロブロック)全体。

首先，按块单位以纵方向的关联性为基础进行再分组化(步骤S802a)。此外，刚启动以后为微块单位下的判定。这里，关联性能够按距离较近、块宽度(横方向的情况则为高度)大致相同等进行定义。另外，距离、宽度、高度等的信息参照DAOF来进行抽取。

图15A表示实际的页构成、图15B表示其文档结构树。步骤S802a的分组化结果为T3、T4、T5作为一组V1、T6、T7作为一组V2，分别作为相同层次的组而得以生成。

接着，检查纵方向的分隔符(セパレ一タ)的有无(步骤S802b)。分隔符是例如，物理地在DAOF中具有行属性的对象。另外，作为逻辑上的含义则是在应用程序中显式地对块进行分割的要素。这里在检测出分隔符的情况下，则以相同的层次进行再分割。

接着，利用组长度来判定是否不会存在大于等于此的分割(步骤S802c)。例如，判定纵方向的分组长度是否为页高度。其结果在纵方向的组长度为页高度的情况下(是)则文档结构树生成结束。例如，在图15A、B所示那样的结构的情况下，由于组高度不是页高度，也没有分隔符故判定为否，进入步骤S802d。

在步骤S862d中，按块单位以横方向的关联性为基础进行再分组化。但是，在此再分组化中刚启动以后的第一次也是以微块单位进行判定。另外，关联性及其判定信息的定义与纵方向的情况相同。例如，在图15A、B的结构的情况下，用T1和T2生成H1、用V1和V2生成H2，H1作为T1、T2的上一层、H2作为V1、V2的上一层的相同层次的组而得以生成。

接着，检查横方向分隔符的有无(步骤S802e)。在图18中由于有S1，故将其登录在树中并生成H1、S1、H2这样的层次。然后，利用组长度来判定是否不会存在大于等于此的分割(步骤S802f)。例如，判定横方向的分组长度是否为页宽度。其结果在横方向的组长度为页宽度的情况下(是)，文档结构树生成结束。另一方面，在不是页宽度的情况下(否)，返回步骤S802b，再次以更高一层的层次，从纵方向的关联性检查开始反复。例如，在图15A、B的结构的情况下，分割宽度为页宽度，所以在此结束，最后表示页全体的最上位层次V0被附加到文档结构树。

在文档结构树完成以后，基于其信息在步骤S804中进行应用程序数据的生成。在图15A、B的结构的情况下，具体而言则如下所述。

即，由于H1在横方向有两个块T1、T2，故在作为2列(カラム)输出T1的内部信息(参照了DAOF的字符识别结果的文章或图像等)后、改变列进行T2的内部信息输出，之后输出S1。另外，由于H2在横方向有两个块V1、V2，故作为2列进行输出，V1按T3、T4、T5的顺序输出其内部信息，之后改变列，输出V2的T6、T7的内部信息。通过以上处理，就能够进行向应用程序数据的变换处理。由此，就可用现有的文档创建应用软件等对经过矢量化的对象进行再利用。

[矢量化控制信息的生成·附加]

接着，就步骤S1215、S1216所示的矢量化控制信息的生成·附加处理详细地进行说明。矢量化控制信息生成·附加处理在向纸等记录媒体形成图像之前执行。

图16是用于说明利用2维条形码(QR码符号：JISX0510)311对作为矢量化控制信息的数据字符串进行编码后附加到图像中的过程的流程图。

2维条形码内所插入的数据，包含许可/不许可原稿图像的矢量化之类的信息，例如，用“许可：‘1’”/“不许可：‘0’”的数值来表示。或者，还包含在MFP100自身具有的存储装置111内所管理的文件ID等而构成。

首先，为了识别将要编码的各种不同的字符，对输入数据列进行分析，并选择错误检测以及纠错等级，以选择输入数据能够容纳的最小型号(步骤S900)。

接着，将输入数据列变换成规定的位列，并根据需要附加表示数据的模式(数字、英文数字、8位字节、汉字等)的指示符或终端模式。进而，通过变换成规定的位代码字来进行数据的编码(步骤S901)。

此时，为了进行错误订正，依照型号以及纠错等级将代码字列分割成规定的块数，并按各块逐个生成纠错代码字，附加到数据代码字列之后(步骤S902)。进而，连接在步骤S902中所得到的各块的数据代码字，并连接各块的纠错代码字、或者根据需要连接剩余代码字，以进行消息的构筑(步骤S903)。

接着，将代码字模块(モジュ一ル)与位置检测模式、分离模式、定时模式以及对位模式等一起配置于矩阵(マトリクス)(步骤S904)。进而，选择对符号的编码区域最佳的掩码模式，通过与在步骤S904中所得到的模块进行XOR运算对掩码处理模式进行变换(步骤S905)。最后，对在步骤S905中所得到的模块生成形式信息以及型号信息，以使2维码符号完成(步骤S906)。

[指针信息的附加]

接着，对步骤S1211所示的指针信息附加处理详细地进行说明。在本实施方式中，使用与矢量化控制信息的附加方法相同的方法来附加指针信息。从而，关于其细节就如矢量化控制信息的附加处理当中所说明过的那样所以在这里省略。由此，即便对原本就不具有矢量化控制信息的原稿，也能够将与电子化后的数据的再利用等有关的控制信息重新附加在纸文档中。

此外，以同样的目的赋予附加信息的方法，除了本实施方式中所说明的2维条形码以外，例如，还可应用将指针信息直接用字符串附加在文档中的方法、对文档内的字符串、特别是字符与字符的间隔进行调制以嵌入信息的方法、在文档中的中间色调图像中进行嵌入的方法等一般被称为电子水印的方法。

[矢量化控制信息的别的实施例]

接着，就作为矢量化控制信息进一步包含信息的实施方式进行说明。即，作为矢量化控制信息而构成的信息，不仅是进行矢量化(或者不进行矢量化)之类的信息，还可使其持有用于对该信息进行解除(设定)的密码。图17是用于说明处理带密码的矢量化控制信息的图像处理的过程的流程图。

图17中，直到步骤S2000～S2005之前都与上述图3所示的流程图相同。但是，作为在步骤S1203的矢量化控制信息检测步骤中检测出的信息，则除了矢量化的许可/禁止信息外还包含密码。为此，即便所读入的原稿图像是在步骤S2005被判断为可矢量化的图像信息，在本实施方式也在步骤S2006中请求操作者输入密码，在所输入的密码与检测出的密码不吻合的情况下(否)，则设为无法进行矢量化而分支到步骤S2009作为图像数据来进行保存。即，在本实施方式中，通过将能够执行矢量化处理的操作者限定为知道密码的人以使图像信息的维护性更高。

此外，还可将带密码的矢量化控制信息用于别的目的，例如使得仅知道密码的操作者能够任意地选择是否禁止矢量化的设定来提高系统的自由度之类的使用方法。

<第2实施方式>

接着，就本发明的第2实施方式的图像处理系统以及图像处理方法进行说明。此外，第2实施方式的图像处理系统的构成，与第1实施方式同样地用图1所示的框图来表示，MFP100也与图2所示的同样。

[按对象逐个进行矢量化控制的实施方式]

除了上述的第1实施方式中的处理外，还进一步使矢量化的禁止/许可的控制能够按通过块选择所得到的多个对象而不是按页逐个独立地进行设定，由此就能够使利用矢量化的方便性进一步得到提高。

《矢量化控制信息的生成·附加》

针对页内的各对象的矢量化控制信息的设定，能够由操作者通过MFP100上所装备的键操作部来进行设定。

图18是用于说明利用MFP100上所装备的键操作部的各对象的矢量化控制设定处理过程的流程图。下面，利用图18就矢量化控制信息的设定处理进行说明。

首先，判别针对将要输出的图像的矢量化控制信息的有无(步骤S2101)，在未检测出的情况下(否)，分支到步骤S2102，判定由操作者所设定的是否进行矢量化控制的条件。然后，在被指示为需要矢量化控制的情况下(是)，就在步骤S2103以后进行矢量化控制信息的设定·生成。

另一方面，当在步骤S2102中被指示为不需要矢量化控制信息的情况下(否)，则不进行步骤S2108中的矢量化控制信息的附加直接在输出步骤S2109进行图像的输出。另外，当在步骤S2101输出图像中有矢量化控制信息的情况下(是)，直接进入步骤S2108的矢量化控制信息的附加处理，将矢量化控制信息附加在图像中，并在输出步骤S2109进行附加了矢量化控制信息的图像的输出。

为了进行矢量化控制信息的生成，首先向键操作部进行图像显示(步骤S2103)。图19是表示MFP100的键操作部的复制的基本画面的一例的图。此外，在本实施方式中，由于这里所说明的功能大多被置于一个层次内，故在此操作画面的例子中作为“应用模式”这一功能进行集中。

于是，若按下应用模式键1000则切换到图20所示那样的应用功能被集中起来的画面。即，图20是表示MFP100的键操作部的应用模式画面的一例的图。在图20中，矢量化键1001表示与矢量化控制信息设定有关的功能。

这里，若按下矢量化键1001则显示图21所示的画面。即，图21是表示MFP100的键操作部的矢量化(Vectorize)画面的一例的图。然后，若操作者按下图20所示的读入开始键1002，则图像读取部110读取所放置的原稿，并在键操作部上显示图22所示的画面。即，图22是表示MFP100的键操作部的图像读取后的画面的一例的图。

如图22所示，在键操作部上如1010所示那样显示有所读取的图像和通过块选择而得到的图像信息的分割结果。关于块选择处理可用与上述实施方式同样的方法进行实施。另外，构成显示画面的对象的属性和位置，例如以颜色和矩形来表现。另外，图像显示还可用缩小图像进行显示。此外，可用扩大·缩小键1011将显示图像以任意的大小进行扩大·缩小，向因扩大而超过显示区的部分的滚动可用滚动按钮1012朝上下左右方向进行移动。

如上述那样，当在步骤S2103进行了图像数据以及块选择结果的显示后，进行对象的选择(步骤S2104)。在这里，由于图22的中央部的“We are always waiting YOU！”这样的字符对象被选择，所以例如用红色的实线来表示该对象，而除此以外的对象则用表现各自的属性的颜色的虚线来表示。即，例如能够用红色表现字符对象、用蓝色表现图形对象、用绿色表现表格对象、用黄色表现图像对象、将除此以外的剩余作为背景来表示。此外，由于背景是抽取出构成图像的对象后的剩余的图像故不特别进行矩形指定。

对象的选择有直接用手指等触摸1010内的对象进行指定的方法、或利用对象选择键1013等进行指定的方法。在使用哪种方法的情况下都设所选择的对象的矩形为实线，成为非选择的矩形则为虚线。另外，与所选择的对象的属性相当的对象属性键1014同时被选择。

此外，使用ADF等读入多个页的情况下，可用页选择按钮1015来选择页，在选择了规定页的情况下则将其图像和块选择结果显示在1010上。

接着，由矢量化键1016来决定是否许可选择对象的矢量化的矢量化控制信息的设定处理(步骤S2105)。即，在可以许可设定的情况下矢量化键1016被反转显示，在不许可的情况下矢量化键1016则为通常显示。图22所示的情况为所选择的对象的矢量化未被许可的状态。另外，若按下OK键1017，则迄今为止所设定的结果被作为矢量化控制信息进行保存。另一方面，若按下设定取消键1018，则放弃迄今为止所设定的设定，返回到图19所示的复制基本画面图。

通过上述的处理该对象的矢量化控制信息设定结束，在还想对其他对象也进行同样的设定的情况下，在步骤S2106的分支返回到步骤S2104的对象选择步骤，反复进行上述的设定操作。另一方面，在矢量化控制信息的设定结束后，通过上述的步骤S2107～S2109执行输出。

这样所保存的每个对象的矢量化控制信息，例如，在上述的实施方式中通过在按原稿图像逐个生成·附加的2维条形码内作为控制信息的数据列被代码化(コ一ド化)而附加在输出图像中。此外，关于2维条形码的附加方法，可用与上述的实施方式同样的方法来进行附加。从而，就能够依照操作者的要求自由地进行纸文档的矢量化的控制。

另外，如上述实施方式那样与页单位下的矢量化控制信息同样，能够应用直接用字符串在文档进行附加的方法、对文档内的字符串、特别是字符与字符的间隔进行调制以嵌入信息的方法、在文档中的中间色调图像中进行嵌入的方法等一般被称为电子水印的方法。

[按对象逐个进行矢量化控制的别的实施例]

作为按对象构成为矢量化控制信息的别的实施例，不仅是进行矢量化(或者，不进行矢量化)之类的信息，还可使每个对象具有用于对该信息进行解除(设定)的密码。图23是用于说明处理带密码的矢量化控制信息的图像处理的过程的流程图。

这里，直到步骤S2300～S2307之前都与作为上述第1实施方式的别的实施例所说明的图17的步骤S2000～S2007之前的处理流程相同。但是，作为在步骤S1203的矢量化控制信息检测步骤中检测出的信息，除了矢量化的许可/禁止信息外还包含密码。另外，即便所读入的原稿图像是在步骤S2305被判断为可矢量化的图像信息，也在步骤S2306中请求操作者输入密码，在所输入的密码与检测出的密码不吻合的情况下(否)，则设为无法进行矢量化而分支到步骤S2310作为图像数据来进行保存。

另外，若1个对象的矢量化处理S2307结束，则在步骤S2308中判定页内全部对象的矢量化处理是否结束。其结果在尚剩余应进行矢量化处理的对象的情况下则对下一对象反复自步骤S2305开始的处理。即，在本实施方式中，可通过将能够对每个对象进行矢量化处理的操作者限定为知道密码的人以使图像信息的维护性更高，进而还能够进行高度的电子化数据的再利用控制。

此外，还可将带密码的矢量化控制信息用于别的目的，例如使得仅知道密码的操作者能够任意地选择是否禁止矢量化的设定来提高系统的自由度之类的使用方法。

另外，只要使得在对象控制信息之中持有禁止矢量化的对象的特征信息(例如，包含特定字符串或特定形状的信息等)，就可使具有特定特征的对象的矢量化的禁止/许可的控制得以进行。

另外，只要使得矢量化控制信息还持有原稿内的对象的布局信息，就能够在此布局信息之中指定进行矢量化控制的对象，进而就能够精度良好地进行矢量化的禁止/许可的控制。

<其他实施方式>

需要注意，本发明可应用于由单个设备组成的装置，或者由多个设备构成的系统。

此外，本发明可这样实现，即将实现上述实施形式的功能的软件程序，直接或者间接地提供给系统或装置，由该系统或装置的计算机读出所供给的程序代码，然后执行该程序代码。在此情况下，只要该系统或装置具有该程序的功能，则实现方式不需要依赖于程序。

从而，由于通过计算机来实现本发明的功能处理，故安装在该计算机的程序代码也将实现本发明。换言之，本发明的权利要求还覆盖目的是实现本发明的功能的计算机程序。

在此情况下，只要该系统或装置具有该程序的功能，则该程序可以任何形式来执行，例如对象代码、由解释程序所执行的程序、或者提供给OS的脚本数据等。

被用来供给程序的存储介质的例子，有软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失性类型的存储卡、ROM、以及DVD(DVD-ROM、DVD-R、DVD-RW)等。

作为提供该程序的方法，客户端计算机可使用该客户端计算机的浏览器连接到互联网上的站点，将本发明的计算机程序或者该程序的可自动安装的被压缩文件下载到记录介质例如硬盘。进而，本发明的程序可通过将构成该程序的程序代码分割成多个文件并从不同的站点下载这些文件来进行提供。换言之，本发明的权利要求还覆盖，通过计算机将实现本发明的功能的程序文件下载给多个用户的WWW(World Wide Web)服务器。

另外，还可以对本发明的程序进行加密并存储在存储介质例如CD-ROM中，将该存储介质发布给用户，允许满足预定条件的用户，经由互联网从站点下载来解密密钥信息，并允许这些用户通过使用该密钥信息来解密被加密的程序而将该程序安装在用户计算机上。

除通过计算机执行所读出的程序使上述的实施形式的功能得以实现的情况外，在计算机上运转的OS等执行实际处理的全部或一部分，通过该处理也可使上述实施形式的功能得以实现。

进而，在从存储介质读出的程序被写入到在计算机中所插入的功能扩充板或在计算机上所连接的功能扩充单元上具备的存储器以后，该功能扩充板或功能扩充单元上置备的CPU等执行实际处理的部分或全部，通过该处理也可使上述实施形式的功能得以实现。

本发明并不限于上述实施形式，在不脱离本发明的精神和范围内可以进行各种变更和修改。因此，为了公开本发明的范围，附加以下的权利要求项。

根据本发明，就能够在从纸原稿取得矢量数据之前适当地设定是否变换成可再利用原来的纸原稿的矢量数据。

Claims (7)

1.一种图像处理系统，其特征在于，包括：

读取装置，读取原稿以取得图像信息；

保存装置，保存上述图像信息；

矢量化装置，将上述图像信息矢量化；

检测装置，从上述图像信息检测出上述原稿上所附加的控制信息；

判定装置，基于上述控制信息，判定上述图像信息的矢量化被许可还是被禁止；以及

控制装置，在由上述判定装置判定为上述图像信息的矢量化被许可的情况下，使该图像信息由上述矢量化装置变换成矢量数据，而在上述检测装置没有检测出上述控制信息和由上述判定装置判定为上述图像信息的矢量化被禁止的情况下，使该图像信息原样保存在上述保存装置中。

2.按照权利要求1所述的图像处理系统，其特征在于：

上述矢量化装置包括字符识别装置，将上述图像信息字符代码化；

在由上述判定装置判定为上述图像信息的字符代码化未被禁止的情况下，上述控制装置使上述字符识别装置进行上述图像信息的字符代码化。

3.按照权利要求1所述的图像处理系统，其特征在于：

上述矢量化装置包括图像变换装置，将上述图像信息变换成规定的图像形式；

在由上述判定装置判定为上述图像信息向上述规定形式的图像变换未被禁止的情况下，上述控制装置使上述图像变换装置进行上述图像信息的图像变换。

4.按照权利要求1至3中任何一项所述的图像处理系统，其特征在于，还包括：

格式变换装置，将由上述矢量化装置经过矢量化的图像信息变换成可由规定的文档创建软件处理的格式。

5.按照权利要求1所述的图像处理系统，其特征在于，还包括：

分割装置，将上述图像信息分割成多个对象；

在上述控制信息存在于被分割的各个对象的情况下，上述控制装置进行控制使上述矢量化装置按各个对象逐个独立地矢量化或者禁止矢量化。

6.按照权利要求1所述的图像处理系统，其特征在于，还包括：

上述检测装置从上述矢量化控制信息检测出用户认证信息；

请求装置，在由上述矢量化装置进行上述图像信息的矢量化处理前请求用户认证信息的输入；以及

校验装置，对所输入的用户认证信息与由上述检测装置检测出的用户认证信息进行校验；

上述控制装置，基于利用上述校验装置的用户认证信息的校验结果，对上述矢量化装置许可上述图像信息向矢量数据的变换。

7.一种图像处理方法，其特征在于，包括：

读取步骤，读取原稿以取得图像信息；

保存步骤，将上述图像信息保存在保存装置中；

矢量化步骤，将上述图像信息矢量化；

检测步骤，从上述图像信息检测出上述原稿上所附加的控制信息；

判定步骤，基于上述控制信息，判定上述图像信息的矢量化被许可还是被禁止；以及

控制步骤，在由上述判定步骤判定为上述图像信息的矢量化被许可的情况下，使该图像信息由上述矢量化步骤变换成矢量数据，而在上述检测步骤中没有检测出上述控制信息和由上述判定步骤判定为上述图像信息的矢量化被禁止的情况下，使该图像信息由上述保存步骤原样保存在保存装置中。

Images