CN102480581A - 图像处理装置、图像形成装置和图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置、图像形成装置和图像处理方法。图像处理装置的压缩处理部(30)由色彩转换处理部(50)～布局分析处理部(53)进行从输入图像数据中抽出字符串区域的处理，前景层生成处理部(54)从字符串区域中进行前景像素的抽出，生成前景层。线检测处理部(52)从输入图像数据中抽出线，且进行从前景抽出处理部(51)生成的前景像素块掩模中将构成线的像素块排除在外的修正。布局分析处理部(53)根据前景区域间的距离及连续数，推定字符串方向，将在所推定的方向上连续的前景区域统一，作为字符串区域抽出。

Description

图像处理装置、图像形成装置和图像处理方法

技术领域

本发明涉及在进行基于层分离的图像压缩等处理时，能够精度良好地从输入图像数据中抽出(即，抽取或提取)前景像素的图像处理装置、图像形成装置、图像处理方法、计算机程序及记录介质。

背景技术

在现有技术中，通过电子照相方式或喷墨方式等进行图像形成的复印机或复合机等图像形成装置正在广泛普及。另外，近年来的复合机正在实现高功能化，要求将由扫描装置(扫描仪)读取的文书作为电子数据保存，且对所保存的文书文件(file)进行管理的功能及将文书数据作为电子邮件发送的功能等。由扫描装置读取的文书作为图像数据而保存，但该图像数据通常容量较大，因此在将图像数据储存或发送的情况下，需要降低数据量的图像压缩技术等。

用于实现高压缩率的图像压缩技术之一是MRC(Mixed RasterContent：混合光栅内容)等基于层分离的压缩技术。该压缩技术通过将所输入的图像数据的图像分离为前景层及背景层这两个图像数据，且进行适合各层的图像数据的压缩，能够提高最终的压缩图像的压缩率。前景层是字符(即文字)或线条画(以下，称为字符等)的图像，适合JBIG(Joint Bi-level Image experts Group：联合二值图像专家组，或联合双级图像专家组)、MMR(Modified Modified Read)或LZW(Lempel Ziv Welch)等可逆压缩方式的压缩。另外，背景层是字符和线条画以外的图像，适合JPEG(Joint Photographic Experts Group：联合图像专家组)等非可逆压缩方式的压缩。

在专利文献1(日本特开2005-20227号公报)中，提出了以不降低字符等的识别性且以高压缩率来压缩字符和照片等混在一起的彩色文书图像的读取图像数据为目的的图像压缩装置。该图像压缩装置从由扫描装置等读取的彩色文书图像的图像数据中，调查构成字符或图形等描绘物的像素的描绘状态，将所描绘的像素连接在一起的状态的一块连结像素作为连结像素组抽出。图像压缩装置从构成所抽出的连结像素组的像素的特征，分类为面向清晰度优先的压缩方式的前景图像和面向色彩的灰度等级特性优先的压缩方式的背景图像，将各图像以最佳的压缩方式进行压缩。

专利文献1记载的图像压缩装置在从图像数据中抽出连结像素时，首先，将彩色的图像数据二值化，基于二值化的图像数据，进行连结像素组的抽出，在所抽出的多个连结像素组中，以规定尺寸(size：大小)范围内的连结像素组为前景图像，将规定尺寸范围外的连结像素组设为背景图像。但是，该图像压缩装置存在如下问题，即，为了对彩色图像进行二值化处理，对于在局部的背景色中描绘有字符的图像，难以将字符像素和背景像素分离，另外，在基底明度(光亮度)和字符明度之间的关系反转的反转字符区域，难以将字符像素和背景像素分离。

发明内容

本发明是鉴于上述问题而完成的，其目的在于，提供一种图像处理装置、图像形成装置、图像处理方法、计算机程序及记录介质，即使对于局部的背景色描绘有字符的图像及包含反转字符区域的图像等这样的具有复杂布局(layout)的输入图像数据，也能够高精度地进行前景像素的抽出。

本发明提供一种图像处理装置，其特征在于：

从所输入的图像数据中抽出构成该图像数据的前景图像(即，图像的前景)的前景像素，所述图像处理装置具备前景抽出处理部、布局分析处理部和前景像素抽出处理部，

所述前景抽出处理部具有：

平坦像素块抽出单元，其将图像数据分割为多个像素块，将该像素块所包含的像素间的像素值之差小于规定值的平坦像素块抽出；

背景代表色算出单元，其基于该平坦像素块抽出单元抽出的平坦像素块所包含的像素的像素值，计算背景代表色；

前景像素块判定单元，其将该背景代表色算出单元计算出的背景代表色与像素块的像素值进行比较，判定该像素块是否为构成图像的前景的前景像素块，并且利用判定为是前景像素块的像素块制作前景像素块掩模；和

前景代表色算出单元，其基于该前景像素块判定单元判定的前景像素块所包含的像素的像素值，计算前景代表色，

所述布局分析处理部具有：

前景区域抽出单元，其基于所述前景像素块判定单元制作的前景像素块掩模，抽出前景像素块连续的前景区域，制作所抽出的前景区域的前景信息；

前景区域间距离方向算出单元，其对该前景区域抽出单元抽出的多个前景区域间的距离和方向进行计算；和

字符串区域抽出单元，其根据该前景区域间距离方向算出单元计算出的距离和方向，抽出由多个前景区域构成的字符串的区域，

所述前景像素抽出处理部，根据所述背景代表色、所述前景代表色和所述字符串区域抽出单元抽出的字符串区域，从图像数据中抽出前景像素。

本发明也可以采用如下方式：上述图像处理装置还具备：

线抽出单元，其基于所述前景像素块判定单元制作的前景像素块掩模，将前景像素在图像数据的图像中在水平方向或垂直方向上呈直线状连续的线(即，行或列)抽出；和

前景像素块掩模修正单元，其进行从所述前景像素块掩模中将构成所述线抽出单元抽出的线的像素块排除在外的修正，其中，

所述布局分析处理部和所述前景像素抽出处理部使用所述前景像素块掩模修正单元修正后的前景像素块掩模进行处理。

在本发明中，在从所输入的图像数据中抽出构成图像前景的前景像素块时，利用所算出的背景代表色及从前景像素块计算出的前景代表色，进行前景像素的抽出，通过采用上述这样的结构，能够高效地从输入图像数据进行前景像素的抽出。另外，通过采用从输入图像数据中抽出字符串(即，文字列)区域而进行前景像素的抽出的结构，能够以字符串区域单位进行例如色彩信息的量化(索引(index)化)等，因此能够以字符串区域单位对前景代表色等色彩信息进行处理，不会以过(多)分割输入图像数据的区域单位(例如，像素块单位)对色彩信息进行处理，能够以良好的精度进行前景像素的抽出。

另外，在本发明中，进行从输入图像数据中抽出线且从前景像素块掩模中将构成线(前景像素沿水平方向或垂直方向呈直线状连续的区域)的像素块除去(排除在外)的修正(校正)，通过采用这样的结构，能够从前景像素的抽出对象中将线排除在外，因此作为前景像素，能够仅处理字符，在对输入图像数据进行压缩的情况下，能够提高压缩率。另外，由于线作为背景来处理，因此能够抑制粗糙(shaggy)等的发生，能够实现画质提高。另外，通过抽出线，能够检测图像中的表，能够抽出表中的字符串，因此能够提高字符串区域的抽出精度。

另外，在本发明中，将输入图像数据分割为规定尺寸(大小)的像素块，判定(判断)各像素块是否为平坦像素块。此时，将判定为不是平坦像素块的像素块进一步分割为更小尺寸的像素块，进一步判定所分割的像素块是否为平坦像素块。这样，反复(重复)进行像素块的分割和是否为平坦像素块的判定，直到像素块的尺寸达到规定尺寸，以最终的判定结果为平坦像素块的抽出结果。由此，能够在参照输入图像数据的从广域的区域到局部的区域的同时，进行前景像素块的抽出及前景代表色的计算(算出)等处理，因此能够高精度地计算背景代表色及前景代表色等。

另外，在本发明中，根据前景区域间的距离及连续数，推定水平方向或垂直方向的字符串方向，将在所推定的方向上连续的前景区域统一(统合)，作为字符串区域抽出。由此，能够高精度地从输入图像数据进行字符串区域的抽出。

另外，在本发明中，将与字符串区域的前景代表色及背景代表色的差值分别满足规定条件的像素作为前景像素抽出。由此，能够以良好的精度从基于前景代表色及背景代表色的输入图像数据进行前景像素的抽出。

另外，在本发明中，在以页单位(即，以页面为单位)输入图像数据的情况下，通过以输入图像数据的页单位将字符串区域的前景代表色统一，能够降低前景图像的色彩数，在将色彩信息索引化时，能够降低索引数。

另外，在本发明中，分别以不同的方式对从输入图像数据中抽出的前景像素的数据(前景层)和其以外的数据(背景层)进行压缩。由此，能够提高输入图像数据的压缩率。

在本发明的情况下，根据在从输入图像数据中抽出前景像素块时算出的背景代表色、从前景像素块计算出的前景代表色及以这些代表色为基础从输入图像数据中抽出的字符串区域，进行前景像素的抽出，通过采用这样的结构，能够高效地进行前景像素的抽出，并且能够以字符串区域单位对色彩信息进行处理，因此能够以良好的精度进行前景像素的抽出。因而，能够以良好的精度对具有复杂布局的图像进行前景像素的抽出，能够以良好的精度将图像分离为前景层及背景层，从而以最佳的压缩方式对各图像进行压缩，因此能够提高图像的压缩率。

附图说明

图1是表示本发明的MFP的结构的框图。

图2是表示图像处理装置的压缩处理部的结构的框图。

图3是表示前景抽出处理部的结构的框图。

图4是表示平坦像素块抽出处理部的结构的框图。

图5(a)-(f)是用于说明初始平坦像素块抽出处理部进行的处理的示意图。

图6(a)和(b)是用于说明水平方向连结平坦像素块抽出处理部进行的处理的示意图。

图7(a)和(b)是用于说明垂直方向连结平坦像素块抽出处理部进行的处理的示意图。

图8是用于说明块库平坦像素块抽出处理部进行的处理的示意图。

图9是用于说明向上采样处理部进行的处理的示意图。

图10(a)-(d)是用于说明前景像素块抽出处理部进行的处理的示意图。

图11是表示线检测处理部的结构的框图。

图12是用于说明水平线候补抽出处理部进行的处理的示意图。

图13是用于说明线候补结合处理部进行的处理的示意图。

图14是用于说明线分布判定处理部进行的处理的示意图。

图15是用于说明线最终判定处理部进行的处理的示意图。

图16是表示水平线候补抽出处理部进行的处理的顺序的流程图。

图17是用于说明水平线候补抽出处理部对线候补附加标记的情况的示意图。

图18是表示线分布判定处理部进行的处理的顺序的流程图。

图19是表示线最终判定处理部进行的处理的顺序的流程图。

图20是用于对水平方向和垂直方向的线候补的连接判定进行说明的示意图。

图21是表示布局分析处理部的结构的框图。

图22是表示标示(labeling)处理部进行的处理的顺序的流程图。

图23是用于说明标示处理部进行的处理的示意图。

图24是表示标示处理部的处理的一个例子的示意图。

图25是用于说明附近矩形间距离算出处理部进行的处理的示意图。

图26是表示附近矩形间距离算出处理部进行的处理的顺序的流程图。

图27是表示字符串方向推定处理部进行的处理的顺序的流程图。

图28是表示字符串方向推定处理部进行的处理的一个例子的示意图。

图29是表示字符串方向修正处理部进行的处理的顺序的流程图。

图30是表示字符串方向修正处理部进行的处理的一个例子的示意图。

图31是表示字符串区域抽出处理部进行的处理的顺序的流程图。

图32是表示字符串区域抽出处理部进行的处理的顺序的流程图。

图33是表示字符串区域抽出处理部进行的处理的顺序的流程图。

图34是表示字符串区域抽出处理部进行的处理的顺序的流程图。

图35是表示字符串区域抽出处理部进行的处理的一个例子的示意图。

图36是表示前景层生成处理部的结构的框图。

图37是用于对前景层生成处理部的处理的概要进行说明的示意图。

图38就用于对像素块前景代表色的量化进行说明的示意图。

图39是表示前景代表色统一处理部的结构的框图。

图40是表示前景代表色统一处理部进行的处理的顺序的流程图。

图41是表示色差直方图的一个例子的示意图。

图42是用于说明背景层生成处理部进行的处理的示意图。

图43是表示背景层生成处理部进行的处理的顺序的流程图。

图44是表示压缩处理部进行的处理的顺序的流程图。

图45是表示压缩处理部进行的处理的顺序的流程图。

图46是表示压缩处理部进行的处理的顺序的流程图。

图47是表示压缩处理部进行的处理的顺序的流程图。

图48是表示压缩处理部进行的处理的顺序的流程图。

图49是表示变形例1的布局分析处理部的结构的框图。

图50是表示变形例1的压缩处理部进行的处理的顺序的流程图。

图51是表示变形例1的压缩处理部进行的处理的顺序的流程图。

图52是表示变形例2的平坦像素块抽出处理部的结构的框图。

附图标记的说明

11图像输入装置

12图像输出装置

13信息发送装置

15操作面板

20图像处理装置

30压缩处理部

31存储部

50色彩转换处理部

51前景抽出处理部

52线检测处理部(线抽出单元、前景像素块掩模修正单元)

53、53a  布局分析处理部

54前景层生成处理部(前景像素抽出处理部)

55背景层生成处理部

56图像压缩部

61、61a  平坦像素块抽出处理部(平坦像素块抽出单元)

62背景代表色算出处理部(背景代表色算出单元)

63前景像素块抽出处理部(前景像素块判定单元)

64前景代表色算出处理部(前景代表色算出单元)

71初始平坦像素块抽出处理部

72水平方向连结平坦像素块抽出处理部

73垂直方向连结平坦像素块抽出处理部

74块库平坦像素块抽出处理部

75向上采样(upsampling，上采样)处理部

81水平线候补抽出处理部

82垂直线候补抽出处理部

83线候补结合处理部

84线分布判定处理部

85线最终判定处理部

91标示处理部(前景区域抽出单元)

92非字符矩形去除处理部

93表内矩形特定处理部

94附近矩形间距离算出处理部(前景区域间距离方向算出单元)

95字符串方向推定处理部(字符串方向推定单元)

96字符串方向修正处理部

97字符串区域抽出处理部(字符串区域抽出单元)

98非字符串区域去除处理部

101前景区域前景代表色算出处理部

102字符串区域前景代表色算出处理部

103前景代表色统一处理部

104前景像素掩模抽出处理部

105二值图像生成处理部

111索引数判定处理部

112色差直方图生成处理部

113索引统一处理部

具体实施方式

以下，基于表示其实施方式的附图对本发明进行具体说明。另外，在本实施方式中，以数字彩色复合机(以下，称为MFP(MultiFunctionPeripheral))为例进行说明。另外，MFP具有彩色复印功能、彩色打印功能及彩色扫描功能等各种功能，但本发明的技术能够应用于进行将通过读取彩色原稿而得到的彩色图像压缩的处理的情况等，例如适合于MFP的彩色复印功能及彩色扫描功能。此外，在MFP的彩色扫描功能中包括将读取彩色原稿而得到的彩色图像数据压缩并向其它装置发送的数据发送功能和将彩色图像数据压缩并存储在MFP内部的存储器等的保存功能等，但本发明的技术能够应用于进行这些功能的图像数据的压缩处理的情况。

图1是表示本发明的MFP的结构的框图。本发明的MFP包括图像输入装置11、图像输出装置12、信息发送装置13、操作面板15和图像处理装置20等。操作面板15具有设定MFP的动作模式等的设定按钮和数字键(0～9的数字键)、受理处理的开始指示等的开始键以及电源键和各种功能键等种种硬键。此外，操作面板15具有显示MFP的动作状态、对用户的警告信息和辅助用户的操作的各种菜单等的显示器。另外，也可以采用在显示器上设置触摸面板的结构来代替受理用户的操作的硬键。操作面板15将所受理的指示或设定等提供给图像输入装置11、图像输出装置12、信息发送装置13和图像处理装置20，由此，各装置能够进行与所受理的指示或设定等相应的处理。

图像输入装置11由扫描装置构成，该扫描装置具备并列设置有向原稿照射光的光源和CCD(Charge Coupled Device：电荷耦合器件)等图像传感器的光接收部等。图像输入装置11从光源向原稿照射光，将来自原稿的反射光分解为R(红色)G(绿色)B(蓝色)三个色彩(颜色)成分，由光接收部读取，作为RGB模拟信号提供给图像处理装置20。

图像处理装置20具备A/D转换部21、阴影(shading：黑点或斑点)修正部22、输入灰度等级修正部23、区域分离处理部24、色彩修正部25、黑色生成底色去除部26、空间滤波处理部27、输出灰度等级修正部28、灰度等级再现处理部29、压缩处理部30和存储部31等。从图像输入装置11输入的RGB模拟信号由图像处理装置20的A/D转换部21～灰度等级再现处理部29各部实施图像处理并输出给图像输出装置12，或者由图像处理装置20的A/D转换部21～区域分离处理部24、压缩处理部30各部实施图像处理并输出给信息发送装置13。

A/D转换部21是将由图像输入装置11提供的RGB模拟信号例如转换为各8位(比特)数字的图像数据的部件，将所转换的RGB图像数据提供(施加)给阴影修正部22。阴影修正部22对由A/D转换部21提供的RGB图像数据进行消除图像输入装置11的照明系统、成像系统和摄像系统等中产生的各种变形的阴影处理，将阴影处理后的RGB图像数据提供给输入灰度等级修正部23。

输入灰度等级修正部23对由阴影修正部22消除变形后的RGB图像数据(RGB的反射率信号)进行彩色平衡的调整和对比度的调整等处理，且转换为浓度信号，并将处理后的RGB图像数据提供给区域分离处理部24。

区域分离处理部24通过对由输入灰度等级修正部23提供的RGB图像数据的图像的各像素是属于由字符构成的字符区域、由网点图像构成的网点区域或由照片构成的照相区域中的哪个区域的像素进行判定，从而分离各像素。区域分离处理部24将作为处理结果表示各像素属于哪个区域的信息作为区域分离信号提供给黑色生成底色去除部26、空间滤波处理部27和灰度等级再现处理部29，并且将由输入灰度等级修正部23提供的RGB图像数据直接提供给色彩修正部25和压缩处理部30。

色彩修正部25将由区域分离处理部24提供的RGB图像数据转换为C(青色(cyan))M(品红色)Y(黄色)的色彩空间的图像数据，并且为了图像输出装置12的色彩再现的忠实实现而对CMY的各色彩成分进行色彩修正处理。具体而言，色彩修正处理是从CMY的各色彩成分中消除基于分别含有无用(无效)吸收成分的CMY调色剂或墨液等的光谱特性(分光特性)的色彩浑浊的处理。色彩修正部25将所转换的CMY图像数据提供给黑色生成底色去除部26。

黑色生成底色去除部26，根据由区域分离处理部24提供的区域分离信号和由色彩修正部25提供的CMY图像数据的各色彩成分，进行生成K(黑色)色彩成分的黑色生成处理，并且进行从原来的CMY各色彩成分减去由黑色生成处理生成的K成分而生成新的CMY图像数据的处理。由此，由色彩修正部25提供的CMY图像数据被转换为具有CMYK四个色彩成分的图像数据。

例如，在通过骨架黑(skeleton black technique：骨架黑版技术)进行黑色生成处理的情况下，当设骨架线(skeleton curve：骨架曲线)的输入输出特性为y＝f(x)、设所输入的图像的像素值为C、M、Y、设所输出的像素值为C′、M′、Y′、K′、设UCR(Under Color Removal，底色去除)率为α(0＜α＜1)时，黑色生成底色去除处理由以下的公式表示。通过黑色生成底色去除部26的黑色生成底色去除处理而转换得到的CMYK图像数据被提供给空间滤波处理部27。

K′＝f{min C、M、Y)}

C′＝C-αK′

M′＝M-αK′

Y′＝Y-αK′

空间滤波处理部27，根据由区域分离处理部24提供的区域分离信号，对于由黑色生成底色去除部26提供的CMYK图像数据的图像，利用数字滤波进行空间滤波处理。由此，图像的空间频率特性得到修正，防止在图像输出装置12输出的图像产生模糊或粒状性劣化等。由空间滤波处理部27实施空间滤波处理后的图像的CMYK图像数据，在由输出灰度等级修正部28基于图像输出装置12的输出特性实施输出灰度等级修正处理后，被提供给灰度等级再现处理部29。

灰度等级再现处理部29，根据由区域分离处理部24提供的区域分离信号，对由输出灰度等级修正部28提供的CMYK图像数据进行灰度等级再现处理。灰度等级再现处理是将图像数据的图像分类为多个像素而能够再现中间灰度的处理，能够使用二值或多值的抖动法(dithering technique)或误差扩散法等。

例如，在由区域分离处理部24分离为字符区域的区域，空间滤波处理部27以特别地提高黑色字符或彩色字符的再现性为目的实施增强清晰的滤波处理，增强高频成分。

此外，例如在由区域分离处理部24分离为网点区域的区域，空间滤波处理部27实施低通滤波处理，除去输入网点成分。

此外，例如，在由区域分离处理部24分离为照相区域的区域，灰度等级再现处理部29实施重视图像输出装置12的灰度等级再现性的屏幕的二值化处理或多值化处理。

被灰度等级再现处理部29实施处理后的CMYK图像数据临时存储在未图示的图像存储器等存储单元，然后，与图像形成的定时一致地被从存储单元读出并提供给图像输出装置12。图像输出装置12是将被提供(施加)的图像数据的图像输出至纸等记录介质上的装置，是电子照相方式或喷墨方式等的打印机。例如，在电子照相方式的情况下，图像输出装置12具备：使感光鼓(感光体鼓)带电至规定的电位的带电器；根据被提供的图像信号发出激光，在感光鼓表面生成静电潜影的激光写入器；对在感光鼓表面生成的静电潜影供给调色剂而显像化的显影器及将形成于感光鼓表面的调色剂像转印在纸上的转印器等。另外，图像输出装置12也可以是显示器等显示装置。

图像处理装置20的压缩处理部30对由区域分离处理部24提供的RGB图像数据进行降低数据量的压缩处理，将压缩后的图像数据存储至存储部31。存储部31由硬盘或闪存存储器等大容量的存储元件构成，存储在存储部31的图像数据被提供给信息发送装置13。

信息发送装置13具有网卡或调制解调器等一个或多个通信用硬件，通过这些通信单元，向其它装置进行图像数据的发送。例如，在MFP的动作模式通过操作面板15被设定为电子邮件发送的情况下，信息发送装置13将存储在存储部31的图像数据添加到电子邮件发送给预先设定的收件人。此外，例如，在进行传真通信的情况下，信息发送装置13在利用调制解调器进行与指定的对象(对方)的信息发送手续、确保能够进行信息发送的状态之后，将由图像输入装置11读取并以规定的形式压缩后的图像数据从存储部31读出，实施压缩形式的变更等传真通信所需的处理，然后经由通信线路依次发送给对象。

此外，虽然省略图示，但是信息发送装置13也可以具有作为信息接收装置的功能，该信息接收装置从其它装置接收通过传真通信发送的图像数据。在这种情况下，信息发送装置13进行通信手续，并且接收由对象发送的图像数据，提供给图像处理装置20。图像处理装置20对接收到的图像数据实施扩展处理，并根据需要对扩展后的图像数据实施旋转处理或清晰度转换处理等图像处理，实施由输出灰度等级修正部28进行的灰度等级修正处理和由灰度等级再现处理部29进行的灰度等级再现处理，并向图像输出装置12输出。由此，形成并输出由信息发送装置13通过传真通信接收到的图像数据的图像。

此外，信息发送装置13能够通过网卡和网线等，在与和LAN(LocalArea Network：局域网)等网络连接的其它计算机或MFP等具有通信功能的装置之间进行数据通信。由此，MFP能够将由图像输入装置11读取的图像数据提供给其它装置保存，能够将由其它装置提供的图像数据从图像输出装置12输出。

另外，上述的图像形成处理和图像发送处理等各种处理，通过由装载在MFP的未图示的CPU(Central Processing Unit：中央处理器)控制各部来进行。

压缩处理部30将由图像输入装置11提供并由A/D转换部21～区域分离处理部24实施种种图像处理后的输入图像数据分离为：包括字符及线条画等的前景层；和由字符及线条画以外的图像构成的背景层。压缩处理部30对从输入图像数据分离而得到的前景层，先将其像素色索引化，最终利用JBIG、MMR或LZW等可逆压缩技术进行压缩处理。此外，压缩处理部30利用JPEG等不可逆(非可逆)压缩技术对背景层进行压缩处理。

此外，压缩处理部30将前景层的各像素分解为转换成1位数据的多个掩模和各掩模的色彩信息，并利用可逆压缩技术对各掩模进行压缩，利用可逆压缩技术或不可逆压缩技术对各掩模的色彩信息进行压缩。由此，与将具有多位像素值的前景层直接压缩的情况相比，能够提高压缩率。

图2是表示图像处理装置20的压缩处理部30的结构的框图。压缩处理部30包括色彩转换(即颜色转换)处理部50、前景抽出处理部51、线检测处理部52、布局分析处理部53、前景层生成处理部54、背景层生成处理部55和图像压缩部56等。

色彩转换处理部50将输入到压缩处理部30的RGB图像数据(输入图像)转换为YCbCr图像数据输出。色彩转换处理部50例如能够通过使用下述的矩阵运算式，进行图像数据的色彩空间的转换。另外，压缩处理部30也可以不进行色彩转换处理部50的转换，而使用RGB图像数据进行后级的处理，此外，例如也可以转换为L＊a＊b＊的色彩空间的图像数据，进行后级的处理。

【数学式1】

$\left(\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right)=\left(\begin{array}{ccc}0.29891& 0.58661& 0.11448\\ -0.16874& -0.33126& 0.50000\\ 0.50000& -0.41869& -0.08131\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)+\left(\begin{array}{c}0\\ 128\\ 128\end{array}\right)$

前景抽出处理部51将由色彩转换处理部50提供的图像数据分割为多个像素块，以像素块单位(即，以像素块为单位)抽出输入图像数据的背景的代表色(像素块背景代表色)，并将所抽出的像素块背景代表色与输入图像数据进行比较，由此，生成表示输入图像数据的各像素块是否为相当于前景的像素块(前景像素块)的掩模信息(前景像素块掩模)，并且计算出各像素块的前景的代表色(像素块前景代表色)。前景抽出处理部51生成及计算出的前景像素块掩模、像素块前景代表色和像素块背景代表色被提供给线检测处理部52和背景层生成处理部55。(详细情况参照后述的(1)前景抽出处理部51。)

线检测处理部52基于前景抽出处理部51输出的前景像素块掩模，对输入图像数据所包含的形成水平线、垂直线或表等的线进行检测，将检测结果作为线信息输出给布局分析处理部53。此外，线检测处理部52基于线的检测结果，进行从前景像素块掩模除去线部分的修正，并将修正后的前景像素块掩模输出。(详细情况参照后述的(2)线检测处理部52。)

布局分析处理部53基于前景抽出处理部51输出的前景像素块掩模和线检测处理部52输出的线信息，生成输入图像数据所包含的字符串区域的信息(字符串区域信息)，并输出给前景层生成处理部54。(详细情况参照后述的(3)布局分析处理部53。)

前景层生成处理部54使用输入图像数据、前景抽出处理部51输出的像素块背景代表色和像素块前景代表色、由线检测处理部52修正后的前景像素块掩模、以及布局分析处理部53输出的字符串区域信息，生成表示输入图像数据的各像素是否为前景像素的前景像素掩模、以及将前景像素的色彩索引化而得到的前景所引色信息，基于所生成的前景像素掩模和前景所引色信息，制作与各前景所引色对应的二值图像(前景层)和存储该前景所引色的信息的图表。(详细情况参照后述的(4)前景层生成处理部54。)

背景层生成处理部55是用于生成从输入图像数据除去前景像素而得到的背景层的处理部，进行如下的处理：使用不是前景像素的、周边的背景像素，填补输入图像数据的前景像素的部分。详细而言，背景层生成处理部55通过参照前景层生成处理部54输出的前景层，搜索输入图像数据的相当于前景像素的部分，使用该存在于周边的背景像素的像素值(或背景像素的平均值等)对相当于前景像素的部分进行填补处理，由此生成背景层。此时，背景层生成处理部55在前景像素部分的附近不存在背景像素的情况下，也可以借用(挪用)附近的用于填补处理的像素值进行填补处理。或者，也可以使用前景抽出处理部51输出的像素块前景代表色进行填补处理(在这种情况下，也可以采用如下结构：仅在前景抽出处理部51输出的像素块前景代表色与周边的背景像素的像素值之间的差小时，使用像素块前景代表色进行填补处理)。通过背景层生成处理部55进行相当于前景像素的部分的填补处理，能够提高背景层的压缩率。(详细情况参照后述的(5)背景层生成处理部55。)

图像压缩部56对前景层生成处理部54生成的前景层和背景层生成处理部55生成的背景层分别实施适当的压缩处理，由此进行降低图像数据的数据量的处理。图像压缩部56例如利用可逆压缩方式的MMR对前景层进行压缩，例如利用不可逆压缩方式的JPEG对背景层进行压缩。另外，MMR和JPEG等压缩方式是已知的技术，因此省略详细的说明。此外，图像压缩部56除了进行前景层和背景层的压缩之外，还进行存储有前景索引色的信息的表的压缩。

如上所述，压缩处理部30将图像压缩部56分别对前景层和背景层进行压缩后的图像数据输出。由压缩处理部30压缩后的图像数据存储在图像处理装置20的存储部31，由信息发送装置13通过电子邮件或传真通信等方法发送到其它装置。

接着，对压缩处理部30的各部进行的处理的详细情况进行说明。

(1)前景抽出处理部51

图3是表示前景抽出处理部51的结构的框图。图4是表示平坦像素块抽出处理部61的结构的框图。前景抽出处理部51进行从输入图像数据生成前景像素块掩模的图像处理以及计算像素块前景代表色和像素块背景代表色的图像处理。为了进行该处理，前景抽出处理部51具备平坦像素块抽出处理部61、背景代表色算出处理部62、前景像素块抽出处理部63和前景代表色算出处理部64。

前景抽出处理部51的平坦像素块抽出处理部61，将输入图像数据分割为规定尺寸的像素块(图像区域)，从图像数据中的多个像素块中，将像素块所包含的像素间的像素值之差小于规定值的像素块分类为平坦像素块(平坦区域)，并且将平坦像素块以外的像素块分类为前景像素块(变化区域)，由此进行抽出前景像素块的处理。为了进行该处理，平坦像素块抽出处理部61具备初始平坦像素块抽出处理部71、水平方向连结平坦像素块抽出处理部72、垂直方向连结平坦像素块抽出处理部73、块库(block base)平坦像素块抽出处理部74和向上采样处理部75。

初始平坦像素块抽出处理部71进行如下的处理：调查像素块内的各像素的像素值，计算最大像素值与最小像素值之间的差(值)，将该差小于规定值的像素块作为平坦像素块的候补(以下，称为平坦像素块候补)抽出。初始平坦像素块抽出处理部71将所抽出的平坦像素块候补依次提供给水平方向连结平坦像素块抽出处理部72～块库平坦像素块抽出处理部74。

水平方向连结平坦像素块抽出处理部72检索在输入图像数据的水平方向接近(连续)的多个平坦像素块候补，计算多个平坦像素块候补的接近数，在计算出的接近数超过规定值的情况下，将这些接近的多个平坦像素块候补判定为是平坦像素块。

同样，垂直方向连结平坦像素块抽出处理部73检索在输入图像数据的垂直方向接近的多个平坦像素块候补，计算多个平坦像素块候补的接近数，在计算出的接近数超过规定值的情况下，将这些接近的多个平坦像素块候补判定为是平坦像素块。

块库平坦像素块抽出处理部74，针对输入图像数据的各像素块，调查其周围的像素块是否为平坦像素块或平坦像素块候补，将周围存在规定数以上的平坦像素块或平坦像素块候补的像素块判定为是平坦像素块。

其中，平坦像素块抽出处理部61首先进行由初始平坦像素块抽出处理部71进行的平坦像素块候补的抽出处理，然后重复进行由水平方向连结平坦像素块抽出处理部72、垂直方向连结平坦像素块抽出处理部73和块库平坦像素块抽出处理部74进行的平坦像素块的抽出处理。

例如，平坦像素块抽出处理部61将输入图像数据分割为尺寸为16像素×16像素的像素块(以下，简称为16×16像素块)，由初始平坦像素块抽出处理部71判定各16×16像素块是否为平坦像素块候补，然后，分别由水平方向连结平坦像素块抽出处理部72、垂直方向连结平坦像素块抽出处理部73和块库平坦像素块抽出处理部74判定平坦像素块候补是否为平坦像素块。

然后，平坦像素块抽出处理部61，由向上采样处理部75将判定为是平坦像素块的16×16像素块进一步分割为尺寸更小的像素块，例如分割为8像素×8像素的像素块(以下，简称为8×8像素块)，分别由水平方向连结平坦像素块抽出处理部72、垂直方向连结平坦像素块抽出处理部73和块库平坦像素块抽出处理部74判定各8×8像素块是否为平坦像素块。这样，平坦像素块抽出处理部61重复进行输入图像数据的分割和平坦像素块的抽出处理至像素块的尺寸达到预定的规定尺寸(例如4像素×4像素的像素块)为止，最终将在各判定处理中即使仅一次判定为是平坦像素块的像素块分类为平坦像素块，将其以外的像素块分类为前景像素块。

图5A-5F是用于说明初始平坦像素块抽出处理部71进行的处理的示意图，表示将输入图像数据分割为16×16像素块，且判定各16×16像素块是否为平坦像素块候补的例子。初始平坦像素块抽出处理部71例如在图5A所示那样将输入图像数据中的一个16×16像素块作为处理对象的情况下，使用图5B～图5F所示的多个图案设定32像素×32像素的判定区域，基于各判定区域是否平坦来判定处理对象16×16像素块是否为平坦像素块候补。此时，初始平坦像素块抽出处理部71能够根据各判定区域内的最大像素值和最小像素值的差是否为规定值(例如32)以下，判定32像素×32像素的各判定区域是否平坦。初始平坦像素块抽出处理部71在判定为所有图案的判定区域平坦的情况下，将处理对象16×16像素块判定为是平坦像素块候补。初始平坦像素块抽出处理部71对输入图像数据的所有16×16像素块进行同样的处理，抽出输入图像数据中的所有平坦像素块候补。

图6A和6B是用于说明水平方向连结平坦像素块抽出处理部72进行的处理的示意图。水平方向连结平坦像素块抽出处理部72在输入图像数据的水平方向对平坦像素块候补连续的数量进行计数(统计)(参照图6A)，在平坦像素块候补的连续数为规定数以上的情况下，判定为这些连续的多个平坦像素块候补是平坦像素块。

其中，水平方向连结平坦像素块抽出处理部72在对水平方向上的平坦像素块候补的连续数进行计数时，允许平坦像素块在规定范围内的中断。水平方向连结平坦像素块抽出处理部72沿水平方向依次对平坦像素块候补的连续数进行计数，即使在发现不是平坦像素块候补的像素块的情况下，在不是平坦像素块候补的像素块的连续数(即，平坦像素块候补的中断数)比在此时的平坦像素块候补的连续数乘以规定数(例如0.3)而得的值少(小)时，也看作平坦像素块候补在水平方向连续，继续进行计数。

例如，如图6B所示，在水平方向连结平坦像素块抽出处理部72在水平方向上连续有五个平坦像素块候补之后发现不是平坦像素块候补的像素块(带阴影的块)的情况下，此时的连续数为5，在连续数乘以作为规定数的0.3而得的值为1.5，因此不是平坦像素块候补的像素块的连续数少于该值。因而，水平方向连结平坦像素块抽出处理部72允许如图所示的平坦像素块候补的中断，继续进行向水平方向连续的连续数的统计。由此，例如，即使是在图像中画有表等、平坦的图像区域在构成表的框等的线段出现中断那样的情况下，也能够将这些区域作为平坦的区域来处理，能够进行精度良好的平坦像素块的抽出。

图7A和7B是用于说明垂直方向连结平坦像素块抽出处理部73进行的处理的示意图。垂直方向连结平坦像素块抽出处理部73在输入图像数据的垂直方向对平坦像素块候补连续的数进行计数(参照图7A)，在平坦像素块候补的连续数为规定数以上的情况下，判定为这些连续的多个平坦像素块候补是平坦像素块。

其中，垂直方向连结平坦像素块抽出处理部73在对垂直方向上的平坦像素块候补的连续数进行计数时，允许平坦像素块在规定范围内的中断。垂直方向连结平坦像素块抽出处理部73沿垂直方向依次对平坦像素块候补的连续数进行计数，即使发现不是平坦像素块候补的像素块的情况下，在不是平坦像素块候补的像素块的连续数(即，平坦像素块候补的中断数)比在该时刻的平坦像素块候补的连续数乘以规定数(例如0.3)而得的值少时，也看作平坦像素块候补在垂直方向上连续，继续进行统计。

例如，如图7B所示，在垂直方向连结平坦像素块抽出处理部73在垂直方向上连续有五个平坦像素块候补之后发现不是平坦像素块候补的像素块(带阴影的块)的情况下，由于该时刻的连续数为5，在连续数乘以作为规定数的0.3而得的值为1.5，因此不是平坦像素块候补的像素块的连续数少于该值。因而，垂直方向连结平坦像素块抽出处理部73允许如图所示的平坦像素块候补的中断，继续进行向垂直方向连续的连续数的统计。由此，例如，即使是在图像中画有表等、平坦的图像区域在构成表的框等的线段出现中断那样的情况下，也能够将这些区域作为平坦的区域来处理，能够进行精度良好的平坦像素块的抽出。

图8是用于说明块库平坦像素块抽出处理部74进行的处理的示意图。块库平坦像素块抽出处理部74令作为平坦像素块候补抽出的像素块为关注像素块(图8中带阴影的块)，计算关注像素块的像素值的平均值(像素平均值)，并且对存在于关注像素块的周围8方向(参照图8的箭头)的像素块分别计算各像素块像素平均值。基于这些计算的计算结果，块库平坦像素块抽出处理部74选择具有最接近关注像素块的像素平均值的像素平均值的像素块，判定像素平均值的差是否小于规定值。在关注像素块与周围的像素块之间的像素值平均值之差小于规定值的情况下，能够判断为两像素块是属于局部的(也可以为全局的)同一背景的像素块，因此块库平坦像素块抽出处理部74将属于同一背景的像素块形成为组。块库平坦像素块抽出处理部74对于对输入图像数据所包含的所有平坦像素块候补进行同样的处理而得到的一个或多个组，判定属于各组的像素块的数量是否超过规定数，将属于超过规定数的组的像素块作为平坦像素块抽出。

图9是用于说明向上采样处理部75进行的处理的示意图。向上采样处理部75对水平方向连结平坦像素块抽出处理部72～块库平坦像素块抽出处理部74的处理结束后的输入图像数据进行变更像素块的分割尺寸的处理。例如，如图9所示，在输入图像数据被分割为8×8像素块的情况下，向上采样处理部75将一个8×8像素块分割为四个4×4像素块。向上采样处理部75将变更分割尺寸后的输入图像数据提供给水平方向连结平坦像素块抽出处理部72，水平方向连结平坦像素块抽出处理部72～块库平坦像素块抽出处理部74对变更分割尺寸后的输入图像数据重复进行同样的处理。这样，通过变更像素块的尺寸并重复进行平坦像素块的抽出，能够提高平坦像素块的抽出精度。

平坦像素块抽出处理部61从输入图像数据抽出平坦像素块的抽出结果被提供给背景代表色算出处理部62、前景像素块抽出处理部63和前景代表色算出处理部64。

背景代表色算出处理部62按平坦像素块抽出处理部61抽出的每个平坦像素块计算平均像素值，将计算出的每个像素块的平均像素值作为像素块背景代表色输出。

前景像素块抽出处理部63对将输入图像数据分割为规定尺寸而得到的像素块的像素值与背景代表色算出处理部62计算出的像素块背景代表色(各平坦像素块的平均像素值)进行比较，在两值的差大于规定值的情况下，将该像素块作为前景像素块抽出。作为前景像素块抽出的像素块的尺寸，根据输入数据的清晰度等预先设定为能够抽出前景像素的大小，例如，在输入图像数据的清晰度为300dpi的情况下，能够将像素块的尺寸设定为2像素×2像素。

图10A-10D是用于说明前景像素块抽出处理部63进行的处理的示意图。另外，本图表示如下的例子：平坦像素块抽出处理部61以4×4像素块单位进行平坦像素块的抽出，背景代表色算出处理部62进行4×4像素块单位的像素块背景代表色的计算，前景像素块抽出处理部63进行2像素×2像素的像素块(以下，称为2×2像素块)单位的前景像素块的抽出。如图10A～D所示，平坦像素块和像素块背景代表色的4×4像素块(图10A-10D中以细实线划分的区域)与前景像素块的2×2像素块(图10A-10D中带阴影的区域)之间的对应关系为四种。即，2×2像素块对应于4×4像素块的左上、右上、左下或右下中的任一位置。

前景像素块抽出处理部63根据处理对象2×2像素块的位置，针对周围的四个4×4像素块(图10A-10D中以粗实线围成的区域)分别取得像素块背景代表色，判定2×2像素块的像素值(既可以分别个别地使用四个像素值，也可以使用四个像素值的平均值)与四个像素块背景代表色之间的各个差是否大于规定值(例如80)。在判定的结果是2×2像素块的像素值与四个像素块背景代表色之间的差全部大于规定值的情况下，前景像素块抽出处理部63将该2×2像素块判定为是前景像素块。

前景像素块抽出处理部63对输入图像数据的所有2×2像素块进行上述的处理，从输入图像数据中抽出前景像素块，将所抽出的前景像素块作为前景像素块掩模输出。通过使用上述的方法进行前景像素块的抽出，能够避免将平坦像素块的边界作为前景像素块来检测。

前景代表色算出处理部64对将输入图像数据分割为规定尺寸而得到的像素块的像素值与背景代表色算出处理部62计算出的像素块背景代表色进行比较，将两值的差为最大的像素值作为该像素块的前景代表色来计算。例如在像素块背景代表色是按每4×4像素块计算出的背景代表色的情况下，前景代表色算出处理部64分别计算输入图像数据的4×4像素块所包含的各像素的像素值与该4×4像素块的像素块背景代表色之间的差，判定各个差是否大于规定值(例如96)，从差大于规定值的像素的像素值取得差为最大的像素值，将该像素值作为像素块前景代表色输出。由此，前景代表色算出处理部64能够通过简易的运算处理，进行像素块前景代表色的计算。

通过以上的处理，前景抽出处理部51能够进行前景像素块掩模、像素块前景代表色和像素块背景代表色的生成或计算，并将它们输出到线检测处理部52和背景层生成处理部55。

(2)线检测处理部52

图11是表示线检测处理部52的结构的框图。线检测处理部52使用由前景抽出处理部51生成的前景像素块掩模，进行输入图像中的水平线、垂直线和形成表等的线的检测处理。为了进行该处理，线检测处理部52具备水平线候补抽出处理部81、垂直线候补抽出处理部82、线候补结合处理部83、线分布判定处理部84及线最终判定处理部85。

图12是用于说明水平线候补抽出处理部81进行的处理的示意图。此外，在图12的上部，作为前景像素块掩模的一个例子，图示有表示输入图像数据的前景像素块的以实线围成的区域。水平线候补抽出处理部81基于前景像素块掩模找出在水平方向上连续规定数以上的多个前景像素块，令连续的一组前景像素块为水平线候补，进行对一个水平线候补附加一个标记的处理。在图12的下部表示如下的例子：相对于上部的例子，水平线候补抽出处理部81抽出两个水平线候补(带阴影的两个区域)，并分别附加标记。

虽然省略图示，但是垂直线候补抽出处理部82对输入图像数据的垂直方向进行与水平线候补抽出处理部81进行的上述的处理相同的处理。即，垂直线候补抽出处理部82基于前景像素块掩模找出在垂直方向上连续规定数以上的多个前景像素块，令连续的一组前景像素块为垂直线候补，进行对一个垂直线候补附加一个标记的处理。

图13是用于说明线候补结合处理部83进行的处理的示意图。另外，在图13的上部，作为水平线候补抽出处理部81的处理结果图示有分别对两个水平线候补加有标记的例子(即，与图12的下部相同的例子)。线候补结合处理部83，针对所抽出的水平线候补和垂直线候补，找出存在于输入图像数据的水平方向或垂直方向的同一线上且相互接近的多个线候补，令这多个线候补为一个线候补，将附加在各线候补的标记统一为一个标记，由此将线候补结合。图13的上部所示的两个水平线候补存在于水平方向的同一线上且相互接近，因此如图13的下部所示，能够统一标记，将水平线候补结合。

图14是用于说明线分布判定处理部84进行的处理的示意图，作为线候补结合处理部83的处理结果，将图13的下部所示的一个线候补放大表示。线分布判定处理部84取得线候补结合处理部83的结合处理结束的线信息，抽出附加有标记的各线候补的宽度(width)(如果是水平方向的线候补，则为垂直方向的像素数，如果是垂直方向的线候补，则为水平方向的像素数)的分布，基于抽出结果，进行各线候补是否为线的判定。线分布判定处理部84对线候补进行所抽出的宽度分布的调查，例如，对于具有极宽的部分的线候补，判断为不是线，将该线候补排除在外。这样，线分布判定处理部84基于线候补的宽度分布，进行将能够判断为不是线的线候补排除在外的处理。

图15是用于说明线最终判定处理部85进行的处理的示意图。线最终判定处理部85判定所抽出的水平方向的线候补和垂直方向的线候补是否连接，在相互连接的多个线候补的数量超过规定数的情况下，将这多个线候补识别为形成图像中的表(表格)的线，将它们以外的线候补识别为水平方向或垂直方向的单独的线。此外，线最终判定处理部85通过调查各线候补的线长是否超过规定长，进行形成表的线或单独线的识别。在图15中，分别以实线表示识别为水平单独线、垂直单独线及形成表的线的线，对在进行是否为形成表的线的判定时使用的线候补的连接点，以圆圈该连接点表示。这样，通过进行单独线和形成表的线的识别，能够在后级的处理中实施与图像数据的内容相应的适当的图像处理。

接着，根据流程图或数学式等对线检测处理部52的各处理部进行的处理的详细顺序进行说明。

图16是表示水平线候补抽出处理部81进行的处理的顺序的流程图。此外，在本处理中，使用变量x和y，这些变量表示图像数据中的像素块的水平方向和垂直方向的位置(坐标)，设图像的左上的点为(x，y)＝(0，0)，x的值在图像的水平向右的方向增加，y的值沿图像的垂直向下的方向增加。此外，在本处理中，为了存储水平方向的坐标x的值，使用变量minX和maxX。水平线候补抽出处理部81首先将变量y的值设定为0(步骤S1)，将变量x的值设定为0(步骤S2)。

接着，水平线候补抽出处理部81判定位于(x，y)的像素块是否为能够成为水平方向的线的起点的线候补(步骤S3)，在判定为能够成为线的的起点的情况下(S3：YES)，进行起点设定处理(步骤S4)。在起点设定处理中，水平线候补抽出处理部81将现在时刻的变量x的值(即，水平方向线的起点坐标)设定为变量minX。

起点设定处理：minX＝x。

此外，水平线候补抽出处理部81在判定(x，y)的像素块不能成为线的起点的情况下(S3：NO)，判定(x，y)的像素块是否为能够成为线的连续部分的线候补(即，之前相邻的像素块是线候补，(x，y)的像素块是不是与该线候补连续的线候补？)(步骤S5)。在判定为能够成为线的连续部分的情况下(S5：YES)，水平线候补抽出处理部81进行终点更新处理(步骤S6)。在终点更新处理中，水平线候补抽出处理部81将现在时刻的x的值(即，现在时刻的水平方向线的终点坐标)设定为变量maxX。

终点更新处理：maxX＝x。

此外，水平线候补抽出处理部81在判定(x，y)的像素块不能成为线的连续部分的情况下(S5：NO)，判定从变量minX和maxX的差计算的线长是否为规定值TH_MIN_RUNLENGTH(例如50)以上(步骤S7)。由步骤S7进行的线长判定由下式表示。

线长判定：(maxX-minX+1)≥TH_MIN_RUNLENGTH。

在线长为规定值以上的情况下(S7：YES)，水平线候补抽出处理部81将从起点minX至终点maxX的多个像素块作为线候补抽出，进行线信息更新处理(步骤S8)。线信息更新处理是对所抽出的线候补附加标记并且更新已经附加的标记的处理。水平线候补抽出处理部81找出位于所抽出的线候补的正上方的其它线候补，参照附加在这些其它线候补的标记对新抽出的线候补附加标记。此时，水平线候补抽出处理部81在存在一部分或所有的x坐标与从起点minX至终点maxX的坐标重合的正上方的线候补的情况下，将新抽出的线候补统一至正上方的线候补。

图17是用于说明水平线候补抽出处理部81对线候补附加标记的情况的示意图。水平线候补抽出处理部81在对新抽出的线候补附加标记的情况下，首先，作为与新的线候补重合的正上方线候补，找出附加有标记2的线候补，对新抽出的线候补附加标记2。接着，水平线候补抽出处理部81作为与新的线候补重合的正上方线候补找出附加有标记1的线候补。此时，由于已经对标记附加对象的线候补附加有标记2，因此水平线候补抽出处理部81将标记1和标记2统一。在标记的统一中，使值小的标记优先，通过将附加有标记2的线候补变更为标记1来进行，由此能够保持标记的值与副扫描坐标的相关。此外，在不存在重合在新抽出的线候补的正上方的其它线候补的情况下，水平线候补抽出处理部81对该线候补附加新的标记。

在步骤S4、S6或S8的处理结束后，或在步骤S7中线长小于规定值的情况下(S7：NO)，水平线候补抽出处理部81判定现在时刻的变量x的值是否达到最大值(水平方向的像素块数)(步骤S9)。在变量x未达到最大值的情况下(S9：NO)，水平线候补抽出处理部81在变量x的值上加1(步骤S10)，将处理返回到步骤S3，进行对水平方向的下一像素块的处理。在变量x达到最大值的情况下(S9：YES)，水平线候补抽出处理部81判定变量y的值是否达到最大值(垂直方向的像素块数)(步骤S11)。在变量y未达到最大值的情况下(S11：NO)，水平线候补抽出处理部81在变量y的值上加1(步骤S12)，将处理返回到步骤S2，进行对图像数据的下一级(下一段)开头的像素块的处理。在变量y达到最大值的情况下(S11：YES)，水平线候补抽出处理部81结束对图像数据的全部的像素块的处理，由此结束标记附加的处理。

通过以上的处理，水平线候补抽出处理部81能够进行水平方向的线候补的抽出和对所抽出的线候补的标记附加，将包含关于所抽出的线候补和附加在该线候补的标记的信息的线信息输出。

另外，垂直线候补抽出处理部82，通过代替水平方向、在垂直方向进行上述的水平线候补抽出处理部81进行的处理，能够进行垂直方向的线方向的抽出和标记附加。

线候补结合处理部83，对于水平线候补抽出处理部81和垂直线候补抽出处理部82抽出的线候补，将在线方向重合且相互接近的多个线候补结合(将标记统一)。线候补结合处理部83例如为了判定是否将第一线候补与第二线候补结合，使用下述的两个判定条件。另外，在下述的判定条件中，minX为x方向的最小坐标，maxX为x方向的最大坐标，minY为y方向的最小坐标，maxY为y方向的最大坐标，TH_LINEGAP为接近判定用的阈值(例如2)。此外，下述的判定条件是将水平方向的线候补结合时使用的判定条件，用于垂直方向的线候补的判定条件是将下述的判定条件的x方向与y方向交换后的条件。

重合判定条件：

第一线候补的maxY≥第二线候补的minY，且

第一线候补的minY≤第二线候补的maxY；

接近判定条件：

|第二线候补的minX-第一线候补的maxX-1|≤TH_LINEGAP，或

|第一线候补的minX-第二线候补的maxX-1|≤TH_LINEGAP。

线候补结合处理部83将满足上述的重叠判定条件和接近判定条件的两个线候补结合，变更线信息并输出。

图18是表示线分布判定处理部84进行的处理的顺序的流程图，表示对水平方向的线候补进行的处理的顺序(对垂直方向的线候补进行的处理的顺序由于只要将x方向与y方向交换、进行同样的处理即可，因此省略图示)。线分布判定处理部84在进行对水平方向的线候补的处理的情况下，使处理在图像数据的垂直方向进行。

线分布判定处理部84首先将变量x的值设定为0(步骤S21)，将变量y的值设定为0(步骤S22)。接着，线分布判定处理部84判定位于(x，y)的像素块是否为水平方向的线候补的垂直方向的起点(即，水平方向的线的上端的点)(步骤S23)，在判定为是线候补的起点的情况下(S23：YES)，进行起点设定处理(步骤S24)。在起点设定处理中，线分布判定处理部84将现在时刻的变量y的值(即，水平方向线的垂直方向的起点坐标)设定为变量minY。

起点设定处理：minY＝y。

此外，线分布判定处理部84在判定(x，y)的像素块不是线候补的起点的情况下(S23：NO)，判定(x，y)的像素块是否为线候补的连续部分(即，之前相邻的像素块为线候补，(x，y)的像素块是不是与该线候补连续的像素块？)(步骤S25)。在判定为是线候补的连续部分的情况下(S25：YES)，线分布判定处理部84进行终点更新处理(步骤S26)。在终点更新处理中，线分布判定处理部84将现在时刻的y的值(即，现在时刻的水平方向线的垂直方向的终点坐标)设定为变量maxY。

终点设定处理：maxY＝y。

此外，线分布判定处理部84在判定(x，y)的像素块不是线候补的连续部分的情况下(S25：NO)，进行线候补的宽度算出处理(步骤S27)。在宽度算出处理中，线分布判定处理部84基于变量maxY与变量minY之间的差计算线候补的宽度，与附加在该线候补的标记对应地存储所计算出的宽度。

线候补的宽度算出处理：线候补的宽度＝maxY-minY+1。

在步骤S24、S26或S27的处理结束后，线分布判定处理部84判定现在时刻的变量y的值是否达到最大值(垂直方向的像素块数)(步骤S28)。在变量y未达到最大值的情况下(S28：NO)，线分布判定处理部84在变量y的值上加1(步骤S29)，将处理返回到步骤S23，进行对垂直方向的下一像素块的处理。在变量y达到最大值的情况下(S28：YES)，线分布判定处理部84判定变量x的值是否达到最大值(水平方向的像素块数)(步骤S30)。在变量x未达到最大值的情况下(S30：NO)，线分布判定处理部84在变量x的值上加1(步骤S31)，将处理返回到步骤S22，反复(重复)进行处理。在变量x达到最大值的情况下(S30：YES)，线分布判定处理部84使对图像数据的所有像素块的处理结束，因此结束计算线候补的宽度的处理。

通过进行以上的处理，线分布判定处理部84能够得到图像数据所包含的线候补的宽度分布。然后，线分布判定处理部84以附加在线候补的标记为基础，调查宽度的分布，取得各线候补的宽度的最大值和最小值，进行阈值(TH_MAXTHICK(例如6)和TH_MINTHIC(例如4))的比较，进行各线候补是否为线的判定。线分布判定处理部84将满足下述的宽度判定条件的线候补视为线，将不满足宽度判定条件的线候补不视为线，将该线候补的信息从线信息中删除。

宽度判定条件：

宽度的最大值≤TH_MAXTHICK，且

宽度的最小值≤TH_MINTHICK。

图19是表示线最终判定处理部85进行的处理的顺序的流程图。另外，在本处理中使用变量i和j，这些变量分别表示附加在水平方向的线候补的标记值和附加在垂直方向的线候补的标记值。线最终判定处理部85首先将变量i的值设定为1(步骤S41)，将变量j的值设定为1(步骤S42)。接着，线最终判定处理部85判定水平方向的标记i的线候补与垂直方向的标记j的线候补是否连接(步骤S43)。

图20是用于对水平方向与垂直方向的线候补的连接判定进行说明的示意图。线最终判定处理部85根据是否满足下述的连接判定条件，判定水平方向的线候补(水平线候补)与垂直方向的线候补(垂直线候补)是否连接。

连接判定条件：

垂直线候补的maxX≥水平线候补的minX，且

水平线候补的maxX≥垂直线候补的minX，且

垂直线候补的maxY≥水平线候补的minY，且

水平线候补的maxY≥垂直线候补的minY。

在判定为水平方向与垂直方向的线候补连接的情况下(S43：YES)，线最终判定处理部85对在步骤S43中判定为连接的两线候补调查是否初次判定为连接(步骤S44)。在两线候补的连接是初次连接的情况下(S44：YES)，线最终判定处理部85在两线候补设定新的表标记(步骤S45)。另外，所谓的表标记是对图像中所包含的表附加的标记，在线最终判定处理部85结束对一个图像数据的处理的情况下，分别对该图像数据中的一个表附加一个表标记。线候补的连接是否为初次能够根据是否已附加有表标记来判断。

在两线候补的连接不是初次连接的情况下(S44：NO)，线最终判定处理部85调查任一个线候补是否初次判定为连接(步骤S46)。这能够根据是否在任一个线候补附加有表标记来判断。在任一个线候补的连接是初次连接的情况下(S46：YES)，线最终判定处理部85对是初次连接的线候补设定附加在不是初次连接的另一个线候补的表标记(步骤S47)。此外，在两线候补均不是初次连接的情况下(S46：NO)，线最终判定处理部85调查分别附加在两线候补的表标记，为了统一为值小的一方的表标记，对附加有值大的一方的表标记的线候补进行更新表标记的处理(步骤S48)。

在步骤S45、S47或S48的处理结束后，或在步骤S43判定为水平方向与垂直方向的线候补不连接的情况下(S43：NO)，线最终判定处理部85判定现在时刻的变量j是否达到最大值(垂直方向的线候补的总数)(步骤S49)。在变量j未达到最大值的情况下(S49：NO)，线最终判定处理部85在变量j的值上加1(步骤S50)，将处理返回到步骤S43，进行对水平方向与垂直方向的线候补的下一组合的处理。在变量j达到最大值的情况下(S49：YES)，线最终判定处理部85判定变量i的值是否达到最大值(水平方向的线候补的总数)(步骤S51)。在变量i未达到最大值的情况下(S51：NO)，线最终判定处理部85在变量i的值上加1(步骤S52)，将处理返回到步骤S42，进行对水平方向与垂直方向的线候补的下一组合的处理。在变量i达到最大值的情况下(S51：YES)，线最终判定处理部85结束处理。

线最终判定处理部85通过进行图19所示的处理，能够从图像数据中的多个线候补检测出存在形成表的可能性的线候补，能够对这样的线候补附加表标记。之后，线最终判定处理部85进行各线候补是否为单独的水平线、是否为单独的垂直线、是否为形成表的水平线或是否为形成表的垂直线的最终判定。

线最终判定处理部85在线候补为单独的线候补(即，未附加表标记的线候补)的情况下，根据线候补的线长是否为规定值TH_ISO_RUNLENGTH(例如100)以上，对线候补是否为单独的线进行最终判定。

单独水平线的条件：

水平线候补的maxX-水平线候补的minX+1≥TH_ISO_RUNLENGTH；

单独垂直线的条件：

垂直线候补的maxY-垂直线候补的minY+1≥TH_ISO_RUNLENGTH。

此外，线最终判定处理部85在线候补是存在形成表的可能性的线候补(即，附加有表标记的线候补)的情况下，除了进行使用与上述相同的规定值TH_ISO_RUNLENGTH进行的判定，还进行使用在附加有相同表标记的多个线候补的最大线长乘以规定加权系数TH_LINERATIO(例如0.8)而得的值进行的判定。线最终判定处理部85在存在形成表的可能性的线候补的线长为规定值TH_ISO_RUNLENGTH以上的情况、或为最大线长乘以规定加权系数TH_LINRATIO而得的值以上的情况下，将该线候补判定为是形成表的线候补。由此，作为单独的线，即使是短线，只要是表的一部分的线，线最终判定处理部85就能够判定为线。

形成表的水平线的条件：

水平线候补的maxX-水平线候补的minX+1≥相同表标记的线候补的最大线长×TH_LINERATIO，或

水平线候补的maxX-水平线候补的minX+1≥TH_ISO_RUNLENGTH；

形成表的垂直线的条件：

垂直线候补的maxY-垂直线候补的minY+1≥相同表标记的线候补的最大线长×TH_LINERATIO，或

垂直线候补的maxY-垂直线候补的minY+1≥TH_ISO_RUNLENGTH。

通过以上的处理，线检测处理部52能够从由前景抽出处理部51提供的前景像素块掩模检测图像中的水平线、垂直线或形成表的线，能够将检测到的线的信息作为线信息输出至布局分析处理部53。另外，在之后的处理(布局分析处理部53、前景层生成处理部54和背景层生成处理部55的处理)中使用进行修正后的前景像素块掩模，该修正是从前景抽出处理部51生成的前景像素块掩模中将线检测处理部52检测到的相当于线的像素块排除在外的修正。

(3)布局分析处理部53

图21是表示布局分析处理部53的结构的框图。布局分析处理部53进行如下的处理：使用由前景抽出处理部51生成、并以基于线检测处理部52的检测结果将构成线的像素块排除在外的方式进行修正后的前景像素块掩模和作为线检测处理部52的检测结果的线信息，生成图像数据所包含的字符串区域的信息(字符串区域信息)。为了进行该处理，布局分析处理部53具备标示处理部91、非字符矩形去除处理部92、表内矩形特定处理部93、附近矩形间距离算出处理部94、字符串方向推定处理部95、字符串方向修正处理部96、字符串区域抽出处理部97和非字符串区域去除处理部98。

标示处理部91通过将固有的标记分配给图像数据中连续的多个前景像素块的块，进行将前景像素块分类的处理。图22是表示标示处理部91进行的处理的顺序的流程图。此外，图23是用于说明标示处理部91进行的处理的示意图。

标示处理部91首先将变量y的值设定为0(步骤S61)，将变量x的值设定为0(步骤S62)。接着，标示处理部91判定位于(x，y)的处理对象像素块是否是由在水平方向连续的多个前景像素块构成的区域(前景区域)的起点(之前相邻的像素块不是前景像素块的点)(步骤S63)，在处理对象像素块是前景区域的起点的情况下(S63：YES)，进行起点设定处理(步骤S64)。在起点设定处理中，标示处理部91将现在时刻的变量x的值设定为变量minX。

起点设定处理：minX＝x。

此外，标示处理部91在判定为处理对象像素块不是前景区域的起点的情况下(S63：NO)，判定处理对象像素块是否为在水平方向连续的前景区域的连续部分(之前相邻的像素块是前景像素块的点)(步骤S65)。在判定为处理对象像素块是前景区域的连续部分的情况下(S65：YES)，标示处理部91进行终点更新处理(步骤S66)。在终点更新处理中，标示处理部91将现在时刻的x的值设定为变量maxX。

终点更新处理：maxX＝x。

此外，标示处理部91在判定为处理对象像素块不是前景区域的连续部分的情况下(S65：NO)，进行矩形信息更新处理(步骤S67)。矩形信息更新处理是对前景区域附加标记并且更新已附加的标记的处理。此外，所谓的矩形信息是由附加有各标记的前景区域的坐标信息(例如，水平方向的最小坐标、水平方向的最大坐标、垂直方向的最小坐标和垂直方向的最大坐标)和各前景区域所包含的前景像素块的数量等信息构成的信息(此外，各前景区域并不必须是矩形，矩形信息中也可以包含矩形以外的形状的前景区域的信息)。标示处理部91找出位于包含处理对象像素块的前景区域的正上方的其它前景区域，附加在参照这些其它前景区域的标记，进行新的标记附加或已附加的标记的统一。

例如，如图23所示，在对包含处理对象像素块的前景区域(处理对象前景区域)附加标记的情况下，首先，标示处理部91作为与处理对象前景区域重合的正上方前景区域找出附加有标记2的前景区域，并对处理对象前景区域附加标记2。接着，标示处理部91作为与处理对象前景区域重合的正上方前景区域找出附加有标记1的前景区域。此时，由于已经对处理对象前景区域附加有标记2，因此标示处理部91将标记1和标记2统一。在标记的统一中，使值小的标记优先，通过将附加有标记2的前景区域变更为标记1来进行。由此，能够保持标记的值和副扫描坐标的相关。此外，在不存在重合在处理对象前景区域正上方的其它前景区域的情况下，标示处理部91对处理对象前景区域附加新的标记，在矩形信息中追加新标记的坐标信息等。

在步骤S64、S66或S67的处理结束后，标示处理部91判定现在时刻的变量x的值是否达到最大值(水平方向的像素块数)(步骤S68)。在变量x未达到最大值的的情况下(S68：NO)，标示处理部91在变量x的值上加1(步骤S69)，将处理返回到步骤S63，进行对水平方向的下一像素块的处理。在变量x达到最大值的情况下(S68：YES)，标示处理部91判定变量y的值是否达到最大值(垂直方向的像素块数)(步骤S70)。在变量y未达到最大值的情况下(S70：NO)，标示处理部91在变量y的值上加1(步骤S71)，将处理返回到步骤S62，进行对图像数据的下一级开头的像素块的处理。在变量y达到最大值的情况下(S70：YES)，标示处理部91结束附加标记的处理。

通过以上的处理，标示处理部91能够对图像数据中的前景像素块连续的前景区域附加标记，将附加标记的结果作为矩形信息输出。图24是表示标示处理部91的处理的一个例子的示意图。此外，在图24中，将利用被输入至标示处理部91的前景像素块掩模指定为前景像素块的一个或多个像素块的区域(前景区域)作为以实线围成的区域进行表示。标示处理部91对一个或多个前景区域附加不重复的标记，生成与标记对应的各前景区域的坐标显示信息和像素块数等矩形信息，并输出给非字符矩形去除处理部92。在图24所示的例子中，对18个区域附加有标记1～18。

非字符矩形去除处理部92对由标示处理部91附加标记后的各前景区域进行如下的处理：基于前景区域的高度(垂直方向的像素块数)或前景区域的宽度(水平方向的像素块数)等前景区域的大小、或者前景区域所包含的像素块的数量等信息，判定各前景区域是否是能够相当于图像中的字符的前景区域，将不能相当于字符的前景区域排除在外。例如，在各前景区域的高度或宽度中的任一方相对于图像数据的尺寸过大或过小的情况下，非字符矩形去除处理部92能够判定为该前景区域不能相当于字符(判定方法并不仅限于此)。非字符矩形去除处理部92将判定为不能相当于字符的前景区域的信息从矩形信息中排除，提供给表内矩形特定处理部93。

表内矩形特定处理部93被输入非字符矩形去除处理部92输出的矩形信息和前景抽出处理部51输出的线信息。表内矩形特定处理部93基于线信息所包含的形成表的线的信息，判定矩形信息所包含的各前景区域是否位于表的内部。对判定为位于表的内部的多个前景区域(位于表的一个区划内的多个区域)，布局分析处理部53不依赖于后级的处理结果地将它们作为一个字符串来处理。由此，布局分析处理部53能够容易且可靠地抽出分布与通常的字符串的分别不同的表内的字符串。表内矩形特定处理部93将各前景区域是否位于表的内部的信息附加在矩形信息，提供给附近矩形间距离算出处理部94。

图25是用于说明附近矩形间距离算出处理部94进行的处理的示意图。附近矩形间距离算出处理部94对矩形信息所包含的各前景区域进行如下的处理：抽出位于图像的上下左右中的任一方向且满足规定的条件的周边的其它前景区域，计算所抽出的其它前景区域与处理对象前景区域之间的距离。另外，图25所示的例子是，对图24所示的标示处理的处理结果的例子，以箭头表示为了附近矩形间距离算出处理部94进行距离计算(算出)而抽出的两个区域之间的关系(箭头的起点为处理对象前景区域，箭头的终点为周边的其它前景区域)的例子。

图26是表示附近矩形间距离算出处理部94进行的处理的顺序的流程图。此外，在本处理中使用变量i和j，这些变量用于存储标示处理部91对各前景区域附加的标记值。附近矩形间距离算出处理部94首先将变量i的值设定为1(步骤S81)，将变量j的值设定为1(步骤S82)。接着，附近矩形间距离算出处理部94进行判定标记j的前景区域相对于标记i的前景区域的方向的处理(步骤S83)。在方向判定处理中，附近矩形间距离算出处理部94对标记i的前景区域和标记j的前景区域依次判定是否满足下述的条件1～4。其中，在下述的条件式中，minX表示各前景区域的水平方向(右方向)的最小坐标，maxX表示各前景区域的水平方向的最大坐标，minY表示各前景区域的垂直方向(下方向)的最小坐标，maxY表示各前景区域的垂直方向的最大坐标。

条件1：

标记j的前景区域的maxX＞标记i的前景区域的maxX，且

标记j的前景区域的minX＞标记i的前景区域的minX；

条件2：

标记j的前景区域的minX＜标记i的前景区域的minX，且

标记j的前景区域的maxX＜标记i的前景区域的maxX；

条件3：

标记j的前景区域的minY＜标记i的前景区域的minY，且

标记j的前景区域的maxY＜标记i的前景区域的maxY；

条件4：

标记j的前景区域的maxY＞标记i的前景区域的maxY，且

标记j的前景区域的minY＞标记i的前景区域的minY。

附近矩形间距离算出处理部94依次进行条件1～4的判定，在标记i的前景区域和标记j的前景区域满足条件1的情况下，判定为标记j的前景区域位于标记i的前景区域的右侧。在不满足条件1而满足条件2的情况下，附近矩形间距离算出处理部94判定为标记j的前景区域位于标记i的前景区域的左侧。在不满足条件1、2而满足条件3的情况下，附近矩形间距离算出处理部94判定为标记j的前景区域位于标记i的前景区域的上侧。在不满足条件1～3而满足条件4的情况下，附近矩形间距离算出处理部94判定为标记j的前景区域位于标记i的前景区域的下侧。

在方向判定处理之后，附近矩形间距离算出处理部94判定标记j的前景区域是否存在于标记i的前景区域的右方向(步骤S84)。在步骤S84的判定中，在由步骤S83的方向判定处理判定为标记j的前景区域位于标记i的前景区域的右侧的基础之上，进行标记i的前景区域和标记j的前景区域的一部分或全部是否在水平方向重合的判定。附近矩形间距离算出处理部94通过判定是否满足下述的条件来进行水平方向的重叠判定。

水平方向重叠条件：

标记i的前景区域的maxY＞标记j的前景区域的minY，且

标记i的前景区域的minY＜标记j的前景区域的maxY。

附近矩形间距离算出处理部94在步骤S83的方向判定处理中判定为标记j的前景区域位于标记i的前景区域的右侧且满足上述的水平方向重叠条件的情况下，判定标记j的前景区域存在于标记i的前景区域的右方向(步骤S84：YES)，进行右方向最短距离算出处理(步骤S85)。在右方向最短距离算出处理中，附近矩形间距离算出处理部94通过下式计算标记i的前景区域与标记j的前景区域之间的距离Dist。

Dist＝标记j的前景区域的minX-标记i的前景区域的maxX。

此外，附近矩形间距离算出处理部94判定是否满足下述的五个条件(右方向最短距离条件1～5)，在满足所有五个条件的情况下，将计算出的距离Dist作为标记i的前景区域的右方向最短距离，与存在于右方向的前景区域的标记j一同存储(在作为右方向最短距离已经存储有另外的前景区域的情况下，以新值对其进行更新)。附近矩形间距离算出处理部94进行判定的第一条件是距离Dist小于规定的阈值(例如36)。

右方向最短距离条件1：

Dist＜阈值。

附近矩形间距离算出处理部94进行判定的第二条件是，对将标记i的前景区域和标记j的前景区域统一为一个前景区域时的矩形的高度分别与标记i的前景区域以及标记j的前景区域的高度之间的差进行计算，所计算出的两个差中的值较小的差比规定的阈值小(例如36)。

右方向最短距离条件2：

MIN(统一前后的标记i的前景区域的高度之间的差、将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的高度与标记j的前景区域的高度之间的差)＜阈值。

附近矩形间距离算出处理部94进行判定的第三条件是，标记j的前景区域的水平方向的最大坐标maxX比标记i的前景区域的水平方向的最大坐标maxX大。

右方向最短距离条件3：

标记j的前景区域的maxX＞标记i的前景区域的maxX。

附近矩形间距离算出处理部94进行判定的第四条件是，标记i的前景区域的水平方向的最小坐标minX为标记j的前景区域的水平方向的最小坐标minX以下。

右方向最短距离条件4：

标记i的前景区域的minX≤标记j的前景区域的minX。

附近矩形间距离算出处理部94进行判定的第五条件是，在已经存储有标记i的前景区域与另外的(另一)前景区域之间的右方向最短距离的情况下，所计算出的距离Dist比所存储的右方向最短距离小。

右方向最短距离条件5：

Dist＜所存储的右方向最短距离。

在判定为满足所有右方向最短距离条件1～5的情况下，附近矩形间距离算出处理部94将计算出的Dist作为右方向最短距离来存储。此外，在步骤S84中判定为标记j的前景区域不存在于标记i的前景区域的右方向的情况下(S84：NO)，附近矩形间距离算出处理部94判定标记j的前景区域是否存在于标记i的前景区域的上方向(步骤S86)。在步骤S86的判定中，在由步骤S83的方向判定处理判定为标记j的前景区域位于标记i的前景区域的上侧的基础之上，进行标记i的前景区域与标记j的前景区域的一部分或全部是否在垂直方向重合的判定。附近矩形间距离算出处理部94通过判定是否满足下述的条件来进行垂直方向的重叠判定。

垂直方向重叠条件：

标记i的前景区域的maxX＞标记j的前景区域的minX，且

标记i的前景区域的minX＜标记j的前景区域的maxX。

附近矩形间距离算出处理部94在步骤S83的方向判定处理中判定为标记j的前景区域位于标记i的前景区域的上侧且满足上述的垂直方向重叠条件的情况下，判定标记j的前景区域存在于标记i的前景区域的上方向(步骤S86：YES)，进行上方向最短距离算出处理(步骤S87)。在上方向最短距离算出处理中，附近矩形间距离算出处理部94通过下式计算标记i的前景区域与标记j的前景区域之间的距离Dist。

Dist＝标记i的前景区域的minY-标记j的前景区域的maxY。

此外，附近矩形间距离算出处理部94判定是否满足下述的五个条件(上方向最短距离条件1～5)，在满足所有五个条件的情况下，将计算出的距离Dist作为标记i的前景区域的上方向最短距离，与存在于上方向的前景区域的标记j一同存储(在作为上方向最短距离已经存储有另外的前景区域的情况下，以新值对其进行更新)。附近矩形间距离算出处理部94进行判定的第一条件是距离Dist小于规定的阈值(例如36)。

上方向最短距离条件1：

Dist＜阈值。

附近矩形间距离算出处理部94进行判定的第二条件是，对将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的宽度分别与标记i的前景区域以及标记j的前景区域的宽度之间的差进行计算，所计算出的两个差中的值较小的差比规定的阈值小(例如36)。

上方向最短距离条件2：

MIN(统一前后的标记i的前景区域的宽度之间的差、将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的宽度与标记j的前景区域的宽度之间的差)＜阈值。

附近矩形间距离算出处理部94进行判定的第三条件是，标记j的前景区域的垂直方向的最小坐标minY比标记i的前景区域的垂直方向的最小坐标minY小。

上方向最短距离条件3：

标记j的前景区域的minY＜标记i的前景区域的minY。

附近矩形间距离算出处理部94进行判定的第四条件是，标记i的前景区域的垂直方向的最大坐标maxY比标记j的前景区域的垂直方向的最大坐标maxY大。

上方向最短距离条件4：

标记i的前景区域的maxY＞标记j的前景区域的maxY。

附近矩形间距离算出处理部94进行判定的第五条件是，在已经存储有标记i的前景区域与另外的前景区域之间的上方向最短距离的情况下，所计算出的距离Dist比所存储的上方向最短距离小。

上方向最短距离条件5：

Dist＜所存储的上方向最短距离。

在判定为满足所有上方向最短距离条件1～5的情况下，附近矩形间距离算出处理部94将计算出的Dist作为上方向最短距离来存储。此外，在步骤S86中判定为标记j的前景区域不存在于标记i的前景区域的上方向的情况下(S86：NO)，附近矩形间距离算出处理部94判定标记j的前景区域是否存在于标记i的前景区域的左方向(步骤S88)。在步骤S88的判定中，在由步骤S83的方向判定处理判定为标记j的前景区域位于标记i的前景区域的左侧的基础之上，进行标记i的前景区域与标记j的前景区域的一部分或全部是否在水平方向重合的判定。附近矩形间距离算出处理部94通过判定是否满足与步骤S84使用的水平方向重叠条件相同的水平方向重叠条件，进行水平方向的重叠判定。

附近矩形间距离算出处理部94在步骤S83的方向判定处理中判定为标记j的前景区域位于标记i的前景区域的左侧且满足水平方向重叠条件的情况下，判定标记j的前景区域存在于标记i的前景区域的左方向(步骤S88：YES)，进行左方向最短距离算出处理(步骤S89)。在左方向最短距离算出处理中，附近矩形间距离算出处理部94通过下式计算标记i的前景区域与标记j的前景区域之间的距离Dist。

Dist＝标记i的前景区域的minX-标记j的前景区域的maxX。

进一步，附近矩形间距离算出处理部94判定是否满足下述的五个条件(左方向最短距离条件1～5)，在满足所有五个条件的情况下，将计算出的距离Dist作为标记i的前景区域的左方向最短距离，与存在于左方向的前景区域的标记j一同存储(在作为左方向最短距离已经存储有另外的前景区域的情况下，以新值对其进行更新)。附近矩形间距离算出处理部94进行判定的第一条件是距离Dist小于规定的阈值(例如36)。

左方向最短距离条件1：

Dist＜阈值。

附近矩形间距离算出处理部94进行判定的第二条件是，对将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的高度分别与标记i的前景区域以及标记j的前景区域的高度之间的差进行计算，所计算出的两个差中的值较小的差比规定的阈值小(例如36)。

左方向最短距离条件2：

MIN(统一前后的标记i的前景区域的高度之间的差、将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的高度与标记j的前景区域的高度之间的差)＜阈值。

附近矩形间距离算出处理部94进行判定的第三条件是，标记j的前景区域的水平方向的最小坐标minX比标记i的前景区域的水平方向的最小坐标minX小。

左方向最短距离条件3：

标记j的前景区域的minX＜标记i的前景区域的minX。

附近矩形间距离算出处理部94进行判定的第四条件是，标记i的前景区域的水平方向的最大坐标maxX比标记j的前景区域的水平方向的最大坐标maxX大。

左方向最短距离条件4：

标记i的前景区域的maxX＞标记j的前景区域的maxX。

附近矩形间距离算出处理部94进行判定的第五条件是，在已经存储有标记i的前景区域与另外的前景区域之间的左方向最短距离的情况下，所计算出的距离Dist比所存储的左方向最短距离小。

左方向最短距离条件5：

Dist＜所存储的左方向最短距离。

在判定为满足所有左方向最短距离条件1～5的情况下，附近矩形间距离算出处理部94将计算出的Dist作为左方向最短距离来存储。此外，在步骤S88中判定为标记j的前景区域不存在于标记i的前景区域的左方向的情况下(S88：NO)，附近矩形间距离算出处理部94判定标记j的前景区域是否存在于标记i的前景区域的下方向(步骤S90)。在步骤S90的判定中，在由步骤S83的方向判定处理判定为标记j的前景区域位于标记i的前景区域的下侧的基础之上，进行标记i的前景区域与标记j的前景区域的一部分或全部是否在垂直方向重合的判定。附近矩形间距离算出处理部94通过判定是否满足与步骤S86使用的垂直方向重叠条件相同的垂直方向重叠条件，进行垂直方向的重叠判定。

附近矩形间距离算出处理部94在步骤S83的方向判定处理中判定为标记j的前景区域位于标记i的前景区域的下侧且满足垂直方向重叠条件的情况下，判定标记j的前景区域存在于标记i的前景区域的下方向(步骤S90：YES)，进行下方向最短距离算出处理(步骤S91)。在下方向最短距离算出处理中，附近矩形间距离算出处理部94通过下式计算标记i的前景区域与标记j的前景区域之间的距离Dist。

Dist＝标记j的前景区域的minY-标记i的前景区域的maxY。

进一步，附近矩形间距离算出处理部94判定是否满足下述的五个条件(下方向最短距离条件1～5)，在满足所有五个条件的情况下，将计算出的距离Dist作为标记i的前景区域的下方向最短距离，与存在于下方向的前景区域的标记j一同存储(在作为下方向最短距离已经存储有另外的前景区域的情况下，以新值对其进行更新)。附近矩形间距离算出处理部94进行判定的第一条件是距离Dist小于规定的阈值(例如36)。

下方向最短距离条件1：

Dist＜阈值。

附近矩形间距离算出处理部94进行判定的第二条件是，对将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的宽度分别与标记i的前景区域以及标记j的前景区域的宽度之间的差进行计算，所计算出的两个差中的值较小的差比规定的阈值小(例如36)。

下方向最短距离条件2：

MIN(统一前后的标记i的前景区域的宽度之间的差、将标记i的前景区域和标记j的前景区域统一为一个区域时的矩形的宽度与标记j的前景区域的宽度之间的差)＜阈值。

附近矩形间距离算出处理部94进行判定的第三条件是，标记j的前景区域的垂直方向的最大坐标maxY比标记i的前景区域的垂直方向的最大坐标maxY大。

下方向最短距离条件3：

标记j的前景区域的maxY＞标记i的前景区域的maxY。

附近矩形间距离算出处理部94进行判定的第四条件是，标记i的前景区域的垂直方向的最小坐标minY比标记j的前景区域的垂直方向的最小坐标minY小。

下方向最短距离条件4：

标记i的前景区域的minY＜标记j的前景区域的minY。

附近矩形间距离算出处理部94进行判定的第五条件是，在已经存储有标记i的前景区域与另外的前景区域之间的下方向最短距离的情况下，所计算出的距离Dist比所存储的下方向最短距离小。

下方向最短距离条件5：

Dist＜所存储的下方向最短距离。

在判定为满足所有下方向最短距离条件1～5的情况下，附近矩形间距离算出处理部94将计算出的Dist作为下方向最短距离来存储。

在步骤S85、S87、S89或S91中计算出最短距离之后，或在步骤S90中判定为标记j的前景区域不存在于标记i的前景区域的下方向的情况下(S90：NO)，附近矩形间距离算出处理部94判定现在时刻的变量j是否达到最大值(前景区域的总数)(步骤S92)。在变量j未达到最大值的情况下(S92：NO)，附近矩形间距离算出处理部94在变量j的值上加1(步骤S93)，将处理返回到步骤S83，进行对两个前景区域的下一组合的处理。在变量j达到最大值的情况下(S92：YES)，附近矩形间距离算出处理部94判定变量i的值是否达到最大值(前景区域的总数)(步骤S94)。在变量i未达到最大值的情况下(S94：NO)，附近矩形间距离算出处理部94在变量i的值上加1(步骤S95)，将处理返回到步骤S82，进行对两个前景区域的下一组合的处理。在变量i达到最大值的情况下(S94：YES)，附近矩形间距离算出处理部94结束处理。

附近矩形间距离算出处理部94对图像数据中的附加有标记的各前景区域分别与在上下左右方向接近的其它前景区域之间的最短距离进行计算，将计算结果输出至字符串方向推定处理部95。

字符串方向推定处理部95对矩形信息所包含的各前景区域计算沿水平方向并列的前景区域的数量和这多个前景区域间的距离总和、以及沿垂直方向并列的前景区域的数量和这些多个前景区域间的距离总和。基于计算结果，字符串方向推定处理部95将水平方向的前景区域数与垂直方向的前景区域数进行比较，且将水平方向的前景区域间的距离总和与垂直方向的前景区域间的距离总和进行比较，基于两比较结果，推定多个前景区域是否为构成水平方向或垂直方向的字符串的前景区域。

图27是表示字符串方向推定处理部95进行的处理的顺序的流程图。此外，在本处理中使用变量i，这些变量用于存储标示处理部91对各前景区域附加的标记值。字符串方向推定处理部95首先将变量i的值设定为1(步骤S101)。接着，字符串方向推定处理部95对标记i的前景区域进行水平方向的前景区域数和距离总和算出处理(步骤S102)。在水平方向的前景区域数和距离总和算出处理中，字符串方向推定处理部95基于附近矩形间距离算出处理部94的计算结果，依次对以最短距离位于标记i的前景区域的左方向和右方向的其它前景区域进行搜索，由此计算沿水平方向并列的前景区域数和这些前景区域间的距离的总和。

接着，字符串方向推定处理部95对标记i的前景区域进行垂直方向的前景区域数和距离总和算出处理(步骤S103)。在垂直方向的前景区域数和距离总和算出处理中，字符串方向推定处理部95基于附近矩形间距离算出处理部94的计算结果，依次对以最短距离位于标记i的前景区域的上方向和下方向的其它前景区域进行搜索，由此计算沿垂直方向并列的前景区域数和这些前景区域间的距离的总和。

接着，字符串方向推定处理部95对标记i的前景区域进行如下的处理：判定将包含该前景区域的多个前景区域作为字符串情况下的字符串的方向(步骤S104)。在字符串方向判定处理中，字符串方向推定处理部95基于步骤S102和S103的计算结果，判定下述的条件是否成立，由此判定字符串的方向。

水平方向条件：

(水平方向距离总和×垂直方向前景区域数≤垂直方向距离总和×水平方向前景区域数，且水平方向前景区域数≥阈值1，且垂直方向前景区域数≥阈值2)，或

(水平方向前景区域数≥阈值1，且垂直方向前景区域数＜阈值2)；

垂直方向条件：

(水平方向距离总和×垂直方向前景区域数≥垂直方向距离总和×水平方向前景区域数，且垂直方向前景区域数≥阈值1，且水平方向前景区域数≥阈值2)，或

(垂直方向前景区域数≥阈值1，且水平方向前景区域数＜阈值2)。

字符串方向推定处理部95在上述的水平方向条件成立的情况下，判定包含标记i的前景区域的字符串的方向是水平方向。此外，字符串方向推定处理部95在上述的垂直方向条件成立的情况下，判定包含标记i的前景区域的字符串的方向是垂直方向。在水平方向条件和垂直方向条件这两个条件都不成立的情况下，字符串方向推定处理部95判定包含标记i的前景区域的字符串的方向不确定。字符串方向推定处理部95将字符串方向的判定结果与标记i对应地存储。此外，上述的水平方向条件和垂直方向条件所使用的阈值1、2是预先决定的值，作为其值，例如能够分别设定为3。

在字符串方向判定处理结束后，字符串方向推定处理部95，判定变量i的值是否达到最大值(前景区域的总数)(步骤S105)，在变量i的值未达到最大值的情况下(S105：NO)，在变量i的值上加1(步骤S106)，将处理返回到步骤S102，对下一标记i的前景区域进行同样的处理。在变量i的值达到最大值的情况下(S105：YES)，字符串方向推定处理部95结束处理。

图28是表示字符串方向推定处理部95进行的处理的一个例子的示意图，是字符串方向推定处理部95对图25所示的距离算出处理的结果进行推定字符串方向的处理后的图。字符串方向推定处理部95通过进行上述的处理，能够将图像数据中的附加有标记的各前景区域判定为水平方向的字符串(所包含的前景区域)、垂直方向的字符串(所包含的前景区域)或不确定的前景区域中的任一种。在图示的例子中，附加有标记1～5、11～13、15、17、18的前景区域被判定为水平方向的字符串，附加有标记8～10的前景区域被判定为垂直方向的字符串，附加有标记6、7、14、16的前景区域被判定为不确定。字符串方向推定处理部95将对各前景区域的字符串方向的推定结果输出到字符串方向修正处理部96。

字符串方向修正处理部96判定字符串方向推定处理部95推定的字符串方向是否妥当，对判定为方向不妥当的前景区域，进行将字符串的方向修正为不确定的处理。图29是表示字符串方向修正处理部96进行的处理的顺序的流程图。此外，在本处理中使用变量i，这些变量用于存储标示处理部91对各前景区域附加的标记值。字符串方向修正处理部96首先将变量i的值设定为1(步骤S111)。

接着，字符串方向修正处理部96调查标记i的前景区域是否为包含在水平方向的字符串的前景区域(步骤S112)，在是包含在水平方向的字符串的前景区域的情况下(S112：YES)，进行水平方向区域数算出处理(步骤S113)。在水平方向区域数算出处理中，字符串方向修正处理部96对在水平方向与附加有标记i的前景区域并列的其它前景区域，调查各前景区域被判定为包含在水平方向或垂直方向的哪个方向的字符串中，并分别计算水平方向的前景区域数和垂直方向的前景区域数。

接着，字符串方向修正处理部96进行水平方向修正处理，该水平方向修正处理是基于计算出的水平方向的前景区域数和垂直方向的前景区域数，对标记i的前景区域的方向进行修正的处理(步骤S114)。在水平方向修正处理中，字符串方向修正处理部96判定计算出的水平方向的前景区域数和垂直方向的前景区域数是否满足下述的水平方向修正条件，在满足水平方向修正条件的情况下，将标记i的前景区域的方向修正为不确定。此外，水平方向修正条件所使用的阈值是预先决定的值，作为其值，例如能够设定为2。

水平方向修正条件：

水平方向的前景区域数＜垂直方向的前景区域数，或

水平方向的前景区域数＜阈值。

此外，在标记i的前景区域不是包含在水平方向的字符串的前景区域的情况下(S112：NO)，字符串方向修正处理部96调查标记i的前景区域是否是包含在垂直方向的字符串的前景区域(步骤S115)。在是包含在垂直方向的字符串的前景区域的情况下(S115：YES)，字符串方向修正处理部96进行垂直方向区域数算出处理(步骤S116)。在垂直方向区域数算出处理中，字符串方向修正处理部96对在垂直方向与附加有标记i的前景区域并列的其它前景区域，调查各前景区域被判定为包含在垂直方向或水平方向的哪个方向的字符串中，并分别计算垂直方向的前景区域数和水平方向的前景区域数。

接着，字符串方向修正处理部96进行垂直方向修正处理，该垂直方向修正处理是基于计算出的垂直方向的前景区域数和水平方向的前景区域数，对标记i的前景区域的方向进行修正的处理(步骤S117)。在垂直方向修正处理中，字符串方向修正处理部96判定计算出的垂直方向的前景区域数和水平方向的前景区域数是否满足下述的垂直方向修正条件，在满足垂直方向修正条件的情况下，将标记i的前景区域的方向修正为不确定。此外，垂直方向修正条件所使用的阈值是预先决定的值，作为其值，例如能够设定为2。

垂直方向修正条件：

垂直方向的前景区域数＜水平方向的前景区域数，或

垂直方向的前景区域数＜阈值。

在步骤S114或S117的修正处理结束后，或在步骤S115中判定为标记i的前景区域不是包含在垂直方向的字符串的前景区域的情况下(S115：NO)，字符串方向修正处理部96，判定变量i的值是否达到最大值(前景区域的总数)(步骤S118)，在变量i的值未达到最大值的情况下(S118：NO)，在变量i的值上加1(步骤S119)，将处理返回到步骤S112，对下一标记i的前景区域进行同样的处理。在变量i的值达到最大值的情况下(S118：YES)，字符串方向修正处理部96结束处理。

图30是表示字符串方向修正处理部96进行的处理的一个例子的示意图，是字符串方向修正处理部96对图28所示的字符串方向推定处理的结果进行字符串方向修正处理后的图。字符串方向修正处理部96通过进行上述的处理，判定字符串方向推定处理部95推定的各前景区域的方向是否妥当，对判定为方向不妥当的前景区域，进行将字符串的方向修正为不确定的处理。在图示的例子中，字符串方向修正处理部96判定前景区域8～10的方向不妥当，将这些前景区域修正为不确定。字符串方向修正处理部96修正各前景区域的字符串的方向，并输出给字符串区域抽出处理部97。

字符串区域抽出处理部97从图像数据中找出字符串方向相同的前景区域，将前景区域间的距离短且在与字符串方向垂直的方向上的位置关系适当的多个前景区域作为字符串抽出，制作并输出字符串的信息(字符串信息)。图31～图34是表示字符串区域抽出处理部97进行的处理的顺序的流程图。字符串区域抽出处理部97进行将字符串方向被推定为水平或不确定的多个前景区域统一至水平方向、生成水平方向的字符串的水平字符串生成处理(步骤S121)，同样进行将字符串方向被推定为垂直或不确定的多个前景区域统一至垂直方向、生成垂直方向的字符串的垂直字符生成处理(步骤S122)。之后，字符串区域抽出处理部97进行将与水平方向的字符串以及垂直方向的字符串重复的前景区域统一至任一方向的字符串的重复区域统一处理(步骤S123)，结束处理。

在步骤S121中进行的水平字符串生成处理中，首先，字符串区域抽出处理部97将变量i的值设定为1(步骤S131)。其中，变量i用于存储附加在图像数据中的各前景区域的标记值。接着，字符串区域抽出处理部97对标记i的前景区域进行右方向区域统一处理(步骤S132)。在右方向区域统一处理中，字符串区域抽出处理部97在被判定为字符串方向是水平方向的标记i的前景区域中存在在右方向上连续的前景区域的情况下，判定是否将该右方向的前景区域作为水平方向的字符串统一至标记i的前景区域。字符串区域抽出处理部97针对包含标记i的前景区域的字符串(多个前景区域)取得垂直方向的最小坐标upper_pos和最大坐标lower_pos，在右方向的前景区域的垂直方向的最小坐标minY和最大坐标maxY满足下述的水平方向统一条件的情况下，将右方向的前景区域统一至标记i的前景区域。另外，水平方向统一条件所包含的偏移值(偏置)例如也可以使用预先决定的固定值(例如8)，此外，例如也可以使用在lower_pos和upper_pos的差乘以规定系数(例如0.2)而得的值。

水平方向统一条件：

右方向的前景区域的minY≥(upper_pos-偏移值)，且

右方向的前景区域的maxY≤(lower_pos+偏移值)。

在右方向区域统一处理结束后，字符串区域抽出处理部97，判定变量i的值是否达到最大值(前景区域的总数)(步骤S133)，在变量i的值未达到最大值的情况下(S133：NO)，在变量i的值上加1(步骤S134)，将处理返回到步骤S132，对下一标记i的前景区域进行同样的处理。

在变量i的值达到最大值的情况下(S133：YES)，字符串区域抽出处理部97对标记i的前景区域进行左方向区域统一处理(步骤S135)。在左方向区域统一处理中，字符串区域抽出处理部97在被判定为字符串方向是水平方向的标记i的前景区域中存在在左方向上连续的前景区域的情况下，判定是否将该左方向的前景区域作为水平方向的字符串统一至标记i的前景区域。左方向区域统一处理，对标记i的左方向的前景区域进行与右方向区域统一处理相同的处理即可，对水平方向统一条件，也以左方向的前景区域的minY和maxY代替右方向的前景区域的minY和maxY进行同样的判定即可。

在左方向区域统一处理结束以后，字符串区域抽出处理部97，判定变量i的值是否为1(步骤S136)，在变量i的值不是1的情况下(S136：NO)，从变量i的值减去1(步骤S137)，将处理返回到步骤S135，对前一个标记i的前景区域进行同样的处理。在变量i的值是1的情况下(S136：YES)，字符串区域抽出处理部97结束水平字符串生成处理。

在步骤S122中进行的垂直字符串生成处理中，首先，字符串区域抽出处理部97将变量i的值设定为1(步骤S141)。其中，变量i用于存储附加在图像数据中的各前景区域的标记值。接着，字符串区域抽出处理部97对标记i的前景区域进行下方向区域统一处理(步骤S142)。在下方向区域统一处理中，字符串区域抽出处理部97在被判定为字符串方向是垂直方向的标记i的前景区域中存在在下方向上连续的前景区域的情况下，判定是否将该下方向的前景区域作为垂直方向的字符串统一至标记i的前景区域。字符串区域抽出处理部97针对包含标记i的前景区域的字符串(多个前景区域)取得水平方向的最小坐标left_pos和最大坐标right_pos，在下方向的前景区域的水平方向的最小坐标minX和最大坐标maxX满足下述的垂直方向统一条件的情况下，将下方向的前景区域统一至标记i的前景区域。此外，垂直方向统一条件所包含的偏移值也可以使用例如预先决定的固定值(例如8)，此外，也可以使用例如在left_pos和right_pos的差乘以规定系数(例如0.2)而得的值。

垂直方向统一条件：

下方向的前景区域的minX≥(left_pos-偏差)，且

下方向的前景区域的maxX≤(right_pos+偏差)。

在下方向区域统一处理结束后，字符串区域抽出处理部97，判定变量i的值是否达到最大值(前景区域的总数)(步骤S143)，在变量i的值未达到最大值的情况下(S143：NO)，在变量i的值上加1(步骤S144)，将处理返回到步骤S142，对下一标记i的前景区域进行同样的处理。

在变量i的值达到最大值的情况下(S143：YES)，字符串区域抽出处理部97对标记i的前景区域进行上方向区域统一处理(步骤S145)。在上方向区域统一处理中，字符串区域抽出处理部97在被判定为字符串方向是垂直方向的标记i的前景区域中存在在上方向上连续的前景区域的情况下，判定是否将该上方向的前景区域作为垂直方向的字符串统一为标记i的前景区域。上方向区域统一处理，对标记i的上方向的前景区域进行与下方向区域统一处理同样的处理即可，对垂直方向统一条件，也以上方向的前景区域的minX和maxX代替下方向的前景区域的minX和maxX进行相同的判定即可。

在上方向区域统一处理结束后，字符串区域抽出处理部97，判定变量i的值是否为1(步骤S146)，在变量i的值不是1的情况下(S146：NO)，从变量i的值减去1(步骤S147)，将处理返回到步骤S145，对前一个标记i的前景区域进行同样的处理。在变量i的值是1的情况下(S146：YES)，字符串区域抽出处理部97结束垂直字符串生成处理。

在步骤S123中进行的重复区域统一处理中，首先，字符串区域抽出处理部97将变量i的值设定为1(步骤S151)，将变量j的值设定为1(步骤S152)。其中，变量i用于存储附加在字符串的标记值，该字符串是通过水平字符串生成处理或垂直字符串生成处理将多个前景区域统一而生成的，变量j用于存储附加在图像数据中的各前景区域的标记值。

接着，字符串区域抽出处理部97判定标记i的字符串的区域与标记j的前景区域是否重复(步骤S153)。标记i的字符串区域和标记j的前景区域是否重复能够根据是否满足下述的重复判定条件(换言之，标记j的前景区域是否存储在标记i的字符串的区域内)来判定。此外，在重复判定条件中，minX、minY、maxX和maxY是各前景区域或各字符串区域的水平方向最小坐标、垂直方向最小坐标、水平方向最大坐标和垂直方向最大坐标。

重复判定条件：

标记j的前景区域的minX≥标记i的字符串区域的minX，且

标记j的前景区域的minY≥标记i的字符串区域的minY，且

标记j的前景区域的maxX≤标记i的字符串区域的maxX，且

标记j的前景区域的maxY≤标记i的字符串区域的maxY。

字符串区域抽出处理部97在判定标记i的字符串区域与标记j的前景区域重复的情况下(S153：YES)，进行将标记j的前景区域统一至标记i的字符串的区域统一处理(步骤S154)，此外，在判定为标记i的字符串区域与标记j的前景区域不重复的情况下(S153：NO)，不进行区域统一处理，而使处理进入步骤S155。字符串区域抽出处理部97，判定变量j的值是否达到最大值(前景区域的总数)(步骤S155)，在变量j的值未达到最大值的情况下(S155：NO)，在变量j的值上加1(步骤S156)，将处理返回到步骤S153，对下一标记j的前景区域进行同样的处理。

在变量j的值达到最大值的情况下(S155：YES)，字符串区域抽出处理部97，判定变量i的值是否达到最大值(字符串的总数)(步骤S157)，在变量i的值未达到最大值的情况下(S157：NO)，在变量i的值上加1(步骤S158)，将处理返回到步骤S152，对下一标记i的字符串进行同样的处理。在变量i的值达到最大值的情况下(S157：YES)，字符串区域抽出处理部97结束重复区域统一处理。

图35是表示字符串区域抽出处理部97进行的处理的一个例子的示意图，是字符串区域抽出处理部97对图30所示的字符串方向修正处理的结果进行字符串的抽出处理后的图。字符串区域抽出处理部97通过进行上述的处理，将图像数据中的多个前景区域统一，作为水平方向字符串或垂直方向字符串抽出。在图示的例子中，将前景区域1～10作为水平方向字符串1抽出，将前景区域11～18作为水平方向字符串2抽出。字符串区域抽出处理部97将抽出字符串的结果作为字符串信息输出给非字符串区域去除处理部98。

非字符串区域去除处理部98对字符串区域抽出处理部97抽出的各字符串进行如下的处理：在字符串区域的宽度或高度为规定值(例如4)以下的情况下，将该字符串除去(去除)，由此从区域的尺寸中除去不像字符串的部分。

去除条件：

字符串区域的宽度≤阈值，或

字符串区域的高度＜阈值

通过以上的处理，布局分析处理部53能够从由线检测处理部52提供的前景像素块掩模和线信息中抽出图像数据所包含的字符串，并将所抽出的字符串的信息作为字符串信息输出给前景层生成处理部54。

(4)前景层生成处理部54

图36是表示前景层生成处理部54的结构的框图。此外，图37是用于对前景层生成处理部54的处理概要进行说明的示意图。前景层生成处理部54进行如下的处理：基于线检测处理部52输出的前景像素块掩模和布局分析处理部53输出的字符串信息，生成前景像素的位置信息即前景掩模、以及将前景像素的色彩索引化而得到的前景索引色信息，最终将与各前景索引色对应的二值图像和前景索引色信息输出。为了进行该处理，前景层生成处理部54具备前景区域前景代表色算出处理部101、字符串区域前景代表色算出处理部102、前景代表色统一处理部103、前景像素掩模抽出处理部104和二值图像生成处理部105。

前景层生成处理部54首先利用前景区域前景代表色算出处理部101对前景像素块掩模的各前景区域计算前景代表色。字符串区域前景代表色算出处理部102基于各前景区域的前景代表色，对布局分析处理部53输出的字符串信息的各字符串区域计算前景代表色。前景代表色统一处理部103通过将图像数据的各字符串区域的前景代表色以页单位统一，削减整个页的描绘所需的前景代表色的色彩数。前景像素掩模抽出处理部104通过对图像数据的各前景区域的像素值与各前景区域的前景代表色和/或字符串区域的前景代表色进行比较，抽出前景像素，生成并输出前景像素的抽出结果即前景像素掩模。二值图像生成处理部105将所抽出的前景像素与字符串区域的前景代表色对应，作为二值图像输出。

前景区域前景代表色算出处理部101基于由布局分析处理部53的标示处理部91附加在前景区域的标记值和前景抽出处理部51生成的像素块前景代表色，计算前景区域的前景代表色。前景区域前景代表色算出处理部101首先将包围附加有标记的前景区域的矩形区域作为处理对象抽出，计算该矩形区域的像素块前景代表色(前景代表色不是不确定值的像素块代表色)的平均值。接着，前景区域前景代表色算出处理部101将处理对象矩形区域所包含的前景像素块的像素块前景代表色量化。

图38A、图38B是表示用于对像素块前景代表色的量化进行说明的示意图。前景区域前景代表色算出处理部101将像素块前景代表色转换为LCH色彩空间的色彩，将亮度L量化为5阶段(级)的亮度范围，并且将彩度C和色相H量化为一个无彩色和12个有彩色的13阶段。如图38A所示，在本例中，将索引L＝0分配给亮度L＝0～63，将索引L＝1分配给亮度L＝64～127，将索引L＝2分配给亮度L＝128～191，将索引L＝3分配给亮度L＝192～223，将索引L＝4分配给亮度L＝224～255。此外，如图38B所示，在本例中，将彩度C和色相H作为矢量来处理，在表示矢量长(矢量长度)的彩度C＝0～20的情况下，分配索引CH＝0，在彩度C＞20的情况下，根据表示矢量的角度的色相H的值，分配索引CH＝1～12。

前景区域前景代表色算出处理部101，对量化后的像素块前景代表色，按每一量化级(level)(上述的索引)计算像素块数的累积和以及像素块前景代表色的累积和，从像素块数成为最大的量化级和该量化级的附近量化级(量化级别)的像素块数与像素块前景代表色的累积和，计算前景区域的前景代表色。例如，前景区域前景代表色算出处理部101也可以使用前景区域所包含的像素块的像素块前景代表色的平均值作为前景区域的前景代表色。通过按每一前景区域计算前景代表色，能够抑制前景代表色的过分割。

字符串区域前景代表色算出处理部102从由前景区域前景代表色算出处理部101计算出的各前景区域的前景代表色计算字符串区域的前景代表色。字符串区域前景代表色算出处理部102首先将各字符串区域所包含的前景区域的前景代表色量化(量化的顺序与前景区域前景代表色算出处理部101相同)。通过量化，前景代表色根据亮度的索引L和彩度及色相的索引CH的组合划分为5×13＝65种。

接着，字符串区域前景代表色算出处理部102以量化为5阶段的亮度为基准，对量化级(索引)附加标记。此时，字符串区域前景代表色算出处理部102将属于各索引的像素数(像素块数)为规定的阈值以上的像素数作为标记附加的对象，而像素数不满足阈值的像素数不作为标记附加的对象。另外，用于判断是否进行标记附加的阈值既可以是预先决定的固定值，也可以是在处理对象字符串区域所包含的像素数乘以规定系数(例如0.1)而得的值。

字符串区域前景代表色算出处理部102从亮度的索引L＝0依次搜索像素数超过规定值的索引并附加标记，在成为对象的索引连续存在的情况下，通过对连续的多个索引附加同一标记将索引统一。此外，字符串区域前景代表色算出处理部102将附加有同一(相同)标记的多个索引的像素块数与前景代表色的累积和相加，针对各标记将前景代表色的累积和除以像素块数的累积和而得的值(即平均值)作为该标记的代表色进行计算。通过对是有量化的索引进行这样的标记附加，能够进行以亮度为基准的索引统一。

接着，字符串区域前景代表色算出处理部102以量化为13阶段的彩度和色相中的12个有彩色(即索引CH＝1～12)为基准，判定在色相轴上相邻(在图38B中记载的圆的圆周方向上相邻)的标记是否能够统一，并进行标记的统一。能够从各标记的代表色求取色相的成分并计算差值、然后根据该差值是否小于规定值(例如30°)来判定相邻的两个标记是否能够统一，在差值小于规定值的情况下，字符串区域前景代表色算出处理部102将两个标记统一。通过对所有有彩色索引进行该处理，字符串区域前景代表色算出处理部102能够以各字符串区域单位将前景代表色索引化。通过在整个页(面)进行索引化，以字符串区域单位进行索引化的方式更能够抑制前景代表色的过分割(过划分)。

前景代表色统一处理部103是进行将由字符串区域前景代表色算出处理部102计算出的各字符串区域的前景代表色以页单位统一的处理的处理部，由此，能够削减整个页的描绘所需的前景代表色数。图39是表示前景代表色统一处理部103的结构的框图。此外，图40是表示前景代表色统一处理部103进行的处理的顺序的流程图。前景代表色统一处理部103按每一页计算字符串区域前景代表色算出处理部102计算出的前景代表色的索引的总数，由索引数判定处理部111判定该索引总数是否超过阈值(例如31)(步骤S161)。

在索引总数超过阈值的情况下(S161：YES)，前景代表色统一处理部103利用色差直方图生成处理部112进行每一页的色差直方图的生成(步骤S162)。图41是表示色差直方图的一个例子的示意图。前景代表色统一处理部103的色差直方图生成处理部112，针对各前景代表色，搜索色差成为最小的其它前景代表色，生成以与通过搜索发现的其它前景代表色的色差为横轴、以具有该色差的其它前景代表色的数(频度(frequency：次数))为纵轴的色差直方图。另外，色差例如能够在L＊a＊b＊的色彩空间作为ΔL+Δa＊+Δb＊来进行计算。

接着，前景代表色统一处理部103的索引统一处理部113基于所制作的色差直方图，将前景代表色的索引统一(步骤S163)。能够针对在步骤S162制作的色差直方图中的、色差最小的多个前景代表色，将索引集中为一个，由此进行索引的统一。在图41所示的例子中，色差最小的三个前景代表色(图中的带阴影的部分)被统一为一个前景代表色。

在进行索引的统一处理后，前景代表色统一处理部103将处理返回到步骤S161，再次进行索引总数是否超过阈值的判定。在索引总数为阈值以下的情况下(S161：NO)，前景代表色统一处理部103结束处理。通过前景代表色统一处理部103以页单位进行以上的处理，能够削减整个页的描绘所需的前景代表色数。

接着，前景像素掩模抽出处理部104通过将前景区域前景代表色算出处理部101计算出的前景代表色和/或字符串区域前景代表色算出处理部102计算出且前景代表色统一处理部103进行统一后的前景代表色与输入图像数据的像素值进行比较，从而进行与字符串区域的前景代表色对应的前景像素掩模的制作。首先，前景像素掩模抽出处理部104对各字符串区域分别计算输入图像数据与字符串区域的前景代表色以及背景代表色之间的差。前景像素掩模抽出处理部104，在处理对象区域内存在背景代表色、并且输入图像数据的像素值与前景代表色之间的差小于规定的阈值、且在输入图像数据的像素值与字符串区域的前景代表色之间的差乘以规定系数(例如1.5)而得的值比输入图像数据的像素值与背景代表色之间的差小的情况下，判定为输入图像数据的对象像素为前景像素。前景像素掩模抽出处理部104通过重复进行以上的处理，生成具有与前景像素相关的信息的前景像素掩模，提供给二值图像生成处理部105。

接着，二值图像生成处理部105按由前景代表色统一处理部103统一的每一前景色的索引将前景像素掩模抽出处理部104抽出的前景像素掩模分离，从而生成每一前景色的前景像素掩模。每一前景色的前景像素掩模能够作为二值的图像来生成，二值图像生成处理部105将所生成的每一前景色的前景像素掩模作为前景层二值图像进行输出。此外，二值图像生成处理部105除了输出前景层二值图像之外，还将前景索引色信息作为前景色的索引的信息进行输出。

通过以上的处理，前景层生成处理部54能够生成将前景像素的色彩索引化而得到的前景索引色信息和与各前景代表色的索引对应的前景层二值图像，并输出给背景层生成处理部55和图像压缩部56。另外，通过按每一索引的多个前景层二值图像进行逻辑和运算(或运算)，能够得到输入图像数据的前景像素掩模。

(5)背景层生成处理部55

背景层生成处理部55是为提高背景层的压缩率而使用不是前景像素的周边背景像素填补输入图像数据的前景像素部分的处理的处理部，将处理结果作为背景层输出。图42是用于对背景层生成处理部55进行的处理进行说明的示意图。如图所示，例如，通过色彩转换处理部50～前景层生成处理部54分别进行的处理，能够从包含字符和照片等图像的输入图像数据生成表示字符像素的位置的前景像素掩模。背景层生成处理部55基于前景像素掩模，把握输入图像数据中的前景像素的位置，将前景像素部分替换为周边的背景像素，由此进行背景层的生成。

图43是表示背景层生成处理部55进行的处理的顺序的流程图。背景层生成处理部55从输入图像数据中取得一个像素作为处理对象(步骤S171)，基于前景像素掩模判定所取得的处理对象像素是否为前景像素(步骤S172)。在处理对象像素不是前景像素的情况下(S172：NO)，背景层生成处理部55将处理对象像素值作为背景层的像素值直接输出，(步骤S173)，并且将该像素值作为背景像素值存储(步骤S174)，使处理进入步骤S176。

此外，在处理对象像素是前景像素的情况下(S172：YES)，背景层生成处理部55基于在步骤S174存储的背景像素值，例如将所存储的多个背景像素值的平均值或最近存储的背景像素值等像素值与处理对象像素值替换(置换)(步骤S175)，作为背景层的像素值输出。然后，背景层生成处理部55判定是否对输入图像数据的所有像素完成了上述的处理(步骤S176)，在没有完成所有像素的处理的情况下(S176：NO)，将处理返回到步骤S171，对输入图像数据的下一个像素进行同样的处理。在完成了对所有像素的处理的情况下(S176：YES)，背景层生成处理部55结束处理。

通过以上的处理，背景层生成处理部55能够生成从输入图像数据中除去前景像素而得到的背景层并输出给图像压缩部56。由此，图像压缩部56能够对由前景层生成处理部55生成的前景层和背景层生成处理部55生成的背景层按照不同的压缩方式分别进行数据压缩。

接着，参照流程图对压缩处理部30的各部进行的处理的流程进行说明。图44～图48是表示压缩处理部30进行的处理的顺序的流程图。压缩处理部30首先利用色彩转换处理部50对来自区域分离处理部24的输入图像数据进行色彩转换(步骤S201)，然后对转换后的图像数据进行前景抽出处理部51的前景抽出处理(步骤S202)，从而得到像素块背景代表色、像素块前景代表色和前景像素块掩模。

接着，压缩处理部30进行如下处理：基于通过前景抽出处理得到的前景像素块掩模，进行线检测处理部52的线检测处理(步骤S203)，生成线信息，基于该线信息，布局分析处理部53进行输入图像数据的布局分析处理(步骤S204)，生成输入图像数据中的字符串的字符串区域信息。

接着，压缩处理部30进行如下处理：基于通过上述的处理得到的像素块背景代表色、像素块前景代表色、前景像素块掩模和字符串区域信息等，由前景层生成处理部54进行从输入图像数据中抽出前景像素而得到的前景层的生成处理(步骤S205)，基于所生成的前景层，由背景层生成处理部55进行成为输入图像数据的背景的背景层的生成处理(步骤S206)。然后，压缩处理部30利用图像压缩部56进行分别适合于所生成的前景层和背景层的方式的图像压缩处理(步骤S207)，并结束处理。

在步骤S202中进行的前景抽出处理中，压缩处理部30的前景抽出处理部51首先设定分割输入图像数据的块尺寸(例如8像素×8像素等)(步骤S211)，并以成为所设定的块尺寸的方式将输入图像数据分割为多个像素块(步骤S212)。接着，前景抽出处理部51通过判定分割后的像素块所包含的像素值的差，从多个像素块中抽出平坦像素块(步骤S213)。然后，前景抽出处理部51判定像素块的块尺寸是否达到规定尺寸(步骤S214)，在块尺寸未达到规定尺寸的情况下(S214：NO)，将块尺寸变更为小的尺寸(步骤S215)，将处理返回到步骤S212，重复进行像素块的分割和平坦像素块的抽出。

在像素块的块尺寸达到规定尺寸的情况下(S214：YES)，前景抽出处理部51，从所抽出的平坦像素块的像素值计算像素块背景代表色(步骤S216)，通过所计算出的像素块背景代表色与各像素块的像素值的比较，抽出前景像素块，生成前景像素块掩模(步骤S217)，通过各像素块的像素值与像素块背景代表色的比较，计算出像素块前景代表色(步骤S218)，结束前景抽出处理。

在步骤S203中进行的线检测处理中，压缩处理部30的线检测处理部52首先将输入图像数据的在水平方向连续的多个前景像素块作为水平线候补抽出(步骤S221)，并同样将输入图像数据的在垂直方向连续的多个前景像素块作为垂直线候补抽出(步骤S222)。接着，线检测处理部52针对所抽出的线候补，将存在于水平方向或垂直方向的同一线上并接近的多个线候补结合为一个线候补(步骤S223)，基于各线候补的宽度分布，进行各线候补是否为线的判定(步骤S224)。接着，线检测处理部52进行各线是否为水平方向或垂直方向的单独线、或者是否为构成图像中的表的线的判定(步骤S225)，最后将检测到的线的信息作为线信息输出，结束线检测处理。

在步骤S204中进行的布局分析处理中，压缩处理部30的布局分析处理部53首先对在图像数据中连续的多个前景像素块进行对作为前景区域的固有标记进行分配的标示处理(步骤S231)，基于进行标记附加后的各前景区域的高度、宽度或像素块数等信息，判定各前景区域是否为相当于字符的前景区域，并将不相当于字符的前景区域排除在外(步骤S232)。接着，布局分析处理部53进行如下的处理：基于线检测处理部52输出的线信息，将位于图像中的表内的前景区域作为字符串抽出(步骤S233)。

接着，布局分析处理部53，针对各前景区域，计算与位于上下左右任一方向的附近的其它前景区域之间的距离(步骤S234)，并且计算前景区域的水平方向的连续数和平均距离(或距离总和)(步骤S235)，并同样计算垂直方向的连续数和平均距离(或距离总和)(步骤S236)。接着，布局分析处理部53进行如下的处理：通过将水平方向的连续数和平均距离与垂直方向的连续数和平均距离进行比较，推定多个前景区域是否为构成水平方向或垂直方向的字符串的前景区域(步骤S237)，判定所推定的字符串的方向是否妥当，对判定为不妥当的字符串的方向进行修正(步骤S238)。接着，布局分析处理部53进行如下的处理：从图像数据找出推定的字符串方向相同的多个前景区域，将前景区域间的距离短且在与字符串方向垂直的方向的位置关系适当的多个前景区域作为字符串抽出，将字符串所涉及的信息制作成字符串信息(步骤S239)，基于字符串区域的宽度或高度，将不像字符串的区域从字符串信息中删除(步骤S240)，结束布局分析处理。

在步骤S205中进行的前景层生成处理中，压缩处理部30的前景层生成处理部54首先进行如下的处理：针对前景像素块掩模的各前景区域计算前景代表色(步骤S251)，基于各前景区域的前景代表色计算各字符串区域的前景代表色(步骤S252)，将计算出的各字符串区域的前景代表色以图像数据的页单位进行统一(步骤S253)。接着，前景层生成处理部54，从图像数据的像素值与前景代表色以及背景代表色的比较结果中抽出前景像素(步骤S254)，按每一前景代表色将前景像素分离，制作每一前景色的前景像素掩模(二值图像)(步骤S255)，结束前景层生成处理。

以上结构的图像形成装置利用色彩转换处理部50～布局分析处理部53进行从输入图像数据抽出字符串区域的处理，前景层生成处理部54从字符串区域抽出前景像素，通过采用这样的结构，能够以字符串区域单位进行色彩信息的索引化等，能够以字符串区域单位对前景代表色等色彩信息进行处理，因此不会以输入图像数据被过分割的区域单位(例如像素块单位)对色彩信息进行处理，能够精度良好地进行前景像素的抽出。

此外，线检测处理部52从输入图像数据中抽出线，进行从前景像素块掩模中将构成线的像素块排除在外的修正，由此，能够从前景像素的抽出对象中将线排除在外，因此能够仅将字符作为前景像素进行处理，能够提高图像压缩部56的输入图像数据的压缩率。此外，此时，由于线被作为背景处理，因此能够抑制粗糙等的发生，能够实现画质的提高。此外，线检测处理部52能够通过检测线来检测图像中的表，布局分析处理部53能够抽出表中的字符串，因此能够提高字符串区域的抽出精度。

此外，在平坦像素块抽出处理部61从输入图像数据中抽出平坦像素块时，将像素块的尺寸以逐渐变小的方式分割，重复进行是否为平坦像素块的判定，通过采用这样的结构，能够参照输入图像数据的从广范围的区域到局部的区域，进行平坦像素块的抽出，因此能够高精度地计算出背景代表色和前景代表色等，能够高精度地抽出前景像素。

此外，字符串方向推定处理部95根据前景区域间的距离及连续数对字符串方向进行推定，字符串区域抽出处理部97将在推定的方向相连的前景区域统一并作为字符串区域抽出，由此，能够高精度地从输入图像数据中抽出字符串区域。此外，分别求取输入图像数据的各像素的像素值与前景代表色以及背景代表色之间的差，前景层生成处理部54将差满足规定条件的像素作为前景像素抽出，通过采用这样的结构，能够以精度良好地进行基于前景代表色和背景代表色从输入图像数据抽出前景像素的处理。此外，前景代表色统一处理部103以输入图像数据的页单位将字符串区域的前景代表色统一，通过采用这样的结构，能够降低前景图像的色彩数，能够在将色彩信息索引化时降低索引数。

此外，图像压缩部56，对前景层生成处理部54生成的前景层和背景层生成处理部55生成的背景层分别实施例如利用可逆压缩方式的MMR压缩前景层、例如利用不可逆压缩方式的JPEG压缩背景层等适当的压缩处理，能够提高输入图像数据的压缩率。

另外，在本实施方式中，以进行抽出前景像素的图像处理的图像处理装置20装载在MFP的情况为例进行了说明，但是并不仅限于此，也可以将同样的结构应用于平头扫描装置(flat-head scanner：平台扫描装置)等图像读取装置，还可以将同样的结构应用于进行图像压缩处理的其它装置(例如产品扫描仪(product scanner)或文件归档服务器(filing server)等)。此外，本实施方式的MFP采用了对彩色的图像数据进行处理的结构，但是并不仅限于此，也可以为对黑白色的图像数据进行处理的结构。

此外，不仅能够作为MFP或图像读取装置等硬件进行本发明的图像处理的结构实现，而且还能够作为使计算机执行图像处理的计算机程序实现，能够采用如下结构：将该计算机程序的程序代码(执行形式程序、中间码程序或源程序等)记录在能够通过计算机读取的记录介质上。由此，能够携带自如地提供记录有进行本发明的前景像素抽出处理和压缩处理等图像处理的计算机程序的记录介质。

上述实施方式的MFP及变形例的图像读取装置等装置，在具备ROM(Read Only Memory：只读存储器)或硬盘等存储单元的情况下，既可以为将计算机程序的程序代码(即，程序码)存储在该存储单元的结构，此外，这些装置也可以为如下结构：具备装卸记录介质而读取程序代码的装置，通过执行从记录介质读取的计算机程序来进行图像处理。在这些情况下，存储在存储装置或记录介质等上的计算机程序，既可以为MFP或图像读取装置等装置所具备的CPU等直接读出并使其执行的结构，也可以为将程序码从存储装置或记录介质下载到RAM(Random Access Memory：随机存取存储器)等存储区而由CPU等执行的结构(用于下载程序码的计算机程序预先装设于装置主体)。

作为可装卸于MFP或图像读取装置等装置的记录介质，也可以如磁带或盒式磁带等带类介质、柔性磁盘或硬盘等磁盘介质、CD(Compact Disc：光盘)、MO(Magneto-Optical：磁光盘)、MD(MiniDisc：迷你盘)或DVD(Digital Versatile Disk：数字多用光盘)等光盘介质、IC(Integrated Circuit：集成电路)卡、存储卡或光卡等卡类介质、或者掩模ROM、EPROM(Erasable Programmable ROM：可擦除可编程ROM)、EEPROM(Electrically Erasable Programmable ROM：电可擦除可编程ROM)或闪存存储器等半导体存储介质等那样，固定地担持计算机程序的介质。这些记录介质通过安装于MFP或图像读取装置等装置，且读取并执行记录于记录介质的计算机程序，来进行上述的图像处理。

此外，MFP或图像读取装置等装置在为能够与互联网等通信网络连接而进行数据收发的结构的情况下，也可以为经由通信网络下载计算机程序且通过执行所下载的计算机程序进行图像处理的结构。在这种情况下，用于经由通信网络下载图像处理用的计算机程序的计算机程序既可以预先装设于装置主体，也可以经由记录介质等而安装。此外，本发明也能以上述计算机程序的程序码载置于以电子传输而实现的输送波的计算机数据信号的方式来实现。

此外，执行这些计算机程序的计算机，也可以具有平头扫描装置、底片式扫描仪(扫描装置)或数码照相机等图像输入装置、执行计算机程序而进行图像处理等各种各样的处理的处理装置、显示处理结果的CRT(Cathode Ray Tube：阴极射线管)显示器或液晶显示器等图像显示装置及将图像处理的结果等输出到纸等介质的打印机等图像输出装置等，此外，也可以具备用于与通信网络连接的网卡或调整解调器等通信装置。

(变形例1)

此外，在上述的实施方式中采用了压缩处理部30具备线检测处理部52的结构，但是并不仅限于此，也可以采用不具备线检测处理部52的结构。图49是表示变形例1的布局分析处理部53a的结构的框图，是压缩处理部30不具备线检测处理部52的情况下的布局分析处理部53a的结构。变形例1的布局分析处理部53a是从图21所示的布局分析处理部53除去表内矩形特定处理部93后的结构。即，变形例1的布局分析处理部53a是标示处理部91和非矩形字符串去除处理部92的处理结果被提供给附近矩形间距离算出处理部94、不进行从输入图像数据中抽出表内的字符串的处理的结构。变形例1的布局分析处理部53a的各部进行的处理与上述的布局分析处理部53的各部进行的处理相同。

图50和图51是表示变形例1的压缩处理部30进行的处理的顺序的流程图。变形例1的压缩处理部30进行的处理是从图44的流程图所示的处理中除去步骤S203的进行线检测处理的顺序后的处理。此外，变形例1的压缩处理部30的布局分析处理部53a在步骤S204中进行的布局分析处理是从图47的流程图所示的处理中除去步骤S233的抽出处理的顺序后的处理。

(变形例2)

此外，在上述的实施方式中，前景抽出处理部51的平坦像素块抽出处理部61，一边变更像素块的尺寸，一边重复进行水平方向连结平坦像素块抽出处理部72、垂直方向连结平坦像素块抽出处理部73和块库平坦像素块抽出处理部74的处理，但是并不仅限于此。图52是表示变形例2的平坦像素块抽出处理部61a的结构的框图。变形例2的平坦像素块抽出处理部61a，在初始平坦像素块抽出处理部71的处理结束后，一边变更像素块的尺寸，一边重复进行块库平坦像素块抽出处理部74的平坦像素块的抽出处理，水平方向连结平坦像素块抽出处理部72和垂直方向连结平坦像素块抽出处理部73对重复的结果得到的尺寸的像素块进行平坦像素块的抽出处理。由于水平方向连结平坦像素块抽出处理部72和垂直方向连结平坦像素块抽出处理部73进行的抽出处理在像素块的尺寸小的情况下特别有效，因此通过仅令块库平坦像素块抽出处理部74的抽出处理为重复进行的处理，能够不降低抽出精度地提高处理速度。

Claims (8)

1.一种图像处理装置，其特征在于：

从所输入的图像数据中抽出构成该图像数据的图像的前景的前景像素，所述图像处理装置具备前景抽出处理部、布局分析处理部和前景像素抽出处理部，

所述前景抽出处理部具有：

平坦像素块抽出单元，其将图像数据分割为多个像素块，将该像素块所包含的像素间的像素值之差小于规定值的平坦像素块抽出；

背景代表色算出单元，其基于该平坦像素块抽出单元抽出的平坦像素块所包含的像素的像素值，计算背景代表色；

前景像素块判定单元，其将该背景代表色算出单元计算出的背景代表色与像素块的像素值进行比较，判定该像素块是否为构成图像的前景的前景像素块，并且利用判定为是前景像素块的像素块制作前景像素块掩模；和

前景代表色算出单元，其基于该前景像素块判定单元判定的前景像素块所包含的像素的像素值，计算前景代表色，

所述布局分析处理部具有：

前景区域抽出单元，其基于所述前景像素块判定单元制作的前景像素块掩模，将前景像素块连续的前景区域抽出，制作所抽出的前景区域的前景信息；

前景区域间距离方向算出单元，其对该前景区域抽出单元抽出的多个前景区域间的距离和方向进行计算；和

字符串区域抽出单元，其根据该前景区域间距离方向算出单元计算出的距离和方向，抽出由多个前景区域构成的字符串的区域，

所述前景像素抽出处理部，根据所述背景代表色、所述前景代表色和所述字符串区域抽出单元抽出的字符串区域，从图像数据中抽出前景像素。

2.如权利要求1所述的图像处理装置，其特征在于，还具备：

线抽出单元，其基于所述前景像素块判定单元制作的前景像素块掩模，将前景像素在图像数据的图像中在水平方向或垂直方向上呈直线状连续的线抽出；和

前景像素块掩模修正单元，其进行从所述前景像素块掩模中将构成所述线抽出单元抽出的线的像素块排除在外的修正，其中，

所述布局分析处理部和所述前景像素抽出处理部使用所述前景像素块掩模修正单元修正后的前景像素块掩模进行处理。

3.如权利要求1或2所述的图像处理装置，其特征在于：

所述平坦像素块抽出单元，对于每个规定尺寸的像素块，进行是否为平坦像素块的判定，将判定为不是平坦像素块的像素块分割为比所述规定尺寸小的尺寸的像素块，反复进行对于分割得到的每个像素块进行所述判定的处理，直到像素块的尺寸达到规定尺寸。

4.如权利要求1或2所述的图像处理装置，其特征在于：

所述前景区域间距离方向算出单元，基于各前景区域的坐标信息，搜索图像数据的在水平方向或垂直方向连续的多个前景区域，计算在水平方向或垂直方向连续的多个前景区域间的距离，

所述图像处理装置还具备字符串方向推定单元，该字符串方向推定单元根据所述前景区域间距离方向算出单元计算出的距离和在水平方向或垂直方向连续的多个前景区域的连续数，推定由多个前景区域构成的字符串的方向，

所述字符串区域抽出单元，根据所述字符串方向推定单元推定的字符串方向将多个前景区域统一，将统一后的前景区域作为字符串区域抽出。

5.如权利要求1或2所述的图像处理装置，其特征在于：

所述前景像素抽出处理部，对图像数据的对象像素的像素值与所述字符串区域抽出单元抽出的字符串区域的前景代表色及背景代表色算出单元计算出的背景代表色之间的差分别进行计算，在计算出的各个差满足规定条件的情况下，将所述对象像素作为前景像素抽出。

6.如权利要求5所述的图像处理装置，其特征在于：

所述图像数据以页单位进行输入，

所述前景像素抽出处理部，以图像数据的页单位将所述字符串区域抽出单元抽出的字符串区域的前景代表色统一。

7.一种图像形成装置，其特征在于，具备：

从所输入的图像数据中抽出构成该图像数据的图像的前景的前景像素的图像处理装置；和

图像压缩单元，其分别以不同的方式对该图像处理装置从图像数据中抽出的前景像素的数据和所述前景像素以外的像素的数据进行压缩，其中，

所述图像处理装置具备前景抽出处理部、布局分析处理部和前景像素抽出处理部，

所述前景抽出处理部具有：

平坦像素块抽出单元，其将图像数据分割为多个像素块，将该像素块所包含的像素间的像素值之差小于规定值的平坦像素块抽出；

背景代表色算出单元，其基于该平坦像素块抽出单元抽出的平坦像素块所包含的像素的像素值，计算背景代表色；

前景像素块判定单元，其将该背景代表色算出单元计算出的背景代表色与像素块的像素值进行比较，判定该像素块是否为构成图像的前景的前景像素块，并且利用判定为是前景像素块的像素块制作前景像素块掩模；和

前景代表色算出单元，其基于该前景像素块判定单元判定的前景像素块所包含的像素的像素值，计算前景代表色，

所述布局分析处理部具有：

前景区域抽出单元，其基于所述前景像素块判定单元制作的前景像素块掩模，将前景像素块连续的前景区域抽出，制作所抽出的前景区域的前景信息；

前景区域间距离方向算出单元，其对该前景区域抽出单元抽出的多个前景区域间的距离和方向进行计算；和

字符串区域抽出单元，其根据该前景区域间距离方向算出单元计算出的距离和方向，抽出由多个前景区域构成的字符串的区域，

所述前景像素抽出处理部，根据所述背景代表色、所述前景代表色和所述字符串区域抽出单元抽出的字符串区域，从图像数据中抽出前景像素。

8.一种图像处理方法，其特征在与：

从所输入的图像数据中，抽出构成该图像数据的图像的前景的前景像素，

该图像处理方法包括：

将图像数据分割为多个像素块，将该像素块所包含的像素间的像素值之差小于规定值的平坦像素块抽出的工序；

基于所抽出的平坦像素块所包含的像素的像素值，计算背景代表色的工序；

将计算出的背景代表色与像素块的像素值进行比较，判定该像素块是否为构成图像的前景的前景像素块，并且利用判定为是前景像素块的像素块制作前景像素块掩模的工序；

基于判定的前景像素块所包含的像素的像素值，计算前景代表色的工序；

基于所制作的前景像素块掩模，将前景像素块连续的前景区域抽出，制作所抽出的前景区域的前景区域信息的工序；

计算所抽出的多个前景区域间的距离和方向的工序；

根据计算出的距离和方向，抽出由多个前景区域构成的字符串的区域的工序；和

根据所述背景代表色、所述前景代表色和抽出的字符串区域，从图像数据中抽出前景像素的工序。

Images