CN101923644B - 图像处理方法、图像处理装置以及图像形成装置 - Google Patents

Abstract

本发明提供一种图像处理装置，具备：区域分割部，其将输入的图像数据分为多个部分区域；顶底判断部，其求出将部分区域的图像数据的上下左右4个方向设为顶底方向时的可靠度，并将求可靠度最高的方向设为该部分区域的顶底方向；显示控制部，其针对由顶底判断部设定了顶底方向的部分区域，生成包含对象部分区域的图像和指示区域的图像的显示用图像数据，其中，该对象部分区域是顶底方向的可靠度低于规定值的部分区域，该指示区域接受指定该对象部分区域的顶底方向的用户输入；文字识别部，其针对对象部分区域将对指示区域被指定的顶底方向作为顶底方向，针对其以外的部分区域将由顶底判断部设定的顶底方向作为顶底方向，对各部分区域进行文字识别。

Description

图像处理方法、图像处理装置以及图像形成装置

技术领域

本发明涉及判断图像数据的顶底方向来进行文字识别的图像处理方法、图像处理装置以及图像形成装置、程序以及记录介质。

背景技术

一直以来，作为图像处理技术之一，公知有识别在图像数据中包含的文字的技术。该文字识别技术是例如针对由图像读取装置读取到的原稿图像的图像数据进行文字识别的技术。

在进行文字识别时，如果将图像数据从正规的状态旋转90度或者180度，则无法正确地识别文字。因此，必须判断图像数据的顶底，基于该判断结果表示的顶底方向进行文字识别。

另一方面，在图像数据之中存在包含文字的表和图表等形式不同的多个区域。对于这种图像数据很难单纯地判断顶底。因此，例如在专利文件1中将文档图像中的文字区域分离为文本区域、标题区域、表中的文字区域以及图的说明文字区域各部分区域。然后采用下述的某一种方法来判断文档图像的方向在全部文字区域执行文字识别。

(1)对文本区域、标题区域、表中的文字区域以及图的说明文字区域进行优先排序，并使用优先级别高的区域判断文档方向，并将其判断结果作为文档方向。

(2)在文字区域的方向判断中使用自信度高的判断结果，在该判断结果在多个文字区域一致的情况下，将该方向决定为文档方向。

(3)进行全部文字区域的方向判断，参考判断结果中次数多的方向决定文档的方向。

此外，在专利文件2中记载了如下的技术。即，将图像数据分为多个区域，针对各分割区域求取将它们适用于对原稿整体的顶底识别时的可靠度。接着，从可靠度最高的值的区域提取出文字数据来进行顶底识别处理。

专利文件1：日本公开专利公报“特开平9-69136号公报(1997年3月11日公开)”

专利文件2：日本公开专利公报“特开2000-32247号公报(2000年1月28日公开)”

专利文件3：日本公开专利公报“特开平6-189083号公报(1994年7月8日公开)”

专利文件4：日本国公开特许公报“特开平7-192086号公报(1995年7月28日公开)”

专利文件1、2所示的技术都是将图像数据分为多个区域，针对分割的各区域求取顶底方向，将这些顶底方向作为图像数据整体的顶底方向。例如，将分割的区域的顶底方向中的可靠度高的顶底方向作为图像数据的顶底方向。因此，在根据这样决定的顶底方向进行图像数据整体的文字识别的情况下存在如下的问题，例如在文字方向相互不同的多个区域存在于图像数据中的情况下，无法针对这些区域正确地进行文字识别。另一方面，为了提高文字的识别率，在进行文字识别时，考虑使图像数据或者所参照的词典数据旋转来进行文字识别。但是，在这种情况下，必须针对所有的方向使图像数据全体、或者词典数据全体旋转，因此会产生识别处理需要很长时间的问题。

发明内容

本发明的图像处理装置具备区域分割部，其将输入的图像数据分给为多个部分区域；顶底判断部，其分别求出将部分区域的图像数据的上下左右4个方向作为顶底方向时的可靠度，并将求得的可靠度中的可靠度最高的方向设定为该部分区域的顶底方向；显示控制部，其针对由顶底判断部设定了顶底方向的部分区域，生成用于使对象部分区域以及非对象部分区域中的至少对象部分区域的图像和指示区域的图像显示在显示装置上的显示用图像数据，其中，该对象部分区域是顶底方向的可靠度比规定值低的部分区域，该非对象部分区域是可靠度在规定值以上的部分区域，该指示区域用于接受指定对象部分区域的顶底方向的用户输入；文字识别部，其针对对象部分区域将对指示区域指定的顶底方向作为顶底方向，针对非对象部分区域将由顶底判断部设定的顶底方向作为顶底方向，对各部分区域各自进行文字识别。

本发明的图像处理方法具备：将输入的图像数据分为多个部分区域的区域分割步骤；分别求出将上述部分区域的图像数据的上下左右4个方向作为顶底方向时的可靠度，并将求出的可靠度中的可靠度最高的方向设定为该部分区域的顶底方向的顶底判断步骤；针对由上述顶底判断步骤设定了顶底方向的部分区域，生成使对象部分区域以及非对象部分区域中的至少上述对象部分区域的图像和指示区域的图像显示在显示装置上的显示用图像数据的显示控制步骤，其中，该对象部分区域是顶底方向的可靠度比规定值低的部分区域，该非对象部分区域是可靠度在规定值以上的部分区域，该指示区域用于接受指定上述对象部分区域的顶底方向的用户输入；针对上述对象部分区域将对上述指示区域指定的顶底方向作为顶底方向，针对上述非对象部分区域将由上述顶底判断部设定的顶底方向作为顶底方向，对各部分区域进行文字识别的文字识别步骤。

根据上述构成，针对由顶底判断部(顶底判断步骤)设定的顶底方向的可靠度在规定值以上的部分区域(非对象部分区域)，按照该顶底方向利用文字识别部(文字识别步骤)进行文字识别。另一方面，针对由顶底判断部(顶底判断步骤)设定的顶底方向的可靠度在比规定值低的部分区域(对象部分区域)，在显示装置上显示该对象部分区域的图像和接受指定该对象部分区域的顶底方向的用户输入的指示区域的图像。并且针对对象部分区域，按照由用户对指示区域指定的顶底方向利用文字识别部(文字识别步骤)进行文字识别。

由此，例如即使对于顶底方向的可靠度低的部分区域(对象部分区域)和可靠度高的部分区域(非对象部分区域)混合存在的输入图像数据，也能够对各部分区域按照正确的顶底方向进行正确的文字识别。此外，在对象部分区域和非对象部分区域中，以可按照正确的顶底方向进行文字识别的方式使处理顺序不同，因此能够抑制包含到文字识别处理为止的处理时间，同时可以对输入图像数据整体进行高精度的文字识别处理。

根据本发明的构成，例如即使对于顶底方向的可靠度低的部分区域(对象部分区域)和可靠度高的部分区域(非对象部分区域)混合存在的输入图像数据，也能够对各部分区域按照正确的顶底方向进行正确的文字识别。此外，在对象部分区域和非对象部分区域中，以可按照正确的顶底方向进行文字识别的方式使处理顺序不同，因此能够抑制包含到文字识别处理为止的处理时间，同时可以对输入图像数据整体进行高精度的文字识别处理。

附图说明

图1是表示本发明实施方式的图像处理装置的概略构成的框图。

图2(a)是表示例如通过输入装置(扫描仪)取得的输入图像数据的一个例子的说明图，图2(b)是表示利用图1所示的区域分割部从图2(a)所示的输入图像数据中分割的多个部分区域的说明图。

图3(a)是表示利用图1所示的区域分割部从具有文字区域的属性不同的多个部分区域的图像数据提取出的多个区块(部分区域)的说明图，图3(b)是表示利用相同的区域分割部从图像数据提取出的、表中文字区域的一例的说明图，图3(c)是表示利用相同的区域分割部从图像数据提取出的、说明文字区域的一例的说明图。

图4(a)是表示在一个部分区域内存在顶底方向不同的两种文字图像时该部分区域中的各顶底方向的可靠度的设定结果的说明图。图4(b)是表示在部分区域内的文字图像的方向是一个方向时该部分区域中的各顶底方向的可靠度的设定结果的说明图。图4(c)是表示在部分区域内文字图像少时该部分区域中的各顶底方向的可靠度的设定结果的说明图。

图5(a)是表示利用图1所示的顶底判断部算出的、针对图2(b)所示的第一～第三部分区域在0度、90度、180度、270度各顶底方向下的可靠度的说明图，图5(b)表示基于图5(a)所示的第一～第三部分区域中的各顶底方向的可靠度决定的、第一～第三部分区域的顶底方向的说明图。

图6(a)是表示利用图1所示的顶底判断部算出的、针对图2(b)所示的第一～第三部分区域的顶底方向和可靠度的说明图，图6(b)表示基于各部分区域的顶底方向的可靠度和可靠度的阈值的关系的、针对各部分区域的图1所示的显示装置的预览、输入指示显示的是否需要的例子的说明图。

图7是表示图1所示的显示控制部的构成的框图。

图8是表示图2所示的显示装置的显示画面上显示的、包含对象部分区域的图像数据的预览图像的说明图。

图9是针对图1所示的顶底判断部的顶底方向判断时可靠度低的第二部分区域显示了图像数据的预览图像的显示画面上，将与第二部分区域对应的选择区域以及指示区域弹出显示的状态的说明图。

图10是表示在图9所示的弹出显示中，以所操作的指示区域的方向变为顶部方向的方式使对象部分区域(选择区域)旋转的状态的流程图。

图11是表示图1所示的图像处理装置1的动作的流程图。

图12是表示接着图11的动作的图像处理装置1的动作的流程图。

图13是表示在图1所示的显示装置上显示的预览图像上将围绕起各部分区域的矩形框相应于各部分区域的顶底方向的可靠度而以不同颜色区分显示的例子的说明图。

图14是表示在图1所示的显示装置上显示的预览图像上将各部分区域相应于可靠度按顺序并列配置的状态的说明图。

图15(a)是表示图1所示的显示装置上预览显示的部分区域的4个方向的顶底方向与可靠度的关系的说明图，图15(b)是在图15(a)所示的部分区域的弹出显示上，与各顶底方向的可靠度相应地使指示区域的浓度或者颜色不同的状态的说明图。

图16(a)是在与图15(b)所示的4个方向的顶底方向对应的4个指示区域中，按照顶底方向的可靠度高的顺序使指示区域的浓度(颜色)变化的情况下的、可靠度从第一位至第四位的指示区域的颜色的例子的说明图，图16(b)是表示图16(a)所示的R(R1～R4)的值的说明图，图16(c)是表示图16(a)所示的R(R1～R4)的值的其他的决定方法的说明图。

图17是在图9所示的部分区域的弹出显示上，与各顶底方向的可靠度相应地使指示区域的尺寸不同的状态的说明图。

图18(a)是在与4个方向的顶底方向对应的4个指示区域中按照顶底方向的可靠度高的顺序使指示区域的尺寸(长度)变化的情况下的可靠度从第一位至第四位的指示区域的尺寸(长度)的例子的说明图，图18(b)是表示图18(a)所示的M(M1～M4)的值(倍率)的说明图，图18(c)是表示图18(a)所示的M(M1～M4)值的其他决定方法的说明图，图18(d)是表示与图18(c)所示的可靠度相应的倍率(C1～C4)的值的决定方法的说明图。

图19是表示本发明的实施方式的图像形成装置的打印动作的状态的框图。

图20是表示本发明的实施方式的图像形成装置的预览显示的动作状态的框图。

图21是表示本发明的实施方式的图像形成装置的图像发送状态的框图。

图22是表示图19所示的第1原稿检测部的构成的框图。

图23是表示图19所示的第2原稿检测部的构成的框图。

图24(a)是表示与显示装置的显示特性相应的γ校正曲线的一例的曲线图，图24(b)是表示使文字变得清楚的γ校正曲线的一例的曲线图。

图25是表示本发明的实施方式的图像读取装置的构成的框图。

附图标记说明

1图像处理装置；2显示装置；11区域分割部；12顶底判断部；13文字识别部；14显示控制部；21是否需要预览判断部；22预览图像生成部(显示用图像生成部)；23预览图像输出部(显示用图像输出部)；24旋转处理部；31选择区域；32指示区域；33预览图像；41第1部分区域；41a矩形框；42第2部分区域；42a矩形框；43第3部分区域；43a矩形框；51部分区域；200图像形成装置；201图像处理装置；202图像输入装置；203图像输出装置(打印装置)；205图像显示装置；224第1原稿检测部；225原稿校正部；231区域分离部；232第2原稿检测部；233文字识别部；300图像读取装置；301图像处理装置。

具体实施方式

(实施方式1)

图1是表示本发明的实施方式的图像处理装置1的概略构成的框图。图像处理装置1设置在例如图像输入装置上。图像输入装置从原稿读取图像，取得图像数据。进而，图像输入装置设置在复印机或者除了复印功能之外还具有其他多种功能的复合机上。图像处理装置1对上述图像数据进行图像处理。

如图1所示，图像处理装置1与显示装置2以及存储装置3连接。显示装置2设置在例如上述图像形成装置的操作面板上。该显示装置2具有作为触摸面板的功能，同时也作为图形用户接口发挥作用。另外，作为显示装置2，采用液晶显示器等一般的图像显示单元。

存储装置3是设置在上述图像形成装置中的数据保存单元。作为存储装置3，可以使用普通的硬盘装置或者其他存储装置。

在图1的构成中，由图像输入装置取得的图像数据被保存在存储装置3中。图像处理装置1对从存储装置3读出的图像数据实施图像处理并再此保存到存储装置3。此外，图像处理装置1使上述图像数据，或者使根据上述图像数据生成的预览图像显示在显示装置2上。

如图1所示，图像处理装置1具备区域分割部11、顶底判断部12、文字识别部13以及显示控制部14。

区域分割部11将所输入的图像数据(输入图像数据)中的文字区域，按文字区域的属性分为标题区域、正文区域、表中文字区域、说明文字区域(图形区域附带的文字区域)等区域，并计算出各属性区域的外接矩形(外接坐标)。另外，也可以构成为在处理文字以外的包含图像的图像数据时，在区域分割部11的前段设置后述的区域分离部231(参照图20)，通过区域分离部231从输入图像数据中分离文字区域。

图2(a)是表示例如通过上述输入装置取得的输入图像数据的一个例子的说明图，图2(b)是表示利用区域分割部11从图2(a)所示的输入图像数据中分割的多个部分区域(属性区域)、即第一部分区域41、第二部分区域42以及第三部分区域43的状态的说明图。

在图2(a)的例子中，输入图像数据作为文字区域具有3种属性区域。区域分割部11对该输入图像数据，将文字区域按照各上述属性区域分割而变成3个部分区域，并生成部分区域信息。

利用区域分割部11取得的文字区域的图像数据(部分区域的文字图像数据)以及部分区域信息被后段的顶底判断部12以及文字识别部13利用。

在此，针对区域分割部11进行的区域分割处理的详细情况进行说明。在区域分割部11中将区域分割处理按照下面的(a1)～(a8)的次序进行。该处理是用于将图像数据分为例如标题、作者名、摘要以及正文的处理。

(a1)将所输入的图像数据的起始行作为关注行，给黑色像素设置标签。即进行标记。

(a2)接着将关注行下错一行，给黑色像素设置与上述行不同的标签。

(a3)接着，判断关注行与关注行的上一行上的黑色像素的连接状态。在该判断结果是连接的情况下判断像素相连并置换为相同的标签(上行的标签)。

(a4)反复以上的(a1)～(a3)的处理，提取文字区域。基于提取出的文字区域的上端、下端、左端以及右端的像素位置，提取针对文字区域的外接矩形。另外，对于像素位置的坐标来说，将被输入的图像数据的左端的位置作为原点求取。

(a5)接着，计算出相邻的外接矩形间的距离，基于所获得的外接矩形间的距离分别确定由相邻的文字群构成的文字列。就是说，间隔小于规定值的外接矩形彼此属于相同的文字列，间隔大于规定值的外接矩形彼此不属于相同的文字列，因此通过计算出相邻的外接矩形间的距离可以确定各文字列。

(a6)接着，将任一个文字列作为关注文字列，求取属于关注文字列的外接矩形的垂直方向(相对于上述行的垂直方向)的长度的平均值。此外，该平均值是去掉垂直方向的长度小于阈值的外接矩形后算出的。这是为了去除被设定在标点符号上的外接矩形。此外，求取属于关注文字列的外接矩形的下边的坐标值的平均值。

(a7)接着，根据属于关注文字列的外接矩形的下边的坐标值的平均值，判断在朝向上述垂直方向，以上述外接矩形的规定方向的长度的平均值为基准的规定范围内，是否存在其他的文字列。该判断结果是在上述规定的范围内存在其他的文字列时，将该文字列判断为是与关注文字列相同的区域。此外，在上述规定的范围内不存在其他的文字列时，判断为在上述规定范围内不存在属于跟该关注文字列相同区域的文字列。另外，上述的规定范围是指例如外接矩形的上述垂直方向的长度的平均值的1.5倍的范围。

(a8)变更关注文字列并反复(a6)以及(a7)。由此可以例如将原稿图像根据文字区域的属性分成多个区域。

图3(a)是表示利用区域分割部11从具有文字区域的属性不同的多个区域的图像数据中提取出的多个区块(部分区域)的说明图，图3(b)是表示利用区域分割部11从图像数据中提取出的、表中文字区域的一例的说明图，图3(c)是表示利用区域分割部11从图像数据中提取出的、说明文字区域的一例的说明图。

在图3(a)中，部分区域AE是标题。该标题存在于图像数据(原稿图像)的上部或者右端，部分区域AE(外接矩形)的尺寸大。该尺寸(行方向的尺寸)是被看作正文的部分区域(外接矩形)的尺寸的例如1.5倍以上。此外，在该图中，部分区域B是作者名、部分区域C是摘要(没有必要与正文区别的区域)、部分区域D是正文。

图3(b)所示的表中文字区域，如该图所示，在外接矩形(部分区域)被格线(连续的黑色像素)围起来时，判断为是表中文字区域。图3(c)所示的说明文字区域，如该图所示，在外接矩形(部分区域)存在于线(连续的黑色像素)的附近时，判断为是说明文字区域。在该判断中，上述线(连续的黑色像素)为例如成为说明文字区域的外接矩形(部分区域)的垂直方向的长度的平均值的1.5倍的范围内。

顶底判断部12使用由区域分割部11提供的部分区域的文字图像数据以及部分区域信息，按部分区域的每个文字图像数据判断顶底方向。在各该部分区域的顶底判断中，首先计算出将顶底方向设为例如0度、90度、180度、270度4个方向时的各个顶底方向的可靠度。接着，顶底判断部12针对各部分区域，将每个顶底方向的可靠度中可靠度最高的顶底方向决定为该部分区域的顶底方向。因此，部分区域的顶底方向的可靠度变为可靠度最高的顶底方向的可靠度。

另外，顶底方向为0度是指表示该部分区域的顶底方向与文字的正规的顶底方向一致。顶底方向为90度是指表示该部分区域的顶底方向相对于文字的正规的顶底方向逆时针旋转90度(如果使该部分区域顺时针旋转90度则文字变为正规的顶底方向)。顶底方向为180度是指表示该部分区域的顶底方向相对于文字的正规的顶底方向旋转180度(如果使该部分区域旋转180度则文字变为正规的顶底方向)。顶底方向为270度是指表示该部分区域的顶底方向相对于文字的正规的顶底方向逆时针旋转270度(如果使该部分区域顺时针旋转270度则文字变为正规的顶底方向)。

接着，详细说明在顶底判断部12的顶底判断动作。在顶底判断部12中，例如使用JP特开平6-189083号公报(专利文献3)记载的方法来对每个部分区域进行图像的顶底判断。顶底判断处理的次序如下。

(b1)使用OCR技术进行文字识别，将输入图像内一个一个文字分别提出，并将该文字图案化。

(b2)比较输入图像的文字图案(以下称为输入文字图案)的特征和被数据库化的文字图案(以下称为数据库化文字图案)。作为匹配的方法，使由输入图像提出的输入文字图案重叠于数据库化文字图案上，比较每个像素的黑白。在全部的像素的黑白均相符时判断为输入文字图案是所比较的数据库化文字图案。在不是相对于输入文字图案全部的像素的黑白均匹配的数据库化文字图案时，判断为与输入文字图案匹配的像素最多的数据库化文字图案的文字是输入文字图案的文字。另外，如果不能达到规定的匹配比例则判断为不能判断。

(b3)使提出的输入文字图案按90度、180度、270度的次序依次旋转，在各旋转角度上反复上述(b2)的处理。

(b4)作为顶底方向的判断结果，输出在0度、90度、180度以及270度4个方向上可判断的文字数。

接着，说明在顶底判断部12的顶底判断的可靠度的设定处理。利用上述顶底判断处理获得各顶底方向上的可判断的文字数。在顶底判断部12中，根据这些文字数设定0度、90度、180度以及270度4个方向上的可靠度。

图4(a)是表示在一个部分区域内存在顶底方向不同的两种文字图像时各顶底方向的可靠度的设定结果的说明图。图4(b)是表示在部分区域内的文字图像的方向是一个方向时各顶底方向的可靠度的设定结果的说明图。图4(c)是表示在部分区域内文字图像少时各顶底方向的可靠度的设定结果的说明图。

如图4(a)所示，在一个部分区域内存在顶底方向不同的2种文字图像(顶底方向是0度以及270度方向的文字图像)时、在0度以及270度方向上可靠度高。其中，此时两个方向的可靠度之差小。此外，如图4(b)所示，在部分区域内的文字图像的方向是一个方向(0度方向)时，在0度方向上可靠度变高。此外，如图4(c)所示，在部分区域内文字图像少时，在所有的顶底方向上的可靠度都降低。

图5(a)是表示利用顶底判断部12算出的、针对图2(b)所示的第一～第三部分区域41～43在0度、90度、180度、270度的各顶底方向下的可靠度的说明图，图5(b)表示基于图5(a)所示的第一～第三部分区域41～43中的各顶底方向的可靠度决定的、针对第一～第三部分区域41～43的顶底方向的说明图。在图5(b)的结果中，顶底方向决定为：第1部分区域41是90度、第2部分区域42是270度、第3部分区域43是180度。

显示控制部14、取得由顶底判断部12决定的、关于各部分区域的顶底方向的可靠度，在可靠度不到规定的阈值的部分区域(以下称为对象部分区域)包含在图像数据中的情况下，针对包含该对象部分区域的图像数据做成预览图像，并输出到显示装置2。在该预览图像中包含催促指定针对对象部分区域的图像数据的顶底方向的输入的显示。另外，上述预览图像也可以仅包含输入图像数据中的、对象部分区域的图像数据。

图6(a)是表示根据利用顶底判断部12算出的图5(a)以及图5(b)所示判断结果得到的针对第一～第三部分区域41～43的顶底方向和可靠度的说明图，图6(b)表示基于针对各部分区域的顶底方向的可靠度和可靠度的阈值的关系的、针对各部分区域在显示装置2上是否需要预览显示的例子的说明图。

如图6(a)所示，各部分区域的顶底方向和其可靠度(顶底方向/可靠度)，第1部分区域41是90度/80、第2部分区域42是270度/40、第3部分区域43是180度/90。在此，将顶底方向的可靠度的上述阈值设为70时，如图6(b)所示，针对第1以及第3部分区域41，43不需要预览显示，针对第2部分区域42需要预览显示(预览显示对象)。

为了进行上述动作，显示控制部14如图7所示具备是否需要预览判断部21、预览图像生成部(显示用图像生成部)22、预览图像输出部(显示用图像输出部)23以及旋转处理部24。图7是表示图1所示的显示控制部14的构成的框图。

是否需要预览判断部21，将针对由顶底判断部12决定的各部分区域的顶底方向的可靠度与规定的阈值进行比较，针对各部分区域判断是否需要接受用户对顶底方向的指定。即，至少判断该对象部分区域以及用于用户指定该对象部分区域上的顶底方向的指示区域32是否需要预览显示。

(1-1)是否显示预览的第1判断方法

具体来说，是否需要预览判断部21取得由顶底判断部12决定的、各部分区域上的顶底方向的可靠度，并将这些可靠度与规定的阈值比较。然后，针对顶底方向的可靠度不足规定的阈值的部分区域(对象部分区域)必须进行上述预览显示，而对于顶底方向的可靠度在规定的阈值以上的部分区域不需要上述预览显示。

另外，作为对于是否需要上述预览显示的判断方法除了上述第1判断方法以外还有后述的判断方法。

预览图像生成部22，在通过是否需要预览判断部21判断出对象部分区域包含在上述图像数据中时，至少生成针对该对象部分区域的预览图像。或者、生成包含对象部分区域的图像数据全体的预览图像。是否生成某种预览图像可以在图像处理装置1中适宜地设定。在此，针对生成后者的预览图像的情况进行说明。

预览图像生成部22生成的预览图像至少包含指示区域。进而还可以包含选择区域。

选择区域是相当于上述对象部分区域的区域，是由触摸面板构成的区域。指示区域是通过用户的输入操作指定作为上述选择区域显示的对象部分区域的顶底方向的区域。选择区域如后述那样用于弹出显示的情况。

生成选择区域时，预览图像生成部22从存储装置3读出包含对象部分区域的图像数据。接着，参照由从区域分割部11提供的部分区域信息中的、与对象部分区域相关的部分区域信息，在读出的上述图像数据中，计算并提取与对象部分区域相当的区域的坐标来生成选择区域。然后，配置成将生成的选择区域重叠于上述图像数据的对象部分区域上。

指示区域是由例如沿上述选择区域的4个边配置的框状的由触摸面板构成的区域。在上述指示区域中，通过用户操作沿上述4个边中的某一个部分，从而指定对象部分区域并且可以指定该对象部分区域的顶底方向。生成指示区域时，预览图像生成部22计算并求出指示区域的配置位置的坐标，配置在选择区域(对象部分区域)的周围。

预览图像输出部23将由预览图像生成部22生成的预览图像输出到显示装置2。此时，预览图像输出部23，对预览图像进行像素间隔剔除处理或者扩大处理，以便使预览图像全体在显示装置2上以适当的尺寸显示。然后，预览图像输出部23进行与显示装置2的显示特性相应的灰度校正(γ校正)。

作为针对图像的像素的间隔剔除处理或者放大处理例如公知有最邻近法、双线性内插法以及双三次插值法。

对最邻近法来说，对最接近插补的像素的像素的值、或者将与内插的像素处于规定的位置关系的现有像素的值设定为插补的像素的值。对双线性内插法来说，求取以与围绕插补的像素周围4点的现有像素的距离成比例的方式加权得到值的平均值，使所求出的值为该插补像素的值。双三次插值法是指利用除在包围插补的像素的四点之外，还加上包围这些的12点、共计16点的现有像素，进行插补运算。

旋转处理部24进行使显示在显示装置2上的图像(图像数据)旋转的旋转处理。例如，在对上述指示区域进行了指定图像的顶底方向的用户的输入的情况下，基于用户选择的指示区域的位置进行图像数据的转换处理即旋转处理。图像数据的旋转在本实施方式中，利用90度、180度或者270度的90度为单位例如顺时针进行。

文字识别部13对包含在图像数据中的各部分区域的图像数据，比较图像数据与词典数据来进行文字识别。具体来说，利用转换为黑白二值(亮度信号)的低分辨率(例如300dpi)的图像数据，提取图像数据的特征量，与词典数据比较来进行文字识别。

此时，文字识别部13，对可靠度在阈值以上的部分区域的图像数据，按照由顶底判断部12决定的顶底方向进行文字识别。相反，由于可靠度不足阈值而由用户对指示区域指定了顶底方向的对象部分区域的图像数据，按照所指定的顶底方向进行文字识别。另外，在对对象部分区域指定了顶底方向的情况下，对象部分区域的图像数据通过旋转处理部24被旋转到所指定的顶底方向。因此，文字识别部13对旋转处理后的图像数据进行文字识别。

例如，因为在第1部分区域41的顶底方向的判断结果为90度，所以对于第1部分区域41的图像数据，将图像数据顺时针旋转90度旋转之后进行文字识别。由此，减轻了顶底方向不同带来的误识别，提高了文字识别精度。

(2-1)部分区域的矩形框的第1显示例

在不仅对象部分区域，所有的部分区域都进行预览显示时，或者在对象部分区域包含在输入图像数据中的状态下进行预览显示时，也可以显示包围对象部分区域的矩形框。图8是表示在显示装置2的显示画面2a上显示的、包含对象部分区域的图像数据的预览图像的说明图。在该例中，仅作为对象部分区域的第2部分区域42显示矩形框。此外，第2部分区域42的矩形框42a变为上述的指示区域。另外，作为部分区域的矩形框的显示例，除了上述第1显示例之外，还有后述的显示例。

(3-1)弹出显示的第1例

图9是表示在顶底方向的可靠度低(比与可靠度有关的规定的阈值低)的第2部分区域42上显示了图像数据的预览图像的显示画面2a上，弹出显示了与第2部分区域42对应的选择区域31以及指示区域32的状态的说明图。

如上述那样，在顶底方向的可靠度比规定的阈值低的部分区域(对象部分区域)至少预览显示该对象部分区域的图像。在该预览显示时也可以弹出显示该对象部分区域的图像。

图9的显示状态通过在图8所示的显示状态下，以在第2部分区域42上配置了由触摸面板构成的选择区域31的构成为前提，由用户操作该选择区域31、或者由用户操作指示区域32而获得。

在图9的显示中，弹出显示对象部分区域的图像，然后将指示区域重叠于弹出显示的对象部分区域的周围来弹出显示。此外，在弹出显示时，将图像数据全体作为预览图像显示，其中也可以仅弹出显示对象部分区域、或者也可以仅将对象部分区域作为预览图像弹出显示。在图9中表示后者的情况。此情况的选择区域以及指示区域的生成方法如前所述。

此外，在图9的显示中，在弹出显示对象部分区域(选择区域31)时，对该对象部分区域(选择区域31)以按照由顶底判断部12决定的顶底方向使其旋转了的状态来显示。此时的旋转处理通过旋转处理部24来进行。

另外，在顶底判断部12中，在图6(a)所示的第2部分区域42的顶底方向的判断中发生了误判断。即，在顶底判断部12的判断结果中，虽然可靠度最高的顶底方向是270度，但是正确的结果是90度。因此，在图9的弹出显示中，按照误判断的顶底方向使第2部分区域42顺时针旋转270度来显示。此外，作为弹出显示的例子，除了上述第1例之外还有后述的例子。

在弹出显示中，某一个指示区域32被操作了的情况下，如图10所示，例如以被操作的指示区域32的方向变为顶部方向的方式使对象部分区域(选择区域31)旋转。该旋转处理通过旋转处理部24进行。在图10的例子中，示出了配置指示区域32a～32d，由用户操作了指示区域32a的情况。

此外，在显示输入图像数据全体的预览图像的情况下，不仅对象部分区域，还可以在所有的部分区域上进行。此时的各部分区域的弹出显示的方法与弹出显示部分区域(选择区域31)以及指示区域32等仅弹出显示上述的对象部分区域的情况相同。

另外，弹出显示以及预览显示的结束通过操作未图示的显示结束按钮来进行。此外，对于输入图像数据全体的顶底方向，在显示了预览图像的状态下，在显示装置2的显示画面2a上，也可以确认输入图像数据全体的顶底方向，并且进行催促用户进行指定顶底方向的输入的显示。

在上述的构成中，基于图11以及图12的流程图在下面说明本发明的实施方式的图像处理装置1的动作。图11是表示图1所示的图像处理装置1的动作的流程图，图12是表示接着图11的动作的图像处理装置1的动作的流程图。

在图像处理装置1中，将所输入的图像数据存储在存储装置3(S11)。该输入图像数据例如是由图像读取装置读取到的原稿的图像数据。

接着，区域分割部11从存储装置3读出输入图像数据，将该图像数据分为多个部分区域(S12)。

接着，顶底判断部12针对各部分区域计算关于第1方向～第4方向(0度方向、90度方向、180度方向、270度方向)的顶底方向的可靠度(S13)。

接着，将各部分区域中的顶底方向的可靠度是第1位的顶底方向作为各部分区域的顶底方向储存(S14)。

接着，显示控制部14判断在输入图像数据中是否包含可靠度低的部分区域、即在输入图像数据中是否包含部分区域的顶底方向(部分区域中的可靠度是第1位的顶底方向)的可靠度不足规定的阈值的部分区域(S15)。

该判断结果，在输入图像数据中包含顶底方向的可靠度不足规定的阈值的部分区域(对象部分区域)的情况下，显示控制部14做成针对该对象部分区域的指示区域(触摸区)32和选择区域(触摸区)31(S16)。另外，对象部分区域存在多个的情况下，针对各对象部分区域做成指示区域32以及选择区域31。

接着，显示控制部14从存储装置3读出应预览显示的输入图像数据(S17)，对该输入图像数据进行用于预览显示的间隔剔除处理(S18)。

接着，显示控制部14在间隔剔除处理后的输入图像数据的对象部分区域上重叠选择区域31和指示区域32，将该输入图像数据作为预览显示用的图像数据输出到显示装置2。由此，在显示装置2上进行预览显示(S19)。

在该预览显示状态下，在显示装置2上接受对选择区域31的选择(S20)。此时，显示控制部14也可以在显示装置2上进行旨在显示选择区域31被ON操作时对象部分区域弹出显示的情况。

其后，也可以没有对选择区域31的选择的输入(S21)，此外，对全部的对象部分区域进行了向指示区域32指定顶底方向的输入之后(S22)结束处理。

另一方面，在S21，当进行对在对象部分区域上设定的选择区域31进行选择的输入操作后，显示控制部14将与进行了输入操作的选择区域31对应的对象部分区域从输入图像数据(例如上述的完成了间隔剔除处理的图像数据)提出(S23、图12)。

接着，显示控制部14扩大提出的对象部分区域(S24)，使扩大的对象部分区域与指示区域32暂时旋转(S25)。该暂时旋转是指如上述那样，将该对象部分区域按照由顶底判断部12决定的顶底方向旋转的处理。

接着，显示控制部14将在S25处理的对象部分区域与指示区域32作为弹出显示用的图像数据输出到显示装置2。由此，在显示装置2中弹出显示了对象部分区域和指示区域32(S26)。另外，用于该弹出显示的一系列处理，也可以不将用户向选择区域31的输入作为要件(不经过S20以及S21的处理)，而在例如S19对象部分区域的预览显示时自动地进行。

在该弹出显示状态下，在显示装置2上接受对指示区域32的选择(S27)。此时，显示控制部14也可以在显示装置2上显示催促用户在指示区域32输入对图像的顶底方向进行指定的意思。

其后，当对对象部分区域周围的某一个指示区域32进行了用户输入时(S28)，显示控制部14将与进行了用户输入的指示区域32对应的对象部分区域的顶底方向更新为通过对指示区域32的输入操作指定的顶底方向(S29)。

接着，显示控制部14，使对象部分区域和指示区域32以与通过对指示区域32的用户输入指定的顶底方向一致的方式旋转(S30)，并返回S26的处理。由此，在显示装置2中，对象部分区域在被旋转到通过对指示区域32的用户输入所指定的顶底方向的状态下被弹出显示。

另一方面，在S28中，在对对象部分区域周围的任一个指示区域32都没有用户输入的状态下，例如通过用户输入指示了弹出显示结束时(S31)，返回S20而变为对选择区域31的选择接受状态。

此外，在S28中对于对象部分区域周围任一个指示区域32都没有用户输入，并且在S31中没有通过例如用户输入指示了弹出显示的结束的状态下，在S21从对选择区域31的输入操作起经过规定时间后(S32)返回S20而变成对选择区域31的选择接受状态。另外，在S21对选择区域31的输入操作起未经过规定时间的状态下，反复S26、S27、S28、S31、S32的处理。

如以上那样，在本实施方式的图像处理装置1中，对于顶底方向的可靠度低的部分区域(对象部分区域)和高的部分区域(非对象部分区域)混合存在的输入图像数据(例如PDF数据)也可以针对各部分区域按照正确的顶底方向进行正确的文字识别。此外，在对象部分区域和非对象部分区域中，以可以按照正确的顶底方向进行文字识别的方式使处理次序不同，因此抑制了包含到文字识别处理为止的处理时间，同时可以对输入图像数据全体进行高精度的文字识别处理。

另外，作为上述预览显示的是否需要的判断方法除了上述的第1判断方法之外还有下述的判断方法。

(1-2)是否需要预览显示的第2判断方法

是否需要预览判断部21取得由顶底判断部12决定的、在各部分区域上的顶底方向的可靠度，求取在各部分区域上可靠度是第1位的顶底方向的可靠度R1和可靠度是第2位的顶底方向的可靠度R2之比(R1/R2)。然后比较各部分区域的比(R1/R2)与规定的阈值TC(例如TC＝2)。该比较的结果是，对于比(R1/R2)在规定的阈值TC以下的部分区域(对象部分区域)上述预览显示是必要的、比(R1/R2)大于规定的阈值TC的部分区域不需要上述预览显示。

(1-3)是否需要预览显示的第3判断方法

是否需要预览判断部21取得由顶底判断部12决定的、各部分区域上的顶底方向的可靠度，针对各部分区域比较可靠度是第1位的顶底方向的可靠度R1与规定的阈值Ta(例如Ta＝70)。此外，在各部分区域上求取可靠度是第1位的顶底方向的可靠度R1和可靠度是第2位的顶底方向的可靠度R2之比(R1/R2)，并比较该比(R1/R2)与规定的阈值TC(例如TC＝2)。对于该比较的结果是可靠度R1是规定的阈值Ta以下并且比(R1/R2)在规定的阈值TC以下的部分区域，需要上述预览显示，而对于可靠度R1大于规定的阈值Ta、或者比(R1/R2)大于规定的阈值TC的部分区域，不需要上述预览显示。

此外，作为部分区域的矩形框的显示例除了上述第1显示例之外还有下述的显示例。

(2-2)部分区域的矩形框的第2显示例

不仅对象部分区域，在全部的部分区域上预览显示的情况下，也可以将各部分区域与顶底方向的可靠度相应地以不同颜色区分显示。此时，可以例如改变颜色来显示将各部分区域围起来的矩形框。图13是表示在显示装置2上显示的预览图像33上，将把各部分区域围起来的矩形框与各部分区域的顶底方向的可靠度相应地以不同颜色区分显示的例子的说明图。在图13中，顶底方向的可靠度是第1位的第3部分区域43的矩形框43a表示为浓度低的颜色(浅色)、将顶底方向的可靠度是第2位的第1部分区域41的矩形框41a表示为浓度是中间色、将顶底方向的可靠度是第3位的第2部分区域42的矩形框42a表示为浓度高的颜色(深色)。另外，各矩形框41a～43a也可以具有与上述的指示区域32相当的功能。

(2-3)部分区域的矩形框的第3显示例

不仅对象部分区域，在全部的部分区域进行预览显示的情况下，也可以将各部分区域按照与顶底方向的可靠度相应的顺序排列配置。图14是表示在显示装置2上显示的预览图像33上，将各部分区域按照与可靠度相应的顺序排列配置的状态的说明图。在图14的例子中，第1～第3部分区域41～43按照顶底方向的可靠度从低到高的顺序从左向右排列。另外，各矩形框41a～43a也可以具有与上述指示区域32相当的功能。

此外，作为弹出显示的例子，除了上述第1例之外还有下述的例子。

(3-2)弹出显示的第2例

在上述(3-1)的例子中，构成为用户操作对象部分区域上的、由触摸面板构成的选择区域31或者指示区域32，从而弹出显示对象部分区域(选择区域31)。与此相对，也可以构成为在将对象部分区域作为预览图像弹出显示的情况下，也可以不经过图8的显示状态，如图9所示那样直接弹出显示对象部分区域。

(3-3)弹出显示的第3例

在图9的弹出显示中，将对象部分区域(选择区域31)以按照由顶底判断部12决定的顶底方向旋转的状态来显示。相对于此，可以在将对象部分区域(选择区域31)不按照由顶底判断部12决定的顶底方向旋转的状态，即图像数据中的第2部分区域42的顶底方向原样显示。

(3-4)弹出显示的第4例

在例如图9所示的弹出显示中，显示出以将对象部分区域(选择区域31)围起来的方式呈矩形框状配置的4个指示区域32。该例是使这些指示区域32的显示浓度或者显示颜色与对象部分区域上的每个顶底方向的可靠度相应地不同的例子。

图15(a)是表示在显示装置2上预览显示的部分区域的4个方向的顶底方向与可靠度的关系的说明图。图15(b)是表示在图15(a)所示的部分区域的弹出显示上与各顶底方向的可靠度相应地使指示区域32的浓度或者颜色不同的状态的说明图。

在图15(a)所示的部分区域51中，顶底方向与可靠度的关系从逆时针方向来看是0度/35、90度/10、180度/80、270度/15。对于这样的部分区域51，在图15(b)所示的弹出显示中，与可靠度最低的顶底方向对应的指示区域32浓度最低(最浅色)而随着可靠度变高指示区域32的浓度变高(深色)。

图16(a)是在与图15(b)所示的4个方向的顶底方向对应的4个指示区域中，按照顶底方向的可靠度从高到低的顺序使指示区域的浓度(颜色)变化的情况下的、可靠度从第一位至第四位的指示区域的颜色的例子的说明图，图16(b)是表示图16(a)所示的R(R1～R4)的值的说明图，图16(c)是表示图16(a)所示的R(R1～R4)的值的其他的决定方法的说明图。

在图15(a)所示的部分区域51中，各顶底方向的可靠度的顺序是第1位：180度、第2位：0度、第3位：270度、第4位：90度。另一方面，在图16(a)的例子中，使表示指示区域32的颜色的R，G，B的值中的G(＝0)以及B(＝127)恒定，而使R的浓度变化。此外，在图16(b)的例子中从R1朝向R4浓度降低。因此，指示区域32的颜色，在与第1位的180度对应的指示区域32的颜色最深，对于第2位的0度、第3位的270度、第4位的90度，颜色依次变浅。但是，在此指示区域32的值浓度(颜色)不仅由可靠度的值决定还根据可靠度的顺序来决定。

在图16(c)的例子中，以顶底方向的可靠度是第1位的可靠度为基准，求取相对于该可靠度的其他的顶底方向的可靠度的比C，利用该比C决定与各顶底方向对应的指示区域32的浓度(颜色)。

(3-5)弹出显示的第5例

该例子是在例如图9所示的弹出显示中，使与各顶底方向对应的4个指示区域32的显示尺寸与每个对象部分区域51的顶底方向的可靠度相应地不同的例子。

图17是表示在图9所示的部分区域的弹出显示上与各顶底方向的可靠度对应地使指示区域32的尺寸不同的状态的说明图。在该例子中，呈矩形显示的指示区域32的长度不同。

在图17所示的部分区域51中，顶底方向与可靠度的关系如图15(a)所示那样从逆时针方向看是0度/35、90度/10、180度/80、270度/15。相对于这种部分区域51，在图17所示的弹出显示中，与可靠度最低的顶底方向对应的指示区域32最短，而随着可靠度变高指示区域32的长度变长。

图18(a)是在与4个方向的顶底方向对应的4个指示区域中按照顶底方向的可靠度从高到低的顺序使指示区域的尺寸(长度)变化的情况下的可靠度从第一位至第四位的指示区域的尺寸(长度)的例子的说明图，图18(b)是表示图18(a)所示的M(M1～M4)的值(倍率)的说明图，图18(c)是表示图18(a)所示的M(M1～M4)的值的其他的决定方法的说明图，图18(d)是表示与图18(c)所示的可靠度相应的倍率(C1～C4)的值的决定方法的说明图。

在图15(a)所示的部分区域51中，各顶底方向的可靠度的顺序是第1位：180度、第2位：0度、第3位：270度、第4位：90度。另一方面，在图18(a)的例子中，将各指示区域32的尺寸(长度)确定为给指示区域32的基准尺寸(例如最大尺寸)乘以倍率M而获得。倍率M如图18(b)所示，顶底方向的可靠度越高则越大。因此，指示区域32的尺寸(长度)是，与第1位的180度对应的指示区域32的尺寸(长度)最大、朝向第2位的0度、第3位的270度、第4位的90度依次变小。但是，在此指示区域32的尺寸不仅由可靠度的值决定还根据可靠度的顺序决定。

在图18(c)的例子中，将上述倍率M(M1～M4)设为与可靠度的值相应的值C(C1～C4)。即，为了求取各指示区域32的尺寸(长度)，如图18(d)所示，将指示区域32的基准尺寸乘的倍率M设为其他的顶底方向的可靠度相对于顶底方向的可靠度是第1位的可靠度之比。

(实施方式2)

以下，基于附图说明本发明的其他实施方式。本实施方式表示将图1所示的图像处理装置1应用于复合机即图像形成装置的例子。图19是表示图像形成装置200中的打印动作的状态的框图。图20是表示图像形成装置200的预览显示的动作状态的框图。图21是表示图像形成装置200的图像发送状态的框图。

本实施方式的图像形成装置200是具备复印功能(复印模式)、打印功能(打印模式)、传真收发功能(传真送信模式、传真接收模式)以及扫描并发送邮件(scan to e-mail)功能(扫描并发送邮件模式)等的数字彩色复合机。

复印模式是读取原稿的图像数据，并将该图像数据的图像打印到纸张上的模式。打印模式是将从与图像形成装置200连接的终端装置送来的图像数据的图像打印到纸张上的模式。传真送信模式是读取原稿的图像数据，并将该图像数据经电话线路向外部装置发送的模式。传真接收模式是将图像数据自外部装置由传真接收，并将接收到的图像数据的图像打印到纸张上的模式。扫描并发送邮件模式是将读取原稿而生成的图像数据添加到电子邮件中并向所指定的地址发送的模式。另外，图像输出装置(打印装置)是再现电子照相方式打印机、喷墨方式打印机等的图像的装置。

图像形成装置，例如如图19所示，具备图像处理装置201、图像输入装置202、图像输出装置203、收发装置204、图像显示装置205、存储装置204以及控制装置207。

图像输入装置202具备CCD(Charge Coupled Device)线性传感器，进行原稿的读取动作。即，对原稿照射光线，将从原稿反射来的光转换为被色分解为R、G、B(R：红、G：绿、B：蓝)的电信号。图像处理装置201对自图像输入装置202输入的图像数据实施图像处理。图像输出装置203是例如电子照相方式的打印机或喷墨打印机方式的打印机，将自图像处理装置201输入的图像数据的图像打印到纸张上。收发装置204与电话线路或者因特网连接，在与外部装置之间收发图像数据。图像显示装置205是图像形成装置200的操作面板(未图示)上所具备的触摸面板式的例如液晶显示器，可彩色显示。该图像显示装置对应于图1所示的显示装置2。

存储装置206对应于图1所示的存储装置3。控制装置207是包含CPU的计算机，统一控制图像形成装置200具备的各种硬件、各硬件间的数据转送等。此外，控制部108也具有图像形成装置200中所具备的进行各种控制的功能。

图像处理装置201具有A/D(模拟/数字)转换部221、黑斑校正部222、输入处理部223、第1原稿检测部224、颜色校正部226、黑生成/底色去除部227、空间滤波部228、输出灰度校正部229、灰度级生成部230以及区域分离处理部231、第2原稿检测部232、文字识别部233、描画命令生成部234以及格式化处理部235。

A/D转换部221将从图像输入装置202输入的模拟RGB图像信号转换为数字RGB图像数据。黑斑校正部222对从A/D转换部221输入的图像数据实施去除由图像输入装置202的照明系统、成像系统、摄像系统产生的各种变形。输入处理部223对从黑斑校正部222输入的RGB图像数据分别实施γ校正处理等灰度转换处理。

第1原稿检测部224对利用输入处理部223处理过的图像数据进行原稿的倾斜检测。原稿校正部225基于由第1原稿检测部224的倾斜检测的结果，对图像数据进行倾斜校正处理。

颜色校正部226将从原稿校正部225输入的RGB图像数据转换为CMY图像数据，同时对该图像数据实施提高颜色再现性的处理。

黑生成/底色去除部227根据从颜色校正部226输入的CMY图像数据来生成黑(K)的图像数据，并根据从输入的CMY图像数据减去黑(K)的图像数据来生成新的CMY的图像数据。

空间滤波部228对从黑生成/底色去除部227输入的CMYK或者CMY的图像数据，进行以区域分离数据为基础利用数字滤波器实施空间滤波处理(强调处理、平滑化处理等)。

输出灰度校正部229对从空间滤波部228输入的图像数据进行用于输出到纸张等记录介质上的γ校正处理。

灰度级生成部230对从输出灰度校正部229输入的图像数据，利用误差扩散法和抖动法，在图像输出装置203中进行打印图像所需的灰度再现处理(灰度级生成处理)。

区域分离部231，针对从原稿校正部225输入的RGB图像数据，判断各像素属于例如黑色文字区域、彩色文字区域或者网格区域中的哪一个区域，并生成表示其判断结果的区域分离数据。生成的区域分离数据被输出到黑生成/底色去除部227、空间滤波部228以及灰度级生成部230。

第2原稿检测部232具有与图1所示的区域分割部11、顶底判断部12以及显示控制部14对应的功能。

文字识别部233与图1所示的文字识别部13对应，并具有与文字识别部13同样的功能。

描画命令生成部234针对图像数据进行将利用文字识别部233作出的文字识别结果作为透明文本嵌入的处理。

格式化处理部235将被输入的图像数据转换为外部装置可处理的通用的格式(文件形式)。

图22是表示第1原稿检测部224的构成的框图。第1原稿检测部224，如图22所示，具备信号转换部241、2值化处理部242、分辨率转换部243以及原稿倾斜检测部244。

信号转换部241通过下述的运算将RGB彩色图像数据转换为亮度信号。

Yi＝0.30Ri+0.59Gi+0.11Bi

Y：各像素的亮度信号

R，G，B：各像素的各色成分的值

下标i：给予每个像素的值(i是1以上的整数)

另外，也可以在利用信号转换部241的处理中，将RGB信号转换为CIE1976L*a*b*信号(CIE：Commission International del′Eclairage、L*：明度、a*，b*：色度)、或者、也可以使用G信号。

2值化处理部242将从信号转换部241输入的图像数据2值化。在图像数据是8比特时例如将阈值设为128。或者，由多个像素(例如5×5)构成的区块，也将浓度(像素值)的平均值设为阈值。

分辨率转换部243将由2值化处理部242被2值化的图像数据的分辨率低分辨率化。例如，将以1200Dpi或者600Dpi读入的图像数据转换为300dpi。分辨率转换的方法利用公知的最邻近法、双线性内插法、双三次插值法等进行。

原稿倾斜检测部244利用例如JP特开平7-192086号公报(专利文献4)所记载的方法进行原稿的倾斜检测。该原稿倾斜检测，是指为了读取原稿图像而校正放置在作为扫描仪的图像输入装置202上的原稿倾斜的读取图像(图像数据)。在此，原稿倾斜检测是通过下面的次序进行。

(c1)从由2值化处理部242被2值化的图像数据中，提取多个黑色像素和白色像素的交界点，求出各交界点的点列的坐标数据。此时，黑色像素和白色像素的交界点是例如各文字的上端的白/黑交界点的坐标，求取该坐标并存储到存储装置206。

(c2)参照由通过上述(c1)的处理获得的多个交界点的坐标构成的点列坐标数据，并根据该点列坐标求出回归直线，计算该回归系数b并存储到存储器中(下述(1)式)。

$b=\frac{\mathrm{Sxy}}{\mathrm{Sx}}---\left(1\right)$

在此，(1)式的Sx、Sy分别是用变量x和y的残差平方和，Sxy是x的残差和y的残差之积的和。即，用下面的(2)～(4)式表示。

$\mathrm{Sx}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-x)}^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\right)}^2/n---\left(2\right)$

$\mathrm{Sy}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-y)}^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i\right)}^2/n---\left(3\right)$

$\mathrm{Sxy}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-x)(y_i-y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\right)\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i\right)/n---\left(4\right)$

利用回归系数b通过(5)式计算出图像的倾斜角度(θ)。

tanθ＝b    (5)

从原稿校正部225将校正了原稿的倾斜的300dpi的图像数据输出到第2原稿检测部232。在第2原稿检测部232上设置的区域分割部11中，由于只要分开其布局即可，所以也可以通过上述分辨率转换部243生成75dpi的图像数据并输出到第2原稿检测部232，而将300dpi的图像数据向文字识别部233输出。

原稿校正部225，如前述那样，基于在第1原稿检测部224的倾斜检测的结果，对图像数据进行倾斜校正处理。

将图像数据以原点为中心，逆时针倾斜校正了角度θ时校正前后的坐标的关系用以下的(6)式表示，并使用该式进行原稿的倾斜校正。

校正前坐标(X，Y)、校正后坐标(X’，Y’)

$\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}X\\ Y\end{array}\right)---\left(6\right)$

例如、将图像数据以原点为中心，逆时针旋转角度为90度、180度、270度时旋转前后的坐标的关系用下式表示。在此，使用下述式来进行原稿的倾斜校正。

旋转前坐标(X，Y)、旋转后坐标(X’，Y’)

旋转90度时

X’＝原始图像Y方向尺寸-1-Y

Y’＝X

旋转180度时

X’＝原始图像X方向尺寸-1-X

Y’＝原始图像Y方向尺寸-1-Y

旋转270度时

X’＝Y

Y’＝原始图像X方向尺寸-1-X

图23是表示第2原稿检测部232的构成的框图。第2原稿检测部232具备区域分割部251、顶底判断部252以及顶底判断校正部253。区域分割部251与图1所示的区域分割部11对应，具有与区域分割部11相同的功能。顶底判断部252与图1所示的顶底判断部12对应，具有与顶底判断部12相同的功能。顶底判断校正部253使从顶底判断部252输出的2值图像数据以90度为单位旋转。旋转多少度根据顶底判断部252的顶底判断结果。

在上述的构成中，针对图像形成装置200中的复印模式下的打印动作(图19)来说明。此时，利用图像输入装置202读取原稿的图像，将模拟的彩色图像信号(RGB模拟信号)从图像输入装置202输入图像处理装置201。该图像信号由A/D转换部221被转换为数字信号，并通过黑斑校正部222去除在图像输入装置202的照明系统、成像系统、摄像系统生成的各种变形。其后，在输入处理部223对各个RGB信号实施校正γ的处理等。由输入处理部223处理过的图像数据临时被存储在存储装置206。

接着，第1原稿检测部224对存储在存储装置206的上述图像数据进行原稿的倾斜检测。接着，原稿校正部225基于在第1原稿检测部224的倾斜检测的结果对上述图像数据进行倾斜校正处理。

另外，由原稿校正部225处理过的图像数据也可以作为归档数据来管理。此时，上述图像数据可以基于例如JPEG压缩算法而被压缩为JPEG代码来进行储存。

上述JPEG代码，在指示了复印输出动作和打印输出动作时从存储装置206被读出，在JPEG扩展部(未图示)进行解码处理并转换为RGB数据。相反，在图像发送动作时，从存储装置206被读出并经网络或通信线路向外部连接装置或通信线路输出。另外，归档数据的管理和数据交接的动作控制由控制装置207进行。

在颜色校正部226中，生成作为RGB信号的补色的CMY(C：青，M：品红，Y：黄)信号同时实施提高颜色再现性的处理，在黑生成/底色去除部227被转换为CMYK(K：黑)4色信号。在空间滤波部228对CMYK信号实施强调处理和平滑化处理，在输出灰度校正部229实施用于输出到纸张等记录介质上的输出γ校正处理。在灰度级生成部230进行用于输出图像的灰度再现处理。从灰度级处理部230输出的CMYK信号被输入图像输出装置203，作为可视图像打印到纸张。

在此，说明在输出灰度校正部229进行的γ校正。图24(a)是表示与显示装置的显示特性相应的γ校正曲线的一例的曲线图，图24(b)是表示使文字变得清楚的γ校正曲线的一例的曲线图。用于在图像输出装置203的印刷的利用输出灰度校正部229的γ校正中，如图24(b)的实线所示那样，进行不同于与显示装置的显示特性相应的γ校正(虚线)的γ校正，以便使打印的文字变得鲜明。

另一方面，从区域分离部231输出的区域分离数据被输入黑生成/底色去除部227、空间滤波部228、灰度级生成部230，在上述各功能部中进行与各种区域相应的适当处理的切换。

接着，说明图像形成装置200中的图像发送动作(图21)。此时的图像输入装置202、A/D转换部221、黑斑校正部222、输入处理部223以及区域分离部231的处理内容与在前述的复印模式下的印刷动作时是相同的。

颜色校正部226中，将从原稿校正部225输入的图像数据转换为适合于一般普及的显示装置的显示特性的R’G’B’图像数据(例如，sRGB数据)。在空间滤波部228，以从对象部分区域231输出的区域分离数据为基础对输入的图像数据进行利用数字滤波器的空间滤波处理(强调处理，平滑化处理)。在输出灰度校正部229中，对例如文字区域进行利用了图24(b)的γ校正曲线的校正，对文字区域以外的区域进行利用了图24(a)的γ校正曲线的校正。

另外，黑生成/底色去除部227以及灰度级生成部230不对所输入的图像数据进行处理，而将该图像数据直接送入后段的模块中。因此，从输出灰度校正部229输出的是R’G’B’图像数据。

另一方面，在第2原稿检测部232具有校正了顶底方向的部分区域的图像数据，对经第2原稿检测部232的处理的各部分区域的图像数据，在文字识别部233进行文字识别处理。接着，在描画命令生成部234，对包含上述的各部分区域的图像数据进行配置透明文本的命令的生成。

从输出灰度校正部229输出的R’G’B’的图像数据以及从描画命令生成部234输出的识别数据，由格式化处理部235被转换为PDF文件等的图像文件。利用描画命令生成部234将文字识别的结果作为透明文本嵌入该图像文件中。被格式化的图像文件在未图示的邮件处理部(任务装置)被添加到电子邮件，并经由网络将该电子邮件发送到对象目的地。

接着，说明图像形成装置200上的预览显示的动作(图20)。在该动作中，通过指示区域231、第2原稿检测部232以及文字识别部233进行与图1所示的图像处理装置1相同的动作。此时，第2原稿检测部232作为图1所示的区域分割部11、顶底判断部12以及显示控制部14发挥作用，区域分割部11基于来自区域分离部231的区域分离数据将图像数据分为部分区域。图像显示装置205作为图1的显示装置发挥作用。

(实施方式3)

基于附图来说明本发明的其他的实施方式。本实施方式表示将图1所示的图像处理装置1应用于图像读取装置(扫描仪)的例子。图25是表示图像读取装置300的构成的框图。

图像读取装置300具备图像输入装置202和图像处理装置301。图像处理装置301具备A/D转换部221、黑斑校正部222、输入处理部223、第1原稿检测部224、原稿校正部225、颜色校正部226、第2原稿检测部232、文字识别部233、描画命令生成部234以及格式化处理部235。图像处理装置301的各处理部的处理内容与前述的图像形成装置200中的图像发送的情况相同。

在图像处理装置301中实施了处理的图像数据、例如PDF文件向计算机、硬件、网络等输出。此外，在图像显示装置205中，在对顶底方向的可靠度低的部分区域(对象部分区域)进行预览显示这点、以及对该预览显示的指示区域32由用户指定了顶底方向的情况下，将对象部分区域的顶底方向变为所指定的顶底方向这点，与图像处理装置1的情况相同。

本发明还能够在记录了用于让计算机执行的程序代码(执行形成程序、中间代码程序、源代码程序)的计算机可读取的记录介质上，记录了图像处理方法，该图像处理方法判断上述的原稿的方向并重叠显示对原稿实施旋转处理的方向。

其结果，可以便携地提供记录了执行图像处理方法的程序，该图像处理方法判断原稿的方向并在重叠显示原稿实施旋转处理的方向。

另外，在本实施方式中，作为该记录介质，可以是用于利用微型计算机进行处理的未图示的存储器、例如是ROM那样的自身为程序介质，此外，作为外部存储装置(未图示)，也可以是设有程序读取装置，通过将记录介质插入其而可读取的程序介质。

在任一种情况下，所存储的程序代码都可以是微型处理器访问执行的构成，或者在任一种情况下都读出程序代码，读出的程序代码是被下载到微型计算机的未图示的程序存储区域中，执行该程序代码的方式。该下载用的程序预先存储在主体装置中。

在此，上述程序介质是可与主体分离地构成的记录介质，也可以是磁带和卡带等带系、软(注册商标)盘和硬盘等磁盘CD-ROM/MO/MD/DVD等光盘的盘系、IC卡(包含存储卡)/光卡等卡系、或者掩模ROM、EPROM(Electrically Erasable Programmable ReadOnly Memory)、EEPROM(Electrically Erasable Programmable ReadOnly Memory)、闪存ROM等的包含半导体存储器的固定承载程序代码的介质。

此外，在本实施方式中，是可连接包含因特网的通信网络的系统构成，因此也可以是从通信网络下载程序代码那样地流动地承载程序代码的介质。另外，这样在从通信网络下载程序代码时，也可以是将该下载用的程序预先存储到主体装置、或者从其他的记录介质安装的内容。另外，本发明也可以以上述的程序代码用电子转送被具体化的、嵌入载波的计算机数据信号的方式来实现。

上述记录介质通过由在数字彩色图像形成装置和计算机系统上设置的程序读取装置读取来执行上述的图像处理方法。

计算机系统构成为包括：计算机，其使平板扫描仪、薄片扫描仪、数字摄像机等图像输入装置、通过下载规定的程序来进行上述图像处理方法等各种处理；显示计算机的处理结果的CRT显示器、液晶显示器等图像显示装置以及将计算机的处理结果输出到纸上的打印机。进而，设置有作为经网络与服务器等连接的通信单元的网卡和调制解调器等。

如上所述，在本发明的图像处理装置中，上述显示控制部也构成为具备：生成上述对象部分区域的图像和上述指示区域的图像的显示用图像生成部、放大上述对象部分区域的图像和指示区域的图像并作为上述显示用图像数据输出的显示用图像输出部。

根据上述的构成，在催促用户指定对象部分区域的顶底方向时，放大显示对象部分区域的图像和指示区域的图像。由此用户可以容易地知道存在应指定顶底方向的对象部分区域，此外，向指示区域的输入变得容易。

在上述图像处理装置中，上述显示控制部也可以构成为具备：按照对上述指示区域指定顶底方向的输入使上述显示用图像数据旋转，做成上述显示用图像数据输出的旋转处理部。

根据上述的构成，在显示装置上显示的显示用图像数据，按照用户对指示区域指定的顶底方向被旋转处理并再此显示。因此，用户可以现场确认对对象部分区域的顶底方向的指定正确与否。此外，在上述显示用图像输出部中进行了显示用图像数据的间隔剔除处理时，旋转处理部对被进行了间隔剔除处理的显示用图像数据(预览用图像数据)进行旋转处理，因此可以减轻处理的负担。

在上述的图像处理装置中也可以构成为，上述文字识别部针对上述非对象部分区域按照由上述顶底判断部设定的顶底方向使上述非对象部分区域旋转之后，针对上述对象部分区域按照对上述指示区域指定顶底方向的输入使上述对象部分区域旋转之后进行上述文字识别。

根据上述的构成，文字识别部在参照词典数据进行文字识别时，不对数据容量大的词典数据进行旋转，而使非对象部分区域以及对象部分区域旋转来进行文字识别。因此，可以减轻文字识别的负担并且缩短处理时间。

在上述的图像处理装置中，上述显示控制部也可以构成为将上述指示区域配置在相对于上述对象部分区域的上下左右4个位置上，使各指示区域的尺寸以及颜色中至少一个，根据与利用上述顶底判断部求出的上述4个方向的可靠度的不同而不同。

根据上述的构成，配置在对象部分区域周围的4个位置(4个方向的位置)的指示区域，根据作为顶底方向的4个方向的可靠度，以尺寸以及颜色中的至少一个相互不同的状态显示。因此，用于对指示区域指定对象部分区域的顶底方向的情况下，将各指示区域的显示状态的不同作为参考，可以容易地指定针对指示区域的顶底方向。

在发明的详细说明中说明的具体实施方式或者实施例只不过是将本发明的技术内容明确化了的说明，不应狭义地限定于该具体例来解释，在本发明的精神和后述的权利要求书的范围内可以进行各种变更来实施。

Claims (10)

1.一种图像处理装置，其特征在于，具备

区域分割部，其将输入的图像数据分为多个部分区域；

顶底判断部，其分别求出将上述部分区域的图像数据的上下左右4个方向作为顶底方向时的可靠度，并将求得的可靠度中的可靠度最高的方向设定为该部分区域的顶底方向；

显示控制部，其针对由上述顶底判断部设定了顶底方向的部分区域，生成用于使对象部分区域和非对象部分区域中的至少上述对象部分区域的图像以及指示区域的图像显示在显示装置上的显示用图像数据，其中，该对象部分区域是顶底方向的可靠度低于规定值的部分区域，该非对象部分区域是可靠度在规定值以上的部分区域，该指示区域用于接受指定上述对象部分区域的顶底方向的用户输入；

文字识别部，其针对上述对象部分区域将对上述指示区域指定的顶底方向作为顶底方向，针对上述非对象部分区域将由上述顶底判断部设定的顶底方向作为顶底方向，来对各部分区域进行文字识别。

2.根据权利要求1所述的图像处理装置，其特征在于，上述显示控制部具备：生成上述对象部分区域的图像和上述指示区域的图像的显示用图像生成部、和将上述对象部分区域的图像和指示区域的图像放大并作为上述显示用图像数据输出的显示用图像输出部。

3.根据权利要求2所述的图像处理装置，其特征在于，上述显示控制部具备旋转处理部，该旋转处理部按照对上述指示区域指定顶底方向的输入使上述显示用图像数据旋转，并作为上述显示用图像数据输出。

4.根据权利要求1所述的图像处理装置，其特征在于，上述文字识别部，在针对上述非对象部分区域按照由上述顶底判断部设定的顶底方向使上述非对象部分区域旋转，针对上述对象部分区域按照对上述指示区域指定顶底方向的输入使上述对象部分区域旋转之后，进行上述文字识别。

5.根据权利要求1所述的图像处理装置，其特征在于，上述显示控制部，将上述指示区域配置在相对于上述对象部分区域的上下左右4处位置上，使各指示区域的尺寸以及颜色中的至少一个，根据由上述顶底判断部求出的上述4个方向的可靠度的不同而不同。

6.根据权利要求5所述的图像处理装置，其特征在于，上述显示控制部，使上下左右4个位置的指示区域的尺寸根据由上述顶底判断部求出的上述4个方向的可靠度的不同而不同，与顶部方向对应的指示区域的可靠度越高，则使指示区域的尺寸越大。

7.根据权利要求5所述的图像处理装置，其特征在于，上述显示控制部，使上下左右4个位置的指示区域的颜色的浓度根据由上述顶底判断部求出的上述4个方向的可靠度的不同而不同，与顶部方向对应的指示区域的可靠度越高，则使指示区域的颜色的浓度越大。

8.一种图像形成装置，其特征在于，具备：

权利要求1所述的图像处理装置、显示上述显示用图像数据的显示装置、将图像数据打印到纸张上的打印装置。

9.根据权利要求8所述的图像形成装置，其特征在于，

上述显示装置是触摸面板方式的显示装置，

上述显示控制部将用户对显示装置的画面的触摸操作作为上述用户输入接受。

10.一种图像处理方法，其特征在于，具备：

区域分割步骤，将输入的图像数据分为多个部分区域；

顶底判断步骤，分别求出将上述部分区域的图像数据的上下左右4个方向作为顶底方向时的可靠度，并将求出的可靠度中的可靠度最高的方向设定为该部分区域的顶底方向；

显示控制步骤，针对由上述顶底判断步骤设定了顶底方向的部分区域，生成使对象部分区域和非对象部分区域中的至少对象部分区域的图像和指示区域的图像显示在显示装置上的显示用图像数据，其中，该对象部分区域是顶底方向的可靠度比规定值低的部分区域，该非对象部分区域是可靠度在规定值以上的部分区域，该指示区域接受指定上述对象部分区域的顶底方向的用户输入；

文字识别步骤，针对上述对象部分区域将对上述指示区域指定的顶底方向作为顶底方向，针对上述非对象部分区域将由上述顶底判断步骤设定的顶底方向作为顶底方向，对各部分区域进行文字识别。

Images