CN1477589A - 图像处理方法和图像处理装置 - Google Patents

Abstract

一种图像处理方法和图像处理装置，其从微分信息多的图像到微分信息少的图像都可以有效地检测图像的输入方向。本发明是检测输入计算机的包含字符区域的图像的方向的图像处理方法。首先，生成输入的图像的二值图像，将二值图像中的指定尺寸的区域作为一个分割区，对各个分割区赋予预定值，生成分割区图像。其次，将与分割区图像中的连结的同值像素群的外接矩形内的区域对应的二值图像中的区域作为字符区域而抽出。并且，识别包含在字符区域中的字符的方向，从而检测输入的图像的方向。

Description

图像处理方法和图像处理装置

技术领域

本发明涉及检测使用扫描仪等输入的原稿图像的上下左右的方向的图像处理方法和图像处理装置。

背景技术

以往，为了检测使用扫描仪等输入计算机内的原稿图像的上下左右的方向，有以下方法。(1)利用软件的原稿图像方向检测

图30是用于说明先有的图像方向检测的软件处理的概要的概要图。如图30所示，以往，首先，作为检测方向的对象的彩色图像1011通过二值化处理步骤1022进行二值化处理，生成二值图像1013。其次，二值图像1013通过区域分割处理步骤1014进行区域分割，生成作为字符区域的坐标信息的字符坐标信息1015。并且，通过OCR处理步骤1016参照字符坐标信息1015内的二值图像1013进行字符识别处理，输出彩色图像1011的方向结果。

下面，对上述处理进一步进行详细说明。图31是表示由RGB各8位构成的彩色图像1011的一例的图。将彩色图像进行亮度变换，以固定阈值为128，进行单纯二值化处理。图32数不胜数将图31所示的彩色图像进行单纯二值化处理时的二值图像例的图。在图32所示的通过单纯二值化处理而得到的二值图像中包含很多噪音，所以，使用该二值图像不能进行良好的区域分割。

因此，在二值化处理步骤1012中，如图33所示，取得彩色图像的亮度信息的直方图，计算最佳的二值化点1041。图33是表示图31所示的彩色图像的亮度信息直方图和最佳的二值化点的图。另外，图34是表示使用二值化点1041的彩色图像1011的二值图像的图。如图34所示，通过使用不是固定阈值而是使用了亮度信息的直方图的阈值(二值化点1041)，与图32所示的二值图像相比，没有噪音，所以，可以得到良好的区域分割。

图35是表示将图34所示的二值图像通过区域分割处理步骤1014进行区域分割时的区域分割结果的一例的图。在该区域分割处理中，连结黑像素，降低解像度，进行轮廓线追踪，根据轮廓线的形状判断是字符或不是字符。在图35中，标号1061～1068所示的矩形区域是判定为字符区域的区域。区域1067、1068是误判定的区域。

如上所述，在OCR处理步骤1016，读取判定为字符区域的区域，进行字符切断处理，对每1字符进行方向判别处理。在方向判别处理中，计算1个字符的特征矢量，使特征矢量旋转，进行0°、90°、180°、270°的4个方向的字符识别处理。根据4个方向的字符识别处理的结果，将准确度最高的角度作为方向结果。

在利用软件的图像方向检测中，根据对原稿内的所有字符(作为区域分割的结果字符的区域中的字符)的OCR结果的相加值输出最终结果。(2)利用硬件的原稿图像方向检测

下面，说明进行先有的图像方向检测处理的硬件结构的概要。图36是表示与黑白数字复印机的主板连接的方向检测专用的方向检测板的硬件结构的框图。在图36中，标号1071是字符抽出单元，表示用于字符抽出处理和二值化处理的专用GA。另外，标号1072表示RAM，1073表示CPU，1074表示ROM。

图37是表示使用图36所示的方向检测板的各动作的时间图的图。这里，利用图37的时间图说明图36的方向检测板的动作。

图37中的「0」、「1」、「2」、「3」表示置于黑白数字复印机的ADF(Automatic Direction Finder)上的原稿的页码。另外，1081表示复印机的扫描仪进行原稿读入的时刻。此外，1082表示字符抽出专用GA进行字符抽出处理和二值化处理的时刻。另外，1083表示CPU进行方向判别OCR的时刻。并且，1084表示输出方向判别结果的时刻。如图37所示，从原稿的输入开始经过2个流水线后，分别输出页码的结果。

首先，扫描仪手续读取置于ADF上的原稿，生成图36中的VIDEO。这里，所谓VIDEO，是表示CLK和与CLK同步的图像数据和图像数据的页码的中断处的页码信号和表示图像数据的横幅的中断处的主扫描同步信号。

字符抽出单元1071取入图像数据(8位)，检测图像数据连续的像是字符的区域(具体而言，参照相邻的多个像素，检测最大值与最小值之差比阈值大的区域)，生成其坐标数据。另外，对图像数据(8位)进行二值化处理。二值化处理使用的阈值根据前一行的直方图决定。并且，坐标数据和二值图像写入RAM1072(也可以是GA内部具有RAM的形式)。以上的动作，在图37的标号1082所示的时刻进行。

然后，滞后1页，与字符抽出处理并行地由CPU1073进行方向判别OCR处理。CPU1073按照ROM1074存储的程序读出RAM1072中的坐标数据，对与坐标数据相当的RAM1072上的二值图像进行方向判别OCR处理。在由于速度提高而RAM尺寸有富余时，就把ROM1074上的程序下载到RAM1072中。这里，与CLK同步地进行处理的字符抽出是固定时间处理，但方向判别OCR处理是处理时间可变，所以，利用定时器进行处理强制结束。在结果1084中，在用「三角」表示的时刻输出利用定时器的限制时间的方向判别结果(0、90、180、270、UNKNOWN)。

但是，在上述先有方法中，存在以下的问题。(1)利用软件的原稿图像方向检测的问题

(1-1)需要许多处理时间

下面，说明利用266MHz、奔腾(Pentium)II的计算机对A4尺寸的图像进行处理的、测定的结果。首先，取得直方图、计算最佳的二值化点、直至进行二值化处理的整个处理需要1.秒。其次，区域分割处理，需要0.3～1.0秒，随图像不同而不同(与黑像素的块的数有关)。并且，OCR处理随字符数不同而不同，但是，在字符中心的文书原稿中，需要2、3秒。因此，合计需要4、5秒。

(1-2)需要很多工作存储器。

为了得到最佳二值化图像，谣参照彩色图像全面，所以，对A4尺寸的图像，需要24MB(兆字节)的存储器。(2)利用硬件的原稿图像方向检测的问题

(2-1)成本高

利用专用机主板，仅用于方向判别处理，就需要CPU、RAM、ROM、字符抽出GA、图中未示出的控制器GA等，成本高。

(2-2)版本升级困难

由于用专用GA构成字符抽出单元，所以，字符抽出算法语言的版本升级困难。(3)两种检测的公共的问题

两者都不可能进行反转字符部的OCR处理。近年来，不仅印刷原稿而且办公原稿也向彩色化方向发展了，但是，在彩色图像中，与黑白原稿相比，大多利用了反转字符进行设计。因此，两者都是反转字符的频度高的彩色图像的识别精度差。

发明内容

为了解决上述问题提出了本发明，其目的是提供一种图像处理方法和装置，其从微分信息多的图像到微分信息少的图像都可以有效地检测图像的输入方向。

根据本发明的图像处理方法，是检测输入计算机的包含字符区域的图像的方向的图像处理方法，包括生成上述图像的二值图像的二值图像生成步骤、将上述二值图像中的指定尺寸的区域作为一个分割区并对各个分割区赋予预定值而生成分割区图像的分割区图像生成步骤、将与上述分割区图像中的连结的同值的像素群的外接矩形内的区域对应的上述二值图像中的区域作为字符区域而抽出的字符区域抽出步骤和识别包含在上述字符区域中的字符的方向而检测上述图像的方向的方向检测步骤。

另外，在本发明的图像处理方法中，在上述二值图像生成步骤中，根据将上述图像微分而生成的微分信息生成的二值图像的像域标志对应于等于或大于一个预定值的值为1，对应于小于该预定值的值为0，而在上述分割区图像生成步骤中，生成的分割区图像包括在值为1的像域标志数等于或大于一个预定阈值时为1的分割区，和在值为1的像域标志数小于该预定阈值时为0的分割区。

此外，本发明的图像处理方法还包括，抽出包含在由上述字符区域抽出步骤抽出的上述字符区域中的各个字符的字符抽出步骤和识别抽出的上述字符的方向的字符识别步骤，上述方向检测步骤根据包含在上述字符区域中的上述字符的方向的识别结果检测上述字符区域的方向。

此外，本发明的图像处理方法还包括，根据上述图像的二值图像判断上述字符区域是否为反转图像的判断步骤和在判定上述字符区域为反转图像时将上述二值图像的黑白成分反转的反转处理步骤。

此外，根据本发明的图像处理方法，在上述分割区图像生成步骤中，使用不同的多个阈值生成多个分割区图像；在上述字符区域抽出步骤将多个分割区图像比较，抽出包含在上述图像中的字符区域。

此外，根据本发明的图像处理方法，上述分割区图像是对每个微小区域将上述图像微分而生成的上述二值图像计数而生成的低解像度的二值图像。

此外，根据本发明的图像处理方法，上述分割区图像是对每个微小区域计数上述图像的微分信息而生成的低解像度的微分图像。

此外，根据本发明的图像处理方法，上述字符区域检测步骤将与从上述低解像度的图像中抽出的连接像素群对应的上述图像中的区域作为字符区域而抽出。

此外，在本发明的图像处理方法中，上述分割区图像生成步骤使用不同的多个阈值生成多个低解像度图像。

此外，根据本发明的图像处理，上述字符区域抽出步骤将从上述多个低解像度图像中抽出的连接像素群在该多个低解像度图像间进行比较，抽出上述字符区域。

此外，根据本发明的图像处理方法，上述字符区域抽出步骤将上述低解像度图像分割为网格状，根据分割的网格状的区域内的像素的分布抽出上述字符区域。

此外，根据本发明的图像处理方法，上述字符区域抽出步骤进而包括有选择地输出使用从上述低解像度图像中抽出的连结像素群而抽出的字符区域和根据分割为网格状的区域内的像素的分布而决定的字符区域的选择输出步骤。

按照本发明，利用由彩色图像的微分信息构成的多个低解像度的图像检测字符区域，所以，从微分信息多的图像到少的图像都可以有效地检测图像的输入方向。

另外，按照本发明，具有反转判断单元，可以进行反转字符部分的字符识别，即使是反转字符多的彩色图像也可以进行输入方向的检测。

此外，按照本发明，使用少的工作存储器将可以进行高速的软件处理，所以，在方向检测处理的版本升级时也不会由于部件而引起成本提高。

从下面结合附图所作的说明可以使本发明的其他特征和优点变得显而易见，其中相同的标号表示相同或相似的部件。

构成说明书部分的附图示出了本发明的实施例，与文字说明一起解释本发明的原理。

附图说明

图1是表示本发明第一实施例的图像处理装置的结构的框图。

图2是表示将图29A～29C所示的数字彩色多功能复印机应用于通用的图像处理系统102时的方向检测处理所需要的硬件结构的框图。

图3是时序图，表示图2所示的图像处理系统102的各动作。

图4表示根据第一实施例的方向判别处理使用的彩色图像的例子。

图5表示在扫描用图像处理器2114中按T1＝15、T2＝1的阈值生成分割区标题的结果的图像。

图6是表示图4所示的彩色图像的全面直方图的图。

图7是表示通过第1次字符抽出处理而最终抽出的3个矩形区域的图。

图8是表示区域701的读出图像的图。

图9是表示区域702的读出图像的图。

图10是表示区域703的读出图像的图。

图11是表示判定图8所示的区域701的读出图像为通过BS处理的反转图像的部分二值图像的区域分割结果的图。

图12是表示进行图8所示的区域701的像素反转处理从而对反转图像进行通常的BSOCR处理的结果的图。

图13是表示图9的部分二值图像的区域分割结果的图。

图14是表示图10的部分二值图像的区域分割结果的图。

图15是表示将图10的部分二值图像的区域分割结果反转的图像的图。

图16是表示进行第一实施例的方向检测处理的第2张彩色图像例的图。

图17是表示根据图16的彩色图像按T1＝15、T2＝1的阈值生成分割区标题的结果的图的图。

图18是一个曲线图，表示对图16的彩色图像的基底除去用直方图。

图19是表示通过第1次字符抽出处理而最终抽出的3个矩形区域的图。

图20是表示区域1901的读出图像(部分二值图像)的图。

图21是表示区域1902的读出图像(部分二值图像)的图。

图22是表示区域1903的读出图像(部分二值图像)的图。

图23是表示图21所示的部分二值图像的区域分割结果的图。

图24是表示图22的部分二值图像的区域分割结果的图。

图25是表示第二实施例的具有多值图像读出功能的图像处理装置的结构的框图。

图26是表示进行第1次字符抽出处理的第1次字符抽出单元的详细结构的框图。

图27是用于说明进行第1次字符抽出处理(步骤S310)的字符矩形抽出单元2602的详细处理顺序的流程图。

图28是用于说明随机访问矩形抽出单元2603的详细处理顺序的流程图。

图29A是用于说明本发明的1个实施例的数字彩色多功能复印机的结构的功能框图。

图29B是详细表示控制单元2000的系统控制器2150的功能框图。

图29C是详细表示控制单元2000的分割区图像处理器2149的功能框图。

图30是用于说明先有的图像方向检测的软件处理的概要的框图。

图31是表示由RGB各8位构成的彩色图像1011的一例的图。

图32是表示将图31所示的彩色图像进行单纯二值化处理时的二值图像的例子。

图33是表示图31所示的彩色图像的亮度信息直方图和最佳的二值化点1041的图。

图34是表示使用二值化点1041的彩色图像1011的二值图像的图。

图35是表示按照区域分割处理顺序1014将图34所示的二值图像进行区域分割时的区域分割结果的一例的图。

图36是表示与黑白数字复印机的主板连接的方向检测专用的方向检测板的硬件结构的框图。

图37是表示使用图36所示的方向检测板的各动作的时间图。

具体实施方式

下面，参照附图详细说明本发明的图像处理方法和图像处理装置的动作。第一实施例.

图1是表示本发明第一实施例的图像处理装置的结构的框图。在图1中，标号101表示作为判断方向的对象的彩色图像。另外，102是通用的图像处理系统，包括CPU、RAM和ROM等，具有用于进行输入图像的微分处理、直方图运算、压缩扩展处理、解像度变换、二值化处理等的硬件功能。这些功能也可以不是利用硬件而是利用软件处理的功能。

标号103是由图像处理系统102生成的微分信息。另外，104是由图像处理系统102生成的直方图信息(全面直方图)。105是由图像处理系统102生成的彩色图像数据的字符部分(1区域)的二值图像。

方向检测模块100内的各部分由包含在图像处理系统102内的处理器而实现，可以不是作为硬件功能而是作为软件功能而实现，从而使用CPU进行软件处理。

在图1中，方向检测模块100内的106是输入微分信息103用于进行字符区域的推测的第1字符抽出单元。另外，107是由第1字符抽出单元106生成的字符区域坐标。另一方面，108是输入直方图信息104用于进行最佳二值化阈值的计算的二值化阈值计算单元。并且，109是在二值化阈值计算单元108中计算的二值化阈值。

此外，110是输入关于字符部分的二值图像105并进而生成详细的字符区域的坐标的区域分割单元。区域分割单元110具有反转判断和反转处理功能，在判定部分二值图像是反转区域时，就进行二值图像的反转处理，从而进行区域分割处理。并且，标号111是进行由区域分割单元110检测的字符区域的方向判断OCR处理的OCR单元。

下面，作为实现通用的图像处理系统102的例子，使用图29A～29C说明数字彩色多功能复印机。

图29A是用于说明本发明的一个实施例的数字彩色多功能复印机的结构的功能框图。在图29A中，控制单元2000是用于进行图像信息和设备信息的输入输出、PDL数据的图像映射等的控制器，与作为图像输入设备的扫描仪2070及作为图像输出设备的打印机2095、LAN2011和公众线路(WAN)2051连接。

另外，图29B是详细表示控制单元2000中的系统控制器2150的功能框图。此外，图29C是详细表示控制单元2000中的分割区图像处理器2149的功能框图。

图29B所示的CPU2001是用于控制本数字彩色多功能复印机全体的处理器。在本实施例中，表示了使用2个CPU的例子。这2个CPU与公共的CPU总线2126连接，此外，与系统总线桥2007连接。

系统总线桥2007是总线开关，与CPU总线2126、RAM控制器2124、ROM控制器2125、IO总线2127、子总线开关2128、IO总线2129、图像环接口2147、图像环接口2148连接。

子总线开关2128是第2总线开关，与图像DMA2130、图像DMA2132、体扩展单元字体扩展单元2134、分类电路2135、位图跟踪位图跟踪单元2136连接，调停从这些DMA输出的存储器访问要求，进行向系统总线桥的连接。

RAM2002是CPU2001动作用的系统工作存储器，也是用于暂时存储图像数据的图像存储器，由RAM控制器2124所控制。ROM2003是引导ROM，存储系统的引导程序，由ROM控制器2125所控制。

图像DMA2130与图像压缩单元2131连接，根据通过寄存器访问链接2137设定的信息控制图像压缩单元2131，进行RAM2002上的非压缩数据的读出、压缩和压缩后数据的写回等处理。

图像DMA2132与图像扩展单元2133连接，根据通过寄存器访问链接2137设定的信息控制图像扩展单元2133，进行RAM2002上的压缩数据的读出、扩展和扩展后数据的写回等处理。

字体扩展单元2134根据包含在通过LAN控制器2010等从外部传送来的PDL数据中的字体代码进行ROM2003或RAM2002内存储的压缩字体数据的扩展处理。

分类电路2135是切换在位映射PDL数据的阶段生成的显示列表中的目标的顺序的电路。另外，位图跟踪电路2136是从位图数据中抽出边缘信息的电路。

IO总线2127是内部IO总线的一种，与作为标准总线的USB总线的控制器、USB接口2138、通用串行端口2139、中断控制器2140、GPIO接口2141连接。在IO总线2127中，包含图中未示出的总线判优器。

操作单元接口2006是与操作单元(UI)2012的接口部，向操作单元2012输出在操作单元2012显示的图像数据。另外，起将本系统用户从操作单元2012输入的信息向CPU2001传输的作用。

IO总线2129是内部IO总线的一种，与通用总线接口2142、LAN控制器2010连接。在IO总线2129中，包含图中未示出的总线判优器。另外，通用总线接口2142由2个相同的总线接口构成，是支持标准IO总线的总线桥。在本实施例中，表示了采用PCI总线2143的例子。

外部存储装置(HDD)2004是硬盘驱动器，存储系统软件和图像数据等。外部存储装置2004通过盘控制器2144与一方的PCI总线2143连接。另外，LAN控制器2010通过MAC电路2145、PHY/PMD电路2146与LAN2011连接，进行信息的输入输出。此外，调制解调器2050与公共线路2051连接，进行信息的输入输出。

图像环接口2147和图像环接口2148与系统总线桥2007和高速传输图像数据的图像环2008连接，是在ROM2003和分割区图像处理器2149间传输分割后压缩的数据的DMA控制器。

图像环2008由一对单方向连接路径的组合构成。

图像环2008在分割区图像处理器2149内通过图像环接口2101和分割区图像接口2102与分割区扩展单元2103、指令处理器2104、状态处理器2105、分割区压缩单元2106连接。在本实施例中，表示了分割区扩展单元2103装配了2组、分割区压缩单元2106装配了3组的例子。

分割区扩展单元2103除了与图像环接口2101连接外，还与分割区总线2107连接，是将从图像环2008输入的压缩后的图像数据扩展并向分割区总线2107传输的总线桥。分割区压缩单元2106除了与图像环接口2102连接外，还与分割区总线2107连接，是将从分割区总线输入的压缩前的图像数据压缩并向图像环2008传输的总线桥。

指令处理器2104除了与图像环接口2101和2102连接外，还与寄存器设定总线2109连接，将通过图像环2008输入的从CPU2001发行的寄存器设定要求写入与寄存器设定总线2109连接的相应的块。另外，根据从CPU2001发行的寄存器读取要求，通过寄存器设定总线2109从相应寄存器读出信息，向图像环接口2102传输。

状态处理器2105监视各图像处理器的信息，生成用于向CPU2001发出中断的中断包，并向图像环接口2102输出。另外，分割区总线2107上，除了上述块外，还连接了以下功能块。即，翻译单元接口2110、图像输入接口2112、图像输出接口2113、多值化部2119、二值化部2118、色空间变换单元2117、图像旋转单元2030和解像度变换单元2116。

翻译单元接口2110是输入由后面所述的翻译单元2060生成的位图图像的接口。翻译单元2060和翻译单元接口2110通过一般的视频信号2111所连接。翻译单元接口2110除了分割区总线2107外，还与存储器总线2108、寄存器设定总线2109连接，通过利用寄存器设定总线2109设定的预定方法将一个输入屏面图像转换为一个分割区图像分割区图像，同时进行时钟的同步化处理，并向分割区总线2107输出分割区图像。

图像输入接口2112输入由后面所述的扫描仪用图像处理器2114进行了图像修正处理的屏面图像数据，通过寄存器设定总线2109设定预定方法将该数据转换为分割区图像，同时进行分割区图像时钟的同步化处理，并向分割区总线2107输出。

图像输出接口2113输入分割区总线2107的分割区图像数据，将该数据转换为屏面图像并改变时钟速率，并向打印机用图像处理器2115输出屏面图像。

并且，图像旋转单元2030进行图像数据的旋转。另外，解像度变换单元2116进行图像的解像度的变更。此外，色空间变换单元2117进行彩色和灰度图像的色空间的变换。二值化部2118将多值(彩色、灰度)图像进行二值化处理。多值化部2119将二值图像变换为多值数据。

外部总线接口单元2120是将通过图像环接口2101、2102、2147和2148、指令处理器2104、寄存器设定总线2109由CPU2001发行的写入、读出要求变换并向外部总线2121输出的总线桥。外部总线2121在本实施例中与打印机用图像处理器2115和扫描仪用图像处理器2114连接。

存储器控制器2122与存储器总线2108连接，通过按照各图像处理器的要求而预先设定的地址分割，对由图像存储器A和图像存储器B构成的图像存储器2123进行图像数据的写入、读出和根据需要而更新等的动作。另外，在扫描用图像处理器2114中，对利用作为图像输入设备的扫描仪2070扫描的图像数据进行图像修正处理。此外，在打印机用图像处理器2115中，进行打印输出用的图像修正处理，并将结果向打印机2095输出。

翻译单元2060将PDL代码或中间显示列表转换为位图图像。以上，是关于本数字彩色多功能复印机的结构的说明。

下面，说明将上述数字彩色多功能复印机作为图像处理系统102时的本发明的方向判断处理的流程。

图2是表示将图29A～29C所示的数字彩色多功能复印机应用于通用的图像处理系统102时的方向检测处理所需要的硬件结构的框图。如图2所示，标号201表示作为判断方向的对象的彩色图像。另外，202是通用的图像处理系统，和图1一样，包括CPU、RAM、ROM等，具有用于进行输入图像的微分处理、直方图运算、压缩/解压缩处理、解像度变换、二值化处理等的硬件功能。这些功能也可以是不利用硬件而利用软件处理的功能。

另外，和图1一样，方向检测模块200内的各部分是作为包含在图像处理系统102内的处理器而实现的部分，也可以是不是作为硬件功能而实现而是作为软件功能而实现的使用图中未示出的CPU(在上述数字彩色多功能复印机中是CPU2001)进行处理的部分。

下面，利用图29A～29C说明分割区标题203、直方图信息(全面直方图)204、300dpi的部分二值图像205的数据生成方法。

首先，多个彩色图像置于扫描仪2070的ADF上。在图2中，彩色图像201表示由扫描仪2070逐一读入的彩色图像。在本实施例中，彩色图像以600dpi读入。

输入彩色图像201的扫描仪用图像处理器2114，对每1像素生成作为1位的信息的像域标志212。即，像域标志212也是600dpi。像域标志212的生成基本上是微分处理，在彩色图像201上设置窗口，对该图像施加微分滤波器，在微分结果超过阈值时将该标志设定为1，未超过时设定为0。该处理是利用硬件进行的，所以，是高速的处理，也进行消除在半色调自然图像上出现的1等的后处理。该像域标志信息存储到彩色图像的α通道的1位。根据该信息调整图像处理器2149的JPEG压缩的程度，或调整打印机用图像处理器2115的输出用色重的系数。

像域标志生成硬件可以通过对R、G、B或a×R+b×G+c×B和内部寄存器设定系数而选择处理信号。通常，在缺省情况下为G信号，所以，在本实施例中，假定处理G信号，生成像域标志。

另一方面，扫描仪用图像处理器2114进行基底电平判断用直方图运算处理，生成全面直方图204。即，获得R、G、B、ND(＝A1×R+A2×G+A3×B)信号的4电平的256灰度级(8位)的直方图。这是用于计算在打印机用图像处理器2115中进行的「基底除去」用的参量的数据。

图像输入接口2112进行向分割区图像的结构变换，根据分割区(32×32像素)中的像域标志的分布，使用像域标志信息生成分割区标题203(因此，将分割区标题信息视为图像时，则为600/32＝约18dpi)。

即，在本发明的图像处理方法中，分割区图像是将对输入的图像进行微分处理而生成的二值图像对各微小区域计数而生成的低解像度的二值图像。

作为该像域标志信息分割区标题的生成方法，如「分割区中存在阈值T1以上的像域标志时则为1」那样而生成。图像输入接口2112的图像输入顺序是屏面顺序，所以，按照上述方法，需要图像横幅/32的10位计数器，从而硬件的规模将增大。因此，现在根据「在分割区32行中监视1行存在等于或大于阈值T1的像域标志时该分割区设定为1」的规则，生成像域标志信息分割区标题。

即，在本发明的图像处理方法中，如果相应的像素等于或者大于一个预定值，则产生一个具有值“1”的像域标志的二值图像，如果相应的像素小于该预定值，则产生一个具有值“0”的像域标志的二值图像，并且生成一个分割区图像，使得在该分割区标题中，以分割区内包含的1的像域标志数等于或者大于预定阈值的分割区设定为1，以分割区内包含的1的像域标志数小于该预定阈值的分割区设定为0。

另外，现在以2位生成像域标志信息分割区标题。即，生成1位在「分割区32行中即使1行存在大于或者等于阈值T1的像域标志时则为1」、而另一位在「分割区32行中即使1行存在等于或大于阈值T2的像域标志时则为1」这样的标题(T1＞T2)。

即，在根据本发明的图像处理方法中，使用不同的多个阈值生成多个分割区图像，将多个分割区图像比较，抽出包含在输入的图像中的字符区域。另外，本发明的图像处理方法的特征在于，使用不同的多个阈值生成多个低解像度图像。此外，本发明的图像处理方法的特征在于，将从多个低解像度图像中抽出的连结像素群在多个低解像度图像间进行比较，抽出字符区域。

这里，像域标志212是微分信息，所以，许多标志212出现在微分滤波区域的具有大电平差的地方。因此，多数在白底黑字时出现，在基底与字符的电平差小的情况下，与黑字符相比，出现数少。利用该特性，根据T1、T2的阈值生成2个像域标志分布信息(分割区标题)203，在第1次字符抽出单元206中，进行更准确的字符区域坐标检测。

即，在本发明的图像处理方法中，分割区图像是将输入的图像的微分信息对各微小区域计数而生成的低解像度的微分图像。

彩色图像数据(RGB)、包含像域标志数据的α通道数据、分割区标题信息在图像处理器2149中被压缩。更具体地说，在图像处理器2149内的分割区压缩单元2106(图2中未示出)中对RGB数据进行JPEG压缩，对α通道进行可逆压缩。分割区标题本身不进行压缩，所以，分割区标题信息可以高速读出。并且，存储到RAM2002中。

下面，说明根据存储的图像生成300dpi的部分二值图像的顺序。

RAM2002存储的图像通过图像环接口2147、2101向图像处理器2149传输。通过分割区扩展单元2103而扩展的图像数据在解像度变换单元2116中从600dpi变换为300dpi。然后，在色空间变换单元2117中，按指定阈值进行二值化(00，ff化)处理，将其进行8位到1位变换后的结果通过图像环接口2102、2148再次送回到系统控制器2150。并且，部分区域的二值图像写入RAM2002。

通过上述处理，在图像处理系统(彩色数字多功能复印机)中，就生成了分割区标题203、全面直方图204、300dpi的部分二值图像205的数据。

图3是表示图2所示的图像处理系统202的各动作的时间图。下面，使用图3说明图像处理系统202的处理的流程。在图3中，标号301是扫描仪的时间，「0」、「1」、「2」、「3」、「4」的各数值表示置于ADF上的彩色图像(原稿)的顺序。另外，扫描仪用图像处理器2114的时间用标号302表示，与扫描仪同步进行处理。在由位于标号302所示的各六边形的横向位置的「三角」标号所示的时刻，分割区标题的生成和基底除去用直方图运算结束，所以，此时就出现了分割区标题203和全面直方图204。

另外，标号303表示方向判断处理的时间，方向判断处理通过利用CPU2001的软件处理而进行。CPU2001处理多个任务，所以，虽然如图3中的306所示，不会占有CPU，也执行其他任务，但是，在本实施例中，为了简便，未表示出其他任务。并且，在由302中的三角形的标号所示的时刻开始进行方向判断处理。在图3中，标号305、306表示对某一彩色图像的方向判断处理的详细情况。标号305是硬件处理，标号306是软件处理。

首先，详细说明软件处理306。先进行直方图数据读出处理(步骤S307)。具体而言，CPU参照扫描仪用图像处理器内的直方图数据。这里读出的直方图，与生成像域标志的信号对照，采用G的直方图。CPU执行二值化阈值计算软件，计算二值化阈值A(步骤S308)。其次，CPU执行RAM内存储的分割区标题的读出处理(步骤S309)。在分割区标题读出之后，进行第1次字符抽出处理(步骤S310)。

所谓第1次字符抽出处理，就是在整个图像中限定存在字符的部分并作为小的矩形区域而选出的处理。图26是表示将第1次字符抽出处理进行硬件处理的第1次字符抽出单元的详细结构的框图。在本实施例中，本第1次字符抽出处理作为软件处理而进行。

在图26中，分割区标题输入单元2601输入RAM2002存储的2个分割区标题图像203。另外，字符矩形抽出单元2602从2个分割区标题图像中抽出字符特别集合的可能性强的矩形区域。此外，随机访问矩形抽出单元2603将图像全体机械地分割为基本上均等的矩形区域，抽出至少有存在字符的可能性的矩形区域。并且，字符区域输出单元2604将字符矩形抽出单元2602和随机访问矩形抽出单元2603抽出的矩形的集合综合，作为多个字符区域而输出。

图27是用于说明执行第1次字符抽出处理(步骤S310)的字符矩形抽出单元2602的详细处理顺序的流程图。首先，从分割区标题1图像中抽出全部连结的黑像素的块，取得各个外接矩形的坐标(步骤S2701)。令该矩形信息集合为{Tc1}。

其次，在矩形集合{Tc1}中，除了面积显著大/小的和扁平率大的外，求全部矩形的平均尺寸(步骤S2702)。此外，对于矩形集合{Tc1}，将与平均尺寸大不相同的矩形作为非文本矩形集合{Tc1-nt}，将除此以外的矩形作为文本矩形集合{Tc1-t}(步骤S2703)。

此外，从分割区标题2图像这抽出全部连结的黑像素的块，取得它们的外接矩形的坐标(步骤S2704)。令该矩形信息集合为{Tc2}。在本实施例中，在步骤S2701和步骤S2704，抽出连结的黑像素的块的处理使用众所周知的标记法，但是，除此以外，也可以使用众所周知的轮廓追踪法进行。

即，本发明的图像处理方法的特征在于，将与从低解像度的图像中抽出的连结像素群对应的上述图像中的区域作为字符区域而抽出。

此外，对于矩形集合{Tc2}，将一定面积以下的矩形作为非文本矩形集合{Tc2-nt}，将除此以外的矩形作为文本矩形集合{Tc2-t}(步骤S2705)。由面积确定的阈值，使用预先决定的适当值。并且，各矩形的坐标从18dpi分割区标题坐标变换到300dpi的坐标值(步骤S2706)。

此外，对于矩形集合{Tc2-t}内的各矩形，矩形集合{Tc1-t}中具有与该矩形重叠的坐标的面积的总和除以该矩形的面积，并将得到的值作为该矩形的分数(步骤S2707)。分数高的矩形，可以认为是具有在分割区标题1、分割区标题2中作为文本而观测的字符的高可能性区域。

并且，按照分数升序将矩形集合{Tc2-t}进行分类(步骤S2708)。以上得到的矩形集合{Tc2-t}就是字符矩形抽出单元2602的处理结果。

另一方面，图28是用于说明随机访问矩形抽出单元2603的详细处理顺序的流程图。首先，将分割区标题图像2用一定面积的小矩形分割为网格状(步骤S2801)。网格面积根据后级可以有效地进行处理的部分图像尺寸预先决定，但是，也可以根据输入图像尺寸而动态地变更。另外，为了避免图像周边部经常发生的噪声，在进行网格分割前，可以设置除预定周边宽度之外的余量。

其次，对各网格求包含在该网格内的{Tc2}矩形的面积的总和Sm(步骤S2802)。并且，将相邻的4个网格定义为1个随机访问矩形TR(步骤S2803)。并且，将4个网格的之和Sm作为该TR矩形的分数。

然后，将图像内所有的TR矩形的集合{TR}按分数升序进行分类(步骤S2804)。这时，使TR矩形之间不重叠。在有相互重叠的2个TR矩形时，分数低的将其重复部分切除而缩小，作为新的TR而重新登录。这时，再次按分数升序进行分类。通过上述处理而得到的{TR}就是随机访问矩形抽出单元2603的处理结果。

最后，输出单元2604以降序从矩形集合{Tc2-t}中输出具有大于或者等于预定阈值的分数的矩形。在分数低于阈值的时刻，放弃其余的Tc2-t矩形，此后，从矩形集合{TR}开始按分数顺序输出。并且，如果矩形没有了或输出了预定个数的矩形，输出单元2604的处理即告结束。

即，本发明的图像处理方法的特征在于，将低解像度图像分割为网格状，根据分割的网格状的区域内的像素的分布抽出字符区域。另外，本发明的图像处理方法的特征在于，有选择地输出使用从低解像度图像中抽出的连结像素群而抽出的字符区域和根据分割为网格状的区域内的像素的分布而决定的字符区域。

通过上述第1次字符抽出，可以得到多个字符区域坐标。按照该结果在RAM上生成图像读出表，CPU进行程序逆转时，通过图像环接口2147的DMA处理，顺序读出300dpi的部分二值图像205。在第1个区域的读出(步骤S311)结束的时刻，对区域1进行区域分割处理(以下，称为「BS处理」)和执行OCR任务(步骤S319)(以下，称为「BSOCR处理」)，其结果存储到BSOCR任务内部。

与区域1的BSOCR处理并行地进行区域2的300dpi的二值图像读出。与图像读出(硬件)相比，BSOCR处理需要足够的时间，所以，对于BSOCR处理，先行准备了图像数据。从第2区域开始的BSOCR处理的结果存储到BSOCR任务内部进行相加运算。在处理时间结束的时刻，根据BSOCR任务存储的结果计算并输出最终方向结果。

下面，实际表示出2个图像例，说明上述方向判断处理的具体例。这里，处理图4所示的彩色图像。图4是表示第一实施例的方向判断处理使用的彩色图像的例子的图。图5是表示在扫描仪用图像处理器2114中按T1＝15、T2＝1的阈值生成分割区标题的结果的图像的图。在图5中，图像501是T1＝15的结果，图像502是T2＝1的结果。另一方面，在扫描仪用图像处理器2114中，不进行基底除去用直方图运算就可以得到图6那样的直方图。图6是表示图4所示的彩色图像的全面直方图。并且，根据图6的直方图进行方向判断处理，计算出由标号601所示的最佳二值化阈值A＝128。

第1次字符抽出单元通过图27所示的流程图的处理顺序，输出以字符区域的可能性的分数顺序排列的矩形区域。图7是表示通过第1次字符抽出处理而最终抽出的3个矩形区域的图。这里，实际上从该图像中抽出了更多的区域，但是，为了便于说明，在本实施例中，假定抽出了3个区域。另外，由于随机访问矩形抽出的矩形位于分数顺序的低位，所以，忽略不计。

在图7中，在RAM上生成区域701、702、703的图像读出表，将图像环接口逆转时，就进行各个区域的解像度变换，顺序读出二值化图像。图8是表示区域701的读出图像(部分二值图像)的图，图9是表示区域702的读出图像(部分二值图像)的图，图10是表示区域703的读出图像(部分二之值图像)的图。

在区域701的读出结束的时刻，方向判断进入BSOCR处理循环。区域701的BSOCR处理，由CPU进行。在BS(区域分割)处理中，包括图像的反转判断处理和反转处理。具体而言，就是有计数输入二值图像的黑像素和白像素的数、在黑像素的比例超过例如70％时就判定是反转图像的等方法。

图11是表示图8所示的区域701的读出图像通过BS处理而判定是反转图像的部分二值图像的区域分割结果的图。另外，图12是表示进行图8所示的区域701的像素反转处理后对反转图像进行通常的BSOCR处理的结果的图。在图11中，红矩形RD1所示的区域识别为字符区域。矩形显示是在黑底上显示白字符，是GUI应用程序的规格。实际的图像反转后对图12的图像进行BS处理，从而对由图12的黑矩形BK1包围的BS处理的结果的区域进行OCR处理。

OCR处理，最好是方向判定的结果是从多个区域中的总的处理结果。例如，在1个区域中存在200字符，则设置对每1区域的字符数限制，以避免在处理200字符的4方向OCR的期间限制时间。即，对每1区域限定30字符。对图12的图像进行OCR处理的结果，30字符处理的0度的准确度增大。另外，在有处理时间时，进行先行读入的区域702的图像的BSOCR处理。这里，区域702是图9的二值图像。通过BS处理，判定该区域不是反转图像，字符区域用图13的黑矩形RD2表示的区域识别为字符。图13是表示图9的部分二值图像的区域分割结果的图。该区域进行OCR处理，进而可以得到30字符的方向判断结果。

在对区域701、702处理之后还有时间时，就进行先行读入的区域703的图像的BSOCR处理。区域703是图10的二值图像，通过BS处理，判定为反转图像，如图15所示，进行像素反转处理，判定图15的二值图像的黑矩形所示的区域(＝图14的红矩形RD3)是字符区域，进行OCR处理。图14是表示图10的部分二值图像的区域分割结果的图。另外，图15是表示将图10的部分二值图像的区域分割结果反转后的图像的图。这里，假定已到了限制时间。这时，OCR计算内部存储的方向识别的结果，输出0度这样的结果。

即，本发明的图像处理方法的特征在于，根据输入的图像的二值图像判断字符区域是否为反转图像，在判定字符区域为反转图像时，就将二值图像的黑白成分反转。

图16是表示与执行第一实施例的方向检测处理的图4不同的彩色图像例的图。假定该整个图像中G平面的电平差不大。作为其结果，使用与处理图4的彩色图像时相同的阈值(T1＝15、T2＝1)生成分割区标题时，可以得到图17所示的结果。图17是表示根据图16的彩色图像按T1＝15、T2＝1的阈值生成分割区标题的结果的图像的图。另一方面，图18是表示对图16的彩色图像的基底除去用直方图的图。作为方向判断处理，根据图18的直方图计算出由标号1801所示的最佳二值化阈值A＝66。

在第1次字符抽出中，对图像1701、1702进行图27所示的流程图的处理，但是，不能抽出合适的字符矩形。但是，通过图28所示的流程图的处理，不知道是否为字符，但是，将判定存在某种信息的部分作为随机访问矩形而输出。这里，假定输出图19所示的3个区域。即，图19是表示通过第1次字符抽出处理而最终抽出的3个矩形区域的图。实际上，从该图像中抽出了更多的区域，但是，为了便于说明，假定为3个区域。

在RAM上生成区域1901、1902、1903的图像读出表，将图像环接口逆转时，进行各个区域的解像度变换，顺序读出二值化图像。图20是表示区域1901的读出图像(部分二值图像)的图，图21是表示区域1902的读出图像(部分二值图像)的图，图22是表示区域1903的读出图像(部分二值图像)的图。

在区域1901的读出结束的时刻，方向判断进入BSOCR处理循环。并且，区域1901的BSOCR处理由CPU进行。在图20所示的图像中，作为区域分割结果，判定没有字符，不进行OCR处理。对于图21的二值图像，通过BS处理，图23的由红矩形RD4包围的区域识别为字符区域。即，图23是表示图21所示的部分二值图像的区域分割结果的图。该区域进行OCR处理，可以得到30字符的方向判断结果。

处理了区域1901、区域1902还有时间时，就进行先行读入的区域1903的图像的BSOCR处理。对于图22的二值图像，通过BS处理，图24的由红矩形RD5包围的区域识别为字符区域。即，图24是表示图22的部分二值图像的区域分割结果的图。该区域进行OCR处理，进而可以得到30字符的方向判断结果。这里，假定已到了限制时间。这时，OCR计算内部存储的方向识别的结果，输出0度这样的结果。

如上所述，本发明是检测输入计算机的包含字符区域的图像的方向的图像处理方法，其特征在于，生成图像的二值图像，将二值图像中的指定尺寸的区域作为一个分割区，对各个分割区赋予预定值，生成分割区图像，将与分割区图像中的连结的同值的像素群的外接矩形内的区域对应的二值图像中的区域作为字符区而抽出，识别包含在字符区域中的字符的方向，检测图像的方向。

另外，本发明的图像处理方法的特征在于，抽出包含在字符区域中的各个字符，识别抽出的字符的方向，根据包含在字符区域中的字符的方向的识别结果检测字符区域的方向。第二实施例

在上述第一实施例中，根据图像处理系统提供的全面直方图计算二值化阈值A，但是，除此以外，本发明的应用，二值化阈值也可以用1 28等固定阈值而进行。采用固定阈值时，在图像处理系统侧没有全面直方图运算单元时也可以应对。

另外，在上述第一实施例中，对300dpi的部分图像进行区域分割处理，但是，也可以省去。这样，便可减少区域分割处理时间，从而可以进行更多的区域的OCR处理。但是，没有任何通过第1次字符抽出处理而检测的图像的处理不能进行字符切割时，方向检测结果将变坏。因此，在第1次字符抽出处理中，也可以按照指定执行其后的区域分割处理的区域和不执行的区域的处理流程进行。这时，可以期待保持方向检测精度并且处理速度成为高速。

另外，在上述第一实施例中，假定读出的部分图像是300dpi的二值图像，但是，本发明的应用不限定此种情况，也可以读出部分多值图像。这时，在方向检测侧需要将部分多值图像进行二值化处理的功能。这样，对部分区域就可以进行最佳的二值化处理。

另外，根据数据尺寸的大小，多值图像读出所需时间要长于二值图像读出的时间。因此，根据微分信息的分布判断第1次字符抽出处理应按二值图像读出检测区域还是应按多值图像读出、从而通过指示图像处理系统而切换的结构是有效的。图25是表示第二实施例具有多值图像读出功能的图像处理装置的结构例的图。在字符区域坐标信息上有读出方法(二值、多值)的指定，图像处理系统按照该指定，通过DMA动作而读出部分图像。因此，读出二值图像时，进行与第一实施例相同的处理，读出多值图像2512时，进行部分区域最佳二值化处理2513。在该最佳二值化处理中包括反转判断和反转功能时，在其后的区域分割处理2514中就不必进行反转判断了。

其他实施例.

本发明可以应用于由多个设备(例如，主计算机、接口、阅读器、打印机等)构成的系统，也可以应用于由1个设备构成的装置(例如，复印机、传真装置等)。

另外，本发明的目的，通过将记录实现上述实施例的功能的软件的程序代码的记录媒体(或存储媒体)供给系统或装置，由该系统或装置的计算机(或CPU或MPU)读出并执行记录媒体存储的程序代码而达到。这时，从记录媒体上读出的程序代码本身就实现了上述实施例的功能，记录该程序代码的记录媒体就构成本发明。另外，通过执行计算机读出的程序代码，不仅可以实现上述实施例的功能，而且在计算机上工作的操作系统(OS)等根据该程序代码的指示进行实际的处理的部分或全部，通过该处理也可以实现上述实施例的功能。

此外，从记录媒体上读出的程序代码写入插入到功能扩展卡或与计算机连接的功能扩展单元具有的存储器中后，该功能扩展卡或功能扩展单元具有的CPU等进行实际的处理的部分或全部，通过该处理可以实现上述实施例的功能。

将本发明应用于上述记录媒体时，该记录媒体就存储与前面说明的流程对应的程序代码。

如上所述，按照本发明，利用由彩色图像的微分信息构成的多个低解像度的图像检测字符区域，所以，从微分信息多的图像到微分信息少的图像，都可以有效地检测图像的输入方向。另外，按照本发明，具有反转判断单元，所以，可以进行反转字符部分的字符识别，即使是反转字符多的彩色图像，也可以进行输入方向的检测。此外，按照本发明，可以用少的工作存储器进行高速的软件处理，所以，进行方向检测处理的版本升级时也不需要增加部件而提高成本。

本发明不限于上述实施例，在本发明的精神和范围内能进行多种变更。因此，为了公开本发明的范围，特撰写了所附的权利要求书。

Claims (27)

1.一种检测输入计算机的包含字符区域的图像的方向的图像处理方法，其特征在于，所述图像处理方法包括：

生成上述图像的二值图像的二值图像生成步骤；

将上述二值图像中的指定尺寸的区域作为一个分割区并对各个分割区赋予预定值而生成分割区图像的分割区图像生成步骤；

将与上述分割区图像中的连结的同值像素群的外接矩形内的区域对应的上述二值图像中的区域作为字符区域而抽出的字符区域抽出步骤，和

识别包含在上述字符区域中的字符的方向而检测上述图像的方向的方向检测步骤。

2.根据权利要求1所述的图像处理方法，其特征在于，

在上述二值图像生成步骤中，根据将上述图像微分而生成的微分信息生成具有对应于等于或大于一个预定值的像素的值为1，或对应于小于该预定值的像素的值为0的像域标志的二值图像；

在上述分割区图像生成步骤中，生成的分割区图像具有在具有值1的像域标志数等于或者大于一个预定阈值时为1的分割区和在具有值1的像域标志数小于该预定阈值时为0的分割区。

3.根据权利要求1所述的图像处理方法，其特征在于，还包括：

抽出包含在由上述字符区域抽出步骤抽出的上述字符区域中的各个字符的字符抽出步骤，和

识别在所述字符抽出步骤抽出的上述字符的方向的字符识别步骤，

其中，在上述方向检测步骤，根据包含在上述字符区域中的上述字符的方向的识别结果检测上述字符区域的方向。

4.根据权利要求1所述的图像处理方法，其特征在于，还包括：

根据上述图像的二值图像判断上述字符区域是否为反转图像的判断步骤，和

在判定上述字符区域为反转图像时将上述二值图像的黑白成分反转的反转处理步骤。

5.根据权利要求2所述的图像处理方法，其特征在于，

在上述分割区图像生成步骤中，使用不同的多个阈值生成多个分割区图像；并且

在上述字符区域抽出步骤中，将多个分割区图像相互比较，抽出包含在上述图像中的字符区域。

6.根据权利要求1所述的图像处理方法，其特征在于，

上述分割区图像是对每个微小区域计数将上述图像微分而生成的上述二值图像而生成的低解像度的二值图像。

7.根据权利要求1所述的图像处理方法，其特征在于，

上述分割区图像是对每个微小区域计数上述图像的微分信息而生成的低解像度的微分图像。

8.根据权利要求6所述的图像处理方法，其特征在于，

在上述字符区域检测步骤中，将与从上述低解像度的图像中抽出的连接像素群对应的上述图像中的区域作为字符区域而抽出。

9.根据权利要求6所述的图像处理方法，其特征在于，

在上述分割区图像生成步骤中，使用不同的多个阈值生成多个低解像度图像。

10.根据权利要求9所述的图像处理方法，其特征在于，

在上述字符区域抽出步骤中，将从上述多个低解像度图像中抽出的连接像素群与该多个低解像度图像进行比较，抽出上述字符区域。

11.根据权利要求6所述的图像处理方法，其特征在于，

在上述字符区域抽出步骤中，将上述低解像度图像分割为网格状，根据分割的网格状的区域内的像素的分布抽出上述字符区域。

12.根据权利要求11所述的图像处理方法，其特征在于，

上述字符区域抽出步骤还包括有选择地输出使用从上述低解像度图像中抽出的连结像素群而抽出的字符区域和根据分割为网格状的区域内的像素的分布而决定的字符区域的选择输出步骤。

13.一种图像处理装置，包括：

输入包含字符区域的图像的输入装置；

生成输入的上述图像的二值图像的二值图像生成装置，和

将上述二值图像中的指定尺寸的区域作为一个分割区并对各个分割区赋予预定值而生成分割区图像的分割区图像生成装置，其特征在于，还包括

将与上述分割区图像中的连结的同值像素群的外接矩形内的区域对应的上述二值图像中的区域作为字符区域而抽出的字符区域抽出装置，和

识别包含在上述字符区域中的字符的方向而检测上述图像的方向的方向检测装置。

14.根据权利要求13所述的图像处理装置，其特征在于，

上述二值图像生成装置根据将上述图像微分而生成具有对应于等于或大于一个预定值的像素的值为1、对应于小于该预定值的像素的值为0的像域标志的二值图像；

上述分割区图像生成装置生成的分割区图像具有在具有值1的像域标志数等于或者大于一个预定阈值时为1的分割区和在具有值1的像域标志数小于该预定阈值时为0的分割区。

15.根据权利要求13所述的图像处理装置，其特征在于，还包括

抽出包含在由上述字符区域抽出装置抽出的上述字符区域中的各个字符的字符抽出装置，

其中，上述方向检测装置识别抽出的上述各个字符的方向，并根据其识别结果检测上述字符区域的方向。

16.根据权利要求13所述的图像处理装置，其特征在于，还包括

根据上述图像的二值图像判断上述字符区域是否为反转图像的判断装置，和

在上述判定装置判定上述字符区域为反转图像时将上述二值图像的黑白成分反转的反转处理装置。

17.根据权利要求13所述的图像处理装置，其特征在于，

上述分割区图像生成装置使用不同的多个阈值生成多个分割区图像；

上述字符区域抽出装置使用多个分割区图像，抽出包含在上述图像中的字符区域。

18.根据权利要求13所述的图像处理装置，其特征在于，

上述字符区域抽出装置将上述分割区图像分割为网格状，根据分割的网格状的区域内的像素的分布抽出上述字符区域。

19.根据权利要求18所述的图像处理装置，其特征在于，

上述字符区域抽出装置包括有选择地输出使用从上述分割区图像中抽出的连结像素群而抽出的字符区域和根据分割为网格状的区域内的像素的分布而决定的字符区域的选择输出装置。

20.一种用于计算机的程序，其特征在于，执行如下过程：

生成包含字符区域的图像的二值图像的二值图像生成过程；

将上述二值图像中的指定尺寸的区域作为一个分割区并对各个分割区赋予预定值而生成分割区图像的分割区图像生成过程，

将与上述分割区图像中的连结的同值像素群的外接矩形内的区域对应的上述二值图像中的区域作为字符区域而抽出的字符区域抽出过程，和

识别包含在上述字符区域中的字符的方向而检测上述图像的方向的方向检测过程。

21.根据权利要求20所述的程序，其特征在于，

在上述二值图像生成过程中，根据将上述图像微分而生成的微分信息生成具有对应于等于或大于一个预定值的像素的值为1、对应于小于该预定值的像素的值为0的像域标志的二值图像；

在上述分割区图像生成过程中，生成的分割区图像具有在具有值1的像域标志数等于或者大于一个预定阈值时为1的分割区，和在具有值1的像域标志数小于该预定阈值时为0的分割区。

22.根据权利要求20所述的程序，其特征在于，

还执行抽出包含在由上述字符区域抽出过程抽出的上述字符区域中的各个字符的字符抽出过程，

其中，在上述方向检测过程中，识别抽出的上述各个字符的方向，并根据其时别结果检测上述字符区域的方向。

23.根据权利要求20所述的程序，其特征在于，

还执行根据上述图像的二值图像判断上述字符区域是否为反转图像的判断过程，和

在上述判定过程中判定上述字符区域为反转图像时将上述二值图像的黑白成分反转的反转处理过程。

24.根据权利要求20所述的程序，其特征在于，

在上述分割区图像生成步骤中，使用不同的多个阈值生成多个分割区图像；以及

在上述字符区域抽出步骤中，将多个分割区图像相互比较，抽出包含在上述图像中的字符区域。

25.根据权利要求20所述的程序，其特征在于，

在上述字符区域抽出过程中，将上述分割区图像分割为网格状，根据分割的网格状的区域内的像素的分布抽出上述字符区域。

26.根据权利要求25所述的程序，其特征在于，

上述字符区域抽出步骤还包括有选择地输出使用从上述分割区图像中抽出的连结像素群而抽出的字符区域和根据分割为网格状的区域内的像素的分布而决定的字符区域的选择输出过程。

27.一种计算机可以读取的记录媒体，其特征在于，存储有权利要求20所述的程序。

Images