CN1623164A - 图像校正装置及图像校正方法 - Google Patents

Abstract

具有包括输入包含多个字符要素行的图像的图像输入单元；从多个字符要素行检测规定的字符要素行校正行检测单元；对规定的字符要素行，对每个像素列计算出列方向的位置校正量的校正量计算单元；以及根据对规定方向的每个像素列计算出的位置校正量，使图像的各像素列的位置在列方向上移动进行校正的位置校正单元。

Description

图像校正装置及图像校正方法

技术领域

本发明涉及在利用手持扫描仪等对文件等的原稿进行摄影的图像中产生的字符行等的倾斜或弯曲进行校正的图像校正装置及图像校正方法。

背景技术

此前，已经提出种种可对利用扫描仪等对文件原稿进行摄影，并对摄影的图像进行OCR(光学字符识别)识别处理以进行字符识别的技术。

特别是，在使用者利用手持扫描仪等比较小型的扫描仪在原稿上描绘对图像进行摄影的这种方式的装置中，根据使用者的使用方法，使摄影时的扫描方向相对原稿的字符等的排列方向在固定方向上扫描是困难的。因此，结果在摄影的图像中与原稿相比较有时发生倾斜及弯曲。其结果，在该倾斜及弯曲程度很大时，存在不能将字符正确扫出，使字符识别率下降的问题。

作为这种图像的倾斜及弯曲的校正方法，已提出的有，比如，将字符图像作为由二维配置的像素的集合体组成的图像数据，将每个像素的亮度值二值化作为二维的二值化图像数据，设定相对各像素互相平行的多根扫描线进行扫描，使显示二值化图像数据的字符图像的数据对每一根扫描线累积，通过对该累积值求出与扫描线正交方向的分布而制作投影轮廓，根据此投影轮廓的分散值求出施转校正量的方法(比如，参照日本专利第3108979号公报)。

不过，在如前所述的图像校正方法中，存在的问题是，虽然由于使字符要素单位移位，可以对每个字符的弯曲进行校正，但不能校正字符要素本身的畸变，结果在以后的OCR等处理中，不能进行合适的字符识别。

发明内容

本发明系有鉴于这种问题，目的是提供一种可以在校正字符要素行的弯曲或倾斜的同时，校正字符要素本身的畸变的图像校正方法。

本发明的图像校正装置的特征在于，其构成包括输入包含多个字符要素行的图像的图像输入单元；从多个字符要素行检测规定的字符要素行的行检测单元；对规定的字符要素行，对每个像素列计算出列方向的位置校正量的校正量计算单元；以及根据对规定方向的每个像素列计算出的位置校正量，使图像的各像素列的位置在列方向上移动进行校正的位置校正单元。

根据这种构成，因为进行使构成图像的全部像素列在列方向上移动的校正，不仅可以校正字符要素行的弯曲及倾斜，也可以对各字符要素的畸变进行校正。

另外，行检测单元，其构成也可以具有制作图像的行方向的累积直方图的直方图制作单元，根据累积直方图检测最长的字符要素行。

根据这种构成，通过计算图像的累积直方图这样的简易处理，可以在抑制运算单元的负荷的同时，选择应该计算位置校正量的规定的字符要素行。

此外，行检测单元，其构成也可以是具有抽出由直方图制作单元制作的累积直方图的值为最大的像素位置的像素位置抽出单元，根据像素位置检测最长的字符要素行。

根据这种构成，可以检测包含累积直方图的值为最大的像素位置的字符要素行而检测规定的字符要素行。

此外，行检测单元的构成也可以是具有利用像素位置抽出单元抽出的像素位置，使累积直方图的值成为规定的范围内的像素位置的范围确定为最长的字符要素行的范围确定单元。

根据这种构成，通过预先确定规定的范围，可以简易明确地确定规定的字符要素行。

另外，校正量计算单元，其构成也可以是具有对规定的字符要素行的每个字符要素检测列方向的端部位置的端部位置检测单元，根据每个字符要素的端部位置的偏离量计算出位置校正量。

根据这种构成，因为对规定的字符要素行对各字符要素每一个都进行检测其列方向的端部位置的处理，与对图像中的全部字符要素行进行运算处理的场合比较，运算单元的负荷可以减小。

此外，校正量计算单元，其构成也可以是根据将端部位置检测单元检测的端部位置对每个字符要素连接的包络线计算出偏离量。

根据这种构成，通过对规定的字符要素行各字符要素每一个都计算出包络线的简易处理，可计算出偏离量。

另外，本发明的图像校正装置，也可以是其构成包括输入包含多个字符要素行的图像的图像输入单元；制作图像的行方向的累积直方图的直方图制作单元；抽出由直方图制作单元制作的累积直方图的值为最大的像素位置的像素位置抽出单元；利用由像素位置抽出单元抽出的像素位置，使累积直方图的值成为规定的范围内的像素位置的范围确定为最长的字符要素行的范围的范围确定单元；对最长的字符要素行的每个字符要素检测图像列方向的端部位置的端部位置检测单元；根据将端部位置检测单元检测的端部位置对每个字符要素连接的包络线计算出端部位置的每个字符要素的偏离量作为位置校正量的位置校正量计算单元；以及根据位置校正量，使图像的各像素列的位置在列方向上移动进行校正的位置校正单元。

利用这种构成，不仅也可以校正字符列的弯曲及倾斜，还可以对各字符要素的畸变进行校正。

下面，本发明的图像校正装置的特征在于其构成包括输入包含多个字符要素行的第1图像的图像输入单元；使第1图像在行方向上扩展制作包含多个扩展行的第2图像的扩展行制作单元；对第2图像的每个像素列检测扩展行的列方向的开始位置的开始位置检测单元；对第2图像的每个像素列，计算出列方向的位置校正量的校正量计算单元；以及根据位置校正量，使第1图像的每个像素列的位置在列方向上移动进行校正的位置校正单元。

利用这种构成，不仅可以校正字符列的弯曲及倾斜，还可以对各字符要素的畸变进行校正。

其次，本发明的图像校正装置的特征在于其构成包括输入包含多个字符要素行的第1图像的图像输入单元；使第1图像在行方向上扩展制作包含多个扩展行的第2图像的扩展行制作单元；对第2图像的每个像素列计算出列方向的位置校正量的校正量计算单元；以及根据位置校正量，使第1图像的各像素列的位置在列方向上移动进行校正的位置校正单元。

利用这种构成，因为检测扩展行的列方向的开始位置而确定构成字符要素行的像素位置的范围，与检测字符全体的存在的范围的场合相比较，各字符要素行之间重合的可能性很小，可以高精度地分离字符要素行。因此，无论是多少字符要素行被倾斜摄影时，对弯曲和倾斜同时进行校正也是可能的。

另外，第2图像的构成也可以是用亮度值0或1的值表示的二值化图像。

利用这种构成，因为可以在削减存储器的使用量等、迅速进行处理的同时，减小运算单元的负担，所以可以很容易地装载到便携式的信息设备中。

另外，开始位置检测单元的构成也可以是对扩展行的列方向的开始位置的检测，在对每个像素列在列方向上移动注目像素的同时检测注目像素的亮度值，在亮度值为0的像素在像素大于等于规定的数目连续时，就将检测最初亮度值为0的像素的位置作为开始位置。

利用这种构成，因为可以降低将由于污物等引起的噪声信息当作是字符信息的可能性，可以进行更合适的图像校正。

另外，开始位置检测单元的构成，也可以是将扩展行的列方向的开始位置的检测对多个扩展行分别进行，校正量计算单元，根据多个扩展行各自的列方向的开始位置分布的平均值，计算出位置校正量。

根据这种构成，比较难以受到像“j”及“p”等比其他字符向下突出的字符的影响，可以进行更合适的图像校正。

其次，本发明的图像校正装置的特征在于其构成包括输入包含多个字符要素行的二值化的第1图像的图像输入单元；使第1图像在行方向上扩展制作包含多个扩展行的第2图像的扩展行制作单元；对第2图像的每个像素列在列方向上移动注目像素的同时检测注目像素的亮度值，在亮度值为0的像素在像素大于等于规定的数目连续时，就将检测最初亮度值为0的像素的位置作为扩展行的开始位置的开始位置检测单元；根据多个扩展行的列方向的开始位置分布的平均值，计算出第2图像的每个像素列的位置校正量的校正量计算单元；以及根据位置校正量，使第1图像的各像素列的位置在列方向上移动进行校正的位置校正单元。

利用这种构成，因为检测扩展行开始位置而确定字符要素行的下端位置的范围，与检测字符全体的存在范围的场合相比较，各字符行之间重合的可能性很小，可以高精度地分离字符要素行。因此，即使是字符要素行略为倾斜被摄影时，对弯曲和倾斜同时进行校正也是可能的。

其次，也可以构成具备本发明的图像校正装置的信息装置及便携电话装置。

利用这种构成，因为可以容易进行对经过了倾斜及弯曲以及字符要素的畸变的图像校正的字符识别等的字符的输入等，特别是在装载OCR功能等的字符识别功能的信息装置及便携电话装置中，可以提高其字符读取的精度。

其次，本发明的图像校正方法的特征在于，其构成包括从包含多个字符要素行的图像检测规定的字符要素行的第1步骤；对规定的字符要素行的每个像素列计算出位置校正量的第2步骤；以及根据位置校正量，使图像的各像素列在列方向上移动而进行校正的第3步骤。

根据这种方法，因为进行使构成图像的全部像素列在列方向上移动的校正，不仅可以校正字符列的弯曲及倾斜，也可以对各字符要素的畸变进行校正。

另外，本发明的图像校正方法的特征在于，其构成也可以是包括使包含多个字符要素行的第1图像在行方向上扩展制作包含多个扩展行的第2图像的第1步骤；对第2图像的每个像素列检测扩展行的列方向的开始位置的第2步骤；以及根据扩展行的列方向的开始位置的信息，使扩展行的列方向的位置对齐而对第1图像的位置进行校正的第3步骤。

利用这种方法，因为检测扩展行开始位置而确定构成字符要素行的下端位置的范围，与检测字符全体的存在范围的场合相比较，各字符要素行之间重合的可能性很小，可以高精度地分离字符要素行。因此，即使是字符要素行略为倾斜摄影时，对弯曲和倾斜同时进行校正也是可能的。

附图说明

图1为示出本发明的实施方式1的图像校正方法的处理步骤的流程图。

图2为示出本发明的实施方式1的图像校正装置的构成的一例的框图。

图3A为示出本发明的实施方式1的原图像的一例的示图。

图3B为示出本发明的实施方式1的经过倾斜校正的图像的一例的示图。

图4为示出本发明的实施方式1的水平方向累积直方图的一例的示图。

图5为示出本发明的实施方式1的黑像素下端位置的检测结果的一例的示图。

图6为示出本发明的实施方式1的垂直位置偏离量的检测结果的一例的示图。

图7为示出本发明的实施方式1的经过弯曲校正的图像的一例的示图。

图8为示出本发明的实施方式2的图像校正方法的处理步骤的流程图。

图9为示出本发明的实施方式2的图像校正装置的构成的一例的框图。

图10为示出本发明的实施方式2的原图像的一例的示图。

图11为示出本发明的实施方式2的二值化图像的一例的示图。

图12为示出本发明的实施方式2的水平扩展处理的步骤的流程图。

图13为示出本发明的实施方式2的水平扩展处理的内容的说明概图。

图14为示出本发明的实施方式2的水平扩展图像的一例的示图。

图15为示出本发明的实施方式2的扩展字符行的开始位置的检测处理的步骤的流程图。

图16为示出本发明的实施方式2的扩展字符行的开始位置的直方图。

图17为示出本发明的实施方式2的扩展字符行的开始位置的分布的示图。

图18为示出本发明的实施方式2的扩展字符行的开始位置的相对偏离量的分布的示图。

图19为示出本发明的实施方式2的经过校正的图像的一例的示图。

图20A为示出装载本发明的实施方式3的图像校正装置的便携电话装置的正面图。

图20B为示出装载本发明的实施方式3的便携电话装置的图像校正装置的端部的主要部分的斜视图。

具体实施方式

下面利用附图对本发明的实施方式予以详细说明。

(实施方式1)

首先，作为实施方式1，对本发明的图像校正装置及图像校正方法予以说明。

图1为示出本发明的实施方式1的图像校正方法的处理步骤的流程图。另外，图2示出用来实行本发明的实施方式1的图像校正方法的图像校正装置40的构成的一例。

如图2所示，本发明的实施方式1的图像校正装置40的构成包括：读取字符及图形等的原稿，进行其图像输入的图像输入单元1；与图像输入单元1相连接并根据输入到图像输入单元1的图像进行后述的各种处理的CPU2；对输入到图像输入单元1的图像进行存储的帧存储器等存储单元3；以及与CPU2相连接并将各种运算的结果信息及必需的信息向使用者显示的显示单元5。

作为图像输入单元1，可以从光学器件等公知的手持扫描仪等使用的器件中选择使用。

存储单元3，与CPU2相连接，作为其存储媒体可以使用公知的闪速存储器等。

显示单元5，可以从公知的显示器件，比如，LCD(液晶显示器)、EL(电致发光)及CRT(阴极射线管)等之中任意选择。

下面按照图1对本发明的实施方式1的图像校正方法的处理步骤予以说明。

首先，将利用图像输入单元1摄影的图像(以下称其为原图像)经CPU2装入(展开)到存储单元3(S1)。

图3A示出此原图像10的一例。图3A所示的原图像10，是将利用图像输入单元1摄影的部分图像合成而得到的图像，使用者手动扫描时的扫描方向和字符的行方向形成的角度的差影响很大，字符行的方向会发生倾斜。此外，由于利用图像输入单元1在原稿上描绘时的轨迹，相对字符行的方向是弯曲的，图3A所示的原图像10发生弯曲。另外，在本实施方式中，原图像10，是二维配置的像素的集合体，各个像素的亮度值是多值(256色调)的黑白图像。

另外，在本实施方式中，作为根据图像输入单元1的图像摄影装置，采用256×16像素的CCD。另外，作为用于展开图像的存储单元3采用相对图3A的纸面水平方向(横)×对纸面垂直方向(纵)＝1000×400像素的帧存储器。

下面，CPU2，对存储于存储单元3中的原图像10，实行校正整个图像的倾斜的处理(S2)。本发明，对于此倾斜的校正处理没有任何限定，可以采用公知的方法。比如，在日本专利特开平1-156887号公报中揭示的使原图像10转动多个角度，计算出行方向的直方图，确定使其直方图的宽度变为最小的角度作为应该使原图像10转动的角度的使原图像10转动的方法。既可以采用这种方法，也可以采用其他任何方法。

图3B示出进行这种倾斜校正处理的经过了倾斜处理的图像11的一例。此处，示出的经过倾斜校正的图像11是由浓度值为“1”的黑像素和浓度值为“0”的白像素构成的所谓的二值化的图像的示例。经过倾斜校正的图像11具有4个字符行(图3B中的A～D)。另外，在本说明书中，所谓的字符行指的是记载字符的方向(比如，在图3B中的X轴方向)的字符要素的连接体。

在将经过倾斜校正的图像11和原图像10进行比较时，虽然整个图像的倾斜得到校正，但上述的弯曲却依然保留。下面对本实施方式的图像的弯曲的校正方法予以说明。

再返回图1，CPU2，为了检测行方向(图3B中的X轴方向)上最长的字符行，对存储于存储单元3中的经过倾斜校正的图像11，针对图3B中的各垂直像素位置，计数每个水平线水平方向的黑像素的数目(浓度值相加)而计算出累积直方图(S3)。

另外，在本说明书中，构成原图像10的图像数据的水平方向的像素的连接体记作水平线，将垂直方向的像素的连接体记作垂直线。

图4为对图3B所示的经过倾斜校正的图像11计算出的水平方向累积直方图的结果。在图4中，在横轴上示出图像的垂直方向的像素位置(示出的是向着图3B的纸面以左上角为原点O的示例)，在纵轴上画出的是黑像素的数目。

从图4可知，在本实施方式中，计算出的黑像素的直方图，分成为4个山部(A～D)。这些山部，分别与图3B所示的经过倾斜校正的图像11的上述的4个字符行(A～D)相对应。

接着，CPU2，从上述的步骤S3计算出的水平方向的累积直方图，计算出黑像素数目最大的垂直方向的像素位置，将包含最大值的山部看作是长度最长的字符行(S5)。在本实施方式中，因为山部B包含黑像素数目最大的垂直方向的像素位置，可以将字符行B看作是最长的字符行。

此外，CPU2，对长度被看作是最大的山部B，确定相对应的字符行的垂直方向的宽度(S5)。具体言之，将成为相对黑像素数目为最大值所规定的比例R％的垂直方向的像素位置范围(在图4中以W表示的范围)确定为最长字符行范围W。R设定为可以和邻接的字符行分离的值。实用上通过设定R＝30％左右就可以可靠地进行字符行分离。

通过迄今为止的处理步骤，可以确定用来确定应该进行弯曲校正的量的垂直方向的最长字符行范围W。

之后，在确定为最长字符行范围W的垂直方向的像素位置范围中，CPU2，对图3B所示的经过倾斜校正的图像11上从原点起向着X轴方向顺序地垂直每次1线向着图3B的纸面从下侧起进行扫描，将最先检测黑像素的位置确定为黑像素下端位置。这一处理对全部垂直线进行(S6)。

图5为示出对图3B所示的经过倾斜校正的图像11的全部垂直线的黑像素下端位置的检测结果的示图。为简单说明起见，在图5中，对经过倾斜校正的图像11重叠显示。

正如观察图5所了解的，可知对于字符行B(严格讲最长字符行范围W)，对构成字符行的每个字符要素，检测最下端的黑像素下端位置。

返回图1，之后CPU2，在图5所示的计算结果中，计算出连接向着黑像素下端位置的纸面为最下侧的点的包络线，确定为垂直位置偏离量(S7)。具体言之，将由黑像素下端位置为“0”的垂直线夹着的区域假定为1字符要素，对构成各字符要素的每个区域，检测最下侧的黑像素下端位置，以直线将邻接的各字符每一个的黑像素下端位置之间连接起来，对各垂直线每一根计算出在垂直方向上应该校正的垂直位置偏离量。图6示出垂直位置偏离量的检测结果的一例。

之后，CPU2，根据图6所示的垂直位置偏离量，计算出各垂直线每一根在垂直方向上应该位移的量，对存储于存储单元3中的各垂直线每一根进行垂直方向位移而结束处理(S8)。另外，在此步骤之后，显示单元5的构成也可以是对使用者显示经过弯曲校正的图像。

这样，因为利用本实施方式的图像校正方法或图像校正装置，是对于被看作是1字符的每个区域检测黑像素下端位置，制作将邻接的字符要素每一个的黑像素下端位置之间连接起来的包络线，根据此垂直位置偏离量对全部垂直线进行位移处理，所以字符要素本身的畸变也可以得到改善。

另外，如前所述，从步骤2起至步骤8止的各处理步骤，是以利用软件实现为例说明的。不过，本发明并不限定于此，从步骤1起至步骤8止之中至少一个步骤也可以利用具有各个步骤的功能的硬件实现。

图7为示出利用本实施方式的图像校正装置及图像校正方法进行处理的经过弯曲校正的图像13的一例的示图。从图7可知，与图3B所示的经过倾斜校正的图像11相比较，其字符行的弯曲程度大幅度减小。如本实施方式所示，通过根据最长的字符行确定应该进行校正的量，对构成整个图像的垂直线进行校正，可以确认可以对整个图像进行弯曲校正。

这样，因为利用本实施方式的图像校正装置或图像校正方法，是通过计算水平方向的直方图检测最长的字符行，对该字符行检测应该校正的偏离量，对整个图像进行校正，所以与对构成图像的全部字符行进行偏离校正的场合相比较，可以迅速进行处理。

下面，利用本实施方式的图像校正装置或图像校正方法，示出提高原稿的字符识别精度的具体示例。

正确读出率的计算是根据存储于存储单元3中的图像，由CPU2进行OCR处理，计算出其结果正确识别的字符的比例而进行的。作为样本，随机使用20张名片进行识别。提供给摄影、OCR的字符数，电话号码390字符，电子邮件地址及URL共1026字符。

首先，在名片中的电话号码的场合，对于不进行校正时的正确读出率，利用本实施方式校正图像校正装置或图像校正方法，可提高约20％的正确读出率。

另外，在名片中的电子邮件地址及URL的场合，对于不进行校正时的正确读出率，利用本实施方式校正图像校正装置或图像校正方法，可提高约25％的正确读出率，可获得更高的正确读出率。

另外，在电话号码、电子邮件地址及URL全体之中，相对不进行校正时的正确读出率，在进行本发明的图像校正的场合正确读出率可提高约23％。可以认为，这是因为利用本发明校正图像校正装置或图像校正方法，可以在校正字符行的弯曲的同时，校正字符图像本身的畸变之故。

(实施方式2)

其次，作为本发明的实施方式2，对本发明的图像校正装置或图像校正方法另一示例予以说明。

图8为示出本发明的实施方式2的图像校正方法的处理步骤的流程图。并且，图9为示出实现本发明的实施方式2的图像校正方法的图像校正装置130的构成的一例的框图。

如图9所示，本发明的实施方式2的图像校正装置130的构成包括：读取字符及图形等的原稿，进行其图像输入的图像输入单元101；与图像输入单元101相连接并根据输入到图像输入单元101的图像进行后述的各种处理的运算单元CPU102；对输入到图像输入单元101的图像作为二维配置的像素的图像信息进行存储的第1存储单元103；以及将利用CPU102进行各种运算处理的结果得到的图像进行存放、存储的第2存储单元104以及与CPU102相连接并将各种运算的结果信息及必需的信息向使用者显示的显示单元105。

另外，本发明中所谓的像素的图像信息，指的是有关构成图像的像素的亮度信息、色信息以及浓度信息等各种信息，在本实施方式中，使用的是像素的亮度信息。

作为图像输入单元101，可以从光学器件等公知的手持扫描仪等使用的器件中任意选择使用。

第1存储单元103及第2存储单元104，分别是帧存储器，作为其存储媒体可以任意使用公知的闪速存储器等。

显示单元105，可以从公知的显示器件，比如，LCD(液晶显示器)、EL(电致发光)及CRT(阴极射线管)等之中任意选择。

下面按照图8对本发明的实施方式的图像校正装置130进行的图像校正处理时的处理步骤予以说明。

首先，将利用图像输入单元101摄影的图像(以下称其为原图像)110经CPU102在第1存储单元103中作为二维配置的像素的图像信息的亮度信息展开(S10)。

图10示出此原图像110的一例。图10所示的原图像110，是将利用图像输入单元101摄影的部分图像合成而得到的图像，由于利用图像输入单元101在原稿上描绘时的轨迹，相对字符行的方向是弯曲的，图10所示的原图像110发生弯曲。

另外，在本实施方式中，原图像110，如前所述是二维配置的像素的集合体，各个像素的亮度值是多值(256色调)的黑白图像。

另外，在本实施方式中，作为根据图像输入单元101的摄影装置，采用256×16像素的CCD，作为用于展开图像的第1存储单元103采用相对图10的纸面水平方向(横)×对纸面的垂直方向(纵)＝1000×400像素的帧存储器。

下面，CPU102，对存储于第1存储单元103中的原图像110，利用公知的方法对每个像素进行以0(黑)或1(白)的任何一个值作为亮度信息存放的二值化处理(S11)。通过此二值化处理，可以削减存储器的使用量及使处理高速化，可以抑制CPU102的负载。

图11示出进行了这种二值化处理的二值化图像111的一例。看起来发黑的像素是将亮度值“0”作为亮度信息存放的像素，看起来发白的像素是将亮度值“1”作为亮度信息存放的像素的部分。另外，本发明，也可采用公知的任何方法作为此图像的二值化处理方法，没有任何限定。

返回到图8，之后，CPU102，对存储于第1存储单元103中的二值化图像111，对图像的黑色的像素部分，进行使其在水平方向上扩展的水平扩展处理(S12)。

下面对这一水平扩展处理再进行说明。图12为示出本发明的水平扩展处理(扩展行制作方法)的步骤的流程图。在图12中，首先CPU102，以第1存储单元103的任意像素作为注目像素。在实用上，将位于二值化图像111的最端部、即图11的纸面的左上的原点O的像素作为注目像素。于是，检测注目像素的亮度值(S21)。

接着，CPU102判定注目像素的亮度值是否是0(黑)(S22)，在亮度值是0(黑)时，将第2存储单元104的对应的注目像素的处理方向前后的规定范围的像素的亮度值变为0(黑)(S23)。另一方面，在注目像素的亮度值不是0(是1)时，不进行这一处理。

对步骤S23，利用图13予以说明。在图13中，第1存储单元103中的某一注目像素A的亮度值为0(黑)时，对于在处理方向前后规定范围的像素(在本实施方式中，前后各20个像素，包含注目像素共计41个)，使在第2存储单元104相对应的像素的亮度值，不管其原来亮度值，全部一律变成为亮度值＝0(黑)。另外，此规定范围，在实用上前后20像素左右为优选。

返回到图12，接着，CPU102，判定对构成第1存储单元103的全部像素的处理是否结束(S24)，在对全部像素的处理结束时，处理结束。另一方面，在对全部像素的处理未结束时，使注目像素在图11的处理方向上移动(S25)，返回到检测注目像素的亮度值的步骤(S21)。

通过这种处理，在第2存储单元104中可以得到如图14所示的水平扩展图像13。图14为示出本实施方式的水平扩展图像113的一例的示图。

如图14所示，水平扩展图像113，具有多个扩展字符行。另外，其中，所谓的扩展字符行(扩展行)指的是亮度值为0的像素，即各像素连续的块。在本实施方式中，水平扩展图像113的4个扩展字符行LA～LD，与二值化图像111的4个字符行A～D分别对应。

现在返回到图8，CPU102，在水平扩展处理(S12)之后，对各扩展字符行检测垂直方向的黑像素的开始位置(S13)。即CPU102，从水平扩展图像113的向着图14的纸面的最左侧的垂直像素列(指的是图像的垂直方向(列方向)的像素的连接体)开始，对各垂直像素列每一个从图14中下侧起在Y轴方向上进行扫描，对在黑像素(亮度值＝0(黑))的连续比规定的数还多继续时的黑像素最初检测出的像素的位置(以下称其为开始位置)，对各扩展字符行每一个，进行检测。就是说，在本实施方式的水平扩展图像113中，对4个扩展字符行LA～LD的开始位置对各垂直像素列进行检测。

对此扩展字符行的检测方法，利用图15予以说明。图15为示出本发明的实施方式的扩展字符行的开始位置的检测处理(开始位置检测方法)的步骤的流程图。

在图15中，首先CPU102，对存储于第2存储单元104中的水平扩展图像113的任意垂直像素列，设定注目像素，在使注目像素移动的同时，检测各注目像素的亮度值(S31)。另外，此注目像素的设定，实用上，从图14中的最下侧的像素开始。

之后，CPU102，判定连续检测的黑像素的数目是否大于等于规定数(S32)，在连续检测大于等于规定数时，就将最初黑像素开始的像素的位置作为其扩展字符行的开始位置存储(S34)。另一方面，在黑像素的连续检测小于规定数时，该连续就不是扩展字符行而看作是噪声信息，移动注目像素(S36)，进到下一个扩展字符行的开始位置检测处理。另外，此规定数，实用上，设定为20前后是优选。

于是，判定注目像素是否到达垂直像素列的上端(S35)，在到达时，处理结束。

将如上所述的处理，对构成水平扩展图像113的全部的垂直像素列(整个画面)进行。通过进行这种处理，因为将短的黑像素的连续看作是噪声信息，可以只将由字符行构成的扩展字符行的信息取出处理，可实现不大会受噪声信息的影响的构成。

如上所述，对全部垂直像素列进行扩展字符行的开始位置检测处理的结果，对所得到的全部扩展字符行的开始位置，将垂直方向位置和各垂直方向位置的开始位置的数目累积的累积值绘出的结果(直方图)如图16所示。图16为示出本实施方式的扩展字符行的开始点的分布，示出字符行的下端位置的范围。

返回到图8，CPU102利用图16所示的关系，确定各字符行的下端位置的范围(作为一例，是图16的范围W)。这一处理(行分离方法)，可通过从图16所示的直方图检测面积大于等于某一规定值的山的宽度而求得(以下称这一处理为分组)(S14)。在本实施方式中，如图16所示，存在4个山部，这些分别对应于扩展字符行的LA～LD的开始位置的存在范围。

另外，此构成为在此步骤S14中，在直方图的山的面积比规定值小时，被认为是噪声，其累积值的信息忽略不计。利用这种构成，可以进行受到噪声影响小的合适的扩展字符行的开始位置检测。

图17为示出本发明的实施方式的扩展字符行的开始位置的分组、每个扩展字符行的开始位置的分布的示图。横轴示出图14的扩展图像的水平方向位置，纵轴示出垂直方向位置。这样，从上方起顺序为扩展字符行LD、LC、LB及LA四个扩展字符行的开始位置，即下端位置的分布。

这样，利用本发明的图像校正方法及图像校正装置，因为通过进行扩展字符行的开始位置的分组，易于不重复字符的下端位置的范围进行分离，所以可以进行高精度的字符行分离。

返回到图8，下面CPU102，对图14的4个扩展字符行的LA～LD，对全部垂直像素列分别计算出对垂直方向应该校正的偏离量(S15)。于是，计算出4个扩展字符行的LA～LD的偏离量的平均值(S16)。

图18为示出本发明的实施方式的各垂直像素列相对偏离量的分布的示图。横轴示出水平方向位置，纵轴示出对全部字符行计算平均值的相对偏离量。由此图18示出的关系，对各垂直像素列，确定对垂直方向应该校正的偏离量。

在图8中，CPU102(移动运算单元)，根据此偏离量平均值，使存放于第1存储单元103中的二值化图像111的各垂直像素列按照偏离量大小在垂直方向上移动而结束处理(S17)。

图19为示出利用本发明的实施方式的图像校正装置130对原图像110进行图像校正的结果经过校正的图像115的一例的示图。

从图19可知，与原图像110比较，是对其字符行的倾斜和弯曲的程度两方面进行校正。这样，因为如果利用本发明的图像校正装置，可以校正倾斜及弯曲，所以可以抑制以后的OCR等的处理的识别率的下降。

另外，如前所述，从步骤11起至步骤17止的各处理步骤，是以利用软件实现为例说明的。不过，本发明并不限定于此，从步骤10起至步骤17止之中至少一个步骤也可以利用具有各个步骤的功能的硬件实现。

利用本发明的图像校正装置，因为该应该校正的偏离量是利用对各字符行计算出的偏离量的平均值，比如，在某一字符行中，即使有像“j”及“p”等向下突出的字符要素，也可实现行受到该字符要素的恶劣影响很小的构成。

另外，本发明图像校正装置或图像校正方法，并不限定于本实施方式所示的构成。比如，也可是根据图16所示的扩展字符行的开始位置的直方图，只参照对包含最大的累积值的字符行计算出的应该校正的偏离量，对构成图像的全部垂直像素列进行校正的构成。这是因为包含最大的累积值的字符行，通常意味着最长的字符行，通过检测应该对该字符行进行校正的偏离量，进行校正，可以对整个图像的倾斜及弯曲进行校正之故。在实用上，利用这种构成也可以很好地进行图像的倾斜及弯曲的校正。另外，与对构成图像的全部字符行计算开始位置、根据其平均值进行偏离校正的场合相比较，可以迅速进行处理。

利用本发明的实施方式校正图像校正装置130或图像校正方法，作为样本，随机使用20张名片进行图像校正。并且，提供给OCR的字符数，电话号码390字符，电子邮件地址及URL共1026字符。进行图像校正之后，根据存储于第1存储单元103中的图像，由CPU102进行OCR处理，对其结果正确识别的字符的比例计算的结果，在名片中电话号码、电子邮件地址及URL全体之中，相对不进行校正时的正确读出率，在进行本发明的图像校正的场合，由于弯曲校正及倾斜校正的效果，正确读出率可提高约25％。

另外，在本发明的实施方式中，对于显示单元105的功能，虽然没有特别说明，但可以利用对于使用者可以将取得的原图像及二值化图像等进行显示，使出错消息及必要的输入内容的消息等得到显示的构成而实现使用者更容易使用的装置构成。

另外，在本发明的实施方式1或实施方式2中，示出的是对图像校正装置读取的图像上的各字符及数字等的倾斜及弯曲进行校正的示例，但本发明的图像校正装置可以校正的图像并不限定于此。比如，本发明校正图像校正装置或图像校正方法，也可以对代替字符及数字或在其上加上条形码及图形等的信息(这些在本说明书中统称为字符要素)，对在画面上的一个方向上排列的原稿，对读取的图形的倾斜、弯曲或畸变等可以进行校正是自不待言的。

(实施方式3)

其次，作为本发明的实施方式3，对具备本发明的图像校正装置或图像校正方法的信息装置予以说明。

因为采用本发明图像校正装置或图像校正方法，可以削减存储器的使用量，进行迅速的处理，运算单元(CPU)的负担小，所以也容易装载到便携式的信息设备中。图20示出将这种本发明的图像校正装置40、130装载到便携电话装置等信息装置的示例。

图20为示出装载图像校正装置130的便携电话装置150的外观图，图20A为正面图，图20B为示出装载图像校正装置130的端部的主要部分的斜视图。

便携电话装置150是在其构成包括天线单元152；扬声器152；LCD等的显示单元105；键单元154及话筒单元155等的公知的便携电话装置中内置图像校正装置130的构成。

通过装载本发明的图像校正装置，通过在便携电话装置150的下面，设置读取图像校正装置130的图像输入单元101的以字符及图形等的浓淡表示的信息的读取面，可以提供用户使用非常方便的图像校正装置130内置型的便携电话装置150。

另外，在本实施方式中，在便携电话装置150中装载的是在实施方式2中举例说明的图像校正装置130，但是装载在实施方式1中说明的图像校正装置40也可以具有同样的效果是无需赘言的。

这样，利用装载本发明的图像校正装置的便携电话装置，因为可以读取URL及二维条形码等文献信息、供OCR等处理，所以可以提供此前没有的多功能便携电话装置等信息装置。

另外，此处所谓的信息装置，并不限定于上述的便携电话装置，也包含数字相机、小型个人计算机以及PDA(个人数字助理)等公知的各种信息装置是自不待言的。

如上所述，根据本发明的图像校正装置及图像校正方法，具有可以在校正字符要素行的倾斜或弯曲的同时，可以校正字符要素本身的畸变的效果，作为对在利用手持扫描仪等对文件等的原稿进行摄影的图像中产生的字符行等的倾斜或弯曲进行校正的图像校正装置及图像校正方法等是有用的。

Claims (16)

1.一种图像校正装置，其特征在于包括：

输入包含多个字符要素行的图像的图像输入单元；

从上述多个字符要素行检测预定的字符要素行校正行检测单元；

对上述预定的字符要素行，对每个像素列计算出列方向的位置校正量的校正量计算单元；以及

根据对上述预定方向的每个像素列计算出的位置校正量，使上述图像的各像素列的位置在上述列方向上移动进行校正的位置校正单元。

2.如权利要求1所述的图像校正装置，其特征在于上述行检测单元，具有制作上述图像的行方向的累积直方图的直方图制作单元，根据上述累积直方图检测上述最长的字符要素行。

3.如权利要求2所述的图像校正装置，其特征在于上述行检测单元具有抽出由上述直方图制作单元制作的累积直方图的值为最大的像素位置的像素位置抽出单元，根据上述像素位置检测上述最长的字符要素行。

4.如权利要求3所述的图像校正装置，其特征在于上述行检测单元具有根据利用上述像素位置抽出单元抽出的上述像素位置，使上述累积直方图的值成为预定的范围内的像素位置的范围确定为上述最长的字符要素行范围的范围确定单元。

5.如权利要求1所述的图像校正装置，其特征在于上述校正量计算单元具有对上述预定的字符要素行的每个字符要素检测上述列方向的端部位置的端部位置检测单元，根据上述每个字符要素的上述端部位置的偏离量计算出上述位置校正量。

6.如权利要求5所述的图像校正装置，其特征在于上述校正量计算单元是根据将上述端部位置检测单元检测出的上述端部位置对上述每个字符要素连接的包络线计算出上述偏离量。

7.一种图像校正装置，其特征在于包括：

输入包含多个字符要素行的图像的图像输入单元；

制作上述图像的行方向的累积直方图的直方图制作单元；

抽出由上述直方图制作单元制作的累积直方图的值为最大的像素位置的像素位置抽出单元；

利用由上述像素位置抽出单元抽出的上述像素位置，使上述累积直方图的值成为预定的范围内的像素位置的范围确定为最长的字符要素行的范围的范围确定单元；

对上述最长的字符要素行的每个字符要素检测上述图像列方向的端部位置的端部位置检测单元；

根据将上述端部位置检测单元检测出的上述端部位置对上述每个字符要素连接的包络线计算出上述端部位置的上述每个字符要素的偏离量作为位置校正量的位置校正量计算单元；以及

根据上述位置校正量，使上述图像的各像素列在上述列方向上移动进行校正的位置校正单元。

8.一种图像校正装置，其特征在于包括：

输入包含多个字符要素行的第1图像的图像输入单元；

使上述第1图像在上述行方向上扩展制作包含多个扩展行的第2图像的扩展行制作单元；

对上述第2图像的每个像素列检测上述扩展行的上述列方向的开始位置的开始位置检测单元；

对上述第2图像的每个像素列，计算出上述列方向的位置校正量的校正量计算单元；以及

根据上述位置校正量，使上述第1图像的各个像素列位置在上述列方向上移动进行校正的位置校正单元。

9.如权利要求8所述的图像校正装置，其特征在于上述第2图像是用亮度值为0或1的值表示的二值化图像。

10.如权利要求9所述的图像校正装置，其特征在于上述开始位置检测单元对上述扩展行的上述列方向的开始位置的检测，在对上述每个像素列在上述列方向上移动注目像素的同时检测上述注目像素的亮度值，在亮度值为0的像素在像素大于等于预定的数目并连续时，就将检测最初亮度值为0的像素的位置作为上述开始位置。

11.如权利要求10所述的图像校正装置，其特征在于：

上述开始位置检测单元对上述扩展行的上述列方向的开始位置的检测对多个扩展行分别进行，

上述校正量计算单元，根据上述多个扩展行各自的上述列方向的开始位置分布的平均值，计算出上述位置校正量。

12.一种图像校正装置，其特征在于包括：

输入包含多个字符要素行的二值化的第1图像的图像输入单元；

使上述第1图像在行方向上扩展制作包含多个扩展行的第2图像的扩展行制作单元；

对上述第2图像的每个像素列在列方向上移动注目像素的同时检测上述注目像素的亮度值，在亮度值为0的像素在像素大于等于预定的数目并连续时，将检测最初亮度值为0的像素的位置检测为上述扩展行的开始位置的开始位置检测单元；

根据上述多个扩展行的上述列方向的开始位置分布的平均值，计算出上述第2图像的每个像素列的位置校正量的校正量计算单元；以及

根据上述位置校正量，使上述第1图像的上述各像素列的位置在上述列方向上移动进行校正的位置校正单元。

13.一种信息装置，其特征在于具备权利要求1至12任何一项所述的图像校正装置。

14.一种便携电话装置，其特征在于具备权利要求1至12任何一项所述的图像校正装置。

15.一种图像校正方法，其特征在于包括：

从包含多个字符要素行的图像检测预定的字符要素行的第1步骤；

对上述预定的字符要素行的每个像素列计算出位置校正量的第2步骤；以及

根据上述位置校正量，使上述图像的上述各像素列在列方向上移动而进行校正的第3步骤。

16.一种图像校正方法，其特征在于包括：

使包含多个字符要素行的第1图像在行方向上扩展制作包含多个扩展行的第2图像的第1步骤；

对上述第2图像的每个像素列检测上述扩展行的列方向的开始位置的第2步骤；以及

根据上述扩展行的列方向的开始位置的信息，使上述扩展行的列方向的开始位置对齐而对上述第1图像位置进行校正的第3步骤。

Images