CN101833648A - 文本图像的校正方法 - Google Patents

Abstract

本发明文本图像的校正方法，属于光学字符识别领域，包括以下步骤：定位文本图像中的字符区域并提取疑似字符；对疑似字符进行识别，若识别可信度大于单个字符可信度参考值，则字符有效方向为正向，否则将疑似字符分别逆时针旋转来判断有效方向；提取具有有效方向的字符至有效字符集，直到某方向识别可信度累加值高于既定的识别可信度，则提取对应的文本方向；校正图像的方向，进行文本图像的识别并输出。本方法有效滤除了不可靠的字符的影响，避免文字区域中的不可靠的区域对文字方向判断的影响。对于复杂文本图像、含有噪声的文本图像、质量较差的文本图像具有较好的自适应，能较快、正确的判断出文本图像方向，进而有效地进行文本图像的识别。

Description

文本图像的校正方法

技术领域

本发明属于光学字符识别(OCR)领域，涉及一种文本图像的校正方法。

背景技术

当待识别的文档通过图像录入装置(如扫描仪、照相机等)转换成文本图像时，其文字方向不一定是正向的，可能旋转了90°、180°、270°。若是直接将非正向的文本图像送入识别引擎进行识别，无法得到正确的识别结果。

为保证文本图像中的信息能够正确被识别、并保存成电子文档，目前通常采取两种方案。

方案一：手工校正图像方向。该方法耗时耗力，尤其对大量图像进行操作时，效率及其低下。

方案二：利用指定区域内的识别信息，对文本图像方向进行校正。

方案二实现了文本图像识别的自动化，大大提高了效率。

申请号为98105597.4的专利提出了一种文本图像方向判断校正的方法，该方法检测文本图像内部一个字符区域的预定部分，并识别该区域，最后根据该区域中的字符平均识别可信度，判断文本图像方向。该方法对于包含纯文字的文本图像具有良好效果。但是，由于没有对待识别区域内的字符进行有效性的筛选，若是选取的区域中包含本身包含非文字区域(例如：图标、噪声等)或是识别可靠度低的区域(例如：成像质量差的字符)，则可能造成该区域平均识别可靠性低于参考值。此时可能对四个方向均进行识别，大大增加了判断时间和系统资源。此外，区域中包含的字符数过少，判断准确度比较低，而区域中包含的字符数过多，速度会比较慢。

因此，需要提供一种对图像适应性更强的方法，不受区域选择限制及区域中的不良因素的干扰，有效判断各类复杂的文本图像。

发明内容

本发明目的在于提供一种文本图像的校正方法，适用于各类复杂的文本图像。在定位文本图像中的字符区域后，根据若干字符方向性判断文本的方向，在此基础上校正图像的方向，进行文本图像的识别。本方法不受区域选择限制及区域中的不良因素的干扰，有效判断各类复杂的文本图像。

文本图像的校正方法，该方法包括以下步骤：

步骤1：定位文本图像中的字符区域；

步骤2：对字符区域中的字符块进行基于结构特征的分类，并从中提取疑似字符；

步骤3：用字符识别引擎对提取的疑似字符进行识别；若得到的识别可信度大于单个字符可信度参考值，则字符有效方向为正向，转到步骤4；否则将疑似字符分别逆时针旋转90°、180°、270°进行识别，若各方向的识别可信度仅有一个大于单个字符可信度参考值，则对应的方向为该字符的有效方向，转到步骤4；否则转到步骤2；

步骤4：逐个提取具有有效方向的字符至有效字符集，计算其中各字符的四个方向上的识别可信度累加值，直到某方向识别可信度累加值高于既定的识别可信度；将该累加值对应的方向作为文本方向；

步骤5：根据文本方向判断结果，校正图像的方向，进行文本图像的识别并输出。

所述步骤2中，对字符块进行基于结构特征的分类包括：选取字符块结构特征；计算字符块结构特征值；根据字符块结构特征值提取疑似字符。

所述步骤2中，疑似字符为与待识别语言的字符结构特征相似的字符块。

所述步骤2中字符块结构特征包括：字符的宽度、高度、宽高比、上下穿刺特征、笔画特征、连通域特征。提取疑似字符块采用的字符结构特征包括：宽度W、高度H、宽高比W/H。若字符块相应结构特征同时满足0.5≤W/H≤2、W≥H_L/4和H≥H_L/4，就认为该字符为疑似字符，否则，为无效块。其中，若文本行为水平方向，则H_L为字符所在的文本行的行高；若文本行为竖直方向，则H_L为字符所在的文本行的行宽。

所述步骤3中，若正向识别得到的识别可信度大于单个字符可信度参考值，不再对该字符进行其他方向上的识别，直接确定字符有效方向为正向，将该字符加入有效字符集中，转到步骤4；若已知输入文本图像多数为其他方向，也可以优先识别该方向。

所述步骤4中，有效字符集为存储字符的内存空间，用来存储具有有效方向的字符。

所述步骤4中，既定的识别可信度为一可信度的设定值，用来与各方向的识别可信度累加值进行比较。

本发明文本图像的校正方法，与现有技术相比，其优点在于：

1.通过有效字符集的提取与该集合中四个方向的识别可信度的累加，判断文本方向，有效滤除了不可靠的字符的影响，避免文字区域中的不可靠的区域对文字方向判断的影响。

2.本发明通过有限个字符进行文本图像的校正，对于复杂文本图像、含有噪声的文本图像、质量较差的文本图像，本方法都具有较好的自适应，能较快、正确的判断出文本图像方向，进而有效地进行文本图像的识别。

附图说明

图1为本发明文本图像的校正方法的方法流程图；

图2为本发明文本图像的校正方法的实施过程示意图，其中：

图2(a)是拍摄得到的一个二值文本图像；

图2(b)是文本图像字符区域标记图；

图2(c)是字符有效方向判断图示例说明；

图2(d)是文本方向的判断图示说明图；

图2(e)是采用本方法校正得到的正向图像后与相应的文本识别结果的比对图。

具体实施方式

本发明在于提供一种适用于各类包含文字内容的自动文本图像方向判断方法，为文本图像识别全自动化提供保障。

以下结合附图并以文字方向为90°的中文拍摄文本二值图像为例，对本发明的文本图像方向判断方法进行详细说明。如图1所示，同时参考图2，本发明的文本图像方向判断方法的一个具体实施例，包括以下步骤：

步骤一：图像中的字符区域定位。输入识别系统的文本图像，经过文本结构分析后，得到文本区域中的字符块区域。本实施例中，对文本结构分析定位字符块区域步骤包括：文本行切分，得到若干行单行文本；行内字符块切分，得到若干单个字符块。字符区域的定位结果见图2(b)所示，方框为字符块边界。

在本实施例中，为避免左右分离结果的字符被切分，还可以对字符块进一步进行合并处理：根据文本区域统计的字符宽高信息，对一些距离比较近的字符块进行合并，完成字符区域定位。

文本行切分：文本行方向判断，通过水平方向投影和竖直方向投影直方图的效果，判断文本行的方向，在正确的方向进行投影，得到的直方图上存在明显的落差较大波峰和波谷。在本实施例中，文本行被判定为竖直方向，因此利用竖直方向投影直方图切分文本行：逐列计算图像中的每一像素列中前景像素的个数，得到图像竖直投影直方图；选取合适的阈值，在竖直投影直方图上确定文本行的边界，在本实施例中选取0为文本行切分阈值：若第i列投影值为0，第i+1列投影值＞0，则第i+1列作为一行的起始边界；若第i列投影值为0，第i-1列投影值＞0，则第i-1列作为一行的结束边界。当然，在其他实施例中也可采取其他数值为行切分阈值对文本进行切分。若文本方向为水平，则利用水平方向投影图切分文本行，方法与竖直方向投影直方图切分文本行方法类似。

行内字符块切分：在本实施例中，对于竖直文本行利用水平方向投影直方图切分字符块：逐列计算单个竖直文本行图像中的每一像素行中前景像素的个数，得到水平投影直方图；选取合适的阈值，在水平投影直方图上确定字符块区域的上下边界，在本实施例中选取0为切分阈值：若第i行投影值为0，第i+1行投影值＞0，则第i+1行作为字符块的上边界；若第i行投影值为0，第i-1行投影值＞0，则第i-1行作为字符块的下边界；当然，在其他实施例中也可采取其他数值为字符块切分阈值。当字符上下边界确定后，字符左右边界为该上下区域内左右第一个像素投影值非0的列。若文本方向为水平，则利用文本行的竖直方向投影直方图切分字符块，方法与水平方向投影直方图切分字符块方法类似。

本实施例中，字符块区域的定位采用的是至上而下的方法。在其他实施例中，可以采用之下而上的方法，例如，通过连通域合并得到字符的区域位置信息。

步骤二：在文本区域中提取疑似字符块。该步骤主要目的在于，部分剔除图标、噪声、不完整的字符等影响。按照某种顺序，提取文本区域中的一个字符块，并进行疑似字符块判断。若该字符块为疑似字符，进入步骤三处理，否则继续提取字符块进行判断。

疑似字符是指，与待识别语言的字符结构特征相似的字符块。字符块的结构特征有很多，例如字符的宽度、高度、宽高比、上下穿刺特征、笔画特征、连通域特征等。合适的特征有助于排除不属于该语言的字符块。本实施例中，提取疑似字符块采用的字符结构特征包括：宽度W、高度H、宽高比W/H。若字符块相应结构特征同时满足0.5≤W/H≤2、W≥H_L/4和H≥H_L/4，就认为该字符为疑似字符，否则，为无效块，为没有判定为疑似字符块的字符块。其中，若文本行为水平方向，则H_L为字符所在的文本行的行高；若文本行为竖直方向，则H_L为字符所在的文本行的行宽。

所述无效块，可能是非字符块(噪声、图像)、字符的一部分、小点符号、宽高过小的字符。

字符结构特征分类的参考值的选取是经过统计和实验得到的。本实施例中，识别中文文本，大部分中文字符的相应的结构特征满足如下的统计特征：宽高比一般在W/H0.5～2之间。条件W≥H_L/4和H≥H_L/4目的是滤除小符号(如’.’)和宽高过小的字符(如汉字‘一’、数字‘1’等)，该类字符若不滤除，即使进行识别，其识别可信度在若干方向均比较高，是没有判断意义的。如图2(b)所示，其中的字符块1、字符块2和字符块3在同一竖向文本行中，文本行的行宽H_L＝30(Pixel)，H_L/4＝7.5(Pixel)。对字符块1、字符块2和字符块3进行疑似字符的判断，相应的计算得到的结构特征值与疑似字符判断结果见表1。其中，字符块1和字符块3分别不满足字符宽高比和字符大小的条件，判定为无效块；字符块2为疑似字符。

表1疑似字符判断示例

本实施例中，按照版面位置顺序，采用至上而下、从左到右的顺序，提取字符块。在其他实施例中，可以按照字符的结构特征如宽高比、笔画特征等对行内字符进行排序(使得无效块顺序靠后)，按照结构特征值的排序结果进行字符块提取。

此外，在本实施例中，笔画特征等信息也可以作为判断标准，进行疑似字符的提取。

步骤三：对步骤二得到的疑似字符，通过识别的方式进行有效方向的判断。若该字符块为有效字符，进入步骤四处理，否则转入步骤二，继续提取疑似字符块。

有效字符是指，可以判断出字符有效方向的字符。

判断字符的有效方向时，由于字符识别核心对于非正确方向输入的字符无法正确识别，非正确方向输入的字符输出的识别结果的识别可信度远低于以正确方向上的识别结果。因此，每个字符块在四个方向上分别进行识别比较，可以判断字符的有效性和字符的有效方向。

本实施例中，对步骤二得到的疑似字符进行字符的有效方向的判断：对疑似字符的区域图像进行四个方向上的识别，即原始方向、逆时针旋转90°、180°、270°方向，得到相应的四个识别可信度T₀、T₁、T₂和T₃。其中，T₀是字符在12点钟方向上的识别可信度，T₁是字符在3点钟方向上的识别可信度，T₂是字符在6点钟方向上的识别可信度，T₃是字符在9点钟方向上的识别可信度。若其中仅有一个值T_i(i＝0，...，3)大于单个字符的可信度参考值T，则可确定该字符为有效字符，其有效方向为T_i对应的方向。否则，为无效字符，为不具有有效方向的字符。图2(c)为字符有效方向判断的示意图。在本实施例中，采用汉王科技股份有限公司的中文OCR识别引擎(HW_CNOCR 1.0.0.1)进行字符的识别。该识别引擎对字符进行识别后，返回字符的识别可信度的值为0或1，其中0表示识别结果不可信，1表示识别结果可信。单个字符可信度参考值T为0.5。图中，左边的字符采用本实施例的识别方式，得到四个方向上的识别可信度T₀、T₁、T₂和T₃，分别为0、0、0、1。右图中，经过比较，只有T₀值大于为0.5的单个字符可信度参考值T，故T₀＞T，该字符为有效字符，有效方向为正方向。

所述无效字符，可能是非字符块(噪声、图像)、字符的一部分、或是质量较差的字符。滤除掉无效字符后，可以提高文本方向判断的准确性，排除干扰。如图2(b)所示，其中，字符块0的图像成像质量较差，在四方向上的字符识别可信度均低于参考值，是无效字符。

在本实施例中，为了提高速度，也可以首先识别正向图像，若正向识别得到的可信度T₀大于单个字符可信度参考值T，不再对该字符进行其他方向上的识别，直接确定字符有效方向为正向。该处理流程是基于输入文本图像大多数为正立的。若已知输入文本图像大多数为其他方向，也可以优先识别该方向。在图2(c)的字符有效方向判断的示意图中，右边字符采用该处理方式，由于正向识别可信度T₀＞T，因此不进行其他三个方向识别；这样该方向就可以确定为字符的有效方向，进入步骤四处理。但若正向识别可信度T₀≤T，处理方式同本实施例，进行四个方向的识别，进一步判断字符的有效方向。

步骤四：文本方向判断。将步骤二、步骤三得到的有效字符逐个加入到有效字符集中，有效字符集为存储字符的内存空间，用来存储具有有效方向的字符。本实施例中为一循环队列，用来统计有效字符集的在各方向上的特征值E_i(i＝0，...，3)；若某一方向特征值E_i高于特征参考值E，则结束字符方向性判断，得到四个方向上的特征值，即识别可信度累加值，将识别可信度累加值高于既定的识别可信度的对应的方向作为文本方向，然后转到步骤五；否则，转入步骤二，提取下一个疑似字符，直至某一方向的特征值E_i高于特征参考值E。

本实施例中，采用相应方向上的有效字符的识别可信度累加值作为特征值：在0°方向，识别可信度累加值E₀为有效方向为0°的字符在0°方向识别的可信度之和；同理可得，其他方向上的识别可信度累加值的结果。

既定的识别可信度为一可信度的设定值，用来与各方向的识别可信度累加值进行比较；各方向的识别可信度仅有一个大于单个字符可信度参考值，则对应的方向为该字符的有效方向。

若四个方向上的特征值均未达到既定的识别可信度E，则说明提取出的有效字符还不够，需要进一步提取有效字符，扩大有效字符集的范围，则转到步骤二，进行疑似字符的判别；直到某一方向的识别可信度累加值高于既定的识别可信度E，即可结束字符方向性判断，转到步骤五。

本实施例中，采用汉王科技股份有限公司的中文OCR识别引擎(HW_CNOCR1.0.0.1)进行字符的识别。四个文本方向上，既定的识别可信度E为10。文本图像的方向判断示意如图2(d)所示，按照图示的过程，进行文本方向判断的过程中，跳过无效块和无效字符，仅对于有效字符，分别统计有效字符四个方向上的识别可信度的值。其中，无效块是不满足疑似字符的字符块(形如如图2(d)中字符块1)；而无效字符是没有有效方向的疑似字符(形如如图2(d)中字符块0)。

图中识别出的各文字中，沿正方向逆时针旋转90°的方向，即9点钟的方向的识别可信度T₃为1均大于其他方向的识别可信度0，也大于单个字符可信度参考值0.5。所以，当这些文字的9点钟方向识别可信度累加值E₃大于既定的识别可信度E时，可得到9点钟方向，即沿正方向逆时针旋转90°的方向为文本方向其值为90°。

步骤五：根据步骤四判断得到的文本方向，校正图像，即对图像进行旋转。本实施例中，得到的文字方向为90°，因此将图像顺时针旋转90°后，将文本区域送入识别引擎进行识别并输出。本实施例中，校正后的文本图像与相应的文本识别结果见图2(e)。

本发明的方法，可用于对扫描、拍摄图像的处理。该方法同样适用于其他语言的文本图像如：日韩文、英文、西欧语言等。其中的相应的字符特征、可信度参考值等可以根据具体的语言、识别引擎进行调整。

本发明中采用的优选实施例，只是对本发明思想的一种具体实施方式的描述。其具体应用形式的多样的，本领域技术人员将能够设计很多替代实施例而不脱离附后的权利要求书的范围。

Claims (7)

1.一种文本图像的校正方法，其特征在于，包括以下步骤：

步骤一：定位文本图像中的字符区域；

步骤二：对字符区域中的字符块进行基于结构特征的分类，并从中提取疑似字符；

步骤三：用字符识别引擎对提取的疑似字符进行识别；若得到的识别可信度大于单个字符可信度参考值，则字符有效方向为正向，转到步骤四；否则将疑似字符分别逆时针旋转90°、180°、270°进行识别，若各方向的识别可信度仅有一个大于单个字符可信度参考值，则对应的方向为该字符的有效方向，转到步骤四；否则转到步骤二；

步骤四：逐个提取具有有效方向的字符至有效字符集，计算其中各字符的四个方向上的识别可信度累加值，直到某方向识别可信度累加值高于既定的识别可信度；将该累加值对应的方向作为文本方向；

步骤五：根据文本方向判断结果，校正图像的方向，进行文本图像的识别并输出。

2.根据权利要求1所述一种文本图像的校正方法，其特征在于：所述步骤二中，对字符块进行基于结构特征的分类包括：选取字符块结构特征；计算字符块结构特征值；根据字符块结构特征值提取疑似字符。

3.根据权利要求1所述一种文本图像的校正方法，其特征在于：所述步骤二中，疑似字符为与待识别语言的字符结构特征相似的字符块。

4.根据权利要求2所述一种文本图像的校正方法，其特征在于：所述步骤二中字符块结构特征包括：字符的宽度、高度、宽高比、上下穿刺特征、笔画特征、连通域特征；提取疑似字符块采用的字符结构特征包括：宽度W、高度H、宽高比W/H；若字符块相应结构特征同时满足0.5≤W/H≤2、W≥H_L/4和H≥H_L/4，就认为该字符为疑似字符，否则，为无效块；其中，若文本行为水平方向，则H_L为字符所在的文本行的行高；若文本行为竖直方向，则H_L为字符所在的文本行的行宽。

5.根据权利要求1所述一种文本图像的校正方法，其特征在于：所述步骤三中，若正向识别得到的识别可信度大于单个字符可信度参考值，不再对该字符进行其他方向上的识别，直接确定字符有效方向为正向，将该字符加入有效字符集中，转到步骤四；若已知输入文本图像多数为其他方向，也可以优先识别该方向。

6.根据权利要求1所述一种文本图像的校正方法，其特征在于：所述步骤四中，有效字符集为存储字符的内存空间，用来存储具有有效方向的字符。

7.根据权利要求1所述一种文本图像的校正方法，其特征在于：所述步骤四中，既定的识别可信度为一可信度的设定值，用来与各方向的识别可信度累加值进行比较。

Images