CN109993161B - 一种文本图像旋转矫正方法及系统 - Google Patents

Abstract

本发明公开了一种文本图像旋转矫正方法及系统，文本图像旋转矫正方法至少包括：将待矫正文本图像进行预处理，生成二值化图像；对二值化图像进行连通域分析，生成字符区域图，并在字符区域图上提取文本行方向角度；根据文本行方向角度，生成文本行角度直方图；根据文本行角度直方图，计算待矫正文本图像的待旋转角度；根据待旋转角度，将待矫正文本图像旋转矫正。本发明通过图像中的文本聚集特点，提取文本行的方向，计算出旋转角，相对于现有方法中使用单个字符区域边缘不稳定的情形，本方法计算出的旋转角更加稳定及更具鲁棒性，进而得到更理想的矫正图像，且该文本图像旋转矫正方法计算简单高效，即使是在计算能力一般的智能终端上也能运行。

Description

一种文本图像旋转矫正方法及系统

技术领域

本发明涉及文本图像处理技术领域，特别涉及一种文本图像旋转矫正方法及系统。

背景技术

光学字符识别(OCR)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

OCR的一般流程包括图像预处理、文本检测、文本识别。文本图像旋转矫正作为预处理中的一个必要环节将直接影响到后续文本检测与识别的结果。

常见的图像旋转矫正方法是通过检测图像的边缘，根据图像边缘来矫正图像。这些基于边缘的图像矫正方法经常会产生不可靠的结果，主要是由于边缘提取的稳定性受到杂乱的背景、光照、模糊等因素的影响，导致无法产生可靠的边缘进行后续的矫正。

发明内容

为解决上述技术问题，本发明提供了一种文本图像旋转矫正方法及系统，其根据文本图像中的文本聚集特点，提取文本行的方向，计算出稳定的待旋转角度。

本发明实施例提供的技术方案如下：

第一方面，提供了一种文本图像旋转矫正方法，所述方法至少包括：

将待矫正文本图像进行预处理，生成二值化图像；

对所述二值化图像进行连通域分析，生成字符区域图，并在所述字符区域图上提取文本行方向角度；

根据所述文本行方向角度，生成文本行角度直方图；

根据所述文本行角度直方图，计算所述待矫正文本图像的待旋转角度；

根据所述待旋转角度，将所述待矫正文本图像旋转矫正。

在一些实施例中，所述将待矫正文本图像进行预处理，生成二值化图像，至少包括如下子步骤：

将待矫正文本图像进行灰度化处理，生成灰度图像；

将所述灰度图像进行二值化处理，生成二值化图像。

在一些实施例中，所述对所述二值化图像进行连通域分析至少包括如下子步骤：

将所述二值化图像中字符之间的粘连区域断开；

对所述二值化图像进行连通域分析，获取每个字符的最小外接矩形；

过滤包括异常连通域的字符；

将过滤后所述每个字符的最小外接矩形扩展形成矩形区域。

在一些实施例中，所述生成字符区域图，并在所述字符区域图上提取文本行方向角度，至少包括如下子步骤：

新建字符区域图，所述字符区域图与所述待矫正文本图像分辨率；

将所述矩形区域映射到所述字符区域图上；

变更所述字符区域图中映射部分的像素值；

在所述字符区域图上，采用霍夫变换法提取文本行方向线；

在所述字符区域图上提取文本行方向夹角，所述文本行方向夹角大小为所述文本行方向线与水平方向形成的夹角大小。

在一些实施例中，所述根据所述文本行方向角度，生成文本行角度直方图，至少包括如下子步骤：

预设所述文本图像的旋转角度阈值及旋转角度间隔；

根据所述文本行方向夹角，在所述旋转角度间隔内进行投票；

根据所述投票结果，生成文本行角度直方图。

在一些实施例中，根据所述文本行角度直方图，计算文本图像的旋转角度，至少包括如下子步骤：

选取投票数最大的旋转角度间隔；

将所述投票数最大的旋转角度间隔内的文本行方向角度进行加权平均，计算获得文本图像的待旋转角度。

另一方面，提供了一种文本图像旋转矫正系统，所述系统至少包括：

预处理模块：用于将待矫正文本图像进行预处理，生成二值化图像；

第一处理模块：用于对所述二值化图像进行连通域分析，生成字符区域图，并在所述字符区域图上提取文本行方向角度；

生成模块：用于根据所述文本行方向角度，生成文本行角度直方图；

第二处理模块：用于根据所述文本行角度直方图，计算文本图像的旋转角度；

矫正模块：用于根据所述旋转角度，将所述文本图像旋转矫正至水平方向。

在一些实施例中，所述预处理模块至少包括：

灰度化子模块，用于将待矫正文本图像进行灰度化处理，生成灰度图像；

二值化子模块，用于将所述灰度图像进行二值化处理，生成二值化图像。

在一些实施例中，所述第一处理模块至少包括：

断开子模块：用于将所述二值化图像中字符之间的粘连区域断开；

分析子模块：用于对所述二值化图像进行连通域分析，获取每个字符的最小外接矩形；

过滤子模块：用于过滤包括异常连通域的字符；

扩展子模块：用于将所述每个字符的最小外接矩形扩展形成矩形区域。

在一些实施例中，所述第一处理模块还包括：

新建子模块：用于新建字符区域图，所述字符区域图与所述待矫正文本图像分辨率一致；

映射子模块：用于将所述矩形区域映射到所述字符区域图上；

像素变更子模块：用于变更所述字符区域图中映射部分的像素值；

第一提取子模块：用于在所述字符区域图上，采用霍夫变换法提取文本行方向线；

第二提取子模块：用于在所述字符区域图上提取文本行方向夹角，所述文本行方向夹角大小为所述文本行方向线与水平方向形成的夹角大小

在一些实施例中，所述生成模块至少包括如下子模块：

设置模块：用于预设所述文本图像的旋转角度阈值及旋转角度间隔；

投票模块：用于根据所述文本行方向夹角，在所述旋转角度间隔内进行投票；

生成子模块：用于根据所述投票结果，生成文本行角度直方图。

在一些实施例中，所述第二处理模块至少包括如下子模块：

选取模块，用于选取投票数最大的旋转角度间隔；

第一计算子模块：用于将所述投票数最大的旋转角度间隔内的文本行方向角度进行加权平均，获得待旋转文本图像的待旋转角度。

本发明相比现有技术而言的有益效果在于：

本发明实施例提供一种文本图像旋转矫正方法，所述方法至少包括：文本图像旋转矫正方法至少包括：将待矫正文本图像进行预处理，生成二值化图像；对二值化图像进行连通域分析，生成字符区域图，并在字符区域图上提取文本行方向角度；根据文本行方向角度，生成文本行角度直方图；根据文本行角度直方图，计算待矫正文本图像的待旋转角度；根据待旋转角度，将待矫正文本图像旋转矫正，本发明通过图像中的文本聚集特点，提取文本行的方向，计算出旋转角，相对于现有方法中使用单个字符区域边缘不稳定的情形，本方法计算出的旋转角更加稳定及更具鲁棒性，进而得到更理想的矫正图像。

另外，本发明提供的文本图像旋转矫正方法，计算简单高效，即使是在计算能力一般的智能终端上也能运行，且非常高效。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中的文本图像旋转矫正方法的流程图；

图2是本实施例中的输入灰度图。

图3是本实施例中生成的二值图像。

图4是本实施例中生成字符连通域图。

图5是本实施例中在字符区域图上得到文本行方向线。

图6是本实施例中文本图像旋转矫正后的结果图。

图7是本发明实施例二中的文本图像旋转矫正系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例一提供的一种文本图像旋转矫正方法的流程图，本实施例可适用于计算机视觉技术尤其是文本图像旋转矫正的场景，该方法可以由文本图像旋转矫正系统来执行。

如图1所示，该方法具体包括：

S1、将待矫正文本图像进行预处理，生成二值化图像。

本实施例中，文本图像为以汉字字符为主的图像，本实施例中以图2作为待矫正文本图像，将其进行旋转矫正以说明该文本图像旋转矫正方法。如图2所示，其拍摄过程中沿顺时针方向有一定角度的旋转，文本图像中的汉字字符在整体上具有一定的倾斜度，因此需要通过对文本图像的处理来矫正图2中的汉字字符方向。

在进行预处理时，当待矫正文本图像为灰度图像时，仅需将灰度图像进行二值化处理；当待矫正文本图像为彩色图像是，需要将待矫正文本图像进行灰度化处理，生成灰度图像，再将灰度图像进行二值化处理，生成二值化图像。

具体地，在对彩色图像进行灰度化处理时，使用的加权平均系数分别为0.2989、0.5870、0.1140，分别对应R、G、B三个通道。

在对灰度图像进行二值化处理时，可选择的二值化处理方法可以是Retinex方法、Sauvola方法等。Retinex方法对于文本图像的背景抑制的效果比较好，而Sauvola方法能很好地解决光照不均匀产生的影响，对于文本图像的细节保留地比较完整。因此，本实施例中采用Sauvola二值化处理方法，以提高处理效果及处理准确性。Sauvola二值化处理主要是以图像局部灰度均值为基准，然后利用标准差进行调整。

本实施例中，图2为灰度图像，因此不需要经过灰度化处理，直接进行二值化处理生成如图3所示的二值化图像即可。

S2、对所述二值化图像进行连通域分析，生成字符区域图，并在所述字符区域图上提取文本行方向角度。该过程具体包括：

S21、对所述二值化图像进行连通域分析。

由于拍摄文本图像时通常会带有噪声，导致文本图像上字符之间存在粘连，可采用连通域分析去噪，具体包括：

a、将所述二值化图像中字符之间的粘连区域断开。

具体地，采用形态学中的闭运算将Sauvola二值化图像中字符之间的粘连区域断开。闭运算处理时能填充背景中狭窄以及凹陷的部分，消除小洞，还可以填充轮廓上空白的部分，使图像的轮廓得到一定的平滑化，利用闭运算的这些功能，可提高中文字符的识别精度，进一步为后续连通域分析提供准确性。

b、对所述闭运算处理后的二值化图像进行连通域分析，并获取每个字符的最小外接矩形。

c、过滤异常连通域。

预设连通域阈值，连通域阈值的设置可以根据经验值，也可以根据字符的某一特性。本实施例中，以汉字的字符宽高比为[0.5-1.5]之间这一汉字特性为依据，设置连通域阈值为宽高比为[0.5-1.5]。当字符的宽高比不在该阈值范围内时，则为异常连通域。统计每个字符的最小外接矩形的宽高比，进行异常连通域识别，当识别到异常连通域时，过滤该异常连通域，以进行去噪，避免文本图像中字符粘连而影响旋转矫正处理精度。本实施例中生成的字符连通域图效果如图4所示。

d、将过滤后所有字符的最小外接矩形扩展形成矩形区域。

具体地，以去噪后的每个最小外接矩形的中心点为基准，向周边各扩展若干数量个像素，形成扩展的矩形区域，扩展像素数量范围为1～3个。矩形区域由相邻的最小外接矩形扩展形成，即通过整合文本聚集特点作为后续文本行提取的基础，准确性较高，稳定性较高。

S22、生成字符区域图，并在字符区域图上提取文本行方向角度，具体包括：

a、新建字符区域图，字符区域图与待矫正文本图像分辨率一致。

字符区域图与待矫正文本图像分辨率一致，以保证字符区域图与待矫正文本图像大小一致，所有数据均具有可参照性，以提高旋转角度的精确度。

字符区域图的像素值可自行选择，本实施例中，字符区域图初始像素值为0，即为黑色。

b、将步骤S21中获取的矩形区域映射到字符区域图上。

c、变更字符区域图中映射部分的像素值，以与其他部分产生较大色差，以提高映射部分在字符区域图中的边缘清晰度。本实施例中，字符区域图初始像素值为0，则映射部分像素值优选255，即该字符区域图中，底色为黑色，映射部分矩形区域为白色。

d、在字符区域图上，采用霍夫变换法提取如图5所示的文本行方向线。

e、在字符区域图上提取文本行方向夹角，文本行方向夹角大小为文本行方向线与水平方向形成的夹角大小。该步骤中的文本行方向线，即为上一步骤中采用霍夫变化法提取的文本行方向线。

S3、根据文本行方向角度，生成文本行角度直方图，具体包括：

S31、预设文本图像的旋转角度阈值及旋转角度间隔；

S32、根据文本行方向夹角，在旋转角度间隔内进行投票；

S33、根据投票结果，生成文本行角度直方图。

具体地，假定文本图像存在一定的倾斜角度，如[-45°，45°]。基于该倾斜角度范围，建立一个文本行角度直方图，同时设置该文本行角度直方图的旋转角度间隔。旋转角度间隔根据调整精度设置，且间隔越小，调整精度越高。作为一种优选，本实施例中的旋转角度间隔为1°，以获得较高的调整精度。

进行投票时，根据步骤S22中获取的所有文本行方向夹角进行投票时，一个文本行方向夹角属于哪个角度间隔内，就在哪个旋转角度间隔内投上一票，逐个进行投票。

S4、根据文本行角度直方图，计算待矫正文本图像的待旋转角度θ，具体包括：

S41、选取投票数最大的旋转角度间隔；

S42、将投票数最大的旋转角度间隔内的文本行方向角度进行加权平均，计算获得文本图像的待旋转角度θ。

在进行加权平均时，该投票数最大的旋转角度间隔内，以各文本行方向夹角的数量占比为权重进行计算。

具体地，当投票数最大的旋转角度间隔为[21°，22°]，该间隔内共有五个文本行方向夹角，分别为：21.2°1个，21.4°2个，21.8°2个，因此21.2°的数量占比为20％，21.4°的数量占比为40％，21.8°的数量占比为40％，因此，采用加权平均法进行旋转角度θ计算时，过程如下：

θ＝21.2°*20％+21.4°*40％+21.8°*40％＝21.5°。

S5、根据待旋转角度θ，将待矫正文本图像旋转矫正获得如图6所示的文本图像旋转矫正后的效果图。

在进行旋转矫正时，采用的旋转变换矩阵如下：

θ为步骤S4中获得的待旋转角度。

本实施例提供的一种文本图像旋转矫正方法，该方法计算简单高效，即使是在计算能力一般的智能终端上也能运行，且非常高效。

本发明通过文本图像中的文本聚集特点，提取文本行的方向，能得到更加稳定和更具鲁棒性的旋转角度，进而得到更理想的矫正图像。

实施例二

为执行上述实施例一的一种文本图像旋转矫正方法，本实施例提供一种文本图像旋转矫正系统。

图7为本发明实施例二提供的一种文本图像旋转矫正系统的结构示意图。如图7所示，该文本图像旋转矫正系统包括：

预处理模块1：用于将待矫正文本图像进行预处理，生成二值化图像；

第一处理模块2：用于对二值化图像进行连通域分析，生成字符区域图，并在字符区域图上提取文本行方向角度；

生成模块3：用于根据文本行方向角度，生成文本行角度直方图；

第二处理模块4：用于根据文本行角度直方图，计算文本图像的旋转角度；

矫正模块5：用于根据旋转角度，将文本图像旋转矫正至水平方向。

其中，预处理模块1至少包括：

灰度化子模块11：用于将待矫正文本图像进行灰度化处理，生成灰度图像；

二值化子模块12：用于将灰度图像进行二值化处理，生成二值化图像。

第一处理模块2至少包括：

断开子模块21：用于将二值化图像中字符之间的粘连区域断开；

分析子模块22：用于对二值化图像进行连通域分析，并获取每个字符的最小外接矩形；

过滤子模块23：用于过滤异常连通域；

扩展子模块24：用于将所有字符的最小外接矩形扩展形成矩形区域。

第一处理模块2还包括：

新建子模块25：用于新建字符区域图，字符区域图与待矫正文本图像分辨率一致，且初始像素灰度值为0；

映射子模块26：用于将矩形区域映射到字符区域图上；

像素变更子模块27：用于变更字符区域图中映射部分的像素值，变更像素后的映射部分应与字符区域图上的颜色差别较大，以提高映射部分在字符区域图中的边缘清晰度；

第一提取子模块28：用于在字符区域图上，采用霍夫变换法提取文本行方向线；

第二提取子模块29：用于在字符区域图上提取文本行方向夹角，文本行方向夹角大小为文本行方向线与水平方向形成的夹角大小。

生成模块3至少包括如下子模块：

设置模块31：用于预设文本图像的旋转角度阈值及旋转角度间隔；

投票模块32：用于根据文本行方向夹角，在旋转角度间隔内进行投票；

生成子模块33：用于根据投票结果，生成文本行角度直方图。

第二处理模块4至少包括如下子模块：

选取模块41，用于选取投票数最大的旋转角度间隔；

第一计算子模块42：用于将投票数最大的旋转角度间隔内的文本行方向角度进行加权平均，获得待旋转文本图像的待旋转角度。

通过矫正模块5进行旋转矫正时，采用的旋转变换矩阵如下：

θ为步骤S4中获得的待旋转角度。

本实施例提供的一种文本图像旋转矫正系统，用于执行前述的一种文本图像旋转矫正方法，该系统结构简单，即使是在计算能力一般的智能终端上也能配置应用。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种文本图像旋转矫正方法，其特征在于，所述方法至少包括：

将待矫正文本图像进行预处理，生成二值化图像；

对所述二值化图像进行连通域分析，生成字符区域图，并在所述字符区域图上提取文本行方向角度；

根据所述文本行方向角度，生成文本行角度直方图；

根据所述文本行角度直方图，计算所述待矫正文本图像的待旋转角度；

根据所述待旋转角度，将所述待矫正文本图像旋转矫正；

所述对所述二值化图像进行连通域分析至少包括如下子步骤：

将所述二值化图像中字符之间的粘连区域断开；

对所述二值化图像进行连通域分析，并获取每个字符的最小外接矩形；

过滤异常连通域；

将过滤后所有所述字符的最小外接矩形扩展形成矩形区域；

所述根据所述文本行方向角度，生成文本行角度直方图，至少包括如下子步骤：

预设所述文本图像的旋转角度阈值及旋转角度间隔；

根据所述文本行方向夹角，在所述旋转角度间隔内进行投票；

根据所述投票结果，生成文本行角度直方图。

2.根据权利要求1所述的一种文本图像旋转矫正方法，其特征在于，所述将待矫正文本图像进行预处理，生成二值化图像，至少包括如下子步骤：

将待矫正文本图像进行灰度化处理，生成灰度图像；

将所述灰度图像进行二值化处理，生成二值化图像。

3.根据权利要求1所述的一种文本图像旋转矫正方法，其特征在于，所述生成字符区域图，并在所述字符区域图上提取文本行方向角度，至少包括如下子步骤：

新建字符区域图，所述字符区域图与所述待矫正文本图像分辨率一致；

将所述矩形区域映射到所述字符区域图上；

变更所述字符区域图中映射部分的像素值；

在所述字符区域图上，采用霍夫变换法提取文本行方向线；

在所述字符区域图上提取文本行方向夹角，所述文本行方向夹角大小为所述文本行方向线与水平方向形成的夹角大小。

4.根据权利要求1所述的一种文本图像旋转矫正方法，其特征在于，根据所述文本行角度直方图，计算文本图像的旋转角度，至少包括如下子步骤：

选取投票数最大的旋转角度间隔；

将所述投票数最大的旋转角度间隔内的文本行方向角度进行加权平均，计算获得文本图像的待旋转角度。

5.一种文本图像旋转矫正系统，其特征在于，所述系统至少包括：

预处理模块：用于将待矫正文本图像进行预处理，生成二值化图像；

第一处理模块：用于对所述二值化图像进行连通域分析，生成字符区域图，并在所述字符区域图上提取文本行方向角度；

生成模块：用于根据所述文本行方向角度，生成文本行角度直方图；

第二处理模块：用于根据所述文本行角度直方图，计算文本图像的旋转角度；

矫正模块：用于根据所述旋转角度，将所述文本图像旋转矫正至水平方向；

所述第一处理模块至少包括：

断开子模块：用于将所述二值化图像中字符之间的粘连区域断开；

分析子模块：用于对所述二值化图像进行连通域分析，并获取每个字符的最小外接矩形；

过滤子模块：用于过滤异常连通域；

扩展子模块：用于将所有所述字符的最小外接矩形扩展形成矩形区域；

所述生成模块至少包括如下子模块：

设置模块：用于预设所述文本图像的旋转角度阈值及旋转角度间隔；

投票模块：用于根据所述文本行方向夹角，在所述旋转角度间隔内进行投票；

生成子模块：用于根据所述投票结果，生成文本行角度直方图。

6.根据权利要求5所述的一种文本图像旋转矫正系统，其特征在于，所述预处理模块至少包括：

灰度化子模块，用于将待矫正文本图像进行灰度化处理，生成灰度图像；

二值化子模块，用于将所述灰度图像进行二值化处理，生成二值化图像。

7.根据权利要求6所述的一种文本图像旋转矫正系统，其特征在于，所述第一处理模块还包括：

新建子模块：用于新建字符区域图，所述字符区域图与所述待矫正文本图像分辨率一致；

映射子模块：用于将所述矩形区域映射到所述字符区域图上；

像素变更子模块：用于变更所述字符区域图中映射部分的像素值；

第一提取子模块：用于在所述字符区域图上，采用霍夫变换法提取文本行方向线；

第二提取子模块：用于在所述字符区域图上提取文本行方向夹角，所述文本行方向夹角大小为所述文本行方向线与水平方向形成的夹角大小。

8.根据权利要求5所述的一种文本图像旋转矫正系统，其特征在于，所述第二处理模块至少包括如下子模块：

选取模块，用于选取投票数最大的旋转角度间隔；

第一计算子模块：用于将所述投票数最大的旋转角度间隔内的文本行方向角度进行加权平均，获得待旋转文本图像的待旋转角度。

Images