CN114140785A - 一种复杂文档图像倾斜校正方法 - Google Patents

Abstract

本发明公开了文档图像倾斜校正技术领域的一种复杂文档图像倾斜校正方法，该方法的具体步骤为：S1：文本区域提取；S2：文字连通域筛选；S3：文本行提取；S4：校正图像；本发明支持复杂文档图像，通过文本区域提取，去除了文档图像中的复杂内容干扰，提高方法的鲁棒性；通过文字连通域筛选，进一步去除文档图像中可能存在的线段以及噪声点，并且根据文档图像中存在相同大小文字的先验知识，计算文字连通域最小外接矩形面积聚集点，据此得到有效的文字区域，提高算法精度；通过文本行方向探索以及逐渐扩张方法，降低文本行扩张出错的概率，最后筛选出置信度最高的文本行以计算文档倾斜角度，保证校正方法的精度。

Description

一种复杂文档图像倾斜校正方法

技术领域

本发明涉及文档图像倾斜校正技术领域，具体为一种复杂文档图像倾斜校正方法。

背景技术

对文档图像进行内容分析时，通常使用光学字符识别算法进行文字内容提取，文档图像的成像质量对后续的字符识别算法的精度有着重大影响，其中文本的倾斜角度便是关键的因素之一，因此，通过预处理方法对文档图像进行倾斜校正，可以有效的提升字符识别精度，同时在面对包含自然场景或者人像的复杂文档图像中，具有鲁棒性的算法尤为重要。

基于此，本发明设计了一种复杂文档图像倾斜校正方法，以解决上述问题。

发明内容

本发明的目的在于提供一种复杂文档图像倾斜校正方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种复杂文档图像倾斜校正方法，该方法的具体步骤为：

S1：文本区域提取；将复杂的文档图像包含的多种内容中的文本区域与其他图像区域区分开来，提高算法的精度以及鲁棒性；

S2：文字连通域筛选；通过所述S1中得到的文本区域，进一步筛选出文字连通域，去除可能存在的表格线、页眉页脚等，减少背景元素带来的影响；

S3：文本行提取；根据所述S2中得到的文字连通域，进行文本行的链接，并通过迭代执行该方法，提取出所有文本行；

S4：校正图像；得到所述S3中图像的文本行数据之后，计算文本行倾斜角度，据此对文档图像进行旋转

作为本发明的进一步方案，所述S1中文本区域提取的具体方法为：

Y＝0.299R+0.587G+0.114BS1-1：图像颜色模式转换；读取图像文件，检测图像通道数，如果图像为三通道彩色图，转换为单通道灰度图，转换公式为：

R、G、B；

Y式中为转换后的灰度图像素值，为三通道彩色图中红、绿、蓝通道像素值；

S1-2：图像去噪；使用双边高斯滤波器对图像存在的噪声进行去除，保留图像高频信息，针对文字区域与背景区域有强烈的像素值差异，防止文字特征在图像去噪中模糊，其公式表达为：

(i，j)，(k，l)；

(k，l)f(k，l)(i，j)g(i，j)S其中是像素点在图像中的坐标，是设定的局部空间范围，

w(i，j，k，l)为滤波后点的像素值，为滤波前点的像素值；为权重系数，该系数由空间域位置临近系数以及值域相似性相乘得到，从而达到保留高频信息的效果，其公式表达为：

其中与表示是调节参数，用于调整空间域与值域的权重占比；

t_vt_vt_vt_bS1-3：文本区域计算；方差通常用于判断数据的变动范围，通过分析文档图像发现，文本区域的局部方差与复杂的自然影像之间局部方差有较大区别，据此计算图像的局部方差图，为了降低文档背景色对方差图计算的影响，根据先验知识设定背景颜色阈值，高于阈值的像素将在方差图计算中被忽略；设定方差阈值，将局部方差图中大于的像素置为0，小于的像素值为1，得到文本区域的掩模图；根据得到的文本区域掩膜，与所述S1-2处理后的文档图像进行像素相乘操作，提取文档图像中的文本区域图像，可以有效减少文档图像中其他元素的干扰。

作为本发明的进一步方案，所述S2中文字连通域筛选的具体方法为：

t_maxS2-1：文本区域二值化；通过使用局部二值化算法对文本区域进行二值化计算，减少文档图像收集时的光照不均匀影响；

t_mint_maxt_minS2-2：文字连通域初次筛选；根据先验知识，设定连通域面积阈值以及连通域面积阈值，对所述S2-1中得到的二值化图进行连通域分析，面积大于或小于认为噪声区域，本方法设定二次筛选，所以对初筛的先验知识要求较低，避免降低算法的鲁棒性；

b_iiBna_max+1a_mina_maxa_minS2-3：文字连通域二次筛选；分析文档图像特征，其中同等大小的文字普遍存在，据此根据连通域最小外接矩形对连通域进行排序，得最小矩形面积，最大矩形面积，据此以，为界限，设定个桶：

B＝{b₁，b₂，b₃...b_n}，其中第个桶的面积区间为：

r_i根据每个桶的区间范围，将最小外接矩形面积属于该范围的连通域放入其中，最后我们取连通域个数最多的桶，作为文本连通域密集范围，并将该桶内所有连通域认定为文字区域，如果存在多个桶都为最大值，则取多个桶内的连通域为文字。

作为本发明的进一步方案，所述S3中文本行提取的具体方法为：rCC＝{c₁，c₂，c₃...c_n}CCL₁，L₂S3-1：文本行方向筛选；将所述S2中得到的所有文字连通域的最小外接矩形放入数组中：c_i；从中取出矩形，以矩形的两组对边中点分别连接，计算出两条直线的参数，计算直线与中剩下的矩阵碰撞情况；如果两条线都没有碰撞到任何矩形，则认为该矩形独立，不属于任何文本行；如果只有一条线碰撞到矩形，则认c_i为此方向为该行文本方向，将矩形以及碰撞到的最近矩形放入待处理数组中；如果两条线都碰撞到矩形，则计算两条线所碰撞到的最近矩形交点与所碰撞到的边中点之间的距离，取距离最近的线为文本行方向，将矩形与该线所碰撞到的最近矩rrr形放入待处理矩形数组中；

CRCrrCCCS3-2：文本行扩张；取出所述S3-1中的待处理矩阵数组，计算包含中所有连通域的最小外接矩形；根据文本行方向，取该方向的矩形对边中点连线，计算是否碰撞到矩形数组中的矩形；如果碰撞到中的矩形，则将碰撞到的最近矩形从中取出，放入中，重复执行上述流程；如果未碰撞到中任何矩形，则认为文本行扩张完毕，将放入文本行数组中，结束本次文本行扩张；

CRS3-3：文本行收集；如果当前矩阵数组非空，重复执行所述S3-1和S3-2，直至为空，获得文本行数组。

R为本发明的进一步方案，所述S4中校正图像的具体方法为：

r_iRr_iS4-1：文本行筛选；计算所述S3-3中获取到的文本行数组中，包含最多文字连通域外接矩阵的数组，认为该文本行为置信度最高的文本行，如果为空，结束当前文档倾斜校正方法；

θS4-2.文本行角度计算；计算包含中所有矩形的最小外接矩形，根据文本行方向，取矩形对边中点连线，计算该线的倾斜角度，记为该置信度最高文本行倾斜角度；

θS4-3.旋转图像；根据所述S4-2中得到的倾斜角度，使用仿射变换，对文档图像进行旋转。

与现有技术相比，本发明的有益效果是：

1.本发明支持复杂文档图像，通过文本区域提取，去除了文档图像中的复杂内容干扰，提高方法的鲁棒性；

2.本发明通过文字连通域筛选，进一步去除文档图像中可能存在的线段以及噪声点，并且根据文档图像中存在相同大小文字的先验知识，计算文字连通域最小外接矩形面积聚集点，据此得到有效的文字区域，提高算法精度；

3.通过文本行方向探索以及逐渐扩张方法，降低文本行扩张出错的概率，最后筛选出置信度最高的文本行，保证校正方法的精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法模块图；

图2为本发明的方法具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种复杂文档图像倾斜校正方法，本方法主要分为四个部分：文本区域提取，文字连通域筛选，文本行提取，校正图像。

文本区域提取:

复杂的文档图像可能会包含多种内容，将其中文本区域与其他图像区域区分开来，可以有效提高算法的精度以及鲁棒性,文本区域提取具体方法如下：

图像颜色模式转换；

Y＝0.299R+0.577G+0.114B读取图像文件，检测图像通道数，如果图像为三通道彩色图，转换为单通道灰度图，转换公式为：

R、G、B；

Y式中为转换后的灰度图像素值，为三通道彩色图中红、绿、蓝通道像素值；

将图像转换为灰度图后，可以减少图像信息冗余，降低方法的时间复杂度。

图像去噪；

对图像存在的噪声进行去除，由于文字区域与背景区域有强烈的像素值差异，防止文字特征在图像去噪中模糊，使用双边高斯滤波器进行去噪，保留图像高频信息，其公式表达为：

w(i，j，k，l)(k，l)f(k，l)(i，j)其中是像素点在图像中的坐标，是设定的局部空间范围，为滤波后点的像素值，为滤波前点的像素值。为权重系数，该系数由空间域位置临近系数以及值域相似性相乘得到，从而达到保留高频信息的效果，其公式表达为：

其中与表示是调节参数，用于调整空间域与值域的权重占比。

文本区域计算；

t_vt_vt_vt_b方差通常用于判断数据的变动范围，通过分析文档图像发现，文本区域的局部方差与复杂的自然影像之间局部方差有较大区别，据此计算图像的局部方差图，为了降低文档背景色对方差图计算的影响，根据先验知识设定背景颜色阈值，高于阈值的像素将在方差图计算中被忽略。

设定方差阈值，将局部方差图中大于的像素置为0，小于的像素值为1，得到文本区域的掩模图。

根据得到的文本区域掩膜，与图像去噪处理后的文档图像进行像素相乘操作，提取文档图像中的文本区域图像，可以有效减少文档图像中其他元素的干扰。

文字连通域筛选；

通过上述步骤得到文本区域之后，进一步筛选出文字连通域，去除可能存在的表格线、页眉页脚等，减少背景元素带来的影响；文字连通域筛选的具体方法为：

文本区域二值化；对文本区域进行二值化计算，通过使用局部二值化算法，减少文档图像收集时的光照不均匀影响；

t_mint_maxt_mint_max文字连通域初次筛选；根据先验知识，设定连通域面积阈值以及连通域面积阈值，对上述得到的二值化图进行连通域分析，面积大于或小于认为噪声区域，本方法设定二次筛选，所以对初筛的先验知识要求较低，避免降低算法的鲁棒性；

Bna_max+1a_mina_maxa_min文字连通域二次筛选；分析文档图像特征，其中同等大小的文字普遍存在，据此根据连通域最小外接矩形对连通域进行排序，得最小矩形面积，最大矩形面积。据此以，为界限，设定个桶:

b_iiB＝{b₁，b₂，b₃...b_n}；

其中第个桶的面积区间为：

根据每个桶的区间范围，将最小外接矩形面积属于该范围的连通域放入其中，最后我们取连通域个数最多的桶，作为文本连通域密集范围，并将该桶内所有连通域认定为文字区域，如果存在多个桶都为最大值，则取多个桶内的连通域为文字。

文本行提取；

根据上述过程中得到的文字连通域，进行文本行的链接，通过迭代执行该方法，提取出所有文本行。

C＝{c₁，c₂，c₃...c_n}C文本行方向筛选；将上述得到的所有文字连通域的最小外接矩形放入数组中:

C；

CL₁，L₂从中取出矩形c_i，以矩形的两组对边中点分别连接，计算出两条直线的参数，计算直线与中剩下的矩阵碰撞情况。

如果两条线都没有碰撞到任何矩形，则认为该矩形独立，不属于任何文本行。

r如果只有一条线碰撞到矩形，则认为此方向为该行文本方向，将矩形c_i以及碰撞到的最近矩形放入待处理数组中。

如果两条线都碰撞到矩形，则计算两条线所碰撞到的最近矩形交点与所碰撞到的边中点之间的距离，取距离最近的线为文本行方向，将矩形c_i与该线所碰撞到的最近矩形放入待处理矩形数组中。

rr文本行扩张；

取出上述过程中得到的待处理矩阵数组，计算包含中所有连通域的最小外接矩形。

rCC根据文本行方向，取该方向的矩形对边中点连线，计算是否碰撞到矩形数组中的矩形。

C如果碰撞到中的矩形，则将碰撞到的最近矩形从中取出，放入中，重复执行本步骤。

RrC如果未碰撞到中任何矩形，则认为文本行扩张完毕，将放入文本行数组中，结束本次文本行扩张。

C文本行收集；

C如果当前矩阵数组非空，重复执行以上步骤，直至为空。

R最后获得文本行数组。

校正图像；

得到图像的文本行数据之后，计算文本行倾斜角度，据此对文档图像进行旋转；校正图像的具体步骤如下：

文本行筛选；

Rr_iR计算以上流程中获取到的文本行数组中，包含最多文字连通域外接矩阵的数组，认为该文本行为置信度最高的文本行，如果为空，结束当前文档倾斜校正方法。

r_i文本行角度计算；

θ计算包含中所有矩形的最小外接矩形，根据文本行方向，取矩形对边中点连线，计算该线的倾斜角度，记为该置信度最高文本行倾斜角度。

θ旋转图像；根据上述得到的倾斜角度，使用仿射变换，对文档图像进行旋转。

本发明的技术优势：支持复杂文档图像，通过文本区域提取，去除了文档图像中的复杂内容干扰，提高方法的鲁棒性；

通过文字连通域筛选，进一步去除文档图像中可能存在的线段以及噪声点，并且根据文档图像中存在相同大小文字的先验知识，计算文字连通域最小外接矩形面积聚集点，据此得到有效的文字区域，提高算法精度；

通过文本行方向探索以及逐渐扩张方法，降低文本行扩张出错的概率，最后筛选出置信度最高的文本行，保证校正方法的精度。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种复杂文档图像倾斜校正方法，其特征在于：该方法的具体步骤为：

S1：文本区域提取；将复杂的文档图像包含的多种内容中的文本区域与其他图像区域区分开来，提高算法的精度以及鲁棒性；

S2：文字连通域筛选；通过所述S1中得到的文本区域，进一步筛选出文字连通域，去除可能存在的表格线、页眉页脚等，减少背景元素带来的影响；

S3：文本行提取；根据所述S2中得到的文字连通域，进行文本行的链接，并通过迭代执行该方法，提取出所有文本行；

S4：校正图像；得到所述S3中图像的文本行数据之后，计算文本行倾斜角度，据此对文档图像进行旋转。

2.根据权利要求1所述的一种复杂文档图像倾斜校正方法，其特征在于：所述S1中文本区域提取的具体方法为：

Y＝0.299R+0.587G+0.114BS1-1：图像颜色模式转换；读取图像文件，检测图像通道数，如果图像为三通道彩色图，转换为单通道灰度图，转换公式为：

R、G、B；

Y式中为转换后的灰度图像素值，为三通道彩色图中红、绿、蓝通道像素值；

S1-2：图像去噪；使用双边高斯滤波器对图像存在的噪声进行去除，保留图像高频信息，针对文字区域与背景区域有强烈的像素值差异，防止文字特征在图像去噪中模糊，其公式表达为：

(k，l)f(k，l)(i，j)g(i，j)S其中是像素点在图像中的坐标，是设定的局部空间范围，

w(i，j，k，l)为滤波后点的像素值，为滤波前点的像素值；为权重系数，该系数由空间域位置临近系数以及值域相似性相乘得到，从而达到保留高频信息的效果，其公式表达为：

其中与表示是调节参数，用于调整空间域与值域的权重占比；

t_vt_vt_vt_bS1-3：文本区域计算；方差通常用于判断数据的变动范围，通过分析文档图像发现，文本区域的局部方差与复杂的自然影像之间局部方差有较大区别，据此计算图像的局部方差图，为了降低文档背景色对方差图计算的影响，根据先验知识设定背景颜色阈值，高于阈值的像素将在方差图计算中被忽略；设定方差阈值，将局部方差图中大于的像素置为0，小于的像素值为1，得到文本区域的掩模图；根据得到的文本区域掩膜，与所述S1-2处理后的文档图像进行像素相乘操作，提取文档图像中的文本区域图像，可以有效减少文档图像中其他元素的干扰。

3.根据权利要求2所述的一种复杂文档图像倾斜校正方法，其特征在于：所述S2中文字连通域筛选的具体方法为：

t_maxS2-1：文本区域二值化；通过使用局部二值化算法对文本区域进行二值化计算，减少文档图像收集时的光照不均匀影响；

t_mint_maxt_minS2-2：文字连通域初次筛选；根据先验知识，设定连通域面积阈值以及连通域面积阈值，对所述S2-1中得到的二值化图进行连通域分析，面积大于或小于认为噪声区域，本方法设定二次筛选，所以对初筛的先验知识要求较低，避免降低算法的鲁棒性；

b_iiBna_max+1a_mina_maxa_minS2-3：文字连通域二次筛选；分析文档图像特征，其中同等大小的文字普遍存在，据此根据连通域最小外接矩形对连通域进行排序，得最小矩形面积，最大矩形面积，据此以，为界限，设定个桶：

B＝{n₁，n₂，n₃...b_n}，其中第个桶的面积区间为：

根据每个桶的区间范围，将最小外接矩形面积属于该范围的连通域放入其中，最后我们取连通域个数最多的桶，作为文本连通域密集范围，并将该r_i桶内所有连通域认定为文字区域，如果存在多个桶都为最大值，则取多个桶内的连通域为文字。

4.根据权利要求3所述的一种复杂文档图像倾斜校正方法，其特征在于：所述S3中文本行提取的具体方法为：

rrrrCC＝{c₁，c₂，c₃...c_n}CCL₁，L₂S3-1：文本行方向筛选；将所述S2中得到的所有文字连通域的最小外接矩形放入数组中：c_i；从中取出矩形，以矩形的两组对边中点分别连接，计算出两条直线的参数，计算直线与中剩下的矩阵碰撞情况；如果两条线都没有碰撞到任何矩形，则认为该矩形独立，不属于任何文本行；如果只有一条线碰撞到矩形，则认为此方向为该c_i行文本方向，将矩形以及碰撞到的最近矩形放入待处理数组中；如果两条线都碰撞到矩形，则计算两条线所碰撞到的最近矩形交点与所碰撞到的边中点之间的距离，取距离最近的线为文c_i本行方向，将矩形与该线所碰撞到的最近矩形放入待处理矩形数组中；

CRCrrCCCS3-2：文本行扩张；取出所述S3-1中的待处理矩阵数组，计算包含中所有连通域的最小外接矩形；根据文本行方向，取该方向的矩形对边中点连线，计算是否碰撞到矩形数组中的矩形；如果碰撞到中的矩形，则将碰撞到的最近矩形从中取出，放入中，重复执行上述流程；如果未碰撞到中任何矩形，则认为文本行扩张完毕，将放入文本行数组中，结束本次文本行扩张；

RCS3-3：文本行收集；如果当前矩阵数组非空，重复执行所述S3-1和S3-2，直至为空，获得文本行数组。

5.R根据权利要求4所述的一种复杂文档图像倾斜校正方法，其特征在于：所述S4中校正图像的具体方法为：

r_iS4-1：文本行筛选；计算所述S3-3中获取到的文本行数组中，包含最多文字连通域外接矩阵的数组，认为该文本行为置信度最高的文本行，如r_iR果为空，结束当前文档倾斜校正方法；

θS4-2.文本行角度计算；计算包含中所有矩形的最小外接矩形，根据文本行方向，取矩形对边中点连线，计算该线的倾斜角度，记为该置信度最高文本行倾斜角度；

θS4-3.旋转图像；根据所述S4-2中得到的倾斜角度，使用仿射变换，对文档图像进行旋转，进而完成该图像的倾斜校正。

Images