CN102938062A - 一种基于内容的文档图像倾斜角估计方法 - Google Patents

Abstract

本发明涉及文档电子处理范畴，提供了一种基于内容的文档图像倾斜角估计方法，本方法首先对获取的文档图像进行二值化处理；接着使用直线段检测方法获取图像中的各直线段，当判定没有直线段时，采用文本行检测算法分别定位各文本行的中心线位置来获取直线段；同时，采用投票算法分别统计各直线段倾斜角度的分布情况，并用高斯小波变换的突变信号检测方法计算出各直线段的倾斜角；最后，使用各直线段倾斜角在文档图像倾斜角中所占的权重计算出文档的倾斜角。本发明利用直线段或文字行来估计文档图像倾斜角度，不但能估计含有直线段的文档图像倾斜角，也能够估计没有直线段的文档图像倾斜角度，通用性好、稳定性好且精度高。

Description

一种基于内容的文档图像倾斜角估计方法

技术领域

本发明涉及文档电子测量处理范畴，特别是一种文档图像倾斜角测量的估计方法，具体是一种基于内容的文档图像倾斜角估计方法。 

背景技术

文档作为信息的载体，在社会生活中占有着十分重要的地位，其可以通过扫描仪、数码相机或文档处理系统进入计算机，转化为文档图像或者电子文档，从而使人们能够方便有效地对其进行存储、管理、传输。 

现实生活中，由于扫描仪等走纸设备的机械误差或人为因素的影响，获取到的文档图像通常会出现某种程度的倾斜。而文档处理系统要求的处理对象是工整的，或者倾斜角度已知的文档图像，否则对图像的许多操作，如投影分析、图像分割等就无法进行。 

因此，倾斜角检测是文档图像处理中非常重要的组成部分，是图像分析、识别的基础，特别是在光标字符识别实时系统中，识别的性能直接和图像数据的质量相关。因此充分利用现有的图像处理手段，解决文档图像扫描过程的倾斜问题，在提高文档信息采集，录入准确性、减少拒识率，提高产品的易操作性和可靠性方面具有重要的研究意义。 

目前，文档图像倾斜校正方法主要可分为三类：投影方法、Hough变换法和近邻法，此外还有矩形块邻接图算法、基于子空间直线段检测法、基于梯度分析法、神经网络法等。 

而大多数图像识别技术中使用的倾斜校正方法的计算精度在很大程度上受图像纹理的影响，又文档种类繁多且版面十分复杂，包含文字、表格、图像、图形等，通用的文档图像倾斜角估计方法很难建立。 

文献《基于内容的文档图像倾斜校正》中公布了一种文档图像倾斜角估计方法，但其对文档图像采用游长平滑预处理，使文字行连成一个连通的区域，这种方式在检测直线段时只能检测表格对应的直线段，通用性不强；且其选用文档中的最长线段为有效直线段进行文档图像倾斜角的估算，保证了计算速度的同时却降低了其准确度。此为现有技术的不足之处。 

发明内容

本发明所要解决的技术问题，就是针对现有技术所存在的不足，提供一种不但能够估计有直线段的文档图像倾斜角，还能估计没有直线段的文档图像的倾斜角，并精度高、稳定性好且通用性强的文档图像倾斜角估计方法。 

本发明的技术解决方案是：一种基于内容的文档图像倾斜角估计方法，步骤如下：

(1)获取文档图像； 

(2)对文档图像进行二值化； 

(3)用直线段检测方法检测二值化图像中各直线段； 

(4)用细化算法细化步骤(3)中得到的各直线段； 

(5)设定阈值，用8连通域标记方法标记细化后的各直线段，并判断文档图像中是否存在有效直线段，若存在直线段长度大于或等于给定阈值的直线段，则相应的直线段为有效直线段，保留各有效直线段，并转至执行步骤(9)，否则继续向下执行步骤(6)； 

(6)使用平滑算法平滑该文档图像； 

(7)用高斯二阶导数函数的小波变换确定平滑文档图像的各文本行中心线； 

(8)设定阈值，用8连通域标记方法标记文本行中心线，并判断文档图像中是否存在有效中心线，若存在中心线长度大于或等于给定阈值的中心线，则相应的中心线为有效中心线，保留各有效中心线，继续执行步骤(9)，否则转至步骤(11)； 

(9)用投票算法统计各有效直线段或/有效中心线的倾斜角度分布函数； 

(10)用高斯小波变换的突变信号检测方法进行各倾斜角度分布函数的突变信号分析； 

(11)计算出文档图像倾斜角。 

其中：所述步骤(9)中的投票算法用于统计同一有效直线段或/有效中心线中满足给定阈值的两像素之间倾斜角度的分布情况；所述步骤(10)中的高斯小波变换的突变信号检测方法用于计算各有效直线段或/有效中心线的倾斜角度；所述步骤(11)中依据各有效直线段或/有效中心线倾斜角度在文档图像倾斜角中所占 的权重计算出文档图像倾斜角，且计算公式如下： 

其中， 

为文档图像倾斜角， 

M_i/M为各有效直线段或/有效中心线的权重，η_i为各有效直线段或/有效中心线相应的倾斜角，i为文档图像中有效直线段或/有效中心线的条数且i＝1，2，…,n。 

进一步地，所述步骤(5)与步骤(8)中给定的阈值可以为32个像素、48个像素或64个像素；所述步骤(9)中用于统计各倾斜角度分布函数的阈值可以为16个像素。 

本发明与现有技术相比的优点在于： 

(1)在文档图像中不存在直线段时，使用平滑算法平滑文档图像，克服了现有技术中只能检测表格对应的直线的不足，增强了估计文档图像倾斜角的通用性； 

(2)采用各有效直线段或/有效中心线倾斜角度在文档图像倾斜角中所占的权重计算出该文档图像的倾斜角线，克服了使用单一条直线段计算文档图像倾斜角的弊端，有效降低了倾斜角的相对误差，精度高。 

(3)采用投票算法统计各有效直线段或/有效中心线倾斜角度的分布情况，并通过将其分别与高斯函数二阶导数函数作卷积，增强了该方法的稳定性，又提高了各有效直线段或/有效中心线倾斜角的精确度，从而使得该方法检测精度高且稳定性好。 

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。 

附图说明

图1为本发明估计文档图像倾斜角的方法流程示意图。 

图2(a)为原始文档图像，图2(b)为原始噪声文档图像。 

图3(a)为图2(a)对应的水平直线段示意图，图3(b)为图2(b)对应的水平直线段示意图。 

图4(a)为图2(a)对应的垂直直线段示意图，图4(b)为图2(b)对应的垂直直线段 示意图。 

图5(a)为文本行图像，图5(b)为文本行的平滑图像。 

图6为图5(b)正中间一列对应的突变信号分析图。 

图7为5(a)对应的文本行中心线检测结果示意图。 

图8为对图2(a)的水平直线段图像的细化图像。 

图9为图8最下面一条直线段对应倾斜角度的分布函数图。 

图10为图9所示倾斜角度分布函数的突变信号分析图。 

具体实施方式

为能清楚说明本方案的技术特点，下面通过一个具体实施方式，并结合其附图，对本方案进行阐述。 

实施例1： 

图2(a)为含有直线段的原始文档图像，图2(b)为在原始文档图像图2(a)中加入了方差为0.1的高斯噪声的噪声文档图像。 

(1)读取图2(a)文档图像。 

(2)对该文档图像进行二值化处理。 

设置二值化的阈值为128，且当像素值大于等于128时标记为255、小于128时标记为0，则该文档图像变为只含像素0与255的二值化图像。 

(3)用直线段检测方法检测二值化图像中各直线段。 

令图像前景的像素皆为0、背景的像素皆为255，当图像前景中的任一像素点其左右两侧（或上下两侧）大于该设定的长度阈值的连续位置上都为前景点时，就把该像素点保留下来，反之，滤除该像素点，由此可得到图像中所有的水平方向（或垂直方向）的直线段。 

由此，得到图3(a)为原始图像2(a)中检测到的水平直线段示意图，图4(a)为原始图像2(a)中检测到的垂直直线段示意图。 

采用直线段标记方法实现直线段检测，只保留文档图像中的直线段，抗干扰能力强并易于实现，且只在图像中保留符合要求的直线段，克服了文档版面中检测直线的最常见的Hough变换的计算量大、精度低等的缺点。 

(4)用细化算法细化步骤(3)中得到的各直线段。 

用细化算法细化用直线段标记方法得到的直线段。直线段标记方法得到的直线段粗细不一，会影响倾斜角计算的准确性，需要对得到的直线段进行细化。 

二值图像的细化就是将图像中的黑色部分沿着它的中心轴线将其细化为一个象素宽的线条的处理过程：如果细化水平直线段，考虑上下相邻的两个像素且当前像素为上面的像素位置，如果下面的像素位置其像素值为255，同时当前像素位置其像素值为0，则当前位置像素值保持为0，其他情况下，当前位置像素值置为255；如果细化垂直线段，考虑左右相邻的两个像素，且当前像素为左边的像素位置，如果右边的像素位置其像素值为255，同时当前像素位置其像素值为0，则当前位置像素值保持为0，其他情况下，当前位置像素值为255，如图8为图3(a)的细化图像。 

(5)设定阈值为32像素，用8连通域标记方法标记细化后的各直线段，并判断文档图像中是否存在有效直线段，若存在直线段长度大于或等于该给定阈值的直线段，则相应的直线段为有效直线段，保留各有效直线段；并用投票算法统计各有效直线段的倾斜角度分布函数，否则用平滑算法平滑文档图像。 

此实施例中是存在长度大于或等于32像素的直线段的情况，进而可以由所确定的文档图像中的各有效线段，并用投票算法统计各有效直线段的倾斜角度分布函数。 

记同一直线段上的任意两个有效点为p(x1,y1)和q(x2,y2)，当两点之间的距离大于16个像素的长度时，根据公式①计算p与q两点之间的斜率k，则p、q两点对应的倾斜角度为 

且为了保证其计算的精度，将最小分度设为0.1角度，因此倾斜角度的统计区间为[0,1800)。 

上述的每一次计算便得到一个倾斜角度，该倾斜角度对应的统计下标处其值加1，且每条直线都参与计算，最后分别得到各有效直线段倾斜角度的分布情况。 

$k=\frac{y2-y1}{x2-x1}$    

(6)用高斯小波变换的突变信号检测方法进行各倾斜角度分布函数的突变信号分析。 

由标记法标记结果可知，图8中最下面一条直线段为有效直线段，图9为该有 效直线段对应的倾斜角度的分布情况，不妨记为H，为了提高各有效直线段对应倾斜角度的精度，采用H与高斯函数二阶导数函数的卷积分析H奇异性，其模极大值即为该有效直线段的倾斜角度。 

图10为图9所示有效直线段对应的倾斜角度分布函数突变信号分析图，其模的极大值即为该有效直线段的倾斜角度。 

(7)计算出文档图像倾斜角。 

由以上，图2(a)中检测到七条水平直线段，按照由下到上的方式标记每幅图像中的直线段，图2(a)中每条直线段的倾斜角度和长度如表1所示： 

表1 

采用各有效直线段倾斜角度在文档图像倾斜角中所占的权重计算出文档图像倾斜角，其中n=7，由公式②计算可得图2(a)的倾斜角度为0.7087角度。 

其中，i＝1，2，…,n， 

为文档图像倾斜角，M_i/M为各有效直线段或/有效中心线的权重，η_i为各有效直线段或/有效中心线相应的倾斜角。 

另外，图2(b)为在原始文档图像图2(a)中加入了方差为0.1的高斯噪声的噪声文档图像。用与图2(a)同样的处理方式，得到图3(b)为原始噪声文档图像图2(b)的水平直线段示意图，图4(b)为原始噪声文档图像图2(b)的垂直直线段示意图。 

图2(b)受到高斯噪声的影响检测到九条水平直线段，按照由下到上的方式标记每幅图像中的直线段，其各有效直线段的倾斜角度和长度如表2所示： 

表2 

由表2可有n＝9，由公式②计算可得图2(b)的倾斜角为0.6891角度，又图2(a)的倾斜角度为0.7087角度，而其真实倾斜角度为0.70角度，可见其误差很小，稳定性强。 

实施例2： 

当文档图像中没有直线段或者直线段长度达不到设定阈值时，如图5(a)为文本行图像，采用文本行检测算法定位每一文本行的中心线位置，以此作为图像中的直线段： 

(1)读取图5(a)文本图像。 

(2)对该文档图像进行二值化处理。 

(3)用直线段检测方法检测二值化图像中各直线段。 

(4)用细化算法细化步骤(3)中得到的各直线段。 

(5)设定阈值为32像素，用8连通域标记方法标记细化后的各直线段，若存在直线段长度大于或等于给定阈值的直线段，则相应的直线段为有效直线段，保留各有效直线段，并用投票算法统计各有效直线段的倾斜角度分布函数，否则转到用平滑算法平滑文档图像步骤。 

由于图5(a)是选择的文本图像，检测不出有效直线段，故转至用平滑算法平滑文档图像步骤，采用文本行检测方法计算该文档图像的倾斜角度。 

文本行具有明显的行特征，并假设文本行之间总是有一定的距离，通常认为文本行会有轻度的倾斜、扭曲现象，且文本行还具有明显的对称性，通常可以认为一个文本行等价于一个矩形区域。 

突变信号检测原理是实现该文本行检测算法的基础理论，记原文本图像为f(t)，平滑图像为g(t)，则平滑图像可以表示为： 

g(t)=∫f(t-τ)*ψ(τ)dτ③ 

其中ψ(τ)为全1向量，该公式等价于一个局部，即分条带的水平方向上的投影过程，该投影过程可以反映文本行中字符的疏密程度。平滑图像具有相对均匀的平滑特性，且高密度文本区对应的图像亮度高于低密度文本区。 

依据公式③，图5(a)对应的平滑图像为图5(b)，且此时图5(a)对应的平滑图像 的值为公式③中的g(t)。 

(6)用高斯二阶导数函数的小波变换确定平滑文档图像的各文本行中心线。 

确定了文本图像的平滑图像，接下来使用高斯函数二阶导数函数的小波变换分析该平滑图像，从而确定文本行中心对应的像素位置。 

高斯函数二阶导数如公式④，记平滑图像中任意一列的表达式为I(t),则I(t)与公式④做卷积，从而得到突变信号分析结果I′(t)，如公式⑤所示： 

${\mathrm{\ψ}}^2\left(t\right)=\frac{1}{{\mathrm{\σ\π}}^{1/4}}(1-\frac{t^2}{{\mathrm{\σ}}^2})\exp (-\frac{t^2}{2{\mathrm{\σ}}^2})$      

I′(t)=∫I(t-τ)*ψ²(τ)dτ⑤ 

假设平滑图像的宽度为w，则平滑图像正中间的一列为第 

列。选取平滑图像正中间的一列，如图6所示，作为原始突变分析信号，平滑图像正中间一列对应的信号曲线经高斯二阶导数函数小波变换，其波形具有非常明显的峰值特性，该峰值点指明了该文本行中心线对应的像素位置。如此，文本行图像图5(a)对应的文本行中心线检测结果如图7所示。 

因此，不论最初的文档图像中是否含有直线段，最终都会将对该文档图像倾斜角的计算转化为对直线段的倾斜角的计算。 

(7)设定阈值为32个像素，用8连通域标记方法标记文本行中心线，若存在中心线长度大于或等于给定阈值的中心线，则相应的中心线为有效中心线，保留各有效中心线，并转至用投票算法统计各有效中心线的倾斜角度分布函数步骤，否则转至直接给出该文档图像的倾斜角度。 

明显的，本实施例中含有有效的中心线。具体过程与实施例1相类似，使用8邻域标记算法保留下所有的有效中心线，用投票算法统计同一直线段中两像素之间倾斜角度的分布情况。 

记同一直线段上的任意两个有效点为p(x1,y1)和q(x2,y2)，当两点之间的距离大于给定的阈值16个像素时，根据实施例1中公式①计算p与q两点之间的斜率k，则p、q两点对应的倾斜角度为 

且为了保证其计算的精度，将最小分度设为0.1角度，因此倾斜角度的统计区间为[0，1800)。每次计 算得到一个倾斜角度，该倾斜角度对应的统计下标处其值加1，且每条直线都参与计算，最后得到倾斜角度的分布情况H。 

(8)用高斯小波变换的突变信号检测方法进行各倾斜角度分布函数的突变信号分析。 

对于图5(a)，共检测到八条有效中心线，按照由下到上的方式标记方式，分别计算出每条有效中心线的倾斜角度和长度如表3所示： 

表3 

(9)采用各有效中心线倾斜角度在文档图像倾斜角中所占的权重计算出文档图像倾斜角。 

由表3，有n＝8；依据公式②可得，图5(a)的倾斜角为-1.8181角度，其真实倾斜角度为-1.78角度，可见误差很小。 

因此，结合实施例1与2，该基于内容的文档图像倾斜角度估计方法，对噪声不是十分敏感，并采用投票算法统计各直线段中两像素之间倾斜角度的分布情况，通过将其分别与高斯函数二阶导数函数作卷积的方法给出该文档图像的倾斜角，增强了该方法的稳定性，并有效减少了倾斜角的误差，进而使得该方法不但计算精度高，而且稳定性好。 

本发明并不仅限于上述具体实施方式，本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换，也应属于本发明的保护范围。 

Claims (8)

1.一种基于内容的文档图像倾斜角估计方法，其特征在于包括以下步骤：

(1)获取文档图像；

(2)对文档图像进行二值化；

(3)用直线段检测方法检测二值化图像中各直线段；

(4)用细化算法细化步骤(3)中得到的各直线段；

(5)设定阈值，用8连通域标记方法标记细化后的各直线段，并判断文档图像中是否存在有效直线段，若存在直线段长度大于或等于给定阈值的直线段，则相应的直线段为有效直线段，保留各有效直线段，转至执行步骤(9)，否则继续向下执行步骤(6)；

(6)使用平滑算法平滑该文档图像；

(7)用高斯二阶导数函数的小波变换确定平滑文档图像的各文本行中心线；

(8)设定阈值，用8连通域标记方法标记文本行中心线，并判断文档图像中是否存在有效中心线，若存在中心线长度大于或等于给定阈值的中心线，则相应的中心线为有效中心线，保留各有效中心线，继续执行步骤(9)，否则转至步骤(11)；

(9)用投票算法统计各有效直线段或/有效中心线的倾斜角度分布函数；

(10)用高斯小波变换的突变信号检测方法进行各倾斜角度分布函数的突变信号分析；

(11)计算出文档图像倾斜角。

2.根据权利要求1所述的基于内容的文档图像倾斜角估计方法，其特征是：所述步骤(5)与步骤(8)中给定的阈值为32个像素。

3.根据权利要求1所述的基于内容的文档图像倾斜角估计方法，其特征是：所述步骤(5)与步骤(8)中给定的阈值为48个像素。

4.根据权利要求1所述的基于内容的文档图像倾斜角估计方法，其特征是：所述步骤(5)与步骤(8)中给定的阈值为64个像素。

5.根据权利要求1所述的基于内容的文档图像倾斜角估计方法，其特征是：所述步骤(9)中的投票算法，用于统计同一有效直线段或/有效中心线中满足给定阈值的两像素之间倾斜角度的分布情况。

6.根据权利要求5所述的基于内容的文档图像倾斜角估计方法，其特征是：所述给定的阈值为16个像素。

7.根据权利要求1所述的基于内容的文档图像倾斜角估计方法，其特征是：所述步骤(10)中的高斯小波变换的突变信号检测方法用于计算各有效直线段或/有效中心线的倾斜角度。

8.根据权利要求1所述的基于内容的文档图像倾斜角估计方法，其特征是：所述步骤(11)中依据各有效直线段或/有效中心线倾斜角度在文档图像倾斜角中所占的权重计算出文档图像倾斜角，且计算公式如下：

其中，

为文档图像倾斜角，

M_i/M为各有效直线段或/有效中心线的权重，η_i为各有效直线段或/有效中心线相应的倾斜角，i为文档图像中有效直线段或/有效中心线的条数且i＝1，2，…,n。

Images