CN101930594B - 一种扫描文档图像的快速纠偏方法 - Google Patents

Abstract

本发明公开了一种扫描文档图像的快速纠偏方法，检测步长根据图像的尺寸计算，固定检测4条线，每条线的最大点数为100，因此直线的特征点最大不超过400，从而降低直线检测时Hough变换的计算量，并提高稳定性，采用限定夹角的Hough变换，进一步提高直线检测效率；倾斜角计算时根据平行线，因此该算法可以处理梯形文档图像，交叉点的计算根据两条直线参数方程确定，图像在进行旋转时，只处理有效的图像区域，避免了黑色背景进行插值计算的过程，提高处理效率，对文档图像进行分块处理，并根据分块特征决定插值算法，从而提高纠偏算法的执行效率，质量优化采用了灰度补偿方法，以期获取更好的视觉效果。

Description

一种扫描文档图像的快速纠偏方法

技术领域

本发明涉及一种文档图像纠偏方法，具体地讲，涉及一种扫描文档图像的快速纠偏方法。

背景技术

倾斜角检测和校正技术是文档图像处理中非常重要的组成部分，是图像分析、识别的基础工作，特别是在光标字符识别实时系统中，识别的性能直接和图像数据的质量相关，因此充分利用现有的图像处理手段，解决文档图像扫描过程的倾斜问题，在提高文档信息采集，录入准确性、减少拒识率，提高产品的易操作性和可靠性方面具有重要的研究意义。

现有的倾斜角估计方法主要有5类：基于Hough变换的方法，基于交叉相关性的方法，基于投影的方法，基于Fourier变换的方法和K-最近邻簇方法。

基于Hough变换的直线检测方法的优点是对图像中的噪声不敏感，但计算量比较大,因此实际使用时尽量降低Hough变换的次数，提高运行率，文献^[6] 使用文本行投影进行变换，因此只根据文本行即可估计出文档图像的倾斜角度。对图像中的直线可使用链码方法进行标记^[7][8] 算法，该方法对每个有效点进行标记和标记合并。根据文本行字符块估计倾斜角度具有简单高效的特点。基于Fourier变换的方法也用于倾斜角的估计，计算量非常巨大，不适用于实时系统。

倾斜校正的核心在于如何检测出图像的倾斜角。倾斜角检测的算法需要考虑直线的统计特性来增加算法的稳定性，根据直线的边缘点进行直线拟合是比较稳定可靠的方法。图像的边缘直线特性明显，因此在算法设计上需要充分考虑以减少直线拟合计算复杂性。图像旋转按块搬移策略具有很高的执行效率，同时具有明显的块效应，在倾斜角度过大的情况下产生质量的急剧降低，因此根据块的属性选择不同的插值算法是解决问题的关键。另外，文档图像不同于自然图像，文档图像具有很强的边缘信息，一般插值方法（邻域加权平均、双线性、三次样条）引起字符灰度值降低，因此需要考虑图像的优化问题。

发明内容

本发明要解决的技术问题是提供一种扫描文档图像的快速纠偏方法。

本发明采用如下技术手段实现发明目的：

一种扫描文档图像的快速纠偏方法，包括以下步骤：

(1)扫描图像，寻找图像的边缘标记点，其中，步骤(1)包括如下步骤：

(1.1)根据图像尺寸计算检测步长;

(1.2)将图像分为左上、左下、右上、右下四个区域；

(1.3)根据检测步长从水平方向和垂直方向分别检测图像，找出边缘标记点；

(2)对图像的边缘标记点进行Hough变换,得到四条边缘直线参数方程；

(3)如果检测到的边缘标记点的数目小于某个设定的阈值，则直接给出边缘直线参数方程，否则，转步骤（4）；在上述直接给出边缘直线参数方程的步骤中，记图像宽度和高度分别为                                                

，则边缘直线参数方程退化为：

此时，图像不需要旋转，直接返回图像数据；

(4)根据四条边缘直线参数方程确定直线四个交点坐标，从而得到图像的外接矩形；

(5)分别计算两条水平边缘直线和两条垂直边缘直线的夹角，夹角小的两条直线的倾斜角的均值作为校正的倾斜角，如果校正的倾斜角的绝对值小于设定值，转步骤（6），否则转步骤（7）；

(6)不进行图像旋转，由四个交点给出图像尺寸，并从扫描图像中拷贝文档图像到目标位置，并返回图像数据；

(7) 利用旋转前的外接矩形确定中心点，基于中心点对旋转前的外接矩形按照校正的倾斜角进行旋转变换，根据旋转后的四个顶点确定返回图像的有效区域和尺寸，将文档图像按照图像特点进行分块，依次分为OMR涂点块、直线块、空白块、文字块，对于空白块和文字块直接拷贝到对应的返回图像的数据区域，对于OMR涂点块和直线块采用双线性差值算法后，返回旋转后的图像数据。

作为对本技术方案的进一步限定，步骤(2)中的Hough变换的检测角范围是：[-5,5]和[85,95]。 

与现有技术相比，本发明的优点和积极效果是：本发明提供的扫描文档图像的快速倾斜角估计方法和快速校正算法，通过分段扫描确定文档图像目标边缘标记点，并简化直线拟合点和Hough变换计算复杂性，倾斜角的计算表明该算法可以处理缺角、梯形、边界破损、蜷曲的扫描图像，倾斜角估计的精度和可靠性较高。针对文档图像校正算法，提出了优化的双线性插值算法，探讨了基于分割块的快速纠偏算法，并对图像质量进行优化，测试结果表明，该算法在可靠性、执行效率、图像质量方面满足实时扫描系统的要求，具有很高的应用价值。

 附图说明

　　图１为本发明优选实施例的原始图像。

　　图2本发明优选实施例直线边缘标记点的检测示意图。

　　图3本发明优选实施例分区域扫描检测的垂直直线点。

　　图4为本发明优选实施例的边缘标记点和直线拟合示意图。

　　图5为本发明优选实施例中心点确定示意图。

　　图6为本发明优选实施例块尺寸示意图。

　　图7偏转角度和块尺寸之间的对应关系示意图。

　　图8块标记结构示意图。

图9为本发明优选实施例的流程图。

 具体实施方式

下面结合附图和优选实施例对本发明作更进一步的详细描述。

参见图1，本优选实施例选用A3幅面、100dpi扫描图像（像素尺寸：1500×1024），使用图像的边缘特性，计算时，进行分段扫描以减少直线拟合的点数，分水平线检测和垂直线检测，步长作为检测的参数，根据扫描图像的尺寸和效率、精度要求确定，取步长为确保边缘点在每条边上不低于100个有效点。在四条边的处理上，对图像进行区域划分，分上下左右四个部分，充分减少遍历图像次数，当检测到一个有效的直线标记点时，该行或列的扫描结束，继续下一个行或列的扫描，因此遍历像素数尽量避免包含文档图像区域，从而提高直线标记点检测效率。边缘点的确定采用方向扫描方法，以检测左侧垂直线为例，从左至右分段按行进行扫描，如果是背景点为黑色，则判断该点的左右邻点，如果左边为背景点，同时右边为图像目标中的点（白点），则该点为有效的边缘标记点。其它右侧垂直线、上水平线、下水平线边缘标记点检测采用类似的方式，在此不再赘述。

参见图2，从左至右分别为左侧垂直线检测，右侧垂直线检测，上面水平线检测，下面水平线检测，如果噪声影响标记点检测失败，导致检测不到标记点或者检测到的标记点不是所需要的直线上的点，由于每条线上至少检测100个标记点，且Hough变换对噪声是不敏感的，因此保证了方法的可靠性。在实际应用中当标记点过少时，例如没有黑色背景，就把标记点过少的作为直线的参数方程，因此该方法可以处理无黑色背景或者只有某些部分是黑色背景的扫描文档图像，而这些情况是经常发生的。

参见图3，垂直直线点的检测示意图，分段检测用以减少大部分图像遍历操作，右向扫描检测左边直线点标记，当检测到标记点或者到达检测终止中线停止检测，进一步减少检测操作次数，检测终止中线选取图像的宽度一半对应的位置。其它右侧垂直线、上水平线、下水平线边缘标记点检测采用类似的方式，在此不再赘述。

参见图4，直线倾斜角的计算采用Hough变换，用以计算四条直线的倾斜角度，文档图像的倾斜角基于四条直线最终确定纠偏算法使用的倾斜校正角度，主要考虑因素是扫描过程中图像噪声问题，变换精度为0.1角度，为提高变换速度，限定倾斜角检测范围，只检测0度角附近和90度角附近（10度内），大大减少变换的次数。实验中每条边最多检测次数为100，实际检测到的直线标记点在70左右，相对于图像总像素数或者文档图像边缘点总数是比较少的，有利于提高Hough变换的速度。左边为边缘点标记的结果，右边是使用限定夹角的hough变换，检测角范围[-5，5]和[85，95]。

扫描文档图像经由上述直线点标记检测和直线方程拟合，可以得到直线的参数方程，因此图像区域的获取根据直线的四个交点获得，由于进行了分区域扫描标记，因此该方法明确知道每条直线方程所代表的直线在图像中的位置，四个交点的获取将非常容易，记一条直线为(ρ1,θ1)，另一条直线为(ρ2,θ2)，则交点坐标可表示为点对(

)：

   如果检测到的直线标记点小于某个给定的阀值，直接给出直线的参数方程，记图像宽度和高度为

，则四条直线（均无效）参数方程退化为：

   此时直线方程的四个交点决定扫描文档图像的外接矩形，图像不需要进行旋转，由四个交点给出图像尺寸，并返回图像数据；

确定了扫描文档图像的四条直线，计算出直线的四个交点，可以很容易的计算出文档图像的外接矩形，记四个交点坐标：

   文档图像外接矩形表示为：

    图像的旋转考虑到图像的外接矩形，并计算四个交点在旋转后的坐标从而得到校正图像的尺寸，根据旋转后的顶点确定图像的有效区域的起始坐标位置和尺寸，并返回图像数据，背景图像不参与图像旋转计算，因此提高了算法的效率。

本方法处理的扫描文档图像可以为矩形文档图像或者梯形，对矩形文档容许缺角或者边界破损的情形。

倾斜角的确定是计算两条水平直线和两条垂直直线的夹角，交角小的两条直线倾斜角的均值作为校正的倾斜角。

倾斜角确定后，如果倾斜角度的绝对值小于0.2度，不进行图像的旋转，由直线的四个交点给出图像的尺寸，并从扫描图像中剪切文档图像目标，如果图像的倾斜角的绝对值大于0.2度，图像尺寸经由四个交点进行旋转后的新坐标确定。

   参见图5，实矩形代表检测到的直线，虚矩形为四个点旋转后的坐标对应的外接矩形，中心点的确定由原四个交点的外接矩形确定，新点坐标基于中心点进行旋转变换，并可以确定图像有效区域的起始坐标位置和尺寸。

   经过上述定义讨论，采用后向插值进行图像的旋转的

位置计算公式如下：

 点对

代表旋转后的图像像素位置，点对

代表旋转后图像的中心点，点对

代表原图像中心点，点对

代表旋转后的位置

对应的原图像的位置。

为了进一步提高旋转算法的效率，尽量减少插值位置的计算过程，使用分块插值过程，按照块的特征决定插值算法，基本的块分为文字块、空白块、直线块、OMR标记点块，对于空白块和文字块直接进行块的拷贝，直线块和OMR标记点块使用双线性插值算法。文档图像不同于一般自然图像，文字信息对应的像素数占总像素数的比例很小，而且具有黑白分明的特点，因此在采用双线性插值时，考察邻近的四个点的灰度值，当四个点的灰度都高或者都低时，不进行插值计算，直接使用最邻近点方法，这样省去大部分计算过程，执行效率是较高的，当文档图像为空白时，这个过程退化为最邻近点插值方法。

块的尺寸与倾斜角度是相关的，块的尺寸确定为旋转偏移一个像素位置所需要的步长。参见图6，A点以旋转中心旋转

角度到B点，高度移动

个像素，A的宽度为，因此每隔一定的像素数（块尺寸），高度移动1个像素是可以精确计算的，即：

   由上述计算可知当偏转角度为45度时，块尺寸为1，失去了分块的意义，此时插值算法退化为优化的双线性插值过程。

	0.2	0.5	1.0	2.0	3.0	5.0
								286	114	57	28	19	11

表1偏转角度和块尺寸之间的对应

如表1所示，偏转角度小于0.2度时不需要进行图像偏转，对应的块尺寸比较大，小于5度以下的块分类是有意义的，大于5度时直接使用优化的双线性插值算法，实验结果证明仍有较高的效率，且大于5度的情况较少发生，对于A3幅面文档，大于5度时不能进行正常的走纸或扫描图像已经不完整。块尺寸的上限为64，主要考虑因素是简化块的分类，块太大不利于空白块检测，影响效率。

块的分类在统计意义下是有意义的，而且分类方法简单有效时才能提高旋转算法的效率，本发明将文档图像分为基本的四种类型：文字块、空白块、OMR标记点块和直线块，经过大量、反复的算法测试和理论分析，可以证明不论使用多大的块进行图像搬移，都可能产生锯齿问题，造成主观感受的急剧下降，特别是直线块、OMR标记点块、条码块等规则目标块。而人眼对文字是不敏感的，对小角度直接进行图像搬移会获得更好的视觉效果，且避免双线性插值和三次样条插值带来的灰度值降低和边界模糊问题。

参见图7，从左至右依次为OMR涂点块，直线块，空白块，文字块，涂点块和空白块是容易计算的，假设分块尺寸为B，判断每个行上是否有黑色像素，统计行上有黑色像素的总行数为C1（C1<=B）,统计列上有黑色像素的总列数为C2（C2<=B）,统计该块内所有的黑色像素数C，则块内有效像素所占目标尺寸的比例计算为C/(C1*C2)，该比例的值接近于1时，为直线或OMR块，C接近为0时为空白块，文字块在0.1至0.9之间，一个块内同时出现多个目标的情况总是可以出现，当不能确定一个块的分类时，使用上述双线性插值算法。

     参见图8，左边为旋转后的图像，右边为旋转过程中的块标记数据，灰色部分为空白块，白色为文字块，黑色为文档图像四个边界块及OMR涂点块、直线块。

前面对文档图像采用了优化的双线性插值方法和基于块分类的快速旋转方法，为避免产生块块效应，对所有分割块的边界仍采用双线性插值算法，并对旋转图像进行灰度补偿：如果使用双线性插值估计的灰度值是文字信息（黑点），并且经过插值计算灰度值变小了，则直接使用原灰度值替代估计出的灰度值，这样整体效果更好。  

 参见图9，该算法的主要流程图，检测步长根据图像的尺寸计算，固定检测4条线，每条线的最大点数为100，因此直线的特征点最大不超过400，直线方程的拟合用Hough变换实现，拟合的优点是确保可靠性和处理伪直线和文档图像缺角的情形，倾斜角计算时根据平行线，因此该算法可以处理梯形文档图像，交叉点的计算根据两条直线参数方程确定，图像在进行旋转时，只处理有效的图像区域（矩形的四个顶点的外接矩形），避免了黑色背景进行插值计算的过程，提高处理效率，对文档图像进行分块处理，并根据分块特征决定插值算法，从而提高纠偏算法的执行效率，质量优化采用了灰度补偿方法，以期获取更好的视觉效果。

显然，本发明的上述实施例仅仅是为清楚说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (2)

1.一种扫描文档图像的快速纠偏方法，包括以下步骤：

(1)扫描图像，寻找图像的边缘标记点，其中，步骤(1)包括如下步骤：

(1.1)根据图像尺寸计算检测步长;

(1.2)将图像分为左上、左下、右上、右下四个区域；

(1.3)根据检测步长从水平方向和垂直方向分别检测图像，找出边缘标记点；

(2)对图像的边缘标记点进行Hough变换,得到四条边缘直线参数方程；

(3)如果检测到的边缘标记点的数目小于某个设定的阈值，则直接给出边缘直线参数方程，否则，转步骤（4）；在上述直接给出边缘直线参数方程的步骤中，记图像宽度和高度分别为                                                

，则边缘直线参数方程退化为：

此时，图像不需要旋转，直接返回图像数据；

(4)根据四条边缘直线参数方程确定直线四个交点坐标，从而得到图像的外接矩形；

(5)分别计算两条水平边缘直线和两条垂直边缘直线的夹角，夹角小的两条直线的倾斜角的均值作为校正的倾斜角，如果校正的倾斜角的绝对值小于设定值，转步骤（6），否则转步骤（7）；

(6)不进行图像旋转，由四个交点给出图像尺寸，并从扫描图像中拷贝文档图像到目标位置，并返回图像数据；

(7) 利用旋转前的外接矩形确定中心点，基于中心点对旋转前的外接矩形按照校正的倾斜角进行旋转变换，根据旋转后的四个顶点确定返回图像的有效区域和尺寸，将文档图像按照图像特点进行分块，依次分为OMR涂点块、直线块、空白块、文字块，对于空白块和文字块直接拷贝到对应的返回图像的数据区域，对于OMR涂点块和直线块采用双线性差值算法后，返回旋转后的图像数据。

2.根据权利要求1所述的快速纠偏方法，其特征是：步骤(2)中的Hough变换的检测角范围是：[-5,5]和[85,95]。

Images