CN1746899A - 用于检测文档图像的歪斜的方法、设备和存储介质 - Google Patents

Abstract

本申请涉及用于检测文档图像的歪斜的方法、设备和存储介质。为了提高处理速度和鲁棒性，降低能耗，本发明提供了一种估计二值文档图像的歪斜角的方法，包括：在水平和竖直方向用不相等的压缩比压缩图像，获得水平和竖直压缩图像；在水平压缩图像上沿竖直方向填充黑像素之间的较短的白游程，在竖直压缩图像上沿着水平方向填充黑像素之间的较短的白游程；在水平压缩图像中过滤掉沿着竖直方向较长的黑游程，在竖直压缩图像中过滤掉沿着水平方向较长的黑游程；在每一个压缩图像中抽取剩下的黑游程的端点，作为用于处理的数据点；找到所述压缩图像上的歪斜角；根据压缩比计算输入的二值图像的歪斜角。

Description

用于检测文档图像的歪斜的方法、 设备和存储介质

技术领域

本申请涉及文档图像的歪斜检测，具体地，涉及用于检测文档图像的歪斜的方法、设备和存储介质。

背景技术

文档歪斜是在扫描或者复制文档时经常发生的畸变，或者是文档布局中的设计特征。文档的歪斜主要涉及文档行的取向：取决于语言，当零歪斜时，行是水平的或者竖直的。文档歪斜是一种不可避免的现象，在许多情况下对OCR中的页面分割/分类以及字符识别的精确度有负面影响，因为在应用OCR之前，常常要求正确地对齐图像。歪斜估计是这样的一个过程，其目标在于检测文档取向相对于水平或者竖直方向的偏差。

根据R.Cattoni，T.Coianiz，S.Messelodi，C.M.Modena，Geometric Layout Analysis Techniques for Document ImageUnderstanding：a Review，根据所采用的基本方法，大多数歪斜估计技术可以分为以下主要类别：(1)分析投影分布图；(2)Hough变换；(3)连通域聚类；以及(4)线之间的相关性。还基于梯度分析、傅立叶频谱、形态变换或者子空间线检测的使用提出了其它的技术。

多数现有方法，例如分布图分析方法，处理的文档具有明确占主导的歪斜角(总体歪斜)，并且其中的文本是沿着平行的直线排列的。分布图分析方法的基本方案是沿着每一个歪斜角计算一个投影分布图，定义一个目标函数(通常称为目标值(premium))，选择优化所述目标函数的歪斜角。由于计算成本高，提出了这种基本方法的若干变型。这些方法的目标在于减少计算分布图所涉及的数据量，改进优化值搜索策略。

尽管已经进行了大量的努力来发展歪斜估计算法，每年在文献中都提出了新的算法。这主要是由于存在以下需求：

(1)需要在计算方面有效率的算法；

(2)需要精确估计歪斜角，尤其是在±10°范围内的小角度。在多数情况下，手动或者自动扫描的文档是竖直的，偶然有小于±10°的小歪斜角。因此，开发能够精确估计小歪斜角的方法非常重要。

(3)需要对能够处理的文档类别没有过多要求的方法。多数现有方法假设文档是水平排列的。但是，有许多文档的文本行是随意排列的。例如，日文文档常常同时具有水平文本行和竖直文本行，竖直行与X轴构成大于90°的角度。这些假设文本水平排列的方法在垂直行的情况下就不起作用了。

发明内容

本发明的目的是至少部分地满足上述需要。

为此，本发明提供了一种估计二值文档图像的歪斜角的方法，包括下列步骤：在水平方向和竖直方向用不相等的压缩比压缩图像，获得两个分辨率降低的图像：水平压缩图像和竖直压缩图像；在水平压缩图像上，沿着竖直方向，填充黑像素之间的短于第一预定游程长度的白游程，并且，在竖直压缩图像上，沿着水平方向，填充黑像素之间的短于第二预定游程长度的白游程；在水平压缩图像中，过滤掉沿着竖直方向长于第三预定游程长度的黑游程，并且在竖直压缩图像中，过滤掉沿着水平方向长于第四预定游程长度的黑游程；在每一个压缩图像中，抽取剩下的黑游程的端点，作为用于处理的数据点；找到所述压缩图像上的歪斜角；根据所述压缩比计算输入的二值图像的歪斜角。

本发明还提供了一种估计二值文档图像的歪斜角的设备，包括：压缩器，用于在水平方向和竖直方向用不相等的压缩比压缩图像，获得两个分辨率降低的图像：水平压缩图像和竖直压缩图像；平滑装置，用于：在水平压缩图像上，沿着竖直方向，填充黑像素之间的短于第一预定游程长度的白游程，并且，在竖直压缩图像上，沿着水平方向，填充黑像素之间的短于第二预定游程长度的白游程；过滤器，用于：在水平压缩图像中，过滤掉沿着竖直方向长于第三预定游程长度的黑游程，并且在竖直压缩图像中，过滤掉沿着水平方向长于第四预定游程长度的黑游程；提取器，用于在每一个压缩图像中，抽取剩下的黑游程的端点，作为用于处理的数据点；歪斜检测器，用于找到所述压缩图像上的歪斜角；以及计算器，用于根据所述压缩比计算输入的二值图像的歪斜角。

还提供了一种存储介质，其中存储用于实现本发明的方法的程序代码。

本发明具有以下优点：

1)高速度。根据发明人的测试，本发明的方法的速度可以与最快的歪斜估计方法--Baird的算法相媲美(见H.S.Baird，“The SkewAngle of Printed Documents”Proceedings of Society of PhotographicScientists and Engineers，Vol.40，pp.21-24.1987；以及Adnan Amin，Stephen Fischer，Fast algorithm for skew detection，School ofComputer Science and Engineering，University of New South Wales，Sydney NSW，2052 Australia)。

2)高精度。本发明的方法的平均角度精确度为0.05°。本发明对于小歪斜角尤其灵敏。

3)鲁棒性。本发明的方法对被处理的文档的类别没有过多的要求。它可以容易地处理具有任意排列的文本行的文档。在页面上不需要有大的文本区。本发明不限于检测全局歪斜。通过在输入的图像数据的部分区域上执行本方法，也可以估计所述部分区域中的文本行的局部歪斜。

附图说明

本发明的其它目的、特征和优点将在阅读下文对优选实施例的详细说明后变得更为清楚。附图作为说明书的一部分用于图解本发明的

实施例，并和说明书一起用于解释本发明的原理。在附图中：

图1是表示本发明的歪斜估计方法的主要过程的主流程图；

图2是歪斜的文档页面的一个举例的视图；

图3和图4是从图2得到的竖直压缩图像和水平压缩图像的视图；

图5用于图解根据图1所示的本发明的步骤Step 1压缩文档图像时对歪斜角的放大效应；

图6用于图解根据本发明从图3提取出来的操作数据点；

图7用于图解根据本发明从图4提取出来的操作数据点；

图8是用于说明图1的步骤Step 5的详细处理的流程图；

图9是用于说明图8中所使用的投影方法的详细处理的流程图；

图10图解了文档图像处理系统；

图11的框图图示了一个计算机系统的例子，其中可以应用本发明的方法和设备。

具体实施方式

下面结合附图描述本发明的优选实施例。

计算机系统举例

本发明的方法和设备可以在任何信息处理设备中实现。所述信息处理设备例如是个人计算机(PC)、笔记本电脑、嵌入扫描仪、复印机、传真机等的单片机(SCM)，等等。对于本领域普通技术人员，很容易通过软件、硬件和/或固件实现本发明的方法和设备。尤其应注意到，对于本领域普通技术人员显而易见的是，为了执行本方法的任何步骤或者步骤的组合，或者本发明的设备的任何部件或者部件的组合，可能需要使用输入输出设备、存储设备以及微处理器比如CPU等。在下面对本发明的方法和设备的说明中不见得提到这些设备，但实际上使用了这些设备。

作为上述信息处理设备，图11的框图示出了一个计算机系统的举例，在其中可以实现本发明的方法和设备。应注意的是，示于图11的计算机系统只是用于说明，并非要限制本发明的范围。

从硬件的角度来讲，计算机1包括一个CPU6、一个硬盘(HD)5、一个RAM7、一个ROM8和输入输出设备12。输入输出设备可以包括输入装置比如键盘、触控板、跟踪球和鼠标等，输出装置比如打印机和监视器，以及输入输出装置比如软盘驱动器、光盘驱动器和通信端口。

从软件的角度讲，所述计算机主要包括操作系统(OS)9、输入输出驱动程序11和各种应用程序10。作为操作系统，可以使用市场上可购买的任何操作系统，比如Window系列以及基于Linux的操作系统。输入输出驱动程序分别用于驱动所述输入输出设备。所述应用程序可以是任何应用程序，比如文本处理程序、图像处理程序等，其中包括可以用在本发明中的以及专为本发明编制的、可调用所述已有程序的应用程序。

这样，在本发明中，可以由操作系统、应用程序和输入输出驱动程序在所述计算机的硬件中实现本发明的方法和设备。

另外，计算机1可以连接到数字装置3和应用设备2。数字装置用作图像源，可以是照相机、摄像机、扫描仪或者用于将模拟图像转换为数字图像的数字化仪。本发明的设备和方法获得的结果被输出到应用设备2，或者根据所述结果，执行适当的操作。该应用设备可以实现为在计算机1中实现的另一个应用程序(与硬件相结合)，用于进一步处理所述图像。

应用本发明的例子

图10的视图用于说明文档图像处理设备的主要部件，其中包括了本发明的歪斜估计系统。

如图10所示，用输入设备3，比如扫描仪或者数字照相机，输入文档页面。输入的图像可以是彩色图像或者灰度图像。然后由二值化系统22将彩色或者灰度图像二值化为二值图像。在由歪斜估计和图像去歪斜装置24进行歪斜估计和图像去歪斜之后，二值图像就可以输入到光学字符读取系统26和页面分析系统28中进行进一步处理。

这里，二值化装置22、歪斜估计和图像去歪斜装置24、光学字符读取系统26以及页面分析系统都是在图11所示的硬件和软件架构中实现的。

歪斜估计方法和设备

简要地说，本发明提供了一种计算机实现的方法和设备，用于估计文档图像的歪斜角。当检测到正确的角度时，可以使用该角度作为参数来对图像去歪斜。

图1是本发明的主流程图，用于图解由本发明的设备执行的新的歪斜估计方法。

本发明的设备包括压缩器、平滑装置、过滤器、提取器、歪斜角检测器和计算器。在步骤Step 1，压缩器在水平和竖直方向用不相等的压缩比压缩比如图2所示的图像，得到两个分辨率降低的图像：水平压缩图像和竖直压缩图像，比如图3和图4所示。

在步骤Step 2，平滑装置对水平压缩图像(步骤Step 2.1)和竖直压缩图像(步骤Step 2.2)进行游程长度平滑算法(RLSA，run lengthsmoothing algorithm)。显然，步骤Step 2.1和步骤Step 2.2既可以同时执行又可以顺序执行。具体地，平滑装置在水平压缩图像上沿着竖直方向搜索黑游程和白游程，如果有白游程的长度短于第一预定游程长度，则用黑像素填充这样的白游程。类似地，平滑装置在竖直压缩图像上沿着水平方向搜索黑游程和白游程，如果有白游程的长度短于第二预定游程长度，则用黑像素填充这样的白游程。可以根据语言和图像的大小来选择所述第一预定游程长度和所述第二预定游程长度。在本发明的一个优选实施例中，二者可以都是12。

在步骤Step 3，过滤器在水平压缩图像中过滤掉在竖直方向长于第三预定游程长度的黑游程(步骤Step 3.1)，并在竖直压缩图像中过滤掉在水平方向长于第四预定游程长度的黑游程(步骤Step 3.2)。之所以要除掉长游程(也就是用白像素填充)，是因为它们很有可能是图像或者图形中的游程，而我们只需要文本行的游程。类似地，步骤Step 3.1和步骤Step 3.2既可以同时执行又可以顺序执行，并可以根据语言和图像的大小来选择所述第三预定游程长度和第四游程长度。在本发明的一个优选实施例中，二者可以都是40。

在步骤Step 4中，提取器在每一个压缩图像中提取剩下的黑游程的端点作为用于下面将要说明的歪斜检测的操作数据集。这样，数据集就进一步缩减了。同样，步骤Step 4也包括分别对水平压缩图像和竖直压缩图像执行的步骤Step 4.1和Step 4.2，这两个步骤既可以同时执行又可以顺序执行。图6和图7图解了在该步骤提取的数据点。如图中所示，数据集被大大缩减了，而文本行的基线和表格线被很好地保留下来。在此步骤中，尽管可以保留黑游程的两个端点，但是只保留一个端点就足够了，因为同一黑游程的两个端点具有相关性。但是，对于所有黑游程，被保留的端点应当在同一侧。

通过执行RLSA并过滤掉长的黑游程，对性能有不良影响的图像和图形的游程大部分被去除了。通过提取黑游程的端点，用于处理的数据点的数量进一步减少。

在步骤Step 5，歪斜角检测器计算压缩图像上的歪斜角。在步骤Step 6，计算器根据所述压缩比计算输入的二值图像的歪斜角。如果在步骤Step 5中确定的压缩图像的歪斜角为SKEW_F，根据简单的几何计算，可以知道，输入的图形的歪斜角PAGE SKEW可以表示为：

$\mathrm{PAGE\; SKEW}=a\tan \left(\frac{1}{N}\tan (\mathrm{SKEW}\_F)\right)$

当在步骤Step 1中在水平方向和竖直方向用不相等的比例压缩输入的二值图像时，可以采用OR规则。下面是一个具体的例子，但是本发明不局限于该例子。首先，将图像分割为具有NH×NV像素的矩形，其中NH和NV是正整数，NH是沿着水平方向的量度，NV是沿着竖直方向的量度。然后用OR规则将每一个矩形缩减为一个像素来获得压缩图像。OR规则的意思是，只要在矩形中有任何数目的黑像素，该矩形就被缩减为一个黑像素。只有矩形中的所有像素都是白色时，该矩形才被缩减为一个白像素。这样，在水平方向，图像被压缩NH倍，在竖直方向被压缩NV倍。如果NH大于NV，则获得所述水平压缩图像；如果NV大于NH，则获得所述竖直压缩图像。可以根据语言和图像的大小选择NH和NV的值。在本发明的一个优选实施例中，通过设置NH＝N×N1和NV＝N1来获得所述水平压缩图像，并通过设置NH＝N1和NV＝N×N1来获得所述竖直压缩图像，其中，N和N1是正整数。在更为优选的实施例中，所述N可以是12。

图3和图4是从图2的作为举例的歪斜文档图像得到的压缩图像的视图。进行不等比压缩有一些优点。首先，数据集被缩减，这使得该方法很有效率。其次，在压缩图像中，小歪斜角被放大了。如图5所示，水平压缩放大水平角度，竖直压缩放大竖直角度。在压缩图像中，即使非常小的歪斜角也可以被检测到。第三，平滑了指示歪斜角的文本行的基线。这使得角度检测更为精确。

在上述步骤Step 5中，可以使用在步骤Step 4中获得的操作数据集，用传统的方法和设备实现压缩图像歪斜角的检测。但是，为了改进精度、速度和鲁棒性，本发明提出了新的方法和设备。

在现有技术中知道，就如在背景技术部分所述，歪斜角是通过尝试不同的角度找出最有可能的角度来找到的。在本发明中，该过程被分为两个子过程：粗略估计和精细检测。如图8所示，在步骤Step 5.1，控制装置设置歪斜角的估计的粗略范围和粗略的角度分辨率。在步骤Step 5.2，歪斜角检测器使用上述范围和粗略的角度分辨率来检测最有可能的歪斜角。然后在步骤Step 5.3，控制装置基于所述粗略范围和粗略的角度分辨率设置一个歪斜角精细范围和精细角度分辨率。在类似于步骤Step 5.2的步骤Step 5.4(只是参数不同)，找到精细的歪斜角。如果必要，可以将上述过程重复任意次数以细化角度分辨率。

下面参照图9详细描述用在上面的步骤Step 5.2和Step 5.4中的歪斜角检测器和相应的歪斜角检测方法。

具体地，所述歪斜角检测器包括旋转装置、投影装置和上述控制装置。该旋转装置被配置为将在步骤Step 4和图6、图7中获得的数据点旋转一个特定的估计歪斜角(步骤Step 5.2.2)。所述投影装置被配置为，对于所述特定估计歪斜角，将在步骤Step 4和图6、图7中获得的数据点投影到相应的累积线(accumulator line)上。具体来说，对于竖直压缩图像，数据点被投影到x轴上(步骤Step 5.2.3)；对于水平压缩图像，数据点被投影到y轴上(步骤Step 5.2.5)。这样，沿着所述累积线，有一个累积值的分布(步骤Step 5.2.4和Step 5.2.6)。

所述控制装置利用上述角度范围和角度分辨率来改变估计的歪斜角，获得另一个累积值的分布。对于整个角度范围，所述控制装置重复上述过程，找出沿着一对累积线(x轴和y轴)的累积值的平方和的最大值，相应的角度就是具有该角度分辨率的最有可能的歪斜角(步骤Step 5.2.1和步骤Step 5.2.7到Step 5.2.10)。

本领域的普通技术人员知道，当将数据点投影到累积线上并计算平方和时，可以将累积线分割为相等的间隔。所述累积值是投影到相应间隔上的黑像素的数量。所述间隔的长度可以是任意像素数。另外，为了提高计算速度，可以首先用粗角度分辨率执行上述过程，然后用细分辨率执行上述过程，就如结合图8所描述的那样。

这样，通过投影所述两个压缩图像(水平压缩图像用于检测竖直行，垂直压缩图像用于检测水平行)，本发明可以处理具有任意排列的文本行的文档。另外，由于本发明的方法也能检测表格线和其它的线对象，不需要页面上有大的文本区。

存储介质

本发明的所述目的还可以通过在如上所述的可以与所述图像源和后续处理设备通信的任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备、图像源和后续处理设备为公知的通用设备。因此，本发明的所述目的也可以仅仅通过提供实现所述方法或者设备的程序代码来实现。也就是说，存储有实现所述方法或者设备的程序代码的存储介质构成本发明。

对于本领域技术人员来说，可以轻易地用任何程序语言编程实现所述方法。因此，在此省略了对所述程序代码的详细描述。

显然，所述存储介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储介质，因此也没有必要在此对各种存储介质一一列举。

尽管结合具体步骤和结构描述了本发明，但是本发明不局限于这里所描述的细节。本申请应当覆盖所有不偏离本发明的精神和范围的变化、修改和变型。

Claims (13)

1.一种估计二值文档图像的歪斜角的方法，包括下列步骤：

在水平方向和竖直方向用不相等的压缩比压缩图像，获得两个分辨率降低的图像：水平压缩图像和竖直压缩图像；

在水平压缩图像上，沿着竖直方向，填充黑像素之间的短于第一预定游程长度的白游程，并且，在竖直压缩图像上，沿着水平方向，填充黑像素之间的短于第二预定游程长度的白游程；

在水平压缩图像中，过滤掉沿着竖直方向长于第三预定游程长度的黑游程，并且在竖直压缩图像中，过滤掉沿着水平方向长于第四预定游程长度的黑游程；

在每一个压缩图像中，抽取剩下的黑游程的端点，作为用于处理的数据点；

找到所述压缩图像上的歪斜角；

根据所述压缩比计算输入的二值图像的歪斜角。

2.如权利要求1所述的方法，其特征在于，所述压缩步骤包括：用OR规则在水平和竖直方向以不相等的压缩比压缩所述二值文档图像。

3.如权利要求2所述的方法，其特征在于，用OR规则进行压缩的步骤包括：

将所述图像分割为NH×NV像素的矩形，用OR规则将每一个矩形缩减为一个像素，以获得所述竖直压缩图像和水平压缩图像，其中，NH和NV是正整数，NH是沿水平方向的量度，NV是沿竖直方向的量度，

其中，通过设置NH ＝N×NV来获得所述水平压缩图像，通过设置NV＝N×NH来获得所述竖直压缩图像，其中N为正整数。

4.如权利要求3所述的方法，其特征在于，N等于12。

5.如权利要求1所述的方法，其特征在于，对于每一个压缩图像，所述提取步骤包括：对于所有黑游程，分别提取在黑游程同一侧的一个端点。

6.如权利要求1所述的方法，其特征在于，所述寻找压缩图像上的歪斜角的步骤包括：

将在所述提取步骤获得数据点旋转一个角度；

将所述水平压缩图像上的数据点投影到y轴上，将所述竖直压缩图像上的数据点投影到x轴上；

改变所述角度，找出使累积值的平方和最大的角度，作为压缩图像的歪斜角。

7.如权利要求6所述的方法，其特征在于，改变所述角度的步骤包括：

用粗角度分辨率改变所述角度，获得压缩图像的粗略歪斜角；然后

将所述粗略歪斜角作为初始值，以精细角度分辨率改变所述角度，获得一个精细歪斜角，作为所述压缩图像的歪斜角。

8.一种估计二值文档图像的歪斜角的设备，包括：

压缩器，用于在水平方向和竖直方向用不相等的压缩比压缩图像，获得两个分辨率降低的图像：水平压缩图像和竖直压缩图像；

平滑装置，用于：在水平压缩图像上，沿着竖直方向，填充黑像素之间的短于第一预定游程长度的白游程，并且，在竖直压缩图像上，沿着水平方向，填充黑像素之间的短于第二预定游程长度的白游程；

过滤器，用于：在水平压缩图像中，过滤掉沿着竖直方向长于第三预定游程长度的黑游程，并且在竖直压缩图像中，过滤掉沿着水平方向长于第四预定游程长度的黑游程；

提取器，用于在每一个压缩图像中，抽取剩下的黑游程的端点，作为用于处理的数据点；

歪斜检测器，用于找到所述压缩图像上的歪斜角；以及

计算器，用于根据所述压缩比计算输入的二值图像的歪斜角。

9.如权利要求8所述的设备，其特征在于，所述压缩器被配置为用OR规则在水平和竖直方向以不相等的压缩比压缩所述二值文档图像。

10.如权利要求8所述的设备，其特征在于，所述提取器被配置为：对于每一个压缩图像，对于所有黑游程，分别提取在黑游程同一侧的一个端点。

11.如权利要求8所述的设备，其特征在于，所述歪斜角检测器包括：

旋转装置，用于旋转从所述提取器获得数据点；

投影装置，用于将所述水平压缩图像上的数据点投影到y轴上，将所述竖直压缩图像上的数据点投影到x轴上；

控制装置，用于改变所述角度，找出使累积值的平方和最大的角度，作为压缩图像的歪斜角。

12.如权利要求11所述的设备，其特征在于，所述控制配置进一步被配置为：

用粗角度分辨率改变所述角度，获得压缩图像的粗略歪斜角；然启

将所述粗略歪斜角作为初始值，以精细角度分辨率改变所述角度，获得一个精细歪斜角，作为所述压缩图像的歪斜角。

13.一种存储介质，其特征在于，在其中存储了用于实现权利要求1到7之一所述的方法的程序代码。

Images