CN101256630B - 用于改善文档图像二值化性能的去噪声装置和方法 - Google Patents

Abstract

本发明提供了用于改善文档图像二值化性能的去噪声装置和方法。该去噪声装置包括：灰度图像平滑单元，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；灰度图像二值化单元，用于对由所述灰度图像平滑单元输出的经平滑的灰度图像进行二值化，并输出进行了二值化的图像；二值图像噪声去除单元，用于基于字符的笔画宽度来去除由所述灰度图像二值化单元输出的进行了二值化的图像中的噪声点。

Description

用于改善文档图像二值化性能的去噪声装置和方法

技术领域

本发明涉及一种用于改善文档图像二值化性能的去噪声装置和方法，更具体地说，涉及一种通过基于字符笔画模型的文档图像平滑方法以及基于字符笔画宽度估计的二值图像噪声去除方法来改善文档图像二值化性能的去噪声装置和方法。

背景技术

文档图像的二值化是文档识别的一个重要步骤。二值化操作的含义是把通过扫描或拍照得到的数字化文档图像中的像素点分成两个类别：内容和背景。内容包括字符、表格边框等，通常用黑色表示，背景通常用白色表示。

各种二值化算法的原理和性能的评测可以参见M.Sezgin，B.Sanker在Joumal of Electronic Imaging13(l)，2004的文章“Survey over imagethresholding techniques and quantitative performance evaluation”。另外，关于文档图像的二值化方法也有专利发表，如美国专利6,438,265，A.Heilper，Y.Navon，E.Walach，“Method of binarization in an optical characterrecognition system”。

由于取像手段的不同以及图像压缩等原因，文档图像的质量会有所下降，这将对二值化的结果造成很大的影响。为了提高二值化的效果，提出了很多不同的二值化算法，这些算法在一定程度上能够有效地抑制背景噪声等造成的影响。但是，由于图像退化的具体原因和程度各不相同，目前的二值化算法仍然不能完全解决问题。

发明内容

鉴于现有技术中存在的问题而提出了本发明，本发明的目的在于提供一种能够改善文档图像二值化效果，从而提高字符识别的性能的装置和方法。

本发明提出的方法与现有技术的方法的区别在于：首先，本方法在二值化操作之前对输入的灰度图像进行灰度级别的平滑，以去除噪声，而保留笔画信息。其次，本方法在二值化之后，利用二值化的结果来分析笔画的特征，再进行二值的噪声去除。

根据本发明的第一方面，提供了一种用于文档图像二值化性能改善的去噪声装置，该去噪声装置包括：

灰度图像平滑单元，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；

灰度图像二值化单元，用于对由所述灰度图像平滑单元输出的经平滑的灰度图像进行二值化，并输出进行了二值化的图像；

二值图像噪声去除单元，用于基于字符的笔画宽度来去除由所述灰度图像二值化单元输出的进行了二值化的图像中的噪声点。

根据本发明第一方面的用于改善文档图像二值化性能的去噪声装置，其中，所述灰度图像平滑单元包括：

平滑点选择单元，用于选择需要进行平滑的像素点作为平滑点；

笔画方向判断单元，用于判断所述平滑点所属笔画的方向；

像素点平滑单元，用于利用所述平滑点所属笔画的方向上的邻近像素点的像素值对所述平滑点进行平滑。

根据本发明第一方面的用于改善文档图像二值化性能的去噪声装置，其中，其中，所述二值图像噪声去除单元包括：

笔画宽度估计单元，用于估计笔画的宽度，并将所述笔画的宽度与一阈值进行比较；

噪声点去除循环次数计算单元，用于在所述笔画的宽度大于所述阈值时，计算需要对笔画执行二值噪声点去除操作的循环次数；

笔画二值噪声点去除单元，用于根据所述二值噪声点去除操作的循环次数，反复去除笔画中的噪声点。

根据本发明的另一方面，提供了一种用于改善文档图像二值化性能的去噪声方法，该方法包括：

灰度图像平滑步骤，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；

灰度图像二值化步骤，用于对所述经平滑的灰度图像进行二值化，并输出进行了二值化的图像；

二值图像噪声去除步骤，用于基于字符的笔画宽度来去除进行了二值化的图像中的噪声点。

根据本发明的另一方面，提供了一种计算机程序，该计算机程序在运行时，使计算机执行以下步骤：

灰度图像平滑步骤，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；

灰度图像二值化步骤，用于对所述经平滑的灰度图像进行二值化，并输出进行了二值化的图像；

二值图像噪声去除步骤，用于基于字符的笔画宽度来去除进行了二值化的图像中的噪声点。

根据本发明的另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质中存储有用于文档图像二值化性能改善的去噪声程序，该去噪声程序在执行时，使得计算机执行以下步骤：

灰度图像平滑步骤，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；

灰度图像二值化步骤，用于对所述经平滑的灰度图像进行二值化，并输出进行了二值化的图像；

二值图像噪声去除步骤，用于基于字符的笔画宽度来去除进行了二值化的图像中的噪声点。

根据本发明，可以在对文档图像进行二值化之前对文档图像进行基于字符笔画模型的文档图像平滑处理，以使文档图像的背景噪声点得到平滑，并且在对文档图像进行二值化之后对文档图像进行基于字符笔画宽度估计的二值图像噪声去除处理，以进一步去除背景噪声点，本发明的方法可以与任何现有的二值化方法进行结合，以进一步改善文档图像二值化后的效果，从而提高字符识别的性能。

附图说明

所包含的附图用于提供对本发明的进一步理解，附图被并入说明书并构成说明书的一部分，附图说明了本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中：

图1是示意性地表示根据本发明的用于改善文档图像二值化性能的装置的框图；

图2是表示根据本发明的用于改善文档图像二值化性能的装置的操作的流程图；

图3是表示根据本发明的笔画方向判断方法的示意图；

图4是表示根据本发明的灰度图像平滑方法的流程图；

图5是表示根据本发明的二值图像噪声去除方法的流程图；

图6是表示笔画宽度估计方法的示意图；

图7是表示应用本发明的方法之前和应用本发明的方法之后的效果的比较示例，其中，A是没有应用本发明的方法时的二值化结果，B是应用了本发明的灰度图像平滑方法后的二值化结果，C是应用了本发明的灰度图像平滑方法和二值图像噪声去除方法后的结果。

具体实施方式

下面将参照附图详细说明根据本发明的去噪声装置和方法的实施例。

首先将参照图1和图2简要说明根据本发明的去噪声装置的总体构成和操作。图1是示意性地表示根据本发明的用于改善文档图像二值化性能的装置的框图。图2是根据本发明的用于改善文档图像二值化性能的装置的操作的流程图。

如图1所示，根据本发明的噪声点去除装置300包括灰度图像平滑单元302、灰度图像二值化单元303以及二值图像噪声去除单元304。

如图2所示，在进行操作时，向噪声点去除装置300输入灰度文档图像(步骤S301)，灰度图像平滑单元302对该灰度文档图像进行灰度级别的平滑处理(步骤S302)，从而抵消噪声对二值化算法的影响。随后，灰度图像二值化单元303将进行了平滑处理的灰度图像转化为二值化图像(步骤S303)，在该步骤中可以采用各种现有的二值化算法。对于二值化图像中残留的噪声，二值图像噪声去除单元304进一步进行噪声的去除(步骤S304)，最后输出去除了噪声以后的二值化图像(步骤S305)。

接下来，将进一步参照图3到图5详细说明根据本发明的噪声点去除装置300的各个组成部分的具体结构和操作。

图3是表示根据本发明的笔画方向判断方法的示意图。图4是表示根据本发明的灰度图像平滑方法的流程图。图5是表示根据本发明的二值图像噪声去除方法的流程图。

如图1所示，灰度图像平滑单元302包括：平滑点选择单元401，用于选择需要进行平滑的像素点；笔画方向判断单元402，用于判断像素点所属笔画的方向；以及像素点平滑单元403，用于使用像素点的笔画方向信息对像素点进行平滑操作。

在本发明中，并不是所有的像素点都需要进行平滑操作，因为本发明的目的是为了消除噪声，因此只需要对噪声点进行平滑就可以了。噪声点的定位可以通过当前像素点和邻近像素点的像素值的关系来确定，例如，仅对像素值大于或者小于周围8个像素点(如图3所示)的像素值的像素点进行平滑操作。

如图4所示，首先在步骤S401，平滑点选择单元401对所输入的灰度文档图像中的像素点进行操作，选择出需要进行平滑的像素点。在该选择过程中，通过判断一个像素点的像素值和周围像素点的像素值之间的关系来确定该像素点是否为需要进行平滑的像素点。具体地说，将一个像素点的像素值与该像素点周围的8个像素点的像素值进行比较，如果该像素点的像素值大于或者小于周围8个像素点的像素值，则认为该像素点是需要进行平滑的像素点，并且将该像素点选择为平滑点。

在进行平滑点的选择以后，对于所选择的每一个平滑点进行平滑操作。该平滑操作具体分为以下两个步骤。

首先，在步骤S402中，笔画方向判断单元402判断该平滑点所属的笔画方向。图3示意性地表示了假设一个像素点是笔画点时确定其所属笔画的方向的方法。可以通过笔画模型来确定像素点所属笔画的方向。具体地说，通过判断一个像素点周围的4对像素点的像素值和该像素点的像素值的近似程度来确定笔画的方向。图3中示出了笔画的4个可能的方向，其中“0”代表当前像素点。假设当前像素点属于第i个方向(i＝l、2、3、4)，则当前像素点的像素值与第i个方向上的2个像素点的像素值最为接近。分别确定4个方向上的像素点的像素值的平均值与当前像素点的像素值的差，并且将其中获得的差最小的方向确定为该像素点对应的笔画方向。

然后，在步骤S403中，像素点平滑单元403利用笔画方向信息对该像素点的像素值进行平滑操作。与普通的图像平滑算法相比，本发明提出的图像平滑算法利用了字符笔画的特征，即一个字符笔画只可能有4个方向：横(水平方向)，竖(垂直方向)，撇(右上左下方向)，捺(左上右下方向)。假设字符笔画中的像素点的像素值具有一定的一致性(相似的颜色或者灰度)，如果一个像素点属于某个字符的笔画，并且已经知道该笔画的方向，则使用该方向上的与该像素点相邻的多个像素点的平均像素值来代替该像素点的像素值。在该平滑处理之前和之后，该像素点的像素值不会有较大的变化。而如果一个像素点属于背景，则无论沿着哪个方向进行平滑处理，由于相邻的像素点的像素值之间没有一定的一致性，所以该像素点的像素值在平滑处理之后会发生较大变化。由于在退化的情况下，二值化噪声往往是由一些比较孤立的、与笔画像素点的颜色相近的背景噪声点所引起的，因此在使用上述方法对文档图像进行平滑的情况下，背景像素点将得到平滑，而笔画像素点变化不大。这样的处理将有助于提高二值化算法的效率，并且改善了二值化算法的效果。

当对每一个平滑点都进行了平滑操作之后，在步骤S404中，输出平滑后的灰度文档图像。

如上所述，在图4所示的平滑处理之后，在图2的步骤S302中，灰度图像二值化单元303可以采用各种现有的二值化算法对经过平滑处理的灰度文档图像进行二值化处理。然后将由灰度图像二值化单元303输出的二值化图像501输入给二值图像噪声去除单元304。在二值图像噪声去除单元304中对二值化图像501进行噪声去除处理。

如图5所示，在步骤S501中，输入由灰度图像二值化单元303进行了二值化处理的二值化图像501。然后，在步骤S502中，笔画查找单元502通过二值图像的连接组件分析(connected component analysis)找到所有的笔画。在以下文献中对连接组件分析方法进行了详细的描述：冈萨雷斯，《数字图像处理(第二版)》，阮秋琦，阮宇智等译，电子工业出版社，2003年3月第一版，第435页。

接下来，对由笔画查找单元502找到的每一个笔画进行如下的操作：

笔画宽度估计单元503对每一个笔画的宽度进行估计。在笔画宽度估计中，如图6中的(a)所示，对于笔画中的每一个像素点，沿着水平H、垂直V以及两个45度的方向S1和S2对该笔画进行扫描，并且分别对该笔画在该像素点处沿上述H、V、S1和S2四个方向扫描到的像素点进行计数，作为该笔画在该像素点处沿上述H、V、S1和S2四个方向的宽度，并且将这些宽度中的最小宽度作为该笔画在该像素点处的宽度，在图6的(a)中所示的示例中，该笔画在该像素点处的宽度为水平H方向的宽度。然后，统计该笔画的所有宽度的值的出现频率，并且将出现频率最大的宽度作为该笔画的宽度。

如果笔画的宽度大于一个指定的阈值T，则处理进行到步骤S505，对该笔画的区域进行噪声去除的操作。该阈值T的一个通常的取值是3。如果笔画宽度小于该阈值T，则处理返回到步骤S503，继续检查下一个笔画(步骤S508)。

在噪声去除的操作中，首先在步骤S505中，通过噪声去除循环次数计算单元505来计算循环次数，然后在每一次循环中(即，每一次执行步骤S506时)，笔画二值噪声点去除单元506都执行除操作。

在由灰度图像二值化单元303进行了二值化处理的二值化图像501中，很多二值化噪声都是一些宽度为1个像素的黑像素点，如果估计出字符的笔画宽度要远远大于1，则可以去除那些宽度为1个像素的黑像素。需要注意的是，不是所有宽度为1个像素点的黑像素都是噪声点，由于二值化算法的原因，可能一个宽度为2个像素点的笔画在中间一些部位宽度只有1个像素点，如果把所有宽度都为1个像素点的黑像素都去除将会导致笔画的断裂。因此噪声点的去除采用循环的模式进行，在每一个循环内，把所有满足下面条件的黑像素改为白像素：当前黑像素点周围的黑像素点的个数小于2。循环的次数由笔画的大小size来决定，笔画的大小size越大，可能的噪声点越多，需要的去除操作也就越多。

如上所述，所计算的循环次数与笔画的大小size相关，笔画的大小size越大，循环次数越多，笔画的大小size越小，循环次数越少。具体地说，笔画的大小size可以是笔画的外接矩形的宽度和高度中的较大者，其中，笔画的外接矩形的宽度和高度分别被定义为沿外接矩形的宽度和高度方向上的像素数量，并且循环次数由下式确定：

N＝size/r

其中，N为循环次数，r是一个系数，其通常的取值是10。

在步骤S506中，笔画二值噪声点去除单元506对笔画中的每一个像素点进行判断，如果该像素点周围的黑点(笔画点)的个数小于等于1个，则可以认为该像素点是一个笔画宽度为1个像素点的笔画的端点。因为该笔画的宽度要远大于1，因此可以认为宽度为1的笔画的端点是噪声，并且去除该噪声点(将黑点变为白点)。

当对所有的笔画进行了上述操作之后，即去除了所有笔画的二值噪声点以后，在步骤S507中，输出噪声去除以后的最终二值文档图像507。

下面参照图7说明本发明的效果。图7是表示应用本发明的方法之前和应用本发明的方法之后的效果的比较示例，其中，A是没有应用本发明的方法时的二值化结果，B是应用了本发明的灰度图像平滑方法后的二值化结果，C是应用了本发明的灰度图像平滑方法和二值图像噪声去除方法后的结果。

图7中的A和B是未经过平滑和经过平滑的文档图像的二值化结果。显然，经过平滑以后的文档图像二值化的效果会有较大的改善，

从图7中还可以看出，在二值化以后，还会有一些噪声存在，为了进一步去除这些噪声，本发明进一步利用了笔画宽度的信息对二值图像进行去噪处理。通过二值噪声点的去除，二值化的效果得到了进一步的提高，图7中的C是经过二值噪声点去除以后的二值图像。

以上根据具体实施例对本发明的原理进行了详细说明，但是本发明的实现并不限于以上实施例。

在以上实施例中，在由灰度图像平滑单元302的平滑点选择单元401进行的平滑点选择中，选择像素值大于或者小于周围8个点的像素值的像素点作为需要进行平滑的像素点，也就是说，选择像素值最大和最小(最亮和最暗)的像素点作为需要进行平滑的像素点。然而，在另一实施例中，可以通过其他的方法来选择需要进行平滑的像素点。例如，如果一个像素点与周围像素点相比较亮和较暗(或者一个像素点的像素值与周围像素点相比处于前N位或者后N位，N为2到4的整数)，则选择该像素点作为需要进行平滑的像素点。

在以上实施例中，笔画宽度估计单元503通过在笔画中的各个像素点处，沿着水平、垂直以及从右上到左下和从左上到右下的两个45度方向对笔画进行扫描，并选择在该4个方向中的笔画像素点数最少的方向上扫描到的像素点的数量作为笔画在该像素点处的宽度，统计各个宽度的值的出现频率，并选择出现频率最大的宽度作为该笔画的宽度。然而，在另一实施例中，还可以通过其他的方法来估计笔画的宽度。例如，首先，确定各个笔画的骨架(参见冈萨雷斯，《数字图像处理(第二版)》，阮秋琦，阮宇智等译，电子工业出版社，2003年3月第一版，第440-441页)，然后，将该笔画与以该骨架上的各个点为圆心的不同直径的圆进行比较，如果一个圆可以被该笔画完全覆盖，则笔画的宽度大于或等于该圆的直径，逐步增大圆的直径，直到该圆不可以被该笔画完全覆盖为止，该笔画在该点的宽度被确定为可以被该笔画完全覆盖的以该点为圆心的最大圆的直径，并且统计各个点处的笔画宽度的值的出现频率，并将出现频率最大的宽度作为该笔画的宽度。

应当理解，本发明实施例的各个单元可以实现为计算机程序产品，这些计算机程序产品存储有用于执行各个单元的功能的计算机程序。这些计算机程序产品可以包括计算机可读存储介质(例如，非易失存储介质)、以及包含在该计算机可读存储介质中的计算机可读程序代码部分(例如，一系列计算机指令)。

并且可以想到，附图2、4和5中的流程图的每一个步骤以及步骤的组合都可以通过执行指定功能或步骤的基于特殊用途的硬件的计算机系统、或者特殊用途硬件和计算机指令的组合来实施。

本发明所属领域的技术人员根据以上对本发明原理的详细说明，很容易想到本发明的多种修改和其它实施例。因此，本发明不限于所公开的具体实施例，而是旨在涵盖落入所附权利要求范围内的本发明的所有修改和其它实施例。

Claims (16)

1.一种用于文档图像二值化性能改善的去噪声装置，该去噪声装置包括：

灰度图像平滑单元，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；

灰度图像二值化单元，用于对由所述灰度图像平滑单元输出的经平滑的灰度图像进行二值化，并输出进行了二值化的图像；

二值图像噪声去除单元，用于基于字符的笔画宽度来去除由所述灰度图像二值化单元输出的进行了二值化的图像中的噪声点，

其中，所述灰度图像平滑单元包括：

平滑点选择单元，用于选择需要进行平滑的像素点作为平滑点；

笔画方向判断单元，用于判断所述平滑点所属笔画的方向；

像素点平滑单元，用于利用所述平滑点所属笔画的方向上的邻近像素点的像素值对所述平滑点进行平滑。

2.根据权利要求1所述的去噪声装置，其中，所述平滑点选择单元通过判断一个像素点的像素值和周围像素点的像素值之间的关系来确定该像素点是否为需要进行平滑的像素点。

3.根据权利要求1所述的去噪声装置，其中，所述笔画方向判断单元通过判断一个像素点周围的4对像素点的像素值和该像素点的像素值的近似程度来确定笔画的方向。

4.根据权利要求1到3中的任意一项所述的去噪声装置，其中，所述二值图像噪声去除单元包括：

笔画宽度估计单元，用于估计笔画的宽度，并将所述笔画的宽度与一阈值进行比较；

噪声点去除循环次数计算单元，用于在所述笔画的宽度大于所述阈值时，计算需要对笔画执行二值噪声点去除操作的循环次数；

笔画二值噪声点去除单元，用于根据所述二值噪声点去除操作的循环次数，反复去除笔画中的噪声点。

5.根据权利要求4所述的去噪声装置，其中，所述笔画宽度估计单元通过确定在笔画中的每一个像素点处，该笔画沿水平、垂直、以及右上到左下和左上到右下两个45度方向的宽度中的最小宽度作为该笔画在该像素点处的宽度，并统计该笔画的所有宽度的值的出现频率，并将出现频率最大的宽度作为该笔画的宽度。

6.根据权利要求4所述的去噪声装置，其中，所述笔画宽度估计单元通过确定笔画的骨架，并确定被该笔画完全覆盖的以所述骨架中的每一个点为圆心的最大圆的直径作为该笔画在该点处的宽度，并统计该笔画的所有宽度的值的出现频率，并将出现频率最大的宽度作为该笔画的宽度。

7.根据权利要求4所述的去噪声装置，其中，所述噪声点去除循环次数计算单元根据笔画的大小来确定循环次数，其中所述笔画的大小为笔画的外接矩形的宽度和高度中的较大者。

8.根据权利要求4所述的去噪声装置，其中，所述笔画二值噪声点去除单元通过判断像素点是否为宽度为1的笔画的端点来确定该像素点是否为噪声点。

9.一种用于文档图像二值化性能改善的去噪声方法，该去噪声方法包括：

灰度图像平滑步骤，用于基于字符的笔画方向信息对灰度图像中的噪声点进行平滑，并输出经平滑的灰度图像；

灰度图像二值化步骤，用于对所述经平滑的灰度图像进行二值化，并输出进行了二值化的图像；

二值图像噪声去除步骤，用于基于字符的笔画宽度来去除进行了二值化的图像中的噪声点，

其中，所述灰度图像平滑步骤包括：

平滑点选择步骤，用于选择需要进行平滑的像素点作为平滑点；

笔画方向判断步骤，用于判断所述平滑点所属笔画的方向；

像素点平滑步骤，用于利用所述平滑点所属笔画的方向上的邻近像素点的像素值对所述平滑点进行平滑。

10.根据权利要求9所述的去噪声方法，其中，在所述平滑点选择步骤中，通过判断一个像素点的像素值和周围像素点的像素值之间的关系来确定该像素点是否为需要进行平滑的像素点。

11.根据权利要求9所述的去噪声方法，其中，在所述笔画方向判断步骤中，通过判断一个像素点周围的4对像素点的像素值和该像素点的像素值的近似程度来确定笔画的方向。

12.根据权利要求9到11中的任意一项所述的去噪声方法，其中，所述二值图像噪声去除步骤包括：

笔画宽度估计步骤，用于估计笔画的宽度，并将所述笔画的宽度与一阈值进行比较；

噪声点去除循环次数计算步骤，用于在所述笔画的宽度大于所述阈值时，计算需要对笔画执行二值噪声点去除操作的循环次数；

笔画二值噪声点去除步骤，用于根据所述二值噪声点去除操作的循环次数，反复去除笔画中的噪声点。

13.根据权利要求12所述的去噪声方法，其中，在所述笔画宽度估计步骤中，通过确定在笔画中的每一个像素点处，该笔画沿水平、垂直、以及右上到左下和左上到右下两个45度方向的宽度中的最小宽度作为该笔画在该像素点处的宽度，并统计该笔画的所有宽度的值的出现频率，并将出现频率最大的宽度作为该笔画的宽度。

14.根据权利要求12所述的去噪声方法，其中，在所述笔画宽度估计步骤中，通过确定笔画的骨架，并确定被该笔画完全覆盖的以所述骨架中的每一个点为圆心的最大圆的直径作为该笔画在该点处的宽度，并统计该笔画的所有宽度的值的出现频率，并将出现频率最大的宽度作为该笔画的宽度。

15.根据权利要求12所述的去噪声方法，其中，在所述噪声点去除循环次数计算步骤中，根据笔画的大小来确定循环次数，其中所述笔画的大小为笔画的外接矩形的宽度和高度中的较大者。

16.根据权利要求12所述的去噪声方法，其中，在所述笔画二值噪声点去除步骤中，通过判断像素点是否为宽度为1的笔画的端点来确定该像素点是否为噪声点。

Images