CN102129546B - 二值图像的识别方法和识别装置 - Google Patents

Abstract

提供了一种二值图像的识别方法和装置，其中，在所述二值图像中包括表格线和笔划，所述方法包括：确定表格线的垂直和水平框线的位置；对所述表格线的垂直框线进行移除处理；对移除表格线的垂直框线后的二值图像进行细化；在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；判断所跟踪的路径与笔划的相交类型，基于预设的相交类型和相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及保留所述跟踪路径上的笔划部分，移除所述跟踪路径上的非笔划部分。

Description

二值图像的识别方法和识别装置

技术领域

本发明涉及数字图像识别领域，特别地，涉及二值图像的识别方法和识别装置。

背景技术

随着数字图像识别技术的不断发展，其应用的领域和范围也越来越广。通过使用这一技术，人们可对各种各样的数字图像进行自动识别和提取。例如，通过使用数字图像识别技术可以将用户填写的身份证号码、支票数额以及其他数字、字母等信息作为二值图像进行自动识别。通常情况下，在要求用户填写信息的介质上往往会预先设置好相应的表格，要求用户将相关的信息填写在表格中。这些表格可用于限制用户所填写的信息的位置，使所填写的内容符合一定的格式标准。相应地，在对用户所填写的信息进行识别的过程中，这些表格可用于对所填写的内容进行大致的定位，以方便对所述信息的识别和读取。但是，在对包括表格的这类数字图像进行识别的过程中，为了达到高的识别效率和识别准确度，通常需要将这些表格从数字图像中删除，而将用户填写的笔划信息保留下来以用于识别和读取。对于包括表格线和笔划的二值图像而言，其中笔划和表格线所在的像素的值为“1”，而不包含任何信息的像素的值为“0”。另外，在二值图像中往往还包括一些噪声信息，包含这些噪声信息的像素值也为“1”。

现有技术中，移除表格线的方法通常是将表格线连同表格线之外的像素值为“1”的信息统统移除，仅保留在表格线内部的像素信息，如图14所示，其中示出现有技术中对用户填写的身份证号码进行二值图像识别的结果。然而，由于一些表格框相对较小或者由于用户的特殊的书写习惯，常常会出现用户填写的笔划与这些表格的框线相交的情况，如果使用现有技术的这种移除表格的方法，就会给后续的识别带来困难，甚至使后续的识别出现错误。如图14中所示，用户填写的这些数字有的与表格的边框重合，有的超出了表格的边框。为了识别这些二值图像，现有技术移除了在表格线边框之上和之外的所有信息，所移除的信息中包括数字“4”、“5”、“2”、“8”等超出表格线边框的部分笔划信息。可以看出，在将所述表格以及在表格上和表格外的笔划统统移除之后，这些在之前与表格相交的笔划便出现了残缺，不再是原始填写的完整的笔划。可想而知，基于这些残缺的笔划信息进行识别，很可能会出现识别错误。例如，在图14中，对第4个数字“5”以及第5个数字“2”的识别均出现了错误。

由此，在对具有表格线和笔划的二值图像进行识别时，通过将表格以及表格之外的内容移除而仅保留表格内部的信息来进行识别很可能会得到残缺不全的笔划信息，从而给后续的识别带来困难，甚至造成识别错误。

发明内容

鉴于现有技术中的上述问题，本发明提出了一种二值图像的识别方法和装置。本发明的方法和装置在移除表格线的同时保留了完整的笔划信息，实现了正确、高效地识别二值图像的目的。

根据本发明的一个方面，提供了一种二值图像的识别方法，其中，在所述二值图像中包括表格线和笔划，所述方法包括：确定表格线的垂直和水平框线的位置；对所述表格线的垂直框线进行移除处理；对移除表格线的垂直框线后的二值图像进行细化；在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；判断所跟踪的路径与笔划的相交类型，基于预设的相交类型和相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及保留所述跟踪路径上的笔划部分，以及移除所述跟踪路径上的非笔划部分。

根据本发明的一个优选实施例，所述二值图像的识别方法还包括：将所保留的跟踪路径上的笔划部分在垂直方向上的游程与所述笔划的宽度进行比较，并基于比较结果判断是否需要对所述笔划部分进行部分移除。

根据本发明的另一优选实施例，在所述二值图像的识别方法中，所述基于比较结果来判断是否需要对所述笔划部分进行部分移除的步骤包括：当所述笔划部分在垂直方向上的游程小于或等于所述笔划宽度时，保留该游程内的所有点；当所述笔划部分在垂直方向上的游程大于所述笔划宽度但小于或等于所述笔划宽度的预定倍数时，删除该游程内的部分点；或者/以及当所述笔划部分在垂直方向上的游程大于所述笔划宽度的预定倍数时，保留该游程内的所有点。

根据本发明的又一优选实施例，在所述二值图像的识别方法中，所述对所述表格线的垂直框线进行移除处理的步骤包括：计算所述垂直框线在水平方向上的游程；估计所述垂直框线在水平方向的线宽；以及比较所述垂直框线在水平方向上的游程和所估计的线宽，以及根据比较结果来移除所述垂直框线。

根据本发明的另一个方面，提供了一种二值图像的识别装置，其中所述二值图像包括表格线和笔划，所述装置包括：垂直和水平框线位置确定模块，用于确定表格线的垂直和水平框线的位置；垂直框线处理模块，用于对所述表格线的垂直框线进行移除处理；二值图像细化模块，用于对移除表格线的垂直框线后的二值图像进行细化；路径跟踪模块，用于在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；笔划部分确定模块，用于判断所跟踪的路径与笔划的相交类型，以及基于预设的相交类型与相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及跟踪路径处理模块，用于保留所述跟踪路径上的笔划部分，以及移除所述跟踪路径上的非笔划部分。

由于本发明不是简单地将表格线之上和之外的信息完全移除，而是通过细化和跟踪处理以及进一步的分析判断来决定哪些部分应当移除哪些部分应当保留，相应地进行移除和保留。由此，根据本发明的识别方法所得到的笔划信息是完整的且具有很好的保形性，便于对其进行高效率和高准确度的识别和读取。

附图说明

以下将参考附图详细描述本发明的优选实施例。通过参考下面结合附图对本发明实施例的说明，本发明的以上和其他目的、特点和优点将会更加明显。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。在各个附图中：

图1示出了根据本发明一实施例的二值图像识别方法的流程图；

图2示出了根据本发明一实施例的在如图1中所示的二值图像识别方法中的步骤S11的流程图；

图3示出了根据本发明一实施例的在如图1中所示的二值图像识别方法中的步骤S12的流程图；

图4示出了根据本发明一实施例的在如图3中所示的步骤S12的子步骤S123的判断流程图；

图5示出了根据本发明一实施例的在如图1中所示的二值图像识别方法中的步骤S17的判断流程图；

图6a示出了包括表格线和笔划信息的二值图像，图6b-6f示出了图6a所示的二值图像在经过本发明的二值图像识别方法的相应步骤处理之后的示图；

图7是使用图2所示的步骤S11对图6a所示的二值图像进行相应处理的示意图；其中，图7a示出了对所述二值图像分别进行垂直和水平方向的累加投影的示图；图7b示出了所得到的垂直方向的累加投影以及与其进行卷积的水平方波序列模板；图7c示出了基于分别获得最大卷积响应时的方波序列模板的位置确定垂直和水平框线的位置后的所述二值图像；

图8示出了使用动态规划法跟踪最短路径的示意图；

图9示出了所填写的笔划与表格线的边框的几种相交类型；

图10示出了根据本发明一实施例的二值图像识别装置的组成框图；

图11示出了根据本发明一实施例的在如图10中所示的二值图像识别装置中的模块垂直和水平框线位置确定模块11的组成框图；

图12示出了根据本发明一实施例的在如图10中所示的二值图像识别装置中的垂直框线处理模块12的组成框图；

图13示出了根据本发明一实施例的移除噪声前后的二值图像的示图；以及

图14示出了现有技术中对二值图像进行识别的示例图。

具体实施方式

在下文中，将参考附图详细描述根据本发明实施例的二值图像的识别方法和识别装置。

关于众所周知的功能或者结构的详细描述可能会使本公开内容的主题内容不清楚。因此，在下文中，将仅对与本公开内容的技术范围直接相关的必要组件进行描述。

图1示出了根据本发明一实施例的二值图像识别方法的流程图。所述的二值图像包括表格线和用户所填写的笔划，且其中，所述表格线包括水平框线和垂直框线。如图1中所示，所述二值图像识别方法包括步骤S11-S17。

步骤S11包括确定二值图像中的表格线的垂直框线和水平框线的位置的操作。识别所述二值图像的目的是为了识别其中的笔划信息。为了准确、高效地识别所述笔划信息，需要移除二值图像中不是笔划的部分，包括移除二值图像中的表格线。为移除表格线，首先需要确定表格线中的垂直框线和水平框线的位置。可使用现有的多种表格线位置确定方法来确定所述表格线的位置。以下以使用投影卷积法为例来描述确定所述垂直框线和水平框线的位置的操作，如图2中所示，其中包括步骤S111-S113。

步骤S111包括对二值图像进行垂直方向和水平方向的累加投影的操作，相应地得到垂直方向和水平方向的累加投影波形。在图7a所示的二值图像中，假设空白处的像素值为0，而笔划和表格线处的像素值为1，则通过分别对所述二值图像进行垂直方向和水平方向的像素值累加，可得到如图7a中所示的垂直方向和水平方向的累加投影波形。从图7a中可以看出，在所得到的垂直方向的累加投影波形中，在对应于表格线的垂直框线的位置处具有幅值近似相等的波峰，这些波峰的峰值远高于其他波峰的峰值，对这些高幅值的波峰的位置进行定位即可定位表格线的垂直框线的位置；类似地，在所得到的水平方向的累加投影波形中，在与两个水平框线对应的位置处具有幅值近似相等的两个波峰，这两个波峰的幅值远高于它们之间的其他波峰的幅值，对这两个高幅值的波峰的位置进行定位即可定位表格线的水平框线的位置。为定位这些高幅值波峰的位置，执行步骤S112。

步骤S112包括使用相应的方波序列模板分别与上述得到的投影波形进行卷积，即用水平方向的方波序列模板与二值图像在垂直方向上的投影得到的波形进行卷积，以及使用垂直方向的方波序列模板与二值图像在水平方向上的投影得到的波形进行卷积。参考图7b，其中示出在垂直方向上进行累加得到的累加投影以及与其进行卷积的水平方向的方波序列模板。其中，对于水平方向的方波模板，遍历该方波模板的所有的x-偏移而分别与二值图像在垂直方向上的投影得到的投影波形进行卷积，找出最大的卷积响应；类似地，对于垂直方向的方波模板，遍历该方波模板的所有的Y-偏移而分别与二值图像在水平方向上的投影得到的投影波形进行卷积，找出最大的卷积响应。

S113包括基于分别获得最大卷积响应时的方波序列模板的位置，确定垂直和水平框线的位置。由图7b可知，当此水平方波序列模板的波峰分别与二值图像在垂直方向的投影得到的投影波形的波峰准确对准时，即可得到最大的卷积响应。由于如之前所提到的，所述二值图像在垂直方向上的投影得到的投影波形的波峰的位置对应于表格线的垂直框线的位置，因此在获得最大卷积响应时所述方波序列模板的峰值的位置即为各个垂直框线的位置。由此，可通过获得最大卷积响应时的所述水平方波序列模板的位置来准确地定位垂直框线的位置；类似地，可通过获得最大卷积响应时所述垂直方波序列模板的位置来准确定位水平框线的位置。

上述对垂直和水平框线进行定位的步骤可以同时进行，也可以先后分开进行。或者，也可以在上述步骤中仅确定垂直框线的位置，对于水平框线，可在之后需要移除水平框线的步骤之前再使用上述类似的方法来确定其位置。

另外，虽然在上述实施例中描述了通过累加卷积法来确定垂直框线和水平框线的位置，但是本发明不限于使用上述方法，而是可以根据实际的情况和需要使用其他的方法，例如，根据一实施例，可利用已保存的表格线的位置信息来实现本发明的垂直框线和水平框线的位置确定的操作。

所述二值图像识别方法的步骤S12包括移除二值图像中的表格线中的垂直框线。在确定了表格线的垂直框线和水平框线的位置之后，即可对垂直框线进行移除处理。可根据图3所示的流程图来进行相应的移除处理操作。如图3中所示，移除垂直框线的步骤S12包括步骤S121-S123。

步骤S121包括计算垂直框线在水平方向的游程。这里所提到的垂直框线在水平方向的游程是指每条垂直框线的每一个水平像素行的实际宽度，如之前提到的，假设在二值图像中的表格线和笔划处的像素的像素值为1，而其他空白处的像素的像素值为0。因此，所述每条垂直框线的每一个水平像素行的实际宽度可由该水平像素行上的像素值连续为1的像素个数来表示。由此，根据一个实施例，可通过计算连续的像素值为1的像素的个数来计算垂直框线的游程，具体包括：基于之前所确定的垂直框线的位置，针对每一个垂直框线的每一个水平像素行，计算该水平像素行中连续的像素值为1的像素的个数，所得到的像素个数即为该水平像素行的游程。其中，所述每一水平像素行的高度可以是1个像素，也可以是多个像素，可根据实际需要进行选择。所述每条垂直框线的每个水平像素行的实际宽度可能与垂直框线本身在水平方向的线宽相等，但也可能大于垂直框线在水平方向的线宽，例如在用户填写的笔划与垂直框线发生交叉或相切等的情况下。

步骤S122包括估计垂直框线在水平方向的线宽。所述垂直框线在水平方向的线宽的估计值可通过对在步骤S121中得到的游程进行求和平均而近似得到。具体而言，可将上述得到的针对一条垂直框线的每一个水平像素行的游程相加，然后除以该垂直框线的水平像素行的个数，所得到的数字即可作为该垂直框线在水平方向的线宽的估计值。当然，也可对多个或所有的垂直框线的每一水平像素行的游程进行加和平均，得到更为准确的估计值。除了基于上述方法估计之外，还可根据事先获得的已知信息来获知垂直框线的线宽。

步骤S123包括比较上述所计算的垂直框线在水平方向的游程和所估计的垂直框线在水平方向的线宽，以及根据比较结果来移除所述垂直框线。具体包括：将所计算的垂直框线的游程(即实际宽度)逐一与所估计的线宽进行比较，然后根据比较的结果来对每一垂直框线进行移除处理。所述比较结果与笔划和垂直框线的相交类型有关，其中，所述相交类型包括交叉、相切等，如图9所示，该图中主要示出了笔划与水平框线相交的几种类型，所述相交类型同样适用于笔划与垂直框线相交的情形。结合笔划和垂直框线的所述相交类型，可将所述比较结果分为以下几种：

第一种：垂直框线在水平方向上的游程小于或等于垂直框线在水平方向上的线宽(S1231)。可以理解，此种情形包括所填写的笔划不与垂直框线存在相交的情形。

第二种：垂直框线在水平方向的游程大于垂直框线在水平方向上的线宽但小于或等于所述线宽的预定倍数(S1232)。其中所述预定倍数可参考所述笔划部分的宽度和所述垂直框线的线宽之间的关系来决定。例如，如果前者是后者的N倍，则所述预定倍数可取(1+N)，例如在所述笔划部分的宽度和所述垂直框线的线宽的宽度相等(即N＝1)时，则所述预定倍数为1+1＝2。此种情形包括所述笔划与垂直边框相切或部分融合的情况；

第三种：垂直框线在水平方向上的游程大于所述线宽的预定倍数(S1233)。此种情况包括所填写的笔划与垂直框线存在交叉或部分融合的情形。其中所述预定倍数可以是2或更大的倍数，可根据实际需要进行选择。

基于上述所述比较结果和相交类型的对应关系，根据本发明的实施例，可按照如下的判断规则来移除所述垂直框线(如图4所示)：

如果垂直框线在水平方向上的游程小于或等于所估计的线宽(S1231)，则删除该垂直框线在该游程内的所有像素点；

如果垂直框线在水平方向的游程大于所估计的线宽但小于或等于所述线宽的预定倍数(S1232)，则删除该垂直框线在所述游程内的部分像素点。如之前提到的，假设所述笔划部分的宽度和所述垂直框线的线宽的宽度相等，则所述预定倍数可取2。在此情形下，如果所述垂直框线的游程等于所述垂直框线的线宽的M倍，其中M满足2＞＝M＞1，则从外向内删除所述游程的(1-1/M)的像素点。例如，如果所述垂直框线在水平方向上的游程等于所述线宽的2倍，则从外向内删除所述游程的半数像素点；如果所述垂直框线在水平方向上的游程等于所述线宽的1.5(M＝1.5)倍，则从外向内删除所述游程的三分之一像素点，等等。例如数字“8”与垂直框线相切，则在所述笔划部分的宽度和所述垂直框线的线宽的宽度相等的情况下，垂直框线在水平方向的游程等于线宽的2倍，此时，从外到内删除该游程的半数点后会使得删除垂直框线的部分而保留完整的笔划“8”；

如果垂直框线在水平方向上的游程大于所述线宽的预定倍数(S1233)，则保留该垂直框线在该游程内的所有像素点。以数字“5”为例进行说明，如果数字“5”的上部的水平笔划与垂直边框交叉，则该垂直框线在水平方向的游程会大于垂直框线的线宽的预定倍数，例如2倍或更多倍，此时，保留该垂直框线在该游程内的所有点即可保留数字“5”的全部笔划。

基于上述判断规则逐一移除每条垂直框线，由此完成对垂直框线的移除处理。需要说明的是，针对每一垂直框线，判断步骤S1231、S1232、S1233的顺序不限于上述的判断顺序，而是可以随意调换的。另外，根据实际的需要，上述移除垂直框线的步骤S12也可在以下的步骤S13和S14之间进行。

之后可进行所述二值图像识别方法的步骤S13，该步骤包括：对移除垂直框线后的二值图像进行细化。所谓的细化就是经过一层层的剥离，从原来的图中去掉一些点，但仍要保持原来的形状，直到得到图像的骨架或者说是图像的中轴。所使用的细化算法应当保证细化后细线的连通性，保持原图的基本形状，减少笔画相交处的畸变，细化结果是原图像的中心线。由于后续的处理和判断均要基于细化后的二值图像进行，因此，图像细化是很重要的一步，图像细化的效果将对识别的效率和正确性产生重要的影响。本发明可使用多种细化算法，例如Hilditch细化算法、Pavlidis细化算法、Rosenfeld细化算法等来对所述二值图像进行细化。图6c中示出使用Hilditch细化算法细化处理后的二值图像。

对所述二值图像进行细化处理后，继续执行步骤S14：在细化后的二值图像上跟踪水平框线的最短路径。为获得最短路径，可使用动态规划法来对水平框线进行跟踪处理。以下结合图8来说明根据动态规划法获得最短路径的方法。图8中示出了在所示的黑白点形成的二值图上获得从左到右的最短路径的示意图，其中的黑点和白点可分别对应于本发明中细化图像中的像素值为“1”和“0”的像素点。图8中的每一步示出了三条路径，由此得到了多条跟踪路径。为得到其中的最短路径，可向其中的黑白点和每一步赋予不同的分值。例如，黑点的分值为“255”，白点的分值为“0”，两点间的水平路径的分值为“255”，而一点与其相邻的右上点以及右下点的路径的分值均为“177”，等等。对于每一从左到右的路径，将该路径所包括的每一点和每一步的分值进行求和，所得到的分值最大的路径即为最短路径，如其中的加粗线所示。基于此种方法，可在本发明的细化的二值图像上跟踪水平框线的最短路径，所得到的具有最短路径的跟踪路径如图6d所示。

在所述笔划与水平框线存在相交的情况下，所述跟踪路径上既包括水平框线部分，即非笔划部分，也包括笔划部分。为区分其中的笔划部分和非笔划部分，执行所述细化图像识别方法的步骤S15：判断所填写的笔划与所述跟踪路径的相交类型，基于预设的“相交类型”和“跟踪路径上的相交部分是否是笔划部分”的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分。

“相交类型”和“跟踪路径上的相交部分是否是笔划部分”的对应关系可通过事先对各种笔划和跟踪路径实际相交的各种情形进行分析和归纳后得到。所述对应关系表的获得首先需要考虑笔划与跟踪路径相交的各种相交方式，例如，数字“1”或“7”与跟踪路径的相交方式通常为穿过跟踪路径、与跟踪路线相接但没穿过跟踪路径，等等；数字“8”与跟踪路径的相交方式通常包括数字“8”的部分圆弧在跟踪路径之下或者与跟踪路径相切；以及其他数字与跟踪路径的其他的一些相交方式，等等。然后，基于这些相交方式的特点对它们进行归纳总结，列出不同的相交类型，例如，对于数字“1”穿过跟踪路径的情形，可知其特点是该笔划在跟踪路径的上面有1个点与跟踪路径相接，在跟踪路径的下面有1个点与跟踪路径相接，这里将具有这种特点的相交方式定义为“一点交叉”的相交类型；对于数字“8”的部分圆弧在跟踪路径之下的情形，可知其特点是该笔划在跟踪路径的上面有两个点与跟踪路径相接，在跟踪路径的下面也有两个点与跟踪路径相接，这里将具有这种特点的相交方式定义为“两点交叉”的相交类型；对于数字“8”的部分圆弧与跟踪路径相切的情形(如图6a中的“8”)，可知其特点是该笔划在跟踪路径的上面有两个点与跟踪路径相接，而在跟踪路径的下面则没有点与跟踪路径相接，这里将具有这种特点的相交方式定义为“两点相切”的相交类型；另外还可将例如在跟踪路径之上与跟踪路径相接但不穿过跟踪路径的数字“1”(如图6a中的第4-第7个“1”)与跟踪路径的相交方式定义为“一点相交”的相交类型，等等。之后，基于这些相交类型所对应的跟踪路径上的相交部分是否是笔划来设置对应关系表中的“跟踪路径上的相交部分是否是笔划部分”项。还以上述“一点相交”、“两点相交”和“两点相切”的相交类型为例进行说明。在所述数字“1”与跟踪路径“一点交叉”的情形下，所述跟踪路径上的相交部分即为这一交叉点，可知该交叉点属于笔划部分，因此，如果相交类型为“一点交叉”，则其在对应关系表中对应的“跟踪路径上的相交部分是否是笔划部分”项应为“是”；在所述数字“8”与跟踪路径“两点交叉”的情形下，所述跟踪路径上的相交部分即为这两个交叉点之间的部分，可知该相交部分不属于笔划部分，因此，如果相交类型为“两点交叉”，则其在对应关系表中对应的“跟踪路径上的相交部分是否是笔划部分”项应为“否”；再比如在所述数字“8”与跟踪路径两点相切的情形下，所述跟踪路径上的相交部分即为这两个相切点之间的部分，可知该相交部分属于笔划部分，因此，如果相交类型为“两点相切”，则其在对应关系表中对应的“跟踪路径上的相交部分是否是笔划”项应为“是”。由此，得到“相交类型”和“跟踪路径上的相交部分是否是笔划部分”的对应关系表。以上仅例举了笔划与跟踪路径的几种常见的相交类型，实际上，由于笔划的多样化和个人书写的个性化，笔划和跟踪路径之间的相交类型也是多种多样的，其包括但不限于一点相切或融合、两点相切或融合、两点交叉、多点交叉等等，这里不一一例举。本发明即通过对这些类型的分析、归纳和总结，预先制作出笔划和跟踪路径的“相交类型”和对应的“跟踪路径上的相交部分是否是笔划部分”的对应关系表，以备在步骤S15中进行判断时查询。

在步骤S15中，针对笔划与跟踪路径出现相交的情形，需判断跟踪路径与笔划的相交类型。为此，需确定跟踪路径与笔划的相交特点。例如，如果检测出所述笔划有一个点在跟踪路径的上面与跟踪路径相接，有一个点在跟踪路径的下面与跟踪路径相接，则可判断其与跟踪路径的相交类型为“一点交叉”；又例如，如果检测出所述笔划有两个点在跟踪路径的上面与跟踪路径相接，在跟踪路径下没有点与跟踪路径相接，则可判断其与跟踪路径的相交类型为“两点相切”；再例如，如果检测出所述笔划有两个点在跟踪路径的上面与跟踪路径相接，有两个点在跟踪路径的下面与跟踪路径相接，则判断其与跟踪路径的相交类型为“两点交叉”。然后，根据所判断得到的相交类型，查询预先存储的“相交类型”与“跟踪路径上相应的相交部分是否是笔划”的对应关系表。如之前提到的，根据对应关系表中的记录，当相交类型为“一点交叉”时，相应的“跟踪路径上相应的相交部分是否是笔划”项为“是”；当相交类型为“两点相切”时，相应的“跟踪路径上相应的相交部分是否是笔划部分”项为“是”；当相交类型为“两点相交”时，相应的“跟踪路径上相应的相交部分是否是笔划部分”项为“否”。以上仅对一点交叉、两点交叉和两点相切的相交类型的判断进行了说明，应当理解，这些相交类型仅是示例性的，并非是对相交类型的穷举，也并非用于限制本发明的范围。

之后执行步骤S16：基于上述判断和查询的结果，保留所述跟踪路径上被确定为笔划的部分，删除跟踪路径上的其余部分。

图6a示出了包括表格线和笔划信息的二值图像的示图。图6b-6f示出了图6a所示的二值图像经过本发明的二值图像识别方法的相应步骤处理之后的示图，其中，图6b示出了移除表格线的垂直框线之后的二值图像；图6c示出了在移除垂直框线之后的二值图像被细化后的图像；图6d示出了在细化的二值图像上跟踪得到水平框线的最短路径之后的二值图像；图6e示出了删除跟踪路径上的非笔划部分同时保留跟踪路径上的笔划部分而得到的二值图像；以及图6f示出了上述处理之后的笔划还原后的形状。

从上述图6f中可以看出，经过上述处理后，所有的数字均保持了完整的笔划，且均被准确地识别。与现有技术相比，本发明的上述识别方法实现了对二值图像的更加准确和高效的识别，大大降低了误识别的概率。但是可以看出，图6f中的数字“4”和“5”的下部包含赘余的内容，在一定程度上存在失真。为了进一步改善识别的效果，提高识别的准确性，所述二值图像识别方法还可进一步包括步骤S17：基于所述笔划部分的游程和所述笔划的宽度的比较结果对笔划部分进行进一步的相应处理。所述笔划的宽度可通过沿X和/或Y方向计算和统计所述二值图像上的像素值为1的连续像素的游程长度来估计得到。具体包括：沿X和/或Y方向计算所述二值图像上的像素值为1的连续像素的游程长度；统计各个游程长度的个数；根据游程长度个数分布的直方图，找到个数最多的游程长度。该个数最多的游程长度即可作为笔划的宽度的估计值。

根据本发明的实施例，步骤S17中基于比较结果对所述笔划部分进行处理可基于以下规则来进行(参见图5所示)：

如果所述笔划部分在垂直方向上的游程小于或等于所述笔划的宽度(S171)，则保留该游程内的所有点；此种情形包括之前所述笔划不与跟踪路径交叉的情形；

如果所述笔划部分在垂直方向上的游程大于笔划的宽度但小于或等于笔划宽度的预定倍数(S172)，则删除该游程内的部分像素点。此种情形包括之前所述笔划与跟踪路径相切或部分融合的情况。在笔划的宽度和表格线的线宽相等的情况下，所述预定倍数可以是2。在此情形下，如果所述笔划部分在垂直方向上的游程等于笔划的宽度的M倍，其中M满足2＞＝M＞1，则从外向内删除所述游程的(1-1/M)的像素点。例如，如果所述笔划部分在垂直方向上的游程等于笔划宽度的2(M＝2)倍，则从外向内删除所述游程的半数像素点；如果所述笔划部分在垂直方向上的游程等于笔划宽度的1.5(M＝1.5)倍，则从外向内删除所述游程的三分之一像素点，等等。例如数字“8”与水平框线相切或部分融合，则通过该步骤之前的细化、跟踪和笔划判断和保留步骤之后，数字“8”与跟踪路径相切的部分以及跟踪路径上的相交部分均保留了下来，所保留的跟踪路径就成为该数字上赘余的部分。结果，数字“8”的底部在垂直方向的游程会大于笔划的宽度但是小于或等于笔划宽度的2倍，通过执行步骤S17删除部分点后会使失真的笔划“8”恢复到接近于原始“8”的形状；或者

当所述笔划部分在垂直方向上的游程大于笔划宽度的预定倍数时，则保留该游程内的所有点(S173)。此种情形包括之前所述笔划与跟踪路径一点交叉的情况，例如数字“1”与跟踪路径一点交叉，则通过之前的细化、跟踪和笔划判断和保留步骤之后，保留了“1”的全部笔划，其在垂直方向的游程会大于笔划宽度的预定倍数。此时，保留该笔划游程内的所有点即保持了完整的笔划“1”。其中，所述预定倍数可根据实际情况进行选取，例如可选择2或者更大的倍数。

根据本发明的实施例，所述二值图像的识别方法还包括在确定表格线的垂直和水平框线的位置之前，移除二值图像中的白噪声和黑噪声。在对二值图像上的噪声进行移除前和后的二值图像如图13示出，其中，第一行二值图像示出未对其进行噪声移除之前的情形，从图中可以看出，在未对二值图像进行噪声移除之前，所述二值图像上除了笔划和表格之外，还存在孤立的噪声点；第二行的二值图像示出对其进行了噪声移除之后的情形，从中可以看出，已不再具有明显的噪声点。移除噪声点的方法可采用连通域分析法，根据连通域分析法，可判断像素值为“1”的连通域的阈值的大小，如果所述连通域的阈值小于某一值，例如小于5，则判断该连通域为噪声，相应地移除该连通域。

图10示出了根据本发明实施例的二值图像识别装置1。所述二值图像识别装置1可用于根据上述的本发明的二值图像识别方法来进行包括笔划和表格线的二值图像的识别。所述二值图像识别装置1包括：垂直和水平框线位置确定模块11、垂直框线处理模块12、细化模块13、路径跟踪模块14、笔划部分确定模块15以及跟踪路径处理模块16。所述垂直和水平框线位置确定模块11用于确定二值图像中的表格线的垂直框线和水平框线的位置。所述垂直框线处理模块12用于对所述表格线的垂直框线进行移除处理。所述二值图像细化模块13用于对移除表格线的垂直框线后的二值图像进行细化；根据本发明的实施例，所述二值图像细化模块13可通过使用hilditch细化算法、Pavlidis细化算法、Rosenfeld细化算法等对所述二值图像进行细化。所述路径跟踪模块14用于在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；根据本发明的实施例，所述路径跟踪模块14可通过使用动态规划算法来执行相应的操作。所述笔划部分确定模块15用于判断所填写的笔划与所跟踪的路径的相交类型，以及基于预设的“相交类型”与相应的“跟踪路径上的相交部分是否是笔划部分”的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分，其中，所述笔划与所述跟踪路径的相交类型包括一点交叉、一点相切或融合、两点交叉、两点相切或融合或它们的任意组合，等等。所述跟踪路径处理模块16用于保留所述跟踪路径上的被确定为笔划的部分，以及移除所述跟踪路径上的非笔划部分。

为进一步提高识别效率和准确性，根据本发明的一优选实施方式，所述二值图像识别装置1还可包括笔划部分处理模块17，用于将所保留的跟踪路径上的笔划部分在垂直方向上的游程与笔划的宽度进行比较，并基于比较结果判断是否需要对所述笔划部分进行部分移除。根据本发明的实施例，所述笔划部分处理模块17可通过以下规则来判断是否需要对所述笔划部分进行部分移除：当所述笔划部分在垂直方向上的游程小于或等于笔划宽度时或者当所述笔划部分在垂直方向上的游程大于笔划宽度的预定倍数时，保留该游程内的所有点；以及当所述笔划部分在垂直方向上的游程大于笔划宽度但小于或等于笔划宽度的预定倍数时，删除该游程内的部分点。

图11示出了所述二值图像识别装置1中包括的垂直和水平框线位置确定模块11的具体组成。所述垂直和水平框线位置确定模块11可执行本发明的二值图像识别方法中的垂直和水平框线的确定位置的步骤。如图11中所示，所述垂直和水平框线位置确定模块11包括：累加投影模块111，用于对所述二值图像分别进行垂直和水平方向的累加投影；卷积模块112，用于使用方波序列模板分别与上述累加投影得到的垂直方向和水平方向的投影波形进行卷积；以及位置处理模块113，用于基于分别获得最大卷积响应时的方波序列模板的位置确定所述垂直和水平框线的位置。

图12示出了所述二值图像识别装置1中包括的垂直框线处理模块12的具体组成。所述垂直框线处理模块12可执行上述本发明的二值图像识别方法中的对垂直框线进行移除处理的步骤。如图12中所示，所述垂直框线处理模块12包括：游程计算模块121，用于计算所述垂直框线在水平方向上的游程；线宽估计模块122，用于估计所述垂直框线在水平方向的线宽；以及垂直框线移除模块123，用于基于所述垂直框线在水平方向上的游程和所估计的线宽的比较结果来移除所述垂直框线。

根据本发明的实施例，所述垂直框线移除模块123基于以下规则来移除所述垂直框线：当所述垂直框线在水平方向上的游程小于或等于所述线宽时，删除该游程内的所有点；当所述垂直框线在水平方向上的游程大于所述线宽但小于或等于所述线宽的预定倍数时，删除该游程内的部分点；以及当所述垂直框线在水平方向上的游程大于所述线宽的预定倍数时，保留该游程内的所有点。其中，所述预定倍数包括2，且相应地，所述游程内的部分点包括所述游程内的所有点的一半。

根据本发明的优选实施例，所述二值图像的识别装置1还包括噪声处理模块，用于在确定表格线的垂直和水平框线的位置之前，通过连通域分析移除二值图像中的孤立的噪声点。

本发明还提供了一种包括其中存储的机器可读取的指令代码的程序产品，其中，所述指令代码在被读取和执行时，能够使所述机器执行之前图1-5中描述的、以及虽然没有在附图中具体地示出，但是已经在本说明书中充分地披露的各种功能。

此外，根据本发明上述各个实施例所述的方法可以通过存储有机器可读取的指令代码的程序产品进来实现。这些指令代码由机器例如计算机读取并执行时，可执行根据本发明上述实施例的二值图像识别方法。该程序产品可以具有任意的表现形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒，等等。

以上结合附图和实施例对本发明进行了描述。应当理解，本发明不限于上述具体的描述，而是在所附权项或其等同内容的范围内可根据设计要求和其他因素进行各种修改、组合、子组合或者替换。

通过上面对本发明的实施例的描述可知，本发明涵盖的技术方案包括但不限于如下的内容：

附记1.一种二值图像的识别方法，在所述二值图像中包括表格线和笔划，所述方法包括：

确定表格线的垂直和水平框线的位置；

对所述表格线的垂直框线进行移除处理；

对移除表格线的垂直框线后的二值图像进行细化；

在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；

判断所跟踪的路径与笔划的相交类型，基于预设的相交类型和相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及

保留所述跟踪路径上的笔划部分，以及移除所述跟踪路径上的非笔划部分。

附记2.如附记1所述的二值图像的识别方法，还包括：

将所保留的跟踪路径上的笔划部分在垂直方向上的游程与所述笔划的宽度进行比较，并基于比较结果判断是否需要对所述笔划部分进行部分移除。

附记3.如附记2所述的二值图像的识别方法，其中所述基于比较结果来判断是否需要对所述笔划部分进行部分移除的步骤包括：

当所述笔划部分在垂直方向上的游程小于或等于所述笔划宽度时，保留该游程内的所有点；

当所述笔划部分在垂直方向上的游程大于所述笔划宽度但小于或等于所述线宽的预定倍数时，删除该游程内的部分点；或者/以及

当所述笔划部分在垂直方向上的游程大于所述笔划宽度的预定倍数时，保留该游程内的所有点。

附记4.如附记1所述的二值图像的识别方法，其中，所述跟踪所述表格线的水平框线的最短路径的步骤是通过使用动态规划算法来实现的。

附记5.如附记1所述的二值图像的识别方法，其中，所述跟踪路径与笔划的相交类型包括一点交叉、一点相切或融合、两点交叉、两点相切或融合或它们的任意组合。

附记6.如附记1所述的二值图像的识别方法，其中所述确定表格线的垂直和水平框线的位置的步骤包括：

对所述二值图像分别进行垂直和水平方向的累加投影；

使用方波序列模板分别与上述累加投影得到的投影波形进行卷积；以及

基于分别获得最大卷积响应时的方波序列模板的位置确定所述垂直和水平框线的位置。

附记7.如附记1所述的二值图像的识别方法，其中，所述对所述表格线的垂直框线进行移除处理的步骤包括：

计算所述垂直框线在水平方向上的游程；

估计所述垂直框线在水平方向的线宽；以及

比较所述垂直框线在水平方向上的游程和所估计的线宽，以及根据比较结果来移除所述垂直框线。

附记8.如附记7所述的二值图像的识别方法，其中，根据比较结果来移除所述垂直框线包括：

当所述垂直框线在水平方向上的游程小于或等于所述线宽时，删除该游程内的所有点；

当所述垂直框线在水平方向上的游程大于所述线宽但小于或等于所述线宽的预定倍数时，删除该游程内的部分点；或者

当所述垂直框线在水平方向上的游程大于其线宽的预定倍数时，保留该游程内的所有点。

附记9.如附记3或8所述的二值图像的识别方法，其中，所述预定倍数包括2，且所述游程内的部分点包括所述游程内的所有点的一半。

附记10.如附记1所述的二值图像的识别方法，其中，对二值图像进行细化的步骤是通过使用hilditch细化算法实现的。

附记11.如附记1所述的二值图像的识别方法，进一步包括：

在确定表格线的垂直和水平框线的位置之前，通过连通域分析移除二值图像中的白噪声和黑噪声。

附记12.如附记11所述的二值图像的识别方法，其中，在连通域的阈值小于5的情况下，移除该连通域。

附记13.一种二值图像的识别装置，其中所述二值图像包括表格线和笔划，所述装置包括：

垂直和水平框线位置确定模块，用于确定表格线的垂直和水平框线的位置；

垂直框线处理模块，用于对所述表格线的垂直框线进行移除处理；

二值图像细化模块，用于对移除表格线的垂直框线后的二值图像进行细化；

路径跟踪模块，用于在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；

笔划部分确定模块，用于判断所跟踪的路径与笔划的相交类型，以及基于预设的相交类型与相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及

跟踪路径处理模块，用于保留所述跟踪路径上的笔划部分，以及移除所述跟踪路径上的非笔划部分。

附记14.如附记13所述的二值图像的识别装置，还包括：

笔划部分处理模块，用于将所保留的跟踪路径上的笔划部分在垂直方向上的游程与所述笔划的宽度进行比较，并基于比较结果判断是否需要对所述笔划部分进行部分移除。

附记15.如附记14所述的二值图像的识别装置，其中所述笔划部分处理模块通过以下规则来判断是否需要对所述笔划部分进行部分移除：

当所述笔划部分在垂直方向上的游程小于或等于所述笔划宽度时或者当所述笔划部分在垂直方向上的游程大于所述笔划宽度的预定倍数时，保留该游程内的所有点；以及

当所述笔划部分在垂直方向上的游程大于所述笔划宽度但小于或等于所述笔划宽度的预定倍数时，删除该游程内的部分点。

附记16.如附记13所述的二值图像的识别装置，其中，所述路径跟踪模块通过使用动态规划算法来执行相应的操作。

附记17.如附记13所述的二值图像的识别装置，其中，所述跟踪路径与笔划的相交类型包括一点交叉、一点相切或融合、两点交叉、两点相切或融合或它们的任意组合。

附记18.如附记13所述的二值图像的识别装置，其中所述垂直和水平框线位置确定模块包括：

累加投影模块，用于对所述二值图像分别进行垂直和水平方向的累加投影；

卷积模块，用于使用方波序列模板分别与上述累加投影得到的垂直方向和水平方向的投影波形进行卷积；以及

位置处理模块，用于基于分别获得最大卷积响应时的方波序列模板的位置确定所述垂直和水平框线的位置。

附记19.如附记13所述的二值图像的识别装置，其中，所述垂直框线处理模块包括：

游程计算模块，用于计算所述垂直框线在水平方向上的游程；

线宽估计模块，用于估计所述垂直框线在水平方向的线宽；以及

垂直框线移除模块，用于基于所述垂直框线在水平方向上的游程和所估计的线宽的比较结果来移除所述垂直框线。

附记20.如附记19所述的二值图像的识别装置，其中，所述垂直框线移除模块基于以下规则来移除所述垂直框线：

当所述垂直框线在水平方向上的游程小于或等于所述线宽时，删除该游程内的所有点；

当所述垂直框线在水平方向上的游程大于所述线宽但小于或等于所述线宽的预定倍数时，删除该游程内的部分点；以及

当所述垂直框线在水平方向上的游程大于所述线宽的预定倍数时，保留该游程内的所有点。

附记21.如附记15或20所述的二值图像的识别装置，其中，所述预定倍数包括2，且所述游程内的部分点包括所述游程内的所有点的一半。

附记22.如附记13所述的二值图像的识别装置，其中，所述二值图像细化模块通过使用hilditch细化算法对所述二值图像进行细化。

附记23.如附记13所述的二值图像的识别装置，进一步包括：

噪声处理模块，用于在确定表格线的垂直和水平框线的位置之前，通过连通域分析移除二值图像中的白噪声和黑噪声。

附记24.如附记23所述的二值图像的识别装置，其中，所述噪声处理模块在连通域的阈值小于5的情况下，移除该连通域。

Claims (10)

1.一种二值图像的识别方法，在所述二值图像中包括表格线和笔划，所述方法包括：

确定表格线的垂直和水平框线的位置；

对所述表格线的垂直框线进行移除处理；

对移除表格线的垂直框线后的二值图像进行细化；

在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；

判断所跟踪的路径与笔划的相交类型，基于预设的相交类型和相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及

保留所述跟踪路径上的笔划部分，以及移除所述跟踪路径上的非笔划部分。

2.如权利要求1所述的二值图像的识别方法，还包括：

将所保留的跟踪路径上的笔划部分在垂直方向上的游程与所述笔划的宽度进行比较，并基于比较结果判断是否需要对所述笔划部分进行部分移除。

3.如权利要求2所述的二值图像的识别方法，其中所述基于比较结果来判断是否需要对所述笔划部分进行部分移除的步骤包括：

当所述笔划部分在垂直方向上的游程小于或等于所述笔划的宽度时，保留该游程内的所有点；

当所述笔划部分在垂直方向上的游程大于所述笔划的宽度但小于或等于所述笔划的宽度的预定倍数时，删除该游程内的部分点；或者/以及

当所述笔划部分在垂直方向上的游程大于所述笔划的宽度的预定倍数时，保留该游程内的所有点。

4.如权利要求1所述的二值图像的识别方法，其中，所述对所述表格线的垂直框线进行移除处理的步骤包括：

计算所述垂直框线在水平方向上的游程；

估计所述垂直框线在水平方向的线宽；以及

比较所述垂直框线在水平方向上的游程和所估计的线宽，以及根据比较结果来移除所述垂直框线。

5.如权利要求4所述的二值图像的识别方法，其中，根据比较结果来移除所述垂直框线包括：

当所述垂直框线在水平方向上的游程小于或等于所述线宽时，删除该游程内的所有点；

当所述垂直框线在水平方向上的游程大于所述线宽但小于或等于所述线宽的预定倍数时，删除该游程内的部分点；或者

当所述垂直框线在水平方向上的游程大于其线宽的预定倍数时，保留该游程内的所有点。

6.一种二值图像的识别装置，其中所述二值图像包括表格线和笔划，所述装置包括：

垂直和水平框线位置确定模块，用于确定表格线的垂直和水平框线的位置；

垂直框线处理模块，用于对所述表格线的垂直框线进行移除处理；

二值图像细化模块，用于对移除表格线的垂直框线后的二值图像进行细化；

路径跟踪模块，用于在细化后的二值图像上跟踪所述表格线的水平框线的最短路径；

笔划部分确定模块，用于判断所跟踪的路径与笔划的相交类型，以及基于预设的相交类型与相应的相交部分是否是笔划部分的对应关系来确定所述跟踪路径上与所述笔划相交的部分是否是笔划部分；以及

跟踪路径处理模块，用于保留所述跟踪路径上的笔划部分，以及移除所述跟踪路径上的非笔划部分。

7.如权利要求6所述的二值图像的识别装置，还包括：

笔划部分处理模块，用于将所保留的跟踪路径上的笔划部分在垂直方向上的游程与所述笔划的宽度进行比较，并基于比较结果判断是否需要对所述笔划部分进行部分移除。

8.如权利要求7所述的二值图像的识别装置，其中所述笔划部分处理模块通过以下规则来判断是否需要对所述笔划部分进行部分移除：

当所述笔划部分在垂直方向上的游程小于或等于所述笔划的宽度时或者当所述笔划部分在垂直方向上的游程大于所述笔划的宽度的预定倍数时，保留该游程内的所有点；以及

当所述笔划部分在垂直方向上的游程大于所述笔划的宽度但小于或等于所述笔划的宽度的预定倍数时，删除该游程内的部分点。

9.如权利要求6所述的二值图像的识别装置，其中，所述垂直框线处理模块包括：

游程计算模块，用于计算所述垂直框线在水平方向上的游程；

线宽估计模块，用于估计所述垂直框线在水平方向的线宽；以及

垂直框线移除模块，用于基于所述垂直框线在水平方向上的游程和所估计的线宽的比较结果来移除所述垂直框线。

10.如权利要求9所述的二值图像的识别装置，其中，所述垂直框线移除模块基于以下规则来移除所述垂直框线：

当所述垂直框线在水平方向上的游程小于或等于所述线宽时，删除该游程内的所有点；

当所述垂直框线在水平方向上的游程大于所述线宽但小于或等于所述线宽的预定倍数时，删除该游程内的部分点；以及

当所述垂直框线在水平方向上的游程大于所述线宽的预定倍数时，保留该游程内的所有点。

Images