CN105069452A - 基于局部结构分析的直线移除方法 - Google Patents

Abstract

本发明涉及一种基于局部结构分析的直线移除方法，首先进行文档的初次简单二值化工作，然后进行倾斜矫正；在简单二值化工作后图像中精确定位其中所有框线段，然后根据先验知识筛选出需要进行移除处理的线段部分并记录其位置信息；在原始彩色图像文档中查找到获取的需要进行移除的线段，并从每条线段起点至终点的上下区域内求取文字与线段的交点；根据局部像素位置关系执行相应的直线移除策略，并根据线段的彩色像素均值信息以及不同直线移除策略执行结果的单字符识别置信度，确定最适宜的直线移除区域，最终用背景像素覆盖直线移除区域，即可得到直线移除后的图像。本发明方法能够克服局部结构发生破坏，造成文字切分、识别失败的缺点与不足。

Description

基于局部结构分析的直线移除方法

技术领域

本发明涉及字符笔画与直线压盖粘连的直线移除技术，具体地指一种基于局部结构分析的直线移除方法。

背景技术

目前，利用文档图像自动化处理系统对表格型票据文档进行光学字符识别技术(OCR)已被广泛应用。通常此类文档会预先印刷各种定位框、线，以便人们书写或打印信息到正确的区域。一般情况下，文档资料从图像信息转换成为数字资料的识别过程如图1步骤所示。但在文档自动化应用过程中，由于文字部分与定位框、线往往会存在粘连、压盖，进而影响到文字部分的定位、切分与识别的精确度，图2所示为某类型票据图像中，小写金额定位框线与填写内容发生压盖的示例，因此定位框、线的直线移除是OCR的重要预处理步骤。

通常，直线移除方法从技术策略上可以划分为两大类：直接去除直线后进行文字断裂处的笔画修补，和分析直线穿透文字笔画方式后进行有保留的直线移除。同时，文字与框线的位置关系也决定了直线去除的复杂程度，如框线穿透了笔画的某一部分，或框线与笔画的某一部分重合。如果直线移除不恰当或文档中存在印章或水印的干扰，则进行直线移除会存在较大难度，在最终的二值图像上原始笔画像素点便会随着直线移除操作造成笔画缺失，文字局部结构发生破坏，最终难免造成文字识别前处理时的切分失败，以及最终的识别错误或拒识。

因此，研究者们将工作重心置于对框线与文字的穿透分析之上，力求能够根据不同的穿透模式，有保留的标记出文字与直线交叠处后，再进行直线去除操作。例如利用框线宽度分析待保留的区域，跟踪文字笔画确定框线上待保留的像素，根据交叠处的像素形状来判断如何进行区域保留等，但这些方法大多需要在二值化后的黑白图像上操作，图3所示即为图2的黑白图像，而二值化过程中框线、文字、印章及噪声等都无一例外的表现成同一色彩的像素点组成的区域，最重要的是OCR识别引擎一般都是基于二值图像中的特征进行分类，但采用以上方法二值化后的黑白图像基本无法保留不同类别之间的边缘信息；其次，这些方法基本上依赖的是局部像素之间的信息，而未将框线部分、文字部分作为两类具有不同属性的目标进行全局分析；最后，直线移除的目标是为文字识别服务，但目前大多数方法中并没有在直线移除过程中引入OCR识别信息，移除直线时仅凭借像素连接关系，导致最终识别阶段出现错误。

发明内容

本发明目的在于克服上述现有技术的不足而提供一种基于局部结构分析的直线移除方法，该方法能够克服局部结构发生破坏，造成文字切分、识别失败的缺点与不足。

实现本发明目的采用的技术方案是一种基于局部结构分析的直线移除方法，该方法包括：

S100、输入原始彩色图像文档，先进行文档的初次简单二值化工作，然后进行倾斜矫正；

S200、在所述简单二值化工作后图像中精确定位其中所有框线线段，然后根据先验知识筛选出需要进行移除处理的线段部分并记录其位置信息；

S300、在原始彩色图像文档中查找到步骤200中获取的需要进行移除的线段，并从每条线段起点至终点的上下区域内求取文字与线段的交点；

S400、根据局部像素位置关系执行相应的直线移除策略，并根据线段的彩色像素均值信息以及不同直线移除策略执行结果的单字符识别置信度，确定最适宜的直线移除区域，最终用背景像素覆盖直线移除区域，即可得到直线移除后的图像。

与现有技术相比，本发明具有如下的优点：

1)本发明基于局部结构(像素梯度信息)，在全局色彩空间信息及识别置信度的辅助下，能够有效的在文本图像预处理过程中进行框线的检测、移除；

2)本发明中，无需设定任何参数，计算过程中所有参数依靠文本图像先验知识或所携带信息来自适应，例如色彩空间距离阈值、笔画宽度、文字宽度等；

3)本发明计算消耗较小、处理速度快，能有效满足文本自动化处理系统的实时性要求。

附图说明

图1是现有文本图像OCR识别流程图。

图2是在表格型的文本图像中常见的打印字符与框线压盖示意图。

图3是对应于图2简单二值化之后的黑白图像。

图4是本发明方法对于表格型文档图像的框线移除流程图。

图5是图4所示方法的效果图，其中(a)是原始图，(b)是将其中一条与文字相交的框线移除后的效果图。

图6是在直线型的文本图像中常见的打印字符与框线压盖示意图。

图7是对应于图6简单二值化之后的黑白图像。

图8是对应于图7中需要进行移除的框线。

图9是待移除线段的二值图像。

图10是在灰度图像上查找极值点对。

图11是标识了极值点对的局部图像。

图12是移除掉框线的最终二值图像。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，本发明基于局部结构分析的直线移除方法包括以下步骤：

S100、输入原始彩色图像文档，如图5a所示，并进行倾斜矫正与文档的初次简单二值化工作。

本发明所采用的简单二值化工作，及采用现有的简单、合适的二值化方法将图像二值化，例如可以使用最大类间差二值化(OTSU)方法进行简单的二值化工作，从而快速有效的将彩色文档图像进行二值化操作，并且能够保留大多数隶属于文字或框线的像素区域。

图像倾斜是指发生在输入的文本图像采集过程中发生的物理偏移、或者其他因素干扰造成的文本图像倾斜，或者在书写或打印文字过程中发生的倾斜。本发明倾斜矫正针对的是输入文本图像整体倾斜的前期图像处理过程，根据上述经过简单二值化工作后图像的水平投影直方图或检测出的表格框线(框线线段的检测，只用利用在二值图像上的投影直方图即可)进行图像旋转从而实现矫正。按照水平投影直方图矫正方法，尝试旋转图像至某一角度θ后，统计一次文档图像水平投影hist[row]_θ，通过不断获取θ＝±1,2,3,...,n角度下的水平投影，使水平投影行之间的方差最大时的θ即为待旋转的角度；按照表格框线进行矫正的方法，可根据文档中预印表格的水平或垂直框线在文档图像中的夹角，来确定其应当旋转矫正的角度θ。

S200、在简单二值化工作所得图像中精确定位其中所有框线线段，然后根据先验知识筛选出需要进行移除处理的线段部分并记录其位置信息。

本发明中的“先验知识”指的是已知的文档图像信息，例如表格框线的大概位置、线宽。由于印刷过程中断裂、表格设计的虚线线段、人为污损和印刷时油墨过淡容易导致图像被二值化处理，然后经过投影找到了某一行存在可能需要判断是否压盖字符的那条直线。但在这一行上，实际存在的不是一条从头到尾连接的线段，而是数条中间断裂开的多条线段。因此，做一次根据线段位置、线段宽的判断，就能合并出属于同一直线的多条线段。根据位置信息可以优先确定可能发生与文字相交的直线位置，并且可以根据线宽合并隶属于同一直线的检测出的多条线段。

如果存在多条线段，判断位置关系和线段宽度，如果属于同一直线则当作同一条直线记录；如果不属于同一直线当作多条线段记录。如果一开始不存在多条线段，则判断没有存在多条线段。对于被记录的线段进行保存，以便后续步骤处理。

S300、在原始彩色图像文档中查找到步骤S200中获取的待移除线段，并从每条线段起点至终点的上下区域内求取文字与线段的交点。

对原始彩色图像中相应位置的表格框线的两侧边缘进行梯度分析，用以确定在线段两侧是否存在字符笔画，以及字符笔画与线段之间的交点。

对某一条表格框线进行两侧沿边缘方向的梯度分析步骤如下：

首先获取彩色图像u₀转换到灰度形式u，根据以下公式

$u(i,j)=255-0.5\left(\frac{1}{n}\underset{k=1}{\overset{n}{\Σ}}{u}_{0,k}\right(i,j)+\underset{k}{\min }{u}_{0,k}(i,j\left)\right)$

完成上述转换，式中，u(i,j)表示图像第j行、i列的像素值，k表示通道序号(rgb图像有3个通道，它们的序号分别为0，1，2)，n表示通道总数(rgb图像的总数为3)。

然后根据步骤S200中检测出的线段的上、下边缘处(即垂直线段方向)，通过Sobel边缘检测算子沿上、下边缘方向(即水平于线段方向)进行处理，当线段与其他文字笔画相交时，在灰度图像该点处u(x,y)会呈现明显的梯度极值，(若文字平均灰度级小于背景部分平均灰度级，则会出现负灰度梯度极值到正灰度梯度极值的变化，即检测到了框线边缘方向上的一处笔画相交部分)，那么根据边缘处的梯度变化，可以初步估计出该框线与文字的关系是属于：相交、压盖、或者相离。

Sobel边缘检测算子基本原理是：在以灰度图像某一像素点u(x,y)为中心的领域内，分别计算垂直和水平方向上的偏导，通常情况下根据卷积核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 来计算水平、垂直方向的偏导，此处只需要计算对应于框线方向上的一阶偏导。

S400、根据局部像素位置关系执行相应的直线移除策略，并根据线段的彩色像素均值信息以及不同直线移除策略执行结果的单字符识别置信度，确定最适宜的直线移除区域，最终用背景像素覆盖直线移除区域，即可得到直线移除后的图像，如图5b所示。

其中，本发明直线移除策略包括以下步骤：

分析上下边缘处的梯度极值点，其中每一负、正极值点可以构成一对笔画相交点对，若某侧边缘处的极值点对可以在另一侧找到对应的极值点对，即为笔画穿透，若未能找到匹配的另一侧极值点对，则为笔画未穿透；另，存在框线宽度大于等于笔画宽度时，可能会发生框线正好覆盖于某一小段笔画之上的现象，即为笔画压盖。一般情况下，若能查找到对应的上下边缘极值点对，此时直线移除的策略相对简单，即保留这4个点所构成的四边形区域内部像素点即可，但对于笔画未穿透、笔画压盖情形时，必须结合图像像素点色彩信息、OCR识别引擎给出的识别置信度等全局信息，例如当笔画未穿透时，首先根据直接移除直线后的图像进行连通域分析，获取每个字符所在的区块，然后进行：a)在彩色图像上的移除直线区域中，查找与字符像素RGB色彩空间距离较近的像素点(一般情况下在1.5σ范围内，σ为所有目标像素点的像素值标准差)；b)在此区块中应用OCR识别引擎，若上一步a)中能够区分出属于字符或框线的像素点，此时能够得到较高置信度的识别结果，反之，通过色彩空间距离无法区分出属于字符或框线的像素点，此时先保留直线移除区域，待后期进行处理。

其中，寻找对应极值点对的方法如下：首先统计笔画宽度、文字宽度、出现频率最多的极值点对宽度，然后沿上边缘水平方向查找，当满足依次出现负极值点和正极值点，且两点间距离应大于等于笔画宽度同时小于文字宽度时，极值点对即找到。下边缘处做相同操作。

笔画宽度求取是根据笔画宽度谱函数(strokewidthspectrum,SWS)来确定，它表征了文本图像上所有可能的笔画宽度出现的频率；首先给出一个可能的笔画宽度i_w，在二值化后的文本图像上遍历每个像素点，考察其i_w范围内领域中隶属于文字的像素点的个数与该领域内所有像素点个数的比值，若大于阈值0.9，则该像素点记为可能的文字像素点。测试i_w∈(minI,maxI)之后(此处minI,maxI的数值根据可能出现的字符笔画像素宽度最大、最小值来估计，以便减少计算消耗)，可以发现，当越接近平均的笔画宽度时，此文档图像的SWS中属于该宽度i_w的频率值越大，因此，该文档的笔画宽度i_w即根据SWS中频率值最大处确定。

计算文字宽度的方法是：将框线所在区域中的文字垂直方向上进行列投影对文字行分割，然后计算分割后获取的字块宽度均值，即可作为对文字宽度的预估。由于可能存在多种字体(特别是非等宽的打印字)、打印字的墨迹浓淡、或者手写字等情况，对于每一个字符，其字符宽度可能不等，因此不能用一个准确的值来说明所有字符的宽度，因此这里用了现有信息：平均字块宽度，作为一个估计值。

统计出现频率最多的极值点对的宽度的方法是：首先查找出所有满足{负极值点,正极值点}的一对点，然后查找其中出现频率最高的极值点对，由于此处统计是基于像素点尺度，因此可适量放宽选择条件为{负极值点位置±1,正极值点位置±1}。

下面按上述方法对文档图像中的直线移出过程，以说明本发明方法是如何基于局部结构分析，在全局色彩空间信息及识别置信度的辅助下所进行的文本图像表格框线、文本定位线移除。如图4所示，本实施提供的所述文本图像表格框线移除方法包括以下几个步骤：

(1)首先对原始图像图6进行二值化、倾斜矫正。其中，首先采用大津法(N.Otsu,Athresholdselectionmethodfromgray-levelhistograms,IEEETransactionsonSystems,Man,andCybernetics,vol.9,no.1,pp.62-66,1979.)进行粗精度条件下的简单二值化，并根据表格型文本图像的先验信息(表格框线、文字定位线水平垂直关系)来判断二值化图像是否倾斜以及倾斜的角度，如若倾斜，则向相反方向旋转角度之后，即可得到经过倾斜矫正的Otsu二值化后的黑白图像，如图7所示。

(2)确定需要进行移除的框线，如图8所示。在此步骤中，首先检测出所有符合待移除框线特征的线段，然后合并隶属于同一表格框线的线段后，得到只包含待移除线段的二值图像，如图9所示，该二值图像将作为待移除线段模板供下一步骤使用。

(3)在灰度图像上查找极值点对，如图10所示。首先需要将原图从RGB彩色图像空间转换到灰度图像空间，通过应用前文中所述的转换公式，将三通道[0,255]转换成单通道[0,255]图像。然后沿步骤(2)中获取的待移除线段模板的上下边沿的水平方向，求取该方向上每一点的一阶水平向Sobel梯度算子，并计算其极值，在局部图像图11中可以直接观察点对以及穿透的字符笔画之间存在的对应关系。

(4)根据不同的直线移除策略进行直线移除，在此步骤中，首先将进行框线与文字笔画之间关系的判断，然后将上、下边沿极值点对所确定出的“保留区域”从待移除线段的二值图(图9)中去除。最后处理完所有极值点对，即可得到只包含无文字笔画的待移除线段图，将此图作为执行直线移除的模板对二值图图像(图7)进行操作，得到移除掉框线的最终二值图像图12。

上述基于局部结构分析，在全局色彩空间信息及识别置信度的辅助下所进行的文本图像表格框线、定位线移除方法可以有效的适用于不同类型的文本图像自动化处理系统，例如支票影像识别系统、银行表单识别系统、税务表单识别系统，由于此类系统需要识别的文本字符可能会被表格框线、定位线等压盖，造成字符定位、识别出错，因此加入基于局部结构分析的直线移除算法，能够提升字符定位与识别的正确率。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种基于局部结构分析的直线移除方法，其特征在于，包括：

S100、输入原始彩色图像文档，先进行文档的初次简单二值化工作，然后进行倾斜矫正；

S200、在所述简单二值化工作后图像中精确定位其中所有框线线段，然后根据先验知识筛选出需要进行移除处理的线段部分并记录其位置信息；

S300、在原始彩色图像文档中查找到步骤200中获取的需要进行移除的线段，并从每条线段起点至终点的上下区域内求取文字与线段的交点；

S400、根据局部像素位置关系执行相应的直线移除策略，并根据线段的彩色像素均值信息以及不同直线移除策略执行结果的单字符识别置信度，确定最适宜的直线移除区域，最终用背景像素覆盖直线移除区域，即可得到直线移除后的图像。

2.根据权利要求1所述基于局部结构分析的直线移除方法，其特征在于：步骤S100中，所述倾斜矫正针对的是输入文本图像整体倾斜的前期图像处理过程，根据二值化图像的水平投影直方图或检测出的表格框线进行图像旋转从而实现矫正。按照水平投影直方图矫正方法，尝试旋转图像至某一角度θ后，统计一次文档图像水平投影hist[row]_θ，通过不断获取θ＝±1,2,3,...,n角度下的水平投影，使水平投影行之间的方差最大时的θ即为待旋转的角度；按照表格框线进行矫正的方法，可根据文档中预印表格的水平或垂直框线在文档图像中的夹角，来确定其应当旋转矫正的角度θ。

3.根据权利要求1所述基于局部结构分析的直线移除方法，其特征在于：步骤S200中，所述先验知识指的是已知的文档图像信息。

4.根据权利要求1所述基于局部结构分析的直线移除方法，其特征在于：步骤S300中，对原始彩色图像中相应位置的表格框线的两侧边缘进行梯度分析，用以确定在线段两侧是否存在字符笔画，以及字符笔画与线段之间的交点，从而实现从每条线段起点至终点的上下区域内求取文字与线段的交点，具体步骤如下：

首先，将原始彩色图像u₀转换到灰度形式u，根据公式 $u(i,j)=255-0.5\left(\frac{1}{n}\underset{k=1}{\overset{n}{\Σ}}{u}_{0,k}\right(i,j)+\underset{k}{min}{u}_{0,k}(i,j\left)\right)$ 完成上述转换；

然后，根据步骤S200中检测出的线段的上、下边缘处，通过Sobel边缘检测算子沿上、下边缘方向进行处理，当线段与其他文字笔画相交时，在灰度图像该点处u(x,y)会呈现明显的梯度极值，根据边缘处的梯度变化，初步估计出该框线与文字的关系是属于：相交、压盖、或者相离。

5.根据权利要求4所述基于局部结构分析的直线移除方法，其特征在于：所述Sobel边缘检测算子处理过程为：在以灰度图像某一像素点u(x,y)为中心的领域内，分别计算垂直和水平方向上的偏导，通常情况下根据卷积核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 来计算水平、垂直方向的偏导，此处只需要计算对应于框线方向上的一阶偏导。

6.根据权利要求1所述基于局部结构分析的直线移除方法，其特征在于所述直线移除策略包括：

分析上下边缘处的梯度极值点，其中每一负、正极值点构成一对笔画相交点对，若某侧边缘处的极值点对在另一侧找到对应的极值点对，即为笔画穿透，若未能找到匹配的另一侧极值点对，则为笔画未穿透；

当笔画穿透时，此时直线移除的策略为保留这4个点所构成的四边形区域内部像素点即可；

框线宽度大于等于笔画宽度时，发生框线正好覆盖于某一小段笔画之上的现象，即为笔画压盖；

对于笔画未穿透、笔画压盖情形时，首先根据直接移除直线后的图像进行连通域分析，获取每个字符所在的区块，然后进行：a)在彩色图像上的移除直线区域中，查找与字符像素RGB色彩空间距离较近的像素点；b)在此区块中应用OCR识别引擎，若上一步a)中能够区分出属于字符或框线的像素点，此时能够得到较高置信度的识别结果，反之，通过色彩空间距离无法区分出属于字符或框线的像素点，此时先保留直线移除区域，待后期进行处理。

7.根据权利要求6所述基于局部结构分析的直线移除方法，其特征在于所述寻找对应极值点对的方法包括：

首先统计笔画宽度、文字宽度、出现频率最多的极值点对宽度，然后沿上边缘水平方向查找，当满足依次出现负极值点和正极值点，且两点间距离应大于等于笔画宽度同时小于文字宽度时，极值点对即找到；下边缘处做相同操作。

8.根据权利要求7所述基于局部结构分析的直线移除方法，其特征在于所述统计笔画宽度是根据笔画宽度谱函数SWS来确定，该函数SWS表征了文本图像上所有可能的笔画宽度出现的频率；具体求取步骤如下：

首先给出一个可能的笔画宽度i_w，在二值化后的文本图像上遍历每个像素点，考察其i_w范围内领域中隶属于文字的像素点的个数与该领域内所有像素点个数的比值，若大于阈值0.9，则该像素点记为可能的文字像素点；

测试i_w∈(minI,maxI)之后，当越接近平均的笔画宽度时，此文档图像的SWS中属于该宽度i_w的频率值越大，因此，该文档的笔画宽度i_w根据SWS中频率值最大处确定；所述minI,maxI的数值根据可能出现的字符笔画像素宽度最大、最小值来估计。

9.根据权利要求7所述基于局部结构分析的直线移除方法，其特征在于所述统计文字宽度通过以下方法计算：

将框线所在区域中的文字垂直方向上进行列投影对文字行分割，然后计算分割后获取的字块宽度均值，即作为对文字宽度的估计。

10.根据权利要求7所述基于局部结构分析的直线移除方法，其特征在于所述统计出现频率最多的极值点对宽度的方法包括：

首先查找出所有满足{负极值点,正极值点}的一对点，然后查找其中出现频率最高的极值点对。