CN103258201A - 一种融合全局和局部信息的表格线提取方法 - Google Patents

Abstract

一种融合全局和局部信息的表格线提取方法，结合了图像中的局部信息与全局信息。首先对灰度图像进行平滑去噪，其次进行基于交叠窗口的图像二值化；随后提取出前景区域中的局部轮廓，利用局部轮廓信息检测出图像中的直线段；之后使用投影直方图法建立网格，获得表格在图像上的全局分布信息，确定出表格的大致位置；最后，在网格范围内对直线段进行连接，从而提取出整个表格线。根据实验结果统计，按照本发明的方法提取图像中表格线的误检率小于5%，漏检率小于3%。

Description

一种融合全局和局部信息的表格线提取方法

技术领域

本发明涉及图像处理、计算机视觉技术领域，特别是从表格图像中准确提取表格线的方法。

背景技术

表格作为一种信息表达形式在各个领域都得到了广泛的应用，人们在日常工作、学习和生活中经常需要处理各式各样的表格。目前大多数表格还是以纸质文档为载体，随着信息技术的发展，利用计算机对文档资料进行处理和存储是必然趋势，这就需要将大量纸质表格数据输入至计算机，将信息转换成计算机可以处理的数字信息。传统的手工录入方式存在很多明显的缺陷，如人力成本高、速度慢、易出错等。通过计算机图像处理技术对表格图像进行自动识别和录入，将极大提高表格处理的工作效率。

通过拍摄或扫描包含表格数据的图像，利用数字图像处理技术进行识别，是国内外对文档图像处理的主要研究方向。对图像中表格线的提取，是表格图像识别中最关键的步骤之一，这其中涉及到图像的直线检测和表格单元格提取。直线检测是图像处理中的基本问题之一，是许多图像理解过程中重要的预处理步骤。目前直线检测的方法主要有连通链法，Hough变换法等。连通链法在搜索过程中一般只考虑局部特征，缺乏全局分析，容易出现漏检，而Hough变换法是一种全局检测方法，能够检测虚线和断裂的直线，具有较强的容错性和鲁棒性，但其计算量太大，会占用大量存储空间，实时性较差。这些方法具有一定的通用性，但是在实际应用过程中往往难以达到理想的效果。针对表格单元提取问题，通常方法是在直线检测的基础上识别图像中的矩形线框，但由于图像中表格线可能会出现断裂的情况，并且在表格中填写的字符也可能会与表格线相交，因此这种方法要准确地提取出单元格往往比较困难。一些方法将表格逻辑结构等先验知识加入到单元格提取过程中，根据单元格间的位置关系对漏检的单元格进行恢复，或是删除误检的单元格。这种方法依赖于先验信息，普遍适用性不强。

发明内容

本发明的目的是提供一种有效的文档图像中表格线提取方法，为表格中字符的提取和OCR识别提供基础。

本发明采用了一种融合全局和局部信息的表格线提取方法来实现，具体包括以下步骤：

步骤一：采集表格图像,得到初始灰度图像；

步骤二：对初始灰度图像进行高斯平滑去噪，得到灰度图像；

步骤三：在灰度图像上设置一个以上矩形窗口，采用最大类间方差方法（冈萨雷斯：《数字图像处理》，电子工业出版社，2007）对上述所有矩形窗口覆盖的局部灰度图像进行二值化处理，得到每个局部灰度图像的二值化结果；融合所有局部灰度图像的二值化结果得到所述灰度图像的二值图像；

步骤四：从二值图像中提取前景区域，使用连通体分析法（冈萨雷斯：《数字图像处理》，电子工业出版社，2007）获得一个以上的连通的前景区域，从每一个连通的前景区域提取前景轮廓；

步骤五：选取一个前景轮廓，搜索前景轮廓中包含的直线段部分；分别处理所有的前景轮廓，得到直线段；

步骤六：将上述直线段按长度从大到小排序，选择前几个直线段，计算每个直线段相对于水平方向的倾斜角度；对倾斜角度排序后取中值作为二值图像的倾斜角度，对二值图像进行倾斜校正，使其处于水平状态；

步骤七：从倾斜校正后的二值图像中重新提取前景区域，在水平和垂直方向上分别统计前景区域像素行和列中的像素个数，建立这两个方向上的投影直方图；采用Mean-Shift算法（张学工，边肇祺：《模式识别》，清华大学出版社,2010）定位出投影直方图中的每一个波峰，然后在波峰位置处引出网格线，建立图像网格；

步骤八：去除与网格线配准度低的直线段，计算剩下的不同直线段端点之间在网格线上的流形距离；如果距离小于设定的阈值，则沿着网格线的方向进行连接，提取出表格的单元格，将所有单元格对齐后得到最终的表格线。

其中，

步骤三中设置一个以上矩形窗口方法是：在水平和垂直方向均设置一个以上矩形窗口，矩形窗口大小相等；在水平方向上相邻的两个矩形窗口处于同一水平位置且存在交叠区域，交叠区域占矩形窗口面积的50%；在垂直方向上相邻的两个矩形窗口处于同一垂直位置且存在交叠区域，交叠区域占矩形窗口面积的50%；所述灰度图像的每个像素点被至少一个矩形窗口覆盖。

步骤三中二值化处理的方法是：计算所述局部灰度图像的分割阈值，依据其分割阈值，对局部灰度图像进行二值化，得到局部灰度图像的二值化结果。

步骤三中融合所有局部灰度图像的二值化结果得到所述灰度图像的二值图像的方法是：选取所述灰度图像的一个像素点，统计覆盖它的每一个矩形窗口的二值化结果，利用投票的方式选取占多数的那个结果作为所述灰度图像的二值图像在该点的取值；对所述灰度图像的每一个像素点重复上述步骤，得到所述灰度图像的二值图像。

步骤四中提取前景轮廓的方法是：选取一个前景连通区域，先通过行扫描确定轮廓的起始点，然后采用链码跟踪方法（冈萨雷斯：《数字图像处理》，电子工业出版社，2007）依次搜索下一个轮廓点，直到回到起始点，得到单像素宽度的、封闭的前景轮廓，并用链码序列来存储所述前景轮廓。

步骤五中搜索前景轮廓中包含的直线段部分的方法是：

（1）将所述前景轮廓划分为多个首尾相连的曲线段；

（2）任意选取一个曲线段作为起始位置，根据该曲线段上所有点的图像坐标（x，y），计算该曲线段的中心矩，根据中心距将曲线拟合为一个椭圆，椭圆长轴和短轴的长度比例为LSR；若LSR<0.1，则认为该曲线段为一直线段，将线段标记为TSL；

（3）若上面的曲线段不是直线段，则直接进入步骤（4），否则将上面的曲线段与相邻的下一个曲线段合并为一个较长的曲线段，然后再根据步骤（2）进行判断；

（4）若步骤（2）中的判别结果不是直线段，则将该曲线段中标记为TSL的部分输出，进入到下一个曲线段重新开始搜索；

（5）执行以上步骤直到回到起始位置为止。

步骤八中去除与图像网格配准度低的直线段方法是：选取一个直线段，计算该直线段上每个点到网格线的水平或垂直距离，进而计算整个直线段与网格线的配准度，将配准度低的直线段去除。

本发明结合了图像中的局部信息与全局信息来提取图像表格线。首先提取出前景区域中的局部轮廓，利用局部轮廓信息检测出图像中的直线段；然后使用投影直方图法建立网格，获得表格在图像上的全局分布信息，确定出表格的大致位置；最后，在网格范围内对直线段进行连接，从而提取出整个表格线。在预处理部分，设计了一种基于图像窗口的二值化处理方法，减小了局部二值化中的分块效应。

本发明的有益效果是：

1、本发明综合考虑了图像局部和全局信息，通过信息互补，提高检测的稳定性和准确性。

2、由于是在局部窗口中执行二值化，因此能够克服光照不均造成的影响，同时利用交叠窗口解决了局部二值化中普遍存在的分块效应。

3、本发明不需要预先提供表格的逻辑结构信息，因此不依赖于特定的先验知识，具有较好的普遍适用性。

4、本发明局部窗口二值化和直线段检测步骤都是对图像分而治之，因此这些步骤在处理上能够满足并行系统处理的要求，进一步提高执行速度。根据实验结果统计，按照本发明的方法提取图像中表格线的误检率小于5%，漏检率小于3%。

附图说明

图1是本发明系统框图。

图2是在图像中设置局部窗口的示意图。

图3是对表格文档样本图像的二值化处理结果图。

图4是对前景轮廓进行分段的示意图。

图5是本发明方法对样本图像进行投影处理后得到的两个方向上的投影直方图。

图6是本发明方法根据投影直方图建立的图像网格。

图7是本发明方法对样本图像处理后的最终结果图。

具体实施方式

下面结合附图具体描述本发明的实施方式。

参照图1，在图像中提取表格线的具体实施步骤如下：

步骤一：输入包含有表格的图像，将其转化成256级的灰度图像。

步骤二：利用高斯核函数对图像进行平滑处理，去除图像中的部分噪声点。

步骤三：为了克服光照不均造成的单一阈值分割效果不好的问题，对图像的不同局部区域采用不同的分割阈值。建立局部图像窗口，对每个窗口中的图像分别进行阈值分割，获得二值化的窗口图像。通过融合所有的二值窗口图像得到最终的整个二值图像。具体实现步骤如下所述：

（1）设置窗口的形状、尺寸以及窗口排布方式。窗口的几何形状设为矩形，为了处理上的方便可将每个窗口的长宽置为相等，并且所有窗口的尺寸均相等。根据图像的光照分布情况设置窗口尺寸，如果光照分布均匀，则将窗口尺寸设置为较大，否则较小。窗口位置的排布方式为：在水平方向上，相邻的两个窗口处于同一水平位置，两个窗口存在交叠区域，并且交叠区域占窗口面积的50%。垂直方向上的窗口排布方式与水平方向上的一致。如图2所示，共设置有4个窗口W1，W2，W3，W4。其中W1包含r1、r2、r4和r5，W2包含r2、r3、r5和r6，w1与W2在水平方向上相邻，它们的交叠区域为r2和r5。W3包含r4、r5、r7和r8，与W1在垂直方向上相邻，它们的交叠区域为r4和r5。

（2）将每个窗口中的图像进行二值化。利用阈值分割方法实现图像的二值化，采用最大类间方差方法自适应地计算出窗口图像的分割阈值，根据阈值将窗口图像分割为前景和背景两个部分。由于每个窗口图像的二值化是相互独立进行的，因此本步骤可以并行执行。

（3）对所有窗口的二值化结果进行融合，融合时采用投票的方式，具体为：若像素点P同时属于窗口W1，W2，…,Wn，这些窗口中点P所对应的二值化结果分别为B1，B2，…,Bn，其中为前景的数量是f，为背景的数量是n-f，若f≥n-f则认为点P为前景像素，否则为背景像素。如图3所示融合后的效果图，可以看出，图像中没有明显的分块效应。

步骤四：从二值图像中提取出前景区域，利用连通体分析方法获得连通的前景区域。针对每个连通的前景区域，采用链码跟踪的方法提取前景轮廓，即从水平方向上行扫描得到轮廓的起始点，从起始点开始，在该点的八邻接点中搜索轮廓的下一个像素点，依次类推，直到回到起始点，获得单像素宽度的封闭轮廓，利用链码序列的形式保存轮廓。

步骤五：分别处理每个轮廓，从轮廓中搜索出包括的直线段部分。如图4所示，将轮廓划分为多个首尾相连的曲线段c1、c2、……c8，根据这些曲线段的统计矩特征搜索轮廓上的直线.具体处理步骤如下：

（1）任意选取一个曲线段作为起始位置，根据该曲线段上所有点的图像坐标（x，y），计算该曲线段的中心矩，根据中心距将曲线拟合为一个椭圆，椭圆长轴和短轴的长度比例为LSR，若LSR<0.1，则认为该曲线段为一直线段，将线段标记为TSL；

（2）若上面的曲线段不是直线段，则直接进入步骤（3），否则将上面的曲线段与相邻的下一个曲线段合并为一个较长的曲线段，然后再根据步骤（1）进行判断；

（3）若步骤（1）中的判别结果不是直线段，则将该曲线段中标记为TSL的部分输出，进入到下一个曲线段重新开始搜索；

（4）执行以上步骤直到回到起始位置为止。

本步骤中，对每个轮廓的处理是相互独立进行的，因此可以并行执行。

步骤六：从检测得到的直线段中选择多个最长的直线段，利用中心矩特征计算出每个直线段相对于水平方向的倾斜角度；对倾斜角度进行排序，取中间值作为图像的倾斜角度，根据这个角度对图像进行旋转变换，使图像中的表格处于水平状态。

步骤七：如图5、图6所示，在水平和垂直方向上分别统计前景区域像素行和列中的像素个数，建立两个方向上的投影直方图；采用Mean-Shift算法定位出直方图中的每一个波峰，然后在波峰位置处引出直线，建立图像网格。

步骤八：首先将不属于表格线的直线段去除，去除方法是计算直线段上每个点到网格线的水平或垂直距离，进而计算整个直线段与网格线的配准度，将配准度较低的直线段去除；然后计算不同直线段端点之间在网格上的流形距离，如果距离小于设定的阈值，则沿着网格线的方向进行连接，从而提取出表格的单元格，将所有单元格对齐后得到最终的图像表格，如图7所示。

Claims (5)

1.一种融合全局和局部信息的表格线提取方法，其特征是，包括以下步骤：

步骤一：输入表格图像,得到初始灰度图像；

步骤二：对初始灰度图像进行高斯平滑去噪，得到灰度图像；

步骤三：在灰度图像上设置一个以上矩形窗口，采用最大类间方差方法对上述所有矩形窗口覆盖的局部灰度图像进行二值化处理，得到每个局部灰度图像的二值化结果；融合所有局部灰度图像的二值化结果得到所述灰度图像的二值图像；

步骤四：从二值图像中提取前景区域，使用连通体分析法获得一个以上的连通的前景区域，从每一个连通的前景区域提取前景轮廓；

步骤五：选取一个前景轮廓，搜索前景轮廓中包含的直线段部分；分别处理所有的前景轮廓，得到直线段；

步骤六：将上述直线段按长度从大到小排序，选择前几个直线段，计算每个直线段相对于水平方向的倾斜角度；对倾斜角度排序后取中值作为二值图像的倾斜角度，对二值图像进行倾斜校正，使其处于水平状态；

步骤七：从倾斜校正后的二值图像中重新提取前景区域，在水平和垂直方向上分别统计前景区域像素行和列中的像素个数，建立这两个方向上的投影直方图；采用Mean-Shift算法定位出投影直方图中的每一个波峰，然后在波峰位置处引出网格线，建立图像网格；

步骤八：去除与网格线配准度低的直线段，计算剩下的不同直线段端点之间在网格线上的流形距离；如果距离小于设定的阈值，则沿着网格线的方向进行连接，提取出表格的单元格，将所有单元格对齐后得到最终的表格线。

2.根据权利要求1所述的一种融合全局和局部信息的表格线提取方法，其特征在于，

所述步骤三中设置一个以上矩形窗口方法是：在水平和垂直方向均设置一个以上矩形窗口，矩形窗口大小相等；在水平方向上相邻的两个矩形窗口处于同一水平位置且存在交叠区域，交叠区域占矩形窗口面积的50%；在垂直方向上相邻的两个矩形窗口处于同一垂直位置且存在交叠区域，交叠区域占矩形窗口面积的50%；所述灰度图像的每个像素点被至少一个矩形窗口覆盖；

所述步骤三中二值化处理的方法是：计算所述局部灰度图像的分割阈值，依据其分割阈值，对局部灰度图像进行二值化，得到局部灰度图像的二值化结果；

所述步骤三中融合所有局部灰度图像的二值化结果得到所述灰度图像的二值图像的方法是：选取所述灰度图像的一个像素点，统计覆盖它的每一个矩形窗口的二值化结果，利用投票的方式选取占多数的那个结果作为所述灰度图像的二值图像在该点的取值；对所述灰度图像的每一个像素点重复上述步骤，得到所述灰度图像的二值图像。

3.根据权利要求1所述的一种融合全局和局部信息的表格线提取方法，其特征在于，所述步骤四中提取前景轮廓的方法是：选取一个前景连通区域，先通过行扫描确定轮廓的起始点，然后采用链码跟踪方法依次搜索下一个轮廓点，直到回到起始点，得到单像素宽度的、封闭的前景轮廓，并用链码序列来存储所述前景轮廓。

4.根据权利要求1所述的一种融合全局和局部信息的表格线提取方法，其特征在于，所述步骤五中搜索前景轮廓中包含的直线段部分的方法是：

（1）将所述前景轮廓划分为多个首尾相连的曲线段；

（2）任意选取一个曲线段作为起始位置，根据该曲线段上所有点的图像坐标（x，y），计算该曲线段的中心矩，根据中心距将曲线拟合为一个椭圆，椭圆长轴和短轴的长度比例为LSR；若LSR<0.1，则认为该曲线段为一直线段，将线段标记为TSL；

（3）若上面的曲线段不是直线段，则直接进入步骤（4），否则将上面的曲线段与相邻的下一个曲线段合并为一个较长的曲线段，然后再根据步骤（2）进行判断；

（4）若步骤（2）中的判别结果不是直线段，则将该曲线段中标记为TSL的部分输出，进入到下一个曲线段重新开始搜索；

（5）执行以上步骤直到回到起始位置为止。

5.根据权利要求1所述的一种融合全局和局部信息的表格线提取方法，其特征在于，所述步骤八中去除与图像网格配准度低的直线段方法是：选取一个直线段，计算该直线段上每个点到网格线的水平或垂直距离，进而计算整个直线段与网格线的配准度，将配准度低的直线段去除。

Images