CN106203397B - 基于图像中表格分析技术的表格鉴别和定位方法 - Google Patents

Abstract

本发明公开基于图像中表格分析技术的表格鉴别和定位方法，包括从图像所有包围框中选取长度在包围框最大长度阈值和最小长度阈值之间且宽度在包围框最大宽度阈值和最小宽度阈值之间且面积最大包围框；图像倾斜校正；提取长度在包围框最大长度阈值和最小长度阈值之间且宽度在包围框最大宽度阈值和最小宽度阈值之间的所有外包围框；提取外包围框面积与自身外接矩形面积的比例在面积比例最大阈值和面积比例最小阈值之间外包围框；提取水平线段数目在水平线段数目的最小数目阈值和最大数目阈值之间且垂直线段数目在垂直线段数目的最小数目阈值和最大数目阈值之间的外包围框；根据寻找表格内包围框的方法对表格定位；本发明表格鉴别和定位的准确率高。

Description

基于图像中表格分析技术的表格鉴别和定位方法

技术领域

本发明涉及图像处理中表格分析技术领域，尤其涉及一种基于图像中表格分析技术的表格鉴别和定位方法。

背景技术

纸质文档是一种常见的信息表现，并且具有较高的稳定性和安全性，但是随着信息技术的发展，其难以进行信息管理和分析的缺点日益凸显。利用图像处理技术对纸质文档信息进行数字化处理已经成为必然趋势。

目前，国内外主要的文档数字化方法是将纸质文档扫描成包含各种信息的图像，根据数字图像技术提取图像信息。在图像信息提取的过程中，表格数据的提取是非常关键的一步，如果表格被误鉴别或是内部定位不准确，不仅会导致丢失表格结构信息，还会导致产生错误的OCR识别结果。

常用的表格鉴别方法是找到图像中的直线，根据直线进行倾斜校正，在倾斜校正的图像中如果水平直线和垂直直线满足表格特征，则认为是表格，但这种方法一方面容易校正不准确，另一方面，会有一些类似表格图像被误检，导致误检率较高。而且常用的表格定位是通过寻找直线信息定位表格单元格，这种方法会由于直线的中断导致定位不准确。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于图像中表格分析技术的表格鉴别和定位方法，本基于图像中表格分析技术的表格鉴别和定位方法，通过找到疑似表格区域并在内部找到满足数目的水平和垂直直线的方法鉴别外包围框是否为表格，剔除了非表格图像，鉴别表格的准确率较高，而且采用寻找表格内每个包围框的方法，表格内的每个包围框都会形成一个轮廓，根据轮廓的位置进行排序，最终定位表格，为之后的还原表格信息打下了基础，表格定位非常准确。

为实现上述技术目的，本发明采取的技术方案为：

基于图像中表格分析技术的表格鉴别和定位方法，包括以下步骤：

1）将类似表格样本扫描成图像，提取图像中所有的包围框；

（2）设定包围框的最小长度阈值、最大长度阈值、最小宽度阈值和最大宽度阈值，设定面积比例最大阈值和面积比例最小阈值；

（3）从图像的所有的包围框中选取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间且面积最大的包围框；

（4）通过由步骤（3）得到的包围框对图像进行倾斜校正；

（5）提取已倾斜校正的图像中所有的外包围框，提取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间的所有的外包围框，并将提取的每一个外包围框均标注为疑似表格区域；

（6）对步骤(5)得到的疑似表格区域的内部进行找包围框操作，提取包围框的面积与自身的外接矩形面积的比例在面积比例最大阈值和面积比例最小阈值之间的所有的包围框；

（7）设定疑似表格区域内包含的水平线段数目的最小数目阈值和最大数目阈值，设定疑似表格区域内包含的垂直线段数目的最小数目阈值和最大数目阈值，通过Hough变换检测直线的方法检测由步骤（6）得到的疑似表格区域中所有的包围框包含的水平线段数目和垂直线段数目，提取包含的水平线段数目在水平线段数目的最小数目阈值和最大数目阈值之间且包含的垂直线段数目在垂直线段数目的最小数目阈值和最大数目阈值之间的疑似表格区域并将提取的疑似表格区域标注为表格；

（8）根据依次寻找表格内每个包围框的方法对步骤（7）得到的表格进行表格定位。

作为本发明进一步改进的技术方案，所述从图像的所有的包围框中选取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间且面积最大的包围框，包括：

从图像的所有的包围框中选取面积最大的包围框，将面积最大的包围框的长度分别与包围框的最小长度阈值和最大长度阈值对比，将面积最大的包围框的宽度分别与包围框的最小宽度阈值和最大宽度阈值对比，若面积最大的包围框的长度小于包围框的最小长度阈值或者面积最大的包围框的宽度小于包围框的最小宽度阈值，则将此图像标注为非表格图像并剔除非表格图像，否则标注为待检测表格图像；

若待检测表格图像中面积最大的包围框的长度大于包围框的最大长度阈值或者面积最大的包围框的宽度大于包围框的最大宽度阈值，则选取面积次大的包围框，若面积次大的包围框的长度大于包围框的最大长度阈值或者面积次大的包围框的宽度大于包围框的最大宽度阈值，则选取面积第三大的包围框，直到选取一个符合长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间的包围框。选取的包围框属于长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间的所有包围框中面积最大的包围框。

作为本发明进一步改进的技术方案，所述通过由步骤（3）得到的包围框对图像进行倾斜校正，包括：

通过Hough变换检测直线的方法检测由步骤（3）得到的包围框中的所有的线段，计算所有的线段与水平方向的夹角并选取最小的夹角，将最小的夹角作为待检测表格图像的旋转的角度，将待检测表格图像进行旋转，则完成对待检测表格图像的倾斜矫正。

作为本发明进一步改进的技术方案，所述根据依次寻找表格内每个包围框的方法对步骤（7）得到的表格进行表格定位，包括：

从步骤（7）得到的表格的左上顶点开始，依次寻找与表格的左上顶点的高度接近的包围框并根据包围框的前后位置进行排序；

第一行的包围框排序完成后，从第一行包围框底部的最高的顶点开始，依次寻找与最高的顶点的高度接近的包围框并依次排序；

第二行的包围框排序完成后，按照寻找第二行包围框的步骤依次寻找第三行包围框并依次排序，直到寻找到表格最底部的包围框，得到包围框排序好的表格；

根据排序好的表格内的包围框的排序方向以及包围框排序方向的坐标定位到具体表格位置，完成表格定位。

本发明从图像的所有的包围框中选取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间且面积最大的包围框，如果从图像中没有选取到满足的包围框，则将此图像鉴别并标注为非表格图像并剔除非表格图像；从图像的所有的外包围框中提取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间的所有的外包围框，并将提取外包围框均标注为疑似表格区域；没有提取到的外包围框鉴别为非表格；再从提取的疑似表格区域内提取外包围框的面积与自身的外接矩形面积的比例在面积比例最大阈值和面积比例最小阈值之间的所有的包围框，从而排除了文字和噪声的干扰；提取包含的水平线段数目在水平线段数目的最小数目阈值和最大数目阈值之间且包含的垂直线段数目在垂直线段数目的最小数目阈值和最大数目阈值之间的疑似表格区域，并将提取的疑似表格区域均标注为表格，没有提取的外包围框鉴别为非表格。本发明通过上述的表格鉴别的方法依次排除非表格，最终提取属于表格的外包围框的区域，鉴别表格的准确率较高；本发明还通过寻找表格内每个包围框的方法，表格内的每个包围框都会形成一个轮廓，根据寻找每个包围框即轮廓的位置进行排序，最终定位表格，为之后的还原表格信息打下了基础，表格定位准确率较高。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面根据图1对本发明的具体实施方式作出进一步说明：

参见图1，基于图像中表格分析技术的表格鉴别和定位方法，包括以下步骤：

（1）将各种类似表格样本通过扫描仪等设备扫描成图像，提取图像中所有的包围框；

（2）设定包围框的最小长度阈值L1、最大长度阈值L2、最小宽度阈值W1和最大宽度阈值W2，设定面积比例最大阈值S1和面积比例最小阈值S2，；

（3）从图像的所有的包围框中选取长度在包围框的最大长度阈值L2和最小长度阈值L1之间且宽度在包围框的最大宽度阈值W2和最小宽度阈值W1之间且面积最大的包围框,如果图像中没有选取到满足要求的包围框，则将此图像标注为非表格图像并剔除非表格图像；

（4）通过由步骤（3）得到的包围框对图像进行倾斜校正；

（5）通过OpenCV中的findContours查找轮廓函数的方法从已倾斜校正的图像中提取所有的外包围框，将所有的外包围框的长度分别与包围框的最小长度阈值L1和最大长度阈值L2对比，将所有的外包围框的宽度分别与包围框的最大宽度阈值W2和最小宽度阈值W1对比，提取长度在包围框的最大长度阈值L2和最小长度阈值L1之间且宽度在包围框的最大宽度阈值W2和最小宽度阈值W1之间的所有的外包围框，并将提取的每一个外包围框均标注为疑似表格区域，疑似表格区域设为N个，不满足提取条件的外包围框标注为非表格并剔除非表格；

（6）对其中一个疑似表格区域的内部进行找包围框操作，计算疑似表格区域的内部每个包围框的面积与自身的外接矩形面积的比例，将每个包围框的面积与自身的外接矩形面积的比例分别和面积比例最大阈值S1与面积比例最小阈值S2对比，从疑似表格区域的内部提取包围框的面积与自身的外接矩形面积的比例在面积比例最大阈值S1和面积比例最小阈值S2间的所有的包围框，进而排除了图像中文字和噪声的干扰；

（7）设定疑似表格区域内包含的水平线段数目的最小数目阈值H1和最大数目阈值H2，设定疑似表格区域内包含的垂直线段数目的最小数目阈值H3和最大数目阈值H4，通过Hough变换检测直线的方法检测由步骤（6）得到的疑似表格区域中所有的包围框包含的水平线段数目和垂直线段数目，将步骤（6）得到的疑似表格区域中所有的包围框包含的水平线段数目分别与水平线段数目的最小数目阈值H1和最大数目阈值H2对比，将步骤（6）得到的疑似表格区域中所有的包围框包含的垂直线段数目分别与垂直线段数目的最小数目阈值H3和最大数目阈值H4对比，若疑似表格区域包含的水平线段数目在水平线段数目的最小数目阈值H1和最大数目阈值H2之间且包含的垂直线段数目在垂直线段数目的最小数目阈值H3和最大数目阈值H4之间，则将此疑似表格区域标注为表格，并执行步骤（8）；反之标注为非表格并剔除非表格，并返回执行步骤（6）。

（8）根据依次寻找表格内每个包围框的方法对步骤（7）得到的表格进行表格定位，定位后，再返回执行步骤（6），直到将图像中的N个疑似表格区域均进行步骤（6）、步骤（7）和步骤（8）操作，对图像中的所有表格完成定位。

进一步地，所述从图像的所有的包围框中选取长度在包围框的最大长度阈值L2和最小长度阈值L1之间且宽度在包围框的最大宽度阈值W2和最小宽度阈值W1之间且面积最大的包围框，包括：

计算图像的所有的包围框的面积，从图像的所有的包围框中选取面积最大的包围框，将面积最大的包围框的长度分别与包围框的最小长度阈值L1和最大长度阈值L2对比，将面积最大的包围框的宽度分别与包围框的最大宽度阈值W2和最小宽度阈值W1对比，若面积最大的包围框的长度小于包围框的最小长度阈值L1或者面积最大的包围框的宽度小于包围框的最小宽度阈值W1，则将此图像标注为非表格图像并剔除非表格图像，否则标注为待检测表格图像；

若待检测表格图像中面积最大的包围框的长度大于包围框的最大长度阈值L2或者面积最大的包围框的宽度大于包围框的最大宽度阈值W2，则选取面积次大的包围框，将面积次大的包围框的长度分别与包围框的最小长度阈值L1和最大长度阈值L2对比，将面积次大的包围框的宽度分别与包围框的最大宽度阈值W2和最小宽度阈值W1对比，如果面积次大的包围框的长度大于包围框的最大长度阈值L2或者面积次大的包围框的宽度大于包围框的最大宽度阈值W2，则选取面积第三大的包围框，按照这样依次对比的方法直到选取一个长度在包围框的最大长度阈值L2和最小长度阈值L1之间且宽度在包围框的最大宽度阈值W2和最小宽度阈值W1之间的包围框，且选取的包围框属于长度在包围框的最大长度阈值L2和最小长度阈值L1之间且宽度在包围框的最大宽度阈值W2和最小宽度阈值W1之间的所有包围框中面积最大的包围框；如果在待检测表格图像中没有选取到满足要求的包围框，则将此待检测表格图像标注为非表格图像并剔除非表格图像。

进一步地，所述通过由步骤（3）得到的包围框对图像进行倾斜校正，包括：

通过Hough变换检测直线的方法检测由步骤（3）得到的包围框中的所有的线段，以包围框的左上顶点为原点，以包围框的水平向右方向为X轴正方向，以包围框的垂直向下方向为Y轴正方向，计算所有线段与X轴正方向的夹角（0-180度），若夹角大于90度，则用180减去该角度，选取最小的夹角，将最小的夹角作为待检测表格图像旋转的角度，若该夹角线段与X轴正方向的夹角大于90度，采用逆时针旋转，否则采用顺时针旋转，最终完成对待检测表格图像的倾斜矫正。

进一步地，所述根据依次寻找表格内每个包围框的方法对步骤（7）得到的表格进行表格定位，包括：

从步骤（7）得到的表格的左上顶点开始，采用扫描的方法从左到右依次寻找与表格的左上顶点的高度接近的包围框并对包围框从左到右依次排序；第一行的包围框排序完成后，从第一行包围框底部的最高的顶点开始，依次寻找与最高的顶点的高度接近的包围框并根据包围框的前后位置对包围框依次排序；第二行的包围框排序完成后，按照寻找第二行包围框的步骤依次寻找第三行包围框并根据包围框的前后位置对包围框依次排序，直到寻找到表格最底部的包围框，此时表格内的每个包围框已排序完成；

根据排序好的表格内的包围框的排序方向以及包围框排序方向的坐标定位到具体表格位置，完成表格定位。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (4)

1.基于图像中表格分析技术的表格鉴别和定位方法，其特征在于,包括以下步骤：

（1）将类似表格样本扫描成图像，提取图像中所有的包围框；

（2）设定包围框的最小长度阈值、最大长度阈值、最小宽度阈值和最大宽度阈值，设定面积比例最大阈值和面积比例最小阈值；

（3）从图像的所有的包围框中选取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间且面积最大的包围框；

（4）通过由步骤（3）得到的包围框对图像进行倾斜校正；

（5）提取已倾斜校正的图像中所有的外包围框，提取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间的所有的外包围框，并将提取的每一个外包围框均标注为疑似表格区域；

（6）对步骤(5)得到的疑似表格区域的内部进行找包围框操作，提取包围框的面积与自身的外接矩形面积的比例在面积比例最大阈值和面积比例最小阈值之间的所有的包围框；

（7）设定疑似表格区域内包含的水平线段数目的最小数目阈值和最大数目阈值，设定疑似表格区域内包含的垂直线段数目的最小数目阈值和最大数目阈值，通过霍夫变换检测直线的方法检测由步骤（6）得到的疑似表格区域中所有的包围框包含的水平线段数目和垂直线段数目，提取包含的水平线段数目在水平线段数目的最小数目阈值和最大数目阈值之间且包含的垂直线段数目在垂直线段数目的最小数目阈值和最大数目阈值之间的疑似表格区域并将提取的疑似表格区域标注为表格；

（8）根据依次寻找表格内每个包围框的方法对步骤（7）得到的表格进行表格定位。

2.根据权利要求1所述的基于图像中表格分析技术的表格鉴别和定位方法，其特征在于：所述从图像的所有的包围框中选取长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间且面积最大的包围框，包括：

从图像的所有的包围框中选取面积最大的包围框，将面积最大的包围框的长度分别与包围框的最小长度阈值和最大长度阈值对比，将面积最大的包围框的宽度分别与包围框的最小宽度阈值和最大宽度阈值对比，若面积最大的包围框的长度小于包围框的最小长度阈值或者面积最大的包围框的宽度小于包围框的最小宽度阈值，则将此图像标注为非表格图像并剔除非表格图像，否则标注为待检测表格图像；

若待检测表格图像中面积最大的包围框的长度大于包围框的最大长度阈值或者面积最大的包围框的宽度大于包围框的最大宽度阈值，则选取面积次大的包围框，若面积次大的包围框的长度大于包围框的最大长度阈值或者面积次大的包围框的宽度大于包围框的最大宽度阈值，则选取面积第三大的包围框，直到选取一个符合长度在包围框的最大长度阈值和最小长度阈值之间且宽度在包围框的最大宽度阈值和最小宽度阈值之间的包围框。

3.根据权利要求2所述的基于图像中表格分析技术的表格鉴别和定位方法，其特征在于：所述通过由步骤（3）得到的包围框对图像进行倾斜校正，包括：

通过霍夫变换检测直线的方法检测由步骤（3）得到的包围框中的所有的线段，计算所有的线段与水平方向的夹角并选取最小的夹角，将最小的夹角作为待检测表格图像的旋转的角度，将待检测表格图像进行旋转，则完成对待检测表格图像的倾斜矫正。

4.根据权利要求1所述的基于图像中表格分析技术的表格鉴别和定位方法，其特征在于：所述根据依次寻找表格内每个包围框的方法对步骤（7）得到的表格进行表格定位，包括：

从步骤（7）得到的表格的左上顶点开始，依次寻找与表格的左上顶点的高度接近的包围框并根据包围框的前后位置进行排序；

第一行的包围框排序完成后，从第一行包围框底部的最高的顶点开始，依次寻找与最高的顶点的高度接近的包围框并依次排序；

第二行的包围框排序完成后，按照寻找第二行包围框的步骤依次寻找第三行包围框并依次排序，直到寻找到表格最底部的包围框，得到包围框排序好的表格；

根据排序好的表格内的包围框的排序方向以及包围框排序方向的坐标定位到具体表格位置，完成表格定位。