CN110610163A - 一种自然场景下基于椭圆拟合的表格提取方法及工具 - Google Patents

Abstract

本发明公开一种自然场景下基于椭圆拟合的表格提取方法，涉及表格提取技术领域，采用技术方案通过对自适应二值化处理后的图像使用OpenCV的findContours函数完成表格边框的提取，并进一步对提取边框进行椭圆拟合和膨胀，求得四个角点后计算投影矩阵并进行单应性变换，得到矫正后的矩形表格，该矫正后表格即为从图像中提取的表格。本方法通过对大量点的拟合，来弱化小范围的遮挡和异常文字、图章等对边框连续性和规整度的干扰。本发明还提供一种自然场景下基于椭圆拟合的表格提取工具，其利用四边形边框的四个角点和椭圆交点完成从图像中提取表格的操作，可以避免边缘不连续造成的误差，有助于表格提取后的矫正和切割。

Description

一种自然场景下基于椭圆拟合的表格提取方法及工具

技术领域

本发明涉及表格提取技术领域，具体的说是一种自然场景下基于椭圆拟合的表格提取方法及工具。

背景技术

现在常用的表格检测与提取技术常常与高拍仪所绑定，得益于其底座深色的背景，表格的提取与检测速度较快且结果比较鲁棒。但使用设备进行表格提取有一定的现实场景的限制，即人们不能脱离设备进行表格检测和提取，而设备的价格昂贵且携带困难。

自然场景下的表格提取可以用于更广泛的场景，如财务系统的发票信息录入，报表信息提取等。这些应用场景的数据来源通常只有照片和扫描图像，因此没法保证背景与目标表格具有明显的区分度。

现今，除了使用高拍仪进行标准的图像拍摄和提取外，当前自然场景下的表格提取多数基于边缘检测和直线检测。由于自然场景下光线明暗变化比较常见，边缘被遮挡的情况也时有发生，因此边缘检测可能无法将边框准确的识别和标记出来。另外，由于常用的直线检测方法(如霍夫直线检测)的不确定性，经常需要在大量的候选直线中进行复杂的后处理和过滤保留表格的外边框，计算复杂且效果不稳定。

发明内容

本发明针对自然场景下现有表格提取存在的缺陷，提供一种自然场景下基于椭圆拟合的表格提取方法及工具，以处理最小生成矩形方法无法处理的透视变换的四边形，解决边缘检测方法无法处理的边框不连续的问题，解决直线检测需要复杂后处理且效果不稳定的问题。

椭圆拟合是通过定义标准椭圆方程并提供待拟合的点集(至少六个)，通过最小二乘法优化每个点到椭圆的距离之和，使其最小。通过实际实验表明，对于一个常见的四边形，将其所有边框像素作为点集进行椭圆拟合，绝大多数四边形的角点会与拟合出的椭圆存在交点。而对于一个无明显畸变的四边形，有了四个角点信息就可以定义出这个四边形。同时，通过四个点的坐标和标准模板上对应点的坐标可以进行单应性变换，将不规则四边形规范为一个标准矩形，从而有利于后续表格切割、文字提取和文字识别等一系列步骤。

首先，本发明提供一种自然场景下基于椭圆拟合的表格提取方法，解决上述技术问题采用的技术方案如下：

一种自然场景下基于椭圆拟合的表格提取方法，该表格提取方法的实现过程包括：

S10：获取一张含有目标表格的图像；

S20：对获取图像进行自适应二值化；

S30：使用OpenCV的findContours函数提取图像中的表格边框；

S40：对提取的表格边框进行椭圆拟合，随后进行椭圆边框的膨胀，得到四个交点坐标；

S50：通过定义矫正模板所在的坐标，计算投影矩阵并进行单应性变换，得到矫正后的矩形表格，该矩形表格即为最终提取的表格。

在步骤S10中，所述含有目标表格的图像是无明显畸变的照片或者平面扫描的图像；

所述照片或所述图像上包含的目标表格发生倾斜或透视变换。

在步骤S20中，对获取图像进行自适应二值化的具体操作为：

设置参数，区分获取图像中的背景区域与边框文字区域。

在步骤S30中，提取图像中的表格边框后，进行图像形态学操作中的膨胀，加粗表格边框，增加得到四个交点坐标的概率。

在步骤S40中，对提取的表格边框进行椭圆拟合时，

a)椭圆边的左边与膨胀后边框的交点不足四个，此时，继续对没有交点的象限进一步膨胀，直到求得四个交点；

b)椭圆边的左边与膨胀后边框的交点大于四个，此时，可以设定规则或者直接使用聚类，得到四个聚类中心作为四边形的角点，四边形的角点即为求得的四个交点。

其次，本发明提供一种自然场景下基于椭圆拟合的表格提取工具，解决上述技术问题采用的技术方案如下：

一种自然场景下基于椭圆拟合的表格提取工具，该表格提取工具包括：

获取模块，用于获取一张含有目标表格的图像；

二值处理模块，用于对获取图像进行自适应二值化；

提取模块，用于使用OpenCV的findContours函数提取图像中的表格边框；

椭圆拟合模块，用于对提取的表格边框进行椭圆拟合，并对进行椭圆边框进行膨胀，得到四个交点坐标；

计算矫正模块，用于通过定义矫正模板所在的坐标，计算投影矩阵并进行单应性变换，进而矫正矩形表格，矫正后的矩形表格即为最终提取的表格。

可选的，所涉及获取模块获取的含有目标表格的图像是无明显畸变的照片或者平面扫描的图像；

所涉及照片或所述图像上包含的目标表格发生倾斜或透视变换。

可选的，所涉及二值处理模块对获取图像进行自适应二值化时，

需要通过二值处理模块自定义设置参数，以区分获取图像中的背景区域与边框文字区域。

可选的，所涉及表格提取工具还包括：

膨胀处理模块，用于对提取模块提取的表格边框进行图像形态学操作中的膨胀，并进一步加粗表格边框，以增加得到四个交点坐标的概率。

可选的，所涉及椭圆拟合模块对提取的表格边框进行椭圆拟合时，

a)如果椭圆边的左边与膨胀后边框的交点不足四个，此时，继续对没有交点的象限进一步膨胀，直到求得四个交点；

b)如果椭圆边的左边与膨胀后边框的交点大于四个，此时，可以设定规则或者直接使用聚类，得到四个聚类中心作为四边形的角点，四边形的角点即为求得的四个交点。

本发明的一种自然场景下基于椭圆拟合的表格提取方法及工具，与现有技术相比具有的有益效果是：

1)本发明的方法通过对自适应二值化处理后的图像使用OpenCV的findContours函数完成表格边框的提取，并进一步对提取边框进行椭圆拟合和膨胀，求得四个角点后计算投影矩阵并进行单应性变换，得到矫正后的矩形表格，该矫正后表格即为从图像中提取的表格；该方法通过对大量点的拟合，来弱化小范围的遮挡和异常文字、图章等对边框连续性和规整度的干扰，解决了现有边缘检测方法无法处理的边框不连续的问题，解决了现有直线检测需要复杂后处理且效果不稳定的问题；

2)本发明的工具通过获取模块、二值处理模块、提取模块、椭圆拟合模块、膨胀处理模块、计算矫正模块利用了四边形边框的四个角点和椭圆交点完成了从图像中提取表格的操作，其与所述表格提取方法相同，可以避免边缘不连续造成的误差，有助于表格提取后的矫正和切割，解决现有边缘检测方法无法处理的边框不连续的问题和现有直线检测需要复杂后处理且效果不稳定的问题。

附图说明

附图1是本发明实施例一的方法流程图；

附图2是本发明实施例二的连接框图。

附图中各标号信息表示：

1、获取模块，2、二值处理模块，3、提取模块，4、椭圆拟合模块，

5、计算矫正模块，6、膨胀处理模块。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。

实施例一：

结合附图1，本实施例提出一种自然场景下基于椭圆拟合的表格提取方法，该表格提取方法的实现过程包括：

S10：获取一张含有目标表格的图像；

S20：对获取图像进行自适应二值化；

S30：使用OpenCV的findContours函数提取图像中的表格边框；

S40：对提取的表格边框进行椭圆拟合，随后进行椭圆边框的膨胀，得到四个交点坐标；

S50：通过定义矫正模板所在的坐标，计算投影矩阵并进行单应性变换，得到矫正后的矩形表格，该矩形表格即为最终提取的表格。

在步骤S10中，所述含有目标表格的图像是无明显畸变的照片或者平面扫描的图像；

所述照片或所述图像上包含的目标表格发生倾斜或透视变换。

在步骤S20中，对获取图像进行自适应二值化的具体操作为：

设置参数，区分获取图像中的背景区域与边框文字区域。

在步骤S30中，提取图像中的表格边框后，进行图像形态学操作中的膨胀，加粗表格边框，增加得到四个交点坐标的概率。

在步骤S40中，对提取的表格边框进行椭圆拟合时，

a)椭圆边的左边与膨胀后边框的交点不足四个，此时，继续对没有交点的象限进一步膨胀，直到求得四个交点；

b)椭圆边的左边与膨胀后边框的交点大于四个，此时，可以设定规则或者直接使用聚类，得到四个聚类中心作为四边形的角点，四边形的角点即为求得的四个交点。

本实施例的表格提取方法通过对大量点的拟合，来弱化小范围的遮挡和异常文字、图章等对边框连续性和规整度的干扰，解决了现有边缘检测方法无法处理的边框不连续的问题，解决了现有直线检测需要复杂后处理且效果不稳定的问题。

实施例二：

结合附图2，本实施例提出一种自然场景下基于椭圆拟合的表格提取工具，该表格提取工具包括：

获取模块1，用于获取一张含有目标表格的图像；

二值处理模块2，用于对获取图像进行自适应二值化；

提取模块3，用于使用OpenCV的findContours函数提取图像中的表格边框；

椭圆拟合模块4，用于对提取的表格边框进行椭圆拟合，并对椭圆边框进行膨胀，得到四个交点坐标；

计算矫正模块5，用于通过定义矫正模板所在的坐标，计算投影矩阵并进行单应性变换，进而矫正矩形表格，矫正后的矩形表格即为最终提取的表格。

在本实施例中，所涉及获取模块1获取的含有目标表格的图像是无明显畸变的照片或者平面扫描的图像；

所涉及照片或所述图像上包含的目标表格发生倾斜或透视变换。

在本实施例中，所涉及二值处理模块2对获取图像进行自适应二值化时，

需要通过二值处理模块2自定义设置参数，以区分获取图像中的背景区域与边框文字区域。

在本实施例中，所涉及表格提取工具还包括：

膨胀处理模块6，用于对提取模块3提取的表格边框进行图像形态学操作中的膨胀，并进一步加粗表格边框，以增加得到四个交点坐标的概率。

可选的，所涉及椭圆拟合模块4对提取的表格边框进行椭圆拟合时，

a)如果椭圆边的左边与膨胀后边框的交点不足四个，此时，继续对没有交点的象限进一步膨胀，直到求得四个交点；

b)如果椭圆边的左边与膨胀后边框的交点大于四个，此时，可以设定规则或者直接使用聚类，得到四个聚类中心作为四边形的角点，四边形的角点即为求得的四个交点。

本实施例的表格提取工具利用四边形边框的四个角点和椭圆交点完成了从图像中提取表格的操作，可以避免边缘不连续造成的误差，有助于表格提取后的矫正和切割，解决现有边缘检测方法无法处理的边框不连续的问题和现有直线检测需要复杂后处理且效果不稳定的问题。

综上可知，采用本发明的一种自然场景下基于椭圆拟合的表格提取方法及工具，可以避免边缘不连续造成的误差，解决现有边缘检测方法无法处理的边框不连续的问题和现有直线检测需要复杂后处理且效果不稳定的问题。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种自然场景下基于椭圆拟合的表格提取方法，其特征在于,所述表格提取方法的实现过程包括：

S10：获取一张含有目标表格的图像；

S20：对获取图像进行自适应二值化；

S30：使用OpenCV的findContours函数提取图像中的表格边框；

S40：对提取的表格边框进行椭圆拟合，随后进行椭圆边框的膨胀，得到四个交点坐标；

S50：通过定义矫正模板所在的坐标，计算投影矩阵并进行单应性变换，得到矫正后的矩形表格，该矩形表格即为最终提取的表格。

2.根据权利要求1所述的一种自然场景下基于椭圆拟合的表格提取方法，其特征在于，在步骤S10中，所述含有目标表格的图像是无明显畸变的照片或者平面扫描的图像；

所述照片或所述图像上包含的目标表格发生倾斜或透视变换。

3.根据权利要求2所述的一种自然场景下基于椭圆拟合的表格提取方法，其特征在于，在步骤S20中，对获取图像进行自适应二值化的具体操作为：

设置参数，区分获取图像中的背景区域与边框文字区域。

4.根据权利要求3所述的一种自然场景下基于椭圆拟合的表格提取方法，其特征在于，在步骤S30中，提取图像中的表格边框后，进行图像形态学操作中的膨胀，加粗表格边框，增加得到四个交点坐标的概率。

5.根据权利要求4所述的一种自然场景下基于椭圆拟合的表格提取方法，其特征在于，在步骤S40中，对提取的表格边框进行椭圆拟合时，

a)椭圆边的左边与膨胀后边框的交点不足四个，此时，继续对没有交点的象限进一步膨胀，直到求得四个交点；

b)椭圆边的左边与膨胀后边框的交点大于四个，此时，可以设定规则或者直接使用聚类，得到四个聚类中心作为四边形的角点，四边形的角点即为求得的四个交点。

6.一种自然场景下基于椭圆拟合的表格提取工具，其特征在于,所述表格提取工具包括：

获取模块，用于获取一张含有目标表格的图像；

二值处理模块，用于对获取图像进行自适应二值化；

提取模块，用于使用OpenCV的findContours函数提取图像中的表格边框；

椭圆拟合模块，用于对提取的表格边框进行椭圆拟合，并对椭圆边框进行膨胀，得到四个交点坐标；

计算矫正模块，用于通过定义矫正模板所在的坐标，计算投影矩阵并进行单应性变换，进而矫正矩形表格，矫正后的矩形表格即为最终提取的表格。

7.根据权利要求6所述的一种自然场景下基于椭圆拟合的表格提取工具，其特征在于，所述获取模块获取的含有目标表格的图像是无明显畸变的照片或者平面扫描的图像；

所述照片或所述图像上包含的目标表格发生倾斜或透视变换。

8.根据权利要求7所述的一种自然场景下基于椭圆拟合的表格提取工具，其特征在于，所述二值处理模块对获取图像进行自适应二值化时，

需要通过二值处理模块自定义设置参数，以区分获取图像中的背景区域与边框文字区域。

9.根据权利要求8所述的一种自然场景下基于椭圆拟合的表格提取工具，其特征在于，所述表格提取工具还包括：

膨胀处理模块，用于对提取模块提取的表格边框进行图像形态学操作中的膨胀，并进一步加粗表格边框，以增加得到四个交点坐标的概率。

10.根据权利要求9所述的一种自然场景下基于椭圆拟合的表格提取工具，其特征在于，所述椭圆拟合模块对提取的表格边框进行椭圆拟合时，

a)如果椭圆边的左边与膨胀后边框的交点不足四个，此时，继续对没有交点的象限进一步膨胀，直到求得四个交点；

b)如果椭圆边的左边与膨胀后边框的交点大于四个，此时，可以设定规则或者直接使用聚类，得到四个聚类中心作为四边形的角点，四边形的角点即为求得的四个交点。