CN110210409B - 表格单据中表格框线检测方法及系统 - Google Patents

Abstract

本发明公开了一种表格单据中表格框线检测方法及系统，所述方法包括：S1，获取拍摄的纸质表格单据的图像；S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。本发明能够实现表格框线的自动智能检测，以快速、准确的识别表格中线段交点，恢复表格形状，为单据的下一步文字分析提供基础。

Description

表格单据中表格框线检测方法及系统

技术领域

本发明涉及人工智能技术领域，特别是涉及一种表格单据中表格框线检测方法及系统。

背景技术

目前纸质表格单据的分析查验基本由人工执行，通过人工阅读的方式确认表格内容。人工审核存在效率低，容易出错、人力成本高等特点，无法实现单据审批的自动化。人工审核的方式不利于各个机构的业务开展和管理。

使用计算机快速准确的识别纸质表格单据，成为亟需解决的问题，其中，表格框线的检测成为表格单据智能化识别的第一步，但现有技术中缺乏有效的解决方案来实现表格框线的自动智能检测。

发明内容

为此，本发明的一个目的在于提出一种表格单据中表格框线检测方法，实现表格框线的自动智能检测，以快速、准确的识别表格中线段交点，恢复表格形状，为单据的下一步文字分析提供基础。

一种表格单据中表格框线检测方法，包括以下步骤：

S1，获取拍摄的纸质表格单据的图像；

S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；

S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；

S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；

S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。

根据本发明提供的表格单据中表格框线检测方法，具有以下有益效果：

1、采用使用人工智能技术提取表格中的交点准确率更高：传统方式在图像中使用角点检测算法来检测交点，比如Harris角点检测算法，这些传统算法的角点检测准确率远低于基于深度学习的人工智能技术获得的交点检测模型的准确率。

2、基于深度学习的针对表格中交点的交点检测模型适用场景更广，识别率更高：模型训练时使用不同角度、不同光照、不同类型的表格图像作为训练数据，场景种类丰富，兼顾了各种条件下的影响因素，鲁棒性更好，比传统角点检测方式的识别率更高。

3、能够获得交点类型：传统交点检测只能确定交点位置，难以确定交点连接几条线段，本发明中的交点检测模型在识别交点时能够直接确定交点的类型，最后根据交点检测模型识别出的交点类型和位置两个信息进行综合考虑，通过相关算法将一小部分未检出点和错误点进行特殊处理，保证了最终正确恢复表格框线。

另外，根据本发明上述的表格单据中表格框线检测方法，还可以具有如下附加的技术特征：

进一步地，步骤S2中，计算图像的倾斜角度并对图像进行角度校正具体包括：

S21，将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；

S22，使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；

S23，使用canny边缘检测算子从二值图像中获得边缘图像；

S24，使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。

进一步地，步骤S3中，表格线段交点检测模型通过以下步骤获取：

S31，收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；

S32，用图像倾斜校正方法校正该样本图像；

S33，使用矩形框标注样本图像表格中线段交点的位置；

S34，使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。

进一步地，步骤S4中，剔除错误识别的交点，补齐遗漏的、未识别的交点具体包括：

S41，确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；

S42，遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；

S43、在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；

S44，遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。

进一步地，步骤S5具体包括：

S51，每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；

S52，每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；

S53，根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。

本发明的另一个目的在于提出一种表格单据中表格框线检测系统，实现表格框线的自动智能检测，以快速、准确的识别表格中线段交点，恢复表格形状，为单据的下一步文字分析提供基础。

一种表格单据中表格框线检测系统，包括：

获取模块，用于获取拍摄的纸质表格单据的图像；

计算模块，用于计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；

检测模块，用于使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；

处理模块，用于利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；

连接模块，用于精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。

根据本发明提供的表格单据中表格框线检测系统，具有以下有益效果：

1、采用使用人工智能技术提取表格中的交点准确率更高：传统方式在图像中使用角点检测算法来检测交点，比如Harris角点检测算法，这些传统算法的角点检测准确率远低于基于深度学习的人工智能技术获得的交点检测模型的准确率。

2、基于深度学习的针对表格中交点的交点检测模型适用场景更广，识别率更高：模型训练时使用不同角度、不同光照、不同类型的表格图像作为训练数据，场景种类丰富，兼顾了各种条件下的影响因素，鲁棒性更好，比传统角点检测方式的识别率更高。

3、能够获得交点类型：传统交点检测只能确定交点位置，难以确定交点连接几条线段，本发明中的交点检测模型在识别交点时能够直接确定交点的类型，最后根据交点检测模型识别出的交点类型和位置两个信息进行综合考虑，通过相关算法将一小部分未检出点和错误点进行特殊处理，保证了最终正确恢复表格框线。

另外，根据本发明上述的表格单据中表格框线检测系统，还可以具有如下附加的技术特征：

进一步地，所述计算模块包括：

转换单元，用于将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；

降噪单元，用于使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；

获得单元，用于使用canny边缘检测算子从二值图像中获得边缘图像；

提取单元，用于使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。

进一步地，所述检测模块包括：

收集单元，用于收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；

校正单元，用于用图像倾斜校正方法校正该样本图像；

标注单元，用于使用矩形框标注样本图像表格中线段交点的位置；

训练单元，用于使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。

进一步地，所述处理模块包括：

确定单元，用于确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；

遍历单元，用于遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；

补齐单元，用于在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；

删除单元，用于遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。

进一步地，所述连接模块包括：

第一均值单元，用于将每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；

第二均值单元，用于将每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；

连接恢复单元，用于根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明第一实施例的表格单据中表格框线检测方法的流程图；

图2是斜率统计示意图；

图3是线段交点示意图；

图4是补全遗漏点示意图；

图5是在左上、右上、右下、左下四个方向寻找4个顶点的示意图；

图6是利用该表格线段交点的位置和类型，对交点进行处理的流程示意图；

图7是沿着P1水平和垂直方向进行查找的示意图；

图8是交叉异常点判断示意图；

图9是在水平和竖直方向连接相邻的交点的示意图；

图10是根据本发明第二实施例的表格单据中表格框线检测系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”或“单元”可以混合地使用。

请参阅图1，本发明第一实施例提供的表格单据中表格框线检测方法，包括以下步骤：

S1，获取拍摄的纸质表格单据的图像；

其中，可以使用高拍仪等设备拍摄纸质表格单据的图像，然后将拍摄的图像上传至计算机。

S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；

其中，计算图像的倾斜角度并对图像进行角度校正具体包括：

S21，将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；

S22，使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；

S23，使用canny边缘检测算子从二值图像中获得边缘图像，其中，canny算法一种提取图像中物体边缘的算法，通常边缘图像是二值化图像；

S24，使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，如图2所示，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度，使原始图像中表格方向水平竖直，其中，霍夫变换算法是一种从图像中提取物体直线边缘的算法，形态学操作主要是图像的膨胀、腐蚀两种操作，或者这两种操作按照不同先后顺序组成的图像的开、闭操作，主要用于处理二值化图像。

S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；

其中，表格线段交点检测模型通过以下步骤获取：

S31，收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；

S32，用图像倾斜校正方法校正该样本图像；

S33，使用矩形框标注样本图像表格中线段交点的位置；表格中的交点分为9种类型，如图3所示，类别编号1至9，使用0作为背景类别编号。1、2、3、4是表格的四个顶点，1是表格的左上交点，2是表格的右上交点，3是表格的右下交点，4是表格的左下交点，5、6、7、8通常是表格最外一层框线上的交点，也经常在表格内部出现，9是表格内部的交点。

S34，使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。

然后使用表格线段交点检测模型对表单图像进行检测，识别表格中的交点，并记录交点的位置和类型。具体的，标注样本图像的交点位置，将交点分成9个类型，加上背景类型，一共10个类型。交点的9个类型如图所示，分别为左上角、右上角、右下角、左下角两个线段交点，上下左右四个方向的三个线段交点和只在表格内部出现的四个线段的交点。

S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；

其中，剔除错误识别的交点，补齐遗漏的、未识别的交点具体包括：

S41，确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；

S42，遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；

S43、在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；

S44，遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。

具体的，请结合图4、图5和图6，统计该连通体区域内所有交点的数量作为连通体区域大小，可以以(class，index,x，y，v)标记交叉点信息,其中class作为交点类别编号，index表示点的顺序编号，比如检测到40个交点，则index为0到39，x表示交点x轴坐标或者是列坐标，y表示交点y轴坐标或者是行坐标，v是交点有效标志位，v＝0表示无效，v＝1表示有效，所有交点的v值初始值为0。首先寻找类别为1、2、3、4的有效交点，确定表格的4个顶点。其中1和2的y相同，3和4的y相同，1和4的x相同，2和3的x相同，设置一个阈值T1，当1和2的y、3和4的y、1和4的x、2和3的x差异在T1之内，认为找到表格的4个顶点。如果没有全部识别4个顶点，出现图4的两种情况，即检测到对角线上的2个点或者3个点时，可以使用顶点位置的坐标关系补齐没有检测出来的表格顶点。根据交点的x,y数值信息，从左上、右上、右下、左下四个方向从外圈到内圈的方式逐步缩小区域寻找表格的四个顶点。确认四个顶点后，将这四个顶点的v值设置为1。如果没有检测到这4个顶点，则查找失败，返回第一提示给人工检测。

然后设置一个阈值T2，剔除在4个顶点范围之外，且和顶点组成的表格外框垂直距离大于阈值T2点。

接着处理表格的内点，剔除错误识别的交叉点和补齐未识别的交叉点。具体方法如下：

a、表格内的任何交叉点都能够和其周围的点组成一个矩形。先设置一个阈值T3。使用P1作为当前交叉点的名称，沿着P1水平和垂直方向查找，如图7所示，在水平方向依次找到和P1的y值差距在T3之内的点P2，在垂直方向依次找到和P1的x值差距在T3之内的点P4，如果P2的类型(参考图3)至少是2、5、8、9中的一种，P4的类型是至少是4、6、7、9中的一种，说明这3个点是一个矩形的三个顶点，检查是否存在点P3，P3的x与P2差距小于T3,y与P4的y值差距小于T3,且P3的类型应该是3、6、8、9中的一种，如果不满足，则补全P3点信息，最后将这4个点的v值设置为1，停止在该方向查找，确保找到P2、P3、P4和P1组成P1在该方向上的最小单元格。每次可以沿着P1的上下左右4个方向查找，图4只显示了沿着P1右方水平和下方竖直两个方向查找，对于其它方向的查找方法与图4类似。

b、在找到所有能够组成矩形的检测点后，判断是否存在导致线段交叉的异常点，如图8所示。交叉点都是表单内部的点，比较这些交叉点的连通域大小，删除较小连通域的所有点。P1、P2、P3、P4组成的连通域有4个点，点P组成的连通域有7个点，则P1、P2、P3、P4是异常点，将v值设置为0。

S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。

其中，请结合图9，精确定位v值等于1的交点的位置，在水平和竖直方向连接相邻的交点，构建表单的所有单元格，步骤S5具体包括：

S51，每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；

S52，每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；

S53，根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。

此外，具体的，每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，其方法如下：

c、获得当前交点P1的类型；

d、检查将于当前交点P1连接的交点P2的类型，两者类型关系支持P1交点和P2交点连接时，则P1和P2连接。

其中，每个交点类型存在2个、3个或者4个不同方向的线段，当两个交点存在相反方向的线段时，能够连接两个交点。

综上，根据本实施例提供的表格单据中表格框线检测方法，具有以下有益效果：

1、采用使用人工智能技术提取表格中的交点准确率更高：传统方式在图像中使用角点检测算法来检测交点，比如Harris角点检测算法，这些传统算法的角点检测准确率远低于基于深度学习的人工智能技术获得的交点检测模型的准确率。

2、基于深度学习的针对表格中交点的交点检测模型适用场景更广，识别率更高：模型训练时使用不同角度、不同光照、不同类型的表格图像作为训练数据，场景种类丰富，兼顾了各种条件下的影响因素，鲁棒性更好，比传统角点检测方式的识别率更高。

3、能够获得交点类型：传统交点检测只能确定交点位置，难以确定交点连接几条线段，本发明中的交点检测模型在识别交点时能够直接确定交点的类型，最后根据交点检测模型识别出的交点类型和位置两个信息进行综合考虑，通过相关算法将一小部分未检出点和错误点进行特殊处理，保证了最终正确恢复表格框线。

请参阅图10，基于同一发明构思，本发明第二实施例提出的表格单据中表格框线检测系统，包括：

获取模块10，用于获取拍摄的纸质表格单据的图像；

计算模块20，用于计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；

检测模块30，用于使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；

处理模块40，用于利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；

连接模块50，用于精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。

本实施例中，所述计算模块20包括：

转换单元21，用于将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；

降噪单元22，用于使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；

获得单元23，用于使用canny边缘检测算子从二值图像中获得边缘图像；

提取单元24，用于使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。

本实施例中，所述检测模块30包括：

收集单元31，用于收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；

校正单元32，用于用图像倾斜校正方法校正该样本图像；

标注单元33，用于使用矩形框标注样本图像表格中线段交点的位置；

训练单元34，用于使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。

本实施例中，所述处理模块40包括：

确定单元41，用于确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；

遍历单元42，用于遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；

补齐单元43，用于在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；

删除单元44，用于遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。

本实施例中，所述连接模块50包括：

第一均值单元51，用于将每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；

第二均值单元52，用于将每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；

连接恢复单元53，用于根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。

根据本实施例提供的表格单据中表格框线检测系统，具有以下有益效果：

1、采用使用人工智能技术提取表格中的交点准确率更高：传统方式在图像中使用角点检测算法来检测交点，比如Harris角点检测算法，这些传统算法的角点检测准确率远低于基于深度学习的人工智能技术获得的交点检测模型的准确率。

2、基于深度学习的针对表格中交点的交点检测模型适用场景更广，识别率更高：模型训练时使用不同角度、不同光照、不同类型的表格图像作为训练数据，场景种类丰富，兼顾了各种条件下的影响因素，鲁棒性更好，比传统角点检测方式的识别率更高。

3、能够获得交点类型：传统交点检测只能确定交点位置，难以确定交点连接几条线段，本发明中的交点检测模型在识别交点时能够直接确定交点的类型，最后根据交点检测模型识别出的交点类型和位置两个信息进行综合考虑，通过相关算法将一小部分未检出点和错误点进行特殊处理，保证了最终正确恢复表格框线。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种表格单据中表格框线检测方法，其特征在于，包括以下步骤：

S1，获取拍摄的纸质表格单据的图像；

S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；

S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；

S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；

S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状；

步骤S2中，计算图像的倾斜角度并对图像进行角度校正具体包括：

S21，将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；

S22，使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；

S23，使用canny边缘检测算子从二值图像中获得边缘图像；

S24，使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。

2.根据权利要求1所述的表格单据中表格框线检测方法，其特征在于，步骤S3中，表格线段交点检测模型通过以下步骤获取：

S31，收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；

S32，用图像倾斜校正方法校正该样本图像；

S33，使用矩形框标注样本图像表格中线段交点的位置；

S34，使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。

3.根据权利要求1所述的表格单据中表格框线检测方法，其特征在于，步骤S4中，剔除错误识别的交点，补齐遗漏的、未识别的交点具体包括：

S41，确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；

S42，遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；

S43、在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；

S44，遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。

4.根据权利要求3所述的表格单据中表格框线检测方法，其特征在于，步骤S5具体包括：

S51，每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；

S52，每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；

S53，根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。

5.一种表格单据中表格框线检测系统，其特征在于，包括：

获取模块，用于获取拍摄的纸质表格单据的图像；

计算模块，用于计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；

检测模块，用于使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；

处理模块，用于利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；

连接模块，用于精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状；

所述计算模块包括：

转换单元，用于将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；

降噪单元，用于使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；

获得单元，用于使用canny边缘检测算子从二值图像中获得边缘图像；

提取单元，用于使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。

6.根据权利要求5所述的表格单据中表格框线检测系统，其特征在于，所述检测模块包括：

收集单元，用于收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；

校正单元，用于用图像倾斜校正方法校正该样本图像；

标注单元，用于使用矩形框标注样本图像表格中线段交点的位置；

训练单元，用于使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。

7.根据权利要求5所述的表格单据中表格框线检测系统，其特征在于，所述处理模块包括：

确定单元，用于确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；

遍历单元，用于遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；

补齐单元，用于在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；

删除单元，用于遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。

8.根据权利要求7所述的表格单据中表格框线检测系统，其特征在于，所述连接模块包括：

第一均值单元，用于将每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；

第二均值单元，用于将每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；

连接恢复单元，用于根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。

Images