CN109447007A - 一种基于表格节点识别的表格结构补全算法 - Google Patents

Abstract

本发明公开一种基于表格节点识别的表格结构补全算法，主要步骤有信息预处理，增强表格结构部分；识别定位节点位置，根据图像特征分类；找到顶角四个节点，矫正；配对连线，直到所有能配对的点都配对完毕；对表格单元标记；提取原图中局部图像；预处理局部图像；文字识别局部图像，并将结果存储到所需位置。由表格文字结构增强算法将表格结构分析清楚后，对每个表格内容进行独立识别再做个性化处理或者做结构化输入输出，进而提高识别准确率。

Description

一种基于表格节点识别的表格结构补全算法

技术领域

本发明涉及人工智能文字图像识别信息提取技术领域，具体涉及在表格文字识别技术中图像文字预处理，特别涉及一种基于表格节点识别的表格结构补全算法。

背景技术

表格识别一直是文字识别中难度最大的问题之一，表格中的信息会收到表格线结构的影响出现信息分块和连通区域。不仅如此，不同的表格单元信息在内容上有一定的关联，在识别中需要不能破坏信息本身结构化的特征。最后，由于电脑软件的发展，目前的表格多是预先设计的模板，并用word、excel等软件打印而成，在设计模板的时候有些单元格长度或者宽度预留不足导致字体变小，或者单元格自动适配格式变化等多种情况出现，使得表格识别存在较多的特殊行。当前主流的算法大多是在不提取表格框线基础上，实现字线分离，从而识别所有文字信息后再进行内容上的进一步筛选，从而完成内容信息识别。虽然主流的技术在识别效率上较高，但是对于表格本身结构破坏性较高，同时使得表格信息结构化输出效果变弱，且不管用户需要识别表格所有内容还是需要识别部分表格信息，主流的算法都需要识别所有的文字信息后，再进行位置和信息的筛选，需要做大量的工作。针对主流算法的不足，本发明采取针对表格本身结构识别，还原表格结构，再根据表格结构单元格标记的方式，对于用户关注的信息进行提取和局部图像增强处理，进而完成针对性的文字信息提取。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于表格节点识别的表格结构补全算法。

本发明为解决背景技术中提出的技术问题而采用的技术方案是：一种基于表格节点识别的表格结构补全算法，包括如下步骤：

(1)信息进行预处理，增强表格结构部分；

(2)识别并定位所有表格节点位置，并根据图像特征分成9类；

(3)找到顶角四个节点，并对图像进行矫正；

(4)根据位置判断相邻点，及根据此点属性判断相连属性配对，并完成配对连线；

(5)执行步骤(4)，直到所有能配对的点都配对完毕：对于特殊配对或者没有配对上的个别点进行处理；

(6)根据表格结构特征对表格单元格进行ID标记；

(7)提取需要识别的表格对应标记的原图中局部图像；

(8)对局部图像进行预处理；

(9)文字识别局部图像，并将结果存储到所需要的位置。

本发明所述步骤(1)中具体包括：整体增强或者做低通滤波处理。

本发明所述步骤(2)中具体为：

(a)通过将人为标记过节点的表格图像进行深度学习训练；

(b)深度学习卷积神经网络将表格中所有节点定位，并进行分类；

(c)通过预设的分类模型和预设连接候选连接情况进行X方向Y方向连线，从而将表格结构构件并还原。

(d)对表格所有单元格排序，提取对应单元格局部图像，并对局部图像进行文字识别。

本发明所述步骤(3)中具体为：透视变换。

本发明具体包括如下步骤：

(1)利用图像算法框架，载入表格图像；

(2)通过角点检测算法ORB,ORBFeatureDector定位所有表格节点，并根据角点特征区分出9类节点特征，并将置信度低的节点抛弃；

(3)找到四个顶角点，用warpPerspective对于有倾斜，有透视角度的图像进行矫正，并对其他点进行同样的矩阵向量运算得到所有矫正过的节点位置坐标；

(4)通过X方向，Y方向像素偏差容忍度，确认相邻的节点；

(5)根据相邻的节点从左向右，将左边节点右侧待连属性和右侧节点左侧待连属性连接line(P(x_i,y),P(x_i+1,y))；

(6)根据相邻的节点从上向下，将上边节点下侧待连属性和下边节点左侧待连属性连接line(P(x,y_j),P(x,y_j+1))；

(7)最后将孤立没有待连接属性的孤立点舍弃；

(8)将表格从上到下，从左到右进行标记Image(m,n)左上角小图Image(0，0)，右下角Image(m-1，n-1)，并取出所有表格标记的单元格内部图像；

(9)Ocr(Image(m，n))提取文字信息，并存储。

有益效果：

1、本发明通过识别表格节点，进而尽可能的还原表格本身结构化的特征，而又不完全依赖于本身代表结构化特征的表格线，最后根据结构化特征对于每个单元格进行提取识别以及后续处理，最后保证一个比较高的准确度。

2、在表格识别过程中，通过尽可能还原表格结构，甚至在扫描后缺少部分表格信息时，通过算法将表格线结构还原，再通过对表格单元格排序编号的形式，将编号所在区域局部图片识别的结果进行关联，进而实现表格关键信息的提取和存储。由表格文字结构增强算法将表格结构分析清楚后，对每个表格内容进行独立识别再做个性化处理或者做结构化输入输出，进而提高识别准确率。

附图说明

图1为本发明算法流程图。

图2为需要连接的表格节点示意图。

图3为表格节点缺失示意图。

图4为表格线缺失示意图。

图5为表格节点缺失算法补全示意图。

图6为表格线算法补全缺失示意图。

具体实施方式

下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。

如图1所示，本发明一种基于表格节点识别的表格结构补全算法，包括如下步骤：

首先，信息进行预处理，增强表格结构部分；如整体增强或者做低通滤波处理。

其次，识别并定位所有表格节点位置，并根据图像特征分成9类，具体为：

(a)通过将人为标记过节点的表格图像进行深度学习训练；

(b)深度学习卷积神经网络将表格中所有节点定位，并进行分类；

(c)通过预设的分类模型和预设连接候选连接情况进行X方向Y方向连线，从而将表格结构构件并还原；

(d)对表格所有单元格排序，提取对应单元格局部图像，并对局部图像进行文字识别；

通过对于表格关键交叉点和顶点(以下称为表格节点)进行识别和定位。由于表格是方形结构(特殊的表头有斜向的)，所以节点基本分为以下几种：

(1)、左上顶点

(2)、右上顶点

(3)、右下顶点

(4)、左下顶点

(5)、三向向右

(6)、三向向左

(7)、三向向上

(8)、三向向下

(9)、十字交叉

以及特殊表头情况，特殊表头节点情况不在本发明中逐个论述，技术方式和一般性节点处理类似。

(10)、等。

通过识别算法获得所有节点类别9类以及对应的节点位置。

然后根据类别给予节点待连接方向属性(以下简称为待连接属性)，不限于如下三种：

待连接属性为(右，下)

待连接属性为(左，上，下)

待连接属性为(左，右，上，下)。

根据节点位置和待连接方向这两个信息，将相近像素(2-5pixel，与计算误差相关)相邻且关联的两个节点进行连接，具体确定相邻节点算法可以使用常见的算法，在本发明中不做具体论述，例如横向相邻节点P_(i,j)，P_(i，j+1)属性分别为(左，右，上，下)，(左，上，下)即可以将对应的左和右进行连接，如图2所示。并将此关联的属性删除，以便用于下一次迭代运算。直到所有的待连节点都连接完毕后，表格本身结构信息即可以还原为计算机可以识别的信息。

此算法对于表格线过细，预处理后部分线结构信息丢失有较好的适应能力，如椭圆中有表格信息缺失(或者是连部分字体缺失)，或者部分线体由于其他情况断开情况出现，如图3至4所示。

则本算法可以通过相邻的点待连接属性，直接将需要连接的点进行相连，从而补齐表格线本身，如图5至6所示。

然后，找到顶角四个节点，并对图像进行矫正；具体可以采用透视变换。

再次，根据位置判断相邻点，及根据此点属性判断相连属性配对，并完成配对连线。

第五步，执行步骤(4)，直到所有能配对的点都配对完毕：对于特殊配对或者没有配对上的个别点进行处理。

第六步，根据表格结构特征对表格单元格进行ID标记。

第七步，提取需要识别的表格对应标记的原图中局部图像。

第八步，对局部图像进行预处理。

最后，文字识别局部图像，并将结果存储到所需要的位置。

实施例1

本发明一种基于表格节点识别的表格结构补全算法，包括如下步骤：

(1)利用图像算法框架，不限于openCV，载入表格图像。

(2)通过角点检测算法ORB,ORBFeatureDector定位所有表格节点，并根据角点特征区分出9类节点特征，并将置信度低的节点抛弃。

(3)找到四个顶角点，用warpPerspective对于有倾斜，有透视角度的图像进行矫正，并对其他点进行同样的矩阵向量运算得到所有矫正过的节点位置坐标。

(4)通过X方向，Y方向像素偏差容忍度，确认相邻的节点。

(5)根据相邻的节点从左向右，将左边节点右侧待连属性和右侧节点左侧待连属性连接line(P(x_i,y),P(x_i+1,y))。

(6)根据相邻的节点从上向下，将上边节点下侧待连属性和下边节点左侧待连属性连接line(P(x,y_j),P(x,y_j+1))。

(7)最后将孤立没有待连接属性的孤立点舍弃。

(8)将表格从上到下，从左到右进行标记Image(m,n)左上角小图Image(0，0)，右下角Image(m-1，n-1)，并取出所有表格标记的单元格内部图像。

(9)Ocr(Image(m，n))提取文字信息，并存储。

实施例2

本算法主要不同集中在第二步定位及区分节点特征上，此处识别可以通过其他两种算法实现：下面介绍一种。首先，通过将大量的人为标记过节点的表格图像进行深度学习训练，通过FRCNN等深度学习卷积神经网络将表格中所有节点定位，并进行分类。此算法最为准确，最后连接配对后无法配对的相邻节点最少，但是此算法需要大量的人工标记和训练，需要计算的时间和消耗的资源也比较大。

实施例3

本发明的第三种实现方式：然后通过模板匹配的方式，将9种不同的节点图作为匹配模板，templateMatch方法匹配到对应的节点位置，从第一类开始到第九类结束。此算法速度较快，但是由于是模板匹配的方式实现，对于不同表格来说定位精度较差，可能出现连线有斜线可能，但是在一定情况下不影响实际的局部图取图。

应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于表格节点识别的表格结构补全算法，其特征在于，包括如下步骤：

(1)信息进行预处理，增强表格结构部分；

(2)识别并定位所有表格节点位置，并根据图像特征分成9类；

(3)找到顶角四个节点，并对图像进行矫正；

(4)根据位置判断相邻点，及根据此点属性判断相连属性配对，并完成配对连线；

(5)执行步骤(4)，直到所有能配对的点都配对完毕：对于特殊配对或者没有配对上的个别点进行处理；

(6)根据表格结构特征对表格单元格进行ID标记；

(7)提取需要识别的表格对应标记的原图中局部图像；

(8)对局部图像进行预处理；

(9)文字识别局部图像，并将结果存储到所需要的位置。

2.根据权利要求1所述的一种基于表格节点识别的表格结构补全算法，其特征在于，所述步骤(1)中具体包括：整体增强或者做低通滤波处理。

3.根据权利要求1所述的一种基于表格节点识别的表格结构补全算法，其特征在于，所述步骤(2)中具体为：

(a)通过将人为标记过节点的表格图像进行深度学习训练；

(b)深度学习卷积神经网络将表格中所有节点定位，并进行分类；

(c)通过预设的分类模型和预设连接候选连接情况进行X方向Y方向连线，从而将表格结构构件并还原；

(d)对表格所有单元格排序，提取对应单元格局部图像，并对局部图像进行文字识别。

4.根据权利要求1所述的一种基于表格节点识别的表格结构补全算法，其特征在于，所述步骤(3)中具体为：透视变换。

5.根据权利要求1所述的一种基于表格节点识别的表格结构补全算法，其特征在于，具体包括如下步骤：

(1)利用图像算法框架，载入表格图像；

(2)通过角点检测算法ORB,ORBFeatureDector定位所有表格节点，并根据角点特征区分出9类节点特征，并将置信度低的节点抛弃；

(3)找到四个顶角点，用warpPerspective对于有倾斜，有透视角度的图像进行矫正，并对其他点进行同样的矩阵向量运算得到所有矫正过的节点位置坐标；

(4)通过X方向，Y方向像素偏差容忍度，确认相邻的节点；

(5)根据相邻的节点从左向右，将左边节点右侧待连属性和右侧节点左侧待连属性连接line(P(x_i,y),P(x_i+1,y))；

(6)根据相邻的节点从上向下，将上边节点下侧待连属性和下边节点左侧待连属性连接line(P(x,y_j),P(x,y_j+1))；

(7)最后将孤立没有待连接属性的孤立点舍弃；

(8)将表格从上到下，从左到右进行标记Image(m,n)左上角小图Image(0，0)，右下角Image(m-1，n-1)，并取出所有表格标记的单元格内部图像；

(9)Ocr(Image(m，n))提取文字信息，并存储。