CN112115884A

CN112115884A - 一种表格识别方法及其系统

Info

Publication number: CN112115884A
Application number: CN202010999560.8A
Authority: CN
Inventors: 陈鸣; 刘家俊; 刘占亮
Original assignee: Beijing Yilanqunzhi Data Technology Co ltd
Current assignee: Beijing Yilanqunzhi Data Technology Co ltd
Priority date: 2020-09-22
Filing date: 2020-09-22
Publication date: 2020-12-22

Abstract

本发明提供了一种表格识别方法及其系统，所述方法包括如下步骤：获取初始表格图像，并对所述初始表格图像进行水平校正以生成预处理表格图像；采用基于深度学习的物体检测方法对所述预处理表格图像的角点坐标进行检测，并对表格区域的文字进行识别；基于图神经网络的方法判断预处理表格图像中单元格之间的位置关系，并对所述预处理表格图像中所包含的单元格以及文字进行结构还原。本发明的表格识别方法对需要识别的图片清晰度要求低，可以最少程度上减少预处理阶段的人工调参，而且该方法不仅可以识别封闭式表格，也可以识别开放式表格。

Description

一种表格识别方法及其系统

技术领域

本发明涉及OCR图片识别技术领域，具体而言，涉及一种表格识别方法及其系统。

背景技术

在OCR(光学字符识别系统)中，表格的识别，可以为文档中关键字段的抽取提供重要信息，也可以用于还原可编辑表格以节省人工录入。传统的表格识别方法一般都是基于直线检测的方法，即首先对文档图片倾角矫正、二值化、腐蚀膨胀等预处理方法，然后再检测表格直线，进而求出表格线的交点，从而还原整个表格结构。

上述方法在预处理阶段需要人为设定图像预处理参数，且要求表格线清晰且连续。如果表格中的单元格上的表格线没有闭合，那么就无法检测表格线。我们将有部分表格线的表格定义为开放式表格，开放式表格广范存在于各类文档中。针对这一类表格，传统表格识别方法，无法准确还原整体的表格结构，且对表格的清晰度要求也比较高。

有鉴于此，特提出本发明。

发明内容

有鉴于此，本发明公开了一种表格识别方法，以及用于实现上述表格识别方法的识别系统，以实现对表格图像准确的识别还原。

具体地，本发明是通过以下技术方案实现的：

第一方面，本发明公开了一种表格识别方法，所述方法包括：

获取初始表格图像，并对所述初始表格图像进行水平校正以生成预处理表格图像；

采用基于深度学习的物体检测方法对所述预处理表格图像的角点坐标进行检测，并对表格区域的文字进行识别；

基于图神经网络的方法判断预处理表格图像中单元格之间的位置关系，并对所述预处理表格图像中所包含的单元格以及文字进行结构还原。

第二方面，本发明公开了一种表格识别系统，包括：

预处理单元：用于获取初始表格图像，并对所述初始表格图像进行水平校正以生成预处理表格图像；

表格及文字检测单元：用于采用基于深度学习的物体检测方法对所述预处理表格图像的角点坐标进行检测，并对表格区域的文字进行识别；

结构还原单元：用于基于图神经网络的方法判断预处理表格图像中单元格之间的位置关系，并对所述预处理表格图像中所包含的单元格以及文字进行结构还原。

第三方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述表格识别方法的步骤。

第四方面，本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述表格识别方法的步骤。

本发明实施例提供的一种表格识别方法及其系统，通过采用深度学习中的物体检测方法来对表格中的单元格进行检测，并同时利用图神经网络来判断单元格之间的位置关系，且前期在预处理表格图像只需要简单的倾斜校正，并不需要做过多的干预，可见该方法可以最少程度上减少预处理阶段的人工调参，而且该方法对需要识别的图片清晰度要求低，适用面也比较广，不仅可以识别封闭式表格，也可以识别开放式表格。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的表格识别方法的流程示意图；

图2为本发明另一种实施例提供的表格识别方法的流程示意图；

图3为本发明实施例提供的S21步骤的具体操作示意图；

图4为本发明实施例提供的S22步骤的具体操作示意图；

图5为本发明实施例提供的S31步骤的具体操作示意图；

图6为本发明实施例提供的S32步骤的具体操作示意图；

图7为本发明实施例提供的识别系统的结构示意图；

图8为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明公开了一种表格的识别方法，所述方法包括：

正是因为现有技术中表格识别方法一般只能针对封闭式表格进行识别，识别方法比较复杂，而且对表格图像的清晰度要求也比较高，本发明正是为了解决上述技术问题，提供了一种表格的识别方法，通过采用该方法，简化了识别过程，而且提高了识别准确率，通过采用该识别方法不仅可以实现对封闭表格的识别，还可以实现对表格线没有闭合的开放式表格的识别。

图1为本发明实施例公开的一种表格识别方法的流程示意图，参照图1所示，所述方法包括如下步骤：

S1、获取初始表格图像，并对所述初始表格图像进行水平校正以生成预处理表格图像。

优选地，该S1步骤中，对初始表格图像进行水平校正的方法可包括采用Hough直线检测的方法或采用傅里叶变换的方法进行水平校正，两种方法均可以根据实际需要进行选择，并且这两种方法中均只需要对表格图像进行水平校正即可，水平校正的目的也是为了提高后续表格检测步骤中的精度。

S2、采用基于深度学习的物体检测方法对所述预处理表格图像的角点坐标进行检测，并对表格区域的文字进行识别。

该S2步骤中，包括如下两个子步骤：

S21、表格检测的方法；

S22、对表格区域的文字进行识别的方法；

其中，表格检测的方法具体可包括：可基于最常用的深度学习的物体检测方法对所述预处理表格图像中所包含的每个单元格的对角线上的角点坐标进行检测。比如可以采用如Mask_RCNN来检测表格中的最小单元格的位置，即检测每个单元格的左上角点坐标和右下角点坐标，如图3所示。

该方法适用于检测“表格线没有封闭”的表格或者“边线为虚线”的表格，另外该步骤需要注意的是，在预测坐标时是会存在一定的误差的，即存在各单元角点对不齐的情况，在最后的进行结构还原的步骤中可根据单元格之间的相邻关系，对单元格角点进行调整或合并。

文字识别的方法具体包括：

S221、预测文字块的位置信息；

S222、基于所述文字块的位置和每个单元格的位置来判断所述文字块归属的单元格以完成识别。

文字检测和识别是OCR系统中的关键步骤，目前最常用的方法是采用深度学习的检测和识别技术。文字检测方法常用的有：ctpn、east、pixellink、dbnet等方法，上述这些方法可以预测文字块的位置信息。文字识别一般采用深度学习模型crnn，通过该方法可以预测文字块内文字的内容。在得知文字块的位置信息后，可以基于字块的中心点位置，和各个单元格的位置来判断文字块所属的单元格。如图4所示，文字块1和文字块2属于单元格1内的文字。

S3、基于图神经网络的方法判断预处理表格图像中单元格之间的位置关系，并对所述预处理表格图像中所包含的单元格以及文字进行结构还原。

该步骤中包括了两个子步骤：

S31、判断预处理表格图像中单元格之间的位置关系；

S32、对预处理表格图像中所包含的单元格以及文字进行结构还原。

其中，判断预处理表格图像中单元格之间的位置关系是先对单元格的位置信息输入后，输出二维列表以表示单元格之间的邻近关系。具体如图5所示，图神经网络的输入为单元格坐标位置信息，输出为边的信息，即单元格之间的邻近信息，输出为一个2维列表，其中“第0维”为单元格之间的横向关系，“第1维”为单元格之间纵向关系。

比如，单元格1与单元格2之间的邻近信息为[1,0]，其中该列表中的第0维的“1”代表单元格1和单元格2之间有横向邻近关系，“第1维”的“0”，代表单元格1和单元格2之间没有竖向的临近关系；单元格1与单元格3之间的邻近的信息为[0,0]，即表示单元格1和单元格3既没有横向临近关系，也没有竖向临近关系。

对预处理表格图像中所包含的单元格以及文字进行结构还原的步骤包括：以最端部的单元格为基准点按照从左到右并且从上到下的顺序依次来合并单元格。

具体地，通过图神经网络得单元格之间的邻近关系后，以最左上的单元格为基准点按照从左到右从上到下的顺序来合并单元格，进而还原整个表格。比如，参见图6，首先根据各单元格“左上角点”和“图片的左上角点”的欧式距离定位单元格1为起始单元格，单元格1的右侧有单元格2和单元格4，由于单元格2位置在单元格4上面，所以先将单元格2与单元格1进行组合，单元格2和单元格1的角点若距离在一定阈值范围内时，单元格2的角点坐标根据单元格1的角点坐标进行调整使其重合。之后找到“单元格2”的右侧单元格“单元格3”，将单元格2与单元格3的角点进行合并。依次类推，进而还原整个表格结构。

表格识别方法最优的识别步骤是按照图2的具体操作步骤来实现。

图7是本发明公开的一种表格的识别系统的结构示意图，该系统包括：

预处理单元201：用于获取初始表格图像，并对所述初始表格图像进行水平校正以生成预处理表格图像；

表格及文字检测单元202：用于采用基于深度学习的物体检测方法对所述预处理表格图像的角点坐标进行检测，并对表格区域的文字进行识别；

结构还原单元203：用于基于图神经网络的方法判断预处理表格图像中单元格之间的位置关系，并对所述预处理表格图像中所包含的单元格以及文字进行结构还原。

该识别系统主要由上述三个单元构成，从而实现对各种表格都能进行准确识别，准确率高，对图片的清晰度要求低。

优选地，所述表格及文字检测单元202具体包括：

表格检测单元2021：用于对表格检测，该单元可基于最常用的深度学习的物体检测方法对所述预处理表格图像中所包含的每个单元格的对角线上的角点坐标进行检测。

文字识别单元2022：用于对表格区域的文字进行识别，该单元具体可包括：

位置信息预测模块，用于预测文字块的位置信息；

归属识别模块，基于所述文字块的位置和每个单元格的位置来判断所述文字块归属的单元格以完成识别。

优选地，结构还原单元203具体可包括：

判断位置关系单元2031，用于判断预处理表格图像中单元格之间的位置关系；

结构还原单元2032，用于对预处理表格图像中所包含的单元格以及文字进行结构还原。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

图8是本发明公开的一种计算机设备的结构示意图。参考图8所示，该计算机设备包括：输入装置63、输出装置64、存储器62和处理器61；所述存储器62，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如上述实施例提供的一种表格的识别方法；其中输入装置63、输出装置64、存储器62和处理器61可以通过总线或者其他方式连接，图8中以通过总线连接为例。

存储器62作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本申请实施例所述的一种表格识别方法对应的程序指令；存储器62可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置63可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置64可包括显示屏等显示设备。

处理器61通过运行存储在存储器62中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理。

上述提供的计算机设备可用于执行上述实施例提供的一种表格识别方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的一种表格识别方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的一种表格的识别方法，还可以执行本申请任意实施例所提供的一种表格识别方法中的相关操作。

最后应说明的是：虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims

1.一种表格的识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的识别方法，其特征在于，对所述初始表格图像进行水平校正的方法包括采用Hough直线检测的方法或采用傅里叶变换的方法进行水平校正。

3.根据权利要求1所述的识别方法，其特征在于，对所述预处理表格图像的角点坐标进行检测的方法包括：对所述预处理表格图像中所包含的每个单元格的对角线上的角点坐标进行检测。

4.根据权利要求3所述的识别方法，其特征在于，对表格区域中的文字进行识别的方法包括：

预测文字块的位置信息；

基于所述文字块的位置和每个单元格的位置来判断所述文字块归属的单元格以完成识别。

5.根据权利要求1-4任一项所述的识别方法，其特征在于，判断预处理表格图像中单元格之间的位置关系的方法包括：对单元格的位置信息输入后，输出二维列表以表示单元格之间的邻近关系。

6.根据权利要求1-4任一项所述的识别方法，其特征在于，所述结构还原的步骤包括：以最端部的单元格为基准点按照从左到右并且从上到下的顺序依次来合并单元格。

7.一种表格的识别系统，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7任一所述表格识别方法的步骤。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一所述的表格识别方法的步骤。