CN113449559B - 一种表格识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明公开了一种表格识别方法、装置、计算机设备和存储介质，通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到共享特征图，特征图的提取步骤将表格线的识别和表格内容的识别结合在了一起，在获取共享特征图后，通过表格结构处理层和表格内容处理层对共享特征图的分析，可得到待识别表格的表格线信息和内容检测框信息；基于内容检测框信息，可识别待识别表格中内容检测框内的表格内容；基于表格线信息，内容检测框信息以及识别到的表格内容，可生成待识别表格对应的识别后表格，实现了相关技术中独立的表格结构识别方案和表格内容识别方案的有机结合，有利于降低表格识别所需时间，提升表格识别效率。

Description

一种表格识别方法、装置、计算机设备和存储介质

技术领域

本发明涉及图像识别技术领域，具体涉及一种表格识别方法、装置、计算机设备和存储介质。

背景技术

表格是一种组织整理数据的手段，人们在通讯交流、科学研究以及数据分析活动当中广泛采用形形色色的表格。很多情况下，表格以不可编辑的图像形式存在，例如以照片的形式存在，这种情况下，需要采用表格识别技术将图像中的表格转换为可编辑的表格文件。

目前，相关技术中，一般是通过表格结构解析方法如传统的视觉法等，确定表格中的表格线，通过文本检测的方法检测表格文本，然后基于表格线和表格文本的检测结果得到表格的识别结果，但是这种方案中，表格线和文本的检测是独立的两套方案，表格识别所需的时间较长。

发明内容

本发明实施例提供一种表格识别方法、装置、计算机设备和存储介质，可以通过同一个模型对表格线进行检测，以及确定内容检测框，提升表格识别效率。

本发明实施例提供一种表格识别方法，该表格识别方法包括：

通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到所述待识别表格的共享特征图，其中，所述表格对象包括表格线和表格内容，所述表格识别模型还包括与所述共享特征提取层连接的表格结构处理层和表格内容处理层；

通过所述表格结构处理层对所述共享特征图中的表格线特征进行分析，得到所述待识别表格的表格线信息；

通过所述表格内容处理层对所述共享特征图中的表格内容特征进行分析，得到所述待识别表格中的表格内容所对应的内容检测框信息；

基于所述内容检测框信息，识别所述待识别表格中内容检测框内的表格内容；

基于所述表格线信息，内容检测框信息以及识别到的所述表格内容，生成所述待识别表格对应的识别后表格。

另一方面，本申请还提供一种表格识别装置，该表格识别装置，包括：

特征提取单元，用于通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到所述待识别表格的共享特征图，其中，所述表格对象包括表格线和表格内容，所述表格识别模型还包括与所述共享特征提取层连接的表格结构处理层和表格内容处理层；

表格线处理单元，用于通过所述表格结构处理层对所述共享特征图中的表格线特征进行分析，得到所述待识别表格的表格线信息；

检测框处理单元，用于通过所述表格内容处理层对所述共享特征图中的表格内容特征进行分析，得到所述待识别表格中的表格内容所对应的内容检测框信息；

表格内容识别单元，用于基于所述内容检测框信息，识别所述待识别表格中内容检测框内的表格内容；

表格生成单元，用于基于所述表格线信息，内容检测框信息以及识别到的所述表格内容，生成所述待识别表格对应的识别后表格。

另一方面，本申请还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上所述的表格识别方法的步骤。

另一方面，本申请还提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上所述的表格识别方法的步骤。

本实施例公开了一种表格识别方法、装置、计算机设备和存储介质，通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图，其中，表格对象包括表格线和表格内容，可以理解的是，该共享特征图中包含表格线的特征和表格内容的特征，特征图的提取步骤将表格线的识别和表格内容的识别结合在了一起，在获取共享特征图后，通过表格结构处理层对共享特征图中的表格线特征进行分析，可得到待识别表格的表格线信息；通过表格内容处理层对共享特征图中的表格内容特征进行分析，可得到待识别表格中的表格内容所对应的内容检测框信息；基于内容检测框信息，识别待识别表格中内容检测框内的表格内容；基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。由此，将原本独立的表格结构识别方案和表格内容识别方案结合在了一起，有利于降低表格识别所需时间，提升表格识别效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种表格识别方法的流程示意图；

图2是本发明实施例提供的表格识别模型一个可选结构示意图；

图3是本发明实施例提供的共享特征图的提取方法的流程示意图；

图4是本发明实施例提供的表格识别方法的原理示意图；

图5是本发明实施例提供的从表格线图中确定表格块的原理示意图；

图6是本发明实施例提供的表格识别装置的结构示意图；

图7是本发明实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本实施例公开了一种表格识别方法、装置、存储介质以及计算机设备，以下分别进行详细说明。

首先，本发明实施例提供了一种表格识别方法，该表格识别方法包括：通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图，其中，表格对象包括表格线和表格内容，表格识别模型还包括与共享特征提取层连接的表格结构处理层和表格内容处理层；通过表格结构处理层对共享特征图中的表格线特征进行分析，得到待识别表格的表格线信息；通过表格内容处理层对共享特征图中的表格内容特征进行分析，得到待识别表格中的表格内容所对应的内容检测框信息；基于内容检测框信息，识别待识别表格中内容检测框内的表格内容；基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。

本实施例提供适用于计算机设备的表格识别方法。该计算机设备可以为终端等设备，例如可以为手机、平板电脑、笔记本电脑、台式电脑等。其中，该计算机设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

比如，表格识别方法可以集成在终端或服务器中。

如图1所示，为本发明实施例中表格识别方法中一个实施例流程示意图，该表格识别方法应用于表格识别装置，该表格识别装置可以位于计算机设备中，例如，位于终端或服务器，本实施例对此没有限制。参考图1，该表格识别方法可以包括：

101、通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图，其中，表格对象包括表格线和表格内容，表格识别模型还包括与共享特征提取层连接的表格结构处理层和表格内容处理层；

本实施例中的待识别表格的形式不限，例如，可以是数字版式表格。

本实施例中，表格识别模型的一个示例性的结构可以参考图2所示，图2中，表格识别模型可以包括：共享特征提取层21、与共享特征提取层连接的表格结构处理层22和表格内容处理层23，本实施例中的表格识别模型可以看作是一个多任务模型，该多任务模型中，共享特征提取层21是任务层(包括表格结构处理层22和表格内容处理层23)共享的特征提取层，该共享特征提取层21输出的共享特征图可以由所有的任务层共享。

本实施例中，表格识别模型中各网络层采用的结构可以基于现有的网络模型结构实现，本实施例对此没有任何限制。

在一个示例中，共享特征图中包含表格线和表格内容的特征，例如表格线和表格内容的轮廓特征等等。本实施例中的表格内容包括但不限于文本、图像等形式的内容。

在一个示例中，共享特征图的尺寸与待识别表格的尺寸一致，即共享特征图的长和宽与待识别表格的长和宽相同。

在一个示例中，共享特征提取层包括特征提取模块和特征图转换模块。

参考图3，上述步骤101包括如图3所示的步骤：

301、通过特征提取模块，对待识别表格进行针对表格对象的特征提取，得到待识别表格的中间特征图；

302、通过特征图转换模块，对中间特征图进行预设转换处理，将中间特征图转换为与待识别表格的尺寸一致的共享特征图。

本实施例中的特征提取模块，可以用于对待识别表格进行特征提取，得到待识别表格的特征图(feature maps，即本文中的中间特征图)。其中，特征提取模块可以基于任意可进行特征提取的神经网络实现，例如CNN(Convolutional Neural Networks,卷积神经网络)等等。其中，特征提取模块提取的中间特征图，可以包括特征提取模块的最后一层卷积层输出的特征图，或者，还可以包括特征提取模块的多个卷积层输出的多个维度的特征图。其中，每个维度的特征图的尺寸可以不同。

可选的，在一个示例中，预设转换处理包括中间特征图的尺寸转换处理，特征图转换模块得到共享特征图的具体过程可以包括：对特征提取模块提取的中间特征图进行尺寸转换处理，将中间特征图的尺寸转换为待识别表格的尺寸，得到共享特征图。其中，尺寸转换处理可以基于反卷积(deconvolution)或双线性插值(bilinear interpolation)等原理实现，即特征图转换模块可以包括反卷积模型或者双线性插值模型。

在另一个示例中，预设转换处理包括中间特征图的特征融合处理以及尺寸转换处理，特征图转换模块得到共享特征图的具体过程可以包括：对特征提取模块提取的多个维度的中间特征图进行特征融合处理，得到融合后特征图，对融合后特征图进行尺寸转换处理，将融合后特征图的尺寸转换为待识别表格的尺寸，得到共享特征图。其中，特征融合处理可以基于现有的特征融合能力的神经网络结构实现，例如基于FPN(feature pyramidnetworks，特征金字塔网络)实现。

参考图4，图4为本实施例的表格识别方法的原理示意图，图4中的深度学习识别模型即为本实施例中的特征提取模块，分割模型即为本实施例中的特征图转换模块。

在一个示例中，深度学习识别模型的骨架网络可以采用现有的任意可以用于进行特征提取的网络，包括但不限于Resnet，DenseNet等CNN网络。分割模块的作用包括将深度学习识别模型提取出的小特征图(即中间特征图)转换为和待识别表格的图像尺寸一致的图像，可选的，分割模块可以借鉴模型的骨架网络可选择Resnet，DenseNet等，分割模块可选择借鉴全连接网络(fullyconvolutional network,FCN)，或采用特征金字塔网络(feature pyramid network,FPN)结合反卷积(deconvolution)，或双线性插值(bilinearinterpolation)等方式，将中间特征图转换为和待识别表格大小一致的共享特征图。其中，FPN网络主要应用于多层特征提取，使用多尺度的特征层来进行目标检测，可以利用不同的特征层对于不同大小特征的敏感度不同，将他们充分利用起来，以更有利于目标检测。

102、通过表格结构处理层对共享特征图中的表格线特征进行分析，得到待识别表格的表格线信息；

在一个示例中，表格线信息可以包括从共享特征图中识别到的表格线在共享特征图中的位置信息，例如各表格线在共享特征图(即待识别表格)中的起点坐标和终点坐标等等。

在另一个示例中，表格线信息可以包括表格线图，该表格线图是基于对共享特征图的处理得到，其尺寸与待识别表格的尺寸一致，该表格线图中分布有识别出的表格线。

可选的，在一个示例中，步骤“通过表格结构处理层对共享特征图中的表格线特征进行分析，得到待识别表格的表格线信息”，包括：

通过表格结构处理层，确定共享特征图中的表格线特征，基于表格线特征分析待识别表格中表格线的分布，基于分析结果生成表格线图。

其中，在表格线图的一个示例中，表格线图中的每个像素有0或1两种标签，代表是背景或是表格，如图4所示，图标41标示的即为表格线图，该图中白色为表格像素，黑色为背景像素。

103、通过表格内容处理层对共享特征图中的表格内容特征进行分析，得到待识别表格中的表格内容所对应的内容检测框信息；

本实施例的一个示例中，内容检测框图与待识别表格的尺寸一致，内容检测框信息可以理解为从共享特征图中识别到的内容检测框的信息，例如内容检测框在待识别表格中的位置，形状，旋转角度等信息。本实施例中，可选的，一个内容检测框对应一个表格块中的表格内容。

在一个示例中，表格内容为表格文本，内容检测框为文本检测框。

可选的，在另一个示例中，内容检测框信息包括内容检测框图，内容检测框图中包含从待识别表格中识别到的内容检测框。

可选的，一个示例中，步骤“通过表格内容处理层对共享特征图中的表格内容特征进行分析，得到待识别表格中的表格内容所对应的内容检测框信息”，可以包括：

通过表格内容处理层，确定共享特征图中的表格内容特征；

基于表格内容特征分析待识别表格中表格内容的分布；

基于各表格内容确定各表格内容对应的内容检测框，基于内容检测框生成内容检测框图。

可选的，本实施例中的内容检测框图可以参考图4中图标42所示的图像，在该图像中，每个像素有0或1两种标签，代表是背景或是内容检测框，如图4中的41标识的内容检测框图，白色为内容检测框像素，黑色为背景像素。

在一个示例中，表格内容处理层可以采用五个1*1的卷积核得到最终的内容检测框图，该示例中，文本检测框的结果维度为5，代表2个点，4个坐标组成的矩形和旋转角度，图4中42标识的内容检测框图中的框仅作4个点组成的四边形。

在一个可选的示例中，对于表格的识别可以分为三部分，第一部分是表格检测，第二部分是表格内容(所在区域如内容检测框)的检测，第三部分是表格内容的识别如表格文本的识别。该第一部分和第二部分基于上述步骤101-103实现，并且在本实施例中，基于多任务的表格识别模型，可以同时实现表格检测和表格内容检测，输出为与待识别表格大小一致的表格线图和文本检测框图。在保证了表格线解析准确率和文本检测准确率的情况下，将相关技术中独立的两大步骤合并为一步，大大提升了数字版式表格文件文字的识别应用的效率。

本实施例中的表格识别模型，可以通过表格样本训练得到。

可选的，本实施例中,在步骤101之前，可以先对表格识别模型进行训练得到训练完成的表格识别模型。

可选的，本实施例中的表格识别模型的训练方法包括：

获取表格样本以及表格样本的标签，表格样本的标签包括表格样本对应的期望表格线图以及期望内容检测框图；

获取待训练的表格识别模型；

通过表格识别模型的共享特征提取层，对表格样本进行针对表格对象的特征提取，得到表格样本的共享特征图；

通过表格结构处理层，对共享特征图中的表格线特征进行分析，得到表格样本对应的预测表格线图；

通过表格内容处理层，对共享特征图中的表格内容特征进行分析，得到表格样本中的表格内容所对应的预测内容检测框图；

基于预测表格线图、预测内容检测框图、期望表格线图以及期望内容检测框图，计算表格识别模型的损失函数；

基于损失函数调整表格识别模型的参数，直到满足模型训练结束条件。

在一个示例中，损失函数的计算方法包括：根据预测表格线图和期望表格线图计算第一损失函数，基于预测内容检测框图和期望内容检测框图计算第二损失函数，基于第一损失函数和第二损失函数以及各损失函数对应的损失权重进行加权求和，得到总的损失函数作为表格识别模型的损失函数。

即，总的损失函数L＝a1*L1+a2*L2，其中，L1为表格线图的损失，a1为L1的损失权重，L2为内容检测框图的损失，a2为L2的损失权重。在一个示例中，L1可以基于类别均衡交叉熵(class-balanced cross-entropy)计算得到，L2可以采用预测值与真实值的交并比(Intersection over union,IOU)衡量损失，即L2可以基于预测内容检测框图与期望内容检测框图中，相对应的内容检测框的交并比得到。

本实施例中的期望内容检测框图和期望表格线图可以是基于表格样本人工绘制得到的。

可选的，步骤“通过表格识别模型的共享特征提取层，对表格样本进行针对表格对象的特征提取，得到表格样本的共享特征图”，可以包括：

通过特征提取模块，对表格样本进行针对表格对象的特征提取，得到表格样本的中间特征图；

通过特征图转换模块，对中间特征图进行预设转换处理，将中间特征图转换为与表格样本的尺寸一致的共享特征图。

可选的，步骤“通过表格结构处理层，对共享特征图中的表格线特征进行分析，得到表格样本对应的预测表格线图”，可以包括：

通过表格结构处理层，确定共享特征图中的表格线特征，基于表格线特征分析表格样本中表格线的分布，基于分析结果生成预测表格线图，其中，预测表格线图与表格样本的尺寸一致。

可选的，步骤“通过表格内容处理层，对共享特征图中的表格内容特征进行分析，得到表格样本中的表格内容所对应的预测内容检测框图”

通过表格内容处理层，确定共享特征图中的表格内容特征，基于表格内容特征分析表格样本中表格内容的分布，基于各表格内容确定各表格内容对应的内容检测框，基于内容检测框生成预测内容检测框图，其中，预测内容检测框图与表格样本的尺寸一致。

在一个示例中，基于损失函数调整表格识别模型的参数，可以是以收敛损失函数为目标调整表格识别模型的参数，其中，对于表格识别模型的参数调整包括但不限于对共享特征提取层和表格结构处理层以及表格内容处理层的参数的调整。

本实施例中，模型训练结束条件可以包括表格识别模型的训练次数不低于预设训练次数阈值，或者，表格识别模型的损失函数收敛至不超出目标损失值的范围。

在一个示例中，参考图2，表格识别模型还可以包括：内容块分割处理层24，表格样本的标签还包括：表格样本对应的期望内容块分割图，期望内容块分割图中包含表格样本中各表格内容所在的内容分布区域。在一个示例中，可以通过对期望内容检测框图中的内容检测框内部填充取值为1的像素得到，期望内容块分割图中的内容分布区域可以理解为期望内容检测框图中的内容检测框围合而成的区域。如图4所示，图标43所示的图即为内容块分割图，其中的白色块状区域为内容分布区域。

本实施例中，在表格识别模型的训练过程中，步骤“通过表格识别模型的共享特征提取层，对表格样本进行针对表格对象的特征提取，得到表格样本的共享特征图”后，还可以包括：

通过内容块分割处理层，对共享特征图中的表格内容特征进行分析，确定表格样本中各表格内容在表格样本中的内容分布区域，生成预测内容块分割图，预测内容块分割中包括表格样本中识别出的表格内容对应的内容分布区域。

对应的，步骤“基于预测表格线图、预测内容检测框图、期望表格线图以及期望内容检测框图，计算表格识别模型的损失函数”，包括：

根据预测表格线图和期望表格线图计算第一损失函数，基于预测内容检测框图和期望内容检测框图计算第二损失函数，基于预测内容块分割图和期望内容块分割图计算第三损失函数；

基于第一损失函数、第二损失函数和第三损失函数，以及各函数对应的损失权重进行加权求和，得到表格识别模型的总的损失函数。

在该示例中，表格识别模型的损失函数为L＝a1*L1+a2*L2+a3*L3，其中，L3是第三损失函数，即内容块分割图对应的损失函数，该损失函数可以采用类别均衡交叉熵(class-balanced cross-entropy)的方式进行计算，a3为L3的损失权重，在一个示例中，a3的取值可以为1。a1和a2可以根据需要取任意数值，例如取小于1或大于1的任意数值。

在该示例中，内容块分割处理层可以是与表格内容处理层相对独立的网络层，也可以是包括表格内容处理层的网络结构，例如内容块分割处理层包括相互连接的表格内容处理层和图像处理层，该图像处理层接收表格内容处理层输出的预测内容检测框图，将预测内容检测框中的像素变换为与期望内容检测框的像素一致的像素，由此得到预测内容块分割图。

本实施例中，内容块分割图可以是基于内容检测框图得到的，所以内容块分割图参与模型训练，模型可以从多个角度学习到内容检测框的特征，提升模型对内容检测框的识别准确度。

在模型的实际使用中，可停止内容块分割处理层的使用，或者也可以使用内容块分割处理层。

104、基于内容检测框信息，识别待识别表格中内容检测框内的表格内容。

本实施例中，步骤104具体可以包括：基于内容检测框信息，确定待识别表格中的所有内容检测框的位置；基于内容检测框的位置，对待识别表格中各内容检测框中的内容进行内容识别，得到各内容检测框中的表格内容。

在一个示例中，该内容检测框信息可以是内容检测框图，该内容检测框图的尺寸与待识别表格一致，内容检测框图中内容检测框的位置即为内容检测框在待识别表格中的位置。

本实施例中，对待识别表格中各内容检测框中的内容进行内容识别，得到各内容检测框中的表格内容的方案包括：基于内容检测框在待识别表格中的位置，从待识别表格中获取内容检测框对应的子图像，对各个子图像进行识别，例如采用ocr的方式进行文本识别，得到各内容检测框对应的表格内容。其中，获取子图像的方式包括：对待识别表格中的内容检测框进行截图。

105、基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。

在一个示例中，表格线信息为表格线图时，可以基于对表格线图的一系列处理，确定待识别表格中的表格块的位置和形状等信息，然后将表格块和内容检测框对应起来，最终得到识别后表格。

可选的，步骤105具体可以包括：

基于表格线图，确定待识别表格中各个表格块的位置；

基于内容检测框和表格块的位置，计算内容检测框和表格块的重合度；

基于重合度，确定内容检测框和表格块的对应关系；

将内容检测框中识别到的表格内容填入对应的表格块中，生成识别后表格。

参考图5，图5示出了基于表格线图确定表格块位置的原理图。

下面结合图5，对于基于表格线图确定表格块位置的方法，进行详细说明。

如图5所示，先对表格线图51取面积最大轮廓，得到52标识的最大轮廓图，再对52标识的最大轮廓图中的最大轮廓内赋1，外赋0，得到53标识的表格区域掩膜图。

利用表格区域掩膜图与表格线图相乘，相乘之后，表格线图中最大轮廓内图像值保持不变，而最大轮廓外图像值都为0，由此，实现了对表格线图中的表格区域去轮廓，获得表格分块图54。

对于表格分块图54，可以通过取反色，得到表格块轮廓图55，对于表格块轮廓图55，取每个表格轮廓的最小外接矩形即为表格块的轮廓，由此可以确定各个表格块的位置和形状，对于表格块，按照表格块的位置和形状，表格块从左到右、从上到下依次排列，可以得到待填写内容的识别后表格图。

本实施例中，确定表格块的位置后，为了确定表格块中的表格内容，还需要确定表格块和内容检测框的对应关系，本实施例中内容检测框和表格块的重合度，可以通过IOU计算得到，也即，基于内容检测框和表格块的位置对内容检测框和表格块进行交并比值的计算。之后，可以将内容检测框的表格内容填入交并比最大的表格块内。

可选的，在填写表格内容时，可以基于表格内容的语义，将表格内容完整地填入表格块中。

本实施例公开了一种表格识别方法，可以提取共享特征图，该图中包含表格线的特征和表格内容的特征，特征图的提取步骤将表格线的识别和表格内容的识别结合在了一起，由此，将原本独立的表格结构识别方案和表格内容识别方案结合成了同一个方案，有利于降低表格识别所需时间，提升表格识别效率。并且，在模型训练的时候，采用三种标签进行训练，可以使得模型从多个角度学习到内容检测框的特征，有利于提升对内容检测框的检测精度，以及提升表格识别准确度。

为了更好地实施以上方法，相应的，本发明实施例还提供另一种表格识别装置，参考图6，该表格识别装置包括：

特征提取单元61，用于通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图，其中，表格对象包括表格线和表格内容，表格识别模型还包括与共享特征提取层连接的表格结构处理层和表格内容处理层；

表格线处理单元62，用于通过表格结构处理层对共享特征图中的表格线特征进行分析，得到待识别表格的表格线信息；

检测框处理单元63，用于通过表格内容处理层对共享特征图中的表格内容特征进行分析，得到待识别表格中的表格内容所对应的内容检测框信息；

表格内容识别单元64，用于基于内容检测框信息，识别待识别表格中内容检测框内的表格内容；

表格生成单元65，用于基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。

在一些实施例中，共享特征提取层包括特征提取模块和特征图转换模块。

特征提取单元，用于通过特征提取模块，对待识别表格进行针对表格对象的特征提取，得到待识别表格的中间特征图；通过特征图转换模块，对中间特征图进行预设转换处理，将中间特征图转换为与待识别表格的尺寸一致的共享特征图。

在一些实施例中，表格线信息包括表格线图，内容检测框信息包括内容检测框图，内容检测框图中包含从待识别表格中识别到的内容检测框；

表格线处理单元，用于通过表格结构处理层，确定共享特征图中的表格线特征，基于表格线特征分析待识别表格中表格线的分布，基于分析结果生成表格线图，其中，表格线图与待识别表格的尺寸一致；

检测框处理单元，用于通过表格内容处理层，确定共享特征图中的表格内容特征，基于表格内容特征分析待识别表格中表格内容的分布，基于各表格内容确定各表格内容对应的内容检测框，基于内容检测框生成内容检测框图，其中，内容检测框图与待识别表格的尺寸一致。

在一些示例中，本实施例的装置还包括：

训练单元，用于在通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图之前，获取表格样本以及表格样本的标签，表格样本的标签包括表格样本对应的期望表格线图以及期望内容检测框图；获取待训练的表格识别模型；通过表格识别模型的共享特征提取层，对表格样本进行针对表格对象的特征提取，得到表格样本的共享特征图；通过表格结构处理层，对共享特征图中的表格线特征进行分析，得到表格样本对应的预测表格线图；通过表格内容处理层，对共享特征图中的表格内容特征进行分析，得到表格样本中的表格内容所对应的预测内容检测框图；基于预测表格线图、预测内容检测框图、期望表格线图以及期望内容检测框图，计算表格识别模型的损失函数；基于损失函数调整表格识别模型的参数，直到满足模型训练结束条件。

在一些实施例中，表格样本的标签还包括：表格样本对应的期望内容块分割图，表格识别模型还包括：内容块分割处理层，期望内容块分割图中包含表格样本中各表格内容所在的内容分布区域。

训练单元，还用于在通过表格识别模型的共享特征提取层，对表格样本进行针对表格对象的特征提取，得到表格样本的共享特征图后，通过内容块分割处理层，对共享特征图中的表格内容特征进行分析，确定表格样本中各表格内容在表格样本中的内容分布区域，生成预测内容块分割图，预测内容块分割中包括表格样本中的识别出的表格内容对应的内容分布区域；根据预测表格线图和期望表格线图计算第一损失函数，基于预测内容检测框图和期望内容检测框图计算第二损失函数，基于预测内容块分割图和期望内容块分割图计算第三损失函数；基于第一损失函数、第二损失函数和第三损失函数，以及各函数对应的损失权重进行加权求和，得到表格识别模型的总的损失函数。

在一些实施例中，表格内容识别单元，用于基于内容检测框信息，确定待识别表格中的所有内容检测框的位置；基于内容检测框的位置，对待识别表格中各内容检测框中的内容进行内容识别，得到各内容检测框中的表格内容。

在一些实施例中，表格线信息包括表格线图，内容检测框信息包括内容检测框图，内容检测框图中包含从待识别表格中识别到的内容检测框，表格生成单元，用于基于表格线图，确定待识别表格中各个表格块的位置和形状；基于内容检测框和表格块的位置，计算内容检测框和表格块的重合度；基于重合度，确定内容检测框和表格块的对应关系；将内容检测框中识别到的表格内容填入对应的表格块中，生成识别后表格。

采用本实施例的方案，将表格线的识别和表格内容的识别结合在了一起，在获取共享特征图后，通过表格结构处理层对共享特征图中的表格线特征进行分析，可得到待识别表格的表格线信息；通过表格内容处理层对共享特征图中的表格内容特征进行分析，可得到待识别表格中的表格内容所对应的内容检测框信息；基于内容检测框信息，识别待识别表格中内容检测框内的表格内容；基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。由此，将原本独立的表格结构识别方案和表格内容识别方案结合在了一起，有利于降低表格识别所需时间，提升表格识别效率。

本发明实施例还提供一种计算机设备，其集成了本发明实施例所提供的任一种表格识别装置，计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述表格识别方法实施例中任一实施例中的表格识别方法中的步骤。

本发明实施例还提供一种计算机设备，其集成了本发明实施例所提供的任一种表格识别装置。如图7所示，其示出了本发明实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及表格识别。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。

计算机设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能。

例如，若计算机设备为上述的表格识别装置，则计算机设备中的应用程序被执行时，实现如下的步骤：

通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图，其中，表格对象包括表格线和表格内容，表格识别模型还包括与共享特征提取层连接的表格结构处理层和表格内容处理层；

通过表格结构处理层对共享特征图中的表格线特征进行分析，得到待识别表格的表格线信息；

通过表格内容处理层对共享特征图中的表格内容特征进行分析，得到待识别表格中的表格内容所对应的内容检测框信息；

基于内容检测框信息，识别待识别表格中内容检测框内的表格内容；

基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本发明实施例所提供的任一种表格识别方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

通过表格识别模型的共享特征提取层，对待识别表格进行针对表格对象的特征提取，得到待识别表格的共享特征图，其中，表格对象包括表格线和表格内容，表格识别模型还包括与共享特征提取层连接的表格结构处理层和表格内容处理层；

通过表格结构处理层对共享特征图中的表格线特征进行分析，得到待识别表格的表格线信息；

通过表格内容处理层对共享特征图中的表格内容特征进行分析，得到待识别表格中的表格内容所对应的内容检测框信息；

基于内容检测框信息，识别待识别表格中内容检测框内的表格内容；

基于表格线信息，内容检测框信息以及识别到的表格内容，生成待识别表格对应的识别后表格。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种表格识别方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种表格识别方法，其特征在于，包括：

通过表格识别模型的共享特征提取层的特征提取模块，对待识别表格进行针对表格对象的特征提取，得到所述待识别表格的多个维度的中间特征图，其中，所述表格对象包括表格线和表格内容；

通过所述共享特征提取层的特征图转换模块，对多个维度的所述中间特征图进行特征融合处理，得到融合后特征图，对所述融合后特征图进行尺寸转换处理，得到与所述待识别表格的尺寸一致的共享特征图，所述表格识别模型还包括与所述共享特征提取层连接的表格结构处理层和表格内容处理层；

通过所述表格结构处理层对所述共享特征图中的表格线特征进行分析，得到所述待识别表格的表格线信息，其中，所述表格线信息包括表格线图；

通过所述表格内容处理层对所述共享特征图中的表格内容特征进行分析，得到所述待识别表格中的表格内容所对应的内容检测框信息，所述内容检测框信息包括内容检测框图，所述内容检测框图中包含从所述待识别表格中识别到的内容检测框；

基于所述内容检测框信息，识别所述待识别表格中内容检测框内的表格内容；

对所述表格线图取面积最大轮廓得到最大轮廓图，对所述最大轮廓图中的最大轮廓内赋1，最大轮廓外赋0，得到表格区域掩膜图；

将所述表格区域掩膜图与所述表格线图相乘得到表格分块图，对所述表格分块图取反色，得到表格块轮廓图，对表格块轮廓图取每个表格轮廓的最小外接矩形为表格块的轮廓，得到表格块的位置；

基于所述表格块的位置和所述内容检测框图中各内容检测框的位置确定表格块和内容检测框的对应关系，将所述内容检测框中识别到的表格内容填入对应的表格块中，生成识别后表格。

2.根据权利要求1所述的表格识别方法，其特征在于，所述通过所述表格结构处理层对所述共享特征图中的表格线特征进行分析，得到所述待识别表格的表格线信息，包括：

通过所述表格结构处理层，确定所述共享特征图中的表格线特征，基于所述表格线特征分析所述待识别表格中表格线的分布，基于分析结果生成表格线图，其中，所述表格线图与所述待识别表格的尺寸一致；

所述通过所述表格内容处理层对所述共享特征图中的表格内容特征进行分析，得到所述待识别表格中的表格内容所对应的内容检测框信息，包括：

通过所述表格内容处理层，确定所述共享特征图中的表格内容特征，基于所述表格内容特征分析所述待识别表格中表格内容的分布，基于各表格内容确定各表格内容对应的内容检测框，基于所述内容检测框生成内容检测框图，其中，所述内容检测框图与所述待识别表格的尺寸一致。

3.根据权利要求2所述的表格识别方法，其特征在于，所述通过表格识别模型的共享特征提取层的特征提取模块，对待识别表格进行针对表格对象的特征提取，得到所述待识别表格的多个维度的中间特征图之前，还包括：

获取表格样本以及表格样本的标签，所述表格样本的标签包括表格样本对应的期望表格线图以及期望内容检测框图；

获取待训练的表格识别模型；

通过所述表格识别模型的共享特征提取层，对所述表格样本进行针对表格对象的特征提取，得到所述表格样本的共享特征图；

通过所述表格结构处理层，对所述共享特征图中的表格线特征进行分析，得到所述表格样本对应的预测表格线图；

通过所述表格内容处理层，对所述共享特征图中的表格内容特征进行分析，得到所述表格样本中的表格内容所对应的预测内容检测框图；

基于所述预测表格线图、预测内容检测框图、期望表格线图以及期望内容检测框图，计算所述表格识别模型的损失函数；

基于所述损失函数调整所述表格识别模型的参数，直到满足模型训练结束条件。

4.根据权利要求3所述的表格识别方法，其特征在于，所述表格样本的标签还包括：表格样本对应的期望内容块分割图，所述表格识别模型还包括：内容块分割处理层，所述期望内容块分割图中包含所述表格样本中各表格内容所在的内容分布区域；

所述通过所述表格识别模型的共享特征提取层，对所述表格样本进行针对表格对象的特征提取，得到所述表格样本的共享特征图后，还包括：

通过所述内容块分割处理层，对所述共享特征图中的表格内容特征进行分析，确定所述表格样本中各表格内容在所述表格样本中的内容分布区域，生成预测内容块分割图，所述预测内容块分割中包括所述表格样本中识别出的表格内容对应的内容分布区域；

所述基于所述预测表格线图、预测内容检测框图、期望表格线图以及期望内容检测框图，计算所述表格识别模型的损失函数，包括：

根据所述预测表格线图和期望表格线图计算第一损失函数，基于所述预测内容检测框图和期望内容检测框图计算第二损失函数，基于所述预测内容块分割图和期望内容块分割图计算第三损失函数；

基于所述第一损失函数、第二损失函数和第三损失函数，以及各函数对应的损失权重进行加权求和，得到所述表格识别模型的总的损失函数。

5.根据权利要求1-4任一项所述的表格识别方法，其特征在于，所述基于所述内容检测框信息，识别所述待识别表格中内容检测框内的表格内容，包括：

基于所述内容检测框信息，确定所述待识别表格中的所有内容检测框的位置；

基于所述内容检测框的位置，对所述待识别表格中各内容检测框中的内容进行内容识别，得到各内容检测框中的表格内容。

6.根据权利要求5所述的表格识别方法，其特征在于，所述基于所述表格块的位置和所述内容检测框图中各内容检测框的位置确定表格块和内容检测框的对应关系，将所述内容检测框中识别到的表格内容填入对应的表格块中，生成识别后表格，包括：

基于所述内容检测框图中各内容检测框的位置和所述表格块的位置，计算所述内容检测框和表格块的重合度；

基于所述重合度，确定所述内容检测框和表格块的对应关系；

将所述内容检测框中识别到的表格内容填入对应的表格块中，生成识别后表格。

7.一种表格识别装置，其特征在于，包括：

特征提取单元，用于通过表格识别模型的共享特征提取层的特征提取模块，对待识别表格进行针对表格对象的特征提取，得到所述待识别表格的多个维度的中间特征图；通过所述共享特征提取层的特征图转换模块，对多个维度的所述中间特征图进行特征融合处理，得到融合后特征图，对所述融合后特征图进行尺寸转换处理，得到与所述待识别表格的尺寸一致的共享特征图，其中，所述表格对象包括表格线和表格内容，所述表格识别模型还包括与所述共享特征提取层连接的表格结构处理层和表格内容处理层；

表格线处理单元，用于通过所述表格结构处理层对所述共享特征图中的表格线特征进行分析，得到所述待识别表格的表格线信息，其中，所述表格线信息包括表格线图；

检测框处理单元，用于通过所述表格内容处理层对所述共享特征图中的表格内容特征进行分析，得到所述待识别表格中的表格内容所对应的内容检测框信息，所述内容检测框信息包括内容检测框图，所述内容检测框图中包含从所述待识别表格中识别到的内容检测框；

表格内容识别单元，用于基于所述内容检测框信息，识别所述待识别表格中内容检测框内的表格内容；

表格生成单元，用于对所述表格线图取面积最大轮廓得到最大轮廓图，对所述最大轮廓图中的最大轮廓内赋1，最大轮廓外赋0，得到表格区域掩膜图，将所述表格区域掩膜图与所述表格线图相乘得到表格分块图，对所述表格分块图取反色，得到表格块轮廓图，对表格块轮廓图取每个表格轮廓的最小外接矩形为表格块的轮廓，得到表格块的位置，基于所述表格块的位置和所述内容检测框图中各内容检测框的位置确定表格块和内容检测框的对应关系，将所述内容检测框中识别到的表格内容填入对应的表格块中，生成识别后表格。

8.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-6任一项所述方法的步骤。

9.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。

Images