CN115620321B - 表格识别方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开公开了一种表格识别方法及装置、电子设备和存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、大模型、计算机视觉技术领域，可应用于OCR(文字识别技术)等场景。具体为：对表格图像进行特征提取，得到图像特征；将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征；编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征；依据行特征及列特征确定表格图像中的行分割线及列分割线；依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到表格识别结果。本公开可以对对比度较弱、图像明暗分布不均、背景模糊的表格进行精确识别。

Description

表格识别方法及装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，具体为深度学习、图像处理、大模型、计算机视觉技术领域，可应用于OCR(文字识别技术)等场景。尤其涉及一种表格识别方法及装置、电子设备和存储介质。

背景技术

随着办公电子化程度的提高，以纸质形式保存的文档资料逐渐转为以图像形式保存。表格作为一种常用的资料记录形式，对于表格图像的识别对于资料查阅有重要意义。

现有的表格识别方法主要通过以下过程识别图像中的表格：对图像进行灰度及二值化等预处理；通过图像倾斜矫正技术矫正图像的倾斜；分割表格中的各个单元格。

然而，现有技术存在图像预处理阶段不能充分利用图像信息、倾斜矫正阶段对复杂表格矫正效果不好及运算量大等问题，从而无法对对比度较弱、图像明暗分布不均、背景模糊的表格进行精确识别。

发明内容

本公开提供了一种表格识别方法及装置、电子设备和存储介质，主要目的在于实现对对比度较弱、图像明暗分布不均而且背景模糊的表格进行精确识别。

根据本公开的一方面，提供了一种表格识别方法，包括：

对表格图像进行特征提取，得到所述表格图像的图像特征；

将预先定义好的行号及列号转化为目标向量，将所述目标向量作为对应行或列的请求特征；

编码各行的所述请求特征与所述图像特征，得到各行对应的行特征，编码各列的所述请求特征与所述图像特征，得到各列对应的列特征；

依据所述行特征及所述列特征确定所述表格图像中的行分割线及列分割线；

依据所述行特征及所述列特征确定角点特征，依据所述角点特征合并单元格，得到对所述表格图像的表格识别结果。

根据本公开的另一方面，提供了一种表格识别装置，包括：

特征提取模块，用于对表格图像进行特征提取，得到所述表格图像的图像特征；

请求特征确定模块，用于将预先定义好的行号及列号转化为目标向量，将所述目标向量作为对应行或列的请求特征；

特征确定模块，用于编码各行的所述请求特征与所述图像特征，得到各行对应的行特征，编码各列的所述请求特征与所述图像特征，得到各列对应的列特征；

分割线确定模块，用于依据所述行特征及所述列特征确定所述表格图像中的行分割线及列分割线；

表格识别模块，用于依据所述行特征及所述列特征确定角点特征，依据所述角点特征合并单元格，得到对所述表格图像的表格识别结果。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面中任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面中任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面中任一项所述的方法。

在本公开一个或多个实施例中，对表格图像进行特征提取，得到表格图像的图像特征；将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征；编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征；依据行特征及列特征确定表格图像中的行分割线及列分割线，行分割线及列分割线将表格图像分割为多个单元格；依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到对表格图像的表格识别结果。本公开实施例通过提取表格图像的图像特征，并基于图像特征确定行特征、列特征及角点特征，在表格识别过程中充分利用了图像信息，从而可以精准识别对比度较弱、图像明暗分布不均、背景模糊的表格图像。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出本公开实施例提供的一种表格识别方法的流程示意图；

图2是根据本公开第一实施例的表格识别方法的行分割线及列分割线的示意图；

图3是根据本公开第一实施例的表格识别方法的角点的示意图；

图4是根据本公开第一实施例的表格识别方法的依据行列分割线及角点确定单元格的示意图；

图5是根据本公开第一实施例的表格识别方法的角点与单元格的对应关系的示意图；

图6是根据本公开第二实施例的表格识别方法的流程示意图；

图7是根据本公开第三实施例的表格识别方法的流程示意图；

图8是根据本公开第三实施例的表格识别方法的具体场景图；

图9是用来实现本公开实施例的表格识别装置的结构示意图；

图10是用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

随着办公电子化程度的提高，以纸质形式保存的文档资料逐渐转为以图像形式保存。表格作为一种常用的资料记录形式，对于表格图像的识别对于资料查阅有重要意义。

相关技术中，主要通过以下步骤对图像中的表格进行识别：对图像进行灰度及二值化等预处理；通过图像倾斜矫正技术矫正图像的倾斜；分割表格中的各个单元格。

其中，上述对图像的预处理过程通常通过全局阈值法及局部阈值法等方法实现，存在对图像信息利用不充分等问题。例如，全局阈值法仅仅考虑了图像的灰度信息，而忽略了图像中的空间信息，对所有像素采用同一灰度阈值。因此只适合亮度处处均匀且图像直方图具有较明显双峰的理想情况，当图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠时，通常难以获得令人满意的效果。而局部阈值法虽能克服全局阈值法中存在的亮度分布不均的缺陷，但却在存在窗口大小设定的问题，即过小的窗口容易导致线条断裂，过大的窗口又容易使图像失去应有的局部细节。

上述矫正图像倾斜所采用的方法也都存在各自的缺陷。例如，投影法需要计算每个倾斜角度的投影形状，计算量较大。此外，该方法对于具有复杂结构表格的校正效果较差；最近邻簇方法在对具有较多相邻近组成部分的表格进行倾斜矫正时，非常费时，总体性能不理想；矢量化算法需要直接对光栅图像的各个像素进行处理，存储量大，且校正结果的好坏、算法的性能及图像处理的时间、空间成本均极大的依赖于矢量基元的选择；Hough变换计算量大，费时且难以确定直线的起点和终点。

为了解决相关技术存在的上述问题，本公开实施例提供了一种表格识别方法、表格识别装置、电子设备和存储介质。下面结合具体的实施例对本公开进行详细说明。

在第一个实施例中，如图1所示，图1为根据本公开第一实施例的表格识别方法的流程示意图，该方法可依赖于计算机程序实现，可运行于进行表格识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

其中，表格识别装置可以是具有表格识别功能的电子设备，该电子设备包括但不限于：可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中电子设备可以叫做不同的名称，例如：用户设备、接入电子设备、用户单元、用户站、移动站、移动台、远方站、远程电子设备、移动设备、用户电子设备、电子设备、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、第五代移动通信技术(5thGeneration Mobile Communication Technology，5G)网络、第四代移动通信技术(the 4thgeneration mobile communication technology，4G)网络、第三代移动通信技术(3rd-Generation，3G)网络或未来演进网络中的电子设备等。

下面对上述第一实施例的表格识别方法进行详细说明。如图1所述，该表格识别方法包括以下步骤：

S101：对表格图像进行特征提取，得到该表格图像的图像特征；

S102：将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征；

S103：编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征；

S104：依据行特征及列特征确定表格图像中的行分割线及列分割线；

S105：依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到对表格图像的表格识别结果。

在本公开实施例中，在本公开一个或多个实施例中，对表格图像进行特征提取，得到表格图像的图像特征；将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征；编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征；依据行特征及列特征确定表格图像中的行分割线及列分割线，行分割线及列分割线将表格图像分割为多个单元格；依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到对表格图像的表格识别结果。本公开实施例通过提取表格图像的图像特征，并基于图像特征确定行特征、列特征及角点特征，在表格识别过程中充分利用了图像信息，从而可以精准识别对比度较弱、图像明暗分布不均、背景模糊的表格图像。

以下对上述表格识别方法中的各个步骤进行阐述，具体地，上述表格识别方法包括：

S101，对表格图像进行特征提取，得到该表格图像的图像特征。

上述表格图像为包含表格结构的图像。上述图像特征为包含了图像信息的各种特征，包括但不仅限于颜色特征、纹理特征、形状特征、空间关系特征等。

在本公开实施例所提供的表格识别方法中，为了更加充分地利用图像信息，在接收到上述表格图像后，通过对表格图像进行特征提取，获取表格图像的图像特征。示例性地，可以将表格图像输入预训练的神经网络，进而获取到表格图像的图像特征。

可以理解的是，典型的卷积神经网络，如CNN卷积神经网络，其层数加深的过程也是从低层次到高层的语义特征的特征提取过程。通常情况下，低层特征分辨率更高，包含更多位置、细节信息，但语义性也更低，噪声更多。高层特征则具有更强的语义信息，但分辨率低，对细节的感知能力较差。

因此，为了充分结合高层特征及低层特征的优势，优选地，本公开实施例还可以通过以下方法获取表格图像的图像特征：利用特征金字塔网络优化卷积神经网络，将上述表格图像输入优化后的卷积神经网络，得到表格图像的多尺度特征图，将多尺度特征图作为表格图像的图像特征，用于进行后续操作。

S102，将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征。

上述预先定义好的行号及列号为表格图像中的表格结构的预设行与列的编号。例如，对于一个上述表格图像，在通过本公开实施例提供的表格识别方法识别表格图像中的表格结构时，可以先假设该表格结构为5行6列，则对应于表格中的各行，上述行号依次为1至5，对应表格中的各列，上述列号依次为1至6。此外，本示例实施方式所提供的方法可以定义行号及列号的最大值，待识别的表格结构不大于该最大值。

上述目标向量为符合预设格式要求的向量，该目标向量作为表格结构中对应行或者对应的列的queries(即上述请求特征)，用于基于上述图像特征获取对应行的行特征及对应列的列特征。示例性地，上述符合预设格式要求可以为符合用于获取行特征或列特征的行解码器或列解码器的输入格式要求。

示例性地，上述将预先定义好的行号及列号转化为目标向量的实现可以如下：将预先定义好的行号及列号输入Embedding层，得到上述目标向量，其中，上述Embedding层可以将输入数据使用另外一个维度的张量来表示，而不造成信息的损失。

S103，编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征。

在本示例实施方式中，该步骤通过将各行的请求特征与图像特征编码，得到各行对应的行特征；通过将各列的请求特征与图像特征编码，得到各列对应的列特征。例如，以表格结构为5行6列为例，通过步骤S102可以得到各行各列对应的请求特征，以第一行为例，将第一行对应的请求特征与图像特征编码，可以得到第一行的行特征，其余行同理。以第一列为例，将第一列对应的请求特征与图像特征编码，可以得到第一列的列特征，其余列同理。将图像特征与各行或者各列结合起来确定对应的行特征或列特征，使得表格识别过程充分地利用图像信息，从而提高表格识别的精度及准确率。

此外，优选地，在上述过程中，图像特征可以为上述多尺度特征图，且对于编码请求特征与图像特征可以基于对应的行解码器或列解码器实现，则上述过程可以实现如下：将各行的请求特征及多尺度特征图输入目标行解码器，得到各行对应的行特征；将各列的请求特征与多尺度特征图输入目标列解码器，得到各列对应的列特征；其中，目标行解码器及目标列解码器用于编码。此时，上述步骤S102需确保得到的请求特征符合对应目标解码器的输入格式。上述目标行解码器及目标列解码器可以为基于Transformer结构的神经网络。

S104，依据行特征及列特征确定表格图像中的行分割线及列分割线。

在通过S103获取到各行的行特征及各列的列特征后，在该步骤中，本示例实施方式依据行特征及列特征确定表格图像中的行分割线及列分割线。示例性地，该过程可以实现如下：将行特征及列特征输入全连接层，得到对应的输出概率；将输出概率大于预设阈值的行特征的对应行作为表格图像的行分割线，将输出概率大于预设阈值的列特征的对应列作为表格图像的列分割线。

以上述五行六列的表格结构为例，将各行各列对应的行特征及列特征输入神经网络的全连接层，经过全连接层可得到对应的输出概率，将输出概率归一化至(0,1)这一区间内，上述输出概率可用于表征各行为行分割线或各列为列分割线的概率。假设上述预设阈值为0.5为例，则若第一行的行特征在全连接层的对应输出概率大于0.5，则第一行为表格图像中的一个行分割线，反之，第一行不是行分割线。确定其他行及各列是否为行分割线或列分割线的确定方法同理，此处不再赘述。如图2所示，上述行分割线将表格图像分割为多行，列分割线将表格图像分割为多列。

S105，依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到对表格图像的表格识别结果。

为了更加精确地识别表格结构，对于S104确定的行分割线及列分割线构成的表格，需进行进一步的单元格合并操作，该合并单元格的操作需要基于角点特征进行。上述角点指行分割线与列分割线的交点，如图3所示，301所指示的圆点即为一个角点。

上述依据行特征及列特征确定角点特征可以实现如下：对行特征及列特征进行互相关特征增强；依据增强后的行特征及列特征确定角点特征。其中，对行特征及列特征进行互相关特征增强指的是在行特征中引入列特征信息，在列特征中引入行特征信息，从而可以基于经互相关增强后的行特征及列特征确定角点特征。

示例性地，该互相关特征增强可以通过行特征增强器或列特征增强器实现，具体地：将行特征输入行特征增强器，以在行特征中引入列特征信息，将列特征输入列特征增强器，以在列特征中引入行特征信息。其中，行特征增强器及列特征增强器可以为基于Transformer结构的神经网络。

上述依据增强后的行特征及列特征确定角点特征可以实现如下：对增强后的行特征进行列扩展，对增强后的列特征进行行扩展，其中，扩展后的行特征及列特征的行数与列数均相同；对扩展后的行特征及列特征进行按位加操作，得到角点特征表达式。例如，假设经互相关特征增强后的行特征为4行1列，经互相关特征增加后的列特征为1行1列，则通过上述过程，可以将增强后的行特征及列特征均扩展为4行4列。对将扩展后的行特征及列特征的对应位置的元素进行按位相加，即将扩展后的行特征第一行第一列的元素与扩展后的列特征第一行第一列的元素相加，依次类推，得到角点的特征表达式。

依据上述角点的特征表达式可以确定多个角点，结合上述行分割线、列分割线及角点可以将表格图像划分为多个单元格，如图4所示。且以角点为中心，如图5所示，每个角点对应有左上、左下、右上、右下四个单元格。

上述依据角点特征合并单元格，得到对表格图像的表格识别结果可以实现如下：将角点特征表达式输入全连接层，得到对应的输出概率；依据输出概率合并单元格，得到对表格图像的表格识别结果。

其中，上述输出概率包括左上至左下、左上至右上、右上至右下、左下至右下四个方向上的概率预测值。左上至左下方向的概率预测值用于判断当前角点对应的左上单元格与左下单元格是否需要合并；左上至右上方向的概率预测值用于判断当前角点对应的左上单元格与右上单元格是否需要合并；右上至右下方向的概率预测值用于判断当前角点对应的右上单元格与右下单元格是否需要合并；左下至右下方向的概率预测值用于判断当前角点对应的左下单元格与右下单元格是否需要合并。

在通过全连接层获取到上述四个方向上的输出概率后，上述依据输出概率合并单元格可以实现如下：当左上至左下方向的输出概率预测值大于预设阈值时，合并左上及左下的单元格；当左上至右上方向的输出概率预测值大于预设阈值时，合并左上及右上的单元格；当右上至右下方向的输出概率预测值大于预设阈值时，合并右上及右下的单元格；当左下至右下方向的输出概率预测值大于预设阈值时，合并左下及右下的单元格。

示例性地，假设上述预设阈值为0.5，将角点的特征表达式输入至全连接层得到上述四个方向的输出概率值后，对输出概率做归一化处理，将其归一化至(0,1)的区间内。当上述输出概率大于0.5,时，合并对应方向上的单元格。

在上述过程中，在确定角点特征表达后，可以基于角点表达式、行分割线及列分割线确定表格图像的多个单元格。通过利用角点特征对单元格进行合并，可以进一步提高表格识别的精度。

请参见图6，图6是根据本公开第二实施例的表格识别方法的流程示意图。具体地：

S601，对表格图像进行特征提取，得到表格图像的图像特征。

S602，将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征。

S603，编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征。

S604，依据行特征及列特征确定表格图像中的行分割线及列分割线。

S605，依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到对表格图像的表格识别结果。

S606，提取并识别各单元格中的字符。

在确定表格结构后，提取各单元格中的字符并识别。示例性地，可以通过调用字符识别工具或通过预训练的神经网络分类器进行字符识别，从而实现对表格结构及表格内容的完整识别过程。

此外，上述步骤S601至步骤S605中的对应实现细节以在步骤S101至步骤S105中进行了详细的说明，在此不再赘述。

请参见图7与图8，图7是根据本公开第三实施例的表格识别方法的流程示意图，图8为图7所提供的表格识别方法的具体场景图。具体地：

S701，将表格图像输入经金字塔结构优化的卷积神经网络，得到表格图像的多尺度特征图。

S702，将预先定义好的行号和列号输入embedding层，输出符合预设要求的目标向量，作为对应行或列的请求特征。

S703，将上述多尺度特征图和行/列的请求特征输入到基于Transformer结构的行/列解码器中，得到对应的行/列特征。

S704，将行特征及列特征输入全连接层，得到对应的输出概率，并依据输出概率确定行分割线及列分割线。

S705，对行特征及列特征进行互相关特征增强，并基于增强后的行特征及列特征确定角点的特征表达式。

S706，将各个角点的特征输入全连接层，获取输出概率，并依据输出概率合并单元格。

上述步骤S701至步骤S706中的对应实现细节以在步骤S101至步骤S105中进行了详细的说明，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

请参见图9，其示出了用来实现本公开实施例的表格识别装置。该表格识别装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该表格识别装置900包括特征提取模块901、请求特征确定模块902、特征确定模块903、分割线确定模块904和表格识别模块905，其中：

特征提取模块901，用于对表格图像进行特征提取，得到表格图像的图像特征；

请求特征确定模块902，用于将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征；

特征确定模块903，用于编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征；

分割线确定模块904，用于依据行特征及列特征确定表格图像中的行分割线及列分割线；

表格识别模块905，用于依据行特征及列特征确定角点特征，依据角点特征合并单元格，得到对表格图像的表格识别结果。

可选地，上述特征提取模块，用于对表格图像进行特征提取，得到表格图像的图像特征时，具体用于：利用特征金字塔网络优化卷积神经网络，将表格图像输入优化后的卷积神经网络，得到表格图像的多尺度特征图。

可选地，上述行/列特征确定模块，用于编码各行的请求特征与图像特征，得到各行对应的行特征，编码各列的请求特征与图像特征，得到各列对应的列特征，具体用于：将各行的请求特征及多尺度特征图输入目标行解码器，得到各行对应的行特征；将各列的请求特征与多尺度特征图输入目标列解码器，得到各列对应的列特征；其中，目标行解码器及目标列解码器为基于Transformer结构的神经网络。

可选地，上述请求特征确定模块，用于将预先定义好的行号及列号转化为目标向量，将目标向量作为对应行或列的请求特征，具体用于：将预先定义好的行号及列号输入Embedding层，得到目标向量，并将目标向量作为对应行或列的请求特征，上述目标向量为满足目标行解码器或目标列解码器输入格式的向量。

可选地，上述行/列分割线确定模块，用于依据行特征及列特征确定表格图像中的行分割线及列分割线，具体用于：将行特征及列特征输入全连接层，得到对应的输出概率；将输出概率大于预设阈值的行特征的对应行作为表格图像的行分割线，将输出概率大于预设阈值的列特征的对应列作为表格图像的列分割线。

可选地，上述表格识别模块包括特征增强单元与角点特征单元，其中：上述特征增强单元，用于对行特征及列特征进行互相关特征增强；上述角点特征单元，用于依据增强后的行特征及列特征确定角点特征。

可选地，上述特征增强单元，用于对行特征及列特征进行互相关特征增强，具体用于：将行特征输入行特征增强器，以在行特征中引入列特征信息，将列特征输入列特征增强器，以在列特征中引入行特征信息；其中，行特征增强器及列特征增强器基于Transformer结构的神经网络。

可选地，上述角点特征单元，用于依据增强后的行特征及列特征确定角点特征，具体用于：对增强后的行特征进行列扩展，对增强后的列特征进行行扩展，其中，扩展后的行特征及列特征的行数与列数均相同；对扩展后的行特征及列特征进行按位加操作，得到角点特征表达式。

可选地，上述表格识别模块包括输出单元和识别单元，其中：上述输出概率获取单元，用于将角点特征表达式输入全连接层，得到对应的输出概率；上述识别单元，用于依据输出概率合并单元格，得到对表格图像的表格识别结果。

上述每个角点对应左上、左下、右上、右下四个单元格，且输出概率包括左上至左下、左上至右上、右上至右下、左下至右下四个方向的预测值。

可选地，上述识别单元，用于依据输出概率合并单元格，得到对表格图像的表格识别结果，具体用于：当左上至左下方向的输出概率预测值大于预设阈值时，合并左上及左下的单元格；当左上至右上方向的输出概率预测值大于预设阈值时，合并左上及右上的单元格；当右上至右下方向的输出概率预测值大于预设阈值时，合并右上及右下的单元格；当左下至右下方向的输出概率预测值大于预设阈值时，合并左下及右下的单元格。

可选地，上述表格识别装置还可以包括字符识别模块，该字符识别模块用于提取并识别各单元格中的字符。

需要说明的是，上述实施例提供的表格识别装置在执行表格识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的表格识别装置与表格识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法。例如，在一些实施例中，表格识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的表格识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行表格识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种表格识别方法，包括：

对表格图像进行特征提取，得到所述表格图像的图像特征；

将预先定义好的行号及列号转化为目标向量，将所述目标向量作为对应行或列的请求特征；

编码各行的所述请求特征与所述图像特征，得到各行对应的行特征，编码各列的所述请求特征与所述图像特征，得到各列对应的列特征；

依据所述行特征及所述列特征确定所述表格图像中的行分割线及列分割线；

对所述行特征及所述列特征进行互相关特征增强，并依据增强后的所述行特征及所述列特征确定角点特征，依据所述角点特征合并单元格，得到对所述表格图像的表格识别结果。

2.根据权利要求1所述的表格识别方法，其特征在于，所述对表格图像进行特征提取，得到所述表格图像的图像特征，包括：

利用特征金字塔网络优化卷积神经网络，将所述表格图像输入优化后的卷积神经网络，得到所述表格图像的多尺度特征图。

3.根据权利要求2所述的表格识别方法，其特征在于，所述编码各行的所述请求特征与所述图像特征，得到各行对应的行特征，编码各列的所述请求特征与所述图像特征，得到各列对应的列特征，包括：

将各行的所述请求特征及所述多尺度特征图输入目标行解码器，得到各行对应的所述行特征；

将各列的所述请求特征与所述多尺度特征图输入目标列解码器，得到各列对应的所述列特征；

其中，所述目标行解码器及所述目标列解码器基于Transformer结构。

4.根据权利要求3所述的表格识别方法，其特征在于，所述将预先定义好的行号及列号转化为目标向量，将所述目标向量作为对应行或列的请求特征，包括：

将预先定义好的行号及列号输入Embedding层，得到所述目标向量，并将所述目标向量作为对应行或列的请求特征，所述目标向量为满足所述目标行解码器或所述目标列解码器输入格式的向量。

5.根据权利要求3所述的表格识别方法，其特征在于，所述依据所述行特征及所述列特征确定所述表格图像中的行分割线及列分割线，包括：

将所述行特征及所述列特征输入全连接层，得到所述行特征对应的输出概率及所述列特征对应的输出概率；

将所述行特征对应的输出概率大于预设阈值的所述行特征的对应行作为所述表格图像的行分割线，将所述列特征对应的输出概率大于预设阈值的所述列特征的对应列作为所述表格图像的列分割线。

6.根据权利要求1所述的表格识别方法，其特征在于，所述对所述行特征及所述列特征进行互相关特征增强，包括：

将所述行特征输入行特征增强器，以在所述行特征中引入列特征信息，将所述列特征输入列特征增强器，以在所述列特征中引入行特征信息；

其中，所述行特征增强器及所述列特征增强器基于Transformer结构。

7.根据权利要求1所述的表格识别方法，其特征在于，所述依据增强后的所述行特征及所述列特征确定角点特征，包括：

对增强后的所述行特征进行列扩展，对增强后的所述列特征进行行扩展，其中，扩展后的所述行特征及所述列特征的行数与列数均相同；

对扩展后的所述行特征及所述列特征进行按位加操作，得到角点特征表达式。

8.根据权利要求7所述的表格识别方法，其特征在于，所述依据所述角点特征合并所述单元格，得到对所述表格图像的表格识别结果，包括：

将所述角点特征表达式输入全连接层，得到所述角点特征表达式对应的输出概率；

依据所述角点特征表达式对应的输出概率合并所述单元格，得到对所述表格图像的表格识别结果。

9.根据权利要求8所述的表格识别方法，其特征在于，以角点为中心，每个所述角点对应左上、左下、右上、右下四个单元格，且所述角点特征表达式对应的输出概率包括左上至左下、左上至右上、右上至右下、左下至右下四个方向的预测值。

10.根据权利要求9所述的表格识别方法，其特征在于，所述依据所述角点特征表达式对应的输出概率合并所述单元格，包括：

当左上至左下方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并左上及左下的单元格；

当左上至右上方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并左上及右上的单元格；

当右上至右下方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并右上及右下的单元格；

当左下至右下方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并左下及右下的单元格。

11.根据权利要求1-10任一项所述的表格识别方法，其特征在于，在所述依据所述角点特征合并所述单元格之后，所述方法还包括：

提取并识别各所述单元格中的字符。

12.一种表格识别装置，包括：

特征提取模块，用于对表格图像进行特征提取，得到所述表格图像的图像特征；

请求特征确定模块，用于将预先定义好的行号及列号转化为目标向量，将所述目标向量作为对应行或列的请求特征；

特征确定模块，用于编码各行的所述请求特征与所述图像特征，得到各行对应的行特征，编码各列的所述请求特征与所述图像特征，得到各列对应的列特征；

分割线确定模块，用于依据所述行特征及所述列特征确定所述表格图像中的行分割线及列分割线；

表格识别模块，用于对所述行特征及所述列特征进行互相关特征增强，并依据增强后的所述行特征及所述列特征确定角点特征，依据所述角点特征合并单元格，得到对所述表格图像的表格识别结果。

13.根据权利要求12所述的表格识别装置，其特征在于，所述特征提取模块，用于对表格图像进行特征提取，得到所述表格图像的图像特征时，具体用于：

利用特征金字塔网络优化卷积神经网络，将所述表格图像输入优化后的卷积神经网络，得到所述表格图像的多尺度特征图。

14.根据权利要求13所述的表格识别装置，其特征在于，所述特征确定模块，用于编码各行的所述请求特征与所述图像特征，得到各行对应的行特征，编码各列的所述请求特征与所述图像特征，得到各列对应的列特征，具体用于：

将各行的所述请求特征及所述多尺度特征图输入目标行解码器，得到各行对应的所述行特征；

将各列的所述请求特征与所述多尺度特征图输入目标列解码器，得到各列对应的所述列特征；

其中，所述目标行解码器及所述目标列解码器基于Transformer结构。

15.根据权利要求14所述的表格识别装置，其特征在于，所述请求特征确定模块，用于将预先定义好的行号及列号转化为目标向量，将所述目标向量作为对应行或列的请求特征，具体用于：

将预先定义好的行号及列号输入Embedding层，得到所述目标向量，并将所述目标向量作为对应行或列的请求特征，所述目标向量为满足所述目标行解码器或所述目标列解码器输入格式的向量。

16.根据权利要求14所述的表格识别装置，其特征在于，所述分割线确定模块，用于依据所述行特征及所述列特征确定所述表格图像中的行分割线及列分割线，具体用于：

将所述行特征及所述列特征输入全连接层，得到所述行特征对应的输出概率及所述列特征对应的输出概率；

将所述行特征对应的输出概率大于预设阈值的所述行特征的对应行作为所述表格图像的行分割线，将所述列特征对应的输出概率大于预设阈值的所述列特征的对应列作为所述表格图像的列分割线。

17.根据权利要求12所述的表格识别装置，其特征在于，所述表格识别模块包括特征增强单元，所述特征增强单元用于对所述行特征及所述列特征进行互相关特征增强，具体用于：

将所述行特征输入行特征增强器，以在所述行特征中引入列特征信息，将所述列特征输入列特征增强器，以在所述列特征中引入行特征信息；

其中，所述行特征增强器及所述列特征增强器基于Transformer结构。

18.根据权利要求12所述的表格识别装置，其特征在于，所述表格识别模块包括角点特征确定单元，所述角点特征确定单元用于依据增强后的所述行特征及所述列特征确定角点特征，具体用于：

对增强后的所述行特征进行列扩展，对增强后的所述列特征进行行扩展，其中，扩展后的所述行特征及所述列特征的行数与列数均相同；

对扩展后的所述行特征及所述列特征进行按位加操作，得到角点特征表达式。

19.根据权利要求18所述的表格识别装置，其特征在于，所述表格识别模块包括输出概率获取单元和识别单元，其中：

所述输出概率获取单元，用于将所述角点特征表达式输入全连接层，得到所述角点特征表达式对应的输出概率；

所述识别单元，用于依据所述输出概率合并所述单元格，得到对所述表格图像的表格识别结果。

20.根据权利要求19所述的表格识别装置，其特征在于，以角点为中心，每个所述角点对应左上、左下、右上、右下四个单元格，且所述角点特征表达式对应的输出概率包括左上至左下、左上至右上、右上至右下、左下至右下四个方向的预测值。

21.根据权利要求20所述的表格识别装置，其特征在于，所述表格识别模块包括表格识别单元，所述表格识别单元用于依据所述输出概率合并所述单元格，得到对所述表格图像的表格识别结果，具体用于：

当左上至左下方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并左上及左下的单元格；

当左上至右上方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并左上及右上的单元格；

当右上至右下方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并右上及右下的单元格；

当左下至右下方向的所述角点特征表达式对应的输出概率预测值大于预设阈值时，合并左下及右下的单元格。

22.根据权利要求12至21任一项所述的表格识别装置，其特征在于，所述表格识别装置还包括字符识别模块；

所述字符识别模块具体用于：提取并识别各所述单元格中的字符。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其特征在于，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

Images