CN115661847B - 表格结构识别及模型训练方法、装置、设备和存储介质 - Google Patents
表格结构识别及模型训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115661847B CN115661847B CN202211116418.XA CN202211116418A CN115661847B CN 115661847 B CN115661847 B CN 115661847B CN 202211116418 A CN202211116418 A CN 202211116418A CN 115661847 B CN115661847 B CN 115661847B
- Authority
- CN
- China
- Prior art keywords
- text block
- text
- block
- node
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012549 training Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 99
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012015 optical character recognition Methods 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 11
- 238000005096 rolling process Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种表格结构识别及模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及图像处理、深度学习等技术领域。表格结构识别方法包括：获取图像，所述图像中包含表格，所述表格包括至少两个文本块；针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系。本公开可以提高表格结构识别准确度。
Description
技术领域
本公开涉及人工智能技术领域，具体涉及图像处理、深度学习等技术领域，尤其涉及一种表格结构识别及模型训练方法、装置、设备和存储介质。
背景技术
表格是一种常见的数据展示形式，用于表达结构化信息。然而，对于PDF或者图像中的表格，无法直接进行解析、编辑、二次修改。因此，表格识别任务应运而生。
表格识别任务可以分为表格检测、表格结构识别这两个子任务。表格检测任务，即检测表格主体区域，通常采用目标检测/实例分割模型获得检测结果。表格结构识别任务，主要是识别表格中的两两文本块之间的结构信息，进而可以基于结构信息重构表格的行、列和单元格。
发明内容
本公开提供了一种表格结构识别及模型训练方法、装置、设备和存储介质。
根据本公开的一方面，提供了一种表格结构识别方法，包括：获取图像，所述图像中包含表格，所述表格包括至少两个文本块；针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；所述连接关系是基于该文本块与所述另一文本块之间的距离确定的；针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系；其中，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块。
根据本公开的另一方面，提供了一种模型训练方法，包括：获取训练数据，所述训练数据包括：样本图像和标签信息；其中，所述样本图像中包含表格，所述表格包括至少两个文本块；其中，所述标签信息用于指示第一文本块和第二文本块之间的真实结构关系，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；采用图卷积模型，基于所述第一节点特征获取该文本块的第二节点特征；其中，所述图卷积模型的参数包括：该文本块与另一文本块之间的连接关系；以及，基于该文本块的第二节点特征、所述另一文本块的第二节点特征和所述连接关系，构建第一损失函数；针对所述第一文本块和所述第二文本块，采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系；基于所述预测结构关系和所述真实结构关系，构建第二损失函数；基于所述第一损失函数和所述第二损失函数，构建总损失函数；基于所述总损失函数，调整所述图卷积模型的参数和所述分类器的参数，直至满足预设条件，得到目标图卷积模型和目标分类器。
根据本公开的另一方面，提供了一种表格结构识别装置，包括：第一获取模块，用于获取图像，所述图像中包含表格，所述表格包括至少两个文本块；第二获取模块，用于针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；所述连接关系是基于该文本块与所述另一文本块之间的距离确定的；确定模块，用于针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系；其中，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块。
根据本公开的另一方面，提供了一种模型训练装置，包括：获取模块，用于获取训练数据，所述训练数据包括：样本图像和标签信息；其中，所述样本图像中包含表格，所述表格包括至少两个文本块；其中，所述标签信息用于指示第一文本块和第二文本块之间的真实结构关系，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；第一构建模块，用于针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；采用图卷积模型，基于所述第一节点特征获取该文本块的第二节点特征；其中，所述图卷积模型的参数包括：该文本块与另一文本块之间的连接关系；以及，基于该文本块的第二节点特征、所述另一文本块的第二节点特征和所述连接关系，构建第一损失函数；预测模块，用于针对所述第一文本块和所述第二文本块，采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系；第二构建模块，用于基于所述预测结构关系和所述真实结构关系，构建第二损失函数；第三构建模块，用于基于所述第一损失函数和所述第二损失函数，构建总损失函数；调整模块，用于基于所述总损失函数，调整所述图卷积模型的参数和所述分类器的参数，直至满足预设条件，得到目标图卷积模型和目标分类器。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案，可以提高表格结构识别准确度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开实施例适用的应用场景的示意图；
图3是根据本公开实施例提供的整体框架的示意图；
图4是根据本公开第二实施例的示意图；
图5是根据本公开实施例提供的基于K近邻算法确定的图邻接矩阵的示意图；
图6是根据本公开实施例提供的两两文本块之间的结构信息的示意图；
图7是根据本公开第三实施例的示意图；
图8是根据本公开第四实施例的示意图；
图9是根据本公开第五实施例的示意图；
图10是用来实现本公开实施例的表格结构识别方法或模型训练方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开第一实施例的示意图，本实施例提供一种表格结构识别方法，该方法包括：
步骤101、获取图像，所述图像中包含表格，所述表格包括至少两个文本块。
步骤102、针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；所述连接关系是基于该文本块与所述另一文本块之间的距离确定的。
步骤103、针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系；其中，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块。
其中，表格是结构化数据的一种形式，包括至少一行和至少一列，相互交叉的行和列组成单元格，例如，某个表格包括n行m列，则可以组成n*m个单元格，其中，n和m均为正整数。
文本块是表格中的最小文本单元，针对每个单元格，该单元格中可以包括一个或多个文本块。
本实施例以文本块为单元进行处理。每个文本块可以认为是一个节点(node)。
针对任一文本块，第一节点特征是反映该文本块自身信息的特征，可以基于该文本块自身信息确定。
针对任一文本块，第二节点特征融合了其他文本块的信息，可以基于该文本块与另一文本块之间的连接关系对第一节点特征进行更新后获得。
另一文本块是表格包括的至少两个文本块中的一个，与该文本块相同或不同。
例如，任一文本块是文本块i，另一文本块是文本块j，这两个文本块之间的连接关系用Aij表示，假设文本块共有N(N为正整数)个，则针对文本块i(i＝1,2,...,N)，可以采用Aij(j＝1,2,..,N)更新文本块i的第一节点特征，获取文本块i的第二节点特征。上述的i和j可以相同或不同。
一些实施例中，连接关系可以与距离成反向关系，反向关系是指距离越大，连接关系越弱。连接关系可以用关系权重表征，则距离越大，关系权重越小。
例如，针对文本块i和文本块j，假设上述的距离用Dij表示，则Dij与Aij是反向关系，即Dij越大，则Aij越小。
可选的，连接关系是预先确定的，可以是采用训练过程确定的，可以在训练过程中通过选择合适的损失函数，保证距离与连接关系是反向关系。训练过程中，连接关系可以具有初始值，通过构建的损失函数更新连接关系，直至达到预设迭代次数后确定最终的连接关系。损失函数可以是关于距离的正相关函数，即距离越大，损失函数越大。更新后的参数可以是更新前的参数-梯度值，梯度值是基于损失函数求导获得的，因此，若损失函数越大，则参数(连接关系对应的参数)越小，又由于损失函数是关于距离的正相关函数，则距离越大、损失函数越大、连接关系对应的参数值越小。
上述的距离可以具体是两个文本块对应的两个向量之间的距离，该距离可以具体为欧式距离。
通过连接关系与距离成反向关系，针对任一文本块，可以更准确地融合其他文本块的信息，提高第二节点特征的准确度。
获取各个文本块的第二节点特征后，可以基于两两文本块(第一文本块和第二文本块)的第二节点特征确定两两文本块的结构关系，结构关系可以包括两两文本块是否位于同一行、是否位于同一列、是否位于同一单元格。
本实施例中，针对所述任一文本块，基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；因此，第二节点特征融合了其他文本块的信息，进一步地，由于连接关系基于距离确定，可以更准确地融合其他文本块的信息，提高第二节点特征的准确度，进而基于第二节点特征获取两两文本块的结构关系，可以提高表格结构识别的准确度。
为了更好地理解本公开实施例，下面对本公开实施例适用的应用场景进行说明。
如图2所示，用户可以在客户端输入待识别的图像，该图像中包含表格，客户端将图像发送至服务端，由服务端对图像进行识别，以获得图像中表格的结构信息。之后，可以基于表格的结构信息重建结构化的表格，并反馈给客户端。客户端可以部署在用户终端201上，用户终端可以为个人电脑(Personal Computer)、笔记本电脑、移动设备(如手机)等。服务端可以部署在服务器202上，服务器可以为本地服务器或者云端服务器等，服务器可以为单个服务器或者服务器集群。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
表格结构识别的整体架构可以包括：编码层、基于K近邻的图卷积模型、基于全局的成对采样(Pairwise Sampling)与联合二分类网络。
编码层用于获得任一文本块的第一节点特征。
其中，如图3所示，假设图像中表格包括7个文本块，则生成7个第一节点特征，分别用x0～x6表示。
相应的，编码层包括：获取位置信息、图像、文本信息的部分，获取位置特征、图像特征、文本特征的部分，以及Transformer部分(具体是Transformer的encoder部分)。
基于K近邻的图卷积模型，用于基于两两文本块(文本块i与文本块j)之间的连接关系，对第一节点特征进行更新处理，以获得任一文本块的第二节点特征。
其中，第二节点特征在图3中用图节点特征表示。
图卷积模型的可学习参数包括：图邻接矩阵A和卷积层参数W，即A和W可以是在训练阶段确定的。
假设表格中文本块的个数是N，则图邻接矩阵A的维度是N*N，即共用N*N个元素。
在训练阶段，为了降低运算量，可以采用K近邻(K nearest neighbours)算法，确定图邻接矩阵A中待调整的元素，该待调整的元素可以称为第一元素，其余元素可以称为第二元素，第二元素在训练过程中可以固定不变，如固定为0。
获取第一节点特征后，将第一节点特征输入到图卷积模型中，采用图卷积模型中的图邻接矩阵A和卷积层参数W，对第一节点特征进行处理，图卷积模型的输出是第二节点特征(图节点特征)，从而可以获得各个文本块的第二节点特征。
基于全局的成对采样(Pairwise Sampling)与联合二分类网络，用于基于两两文本块(第一文本块和第二文本块)的第二节点特征，确定两两文本块之间的结构关系。
针对两两文本块，可以对两两文本块的第二节点特征进行拼接，以获得拼接特征，图3中用成对采样表示。
将两两文本块的拼接特征输入到分类器中，分类器的输出是两两文本块之间的结构关系。
结构关系可以包括：是否位于同一行(row)、是否位于同一列(column)、是否位于同一单元格(cell)。
如图3所示，针对两两文本块，采用行分类器判断两者是否位于同一行，采用列分类器判断两者是否位于同一列，采用单元格分类器判断两者是否位于同一单元格。
以行分类器为例，行分类器的输出是同行概率，如0.8，可以设置阈值，若同行概率大于该阈值，确定两两文本块是同行，即位于表格的同一行。
整体架构的模型可以包括图卷积模型和各种分类器，图卷积模型包括图邻居矩阵A和卷积层(卷积层参数是W)，各种分类器可以是深度神经网络模型，例如各种逻辑回归(logistic)模型。
图卷积模型和分类器可以是在训练阶段确定的。
训练阶段是基于总损失函数调整图卷积模型的参数(A和W)以及分类器的参数，总损失函数是基于图学习损失函数和联合二分类交叉熵损失函数构建的。
图学习损失函数是自监督的，联合二分类交叉熵损失函数是监督的，本实施例的整体方案可以称为基于图学习卷积网络的半监督学习(Semi-supervised Learning withGraph Learning-Convolutional Networks，GLCN)。
具体计算公式可以参见后续实施例的描述。
结合上述的应用场景，本公开还提供一种表格结构识别方法。
图4是根据本公开第二实施例的示意图，本实施例提供一种表格结构识别方法，该方法包括：
步骤401、获取图像，所述图像中包含表格，所述表格包括至少两个文本块。
步骤402、针对所述至少两个文本块中任一文本块，获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征；以及，基于该文本块的所述位置特征、所述文本特征和所述图像特征，获取该文本块的第一节点特征。
其中，可以对所述图像进行光学字符识别(optical character recognition，OCR)处理，以获取该文本块的位置信息和该文本块的文本信息；对该文本块的位置信息进行编码处理，以获取该文本块的位置特征；对该文本块的文本信息进行编码处理，以获取该文本块的文本特征。
其中，假设任一文本块用文本块a表示，位置信息可以用二维坐标{x0,y0,x1,y1}表示，{x0,y0}是文本块a所在区域(一般是矩形)的左上角的坐标，{x1,y1}是文本块a所在区域的右下角的坐标。
文本信息是文本块a中的具体文本内容。
其中，特征(feature)也可以称为嵌入(embedding)，可以用向量表征，相应的，位置特征、文本特征和图像特征可以分别表示为bbox_embedding，text_embedding和image_embedding。
具体地，针对文本特征，每个文本块的文本信息中可以有一个或多个词语，可以通过查词向量表得到每个文本块的文本特征。
针对图像特征，可以基于每个文本块的位置信息截取图像中文本块对应的子图，采用卷积神经网络(Convolutional Neural Networks，CNN)对子图进行特征提取，以获取每个文本块的图像特征。
针对位置特征，可以查询坐标向量表，基于坐标向量表获取每个文本块的位置特征。
其中，如图3所示，可以对位置特征、文本特征和图像特征进行相加，将相加后的特征输入到transformer网络中，经过transformer网络(具体是tranformer网络的encoder)的处理，输出第一节点特征。
如图3所示，假设表格包括7个文本块，则生成7个第一节点特征，分别用x0～x6表示。
本实施例中，第一节点特征融合了位置特征、文本特征和图像特征，也就是融合了多种维度的信息，从而可以提高特征表达能力，进而提高表格结构识别效果。
步骤403、针对所述任一文本块，将该文本块的所述第一节点特征输入到预先训练的图卷积模型中，所述图卷积模型的参数包括：所述连接关系；采用所述图卷积模型，对所述第一节点特征进行处理，以输出该文本块的第二节点特征。
其中，如图3所示，第二节点特征用图节点特征表示。
连接关系可以用矩阵表征，矩阵可以称为图邻接矩阵，用A表示。
另外，图卷积模型的参数还可以包括：卷积层参数，用W表示(图3中未示出)。
基于第一节点特征获取第二节点特征的计算公式可以如下：
X'＝F(A×X×W)
其中，X是第一节点特征，假设表格中文本块的个数是N，节点特征的维度是D，则X的维度是N*D；
A是图邻接矩阵，维度是N*N；
W是卷积层参数，维度是D*D；卷积层可以为一层或多层，例如，卷积层为一层，则W为W1，卷积层为两层，则W包括W1和W2。
X’是第二节点特征，维度是N*D；
F是激活函数，可以是sigmoid函数或者ReLU函数。
以ReLU函数为例，针对图卷积模型的第l个卷积层，输入输出关系的计算公式是：
node_hiddenl＝ReLU(A×node_hiddenl-1×Wl)；
其中，node_hiddenl-1是第l层的输入，node_hiddenl是第l层的输出，Wl是第l层的卷积层参数；
第1层的输入是第一节点特征，即node_hidden0是第一节点特征；
最后一层卷积层的输出是第二节点特征，假设图卷积模型共有L层卷积层，则第L层卷积层的输出node_hiddenL是第二节点特征。
其中，A和W是训练过程中确定的，在预测阶段，可以直接采用训练获得的A和W。
针对每个文本块，每个文本块可以认为是一个节点，每个文本块的第一节点特征是反映自身节点的信息，而由于A是图邻接矩阵，第二节点特征是基于A获得的，因此，第二节点特征融合了其他节点的信息，可以认为是利用邻接节点的信息更新自身节点信息。
本实施例中，采用图卷积模型更新第一节点特征，以获取第二节点特征，可以使得第二节点特征融合了其他节点的信息，提高表格结构识别的准确度。
如上描述，图邻接矩阵A是经过训练后获得的。
A的维度是N*N，A中的每个元素可以用Aij表示，i,j＝1,2,...,N。
在训练过程中，为了减少可调整的参数量，可以选择部分元素是可调整的，其余元素保持固定不变。
即，所述连接关系采用矩阵表征，所述矩阵中的元素包括：第一元素和第二元素，且所述第一元素在训练过程中是可调整的，所述第二元素在训练过程中固定不变。例如，第二元素固定为0。
其中，所述第一元素是基于该文本块和该文本块的邻近文本块确定的，所述邻近文本块是在所述至少两个文本块中基于与该文本块的距离选择的预设个数的文本块。例如，基于K近邻算法确定邻近文本块。
假设表格中有6个文本块，分别用node1～node6表示，则图邻接矩阵A的维度是6*6，共36个元素，假设针对其中的node3，其K近邻(假设K＝3)为node1、node3和node4，则图邻接矩阵的元素可以如图5所示，其中的A13、A31、A33、A34、A43在训练过程中是可调整的，其余元素固定为0。
本实施例中，第一元素是基于K近邻算法确定的，且所述第一元素在训练过程中是可调整的，所述第二元素在训练过程中固定为0，可以降低训练过程中的参数量，提高训练效率。
步骤404、对第一文本块的第二节点特征和第二文本块的第二节点特征进行拼接处理，以获取拼接特征；以及，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系。
其中，第一文本块和第二文本块是表格中的任意两个文本块，比如分别是文本块a和文本块b。
上述步骤可以获得各个文本块的第二节点特征(图节点特征)，之后，可以基于两两文本块的第二节点特征确定两两文本块的结构关系。
例如，可以对文本块a的第二节点特征和文本块b的第二节点特征进行拼接，假设文本块a的第二节点特征是[1,1,0]，文本块b的第二节点特征是[0,1,0]，则拼接特征是[1,1,0,0,1,0]；基于拼接特征确定文本块a和文本块b之间的结构关系。
其中，可以采用预先训练的分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系。
结构关系可以包括如下项中的至少一项：是否位于同一行(same row)、是否位于同一列(same column)、是否位于同一单元格(same cell)。
相应地，所述采用预先训练的分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块的结构信息包括如下项中的至少一项：
采用第一分类器，对输入的所述拼接特征进行处理，以输出同行概率，基于所述同行概率确定所述第一文本块与所述第二文本块是否位于同一行；
采用述同列概率确定所述第一文本块与所述第二文本块是否位于同一列；
采用第三分类器，对输入的所述拼接特征进行处理，以输出同单元格概率，基于所述同单元格概率确定所述第一文本块与所述第二文本块是否位于同一单元格。
例如，如图3所示，针对两两文本块(第一文本块和第二文本块)，拼接特征用成对采样表示，三个分类器分别用行分类器、列分类器和单元格分类器表示，拼接特征分别输入到三个分类器中，各个分类器的输出是对应的概率值，比如，行分类器的输出是同行概率。之后若概率值大于对应的预设值，则最终结果是位于同一行、位于同一列或者位于同一单元格。不同分类器对应的预设值可以相同或不同。
比如，参见图6，文本块a和文本块b是位于同一行、位于同一列，且位于同一单元格。
确定两两文本块之间的结构关系后，可以基于该结构关系重构表格，比如，遍历每个文本块对应的节点，以该节点作为起点寻找最大连通图，图中包含的节点是互相依赖的节点，通过连通图还原表格中的行、列、单元格以及文本块之间的关系。
分类器是预先训练的深度神经网络模型，可以采用各种相关的二分类模型，如逻辑回归(logistic)模型。
本实施例中，对第一文本块的第二节点特征和第二文本块的第二节点特征进行拼接处理，基于拼接特征确定所述第一文本块与所述第二文本块之间的结构关系，可以采用成对采样的方式确定成对文本块之间的结构关系，提高表格结构识别的效率。
本实施例中，通过多个分类器中的每个分类器分别识别一种结构关系，可以提高每个分类器的精准性，从而提高表格结构识别的精准度。
上述实施例中涉及了图卷积网络和分类器，下面对模型的训练过程进行说明。
图7是根据本公开第三实施例的示意图，本实施例提供一种模型训练方法，该方法包括：
步骤701、获取训练数据，所述训练数据包括：样本图像和标签信息；其中，所述样本图像中包含表格，所述表格包括至少两个文本块；其中，所述标签信息用于指示第一文本块和第二文本块之间的真实结构关系，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块。
步骤702、针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；采用图卷积模型，基于所述第一节点特征获取该文本块的第二节点特征；其中，所述图卷积模型的参数包括：该文本块与另一文本块之间的连接关系；以及，基于该文本块的第二节点特征、所述另一文本块的第二节点特征和所述连接关系，构建第一损失函数。
步骤703、针对所述第一文本块和所述第二文本块，采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系。
步骤704、基于所述预测结构关系和所述真实结构关系，构建第二损失函数。
步骤705、基于所述第一损失函数和所述第二损失函数，构建总损失函数。
步骤706、基于所述总损失函数，调整所述图卷积模型的参数和所述分类器的参数，直至满足预设条件，得到目标图卷积模型和目标分类器。
其中，训练过程中，样本图像可以是预先收集的，真实结构关系可以是人工标注的，例如，两个文本块位于同一行的，可以将真实同行概率标注为1，否则标注为0。
本实施例中，针对所述任一文本块，基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；因此，第二节点特征融合了其他文本块的信息，由于融合其他文本块的信息，可以提高第二节点特征的准确度，进而基于第二节点特征构建的总损失函数会更加准确，基于总损失函数训练的模型也更加准确。
一些实施例中，所述获取该文本块的第一节点特征，包括：获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征；基于该文本块的所述位置特征、所述文本特征和所述图像特征，获取该文本块的第一节点特征。
本实施例中，第一节点特征融合了位置特征、文本特征和图像特征，也就是融合了多种维度的信息，从而可以提高特征表达能力，进而提高表格结构识别效果。
一些实施例中，所述获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征，包括：
对所述图像进行光学字符识别OCR处理，以获取该文本块的位置信息和文本信息；
对该文本块的位置信息进行编码处理，以获取该文本块的位置特征；
对该文本块的文本信息进行编码处理，以获取该文本块的文本特征；
基于该文本块的位置信息，对所述图像进行编码处理，以获取该文本块的图像特征。
本实施例中，通过上述OCR和编码处理，可以获得多种维度的特征。
一些实施例中，所述连接关系采用矩阵表征；
所述方法还包括：
针对该文本块，确定该文本块的邻近文本块，并基于该文本块和所述邻近文本块确定所述矩阵中的第一元素，所述邻近文本块是在所述至少两个文本块中基于与该文本块的距离选择的预设个数的文本块；
所述基于所述总损失函数，调整所述图卷积模型的参数包括：
基于所述总损失函数调整所述第一元素，以及，保持第二元素固定不变，所述第二元素是所述矩阵中除了所述第一元素之外的其他元素。
其中，第一元素可以是基于K近邻算法确定的，第二元素可以固定为0。
例如，假设表格中有6个文本块，分别用node1～node6表示，则图邻接矩阵A的维度是6*6，共36个元素，假设针对其中的node3，其K近邻(假设K＝3)为node1、node3和node4，则图邻接矩阵的元素可以如图5所示，其中的A13、A31、A33、A34、A43在训练过程中是可调整的，其余元素固定为0。
本实施例中，第一元素在训练过程中是可调整的，所述第二元素在训练过程中固定不变，可以降低训练过程中的参数量，提高训练效率。
一些实施例中，所述采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系，包括：
对所述第一文本块的第二节点特征和所述第二文本块的第二节点特征进行拼接处理，以获取拼接特征；
采用分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的预测结构关系。
本实施例中，对第一文本块的第二节点特征和第二文本块的第二节点特征进行拼接处理，基于拼接特征确定所述第一文本块与所述第二文本块之间的结构关系，可以采用成对采样的方式确定成对文本块之间的结构关系，提高采用模型识别表格结构的效率。
一些实施例中，所述预测结构关系包括如下项中的至少一项：预测同行概率、预测同列概率、预测同单元格概率；
所述采用分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的预测结构关系，包括如下项中的至少一项：
采用第一分类器，对输入的所述拼接特征进行处理，以输出所述预测同行概率；
采用第二分类器，对输入的所述拼接特征进行处理，以输出所述预测同列概率；
采用第三分类器，对输入的所述拼接特征进行处理，以输出所述预测同单元格概率。
本实施例中，通过多个分类器中的每个分类器分别识别一种结构关系，可以提高每个分类器的精准性，从而提高模型的精准度。
其中，所述第一损失函数用于约束所述连接关系与距离成反向关系，所述距离是该文本块与所述另一文本块之间的距离。
其中，所述距离可以基于该文本块的第二节点特征和所述另一文本块的第二节点特征确定。
本实施例中，通过第一损失函数约束连接关系与距离成反向关系，可以更准确的确定连接关系，进而提高模型的精准度。
模型训练阶段涉及损失函数的构建，各个损失函数的计算公式如下：
第一损失函数的计算公式可以是：
其中，lossgraph_conv是第一损失函数，即图3中的图学习损失函数。
N是表格中文本块的个数；
Aij是文本块i与文本块j之间的关系权重，i,j＝1,2,...,N；
η和γ是设置的超参数；
vi是文本块i的第二节点特征，vj是文本块j的第二节点特征；vi和vj均为向量形式；
是L2范数，/>是Frobenius范数。
为文本块i与文本块j之间的距离。
其中，引入K近邻算法后的图邻接矩阵A可以用AK表示，AK的维度依然是N*N，只是有些元素固定为0。
上述的Aij是AK中的元素。
针对任一文本块(用文本块i表示)，
第二损失函数的计算公式可以是：
其中，lossmulti_logistic是第二损失函数，即图3中的联合二分类交叉熵损失函数；
C是分类器的个数，图3中以C＝3为例；
pj是第j个分类器对应的预测结构关系；
yj是第j个分类器对应的真实结构关系；
λ是设置的超参数；
θ是所有分类器包括的所有参数的集合；
是L2范数。
预测结构关系的计算公式可以是：
p(yj＝0|x)＝1-pj
其中，wlj和blj是第j(j＝1,2,...,C)个分类器的模型参数。
在训练阶段，可以基于预测结构关系构建第二损失函数；
在推理阶段，分类器的输出信息可以用表示，以三个分类器为例，可以获得/>即分别是同行概率、同列概率和同单元格概率。
总损失函数的计算公式可以是：
loss＝α×lossgraph_conv+β×lossmulti_logistic
其中，α和β是设置的超参数，且α+β＝1。
获得总损失函数后，可以基于总损失函数调整模型参数，直至满足预设条件，得到目标图卷积模型和目标分类器。例如，可以采用反向传播(Back Propagation，BP)算法调整模型参数。所调整的模型参数包括：图卷积模型中的参数和分类器的参数；其中，图卷积模型中的参数包括图邻接矩阵A和卷积层参数W，其中，针对图邻接矩阵A，可以具体是调整A中的第一元素，而固定第二元素为0；分类器的参数可以包括上述的wlj和blj。
调整参数可以是：调整后的参数＝调整前的参数-学习率*梯度值，其中梯度值可以对总损失函数针对参数进行求导后获得，学习率是预设的超参数。各个参数的初始值可以是设置的，例如，可以针对各个参数进行随机化处理，随机获得各个参数的初始值。
预设条件例如是调整次数达到预设值，可以将满足预设条件的模型作为目标模型(包括目标图卷积模型和目标分类器)，目标模型可以用于推理阶段的表格结构识别。
图8是根据本公开第四实施例的示意图，本实施例提供一种表格结构识别装置，该装置800包括：第一获取模块801、第二获取模块802和确定模块803。
第一获取模块801用于获取图像，所述图像中包含表格，所述表格包括至少两个文本块；第二获取模块802用于针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；所述连接关系是基于该文本块与所述另一文本块之间的距离确定的；确定模块803用于针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系；其中，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块。
本实施例中，针对所述任一文本块，基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；因此，第二节点特征融合了其他文本块的信息，进一步地，由于连接关系基于距离确定，可以更准确地融合其他文本块的信息，提高第二节点特征的准确度，进而基于第二节点特征获取两两文本块的结构关系，可以提高表格结构识别的准确度。
一些实施例中，所述第二获取模块802进一步用于：获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征；基于该文本块的所述位置特征、所述文本特征和所述图像特征，获取该文本块的第一节点特征。
本实施例中，第一节点特征融合了位置特征、文本特征和图像特征，也就是融合了多种维度的信息，从而可以提高特征表达能力，进而提高表格结构识别效果。
一些实施例中，所述第二获取模块802进一步用于：
对所述图像进行光学字符识别OCR处理，以获取该文本块的位置信息和该文本块的文本信息；对该文本块的位置信息进行编码处理，以获取该文本块的位置特征；对该文本块的文本信息进行编码处理，以获取该文本块的文本特征；基于该文本块的位置信息，对所述图像进行编码处理，以获取该文本块的图像特征。
本实施例中，通过上述的OCR、编码处理可以获得多种维度的特征。
一些实施例中，所述第二获取模块802进一步用于：
将所述第一节点特征输入到预先训练的图卷积模型中，所述图卷积模型的参数包括：所述连接关系；采用所述图卷积模型，对所述第一节点特征进行处理，以输出所述第二节点特征。
本实施例中，采用图卷积模型更新第一节点特征，以获取第二节点特征，可以使得第二节点特征融合了其他节点的信息，提高表格结构识别的准确度。
一些实施例中，所述连接关系采用矩阵表征，所述矩阵中的元素包括：第一元素和第二元素，且所述第一元素在训练过程中是可调整的，所述第二元素在训练过程中固定不变。
本实施例中，所述第一元素在训练过程中是可调整的，所述第二元素在训练过程中固定不变，可以降低训练过程中的参数量，提高训练效率。
一些实施例中，所述确定模块803进一步用于：
对所述第一文本块的第二节点特征和所述第二文本块的第二节点特征进行拼接处理，以获取拼接特征；基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系。
本实施例中，对第一文本块的第二节点特征和第二文本块的第二节点特征进行拼接处理，基于拼接特征确定所述第一文本块与所述第二文本块之间的结构关系，可以采用成对采样的方式确定成对文本块之间的结构关系，提高表格结构识别的效率。
一些实施例中，所述确定模块803进一步用于：
采用预先训练的分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系。
本实施例中，通过采用分类器可以准确地确定两两文本块的结构关系。
一些实施例中，所述结构关系包括如下项中的至少一项：是否位于同一行、是否位于同一列、是否位于同一单元格；
所述确定模块803进一步用于：
采用第一分类器，对输入的所述拼接特征进行处理，以输出同行概率，基于所述同行概率确定所述第一文本块与所述第二文本块是否位于同一行；
采用第二分类器，对输入的所述拼接特征进行处理，以输出同列概率，基于所述同列概率确定所述第一文本块与所述第二文本块是否位于同一列；
采用第三分类器，对输入的所述拼接特征进行处理，以输出同单元格概率，基于所述同单元格概率确定所述第一文本块与所述第二文本块是否位于同一单元格。
本实施例中，通过多个分类器分别识别一种结构信息，可以提高每个分类器的精准性，从而提高表格结构识别的精准度。
一些实施例中，所述连接关系与所述距离成反向关系。
本实施例中，通过连接关系与距离成反向关系，针对任一文本块，可以更准确地融合其他文本块的信息，提高第二节点特征的准确度。
图9是根据本公开第五实施例的示意图，本实施例提供一种模型训练装置，该装置900包括：获取模块901、第一构建模块902、预测模块903、第二构建模块904、第三构建模块905和调整模块906。
获取模块901用于获取训练数据，所述训练数据包括：样本图像和标签信息；其中，所述样本图像中包含表格，所述表格包括至少两个文本块；其中，所述标签信息用于指示第一文本块和第二文本块之间的真实结构关系，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；第一构建模块902用于针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；采用图卷积模型，基于所述第一节点特征获取该文本块的第二节点特征；其中，所述图卷积模型的参数包括：该文本块与另一文本块之间的连接关系；以及，基于该文本块的第二节点特征、所述另一文本块的第二节点特征和所述连接关系，构建第一损失函数；预测模块903用于针对所述第一文本块和所述第二文本块，采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系；第二构建模块904用于基于所述预测结构关系和所述真实结构关系，构建第二损失函数；第三构建模块905用于基于所述第一损失函数和所述第二损失函数，构建总损失函数；调整模块906用于基于所述总损失函数，调整所述图卷积模型的参数和所述分类器的参数，直至满足预设条件，得到目标图卷积模型和目标分类器。
本实施例中，针对所述任一文本块，基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；因此，第二节点特征融合了其他文本块的信息，由于融合其他文本块的信息，可以提高第二节点特征的准确度，进而基于第二节点特征构建的总损失函数会更加准确，基于总损失函数训练的模型也更加准确。
一些实施例中，所述第一构建模块902进一步用于：
获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征；基于该文本块的所述位置特征、所述文本特征和所述图像特征，获取该文本块的第一节点特征。
本实施例中，第一节点特征融合了位置特征、文本特征和图像特征，也就是融合了多种维度的信息，从而可以提高特征表达能力，进而提高表格结构识别效果。
一些实施例中，所述第一构建模块902进一步用于：
对所述图像进行光学字符识别OCR处理，以获取该文本块的位置信息和文本信息；
对该文本块的位置信息进行编码处理，以获取该文本块的位置特征；
对该文本块的文本信息进行编码处理，以获取该文本块的文本特征；
基于该文本块的位置信息，对所述图像进行编码处理，以获取该文本块的图像特征。
本实施例中，通过上述OCR和编码处理，可以获得多种维度的特征。
一些实施例中，所述连接关系采用矩阵表征；
所述装置还包括：确定模块，用于针对该文本块，确定该文本块的邻近文本块，并基于该文本块和所述邻近文本块确定所述矩阵中的第一元素，所述邻近文本块是在所述至少两个文本块中基于与该文本块的距离选择的预设个数的文本块；
所述调整模块906进一步用于：基于所述总损失函数调整所述第一元素，以及，保持第二元素固定不变，所述第二元素是所述矩阵中除了所述第一元素之外的其他元素。
本实施例中，第一元素在训练过程中是可调整的，所述第二元素在训练过程中固定不变，可以降低训练过程中的参数量，提高训练效率。
一些实施例中，所述预测模块903进一步用于：
对所述第一文本块的第二节点特征和所述第二文本块的第二节点特征进行拼接处理，以获取拼接特征；采用分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的预测结构关系。
本实施例中，对第一文本块的第二节点特征和第二文本块的第二节点特征进行拼接处理，基于拼接特征确定所述第一文本块与所述第二文本块之间的结构关系，可以采用成对采样的方式确定成对文本块之间的结构关系，提高采用模型识别表格结构的效率。
一些实施例中，所述预测结构关系包括如下项中的至少一项：预测同行概率、预测同列概率、预测同单元格概率；
所述采用分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的预测结构关系，包括如下项中的至少一项：
采用第一分类器，对输入的所述拼接特征进行处理，以输出所述预测同行概率；
采用第二分类器，对输入的所述拼接特征进行处理，以输出所述预测同列概率；
采用第三分类器，对输入的所述拼接特征进行处理，以输出所述预测同单元格概率。
本实施例中，通过多个分类器中的每个分类器分别识别一种结构关系，可以提高每个分类器的精准性，从而提高模型的精准度。
一些实施例中，所述第一损失函数用于约束所述连接关系与距离成反向关系，所述距离是该文本块与所述另一文本块之间的距离。
本实施例中，通过第一损失函数约束连接关系与距离成反向关系，可以更准确的确定连接关系，进而提高模型的精准度。
可以理解的是，本公开实施例中，不同实施例中的相同或相似内容可以相互参考。
可以理解的是，本公开实施例中的“第一”、“第二”等只是用于区分，不表示重要程度高低、时序先后等。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备1000旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备1000还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储电子设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如表格结构识别方法或模型训练方法。例如，在一些实施例中，表格结构识别方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的表格结构识别方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行表格结构识别方法或模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程检索装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种表格结构识别方法，包括：
获取图像，所述图像中包含表格，所述表格包括至少两个文本块；
针对所述至少两个文本块中任一文本块：
获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；所述连接关系是基于该文本块与所述另一文本块之间的距离确定的，且所述连接关系与所述距离成反向关系；
针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系；其中，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；
其中，所述连接关系用图邻接矩阵表征，所述图邻接矩阵是图卷积模型的参数，所述图卷积模型的参数是基于总损失函数调整的，所述总损失函数是基于第一损失函数和第二损失函数构建的，所述第一损失函数是针对样本图像中任一文本块，基于该文本块的第二节点特征、另一文本块的第二节点特征和所述连接关系构建的；所述第二损失函数是基于所述第一文本块和所述第二文本块之间的预测结构关系和真实结构关系构建的；
基于所述总损失函数调整所述图邻接矩阵时，是调整第一元素，且保持第二元素固定不变，所述第二元素是所述图邻接矩阵中除了所述第一元素之外的其他元素，所述第一元素是基于所述样本图像中该文本块和邻近文本块确定的，所述邻近文本块是在所述样本图像中的至少两个文本块中基于与该文本块的距离选择的预设个数的文本块。
2.根据权利要求1所述的方法，其中，所述获取该文本块的第一节点特征，包括：
获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征；
基于该文本块的所述位置特征、所述文本特征和所述图像特征，获取该文本块的第一节点特征。
3.根据权利要求2所述的方法，其中，所述获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征，包括：
对所述图像进行光学字符识别OCR处理，以获取该文本块的位置信息和该文本块的文本信息；
对该文本块的位置信息进行编码处理，以获取该文本块的位置特征；
对该文本块的文本信息进行编码处理，以获取该文本块的文本特征；
基于该文本块的位置信息，对所述图像进行编码处理，以获取该文本块的图像特征。
4.根据权利要求1所述的方法，其中，所述基于所述第一节点特征和连接关系，获取该文本块的第二节点特征，包括：
将所述第一节点特征输入到预先训练的图卷积模型中，所述图卷积模型的参数包括：所述连接关系；
采用所述图卷积模型，对所述第一节点特征进行处理，以输出所述第二节点特征。
5.根据权利要求1所述的方法，其中，所述基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系，包括：
对所述第一文本块的第二节点特征和所述第二文本块的第二节点特征进行拼接处理，以获取拼接特征；
基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系。
6.根据权利要求5所述的方法，其中，所述基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系包括：
采用预先训练的分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系。
7.根据权利要求6所述的方法，其中，
所述结构关系包括如下项中的至少一项：是否位于同一行、是否位于同一列、是否位于同一单元格；
所述采用预先训练的分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的结构关系包括如下项中的至少一项：
采用第一分类器，对输入的所述拼接特征进行处理，以输出同行概率，基于所述同行概率确定所述第一文本块与所述第二文本块是否位于同一行；
采用第二分类器，对输入的所述拼接特征进行处理，以输出同列概率，基于所述同列概率确定所述第一文本块与所述第二文本块是否位于同一列；
采用第三分类器，对输入的所述拼接特征进行处理，以输出同单元格概率，基于所述同单元格概率确定所述第一文本块与所述第二文本块是否位于同一单元格。
8.一种模型训练方法，包括：
获取训练数据，所述训练数据包括：样本图像和标签信息；其中，所述样本图像中包含表格，所述表格包括至少两个文本块；其中，所述标签信息用于指示第一文本块和第二文本块之间的真实结构关系，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；
针对所述至少两个文本块中任一文本块：
获取该文本块的第一节点特征；采用图卷积模型，基于所述第一节点特征获取该文本块的第二节点特征；其中，所述图卷积模型的参数包括：该文本块与另一文本块之间的连接关系；以及，基于该文本块的第二节点特征、所述另一文本块的第二节点特征和所述连接关系，构建第一损失函数；所述第一损失函数用于约束所述连接关系与距离成反向关系，所述距离是该文本块与所述另一文本块之间的距离；
针对所述第一文本块和所述第二文本块，采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系；
基于所述预测结构关系和所述真实结构关系，构建第二损失函数；
基于所述第一损失函数和所述第二损失函数，构建总损失函数；
基于所述总损失函数，调整所述图卷积模型的参数和所述分类器的参数，直至满足预设条件，得到目标图卷积模型和目标分类器；
所述连接关系采用图邻接矩阵表征；
所述方法还包括：
针对该文本块，确定该文本块的邻近文本块，并基于该文本块和所述邻近文本块确定所述矩阵中的第一元素，所述邻近文本块是在所述至少两个文本块中基于与该文本块的距离选择的预设个数的文本块；
所述基于所述总损失函数，调整所述图卷积模型的参数包括：
基于所述总损失函数调整所述第一元素，以及，保持第二元素固定不变，所述第二元素是所述矩阵中除了所述第一元素之外的其他元素。
9.根据权利要求8所述的方法，其中，所述获取该文本块的第一节点特征，包括：
获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征；
基于该文本块的所述位置特征、所述文本特征和所述图像特征，获取该文本块的第一节点特征。
10.根据权利要求9所述的方法，其中，所述获取该文本块的位置特征、该文本块的文本特征和该文本块的图像特征，包括：
对所述图像进行光学字符识别OCR处理，以获取该文本块的位置信息和文本信息；
对该文本块的位置信息进行编码处理，以获取该文本块的位置特征；
对该文本块的文本信息进行编码处理，以获取该文本块的文本特征；
基于该文本块的位置信息，对所述图像进行编码处理，以获取该文本块的图像特征。
11.根据权利要求8所述的方法，其中，所述采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系，包括：
对所述第一文本块的第二节点特征和所述第二文本块的第二节点特征进行拼接处理，以获取拼接特征；
采用分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的预测结构关系。
12.根据权利要求11所述的方法，其中，
所述预测结构关系包括如下项中的至少一项：预测同行概率、预测同列概率、预测同单元格概率；
所述采用分类器，基于所述拼接特征，确定所述第一文本块与所述第二文本块之间的预测结构关系，包括如下项中的至少一项：
采用第一分类器，对输入的所述拼接特征进行处理，以输出所述预测同行概率；
采用第二分类器，对输入的所述拼接特征进行处理，以输出所述预测同列概率；
采用第三分类器，对输入的所述拼接特征进行处理，以输出所述预测同单元格概率。
13.一种表格结构识别装置，包括：
第一获取模块，用于获取图像，所述图像中包含表格，所述表格包括至少两个文本块；
第二获取模块，用于针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；基于所述第一节点特征和连接关系，获取该文本块的第二节点特征；其中，所述连接关系是该文本块与另一文本块之间的连接关系；所述连接关系是基于该文本块与所述另一文本块之间的距离确定的，且所述连接关系与所述距离成反向关系；
确定模块，用于针对第一文本块和第二文本块，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的结构关系；其中，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；
其中，所述连接关系用图邻接矩阵表征，所述图邻接矩阵是图卷积模型的参数，所述图卷积模型的参数是基于总损失函数调整的，所述总损失函数是基于第一损失函数和第二损失函数构建的，所述第一损失函数是针对样本图像中任一文本块，基于该文本块的第二节点特征、另一文本块的第二节点特征和所述连接关系构建的；所述第二损失函数是基于所述第一文本块和所述第二文本块之间的预测结构关系和真实结构关系构建的；
基于所述总损失函数调整所述图邻接矩阵时，是调整第一元素，且保持第二元素固定不变，所述第二元素是所述图邻接矩阵中除了所述第一元素之外的其他元素，所述第一元素是基于所述样本图像中该文本块和邻近文本块确定的，所述邻近文本块是在所述样本图像中的至少两个文本块中基于与该文本块的距离选择的预设个数的文本块。
14.一种模型训练装置，包括：
获取模块，用于获取训练数据，所述训练数据包括：样本图像和标签信息；其中，所述样本图像中包含表格，所述表格包括至少两个文本块；其中，所述标签信息用于指示第一文本块和第二文本块之间的真实结构关系，所述第一文本块和所述第二文本块是所述至少两个文本块中任意两个文本块；
第一构建模块，用于针对所述至少两个文本块中任一文本块：获取该文本块的第一节点特征；采用图卷积模型，基于所述第一节点特征获取该文本块的第二节点特征；其中，所述图卷积模型的参数包括：该文本块与另一文本块之间的连接关系；以及，基于该文本块的第二节点特征、所述另一文本块的第二节点特征和所述连接关系，构建第一损失函数；所述第一损失函数用于约束所述连接关系与距离成反向关系，所述距离是该文本块与所述另一文本块之间的距离；
预测模块，用于针对所述第一文本块和所述第二文本块，采用分类器，基于所述第一文本块的第二节点特征和所述第二文本块的第二节点特征，确定所述第一文本块与所述第二文本块之间的预测结构关系；
第二构建模块，用于基于所述预测结构关系和所述真实结构关系，构建第二损失函数；
第三构建模块，用于基于所述第一损失函数和所述第二损失函数，构建总损失函数；
调整模块，用于基于所述总损失函数，调整所述图卷积模型的参数和所述分类器的参数，直至满足预设条件，得到目标图卷积模型和目标分类器；
其中，所述连接关系用图邻接矩阵表征；
基于所述总损失函数调整所述图邻接矩阵时，是调整第一元素，且保持第二元素固定不变，所述第二元素是所述图邻接矩阵中除了所述第一元素之外的其他元素，所述第一元素是基于所述样本图像中该文本块和邻近文本块确定的，所述邻近文本块是在所述样本图像中的至少两个文本块中基于与该文本块的距离选择的预设个数的文本块。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211116418.XA CN115661847B (zh) | 2022-09-14 | 2022-09-14 | 表格结构识别及模型训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211116418.XA CN115661847B (zh) | 2022-09-14 | 2022-09-14 | 表格结构识别及模型训练方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661847A CN115661847A (zh) | 2023-01-31 |
| CN115661847B true CN115661847B (zh) | 2023-11-21 |
Family
ID=84983959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211116418.XA Active CN115661847B (zh) | 2022-09-14 | 2022-09-14 | 表格结构识别及模型训练方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661847B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222771A (zh) * | 2019-06-10 | 2019-09-10 | 成都澳海川科技有限公司 | 一种零样本图片的类别识别方法 |
| CN111860257A (zh) * | 2020-07-10 | 2020-10-30 | 上海交通大学 | 融合多种文本特征及几何信息的表格识别方法及系统 |
| CN112085714A (zh) * | 2020-08-31 | 2020-12-15 | 广州视源电子科技股份有限公司 | 一种肺结节检测方法、模型训练方法、装置、设备及介质 |
| CN112232149A (zh) * | 2020-09-28 | 2021-01-15 | 北京易道博识科技有限公司 | 一种文档多模信息和关系提取方法及系统 |
| CN113297975A (zh) * | 2021-05-25 | 2021-08-24 | 新东方教育科技集团有限公司 | 表格结构识别的方法、装置、存储介质及电子设备 |
| CN113869017A (zh) * | 2021-09-30 | 2021-12-31 | 平安科技（深圳）有限公司 | 基于人工智能的表格图像重构方法、装置、设备及介质 |
| CN114419647A (zh) * | 2021-12-31 | 2022-04-29 | 北京译图智讯科技有限公司 | 一种表格信息提取方法及系统 |
| CN114419642A (zh) * | 2021-12-14 | 2022-04-29 | 北京易道博识科技有限公司 | 一种文档图像中键值对信息的抽取方法、装置及系统 |
| CN114973286A (zh) * | 2022-06-16 | 2022-08-30 | 科大讯飞股份有限公司 | 文档要素抽取方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11599711B2 (en) * | 2020-12-03 | 2023-03-07 | International Business Machines Corporation | Automatic delineation and extraction of tabular data in portable document format using graph neural networks |
| CN112966522B (zh) * | 2021-03-03 | 2022-10-14 | 北京百度网讯科技有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-14 CN CN202211116418.XA patent/CN115661847B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222771A (zh) * | 2019-06-10 | 2019-09-10 | 成都澳海川科技有限公司 | 一种零样本图片的类别识别方法 |
| CN111860257A (zh) * | 2020-07-10 | 2020-10-30 | 上海交通大学 | 融合多种文本特征及几何信息的表格识别方法及系统 |
| CN112085714A (zh) * | 2020-08-31 | 2020-12-15 | 广州视源电子科技股份有限公司 | 一种肺结节检测方法、模型训练方法、装置、设备及介质 |
| CN112232149A (zh) * | 2020-09-28 | 2021-01-15 | 北京易道博识科技有限公司 | 一种文档多模信息和关系提取方法及系统 |
| CN113297975A (zh) * | 2021-05-25 | 2021-08-24 | 新东方教育科技集团有限公司 | 表格结构识别的方法、装置、存储介质及电子设备 |
| CN113869017A (zh) * | 2021-09-30 | 2021-12-31 | 平安科技（深圳）有限公司 | 基于人工智能的表格图像重构方法、装置、设备及介质 |
| CN114419642A (zh) * | 2021-12-14 | 2022-04-29 | 北京易道博识科技有限公司 | 一种文档图像中键值对信息的抽取方法、装置及系统 |
| CN114419647A (zh) * | 2021-12-31 | 2022-04-29 | 北京译图智讯科技有限公司 | 一种表格信息提取方法及系统 |
| CN114973286A (zh) * | 2022-06-16 | 2022-08-30 | 科大讯飞股份有限公司 | 文档要素抽取方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Bo Jiang ; Ziyan Zhang ; Doudou Lin,et.,al..Semi-Supervised Learning With Graph Learning-Convolutional Networks.《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》.2020,第1-8页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661847A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022068196A1 (zh) | 跨模态的数据处理方法、装置、存储介质以及电子装置 | |
| CN109766557B (zh) | 一种情感分析方法、装置、存储介质及终端设备 | |
| CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
| CA3148760C (en) | Automated image retrieval with graph neural network | |
| CN113159283A (zh) | 一种基于联邦迁移学习的模型训练方法及计算节点 | |
| US20210097345A1 (en) | Computer architecture for object detection using point-wise labels | |
| CN112862005B (zh) | 视频的分类方法、装置、电子设备和存储介质 | |
| WO2014176056A2 (en) | Data classification | |
| CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
| KR20220047228A (ko) | 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼 | |
| CN112560985A (zh) | 神经网络的搜索方法、装置及电子设备 | |
| US20240135698A1 (en) | Image classification method, model training method, device, storage medium, and computer program | |
| CN116152833B (zh) | 基于图像的表格还原模型的训练方法及表格还原方法 | |
| CN113449821A (zh) | 融合语义和图像特征的智能训练方法、装置、设备及介质 | |
| CN109919043B (zh) | 一种行人跟踪方法、装置及设备 | |
| CN113780584B (zh) | 标签预测方法、设备、存储介质 | |
| Schulz et al. | Uncertainty quantification of surrogate explanations: an ordinal consensus approach | |
| CN114037059A (zh) | 预训练模型、模型的生成方法、数据处理方法及装置 | |
| KR20160128869A (ko) | 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치 | |
| CN115661847B (zh) | 表格结构识别及模型训练方法、装置、设备和存储介质 | |
| CN115294405A (zh) | 农作物病害分类模型的构建方法、装置、设备及介质 | |
| CN112784967B (zh) | 信息处理方法、装置以及电子设备 | |
| US20210334647A1 (en) | Method, electronic device, and computer program product for determining output of neural network | |
| CN114611609A (zh) | 一种图网络模型节点分类方法、装置、设备及存储介质 | |
| CN110262906B (zh) | 接口标签推荐方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |