CN113378580A - 文档版面分析方法、模型训练方法、装置和设备 - Google Patents

Abstract

本公开提供了一种文档版面分析方法、模型训练方法、装置和设备，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于智慧城市和智慧金融场景下。文档版面分析方法包括：获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；对它们进行特征融合，以获得融合特征；以及基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。利用上述方法，可以利用待处理文档图像的文本语义特征、文本图像特征和文本位置特征，针对待处理文档图像确定文本位置信息和/或文本类型信息，因此能够在复杂版面和复杂背景中提升版面分析的效果。

Description

文档版面分析方法、模型训练方法、装置和设备

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于智慧城市和智慧金融场景下，并且更具体地，涉及文档版面分析方法、模型训练方法、装置和设备。

背景技术

文档版面分析技术是指对也可以被称为文档图像的、采取图像形式的文档中的内容进行结构化语义理解，从而使得可以预测出文档图像中的例如标题、段落、图表等文本内容的位置。文档版面分析技术可以被用于文档还原、文档录入、文档比对等任务，并且可以被广泛地应用于社会的各行各业，例如办公、教育、医疗、金融等领域，不仅可以极大地提升传统行业的智能化程度和生产效率，也可以方便人们的日常学习与生活。近年来，尽管文档版面分析技术得到了快速发展，但是依然存在很多问题。

发明内容

根据本公开的实施例，提供了一种文档版面分析方法、模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

在本公开的第一方面中，提供了一种文档版面分析方法，包括：获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征；以及基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。

在本公开的第二方面中，提供了一种模型训练方法，包括：获取训练文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征；以及训练文档版面分析模型，以利用经训练的文档版面分析模型使得满足以下至少一项：基于融合特征所确定的至少一个文本位置信息和针对训练文档图像预先标注的至少一个标注文本位置信息相同的概率大于位置概率阈值，至少一个文本位置信息与文本内容所包括的至少一个部分对应；以及基于融合特征所确定的至少一个文本类型和针对训练文档图像预先标注的至少一个标注文本类型相同的概率大于类型概率阈值，至少一个文本类型与至少一个部分对应。

在本公开的第三方面中，提供了一种文档版面分析装置，包括：第一获取模块，被配置为获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；第一特征融合模块，被配置为对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征；以及第一确定模块，被配置为基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。

在本公开的第四方面中，提供了一种模型训练装置，包括：第三获取模块，被配置为获取训练文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；第四特征融合模块，被配置为对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征；以及模型训练模块，被配置为训练版面分析模型，以利用经训练的版面分析模型使得满足以下至少一项：基于融合特征所确定的至少一个文本位置信息和针对训练文档图像预先标注的至少一个标注文本位置信息相同的概率大于位置概率阈值，至少一个文本位置信息与文本内容所包括的至少一个部分对应；以及基于融合特征所确定的至少一个文本类型和针对训练文档图像预先标注的至少一个标注文本类型相同的概率大于类型概率阈值，至少一个文本类型与至少一个部分对应。

在本公开的第五方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。

在本公开的第六方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第二方面的方法。

在本公开的第七方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。

在本公开的第八方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第二方面的方法。

在本公开的第九方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第一方面的方法。

在本公开的第十方面中，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，执行根据本公开的第二方面的方法。

利用根据本申请的技术，提供了一种文档版面分析方法，利用该方法的技术方案，可以同时考虑待处理文档图像的文本语义特征、文本图像特征和文本位置特征，并且可以利用待处理文档图像的文本语义特征、文本图像特征和文本位置特征，针对待处理文档图像确定文本位置信息和/或文本类型信息，从而可以实现语义增强的文档版面分析。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出了可以在其中实现本公开的某些实施例中的文档版面分析方法的文档版面分析环境100的示意性框图；

图2示出了根据本公开实施例的文档版面分析方法200的流程图；

图3示出了根据本公开实施例的文档版面分析方法300的流程图；

图4示出了根据本公开实施例的文档版面分析方法400的示意图；

图5示出了根据本公开的实施例的文档版面分析装置500的示意性框图；以及

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上在背景技术中所描述的，传统的文档版面分析技术存在很多问题。例如，传统的文档版面分析技术的解决方案通常将文档版面分析任务看作针对输入文档图像的目标检测或者分割任务。尽管应用目标检测或者图像分割领域的通用算法一般也可以得到一定的效果，但是这些技术方案忽略了文档中的文字内容包含的特有语义。在这种情况下，仅仅依靠视觉特征在一些排版复杂、背景复杂的场景中很容易出现错误。

具体而言，传统的文档版面分析技术的解决方案主要是迁移通用目标检测，图像分割领域的主流算法，把文档版面分析当作图像目标检测或者分割来进行处理。通用目标检测旨在确定图像中目标的位置，常见的方法例如有更快区域卷积神经网络(Faster-RCNN)、遮罩区域卷积神经网络(Mask-RCNN)等，通用方案的输入是图像，设计的方案主要针对的是图像的特征学习，在排版规律，背景简单，可以依靠视觉特征直接区分目标界限的场景有不错的效果，但是在需要依靠文字内容才能确定目标界限的场景却无能为力。图像分割旨在给图像中的每个像素分配一个类别，常见的方法有全卷积网络(FCN)等，和检测类似，图像分割的处理对象也是图像，同样无法表达语义信息，而且分割方法无法获取实例级的输出。

综合而言，传统的文档版面分析技术的解决方案具有很多缺点。首先，传统的文档版面分析技术的解决方案缺少文本信息。传统的针对图像的检测或者分割解决方案，忽视了文档场景文字内容包含的丰富语义信息，仅仅依靠视觉特征无法有效处理复杂版式、复杂背景下的版式分析。此外，传统的文档版面分析技术的解决方案难以有效利用文本信息，这些解决方案是针对图像的单模态方法，不能直接扩展到输入包含图像、文本等多模态信息的场景，因此不能满足对多模态信息的有效表达的需要。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的实施例提出了一种文档版面分析方法，利用该方法的技术方案，可以同时考虑待处理文档图像的文本语义特征、文本图像特征和文本位置特征，并且可以利用待处理文档图像的文本语义特征、文本图像特征和文本位置特征，针对待处理文档图像确定文本位置信息和/或文本类型信息，从而可以实现语义增强的文档版面分析。因此，利用该方法的技术方案能够在复杂版面和复杂背景中提升版面分析的效果，从而能够提升进行版面分析的用户的用户体验。

图1示出了可以在其中实现本公开的某些实施例中的文档版面分析方法的文档版面分析环境100的示意性框图。根据本公开的一个或多个实施例，文档版面分析环境100可以是云环境。如图1中所示，文档版面分析环境100包括计算设备110。在文档版面分析环境100中，例如可以包括待处理文档图像、通过待处理文档图像而被获取的文本语义特征、通过待处理文档图像而被获取的文本图像特征等数据的输入数据120作为计算设备110的输入被提供给计算设备110。

根据本公开的一些实施例，当输入数据120仅包括待处理文档图像时，计算设备110可以基于待处理文档图像来获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征。

根据本公开的一个或多个实施例，在获取了待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征之后，计算设备110可以对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征，并且而后可以基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。

应当理解，文档版面分析环境100仅仅是示例性而不是限制性的，并且其是可扩展的，其中可以包括更多的计算设备110，并且可以向计算设备110提供更多的输入数据120作为输入，从而使得可以满足更多用户同时利用更多的计算设备110，甚至利用更多的输入数据120来同时或者非同时地确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息的需求。

在图1所示的文档版面分析环境100中，向计算设备110输入输入数据120可以通过网络来进行。

图2示出了根据本公开的实施例的文档版面分析方法200的流程图。具体而言，文档版面分析方法200可以由图1中所示的文档版面分析环境100中的计算设备110来执行。应当理解的是，文档版面分析方法200还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。

在步骤202，计算设备110获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征。根据本公开的一个或多个实施例，待处理文档图像所包括的文本内容可以是指待处理文档图像中所包括的、具有文本的部分，其通常可以用添加矩形边框来围绕。此外，文本语义特征、文本图像特征和文本位置特征是通过对待处理文档图像进行处理而获得的，并且可以直接作为输入数据120而被输入给计算设备110以用于处理。

在步骤204，计算设备110对待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征。

根据本公开的一个或多个实施例，当文本图像特征包括多个文本图像特征信息并且文本位置特征包括多个文本位置特征信息时，在对待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征进行特征融合时，计算设备110可以首先对多个文本图像特征信息和多个文本位置特征信息中的对应的文本图像特征信息和文本位置特征信息求和，以获得多个信息和，其中对应的文本图像特征信息和文本位置特征信息例如包括与文本内容中的多个行中的同一行相关联的文本图像特征信息和文本位置特征信息。而后，计算设备110可以将多个信息和按顺序级联，以获得文本图像位置特征。之后，计算设备110可以将文本语义特征和文本图像位置特征级联，以获得级联特征。最后，计算设备110可以对级联特征进行特征融合，从而实现对文本语义特征、文本图像特征和文本位置特征进行特征融合。

在步骤206，计算设备110基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。

图3示出了根据本公开的实施例的文档版面分析方法300的流程图。具体而言，文档版面分析方法300同样可以由图1中所示的文档版面分析环境100中的计算设备110来执行。应当理解的是，文档版面分析方法300还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。文档版面分析方法300可以被认为是文档版面分析方法200的扩展。

在步骤302，计算设备110针对待处理文档图像所包括的文本内容的多个行中的每行中的多个字，生成与多个字相关联的、预设维度的多个语义向量。根据本公开的一个或多个实施例，计算设备110可以例如通过使用便携式文档格式(PDF)解析工具或者光学字符识别(OCR)来确定待处理文档图像所包括的文本内容，并且可以进一步确定文本内容中所包括的多个行，以及每行中的多个字。此外，计算设备110可以通过文本嵌入来完成前述生成与多个字相关联的、预设维度的多个语义向量的操作。

根据本公开的一个或多个实施例，前述预设维度可以是任何适当的维度，例如768维、800维、900维等。

在步骤304，计算设备110针对待处理文档图像所包括的文本内容的多个行中的每行，将与该行中的多个字相关联的、预设维度的多个语义向量按顺序级联，以生成针对该行的行文本语义特征。根据本公开的一个或多个实施例，计算设备110例如可以基于文本内容的书写顺序或者阅读顺序、按照例如从左向右或者从右向左的顺序来将与一行中的多个字相关联的、预设维度的多个语义向量按顺序级联，从而生成针对该行的行文本语义特征。

在步骤306，计算设备110将针对文本内容的多个行中的每行的行文本语义特征级联，以生成文本内容的文本语义特征。根据本公开的一个或多个实施例，计算设备110例如可以基于各行之间的书写顺序或者阅读顺序、按照例如从上向下的顺序来将针对文本内容的多个行中的每行的行文本语义特征级联，以生成文本内容的文本语义特征。

在步骤308，计算设备110获取待处理文档图像所包括的文本内容的文本图像特征和文本位置特征。

根据本公开的一个或多个实施例，如前所述，在文档版面分析方法300中，文本语义特征采取的是级联的、预设维度的语义向量的形式。因此，根据本公开的一个或多个实施例，在步骤308中所涉及的、被进行特征融合的文本图像特征包括预设维度的至少一个图像向量，并且被进行特征融合的文本位置特征包括预设维度的至少一个位置向量。

此外，根据本公开的一个或多个实施例，文本内容包括多个行，并且文本图像特征包括与多个行中的一行相关联的特定文本图像特征信息。在这种情况下，在确定特定文本图像特征信息时，计算设备110可以首先确定文本位置特征所包括的、与该一行相关联的特定文本位置特征，而后获取待处理文档图像的图像特征，并且最后基于图像特征和特定文本位置特征来确定特定文本图像特征信息。换言之，计算设备110可以首先获得关于整个待处理文档图像的图像特征，并且而后基于检测到文本内容的位置，在整个待处理文档图像的图像特征中确定与检测到的文本内容的位置对应的位置的图像特征，作为文本图像特征。需要指出的是，前述“一行”并不是指文本内容的多个行中的特定行，而是指文本内容的多个行中的任一行。因此，利用上述方式，计算设备110可以确定与待处理文档图像所包括的文本内容的多个行中的每行相关联的文本图像特征和文本位置特征。

在步骤310，计算设备110对待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征。步骤310的具体内容与步骤204的具体内容相同，在此不再赘述。

根据本公开的一个或多个实施例，如前所述，文本语义特征、文本图像特征和文本位置特征均可以被体现为相同维数的预设维度的向量或者向量的级联的形式，因此计算设备110可以容易地使用多层转换器堆叠网络，针对文本语义特征、文本图像特征和文本位置特征进行特征融合。

在步骤312，计算设备110基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。根据本公开的一个或多个实施例，计算设备110可以使用经训练的版面分析模型来确定文本位置信息和/或文本类型信息。

由此可见，方法300与方法200的区别之一在于包括基于待处理文档图像来确定文本语义特征、文本图像特征和至少一个文本位置的步骤，从而使得对计算设备110可以更为简化。

根据本公开的一个或多个实施例，对版面分析模型进行训练可以由计算设备110进行。在对版面分析模型进行训练时，计算设备110可以首先获取训练文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征。而后，计算设备110对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征。最后，计算设备110训练版面分析模型，以利用经训练的版面分析模型使得满足以下至少一项：基于融合特征所确定的至少一个文本位置信息和针对训练文档图像预先标注的至少一个标注文本位置信息相同的概率大于位置概率阈值，至少一个文本位置信息与训练文档所包括的至少一个部分对应；以及基于融合特征所确定的至少一个文本类型和针对训练文档图像预先标注的至少一个标注文本类型相同的概率大于类型概率阈值，至少一个文本类型与训练文档所包括的至少一个部分对应。

根据本公开的一个或多个实施例，版面分析模型包括多层前馈网络模型，并且针对前述位置信息和文本类型可以分别使用不同的多层前馈网络模型，例如，第一多层前馈网络模型用于进行与位置信息相关联的训练，第二多层前馈网络模型用于进行与文本类型相关联的训练。

在训练过程中，计算设备110使用基于训练文档图像所获得的融合特征作为版面分析模型的输入，由版面分析模型基于输入的融合特征来确定以下至少一项：与训练文档图像所包括的至少一个部分对应的至少一个文本位置信息，以及与至少一个部分对应的至少一个文本类型。如前所述，训练文档图像可以包括至少一个文本内容，在本公开的实施例中，由版面分析模型确定的、训练文档图像所包括的文本内容可以包括至少一个部分。与至少一个部分对应的位置可以被体现为位置信息，并且被称为文本位置信息，与至少一个部分对应文本类型可以被称为文本类型。根据本公开的一个或多个实施例，文本类型或者文本类型可以包括标题、子标题、正文、图表、目录、子目录等各种可以用来对文档中的不同位置的文本分类的类型。

在训练过程中，计算设备110也需要对应地使用针对训练文档图像预先标注的至少一个标注文本位置信息以及针对训练文档图像预先标注的至少一个标注文本类型相同。当版面分析模型基于融合特征而确定了前述至少一个文本位置信息和至少一个文本类型之后。计算设备110可以通过调整版面分析模型的参数来对版面分析模型进行训练，从而使得由版面分析模型确定的至少一个文本位置信息和针对训练文档图像预先标注的至少一个标注文本位置信息相同的概率大于位置概率阈值，以及由版面分析模型确定的至少一个文本类型和针对训练文档图像预先标注的至少一个标注文本类型相同的概率大于类型概率阈值。

根据本公开的一个或多个实施例，位置概率阈值和类型概率阈值均为预设的阈值，并且可以用于调整版面分析模型的准确度，当位置概率阈值和类型概率阈值越高时，对版面分析模型进行的训练就越严格。

根据本公开的一个或多个实施例，计算设备110使用以下至少一项来训练版面分析模型：分类损失方法；以及回归损失方法。

应当理解，在计算设备110对版面分析模型进行训练时，可以使用大量的训练文档图像以及与这些训练文档图像对应的、预先标注的标注文本位置信息和预先标注的标注文本类型来对版面分析模型进行训练。

应当理解，在本公开的另一些实施例中，版面分析模型可以基于训练文档图像来确定训练文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征，此时对版面分析模型的输入可以包括训练文档图像，而不包括训练文档图像所包括的文本语义特征或者融合特征。

图4示出了根据本公开实施例的文档版面分析方法400的示意图。版面分析方法400可以用于使用经训练的版面分析模型来针对待处理文档图像确定与待处理文档图像所包括的至少一个部分对应的至少一个文本位置信息和/或与至少一个部分对应的至少一个文本类型。

如图4中所示，作为针对计算设备110的输入的输入数据120的待处理文档图像410通过处理401被转换为文本内容420，并且进一步通过处理402被转换为文本语义特征430。根据本公开的一个或多个实施例，处理401例如可以由PDF解析器或者文本字符识别引擎执行，处理402例如可以通过文本嵌入而被实现。

在将待处理文档图像410通过处理401转换为文本内容420之后，待处理文档图像410和文本内容420可以共同地分别通过处理403和404被转换为文本图像特征440和文本位置特征450。在处理403和404中需要使用文本内容420的原因是文本图像特征440和文本位置特征450是与文本内容420对应的。

而后，文本语义特征430、文本图像特征440和文本位置特征450通过例如包括特征融合的处理405而被转换为针对待处理文档图像410的文本内容的融合特征460，并且融合特征460随后被输入给版面分析模型470。

在接收到融合特征460之后，版面分析模型470基于融合特征460来确定以下至少一项：与待处理文档图像所包括的至少一个部分对应的至少一个文本位置信息480，以及与至少一个部分对应的至少一个文本类型490。

应当理解，在本公开的其他实施例中，前述处理401、处理402、处理403、处理404和处理405可以由版面分析模型470来执行，并且因此待处理文档图像410可以被直接输入给版面分析模型470。

以下以具体示例来描述根据本公开的实施例的文档图像模型训练过程。

首先，计算设备110可以使用例如文档层分析算法的文字检测技术对训练文档图像进行单词检测，从而可以确定训练文档图像所包括的文本内容以及文本内容中的N个文本行的位置信息。每个文本行的位置信息可以包括每个文本行的左上、右上、左下、右下坐标，例如，S＝{s_i；i∈N}，其中S表示文本行的坐标集合，S_i表示第i行的坐标，也就是第i行的文本位置特征信息。在上述过程中，计算设备110可以对所有检测到的文本行区域使用文字识别技术以得到具体文本内容T＝{t_i；i∈N}，其中T表示文本行的内容集合，t_i表示第i行的文本内容，也就是第i行的行文本语义特征，级联后的行文本语义特征也可以被称为针对文本内容的文本语义特征。同时，每个文本行t_i具有k_i个单字，其例如可以表示为t_i＝{c_ij；j∈k_i}，其中c_ij表示第i行的第j个字。

而后，计算设备110可以例如通过卷积神经网络(CNN)提取整张训练文档图像的特征图I，并且而后例如可以使用例如感兴趣区域(ROI)池化技术来获取每个文本行S_i在整个特征图I中的对应的图像特征

其中f_i表示与第i行对应的文本图像特征信息，

表示768维的向量。

同时，计算设备110可以将每个文本行中的每个单字t_i也编码成一个768维的向量，从而得到

并且可以把每个行坐标处理成768维的向量

在获得了上述各个向量之后，计算设备110可以将文本图像特征信息f_i与文本位置特征信息S_i相加，并且与行文本语义特征t_i级联，形成级联特征V，其中V＝concat(T，F+S)，并且concat表示级联。前述级联特征V可以被展开如下：

V＝(c_1，1，c_1，2，...，c_1，k1，c_2，1，c_2，2，...，c_2，k2，...，c_n，1，...，c_n，kn，f₁+s₁，...，f_n+s_n)。

而后，计算设备110可以对级联特征V进行特征融合。特征融合旨在对N个文本行的多模态特征输入进行语义信息学习，从而得到语义信息增强的特征向量。具体而言，计算设备110可以使用多层转换器堆叠网络进行特征融合。其中多层转换器堆叠网络的初始输入可以被定义为H₀＝V，并且第l层的转换器的输出H_l可以被定义如下：

在多层转换器堆叠网络的处理过程中，多个全连接层W_l*被用于对输入的特征H_l-1进行变换并计算权重矩阵，而后再与原本特征H_l-1进行相乘以得到新的特征H_l并作为输出。经过多层转换器堆叠网络融合后的融合特征H被表示如下：

H＝concat(X，Y)。

其中X对应于原始文本T的单词编码后特征，Y对应于原始文本行视觉F+S编码后特征。H可以被展开如下：

H＝(x_1，1，x_1，2，...，x_1，k1，x_2，1，x_2，2，...，x_2，k2，...，x_n，1，...，x_n，kn，y₁，...，y_n)。

在训练版面分析模型470时，可以使用前述融合特征H作为输入来进行训练。

根据本公开的一个或多个实施例，由于文本内容中所包括的多个行可能属于同一段落，因此在这种情况下，针对任一行的作为输入的融合特征都可能会导致针对这一段落的分析结果。因此，可以例如使用非极大值抑制(NMS)来将针对同一段落的多个文本行的预测结果过滤，从而消除冗余的结果，并且最终获得分析结果。

以上参考图1至图4描述了与可以在其中实现本公开的某些实施例中的文档版面分析方法的文档版面分析环境100、根据本公开实施例的文档版面分析方法200、根据本公开实施例的文档版面分析方法300以及根据本公开实施例的文档版面分析方法400的相关内容。应当理解，上述描述是为了更好地展示本公开中所记载的内容，而不是以任何方式进行限制。

应当理解，本公开的上述各个附图中所采用的各种元件的数目和物理量的大小仅为举例，而并不是对本公开的保护范围的限制。上述数目和大小可以根据需要而被任意设置，而不会对本公开的实施方式的正常实施产生影响。

上文已经参见图1至图4描述了根据本公开的实施方式的文档版面分析方法200、文档版面分析方法300和文档版面分析方法400的细节。在下文中，将参见图5描述文档版面分析装置中的各个模块。

图5是根据本公开实施例的文档版面分析装置500的示意性框图。如图5所示，文档版面分析装置500可以包括：第一获取模块510，被配置为获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；第一特征融合模块520，被配置为对文本语义特征、文本图像特征和文本位置特征进行特征融合，以获得融合特征；以及第一确定模块530，被配置为基于融合特征，确定与待处理文档图像包括的文本内容对应的文本位置信息和/或文本类型信息。。

在一个或多个实施例中，文档版面分析装置500还包括：生成模块(未示出)，被配置为针对文本内容的多个行中的每行中的多个字，生成与多个字相关联的、预设维度的多个语义向量；第一级联模块(未示出)，被配置为将多个语义向量按顺序级联，以生成针对该行的行文本语义特征；以及第二级联模块(未示出)，被配置为将针对文本内容的多个行中的每行的行文本语义特征级联，以生成文本内容的文本语义特征。

在一个或多个实施例中，其中：文本图像特征包括预设维度的至少一个图像向量；并且文本位置特征包括预设维度的至少一个位置向量。

在一个或多个实施例中，其中文本内容包括多个行，文本图像特征包括与多个行中的一行相关联的特定文本图像特征信息，并且第一获取模块510还包括：第二确定模块(未示出)，被配置为确定文本位置特征所包括的、与一行相关联的特定文本位置特征；第二获取模块(未示出)，被配置为获取待处理文档图像的图像特征；以及第三确定模块，被配置为基于图像特征和特定文本位置特征来确定特定文本图像特征信息。

在一个或多个实施例中，其中第一特征融合模块520包括：第二特征融合模块(未示出)，被配置为使用多层转换器堆叠网络进行特征融合。

在一个或多个实施例中，其中文本图像特征包括多个文本图像特征信息，文本位置特征包括多个文本位置特征信息，并且第一特征融合模块520包括：求和模块(未示出)，被配置为对多个文本图像特征信息和多个文本位置特征信息中的对应的文本图像特征信息和文本位置特征信息求和，以获得多个信息和；第三级联模块(未示出)，被配置为将多个信息和按顺序级联，以获得文本图像位置特征；第四级联模块(未示出)，被配置为将文本语义特征和文本图像位置特征级联，以获得级联特征；以及第三特征融合模块(未示出)，被配置为对级联特征进行特征融合。

在一个或多个实施例中，其中第一确定模块530包括：第四确定模块(未示出)，被配置为使用经训练的版面分析模型来确定文本位置信息和/或文本类型信息。

通过以上参考图1至图5的描述，根据本公开的实施方式的技术方案相对于传统方案具有诸多优点。例如，利用根据本公开的实施方式的技术方案，可以同时考虑待处理文档图像的文本语义特征、文本图像特征和文本位置特征，并且可以利用待处理文档图像的文本语义特征、文本图像特征和文本位置特征，针对待处理文档图像确定文本位置信息和/或文本类型信息，从而可以实现语义增强的文档版面分析。因此，利用该方法的技术方案能够在复杂版面和复杂背景中提升版面分析的效果，从而能够提升进行版面分析的用户的用户体验。

换言之，利用根据本公开的实施方式的技术方案，可以通过包括图像特征和文本特征的多模态特征的输入，基于用于语言理解的深度学习网络的结构可以实现视觉特征和文本特征的有效融合表达，从而可以更好地处理复杂版式、复杂背景场景中需要语义信息的文档版式分析任务。在基于光学字符识别基础能力之上，根据本公开的实施方式的技术方案能够有效利用光学字符识别信息到下游版面分析任务中，能够充分发挥文字内容在版面理解中的作用。通过根据本公开的实施方式的技术方案的使用，能够革新文档版面分析技术，能够在云端和移动端的光学字符识别文档场景应用中带来更多流量与更好的用户体验。

根据本公开的实施例，本公开还提供了一种模型训练装置、一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。例如，如图1所示的计算设备110和如图5所示的文档版面分析装置500可以由电子设备600来实施。电子设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如方法200、300和400。例如，在一些实施例中，方法200、300和400可以被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的方法200、300和400的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200、300和400。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种文档版面分析方法，包括：

获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；

对所述文本语义特征、所述文本图像特征和所述文本位置特征进行特征融合，以获得融合特征；以及

基于所述融合特征，确定与所述待处理文档图像包括的所述文本内容对应的文本位置信息和/或文本类型信息。

2.根据权利要求1所述的方法，其中所述文本内容包括多个行，并且获取所述文本语义特征包括：

针对所述多个行中的每行中的多个字，生成与所述多个字相关联的、预设维度的多个语义向量；

将所述多个语义向量按顺序级联，以生成针对该行的行文本语义特征；以及

将针对所述多个行中的每行的行文本语义特征级联，以生成所述文本语义特征。

3.根据权利要求2所述的方法，其中：

所述文本图像特征包括所述预设维度的至少一个图像向量；并且

所述文本位置特征包括所述预设维度的至少一个位置向量。

4.根据权利要求1所述的方法，其中所述文本内容包括多个行，所述文本图像特征包括与所述多个行中的一行相关联的特定文本图像特征信息，并且获取所述文本图像特征包括：

确定所述文本位置特征所包括的、与所述一行相关联的特定文本位置特征；

获取所述待处理文档图像的图像特征；以及

基于所述图像特征和所述特定文本位置特征来确定所述特定文本图像特征信息。

5.根据权利要求1所述的方法，其中对所述文本语义特征、所述文本图像特征和所述文本位置特征进行所述特征融合包括：

使用多层转换器堆叠网络进行所述特征融合。

6.根据权利要求1所述的方法，其中所述文本图像特征包括多个文本图像特征信息，所述文本位置特征包括多个文本位置特征信息，并且对所述文本语义特征、所述文本图像特征和所述文本位置特征进行所述特征融合包括：

对所述多个文本图像特征信息和所述多个文本位置特征信息中的对应的文本图像特征信息和文本位置特征信息求和，以获得多个信息和；

将所述多个信息和按顺序级联，以获得文本图像位置特征；

将所述文本语义特征和所述文本图像位置特征级联，以获得级联特征；以及

对所述级联特征进行所述特征融合。

7.根据权利要求1所述的方法，其中确定所述文本位置信息和/或所述文本类型信息包括：

使用经训练的版面分析模型来确定所述文本位置信息和/或所述文本类型信息。

8.一种模型训练方法，包括：

获取训练文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；

对所述文本语义特征、所述文本图像特征和所述文本位置特征进行特征融合，以获得融合特征；以及

训练版面分析模型，以利用经训练的所述版面分析模型使得满足以下至少一项：

基于所述融合特征所确定的至少一个文本位置信息和针对所述训练文档图像预先标注的至少一个标注文本位置信息相同的概率大于位置概率阈值，所述至少一个文本位置信息与所述文本内容所包括的至少一个部分对应；以及

基于所述融合特征所确定的至少一个文本类型和针对所述训练文档图像预先标注的至少一个标注文本类型相同的概率大于类型概率阈值，所述至少一个文本类型与所述至少一个部分对应。

9.一种文档版面分析装置，包括：

第一获取模块，被配置为获取待处理文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；

第一特征融合模块，被配置为对所述文本语义特征、所述文本图像特征和所述文本位置特征进行特征融合，以获得融合特征；以及

第一确定模块，被配置为基于所述融合特征，确定与所述待处理文档图像包括的所述文本内容对应的文本位置信息和/或文本类型信息。

10.根据权利要求9所述的装置，其中所述文本内容包括多个行，并且所述第一获取模块包括：

生成模块，被配置为针对所述多个行中的每行中的多个字，生成与所述多个字相关联的、预设维度的多个语义向量；

第一级联模块，被配置为将所述多个语义向量按顺序级联，以生成针对该行的行文本语义特征；以及

第二级联模块，被配置为将针对所述多个行中的每行的行文本语义特征级联，以生成所述文本语义特征。

11.根据权利要求10所述的装置，其中：

所述文本图像特征包括所述预设维度的至少一个图像向量；并且

所述文本位置特征包括所述预设维度的至少一个位置向量。

12.根据权利要求9所述的装置，其中所述文本内容包括多个行，所述文本图像特征包括与所述多个行中的一行相关联的特定文本图像特征信息，并且所述第一获取模块包括：

第二确定模块，被配置为确定所述文本位置特征所包括的、与所述一行相关联的特定文本位置特征；

第二获取模块，被配置为获取所述待处理文档图像的图像特征；以及

第三确定模块，被配置为基于所述图像特征和所述特定文本位置特征来确定所述特定文本图像特征信息。

13.根据权利要求9所述的装置，其中所述第一特征融合模块包括：

第二特征融合模块，被配置为使用多层转换器堆叠网络进行所述特征融合。

14.根据权利要求9所述的装置，其中所述文本图像特征包括多个文本图像特征信息，所述文本位置特征包括多个文本位置特征信息，并且所述第一特征融合模块包括：

求和模块，被配置为对所述多个文本图像特征信息和所述多个文本位置特征信息中的对应的文本图像特征信息和文本位置特征信息求和，以获得多个信息和；

第三级联模块，被配置为将所述多个信息和按顺序级联，以获得文本图像位置特征；

第四级联模块，被配置为将所述文本语义特征和所述文本图像位置特征级联，以获得级联特征；以及

第三特征融合模块，被配置为对所述级联特征进行所述特征融合。

15.根据权利要求9所述的装置，其中所述第一确定模块包括：

第四确定模块，被配置为使用经训练的版面分析模型来确定所述文本位置信息和/或所述文本类型信息。

16.一种模型训练装置，包括：

第三获取模块，被配置为获取训练文档图像所包括的文本内容的文本语义特征、文本图像特征和文本位置特征；

第四特征融合模块，被配置为对所述文本语义特征、所述文本图像特征和所述文本位置特征进行特征融合，以获得融合特征；以及

模型训练模块，被配置为训练版面分析模型，以利用经训练的所述版面分析模型使得满足以下至少一项：

基于所述融合特征所确定的至少一个文本位置信息和针对所述训练文档图像预先标注的至少一个标注文本位置信息相同的概率大于位置概率阈值，所述至少一个文本位置信息与所述文本内容所包括的至少一个部分对应；以及

基于所述融合特征所确定的至少一个文本类型和针对所述训练文档图像预先标注的至少一个标注文本类型相同的概率大于类型概率阈值，所述至少一个文本类型与所述至少一个部分对应。

17.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，执行权利要求1-8中任一项所述的方法。

Images