CN115512369A - 文档图像版面分析方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，提供了一种文档图像版面分析方法、装置、计算机设备和存储介质，所述方法包括：对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。采用本方法能够提高版面分析元素识别准确率和位置定位的精准度。

Description

文档图像版面分析方法、装置、计算机设备和存储介质

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种文档图像版面分析方法、装置、计算机设备和存储介质。

背景技术

文档是人们日常生活中最常见的信息载体，其以多样化的形式将文本、表格、图片等文档元素组织在一起，形象生动的向用户高效的展示信息。现有文档主要分为纸质文档和电子文档。电子文档可以借助打印设备将其转换为纸质文档；而纸质文档转换为电子文档则需要更为复杂的流程：首先需要将纸质文档扫描成文档图像，接着借助文档图像版面分析技术得到一系列文本、表格、图片等文档元素，接着借助OCR相关技术将文档元素转换为可编辑的文本、表格及矢量图等信息元素，最后将信息元素组织成电子文档。由此可见，文档图像版面分析是纸质文档转换成电子文档流程中必不可少的核心环节。

目前，学术界和工业界主流的文档图像版面分析方法是基于深度学习的策略，其相对于传统基于规则和区域分析的方法而言，分析准确率更高，泛化性更强。然而，基于深度学习的文档版面分析方法主要是直接借鉴目标检测的方法，将文档中的文本、图片、表格统统当作物体目标进行版面分析，从而忽略了文本、图片、表格之间的差异性和内部固有特性，进而导致文本版面分析元素识别不准、元素位置精准度不够等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高版面分析元素识别准确率和位置定位精准度的文档图像版面分析方法、装置、计算机设备和存储介质。

本发明提供一种文档图像版面分析方法，包括：

对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；

结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。

在其中一个实施例中，所述将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果，包括：

合并所述多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；

利用transform网络在所述多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；

融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征；

基于所述多尺寸融合特征进行类别和边框检测，得到文本检测结果。

在其中一个实施例中，所述融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征，包括：

遍历所述多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；

将所述多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。

在其中一个实施例中，将所述多尺寸高维语义特征分别输入至训练好的图片子网络，由所述图片子网络输出图片检测结果，包括：

所述图片子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；

根据各尺寸对应的所述卷积特征进行类别和边框预测，输出图片检测结果。

在其中一个实施例中，将所述多尺寸高维语义特征分别输入至训练好的表格子网络，由所述表格子网络输出表格检测结果，包括：

所述表格子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；

将各个尺寸对应的所述卷积特征进行特征融合，基于融合后的特征进行类别和边框检测，得到表格检测结果。

在其中一个实施例中，所述文本子网络、所述图片子网络和所述表格子网络的训练步骤，包括：

获取标注元素数据集，将所述标注元素数据集划分为训练集和测试集；

从所述标注元素数据集中分别选取所述文本子网络、所述图片子网络和所述表格子网络对应的文本超参数、图片超参数和表格超参数；

从所述训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集；

基于所述文本超参数和所述文本训练集单独训练文本子网络、基于所述图片超参数和所述图片训练集单独训练图片子网络、以及基于所述表格超参数和所述表格训练集单独训练表格子网络；

利用所述训练集和所述测试集对完成单独训练后所述文本子网络、所述图片子网络和所述表格子网络进行全量训练，直至测试结果收敛。

在其中一个实施例中，所述从所述标注元素数据集中分别选取所述文本子网络、所述图片子网络和所述表格子网络对应的文本超参数、图片超参数和表格超参数，包括：

从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；

将所述文本标注边框、所述图片标注边框和所述表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；

分别基于预设的聚类数，对所述文本边框尺寸样本集、所述图片边框尺寸样本集和所述表格边框尺寸样本集进行聚类，获得与所述聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。

一种文档图像版面分析装置，包括：

浅层语义提取模块，用于对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

文本检测模块，用于将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

图片表格检测模块，用于将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；

结果结合模块，用于结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。

本发明还提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的文档图像版面分析方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的文档图像版面分析方法的步骤。

上述文档图像版面分析方法、装置、计算机设备和存储介质，通过考虑实际场景下文档图像中文本、图片和表格等元素之间的内在特征和差异性，分别设计文本子网络、图片子网络和表格子网络检测对应的文本、图片和表格等元素，从而增强了文档图像中元素的区分能力，提高版面分析元素识别准确率和位置定位的精准度。并且，通过提取基础的多尺寸高维语义特征为各个子网络共用，能够极大减少模型内部计算量，提高处理效率。

附图说明

图1为一个实施例中文档图像版面分析方法的应用环境图。

图2为一个实施例中文档图像版面分析方法的流程示意图。

图3为一个实施例中文本子网络、图片子网络和表格子网络训练步骤的流程示意图。

图4为一个实施例中文档图像版面分析模型的结构示意图。

图5为一个实施例中文档图像版面分析方法装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请提供的文档图像版面分析方法，可以应用于如图1所示的应用环境中，该应用环境涉及终端102和服务器104。其中，终端102通过网络与服务器104进行通信。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和携带式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

当终端102接收到文档图像版面分析指令时，可以由终端102单独实现上述文档图像版面分析方法。也可以由终端102将文档图像版面分析指令发送给通信的服务器104，由服务器104实现上述文档图像版面分析方法。以服务器104为例，具体的，服务器104对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；服务器104将多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；服务器104将多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由图片子网络输出图片检测结果和表格子网络输出表格检测结果；服务器104结合文本检测结果、图片检测结果和表格检测结果，得到版面分析结果。

在一个实施例中，如图2所示，提供一种文档图像版面分析方法，以该方法应用于服务器为例进行说明，包括以下步骤：

步骤S201，对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征。

其中，文档图像是需要进行版面分析的文档的电子图像，多尺寸高维语义特征是通过浅层图像语义特征模型所提取到的包括多个不同尺寸的特征。

具体的，当服务器获得文档图像之后，将该文档图像输入至前端浅层语义特征模型进行多尺寸高维语义特征的提取，得到多尺寸高维语义特征。在本实施例中，前端浅层图像语义特征模型优选ResNet18网络，输出为3个不同尺寸的高维度的特征，3个不同尺寸的高维语义特征可以称为大中小三个不同尺寸特征，也可以称为第一尺寸特征、第二尺寸特征和第三尺寸特征。比如，3个大中小不同尺寸的特征可以是(b，h/32,w/32,512)、(b，h/16,w/16,512)和(b，h/8,w/8,512)。

步骤S202，将多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果。

其中，由于文档图像中文本元素的尺寸变化多端，有的文本只有一行(宽远远大于高)，有的文本很多行(宽远小于高)。并且，文本元素进一步能够细分成标题、正文、页眉、页脚、注释、公式、图片标题和表格标题等8个子类别，而这些子类别之间既有共性又有差异性，需要高辨别能力的网络，因此基于该些性质，本实施例单独定义用于检测文本元素的文本子网络。所以，本实施例中的文本子网络可以理解为是预先训练好专用于对文档图像中的文本元素进行检测的网络模型。

具体的，当前端的浅层图像语义特征模型提取得到多尺寸的高维语义特征之后，服务器将该多尺寸高维语义特征输入至预先训练好的文本子网络中，由文本子网络基于各个尺寸的高维语义特征进行文本行上下文语义信息挖掘，并在挖掘之后再将各个尺寸的特征进行合并去检测，从而检测得到文本检测结果。

在一个实施例中，步骤S202，包括：合并多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；利用transform网络在多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；融合多尺寸上下文语义特征中不同尺寸的特征，基于融合后的特征进行类别和边框检测，得到文本检测结果。

具体的，文本子网络检测文本元素的过程主要包括挖掘文本行上下文语义，多尺寸语义合并以及文本元素检测等三个步骤。各步骤详细的处理过程如下：

文本行上下文语义的挖掘过程为：首先将尺寸相同的高维语义特征进行合并，得到多尺寸合并特征。然后，利用transform网络所得到的多尺寸特征中挖掘文本行上下文语义信息，完成挖掘之后将合并的特征再次分离来得到对尺寸上下文语义特征。比如，以小尺寸特征(b，h/8,w/8,512)为例，先将多尺寸高维语义特征中所有的小尺寸特征(b，h/8,w/8,512)进行特征合并，即维度转换为(b*h/8,w/8,512)。接着使用transform网络把w/8所在维度当作一个个词信息，512所在维度当作词的高维度特征，学习同行上下文语义信息，输出维度为(b*h/8，w/8，256)的特征，最后再将该特征分离得到小尺寸的上下文语义特征，也就是特征(b*h/8，w/8，256)再次转换为(b，h/8，w/8，256)。同理，多尺寸高维语义特征中的中尺寸特征和大尺寸特征均按照上述小尺寸特征的处理方式进行处理，处理之后所对应的特征维度分别为(b，h/16,w/16,256)、(b，h/32,w/32,256)。此时，3个不同尺寸的上下文语义特征(b，h/8，w/8，256)、(b，h/16,w/16,256)、(b，h/32,w/32,256)即为本实施例中的多尺寸上下文语义特征。

多尺寸语义合并的过程即为融合得到多尺寸融合特征的过程，在一个实施例中，融合多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征，包括：遍历多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；将多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。

具体的，以多尺寸上下文语义特征包括大中小3个尺寸的特征为例，首先对其中的大尺寸上下文语义特征(b，h/32,w/32,256)向上采样，输出维度为(b，h/16,w/16,256)，接着将采样后的特征与中尺寸的上下文语义特征进行特征融合，即得到中尺寸融合特征，输出维度为(b，h/16,w/16,512)。同理，按照大尺寸特征与中尺寸特征进行特征融合的方式，将中尺寸的特征与小尺寸的特征进行特征融合，从而输出小尺寸融合特征，对应维度为(b，h/8,w/8,512)。当所有尺寸的特征按照此方式完成特征融合后，将多尺寸上下文语义特征中尺寸最大的上下文语义特征与特征融合所得到的各个融合特征，也就是将大尺寸上下文语义特征与特征融合得到的中尺寸融合特征、小尺寸融合特征组成多尺寸融合特征。即，本实施例的特征融合过程可以理解为，按照从大至小的顺序依次把相邻尺寸的上下文语义特征进行特征融合来得到各个融合特征，然后将最大尺寸的上下文语义特征保留下来与各个融合特征组成得到多尺寸融合特征。

文本元素的检测的过程为：对于通过多尺寸语义合并所得到的多尺寸融合特征，采用通用目标检测策略中的类别预测和边框回归方法得到输出结果。也就是基于融合得到的多尺寸融合特征，利用通用目标检测方式检测出文档图像中的文本元素类别和对应位置的边框，得到文本检测结果。边框回归中所采用的anchor(锚点)即为训练文本子网络时所确定的文本超参数。

步骤S203，将多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由图片子网络输出图片检测结果和表格子网络输出表格检测结果。

其中，由于文档图像中的图片元素相对于文本元素而言，尺寸变换较小，且区分性强。以及文档图像中表格元素尺寸变化较少，且表格存在多行对多列的情况，没有严格的文本行语义信息。所以，在定义文本子网络的同时，分别定义专用于检测文档图像中图片和表格的图片子网络和表格子网络来提高图片和表格等元素是检测定位的能力。

具体的，在文本子网络进行文本检测的同时，可以调用图片子网络和表格子网络对文档图像中的图片和表格进行检测。即，将多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由图片子网络和表格子网络分别输出图片检测结果和表格检测结果。

在一个实施例中，将多尺寸高维语义特征分别输入至训练好的图片子网络，由图片子网络输出图片检测结果，包括：图片子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；根据各尺寸对应的卷积特征进行类别和边框预测，输出图片检测结果。

具体的，图片子网络进行图片检测主要包括的图片语义学习和目标检测两个步骤。其中，图片语义学习的过程为：对于多尺寸高维语义特征中不同尺寸的特征，首先采用权重共享的方式进行卷积操作，本实施例卷积核优选为5，filter数量优选为256，步长优选为1，从而输出不同尺寸对应的卷积特征。以大中小3个尺寸特征为例，卷积操作后所输出的特征维度分别为(b，h/32,w/32,256)、(b，h/16,w/16,256)、(b，h/8,w/8,256)。然后，对于卷积之后所输出的不同尺寸的卷积特征，同样采用通用目标检测策略中的类别预测和边框回归方法得到图片检测结果，图片检测结果包括图片元素和对应位置的边框。此处边框回归中所采用的anchor(锚点)即为训练图片子网络时确定的图片超参数。

在一个实施例中，将多尺寸高维语义特征分别输入至训练好的表格子网络，由表格子网络输出表格检测结果，包括：表格子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；将各个尺寸对应的卷积特征进行融合，基于融合后的特征进行类别和边框检测，得到文本检测结果。

具体的，表格子网络进行表格检测主要包括的表格语义学习、多尺寸语义合并和目标检测三个步骤。其中，表格语义学习与图片子网络相同，在输入多尺寸高维语义特征之后，同样先采用权重共享的方式进行卷积操作得到不同尺寸对应的卷积特征。而在进行表格目标检测之前，表格子网络还需先进行多尺寸语义合并，多尺寸语义合并的过程与文本子网络的多尺寸语义合并相同，即将卷积所得的不同尺寸的特征按照文本子网络多尺寸语义合并相同的处理方式进行特征融合得到多尺寸融合特征。最后，再基于融合后的多尺寸融合特征采用通用目标检测策略中的类别预测和边框回归方法得到表格检测结果，表格检测结果包括表格元素和对应位置的边框。此处边框回归中所采用的anchor(锚点)即为训练表格子网络时确定的表格超参数。

步骤S204，结合文本检测结果、图片检测结果和所述表格检测结果，得到版面分析结果。

具体的，当完成文档图像中的文本、图片和表格的检测之后，结合各个检测结果即能够得到完整的版面分析结果。

上述文档图像版面分析方法，通过考虑实际场景下文档图像中文本、图片和表格等元素之间的内在特征和差异性，分别设计文本子网络、图片子网络和表格子网络检测对应的文本、图片和表格等元素，从而增强了文档图像中元素的区分能力，提高版面分析元素识别准确率和位置定位的精准度。并且，通过提取基础的多尺寸高维语义特征为各个子网络共用，能够极大减少模型内部计算量，提高处理效率。

在一个实施例中，如图3所示，文本子网络、图片子网络和表格子网络的训练步骤，包括：步骤S301，获取标注元素数据集，将标注元素数据集划分为训练集和测试集。

具体的，根据需求收集一定数量的文档图像并对文档图像进行图像摆正等预处理之后得到文档图像集合。接着对文档图像集合使用标注工具对其中的文档图像中的元素进行边框标注，所标注元素类型分为文本、图片和表格三大类，文本元素进一步细分为标题、正文、页眉、页脚、注释、公式、图片标题、表格标题等8个小类，总共累计标注文档元素为10小类，详情可参见下表1。然后，基于所标注结果构建用于文档图像版面分析的标注元素数据集S＝{(I₁，

L₁),(I₂，L₂),…,(I_n，L_n)}，其中I表示文档图像，L表示对应标注的结果，每一个标注结果中包含若干个文档元素，即L＝{cx₁，cy₁，bw₁，bh₁，t₁),…}，cx、cy、bw、bh、t分别表示一个文档元素边框的中心点坐标x，中心点坐标y，边宽框度w，边框高度h和文档元素类别t。进而标注元素数据集进行划分，按照8:2的比例划分为训练集S1和测试集S2。

表1

步骤S302，从标注元素数据集中分别选取文本子网络、图片子网络和表格子网络对应的文本超参数、图片超参数和表格超参数。

具体的，超参数是网络模型训练所用的参数，因此，针对不同网络在标注元素数据集中选取不同的超参数。

在一个实施例中，步骤S302，包括：从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；将文本标注边框、图片标注边框和表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；分别基于预设的聚类数，对文本边框尺寸样本集、图片边框尺寸样本集和表格边框尺寸样本集进行聚类，获得与聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。

具体的，文本超参数选取过程为：从标注元素数据集S对应的标注结果中选取大类别为文本(即文档元素类别t为[0,7])的文档标注边框，把文档标注边框中的边框宽度bw和边框高度bh组成一个样本(bw，bh)，将所有样本组成文本边框尺寸样本集。然后，使用KMeans算法基于预设的聚类数对文本边框尺寸样本进行聚类，文本边框尺寸样本聚类数本实施例优选为5，并优选取5个聚类中心为文本超参数，记录为Text_BA＝{(aw₁，ah₁),…,(aw₅，ah₅)}。

图片超参数选取过程为：类似于文本超参数的选取，从标注元素数据集S对应的标注结果中选取大类别为图片的文档标注边框，把大类为图片的文档标注边框中的边框宽度bw和边框高度bh组成一个样本(bw，bh)，将所有样本组成图片边框尺寸样本集。然后，使用KMeans算法基于预设的聚类数对图片边框尺寸样本进行聚类，图片边框尺寸样本聚类数本实施例优选为2，并优选取2个聚类中心为图片超参数，记录为Fig_BA＝{(aw₁，ah₁),(aw₂，ah₂)}。

表格超参数选取过程为：同样类似于文本超参数的选取，从标注元素数据集S对应的标注结果中选取大类别为表格的文档标注边框，把大类为表格的文档标注边框中的边框宽度bw和边框高度bh组成一个样本(bw，bh)，将所有样本组成表格边框尺寸样本集。然后，使用KMeans算法基于预设的聚类数对表格边框尺寸样本进行聚类，表格边框尺寸样本聚类数同样优选为2，并优选取2个聚类中心为表格超参数，记录为Table_BA＝{(aw₁，ah₁),(aw₂，ah₂)}。

步骤S303，从训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集。

具体的，由于文本子网络、图片子网络和表格子网络分别是专用于文本、图片和表格等元素的检测，因此再进行网络训练时，为了避免其他元素的影响，各子网络所用的训练集需要剔除其他元素形成新的训练集。即，文本子网络的训练集应当是从训练集S中剔除非文本元素的文本训练集。同理，图片子网络的训练集应当是从训练集S中剔除非图片元素的图片训练集，表格子网络的训练集应当是从训练集S中剔除非表格元素的表格训练集。

步骤S304，基于文本超参数和文本训练集单独训练文本子网络、基于图片超参数和图片训练集单独训练图片子网络、以及基于表格超参数和表格训练集单独训练表格子网络。

具体的，当选择好相应的超参数以及训练集之后，利用各子网络对应的超参数和训练集对该子网络进行单独训练。单独训练即为在训练当前子网络时应当将其他网络和其他子网络的参数进行冻结，仅单独训练当前子网络。比如，训练文本子网络时需要冻结前置浅层图像语义特征模型(ResNet18网络)、图片子网络和表格子网络。图片子网络和表格子网络的训练策略与文本子网络的训练方式相同。

步骤S305，利用训练集和测试集对完成单独训练后文本子网络、图片子网络和表格子网络进行全量训练，直至测试结果收敛。

具体的，当完成各个子网络的单独训练之后，再对所有参数进行解冻，使用整个训练集S1对整个网络进行全量训练，同时在训练完成一个epoch之后，使用测试集S2对其进行测试，直至网络在测试集S2上测试结果收敛，然后选择测试结果最佳的模型参数进行固化，从而得到一个训练好的文档图像版面分析模型。后续，对于任意输入的文档图像，使用训练好的文档图像版面分析模型进行预测，能够得到文档元素类别和边框位置，完成版面分析。

另外，本实施例中所定义网络损失函数为带权重多任务损失函数，定义公式如下所示：

cost＝Loss_text+α*Loss_fig+β*Loss_table

其中，Loss_text、Loss_fig和Loss_table分别为文本子网络、图片子网络、表格子网络的类别预测和边框回归总损失，α和β为权重调节因子，值分别为0.4，0.6。

所定义的网络优化策略为自适应网络优化器，定义公式如下所示：

其中，

表示θ_t-1时刻损失值，α为学习率。

在一个实施例中，如图4所示，提供一种文档图像版面分析模型的结构示意图，该模型包括前置浅层图像语义特征模型(ResNet18网络)、文本子网络、图片子网络和表格子网络，基于该模型对文档图像版面分析模型进行解释说明。

具体的，参考图4，当获取到文档图像之后，首先将文档图像输入至ResNet18网络进行多尺寸高维语义特征提取，得到多尺寸高维语义特征。然后，将所得到的多尺寸高维语义特征输入至多任务异构网络，即分别输入至文本子网络、图片子网络和表格子网络分别进行文本检测、图片检测和表格检测。最后，基于文本检测结果、图片检测结果和表格检测结果得到版面分析结果。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供一种文档图像版面分析装置，包括：

浅层语义提取模块501，用于对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征。

文本检测模块502，用于将多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果。

图片表格检测模块503，用于将多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由图片子网络输出图片检测结果和表格子网络输出表格检测结果。

结果结合模块504，用于结合文本检测结果、图片检测结果和表格检测结果，得到版面分析结果。

在一个实施例中，文本检测模块502还用于合并多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；利用transform网络在多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；融合多尺寸上下文语义特征中不同尺寸的特征，基于融合后的特征进行类别和边框检测，得到文本检测结果。

在一个实施例中，文本检测模块502还用于遍历多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；将多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。

在一个实施例中，图片表格检测模块503还用于图片子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；根据各尺寸对应的卷积特征进行类别和边框预测，输出图片检测结果。

在一个实施例中，图片表格检测模块503还用于表格子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；将各个尺寸对应的卷积特征进行融合，基于融合后的特征进行类别和边框检测，得到文本检测结果。

在一个实施例中，还包括训练模块，用于获取标注元素数据集，将标注元素数据集划分为训练集和测试集；从标注元素数据集中分别选取文本子网络、图片子网络和表格子网络对应的文本超参数、图片超参数和表格超参数；从训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集；基于文本超参数和文本训练集单独训练文本子网络、基于图片超参数和图片训练集单独训练图片子网络、以及基于表格超参数和表格训练集单独训练表格子网络；利用训练集和测试集对完成单独训练后文本子网络、图片子网络和表格子网络进行全量训练，直至测试结果收敛。

在一个实施例中，训练模块还用于从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；将文本标注边框、图片标注边框和表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；分别基于预设的聚类数，对文本边框尺寸样本集、图片边框尺寸样本集和表格边框尺寸样本集进行聚类，获得与聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。

关于文档图像版面分析装置的具体限定可以参见上文中对于文档图像版面分析方法的限定，在此不再赘述。上述文档图像版面分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个文档图像版面分析方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

在一个实施例中，提供一种计算机设备，该计算机设备可以是服务器，包括处理器，存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文档图像版面分析方法。示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域技术人员可以理解，本实施例中所示出的计算机设备结构，仅仅是与本发明方案相关的部分结构，并不构成对本发明所应用于其上的计算机设备的限定，具体的计算机设备可以包括更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

将多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

将多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由图片子网络输出图片检测结果和表格子网络输出表格检测结果；

结合文本检测结果、图片检测结果和表格检测结果，得到版面分析结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

合并多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；利用transform网络在多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；融合多尺寸上下文语义特征中不同尺寸的特征，基于融合后的特征进行类别和边框检测，得到文本检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：遍历多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；将多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：图片子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；根据各尺寸对应的卷积特征进行类别和边框预测，输出图片检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：表格子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；将各个尺寸对应的卷积特征进行融合，基于融合后的特征进行类别和边框检测，得到文本检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取标注元素数据集，将标注元素数据集划分为训练集和测试集；从标注元素数据集中分别选取文本子网络、图片子网络和表格子网络对应的文本超参数、图片超参数和表格超参数；从训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集；基于文本超参数和文本训练集单独训练文本子网络、基于图片超参数和图片训练集单独训练图片子网络、以及基于表格超参数和表格训练集单独训练表格子网络；利用训练集和测试集对完成单独训练后文本子网络、图片子网络和表格子网络进行全量训练，直至测试结果收敛。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；将文本标注边框、图片标注边框和表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；分别基于预设的聚类数，对文本边框尺寸样本集、图片边框尺寸样本集和表格边框尺寸样本集进行聚类，获得与聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

将多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

将多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由图片子网络输出图片检测结果和表格子网络输出表格检测结果；

结合文本检测结果、图片检测结果和表格检测结果，得到版面分析结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：合并多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；利用transform网络在多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；融合多尺寸上下文语义特征中不同尺寸的特征，基于融合后的特征进行类别和边框检测，得到文本检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：遍历多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；将多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：图片子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；根据各尺寸对应的卷积特征进行类别和边框预测，输出图片检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：表格子网络对多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；将各个尺寸对应的卷积特征进行融合，基于融合后的特征进行类别和边框检测，得到文本检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取标注元素数据集，将标注元素数据集划分为训练集和测试集；从标注元素数据集中分别选取文本子网络、图片子网络和表格子网络对应的文本超参数、图片超参数和表格超参数；从训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集；基于文本超参数和文本训练集单独训练文本子网络、基于图片超参数和图片训练集单独训练图片子网络、以及基于表格超参数和表格训练集单独训练表格子网络；利用训练集和测试集对完成单独训练后文本子网络、图片子网络和表格子网络进行全量训练，直至测试结果收敛。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；将文本标注边框、图片标注边框和表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；分别基于预设的聚类数，对文本边框尺寸样本集、图片边框尺寸样本集和表格边框尺寸样本集进行聚类，获得与聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种文档图像版面分析方法，其特征在于，包括：

对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；

结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果，包括：

合并所述多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；

利用transform网络在所述多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；

融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征；

基于所述多尺寸融合特征进行类别和边框检测，得到文本检测结果。

3.根据权利要求1所述的方法，其特征在于，所述融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征，包括：

遍历所述多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；

将所述多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。

4.根据权利要求1所述的方法，其特征在于，将所述多尺寸高维语义特征分别输入至训练好的图片子网络，由所述图片子网络输出图片检测结果，包括：

所述图片子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；

根据各尺寸对应的所述卷积特征进行类别和边框预测，输出图片检测结果。

5.根据权利要求1所述的方法，其特征在于，将所述多尺寸高维语义特征分别输入至训练好的表格子网络，由所述表格子网络输出表格检测结果，包括：

所述表格子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；

将各个尺寸对应的所述卷积特征进行特征融合，基于融合后的特征进行类别和边框检测，得到表格检测结果。

6.根据权利要求1所述的方法，其特征在于，所述文本子网络、所述图片子网络和所述表格子网络的训练步骤，包括：

获取标注元素数据集，将所述标注元素数据集划分为训练集和测试集；

从所述标注元素数据集中分别选取所述文本子网络、所述图片子网络和所述表格子网络对应的文本超参数、图片超参数和表格超参数；

从所述训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集；

基于所述文本超参数和所述文本训练集单独训练文本子网络、基于所述图片超参数和所述图片训练集单独训练图片子网络、以及基于所述表格超参数和所述表格训练集单独训练表格子网络；

利用所述训练集和所述测试集对完成单独训练后所述文本子网络、所述图片子网络和所述表格子网络进行全量训练，直至测试结果收敛。

7.根据权利要求1所述的方法，其特征在于，所述从所述标注元素数据集中分别选取所述文本子网络、所述图片子网络和所述表格子网络对应的文本超参数、图片超参数和表格超参数，包括：

从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；

将所述文本标注边框、所述图片标注边框和所述表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；

分别基于预设的聚类数，对所述文本边框尺寸样本集、所述图片边框尺寸样本集和所述表格边框尺寸样本集进行聚类，获得与所述聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。

8.一种文档图像版面分析装置，其特征在于，包括：

浅层语义提取模块，用于对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

文本检测模块，用于将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

图片表格检测模块，用于将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；

结果结合模块，用于结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。

9.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求1-7中任意一项所述的文档图像版面分析方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的文档图像版面分析方法。

Images