CN110598191A - 一种基于神经网络的复杂pdf结构解析方法及装置 - Google Patents

Abstract

本说明书实施例提供了一种基于神经网络的复杂PDF结构解析方法及装置，通过获得PDF文档的特征信息；根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；根据大规模语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列。解决了由于PDF文档结构不单一，存在泛化能力较差的技术问题，达到了避免人工设计规则逻辑的局限性，能够高水平的解析复杂PDF文档结构，泛化性强的技术效果。

Description

一种基于神经网络的复杂PDF结构解析方法及装置

技术领域

本说明书实施例涉及计算机技术领域，尤其涉及一种基于神经网络的复杂PDF结构解析方法及装置。

背景技术

PDF文档解析方法主要用于PDF文档结构体系的建立，也可以为进一步提取文档实体信息做准备。PDF是一种常见的文件格式，一种是有清晰目录结构和文字区分的文档，这种形式往往需要手工录入和排版，另一种也是绝大部分PDF文档，以实体原稿的扫描图片形式逐页保存，既没有目录结构，也没有明确的文字区分，因而不利于阅读，也不利于进一步的信息提取。目前主流的PDF文档结构提取方法是根据文档内容，设计规则提取可能作为目录结构信息的若干标题，以及标题之间的层级结构，基于规则的解析方法可以避免人工提取目录结构的繁琐操作。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中由于PDF文档结构并不单一，很难设计出能够适应各种不同结构的解析规则，故存在泛化能力较差的技术问题。

发明内容

本说明书实施例提供及一种基于神经网络的复杂PDF结构解析方法及装置，解决了现有技术中由于PDF文档结构并不单一，很难设计出能够适应各种不同结构的解析规则，故存在泛化能力较差的技术问题，达到了避免人工设计规则逻辑的局限性，在解析不同PDF文档和复杂PDF结构上具有更高的水平，泛化性强的技术效果。

鉴于上述问题，提出了本申请实施例以便提供一种基于神经网络的复杂PDF结构解析方法及装置。

第一方面，本说明书实施例提供一种基于神经网络的复杂PDF结构解析方法，所述获得PDF文档的特征信息；根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。

优选地，所述获得PDF文档的特征信息，包括：对所述PDF文档进行预处理，获得文本文档；识别所述文本文档中的文字与文字的位置，确定所述特征信息。

优选地，所述根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落，包括：获得所述PDF文档中标题的格式与形式；根据所述PDF文档的特征信息对所述PDF文档的每个段落进行类型划分，确定段落类型；对所述PDF文档中的标题的格式与形式和特殊节点进行初始化权重比较计算，确定所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值；根据所述段落类型、所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值，获得所述分层段落。

优选地，所述压缩所述段落词向量获得段落语义向量，包括：将所述段落词向量输入全连接的放缩神经网络，获得所述全连接的放缩神经网络压缩后的输出信息，其中，所述输出信息为段落语义向量。

优选地，所述将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，包括：根据所述多层双向长短时记忆网络的多层正向和反向神经网络训练所述段落语义向量，获得输出隐层语义编码；根据所述多层双向长短时记忆网络的softmax层获得所述PDF文档的所有段落的层级序列。

第二方面，本说明书实施例提供一种基于神经网络的复杂PDF结构解析装置，所述装置包括：

第一获得单元，用于获得PDF文档的特征信息；

第二获得单元，用于根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；

第三获得单元，用于根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；

第四获得单元，用于将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。

优选地，所述第一获得单元中获得PDF文档的特征信息，包括：

第五获得单元，用于对所述PDF文档进行预处理，获得文本文档；

第一确定单元，用于识别所述文本文档中的文字与文字的位置，确定所述特征信息。

优选地，所述第二获得单元中根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落，包括：

第六获得单元，用于获得所述PDF文档中标题的格式与形式；

第二确定单元，用于根据所述PDF文档的特征信息对所述PDF文档的每个段落进行类型划分，确定段落类型；

第三确定单元，用于对所述PDF文档中的标题的格式与形式和特殊节点进行初始化权重比较计算，确定所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值；

第七获得单元，用于根据所述段落类型、所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值，获得所述分层段落。

优选地，所述第三获得单元中压缩所述段落词向量获得段落语义向量，包括：

第八获得单元，用于将所述段落词向量输入全连接的放缩神经网络，获得所述全连接的放缩神经网络压缩后的输出信息，其中，所述输出信息为段落语义向量。

优选地，所述第四获得单元中将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，包括：

第九获得单元，用于根据所述多层双向长短时记忆网络的多层正向和反向神经网络训练所述段落语义向量，获得输出隐层语义编码；

第十获得单元，用于根据所述多层双向长短时记忆网络的softmax层获得所述PDF文档的所有段落的层级序列。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

第四方面，本说明书实施例提供一种基于神经网络的复杂PDF结构解析装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行上述任一项所述方法的步骤。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本说明书实施例提供的基于神经网络的复杂PDF结构解析方法及装置，通过获得PDF文档的特征信息；根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。通过使用双向语言模型增强了词之间的语义关联，再利用全连接网络进一步压缩了段落语义向量的长度，将循环神经网络的序列解析提升到了段落级别，进而利用LSTM进行段落级别的序列标注来解析PDF文档结构。解决了由于PDF文档结构并不单一，很难设计出能够适应各种不同结构的解析规则，故存在泛化能力较差的技术问题，达到了避免人工设计规则逻辑的局限性，在解析不同PDF文档和复杂PDF结构上具有更高的水平，泛化性强的技术效果。

附图说明

图1为本说明书实施例中提供的一种基于神经网络的复杂PDF结构解析方法流程图；

图2为本说明书实施例中提供的一种基于神经网络的复杂PDF结构解析方法工作示意图；

图3为本说明书实施例中提供的一种基于神经网络的复杂PDF结构解析装置示意图；

图4为本说明书实施例中提供的另一种基于神经网络的复杂PDF结构解析装置示意图。

附图标号说明：总线300，接收器301，处理器302，发送器303，存储器304，总线接口306。

具体实施方式

本发明实施例提供了一种基于神经网络的复杂PDF结构解析方法及装置，用于解决了现有技术中由于PDF文档结构并不单一，很难设计出能够适应各种不同结构的解析规则，故存在泛化能力较差的技术问题，本发明提供的技术方案总体思路如下：

在本发明实施例的技术方案中，通过获得PDF文档的特征信息；根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。解决了由于PDF文档结构并不单一，很难设计出能够适应各种不同结构的解析规则，故存在泛化能力较差的技术问题，达到了避免人工设计规则逻辑的局限性，在解析不同PDF文档和复杂PDF结构上具有更高的水平，泛化性强的技术效果。

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

在本文公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本文公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为了更清楚公开本申请实施例所提供的一种基于神经网络的复杂PDF结构解析方法，下面介绍一些术语。

1. 词嵌入（Word Embedding）是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

2. 长短时记忆网络（LSTM）是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。它是一种特殊的RNN，能够学习长期依赖关系。LSTM的基本单元是记忆神经元，这种单元模拟了人脑的神经元结构，由输入门、输出门和遗忘门组成，可以在处理序列数据时保留上文记忆。

实施例一

图1为本发明实施例中一种基于神经网络的复杂PDF结构解析方法的流程示意图。如图1所示。所述方法应用于一基于神经网络的复杂PDF结构解析设备，所述基于神经网络的复杂PDF结构解析处理设备包括一输入设备和一显示设备，所述输入设备内部具有文档输入模块、文档处理模块、存储器、信号输入模块，所述输入设备可以与打印机或扫描仪等产生输出信号的设备进行连接，所述显示设备与所述输入设备连接，能够将所述打印机或扫描仪等输入设备处理的文档显示出来的显示屏等设备。该方法包括步骤S101-S104。

S101：获得PDF文档的特征信息；

进一步的，所述获得PDF文档的特征信息，包括：对所述PDF文档进行预处理，获得文本文档；识别所述文本文档中的文字与文字的位置，确定所述特征信息。

具体而言，本申请实施例提供了一种基于神经网络的复杂PDF结构解析方法，如图2，该方法是涉及文档粗粒度划分（即段落划分），段落词嵌入（Word Embedding）表示和多层双向长短时记忆网络（Multi Bidirectional LSTM）建设的“PDF结构解析方法”从而获得PDF目录结构。该方法通过使用神经网络学习海量PDF文档的结构体系，使用双向语言模型(Embedding from Language Models，ELMo)增强了词之间的语义关联，再利用全连接网络进一步压缩了段落语义向量的长度，将循环神经网络的序列解析提升到了段落级别。其中，通过长短时记忆网络(Long Short-Term Memory，LSTM)对文档段落进行序列标注来解析PDF文档结构，是利用长短时记忆网络能够拟合复杂逻辑和泛化性强的特质，避免了人工设计规则逻辑的局限性。也就是说，本申请实施例首先通过现有的开源工具（如PDF Miner）对所述PDF文档进行预处理，将一个PDF文档转化成文本文档，识别出上述文本文档里面的文字以及文字的位置，获得PDF文档的特征信息，如文本的长度，字体格式，文字位置等信息。

S102：根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；

进一步的，所述根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落，包括：获得所述PDF文档中标题的格式与形式；根据所述PDF文档的特征信息对所述PDF文档的每个段落进行类型划分，确定段落类型；对所述PDF文档中的标题的格式与形式和特殊节点进行初始化权重比较计算，确定所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值；根据所述段落类型、所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值，获得所述分层段落。

具体而言，通过获得所述PDF文档中标题的格式与形式，并对所述PDF文档中标题的格式与形式初始化权重，同时根据步骤S101获得的PDF文档的特征信息，利用分类技术对所述PDF文档每个段落进行类型划分，确定段落类型。以逻辑内容的闭包性为准则，对所述PDF文档中的特殊节点进行初始化权重，根据所述段落类型、所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值，配合少量原则，获得所述分层段落，构建文章结构，即根据所述PDF文档段落的标签、位置、格式等特征信息，用最大熵模型粗粒度地划分出所述PDF文档的主要段落（分层段落）。

S103：根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；

进一步的，所述压缩所述段落词向量获得段落语义向量，包括：将所述段落词向量输入全连接的放缩神经网络，获得所述全连接的放缩神经网络压缩后的输出信息，其中，所述输出信息为段落语义向量。

具体而言，根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，其中，两层双向的循环神经网络在大规模语料集预训练获得，将获得的神经网络的隐层状态作为每个词的向量表示。通过上述步骤能够使一个词同时捕捉它的上游和下游的语义，并且一个词在不同的语境中具有不同的词向量。根据两层双向语言模型转化所述PDF文档的分层段落获得段落词向量是上下文相关的词向量，避免了通常的文本的词嵌入采用带有负采样的word2vec方法，使用word2vec方法训练出来的词向量是上下文无关的，即一个词在不同的语境中具有相同的含义，能够更好的表示文本语义，贴近上下文。把所述段落词向量输入全连接的放缩神经网络，获得所述全连接的放缩神经网络压缩后的输出信息，其中，所述输出信息为段落语义向量。也就是说，根据两层双向语言模型（Embedding from Language Models，ELMo）产生上下文相关的所述段落词向量，并将所述段落词向量压缩获得所述段落语义向量以适应长文本的网络训练。其中，两层双向语言模型（Embedding from Language Models，ELMo）是一种文本嵌入模型。研究者认为一个预训练的词表示应该能够包含丰富的句法和语义信息，并且能够对多义词进行建模。而传统的词向量（例如word2vec）是上下文无关的。例如下面"apple"的例子，这两个"apple"根据上下文意思是不同的，但是在word2vec中，只有apple一个词向量，无法对一词多义进行建模。所以他们利用语言模型来获得一个上下文相关的预训练表示，称为ELMo，并在6个NLP任务上获得了提升。在EMLo中，他们使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。在预训练好这个语言模型之后，ELMo根据公式来用作词表示，其实就是把这个双向语言模型的每一中间层进行一个求和。最简单的也可以使用最高层的表示来作为ELMo。然后在进行有监督的NLP任务时，可以将ELMo直接当做特征拼接到具体任务模型的词向量输入或者是模型的最高层表示上。总结一下，不像传统的词向量，每一个词只对应一个词向量，ELMo利用预训练好的双向语言模型，然后根据具体输入从该语言模型中可以得到上下文依赖的当前词表示（对于不同上下文的同一个词的表示是不一样的），再当成特征加入到具体的NLP有监督模型里。S104：将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。

进一步的，所述将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，包括：根据所述多层双向长短时记忆网络的多层正向和反向神经网络训练所述段落语义向量，获得输出隐层语义编码；根据所述多层双向长短时记忆网络的softmax层获得所述PDF文档的所有段落的层级序列。

具体而言，将步骤S103中压缩获得的所述段落语义向量输入多层双向长短时记忆网络，其中，LSTM是一种常用于各类自然语言处理任务的神经网络，因其能挖掘语言中的上下文信息，并能根据不同的任务目标过滤特征信息的优点，避免了人工提取特征的步骤而在近年来广泛使用。根据所述多层双向长短时记忆网络的多层正向和反向神经网络训练所述段落语义向量，获得输出隐层语义编码，再根据所述多层双向长短时记忆网络的softmax层获得所述PDF文档的所有段落的层级序列，采用神经网络得到的PDF结构解析方法，能够适应各种不同结构的PDF文档。其中，LSTM神经网络的训练数据是没有对各种结构的PDF文档加以区分的，而是尽可能多的将不同结构的PDF文档拿来训练，采用上述方法利用了深度学习能够拟合高维复杂数据分布的特点，以数据驱动，减少了特征工程，具有较强的泛化性。换言之，使用LSTM神经网络学习海量PDF文档的结构体系，利用长短时记忆网络能够拟合复杂逻辑和泛化性强的特质，避免了人工设计规则逻辑的局限性。且该PDF结构解析方法使用带有一定比例随机掩码以增加训练时的迭代轮次，并采用平滑过渡的交叉训练方法来缓解因批训练（batch training）时，数据差异过大而导致的收敛不稳定。

实施例二

基于与前述实施例中一种基于神经网络的复杂PDF结构解析方法同样的发明构思，本发明还提供一种基于神经网络的复杂PDF结构解析装置，如图3所示，包括：

第一获得单元11，用于获得PDF文档的特征信息；

第二获得单元12，用于根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；

第三获得单元13，用于根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；

第四获得单元14，用于将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。

进一步的，所述第一获得单元中获得PDF文档的特征信息，包括：

第五获得单元，用于对所述PDF文档进行预处理，获得文本文档；

第一确定单元，用于识别所述文本文档中的文字与文字的位置，确定所述特征信息。

进一步的，所述第二获得单元中根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落，包括：

第六获得单元，用于获得所述PDF文档中标题的格式与形式；

第二确定单元，用于根据所述PDF文档的特征信息对所述PDF文档的每个段落进行类型划分，确定段落类型；

第三确定单元，用于对所述PDF文档中的标题的格式与形式和特殊节点进行初始化权重比较计算，确定所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值；

第七获得单元，用于根据所述段落类型、所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值，获得所述分层段落。

进一步的，所述第三获得单元中压缩所述段落词向量获得段落语义向量，包括：

第八获得单元，用于将所述段落词向量输入全连接的放缩神经网络，获得所述全连接的放缩神经网络压缩后的输出信息，其中，所述输出信息为段落语义向量。

进一步的，所述第四获得单元中将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，包括：

第九获得单元，用于根据所述多层双向长短时记忆网络的多层正向和反向神经网络训练所述段落语义向量，获得输出隐层语义编码；

第十获得单元，用于根据所述多层双向长短时记忆网络的softmax层获得所述PDF文档的所有段落的层级序列。

前述图1实施例一中的一种基于神经网络的复杂PDF结构解析方法的各种变化方式和具体实例同样适用于本实施例的一种基于神经网络的复杂PDF结构解析装置，通过前述对一种基于神经网络的复杂PDF结构解析方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于神经网络的复杂PDF结构解析装置的实施方法，所以为了说明书的简洁，在此不再详述。

实施例三

基于与前述实施例一中一种基于神经网络的复杂PDF结构解析方法同样的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种基于神经网络的复杂PDF结构解析方法的任一方法的步骤。

其中，在图4中，总线架构（用总线300来代表），总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本说明书实施例提供的基于神经网络的复杂PDF结构解析方法及装置，通过获得PDF文档的特征信息；根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。通过使用双向语言模型增强了词之间的语义关联，再利用全连接网络进一步压缩了段落语义向量的长度，将循环神经网络的序列解析提升到了段落级别，进而利用LSTM进行段落级别的序列标注来解析PDF文档结构。解决了由于PDF文档结构并不单一，很难设计出能够适应各种不同结构的解析规则，故存在泛化能力较差的技术问题，达到了避免人工设计规则逻辑的局限性，在解析不同PDF文档和复杂PDF结构上具有更高的水平，泛化性强的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（方法）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (8)

1.一种基于神经网络的复杂PDF结构解析方法，其特征在于，所述方法包括：

获得PDF文档的特征信息；

根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；

根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；

将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。

2.如权利要求1所述的方法，其特征在于，所述获得PDF文档的特征信息，包括：

对所述PDF文档进行预处理，获得文本文档；

识别所述文本文档中的文字与文字的位置，确定所述特征信息。

3.如权利要求1所述的方法，其特征在于，所述根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落，包括：

获得所述PDF文档中标题的格式与形式；

根据所述PDF文档的特征信息对所述PDF文档的每个段落进行类型划分，确定段落类型；

对所述PDF文档中的标题的格式与形式和特殊节点进行初始化权重比较计算，确定所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值；

根据所述段落类型、所述标题的格式与形式初始化权重值与所述特殊节点初始化权重值，获得所述分层段落。

4.如权利要求1所述的方法，其特征在于，所述压缩所述段落词向量获得段落语义向量，包括：

将所述段落词向量输入全连接的放缩神经网络，获得所述全连接的放缩神经网络压缩后的输出信息，其中，所述输出信息为段落语义向量。

5.如权利要求1所述的方法，其特征在于，所述将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，包括：

根据所述多层双向长短时记忆网络的多层正向和反向神经网络训练所述段落语义向量，获得输出隐层语义编码；

根据所述多层双向长短时记忆网络的softmax层获得所述PDF文档的所有段落的层级序列。

6.一种基于神经网络的复杂PDF结构解析装置，其特征在于，所述装置包括：

第一获得单元，用于获得PDF文档的特征信息；

第二获得单元，用于根据最大熵模型对所述PDF文档的特征信息进行粗颗粒划分，获得所述PDF文档的分层段落；

第三获得单元，用于根据语料集中训练的两层双向语言模型转化所述PDF文档的分层段落获得段落词向量，压缩所述段落词向量获得段落语义向量；

第四获得单元，用于将所述段落语义向量输入多层双向长短时记忆网络，获得所述PDF文档的所有段落的层级序列，其中，所述多层双向长短时记忆网络通过学习多组PDF文档的文档结构训练获得。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。

8.一种基于神经网络的复杂PDF结构解析装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。