CN111832258B - 文档的分割方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种文档的分割方法、装置及电子设备，涉及深度学习及自然语言处理技术领域。具体实现方案为：获取目标文档；从目标文档之中提取多个元素；获取多个元素的语义特征和图像特征；根据多个元素的语义特征和图像特征确定多个分割点；根据多个分割点对目标文档进行分割。由此，通过这种文档的分割方法，引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，以通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，从而提升了文本分割的准确度。

Description

文档的分割方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及深度学习及自然语言处理技术领域，提出一种文档的分割方法、装置及电子设备。

背景技术

文档文本分割是自然语言处理领域的一个常见应用。比如，将一段长文本划分为一系列结构相似的短文本。

相关技术中，通常根据文档中前后句子间的关联度特征，从纯语义角度找到文档中的最佳分割位置。但是，这种文档分割方法，由于仅考虑了文档中句子的语义信息，从而导致分割结果的准确度较低。

发明内容

本申请提供了一种用于文档分割的方法、装置、电子设备、存储介质以及计算机程序产品。

根据本申请的一方面，提供了一种文档的分割方法，包括：获取目标文档；从所述目标文档之中提取多个元素；获取所述多个元素的语义特征和图像特征；根据所述多个元素的语义特征和所述图像特征确定多个分割点；以及根据所述多个分割点对所述目标文档进行分割。

根据本申请的另一方面，提供了一种文档的分割装置，包括：第一获取模块，用于获取目标文档；提取模块，用于从所述目标文档之中提取多个元素；第二获取模块，用于获取所述多个元素的语义特征和图像特征；确定模块，用于根据所述多个元素的语义特征和所述图像特征确定多个分割点；以及分割模块，用于根据所述多个分割点对所述目标文档进行分割。

根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的文档的分割方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前所述的文档的分割方法。

根据本申请的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前所述的文档的分割方法。

根据本申请的技术方案，解决了相关技术中，基于文档中句子的语义信息进行文档分割的方法，准确度较低的问题。通过从目标文档之中提取多个元素，并获取多个元素的语义特征和图像特征，之后根据多个元素的语义特征和图像特征确定多个分割点，进而根据多个分割点对目标文档进行分割。由此，通过引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，以通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，从而提升了文本分割的准确度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种文档的分割方法的流程示意图；

图2为本申请实施例所提供的另一种文档的分割方法的流程示意图；

图3为本申请实施例所提供的一种通过文档分割模型对目标文档进行分割的示意图；

图4为本申请实施例所提供的再一种文档的分割方法的流程示意图；

图5为本申请实施例提供的一种文档的分割装置的结构示意图；

图6为用来实现本申请实施例的文档的分割方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例针对相关技术中，基于文档中句子的语义信息进行文档分割的方法，准确度较低的问题，提出一种文档的分割方法。

下面参考附图对本申请提供的文档的分割方法、装置、电子设备、存储介质及计算机程序产品进行详细描述。

图1为本申请实施例所提供的一种文档的分割方法的流程示意图。

如图1所示，该文档的分割方法，包括以下步骤：

步骤101，获取目标文档。

需要说明的是，本申请实施例的文档的分割方法，可以由本申请实施例的文档的分割装置执行。本申请实施例的文档的分割装置可以配置在任意电子设备中，以执行本申请实施例的文档的分割方法。

其中，目标文档，是指当前需要对其进行分割，以生成多个短文本的文档。

在本申请实施例中，可以在获取到需要进行分割的文档之后，确定文档的格式。若文档的格式与预设的文档格式不同，则可以利用文档转换工具对文档进行格式转换，以将文档转换为预设的文档格式，生成目标文档。

比如，预设的文档格式为PDF格式，获取到的需要进行分割的文档为Word文档，则可以利用office文档转换工具将该文档转换为PDF格式的目标文档。

步骤102，从目标文档之中提取多个元素。

其中，元素，可以是目标文档中的独立的字符、字符串、分词、短语、句子等。实际使用时，可以根据实际需要及具体的应用场景，确定对目标文档进行元素提取的元素粒度，本申请实施例对此不做限定。

作为一种可能的实现方式，可以将目标文档中的每个分词，确定为文档中包括的元素。因此，可以对目标文档进行分词处理，以确定目标文档中包括的各分词，进而将目标文档中包括的各分词，确定为目标文档包括的多个元素。

举例来说，目标文档为英文文档，则可以将目标文档中包括的每个单词，确定为目标文档中包括的元素。从而，可以利用英文分词工具对目标文档进行分词处理，以确定目标文档中包括的各元素。

作为另一种可能的实现方式，还可以将目标文档中的每个字符，确定为目标文档中包括的各元素；或者，还可以将目标文档中的每个句子，确定为目标文档中包括的各元素。

举例来说，目标文档为中文文档，则可以将目标文档中的每个字符确定为目标文档中包括的各元素，从而可以对目标文档进行分词处理，以确定目标文档中包括的每个字符，进而将目标文档中包括的每个字符，确定为目标文档中包括的各元素；或者，还可以对目标文档中包括的标点符号进行识别，并确定每两个标点符号之间的句子，进而将确定的每个句子确定为目标文档中包括的各元素。

步骤103，获取多个元素的语义特征和图像特征。

其中，语义特征，是指元素的语义信息的向量表示；图像特征，是指元素的在目标文档中的字体、颜色、空间位置等信息的向量表示。

在本申请实施例中，提取出目标文档中包括的多个元素之后，可以采用任意的词向量映射算法，确定每个元素对应的词向量，进而将每个元素对应的词向量分别确定为每个元素的语义特征。之后，可以利用文档解析工具，确定各元素的空间位置、字体、颜色等信息，进而将元素的空间位置、字体、颜色等信息进行向量映射，以生成每个元素对应的图像特征。

举例来说，目标文档为PDF文档，目标文档中包括的各元素为目标文档中的各分词，则可以采用ERNIE(Enhanced Language Representation with InformativeEntities，利用信息实体的增强语言表示)模型，确定元素中每个字符的向量表示，进而将元素中每个字符的向量表示的加权均值，确定为元素的语义特征。确定出目标文档中包括的各元素的语义特征之后，可以采用PDF文档解析工具(如pdfminer)对目标文档进行解析处理，以确定各元素的空间位置、字体、颜色等信息，并对获取的各元素的空间位置、字体、颜色等信息进行向量映射，以确定各元素的图像特征。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，选择确定元素的语义特征的所使用的算法，以及确定元素的图像特征的方式，本申请实施例对此不做限定。

步骤104，根据多个元素的语义特征和图像特征确定多个分割点。

在本申请实施例中，确定出目标文档中包括的各元素的语义特征和图像特征之后，可以根据每个元素的语义特征和图像特征，对每个元素的语义信息和文本结构进行分析，以根据每个元素的语义特征的相似度和图像特征的相似度，确定目标文档中包括的多个分割点。

作为一种可能的实现方式，可以预设语义特征相似度的第一阈值，以及图像特征相似度的第二阈值，从而可以在元素A与元素B的语义特征之间的相似度小于第一阈值，且元素A与元素B的图像特征之间的相似度大于第二阈值时，确定元素A与元素B为语义差异较大且文本结构相似的两个短文本，从而可以将元素A与元素B之间确定为一个分割点。进而采用相同的方式对目标文档中每对相邻的元素进行处理，以确定目标文档中包括的多个分割点。

举例来说，目标文档为“2000年，清华大学，本科生，所学课程：xxxx；2004年，北京大学，研究生，导师：xxxx”，目标文档中包括的各元素为“2000年”、“清华大学”、“本科生”、“所学课程：xxxx”、“2004年”、“北京大学”、“研究生”、“导师：xxxx”，从而根据本申请的文档的分割方法，可以将元素“所学课程：xxxx”与元素“北京大学”之间，确定为一个分割点。

步骤105，根据多个分割点对目标文档进行分割。

在本申请实施例中，确定出弥补文档中的各分割点之后，即可以根据各分割点的位置，对目标文档进行切分，以生成目标文档包括的多个短文本，从而完成对目标文档的分割。

举例来说，标文档为“2000年，清华大学，本科生，所学课程：xxxx；2004年，北京大学，研究生，导师：xxxx”，目标文档中包括的各元素为“2000年”、“清华大学”、“本科生”、“所学课程：xxxx”、“2004年”、“北京大学”、“研究生”、“导师：xxxx”，从而根据本申请的文档的分割方法，目标文档中包括的分割点为元素“所学课程：xxxx”与元素“北京大学”之间的分割点。从而，可以将目标文档分割为“2000年，清华大学，本科生，所学课程：xxxx”与“2004年，北京大学，研究生，导师：xxxx”两个语义差异较大且文本结构相似的短文本。

根据本申请实施例的技术方案，通过从目标文档之中提取多个元素，并获取多个元素的语义特征和图像特征，之后根据多个元素的语义特征和图像特征确定多个分割点，进而根据多个分割点对目标文档进行分割。由此，通过引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，以通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，从而提升了文本分割的准确度。

在本申请一种可能的实现形式中，可以对目标文档中各元素的空间位置特征及字体特征进行聚类处理，以生成各元素的图像特征，进而利用预先训练的文档分割模型确定目标文档中的多个分割点，以进一步提升文档分割的准确性。

下面结合图2，对本申请实施例提供的文档的分割方法进行进一步说明。

图2为本申请实施例所提供的另一种文档的分割方法的流程示意图。

如图2所示，该文档的分割方法，包括以下步骤：

步骤201，获取目标文档。

步骤202，从目标文档之中提取多个元素。

上述步骤201-202的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤203，获取元素之中多个字符的多个特征表达，根据多个字符的多个特征表达生成语义特征。

其中，字符的特征表达，可以是字符的向量表示。

作为一种可能的实现方式，若目标文档中包括的各元素不是字符粒度，而是分词、短语或句子等粒度，则可以首先对每个元素包括的各字符进行向量映射，以确定每个元素中包括的各字符分别对应的特征表达，进而根据每个元素中包括的各字符的特征表达进行融合，以生成每个元素的语义特征。

可选地，在本申请实施例一种可能的实现形式中，可以将元素包括的各字符的特征表达进行拼接，以将各字符的特征表达进行融合，生成元素的语义特征。

可选地，在本申请实施例一种可能的实现形式中，还可以将元素包括的各字符的特征表达进行加权平均处理，以确定各字符的特征表达的加权平均值，进而将元素包括的各字符的特征表达的加权平均值，确定为元素的语义特征。从而，不仅可以将元素中各字符的特征表达进行融合，还可以保证不同长度的元素的语义特征的维度保持一致。

需要说明的是，实际使用时，可以根据实际需要及具体的应用场景，选择确定字符的特征表达的算法，本申请实施例对此不做限定。比如，可以采用ERNIE算法，确定字符的特征表达。

步骤204，获取多个元素的空间位置特征。

其中，元素的空间位置特征，可以包括元素在目标文档中的页边距特征。

作为一种可能的实现方式，由于不同类别的元素在目标文档中的空间位置通常有着不同的分布。比如，标题通常居中，距离页面左边界较远，而正文通常两端对齐，距离页面左边界较近，因此，可以将元素与页面左边界的距离，即元素所在段落的左边距作为元素的空间位置特征。

具体的，可以提取各元素所在段落的左边距，并采用k-means聚类算法将各元素对应的左边距聚为两类，即距离页面左边界较近与距离页面左边界远的两类，进而根据聚类结果，将各元素的空间位置特征离散表达为0或1。

举例来说，对目标文档中各元素对应的左边距进行聚类处理之后，确定元素A的空间位置特征为1，则可以确定元素A为距离页面左边距较远的元素；确定元素B的空间位置特征为0，则可以确定元素B为距离页面左边距较近的元素。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，根据聚类结果对空间位置特征进行离散表达的方式，本申请实施例对此不做限定。

步骤205，获取多个元素的字体特征。

其中，元素的字体特征，可以包括字体类型特征、字体颜色特征和字体大小特征之中的一种或多种。

其中，字体类型特征，可以用于表示字体类型(如楷体、宋体、黑体等)、字体是否加粗等特征。

其中，字体颜色特征，可以用于表示字体是否为彩色等特征。

其中，字体大小特征，可以用于表示字体的字号特征。

作为一种可能的实现方式，由于不同类型元素的字体通常也具有明显差异。比如，标题字体通常会进行加粗和/或字号较大，正文字体通常较小等。因此，可以在元素的图像特征中融入元素的字体特征，以对元素的文本结构进行表示。

可选地，可以提取各元素的字体类型特征，如元素的字体类别、是否加粗等，并对提取的各元素的字体类型、是否加粗等特征进行聚类处理，进而根据聚类结果对各元素的字体类型特征进行离散表示。

举例来说，可以对元素是否加粗的特征进行提取，若对各元素的是否加粗特征进行聚类之后，确定元素A的字体类型特征为1，则可以确定元素A为加粗字体；确定元素B的字体类型特征为0，则可以确定元素B为未加粗字体。

又如，还可以对元素的字体类别特征进行提取，若对各元素的字体类别特征进行聚类之后，确定目标文本中包括宋体、黑体、楷体3种字体的元素，从而可以将元素的字体类型特征离散表示为0、1、2；如，元素的字体类型特征为0，表示该元素的字体为宋体；元素的字体类型特征为1，表示该元素的字体为黑体；元素的字体类型特征为2，表示该元素的字体为黑体。

再如，还可以同时提取元素的是否加粗特征和字体类别特征，以对元素的字体类型特征进行表示。比如，若元素A为加粗的宋体字，则元素A的字体类型特征可以表示为向量[1 0]，即向量中的元素“1”表示元素A为加粗字体，元素“0”表示元素A的字体类别为宋体。

可选地，还可以对各元素的RGB值进行提取，以确定元素是否为彩色字，以对元素的字体颜色特征进行提取，并将元素的字体颜色特征进行0/1离散表示。具体的，若元素的RGB值为(0,0,0)，则可以确定该元素不是彩色字，从而可以将该元素的字体颜色特征表示为0；若元素的RGB值不为(0,0,0)，则可以确定该元素为彩色字，从而可以将该元素的字体颜色特征表示为1。

可选地，由于不同类别元素在字体大小上也有差别，如标题字体通常大于正文字体，因此，还可以将字体大小作为一类特征进行提取。具体的，可以提取各元素的字体大小(若元素中的多个字符字体大小不一致，则取最大值作为元素字体大小)，之后采用聚类算法对各元素的字体大小进行聚类，从而各元素分为字体较大的一类或字体较小的一类。进而根据聚类结果，依据各元素字体大小的聚类类别将该元素的字体大小特征离散表达为0/1特征。比如，字体较大的元素的字体大小特征可以表示为1，字体较小的元素的字体大小特征可以表示为0，本申请实施例对此不做限定。

作为一种可能的实现方式，确定出各元素的字体类型特征、字体颜色特征、字体大小特征之后，可以将各元素的字体类型特征、字体颜色特征、字体大小特征等进行融合处理，以生成各元素对应的字体特征。比如，可以将元素的字体类型特征、字体颜色特征、字体大小特征进行拼接，以生成元素的字体特征；或者，还可以将元素的字体类型特征、字体颜色特征、字体大小特征的加权均值，确定为元素的字体特征，本申请实施例对此不做限定。

举例来说，元素A的字体类型特征为1，字体颜色特征为0，字体大小特征为1，则可以确定元素A的字体特征为[1 0 1]。

步骤206，根据多个元素的空间位置特征和字体特征，生成多个元素的图像特征。

在本申请实施例中，确定出各元素分别对应的空间位置特征与字体特征之后，可以将元素的空间位置特征与字体特征进行融合，以生成元素的图像特征。

作为一种可能的实现方式，可以将元素的空间位置特征与字体特征进行拼接，以生成元素的图像特征。比如，元素A的空间位置特征为0，字体特征为[1 0 1]，则可以确定元素A的图像特征为[0 1 0 1]。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要及具体的应用场景，确定对元素的空间位置特征和字体特征进行融合的方式，本申请实施例对此不做限定。

步骤207，将多个元素的语义特征和图像特征输入文档分割模型之中，以生成多个分割点。

在本申请实施例中，可以预先训练文档分割模型，并利用文档分割模型对目标文档中包括的多个元素的语义特征和图像特征进行处理，以确定目标文档中的多个分割点。

作为一种可能的实现方式，可以将多个元素的语义特征和图像特征通过文档分割模型的输入层输入文档分割模型，之后通过嵌入层对元素的图像特征进行高维映射，以将每个元素的低维、离散的图像特征，转化为与元素的语义特征的维度相同的高维特征。之后将每个元素的图像特征和语义特征进行融合，以生成每个元素的整体特征表示，进而利用文档分割模型对每个元素的整体特征表示进行分析处理，以确定目标文档中的多个分割点。

需要说明的是，对元素的图像特征和语义特征进行融合时，可以是将元素的图像特征和语义特征进行拼接，也可以是将元素的图像特征和语义特征进行加权平均，本申请实施例对此不做限定。

进一步的，文档分割模型可以是基于Bi-LSTM(Bi-directional Long Short-TermMemory，双向长短期记忆网络)的深度学习模型，以捕获元素更丰富的全局信息，进一步提升文档分割的准确性。即在本申请实施例一种可能的实现形式中，上述步骤207，可以包括：

文档分割模型根据语义特征和图像特征生成第一至第T特征表达，并将第一特征表达与第一至第T特征表达进行联合以生成联合特征，根据联合特征进行分类以生成多个分割点，其中，T为总体时间步。

作为一种可能的实现方式，文档分割模型可以包括Bi-LSTM模型与注意力层。具体的，可以将目标文档中每个元素的语义特征与图像特征的融合特征(以下均简称为元素的融合特征)，输入Bi-LSTM模型的网络层，以生成每个元素的融合特征更准确的特征表达。之后为保证分割后的各文本能够具有相似的文本结构，从而可以通过注意力层将Bi-LSTM模型的每个时间步输出的特征表达，分别与Bi-LSTM模型的第一个时间步输出的特征表达(即第一个元素的特征表达)进行联合处理，以生成目标文档对应的联合特征，进而对目标文档对应的联合特征进行处理，以生成目标文档中包括的多个分割点。如图3所示，为本申请实施例所提供的一种通过文档分割模型对目标文档进行分割的示意图。

其中，目标文档的联合特征，可以通过公式(1)表示。

其中，为Bi-LSTM模型的网络层输出，t为时间步，T为总体时间步，F_final为目标文档的联合特征。

步骤208，根据多个分割点对目标文档进行分割。

上述步骤208的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

根据本申请实施例的技术方案，通过从提取目标文档中多个元素的空间位置特征和字体特征作为各元素的图像特征，并利用文档分割模型对元素的语义特征和图像特征进行更进一步的特征表示，获取元素的全局信息，以生成目标文档的联合特征，进而利用文档封模型根据目标文档的联合特征，确定目标文档中的多个分割点。由此，通过引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，进而通过文档分割模型，对各元素的融合特征进行联合表示，以对各元素间文本结构的关联性进行有效表示，从而通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，进一步提升了文本分割的准确度。

在本申请一种可能的实现形式中，还可以对文档进行分割之前，对文档中各元素的空间位置，对文档进行预处理，以生成格式规范的目标文档，以进一步降低文档分割的数据处理复杂度，进而提升文档分割的准确性。

下面结合图4，对本申请实施例提供的文档的分割方法进行进一步说明。

图4为本申请实施例所提供的再一种文档的分割方法的流程示意图。

如图4所示，该文档的分割方法，包括以下步骤：

步骤301，获取待处理文档。

其中，待处理文档，是指当前需要对其进行分割，以生成多个短文本的原始文档。

在本申请实施例中，由于待处理文档的格式可以有多种，为便于处理可以首先将待处理文档的文档格式转换为统一的格式。具体的，可以在获取到待处理文档之后，确定待处理文档的格式。若待处理文档的格式与预设的文档格式不同，则可以利用文档转换工具对待处理文档进行格式转换，以将待处理文档转换为预设的文档格式。

举例来说，待处理文档为Word文档，预设的文档格式为PDF文档，则可以利用office转换工具将待处理文档的格式转换为PDF文档。

步骤302，对待处理文档进行解析处理，以确定待处理文档中包括的各待处理元素的空间位置特征。

其中，待处理元素，是指待处理文档中包括的各元素。需要说明的是，确定待处理文档中包括的各待处理元素的方法，与上述实施例中确定目标文档中包括的多个元素的方式相同，此处不再赘述。

其中，待处理元素的空间位置特征，可以是指待处理元素在待处理文档中所处的位置。比如，可以包括待处理元素距离页面的上、下、左、右各边界的距离、在页面中的行数、元素的高度，等等。

在本申请实施例中，将待处理文档转换为统一的格式之后，可以利用文档解析工具对格式转换之后的待处理文档进行解析处理，以确定待处理文档中包括的各待处理元素，以及各待处理元素的空间位置特征。

步骤303，根据各待处理元素的空间位置特征，确定待合并的候选元素对。

在本申请实施例中，由于待处理文档中可能出现一个独立的句子中间出现换行的情况，若不进行处理，在文档分割过程中，容易出现一个完整文本被错误分割为两个文本的情况，从而影响了文档分割的准确性。因此，可以根据各待处理元素的空间位置特征，确定可能需要合并的候选元素对。

可选地，可以根据各待处理元素的空间位置特征，将上下相邻且间距小于第三阈值的待处理元素，确定为候选元素对；或者，还可以根据各待处理元素的高度，将高度差小于第四阈值的待处理元素，确定为候选元素对。

步骤304，将候选元素对进行合并处理，以生成目标文档。

作为一种可能的实现方式，可以在确定出待合并的各候选元素对之后，将各候选元素对进行合并，以生成各候选元素对分别对应的合并文本，进而对候选元素对对应的合并文本进行分词处理，确定候选元素对中前方候选元素的最后一个字，与后方候选元素的第一个字是否被切开；若没有被切开，则可以确定候选元素对中前方候选元素的最后一个字，与后方候选元素的第一个字为一个独立的分词，从而可以最终确定该候选元素对为最终需要合并的元素对，并对该候选元素对进行合并处理。

相应的，若对候选元素对对应的合并文本进行分词处理后，候选元素对中前方候选元素的最后一个字，与后方候选元素的第一个字被切开，则可以确定前方候选元素与后方候选元素，为两个独立的元素，不需要进行合并处理，从而可以不对该候选元素对进行合并处理。

在本申请实施例中，按照上述方法对确定的每个候选元素对进行处理之后，即可以生成目标文档。

步骤305，从目标文档之中提取多个元素。

步骤306，获取多个元素的语义特征和图像特征。

步骤307，根据多个元素的语义特征和图像特征确定多个分割点。

步骤308，根据多个分割点对目标文档进行分割。

上述步骤305-308的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

根据本申请实施例的技术方案，通过根据待处理文本中各待处理元素的空间位置特征，对待处理文本中空间位置特征相似且语义相似的待处理元素进行合并，以对待处理文本进行预处理，生成文本结构和语义信息更加规范的目标文档，进而对目标文档进行文档分割处理。由此，通过对文档进行预处理，以根据文档中各元素的空间位置和语义特征，对文档的文本结构进行规范化，从而进一步提升了文本分割的准确度。

为了实现上述实施例，本申请还提出一种文档的分割装置。

图5为本申请实施例提供的一种文档的分割装置的结构示意图。

如图5所示，该文档的分割装置40，包括：

第一获取模块41，用于获取目标文档；

提取模块42，用于从目标文档之中提取多个元素；

第二获取模块43，用于获取多个元素的语义特征和图像特征；

确定模块44，用于根据多个元素的语义特征和图像特征确定多个分割点；以及

分割模块45，用于根据多个分割点对目标文档进行分割。

在实际使用时，本申请实施例提供的文档的分割装置，可以被配置在任意电子设备中，以执行前述文档的分割方法。

根据本申请实施例的技术方案，通过从目标文档之中提取多个元素，并获取多个元素的语义特征和图像特征，之后根据多个元素的语义特征和图像特征确定多个分割点，进而根据多个分割点对目标文档进行分割。由此，通过引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，以通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，从而提升了文本分割的准确度。

在本申请一种可能的实现形式中，上述第二获取模块43，包括：

第一获取单元，用于获取元素之中多个字符的多个特征表达；以及

第一生成单元，用于根据多个字符的多个特征表达生成语义特征。

进一步的，在本申请另一种可能的实现形式中，上述第二获取模块43，包括：

第二获取单元，用于获取多个元素的空间位置特征；

第三获取单元，用于获取多个元素的字体特征；以及

第二生成单元，用于根据多个元素的空间位置特征和字体特征，生成多个元素的图像特征。

进一步的，在本申请再一种可能的实现形式中，上述多个元素的字体特征包括字体类型特征、字体颜色特征和字体大小特征之中的一种或多种。

进一步的，在本申请又一种可能的实现形式中，上述确定模块44，包括：

第三生成单元，用于将多个元素的语义特征和图像特征输入文档分割模型之中，以生成多个分割点。

进一步的，在本申请又一种可能的实现形式中，上述第三生成单元，包括：

生成子单元，用于文档分割模型根据语义特征和图像特征生成第一至第T特征表达，并将第一特征表达与第一至第T特征表达进行联合以生成联合特征，根据联合特征进行分类以生成多个分割点，其中，T为总体时间步。

进一步的，在本申请另一种可能的实现形式中，上述第一获取模块41，包括：

第四获取单元，用于获取待处理文档；

第一确定单元，用于对待处理文档进行解析处理，以确定待处理文档中包括的各待处理元素的空间位置特征；

第二确定单元，用于根据各待处理元素的空间位置特征，确定待合并的候选元素对；

合并单元，用于将候选元素对进行合并处理，以生成目标文档。

需要说明的是，前述对图1、图2、图4所示的文档的分割方法实施例的解释说明也适用于该实施例的文档的分割装置40，此处不再赘述。

根据本申请实施例的技术方案，通过从提取目标文档中多个元素的空间位置特征和字体特征作为各元素的图像特征，并利用文档分割模型对元素的语义特征和图像特征进行更进一步的特征表示，获取元素的全局信息，以生成目标文档的联合特征，进而利用文档封模型根据目标文档的联合特征，确定目标文档中的多个分割点。由此，通过引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，进而通过文档分割模型，对各元素的融合特征进行联合表示，以对各元素间文本结构的关联性进行有效表示，从而通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，进一步提升了文本分割的准确度。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图6所示，是根据本申请实施例的文档的分割方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个电子设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文档的分割方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文档的分割方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的文档的分割方法对应的程序指令/模块(例如，附图5所示的第一获取模块41、提取模块42、第二获取模块43、确定模块44及分割模块45)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文档的分割方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文档的分割方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至文档的分割方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

文档的分割方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与文档的分割方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本申请实施例的技术方案，通过从目标文档之中提取多个元素，并获取多个元素的语义特征和图像特征，之后根据多个元素的语义特征和图像特征确定多个分割点，进而根据多个分割点对目标文档进行分割。由此，通过引入文档中包括的各元素的图像特征，对各元素的文本结构进行表达，以通过综合考虑文档的语义信息和文本结构特征，将文档分割为语义差异较大且文本结构相似的短文本，从而提升了文本分割的准确度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种文档的分割方法，其特征在于，包括：

获取目标文档；

从所述目标文档之中提取多个元素；

获取所述多个元素的语义特征和图像特征；

根据所述多个元素的语义特征和所述图像特征确定多个分割点；以及

根据所述多个分割点对所述目标文档进行分割；

所述根据所述多个元素的语义特征和所述图像特征确定多个分割点，包括：

将所述多个元素的语义特征和所述图像特征输入文档分割模型之中，以生成所述多个分割点；

其中，所述文档分割模型包括Bi-LSTM模型和与注意力层，所述将所述多个元素的语义特征和所述图像特征输入文档分割模型之中，以生成所述多个分割点，包括：

将每个元素的图像特征和语义特征进行融合处理，得到每个元素的语义特征与图像特征的融合特征；

将所述目标文档中每个元素的融合特征输入所述Bi-LSTM模型的网络层，得到所述Bi-LSTM模型的每个时间步输出的特征表达；

将每个时间步输出的特征表达分别与所述Bi-LSTM模型的第一个时间步输出的特征表达进行联合处理，以生成所述目标文档对应的联合特征；

对所述目标文档对应的联合特征进行处理，以生成所述多个分割点。

2.如权利要求1所述的文档的分割方法，其特征在于，所述获取所述多个元素的语义特征，包括：

获取所述元素之中多个字符的多个特征表达；以及

根据所述多个字符的多个特征表达生成所述语义特征。

3.如权利要求1所述的文档的分割方法，其特征在于，所述获取所述多个元素的图像特征，包括：

获取所述多个元素的空间位置特征；

获取所述多个元素的字体特征；以及

根据所述多个元素的空间位置特征和所述字体特征，生成所述多个元素的图像特征。

4.如权利要求3所述的文档的分割方法，其特征在于，所述多个元素的字体特征包括字体类型特征、字体颜色特征和字体大小特征之中的一种或多种。

5.如权利要求1-4任一所述的文档的分割方法，其特征在于，所述获取目标文档，包括：

获取待处理文档；

对所述待处理文档进行解析处理，以确定所述待处理文档中包括的各待处理元素的空间位置特征；

根据所述各待处理元素的空间位置特征，确定待合并的候选元素对；

将所述候选元素对进行合并处理，以生成所述目标文档。

6.一种文档的分割装置，其特征在于，包括：

第一获取模块，用于获取目标文档；

提取模块，用于从所述目标文档之中提取多个元素；

第二获取模块，用于获取所述多个元素的语义特征和图像特征；

确定模块，用于根据所述多个元素的语义特征和所述图像特征确定多个分割点；以及

分割模块，用于根据所述多个分割点对所述目标文档进行分割；

所述确定模块，包括：

第三生成单元，用于将所述多个元素的语义特征和所述图像特征输入文档分割模型之中，以生成所述多个分割点；

其中，所述文档分割模型包括Bi-LSTM模型和与注意力层，所述第三生成单元，包括：

生成子单元，用于将每个元素的图像特征和语义特征进行融合处理，得到每个元素的语义特征与图像特征的融合特征；将所述目标文档中每个元素的融合特征输入所述Bi-LSTM模型的网络层，得到所述Bi-LSTM模型的每个时间步输出的特征表达；将每个时间步输出的特征表达分别与所述Bi-LSTM模型的第一个时间步输出的特征表达进行联合处理，以生成所述目标文档对应的联合特征；对所述目标文档对应的联合特征进行处理，以生成所述多个分割点。

7.如权利要求6所述的文档的分割装置，其特征在于，所述第二获取模块，包括：

第一获取单元，用于获取所述元素之中多个字符的多个特征表达；以及

第一生成单元，用于根据所述多个字符的多个特征表达生成所述语义特征。

8.如权利要求6所述的文档的分割装置，其特征在于，所述第二获取模块，包括：

第二获取单元，用于获取所述多个元素的空间位置特征；

第三获取单元，用于获取所述多个元素的字体特征；以及

第二生成单元，用于根据所述多个元素的空间位置特征和所述字体特征，生成所述多个元素的图像特征。

9.如权利要求8所述的文档的分割装置，其特征在于，所述多个元素的字体特征包括字体类型特征、字体颜色特征和字体大小特征之中的一种或多种。

10.如权利要求6-9任一所述的文档的分割装置，其特征在于，所述第一获取模块，包括：

第四获取单元，用于获取待处理文档；

第一确定单元，用于对所述待处理文档进行解析处理，以确定所述待处理文档中包括的各待处理元素的空间位置特征；

第二确定单元，用于根据所述各待处理元素的空间位置特征，确定待合并的候选元素对；

合并单元，用于将所述候选元素对进行合并处理，以生成所述目标文档。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述方法。