CN112560479A - 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种摘要抽取模型训练方法、摘要抽取方法、装置、电子设备和存储介质，涉及自然语言处理领域以及深度学习领域等人工智能领域。具体实现方案为：获取文档样本及文档样本的标签信息；确定文档样本之中每个句子的向量表示；根据文档样本之中每个句子的向量表示，生成与文档样本对应的图表示；获取文档样本的篇章整体向量表示，并将篇章整体向量表示和图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句；根据候选句子的重要性得分、候选摘要句和标签信息，训练神经网络模型，获得模型参数以形成摘要抽取模型。由此，通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，形成单文档、多文档统一摘要模型。

Description

摘要抽取模型训练方法、摘要抽取方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种摘要抽取模型训练方法、摘要抽取方法、装置、电子设备和存储介质，属于自然语言处理领域以及深度学习领域等人工智能领域。

背景技术

自动摘要技术可以分为单文档摘要和多文档摘要两种，单文档摘要是指从一篇文章中抽取部分内容组成摘要，而多文档摘要是指从多篇内容相似，表述主题相同的文章中抽取部分内容组成摘要。对于单文档、多文档摘要往往采用分别训练独立模型的方式。

发明内容

本申请提供了一种摘要抽取模型训练方法、摘要抽取方法、装置、电子设备以及存储介质。

根据本申请的第一方面，提供了一种摘要抽取模型训练方法，包括：

获取文档样本及所述文档样本的标签信息；

确定所述文档样本之中每个句子的向量表示；

根据所述文档样本之中每个句子的向量表示，生成与所述文档样本对应的图表示；

获取所述文档样本的篇章整体向量表示，并将所述篇章整体向量表示和所述图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句；

根据所述候选句子的重要性得分、所述候选摘要句和所述标签信息，训练所述神经网络模型，获得模型参数以形成摘要抽取模型。

根据本申请的第二方面，提供了一种摘要抽取方法，包括：

确定文档文本中每个句子的向量表示；其中，所述文档文本为单文档文本或多文档文本；

根据所述文档文本中每个句子的向量表示，生成与所述文档文本对应的图表示；

获取所述文档文本的篇章整体向量表示，并将所述篇章整体向量表示和所述图表示输入至预先训练的摘要抽取模型，获得针对所述文档文本的摘要句。

根据本申请的第三方面，提供了一种摘要抽取模型训练装置，包括：

第一获取模块，用于获取文档样本及所述文档样本的标签信息；

确定模块，用于确定所述文档样本之中每个句子的向量表示；

生成模块，用于根据所述文档样本之中每个句子的向量表示，生成与所述文档样本对应的图表示；

第二获取模块，用于获取所述文档样本的篇章整体向量表示；

第三获取模块，用于将所述篇章整体向量表示和所述图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句；

训练模块，用于根据所述候选句子的重要性得分、所述候选摘要句和所述标签信息，训练所述神经网络模型，获得模型参数以形成摘要抽取模型。

根据本申请的第四方面，提供了一种摘要抽取装置，包括：

确定模块，用于确定文档文本中每个句子的向量表示；其中，所述文档文本为单文档文本或多文档文本；

生成模块，用于根据所述文档文本中每个句子的向量表示，生成与所述文档文本对应的图表示；

第一获取模块，用于获取所述文档文本的篇章整体向量表示；

第二获取模块，用于将所述篇章整体向量表示和所述图表示输入至预先训练的摘要抽取模型，获得针对所述文档文本的摘要句。

根据本申请的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的摘要抽取模型训练方法，或者，执行前述第二方面所述的摘要抽取方法。

根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的摘要抽取模型训练方法，或者，执行前述第二方面所述的摘要抽取方法。

根据本申请的第七方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行前述第一方面所述的摘要抽取模型训练方法，或者，执行前述第二方面所述的摘要抽取方法。

根据本申请的技术方案，通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，通过共享训练参数，利用单文档摘要训练数据训练摘要模型，并将其应用于多文档摘要模型，有效缓解多文档摘要技术训练语料不足的问题。另外，通过引入图表示作为额外信息来指导模型学习，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例提供的一种摘要抽取模型训练方法的流程图；

图2是根据本申请一个具体实施例的摘要抽取模型训练方法的流程图；

图3是根据本申请实施例的基于图表示的单文档、多文档抽取式统一摘要方法的流程图；

图4是根据本申请实施例的自注意力机制技术的示例图；

图5是根据本申请实施例提供的一种摘要抽取方法的流程图；

图6是根据本申请实施例提供的一种摘要抽取模型训练装置的结构框图；

图7是根据本申请实施例提供的一种摘要抽取装置的结构框图；

图8是根据本申请实施例的用以实现摘要抽取模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

自动摘要技术可以分为单文档摘要和多文档摘要两种，单文档摘要是指从一篇文章中抽取部分内容组成摘要，而多文档摘要是指从多篇内容相似，表述主题相同的文章中抽取部分内容组成摘要。相比单文档摘要技术，目前多文档单摘要由于训练语料难以获取，摘要效果一直不佳。尤其是在文章篇幅较长时，摘要效果会大幅度下降。

然而，目前对于单文档、多文档摘要往往采用分别训练独立模型的方式。例如，目前主流单文档摘要技术采用预训练、序列神经网络Transformer等模型，将文章中每一个词语、句子编码成向量表示，对句子向量进行分类处理判断该句是否是摘要句。多文档摘要由于缺乏训练数据，常采用排序算法TextRank等无监督方法实现。

但是，目前存在如下问题：单文档摘要受限于预训练模型，仅能处理512个词语的输入长度，导致在处理长篇幅文本时效果大幅度下降；另外，无论是单文档摘要模型还是多文档摘要模型，均忽略了篇章整体信息；此外，由于多文档摘要长期缺乏高质量的训练数据，因此多采用无监督的方式进行处理，摘要整体效果不佳，同单文档摘要效果存在较大差距。

为此，本申请提供一种基于图表示的摘要抽取模型训练方法、摘要抽取方法、装置、电子设备和存储介质。本申请通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，通过共享训练参数，利用单文档摘要训练数据训练摘要抽取模型，并将其应用于多文档摘要模型，有效缓解多文档摘要技术训练语料不足的问题。具体地，下面参考附图描述本申请实施例的摘要抽取模型训练方法、摘要抽取方法、装置、电子设备和存储介质。

图1是根据本申请实施例提供的一种摘要抽取模型训练方法的流程图。需要说明的是，本申请实施例的摘要抽取模型训练方法可应用于本申请实施例的摘要抽取模型训练装置，该摘要抽取模型训练装置可被配置于电子设备上。本申请实施例的摘要抽取模型可以实现对单文档摘要抽取场景，还可以实现对多文档摘要抽取场景。如图1所示，该摘要抽取模型训练方法可以包括如下步骤。

在步骤101中，获取文档样本及文档样本的标签信息。

在本申请实施例中，文档样本可以是单文档样本，还可以是多文档样本。在一些实施例中，该标签信息可包括所述文档样本中句子的重要性得分标签和参考摘要句标签。

例如，以文档样本为单文档样本为例，可从单文档语料库中获取单文档样本，并确定单文档样本的标签信息。又如，以文档样本为多文档样本为例，可从多文档语料库中获取多文档样本，并确定多文档样本的标签信息。

在步骤102中，确定文档样本之中每个句子的向量表示。

在一些实施例中，可对文档样本进行分词，并对获得的分词进行向量化表示，得到每个词语的向量表示，并基于每个词语的向量表示，生成句子的向量表示，从而得到文档样本之中每个句子的向量表示。可选地，在本申请一些实施例中，可采用预训练技术对文档样本进行词语的向量化处理，得到每个词语的向量表示，并经过序列神经网络Transformer得到句子向量表示。

在步骤103中，根据文档样本之中每个句子的向量表示，生成与文档样本对应的图表示。

在一些实施例中，可采用基于TF(Term Frequency，词频)-IDF(Inverse DocumentFrequency，逆文本频率指数)的文本相似度算法，或者，余弦相似度算法，或者，主题图等算法，对文档样本之中每个句子的向量表示进行图计算，得到与文档样本对应的图表示。

需要说明的是，在一些实施例中，图表示中可包括节点和边，其中，节点指示文档样本中的句子的向量表示，边用于指示句子间的相互联系。

在本申请一些实施例中，可将文档样本之中每个句子作为图表示之中的节点，并基于预设算法，依据所述文档样本之中每个句子的向量表示，获取文档样本之中各个句子之间的相互联系，并将所述相互联系，作为所述图表示中对应节点间的边。

例如，在将文档样本之中每个句子作为图表示之中的节点时，可利用基于TF-IDF的文本相似度算法，计算各个句子之间的相似度，将该各个句子之间的相似度作为对应节点间的边。又如，还可采用余弦相似度算法，或者，主题图算法计算各个句子之间的相互联系，从而将每个句子作为图表示之中的节点，将该相互联系作为对应节点间的边，从而生成与文档样本对应的图表示。

需要说明的是，在一些实施例中，文档样本的个数可为多个。当为多个时，在得到每个文档样本的句子向量表示时，可将这些文档样本的句子向量表示进行拼接，以组成针对该多个文档样本的句子向量表示。这样，利用该多个文档样本的句子向量表示，可以生成与该多个文档样本对应的图表示，由此，通过采用引入图表示将多篇文档的句子向量表示融合在一起，使得图表示作为额外信息来指导模型学习，可以在长篇幅文本数据中效果提升显著。

在步骤104中，获取文档样本的篇章整体向量表示，并将篇章整体向量表示和图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句。

在一些实施例中，可采用自然语言处理领域中的自注意力机制技术，获取文档样本的篇章整体向量表示。在本步骤中，在获得篇章整体向量表示时，可将篇章整体向量表示和图表示输入至神经网络模型进行句子打分的预测和摘要句的预测，从而获得预测得到的候选句子的重要性得分和候选摘要句。

在步骤105中，根据候选句子的重要性得分、候选摘要句和标签信息，训练神经网络模型，获得模型参数以形成摘要抽取模型。

在一些实施例中，可基于第一损失函数，计算候选句子的重要性得分与标签信息之中句子的重要性得分标签的第一损失值，并基于第二损失函数，计算候选摘要句与参考摘要句标签的第二损失值，并根据第一损失值和第二损失值训练神经网络模型。

也就是说，本申请实施例从两个方面来考虑模型的损失，其中一个方面是基于句子的重要性得分，另一个方面是基于摘要句的损失，从而从这两个方面得到的损失来调整模型的参数，从而可以有效解决现有技术中损失函数存在忽略句子重要性排序的问题。

根据本申请实施例的摘要抽取模型训练方法，获取文档样本及文档样本的标签信息，并确定文档样本之中每个句子的向量表示，根据文档样本之中每个句子的向量表示，生成与文档样本对应的图表示；获取文档样本的篇章整体向量表示，并将篇章整体向量表示和图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句，并根据候选句子的重要性得分、候选摘要句和标签信息，训练神经网络模型，获得模型参数以形成摘要抽取模型。由此，本申请实施例通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，通过共享训练参数，利用单文档摘要训练数据训练摘要模型，并将其应用于多文档摘要模型，有效缓解多文档摘要技术训练语料不足的问题。另外，通过引入图表示作为额外信息来指导模型学习，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

图2是根据本申请一个具体实施例的摘要抽取模型训练方法的流程图。图3是根据本申请实施例的基于图表示的单文档、多文档抽取式统一摘要方法的流程图。如图2和图3所示，该摘要抽取模型训练方法可以包括如下步骤。

在步骤201中，获取文档样本及文档样本的标签信息。

在本申请实施例中，文档样本可以是单文档样本，还可以是多文档样本。在一些实施例中，该标签信息可包括所述文档样本中句子的重要性得分标签和参考摘要句标签。

例如，以文档样本为单文档样本为例，可从单文档语料库中获取单文档样本，并确定单文档样本的标签信息。又如，以文档样本为多文档样本为例，可从多文档语料库中获取多文档样本，并确定多文档样本的标签信息。

在步骤202中，确定文档样本之中每个句子的向量表示。

例如，如图3所示，可将文档样本Doc1和文档样本Doc2分别输入到序列神经网络Transformer层。Transformer层对文档样本Doc1和文档样本Doc2分别进行词语的向量化表示，并对得到的词语的向量化表示进行处理，得到文档样本Doc1的句子向量表示和文档样本Doc2的句子向量表示。

在步骤203中，将文档样本之中每个句子作为图表示之中的节点。

在步骤204中，基于预设算法，依据文档样本之中每个句子的向量表示，获取文档样本之中各个句子之间的相互联系。

在一些实施例中，该预设算法可为基于TF-IDF的文本相似度算法，余弦相似度算法等。在其他实施例中，该预设算法还可以是主题图等算法，例如，可利用该主题图算法生成针对文档样本的图表示，该图表示可为主题图，用于描述信息资源的知识结构的元数据格式，它可以定位某一知识概念所在的资源位置，也可以表示知识概念间的相互联系。

在步骤205中，将相互联系，作为图表示中对应节点间的边。

例如，可将文档样本Doc1的句子向量表示和文档样本Doc2的句子向量表示输入到如图3所示的图表示层，在图表示层中，可分别将文档样本Doc1文档样本Doc2中的每个句子作为一个节点，并利用预设算法计算文档样本Doc1文档样本Doc2中所有句子之中各个句子之间的相互联系，并将该相互联系作为对应节点间的边，从而生成针对文档样本Doc1和文档样本Doc2的图表示。

在步骤206中，获取文档样本的篇章整体向量表示。

在一些实施例中，可采用基于深度学习的自然语言处理中的自注意力机制技术，获取文档样本的篇章整体向量表示。在本申请实施例中，可利用自注意力(self-attention)机制来学习文档样本Doc1和文档样本Doc2的文本表示。注意力Attention机制的本质来自于人类视觉注意力机制。人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当人们发现一个场景经常在某部分出现自己想观察的东西时，人们会进行学习在将来再出现类似场景时将注意力放到该部分上。

Attention函数的本质可以被描述为一个查询(query)到一系列(键key-值value)对的映射，如图4所示，在计算attention时主要分为三步，第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；然后第二步一般是使用一个softmax函数对这些权重进行归一化；最后将权重和相应的键值value进行加权求和得到最后的attention。目前在自然语言处理研究中，key和value常常都是同一个，即key＝value。由此，通过Attention可以捕获不同子空间上的相关信息。self-attention的特点在于无视词之间的距离直接计算依赖关系，能够学习一个句子的内部结构，实现也较为简单并且可以并行计算，从而可以获得文档的篇章整体向量表示。

在步骤207中，基于图表示之中的节点以及边，确定图表示之中每个节点的向量表示。

可选地，可将每个节点所对应的句子向量表示与该节点的边所对应的向量表示拼接在一起，得到每个节点的向量表示。例如，以图表示之中的某个节点A为例，假设节点A有3个边(如边1、边2和边3)，则该节点A对应的句子向量表示、边1的向量表示、边2的向量表示和边3的向量表示进行拼接，将拼接后得到的向量表示作为该节点A的向量表示。

在步骤208中，将篇章整体向量表示分别与每个节点的向量表示进行拼接。

例如，如图3所示，在得到图表示之中每个节点的向量表示时，可将文档样本Doc1和文档样本Doc2的篇章整体向量表示，分别与每个节点的向量表示进行拼接。

在步骤209中，将拼接后得到的向量表示输入至神经网络模型进行句子打分和候选摘要句的预测，获取预测得到的候选句子的重要性得分和候选摘要句。

在步骤210中，根据候选句子的重要性得分、候选摘要句和标签信息，训练神经网络模型，获得模型参数以形成摘要抽取模型。

在一些实施例中，可基于第一损失函数，计算候选句子的重要性得分与标签信息之中句子的重要性得分标签的第一损失值，并基于第二损失函数，计算候选摘要句与参考摘要句标签的第二损失值，并根据第一损失值和第二损失值训练神经网络模型。

举例而言，第一损失函数可为Sentence-levelRanking(句子层次排序)损失函数，第二损失函数可为Summary-levelRanking(摘要层次排序)。例如，可基于Sentence-levelRanking损失函数，计算候选句子的重要性得分与标签信息之中句子的重要性得分标签的第一损失值，并基于Summary-levelRanking损失函数计算候选摘要句与参考摘要句标签的第二损失值。根据第一损失值和第一目标函数、第二损失值和第二目标函数训练神经网络模型。

其中，上述第一目标函数可为第一目标损失值，第二目标函数可为第二目标损失值，在得到第一损失值时，可判断第一损失值和第一目标函数是否满足一定条件，以及第二损失值和第二目标函数是否也满足一定条件，比如第一损失值是否小于或等于第一目标损失值，以及第二损失值是否小于或等于第二目标损失值，若第一损失值小于或等于第一目标损失值，且第二损失值小于或等于第二目标损失值，则表示模型已训练完成，将训练好的模型作为摘要抽取模型；若第一损失值大于第一目标损失值，和/或，第二损失值大于第二目标损失值，则表示模型需要继续训练，此时，可调整模型的参数，并利用调整的模型重新进行预测，并通过预测结果的正确与否回传损失值，直至第一损失值小于或等于第一目标损失值，且第二损失值小于或等于第二目标损失值，表示此时模型已训练完成，将训练好的模型作为摘要抽取模型。由此，本申请实施例通过引入句子层次排序Sentence-levelRanking损失和摘要层次排序Summary-levelRanking损失，可以解决交叉熵损失函数存在忽略句子重要性排序的问题，通过引入排序Ranking函数可以使模型学到句子之间的重要性，而非单纯拟合训练数据的概率分布。

可以看出，如图3所示，Doc1和Doc2部分，两个子模块结构相同、参数共享，模型能够统一单文档摘要和多文档摘要技术，因此可以使用单文档摘要训练数据来训练模型，并能够直接应用于多文档摘要问题，形成单文档、多文档统一摘要模型。

综上，本申请实施例的摘要抽取模型训练方法，通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，通过共享训练参数，利用单文档摘要训练数据训练摘要模型，并将其应用于多文档摘要模型，有效缓解多文档摘要技术训练语料不足的问题。另外，通过引入图表示作为额外信息来指导模型学习，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

需要说明的是，本申请实施例的摘要抽取模型可以实现对单文档摘要抽取场景，还可以实现对多文档摘要抽取场景。为此，本申请实施例还提供了一种摘要抽取方法。

图5是根据本申请实施例提供的一种摘要抽取方法的流程图。如图5所示，该摘要抽取方法可以包括如下步骤。

在步骤501中，确定文档文本中每个句子的向量表示；其中，文档文本为单文档文本或多文档文本。

在一些实施例中，可对文档文本进行分词，并对获得的分词进行向量化表示，得到每个词语的向量表示，并基于每个词语的向量表示，生成句子的向量表示，从而得到文档文本之中每个句子的向量表示。可选地，在本申请一些实施例中，可采用预训练技术对文档文本进行词语的向量化处理，得到每个词语的向量表示，并经过序列神经网络Transformer得到句子向量表示。

在步骤502中，根据文档文本中每个句子的向量表示，生成与文档文本对应的图表示。

在一些实施例中，可将文档文本之中每个句子作为图表示之中的节点，并基于预设算法，依据文档文本之中每个句子的向量表示，获取文档文本之中各个句子之间的相互联系，并将相互联系，作为图表示中对应节点间的边。其中，该预设算法可为基于TF-IDF的文本相似度算法，或者，余弦相似度算法等。

在步骤503中，获取文档文本的篇章整体向量表示，并将篇章整体向量表示和图表示输入至预先训练的摘要抽取模型，获得针对文档文本的摘要句。

在一些实施例中，可采用自然语言处理领域中的自注意力机制技术，获取文档文本的篇章整体向量表示。

在本申请一些实施例中，在获得文档文本的篇章整体向量表示时，可基于图表示之中的节点以及边，确定图表示之中每个节点的向量表示，并将篇章整体向量表示分别与每个节点的向量表示进行拼接，并将拼接后得到的向量表示输入至摘要抽取模型。在摘要抽取模型中，可结合候选句子的重要性得分，对候选摘要句的预测，从而输出该文档文本的摘要句。

需要说明的是，本申请实施例的摘要抽取模型的训练方式可以分别采用前述任一实施例所述的摘要抽取模型训练方法的实现，本申请实施例并不对此作出限定，也不再赘述。

还需要说明的是，在本申请实施例中，上述文档文本可以是单文档文本，还可以是多文档文本，也就是说，本申请实施例的摘要抽取模型能够统一单文档摘要和多文档摘要技术，即可以实现对单文档摘要的提取，还可以实现对多文档摘要的提取。

综上，本申请实施例的摘要抽取方法，确定文档文本中每个句子的向量表示，并根据文档文本中每个句子的向量表示，生成与文档文本对应的图表示，获取文档文本的篇章整体向量表示，并将篇章整体向量表示和图表示输入至预先训练的摘要抽取模型，获得针对文档文本的摘要句。由此，通过引入图表示作为额外信息，将多篇文档利用图表示，进而利用图表示和多篇文档的整体表示，获得多篇文档的摘要句，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

图6是根据本申请实施例提供的一种摘要抽取模型训练装置的结构框图。如图6所示，该摘要抽取模型训练装置可以包括：第一获取模块601、确定模块602、生成模块603、第二获取模块604、第三获取模块605和训练模块606。

具体地，第一获取模块601用于获取文档样本及文档样本的标签信息。

确定模块602用于确定文档样本之中每个句子的向量表示。

生成模块603用于根据文档样本之中每个句子的向量表示，生成与文档样本对应的图表示。在一些实施例中，生成模块603将文档样本之中每个句子作为图表示之中的节点；基于预设算法，依据文档样本之中每个句子的向量表示，获取文档样本之中各个句子之间的相互联系；将相互联系，作为图表示中对应节点间的边。作为一种示例，预设算法包括：基于TF-IDF的文本相似度算法，或者，余弦相似度算法。

第二获取模块604用于获取文档样本的篇章整体向量表示。

第三获取模块605用于将篇章整体向量表示和图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句。在一些实施例中，第三获取模块605基于图表示之中的节点以及边，确定图表示之中每个节点的向量表示；将篇章整体向量表示分别与每个节点的向量表示进行拼接；将拼接后得到的向量表示输入至神经网络模型进行句子打分和候选摘要句的预测，获取预测得到的候选句子的重要性得分和候选摘要句。

训练模块606用于根据候选句子的重要性得分、候选摘要句和标签信息，训练神经网络模型，获得模型参数以形成摘要抽取模型。在一些实施例中，标签信息包括文档样本中句子的重要性得分标签和参考摘要句标签。作为一种示例，训练模块606基于第一损失函数，计算候选句子的重要性得分与标签信息之中句子的重要性得分标签的第一损失值；基于第二损失函数，计算候选摘要句与参考摘要句标签的第二损失值；根据第一损失值和第二损失值训练神经网络模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本申请实施例的摘要抽取模型训练装置，通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，通过共享训练参数，利用单文档摘要训练数据训练摘要模型，并将其应用于多文档摘要模型，有效缓解多文档摘要技术训练语料不足的问题。另外，通过引入图表示作为额外信息来指导模型学习，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

图7是根据本申请实施例提供的一种摘要抽取装置的结构框图。如图7所示，该摘要抽取装置可以包括：确定模块701、生成模块702、第一获取模块703和第二获取模块704。

具体地，确定模块701用于确定文档文本中每个句子的向量表示；其中，文档文本为单文档文本或多文档文本。

生成模块702用于根据文档文本中每个句子的向量表示，生成与文档文本对应的图表示。在一些实施例中，生成模块702将文档文本之中每个句子作为图表示之中的节点；基于预设算法，依据文档文本之中每个句子的向量表示，获取文档文本之中各个句子之间的相互联系；将相互联系，作为图表示中对应节点间的边。

第一获取模块703用于获取文档文本的篇章整体向量表示。

第二获取模块704用于将篇章整体向量表示和图表示输入至预先训练的摘要抽取模型，获得针对文档文本的摘要句。在一些实施例中，第二获取模块704基于图表示之中的节点以及边，确定图表示之中每个节点的向量表示；将篇章整体向量表示分别与每个节点的向量表示进行拼接；将拼接后得到的向量表示输入至摘要抽取模型，获得针对文档文本的摘要句。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本申请实施例的摘要抽取装置，通过引入图表示作为额外信息，将多篇文档利用图表示，进而利用图表示和多篇文档的整体表示，获得多篇文档的摘要句，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本申请实施例的用以实现摘要抽取模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的摘要抽取模型训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的摘要抽取模型训练方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的摘要抽取模型训练方法对应的程序指令/模块(例如，附图6所示的第一获取模块601、确定模块602、生成模块603、第二获取模块604、第三获取模块605和训练模块606)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的摘要抽取模型训练方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用以实现摘要抽取模型训练方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至用以实现摘要抽取模型训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用以实现摘要抽取模型训练方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与用以实现摘要抽取模型训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本申请实施例的技术方案，通过采用图表示技术，将单文档摘要技术和多文档摘要技术有机统一，通过共享训练参数，利用单文档摘要训练数据训练摘要模型，并将其应用于多文档摘要模型，有效缓解多文档摘要技术训练语料不足的问题。另外，通过引入图表示作为额外信息来指导模型学习，使得模型在长篇幅文本数据时效果提升显著。此外，通过加入篇章整体的编码表示，可以弥补模型关注词语、句子层面的信息，而忽略篇章整体信息，从而可以进一步提升模型的效果。

为了实现上述实施例，本申请还提出了另一种电子设备。其中，该电子设备可包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述本申请任一实施例所述的摘要抽取方法。

为了实现上述实施例，本申请还提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述本申请任一实施例所述的摘要抽取方法。

为了实现上述实施例，本申请还提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述任一实施例所述的摘要抽取模型训练方法，或者，执行上述本申请任一实施例所述的摘要抽取方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (19)

1.一种摘要抽取模型训练方法，包括：

获取文档样本及所述文档样本的标签信息；

确定所述文档样本之中每个句子的向量表示；

根据所述文档样本之中每个句子的向量表示，生成与所述文档样本对应的图表示；

获取所述文档样本的篇章整体向量表示，并将所述篇章整体向量表示和所述图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句；

根据所述候选句子的重要性得分、所述候选摘要句和所述标签信息，训练所述神经网络模型，获得模型参数以形成摘要抽取模型。

2.根据权利要求1所述的摘要抽取模型训练方法，其中，所述根据所述文档样本之中每个句子的向量表示，生成与所述文档样本对应的图表示，包括：

将所述文档样本之中每个句子作为所述图表示之中的节点；

基于预设算法，依据所述文档样本之中每个句子的向量表示，获取所述文档样本之中各个句子之间的相互联系；

将所述相互联系，作为所述图表示中对应节点间的边。

3.根据权利要求2所述的摘要抽取模型训练方法，其中，所述预设算法包括：

基于词频TF－逆文本频率指数IDF的文本相似度算法，或者，余弦相似度算法。

4.根据权利要求1所述的摘要抽取模型训练方法，其中，所述将所述篇章整体向量表示和所述图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句，包括：

基于所述图表示之中的节点以及边，确定所述图表示之中每个节点的向量表示；

将所述篇章整体向量表示分别与每个所述节点的向量表示进行拼接；

将拼接后得到的向量表示输入至神经网络模型进行句子打分和候选摘要句的预测，获取预测得到的候选句子的重要性得分和候选摘要句。

5.根据权利要求1所述的摘要抽取模型训练方法，其中，所述标签信息包括所述文档样本中句子的重要性得分标签和参考摘要句标签；所述根据所述候选句子的重要性得分、所述候选摘要句和所述标签信息，训练所述神经网络模型，包括：

基于第一损失函数，计算所述候选句子的重要性得分与所述标签信息之中所述句子的重要性得分标签的第一损失值；

基于第二损失函数，计算所述候选摘要句与所述参考摘要句标签的第二损失值；

根据所述第一损失值和所述第二损失值训练所述神经网络模型。

6.一种摘要抽取方法，包括：

确定文档文本中每个句子的向量表示；其中，所述文档文本为单文档文本或多文档文本；

根据所述文档文本中每个句子的向量表示，生成与所述文档文本对应的图表示；

获取所述文档文本的篇章整体向量表示，并将所述篇章整体向量表示和所述图表示输入至预先训练的摘要抽取模型，获得针对所述文档文本的摘要句。

7.根据权利要求6所述的方法，其中，所述根据所述文档文本中每个句子的向量表示，生成与所述文档文本对应的图表示，包括：

将所述文档文本之中每个句子作为所述图表示之中的节点；

基于预设算法，依据所述文档文本之中每个句子的向量表示，获取所述文档文本之中各个句子之间的相互联系；

将所述相互联系，作为所述图表示中对应节点间的边。

8.根据权利要求6所述的方法，其中，所述将所述篇章整体向量表示和所述图表示输入至预先训练的摘要抽取模型，获得针对所述文档文本的摘要句，包括：

基于所述图表示之中的节点以及边，确定所述图表示之中每个节点的向量表示；

将所述篇章整体向量表示分别与每个所述节点的向量表示进行拼接；

将拼接后得到的向量表示输入至所述摘要抽取模型，获得针对所述文档文本的摘要句。

9.一种摘要抽取模型训练装置，包括：

第一获取模块，用于获取文档样本及所述文档样本的标签信息；

确定模块，用于确定所述文档样本之中每个句子的向量表示；

生成模块，用于根据所述文档样本之中每个句子的向量表示，生成与所述文档样本对应的图表示；

第二获取模块，用于获取所述文档样本的篇章整体向量表示；

第三获取模块，用于将所述篇章整体向量表示和所述图表示输入至神经网络模型，获得候选句子的重要性得分和候选摘要句；

训练模块，用于根据所述候选句子的重要性得分、所述候选摘要句和所述标签信息，训练所述神经网络模型，获得模型参数以形成摘要抽取模型。

10.根据权利要求9所述的装置，其中，所述生成模块具体用于：

将所述文档样本之中每个句子作为所述图表示之中的节点；

基于预设算法，依据所述文档样本之中每个句子的向量表示，获取所述文档样本之中各个句子之间的相互联系；

将所述相互联系，作为所述图表示中对应节点间的边。

11.根据权利要求10所述的装置，其中，所述预设算法包括：

基于词频TF－逆文本频率指数IDF的文本相似度算法，或者，余弦相似度算法。

12.根据权利要求9所述的装置，其中，所述第三获取模块具体用于：

基于所述图表示之中的节点以及边，确定所述图表示之中每个节点的向量表示；

将所述篇章整体向量表示分别与每个所述节点的向量表示进行拼接；

将拼接后得到的向量表示输入至神经网络模型进行句子打分和候选摘要句的预测，获取预测得到的候选句子的重要性得分和候选摘要句。

13.根据权利要求9所述的装置，其中，所述标签信息包括所述文档样本中句子的重要性得分标签和参考摘要句标签；所述训练模块具体用于：

基于第一损失函数，计算所述候选句子的重要性得分与所述标签信息之中所述句子的重要性得分标签的第一损失值；

基于第二损失函数，计算所述候选摘要句与所述参考摘要句标签的第二损失值；

根据所述第一损失值和所述第二损失值训练所述神经网络模型。

14.一种摘要抽取装置，包括：

确定模块，用于确定文档文本中每个句子的向量表示；其中，所述文档文本为单文档文本或多文档文本；

生成模块，用于根据所述文档文本中每个句子的向量表示，生成与所述文档文本对应的图表示；

第一获取模块，用于获取所述文档文本的篇章整体向量表示；

第二获取模块，用于将所述篇章整体向量表示和所述图表示输入至预先训练的摘要抽取模型，获得针对所述文档文本的摘要句。

15.根据权利要求14所述的装置，其中，所述生成模块具体用于：

将所述文档文本之中每个句子作为所述图表示之中的节点；

基于预设算法，依据所述文档文本之中每个句子的向量表示，获取所述文档文本之中各个句子之间的相互联系；

将所述相互联系，作为所述图表示中对应节点间的边。

16.根据权利要求14所述的装置，其中，所述第二获取模块具体用于：

基于所述图表示之中的节点以及边，确定所述图表示之中每个节点的向量表示；

将所述篇章整体向量表示分别与每个所述节点的向量表示进行拼接；

将拼接后得到的向量表示输入至所述摘要抽取模型，获得针对所述文档文本的摘要句。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的摘要抽取模型训练方法，或者，执行权利要求6至8中任一项所述的摘要抽取方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的摘要抽取模型训练方法，或者，执行权利要求6至8中任一项所述的摘要抽取方法。

19.一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1至5中任一项所述的摘要抽取模型训练方法，或者，执行权利要求6至8中任一项所述的摘要抽取方法。

Images