CN112287096A

CN112287096A - 一种文档摘要的生成方法、装置及电子设备

Info

Publication number: CN112287096A
Application number: CN201910673541.3A
Authority: CN
Inventors: 桂敏; 王睿; 田俊峰
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2019-07-24
Filing date: 2019-07-24
Publication date: 2021-01-29

Abstract

本发明公开了一种文档摘要的生成方法、装置及电子设备，该方法包括：获取待处理的目标文档；获取用于处理目标文档的摘要生成模型；利用摘要生成模型对目标文档进行处理，得到对应的文档摘要；其中，摘要模型通过以下方法训练得到：获取多个训练样本；分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个参考摘要中每个参考单词在对应解码时刻的概率分表达式；分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子；根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数，并依据损失函数确定待定参数。

Description

一种文档摘要的生成方法、装置及电子设备

技术领域

本发明涉及摘要生成技术领域，更具体地，涉及一种文档摘要的生成方法、一种文档摘要的生成装置、一种电子设备、及一种计算机可读存储介质。

背景技术

近几年，由于摘要任务很强的实用性和各种场景的必需性，越来越多的人开始研究摘要任务。文档摘要任务的方式分为：抽取式和生成式。抽取的方式从文档中抽取可以表述文档主要内容的几句话组成摘要，简单易行。生成式的方式是在理解文档的基础上重述文档主要内容，产生的句子甚至是词都可能不是文档中有的，这种方式很像人类写摘要的过程。

在现有技术中，通常是采用摘要生成模型来生成目标文档所对应的文档摘要。现有的摘要生成模型一般是序列到序列模型，在编码端和解码端逐词进行解码或者编码。

如果训练得到的摘要生成模型的性能较低，那么，就会导致采用该摘要生成模型对目标文档进行处理得到的文档摘要质量较差。

因此，提出一种通过监督首个单词的正确性训练得到的摘要生成模型来生成文档摘要的方案是十分有价值的。

发明内容

本发明的一个目的是提供一种生成文档摘要的新的技术方案。

根据本发明的第一方面，提供了一种文档摘要的生成方法，包括：

获取待处理的目标文档；

获取用于处理所述目标文档的摘要生成模型；

利用所述摘要生成模型对所述目标文档进行处理，得到对应的文档摘要；

其中，所述摘要模型通过以下方法训练得到：

获取多个训练样本，其中，每个所述训练样本包括一篇文档及对应的参考摘要，所述参考摘要包括多个参考单词；

分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个参考摘要中每个参考单词在对应解码时刻的概率分表达式；

分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子；

根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数，并依据所述损失函数确定所述待定参数。

可选的，所述分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子的步骤包括：

分别根据每个参考摘要中的首个参考单词在对应解码时刻的概率分表达式，得到每个首个参考单词对应的解码时刻的设定字典单词的概率；

分别确定每个首个参考单词对应的解码时刻，概率最大的设定数量个设定字典单词是否命中对应的首个参考单词，得到每个首个参考单词的命中结果；

根据每个首个参考单词的命中结果，得到对应训练样本的惩罚因子。

可选的，如果首个参考单词的命中结果为是，则将对应训练样本的惩罚因子设置为设定值；

如果首个参考单词的命中结果为否，则根据命中结果为否的首个参考单词在对应解码时刻的概率分表达式设置对应训练样本的惩罚因子。

可选的，所述根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数的步骤包括：

分别根据每个训练样本中每个参考单词在对应解码时刻的概率分表达式，得到每个训练样本对应的损失项；

根据预设的权重，分别对每个训练样本对应的损失项和惩罚因子进行加权求和，得到每个训练样本对应的初始损失表达式；

根据每个训练样本的初始损失表达式，得到所述损失函数。

可选的，所述依据所述损失函数确定所述待定参数的步骤包括：

设置所述待定参数的初始值；

将设置初始值后的所述待定参数代入所述损失函数中，进行迭代处理；

当所述迭代处理得到的所述待定参数符合收敛条件时，终止所述迭代处理，确定所述待定参数的取值；否则，继续所述迭代处理。

可选的，所述收敛条件包括：

所述迭代处理的次数达到预设的次数阈值；和/或，

将所述迭代处理得到的待定参数代入所述损失函数，得到的训练结果值小于或等于预设的结果阈值。

可选的，所述摘要生成模型用于生成待处理的目标文档的摘要。

可选的，所述依据所述损失函数确定所述待定参数之后还包括：

分别根据每个训练样本，得到每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式；

分别根据每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式，得到每个训练样本对应的词袋损失表达式；

根据所述损失函数和每个训练样本对应的词袋损失表达式，构建新的损失函数；

根据所述新的损失函数重新确定所述待定参数，完成对所述摘要生成模型的微调训练。

可选的，所述分别根据每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式，得到每个训练样本对应的词袋损失表达式的步骤包括：

分别对每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式求和，得到每个训练样本中每个参考单词对应的概率和表达式；

分别根据每个训练样本中的每个参考单词对应的概率和表达式，得到每个训练样本对应的词袋损失表达式。

可选的，所述方法还包括：

根据预设的训练周期，执行所述训练所述摘要生成模型的步骤。

可选的，所述方法还包括：

提供用于设置摘要生成模型的应用场景的设置入口；

获取通过所述设置入口输入的应用场景；

所述获取多个训练样本的步骤包括：根据所述输入的应用场景，获取相应的训练样本。

可选的，所述方法还包括：

确定训练后的摘要生成模型所适用的应用场景；

查找与所述应用场景相匹配的应用项目；

将训练后的摘要生成模型输入至所述应用项目。

根据本发明的第二方面，提供了一种文档摘要的生成方法，包括：

获取待处理的目标文档；

获取用于处理所述目标文档的摘要生成模型；

其中，所述摘要模型通过以下方法训练得到：

分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式；

根据每个训练样本对应的词袋损失表达式，构建新的损失函数；并根据所述新的损失函数重新确定所述待定参数。

根据本发明的第三方面，提供了一种文档摘要的生成装置，包括：

文档获取模块，用于获取待处理的目标文档；

模型获取模块，用于获取用于处理所述目标文档的摘要生成模型；

文档处理模块，用于利用所述摘要生成模型对所述目标文档进行处理，得到对应的文档摘要；

其中，所述模型获取模块还用于：

根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数，并依据所述损失函数确定所述待定参数；

或者，所述模型获取模块还用于：

根据本发明的第四方面，提供了一种电子设备，包括：

根据本发明第三方面所述的装置；或者，

处理器和存储器，所述存储器用于存储指令，所述指令用于控制所述处理器执行根据本发明第一方面或第二方面所述的方法。

根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如本发明第一方面或第二方面所述的方法。

在本发明的实施例中，分别根据每个训练样本及对应的参考摘要，以摘要生成模型的待定参数为变量，得到每个参考摘要中每个参考单词在对应解码时刻的概率分表达式，再分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子，根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数；并依据所述损失函数确定所述待定参数，再利用训练得到的摘要生成模型对待处理的目标文档进行处理，得到对应的文档摘要。通过根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子，惩罚摘要生成模型对每个训练样本中参考摘要的首个单词预测不正确的问题，这样，就可以鼓励摘要生成模型对首个单词预测正确的情况，从而可以提升摘要生成模型的性能，进而可以提升生成文档摘要的准确性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明第一个实施例的电子设备的硬件结构示意图。

图2是根据本发明第二个实施例的电子设备的硬件结构示意图。

图3示出了本发明的实施例的文档摘要的生成方法的流程图。

图4示出了本发明的第一个实施例的摘要生成模型的训练方法的流程图。

图5示出了本发明的第二个实施例的摘要生成模型的训练方法的流程图。

图6示出了本发明的实施例的文档摘要的生成方法的第一个例子流程图。

图7示出了本发明的实施例的文档摘要的生成方法的第二个例子的流程图。

图8示出了本发明的实施例的文档摘要的生成方法的第三个例子的流程图。

图9示出了本发明的实施例的文档摘要的生成装置的原理框图。

图10示出了本发明第三个实施例的电子设备的原理框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1和图2是可用于实现本发明任意实施例的方法的电子设备1000的硬件配置的框图。

在一个实施例中，如图1所示，电子设备1000可以是服务器1100。

服务器1100提供处理、数据库、通讯设施的业务点。服务器1100可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器可以是各种类型的，例如但不限于，网络服务器，新闻服务器，邮件服务器，消息服务器，广告服务器，文件服务器，应用服务器，交互服务器，数据库服务器，或代理服务器。在一些实施例中，每个服务器可以包括硬件，软件，或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如，服务器例如刀片服务器、云端服务器等，或者可以是由多台服务器组成的服务器群组，可以包括上述类型的服务器中的一种或多种等等。

本实施例中，服务器1100可以如图1所示，包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150、输入装置1160。

在该实施例中，服务器1100还可以包括扬声器、麦克风等等，在此不做限定。

处理器1110可以是专用的服务器处理器，也可以是满足性能要求的台式机处理器、移动版处理器等，在此不做限定。存储器1120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括各种总线接口，例如串行总线接口(包括USB接口)、并行总线接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏、LED显示屏触摸显示屏等。输入装置1160例如可以包括触摸屏、键盘等。

在该实施例中，服务器1100的存储器1120用于存储指令，该指令用于控制处理器1110进行操作以至少执行根据本发明任意实施例的方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

尽管在图1中示出了服务器1100的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，服务器1100只涉及存储器1120和处理器1110。

在一个实施例中，电子设备1000可以是操作人员使用的PC机、笔记本电脑等终端设备1200，在此不做限定。

本实施例中，参照图2所示，终端设备1200可以包括处理器1210、存储器1220、接口装置1230、通信装置1240、显示装置1250、输入装置1260、扬声器1270、麦克风1280等等。

处理器1210可以是移动版处理器。存储器1220例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1230例如包括USB接口、耳机接口等。通信装置1240例如能够进行有线或无线通信，通信装置1240可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置1240也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置1250例如是液晶显示屏、触摸显示屏等。输入装置1260例如可以包括触摸屏、键盘等。用户可以通过扬声器1270和麦克风1280输入/输出语音信息。

在该实施例中，终端设备1200的存储器1220用于存储指令，该指令用于控制处理器1210进行操作以至少执行根据本发明任意实施例的方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

尽管在图2中示出了终端设备1200的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，终端设备1200只涉及存储器1220和处理器1210和显示装置1250。

<方法实施例>

在本实施例中，提供一种文档摘要的生成方法。该文档摘要的生成方法可以是由电子设备实施。该电子设备可以是如图1所示的服务器1100或如图2所示的终端设备1200。

根据图3所示，本实施例的文档摘要的生成方法可以包括如下步骤S3100～S3300：

步骤S3100，获取待处理的目标文档。

步骤S3200，获取用于处理目标文档的摘要生成模型。

步骤S3300，利用该摘要生成模型对目标文档进行处理，得到对应的文档摘要。

其中，该摘要生成模型可以是通过如下所示的第一实施例或第二实施例训练得到。

<第一实施例>

由于在现有的摘要生成场景中，下一个单词的生成是依据之前生成的单词，如果上一个单词生成正确，那么下一个单词正确的概率也会较高；相反，如果前一个单词出现偏差，那么接下来这种偏差会越来越大，导致最终生成的摘要质量不好。因此，本实施例通过监督首个单词的正确性来提升摘要生成模型性能。

如图4所示，训练摘要生成模型的方法可以包括步骤S4100～S4500：步骤S4100，获取多个训练样本。

其中，每个训练样本包括一篇文档及对应的参考摘要，参考摘要包括多个参考单词，每个参考单词在对应的参考摘要中具有各自的排列顺序。本实施例中的单词可以是一个字、词汇或者是标点。

文档可以是长度大于参考摘要的序列，即每篇文档中包含的单词数量可以大于对应的参考摘要的单词数量。

步骤S4200，分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个参考摘要中每个参考单词在对应解码时刻的概率分表达式。

在本例中，摘要生成模型可以是序列到序列模型，那么，该摘要生成模型具体可以包括编码端和解码端。编码端的编码过程实际上使用了循环神经网络记忆的功能，通过输入文档中上下文的序列关系，将词向量依次输入网络。对于循环神经网络，每一次网络都会输出一个结果，但是编码的不同之处在于，其只保留最后一个隐藏状态，相当于将整句话浓缩在一起，将其存为一个内容向量供后面的解码端使用。解码端和编码端的结构几乎是一样的，唯一不同的是在解码过程中，是根据前面的结果来得到后面的结果。编码过程中输入一篇文档，而且这个文档中的每个单词都是已知的，而解码过程相当于什么也不知道，首先需要一个标识符表示一句话的开始，然后接着将其输入网络得到第一个输出作为摘要的第一个单词，接着通过得到的第一个单词作为解码端的下一个输入，得到的输出作为摘要的第二个单词，不断循环，通过这种方式来得到最后网络输出的摘要。

在对摘要生成模型进行训练的过程中，如果训练样本的参考摘要中包含T个参考单词，那么，针对该训练样本，摘要生成模型需要进行T次解码。在本实施例中，该训练样本的第t个解码时刻，即可以作为该训练样本的参考摘要中的第t个参考单词所对应的解码时刻，其中，t∈[1，T]。

具体的，在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，可以设置摘要生成模型的待定参数为X，第n个训练样本的参考摘要中第t个参考单词在对应的解码时刻的概率分表达式，可以表示为：P_n,t(X)，n∈[1，N]。

步骤S4300，分别根据每个参考摘要中的首个参考单词在对应解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子。

首个参考单词可以是对应参考摘要中排序值为1的参考单词。首个参考单词对应的解码时刻可以是对应训练样本的首个解码时刻。

在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，如果第n个训练样本的参考摘要中第t个参考单词在对应的解码时刻的概率分表达式表示为P_n,t(X)，n∈[1，N]，那么，第n个训练样本的参考摘要中首个参考单词在对应的解码时刻的概率分表达式可以表示为P_n,1(X)，n∈[1，N]。

在本发明的一个实施例中，根据第n个训练样本的参考摘要中首个参考单词在对应的解码时刻的概率分表达式，得到第n个训练样本对应的惩罚因子的步骤可以包括如下所示的步骤S4310～S4330：

步骤S4310，根据第n个训练样本的参考摘要中的首个参考单词在对应解码时刻的概率分表达式，得到该首个参考单词对应的解码时刻的设定字典单词的概率。

具体的，可以在摘要生成模型中预先存储有大量的设定字典单词，且设定字典单词包含所有参考摘要中的所有参考单词。在摘要生成模型进行解码的过程中，可以得到每个设定字典单词在每个解码时刻的概率。

因此，本步骤S4310具体可以是根据第n个训练样本的参考摘要中的首个参考单词的概率分表达式，得到在第n个训练样本的参考摘要的首个参考单词对应的解码时刻，每个设定字典单词的概率。

步骤S4320，确定第n个训练样本的参考摘要的首个参考单词对应的解码时刻，概率最大的设定数量个设定字典单词是否命中该首个参考单词，得到该首个参考单词的命中结果。

由于设定字典单词中包含有所有的参考单词，因此，得到的设定字典单词的概率中，也包含有第n个训练样本的参考摘要的首个参考单词的概率。

具体的，可以是按照概率由大到小的顺序对每个设定字典单词进行排序，并获取每个设定字典单词的排序值。确定排序值小于或等于设定阈值(该设定阈值的大小与设定数量的大小相同)的设定字典单词中是否包含第n个训练样本的参考摘要的首个参考单词，如是，则第n个训练样本的参考摘要的首个参考单词的命中结果为是；如否，则第n个训练样本的参考摘要的首个参考单词的命中结果为否。

步骤S4330，根据该首个参考单词的命中结果，得到第n个训练样本的惩罚因子。

在一个实施例中，如果第n个训练样本的参考摘要的首个参考单词的命中结果为是，则将第n个训练样本的惩罚因子设置为设定值；如果第n个训练样本的参考摘要的首个参考单词的命中结果为否，则根据第n个训练样本的参考摘要的首个参考单词的在对应解码时刻的概率分表达式，设置第n个训练样本的惩罚因子。

该设定值可以是预先根据应用场景或具体需求设定。例如，该设定值可以是0，那么，如果第n个训练样本的参考摘要的首个参考单词的命中结果为是，则将第n个训练样本的惩罚因子设置为0。

在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，如果第n个训练样本的参考摘要的首个参考单词的命中结果为否，第n个训练样本的参考摘要的首个参考单词的在对应解码时刻的概率分表达式表示为P_n,1(X)，那么，第n个训练样本的惩罚因子可以设置为-log P_n,1(X)，n∈[1，N]。

步骤S4400，根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数。

在一个实施例中，该步骤S4400可以进一步包括如下所示的步骤S4410～S4430：

步骤S4410，分别根据每个训练样本中的每个参考单词在对应的解码时刻的概率分表达式确定每个训练样本对应的损失项。

在一个实施例中，可以是分别确定每个训练样本中的每个参考单词在对应的解码时刻的概率分表达式的负对数，再分别对每个训练样本中所有参考单词对应的负对数求和，得到每个训练样本对应的损失项。

在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，如果根据第n个训练样本的参考摘要中包括T个参考单词，第n个训练样本的参考摘要中的第t个参考单词在对应的解码时刻的概率分表达式表示为P_n,t(X)，t∈[1，T]，n∈[1，N]，那么，根据第n个训练样本中的每个参考单词在对应的解码时刻的概率分表达式，确定的第n个训练样本对应的损失项可以为：

步骤S4420，根据预设的权重，分别对每个训练样本对应的损失项和惩罚因子进行加权求和，得到每个训练样本对应的初始损失表达式。

具体的，预设的权重可以是损失项和惩罚因子的权重，使得不同的训练样本的损失项的权重相同，不同的训练样本的惩罚因子的权重相同。例如，可以将损失项的权重设置为λ₁，将惩罚因子的权重设置为λ₂。

那么，在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，对第n个训练样本对应的损失项

和惩罚因子-log P_n,1(X)进行加权求和，得到第n个训练样本对应的初始损失表达式可以表示为

步骤S4430，根据每个训练样本的初始损失表达式，得到损失函数。

在一个实施例中，可以是将每个训练样本的初始损失表达式求和，得到损失函数。

例如，在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，第n个训练样本对应的初始损失表达式表示为L_n，n∈[1，N]，那么，得到的损失函数可以表示为

在另一个实施例中，可以是将每个训练样本的初始损失表达式求平均值，得到损失函数。

步骤S4500，根据该损失函数确定待定参数，完成本次对该摘要生成模型的训练。

在一个实施例中，该步骤S4500可以进一步包括如下所示的步骤S4510～S4530：

步骤S4510，设置待定参数的初始值。

本实施例的待定参数X可以为m个系数{X₁,X₂,......,X_m}的集合。

在本发明的一个实施例中，待定参数的初始值，可以是预先经过初步训练得到的摘要生成模型的待定参数的值。本实施例中的初步训练可以是根据对每个训练样本对应的损失项求和或求平均值得到的损失函数进行训练。

在本发明的另一实施例中，可以设置待定参数的初始值为预设数值范围的随机数。该预设数值范围可以根据应用场景或者应用需求设置，例如，设置预设数值范围为0-1，使得系数{X₁,X₂,......,X_m}的初始值均是0-1之间的随机数。

步骤S4520，将设置初始值后的待定参数代入损失函数中，进行迭代处理。

具体的，可以是根据最大似然估计法求解该损失函数，确定在损失函数的结果值最小的情况下的待定参数，完成本次迭代处理。

假设本次迭代是第k+1次迭代(k的初始值为0，随着每次迭代加1)，本次迭代前的待定参数为X^k，对应的迭代后所述特征权重的取值为X^k+1。

步骤S4530，当迭代处理得到的待定参数符合收敛条件时，终止迭代处理，确定待定参数的取值；否则，继续迭代处理。

在本例中，收敛条件可以根据具体的应用场景或者应用需求设置。

例如，收敛条件是迭代处理的次数大于预设的次数阈值。该预设的次数阈值可以根据工程经验或者实验仿真结果设置，例如，可以设置为10000。对应地，假设迭代处理的次数为k+1，次数阈值是itemNums，对应的收敛条件为：k≥itemNums。

又例如，收敛条件是将迭代处理得到的待定参数代入损失函数，得到的训练结果值小于或等于预设的结果阈值。

结果阈值可以根据工程经验或者实验仿真结果设置，例如，结果阈值可以设置为L_th。假设第k+1次迭代处理后确定的待定参数为X^k+1，对应的训练结果值为：L(X^k+1)，收敛条件可以为：

L(X^k+1)≤L_th。

在一个例子中，收敛条件是满足上述两个例子中任意一个收敛条件，具体收敛条件在上述两个例子中已经描述，在此不再赘述。

通过本发明的实施例的方法训练得到的摘要生成模型，可以用于生成待处理的目标文档的摘要。具体的，可以是将待处理的目标文档输入至训练得到的摘要生成模型中，就能够得到该目标文档所对应的文档摘要。

在实际应用中，可被用户获取的文档内容会随时间发生变化，这可能会影响对生成目标文档对应的文档摘要的实际生成效果，因此，在本实施例中，还可以对摘要生成模型，根据预设的训练周期，执行上述如图3所示的训练摘要生成模型的步骤，使得摘要生成模型自适应根据适配上述影响摘要生成效果的因素对于时间的变化，更精准地生成文档摘要，以实现实际满足用户需求的摘要生成。

该训练周期可以根据具体应用场景或者应用需求设置，例如，可以设置为1天。

在本发明的实施例中，分别根据每个训练样本及对应的参考摘要，以摘要生成模型的待定参数为变量，得到每个参考摘要中每个参考单词在对应解码时刻的概率分表达式，再分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子，根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数；根据该损失函数确定待定参数完成本轮对摘要生成模型的训练。

由于在摘要生成场景中，下一个单词的生成是依据之前生成的单词，如果上一个单词生成正确，那么下一个单词正确的概率也会较高；相反，如果前一个单词出现偏差，那么接下来这种偏差会越来越大，导致最终生成的摘要质量不好。因此，根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子，该惩罚因子会惩罚摘要生成模型对每个训练样本中参考摘要的首个单词预测不正确的问题，这样，就可以鼓励摘要生成模型对首个单词预测正确的情况，从而可以提升摘要生成模型的性能，进而可以提升采用该摘要生成模型生成目标文档的文档摘要的准确性。

进一步地，在根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子的过程中，并不是强制性要求得到参考摘要的第一个词的概率最大，而是只要求参考摘要的第一个词在对应解码时刻得到的概率最大的设定数量个设定字典单词里面即可。这样，可以允许摘要生成模型对训练样本中参考摘要的首个单词预测存在较小偏差的情况，从而提升摘要生成模型的性能。

在摘要生成模型进行训练的过程中，每个训练样本中的文档一般只有一个对应的参考摘要进行训练。对于同篇文档的摘要来说，不同的人写出来会不一样，即使使用完全相同的词语也会有表达方式词序上的不同。但是上述实施例中的摘要生成模型是以最大似然估计的方式训练，按照参考摘要的单词顺序一一对应计算。而训练样本也不是来自同一个人，表达方式风格等都会不一样，以这种一一对应的方式计算损失函数会限制模型的生成能力和生成摘要的多样性。

为了解决这个问题，在训练摘要生成模型时，可以忽略参考摘要的词序和语法、句法等，将参考摘要仅仅看作是多个参考单词的集合，即词袋。具体的，可以是不要求摘要生成模型根据参考摘要所对应的文档所生成的摘要和该参考摘要一样才是正确的，而是认为摘要生成模型根据参考摘要所对应的文档所生成的摘要包含和该参考摘要相同的词袋的文档摘要也是好的文档摘要。

在本实施例中，在执行完前述的步骤S4100～S4500的训练步骤之后，该方法还可以包括如下所示的步骤S4600～S4900，对经过步骤S4100～S4500训练得到的摘要生成模型再次进行微调训练：

步骤S4600，分别根据每个训练样本，得到每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式。

在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，第n(n∈[1，N])个训练样本的参考摘要中包含T个参考单词，那么，第n个训练样本可以具有对应的T个解码时刻。

例如，第n个训练样本中的第t(t∈[1，T])个参考单词在第n个训练样本的第i(i∈[1，T])个解码时刻的概率分表达式可以表示为P_n,t,i，其中，i和t的取值可以相同，也可以不同。

步骤S4700，分别根据每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式，得到每个训练样本对应的词袋损失项。

在一个实施例中，步骤S4700可以进一步包括如下所示的步骤S4710～S4720：

步骤S4710，分别对每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式求和，得到每个训练样本中的每个参考单词对应的概率和表达式。

在第n个训练样本中的第t(t∈[1，T])个参考单词在第n个训练样本的第i(i∈[1，T])个解码时刻的概率分表达式可以表示为P_n,t,i的情况下，第n个训练样本中的第t(t∈[1，T])个参考单词在第n个训练样本对应的概率和表达式可以表示为：

步骤S4720，分别根据每个训练样本中的每个参考单词对应的概率和表达式，得到每个训练样本对应的词袋损失表达式。

具体的，可以是分别确定每个训练样本中的每个参考单词对应的概率和表达式的负对数，再分别确定每个训练样本中所有参考单词对应的负对数求和，得到每个训练样本对应的词袋损失项。

在第n个训练样本中的第t(t∈[1，T])个参考单词在第n个训练样本对应的概率和表达式表示为

的情况下，第n个训练样本的词袋损失表达式可以表示为：

步骤S4800，根据每个训练样本对应的词袋损失表达式，构建新的损失函数。

在一个实施例中，可以是对每个训练样本对应的词袋损失表达式进行求和，得到新的损失函数。

例如，在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，第n个训练样本对应的词袋损失表达式表示为

那么，得到的新的损失函数可以表示为

在一个实施例中，可以是对每个训练样本对应的词袋损失表达式进行求平均值，得到新的损失函数。

那么，得到的新的损失函数可以表示为

在一个实施例中，可以是根据预设的权重，分别对每个训练样本对应的词袋损失表达式、及前述步骤S4420得到的每个训练样本的初始损失表达式进行加权求和，得到每个训练样本的新的损失表达式；再对每个训练样本的新的损失表达式进行求和或求平均值，得到新的损失函数。

具体的，可以预先分别设置初始损失表达式和词袋损失表达式的权重。使得不同的训练样本的初始损失表达式的权重相同，不同的训练样本的词袋损失表达式的权重相同。例如，可以将初始损失表达式的权重设置为λ₃，将词袋损失表达式的权重设置为λ₄。

那么，在本轮微调训练摘要生成模型过程中的训练样本数量为N的情况下，对步骤S4420中得到的第n个训练样本的初始损失表达式为L_n、及词袋损失表达式

进行加权求和，得到的第n个训练样本的新的损失表达式可以表示为：

可以是对每个训练样本的新的损失表达式进行求和，得到新的损失函数。

例如，在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，第n个训练样本对应的词袋损失表达式表示为L_n′，n∈[1，N]，那么，得到的新的损失函数可以表示为

还可以是对每个训练样本新的损失表达式进行求平均值，得到新的损失函数。

在一个实施例中，可以是根据预设的权重，分别对每个训练样本对应的词袋损失表达式、及前述步骤S4410得到的每个训练样本的损失项进行加权求和，得到每个训练样本的新的损失表达式；再对每个训练样本的新的损失表达式进行求和或求平均值，得到新的损失函数。

具体的，可以预先分别设置损失项和词袋损失表达式的权重。使得不同的训练样本的损失项的权重相同，不同的训练样本的词袋损失表达式的权重相同。例如，可以将损失项的权重设置为λ₃′，将词袋损失表达式的权重设置为λ₄′。

那么，在本轮微调训练摘要生成模型过程中的训练样本数量为N的情况下，对步骤S4410中得到的第n个训练样本的损失项为

及词袋损失表达式

步骤S4900，根据新的损失函数重新确定待定参数，完成本次对摘要生成模型的微调训练。

步骤S4900的执行方式可以参照前述的步骤S4500，在此不再赘述。

本实施例中，通过利用词袋损失表达式重新对摘要生成模型进行微调训练，可以提升训练得到的摘要生成模型所生成的文档摘要的多样性，而且，通过本实施例训练得到的摘要生成模型，可以生成表达正确、总结良好、但是和参考摘要的词序不一样的文档摘要。

在一个实施例中，本发明的方法还可以包括如下步骤：

提供用于设置摘要生成模型的应用场景的设置入口；获取通过该设置入口输入的应用场景。

具体的，用户可以根据自身需求来确定摘要生成模型的具体应用场景，并通过该设置入口输入应用场景。该应用场景例如可以是任意需要生成文档摘要的场景。

在此基础上，步骤S4100则可以进一步为：根据输入的应用场景，获取相应的训练样本。

这样，通过与输入的应用场景匹配的训练样本对摘要生成模型进行训练，可以使得训练得到的摘要生成模型能够适用于所输入的应用场景。

在一个实施例中，本发明的方法还可以包括如下步骤：

确定训练后的摘要生成模型所适用的应用场景；查找与该应用场景相匹配的应用项目；将训练后的摘要生成模型输入至该应用项目。

在本实施例中，通过将训练后的摘要生成模型输入至与其所适用的应用场景相匹配的应用项目，以在相应的应用项目中利用训练后的摘要生成模型对该应用项目中的目标文档进行处理，得到对应的文档摘要。

在一个实施例中，目标文档、根据该目标文档生成的文档摘要、训练样本中的文档和参考摘要的语言类型相同，该语言类型例如可以但不限于是中文。

在一个实施例中，待处理的目标文档可以是游记、文章、新闻或者是产品说明书等。对应的，生成的文档摘要可以是游记摘要、文章摘要、新闻摘要或者是产品说明书摘要。

<第二实施例>

根据图5所示，本实施例的摘要生成模型的训练方法可以包括如下步骤S5100～S5500：

步骤S5100，获取多个训练样本。

其中，每个训练样本包括一篇文档及对应的参考摘要，参考摘要包括多个参考单词。本实施例中的单词可以是一个字、词汇或者是标点。

本实施例中的训练样本与前述实施例步骤S4100中的训练样本可以相同，也可以不同。

步骤S5200，分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式。

本实施例中的摘要生成模型，可以是经过上述实施例训练得到的摘要生成模型，也可以是通过其他方式训练得到的摘要生成模型。

该步骤S5200的执行方式可以参照前述的步骤S4600，在此不再赘述。

步骤S5300，分别根据每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式，得到每个训练样本对应的词袋损失表达式。

该步骤S5300的执行方式可以参照前述的步骤S4700，在此不再赘述。

步骤S5400，根据每个训练样本对应的词袋损失表达式，构建新的损失函数。

该步骤S5400的执行方式可以参照前述的步骤S4800，在此不再赘述。

步骤S5500，根据新的损失函数重新确定待定参数，完成对摘要生成模型的微调训练。

该步骤S5500的执行方式可以参照前述的步骤S4500或步骤S4900，在此不再赘述。

<例子1>

以下将结合图6进一步说明通过第一实施例训练摘要生成模型、来生成文档摘要的方法。步骤S6001，获取多个训练样本。

本实施例的训练样本包括一篇文档及对应的参考摘要，每个参考摘要中包括多个参考单词，每个参考单词可以具有在对应训练样本中的词序。

步骤S6002，分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个参考摘要中每个参考单词在对应解码时刻的概率分表达式。

在本轮训练摘要生成模型过程中的训练样本数量为N的情况下，可以设置摘要生成模型的待定参数为X，第n个训练样本的参考摘要中第t个参考单词在对应的解码时刻的概率分表达式，可以表示为：P_n,t(X)，n∈[1，N]。

步骤S6003，分别根据每个训练样本的参考摘要中的首个参考单词在对应解码时刻的概率分表达式，得到每个首个参考单词对应的解码时刻的设定字典单词的概率。

第n个训练样本的参考摘要中首个参考单词在对应的解码时刻的概率分表达式可以表示为P_n,1(X)，n∈[1，N]。

步骤S6004，分别确定每个首个参考单词对应的解码时刻，概率最大的设定数量个设定字典单词是否命中对应的首个参考单词，得到每个首个参考单词的命中结果。

步骤S6005，分别根据每个首个参考单词的命中结果，得到每个训练样本的惩罚因子。

如果第n个训练样本的参考摘要的首个参考单词的命中结果为是，则将第n个训练样本的惩罚因子设置为设定值0。

如果第n个训练样本的参考摘要的首个参考单词的命中结果为否，第n个训练样本的参考摘要的首个参考单词的在对应解码时刻的概率分表达式表示为P_n,1(X)，那么，第n个训练样本的惩罚因子可以设置为-log P_n,1(X)，n∈[1，N]。

步骤S6006，分别根据每个训练样本中的每个参考单词在对应的解码时刻的概率分表达式确定每个训练样本对应的损失项。

第n个训练样本对应的损失项可以为：

步骤S6007，根据预设的权重，分别对每个训练样本对应的损失项和惩罚因子进行加权求和，得到每个训练样本对应的初始损失表达式。

可以将损失项的权重设置为λ₁，将惩罚因子的权重设置为λ₂，得到第n个训练样本对应的初始损失表达式可以表示为：

步骤S6008，对每个训练样本的初始损失表达式进行求和，得到损失函数。

损失函数可以表示为

步骤S6009，根据该损失函数确定待定参数，完成本轮对该摘要生成模型的训练。

步骤S6010，获取待处理的目标文档。

步骤S6011，利用通过步骤S6001～S6009训练得到的摘要生成模型对目标文档进行处理，得到对应的文档摘要。

<例子2>

例子2在例子1的基础上，说明解决例子1中得到的摘要生成模型能够生成的文档摘要可能会比较单一的问题的一种实施步骤，参照图7所示，可以包括：

步骤S7001，分别根据每个训练样本，得到每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式。

第n个训练样本中的第t(t∈[1，T])个参考单词在第n个训练样本的第i(i∈[1，T])个解码时刻的概率分表达式可以表示为P_n,t,i。

步骤S7002，分别对每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式求和，得到每个训练样本中的每个参考单词对应的概率和表达式。

第n个训练样本中的第t(t∈[1，T])个参考单词在第n个训练样本对应的概率和表达式可以表示为：

步骤S7003，分别根据每个训练样本中的每个参考单词对应的概率和表达式，得到每个训练样本对应的词袋损失表达式。

第n个训练样本的词袋损失表达式可以表示为：

步骤S7004，根据预设的权重，分别对每个训练样本对应的词袋损失表达式、及例子1中步骤S5007得到的每个训练样本的初始损失表达式进行加权求和，得到每个训练样本的新的损失表达式。

可以将初始损失表达式的权重设置为λ₃，将词袋损失表达式的权重设置为λ₄，第n个训练样本的新的损失表达式可以表示为：

步骤S7005，对每个训练样本的新的损失表达式进行求和，得到新的损失函数。

新的损失函数可以表示为

步骤S7006，根据新的损失函数重新确定待定参数，完成本次对摘要生成模型的微调训练。

<例子3>

以下将结合图8进一步说明通过第二实施例训练摘要生成模型、来生成文档摘要的方法。

步骤S8001，获取多个训练样本。

本实施例的训练样本包括一篇文档及对应的参考摘要，每个参考摘要中包括多个参考单词，每个参考单词可以具有在对应训练样本中的词序，也可以不具有词序。

步骤S8002，分别根据每个训练样本，以摘要生成模型的待定参数为变量，得到每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式。

步骤S8003，分别对每个训练样本中的每个参考单词在对应训练样本的每个解码时刻的概率分表达式求和，得到每个训练样本中的每个参考单词对应的概率和表达式。

步骤S8004，分别根据每个训练样本中的每个参考单词对应的概率和表达式，得到每个训练样本对应的词袋损失表达式。

第n个训练样本的词袋损失表达式可以表示为：

步骤S8005，对每个训练样本对应的词袋损失表达式求和，得到新的损失函数。

新的损失函数可以表示为

步骤S8006，根据新的损失函数重新确定待定参数，完成本次对摘要生成模型的微调训练。

步骤S8007，获取待处理的目标文档。

步骤S8008，利用通过步骤S8001～S8006训练得到的摘要生成模型对目标文档进行处理，得到对应的文档摘要。

<文档摘要的生成装置实施例>

在本实施例中，提供一种文档摘要的生成装置9000，如图9所示，包括文档获取模块9100、模型获取模块9200和文档处理模块9300。该文档获取模块9100用于获取待处理的目标文档；该模型获取模块9200用于获取用于处理目标文档的摘要生成模型；该文档处理模块9300用于利用摘要生成模型对目标文档进行处理，得到对应的文档摘要。

在第一个实施例中，模型获取模块9200获取待处理的目标文档的方法包括：

获取多个训练样本，其中，每个训练样本包括一篇文档及对应的参考摘要，参考摘要为多个参考单词构成的序列；

根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数；并依据该损失函数确定待定参数。

在一个实施例中，分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子可以包括：

在一个实施例中，如果首个参考单词的命中结果为是，则将对应训练样本的惩罚因子设置为设定值；

在一个实施例中，根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数还可以包括：

根据每个训练样本的初始损失表达式，得到损失函数。

在一个实施例中，依据该损失函数确定待定参数还可以包括：

设置待定参数的初始值；

将设置初始值后的待定参数代入损失函数中，进行迭代处理；

当迭代处理得到的待定参数符合收敛条件时，终止迭代处理，确定待定参数的取值；否则，继续迭代处理。

在一个实施例中，收敛条件包括：

迭代处理的次数达到预设的次数阈值；和/或，

将迭代处理得到的待定参数代入损失函数，得到的训练结果值小于或等于预设的结果阈值。

在一个实施例中，训练得到的摘要生成模型可以用于生成待处理的目标文档的摘要。

在一个实施例中，该模型获取模块9200还可以包括：

根据损失函数和每个训练样本对应的词袋损失表达式，构建新的损失函数；

根据新的损失函数重新确定待定参数，完成对摘要生成模型的微调训练。

在一个实施例中，分别根据每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式，得到每个训练样本对应的词袋损失表达式还可以包括：

在一个实施例中，该模型获取模块9200还可以包括：

用于根据预设的训练周期，执行训练摘要生成模型的步骤的模块。

在第二个实施例中，模型获取模块9200获取待处理的目标文档的方法包括：

获取多个训练样本，其中，每个训练样本包括一篇文档及对应的参考摘要，参考摘要包括多个参考单词；

根据每个训练样本对应的词袋损失表达式，构建新的损失函数；并根据新的损失函数重新确定待定参数。

本领域技术人员应当明白，可以通过各种方式来实现文档摘要的生成装置9000。例如，可以通过指令配置处理器来实现文档摘要的生成装置9000。例如，可以将指令存储在ROM中，并且当启动设备时，将指令从ROM读取到可编程器件中来实现文档摘要的生成装置9000。例如，可以将文档摘要的生成装置9000固化到专用器件(例如ASIC)中。可以将文档摘要的生成装置9000分成相互独立的单元，或者可以将它们合并在一起实现。文档摘要的生成装置9000可以通过上述各种实现方式中的一种来实现，或者可以通过上述各种实现方式中的两种或更多种方式的组合来实现。

在本实施例中，文档摘要的生成装置9000可以具有多种实现形式，例如，文档摘要的生成装置9000可以是任何的提供网络访问服务的软件产品或者应用程序中运行的功能模块，或者是这些软件产品或者应用程序的外设嵌入件、插件、补丁件等，还可以是这些软件产品或者应用程序本身。

<电子设备>

在本实施例中，还提供一种电子设备1000。该电子设备1000可以是图1所示的服务器1100或如图2所示的终端设备1200。

在一方面，该电子设备1000可以包括前述的文档摘要的生成装置8000，用于实施本发明任意实施例的文档摘要的生成方法；或者包括前述的文档摘要的生成装置9000，用于实施本发明任意实施例的文档摘要的生成方法。

在另一方面，如图10所示，电子设备1000还可以包括处理器1300和存储器1400，该存储器1400用于存储可执行的指令；该处理器1300用于根据指令的控制运行电子设备1000执行根据本发明任意实施例的文档摘要的生成方法。

在本实施例中，该电子设备1000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等设备。例如，电子设备1000可以是安装有提供显示服务的应用的智能手机。

<计算机可读存储介质>

在本实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实现如本发明任意实施例的文档摘要的生成方法。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims

1.一种文档摘要的生成方法，其中，包括：

获取待处理的目标文档；

获取用于处理所述目标文档的摘要生成模型；

其中，所述摘要模型通过以下方法训练得到：

2.根据权利要求1所述的方法，其中，所述分别根据每个参考摘要中的首个参考单词在对应的解码时刻的概率分表达式，得到每个训练样本对应的惩罚因子的步骤包括：

3.根据权利要求2所述的方法，其中，

如果首个参考单词的命中结果为是，则将对应训练样本的惩罚因子设置为设定值；

4.根据权利要求1所述的方法，其中，所述根据每个参考单词在对应解码时刻的概率分表达式、及每个训练样本对应的惩罚因子，构建损失函数的步骤包括：

根据每个训练样本的初始损失表达式，得到所述损失函数。

5.根据权利要求1所述的方法，其中，所述依据所述损失函数确定所述待定参数的步骤包括：

设置所述待定参数的初始值；

6.根据权利要求5所述的方法，其中，所述收敛条件包括：

所述迭代处理的次数达到预设的次数阈值；和/或，

7.根据权利要求1所述的方法，其中，

训练后的摘要生成模型用于生成待处理的目标文档的摘要。

8.根据权利要求1至7中任一项所述的方法，其中，所述依据所述损失函数确定所述待定参数之后还包括：

9.根据权利要求8所述的方法，其中，所述分别根据每个训练样本中每个参考单词在对应训练样本的每个解码时刻的概率分表达式，得到每个训练样本对应的词袋损失表达式的步骤包括：

10.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：

提供用于设置摘要生成模型的应用场景的设置入口；

获取通过所述设置入口输入的应用场景；

11.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：

确定训练后的摘要生成模型所适用的应用场景；

查找与所述应用场景相匹配的应用项目；

将训练后的摘要生成模型输入至所述应用项目。

12.根据权利要求1所述的方法，其中，所述目标文档、所述文档摘要、和所述训练样本的语言类型相同。

13.根据权利要求12所述的方法，其中，所述语言类型为中文。

14.根据权利要求1所述的方法，其中，所述目标文档为游记、文章、新闻或者产品说明书。

15.一种文档摘要的生成方法，其中，包括：

获取待处理的目标文档；

获取用于处理所述目标文档的摘要生成模型；

其中，所述摘要模型通过以下方法训练得到：

16.一种文档摘要的生成装置，其中，包括：

文档获取模块，用于获取待处理的目标文档；

其中，所述模型获取模块还用于：

或者，所述模型获取模块还用于：

17.一种电子设备，其中，包括：

根据权利要求16所述的装置；或者，

处理器和存储器，所述存储器用于存储指令，所述指令用于控制所述处理器执行根据权利要求1至15中任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至15中任一项所述的方法。