CN111460109B - 摘要及对话摘要生成方法和装置 - Google Patents

Abstract

本发明公开了一种摘要及对话摘要生成方法和装置。本发明公开的摘要生成方法包括：获取待生成摘要的文本及文本的词向量序列；根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；根据各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据输出词语生成文本对应的摘要。本发明公开的对话摘要生成方法包括：获取待生成对话摘要的对话文本；根据对话文本，确定多个子文本；利用本发明的摘要生成方法分别生成各个子文本对应的子摘要；将各个子摘要组合为对话文本对应的对话摘要。根据本发明实施例，能够准确、高效、灵活地生成文本的摘要。

Description

摘要及对话摘要生成方法和装置

技术领域

本发明属于信息处理技术领域，尤其涉及一种摘要及对话摘要生成方法和装置。

背景技术

在文字对话过程中，用户通常需要浏览全部的历史对话记录，来回顾历史对话内容，以基于历史对话内容继续进行文字对话，从而更好地进行沟通。但是，这种通过浏览全部的历史对话记录来回顾历史对话内容的方法，会导致对话的质量和效率较低，为用户带来不良的文字对话体验。

为了提高对话的质量和效率，需要提取历史对话记录的对话摘要，使用户能够快速回顾历史对话内容。

已有的解决方案中，通常采用抽取式的摘要提取方法来提取历史对话记录的对话摘要。抽取式的摘要提取方法的原理为，从历史对话记录中选择重要的文本段落，并将选择的文本段落重新组织，以形成对话摘要。但是，由于这种方法需要通过选择大段的文本段落来保证对话摘要的基本语法和准确性，使得其缺乏灵活性，无法实现对历史对话记录的解释、概括和合并。另外，这种方法一般多考虑单词的词频，而并不考虑历史对话记录的语义，不符合用户基于历史对话记录人工总结摘要的习惯。因此，利用抽取式的摘要提取方法提取的对话摘要的提取质量和内容流畅度都差强人意。

发明内容

本发明实施例提供一种摘要及对话摘要生成方法和装置，能够准确、高效、灵活地生成文本的摘要。

一方面，本发明实施例提供一种摘要生成方法，包括：

获取待生成摘要的文本及文本的词向量序列；

根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；

根据各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据输出词语生成文本对应的摘要。

另一方面，本发明实施例提供了一种对话摘要生成方法，包括：

获取待生成对话摘要的对话文本；

根据对话文本，确定多个子文本；

利用如上所述的摘要生成方法分别生成各个子文本对应的子摘要；

将各个子摘要组合为对话文本对应的对话摘要。

又一方面，本发明实施例提供了一种摘要生成装置，装置包括：

文本获取单元，其配置为获取待生成摘要的文本及文本的词向量序列；

概率计算单元，其配置为根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；

摘要生成单元，其配置为根据各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据输出词语生成文本对应的摘要。

再一方面，本发明实施例提供了一种对话摘要生成装置，装置包括：

对话获取单元，其配置为获取待生成对话摘要的对话文本；

对话处理单元，其配置为根据对话文本，确定多个子文本；

如上所述的摘要生成装置，其配置为分别生成各个子文本对应的子摘要；

摘要处理单元，其配置为将各个子摘要组合为对话文本对应的对话摘要。

本发明实施例的摘要及对话摘要生成方法和装置，能够获取文本的词向量序列，利用词向量序列确定词袋中的各个词语在各个输出时刻的输出概率，从而确定各个输出时刻的输出词语，以生成文本对应的摘要，能够准确、高效、灵活地逐词生成文本对应的摘要。另外，由于本发明实施例中使用的词袋中的词语包括文本以外的词语，因此，可以通过对文本的解释、概括和合并来生成摘要，更符合用户人工总结摘要的习惯，从而提高摘要的提取质量和内容流畅度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的摘要生成方法的流程示意图；

图2是本发明一个实施例提供的输出概率的确定方法的流程示意图；

图3是本发明另一个实施例提供的输出概率的确定方法的流程示意图；

图4是本发明又一个实施例提供的输出概率的确定方法的流程示意图；

图5是本发明另一个实施例提供的摘要生成方法的流程示意图；

图6是本发明一个实施例的摘要生成装置的结构示意图；

图7是本发明一个实施例的概率计算单元的结构示意图；

图8是本发明一个实施例的人工标注摘要的结果示意图；

图9是本发明一个实施例提供的对话摘要生成方法的流程示意图；

图10是本发明一个实施例的对话摘要生成装置的结构示意图；

图11是本发明一个实施例的对话摘要生成系统的界面示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供了一种摘要及对话摘要生成方法和装置。

本发明实施例是基于生成式的摘要提取方法的原理实现的。其中，生成式的摘要提取方法指的是：应用自然语言处理算法，通过转述、同义替换、句子缩写等技术，生成更凝练简洁的摘要。因此，相对于抽取式的摘要提取方法，生成式的摘要提取方法更加灵活，生成的摘要内容更加贴近人类习惯。

下面首先对本发明实施例所提供的摘要生成方法进行介绍。

图1示出了本发明一个实施例提供的摘要生成方法的流程示意图。如图1所示，该摘要生成方法包括：

S110、获取待生成摘要的文本及文本的词向量序列；

S120、根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；

S130、根据各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据输出词语生成文本对应的摘要。

因此，本发明实施例能够获取文本的词向量序列，利用词向量序列确定词袋中的各个词语在各个输出时刻的输出概率，从而确定各个输出时刻的输出词语，以生成文本对应的摘要，能够准确、高效、灵活地逐词生成文本对应的摘要。

需要说明的是，本发明实施例所述的词袋为多个词语的集合，词袋中的原有词语可以完全包括待生成摘要的文本中的词语，也可以不完全包括。若词袋中的原有词语不完全包括文本中的词语时，可以将词袋中不包括的词语补充至词袋中作为本次生成摘要的临时词语，这样，在利用词袋生成文本的摘要时，即可以利用文本中已有的词语，也可以利用文本中没有的词语，从而根据文本的语义来灵活地生成摘要。

由于本发明实施例中使用的词袋中的词语包括文本以外的词语，因此，可以通过对文本的解释、概括和合并来生成摘要，更符合用户人工总结摘要的习惯，从而提高摘要的提取质量和内容流畅度。

在本发明实施例的步骤S110中，可以获取待生成摘要的文本，并对该文本进行分词得到多个分词词语，这些分词词语按输入的时间顺序排列，构成词向量序列。

图2示出了本发明一个实施例提供的输出概率的确定方法的流程示意图。如图2所示，步骤S120、根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率的具体方法可以包括：

S121、将词向量序列输入编码器，获得词向量序列对应的第一隐含状态序列；

S122、将第一隐含状态序列输入解码器，解码摘要对应的第二隐含状态序列；

S123、根据第一隐含状态序列和第二隐含状态序列，确定词袋中的各个词语在多个输出时刻的输出概率。

在本发明实施例所述的编码器用于将词向量序列编码为隐含状态序列{h_i}。其中，编码器可以利用RNN(循环神经网络)模型的各种变体形式，如双向长短期记忆网络(LSTM)模型，双向GRU(门控循环单元网络)模型，深层LSTM模型，深层双向LSTM模型、单层双向LSTM模型等。优选地，在综合考虑表达能力和复杂程度后，可以选择单层双向LSTM模型作为本发明实施例的编码器。

在本发明实施例步骤S121中，可以利用编码器将文本的对应的词向量序列(逐词读入文本)生成第一隐含状态序列{h_i}。其中，h_i是对应第i个分词词语的第一隐含状态向量，表示文本的首个分词词语至该分词词语的位置和文本的最后一个分词词语至该分词词语的位置的文字序列的语义压缩表示。假设输入的文本的原文的长度为L，则编码器的最后一个第一隐含状态向量h_L是对文本全部内容的语义表示，经线性变换可以作为解码器的初始的第二隐含状态向量s₀。

在本发明实施例所述的解码器用于在编码器读取整个文本的词向量序列后，开始输出用于生成摘要的第二隐含状态序列{s_t}。其中，解码器可以为采用单层单向LSTM模型。

在本发明实施例步骤S122中，在输出摘要的首个输出词语时，将特定的<开始>标志作为开始输出摘要的信号，以解码摘要的首个输出词语的第二隐含状态向量。其中，<开始>标志可以为0。在输出摘要的其他输出词语时，可以将该输出时刻的前一时刻的输出词语的词向量作为输入，以解码输出词语的第二隐含状态向量。

在本发明实施例的步骤S123中，可以利用各个输出时刻的前一时刻的输出词语的词向量，与第一隐含状态序列、所述第二隐含状态序列配合，计算出确定词袋中的各个词语在多个输出时刻的输出概率。

图3示出了本发明另一个实施例提供的输出概率的确定方法的流程示意图。如图3所示，步骤S123、根据第一隐含状态序列和第二隐含状态序列，确定词袋中的各个词语在多个输出时刻的输出概率的具体方法可以包括：

S210、根据各个输出时刻对应的第二隐含状态向量以及在各个输出时刻的前一时刻的输出词语的词向量，确定词向量序列在各个输出时刻对应的注意力分布；

S220、根据各个输出时刻对应的注意力分布和第一隐含状态序列，计算文本在各个输出时刻的语境向量；

S230、根据各个输出时刻的语境向量和第二隐含状态序列，确定词袋中的各个词语在多个输出时刻的输出概率。

在本发明实施例的步骤S210中，在解码过程中解码器生成的第二隐含状态向量可以被用来计算注意力分布，注意力分布式是文本中所有分词词语的概率值(即注意力权重)的分布。直观来说，根据注意力分布确定应该利用文本的哪个位置来生成摘要的下一个输出词语，文本中概率值大的分词词语会对解码器当前输出时刻要生成的输出词语更有帮助。

在本发明实施例中，可以利用解码过程中每一输出时刻t的第二隐含状态向量s_t和前一时刻预测的输出词语的词向量，生成文本的概率分布a^t(注意力分布)，其中，

a^t＝softmax(e^t)

其中，tanh为双曲正切函数，softmax为计算概率分布的函数，W_h，W_s和b_attn是利用模型训练得到的参数。

在本发明实施例的步骤S220中，在t时刻获得了解码器在文本中所有分词词语的概率分布后，可以对编码器输出的所有第一隐含状态序列{h_i}做加权平均，获得对话文本的原文的动态表示，称为语境向量其中，/>

在本发明实施例的步骤S230中，语境向量和解码器在t时刻的第二隐含状态向量s_t，可以共同决定t时刻预测在词袋中的概率分布P_vocab如下：

其中，P_vocab是大小为词袋(vocabulary)的向量，P_vocab(w)是词袋中的词语w的输出概率，符号V′、V、b和b′分别是利用模型训练得到的参数。

在本发明实施例的步骤S130中，根据各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，包括：

选取词袋中各个输出时刻的输出概率最大的词语作为各个输出时刻的输出词语。即输出概率最大的词语可以作为解码器在t时刻生成的输出词语。

图4示出了本发明又一个实施例提供的输出概率的确定方法的流程示意图。如图4所示，步骤S120、根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率，还包括：

S124、根据语境向量、第二隐含状态序列和在各个输出时刻的前一时刻的输出词语的词向量，计算各个输出时刻的词语生成概率；

S125、根据各个输出时刻的词语生成概率和注意力分布，修正词袋中的各个词语在各个输出时刻的输出概率。

为了使生成的摘要可以准确再现文本的事实，即一方面保持抽象的摘要生成能力，另一方面可以直接从词袋中包括的文本的分词词语中确定输出词语，提高摘要的准确度和缓解未登录词问题。

在本发明实施例的步骤S124中，可以在解码过程中动态计算词语生成概率p_gen，并基于词语生成概率p_gen修正词语w的输出概率，修正后的输出概率可以为预测概率P(w)，其中，

其中，和b_ptr是利用模型训练得到的参数，词语w包括文本中的分词词语和根据注意力权重分布从词袋中选择的输出词语，x_t为前一时刻预测的输出词语的词向量。

为了更好的生成摘要，可以直接利用文本中的分词词语w，也可以自动根据文本生成分词词语以外的其他词语w，通过词语生成概率p_gen可以把两种方法软性地结合起来，更加的灵活，最终得到对词语w的预测概率P(w)。因此，在预测t时刻输出的输出词语是预测概率最大的词语w，直到预测的输出词语为<结束>标志时为止。

在本发明实施例中，预测概率可以使生成的摘要准确地再现文本的事实细节，并且尽量减少重复内容。

图5示出了本发明另一个实施例提供的摘要生成方法的流程示意图。如图5所示，该摘要生成方法还包括：

S140、确定摘要中的各个输出词语对应的覆盖率向量；

S150、根据覆盖率向量，确定摘要的损失函数，以优化计算输出概率的参数。

在本发明实施例的步骤S140中，确定摘要中的各个输出词语对应的覆盖率向量的公式如下：

以记录解码过程中每个时刻产生的注意力分布，向量c^t会影响下一时刻输出的输出词语的可能性，从而避免摘要中重复出现同一词语。

在本发明实施例的步骤S150中，根据覆盖率向量确定摘要的损失函数的公式为：

其可以将向量c^t用在损失函数的正则化部分，对重复出现的词语进行惩罚。当损失函数负荷预设的损失值时，利用模型训练得到的计算输出概率的参数为最优参数。

图6示出了本发明一个实施例的摘要生成装置的结构示意图。如图6所示，该摘要生成装置包括：

文本获取单元310，其配置为获取待生成摘要的文本及文本的词向量序列；

概率计算单元320，其配置为根据词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；

摘要生成单元330，其配置为根据各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据输出词语生成文本对应的摘要。

因此，本发明实施例能够获取文本的词向量序列，利用词向量序列确定词袋中的各个词语在各个输出时刻的输出概率，从而确定各个输出时刻的输出词语，以生成文本对应的摘要，能够准确、高效、灵活地逐词生成文本对应的摘要。

需要说明的是，本发明实施例所述的词袋为多个词语的集合，词袋中的原有词语可以完全包括待生成摘要的文本中的词语，也可以不完全包括。若词袋中的原有词语不完全包括文本中的词语时，可以将词袋中不包括的词语补充至词袋中作为本次生成摘要的临时词语，这样，在利用词袋生成文本的摘要时，即可以利用文本中已有的词语，也可以利用文本中没有的词语，从而根据文本的语义来灵活地生成摘要。

由于本发明实施例中使用的词袋中的词语包括文本以外的词语，因此，可以通过对文本的解释、概括和合并来生成摘要，更符合用户人工总结摘要的习惯，从而提高摘要的提取质量和内容流畅度。

图7示出了本发明一个实施例的概率计算单元的结构示意图。如图7所示，概率计算单元320可以包括指针生成网络，指针生成网络可以包括：编码器410、解码器420、注意力模块430、指针模块440和覆盖率模块450。

编码器410用于将对话文本的原文编码为隐含状态序列{h_i}，可以将文本对应的词向量序列(逐词读入文本)生成一个第一隐含状态序列{h_i}。其中，h_i是对应第i个分词词语的第一隐含状态向量，表示文本的首个分词词语至该分词词语的位置和文本的最后一个分词词语至该分词词语的位置的文字序列的语义压缩表示。假设输入的文本的长度为L，则编码器410的最后一个第一隐含状态行李h_L是对文本全部内容的语义表示，经线性变换可以作为解码器420的初始的第二隐含状态向量s₀。

解码器420用于解码以生成解码的第二隐含状态序列{s_t}。在编码器410读取整个文本的词向量序列后，解码器420开始输出摘要的输出词语对应的词序列。在输出摘要的首个输出词语时，将特定的<开始>标志作为开始输出摘要的信号，以解码摘要的首个输出词语的第二隐含状态向量。在输出摘要的其他输出词语时，可以将摘要中该输出词语的前一个输出词语的词向量作为输入，以解码该输出词语的第二隐含状态向量。例如，输入摘要中t-1时刻预测的输出词语(如“联系”)的词向量，解码器420的t时刻可以输出一个解码的第二隐含状态向量s_t，然后可以进一步利用该第二隐含状态向量s_t生成t时刻预测的输出词语(如“咨询”)。

在解码过程中生成的解码器420的第二隐含状态向量还可以被用来计算注意力分布，注意力分布式是文本中所有分词词语的概率值(即注意力权重)的分布。直观来说，根据注意力分布确定应该利用文本的哪个位置来生成摘要的下一个输出词语，文本中概率值大的分词词语会对解码器420当前输出时刻要生成的输出词语更有帮助。

注意力模块430用于利用解码过程中每一时刻t的第二隐含状态向量s_t和前一时刻预测的输出词语的词向量，生成文本的概率分布a^t(注意力分布)，同时生成语境向量其中，

a^t＝softmax(e^t)

其中，tanh为双曲正切函数，softmax为计算概率分布的函数，W_h，W_s和b_attn是利用模型训练得到的参数。

在解码器420解码过程的t时刻，根据解码器420生成的第二隐含状态向量s_t和文本中第i个分词词语的第一隐含状态向量h_i，可以得到文本中位置i的分词词语(如第一个分词词语“您好”)的概率值(即注意力权重)，重复该过程可以获得文本中所有分词词语对应的概率分布a^t。

在t时刻获得了解码器420在文本中所有分词词语的概率分布后，可以对编码器410输出的第一隐含状态序列{h_i}中所有的第一隐含状态向量做加权平均，获得文本的动态表示，称为语境向量即/>

其中，语境向量和解码器420在t时刻的第二隐含状态向量s_t，可以共同决定t时刻预测在词袋中的概率分布P_vocab如下：

其中，P_vocab是大小为词袋(vocabulary)的向量，P_vocab(w)是词袋中的词语w生成的输出概率，符号V′、V、b和b′分别是利用模型训练得到的参数。

在本发明实施例中，可以选取词袋中输出概率最大的词语作为解码器420在t时刻生成的输出词语，如“咨询”。

为了使生成的摘要可以准确再现文本的事实，即一方面保持抽象的摘要生成能力，另一方面可以直接从词袋中包括的文本的分词词语中确定输出词语，提高摘要的准确度和缓解未登录词问题。指针模块440用于在解码过程中动态计算词语生成概率p_gen，并基于词语生成概率p_gen修正词语w的输出概率，修正后的输出概率可以为预测概率P(w)，其中，

其中，和b_ptr是利用模型训练得到的参数，词语w包括文本中的分词词语和根据注意力权重分布从词袋中选择的输出词语，x_t为前一时刻预测的输出词语的词向量。

为了更好的生成摘要，可以直接利用文本中的分词词语w，也可以自动根据文本生成分词词语以外的其他词语w，通过词语生成概率p_gen可以把两种方法软性地结合起来，更加的灵活，最终得到对词语w的预测概率P(w)。因此，在预测t时刻输出的输出词语是预测概率最大的词语w，直到预测的输出词语为<结束>标志时为止。

在本发明实施例中，预测概率可以使生成的对话摘要准确地再现对话文本的事实细节，并且尽量减少重复内容。其中，覆盖率模块450用于生成覆盖率向量c^t，如下：

以记录解码过程中每个时刻产生的注意力分布，向量c^t会影响下一时刻输出的输出词语的可能性，从而避免摘要中重复出现同一词语。

本发明实施例的概率计算单元320还能够利用训练语料库，将训练语料库中的训练文本和对应的摘要作为训练样本，对指针生成网络进行训练。本发明实施例的概率计算单元320还可以根据覆盖率向量确定摘要的损失函数，并利用损失函数进一步对指针生成网络进行模型训练，以对优化计算输出概率的参数。

其中，损失函数的公式为：

其可以将向量c^t用在损失函数的正则化部分，对重复出现的词语进行惩罚。当损失函数负荷预设的损失值时，利用模型训练得到的计算输出概率的参数为最优参数。

在本发明实施例中，训练语料库的具体构建方法可以包括：采集训练文本，对训练文本进行人工标注，得到对应的摘要。

在本发明实施例中，训练语料库中的训练文本的来源可以是各种应用场景下的文字对话记录。其中，文字对话记录可以包括：第一操作者与第二操作者的对话记录。其中，第一操作者和第二操作者可以为机器人也可以为用户。

以训练文本的来源是电商、保险等应用场景下的客服与客户之间的文字对话记录为例。文字对话记录可以包括客服和客户之间的多轮问答文本消息，并且文字对话记录对具体的对话内容形式并没有要求和规定，即可以包括客服连续多次提问的文本消息，也可以包括客户连续多次回答的文本消息。

当文字对话记录包括第一操作者与第二操作者的文字对话记录时，训练文本可以分别包括：第一操作者的文本和第二操作者的文本，训练文本对应的摘要可以分别包括：第一操作者的摘要以及第二操作者的摘要。

继续以上述的客服与客户之间的文字对话记录为例。其中，对话角色可以包括作为第一操作者的客服和作为第二操作者的客户，如果将客服的文本和客户的文本分别生成对应的摘要，将会使客服人员回顾文字对话记录时更加了解客户的需求。因此，在构建训练语料库中的文本时，可以将不同的对话角色的文本分别标注出来，将相同对话角色的文本合并，进而可以构成作为第一操作者的文本的客服文本和作为第二操作者的文本的客户文本。

此时，为了能够为模型训练提供指导，需要对不同对话角色对应的文本进行人工标注，分别标注出作为第一操作者的摘要的客服摘要和作为第二操作者的客户摘要。

图8示出了本发明一个实施例的人工标注摘要的结果示意图。如图8所示，S代表客服，C代表客户，“C：用户来电咨询购票问题，S：帮忙联系咨询”是基于文字对话记录人工标注的摘要。

由于每一个文字对话记录中都有标注好的第一操作者的文本及对应的第一操作者的摘要、第二操作者的文本及第二操作者的摘要。因此，在进行模型训练时，可以根据文字对话场景，对不同的角色分别进行模型训练，例如基于所有的第一操作者的文本及对应的第一操作者的摘要进行模型训练，用于根据第一操作者的文本生成对应的摘要，以及基于所有的第二操作者的文本及对应的第二操作者的摘要进行模型训练，用于根据第二操作者的文本生成对应的摘要。

当训练文本的来源是一篇文章或一个文章段落对应的文本时，也可以利用同样的方法进行模型训练，只是在标注文本对应的摘要时，无需划分对话角色而已。

图9示出了本发明一个实施例提供的对话摘要生成方法的流程示意图。如图9所示，该对话摘要生成方法包括：

S510、获取待生成对话摘要的对话文本；

S520、根据对话文本，确定多个子文本；

S530、利用本发明实施例的摘要生成方法分别生成各个子文本对应的子摘要；

S540、将各个子摘要组合为对话文本对应的对话摘要。

即本发明实施例在生成待生成对话摘要的对话文本对应的对话摘要时，可以将对话文本根据不同对话角色分为多个子文本，每个子文本即为对应的对话角色的全部文本消息，然后分别生成各个子文本对应的子摘要，最后将各个对话角色的子摘要合并，即可生成待生成对话摘要的对话文本对应的对话摘要。

因此，本发明实施例可以通过对文本的解释、概括和合并来生成摘要，能够准确、高效、灵活地逐词生成多个子文本对应的子摘要，以生成对话文本对应的对话摘要，使对话摘要具有较高的提取质量和内容流畅度。同时，本发明实施例可以通过将对话文本进行压缩、概括和总结，抽象成简短的对话摘要，帮助客服(或商家)尽快了解文字对话记录的内容和具体服务事项，快速定位客户的关切点和需求，提高客服的服务效率和服务质量，提升客户的满意度和忠诚度。

图10示出了本发明一个实施例的对话摘要生成装置的结构示意图。如图10所示，该对话摘要生成装置包括：

对话获取单元610，其配置为获取待生成对话摘要的对话文本；

对话处理单元620，其配置为根据对话文本，确定多个子文本；

摘要生成装置630，其配置为分别生成各个子文本对应的子摘要；

摘要处理单元640，其配置为将各个子摘要组合为对话文本对应的对话摘要。

因此，本发明实施例可以通过对文本的解释、概括和合并来生成摘要，能够准确、高效、灵活地逐词生成多个子文本对应的子摘要，以生成对话文本对应的对话摘要，使对话摘要具有较高的提取质量和内容流畅度。同时，本发明实施例可以通过将对话文本进行压缩、概括和总结，抽象成简短的对话摘要，帮助客服(或商家)尽快了解文字对话记录的内容和具体服务事项，快速定位客户的关切点和需求，提高客服的服务效率和服务质量，提升客户的满意度和忠诚度。

图11示出了本发明一个实施例的对话摘要生成系统的界面示意图。如图11所示，基于本发明实施例的对话摘要生成方法建立的对话摘要生成系统700，可以包括客服对话记录展示界面710和系统后台管理界面720。其中，系统后台管理界面720包括模型训练设置界面721和客服管理界面722。

在本发明实施例中，客服对话记录界面710主要向客服展示文字对话记录对应的对话摘要，包括两种展示方法：按搜索的客户展示对话摘要以及按照时间来展示对话摘要。模型训练设置界面721能够便于系统管理员对根据指针生成网络训练生成模型的参数设置、根据指针生成网络训练生成模型的增量训练和数据的管理提供接口。客服管理界面722可以提供客服对生成的对话摘要的反馈和修正，帮助系统性能的改进和对话摘要生成效果的提升。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种摘要生成方法，其特征在于，包括：

获取待生成摘要的文本及所述文本的词向量序列；

根据所述词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；

根据所述各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据所述输出词语生成所述文本对应的摘要；

所述待生成摘要的文本为对话文本，所述对话文本包括多个子文本，所述各子文本的对话角色不同；

所述获取待生成摘要的文本及所述文本的词向量序列，包括：

获取各所述子文本的词向量序列；

所述根据所述词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率，包括：

针对每个子文本，根据所述子文本的词向量序列，确定词袋中的与所述子文本对应的各个词语在多个输出时刻的输出概率；

所述根据所述各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据所述输出词语生成所述文本对应的摘要，包括：

根据与所述子文本对应的各个词语在多个输出时刻的输出概率，确定与所述子文本对应的各个输出时刻的输出词语，以根据所述输出词语生成所述子文本对应的摘要；

将各个子摘要组合为所述对话文本对应的对话摘要。

2.根据权利要求1所述的摘要生成方法，其特征在于，所述根据所述词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率，包括：

将所述词向量序列输入编码器，获得所述词向量序列对应的第一隐含状态序列；

将所述第一隐含状态序列输入解码器，解码所述摘要对应的第二隐含状态序列；

根据所述第一隐含状态序列和所述第二隐含状态序列，确定词袋中的各个词语在多个输出时刻的输出概率。

3.根据权利要求2所述的摘要生成方法，其特征在于，所述根据所述第一隐含状态序列和所述第二隐含状态序列，确定词袋中的各个词语在多个输出时刻的输出概率，包括：

根据各个输出时刻对应的第二隐含状态向量以及在各个输出时刻的前一时刻的输出词语的词向量，确定所述词向量序列在各个输出时刻对应的注意力分布；

根据各个输出时刻对应的注意力分布和所述第一隐含状态序列，计算所述文本在各个输出时刻的语境向量；

根据各个输出时刻的语境向量和所述第二隐含状态序列，确定词袋中的各个词语在多个输出时刻的输出概率。

4.根据权利要求3所述的摘要生成方法，其特征在于，所述根据所述词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率，还包括：

根据所述语境向量、所述第二隐含状态序列和在各个输出时刻的前一时刻的输出词语的词向量，计算各个输出时刻的词语生成概率；

根据所述各个输出时刻的词语生成概率和注意力分布，修正所述词袋中的各个词语在各个输出时刻的输出概率。

5.根据权利要求2所述的摘要生成方法，其特征在于，所述编码器至少包括双向LSTM模型、双向GRU模型、深层LSTM模型、深层双向LSTM模型和单层双向LSTM模型。

6.根据权利要求2所述的摘要生成方法，其特征在于，所述解码器至少包括单层单向LSTM模型。

7.根据权利要求1所述的摘要生成方法，其特征在于，所述根据所述各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，包括：

选取所述词袋中各个输出时刻的输出概率最大的词语作为各个输出时刻的输出词语。

8.根据权利要求1所述的摘要生成方法，其特征在于，所述根据所述输出词语生成所述文本对应的摘要后，还包括：

确定所述摘要中的各个输出词语对应的覆盖率向量；

根据所述覆盖率向量，确定所述摘要的损失函数，以优化计算所述输出概率的参数。

9.一种摘要生成装置，其特征在于，所述装置包括：

文本获取单元，其配置为获取待生成摘要的文本及所述文本的词向量序列；

概率计算单元，其配置为根据所述词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率；

摘要生成单元，其配置为根据所述各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据所述输出词语生成所述文本对应的摘要；

所述待生成摘要的文本为对话文本，所述对话文本包括多个子文本，所述各子文本的对话角色不同；

所述获取待生成摘要的文本及所述文本的词向量序列，包括：

获取各所述子文本的词向量序列；

所述根据所述词向量序列，确定词袋中的各个词语在多个输出时刻的输出概率，包括：

针对每个子文本，根据所述子文本的词向量序列，确定词袋中的与所述子文本对应的各个词语在多个输出时刻的输出概率；

所述根据所述各个词语在多个输出时刻的输出概率，确定各个输出时刻的输出词语，以根据所述输出词语生成所述文本对应的摘要，包括：

根据与所述子文本对应的各个词语在多个输出时刻的输出概率，确定与所述子文本对应的各个输出时刻的输出词语，以根据所述输出词语生成所述子文本对应的摘要；

将各个子摘要组合为所述对话文本对应的对话摘要。