CN110442706A

CN110442706A - 一种文本摘要生成的方法、系统、设备及存储介质

Info

Publication number: CN110442706A
Application number: CN201910645168.0A
Authority: CN
Inventors: 曾碧卿; 张敏
Original assignee: South China Normal University
Current assignee: South China Normal University
Priority date: 2019-07-17
Filing date: 2019-07-17
Publication date: 2019-11-12
Anticipated expiration: 2039-07-17
Also published as: CN110442706B

Abstract

本申请公开了一种文本摘要生成的方法，包括：对输入的文本序列进行词嵌入处理、局部注意力处理及卷积操作，得到文本序列的特征表达矩阵；将文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将输出结果作为文本序列的摘要。本申请令得到的文本序列的特征表达矩阵能更好的表达输入文本更深层次的隐藏特征，更进一步的提取了输入文本的特征，相对于现有技术本申请着重于之前解码步生成的文本信息，使得最终生成的摘要文本语义连贯，解决了现有技术存在的生成摘要语义无关、语句不通顺的问题。本申请同时还提供了一种文本摘要生成的系统、设备及计算机可读存储介质，具有上述有益效果。

Description

一种文本摘要生成的方法、系统、设备及存储介质

技术领域

本申请涉及文本摘要生成领域，特别涉及一种文本摘要生成的方法、系统、设备及计算机可读存储介质。

背景技术

随着信息技术的发展，目前比较流行的自动文本摘要方法大多基于深度学习实现，其中，以基于注意力机制的序列到序列(sequence-to-sequece， Seq2Sseq)模型(有时又被称为编码器-解码器模型、encoder-decoder模型)的生成式摘要方法尤为常见。由于该模型结合卷积神经网络(Convolutional Neural Network，CNN)或循环神经网络(Recurrent Neural Network，RNN) 和注意力机制，能更好地提取文本中蕴含的隐藏特征信息，相比传统自然语言处理方法有更明显的优势。

然而，现有的基于神经网络的文本摘要方法由于忽略了之前解码步生成的文本信息，从而导致生成摘要存在语义无关、语句不通顺的问题。

因此，如何避免生成的文本摘要存在语义无关、语句不通顺是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种文本摘要生成的方法、系统、设备及计算机可读存储介质，用于避免生成的文本摘要存在语义无关、语句不通顺。

为解决上述技术问题，本申请提供一种文本摘要生成的方法，该方法包括：

对输入的文本序列进行词嵌入处理，得到所述文本序列的词嵌入表示矩阵；

对所述词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵；

利用预设卷积神经网络对所述具有局部注意力权重的词嵌入表示矩阵进行卷积操作，得到所述文本序列的特征表达矩阵；

将所述文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将所述输出结果作为所述文本序列的摘要。

可选的，对所述词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵，包括：

根据公式计算文本序列长度为n的第i个词的加权词向量表示；

根据各所述加权词向量表示确定为所述具有局部注意力权重的词嵌入表示矩阵；

其中，s(i)为所述文本序列中第i个词的加权注意力分数，x_i为所述文本序列中第i个词的词嵌入表示。

可选的，利用预设卷积神经网络对所述具有注意力权重的词嵌入表示矩阵进行卷积操作，得到所述文本序列的特征表达矩阵，包括：

根据公式确定根据第j个卷积核计算得到的词x_i:i+h-1的向量表示；

根据各所述向量表示确定C_j＝[c_1j,c_2j,...,c_nj]为根据所述第j个卷积核得到的所述文本序列的特征表示；

根据各所述文本序列的特征表示确定为所述文本序列的特征表达矩阵；

其中，x_i:i+h-1为所述加权词向量表示x_i,x_i+1,...,x_h-1的串接，m为所述卷积核的个数，c_ij为根据第j个卷积核计算得到的词x_i:i+h-1的向量表示，k_j为所述第j 个卷积核，b为偏置常数，f为激活函数。

可选的，将所述文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将所述输出结果作为所述文本序列的摘要，包括：

将所述文本序列的特征表达矩阵输入到双向RNN组成的编码器中进行编码，得到所述文本序列的隐藏状态序列；

将所述文本序列的隐藏状态序列输入至解码器中，并根据公式P_vocab(w)＝softmax(W_ss_t+b_s)计算第t个解码步的目标词存在于预定义词表中的概率；

根据公式P_gen＝σ(W_cc_t+W_ss_t+W_xx_t+b_gen)计算所述第t个解码步的目标词的确定方式为自动生成的概率；

根据公式计算所述第t个解码步的目标词存在于未登录词表中的概率；

根据公式P(w)＝P_genP_vocab(w)+(1-P_gen)P_oov(w)计算所述第t个解码步的目标词被选择的概率；

将所述P(w)最大的目标词作为所述第t个解码步的输出词；

其中，P_vocab(w)为所述第t个解码步的目标词w存在于所述预定义词表中的概率，W_s为隐藏状态权重，b_s、b_gen均为偏置常数，s_t为所述解码器在t时刻的隐藏状态，P_gen为所述第t个解码步的目标词w的确定方式为自动生成的概率，σ为sigmoid非线性函数，W_c为上下文权重，c_t为第t个输入词的带注意力的上下文向量，W_x为输入权重，x_t为第t个输入词的词向量，P_oov(w)为所述第t个解码步的目标词w存在于所述未登录词表中的概率，α_ti为第i个词的注意力权重，P(w)为所述第t个解码步的目标词w的被选择的概率。

本申请还提供一种文本摘要生成的系统，该系统包括：

词嵌入处理模块，用于对输入的文本序列进行词嵌入处理，得到所述文本序列的词嵌入表示矩阵；

局部注意力处理模块，用于对所述词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵；

卷积操作模块，用于利用预设卷积神经网络对所述具有局部注意力权重的词嵌入表示矩阵进行卷积操作，得到所述文本序列的特征表达矩阵；

摘要生成模块，用于将所述文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将所述输出结果作为所述文本序列的摘要。

可选的，所述局部注意力处理模块包括：

第一计算子模块，用于根据公式计算文本序列长度为n的第i个词的加权词向量表示；

第一确定子模块，用于根据各所述加权词向量表示确定为所述具有局部注意力权重的词嵌入表示矩阵；

可选的，所述卷积操作模块包括：

第二计算子模块，用于根据公式c_ij＝f(x_i:i+h-1k_j ^Τ+b)确定根据第j个卷积核计算得到的词x_i:i+h-1的向量表示；

第二确定子模块，用于根据各所述向量表示确定C_j＝[c_1j,c_2j,...,c_nj]为根据所述第j个卷积核得到的所述文本序列的特征表示；

第三确定子模块，用于根据各所述文本序列的特征表示确定为所述文本序列的特征表达矩阵；

可选的，所述摘要生成模块包括：

编码子模块，用于将所述文本序列的特征表达矩阵输入到双向RNN组成的编码器中进行编码，得到所述文本序列的隐藏状态序列；

第三计算子模块，用于将所述文本序列的隐藏状态序列输入至解码器中，并根据公式P_vocab(w)＝softmax(W_ss_t+b_s)计算第t个解码步的目标词存在于预定义词表中的概率；

第四计算子模块，用于根据公式P_gen＝σ(W_cc_t+W_ss_t+W_xx_t+b_gen)计算所述第t 个解码步的目标词的确定方式为自动生成的概率；

第五计算子模块，用于根据公式计算所述第t个解码步的目标词存在于未登录词表中的概率；

第六计算子模块，用于根据公式P(w)＝P_genP_vocab(w)+(1-P_gen)P_oov(w)计算所述第t个解码步的目标词被选择的概率；

第四确定子模块，用于将所述P(w)最大的目标词作为所述第t个解码步的输出词；

本申请还提供一种文本摘要生成设备，该文本摘要生成设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述文本摘要生成的方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述文本摘要生成的方法的步骤。

本申请所提供文本摘要生成的方法，包括：对输入的文本序列进行词嵌入处理，得到文本序列的词嵌入表示矩阵；对词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵；利用预设卷积神经网络对具有局部注意力权重的词嵌入表示矩阵进行卷积操作，得到文本序列的特征表达矩阵；将文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将输出结果作为文本序列的摘要。

本申请所提供的技术方案，通过对输入的文本序列依次进行词嵌入处理、局部注意力处理和卷积操作，使得得到的文本序列的特征表达矩阵能更好的表达输入文本更深层次的隐藏特征，更进一步的提取了输入文本的特征，相对于现有技术本申请着重于之前解码步生成的文本信息，使得最终生成的摘要文本语义连贯，解决了现有技术存在的生成摘要语义无关、语句不通顺的问题。本申请同时还提供了一种文本摘要生成的系统、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种文本摘要生成的方法的流程图；

图2为本申请实施例所提供的一种预设卷积神经网络的处理过程示意图；

图3为本申请实施例提供的一种隐藏特征提取器的示意图；

图4为图1所提供的一种文本摘要生成的方法中S104的一种实际表现方式的流程图；

图5为本申请实施例提供的一种摘要生成模型整体框架的示意图；

图6为本申请实施例所提供的一种文本摘要生成的系统的结构图；

图7为本申请实施例所提供的另一种文本摘要生成的系统的结构图；

图8为本申请实施例所提供的一种文本摘要生成设备的结构图。

具体实施方式

本申请的核心是提供一种文本摘要生成的方法、系统、设备及计算机可读存储介质，用于避免生成的文本摘要存在语义无关、语句不通顺。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种文本摘要生成的方法的流程图。

其具体包括如下步骤：

S101：对输入的文本序列进行词嵌入处理，得到文本序列的词嵌入表示矩阵；

基于现有的基于神经网络的文本摘要方法生成的摘要存在语义无关、语句不通顺的问题，本申请提供了一种文本摘要生成的方法，用于解决上述问题；

这里提到的对输入的文本序列进行词嵌入处理的目的在于，令文本序列转换成数字向量以便继续进行运算处理；

可选的，在输入的文本序列进行词嵌入处理处理后，可以得到该文本的词嵌入表示矩阵X＝{x₁,x₂,...,x_i,...,x_n-1,x_n}，其中，x_i为第i个词嵌入表示向量且d为词嵌入的维度。

S102：对词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵；

这里提到的对词嵌入表示矩阵进行局部注意力处理的目的在于，确定文本序列中的中心词，进而获取到输入文本更深层次的隐藏特征；

可选的，这里提到的对词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵，其具体可以为：

根据公式计算文本序列长度为n的第i个词的加权词向量表示

根据各加权词向量表示确定为具有局部注意力权重的词嵌入表示矩阵Xⁿ；

进一步的，为防止文本序列前后信息丢失，还可以在对词嵌入表示矩阵进行局部注意力处理时进行全0填充；

其中，x_i为文本序列中第i个词的词嵌入表示，s(i)为文本序列中第i个词的加权注意力分数，具体可以根据公式s(i)＝σ(X_l-att,iW_l-att+b_l-att),i∈[1,n]进行计算；其中，W_l-att为注意力权重且w为局部注意力的窗口大小，b_l-att为偏置常数，X_l-att，i为第i个词的局部注意力向量，且可以根据公式

进行计算。

S103：利用预设卷积神经网络对具有局部注意力权重的词嵌入表示矩阵进行卷积操作，得到文本序列的特征表达矩阵；

可选的，这里提到的利用预设卷积神经网络对具有局部注意力权重的词嵌入表示矩阵进行卷积操作，其具体可以为使用多个不同大小的卷积核，获得输入文本更多层次的语言模型特征，最后串接各个特征映射并将其作为输入文本的具有更深层隐藏信息的词嵌入，为了保证输入文本序列词与词间的位置信息保持相对不变，这里的预设卷积神经网络没有使用池化层，卷积神经网络对文本的处理过程如图2所示；

请参考图2，图2为本申请实施例所提供的一种预设卷积神经网络的处理过程示意图，其具体可以包括如下步骤：

根据公式确定根据第j个卷积核计算得到的词x_i:i+h-1的向量表示c_ij；

根据各向量表示确定C_j＝[c_1j,c_2j,...,c_nj]为根据第j个卷积核得到的文本序列的特征表示C_j；

根据各文本序列的特征表示确定为文本序列的特征表达矩阵F；

其中，x_i:i+h-1为加权词向量表示x_i,x_i+1,...,x_h-1的串接，m为卷积核的个数，c_ij为根据第j个卷积核计算得到的词x_i:i+h-1的向量表示，k_j为第j个卷积核，b为偏置常数，f为激活函数；

可选的，请参考图3，图3为本申请实施例提供的一种隐藏特征提取器的示意图，步骤S101-S103所述的步骤可以以隐藏特征提取器的形式完成对输入文本隐藏特征的提取。

S104：将文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将输出结果作为文本序列的摘要。

基于上述技术方案，本申请所提供的一种文本摘要生成的方法，通过对输入的文本序列依次进行词嵌入处理、局部注意力处理和卷积操作，使得得到的文本序列的特征表达矩阵能更好的表达输入文本更深层次的隐藏特征，更进一步的提取了输入文本的特征，相对于现有技术本申请着重于之前解码步生成的文本信息，使得最终生成的摘要文本语义连贯，解决了现有技术存在的生成摘要语义无关、语句不通顺的问题。

针对于上一实施例的步骤S104，其中所描述的，将文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将输出结果作为文本序列的摘要，其具体也可以为如图4所示的步骤，下面结合图4进行说明。

请参考图4，图4为图1所提供的一种文本摘要生成的方法中S104的一种实际表现方式的流程图。

其具体包括以下步骤：

S401：将文本序列的特征表达矩阵输入到双向RNN组成的编码器中进行编码，得到文本序列的隐藏状态序列；

将文本序列的特征表达矩阵输入到双向RNN组成的编码器中进行编码，每个RNN输出一个隐藏状态h，记输入序列第t个词的隐藏状态为h_t，其前向和反向隐藏状态分别用和表示，‖表示向量连接运算符，则t时刻隐藏状态为

S402：将文本序列的隐藏状态序列输入至解码器中，并根据公式 P_vocab(w)＝softmax(W_ss_t+b_s)计算第t个解码步的目标词存在于预定义词表中的概率；

其中，P_vocab(w)为第t个解码步的目标词w存在于预定义词表中的概率，W_s为隐藏状态权重，b_s为偏置常数，s_t为解码器在t时刻的隐藏状态；

这里提到的预定义词表为预先定义的摘要中能够出现的词，该预定义词表可以由用户自行设定，也可以由业内人士进行编撰，本申请对此不做具体限定。

S403：根据公式P_gen＝σ(W_cc_t+W_ss_t+W_xx_t+b_gen)计算第t个解码步的目标词的确定方式为自动生成的概率；

其中，P_gen为第t个解码步的目标词w的确定方式为自动生成的概率，σ为 sigmoid非线性函数，W_c为上下文权重，c_t为第t个输入词的带注意力的上下文向量，W_x为输入权重，x_t为第t个输入词的词向量，b_gen为偏置常数；

基于在现有技术中，受词表大小的限制以及生成式摘要模型可能产生不在文本中的词等原因影响，生成的摘要存在未登录词(out-of-vocabulary，OOV) 问题，使得生成摘要的可读性受到影响，本申请实施例提供了两种目标词的确定方式，分别为pointing确定方式和generate确定方式，用于解决该问题，通过pointing确定方式可以直接从原文本中复制词作为目标词，而通过 generate确定方式可以自动地生成一个词作为目标词；

请参考图5，图5为本申请实施例提供的一种摘要生成模型整体框架的示意图，在解码过程中，摘要生成模型可以根据计算得到的P_gen自动选择使用 pointing确定方式还是generate确定方式，来解决OOV问题；

可选的，针对于现有技术中还存在的文本摘要句内重复问题，本申请实施例所提供的摘要生成模型还可以对重复出现的关注序列中同一位置的情况进行惩罚，从而解决该问题。

S404：根据公式计算第t个解码步的目标词存在于未登录词表中的概率；

其中，P_oov(w)为第t个解码步的目标词w存在于未登录词表中的概率，α_ti为第i个词的注意力权重；

这里提到的未登录词表为预先定义的摘要中不能够出现的词，该未登录词表可以由用户自行设定，也可以为根据相关模型信息进行确定，本申请对此不做具体限定。

S405：根据公式P(w)＝P_genP_vocab(w)+(1-P_gen)P_oov(w)计算第t个解码步的目标词被选择的概率；

其中，P(w)为第t个解码步的目标词w的被选择的概率。

S406：将P(w)最大的目标词作为第t个解码步的输出词。

对于解码时间步t来说，词的生成概率P_gen∈[0,1]，是由当前时刻解码器输入x_t、隐藏状态s_t以及上下文向量c_t计算得出。在生成目标词概率计算中，假如当前时刻的生成词是一个未登录词，则P_vocab(w)＝0；类似的，假如生成词没有在原文本中出现过，且不在词表中则P_oov(w)＝0，这时，生成词还可以用“[UNK]”表示。

请参考图6，图6为本申请实施例所提供的一种文本摘要生成的系统的结构图。

该系统可以包括：

词嵌入处理模块100，用于对输入的文本序列进行词嵌入处理，得到文本序列的词嵌入表示矩阵；

局部注意力处理模块200，用于对词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵；

卷积操作模块300，用于利用预设卷积神经网络对具有局部注意力权重的词嵌入表示矩阵进行卷积操作，得到文本序列的特征表达矩阵；

摘要生成模块400，用于将文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将输出结果作为文本序列的摘要。

请参考图7，图7为本申请实施例所提供的另一种文本摘要生成的系统的结构图。

该局部注意力处理模块200可以包括：

第一确定子模块，用于根据各加权词向量表示确定为具有局部注意力权重的词嵌入表示矩阵；

其中，s(i)为文本序列中第i个词的加权注意力分数，x_i为文本序列中第i 个词的词嵌入表示。

该卷积操作模块300可以包括：

第二确定子模块，用于根据各向量表示确定C_j＝[c_1j,c_2j,...,c_nj]为根据第j 个卷积核得到的文本序列的特征表示；

第三确定子模块，用于根据各文本序列的特征表示确定为文本序列的特征表达矩阵；

其中，x_i:i+h-1为加权词向量表示x_i,x_i+1,...,x_h-1的串接，m为卷积核的个数，c_ij为根据第j个卷积核计算得到的词x_i:i+h-1的向量表示，k_j为第j个卷积核，b为偏置常数，f为激活函数。

该摘要生成模块400可以包括：

编码子模块，用于将文本序列的特征表达矩阵输入到双向RNN组成的编码器中进行编码，得到文本序列的隐藏状态序列；

第三计算子模块，用于将文本序列的隐藏状态序列输入至解码器中，并根据公式P_vocab(w)＝softmax(W_ss_t+b_s)计算第t个解码步的目标词存在于预定义词表中的概率；

第四计算子模块，用于根据公式P_gen＝σ(W_cc_t+W_ss_t+W_xx_t+b_gen)计算第t个解码步的目标词的确定方式为自动生成的概率；

第五计算子模块，用于根据公式计算第t个解码步的目标词存在于未登录词表中的概率；

第六计算子模块，用于根据公式P(w)＝P_genP_vocab(w)+(1-P_gen)P_oov(w)计算第t 个解码步的目标词被选择的概率；

第四确定子模块，用于将P(w)最大的目标词作为第t个解码步的输出词；

其中，P_vocab(w)为第t个解码步的目标词w存在于预定义词表中的概率，W_s为隐藏状态权重，b_s、b_gen均为偏置常数，s_t为解码器在t时刻的隐藏状态，P_gen为第t个解码步的目标词w的确定方式为自动生成的概率，σ为sigmoid非线性函数，W_c为上下文权重，c_t为第t个输入词的带注意力的上下文向量，W_x为输入权重，x_t为第t个输入词的词向量，P_oov(w)为第t个解码步的目标词w存在于未登录词表中的概率，α_ti为第i个词的注意力权重，P(w)为第t个解码步的目标词w的被选择的概率。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

请参考图8，图8为本申请实施例所提供的一种文本摘要生成设备的结构图。

该文本摘要生成设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据 844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832 和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在文本摘要生成设备800上执行存储介质830中的一系列指令操作。

文本摘要生成设备800还可以包括一个或一个以上电源828，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，和/或，一个或一个以上操作系统841，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述图1至图5所描述的文本摘要生成的方法中的步骤由文本摘要生成设备基于该图8所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种文本摘要生成的方法、系统、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种文本摘要生成的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对所述词嵌入表示矩阵进行局部注意力处理，得到具有局部注意力权重的词嵌入表示矩阵，包括：

3.根据权利要求1所述的方法，其特征在于，利用预设卷积神经网络对所述具有注意力权重的词嵌入表示矩阵进行卷积操作，得到所述文本序列的特征表达矩阵，包括：

其中，x_i:i+h-1为所述加权词向量表示x_i,x_i+1,...,x_h-1的串接，m为所述卷积核的个数，c_ij为根据第j个卷积核计算得到的词x_i:i+h-1的向量表示，k_j为所述第j个卷积核，b为偏置常数，f为激活函数。

4.根据权利要求1所述的方法，其特征在于，将所述文本序列的特征表达矩阵输入至训练完成的摘要生成模型中，得到输出结果，并将所述输出结果作为所述文本序列的摘要，包括：

将所述P(w)最大的目标词作为所述第t个解码步的输出词；

5.一种文本摘要生成的系统，其特征在于，包括：

6.根据权利要求5所述的系统，其特征在于，所述局部注意力处理模块包括：

7.根据权利要求5所述的系统，其特征在于，所述卷积操作模块包括：

8.根据权利要求5所述的系统，其特征在于，所述摘要生成模块包括：

第四计算子模块，用于根据公式P_gen＝σ(W_cc_t+W_ss_t+W_xx_t+b_gen)计算所述第t个解码步的目标词的确定方式为自动生成的概率；

9.一种文本摘要生成设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述文本摘要生成的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述文本摘要生成的方法的步骤。