CN112183058B - 基于bert句子向量输入的诗词生成方法及装置 - Google Patents

Abstract

本发明涉及计算机生成诗句领域，具体为基于BERT句子向量输入的诗词生成方法及装置。解决了目前基于神经网络的诗词生成模型对诗词语义的学习和表示还不够深入和全面的问题。其方法为：首先对诗词语料库中的原始语料预处理和主题词提取，利用预处理后的预料和提取的主题词训练生成第一句的Word‑to‑Line模型和下文生成的Context‑to‑Line模型，在用户输入语句后，利用TextRank算法提取出若干主题词，通过Word‑to‑Line模型对前1‑2个主题词学习分析得到诗词第一句，通过Context‑to‑Line模型对若干主题词和已有生成诗句学习分析生成其余诗句。本方法增加了诗句之间的关系理解，提高了生成诗歌的质量，使生成的诗歌不仅满足格律、用韵等格式要求，而且在流畅性，主题一致性等方面均有明显的改进。

Description

基于BERT句子向量输入的诗词生成方法及装置

技术领域

本发明涉及计算机生成诗句领域，具体为基于BERT句子向量输入的诗词生成方法及装置。

背景技术

但随着计算机技术和机器学习的发展，使诗词的创作方式和生成手段发生了前所未有的改变，特别是随着深度学习的再次崛起和技术革新，大大提高了生成诗歌的质量。然而，目前基于神经网络的诗词生成模型对诗词语义的学习和表示还不够深入和全面，主要体现在模型的编码层在将文本转换为空间向量时缺失动态的语义信息。因为目前将文本转化为嵌入式矢量的工具主要为word embedding，它不是根据上下文实时计算输出特征矢量，它输出的是一个静态的矢量。另外，word embedding的输入是词级，这就意味着首先要对句子进行分词，然后通过词来获取其对应的词向量，那么分词结果的不准确直接影响输出的特征矢量的涵义有偏差。

发明内容

本发明提供了一种基于BERT句子向量输入的诗词生成方法，解决了目前基于神经网络的诗词生成模型对诗词语义的学习和表示还不够深入和全面的问题，以及根据方法衍生的诗句生成装置,采取新的预训练方式形成不同的诗句生成模块，增加了诗句之间的关系理解，大大提高了生成诗歌的质量，使生成的诗歌不仅满足格律、用韵等格式要求，而且在流畅性，主题一致性等方面均有明显的改进。

本发明的目的之一是基于BERT句子向量输入的诗词生成方法，首先对诗词语料库中的原始语料预处理和主题词提取，利用预处理后的预料和提取的主题词训练生成第一句的Word-to-Line模型和下文生成的Context-to-Line模型，在用户输入语句后，利用TextRank算法提取出若干主题词，通过Word-to-Line模型对前1-2个主题词学习分析得到诗词第一句，通过Context-to-Line模型对若干主题词和已有生成诗句学习分析生成其余诗句。

所述对诗词语料库中的原始语料预处理和主题词提取包括：

将原始语料整理成不包含题目和符号的单独诗句格式；

对单独诗句进行主题词提取。

所述主题词提取方法为：

利用TextRank中文分词工具对诗句进行分词、词性标注以及停用词过滤，保留名词、动词和形容词作为初步候选主题词；

利用词的共现关系构建候选主题词图；

利用

计算主题词权重；

对主题词权重倒序排序，得到若干个词最终候选主题词，并保留在原诗句中的顺序。

所述Word-to-Line模型为：

BERT提取出输入主题词序列的token，位置和分割嵌入特征，并将特征转换为字向量后输出；

将字向量输入BiLSTM层对其进行编码，得到正向隐藏状态向量和反向隐藏状态向量；

通过LSTM编码对正反向隐藏状态向量结合，形成最终的隐藏状态向量；

利用Decoder的解码端根据当前的状态和最终隐藏状态向量并结合Attention机制，以字符的形式生成诗句。

所述Context-to-Line模型为：

BERT提取出输入对应诗句的主题词和已有诗句序列的token，位置和分割嵌入特征，并将特征转换为字向量后输出；

将字向量输入BiLSTM层对其进行编码，得到正向隐藏状态向量和反向隐藏状态向量；

通过LSTM编码对正反向隐藏状态向量结合，形成的最终隐藏状态向量；

利用Decoder的解码端根据当前的状态和最终隐藏状态向量并结合Attention机制，以字符的形式生成诗句。

所述利用TextRank算法提取出主题词时，当提取主题词大于4个时，进行诗词生成；当提取主题词小于4个时，利用BERT的预训练模型，根据输入的语句，预测出与其语义相关的下一句，扩展至若干语句，后对若干语句利用TextRank算法提取出主题词，每句至少提取1-2主题词。

所述Word-to-Line模型生成的第一句诗词仅且由主题词分析生成。

本发明的另一目的是提供利用BERT句子向量输入的诗词生成方法的装置，包括：

输入模块：用户进行语音输入或者字符输入；

主题词提取模块：利用TextRank算法提取输入模块中用户输入语句的主题词；

Word-to-Line模型模块：对主题词分析生成诗词第一句；

Context-to-Line模型模块：对主题词和已有生成诗句分析生成其余诗句。

本发明的有益效果为：1、诗词生成方式的创新：本文提出了基于句子的诗生成模型，以更准确地描述作者的思想和情感。即作者将表达自己情感的句子作为输入，模型通过对句子的扩展从中提取出多个关键词，然后借助诗生成模型完成符合主题思想的诗词创作。

2.主题词的提取与扩展，不同于传统诗词生成过程每句诗只提取一个主题词的思想，考虑到词性的不同对于句子语义的影响程度不同，本文方法提取或扩展至2个名词、动词或形容词作为一句诗的主题词。另外，对应基于句子的诗生成方法，主题词的提取与扩展可以通过句子及句子的扩展完成。

3.采用基于词的BERT预训练作为诗生成模型的输入，表征了诗句中字词的深层次，以及包含左右两侧语境的语义信息，能使模型更充分地学习到输入序列丰富的字、词及语义信息。另外，充分利用BERT预训练模型的fine-tuning参数调整功能完成诗句的预测，更好地解决了因诗词的训练数据缺乏而影响模型的训练质量问题。

附图说明

图1是本发明流程示意图；

图2是本发明Context-to-Line模型结构；

图3是BERT结构模型图；

具体实施方式

下面结合附图并通过具体的实施例进一步的说明本发明的技术方案：

实施例一

一种基于BERT句子向量输入的诗词生成方法，即通过输入一个短句，模型对该句子进行扩展，后提取每个句子中对应的主题词，最后生成相应主题的诗。其主要内容包括模型的训练和诗生成两部分。其中模型的训练主要有诗词语料的收集和预处理，主题词的提取与扩展，训练数据的生成及模型的训练等几部分，具体如下：

1)利用互联网收集大量的诗词语料，对搜集的原始语料进行预处理，将其整理成不包含题目和符号的单独诗句格式。

2)主题词的提取，首先利用TextRank中文分词工具对诗句进行分词和词性标注，过滤停用词。考虑到词性对句子语义的重要性，仅保留名词、动词和形容词作为初步候选主题词。后利用词的共现关系构建候选主题词图，即G＝(V,E)。借助

迭代计算各初步候选主题词权重。最后对初步候选主题词权重进行倒序排序，从而得到最重要的T个词作为最终候选主题词，并保留其在原诗句中的顺序。

3)主题词的扩展主要是为了方便创作诗，其原理是：用户在创作诗词时输入语句。当输入句子较短而无法提取出足够的主题词时，调用BERT的预训练模型，在已知输入句子情况下，预测出与其语义相关的下一句，扩展至四个句子。后利用TextRank算法提取出T个主题词。当输入的句子行量大时，则直接利用TextRank算法提取出相应数量的主题词即可。

4)训练数据的生成，将诗词训练数据处理为关键词加上下文的形式，然后利用训练数据训练诗生成模型。

5)诗句的生成。诗句的生成模型分为两个，分别为第一句的生成模型Word-to-Line，且第一句仅由主题词生成。其次是剩余诗句的生成Context-to-Line模型，即其余诗句由相应主题词和已有生成诗句生成。诗句的生成过程如图1所示。

Context-to-Line模型结构：

根据诗句简短精炼但饱含意义的特点，本方案提出了基于BERT词嵌入的主题词注意力机制模型，即Context-to-Line模型，其结构如图2所示。最佳的句子语义表示给予名词、动词和形容词较高的权重，而对限定词和介词的词赋予较低的权重。所以本方案的主题词仅选择名词、动词和形容词，而且在注意力机制中提高了主题词的权重。不仅改变了传统Decoder对每一个输入都赋予相同权值的缺点，避免了因序列长而丢失信息的现象，而且突出了诗句的主题。另外，BERT词嵌入使用了Transformer双向编码器，能够捕捉更长距离的字与句子之间的真正意义上的bidirectional context信息，实现了预训练的深度双向表示，能更深层次的理解诗句的语义度，进而提升生成诗句的整体连贯性。

本方案诗生成的具体过程为：通过训练，BERT提取出输入序列(ν₁，ν₁.......ν_i)的token，位置和分割嵌入特征，将它们的特征和转换为具有深层语义关系的字向量x_i输出，如图3所示。然后将字向量x_i输入BiLSTM层对其进行编码，得到正反向隐藏状态

和

对于任意的x_i，通过LSTM编码形成的最终隐藏状态是相应的正反向隐藏状态的结合

隐藏状态同时涵盖了前后词的信息，并将获得的状态序列信息用于后端的解码。Decoder的解码端根据自身当前的状态S_i和编码端输出的隐藏状态h_j，以字符的形式生成诗句(y₁，y₂，...y_i)。具体公式为：

y_i＝W_oS_i+b_o (1)

S_i＝g(y_i-1，S_i-1，c_i) (2)

其中c_i是注意力机制中用来计算第i个字符的隐藏状态S_i的。即

式中：a_i，j为编码端隐藏状态对生成诗句的贡献值，表达了S_i和h_j的相似度。解码器依据v_i，j确定哪一部分输入更加重要，以分配更多的注意力。后Decoder输出各个字的向量表示，最终通过向量转换，将表示该字的输出向量映射到词表，映射后的向量表示一个概率分布，每个位置的概率值代表该位置对应的字作为下一个字的概率，并将最大概率向量对应的字符选择输出。在生成下一句诗时，以前面的诗句为输入，并以该句的主题词为引导，以突出生成诗句的主题性。

诗的第一句在没有上文时，只由输入的相应主题词生成，及仅有图2中的主题词输入，通过训练Word-to-Line模型实现，其生成诗句的原理和过程与Context-to-Line模型一致。

实施例2

利用深度学习的诗词生成方法的装置，包括：

输入模块：用户进行语音输入或者字符输入；

主题词提取模块：利用TextRank算法提取输入模块中用户输入语句的主题词；

Word-to-Line模型模块：对主题词分析生成诗词第一句；

Context-to-Line模型模块：对主题词和已有生成诗句分析生成其余诗句

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.基于BERT句子向量输入的诗词生成方法，其特征在于：首先对诗词语料库中的原始语料预处理和主题词提取，利用预处理后的预料和提取的主题词训练生成第一句的Word-to-Line模型和下文生成的Context-to-Line模型，在用户输入语句后，利用TextRank算法提取出若干主题词，通过Word-to-Line模型对前1-2个主题词学习分析得到诗词第一句，通过Context-to-Line模型对若干主题词和已有生成诗句学习分析生成其余诗句；

所述Word-to-Line模型为：

BERT提取出输入主题词序列的token，位置和分割嵌入特征，并将特征转换为字向量后输出；

将字向量输入BiLSTM层对其进行编码，得到正向隐藏状态向量和反向隐藏状态向量；

通过LSTM编码对正反向隐藏状态向量结合，形成最终的隐藏状态向量；

利用Decoder的解码端根据当前的状态和最终隐藏状态向量并结合Attention机制，以字符的形式生成诗句；

所述Context-to-Line模型为：

BERT提取出输入对应诗句的主题词和已有诗句序列的token，位置和分割嵌入特征，并将特征转换为字向量后输出；

将字向量输入BiLSTM层对其进行编码，得到正向隐藏状态向量和反向隐藏状态向量；

通过LSTM编码对正反向隐藏状态向量结合，形成的最终隐藏状态向量；

利用Decoder的解码端根据当前的状态和最终隐藏状态向量并结合Attention机制，以字符的形式生成诗句。

2.根据权利要求1所述的基于BERT句子向量输入的诗词生成方法，其特征在于：所述对诗词语料库中的原始语料预处理和主题词提取包括：

将原始语料整理成不包含题目和符号的单独诗句格式；

对单独诗句进行主题词提取。

3.根据权利要求2所述的基于BERT句子向量输入的诗词生成方法，其特征在于：所述主题词提取方法为：

利用TextRank中文分词工具对诗句进行分词、词性标注以及停用词过滤，保留名词、动词和形容词作为初步候选主题词；

利用词的共现关系构建候选主题词图；

利用

计算主题词权重；

对主题词权重倒序排序，得到若干个词最终候选主题词，并保留在原诗句中的顺序。

4.根据权利要求1所述的基于BERT句子向量输入的诗词生成方法，其特征在于：所述利用TextRank算法提取出主题词时，当提取主题词大于4个时，进行诗词生成；当提取主题词小于4个时，利用BERT的预训练模型，根据输入的语句，预测出与其语义相关的下一句，扩展至若干语句，后对若干语句利用TextRank算法提取出主题词，每句至少提取1-2主题词。

5.根据权利要求1所述的基于BERT句子向量输入的诗词生成方法，其特征在于：所述Word-to-Line模型生成的第一句诗词仅且由主题词分析生成。

6.利用权利要求1-5任意一项深度学习的诗词生成方法的装置，其特征在于：包括：

输入模块：用户进行语音输入或者字符输入；

主题词提取模块：利用TextRank算法提取输入模块中用户输入语句的主题词；

Word-to-Line模型模块：对主题词分析生成诗词第一句；

Context-to-Line模型模块：对主题词和已有生成诗句分析生成其余诗句。

Images