CN111046648A - 韵律控制的诗词生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及自然语言处理，具体提供一种韵律控制的诗词生成方法、装置、设备及存储介质，该方法包括：获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量；对所述综合嵌入向量进行编码处理，得到输入文本表征向量；获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量；对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。该方法提高了生成诗句的平仄押韵准确率，而不牺牲诗句的生成质量。

Description

韵律控制的诗词生成方法、装置、设备及存储介质

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种韵律控制的诗词生成方法、装置、设备及存储介质。

背景技术

古人写诗词讲究平仄押韵，是利用汉语声调的平衡交替来造成语言中抑扬顿挫的美，读起来琅琅上口，易于记忆。目前，国内外对于诗歌生成的研究经历了由基于模板的生成方法到基于统计机器翻译的方法再到基于神经网络等方法的演变过程。

随着神经网络的兴起，基于编码器-解码器的框架也逐步应用到诗歌生成当中，该框架利用神经网络强大的拟合能力，能够生成具有一定流畅度的诗句，但在韵律的表现方面与传统的诗歌韵律规则有较大偏差。

发明内容

本申请的主要目的在于提供一种韵律控制的诗词生成方法、装置、设备及存储介质，旨在提高生成诗句的平仄押韵准确性。

第一方面，本申请提供一种韵律控制的诗词生成方法，所述韵律控制的诗词生成方法包括以下步骤：

获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量；

对所述综合嵌入向量进行编码处理，得到输入文本表征向量；

获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量；

对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

第二方面，本申请还提供一种诗词生成模型的训练方法，所述诗词生成模型的训练方法包括：

获取训练样本，所述训练样本包括样本字符序列，以及所述样本字符序列的后一句诗词，所述后一句诗词和所述样本字符序列的韵律相匹配；

将所述样本字符序列的字符信息、句子信息、位置信息的嵌入向量和所述样本字符序列的韵律嵌入向量叠加，得到综合嵌入向量；

对所述综合嵌入向量进行编码处理，得到输入文本表征向量；

对所述后一句诗词的韵律信息进行嵌入处理，得到韵律期望向量；

获取初始嵌入向量，将所述初始嵌入向量和所述韵律期望向量叠加，得到初始化的输出文本表征向量；

对所述输入文本表征向量和所述输入文本表征向量进行解码处理，得到所述样本字符序列对应生成语句；

根据所述生成语句的韵律信息和所述后一句诗词的韵律信息计算损失值，根据所述损失值调整所述诗词生成模型的参数。

第三方面，本申请还提供一种韵律控制的诗词生成装置，所述韵律生成装置包括：

向量叠加模块，用于获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量。

编码模块，用于对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

向量叠加模块，用于获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量。

解码模块，用于对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

第四方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的韵律控制的诗词生成方法的步骤。

第五方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的韵律控制的诗词生成方法的步骤。

本申请提供一种韵律控制的诗词生成方法、装置、设备及计算机可读存储介质，本申请通过将源字符序列的字符信息、句子信息、位置信息的嵌入向量和源字符序列的韵律嵌入向量叠加，得到综合嵌入向量，并对综合嵌入向量进行编码处理，得到输入文本表征向量；然后获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量；之后对包含韵律控制信息的输出文本表征向量和包含源字符序列韵律信息的输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句，生成语句的韵律准确性更高。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种韵律控制的诗词生成方法的流程示意图；

图2为本申请实施例提供的一种韵律控制的诗词生成方法的源字符序列嵌入处理的示意图；

图3为本申请实施例提供的一种韵律控制的诗词生成方法的源字符序列韵律嵌入处理的示意图；

图4为本申请实施例提供的一种诗词生成模型的训练方法的示意性框图；

图5为本申请实施例提供的一种韵律控制的诗词生成装置的示意性框图；

图6为本申请实施例提供的一种诗词生成模型的训练装置的示意性框图；

图7为本申请一实施例涉及的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供一种韵律控制的诗词生成方法、装置、计算机设备及计算机可读存储介质。其中，该韵律控制的诗词生成方法可应用于终端设备中，该终端设备可以手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种韵律控制的诗词生成方法的流程示意图。

如图1所示，该韵律控制的诗词生成方法包括步骤S101至步骤S104。

步骤S101、获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量。

示例性的，源字符序列可以包括用于作诗的关键词，如春天、桃花；或者源字符序列可以包括诗词的第一句，或者包括诗词的第一句和第二句。

例如，如图2所示，源字符序列包括“日照香炉生紫烟”。如图2所示，对所述源字符序列的字符信息进行嵌入处理，得到源字符序列的字符信息的嵌入向量，即字符嵌入向量Token Embeddings；具体地，将源字符序列中的每个字分别转换成固定维度的向量，例如将各个字转换成768维的向量表示。

如图2所示，对所述源字符序列的句子信息进行嵌入处理，得到源字符序列的句子信息的嵌入向量，即句子嵌入向量Segment Embeddings。具体地，句子信息的嵌入向量与源字符序列中句子的数目有关，如源字符序列包括诗词的一个句子时，则句子嵌入向量中与所述源字符序列中各字对应的元素均相同；源字符序列包括不同句子时，则句子嵌入向量中与不同句子中各字符对应的元素不相同。

如图2所示，对源字符序列的位置信息进行嵌入处理，得到源字符序列的位置信息的嵌入向量，即位置嵌入向量Position Embeddings。

位置信息的嵌入结果位置嵌入向量是学习得到的。

在一实施例中，应用韵律控制的诗词生成方法的诗词生成模型包括编码器和解码器。例如采用12层的BERT作为编码器。

BERT模型能够处理最长为512个词(token)的输入序列，BERT模型在各个位置上学习一个向量表示来将序列顺序的信息编码进来，实际上Position Embeddings层就是一个大小为(512,768)的查询表，表的第一行是代表第一个序列的第一个位置，第二行代表序列的第二个位置，以此类推。

示例性的，字符信息的嵌入向量Token Embeddings是源字符序列中各字符的向量表示，句子信息的嵌入向量Segment Embeddings可以辅助BERT模型区分不同句子的向量表示，位置信息的嵌入向量Position Embeddings可以使BERT模型学习到输入的顺序属性。

示例性的，字符信息、句子信息、位置信息的嵌入向量均为(1，n，768)的向量，其中，n是根据源字符序列中的字数确定的。

在一些实施方式中，在源字符序列的开头添加起始符[CLS]，源字符序列的不同句子之间添加分隔符[SEP]，在源字符序列的结尾添加分隔符[SEP]。如图2所示，对源字符序列的韵律信息进行嵌入处理，得到源字符序列的韵律嵌入向量。

在一些实施方式中，所述源字符序列的韵律嵌入向量包括平仄嵌入向量和/或押韵嵌入向量。

示例性的，如图3所示，对源字符序列的平仄(Tone)信息进行嵌入处理，得到平仄嵌入向量。示例性的，在平仄嵌入向量Tone Embeddings中，用“1”表示平，“0”表示仄，“-1”表示如起始符和终止符等无平仄信息的字符。

示例性的，如图3所示，对源字符序列的押韵(Rhyme)信息进行嵌入处理，得到押韵嵌入向量。示例性的，在押韵嵌入向量Rhyme Embeddings中，将诗句的最后一个字用1-13分别表示诗词的十三韵信息，其他字符不考虑押韵，因而用“0”替代。

示例性的，所述将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，包括：将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量以及所述平仄嵌入向量和/或押韵嵌入向量叠加。

示例性的，平仄嵌入向量、押韵嵌入向量也是(1，n，768)的向量，其中，n是根据源字符序列中的字数确定的。则综合嵌入向量也是(1，n，768)的向量。

步骤S102、对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

由于综合嵌入向量中融合了韵律嵌入向量，因此编码处理得到的输入文本表征向量也包含了源字符序列的韵律信息，如平仄信息和押韵信息。

在一些实施方式中，基于编码器，对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

示例性的，编码器包括BERT(Bidirectional Encoder Representations fromTransformers)模型，即双向转换(Transformer)的编码器(Encoder)。

编码器通过联合调节所有层中的上下文来预先训练深度双向表示，Transformer是一种完全依赖于自注意力以计算输入与输出表征的方法。

示例性的，通过调用预训练的BERT模型实现根据输入的综合嵌入向量抽取相应的特征向量，即输入文本表征向量，输入文本表征向量可表示输入文本语义的特征。

由于输入编码器的综合嵌入向量中融合了韵律嵌入向量，例如融合了包含平仄信息的平仄嵌入向量和/或包含押韵信息的押韵嵌入向量，因此编码器输出的输入文本表征向量也包含了韵律信息，如平仄信息和押韵信息。

示例性的，综合嵌入向量是(1，n，768)的向量时，编码器输出的输入文本表征向量也是(1，n，768)的向量。

步骤S103、获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量。

示例性的，初始嵌入向量可以是预设设置好的，例如初始嵌入向量中的各元素为0。

示例性的，初始嵌入向量可以根据初始化字符序列确定，例如对初始化字符序列进行嵌入处理得到初始嵌入向量。其中，初始化字符序列具体为初始化的想要生成的下一句的字符信息。在一些实施方式中，初始化字符序列中的各字符也可全部初始化为0。

示例性的，韵律控制信息具体为期望生成的语句的韵律信息。例如，韵律控制信息包括平仄控制信息和/或押韵控制信息。其中，平仄控制信息具体为期望生成的语句的平仄信息，押韵控制信息具体为期望生成的语句的押韵信息。示例性的，平仄控制信息、押韵控制信息可以由用户输入；用于控制所生成的语句平仄和押韵。对所述平仄控制信息和/或押韵控制信息进行嵌入处理，得到所述平仄控制信息和/或押韵控制信息各自的嵌入向量。

示例性的，所述获取平仄控制信息和/或押韵控制信息，包括：获取用户输入的目标语句，根据所述目标语句确定平仄控制信息和/或押韵控制信息，所述目标语句和用户期望的生成语句具有相同的韵律规则。

示例性的，可以基于韵律模板中的音律规则制定平仄控制信息和押韵控制信息。

示例性的，用户输入平仄控制信息和押韵控制信息用于控制所生成语句的平仄和押韵。

将所述初始化字符序列的嵌入向量，以及所述平仄控制信息和/或押韵控制信息各自的嵌入向量叠加，得到初始化的输出文本表征向量。由于输出文本表征向量融合了韵律控制信息，因此可以用于对生成诗句的韵律，如平仄和押韵进行控制。

具体的，在解码之前输入想要生成诗句的平仄信息和韵脚信息，实现对生成诗句的平仄和押韵的控制，从而生成符合诗歌规则的平仄与押韵的诗句。

步骤S104、对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

由于输出文本表征向量包含了韵律控制信息，如平仄控制信息和/或押韵控制信息，而且输入文本表征向量也包含了源字符序列的韵律信息，如平仄信息和押韵信息，因此解码处理得到的生成语句即可以体现源字符序列的韵律信息也可以体现韵律控制信息，提高生成诗句的韵律准确性。

在一些实施方式中，基于Transformer解码器，通过注意力机制整合所述输入文本表征向量对所述初始化的输出文本表征向量逐字更新，以得到所述源字符序列对应的生成语句。

示例性的，解码器为Transformer模型的解码器(decoder)，Transformer模型的解码器是完全基于注意力机制的解码器模型，它完全抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，完全依赖于注意力机制来描述输入和输出之间的全局依赖关系，在任务表现、并行能力和易于训练性方面都有大幅的提高。

具体地，将初始化的输出文本表征向量输入解码器的遮蔽多头注意力层层MaskedMulti-Head Attention，将输入文本表征向量输入解码器的多头注意力层Multi-HeadAttention，解码器的softmax层输出输出概率，挑出概率最大的字，例如“我”，然后更新到输出文本表征向量中。

基于Transformer模型的解码器对输出文本表征向量进行更新之后，通过softmax层输出源字符序列对应的生成语句，如源字符序列之后的下一句诗句。

基于Transformer解码器的注意力机制，融合包含韵律控制信息的输出文本表征向量，如包含源字符序列韵律信息的输入文本表征向量，从而得到所述源字符序列对应的生成语句的韵律准确性更高。

示例性的，在构建初始化的输出文本表征向量时，将想要控制生成的平仄信息和/或押韵信息加入初始化的输出文本的输出表征向量中，因此输出文本表征向量包含了平仄控制信息和/或押韵控制信息，实现对生成诗句的平仄和押韵的控制，从而生成符合诗歌规则的平仄与押韵的生成语句。

本说明书上述实施例提供的韵律控制的诗词生成方法，通过将源字符序列的字符信息、句子信息、位置信息的嵌入向量和源字符序列的韵律嵌入向量叠加，得到综合嵌入向量，并对综合嵌入向量进行编码处理，得到输入文本表征向量；然后获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量；之后对包含韵律控制信息的输出文本表征向量和包含源字符序列韵律信息的输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句，生成语句的韵律准确性更高。

请结合上述实施例参照图4，图4为本申请实施例提供的一种诗词生成模型的训练方法。

示例性的，诗词生成模型包括编码器和解码器，具体地，利用谷歌开源的中文Bert模型作为初始模型，利用诗词进行进一步地模型训练，得到更能反映诗词特性的Bert预训练模型，然后根据Bert预训练模型的模型参数对编码器的模型参数进行初始化。由于Bert模型包括与Transformer解码器相同的结构，还根据Bert预训练模型的模型参数对解码器进行初始化。

通过预训练基于诗词语料库的Bert模型，用以初始化编码器和解码器的参数，实现加速模型收敛的效果。

如图4所示，该诗词生成模型的训练方法包括步骤S201至207。

步骤S201、获取训练样本，所述训练样本包括样本字符序列，以及所述样本字符序列的后一句诗词，所述后一句诗词和所述样本字符序列的韵律相匹配。

所述后一句诗词和所述样本字符序列的韵律相匹配，具体为所述后一句诗词和所述样本字符序列符合诗词的韵律规则。

示例性的，训练样本中的样本字符序列为从绝句的诗词语料库中抽取的诗词，如“日照香炉生紫烟”该样本字符序列的后一句诗词例如可以为“遥看瀑布挂前川”。

步骤S202、将所述样本字符序列的字符信息、句子信息、位置信息的嵌入向量和所述样本字符序列的韵律嵌入向量叠加，得到综合嵌入向量。

具体地，字符信息的嵌入结果Token Embeddings用样本字符序列中各字符的向量表示，句子信息的嵌入结果Segment Embeddings可以用辅助BERT模型区分不同句子的向量表示，位置信息的嵌入结果Position Embeddings可以使BERT模型学习到输入的顺序属性。

进一步的，韵律嵌入向量包括平仄嵌入向量和押韵嵌入向量。由此，综合嵌入向量由五个向量叠加。

步骤S203、对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

具体的，输入编码器的综合嵌入向量中融合了韵律嵌入向量，因此编码器可以充分学习到诗句的平仄押韵信息。

步骤S204、对所述后一句诗词的韵律信息进行嵌入处理，得到韵律期望向量。

具体的，根据语料库中该样本字符序列后一句诗词，如“遥望瀑布挂前川”得到该样本字符序列后一句诗词的平仄信息和/或押韵信息。

对所述后一句诗词的平仄信息进行嵌入处理，得到表示期望生成语句的平仄信息的平仄期望向量；对所述后一句诗词的押韵信息进行嵌入处理，得到表示期望生成语句的押韵信息的押韵期望向量。

在解码之前，输入想要生成诗句的平仄信息和韵脚信息，实现对生成诗句的平仄和押韵的控制，从而使得训练后的模型可以生成符合平仄控制信息、押韵控制信息的语句。

步骤S205、获取初始嵌入向量，将所述初始嵌入向量和所述韵律期望向量叠加，得到初始化的输出文本表征向量。

获取初始化字符序列，并对初始化字符序列进行嵌入处理，得到初始化嵌入向量。将该初始化嵌入向量以及该韵律期望向量叠加，得到初始化的输出文本表征向量。

步骤S206、对所述输入文本表征向量和所述输入文本表征向量进行解码处理，得到所述样本字符序列对应生成语句。

具体地，基于Transformer模型的解码器，整合输入文本的表征向量对初始化的输出文本表征向量进行更新后，解码器可以输出样本字符序列对应的生成语句，如源字符序列之后的下一句诗句，同时softmax层可以得到生成语句中各个字对应的预测概率。

步骤S207、根据所述生成语句的韵律信息和所述后一句诗词的韵律信息计算损失值，根据所述损失值调整所述诗词生成模型的参数。

根据生成语句中各个字的平仄判定各字的预测概率，得到生成语句中各个字符的平仄种类和概率；根据生成语句的韵脚的种类和韵脚的预测概率，得到生成语句的韵脚的种类和概率；因此得到诗词生成模型预测的平仄或韵脚概率分布。

该样本字符序列后一句诗词的平仄信息和/或押韵信息为真实的平仄信息和/或押韵信息，根据预设的交叉熵损失函数可以计算出损失值。

具体地，根据下式计算每个字平仄或韵脚的损失：

其中，v是字典的长度，y是真实的平仄信息或者韵脚信息，s是预测的平仄或韵脚概率分布；将各个字的平仄、韵脚和字的损失相加进行整合得到模型预测的损失值；然后通过对总的损失值进行梯度下降，使得诗句的平仄押韵控制更为精准而不牺牲诗句的流畅性和意思表达。

通过整合平仄和韵脚的损失函数，进一步提高了生成诗句的平仄押韵准确率，而不牺牲诗句的生成质量。

上述实施例提供的诗词生成模型的训练方法，通过将所述训练样本包括样本字符序列，以及所述样本字符序列的后一句诗词，所述后一句诗词和所述样本字符序列的韵律相匹配，将所述样本字符序列的字符信息、句子信息、位置信息的嵌入向量和所述样本字符序列的韵律嵌入向量叠加，得到综合嵌入向量；并对所述综合嵌入向量进行编码处理，得到输入文本表征向量，对所述后一句诗词的韵律信息进行嵌入处理，得到韵律期望向量；然后获取初始嵌入向量，将所述初始嵌入向量和所述韵律期望向量叠加，得到初始化的输出文本表征向量；之后对所述输入文本表征向量和所述输入文本表征向量进行解码处理，得到所述样本字符序列对应生成语句；最后根据所述生成语句的韵律信息和所述后一句诗词的韵律信息计算损失值，根据所述损失值调整所述诗词生成模型的参数。使得诗句的平仄押韵控制更为精准而不牺牲诗句的流畅性和意思表达。

请参照图5，图5为本申请实施例提供的一种韵律控制的诗词生成装置的示意性框图。

如图5所示，该韵律控制的诗词生成装置300，包括：向量叠加模块301，编码模块302，向量叠加模块303和解码模块304。

向量叠加模块301，用于获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量。

编码模块302，用于对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

向量叠加模块303，用于获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量。

解码模块304，用于对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

在一实施例中，所述向量叠加模块303，还用于获取初始化字符序列，对所述初始化字符序列进行嵌入处理，得到所述初始化字符序列的嵌入向量；获取平仄控制信息和/或押韵控制信息，对所述平仄控制信息和/或押韵控制信息进行嵌入处理，得到所述平仄控制信息和/或押韵控制信息各自的嵌入向量；将所述初始化字符序列的嵌入向量，以及所述平仄控制信息和/或押韵控制信息各自的嵌入向量叠加。

请参照图6，图6为本申请实施例提供的一种诗词生成模型的训练装置400的示意性框图。

如图6所示，该诗词生成模型的训练装置400，包括：获取模块401、向量叠加模块402、编码模块403、嵌入处理模块404、向量叠加模块405、解码模块406和调整模块407。

获取模块401，用于获取训练样本，所述训练样本包括样本字符序列，以及所述样本字符序列的后一句诗词，所述后一句诗词和所述样本字符序列的韵律相匹配。

向量叠加模块402，用于将所述样本字符序列的字符信息、句子信息、位置信息的嵌入向量和所述样本字符序列的韵律嵌入向量叠加，得到综合嵌入向量。

编码模块403，用于对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

嵌入处理模块404，用于对所述后一句诗词的韵律信息进行嵌入处理，得到韵律期望向量

向量叠加模块405，用于获取初始嵌入向量，将所述初始嵌入向量和所述韵律期望向量叠加，得到初始化的输出文本表征向量。

解码模块406，用于对所述输入文本表征向量和所述输入文本表征向量进行解码处理，得到所述样本字符序列对应生成语句。

调整模块407，用于根据所述生成语句的韵律信息和所述后一句诗词的韵律信息计算损失值，根据所述损失值调整所述诗词生成模型的参数。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述欺诈识别方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。

请参阅图7，图7为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端设备或服务器。

如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种韵律控制的诗词生成方法或诗词生成模型的训练方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种韵律控制的诗词生成方法或诗词生成模型的训练方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量；

对所述综合嵌入向量进行编码处理，得到输入文本表征向量；

获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量；

对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

在一个实施例中，所述处理器在实现时所述韵律嵌入向量包括平仄嵌入向量和/或押韵嵌入向量，用于实现：

获取初始化字符序列，对所述初始化字符序列进行嵌入处理，得到所述初始化字符序列的嵌入向量；

获取平仄控制信息和/或押韵控制信息，对所述平仄控制信息和/或押韵控制信息进行嵌入处理，得到所述平仄控制信息和/或押韵控制信息各自的嵌入向量；

将所述初始化字符序列的嵌入向量，以及所述平仄控制信息和/或押韵控制信息各自的嵌入向量叠加。

在一个实施例中，所述处理器在实现时所述获取平仄控制信息和/或押韵控制信息，用于实现：

获取用户输入的目标语句，根据所述目标语句确定平仄控制信息和/或押韵控制信息，所述目标语句和用户期望的生成语句具有相同的韵律规则。

在一个实施例中，所述处理器在实现时所述对所述综合嵌入向量进行编码处理，得到输入文本表征向量，用于实现：

基于包括BERT模型的编码器，对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

在一个实施例中，所述处理器在实现时所述对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句，用于实现：

基于Transformer解码器，通过注意力机制整合所述输入文本表征向量对所述初始化的输出文本表征向量逐字更新，以得到所述源字符序列对应的生成语句。

其中，在另一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取训练样本，所述训练样本包括样本字符序列，以及所述样本字符序列的后一句诗词，所述后一句诗词和所述样本字符序列的韵律相匹配；

将所述样本字符序列的字符信息、句子信息、位置信息的嵌入向量和所述样本字符序列的韵律嵌入向量叠加，得到综合嵌入向量；

对所述综合嵌入向量进行编码处理，得到输入文本表征向量；

对所述后一句诗词的韵律信息进行嵌入处理，得到韵律期望向量；

获取初始嵌入向量，将所述初始嵌入向量和所述韵律期望向量叠加，得到初始化的输出文本表征向量；

对所述输入文本表征向量和所述输入文本表征向量进行解码处理，得到所述样本字符序列对应生成语句；

根据所述生成语句的韵律信息和所述后一句诗词的韵律信息计算损失值，根据所述损失值调整所述诗词生成模型的参数。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请韵律控制的诗词生成方法或诗词生成模型的训练方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种韵律控制的诗词生成方法，其特征在于，包括：

获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量；

对所述综合嵌入向量进行编码处理，得到输入文本表征向量；

获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量；

对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

2.如权利要求1所述的韵律控制的诗词生成方法，其特征在于，所述韵律嵌入向量包括平仄嵌入向量和/或押韵嵌入向量；

所述诗词生成方法还包括：

对所述源字符序列的平仄信息进行嵌入处理，得到平仄嵌入向量；和/或

对所述源字符序列的押韵信息进行嵌入处理，得到押韵嵌入向量；

所述将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，包括：

将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量以及所述平仄嵌入向量和/或押韵嵌入向量叠加。

3.如权利要求2所述的韵律控制的诗词生成方法，其特征在于，所述获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加包括：

获取初始化字符序列，对所述初始化字符序列进行嵌入处理，得到所述初始化字符序列的嵌入向量；

获取平仄控制信息和/或押韵控制信息，对所述平仄控制信息和/或押韵控制信息进行嵌入处理，得到所述平仄控制信息和/或押韵控制信息各自的嵌入向量；

将所述初始化字符序列的嵌入向量，以及所述平仄控制信息和/或押韵控制信息各自的嵌入向量叠加。

4.如权利要求3所述的韵律控制的诗词生成方法，其特征在于，所述获取平仄控制信息和/或押韵控制信息，包括：

获取用户输入的目标语句，根据所述目标语句确定平仄控制信息和/或押韵控制信息，所述目标语句和用户期望的生成语句具有相同的韵律规则。

5.如权利要求1所述的韵律控制的诗词生成方法，其特征在于，所述对所述综合嵌入向量进行编码处理，得到输入文本表征向量，包括：

基于包括BERT模型的编码器，对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

6.如权利要求5所述的韵律控制的诗词生成方法，其特征在于，所述对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句，包括：

基于Transformer解码器，通过注意力机制整合所述输入文本表征向量对所述初始化的输出文本表征向量逐字更新，以得到所述源字符序列对应的生成语句。

7.一种诗词生成模型的训练方法，其特征在于，包括：

获取训练样本，所述训练样本包括样本字符序列，以及所述样本字符序列的后一句诗词，所述后一句诗词和所述样本字符序列的韵律相匹配；

将所述样本字符序列的字符信息、句子信息、位置信息的嵌入向量和所述样本字符序列的韵律嵌入向量叠加，得到综合嵌入向量；

对所述综合嵌入向量进行编码处理，得到输入文本表征向量；

对所述后一句诗词的韵律信息进行嵌入处理，得到韵律期望向量；

获取初始嵌入向量，将所述初始嵌入向量和所述韵律期望向量叠加，得到初始化的输出文本表征向量；

对所述输入文本表征向量和所述输入文本表征向量进行解码处理，得到所述样本字符序列对应生成语句；

根据所述生成语句的韵律信息和所述后一句诗词的韵律信息计算损失值，根据所述损失值调整所述诗词生成模型的参数。

8.一种韵律控制的诗词生成装置，其特征在于，所述韵律控制的诗词生成装置包括：

向量叠加模块，用于获取源字符序列，将所述源字符序列的字符信息、句子信息、位置信息的嵌入向量和所述源字符序列的韵律嵌入向量叠加，得到综合嵌入向量。

编码模块，用于对所述综合嵌入向量进行编码处理，得到输入文本表征向量。

向量叠加模块，用于获取初始嵌入向量和韵律控制信息，将所述初始嵌入向量和所述韵律控制信息的嵌入向量叠加，得到初始化的输出文本表征向量。

解码模块，用于对所述输出文本表征向量和所述输入文本表征向量进行解码处理，以得到所述源字符序列对应的生成语句。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的韵律控制的诗词生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的韵律控制的诗词生成方法的步骤。

Images