CN109670185B - 基于人工智能的文本生成方法和装置 - Google Patents

Abstract

本申请提出一种基于人工智能的文本生成方法、装置、计算机设备以及可读存储介质，其中，方法包括：对上文语句进行编码，得到上文语句的隐状态，分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。该方法分别根据上文语句的语义和韵律，对上文语句进行编码得到的隐状态进行至少两次解码，使得生成的下文语句能同时满足语义和韵律的限制，从而使生成的下文语句更加具有诗意，从而满足了用户的需求。

Description

基于人工智能的文本生成方法和装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的文本生成方法、装置、计算机设备及存储介质。

背景技术

随着互联网技术以及自然语言处理技术的快速发展，自然语言处理技术已成为计算机科学领域与人工智能领域中的一个重要研究方向，能够实现人与计算机之间用自然语言进行有效地通信。例如，在中国古诗生成过程中，确定第一句诗后，可以通过机器学习的方法从模型中预测得到后面几句诗。

现有技术中，大多采用编码器-解码器(Encoder-Decoder)模型生成诗歌，但是，在诗歌生成的过程中只注重上下文一致性的原则，生成的诗句过于死板，无法满足用户要求。

发明内容

本申请提出了一种基于人工智能的文本生成方法、装置、计算机设备及存储介质，通过分别根据上文语句的语义和韵律，对上文语句进行编码得到的隐状态进行至少两次解码，使得生成的下文语句能同时满足语义和韵律的限制，以解决现有技术中诗歌生成的过程没有考虑诗歌生成中语义和韵律的限制，从而导致生成的诗歌无法满足韵律与语义的要求的技术问题。

本申请第一方面实施例提出了一种基于人工智能的文本生成方法，包括：

对上文语句进行编码，得到所述上文语句的隐状态；

分别根据所述上文语句的语义和韵律，对所述上文语句的隐状态进行至少两次解码，得到与所述上文语句匹配的下文语句。

本申请实施例的基于人工智能的文本生成方法，通过对上文语句进行编码，得到上文语句的隐状态；分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。该方法分别根据上文语句的语义和韵律，对上文语句进行编码得到的隐状态进行至少两次解码，使得生成的下文语句能同时满足语义和韵律的限制，从而使生成的下文语句更加具有诗意，进而满足了用户的需求。

本申请第二方面实施例提出了一种基于人工智能的文本生成装置，包括：

编码模块，用于对上文语句进行编码，得到所述上文语句的隐状态；

解码模块，用于分别根据所述上文语句的语义和韵律，对所述上文语句的隐状态进行至少两次解码，得到与所述上文语句匹配的下文语句。

本申请实施例的基于人工智能的文本生成装置，通过对上文语句进行编码，得到上文语句的隐状态；分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。该方法分别根据上文语句的语义和韵律，对上文语句进行编码得到的隐状态进行至少两次解码，使得生成的下文语句能同时满足语义和韵律的限制，从而使生成的下文语句更加具有诗意，进而满足了用户的需求。

本申请第三方面实施例提出了一种计算机设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的文本生成方法。

本申请第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，实现如上述实施例中所述的文本生成方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种基于人工智能的文本生成方法的流程示意图；

图2；为本申请实施例所提供的一种基于人工智能文本生成方法的模型图；

图3为本申请实施例所提供的一种Encoder-Decoder框架图；

图4为本申请实施例所提供的另一种基于人工智能的文本生成方法的流程示意图；

图5为本申请实施例所提供的又一种基于人工智能的文本生成方法的流程示意图；

图6为本申请实施例所提供的一种基于人工智能的文本生成装置的结构示意图；

图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

现有技术中，基于人工智能的文本生成方法自动生成诗歌时，是通过Encoder-Decoder模型实现的，整个生成诗歌的过程没有考虑诗歌生成中韵律的限制，只是一次解码的生成方法。因此，生成的诗歌不满足韵律与语义的要求，无法满足用户的需求。

针对上述现有技术中的问题，本申请实施例提出了一种基于人工智能的文本生成方法，通过对上文语句进行编码，得到上文语句的隐状态；分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。由此，生成的诗歌满足了韵律与语义的限制，更加具有诗意。

下面参考附图描述本申请实施例的基于人工智能的文本生成方法、装置、计算机设备及存储介质。

图1为本申请实施例所提供的一种基于人工智能的文本生成方法的流程示意图。

本申请实施例以该基于人工智能的文本生成方法被配置于基于人工智能的文本生成装置中来举例说明，该基于人工智能的文本生成装置可以应用于任一计算机设备中，以使该计算机设备可以执行文本生成方法。

其中，计算机设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图1所示，该基于人工智能的文本生成方法包括以下步骤：

步骤101，对上文语句进行编码，得到上文语句的隐状态。

具体地，为了使计算机设备能够识别用户输入的上文语句，在探测到用户输入上文语句后，首先利用编码器对上文语句中每一个词语进行编码，对上文语句进行编码后得到对应每一个词语的编码结果，该编码结果即为该词语的隐状态。

其中，所谓隐状态，是指上文语句经过编码后，无法从编码的结果直接识别该词语，故称为隐状态。例如，上文语句中的一个词语：彩云，通过一种可行的编码机制，如，二进制编码，利用2个字节的二进制数，可得到词语“彩云”的编码结果为：00110001 00000111，因该二进制编码结果无法直接识别为词语“彩云”，故称为“彩云”的隐状态。

需要说明的是，计算机设备可以通过语音识别的方法，探测到用户通过声音描述的上文语句，进而对识别得到的上文语句进行编码；也可以通过在人机交互界面，探测用户输入的上文语句，进而触发对该上文语句进行编码的操作。本申请实施例中对计算机设备获取上文语句的方法不做限制。

作为一种可能的实现方式，可以采用双向门循环单元(Gated Recurrent Unit,GRU)、循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long ShortTerm Memory,LSTM)对上文语句进行编码，得到上文语句的隐状态。

需要说明的是，上述编码方法仅作为示例，本申请中对上文语句进行编码时不限于上述编码方法，具体的编码过程均属于现有技术，在此不再赘述。

步骤102，分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。

可以理解为，根据诗歌的上文语句生成下文语句时，要确保生成的诗歌同时满足语义和韵律的限制，因此，本申请实施例中需要分别根据上文语句的语义和韵律，对上文语句中各文本位置的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。

作为一种可能的实现方式，根据上文语句的语义，采用语义解码器对上文语句中各文本位置的隐状态进行解码，得到下文语句的隐状态，进而，对下文语句对应文本位置的隐状态进行采样，生成满足语义限制的中间文本。例如，可以采用GRU网络对上文语句中各文本位置的隐状态进行解码，进而得到下文语句对应文本位置的隐状态。

进一步的，将上文语句中各文本位置的隐状态和生成的满足语义限制的对应文本位置的中间文本至少一次的输入另一个语义解码器进行解码，使得输出的隐状态满足韵律的限制，进而根据输出的下文语句各文本位置的隐状态进行采样，最终得到满足语义和韵律限制的下文语句。

作为另一种可能的实现方式，根据上文语句的韵律，采用语义解码器对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的隐状态，进而，对下文语句对应文本位置的隐状态进行采样，生成满足韵律限制的中间文本。

进一步的，将上文语句中各文本位置的隐状态和生成的满足韵律限制的中间文本输入另一个语义解码器进行解码，使得输出的隐状态满足语义的限制，进而根据输出的隐状态进行采样，得到满足语义和韵律限制的下文语句。

作为一种示例，参见图2，图2为本申请实施例所提供的一种基于人工智能文本生成方法的模型图。如图2所示，编码器Encoder(ε)和第一阶段采用的解码器Decoder(D₁)可以被看做一个Encoder-Decoder模型。

采用编码器Encoder(ε)进行编码阶段，对给定的7个字符的输入文本x_i(i<＝7)使用双相GRU网络把输入的上文语句的词语x_i进行编码成隐状态h_i，具体可通过公式h_i＝biGru(x_i,h_i-1)实现，其中，biGru()为双向GRU网络编码，h_i-1是对词语x_i之前的词语x_i-1编码得到的隐状态。在解码的第一阶段D₁，使用另一个GRU网络对隐状态h_i进行解码，生成另一个隐状态s’，进一步，对隐状态s’进行采样，得到中间文本y’，其中，s’＝{s’₁,s’₂,…,s’₇}，y’＝{y’₁,y’₂,…,y’₇}。在解码的第二阶段D₂，将第一阶段D₁输出的中间文本y’输入到第二阶段的解码器Decoder(D₂)中以便进一步打磨，生成同时满足语义和韵律的诗句y，其中y＝{y₁,y₂,…,y₇}。

其中，在每一个步骤t中，y_t定义公式(1)，具体如下：

其中，argmax()是使得P(y|s_t,A_t,C_t,y_t-1)取得最大值所对应的变量y，y_t为输出的下文语句的第t个词语，s_t为在D₁阶段生成的隐状态，A_t为ε和D₂之间的注意力机制，C_t是一个把s_t和中间文本y’映射成上下文的注意力模型，定义为

其中，

并且，/>

Wβ和/>

均为可训练参数，tanh()为双曲正切函数。

作为一种可能的实现方式，输出的下文语句各词语y_t的概率可以定义为如下公式(2)：

P(y|s_t,A_t|,C_t,y_t-1)＝g(y|s_t,A_t,C_t,y_t-1) (2)

其中，y为同时满足语义和韵律的诗句，y_t-1为输出的下文语句的第t-1个词语，s_t为在D₁阶段生成的隐状态，A_t为ε和D₂之间的注意力机制，C_t是一个把s_t和中间文本y’映射成上下文的注意力模型。

本申请实施例的基于人工智能的文本生成方法，通过对上文语句进行编码，得到上文语句的隐状态；分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。该方法分别根据上文语句的语义和韵律，对上文语句进行编码得到的隐状态进行至少两次解码，使得生成的下文语句能同时满足语义和韵律的限制，从而使生成的下文语句更加具有诗意，进而满足了用户的需求。

作为一种示例，参见图3，图3为本申请实施例提供的一种Encoder-Decoder框架图，如图3所示，该Encoder-Decoder框架包括一个Encoder，两个Decoder。通过该框架图分别根据上文语句的语义和韵律，对上文语句中各文本位置的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。因此，至少有两种文本的生成方法：先语义再韵律和先韵律再语义。

具体地，上文语句先采用Encoder对上文语句中每一个词进行编码，得到上文语句中各文本位置的隐状态。在先考虑语义再打磨韵律的方法中，采用第一阶段Decoder对上文语句中各文本位置的隐状态进行解码，进而在词表库对词汇进行多项式采样，生成一个满足语义限制的中间文本；第二阶段Decoder利用已经学习到韵律与隐状态之间的对应关系的门判别器，控制解码的输出，进而对第二次解码后的隐状态进行提炼以生成满足韵律的诗句。

在先考虑韵律再打磨语义的方法中，同样采用第一阶段Decoder对上文语句中各文本位置的隐状态进行解码，进而在上文语句韵律匹配的词汇库中进行限制采样，生成一个满足韵律限制的中间文本；然后，将上文语句中各文本位置的隐状态和生成的满足韵律限制中间文本输入第二阶段Decoder中，进而第二阶段的Decoder对输出的隐状态进行采样，进而打磨得到满足语义的诗句。

为了清楚说明上述示例中提及的先语义再韵律的方法，本实施例提供了另一种基于人工智能的文本生成方法，图4为本实施例提供了另一种基于人工智能的文本生成方法的流程示意图。

如图4所示，该基于人工智能的文本生成方法可以包括以下步骤：

步骤201，对上文语句进行编码，得到上文语句的隐状态。

本申请实施例中，步骤201的实现过程参见上述步骤101，在此不再赘述。

步骤202，采用第一语义解码器，对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第一隐状态。

其中，所谓第一语义解码器，是用于对上文语句中各文本位置的隐状态进行解码，生成满足语义的下文语句对应文本位置的第一隐状态，而本实施例中，为了和其它解码器相区别，故称为第一语义解码器。上文语句中各文本位置的隐状态，是对上文语句进行切词，以划分各文本位置后，对上文语句各文本位置上的文本进行编码得到的隐状态。

第一隐状态，是对上文语句中各文本位置的隐状态进行解码得到的，无法从解码的结果直接识别该词语，故称为隐状态。而本实施例中，为了和其它过程中的隐状态区别，故称为第一隐状态。

作为一种可能的实现方式，可以采用GRU网络对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第一隐状态。

步骤203，根据下文语句对应文本位置的第一隐状态进行采样，以得到下文语句对应文本位置的第一中间文本。

具体地，根据步骤202中得到的下文语句对应文本位置的的第一隐状态，进行采样，进而得到下文语句对应文本位置的第一中间文本。例如，可以采用多项式分布的采样方法进行采样。

作为一种可能的实现方式，可通过复制机制计算得到词汇预测分布，确定处于第一隐状态对应文本位置上的词汇，即可得到下文语句对应文本位置上的第一中间文本，具体地，可根据下文语句对应文本位置的第一隐状态，结合语境即上下文向量，计算得到词库词汇分布、词库词汇分布概率和关键词分布，进而计算得到词汇预测分布，确定处于第一隐状态对应文本位置上的词汇，进而得到下文语句对应文本位置的第一中间文本。

首先，针对第n个文本位置对应的第一隐状态S_n，根据S_n，计算得到在第n个文本位置上的词库词汇分布

其中，词库词汇分布/>

用于表示在当前文本位置上，词库中各个词的概率，通常日常使用的高频词概率较高。进一步的，根据第n个文本位置的上下文向量C_n计算得到在第n个文本位置上符合词库词汇分布的概率/>

再根据注意力分布a_n，计算得到在第n个文本位置上的关键词分布/>

继续，根据概率

对词库词汇分布/>

和关键词分布/>

进行加权计算，代入公式

得到在第n个文本位置上词汇预测分布o_n，其中，该词汇预测分布o_n指示词库中各个词被选中的概率。本申请中，由于通过概率，对词库词汇和关键词进行加权，确定最终的词汇分布，使得词汇分布同时满足上文语句的相关的语义需求。

最终，根据词汇预测分布o_n，在词库中采样，可从词库中选择概率最高的词汇，作为当前位置上的词汇，从而确定第一中间文本在第n个文本位置上的词汇。

步骤204，将上文语句中各文本位置的隐状态，以及将对应文本位置的第一中间文本的词向量输入第二语义解码器，得到下文文本对应文本位置的第二隐状态。

需要说明的是，在自然语言处理中，自然语言文本是由一堆符号顺序拼接而成的不定长序列，很难直接转变为计算机所能理解的数值型数据，因而无法直接进行进一步的计算处理。词向量由于包含了丰富的信息，使得深度学习能够处理绝大多数自然语言处理应用。因此，本申请实施例中，首先对第一中间文本中各词进行字符层面的编码，得到各词的词向量。

其中，将第一中间文本中各词生成词向量的方法有很多，但是这些方法都依照一个思想，即任一词的含义可以用它的周边词来表示。目前，生成词向量的方式可分为：基于统计的方法和基于语言模型的方法。其中，基于语言模型生成词向量的方法是通过训练神经网络语言模型NNLM(neural network language model)，词向量作为语言模型的附带产出。例如，可通过词袋模型对第一中间文本中各词进行字符编码，得到各词向量。本申请实施例中生成词向量的方法可以参考现有技术，在此不再赘述。

进一步地，将步骤201中得到的上文语句中各文本位置的隐状态，以及将对应文本位置的第一中间文本进行字符编码得到的词向量输入第二语义解码器，得到下文文本对应文本位置的第二隐状态。

其中，第二语义解码器不同于第一语义解码器，其输出层设置有门判别器，并且门判别器，已经学习得到韵律与第二隐状态的取值之间的对应关系，用于输出取值与上文语句的韵律具有对应关系的第二隐状态。

作为一种可能的实现方式，门判别器可以定义为如下公式(3)：

gate_t＝soft max(s_t) (3)

其中，gate_t为门判别器，s_t为第一隐状态，softmax()为归一化函数。

具体地，由于第二语义解码器的输出层设置有门判别器，因此将上文语句中各文本位置的隐状态以及将对应文本位置的第一中间文本的词向量输入第二语义解码器，能够得到具有韵律的第二隐状态。

步骤205，根据下文语句各文本位置的第二隐状态进行采样，以得到下文语句对应文本位置的第一预测文本。

具体地，根据步骤204中得到的上文语句的韵律具有对应关系的第二隐状态，在上文语句韵律匹配的词库中进行采样，从而确定下文语句在文本位置上的词汇，根据确定的每个文本位置上的词汇，将词汇连接成一句完整的语句，进而得到下文语句对应文本位置的第一预测文本。

需要说明的是，对根据每一个第二隐状态进行采样，确定下文语句在文本位置上的词汇的方法的实现过程参见步骤203，在此不再赘述。

本申请实施例的基于人工智能的文本生成方法，通过对上文语句进行编码，得到上文语句的隐状态，采用第一语义解码器，对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第一隐状态，根据下文语句对应文本位置的第一隐状态进行采样，得到下文语句对应文本位置的第一中间文本，将上文语句中各文本位置的隐状态以及将对应文本位置的第一中间文本的词向量输入第二语义解码器，得到下文文本对应文本位置的第二隐状态，最终根据下文语句各文本位置的第二隐状态进行采样，以得到下文语句对应文本位置的第一预测文本。该方法通过先生成满足语义的下文语句对应文本位置的第一中间文本，进而对该中间文本进行解码，得到满足韵律的下文语句对应文本位置的第一预测文本，从而得到同时满足语义和韵律的语句，使得生成的诗歌更加流畅、具有诗意。

为了清楚说明上述示例中提及的先韵律再语义的方法，本实施例提供了又一种基于人工智能的文本生成方法，图5为本实施例提供了又一种基于人工智能的文本生成方法的流程示意图。

如图5所示，该基于人工智能的文本生成方法可以包括以下步骤：

步骤301，对上文语句进行编码，得到上文语句的隐状态。

本申请实施例中，步骤201的实现过程参见上述步骤101，在此不再赘述。

步骤302，采用第三语义解码器，对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第三隐状态。

其中，第三语义解码器，是用于对上文语句中各文本位置的隐状态进行解码，生成满足韵律的下文语句对应文本位置的第三隐状态。而本实施例中，为了和其它解码器相区别，故称为第三语义解码器。其中，上文语句中各文本位置的隐状态，是对上文语句进行切词，以划分各文本位置后，对上文语句各文本位置上的文本进行编码得到的隐状态。

本申请实施例中，采用第三语义解码器，对上文语句中各文本位置的隐状态进行解码时，为了得到更加具有诗意的语句，对首个文本位置的第三隐状态的生成过程和其余文本位置的第三隐状态生成过程存在一定差异性。

具体来说，首个文本位置的第三隐状态的生成过程沿用了相关技术中的解码方式，直接生成对应文本位置的第三隐状态。

步骤303，根据下文语句对应文本位置的第三隐状态，在上文语句韵律匹配的词库中进行采样，以得到下文语句对应文本位置的第二中间文本。

具体地，根据步骤302中得到的下文语句对应文本位置的第三隐状态，在上文语句韵律匹配的词库中进行采样，得到对应文本位置的具有韵律限制的第二中间文本。例如，可以采用限制采样的方法在上文语句韵律匹配的词库中进行采样。

步骤304，将上文语句中各文本位置的隐状态，以及将对应文本位置的第二中间文本的词向量输入第四语义解码器，得到下文文本对应文本位置的第四隐状态。

本申请实施例中，对第二中间文本进行字符编码得到各词向量的方法，参见上述实施例中步骤304所述，在此不再赘述。

进一步地，将步骤301中得到的上文语句中各文本位置的隐状态以及将对应文本位置的第二中间文本进行字符编码得到的词向量输入第四语义解码器，得到下文文本对应文本位置的第四隐状态。

其中，第四语义解码器不同于上述所述的语义解码器，用于输出与上文语句中各文本位置的语义具有对应关系的第四隐状态。

步骤305，根据下文语句各文本位置的第四隐状态进行采样，得到下文语句对应文本位置的第二预测文本。

具体地，根据步骤304中得到的上文语句中各文本位置的语义具有对应关系的第四隐状态进行采样，得到符合语义的词汇，从而确定下文语句在文本位置上的词汇，根据确定的每个文本位置上的词汇，将词汇连接成一句完整的语句，进而得到同时满足韵律和语义的下文语句。

作为一种可能的实现方式，可以采用集束搜索(beam search)方式对词汇进行采样。

本申请实施例的基于人工智能的文本生成方法，通过对上文语句进行编码，得到上文语句的隐状态，采用第三语义解码器，对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第三隐状态，根据下文语句对应文本位置的第三隐状态，在上文语句韵律匹配的词库中进行采样，以得到下文语句对应文本位置第二中间文本，将上文语句中各文本位置的隐状态以及对应文本位置的第二中间文本的词向量输入第四语义解码器，得到下文文本对应文本位置的第四隐状态，根据下文语句各文本位置的第四隐状态进行采样，以得到下文语句对应文本位置的第二预测文本。该方法通过先生成满足韵律的对应位置的第二中间文本，进而对该中间文本进行解码，得到满足语义的下文语句对应文本位置的第二预测文本，从而得到同时满足语义和韵律的语句，使得生成的诗歌更加流畅、具有诗意。

为了实现上述实施例，本申请还提出一种基于人工智能的文本生成装置。

图6为本申请实施例提供的一种基于人工智能的文本生成装置的结构示意图。

如图6所示，该基于人工智能的文本生成装置100，包括：编码模块110和解码模块120。

编码模块110，用于对上文语句进行编码，得到上文语句的隐状态。

解码模块120，用于分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。

作为一种可能的实现方式，解码模块120，具体用于：

采用第一语义解码器，对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第一隐状态；其中，上文语句中各文本位置的隐状态，是对上文语句进行切词，以划分各文本位置后，对上文语句各文本位置上的文本进行编码得到的隐状态。

根据下文语句对应文本位置的第一隐状态进行采样，以得到下文语句对应文本位置的第一中间文本；

将上文语句中各文本位置的隐状态，以及将对应文本位置的第一中间文本的词向量输入第二语义解码器，得到下文文本对应文本位置的第二隐状态；第二语义解码器的输出层设置有门判别器；门判别器，已学习得到韵律与第二隐状态的取值之间的对应关系，用于输出取值与上文语句的韵律具有对应关系的第二隐状态；

根据下文语句各文本位置的第二隐状态进行采样，以得到下文语句对应文本位置的第一预测文本。

作为另一种可能的实现方式，解码模块120，还可以包括：

第一计算单元，用于针对第n个文本位置对应的第一隐状态S_n，根据S_n，计算得到在第n个文本位置上的词库词汇分布

根据第n个文本位置的上下文向量C_n计算得到在第n个文本位置上符合所述词库词汇分布的概率/>

第二计算单元，用于根据注意力分布a_n，计算得到在第n个文本位置上的关键词分布

第三计算单元，用于根据概率

对词库词汇分布/>

和关键词分布/>

进行加权计算，得到在第n个文本位置上词汇预测分布o_n。

确定单元，用于根据词汇预测分布o_n，在词库中采样，确定第一中间文本在第n个文本位置上的第一中间文本。

作为另一种可能的实现方式，解码模块120，具体用于：

采用第三语义解码器，对上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第三隐状态；其中，上文语句中各文本位置的隐状态，是对上文语句进行切词，以划分各文本位置后，对上文语句各文本位置上的文本进行编码得到的隐状态。根据下文语句对应文本位置的第三隐状态，在上文语句韵律匹配的词库中进行采样，以得到下文语句对应文本位置的第二中间文本；

将上文语句中各文本位置的隐状态，以及将对应文本位置的第二中间文本的词向量输入第四语义解码器，得到下文文本对应文本位置的第四隐状态；

根据下文语句对应文本位置第四隐状态进行采样，以得到下文语句对应文本位置的第二预测文本。

作为另一种可能的实现方式，解码模块120，还可以包括：

采样单元，用于根据下文语句各文本位置的第四隐状态，采用集束搜索方式在词库中进行采样。

本申请实施例的基于人工智能的文本生成装置，通过对上文语句进行编码，得到上文语句的隐状态；分别根据上文语句的语义和韵律，对上文语句的隐状态进行至少两次解码，得到与上文语句匹配的下文语句。该方法分别根据上文语句的语义和韵律，对上文语句进行编码得到的隐状态进行至少两次解码，使得生成的下文语句能同时满足语义和韵律的限制，从而使生成的下文语句更加具有诗意，进而满足了用户的需求。

需要说明的是，前述对于人工智能的文本生成方法实施例的解释说明也适用于该实施例的于人工智能的文本生成装置，此处不再赘述。

为了实现上述实施例，本申请还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的文本生成方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当所述存储介质中的指令由处理器执行时，实现如上述实施例中所述的文本生成方法。

图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于人工智能的文本生成方法，其特征在于，所述方法包括以下步骤：

对上文语句进行编码，得到所述上文语句的隐状态；

分别根据所述上文语句的语义和韵律，对所述上文语句的隐状态进行至少两次解码，得到与所述上文语句匹配的下文语句，包括：

采用第一语义解码器，对所述上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第一隐状态；其中，所述上文语句中各文本位置的隐状态，是对所述上文语句进行切词，以划分各文本位置后，对所述上文语句各文本位置上的文本进行编码得到的隐状态；

根据所述下文语句对应文本位置的第一隐状态进行采样，以得到所述下文语句对应文本位置的第一中间文本；

将所述上文语句中各文本位置的隐状态，以及将对应文本位置的第一中间文本的词向量输入第二语义解码器，得到所述下文语句对应文本位置的第二隐状态；所述第二语义解码器的输出层设置有门判别器；所述门判别器，已学习得到韵律与第二隐状态的取值之间的对应关系，用于输出取值与所述上文语句的韵律具有对应关系的第二隐状态；

根据所述下文语句各文本位置的第二隐状态进行采样，以得到所述下文语句对应文本位置的第一预测文本。

2.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述下文语句对应文本位置的第一隐状态进行采样，以得到所述下文语句对应文本位置的第一中间文本，包括：

针对第n个文本位置对应的第一隐状态S_n，根据S_n，计算得到在第n个文本位置上的词库词汇分布

根据第n个文本位置的上下文向量C_n计算得到在第n个文本位置上符合所述词库词汇分布的概率/>

根据注意力分布a_n，计算得到在第n个文本位置上的关键词分布

根据所述概率

对所述词库词汇分布/>

和所述关键词分布/>

进行加权计算，得到在第n个文本位置上词汇预测分布o_n；

根据所述词汇预测分布o_n，在所述词库中采样，确定在第n个文本位置上的所述第一中间文本。

3.根据权利要求1所述的文本生成方法，其特征在于，所述分别根据所述上文语句的语义和韵律，对所述上文语句的隐状态进行至少两次解码，得到与所述上文语句匹配的下文语句，还包括：

采用第三语义解码器，对所述上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第三隐状态；其中，所述上文语句中各文本位置的隐状态，是对所述上文语句进行切词，以划分各文本位置后，对所述上文语句各文本位置上的文本进行编码得到的隐状态；

根据所述下文语句对应文本位置的第三隐状态，在所述上文语句韵律匹配的词库中进行采样，以得到所述下文语句对应文本位置的第二中间文本；

将所述上文语句中各文本位置的隐状态，以及将对应文本位置的第二中间文本的词向量输入第四语义解码器，得到所述下文语句对应文本位置的第四隐状态；

根据所述下文语句各文本位置的第四隐状态进行采样，以得到所述下文语句对应文本位置的第二预测文本。

4.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述下文语句各文本位置的第四隐状态进行采样，包括：

根据所述下文语句各文本位置的第四隐状态，采用集束搜索方式在词库中进行采样。

5.一种基于人工智能的文本生成装置，其特征在于，所述装置包括：

编码模块，用于对上文语句进行编码，得到所述上文语句的隐状态；

解码模块，用于分别根据所述上文语句的语义和韵律，对所述上文语句的隐状态进行至少两次解码，得到与所述上文语句匹配的下文语句；

所述解码模块，具体用于：

采用第一语义解码器，对所述上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第一隐状态；其中，所述上文语句中各文本位置的隐状态，是对所述上文语句进行切词，以划分各文本位置后，对所述上文语句各文本位置上的文本进行编码得到的隐状态；

根据所述下文语句对应文本位置的第一隐状态进行采样，以得到所述下文语句对应文本位置的第一中间文本；

将所述上文语句中各文本位置的隐状态，以及将对应文本位置的第一中间文本的词向量输入第二语义解码器，得到所述下文语句对应文本位置的第二隐状态；所述第二语义解码器的输出层设置有门判别器；所述门判别器，已学习得到韵律与第二隐状态的取值之间的对应关系，用于输出取值与所述上文语句的韵律具有对应关系的第二隐状态；

根据所述下文语句各文本位置的第二隐状态进行采样，以得到所述下文语句对应文本位置的第一预测文本。

6.根据权利要求5所述的文本生成装置，其特征在于，所述解码模块，具体还用于：

采用第三语义解码器，对所述上文语句中各文本位置的隐状态进行解码，得到下文语句对应文本位置的第三隐状态；其中，所述上文语句中各文本位置的隐状态，是对所述上文语句进行切词，以划分各文本位置后，对所述上文语句各文本位置上的文本进行编码得到的隐状态；

根据所述下文语句对应文本位置的第三隐状态，在所述上文语句韵律匹配的词库中进行采样，以得到所述下文语句对应文本位置的第二中间文本；

将所述上文语句中各文本位置的隐状态，以及将对应文本位置的第二中间文本的词向量输入第四语义解码器，得到所述下文语句对应文本位置的第四隐状态；

根据所述下文语句各文本位置的第四隐状态进行采样，以得到所述下文语句对应文本位置的第二预测文本。

7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-4中任一所述的文本生成方法。

8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的文本生成方法。

Images