CN111444399B - 回复内容的生成方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种回复内容的生成方法、装置、设备及可读存储介质，涉及人工智能领域。该方法包括：获取第一文本内容；将第一文本内容输入语义关系生成器，输出得到语义三元组，语义三元组中包括三元文本词汇；将第一文本内容与语义三元组输入回复生成器，输出得到用于回复第一文本内容的第二文本内容。通过语义关系生成器生成三元语义关系，从而通过回复生成器对三元语义关系进行扩展生成一个完整的句子作为回复内容，由于根据三元语义关系生成的回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

Description

回复内容的生成方法、装置、设备及可读存储介质

技术领域

本申请实施例涉及人工智能领域，特别涉及一种回复内容的生成方法、装置、设备及可读存储介质。

背景技术

智能回复生成功能是指针对用户接收到的消息内容，通过人工智能技术自动生成回复内容进行候选，并当接收到对回复内容的选择时，以回复内容回复接收到的消息，如：用户接收到的消息为“我昨天去吃了人民路的日料”，则通过人工智能技术生成自动“我知道那家店”。

相关技术中，基于序列到序列SEQ2SEQ模型生成自动回复的内容，而SEQ2SEQ模型在回复内容的生成过程中，倾向于生成通用回复的内容，示意性的，SEQ2SEQ模型倾向生成如“我不知道”的回复内容。

上述回复内容的自动生成过程中，缺乏信息量，回复内容与用户接收到的消息内容相关性较差，导致生成的回复内容可应用率较低。

发明内容

本申请实施例提供了一种回复内容的生成方法、装置、设备及可读存储介质，可以提高自动生成的回复内容与用户接收到的消息内容之间的相关性。所述技术方案如下：

一方面，提供了一种回复内容的生成方法，所述方法包括：

获取第一文本内容；

将所述第一文本内容输入语义关系生成器，输出得到语义三元组，所述语义三元组中包括三元文本词汇，所述三元文本词汇用于参与构建所述回复内容，所述语义关系生成器用于对回复所述第一文本内容时的所述语义三元组进行预测；

将所述第一文本内容与所述语义三元组输入回复生成器，输出得到用于对所述第一文本内容进行回复的第二文本内容，所述回复生成器用于基于所述语义三元组构建对所述第一文本内容进行回复的内容。

另一方面，提供了一种回复内容的生成装置，所述装置包括：

获取模块，用于获取第一文本内容；

生成模块，用于将所述第一文本内容输入语义关系生成器，输出得到语义三元组，所述语义三元组中包括三元文本词汇，所述三元文本词汇用于参与构建所述回复内容，所述语义关系生成器用于对回复所述第一文本内容时的所述语义三元组进行预测；

所述生成模块，还用于将所述第一文本内容与所述语义三元组输入回复生成器，输出得到用于对所述第一文本内容进行回复的第二文本内容，所述回复生成器用于基于所述语义三元组构建对所述第一文本内容进行回复的内容。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的回复内容的生成方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的回复内容的生成方法。

另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述本申请实施例中任一所述的回复内容的生成方法。

本申请实施例提供的技术方案带来的有益效果至少包括:

针对待回复内容，首先通过语义关系生成器生成三元语义关系，从而通过回复生成器对三元语义关系进行扩展生成一个完整的句子作为回复内容，由于根据三元语义关系生成的回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性的实施例提供的回复内容的生成方法的整体实施过程示意图；

图2是本申请一个示例性实施例提供的回复内容的生成方法的流程图；

图3是本申请一个示例性实施例提供的关键词生成回复内容和三元语义关系生成回复内容的对比示意图；

图4是本申请另一个示例性实施例提供的回复内容的生成方法的流程图；

图5是本申请另一个示例性实施例提供的回复内容的生成方法的流程图；

图6是本申请一个示例性实施例提供的回复内容生成模型的结构示意图；

图7是本申请一个示例性实施例提供的回复内容的生成装置的结构框图；

图8是本申请另一个示例性实施例提供的回复内容的生成装置的结构框图；

图9是本申请一个示例性的实施例提供的服务器的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例中涉及的名词进行简单介绍：

人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自然语言处理(Nature Language Processing，NLP)：是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

语义关系：是指隐藏在句法结构之后，由词语的语义所建立起来的关系。本申请实施例中，涉及的语义关系包括主语-谓语-宾语(Subject-Predicate-Object，SPO)三元语义关系，也即，提炼出回复内容中的主谓宾三元语义关系后，根据三元语义关系构建回复内容。如：首先生成回复内容中的三元语义关系包括“我，喜欢，寿司”，则生成对应的回复内容为“我很喜欢这里的寿司”。

本申请实施例中提供了一种回复内容的生成方法，该方法至少包括如下应用场景：

第一，在聊天机器人的应用场景中，用户与聊天机器人之间进行对话，用户可以通过输入文本的方式与机器人进行对话，也可以通过口语表述的方式与机器人进行对话，以文本输入为例，根据用户输入的文本内容自动生成回复内容，由聊天机器人对回复内容进行阅读，从而实现与用户的对话；

第二，在即时通讯应用程序中，当帐号A与帐号B之间进行文本交谈时，帐号A通过服务器向帐号B发送文本内容，其中，当服务器接收到帐号A发送的文本内容时，根据文本内容自动生成回复内容，并将文本内容和回复内容同时发送至帐号B，帐号B阅读文本内容后，确定回复内容是否能够实现为向帐号A回复的内容，当接收到对回复内容的选择操作时，将回复内容回复至帐号A；

值得注意的是，上述举例中，以服务器生成回复内容发送至帐号B为例进行说明，实际操作中，该回复内容也可以帐号B的终端接收到文本内容时，由终端生成的，本申请实施例对此不加以限定。

第三，在商品购买应用程序中，购买帐号对商品进行购买后，针对购买的商品发布评价内容，服务器接收到终端上传的评价内容后，根据评价内容自动生成回复内容，并将回复内容发送至商家帐号，由商家帐号以回复内容回复购买帐号所发布的评价内容；

第四，在终端短信程序中，当终端接收到短信时，通过机器学习模型自动生成用于回复短信的回复内容，并显示在回复候选框中，当用户对回复内容进行选择并发送时，将回复内容作为对短信的回复进行发送。

上述应用场景仅为示意性的举例，本申请提供的回复内容的生成方法，能够应用于任意需要自动生成回复内容的应用场景中，本申请实施例对此不加以限定。

本申请实施例中提供的回复内容的生成方法，整体实施过程请参考图1，如图1所示，在生成回复内容的过程中，首先获取待回复的文本内容100，并将待回复的文本内容100输入语义关系生成器110，输出得到三元语义关系120，该三元语义关系120中包括主语121、谓语122以及宾语123；将待回复的文本内容100和三元语义关系120输入回复生成器130后，根据回复生成器130在三元语义关系120的基础上，构建得到回复内容140。

图2是本申请一个示例性实施例提供的回复内容的生成方法的流程图，以该方法应用于终端中为例进行说明，如图2所示，该方法包括：

步骤201，获取第一文本内容。

可选地，该第一文本内容的获取方式包括如下情况中的任意一种：

第一，本申请实施例提供的回复内容生成方法应用于服务器中时，第一文本内容为两个帐号之间进行文本内容通过服务器进行发送的，则服务器在接收到帐号A向帐号B发送的文本内容时，将该文本内容作为帐号B的第一文本内容；

第二，本申请实施例提供的回复内容生成方法应用于服务器中，第一文本内容为服务器接收到的终端发送的文本内容，如：当终端中登录的帐号A接收到帐号B发送的文本内容时，终端触发自动回复生成功能，将文本内容作为第一文本内容发送至服务器；

第三，本申请实施例提供的回复内容生成方法也可以应用于终端中，第一文本内容为终端接收到的文本内容，其中，第一文本内容可以是终端通过通信网络接收到的文本内容，也可以是终端通接收到的短信内容，当终端接收到任意形式的文本内容时，将文本内容作为第一文本内容；

第四，本申请实施例提供的回复内容生成方法还可以应用于智能机器人中，第一文本内容为智能机器人接收到的用户输入的文本内容，或，第一文本内容为智能机器人通过麦克风接收到的语音内容转换得到的文本内容。

步骤202，将第一文本内容输入语义关系生成器，输出得到语义三元组。

可选地，语义三元组中包括三元文本词汇，三元文本词汇用于参与构建回复内容。

可选地，语义关系生成器用于对回复第一文本内容时的语义三元组进行预测，语义关系生成器为预先训练得到的机器学习模型，语义关系生成器中包括第一编码器(Encoder)和第一解码器(Decoder)。

其中，第一编码器用于将输入的第一文本内容转换为向量表示，第一解码器用于根据编码器转换到向量生成预测的语义关系，第一编码器可以实现为基于长短时记忆网络(Long Short-Term Memory，LSTM)或者卷积神经网络(Convolutional Neural Networks，CNN)的编码器，第一解码器可以实现为基于LSTM或者CNN的解码器。即，将第一文本内容输入第一编码器，输出得到第一语义向量，将第一语义向量输入第一解码器，输出得到预测概率最高的三元文本词汇，根据三元文本词汇确定三元语义关系。

步骤203，将第一文本内容和语义三元组输入回复生成器，输出得到第二文本内容。

可选地，回复生成器为预先训练得到的机器学习模型，回复生成器中包括第二编码器、第三编码器和第二解码器。

其中，第二编码器用于将输入的第一文本内容转换为向量表示，第三编码器用于将三元语义关系转换为向量表示，第二解码器用于融合第二编码器和第三编码器生成的语义向量，并得到对应的第二文本内容。第二编码器可以实现为基于LSTM或者CNN的编码器，第三编码器可以实现为基于CNN的编码器，第二解码器可以实现为基于注意力机制(Attention机制)和覆盖率机制(Coverage机制)的解码器。即，将第一文本内容输入第二编码器，输出得到第二语义向量；将三元语义关系输入第三编码器，输出得到第三语义向量，将第二语义向量和第三语义向量输入第二解码器，输出得到第二文本内容。

综上所述，本申请实施例中提供的回复内容的生成方法，针对待回复内容，首先通过语义关系生成器生成三元语义关系，从而通过回复生成器对三元语义关系进行扩展生成一个完整的句子作为回复内容，由于根据三元语义关系生成的回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

示意性的，图3是本申请一个示例性实施例提供的关键词生成回复内容和三元语义关系生成回复内容的对比示意图，如图3所示，待回复内容310为“我今天尝试了人民路那家日料店”。

根据关键词320“喜欢”生成的回复内容为“我很喜欢它”，或者“你喜欢它吗”；根据关键词330“寿司”生成的回复内容为“我最喜欢寿司”或者“我很喜欢日料除了寿司”。

根据三元语义关系340“我”、“喜欢”、“寿司”，生成的回复内容为“我很喜欢那里的寿司”。

在一个可选的实施例中，上述语义关系生成器包括第一编码器和第一解码器，图4是本申请另一个示例性实施例提供的回复内容的生成方法的流程图，以该方法应用于终端中为例进行说明，如图4所示，该方法包括：

步骤401，获取第一文本内容。

可选地，该第一文本内容的获取方式包括如下情况中的任意一种：

第一，第一文本内容为两个帐号之间进行文本内容通过服务器进行发送，则服务器在接收到帐号A向帐号B发送的文本内容时，将该文本内容作为帐号B的第一文本内容；

第二，第一文本内容为服务器接收到的终端发送的文本内容；

第三，第一文本内容为终端接收到的文本内容；

第四，第一文本内容为智能机器人接收到的用户输入的文本内容，或，第一文本内容为智能机器人通过麦克风接收到的语音内容转换得到的文本内容。

步骤402，将第一文本内容输入第一编码器，输出得到第一语义向量。

其中，第一编码器用于将输入的第一文本内容转换为向量表示，第一编码器可以实现为基于LSTM或者CNN的编码器。

首先，使用随机初始化的语义嵌入向量(Embeddingvector)表示第一文本内容中的中的每个词，也即，将第一文本内容中的每个词用一个一维向量表示，第一编码器将第一文本内容的多个向量作为输入，经过一层LSTM网络或者CNN网络进行特征提取，从而得到第一文本内容的第一语义向量。

步骤403，将第一语义向量输入第一解码器，输出得到预测概率最高的三元文本词汇。

可选地，通过第一解码器将第一语义向量变换至词表空间，得到词表中每个词的预测概率，并将词表中预测概率最高的词汇作为三元文本词汇。

可选地，针对第一解码器生成的第一个三元文本词汇，将第一语义向量与初始化符号向量输入第一解码器，通过第一解码器将第一语义向量变换至词表空间，得到词表中每个词的预测概率，将词表中预测概率最高的词汇作为三元文本词汇。

可选地，第一解码器中包括特征提取网络和多层感知(Multi-Layer Perceptron，MLP)网络，其中，特征提取网络可以实现为LSTM网络或CNN网络，针对第一解码器生成的第一个三元文本词汇，将第一语义向量与初始化符号向量输入特征提取网络进行特征提取，并将提取到的特征输入MLP网络，输出得到词表中每个词的预测概率，从而确定预测概率最高的词汇作为三元文本词汇。

针对第一解码器在第一个三元文本词汇之后生成的三元文本词汇，将特征提取网络第n次输出的第一特征向量输入特征提取网络，输出得到第n+1次输出的第二特征向量，将第二特征向量输入多层感知MLP网络，输出得到第n+1次预测中词表中每个词的预测概率，n≥1。

第一解码器将第一语义向量以及初始化符号向量作为输入，经过一层LSTM网络后，使用MLP网络将第一语义向量变换到词表空间，为词表中的每个词确定预测概率，将预测概率最高的词作为当前的输出，随后第一解码器将前一个LSTM网络输出的特征作为输入，以同样的过程生成下一个次，直至生成的词为终止符时，结束流程，并确定三元文本词汇。

可选地，LSTM网络的计算公式如下公式一至公式五所示：

公式一：f_t＝σ_g(W_fx_t+U_fh_t-i+b_f)

公式二：i_t＝σ_g(W_ix_t+U_ih_t-i+b_i)

公式三：o_t＝σ_g(W_ox_t+U_oh_t-i+b_o)

公式四：

公式五：

其中，输入为词向量x_t，以及前一个LSTM网络输出的向量h_t-i，得到当前LSTM输出的向量h_t，i_t表示LSTM网络的输入门，f_t表示LSTM网络的遗忘门，o_t表示LSTM网络的输出门，W_i、W_f、W_o、W_c、U_i、U_f、U_o、U_c皆为参数矩阵，c_t为第t次应用的临时变量，c_t-1为第t-1次应用的临时变量，b_i、b_f、b_o、b_c为常量，再由MLP网络将其输入进行线性变换，最后使用softmax分类函数，得到词表中每个词的概率p，选取概率最高的词作为输出。概率p的计算方式请参考如下公式六：

公式六：

其中，St为各个词的强度指标，exp为以自然常数e为底的指数函数，V为词表大小，s为词表中的词汇。

步骤404，根据三元文本词汇确定语义三元组。

可选地，通过第一编码器和第一解码器输出得到三个三元文本词汇，分别作为三元语义关系中与三元组对应的三元文本词汇，其中，一个三元文本词汇作为主语、一个三元文本词汇作为谓语，还有一个三元文本词汇作为宾语。

步骤405，将第一文本内容和语义三元组输入回复生成器，输出得到第二文本内容。

可选地，回复生成器为预先训练得到的机器学习模型，回复生成器中包括第二编码器、第三编码器和第二解码器。

其中，第二编码器用于将输入的第一文本内容转换为向量表示，第三编码器用于将三元语义关系转换为向量表示，第二解码器用于融合第二编码器和第三编码器生成的语义向量，并得到对应的第二文本内容。第二编码器可以实现为基于LSTM或者CNN的编码器，第三编码器可以实现为基于CNN的编码器，第二解码器可以实现为基于Attention机制和Coverage机制的解码器。

综上所述，本申请实施例中提供的回复内容的生成方法，针对待回复内容，首先通过语义关系生成器生成三元语义关系，从而通过回复生成器对三元语义关系进行扩展生成一个完整的句子作为回复内容，由于根据三元语义关系生成的回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

本实施例提供的方法，通过第一编码器对待回复文本内容进行特征提取，得到第一语义向量，从而通过第一语义向量对词表中的词汇进行概率预测，生成三元语义关系，由于根据三元语义关系生成的回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

在一个可选的实施例中，回复生成器中包括第二编码器、第三编码器以及第二解码器，图5是本申请一个示例性实施例提供的回复内容的生成方法的流程图，以该方法应用于终端中为例进行说明，如图5所示，该方法包括：

步骤501，获取第一文本内容。

可选地，该第一文本内容的获取方式包括如下情况中的任意一种：

第一，第一文本内容为两个帐号之间进行文本内容通过服务器进行发送，则服务器在接收到帐号A向帐号B发送的文本内容时，将该文本内容作为帐号B的第一文本内容；

第二，第一文本内容为服务器接收到的终端发送的文本内容；

第三，第一文本内容为终端接收到的文本内容；

第四，第一文本内容为智能机器人接收到的用户输入的文本内容，或，第一文本内容为智能机器人通过麦克风接收到的语音内容转换得到的文本内容。

步骤502，将第一文本内容输入第一编码器，输出得到第一语义向量。

其中，第一编码器用于将输入的第一文本内容转换为向量表示，第一编码器可以实现为基于LSTM或者CNN的编码器。

首先，使用随机初始化的语义嵌入向量表示第一文本内容中的中的每个词，也即，将第一文本内容中的每个词用一个一维向量表示，第一编码器将第一文本内容的多个向量作为输入，经过一层LSTM网络或者CNN网络进行特征提取，从而得到第一文本内容的第一语义向量。

步骤503，将第一语义向量输入第一解码器，输出得到预测概率最高的三元文本词汇。

可选地，通过第一解码器将第一语义向量变换至词表空间，得到词表中每个词的预测概率，并将词表中预测概率最高的词汇作为三元文本词汇。

可选地，针对第一解码器生成的第一个三元文本词汇，将第一语义向量与初始化符号向量输入第一解码器，通过第一解码器将第一语义向量变换至词表空间，得到词表中每个词的预测概率，将词表中预测概率最高的词汇作为三元文本词汇。

步骤504，根据三元文本词汇确定语义三元组。

可选地，通过第一编码器和第一解码器输出得到三个三元文本词汇，分别作为三元语义关系中与三元组对应的三元文本词汇，其中，一个三元文本词汇作为主语、一个三元文本词汇作为谓语，还有一个三元文本词汇作为宾语。

步骤505，将第一文本内容输入第二编码器，输出得到第二语义向量。

第二编码器用于将输入的第一文本内容转换为向量表示，第二编码器可以实现为基于LSTM或者CNN的编码器。可选地，第二编码器也可以实现为与第一编码器相同的编码器，也即第一编码器和第二编码器的作用相同，都是通过LSTM网络或者CNN网络对第一文本内容进行特征向量的提取。

步骤506，将三元语义关系输入第三编码器，输出得到第三语义向量。

第三编码器用于将三元语义关系转换为向量表示，第三编码器可以实现为基于CNN的编码器。第三编码器也可称为语义关系编码器，用于将以文本序列表现形式的三元语义关系编码成第二语义向量。

步骤507，将第二语义向量和第三语义向量输入第二解码器，输出得到第二文本内容。

第二解码器用于融合第二编码器和第三编码器生成的语义向量，并得到对应的第二文本内容。第二解码器可以实现为基于Attention机制和Coverage机制的解码器。

可选地，将第二语义向量输入第二解码器，通过第二解码器得到第一注意力向量；将第三语义向量输入第二解码器，通过第二解码器得到第二注意力向量，对第一注意力向量和第二注意力向量进行融合，得到融合向量，将融合向量映射至词表，得到词表中概率最高的内容词汇，生成第二文本内容。其中，在对第一注意力向量和第二注意力向量进行融合时，首先获取融合系数，通过融合系数对第一注意力向量和第二注意力向量进行融合，得到融合向量。

示意性的，对第一注意力向量的计算过程进行说明，请参考如下公式七、公式八和公式九：

公式七：

公式八：

公式九：

其中，

为第i次第二解码器的输出内容，

为编码器中得到的每个词的向量，e_i,j为第二解码器的输出内容与每个词的向量的点乘结果，e_i,k为第二解码器第k次输出内容与每个词的向量的点乘结果，

为第一注意力向量，使用上述公式同理能够得到第二注意力向量，W_a为模型的参数矩阵。

可选地，在计算注意力向量的过程中，使用Coverage机制，将历史e值进行累加后，加上当前公式八中计算得到的e值，得到具有历史信息的e值，计算过程参考如下公式十和公式十一：

公式十：c_i,j＝c_i-1,j+a_i,j

公式十一：

其中，a_i,j为词表中每个词的重要性，W_c为模型的参数矩阵，c_i，j为计算e值的临时变量，c_i-1，j为历史应用中的变量，ej为具有历史信息的e值。

可选地，以第一注意力向量为

第二注意力向量为

为例，在得到第一注意力向量和第二注意力向量后，使用逻辑回归模型预测一个融合系数g_i，根据系数对第一注意力向量和第二注意力向量进行融合，示意性的，请参考如下公式十二和公式十三：

公式十二：

公式十三：

其中，z_i为融合向量，W_g为模型的参数矩阵，b_g为常量。

根据融合向量经过一层MLP网络以及softmax函数后，得到词表中每个词的概率。

综上所述，本申请实施例中提供的回复内容的生成方法，针对待回复内容，首先通过语义关系生成器生成三元语义关系，从而通过回复生成器对三元语义关系进行扩展生成一个完整的句子作为回复内容，由于根据三元语义关系生成的回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

本实施例提供的方法，通过第二编码器对待回复文本内容进行向量提取，通过第三编码器对三元语义关系进行向量提取，从而依据三元语义关系对待回复文本内容的回复文本进行生成，回复内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的回复内容信息量较大，准确程度较高。

示意性的，图6是本申请一个示例性实施例提供的回复内容生成模型的结构示意图，如图6所示，该回复内容生成模型中包括语义关系生成器610和回复生成器620，其中，语义关系生成器610可以是基于LSTM或者CNN构建的网络，将第一文本内容输入语义关系生成器610后，输出得到三元语义关系611；在回复生成器620中，通过Attention机制对第一文本内容的第一语义向量进行计算后，得到第一注意力向量，通过Attention机制对三元语义关系的第二语义向量进行计算后，得到第二注意力向量，对第一注意力向量和第二注意力向量进行融合，得到融合向量，并根据融合向量得到第二文本内容。

图7是本申请一个示例性实施例提供的回复内容的生成装置的结构框图，如图7所示，该装置包括：

获取模块710，用于获取第一文本内容；

生成模块720，用于将所述第一文本内容输入语义关系生成器，输出得到语义三元组，所述语义三元组中包括三元文本词汇，所述三元文本词汇用于参与构建所述回复内容，所述语义关系生成器用于对回复所述第一文本内容时的所述语义三元组进行预测；

所述生成模块720，还用于将所述第一文本内容与所述语义三元组输入回复生成器，输出得到用于对所述第一文本内容进行回复的第二文本内容，所述回复生成器用于基于所述语义三元组构建对所述第一文本内容进行回复的内容。

在一个可选的实施例中，所述语义关系生成器中包括第一编码器和第一解码器；

所述生成模块720，还用于将所述第一文本内容输入所述第一编码器，输出得到第一语义向量；将所述第一语义向量输入所述第一解码器，输出得到预测概率最高的所述三元文本词汇；

如图8所示，所述生成模块720，还包括：

确定单元721，用于根据所述三元文本词汇确定所述三元语义关系。

在一个可选的实施例中，所述生成模块720，还用于通过所述第一解码器将所述第一语义向量变换至词表空间，得到词表中每个词的所述预测概率；将所述词表中所述预测概率最高的词汇作为所述三元文本词汇。

在一个可选的实施例中，所述第一解码器中包括特征提取网络和多层感知网络；

所述生成模块720，还用于将所述特征提取网络第n次输出的第一特征向量输入所述特征提取网络，输出得到第n+1次输出的第二特征向量，将所述第二特征向量输入所述多层感知网络，输出得到第n+1次预测中所述词表中每个词的所述预测概率，n≥1。

在一个可选的实施例中，所述回复生成器中包括第二编码器、第三编码器以及第二解码器；

所述生成模块720，还用于将所述第一文本内容输入所述第二编码器，输出得到第二语义向量；将所述语义三元组输入所述第三编码器，输出得到第三语义向量；将所述第二语义向量与所述第三语义向量输入所述第二解码器，输出得到所述第二文本内容。

在一个可选的实施例中，所述生成模块720，还用于将所述第二语义向量输入所述第二解码器，通过所述第二解码器得到第一注意力向量；将所述第三语义向量输入所述第二解码器，通过所述第二解码器得到第二注意力向量；

所述生成模块720，包括：

融合单元722，用于对所述第一注意力向量和所述第二注意力向量进行融合，得到融合向量；将所述融合向量映射至词表，得到所述词表中概率最高的内容词汇，生成所述第二文本内容。

在一个可选的实施例中，所述融合单元722，还用于获取融合系数；通过所述融合系数对所述第一注意力向量和所述第二注意力向量进行融合，得到所述融合向量。

综上所述，本申请实施例中提供的回复内容的生成装置，针对待第二文本内容，首先通过语义关系生成器生成三元语义关系，从而通过回复生成器对三元语义关系进行扩展生成一个完整的句子作为第二文本内容，由于根据三元语义关系生成的第二文本内容能够与三元语义关系中的主谓宾产生对应关系，包含较多的语义信息，从而生成的第二文本内容信息量较大，准确程度较高。

需要说明的是：上述实施例提供的回复内容的生成装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的回复内容的生成装置与回复内容的生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：

服务器900包括中央处理单元(CPU，Central Processing Unit)901、包括随机存取存储器(RAM，Random Access Memory)902和只读存储器(ROM，Read Only Memory)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。服务器900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统，InputOutput System)906，和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。

基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。大容量存储设备907及其相关联的计算机可读介质为服务器900提供非易失性存储。也就是说，大容量存储设备907可以包括诸如硬盘或者紧凑型光盘只读存储器(CD-ROM，Compact Disc Read Only Memory)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM,Electrically Erasable Programmable Read OnlyMemory)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(DVD，Digital VersatileDisc)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。

根据本申请的各种实施例，服务器900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器900可以通过连接在系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。

本申请的实施例还提供了一种计算机设备，该计算手机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的回复内容的生成方法。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的回复内容的生成方法。

可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种回复内容的生成方法，其特征在于，所述方法包括：

获取第一文本内容；

将所述第一文本内容输入第一编码器，输出得到第一语义向量，所述第一编码器用于将输入的所述第一文本内容转换为向量表示；

将所述第一语义向量输入第一解码器，输出得到预测概率最高的三元文本词汇，所述第一解码器用于根据编码器转换的向量生成预测的语义关系，所述三元文本词汇用于参与构建所述回复内容；

根据所述三元文本词汇确定语义三元组，所述语义三元组用于回复所述第一文本内容；

将所述第一文本内容输入第二编码器，输出得到第二语义向量，所述第二编码器用于将输入的所述第一文本内容转换成向量表示；

将所述语义三元组输入第三编码器，输出得到第三语义向量，所述第三编码器用于将所述语义三元组转换成向量表示；

将所述第二语义向量与所述第三语义向量输入第二解码器，输出得到用于对所述第一文本内容进行回复的第二文本内容，所述第二解码器用于融合所述第二编码器和所述第三编码器生成的语义向量。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一语义向量输入第一解码器，输出得到预测概率最高的三元文本词汇，包括：

通过所述第一解码器将所述第一语义向量变换至词表空间，得到词表中每个词的所述预测概率；

将所述词表中所述预测概率最高的词汇作为所述三元文本词汇。

3.根据权利要求2所述的方法，其特征在于，所述第一解码器中包括特征提取网络和多层感知网络；

所述通过所述第一解码器将所述第一语义向量变换至词表空间，得到词表中每个词的所述预测概率，包括：

将所述特征提取网络第n次输出的第一特征向量输入所述特征提取网络，输出得到第n+1次输出的第二特征向量，将所述第二特征向量输入所述多层感知网络，输出得到第n+1次预测中所述词表中每个词的所述预测概率，n≥1。

4.根据权利要求1至3任一所述的方法，其特征在于，所述将所述第二语义向量与所述第三语义向量输入第二解码器，输出得到用于对所述第一文本内容进行回复的第二文本内容，包括：

将所述第二语义向量输入所述第二解码器，通过所述第二解码器得到第一注意力向量；

将所述第三语义向量输入所述第二解码器，通过所述第二解码器得到第二注意力向量；

对所述第一注意力向量和所述第二注意力向量进行融合，得到融合向量；

将所述融合向量映射至词表，得到所述词表中概率最高的内容词汇，生成所述第二文本内容。

5.根据权利要求4所述的方法，其特征在于，所述对所述第一注意力向量和所述第二注意力向量进行融合，得到融合向量，包括：

获取融合系数；

通过所述融合系数对所述第一注意力向量和所述第二注意力向量进行融合，得到所述融合向量。

6.一种回复内容的生成装置，其特征在于，所述装置包括：

获取模块，用于获取第一文本内容；

生成模块，用于将所述第一文本内容输入第一编码器，输出得到第一语义向量，所述第一编码器用于将输入的所述第一文本内容转换为向量表示；

所述生成模块，还用于将所述第一语义向量输入第一解码器，输出得到预测概率最高的三元文本词汇，所述第一解码器用于根据编码器转换的向量生成预测的语义关系，所述三元文本词汇用于参与构建所述回复内容；

所述生成模块，还用于根据所述三元文本词汇确定语义三元组，所述语义三元组用于回复所述第一文本内容；

所述生成模块，还用于将所述第一文本内容输入第二编码器，输出得到第二语义向量，所述第二编码器用于将输入的所述第一文本内容转换成向量表示；

所述生成模块，还用于将所述语义三元组输入第三编码器，输出得到第三语义向量，所述第三编码器用于将所述语义三元组转换成向量表示；

所述生成模块，还用于将所述第二语义向量与所述第三语义向量输入第二解码器，输出得到用于对所述第一文本内容进行回复的第二文本内容，所述第二解码器用于融合所述第二编码器和所述第三编码器生成的语义向量。

7.根据权利要求6所述的装置，其特征在于，所述生成模块，还用于通过所述第一解码器将所述第一语义向量变换至词表空间，得到词表中每个词的所述预测概率；将所述词表中所述预测概率最高的词汇作为所述三元文本词汇。

8.根据权利要求7所述的装置，其特征在于，所述第一解码器中包括特征提取网络和多层感知网络；

所述生成模块，还用于将所述特征提取网络第n次输出的第一特征向量输入所述特征提取网络，输出得到第n+1次输出的第二特征向量，将所述第二特征向量输入所述多层感知网络，输出得到第n+1次预测中所述词表中每个词的所述预测概率，n≥1。

9.根据权利要求6至8任一所述的装置，其特征在于，所述生成模块，还用于将所述第二语义向量输入所述第二解码器，通过所述第二解码器得到第一注意力向量；将所述第三语义向量输入所述第二解码器，通过所述第二解码器得到第二注意力向量；

所述生成模块，包括：

融合单元，用于对所述第一注意力向量和所述第二注意力向量进行融合，得到融合向量；将所述融合向量映射至词表，得到所述词表中概率最高的内容词汇，生成所述第二文本内容。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至5任一所述的回复内容的生成方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至5任一所述的回复内容的生成方法。

Images