CN110297894B - 一种基于辅助网络的智能对话生成方法 - Google Patents

Abstract

本发明涉及一种基于辅助网络的智能对话生成方法，包括以下步骤：1)建立相应的对话语句数据集；2)建立对话生成模型，采用对话语句数据集对对话生成模型进行预训练；3)建立辅助网络专家语料库以及辅助网络数据集；4)建立辅助网络模型，采用辅助网络数据集进行预训练；5)对基于辅助网络的智能对话生成模型进行参数初始化，进行联合训练，并扩展辅助网络训练数据集，直至对话生成模型和辅助网络模型均收敛；6)根据训练后的基于辅助网络的智能对话生成模型结合辅助网络专家语料库进行判定，将概率最高的词语作为当前时刻的最终输出词语。与现有技术相比，本发明具有提高效率和效果、适用性广等优点。

Description

一种基于辅助网络的智能对话生成方法

技术领域

本发明涉及认知计算与智能信息处理领域，尤其是涉及一种基于辅助网络的智能对话生成方法。

背景技术

对话生成是在给定输入消息的基础上，通过计算机自动给出合适的回复，从而与人类进行对话。随着Web2.0时代的来临，互联网正在从各个层面渗透到我们的生活中。现如今人们不仅利用互联网来进行信息的获取与传播，更是将互联网用作生活服务基础设施。因此如何用更为自然的交互方式提供互联网服务成为了一种新的用户需求研究课题，而聊天机器人作为一种最自然的人机交互方式，不仅是体现机器智能的重要交互接口，并且有着广泛的应用场景和巨大的潜在商业价值，其研究热潮也已经来临。

自然语言对话技术可按照基于手写规则和基于数据驱动分为两类，基于手写规则的技术顾名思义主要是基于手工定制的规则运行的，仅在任务具有明确模式时才能有优异的表现，通用性和泛化能力较差。

大数据时代的到来为对话研究提供了新的机会，随着大数据技术和深度学习技术的发展，大量对话数据可从互联网或实际场景中获得，因此对于任意输入都有可能学习到对应的输出；而且神经网络从大规模数据中学习复杂表示的能力随着其在越来越多的大规模数据任务中取得瞩目成果而被一再证明，因此基于数据驱动的方法逐渐成为了研究主流。

基于数据驱动的方式又可分为基于检索和基于生成两种方式。检索式对话最重要的是消息和回复之间的匹配算法，消息和候选回复分别被编码为一个向量，再基于这两个向量计算匹配得分。检索式对话技术的缺点在于它过于依赖数据质量，如果数据质量欠佳，再优的匹配算法也无济于事；另一限制则是检索式方法仅能给出索引库中已有的回答，无法实现真正的智能对话，因此更为广泛关注的是基于生成的方式。

基于生成的方式将对话问题看作是一种“源到目标”的映射问题，直接从大量训练数据中学习从输入到输出之间的映射关系。总体来说，生成式模型大多采用神经网络来表示对话历史、并生成适当的响应，生成式模型能够利用大量的数据来学习有意义的自然语言表示和生成策略，并且几乎不需要领域知识和人工处理，相较于模板式方法和检索式方法具有更大的潜力和优势。

虽然现有生成式对话模型取得了一定效果，但是往往面临生成的响应长度短或不相关、而且倾向于生成通用响应比如“我不知道”的问题。

综上所述，对话生成课题仍存在很大的进步空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于辅助网络的智能对话生成方法。

本发明的目的可以通过以下技术方案来实现：

一种基于辅助网络的智能对话生成方法，包括以下步骤：

1)根据对话生成任务需求建立相应的对话语句数据集；

2)建立对话生成模型，采用对话语句数据集对对话生成模型进行预训练；

3)建立辅助网络专家语料库以及辅助网络数据集；

4)建立辅助网络模型，采用辅助网络数据集进行预训练；

5)采用训练后对话生成模型以及训练后辅助网络模型的预训练参数对基于辅助网络的智能对话生成模型进行参数初始化，再进行联合训练，或者直接进行联合训练，在训练过程中同时扩展辅助网络训练数据集，直至对话生成模型和辅助网络模型均收敛；

6)根据训练后的基于辅助网络的智能对话生成模型结合辅助网络专家语料库进行判定，将概率最高的词语作为当前时刻的最终输出词语。

所述的步骤2)中，基于seq2seq模型生成对话生成模型，所述的seq2seq模型采用编码器-译码器架构。

所述的对话生成模型采用循环神经网络构建编码器和译码器处理输入语句(x₁，...x_t…，x_T)和生成输出语句(y₁，...y_t...，y_T′)，则有：

h_t＝sigm(W^hxx_t+W^hhh_t-1)

y_t＝W^yhh_t

其中，h_t为每一时间步t的隐藏层状态，W^hx为输入层参数矩阵，W^hh为隐藏层参数矩阵，W^yh为输出层参数矩阵，p(y₁，...，y_T′|x₁，...，x_T)为基于输入X的输出Y的条件概率。

所述的步骤3)中，建立辅助网络数据集包括以下两种方式：

采用训练后的对话生成模型获取译码器的隐藏层状态、上一时刻的输出词语以及当前时刻的ground_truth词语或当前时刻的非ground_truth词语或当前时刻的生成词语作为特征形成正负样本，最终构成辅助网络数据集；

采用训练好的对话生成模型获取译码器的隐藏层状态和上一时刻的输出词语作为特征形成词表大小的多分类样本，最终构成辅助网络数据集。

所述的辅助网络模型起到分类器或过滤器的作用，用以将整个词表中的词语分为当前时刻可用和当前时刻不可用两种状态，则有：

p(x)＝f(x)

其中，x为辅助网络的输入，p表示辅助网络的输出概率，该输出概率为二分类结果或多分类结果。

所述的步骤6)中，当根据具体对话任务需求或有其它辅助网络训练数据集的来源则可不进行对话生成模型的预训练，并且，对于辅助网络模型，当有其它对话规则来源或依据具体对话任务需求也可不进行预训练，对话生成模型和辅助网络模型在联合训练过程中采用交替训练方式，直至对话生成模型和辅助网络模型均收敛。

根据人类专家经验构建一系列经验规则作为辅助网络专家语料库，并采用相同方式进行扩展。

所述的步骤6)具体为：

将对话生成模型的译码器在当前时刻的隐藏层状态和上一时刻的生成词语作为辅助网络模型的输入，根据辅助网络模型的输出区分出当前时刻可用的词语和当前时刻不可用的词语，最终将在辅助网络模型判定的当前时刻可用的词语中，结合辅助网络专家语料库选择对话生成模型生成的概率最高的词语作为当前时刻的最终输出词语。

所述的辅助网络模型采用多项逻辑斯谛回归进行多分类。

与现有技术相比，本发明具有以下优点：

本发明的方法更符合人类直觉，人类在进行电子游戏任务时通常是先通过探索或学习来掌握游戏规则，然后再进行游戏水平的提升训练，而自然语言对话正如电子游戏一样，是有一定规则的，但是比电子游戏的规则更复杂，也更为灵活。由于现有人工智能计算水平有限，很难保证一个模型的网络结构就能同时抽象出规则、语法、情绪等多种特征。本发明在原有的对话生成模型的基础上增加一个辅助网络专门用于剥离规则层，能够学习自然语言对话需要遵守的一些语言规则，从而提高对话生成模型的训练效率，进一步提升对话生成模型的模型效果。除此之外，用于抽象规则的辅助网络结构也可以进一步结合专家经验或语言的风格特征，并且可以被分离出来，用于其他自然语言处理的任务。

附图说明

图1为LSTM细胞结构。

图2为seq2seq编码器-译码器结构图。

图3为基于辅助网络的智能对话生成方法示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例：

本发明提供一种基于辅助网络的智能对话生成方法，该方法包括以下步骤：

1、建立对话语句数据集，根据对话生成任务需求建立相应的对话语句数据集；

2、建立对话生成模型；

3、采用步骤1中所得的数据集对步骤2中所得的对话生成模型进行预训练；

4、建立辅助网络数据集以及辅助网络专家语料库；

5、建立辅助网络模型；

6、采用步骤4中所得的数据集对步骤5中所得的辅助网络模型进行预训练；

7、采用步骤3中所得的对话生成模型的预训练参数和步骤6中所得的辅助网络模型的预训练参数对基于辅助网络的对话生成模型进行参数初始化；

8、对步骤7中所得模型的两个部分：对话生成模型和辅助网络模型进行联合训练，同时依据步骤4中所要求的格式扩展辅助网络训练数据集，直至对话生成模型和辅助网络模型均收敛；

9、使用步骤8中所得的基于辅助网络的对话生成模型联合步骤4中所得的辅助网络专家语料库进行前向预测应用；

在本实施例中，对话生成模型采用了经典的seq2seq模型，定义消息X＝(x₁，x₂，x₃，...，x_T)，响应Y＝(y₁，y₂，...，y_T′)，seq2seq模型的目标是最大化基于X的Y的条件概率p(y₁，...，y_T′|x₁，...，x_T)。seq2seq模型采用了编码器-译码器架构，编码器逐词读进消息X，通过循环神经网络RNN将其编码为中间语义向量c，译码器接收c作为输入，然后输出生成语句Y的概率，seq2seq的目标函数如下述公式所示：

定义作为编码器的RNN在每一时间步t的隐藏层状态为h_t，f代表非线性变换，本实施例采用了对话生成任务中常用的RNN变体长短期记忆网络(Long Short Term Memory，简称LSTM)，结构图如附图1所示，公式如下所示：

i_t＝σ(W_xix_t+W_hih_t-1)

f_t＝σ(W_xfx_t+W_hfh_t-1)

o_t＝a(W_xox_t+W_hoh_t-1)

h_t＝o_t⊙tanh(c_t)

其中i_t、f_t、o_t分别是输入门、忘记门、输出门，

c_t分别是推荐的细胞值和真实的细胞值。译码器每个时间步输出候选词语概率的计算方式如下：

s_t＝f(y_t-1，s_t-1，c)

p_t＝softmax(s_t，y_t-1)

其中s_t是每个时刻t译码器的隐藏层状态，y_t-1是上一时刻译码器生成的响应词语。编码器-译码器结构如附图2所示。

在本实施例中，对话生成模型首先基于任务给定的数据集进行预训练，预训练的目标函数为最大似然估计，假设目标语句是[w₁，w₂，...，w_T]，公式如下：

在本实施例中，预训练好的对话生成模型被用于构建辅助网络训练数据集。

在本实施例中，辅助网络训练数据集为多分类数据集，当前时刻译码器的隐藏层状态、上一时刻的输出词语构成了一条数据集样本，假设词表大小为K，则每条样本对应的标签共K个，其中对应的当前时刻ground_tmth词语的序号对应的标签为1，代表正样本，其余词语的序号对应的标签为0，代表负样本。为了尽可能丰富样本，以及尽可能地平衡正负样本的数量，可以将置信度较高的生成词语也当作正样本，或是通过其它自然语言处理的方法来获取更多的正样本，如基于词向量的同义词替换等等。还可以采用上采样、下采样等常用于处理样本不均衡问题的方法来尽可能地平衡样本分布。

在本实施例中，需要根据任务需求和人类经验规则建立辅助网络专家语料库，该语料库也可作为辅助网络训练数据集的一部分。

在本实施例中，辅助网络采用多项逻辑斯谛回归作为多分类算法，定义离散型随机变量Y的取值集合是{1，2，...，K}，其中K的数值即为词表的大小，随机变量Y的取值代表了词表中的词语序号，多项逻辑斯谛回归计算公式如下：

k＝1，2，...，K-1

在本实施例中，辅助网络首先基于前面构建好的辅助网络训练数据集进行预训练，公式如前述多项逻辑斯谛回归计算公式所示。

在本实施例中，使用对话生成模型和辅助网络模型的预训练参数进行参数初始化，然后进行对话生成模型和辅助网络模型的联合训练。在基于辅助网络的智能对话生成方法中，在训练时，如附图3所示，对话生成模型中的译码器在当前时刻的隐藏层状态和上一时刻的ground_truth词语(在前向预测时则改为上一时刻的生成词语)将作为辅助网络的输入，假设词表大小为K，则辅助网络的输出是一个K×1的矩阵，矩阵中的第k个数字代表词表中第k个词语在当前时刻的可使用概率p_k，设定阈值ε，p_k＞ε则判定当前时刻词语k符合对话规则、属于可用词语，反之也属于不可用词语。最终将在辅助网络判定的当前时刻可用的所有词语中(此处可以结合辅助网络专家语料库的内容进行进一步判定)选出对话生成模型认为概率最高的词语作为当前时刻的最终输出词语。

在本实施例中，在联合训练过程中，对话生成模型和辅助网络模型采用交替训练方式，即在训练对话生成模型时，固定辅助网络模型，反之亦然，逐渐降低每次固定训练的时长(对话生成模型的每次训练时长和辅助网络的每次训练时长并不相同，属于超参数，视具体训练情况而定)，直至对话生成模型和辅助网络模型均收敛。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于辅助网络的智能对话生成方法，其特征在于，包括以下步骤：

1)根据对话生成任务需求建立相应的对话语句数据集；

2)建立对话生成模型，采用对话语句数据集对对话生成模型进行预训练，基于seq2seq模型生成对话生成模型，所述的seq2seq模型采用编码器-译码器架构，所述的对话生成模型采用循环神经网络构建编码器和译码器处理输入语句(x₁,…x_t…,x_T)和生成输出语句(y₁,…y_t…,y_T′)，则有：

h_t＝sigm(W^hxx_t+W^hhh_t-1)

y_t＝W^yhh_t

其中，h_t为每一时间步t的隐藏层状态，W^hx为输入层参数矩阵，W^hh为隐藏层参数矩阵，W^yh为输出层参数矩阵，p(y₁,…,y_T′|x₁,…,x_T)为基于输入X的输出Y的条件概率；

3)建立辅助网络专家语料库以及辅助网络数据集；

4)建立辅助网络模型，采用辅助网络数据集进行预训练，所述的辅助网络模型采用多项逻辑斯谛回归进行多分类，所述的辅助网络模型起到分类器或过滤器的作用，用以将整个词表中的词语分为当前时刻可用和当前时刻不可用两种状态，则有：

p(x)＝f(x)

其中，x为辅助网络的输入，p表示辅助网络的输出概率，该输出概率为二分类结果或多分类结果；

5)采用训练后对话生成模型以及训练后辅助网络模型的预训练参数对基于辅助网络的智能对话生成模型进行参数初始化，再进行联合训练，或者直接进行联合训练，在训练过程中同时扩展辅助网络训练数据集，直至对话生成模型和辅助网络模型均收敛；

6)根据训练后的基于辅助网络的智能对话生成模型结合辅助网络专家语料库进行判定，将概率最高的词语作为当前时刻的最终输出词语。

2.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，所述的步骤3)中，建立辅助网络数据集包括以下两种方式：

采用训练后的对话生成模型获取译码器的隐藏层状态、上一时刻的输出词语以及当前时刻的ground_truth词语或当前时刻的非ground_truth词语或当前时刻的生成词语作为特征形成正负样本，最终构成辅助网络数据集；

采用训练好的对话生成模型获取译码器的隐藏层状态和上一时刻的输出词语作为特征形成词表大小的多分类样本，最终构成辅助网络数据集。

3.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，所述的步骤6)中，当根据具体对话任务需求或有其它辅助网络训练数据集的来源则可不进行对话生成模型的预训练，并且，对于辅助网络模型，当有其它对话规则来源或依据具体对话任务需求也可不进行预训练，对话生成模型和辅助网络模型在联合训练过程中采用交替训练方式，直至对话生成模型和辅助网络模型均收敛。

4.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，根据人类专家经验构建一系列经验规则作为辅助网络专家语料库，并采用相同方式进行扩展。

5.根据权利要求1所述的一种基于辅助网络的智能对话生成方法，其特征在于，所述的步骤6)具体为：

将对话生成模型的译码器在当前时刻的隐藏层状态和上一时刻的生成词语作为辅助网络模型的输入，根据辅助网络模型的输出区分出当前时刻可用的词语和当前时刻不可用的词语，最终将在辅助网络模型判定的当前时刻可用的词语中，结合辅助网络专家语料库选择对话生成模型生成的概率最高的词语作为当前时刻的最终输出词语。

Images