CN109992657A - 一种基于强化动态推理的对话式问题生成方法 - Google Patents

Abstract

一种基于强化动态推理的对话式问题生成方法，包括：(1)在给定文章中利用规则方法找出一段参考文本；(2)构建包含编码器和解码器的问题生成模型，输入对话历史和参考文本，利用编码器对对话历史和参考文本进行编码，得到表达矩阵；(3)将得到的表达矩阵进行动态推理，得到推理矩阵；(4)将步骤(3)得到的推理矩阵作为解码器中长短时记忆网络隐藏单元的初始参数，使用解码器逐字输出问题句的单词；(5)训练一个机器阅读理解模型，根据问题句生成答案，并以答案的正确率为奖励函数，用强化学习来微调以上问题生成模型。利用本发明，可以大大提升在大规模数据集上进行对话式问题生成的质量。

Description

一种基于强化动态推理的对话式问题生成方法

技术领域

本发明属于自然语言处理领域，尤其是涉及一种基于强化动态推理的对话式问题生成方法。

背景技术

对话式问题生成任务是自然语言处理中最为重要和棘手的问题之一。在这个任务当中，给定一篇文章和一段基于文章的对话(问答对)，我们需要去生成一个新的问题来保持对话的连贯并且与文章主题有所关联。一个高效的对话式问题生成模型可以在以语义理解为基础的众多领域得到广泛应用，如智能对话机器人和教育系统等，也能为智能对话式问答模型的训练提供数据支持。

问题生成和对话生成，尤其是以非结构化文本数据为知识来源的生成任务近年来被广泛研究。比如2017年发表在国际顶级自然语言处理会议Annual Meeting of theAssociation for Computational Linguistics上的《Learning to Ask:Neural QuestionGeneration for Reading Comprehension》在第3页到第4页公布了一种称为NQG的注意力机制序列模型算法；2018年发表在国际顶级自然语言处理会议Annual Meeting of theAssociation for Computational Linguistics上的《Harvesting Paragraph-LevelQuestion-Answer Pairs from Wikipedia》在第3页到第6页公布了一种利用答案的共生特征信息来生成问题的方法。对话生成任务也有相关的工作，如2017年发表在国际顶级计算神经理论会议Conference of the North American Chapter of the Association forComputational Linguistics上的《A Diversity-Promoting Objective Function forNeural Conversation Models》在第3页到第5页公布了一种运用极大化互信息来消除通用式模板回复的能力。

之前的工作都是基于一段对话历史或一篇文章来生成文本，然而将两者结合作为输入是一项更有挑战性并且也更有实际意义的工作。相比于传统的问题生成任务，对话式问题生成要求生成与之前的聊天记录能够连贯的问题，甚至需要用到一些显性或隐形的共生关系来使对话更加简洁。

发明内容

本发明提供了一种基于强化动态推理的对话式问题生成方法，通过动态推理来加深输入文本的融合并用强化学习来优化模型，大大提升了在大规模数据集上进行对话式问题生成的质量。

本发明的具体技术方案如下：

一种基于强化动态推理的对话式问题生成方法，包括：

(1)在给定文章中利用规则方法找出一段参考文本；

(2)构建问题生成模型，输入对话历史和参考文本，利用编码器对对话历史和参考文本进行编码，得到表达矩阵；

所述问题生成模型包括一个由双向长短时记忆网络组成的编码器，一个动态推理机制和一个由单向长短时记忆网络组成的解码器；

(3)将得到的表达矩阵进行动态推理，得到推理矩阵；

(4)将步骤(3)得到的推理矩阵作为解码器中长短时记忆网络隐藏单元的初始参数，使用解码器逐字输出问题句的单词；

(5)训练一个机器阅读理解模型，根据问题句生成答案，并以答案的正确率为奖励函数，用强化学习来微调以上问题生成模型；

(6)问题生成模型训练完毕，进行对话式问题生成的应用。

本发明可以在给定一段对话历史，一篇文章的情况下生成一个与文章主题相关并承接对话记录的问题。

步骤(1)的具体过程为：首先对给定文章进行分句，然后以每句话作为当前对话轮次的参考文本。

步骤(2)中，利用编码器对对话历史和参考文本进行编码的具体过程为：

(2-1)使用词向量Glove对输入的对话历史和参考文本进行词向量嵌入；

(2-2)使用双向长短时记忆网络来编码文本信息，得到对话历史和参考文本的表达矩阵。

步骤(3)中，所述动态推理的具体步骤为：

(3-1)将表达矩阵分别和对话历史、参考文本的编码向量送入注意力机制进行融合，得到两个注意力矩阵；

(3-2)将两个注意力矩阵进行融合，得到一个新的注意力矩阵；

(3-3)将新的注意力矩阵送入双向长短时记忆网络，得到整合后的推理矩阵；

(3-4)以当前得到的推理矩阵替代参考文本的表达矩阵，重复上述步骤，直到循环次数达到预设的最大次数。

优选的，步骤(3)中，在进行动态推理前，首先将表达矩阵分别从横轴和纵轴方向用softmax函数进行归一化。

步骤(5)中的具体过程为：

(5-1)在对话式问答数据集上训练一个机器阅读理解模型；

(5-2)将对话历史、文章以及步骤(4)得到的问题句作为机器阅读理解模型的输入，并输出一个预测的答案；

(5-3)将该答案与标准答案对比计算出F1值作为奖励函数，利用强化学习算法策略梯度对训练的问题生成模型进行微调，具体公式为：

J＝-E_{q～π(q|r,c)}[R(a,a^*)]

其中，π(q|r,c)是之前的问题生成模型，R(a,a^*)是奖励函数，也就是生成的答案a和标准答案a^*的F1值；使用束搜索进行采样，并保证标准问题在最终的采样池中。

与现有技术相比，本发明具有以下有益效果：

1、本发明使用动态推理将机器阅读模型中的推理优势带入到了序列模型中，使其更加适合解决有多个输入文本的情况。

2、本发明使用了强化学习，从生成的问题的可回答性来优化模型，大大提升了在大规模数据集上进行对话式问题生成的质量。

3、本发明充分利用了现有语料库中的文章，可自动生成多轮对话。

附图说明

图1为本发明一种基于强化动态推理的对话式问题生成方法的流程示意图；

图2为本发明实施例的整体结构示意图；

图3为本发明实施例中在新数据集上根据文章建立起的多轮对话示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于强化动态推理的对话式问题生成方法，整个方法的结构如图2所示，具体包括以下步骤：

S01，在给定文章中利用规则方法找出一段参考文本。使用CoQA这个大规模综合语料库作为训练集，并使用数据集中给定的参考文本作为训练时的输入。对于没有给定参考文本的数据集，将每篇文章做分局处理，将每个句子按顺序成为每轮对话的参考文本。最终，将参考文本送入之后的问题生成模型中作为输入。

S02，给定参考文本和对话历史，我们首先将输入的文本信息进行编码。我们首先使用Glove进行词向量嵌入，然后用双向长短时记忆网络来编码文本信息，得到对话历史和参考文本的表达矩阵。

S03，用表达矩阵进行动态推理，首先将表达矩阵分别从横轴和纵轴方向用softmax函数归一化，然后分别与对话历史和参考文本进行注意力交互：

H＝R*softmax(S)

G＝[C；H]*softmax(S^T)

其中，S是表达矩阵，R和C分别是参考文本和对话历史。我们将得到的G和R一起送入一个新的双向长短时记忆网络，得到整合后的推理矩阵U。随后用U代替R，来进行新一轮的推理，直到循环次数到达指定次数方可停止，此时得到了最终的推理矩阵U^N。当循环次数大于第一轮时，用于替代R的矩阵为当前轮的推理矩阵和上一轮的推理矩阵的加权平均，权重为一个可训练的参数p_d。

S04，以最终得到的推理矩阵U^N为隐藏单元的初始化，我们用一个长短时记忆网络作为解码器来逐字输出问题句。我们使用最小化负交叉熵函数来作为训练的目标函数。

S05，用一个机器阅读模型根据问题生成答案，并以答案的正确率为奖励函数源用强化学习来微调以上生成模型。我们在CoQA数据集上训练一个机器阅读理解模型，即给定文章和问题并输出答案。我们用这个机器阅读模型来预测之前生成的问题句的答案，并将这个答案与标准答案对比算出F1值。我们以此F1值为奖励函数，用强化学习算法策略梯度来优化之前的问题生成模型：

J＝-E_{q～π(q|r，c})[R(a,a^*)]

其中，π(q|r,c)是之前的问题生成模型，R(a,a^*)是奖励函数，也就是生成的答案a和标准答案a^*的F1值。我们使用束搜索来进行采样，并保证标准问题在最终的采样池中。

为验证本发明的有效性，我们在斯坦福对话式问答数据集(CoQA)上进行了对比实验。斯坦福对话式问答数据集(CoQA)是斯坦福大学公开的对话式问答数据集，包括了训练集和测试集中的10万个问答对；我们还用斯坦福问答数据集(SQuAD)中的文章来生成多轮对话来证明我们发明的可拓展性。斯坦福问答数据集(SQuAD)是斯坦福大学公开的机器阅读理解数据集，包含了10万个问答对。

本实施例在测试集上与当前效果最好的已发表方法都进行了比较，比较结果如表1所示。我们使用了相似度和多样性这两种不同的评估方法。其中相似度分为BLEU值和ROUGE-L值，生成的问题和标准问题的语意相似度；多样性氛围Dist-1，Dist-2和Ent-4，衡量生成问题的语意和语法多样性。在表1中，最上面的一栏是当前已发表的方法；下面一栏是本发明及其各个组成部分的效果验证。不难看出，本发明在各个指标上都取得了最好的效果，我们的方法(ReDR)相比于其他方法具有更强的多样性，并且在相似度上达到了目前的最高水平。

表1

表2是本发明生成的问题与其他已发表方法还有人类标注的问题的统计结果，其中可以看到本发明生成的问题句与人类标注的句子在问题类型和共生关系中都十分接近。这也反映了以动态推理为基础是一个十分直观且有意义的做法。

表2

我们还展示了本发明在无标签数据集上的扩展，如图3所示，是本方法在SQuAD数据集上仅根据文章生成的多轮对话。其中答案预测使用的是本方法汇总的机器阅读模型。可以看出本方法生成的多轮对话连贯并且信息量丰富，与主题关联度高。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于强化动态推理的对话式问题生成方法，其特征在于，包括：

(1)在给定文章中利用规则方法找出一段参考文本；

(2)构建问题生成模型，输入对话历史和参考文本，利用编码器对对话历史和参考文本进行编码，得到表达矩阵；

所述问题生成模型包括一个由双向长短时记忆网络组成的编码器，一个动态推理机制和一个由单向长短时记忆网络组成的解码器；

(3)将得到的表达矩阵进行动态推理，得到推理矩阵；

(4)将步骤(3)得到的推理矩阵作为解码器中单向长短时记忆网络隐藏单元的初始参数，使用解码器逐字输出问题句的单词；

(5)训练一个机器阅读理解模型，根据问题句生成答案，并以答案的正确率为奖励函数，用强化学习来微调以上问题生成模型；

(6)问题生成模型训练完毕，进行对话式问题生成的应用。

2.根据权利要求1所述的基于强化动态推理的对话式问题生成方法，其特征在于，步骤(1)的具体过程为：首先对给定文章进行分句，然后以每句话作为当前对话轮次的参考文本。

3.根据权利要求1所述的基于强化动态推理的对话式问题生成方法，其特征在于，步骤(2)中，利用编码器对对话历史和参考文本进行编码的具体过程为：

(2-1)使用词向量Glove对输入的对话历史和参考文本进行词向量嵌入；

(2-2)使用双向长短时记忆网络来编码文本信息，得到对话历史和参考文本的表达矩阵。

4.根据权利要求1所述的基于强化动态推理的对话式问题生成方法，其特征在于，步骤(3)中，所述动态推理的具体步骤为：

(3-1)将表达矩阵分别和对话历史、参考文本的编码向量送入注意力机制进行融合，得到两个注意力矩阵；

(3-2)将两个注意力矩阵进行融合，得到一个新的注意力矩阵；

(3-3)将新的注意力矩阵送入双向长短时记忆网络，得到整合后的推理矩阵；

(3-4)以当前得到的推理矩阵替代参考文本的表达矩阵，重复上述步骤，直到循环次数达到预设的最大次数。

5.根据权利要求1或4所述的基于强化动态推理的对话式问题生成方法，其特征在于，步骤(3)中，在进行动态推理前，首先将表达矩阵分别从横轴和纵轴方向用softmax函数进行归一化。

6.根据权利要求1所述的基于强化动态推理的对话式问题生成方法，其特征在于，步骤(5)中的具体过程为：

(5-1)在对话式问答数据集上训练一个机器阅读理解模型；

(5-2)将对话历史、文章以及步骤(4)得到的问题句作为机器阅读理解模型的输入，并输出一个预测的答案；

(5-3)将该答案与标准答案对比计算出F1值作为奖励函数，利用强化学习算法策略梯度对训练的问题生成模型进行微调，具体公式为：

J＝-E_{q～π(q|r，c)}[R(a，a^*)]

其中，π(q|r，c)是之前的问题生成模型，R(a，a^*)是奖励函数，也就是生成的答案a和标准答案a^*的F1值；使用束搜索进行采样，并保证标准问题在最终的采样池中。