CN109977199A - 一种基于注意力池化机制的阅读理解方法 - Google Patents

Abstract

本发明公开了一种基于注意力池化机制的阅读理解方法。本发明首先使用预训练词向量获得问题和文档中每个词语的向量表达；然后根据该向量表达以及问题和文档是连续序列的特点，采用递归神经网络分别对问题和文档进行进一步的编码，以获得其具有上下文信息的向量表达，并进行注意力计算，执行池化操作，获得池化后的注意力数值；最后采用指针网络根据得到的注意力数值选择最终的答案。本发明基于通用的阅读理解框架，对其中的注意力机制进行改进，提出了注意力池化机制，以引入局部注意力。本发明较好地通过池化技术对局部注意力进行了利用，提高了阅读理解的效果。

Description

一种基于注意力池化机制的阅读理解方法

技术领域

本发明涉及自然语言处理领域中的阅读理解技术，尤其涉及一种基于注意力池化机制的阅读理解方法。

背景技术

阅读理解的目标在于，给定一个问题和与该问题相关的文档段落，将文档中的答案抽取出来。关于阅读理解，传统方法将问题和段落在语法和语义层面进行高度结构化的解析，需要进行依赖树解析等操作，实际操作极为复杂和困难。近年来，随着深度学习技术在自然语言处理任务中的崛起，很多针对阅读理解任务的研究随之诞生。例如基于文档中的答案与问题相关度最高的假设，提出了基于注意力机制的阅读理解框架；例如直接通过计算注意力选择最终的答案，获得更为简单有效的模型；例如指针网络被用来预测答案出现在文本的具体位置使得不再需要作用在整个词表上。其中最重要的步骤即为注意力机制，于是本发明提出了注意力池化机制，以引入局部注意力的思想。

发明内容

本发明针对现有技术的不足，提供一种基于注意力池化机制的阅读理解方法，基于全局和局部注意力提出注意力池化机制，提高阅读理解的准确率。

本发明解决其技术问题采用的技术方案如下：一种基于注意力池化机制的阅读理解方法，包括以下步骤：

(1)使用预训练词向量获得问题和文档中每个词语的向量表达，分别记为q^embed、d^embed。

(2)根据步骤(1)得到的q^embed和d^embed，根据问题和文档是连续序列的特点，采用递归神经网络分别对问题和文档进行进一步的编码，以获得其具有上下文信息的向量表达，分别记为q^rnn、d^rnn。

(3)根据步骤(2)得到的q^rnn和d^rnn进行注意力计算，得到注意力矩阵att∈R^m×n，m为问题长度，n为文档长度；对注意力矩阵att在m轴上进行一维最大池化操作，获得池化后的注意力数值。

(4)采用指针网络根据步骤(3)得到的注意力数值选择最终的答案。

进一步地，所述步骤(1)包括：

1.1)分别对问题q、文档d进行预处理：通过自然语言处理工具对文本进行分词、去停用词处理，获得问题的词语序列q＝q₁,q₂,…,q_m和文档的词语序列d＝d₁,d₂,…,d_n。

1.2)根据预训练词向量分别对问题q、文档d进行词嵌入(Word Embedding)表示，结果记为q^embed∈R^m×d和d^embed∈R^n×d，其中d是词向量维度。

进一步地，所述步骤(2)包括：

基于双向LSTM分别对步骤(1)得到的问题表达q^embed和文档表达d^embed进行编码，得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，其中LSTM(长短记忆网络，Long Short-Term Memory network)的具体计算步骤为下：

h_j＝o_j·tanh(c_j)

其中，i_j、o_j、f_j分别是输入、输出、遗忘门，W、b是训练参数。σ和tanh分别为sigmoid和tanh激活函数，x_j是在j时刻的输入向量，c_j-1和h_j-1是j-1时刻计算得到的上下文状态向量和隐层状态向量，是j时刻的更新状态向量。

基于双向LSTM对q^embed进行编码，分别得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，如下所示：

其中，和分别代表了正向和反向的递归神经网络，h_t-1是在t-1时刻的隐层状态，是q^embed在t时刻的表达，正向和反向的表达分别为和拼接得到最终的表达h为隐层大小。

基于双向LSTM对d^embed进行编码，分别得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，如下所示：

其中，和分别代表了正向和反向的递归神经网络，h_t-1是在t-1时刻的隐层状态，是d^embed在t时刻的表达，正向和反向的表达分别为和拼接得到最终的表达h为隐层大小。

进一步地，所述步骤(3)包括：

3.1)计算问题中每个词语的表达和文档中每个词语的表达之间的注意力矩阵att：

其中，·为矩阵乘法，att∈R^m×n。

3.2)对步骤3.1)获得的注意力矩阵att在m轴进行一维最大池化操作：

att^p＝maxpooling(att)

其中，att^p∈R^p×n，p由问题长度m、池化过滤器大小和步长共同决定。

3.3)将池化后的注意力在p轴进行相加操作：

attⁿ＝sum(att^p)

其中，attⁿ为池化后的注意力数值，attⁿ∈Rⁿ。

进一步地，所述步骤(4)包括：

4.1)对步骤3)中获得的文档每个词语的注意力数值attⁿ进行归一化：

attⁿⁿ＝softmax(attⁿ)

其中，softmax代表softmax函数，attⁿⁿ∈Rⁿ。

4.2)根据掩膜对attⁿⁿ进行计算，获得候选实体的注意力分值

其中，mask∈R^n×c，c是文档d的候选实体数目，mask将候选实体与文档的词语序列进行映射，记录了实体的具体位置及重复情况；

选取中概率值最高的实体作为预测答案。

进一步地，本发明可视为在候选实体上的多分类问题，因此选择交叉熵损失函数作为训练期间的损失函数，如下所示：

其中，y是正确答案，具体为在候选实体的one-hot表达，是预测答案。

本发明所提出的方法与传统阅读理解方法相比，具有以下优势：

1.提出了局部注意力的思想，对传统的注意力机制是一个补充。

2.对局部注意力采用池化技术，使得注意力机制的效果更加明显，进而提高了阅读理解的效果。

附图说明

图1是阅读理解模型的示意图；

图2是注意力池化过程的示意图；

图3是最大池化操作的示意图；

图4是指针网络的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

实施例1

如图1所示，本实施例提供的一种基于注意力池化机制的阅读理解方法，包括以下步骤：

(1)使用预训练词向量获得问题和文档中每个词语的向量表达，分别记为q^embed、d^embed，具体包括：

1.1)分别对问题q、文档d进行预处理：通过自然语言处理工具对文本进行分词、去停用词处理，获得问题的词语序列q＝q₁,q₂，…,q_m和文档的词语序列d＝d₁，d₂,…,d_n。

1.2)根据预训练词向量分别对问题q、文档d进行词嵌入(Word Embedding)表示，结果记为q^embed∈R^m×d和d^embed∈R^n×d，其中d是词向量维度。

(2)根据步骤(1)得到的q^embed和d^embed，根据问题和文档是连续序列的特点，采用递归神经网络分别对问题和文档进行进一步的编码，以获得其具有上下文信息的向量表达，分别记为q^rnn、d^rnn，具体如下：

基于双向LSTM分别对步骤(1)得到的问题表达q^embed和文档表达d^embed进行编码，得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，其中LSTM(长短记忆网络，Long Short-Term Memory network)的具体计算步骤为下：

h_j＝o_j·tanh(c_j)

其中，i_j、o_j、f_j分别是输入、输出、遗忘门，W、b是训练参数。σ和tanh分别为sigmoid和tanh激活函数，x_j是在j时刻的输入向量，c_j-1和h_j-1是j-1时刻计算得到的上下文状态向量和隐层状态向量，是j时刻的更新状态向量。

基于双向LSTM对q^embed进行编码，分别得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，如下所示：

其中，和分别代表了正向和反向的递归神经网络，h_t-1是在t-1时刻的隐层状态，是q^embed在t时刻的表达，正向和反向的表达分别为和拼接得到最终的表达h为隐层大小。

基于双向LSTM对d^embed进行编码，分别得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，如下所示：

其中，和分别代表了正向和反向的递归神经网络，h_t-1是在t-1时刻的隐层状态，是d^embed在t时刻的表达，正向和反向的表达分别为和拼接得到最终的表达h为隐层大小。

(3)根据步骤(2)得到的q^rnn和d^rnn，进行注意力计算，得到注意力矩阵att∈R^m×n，m为问题长度，n为文档长度；对注意力矩阵att在m轴上进行一维最大池化操作，获得池化后的注意力数值，具体步骤包括：

3.1)计算问题中每个词语的表达和文档中每个词语的表达之间的注意力矩阵att：

其中，·为矩阵乘法，att∈R^m×n。

3.2)对步骤3.1)获得的注意力矩阵att在m轴进行一维最大池化操作，见图2，其中最大池化操作过程见图3：

att^p＝maxpooling(att)

其中，att^p∈R^p×n，p由问题长度m、池化过滤器大小和步长共同决定。

3.3)将池化后的注意力在p轴进行相加操作：

attⁿ＝sum(att^p)

其中，attⁿ为池化后的注意力数值，attⁿ∈Rⁿ。

(4)如图4所示，采用指针网络根据步骤(3)得到的注意力数值选择最终的答案，具体步骤包括：

4.1)对步骤3)中获得的文档每个词语的注意力数值attⁿ进行归一化：

attⁿⁿ＝softmax(attⁿ)

其中，softmax代表softmax函数，attⁿⁿ∈Rⁿ。

4.2)根据掩膜对attⁿⁿ进行计算，获得候选实体的注意力分值

其中，mask∈R^n×c，c是文档d的候选实体数目，mask将候选实体与文档的词语序列进行映射，记录了实体的具体位置及重复情况；

选取中概率值最高的实体作为预测答案。

本发明可视为在候选实体上的多分类问题，因此选择交叉熵损失函数作为训练期间的损失函数，如下所示：

其中，y是正确答案，具体为在候选实体的one-hot表达，是预测答案。

实施例2

本实施例采用的数据集包括英文公开数据集Quasar-T和中文公开数据集WebQA。英文公开数据集Quasar-T是包括事实型问答对和相关的文本，用于检索和阅读理解任务。它通过对网络上多个数据来源的搜集一共包括近四万个问题，这些问题的答案大部分是文本段落中的一段，其中大部分是名词短语。WebQA数据集包含形如(问题、证据文本、答案)的三元组，所有的问题、证据文本和答案都搜集于网络。数据集中的问题和答案大部分来源于一个大的问答社区——百度知道，小部分来源于人工搜集的网络文本。因此，该数据集中的所有问题均为现实世界的用户在日常生活中提出的，没有限制条件。数据集相关信息统计如下：

	#q(train)	#q(dev)	#q(test)
				Quasar-T	7035	560	568
WebQA	15480	1552	1511

采用TensorFlow框架进行编程，中英文词向量均采用预先训练的词向量，中文为基于百度百科语料的Skip-grams的词嵌入模型训练得到，英文采用GloVe。词向量维度为100，LSTM的隐层大小为[100,128]，采用Adam优化器进行模型训练，初始的训练速度是0.001，随着训练次数的增加其将会衰减，以便让模型更好地收敛，并且采用Early Stop机制避免过拟合

另外，实验中将数据集分为训练集(Train)、验证集(Development)和测试集(Test)，在验证集上表现最佳的时刻将模型进行保存，并在测试机上进行预测，计算准确率。

为了比较本方法提出的基于注意力池化机制的局部注意力模型AP Reader(Attention Pooling Reader)，选择了多个通用阅读理解模型包括AS Reader、CASReader、BiDAF和GA Reader，其对比结果如下表所示：

对比从表中可以看出，本方法提出的基于注意力池化机制的局部注意力模型APReader两个数据集上相比其他模型均有了提升。值得注意的是，通用模型中CAS Reader同样侧重于局部注意力的计算，与我们不同的是，未采用池化机制对注意力进行进一步分析，其准确率在两个数据集上分别为47.35和63.40，AP Reader则分别为48.26和63.80，均有不同程度的提高，再一次证明了将池化机制应用于局部注意力计算中的有效性。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于注意力池化机制的阅读理解方法，其特征在于，包括以下步骤：

(1)使用预训练词向量获得问题和文档中每个词语的向量表达，分别记为q^embed、d^embed。

(2)根据步骤(1)得到的q^embed和d^embed，根据问题和文档是连续序列的特点，采用递归神经网络分别对问题和文档进行进一步的编码，以获得其具有上下文信息的向量表达，分别记为q^rnn、d^rnn。

(3)根据步骤(2)得到的q^rnn和d^rnn进行注意力计算，得到注意力矩阵att∈R^m×n，m为问题长度，n为文档长度；对注意力矩阵att在m轴上进行一维最大池化操作，获得池化后的注意力数值。

(4)采用指针网络根据步骤(3)得到的注意力数值选择最终的答案。

2.根据权利要求1所述的一种基于注意力池化机制的阅读理解方法，其特征在于，所述步骤(1)包括：

1.1)分别对问题q、文档d进行预处理：通过自然语言处理工具对文本进行分词、去停用词处理，获得问题的词语序列q＝q₁，q₂，...，q_m和文档的词语序列d＝d₁，d₂，...，d_n。

1.2)根据预训练词向量分别对问题q、文档d进行词嵌入表示，结果记为q^embed∈R^m×d和d^embed∈R^n×d，其中d是词向量维度。

3.根据权利要求1所述的一种基于注意力池化机制的阅读理解方法，其特征在于，所述步骤(2)包括：

基于双向LSTM分别对步骤(1)得到的问题表达q^embed和文档表达d^embed进行编码，得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，其中LSTM的具体计算步骤为下：

h_j＝o_j·tanh(c_j)

其中，i_j、o_j、f_j分别是输入、输出、遗忘门，W、b是训练参数；σ和tanh分别为sigmoid和tanh激活函数，x_j是在j时刻的输入向量，c_j-1和h_j-1是j-1时刻计算得到的上下文状态向量和隐层状态向量，是j时刻的更新状态向量。

基于双向LSTM对q^embed进行编码，分别得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，如下所示：

其中，和分别代表了正向和反向的递归神经网络，h_t-1是在t-1时刻的隐层状态，是q^embed在t时刻的表达，正向和反向的表达分别为和拼接得到最终的表达h为隐层大小。

基于双向LSTM对d^embed进行编码，分别得到其正向和反向的表达，将每个词语正反向拼接得到最终的表达，如下所示：

其中，和分别代表了正向和反向的递归神经网络，h_t-1是在t-1时刻的隐层状态，是d^embed在t时刻的表达，正向和反向的表达分别为和拼接得到最终的表达h为隐层大小。

4.根据权利要求1所述的一种基于注意力池化机制的阅读理解方法，其特征在于，所述步骤(3)包括：

3.1)计算问题中每个词语的表达和文档中每个词语的表达之间的注意力矩阵att：

其中，·为矩阵乘法，att∈R^m×n。

3.2)对步骤3.1)获得的注意力矩阵att在m轴进行一维最大池化操作：

att^p＝maxpooling(att)

其中，att^p∈R^p×n，p由问题长度m、池化过滤器大小和步长共同决定。

3.3)将池化后的注意力在p轴进行相加操作：

attⁿ＝sum(att^p)

其中，attⁿ为池化后的注意力数值，attⁿ∈Rⁿ。

5.根据权利要求1所述的一种基于注意力池化机制的阅读理解方法，其特征在于，所述步骤(4)包括：

4.1)对步骤3)中获得的文档每个词语的注意力数值attⁿ进行归一化：

attⁿⁿ＝softmax(attⁿ)

其中，softmax代表softmax函数，attⁿⁿ∈Rⁿ。

4.2)根据掩膜对attⁿⁿ进行计算，获得候选实体的注意力分值

其中，mask∈R^n×c，c是文档d的候选实体数目，mask将候选实体与文档的词语序列进行映射，记录了实体的具体位置及重复情况；

选取中概率值最高的实体作为预测答案。

6.根据权利要求1所述的一种基于注意力池化机制的阅读理解方法，其特征在于，选择交叉熵损失函数作为训练期间的损失函数，如下所示：

其中，y是正确答案，具体为在候选实体的one-hot表达，是预测答案。