CN113536808A - 引入多重文本关系的阅读理解试题难度自动预测方法 - Google Patents

Abstract

本发明公开了一种引入多重文本关系的阅读理解试题难度自动预测方法，涉及试题难度自动预测技术领域，包括：建立基于多视角注意力的MACNN模型，包括输入层、编码层、交互层、融合层和预测层，获取输入文本，包括问题文本q_i、对应文档d_i及问题的候选选项o_i；将获取的输入文本作为MACNN模型的输入；利用编码层对输入文本进行卷积操作，提取输入文本的上下文表示；通过交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项间的交互关系信息；利用融合层将交互层获取的交互关系信息进行整合，并通过预测层预测试题难度。本发明可自动预测试题难度，辅助或替代传统人工试题难度评估工作，减少人力和财力资源的消耗。

Description

引入多重文本关系的阅读理解试题难度自动预测方法

技术领域

本发明涉及试题难度自动预测技术领域，更具体的说是涉及一种引入多重文本关系的阅读理解试题难度自动预测方法。

背景技术

试题难度是教育考试和个性化试题推荐的重要指标，试题难度预测指在未进行真实试题测试或未得出试题测试结果之前，仅根据试题的形式、内容等特征信息，预测某试题的难度。以往的方法主要基于专家经验，人力和时间成本、财力资源损耗较高。近年来，利用神经网络预测试题难度的研究越来越受到重视，然而，这些方法虽然提高了难度预测的效率，但只是将难度预测任务看作一个简单的分类或预测任务，而忽略了输入文本之间的关系对难度预测的影响，比如只关注问题与文档文本之间的关系，而没有考虑阅读理解多项选择题中选项内容之间的混淆关系对难度预测的影响。

因此，如何提出一种可以减少人力和财力资源消耗，克服传统人工试题难度评估工作的不足，同时考虑输入文本之间关系的试题难度预测模型是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种引入多重文本关系的阅读理解试题难度自动预测方法，考虑了输入文本之间的关系，克服了传统人工试题难度评估工作的不足，减少了人力和财力资源消耗。

为了实现上述目的，本发明提供如下技术方案：

一种引入多重文本关系的阅读理解试题难度自动预测方法，包括以下步骤：

建立基于多视角注意力的MACNN模型，所述MACNN模型包括输入层、编码层、交互层、融合层和预测层；

获取输入文本，所述输入文本包括问题文本q_i、对应文档d_i及问题的候选选项o_i；

将获取的所述输入文本作为所述MACNN模型的输入送到所述输入层；

利用所述编码层对所述输入文本进行卷积操作，提取所述输入文本的上下文表示；

通过所述交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项之间的交互关系信息；

利用所述融合层将交互层获取的所述交互关系信息进行整合，并通过所述预测层预测试题难度。

上述的技术方案公开了本发明中对阅读理解难度进行自动预测的具体步骤，提出了一种具有多角度注意机制的卷积神经网络MACNN，在阅读理解中从不同输入文本中提取不同交互关系信息，可以达到自动预测试题难度的目的。

优选的，所述对应文档d_i以句子序列形式表示为d_i＝{s₁,s₂,...,s_n,...,s_N}，N表示句子序列的长度，s_n表示第n个句子，1≤n≤N；每个句子由有限个单词组成，表示为s_n＝{w₁,w₂,...,w_m,...,w_M}，M表示句子的长度，w_m表示第m个单词，1≤m≤M，w_m∈R^d通过d维预训练的单词嵌入初始化，其中R^d表示d维矩阵。

优选的，利用所述编码层对所述输入文本进行卷积操作，将连续的k个单词组合成一个局部语义表示，获得一个新的隐藏序列为

其中，

其中：h表示得到的新隐藏层向量，σ表示sigmoid函数，w_m-k+1表示第(m-k+1)个单词，w_m表示第m个单词，b表示第一参数矩阵；

G∈R^d1×kd，G表示权重矩阵，d1表示输出编码维度，b∈R^d1是卷积参数，

是将k个向量拼接的操作。

上述的技术方案中公开了输入文本在输入层和编码层的主要形式，对于给定的问题文本、对应文档和候选选项，使用CNN提取上下文表示，从阅读习惯的角度来看，CNN更适合从局部到整体捕捉每个句子的关键信息。

优选的，所述交互层包括阅读模块、回忆模块和混淆模块；

利用所述阅读模块通过注意力评估所述问题文本和对应文档之间的语义相关性：

其中，注意力权重

是文档D中的第j个句子，

是问题文本q_i的句子向量表示，d是维度，L_D表示文档最大长度；

利用所述回忆模块提取所述问题文本和候选选项之间的交互关系信息，得到问题相关文档语义表示

为：

其中，注意力权重

L_o表示选项最大长度，

是第j个选项文本的向量表示；通过所述混淆模块获取所述候选选项与候选选项之间的混淆信息

为：

其中，注意力权重

S_A是正确答案。

上述的技术方案将教育理论证明的影响难度预测的关键因素：阅读、回忆、困惑等相关信息融入模型，通过交互层设计的三个模块采用不同的注意力机制，分别从问题文本、对应文档和候选选项两两之间提取不同的交互关系信息。

优选的，利用所述融合层通过拼接方式将交互层获取的所述交互关系信息进行整合，利用全连接层的输出p₀预测试题难度

其中：W₁表示第二参数矩阵，b₁表示第三参数矩阵；

利用logistic函数计算

为：

其中：W₂表示第四参数矩阵，b₂表示第五参数矩阵；

将训练损失定义为最小方差损失的总和：

其中：P_i是真实难度标签，N(Q)代表问题总数，θ_M表示模型中所有的参数，γ是权重超参数。

上述的技术方案公开了通过设置的融合层和预测层对不同的交互关系信息进行整合并最终预测试题难度的计算过程，可以达到自动预测阅读理解试题难度的目的。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种引入多重文本关系的阅读理解试题难度自动预测方法，具有以下有益技术效果：

(1)本发明建立的阅读理解试题难度预测模型，能够辅助或替代传统人工试题难度评估工作，进而减少人力和财力资源的消耗；

(2)本发明中将教育理论证明的影响难度预测的关键因素(阅读、回忆、困惑等相关信息)融入模型，建立的MACNN模型的性能更好，提高了预测结果的准确性；

(3)本发明可以用于自适应学习系统中习题难度迭代更新，为题库中难度自动化标注提高效率，便于管理者使用；有利于在线教育资源的有效管理、精确检索和精准个性化推荐，自动化难度预测可以为练习题自动分配难度值，为不同知识水平学生个性化推荐不同难度的练习题，提升在线学习效率以及练习效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明中引入多重文本关系的阅读理解试题难度自动预测方法的流程图；

图2是MACNN模型的整体框架图；

图3是阅读模块框架图；

图4是回忆模块框架图；

图5是混淆模块框架图；

图6是一实施例中注意力权重可视化的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种引入多重文本关系的阅读理解试题难度自动预测方法，如图1所示，包括以下步骤：

建立基于多视角注意力的MACNN模型，如图2所示，MACNN模型包括输入层、编码层、交互层、融合层和预测层；

获取输入文本，输入文本包括问题文本q_i、对应文档d_i及问题的候选选项o_i；

将获取的输入文本作为MACNN模型的输入送到输入层；

利用编码层对输入文本进行卷积操作，提取输入文本的上下文表示；

通过交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项之间的交互关系信息；

利用融合层将交互层获取的交互关系信息进行整合，并通过预测层预测试题难度。

进一步的，对应文档d_i以句子序列形式表示为d_i＝{s₁,s₂,...,s_n,...,s_N}，N表示句子序列的长度，s_n表示第n个句子，1≤n≤N；每个句子由有限个单词组成，表示为s_n＝{w₁,w₂,...,w_m,...,w_M}，M表示句子的长度，w_m表示第m个单词，1≤m≤M，w_m∈R^d通过d维预训练的单词嵌入初始化，其中R^d表示d维矩阵。

然后，利用编码层对输入文本进行卷积操作，将连续的k个单词组合成一个局部语义表示，获得一个新的隐藏序列为

其中，

其中：h表示得到的新隐藏层向量，σ表示sigmoid函数，w_m-k+1表示第(m-k+1)个单词，w_m表示第m个单词，b表示第一参数矩阵；

G∈R^d1×kd，G表示权重矩阵，d1表示输出编码维度，b∈R^d1是卷积参数，

是将k个向量拼接的操作。

在一实施例中，交互层包括阅读模块、回忆模块和混淆模块；

如图3所示是阅读模块框架图，利用阅读模块通过注意力评估问题文本和对应文档之间的语义相关性：

其中，注意力权重

是文档D中的第j个句子，

是问题文本q_i的句子向量表示，d是维度，L_D表示文档的最大长度；

利用如图4所示的回忆模块提取问题文本和候选选项之间的交互关系信息，得到问题相关文档语义表示

为：

其中，注意力权重

L_o表示选项的最大长度，

是第j个选项文本的向量表示；

再通过如图5所示的混淆模块获取候选选项与候选选项之间的混淆信息

为：

其中，注意力权重

S_A是正确答案。

之后，利用融合层通过拼接方式将交互层获取的交互关系信息进行整合，利用全连接层的输出p₀预测试题难度

其中：W₁表示第二参数矩阵，b₁表示第三参数矩阵；

利用logistic函数计算

为：

其中：W₂表示第四参数矩阵，b₂表示第五参数矩阵；

将训练损失定义为最小方差损失的总和：

其中：P_i是真实难度标签，N(Q)代表问题总数，θ_M表示模型中所有的参数，γ是权重超参数。

下面通过具体的实施例，对本发明中的预测方法进行解释说明。

由于教育领域数据隐私问题，我们的实验数据集从中国最大的在线主题教育网站之一(http://www.tiku.cn/)收集，包括1万多个问题。现分两步对收集的数据进行处理：首先，删除一些重复的问题；其次，过滤图片等非文本信息。因为本发明是基于文本来预测问题难度的，所以只关注纯文本问题。最后得到如表1中的试题样例，其数据集的统计信息见表2。

表1英语阅读试题样例

表2数据集的统计信息

模型详细信息和训练过程中的参数设置是通过真实数据集训练得到，从五折交叉验证获得的最佳实验结果中选择的超参数。表3中列出了MACNN模型当中的超参数，其他参数与TACNN相同。

表3模型超参数展示

实验基线主要包括以下几种：

TF IDF+SVM：通过TFIDF获取统计信息，然后将其转换为矩阵，最后使用SVM来预测难度。

CNN：许多研究将CNN作为基本框架。在此基础上比较注意机制的有效性，在本发明中选择它作为基准方法，利用其获取局部特征的优势对测试内容进行编码，获取语义，然后利用全连接层来预测难度。

TACNN：在CNN网络框架的基础上，增加了注意力机制(A)，以获取文档问题之间的交互语义，并在训练中加入测试独立策略(T)。但是，由于其数据集是基于测试单元收集的。且本发明没有此数据集及以测试单元为基础收集特性，因此，不会在实验时加入T策略。

Bi LSTM：自然语言处理中的一种常用方法。为了帮助理解任务的总体难度并证明三个难度模块的有效性，选择它作为另一个基准方法。

为了测量MACNN模型的性能，从回归角度评估所有模型在QDP上的精度，本实验中使用平均平方根误差(RMSE)和平均绝对误差(MAE)来评估预测难度和实际难度之间的差距。简言之，RMSE和MAE越小，预测性能就越好。

在数据集中复现上述的基线方法，由于问题难度预测数据集在国内外很少公开，数据集的大小也不均匀，因此本实施例中采用已公布的代码方法，在所收集的数据集上，利用不同基线方法进行优化并取得最佳效果再进行比较，实验结果见表4。

表4 MACNN实验结果

从表4中可以了解到，本发明的预测方法优于以往基线，且优于最新的TACNN和Bi-LSTM方法。本实施例中复现TACNN得出的结果是0.226，是因为没有使用根据真实世界的数据提出的测试独立策略，参考文献中给出的结果是0.204左右，与此相比，本发明建立的MACNN模型略微领先。但是，TACNN的实验数据是在线独立测试数据，其答案记录约为2880,000，问题约为30,000。在数据不太丰富的情况下，也进一步证明了本发明中建立的模型MACNN的有效性。

此外，为了进一步证明本发明中设计的具有多视角注意机制的三个模块的有效性，现增加几组对比实验，如表5所示。因为以前的方法也利用注意力来获得问题与文档之间的相关信息。因此，本实施例中只讨论添加的回忆模块和混淆模块的贡献。根据表5可知，混淆难度模块对整体模型贡献很大，可以绝对提高预测性能约2％。这可能是由于英语阅读理解问题的特点：四个选项，其中一个是正确的，另外三个是具有干扰性的，因此混淆信息比较丰富。同时，删除回忆模块后，性能下降约1％，也验证此模块的有效性。

表5回忆模块和混淆模块的对比实验

(-R：去掉回忆模块，-C：去掉混淆模块)

为了进一步分析，现随机可视化一个问题训练后的注意力权重。如图6所示，颜色越深，权重越高，即关注度越高。从图6中可以发现，对于问题文本，可以关注相应文档中的不同相关句子，建立它们与相关文本的关系，并得到不同的关注度。与TACNN相比，本发明建立的模型MACNN更关注四个选项中的一些相关信息，即混淆信息。例如，TACNN预测0.29，这认为该问题很简单。采用本发明的MACNN模型的预测是0.43，融合了阅读，回忆和困惑的注意力权重，提高了对这个问题难度预测的准确性。

现有技术中利用神经网络预测试题难度的方法只是将难度预测任务看作一个简单的分类或预测任务，而忽略了输入文本之间的关系对难度预测的影响，比如只关注问题与文档文本之间的关系，而没有考虑阅读理解多项选择题中选项内容之间的混淆关系对难度预测的影响。本发明建立的基于多视角注意力的MACNN模型，能够辅助或替代传统人工试题难度评估工作，进而减少人力和财力资源的消耗；还将教育理论证明的影响难度预测的关键因素(阅读、回忆、困惑等相关信息)融入模型，模型的性能更好，提高了预测结果的准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种引入多重文本关系的阅读理解试题难度自动预测方法，其特征在于，包括以下步骤：

建立基于多视角注意力的MACNN模型，所述MACNN模型包括输入层、编码层、交互层、融合层和预测层；

获取输入文本，所述输入文本包括问题文本q_i、对应文档d_i及问题的候选选项o_i；

将获取的所述输入文本作为所述MACNN模型的输入送到所述输入层；

利用所述编码层对所述输入文本进行卷积操作，提取所述输入文本的上下文表示；

通过所述交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项之间的交互关系信息；

利用所述融合层将交互层获取的所述交互关系信息进行整合，并通过所述预测层预测试题难度。

2.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法，其特征在于，所述对应文档d_i以句子序列形式表示为d_i＝{s₁,s₂,...,s_n,...,s_N}，N表示句子序列的长度，s_n表示第n个句子，1≤n≤N；每个句子由有限个单词组成，其中s_n＝{w₁,w₂,...,w_m,...,w_M}，M表示句子的长度，w_m表示第m个单词，1≤m≤M，w_m∈R^d通过d维预训练的单词嵌入初始化，其中R^d表示d维矩阵。

3.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法，其特征在于，利用所述编码层对所述输入文本进行卷积操作，将连续的k个单词组合成一个局部语义表示，获得一个新的隐藏序列为

其中，

其中：h表示得到的新隐藏层向量，σ表示sigmoid函数，w_m-k+1表示第(m-k+1)个单词，w_m表示第m个单词，b表示第一参数矩阵；

G∈R^d1×kd，G表示权重矩阵，d1表示输出编码维度，b∈R^d1是卷积参数，

是将k个向量拼接的操作。

4.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法，其特征在于，所述交互层包括阅读模块、回忆模块和混淆模块；

利用所述阅读模块通过注意力评估所述问题文本和对应文档之间的语义相关性：

其中，注意力权重

是文档D中的第j个句子，

是问题文本q_i的句子向量表示，d是维度，L_D表示文档的最大长度；

利用所述回忆模块提取所述问题文本和候选选项之间的交互关系信息，得到问题相关文档语义表示

为：

其中，注意力权重

L_o表示选项的最大长度，

是第j个选项文本的向量表示；

通过所述混淆模块获取所述候选选项与候选选项之间的混淆信息

为：

其中，注意力权重

S_A是正确答案。

5.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法，其特征在于，利用所述融合层通过拼接方式将交互层获取的所述交互关系信息进行整合，利用全连接层的输出p₀预测试题难度

其中：W₁表示第二参数矩阵，b₁表示第三参数矩阵；

利用logistic函数计算

为：

其中：W₂表示第四参数矩阵，b₂表示第五参数矩阵；

将训练损失定义为最小方差损失的总和：

其中：P_i是真实难度标签，N(Q)代表问题总数，θ_M表示模型中所有的参数，γ是权重超参数。

Images