CN112818100B - 一种融合题目难度的知识追踪方法及系统 - Google Patents

Abstract

本发明公开了一种融合题目难度的知识追踪方法及系统。该方法包括步骤：获取t时刻学习者回答的题目q_t、答案r_t和学习者在回答该问题时的交互信息；获取概念矩阵M^k和t时刻的概念掌握矩阵根据交互信息计算题目难度d_t；获得题目q_t与第i个概念的相关度w_t(i)；计算获得学习者对题目q_t相关的概念的总体掌握程度ks_t；输出学习者回答题目q_t的预测正确率pr_t以及题目q_t对学习者的预测难度pd_t；训练预测模型，训练目标是最小化预测正确率pr_t和答案r_t间的差异以及预测难度pd_t和题目难度d_t间的差异；更新下一个时间步长的概念掌握矩阵本发明在预测学习者正确率的同时，还预测题目对学习者的难度，增强了模型在学习者知识掌握状态方面的表示。

Description

一种融合题目难度的知识追踪方法及系统

技术领域

本发明属于知识追踪技术领域，更具体地，涉及一种融合题目难度的知识追踪方法及系统。

背景技术

知识追踪(Knowledge Tracing)的目的是表示学习者的知识掌握状态。而当前的知识追踪模型主要根据学习者历史的题目回答记录，建模学习者的知识学习过程，预测学习者未来回答题目的表现。其输入一般是学习者的题目回答记录，输出是学习者正确回答下一题目的概率。

可以看出，当前的知识追踪模型将“学习者正确回答下一题目的概率”视为学习者的知识掌握状态。显然，仅仅使用“学习者正确回答下一题目的概率”作为学习者的知识掌握状态并不完善，它仅能对学习者的表现进行结果预测，而没有对学习者回答题目的过程进行判断。本发明引入题目难度表示，使知识追踪模型在预测学习者表现的同时，预测题目对学习者的难度，增强当前知识追踪模型在表示学习者知识掌握状态的表示。

知识追踪领域有多个经典的模型，例如深度知识跟踪模型(Deep KnowledgeTracing,DKT)、卷积知识追踪模型(Convolutional Knowledge Tracing，CKT)、动态关键值记忆网络知识追踪模型(Dynamic Key-Value Memory Networks，DKVMN)。

其中，DKVMN模型在引入题目难度方面进行了初步的探索，但是其直接使用题目的嵌入表示k_t作为题目难度的表示。第一，这样较为粗糙，并没有客观反映出题目的难度。即学习者花费的时间、使用的帮助、尝试的次数等都无法反映出来。第二，DKVMN仅在模型的中间过程使用了题目难度的表示，模型并没有给出题目难度的预测结果。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种融合题目难度的知识追踪方法及系统，使知识追踪模型在预测学习者表现的同时，预测题目对学习者的难度，增强当前知识追踪模型在表示学习者知识掌握状态的表示。

为实现上述目的，按照本发明的第一方面，提供了一种融合题目难度的知识追踪方法，包括步骤：

获取t时刻学习者回答的题目q_t、对该题目回答的答案r_t和学习者在回答该问题时的交互信息；

获取概念矩阵M^k和概念掌握矩阵M^k用于表示学习者要回答的所有题目中涉及到的所有概念，/>用于表示t时刻学习者对每个概念的掌握程度；

根据交互信息计算题目难度d_t；

将题目q_t转换成题目嵌入向量v_q，将题目嵌入向量v_q和概念矩阵M^k输入到预测模型，获得题目q_t与第i个概念的相关度w_t(i)；

计算获得学习者对题目q_t相关的概念的总体掌握程度ks_t；

将总体掌握程度ks_t和相关度w_t(i)输入到预测模型，获得学习者回答题目q_t的预测正确率pr_t以及题目q_t对学习者的预测难度pd_t；

训练预测模型，训练的目标是最小化预测正确率pr_t和答案r_t间的差异以及预测难度pd_t和题目难度d_t间的差异之和。

优选的，所述交互信息包括学习者回答题目q_t所用的时间o_t、学习者回答题目q_t尝试的总次数a_t和学习者回答题目q_t使用提示的总次数h_t。

优选的，还包括步骤：根据题目q_t、答案r_t和交互信息对掌握程度矩阵进行更新，/>用于表示t时刻之后下一个时间步学习者对每个概念的掌握程度。

优选的，所述对掌握程度矩阵进行更新包括步骤：

将题目q_t和交互信息转换为嵌入向量v_qoah，根据向量v_qoah计算得到向量qd_t，向量qd_t的计算公式为：

qd_t＝tanh(D^Tv_qoah+b₂)

其中D^T是变换矩阵，b₂是偏置矩阵；

根据题目q_t和交互信息更新后的学习者对第i个概念的掌握程度的计算公式为：

将题目q_t和答案r_t转换为嵌入向量v_qr，根据向量v_qr计算得到向量qr_t，向量qr_t的计算公式为：

qr_t＝Sigmoid(R^Tv_qr+b₃)

其中D^T是变换矩阵，b₃是偏置矩阵；

根据题目q_t和答案r_t更新后的学习者对第i个概念的掌握程度的计算公式为：

优选的，所述根据交互信息计算题目难度d_t的计算公式为：

d_t＝N(o_t)*N(a_t)*N(h_t)

N(o_t)表示将时间o_t归一化处理后的值，N(a_t)表示将总次数a_t归一化处理后的值，N(h_t)表示将总次数h_t归一化处理后的值。

优选的，w_t(i)的计算公式为：

其中，T表示矩阵转置，M^k(i)是概念矩阵M^k中第i个概念的表示。

优选的，ks_t的计算公式为：

其中N为所有概念的总数量。

优选的，预测正确率pr_t以及题目q_t对学习者的预测难度pd_t的计算公式为：

[pr_t，pd_t]＝Sigmoid(W_tks_t+b₁)

其中

按照本发明的第二方面，提供了一种融合题目难度的知识追踪方法，包括步骤：

获取学习者要回答的题目，将要回答的题目输入到训练好的预测模型，输出学习者回答该题目的预测正确率以及该题目对学习者的预测难度，所述预测模型的训练采用上述任一项所述的方法得到。

按照本发明的第三方面，提供了一种融合题目难度的知识追踪系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

总体而言，本发明与现有技术相比，具有有益效果：

(1)使知识追踪模型在预测学习者正确率的同时，预测题目对学习者的难度，增强当前知识追踪模型在学习者知识掌握状态方面的表示，进而可以提升知识追踪技术在各项应用中的价值。

(2)在预测正确率和题目难度时，创造性地提出根据历史数据中的题目、答案和回答时交互信息来进行预测，能够提升预测的精确度。

(3)在对表示学习者记忆状态的概念掌握程度矩阵进行更新时，根据题目、答案和交互信息三者进行更新，即同时考虑了题目难度对概念掌握程度矩阵的作用，以及题目答案正确与否对概念掌握程度矩阵的作用。

附图说明

图1是本发明实施例的融合题目难度的知识追踪方法的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例的一种融合题目难度的知识追踪方法，包括步骤：

S1，获取t时刻学习者回答的题目q_t、对该题目回答的答案r_t和学习者在回答该问题时的交互信息。

知识追踪是根据学习者的历史记录，建模学习者的知识学习过程，预测学习者未来回答题目的表现。

将历史记录中t时刻学习者所要回答的题目记作q_t，学习者对题目q_t给出的答案记作r_t。交互信息是学生回答题目时的产生的交互信息，可以根据需要灵活定义要采集的交互信息类型，例如可以包括：学习者回答q_t所用的时间，记作o_t，学习者回答q_t尝试的总次数，记作a_t，学习者回答q_t使用提示的总次数，记作h_t。

以下实施例中以交互信息包括(o_t，a_t，h_t)作为示例说明。模型的输入为q_t，o_t，a_t，h_t，输出为p(r_t|q_t)。

S2，获取概念矩阵M^k和概念掌握矩阵M^k用于表示学习者要回答的所有题目中涉及到的所有概念，/>用于表示t时刻学习者对每个概念的掌握程度。

假设，学习者要回答的题目总数记作Q；所有题目中涉及到的概念记作{c₁，c₂，…，c_n}，存储于矩阵中，概念的表示不会随着时间而改变。t时刻学习者对每个概念的掌握程度记作{s₁，s₂，…，s_n}，存储于矩阵/>中，概念的掌握程度会随着时间而改变。

S3，定义题目难度，根据交互信息计算题目难度d_t。

问答题目过程所用的总时间o_t、尝试的总次数a_t、以及使用提示的总次数h_t均与题目的难度正相关。分别对o_t，a_t，h_t进行归一化(Normalization)处理，使它们处于区间[0，1]之间。将题目的难度定义如下：

d_t＝N(o_t)*N(a_t)*N(h_t)

N(o_t)表示将时间o_t归一化处理后的值，N(a_t)表示将总次数a_t归一化处理后的值，N(h_t)表示将总次数h_t归一化处理后的值。

题目难度的定义并非固定的，可以根据需要灵活调整。

S4，相关权重定义，计算相关权重。

题目q_t中可能与多个概念相关，为了表示与每个概念的相关度，需要定义相关权重。题目q_t由嵌入(embedding)矩阵嵌入得到嵌入向量/>其中Q为所有题目的数量。W实际上是神经网络的一层的表示，W是通过学习确定的。计算如下：

其中w_t(i)表示题目q_t与概念i的相关度，M^k(i)是概念矩阵M^k中第i个概念的表示。

S5，计算获得学习者对题目q_t相关的概念的总体掌握程度ks_t。

当学习者回答题目q_t时，学习者对与q_t相关的每个概念的总体掌握情况(KnowledgeState)由ks_t表示如下：

其中，表示t时刻学习者对第i个概念的掌握内容。

S6，将总体掌握程度ks_t和相关度w_t(i)输入到预测模型，获得学习者回答题目q_t的预测正确率pr_t以及题目q_t对学习者的预测难度pd_t。

使用一个全连接层输出学习者的表现pr_t以及题目q_t对学习者的难度pd_t，如下：

[pr_t，pd_t]＝Sigmoid(W_tks_t+b₁)

其中pr_t表示模型预测的学习者正确回答题目q_t的概率，pd_t表示模型预测的题目q_t对学习者的难度,b₁都是训练确定的参数。

S7，训练预测模型，训练的目标是最小化预测正确率pr_t和答案r_t间的差异以及预测难度pd_t和题目难度d_t间的差异之和。

优选的，损失函数为：

S8.题目难度作用过程。

学习者回答q_t所用的时间o_t，学习者回答q_t尝试的总次数a_t，学习者回答q_t使用提示的总次数h_t组成的元组(q_t，o_t，a_t，h_t)会对概念的掌握程度矩阵产生作用。

由嵌入矩阵嵌入得到向量v_qoah，然后由此得到向量qd_t如下：

qd_t＝tanh(D^Tv_qaah+b₂)

其中D^T是变换矩阵，b₂是偏置矩阵，D^T和b₂都是训练确定的参数。

题目难度对概念的掌握程度矩阵产生作用，从而影响下一个时间步的掌握程度矩阵/>如下：

S9.题目答案作用过程。元组(q_t，r_t)由嵌入矩阵嵌入得到v_qr，然后由此得到题目答案向量qr_t如下：

qr_t＝Sigmoid(R^Tv_qr+b₃)

其中R^T是变换矩阵，b₃是偏置矩阵，R^T和b₃是训练确定的参数。

学习者题目答案正确与否将对概念的掌握程度矩阵产生作用，从而影响下一个时间步的掌握程度矩阵/>如下：

采用上述知识追踪方法获取的预测模型进行知识追踪，获取学习者要回答的下一个题目，将要回答的下一个题目输入到训练好的预测模型，输出学习者回答该题目的预测正确率以及该题目对学习者的预测难度。在六个benchmark数据集上，本发明实施例(DFKT)与三个现有模型(DKT、DKVMN、SAKT)的实验结果对比如下表所示。

本实施例还提供了一种融合题目难度的知识追踪系统，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述实施例任一知识追踪方法的步骤，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合题目难度的知识追踪方法，其特征在于，包括步骤：

获取t时刻学习者回答的题目q_t、对该题目回答的答案r_t和学习者在回答该问题时的交互信息；

获取概念矩阵M^k和概念掌握矩阵M^k用于表示学习者要回答的所有题目中涉及到的所有概念，/>用于表示t时刻学习者对每个概念的掌握程度；

根据交互信息计算题目难度d_t；

将题目q_t转换成题目嵌入向量v_q，将题目嵌入向量v_q和概念矩阵M^k输入到预测模型，获得题目q_t与第i个概念的相关度w_t(i)；

计算获得学习者对题目q_t相关的概念的总体掌握程度ks_t；

将总体掌握程度ks_t和相关度w_t(i)输入到预测模型，获得学习者回答题目q_t的预测正确率pr_t以及题目qt对学习者的预测难度pd_t；

训练预测模型，训练的目标是最小化预测正确率pr_t和答案r_t间的差异以及预测难度pd_t和题目难度d_t间的差异之和。

2.如权利要求1所述的一种融合题目难度的知识追踪方法，其特征在于，所述交互信息包括学习者回答题目q_t所用的时间o_t、学习者回答题目q_t尝试的总次数a_t和学习者回答题目q_t使用提示的总次数h_t。

3.如权利要求1或2所述的一种融合题目难度的知识追踪方法，其特征在于，还包括步骤：根据题目q_t、答案r_t和交互信息对掌握程度矩阵进行更新，/>用于表示t时刻之后下一个时间步学习者对每个概念的掌握程度。

4.如权利要求3所述的一种融合题目难度的知识追踪方法，其特征在于，所述对掌握程度矩阵进行更新包括步骤：

将题目q_t和交互信息转换为嵌入向量v_qoah，根据向量v_qoah计算得到向量qd_t，向量qd_t的计算公式为：

qd_t＝tanh(D^Tv_qoah+b₂)

其中D^T是变换矩阵，b₂是偏置矩阵；

根据题目q_t和交互信息更新后的学习者对第i个概念的掌握程度的计算公式为：

将题目q_t和答案r_t转换为嵌入向量v_qr，根据向量v_qr计算得到向量qr_t，向量qr_t的计算公式为：

qr_t＝Sigmoid(R^Tv_qr+b₃)

其中R^T是变换矩阵，b₃是偏置矩阵；

根据题目q_t和答案r_t更新后的学习者对第i个概念的掌握程度的计算公式为：

5.如权利要求2所述的一种融合题目难度的知识追踪方法，其特征在于，所述根据交互信息计算题目难度d_t的计算公式为：

d_t＝N(o_t)*N(a_t)*N(h_t)

N(o_t)表示将时间o_t归一化处理后的值，N(a_t)表示将总次数a_t归一化处理后的值，N(h_t)表示将总次数h_t归一化处理后的值。

6.如权利要求1所述的一种融合题目难度的知识追踪方法，其特征在于，w_t(i)的计算公式为：

其中，T表示矩阵转置，M^k(i)是概念矩阵M^k中第i个概念的表示。

7.如权利要求1所述的一种融合题目难度的知识追踪方法，其特征在于，ks_t的计算公式为：

其中N为所有概念的总数量。

8.如权利要求1所述的一种融合题目难度的知识追踪方法，其特征在于，预测正确率pr_t以及题目q_t对学习者的预测难度pd_t的计算公式为：

[pr_t，pd_t]＝Sigmoid(W_tks_t+b₁)

其中

9.一种融合题目难度的知识追踪方法，其特征在于，包括步骤：

获取学习者要回答的题目，将要回答的题目输入到训练好的预测模型，输出学习者回答该题目的预测正确率以及该题目对学习者的预测难度，所述预测模型的训练采用如权利要求1至8任一项所述的方法得到。

10.一种融合题目难度的知识追踪系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。