CN115329096A

CN115329096A - 一种基于图神经网络的交互式知识追踪方法

Info

Publication number: CN115329096A
Application number: CN202211003944.5A
Authority: CN
Inventors: 俞勇; 张伟楠; 沈键
Original assignee: Shanghai Boyu Education Technology Co ltd
Current assignee: Shanghai Boyu Education Technology Co ltd
Priority date: 2022-08-19
Filing date: 2022-08-19
Publication date: 2022-11-11

Abstract

本发明公开了一种基于图网络的交互式知识追踪方法，涉及人工智能领域，包括以下步骤：构建问题和知识点的关系图，对于学生学习序列中每一时刻的问题和知识点，利用图神经网络聚合其高阶邻居特征，并利用长短期记忆网络提取表征后的历史学习序列的特征，从而获得当前时刻学生知识掌握状态的低纬向量表征。通过注意力机制选择与待预测问题相关的历史信息，并对它们进行两两交互，获得对目标问题的预测答对概率。本方法能够有效提高知识追踪预测的准确性，增强了自适应学习的可行性。

Description

一种基于图神经网络的交互式知识追踪方法

技术领域

本发明涉及智能教育领域中的知识追踪任务，尤其涉及一种基于图神经网络的交互式知识追踪方法。

背景技术

知识追踪是在线智能教育领域中的一项关键任务。知识追踪是来追踪学生知识状态变化情况，进而使得智能教育系统可以掌握学生学习情况，规划合理的学习路线，个性化的推荐之后的学习内容。学生在与智能教育系统交互过程中，会记录下大量的学习数据，通过这些数据，涉及各种知识追踪的方法，提取学生的学习特征，准确的捕捉学生只是状态的变化，进一步预测下一时刻学生对于新的问题的答对概率。考虑到问题数量大，学生交互很稀疏，以及学生学习序列长，这都给设计高效的知识追踪方法带来挑战。引入领域先验知识有助于缓解交互稀疏的问题，以及借鉴注意力机制对长序列进行建模，也有助于提高方法的效率。

现有技术中，有的方法没有考虑到问题和知识点之间存在的复杂关系，面临着问题交互稀疏的挑战。有的方法考虑了问题之间的关系，但忽略了问题和知识点之间的关系。有的使用深度循环神经网络代替之前基于规则的知识追踪方法，对学生学习历史做序列特征提取。但该模型只在粗粒度的知识点层面进行预测，预测准确度受限。同时对于问题数目众多的情况，也会受到稀疏交互的挑战。有的方法对知识点的关系建图，利用图网络在提取相关特征，利用到了领域内的先验知识，但是同样无法完成细粒度的问题层面的预测。

对国内外相关专利分析以及相关研究可得出以下结论：目前深度知识追踪方法大都直接关注知识点的学习规律，忽略了细粒度的问题层面的预测。同时对于直接预测问题答对概率的方法，往往又会面临稀疏交互的挑战。同时目前没有应对长序列输入的知识追踪方法，这些都限制了现有知识追踪方法的预测准确度。

因此，本领域的技术人员致力于开发一种基于图网络的交互式知识追踪方法，以期得到最终问题答对概率，实现高准确度的知识追踪。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的是现有知识追踪方法面临的缺乏细粒度预测，交互稀疏，以及对长序列特征提取困难的技术问题。

为实现上述目的，本发明提供了一种基于图神经网络的交互式知识追踪方法，包括以下步骤：

步骤1、构建问题和知识点的关系图G(S，Q，E)，S为知识点节点，Q为问题节点，E为问题节点和知识点节点的连边，表示问题属于某个知识点；基于所述关系图G中的信息，使用图神经网络来计算学生学习序列中每个问题的向量表征

步骤2、基于步骤1得到的所述学生学习序列的向量表征

使用长短期记忆网络f来提取网络的隐状态h_t作为学生知识掌握状态的向量表征；

步骤3、对于下一时刻待预测问题表征

其和历史信息向量计算余弦相似度，历史信息包括的知识掌握状态向量表征h_i和问题表征

其中1≤i≤t。计算余弦相似度，并选择最相关的K个历史信息作为历史信息集合，记作N_h；

步骤4、将所述下一时刻待预测问题表征

和该问题关联的多个知识点的向量表征作为目标信息集合，记作N_q；

步骤5、对所述历史信息集合N_h和所述目标信息集合N_q中的向量表征，利用向量内积操作进行两两交互，得到多层次的掌握程度预测值；

步骤6、通过注意力机制对所有的信息交互学习权重a_i，j；

步骤7、对所述多层次的掌握程度预测值进行加权求和，得到学生正确回答待预测问题的概率p_t+1；

步骤8、使用用真实的学生历史学习数据集来端到端的训练图神网络和长短期记忆网络，通过梯度下降，来最小化预测概率和学生真实答题标签的交叉熵损失函数。

进一步地，所述步骤1包括：

步骤1.1、对于所述关系图G中的节点i，随机初始化所述节点i的向量表征，记作e_i；

进一步地，所述步骤1还包括：

步骤1.2、对所述关系图G中的每个所述节点i，其邻居为有直接连边的邻居节点集合N_i，对所述节点i以及所述邻居节点集合N_i内的节点的向量表征做均值池化操作，更新所述所述节点i的向量表征e_i

其中l表示聚合次数，w^l，b^l是可训练的网络参数，σ是非线性激活函数，所述非线性激活函数为sigmoid函数，

进一步地，所述步骤1还包括：

步骤1.3、重复所述步骤1.2多次，对每个节点聚合更高阶邻居的信息，记作

进一步地，所述步骤2包括：

针对每一时刻t，将长短期记忆网络的隐状态h_t作为学生知识掌握状态的向量表征；所述学生知识掌握状态的向量表征更新方式为

h_t＝o_ttanh(c_t)

其中W_i，W_f，W_o，W_c，b_i，b_f，b_c，b_o都是可训练的网络参数；c_t是网络单元状态，一方面保留部分历史信息，另一方面接收当前时刻的信息输入；其中历史信息的记忆由遗忘门控f_t控制，当前时刻信息的输入由输入门控i_t控制；o_t是输出门控，控制长短期记忆网络的单元状态转化为网络输出信息h_t；σ是Sigmoid激活函数，即σ(x)＝1/(1+e^-x)，该函数的输出值域是0～1之间。

进一步地，在所述步骤3中，

其中，h_i是历史时刻知识掌握状态向量表征，

是t+1时刻待预测问题表征；通过向量余弦相似度，选取和当前时刻待预测问题最相关K个历史信息。

进一步地，在所述步骤5中，两两交互方式如下：

向量集合N_q是包括待预测问题表征

以及其关联的多个知识点的向量表征；N_h是步骤6选取的相似历史信息集合。

进一步地，在所述步骤6中，

a_i，j＝softmaxi，_j(W[f_i，f_j]+b)

其中W，b是可训练的网络参数，softmax是归一化函数。

进一步地，在所述步骤7中，

进一步地，在所述步骤8中，学生真实答题标签是指答对/答错；

交叉熵损失函数为

minL＝-∑_t(a_t+1logp_t+1+(1-a_t+1)log(1-p_t+1))。

本发明使用的图神经网络从规律上讲，是对每个节点做邻居特征聚合，聚合多次就能获得每个节点的高阶邻居特征，以此丰富问题和知识点的向量表征，缓解数据稀疏交互的影响。同时使用长短期记忆网络在序列很长时，依然面临着长期依赖的挑战。因此通过注意力机制选择历史相关信息，强化较长时间间隔的行为影响，缓解长期依赖的挑战。同时，以内积交互的方式，对历史信息和当前待预测的问题及相关知识点表征做融合，在知识点层面和问题层面分别做预测，增加预测的准确度。

相比于现有技术，本发明具有如下有益技术效果：

1、本发明使用图神经网络来聚合问题和知识点的邻居特征，能够捕捉高阶的相关关系，能够缓解系数交互的影响。

2、本发明设计了基于注意力机制的历史信息选择方法，能够在长序列特征提取中，获得与当前时刻做预测最相关的历史信息。

3、本发明设计了基于内积的信息交互方法，能够在粗粒度的知识点层面和细粒度的问题层面同时做预测，获得更高的预测准确度。

4、实践证明，本发明提出的知识追踪方法有很好的预测准确度。同时本发明设计的图网络方法，历史信息选择方法和信息交互方法可以方便用于改进现有的基于序列特征的知识追踪方法。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果

附图说明

图1是本发明方法的流程图。

具体实施方式

以下参考说明书附图介绍本发明的一个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在本发明的一个实施例中，将该基于图神经网络的交互式知识追踪方法应用于智能教育系统的环境中。该环境中包含一定数目的知识点以及问题，问题和知识点存在领域内先验关系。学生和智能教育系统进行答题交互，系统给出答对答错的反馈。系统根据学生答题序列以及反馈，使用知识追踪方法，预测学生对知识的掌握程度，进一步优化学生的学习路径。具体步骤如下：

1、给定问题集合Q和知识点集合S，根据专家先验知识，构建问题和知识点的关系图G(S,Q,E)，E为问题节点和知识点节点的连边，表示问题属于某个知识点。用图卷积网络对图上的节点做向量表征，具体步骤如下：

(1)、对于图G中的节点i，随机初始化其向量表征，记作e_i。

(2)、对图G中每个节点i，其邻居为有直接连边的节点集合N_i，对该节点以及其邻居集合内节点的向量表征做均值池化操作，更新该节点的向量表征。

其中l表示聚合次数，当l＝1时，

w^l，b^l是网络参数，可通过梯度反向传播训练得到。σ是非线性激活函数，选择sigmoid函数，

(3)、重复步骤(2)多次，就可以对每个节点聚合更高阶邻居的信息，记作

2、由步骤1得到了学生学习序列的向量表征，使用长短期记忆网络来提取序列特征。在每一时刻t，网络的隐状态h_t作为学生知识掌握状态的向量表征。更新方式为

f(*)函数是长短期记忆网络，接收待预测问题表征和上一时刻网络隐状态作为输入，更新当前时刻网络隐状态。具体实现如下：

h_t＝o_ttanh(c_t)

其中W_i，W_f，W_o，W_c，b_i，b_f，b_c，b_o都是可训练的网络参数；c_t是网络单元状态，一方面保留部分历史信息，另一方面接收当前时刻的信息输入。其中历史信息的记忆由遗忘门控f_t控制，当前时刻信息的输入由输入门控i_t控制。o_t是输出门控，控制长短期记忆网络的单元状态转化为网络输出信息h_t。σ是Sigmoid激活函数，即σ(x)＝1/(1+e^-x)，该函数的输出值域是0～1之间。

3、对于下一时刻待预测问题表征

其和历史时刻的知识掌握状态向量表征和问题表征，计算余弦相似度。两个向量的余弦相似度的定义为

然后选择最相关的K个历史信息作为辅助信息集合，记作N_h。形式化定义如下：

4、下一时刻待预测问题的向量表征

和该问题关联的多个知识点的向量表征作为目标信息集合，记作N_q。

5、对历史信息集合Nh和目标信息集合N_q中的向量表征，利用向量内积操作进行两两交互，得到多层次的掌握程度预测。交互方式如下：

6、通过注意力机制对所有的信息交互学习权重a_i，j。

a_i，j＝softmax_i，j(W[f_i，f_j]+b)

其中W，b是可训练的网络参数。softmax是常用的归一化函数。

7、对多层次的掌握程度预测值进行加权求和，得到学生正确回答待预测问题的概率p_t+1。

8、模型建立完后，用真实的学生历史学习数据集，来训练模型，包括优化图上初始化的节点向量表中，以及网络中的多个可训练参数。通过梯度下降，来最小化预测概率和学生真实答题标签(答对/答错)的交叉熵损失函数。

9、当模型训练收敛，可以使用训练好的网络参数，给定问题集合Q和知识点集合S，通过上述算法，对学生回答对问题的概率进行预测，即p_t+1，进而推断出学生的知识掌握状态。

在智能教育领域的知识追踪任务中，本方法对充分利用了领域内的先验知识，构建问题和知识点的关系图，并利用图神经网络在做图上高阶邻居特征的聚合，使得到的向量表征更加富有语义信息，一定程度缓解了稀疏交互的影响，并可以实现细粒度的问题层面的预测。同时考虑到学生学习序列较长，本方法提出了历史信息选择和信息交互方案，有效的利用了较长时间间隔的历史信息。在三个收集真实数据得到数据集上对比了本发明和之前的方案，使用常用的衡量分类准确度的指标AUC(area under curvey)，本发明得到的AUC值分别为0.7896，0.7754和0.7523。之前方案的最好AUC值分别为0.7684，0.7652和0.7281。本发明的分类准确度大幅领先于之前的方案。同时本方法提出的改进方案也可以迁移到之前的一些知识追踪方法，以提升他们的表现。综上，本方法基于问题和知识点的复杂关系，利用图神经网络来聚合高阶邻居特征，缓解稀疏交互的影响。同时通过注意力机制引入历史辅助信息，以两两交互的方式同时在知识点层面和问题层面做预测，最终融合两个层面的预测结果，得到最终问题答对概率，实现高准确度的知识追踪。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。