CN110428010B - 知识追踪方法 - Google Patents

Abstract

本发明公开了一种知识追踪方法，利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，分别利用注意力机制和习题的绝对位置得到习题的相关关系和相对位置关系，根据这两类关系，首先在学习序列的每一个学习节点初步总结学生的知识状态；然后利用卷积神经网络，对初步总结的学生的历史知识状态进行深度融合，追踪学生学习过程中不断变化的知识状态；相比于现有技术而言，不仅可以减小知识追踪过程中出现的累积偏差问题，还可以提高知识追踪的准确率并有效提高知识追踪的效率；同时，上述方法还极大地提升了学生知识状态追踪过程的鲁棒性和追踪结果的准确性。

Description

知识追踪方法

技术领域

本发明涉及深度学习和教育数据挖掘技术领域，尤其涉及一种知识追踪方法。

背景技术

随着互联网上越来越多的智慧教育系统和大规模在线开放课程的出现，学生的个性化教育得到了更多的关注和实践。个性化教育能够为不同的学生定制化最合适的学习计划，大大地提高了他们的学习效率。个性化教育中最关键的部分就是根据学生的历史学习序列来评估他们当前的知识状态，也称为知识追踪。知识状态反映了学生对不同知识内容的掌握程度，在正确地评估学生在不同时刻的知识状态之后，智慧教育系统就可以对学生掌握较为薄弱的知识内容开展针对性的训练，有计划地帮助他们提升对知识内容的掌握。

在目前的研究工作和专利中，关于知识追踪的方法主要有以下方法：

1)基于贝叶斯网络的知识追踪方法。

基于贝叶斯网络的知识追踪方法将不同的知识内容看作是独立的，用隐马尔可夫模型来模拟学生在不同知识内容上知识状态的变化过程，并且假设学生对知识内容的掌握是不可逆的。

2)基于循环神经网络的知识追踪方法。

基于循环神经网络的知识追踪方法将神经网络的方法引入到知识追踪的问题上。在学生学习序列的每一个节点上，循环神经网络利用学生的历史知识状态和当前节点上的知识获取得到学生新的知识状态。该方法保留了学生学习的序列信息，并且通过神经网络学习不同知识内容之间潜在的关系。

3)基于动态记忆网络的知识追踪方法。

基于动态记忆网络的知识追踪方法利用记忆网络来存储不同的知识内容以及学生在这些知识内容上的掌握情况。在知识追踪的建模过程中，该方法也利用到了神经网络。

上述几种方法，尤其是基于神经网络的方法，存在知识追踪过程中潜在的错误累积问题。除此之外，上述方法在学生学习序列较长时，由于其序列模型的特性，知识追踪的过程需要大量时间。

发明内容

本发明的目的是提供一种知识追踪方法，可以减小知识追踪过程中出现的累积偏差问题，提高知识追踪的准确率并有效提高知识追踪的效率。

本发明的目的是通过以下技术方案实现的：

一种知识追踪方法，包括：

获取学生的学习序列与相应的习题序列；

利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，得到学习序列密集向量矩阵与习题密集向量矩阵；

利用注意力机制，并结合习题密集向量矩阵，得到不同习题之间的相关关系；

根据学习序列中习题的绝对位置，获得不同习题的位置关系；

利用不同习题之间的相关关系以及不同习题的位置关系，在学习序列的每一个学习节点初步总结学生的历史知识状态；

利用卷积神经网络，分阶段对初步总结的学生的历史知识状态进行融合，追踪学生学习过程中不断变化的知识状态。

由上述本发明提供的技术方案可以看出，利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，分别利用注意力机制和习题的绝对位置得到习题的相关关系和相对位置关系，根据这两类关系，首先在学习序列的每一个学习节点初步总结学生的知识状态；然后利用卷积神经网络，对初步总结的学生的历史知识状态进行深度融合，追踪学生学习过程中不断变化的知识状态；相比于现有技术而言，不仅可以减小知识追踪过程中出现的累积偏差问题，还可以提高知识追踪的准确率并有效提高知识追踪的效率；同时，上述方法还极大地提升了学生知识状态追踪过程的鲁棒性和追踪结果的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种知识追踪方法的流程图；

图2为本发明实施例提供的一种知识追踪方法的网络结构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种知识追踪方法，图1～图2示出了相应的流程与网络结构。

请参见图1，所述的知识追踪方法主要包括如下步骤：

步骤11、获取学生的学习序列与相应的习题序列。

本步骤所要获取的相关序列都可以从互联网上的公开数据集获得。

本发明实施例中，将学生的学习序列记为X＝(x₁，x₂，x₃，…，x_t，…，x_N)，其中的学习节点x_t表示t时刻学生的学习记录，学习节点x_t融合了相应的习题e_t和学生答案对错信息；x_t∈{0，1}^2M表示维度为2M的独热(one-hot)向量，其中M代表所有不同习题标签的数量；记习题e_t的标签为m，其中m∈(1，M)，当学生正确回答时，

当学生错误回答时，

学习序列矩阵

其中N表示习题序列的长度。

将学生的习题序列记为e＝(e₁，e₂，e₃，…，e_t，…，e_N)，其中的节点e_t表示t时刻学生回答的习题，节点e_t仅包含习题信息；e_t∈{0，1}^M表示维度为M的one-hot向量，当习题e_t的标签为m时，

用矩阵

表示学生的习题序列矩阵。

本领域技术人员可以理解，one-hot向量是将类别变量转换为深度学习模型易于利用的一种表示形式，one-hot向量的表示为一项属性的特征向量，也就是同一时间只有一个激活点为1，其他都是0。one-hot向量具有高度稀疏性。

步骤12、利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，得到学习序列密集向量矩阵与习题密集向量矩阵。

如图2所示，在将学生历史学习序列和习题序列用one-hot向量表征之后，由于one-hot向量过于稀疏，不适合用来训练深度学习模型。

因此，使用一个三层的前馈神经网络将学习序列矩阵X转化为维度为K的学习序列密集向量矩阵

将习题矩阵A转化为维度为K的习题密集向量矩阵

三层的前馈神经网络表示为：

FFN(x)＝((xW₁+b₁)W₂+b₂)W₃+b₃

其中，x表示三层的前馈神经网络的输入；W₁、W₂、W₃、b₁、b₂与b₃均为密集层的参数。

模型训练完成后，利用三层前馈神经网络得到的习题密集向量矩阵B可以反映出不同习题之间的相关关系。

步骤13、利用注意力机制，并结合习题密集向量矩阵，得到不同习题之间的相关关系。

如图2中的习题相关关系模块所示。通过利用注意力机制计算任意两道习题之间的相关关系，得到对应的相关得分，从而得到不同习题之间的相关关系矩阵

E_r＝softmax[mask(BB^T)]

其中，B^T是习题密集向量矩阵B的转置，softmax为归一化指数函数；mask操作是在对矩阵BB^T执行softmax操作之前，将习题序列中当前参与计算的习题之后的习题遮罩为-∞，防止后续的习题信息参与到当前学生知识状态的预测上，这保证了知识状态追踪的每一步都只依赖学生之前的知识获取。

softmax函数定义如下所示：

步骤14、根据学习序列中习题的绝对位置，获得不同习题的位置关系。

前述步骤可以得到习题密集向量矩阵B以及不同习题之间的相关关系矩阵E_r，但是相关关系不能代表全部的习题关系，不同习题出现在学习序列中的位置也是习题之间关系很重要的一部分。由于学生认知过程中的近因效应，越是近期做的题目对学生的知识状态影响越大。

本发明实施例中，学习序列中不同习题在学习序列中出现的位置表示习题的绝对位置信息，反映了学生做题的时间先后顺序，据此可以获得不同习题之间的相对位置关系，如图2的习题位置关系模块所示。当习题序列长度为N时，不同习题的绝对位置为p＝1，2，3，...，N，将位置向量p堆叠N次，得到位置矩阵P，从而得到不同习题的位置关系矩阵

E_p＝softmax[mask(P)]

其中，softmax为归一化指数函数；mask操作是在对矩阵P执行softmax操作之前，将当前参与计算的节点之后的习题遮罩为-∞，mask操作可以防止后续的习题信息参与到当前学生知识状态的预测上，这保证了知识状态追踪的每一步都只依赖学生前序步骤上的知识获取。

步骤15、利用不同习题之间的相关关系以及不同习题的位置关系，在学习序列的每一个学习节点初步总结学生的历史知识状态。

本发明实施例中，融合不同习题之间的相关关系以及不同习题的位置关系，得到全面的习题关系矩阵

E＝γ₁E_p+γ₂E_r

其中，γ₁、γ₂代表权重系数，E_r表示不同习题之间的相关关系矩阵，E_p表示不同习题的位置关系矩阵；

为了在学习序列的每个学习节点初步总结学生当前的知识状态，将习题关系矩阵E和学习序列密集向量矩阵G相乘，通过一层输出维度为K的前馈神经网络后与含有习题信息的习题密集向量矩阵B相加，得到初步的知识状态矩阵

步骤16、利用卷积神经网络，分阶段对初步总结的学生的历史知识状态进行融合，追踪学生学习过程中不断变化的知识状态。

本发明实施例中，初步得到的知识状态矩阵Q只是学生知识状态的浅层表示。为了得到更准确和可靠的学生知识状态，设计一个双层的卷积神经网络对初步得到的知识状态进行深度融合，如图2的卷积结构模块所示。单层的卷积神经网络依次包含三种操作：分批正则化(BN)、一维卷积(conv)与门线性单元；矩阵Q经过分批正则化后进行一维卷积操作；一维卷积操作的输出矩阵记为矩阵H；一维卷积的卷积核大小设置为(2i×2M)，卷积核的后半部分被0值屏蔽，以防止后续的学习节点参与到当前学生知识状态的预测上；卷积核可以获取前序i个学习节点上学生的知识状态并将它们融合来预测当前学习节点上学生的知识状态，卷积通道数设置为K；门线性单元完成了一个简单的门机制，完成方式如下：

其中，

是模型参数，

表示矩阵点乘；σ(.)为激活函数；Z₁为门线性单元的输出矩阵，门σ(HW₅+b₅)起到了控制信息在学生不同知识状态之间传递的作用。一层卷积神经网络可以深度融合学习序列中前序i个学习节点上的知识状态以及这些知识状态之间的关系来评估学生目前的知识状态，这极大的提高了对学生知识状态进行追踪的鲁棒性和准确性。

本发明实施例中，双层的卷积神经网络由两个单层的卷积神经网络连接组成，即在得到Z₁之后再对Z₁依次进行单层卷积神经网络包含的相同的三种操作，得到输出矩阵为Z₂；

前一层卷积神经网络可以利用对学生当前知识状态影响更大的附近学习节点上的知识状态，后一层卷积神经网络则可以考虑到更远学习节点上学生的学习经历。除此之外，为了更好地训练双层神经网络，前一层卷积神经网络的输入和后一层卷积神经网络的输出之间添加了残差连接：

Z＝H+Z₂。

其中矩阵

将矩阵Z通过一个输出维度为M的前馈网络得到学生最终的知识状态矩阵

Y＝W₆Z+b₆

其中

是模型参数；学生最终的知识状态矩阵Y中的每一行代表学生在相应学习节点上的知识状态，Y中的每一列代表学生在对应习题上的知识状态的变化过程。

本发明实施例中，在训练阶段对整个方案所涉及的模型参数进行优化，选择负对数似然函数作为目标损失函数，表示为：

其中，a_t为1或0，表示真实的学生答题结果(与学习节点x_t中学生答案对错信息是同一个概念)，0表示回答错误，1表示回答正确；y_t表示模型预测的学生答题结果，为0～1之间的连续值；θ表示所有的模型参数；λ_θ为正则化系数。

通过Adam优化器最小化目标损失函数

来训练模型参数。

利用训练好的参数，给定任意一个学生学习序列，基于本发明实例提供的上述方法可以追踪该学生在学习序列中任意学习节点上的知识状态。

本发明实施例上述方案中，利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，分别利用注意力机制和习题的绝对位置得到习题的相关关系和相对位置关系，根据这两类关系，首先在学习序列的每一个学习节点初步总结学生的知识状态；然后利用卷积神经网络，对初步总结的学生的历史知识状态进行深度融合，追踪学生学习过程中不断变化的知识状态；相比于现有技术而言，不仅可以减小知识追踪过程中出现的累积偏差问题，还可以提高知识追踪的准确率并有效提高知识追踪的效率；同时，上述方法还极大地提升了学生知识状态追踪过程的鲁棒性和追踪结果的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种知识追踪方法，其特征在于，包括：

获取学生的学习序列与相应的习题序列；

利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，得到学习序列密集向量矩阵与习题密集向量矩阵；

利用注意力机制，并结合习题密集向量矩阵，得到不同习题之间的相关关系；

根据学习序列中习题的绝对位置，获得不同习题的位置关系；

利用不同习题之间的相关关系以及不同习题的位置关系，在学习序列的每一个学习节点初步总结学生的历史知识状态；

利用卷积神经网络，分阶段对初步总结的学生的历史知识状态进行融合，追踪学生学习过程中不断变化的知识状态；

其中，所述利用注意力机制，并结合习题密集向量矩阵，得到不同习题之间的相关关系包括：

通过利用注意力机制计算任意两道习题之间的相关关系，得到对应的相关得分，从而得到不同习题之间的相关关系矩阵

E_r＝softmax[mask(BB^T)]

其中，B^T是习题密集向量矩阵B的转置，softmax为归一化指数函数；mask操作是在对矩阵BB^T执行softmax操作之前，将习题序列中当前参与计算的习题之后的习题遮罩为-∞；

所述根据学习序列中习题的绝对位置，获得不同习题的位置关系包括：

假设习题序列长度为N，不同习题的绝对位置为p＝1,2,3,…,N，将位置向量p堆叠N次，得到位置矩阵P，从而得到不同习题的位置关系矩阵

E_p＝softmax[mask(P)]

其中，softmax为归一化指数函数；mask操作是在对矩阵P执行softmax操作之前，将当前参与计算的节点之后的习题遮罩为-∞；

所述利用不同习题之间的相关关系以及不同习题的位置关系，在学习序列的每一个学习节点初步总结学生的历史知识状态包括：

融合不同习题之间的相关关系以及不同习题的位置关系，得到全面的习题关系矩阵

E＝γ₁E_p+γ₂E_r

其中，γ₁、γ₂代表权重系数，E_r表示不同习题之间的相关关系矩阵，E_p表示不同习题的位置关系矩阵；

将习题关系矩阵E和学习序列密集向量矩阵G相乘，通过一层输出维度为K的前馈神经网络后与含有习题信息的习题密集向量矩阵B相加，得到初步的知识状态矩阵

2.根据权利要求1所述的一种知识追踪方法，其特征在于，

将学生的学习序列记为X＝(x₁，x₂，x₃，...，x_t，...，x_t)，其中的学习节点x_t表示t时刻学生的学习记录，学习节点x_t融合了相应的习题e_t和学生答案对错信息；N表示习题序列的长度；x_t∈{0，1}^2M表示维度为2M的独热向量，M代表所有不同习题标签的数量；记习题e_t的标签为m，其中m∈(1，M)，当学生正确回答时，

当学生错误回答时，

学习序列矩阵

将学生的习题序列记为e＝(e₁，e₂，e₃，...，e_t，...，e_N)，其中的节点e_t表示t时刻学生回答的习题，节点e_t仅包含习题信息；e_t∈{0，1}^M表示维度为M的独热t向量，当习题e_t的标签为m时，

用矩阵

表示学生的习题序列矩阵。

3.根据权利要求2所述的一种知识追踪方法，其特征在于，利用前馈神经网络，将学习序列和习题序列转换为密集向量表征，得到学习序列密集向量矩阵与习题密集向量矩阵包括：

学习序列矩阵与习题序列矩阵分别用矩阵X与矩阵A来表示；

使用一个三层的前馈神经网络将学习序列矩阵X转化为维度为K的学习序列密集向量矩阵G，将习题矩阵A转化为维度为K的习题密集向量矩阵B；

三层的前馈神经网络表示为：

FFN(x)＝((xW₁+b₁)W₂+b₂)W₃+b₃

其中，x表示三层的前馈神经网络的输入；W₁、W₂、W₃、b₁、b₂与b₃均为密集层的参数。

4.根据权利要求1所述的一种知识追踪方法，其特征在于，所述利用卷积神经网络，分阶段对初步总结的学生的历史知识状态进行融合，追踪学生学习过程中不断变化的知识状态包括：

利用一个双层的卷积神经网络对初步得到的知识状态进行深度融合，所述初步得到的知识状态为一个矩阵Q；

双层的卷积神经网络由两个单层的卷积神经网络连接组成；前一层卷积神经网络的输入和后一层卷积神经网络的输出之间添加了残差连接；

单层的卷积神经网络依次包含三种操作：分批正则化、一维卷积与门线性单元；矩阵Q经过分批正则化后进行一维卷积操作，一维卷积操作的输出矩阵记为矩阵H；一维卷积的卷积核大小设置为2i×2M，卷积核的后半部分被0值屏蔽；卷积核获取学习序列中前序i个学习节点上学生的知识状态并将它们融合成当前学习节点上学生的知识状态，卷积通道数设置为K；门线性单元完成了一个门机制，完成方式如下：

其中，

是模型参数，

表示矩阵点乘；σ(.)为激活函数；Z₁为门线性单元的输出矩阵，门σ(HW₅+b₅)起到了控制信息在学生不同知识状态之间传递的作用；

在得到矩阵Z₁后通过后一层卷积神经网络的按照同样的操作方式，得到输出矩阵Z₂；通过残差连接，最终输出矩阵Z：

Z＝H+Z₂；

其中矩阵

将矩阵Z通过一个输出维度为M的前馈网络得到学生最终的知识状态矩阵

Y＝W₆Z+b₆

其中

是模型参数；学生最终的知识状态矩阵Y中的每一行代表学生在相应学习节点上的知识状态，Y中的每一列代表学生在对应习题上的知识状态的变化过程。

5.根据权利要求3所述的一种知识追踪方法，其特征在于，在训练阶段对整个方案所涉及的模型参数进行优化，选择负对数似然函数作为目标损失函数，表示为：

其中，a_t为1或0，表示真实的学生答题结果，0表示回答错误，1表示回答正确；y_t表示预测的学生答题结果，为0～1之间的连续值；θ表示所有的模型参数，λ_θ为正则化系数；

通过Adam优化器最小化目标损失函数

来训练模型参数。

Images