CN117911206A - 基于双注意力机制的动态评估学生知识水平方法 - Google Patents
基于双注意力机制的动态评估学生知识水平方法 Download PDFInfo
- Publication number
- CN117911206A CN117911206A CN202311651860.7A CN202311651860A CN117911206A CN 117911206 A CN117911206 A CN 117911206A CN 202311651860 A CN202311651860 A CN 202311651860A CN 117911206 A CN117911206 A CN 117911206A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- student
- sequence
- skill
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000007246 mechanism Effects 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 5
- 238000013103 analytical ultracentrifugation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 208000020990 adrenal cortex carcinoma Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及知识追踪技术领域，涉及一种基于双注意力机制的动态评估学生知识水平方法，包括如下步骤：S1.获取学生学习过程的交互信息，将交互信息组成序列；S2.将交互序列划分成动态问题级别序列，平均技能级别序列，额外特征序列三个部分；S3.将不同序列输入对应模块进行训练，通过长短期记忆网络和多个注意力机制得到学生的知识状态；S4.将知识状态输入可解释性模块评估其知识水平；S5.记录训练模型评价指标，通过参数更新后的模型验证学生的交互序列，评估其知识水平。本发明充分挖掘学生交互信息，以不同角度评估学生的知识状态，提高了预测学生未来表现的准确率。
Description
技术领域
本发明涉及知识追踪技术领域，具体地说，涉及一种基于双注意力机制的动态评估学生知识水平方法。
背景技术
知识追踪(Knowledge Tracing)是一项关键技术，它通过观察学生历史上的学习过程来预测他们未来的学习表现。深度学习在解决知识追踪问题上具有很大的潜力，因为深度神经网络可以更好地表达和处理复杂数据。当与高质量的学习资料和指导相结合时，这种预测能力可以帮助学生更好、更快地学习。因此，知识追踪模型已被广泛应用于智能辅导系统。但是，目前的知识追踪模型挖掘学生交互信息不充分，准确率和公平性难以满足要求。
发明内容
本发明的内容是提供一种基于双注意力机制的动态评估学生知识水平方法，其充分挖掘学生交互信息，以不同角度评估学生的知识状态，提高了预测学生未来表现的准确率。
根据本发明的基于双注意力机制的动态评估学生知识水平方法，其包括以下步骤：
S1.从在线教育平台获取学生学习过程的交互信息，筛选出有效值并组成交互序列；
S2.将交互序列划分成动态问题级别序列、平均技能级别序列、额外特征序列三个部分，其中动态问题级别序列是以动态知识水平划分，平均技能级别序列是以问题所对应知识点的平均贡献划分，额外特征序列包括问题所花时间、问题所用提示率、问题难度；
S3.将不同序列输入对应模块进行训练，通过长短期记忆网络和多个注意力机制得到学生的知识状态，即获取各部分交互序列所隐藏的信息；
S4.将知识状态输入可解释性模块评估其知识水平，即预测学生未来表现；
S5.记录训练模型评价指标，通过参数更新后的模型验证学生的交互序列，评估其知识水平。
作为优选，S1中，在线教育平台获取学生学习过程的交互信息，包括问题ID、回答、所花时间、所用提示数、题目设置提示数；将交互信息组成序列，对序列清洗，剔除各个特征无效数据。
作为优选，动态问题级别序列包括问题ID、回答、学生分类。
作为优选，学生分类是根据学生所属段的做题表现，基于学生知识水平动态聚类。
作为优选，学生知识水平动态聚类是将一段时间内的交互切分成数条固定段长的交互，根据学生段中答题正确率、做题所花时间计算出该段的知识水平；采用如下公式计算：
R(sj)1:z＝Correct(sj)1:z-Incorrect(sj)1:z
学生i的知识水平向量：
其中，sj为技能j，1:z为时间间隔1到z，Njt为时间间隔t之前技能sj的练习总数；为答对问题的正确率，/>为所花费时间/总时间；R表示学习能力；令qs_col问题q对应的技能列表、qs_dict为问题-技能联系字典，其中len(qs_col)为列表长度，qs_colx为技能列表下标为x的元素，Correct(sj)1:z为表示学生i在时间间隔1到z内对技能sj的正确表现，/>为表示从时间间隔1到z内，学生i在每种技能上的学习能力概况的向量。
作为优选，平均技能是指问题所属技能，将所属技能取平均贡献，平均技能是通过对问题关联的知识点嵌入求平均得到的，具体而言，对于每个问题，将其相关的知识点嵌入进行平均操作，从而获得一个代表该问题技能水平的向量。
作为优选，问题难度是由学生所答问题正确率、所用提示率计算得来，其中若问题交互次数少于三次，代表问题交互次数不足以计算难度，则分配一半难度。
作为优选，S3中，将分割完成的序列输入模型，模型采用深度学习方式，并在Pytorch框架上进行模型训练；平均技能序列通过注意力机制获取问题间的隐藏信息，以平均技能序列计算问题间相似度，与动态问题序列通过多头注意力机制获取学生的知识状态。
作为优选，S4中，将额外特征输入到多层感知机MLP中进行计算；通过MLP的多个隐藏层的非线性变换，额外特征被映射为一个新的高级表示；然后，将经过MLP处理后的额外特征与原始的知识状态进行拼接操作，得到一个综合的知识状态向量；最后，将这个综合的知识状态向量输入到预测层，用于预测学生未来的表现。
作为优选，S5中，记录训练过程的所有AUC和ACC，选取AUC最好的一次，保存训练模型；使用最佳批次的模型参数更新模型，并用该模型对测试集中的学生进行知识水平评估和表现预测；通过将测试集的数据输入到更新后的模型中，获得学生的知识水平评估结果和未来表现的预测。
本发明通过观察学生的学习表现，将问题和技能之间一对多的关系进行挖掘，从而计算出每个问题对应的平均知识点贡献。这个过程利用自注意力机制来捕捉问题之间的隐含关系，并根据问题的重要程度来确定各个问题的权重。通过计算学生与问题的交互重要程度，可以得到更加聚焦于重点问题的知识状态，可以得到学生更加真实的知识状态。本发明在准确率和公平性方面取得较好效果。
附图说明
图1为实施例中一种基于双注意力机制的动态评估学生知识水平方法的流程图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例
如图1所示，本实施例提供了一种基于双注意力机制的动态评估学生知识水平方法，其包括以下步骤：
S1.从在线教育平台获取学生学习过程的交互信息，筛选出有效值并组成交互序列；
S1中，在线教育平台获取学生学习过程的交互信息，包括问题ID、回答、所花时间、所用提示数、题目设置提示数；将交互信息组成序列，对序列清洗，剔除各个特征无效数据。
S2.将交互序列划分成动态问题级别序列、平均技能级别序列、额外特征序列三个部分，其中动态问题级别序列是以动态知识水平划分，平均技能级别序列是以问题所对应知识点的平均贡献划分，额外特征序列包括问题所花时间、问题所用提示率、问题难度；
动态问题级别序列包括问题ID、回答、学生分类。学生分类是根据学生所属段的做题表现，基于学生知识水平动态聚类。学生知识水平动态聚类是将一段时间内的交互切分成数条固定段长的交互，根据学生段中答题正确率、做题所花时间计算出该段的知识水平；采用如下公式计算：
R(sj)1:z＝Correct(sj)1:z-Incorrect(sj)1:z
学生i的知识水平向量：
其中，sj为技能j，1:z为时间间隔1到z，Njt为时间间隔t之前技能sj的练习总数；为答对问题的正确率，/>为所花费时间/总时间；R表示学习能力；令qs_col问题q对应的技能列表、qs_dict为问题-技能联系字典，其中len(qs_col)为列表长度，qs_colx为技能列表下标为x的元素，Correct(sj)1:z为表示学生i在时间间隔1到z内对技能sj的正确表现，/>为表示从时间间隔1到z内，学生i在每种技能上的学习能力概况的向量。
在现实教育背景中，一个问题应对应多个知识点，即学生回答一道题，应对多个知识点掌握均有影响；平均技能是指问题所属技能，将所属技能取平均贡献，平均技能是通过对问题关联的知识点嵌入求平均得到的，具体而言，对于每个问题，将其相关的知识点嵌入进行平均操作，从而获得一个代表该问题技能水平的向量。
问题难度是由学生所答问题正确率、所用提示率计算得来，其中若问题交互次数少于三次，代表问题交互次数不足以计算难度，则分配一半难度。
S3.将不同序列输入对应模块进行训练，通过长短期记忆网络和多个注意力机制得到学生的知识状态，即获取各部分交互序列所隐藏的信息；
S3中，将分割完成的序列输入模型，模型采用深度学习方式，并在Pytorch框架上进行模型训练；平均技能序列通过注意力机制获取问题间的隐藏信息，以平均技能序列计算问题间相似度，与动态问题序列通过多头注意力机制获取学生的知识状态。
S3的具体步骤如下：
1)根据问题与技能一对多的关系，挖掘出问题对应的平均技能贡献，并计算出问题间的重要关系。计算过程如下公式所示：
其中，上式的Embedding是torch中一种编码方式，kq为问题q对应的技能k，表示问题q对应的平均技能。问题q对应的多技能，包括暴露在数据集的直接技能和隐式技能，通过超参数调整他们之间的权重比，N为技能k的总数量；/>为问题q的平均技能贡献，Q是查询矩阵，K是关键字矩阵，V是值矩阵，dk是查询矩阵和关键字矩阵的维度，LSTM为长短期记忆递归神经网络，使用LSTM可以有效的传递和表达长时间序列中的信息并且不会导致长时间前的有用信息被忽略；Attention为自注意力机制，计算出各问题的重要程度。代码如下：
2)根据步骤1)算出问题的权重，使用自注意机制计算出学生问题交互的重要性，即，根据学生做题时间、正确率、提示率计算学生个人能力，并且根据问题的权重，计算出学生问题交互的重要性；并且问题交互是以学生个人能力划分成多段等长的交互序列。计算过程如下公式所示：
qic＝Embedding(q,a,c)
Q,K＝LSTM(qic)V＝qi
其中，上式Embedding、LSTM、Attention与步骤1)网络结构一样，具有相同效果。其中a为问题回答，qic为动态问题交互，qa为问题权重，c是基于学生个人能力聚类而来类别，用于标识具有相似个人能力的学生，因此在不同段贡献不同。qi为步骤1)计算得出，根据问题的权重，计算出学生问题交互的重要性。代码如下：
S4.将知识状态输入可解释性模块评估其知识水平，即预测学生未来表现；
S4中，将额外特征输入到多层感知机MLP中进行计算；通过MLP的多个隐藏层的非线性变换，额外特征被映射为一个新的高级表示；然后，将经过MLP处理后的额外特征与原始的知识状态进行拼接操作，即，将步骤2)计算出的带权的问题交互特征与额外特征聚合，得到一个综合的知识状态向量；最后，将这个综合的知识状态向量输入到预测层，用于预测学生未来的表现。
S5.记录训练模型评价指标，通过参数更新后的模型验证学生的交互序列，评估其知识水平。
S5中，记录训练过程的所有AUC和ACC，选取AUC最好的一次，保存训练模型；使用最佳批次的模型参数更新模型，并用该模型对测试集中的学生进行知识水平评估和表现预测；通过将测试集的数据输入到更新后的模型中，获得学生的知识水平评估结果和未来表现的预测。
本实施例获取学生知识状态的评分，设计出损失函数计算损失。训练完成后，通过测试数据验证模型在准确率与公平性指标上能否达到要求，事实证明在多个数据集上模型取得较好成果。
本实施例基于学生的个人能力对学生进行聚类，并通过获取具有相似个人能力的学生群组来优化学习效果。在这种情况下，即使两个学生接受相同的学习序列，由于他们在领悟新知识方面的能力不同，他们所获得的知识可能会有所差异。以领悟新知识能力为例，如果两个学生在领悟新知识方面的能力不同，即使他们接受相同的学习内容，他们在理解和吸收知识方面的表现可能会有所不同。一个学生可能能够更快地理解和应用新知识，而另一个学生可能需要更多的时间和指导才能达到相同的程度。
本实施例巧妙运用自注意力机制获取各问题的重要程度，从而得到学生问题交互的重要程度。比如学生对某个知识点掌握比较差，学生自主选择多练习对应的题目，学生将注意力聚集在知识点薄弱的地方，从而能得出学生真实的知识状态。
本实施例处理数据集剔除了无效数据，如做题时间为负数、无效回答。并且计算问题难度时，剔除了交互次数小于3的问题，赋予默认难度，增加了问题难度的合理性。
实验所使用数据集为ASSIST2009与ASSIST2017，它们是两个广泛用于研究和发展智能辅助教育系统的数据集。这些数据集是由卡内基梅隆大学(Carnegie MellonUniversity)的Ryan Baker等人组织收集的。其中ASSIST2009交互丰富，该数据集有552535个交互、17751个问题、123个技能、4163个用户，用作训练模型。
总而言之，本实施例在教育领域中，在准确率和公平性方面取得较好效果。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (10)
1.基于双注意力机制的动态评估学生知识水平方法，其特征在于：包括以下步骤：
S1.从在线教育平台获取学生学习过程的交互信息，筛选出有效值并组成交互序列；
S2.将交互序列划分成动态问题级别序列、平均技能级别序列、额外特征序列三个部分，其中动态问题级别序列是以动态知识水平划分，平均技能级别序列是以问题所对应知识点的平均贡献划分，额外特征序列包括问题所花时间、问题所用提示率、问题难度；
S3.将不同序列输入对应模块进行训练，通过长短期记忆网络和多个注意力机制得到学生的知识状态，即获取各部分交互序列所隐藏的信息；
S4.将知识状态输入可解释性模块评估其知识水平，即预测学生未来表现；
S5.记录训练模型评价指标，通过参数更新后的模型验证学生的交互序列，评估其知识水平。
2.根据权利要求1所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：S1中，在线教育平台获取学生学习过程的交互信息，包括问题ID、回答、所花时间、所用提示数、题目设置提示数；将交互信息组成序列，对序列清洗，剔除各个特征无效数据。
3.根据权利要求2所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：动态问题级别序列包括问题ID、回答、学生分类。
4.根据权利要求3所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：学生分类是根据学生所属段的做题表现，基于学生知识水平动态聚类。
5.根据权利要求4所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：学生知识水平动态聚类是将一段时间内的交互切分成数条固定段长的交互，根据学生段中答题正确率、做题所花时间计算出该段的知识水平；采用如下公式计算：
R(sj)1:z＝Correct(sj)1:z-Incorrect(sj)1:z
学生i的知识水平向量：
其中，sj为技能j，1:z为时间间隔1到z，Njt为时间间隔t之前技能sj的练习总数；为答对问题的正确率，/>为所花费时间/总时间；R表示学习能力；令qs_col问题q对应的技能列表、qs_dict为问题-技能联系字典，其中len(qs_col)为列表长度，qs_colx为技能列表下标为x的元素，Correct(sj)1:z为表示学生i在时间间隔1到z内对技能sj的正确表现，/>为表示从时间间隔1到z内，学生i在每种技能上的学习能力概况的向量。
6.根据权利要求5所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：平均技能是指问题所属技能，将所属技能取平均贡献，平均技能是通过对问题关联的知识点嵌入求平均得到的，具体而言，对于每个问题，将其相关的知识点嵌入进行平均操作，从而获得一个代表该问题技能水平的向量。
7.根据权利要求6所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：问题难度是由学生所答问题正确率、所用提示率计算得来，其中若问题交互次数少于三次，代表问题交互次数不足以计算难度，则分配一半难度。
8.根据权利要求7所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：S3中，将分割完成的序列输入模型，模型采用深度学习方式，并在Pytorch框架上进行模型训练；平均技能序列通过注意力机制获取问题间的隐藏信息，以平均技能序列计算问题间相似度，与动态问题序列通过多头注意力机制获取学生的知识状态。
9.根据权利要求8所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：S4中，将额外特征输入到多层感知机MLP中进行计算；通过MLP的多个隐藏层的非线性变换，额外特征被映射为一个新的高级表示；然后，将经过MLP处理后的额外特征与原始的知识状态进行拼接操作，得到一个综合的知识状态向量；最后，将这个综合的知识状态向量输入到预测层，用于预测学生未来的表现。
10.根据权利要求9所述的基于双注意力机制的动态评估学生知识水平方法，其特征在于：S5中，记录训练过程的所有AUC和ACC，选取AUC最好的一次，保存训练模型；使用最佳批次的模型参数更新模型，并用该模型对测试集中的学生进行知识水平评估和表现预测；通过将测试集的数据输入到更新后的模型中，获得学生的知识水平评估结果和未来表现的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311651860.7A CN117911206A (zh) | 2023-12-05 | 2023-12-05 | 基于双注意力机制的动态评估学生知识水平方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311651860.7A CN117911206A (zh) | 2023-12-05 | 2023-12-05 | 基于双注意力机制的动态评估学生知识水平方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117911206A true CN117911206A (zh) | 2024-04-19 |
Family
ID=90682790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311651860.7A Pending CN117911206A (zh) | 2023-12-05 | 2023-12-05 | 基于双注意力机制的动态评估学生知识水平方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117911206A (zh) |
-
2023
- 2023-12-05 CN CN202311651860.7A patent/CN117911206A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111159419B (zh) | 基于图卷积的知识追踪数据处理方法、系统和存储介质 | |
| CN113033808A (zh) | 一种基于习题难度和学生能力的深度嵌入知识追踪方法 | |
| Cai et al. | Learning path recommendation based on knowledge tracing model and reinforcement learning | |
| CN113344053B (zh) | 一种基于试题异构图表征与学习者嵌入的知识追踪方法 | |
| CN114254208A (zh) | 薄弱知识点的识别方法、学习路径的规划方法与装置 | |
| CN111461442A (zh) | 基于联邦学习的知识追踪的方法及系统 | |
| CN110852390A (zh) | 一种基于校园行为序列的学生成绩分类预测方法及系统 | |
| CN114429212A (zh) | 智能学习知识能力跟踪方法、电子设备及存储介质 | |
| CN114021722A (zh) | 一种融合认知刻画的注意力知识追踪方法 | |
| CN113902129A (zh) | 多模态的统一智能学习诊断建模方法、系统、介质、终端 | |
| Wang et al. | A data mining approach for training evaluation in simulation-based training | |
| CN114676903A (zh) | 一种基于时间感知和认知诊断的在线预测方法及系统 | |
| CN113378581B (zh) | 一种基于多元概念注意力模型的知识追踪方法及系统 | |
| CN113591988A (zh) | 知识认知结构分析方法、系统、计算机设备、介质、终端 | |
| CN116402134A (zh) | 基于行为感知的知识追踪方法及系统 | |
| CN115795015A (zh) | 一种试题难度增强的综合知识追踪方法 | |
| CN114117033B (zh) | 知识追踪方法及系统 | |
| CN117911206A (zh) | 基于双注意力机制的动态评估学生知识水平方法 | |
| CN114491050A (zh) | 一种基于认知诊断的学习能力评估方法及系统 | |
| Wang et al. | POEM: a personalized online education scheme based on reinforcement learning | |
| Lee et al. | Prescribing deep attentive score prediction attracts improved student engagement | |
| KR102671423B1 (ko) | 정책 기반 강화학습을 활용한 최대의 학습 효율 달성을 위한 교실 구조의 최적화 방법 및 장치 | |
| Wang et al. | Proximity-based educational recommendations: A multi-objective framework | |
| Teodorov et al. | Correlation analysis of educational data mining by means a postprocessor’s tool | |
| CN117314696A (zh) | 一种基于现实因素约束深度知识追踪的学生知识状态分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |