CN116166998A - 一种联合全局和局部特征的学生表现预测方法 - Google Patents

一种联合全局和局部特征的学生表现预测方法 Download PDF

Info

Publication number
CN116166998A
CN116166998A CN202310452623.1A CN202310452623A CN116166998A CN 116166998 A CN116166998 A CN 116166998A CN 202310452623 A CN202310452623 A CN 202310452623A CN 116166998 A CN116166998 A CN 116166998A
Authority
CN
China
Prior art keywords
vector
student
cognitive
interaction
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310452623.1A
Other languages
English (en)
Other versions
CN116166998B (zh
Inventor
苏喻
刘淇
沈双宏
黄振亚
韩泽
杨雪洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Normal University
Original Assignee
Hefei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Normal University filed Critical Hefei Normal University
Priority to CN202310452623.1A priority Critical patent/CN116166998B/zh
Publication of CN116166998A publication Critical patent/CN116166998A/zh
Application granted granted Critical
Publication of CN116166998B publication Critical patent/CN116166998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据挖掘技术领域，公开了一种联合全局和局部特征的学生表现预测方法，包括：获取学生的历史答题情况并构建知识点关联矩阵，获取交互向量，获取学生的全局认知向量和局部认知向量；计算学生答对新题目的概率。本发明综合考虑了学生和题目交互中的全局特征和局部特征，在全局特征和局部特征之间分配不同权重进行匹配；这样就可以根据学生的综合知识状态与给定待作答题目的要求间的关联来预测学生答对的概率。本发明结合了认知诊断和知识追踪在学生表现预测任务上的互补优势，因此在实际应用中，具有更好的准确性和鲁棒性。

Description

一种联合全局和局部特征的学生表现预测方法
技术领域
本发明涉及数据挖掘技术领域，具体涉及一种联合全局和局部特征的学生表现预测方法。
背景技术
学生表现预测是教育数据挖掘的基本任务之一，其目的是根据学生之前的答题情况来预测他们在作答新题时的表现。通过提前预测学生的表现，智慧教育系统可以对不同学生提供个性化的学习方案，从而大幅度提高学生的学习效率。而且，基于精准可靠的预测结果，可以为学生提供及时、必要的帮助，从而提高学生成绩。因此，学生表现预测一直是智慧教育、教育数据挖掘、学生能力建模领域探索的一个基础但十分重要的研究方向。
近年来，互联网和计算机技术逐渐在国内普及。与此相关，互联网教育这种新兴的教育模式也得到了迅速发展。与传统的课堂教育不同，互联网教育更加强调在线学习和个性化学习，它拥有更加灵活的学习方式和更加丰富的试题资源，因此受到大多数学生的欢迎。学生可以选择在任意时间进行网上听课，查询和练习；此外，学生可以在线完成相关练习，系统将及时反馈学生的得分情况，更关键的是系统可以对学生的知识掌握情况进行评估，从而使学生了解自己的薄弱项，进行针对性练习。通过这种方式可以使学生及时掌握自己的学习状态，不需要再盲目地做大量练习，提高了学习效率。这种模式的一个基础任务就是学生的表现预测，即根据学生的历史答题情况，评估学生的认知水平，同时根据新题目和已作答题目间的联系，对学生作答新题时的表现做出准确的预测。
现有的学生表现预测方法大多通过对学生的认知水平进行建模实现预测，即计算学生当前的知识状态是否满足作答题目的要求。
传统的学生表现预测方法来自教育心理学领域，主要包括认知诊断和知识追踪这两种方案。
1.基于认知诊断的方法
认知诊断方法来源于教育心理学，它同时考虑了学生因素和题目因子，根据学生之前的作答情况测量其整体知识状态，其目标是对学习者某一给定段时间的学习数据进行整体研究，综合分析这些数据得到且仅得到学生当前的知识掌握度水平。传统的认知诊断模型可分为离散型和连续型两大类。其中，离散型将学生的熟练程度进行离散化，例如离散型认知诊断模型(DINA)。连续型将学生的认知能力视为连续的值，例如项目反应理论(IRT模型)。在这些模型中，学生与题目的交互采用人工设计的函数来建模。
2.基于知识追踪的方法
考虑到学生学习的过程是一个循序渐进的时序化过程，在教育心理学中，有学者提出了基于知识追踪（KT）的方法。知识追踪模型对知识习得过程中的知识状态动态建模，确定学习者何时掌握了一项特定技能，它根据学习者的历史作答行为数据，包括作答题目、题目对应的知识点和作答结果序列，预测下次给定题目的作答结果与知识状态。例如，贝叶斯知识追踪，利用马尔科夫模型捕捉学生的知识状态。
比较来看，认知诊断是为了诊断学习者当前时刻的知识状态，而知识追踪是为了通过动态监测来发现学习者何时掌握了某一知识点。
目前，表现预测方法主要分为以下几种：
（1）基于概率函数的表现预测方法
基于概率函数的表现预测方法使用隐马尔可夫模型来模拟目标对象的历史答题过程，目标对象的认知水平是不可见的，但可以通过目标对象的历史答题表现推断其隐藏的知识状态，进而根据目标对象当前的认知水平预测他们在未作答题目上的表现。
（2）基于逻辑函数的表现预测方法
基于逻辑函数的表现预测方法认为目标对象答案正确的概率是由目标对象因素和题目因素共同影响的。该类方法首先计算出对学习对象因素和题目因素的估计值，然后利用逻辑函数将该估计值转换为对目标对象回答正确的概率预测。
（3）基于深度学习的表现预测方法
近年来，随着计算机计算能力的提高，有人开始尝试利用深度模型预测学生的表现。与KT模型类似，当一个学生针对某一知识点进行了多个题目的练习时，该方法首先将学生投影到隐空间，然后利用循环神经网络（RNN）建模该做题过程，得到在当前时刻下学生的知识状态，利用知识状态预测该学生在未来知识点所关联的题目上的表现。
例如，在认知诊断方向，一些最新的研究从不同方面扩展了神经认知诊断模型(NCD)，由于神经认知诊断模型所采用的神经网络可以近似为任意连续函数，因此神经认知诊断模型能够更好地捕捉学生与题目之间的交互，取得了比IRT和DINA更好的性能。还有人在进行认知诊断时考虑了教育情境的影响，并提出了一个分层的注意力网络来衡量情境影响。总的来说，认知诊断模型首先学习一个全局静态学生向量，它代表了学生在所有学生和题目的交互中的知识状态。在认知建模后，该模型通过测量学生的认知水平能否满足题目的要求来预测学生的表现。
在知识追踪领域，深度学习知识追踪将深度学习引入到知识追踪中，提出了深度知识追踪(DKT)，利用循环神经网络对学生和题目的交互的序列进行建模。
此外，还有更多基于深度学习的方法应用于对知识追踪的序列建模。如：用于知识追踪的动态键值存储网络（DKVMN），使用记忆网络来存储和更新学生的认知水平。DKVMN模型在追踪不同概念的掌握状态的同时能捕捉不同概念之间的关系。它对每个知识概念维护了一个概念状态，并且会自动学习当前的练习输入和各个知识概念之间的相关关系，当一个新的练习输入，DKVMN会先选择和当前练习相关的知识概念，然后根据学习者回答的正误情况更新相关知识概念的状态。基于图的知识追踪（GKT），利用知识概念的潜在图结构来度量题目间的关系。有人利用IRT模型构造题目向量，并设计了一种编码器-解码器结构来实现知识追踪。这种方式将知识结构转化为图形，将知识追踪任务重新表述为图神经网络(GNN)中的时间序列节点级分类题目。还有利用学生的学习收获和遗忘进行建模，以计算他们的动态能力。总的来说，知识追踪方法通过循环神经网络从学生的历史交互序列中学习一个代表学生知识状态的局部动态向量。建模完成后，通过比较学生的知识状态和作答题目的要求进行表现预测。
认知诊断方法通过学生和题目的交互功能学习学生的全局知识状态。这种模型假设学生的整体知识状态是静态的，而现实情况是学生的知识状态是不稳定的，因此该模型无法衡量学习的动态性。另外，认知诊断模型独立考虑每个学生和题目的交互，无法捕捉不同交互间的内在联系，一旦完成学习，全局认知向量将被用来预测学生在未来题目上的表现。知识追踪方法通过序列建模捕捉学习中的局部动态和依赖关系。他们假设学生的知识状态是动态的，并认为依赖的相互作用在一个序列中。对于每一个用于预测的题目，通过不同的历史交互来学习不同的局部知识状态，这种模型严重依赖交互序列，学生的全局认知特征被抛弃了。
发明内容
为解决上述技术问题，本发明提供一种联合全局和局部特征的学生表现预测方法。本发明在考虑学生和题目交互的同时，考虑全局特征和局部特征，以获得更精准、可靠的预测结果；具体来说，给定学生在之前的题目交互（即历史答题情况），首先获取学生的全局认知向量，表征学生平时的整体认知水平。另外，为了更真实地反映学生当前的整体状态，考虑到人的短时记忆，通过学生最近作答的题目对学生的局部认知向量进行建模。
为解决上述技术问题，本发明采用如下技术方案：
一种联合全局和局部特征的学生表现预测方法，包括以下步骤：
步骤一、获取学生的历史答题情况并构建知识点关联矩阵：获取学生
Figure SMS_2
的历史答题情况/>
Figure SMS_5
，/>
Figure SMS_7
表示学生/>
Figure SMS_4
作答的第/>
Figure SMS_8
个题目，/>
Figure SMS_14
表示学生/>
Figure SMS_15
在题目/>
Figure SMS_1
的得分，/>
Figure SMS_9
表示题目的总数；所有题目涉及的知识点集合/>
Figure SMS_11
，M为知识点的总量，
Figure SMS_12
为第m个知识点；构建知识点关联矩阵Q，若题目/>
Figure SMS_3
中包含知识点/>
Figure SMS_6
，则/>
Figure SMS_10
，否则/>
Figure SMS_13
；
步骤二、获取交互向量：对于题目
Figure SMS_16
，将题目/>
Figure SMS_19
的表征向量/>
Figure SMS_21
，与通过知识点关联矩阵Q获得的题目/>
Figure SMS_18
所涉及知识点的表征向量/>
Figure SMS_22
进行融合，将得到的融合向量
Figure SMS_24
经过多层感知机形成稠密向量/>
Figure SMS_25
；将稠密向量/>
Figure SMS_17
和得分/>
Figure SMS_20
输入至题目回答编码器，得到交互向量/>
Figure SMS_23
；
步骤三、获取学生的全局认知向量
Figure SMS_26
和局部认知向量/>
Figure SMS_27
：将全部交互向量通过一个已有的全局性认知诊断模型进行序列建模，得到用于表征学生的整体认知水平的全局认知向量；另外，选取学生最近作答的L个题目，通过自注意力模型得到用于表征学生近期做练习所得收获的局部认知向量；/>
Figure SMS_28
；
步骤四、计算学生答对新题目的概率：基于学生最近作答的L个题目与将要作答的新题目
Figure SMS_29
之间的相似性，通过融合门为全局认知向量和局部认知向量分配权重，最终得到学生/>
Figure SMS_30
答对新题目/>
Figure SMS_31
的概率。
具体地，步骤二中，将得到的融合向量
Figure SMS_32
经过多层感知机形成稠密向量/>
Figure SMS_33
时：
Figure SMS_34
；/>
其中，
Figure SMS_35
和/>
Figure SMS_36
为可学习参数，/>
Figure SMS_37
表示转置。
具体地，所述题目回答编码器包括两个不同的多层感知机；步骤二中，将稠密向量
Figure SMS_38
和得分/>
Figure SMS_39
输入至题目回答编码器得到交互向量/>
Figure SMS_40
时：
Figure SMS_41
；
其中，
Figure SMS_44
、/>
Figure SMS_47
、/>
Figure SMS_49
、/>
Figure SMS_42
均为可学习参数，/>
Figure SMS_45
表示转置，/>
Figure SMS_48
表示题目/>
Figure SMS_50
被答对，
Figure SMS_43
表示题目/>
Figure SMS_46
被答错。
具体地，步骤三中得到局部认知向量的过程，具体包括如下步骤：
S31：将交互向量
Figure SMS_51
分别与查询矩阵/>
Figure SMS_54
、键矩阵/>
Figure SMS_57
和值矩阵/>
Figure SMS_53
相乘，形成计算注意力向量所需要的查询向量/>
Figure SMS_56
、键向量/>
Figure SMS_59
和值向量/>
Figure SMS_60
；查询矩阵/>
Figure SMS_52
、键矩阵/>
Figure SMS_55
和值矩阵/>
Figure SMS_58
均为可训练的权重矩阵；
S32、计算注意力权重：计算当前交互向量的注意力权重时，将当前交互向量的查询向量记为
Figure SMS_61
、键向量记为/>
Figure SMS_62
和值向量记为/>
Figure SMS_63
，其他任意一个交互向量的查询向量记为/>
Figure SMS_64
、键向量记为/>
Figure SMS_65
和值向量记为/>
Figure SMS_66
；
通过
Figure SMS_67
计算当前交互向量与其他各交互向量之间的相关性得分，对相关性得分进行缩放后，通过/>
Figure SMS_68
函数，将当前交互向量与其他各交互向量之间的相关性得分组成的向量，转换成[0,1]之间的概率分布/>
Figure SMS_69
：
Figure SMS_70
；
Figure SMS_71
表示转置，/>
Figure SMS_72
为交互向量的长度；概率分布/>
Figure SMS_73
即为所述注意力权重；
S33：通过当前交互向量对应的概率分布对最近作答的
Figure SMS_74
个题目对应的各交互向量的值向量进行加权求和，得到自注意力层输出的注意力向量/>
Figure SMS_75
：
Figure SMS_76
；
S34：加入残差连接，将交互向量
Figure SMS_77
与注意力向量/>
Figure SMS_78
相加，再进行层归一化，得到层归一化后的注意力向量/>
Figure SMS_79
：
Figure SMS_80
；
其中，
Figure SMS_81
表示层归一化；
S35：将
Figure SMS_82
经过一个含/>
Figure SMS_83
激活函数的多层感知机，得到进一步处理后的注意力向量/>
Figure SMS_84
：
Figure SMS_85
；/>
Figure SMS_86
和/>
Figure SMS_87
均为可训练参数；
S36：
Figure SMS_88
经过平均池化后再经过一个多层感知机，得到学生的局部认知向量/>
Figure SMS_89
：
Figure SMS_90
；
Figure SMS_91
和/>
Figure SMS_92
均为可训练参数。
具体地，步骤四中，计算学生答对新题目的概率时，具体包括以下步骤：
S41：对于任意给定的新题目
Figure SMS_93
，将新题目/>
Figure SMS_94
的表示向量/>
Figure SMS_95
和新题目/>
Figure SMS_96
涉及知识点的表示向量/>
Figure SMS_97
进行融合，将得到的融合向量/>
Figure SMS_98
经过多层感知机形成稠密向量/>
Figure SMS_99
：
Figure SMS_100
；
其中，
Figure SMS_101
和/>
Figure SMS_102
为可学习参数，/>
Figure SMS_103
表示转置；
S42：通过计算新题目与最近作答的L个题目的相似度平均值，来计算新题目
Figure SMS_104
与学生最近作答的L个题目之间的整体相关性/>
Figure SMS_105
：
Figure SMS_106
；
其中
Figure SMS_107
为sigmoid激活函数；
S43：计算能够表征学生的知识状态的认知向量
Figure SMS_108
：
Figure SMS_109
；
Figure SMS_110
代表局部认知向量的权重，/>
Figure SMS_111
表示全局认知向量的权重，
Figure SMS_112
；/>
Figure SMS_113
和/>
Figure SMS_114
为可学习参数；
S44：通过将认知向量
Figure SMS_115
和稠密向量/>
Figure SMS_116
做内积，来模拟学生作答题目时的决策过程，计算学生面对新题目/>
Figure SMS_117
时答对的概率P：
Figure SMS_118
。
与现有技术相比，本发明的有益技术效果是：
本发明综合考虑了学生和题目交互中的全局特征和局部特征，在全局特征和局部特征之间分配不同权重进行匹配，可以根据学生的综合知识状态与给定待作答题目的要求间的关联来预测学生答对的概率。本发明结合了认知诊断和知识追踪在学生表现预测任务上的互补优势，因此在实际应用中，本发明具有更好的准确性和鲁棒性。
附图说明
图1为本发明中的学生表现预测方法的流程图；
图2为本发明交互向量建模的示意图；
图3为本发明自注意力机制建模的示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本发明提出一种联合全局和局部特征的学生表现预测方法，包括以下步骤：
S1、获取学生的历史答题情况及知识点关联矩阵：
学生的历史答题情况是指学生在线自主做题进行练习的记录，历史答题情况中需明确学生在具体题目上的作答结果。定义：学生
Figure SMS_134
的历史答题情况
Figure SMS_120
，其中/>
Figure SMS_131
表示学生，/>
Figure SMS_133
表示学生作答的第/>
Figure SMS_136
个题目，题目/>
Figure SMS_137
的表征向量为/>
Figure SMS_138
，/>
Figure SMS_126
表示学生/>
Figure SMS_129
在题目/>
Figure SMS_119
的得分，学生/>
Figure SMS_123
答对了题目/>
Figure SMS_122
，则/>
Figure SMS_125
，否则/>
Figure SMS_128
。另外，归纳出各题目中涉及的知识点，假设所有题目共有M个知识点，则所有题目涉及的知识点集合/>
Figure SMS_132
，M为知识点的总量，/>
Figure SMS_124
为第m个知识点。定义一个知识点关联矩阵Q表征题目与知识点之间的关联，知识点关联矩阵Q由0和1组成，若题目/>
Figure SMS_127
中包含知识点/>
Figure SMS_130
，则/>
Figure SMS_135
，否则/>
Figure SMS_121
。
S2、交互向量的建模：
根据学生的历史答题情况以及与题目相关的知识点，建模出学生在各个题目上的交互向量。首先不同题目所涉及的知识点有所不同，因此要将题目和对应的知识点进行关联；另外对于不同的学生，他们的作答情况不同，因此这也应在交互向量中有所体现。交互向量的建模过程参见图2。
步骤S2具体包括如下步骤：
S21：首先将题目
Figure SMS_139
对应的表征向量/>
Figure SMS_140
，和该题目中涉及的知识点的表征向量/>
Figure SMS_141
（通过矩阵Q得到）进行融合，形成一个融合向量/>
Figure SMS_142
。
S22：将融合向量经过多层感知机形成一个稠密向量
Figure SMS_143
。使用稠密向量不仅可以提高运算速度，还可以防止模型出现过拟合。
本发明使用题目回答编码器进行编码，题目回答编码器包括两个不同的感知机；对于作答情况设置两个不同的感知机，可以区分不同的题目作答效果。将稠密向量
Figure SMS_144
和得分/>
Figure SMS_145
输入至题目回答编码器得到交互向量/>
Figure SMS_146
：
Figure SMS_147
；
Figure SMS_148
、/>
Figure SMS_149
、/>
Figure SMS_150
、/>
Figure SMS_151
、/>
Figure SMS_152
、/>
Figure SMS_153
均为可学习参数，/>
Figure SMS_154
表示转置。这样便得到了学生在各个题目上的交互向量。
S3、建模得到学生的全局认知向量和局部认知向量：
将步骤S2中得到的全部交互向量通过一个全局性认知诊断模型进行序列建模，得到学生的全局认知向量，表征学生的整体认知水平；另外，选取学生最近作答的
Figure SMS_155
个题目，通过自注意力模型得到学生的局部认知向量，表征学生近期内所做练习的收获。学生的局部认知向量的建模过程参见图3。
步骤S3具体包括：
对于全局认知向量，将上步得到的交互向量
Figure SMS_156
经过一个全局编码器，得到学生的全局认知向量/>
Figure SMS_157
，表示学生整体的能力；学生整体的能力是由他过去练习的所有题目共同决定的。
全局编码器为全局性认知诊断模型，本发明中全局编码器采用神经认知诊断模型(NCD)，也可以采用其他的非序列化的全局性认知诊断模型进行建模。
下面计算局部认知向量，具体包括：
S31：首先，将交互向量
Figure SMS_158
分别与查询矩阵/>
Figure SMS_161
、键矩阵/>
Figure SMS_163
和值矩阵/>
Figure SMS_159
相乘，形成计算注意力向量所需要的查询向量/>
Figure SMS_162
、键向量/>
Figure SMS_164
和值向量/>
Figure SMS_166
。查询矩阵/>
Figure SMS_160
、键矩阵/>
Figure SMS_165
和值矩阵/>
Figure SMS_167
均为可训练的权重矩阵。
S32：计算注意力权重，注意力权重决定了在编码某个交互向量的过程中对其他交互向量的重视程度。注意力权重通过该交互向量的键向量与其他交互向量的查询向量的点积进行计算。计算当前交互向量的注意力权重时，将当前交互向量的查询向量记为
Figure SMS_168
、键向量记为/>
Figure SMS_172
、值向量记为/>
Figure SMS_174
，其他任意一个交互向量的查询向量记为/>
Figure SMS_169
、键向量记为
Figure SMS_171
和值向量记为/>
Figure SMS_173
；即用下标/>
Figure SMS_175
表示当前交互向量，用下标/>
Figure SMS_170
表示其他任意一个交互向量。
则相关性得分
Figure SMS_176
；
然后对相关性得分进行缩放，得到缩放后的相关性得分
Figure SMS_177
：
Figure SMS_178
；
缩放的目的主要是为了训练时的梯度能够稳定，其中
Figure SMS_179
为交互向量的长度。
再通过
Figure SMS_180
函数，将当前交互向量与其他各交互向量之间的相关性得分组成的向量，转换成[0,1]之间的概率分布/>
Figure SMS_181
：
Figure SMS_182
；
概率分布即所述的注意力权重，能更加凸显交互向量之间的关系，能够决定其他交互向量对编码当前交互向量的贡献。
S33：根据交互向量之间的概率分布，通过当前交互向量对应的概率分布(即更加关注相关的交互向量，弱化不相关的交互向量)对其他各交互向量的值向量进行加权求和，就可以得到自注意力层在该位置输出的注意力向量
Figure SMS_183
。由于是计算局部认知向量，因此只选取学生最近作答的/>
Figure SMS_184
个题目。注意力向量/>
Figure SMS_185
具体计算如下：
Figure SMS_186
。
S34：然后，加入残差连接，将输入的交互向量
Figure SMS_187
与训练形成的注意力向量/>
Figure SMS_188
相加，用公式表示为/>
Figure SMS_189
，目的是要解决多层神经网络训练困难的问题，通过将一部分的前一层的信息无差的传递到下一层，可以有效的提升模型性能。再进行层归一化，可以加速模型的训练过程，使其更快的收敛。这一步的计算公式如下：
Figure SMS_190
；
其中
Figure SMS_191
表示层归一化后的注意力向量，/>
Figure SMS_192
表示层归一化。
S35：接下来将
Figure SMS_193
经过一个含/>
Figure SMS_194
激活函数的多层感知机（也称为前馈神经网络），以增加自注意力编码器的非线性能力；另外为了防止特征丢失，要加上/>
Figure SMS_195
本身，得到进一步处理后的注意力向量/>
Figure SMS_196
：
Figure SMS_197
；
Figure SMS_198
和/>
Figure SMS_199
均为可训练参数。
S36：最后，
Figure SMS_200
经过平均池化(/>
Figure SMS_201
)后再经过一个多层感知机便得到学生的局部认知向量/>
Figure SMS_202
：
Figure SMS_203
；
Figure SMS_204
和/>
Figure SMS_205
均为可训练参数；局部认知向量是由该学生最近练习的L个题目所决定的，表示该学生最近一段时间的知识状态和认知水平。
输出认知向量的过程中包含复杂的依赖关系，可以反映学生在学习过程中的整体和动态的知识状态。
S4、计算学生答对的概率：
通过整合全局认知向量和局部认知向量，得到学生在面对一道新题时答对的概率。进一步来说，本发明基于学生最近作答的L个题目和将要作答的新题目之间的相似性，通过融合门对步骤S3中得到的全局认知向量和局部认知向量自适应地分配权重，最终得到学生答对新题目的概率。
步骤S4具体包括：
S41：对于任意给定的新题目
Figure SMS_206
，首先要将新题目/>
Figure SMS_207
的表征向量/>
Figure SMS_208
和该题目中涉及的知识点的表征向量/>
Figure SMS_209
进行融合，得到融合向量/>
Figure SMS_210
，再经过多层感知机形成一个稠密向量/>
Figure SMS_211
：
Figure SMS_212
。
步骤S41中形成稠密向量所用的多层感知机与步骤S22中形成稠密向量所用的多层感知机相同。
S42：随后，计算学生在最近作答的L个题目与新题目间的关联性，通过矩阵相乘的形式进行表征，即
Figure SMS_213
。通过计算新题目与最近作答的每个题目的相似度平均值，来计算新题目/>
Figure SMS_214
与学生最近作答的L个题目之间的整体相关性/>
Figure SMS_215
：/>
Figure SMS_216
；
其中
Figure SMS_217
为sigmoid激活函数。
S43：然后可以根据整体相似性设计融合门：
Figure SMS_218
；
经过sigmoid激活函数，保证
Figure SMS_219
为0-1之间的概率函数。最后，通过融合门将/>
Figure SMS_220
和/>
Figure SMS_221
组合为表征学生知识状态的认知向量/>
Figure SMS_222
：
Figure SMS_223
；
这里
Figure SMS_224
代表局部认知向量的权重，全局认知向量的权重则用/>
Figure SMS_225
进行表示。
S44：为了进行预测，将认知向量
Figure SMS_226
和题目向量/>
Figure SMS_227
做内积，即/>
Figure SMS_228
，来模拟学生作答题目时的决策过程，最终得到学生面对新题目/>
Figure SMS_229
时答对的概率的P：
Figure SMS_230
。
实施例
本发明通过学生的历史答题情况，得到学生的全局认知向量和局部认知向量，对全局认知向量和局部认知向量进行自适应权重分配，进而得到学生作答给定的新题目时答对的概率。
S1、掌握学生的历史答题情况及知识点关联矩阵：
学生的历史答题情况可以直接从答题系统中获取，也可以由用户输入的表格中提取。学生可以在电脑上进行答题作业，答题系统按作答顺序自动记录学生作答的各个题目标签及对应的答案对错标签。知识点标签由答题系统给出或者人工进行标注。
需要训练学习的模型参数有：学生的历史答题情况
Figure SMS_231
，以及题目与知识点之间的关联矩阵Q。
S2、建模得到交互向量
Figure SMS_232
：
向量融合时，可以采取将向量
Figure SMS_234
和向量/>
Figure SMS_236
首尾相接的方式。融合完毕后，构建由两个多层感知机组成的题目回答编码器并进行训练，可训练参数为/>
Figure SMS_238
，其中/>
Figure SMS_235
为通配符，这里指的是/>
Figure SMS_239
、/>
Figure SMS_241
、/>
Figure SMS_242
、/>
Figure SMS_233
、/>
Figure SMS_237
和/>
Figure SMS_240
。
S3、建模得到学生的全局认知向量和局部认知向量：
对于全局认知向量，可以利用现有的全局编码器对交互向量
Figure SMS_244
进行建模，如神经认知诊断模型，得到学生的全局认知向量/>
Figure SMS_246
。对于局部认知向量，将交互向量/>
Figure SMS_249
经过一个注意力机制做进一步建模，之后再经过多层感知机进行模型的训练，可训练参数为/>
Figure SMS_245
，其中/>
Figure SMS_247
为通配符，这里指的是/>
Figure SMS_250
、/>
Figure SMS_251
、/>
Figure SMS_243
、/>
Figure SMS_248
。本发明在实际应用中使用注意力机制处理多种不同模态数据之间的相互映射关系，建模了各个特征之间的重要性，让任务处理系统更专注于找到输入数据中显著的、与当前输出相关的有用信息，从而提高输出的质量，使整个模型具有了更好的鲁棒性。/>
S4、预测出学生作答一道新题时答对的概率：
通过给定的公式
Figure SMS_252
并利用神经网络做进一步建模。本发明使用负对数极大似然估计目标函数进行模型训练与学习，使用交叉熵作为损失函数。具体地，/>
Figure SMS_253
表示利用本发明中预测方法所得到的学生答对的预测值，r表示学生实际作答的二进制数值，则训练目标函数/>
Figure SMS_254
如下：
Figure SMS_255
；
进一步地，为了防止过拟合，降低模型复杂度，可以在训练目标函数
Figure SMS_256
中加入正则化项/>
Figure SMS_257
，得到新的训练目标函数/>
Figure SMS_258
：
Figure SMS_259
；
其中
Figure SMS_260
代表模型中所有参数，/>
Figure SMS_261
是正则化超参数。经过不断优化，最终可以得到学生作答一道新题时答对的概率值。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种联合全局和局部特征的学生表现预测方法，包括以下步骤：
步骤一、获取学生的历史答题情况并构建知识点关联矩阵：获取学生
Figure QLYQS_2
的历史答题情况
Figure QLYQS_7
，/>
Figure QLYQS_10
表示学生/>
Figure QLYQS_4
作答的第/>
Figure QLYQS_12
个题目，/>
Figure QLYQS_14
表示学生/>
Figure QLYQS_15
在题目/>
Figure QLYQS_1
的得分，/>
Figure QLYQS_5
表示题目的总数；所有题目涉及的知识点集合/>
Figure QLYQS_8
，M为知识点的总量，/>
Figure QLYQS_13
为第m个知识点；构建知识点关联矩阵Q，若题目/>
Figure QLYQS_3
中包含知识点/>
Figure QLYQS_6
，则/>
Figure QLYQS_9
，否则
Figure QLYQS_11
；
步骤二、获取交互向量：对于题目
Figure QLYQS_16
，将题目/>
Figure QLYQS_19
的表征向量/>
Figure QLYQS_22
，与通过知识点关联矩阵Q获得的题目/>
Figure QLYQS_17
所涉及知识点的表征向量/>
Figure QLYQS_20
进行融合，将得到的融合向量/>
Figure QLYQS_23
经过多层感知机形成稠密向量/>
Figure QLYQS_25
；将稠密向量/>
Figure QLYQS_18
和得分/>
Figure QLYQS_21
输入至题目回答编码器，得到交互向量/>
Figure QLYQS_24
；
步骤三、获取学生的全局认知向量
Figure QLYQS_26
和局部认知向量/>
Figure QLYQS_27
：将全部交互向量通过一个全局性认知诊断模型进行序列建模，得到用于表征学生的整体认知水平的全局认知向量；另外，选取学生最近作答的L个题目，通过自注意力模型得到用于表征学生近期做练习所得收获的局部认知向量；/>
Figure QLYQS_28
；
步骤四、计算学生答对新题目的概率：基于学生最近作答的L个题目与将要作答的新题目
Figure QLYQS_29
之间的相似性，通过融合门为全局认知向量和局部认知向量分配权重，最终得到学生/>
Figure QLYQS_30
答对新题目/>
Figure QLYQS_31
的概率。
2.根据权利要求1所述的联合全局和局部特征的学生表现预测方法，其特征在于，步骤二中，将得到的融合向量
Figure QLYQS_32
经过多层感知机形成稠密向量/>
Figure QLYQS_33
时：
Figure QLYQS_34
；
其中，
Figure QLYQS_35
和/>
Figure QLYQS_36
为可学习参数，/>
Figure QLYQS_37
表示转置。
3.根据权利要求1所述的联合全局和局部特征的学生表现预测方法，其特征在于，所述题目回答编码器包括两个不同的多层感知机；步骤二中，将稠密向量
Figure QLYQS_38
和得分/>
Figure QLYQS_39
输入至题目回答编码器得到交互向量/>
Figure QLYQS_40
时：
Figure QLYQS_41
；
其中，
Figure QLYQS_43
、/>
Figure QLYQS_46
、/>
Figure QLYQS_47
、/>
Figure QLYQS_44
均为可学习参数，/>
Figure QLYQS_48
表示转置，/>
Figure QLYQS_49
表示题目/>
Figure QLYQS_50
被答对，/>
Figure QLYQS_42
表示题目/>
Figure QLYQS_45
被答错。
4.根据权利要求1所述的联合全局和局部特征的学生表现预测方法，其特征在于：步骤三中得到局部认知向量的过程，具体包括如下步骤：
S31：将交互向量
Figure QLYQS_52
分别与查询矩阵/>
Figure QLYQS_56
、键矩阵/>
Figure QLYQS_60
和值矩阵/>
Figure QLYQS_53
相乘，形成计算注意力向量所需要的查询向量/>
Figure QLYQS_54
、键向量/>
Figure QLYQS_57
和值向量/>
Figure QLYQS_59
；查询矩阵/>
Figure QLYQS_51
、键矩阵/>
Figure QLYQS_55
和值矩阵
Figure QLYQS_58
均为可训练的权重矩阵；
S32、计算注意力权重：计算当前交互向量的注意力权重时，将当前交互向量的查询向量记为
Figure QLYQS_61
、键向量记为/>
Figure QLYQS_62
和值向量记为/>
Figure QLYQS_63
，其他任意一个交互向量的查询向量记为
Figure QLYQS_64
、键向量记为/>
Figure QLYQS_65
和值向量记为/>
Figure QLYQS_66
；
通过
Figure QLYQS_67
计算当前交互向量与其他各交互向量之间的相关性得分，对相关性得分进行缩放后，通过/>
Figure QLYQS_68
函数，将当前交互向量与其他各交互向量之间的相关性得分组成的向量，转换成[0,1]之间的概率分布/>
Figure QLYQS_69
：
Figure QLYQS_70
；
Figure QLYQS_71
表示转置，/>
Figure QLYQS_72
为交互向量的长度；概率分布/>
Figure QLYQS_73
即为所述注意力权重；
S33：通过当前交互向量对应的概率分布对最近作答的
Figure QLYQS_74
个题目对应的各交互向量的值向量进行加权求和，得到自注意力层输出的注意力向量/>
Figure QLYQS_75
：
Figure QLYQS_76
；
S34：加入残差连接，将交互向量
Figure QLYQS_77
与注意力向量/>
Figure QLYQS_78
相加，再进行层归一化，得到层归一化后的注意力向量/>
Figure QLYQS_79
：
Figure QLYQS_80
；
其中，
Figure QLYQS_81
表示层归一化；
S35：将
Figure QLYQS_82
经过一个含/>
Figure QLYQS_83
激活函数的多层感知机，得到进一步处理后的注意力向量
Figure QLYQS_84
：
Figure QLYQS_85
；
Figure QLYQS_86
和/>
Figure QLYQS_87
均为可训练参数；
S36：
Figure QLYQS_88
经过平均池化后再经过一个多层感知机，得到学生的局部认知向量/>
Figure QLYQS_89
：
Figure QLYQS_90
；
Figure QLYQS_91
和/>
Figure QLYQS_92
均为可训练参数。
5.根据权利要求1所述的联合全局和局部特征的学生表现预测方法，其特征在于，步骤四中，计算学生答对新题目的概率时，具体包括以下步骤：
S41：对于任意给定的新题目
Figure QLYQS_93
，将新题目/>
Figure QLYQS_94
的表示向量/>
Figure QLYQS_95
和新题目/>
Figure QLYQS_96
涉及知识点的表示向量/>
Figure QLYQS_97
进行融合，将得到的融合向量/>
Figure QLYQS_98
经过多层感知机形成稠密向量/>
Figure QLYQS_99
：/>
Figure QLYQS_100
；
其中，
Figure QLYQS_101
和/>
Figure QLYQS_102
为可学习参数，/>
Figure QLYQS_103
表示转置；
S42：通过计算新题目与最近作答的L个题目的相似度平均值，来计算新题目
Figure QLYQS_104
与学生最近作答的L个题目之间的整体相关性/>
Figure QLYQS_105
：
Figure QLYQS_106
；
其中
Figure QLYQS_107
为sigmoid激活函数；
S43：计算能够表征学生的知识状态的认知向量
Figure QLYQS_108
：
Figure QLYQS_109
；
Figure QLYQS_110
代表局部认知向量的权重，/>
Figure QLYQS_111
表示全局认知向量的权重，
Figure QLYQS_112
；/>
Figure QLYQS_113
和/>
Figure QLYQS_114
为可学习参数；
S44：通过将认知向量
Figure QLYQS_115
和稠密向量/>
Figure QLYQS_116
做内积，来模拟学生作答题目时的决策过程，计算学生面对新题目/>
Figure QLYQS_117
时答对的概率P：
Figure QLYQS_118
；
Figure QLYQS_119
表示新题目/>
Figure QLYQS_120
被答对。/>
CN202310452623.1A 2023-04-25 2023-04-25 一种联合全局和局部特征的学生表现预测方法 Active CN116166998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310452623.1A CN116166998B (zh) 2023-04-25 2023-04-25 一种联合全局和局部特征的学生表现预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310452623.1A CN116166998B (zh) 2023-04-25 2023-04-25 一种联合全局和局部特征的学生表现预测方法

Publications (2)

Publication Number Publication Date
CN116166998A true CN116166998A (zh) 2023-05-26
CN116166998B CN116166998B (zh) 2023-07-07

Family

ID=86422277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310452623.1A Active CN116166998B (zh) 2023-04-25 2023-04-25 一种联合全局和局部特征的学生表现预测方法

Country Status (1)

Country Link
CN (1) CN116166998B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992924A (zh) * 2024-04-02 2024-05-07 云南师范大学 一种基于HyperMixer的知识追踪方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140272914A1 (en) * 2013-03-15 2014-09-18 William Marsh Rice University Sparse Factor Analysis for Learning Analytics and Content Analytics
CN108171358A (zh) * 2017-11-27 2018-06-15 科大讯飞股份有限公司 成绩预测方法及装置、存储介质、电子设备
CN110377707A (zh) * 2019-07-25 2019-10-25 中国科学技术大学 基于深度项目反应理论的认知诊断方法
US20190333400A1 (en) * 2018-04-27 2019-10-31 Adobe Inc. Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model
CN111539528A (zh) * 2020-04-29 2020-08-14 中国科学技术大学 基于异构结构的知识追踪方法
US20210398439A1 (en) * 2020-06-18 2021-12-23 The Hong Kong University Of Science And Technology Peer-inspired student performance prediction in interactive online question pools with graph neural network
CN114781710A (zh) * 2022-04-12 2022-07-22 云南师范大学 一种综合学习过程及题目知识点难度特征的知识追踪方法
CN114911975A (zh) * 2022-05-05 2022-08-16 金华航大北斗应用技术有限公司 一种基于图注意力网络的知识追踪方法
CN114997461A (zh) * 2022-04-11 2022-09-02 安徽大学 一种联合学习与遗忘的时间敏感的答题正确性预测方法
CN115438152A (zh) * 2022-09-14 2022-12-06 北方工业大学 一种基于多神经网络与知识图谱的简答题评分方法及系统
CN115510286A (zh) * 2022-11-08 2022-12-23 合肥工业大学 一种基于图卷积网络的多关系认知诊断方法
US20220414520A1 (en) * 2021-06-23 2022-12-29 Servicenow Canda Inc. Method and system for training model to perform link prediction in knowledge hypergraph
CN115906997A (zh) * 2022-10-25 2023-04-04 华中师范大学 一种基于对比学习与记忆机制的知识追踪方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140272914A1 (en) * 2013-03-15 2014-09-18 William Marsh Rice University Sparse Factor Analysis for Learning Analytics and Content Analytics
CN108171358A (zh) * 2017-11-27 2018-06-15 科大讯飞股份有限公司 成绩预测方法及装置、存储介质、电子设备
US20190333400A1 (en) * 2018-04-27 2019-10-31 Adobe Inc. Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model
CN110377707A (zh) * 2019-07-25 2019-10-25 中国科学技术大学 基于深度项目反应理论的认知诊断方法
CN111539528A (zh) * 2020-04-29 2020-08-14 中国科学技术大学 基于异构结构的知识追踪方法
US20210398439A1 (en) * 2020-06-18 2021-12-23 The Hong Kong University Of Science And Technology Peer-inspired student performance prediction in interactive online question pools with graph neural network
US20220414520A1 (en) * 2021-06-23 2022-12-29 Servicenow Canda Inc. Method and system for training model to perform link prediction in knowledge hypergraph
CN114997461A (zh) * 2022-04-11 2022-09-02 安徽大学 一种联合学习与遗忘的时间敏感的答题正确性预测方法
CN114781710A (zh) * 2022-04-12 2022-07-22 云南师范大学 一种综合学习过程及题目知识点难度特征的知识追踪方法
CN114911975A (zh) * 2022-05-05 2022-08-16 金华航大北斗应用技术有限公司 一种基于图注意力网络的知识追踪方法
CN115438152A (zh) * 2022-09-14 2022-12-06 北方工业大学 一种基于多神经网络与知识图谱的简答题评分方法及系统
CN115906997A (zh) * 2022-10-25 2023-04-04 华中师范大学 一种基于对比学习与记忆机制的知识追踪方法
CN115510286A (zh) * 2022-11-08 2022-12-23 合肥工业大学 一种基于图卷积网络的多关系认知诊断方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FEIYUE QIU,ET AL.: "Predicting students\' performance in e-learning using learning process and behaviour data", 《SCIENTIFIC REPORTS》 *
YEONJU JANG,ET AL.: "Practical early prediction of students\' performance using machine learning and eXplainable AI", 《EDUCATION AND INFORMATION TECHNOLOGIES》, vol. 27, pages 12855 - 12889 *
伊磊等: "基于自注意力机制的局部与全局特征融合的评分预测方法", 《计算机应用研究》, vol. 39, no. 5, pages 1337 - 1342 *
朱天宇;黄振亚;陈恩红;刘淇;吴润泽;吴乐;苏喻;陈志刚;胡国平;: "基于认知诊断的个性化试题推荐方法", 《计算机学报》, vol. 40, no. 1 *
李全;刘兴红;许新华;林松;: "基于联合概率矩阵分解的个性化试题推荐方法", 《计算机应用》, no. 3 *
魏思，刘淇，苏喻，等: "融合通用题目表征学习的神经知识追踪方法研究", 《中文信息学报》, vol. 36, no. 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992924A (zh) * 2024-04-02 2024-05-07 云南师范大学 一种基于HyperMixer的知识追踪方法
CN117992924B (zh) * 2024-04-02 2024-06-07 云南师范大学 一种基于HyperMixer的知识追踪方法

Also Published As

Publication number Publication date
CN116166998B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
Yeung Deep-IRT: Make deep learning based knowledge tracing explainable using item response theory
Liu et al. Exploiting cognitive structure for adaptive learning
Su et al. Exercise-enhanced sequential modeling for student performance prediction
CN110428010A (zh) 知识追踪方法
CN112116092B (zh) 可解释性知识水平追踪方法、系统和存储介质
CN113033808A (zh) 一种基于习题难度和学生能力的深度嵌入知识追踪方法
CN110930274A (zh) 一种基于认知诊断的实践效果评估及学习路径推荐系统和方法
CN110516116A (zh) 一种多步分层的学习者认知水平挖掘方法及系统
CN115545160B (zh) 一种多学习行为协同的知识追踪方法及系统
CN116166998B (zh) 一种联合全局和局部特征的学生表现预测方法
Lu et al. CMKT: Concept map driven knowledge tracing
CN114429212A (zh) 智能学习知识能力跟踪方法、电子设备及存储介质
Yang et al. A novel quantitative relationship neural network for explainable cognitive diagnosis model
CN114676903A (zh) 一种基于时间感知和认知诊断的在线预测方法及系统
Dai et al. Knowledge tracing: A review of available technologies
Liu et al. A probabilistic generative model for tracking multi-knowledge concept mastery probability
CN116705294A (zh) 一种基于记忆网络的可解释动态认知诊断方法
Pei et al. Self-Attention Gated Cognitive Diagnosis for Faster Adaptive Educational Assessments
Zhang et al. Neural Attentive Knowledge Tracing Model for Student Performance Prediction
CN116402134A (zh) 基于行为感知的知识追踪方法及系统
CN114117033B (zh) 知识追踪方法及系统
CN115795015A (zh) 一种试题难度增强的综合知识追踪方法
CN115205072A (zh) 一种面向长周期测评的认知诊断方法
CN114861914A (zh) 一种面向学习轨迹的细粒度知识追踪方法
CN115619363A (zh) 一种面试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant