CN113610235B - 一种基于深度知识追踪的适应性学习支持装置及方法 - Google Patents
一种基于深度知识追踪的适应性学习支持装置及方法 Download PDFInfo
- Publication number
- CN113610235B CN113610235B CN202110885129.5A CN202110885129A CN113610235B CN 113610235 B CN113610235 B CN 113610235B CN 202110885129 A CN202110885129 A CN 202110885129A CN 113610235 B CN113610235 B CN 113610235B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- student
- learning
- students
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 16
- 230000006399 behavior Effects 0.000 claims abstract description 42
- 230000007704 transition Effects 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000013507 mapping Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- ATHVAWFAEPLPPQ-VRDBWYNSSA-N 1-stearoyl-2-oleoyl-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CCCCCCC\C=C/CCCCCCCC ATHVAWFAEPLPPQ-VRDBWYNSSA-N 0.000 description 1
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供了一种基于深度知识追踪的适应性学习支持装置及方法,通过改进的知识追踪模型,实现比较准确、符合实际地实时追踪学习者当前的知识状态。本发明装置包括改进的深度知识追踪模型,已掌握知识点题目推荐模块以及知识水平跃迁资源推荐模块。本发明将学生的学习行为融合进知识追踪模型,基于MANN提出了改进的知识追踪模型。本发明方法基于知识追踪模型可获得学生的知识掌握程度,基于训练好的知识追踪模型,实现为学生推荐与已掌握知识点关联的未完成的题目,以及推荐基于知识水平跃迁轨迹的资源。本发明提高了知识追踪模型的准确性,实现了基于协同过滤实现为学生推荐学习资源的目的。
Description
技术领域
本发明涉及知识追踪技术领域,特别涉及一种基于改进的知识追踪模型来为学生提供适应性学习支持的装置及方法。
背景技术
知识追踪(Knowledge Tracing)是根据学生过去的答题情况对学生的知识掌握情况进行建模,从而得到学生当前知识状态表示的一种技术。知识追踪能捕捉到学习者当前真实的需求,是学习者建模中的核心任务。但由于知识的多样性和人脑的复杂性,人类的学习过程就是复杂多变的,这也是知识追踪非常困难的原因。
近年来,随着互联网的普及与发展,线上教学得到了广泛应用。小规模限制性在线课程(Small Private Online Course,SPOC)为学习者提供了交互式学习环境,改善了传统课堂教学难以规模化扩展的弊端。但由于学生在知识水平、学习方法、学习能力及学习习惯等方面存在个体差异,随着教学过程的推进,这些因素均可能影响到学生学习效果。适应性教学能够以学生为中心,根据学生的个人特点、已有知识水平及学习风格,向其提供更为适合的学习内容和方案,从而提高学习效率。因此,追踪学生知识掌握情况的变化以及其学习行为特点对于为每个学生提供个性化的学习内容是非常重要的。知识追踪能够利用学生在课程中与题目的交互行为,来评估学生的知识掌握水平。目前的知识追踪模型有很多种。
贝叶斯知识追踪(BKT)模型使用一组二元变量来建模学习者的知识状态,每个变量表示是否掌握对应概念或知识点。根据学生在题目上作答的正误,使用隐马尔科夫模型(Hidden Markov Model,HMM)来更新其知识状态。可以看出,该模型对知识的学习过程进行了简化,假定学生一旦习得了某一项知识,该知识便不会被遗忘,这一假设在实际学习过程中显然是不成立的。此外,BKT模型没有考虑到不同题目间难度差异和学生个体间差异对学习过程的影响,知识点与题目间的映射关系则需要依靠领域专家进行标注,若标注粒度过粗将导致大量题目中隐含的信息被忽略,同时也无法应对单个题目与多个知识点相关联的情况。
深度知识追踪(DKT),使用长短期记忆(Long Short-Term Memory,LSTM)单元作为隐藏层节点,输入序列是学习者在各个时刻的答题交互行为及交互结果,输出序列则是学生在各个时刻答对题库中任意题目的概率。DKT模型利用神经网络中的高维连续向量空间模拟知识状态,输入到状态、状态到状态的转换是非线性的,这就使得面对复杂的知识掌握状态转换时,DKT模型具有比BKT模型更强的表达能力。但是,DKT模型的输入只包含学习者的题目作答情况,有研究人员认为只考虑题目的知识组成部分而忽略其它信息将对知识追踪效果产生负面影响,并且DKT模型无法显式地提取学生的知识状态和题目的知识点向量表示,缺乏可解释性。
动态键值对记忆网络(DKVMN)在DKT的基础上增加了外部记忆模块以提取学生的知识点掌握情况和题目的知识点向量表示,但是依然没有考虑到学生的学习行为等其他信息对学生知识掌握状态的影响。
自注意力知识追踪(SAKT)和基于上下文的注意力知识追踪模型(AKT)等基于注意力机制的模型能够提取重要的特征,捕捉长距离的依赖,并且相对于循环神经网络来说训练速度较快,但是目前的模型均不能显式提取学生的知识状态,缺乏可解释性。
综上所述,现存的知识追踪模型或多或少都存在一定的缺陷。
发明内容
在现有技术中,知识追踪模型大多依据答题轨迹来模拟学生的知识状态变化过程,仅根据学生的答题结果来完全反映学生对知识的掌握情况,进而进行建模;然而,学生的答题行为除了结果正误之外,还包含了作答用时、尝试次数等可供分析的细粒度信息,忽视这些信息将降低模型对学生学习行为的建模能力。此外,学生在SPOC中除需要完成题目外,还会以观看教学视频、阅读图文讲义、参与论坛讨论等多种形式参与在线学习,当知识追踪模型应用在SPOC场景下时,将这些细粒度信息融合在知识追踪模型中能够提高模型的准确性。本发明的目的是提供一种面向SPOC隐含知识点信息提取的深度知识追踪模型,实现基于该深度知识追踪模型的适应性学习支持装置及方法,以实现比较准确、符合实际地实时追踪学习者当前的知识状态。
本发明提供的一种深度知识追踪模型,包括:
(1)输入题目编号qt,先与嵌入矩阵A相乘得到向量kt,再将kt与动态记忆矩阵M1的每个记忆槽内积,内积结果通过Softmax激活函数后得到题目qt与知识点i的相关程度,i∈[1,N],N表示知识点数量;所述矩阵M1用于存储每个知识点的嵌入表示,矩阵M1中初始值随机设置;所述矩阵A的维度为Q×d1,Q为题目总数,初始矩阵A符合均值为0,方差为1的标准正太分布;d1为正整数;
将得到的题目qt与各知识点的相关程度向量wt与动态记忆矩阵M2相乘,得到知识状态rt;矩阵M2用于存储学生的知识点掌握状态,矩阵M2初始为零矩阵;基于知识状态rt预测学生对题目qt的答题正确概率;
(2)每一个时间步中,输入答题反应at和学习行为特征f1-f12更新矩阵M2,更新采用先擦除后追加的方式,具体如下:
将学生在当前时间步作答的题目编号和答题正误结果进行独热编码,得到维数为2Q的答题反应at;再针对当前题目提取学习行为特征f1-f12,将at与学习行为特征顺序拼接后通过与嵌入矩阵B相乘获得维数为d2的知识状态的变化量vt;对vt应用Sigmoid激活函数获得维数为d2的擦除向量et如下:
et=Sigmoid(CT×vt+bc)
其中,C和bc是需要训练的参数;初始矩阵B符合均值为0,方差为1的标准正太分布;d2为正整数;对M2的擦除由相关程度矩阵wt和et共同控制,表示如下:
M′2(i)=M2(i)*(1-wt(i)×et)
其中,对矩阵M2中第i行元素M2(i)擦除后的更新为M′2(i);wt(i)是知识点i与题目qt的相关程度;
对vt应用Tanh激活函数获得维数为d2的追加向量mt如下:
mt=Tanh(DT×vt+bd)
其中,D和bd是需要训练的参数;对于M′2(i)执行追加过程,由wt和mt共同控制,表示如下:
M″2(i)=M′2(i)+wt(i)·mt
对M′2(i)追加后更新为M″2(i)。
本发明的一种基于深度知识追踪的适应性学习支持装置,包括:所述的深度知识追踪模型,已掌握知识点题目推荐模块以及知识水平跃迁资源推荐模块;利用历史学生在线学习数据训练所述的深度知识追踪模型,获取题目-知识点的映射关系;
已掌握知识点题目推荐模块将目标学生的答题序列及答题相关的学习行为特征输入所述的深度知识追踪模型进行推理,根据得到的学生知识点掌握状态的矩阵以及预先设置的阈值,判断出学生已掌握的知识点,再根据目标学生已掌握的知识点以及题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目;
知识水平跃迁资源推荐模块提取学生的知识水平向量-学习资源评分的映射关系,再根据知识水平向量的相似度计算找到与目标学生的知识水平向量相似度最高的k组知识水平向量-学习资源评分数据,预测目标学生对所找到的各个学习资源的评分,并按照评分由大到小顺序将学习资源排序推荐给学生;k为正整数;所述的知识水平跃迁资源推荐模块提取学生的知识水平向量-学习资源评分的映射关系时,获取学生的知识水平迁移序列和学习资源访问足迹,计算学生在访问学习资源前后知识水平的变化量,并作为学习资源的评分,建立知识水平向量-学习资源评分的映射关系。
本发明的一种基于深度知识追踪的适应性学习支持方法,包括如下步骤:
步骤1,从历史学生在线学习数据中提取答题序列及答题相关的学习行为特征,训练所述的深度知识追踪模型;
步骤2,从训练后的深度知识追踪模型中获取题目-知识点映射关系;对目标学生推荐学习资源时,将目标学生的答题序列及答题相关的学习行为特征输入所述的深度知识追踪模型进行推理,根据得到的学生知识点掌握状态的矩阵以及预先设置的阈值,判断出学生已掌握的知识点;基于目标学生已掌握的知识点以及题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目;
步骤3,基于训练后的深度知识追踪模型,以及历史学生在线学习数据,提取学生的知识水平向量-学习资源评分的映射关系;根据知识水平向量的相似度计算找到与目标学生的知识水平向量相似度最高的k组知识水平向量-学习资源评分数据,预测目标学生对所找到的各个学习资源的评分,并按照评分由大到小顺序将学习资源排序推荐给学生;k为正整数;
所述的提取学生的知识水平向量-学习资源评分的映射关系,包括:由深度知识追踪模型与历史学生在线学习数据,获取学生的知识水平迁移序列和学习资源访问足迹,计算学生在访问学习资源前后知识水平的变化量,并作为学习资源的评分,建立知识水平向量-学习资源评分的映射关系。
相对于现有技术,本发明的优点和积极效果在于:(1)本发明装置及方法将学生的学习行为融合进知识追踪模型,并且基于记忆增强神经网络(MANN)提出了改进的知识追踪模型,提高了知识追踪模型的准确性;(2)本发明装置及方法基于知识追踪模型获得学生的知识掌握程度,进而推荐与已掌握知识点关联的未完成的题目,以便帮助学生巩固已掌握的知识点;(3)本发明装置及方法提出了基于协同过滤的学习资源推荐方案,基于当前学生的知识点掌握情况,在历史轮次的学生中寻找与当前学生知识状态相近的学生,并基于历史轮次中学生对学习资源的评分,为当前的学生推荐合适的学习资源,推荐结果更适合。
附图说明
图1是本发明改进的知识追踪模型结构示意图;
图2是本发明对知识追踪模型训练获取题目-知识点的映射关系的示意图;
图3是本发明的基于题目-知识点关系的已掌握知识点相关题目推荐的流程图;
图4是本发明对知识追踪模型训练获取知识水平-学习资源评分的映射关系的示意图;
图5是本发明的基于知识水平跃迁轨迹的资源推荐方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
首先,本发明提出了一种面向SPOC隐含知识点信息提取的深度知识追踪模型,是利用记忆增强神经网络MANN的外部存储机制,对DKT模型进行改进,将所关心的隐含信息转移至相应的外部记忆单元,为实现对网络隐含信息的读取与分析创造条件。下面具体说明本发明改进的知识追踪模型。
针对SOPC场景,本发明将学习行为特征引入知识追踪模型,提高了模型的准确度。本发明引入12种学习行为特征,包括:学生从获取题目到提交所花费的时间、学生尝试回答当前题目的次数、题目所属章节、题目作答场景、学生从获取题目到再次与平台交互的间隔时间、学生获取题目后首次与平台交互的行为类型(访问学习资源、浏览讨论区等)、学生在回答题目前回溯的学习资源数量、学生在回答题目前观看的教学视频数量、学生在回答题目前浏览的讨论贴数量、学生在回答题目前在讨论区的发帖和回复数量、学生上一次尝试当前题目到本次提交的间隔时间、学生上一次尝试任意题目到本次提交的间隔时间。
本发明基于记忆增强神经网络的外部存储机制,对DKT模型进行改进,将所关心的隐含信息转移至相应的外部记忆单元,为实现对网络隐含信息的读取与分析创造条件。本发明的知识追踪模型中包含两个独立的动态记忆矩阵M1和M2,矩阵M1用于存储每个知识点的嵌入表示,矩阵M2用于存储学生的知识点掌握状态。M1和M2的维度分别为N×d1和N×d2,其中N表示知识点数量,d1和d2分别表示记忆区块M1和M2的嵌入维度,d1和d2均为正整数。在每一个时间步中,模型根据输入的题目编号qt,得到题目的嵌入向量kt,再通过计算kt和M1矩阵的每一记忆槽的相似度获取一个对M2矩阵的索引,即权重向量wt。基于wt可从M2矩阵中获取当前学生对qt相关知识点的掌握程度向量rt,进一步地,结合学生当前答题反应at以及学习行为相关特征f1-f12,基于权重向量wt,计算并更新M2矩阵中对应单元的记忆值,从而实现对学生知识掌握过程的追踪。学习行为相关特征f1-f12均为独热码表示。
如图1所示,当模型接受输入的题目编号的独特编码向量qt后,首先将其与一个维度为Q×d1的嵌入矩阵A相乘,得到一个维数为d1的向量kt,其中Q为题目总数。接下来,计算kt与维度为N×d1的记忆区块M1中每一个记忆槽M1(i),i∈[1,N]的内积,所得结果通过Softmax激活函数后即得到题目qt的相关权重wt,表示当前题目与每一个知识点的相关程度,具体计算公式如下:
上角标T表示转置。
通过相关权重wt可对M2中知识点状态信息进行读取和更新,进而实现对答题正确概率的预测和对学习者知识掌握过程的追踪。对知识点状态的读取通过将wt与M2相乘实现,得到维数为d2的知识状态向量rt:
rt=wt×M2 (2)
基于知识状态rt可预测学生对当前题目qt的答题正确概率,具体实现方法如下:将知识状态rt与当前题目的嵌入向量kt进行拼接(Concatenate),依次经过一个激活函数为Tanh的全连接层和一个激活函数为Sigmoid的全连接层后,即得到对学生在当前题目上表现的预测pt:
其中,W1和b1是第一个全连接层的参数,W2和b2是第二个全连接层的参数,pt的范围是(0,1),pt的值越大表示学生正确解答当前题目qt的概率越高。上角标T表示转置。
除了输出答题正确概率的预测外,在每个时间步,基于MANN的知识追踪模型还需要根据输入的答题反应at和相关学习行为特征f1-f12来更新M2中题目相关的知识点状态。知识点状态的更新过程可分为擦除和追加两个步骤,本发明采用了先擦除后追加的方式实现对记忆区块M2的更新。
首先,将学生在当前时间步作答的题目编号和答题正误结果进行独热编码,得到维数为2Q的答题反应输入at;然后,针对当前题目提取上述12个答题相关学习行为特征,进行分箱和独热编码处理后得到特征向量f1-f12,将at与学习行为特征顺序拼接后通过与嵌入矩阵B相乘获得维数为d2的知识状态的变化量vt。然后,可对vt应用Sigmoid激活函数以获得维数为d2的擦除向量et:
et=Sigmoid(CT×vt+bc) (4)
其中,C和bc是可训练的参数。et中各元素值的范围是[0,1]。
嵌入矩阵B的维度为(2Q+12)×d2。
对M2的擦除过程由相关权重wt和et共同控制,只有当知识点i对应的相关权重wt和擦除向量et中的元素值均为1时,M2中对应单元的记忆会被完全擦除为0;若wt为0或擦除向量et中元素值均为0,则M2中相应单元不会发生任何改变。知识状态记忆单元擦除过程如下:
M′2(i)=M2(i)·(1-wt(i)et) (5)
M′2为对M2进行擦除过程后得到的新的矩阵。由公式(5)可知,根据wt(i)和et共同来更新矩阵M2中第i行元素。“·”代表两向量对应元素进行乘积的操作。公式(5)中的“1”是维度为d2的行向量。wt(i)是知识点i与题目qt的相关权重。
接下来,通过对vt应用Tanh激活函数,可获得维数为d2的追加向量mt:
mt=Tanh(DT×vt+bd) (6)
其中,D和bd是可训练的参数。mt中各元素值的范围是[-1,1]。
对于擦除后的记忆区块M′2,其追加过程同样由wt和mt共同控制:
M″2(i)=M′2(i)+wt(i)mt (7)
在每一个时间步中,记忆区块M2通过上述先擦除后追加的更新过程,模拟了学生学习过程中遗忘和记忆的生理活动。
本发明的知识追踪模型中,矩阵M1中初始值随机设置,矩阵M2初始为零矩阵,初始矩阵A和B均符合均值为0,方差为1的标准正太分布。矩阵M1、M2、A和B随着知识追踪模型训练过程更新。
本发明在知识追踪模型中引入了学习行为相关特征f1-f12,提高了知识追踪模型的性能,因为学生是否正确回答一道题目,不仅与其之前做的题目有关,也与学生的一些学习行为相关,例如,如果学生在做题前浏览了相关的学习资源,则有更高的概率正确回答当前题目,因此,本发明改进的知识追踪模型能更好地贴合SPOC场景中对学生当前知识状态的识别。
训练本发明知识追踪模型时,采集训练样本时,获取某位学生作答的题目编号、答题反应输入、作答该题目时的学习行为特征,学生实际作答题目的正误。在训练时候,样本中的题目编号、答题反应输入和学习行为特征作为知识追踪模型的输入,将模型的输出与学生实际作答题目的正误作比较,不断调整和优化模型中的参数。
本发明基于改进后的深度知识追踪模型,可以在学习过程中实时评估学习者当前的知识状态。这里的知识状态,既可以表示为学生下一次尝试回答各题目时的正确概率,也可以表征为学习者对不同知识点的掌握程度。这样,教师便可根据实际教学需要,通过选择题目或知识点来筛选出存在相应学习问题的学生,对其提供干预或帮助。
基于本发明所改进的知识追踪模型,本发明进一步提供了一种基于深度知识追踪的适应性学习支持方法及装置。本发明基于知识追踪模型所发现的题目-知识点关联及学生知识点掌握程度信息,提出了适应性学习资源推荐方法。一方面,基于学生已掌握的知识点和知识追踪模型学习到的题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目。另一方面通过分析历史轮次中知识状态相近学生的学习轨迹,为学习者推荐可能帮助提升其薄弱知识点掌握程度的学习资源,即基于学生的学习轨迹,以及知识追踪模型学习到的学生的知识状态,以学习资源对知识水平提升的贡献值作为资源评分,利用学习者知识掌握程度进行协同过滤的个性化学习资源推荐方法。
本发明实施例的基于深度知识追踪的适应性学习支持方法,主要包括两部分:基于题目-知识点关系的已掌握知识点相关题目推荐,以及基于知识水平跃迁轨迹的资源推荐。
第一部分,基于题目-知识点关系的已掌握知识点相关题目推荐。
如图2所示,本发明实施例中,从历史轮次课程中获取学生的在线学习数据,提取答题序列以及答题相关的学习行为特征,输入本发明改进的知识追踪模型(基于MANN的深度知识追踪模型)中进行训练,在模型训练完成,保存模型参数,提取出题目-知识点的映射关系,并存储在MongoDB数据库中。
如图3所示,首先获取训练好的知识追踪模型以及题目-知识点映射关系。当需要对新课程中学生开展学习资源推荐时,将目标学生的答题序列及答题相关学习行为特征输入知识追踪模型进行推理。
接着,根据知识追踪模型给出的知识掌握程度向量,通过预先设置的阈值判断出学生已掌握的知识点。本发明实施例中,根据预测结果pt与设置的阈值比较,pt若大于阈值,表示学生已掌握作答题目所对应的知识点,否则表示未掌握。由上述知识追踪模型可以看出,将题目编号输入模型后,可以得到该题目与各知识点的相关程度,本发明实施例中设置相关程度最大的前L个知识点为题目对应的知识点。L为正整数。
最后,基于学生已掌握的知识点和通过知识追踪模型学习到的题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目。
第二部分,基于知识水平跃迁轨迹的资源推荐。
如图4所示,利用历史线学习数据对本发明基于MANN的深度知识追踪模型进行训练,在模型训练完成,保存模型参数,然后提取知识水平迁移序列和学习资源访问足迹,计算学生在访问学习资源前后知识水平的变化量,并作为学习资源的评分,获取知识水平-学习资源评分的映射关系,并存储在MongoDB数据库中。本发明通过分析历史轮次中知识状态相近学生的学习轨迹,为学习者推荐可能帮助提升其薄弱知识点掌握程度的学习资源,即实现基于学生的学习轨迹,以及知识追踪模型学习到的学生的知识状态,以学习资源对知识水平提升的贡献值作为资源评分,利用学习者知识掌握程度进行协同过滤的个性化学习资源推荐。
本发明实施例将2018秋季和2019秋季两学期中采集的课程数据作为实验数据集。利用2018秋季提取的答题序列和相关的学习行为特征训练本发明的基于MANN的知识追踪模型,并在答题序列的基础上提取了学习者在相邻答题活动之间所访问的学习资源列表,包括图文教程、教学视频和论坛讨论贴。然后,针对每一次答题事件,基于已训练的知识追踪模型提取其在各次答题时刻的知识点掌握程度向量。
对于2018秋季课程学生u,基于上述的知识追踪模型,可以获得其在答题时刻t的知识水平,表示为ru,t,则该学生在t至t+1时刻间访问的学习资源g的评分可表示为其知识水平变化量bu,t,g=ru,t+1-ru,t,其取值范围为(-1,1)。基于训练好的知识追踪模型,利用学生t时刻的答题反应和学习行为特征更新矩阵M2,从矩阵M2中获得对第i个知识点掌握状态M2(i),作为知识状态向量rt(i),再将rt(i)与0向量拼接,利用公式(3)计算出概率pt,i作为t时刻关于知识点i的知识水平ru,t(i),如下:
按照这个方法获取学生在t时刻关于各个知识点的知识水平,i=1,2,...N,即可以得到学生在当前t时刻的知识水平ru,t。再结合学生访问资源记录,对在t至t+1时刻间访问的学习资源g的评分bu,t,g,根据学生在两时刻的知识水平差来计算获得。
本发明实施例将2018秋季课程中所有学生各时刻历史知识水平及在该知识水平下对资源的评分以键值对(Key-Value)形式存储在MongoDB数据库中,其中Key为学生的知识水平向量,Value为相应学习资源的ID和评分。对学习资源的评分反映了不同学习资源对于提高学生的知识点掌握程度的作用。
本发明将2019秋季课程中提取的学生答题序列输入预训练的知识追踪模型,并在各个答题时刻提取目标学生的知识水平向量r′u,t。假设相同学习资源对于不同知识水平学生的帮助作用不同,因此需要根据历史轮次中与目标学生知识状态相近的学生对资源给出的评分实施推荐,即在已知的知识水平向量集合中搜索与目标学生知识水平向量相似度最高的k个结果。本发明实施例使用欧氏距离来表示知识水平向量的相似度学生u的知识水平为一向量,表示为[u1,u2,...ui,...uN],学生v的知识水平向量表示为[v1,v2,...vi,...vN]。
对于从历史轮次召回的最为相似的k组知识水平向量以及对应的资源评分集合,基于用户邻域预测了目标用户u对各个资源的评分即资源对目标用户知识水平可能产生的改变量。其中,S(u,k)是与目标用户u知识水平最相近的k个用户的集合,N(g)是与学习资源g发生过交互的用户集合,rv,g是用户v对资源g的评分,/>是用户v在该知识水平下对所有资源评分的平均值,du,v表示用户u和用户v知识水平向量的欧氏距离。
最后,对于计算出的目标用户u对各学习资源的预测评分,按照由大到小顺序将资源以预测评分中各知识点掌握程度变化量的平均值进行排序,根据实际应用需求,将平均值最高的H个资源推荐给用户。H为正整数。
相应地,本发明实施例实现的基于深度知识追踪的适应性学习支持装置,包括本发明改进的知识追踪模型,已掌握知识点题目推荐模块以及知识水平跃迁资源推荐模块。利用历史学生在线学习数据训练本发明改进的知识追踪模型,获取题目-知识点的映射关系。
已掌握知识点题目推荐模块将目标学生的答题序列及答题相关的学习行为特征输入所述的深度知识追踪模型进行推理,根据得到的学生知识点掌握状态的矩阵以及预先设置的阈值,判断出学生已掌握的知识点,再根据目标学生已掌握的知识点以及题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目。具体已掌握知识点题目推荐模块的实现与上述本发明的适应性学习支持方法中的第一部分相同。
知识水平跃迁资源推荐模块提取学生的知识水平向量-学习资源评分的映射关系,再根据知识水平向量的相似度计算找到与目标学生的知识水平向量相似度最高的k组知识水平向量-学习资源评分数据,预测目标学生对所找到的各个学习资源的评分,并按照评分由大到小顺序将学习资源排序推荐给学生;k为正整数;所述的知识水平跃迁资源推荐模块提取学生的知识水平向量-学习资源评分的映射关系时,获取学生的知识水平迁移序列和学习资源访问足迹,计算学生在访问学习资源前后知识水平的变化量,并作为学习资源的评分,建立知识水平向量-学习资源评分的映射关系。具体知识水平跃迁资源推荐模块的实现与上述本发明的适应性学习支持方法中的第二部分相同。
本发明实施例以深度知识追踪(DKT)模型作为基准模型,将本发明改进的知识追踪模型进行实验对比。实验结果显示,仅引入学习行为相关特征能够提升知识追踪任务的AUC(Area Under Curve),最大提升幅度为0.019,采用本发明改进的知识追踪模型,AUC提升了0.065。
Claims (9)
1.一种深度知识追踪模型的使用方法,用于追踪学生在在线课程学习过程中的知识状态,其特征在于,所述的模型包括:
(1)输入题目编号qt,先与嵌入矩阵A相乘得到向量kt,再计算kt与动态记忆矩阵M1的每个记忆槽的内积,内积结果通过Softmax激活函数后得到题目qt与知识点i的相关程度,i∈[1,N],N表示知识点数量;所述矩阵M1用于存储知识点的嵌入表示,矩阵M1中初始值随机设置;所述矩阵A的维度为Q×d1,Q为题目总数,初始矩阵A符合均值为0,方差为1的标准正态分布;d1为正整数;
将得到的题目qt与各知识点的相关程度向量wt与动态记忆矩阵M2相乘,得到知识状态rt;所述矩阵M2用于存储学生的知识点掌握状态,矩阵M2初始为零矩阵;基于知识状态rt预测学生对题目qt的答题正确概率;
(2)每一个时间步中,输入答题反应at和学习行为特征f1-f12更新矩阵M2,更新采用先擦除后追加的方式,具体如下:
将学生在当前时间步作答的题目编号和答题正误结果进行独热编码,得到维数为2Q的答题反应at;再针对当前题目提取学习行为特征f1-f12,将at与学习行为特征顺序拼接后通过与嵌入矩阵B相乘获得维数为d2的知识状态的变化量vt;对vt应用Sigmoid激活函数获得维数为d2的擦除向量et如下:
et=Sigmoid(CT×vt+bc)
其中,C和bc是需要训练的参数;初始矩阵B符合均值为0,方差为1的标准正态分布;d2为正整数;对M2的擦除由相关程度矩阵wt和et共同控制,表示如下:
M′2(i)=M2(i)·(1-wt(i)et)
其中,对矩阵M2中第i行元素M2(i)擦除后的更新为M′2(i);wt(i)是知识点i与题目qt的相关程度;对vt应用Tanh激活函数获得维数为d2的追加向量mt如下:
mt=Tanh(DT×vt+bd)
其中,D和bd是需要训练的参数;对于M′2(i)执行追加过程,由wt和mt共同控制,表示如下:
M″2(i)=M′2(i)+wt(i)mt
对M′2(i)追加后更新为M″2(i)。
4.根据权利要求1所述的深度知识追踪模型的使用方法,其特征在于,所述的针对当前题目提取学习行为特征f1-f12,是指:针对当前题目获取学生从获取题目到提交所花费的时间、学生尝试回答当前题目的次数、题目所属章节、题目作答场景、学生从获取题目到再次与平台交互的间隔时间、学生获取题目后首次与平台交互的行为类型、学生在回答题目前回溯的学习资源数量、学生在回答题目前观看的教学视频数量、学生在回答题目前浏览的讨论贴数量、学生在回答题目前在讨论区的发帖和回复数量、学生上一次尝试当前题目到本次提交的间隔时间、以及学生上一次尝试任意题目到本次提交的间隔时间;对获取的12个学习行为特征信息进行分箱和独热编码处理后得到特征f1-f12。
5.一种基于权利要求1所述的深度知识追踪模型的适应性学习支持方法,其特征在于,包括如下步骤:
步骤1,从历史学生在线学习数据中提取答题序列及答题相关的学习行为特征,训练所述的深度知识追踪模型;
步骤2,从训练后的深度知识追踪模型中获取题目-知识点映射关系;对目标学生推荐学习资源时,将目标学生的答题序列及答题相关的学习行为特征输入所述的深度知识追踪模型进行推理,根据得到的学生知识点掌握状态的矩阵以及预先设置的阈值,判断出学生已掌握的知识点;基于目标学生已掌握的知识点以及题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目;
步骤3,基于训练后的深度知识追踪模型,以及历史学生在线学习数据,提取学生的知识水平-学习资源评分的映射关系;根据知识水平的相似度计算找到与目标学生的知识水平相似度最高的k组知识水平-学习资源评分数据,预测目标学生对所找到的各个学习资源的评分,并按照评分由大到小顺序将学习资源排序推荐给学生;k为正整数;
所述的提取学生的知识水平-学习资源评分的映射关系,包括:由深度知识追踪模型与历史学生在线学习数据,获取学生的知识水平迁移序列和学习资源访问足迹,计算学生在访问学习资源前后知识水平的变化量,并作为学习资源的评分,建立知识水平-学习资源评分的映射关系。
6.根据权利要求5所述的方法,其特征在于,所述的步骤3中,计算学生在访问学习资源前后知识水平的变化量,具体是:
获取学生u的历史在线学习数据,基于训练好的深度知识追踪模型,利用该学生t时刻的答题反应和学习行为特征更新矩阵M2,从矩阵M2中获得对第i个知识点掌握状态M2(i),作为知识状态向量rt(i),再将rt(i)与0向量拼接,进行如下计算获得t时刻关于知识点i的知识水平ru,t(i);
计算t时刻学生u对于N个知识点的知识水平,获得学生u的知识水平ru,t,对于学生u在t至t+1时刻间访问的学习资源g的评分bu,t,g,用该学生的知识水平变化量表示,即bu,t,g=ru,t+1-ru,t。
8.一种基于权利要求1所述的深度知识追踪模型的适应性学习支持装置,其特征在于,包括:所述的深度知识追踪模型,已掌握知识点题目推荐模块以及知识水平跃迁资源推荐模块;利用历史学生在线学习数据训练所述的深度知识追踪模型,获取题目-知识点的映射关系;
已掌握知识点题目推荐模块将目标学生的答题序列及答题相关的学习行为特征输入所述的深度知识追踪模型进行推理,根据得到的学生知识点掌握状态的矩阵以及预先设置的阈值,判断出学生已掌握的知识点,再根据目标学生已掌握的知识点以及题目-知识点映射关系,向目标学生推荐与已掌握知识点关联的未完成题目;
知识水平跃迁资源推荐模块提取学生的知识水平-学习资源评分的映射关系,再根据知识水平的相似度计算找到与目标学生的知识水平相似度最高的k组知识水平-学习资源评分数据,预测目标学生对所找到的各个学习资源的评分,并按照评分由大到小顺序将学习资源排序推荐给学生;k为正整数;所述的知识水平跃迁资源推荐模块提取学生的知识水平-学习资源评分的映射关系时,获取学生的知识水平迁移序列和学习资源访问足迹,计算学生在访问学习资源前后知识水平的变化量,并作为学习资源的评分,建立知识水平-学习资源评分的映射关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110885129.5A CN113610235B (zh) | 2021-08-03 | 2021-08-03 | 一种基于深度知识追踪的适应性学习支持装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110885129.5A CN113610235B (zh) | 2021-08-03 | 2021-08-03 | 一种基于深度知识追踪的适应性学习支持装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610235A CN113610235A (zh) | 2021-11-05 |
CN113610235B true CN113610235B (zh) | 2023-06-27 |
Family
ID=78306588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110885129.5A Active CN113610235B (zh) | 2021-08-03 | 2021-08-03 | 一种基于深度知识追踪的适应性学习支持装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610235B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114372151B (zh) * | 2021-12-31 | 2024-04-30 | 贝壳找房(北京)科技有限公司 | 一种个性化出题方法、装置、计算机可读存储介质和电子设备 |
CN114372137B (zh) * | 2022-01-11 | 2024-06-04 | 重庆邮电大学 | 一种融合深度知识追踪的动态感知试题推荐方法及系统 |
CN114936315A (zh) * | 2022-04-07 | 2022-08-23 | 网易有道信息技术(北京)有限公司 | 自适应推题的方法及其相关产品 |
CN114781710B (zh) * | 2022-04-12 | 2022-12-23 | 云南师范大学 | 一种综合学习过程及题目知识点难度特征的知识追踪方法 |
CN117077737B (zh) * | 2023-08-22 | 2024-03-15 | 长江大学 | 一种知识点动态协同的知识追踪系统 |
CN117911915A (zh) * | 2023-12-07 | 2024-04-19 | 华南师范大学 | 一种基于迁移学习的跨课程知识追踪方法及装置 |
CN117670146B (zh) * | 2024-02-01 | 2024-04-30 | 青岛培诺教育科技股份有限公司 | 一种学习过程测评方法、装置、电子设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399541A (zh) * | 2019-05-31 | 2019-11-01 | 平安国际智慧城市科技股份有限公司 | 基于深度学习的题目推荐方法、装置及存储介质 |
CN112949935A (zh) * | 2021-03-26 | 2021-06-11 | 华中师范大学 | 融合学生知识点题目交互信息的知识追踪方法与系统 |
CN113033808A (zh) * | 2021-03-08 | 2021-06-25 | 西北大学 | 一种基于习题难度和学生能力的深度嵌入知识追踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150170536A1 (en) * | 2013-12-18 | 2015-06-18 | William Marsh Rice University | Time-Varying Learning and Content Analytics Via Sparse Factor Analysis |
US10943497B2 (en) * | 2018-04-27 | 2021-03-09 | Adobe Inc. | Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model |
-
2021
- 2021-08-03 CN CN202110885129.5A patent/CN113610235B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399541A (zh) * | 2019-05-31 | 2019-11-01 | 平安国际智慧城市科技股份有限公司 | 基于深度学习的题目推荐方法、装置及存储介质 |
CN113033808A (zh) * | 2021-03-08 | 2021-06-25 | 西北大学 | 一种基于习题难度和学生能力的深度嵌入知识追踪方法 |
CN112949935A (zh) * | 2021-03-26 | 2021-06-11 | 华中师范大学 | 融合学生知识点题目交互信息的知识追踪方法与系统 |
Non-Patent Citations (1)
Title |
---|
一种结合深度知识追踪的个性化习题推荐方法;马骁睿;徐圆;朱群雄;;小型微型计算机系统(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113610235A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113610235B (zh) | 一种基于深度知识追踪的适应性学习支持装置及方法 | |
CN113033808B (zh) | 一种基于习题难度和学生能力的深度嵌入知识追踪方法 | |
Wu et al. | Exam paper generation based on performance prediction of student group | |
CN112527993B (zh) | 一种跨媒体层次化深度视频问答推理框架 | |
CN115545160B (zh) | 一种多学习行为协同的知识追踪方法及系统 | |
CN112529155B (zh) | 动态知识掌握建模方法、建模系统、存储介质及处理终端 | |
CN112115246A (zh) | 基于对话的内容推荐方法、装置、计算机设备及存储介质 | |
CN114385801A (zh) | 一种基于分层细化lstm网络的知识追踪方法及系统 | |
CN112800323A (zh) | 一种基于深度学习的智能教学系统 | |
CN114254127A (zh) | 学生能力画像方法、学习资源推荐方法及装置 | |
CN114429212A (zh) | 智能学习知识能力跟踪方法、电子设备及存储介质 | |
Zhu et al. | Combining curriculum learning and knowledge distillation for dialogue generation | |
CN114676903A (zh) | 一种基于时间感知和认知诊断的在线预测方法及系统 | |
CN113283488B (zh) | 一种基于学习行为的认知诊断方法及系统 | |
CN114971066A (zh) | 融合遗忘因素和学习能力的知识追踪方法及系统 | |
Huang et al. | Learning consistent representations with temporal and causal enhancement for knowledge tracing | |
CN117473041A (zh) | 一种基于认知策略的编程知识追踪方法 | |
CN116402134A (zh) | 基于行为感知的知识追踪方法及系统 | |
CN115795015A (zh) | 一种试题难度增强的综合知识追踪方法 | |
CN116186409A (zh) | 一种结合难度与薄弱知识点的多样化习题推荐方法、系统及设备 | |
Jiang et al. | Learning analytics in a blended computer education course | |
Qi et al. | Temporal models for personalized grade prediction in massive open online courses | |
CN118170979A (zh) | 一种基于多概念学习资源的学习路径推荐方法 | |
CN117911206A (zh) | 基于双注意力机制的动态评估学生知识水平方法 | |
CN117314696A (zh) | 一种基于现实因素约束深度知识追踪的学生知识状态分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |