CN115545160B - 一种多学习行为协同的知识追踪方法及系统 - Google Patents
一种多学习行为协同的知识追踪方法及系统 Download PDFInfo
- Publication number
- CN115545160B CN115545160B CN202211172848.3A CN202211172848A CN115545160B CN 115545160 B CN115545160 B CN 115545160B CN 202211172848 A CN202211172848 A CN 202211172848A CN 115545160 B CN115545160 B CN 115545160B
- Authority
- CN
- China
- Prior art keywords
- learning
- matrix
- vector
- knowledge
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 239000011159 matrix material Substances 0.000 claims abstract description 148
- 230000006399 behavior Effects 0.000 claims abstract description 133
- 239000013598 vector Substances 0.000 claims abstract description 84
- 230000008569 process Effects 0.000 claims abstract description 68
- 238000003491 array Methods 0.000 claims abstract description 40
- 230000002195 synergetic effect Effects 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000001125 extrusion Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 230000000750 progressive effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Mathematical Analysis (AREA)
- Educational Technology (AREA)
- Molecular Biology (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Optimization (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及知识追踪技术领域,尤其涉及一种多学习行为协同的知识追踪方法及系统,包括:获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据;分别输出三类学习行为对应数据的同类约束性矩阵,并得到同类约束性数组;获取学习行为的多类协同性数组;融合同类约束性数组和多类协同性数组生成联合数组;基于联合数组生成学习向量和遗忘向量,更新当前时刻的知识概念状态矩阵,预测学习者未来的答题结果。本发明在追踪学生的知识状态时引入学习过程数据和学习间隔数据,为表示学习者的知识状态提供了充分的支撑,并结合了实际学习过程,向模型输入学习结束数据、学习过程数据和学习间隔数据,从而同时建模学习行为的同类约束性和多类协同性。
Description
技术领域
本发明涉及知识追踪技术领域,尤其涉及一种多学习行为协同的知识追踪方法及系统。
背景技术
随着信息技术的迅速发展,改变了人们传统学习方式,促进了在线教育的蓬勃兴起。丰富多样的线上教育资源和方便智能的在线教育平台使得在线教育用户规模不断扩大,人们在线上教育投入的时间逐渐增多。在线教育平台收集了海量的用户学习数据,教育行业逐渐进入大数据时代。然而,如何利用海量的用户学习数据结合人工智能技术来促进教育行业发展,是研究者长期探索的问题。其中,知识追踪是目前研究的热点之一。
知识追踪利用目标对象(比如学生)答题序列对目标对象知识状态的变化进行建模,追踪学习者的知识状态,评估目标对象对知识点的掌握程度以及预测目标对象对知识点的作答表现,进而预测学习者的未来答题表现。具体地,学习者的知识状态指的是学习者对知识点的掌握程度,它会随着答题情况不断发生变化。通常来说,相邻答题过程中,知识状态应当是逐渐过渡、平缓演化的。如何还原知识状态平缓变化的过程,是知识追踪任务的关键问题。
现有的知识追踪模型主要包括两类。第一类是概率知识追踪模型,以经典的贝叶斯知识追踪(BayesianKnowledge Tracing,BKT)为代表,使用具有特定语义的状态参数表示学习者的知识状态,通过状态参数计算知识状态的变化。该类模型的优点是状态参数语义清晰,可解释性较高;但是没有建模知识状态的平缓变化。第二类是深度学习知识追踪模型,以经典的深度知识追踪(Deep Knowledge Tracing,DKT)为代表,使用深度神经网络生成的分布式向量或矩阵表示学习者的知识状态,通过相邻时间步上分布式向量或矩阵的变化建模知识状态的变化。该类模型的优点是预测性能较高;但是没有建模知识状态的平缓变化。上述两类模型都在实际应用中取得了良好效果,是后续研究的坚实基础。然而,共同的不足是难以建模学习者知识状态平缓演化的过程,无法还原真实的学习场景。
类似于BKT,DKT仍使用学习结束数据为输入。不同的是,DKT以循环神经网络(Recurrent Neural Network,RNN)或长短期记忆网络(Long Short-Term Memory,LSTM)的隐藏状态来表示学生的知识状态,最终以全连接层预测学生的未来学习表现。动态键值记忆网络(Dynamic Key-Value Memory Networks,DKVMN)受标准记忆增强网络的启发,用记忆矩阵的方法来解决知识追踪的任务。DKVMN仍使用学习结束数据作为输入,用一个键(key)矩阵存储概念,用一个值(value)矩阵存储学生对概念的掌握状态;模型通过这两个矩阵判断学生每次学习时对各个概念的掌握状态,最终以全连接层输出学生未来学习表现的概率。
基于以上所述,现有的BKT、DKT和DKVMN是经典的知识追踪模型,这些模型为后续的研究奠定了坚实的基础,它们的不足之处在于:追踪学生的知识状态时仅用到了学习结束数据,建模学习行为的同类约束性;没有使用学习过程数据和学习间隔数据,并未建模学习行为的多类协同性,所以无法为表示学生的知识状态提供更加充分的支撑。DKT-forget和DKT-DT模型仅建模学习行为的同类约束性,忽略建模学习行为的多类协同性。
总的来说,大部分研究在追踪学生的知识状态时仅用学习结束数据作为输入,或引入多种类型的学习行为数据作为输入,但均未建模学习行为的多类协同性。
发明内容
本发明提供一种多学习行为协同的知识追踪方法及系统,现有技术中没有考虑学生在学习过程中产生的数据、也没有考虑学生学习中两次学习的时间间隔以及学习任一知识概念的次数,本发明解决了现有技术忽略了以上两类数据导致的不能在预测学生知识状态时提供有力的数据支撑的缺陷,即现有技术预测的可靠度和准确度都偏低,本发明结合实际的学习过程,除了向模型输入学习结束数据,还向模型输入学习过程数据和学习间隔数据,并同时建模学习行为的同类约束性和多类协同性,有利于提高知识追踪模型的准确性和可靠性。
本发明提供一种多学习行为协同的知识追踪方法,包括:
获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵;
获取预设位置编码并分别输入三个矩阵,基于多头注意力机制对具有位置信息的矩阵进行相似性运算获取注意力权重,分别输出学习过程行为、学习结束行为以及学习间隔行为的同类约束性矩阵,并获取三类所述同类约束性矩阵拼接得到的三维数组作为学习行为的同类约束性数组;
获取所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的三维数组作为通道注意力机制输入数组,获取通道注意力权重,计算得到学习行为的多类协同性数组;
融合所述同类约束性数组和所述多类协同性数组生成联合数组;
获取习题与知识概念的关联权重,基于所述联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵;
基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果。
根据本发明提供的一种多学习行为协同的知识追踪方法,获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵,包括:
取连续n条嵌入表示的学习过程向量、学习结束向量和学习间隔向量,分别组合得到三个大小为n×dv的学习过程矩阵BI、学习结束矩阵BII、学习间隔矩阵BIII作为多头注意力机制的输入;
其中,AN表示学习者作答的次数,RN表示学习者请求提示的次数;FA={0,1}表示学习者作答习题时的第一动作,1表示学习者首先作答,0表示学习者首先请求提示;qi表示学习者作答的题目,ri={0,1}表示学习者作答的结果,其中1表示学习者回答正确,0表示学习者回答错误;RT表示学习者学习当前概念的时间间隔,ST表示学习者第i-1次学习和第i次学习之间的时间间隔,LT表示重复学习当前知识概念的次数;
n表示数组包含连续n条学习行为,dv是学习行为数据向量表示的维度。
根据本发明提供的一种多学习行为协同的知识追踪方法,获取学习行为的同类约束性数组包括:
获取参数v∈R1×n为所述预设位置编码,并分别输入学习过程矩阵BI、学习结束矩阵BII、学习间隔矩阵BIII,获取含有位置信息的输入数据:
Bj*(i)=Bj(i)+v(i),j∈{I,II,III},i∈{1,...,n};
将矩阵BI*、BII*和BIII*分别输入多头注意力机制,计算学习行为间的相似性获得注意力权重,进行学习行为的同类约束性建模,输出学习过程行为的同类约束性矩阵学习结束行为的同类约束性矩阵/>以及学习间隔行为的同类约束性矩阵/>
根据本发明提供的一种多学习行为协同的知识追踪方法,获取学习行为的多类协同性数组,包括:
获取所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的大小为3×n×dv的三维数组Xt作为通道注意力机制输入数组;
进行学习行为的多类协同性建模,通过挤压操作获取学习过程数据、学习结束数据和学习间隔数据的全局信息,通过激励操作获取不同学习行为的注意力权重s:
s=Sigmoid(W·RC(Cov(Xt)));
将注意力权重s与数组Xt进行通道乘法,得到学习行为的多类协同性数组XC:
XC=sXt。
根据本发明提供的一种多学习行为协同的知识追踪方法,融合所述同类约束性数组和所述多类协同性数组生成联合数组,包括:
将学习行为的同类约束性数组XR和表示学习行为的多类协同性数组XC进行拼接,拼接后数组的维度为6×n×dv,获取联合数组,联合数组经RC逐行卷积操作后得到矩阵XE:
XE=RC([XC,XR])。
根据本发明提供的一种多学习行为协同的知识追踪方法,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵,包括:
获取当前时刻t的习题集合与前一时刻的知识概念状态矩阵的关联权重wt,更新前一时刻的知识概念矩阵以获取当前时刻的知识概念状态矩阵:
根据本发明提供的一种多学习行为协同的知识追踪方法,基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果,包括:
根据本发明提供的一种多学习行为协同的知识追踪方法,基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果,进一步包括:
将所述习题嵌入向量kt和所述掌握状态向量nt输入至带Tanh激活函数的全连接层进行拼接,获取包含学习者对知识概念掌握状态和对应习题信息的向量it:
将所述向量it输入Sigmoid激活函数,预测学习者对习题qt的表现情况:
另一方面,本发明还提供一种多学习行为协同的知识追踪系统,包括:
输入模块,用于获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵;
编码模块,用于获取预设位置编码并分别输入三个矩阵,基于多头注意力机制对具有位置信息的矩阵进行相似性运算获取注意力权重,分别输出学习过程行为、学习结束行为以及学习间隔行为的同类约束性矩阵,并获取三类所述同类约束性矩阵拼接得到的三维数组作为学习行为的同类约束性数组;
所述编码模块还用于获取所述输入模块输出的所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的三维数组作为通道注意力机制输入数组,获取通道注意力权重,计算得到学习行为的多类协同性数组;并融合所述同类约束性数组和所述多类协同性数组生成联合数组;
解码模块,基于所述联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵;
预测模块,用于获取习题与知识概念的关联权重,基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述多学习行为协同的知识追踪方法的步骤。
本发明提供的一种多学习行为协同的知识追踪方法及系统,相对于现有技术,至少具有如下的技术效果,包括:
(1)通过在追踪学生的知识状态时引入学习过程数据和学习间隔数据作为输入,能够为表示学习者的知识状态提供更加充分的支撑。本发明结合实际的学习过程,除了向模型输入学习结束数据,还向模型输入学习过程数据和学习间隔数据,并同时建模学习行为的同类约束性和多类协同性;
(2)本发明在追踪学生的知识状态时建模学习行为的多类协同性;首先,拼接三类学习行为数据的集合作为输入;其次,用通道注意力机制获取三类学习行为的全局信息;最终,将全局信息映射为学习行为之间的注意力权重,表示多种类型学习行为的相互作用,用来描述学习行为的多类协同性,用通道注意力机制建模多类协同性,具有较好的有效性和解释性;
(3)本发明在追踪学习者的知识状态时建模学习行为的同类约束性,首先,选取三类学习行为数据的集合作为输入;其次,用多头注意力机制获取输入数据的注意力权重,表示单一类型学习行为在时间序列上的约束关系,用来描述学习行为的同类约束性。现有的模型多使用序列模型建模同类约束性,本发明用多头注意力机制从多个角度去建模学习行为的同类约束性,具有更好的有效性和解释性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的多学习行为协同的知识追踪方法的流程示意图;
图2是本发明提供的多学习行为协同的知识追踪系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或模块。
需要说明的是,本发明涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里描述或图示的那些以外的顺序实施。
在一个实施例中,如图1所示,一种多学习行为协同的知识追踪方法,包括如下步骤:
获取嵌入表示的三个学习行为类型的数据:学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵;
获取预设位置编码并分别输入三个矩阵,基于多头注意力机制对具有位置信息的矩阵进行相似性运算获取注意力权重,分别输出学习过程行为、学习结束行为以及学习间隔行为的同类约束性矩阵,并获取三类所述同类约束性矩阵拼接得到的三维数组作为学习行为的同类约束性数组;
获取所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的三维数组作为通道注意力机制输入数组,获取通道注意力权重,计算得到学习行为的多类协同性数组;
融合所述同类约束性数组和所述多类协同性数组生成联合数组;
获取习题与知识概念的关联权重,基于所述联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵;
基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果。
需要说明的是,本发明所述学习者泛指所有通过知识追踪系统进行学习的人,包括但不限于学生、老师在内的任何参与学习的主体;
本发明提供的一种多学习行为协同的知识追踪方法,首先对输入的三类学习行为数据进行嵌入表示,包括:
取连续n条嵌入表示的学习过程向量、学习结束向量和学习间隔向量,根据学习行为类型分别组合得到三个大小为n×dv的学习过程矩阵BI、学习结束矩阵BII、学习间隔矩阵BIII作为多头注意力机制的输入;
其中,AN表示学习者作答的次数,RN表示学习者请求提示的次数;FA={0,1}表示学习者作答习题时的第一动作,1表示学习者首先作答,0表示学习者首先请求提示;qi表示学习者作答的题目,ri={0,1}表示学习者作答的结果,其中1表示学习者回答正确,0表示学习者回答错误;RT表示学习者学习当前概念的时间间隔,ST表示学习者第i-1次学习和第i次学习之间的时间间隔,LT表示重复学习当前知识概念的次数;
n表示数组包含连续n条学习行为,dv是学习行为数据向量表示的维度。
进一步,建模学习行为的同类约束性和多类协同性,并将两者进行融合降维,包括:
其中,建模学习行为的同类约束性以获取学习行为的同类约束性数组,包括:
获取参数v∈R1×n为所述预设位置编码,并分别输入学习过程矩阵BI、学习结束矩阵BII、学习间隔矩阵BIII,获取含有位置信息的输入数据:
Bj*(i)=Bj(i)+v(i),j∈{I,II,III},i∈{1,...,n};
将矩阵BI*、BII*和BIII*分别输入多头注意力机制,计算学习行为间的相似性获得注意力权重,进行学习行为的同类约束性建模,输出学习过程行为的同类约束性矩阵学习结束行为的同类约束性矩阵/>以及学习间隔行为的同类约束性矩阵/>
其中,建模学习行为的多类协同性,获取学习行为的多类协同性数组,包括:
获取所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的大小为3×n×dv的三维数组Xt作为通道注意力机制输入数组;
其中3表示数组Xt的通道数,n表示数组Xt包含连续n条学习行为,dv是学习行为数据向量表示的维度;
进行学习行为的多类协同性建模,通过挤压操作获取学习过程数据、学习结束数据和学习间隔数据的全局信息,通过激励操作获取不同学习行为的注意力权重s:
s=Sigmoid(W·RC(Cov(Xt)));
将注意力权重s与数组Xt进行通道乘法,得到学习行为的多类协同性数组XC:
XC=sXt。
需要说明的是,在本发明的实施例中,所述全局信息即数组Xt的协方差矩阵,协方差矩阵用来衡量变量在一个总体中共同变化的程度。
获取两个数组之后,融合所述同类约束性数组和所述多类协同性数组生成联合数组,包括:
将学习行为的同类约束性数组XR和表示学习行为的多类协同性数组XC进行拼接,拼接后的联合数组的维度为6×n×dv,联合数组经逐行卷积操作(RC、row-by-rowconvolution)后得到矩阵XE:
XE=RC([XC,XR])。
本发明提供的一种多学习行为协同的知识追踪方法,进一步根据联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵,包括:
需要说明的是,本领域技术人员应理解,L和F仅仅用于区分两类多头注意力机制,具体名称不影响本发明方案的实施,不应视为对本发明的限定;
获取当前时刻t的习题集合与前一时刻的知识概念状态矩阵的关联权重wt,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵:
其中, 向量/>为经过变换后的学习结束数据,描述的是学生的答题情况信息,用其做解码过程的查询输入可以得到学生因第t次学习而引起知识状态的变化情况;向量为处理后的学习间隔数据,描述的是学生相邻两次学习的时间间隔和学习某概念的次数等学习行为,用其做解码过程的查询输入可以得到学生因遗忘而引起的概念掌握状态的变化情况;
最后,根据用户对当前习题的作答,预测学习者的答题结果:
基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果,包括:
进一步包括:
将所述习题嵌入向量kt和所述掌握状态向量nt输入至带Tanh激活函数的全连接层进行拼接,获取包含学习者对知识概念掌握状态和对应习题信息的向量it,向量it既包含了学习者对概念的掌握状态又包含了习题信息:
将所述向量it输入Sigmoid激活函数,预测学习者对习题qt的表现情况:
由向量it的获取过程可知,向量it包含了学习者对相应知识概念的掌握情况(nt)和题目信息(kt)。通过pt的计算公式可知,可以看作是机器拟合学习者知识输出的线性函数,经非线性激活函数Sigmoid进行非线性变化,最终输出预测结果pt,预测结果为一个范围在0-1区间的值;
具体的,一般pt输出的数值大于0.5认为学习者在预测时刻的答题结果为正确,否则认为学习者不能再预测时刻对习题做出正确的答案。
在一个具体的实施例中,分别基于数据集ASSISTments2012、ASSISTments2017、JunyiAcademy对本发明提供的知识追踪方法的追踪模型进行仿真计算,并于现有技术的DKT模型、DKVMN模型、SAKT模型、DKT-forget模型、DKT-DT模型进行对比,如下表1所示的:
表1.知识追踪模型AUC指标评价表
需要说明的是,数据集ASSISTments2012、ASSISTments2017、JunyiAcademy均为本领域常用的数据集合,三个数据集可以出自相同或不同的数据平台,每个数据集收集的用于知识追踪领域的基本信息是大体相同的(包括但不限于学生id、题目id、题目所含知识概念、答题情况等);
使用指标AUC(Area Under Curve)来分析和评价本文提出的MLB-KT模型的性能。AUC是ROC曲线与横坐标轴围成图形的面积,该面积的取值在0.5到1之间,若AUC的值为0.5,说明模型是随机预测模型;AUC的值越大,说明模型预测性能越好;
上述模型可分为两类:单学习行为模型,指的是仅使用学习结束数据作为输入的模型;多学习行为模型,指的是在使用学习结束数据作为输入的基础上,引入其他学习行为数据的模型;
单学习行为模型主要有DKT、DKVMN、SAKT;
多学习行为模型主要有DKT-forget、DKT-DT、MLB-KT;
DKT-forget、DKT-DT模型引入其他学习行为数据作为输入,虽未改进建模学习行为同类约束性的方法,但改进了模型的输入,与单学习行为模型相比均有更好的表现。MLB-KT在三个数据集上的AUC值均优于其他模型,分别达到了0.764、0.812、0.861,说明了在建模学习行为同类约束性的基础上建模多类协同性的有效性。
在另一个实施例中,本发明还提供一种多学习行为协同的知识追踪系统,包括输入模块、编码模块、解码模块和预测模块:
输入模块,用于获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵;
编码模块,用于获取预设位置编码并分别输入三个矩阵,基于多头注意力机制对具有位置信息的矩阵进行相似性运算获取注意力权重,分别输出学习过程行为、学习结束行为以及学习间隔行为的同类约束性矩阵,并获取三类所述同类约束性矩阵拼接得到的三维数组作为学习行为的同类约束性数组;
所述编码模块还用于获取所述输入模块输出的所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的三维数组作为通道注意力机制输入数组,获取通道注意力权重,计算得到学习行为的多类协同性数组;并融合所述同类约束性数组和所述多类协同性数组生成联合数组;
解码模块,基于所述联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵;
预测模块,用于获取习题与知识概念的关联权重,基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法提供的一种多学习行为协同的知识追踪方法的步骤。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的一种多学习行为协同的知识追踪方法的步骤。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多学习行为协同的知识追踪方法,其特征在于,包括:
获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵;
获取预设位置编码并分别输入三个矩阵,基于多头注意力机制对具有位置信息的矩阵进行相似性运算获取注意力权重,分别输出学习过程行为、学习结束行为以及学习间隔行为的同类约束性矩阵,并获取三类所述同类约束性矩阵拼接得到的三维数组作为学习行为的同类约束性数组;
获取所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的三维数组作为通道注意力机制输入数组,获取通道注意力权重,计算得到学习行为的多类协同性数组;
融合所述同类约束性数组和所述多类协同性数组生成联合数组;
获取习题与知识概念的关联权重,基于所述联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵;
基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果。
2.根据权利要求1所述的一种多学习行为协同的知识追踪方法,其特征在于,获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵,包括:
取连续n条嵌入表示的学习过程向量、学习结束向量和学习间隔向量,分别组合得到三个大小为n×dv的学习过程矩阵BI、学习结束矩阵BII、学习间隔矩阵BIII作为多头注意力机制的输入;
其中,AN表示学习者作答的次数,RN表示学习者请求提示的次数;FA={0,1}表示学习者作答习题时的第一动作,1表示学习者首先作答,0表示学习者首先请求提示;qi表示学习者作答的题目,ri={0,1}表示学习者作答的结果,其中1表示学习者回答正确,0表示学习者回答错误;RT表示学习者学习当前概念的时间间隔,ST表示学习者第i-1次学习和第i次学习之间的时间间隔,LT表示重复学习当前知识概念的次数;
n表示数组包含连续n条学习行为,dv是学习行为数据向量表示的维度。
3.根据权利要求2所述的一种多学习行为协同的知识追踪方法,其特征在于,获取学习行为的同类约束性数组包括:
获取参数v∈R1×n为所述预设位置编码,并分别输入学习过程矩阵BI、学习结束矩阵BII、学习间隔矩阵BIII,获取含有位置信息的输入数据:
Bj*(i)=Bj(i)+v(i),j∈{I,II,III},i∈{1,…,n};
将矩阵BI*、BII*和BIII*分别输入多头注意力机制,计算学习行为间的相似性获得注意力权重,进行学习行为的同类约束性建模,输出学习过程行为的同类约束性矩阵学习结束行为的同类约束性矩阵/>以及学习间隔行为的同类约束性矩阵/>
4.根据权利要求3所述的一种多学习行为协同的知识追踪方法,其特征在于,获取学习行为的多类协同性数组,包括:
获取所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的大小为3×n×dv的三维数组Xt作为通道注意力机制输入数组;
进行学习行为的多类协同性建模,通过挤压操作获取学习过程数据、学习结束数据和学习间隔数据的全局信息,通过激励操作获取不同学习行为的注意力权重s:
s=Sigmoid(W·RC(Cov(Xt)));
将注意力权重s与数组Xt进行通道乘法,得到学习行为的多类协同性数组XC:
XC=sXt。
5.根据权利要求4所述的一种多学习行为协同的知识追踪方法,其特征在于,融合所述同类约束性数组和所述多类协同性数组生成联合数组,包括:
将学习行为的同类约束性数组XR和表示学习行为的多类协同性数组XC进行拼接,拼接后数组的维度为6×n×dv,获取联合数组,联合数组经RC逐行卷积操作后得到矩阵XE:
XE=RC([XC,XR])。
6.根据权利要求5所述的一种多学习行为协同的知识追踪方法,其特征在于,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵,包括:
获取当前时刻t的习题集合与前一时刻的知识概念状态矩阵的关联权重wt,更新前一时刻的知识概念矩阵以获取当前时刻的知识概念状态矩阵:
9.一种多学习行为协同的知识追踪系统,其特征在于,包括:
输入模块,用于获取嵌入表示的学习过程数据、学习结束数据和学习间隔数据,分别生成学习过程矩阵、学习结束矩阵和学习间隔矩阵;
编码模块,用于获取预设位置编码并分别输入三个矩阵,基于多头注意力机制对具有位置信息的矩阵进行相似性运算获取注意力权重,分别输出学习过程行为、学习结束行为以及学习间隔行为的同类约束性矩阵,并获取三类所述同类约束性矩阵拼接得到的三维数组作为学习行为的同类约束性数组;
所述编码模块还用于获取所述输入模块输出的所述学习过程矩阵、所述学习结束矩阵和所述学习间隔矩阵拼接得到的三维数组作为通道注意力机制输入数组,获取通道注意力权重,计算得到学习行为的多类协同性数组;并融合所述同类约束性数组和所述多类协同性数组生成联合数组;
解码模块,基于所述联合数组生成学习向量和遗忘向量,对前一时刻的知识概念矩阵进行更新,获取当前时刻的知识概念状态矩阵;
预测模块,用于获取习题与知识概念的关联权重,基于前一时刻的知识概念状态矩阵预测学习者对当前时刻的习题的答题结果。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述多学习行为协同的知识追踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211172848.3A CN115545160B (zh) | 2022-09-26 | 2022-09-26 | 一种多学习行为协同的知识追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211172848.3A CN115545160B (zh) | 2022-09-26 | 2022-09-26 | 一种多学习行为协同的知识追踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115545160A CN115545160A (zh) | 2022-12-30 |
CN115545160B true CN115545160B (zh) | 2023-05-23 |
Family
ID=84730315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211172848.3A Active CN115545160B (zh) | 2022-09-26 | 2022-09-26 | 一种多学习行为协同的知识追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115545160B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116976434B (zh) * | 2023-07-05 | 2024-02-20 | 长江大学 | 一种基于知识点扩散表示的知识追踪方法及存储介质 |
CN117077737B (zh) * | 2023-08-22 | 2024-03-15 | 长江大学 | 一种知识点动态协同的知识追踪系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113934840B (zh) * | 2021-11-01 | 2022-04-01 | 东北师范大学 | 一种结合覆盖启发式的数量感知练习推荐方法 |
CN113947262A (zh) * | 2021-11-25 | 2022-01-18 | 陕西师范大学 | 基于异构图学习融合学习参与状态的知识追踪方法 |
CN114565135A (zh) * | 2022-01-27 | 2022-05-31 | 扬州大学 | 一种学生个性化的时间间隔感知注意力机制知识追踪方法 |
CN115062716A (zh) * | 2022-06-29 | 2022-09-16 | 长江大学 | 融合学习行为特征的知识追踪方法、系统及存储介质 |
-
2022
- 2022-09-26 CN CN202211172848.3A patent/CN115545160B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115545160A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yeung | Deep-IRT: Make deep learning based knowledge tracing explainable using item response theory | |
Liu et al. | Exploiting cognitive structure for adaptive learning | |
CN108647233B (zh) | 一种用于问答系统的答案排序方法 | |
Wang et al. | Learning to Represent Student Knowledge on Programming Exercises Using Deep Learning. | |
Wang et al. | Deep knowledge tracing on programming exercises | |
CN115545160B (zh) | 一种多学习行为协同的知识追踪方法及系统 | |
Wang et al. | Deep hierarchical knowledge tracing | |
CN112116092B (zh) | 可解释性知识水平追踪方法、系统和存储介质 | |
Whitehill et al. | Approximately optimal teaching of approximately optimal learners | |
Minn et al. | Dynamic student classiffication on memory networks for knowledge tracing | |
CN113344053B (zh) | 一种基于试题异构图表征与学习者嵌入的知识追踪方法 | |
CN110852390A (zh) | 一种基于校园行为序列的学生成绩分类预测方法及系统 | |
CN112800323A (zh) | 一种基于深度学习的智能教学系统 | |
CN114021722A (zh) | 一种融合认知刻画的注意力知识追踪方法 | |
Lu et al. | CMKT: Concept map driven knowledge tracing | |
CN115329959A (zh) | 一种基于双流知识嵌入网络的学习目标推荐方法 | |
He et al. | Modeling knowledge proficiency using multi-hierarchical capsule graph neural network | |
CN116402134A (zh) | 基于行为感知的知识追踪方法及系统 | |
Zhang et al. | Neural Attentive Knowledge Tracing Model for Student Performance Prediction | |
CN114971066A (zh) | 融合遗忘因素和学习能力的知识追踪方法及系统 | |
Adnan et al. | Deep neural network based m-learning model for predicting mobile learners' performance | |
Delianidi et al. | KT-Bi-GRU: Student Performance Prediction with a Bi-Directional Recurrent Knowledge Tracing Neural Network. | |
Smith et al. | Mathematical psychology. | |
Yang et al. | Skill-Oriented Hierarchical Structure for Deep Knowledge Tracing | |
Pu et al. | EAKT: Embedding Cognitive Framework with Attention for Interpretable Knowledge Tracing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |