CN116151329A - 基于反事实图学习的学生知识状态追踪方法及系统 - Google Patents
基于反事实图学习的学生知识状态追踪方法及系统 Download PDFInfo
- Publication number
- CN116151329A CN116151329A CN202310436897.1A CN202310436897A CN116151329A CN 116151329 A CN116151329 A CN 116151329A CN 202310436897 A CN202310436897 A CN 202310436897A CN 116151329 A CN116151329 A CN 116151329A
- Authority
- CN
- China
- Prior art keywords
- student
- learning
- representation
- graph
- counterfactual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 36
- 238000010586 diagram Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 20
- 230000006378 damage Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000005096 rolling process Methods 0.000 claims description 9
- 230000001066 destructive effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000009826 distribution Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了基于反事实图学习的学生知识状态追踪方法及系统,涉及知识追踪技术领域,方法包括:将学生、问题和概念统一到学生‑问题‑概念关系图中,以模拟它们的高阶关系;通过生成破坏的子图对观察到的问答进行替换干预,通过反事实的对比图学习获得反事实的学生表示,在反事实学习中,根据两个事实观察,从两个视角进行反事实图的转换,进一步在观察到的和反事实的学生表示之间进行对比学习。本公开考虑学生、问题和概念之间的关系,增强问题中涉及的概念对学生的表示。
Description
技术领域
公开涉及知识追踪技术领域,具体涉及基于一种基于反事实图学习的学生知识状态追踪方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
随着教育环境中在线学习的普及,知识追踪(KT)发挥着越来越重要的作用。KT的任务是根据学习的历史练习序列预测他们接下来对知识的掌握程度从而帮助学生更有效地学习。
如今,这一领域已经出现了许多相关的工作,如贝叶斯知识追踪和深度知识追踪方法,尽管在KT方面已经取得了进展,但现有的技术仍然有以下的局限性:
(1)以前的研究只通过探索观察到的稀疏数据分布来解决KT,而反事实数据分布基本上被忽略了,前者只能是后者的一个子集;
(2)目前为KT模型设计的工作要么只考虑问题和概念之间的实体关系,要么只考虑两个概念之间的关系,而没有一个工作同时研究学生、问题和概念多个实体之间的关系,导致学生建模不准确。
发明内容
本公开为了解决上述问题,提出了基于反事实图学习的学生知识状态追踪方法及系统,设计反事实对比图学习方法,考虑学生、问题和概念之间的多种关系,通过生成基于两个观察事实的破坏子图来获得反事实的正样本,然后通过对比图学习方法来学习增强的用户表示。
根据一些实施例,本公开采用如下技术方案:
基于反事实图学习的学生知识状态追踪方法,包括:
获取学生的历史问题练习互动序列,提取历史问题练习互动序列中的学生、问题以及概念之间的关系;
根据学生、问题以及概念之间的关系建立学生-问题-概念关系图,模拟学生、问题以及概念之间的高阶关系;
将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标函数,基于预测损失和对比损失联合对目标函数进行求解,获取学生对问题对比学习下的知识状态表示。
根据一些实施例,本公开采用如下技术方案:
基于反事实图学习的学生知识状态追踪系统,包括:
图构建模块,用于获取学生的历史问题练习互动序列,提取历史问题练习互动序列中的学生、问题以及概念之间的关系;
根据学生、问题以及概念之间的关系建立学生-问题-概念关系图,模拟学生、问题以及概念之间的高阶关系;
反事实对比学习模块,用于将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标函数,基于预测损失和对比损失联合对目标函数进行求解,获取学生对问题对比学习下的知识状态表示。
与现有技术相比,本公开的有益效果为:
本公开提供的一种用于知识追踪的反事实图学习方法,考虑不同实体之间的多重关系,首先将学生、问题和概念统一在图中,然后利用图卷积网络进行表示学习。为了对反事实世界进行建模,通过改变相应的处理方法对学生的学习图进行反事实转换,然后在对比学习框架中利用反事实结果;并在三个真实世界的数据集上进行了广泛的实验,实验结果证明了提出的CounterGL(知识追踪的反事实图学习方法)方法与几个较先进的对比方法更具优越性。
本公开解决了知识追踪的数据稀疏问题,增强问题中涉及的概念对学生的表示,预测学生对目标问题的知识掌握程度,在对学生进行反事实干扰问题答题的前提下,预测他们接下来对知识的掌握程度从而帮助学生更有效地学习;通过生成基于两个观察事实的破坏子图来获得反事实的正样本,然后通过对比图学习方法来学习增强的用户表示。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1为本实施例中的从反事实的角度建模未观察到的数据表示;
图2为本实施例中的学生、问题和概念之间的关系在图中的表示;
图3为本实施例的CounterGL的整体架构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
由于KT中现有方法的数据稀疏问题仍未得到解决:(1)现有方法仅对观察到的稀疏数据分布进行建模,而忽略了反事实的数据分布,前者只能是后者的一个子集。其中之间的关系可以从图1中看出。直观地说,对反事实世界的建模能够考虑到学生更多的未观察到的特征,从而能够为学生和问题学习更准确的表示。(2)现有的研究未能捕捉到多个实体之间的结构信息。例如,以前为KT设计的方法要么只考虑问题和概念之间的实体关系,要么只考虑两个概念之间的关系,而没有一个工作同时研究学生、问题和概念之间的关系。在KT任务中,不仅是问题之间的关系,而且学生对历史问题的回答也有利于学生知识的学习。在一个统一的图中对学生、问题和概念进行建模,有助于我们学习他们的高阶关系。图2是在一个统一图中进行建模的例子。
为了克服上述限制,本公开提出了一种用于知识追踪的反事实图学习方法,即CounterGL。面对数据稀少问题的主要想法是对反事实数据分布进行建模,而不仅仅是观察数据分布。具体来说,目标是回答以下的反事实问题:"如果对观察到的问答进行干预,学生的表示会是什么?"更具体地说,鉴于观察到的问题序列,首先将学生、问题和概念统一到学生-问题-概念(SQC)关系图中,以模拟它们的高阶关系。然后,通过生成破坏的子图对观察到的问答进行干预,从中可以通过反事实的对比图学习获得反事实的学生表示。在反事实学习中,根据两个事实观察,从两个视角进行反事实图的转换。首先,即使用类似的问题来取代学生的问题序列,学生的知识状态也可能保持相似。通过用类似问题随机替换序列中的问题来获得反事实的积极学生表示。第二,学生的知识状态与学生所回答的问题顺序无关。因此,通过随机改变问题的顺序来实现反事实的积极表示。在这两种情况下,都是通过直接破坏学生的原始表示来获得消极表示。然后,为了有效地学习一个更稳定的学生表示,进一步在观察到的和反事实的学生表示之间进行对比学习。也就是说,通过与这种分布外的硬性消极样本进行对比,学习到的表示有可能更加稳定,因为它们对嘈杂的问题不太敏感。此外,与分布外的积极样本进行对比,有可能使学到的表示更加准确,因为它们更相信不可或缺的样本。
本公开提供基于反事实图学习的学生知识状态追踪方法,包括:
步骤一:获取学生的历史问题练习互动序列,提取历史问题练习互动序列中的学生、问题以及概念之间的关系;
根据学生、问题以及概念之间的关系建立学生-问题-概念关系图,模拟学生、问题以及概念之间的高阶关系;
步骤二:将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标函数,基于预测损失和对比损失联合对目标函数进行求解,获取学生对问题对比学习下的知识状态表示。
具体的,作为一种实施例,用于知识追踪的反事实图学习方法中,包括:
定义KT任务:获取一个学生的历史问题练习互动序列= {(,),. . . , (,)},其中是学生回答过的第个问题,∈ {0,1}代表学生对的答案的正确性。如果答案是正确的,让= 1,否则= 0。给定互动序列和下一个问题,KT的任务是预测学生正确回答的概率,概率p(= 1|,)。
构建学生-问题-概念图:利用SQC图来表示学生、问题以及概念之间的关系,模拟学生、问题以及概念之间的高阶关系,在所述SQC图中包括三种类型的节点,分别表示学生、问题以及概念;所述SQC图中包括两种边,分别表示学生和问题之间的关系以及问题和概念之间的关系。
为了考虑学生、问题和概念之间的层次关系,首先在一个统一的图(即SQC图)中对它们进行建模,这进一步成为反事实图转换和学生表示学习的基础。具体来说,定义G ={(s,, q,, c) | s∈S, q∈Q, c∈C}为构建的图,用来模拟学生、问题和概念之间的关系,其中s、q和c分别表示学生s、问题q和概念c。和分别表示学生-问题和问题-概念之间的关系。在SQC中,有三种类型的节点,即学生、问题和概念,以及两种边,分别表示学生和问题之间的关系,以及问题和概念之间的关系。对于学生,问题,只有当学生与问题互动时,和之间才有连接。对于问题和概念,如果包含,在和之间建立一个连接,以表示它们的问题-概念关系。
让S = {,,. . ,,. . ,},Q = {,,. . . ,,. . ,}和C = {,,. . . ,,. . ,}表示为学生、问题和概念的集合,其中m、n和k分别表示问题、学生和概念的数量。关于学生和问题之间的关系,假设一个学生可以回答多个问题,一个问题也可以由一个及一个以上的学生回答。对于问题和概念,假设一个问题包含一个或多个概念,而一个概念被多个问题所涵盖,即问题和概念之间存在多对多的关系。因此,可以总结出S、Q、C之间的两种相互作用,即学生与问题的相互作用和问题与概念的相互作用,分别用n×m 和m×k,其中=1表示观察到的相互作用,=0表示未观察到的相互作用。
作为一种实施例,将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示的过程为:
利用图卷积网络作为主干网络,通过其从学生的SQC图中学习学生、问题和概念表征。在SQC图中,有三类节点,即学生、问题和概念,以及两类边,即学生与问题之间的关系,以及问题与概念之间的关系。对于概念的表示,通过汇总自身和与之相连的问题节点信息来学习。即将从问题节点传递到概念节点的信息与概念节点自身保留的信息聚合,并通过ReLU激活函数来更新概念的表示。为了保留关于概念节点本身的信息,添加了一个到概念节点的自连接。对于问题的表示学习,由于问题节点既与学生节点相连又与概念节点相连,通过汇总问题节点自身和与之相连的问题、学生信息进行表示。即将从学生节点和概念节点传递到问题节点的信息与问题节点自身的信息相聚合,并通过ReLU激活函数从而更新问题的表示。与概念和问题的表示学习类似,对于学生的表示是通过汇总他自己和相应问题的信息来进行学习。即将从问题节点传递到学生节点的信息与学生节点自身保留的信息聚合,再通过ReLU激活函数更新学生的表示。
进一步的,生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;
具体包括:生成两个观察事实的破坏的子图对观察到的问答进行反事实干预的方式包括:用类似的未回答的问题随机替换历史回答记录中的问题,以产生未观察到的回答序列,根据未观察到的回答序列生成第一替换的反事实破坏子图。
打乱干扰同一问题集的答题序列,获取未观察到的回答序列,根据该未观察到的回答序列生成第二干扰的反事实破坏子图,之后通过对两个观察事实的破坏的子图进行反事实的对比图学习获取反事实的学生表示。
其中,反事实学习指的是:让X是内容的集合,T是处理的集合,Y是结果的集合。对于一个内容x∈X和一个处理t∈T,用Yt(x)∈Y来表示x在处理t下的结果。理想情况下,需要x在所有处理下的所有可能结果来学习因果关系。然而,在现实中,只有一种处理方法被应用,因此,当给出一个内容x时,只能得到一个结果。
本公开关于提出的CounterGL(知识追踪的反事实图学习方法)的过程为:针对回答以下的反事实问题,"如果我们对观察到的问答进行干预,学生的表示会是什么?"。进行反事实学习通常要探讨以下三个因素:内容、处理和结果,其中内容是给定的内容变量;处理是自变量,是随机的;结果是因变量,是与处理有关的。在本公开方法中,把学生节点作为内容X,把学生的答题记录是否被干预作为处理T,把学生的表示作为结果Y。为了回答 "学生的表示会是什么",在两个事实观察的基础上构建了增强的观点。CounterGL的整体架构显示在图3中。具体来说,首先找到与学生回答的问题相似的问题(来自未回答的问题)。
通过以下两种策略替换以及干扰学生的历史答题。(1)用类似的未回答的问题随机替换历史回答记录中的问题,以产生未观察到的回答序列。由于用类似的问题取代了这些问题,认为被干扰的序列与原始序列相似。(2)获得未观察到的学生答题记录的另一种方法是干扰打乱同一问题集的答题序列。由于被扰乱的答题记录具有相同的问题集,认为这个答案序列与原始答案序列具有相似的意义。之后,通过对转换后的反事实子图利用图卷积神经网络图来实现学生的反事实表示。对于反事实子图节点(概念、问题和学生),都是通过节点自身及与之相连节点信息来学习其表示。即汇聚节点自身携带信息和与之相连节点传递的信息并通过ReLU激活函数来更新节点表示。将上述生成的答案序列中的反事实表示作为正样本,而将原始表示转换形式作为负样本。然后,进一步对原始表示和反事实表示进行对比学习,以更准确和稳健地对学生进行建模。
步骤二中,将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标,对目标问题进行预测,基于预测损失和对比损失联合进行训练的过程包括:
生成两个观察事实的破坏的子图对观察到的问答进行反事实干预的方式包括:用类似的未回答的问题随机替换历史回答记录中的问题,以产生未观察到的回答序列,根据未观察到的回答序列生成第一替换的反事实破坏子图。打乱干扰同一问题集的答题序列,获取未观察到的回答序列,根据该未观察到的回答序列生成第二干扰的反事实破坏子图,之后通过对两个观察事实的破坏的子图进行反事实的对比图学习获取反事实的学生表示。
通过反事实的对比图学习获取反事实的学生表示的过程为:利用两个图卷积网络进行对比图学习,从原始的学生学习图表中推断出表示,分别获取概念的表示学习、问题的表示学习以及学生表示学习;通过进行反事实图的转换来获取两个增强的破坏的子图,然后获取第一反事实替换的学生表示学习以及第二反事实干扰的学生表示学习。
所述将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习的方法包括第一反事实替换的结果对比以及与第二反事实干扰的结果对比;所述第一反事实替换的结果对比的方法为把第一次反事实替换的结果视为正样本,把通过破坏函数破坏的表示视为学生的负样本;然后,使学生表示与正样本之间的距离最小化,并使学生表示与负样本之间的距离最大化,使用InfoNCE作为学习目标,增强学生表示,获得第一对比学习目标函数。所述第二反事实干扰的结果对比的方法为在这个反事实干扰的图中,把反事实转换的结果当作正样本,而破坏的学生表示则是负面样本;通过执行InfoNCE损失,获得第二个对比学习目标函数。
具体的,通过问题替换操作对学生进行干预。此外,由于每个学生对未回答的问题的答案是未知的,使用最近的观察问题的结果作为替代。这里,最近的邻居问题是指SQC图中具有共同概念的节点。为了构建表示学生答题序列的反事实子图,其潜在结果与相应的事实观察相似,通过以下替换策略进行图的扩充:(1)首先确定与学生已经回答过的问题和相似的未回答的问题。
(2)然后,对每个学生的原始子图sub-G进行图的增强,随机地将问题节点替换为最相似的问题作为它们的替代品(来自未回答的问题集)。根据以下方法获得与被替换的问题节点qi最邻近的节点qk:
其中d(.,.)用于衡量两个节点之间的距离。用余弦相似度来计算两个问题之间的相似度,它可以表达节点之间的偏好程度,了解节点之间的相似程度。其定义如下所示:
其中qi和qk分别是问题qi和qk的嵌入。用类似的问题进行替换,认为被干扰的序列与原始序列相似,通过GCN获得的相似学生表示与观察到的学生表示。在进行反事实替换时,被替换的问题的数量M被设定为一个超参数。注意,如果答题序列的长度小于M,那么我们将M设置为答题序列的长度。
反事实替换策略倾向于通过替换已经回答的问题来获得未观察到的学生答题记录。但是这种方法也引入了一些未回答的问题,这给方法带来了不确定性。为了克服这一挑战,另一个直观的方法是通过改变学生的回答顺序来扰乱学生的回答记录,在扰乱前后的问题集是一样的。直观地说,学生从同一问题集得到的知识状态也应该是相似的。更正式地说,回答 "如果......会怎样 "的问题,就是在学生以不同的顺序回答这些问题的反事实上,找到每个学生节点的潜在结果,其中处理方法被表示为是否改变了学生的回答顺序。那么,如何通过改变学生的回答顺序来生成反事实的数据是我们的主要任务之一。也就是说,倾向于改变学生的回答顺序,从而获得不同处理下的学生节点(内容)的结果。
具体来说,在子图上采取以下破坏策略:对于同一个学生节点,随机选择两个与之相连的问题节点,然后在子图上交换它们,它们的关系保持不变。也就是说,在打乱sub-G上的答题序列时,只改变问题节点,它们与概念节点和学生节点的关系是不变的。由于sub-G上受干扰的答题记录仍然具有相同的问题集,认为这个答题序列与原来的序列具有相似的意义,通过下面的图卷积网络得到的学生表示仍然与观察到的学生表示相似。在实验中,把交换问题对的数量N当作一个超参数,如果一个学生的答题序列的长度不满足交换问题的数量,其值就被设定为答题序列长度的一半。
用对比图学习学习反事实表示利用图卷积网络(GCN)作为骨干,具体来说,两种学生表示(即结果),即改变处置方法之前和之后的结果,由两个GCN学习,如图3所示,
(1)从原始的学生学习图表中推断出表示。在SQC图中,有三种节点,即学生、问题和概念,以及两种边,即学生和问题之间的关系,以及问题和概念之间的关系。让s、q和c分别记为学生节点、问题节点和概念节点。rs和rq分别表示学生-问题和问题-概念之间的关系。
概念表示学习。在这项工作中,通过它们所属的问题来表示概念。对于一个概念,它的表示是通过汇总它本身和与之相连的问题节点的信息来学习的。形式上,将定义的图G= {(s,, q,, c) | s∈S, q∈Q, c∈C}中的概念节点表示为,将与之直接连接的问题集表示为。然后,定义从问题节点集传递给第l层GCN中的的信息为:
问题的表示学习。在SQC图中,问题节点与问题中包含的概念以及回答过当前问题的学生相连。然后,对于一个问题,它的表示是通过汇总自身和与之相连的问题和学生的信息来学习的。此外,学生的回答也会对问题的表示学习产生影响。因此,通过同时考虑其答案来描述一个问题的表示。我们把问题的表示记为。让和分别为与相关的概念集和学生集。然后,可以定义从概念节点传递到的信息为:
与概念和问题类似,通过汇总来自学生信息和相应的问题来得出学生的最终表示:
(2)转换后的反事实图上的表示学习。通过进行反事实图的转换来获得两个增强的子图和,以实现在处置方法改变时的实验结果。相应地,可以通过同一个GCN编码器实现两种类型的学生表示,这些表示被进一步处理为学生学习状态的反事实结果。
通过将上述信息整合在一起,定义学生表示如下:
通过对比学习增强学生的表示。对于提到的两种反事实转换(反事实替换和反事实干扰),获得积极(正)样本,将原始学生表示和反事实学生表示作为正例。消极(负)样本是通过破坏函数将原始学生表示进行行列变换获得;将原始学生表示和消极学生表示作为负例。为了增强学生的学习表示,进一步加入了对比学习目标;从反事实图中诱导出的学生表示都表明在处理方法改变之前和之后,学生的学习状态是相似的,把这两种结果作为学生的积极表示。为了做一个对比,对于这两种转化视图,通过一个破坏函数P直接生成相应的消极的学生表示:
与反事实替换的结果对比。把第一次反事实替换的结果视为正样本,把通过破坏函数P破坏的表示视为学生的负样本。然后,为了使学生的表示与正样本之间的距离最小化,并使其与负样本之间的距离最大化,使用InfoNCE作为学习目标。通过这样做,有效地学习一个更准确、更稳健的学生表示。从形式上看,得到第一对比学习目标函数,有:
与反事实干扰的结果对比。在这个反事实干扰的视图中,也把反事实转变的结果当作正样本,而破坏的学生表示则是负面样本。
通过执行InfoNCE损失,可以得到第二对比学习目标函数:
上述利用交叉熵损失来计算预测损失(即公式(23)):
目标函数。为了进一步考虑学生表示的准确性和稳健性,将预测损失和对比损失联合进行训练。也就是说,通过汇总公式(23)、(20)和(21)来实现最终目标函数:
在不同的数据集上将CounterGL(知识追踪的反事实图学习)与现有的方法进行比较。通过AUC(曲线下面积)和ACC(准确率)来评估每个模型的性能。如表1所示,对比模型和本公开的CounterGL在三个数据集上的两个分类指标的结果。不同数据集上的AUC和ACC的最佳结果以粗体显示。从结果可以看出,本公开模型在三个数据集上都取得了很高的性能。在ASSIST2009数据集上,CounterGL模型的AUC值为79.0%。在所有基线中,GIKT(图交互知识追踪)模型是最有竞争力的模型,AUC值为77.9%。在ASSIST2012数据集上,CounterGL模型的AUC值为77.8%,略好于GIKT模型。在Algebra 2006数据集上,CounterGL模型的AUC值为78.6%,GIKT模型的AUC值为77.8%,而GKT(图知识追踪)模型的AUC值为74.8%;
表1 三个数据集的AUC和ACC的比较结果
在所有的基线中,基于深度学习的模型比传统的BKT(贝叶斯知识追踪)模型有更好的表现,这证明了深度学习方法对预测学生成绩的有效性。SAKT(自注意力知识追踪)模型的表现好于DKT(深度知识追踪)和DKVMN(动态键值记忆网络),这表明考虑下一个问题和学生过去活动之间的相关性是很重要的。此外,GKT(图知识追踪)和GIKT(图交互知识追踪)这两个模型都是利用现有的知识结构来获得更多额外的有用信息。从表中可以发现,与其他基线相比,GKT和GIKT的预测结果相对更好。此外,本公开的模型不仅考虑了问题和概念之间的关系,还包括了学生和问题之间的关系,这表明对多个实体建模促进了模型的预测性能。
实施例2
本公开的一种实施例提供出了基于反事实图学习的学生知识状态追踪系统,包括:
图构建模块,用于获取学生的历史问题练习互动序列,提取历史问题练习互动序列中的学生、问题以及概念之间的关系;
根据学生、问题以及概念之间的关系建立学生-问题-概念关系图,模拟学生、问题以及概念之间的高阶关系;
反事实对比学习模块,用于将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标函数,基于预测损失和对比损失联合对目标函数进行求解,获取学生对问题对比学习下的知识状态表示。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于反事实图学习的学生知识状态追踪方法,其特征在于,包括:
获取学生的历史问题练习互动序列,提取历史问题练习互动序列中的学生、问题以及概念之间的关系;
根据学生、问题以及概念之间的关系建立学生-问题-概念关系图,模拟学生、问题以及概念之间的高阶关系;
将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标函数,基于预测损失和对比损失联合对目标函数进行求解,获取学生对问题对比学习下的知识状态表示。
2.如权利要求1所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,所述生成两个观察事实的破坏的子图对观察到的问答进行反事实干预的方式包括:用未回答的问题随机替换历史回答记录中的问题,以产生未观察到的回答序列,根据未观察到的回答序列生成第一替换的反事实破坏子图。
3.如权利要求2所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,还包括:打乱干扰同一问题集的答题序列,获取未观察到的回答序列,根据该未观察到的回答序列生成第二干扰的反事实破坏子图,之后通过对两个观察事实的破坏的子图进行反事实的对比图学习获取反事实的学生表示。
4.如权利要求1所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,利用SQC图来表示学生、问题以及概念之间的关系,模拟学生、问题以及概念之间的高阶关系,在所述SQC图中包括三种类型的节点,分别表示学生、问题以及概念;所述SQC图中包括两种边,分别表示学生和问题之间的关系以及问题和概念之间的关系。
5.如权利要求1所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,所述通过反事实的对比图学习获取反事实的学生表示的过程为:利用两个图卷积网络进行对比图学习,从原始的学生学习图表中推断出表示,分别获取概念的表示学习、问题的表示学习以及学生表示学习;通过进行反事实图的转换来获取两个增强的破坏的子图,然后获取第一反事实替换的学生表示学习以及第二反事实干扰的学生表示学习。
6.如权利要求1所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,所述将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习的方法包括第一反事实替换的结果对比以及与第二反事实干扰的结果对比。
7.如权利要求6所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,所述第一反事实替换的结果对比的方法为把第一次反事实替换的结果视为正样本,把通过破坏函数破坏的表示视为学生的负样本;然后,使学生表示与正样本之间的距离最小化,并使学生表示与负样本之间的距离最大化,使用InfoNCE作为学习目标,增强学生表示,获得第一对比学习目标函数。
8.如权利要求6所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,所述第二反事实干扰的结果对比的方法为在这个反事实干扰的图中,把反事实转换的结果当作正样本,而破坏的学生表示则是负面样本;通过执行InfoNCE损失,获得第二个对比学习目标函数。
9.如权利要求1所述的基于反事实图学习的学生知识状态追踪方法,其特征在于,所述基于预测损失和对比损失联合进行训练的过程为:设定目标问题,将目标问题表示和学生表示结合,通过一个两层的全连接网络射到低维嵌入,计算出学生正确回答目标问题的概率,利用交叉熵计算预测损失;基于预测损失和对比损失联合进行训练构建目标函数,采用梯度下降法学习参数。
10.基于反事实图学习的学生知识状态追踪系统,其特征在于,包括:
图构建模块,用于获取学生的历史问题练习互动序列,提取历史问题练习互动序列中的学生、问题以及概念之间的关系;
根据学生、问题以及概念之间的关系建立学生-问题-概念关系图,模拟学生、问题以及概念之间的高阶关系;
反事实对比学习模块,用于将所述关系图输入至图卷积网络中进行观察表示学习,获取观察到的学生表示,然后生成两个观察事实的破坏的子图对观察到的问答进行反事实干预,通过反事实的对比图学习获取反事实的学生表示;将观察到的学生表示和获取的反事实的学生表示之间加入对比学习目标进行对比学习,构建学习目标函数,基于预测损失和对比损失联合对目标函数进行求解,获取学生对问题对比学习下的知识状态表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310436897.1A CN116151329B (zh) | 2023-04-23 | 2023-04-23 | 基于反事实图学习的学生知识状态追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310436897.1A CN116151329B (zh) | 2023-04-23 | 2023-04-23 | 基于反事实图学习的学生知识状态追踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116151329A true CN116151329A (zh) | 2023-05-23 |
CN116151329B CN116151329B (zh) | 2023-07-18 |
Family
ID=86374052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310436897.1A Active CN116151329B (zh) | 2023-04-23 | 2023-04-23 | 基于反事实图学习的学生知识状态追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116151329B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190333400A1 (en) * | 2018-04-27 | 2019-10-31 | Adobe Inc. | Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model |
CN112988844A (zh) * | 2021-03-31 | 2021-06-18 | 东北大学 | 一种基于学生练习序列的知识概念表示学习方法 |
CN113609388A (zh) * | 2021-07-27 | 2021-11-05 | 浙江大学 | 基于反事实用户行为序列生成的序列推荐方法 |
US20210398439A1 (en) * | 2020-06-18 | 2021-12-23 | The Hong Kong University Of Science And Technology | Peer-inspired student performance prediction in interactive online question pools with graph neural network |
US20220006635A1 (en) * | 2020-07-01 | 2022-01-06 | Raytheon Bbn Technologies Corp. | Geospatial-temporal pathogen tracing in zero knowledge |
CN114911975A (zh) * | 2022-05-05 | 2022-08-16 | 金华航大北斗应用技术有限公司 | 一种基于图注意力网络的知识追踪方法 |
US20220358594A1 (en) * | 2021-05-10 | 2022-11-10 | International Business Machines Corporation | Counterfactual e-net learning for contextual enhanced earnings call analysis |
CN115329096A (zh) * | 2022-08-19 | 2022-11-11 | 上海伯禹教育科技有限公司 | 一种基于图神经网络的交互式知识追踪方法 |
CN115328971A (zh) * | 2022-08-23 | 2022-11-11 | 山东财经大学 | 基于双图神经网络的知识追踪建模方法及系统 |
CN115587977A (zh) * | 2022-09-29 | 2023-01-10 | 中南民族大学 | 一种阿尔兹海默症病理区域定位及分类预测方法 |
CN115879536A (zh) * | 2022-10-10 | 2023-03-31 | 浙江师范大学 | 一种基于因果效应的学习认知分析模型鲁棒性优化方法 |
-
2023
- 2023-04-23 CN CN202310436897.1A patent/CN116151329B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190333400A1 (en) * | 2018-04-27 | 2019-10-31 | Adobe Inc. | Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model |
US20210398439A1 (en) * | 2020-06-18 | 2021-12-23 | The Hong Kong University Of Science And Technology | Peer-inspired student performance prediction in interactive online question pools with graph neural network |
US20220006635A1 (en) * | 2020-07-01 | 2022-01-06 | Raytheon Bbn Technologies Corp. | Geospatial-temporal pathogen tracing in zero knowledge |
CN112988844A (zh) * | 2021-03-31 | 2021-06-18 | 东北大学 | 一种基于学生练习序列的知识概念表示学习方法 |
US20220358594A1 (en) * | 2021-05-10 | 2022-11-10 | International Business Machines Corporation | Counterfactual e-net learning for contextual enhanced earnings call analysis |
CN113609388A (zh) * | 2021-07-27 | 2021-11-05 | 浙江大学 | 基于反事实用户行为序列生成的序列推荐方法 |
CN114911975A (zh) * | 2022-05-05 | 2022-08-16 | 金华航大北斗应用技术有限公司 | 一种基于图注意力网络的知识追踪方法 |
CN115329096A (zh) * | 2022-08-19 | 2022-11-11 | 上海伯禹教育科技有限公司 | 一种基于图神经网络的交互式知识追踪方法 |
CN115328971A (zh) * | 2022-08-23 | 2022-11-11 | 山东财经大学 | 基于双图神经网络的知识追踪建模方法及系统 |
CN115587977A (zh) * | 2022-09-29 | 2023-01-10 | 中南民族大学 | 一种阿尔兹海默症病理区域定位及分类预测方法 |
CN115879536A (zh) * | 2022-10-10 | 2023-03-31 | 浙江师范大学 | 一种基于因果效应的学习认知分析模型鲁棒性优化方法 |
Non-Patent Citations (4)
Title |
---|
ARIEL ZYLBERBERG等: "Counterfactual Reasoning Underlies the Learning of Priors in Decision Making", 《NEURON》, vol. 99, no. 5, pages 1083 - 1097 * |
JUWEI DAO: "A Survey of Knowledge Tracking Based on Deep Learning", 《FRONTIERS IN COMPUTING AND INTELLIGENT SYSTEMS》, pages 21 - 24 * |
江波等: "可解释学习者模型:可信个性化学习的技术关键", 《远程教育杂志》, vol. 41, no. 2, pages 48 - 57 * |
赵沙沙: "两类非线性分数阶椭圆方程解的存在性及多解行为", 《中国优秀硕士学位论文全文数据库基础科学辑》, pages 002 - 447 * |
Also Published As
Publication number | Publication date |
---|---|
CN116151329B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gao et al. | RCD: Relation map driven cognitive diagnosis for intelligent education systems | |
Gan et al. | Knowledge structure enhanced graph representation learning model for attentive knowledge tracing | |
Liu et al. | Ability boosted knowledge tracing | |
Wang et al. | Using knowledge concept aggregation towards accurate cognitive diagnosis | |
CN114722182A (zh) | 一种基于知识图谱的在线课推荐方法及系统 | |
CN115221413B (zh) | 一种基于交互式图注意力网络的序列推荐方法及系统 | |
Gul et al. | A systematic analysis of link prediction in complex network | |
Wang et al. | GraphCA: Learning from graph counterfactual augmentation for knowledge tracing | |
Wei et al. | Time interval aware self-attention approach for knowledge tracing | |
Xu et al. | Modeling Student Performance using Feature Crosses Information for Knowledge Tracing | |
Li et al. | A genetic causal explainer for deep knowledge tracing | |
Ma et al. | HD-KT: Advancing Robust Knowledge Tracing via Anomalous Learning Interaction Detection | |
CN116151329B (zh) | 基于反事实图学习的学生知识状态追踪方法及系统 | |
Guan et al. | Kg4ex: An explainable knowledge graph-based approach for exercise recommendation | |
Yue et al. | Augmenting interpretable knowledge tracing by ability attribute and attention mechanism | |
Shao et al. | Improving Cognitive Diagnosis Models with Adaptive Relational Graph Neural Networks | |
JP7207128B2 (ja) | 予測システム、予測方法、および予測プログラム | |
Wang et al. | Learning path design on knowledge graph by using reinforcement learning | |
CN114282741A (zh) | 任务决策方法、装置、设备及存储介质 | |
Zeng et al. | Difficulty-aware Convolutional Knowledge Tracing for Student Performance Prediction | |
Peng | Evaluation and Analysis of the Implementation Effects in Practical-Course Blended Learning Based on Virtual Reality Technology. | |
Rani et al. | Clustering social networks using nature-inspired bat algorithm | |
Zhang et al. | No Length Left Behind: Enhancing Knowledge Tracing for Modeling Sequences of Excessive or Insufficient Lengths | |
Zheng et al. | Hypergraph-Based Session Modeling: A Multi-Collaborative Self-Supervised Approach for Enhanced Recommender Systems | |
CN113989080B (zh) | 基于深度知识-项目联合追踪的学习者画像方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |