CN113283585A - 一种基于自注意力机制的知识追踪方法及系统 - Google Patents

一种基于自注意力机制的知识追踪方法及系统 Download PDF

Info

Publication number
CN113283585A
CN113283585A CN202110564160.9A CN202110564160A CN113283585A CN 113283585 A CN113283585 A CN 113283585A CN 202110564160 A CN202110564160 A CN 202110564160A CN 113283585 A CN113283585 A CN 113283585A
Authority
CN
China
Prior art keywords
self
knowledge
attention
attention mechanism
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110564160.9A
Other languages
English (en)
Other versions
CN113283585B (zh
Inventor
孙俊
高洁
黄志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110564160.9A priority Critical patent/CN113283585B/zh
Publication of CN113283585A publication Critical patent/CN113283585A/zh
Application granted granted Critical
Publication of CN113283585B publication Critical patent/CN113283585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于自注意力机制的知识追踪方法及系统，涉及知识追踪领域，通过建立多头自注意力机制编码器和解码器神经网络，计算与当前时间序列对应的知识组件的自注意力知识追踪模型的参数，利用自注意力知识追踪模型计算学习者关于当前时间序列对应的题目答题结果正确的概率预测值，通过对比知识追踪数据集中当前时间序列的题目答题结果的真实值，得到与当前时间序列对应的自注意力机制神经网络模型的损失函数，通过回溯算法得到权重参数的优化值；从而实现学习者对当前知识组件的认知状态预测，并以此为依据为学习者规划学习路径。

Description

一种基于自注意力机制的知识追踪方法及系统
技术领域
本发明涉及知识追踪领域，具体为一种基于自注意力机制的知识追踪方法与系统。
背景技术
知识追踪是对学习者的学习状态进行建模，预测其对各个知识组件(KnowledgeComponents)的掌握程度，并用以预测其对当前知识组件的答题结果的技术。知识追踪能捕捉当前学习者的掌握程度，预测其学习需求，是学习者建模中的核心任务。但由于知识的多样性和人脑的复杂性，人类的学习状态是认知诊断范畴中的复杂问题，为知识追踪任务带来了挑战。
目前，知识追踪中有两个经典模型，其一为贝叶斯知识追踪模型(BayesianKnowledge Tracing，BKT)。基于贝叶斯算法和隐马尔科夫模型的知识追踪是一个二值动态贝叶斯网络，定义了基础知识点、学习率和猜测参数等，将学生的知识点掌握程度建模为二值向量。但是贝叶斯知识追踪模型常常依赖于手工建模，操作耗时较长。其二为深度知识追踪模型(Deep knowledge tracing，DKT)，它使用循环神经网络模拟学习过程，对答题结果进行预测。其将学生的知识水平建模为可伸缩的深度学习模型，具有较大灵活性、较强的泛化性。但是，在深度知识追踪模型中，基于循环神经网络和长短时记忆网络的模型关注于所有历史答题结果的特征提取，而与人类的学习状态相关的是，浩斯曲线指出，人类是具有遗忘特性的。并且，现有深度知识追踪模型在捕捉题目和知识组件之间的相似关系时能力有限。
发明内容
为了克服现有的深度知识追踪模型的改进需求，本发明公开了一种基于多头自注意力机制的知识追踪方法与系统。该方法通过建立多头自注意力机制编码器和解码器神经网络，计算与当前时间序列对应的知识组件的自注意力知识追踪模型的参数，利用自注意力知识追踪模型计算学习者关于当前时间序列对应的题目答题结果正确的概率预测值，通过对比知识追踪数据集中当前时间序列的题目答题结果的真实值，得到与当前时间序列对应的自注意力机制神经网络模型的损失函数，通过回溯算法得到权重参数的优化值；从而实现学习者对当前知识组件的认知状态预测，并以此为依据为学习者规划学习路径。
本发明解决其技术问题所采用的技术方案是：
一种基于自注意力机制的知识追踪方法，包括以下步骤：
获取训练用知识追踪数据集，该训练用知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括学习者在一个知识组件和一个题目上回答正确与否的真实结果；
构建多头自注意力机制网络，其包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个自注意力机制；
将训练用知识追踪数据集的一个时间序列步骤的知识组件和题目这二者的编号输入到编码器，编码器的每个子空间对编号进行矩阵投影，得到查询Q、键K和值V，并根据自注意力机制处理Q、K和V，输出子空间处理结果；编码器联合全部子空间处理结果，并对V进行衰减系数的加权，再进行线性变换，输出自注意力空间编码值；
将自注意力空间编码值输入到解码器，解码器的每个子空间对自注意力空间编码值进行矩阵投影，得到查询Q、键K和值V，并根据自注意力机制处理输出子空间处理结果；解码器联合全部子空间处理结果，并对V进行衰减系数的加权，再进行线性变换，输出学习者在当前知识组件和题目上回答正确与否的预测结果；
利用损失函数计算预测结果相对于真实结果的损失，通过优化多头自注意力机制网络的权重参数矩阵和偏差参数矩阵，直至损失不再下降，得到训练好的多头自注意力机制网络；
获取待测知识追踪数据集，该待测知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括学习者在一个知识组件和一个题目上的回答情况；
将待的知识追踪数据集输入训练好的多头自注意力机制网络进行处理，编码器对当前时间序列步骤的知识组件和题目这二者的编号进行处理，输出自注意力空间编码值给解码器，解码器对自注意力空间编码值进行处理，输出学习者在当前知识组件和题目上回答正确与否的最终预测结果。
进一步地，编码器/解码器根据自注意力机制处理Q、K和V，是指采用以下缩放点积注意力函数进行处理：
Figure BDA0003080250410000021
其中，nK为K的矩阵维度，T表示矩阵转置。
进一步地，编码器/解码器联合全部子空间处理结果再进行线性变换的公式如下：
MH(Q,K,V)＝[head1；head2；…；headi；…；headh]W°；
Figure BDA0003080250410000022
其中，MH(Q,K,V)为联合及线性变换的输出结果，Wo∈Rd×d为可学习的参数，
Figure BDA0003080250410000023
Figure BDA0003080250410000024
为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，R为实数集。
进一步地，对V进行衰减系数的加权是指，采用缩放点积注意力函数计算时，以及进行联合全部子空间处理结果再进行线性变换时，将V乘以一个衰减系数α(t,τ)，即α(t,τ)V，其中：
Figure BDA0003080250410000031
其中，
Figure BDA0003080250410000032
d(t,τ)为当前时间序列步骤t与之前某一特定时间序列步骤τ之间的时间差；
Figure BDA0003080250410000033
d(t,τ′)为当前时间序列步骤t与之前每一时间序列步骤τ′之间的时间差；θ为网络所学习的参数，qt为Q的第t行，kτ为K的第τ行，nK为K的矩阵维度。
进一步地，损失函数如下：
Figure BDA0003080250410000034
其中，L为交叉熵损失函数，η为网络参数，Y为在当前知识组件和题目上回答正确与否的真实结果，
Figure BDA0003080250410000035
为在当前知识组件和题目上回答正确与否的预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
一种基于自注意力机制的知识追踪系统，用于实现上述方法，包括一多头自注意力机制网络模型，该多头自注意力机制网络模型包括一编码器和一解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个自注意力机制；其中：编码器对当前时间序列步骤的知识组件和题目这二者的编号进行处理，输出自注意力空间编码值给解码器；解码器对自注意力空间编码值进行处理，输出学习者在当前知识组件和题目上回答正确与否的最终预测结果。
本发明的有益效果是：
本发明提供的所述多头自注意力机制知识追踪模型方法与系统，其通过建立多头自注意力机制知识追踪模型，计算多个子空间中的自注意力机制矩阵，输出经过联合和线性变换后，可以获得学生对当前知识组件和题目的答题结果正确与否的预测。通过对比深度知识追踪数据集中的答题结果，获得损失函数计算结果，从而得到所述多头自注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵的优化值，遍历知识追踪数据集，获得多头自注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵的最优值。从而得到学习者的答题结果预测，并获取其认知状态，利用认知状态可以为学习者合理规划学习路径，推荐易错题目。
本发明通过改进的多头自注意力机制捕捉当前时间序列步骤的答题结果与历史时间序列步骤的答题结果之间的关系，利用相近的题目、知识组件答题结果为当前时间序列步骤的答题结果提供预测参考，符合学习的过程，即能够在一定程度上真实模拟学习过程中知识组件的掌握程度变化。本发明将对学习过程中的数据充分挖掘，发挥了多头自注意力机制的特长，提高了预测精确度。
附图说明
下面结合附图对本发明进一步说明。
图1是本发明基于改进的多头自注意力机制的知识追踪模块图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明所述基于改进的多头自注意力机制的知识追踪模型训练过程为：
S1.获取包含学习者对多个知识组件样本的答题结果的知识追踪数据集，所述知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括一个学习者在一个知识组件和一个题目上的回答正确与否的真实结果。
S2.建立多头自注意力机制网络。所述多头自注意力机制的输入为当前时间序列步骤所对应的知识组件和题目这两个的编码H，输出为当前时间序列步骤所对应的知识组件和题目编号的答题结果预测。所述多头自注意力机制网络包括多头自注意力编码器和多头自注意力解码器，二者具有相同的结构和计算过程。
S3.多头自注意力机制编码器首先将输入H投影到多个子空间，在h个子空间中分别应用自注意力机制。所述子空间中，首先将输入H经过线性层即矩阵投影得到查询(query)、键(key)、值(value)，记为
Figure BDA0003080250410000041
其中d为线性层输出维度，nQ,nV,nK分别为查询、键、值的矩阵维度，R为实数集。自注意力采用缩放点积注意力(Scaled Dot-product Attention)函数：
Figure BDA0003080250410000051
式中，T表示矩阵转置；
S4.在此基础上，多头自注意力机制将多个子空间的自注意力机制串联组合，并经过线性层处理后联合输出：
MH(Q,K,V)＝[head1；head2；…；headh]Wo
其中，Wo∈Rd×d为可学习的参数，每一个headi表示一个子空间中的自注意力机制：
Figure BDA0003080250410000052
其中，
Figure BDA0003080250410000053
为网络的学习参数，i为子空间序数。
S5.本实施例还改进了多头自注意力机制以便于更加适应本发明所研究的知识追踪问题。当前学生对知识点的掌握程度极大相关于最近所做的题目，而与很久之前做过的题目关系较小。
因此，本实施例在自注意力机制联合中的V矩阵，设置衰减系数：
Figure BDA0003080250410000054
其中，s为类指数函数衰减，
Figure BDA0003080250410000055
d(t,τ)为当前时间序列步骤t与之前一特定时间序列步骤τ之间的时间差；
Figure BDA0003080250410000056
d(t,τ′)为当前时间序列步骤t与之前每一时间序列步骤τ′(从1到t-1)之间的时间差；θ为网络所学习的参数，qt表示矩阵Q的第t行，kτ表示矩阵K的第τ行。通过衰减函数，网络可以限制对较为遥远的答题记录的学习，更易受当前临近答题记录的影响。
S6.所述多头自注意力机制编码器的输出为自注意力空间编码值zt；将zt输入自注意力解码器中，经过与编码器相同的计算过程，获得输出结果。其输出结果经过联合和线性变换后，可以获得学生对当前知识组件和题目的答题结果正确与否的预测。
S7.将所得预测结果利用如下公式计算其与知识追踪数据集中的真实结果的损失：
Figure BDA0003080250410000057
其中，L为交叉熵损失函数，η为网络参数，Y为当前所预测题目的真实结果，
Figure BDA0003080250410000058
为预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
S8.利用所得损失函数，计算损失函数最小化的梯度最优，得到所述多头自注意力机制网络的权重参数矩阵和偏差参数矩阵的优化值。
S9.重复S2-S8步骤，遍历深度知识追踪数据集中的每一条知识追踪序列数据，对所述多头自注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵循环优化，至损失不再下降。
图1是本发明基于改进的多头自注意力机制的知识追踪模块图。该模块图包含以下步骤：
S1.获取包含学习者对多个知识组件样本的答题结果的知识追踪数据集，所述知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括一个学习者在一个知识组件和一个题目上的回答情况。
S2.将所述题目编号和知识组件编号的特征编码分别输入多头自注意力机制编码器。获取其在多个特征子空间的自注意力机制编码。所述自注意力编码分别关注与当前时间序列步骤对应的题目编号和知识组件编号历史答题记录中相似的题目编号和知识组件编号。
S3.将所述多个子空间中的多头自注意力机制编码分别加以不同的衰减系数，使其更关注与当前时间序列步骤相近的时间序列步骤的题目和知识组件答题记录，获得自注意力空间编码值zt。
S4.将所述自注意力空间编码值zt输入多头自注意力解码器。获取其在多个特征子空间的自注意力解码结果。并加以不同的衰减系数，进一步增强网络对临近时间序列步骤的答题记录的关注，联合得到自注意力机制的输出。
S5.将当前时间序列步骤的自注意力机制输出与当前时间序列步骤对应的题目编号和知识组件求内积，并经过全连接层获得当前时间序列步骤的答题结果预测。
S6.对学习者的回答结果正确与否的预测流程完毕。
S7.利用所述预测结果，观察该题目是否适合用于该学习者的学习训练，对学习者的训练题目做出筛选，以合理规划其学习路径，实现因材施教。
本发明通过改进的多头自注意力机制捕捉当前时间序列步骤的答题结果与历史时间序列步骤的答题结果之间的关系，利用相近的题目、知识组件答题结果为当前时间序列步骤的答题结果提供预测参考，符合学习的过程，即能够在一定程度上真实模拟学习过程中知识组件的掌握程度变化。本发明将对学习过程中的数据充分挖掘，发挥了多头自注意力机制的特长，提高了预测精确度。表1为本发明的知识追踪方法和现有技术方法对学习者的答题情况预测结果。
表1
Figure BDA0003080250410000071
上表为本发明与贝叶斯知识追踪模型和深度知识追踪模型之间的对比结果。评价指标采用AUC值，AUC为深度学习预测分类中的常用指标，AUC越大，说明预测精度越高。本例在三个真实采集的数据集ASSIST09、ASSIST17、EdNet上测试评价，均取得了最佳效果。
以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于自注意力机制的知识追踪方法，其特征在于，包括以下步骤：
获取训练用知识追踪数据集，该训练用知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括学习者在一个知识组件和一个题目上回答正确与否的真实结果；
构建多头自注意力机制网络，其包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个自注意力机制；
将训练用知识追踪数据集的一个时间序列步骤的知识组件和题目这二者的编号输入到编码器，编码器的每个子空间对编号进行矩阵投影，得到查询Q、键K和值V，并根据自注意力机制处理Q、K和V，输出子空间处理结果；编码器联合全部子空间处理结果，并对V进行衰减系数的加权，再进行线性变换，输出自注意力空间编码值；
将自注意力空间编码值输入到解码器，解码器的每个子空间对自注意力空间编码值进行矩阵投影，得到查询Q、键K和值V，并根据自注意力机制处理输出子空间处理结果；解码器联合全部子空间处理结果，并对V进行衰减系数的加权，再进行线性变换，输出学习者在当前知识组件和题目上回答正确与否的预测结果；
利用损失函数计算预测结果相对于真实结果的损失，通过优化多头自注意力机制网络的权重参数矩阵和偏差参数矩阵，直至损失不再下降，得到训练好的多头自注意力机制网络；
获取待测知识追踪数据集，该待测知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括学习者在一个知识组件和一个题目上的回答情况；
将待的知识追踪数据集输入训练好的多头自注意力机制网络进行处理，编码器对当前时间序列步骤的知识组件和题目这二者的编号进行处理，输出自注意力空间编码值给解码器，解码器对自注意力空间编码值进行处理，输出学习者在当前知识组件和题目上回答正确与否的最终预测结果。
2.如权利要求1所述的方法，其特征在于，编码器/解码器根据自注意力机制处理Q、K和V，是指采用以下缩放点积注意力函数进行处理：
Figure FDA0003080250400000011
其中，nK为K的矩阵维度，T表示矩阵转置。
3.如权利要求2所述的方法，其特征在于，编码器/解码器联合全部子空间处理结果再进行线性变换的公式如下：
MH(Q,K,V)＝[head1；head2；…；headi；…；headh]W°；
Figure FDA0003080250400000012
其中，MH(Q,K,V)为联合及线性变换的输出结果，Wo∈Rd×d为可学习的参数，
Figure FDA0003080250400000021
Figure FDA0003080250400000022
为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，R为实数集。
4.如权利要求3所述的方法，其特征在于，对V进行衰减系数的加权是指，采用缩放点积注意力函数计算时，以及进行联合全部子空间处理结果再进行线性变换时，将V乘以一个衰减系数α(t,τ)，即α(t,τ)V，其中：
Figure FDA0003080250400000023
其中，
Figure FDA0003080250400000024
d(t,τ)为当前时间序列步骤t与之前某一特定时间序列步骤τ之间的时间差；
Figure FDA0003080250400000025
d(t,τ′)为当前时间序列步骤t与之前每一时间序列步骤τ′之间的时间差；θ为网络所学习的参数，qt为Q的第t行，kτ为K的第τ行，nK为K的矩阵维度。
5.如权利要求1所述的方法，其特征在于，损失函数如下：
Figure FDA0003080250400000026
其中，L为交叉熵损失函数，η为网络参数，Y为在当前知识组件和题目上回答正确与否的真实结果，
Figure FDA0003080250400000027
为在当前知识组件和题目上回答正确与否的预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
6.一种基于自注意力机制的知识追踪系统，用于实现权利要求1-5任一项所述的方法，包括一多头自注意力机制网络模型，该多头自注意力机制网络模型包括一编码器和一解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个自注意力机制；其中：该编码器对当前时间序列步骤的知识组件和题目这二者的编号进行处理，输出自注意力空间编码值给解码器；该解码器对自注意力空间编码值进行处理，输出学习者在当前知识组件和题目上回答正确与否的最终预测结果。
CN202110564160.9A 2021-05-24 2021-05-24 一种基于自注意力机制的知识追踪方法及系统 Active CN113283585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564160.9A CN113283585B (zh) 2021-05-24 2021-05-24 一种基于自注意力机制的知识追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564160.9A CN113283585B (zh) 2021-05-24 2021-05-24 一种基于自注意力机制的知识追踪方法及系统

Publications (2)

Publication Number Publication Date
CN113283585A true CN113283585A (zh) 2021-08-20
CN113283585B CN113283585B (zh) 2022-04-29

Family

ID=77281050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564160.9A Active CN113283585B (zh) 2021-05-24 2021-05-24 一种基于自注意力机制的知识追踪方法及系统

Country Status (1)

Country Link
CN (1) CN113283585B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779396A (zh) * 2021-09-10 2021-12-10 平安科技（深圳）有限公司 题目推荐方法和装置、电子设备、存储介质
CN114707775A (zh) * 2022-06-08 2022-07-05 四川大学 知识追踪模型训练方法、追踪方法、装置、设备及介质
CN114943276A (zh) * 2022-04-16 2022-08-26 西北工业大学 基于树型注意力机制的深度知识追踪方法
CN117474094A (zh) * 2023-12-22 2024-01-30 云南师范大学 基于Transformer的融合领域特征的知识追踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807509A (zh) * 2018-08-06 2020-02-18 北京博智天下信息技术有限公司 一种基于贝叶斯神经网络的深度知识追踪方法
CN110807469A (zh) * 2019-09-19 2020-02-18 华中师范大学 融合长短时记忆与贝叶斯网络的知识追踪方法及系统
CN111695779A (zh) * 2020-05-14 2020-09-22 华南师范大学 一种知识追踪方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807509A (zh) * 2018-08-06 2020-02-18 北京博智天下信息技术有限公司 一种基于贝叶斯神经网络的深度知识追踪方法
CN110807469A (zh) * 2019-09-19 2020-02-18 华中师范大学 融合长短时记忆与贝叶斯网络的知识追踪方法及系统
CN111695779A (zh) * 2020-05-14 2020-09-22 华南师范大学 一种知识追踪方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PANDEY S等: "A self-attentive model for knowledge tracing", 《ARXIV PREPRINT ARXIV:1907.06837》 *
PANDEY S等: "Rkt: Relation-aware self-attention for knowledge tracing", 《PROCEEDINGS OF THE 29TH ACM INTERNATIONAL CONFERENCE ON INFORMATION & KNOWLEDGE MANAGEMENT 》 *
周凯等: "基于注意力机制的深度知识追踪模型研究", 《太原理工大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779396A (zh) * 2021-09-10 2021-12-10 平安科技（深圳）有限公司 题目推荐方法和装置、电子设备、存储介质
CN113779396B (zh) * 2021-09-10 2023-09-01 平安科技（深圳）有限公司 题目推荐方法和装置、电子设备、存储介质
CN114943276A (zh) * 2022-04-16 2022-08-26 西北工业大学 基于树型注意力机制的深度知识追踪方法
CN114943276B (zh) * 2022-04-16 2024-03-05 西北工业大学 基于树型注意力机制的深度知识追踪方法
CN114707775A (zh) * 2022-06-08 2022-07-05 四川大学 知识追踪模型训练方法、追踪方法、装置、设备及介质
CN114707775B (zh) * 2022-06-08 2022-08-26 四川大学 知识追踪模型训练方法、追踪方法、装置、设备及介质
CN117474094A (zh) * 2023-12-22 2024-01-30 云南师范大学 基于Transformer的融合领域特征的知识追踪方法
CN117474094B (zh) * 2023-12-22 2024-04-09 云南师范大学 基于Transformer的融合领域特征的知识追踪方法

Also Published As

Publication number Publication date
CN113283585B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN113283585B (zh) 一种基于自注意力机制的知识追踪方法及系统
CN113610173B (zh) 一种基于知识蒸馏的多跨域少样本分类方法
CN110428010B (zh) 知识追踪方法
Stapel et al. An Ensemble Method to Predict Student Performance in an Online Math Learning Environment.
CN112116092B (zh) 可解释性知识水平追踪方法、系统和存储介质
CN113610235B (zh) 一种基于深度知识追踪的适应性学习支持装置及方法
CN113033808A (zh) 一种基于习题难度和学生能力的深度嵌入知识追踪方法
CN114861754A (zh) 一种基于外部注意力机制的知识追踪方法及系统
Geden et al. Predictive student modeling in educational games with multi-task learning
CN112182308B (zh) 基于多热编码的多特征融合深度知识追踪方法及系统
CN113360635B (zh) 一种基于自注意和预训练机制的智能教学方法及系统
CN114595923A (zh) 一种基于深度强化学习的群体教学推荐系统
CN113947262A (zh) 基于异构图学习融合学习参与状态的知识追踪方法
CN114385801A (zh) 一种基于分层细化lstm网络的知识追踪方法及系统
CN115510286A (zh) 一种基于图卷积网络的多关系认知诊断方法
CN114170461B (zh) 基于特征空间重整化的师生架构含噪声标签图像分类方法
CN113283584B (zh) 一种基于孪生网络的知识追踪方法及系统
CN111311997B (zh) 一种基于网络教育资源的互动方法
CN113052316A (zh) 基于因果推理的知识追踪方法、系统、设备及存储介质
CN114117033B (zh) 知识追踪方法及系统
CN116402134A (zh) 基于行为感知的知识追踪方法及系统
CN115795015A (zh) 一种试题难度增强的综合知识追踪方法
CN114676903A (zh) 一种基于时间感知和认知诊断的在线预测方法及系统
CN111292002B (zh) 基于遗传-粒子群算法的评阅答辩分组方法及系统
Smith et al. Mathematical psychology.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant