CN114861754A - 一种基于外部注意力机制的知识追踪方法及系统 - Google Patents

一种基于外部注意力机制的知识追踪方法及系统 Download PDF

Info

Publication number
CN114861754A
CN114861754A CN202210307246.8A CN202210307246A CN114861754A CN 114861754 A CN114861754 A CN 114861754A CN 202210307246 A CN202210307246 A CN 202210307246A CN 114861754 A CN114861754 A CN 114861754A
Authority
CN
China
Prior art keywords
external attention
attention mechanism
external
decoder
knowledge tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210307246.8A
Other languages
English (en)
Inventor
黄涛
耿晶
王艳
杨华利
张�浩
胡盛泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202210307246.8A priority Critical patent/CN114861754A/zh
Publication of CN114861754A publication Critical patent/CN114861754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及知识追踪领域，提供一种基于外部注意力机制的知识追踪方法及系统。本发明方法通过建立多头外部注意力编码器和解码器神经网络，计算当前时间序列中的习题和习题对应的知识组件的外部注意力知识追踪的参数，利用外部注意力知识追踪模型计算学生者关于当前时间序列对应的习题答题结果正确的概率预测值，通过对比知识追踪数据集中当前时间序列的习题答题结果的真实值，得到与当前时间序列对应的外部注意力机制神经网络模型的损失函数，通过回溯算法得到权重参数的优化值；从而实现学习者对当前习题的作答情况的状态预测，筛选出学生未掌握的题目，有助于学习者的针对性学习。

Description

一种基于外部注意力机制的知识追踪方法及系统
技术领域
本发明涉及知识追踪领域，更具体为一种基于外部注意力机制的知识追踪方法及系统。
背景技术
知识追踪是对学习者的历史答题序列进行建模，分析学习者对历史习题中所包含的知识点的掌握情况，用以预测其对当前习题的答题结果的技术。知识追踪能够捕获学习者当前对不同习题的掌握程度，预测其学习情况，是学习者建模中的核心任务。但由于知识点的多样性、题目的多变性和人脑学习过程的复杂性，为知识追踪任务带来了挑战。
目前，知识追踪中有三个代表性的经典模型，其一为贝叶斯知识追踪模型(Bayesian Knowledge Tracing,BKT)，基于贝叶斯算法和隐马尔可夫模型的知识追踪是一个二值动态贝叶斯网络，其定义了基础知识点、学习率和猜测参数等，将学生的知识点掌握建模为二值向量。但是贝叶斯知识追踪模型常常依赖于手工建模，操作耗时较长。其二为深度知识追踪模型(Deep Knowledge Tracing，DKT)，它使用循环神经网络模拟学习过程，对答题结果进行预测。其将学生的知识水平建模为可伸缩的深度学习模型，具有较大的灵活性、较强的泛化性。但是在深度知识追踪模型中，基于循环神经网络和长短时神经网络的模型的关注与所有历史答题结果的特征提取，而与人类的学习状态相关的是，人类是具有遗忘特性的。并且，现有深度知识追踪模型在捕获题目和知识组件之间的相似关系时能力有限。其三为情境感知注意力知识追踪(Context-Aware Attentive Knowledge Tracing，AKT)，它使用自注意力机制对习题和历史作答情况进行编码，预测学生对当前习题的作答。在情境感知注意力知识追踪模型中，自我注意通过计算每个位置上的特征的加权和来更新每个位置上的特征，使用成对的亲和来捕获单个样本内的长期依赖关系。然而，自我注意具有二次复杂度，忽略了所有样本之间潜在的相关性。
发明内容
为了克服现有的情境感知注意力知识追踪模型的改进需求，本发明提供了一种基于外部注意力机制的知识追踪方法及系统。该方法通过建立多头外部注意力编码器和解码器神经网络，计算当前时间序列中的习题和习题对应的知识组件的外部注意力知识追踪的参数，利用外部注意力知识追踪模型计算学生者关于当前时间序列对应的习题答题结果正确的概率预测值，通过对比知识追踪数据集中当前时间序列的习题答题结果的真实值，得到与当前时间序列对应的外部注意力机制神经网络模型的损失函数，通过回溯算法得到权重参数的优化值；从而实现学习者对当前习题的作答情况的状态预测，筛选出学生未掌握的题目，实现学习者的针对性学习。
本发明解决其技术问题所采用的技术方案是：
一种基于外部注意力机制的知识追踪方法，包括以下步骤：
获取训练用知识追踪数据集，该训练用知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；
构建多头外部注意力机制网络，其包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；
将训练用知识追踪数据集的一个时间序列步骤的习题和习题的作答情况这二者的特征分别输入到编码器，编码器的每个子空间对特征进行矩阵投影，得到自查询向量Q；并初始化两个不同的外部可学习记忆Mk，Mv；根据外部注意力机制处理Q，Mk，Mv，输出子空间处理结果输出；编码器联合全部子空间处理结果，再进行线性变换，输出外部注意力空间编码值；
将外部注意力空间编码值输入到解码器，解码器的每个子空间对外部注意力空间编码值进行矩阵投影，得到自查询向量Q，并初始化两个不同的外部可学习记忆Mk，Mv；根据外部注意力机制处理，输出子空间处理结果；解码器联合全部子空间处理结果，再进行线性变换，输出学习者在当前题目上回答正确与否的预测结果；
利用损失函数计算预测结果相对于真实结果的损失，通过优化多头外部注意力机制网络的权重参数矩阵和偏差参数矩阵，直至损失不再下降，得到训练好的外部注意力机制网络；
获取待测知识追踪数据集，该待测知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；
将准备好的知识追踪数据集输入训练好的多头外部注意力机制网络进行处理，编码器对当前时间序列步骤的一系列题目及作答情况进行处理，输出外部注意力空间编码值给解码器，解码器对外部注意力空间编码值进行处理，输出学习者在当前题目上回答正确与否的最终预测结果。
进一步地，编码器/解码器根据外部注意力机制处理Q、Mk和Mv，是指采用以下外部注意力函数进行处理：
Figure BDA0003566017380000021
其中，T表示矩阵转置，Norm()表示双重标准化，该公式具体为：
Figure BDA0003566017380000022
Figure BDA0003566017380000023
Figure BDA0003566017380000024
Mk和Mv的实现如下：
Mk是由一个线性层实现，attn＝Linear_Mk(Q)；
其中，线性层的输入维度为
Figure BDA0003566017380000025
输出维度为m＝64，并且
Figure BDA0003566017380000026
Figure BDA0003566017380000031
Mv也是由一个线性层实现，attn＝Linear_Mv(attn)；
其中，线性层的输入维度为m，输出维度为
Figure BDA0003566017380000032
并且
Figure BDA0003566017380000033
Figure BDA0003566017380000034
进一步地，编码器/解码器联合全部子空间处理结果，再进行线性变换的公式如下：
MH(Q，Mk，Mv)＝[head1；head2；...；headi；...；headh]Wo；
Figure BDA0003566017380000035
其中,MH(Q，Mk，Mv)为联合及线性变换的输出结果，Wo∈Rd×d为可学习的参数，
Figure BDA0003566017380000036
为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，R为实数集。
进一步地，损失函数如下：
Figure BDA0003566017380000037
其中，L为交叉熵损失函数，η为网络参数，Y为在当前题目上回答正确与否的真实结果，
Figure BDA0003566017380000038
为当前预测题目上的正确回答与否的预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
本发明还提供一种基于外部注意力机制的知识追踪系统，用于实现上述方法，包括多头外部注意力机制网络模型，该多头外部注意力机制网络模型包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；其中：编码器对当前时间序列步骤的习题和习题的作答情况这二者的编号进行处理，输出外部注意力空间编码值给解码器；解码器对外部注意力空间编码值进行处理，输出学习者在当前习题上回答正确与否的最终预测结果。
本发明的有益效果是：
本发明提供的基于外部注意力机制的知识追踪方法及系统，其通过建立多头外部注意力机制知识追踪模型，计算多个子空间中的外部注意力机制矩阵，输出经过联合和线性变换后，可以获得学生对习题的答题结果正确与否的预测。通过对比知识追踪数据集中真实的答题结果，获得损失函数计算结果，从而得到所述多头外部注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵的优化值，遍历知识追踪数据集，获得多头外部注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵的最优值。从而得到学习者的答题结果预测，并获取其知识掌握状态，利用知识掌握状态以此为学习者推荐相关的薄弱知识点的习题。
本发明通过改进的多头外部注意力机制在捕捉当前时间序列步骤的答题结果与历史时间序列步骤的答题结果之间的关系的过程中，隐含地考虑到了所有习题之间的相关性，并且考虑到了所有习题作答情况之间的相关性。利用以往做过的题目、和以往习题的结果为当前时间序列步骤的答题结果提供预测参考，符合学习的过程，即能够在一定程度上真实模拟学习过程中对习题中的知识点的掌握程度变化。本发明将对学习过程中的所有数据充分挖掘，发挥了多头外部注意力机制的特长，并且提高了预测精确度。
附图说明
图1是本发明中基于外部注意力机制的知识追踪方法的结构图。
图2是本发明中利用多头外部注意力机制实现将习题投影到子空间的示意图。
图3是本发明中利用多头外部注意力机制实现将作答情况特征投影到子空间的示意图。
具体实施方式
为了使本发明的目的、特征、技术方案及优点更加明显易懂，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供的一种基于外部注意力机制的知识追踪方法，其过程为：
S1.获取包含学习者对多个习题样本的答题结果的知识追踪数据集，所述知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果。
S2.建立多头外部注意力机制网络。所述多头外部注意力机制的输入为当前时间序列步骤所对应的习题和习题的作答情况这两个的编码H，输出为当前时间序列步骤所对应的习题的答题结果预测。所述多头外部注意力机制网络包括多头外部注意力编码器(如图1中左边虚线框内所示)和多头外部注意力解码器(如图1中右边虚线框内所示)，二者具有相同的结构和计算过程。
S3.多头外部注意力机制编码器首先将输入H投影到多个子空间，在多个子空间中分别应用外部注意力机制。所述子空间包括两类，分别为习题和习题的作答情况，习题的子空间如图2所示，习题的作答情况的子空间如图3所示。首先将输入H经过线性层即矩阵投影得到自查询向量(query),记为
Figure BDA0003566017380000041
其中
Figure BDA0003566017380000042
为线性层输出维度，nQ分别为查询的矩阵维度，R为实数集，并初始化两个不同的外部可学习记忆Mk，Mv，计算自查询向量Q与外部可学习关键记忆Mk之间的亲和度，经过双重标准化生成注意力地图，再计算注意力地图和另一个外部可学习值记忆Mv的关系，得到一个精细化的特征映射，作为子空间处理结果输出；其中Mk和Mv为两个可学习的线性级联层。外部注意力采用如下函数：
Figure BDA0003566017380000043
其中，T表示矩阵转置；Norm()表示双重标准化，该公式具体为：
Figure BDA0003566017380000051
Figure BDA0003566017380000052
Figure BDA0003566017380000053
可学习关键记忆Mk是由一个线性层实现，
Figure BDA0003566017380000054
的实现如下；
attn＝Linear_Mk(Q)；
其中，线性层的输入维度为
Figure BDA0003566017380000055
输出维度为m＝64(训练时可以更改，以获取适合数据集的维度)，并且
Figure BDA0003566017380000056
自查询向量Q与外部可学习关键记忆Mk之间的亲和度经过双重标准化后，更新attn，即
Figure BDA0003566017380000057
得到一个注意力地图。注意力地图经过另一个外部可学习值记忆Mv，也就是另外一个线性层，实现如下：
attn＝Linear_Mv(attn)；
其中，线性层的输入维度为m，输出维度为
Figure BDA0003566017380000058
并且
Figure BDA0003566017380000059
Figure BDA00035660173800000510
S4.多头外部注意力机制将多个子空间的外部注意力机制串联组合，并经过线性层处理后联合输出：
MH(Q，Mk，Mv)＝[head1；head2；...；headi；...；headh]Wo；
其中，
Figure BDA00035660173800000511
为可学习的参数，每一个headi表示一个子空间中的外部注意力机制；
Figure BDA00035660173800000512
其中，
Figure BDA00035660173800000513
为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，R为实数集。
S5.所述多头外部注意力机制编码器的输出为自注意力空间编码值Zt；将Zt输入外部注意力解码器中，经过与编码器相同的计算过程，获得输出结果ht。
S6.多头外部注意力编码器的输出结果ht与当前时间序列步骤对应的习题求内积xt，再经过全连接层，即可获得学生对当前习题答题结果正确与否的预测。
S7.将所得预测结果利用如下公式计算其与知识追踪数据集中的真实结果的损失：
Figure BDA00035660173800000514
其中，L为交叉熵损失函数，η为网络参数，Y为当前所预测题目的真实结果，
Figure BDA00035660173800000515
为当前预测题目上的正确回答与否的预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
S8.利用所得损失函数，计算损失函数最小化的梯度最优，得到所述多头外部注意力机制网络的权重参数矩阵和偏差参数矩阵的优化值。
S9.重复S2-S8步骤，遍历深度知识追踪数据集中的每一条知识追踪序列数据，对所述多头外部注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵循环优化，至损失不再下降。
实施例2
本实施例提供一种基于外部注意力机制的知识追踪系统，用于实现上述方法，包括多头外部注意力机制网络模型，该多头外部注意力机制网络模型包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；其中：编码器对当前时间序列步骤的习题和习题的作答情况这二者的编号进行处理，输出外部注意力空间编码值给解码器；解码器对外部注意力空间编码值进行处理，输出学习者在当前习题上回答正确与否的最终预测结果。
实施例3
本实施例提供一种基于外部注意力机制的知识追踪方法，包含以下步骤：
S1.获取包含学习者对多个知识组件样本的答题结果的知识追踪数据集，所述知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括一个学习者在一系列习题和习题的答题情况。
S2.将所述习题和习题的作答情况的特征编码分别输入多头外部注意力机制编码器。获取其在多个特征子空间的外部注意力机制编码。所述外部注意力编码分别关注到了所有习题之间的隐含相关性和所有习题作答情况之间的隐含相关性。
S3.将所述多个子空间中的多头外部注意力机制编码分别经过拼接，获得外部注意力空间编码值zt。
S4.将所述外部注意力空间编码值zt输入多头外部注意力解码器。获取其在多个特征子空间的外部注意力解码结果。
S5.将当前时间序列步骤的外部注意力机制输出ht与当前时间序列步骤对应的习题求内积xt，并经过全连接层获得当前时间序列步骤的答题结果预测。
S6.对学习者的回答结果正确与否的预测流程完毕。
S7.利用所述预测结果，若当前预测结果为1，代表学生已经掌握该题，若当前预测结果为0，代表学生未掌握该题；以预测结果判断出学生题目的掌握情况，筛选出学生未掌握的题目，同时为学习者推荐未掌握的题目，实现学习者的有针对性学习学习，避免重复学习已经掌握的习题。
本发明基于外部注意力机制的知识追踪方法及系统，其在捕捉当前时间序列步骤的答题结果与历史时间序列步骤的答题结果之间的关系的过程中，隐含地考虑到了所有习题之间的相关性，并且考虑到了所有习题作答情况之间的相关性。利用以往做过的题目、和以往习题的结果为当前时间序列步骤的答题结果提供预测参考，符合学习的过程，即能够在一定程度上真实模拟学习过程中对习题中的知识点的掌握程度变化。本发明将对学习过程中的所有数据充分挖掘，发挥了多头外部注意力机制的特长，并且提高了预测精确度。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于外部注意力机制的知识追踪方法，其特征在于，包括以下步骤：
获取训练用知识追踪数据集，该训练用知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；
构建多头外部注意力机制网络，其包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；
将训练用知识追踪数据集的一个时间序列步骤的习题和习题的作答情况这二者的特征分别输入到编码器，编码器的每个子空间对特征进行矩阵投影，得到自查询向量Q；并初始化两个不同的外部可学习记忆Mk，Mv；根据外部注意力机制处理Q，Mk，Mv，输出子空间处理结果输出；编码器联合全部子空间处理结果，再进行线性变换，输出外部注意力空间编码值；
将外部注意力空间编码值输入到解码器，解码器的每个子空间对外部注意力空间编码值进行矩阵投影，得到自查询向量Q，并初始化两个不同的外部可学习记忆Mk，Mv；根据外部注意力机制处理，输出子空间处理结果；解码器联合全部子空间处理结果，再进行线性变换，输出学习者在当前题目上回答正确与否的预测结果；
利用损失函数计算预测结果相对于真实结果的损失，通过优化多头外部注意力机制网络的权重参数矩阵和偏差参数矩阵，直至损失不再下降，得到训练好的多头外部注意力机制网络；
获取待测知识追踪数据集，该待测知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；
将准备好的知识追踪数据集输入训练好的多头外部注意力机制网络进行处理，编码器对当前时间序列步骤的一系列题目及作答情况进行处理，输出外部注意力空间编码值给解码器，解码器对外部注意力空间编码值进行处理，输出学习者在当前题目上回答正确与否的最终预测结果。
2.如权利要求1所述的基于外部注意力机制的知识追踪方法，其特征在于，编码器/解码器“根据外部注意力机制处理Q、Mk和Mv”，是指采用以下外部注意力函数进行处理：
Figure FDA0003566017370000021
其中，T表示矩阵转置，Norm()表示双重标准化，该公式具体为：
Figure FDA0003566017370000022
3.如权利要求2所述的基于外部注意力机制的知识追踪方法，其特征在于，Mk和Mv的实现如下：
Mk是由一个线性层实现，attn＝Linear_Mk(Q)；
其中，线性层的输入维度为
Figure FDA0003566017370000023
输出维度为m＝64，并且
Figure FDA0003566017370000024
Figure FDA0003566017370000025
Figure FDA0003566017370000026
Mv也是由一个线性层实现，attn＝Linear_Mv(attn)；
其中，线性层的输入维度为m，输出维度为
Figure FDA0003566017370000027
并且
Figure FDA0003566017370000028
Figure FDA0003566017370000029
4.如权利要求1所述的基于外部注意力机制的知识追踪方法，其特征在于，编码器/解码器“联合全部子空间处理结果，再进行线性变换”的公式如下：
MH(Q,Mk,Mv)＝[head1；head2；…；headi；…；headh]Wo；
Figure FDA00035660173700000210
其中,MH(Q,Mk,Mv)为联合及线性变换的输出结果，Wo∈Rd×d为可学习的参数，
Figure FDA00035660173700000211
为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，R为实数集。
5.如权利要求1所述的基于外部注意力机制的知识追踪方法，其特征在于，损失函数如下：
Figure FDA00035660173700000212
其中，L为交叉熵损失函数，η为网络参数，Y为当前预测题目上的正确回答与否的真实结果，
Figure FDA0003566017370000031
为当前预测题目上的正确回答与否的预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
6.一种基于外部注意力机制的知识追踪系统，其特征在于：该系统用于实现权利要求1-5任一项所述的方法，包括一多头外部注意力机制网络模型，该多头外部注意力机制网络模型包括一编码器和一解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；其中，该编码器对当前时间序列步骤的习题和习题作答情况进行处理，输出外部注意力空间编码值给解码器；该解码器对外部注意力空间编码值进行处理，输出学习者在当前习题上回答正确与否的最终预测结果。
CN202210307246.8A 2022-03-25 2022-03-25 一种基于外部注意力机制的知识追踪方法及系统 Pending CN114861754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210307246.8A CN114861754A (zh) 2022-03-25 2022-03-25 一种基于外部注意力机制的知识追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210307246.8A CN114861754A (zh) 2022-03-25 2022-03-25 一种基于外部注意力机制的知识追踪方法及系统

Publications (1)

Publication Number Publication Date
CN114861754A true CN114861754A (zh) 2022-08-05

Family

ID=82629438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210307246.8A Pending CN114861754A (zh) 2022-03-25 2022-03-25 一种基于外部注意力机制的知识追踪方法及系统

Country Status (1)

Country Link
CN (1) CN114861754A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151242A (zh) * 2023-04-19 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种编程学习场景的智能习题推荐方法、系统及储存介质
CN116248959A (zh) * 2023-05-12 2023-06-09 深圳市橙视科技发展有限公司 网络播放器故障检测方法、装置、设备及存储介质
CN117474094A (zh) * 2023-12-22 2024-01-30 云南师范大学 基于Transformer的融合领域特征的知识追踪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151242A (zh) * 2023-04-19 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种编程学习场景的智能习题推荐方法、系统及储存介质
CN116248959A (zh) * 2023-05-12 2023-06-09 深圳市橙视科技发展有限公司 网络播放器故障检测方法、装置、设备及存储介质
CN116248959B (zh) * 2023-05-12 2023-07-28 深圳市橙视科技发展有限公司 网络播放器故障检测方法、装置、设备及存储介质
CN117474094A (zh) * 2023-12-22 2024-01-30 云南师范大学 基于Transformer的融合领域特征的知识追踪方法
CN117474094B (zh) * 2023-12-22 2024-04-09 云南师范大学 基于Transformer的融合领域特征的知识追踪方法

Similar Documents

Publication Publication Date Title
CN111582694B (zh) 一种学习评估方法及装置
CN110264091B (zh) 学生认知诊断方法
CN114861754A (zh) 一种基于外部注意力机制的知识追踪方法及系统
CN112116092B (zh) 可解释性知识水平追踪方法、系统和存储介质
CN110807469B (zh) 融合长短时记忆与贝叶斯网络的知识追踪方法及系统
CN113283585B (zh) 一种基于自注意力机制的知识追踪方法及系统
CN108228674B (zh) 一种基于dkt的信息处理方法及装置
CN114911975B (zh) 一种基于图注意力网络的知识追踪方法
CN113360635B (zh) 一种基于自注意和预训练机制的智能教学方法及系统
CN114385801A (zh) 一种基于分层细化lstm网络的知识追踪方法及系统
CN113591988B (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
CN115545160B (zh) 一种多学习行为协同的知识追踪方法及系统
CN114254127A (zh) 学生能力画像方法、学习资源推荐方法及装置
CN112988851A (zh) 反事实预测模型数据处理方法、装置、设备及存储介质
CN115510286A (zh) 一种基于图卷积网络的多关系认知诊断方法
CN114971066A (zh) 融合遗忘因素和学习能力的知识追踪方法及系统
CN113052316B (zh) 基于因果推理的知识追踪方法、系统、设备及存储介质
CN111985560B (zh) 知识追踪模型的优化方法、系统及计算机存储介质
CN111311997B (zh) 一种基于网络教育资源的互动方法
CN113283584B (zh) 一种基于孪生网络的知识追踪方法及系统
CN117094859A (zh) 结合图神经网络和多层感知机的学习路径推荐方法及系统
CN114943276B (zh) 基于树型注意力机制的深度知识追踪方法
CN114117033B (zh) 知识追踪方法及系统
CN114861914A (zh) 一种面向学习轨迹的细粒度知识追踪方法
CN114971972A (zh) 融合遗忘因素和习题难度的深度知识追踪方法及智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination