CN114707775B - 知识追踪模型训练方法、追踪方法、装置、设备及介质 - Google Patents

知识追踪模型训练方法、追踪方法、装置、设备及介质 Download PDF

Info

Publication number
CN114707775B
CN114707775B CN202210637541.XA CN202210637541A CN114707775B CN 114707775 B CN114707775 B CN 114707775B CN 202210637541 A CN202210637541 A CN 202210637541A CN 114707775 B CN114707775 B CN 114707775B
Authority
CN
China
Prior art keywords
sample
knowledge
preset
knowledge point
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210637541.XA
Other languages
English (en)
Other versions
CN114707775A (zh
Inventor
琚生根
康睿
赵振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210637541.XA priority Critical patent/CN114707775B/zh
Publication of CN114707775A publication Critical patent/CN114707775A/zh
Application granted granted Critical
Publication of CN114707775B publication Critical patent/CN114707775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了知识追踪模型训练方法、追踪方法、装置、设备及介质，涉及知识追踪领域，所述训练方法中，计算机设备获取样本后，利用预设模型的第一嵌入层将样本的回答和题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量；根据预设模型的题目嵌入层计算相应的权重并加权求和，得到题目嵌入向量；对题目嵌入向量和回答嵌入向量进行编码，得到学习者的在不同时刻的编码结果；基于预设模型的预测层，根据编码结果进行预测，得到每个样本的回答正确预测概率；基于每个样本的真实回答和回答正确预测概率，计算损失函数值并反向更新预设模型，得到知识追踪模型。由此使得题目涉及多个知识点的知识追踪任务能得以处理。

Description

知识追踪模型训练方法、追踪方法、装置、设备及介质
技术领域
本发明涉及知识追踪领域，尤其涉及一种知识追踪模型训练方法、追踪方法、装置、设备及介质。
背景技术
知识追踪任务是指根据学生历史答题记录追踪学生知识状态的变化，预测学生未来的答题情况。
但是，现有知识追踪任务大多只考虑了单一知识点题目的情况，导致题目涉及到多个知识点时难以进行有效的知识追踪。
发明内容
有鉴于此，本发明提供一种知识追踪模型训练方法、追踪方法、装置、设备及介质，用于改善多知识点题目难以进行有效的预测的现状。
第一方面，本发明实施例提供一种知识追踪模型训练方法，包括：
从训练集中获取预设数量个样本，其中，所述预设数量个样本包括每个时刻的题目、回答及所述题目对应的至少一个知识点；
将每个所述样本输入至预设模型的第一嵌入层，以将每个所述样本的回答和每个所述样本的题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量；
利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量；
基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果；
将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率；
根据每个样本的回答和回答正确预测概率计算损失函数值，并利用所述损失函数值更新所述预设模型，得到知识追踪模型。
可选的，在本发明实施例提供的一种实施方式中，所述利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量，包括：
利用所述预设模型的题目嵌入层将所述题目对应的每个所述知识点嵌入向量分别映射为多个空间的第一查询表示、第一键表示及第一值表示；
针对每个知识点嵌入向量的每个空间，根据其中一个知识点嵌入向量的第一查询表示和其中另一个知识点嵌入向量的第一键表示的向量内积，确定每个所述知识点嵌入向量在所述空间的相关度；
利用所述相关度，计算每个所述知识点嵌入向量在每个所述空间的第一权重；
针对每个空间，将每个所述样本的题目对应的知识点嵌入向量的第一值表示和所述知识点嵌入向量的第一权重进行加权求和，得到每个所述知识点嵌入向量的知识点表示；
将所述知识点嵌入向量在所述每个空间的知识点表示连接，得到知识点融合表示；
将所述样本的题目对应的每个知识点嵌入向量的知识点融合表示相加，得到题目嵌入向量。
可选的，在本发明实施例提供的一种实施方式中，所述题目嵌入层包括依次相连的全局池化层和两层全连接层；
所述利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量，包括：
将所述题目对应的每个所述知识点嵌入向量输入至所述全局池化层以进行压缩；
利用所述两层全连接层将所述题目对应的压缩后的知识点嵌入向量进行维度缩减和扩展，得到每个所述知识点嵌入向量的第二权重；
对所述题目对应的每个所述知识点嵌入向量和所述知识点嵌入向量的第二权重的进行加权求和，得到所述样本的题目对应的题目嵌入向量。
可选的，在本发明实施例提供的一种实施方式中，所述利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量之后，所述基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果之前，所述方法还包括：
根据所述训练集中的所有样本，基于第一预设算式确定每个所述样本的题目的难度系数，其中，所述第一预设算式包括：
Figure P_220530145023826_826786001
式中，d表示难度系数，N fail和N ans分别表示训练集的所有样本中，所述难度系数对应的题目的回答为错误的样本的数量，和包含所述难度系数对应的题目的样本的数量；
利用第二预设算式，计算每个所述题目的难度系数对应的难度因子，其中，所述第二预设算式包括：
Figure P_220530145023842_842416001
式中，b表示难度因子，W 2 b 、W 1 b 、b 1 b 、b 2 b 均表示所述难度因子的训练参数；
将所述样本的题目对应的初始题目嵌入向量和难度因子相加，得到所述样本的优化后的题目嵌入向量；
所述基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果，包括：
基于所述预设模型的编码器层，将每个所述样本对应的回答嵌入向量和优化后的题目嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果。
可选的，在本发明实施例提供的一种实施方式中，所述预设模型的预测层包括前馈全连接层；
所述将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率之前，所述方法还包括：
基于预设激活函数和每个所述样本对应的题目嵌入向量，计算每个所述样本的区分度参数；
所述将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率，包括：
将所述每个时刻的编码结果和每个所述样本对应的题目嵌入向量作所述前馈全连接层的输入，得到所述预设数量个样本对应的第一知识掌握能力表示；
基于第三预设算式，计算预设时间间隔后所述第一知识掌握能力表示对应的第二知识掌握能力表示，其中，所述第三预设算式包括：
Figure P_220530145023873_873661001
式中，
Figure P_220530145023920_920544001
表示第二知识掌握能力表示，μ f 表示预设遗忘权重，f表示预设时间间隔对应的遗忘因子，θ表示第一知识掌握表示，
Figure P_220530145023952_952104002
表示预设基础掌握能力表示，μ ls 、μ lm 及μ ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子的预设权重，f ls 、f lm 及f ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子，lag s 、lag m 及lag d 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的间隔时间离散化嵌入向量；
根据所述第二知识掌握能力表示和所述区分度参数，预测每个所述样本对应的回答正确预测概率。
第二方面，本发明实施例提供一种追踪方法，包括：
获取待预测样本集；
将所述待预测样本集中的所有样本输入至知识追踪模型，得到待预测样本集中每个样本的回答正确预测概率，其中，所述知识追踪模型通过如第一方面中任一种公开的知识追踪模型训练方法得到。
第三方面，本发明实施例提供一种知识追踪模型训练装置，包括：
样本获取模块，用于从训练集中获取预设数量个样本，其中，所述预设数量个样本包括每个时刻的题目、回答及所述题目对应的至少一个知识点；
第一嵌入模块，用于将每个所述样本输入至预设模型的第一嵌入层，以将每个所述样本的回答和每个所述样本的题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量；
第二嵌入模块，用于利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量；
编码模块，用于基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果；
预测模块，用于将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率；
训练模块，用于根据每个样本的回答和回答正确预测概率计算损失函数值，并利用所述损失函数值更新所述预设模型，得到知识追踪模型。
第四方面，本发明实施例提供一种知识追踪装置，包括：
待预测样本获取模块，用于获取待预测样本集；
输出模块，用于将所述待预测样本集中的所有样本输入至知识追踪模型，得到待预测样本集中每个样本的回答正确预测概率，其中，所述知识追踪模型通过如第一方面中任一种公开的知识追踪模型训练方法得到。
第五方面，本发明实施例提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如第一方面中任一种公开的知识追踪模型训练方法，或如第二方面中公开的追踪方法。
第六方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如第一方面中任一种公开的知识追踪模型训练方法，或如第二方面中公开的追踪方法。
本发明实施例提供的知识追踪模型训练方法中，计算机设备从训练集中获取预设数量个样本后，利用预设模型的第一嵌入层将样本的回答和题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量，以得到对应的语义表示；接着，根据预设模型的题目嵌入层计算每个知识点嵌入向量的权重，以将每个知识点嵌入向量进行加权求和，进而得到题目对应的题目嵌入向量，使得每个题目均由对应的知识点来表达；然后，对题目嵌入向量和回答嵌入向量进行编码，得到学习者的在不同时刻的状态，即预设数量个样本对应的各个时刻的编码结果；之后，利用预设模型的预测层，根据各个时刻的编码结果进行预测，得到每个样本的回答正确预测概率；最后，基于每个样本的真实回答和回答正确预测概率，计算损失函数值，并根据损失函数值反向更新预设模型，从而得到知识追踪模型。
基于此，本发明实施例通过题目嵌入层中的注意力网络对题目对应的多个知识点进行了融合，以使预设模型在关注到多个知识点中的重要知识点外，还将重要知识点与其他知识点间建立了联系，使得题目嵌入向量的信息更丰富，进而提升了题目的可解释性。并且，在将融合了多个知识点的题目嵌入向量用于模型训练后，使得训练好的知识追踪模型能有效处理题目涉及多个知识点的知识追踪任务，满足了现阶段的设计需要。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提供的第一种知识追踪模型训练方法的流程示意图；
图2示出了本发明实施例提供的第二种知识追踪模型训练方法的流程示意图；
图3示出了本发明实施例提供的第一种知识点嵌入向量的融合示意图；
图4示出了本发明实施例提供的第三种知识追踪模型训练方法的流程示意图；
图5示出了本发明实施例提供的第二种知识点嵌入向量的融合示意图；
图6示出了本发明实施例提供的追踪方法的流程示意图；
图7示出了本发明实施例提供的知识追踪模型训练装置的结构示意图；
图8示出了本发明实施例提供的知识追踪装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
为更好地说明本发明实施例提供的知识追踪模型训练方法，故对现有技术中的知识追踪任务进行简要说明，具体如下：
知识追踪任务是对学习者的知识状态进行建模，也即根据学习者的历史学习轨迹和其他相关信息来追踪学生的知识状态随时间的变化情况，并基于学生在特定时间点的知识状态预测学习者在未来的学习互动中将产生何种表现。
其中，学习者的历史学习轨迹通常为学习者的历史答题记录。
设Q为题目集合，X t-1={x 1,x 2,……,x t-1}表示学习者在t时刻之前的历史答题记录，即学习者的历史学习轨迹；其中，X t-1=(q t-1,r t-1)，q t-1表示表示学习者在t-1时刻所回答的题目，r t-1表示学习者在t-1时刻针对q t-1给出的回答，r t-1∈{0,1}，0表示回答错误，1表示回答正确。
由此，知识追踪任务可理解为基于X t-1预测学习者在下一个时刻，即t时刻针对q t 的回答表现，即r t =1的概率P(r t =1|X t-1,q t )。
而基于现有技术中的知识追踪任务可知，现阶段的知识追踪任务中的Q通常为针对单一知识点的题目集，而忽视了多知识点的情况。但在实际环境中存在着大量的综合性题目，此类综合性题目往往涉及多个知识点。
基于此种现状，本发明实施例提出了一种知识追踪模型训练方法，以使知识追踪模型能满足现阶段知识追踪任务的需要。具体的，参照图1，示出了本发明实施例提供的第一种知识追踪模型训练方法的流程示意图，即本发明实施例提供的知识追踪模型训练方法包括：
S110，从训练集中获取预设数量个样本，其中，所述预设数量个样本包括每个时刻的题目、回答及所述题目对应的至少一个知识点。
需说明的是，除去与前文所述的Q、X t-1 、q t-1 、r t-1 、q t 及r t 的定义外，本发明实施例还定义了KC和kc q ，其中KC为Q中所有题目涉及到的知识点的知识点集合，kc q ⊆KC，表示题目q∈Q涉及的知识点集/子集。
基于此，本发明实施例中每个batchsize（批大小）的样本，即预设数量个样本表示一个学习者的历史学习记录，而每个样本表示历史学习记录中每个时刻的题目q、回答r以及题目对应的至少一个知识点，即kc q 。
S120，将每个所述样本输入至预设模型的第一嵌入层，以将每个所述样本的回答和每个所述样本的题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量。
也即，本发明实施例中的计算机设备在获取到样本后，将样本的回答和题目对应的知识点均会转换为对应的嵌入向量，即回答嵌入向量和知识点嵌入向量，进而得到学习者的学习记录中所有题目的回答情况，以及知识点对应的语义表达。
可选的，在本发明实施例提供的一种可行方式中，题目对应的知识点的知识点嵌入向量的获取方式包括：将题目q对应的kc q 中的元素乘以预设的知识点嵌入矩阵M kc ，进而得到题目q题目对应的知识点集kc q 中每个元素的知识点嵌入向量{c 1,c 2,……,c |kc| }，其中，M kc ∈R |kc|×dim 。
可选的，在本发明实施例提供的一种可行方式中，回答嵌入向量通过预设的回答嵌入矩阵M r 获取，其中，M r ∈R3×dim 。
不难理解的是，上述dim表示维度（dimension）。
S130，利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量。
也即，本发明实施例基于包含了预设注意力网络的题目嵌入层，将每个问题q对应的知识点集kc q 中每个元素，即不同知识点进行了融合，以使预设模型在关注到多个知识点中的重要知识点外，还关注到重要知识点与其他知识点间的联系。基于此，使得基于知识点融合得到的题目嵌入向量的信息更丰富，进而提升了题目的可解释性。
可以理解的是，知识点的融合可根据实际设置，如在本发明实施例提供的一种可行方式中，具体参考图2，示出了本发明实施例提供的第二种知识追踪模型训练方法的流程示意图，即此种可行方式下所述S130包括：
S131，利用所述预设模型的题目嵌入层将所述题目对应的每个所述知识点嵌入向量分别映射为多个空间的第一查询表示、第一键表示及第一值表示；
S132，针对每个知识点嵌入向量的每个空间，根据其中一个知识点嵌入向量的第一查询表示和其中另一个知识点嵌入向量的第一键表示的向量内积，确定每个所述知识点嵌入向量在所述空间的相关度；
S133，利用所述相关度，计算每个所述知识点嵌入向量在每个所述空间的第一权重；
S134，针对每个空间，将每个所述样本的题目对应的知识点嵌入向量的第一值表示和所述知识点嵌入向量的第一权重进行加权求和，得到每个所述知识点嵌入向量的知识点表示；
S135，将所述知识点嵌入向量在所述每个空间的知识点表示连接，得到知识点融合表示；
S136，将所述样本的题目对应的每个知识点嵌入向量的知识点融合表示相加，得到题目嵌入向量。
也即，本发明实施例基于多头自注意力机制（Multi-head Self-Attention）以将知识点嵌入向量映射至多个空间进行特征交叉融合，也即本发明实施例基于多个多头自注意力层来完成知识点融合。
为清楚的说明本发明实施例提供的此种知识点融合方式，请参见图3，示出了本发明实施例提供的第一种知识点嵌入向量的融合示意图。
基于图3所示，本发明实施例首先针对每个空间，将样本的题目q对应的kc q 中每个知识点嵌入向量c，映射为第一查询表示
Figure P_220530145023968_968876001
、第一键表示
Figure P_220530145024000_000128002
及第一值表示
Figure P_220530145024031_031393003
，其中，h表示空间。
接着，针对每个空间中每个知识点嵌入向量，利用
Figure F_220530145021118_118791001
、
Figure F_220530145021198_198871002
以及
Figure F_220530145021308_308238003
，计算知识点嵌入向量c i 与其他任一个知识点嵌入向量c j 的相关度
Figure P_220530145024047_047031004
，其中，相关度
Figure F_220530145021388_388329004
的计算方式可参考下式：
Figure P_220530145024078_078235001
式中，φ()表示向量内积。
然后，基于相关度
Figure F_220530145021482_482057005
计算知识点嵌入向量c i 的第一权重
Figure P_220530145024109_109513002
。其中，第一权重的计算方式可参考下式：
Figure P_220530145024142_142175001
式中，exp表示以自然常数e为底的指数函数。
之后，得到所有知识点嵌入向量c i 的第一权重后，向所有的知识点嵌入向量的第一值表示
Figure F_220530145021548_548960006
和第一权重
Figure F_220530145021627_627560007
加权求和以得到知识点嵌入向量c i 在空间的知识点表示
Figure P_220530145024173_173939003
，即：
Figure P_220530145024205_205199001
而在每个空间的知识点表示
Figure F_220530145021736_736937008
均完成计算后，计算机设备将所有空间，即H个空间的
Figure F_220530145021848_848271009
连接，以得到知识点嵌入向量c i 的知识点融合表示
Figure P_220530145024236_236479003
，即：
Figure P_220530145024267_267710001
最后，将所有知识点融合表示
Figure F_220530145022165_165636010
相加，得到将样本的题目对应的所有知识点融合后而来的题目嵌入向量e，即：
Figure P_220530145024298_298951001
此外，可以理解的是，为减少多头自注意层在运算时产生的信息损失，在本发明实施例提供的一种可行方式中，多头自注意层的输入，即知识点嵌入向量c i 还用于多头自注意层的输出，也即本发明实施例针对多头自注意层设置了残差连接，进而知识点融合表示
Figure F_220530145022243_243809011
的另一种表示为：
Figure P_220530145024330_330216001
式中，
Figure P_220530145024362_362905001
表示因残差连接而优化后的知识点融合表示，ReLu表示修正线性单元（Rectified Linear Unit），
Figure P_220530145024394_394196002
表示与c i 相匹配的投影矩阵。
进而，题目嵌入向量e的获取还可参考以下式子：
Figure P_220530145024425_425433001
可选的，在一种可行方式中，本发明实施例还可用前一层多自注意力层的输出作为下一次多自注意力层的输入，进而完成题目编码层的构建，以使预设模型能捕获知识点之间的高阶关系，进而提升题目嵌入向量的信息丰富度。
而在本发明实施例提供的另一种用于融合知识点的可行方式中，具体参考图4，示出了本发明实施例提供的第三种知识追踪模型训练方法的流程示意图，此种可行方式下所述题目嵌入层包括依次相连的全局池化层和两层全连接层，进而所述S130包括：
S137，将所述题目对应的每个所述知识点嵌入向量输入至所述全局池化层以进行压缩；
S138，利用所述两层全连接层将所述题目对应的压缩后的知识点嵌入向量进行维度缩减和扩展，得到每个所述知识点嵌入向量的第二权重；
S139，对所述题目对应的每个所述知识点嵌入向量和所述知识点嵌入向量的第二权重的进行加权求和，得到所述样本的题目对应的题目嵌入向量。
也即，本发明实施例将基于SENet完成不同知识点嵌入的权重计算，并根据权重将题目对应的多个知识点进行融合。此外，为更好地说明本发明实施例提供的此种知识点的融合方式，请参考图5，示出了本发明实施例提供的第二种知识点嵌入向量的融合示意图。图中，FC表示全连接层，w表示知识点嵌入向量对应的第二权重。
具体的，本发明实施例中的计算机设备首先将题目q对应的kc q 中每个知识点的嵌入向量输入至全局池化层进行池化，并将池化后的每个c i 连接后，得到压缩后的知识点嵌入向量c squ ，即：
Figure P_220530145024456_456677001
式中，
Figure P_220530145024487_487929001
为将第|kc|个知识点嵌入向量c |kc|进行池化后得到的第|kc|个知识点的信息。
接着，利用两层全连接层计算每个知识点嵌入向量c i 的第二权重。其中，第一层全连接层用于对压缩后的知识点嵌入向量的维度进行缩减，第二层全连接层用于对维度进行扩展，由此得到每个知识点嵌入向量的第二权重。
最后，根据将题目对应的每个知识点嵌入向量与知识点嵌入向量的第二权重进行加权求和，得到多个知识点融合后的题目嵌入向量e。
为更好地说明本发明实施例提供的知识点融合方式，故示出了以下公式以说明运算过程，即：
Figure P_220530145024519_519161001
式中，
Figure P_220530145024567_567053001
表示知识点嵌入向量c i 的第二权重，即图5中的w，
Figure P_220530145024598_598285002
和
Figure P_220530145024629_629512003
分别表示第一次全连接层和第二层全连接层对应的学习权重。
S140，基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果；
也即，本发明实施例中的计算机设备在得到每个样本的回答嵌入向量和题目对应的题目嵌入向量后，将利用预设的编码器层将回答嵌入向量和题目对应的题目嵌入向量进行编码，以得到学习者在每个时刻的学习状态，即编码结果。
优选的，在本发明实施例提供的一种优选可行方式中，编码器层的结构与Transformer中的编码器结构相似，即包含多个依次相连的编码模块，每个编码模块包含依次相连的注意力层和前馈全连接层。基于此，经过多个编码模块堆叠的编码器层将所有样本对应的题目嵌入向量和回答嵌入向量编码为对应的编码结果，以表示学习者的历史学习状态，即学习者在每个时刻的学习状态。
进一步的，在此种优选方式下，本发明实施例首先会将样本对应的每个题目嵌入向量和每个回答嵌入向量连接，得到题目回答嵌入向量
Figure P_220530145024645_645628001
，即：
Figure P_220530145024676_676407001
式中，e i 和r i 表示第i个样本对应的题目嵌入向量和回答嵌入向量。
可以理解的是，因学习者的历史学习轨迹为按时间排序的集合，而在利用集合中的元素进行编码时，需避免利用时刻t之后的信息来完成时刻t或时刻t之前的编码。因此，本发明实施例在将题目回答嵌入向量
Figure F_220530145022321_321920012
映射至Q、K及V三个空间时，将利用由题目嵌入向量与预设的填充嵌入向量拼接后的向量作为Q空间的映射。
即：
Figure P_220530145024707_707636001
进而，题目回答嵌入向量在Q、K及V三个空间的映射I Q 、I K 及I V 分别为：
Figure P_220530145024739_739378001
式中，W Q 、W K 及W V 分别表示Q、K及V三个空间的学习权重。
进一步的，在进行注意力权重的运算时，本发明实施例还利用预设的上三角矩阵掩码来得到对应的权重输出，以避免未来信息对当前编码结果的影响，即：
Figure P_220530145024758_758398001
式中，Mask()表示预设的上三角矩阵掩码，α p 表示位置信息对应的权重，α表示掩盖了未来信息的题目回答嵌入向量的权重，
Figure P_220530145024821_821407001
和
Figure P_220530145024837_837038002
分别表示位置信息对应的线性变换结果。
由此，本发明实施例基于上三角矩阵掩码的设置，避开了未来信息当前状态编码的影响，进而保证编码结果的真实有效。
此外，可以理解的是，当编码器层与Transformer中的编码器结构相似时，编码器层的每个编码模块的输出则代表一个时刻的编码结果。
S150，将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率。
也即，本发明实施例的计算机设备将根据每个时刻的编码结果，即学习者在每个时刻的状态，确定学习者在每个时刻的知识掌握能力，进而在后续步骤中，计算机设备根据知识掌握能力预测用于在每个时刻的表现，即回答正确预测概率。
S160，根据每个样本的回答和回答正确预测概率计算损失函数值，并利用所述损失函数值更新所述预设模型，得到知识追踪模型。
也即，得到第n时刻的回答正确预测概率和第n时刻的真实答题概率后，本发明实施例将基于预设的损失函数计算损失函数值，并利用损失函数值方向更新预设模型，迭代训练直至满足预设的终止条件时，得到训练好的知识追踪模型。
可以理解的是，本发明实施例中损失函数的具体形式可根据实际需要设置。如在本发明实施例提供的一种可行方式中，损失函数值loss的计算公式如下：
Figure P_220530145024868_868292001
式中，r n 表示n时刻的真实回答情况，
Figure P_220530145024951_951263001
表示n时刻的回答正确预测概率，|X|表示所述预设数量。
可选的，在本发明实施例提供的一种可行方式中，计算机设备基于Radam（Rectified Adam）方法反向更新预设模型中的优化参数。
本发明实施例提供的知识追踪模型训练方法中，计算机设备从训练集中获取预设数量个样本后，利用预设模型的第一嵌入层将样本的回答和题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量，以得到对应的语义表示；接着，根据预设模型的题目嵌入层计算每个知识点嵌入向量的权重，以将每个知识点嵌入向量进行加权求和，进而得到题目对应的题目嵌入向量，使得每个题目均由对应的知识点来表达；然后，对题目嵌入向量和回答嵌入向量进行编码，得到学习者的在不同时刻的状态，即预设数量个样本对应的各个时刻的编码结果；之后，利用预设模型的预测层，根据各个时刻的编码结果进行预测，得到每个样本的回答正确预测概率；最后，基于每个样本的真实回答和回答正确预测概率，计算损失函数值，并根据损失函数值反向更新预设模型，从而得到知识追踪模型。
基于此，本发明实施例通过题目嵌入层中的注意力网络对题目对应的多个知识点进行了融合，以使预设模型在关注到多个知识点中的重要知识点外，还将重要知识点与其他知识点间建立了联系，使得题目嵌入向量的信息更丰富，进而提升了题目的可解释性。并且，在将融合了多个知识点的题目嵌入向量用于模型训练后，使得训练好的知识追踪模型能有效处理题目涉及多个知识点的知识追踪任务，满足了现阶段的设计需要。
可选的，为进一步提升题目嵌入的信息表达，在本发明实施例提供的一种可行方式中，所述S130之后，所述S140之前，所述方法还包括：
根据所述训练集中的所有样本，基于第一预设算式确定每个所述样本的题目的难度系数，其中，所述第一预设算式包括：
Figure P_220530145024967_967405001
式中，d表示难度系数，N fail和N ans分别表示训练集的所有样本中，所述难度系数对应的题目的回答为错误的样本的数量，和包含所述难度系数对应的题目的样本的数量；
利用第二预设算式，计算每个所述题目的难度系数对应的难度因子，其中，所述第二预设算式包括：
Figure P_220530145024998_998649001
式中，b表示难度因子，W 2 b 、W 1 b 、b 1 b 、b 2 b 均表示所述难度因子的训练参数；
将所述样本的题目对应的初始题目嵌入向量和难度因子相加，得到所述样本的优化后的题目嵌入向量；
进而，所述S140，包括：
基于所述预设模型的编码器层，将每个所述样本对应的回答嵌入向量和优化后的题目嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果。
也即，本发明实施例中的计算机设备为使预设模型在关注题目对应的知识点的信息外，还欲使预设模型能学习到不同题目之间的区别。
具体的，本发明实施例通过训练集中所有样本题目和回答，确定了每个样本的难度系数，即：
Figure P_220530145025029_029912001
式中，d表示难度系数，N fail和N ans分别表示训练集的所有样本中，所述难度系数对应的题目的回答为错误的样本的数量，和包含所述难度系数对应的题目的样本的数量。
可以理解的是，难度系数的值越大，表明题目的难度越高。
接着，计算机设备再将难度系数进行线性变换，得到难度系数对应的难度因子，进而将难度因子和基于注意力机制而得到的融合多个知识点的题目嵌入向量进行相加，得到优化后的题目嵌入向量，也即：
Figure P_220530145025061_061175001
式中，b表示难度因子，W 2 b 、W 1 b 、b 1 b 、b 2 b 均表示所述难度因子的训练参数；
Figure P_220530145025092_092420001
式中，e表示题目嵌入向量，e’表示优化后的题目嵌入向量。
基于此，本发明实施例中的计算机设备使得预设模型在学习到题目中不同知识点的关系外，还能基于难度因子学习到不同题目的差异，进而使得优化后的题目嵌入向量表征更丰富的信息。
可选的，为使预测模型的预测能力更贴切实际，在本发明实施例提供的一种可行方式中，所述预设模型的预测层包括前馈全连接层，且所述S150之前，所述方法还包括：
基于预设激活函数和每个所述样本对应的题目嵌入向量，计算每个所述样本的区分度参数；
进而，所述S150，包括：
将所述每个时刻的编码结果和每个所述样本对应的题目嵌入向量作所述前馈全连接层的输入，得到所述预设数量个样本对应的第一知识掌握能力表示；
基于第三预设算式，计算预设时间间隔后所述第一知识掌握能力表示对应的第二知识掌握能力表示，其中，所述第三预设算式包括：
Figure P_220530145025123_123651001
式中，
Figure P_220530145025172_172978001
表示第二知识掌握能力表示，μ f 表示预设遗忘权重，f表示预设时间间隔对应的遗忘因子，θ表示第一知识掌握表示，
Figure P_220530145025204_204235002
表示预设基础掌握能力表示，μ ls 、μ lm 及μ ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子的预设权重，f ls 、f lm 及f ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子，lag s 、lag m 及lag d 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的间隔时间离散化嵌入向量；
根据所述第二知识掌握能力表示和所述区分度参数，预测每个所述样本对应的回答正确预测概率。
也即，本发明实施例在得到每个样本对应的题目嵌入向量后，将对题目嵌入向量进行线性转换，以得到区分度参数进而在预测过程中，表征不同题目的差异。
可选的，在本发明实施例提供的一种可选方式中，本发明实施例基于2PL（twoparameter model，2参数模型)和ReLu（Rectified Linear Unit，修正线性单元）激活函数来完成区分度参数的计算方式，即如下式所示：
Figure P_220530145025219_219875001
式中，a表示区分度参数，W 1 a 、b 1 a 均表示所述区分度参数的学习参数；
在完成区分度参数函数的计算后，因学习者对于题目的掌握能力与题目涉及到的知识点和过去的答题记录有关，本发明实施例基于编码器层将历史答题记录对应地转换为了每个时刻的编码结果，因此，计算机设备将对编码器层输出的不同时刻的编码结果和题目嵌入向量进行线性转换后，利用前馈全连接层计算出学习者在每个时刻的知识掌握能力，即第一知识掌握能力表示θ。
可选的，第一知识掌握能力表示θ的计算过程可参考以下公式：
Figure P_220530145025251_251107001
式中，
Figure P_220530145025297_297994001
均为前馈全连接层对应的训练参数，enc表示编码结果，e表示题目嵌入表示。
进一步的，因学习者的知识掌握能力将受时间的影响，即遗忘，使得学习者在当前时刻的知识掌握能力将在下个时刻衰弱。故本发明实施例还对学习者的知识掌握能力随时间的变化情况进行了建模，即计算第一知识掌握能力表示在预设时间间隔后对应的第二知识掌握能力表示，其中，所述第三预设算式包括：
Figure P_220530145025329_329241001
式中，
Figure P_220530145025378_378079001
表示第二知识掌握能力表示，μ f 表示预设遗忘权重，f表示预设时间间隔对应的遗忘因子，θ表示第一知识掌握表示，
Figure P_220530145025409_409286002
表示预设基础掌握能力表示，μ ls 、μ lm 及μ ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子的预设权重，f ls 、f lm 及f ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子，lag s 、lag m 及lag d 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的间隔时间离散化嵌入向量；
最后，本发明实施例中的计算机设备根据学习者的遗忘情况，即知识掌握能力在不同时刻变化情况，配合各个时刻的题目的区分度参数，计算学习者在不同时刻的表现，即回答正确预测概率。
可选的，回答正确预测概率的计算可参考下式：
Figure P_220530145025440_440548001
可选的，为进一步表达不同时刻的题目差异，在本发明实施例提供的一种可行方式中，回答正确预测概率的计算还参考了前述可行方式中的难度因子b，进而回答正确预测概率的计算还可如下式所示：
Figure P_220530145025487_487419001
与本发明实施例提供知识追踪模型训练方法相对应的，本发明实施例还提供一种追踪方法，具体参考图6，示出了本发明实施例提供的追踪方法的流程示意图，所述方法包括：
S210，获取待预测样本集；
S220，将所述待预测样本集中的所有样本输入至知识追踪模型，得到待预测样本集中每个样本的回答正确预测概率，其中，所述知识追踪模型通过如图1示出的方法实施例对应的知识追踪模型训练方法得到。
也即，本发明实施例根据由图1示出的方法实施例对应的知识追踪模型训练方法而得到的知识追踪模型，使得计算机设备针对待预测样本集进行知识追踪时，将考虑到题目涉及到多个知识点的情况，并将根据多个知识点的联系完成知识追踪。基于此，使得知识追踪任务的准确率得以提升，并满足了现阶段的知识追踪需求。
与本发明实施例提供知识追踪模型训练方法相对应的，本发明实施例还提供一种知识追踪模型训练装置，具体参考图7，示出了本发明实施例提供的知识追踪模型训练装置的结构示意图，所述知识追踪模型训练装置300包括：
样本获取模块310，用于从训练集中获取预设数量个样本，其中，所述预设数量个样本包括每个时刻的题目、回答及所述题目对应的至少一个知识点；
第一嵌入模块320，用于将每个所述样本输入至预设模型的第一嵌入层，以将每个所述样本的回答和每个所述样本的题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量；
第二嵌入模块330，用于利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量；
编码模块340，用于基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果；
预测模块350，用于将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率；
训练模块360，用于根据每个样本的回答和回答正确预测概率计算损失函数值，并利用所述损失函数值更新所述预设模型，得到知识追踪模型。
本申请实施例提供的知识追踪模型训练装置300能够实现图1对应的方法实施例中知识追踪模型训练方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选的，在本发明实施例提供的一种可行方式中，所述第二嵌入模块包括：
第一映射子模块，用于利用所述预设模型的题目嵌入层将所述题目对应的每个所述知识点嵌入向量分别映射为多个空间的第一查询表示、第一键表示及第一值表示；
内积计算子模块，用于针对每个知识点嵌入向量的每个空间，根据其中一个知识点嵌入向量的第一查询表示和其中另一个知识点嵌入向量的第一键表示的向量内积，确定每个所述知识点嵌入向量在所述空间的相关度；
第一权重计算子模块，用于利用所述相关度，计算每个所述知识点嵌入向量在每个所述空间的第一权重；
第一加权求和子模块，用于针对每个空间，将每个所述样本的题目对应的知识点嵌入向量的第一值表示和所述知识点嵌入向量的第一权重进行加权求和，得到每个所述知识点嵌入向量的知识点表示；
连接子模块，用于将所述知识点嵌入向量在所述每个空间的知识点表示连接，得到知识点融合表示；
相加子模块，用于将所述样本的题目对应的每个知识点嵌入向量的知识点融合表示相加，得到题目嵌入向量。
可选的，在本发明实施例提供的一种可行方式中，所述题目嵌入层包括依次相连的全局池化层和两层全连接层，所述第二嵌入模块包括：
压缩子模块，用于将所述题目对应的每个所述知识点嵌入向量输入至所述全局池化层以进行压缩；
第二权重计算子模块，用于利用所述两层全连接层将所述题目对应的压缩后的知识点嵌入向量进行维度缩减和扩展，得到每个所述知识点嵌入向量的第二权重；
第二加权求和子模块，用于对所述题目对应的每个所述知识点嵌入向量和所述知识点嵌入向量的第二权重的进行加权求和，得到所述样本的题目对应的题目嵌入向量。
可选的，在本发明实施例提供的一种可行方式中，所述装置还包括：
难度系数计算模块，用于根据所述训练集中的所有样本，基于第一预设算式确定每个所述样本的题目的难度系数，其中，所述第一预设算式包括：
Figure P_220530145025534_534316001
式中，d表示难度系数，N fail和N ans分别表示训练集的所有样本中，所述难度系数对应的题目的回答为错误的样本的数量，和包含所述难度系数对应的题目的样本的数量；
难度因子计算模块，用于利用第二预设算式，计算每个所述题目的难度系数对应的难度因子，其中，所述第二预设算式包括：
Figure P_220530145025567_567998001
式中，b表示难度因子，W 2 b 、W 1 b 、b 1 b 、b 2 b 均表示所述难度因子的训练参数；
优化模块，用于将所述样本的题目对应的初始题目嵌入向量和难度因子相加，得到所述样本的优化后的题目嵌入向量；
进而，所述编码模块还用于基于所述预设模型的编码器层，将每个所述样本对应的回答嵌入向量和优化后的题目嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果。
可选的，在本发明实施例提供的一种可行方式中，所述预设模型的预测层包括前馈全连接层；
进而，所述装置还包括：
区分度参数计算模块，用于基于预设激活函数和每个所述样本对应的题目嵌入向量，计算每个所述样本的区分度参数；
进而，所述预测模块包括：
第一能力表示计算子模块，用于将所述每个时刻的编码结果和每个所述样本对应的题目嵌入向量作所述前馈全连接层的输入，得到所述预设数量个样本对应的第一知识掌握能力表示；
第二能力表示计算子模块，用于基于第三预设算式，计算预设时间间隔后所述第一知识掌握能力表示对应的第二知识掌握能力表示，其中，所述第三预设算式包括：
Figure P_220530145025599_599258001
式中，
Figure P_220530145025661_661745001
表示第二知识掌握能力表示，μ f 表示预设遗忘权重，f表示预设时间间隔对应的遗忘因子，θ表示第一知识掌握表示，
Figure P_220530145025693_693004002
表示预设基础掌握能力表示，μ ls 、μ lm 及μ ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子的预设权重，f ls 、f lm 及f ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子，lag s 、lag m 及lag d 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的间隔时间离散化嵌入向量；
概率预测子模块，用于根据所述第二知识掌握能力表示和所述区分度参数，预测每个所述样本对应的回答正确预测概率。
与本发明实施例提供的追踪方法相对应的，本发明实施例还提供一种追踪装置，参照图8，示出了本发明实施例提供的追踪装置的结构示意图，本发明实施例提供的追踪装置400，包括：
待预测样本获取模块410，用于获取待预测样本集；
输出模块420，用于将所述待预测样本集中的所有样本输入至知识追踪模型，得到待预测样本集中每个样本的回答正确预测概率，其中，所述知识追踪模型通过如图1示出方法实施例对应的知识追踪模型训练方法得到。
本申请实施例提供的追踪装置400能够实现图6对应的方法实施例中追踪方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如图1对应的方法实施例中公开的知识追踪模型训练方法，或如图6对应的方法实施例公开的追踪方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如图1对应的方法实施例中公开的知识追踪模型训练方法，或如图6对应的方法实施例公开的追踪方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种知识追踪模型训练方法，其特征在于，包括：
从训练集中获取预设数量个样本，其中，所述预设数量个样本包括每个时刻的题目、回答及所述题目对应的至少一个知识点；
将每个所述样本输入至预设模型的第一嵌入层，以将每个所述样本的回答和每个所述样本的题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量；
利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量；
基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果；
将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率；
根据每个样本的回答和回答正确预测概率计算损失函数值，并利用所述损失函数值更新所述预设模型，得到知识追踪模型，其中，所述损失函数值的计算公式包括：
Figure P_220719090743125_125634001
式中，loss表示损失函数值，r n 表示n时刻的真实回答情况，
Figure P_220719090743188_188139001
表示n时刻的回答正确预测概率，|X|表示所述预设数量。
2.根据权利要求1所述的知识追踪模型训练方法，其特征在于，所述利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量，包括：
利用所述预设模型的题目嵌入层将所述题目对应的每个所述知识点嵌入向量分别映射为多个空间的第一查询表示、第一键表示及第一值表示；
针对每个知识点嵌入向量的每个空间，根据其中一个知识点嵌入向量的第一查询表示和其中另一个知识点嵌入向量的第一键表示的向量内积，确定每个所述知识点嵌入向量在所述空间的相关度；
利用所述相关度，计算每个所述知识点嵌入向量在每个所述空间的第一权重；
针对每个空间，将每个所述样本的题目对应的知识点嵌入向量的第一值表示和所述知识点嵌入向量的第一权重进行加权求和，得到每个所述知识点嵌入向量的知识点表示；
将所述知识点嵌入向量在所述每个空间的知识点表示连接，得到知识点融合表示；
将所述样本的题目对应的每个知识点嵌入向量的知识点融合表示相加，得到题目嵌入向量。
3.根据权利要求1所述的知识追踪模型训练方法，其特征在于，所述题目嵌入层包括依次相连的全局池化层和两层全连接层；
所述利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量，包括：
将所述题目对应的每个所述知识点嵌入向量输入至所述全局池化层以进行压缩；
利用所述两层全连接层将所述题目对应的压缩后的知识点嵌入向量进行维度缩减和扩展，得到每个所述知识点嵌入向量的第二权重；
对所述题目对应的每个所述知识点嵌入向量和所述知识点嵌入向量的第二权重的进行加权求和，得到所述样本的题目对应的题目嵌入向量。
4.根据权利要求1所述的知识追踪模型训练方法，其特征在于，所述利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量之后，所述基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果之前，所述方法还包括：
根据所述训练集中的所有样本，基于第一预设算式确定每个所述样本的题目的难度系数，其中，所述第一预设算式包括：
Figure P_220719090743203_203760001
式中，d表示难度系数，N fail和N ans分别表示训练集的所有样本中，所述难度系数对应的题目的回答为错误的样本的数量，和包含所述难度系数对应的题目的样本的数量；
利用第二预设算式，计算每个所述题目的难度系数对应的难度因子，其中，所述第二预设算式包括：
Figure P_220719090743235_235005001
式中，b表示难度因子，W 2 b 、W 1 b 、b 1 b 、b 2 b 均表示所述难度因子的训练参数；
将所述样本的题目对应的初始题目嵌入向量和难度因子相加，得到所述样本的优化后的题目嵌入向量；
所述基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果，包括：
基于所述预设模型的编码器层，将每个所述样本对应的回答嵌入向量和优化后的题目嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果。
5.根据权利要求1所述的知识追踪模型训练方法，其特征在于，所述预设模型的预测层包括前馈全连接层；
所述将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率之前，所述方法还包括：
基于预设激活函数和每个所述样本对应的题目嵌入向量，计算每个所述样本的区分度参数；
所述将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率，包括：
将所述每个时刻的编码结果和每个所述样本对应的题目嵌入向量作所述前馈全连接层的输入，得到所述预设数量个样本对应的第一知识掌握能力表示；
基于第三预设算式，计算预设时间间隔后所述第一知识掌握能力表示对应的第二知识掌握能力表示，其中，所述第三预设算式包括：
Figure P_220719090743267_267206001
式中，
Figure P_220719090743298_298988001
表示第二知识掌握能力表示，μ f 表示预设遗忘权重，f表示预设时间间隔对应的遗忘因子，θ表示第一知识掌握表示，
Figure P_220719090743330_330240002
表示预设基础掌握能力表示，μ ls 、μ lm 及μ ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子的预设权重，f ls 、f lm 及f ld 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的遗忘因子，lag s 、lag m 及lag d 分别表示预设时间间隔在秒级别、分钟级别和天级别对应的间隔时间离散化嵌入向量；
根据所述第二知识掌握能力表示和所述区分度参数，预测每个所述样本对应的回答正确预测概率。
6.一种追踪方法，其特征在于，包括：
获取待预测样本集；
将所述待预测样本集中的所有样本输入至知识追踪模型，得到待预测样本集中每个样本的回答正确预测概率，其中，所述知识追踪模型通过如权利要求1至5任一项所述的知识追踪模型训练方法得到。
7.一种知识追踪模型训练装置，其特征在于，包括：
样本获取模块，用于从训练集中获取预设数量个样本，其中，所述预设数量个样本包括每个时刻的题目、回答及所述题目对应的至少一个知识点；
第一嵌入模块，用于将每个所述样本输入至预设模型的第一嵌入层，以将每个所述样本的回答和每个所述样本的题目对应的知识点分别转换为回答嵌入向量和知识点嵌入向量；
第二嵌入模块，用于利用所述预设模型的题目嵌入层计算所述题目对应的每个所述知识点嵌入向量的权重，并对每个所述知识点嵌入向量和每个所述知识点嵌入向量的权重进行加权求和，得到所述样本的题目对应的题目嵌入向量；
编码模块，用于基于所述预设模型的编码器层，将每个所述样本对应的题目嵌入向量和回答嵌入向量进行编码，得到所述预设数量个样本对应的每个时刻的编码结果；
预测模块，用于将所述每个时刻的编码结果输入至所述预设模型的预测层，得到每个所述样本的回答正确预测概率；
训练模块，用于根据每个样本的回答和回答正确预测概率计算损失函数值，并利用所述损失函数值更新所述预设模型，得到知识追踪模型，其中，所述损失函数值的计算公式包括：
Figure P_220719090743345_345855001
式中，loss表示损失函数值，r n 表示n时刻的真实回答情况，
Figure P_220719090743377_377130001
表示n时刻的回答正确预测概率，|X|表示所述预设数量。
8.一种追踪装置，其特征在于，包括：
待预测样本获取模块，用于获取待预测样本集；
输出模块，用于将所述待预测样本集中的所有样本输入至知识追踪模型，得到待预测样本集中每个样本的回答正确预测概率，其中，所述知识追踪模型通过如权利要求1至5任一项所述的知识追踪模型训练方法得到。
9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行如权利要求1-5任一项所述的知识追踪模型训练方法，或如权利要求6所述的追踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在处理器上运行时执行如权利要求1-5任一项所述的知识追踪模型训练方法，或如权利要求6所述的追踪方法。
CN202210637541.XA 2022-06-08 2022-06-08 知识追踪模型训练方法、追踪方法、装置、设备及介质 Active CN114707775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210637541.XA CN114707775B (zh) 2022-06-08 2022-06-08 知识追踪模型训练方法、追踪方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210637541.XA CN114707775B (zh) 2022-06-08 2022-06-08 知识追踪模型训练方法、追踪方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114707775A CN114707775A (zh) 2022-07-05
CN114707775B true CN114707775B (zh) 2022-08-26

Family

ID=82177724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210637541.XA Active CN114707775B (zh) 2022-06-08 2022-06-08 知识追踪模型训练方法、追踪方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114707775B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502713B (zh) * 2023-04-03 2024-02-20 华中师范大学 一种基于加权元路径增强题目相似性嵌入的知识追踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990464A (zh) * 2021-03-12 2021-06-18 东北师范大学 一种知识追踪方法及系统
CN113283585A (zh) * 2021-05-24 2021-08-20 北京大学 一种基于自注意力机制的知识追踪方法及系统
KR20210141320A (ko) * 2020-02-18 2021-11-23 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법
CN114490980A (zh) * 2022-01-20 2022-05-13 兰州大学 一种关联知识追踪方法、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943497B2 (en) * 2018-04-27 2021-03-09 Adobe Inc. Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210141320A (ko) * 2020-02-18 2021-11-23 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법
CN112990464A (zh) * 2021-03-12 2021-06-18 东北师范大学 一种知识追踪方法及系统
CN113283585A (zh) * 2021-05-24 2021-08-20 北京大学 一种基于自注意力机制的知识追踪方法及系统
CN114490980A (zh) * 2022-01-20 2022-05-13 兰州大学 一种关联知识追踪方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EKT- Exercise-aware Knowledge Tracing for Student Performance Prediction;Qi Liu等;《IEEE》;20210101;第33卷(第1期);第100-115页 *
基于注意力机制的深度知识追踪研究;代欢欢;《中国优秀博硕士学位论文全文数据库（硕士）社会科学Ⅱ辑》;20220415(第4期);H127-111页 *
基于注意力机制的知识追踪方法研究;张楠;《中国优秀博硕士学位论文全文数据库（硕士）社会科学Ⅱ辑》;20220115(第1期);第H127-46页 *

Also Published As

Publication number Publication date
CN114707775A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN110941723A (zh) 一种知识图谱的构建方法、系统及存储介质
CN110991645A (zh) 一种基于知识模型的自适应学习方法、系统及存储介质
CN112116092A (zh) 可解释性知识水平追踪方法、系统和存储介质
CN113360635B (zh) 一种基于自注意和预训练机制的智能教学方法及系统
CN112257966B (zh) 模型处理方法、装置、电子设备及存储介质
Benedetto et al. On the application of transformers for estimating the difficulty of multiple-choice questions from text
CN110377707B (zh) 基于深度项目反应理论的认知诊断方法
CN110110899B (zh) 知识掌握度的预测方法、自适应学习方法及电子设备
CN114707775B (zh) 知识追踪模型训练方法、追踪方法、装置、设备及介质
CN114398556A (zh) 学习内容的推荐方法、装置、设备及存储介质
CN115310520A (zh) 融合多特征的深度知识追踪方法及习题推荐方法
CN114971066A (zh) 融合遗忘因素和学习能力的知识追踪方法及系统
CN118193920A (zh) 一种基于概念驱动的个性化遗忘机制的知识追踪方法
CN114676903A (zh) 一种基于时间感知和认知诊断的在线预测方法及系统
CN111898803B (zh) 一种习题预测方法、系统、设备及存储介质
CN114997461B (zh) 一种联合学习与遗忘的时间敏感的答题正确性预测方法
CN112256858B (zh) 融合问题模式和答题结果的双卷积知识追踪方法及系统
Halvoník et al. Design of an educational virtual assistant software
CN112231373B (zh) 知识点数据的处理方法、装置、设备和计算机可读介质
CN114691856A (zh) 题目推荐方法、装置、设备及介质
CN114861917A (zh) 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法
CN113919979A (zh) 知识追踪方法、装置、非易失性存储介质及电子装置
CN114328460A (zh) 一种智能生成套题的方法、装置、计算机可读存储介质和电子设备
CN114936315B (zh) 自适应推题的方法及其相关产品
CN118395246B (zh) 一种智能诊断系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant