CN114385910A - 基于知识追踪的在线学习内容推荐方法及系统 - Google Patents

基于知识追踪的在线学习内容推荐方法及系统 Download PDF

Info

Publication number
CN114385910A
CN114385910A CN202111509663.2A CN202111509663A CN114385910A CN 114385910 A CN114385910 A CN 114385910A CN 202111509663 A CN202111509663 A CN 202111509663A CN 114385910 A CN114385910 A CN 114385910A
Authority
CN
China
Prior art keywords
embedding
question
time
attention
knowledge point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111509663.2A
Other languages
English (en)
Other versions
CN114385910B (zh
Inventor
徐连诚
卢浩冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202111509663.2A priority Critical patent/CN114385910B/zh
Publication of CN114385910A publication Critical patent/CN114385910A/zh
Application granted granted Critical
Publication of CN114385910B publication Critical patent/CN114385910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于知识追踪的在线学习内容推荐方法及系统，其中方法包括：获取在线学习过程中得到的做题序列构成一个图结构；对所述图结构进行图嵌入，得到题目的嵌入；将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。优化了预测的结果，加快了模型的收敛速度，能够更好地根据预测结果个性化的指导学生学习。

Description

基于知识追踪的在线学习内容推荐方法及系统
技术领域
本发明涉及教育数据挖掘技术领域，特别是涉及基于知识追踪的在线学习内容推荐方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
随着近年来科学技术的飞速发展，信息技术在教育领域的高度普及，教育工具和学习方式发生了巨大的变化，大规模在线开放课程(Massive Open Online Courses)等在线学习方式已成为普遍现象，当下在线教育取得了和传统式学习一样的效果，并且逐渐成为一种流行的学习方式。不过在线学习课程缺乏对不同学生的知识状态建模能力，容易造成学生学习内容的僵化。
知识追踪是个性化导学的主要研究方向之一，知识追踪能够根据学生过去的学习记录来自动的追踪下一时间段内学生学习状态的变化，然后就可以预测学生在未来应该学习的知识点。知识追踪在教育领域的广泛应用中具有基础性的重要性，在MOOCs、智能辅导系统、教育游戏和学习管理系统等应用都很广泛。现有的解决知识追踪的方法主要有基于贝叶斯网络和基于深度学习的方法，不过这些方法模型普遍存在一些不足：(1)只用一种隐藏状态来表示一种知识状态，并不能捕捉到一个练习序列中的长期依赖关系(2)知识演化模型不明确，限制了它们表示学习概念之间相关性的能力。
发明人发现，现有的学习辅导软件，存在学习内容推荐不合理的情况，例如：给没有掌握知识点的同学推荐难易系数较高的题目，给已经掌握知识点的同学反复推荐同一个知识点下难易系数较低的题目，或者推荐的新知识点没有综合考虑学生的已有知识点储备情况。
发明内容
为了解决现有技术的不足，本发明提供了基于知识追踪的在线学习内容推荐方法及系统；提出了基于图嵌入和多层注意力机制的知识追踪方法及系统，在使用图嵌入(Graph Embedding)的基础上结合多层注意力机制构建知识追踪模型，优化了预测的结果，加快了模型的收敛速度，能够更好地根据预测结果个性化的指导学生学习。
第一方面，本发明提供了基于知识追踪的在线学习内容推荐方法；
基于知识追踪的在线学习内容推荐方法，包括：
获取在线学习过程中得到的做题序列构成一个图结构；
对所述图结构进行图嵌入，得到题目的嵌入；
将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；
将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。
第二方面，本发明提供了基于知识追踪的在线学习内容推荐系统；
基于知识追踪的在线学习内容推荐系统，包括：
获取模块，其被配置为：获取在线学习过程中得到的做题序列构成一个图结构；
图嵌入模块，其被配置为：对所述图结构进行图嵌入，得到题目的嵌入；
编码模块，其被配置为：将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；
推荐模块，其被配置为：将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
本发明考虑到现实情况中学生学习时受到多种因素影响且各个问题间不应是简单的线性关系，使用图嵌入的方法构建问题的嵌入，与以往的方法相比，图嵌入考虑了与问题相关的各个因素在学习过程中对学生的影响，更加贴近真实的学习过程。本发明考虑到细粒度下数据预测分类的难度，采用多层注意力机制的方法，融合问题嵌入和时间间隔嵌入，充分挖掘各个特征间的相关性，能够有效提高分类的精度；不用人为的确定特征标签，能够提高预测结果的准确性。
通过知识追踪(Knowledge Tracing)，评估学生对当前知识点的掌握度，并根据对当前知识点的掌握度推荐当前知识点的难易度系数相匹配的题目或者与当前知识点相关联的下一个知识点的基础题目，从而向每一个学生提出个性化的适应性建议，提供智能化的学习服务，具有重要意义。本研究旨在通过挖掘学生的历史学习记录与交互记录，分析学生学习状态、预测学习结果，为学生提供个性化的教学服务，促进其个人发展。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一的流程图；
图2为本发明实施例一中所述知识追踪方法的框架图；
图3为本发明实施例一中所述图嵌入方法处理数据流程图；
图4为本发明实施例一中所述多层注意力机制模块计算流程示意图；
图5为本发明实施例一知识追踪结果可视化效果图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了基于知识追踪的在线学习内容推荐方法；
如图1和图2所示，基于知识追踪的在线学习内容推荐方法，包括：
S101：获取在线学习过程中得到的做题序列构成一个图结构；
S102：对所述图结构进行图嵌入，得到题目的嵌入；
S103：将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；
S104：将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。
进一步地，所述S101：获取在线学习过程中得到的做题序列构成一个图结构；具体包括：
设置滑动窗口，从历史做题记录中，得到连续做题时间段超过设定时间段的历史做题时间序列；
从滑动窗口选中的历史做题时间序列中，选择每个题目作为节点，将连续两个题目对应的节点之间采用有向边进行连接，根据若干次历史做题记录，计算连续两道题作对的频率，将频率值作为对应有向边的权重，从而得到加权有向图。
进一步地，所述S102：对所述图结构进行图嵌入，得到题目的嵌入；具体包括：
S1021：根据加权有向图，得到节点序列；
S1022：对节点序列，得到初步题目嵌入；
S1023：对初步题目嵌入，进行填充，得到最终题目嵌入；
S1024：将最终题目嵌入，输入到两层全连接神经网络中，得到最终题目嵌入表示向量。
进一步地，所述S1021：根据加权有向图，得到节点序列；具体包括：
使用node2vec算法，对加权有向图进行处理，得到节点序列。
进一步地，所述S1022：对节点序列，得到题目的嵌入；具体包括：
使用Skip-Gram算法，对节点序列，得到题目的嵌入。
进一步地，所述S1023：对初步题目嵌入，进行填充，得到最终题目嵌入；具体包括：
对初步题目嵌入，补充其他类别的题目嵌入，得到最终题目嵌入；
其中，其他类别的题目嵌入，包括：题目所属知识点、做题的反应时间和学生对题目感到无聊的程度。
在使用图嵌入方法处理学生数据的过程中，将学生答题序列中的题目按顺序连成图，根据对错的频率给边赋予权重，将得到的加权有向图使用随机游走算法得到初步的嵌入，然后收集计算不同类型的题目属性对其影响的权重，聚合后得到最终的题目嵌入。
示例性地，收集学生在线学习过程中得到的学习历史数据，使用图嵌入的方法得到题目的嵌入矩阵，如图3所示。
其中，使用图嵌入的方法得到题目的嵌入矩阵的具体操作如下：
首要目的是得到一个图G＝(U,E)，V和E是节点集和边集，图嵌入是学习在空间
Figure BDA0003404759460000072
中每个节点u∈U的低维表示，然后将U中的每一个节点都表示为d维的向量。首先本发明就要先根据数据集中学生的学习行为构造序列，但因为学生的历史学习记录太多且存在误差，所以在实际操作中，本发明会设置了一个滑动窗口，将学生的做题时间作为滑动窗口的筛选标准，经过计算，将做题时间大于1000ms的题目纳入考虑范围，得到序列X1,X2,...,Xn。
在筛选得到学生的做题序列后，本发明将两个连续的题目用一个有向边连接，如图3中所示，当学生A连续做了第一题和第二题后，本发明便将他们相连。然后本发明根据学生做题的历史记录，考虑连续每道题目的作对的频率，将其设置为相应的边权值w。在得到以题目为节点的加权有向图后，首先使用node2vec算法来得到节点序列，随机游走采样的概率为：
Figure BDA0003404759460000071
ui表示从源节点开始访问的第i个节点，Φαβ表示ab间的非归一化专用概率。然而当Φαβ完全等于两点间边的静态权值w时，随机游走会出现偏差，所以两个参数p和z来引导有序的随机游走，当遍历完(χ,α)并且处于α时，则下一个节点为β的Φαβ＝Γpz(χ,α)：
Figure BDA0003404759460000081
hχα代表χ和α间的最短路径距离，且hχα的值必须是{0,1,2}中的一个。
然后得到如图3所示的节点序列。
本发明使用Skip-Gram算法来学习嵌入，需要是优化以下的目标函数，该目标函数以节点u的特征表示为条件，使其网络邻域的log概率最大化，给出目标函数:
Figure BDA0003404759460000082
根据独立假设，本发明可得到下式，其中ξ是节点中上下文窗口的大小：
Figure BDA0003404759460000083
最后，使用负采样可将目标函数转化为以下：
Figure BDA0003404759460000084
U-(ui)是ui的负样本，σ表示sigmid函数。
这一步本发明得到了初步的题目嵌入，但是当学生没有足够的历史交互记录并且在练习时做题的随机性过多时，那么就会降低预测的准确性，为了解决这个问题，本发明考虑将学习时有关问题的其它信息如，题目所属的知识点、做题的反应时间、学生对于题目感到无聊的程度等，根据其重要性的不同赋予不同的权重，然后加权到题目嵌入中得到新的嵌入，图3为其根据信息加权过程。
给定题目u，本发明用
Figure BDA0003404759460000091
表示题目u的嵌入，用
Figure BDA0003404759460000092
表示该题目第s类信息的嵌入，然后，对于有n种其它信息的题目u，本发明有n+1个向量
Figure BDA0003404759460000093
其中d是嵌入的维度。然后设定
Figure BDA0003404759460000094
为权重矩阵，用
Figure BDA0003404759460000095
表示s类信息的权重，用
Figure BDA0003404759460000096
表示题目u自身的权重，则最终得到的嵌入Du如下:
Figure BDA0003404759460000097
为了防止
Figure BDA0003404759460000098
为0，在计算中本发明用
Figure BDA0003404759460000099
代替
Figure BDA00034047594600000910
来计算，本发明将对于训练数据中的节点r和其上下文节点u，本发明用
Figure BDA00034047594600000911
来代表节点r的嵌入，y是其标签，那么，可以得到目标函数为：
f(u,r,y)＝-[ylog(σ(Du TLr))+(1-y)log(1-σ(Du TLr))]
然后，本发明将最终的嵌入Du，将其输入到一个两层的全连接神经网络。得到了题目嵌入，表示为
Figure BDA00034047594600000912
ui∈U。
进一步地，所述S103：将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；具体包括：
将每个题目作答的间隔时间，使用热编码的方式编码成跟题目嵌入维度相同的时间间隔的嵌入；
将时间间隔的嵌入，输入到两层全连接神经网络中，得到最终时间间隔嵌入表示向量。
示例性地，学生在学习完一个知识点后做每个题目时的间隔时间不同，那么同一个知识点下，做题的间隔时间不同，对最后做题的正确率便有不同的影响。所以，本发明使用独热编码的方式，将每个知识点下的每个题目的间隔时间的值转换为一个热点向量。其中做题时间最早的题目间隔时间为其题目反应时间，然后利用两层全连接神经网络对时间特征进行转换，得到时间间隔嵌入
Figure BDA0003404759460000101
其中tj＝t1,t2,...,tn。
进一步地，所述S104：将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容；具体包括：
将最终题目嵌入表示向量和最终时间间隔嵌入表示向量进行拼接得到问题-时间嵌入；
将问题-时间嵌入输入到多层注意力模型中对模型进行训练，当损失函数值停止降低时，停止训练，得到训练后的多层注意力模型；
并基于训练后的多层注意力模型，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应难易度的题目或者推荐下一个关联知识点对应的学习内容。
示例性地，将问题嵌入和时间间隔嵌入结合后，将其视为一个整合的问题-时间嵌入，定义是
Figure BDA0003404759460000102
所以在n个时间间隔内
Figure BDA0003404759460000103
然后使用多层注意力机制对其进行计算，得到预测在线学习内容的当前知识点掌握度。
进一步地，如图2所示，所述多层注意力模型，包括：依次连接的编码器和解码器；
所述编码器，包括：第一问题注意力机制模块、第一时间注意力机制模块和第一门控机制模块；所述第一问题注意力机制模块的输出端和第一时间注意力机制模块的输出端均与第一门控机制模块的输入端连接；
所述解码器，包括：第二问题注意力机制模块、第二时间注意力机制模块和第二门控机制模块；所述第二问题注意力机制模块的输出端和第二时间注意力机制模块的输出端均与第二门控机制模块的输入端连接。
所述第一问题注意力机制模块与第二问题注意力机制模块的工作原理是一致的；其中，第一问题注意力机制模块，用于学习问题与时间嵌入中不同顶点之间的关联，在不同的时间状态下，为不同的顶点分配不同的权重。
进一步地，第一问题注意力机制模块，用于对所有顶点计算加权求和；
将注意力的隐藏状态和问题-时间嵌入相连接，采用内积运算来计算顶点之间的相关性；
对顶点之间的相关性进行归一化处理，得到注意力得分后，更新注意力的隐藏状态；
将单个注意力机制扩展为多个平行的多层注意力机制，使用多种不同的平行注意力机制与不同的投影连接起来。
进一步地，第一时间注意力机制模块与第二时间注意力机制模块，工作原理是一致的，第一时间注意力机制模块，用于将当前时间间隔内学生总体的不同知识点掌握度和不同题目的时间间隔长度的隐藏状态，与问题-时间嵌入连接起来计算注意力得分；得到注意力得分后，更新隐藏状态。
进一步地，第一门控机制模块与第二门控机制模块，工作原理是一致的；所述第一门控机制模块，用于将问题注意力机制和时间间隔注意力机制融合起来；将注意力层得到的代表学生对当前知识点掌握程度的矩阵和下一个时间间隔后的题目-时间间隔嵌入做内积运算，得到学生在下一个时间间隔内的当前知识点掌握程度得分。
所述第一问题注意力机制模块，用于对问题之间的相关性进行建模；
所述第一时间注意力机制模块，用于对非线性的时间间隔相关性进行建模；
所述第一门控融机制模块，将二者所提取的信息结合起来，计算和输出结果。
进一步地，如图5所示，所述方法，还包括：完成知识追踪过程后，将知识追踪结果可视化，指导学生学习。
可视化的图为矩阵热力图，有颜色的深浅，每个方格代表在某一知识点下的某一习题的掌握程度，颜色越深代表错误率越高。
该题目做的越差，方块颜色深个数最多的那一行对应的知识点学习的越差，越需要反复推荐当前知识点的学习内容。
其中，如图4所示，使用多层注意力机制对其进行计算的具体操作如下：
多层注意力机制模块里的编码器和解码器各自都包括了一个问题注意力机制、时间注意力机制和门控机制。本发明将注意力机制中第ε块的输入表示为Oε-1，其中顶点ui在时间节点tj处的隐藏状态表示为
Figure BDA0003404759460000121
然后在第ε块其输出分别表示为Oq ε和Ot ε，顶点ui在时间节点处的隐藏状态表示为
Figure BDA0003404759460000122
和
Figure BDA0003404759460000123
经过门控机制聚合得到的第ε块的输出表示为Oε。
本发明将非线性变化表示为：
f(x)＝Relu(xW+b)
W，b是可学习的参数，Relu是激活函数。
(1)问题注意力机制：
问题最后的对错结果受到学生自身学习情况、题目的难度等多个因素的不同影响，而且这个影响是动态变化的，会随着时间的推移影响的程度也会发生改变，为了对这些不同的特征建模，本发明设置了一个问题注意力机制来自适应的去学习问题-时间嵌入中不同顶点间的关联，在不同的时间状态下，为不同的顶点分配不同的权重。对于时间tj的顶点ui，本发明对所有顶点计算加权和为：
Figure BDA0003404759460000131
U是所有顶点的集合，Δui,u是顶点u对顶点ui重要性的注意力得分，注意力得分的总和为1。
在一个时间间隔内，当前学生的学习状态和问题所构成的图的结构会影响顶点之间的相关性，所以根据这个情况，本发明又考虑了所有题目的整体正确率和不同题目的图结构来学习注意力得分。具体来讲，本发明将注意力的隐藏状态和问题-时间嵌入相连接，采用内积运算的方法来计算顶点之间的相关性:
Figure BDA0003404759460000132
×表示将两者连接起来，<·>表示内积运算，2d是
Figure BDA0003404759460000133
连接后的维度。然后通过softmax将gui,u归一化为：
Figure BDA0003404759460000134
得到注意力得分Δui,u后,更新注意力的隐藏状态。
然后本发明将单个的注意力机制扩展为λ个平行的多层注意力机制，使用λ种不同的平行注意力机制与不同的可以学习的投影连接起来。公式如下：
Figure BDA0003404759460000141
Figure BDA0003404759460000142
Figure BDA0003404759460000143
||表示将多个单层注意力机制的拼接操作，
Figure BDA0003404759460000144
表示λ个多层注意力机制的三个不同的非线性投影，其输出维度为m＝d/λ。
(2)时间注意力机制：
不同时间间隔下，学生对于同一知识点的每道题目的具体对错情况是不同的，且随时间间隔增长其相关系数呈非线性的变化，为了对其建模，本发明同样用多层的注意力机制来自适应的去建模不同的时间间隔的非线性相关性，并且相关性受到当前时间间隔内学生总体的学习状态和不同题目的时间间隔长度的影响，同样的本发明将其隐藏状态和问题-时间嵌入连接起来计算注意力得分，对顶点ui来说，时间节点t和tj间的相关性定义为：
Figure BDA0003404759460000145
Figure BDA0003404759460000146
Figure BDA0003404759460000147
代表了ti和t之间的相关性，
Figure BDA0003404759460000148
是多层注意力机制中第λ个的注意力得分，表示时间间隔t对tj的重要性，
Figure BDA0003404759460000149
和
Figure BDA00034047594600001410
代表了两个不同的可学习变换式，
Figure BDA00034047594600001411
表示tj之前的时间节点，所以只考虑了比目标时间点更早的时间点的信息，来实现因果关系。获得注意得分后，顶ui在时间间隔tj下的更新隐藏状态如下:
Figure BDA00034047594600001412
Figure BDA0003404759460000151
表示非线性投影，所有公式的学习参数在计算中是共享的。
(3)门控机制：
学生在某一时间间隔后的学习状态和其在之前各个时间间隔的学习状态是存在相关性的，并且也和他练习同属一个知识点下的其它题目相关。本发明用门控机制去自适应的将问题注意力机制和时间间隔注意力机制自适应的融合起来。在第ε层注意力模块的问题注意力机制的输出和时间注意力机制的输出分别表示为Oq ε和Ot ε，都属于
Figure BDA0003404759460000152
那么将他们聚合起来的公式为：
Figure BDA0003404759460000153
Figure BDA0003404759460000154
其中，W和b均为可学习参数，⊙代表的元素积，σ()是sigmoid函数，z是门控，门控融合机制自适应地控制每个顶点上问题和时间间隔的相关性。
Figure BDA0003404759460000155
中是第ε层注意力模块的输出矩阵，表示学生的学习状态的矩阵。然后本发明将学生的学习状态和下一个时间间隔后的题目-时间间隔嵌入来做一个点积*，预测学生在第n+1个时间间隔后的表现
Figure BDA0003404759460000156
Figure BDA0003404759460000157
损失函数：为了学习模型中的所有参数以及训练过程中的嵌入矩阵，本发明选择预测
Figure BDA0003404759460000158
和实际答案Xn+1之间的交叉熵对数损失作为本发明模型的损失函数，其公式如下:
Figure BDA0003404759460000159
然后，基于本实施例提供的知识追踪方法实现学生的知识追踪后，可以通过使用热力图等可视化方法将知识追踪的结果可视化，根据可视化的结果中学生对于每个题目及知识点的掌握情况来制定对应的个性化的学习方案。
本实施例的总体思路：系统收集学生在线学习过程中得到的做题序列，将学生答题序列中的题目按顺序连成图，根据对错的频率给边赋予权重，将得到的加权有向图使用随机游走算法得到初步的嵌入，然后收集计算不同类型的题目属性对其影响的权重，聚合后得到最终的题目嵌入。将每个题目作答的间隔时间使用热编码的方式编码成跟题目嵌入维度相同的时间嵌入。把题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模块中，多层注意力机制包括问题注意力层、时间注意力层和门控融合层。问题注意力层用于对问题之间的相关性进行建模，时间注意力层用于对非线性的时间间隔相关性进行建模，门控融合层自适应地将二者所提取的信息结合起来，计算预测学生未来的学习状态。利用前述得到的知识追踪结果，将知识追踪结果可视化，指导学生学习。
收集学生在线学习过程中得到的做题序列构成一个加权有向图，使用图嵌入的方法得到题目的嵌入；将每个题目作答的间隔时间使用热编码的方式编码成跟题目嵌入维度相同的时间嵌入；把题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模块中预测学生未来的学习状态；将知识追踪结果可视化，指导学生学习。与以往的方法相比，使用图嵌入方法，考虑了与问题相关的各个因素在学习过程中对学生的影响，更加贴近真实的学习过程。考虑到细粒度下数据预测分类的难度，采用多层注意力机制的方法，融合问题嵌入和时间间隔嵌入，充分挖掘各个特征间的相关性，能够有效提高分类的精度；不用人为的确定特征标签，能够提高预测结果的准确性。
实施例二
本实施例提供了基于知识追踪的在线学习内容推荐系统；
基于知识追踪的在线学习内容推荐系统，包括：
获取模块，其被配置为：获取在线学习过程中得到的做题序列构成一个图结构；
图嵌入模块，其被配置为：对所述图结构进行图嵌入，得到题目的嵌入；
编码模块，其被配置为：将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；
推荐模块，其被配置为：将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。
此处需要说明的是，上述获取模块、图嵌入模块、编码模块和推荐模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于知识追踪的在线学习内容推荐方法，其特征是，包括：
获取在线学习过程中得到的做题序列构成一个图结构；
对所述图结构进行图嵌入，得到题目的嵌入；
将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；
将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。
2.如权利要求1所述的基于知识追踪的在线学习内容推荐方法，其特征是，获取在线学习过程中得到的做题序列构成一个图结构；具体包括：
设置滑动窗口，从历史做题记录中，得到连续做题时间段超过设定时间段的历史做题时间序列；
从滑动窗口选中的历史做题时间序列中，选择每个题目作为节点，将连续两个题目对应的节点之间采用有向边进行连接，根据若干次历史做题记录，计算连续两道题作对的频率，将频率值作为对应有向边的权重，从而得到加权有向图。
3.如权利要求1所述的基于知识追踪的在线学习内容推荐方法，其特征是，对所述图结构进行图嵌入，得到题目的嵌入；具体包括：
根据加权有向图，得到节点序列；
对节点序列，得到初步题目嵌入；
对初步题目嵌入，进行填充，得到最终题目嵌入；
将最终题目嵌入，输入到两层全连接神经网络中，得到最终题目嵌入表示向量。
4.如权利要求3所述的基于知识追踪的在线学习内容推荐方法，其特征是，对初步题目嵌入，进行填充，得到最终题目嵌入；具体包括：
对初步题目嵌入，补充其他类别的题目嵌入，得到最终题目嵌入；
其中，其他类别的题目嵌入，包括：题目所属知识点、做题的反应时间和学生对题目感到无聊的程度。
5.如权利要求1所述的基于知识追踪的在线学习内容推荐方法，其特征是，将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；具体包括：
将每个题目作答的间隔时间，使用热编码的方式编码成跟题目嵌入维度相同的时间间隔的嵌入；
将时间间隔的嵌入，输入到两层全连接神经网络中，得到最终时间间隔嵌入表示向量。
6.如权利要求1所述的基于知识追踪的在线学习内容推荐方法，其特征是，将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容；具体包括：
将最终题目嵌入表示向量和最终时间间隔嵌入表示向量进行拼接得到问题-时间嵌入；
将问题-时间嵌入输入到多层注意力模型中对模型进行训练，当损失函数值停止降低时，停止训练，得到训练后的多层注意力模型；
并基于训练后的多层注意力模型，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应难易度的题目或者推荐下一个关联知识点对应的学习内容。
7.如权利要求1所述的基于知识追踪的在线学习内容推荐方法，其特征是，
所述多层注意力模型，包括：依次连接的编码器和解码器；
所述编码器，包括：第一问题注意力机制模块、第一时间注意力机制模块和第一门控机制模块；所述第一问题注意力机制模块的输出端和第一时间注意力机制模块的输出端均与第一门控机制模块的输入端连接；
所述解码器，包括：第二问题注意力机制模块、第二时间注意力机制模块和第二门控机制模块；所述第二问题注意力机制模块的输出端和第二时间注意力机制模块的输出端均与第二门控机制模块的输入端连接；
或者，
所述第一问题注意力机制模块与第二问题注意力机制模块的工作原理是一致的；其中，第一问题注意力机制模块，用于学习问题与时间嵌入中不同顶点之间的关联，在不同的时间状态下，为不同的顶点分配不同的权重；
或者，
第一问题注意力机制模块，用于对所有顶点计算加权求和；
将注意力的隐藏状态和问题-时间嵌入相连接，采用内积运算来计算顶点之间的相关性；
对顶点之间的相关性进行归一化处理，得到注意力得分后，更新注意力的隐藏状态；
将单个注意力机制扩展为多个平行的多层注意力机制，使用多种不同的平行注意力机制与不同的投影连接起来；
或者，
第一时间注意力机制模块与第二时间注意力机制模块，工作原理是一致的，第一时间注意力机制模块，用于将当前时间间隔内学生总体的不同知识点掌握度和不同题目的时间间隔长度的隐藏状态，与问题-时间嵌入连接起来计算注意力得分；得到注意力得分后，更新隐藏状态；
或者，
第一门控机制模块与第二门控机制模块，工作原理是一致的；所述第一门控机制模块，用于将问题注意力机制和时间间隔注意力机制融合起来；将注意力层得到的代表学生对当前知识点掌握程度的矩阵和下一个时间间隔后的题目-时间间隔嵌入做内积运算，得到学生在下一个时间间隔内的当前知识点掌握程度得分。
8.基于知识追踪的在线学习内容推荐系统，其特征是，包括：
获取模块，其被配置为：获取在线学习过程中得到的做题序列构成一个图结构；
图嵌入模块，其被配置为：对所述图结构进行图嵌入，得到题目的嵌入；
编码模块，其被配置为：将每个题目作答的间隔时间，编码成跟题目嵌入维度相同的时间间隔的嵌入；
推荐模块，其被配置为：将题目的嵌入和时间间隔的嵌入相结合，然后输入到多层注意力模型中，预测在线学习内容的当前知识点掌握度，并根据当前知识点掌握度推荐当前知识点对应的题目或者推荐下一个关联知识点对应的学习内容。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202111509663.2A 2021-12-10 2021-12-10 基于知识追踪的在线学习内容推荐方法及系统 Active CN114385910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111509663.2A CN114385910B (zh) 2021-12-10 2021-12-10 基于知识追踪的在线学习内容推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111509663.2A CN114385910B (zh) 2021-12-10 2021-12-10 基于知识追踪的在线学习内容推荐方法及系统

Publications (2)

Publication Number Publication Date
CN114385910A true CN114385910A (zh) 2022-04-22
CN114385910B CN114385910B (zh) 2024-09-06

Family

ID=81195330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111509663.2A Active CN114385910B (zh) 2021-12-10 2021-12-10 基于知识追踪的在线学习内容推荐方法及系统

Country Status (1)

Country Link
CN (1) CN114385910B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541538A (zh) * 2023-07-06 2023-08-04 广东信聚丰科技股份有限公司 基于大数据的智慧学习知识点挖掘方法及系统
CN117743699A (zh) * 2024-02-20 2024-03-22 山东省计算中心（国家超级计算济南中心） 一种基于dkt与汤普森采样算法的习题推荐方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033808A (zh) * 2021-03-08 2021-06-25 西北大学 一种基于习题难度和学生能力的深度嵌入知识追踪方法
CN113268611A (zh) * 2021-06-24 2021-08-17 北京邮电大学 一种基于深度知识跟踪与强化学习的学习路径优化方法
CN113360635A (zh) * 2021-06-25 2021-09-07 中国科学技术大学 一种基于自注意和预训练机制的智能教学方法及系统
CN113610235A (zh) * 2021-08-03 2021-11-05 北京航空航天大学 一种基于深度知识追踪的适应性学习支持装置及方法
KR20210141419A (ko) * 2021-02-02 2021-11-23 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210141419A (ko) * 2021-02-02 2021-11-23 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법
CN113033808A (zh) * 2021-03-08 2021-06-25 西北大学 一种基于习题难度和学生能力的深度嵌入知识追踪方法
CN113268611A (zh) * 2021-06-24 2021-08-17 北京邮电大学 一种基于深度知识跟踪与强化学习的学习路径优化方法
CN113360635A (zh) * 2021-06-25 2021-09-07 中国科学技术大学 一种基于自注意和预训练机制的智能教学方法及系统
CN113610235A (zh) * 2021-08-03 2021-11-05 北京航空航天大学 一种基于深度知识追踪的适应性学习支持装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王秀君；王新华；徐连诚: "一种链路不相交的多约束QoS路由算法", 计算机应用与软件, no. 03, 15 March 2008 (2008-03-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541538A (zh) * 2023-07-06 2023-08-04 广东信聚丰科技股份有限公司 基于大数据的智慧学习知识点挖掘方法及系统
CN116541538B (zh) * 2023-07-06 2023-09-01 广东信聚丰科技股份有限公司 基于大数据的智慧学习知识点挖掘方法及系统
CN117743699A (zh) * 2024-02-20 2024-03-22 山东省计算中心（国家超级计算济南中心） 一种基于dkt与汤普森采样算法的习题推荐方法及系统
CN117743699B (zh) * 2024-02-20 2024-05-14 山东省计算中心（国家超级计算济南中心） 一种基于dkt与汤普森采样算法的习题推荐方法及系统

Also Published As

Publication number Publication date
CN114385910B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN110428010B (zh) 知识追踪方法
CN112116092B (zh) 可解释性知识水平追踪方法、系统和存储介质
CN108647233A (zh) 一种用于问答系统的答案排序方法
CN111582694A (zh) 一种学习评估方法及装置
CN114385910B (zh) 基于知识追踪的在线学习内容推荐方法及系统
CN112115352A (zh) 基于用户兴趣的会话推荐方法及系统
CN109165720A (zh) 神经网络模型压缩方法、装置和计算机设备
CN113762595B (zh) 通行时间预测模型训练方法、通行时间预测方法及设备
CN109086892A (zh) 一种基于一般依赖树的视觉问题推理模型及系统
CN112990464B (zh) 一种知识追踪方法及系统
CN113591988B (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
CN112116137A (zh) 一种基于混合深度神经网络的学生辍课预测方法
Zhou et al. Functional networks and applications: A survey
WO2023231513A1 (zh) 对话内容的生成方法及装置、存储介质、终端
CN114567815A (zh) 一种基于预训练的慕课自适应学习系统构建方法和装置
CN114398500B (zh) 一种基于图增强预训练模型的事件预测方法
CN114038516B (zh) 一种基于变分自编码器的分子生成与优化方法
CN115809464A (zh) 基于知识蒸馏的轻量级源代码漏洞检测方法
CN114742671A (zh) 基于图神经网络的认知诊断方法、系统和存储介质
CN117131979A (zh) 基于有向超图及注意力机制的交通流速度预测方法及系统
CN114661874B (zh) 基于多角度语义理解与自适应双通道的视觉问答方法
CN116910190A (zh) 多任务感知模型获取方法、装置、设备及可读存储介质
CN112256858B (zh) 融合问题模式和答题结果的双卷积知识追踪方法及系统
CN113688204A (zh) 一种利用相似场景及混合注意力的多人会话情感预测方法
CN115035712B (zh) 城市交通信号控制方案推荐方法、系统、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant