CN113378581B - 一种基于多元概念注意力模型的知识追踪方法及系统 - Google Patents

一种基于多元概念注意力模型的知识追踪方法及系统 Download PDF

Info

Publication number
CN113378581B
CN113378581B CN202110710894.3A CN202110710894A CN113378581B CN 113378581 B CN113378581 B CN 113378581B CN 202110710894 A CN202110710894 A CN 202110710894A CN 113378581 B CN113378581 B CN 113378581B
Authority
CN
China
Prior art keywords
attention
knowledge
module
learner
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110710894.3A
Other languages
English (en)
Other versions
CN113378581A (zh
Inventor
徐斌
吴豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202110710894.3A priority Critical patent/CN113378581B/zh
Publication of CN113378581A publication Critical patent/CN113378581A/zh
Application granted granted Critical
Publication of CN113378581B publication Critical patent/CN113378581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于多元概念注意力模型的知识追踪方法及系统，该方法包括以下步骤：获取学习者的历史习题回答的交互序列；建立多元概念注意力模型，根据学习者的习题键索引将历史习题回答的交互序列划分为多个不同大小的注意力模块；建立多元语义注意力模型，对上下文的内容和注意力模块数据进行整合；通过注意力分类层计算待测试的习题键索引的知识概念分布权重；将分类注意力分数值和历史回答向量相乘，获取学习者对新习题回答的特征分数值；根据特征分数值和待测试的习题键索引计算学习者对当前题目正确回答的概率，遍历与当前知识状态相似的历史习题，更新知识状态，从而准确的构建适合学习者的学习路线。

Description

一种基于多元概念注意力模型的知识追踪方法及系统
技术领域
本发明属于教育数据挖掘和知识追踪领域，具体涉及一种基于多元概念注意力模型的知识追踪方法及系统。
背景技术
随着大数据技术的迅猛发展，教育领域也引入了数据挖掘技术。尤其在互联网快速扩张的今天，在线学习平台被越来越多人关注和使用。知识追踪作为在线学习教育系统的重要组成部分，一直是众多研究的焦点。根据学习者的历史答题序列，抽象出习题的知识点和概念，知识追踪对学习者和习题进行交互建模，掌握不同时期学习者的知识状态，从而预测其对新习题的回答情况，以便对学习者个性化地学习。
传统的知识追踪方法大多只评价习题之间的相关性，而没有注意到涉及多个概念的习题之间的关联。知识追踪领域有两个经典的模型。以贝叶斯知识追踪(BayesianKnowledgeTracing,BKT)为代表的模型，其使用隐马尔可夫模型(Hidden MarkovModel)建模，模拟学习者对概念的两种知识状态，即掌握和未掌握状态。采用与学习者是否正确回答相关的先验概率，并且利用四个总要参数来更新学习者的知识状态。该模型的优点是一定程度上模拟了历史学习过程中存在的相关性；但不足是四个重要参数数值是随机生成，没有包含学习者的学习信息。
深度学习模型(Deep Learning Model)，它使用了循环神经网络(RecurrentNeural Network,RNN)构建高维度隐藏状态来模拟带有记忆性的学习者学习过程，进而预测学习者的答题表现。典型代表为深度知识追踪(Deep Knowledge Tracing,DKT)。本模型的优势是，神经网络易训练且收敛快；不足是模型存在解释性差和学习者知识状态模拟不佳的问题，理论解释方面还有待提高。
可见，现有技术由于理论和技术层面存在的问题，无法获得较好的知识追踪模型，进而影响知识追踪效果。针对上述的缺陷，亟需一种新的知识追踪方法或模型来改进需求，进而完善知识追踪的应用。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于多元概念注意力模型的知识追踪方法及系统，可以全方面处理多元和复杂概念的习题，从而很好地将多领域的问题迁移到新出现的习题上，实现学习者对待测试题认知状态的检测，并且预测学习者知识状态掌握程度。
本发明的目的是通过以下技术方案来实现的：
一方面，本申请提出一种基于多元概念注意力模型的知识追踪方法，该方法包括：
(1)获取学习者的历史习题回答的交互序列；所述交互序列包括习题标签和回答情况；所述习题标签包含习题键索引k和知识概念索引c；根据时间轴顺序，将历史习题回答的交互序列与知识组件组合成一个含有知识状态的序列；
(2)建立多元概念注意力模型；
根据学习者的习题键索引k将历史习题回答的交互序列X划分为M个不同大小的注意力模块；每个注意力模块中知识概念索引c和习题键索引k做注意力映射，得到数据单元的习题键索引；结合注意力模块中每个数据单元的注意力分数值，得到每个注意力模块的输出数据；
(3)建立多元语义注意力模型；
所述多元语义注意力模型包括依次连接的输入层、情感意识注意层和长短期记忆网络；
将每个注意力模块的输出数据Ym通过输入层传入情感意识注意层；所述情感意识注意层中，利用上下文的内容和内容语义关系计算上下文组块数据cot；
将Ym和cot按矩阵行拼接构成第m个注意力模块的注意力特征向量int；
将int输入长短期记忆网络，在长短期记忆网络中整合上下文组块之间的相似性；所述长短期记忆网络由记忆元组、激活函数和门控单元组成；所述门控单元用于更新cot，从而对学习者的知识状态进行追踪；
将更新后的cot与Ym拼接构成第m个注意力模块的最终注意力特征向量
Figure BDA0003133714930000021
(4)将步骤(3)得到的
Figure BDA0003133714930000022
传入注意力分类层，所述注意力分类层将/>
Figure BDA0003133714930000023
和待测试的习题键索引进行范围点积，然后通过全连接层和Softmax激活函数归一化计算待测试的习题键索引的知识概念分布权重，用分类注意力分数值表示；
(5)将分类注意力分数值和历史回答向量相乘，获取学习者对新习题回答的特征分数值；
(6)根据特征分数值和待测试的习题键索引计算学习者对当前题目正确回答的概率，遍历与当前知识状态相似的历史习题，更新知识状态。
进一步地，所述步骤(2)中，第m个注意力模块的输出数据Ym表示为：
Figure BDA0003133714930000024
其中m*为第m个注意力模块的数据单元总数，km,i为第m个注意力模块的第i个数据单元的习题键索引，
Figure BDA0003133714930000025
为第m个注意力模块的第i个数据单元的注意力分数值；
Figure BDA0003133714930000026
其中
Figure BDA0003133714930000031
为第m个注意力模块的权值矩阵Wm和第m个注意力模块的第i个数据单元的习题键索引km,i的交互值，其表示为：
Figure BDA0003133714930000032
进一步地，所述步骤(3)中，上下文组块数据cot表示为：
Figure BDA0003133714930000033
其中N为上下文组块的总数，kt,i为第t时刻第i个上下文组块的习题键索引，αt,i为第t时刻第i个上下文组块的注意力分数值；
Figure BDA0003133714930000034
其中ht-1是长短期记忆网络的隐含状态，Wi h是长短期记忆网络中隐含状态ht-1和第i个注意力分数值连接的权值矩阵，Wi是kt,i的注意力分数值的权值矩阵，
Figure BDA0003133714930000035
表示矩阵按行拼接的运算。
进一步地，所述步骤(3)中，通过门控单元更新上下文组块数据cot，表示为：
cot＝ft⊙cot-1+it⊙gt
Figure BDA0003133714930000036
ht＝ot⊙Tanh(cot)
其中ft是遗忘门，控制知识概念的遗忘情况；it是输入门，控制知识概念的记忆情况；ht是长短期记忆网络中第t个隐含状态；gt是注意力特征向量int中保存下来有效的数据，表示经过情感意识注意层保留下来的知识概念；Wg是长短期记忆网络的隐含状态ht-1和注意力特征向量int按行拼接的权值矩阵；ot是输出门，控制记忆元组有效知识概念的输出；⊙表示矩阵的基本积运算；更新后的cot用于多元语义注意力模型中特征信息的预测和对下一时刻注意力映射的指示。
进一步地，在多元语义注意力模型训练过程中，利用交叉熵损失函数来评估模型收敛程度，运用反向传播算法对模型参数进行训练，直至整个模型网络收敛；依据学习者t时刻的回答情况，学习者对当前题目正确回答的概率采用交叉熵损失函数L为：
Figure BDA0003133714930000037
其中rt表示学习者答题的真实结果数据；pt表示计算学习者对当前题目回答的预测值。
进一步地，将计算所得习题回答数据和习题回答的真实结果正确作比较，计算模型的损失函数，通过损失函数最小化，获取隐含状态权值矩阵的最优值。
另一方面，本申请提出一种基于多元概念注意力模型的知识追踪系统，该系统包括：
学习者答题数据集模块：获取学习者的历史习题回答的交互序列；所述交互序列包括习题标签和回答情况；所述习题标签包含习题键索引k和知识概念索引c；根据时间轴顺序，将历史习题回答的交互序列与知识组件组合成一个含有知识状态的序列；
多元概念注意力模型模块：根据学习者的习题键索引k将历史习题回答的交互序列X划分为M个不同大小的注意力模块；每个注意力模块中知识概念索引c和习题键索引k做注意力映射，得到数据单元的习题键索引；结合注意力模块中每个数据单元的注意力分数值，得到每个注意力模块的输出数据；
多元语义注意力模型模块：多元语义注意力模型包括依次连接的输入层、情感意识注意层和长短期记忆网络；将每个注意力模块的输出数据Ym通过输入层传入情感意识注意层；情感意识注意层中，利用上下文的内容和内容语义关系计算上下文组块数据cot；将Ym和cot按矩阵行拼接构成第m个注意力模块的注意力特征向量int；将int输入长短期记忆网络，在长短期记忆网络中整合上下文组块之间的相似性；所述长短期记忆网络由记忆元组、激活函数和门控单元组成；所述门控单元用于更新cot，从而对学习者的知识状态进行追踪；将更新后的cot与Ym拼接构成第m个注意力模块的最终注意力特征向量
Figure BDA0003133714930000041
注意力分类层：将多元语义注意力模型模块得到的
Figure BDA0003133714930000042
传入注意力分类层，注意力分类层将/>
Figure BDA0003133714930000043
和待测试的习题键索引进行范围点积，然后通过全连接层和Softmax激活函数归一化计算待测试的习题键索引的知识概念分布权重，用分类注意力分数值表示；
特征分数值计算层：将分类注意力分数值和历史回答向量相乘，获取学习者对新习题回答的特征分数值；
知识状态更新模块：根据特征分数值和待测试的习题键索引计算学习者对当前题目正确回答的概率，遍历与当前知识状态相似的历史习题，更新知识状态。
进一步地，所述多元概念注意力模型模块中，第m个注意力模块的输出数据Ym表示为：
Figure BDA0003133714930000044
其中m*为第m个注意力模块的数据单元总数，km,i为第m个注意力模块的第i个数据单元的习题键索引，
Figure BDA0003133714930000045
为第m个注意力模块的第i个数据单元的注意力分数值；
Figure BDA0003133714930000046
其中
Figure BDA0003133714930000047
为第m个注意力模块的权值矩阵Wm和第m个注意力模块的第i个数据单元的习题键索引km,i的交互值，其表示为：
Figure BDA0003133714930000048
进一步地，所述多元语义注意力模型模块中，上下文组块数据cot表示为：
Figure BDA0003133714930000051
其中N为上下文组块的总数，kt,i为第t时刻第i个上下文组块的习题键索引，αt,i为第t时刻第i个上下文组块的注意力分数值；
Figure BDA0003133714930000052
其中ht-1是长短期记忆网络的隐含状态，Wi h是长短期记忆网络中隐含状态ht-1和第i个注意力分数值连接的权值矩阵，Wi是kt,i的注意力分数值的权值矩阵，
Figure BDA0003133714930000053
表示矩阵按行拼接运算。
进一步地，所述多元语义注意力模型模块中，通过门控单元更新上下文组块数据cot，表示为：
cot＝ft⊙cot-1+it⊙gt
Figure BDA0003133714930000054
/>
ht＝ot⊙Tanh(cot)
其中ft是遗忘门，控制知识概念的遗忘情况；it是输入门，控制知识概念的记忆情况；ht是长短期记忆网络中第t个隐含状态；gt是注意力特征向量int中保存下来有效的数据，表示经过情感意识注意层保留下来的知识概念；Wg是长短期记忆网络的隐含状态ht-1和注意力特征向量int按行拼接的权值矩阵；ot是输出门，控制记忆元组有效知识概念的输出；⊙表示矩阵的基本积运算；更新后的cot用于多元语义注意力模型中特征信息的预测和对下一时刻注意力映射的指示。
总体而言，本发明所构思的以上技术方案与现有技术相比，具有以下技术效果：
本发明提供的基于多元概念注意力模型的知识追踪方法，其通过建立随时间序列的多元概念注意力模型和多元语义注意力模型，挖掘多元习题，知识概念之间的相似性与特征性，有利于解释深度学习对知识追踪的促进作用，学习者能更好地掌握和更新知识状态。根据知识状态矩阵，情感意识注意层，长短期神经网络构建的多元语义注意力的神经网络，设计了上下文组块的注意力分数值来解决多元知识概念下，知识点分散导致所需要的知识状态随时间削弱的问题。遍历所有的情感意识注意层，传入长短期记忆神经网络模型中，更新模型参数矩阵；根据所有整合的注意力模块，计算出学习者对新习题的知识状态。根据注意力机制更好的模拟出知识状态的变化，解决了多元概念信息忽视的问题，同时解决了不同概念对知识点多样性的限制影响。
附图说明
图1是本发明实施例提供的基于多元概念注意力模型的知识追踪方法的流程图；
图2是本发明实施例提供的长短期记忆神经网络模型的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
图1为本发明实施例提供的基于多元概念注意力模型的知识追踪方法的流程图，如图1所示，该方法包括以下步骤：
(1)获取学习者的历史习题回答的交互序列；所述交互序列包括习题标签和回答情况；所述习题标签包含习题键索引k和知识概念索引c；根据时间轴顺序，将历史习题回答的交互序列与知识组件组合成一个含有知识状态的序列；当前时间记为t，时间轴中有t-1个历史时间点1,2,…,t-1；将历史习题回答的交互序列记为X＝{x1,x2,…,xt-1}，习题概念序列记为C＝{c1,c2,…,ct-1}；学习者对习题键索引kt的回答向量记为rt，rt＝1表示回答正确，rt＝0表示回答错误。
(2)建立多元概念注意力模型；
根据学习者的习题键索引k将历史习题回答的交互序列X划分为M个注意力模块，以便将冗长的历史习题回答习的交互序列划分成若干小段的注意力模块；每个注意力模块的大小不同，较大的注意力模块包含更多的知识概念信息；每个注意力模块中知识概念索引c和习题键索引k做注意力映射，得到数据单元的习题键索引；为了使得多元概念注意力模型能够关注更多的知识组件信息，结合注意力模块中每个数据单元的注意力分数值，得到每个注意力模块的输出数据，第m个注意力模块的输出数据Ym定义为：
Figure BDA0003133714930000061
其中m*为第m个注意力模块的数据单元总数，km,i为第m个注意力模块的第i个数据单元的习题键索引，
Figure BDA0003133714930000062
为第m个注意力模块的第i个数据单元的注意力分数值；
Figure BDA0003133714930000063
其中
Figure BDA0003133714930000064
为第m个注意力模块的权值矩阵Wm和第m个注意力模块的第i个数据单元的习题键索引km,i的交互值，其表示为：
Figure BDA0003133714930000071
(3)建立多元语义注意力模型；
所述多元语义注意力模型包括依次连接的输入层、情感意识注意层和长短期记忆网络；
将每个注意力模块的输出数据Ym通过输入层传入情感意识注意层；所述情感意识注意层中，利用上下文的内容和内容语义关系计算上下文组块数据cot，更好地整合起多元概念信息，上下文组块数据cot表示为：
Figure BDA0003133714930000072
其中N为上下文组块的总数，kt,i为第t时刻第i个上下文组块的习题键索引，αt,i为第t时刻第i个上下文组块的注意力分数值；
Figure BDA0003133714930000073
其中ht-1是长短期记忆网络的隐含状态，Wi h是长短期记忆网络中隐含状态ht-1和第i个注意力分数值连接的权值矩阵，Wi是kt,i的注意力分数值的权值矩阵，
Figure BDA0003133714930000074
表示矩阵按行拼接的运算。
将Ym和cot按矩阵行拼接构成第m个注意力模块的注意力特征向量int：
Figure BDA0003133714930000075
将注意力特征向量int输入长短期记忆网络，在长短期记忆网络中整合上下文组块之间的相似性；所述长短期记忆网络由1个记忆元组、1个激活函数和3个门控单元组成；所述门控单元用于更新上下文组块数据cot，从而对学习者的知识状态进行追踪，表示为：
cot＝ft⊙cot-1+it⊙gt
Figure BDA0003133714930000076
ht＝ot⊙Tanh(cot)
其中ft是遗忘门，控制知识概念的遗忘情况；it是输入门，控制知识概念的记忆情况；ht是长短期记忆网络中第t个隐含状态；gt是注意力特征向量int中保存下来有效的数据，表示经过情感意识注意层保留下来的知识概念；Wg是长短期记忆网络的隐含状态ht-1和注意力特征向量int按行拼接的权值矩阵；ot是输出门，控制记忆元组有效知识概念的输出；更新后的cot用于多元语义注意力模型中特征信息的预测和对下一时刻注意力映射的指示；⊙表示矩阵的基本积运算。
将更新后的cot与Ym拼接构成第m个注意力模块的最终注意力特征向量
Figure BDA0003133714930000077
(4)将步骤(3)得到的最终注意力特征向量
Figure BDA0003133714930000078
传入注意力分类层，所述注意力分类层将最终注意力特征向量/>
Figure BDA0003133714930000081
和待测试的习题键索引进行范围点积，然后通过全连接层和Softmax激活函数归一化计算待测试的习题键索引的知识概念分布权重，用分类注意力分数值表示；
(5)将分类注意力分数值和历史回答向量相乘，获取学习者对新习题回答的特征分数值；
(6)根据特征分数值和待测试的习题键索引计算学习者对当前题目正确回答的概率，遍历与当前知识状态相似的历史习题，更新知识状态。
在多元语义注意力模型训练过程中，利用交叉熵损失函数来评估模型收敛程度，运用反向传播算法对模型参数进行训练，直至整个模型网络收敛；依据学习者t时刻的回答情况，学习者对当前题目正确回答的概率采用交叉熵损失函数L为：
Figure BDA0003133714930000082
其中rt表示学习者答题的真实结果数据；pt表示计算学习者对当前题目回答的预测值。
本实施例的实验结果衡量指标是Area Under Curve(AUC)，它的定义为ROC曲线下与坐标围成的面积。AUC数值介于0.5到1，数值越大，模型的准确性越高。本实施例提供的方法在公开数据集Assistments2009，Assistments2015，Assistments2017和Statics 2010上的AUC测试结果优于现有的知识追踪方法预测结果。
表1为本发明的知识追踪方法和现有技术对学习者习题回答的预测表现
Assistments2009 Assistments2015 Assistments2017 Statics 2010
BKT 0.68 0.66 0.70 0.74
DKT 0.82 0.73 0.74 0.82
本发明方法 0.82 0.90 0.81 0.84
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围内。

Claims (10)

1.一种基于多元概念注意力模型的知识追踪方法，其特征在于，该方法包括：
(1)获取学习者的历史习题回答的交互序列；所述交互序列包括习题标签和回答情况；所述习题标签包含习题键索引k和知识概念索引c；根据时间轴顺序，将历史习题回答的交互序列与知识组件组合成一个含有知识状态的序列；
(2)建立多元概念注意力模型；
根据学习者的习题键索引k将历史习题回答的交互序列X划分为M个不同大小的注意力模块；每个注意力模块中知识概念索引c和习题键索引k做注意力映射，得到数据单元的习题键索引；结合注意力模块中每个数据单元的注意力分数值，得到每个注意力模块的输出数据；
(3)建立多元语义注意力模型；
所述多元语义注意力模型包括依次连接的输入层、情感意识注意层和长短期记忆网络；
将每个注意力模块的输出数据Ym通过输入层传入情感意识注意层；所述情感意识注意层中，利用上下文的内容和内容语义关系计算上下文组块数据cot；
将Ym和cot按矩阵行拼接构成第m个注意力模块的注意力特征向量int；
将int输入长短期记忆网络，在长短期记忆网络中整合上下文组块之间的相似性；所述长短期记忆网络由记忆元组、激活函数和门控单元组成；所述门控单元用于更新cot，从而对学习者的知识状态进行追踪；
将更新后的cot与Ym拼接构成第m个注意力模块的最终注意力特征向量
Figure FDA0003133714920000011
(4)将步骤(3)得到的
Figure FDA0003133714920000012
传入注意力分类层，所述注意力分类层将/>
Figure FDA0003133714920000013
和待测试的习题键索引进行范围点积，然后通过全连接层和Softmax激活函数归一化计算待测试的习题键索引的知识概念分布权重，用分类注意力分数值表示；
(5)将分类注意力分数值和历史回答向量相乘，获取学习者对新习题回答的特征分数值；
(6)根据特征分数值和待测试的习题键索引计算学习者对当前题目正确回答的概率，遍历与当前知识状态相似的历史习题，更新知识状态。
2.根据权利要求1所述的一种基于多元概念注意力模型的知识追踪方法，其特征在于，所述步骤(2)中，第m个注意力模块的输出数据Ym表示为：
Figure FDA0003133714920000014
其中m*为第m个注意力模块的数据单元总数，km，i为第m个注意力模块的第i个数据单元的习题键索引，
Figure FDA0003133714920000015
为第m个注意力模块的第i个数据单元的注意力分数值；
Figure FDA0003133714920000021
其中
Figure FDA0003133714920000022
为第m个注意力模块的权值矩阵Wm和第m个注意力模块的第i个数据单元的习题键索引km，i的交互值，其表示为：
Figure FDA0003133714920000023
/>
3.根据权利要求1所述的一种基于多元概念注意力模型的知识追踪方法，其特征在于，所述步骤(3)中，上下文组块数据cot表示为：
Figure FDA0003133714920000024
其中N为上下文组块的总数，kt，i为第t时刻第i个上下文组块的习题键索引，αt，i为第t时刻第i个上下文组块的注意力分数值；
Figure FDA0003133714920000025
其中ht-1是长短期记忆网络的隐含状态，
Figure FDA0003133714920000026
是长短期记忆网络中隐含状态ht-1和第i个注意力分数值连接的权值矩阵，Wi是kt，i的注意力分数值的权值矩阵，/>
Figure FDA0003133714920000027
表示矩阵按行拼接的运算。
4.根据权利要求1所述的一种基于多元概念注意力模型的知识追踪方法，其特征在于，所述步骤(3)中，通过门控单元更新上下文组块数据cot，表示为：
cot＝ft⊙cot-1+it⊙gt
Figure FDA0003133714920000028
ht＝ot⊙Tanh(cot)
其中ft是遗忘门，控制知识概念的遗忘情况；it是输入门，控制知识概念的记忆情况；ht是长短期记忆网络中第t个隐含状态；gt是注意力特征向量int中保存下来有效的数据，表示经过情感意识注意层保留下来的知识概念；Wg是长短期记忆网络的隐含状态ht-1和注意力特征向量int按行拼接的权值矩阵；ot是输出门，控制记忆元组有效知识概念的输出；⊙表示矩阵的基本积运算；更新后的cot用于多元语义注意力模型中特征信息的预测和对下一时刻注意力映射的指示。
5.根据权利要求1所述的一种基于多元概念注意力模型的知识追踪方法，其特征在于，在多元语义注意力模型训练过程中，利用交叉熵损失函数来评估模型收敛程度，运用反向传播算法对模型参数进行训练，直至整个模型网络收敛；依据学习者t时刻的回答情况，学习者对当前题目正确回答的概率采用交叉熵损失函数L为：
Figure FDA0003133714920000031
其中rt表示学习者答题的真实结果数据；pt表示计算学习者对当前题目回答的预测值。
6.根据权利要求5所述的一种基于多元概念注意力模型的知识追踪方法，其特征在于，将计算所得习题回答数据和习题回答的真实结果正确作比较，计算模型的损失函数，通过损失函数最小化，获取隐含状态权值矩阵的最优值。
7.一种基于多元概念注意力模型的知识追踪系统，其特征在于，该系统包括：
学习者答题数据集模块：获取学习者的历史习题回答的交互序列；所述交互序列包括习题标签和回答情况；所述习题标签包含习题键索引k和知识概念索引c；根据时间轴顺序，将历史习题回答的交互序列与知识组件组合成一个含有知识状态的序列；
多元概念注意力模型模块：根据学习者的习题键索引k将历史习题回答的交互序列X划分为M个不同大小的注意力模块；每个注意力模块中知识概念索引c和习题键索引k做注意力映射，得到数据单元的习题键索引；结合注意力模块中每个数据单元的注意力分数值，得到每个注意力模块的输出数据；
多元语义注意力模型模块：多元语义注意力模型包括依次连接的输入层、情感意识注意层和长短期记忆网络；将每个注意力模块的输出数据Ym通过输入层传入情感意识注意层；情感意识注意层中，利用上下文的内容和内容语义关系计算上下文组块数据cot；将Ym和cot按矩阵行拼接构成第m个注意力模块的注意力特征向量int；将int输入长短期记忆网络，在长短期记忆网络中整合上下文组块之间的相似性；所述长短期记忆网络由记忆元组、激活函数和门控单元组成；所述门控单元用于更新cot，从而对学习者的知识状态进行追踪；将更新后的cot与Ym拼接构成第m个注意力模块的最终注意力特征向量
Figure FDA0003133714920000032
注意力分类层：将多元语义注意力模型模块得到的
Figure FDA0003133714920000033
传入注意力分类层，注意力分类层将/>
Figure FDA0003133714920000034
和待测试的习题键索引进行范围点积，然后通过全连接层和Softmax激活函数归一化计算待测试的习题键索引的知识概念分布权重，用分类注意力分数值表示；
特征分数值计算层：将分类注意力分数值和历史回答向量相乘，获取学习者对新习题回答的特征分数值；
知识状态更新模块：根据特征分数值和待测试的习题键索引计算学习者对当前题目正确回答的概率，遍历与当前知识状态相似的历史习题，更新知识状态。
8.根据权利要求7所述的一种基于多元概念注意力模型的知识追踪系统，其特征在于，所述多元概念注意力模型模块中，第m个注意力模块的输出数据Ym表示为：
Figure FDA0003133714920000041
其中m*为第m个注意力模块的数据单元总数，km，i为第m个注意力模块的第i个数据单元的习题键索引，
Figure FDA0003133714920000042
为第m个注意力模块的第i个数据单元的注意力分数值；
Figure FDA0003133714920000043
其中
Figure FDA0003133714920000044
为第m个注意力模块的权值矩阵Wm和第m个注意力模块的第i个数据单元的习题键索引km，i的交互值，其表示为：
Figure FDA0003133714920000045
9.根据权利要求7所述的一种基于多元概念注意力模型的知识追踪系统，其特征在于，所述多元语义注意力模型模块中，上下文组块数据cot表示为：
Figure FDA0003133714920000046
其中N为上下文组块的总数，kt，i为第t时刻第i个上下文组块的习题键索引，αt，i为第t时刻第f个上下文组块的注意力分数值；
Figure FDA0003133714920000047
其中ht-1是长短期记忆网络的隐含状态，
Figure FDA0003133714920000048
是长短期记忆网络中隐含状态ht-1和第i个注意力分数值连接的权值矩阵，Wi是kt，i的注意力分数值的权值矩阵，/>
Figure FDA0003133714920000049
表示矩阵按行拼接运算。
10.根据权利要求7所述的一种基于多元概念注意力模型的知识追踪系统，其特征在于，所述多元语义注意力模型模块中，通过门控单元更新上下文组块数据cot，表示为：
cot＝ft⊙cot-1+it⊙gt
Figure FDA00031337149200000410
ht＝ot⊙Tanh(cot)
其中ft是遗忘门，控制知识概念的遗忘情况；it是输入门，控制知识概念的记忆情况；ht是长短期记忆网络中第t个隐含状态；gt是注意力特征向量int中保存下来有效的数据，表示经过情感意识注意层保留下来的知识概念；Wg是长短期记忆网络的隐含状态ht-1和注意力特征向量int按行拼接的权值矩阵；ot是输出门，控制记忆元组有效知识概念的输出；⊙表示矩阵的基本积运算；更新后的cot用于多元语义注意力模型中特征信息的预测和对下一时刻注意力映射的指示。
CN202110710894.3A 2021-06-25 2021-06-25 一种基于多元概念注意力模型的知识追踪方法及系统 Active CN113378581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710894.3A CN113378581B (zh) 2021-06-25 2021-06-25 一种基于多元概念注意力模型的知识追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710894.3A CN113378581B (zh) 2021-06-25 2021-06-25 一种基于多元概念注意力模型的知识追踪方法及系统

Publications (2)

Publication Number Publication Date
CN113378581A CN113378581A (zh) 2021-09-10
CN113378581B true CN113378581B (zh) 2023-06-06

Family

ID=77579091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710894.3A Active CN113378581B (zh) 2021-06-25 2021-06-25 一种基于多元概念注意力模型的知识追踪方法及系统

Country Status (1)

Country Link
CN (1) CN113378581B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971066A (zh) * 2022-06-16 2022-08-30 兰州理工大学 融合遗忘因素和学习能力的知识追踪方法及系统
CN116127048B (zh) * 2023-04-04 2023-06-27 江西师范大学 融合习题和学习行为表征的顺序自注意力知识追踪模型

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776581A (zh) * 2017-02-21 2017-05-31 浙江工商大学 基于深度学习的主观性文本情感分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170536A1 (en) * 2013-12-18 2015-06-18 William Marsh Rice University Time-Varying Learning and Content Analytics Via Sparse Factor Analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776581A (zh) * 2017-02-21 2017-05-31 浙江工商大学 基于深度学习的主观性文本情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合Bi-LSTM和注意力模型的问答系统研究;邵曦;陈明;;计算机应用与软件(第10期);全文 *

Also Published As

Publication number Publication date
CN113378581A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
Lykourentzou et al. Early and dynamic student achievement prediction in e‐learning courses using neural networks
CN109858797B (zh) 基于知识网络精准在线教育系统的多维度信息学情分析方法
CN113378581B (zh) 一种基于多元概念注意力模型的知识追踪方法及系统
CN113344053B (zh) 一种基于试题异构图表征与学习者嵌入的知识追踪方法
CN109615264A (zh) 一种面向在线学习的学生积极度确定系统
Fahid et al. Adaptively scaffolding cognitive engagement with batch constrained deep Q-networks
CN116186250A (zh) 小样本条件下的多模态学习水平挖掘方法、系统及介质
Firoozi et al. Using active learning methods to strategically select essays for automated scoring
Wang et al. Design and realization of a fuzzy comprehensive evaluation system for music teaching in higher education
CN115795015A (zh) 一种试题难度增强的综合知识追踪方法
Tang et al. Personalized Learning Behavior Evaluation Method Based on Deep Neural Network
Wang et al. College English Reading Teaching Integrating Production Oriented Approach from the Perspective of Artificial Intelligence
Zhou Research on teaching resource recommendation algorithm based on deep learning and cognitive diagnosis
Zou et al. A novel learning early-warning model based on knowledge points and question types
Yun et al. Interpretable educational recommendation: an open framework based on Bayesian principal component analysis
Pop Prediction in Pre-University Education System Using Machine Learning Methods.
Mi [Retracted] English Education Tutoring Teaching System Based on MOOC
Guo Application Integrated Deep Learning Networks Evaluation Methods of College English Teaching
Alnoman Will the Student Get an A Grade? Machine Learning-based Student Performance Prediction in Smart Campus
Wang et al. The Evaluation Model of College English Diagnostic Exercises Based on Machine Learning
Zhang An Exploration of the Reform of English Informatisation Teaching in Colleges and Universities Based on Deep Learning Model and Microteaching Mode
CN117349362A (zh) 一种动态知识认知层级挖掘方法、系统、设备及终端
Widiasti et al. Assessment of the level of student understanding in the distance learning process using Machine Learning
Bao Optimization and Combination Analysis of English Multimodule Learning Strategies based on Computational Intelligence
Jian Evaluation Method of English Online Education Effect Based on Machine Learning Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant