CN113360635B - 一种基于自注意和预训练机制的智能教学方法及系统 - Google Patents
一种基于自注意和预训练机制的智能教学方法及系统 Download PDFInfo
- Publication number
- CN113360635B CN113360635B CN202110713930.1A CN202110713930A CN113360635B CN 113360635 B CN113360635 B CN 113360635B CN 202110713930 A CN202110713930 A CN 202110713930A CN 113360635 B CN113360635 B CN 113360635B
- Authority
- CN
- China
- Prior art keywords
- test question
- student
- knowledge
- matrix
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 title claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 211
- 239000011159 matrix material Substances 0.000 claims abstract description 79
- 239000013598 vector Substances 0.000 claims abstract description 76
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000011835 investigation Methods 0.000 claims description 8
- 108091026890 Coding region Proteins 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
- G06F16/337—Profile generation, learning or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及一种基于自注意和预训练机制的智能教学方法及系统，其方法包括：S1：创建题库和学生信息，导入已有的学习记录；S2：根据题库中的试题、知识点关联性，以及试题被作答的整体情况，预先训练出试题的特征向量以及嵌入矩阵；S3：根据试题的特征向量、嵌入矩阵以及学习记录，利用两级自注意机制，对学生学习的状态进行跟踪，预测学生的作答结果；S4：根据预测学生的作答结果，结合题库中的试题的知识点，选择合适的试题集推荐给学生。本发明通过两级自注意力机制的上下文感知的追踪模型，以捕捉当前时刻的输入信息与用户的历史行为序列的关联，使得知识追踪更加关注学习的上下文场景，更加准确预测学生作答，并推荐合适的试题给学生。
Description
技术领域
本发明涉及智能教辅系统和知识追踪领域，具体涉及一种基于自注意和预训练机制的智能教学方法及系统。
背景技术
当今时代，学生的课业和课外压力越来越重。为了让学生能够更加高效地完成学习任务，减轻学习负担，智能教辅系统(ITS)应运而生。智能交付系统能够个性化、智能化地安排学生的学习，提高学生学习效率。在智能教辅系统中，学生拥有自主学习的权力。系统将根据学生的个人需要，以及学生对知识点掌握水平的追踪，提供不同的学习材料。系统的个性化学习安排是基于对学生的知识点掌握水平的准确追踪上的，因此知识追踪任务是系统的重中之重。学生学习的材料，与基础的知识点单元有重要的关联。根据每个学习材料的知识点试题内容，以及学生对不同学习材料的作答表现，可以追踪学生对相关联知识点的掌握情况。一个合适的模型将有助于精准的知识追踪。在学生模型的帮助下，智能教辅系统可以准确地跟踪学生的掌握水平，从而更加合理的规划未来的学习策略。被预测的掌握水平较低的知识点将被复习，被预测的掌握水平较高的知识点将被推迟复习，为新的学习材料预留时间。
早期的学习策略是基于人工设定的方法。其中，间隔效应和测试效应自19世纪被发现以来被广泛复制。间隔效应表明，在时间上分配学习片段比在一次性的学习更有利于长期记忆。测试效应则表示，学习后的自测比单纯的复习更有效。但是两者都只是基于人工设定的规则，没有学生作答结果的反馈，实际学生的学习表现可能和预期有较大的偏差。
稍后的研究集中在自适应和个性化的学习调度程序的开发，以提高抽认卡的长期记忆保持率。然而，大多数学习策略都是基于简单的数学模型，不能保证学生以高效率完成学习。如今的社会迈入大数据时代，数据量和计算机计算能力都得到了极大的提升。数据驱动型的算法，如知识追踪模型将更加适合这一需求。
知识追踪(KT)是指学生在参与一个或多个知识点学习的系列学习活动时，追踪学生知识状态演变的任务。早期的知识追踪模型是基于实验和经验得到的。艾宾浩斯通过记忆一些无意义的单词，根据不同时间段后回忆起这些单词的概率，绘制了遗忘曲线。后来，Corbett和Anderson应用贝叶斯知识追踪的方法(BKT)来评估用户知识掌握情况的变化。Rasch和Georg提出了将用户能力和项目难度的概念引入到学生作答的预测中，使得对不同学生的作答预测有了特异性。然而，这些传统的模型参数量少，难以适应当前数据多，影响因素多的众多场景，基于深度学习的方法势在必行。
最早将深度学习引入知识追踪领域的是深度知识追踪(Deep KnowledgeTracing,DKT)。DKT采用了RNN网络，通过RNN的隐状态追踪学生学习过程中的状态变化。学生对每个知识点的作答预测由隐状态和知识点对应的特征向量的内积运算获得。动态键值记忆网络(DKVMN)提出了一个键矩阵和值矩阵分别表示知识点特征和用户知识状态，使模型根据有解释性。Lee等人适用LSTM追踪学生的知识状态进行知识查询。Pandey和Karypis将transformer引入到知识追踪中，提出了基于自注意力机制的知识追踪。在此基础上，Ghosh等人提出了上下文感知的知识追踪(AKT)，提出了以两级自注意力结构来根据上下文信息追踪学生知识状态。Ghosh对于自注意机制也作出了适当的改进。然而，即便是当前性能最优的AKT方法也存在着一些可改进的地方：仅采用自注意机制的方法实际上不能很好地追踪学生知识状态在时间域上的波动；且更多的试题信息会有助于更加精确的知识追踪。
发明内容
为了解决上述技术问题，本发明提供一种基于自注意和预训练机制的智能教学系统。
步骤S1：创建题库和学生信息，导入已有的学习记录；
步骤S2：根据所述题库中的试题、知识点关联性，以及所述试题被作答的整体情况，预先训练出所述试题的特征向量以及嵌入矩阵；
步骤S3：根据所述试题的特征向量、嵌入矩阵以及所述学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；所述两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对所述试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态；
步骤S4：根据所述预测学生的作答结果，结合所述题库中的试题的知识点，选择合适的试题集推荐给学生。
本发明与现有技术相比，具有以下优点：
1、本发明公开了一种基于自注意和预训练机制的智能教学系统，采用了更加准确的知识追踪模型。通过预先训练试题特征向量，得到每道试题的特征描述；通过采用上下文感知的追踪模型，使得知识追踪更加关注学习的上下文场景，得到更加准确的学生作答预测。
2、本发明根据对学生过往知识点作答结果的追踪，总结出学生的知识点掌握水平变化。根据学生的学习阶段和需要，并结合学生的知识状态追踪结果，能够给出合适的学习内容推荐。有效地提升了智能教学系统的智能化水平。
附图说明
图1为本发明实施例中一种基于自注意和预训练机制的智能教学方法的流程图；
图2为本发明实施例中一种基于自注意和预训练机制的智能教学方法中步骤S2：根据题库中的试题、知识点关联性，以及试题被作答的整体情况，预先训练出试题的特征向量以及嵌入矩阵的流程图；
图3A为本发明实施例中试题相关性、知识点相关性和试题知识点相关性的拟合过程示意图；
图3B为本发明实施例中用于预测试题难度的PNN网络结构示意图；
图4为本发明实施例中一种基于自注意和预训练机制的智能教学方法中步骤S3：根据试题的特征向量、嵌入矩阵以及学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果的流程图；
图5为本发明实施例中利用两级自注意机制预测学生作答结果的流程示意图；
图6为本发明实施例中一种基于自注意和预训练机制的智能教学系统的结构框图。
具体实施方式
本发明提供了一种基于自注意和预训练机制的智能教学方法及系统，通过两级自注意力机制的上下文感知的追踪模型，以捕捉当前时刻的输入信息与用户的历史行为序列的关联，使得知识追踪更加关注学习的上下文场景，更加准确预测学生作答，并推荐合适的试题给学生。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于自注意和预训练机制的智能教学方法，包括下述步骤：
步骤S1：创建题库和学生信息，导入已有的学习记录；
步骤S2：根据题库中的试题、知识点关联性，以及试题被作答的整体情况，预先训练出试题的特征向量以及嵌入矩阵；
步骤S3：根据试题的特征向量、嵌入矩阵以及学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态；
步骤S4：根据预测学生的作答结果，结合题库中的试题的知识点，选择合适的试题集推荐给学生。
在一个实施例中，上述步骤S1：创建题库和学生信息，导入已有的学习记录，具体包括：
题库中试题信息包括：试题的文本、考察方式、候选答案、正确答案、来源和包含知识点；
学生信息包括：年龄、年级、性别和学校；
学习记录包括：学生id、试题id、时间戳、学生作答用时、是否求助、作答内容和作答结果。
本发明实施例通过题库中试题信息、学生信息以及学习记录，记录了学生的个人信息(如学生编号等)，试题的信息(试题的编号等)，相关知识点信息(如知识点的编号)，学习场景的描述(学习的时刻、时长、学习的方式等)。通过对学生的学习记录，以此推测学生对知识点的掌握程度，以及预测对某些试题的作答结果，以此为学生提供更加合理的学习内容推荐。
如图2所示，在一个实施例中，上述步骤S2：根据题库中的试题、知识点关联性，以及试题被作答的整体情况，预先训练出试题的特征向量以及嵌入矩阵，具体包括：
步骤S21：构建可训练的试题内容矩阵P∈R|P|×d，其中|P|是试题数量，d是单个试题内容向量的维度；P每一个行向量对应一个试题的内容向量；
构建可训练的知识点内容矩阵S∈R|S|×d，其中|S|是知识点数量；S每一个行向量对应一个知识点的内容向量；
步骤S22：基于矩阵P和矩阵S，构建试题知识点相关性Q矩阵，Q∈R|P|×|S|；当试题i包含知识点j，记Qij＝1；当试题i没包含知识点j，记Qij＝0；其中，|P|是试题的数量，|S|是知识点的数量；并根据试题i与知识点j的内容向量pi与sj的内积进行拟合，得到其推算值：其中，σ为sigmoid激活函数，/>
步骤S23：基于矩阵P和矩阵S，构建试题相关性矩阵A∈{0,1}|P|×|P|；当试题i与试题j包含了一个以上相同知识点时，视为两个试题相关，记Aij＝1；否则视为不相关，记Aij＝0；并根据试题i与试题j的内容向量pi与pj的内积进行拟合，得到其推算值
步骤S24：基于矩阵P和矩阵S，构建知识点相关性矩阵B∈{0,1}|P|×|P|；当试题同时包含了知识点i与知识点j时，视为两个知识点相关，记Bij＝1；否则视为不相关，记Bij＝0；并根据知识点i与知识点j的内容向量si与sj的内积进行拟合，得到其推算值：
图3A展示了上述试题相关性、知识点相关性和试题知识点相关性的拟合过程。
步骤S25：根据知识点内容矩阵S、试题内容矩阵P以及试题信息，输入PNN网络进行训练，预测试题难度，得到试题的嵌入矩阵E∈R|P|×D，并将隐向量e作为试题的特征向量,其中，D是e的维度，也是后续知识状态追踪器的众多参数的维度；同时，利用试题相关性矩阵A及其推算值A*、知识点相关性矩阵B及其推算值B*、试题知识点相关性矩阵Q及其推算值Q*，以及试题难度，构建损失函数训练PNN网络。
本步骤中，定义试题i的难度为：其中，pi是试题i的内容向量，/>是试题i包含的所有知识点的内容向量的平均值，infoi是试题的相关信息。
根据pi,infoi，构造向量集合/>其中，P＝[pij]∈R3×3，pij是zi与zj的内积，可得到：
其中，表示lz向量的第k个元素，/>表示lp向量的第k个元素；/>和/>分别为/>和/>对应的权重矩阵。
由此，可得到隐向量e＝ReLU(lz+lp+b)，b∈Rd是一个维度与lz和lp对应的偏置值向量。将e作为当前试题的特征向量，并可以得到对应的试题嵌入矩阵E∈R|P|×D,其中，D是e的维度。
进一步地，通过一层全连接层，得到试题难度的预测值：其中，wd∈RD和bd∈R分别是全连接层中可训练的权重向量和偏置值标量。
此外，预训练考虑了试题间关联性、知识点间关联性、试题与知识点间关联性，以及试题难度的预测结果。三类关系的推断值与实际值的偏差、试题难度推断值与实际值的偏差将以损失函数的形式体现。于是构造损失函数:
其中，BE是交叉熵运算函数：BE(a,b)＝-(alogb+(1-a)log(1-b)),a∈(0,1),b∈(0,1)。
图3B展示了用于预测试题难度的PNN网络结构示意图。
如图4所示，在一个实施例中，上述步骤S3：根据试题的特征向量、嵌入矩阵以及学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态，具体包括：
步骤S31：根据试题嵌入矩阵E∈R|P|×D和试题学习序列{q1,q2,...,qτ}，可得到τ时刻之前的试题嵌入序列Zτ＝{z1,…,zτ}；其中，τ＝1,2,...,T-1；
本步骤中，试题学习序列中的每一道试题都能从试题嵌入矩阵E中得到其对应的嵌入向量值。这些嵌入向量组合成为试题嵌入序列Zτ＝{z1,...,zτ}；
步骤S32：根据学生的历史作答记录，构造作答结果嵌入矩阵M∈R2×D，并构建学生的历史试题作答结果序列H＝{(q1,o1),...,(qi,oi),…,(qT,oT)}，其中，qi为学生在时刻i对应的作答试题，oi为学生在时刻i的作答结果，M矩阵的两行分别对应作答结果oi正确和错误的嵌入向量。
步骤S33：根据Q矩阵，可以得到与试题关联的知识点集合其中Ni是试题i包含的知识点数，由此可得到知识点嵌入向量集合/>对知识点嵌入向量集合求平均得到试题考察内容向量/>以及学习结果向量yi＝xi+mi，其中，mi是与学生对试题i作答结果oi相对应的作答结果嵌入向量；并结合历史试题作答结果序列H，获取对应的试题考察内容向量X＝{x1,...,xT-1}和学习结果向量Y＝{y1,...,yT-1}；
步骤S34：将Y输入GRU网络，输出学生的初级知识状态为其中，时刻τ＝1,...,T-1；由学生的初级知识状态/>可得到学生初级知识状态序列/>
步骤S35：在时刻τ，将试题考察内容向量Xτ＝{x1,…,xτ}和试题嵌入序列Zτ＝{z1,...,zτ}输入到基于自注意力机制的上下文的试题内容编码器，得到此时刻的基于上下文的试题内容编码：其中，时刻τ＝1,...,T-1；对时间步{2，3，…，T}，得到基于上下文的试题内容编码序列/>其中，自注意力机制采用多头自注意力层，其中每个自注意力头，可以表示为：/> 多头自注意力层拼接了多个自注意力头的结果：MultiHead(q，K,V)＝Concat(head1,...,headh)WO，其中，q表示当前时间步的输入对应的查询特征值，K表示的是过往时间步对应的键特征值，V表示的是过往时间步对应的输入值，h是自注意力头的数量，WO是一个维度与之匹配的矩阵；
步骤S36：将基于上下文的试题内容编码序列和学生初级知识状态序列/>输入基于自注意力机制的高级学生知识状态追踪器，得到T时刻高级学生知识状态：/>
步骤S37：将T时刻学生高级知识状态序列和T时刻的试题内容向量输入多层感知机网络，预测T时刻的学生作答结果
其中，MLP为多层感知机，concat为级联操作；
步骤S38：根据预测T时刻的学生作答结果和实际值oT，构建训练损失函数：
其中，BE为交叉熵损失函数。通过梯度下降的方式使得损失函数值下降，以此优化神经网络参数值。若验证数据集上的预测性能开始下降，则认为训练完成。
图5展示了利用两级自注意机制预测学生作答结果的流程示意图。
本发明通过预先训练试题特征向量，得到每道试题的特征描述；通过两级自注意力机制的上下文感知的追踪模型，以捕捉当前时刻的输入信息与用户的历史行为序列的关联，使得知识追踪更加关注学习的上下文场景，得到更加准确的学生作答预测。
在一个实施例中，上述步骤S4：根据预测学生的作答结果，结合题库中的试题的知识点，选择合适的试题推荐给学生。
根据步骤S3得到的预测学生的作答结果，结合题库中的试题的知识点，选择合适的试题集推荐给学生。
试题集包括各类试题和学习资料，将这些材料进行组合，生成试题和学习资料组合，同时，考虑不同难度的试题分布、学习材料的知识点分布、完成本次学习所需的时间、和材料的内容分布等。在本发明实施例中，将各方面的指标进行加权求和，得到最终的优化指标。并调用遗传算法对学习组合的结果进行优化。
本发明根据对学生过往知识点作答结果的追踪，总结出学生的知识点掌握水平变化。根据学生的学习阶段和需要，并结合学生的知识状态追踪结果，能够给出合适的学习内容推荐，有效地提升了智能教学系统的智能化水平。
实施例二
如图6所示，本发明实施例提供了一种基于自注意和预训练机制的智能教学系统，包括下述模块：
创建题库和学生信息模块41，用于创建题库和学生信息，导入已有的学习记录；
获取试题特征向量及嵌入矩阵模块42，用于根据题库中的试题、知识点关联性，以及试题被作答的整体情况，预先训练出试题的特征向量以及嵌入矩阵；
预测作答结果模块43，用于根据试题的特征向量、嵌入矩阵以及学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态；
推荐试题模块44，用于根据预测学生的作答结果，结合题库中的试题的知识点，选择合适的试题集推荐给学生。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (4)
1.一种基于自注意和预训练机制的智能教学方法，其特征在于，包括：
步骤S1：创建题库和学生信息，导入已有的学习记录；
步骤S2：根据所述题库中的试题、知识点关联性，以及所述试题被作答的整体情况，预先训练出所述试题的特征向量以及嵌入矩阵，具体包括：
步骤S21：构建可训练的试题内容矩阵P∈R|P|×d，其中|P|是试题数量，d是单个试题内容的维度；P每一个行向量对应一个试题的内容向量；
构建可训练的知识点内容矩阵S∈R|S|×d，其中|S|是知识点数量；
步骤S22：基于矩阵P和矩阵S，构建试题知识点相关性Q矩阵，Q∈R|P|×|S|；当所述试题i包含所述知识点j，记Qij＝1；当所述试题i没包含所述知识点j，记Qij＝0；其中，|P|是所述试题的数量，|S|是所述知识点的数量；并根据试题i与知识点j的内容向量pi与sj的内积进行拟合，得到其推算值：其中，σ为sigmoid激活函数，/>
步骤S23：基于矩阵P和矩阵S，构建试题相关性矩阵A∈{0,1}|P|×|P|；当所述试题i与所述试题j包含了一个以上相同知识点时，视为两个所述试题相关，记Aij＝1；否则视为不相关，记Aij＝0；并根据试题i与试题j的内容向量pi与pj的内积进行拟合，得到其推算值
步骤S24：基于矩阵P和矩阵S，构建知识点相关性矩阵B∈{0,1}|P|×|P|；当所述试题同时包含了所述知识点i与所述知识点j时，视为两个所述知识点相关，记Bij＝1；否则视为不相关，记Bij＝0；并根据知识点i与知识点j的内容向量si与sj的内积进行拟合，得到其推算值：
步骤S25：根据所述知识点内容矩阵S、所述试题内容矩阵P以及所述试题信息，输入PNN网络进行训练，预测试题难度，得到试题的嵌入矩阵E∈R|P|×D，并将隐向量e作为试题的特征向量，其中，D是e的维度，也是后续知识状态追踪器的众多参数的维度；同时，利用试题相关性矩阵A及其推算值A*、知识点相关性矩阵B及其推算值B*、试题知识点相关性矩阵Q及其推算值Q*，以及所述试题难度，构建损失函数训练所述PNN网络；
步骤S3：根据所述试题的特征向量、嵌入矩阵以及所述学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；所述两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对所述试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态；
步骤S4：根据所述预测学生的作答结果，结合所述题库中的试题的知识点，选择合适的试题集推荐给学生。
2.根据权利要求1所述的基于自注意和预训练机制的智能教学方法，其特征在于，所述步骤S1：创建题库和学生信息，导入已有的学习记录，具体包括：
所述题库中试题信息包括：所述试题的文本、考察方式、候选答案、正确答案、来源和包含知识点；
所述学生信息包括：年龄、年级、性别和学校；
所述学习记录包括：学生id、试题id、时间戳、学生作答用时、是否求助、作答内容和作答结果。
3.根据权利要求1所述的基于自注意和预训练机制的智能教学方法，其特征在于，所述步骤S3：根据所述试题的特征向量、嵌入矩阵以及所述学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；所述两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对所述试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态，具体包括：
步骤S31：根据所述试题嵌入矩阵E∈R|P|×D和试题学习序列{q1,q2,…,qτ}，可得到τ时刻之前的试题嵌入序列Zτ＝{z1,…,zτ}；其中，τ＝1,2,…,T-1；
步骤S32：根据学生的历史作答记录，构造作答结果嵌入矩阵O∈R2×D，构建学生的历史试题作答结果序列H＝{(q1,o1),…(qi,oi),…,(qT,oT)}，其中，qi为学生在时刻i作答的试题，oi为学生在时刻i的作答结果；
步骤S33：根据Q矩阵，可以得到与所述试题关联的知识点集合其中Ni是试题i包含的知识点数，由此可得到知识点嵌入向量集合/>对所述知识点嵌入向量集合求平均得到试题考察内容向量/>以及学习结果向量yi＝xi+mi，其中，mi是与学生对试题i作答结果oi相对应的嵌入向量；并结合所述历史试题作答结果序列H，获取对应的试题考察内容向量X＝{x1,…,xT-1}和学习结果向量Y＝{y1,…,yT-1}；
步骤S34：将Y输入GRU网络，输出学生的初级知识状态为其中，时刻τ＝1,…,T-1；由所述学生的初级知识状态可得到学生初级知识状态序列/>
步骤S35：在时刻τ，将所述试题考察内容向量Xτ＝{x1,…,xτ}和所述试题嵌入序列Zτ＝{z1,…,zτ}输入到基于自注意力机制的上下文的试题内容编码器，得到此时刻的基于上下文的试题内容编码：其中，时刻τ＝1,…,T-1；对时间步{2,3,…,T}，得到基于上下文的试题内容编码序列/>其中，自注意力机制采用多头自注意力层，其中每个自注意力头，可以表示为：/> 多头自注意力层拼接了多个自注意力头的结果：MultiHead(q,K,V)＝Concat(head1,…,headh)WO，其中，q表示当前时间步的输入对应的查询特征值，K表示的是过往时间步对应的键特征值，V表示的是过往时间步对应的输入值，h是自注意力头的数量，WO是一个维度与之匹配的矩阵；
步骤S36：将所述基于上下文的试题内容编码序列和所述学生初级知识状态序列/>输入基于自注意力机制的高级学生知识状态追踪器，得到T时刻高级学生知识状态：
步骤S37：将T时刻所述学生高级知识状态序列和T时刻的所述试题内容向量输入多层感知机网络，预测T时刻的学生作答结果
其中，MLP为多层感知机，concat为级联操作；
步骤S38：根据所述预测T时刻的学生作答结果和实际值oT，构建训练损失函数。
4.一种基于自注意和预训练机制的智能教学系统，其特征在于，包括下述模块：
创建题库和学生信息模块，用于创建题库和学生信息，导入已有的学习记录；
获取试题特征向量及嵌入矩阵模块，用于根据所述题库中的试题、知识点关联性，以及所述试题被作答的整体情况，预先训练出所述试题的特征向量以及嵌入矩阵，具体包括：
步骤S21：构建可训练的试题内容矩阵P∈R|P|×d，其中|P|是试题数量，d是单个试题内容的维度；P每一个行向量对应一个试题的内容向量；
构建可训练的知识点内容矩阵S∈R|S|×d，其中|S|是知识点数量；
步骤S22：基于矩阵P和矩阵S，构建试题知识点相关性Q矩阵，Q∈R|P|×|S|；当所述试题i包含所述知识点j，记Qij＝1；当所述试题i没包含所述知识点j，记Qij＝0；其中，|P|是所述试题的数量，|S|是所述知识点的数量；并根据试题i与知识点j的内容向量pi与sj的内积进行拟合，得到其推算值：其中，σ为sigmoid激活函数，/>
步骤S23：基于矩阵P和矩阵S，构建试题相关性矩阵A∈{0,1}|P|×|P|；当所述试题i与所述试题j包含了一个以上相同知识点时，视为两个所述试题相关，记Aij＝1；否则视为不相关，记Aij＝0；并根据试题i与试题j的内容向量pi与pj的内积进行拟合，得到其推算值
步骤S24：基于矩阵P和矩阵S，构建知识点相关性矩阵B∈{0,1}|P|×|P|；当所述试题同时包含了所述知识点i与所述知识点j时，视为两个所述知识点相关，记Bij＝1；否则视为不相关，记Bij＝0；并根据知识点i与知识点j的内容向量si与sj的内积进行拟合，得到其推算值：
步骤S25：根据所述知识点内容矩阵S、所述试题内容矩阵P以及所述试题信息，输入PNN网络进行训练，预测试题难度，得到试题的嵌入矩阵E∈R|P|×D，并将隐向量e作为试题的特征向量，其中，D是e的维度，也是后续知识状态追踪器的众多参数的维度；同时，利用试题相关性矩阵A及其推算值A*、知识点相关性矩阵B及其推算值B*、试题知识点相关性矩阵Q及其推算值Q*，以及所述试题难度，构建损失函数训练所述PNN网络；
预测作答结果模块，用于根据所述试题的特征向量、嵌入矩阵以及所述学习记录，利用两级自注意机制，对学生学习过程中的状态进行跟踪，预测学生的作答结果；所述两级自注意机制包括：第一级自注意层，利用初级学生知识状态追踪器生成学生初级知识状态，利用基于自注意力机制的上下文的试题内容编码器对所述试题内容进行编码；第二级自注意层，利用基于注意力机制的高级学生知识状态追踪器生成高级学生知识状态；
推荐试题模块，用于根据所述预测学生的作答结果，结合所述题库中的试题的知识点，选择合适的试题集推荐给学生。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110713930.1A CN113360635B (zh) | 2021-06-25 | 2021-06-25 | 一种基于自注意和预训练机制的智能教学方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110713930.1A CN113360635B (zh) | 2021-06-25 | 2021-06-25 | 一种基于自注意和预训练机制的智能教学方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113360635A CN113360635A (zh) | 2021-09-07 |
| CN113360635B true CN113360635B (zh) | 2024-05-24 |
Family
ID=77536515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110713930.1A Active CN113360635B (zh) | 2021-06-25 | 2021-06-25 | 一种基于自注意和预训练机制的智能教学方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360635B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114385910B (zh) * | 2021-12-10 | 2024-09-06 | 山东师范大学 | 基于知识追踪的在线学习内容推荐方法及系统 |
| CN114372137B (zh) * | 2022-01-11 | 2024-06-04 | 重庆邮电大学 | 一种融合深度知识追踪的动态感知试题推荐方法及系统 |
| CN114117033B (zh) * | 2022-01-25 | 2022-08-16 | 山东建筑大学 | 知识追踪方法及系统 |
| CN115439278B (zh) * | 2022-08-05 | 2023-07-25 | 火焰蓝(浙江)信息科技有限公司 | 适用于非机动车驾驶员的线上学习方法及系统 |
| CN116738371B (zh) * | 2023-08-14 | 2023-10-24 | 广东信聚丰科技股份有限公司 | 基于人工智能的用户学习画像构建方法及系统 |
| CN117973527B (zh) * | 2024-04-02 | 2024-06-07 | 云南师范大学 | 一种基于gru捕捉问题上下文特征的知识追踪方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019180652A1 (en) * | 2018-03-21 | 2019-09-26 | Lam Yuen Lee Viola | Interactive, adaptive, and motivational learning systems using face tracking and emotion detection with associated methods |
| CN112800323A (zh) * | 2021-01-13 | 2021-05-14 | 中国科学技术大学 | 一种基于深度学习的智能教学系统 |
-
2021
- 2021-06-25 CN CN202110713930.1A patent/CN113360635B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019180652A1 (en) * | 2018-03-21 | 2019-09-26 | Lam Yuen Lee Viola | Interactive, adaptive, and motivational learning systems using face tracking and emotion detection with associated methods |
| CN112800323A (zh) * | 2021-01-13 | 2021-05-14 | 中国科学技术大学 | 一种基于深度学习的智能教学系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭崇慧 ; 吕征达 ; .一种基于集成学习的试题多知识点标注方法.运筹与管理.2020,(02),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113360635A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113360635B (zh) | 一种基于自注意和预训练机制的智能教学方法及系统 | |
| CN110264091B (zh) | 学生认知诊断方法 | |
| CN111695779B (zh) | 一种知识追踪方法、装置及存储介质 | |
| CN112116092B (zh) | 可解释性知识水平追踪方法、系统和存储介质 | |
| US11494644B2 (en) | System, method, and computer program for recommending items using a direct neural network structure | |
| Minn et al. | Dynamic student classiffication on memory networks for knowledge tracing | |
| CN108228674B (zh) | 一种基于dkt的信息处理方法及装置 | |
| CN113610235A (zh) | 一种基于深度知识追踪的适应性学习支持装置及方法 | |
| CN112800323B (zh) | 一种基于深度学习的智能教学系统 | |
| Chaudhry et al. | Modeling Hint-Taking Behavior and Knowledge State of Students with Multi-Task Learning. | |
| Melesko et al. | Semantic technologies in e-learning: Learning analytics and artificial neural networks in personalised learning systems | |
| Lu et al. | CMKT: Concept map driven knowledge tracing | |
| CN110852390A (zh) | 一种基于校园行为序列的学生成绩分类预测方法及系统 | |
| CN114385801A (zh) | 一种基于分层细化lstm网络的知识追踪方法及系统 | |
| Tan et al. | Bidkt: Deep knowledge tracing with bert | |
| CN117609486A (zh) | 一种心理领域智能对话系统 | |
| US20220215255A1 (en) | Learning content recommendation system for predicting probability of correct answer of user using collaborative filtering based on latent factor and operation method thereof | |
| CN114676903A (zh) | 一种基于时间感知和认知诊断的在线预测方法及系统 | |
| CN116611517A (zh) | 融合图嵌入和注意力的知识追踪方法 | |
| CN114943276B (zh) | 基于树型注意力机制的深度知识追踪方法 | |
| Zakaria et al. | Intelligent system for personalised interventions and early drop-out prediction in MOOCs | |
| Li et al. | [Retracted] The Development and Management Work Innovation of University Students by Artificial Intelligence and Deep Learning in the Wireless Network Era | |
| Su et al. | Global and local neural cognitive modeling for student performance prediction | |
| Jiang et al. | Learning analytics in a blended computer education course | |
| CN112818196B (zh) | 基于电子学习平台的数据处理方法、设备、电子装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |