CN112990464B - 一种知识追踪方法及系统 - Google Patents

一种知识追踪方法及系统 Download PDF

Info

Publication number
CN112990464B
CN112990464B CN202110267311.4A CN202110267311A CN112990464B CN 112990464 B CN112990464 B CN 112990464B CN 202110267311 A CN202110267311 A CN 202110267311A CN 112990464 B CN112990464 B CN 112990464B
Authority
CN
China
Prior art keywords
model
knowledge
dmkt
time
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110267311.4A
Other languages
English (en)
Other versions
CN112990464A (zh
Inventor
周东岱
李振
顾恒年
董晓晓
钟绍春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Normal University
Original Assignee
Northeast Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Normal University filed Critical Northeast Normal University
Priority to CN202110267311.4A priority Critical patent/CN112990464B/zh
Publication of CN112990464A publication Critical patent/CN112990464A/zh
Application granted granted Critical
Publication of CN112990464B publication Critical patent/CN112990464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种知识追踪方法及系统,属于知识追踪技术领域。包括:基于DKT模型构建DMKT模型;DMKT模型包括输入层,用于根据学生答题数据和领域特征编码得到编码向量;隐藏层,用于根据编码向量和前一时刻学生的知识状态数据以及领域特征编码得到隐藏层输出结果;输出层,用于根据隐藏层输出结果得到预测结果;多知识点映射层,用于根据预测结果得到多知识点映射结果;获取历史学生答题数据和历史领域特征编码以及历史预测结果并结合多知识点映射结果对DMKT模型进行训练;根据训练好的DMKT模型输出下一时刻预测结果。解决了缺乏领域特征融入和融入过程中特征消减的问题,同时抑制了知识点关联关系遗忘的发生,实现了对学生知识水平的精准追踪。

Description

一种知识追踪方法及系统
技术领域
本发明涉及知识追踪技术领域,特别是涉及一种知识追踪方法及系统。
背景技术
近几年,在线学习平台和智能导学系统的广泛应用,为学生提供了丰富的练习试题,其中一道试题可能与一个或多个知识点相关。学生正确解答一道试题的概率取决于他的知识状态,即对知识点的掌握程度。知识追踪的目的就是追踪学生的知识状态,根据学生的答题记录,预测学生下一道试题正确回答的概率。但已有知识追踪方法如深度知识追踪模型(Deep Knowledge Tracing,DKT),它的输入仅包含问题标签和答题正误,而答题结果显然还受到其他领域特征如答题次数、答题时间等的影响。虽然已有一些方法尝试将特征融合到DKT模型中,但存在预测精度不高的问题,主要原因是没有考虑特征在网络传递中存在的关键信息消减问题。
此外,知识追踪中的循环神经网络本身存在长期依赖关系遗忘问题,即网络会遗忘之前学过的内容,这会导致一些关键信息的丢失;而知识追踪中存在大量多知识点问题,问题间也存在复杂的知识点关联关系,这些关系的遗忘会导致网络拟合到错误特征,从而引起知识点的错误关联和持续偏移。
因此,亟需一种能够解决关键信息消减以及知识点关联关系遗忘问题的知识追踪方法。
发明内容
本发明的目的是提供一种知识追踪方法及系统,一方面分别在输入层和隐藏层融入领域特征的数据流(双流),实现缓解融合特征时的特征消减;另一方面,在输出层构建多知识点映射结构,将它与预测结果映射,保存映射结果并加入损失计算来对输出进行约束,实现抑制遗忘发生。可见,既解决了知识追踪融合领域特征时的特征消减问题,实现了特征强化的作用;同时也抑制了知识点关联关系的遗忘过程,达到了修正输出的目的。所以,基于本发明方案进行知识追踪能够大大提高预测学生下一道试题正确回答概率的准确性。
为实现上述目的,本发明提供了如下方案:
一种知识追踪方法,包括:
基于DKT模型构建DMKT模型;所述DMKT模型包括输入层、隐藏层、输出层和多知识点映射层;所述输入层,用于根据学生答题数据和领域特征编码得到编码向量;学生答题数据为学生答题标签及答题结果;所述隐藏层,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层输出结果;所述输出层,用于根据所述隐藏层输出结果得到预测结果;所述预测结果为预测学生下一道试题正确回答的概率;所述多知识点映射层,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;
获取1至T时刻内历史学生答题数据和历史领域特征编码以及历史预测结果对所述DMKT模型进行训练,在训练过程中基于所述多知识点映射结果对所述DMKT模型的参数进行修正,得到训练好的DMKT模型;
根据所述训练好的DMKT模型预测学生下一道试题正确回答的概率。
本发明还提供了一种知识追踪系统,包括:
DMKT模型构建模块,用于根据基于DKT模型构建DMKT模型;所述DMKT模型包括输入层、隐藏层、输出层和多知识点映射层;所述输入层,用于根据学生答题数据和领域特征编码得到编码向量;学生答题数据为学生答题标签及答题结果;所述隐藏层,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层输出结果;所述输出层,用于根据所述隐藏层输出结果得到预测结果;所述预测结果为预测学生下一道试题正确回答的概率;所述多知识点映射层,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;
DMKT模型训练模块,用于获取1至T时刻内历史学生答题数据和历史领域特征编码以及历史预测结果对所述DMKT模型进行训练,在训练过程中基于所述多知识点映射结果对所述DMKT模型的参数进行修正,得到训练好的DMKT模型;
预测模块,用于根据所述训练好的DMKT模型预测学生下一道试题正确回答的概率。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明涉及一种知识追踪方法及系统,包括:基于DKT模型构建DMKT模型;所述DMKT模型包括输入层、隐藏层、输出层和多知识点映射层;所述输入层,用于根据学生答题数据和领域特征编码得到编码向量;学生答题数据为学生答题标签及答题结果;所述隐藏层,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层输出结果;所述输出层,用于根据所述隐藏层输出结果得到预测结果;所述多知识点映射层,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;可见,在输入层和隐藏层中均融入了领域特征,所以说本发明在融合领域特征时,构建了双流结构,将特征在输入层融合并在网络高层强化,与传统的融合领域特征在模型输入层直接融入的方法相比,解决了传统特征统合方法中的特征消减的问题。另外,本发明在输出层的基础上,构建多知识点映射层,能够保存更长时间片上的知识点关联信息,抑制了遗忘问题。因此,本发明的方案既解决了缺乏领域特征融入和融入过程中特征消减的问题,同时抑制了知识点关联关系遗忘的发生,提高了知识追踪的准确性,即实现了对学生知识水平的精准追踪,为学生提供个性化服务提供了保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种知识追踪方法流程图;
图2为本发明实施例1提供的DMKT模型结构示意图;
图3为本发明实施例1提供的区域编码示例图;
图4为本发明实施例1提供的输入编码向量示意图;
图5为本发明实施例1提供的双流结构示意图;
图6为本发明实施例1提供的多知识点映射结构示意图;
图7为本发明实施例2提供的一种知识追踪系统框图。
符号说明:
1:输入层;2:隐藏层;3:输出层;4:多知识点映射层。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种知识追踪方法及系统,一方面分别在输入层和隐藏层融入领域特征的数据流(双流),实现缓解融合特征时的特征消减;另一方面,在输出层构建多知识点映射结构,将它与预测结果映射,保存映射结果并加入损失计算来对输出进行约束,实现抑制遗忘发生。可见,既解决了知识追踪融合领域特征时的特征消减问题,实现了特征强化的作用;同时也抑制了知识点关联关系的遗忘过程,达到了修正输出的目的。所以,基于本发明方案进行知识追踪能够大大提高预测学生下一道试题正确回答概率的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
请参阅图1,本发明提供了一种知识追踪方法,包括:
步骤S1:基于DKT模型构建DMKT模型(Dual-stream and Knowledge pointsmapping structure,基于双流和多知识点映射结构的深度知识追踪模型);
如图2所示,构建的DMKT模型包括输入层1、隐藏层2、输出层3和多知识点映射层4;
其中,输入层1,用于根据学生答题数据和领域特征编码得到编码向量;学生答题数据为学生答题标签及答题结果;
对于底层输入层1,有两部分输入,一部分是学生答题数据,另一部分是领域特征编码,其中,领域特征编码指学生答题过程中的多种领域特征编码后级联形成的,领域特征主要包括尝试次数(学生尝试回答一道题的次数)、第一行为(题目展开学生选择的操作是直接答题还是查看提示)、提示次数(学生回答一道题要求提示的次数)等。
根据学生答题数据和领域特征编码得到编码向量,具体包括:
利用embedding函数对所述学生答题数据进行区域编码,得到编码后的答题数据;
对所述编码后的答题数据和所述领域特征编码进行编码拼接,得到编码向量。编码拼接采用的是拼接函数concat函数。
隐藏层2,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层2输出结果;具体包括:
根据所述编码向量和所述前一时刻学生的知识状态数据得到当前时刻学生的知识状态;当前时刻学生的知识状态的计算公式为:
Figure GDA0003615365950000051
其中,ht表示t时刻学生的知识状态;W表示输入层1的总权重;U表示前一时刻输入层1总权重;b表示输入层1总偏置;
Figure GDA0003615365950000052
表示编码向量;ht-1表示前一时刻学生的知识状态数据;f()表示长短记忆网络中的变换函数;
隐藏层2输出结果ht和ht-1即表示为学生的知识状态,隐藏层输出可以说是一种复杂高维向量,但无法显性地列举出来,属于神经网络黑盒性的过程数据。
将所述当前时刻学生的知识状态和所述领域特征编码进行融合拼接,得到当前时刻隐藏层2输出结果;当前时刻隐藏层2输出结果的计算公式为:
Figure GDA0003615365950000053
其中,
Figure GDA0003615365950000054
表示t时刻隐藏层2输出结果;ct表示领域特征编码;concat()为拼接函数。
输出层3,用于根据所述隐藏层2输出结果得到预测结果;所述预测结果为预测学生下一道试题正确回答的概率;计算预测结果的公式如下:
Figure GDA0003615365950000055
其中,yt表示t时刻的预测结果;Wy表示隐藏层2传递权重;
Figure GDA0003615365950000061
表示t时刻隐藏层2输出结果;by表示隐藏层2传递偏置;σ()函数表示对数据进行sigmoid计算,sigmoid(k)=1/(1+e-k)。
多知识点映射层4,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;
需要说明的是,多知识点映射层4可以是输出层3中的一种多知识点映射结构,也可以是与输出层3分离的某一层。
步骤S2:获取1至T时刻内历史学生答题数据和历史领域特征编码以及历史预测结果对所述DMKT模型进行训练,在训练过程中基于所述多知识点映射结果对所述DMKT模型的参数进行修正,得到训练好的DMKT模型;
步骤S2具体包括:
将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果;t={1,2,3,...,T};
根据所述t时刻多知识点映射结果计算t时刻损失函数修正量;根据所述DKT模型损失函数和所述t时刻损失函数修正量得到t时刻DMKT模型损失函数;
其中,根据t时刻所述多知识点映射结果计算t时刻损失函数修正量,具体包括:
所述t时刻损失函数修正量包括变化趋势量kdt,绝对变化量kadt和平方变化量ksdt
Figure GDA0003615365950000062
Figure GDA0003615365950000063
Figure GDA0003615365950000064
其中,
Figure GDA0003615365950000071
表示t时刻多知识点映射结果;
Figure GDA0003615365950000072
表示t-1时刻多知识点映射结果;n表示知识点序号;N表示知识点数量。其中,可令
Figure GDA0003615365950000073
的初始值为0,即
Figure GDA0003615365950000074
根据所述DKT模型损失函数和所述t时刻损失函数修正量得到t时刻DMKT模型损失函数,具体包括:
所述t时刻DMKT模型损失函数的计算公式为:
Figure GDA0003615365950000075
Figure GDA0003615365950000076
表示t时刻DMKT模型损失函数;μd,μad,μsd分别表示三个损失函数修正量的系数,Lt表示t时刻DKT模型损失函数,DKT模型损失函数采用交叉熵的方式,
Figure GDA0003615365950000077
其中,
Figure GDA0003615365950000078
表示t时刻知识点n的输出,即t时刻DKT模型的预测结果;
Figure GDA0003615365950000079
表示在知识点n上,t时刻时预测结果
Figure GDA00036153659500000710
正确的概率。
利用所述t时刻DMKT模型损失函数对所述历史预测结果和所述t时刻DMKT模型预测结果进行损失计算;
根据损失计算的结果调整所述DMKT模型参数;
对t加1更新t的值,返回步骤“将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果”,直至损失计算的结果达到预设阈值结束,得到所述训练好的DMKT模型。
需要说明的是,在DMKT模型中,将t时刻之前的预测结果对应的多知识点映射结果均保存下来,利用t时刻之前的多知识点映射结果来计算当前时刻的损失函数修正量,所以不同时刻损失函数修正量不同,得到的每个时刻的DMKT模型损失函数也不同。
为了使本领域技术人员能够更清楚的理解本发明中DMKT模型的结构以及训练过程,下面将详细介绍训练过程。
将1~t时刻的训练数据一起输入到DMKT模型中,模型向前传播的同时更新、拟合参数。
底层输入层1开始,有两部分输入,一部分是输入序列(学生答题数据):X=(x1,x2,...,xt),其中,xt=(qt,at)表示在t时刻的某学生回答了问题q(问题标签),回答结果是a(答题结果)。此时数据集中包含M道题,每个学生会对其中的m道题进行回答,题目的回答文字结果、数值结果、日期或者表达式等等,答题反馈结果为a,其中,M为一个固定值,a∈{0,1}。其中答题结果0代表错误,1代表正确。
需要将xt输入embedding函数进行区域编码,经过区域编码后得到输入编码向量(编码后的答题数据)。为了更清楚的了解区域编码,举例说明区域编码过程。如图3展示了区域编码的过程,假如当前题库中共包含六道题题号分别为{1,2,3,4,5,6},某学生进行了4次答题,产生4条答题记录分别为x1=(1,1)、x2=(5,0)、x3=(5,1)、x4=(3,0)。区域编码以两倍知识点数量为编码向量长度,分别以不同的位置来标记答题的正误,其中左半区和右半区分别代表正确区和错误区。假设学生A,在总共有N个知识点的题库中答错了包含第g个知识点的问题。那么学生的区间编码的输入如图4所示。至此就得到了输入编码向量vt=embedding(xt),其目的是为了用一个独热编码向量同时标记知识点id和答题情况。
底层输入层1的另一部分输入为领域特征编码ct,领域特征编码ct与输入编码向量vt一起拼接成隐藏层2输入(编码向量)
Figure GDA0003615365950000081
其中concat函数主要用来拼接特征编码向量ct和输入编码向量vt,在向量的同一维度上进行拼接,其他维度保持不变,一般采用深度学习框架tensorflow、Pytorch或Keras中的concat函数调用实现这一操作。
将编码向量
Figure GDA0003615365950000085
输入隐藏层2,隐藏层2由时序模型单元组成,本发明采用长短记忆网络LSTM(Long Short-Term Memory)作为隐藏层2单元,它是循环神经网络RNN的一种变种网络,相较于RNN能更好的处理长时间序列上的依赖关系,辅助长期记忆的保留和无用信息的剔除。当前时刻隐藏层2的更新来源于上一时刻隐藏层2信息ht-1和当前时刻隐藏层2输入
Figure GDA0003615365950000082
该层能够捕捉输入向量中难以人工设计的关键信息,形成一系列的隐藏状态{h1,h2,...,ht},ht表示时刻t时学生的知识状态。其中,
Figure GDA0003615365950000083
W表示输入层1的总权重;U表示前一时刻输入层1总权重;b表示输入层1总偏置;
Figure GDA0003615365950000084
表示编码向量;ht-1表示前一时刻学生的知识状态数据;f()表示长短记忆网络中的变换函数;
因LSTM网络结构较为复杂,模型总图中未将隐藏层2LSTM单元具体描述出来,下面会具体对该结构和对应的变换进行描述。
模型单元LSTM,在不同的深度学习框架中都可以实现调用。这里介绍一下LSTM网络结构及其中的运算过程,LSTM主要采用三种门控制结构来计算ht(h0为初始状态,可令初始值为0),三种门控制结构分别是遗忘门ft、输入门it和输出门ot,从数学的角度来讲,它们就是计算当前输入
Figure GDA0003615365950000091
和前一隐藏状态ht-1的三种矢量,从通俗的角度来讲,它们是LSTM网络从输入到输出的中间过程的变换计算,下面将分别展开介绍。
LSTM网络存在一个主线,整体信息在这一主线上沿着时序传播,主线由记忆单元Ct组成,而上一时刻Ct-1到当前时刻Ct的过程,门控制分别决定哪些关键信息存储到记忆单元中,遗忘门ft决定从Ct-1中遗忘什么信息,输入门it决定哪些新信息添加到Ct中,输出门ot则决定从Ct中提取哪些信息到隐藏状态ht
首先,遗忘门ft决定从Ct-1中遗忘什么信息:
Figure GDA0003615365950000092
其中,[·]表示向量串联,Wf表示遗忘门输入权重,bf表示遗忘门偏置,它们均由神经网络自动学习得到,且只与当前网络学习过程相关,与后文其他过程的权重和偏置没有相关性。σ函数表示对数据进行sigmoid计算,它是一种激活函数,sigmoid(k)=1/(1+e-k),输出为0到1间的概率值。
接着,输入门it决定哪些新信息添加到Ct中:
Figure GDA0003615365950000093
Figure GDA0003615365950000094
其中Wi表示输入门输入权重,bi表示输入门偏置,它们均由网络学习得到,tanh函数也是一种激活函数,它相较于sigmoid函数不同在于原点对称,tanh(k)=(ek-e-k)/(ek+e-k),通过该函数创建一个新的候选值
Figure GDA0003615365950000095
即神经网络此时学到的新知识,此时,便可以与将上一时刻Ct-1一起更新到当前时刻Ct
Figure GDA0003615365950000096
其中*表示向量点乘;
最后,输出门ot则决定从Ct中提取哪些信息到隐藏状态ht
Figure GDA0003615365950000097
ht=ot*tanh Ct,其中Wo表示输出门输入权重,bo表示输出门偏置,它们均由网络学习得到。
领域特征编码ct除了在输入层1融入,在恒等映射后直接与隐藏层2输出ht融合拼接为融合领域特征的隐藏层2输出
Figure GDA0003615365950000101
领域特征在输入层1融合的数据流与隐藏层2之后再次融合的数据流,这两股数据流共同构成双流结构。对于双流结构:在RNN基础上融合领域特征时,最普遍的做法就是将特征编码后直接在输入层1传入,已有融合领域特征的DKT改进模型也采取了这样做法。然而,领域特征在向网络高层传播时会发生关键信息的消减,所以已有融合领域特征的DKT改进模型都存在特征消减问题。网络的梯度问题会导致关键信息传播过程中出现损失,特征中的关键信息消减势必会引起预测精度的下降。本发明提出的双流结构采用了一种“跳跃连接”的操作。双流结构将低纬度信号恒等映射后无损传播至网络高层,缓解训练中的消减问题,可以解决DKT模型融合领域特征时的特征消减问题。图5(a)和(b)具体展示了DMKT模型中的双流结构,领域特征数据流编码ct被分成两股相同的数据流,两股数据流分别在输入层1和网络高层(隐藏层2)融合。
在输出层3,根据隐藏层2的输出结果
Figure GDA0003615365950000102
得到输出层3的预测结果yt
Figure GDA0003615365950000103
其中,yt表示t时刻的预测结果;Wy表示隐藏层2传递权重;
Figure GDA0003615365950000104
表示t时刻隐藏层2输出结果;by表示隐藏层2传递偏置;σ()函数表示对数据进行sigmoid计算,sigmoid(k)=1/(1+e-k)。
除此之外,原始DKT模型在处理长序列问题时,会出现在时间片上知识点关联关系遗忘的问题。本发明将处理知识点关联关系遗忘的问题分为两个阶段,一是主动捕捉和保存知识点关联关系,二是将它再次加入训练。针对这两个阶段的内容,本发明在输出层3的基础上还引入了多点知识映射结构。如图6所示,多点知识映射结构包含多个知识点,其中,每一行节点代表同一个知识点,从左向右为1-t时序,与输出层3保持时序上的同步,每个时刻上节点与输出预测结果一一映射并保存下来。根据多知识点映射结构保存的信息,设置三种变化量,分别是变化趋势量kdt、绝对变化量kadt和平方变化量ksdt,并将其加入模型损失函数计算,优化下一时刻预测结果。模型的训练过程中,利用改进后的损失函数计算损失,充分利用知识点间关联关系,优化迭代过程,能够使预测值与真实值差距减小,收敛更快。
结构上考虑,神经网络结构在训练过程中已经主动学习了问题间的复杂知识点关联关系,但其黑盒性导致无法直接从隐藏状态中获取这些关系,可以通过输出层3信息间接获取当前时刻之前的关系信息;多知识点映射结构与输出层3保持时序上的同步,其中每个节点实现了与输出端预测结果的一一映射,达到保存长时间片上预测结果的目的,间接实现了隐藏状态中知识点关联关系的捕捉和保存。参数上,将保存的信息以变化量的形式加入损失计算,通过不断的优化迭代过程,不断的调整DMKT模型的参数,注重了训练参数的可迭代性,得到训练好的DMKT模型,从而提高后续预测结果的准确性。
步骤S3:根据所述训练好的DMKT模型预测学生下一道试题正确回答的概率。
DMKT模型中引入了双流结构和多知识点映射结构,再通过1至T时刻的历史学生答题数据和历史领域特征编码以及历史预测结果对DMKT模型进行训练后,利用训练好的DMKT模型来输出下一时刻(或未来更多时刻)的预测结果。
本实施例中,在融合领域特征时,构建了双流结构,将特征在输入层1融合并在网络高层强化,解决了传统特征统合方法中的特征消减的问题。本发明在输出层3构建多知识点映射结构,能够保存更长时间片上的知识点关联信息,抑制了遗忘问题。解决了缺乏领域特征融入和融入过程中特征消减的问题,同时抑制了知识点关联关系遗忘的发生,实现了对学生知识水平的精准追踪,为学生提供个性化服务提供了保障。
实施例2
请参阅图7,本实施例提供了一种知识追踪系统,包括:
DMKT模型构建模块Y1,用于根据基于DKT模型构建DMKT模型;所述DMKT模型包括输入层1、隐藏层2、输出层3和多知识点映射层4;所述输入层1,用于根据学生答题数据和领域特征编码得到编码向量;学生答题数据为学生答题标签及答题结果;所述隐藏层2,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层2输出结果;所述输出层3,用于根据所述隐藏层2输出结果得到预测结果;所述预测结果为预测学生下一道试题正确回答的概率;所述多知识点映射层4,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;
DMKT模型训练模块Y2,用于获取1至T时刻内历史学生答题数据和历史领域特征编码以及历史预测结果对所述DMKT模型进行训练,在训练过程中基于所述多知识点映射结果对所述DMKT模型的参数进行修正,得到训练好的DMKT模型;
其中,DMKT模型训练模块Y2具体包括:
将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果;t={1,2,3,...,T};
根据所述t时刻多知识点映射结果计算t时刻损失函数修正量;根据所述DKT模型损失函数和所述t时刻损失函数修正量得到t时刻DMKT模型损失函数;
利用所述t时刻DMKT模型损失函数对所述历史预测结果和所述t时刻DMKT模型预测结果进行损失计算;
根据损失计算的结果调整所述DMKT模型参数;
对t加1更新t的值,返回步骤“将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果”,直至损失计算的结果达到预设阈值结束,得到所述训练好的DMKT模型。
预测模块Y3,用于根据所述训练好的DMKT模型预测学生下一道试题正确回答的概率。
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种知识追踪方法,其特征在于,包括:
基于DKT模型构建DMKT模型;所述DMKT模型包括输入层、隐藏层、输出层和多知识点映射层;所述输入层,用于根据学生答题数据和领域特征编码得到编码向量;所述学生答题数据为学生答题标签及答题结果;所述隐藏层,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层输出结果;所述输出层,用于根据所述隐藏层输出结果得到预测结果;所述预测结果为预测学生下一道试题正确回答的概率;所述多知识点映射层,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;
获取1至T时刻内历史学生答题数据和历史领域特征编码以及历史预测结果对所述DMKT模型进行训练,在训练过程中基于所述多知识点映射结果对所述DMKT模型的参数进行修正,得到训练好的DMKT模型;具体包括:
将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果;t={1,2,3,...,T};
根据所述t时刻多知识点映射结果计算t时刻损失函数修正量;根据DKT模型损失函数和所述t时刻损失函数修正量得到t时刻DMKT模型损失函数;
利用所述t时刻DMKT模型损失函数对所述历史预测结果和所述t时刻DMKT模型预测结果进行损失计算;
根据损失计算的结果调整所述DMKT模型参数;
对t加1更新t的值,返回步骤“将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果”,直至损失计算的结果达到预设阈值结束,得到所述训练好的DMKT模型;
根据所述训练好的DMKT模型预测学生下一道试题正确回答的概率。
2.根据权利要求1所述的方法,其特征在于,所述根据学生答题数据和领域特征编码得到编码向量,具体包括:
利用embedding函数对所述学生答题数据进行区域编码,得到编码后的答题数据;
对所述编码后的答题数据和所述领域特征编码进行编码拼接,得到编码向量。
3.根据权利要求1所述的方法,其特征在于,所述根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层输出结果,具体包括:
根据所述编码向量和所述前一时刻学生的知识状态数据得到当前时刻学生的知识状态;
将所述当前时刻学生的知识状态和所述领域特征编码进行融合拼接,得到当前时刻隐藏层输出结果。
4.根据权利要求3所述的方法,其特征在于,所述当前时刻学生的知识状态的计算公式为:
Figure FDA0003615365940000021
其中,ht表示t时刻学生的知识状态;W表示输入层的总权重;U表示前一时刻输入层总权重;b表示输入层总偏置;
Figure FDA0003615365940000022
表示编码向量;ht-1表示前一时刻学生的知识状态数据;f()表示长短记忆网络中的变换函数;
所述当前时刻隐藏层输出结果的计算公式为:
Figure FDA0003615365940000023
其中,
Figure FDA0003615365940000024
表示t时刻隐藏层输出结果;ct表示领域特征编码;concat()为拼接函数。
5.根据权利要求1所述的方法,其特征在于,所述根据所述隐藏层输出结果得到预测结果,具体包括:
Figure FDA0003615365940000025
其中,yt表示t时刻的预测结果;Wy表示隐藏层传递权重;
Figure FDA0003615365940000031
表示t时刻隐藏层输出结果;by表示隐藏层传递偏置;σ()函数表示对数据进行sigmoid计算,sigmoid(k)=1/(1+e-k)。
6.根据权利要求1所述的方法,其特征在于,所述根据t时刻所述多知识点映射结果计算t时刻损失函数修正量,具体包括:
所述t时刻损失函数修正量包括变化趋势量kdt,绝对变化量kadt和平方变化量ksdt
Figure FDA0003615365940000032
Figure FDA0003615365940000033
Figure FDA0003615365940000034
其中,
Figure FDA0003615365940000035
表示t时刻多知识点映射结果;
Figure FDA0003615365940000036
表示t-1时刻多知识点映射结果;n表示知识点序号;N表示知识点数量。
7.根据权利要求6所述的方法,其特征在于,所述根据所述DKT模型损失函数和所述t时刻损失函数修正量得到t时刻DMKT模型损失函数,具体包括:
所述t时刻DMKT模型损失函数的计算公式为:
Figure FDA0003615365940000037
Figure FDA0003615365940000038
表示t时刻DMKT模型损失函数;μd,μad,μsd分别表示三个损失函数修正量的系数,Lt表示t时刻DKT模型损失函数,
Figure FDA0003615365940000039
其中,
Figure FDA00036153659400000310
表示t时刻知识点n的输出,即t时刻DKT模型的预测结果;
Figure FDA00036153659400000311
表示在知识点n上,t时刻时预测结果
Figure FDA00036153659400000312
正确的概率。
8.一种基于权利要求1至7任一项所述的知识追踪方法的知识追踪系统,其特征在于,包括:
DMKT模型构建模块,用于根据基于DKT模型构建DMKT模型;所述DMKT模型包括输入层、隐藏层、输出层和多知识点映射层;所述输入层,用于根据学生答题数据和领域特征编码得到编码向量;所述学生答题数据为学生答题标签及答题结果;所述隐藏层,用于根据所述编码向量和前一时刻学生的知识状态数据以及所述领域特征编码得到隐藏层输出结果;所述输出层,用于根据所述隐藏层输出结果得到预测结果;所述预测结果为预测学生下一道试题正确回答的概率;所述多知识点映射层,用于根据所述预测结果得到多知识点映射结果;所述多知识点映射结果为学生对多个知识点的掌握程度;
DMKT模型训练模块,用于获取1至T时刻内历史学生答题数据和历史领域特征编码以及历史预测结果对所述DMKT模型进行训练,在训练过程中基于所述多知识点映射结果对所述DMKT模型的参数进行修正,得到训练好的DMKT模型;
所述DMKT模型训练模块具体包括:
将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果;t={1,2,3,...,T};
根据所述t时刻多知识点映射结果计算t时刻损失函数修正量;根据DKT模型损失函数和所述t时刻损失函数修正量得到t时刻DMKT模型损失函数;
利用所述t时刻DMKT模型损失函数对所述历史预测结果和所述t时刻DMKT模型预测结果进行损失计算;
根据损失计算的结果调整所述DMKT模型参数;
对t加1更新t的值,返回步骤“将t时刻的所述历史学生答题数据和t时刻的所述历史领域特征编码输入至所述DMKT模型,得到t时刻DMKT模型预测结果以及t时刻多知识点映射结果”,直至损失计算的结果达到预设阈值结束,得到所述训练好的DMKT模型;
预测模块,用于根据所述训练好的DMKT模型预测学生下一道试题正确回答的概率。
CN202110267311.4A 2021-03-12 2021-03-12 一种知识追踪方法及系统 Active CN112990464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267311.4A CN112990464B (zh) 2021-03-12 2021-03-12 一种知识追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267311.4A CN112990464B (zh) 2021-03-12 2021-03-12 一种知识追踪方法及系统

Publications (2)

Publication Number Publication Date
CN112990464A CN112990464A (zh) 2021-06-18
CN112990464B true CN112990464B (zh) 2022-06-28

Family

ID=76334949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267311.4A Active CN112990464B (zh) 2021-03-12 2021-03-12 一种知识追踪方法及系统

Country Status (1)

Country Link
CN (1) CN112990464B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743735A (zh) * 2021-08-10 2021-12-03 南京星云数字技术有限公司 风险评分的生成方法及装置
CN113793239B (zh) * 2021-08-13 2023-12-19 华南理工大学 融合学习行为特征的个性化知识追踪方法与系统
CN114707775B (zh) * 2022-06-08 2022-08-26 四川大学 知识追踪模型训练方法、追踪方法、装置、设备及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8366449B2 (en) * 2008-08-13 2013-02-05 Chi Wang Method and system for knowledge diagnosis and tutoring
EP2345998B1 (en) * 2009-12-01 2019-11-20 Honda Research Institute Europe GmbH Multi-object tracking with a knowledge-based, autonomous adaptation of the tracking modeling level
US20120208166A1 (en) * 2011-02-16 2012-08-16 Steve Ernst System and Method for Adaptive Knowledge Assessment And Learning
US10943497B2 (en) * 2018-04-27 2021-03-09 Adobe Inc. Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model
CN110807509A (zh) * 2018-08-06 2020-02-18 北京博智天下信息技术有限公司 一种基于贝叶斯神经网络的深度知识追踪方法
US20200202226A1 (en) * 2018-12-20 2020-06-25 Fuji Xerox Co., Ltd. System and method for context based deep knowledge tracing
CN109598995B (zh) * 2019-01-08 2020-11-17 上海健坤教育科技有限公司 基于贝叶斯知识跟踪模型的智能教学系统
CN109902298B (zh) * 2019-02-13 2023-04-18 东北师范大学 一种自适应学习系统中领域知识建模及知识水平估测方法
CN109840595B (zh) * 2019-02-26 2022-06-07 武汉大学 一种基于群体学习行为特征的知识追踪方法
CN111241243B (zh) * 2020-01-13 2023-05-26 华中师范大学 面向知识测量的试题、知识、能力张量构建与标注方法
KR102213478B1 (ko) * 2020-02-18 2021-02-08 (주)뤼이드 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법
CN111444432A (zh) * 2020-04-01 2020-07-24 中国科学技术大学 领域自适应的深度知识追踪及个性化习题推荐方法
CN111539528B (zh) * 2020-04-29 2023-04-07 中国科学技术大学 基于异构结构的知识追踪方法
CN111695779B (zh) * 2020-05-14 2023-03-28 华南师范大学 一种知识追踪方法、装置及存储介质
CN111985560B (zh) * 2020-08-19 2023-05-12 中南大学 知识追踪模型的优化方法、系统及计算机存储介质
CN112085168A (zh) * 2020-09-11 2020-12-15 浙江工商大学 一种基于动态键值门控循环网络的知识追踪方法及系统
CN112182308B (zh) * 2020-09-29 2023-03-24 华中师范大学 基于多热编码的多特征融合深度知识追踪方法及系统

Also Published As

Publication number Publication date
CN112990464A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990464B (zh) 一种知识追踪方法及系统
CN110428010B (zh) 知识追踪方法
CN110334339B (zh) 一种基于位置感知自注意力机制的序列标注模型与标注方法
CN112733768B (zh) 基于双向特征语言模型的自然场景文本识别方法及装置
CN112085168A (zh) 一种基于动态键值门控循环网络的知识追踪方法及系统
CN112527966B (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN116822382B (zh) 基于时空多重特性图卷积的海表面温度预测方法及网络
CN113190688A (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN111626764A (zh) 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
CN112464816A (zh) 基于二次迁移学习的地方手语识别方法、装置
CN116402133B (zh) 一种基于结构聚合图卷积网络的知识图谱补全方法及系统
CN115186147B (zh) 对话内容的生成方法及装置、存储介质、终端
CN116524419B (zh) 基于时空解耦与自注意力差分lstm的视频预测方法、系统
CN113988300A (zh) 一种题目结构推理方法及系统
CN112580728A (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN114969298A (zh) 一种基于跨模态异质图神经网络的视频问答方法
CN116136870A (zh) 基于增强实体表示的智能社交对话方法、对话系统
CN115544158A (zh) 应用于智能教育系统的多知识点动态知识追踪方法
CN114385910A (zh) 基于知识追踪的在线学习内容推荐方法及系统
CN115687638A (zh) 基于三元组森林的实体关系联合抽取方法及系统
CN113591988A (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
CN114661874B (zh) 基于多角度语义理解与自适应双通道的视觉问答方法
CN112256858B (zh) 融合问题模式和答题结果的双卷积知识追踪方法及系统
CN114528490A (zh) 一种基于用户长短期兴趣的自监督序列推荐方法
CN113657598B (zh) 基于多策略智能体的推理系统、方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant