CN114091657A - 基于多任务框架的智能学习状态追踪方法、系统及应用 - Google Patents
基于多任务框架的智能学习状态追踪方法、系统及应用 Download PDFInfo
- Publication number
- CN114091657A CN114091657A CN202111386905.3A CN202111386905A CN114091657A CN 114091657 A CN114091657 A CN 114091657A CN 202111386905 A CN202111386905 A CN 202111386905A CN 114091657 A CN114091657 A CN 114091657A
- Authority
- CN
- China
- Prior art keywords
- learning
- learner
- response
- intelligent
- state tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于个性化学习技术领域,公开了一种基于多任务框架的智能学习状态追踪方法、系统及应用,采集学习者的外在学习行为特征、学习资源特征以及潜在能力特征,并进行预处理操作,获得包含先验信息的学习特征;然后构建多个堆叠的卷积神经网络对学习特征进行深度表示学习,控制学习者的遗忘情况,构建深层学习特征;再进行深浅特征融合,引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;最后对学习者的学习状态进行量化及预测,并构造损失函数进行多任务训练。本发明有利于提高知识追踪模型在预测学习者学习状态方面的预测性能,而且拓展了知识追踪模型的预测领域和教育应用领域,推动了个性化教育、智慧教育的发展。
Description
技术领域
本发明属于个性化学习技术领域,尤其涉及一种基于多任务框架的智能学习状态追踪方法、系统及应用。
背景技术
目前,随着人工智能技术在教育应用领域的发展,一系列在线学习平台,例如MOOC、Edx、Coursera等也如雨后春笋般涌出,使教育领域更好地实现了因材施教。20年初在线教学模式达到空前盛况,然而教师的教授模式还是停留于以往传统的线下教学,学习者在在线学习平台上的学习数据并没有得到有效挖掘,从而导致学习者无法得到个性化的服务,教师也无法提供个性化的指导。
智能学习状态追踪方法就是实现个性化学习的技术之一,其利用学习者在线学习平台上的交互日记,追踪其学习状态的变化,从而预测在下一时刻学习者的状态,例如学习者的作答反应、作答时间、认知水平等等。目前,较为主流的智能学习状态追踪方法主要为基于贝叶斯的智能学习状态追踪方法以及基于深度学习的智能学习状态追踪方法。基于贝叶斯的智能学习状态追踪方法的核心技术是隐马尔可夫模型,利用统计学习方法和机器学习方法更新学习者的知识状态,其在教育领域方面的可解释性较强,且模型简单易于理解,但其也存在一些不足之处:1)过度依赖教育专家的理解;2)在小数据集上应用良好,因此当学习者交互数据量庞大时,模型预测效果不佳;3)在学习者的学习状态表征方面不足。基于深度学习的智能学习状态追踪方法的核心技术是深度学习方法,利用深度神经网络表征学习者的学习状态,并训练出一系列的学习状态,从而更好地诊断学习者的学习状态,并对学习者的表现进行预测。基于深度学习的智能学习状态追踪方法能更好地适应大数据集,并且在表征学习者的学习状态方面有天然优势,但其也存在不足之处:1)在教育领域的可解释性较弱; 2)没有考虑到失误和猜测的影响。由于基于深度学习的智能学习状态追踪方法在学习者表现预测方面优于基于贝叶斯的智能学习状态追踪方法,因此一下讨论的传统智能学习状态追踪方法即为基于深度学习的智能学习状态追踪方法。
通过上述分析,现有技术存在的问题及缺陷为:
(1)传统智能学习状态追踪方法忽略了学习者学习过程中其他影响学习者学习状态的学习因素,例如作答时间、潜在能力,没有更完整地表征学习者的学习过程,导致后续的预测效果不准确;
(2)传统智能学习状态追踪方法只对学习者的作答反应进行预测,并没有对学习者的作答时间、潜在能力等进行预测,也没有对学习者的作答反应、作答时间、潜在能力同时预测;
(3)传统智能学习状态追踪方法在预测学习者的学习状态时不够稳定,而学习者的学习状态变化过程应该是稳定的;
解决以上问题及缺陷的难度为:
(1)如何更好地表征学习者学习过程中影响学习者学习状态的学习因素,使得它们得到更深层次的融合;
(2)如何同时对学习者的作答反应、作答时间、潜在能力进行同时预测,又不影响模型的性能;
(3)如何解决传统智能学习状态追踪方法的预测结果较为波动的问题。
解决以上问题及缺陷的意义为:
(1)本发明充分利用了学习者在与在线学习平台交互过程中丰富的学习数据,能好地表征了学习者的学习过程;
(2)本发明在学习者学习状态预测精度方面更加精确;
(3)本发明能更好地诊断学习者的知识状态,同时对学习者的作答反应、作答时间、潜在能力等进行预测,能为学习者和教师提供更好地反馈,也利于教师进行更有针对性的教学干预。
发明内容
针对现有技术存在的问题,本发明提供了一种基于多任务框架的智能学习状态追踪方法、系统及应用。
本发明是这样实现的,一种基于多任务框架的智能学习状态追踪方法包括:
步骤一,从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行预处理操作,获得包含先验信息的学习特征;
步骤二,构建多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
步骤三,将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
步骤四,利用基于长时序依赖的智能学习状态追踪模型,对学习者的学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
进一步,所述步骤一,具体包括:
(1)从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征;所述外在学习行为特征包括作答反应特征以及作答时间特征,资源特征包括知识点特征;
(2)根据学习者作答反应特征以及资源特征,构建学习者-资源反应矩阵,并利用项目反应理论挖掘学习者的潜在能力特征;
(3)对学习者作答序列中的外在学习行为特征和资源特征以及学习者潜在能力特征进行一系列的预处理操作,获得包含先验信息的学习特征。
进一步,步骤(2)中,所述利用项目反应理论挖掘学习者的潜在能力特征,包括:
定义试题的难度:
构建单参数的IRT模型:
利用最大似然估计法估计学习者潜在能力参数θ:
其中LIRT表示概率;θ为学习者的潜在能力;ri为第i题的作答反应;N为估计的试题数目。
进一步,步骤(3)中,所述对学习者作答序列中的外在学习行为特征和资源特征以及学习者潜在能力特征进行一系列的预处理操作,获得包含先验信息的学习特征,包括:
获取学习者作答序列的嵌入矩阵表示:
st是知识点的嵌入矩阵表示;rt表示学习者的真实作答反应情况;0是一个与st维度相同的全零向量,两者通过两种方式连接反映学习者在知识点上的作答正确与否;
用嵌入矩阵表示的学习者作答序列向量为:
FLIS=(x1,x2,...,xt,...,xn)
n表示学习者与练习有n次交互;
评估学习者当前作答知识点的过往作答相关知识点之间的相似度:
relationt(j)=Masking(sj·st),j∈(t,n)
sj为过往练习的知识点;st为当前作答的知识点;Masking是将不相关的知识点设置为-∞的操作;
计算学习者当前作答的知识点与过往练习的知识点之间的相关系数:
weightt(j)=Softmax(relationt(j)),j∈(1,n);
假设过往相关知识点的练习对当前知识点的作答有一定程度的影响,加权总和学习者所有历史学习作答,获取过往相关表现向量:
计算学习者在所有知识点上的作答正确率向量,从而获得作答正确率向量;
采用One-Hot方法编码作答时间特征以及潜在能力特征,并将两者与学习者嵌入矩阵、过往相关表现向量、学习者在所有知识点上的作答正确率向量拼接,并将拼接后的向量通过GLU机制,获得包含先验信息的学习特征向量:
进一步,所述步骤二,具体包括:
(1)将多个时刻连续的包含先验信息的学习特征向量作为一维卷积层的滑动窗口的输入:
FConv=Conv(FILA);
(2)将一维卷积层的滑动窗口的后半部分设置为0以防止后续学习作答的卷积运算,再对一维卷积层的输出通过GLU机制,控制学习者对知识的遗忘,并在一维卷积层的输入和输出之间添加剩余连接,优化模型结构;
Fre=GLU(Conv(FILA))+FILA;
(3)将多个相同的一维卷积层堆叠起来,设计成多个堆叠的分层卷积,使得低卷积层捕获学习者较近时期的学习率,高卷积层监视较远时期的学习率;
FmConv={GLU(Conv(FILA))+FILA}z
z代表有z个堆叠的相同一维卷积层;
(4)提取深层学习特征:
Fsf=σ({GLU(Conv(FILA))+FILA}m)。
进一步,所述步骤三,具体包括:
(1)将作答反应特征和知识点特征进行交叉量化处理,从而获取原始输入特征;
C(qt,rt)=qt+(max(q)+1)*rt
其中,qt表示t时刻学习者作答知识点,rt表示t时刻学习者作答正确与否的情况,max(q)表示在知识点特征中的数据最大值,C(·)表示交叉量化处理;
(2)以0.5为阈值边界,将提取的深层学习特征转化为0/1特征;
(3)采用One-Hot方法编码原始输入特征、作答时间特征、潜在能力特征以及转化为0/1特征后的深层学习特征,并将这些特征进行深浅层特征融合,获得深浅融合学习特征;
(4)将深浅融合学习特征输入到双向循环神经网络模型中,构建基于长时序依赖的智能学习状态追踪模型,包括:
将深浅融合学习特征输入到第一层循环神经网络模型,计算t个时间步的隐藏层;
W2为权值矩阵,b2为相应的偏置向量,tanh为激活函数;
基于得到的两层循环神经网络模型输出的学习者学习状态得到学习者最终潜在的学习状态以及在下一个知识点作答时的表现概率;
所述学习者最终潜在的学习状态为:
所述下一个知识点作答时的表现概率包括:
学习者作答反应正确概率:
学习者学习能力程度概率:
学习者作答时间范围概率:
W3,W4,W5为权值矩阵,b3,b4,b5为相应的偏置向量。
进一步,所述步骤四,具体包括:
(1)利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测;
量化学习者的知识掌握情况Statet:Statet=σ(ht);
(2)根据预测的学习者作答反应、学习者学习能力、学习者的作答时间和真实的学习者作答反应、学习者学习能力、学习者的作答时间,定义损失函数L;
所述相应的损失函数分别为:
L=L1+μ1L2+μ2L3
其中μ1,μ2分别为损失函数L2,L3的系数;
(3)添加l1和l2正则化使得预测结果稳定而准确,得到新损失函数L';
所述l1和l2正则化定义为:
所述新损失函数为:
L'=L+λ1l1+λ2l2
λ1,λ2为两个l1和l2正则化的系数;
(4)使用Adma优化器对参数进行学习更新。
本发明的另一目的在于提供一种基于多任务框架的智能学习状态追踪系统,所述基于多任务框架的智能学习状态追踪系统包括:
包含先验信息的学习特征构建模块,用于从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征;
深层学习特征构建模块,用于设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
基于Bi-RNN的智能学习状态追踪模型构建模块,用于将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
智能学习状态预测模块,用于利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
本发明利用了学习者与在线学习平台交互过程中丰富的影响其学习状态的学习因素,更好地表征了学习者的学习过程;
本发明挖掘了学习者交互序列中知识点之间的关系、作答正确率等先验信息,并设计了多个堆叠的卷积神经网络对这些先验信息和特征进行深度表示学习,使得特征的到了更好的融合与表征;
本发明使用了Bi-RNN建模学习者学习过程中不断变化的学习状态,能更好地解决长时序依赖问题,支持学习者更长时间间隔的交互,并解决梯度消失和梯度爆炸问题;
本发明融入了多任务学习框架,不仅减少了数据来源数量和模型整体参数,还能在预测学习者作答反应的同时,预测学习者的作答时间和潜在能力,使得模型在预测学习者学习状态方面的效果得到提升;
本发明引入了两个正则化项l1和l2,使得模型在预测学习者的表现时更稳定;
本发明能更好地量化和预测学习者的学习状态,也拓展了智能学习状态追踪在教育领域的应用。
本发明提出的基于多任务框架的智能学习状态追踪方法利用设计的多个堆叠的卷积神经网络对多个影响学习者表现的特征进行表示学习,获得深层学习特征,再将深层学习特征与多个影响学习者表现的特征进行深浅特征融合,其次,创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型,从而对学习者的学习状态进行量化和预测,最后设计多任务学习框架,在预测学习者作答反应的同时,预测学习者的作答时间以及潜在能力,并量化学习者的知识掌握情况,使得模型在固定的训练集上能产生更好的泛化能力,或者减少达到同等性能水平所需要的训练样本数量。本发明提出的基于多任务框架的智能学习状态追踪方法在学习者学习状态预测方面明显由于其他智能学习状态追踪方法,实验表明在AUC、R2和RMSE等方面,本发明提出的方法比其他的智能学习状态追踪方法更有效。
对比的技术效果或者实验效果。包括:
本发明将基于多任务框架的智能学习状态追踪方法与其他智能学习状态追踪方法进行对比,对比指标曲线下面积AUC、皮尔逊相关系数的平方R2和均方根误差RMSE。AUC、R2和RMSE在学习者学习状态预测评估方面是非常可靠的指标。AUC是衡量二分类模型优劣的一种评价指标,能很好描述模型整体性能的高低,0.5的AUC值代表随机可获得的得分,较高的AUC分数代表预测结果越准确。R2称为拟合优度的统计量,是真实值与预测值之间皮尔逊相关系数的平方,其值越小,表示预测结果越不准确。RMSE能衡量测量值与真实值之间的偏差,称标准误差,RMSE的值越小,表示模型预测结果越准确。
我们将本方法与传统智能学习状态追踪方法进行了比较。为了公平地进行比较,所有这些方法都被调整为具有最佳性能,一种基于多任务框架的智能学习状态追踪方法与智能学习状态追踪方法在数据集SAI下的AUC、R2、RMSE 和ACC对比结果如表1、图4所示,模型在数据集SAI上训练过程示意图如图 5所示。
表1数据集SAI实验结果对比
由实验结果可知:本发明提出的基于多任务框架的智能学习状态追踪在数据集SAI上,AUC提升了20%,R2提升了0.4771,RMSE下降了16.7%。说明本发明考虑融入更多影响学习者学习状态的特征,并设计多个堆叠的卷积神经网络对这些特征进行表示学习后获得深层学习特征,然后将深层学习特征再与影响学习者学习状态的特征进行深浅融合,能更好地表征学习者的学习过程;再者引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型去动态诊断学习者的知识状态,更多地利用了学习者的交互信息;最后,设计多任务框架,利用基于长时序依赖的智能学习状态追踪模型预测学习者的作答反应、作答时间以及潜在能力,优化了模型结构,减少了模型整体参数,也提高了在预测学习者学习状态方面的精度,预测结果明显由于传统智能学习状态追踪方法。实验也表明,在AUC、R2和RMSE方面,本发明提出的基于多任务框架的智能学习状态追踪方法比传统智能学习状态追踪方法更有效,总之,本方法具有最佳的实验效果。
综上,本发明提供的,基于多任务框架的智能学习状态追踪方法及系统不仅实现了更为精准的学习者作答反应预测,还能预测学习者的作答时间、潜在能力等。该方法以从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征。然后设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征。再将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型。最后利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化,从而使得预测结果稳定而准确。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多任务框架的智能学习状态追踪方法流程图。
图2是本发明实施例提供的基于多任务框架的智能学习状态追踪方法原理图;
图3是本发明实施例提供的基于多任务框架的智能学习状态追踪方法系统结构示意图;
图中:1、包含先验信息的学习特征构建模块;2、深层学习特征构建模块;3、基于Bi-RNN的智能学习状态追踪模型构建模块;4、智能学习状态预测模块。
图4是本发明实施例提供的数据集SAI实验结果对比示意图。
图5是本发明实施例提供的数据集SAI训练过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种基于多任务框架的智能学习状态追踪方法、系统及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的基于多任务框架的智能学习状态追踪方法包括以下步骤:
S101,从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征;
S102,设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
S103,将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
S104,利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
本发明实施例提供的基于多任务框架的智能学习状态追踪方法原理图如图 2所示。
如图3所示,本发明实施例提供的基于多任务框架的智能学习状态追踪系统包括:
包含先验信息的学习特征构建模块1,用于从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征;
深层学习特征构建模块2,用于设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
基于Bi-RNN的智能学习状态追踪模型构建模块3,用于将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
智能学习状态预测模块4,用于利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
下面结合符号解释对本发明的技术方案作进一步描述。
本发明涉及的符号如表2所示。
表2本发明涉及的符号
下面结合具体实施例对本发明的技术方案作进一步描述:
实施例1
基于多任务框架的智能学习状态追踪方法及系统具体包括:
(1)从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征;
(2)设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
(3)将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
(4)利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
作为本发明优选实施例,从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征,具体包括:
步骤1.1:从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征。步骤1.1进一步包括:
步骤1.1.1:从松鼠AI智适应平台收集学习者与试题的交互数据,并组成数据集SAI,数据集SAI包含的交互数、知识点数、学习者数如下表3所示;
表3数据集SAI的相关信息
步骤1.2.1:从数据集SAI中选择影响学习者学习状态的外在学习行为特征以及资源特征,选择的外在学习行为特征以及资源特征如下表4所示。
表4数据集SAI中选择的特征
步骤1.2:根据学习者作答反应特征以及资源特征,构建学习者-资源反应矩阵,并利用项目反应理论挖掘学习者的潜在能力特征。步骤1.2进一步包括:
步骤1.2.1:定义试题的难度;
步骤1.2.2:设计单参数的IRT模型;
所述单参数的IRT模型为:
步骤1.2.2:利用最大似然估计法估计学习者潜在能力参数θ。
ln(θN)=max(lnθ)
其中LIRT表示概率;θ为学习者的潜在能力;ri为第i题的作答反应;N为估计的试题数目。
步骤1.3:对学习者作答序列中的外在学习行为特征和资源特征以及学习者潜在能力特征进行一系列的预处理操作,从而获得包含先验信息的学习特征。
步骤1.3进一步包括:
步骤1.3.1:获取学习者作答序列的嵌入矩阵表示;
st是知识点的嵌入矩阵表示;rt表示学习者的真实作答反应情况;0是一个与st维度相同的全零向量,两者通过两种方式连接来反映学习者在知识点上的作答正确与否。用嵌入矩阵表示的学习者作答序列向量为:
FLIS=(x1,x2,...,xt,...,xn)
n表示学习者与练习有n次交互。
步骤1.3.2:评估学习者当前作答知识点的过往作答相关知识点之间的相似度;
relationt(j)=Masking(sj·st),j∈(t,n)
sj为过往练习的知识点;st为当前作答的知识点;Masking是将不相关的知识点设置为-∞的操作。
步骤1.3.3:计算学习者当前作答的知识点与过往练习的知识点之间的相关系数;
weightt(j)=Softmax(relationt(j)),j∈(1,n)
步骤1.3.4:假设过往相关知识点的练习对当前知识点的作答有一定程度的影响,加权总和学习者所有历史学习作答,获取过往相关表现向量。
步骤1.3.5:计算学习者在所有知识点上的作答正确率向量,从而获得作答正确率向量;
步骤1.3.6:采用One-Hot方法编码作答时间特征以及潜在能力特征,并将两者与学习者嵌入矩阵、过往相关表现向量、学习者在所有知识点上的作答正确率向量拼接,并将拼接后的向量通过GLU机制,从而获得包含先验信息的学习特征向量。
作为本发明优选实施例,设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征,具体包括:
步骤2.1:将多个时刻连续的包含先验信息的学习特征向量作为一维卷积层的滑动窗口的输入;
FConv=Conv(FILA)
步骤2.2:将一维卷积层的滑动窗口的后半部分设置为0以防止后续学习作答的卷积运算,再对一维卷积层的输出通过GLU机制,控制学习者对知识的遗忘,并在一维卷积层的输入和输出之间添加剩余连接,优化模型结构;
Fre=GLU(Conv(FILA))+FILA
步骤2.3:将多个相同的一维卷积层堆叠起来,设计成多个堆叠的分层卷积,使得低卷积层捕获学习者较近时期的学习率,高卷积层监视较远时期的学习率;
FmConv={GLU(Conv(FILA))+FILA}z
z代表有z个堆叠的相同一维卷积层。
步骤2.4:提取深层学习特征。
Fsf=σ({GLU(Conv(FILA))+FILA}m)
作为本发明优选实施例,将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型,具体包括:
步骤3.1:将作答反应特征和知识点特征进行交叉量化处理,从而获取原始输入特征;
C(qt,rt)=qt+(max(q)+1)*rt
其中,qt表示t时刻学习者作答知识点,rt表示t时刻学习者作答正确与否的情况,max(q)表示在知识点特征中的数据最大值,C(·)表示交叉量化处理;
步骤3.2:以0.5为阈值边界,将提取的深层学习特征转化为0/1特征;
步骤3.3:采用One-Hot方法编码原始输入特征、作答时间特征、潜在能力特征以及转化为0/1特征后的深层学习特征,并将这些特征进行深浅层特征融合,获得深浅融合学习特征;
步骤3.4:将深浅融合学习特征输入到双向循环神经网络模型中,构建基于长时序依赖的智能学习状态追踪模型。步骤3.4进一步包括:
步骤3.4.1:将深浅融合学习特征输入到第一层循环神经网络模型,计算t个时间步的隐藏层;
W2为权值矩阵,b2为相应的偏置向量,tanh为激活函数。
步骤3.4.3:基于得到的两层循环神经网络模型输出的学习者学习状态得到学习者最终潜在的学习状态以及在下一个知识点作答时的表现概率。
所述学习者最终潜在的学习状态为:
所述下一个知识点作答时的表现概率包括:
学习者作答反应正确概率:
学习者学习能力程度概率:
学习者作答时间范围概率:
W3,W4,W5为权值矩阵,b3,b4,b5为相应的偏置向量。
作为本发明优选实施例。利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确,具体包括:
步骤4.1:利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测;步骤4.1进一步包括:
步骤4.1.1:预测t+1时刻学习者的作答反应at'+1;
步骤4.1.2:预测t+1时刻学习者的学习能力abilityt'+1;
步骤4.1.3:预测t+1时刻学习者的作答时间Timet'+1。
步骤4.1.4:量化学习者的知识掌握情况Statet;
Statet=σ(ht)
步骤4.2:根据预测的学习者作答反应、学习者学习能力、学习者的作答时间和真实的学习者作答反应、学习者学习能力、学习者的作答时间,定义损失函数L;
所述相应的损失函数分别为:
L=L1+μ1L2+μ2L3
其中μ1,μ2分别为损失函数L2,L3的系数。
步骤4.3:添加l1和l2正则化使得预测结果稳定而准确,得到新损失函数L'。
所述l1和l2正则化定义为:
所述新损失函数为:
L'=L+λ1l1+λ2l2
λ1,λ2为两个l1和l2正则化的系数。
步骤4.4:使用Adma优化器对参数进行学习更新。本发明实验中,主要开发环境包括:Windows 10,GTX 1080Ti,Tensorflow1.9,Python3.5,模型具体的超参数设置如下表5所示。
表5数据集SAI实验超参数设置情况
将本方法与传统智能学习状态追踪方法进行了比较。为了公平地进行比较,所有这些方法都被调整为具有最佳性能,一种基于多任务框架的智能学习状态追踪方法与智能学习状态追踪方法在数据集SAI下的AUC、R2、RMSE和ACC 对比结果如表6、图4所示,模型在数据集SAI上训练过程示意图如图5所示。
表6数据集SAI实验结果对比
由实验结果可知:本发明提出的基于多任务框架的智能学习状态追踪在数据集SAI上,AUC提升了20%,R2提升了0.4771,RMSE下降了16.7%。说明本发明考虑融入更多影响学习者学习状态的特征,并设计多个堆叠的卷积神经网络对这些特征进行表示学习后获得深层学习特征,然后将深层学习特征再与影响学习者学习状态的特征进行深浅融合,能更好地表征学习者的学习过程;再者引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型去动态诊断学习者的知识状态,更多地利用了学习者的交互信息;最后,设计多任务框架,利用基于长时序依赖的智能学习状态追踪模型预测学习者的作答反应、作答时间以及潜在能力,优化了模型结构,减少了模型整体参数,也提高了在预测学习者学习状态面的精度,预测结果明显由于传统智能学习状态追踪方法。实验也表明,在AUC、R2和RMSE方面,本发明提出的基于多任务框架的智能学习状态追踪方法比传统智能学习状态追踪方法更有效,总之,本方法具有最佳的实验效果。
综上,本发明提供的,基于多任务框架的智能学习状态追踪方法及系统不仅实现了更为精准的学习者作答反应预测,还能预测学习者的作答时间、潜在能力等。该方法以从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征。然后设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征。再将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型。最后利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化,从而使得预测结果稳定而准确。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于多任务框架的智能学习状态追踪方法,其特征在于,所述基于多任务框架的智能学习状态追踪方法包括:
步骤一,从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行预处理操作,获得包含先验信息的学习特征;
步骤二,构建多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
步骤三,将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
步骤四,利用基于长时序依赖的智能学习状态追踪模型,对学习者的学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
2.如权利要求1所述的基于多任务框架的智能学习状态追踪方法,其特征在于,所述步骤一,具体包括:
(1)从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征;所述外在学习行为特征包括作答反应特征以及作答时间特征,资源特征包括知识点特征;
(2)根据学习者作答反应特征以及资源特征,构建学习者-资源反应矩阵,并利用项目反应理论挖掘学习者的潜在能力特征;
(3)对学习者作答序列中的外在学习行为特征和资源特征以及学习者潜在能力特征进行一系列的预处理操作,获得包含先验信息的学习特征。
4.如权利要求2所述的基于多任务框架的智能学习状态追踪方法,其特征在于,步骤(3)中,所述对学习者作答序列中的外在学习行为特征和资源特征以及学习者潜在能力特征进行一系列的预处理操作,获得包含先验信息的学习特征,包括:
获取学习者作答序列的嵌入矩阵表示:
st是知识点的嵌入矩阵表示;rt表示学习者的真实作答反应情况;0是一个与st维度相同的全零向量,两者通过两种方式连接反映学习者在知识点上的作答正确与否;
用嵌入矩阵表示的学习者作答序列向量为:
FLIS=(x1,x2,...,xt,...,xn)
n表示学习者与练习有n次交互;
评估学习者当前作答知识点的过往作答相关知识点之间的相似度:
relationt(j)=Masking(sj·st),j∈(t,n)
sj为过往练习的知识点;st为当前作答的知识点;Masking是将不相关的知识点设置为-∞的操作;
计算学习者当前作答的知识点与过往练习的知识点之间的相关系数:
weightt(j)=Softmax(relationt(j)),j∈(1,n);
假设过往相关知识点的练习对当前知识点的作答有一定程度的影响,加权总和学习者所有历史学习作答,获取过往相关表现向量:
计算学习者在所有知识点上的作答正确率向量,从而获得作答正确率向量;
采用One-Hot方法编码作答时间特征以及潜在能力特征,并将两者与学习者嵌入矩阵、过往相关表现向量、学习者在所有知识点上的作答正确率向量拼接,并将拼接后的向量通过GLU机制,获得包含先验信息的学习特征向量:
5.如权利要求1所述的基于多任务框架的智能学习状态追踪方法,其特征在于,所述步骤二,具体包括:
(1)将多个时刻连续的包含先验信息的学习特征向量作为一维卷积层的滑动窗口的输入:
FConv=Conv(FILA);
(2)将一维卷积层的滑动窗口的后半部分设置为0以防止后续学习作答的卷积运算,再对一维卷积层的输出通过GLU机制,控制学习者对知识的遗忘,并在一维卷积层的输入和输出之间添加剩余连接,优化模型结构;
Fre=GLU(Conv(FILA))+FILA;
(3)将多个相同的一维卷积层堆叠起来,设计成多个堆叠的分层卷积,使得低卷积层捕获学习者较近时期的学习率,高卷积层监视较远时期的学习率;
FmConv={GLU(Conv(FILA))+FILA}z
z代表有z个堆叠的相同一维卷积层;
(4)提取深层学习特征:
Fsf=σ({GLU(Conv(FILA))+FILA}m)。
6.如权利要求1所述的基于多任务框架的智能学习状态追踪方法,其特征在于,所述步骤三,具体包括:
(1)将作答反应特征和知识点特征进行交叉量化处理,从而获取原始输入特征;
C(qt,rt)=qt+(max(q)+1)*rt
其中,qt表示t时刻学习者作答知识点,rt表示t时刻学习者作答正确与否的情况,max(q)表示在知识点特征中的数据最大值,C(·)表示交叉量化处理;
(2)以0.5为阈值边界,将提取的深层学习特征转化为0/1特征;
(3)采用One-Hot方法编码原始输入特征、作答时间特征、潜在能力特征以及转化为0/1特征后的深层学习特征,并将这些特征进行深浅层特征融合,获得深浅融合学习特征;
(4)将深浅融合学习特征输入到双向循环神经网络模型中,构建基于长时序依赖的智能学习状态追踪模型,包括:
将深浅融合学习特征输入到第一层循环神经网络模型,计算t个时间步的隐藏层;
W2为权值矩阵,b2为相应的偏置向量,tanh为激活函数;
基于得到的两层循环神经网络模型输出的学习者学习状态得到学习者最终潜在的学习状态以及在下一个知识点作答时的表现概率;
所述学习者最终潜在的学习状态为:
所述下一个知识点作答时的表现概率包括:
学习者作答反应正确概率:
学习者学习能力程度概率:
学习者作答时间范围概率:
W3,W4,W5为权值矩阵,b3,b4,b5为相应的偏置向量。
7.如权利要求6所述的基于多任务框架的智能学习状态追踪方法,其特征在于,所述步骤四,具体包括:
(1)利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测;
量化学习者的知识掌握情况Statet:Statet=σ(ht);
(2)根据预测的学习者作答反应、学习者学习能力、学习者的作答时间和真实的学习者作答反应、学习者学习能力、学习者的作答时间,定义损失函数L;
所述相应的损失函数分别为:
L=L1+μ1L2+μ2L3
其中μ1,μ2分别为损失函数L2,L3的系数;
(3)添加l1和l2正则化使得预测结果稳定而准确,得到新损失函数L';
所述l1和l2正则化定义为:
所述新损失函数为:
L'=L+λ1l1+λ2l2
λ1,λ2为两个l1和l2正则化的系数;
(4)使用Adma优化器对参数进行学习更新。
8.一种用于实施权利要求1~7任意一项所述的基于多任务框架的智能学习状态追踪方法的基于多任务框架的智能学习状态追踪系统,其特征在于,所述基于多任务框架的智能学习状态追踪系统包括:
包含先验信息的学习特征构建模块,用于从学习者作答序列中采集学习者的外在学习行为特征以及学习资源特征,利用项目反应理论挖掘学习者的潜在能力特征,再对这些特征进行一系列的预处理操作,从而获得包含先验信息的学习特征;
深层学习特征构建模块,用于设计多个堆叠的卷积神经网络对包含先验信息的学习特征进行深度表示学习,在捕获不同时期的学习者学习率的同时,控制学习者的遗忘情况,从而构建深层学习特征;
基于Bi-RNN的智能学习状态追踪模型构建模块,用于将深层学习特征、外在学习行为特征以及学习资源特征进行深浅特征融合,并创造性地引入双向循环神经网络,构建基于长时序依赖的智能学习状态追踪模型;
智能学习状态预测模块,用于利用基于长时序依赖的智能学习状态追踪模型,对学习者的外在学习行为表现和内在学习潜质等学习状态进行量化及预测,并构造相应的损失函数进行多任务训练,同时添加l1和l2正则化使得预测结果稳定而准确。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1~7任意一项所述一种基于多任务框架的智能学习状态追踪方法。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1~7任意一项所述的一种基于多任务框架的智能学习状态追踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111386905.3A CN114091657A (zh) | 2021-11-22 | 2021-11-22 | 基于多任务框架的智能学习状态追踪方法、系统及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111386905.3A CN114091657A (zh) | 2021-11-22 | 2021-11-22 | 基于多任务框架的智能学习状态追踪方法、系统及应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114091657A true CN114091657A (zh) | 2022-02-25 |
Family
ID=80302718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111386905.3A Pending CN114091657A (zh) | 2021-11-22 | 2021-11-22 | 基于多任务框架的智能学习状态追踪方法、系统及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114091657A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763361A (zh) * | 2024-02-22 | 2024-03-26 | 泰山学院 | 一种基于人工智能的学生成绩预测方法及系统 |
-
2021
- 2021-11-22 CN CN202111386905.3A patent/CN114091657A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763361A (zh) * | 2024-02-22 | 2024-03-26 | 泰山学院 | 一种基于人工智能的学生成绩预测方法及系统 |
CN117763361B (zh) * | 2024-02-22 | 2024-04-30 | 泰山学院 | 一种基于人工智能的学生成绩预测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
CN112116092B (zh) | 可解释性知识水平追踪方法、系统和存储介质 | |
CN111582694A (zh) | 一种学习评估方法及装置 | |
CN113591988B (zh) | 知识认知结构分析方法、系统、计算机设备、介质、终端 | |
CN113610235A (zh) | 一种基于深度知识追踪的适应性学习支持装置及方法 | |
CN112529155B (zh) | 动态知识掌握建模方法、建模系统、存储介质及处理终端 | |
CN112085168A (zh) | 一种基于动态键值门控循环网络的知识追踪方法及系统 | |
CN114254127A (zh) | 学生能力画像方法、学习资源推荐方法及装置 | |
CN113902129A (zh) | 多模态的统一智能学习诊断建模方法、系统、介质、终端 | |
CN116186250A (zh) | 小样本条件下的多模态学习水平挖掘方法、系统及介质 | |
CN114861754A (zh) | 一种基于外部注意力机制的知识追踪方法及系统 | |
CN117591870A (zh) | 一种基于深度强化学习的情感感知智能教学方法及系统 | |
US20220215255A1 (en) | Learning content recommendation system for predicting probability of correct answer of user using collaborative filtering based on latent factor and operation method thereof | |
CN114091657A (zh) | 基于多任务框架的智能学习状态追踪方法、系统及应用 | |
CN114971066A (zh) | 融合遗忘因素和学习能力的知识追踪方法及系统 | |
CN114298299A (zh) | 基于课程学习的模型训练方法、装置、设备及存储介质 | |
CN116777695A (zh) | 融合项目反应的时序卷积知识追踪方法 | |
CN116665798A (zh) | 一种空气污染趋势预警方法及相关装置 | |
Kumar et al. | Ensemble deep learning network model for dropout prediction in MOOCs | |
CN114925610A (zh) | 一种学习者知识结构与水平建模方法、系统、设备及终端 | |
CN115422256A (zh) | 融合学习认知要素的可解释知识认知水平挖掘方法及系统 | |
CN116956171A (zh) | 基于ai模型的分类方法、装置、设备及存储介质 | |
CN114491050A (zh) | 一种基于认知诊断的学习能力评估方法及系统 | |
CN114970674A (zh) | 一种基于关联度对齐的时序数据概念漂移适配方法 | |
Chanal et al. | Voltage prognosis of PEMFC estimated using Multi-Reservoir Bidirectional Echo State Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |