CN112527821A - 一种学生布鲁姆掌握度评估方法、系统及存储介质 - Google Patents

一种学生布鲁姆掌握度评估方法、系统及存储介质 Download PDF

Info

Publication number
CN112527821A
CN112527821A CN202011449802.2A CN202011449802A CN112527821A CN 112527821 A CN112527821 A CN 112527821A CN 202011449802 A CN202011449802 A CN 202011449802A CN 112527821 A CN112527821 A CN 112527821A
Authority
CN
China
Prior art keywords
student
bloom
state
unit
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011449802.2A
Other languages
English (en)
Inventor
张帅
于丹
李雪
魏泽林
马壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Neusoft Education Technology Group Co ltd
Original Assignee
Dalian Neusoft Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Neusoft Education Technology Group Co ltd filed Critical Dalian Neusoft Education Technology Group Co ltd
Priority to CN202011449802.2A priority Critical patent/CN112527821A/zh
Publication of CN112527821A publication Critical patent/CN112527821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种学生布鲁姆掌握度评估方法、系统及存储介质，该方法包括：构建并训练深度知识追踪模型；当学生产生新的学习行为时，通过训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测；基于所述学生在各个习题上的做题正确率的预测结果评估该学生在当前时刻的知识点布鲁姆掌握度。本发明能够通过学生的学习行为序列与深度知识追踪方法对知识点的布鲁姆掌握度进行建模，直观地表征学生在知识点粒度上的能力信息和掌握程度，且能够部署至在线教育及混合教育平台中，对学生的学习能力变化及认知状态变化进行有效表征，达到了布鲁姆操作的目的。

Description

一种学生布鲁姆掌握度评估方法、系统及存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种学生布鲁姆掌握度评估方法、系统及存储介质。
背景技术
布鲁姆认知模型是由美国教育心理学家本杰明布鲁姆提出的一种分类法，将教育者的教学目标进行分类，以便能有效地达成各个目标。布鲁姆认知模型包含六个等级，分别为：知道、理解、应用、分析、综合、评价。布鲁姆理论能够有效地指导教学过程，对学生的认知过程进行更为合理的描述，但往往需要大量的专家知识。由于在线教育及混改教育领域会产生大量的结构化与非结构化学习行为数据，如何能够智能地对学生的知识点布鲁姆掌握度进行建模面临困境，导致布鲁姆模型理论难以在应用场景中落地。
发明内容
本发明提供了一种学生布鲁姆掌握度评估方法、系统及存储介质，该方法利用学生学习行为序列和深度知识追踪算法对学生的知识点布鲁姆掌握度进行建模，并定义了一种布鲁姆操作来达到对知识点的掌握度进行定量评估的目的。布鲁姆操作是一种从学生学习行为到其所达到的布鲁姆认知层级的转换计算，其输入为该学生的学习行为序列，输出为学习效果相对应的布鲁姆认知层级。
为了达到上述发明目的，本发明提供了以下技术方案：
本发明提供了一种学生布鲁姆掌握度评估方法，所述方法包括：
构建并训练深度知识追踪模型；所述深度知识追踪模型通过对学生能力、试题难度及做题正确率之间的潜在关系进行建模得到，所述深度知识追踪模型通过学生的学习行为序列训练；
当学生产生新的学生行为时，通过训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测；
确定学生身份标识及待评估的知识点；
从关系型数据库中查询所有教学资源，并提取所有考察此知识点的习题；
按照习题的布鲁姆考察等级对试题进行分组；
对每个分组内的所有习题的考察难度进行归一化；
将抽取的习题与深度知识追踪模型对该学生答对各道习题的预测概率进行匹配，并根据归一化后的考察难度进行加权；将加权结果作为该知识点在对应布鲁姆等级下的布鲁姆评分；
为每个布鲁姆等级下的布鲁姆掌握度设置阈值，根据布鲁姆评分评估该学生在此知识点上所达到的布鲁姆等级。
进一步地，构建并训练深度知识追踪模型，包括：
构建LSTM网络，并对网络的结构参数进行初始化；
读取学生的学习行为信息，包括习题信息和学习结果，使用一位有效编码方法对学生学习行为进行编码，形成学习行为嵌入层；所述学习行为嵌入层长度为2N，N为题库习题总数；
读取上一时刻LSTM隐含层状态；若处于冷启动阶段，则需要对隐含层的状态进行初始化；所述LSTM隐含层状态包括：LSTM单元状态值和LSTM隐含状态值；
将学习行为嵌入层以及上一时刻隐含层状态输入至LSTM网络中，计算并存储当前时刻LSTM隐含层状态；
计算损失函数，并利用梯度下降方法更新LSTM网络参数；所述损失函数为：
Figure BDA0002826353510000021
其中，rt是t时刻下学生真实的学习行为结果，pt是模型预测行为结果的概率；
重复上述步骤，直到完成所有学习行为数据的训练。
进一步地，完成所有学习行为数据的训练之后，还包括：保存训练后的深度知识追踪模型至关系型数据库中。
进一步地，当学生产生新的学生行为时，通过训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测，包括：
加载训练好的深度知识追踪模型；
根据学生身份标识从关系型数据库中获取上一时刻LSTM隐含层状态；
将此学生产生的新的学习行为信息进行一位有效编码，形成当前时刻的学习行为嵌入层；
将上一时刻LSTM隐含层状态以及当前时刻的学习行为嵌入层输入至已加载的深度知识追踪模型中，根据训练好的网络结构参数计算当前时刻LSTM隐含层状态，并将其存储至关系型数据库中；
根据pt＝σ(W[ht-1,xt]+b)计算当前时刻该学生做题正确率的预测结果，其中，ht-1为t-1时刻的隐含层状态，xt为t时刻的输入层状态，W和b分别为训练网络的权重系数和偏置系数，σ(·)为激活函数。
本发明还提供了一种学生布鲁姆掌握度评估系统，包括：
深度知识追踪模型训练模块，用于构建并训练深度知识追踪模型；所述深度知识追踪模型通过对学生能力、试题难度及做题正确率之间的潜在关系进行建模得到，所述深度知识追踪模型通过学生的学习行为序列训练；
学生做题正确率预测模块，用于当学生产生新的学生行为时，通过所述深度知识追踪模型训练模块训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测；
知识点布鲁姆掌握度评估模块，用于基于所述学生做题正确率预测模块得到的所述学生在各个习题上的做题正确率的预测结果评估该学生在当前时刻的知识点布鲁姆掌握度；
其中，所述知识点布鲁姆掌握度评估模块，包括：
确定单元，用于确定学生身份标识及待评估的知识点；
提取单元，用于从关系型数据库中查询所有教学资源，并提取所有考察此知识点的习题；
分组单元，用于按照习题的布鲁姆考察等级对提取单元提取的试题进行分组；
归一化单元，用于对分组单元得到的每个分组内的所有习题的考察难度进行归一化；
评分单元，用于将抽取的习题与深度知识追踪模型对该学生答对各道习题的预测概率进行匹配，并根据归一化单元归一化后的考察难度进行加权；将加权结果作为该知识点在对应布鲁姆等级下的布鲁姆评分；
评估单元，用于为每个布鲁姆等级下的布鲁姆掌握度设置阈值，根据评分单元得到的布鲁姆评分评估该学生在此知识点上所达到的布鲁姆等级。
进一步地，深度知识追踪模型训练模块，包括：
构建单元，用于构建LSTM网络，并对网络的结构参数进行初始化；
第一编码单元，用于读取学生的学习行为信息，包括习题信息和学习结果，使用一位有效编码方法对学生学习行为进行编码，形成学习行为嵌入层；所述学习行为嵌入层长度为2N，N为题库习题总数；
第一状态读取单元，用于读取上一时刻LSTM隐含层状态；若处于冷启动阶段，则需要对隐含层的状态进行初始化；所述LSTM隐含层状态包括：LSTM单元状态值和LSTM隐含状态值；
第一状态计算单元，用于将第一编码单元得到的学习行为嵌入层以及第一状态读取单元得到的上一时刻隐含层状态输入至LSTM网络中，计算并存储当前时刻LSTM隐含层状态；
第一更新网络参数单元，用于计算损失函数，并利用梯度下降方法更新LSTM网络参数；所述损失函数为：
Figure BDA0002826353510000041
其中，rt是t时刻下学生真实的学习行为结果，pt是模型预测行为结果的概率；
保存单元，用于在完成所有学习行为数据的训练后，保存训练后的深度知识追踪模型至关系型数据库中。
进一步地，所述学生做题正确率预测模块，包括：
加载单元，用于加载训练好的深度知识追踪模型；
第二状态读取单元，用于根据学生身份标识从关系型数据库中获取上一时刻LSTM隐含层状态；
第二编码单元，用于将此学生产生的新的学习行为信息进行一位有效编码，形成当前时刻的学习行为嵌入层；
第二状态计算单元，用于将第二状态读取单元得到的上一时刻LSTM隐含层状态以及第二编码单元得到的学习行为嵌入层输入至已加载的深度知识追踪模型中，根据训练好的网络结构参数计算当前时刻LSTM隐含层状态，并将其存储至关系型数据库中；
预测单元，用于根据pt＝σ(W[ht-1,xt]+b)计算当前时刻该学生做题正确率的预测结果，其中，ht-1为t-1时刻的隐含层状态，xt为t时刻的输入层状态，W和b分别为训练网络的权重系数和偏置系数，σ(·)为激活函数。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述提供的学生布鲁姆掌握度评估方法。
本发明的优点和积极效果：
本发明能够通过学生的学习行为序列与深度知识追踪方法对知识点的布鲁姆掌握度进行建模，直观地表征学生在知识点粒度上的能力信息和掌握程度，且能够部署至在线教育及混合教育平台中，对学生的学习能力变化及认知状态变化进行有效表征，达到了布鲁姆操作的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种学生布鲁姆掌握度评估方法的流程图；
图2为本发明实施例中深度知识追踪模型构建及训练流程图；
图3为本发明实施例中学生做题正确率预测流程图；
图4为本发明实施例中学生知识点布鲁姆掌握度评估过程。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
学生在教学平台中会产生大量的学习数据，其中包含学习资源、学习结果等信息，这些数据反映了学生对各个知识点的潜在掌握度。因此，可以将学习行为数据进行编码并输入至LSTM(Long Short Term Memory networks，长短期记忆网络)模型中，利用深度知识追踪方法对学生做题的正确率进行预测。进一步，由于教学资源包含考察知识点信息和布鲁姆考察等级，学生作答的正确率反应了对相应知识点的布鲁姆掌握度信息，从而能够对知识点的布鲁姆掌握度进行建模。
参见图1，其示出了本发明实施例中的一种学生布鲁姆掌握度评估方法的流程图，该方法包括深度知识追踪模型构建及训练，学生做题正确率预测以及知识点布鲁姆掌握度评估。
深度知识追踪模型的训练是通过大量学生的学习行为序列，对学生能力、试题难度及做题正确率之间的潜在关系进行建模，当学生产生新的学习行为时，可通过训练好的模型对学生在所有习题上的做题正确率进行预测，进一步可利用表征习题-知识点关联的布鲁姆操作矩阵评估该学生在当前时刻的知识点布鲁姆掌握度，从而达到布鲁姆操作的目的。
1、深度知识追踪模型构建及训练
深度知识追踪方法将学生学习行为序列输入循环神经网络中，通过隐含层状态表征学生潜在的能力模型，同时输出学生做题正确率的预测结果。以真实的做题结果作为标签，以交叉熵作为损失函数对深度学习模型进行训练。具体训练过程如图2所示，包含以下步骤：
S101、构建LSTM网络，并对网络的结构参数进行初始化。
S102、读取学生学习行为信息，包括习题信息和学习结果，使用一位有效编码(one-hot编码)方法对学生学习行为进行编码，得到学习行为嵌入层(Embedding)；其中，学习行为Embedding长度为2N，N为题库习题总数。
S103、读取上一时刻(t-1时刻)的LSTM隐含层状态，包括：上一时刻LSTM单元状态值(LSTM-Ct-1)及上一时刻LSTM隐含状态值(LSTM-Ht-1)。若处于冷启动阶段，则需要对单元状态和隐含状态进行初始化。
在Tensorflow深度学习框架中，可通过将隐含层状态设置为Variable变量以进行读取并保存。其它框架如Pytorch等同理。
S104、将学习行为Embedding、LSTM-Ct-1及LSTM-Ht-1输入至LSTM网络中，计算并存储当前时刻LSTM隐含层状态，包括：当前时刻LSTM单元状态值(LSTM-Ct)及当前时刻LSTM隐含状态值(LSTM-Ht)。
S105、计算如式1所示的损失函数，并利用梯度下降方法更新LSTM网络参数：
Figure BDA0002826353510000071
其中，rt是t时刻下学生真实的学习行为结果，pt是模型预测行为结果的概率。
S106、重复S102～S105，直到完成所有行为数据的训练。
之后还包括：保存训练后的深度知识追踪模型在关系型数据库中。
上述深度知识追踪模型构建及训练的过程，能够充分地利用学生在学习过程中产生的学习行为序列信息，并通过深度知识追踪模型从学生行为信息中挖掘出学生的能力特征。
2、学生做题正确率预测
在线教育平台及混合教育平台对学生知识点布鲁姆等级具有实时更新的需求，从而达到掌握度评估与学生学习行为同步的目的。因此，需要对训练好的深度知识追踪模型进行在线部署，并根据学生在学习平台上产生的学习行为对其能力模型即做题正确率预测进行实时更新。具体预测过程如图3所示，包含以下步骤：
S201、加载深度知识追踪模型。
S202、根据学生身份标识(id)从关系型数据库中获取上一时刻LSTM隐含层状态。
S203、将此学生当前时刻的学习行为数据进行one-hot编码，形成学习行为Embedding。
S204、将上一时刻LSTM隐含层状态以及当前时刻的学习行为Embedding输入至已加载的LSTM网络中，根据训练好的网络结构参数计算当前时刻的隐含层状态，并将其存储至关系型数据库中。
S205、根据式2计算当前时刻该学生做题正确率的预测结果；
pt＝σ(W[ht-1,xt]+b) (2)
其中，ht-1为t-1时刻的隐含层状态，xt为t时刻输入层状态，W和b分别为训练网络的权重系数和偏置系数，σ(·)为激活函数。
上述学生做题正确率预测过程，将离线训练的深度知识追踪模型部署到在线学习平台中，能够实时地根据学生在学习平台中产生的新学习行为动态更新学生的能力特征，对学生做题正确率进行实时的预测。
3、知识点布鲁姆掌握度评估
学生做题正确率能够从习题测试的角度表征学生的综合能力，但其无法直观地表现学生对各个知识点的掌握程度，尤其在习题同时考察多个知识点而考察难度又不同时，很难体现学生对知识点的布鲁姆掌握度。因此，需要将学生做题正确率信息进一步转化为知识点布鲁姆掌握度，具体评估方法如图4所示，包含以下步骤：
S301、确定学生id及待评估的知识点。
S302、从关系型数据库中查询所有教学资源，并提取所有考察此知识点的习题；在此基础上，按照习题的布鲁姆考察等级对试题进行分组。
S303、对每个分组内的所有习题的考察难度进行归一化。
S304、从关系型数据库中读取深度知识追踪模型对该学生答对各道习题的预测概率，将S302中抽取的习题与相应的预测做对概率进行匹配，并根据S303中归一化后的考察难度进行加权；将加权结果作为该知识点在对应布鲁姆等级下的布鲁姆评分。
S305、为每个布鲁姆等级下的布鲁姆掌握度设置阈值，进一步根据布鲁姆评分评估该学生在此知识点上所达到的布鲁姆等级。
上述知识点布鲁姆掌握度评估方法，将较为抽象的学生做题结果预测信息转化为知识点布鲁姆等级信息，从模型输出的预测结果中挖掘并评估了学生对每个知识点的掌握程度，从能力特征、教学资源及行为结果角度对学生进行了布鲁姆操作。
本发明实施例能够通过学生的学习行为序列与深度知识追踪方法对知识点的布鲁姆掌握度进行建模，直观地表征学生在知识点粒度上的能力信息和掌握程度，且能够部署至在线教育及混合教育平台中，对学生的学习能力变化及认知状态变化进行有效表征，达到了布鲁姆操作的目的。
为便于理解本发明中布鲁姆操作的整体流程，下面以在线教学平台中《机器学习》课程的真实应用流程作为实施例进行说明。
具体的应用流程包含以下三个环节：
第一、深度知识追踪模型训练
在线教学平台中存有大量往期学生的学习行为记录，针对《机器学习》课程中的学习行为数据进行初步的清洗，并辅以仿真行为数据进行补充。最后应用在深度知识追踪模型训练的数据集中包含5000名学生产生的约1,800,000条学习行为记录。学生学习行为数据结构示例如表1。
表1
记录id 学生id 试题id 行为结果 行为总数
6137 89 244 0 1
6138 89 523 1 2
6139 89 29 0 3
6140 89 229 0 4
6141 89 329 1 5
6142 89 329 0 6
6143 89 245 1 7
6144 89 520 1 8
6145 89 420 0 9
6146 89 320 0 10
6147 89 256 0 11
6148 89 223 1 12
6149 89 409 1 13
将数据集按照7:2:1的比例划分并训练深度知识追踪模型，训练好的模型在验证集上的准确度为72.1％，AUC为77.2％。(注：考虑到模型在线部署和实时反馈需求，此环节的模型为最基础的结构。)
第二、学生做题正确率评估
以正在教学平台中参加学习活动的学生A为例，其在平台内存有过往学习行为记录，且在学习过程中会不断产生新的行为数据。
教学平台周期性调用布鲁姆操作服务，该模块会从数据库中读取学生A新产生的学习行为数据，并将其处理为学习行为Embedding组成的序列化数据。在读取往期隐层状态的基础上，调用深度知识追踪模型进行当前状态下做题正确率的评估。题库试题数据结构示例如表2。
表2
Figure BDA0002826353510000111
由于《机器学习》课程的题库中包含1573道试题，因此最终的评估结果是长度为1573的向量，向量内为学生A在当前状态下作对各试题的概率。
P＝[0.87,0.24,0.57,......0.42,0.23,0.92,0.85,......0.25,0.85,0.78,0.91]1×1573
第三、布鲁姆掌握度评估
布鲁姆掌握度以知识点为最小粒度，因此需要布鲁姆操作矩阵将试题正确率转化为布鲁姆掌握度。《机器学习》课程共有83个知识点，且题库中1573道试题均已通过算法或人工标记了试题的考察知识点、考察难度及布鲁姆考察等级。试题与知识点间的考察关系示例如表3
表3
试题id 考察知识点 考察难度 布鲁姆考察等级
51 卷积神经网络 0.333 2
53 卷积神经网络 0.667 2
54 卷积神经网络 1.000 2
针对每个知识点，首先在题库中匹配所有考察此知识点的试题，并按照布鲁姆考察等级进行分类。在每个布鲁姆分类中，对该类下所有试题的考察难度进行归一化，并与试题作对概率相乘，累加后的结果即为此知识点在该布鲁姆等级下的评估得分。
以“卷积神经网络”的布鲁姆二级评估为例，从题库中抽取试题列表为[51，53，54]，考察难度系数归一化为[0.167，0.333，0.500]，学生A当前的做题正确率匹配为[0.42，0.92，0.85]，则评估得分为：
Score＝0.42*0.167+0.92*0.333+0.85*0.500＝0.802；
对该课程下所有知识点的布鲁姆认知模型进行评估，则可以得到学生A在当前状态下对《机器学习》课程下以知识点为粒度的布鲁姆掌握度评估结果。
对应本发明中的一种学生布鲁姆掌握度评估方法，本发明还提供了一种学生布鲁姆掌握度评估系统，包括：
深度知识追踪模型训练模块，用于构建并训练深度知识追踪模型；所述深度知识追踪模型通过对学生能力、试题难度及做题正确率之间的潜在关系进行建模得到，所述深度知识追踪模型通过学生的学习行为序列训练；
学生做题正确率预测模块，用于当学生产生新的学生行为时，通过所述深度知识追踪模型训练模块训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测；
知识点布鲁姆掌握度评估模块，用于基于所述学生做题正确率预测模块得到的所述学生在各个习题上的做题正确率的预测结果评估该学生在当前时刻的知识点布鲁姆掌握度；
其中，所述知识点布鲁姆掌握度评估模块，包括：
确定单元，用于确定学生身份标识及待评估的知识点；
提取单元，用于从关系型数据库中查询所有教学资源，并提取所有考察此知识点的习题；
分组单元，用于按照习题的布鲁姆考察等级对提取单元提取的试题进行分组；
归一化单元，用于对分组单元得到的每个分组内的所有习题的考察难度进行归一化；
评分单元，用于将抽取的习题与深度知识追踪模型对该学生答对各道习题的预测概率进行匹配，并根据归一化单元归一化后的考察难度进行加权；将加权结果作为该知识点在对应布鲁姆等级下的布鲁姆评分；
评估单元，用于为每个布鲁姆等级下的布鲁姆掌握度设置阈值，根据评分单元得到的布鲁姆评分评估该学生在此知识点上所达到的布鲁姆等级。
进一步地，深度知识追踪模型训练模块，包括：
构建单元，用于构建LSTM网络，并对网络的结构参数进行初始化；
第一编码单元，用于读取学生的学习行为信息，包括习题信息和学习结果，使用一位有效编码方法对学生学习行为进行编码，形成学习行为嵌入层；所述学习行为嵌入层长度为2N，N为题库习题总数；
第一状态读取单元，用于读取上一时刻LSTM隐含层状态；若处于冷启动阶段，则需要对隐含层的状态进行初始化；所述LSTM隐含层状态包括：LSTM单元状态值和LSTM隐含状态值；
第一状态计算单元，用于将第一编码单元得到的学习行为嵌入层以及第一状态读取单元得到的上一时刻隐含层状态输入至LSTM网络中，计算并存储当前时刻LSTM隐含层状态；
第一更新网络参数单元，用于计算损失函数，并利用梯度下降方法更新LSTM网络参数；所述损失函数为：
Figure BDA0002826353510000131
其中，rt是t时刻下学生真实的学习行为结果，pt是模型预测行为结果的概率。
保存单元，用于在完成所有学习行为数据的训练后，保存训练后的深度知识追踪模型至关系型数据库中。
进一步地，所述学生做题正确率预测模块，包括：
加载单元，用于加载训练好的深度知识追踪模型；
第二状态读取单元，用于根据学生身份标识从关系型数据库中获取上一时刻LSTM隐含层状态；
第二编码单元，用于将此学生产生的新的学习行为信息进行一位有效编码，形成当前时刻的学习行为嵌入层；
第二状态计算单元，用于将第二状态读取单元得到的上一时刻LSTM隐含层状态以及第二编码单元得到的学习行为嵌入层输入至已加载的深度知识追踪模型中，根据训练好的网络结构参数计算当前时刻LSTM隐含层状态，并将其存储至关系型数据库中；
预测单元，用于根据pt＝σ(W[ht-1,xt]+b)计算当前时刻该学生做题正确率的预测结果，其中，ht-1为t-1时刻的隐含层状态，xt为t时刻输入层状态，W和b分别为训练网络的权重系数和偏置系数，σ(·)为激活函数。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的学生布鲁姆掌握度评估方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种学生布鲁姆掌握度评估方法，其特征在于，所述方法包括：
构建并训练深度知识追踪模型；所述深度知识追踪模型通过对学生能力、试题难度及做题正确率之间的潜在关系进行建模得到，所述深度知识追踪模型通过学生的学习行为序列训练；
当学生产生新的学生行为时，通过训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测；
确定学生身份标识及待评估的知识点；
从关系型数据库中查询所有教学资源，并提取所有考察此知识点的习题；
按照习题的布鲁姆考察等级对试题进行分组；
对每个分组内的所有习题的考察难度进行归一化；
将抽取的习题与深度知识追踪模型对该学生答对各道习题的预测概率进行匹配，并根据归一化后的考察难度进行加权；将加权结果作为该知识点在对应布鲁姆等级下的布鲁姆评分；
为每个布鲁姆等级下的布鲁姆掌握度设置阈值，根据布鲁姆评分评估该学生在此知识点上所达到的布鲁姆等级。
2.根据权利要求1所述的方法，其特征在于，构建并训练深度知识追踪模型，包括：
构建LSTM网络，并对网络的结构参数进行初始化；
读取学生的学习行为信息，包括习题信息和学习结果，使用一位有效编码方法对学生学习行为进行编码，形成学习行为嵌入层；所述学习行为嵌入层长度为2N，N为题库习题总数；
读取上一时刻LSTM隐含层状态；若处于冷启动阶段，则需要对隐含层的状态进行初始化；所述LSTM隐含层状态包括：LSTM单元状态值和LSTM隐含状态值；
将学习行为嵌入层以及上一时刻隐含层状态输入至LSTM网络中，计算并存储当前时刻LSTM隐含层状态；
计算损失函数，并利用梯度下降方法更新LSTM网络参数；所述损失函数为：
Figure FDA0002826353500000021
其中，rt是t时刻下学生真实的学习行为结果，pt是模型预测行为结果的概率；
重复上述步骤，直到完成所有学习行为数据的训练。
3.根据权利要求2所述的方法，其特征在于，完成所有学习行为数据的训练之后，还包括：保存训练后的深度知识追踪模型至关系型数据库中。
4.根据权利要求3所述的方法，其特征在于，当学生产生新的学生行为时，通过训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测，包括：
加载训练好的深度知识追踪模型；
根据学生身份标识从关系型数据库中获取上一时刻LSTM隐含层状态；
将此学生产生的新的学习行为信息进行一位有效编码，形成当前时刻的学习行为嵌入层；
将上一时刻LSTM隐含层状态以及当前时刻的学习行为嵌入层输入至已加载的深度知识追踪模型中，根据训练好的网络结构参数计算当前时刻LSTM隐含层状态，并将其存储至关系型数据库中；
根据pt＝σ(W[ht-1,xt]+b)计算当前时刻该学生做题正确率的预测结果，其中，ht-1为t-1时刻的隐含层状态，xt为t时刻的输入层状态，W和b分别为训练网络的权重系数和偏置系数，σ(·)为激活函数。
5.一种学生布鲁姆掌握度评估系统，其特征在于，包括：
深度知识追踪模型训练模块，用于构建并训练深度知识追踪模型；所述深度知识追踪模型通过对学生能力、试题难度及做题正确率之间的潜在关系进行建模得到，所述深度知识追踪模型通过学生的学习行为序列训练；
学生做题正确率预测模块，用于当学生产生新的学习行为时，通过所述深度知识追踪模型训练模块训练好的深度知识追踪模型对学生在各个习题上的做题正确率进行预测；
知识点布鲁姆掌握度评估模块，用于基于所述学生做题正确率预测模块得到的所述学生在各个习题上的做题正确率的预测结果评估该学生在当前时刻的知识点布鲁姆掌握度；
其中，所述知识点布鲁姆掌握度评估模块，包括：
确定单元，用于确定学生身份标识及待评估的知识点；
提取单元，用于从关系型数据库中查询所有教学资源，并提取所有考察此知识点的习题；
分组单元，用于按照习题的布鲁姆考察等级对提取单元提取的试题进行分组；
归一化单元，用于对分组单元得到的每个分组内的所有习题的考察难度进行归一化；
评分单元，用于将抽取的习题与深度知识追踪模型对该学生答对各道习题的预测概率进行匹配，并根据归一化单元归一化后的考察难度进行加权；将加权结果作为该知识点在对应布鲁姆等级下的布鲁姆评分；
评估单元，用于为每个布鲁姆等级下的布鲁姆掌握度设置阈值，根据评分单元得到的布鲁姆评分评估该学生在此知识点上所达到的布鲁姆等级。
6.根据权利要求5所述的系统，其特征在于，深度知识追踪模型训练模块，包括：
构建单元，用于构建LSTM网络，并对网络的结构参数进行初始化；
第一编码单元，用于读取学生的学习行为信息，包括习题信息和学习结果，使用一位有效编码方法对学生学习行为进行编码，形成学习行为嵌入层；所述学习行为嵌入层长度为2N，N为题库习题总数；
第一状态读取单元，用于读取上一时刻LSTM隐含层状态；若处于冷启动阶段，则需要对隐含层的状态进行初始化；所述LSTM隐含层状态包括：LSTM单元状态值和LSTM隐含状态值；
第一状态计算单元，用于将第一编码单元得到的学习行为嵌入层以及第一状态读取单元得到的上一时刻隐含层状态输入至LSTM网络中，计算并存储当前时刻LSTM隐含层状态；
第一更新网络参数单元，用于计算损失函数，并利用梯度下降方法更新LSTM网络参数；所述损失函数为：
Figure FDA0002826353500000041
其中，rt是t时刻下学生真实的学习行为结果，pt是模型预测行为结果的概率；
保存单元，用于在完成所有学习行为数据的训练后，保存训练后的深度知识追踪模型至关系型数据库中。
7.根据权利要求6所述的系统，其特征在于，所述学生做题正确率预测模块，包括：
加载单元，用于加载训练好的深度知识追踪模型；
第二状态读取单元，用于根据学生身份标识从关系型数据库中获取上一时刻LSTM隐含层状态；
第二编码单元，用于将此学生产生的新的学习行为信息进行一位有效编码，形成当前时刻的学习行为嵌入层；
第二状态计算单元，用于将第二状态读取单元得到的上一时刻LSTM隐含层状态以及第二编码单元得到的学习行为嵌入层输入至已加载的深度知识追踪模型中，根据训练好的网络结构参数计算当前时刻LSTM隐含层状态，并将其存储至关系型数据库中；
预测单元，用于根据pt＝σ(W[ht-1,xt]+b)计算当前时刻该学生做题正确率的预测结果，其中，ht-1为t-1时刻的隐含层状态，xt为t时刻的输入层状态，W和b分别为训练网络的权重系数和偏置系数，σ(·)为激活函数。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1至4任一项提供的学生布鲁姆掌握度评估方法。
CN202011449802.2A 2020-12-09 2020-12-09 一种学生布鲁姆掌握度评估方法、系统及存储介质 Pending CN112527821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011449802.2A CN112527821A (zh) 2020-12-09 2020-12-09 一种学生布鲁姆掌握度评估方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011449802.2A CN112527821A (zh) 2020-12-09 2020-12-09 一种学生布鲁姆掌握度评估方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112527821A true CN112527821A (zh) 2021-03-19

Family

ID=74998752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011449802.2A Pending CN112527821A (zh) 2020-12-09 2020-12-09 一种学生布鲁姆掌握度评估方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112527821A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157372A (zh) * 2021-04-27 2021-07-23 万里安飞行服务(上海)有限公司 一种基于知识掌握度的电子书籍动态标识方法
CN113220847A (zh) * 2021-06-01 2021-08-06 平安科技（深圳）有限公司 基于神经网络的知识掌握程度测评方法、装置及相关设备
CN113743083A (zh) * 2021-09-06 2021-12-03 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN114238613A (zh) * 2022-02-22 2022-03-25 北京一起航帆科技有限公司 一种确定知识点掌握程度的方法、装置及电子设备
CN114529436A (zh) * 2022-02-10 2022-05-24 珠海读书郎软件科技有限公司 一种知识点掌握程度评估方法、装置及介质
CN116308935A (zh) * 2023-05-19 2023-06-23 湖南师范大学 基于多特征建模和多层次评价的学习预警方法及装置
CN113220847B (zh) * 2021-06-01 2024-06-21 平安科技（深圳）有限公司 基于神经网络的知识掌握程度测评方法、装置及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032651A (zh) * 2019-04-18 2019-07-19 江苏师范大学 一种基于知识图谱的个性化学习特征模型的建构方法
CN110851723A (zh) * 2019-11-14 2020-02-28 上海钦文信息科技有限公司 一种基于大规模知识点标注结果的英语习题推荐方法
CN110930274A (zh) * 2019-12-02 2020-03-27 中山大学 一种基于认知诊断的实践效果评估及学习路径推荐系统和方法
CN110991645A (zh) * 2019-11-18 2020-04-10 广东宜学通教育科技有限公司 一种基于知识模型的自适应学习方法、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032651A (zh) * 2019-04-18 2019-07-19 江苏师范大学 一种基于知识图谱的个性化学习特征模型的建构方法
CN110851723A (zh) * 2019-11-14 2020-02-28 上海钦文信息科技有限公司 一种基于大规模知识点标注结果的英语习题推荐方法
CN110991645A (zh) * 2019-11-18 2020-04-10 广东宜学通教育科技有限公司 一种基于知识模型的自适应学习方法、系统及存储介质
CN110930274A (zh) * 2019-12-02 2020-03-27 中山大学 一种基于认知诊断的实践效果评估及学习路径推荐系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭明新等: ""基于用户模型的生成性学习资源个性化推荐研究"", 《软件导刊》, vol. 16, no. 8, 30 August 2017 (2017-08-30), pages 123 - 127 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157372A (zh) * 2021-04-27 2021-07-23 万里安飞行服务(上海)有限公司 一种基于知识掌握度的电子书籍动态标识方法
CN113157372B (zh) * 2021-04-27 2024-02-02 万里安飞行服务(上海)有限公司 一种基于知识掌握度的电子书籍动态标识方法
CN113220847A (zh) * 2021-06-01 2021-08-06 平安科技（深圳）有限公司 基于神经网络的知识掌握程度测评方法、装置及相关设备
CN113220847B (zh) * 2021-06-01 2024-06-21 平安科技（深圳）有限公司 基于神经网络的知识掌握程度测评方法、装置及相关设备
CN113743083A (zh) * 2021-09-06 2021-12-03 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN113743083B (zh) * 2021-09-06 2024-03-12 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN114529436A (zh) * 2022-02-10 2022-05-24 珠海读书郎软件科技有限公司 一种知识点掌握程度评估方法、装置及介质
CN114238613A (zh) * 2022-02-22 2022-03-25 北京一起航帆科技有限公司 一种确定知识点掌握程度的方法、装置及电子设备
CN116308935A (zh) * 2023-05-19 2023-06-23 湖南师范大学 基于多特征建模和多层次评价的学习预警方法及装置
CN116308935B (zh) * 2023-05-19 2023-08-08 湖南师范大学 基于多特征建模和多层次评价的学习预警方法及装置

Similar Documents

Publication Publication Date Title
CN112527821A (zh) 一种学生布鲁姆掌握度评估方法、系统及存储介质
Wilson et al. Back to the basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation
Raga et al. Early prediction of student performance in blended learning courses using deep neural networks
CN111159419B (zh) 基于图卷积的知识追踪数据处理方法、系统和存储介质
Intisar et al. Classification of online judge programmers based on rule extraction from self organizing feature map
CN110366735A (zh) 分析数据的方法、设备及计算机程序
CN117540104A (zh) 一种基于图神经网络的学习群体差异评价方法与系统
CN113283488B (zh) 一种基于学习行为的认知诊断方法及系统
Stanković et al. Artificial neural network model for prediction of students’ success in learning programming
Maslovskyi et al. Adaptive test system of student knowledge based on neural networks
Moon et al. Rich representations for analyzing learning trajectories: Systematic review on sequential data analytics in game-based learning research
CN114117033B (zh) 知识追踪方法及系统
CN116361744A (zh) 一种面向学习过程性评价的学习者认知追踪方法及系统
Yurtkan et al. Student Success Prediction Using Feedforward Neural Networks
CN113919983A (zh) 试题画像方法、装置、电子设备和存储介质
Al Karim et al. Evaluating the performance of ID3 method to analyze and predict students' performance in online platforms
Andrews-Todd et al. Comparing Collaborative Problem Solving Profiles Derived from Human and Semi-Automated Annotation.
Song et al. A hybrid cnn-lstm model for video-based teaching style evaluation
Mustaffa et al. Personality predictive analysis based on artificial neural network
Villa-Torrano et al. Early prediction of students' efficiency during online assessments using a Long-Short Term Memory architecture.
Hirose Analysis of Fluctuations of Ability Estimates in Testing
Murray Using decision trees to understand student data
Deviatiarova et al. Analyzing Proficiency Patterns in Test Results Using Clustering and Augmentation Algorithms
Durai PREDICTIVE ANALYTICS USING DEEP NEURAL NETWORKS
Salem et al. Data mining techniques for classifying and predicting Teachers’ performance based on their evaluation reports

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant after: Neusoft Education Technology Group Co.,Ltd.

Address before: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant before: Dalian Neusoft Education Technology Group Co.,Ltd.

CB02 Change of applicant information