CN113919567A - 一种结合知识追踪和序列标注模型的试卷成绩预测方法 - Google Patents

一种结合知识追踪和序列标注模型的试卷成绩预测方法 Download PDF

Info

Publication number
CN113919567A
CN113919567A CN202111186987.7A CN202111186987A CN113919567A CN 113919567 A CN113919567 A CN 113919567A CN 202111186987 A CN202111186987 A CN 202111186987A CN 113919567 A CN113919567 A CN 113919567A
Authority
CN
China
Prior art keywords
model
knowledge
sequence labeling
training
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111186987.7A
Other languages
English (en)
Inventor
段庆龙
邱文勤
陈家海
叶家鸣
吴波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qitian Network Technology Co ltd
Original Assignee
Anhui Qitian Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qitian Network Technology Co ltd filed Critical Anhui Qitian Network Technology Co ltd
Priority to CN202111186987.7A priority Critical patent/CN113919567A/zh
Publication of CN113919567A publication Critical patent/CN113919567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种结合知识追踪和序列标注模型的成绩预测方法。涉及学生成绩预测领域。对某一个学科的考试试卷，使用学习者历史考试信息训练知识追踪模型，将知识追踪的结果作为序列标注模型的部分特征输入，预测当前试卷成绩。本发明主要包含以下步骤：数据预处理，知识追踪模型训练，序列标注模型与成绩预测。利用本发明可以构建一种适合考试场景下的成绩预测方法。

Description

一种结合知识追踪和序列标注模型的试卷成绩预测方法
技术领域
本发明属于试卷成绩预测领域。具体涉及一种结合知识追踪和序列标注模型的试卷成绩预测方法。
背景技术
试卷成绩预测作为数据挖掘技术在教育领域的一个重要应用领域，是自动教师评价，学习者建模，试卷组织，试题推荐的基础性工作。随着智慧校园的普及，越来越多的考试信息可以被获取，从而对学生作进一步分析挖掘。一方面教师获取试卷的途径越来越多，在试题的选择上耗费较多的时间和精力，影响教师教学，教研环节的改善；另一方面，教师的主观性较强，在选择试卷的过程中，不能通过以往学习者过往的考试成绩，考试行为方式(如考试中的时间分配，不同难易题目的做题顺序等)进行考试成绩分布的估计。因此如何自动化的根据以往学习者考试信息，预测学习者当前考试成绩成为教育领域学术界和工业界关注的焦点。
目前在试卷成绩预测领域，以往针对每张试卷的预测主要使用学习者的历史考试成绩，通过机器学习或者神经网络模型进行预测，不考虑试卷中各个题目顺序之间的相互影响。而不同的题目顺序，往往对考试中的结果产生不同的结果影响，同时不同的题目组合产生的试卷也对学习者的成绩有一定影响，这造成了成绩预测准确性较低。如何更好的估计每个学习者在试卷上的得分，对学生翻译题目进行评分是当前亟需解决的问题。
针对以上现状，本方法提出一种新颖的结合知识追踪和序列标注模型的试卷成绩预测方法。本方法主要针对中学试卷得分进行预测，使用学习者的考试成绩作为训练数据，对数据进行预处理。使用基于Transformer的知识状态追踪模型对学习者的知识状态进行建模，获取通过历史考试信息预测的当前学习者的知识掌握状态。将预测出来的知识状态结合当前考试所考察的知识点序列作为输入，通过训练lstm-crf模型对考试中题目之间的相互影响进行建模，从而预测当前的试卷成绩。
发明内容
本发明的目的在于：针对中学试卷成绩预测提供一种新思路和解决方法。本发明采用的技术方案如下：
一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，该方法基于知识状态追踪模型和序列标注模型，首先利用学习者日常答题数据训练知识状态追踪模型，然后将知识追踪模型估计的学习者知识掌握状态作为部分特征融合进序列标注模型中进行训练，最终通过训练的序列标注模型对试卷成绩进行预测。该方法主要包含数据预处理，知识追踪模型训练，序列标注模型与成绩预测。
其中，数据预处理过程具体描述为：将题目人工进行知识点的标注。清洗掉考试信息较少的学习者，然后对题目的得分归一化表示，题目得分为满分的表示为1，否则为0。
其中，所述知识追踪模型训练过程具体描述为：使用Transformer的网络结构，Transformer是一种基于自注意力机制和前馈神经网络的模型，其模型可以同时做分类和生成任务，Transformer的网络结构可以并行训练，加快模型训练速度，本方法将带有知识点标记的学习者历史答题数据作为输入，利用transformer结构建立知识追踪模型，在模型的最后一层输出学习者当前的知识掌握状态向量。
其中，所述特征抽取及评分具体描述为：使用基于lstm-crf的神经网络结构，lstm-crf是一种序列标注神经网络模型，模型融合标签与标签之间的转移概率，可以对试卷中题目之间的相互影响进行建模，对学习者答题的对错标注进行训练。
其中，所述的一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，包括以下具体步骤：
步骤一、数据预处理：本方法为一种结合知识追踪和序列标注模型的试卷成绩预测方法，本方法的目标是设计一种结合知识追踪和序列标注模型的试卷成绩预测方法。由于本方法成绩预测主要针对中学考试试卷的成绩预测，所选取的模型训练数据均来自于中学考试中的题目得分情况。首先需要根据学习者在考试中所作的题目数量对学习者进行清洗，去掉做题数据较少的学生。然后将剩下学生的实际得分进行归一化，题目得分为满分的表示为1，否则为0。
步骤二、知识追踪模型训练：将筛选归一化后的学习者考试成绩进行向量化。向量化主要基于试题所标注的知识点进行，当题目中所标注的知识点个数为N时，设置题目输入的维度M。为了将输入的知识点及对错信息进行统一，在知识追踪模型中，会随机生成一个(2*N，M)的矩阵对所有的知识点的对错进行表示，其中矩阵的上半部分为当前题目对应知识点答对情况下的表示形式，矩阵的下半部分为当前题目对应知识点答错情况下的表示形式。Transformer是一种基于自注意力机制和前馈神经网络模型，其模型可以同时做分类和生成任务，Transformer的网络结构可以并行训练，加快翻译模型训练速度。本方法使用基于Transformer的知识追踪模型进行训练，知识追踪模型的参数设置如下：
1)学习率：初始学习率设置为0.01，每训练10轮减小10％。
2)优化器：使用adam或sgd优化器(实施过程根据模型训练情况决定)。
3)其它：batchsize大小设置为4096，与显存容量有关，总共训练轮数为20。
4)Transformer的层数设置为12层，与显存容量有关。
步骤三、序列标注模型与成绩预测：通过知识追踪模型可以预测出学习者各个知识点的掌握状态S。在训练的过程中，输入的向量是当前考试中的知识点向量的one-hot的编码基础上拼接上知识点当前的掌握状态S，通过lstm-crf模型对考试中题目之间的相互影响进行建模。其中基于lstm-crf的序列标注模型的参数设置如下：
其中基于lstm-crf的序列标注模型的参数设置如下：
5)学习率：初始学习率设置为0.01，每训练10轮减小10％。
6)优化器：使用adam或sgd优化器(实施过程根据模型训练情况决定)。
7)其它：batchsize大小设置为1024，与显存容量有关，总共训练轮数为50。
8)lstm的层数设置为2层，与显存容量有关。
附图说明
图1为本发明的整体实施流程图；
图2为本发明整体实施流程中的数据预处理结构图；
图3为本发明整体实施流程中的知识追踪模型结构图；
图4为本发明整体实施流程中的序列标注与试卷成绩预测的结构图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，一种结合知识追踪和序列标注模型的试卷成绩预测方法，主要包含数据预处理，知识追踪模型训练，序列标注模型与成绩预测。
数据预处理部分：如图2所示，准备标注知识点的题目和学习者在题目上的历史考试信息，作为训练知识追踪模型和序列标注模型的原始数据。首先对学习者历史考试信息进行数据清洗，清洗的规则为:当该学习者历史考试信息总的考试做题数目小于40道，将该学习者的历史信息进行移除。然后对学习者的历史数据进行归一化处理，归一化的方法为：当学习者的题目得分大于题目总分的80％的时候，该题目标注的结果为1，否则为0。
知识追踪模型训练部分：如图3所示，首先对处理好的训练数据进行向量化，将归一化后的学习者历史答题数据转化为低维向量的矩阵形式。向量化主要基于试题所标注的知识点进行，当题目中所标注的知识点个数为N时，设置题目输入的维度M。为了将输入的知识点及对错信息进行统一，在知识追踪模型中，会随机生成一个(2*N，M)的矩阵对所有的知识点的对错进行表示，其中矩阵的上半部分为当前题目对应知识点答对情况下的表示形式，矩阵的下半部分为当前题目对应知识点答错情况下的表示形式。输入学习者归一化的历史学习序列，根据每个题目的对错信息查找在矩阵中的向量表示，将归一化的历史信息转化为低维向量的矩阵形式。然后将低维向量矩阵形式输入transformer进行知识追踪模型的训练，基于transformer的知识追踪模型参数设置如下：
学习率：初始学习率设置为0.01，每训练10轮减小10％。
优化器：使用adam或sgd优化器(实施过程根据模型训练情况决定)。
其它：batchsize大小设置为4096，与显存容量有关，总共训练轮数为20。
Transformer的层数设置为12层，与显存容量有关。
序列标注模型与成绩预测部分：如图4所示，序列标注模型的输入向量主要由两部分向量拼接而成，其中第一部分为上一步知识追踪模型预测出来的当前学习者的知识掌握状态信息，总长度为知识点的个数N，对应的每一维度是该知识点的掌握概率，另一部分为当前考试中的知识点向量的one-hot的编码形式，总长度为知识点的个数N，当前考察的知识点对应的维度对应为1，其他为0.如果当前学习者当前考试中有Q道题目，那么序列标注模型输入的矩阵维度为(Q，2N)。将矩阵中的向量按照时序的方式输入到lstm-crf矩阵中对学习者试卷当中的Q个题目进行对错的预测的训练。其中基于lstm-crf的序列标注模型的参数设置如下：
学习率：初始学习率设置为0.01，每训练10轮减小10％。
优化器：使用adam或sgd优化器(实施过程根据模型训练情况决定)。
其它：batchsize大小设置为1024，与显存容量有关，总共训练轮数为50。
lstm的层数设置为2层，与显存容量有关。
本发明针对试卷考试成绩进行预测，通过结合知识追踪和序列标注模型，实现一种可以融入试卷中题目之间的相互影响的考试成绩预测模型，能够方便教师在教学中对班级考试成绩进行估计，并为后续大规模的考试成绩预测提供了新的思路和基础工作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，该方法基于知识状态追踪模型和序列标注模型，首先利用学习者历史考试信息训练知识状态追踪模型，然后将知识追踪模型估计的学习者知识掌握状态作为部分特征融合进序列标注模型中进行训练，最终通过训练的序列标注模型对试卷成绩进行预测，该方法主要包含数据预处理，知识追踪模型训练，序列标注模型与成绩预测。
2.如权利要求1所述的一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，所述数据预处理具体描述为：将题目人工进行知识点的标注，清洗掉考试信息较少的学习者，然后对题目的得分归一化表示，题目得分为满分的表示为1，否则为0。
3.如权利要求1所述的一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，所述知识追踪模型训练具体描述为：使用Transformer的网络结构，Transformer是一种基于自注意力机制和前馈神经网络的模型，其模型可以同时做分类和生成任务，Transformer的网络结构可以并行训练，加快模型训练速度，本方法将带有知识点标记的学习者历史答题数据作为输入，利用transformer结构建立知识追踪模型，在模型的最后一层输出学习者当前的知识掌握状态向量。
4.如权利要求1所述的一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，所述序列标注模型与成绩预测具体描述为：使用基于lstm-crf的神经网络结构，lstm-crf是一种序列标注神经网络模型，模型融合标签与标签之间的转移概率，可以对试卷中题目之间的相互影响进行建模，对学习者答题的对错标注进行训练。
5.如权利要求1所述的一种结合知识追踪和序列标注模型的试卷成绩预测方法，其特征在于，包括以下具体步骤：
步骤一、数据预处理：本方法为一种结合知识追踪和序列标注模型的试卷成绩预测方法，本方法的目标是设计一种结合知识追踪和序列标注模型的试卷成绩预测方法，由于本方法成绩预测主要针对中学考试试卷的成绩预测，所选取的模型训练数据均来自于中学考试中的题目得分情况，首先需要根据学习者在考试中所作的题目数量对学习者进行清洗，去掉做题数据较少的学习者，然后将清洗后的实际得分进行归一化，题目得分为满分的表示为1，否则为0；步骤二、知识追踪模型训练：将筛选归一化后的学习者考试成绩进行向量化。向量化主要基于试题所标注的知识点进行，当题目中所标注的知识点个数为N时，设置题目输入的维度M，为了将输入的知识点及对错信息进行统一，在知识追踪模型中，会随机生成一个(2*N，M)的矩阵对所有的知识点的对错进行表示，其中矩阵的上半部分为当前题目对应知识点答对情况下的表示形式，矩阵的下半部分为当前题目对应知识点答错情况下的表示形式，Transformer是一种基于自注意力机制和前馈神经网络模型，其模型可以同时做分类和生成任务，Transformer的网络结构可以并行训练，加快翻译模型训练速度；本方法使用基于Transformer的知识追踪模型进行训练，知识追踪模型的参数设置如下：
学习率：初始学习率设置为0.01，每训练10轮减小10％；
优化器：使用adam或sgd优化器(实施过程根据模型训练情况决定)；
其它：batchsize大小设置为4096，与显存容量有关，总共训练轮数为20；
Transformer的层数设置为12层，与显存容量有关。
步骤三、序列标注模型与成绩预测：通过知识追踪模型可以预测出学习者各个知识点的掌握状态S，在训练的过程中，输入的向量是当前考试中的知识点向量的one-hot的编码基础上拼接上知识点当前的掌握状态S，通过lstm-crf模型对考试中题目之间的相互影响进行建模。其中基于lstm-crf的序列标注模型的参数设置如下：
1)学习率：初始学习率设置为0.01，每训练10轮减小10％；
2)优化器：使用adam或sgd优化器(实施过程根据模型训练情况决定)；
3)其它：batchsize大小设置为1024，与显存容量有关，总共训练轮数为50；
4)lstm的层数设置为2层，与显存容量有关。
CN202111186987.7A 2021-10-12 2021-10-12 一种结合知识追踪和序列标注模型的试卷成绩预测方法 Pending CN113919567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111186987.7A CN113919567A (zh) 2021-10-12 2021-10-12 一种结合知识追踪和序列标注模型的试卷成绩预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111186987.7A CN113919567A (zh) 2021-10-12 2021-10-12 一种结合知识追踪和序列标注模型的试卷成绩预测方法

Publications (1)

Publication Number Publication Date
CN113919567A true CN113919567A (zh) 2022-01-11

Family

ID=79239432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111186987.7A Pending CN113919567A (zh) 2021-10-12 2021-10-12 一种结合知识追踪和序列标注模型的试卷成绩预测方法

Country Status (1)

Country Link
CN (1) CN113919567A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238613A (zh) * 2022-02-22 2022-03-25 北京一起航帆科技有限公司 一种确定知识点掌握程度的方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238613A (zh) * 2022-02-22 2022-03-25 北京一起航帆科技有限公司 一种确定知识点掌握程度的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111274411A (zh) 课程推荐方法、装置、电子设备及可读存储介质
CN105448152A (zh) 一种在线教学系统
CN113344053B (zh) 一种基于试题异构图表征与学习者嵌入的知识追踪方法
Suresh et al. Automating analysis and feedback to improve mathematics teachers’ classroom discourse
CN109949637B (zh) 一种客观题目的自动解答方法和装置
CN111428058B (zh) 基于mcm的智适应复习资源推送方法
CN113408852B (zh) 基于在线学习行为和深度神经网络的元认知能力评估模型
CN112069970A (zh) 课堂教学事件分析方法及装置
CN116259004B (zh) 一种应用于在线教育的学生学习状态检测方法及系统
CN115455186A (zh) 一种基于多模型的学情分析方法
CN111783464A (zh) 一种面向电力的领域实体识别方法、系统及存储介质
Datta et al. Improving classification through weak supervision in context-specific conversational agent development for teacher education
CN113919567A (zh) 一种结合知识追踪和序列标注模型的试卷成绩预测方法
CN113011196A (zh) 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN116777694A (zh) 基于自适应学习的教学辅助系统及方法
CN114117033B (zh) 知识追踪方法及系统
Daubigney et al. Model-free pomdp optimisation of tutoring systems with echo-state networks
CN109299805A (zh) 一种基于人工智能的在线教育课程请求处理方法
CN112256869B (zh) 一种基于题意文本的同知识点试题分组系统和方法
CN114444500A (zh) 基于表达式链表树匹配程度的数学主观题评分方法及系统
Chen et al. Application of Decision Tree Algorithm in Educational Data Mining
CN111242518A (zh) 适合智适应系统的学习流程配置方法
US20220222553A1 (en) Learning content evaluation apparatus, system, and operation method for evaluating problem based on predicted probability of correct answer for problem content added without solving experience
Nguyen et al. Using feed-forward backprop, perceptron, and self-organizing algorithms to predict students’ online behavior
CN116226410B (zh) 一种知识元联结学习者状态的教学评估与反馈方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination