CN115455186A - 一种基于多模型的学情分析方法 - Google Patents

一种基于多模型的学情分析方法 Download PDF

Info

Publication number
CN115455186A
CN115455186A CN202211126422.4A CN202211126422A CN115455186A CN 115455186 A CN115455186 A CN 115455186A CN 202211126422 A CN202211126422 A CN 202211126422A CN 115455186 A CN115455186 A CN 115455186A
Authority
CN
China
Prior art keywords
test
subject
level
model
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211126422.4A
Other languages
English (en)
Inventor
卢宇
夏雪莹
陈鹏鹤
余胜泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202211126422.4A priority Critical patent/CN115455186A/zh
Publication of CN115455186A publication Critical patent/CN115455186A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种基于多模型的学情分析方法，包括：S2.选取知识点下的测试题目进行测试，获取用户的作答情况数据，结合测试题目对应的学科能力、题目类型、题目易错点等特征信息，解析测试数据的多维度语义向量；S3.基于生成的多维度语义向量，利用复合预测模型，进行学情分析。本发明提供的学情分析基于复合预测模型进行集成学习，能够有效处理在线测试场景中的学情分析方法对多模型学习算法忽略和学情分析维度考虑不全的问题。

Description

一种基于多模型的学情分析方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于多模型的学情分析方法。
背景技术
在智能教学领域，学习者会在系统中产生大量学习行为、学习认知等数据，教师为了达成有效决策而对学习者的学习记录数据进行挖掘、诊断、评估和分析，最终为有效的教学设计提供数据依据，为有效的教学提供动力支撑，为发展性的教学评价提供决策基准，为教师的教研和专业发展提供着力点，为利益相关者提供学情预警等。具体来说，学情分析指的是对学习者的学习记录进行挖掘、诊断和评估的过程，包括学习者的知识点掌握情况分析、学科能力层级分析等维度，其中，对于知识点掌握情况分析的技术，大多采用知识追踪的方法，方法[1]使用改进的贝叶斯知识追踪模型对知识点掌握情况进行预测，使用最大尝试次数、总尝试次数、平均作答时长与正确率等四个特征，但这种方法并未考虑知识点具有多种掌握等级的情况，因此也没有对该种情况进行处理的方案。此外，基于深度知识追踪的方法[2]通过引入学习者练习的行为特征和练习后能力的变化，建模学习者的认知状态，但难以对知识点掌握情况进行归因分析，并不具有良好的可解释性，存在算法黑箱问题。对于学科能力掌握程度预测的研究较少涉及，一方面，由于学科能力属于学习者的高阶能力，难以给出比较规则化的测评方法；另一方面，需要人工标注测试题目对应的学科能力。可见深入研究学习者的知识点掌握情况和学科能力掌握程度的测评方法，便于对学情精准分析，进而为利益相关者提供学情预警，最终达到智能教学的目的。
当前，针对学情分析的研究领域涉及课堂教学场景、在线教学场景等，其研究方法大多涉及数据挖掘、计算机视觉、知识图谱等，但是以上方法主要使用单一模型进行学情分析，单一模型可能产生算法偏差和缺陷，缺乏多模型集成学习的优势。因此，如何使用多模型技术进行学情分析并基于学情分析结果进行学情预警，成为当前亟待解决的问题。
参考文献：
[1]余晴.基于知识追踪的学生知识点掌握情况研究[D].华中师范大学,2021.DOI:10.27159/d.cnki.ghzsu.2021.001818.
[2]Xia Sun,Xu Zhao,et.al.Dynamic Key-Value Memory Networks With RichFeatures for Knowledge Tracing[J].IEEE Transactions on Cybernetics,2021,PP(99):1-7
发明内容
针对以上问题，本发明提出一种基于多模型的学情分析方法，便于充分挖掘学习者的学情信息。
本发明提出的一种基于多模型的学情信息分析方法，其特征在于，包括以下步骤：
S2.选取知识点下的测试题目对用户进行测试，获取用户的作答情况数据，结合测试题目的特征信息，获取测试题目的多维度语义向量；
S3.将所述多维度语义向量输入复合预测模型，获得用户对知识点的掌握程度YA和知识点下学科能力掌握情况YB。
进一步地，所述特征信息包括学科能力层级、题目类型、题目易错点层级。
进一步地，所述测试题目的多维度语义向量的获取方法包括：
S21、根据用户的作答数据计算测试题目对应的知识点层级的作答得分率，并将所述作答得分率转换为用户作答情况特征向量；所述作答得分率的计算公式为：
Figure BDA0003848439310000031
S22、计算测试题目的学科能力层级得分率，并将所述测试题目的学科能力层级得分率转换为学科能力层级特征向量；所述学科能力层级得分率的计算公式为：
Figure BDA0003848439310000032
S23、通过关键词识别测试题目的题目类型，计算题目类型得分率，并将所述题目类型得分率转换为题目类型特征向量；所述题目类型得分率的计算公式为：
Figure BDA0003848439310000033
S24、计算测试题目的题目易错点层级得分率，并将所述题目易错点层级得分率转换为题目易错点层级特征向量；所述题目易错点层级得分率的计算公式为：
Figure BDA0003848439310000034
S25、将特征向量拼接形成测试题目的多维度语义特征向量。
进一步地，题目易错点层级表征了题目容易出错的原因，包括三个维度：概念理解不透、思维方法欠缺和解答能力不足，其中，概念理解不透包括E010101知识点掌握不好、E010102知识结构化缺乏；思维方法欠缺包括E020101思维方法欠缺、E020201审题不清、E020202信息提取与转换能力较弱、E020301问题猜想与假设、E020302数学建模；解答能力不足包括E030101运算能力较弱、E030201解答步骤不完整、E030202书写不规范。
进一步地，所述复合预测模型包括单层或者多层结构神经网络模型、K-近邻模型、随机森林模型以及逻辑回归模型，复合预测模型的输出为
Figure BDA0003848439310000041
其中P(k)是复合预测模型对第k级掌握程度的预测概率，P(k,i)是第i个预测模型对第k级掌握程度的预测概率，Wi是第i个预测模型所占的权重值,m为预测模型的数量。
进一步地，权值Wi根据单个预测模型的准确率的比例然后归一化进行确定。
进一步地，还包括：
S1、将测试题目与带有属性标注的题目预处理后形成的语义向量输入孪生网络模型，生成测试题目的属性层级，其中，所述孪生网络包括编码层与输出层。
进一步地，编码层利用BERT模型生成测试题目和带有属性标注的题目的语义向量；输出层对所述语义向量进行余弦相似度计算，以此为权重，针对每个属性的层级进行求和计算，概率最大的属性层级即为测试题目的属性层级；
进一步地，还包括：
S4、重复步骤S2、S3，获取多个知识点下的学科能力掌握情况YBi，i表示第几个知识点；
S5、根据知识点i的重要度、是否为必测点、知识点权重进行加权计算，从而得出学科能力的整体掌握程度。
进一步地，所述学科整体掌握程度评分G的公式为：
G＝∑ai(wihi+witi)
其中，hi表示知识点i的重要度，ti表示知识点i是否属于必测点，ai表示知识点i的权重。
本发明的有益效果为：
(1)本发明对于测试题目属性标注，将孪生网络模型应用于测试题目的知识点和学科能力识别，可以精准识别出测试题目中的属性信息。
(2)本发明对于学生测试形成多维度语义向量表征，基于测试题目及其教育属性信息，针对学生的测试结果数据，构建包含测试题目的学科能力层级、作答情况信息、题目类型、题目易错点等多维度特征，从而对学生的测试形成较为全面的表征。
(3)本发明提出基于多模型的学情分析方法，综合多个训练算法，采用集成学习方法，有效避免了单一模型可能产生的偏差和缺陷，极大提高预测模型的可靠性与准确率，解决了对用户知识点掌握程度和学科能力达成情况的预测问题，从而能够为用户提供个性化的学情分析。
(4)本发明可以依据系统预设进行学情分析结果输出，考虑了用户的关注点和实际教育教学场景中的需求，对学生、教师与家长等不同角色提供相应的预测结果展示和学情预警。
附图说明
图1为根据本发明一个实施例的一种基于多模型的学情分析方法的流程示意图；
图2为根据本发明一个实施例的题目属性标注的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清查、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的提供一种基于多模型的学情分析方法，如图1所示，包括：
S2、选取知识点下的测试题目，获取用户作答数据，结合测试题目对应的特征信息，包括学科能力层级、题目类型、题目易错点层级，生成测试题目的多维度语义向量；
S3、接收多维度语义向量，并将其输入复合预测模型，输出用户对测试题目对应的知识点的掌握程度YA和知识点下学科能力的掌握程度YB。还可以根据系统预定义的阀值对学生、家长和教师进行建议。
知识点掌握程度YA及知识点下学科能力掌握情况YB均可以设置为卓越、优秀、良好、合格以及不合格等5个等级。知识点的掌握程度关注各层级的学科能力层级下的作答得分率，这些层级具有不同的权重，比如高层级的题目学生答对的越多，那么学生对这个知识点的掌握程度越好。
知识点下学科能力的掌握程度YB关注单个学科能力层级(比如A1层级)下的作答得分率，由于学科能力包含多个层级，如果每一个学科能力层级的作答得分率都较高，那么该知识点下学科能力的整体掌握情况也越好。每一个题目都有知识点层级、学科能力层级、题目易错点层级属性，这三个属性会在题目加入题库时通过后文描述的S1步骤生成。
在步骤S2中，测试可以采用线上系统电子化测试或者线下试卷测试；用户应涵盖同一年龄各层次水平的人群；测试过程应在独立且无干扰的条件下进行；训练数据可以分多次、不同时段进行收集，但是不可以在同一用户上进行反复测试；同时，如果单一用户的训练数据不完整或者有明显抄袭、重复答案特征，应该从训练数据集中移除，最终获取用户的作答情况数据。
对于每个知识点，从题库中选取的测试题目应保持在一定规模以上，例如，数学学科中知识点“反比例函数”选取20道题目进行测试。
用户的作答数据为作答正确或错误，根据该数据计算作答得分率，计算公式为：
Figure BDA0003848439310000071
用户作答情况特征向量为[0.5,0.7,0.2,,…,0.3]。其中，"0.5"代表第一位用户的作答情况，特征向量的维度为用户的数量。
测试题目对应的学科能力层级，表示测试题目考察的学科能力层级。依据测试题目的属性信息，可以得知测试题目的学科能力层级，考虑到学科能力共有N1个层级，以此构建一个长度为N1的向量v1。向量v1是由不同学科能力层级的得分率组成，计算公式为：
Figure BDA0003848439310000072
数量的计算针对的是所选择的测试题目的，以下的计算均按此说明计算。
若测试题目的学科能力层级为A1，经计算，该学科能力层级对应的得分率为0.5，则将向量v1相应位置置为0.5。从而得到某用户作答测试题目的学科能力层面的特征向量为[0.5,0,0.3,0,0,…,0]。
测试题目对应的题目类型包括选择题、填空题、简答题等，其中，选择题涉及到的关键词包括“下列选项”、“A”、“B”、“C”、“D”、“选出”、“正确”、“错误”等；填空题涉及到的关键词包括“写出”、“列举出”、“总结出”等；简答题涉及到的关键词包括“求解”、“计算”、“证明”、“求证”等。依据以上规则，可以得知测试题目的题目类型，考虑到题目类型共有N2个，以此构建一个长度为N2的向量v2。向量v2由不同题目类型的得分率组成，计算公式为：
Figure BDA0003848439310000073
若测试题目中包含相应关键字“下列选项”、“A”、“B”、“C”、“D”，那么测试题目的题目类型为选择题，若该题目类型对应的得分率为0.5，则将向量v2相应位置置0.5。从而得到某用户作答测试题目的题目类型层面的特征向量为[0.5,1,…,0]。
测试题目对应的题目易错点层级包括知识点掌握不好、知识结构化能力缺乏等，依据测试题目的属性信息，可以得知测试题目的题目易错点层级，考虑到题目易错点共有N3个层级，以此构建一个长度为N3的向量v3。向量v3是由不同题目易错点得分率组成，计算公式为：
Figure BDA0003848439310000081
若测试题目的易错点层级为知识点掌握不好，该题目易错点层级对应的得分率为0.3，则将向量v3相应位置置0.3。从而得到某用户作答测试题目的题目易错点层面的特征向量为[0.3,0,,…,0]。
综合用户作答情况、学科能力信息、题目类型信息和题目易错点信息，将以上特征向量进行拼接为长度为(1+N1+N2+N3)的向量v，进而得到测试题目的多维度语义特征向量。其中，1为作答情况向量的长度，N1为向量v1的长度，N2为向量v2的长度，N3为向量v3的长度。
下面进行举例说明。
(1)学科能力层级N1：学科能力层级表征了题目要求学习者掌握知识的水平层级，可以包括三个维度：A学习理解，B应用实践，C迁移创新，依据不同学科，对每个维度再具体有三个不同的层级。以数学学科为例，数学学科能力共分为三个维度，如表1所示，其中，A维度是学习理解，具体包括A1识记与回忆、A2计算与操作、A3解释与交流三个层级；B维度是应用实践，具体包括B1分析与概括、B2推理与论证、B3简单问题解决；C维度是迁移创新，具体包括C1综合应用、C2猜想与发现、C3探究与建模。
表1数学学科的学科能力框架
Figure BDA0003848439310000082
Figure BDA0003848439310000091
(2)题目易错点层级N3：题目易错点层级N3表征了题目容易出错的原因。例如，题目易错点包括三个维度：概念理解不透、思维方法欠缺和解答能力不足，在根据学科题目细节信息具体定义每个维度下的不同层级信息。以数学学科为例，题目易错点共分为三个层级，如表2所示，其中，一级指标E01概念理解不透，具体包括E010101知识点掌握不好、E010102知识结构化缺乏；一级指标E02思维方法欠缺，具体包括E020101思维方法欠缺、E020201审题不清、E020202信息提取与转换能力较弱、E020301问题猜想与假设、E020302数学建模；一级指标E03解答能力不足，具体包括E030101运算能力较弱、E030201解答步骤不完整、E030202书写不规范。
表2数学学科的题目易错点框架
Figure BDA0003848439310000092
上述层级的划分仅是一个举例，而不是对本发明的限制。
在步骤S3中，知识点掌握程度YA及知识点下学科能力掌握情况YB的等级可以设置为卓越、优秀、良好、合格以及不合格。
在一个实施例中，给定知识点“正比例函数”及其对应的30道测试题目。K个用户作答后，计算得到用户针对测试题目的作答情况特征向量、测试题目对应的学科能力层级特征向量、题目类型特征向量、题目易错点层级特征向量，然后将这些特征向量拼接生成1个多维度语义向量(即每个用户对应一个多维度语义向量)，然后将这K个多维度语义向量传送到训练好的复合预测模型，输出用户对“正比例函数”知识点的掌握程度YA和用户对该知识点“正比例函数”下的学科能力掌握情况YB。
其中，复合预测模型利用集成学习的方法，使用多种分类模型并行预测，最后综合各个分类模型预测的结果，给出知识点掌握程度和学科能力掌握情况的预测。复合预测模型考虑了单模型的不稳定性：假设真实预测值为"A"，单模型的预测值分别是"A"、"A"、"B"、"C"，即单模型的预测值不全为"A"，属于不稳定状态，可能与真实值产生偏差；但是复合预测模型是多个分类模型并行预测，这种集成学习的方法组合了多个预测模型以期得到一个更好更全面的预测模型，集成学习潜在的思想是即便某一个预测模型得到了错误的预测，其他的预测模型也可以将错误纠正回来。因此，复合预测模型综合考虑各个单模型的预测值，最终给出较为可靠性的预测值，极大提高了预测模型的稳定性和准确率。
复合模型包括单层或者多层结构神经网络模型(Artificial Neural Network)、K-近邻模型(K-Nearest Neighbors)、随机森林(Random Forest)模型以及逻辑回归(Logistic Regression)模型，复合模型的输出为
Figure BDA0003848439310000101
其中P(k)是复合模型对第k级掌握程度(例如卓越)的预测概率，P(k,i)是第i个预测模型(即上述的4个模型)对第k级掌握程度的预测概率，Wi是不同预测模型所占的权重值,m为单个预测模型的个数(此处为4)。
权值Wi可以根据单个预测模型的准确率的比例进行确定。例如，四个模型单独预测的准确率分别为A1,A2,A3和A4，可以其归一化以得到权值Wi，例如用如下原则确定其具体数值：
Figure BDA0003848439310000111
单个预测模型准确率的计算一般利用K次交叉验证方法得到，其中K一般大于5。
在复合预测模型训练过程中，基于人工标注完成的训练数据，各预测模型依据各自的经典算法进行，属于本领域公知技术，此处不再赘述。
在一个实施例中，学科整体掌握程度是对整个学科下多个知识点进行多次测试后综合计算得出的，其分级同样可以为卓越、优秀等级别。具体的计算过程包括：
S4、重复步骤S2、S3，获取多个知识点下的学科能力掌握情况YBi，i表示第几个知识点；
S5、根据知识点i的重要度、是否为必测点、知识点权重计算学科整体掌握程度评分，根据预定的阈值判断得出学科能力的整体掌握程度。具体来说，学科整体掌握程度评分用G表示，重要度用hi表示，是否属于必测点用ti表示，知识点权重信息用ai表示，单个知识点的学科能力掌握情况为wi，G的计算公式为：
G＝∑ai(wihi+witi)
例如，某次测评共考察三个知识点，给定知识点“正比例函数”、“一次函数”和“变量之间的关系”的重要度分别为0、1和0；是否必测点分别为1、1和0，其中，重要度中“1”表示该知识点为重要知识点，“0”表示该知识点为非重要知识点；必测点中“1”表示该知识点为必测知识点，“0”表示该知识点为非必测点。知识点权重分别为0.3、0.5和0.2。经过训练好的学科能力掌握情况模型，得知以上三个知识点的学科能力掌握情况分别为0.5、0.7和0.8。
故本次测试的学科整体掌握情况评分G＝0.3(0.5*0+0.5*1)+0.5(0.7*1+0.7*1)+0.2(0.8*0+0.8*0)＝0.85，根据预先设定的评级，可以得出学生的学科能力整体掌握情况为卓越。通过本发明的方法，可以将学科能力整体掌握情况进行量化处理，创造性地解决了学习者的学科能力水平难以测评的难题，同时可以完成对测试题目对应的学科能力属性进行自动标注。
相较于单模型学习，使用多模型学习算法，可以使得知识点掌握程度预测结果与多维度的特征选择结果保持一致。在一个实施例中，针对S2中生成的潜在语义向量，首先，采用单模型学习算法，分别进行知识点掌握程度和学科能力掌握程度的预测。其次，同时使用多个模型学习算法，分别进行知识点掌握程度和学科能力掌握程度的预测。即同时进行多个模型的学习，并将多个模型的不同预测结果所占的权重值与某个掌握程度等级的预测概率相乘，最终得到知识点掌握程度和学科能力掌握程度的预测结果。如表5所示。经实验效果对比可知，单模型预测结果在知识点掌握程度和学科能力层级掌握程度预测中出现偏差，主要是单模型的不稳定性。相反，多模型是综合多个模型预测结果同时进行判定，从而在判定计算的过程中可以更好地纠正单个模型产生的误差，进而可以提升知识点掌握程度预测和学科能力掌握程度预测的准确性，使得预测结果与专家标注的结果一致。
表5独立模型与多任务模型下的学习意图识别效果对比表
Figure BDA0003848439310000131
学情预测的结果以可视化的方式保存起来，根据系统预定义的阀值决定是否提醒学生、家长和教师。不同角色可以通过移动端或者计算机查看预测结果，从而对可能发生的学习问题与障碍进行预警与干预。
基于多模型的学情分析方法还包括：题目属性标注，将待入题库的题目与题库中带有属性标注的题目进行预处理后形成的语义向量输入孪生网络模型，生成待入库题目的属性。
如图2所示，带有属性标注的题目是通过专家经验标注得到。然后对待入库题目与带有属性标注的题目分别进行预处理。包括去除无效字符和分词处理。其中，无效字符是经过对待入库题目进行分析统计后整理的与问题内容无关的字符，主要包括“一模|二模|期中|期末|中考|期末测试|前测|a卷|b卷|高一|北京|联考)、教师题库、[1-9]分、(2分)(2019·北京)、[()]”等等。
其次，对待入库题目与带有属性标注的题目分别进行语义解析，并生成对应的语义向量。具体而言，本发明基于待入库题目的分词表征的基础上，利用自然语言处理领域的算法模型生成测试题目的语义向量。考虑到目前生成语义向量的众多算法模型，本发明使用较为流行的BERT模型，进行待入库题目的语义向量表征。其中，BERT模型是一种由Transformer单元堆叠组成的深度网络。Transformer网络单元主要包括注意力层、前向传播层、layer norm层。经过BERT转换，将待入库题目的分词表征，进一步生成待入库题目的语义向量。其中，这里的各项参数都是BERT模型中常用的，不再具体说明。
最后，基于BERT模型生成的语义向量，结合孪生网络模型对待入库题目的属性进行判别。
对于孪生网络，该网络可以基于小样本标注数据构建分类模型，其基本流程是将整体识别任务拆分成不同的子任务，通过学习相同子任务下标注数据的相似性和不同子任务下标注数据的差异性，实现孪生网络模型的泛化能力，进而解决测试题目属性标注问题。
孪生网络的结构，主要由两层网络构成，分别是编码层与输出层。其中，编码层利用BERT模型生成每一个训练样本题目的语义向量，然后利用同样的BERT模型生成新题目的语义向量；在输出层，计算文本对的余弦相似度，以此为权重，对属性层级进行求和计算，概率最大的属性层级即为待入库题目的属性层级。下面以属性学科能力层级为例进行具体说明。先从所有学科能力层级中选取M个学科能力层级，每个学科能力层级选取N个题目样本。基于以上选取的M×N个题目数据，首先利用BERT模型生成每一个训练样本题目的语义向量，然后利用同样的BERT模型生成待入库题目的语义向量。即已知待标记学科能力层级的题目为Q，已标记学科能力层级的题目为P1、P2、P3、P4，其中学科能力层级分别为K1、K2、K3、K4。经BERT编码，待标记学科能力层级的题目Q的语义向量为Vq，已标记学科能力层级的题目的语义向量为Vp1、Vp2、Vp3、Vp4，接着利用余弦相似度计算待标记学科能力层级的题目与已有标注学科能力层级题目的相似度，其中余弦相似度公式如下所示。
Figure BDA0003848439310000141
得到的相似度分别为Simqp1、Simqp1、Simqp1、Simqp1，以此作为权重信息，将以上学科能力层级表征向量求和计算，分别得到待标记题目对应学科能力层级为K1、K2、K3、K4的概率为Pk1、Pk2、Pk3、Pk4，选取最大的概率值的学科能力层级作为待入库题目的学科能力层级。
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.一种基于多模型的学情信息分析方法，其特征在于，包括以下步骤：
S2.选取知识点下的测试题目对用户进行测试，获取用户的作答情况数据，结合测试题目的特征信息，获取测试题目的多维度语义向量；
S3.将所述多维度语义向量输入复合预测模型，获得用户对知识点的掌握程度YA和知识点下学科能力掌握情况YB。
2.根据权利要求1所述的学情信息分析方法，其特征在于，所述特征信息包括学科能力层级、题目类型、题目易错点层级。
3.根据权利要求2所述的学情信息分析方法，其特征在于，所述测试题目的多维度语义向量的获取方法包括：
S21、根据用户的作答数据计算测试题目对应的知识点层级的作答得分率，并将所述作答得分率转换为用户作答情况特征向量；所述作答得分率的计算公式为：
Figure FDA0003848439300000011
S22、计算测试题目的学科能力层级得分率，并将所述测试题目的学科能力层级得分率转换为学科能力层级特征向量；所述学科能力层级得分率的计算公式为：
Figure FDA0003848439300000012
S23、通过关键词识别测试题目的题目类型，计算题目类型得分率，并将所述题目类型得分率转换为题目类型特征向量；所述题目类型得分率的计算公式为：
Figure FDA0003848439300000013
S24、计算测试题目的题目易错点层级得分率，并将所述题目易错点层级得分率转换为题目易错点层级特征向量；所述题目易错点层级得分率的计算公式为：
Figure FDA0003848439300000021
S25、将特征向量拼接形成测试题目的多维度语义特征向量。
4.根据权利要求2所述的学情信息分析方法，其特征在于，题目易错点层级表征了题目容易出错的原因，包括三个维度：概念理解不透、思维方法欠缺和解答能力不足，其中，概念理解不透包括E010101知识点掌握不好、E010102知识结构化缺乏；思维方法欠缺包括E020101思维方法欠缺、E020201审题不清、E020202信息提取与转换能力较弱、E020301问题猜想与假设、E020302数学建模；解答能力不足包括E030101运算能力较弱、E030201解答步骤不完整、E030202书写不规范。
5.根据权利要求2所述的学情信息分析方法，其特征在于，所述复合预测模型包括单层或者多层结构神经网络模型、K-近邻模型、随机森林模型以及逻辑回归模型，复合预测模型的输出为
Figure FDA0003848439300000022
其中P(k)是复合预测模型对第k级掌握程度的预测概率，P(k,i)是第i个预测模型对第k级掌握程度的预测概率，Wi是第i个预测模型所占的权重值,m为预测模型的数量。
6.根据权利要求5所述的学情信息分析方法，其特征在于，权值Wi根据单个预测模型的准确率的比例然后归一化进行确定。
7.根据权利要求1所述的学情信息分析方法，其特征在于，还包括：
S1、将测试题目与带有属性标注的题目预处理后形成的语义向量输入孪生网络模型，生成测试题目的属性层级。
8.根据权利要求1所述的学情信息分析方法，其特征在于，所述孪生网络包括编码层与输出层，其中，编码层利用BERT模型生成测试题目和带有属性标注的题目的语义向量；输出层对所述语义向量进行余弦相似度计算，以此为权重，针对每个属性的层级进行求和计算，概率最大的属性层级即为测试题目的属性层级。
9.根据权利要求1所述的学情信息分析方法，其特征在于，还包括：
S4、重复步骤S2、S3，获取多个知识点下的学科能力掌握情况YBi，i表示第几个知识点；
S5、根据知识点i的重要度、是否为必测点、知识点权重计算学科整体掌握程度评分，根据预定的阈值判断得出学科能力的整体掌握程度。
10.根据权利要求9所述的学情信息分析方法，其特征在于，所述学科整体掌握程度评分G的公式为：
G＝∑ai(wihi+witi)
其中，hi表示知识点i的重要度，ti表示知识点i是否属于必测点，ai表示知识点i的权重。
CN202211126422.4A 2022-09-16 2022-09-16 一种基于多模型的学情分析方法 Pending CN115455186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211126422.4A CN115455186A (zh) 2022-09-16 2022-09-16 一种基于多模型的学情分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211126422.4A CN115455186A (zh) 2022-09-16 2022-09-16 一种基于多模型的学情分析方法

Publications (1)

Publication Number Publication Date
CN115455186A true CN115455186A (zh) 2022-12-09

Family

ID=84304438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211126422.4A Pending CN115455186A (zh) 2022-09-16 2022-09-16 一种基于多模型的学情分析方法

Country Status (1)

Country Link
CN (1) CN115455186A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227729A (zh) * 2023-03-20 2023-06-06 广州工程技术职业学院 基于机器学习的学习评价方法及装置、设备
CN116308935A (zh) * 2023-05-19 2023-06-23 湖南师范大学 基于多特征建模和多层次评价的学习预警方法及装置
CN116597461A (zh) * 2023-07-14 2023-08-15 广东信聚丰科技股份有限公司 基于人工智能的题目知识点关联方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227729A (zh) * 2023-03-20 2023-06-06 广州工程技术职业学院 基于机器学习的学习评价方法及装置、设备
CN116227729B (zh) * 2023-03-20 2023-10-10 广州工程技术职业学院 基于机器学习的学习评价方法及装置、设备
CN116308935A (zh) * 2023-05-19 2023-06-23 湖南师范大学 基于多特征建模和多层次评价的学习预警方法及装置
CN116308935B (zh) * 2023-05-19 2023-08-08 湖南师范大学 基于多特征建模和多层次评价的学习预警方法及装置
CN116597461A (zh) * 2023-07-14 2023-08-15 广东信聚丰科技股份有限公司 基于人工智能的题目知识点关联方法及系统
CN116597461B (zh) * 2023-07-14 2023-09-22 广东信聚丰科技股份有限公司 基于人工智能的题目知识点关联方法及系统

Similar Documents

Publication Publication Date Title
CN110264091B (zh) 学生认知诊断方法
Mueen et al. Modeling and predicting students’ academic performance using data mining techniques
CN112508334B (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
Huang et al. Constructing a personalized e-learning system based on genetic algorithm and case-based reasoning approach
CN115455186A (zh) 一种基于多模型的学情分析方法
CN113127731A (zh) 一种基于知识图谱的个性化试题推荐方法
CN112257966B (zh) 模型处理方法、装置、电子设备及存储介质
Sorour et al. Predicting students' grades based on free style comments data by artificial neural network
CN113283488B (zh) 一种基于学习行为的认知诊断方法及系统
CN109949637A (zh) 一种客观题目的自动解答方法和装置
CN114201684A (zh) 一种基于知识图谱的自适应学习资源推荐方法及系统
Saleh et al. Predicting student performance using data mining and learning analysis technique in Libyan Higher Education
Dai et al. Knowledge tracing: A review of available technologies
CN116226410B (zh) 一种知识元联结学习者状态的教学评估与反馈方法及系统
CN117349362A (zh) 一种动态知识认知层级挖掘方法、系统、设备及终端
Gu Maximizing the potential of multiple-choice items for cognitive diagnostic assessment
CN115795015A (zh) 一种试题难度增强的综合知识追踪方法
CN114117033B (zh) 知识追踪方法及系统
CN112785039B (zh) 一种试题作答得分率的预测方法及相关装置
Arafiyah et al. MONITORING LEARNERS’PERFORMANCE BY MODELING LEARNING PROGRESS USING MACHINE LEARNING
Dodia et al. Machine Learning-based Automated System for Subjective Answer Evaluation
Amira et al. Development of written test instruments to measure basic skills of STEAM (Science, Technology, Engineering, Arts, and Mathematics) junior high school students on science concept
CN114155124B (zh) 一种试题资源推荐方法及系统
Stathacopoulou et al. A neuro-fuzzy approach to detect student's motivation
CN117556381B (zh) 一种面向跨学科主观试题的知识水平深度挖掘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination