CN114418443A - 试卷质量的检测方法、系统、装置和存储介质 - Google Patents

试卷质量的检测方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN114418443A
CN114418443A CN202210105580.5A CN202210105580A CN114418443A CN 114418443 A CN114418443 A CN 114418443A CN 202210105580 A CN202210105580 A CN 202210105580A CN 114418443 A CN114418443 A CN 114418443A
Authority
CN
China
Prior art keywords
test
determining
effect
test paper
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210105580.5A
Other languages
English (en)
Inventor
吴正洋
汤庸
黄立
岑剑伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202210105580.5A priority Critical patent/CN114418443A/zh
Publication of CN114418443A publication Critical patent/CN114418443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种试卷质量的检测方法、系统、装置和存储介质，可应用于教育信息技术领域。本方法通过预设学生群体的历史答题记录信息来分别预测下一时刻预设学生群体正确回答所有习题的第一概率矩阵，以及正确回答所有知识点的第二概率矩阵，并且从习题集中获取与目标试题对应的习题作为模拟试题，然后根据第一概率矩阵预测预设学生群体对模拟试题的第一使用效果，以及根据第二概率矩阵预测预设学生群体对目标试题的第二使用效果，再根据第一使用效果和第二使用效果确定的目标试题的第三使用效果，结合模拟试题确定所述目标试题对应试卷的检测结果，从而可以在考试之前通过预测的方式预测考试结果，根据该预测考试结果得到目标试题的检测结果。

Description

试卷质量的检测方法、系统、装置和存储介质
技术领域
本发明涉及教育信息技术领域，尤其是一种试卷质量的检测方法、系统、装置和存储介质。
背景技术
考试是教学工作中的重要活动，反映学习效果、显示学生之间知识水平差异。同时，考试也是教学活动延续的枢纽，对学生结业和升学至关重要。试卷是考试的载体，试卷的质量决定了考试的质量。相关技术中，试卷质量要由考试结果检验，而在试卷使用前却无法得知考试结果。目前，卷生成方法多基于有监督的试题库检索和多目标优化，依赖试题库中的“难度标签”，由于标签的主观偏差和对试题组织效果的不确定，导致了所生成试卷的难度、区分度等指标不可控，从而无法保证每次生成试卷的质量，效果不稳定。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种试卷质量的检测方法、系统、装置和存储介质，能够有效提高试卷质量和试卷效果的稳定性。
一方面，本发明实施例提供了一种试卷质量的检测方法，包括以下步骤：
获取预设学生群体的历史答题记录信息；
根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵；以及根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵；
从习题集中获取与目标试题对应的习题作为模拟试题；
根据所述第一概率矩阵预测所述预设学生群体对所述模拟试题的第一使用效果；
根据所述第二概率矩阵预测所述预设学生群体对所述目标试题的第二使用效果；
根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果；
根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果。
在一些实施例中，所述根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵，包括：
根据所述历史答题记录信息生成每个学生的历史答题记录序列；
根据所述每个学生的历史答题记录序列分别预测每个学生在下一时刻正确回答所有知识点的第二概率；
根据所述每个学生在下一时刻正确回答所有知识点的第二概率生成第二概率矩阵。
在一些实施例中，所述根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵，包括：
根据所述历史答题记录信息生成每个学生的历史答题记录序列；
根据所述每个学生的历史答题记录序列分别预测每个学生在下一时刻正确回答所有习题的第一概率；
根据所述每个学生在下一时刻正确回答所有习题的第一概率生成第一概率矩阵。
在一些实施例中，所述从习题集中获取与目标试题对应的习题作为模拟试题，包括：
获取所述目标试题对应的第一知识点和第一题型；
获取所述习题集所有习题对应的第二知识点和第二题型；
计算所述第一知识点和所述第二知识点的第一相似度，以及计算所述第一题型与所述第二题型的第二相似度；
根据所述第一相似度和所述第二相似度确定所述目标试题与所述从习题集中的习题的第三相似度；
根据所述第三相似度从习题集中确定模拟试题。
在一些实施例中，所述根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果，包括：
获取调和参数，所述调和参数的取值范围为大于等于0且小于等于1；
根据所述调和参数、所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果。
在一些实施例中，所述根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果，包括：
根据所述第三使用效果确定所述目标试题的试卷难度、试卷区分度和考分分布曲线；
获取目标知识点在所述目标试题对应课程所有知识点的第一权重，以及获取目标知识点在所述目标试题所包含的所有知识点的第二权重；
根据所述第一权重和所述第二权重确定所述目标试题的知识点覆盖度；
根据所述试卷难度、所述试卷区分度、所述考分分布曲线和所述知识点覆盖度确定所述目标试题对应试卷的检测结果。
在一些实施例中，所述根据所述第三使用效果确定所述目标试题的试卷区分度，包括：
对所述预设学生群体的第三使用效果进行排序；
确定位于前预设名次的若干个学生对应第三使用效果的第一差值，以及位于后预设名次的若干个学生对应第三使用效果的第二差值；
根据所述第一差值和所述第二差值确定所述目标试题的试卷区分度。
另一方面，本发明实施例提供了一种试卷质量的检测系统，包括：
第一获取模块，用于获取预设学生群体的历史答题记录信息；
计算模块，用于根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵；以及根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵；
第二获取模块，用于从习题集中获取与目标试题对应的习题作为模拟试题；
预测模块，用于根据所述第一概率矩阵预测所述预设学生群体对所述模拟试题的第一使用效果；以及根据所述第二概率矩阵预测所述预设学生群体对所述目标试题的第二使用效果；
第一确定模块，用于根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果；
第二确定模块，用于根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果。
另一方面，本发明实施例提供了一种试卷质量的检测装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行所述的试卷质量的检测方法。
另一方面，本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现所述的试卷质量的检测方法。
本发明实施例提供的一种试卷质量的检测方法，具有如下有益效果：
本实施例通过预设学生群体的历史答题记录信息来分别预测下一时刻预设学生群体正确回答所有习题的第一概率矩阵，以及正确回答所有知识点的第二概率矩阵，并且从习题集中获取与目标试题对应的习题作为模拟试题，然后根据第一概率矩阵预测预设学生群体对所述模拟试题的第一使用效果，以及根据第二概率矩阵预测预设学生群体对所述目标试题的第二使用效果，再根据第一使用效果和第二使用效果确定目标试题的第三使用效果，接着根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果，从而可以在考试之前通过预测的方式预测考试结果，根据该预测考试结果即能得到目标试题的检测结果，从而无需依赖难度标签数据来对目标试题进行试卷检测，有效提高试卷质量和试卷效果的稳定性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的一种试卷质量的检测方法的实施环境示意图；
图2为本发明实施例的一种试卷质量的检测方法的流程图；
图3为本发明一种实施例中两份试卷在四项指标上的分布图；
图4为本发明另一种实施例中两份试卷在四项指标上的分布图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
相关技术中，高质量的试卷，应具备合理的知识点分布、难度、区分度、考分分布等。其中一些指标的值，只能在试卷使用后才能计算。比如，试卷难度(Difficulty)是根据所有被试者成绩的平均分计算，试卷区分度(Distinction)是指试卷对被试者情况分辨能力的大小，反映试卷区分不同水平被试者的程度，即考出学生的不同水平，也须根据所有被试者成绩的计算。目前，卷生成方法多基于有监督的试题库检索和多目标优化，依赖试题库中的“难度标签”，由于标签的主观偏差和对试题组织效果的不确定，导致了所生成试卷的难度、区分度等指标不可控，从而无法保证每次生成试卷的质量，效果不稳定。
基于此，本发明实施例提供了一种试卷质量的检测方法，本实施例可以在考试之前通过预测的方式预测考试结果，根据该预测考试结果即能得到目标试题的检测结果，从而无需依赖难度标签数据来对目标试题进行试卷检测，有效提高试卷质量和试卷效果的稳定性。
下面结合附图对本发明实施例进行进一步的阐述：
参照图1，图1是本申请实施例提供的一种试卷质量的检测方法的实施环境示意图。参照图1，该实施环境的软硬件主体主要包括操作终端110和服务器120，操作终端110与服务器120可以通过网络130连接。其中，该试卷质量的检测方法可以单独配置于操作终端110执行，也可以单独配置于服务器120执行，或者基于操作终端110与服务器120二者之间的交互来执行，具体可以根据实际应用情况进行适当的选择，本实施例对此并不作具体限定。
其中，本实施例中的操作终端110可以包括但不限于智能手表、智能手机、电脑、个人数字助理(Personal Digital Assistant，PDA)、智能语音交互设备、智能家电或者车载终端中的任意一种或者多种。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。操作终端110与服务器120之间可以通过无线网络或有线网络建立通信连接，该无线网络或有线网络使用标准通信技术和/或协议，网络可以设置为因特网，也可以是其它任何网络，例如包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
参照图2，图1是本发明实施例提供了一种试卷质量的检测方法，该试卷质量的检测方法可以配置在操作终端或者服务器中的至少一者。参照图2，该试卷质量的检测方法包括但不限于步骤210-步骤250：
步骤210、获取预设学生群体的历史答题记录信息。
在本申请实施例中，可以从练习历史数据库中随机抽取n个学生的练习答题历史记录作为当次试卷质量检测的历史答题记录信息。
步骤220、根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵；以及根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵。
在本申请实施例中，对于正确回答习题的概率预测，可以根据所述历史答题记录信息生成每个学生的历史答题记录序列；根据所述每个学生的历史答题记录序列分别预测每个学生在下一时刻正确回答所有习题的第一概率；根据所述每个学生在下一时刻正确回答所有习题的第一概率生成第一概率矩阵。例如，定义预设学生群体中每个学生从时间步1到t的历史答题记录序列
Figure BDA0003493393390000061
定义潜在结果
Figure BDA0003493393390000062
表示在t+1时间步，每个学生i正确回答所有习题E的第一概率；定义群体学生习题潜在结果
Figure BDA0003493393390000063
表示群体学生在t+1时间步正确回答所有习题E的第一概率矩阵，其行向量为
Figure BDA0003493393390000064
列向量表示群体中每个学生在t+1时间步正确回答某个习题的概率。
对于正确回答知识点的概率预测，可以先根据所述历史答题记录信息生成每个学生的历史答题记录序列，接着根据所述每个学生的历史答题记录序列分别预测每个学生在下一时刻正确回答所有知识点的第二概率，然后根据所述每个学生在下一时刻正确回答所有知识点的第二概率生成第二概率矩阵。例如，定义预设学生群体中每个学生从时间步1到t的历史答题记录序列
Figure BDA0003493393390000065
定义知识点潜在结果
Figure BDA0003493393390000066
表示在t+1时间步，每个学生i正确回答所有知识点K的第二概率；定义预设学生群体中学生知识点潜在结果
Figure BDA0003493393390000067
表示群体学生在t+1时间步正确回答所有知识点K的第二概率矩阵，其行向量为
Figure BDA0003493393390000068
列向量表示群体中每个学生在t+1时间步正确回答某个知识点的概率。
在本申请实施例中，对于正确回答习题的概率预测和正确回答知识点的概率预测，均可以采用门控图神经网络(GGNN)对学生的答题状态进行建模预测。
步骤230、从习题集中获取与目标试题对应的习题作为模拟试题。
在本申请实施例中，可以通过获取所述目标试题对应的第一知识点和第一题型，以及获取所述习题集所有习题对应的第二知识点和第二题型后，计算所述第一知识点和所述第二知识点的第一相似度，以及计算所述第一题型与所述第二题型的第二相似度；根据所述第一相似度和所述第二相似度确定所述目标试题与所述从习题集中的习题的第三相似度；根据所述第三相似度从习题集中确定模拟试题。具体地，可以通过多次随机采样的方式生成若干个学生群体，然后从习题集中获取与目标试题对应的模拟试题。对于模拟试题的选择，可以根据习题集中每个试题的试题类型和知识点信息来判断是否符合当前目标试题的要求，即判断习题集中每个试题的试题类型和知识点信息与当前目标试题中的试题类型和知识点类型的相似度，将相似度大于预设值对应的多个习题组成模拟试题。
步骤240、根据所述第一概率矩阵预测所述预设学生群体对所述模拟试题的第一使用效果；根据所述第二概率矩阵预测所述预设学生群体对所述目标试题的第二使用效果；根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果。
在本申请实施例中，使用效果可以采用对模拟试题的预测得分来评价。例如，对于模拟试题的第一使用效果预测时，可以根据第一概率矩阵
Figure BDA0003493393390000071
来预测得到模拟试题的预测得分。具体地，模拟试题的预测得分可以表示为公式(1)所示：
Figure BDA0003493393390000072
其中，公式(1)中
Figure BDA0003493393390000073
表示第n个模拟试题的预测得分。
又比如，对于目标试题的第二使用效果预测时，可以根据第二概率矩阵
Figure BDA0003493393390000074
来预测得到目标试题的预测得分。具体地，目标试题的预测得分可以表示为公式(2)所示：
Figure BDA0003493393390000075
其中，公式(1)中
Figure BDA0003493393390000076
表示第n个目标试题的预测得分。
在本申请实施例中，由于第二使用效果对应于知识点的预测效果，知识点可以分布在不同的试题中，如果根据试题进行预测，其相关性不高，因此，直接根据知识点潜在结果预测目标试题得分。
在本申请实施例中，在得到模拟试题的预测得分和目标试题的预测得分后，可以通过取值范围为大于等于0且小于等于1的调和参数，结合第一使用效果和第二使用效果来确定目标试题的总体预测得分作为第三使用效果。对于总体预测得分可以采用公式(3)或者公式(4)表示：
Figure BDA0003493393390000081
S＝{s1,s2,s3,...sn} 公式(4)
公式(3)中，θ表示调和参数，θ∈[0,1]，si表示第i个目标试题与第i个目标试题对应的模拟试题之间的总预测得分。
步骤250、根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果。
在本申请实施例中，在得到总预测得分后，可以结合模拟试题来确定目标试题对应试卷的检测结果。具体地，可以根据所述第三使用效果确定所述目标试题的试卷难度、试卷区分度和考分分布曲线，同时，获取目标知识点在所述目标试题对应课程所有知识点的第一权重，其中，所述习题集为所述目标试题对应课程所有知识点的习题集，以及获取目标知识点在所述目标试题所包含的所有知识点的第二权重，并根据所述第一权重和所述第二权重确定所述目标试题的知识点覆盖度，然后根据所述试卷难度、所述试卷区分度、所述考分分布曲线和所述知识点覆盖度确定所述目标试题对应试卷的检测结果。
其中，对于试卷难度(Difficulty)，可以根据公式(5)所示的群体学生样本成绩的平均确定：
Figure BDA0003493393390000082
n表示群体学生样本中的学生总个数。
对于试卷区分度(Distinction)的计算，可以通过对所述预设学生群体的第三使用效果进行排序；确定位于前预设名次的若干个学生对应第三使用效果的第一差值，以及位于后预设名次的若干个学生对应第三使用效果的第二差值；根据所述第一差值和所述第二差值确定所述目标试题的试卷区分度。例如，以群体学生样本排名前27％平均成绩与排名后27％为例，试卷区分度(Distinction)的计算可以通过公式(6)计算得到：
Figure BDA0003493393390000083
其中，
Figure BDA0003493393390000084
表示对所有学生的预测得分进行排序。
对于考分分布曲线的计算，可以用考分分布的曲线(Curve)与正态分布的差异性表示，根据所有群体学生样本成绩与一个随机正态分布的相对熵获取，具体可以采用公式(7)获取：
Figure BDA0003493393390000091
其中，Z是一个符合正态分布的随机数列，其中包含了n个0～100之间的数值，用来模拟一组合理的考试得分集合。这个正态分布的均值为μ，标准差为σ。一般将μ设置为目标考试卷的平均分，σ则根据试卷区分度的合理范围进行计算。
对于知识点覆盖度的计算，则可以通过公式(8)计算得到：
Figure BDA0003493393390000092
其中，m是课程中知识点的数量，kcj表示第j个知识点在课程所有知识点分布中的第一权重，kej表示第j个知识点在目标考试卷所有知识点分布中的第二权重。所述课程所有知识点分布对应于习题集的整体知识点分布。
在计算得到试卷难度、所述试卷区分度、所述考分分布曲线和所述知识点覆盖度后，即能判断出目标试题对应试卷的检测结果。
在一些实施例中，在应用本实施例的检测方法只，表1为一些实施例提供的现有数据集的情况，来自ASSISTments在线辅导平台，该两个数据集记录了小学数学课程学生练习答题的情况，可以整理出习题库、知识点，以及习题库—知识点的对应矩阵。表1的第一行数据(ASSIST2009)，从其原始数据集中选取了所有已做知识点标识的习题，处理后的数据集包含4163名学生，100个知识点标识，总计708,631个答题记录。表1中的第二行数据集(ASSIST2015)，同样从其原始数据集中选取了所有已做知识点标识的习题，处理后的数据集包含19,917名学生，100个知识点标识，总计708,631个答题记录；和数据集ASSIST2009相比，它包含更多知识点，但每个知识点的平均答题记录数较小，因为学生人数更多。
表1
数据集 学生数量 知识点标识 记录数
ASSIST2009 4,163 123 278,607
ASSIST2015 19,917 100 708,631
ASSIST2009数据集包含question_id字段，因此我们从中提取了一个习题库，其中包括17,751个习题。我们从这个习题库中随机抽取5,000个习题组成一个模拟考试题库。因为在实践中，可以使用习题库中的题目来组成试卷。
ASSIST2015数据集不包含question_id字段，它与ASSIST2009数据集相同，但来自不同的学年。在ASSIST2009的练习库中，一个问题最多包含5个知识点。因此，本实施例为ASSIST2015数据集随机生成了一个包含10,000个题目的模拟考试题库，其中每个题目最多包含5个知识点。因为在实践中，也可以使用习题库中没有的题目来组成试卷。
表2为采用本申请实施例提供的试卷检测方法进行试卷检测的效果。具体地，对在两个数据集上使用不同方法所生成试卷的检测结果，分别采用了遗传算法和随机过滤两种方法生成AB试卷。两种组卷方法都以0.7作为试卷难度的理想值，试卷中每个题目的难度标签由组成题目的知识点被正确回答概率模拟。比如，题目e1包含知识点s1和s2，根据学生答题历史记录中，s1和s2各被回答了100次，且s1被正确回答了20次，s2被正确回答了70次，那么s1的被正确回答概率是0.2，s2的被正确回答概率是0.7，此时e1的难度标签设置为：(0.2+0.7)÷2＝0.45。
表2
Figure BDA0003493393390000101
通过表2可知，本申请实施例的检测方法能够检测出每份试卷在四个质量指标值上的差异。在数据集ASSIST2009上，09B卷在难度、知识点覆盖度、分数分布曲线都比09A卷好，但在区分度上09A卷则比09B卷更好，两份试卷在四项指标上的分布参照图3；在数据集ASSIST2015上，15A卷在难度、区分度上比15B卷好，但在知识点覆盖度、分数分布曲线上则是15B卷更好，两份试卷在四项指标上的分布参照图4。
综上可知，本发明实施例可以在考试之前通过预测的方式预测考试结果，根据该预测考试结果即能得到目标试题的检测结果，从而无需依赖难度标签数据来对目标试题进行试卷检测，有效提高试卷质量和试卷效果的稳定性。
本发明实施例提供了一种试卷质量的检测系统，包括：
第一获取模块，用于获取预设学生群体的历史答题记录信息；
计算模块，用于根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵；以及根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵；
第二获取模块，用于从习题集中获取与目标试题对应的习题作为模拟试题；
预测模块，用于根据所述第一概率矩阵预测所述预设学生群体对所述模拟试题的第一使用效果；以及根据所述第二概率矩阵预测所述预设学生群体对所述目标试题的第二使用效果；
第一确定模块，用于根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果；
第二确定模块，用于根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种试卷质量的检测装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行图2所示的试卷质量的检测方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现图2所示的试卷质量的检测方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的试卷质量的检测方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种试卷质量的检测方法，其特征在于，包括以下步骤：
获取预设学生群体的历史答题记录信息；
根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵；以及根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵；
从习题集中获取与目标试题对应的习题作为模拟试题；
根据所述第一概率矩阵预测所述预设学生群体对所述模拟试题的第一使用效果；
根据所述第二概率矩阵预测所述预设学生群体对所述目标试题的第二使用效果；
根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果；
根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果。
2.根据权利要求1所述的一种试卷质量的检测方法，其特征在于，所述根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵，包括：
根据所述历史答题记录信息生成每个学生的历史答题记录序列；
根据所述每个学生的历史答题记录序列分别预测每个学生在下一时刻正确回答所有知识点的第二概率；
根据所述每个学生在下一时刻正确回答所有知识点的第二概率生成第二概率矩阵。
3.根据权利要求1所述的一种试卷质量的检测方法，其特征在于，所述根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵，包括：
根据所述历史答题记录信息生成每个学生的历史答题记录序列；
根据所述每个学生的历史答题记录序列分别预测每个学生在下一时刻正确回答所有习题的第一概率；
根据所述每个学生在下一时刻正确回答所有习题的第一概率生成第一概率矩阵。
4.根据权利要求1所述的一种试卷质量的检测方法，其特征在于，所述从习题集中获取与目标试题对应的习题作为模拟试题，包括：
获取所述目标试题对应的第一知识点和第一题型；
获取所述习题集所有习题对应的第二知识点和第二题型；
计算所述第一知识点和所述第二知识点的第一相似度，以及计算所述第一题型与所述第二题型的第二相似度；
根据所述第一相似度和所述第二相似度确定所述目标试题与所述从习题集中的习题的第三相似度；
根据所述第三相似度从习题集中确定模拟试题。
5.根据权利要求1所述的一种试卷质量的检测方法，其特征在于，所述根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果，包括：
获取调和参数，所述调和参数的取值范围为大于等于0且小于等于1；
根据所述调和参数、所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果。
6.根据权利要求1所述的一种试卷质量的检测方法，其特征在于，所述根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果，包括：
根据所述第三使用效果确定所述目标试题的试卷难度、试卷区分度和考分分布曲线；
获取目标知识点在所述目标试题对应课程所有知识点的第一权重，以及获取目标知识点在所述目标试题所包含的所有知识点的第二权重；
根据所述第一权重和所述第二权重确定所述目标试题的知识点覆盖度；
根据所述试卷难度、所述试卷区分度、所述考分分布曲线和所述知识点覆盖度确定所述目标试题对应试卷的检测结果。
7.根据权利要求6所述的一种试卷质量的检测方法，其特征在于，所述根据所述第三使用效果确定所述目标试题的试卷区分度，包括：
对所述预设学生群体的第三使用效果进行排序；
确定位于前预设名次的若干个学生对应第三使用效果的第一差值，以及位于后预设名次的若干个学生对应第三使用效果的第二差值；
根据所述第一差值和所述第二差值确定所述目标试题的试卷区分度。
8.一种试卷质量的检测系统，其特征在于，包括：
第一获取模块，用于获取预设学生群体的历史答题记录信息；
计算模块，用于根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有习题的第一概率矩阵；以及根据所述历史答题记录信息，确定下一时刻所述预设学生群体正确回答所有知识点的第二概率矩阵；
第二获取模块，用于从习题集中获取与目标试题对应的习题作为模拟试题；
预测模块，用于根据所述第一概率矩阵预测所述预设学生群体对所述模拟试题的第一使用效果；以及根据所述第二概率矩阵预测所述预设学生群体对所述目标试题的第二使用效果；
第一确定模块，用于根据所述第一使用效果和所述第二使用效果确定所述目标试题的第三使用效果；
第二确定模块，用于根据所述习题集和所述第三使用效果确定所述目标试题对应试卷的检测结果。
9.一种试卷质量的检测装置，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的试卷质量的检测方法。
10.一种存储介质，其特征在于，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现如权利要求1-7任一项所述的试卷质量的检测方法。
CN202210105580.5A 2022-01-28 2022-01-28 试卷质量的检测方法、系统、装置和存储介质 Pending CN114418443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210105580.5A CN114418443A (zh) 2022-01-28 2022-01-28 试卷质量的检测方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210105580.5A CN114418443A (zh) 2022-01-28 2022-01-28 试卷质量的检测方法、系统、装置和存储介质

Publications (1)

Publication Number Publication Date
CN114418443A true CN114418443A (zh) 2022-04-29

Family

ID=81278447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210105580.5A Pending CN114418443A (zh) 2022-01-28 2022-01-28 试卷质量的检测方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114418443A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017025046A1 (zh) * 2015-08-13 2017-02-16 马正方 一种基于知识点结构的题库系统
CN108171358A (zh) * 2017-11-27 2018-06-15 科大讯飞股份有限公司 成绩预测方法及装置、存储介质、电子设备
CN108229718A (zh) * 2016-12-22 2018-06-29 上海谦问万答吧云计算科技有限公司 一种信息预测方法及装置
CN112508334A (zh) * 2020-11-06 2021-03-16 华中师范大学 融合认知特性及试题文本信息的个性化组卷方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017025046A1 (zh) * 2015-08-13 2017-02-16 马正方 一种基于知识点结构的题库系统
CN108229718A (zh) * 2016-12-22 2018-06-29 上海谦问万答吧云计算科技有限公司 一种信息预测方法及装置
CN108171358A (zh) * 2017-11-27 2018-06-15 科大讯飞股份有限公司 成绩预测方法及装置、存储介质、电子设备
CN112508334A (zh) * 2020-11-06 2021-03-16 华中师范大学 融合认知特性及试题文本信息的个性化组卷方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGYANG WU等: "Exam paper generation based on performance prediction of student group", 《ELSEVIER》 *
ZHENGYANG WU等: "Exercise recommendation based on knowledge concept prediction", 《ELSEVIER》 *

Similar Documents

Publication Publication Date Title
CN111179675B (zh) 个性化练习题推荐方法、系统、计算机设备以及存储介质
CN111651676B (zh) 基于能力模型进行职业推荐的方法、装置、设备和介质
CN111177473B (zh) 人员关系分析方法、装置和可读存储介质
CN111858906B (zh) 习题推荐方法、装置、电子设备及计算机可读存储介质
CN111309887B (zh) 一种训练文本关键内容提取模型的方法和系统
CN116263782A (zh) 一种基于题库的智能组卷方法、系统及存储介质
CN110288350A (zh) 用户价值预测方法、装置、设备及存储介质
CN116541538B (zh) 基于大数据的智慧学习知识点挖掘方法及系统
CN111563156A (zh) 一种知识点智能诊断的方法、装置、电子设备及存储介质
CN113409174A (zh) 知识点测评方法和装置
CN111242267A (zh) 在线考试的组卷方法和组卷装置
CN113723774A (zh) 答题评分方法、装置、计算机设备和存储介质
CN110851721A (zh) 根据用户个体特征推荐试题的方法及设备
CN110826315A (zh) 使用神经网络系统识别短文本时效性的方法
CN114492803A (zh) 基于知识图谱的问答生成方法及装置、自动考题生成系统
CN113723115A (zh) 基于预训练模型的开放域问答预测方法及相关设备
CN116340625B (zh) 结合学习状态适合度和课程搭配度的课程推荐方法及装置
CN114418443A (zh) 试卷质量的检测方法、系统、装置和存储介质
CN113673811B (zh) 一种基于session的在线学习绩效评估方法及装置
CN115630147A (zh) 应答方法、装置、电子设备及存储介质
Mancebón et al. Does the educational management model matter? New evidence from a quasiexperimental approach
CN113919983A (zh) 试题画像方法、装置、电子设备和存储介质
CN110334353A (zh) 词序识别性能的分析方法、装置、设备及存储介质
CN111178770A (zh) 答题数据评估和学习图像构建方法、装置及存储介质
CN115034400B (zh) 一种业务数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220429