CN113239669A - 试题难度预测方法 - Google Patents

试题难度预测方法 Download PDF

Info

Publication number
CN113239669A
CN113239669A CN202110559447.2A CN202110559447A CN113239669A CN 113239669 A CN113239669 A CN 113239669A CN 202110559447 A CN202110559447 A CN 202110559447A CN 113239669 A CN113239669 A CN 113239669A
Authority
CN
China
Prior art keywords
target
difficulty
knowledge point
determining
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110559447.2A
Other languages
English (en)
Other versions
CN113239669B (zh
Inventor
卜晨阳
郝浩
刘菲
李磊
胡学钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110559447.2A priority Critical patent/CN113239669B/zh
Publication of CN113239669A publication Critical patent/CN113239669A/zh
Application granted granted Critical
Publication of CN113239669B publication Critical patent/CN113239669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种试题难度预测方法。其中，该方法包括：对目标试题进行文本分析，得到目标试题中考察的目标知识点；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数；确定子知识点与目标知识点的第二关联系数；确定目标知识点对应的第一难度值与子知识点对应的第二难度值；至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。本申请解决了由于相关技术中将各个知识点当作独立的离散数据，并没有将各个知识点之间的关联性考虑进去造成的预测结果不准确，与试题实际难度存在较大偏差的技术问题。

Description

试题难度预测方法
技术领域
本申请涉及习题难度预测领域，具体而言，涉及一种试题难度预测方法。
背景技术
习题难度预测方法有很多种，比如基于神经网络的习题难度预测方法，针对不同的题型构建不一样的网络模型，但题目的属性有很多，我们还需要找到最为重要的一些属性作为参数进行训练，这显然这是需要较大的工作量的，且很多传统的试题难度预测方法中，将各个知识点看作单独的离散型的数据，并没有把各个知识点之间的关联性考虑进去。因此，相关技术中，对试题的难度进行预测时，将各个知识点当做独立的离散数据，并没有将各个知识点之间关联性考虑进去，导致的预测结果不准确，与试题实际难度存在较大偏差的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种试题难度预测方法，以至少解决由于相关技术中将各个知识点当作独立的离散数据，并没有将各个知识点之间的关联性考虑进去造成的预测结果不准确，与试题实际难度存在较大偏差的技术问题。
根据本申请实施例的一个方面，提供了一种试题难度预测方法，包括：对目标试题进行文本分析，得到目标试题中考察的目标知识点；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；确定目标知识点对应的第一难度值与子知识点对应的第二难度值；至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。
可选地，目标知识点包括：第一类型知识点与第二类型知识点，其中，第一类型知识点的识别难度小于第二类型知识点的识别难度；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构，包括：将第一类型知识点作为第一父节点，确定该第一类型知识点对应的至少一个第一子知识节点；将第二类型知识点作为第二父节点，确定该第二类型知识点对应的至少一个第二子知识节点；根据第一父节点、第二父节点、第一子知识节点以及第二子知识节点确定树状结构。
可选地，第一子知识节点与第一父节点一一对应，第二子知识节点与第二父节点一一对应。
可选地，至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值，包括：根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的初始难度；确定目标试题中目标知识点在解题过程中被目标对象的识别出的概率；将概率的负值加上预定数值，得到权重值；根据权重值与初始难度值确定目标试题的目标难度值。
可选地，根据权重值与初始难度值确定目标试题的目标难度值，包括：确定权重值与初始难度的乘积；将乘积作为目标试题的目标难度值。
可选地，根据权重值与初始难度值确定目标试题的目标难度值之后，方法还包括：从多个预设难度区间中确定目标难度值所属的预设难度区间，多个预设难度区间中不同的预设难度区间对应的难度等级不同；根据目标难度值所属的预设难度区间，确定目标试题所属的难度等级。
根据本申请实施例的另一方面，还提供了一种试题难度预测装置，包括：分析模块，用于对目标试题进行文本分析，得到目标试题中考察的目标知识点；第一确定模块，用于将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取模块，用于获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；第二确定模块，用于确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；第三确定模块，用于确定目标知识点对应的第一难度值与子知识点对应的第二难度值；第四确定模块，用于至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。
可选地，第四确定模块，包括：第一确定子模块，用于根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的初始难度；第二确定子模块，用于确定目标试题中目标知识点在解题过程中被目标对象的识别出的概率；计算模块，用于将概率的负值加上预定数值，得到权重值；第三确定子模块，用于根据权重值与初始难度值确定目标试题的目标难度值。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行任意一种试题难度预测方法。
根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行任意一种试题难度预测方法。
在本申请实施例中，采用基于试题中目标知识点、与目标知识点相关联的子知识点的难度，以及各个知识点与试题的关联度来确定试题的难度的方式，通过对目标试题进行文本分析，得到目标试题中考察的目标知识点；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；确定目标知识点对应的第一难度值与子知识点对应的第二难度值，达到了至少根据目标试题中目标知识点对应的难度值，与目标知识点相关的子知识点的难度值，以及目标知识点、子知识点与目标试题关联度确定目标试题难度的技术效果，进而解决了由于相关技术中将各个知识点当作独立的离散数据，并没有将各个知识点之间的关联性考虑进去造成的预测结果不准确，与试题实际难度存在较大偏差的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的试题难度预测方法的流程示意图；
图2是根据本申请实施例的另一种可选的试题难度预测方法的流程示意图；
图3是根据本申请实施例的一种可选的方法示例结构图；
图4是本申请中的一道示例性目标数学试题；
图5是目标数学试题对应的简化后的知识点库的示意图；
图6是试题考察知识点的程序分析结果展示示意图；
图7是相关知识点的内容展示图；
图8是根据本申请实施例的一种试题难度预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
试题难度的定义是针对学生做题而言的，不同的试题有不同的难度，不同难度的试题组合成一套整体难度适宜的试卷才能更合理地考察全体学生各自所处的层次。
从学生的角度来看，学生对某道试题难度的主观认识是根据其做该道试题的过程来判断的。比如，学生做数学题时一般的解题思路是：先通读题干，从题干中判断这道题所要考察的知识点是什么，进而联想该知识点(知识点的内容、关联知识点内容、这类题目的解题步骤)，然后再从题目中找到给出的已知条件，最后将条件与考察的知识点相结合，按照一定的解题步骤进行解答。在这个过程中，学生大体上就可以判断出一道题目的难易程度如何。例如：学生A通过读题发现这道题所要考察的知识点很多，是一个综合类题目，而且所考察的知识点也比较复杂难懂，自己没有掌握好，那么学生A主观上就会觉得这道题做起来比较麻烦，认为这道题有一定的难度。学生B通过读题发现这道题虽然考察的知识点比较多，但是每个知识点他都掌握的很好，做起来虽然有些麻烦但是按照步骤来还是可以做出来的，那么学生B就会觉得这道题是有些难度，但难度并不高。
上述可以看出，处于不同层次的学生对同一道题的看法并不一定相同。而试卷的存在也是为了对这些不同层次的学生做一个区分。为了能够合理地进行区分，试卷的整体难度一定要合情合理。试卷的题目不能全是高难度的题，也不能全是简单的题，而且这里的试题难度一定要是一个客观上的难度定义，这样才能更合理地组卷。从学生的做题过程中得到启发，可以模拟学生的做题过程，利用学生对试题难度判断的方法来定义试题的难度，这是一个比较具有创新性的试题难度定义方法。
相关技术中，一般预测试题难度的方法有以下两种：
1.基于认知任务分析的习题难度预测。
主要思想：解答试题是一个复杂的认知加工过程。如果能够从设计试题开始就对每道试题所需的认知加工有一个细致的分析,将大大提高对于试题难度的事前分析的准确性,同时也可以为教师从学生认知心理出发设计教法提供重要的指引。而能够帮助进行上述分析的,就是近些年来兴起的认知任务分析(cognitive task analysis,以下简称CTA)。CTA指的是一系列的认知心理学技术,用于分析可见的任务行为,获取作为该行为的基础的有关知识、思维过程和目标结构,并帮助设计更有效地处理复杂情境的认知技能。CTA在对试题难度的评定和学生认知负荷的测定中正起到越来越大的作用。
基本步骤：首先进行问题选择，针对特定题型建立试题难度的事前分析框架。之后就是设定指标体系，为了对试题难度进行事前认知任务分析,需设定一系列数量指标。各种指标就成为各试题的事前评定难度指标。而最终的评定步骤就是：对于每一道试题,2名评定者均分别独立完成以下步骤:(1)列出其标准解题过程；(2)分析其中涉及的已知条件、原理、公式等；(3)评价从试题表面信息中辨识出原理及其组成要素的难度,评价解题过程中对于各种认知能力的需求程度。
2.基于蒙特卡洛方法的习题难度预测：
主要思想：根据教育测量学理论对试题难度及其在试卷中的分布进行了详细的概率学研究,古为今用地提出了用蒙特卡罗方法确定试题难度分布的思路,并以正态分布函数作为难度的分布模型进行了实现。在教育测量学中,试题难度有基本计算公式和极端分组计算公式两种计算方法。计算试题的难度值，根据难度值在区间上的分布情况，将试题难度划分为ABCDE五个等级。
蒙特卡罗方法,又称为随机抽样方法或统计试验方法,是一种基于“随机数”的计算方法。其基本思想是当所要求解的问题是某种事件出现的概率,或者是某个随机变量的数学期望时,可以通过“抽样试验”的方法,得到这种事件出现的频率或者这个随机变量的平均值,并近似地将其作为问题的解。
基本步骤：
(1)构造或描述一个与求解问题有关的概率数学模型；
(2)依据该模型进行抽样,即产生随机变量的模拟值；
(3)建立各种估计量或求解事件发生的频率并将其作为问题的近似解。
优点：试卷难度分布与组卷是一个概率学问题,而蒙特卡罗方法是一个概率学方法,用它解决试卷难度分布这一概率学问题是非常合适的。通过调整蒙特卡罗方法中的参数,可以容易地实现随机性好和区分度高的组卷。
相关技术中存在的缺陷：
(1)、习题难度预测技术分为很多种。比如基于神经网络的习题难度预测方法，针对不同的题型构建不一样的网络模型。而且题目的属性有很多，还需要找到最为重要的一些属性作为参数进行训练，显然这是需要一定的工作量的。
(2)很多传统的试题难度预测方法中，将各个知识点看作一个个离散型的数据，并没有把它们的联系性很好地考虑进去，而知识点地联系性对于试题地难度预测来说也是一个关键性地因素。
(3)大多数的难度预测方法是从试题本身的角度出发，对其进行分析和难度预测。
根据本申请实施例，提供了一种试题难度预测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本方法判断试题难度的依据是试题所考察知识点的数量以及知识点本身的难易程度。从试题所考察的知识点数量角度出发，通过分析题目，找到试题显示考察的知识点数量以及隐含考察的知识点数量。若是所考察的知识点数量越多，隐含的知识点越多，试题的难度自然也越高。这一点是通过试题的文本分析以及专家标注解决的。
从知识点本身的难易程度出发来来定义试题难度，需要对知识点本身的难易程度事先做一个合理的定义。试题所要直接考察的知识点可能并不多，但其间接考察的知识点可能很多。因为知识点并不是独立存在的，很多知识点之间具有递进关系。举两个简单的例子：学习加减乘除是学习方程的前提；掌握了角度问题才能学会二维平面几何，学会了二维平面几何才能学会三维立体几何。所以，试题不仅仅考察各个知识点，还会考察知识点之间的关联性。为此，对不同的学科需事先定义专门的知识点库，该知识点库中包含了这个学科中所要考察的所有知识点以及知识点之间的关联性。知识库中的知识点以节点的形式存在，一个节点代表一个知识点，且每个节点都会有其父节点和子节点。子节点代表是其父节点的前继知识，一个子节点可以有多个父节点(一个知识点可能是多个知识点的前继知识)，一个父节点也可以有多个子节点(一个知识可能有多个基础知识点)。每个节点的数据结构中存放有该知识点自身的难度值diff以及该知识点与其各个父节点的关联程度m。
本方法所要做的就是通过分析题干，找到试题所要考察的直接知识点，进而通过查找知识库，找到关联知识点即题目间接考察的知识点，形成一棵知识树。进而对该试题对应的知识树做分析就可以得到这道试题的难度值。
图1是根据本申请实施例的试题难度预测方法的流程示意图，从图1可以看出，本方法包括：
S1，试题输入；
S2，文本分析；
S3，将文本分析结果与知识点数据库进行比对；
S4，确定难度计算公式；
S5，根据难度计算公式计算难度。
图2是根据本申请实施例的试题难度预测方法，如图2所示，该方法包括如下步骤：
步骤S102，对目标试题进行文本分析，得到目标试题中考察的目标知识点；
步骤S104，将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；
步骤S106，获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；
步骤S108，确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；
步骤S110，确定目标知识点对应的第一难度值与子知识点对应的第二难度值；
步骤S112，至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。
该试题难度预测方法中，可对目标试题进行文本分析，得到目标试题中考察的目标知识点；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；确定目标知识点对应的第一难度值与子知识点对应的第二难度值；至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值，达到了至少根据目标试题中目标知识点对应的难度值，与目标知识点相关的子知识点的难度值，以及目标知识点、子知识点与目标试题关联度确定目标试题难度的技术效果，进而解决了由于相关技术中将各个知识点当作独立的离散数据，并没有将各个知识点之间的关联性考虑进去造成的预测结果不准确，与试题实际难度存在较大偏差的技术问题。
需要说明的是，目标知识点包括：第一类型知识点与第二类型知识点，需要说明的是，第一类型知识点的识别难度小于第二类型知识点的识别难度，因此，在本申请一种可选的实施例中，第一类型知识点为显性知识点，第二类型知识点为隐形(含)知识点。
本申请一些可选的实施例中，将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构，包括：将第一类型知识点作为第一父节点，确定该第一类型知识点对应的至少一个第一子知识节点；将第二类型知识点作为第二父节点，确定该第二类型知识点对应的至少一个第二子知识节点；根据第一父节点、第二父节点、第一子知识节点以及第二子知识节点确定树状结构。
需要说明的是，第一子知识节点与第一父节点一一对应，第二子知识节点与第二父节点一一对应。
本申请一些可选的实施例中，至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值，可通过如下步骤实现：根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的初始难度；确定目标试题中目标知识点在解题过程中被目标对象的识别出的概率；将概率的负值加上预定数值，得到权重值；根据权重值与初始难度值确定目标试题的目标难度值。
需要说明的是，根据权重值与初始难度值确定目标试题的目标难度值，具体可以为：确定权重值与初始难度的乘积；将乘积作为目标试题的目标难度值。
本申请一些可选的实施例中，根据权重值与初始难度值确定目标试题的目标难度值之后，可从多个预设难度区间中确定目标难度值所属的预设难度区间，多个预设难度区间中不同的预设难度区间对应的难度等级不同；根据目标难度值所属的预设难度区间，确定目标试题所属的难度等级。
图3是根据本申请实施例的方法示例结构图，从图3可以看出，通过对目标试题的分析，得到了三个知识点，其中，显性知识点1、2代表文本分析轻易可直接分析到的知识点(表征学生读题直接知道所要考察的知识点，即上述第一类型知识点)，隐含知识点为该知识点考察地比较隐秘，学生不容易能够从题干中分析出题目要考察该知识点，故可以设置一个阈值，当通过预定分析算法分析题干得出该知识点的概率低于这个阈值时，则定义知识点就定义为隐含知识点(表征有些学生通过读题能够找到题目深层所要考察的内容，但有些学生没有意识到要考察这些内容，即上述第二类型知识点)。
知识点4～12为通过查找知识库所找到的关联知识点即试题间接考察的知识点。，从图中可知，该试题的知识树的深度为3，实际上第三层的知识点9～12在知识库中仍可能具有子节点，但是在这里对其做了省略。因为，再下层的知识点与试题的关联程度并不高了，其对试题难度的影响已经很小可以忽略不计，当然也可以视具体情况而定将知识树的深度设置的更大一些。
此外，对试题对应的知识树还有一个要求，即每个知识点在知识树中的父节点只能是一个，目的是为了防止单个知识点对试题难度的重复影响。例如：在知识库中，知识点5、6都是知识点11的父节点(知识点11是知识点5、6的基础知识)，且知识点11与知识点5之间的关联程度值大于和知识点6之间的关联程度值。但在这道试题的知识树中，知识点11只有一个父节点5，因为11与5之间的关联程度更大，所以就砍掉了知识点11与知识点6之间的联系，知识点11在知识树中的关联程度值m就是其在知识库中与5之间的关联程度值，这样做就避免了知识点11重复出现在两颗子树的难度计算中，使得算法更加合理。
以显性知识点1为例，以显示知识点1为根节点的子树难度计算公式为：
diff树1＝r1′*(diff显性知识点1)
+r2'*(m4*diff4+m5*diff5)
+r3′*(m9*diff9+m10*diff10+m11*diff11)；
显而易见的是，r1’、r2’、r3’为第一关联系数，m4、m5、m9、m10、m11为第二关联系数，diff显示知识1为第一难度值，diff1、diff4、diff5、diff9、diff10、diff11为第二难度值，。
容易注意到的是，该试题难度的计算公式为：
diff试题＝r1*diff树1+r2*diff树2+r3*diff树3；
其中，r1、r2、r3表示权重值，diff试题表示目标难度值。
图3中的参数r1、r2、r3代表学生从题干能了解到此题考察该知识点概率的负值加1(若学生能够从题干中了解到本题考查知识点1的概率为r，则r1的值为1-r)，取值范围为[0,1])。r1'、r2'、r3'分别代表知识树中各层知识点与题目的关联程度，显然r1'>r2'>r3'。算法首先分别计算知识树中第一层知识点为根节点所对应子树的整体难度值，然后将各个子树的难度值通过参数r1、r2、r3进行结合得出这道试题的难度值。
为了使的本方法计算出来的难度值更便于区分不同难度层次的题目，在此本方案根据难度值进行难度层次划分，目标难度值所属的预设难度区间，包括但不限于：
D:难度值位于区间[0,2)；
C:难度值位于区间[2,4]；
B:难度值位于区间(4,6]；
A:难度值位于(6,+∞]；
容易注意到的是，共有4种难度等级，分别为A、B、C、D，其中，A、B、C、D表征的试题难度依次减小，其对应的难度等级为：附加题、复杂题、一般题、简单题。
下面结合一种具体的应用场景，进行详细的解释说明。
图4是一道目标数学试题，图5是该目标数学试题对应的简化后的知识点库，则利用上述试题难度预测方法确定该道数学试题的步骤如下：
步骤1：将该试题输入难度预测系统。
步骤2：对试题进行文本分析，提取关键字“焦点”、“双曲线方程”、“离心率”、“直线”、“渐近线”等。
步骤3：与试题专家标注相对比(假设该试题专家标注所要考察知识点为双曲线知识点、向量运算)，找到该试题考察知识点如图6程序分析结果所示，其中，r1、r2、r3、r4、r5取值分别为0.5、0.5、0.5、0.6、0.6(因为题目明确给出了这几个知识点，所以学生能够轻易地意识到该试题要考察这些知识点，这五个知识点都不是隐含知识点)。
需要说明的是，m1～m6分别为各自知识点与其父节点的关联程度。
由图5可知，第二层知识点中“双曲线方程”和“a、b、c关系”这两个知识点与第一层多个知识点相关联，但是，由上文分析可知，为了避免多次计算某个知识点难度导致该知识点对试题难度造成重复影响，在本实施例中，相关知识点如图7所示，由图7可知，“双曲线方程”与“渐近线方程”关联度最大，所以只取这两者之间的联系，“a、b、c关系”与“离心率同样如此”，m1～m6分别取值为0.8、0.5、0.9、0.9、1、1。
在建造知识点库的时候就需将各个知识点自身的难度值也记录进去，取值范围为[0,1]。在本例中，假设“焦点坐标”难度值为0.2，“渐近线方程”难度值为0.3，“离心率”难度值为“0.35”，“向量运算难度值为0.5”，“直线相交”难度值为0.4，此为第一层知识点。“双曲线方程”难度值为0.4，“a、b、c关系”难度值为0.35，“向量”难度值为0.2，“直线方程”难度值为0.45，此为第二层知识点。第三层两个知识点的难度都为0.1。
自此，获取了所有有关计算的参数值，接下来只需带入公式进行计算即可。
步骤4：将参数带入前述公式中，计算预测的试题难度值。
diff树1＝0.9*0.2＝0.18
diff树2＝0.9*1*0.3+0.6*0.8*0.4+0.2*1*0.1＝0.482
diff树3＝0.9*1*0.35+0.6*0.5*0.35＝0.42
diff树4＝0.9*1*0.5+0.6*0.9*0.2＝0.558
diff树5＝0.9*1*0.4+0.6*0.9*0.45+0.2*1*0.1＝0.623
则该试题难度预测值为：
diff试题＝0.5*0.18+0.5*0.482+0.5*0.42+0.6*0.558+0.6*0.623＝1.2496
由上可知，其难度系数为D。
步骤5：结束。
显而易见的，通过上述习题难度的预测方法使得习题难度预测的工作量得到一定的减少；且将知识点关联性以树的方式结合到难度预测方法中，使得本方法达到更好的预测效果；且从学生的角度出发，通过对学生解题思维的构建，使得本方案具有更好的可解释性。
图8是根据本申请实施例的一种试题难度预测装置，如图8所示，该装置包括：
分析模块40，用于对目标试题进行文本分析，得到目标试题中考察的目标知识点；
第一确定模块42，用于将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；
获取模块44，用于获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；
第二确定模块46，用于确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；
第三确定模块48，用于确定目标知识点对应的第一难度值与子知识点对应的第二难度值；
第四确定模块50，用于至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。
该试题难度预测装置中，分析模块40，用于对目标试题进行文本分析，得到目标试题中考察的目标知识点；第一确定模块42，用于将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取模块44，用于获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；第二确定模块46，用于确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；第三确定模块48，用于确定目标知识点对应的第一难度值与子知识点对应的第二难度值；第四确定模块50，用于至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值，达到了至少根据目标试题中目标知识点对应的难度值，与目标知识点相关的子知识点的难度值，以及目标知识点、子知识点与目标试题关联度确定目标试题难度的技术效果，进而解决了由于相关技术中将各个知识点当作独立的离散数据，并没有将各个知识点之间的关联性考虑进去造成的预测结果不准确，与试题实际难度存在较大偏差的技术问题。
本申请一些实施例中，第四确定模块，包括：第一确定子模块、第二确定子模块、计算模块以及第三确定子模块，其中，第一确定子模块，用于根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的初始难度；第二确定子模块，用于确定目标试题中目标知识点在解题过程中被目标对象的识别出的概率；计算模块，用于将概率的负值加上预定数值，得到权重值；第三确定子模块，用于根据权重值与初始难度值确定目标试题的目标难度值。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行任意一种试题难度预测方法。
具体地，上述存储介质用于存储执行以下功能的程序指令，实现以下功能:
对目标试题进行文本分析，得到目标试题中考察的目标知识点；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；确定目标知识点对应的第一难度值与子知识点对应的第二难度值；至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。
根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行任意一种试题难度预测方法。
具体地，上述处理器用于调用存储器中的程序指令，实现以下功能：
对目标试题进行文本分析，得到目标试题中考察的目标知识点；将目标知识点作为父节点，确定目标知识点对应的子知识点形成的树状结构；获取目标知识点在树状结构中的层次，以及该层次对应的第一关联系数，其中，第一关联系数用于指示该层次中的知识点与目标试题的关联程度；确定子知识点与目标知识点的第二关联系数，其中，第二关联系数用于指示子知识点与目标知识点的关联程度；确定目标知识点对应的第一难度值与子知识点对应的第二难度值；至少根据第一关联系数、第二关联系数、第一难度值以及第二难度值确定目标试题的目标难度值。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种试题难度预测方法，其特征在于，包括：
对目标试题进行文本分析，得到所述目标试题中考察的目标知识点；
将所述目标知识点作为父节点，确定所述目标知识点对应的子知识点形成的树状结构；
获取所述目标知识点在所述树状结构中的层次，以及该层次对应的第一关联系数，其中，所述第一关联系数用于指示所述该层次中的知识点与所述目标试题的关联程度；
确定所述子知识点与所述目标知识点的第二关联系数，其中，所述第二关联系数用于指示所述子知识点与目标知识点的关联程度；
确定所述目标知识点对应的第一难度值与所述子知识点对应的第二难度值；
至少根据所述第一关联系数、所述第二关联系数、第一难度值以及第二难度值确定所述目标试题的目标难度值。
2.根据权利要求1所述的方法，其特征在于，所述目标知识点包括：第一类型知识点与第二类型知识点，其中，所述第一类型知识点的识别难度小于所述第二类型知识点的识别难度；将所述目标知识点作为父节点，确定所述目标知识点对应的子知识点形成的树状结构，包括：
将所述第一类型知识点作为第一父节点，确定该第一类型知识点对应的至少一个第一子知识节点；
将所述第二类型知识点作为第二父节点，确定该第二类型知识点对应的至少一个第二子知识节点；
根据所述第一父节点、第二父节点、第一子知识节点以及所述第二子知识节点确定所述树状结构。
3.根据权利要求2所述的方法，其特征在于，所述第一子知识节点与所述第一父节点一一对应，第二子知识节点与所述第二父节点一一对应。
4.根据权利要求1所述的方法，其特征在于，至少根据所述第一关联系数、所述第二关联系数、第一难度值以及第二难度值确定所述目标试题的目标难度值，包括：
根据所述第一关联系数、所述第二关联系数、第一难度值以及第二难度值确定所述目标试题的初始难度；
确定所述目标试题中所述目标知识点在解题过程中被目标对象的识别出的概率；
将所述概率的负值加上预定数值，得到权重值；
根据所述权重值与所述初始难度值确定所述目标试题的目标难度值。
5.根据权利要求4所述的方法，其特征在于，根据所述权重值与所述初始难度值确定所述目标试题的目标难度值，包括：
确定所述权重值与所述初始难度的乘积；
将所述乘积作为所述目标试题的目标难度值。
6.根据权利要求4所述的方法，其特征在于，根据所述权重值与所述初始难度值确定所述目标试题的目标难度值之后，所述方法还包括：
从多个预设难度区间中确定所述目标难度值所属的预设难度区间，所述多个预设难度区间中不同的预设难度区间对应的难度等级不同；
根据所述目标难度值所属的预设难度区间，确定所述目标试题所属的难度等级。
7.一种试题难度预测装置，其特征在于，包括：
分析模块，用于对目标试题进行文本分析，得到所述目标试题中考察的目标知识点；
第一确定模块，用于将所述目标知识点作为父节点，确定所述目标知识点对应的子知识点形成的树状结构；
获取模块，用于获取所述目标知识点在所述树状结构中的层次，以及该层次对应的第一关联系数，其中，所述第一关联系数用于指示所述该层次中的知识点与所述目标试题的关联程度；
第二确定模块，用于确定所述子知识点与所述目标知识点的第二关联系数，其中，所述第二关联系数用于指示所述子知识点与目标知识点的关联程度；
第三确定模块，用于确定所述目标知识点对应的第一难度值与所述子知识点对应的第二难度值；
第四确定模块，用于至少根据所述第一关联系数、所述第二关联系数、第一难度值以及第二难度值确定所述目标试题的目标难度值。
8.根据权利要求7所述的装置，其特征在于，第四确定模块，包括：
第一确定子模块，用于根据所述第一关联系数、所述第二关联系数、第一难度值以及第二难度值确定所述目标试题的初始难度；
第二确定子模块，用于确定所述目标试题中所述目标知识点在解题过程中被目标对象的识别出的概率；
计算模块，用于将所述概率的负值加上预定数值，得到权重值；
第三确定子模块，用于根据所述权重值与所述初始难度值确定所述目标试题的目标难度值。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述试题难度预测方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述试题难度预测方法。
CN202110559447.2A 2021-05-21 2021-05-21 试题难度预测方法 Active CN113239669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110559447.2A CN113239669B (zh) 2021-05-21 2021-05-21 试题难度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110559447.2A CN113239669B (zh) 2021-05-21 2021-05-21 试题难度预测方法

Publications (2)

Publication Number Publication Date
CN113239669A true CN113239669A (zh) 2021-08-10
CN113239669B CN113239669B (zh) 2024-04-09

Family

ID=77138179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110559447.2A Active CN113239669B (zh) 2021-05-21 2021-05-21 试题难度预测方法

Country Status (1)

Country Link
CN (1) CN113239669B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743083A (zh) * 2021-09-06 2021-12-03 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN117216081A (zh) * 2023-11-08 2023-12-12 联城科技(河北)股份有限公司 题库自动更新方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144838A (en) * 1997-12-19 2000-11-07 Educational Testing Services Tree-based approach to proficiency scaling and diagnostic assessment
FR3004828A1 (fr) * 2013-04-23 2014-10-24 Thales Sa Procede et dispositif d'extraction automatique de themes a partir d'au moins un document contenant du texte
US10146751B1 (en) * 2014-12-31 2018-12-04 Guangsheng Zhang Methods for information extraction, search, and structured representation of text data
CN112232707A (zh) * 2020-11-06 2021-01-15 腾讯科技（深圳）有限公司 学习路径展示方法、学习路径生成方法、装置及存储介质
CN112580896A (zh) * 2020-12-31 2021-03-30 南京谦萃智能科技服务有限公司 知识点预测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144838A (en) * 1997-12-19 2000-11-07 Educational Testing Services Tree-based approach to proficiency scaling and diagnostic assessment
FR3004828A1 (fr) * 2013-04-23 2014-10-24 Thales Sa Procede et dispositif d'extraction automatique de themes a partir d'au moins un document contenant du texte
US10146751B1 (en) * 2014-12-31 2018-12-04 Guangsheng Zhang Methods for information extraction, search, and structured representation of text data
CN112232707A (zh) * 2020-11-06 2021-01-15 腾讯科技（深圳）有限公司 学习路径展示方法、学习路径生成方法、装置及存储介质
CN112580896A (zh) * 2020-12-31 2021-03-30 南京谦萃智能科技服务有限公司 知识点预测方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
余红朝;符云清;: "适应网络教育自动组卷算法的研究", 计算机与现代化, no. 01 *
吕健颖;尚福华;曹茂俊;: "课程知识本体自动构建方法研究", 计算机应用与软件, no. 08 *
张丽萍;吴文广;: "ICAI系统领域知识模型的设计与应用", 内蒙古师范大学学报(自然科学汉文版), no. 02 *
郭崇慧;吕征达;: "一种基于集成学习的试题多知识点标注方法", 运筹与管理, no. 02 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743083A (zh) * 2021-09-06 2021-12-03 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN113743083B (zh) * 2021-09-06 2024-03-12 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN117216081A (zh) * 2023-11-08 2023-12-12 联城科技(河北)股份有限公司 题库自动更新方法、装置、电子设备和存储介质
CN117216081B (zh) * 2023-11-08 2024-02-06 联城科技(河北)股份有限公司 题库自动更新方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113239669B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN109919810B (zh) 在线学习系统中的学生建模与个性化课程推荐方法
Leitgöb et al. Measurement invariance in the social sciences: Historical development, methodological challenges, state of the art, and future perspectives
Tunas Bangsa Pematangsiantar Comparison of weighted sum model and multi attribute decision making weighted product methods in selecting the best elementary school in Indonesia
Batanero et al. Statistics and probability in high school
Letina et al. Expanding network analysis tools in psychological networks: Minimal spanning trees, participation coefficients, and motif analysis applied to a network of 26 psychological attributes
Kusmaryono et al. Number of Response Options, Reliability, Validity, and Potential Bias in the Use of the Likert Scale Education and Social Science Research: A Literature Review.
Verdú et al. A genetic fuzzy expert system for automatic question classification in a competitive learning environment
JP2021520529A (ja) アクティブ学習手法を適用した機械学習フレームワークの運用方法、装置及びコンピュータプログラム
CN113239669B (zh) 试题难度预测方法
US20220020283A1 (en) System and method for generating diagnostic assessment question papers and evaluating their quality
Shabaninejad et al. Automated insightful drill-down recommendations for learning analytics dashboards
Rodrigues et al. What questions reveal about novices’ attempts to make sense of data visualizations: Patterns and misconceptions
Lundgren et al. Within-item response processes as indicators of test-taking effort and motivation
Ma et al. Category-level model selection for the sequential G-DINA model
Cho et al. Measuring change for a multidimensional test using a generalized explanatory longitudinal item response model
Mühling Investigating knowledge structures in computer science education
Ilić et al. Intelligent techniques in e-learning: a literature review
CN108932593B (zh) 一种认知影响因素分析方法及装置
Cimpoeru et al. Statistical literacy and attitudes towards statistics of Romanian undergraduate students
Aji et al. An implementation of C4. 5 classification algorithm to analyze student’s performance
JP2019185343A (ja) 問題分析システム、方法、およびプログラム
CN111126812A (zh) 综合学习能力监测方法、装置、电子设备和存储介质
Özgen et al. Intelligent data analysis of interactions and relationships among technological pedagogical content knowledge constructs via rough set analysis
Huang et al. Relative robustness of CDMs and (M) IRT in measuring growth in latent skills
Rejeb et al. A new methodology based on Kano Model for needs evaluation and innovative concepts comparison during the front-end phases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant