CN112330509B - 模型无关的自适应测试方法 - Google Patents
模型无关的自适应测试方法 Download PDFInfo
- Publication number
- CN112330509B CN112330509B CN202011216274.6A CN202011216274A CN112330509B CN 112330509 B CN112330509 B CN 112330509B CN 202011216274 A CN202011216274 A CN 202011216274A CN 112330509 B CN112330509 B CN 112330509B
- Authority
- CN
- China
- Prior art keywords
- question
- model
- answer
- examinee
- title
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010998 test method Methods 0.000 title claims abstract description 13
- 230000001149 cognitive effect Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000003745 diagnosis Methods 0.000 claims abstract description 21
- 230000006998 cognitive state Effects 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000012512 characterization method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 37
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003930 cognitive ability Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Mathematics (AREA)
- Educational Technology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
Abstract
本发明公开了一种模型无关的自适应测试方法,其特征在于,包括:根据考生的历史答题记录估计考生认知状态,从而预测考生对未测试题目集合中每一道题目答对概率,并通过模型无关的信息量评估函数,量化未测试题目集合中每一道题目的信息量,根据信息量大小选择排名靠前的KC个题目组成高质量候选集;通过模型无关的题集多样性评估函数,并结合题目中知识点的重要性权重,来量化已测试题集的多样性,从高质量候选集中选择使得多样性的边界增益最大的题目作为本次选题的最终结果。该方法剥离算法对模型底层细节的依赖,使得该方法适用于现有所有认知诊断模型,降低了自适应测试系统的耦合性,提高其灵活性。
Description
技术领域
本发明涉及机器学习、人工智能和智能教育技术领域,尤其涉及一种模型无关的自适应测试方法。
背景技术
在智能教育中,对考生的知识掌握程度进行测试和诊断是一项基本的任务。在该任务中,如何为考生选择合适的题目是一个核心挑战。
由于传统的纸质考试无法针对每个考生的认知状态进行个性化选题,教育心理学研究目前关注一种自适应的测试形式,即在测试过程中,根据该考生当前的表现,通过认知诊断模型动态地估计考生的认知状态,然后设计选题策略自适应地根据其认知状态进行下一步选题。
现有的选题策略尝试最小化认知诊断模型中表征考生知识水平的相关参数的估计误差,从而利用数理统计等数学工具量化题目的信息量并贪心地选出信息量最大的题目。然而,这些工作多于依赖认知诊断模型对考生的知识水平的表征细节及原理,导致设计出的选题策略只适用于特定的模型。这种策略和模型的强相关性导致自适应测试系统的高耦合性和低灵活性,且使得研究人员在设计策略时不得不考虑过多的底层细节,而不是单纯考虑考生的认知能力。
发明内容
本发明的目的是提供一种模型无关的自适应测试方法,剥离算法对模型底层细节的依赖,使得该方法适用于现有所有认知诊断模型,降低了自适应测试系统的耦合性,提高其灵活性。
本发明的目的是通过以下技术方案实现的:
一种模型无关的自适应测试方法,包括:
根据考生的历史答题记录估计考生认知状态,从而预测考生对未测试题目集合中每一道题目答对概率,并通过模型无关的信息量评估函数,量化未测试题目集合中每一道题目的信息量,根据信息量大小选择排名靠前的KC个题目组成高质量候选集;
通过模型无关的题集多样性评估函数,并结合题目中知识点的重要性权重,来量化已测试题集的多样性,从高质量候选集中选择使得多样性的边界增益最大的题目作为本次选题的最终结果。
由上述本发明提供的技术方案可以看出,从考生的认知状态角度出发,在不依赖认知诊断模型具体细节的前提下,从题库中为考生选出高质量的测试题候选子集,提高测试的准确性;在同样的前提下,从高质量候选子集中选出多样化的测试题,提高测试的全面性,该方法给众多教育平台提供更快捷、更优质的自适应测试服务。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种模型无关的自适应测试方法的描述图;
图2为本发明实施例提供的一种模型无关的自适应测试方法的框架图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种模型无关的自适应测试方法(Model-Agnostic AdaptiveTesting,MAAT)。在MAAT中,受机器学习领域中的主动学习技术启发,旨在为考生选出高质量且多样的题目,在每一次选题中,首先在不依赖模型细节的前提下从未测试题目中选择少数质量最高的题目组成高质量候选集,然后从该候选集中选择对已测试题目的多样性增益最大的一道返回为最终结果。将MAAT的选题分为两个步骤:步骤一,根据考生的历史答题记录估计考生认知状态,从而通过自适应测试系统中的认知诊断模型预测考生对未测试题目集合中每一道题目答对概率(所有认知诊断模型都具备得分预测的功能,认知诊断模型可采用目前已有模型),并通过模型无关的信息量评估函数,量化未测试题目集合中每一道题目的信息量,根据信息量大小选择排名靠前的KC个题目组成高质量候选集;步骤二、通过模型无关的题集多样性评估函数,并结合题目中知识点的重要性权重,来量化已测试题集的多样性,从高质量候选集中选择使得多样性的边界增益最大的题目作为本次选题的最终结果。MAAT脱离模型的底层细节,综合考虑质量和多样性两个高层次的目标,设计有效的评估函数和优化算法,为考生选出合理的题目,以确保测试效果。
为了便于理解,下面结合图1所示的MAAT描述图,及其框架图进行说明。
一、自适应测试的定义及形式化。
自适应测试任务的目的是根据考生在测试中已有的作答情况,结合当前对考生的认知能力评估,从题库中选择合适的下一道题。给定一组考生E={e1,e2,...,e|E|}和一个题库Q={q1,q2,...,q|Q|},当考生ei(1≤i≤|E|)对题目qj(1≤j≤|Q|)作答时,其答题结果记为一个三元组rij=<ei,qj,aij>。另外,假设在该题库上有一个知识点集合K={k1,k2,...,k|K|},题库中的每一道题都关联着一到多个知识点,这种题目-知识点关联可建模成数学上的二元关系其中,|E|、|Q|、|K|分别为考生总数、题库的题目总数、知识点总数。
如图1所示的描述图,自适应测试任务可以被形式化为:给定一个考生,一个关联着知识点集合K的题库Q,目的是设计一个选题策略(Selection Strategy),为考生生成一个测试序列序列中的每一题/>的选取都是依据观察考生之前t-1个作答结果/>该测试序列应该满足两个要求:(1)里面的每一道题是高质量的,即对于考生认知能力的信息量大。(2)整个测试序列作为一个题目集合应具备知识点的多样性。
二、数据收集与预处理。
1、数据收集。
本发明实施例中,使用考生在题库上的作答数据作为输入数据集,数据需要含有考生在题目上作答的对错情况,题目需要有知识点关联。此类数据样例如开源数据集(ASSISTment)等。此外,也可以通过网络爬取、教育平台提供支持或线下收集初高中生的作业或考试情况获得输入数据集。
2、数据预处理。
在构建模型之前,需要对收集的数据进行预处理以保证模型的效果。预处理主要包括以下内容:
1)题目过滤。
本发明主要针对自适应测试中的选题策略设计,而认知诊断模型(CognitiveDiagnosis Model)的稳定性和可靠性应得到保证,因此需要输入数据集中的题目有足够量的相关作答记录数据,过滤掉相关记录数过少的题目。
2)知识点过滤。
同样,为保证知识点属性的稳定性和可靠性,过滤掉关联题目过少的知识点。
3)抽样。
在每个数据集中,分别依考生进行随机抽样,选用抽样出的学生对应的答题记录作为训练集来预训练认知诊断模型模型,未抽样出的学生对应的答题记录作为测试集来评估选题策略的有效性。
三、自适应测试方法的框架。
自适应测试方法的关键是将选题目标通过合适的数学函数加以量化,从而将选题问题转化为简单的题目“价值”的排序问题,例如本发明中关注的两个目标:题目质量和题集多样性。现有的研究工作大多将选题目标与认知诊断模型的特定参数关联起来,例如,从统计的角度最小化表征考生能力强度的参数的最大似然估计误差等。这种思路虽取得了可观的效果,但对于认知诊断模型的细节知识依赖过多,严重影响了系统的灵活性。实际上,自适应测试在选题中只需利用认知诊断模型所给出的考生在各知识上的认知诊断结果,而不一定需要知道得出这些结果所具体利用的细节原理。但是,在不依赖关于模型底层的知识的前提下达到高质量和多样性的选题是具有挑战性的。
本发明实施例中,使用图2所示的框架,设置质量模块(Quality Module)设置多样性模块(Diversity Module)并结合重要性模块(Importance Module)。每次选题中,质量模块负责从所有未测试的题目(Untested Question Set)中选择质量最高的少部分题目组成高质量候选集,多样性模块负责从高质量候选集中选择一个题目以使得整体挑选出来的测试题集多样性增益最大,重要性模块负责计算出知识点的重要性权重,以使得多样性模块在优化知识点多样性的同时能够考虑知识点之间重要程度的区别。下面结合上述三个模块对自适应测试方法的实现过程进行介绍:
1、质量模块。
质量模块的目标是从所有未测试题目中挑选质量最高的少部分题目,组成高质量候选集。为了达到这个目标,构造了一个名为“期望模型改变量”(ExpectedModel Change,EMC)的题目信息量评估函数来量化每道题目的质量,进而进行排序择优。EMC函数与传统研究工作中的信息量估计函数最重要的区别是它不依赖认知诊断模型的底层细节。本发明实施例中,将认知诊断模型定义为一个抽象模型,该模型可以输出对考生的认知状态的诊断,并具有一组不包含任何细节和原理上的已知性假设的参数,记作θ。该认知诊断模型的具体构建细节可通过常规技术实现,本发明不做赘述。针对每一道题目,认知诊断模型所获取的信息量体现在考生对该题的作答结果被观察到时,模型相关参数的改变量。如果模型参数几乎没有改变,说明题目的信息量很小,以至于模型的状态几乎保持不变。因此,用模型的改变量定量地刻画题目的信息量,进而比较题目的质量。
记θ(Ri)为抽象模型在观察到考生ei历史答题记录Ri后的参数状态,对于题目qj,答题记录rij=<ei,qj,aij>,其中,aij为考生ei针对题目qj的答题结果,答对则aij为1,答错则aij为0;抽象模型在得到答题记录rij后,参数更新为为θ(Ri∪{rij}),则ΔM(rij)=|θ(Ri∪{rij})-θ(Ri)|为答题rij造成的模型改变量,也即题目qj的信息量。
然而,困难在于,对于未测试题目集合,考生的答题记录是未知的。为了克服这个困难,考生作答结果的概率分布来求出期望的模型改变量。而该概率分布来源于抽象模型输出的对考生认知状态的估计,并通过题目答对概率,来估计期望模型改变量,作为题目的信息量,期望模型改变量表示为:
p=M(ei,qj|θ(Ri))
其中,ΔM(<ei,qj,aij>)表示认知诊断模型在观测到一条新答题记录<ei,qj,aij>后的参数变化量|Δθ|;M(ei,qj|θ(Ri))为认知诊断模型通过历史答题记录Ri训练出的参数θ(Ri)预测出的考生ei对于题目qj的答对概率(与上文一样,该认知诊断模型的具体细节,及参数θ的具体形式和训练过程均可通过常规技术实现);表示按照概率p求数学期望;EMC(qj)为题目qj的期望模型改变量。
通过EMC函数,可以定量计算每个未测试题目的信息量,进而排序选出质量最高的候选集。
2、多样性模块。
多样性模块的目标是从质量模块输出的高质量候选集中挑选一道题目,作为一轮选题的最终选择,选出的题目应使得整个已测试题集的多样性具有最大增益。为了达到这个目标,构造了一个名为“重要性加权知识点覆盖度”(Importance Weighted KnowledgeCoverage,IWKC)的题集多样性评估函数来量化已测试题集的多样性,该函数不依赖认知诊断模型。IWKC函数的具体形式如下:
其中,QT是已测试题集;wk是知识点k的重要性权重,其值由重要性模块计算(具体计算方式将在后文介绍);IncCov(k,QT)是计算知识点k在题集QT中的覆盖程度,其数学形式中的cnt(k,QT)表示在题集QT中,包含知识点k的题目数量。
通过最大化边际增益(Maximum Marginal Gain)的贪心算法选择使得多样性的边界增益最大题目:
其中,QC是高质量候选集,q为高质量候选集QC中的任一道题目,q*表示本次选题的最终结果。
本发明证明,从整个题库中挑选一个使得IWKC函数的值最大的已测试题集是一个NP难问题。但是,由于IWKC函数是一个单调子模函数,采用最大化边际增益的贪心算法一道一道地挑选题目,最终得到的已测试集合与理论上最优的已测试集合相比,其IWKC函数的值不低于最优值的倍,从而使得本发明中多样性模块对选题的多样性目标的优化具有理论保证。
3、重要性模块。
在多样性模块中,采用重要性加权的知识点覆盖度(IWKC)作为多样性的评估函数,其中为区分不同知识点之间重要程度的区别,为每个知识点k引入了对应的重要性权重系数wk,而重要性模块就是负责利用采集到的答题数据为每个知识点计算重要性权重。在数据的采集和预处理阶段,得到大量的处理后的考生作答记录,利用这些记录,首先通过神经网络训练将题目表示为特征向量,即将所有题目表征在统一的向量空间中,目的是使得题目的相似度可度量。
对于考生ei,将其对于题目qj的答题记录rij=<ei,qj,aij>转换为一个输入向量:
其中,1|Q|(j)表示长度为|Q|的独热向量,其中第j维为1,其他为0;0|Q|表示长度为|Q|的全零向量;|Q|是题库的题目总数;对于某个已知其全部历史答题记录的考生ef∈E,其历史答题记录记为Rf。为了得到合适的题目表征向量,需要定义合适的优化目标,使得神经网络经优化后,题目的表征向量之间具有合理的相似性。这里,根据无监督表征学习的思想,优化目标设计如下:
其中,rfh、rfj为考生ef分别针对题目qh、qj的答题记录,xfh为rfh转换得到的输入向量;Nneg是随机负采样的数量,即从所有题目中随机选出Nneg道与题目qj无关(即与题目qj不出现在同一名考生的做题记录中的题目)的其他题目作为负样本参与训练,σ(.)是Sigmoid函数,W是一个d×2|Q|的参数矩阵,d是一个超参数,|Q|是题目数量,vj表示题目qj的特征向量;
计算题目之前的相似度(Similarity):
其中,vh为题目qh的特征向量;|vh-vj|表示两个题目qh与qj的向量表征之间的欧几里得距离;
计算题目与其在向量表征空间中的邻居之间的聚类密度(Density):
其中,N(qj)表示题目qj在向量表征空间中的KN-近邻,KN为邻居数目;
知识点k的重要性wk可用其关联的题目的聚类密度表示:
其中,G是表征题目q-知识点k关联的二元关系。
本发明实施例上述方案,利用模型无关的自适应测试方法进行选题并由考生进行答题,相比于传统高度依赖模型的方法,不需要针对任何一种特定的认知诊断模型进行定制,在选题策略设计的过程中只需要结合当前考生的认知状态,考虑题目的质量和多样性两个高层次的目标,从而提高自适应测试系统的灵活性,以及选题的合理性,具有一定的实际应用价值,给众多教育平台提供良好的自适应测试服务。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (1)
1.一种模型无关的自适应测试方法,其特征在于,包括:
根据考生的历史答题记录估计考生认知状态,从而预测考生对未测试题目集合中每一道题目答对概率,并通过模型无关的信息量评估函数,量化未测试题目集合中每一道题目的信息量,根据信息量大小选择排名靠前的KC个题目组成高质量候选集;
通过模型无关的题集多样性评估函数,并结合题目中知识点的重要性权重,来量化已测试题集的多样性,从高质量候选集中选择使得多样性的边界增益最大的题目作为本次选题的最终结果;
将认知诊断模型作为抽象模型,抽象模型中的参数记为θ;抽象模型在得到题目答题记录后,参数状态将发生改变,改变量即为相应题目的信息量;记θ(Ri)为抽象模型在观察到考生ei历史答题记录Ri后的参数状态,对于题目qj,答题记录rij=<ei,qj,aij>,其中,rij为考生ei针对题目qj的答题结果,答对则aij为1,答错则aij为0;抽象模型在得到答题记录rij后,参数更新为θ(Ri∪{rij}),则ΔM(rij)=|θ(Ri∪{rij})-θ(Ri)|为答题rij造成的模型改变量,也即题目qj的信息量;
对于未测试题目集合,考生的答题记录是未知的,通过预测每一道题目答对概率,来估计每一题目的期望模型改变量,作为题目的信息量,期望模型改变量表示为:
p=M(ei,qj|θ(Ri))
其中,ΔM(<ei,qj,aij>)表示抽象模型在观测到一条新答题记录<ei,qj,aij>后的参数变化量;M(ei,qj|θ(Ri))为抽象模型通过历史答题记录Ri训练出的参数θ)Ri)预测出的考生ei对于题目qj的答对概率;表示按照概率p求数学期望;EMC(qj)为题目qj的期望模型改变量;
模型无关的题集多样性评估函数表示为:
其中,QT是已测试题集;wk是知识点k的重要性权重;InCov(k,QT)是计算知识点k在题集QT中的覆盖程度,其数学形式中的cnt(k,QT)表示在题集QT中,包含知识点k的题目数量;
通过最大化边际增益的贪心算法选择使得多样性的边界增益最大题目:
其中,QC是高质量候选集,q为高质量候选集QC中的任一道题目,q*表示本次选题的最终结果;
所述题目中知识点的重要性权重通过如下方式计算:
对于考生ei,其对于题目qj的答题记录为rij=<ei,qj,aij>;将答题记录转换为一个输入向量:
其中,1|Q|(j)表示长度为|Q|的独热向量,其中第j维为1,其他为0;0|Q|表示长度为|Q|的全零向量;|Q|是题库的题目总数;对于某个已知其全部历史答题记录的考生ef∈E,其历史答题记录记为Rf,训练的优化目标是:
其中,rfh、rfj为考生ef分别针对题目qh、qj的答题记录,xfh为rfh转换得到的输入向量;Nneg是随机负采样的数量,σ(.)是Sigmoid函数,W是一个d×2|Q|的参数矩阵,vj表示题目qj的特征向量;
计算题目之前的相似度:
其中,vh为题目qh的特征向量;|vh-vj|表示两个题目qh与qj的向量表征之间的欧几里得距离;
计算题目与其在向量表征空间中的邻居之间的聚类密度:
其中,N(qj)表示题目qj在向量表征空间中的KN近邻,KN为邻居数目;
知识点k的重要性wk可用其关联的题目的聚类密度表示:
其中,G是表征题目q与知识点k关联的二元关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011216274.6A CN112330509B (zh) | 2020-11-04 | 2020-11-04 | 模型无关的自适应测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011216274.6A CN112330509B (zh) | 2020-11-04 | 2020-11-04 | 模型无关的自适应测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112330509A CN112330509A (zh) | 2021-02-05 |
CN112330509B true CN112330509B (zh) | 2023-06-16 |
Family
ID=74324649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011216274.6A Active CN112330509B (zh) | 2020-11-04 | 2020-11-04 | 模型无关的自适应测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112330509B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115658550B (zh) * | 2022-12-09 | 2023-04-07 | 合肥高维数据技术有限公司 | 提升大规模样本测试效率的自动化测试方法及系统 |
CN115985152A (zh) * | 2022-12-14 | 2023-04-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 针对在线编程教学的自适应推荐方法及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509126A (zh) * | 2018-11-02 | 2019-03-22 | 中山大学 | 一种基于用户学习行为的个性化试题推荐方法 |
CN110264091A (zh) * | 2019-06-24 | 2019-09-20 | 中国科学技术大学 | 学生认知诊断方法 |
CN110309300A (zh) * | 2018-08-23 | 2019-10-08 | 北京慧经知行信息技术有限公司 | 一种识别理科试题知识点的方法 |
CN111179675A (zh) * | 2019-12-30 | 2020-05-19 | 安徽知学科技有限公司 | 个性化练习题推荐方法、系统、计算机设备以及存储介质 |
CN111680216A (zh) * | 2020-05-06 | 2020-09-18 | 广州寄锦教育科技有限公司 | 一种试题推荐方法、系统、介质及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2427786A1 (en) * | 2003-05-02 | 2004-11-02 | Auckland Uniservices Limited | System, method and computer program for student assessment |
US20060240394A1 (en) * | 2005-04-20 | 2006-10-26 | Management Simulations, Inc. | Examination simulation system and method |
-
2020
- 2020-11-04 CN CN202011216274.6A patent/CN112330509B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309300A (zh) * | 2018-08-23 | 2019-10-08 | 北京慧经知行信息技术有限公司 | 一种识别理科试题知识点的方法 |
CN109509126A (zh) * | 2018-11-02 | 2019-03-22 | 中山大学 | 一种基于用户学习行为的个性化试题推荐方法 |
CN110264091A (zh) * | 2019-06-24 | 2019-09-20 | 中国科学技术大学 | 学生认知诊断方法 |
CN111179675A (zh) * | 2019-12-30 | 2020-05-19 | 安徽知学科技有限公司 | 个性化练习题推荐方法、系统、计算机设备以及存储介质 |
CN111680216A (zh) * | 2020-05-06 | 2020-09-18 | 广州寄锦教育科技有限公司 | 一种试题推荐方法、系统、介质及设备 |
Non-Patent Citations (6)
Title |
---|
Automatic Generation of Question Paper from User Entered Specifications Using a Semantically Tagged Question Repository;Gauri Nalawade等;《2016 IEEE Eighth International Conference on Technology for Education (T4E)》;全文 * |
传染病预防健康素养题库的试题难度测定方法研究;夏明康;潘新锋;陈润洁;范晓宇;刘丽;丁园;顾沈兵;;健康教育与健康促进(第04期);全文 * |
基于联合概率矩阵分解的个性化试题推荐方法;李全;刘兴红;许新华;林松;;计算机应用(第03期);全文 * |
基于认知诊断的个性化试题推荐方法;朱天宇等;《计算机学报》;第第40卷卷(第第1期期);全文 * |
基于认知诊断的协同过滤试题推荐;单瑞婷;罗益承;孙翼;;计算机系统应用(第03期);全文 * |
面向在线智慧学习的教育数据挖掘技术研究;刘淇等;《模式识别与人工智能》;第第31卷卷(第第1期期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112330509A (zh) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Domain adaptive transfer learning for fault diagnosis | |
Benjamin et al. | Measurement of relative metamnemonic accuracy | |
CN112330509B (zh) | 模型无关的自适应测试方法 | |
US11494689B2 (en) | Method and device for improved classification | |
CN112529155B (zh) | 动态知识掌握建模方法、建模系统、存储介质及处理终端 | |
CN106628097A (zh) | 一种基于改进径向基神经网络的船舶设备故障诊断方法 | |
CN113869569A (zh) | 一种基于决策树的学习成绩预测及个性化干预的方法 | |
CN115455186A (zh) | 一种基于多模型的学情分析方法 | |
CN116561517A (zh) | 基于奖励优化深度强化学习不平衡智能故障定量诊断方法 | |
CN116027198A (zh) | 基于联合加权域对抗网络的锂电池健康状态估计方法 | |
CN111586728A (zh) | 一种面向小样本特征的异构无线网络故障检测与诊断方法 | |
CN116822633B (zh) | 基于自我认知的模型推理方法、装置及电子设备 | |
CN117094859A (zh) | 结合图神经网络和多层感知机的学习路径推荐方法及系统 | |
CN115931359A (zh) | 一种涡轮泵轴承故障诊断方法及装置 | |
CN114840679B (zh) | 一种基于乐理知识图谱推理的机器人智能导学方法及应用 | |
CN115205072A (zh) | 一种面向长周期测评的认知诊断方法 | |
CN113919983A (zh) | 试题画像方法、装置、电子设备和存储介质 | |
Bennett et al. | Leveraging metacognitive ability to improve crowd accuracy via impossible questions. | |
CN111553299A (zh) | 基于图像大数据提取学生面部信息实现教育心理学分析方法 | |
Merchie et al. | Churn prediction in online gambling | |
CN110334353A (zh) | 词序识别性能的分析方法、装置、设备及存储介质 | |
Li et al. | Evaluation method of GA-BP neural network programming ability based on entropy weight-deviation | |
CN117688347B (zh) | 基于深度学习的社交网络影响力最大化传播效果评估方法 | |
Dong et al. | Student Achievement Prediction Based on NN-Stacking Model with Hyperparameter Optimization | |
Macià et al. | Beyond homemade artificial data sets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |