CN110765574A - 面向在线测试的样本量与误差消除间的量化关系构建方法 - Google Patents
面向在线测试的样本量与误差消除间的量化关系构建方法 Download PDFInfo
- Publication number
- CN110765574A CN110765574A CN201910882594.6A CN201910882594A CN110765574A CN 110765574 A CN110765574 A CN 110765574A CN 201910882594 A CN201910882594 A CN 201910882594A CN 110765574 A CN110765574 A CN 110765574A
- Authority
- CN
- China
- Prior art keywords
- examinee
- error
- examinees
- sample size
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 85
- 230000008030 elimination Effects 0.000 title claims abstract description 38
- 238000003379 elimination reaction Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 24
- 238000009826 distribution Methods 0.000 claims abstract description 41
- 238000000342 Monte Carlo simulation Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Pure & Applied Mathematics (AREA)
- Educational Administration (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种面向在线测试的样本量与误差消除间的量化关系构建方法，基于Rasch模型仿真出n道0～1计分的测试题，采用蒙特卡罗法模拟考生对测试题进行作答，计算出不同样本量下测试题得分分布的误差度量，从而构建了考生样本量和误差消除间的数量变化关系，通过构建的考生样本量和误差消除间的数量变化关系，不仅可以从量化角度精准把握样本量和误差之间的对应关系，消除传统样本量根据经验判断造成的模糊性，而且可以为在线测试准确度和成本之间平衡提供量化分析基础，进一步优化在线测试的管理和运营。
Description
技术领域
本发明涉及在线测试技术领域，特别是指一种面向在线测试的样本量与误 差消除间的量化关系构建方法。
背景技术
计算机教育技术的发展促进了在线课程的快速发展化，在线测试是在线课 程的重要组成部分，在线试卷的生成离不开标注了试题内容特征及测量参数特 征的试题库，试题的参数主要包括难度、区分度，其准确性是在线测试科学性 和可靠性的保证，是试卷质量分析的基础。试题参数的获取需要一定量的考生 作答数据为依据进行估计，而考生样本量的大小直接影响了试题参数的估计精 度。提高试题参数的估计精度，意味着考生样本量要相应的增加，而考生样本 量的增加常常带来成本的增加。
Hulin、Lissak和Drasgow指出，对于30到60个项目测验的三参数项目 特征曲线来说，其准确度将随受测者人数从200到500到1000而显著提高。 如果到2000个受测者，则准确度不会大幅提高。Kubinger,K.D.(2009)指出对 于Rasch模型的项目参数估计，样本量不少于200，更多的还是在1000以上 的被测者效果会更好一些。
Alper,Sahin，Duygu An1l(2017)以一个具体的实测数据为对象,通过抽取 不同数量的项目和样本量，以相关性和均方根差为参考标准，分别得到项目长 度为10、20、30时，采用1PLM模型(即：Rasch模型)最低有效样本量均为 150，采用2PLM模型最低有效样本量分别为750、500、250，采用3PLM模 型最低有效样本量分别为750、750、350。Guyer和Thompson(2011)在样本 量为300，项目长度为50时，采用2PLM模型得到了精确的参数估计。
但以上研究均是通过具体个案来探索有效样本量和试题数量之间的关系， 均没有充分刻画考生样本量与误差消除之间的数量关系。而试题参数的估计依 赖一定数量考生在该项目上的作答结果，当考生样本作答分数的分布趋于稳定 时，试题参数的估计值也趋于稳定。
发明内容
本发明要解决的技术问题是提供一种面向在线测试的样本量与误差消除 间的量化关系构建方法，从量化角度精准的把握样本量和误差之间的对应关 系，消除传统样本量根据经验判断造成的模糊性，而且为在线测试准确度和成 本之间平衡提供量化分析基础，进一步优化在线测试的管理和运营。
为解决上述技术问题，本发明提供一种面向在线测试的样本量与误差消除 间的量化关系构建方法，所述方法包括：
基于Rasch模型仿真出n道0～1计分的测试题；
采用蒙特卡罗法模拟不同样本量的考生对仿真出的测试题进行作答；
计算出不同考生样本量下测试题得分分布的误差度量，从而构建考生样本 量和误差消除间的数量变化关系。
进一步地，所述Rasch模型的数学表达式为：
其中，b表示项目的难度，θ表示被试者能力，P(θ)表示能力为θ的考生 在难度为b的项目上的正确作答概率；
将考生群体能力分布设定为标准正态分布N(0,1)，其概率密度函数为：
采用3σ原则，将考生能力限定于[-3,3]上，则其概率密度函数为：
则该群体考生在难度为b的项目上答对率如下：
其中，PCTT表示全体考生正确作答的比例。
进一步地，所述方法还包括：
将考生的能力范围[-3,3]等分成t个区间
每个区间的能力值θi用组中值代表，即
进一步地，所述采用蒙特卡罗法模拟不同样本量的考生对仿真出的测试题 进行作答，包括：
根据Rasch模型，计算能力为θi的考生ui在项目j上的正确概率为：
考生在t个区间人数的分布频率为：
对于能力位于
的考生群体，采用[0,1]均分分布的随机 生成函数，生成N·fi个随机数Yij(j＝1,2,…,N·fi)，当Yij>pij时,Xij＝0,表示考生 ui答错了试题j，否则当Yij≤pij时,Xij＝1,表示考生ui答对了试题j，由此生成m 个考生在n道试题上的作答仿真数据。
进一步地，所述计算出不同考生样本量下测试题得分分布的误差度量，从 而构建考生样本量和误差消除间的数量变化关系，包括：
设定考生样本量为10000，采用蒙特卡罗法对这10000模拟考生进行模拟 作答，根据作答结果计算每个考生的总分，并统计总分分布；
依次计算考生样本量从50到10000的总分分布，将考生样本量从50到 10000的总分分布与考生样本量为10000的总分分布作对比，得到计算误差：
从误差消除的占比角度，计算误差消除率，从而构建考生样本量和误差消 除间的数量变化关系。
本发明的上述技术方案的有益效果如下：
本发明以Rasch模型的响应模式为出发点，基于Rasch模型仿真出n道 0-1计分的测试题，采用蒙特卡罗法模拟考生对测试题进行作答，计算出不同 样本量下测试题得分分布的误差度量，从而构建了考生样本量和误差消除间的 数量变化关系，不仅可从量化角度精准的把握样本量和误差之间的对应关系， 从而消除了传统样本量根据经验判断造成的模糊性，而且为在线测试准确度和 成本之间平衡提供了量化分析基础，进一步优化了在线测试的管理和运营。
附图说明
图1为Raschzhe正确作答响应曲线图；
图2为总分分布示意图；
图3为样本量从50到10000的误差变化示意图；
图4为样本量从50到10000的误差消除率示意图；
图5为实际数据与仿真数据分数分布对比图；
图6为计算误差消除和样本量关系示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附 图及具体实施例进行详细描述。
本实施例提供一种面向在线测试的样本量与误差消除间的量化关系构建 方法，所述方法包括：
基于Rasch模型仿真出n道0～1计分的测试题；
采用蒙特卡罗法模拟不同样本量的考生对仿真出的测试题进行作答；
计算出不同考生样本量下测试题得分分布的误差度量，从而构建考生样本 量和误差消除间的数量变化关系。
下面对本实施例的面向在线测试的样本量与误差消除间的量化关系构建 方法作详细介绍：
1、试题难度和正确作答概率
下面给出Rasch模型的数学表达式：
其中，b是项目的难度，θ表示被试者能力，P(θ)表示考生在试题上的正 确作答概率，Raschzhe正确作答响应曲线如图1所示；
将考生群体能力Θ分布设定为标准正态分布N(0,1)，其概率密度函数为：
采用3σ原则，将考生能力限定于[-3,3]上，则其概率密度函数为：
则该群体考生在难度为b的项目上答对率如下：
其中PCTT表示全体考生正确作答的比例。
2、构建考生答题仿真
构建由n道试题组成的测试，n道试题的难度分别为b1,b2,…,bn。考生样 本量为m，其能力分别为θ1,θ2,…,θm。考生对试题进行作答数据的矩阵表示 如表1所示：
表1考生对试题进行作答数据的矩阵表示
其中，Xij＝1表示考生ui答对了项目j,Xij＝0表示考生ui答错了项目j,
表示全体考生在项目j上的通过率,
表示考生ui的总得分，统 计总分分布，得到总分分布表如表2所示：
表2总分0～n的分布律
上表中
表示样本量为m的考生群体得j分的频率。
为了便于蒙特卡罗法的实施，将考生的能力范围[-3,3]等分成t个区间
每个区间的能力值θi用组中值代表，即
根据Rasch模型，计算能力为θi的考生ui在项目j上的正确概率为：
考生在这t个区间人数的分布频率为：
对于能力位于
的考生群体，采用[0,1]均分分布的随机 生成函数，生成N·fi个随机数Yij(j＝1,2,…,N·fi)，当Yij>pij时,Xij＝0,表示考生 ui答错了试题j，否则当Yij≤pij时,Xij＝1,表示考生ui答对了试题j，由此生成了 m个考生在n道试题上作答仿真数据。
下面假设n＝9道试题，其题目难度为(b1，b2,…,b9)＝(-2,-1.5,-1,-0.5,0,0.5,1,1.5,2),考生样本量m＝10000，采用蒙特卡罗法对这10000模拟考生进行模 拟作答，如表3所示：
表3m＝10000考生在n＝9道试题的蒙特卡罗法的仿真作答
| 项目1 | 项目2 | 项目3 | 项目4 | 项目5 | 项目6 | 项目7 | 项目8 | 项目9 | |
| u<sub>1</sub> | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 |
| u<sub>2</sub> | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 0 | 1 |
| u<sub>3</sub> | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 0 |
| … | … | … | … | … | … | … | … | … | … |
| u<sub>9999</sub> | 1 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 0 |
| u<sub>10000</sub> | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 1 |
根据表3的结果，计算每个考生ui的总分
并统计总分分布，结果 如图2所示。总分的分布律则如表4所示：
表4总分0～9的分布律
| 总分 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 分布律％ | 1.22 | 4.26 | 10.18 | 15.84 | 18.97 | 18.79 | 15.03 | 10.09 | 4.38 | 1.22 |
总体上总分分数的分布满足正态分布，由于采用蒙特卡罗法模拟的作答反 应，所以每运行一次仿真过程，分布结果会有微小变动，由于样本量m＝10000 较大，所以不同运行结果之间误差很小，一致性非常高，所以就将该次结果视 作考生总体这n＝9道试题上的得分分布。
下面为了刻画样本量和总分分布的变动之间的关系，下面将样本量M从 50到10000，得到的总分分布与m＝10000做对比，得到计算误差：
样本量从50到10000的误差变化示意图如图3所示。
进一步，从误差消除的占比角度，计算误差消除率Error_elimination：
样本量从50到10000的误差消除率示意图如图4所示。
根据仿真数据，M＝200时，消除了总误差的约60％，M＝600时，消除了 总误差的约80％，M＝1000时，消除了总误差的约90％，M＝2000,消除了总误 差的约95％,M＝5000,消除了总误差的约97％。
另外误差消除率与试题数及试题难度均相关。采用蒙特卡罗法，再针对3 种不同数量的试题计算样本量与误差消除率之间的关系:
(1)当采用5道试题且题目难度(b1，b2,…,b5)＝(-2,-1,0,1,2)时，N＝200 时，消除了总误差的约52％，N＝300时，消除了总误差的约66％，N＝400时， 消除了总误差的约68％，N＝500时，消除了总误差的约75％，N＝700时，消 除了总误差的约78％，N＝1000时，消除了总误差的约85％，N＝2000,消除了 总误差的约91％,N＝5000,消除了总误差的约97％。
(2)当采用21道试题且题目难度(b1，b2,…,b21)＝(-2,-1.8,-1.6,-1.4,-1.2,-1,-0.8,-0.6,-0.4,-0.2,0,0.2,0.4,0.6,0.8,1,1.2,1.4,1.6,1.8,2)时，N＝200时，消 除了总误差的约59％，N＝300时，消除了总误差的约66％，N＝400时，消除 了总误差的约72％，N＝500时，消除了总误差的约76％，N＝700时，消除了 总误差的约80％，N＝1000时，消除了总误差的约86％，N＝2000,消除了总误 差的约92％,N＝5000,消除了总误差的约98％。
(3)当采用41道试题且题目难度(b1，b2,…,b41)＝(-1,-0.5,0,0.5,1)时，N＝200时，消除了总误差的约58％，N＝300时，消除了总误差的约68％，N＝400时， 消除了总误差的约73％，N＝500时，消除了总误差的约77％，N＝700时，消 除了总误差的约82％，N＝1000时，消除了总误差的约87％，N＝2000,消除了 总误差的约93％,N＝5000,消除了总误差的约98％。
综上，样本量的大小对误差消除的数量关系在试题数量的不同时并没有显 著的差异。所以蒙特卡罗法得到的样本量与误差消除的关系有较好的通用性。 下面从实证角度再进一步检验样本量对误差消除的影响。
下面从实证角度对本发明的效果进行验证，以6300考试，30题的测试数 据为例，计算这30题的通过率，转化为Rasch模型里的难度b，如表5。
表5试题通过率及对应难度
| 题号 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 通过率 | 0.84 | 0.73 | 0.88 | 0.15 | 0.74 | 0.47 | 0.39 | 0.59 | 0.6 | 0.65 |
| 难度b | -1.97 | -1.2 | -2.33 | 2.07 | -1.28 | 0.13 | 0.56 | -0.44 | -0.51 | -0.73 |
| 题号 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 通过率 | 0.85 | 0.46 | 0.8 | 0.67 | 0.27 | 0.59 | 0.71 | 0.42 | 0.8 | 0.89 |
| 难度b | -2.04 | 0.17 | -1.67 | -0.85 | 1.17 | -0.44 | -1.08 | 0.41 | -1.63 | -2.46 |
| 题号 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 通过率 | 0.7 | 0.68 | 0.61 | 0.52 | 0.19 | 0.66 | 0.41 | 0.83 | 0.91 | 0.87 |
| 难度b | -1.01 | -0.9 | -0.55 | -0.12 | 1.7 | -0.78 | 0.42 | -1.86 | -2.64 | -2.23 |
基于30道题的难度参数，N＝10000模拟总分分布，如图5。
实证数据的误差消除和样本量的关系，即：样本量从50到6000，得到的 分布与全体考生总得分分布做对比，得到计算误差消除和样本量关系，如图6：
经分析，N＝200时，消除了总误差的约58％，N＝600时，消除了总误差 的约79％，N＝1000时，消除了总误差的约78％，N＝2000,消除了总误差的约 91％,N＝5000,消除了总误差的约98％，N＝5000,消除了总误差的约98％，可以 看到，实证数据分析中，样本量增加带来误差的消除与仿真结果很接近。
综上所述，根据样本量和误差消除之间的关系可以看到，随着样本量的增 加到一定程度，误差消除的边际效应在递减，成本却快速上升。所以样本量和 误差消除关系的建立，不仅从量化角度精准的把握样本量和误差之间的对应关 系，消除了传统样本量根据经验判断造成的模糊性，而且为在线测试准确度和 成本之间平衡提供量化分析基础，进一步优化在线测试的管理和运营。
此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施 例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全 硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且， 本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的 计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算 机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现 流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程 和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机 或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或 其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终 端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储 器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指 令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他 可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算 机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多 个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基 本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要 求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变 体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或 者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是 还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制 的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的 过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰， 这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种面向在线测试的样本量与误差消除间的量化关系构建方法，其特征在于，所述方法包括：
基于Rasch模型仿真出n道0～1计分的测试题；
采用蒙特卡罗法模拟不同样本量的考生对仿真出的测试题进行作答；
计算出不同考生样本量下测试题得分分布的误差度量，从而构建考生样本量和误差消除间的数量变化关系。
2.如权利要求1所述的面向在线测试的样本量与误差消除间的量化关系构建方法，其特征在于，所述Rasch模型的数学表达式为：
其中，b表示项目的难度，θ表示被试者能力，P(θ)表示能力为θ的考生在难度为b的项目上的正确作答概率；
将考生群体能力分布设定为标准正态分布N(0,1)，其概率密度函数为：
采用3σ原则，将考生能力限定于[-3,3]上，则其概率密度函数为：
则该群体考生在难度为b的项目上答对率如下：
其中，PCTT表示全体考生正确作答的比例。
3.如权利要求2所述的面向在线测试的样本量与误差消除间的量化关系构建方法，其特征在于，所述方法还包括：
将考生的能力范围[-3,3]等分成t个区间
每个区间的能力值θi用组中值代表，即
4.如权利要求3所述的面向在线测试的样本量与误差消除间的量化关系构建方法，其特征在于，所述采用蒙特卡罗法模拟不同样本量的考生对仿真出的测试题进行作答，包括：
根据Rasch模型，计算能力为θi的考生ui在项目j上的正确概率为：
考生在t个区间人数的分布频率为：
对于能力位于的考生群体，采用[0,1]均分分布的随机生成函数，生成N·fi个随机数Yij(j＝1,2,…,N·fi)，当Yij>pij时,Xij＝0,表示考生ui答错了试题j，否则当Yij≤pij时,Xij＝1,表示考生ui答对了试题j，由此生成m个考生在n道试题上的作答仿真数据。
5.如权利要求4所述的面向在线测试的样本量与误差消除间的量化关系构建方法，其特征在于，所述计算出不同考生样本量下测试题得分分布的误差度量，从而构建考生样本量和误差消除间的数量变化关系，包括：
设定考生样本量为10000，采用蒙特卡罗法对这10000模拟考生进行模拟作答，根据作答结果计算每个考生的总分，并统计总分分布；
依次计算考生样本量从50到10000的总分分布，将考生样本量从50到10000的总分分布与考生样本量为10000的总分分布作对比，得到计算误差：
从误差消除的占比角度，计算误差消除率，从而构建考生样本量和误差消除间的数量变化关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882594.6A CN110765574B (zh) | 2019-09-18 | 2019-09-18 | 面向在线测试的样本量与误差消除间的量化关系构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882594.6A CN110765574B (zh) | 2019-09-18 | 2019-09-18 | 面向在线测试的样本量与误差消除间的量化关系构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765574A true CN110765574A (zh) | 2020-02-07 |
| CN110765574B CN110765574B (zh) | 2023-06-02 |
Family
ID=69330065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910882594.6A Active CN110765574B (zh) | 2019-09-18 | 2019-09-18 | 面向在线测试的样本量与误差消除间的量化关系构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765574B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005088519A1 (en) * | 2004-03-05 | 2005-09-22 | Bayer Healthcare Llc | Hadheld optical diagnostic device having image system array |
| CN103065131A (zh) * | 2012-12-28 | 2013-04-24 | 中国航天时代电子公司 | 一种复杂场景下自动目标识别跟踪方法及系统 |
| US20150276558A1 (en) * | 2014-03-26 | 2015-10-01 | National Cheng Kung University | Metrology sampling method and computer program product thereof |
| KR20160124046A (ko) * | 2016-09-14 | 2016-10-26 | 임영숙 | 일상적인 본인 선택 목적 적합 세부 아이템 발굴 알고리즘 |
| US20170017989A1 (en) * | 2013-03-13 | 2017-01-19 | Brian Glover | Linkage to reduce errors in online promotion testing |
| CN109657881A (zh) * | 2019-01-14 | 2019-04-19 | 南京国电南自电网自动化有限公司 | 一种适用于小样本的神经网络光伏发电预测方法及系统 |
| CN110046789A (zh) * | 2019-01-28 | 2019-07-23 | 华中师范大学 | 一种学生信息素养测评试卷的自动生成方法及系统 |
-
2019
- 2019-09-18 CN CN201910882594.6A patent/CN110765574B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005088519A1 (en) * | 2004-03-05 | 2005-09-22 | Bayer Healthcare Llc | Hadheld optical diagnostic device having image system array |
| CN103065131A (zh) * | 2012-12-28 | 2013-04-24 | 中国航天时代电子公司 | 一种复杂场景下自动目标识别跟踪方法及系统 |
| US20170017989A1 (en) * | 2013-03-13 | 2017-01-19 | Brian Glover | Linkage to reduce errors in online promotion testing |
| US20150276558A1 (en) * | 2014-03-26 | 2015-10-01 | National Cheng Kung University | Metrology sampling method and computer program product thereof |
| KR20160124046A (ko) * | 2016-09-14 | 2016-10-26 | 임영숙 | 일상적인 본인 선택 목적 적합 세부 아이템 발굴 알고리즘 |
| CN109657881A (zh) * | 2019-01-14 | 2019-04-19 | 南京国电南自电网自动化有限公司 | 一种适用于小样本的神经网络光伏发电预测方法及系统 |
| CN110046789A (zh) * | 2019-01-28 | 2019-07-23 | 华中师范大学 | 一种学生信息素养测评试卷的自动生成方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 邵建新;吕晶;袁江;邱自学;陈志新;: "基于蒙特卡罗的自由曲面测量系统精度研究" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765574B (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Finney et al. | Overview of estimation methods and preconditions for their application with structural equation modeling | |
| Huedo-Medina et al. | Assessing heterogeneity in meta-analysis: Q statistic or I² index? | |
| CN107657559A (zh) | 一种中文阅读能力测评方法及系统 | |
| Asiret et al. | Investigating Test Equating Methods in Small Samples Through Various Factors. | |
| Ahmad et al. | An improved course assessment measurement for analyzing learning outcomes performance using Rasch model | |
| CN112883284B (zh) | 一种基于网络和数据分析的在线学习系统及测试题推荐方法 | |
| CN113239669B (zh) | 试题难度预测方法 | |
| CN111967276B (zh) | 翻译质量评估方法及装置、电子设备、存储介质 | |
| CN111460128B (zh) | 一种基于认知诊断的计算机化自适应测验方法 | |
| Scheuneman | A response to Baker's criticism | |
| CN110765574B (zh) | 面向在线测试的样本量与误差消除间的量化关系构建方法 | |
| Eren et al. | Comparison of methods used in detection of DIF in cognitive diagnostic models with traditional methods: Applications in TIMSS 2011 | |
| Öksüz et al. | The review of the effects of realistic mathematics education on students' academic achievement in Turkey: A meta-analysis study | |
| Li | Examining the impact of drifted polytomous anchor items on test characteristic curve (TCC) linking and IRT true score equating | |
| Futschek | Actual type-I-and type-II-risk of four different model tests of the Rasch model | |
| Zhang | From expectation-3-maximization to bayesian expectation-3-maximization: A latent mixture modeling-based bayesian algorithm for the 4-parameter logistic model | |
| Liu et al. | A new method of comprehensive evaluation index system on the quality of sports teaching | |
| Wijaya et al. | Application of Data Mining using Naive Bayes for Student Success Rates in Learning | |
| Feng et al. | Study on Sample Size of Candidates Oriented to Online Test | |
| URRY | A five-year quest: Is computerized adaptive testing feasible | |
| Li et al. | The design of adaptive test paper composition algorithm based on the item response theory | |
| Al-Zboon | The Effect of the Multiple-Choice Test Length on Estimating the Item Parameters and the Test Information Function According to the Three-Parameter Logistic Model in the Item Response Theory | |
| Alsulami et al. | Research Article The Impact of Campus Culture on the Satisfaction Level of Engineering Students: A Metaheuristics Approach | |
| Ogawa et al. | Evaluation of the accuracy of ordinal classifications using item response theory | |
| Foy et al. | Data analyses with IEA’s TIMSS and PIRLS international databases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |