CN108346030A - 计算机自适应能力测验方法及装置 - Google Patents

Abstract

本发明实施例公开一种计算机自适应能力测验方法及装置，能提高测验准确性，减少测验时间。所述方法包括：S1、对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；S2、根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；S3、重复执行步骤S2，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

Description

计算机自适应能力测验方法及装置

技术领域

本发明实施例涉及计算机领域，具体涉及一种计算机自适应能力测验方法及装置。

背景技术

能力是直接影响活动效率，使活动得以顺利完成的心理特征，它已被证明能有效预测个人的工作绩效、学业成绩等，在个体的职业发展中也发挥着基础性的作用。在实践领域，能力是企业考察和评估个体的核心因素。由于能力在广泛的职业中都发挥着基础性的作用，因此企业对能力的考察和评估就成了最急切和最基础的需要。

针对企业对能力考察的要求，众测评厂商推出了诸多种类的能力测评。通常会基于下面2种实现：

1、固定版本的测评。

将考察的能力的多个题目编制成一份或多份固定的试卷，供所有的受测者测试。

2、基于题目库的测评解决方案。

基于题目库的设计，受测者作答的题目并不是事先固定的，而是从题目库中根据一定的抽题规则进行抽取的。一般基于发展的需要，题目库都会不断的补充新的题目。

无论是基于固定版本还是基于题目库的能力测评，随着日益大批量的使用，都面临着巨大的挑战：

1)题目曝光的威胁

在实施测评的过程中，不可避免的会出现作弊的行为，如果受测者通过一定的渠道(互联网、私下沟通)获得了能力题目，那么他的测评结果不可避免的会高于其真实的能力，这样对于企业用人的公平性和有效性会大打折扣。在这方面基于题目库的设计会好于固定版本。但如果题目库更新不及时、更新量不大的的时候，同样可以通过大量的已经曝光的题目来提高自己的能力分数。而且，从另一个角度来讲，题目已经曝光了，在现有的测评机制下，很难向企业的组织测评方有一个满意的交代，会对企业的口碑产生一定的负面作用。

2)作答时间过长

在激烈的人才竞争和人性化的管理理念下，越来越多的企业重视受测者招聘过程中的体验，以持续地吸引到优质人才。短而富有挑战性的作答体验会让受测者感受到测评工具的简洁与高效，增强他们对企业形象的正性评价。基于固定试题和题目库的实现，本质上是通过计算卷面分数判断能力值的，是靠足够数量的题目堆积来实现测量效果的，因为在这种场景下，如果题目数量偏少，测量的准确性会变差。这种以数量保证质量的情况，对于受测者而言，是花费了更多的时间和精力去作答的。

3)对测评精准性的要求

HR通过测评不仅仅是想获得候选人在测评工具上的得分，而想获得关于候选人精准的潜质评价。经典测量理论通过卷面分来代替作答者的能力水平，测评结果除了受作答者真实能力水平的影响外，还受其练习效果、组卷合理性与计分等方面的影响，潜质水平不能被充分地测量。举个例子，如果受测者有几道题其实是不会的，但其有一定的概率猜对，那么这个受测者的能力值相比真实的能力会偏高。

针对题目曝光、作答时间和测量精准这三方面的核心需求，按照传统的思路去解决起到的效果非常有限，基于题目库测评的解决方案能够通过增加题目降低题目曝光的影响，也能通过良好的测验设计使不同人获得的测量尽量等价，但在降低题目数量和进一步提升测评精准性方面，能发挥的空间相对有限。

发明内容

针对现有技术存在的不足和缺陷，本发明实施例提供一种计算机自适应能力测验方法及装置。

一方面，本发明实施例提出一种计算机自适应能力测验方法，包括：

S1、对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；

S2、根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；

S3、重复执行步骤S2，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

另一方面，本发明实施例提出一种计算机自适应能力测验装置，包括：

第一估计单元，用于对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；

第二估计单元，用于根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；

判断单元，用于通知所述第二估计单元工作，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；

其中，所述处理器，存储器通过所述总线完成相互间的通信；

所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。

本发明实施例提供的计算机自适应能力测验方法及装置，根据受测者的作答结果，估计能力水平，然后从庞大的题目库中筛选出与当前能力最匹配的题目给受测者作答，如果受测者作答正确，通常会为他抽取更难的一题，如果作答错误，会为他抽取更容易的一题，受测者实现无法预知自己要碰到的题目，受测者的测验得分并不是卷面分的统合，而是一种能力估计，评估受测者在哪种能力水平上出现这种作答模式的概率最大，评估的是潜在特质。这种计算方式大大降低了卷面分对最终能力估计值的影响，即使受测者在某个难题上偶尔做对了，而在其他难题上做错，也依然不会获得很高的得分，大大降低了偶然题上做对对整体结果的影响，规避了某些题目被泄露的影响。同样，受测者在作答过程中，是根据受测者的能力水平选择出与之能力最接近的题目，不会给受测者呈现过难或过于容易的题目，让每个题目的呈现都有很大的价值，大大节省了测量的时间，在提高作答效率上具有传统测评形式不可比拟的优势。

附图说明

图1为本发明实施例计算机自适应能力测验方法一实施例的流程示意图；

图2为本发明实施例计算机自适应能力测验装置一实施例的服务端架构图；

图3为本发明实施例计算机自适应能力测验装置另一实施例的结构示意图；

图4为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

参看图1，本实施例公开一种计算机自适应能力测验方法，包括：

S1、对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；

S2、根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；

S3、重复执行步骤S2，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

本方案按照测验维度依次进行作答，作答完第一个测验维度之后，作答第二个测验维度，依次类推。每个测验维度的作答其实都是一个完整的测验，按照选题、能力值估计和测验终止的判定这种流程去实施。

本发明实施例提供的计算机自适应能力测验方法，根据受测者的作答结果，估计能力水平，然后从庞大的题目库中筛选出与当前能力最匹配的题目给受测者作答，如果受测者作答正确，通常会为他抽取更难的一题，如果作答错误，会为他抽取更容易的一题，受测者实现无法预知自己要碰到的题目，受测者的测验得分并不是卷面分的统合，而是一种能力估计，评估受测者在哪种能力水平上出现这种作答模式的概率最大，评估的是潜在特质。这种计算方式大大降低了卷面分对最终能力估计值的影响，即使受测者在某个难题上偶尔做对了，而在其他难题上做错，也依然不会获得很高的得分，大大降低了偶然题上做对对整体结果的影响，规避了某些题目被泄露的影响。同样，受测者在作答过程中，是根据受测者的能力水平选择出与之能力最接近的题目，不会给受测者呈现过难或过于容易的题目，让每个题目的呈现都有很大的价值，大大节省了测量的时间，在提高作答效率上具有传统测评形式不可比拟的优势。

下面对本发明计算机自适应能力测验方法进行详细说明。

基于加德纳的多元智力理论，计算机自适应能力测验将测验维度界定为言语能力、数学能力、逻辑推理和空间能力，具体维度释义如下表所示。

计算机自适应测验维度与定义

新题目的开发，除了参照维度定义外，还充分考虑了题目易读性、题目难度分布合理性和选项设置规范的要求，使编制的新题目符合测量学规律，同时也具有一定的商务感、可读性。

计算机自适应测验的前提是拥有一个题目库。建题目库并不是简单地出题目就可以了，更关键的是为这些题目附上参数(难度和区分度)，这样才能实现后期的选题和能力值估计。题目的参数的确定可以通过收集一定数量(比较大)的测试数据，根据测试数据以及测试人员的真实能力来确定。另外，本方案在题目库构建上，使用正态分布的题目库形态。

虽然现有的题目构成了计算机自适应测验的题目库基础，但不足以应对持续的大规模作答带来的问题，如一些题目可能存在缺陷(Flawed)、过时(Obsolete)或者过度曝光(Overexposed)等。这就需要用新题(New Item)去替换旧题目或者增补到题目库中。本方案中，新题目可以随时入库，只用于收集数据，不参与计分，不影响当前对作答者的能力估计。新题目入库和数据收集虽便捷，但还要处理好新旧题目等值的问题，即将新题目的参数和旧题目的参数放在同一个量尺上，参数估计不准的题目会影响到对受测者能力值的估计。

本方案中，新旧题目的等值设计采用在线标定设计。具体是对每个受测者随机指派固定数量的新题目，让受测者对新题目作答，只用于收集作答数据，随后使用受测者的能力来估计新题目的参数(可以通过R软件实现)，由于估计受测者能力值的时候使用了旧题目的参数，这种标准就不需要再等值了。在线标定存在很多明显的优点：(1)它不需要复杂的等值设计或技术用于解决构建大规模题目库时的测验等值等难题；(2)它不需要使用任何的外部标定研究就可以在估计受测者能力的同时也估计新题的项目参数,这样可以节省时间和金钱；(3)虽然受测者在新题上的作答反应不参与能力的估计，但是受测者在作答新题时与在作答旧题时一样有着相同的作答动机。

本方案题目库主要实现两个目标：

第一个目标：将已经有难度参数和区分度参数的题目划分为3个虚拟题目库，3个虚拟题目库在题目质量上有差异，即第一个题目库的题目质量最差，称为阶段1题目库，第二个题目库的题目质量中等，称为阶段2题目库，第三个题目库的题目质量最好，称为阶段3题目库。

第二个目标：建立新题目的题目库。将没有标记难度参数和区分度参数的题目视为新题目，集中放置在某个题目库中，即新题目库。在选题时会根据选题策略抽取新题目，当某一个新题目的曝光度超过1000时，停止对该新题目进行抽取。

对于题目的划分，本方案采用分块分层策略。分块分层策略是在每一个维度的角度下，按照题目的难度做升序排列，排列之后把题目分为若干块(比如某个维度某个角度划分得到的块的数量是该角度下题目数量/3)，如词汇理解这个角度下的题目数量为30，那么就分为30/3块。然后每个块中，按照题目的区分度进行升序排序，将块中的第一题放入阶段1题目库，块中的第二题放入阶段2题目库，块中的第三题放入阶段3题目库。从而划分后每个阶段的题目库都包含四个维度各个角度的题目。

每当新题目补充进来时或是题目难度参数、区分度参数有变化时，需要重新划分题目库。修改题干和停用题目，题目库不需要重新划分。

当难度参数和区分度相同时，可以按照题目排序ID确定，题目排序ID小的排在前面，题目排序ID大的排在后面。假如，同一个块中三个题目，有两个题目的区分度参数相同，就按照题目排序ID确定，将题目排序ID小的题目放入到前面的阶段题目库，题目排序ID大的题目放入到后面的阶段题目库。如果某一个角度下的题目数量不是三的倍数，会出现最后1题或2题是剩出来的，无法按照前面的方式标准地对应到三个阶段题目库。遇到这样的情况，依然按照某个角度下的总题数/3的方式划分块，然后依然执行按照区分度的分层，剩下几个题目就填充几个阶段题目库，如果剩下1个题目，就将这个题目划分到阶段1题目库，如果剩下2题，就分别划分到阶段1题目库和阶段2题目库。

有题目库作为基础，计算机自适应测验要实现正常的作答流程，其第二步就是确定选题的策略，包括初始题选择和后续题选择。

初始题通常从题目库中随机选择一个中等难度的题目。而后续题目的选择，采用的选题策略的核心内容是最大信息量。其原理是：根据作答者当前的能力值，为他选择剩下题库中，在当前能力值上信息量最大的题目给他作答。如果在系统中，采用实时计算的方式，当估计出来作答者的能力值之后，再去计算剩余题库中每个题目在当前能力值上的信息量时，选择信息量最大的题目，计算量会非常大。因此我们采用了一种操作变式，实现制作出一个矩阵表，在这个矩阵表上，把各个题目在所有能力可能取值上的信息量计算出来，在选题的时候直接采用查表的方式即可。

测验的实施流程主要包括选题策略、能力值估计和判定是否终止。本方案主要根据各题库阶段的作答题量，判断何时进入下一阶段作答：题库建设的结果是将题库划分为三个阶段，即阶段1题库，阶段2题库和阶段3题库，主要根据作答题量来判定作答者需要做哪个阶段的题目。判断标准是，前3题从阶段1题库中进行选择，第4题至第6题从阶段2题库中选择，第7题及以后从阶段3题库或新题目库中选择。

具体的选题过程如下所示：

从阶段1题目库中随机选择一个中等难度的题目作为初始题目给受测者作答；

在受测者作答完初始题目后，按照第二题目的选择策略为受测者选择第二题目作答，所述第二题目的选择策略为：从此次测验维度下除所述初始题目对应的角度外的其它角度中随机选择一个角度，从所述阶段1题目库中该角度对应的题目中确定出在所述受测者当前能力下信息量最大的第一数量(比如说5个)个题目，从所述第一数量个题目中随机选择一个题目作为第二题目；

在受测者作答完第二题目后，按照第三题目的选择策略为受测者选择第三题目作答，所述第三题目的选择策略为：从该测验维度下除所述初始题目和第二题目对应的角度外的其它角度中随机选择一个角度，从所述阶段1题目库中该角度对应的题目中确定出在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第三题目；

在受测者作答完第三题目后，按照第四题目的选择策略为受测者选择第四题目作答，所述第四题目的选择策略为：从该测验维度下除所述初始题目、第二题目和第三题目对应的角度外的其它角度中随机选择一个角度，从阶段2题目库中该角度对应的题目中确定出在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第四题目；

在受测者作答完第四题目后，依次按照第五、六题目的选择策略为受测者选择第五、六题目作答，第五题目及第六题目的选择策略为：确定出所述阶段2题目库中该测验维度下此次测验未被选中的题目中在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为对应的题目；

此时，需要说明的是，所述作答终止条件可以分如下情况：

(1)若所述新题目库中该测验维度下的题量为0，则题目的选择策略为：第七题目至以后题目从阶段3题目库中选择，所述作答终止条件为所述阶段1题目库至所述阶段3题目库的题量总共作答了10题，或者测验信息量达到了第一数值(比如10)；

(2)若所述新题目库中该测验维度下的题量为1，则题目的选择策略为：第七题目至以后题目从所述阶段3题目库或所述新题目库中选择，所述作答终止条件为所述新题目库作答1题；

(3)若所述新题目库中该测验维度下的题量不小于2，则题目的选择策略为：第七题目至以后题目从阶段3题目库或所述新题目库中选择，所述作答终止条件为所述新题目库作答2题。

继续前述的选题过程，从第七题开始，选题策略与所述新题目库中该测验维度下的题量有关，具体地，若所述新题目库中该测验维度下的题量为0，则在受测者作答完第六题目后，依次按照第七题目及以后各个题目的选择策略为受测者选择第七题目作答及以后各个题目，所述第七题目及以后各个题目的选择策略为：确定出所述阶段3题目库中该测验维度下此次测验未被选中的题目中在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为对应的题目；若所述新题目库中该测验维度下的题量不为0，则在受测者作答完第六题目后，按照第七题目的选择策略为受测者选择第七题目作答，所述第七题目的选择策略为：确定出所述阶段3题目库中该测验维度下在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第七题目，在受测者作答完第七题目后，依次按照第八题目至第十题目的选择策略为受测者选择第八题目至第十题目，所述第八题目至第十题目的选择策略为：若判断获知测验信息量达到了所述第一数值，则选择所述新题目库中该测验维度下的一个题目作为对应题目，或者若判断获知测验信息量未达到所述第一数值，则确定出所述阶段3题目库中该测验维度下此次测验未被选中的题目中在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为对应的题目，其中，所述新题目库中的题目不参与所述受测者的能力评估；当所述受测者作答的题目的数量不小于10时，如果未满足所述作答终止条件，则下一题目从所述新题目库中选择。

需要说明的是，受测者的能力的计算公式为其中，K为受测者的能力的假设值，K的取值范围为{-3，-2.99，-2.98，-2.97，…，2.97，2.98，2.99，3}，所述取值范围内后一个值比前一个值大0.01，j表示所述受测者，n表示所述受测者已作答题目的数量，xi表示所述受测者作答第i道题目的作答结果，当所述受测者作答第i道题目作答正确时，xi取值为1，否则xi取值为0，a_i为所述第i道题目的区分度，b_i为所述第i道题目的难度，q为所述取值范围内数值的数量。

可以理解的是，假设第一数量设置为5个，某一题目抽取时，从对应角度中信息量最大的5个题目中随机选择一个，如果对应角度下的前6个或者前更多的题目信息量一致时，从中随机选择5个。

本方案结合最大信息量策略和A分层的选题策略，提出了一种新的选题策略，将测验的区分度分为三层，三个阶段，以提高题目库题目的利用效率。同时因为最大信息量选题策略中有随机化设计，使得本方案在实现最大测评效果的同时能降低题目的曝光率。

受测者在作答完当前的题目后，其要作答的下一个题目是依赖于包括当前题目在内的作答完成的题目的作答结果而给出的。因为要给受测者作答流畅的体验，所以对实时性要求特别的高。尤其是应用于校园招聘的场景，组织一场学生集中作答可达十万级并发级别。在这么大量的并发下，还要满足实时性要求，一定要采用合理的高并发架构，高并发架构图如图2所示。具体设计方案和思路如下：

1)采用基于无状态的SOA(面向服务的架构)的设计思路。

所有接口设计均采用无状态的接口设计，这样做的好处是接口实现可以进行水平扩展，以便提升性能。无状态意味着服务端不用维护请求状态信息，请求到多个接口实现的任意一个都能返回需要的结果。

2)基于云端的分布式扩展方案。

采用基于AWS(亚马逊)的云平台。将Restful(一种软件架构风格)风格的接口Host在IIS(互联网信息服务)上，并将IIS挂在虚拟机上，对这个虚拟机进行镜像。在需要扩展的的时候，通过此镜像能在分钟级进行开启所需要的虚拟机。其之上是AWS的ELB负载均衡，实现对接口请求的分发。ELB负载均衡根据负载均衡的策略将从用户终端来的接口请求分发到目的虚拟机，该目的虚拟机按照前述方法实施例所述的方案为用户提供测验题目，直至测验结束。

3)计算资源和题目资源采用内存预加载。

计算能力值需要的信息有具体的题目、题目选项、题目图片等资源都在应用程序启动时加载到本地内存中，以供调用。

4)浏览器Web端直接发起调用请求。

如果从作答端的后端程序进行接口调用，会占用宝贵的负载均衡设备资源，并且因为并发量大会形成性能瓶颈。所以设计是基于Web前端的JS请求直接发起，这样并发就会分散到每个受测者的设备上，而对每个受测者来说，这些个人的请求就不会是问题了。

5)透明化运维监控指标。

作为一个应用级产品的附属功能，透明化运维监控指标是非常重要的，要实时监控到设备的当前状态，如CPU、内存、网络流量、磁盘IO等指标，在成为瓶颈前及时知道并予以解决。

因为题目定期要进行增加，以保证题目的新鲜度和曝光率。但由于是商用系统，有99.99％承诺，意味着基本上7*24小时测验都应该可以使用，那么本方案一定要具备一个无损更新的方式，来解决这些问题，保证客户的正常使用。具体设计方案和思路如下：

1)资源文件化。

将信息量信息和题目等信息分别按照一定的格式形成文件，这些文件名称通过配置进行指定，因为整体是基于AWS架构的，对于文件则存储在AWS S3中。

2)通过版本号实现无差异化控制。

应用程序本地维护一个版本，在S3中维护一个远程的版本。在需要更新的时候，只要将更新后形成的文件和版本信息上传到S3，应用程序内部有一个独立的线程，其在应用程序启动时开始运行，每5分钟调用一次S3接口，来比对版本信息，如果不一致，则将配置的需要更新的文件加载到本地内存中，同时更新版本号为最新。如此往复，实现无损更新。

参看图3，本实施例公开一种计算机自适应能力测验装置，包括：

第一估计单元1，用于对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；

第二估计单元2，用于根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；

判断单元3，用于通知所述第二估计单元工作，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

具体地，所述第一估计单元1对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；所述第二估计单元2根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；所述判断单元3通知所述第二估计单元2工作，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

本发明实施例提供的计算机自适应能力测验装置，根据受测者的作答结果，估计能力水平，然后从庞大的题目库中筛选出与当前能力最匹配的题目给受测者作答，如果受测者作答正确，通常会为他抽取更难的一题，如果作答错误，会为他抽取更容易的一题，受测者实现无法预知自己要碰到的题目，受测者的测验得分并不是卷面分的统合，而是一种能力估计，评估受测者在哪种能力水平上出现这种作答模式的概率最大，评估的是潜在特质。这种计算方式大大降低了卷面分对最终能力估计值的影响，即使受测者在某个难题上偶尔做对了，而在其他难题上做错，也依然不会获得很高的得分，大大降低了偶然题上做对对整体结果的影响，规避了某些题目被泄露的影响。同样，受测者在作答过程中，是根据受测者的能力水平选择出与之能力最接近的题目，不会给受测者呈现过难或过于容易的题目，让每个题目的呈现都有很大的价值，大大节省了测量的时间，在提高作答效率上具有传统测评形式不可比拟的优势。

本实施例的计算机自适应能力测验装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本方案具有下面的优势：

1)自适应：测验采用计算机自适应的方式进行评测，全程动态抽题，实现测评的“量体裁衣”，受测者作答的题目受当前能力水平和当前题目作答结果的影响，如果作答正确，系统抽取更难的一题，如果作答错误，系统抽取更容易的一题，题目无法事先预知。

2)测得快：基于计算机自适应的测评方式，使用最大信息量选题策略，让题目更适合受测者的能力，在短时间内可以尽快地达到测量的信度，降低作答时间。

3)测得准：测量到受测者的最高能力水平状态，如果受测者的能力在短时间内没有显著提升，能力结果不会有明显改善。

4)防作弊：一方面，自适应的测评思路，让不同的受测者遇到不同的题目，另一方面，使用IRT(项目反应理论)的能力估计方式，作答者的能力是根据其作答模式估计得来，而不是简单地相加各个题目的卷面分，最终的能力估计值受作答者能作答对的最难题目的影响，单一题目的泄露对最终的估计值影响不大。另外作答形式采用单题限时的方式，让实时搜索变得更加困难，在题目设计上，也可以采用单题限时的策略，每题的作答时间为90s、75s和60s，在为受测者提供充足的作答时间基础上，提高测验的效率，减少受测者作答时间的浪费，同时也降低了部分受测者利用百度等引擎搜索答案的可能性。

5)题库更新快：虽然使用计算机自适应的测评方式能够降低作弊和提升测评的精准性，但庞大的题库，依然是实现长期测量精准性的基础。本方案设计了新题目入库的机制，在不影响作答者当前能力值估计的情况下，补充新题目，可以实现每月按照10％的速度更新题库。

图4示出了本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器11、存储器12、总线13及存储在存储器12上并可在处理器11上运行的计算机程序；

其中，所述处理器11，存储器12通过所述总线13完成相互间的通信；

所述处理器11执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；重复执行前一步骤，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例所提供的方法，例如包括：对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；重复执行前一步骤，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种计算机自适应能力测验方法，其特征在于，包括：

S1、对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；

S2、根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；

S3、重复执行步骤S2，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

2.根据权利要求1所述的方法，其特征在于，在所述S1之前，还包括：

对各个测验维度的题目进行划分，得到阶段1题目库、阶段2题目库和阶段3题目库，其中，所述题目库包括所述阶段1题目库、所述阶段2题目库、所述阶段3题目库和新题目库，所述阶段3题目库的题目质量好于所述阶段2题目库的题目质量，所述阶段2题目库的题目质量好于所述阶段1题目库的题目质量，所述新题目库用于存放各个测验维度下的新题目；

其中，所述从预设的题目库中选择初始题目给受测者作答，包括：

从所述阶段1题目库中随机选择一个中等难度的题目作为初始题目给受测者作答；

第二题目的选择策略为：从该测验维度下除所述初始题目对应的角度外的其它角度中随机选择一个角度，从所述阶段1题目库中该角度对应的题目中确定出在所述受测者当前能力下信息量最大的第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第二题目；

第三题目的选择策略为：从该测验维度下除所述初始题目和第二题目对应的角度外的其它角度中随机选择一个角度，从所述阶段1题目库中该角度对应的题目中确定出在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第三题目；

第四题目的选择策略为：从该测验维度下除所述初始题目、第二题目和第三题目对应的角度外的其它角度中随机选择一个角度，从所述阶段2题目库中该角度对应的题目中确定出在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第四题目；

第五题目及第六题目的选择策略为：确定出所述阶段2题目库中该测验维度下此次测验未被选中的题目中在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为对应的题目；

所述作答终止条件分如下情况：

(1)若所述新题目库中该测验维度下的题量为0，则题目的选择策略为：第七题目至以后题目从所述阶段3题目库中选择，所述作答终止条件为所述阶段1题目库至所述阶段3题目库的题量总共作答了10题，或者测验信息量达到了第一数值；

(2)若所述新题目库中该测验维度下的题量为1，则题目的选择策略为：第七题目至以后题目从所述阶段3题目库或所述新题目库中选择，所述作答终止条件为所述新题目库作答1题；

(3)若所述新题目库中该测验维度下的题量不小于2，则题目的选择策略为：第五题目至第六题目从阶段2题目库中选择，第七题目至以后题目从阶段3题目库或所述新题目库中选择，所述作答终止条件为所述新题目库作答2题。

3.根据权利要求2所述的方法，其特征在于，若所述新题目库中该测验维度下的题量为0，则

第七题目及以后各个题目的选择策略为：确定出所述阶段3题目库中该测验维度下此次测验未被选中的题目中在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为对应的题目。

4.根据权利要求2所述的方法，其特征在于，若所述新题目库中该测验维度下的题量不为0，则

第七题目的选择策略为：确定出所述阶段3题目库中该测验维度下在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为第七题目；

第八题目至第十题目的选择策略为：若判断获知测验信息量达到了所述第一数值，则选择所述新题目库中该测验维度下的一个题目作为对应题目，或者若判断获知测验信息量未达到所述第一数值，则确定出所述阶段3题目库中该测验维度下此次测验未被选中的题目中在所述受测者当前能力下信息量最大的所述第一数量个题目，从所述第一数量个题目中随机选择一个题目作为对应的题目，其中，所述新题目库中的题目不参与所述受测者的能力评估；

当所述受测者作答的题目的数量不小于10时，如果未满足所述作答终止条件，则下一题目从所述新题目库中选择。

5.根据权利要求2所述的方法，其特征在于，所述对各个测验维度的题目进行划分，得到阶段1题目库、阶段2题目库和阶段3题目库，包括：

对于每一个测验维度，将该测验维度的题目按照题目的难度升序排列，按照排列顺序将该测验维度的题目划分为M1个块，对于每一个块，将该块中区分度最小的题目放入阶段1题目库，将该块中区分度最大的题目放入阶段3题目库，将该块中剩余的题目放入阶段2题目库，其中，M1为对N1/3取整得到的值，N1为该测验维度的题目的数量。

6.根据权利要求2所述的方法，其特征在于，所述受测者的能力的计算公式为其中，K为受测者的能力的假设值，K的取值范围为{-3，-2.99，-2.98，-2.97，…，2.97，2.98，2.99，3}，所述取值范围内后一个值比前一个值大0.01，j表示所述受测者，n表示所述受测者已作答题目的数量，xi表示所述受测者作答第i道题目的作答结果，当所述受测者作答第i道题目作答正确时，xi取值为1，否则xi取值为0，a_i为所述第i道题目的区分度，b_i为所述第i道题目的难度，Q_i(K)＝1-P_i(K)，q为所述取值范围内数值的数量。

7.根据权利要求6所述的方法，其特征在于，所述测验信息量为所述受测者已作答题目的信息量之和，其中，所述受测者已作答的第l道题目的信息量inf_l根据所述受测者作答完第l道题目后估计的所述受测者的能力确定，计算公式为

8.一种计算机自适应能力测验装置，其特征在于，包括：

第一估计单元，用于对于每一个测验维度，从预设的题目库中选择初始题目给受测者作答，在所述受测者作答完成后，获取所述受测者对所述初始题目的作答结果，根据所述受测者对所述初始题目的作答结果估计所述受测者的能力；

第二估计单元，用于根据所述受测者的能力从所述题目库中选择下一题目给受测者作答，并获取所述受测者对已作答题目的作答结果，根据所述受测者对已作答题目的作答结果估计所述受测者的能力；

判断单元，用于通知所述第二估计单元工作，直至满足预设的作答终止条件终止作答，将最近一次估计得到的所述受测者的能力确定为所述受测者在该测验维度下的能力。

9.一种电子设备，其特征在于，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；

其中，所述处理器，存储器通过所述总线完成相互间的通信；

所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。