CN104835087B - 教育测试系统的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种教育测试系统的数据处理方法及装置，该方法包括：根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值，其中，第一数据库中记录有各个ID信息的用户个人能力值；根据获取的用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目；将确定的与该用户个人能力值对应题目质量的题目推送给当前用户。本发明有效地解决现有技术中教育测试系统不考虑用户个人能力，单一地推送固定的题目进行测评，不能准确反映用户真实水平的问题，提高教育系统测评的准确性；同时，根据用户的个人能力值水平推送与之对应难度的题目，让用户针对性的学习与测评，大大提高了学习的效率。

Description

教育测试系统的数据处理方法及装置

技术领域

本发明涉及教育考试系统，具体而言，涉及一种教育测试系统的数据处理方法及装置。

背景技术

随着计算机及互联网技术的不断发展，网络教育考试系统应运而生。人们可以通过网络的教育考试系统，实现在线学习，在线考试等技术，方便学生或考生的学习与测评。

在传统的教育考试系统的测验中，所有考生，不论能力值水平高低全部要接受同一试题的检测，结果对能力值水平低的考生来说，那些难度偏大的试题，根本无从下手，反而引起焦虑，不利于测试，反应不出对应的能力值水平。而对于高能力值水平考生来说，那些难度小的试题，又测不出考生的真实能力值水平，徒然浪费时间和精力。实践经验和理论分析都证明，当题目难度与考生能力值水平相适应时，题目所提供的信息量最大，考生的积极性最高，测验效度也就最好。

目前网络教育的大部分考试系统中，不足之处还是很多，主要表现在以下几点：

1、题库内题目管理不科学

现有的考试系统由于缺乏先进考试理论的指导，往往只是把大量的试题简单的罗列起来收集到数据库中，题目只是按科目及知识点分类，缺少针对试题的质量参数信息，如难度、区分度、猜测度等

2、没有以用户为独立单元来建立个人对试题反应的大数据，并根据这些数据进行分析、处理与运用

社会开放的网络学习与考试题库，其信息传送模式采用随机组卷后单向传送给用户，再将用户对试题反应的数据回传到数据库与答案进行对比，统计正确率和得分，没有把这些数据进一步用于个人能力值估算、组卷策略优化等运用之中。

3、组卷策略缺乏针对性

传统题库在组卷推送题目时，一般采用从不同知识点目录下随机抽选题目组卷，或者会考虑试题难度的分配比例。由于题库缺少受测试对象对试题反应形成的大数据采集和分析，并不能准确估算每个受测试对象的能力水平状况，所组成的试卷基本不考虑受测试对象能力水平特征与试卷难度水平的对应性，导致受试者对题目反应感觉太难或太简单，测试的有效性大大降低，也会影响到受试者继续参与学习和测试的积极性。

4、缺乏监控远程学习考试行为有效性的甄别技术

传统题库在用户使用中，由于采集用户数据极为有限，很难甄别用户实际身份和参与学习考试的情绪状态，可能存在随机选择作答、已经通过其它渠道提前接触题目内容后凭记忆作答、多人共用同一账户作答等因素存在，大大降低了测试信度。因此，需要利用专门的识别技术来剔除这部分无效数据，提升对个人能力值和试题质量参数估算的精准度。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种教育测试系统的数据处理方法及装置，以至少解决现有技术中教育考试系统不考虑用户个人能力，单一地推送固定的题目进行测评，不能准确反映用户真实水平的问题。

根据本发明的一个方面，提供了一种教育测试系统的数据处理方法，该方法包括：根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值，其中，第一数据库中记录有各个ID信息的用户个人能力值；根据获取的用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目；将确定的与该用户个人能力值对应题目质量的题目推送给当前用户。

进一步地，在将确定的题目推送给当前用户之后，还包括：接收用户提交的答题信息，判断答题信息是否为有效答题信息；在判定答题信息为有效答题信息时，根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，估算用户的最新个人能力值；将用户的最新个人能力值更新至第一数据库中与该用户对应ID信息下。

进一步地，接收用户提交的答题信息，判断答题信息是否为有效答题信息，包括：获取用户提交的答题信息中用户答题所用的时间信息，判断用户答题所用的时间信息是否符合预置时间范围，若不符合，则判定答题信息不是有效答题信息；获取用户提交的答题信息中的题目信息，判断题目信息是否为当前用户ID信息下已答题目信息，若是，则判定答题信息不是有效答题信息。

进一步地，根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，估算用户的最新个人能力值包括：根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，确定用户的即时个人能力值；将用户的即时个人能力值与在第一数据库中用户的ID信息对应的用户个人能力值进行比较，若用户的即时个人能力值与用户个人能力值的差距值大于预定阈值，跳转至判断进程供用户判断是否为本人操作；根据用户的判断结果，估算用户的最新个人能力值，其中，若用户判断结果为是本人操作，则将即时个人能力值作为用户的最新个人能力值，否则，继续将用户的ID信息对应的用户个人能力值作为用户的最新个人能力值。

进一步地，在根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值之前，还包括：判断第一数据库中是否存在当前用户的ID信息；若不存在，则调用新用户能力值估算进程，对用户个人能力值进行估算。

进一步地，调用新用户能力值估算进程，对用户个人能力值进行估算，包括：在第二数据库中调取不同题目质量的题目按照预设规则组成第一组卷策略，根据用户的答题信息，初步估算当前用户的能力值；根据初步估算的当前用户的能力值，在第二数据库中调取与初步估算的当前用户的能力值对应的题目按照预设规则组成第二组卷策略，根据用户的答题信息，对用户个人能力值进行估算；将用户的ID信息进行记录，并将该ID信息对应的用户个人能力值记录至第一数据库中。

进一步地，在判断第一数据库中是否存在当前用户的ID信息之前，还包括：预先获取采样样本信息，采样样本信息包含有采样人员属性信息及采样人员的采样答题信息；将获取的采样样本信息进行筛选，获取有效采样样本信息；根据有效采样样本信息中采样人员属性信息及采样人员的采样答题信息，确定采样人员的个人能力值和采样题目的题目质量，并进行记录。

根据本发明的一个方面，提供了一种教育测试系统的数据处理装置，该装置包括：第一获取单元，用于根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值，其中，第一数据库中记录有各个ID信息的用户个人能力值；确定单元，用于根据获取的用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目；推送单元，用于将确定的与该用户个人能力值对应题目质量的题目推送给当前用户。

进一步地，该装置还包括：接收判断单元，用于接收用户提交的答题信息，判断答题信息是否为有效答题信息；第一估算单元，用于在判定答题信息为有效答题信息时，根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，估算用户的最新个人能力值；更新单元，用于将用户的最新个人能力值更新至第一数据库中与该用户对应ID信息下。

进一步地，接收判断单元包括：第一判定模块，用于获取用户提交的答题信息中用户答题所用的时间信息，判断用户答题所用的时间信息是否符合预置时间范围，若不符合，则判定答题信息不是有效答题信息；第二判定模块，用于获取用户提交的答题信息中的题目信息，判断题目信息是否为当前用户ID信息下已答题目信息，若是，则判定答题信息不是有效答题信息。

在本发明中当用户通过电子网络的方式在教育考试系统进行测试或学习时，并非如传统的教育考试系统那样，直接推送给用户固定的试题进行测评，而是先根据用户的ID信息确认用户的个人能力值，在确定用户个人能力值之后，从数据库中调取与个人能力值对应的试题推送给用户进行作答，这种教育考试系统的处理方式，有效地解决现有技术中教育考试系统不考虑用户个人能力，单一地推送固定的题目进行测评，不能准确反映用户真实水平的问题，提高教育系统考评的准确性，同时，根据用户的水平推送与之对应难度的题目，让用户针对性的学习与测评，大大提高了学习的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的教育测试系统的数据处理方法的一种可选的流程图；以及

图2是根据本发明实施例的教育测试系统的数据处理装置的一种可选的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例1

在本发明的实施例1中提供了一种教育测试系统的数据处理方法，具体地，图1示出该方法的一种可选的流程图，如图1所示，该方法包括如下步骤：

S102，根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值，其中，第一数据库中记录有各个ID信息的用户个人能力值；

S104，根据获取的用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目；

S106，将确定的与该用户个人能力值对应题目质量的题目推送给当前用户。

上述优选的实施方式中，当用户通过电子网络的方式在教育考试系统进行测试或学习时，并非如传统的教育考试系统那样，直接推送给用户固定的试题进行测评，而是先根据用户的ID信息确认用户的个人能力值，在确定用户个人能力值之后，从数据库中调取与个人能力值对应的试题推送给用户进行作答，这种教育考试系统的处理方式，有效地解决现有技术中教育考试系统不考虑用户个人能力，单一地推送固定的题目进行测评，不能准确反映用户真实水平的问题，提高教育系统考评的准确性，同时，根据用户的水平推送与之对应难度的题目，让用户针对性的学习与测评，大大提高了学习的效率。

进一步地，在将确定的题目推送给当前用户之后，该方法还包括：接收用户提交的答题信息，判断答题信息是否为有效答题信息；在判定答题信息为有效答题信息时，根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，估算用户的最新个人能力值；将用户的最新个人能力值更新至第一数据库中与该用户对应ID信息下。

优选地，本发明还提供了一种判断答题信息是否为有效答题信息是否有效的方法：获取用户提交的答题信息中用户答题所用的时间信息，判断用户答题所用的时间信息是否符合预置时间范围，若不符合，则判定答题信息不是有效答题信息；获取用户提交的答题信息中的题目信息，判断题目信息是否为当前用户ID信息下已答题目信息，若是，则判定答题信息不是有效答题信息。

具体来说，判断答题信息是否为有效答题信息的目的，则是剔除掉一些无效的数据，具体如下：

剔除可能的随机作答和处于较差的心理状态作答而产生的低信度反应数据：

1、用户对每个题目做出有效反应需要有基本阅读与思考时间，系统会根据实际情况设定完成题目所需的时间长度阀值。

说明：用户对题目的反应时间过短，则可能用户在凭直觉随机作答，或在其它地方已接触甚至凭记忆知晓正确反映项目；用户对题目的反应时间太长，则可能用户在作答过程中征求他人意见(查阅相关资料)，或处于外界干扰因素过大而处于非专注于测试的状态。

2、剔除随机作答和处于较差的心理状态作答而产生的反应数据的实现方法

题目所需时间长度阀值采用对大量题目的统计分析基础上手动设定默认值，题目一旦有了难度参数后，则基于默认值进行正比例修正；

系统采集到用户对某个题目做出反应的前后动作时间长度超过默认阀值后，自动排除对该题目反应数据的统计与分析。

剔除重复使用题目所产生的低信度反应数据：

1、由于本系统存在错题重练的巩固学习功能，该功能会导致用户多次使用相同题目(错题会在一定的周期后再次出现在同一用户的练习与考试中)，对这种反应数据需要排除出统计分析范围。

2、重复使用题目的排除方法采用两种方法进行

特定用户已经使用的题目都要做出标注，凡做出正确反应的题目，不再重复参与组卷，没有做出正确反应的题目，自动收录到错题本中用于以后练习使用。对以后练习中出现的已做题目，不管做出的反应是否正确，均不再采用这个数据进行个人能力值与题目质量度的估算。

针对任何一个题库系统都可能出现相同题目重复收录情况(同一题目在库内有不同的源文件)，会因为出现顺序不一而导致质量估算出现较大差异。为解决这个问题，本系统在题目质量管理中采用专门的文件查找与比较筛选功能，定期自动运行，将相似度较高的题目以报告形式提交给题库质量管理员，题库质量管理员根据实际情况手动进行捆绑合并处理。被捆绑合并的题目，只要调取了其中一个题目，其余的均视为已做题目；计算题目质量时，多个相同题目中只有一个会对同一用户只产生一个有效反应数据，因此把多个题目所采集的全部有效数据汇总分析后，只计算其中任意一个即可，其余默认为相同参数。

优选地，根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，估算用户的最新个人能力值包括：根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，确定用户的即时个人能力值；将用户的即时个人能力值与在第一数据库中用户的ID信息对应的用户个人能力值进行比较，若用户的即时个人能力值与用户个人能力值的差距值大于预定阈值，跳转至判断进程供用户判断是否为本人操作；根据用户的判断结果，估算用户的最新个人能力值，其中，若用户判断结果为是本人操作，则将即时个人能力值作为用户的最新个人能力值，否则，继续将用户的ID信息对应的用户个人能力值作为用户的最新个人能力值。

上述的方法主旨在于剔除可能非用户本人操作的不可信反应数据，具体说明如下：

1、目前系统还没有植入专门的用户身份识别软件，针对用户处于远程操作，可能出现将个人账号提供给他人临时性使用情况。因此，系统会启用个人能力值前后比较功能，用户在每次完成一个测试周期后，系统估算出的能力值(含各能力因素)与以前所估算的能力值(含各能力因素)水平出现了较大幅度的波动时，会提示用户确认是否本人操作并告知非本人操作的危害性。

2、用户每完成一个阶段的测试后，系统会估算用户个人能力值(含各能力因素)，并与上次记录的个人能力值进行比较。当差异不大时，则采信该轮反应的有效数据；当差异较大时，则提示用户确认是否本人操作，以分别处理(是本人操作的则记录，非本人操作的则删除本轮的全部数据)。

优选地，对于一些新的用户，系统中尚未存在该用户的属性及ID信息，因此，本系统在根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值之前，还包括：判断第一数据库中是否存在当前用户的ID信息；若不存在，则调用新用户能力值估算进程，对用户个人能力值进行估算。调用新用户能力值估算进程，对用户个人能力值进行估算，包括：在第二数据库中调取不同题目质量的题目按照预设规则组成第一组卷策略，根据用户的答题信息，初步估算当前用户的能力值；根据初步估算的当前用户的能力值，在第二数据库中调取与初步估算的当前用户的能力值对应的题目按照预设规则组成第二组卷策略，根据用户的答题信息，对用户个人能力值进行估算；将用户的ID信息进行记录，并将该ID信息对应的用户个人能力值记录至第一数据库中。

具体来说，新用户没有初始数据可参照，组卷推送题目时，采用以下策略：

1、对新用户的个人能力值估算，根据能力因素项目逐个估算，最后估算总能力值；

2、估算新用户的某个能力因素水平阶段，一律调取质量参数属于比较稳定的题目，直到个人能力曲线趋于稳定后，方可选择质量参数不太稳定的题目使用(用个人能力值稳定的对象来估算没有计算质量参数或质量参数不稳定的题目质量)。

3、估算新用户的某个能力因素水平时，抽选对应不同能力值的难度水平题目作为第一次组卷策略(第一组测试题)，以第一组测试题中受测试对象对不同难度题目的作答正确概率反应情况进行统计分析，初步估算个人能力值。并根据第一组测试题估算的个人能力值来确定第二组测试题的组卷策略。依次类推，逐步实现函数收敛，不断优化对个人能力值的估算。

优选地，在系统建立初期，需要借助采样样本来进行分析处理，因此，在判断第一数据库中是否存在当前用户的ID信息之前，本发明还包括：预先获取采样样本信息，采样样本信息包含有采样人员属性信息及采样人员的采样答题信息；将获取的采样样本信息进行筛选，获取有效采样样本信息；根据有效采样样本信息中采样人员属性信息及采样人员的采样答题信息，确定采样人员的个人能力值和采样题目的题目质量，并进行记录。

具体实现时，本专利是基于江西师范大学自主研发的能力因素分析软件和题目质量参数估算软件来确定题库基础题目的质量参数和首批参与测试用户的个人能力值(双向同步估值技术)，并以这部分估值的题目作为整个系统质量管理的“等值”，逐步运用到题库的所有题目质量和个人能力值的估算之中。为了获取更为科学的题目参数，采取如下技术来收集处理数据：

1.制定专门的问卷，投放给各类用户，获取调查样本；

2.用前面的有效性甄别技术从调查样本中筛选有效样本；

3.将有效样本信息进行双向同步估值，得出个人能力值与题目质量参数；

4.通过对用户中近期内参加其它测试所获得的成绩状况进行跟踪调查，修订个人能力值与题目质量参数，使其逐步趋于稳定并与实际各类考评结果相符；

5.继续通过采集个人能力值趋于稳定用户的反应数据，更新题目质量参数，手动管理质量参数下降的题目(剔除出基础题目库以外)。

实施例2

基于实施例1中提供的教育测试系统的数据处理方法，本实施例将上述方法提炼出五个核心部分进行具体阐述：

第一部分：数据采集技术

根据IRT数学模型在计算各类参数的实际需要，本系统需采集用户基本情况信息、用户对题目的反应信息、用户的历史信息，具体内容和实现方法如下：

一、用户基本信息

1、用户基本信息的采集用于保证样本分布的随机与代表性、每个用户身份唯一性、用户参加学习考试的特殊性，根据样本可能的差异设定以下具体的信息参数内容：用户名、联系方式、出生年月、学校与类别、学历层次、专业、计划参加考试地区、计划参加考试类别。

2、用户基本信息来源于用户的注册信息，需要用户在注册时提交，已备系统随时调用。

二、用户对题目的反应信息

1、用户对题目的反应信息主要用于分析用户对题目反应的真实性和有效性，设定具体参数内容为：用户对题目的反应时间和反应正误。

2、用户对题目的反应时间信息采集是通过用户终端设备内置的计时器来实现。系统对用户完成每个动作的前后间隔时间进行计算。

3、用户对题目的反应正误信息采集，是通过用户在终端操作反馈的数据与系统预设的答案进行比对分析得出。

三、用户的历史信息

1、系统会记录用户的所有操作历史信息，形成个人学习与考试档案文档，用于系统的各种分析计算功能的实现，设定的具体参数内容为：库内题目是否已使用的信息、用户对库内题目已使用的正误反应信息、用户每次退出使用后系统对个人能力值估算(新用户按默认值)信息。

2、库内题目对以上信息均采用标注方式进行，对题目做出错误反应信息和个人能力值实行动态更新。

第二部分：数据甄选技术

一、剔除可能的随机作答和处于较差的心理状态作答而产生的低信度反应数据

1、用户对每个题目做出有效反应需要有基本阅读与思考时间，系统会根据实际情况设定完成题目所需的时间长度阀值。

说明：用户对题目的反应时间过短，则可能用户在凭直觉随机作答，或在其它地方已接触甚至凭记忆知晓正确反映项目；用户对题目的反应时间太长，则可能用户在作答过程中征求他人意见(查阅相关资料)，或处于外界干扰因素过大而处于非专注于测试的状态。

2、剔除随机作答和处于较差的心理状态作答而产生的反应数据的实现方法

题目所需时间长度阀值采用对大量题目的统计分析基础上手动设定默认值，题目一旦有了难度参数后，则基于默认值进行正比例修正；

系统采集到用户对某个题目做出反应的前后动作时间长度超过默认阀值后，自动排除对该题目反应数据的统计与分析。

二、剔除可能非用户本人操作的不可信反应数据

1、目前系统还没有植入专门的用户身份识别软件，针对用户处于远程操作，可能出现将个人账号提供给他人临时性使用情况。因此，系统会启用个人能力值前后比较功能，用户在每次完成一个测试周期后，系统估算出的能力值(含各能力因素)与以前所估算的能力值(含各能力因素)水平出现了较大幅度的波动时，会提示用户确认是否本人操作并告知非本人操作的危害性。

2、剔除可能非用户本人操作的不可信反应数据的实现方法(仅对老用户有效)

用户每完成一个阶段的测试后，系统会估算用户个人能力值(含各能力因素)，并与上次记录的个人能力值进行比较。当差异不大时，则采信该轮反应的有效数据；当差异较大时，则提示用户确认是否本人操作，以分别处理(是本人操作的则记录，非本人操作的则删除本轮的全部数据)。

三、剔除重复使用题目所产生的低信度反应数据

1、由于本系统存在错题重练的巩固学习功能，该功能会导致用户多次使用相同题目(错题会在一定的周期后再次出现在同一用户的练习与考试中)，对这种反应数据需要排除出统计分析范围。

2、重复使用题目的排除方法采用两种方法进行

特定用户已经使用的题目都要做出标注，凡做出正确反应的题目，不再重复参与组卷，没有做出正确反应的题目，自动收录到错题本中用于以后练习使用。对以后练习中出现的已做题目，不管做出的反应是否正确，均不再采用这个数据进行个人能力值与题目质量度的估算。

针对任何一个题库系统都可能出现相同题目重复收录情况(同一题目在库内有不同的源文件)，会因为出现顺序不一而导致质量估算出现较大差异。为解决这个问题，本系统在题目质量管理中采用专门的文件查找与比较筛选功能，定期自动运行，将相似度较高的题目以报告形式提交给题库质量管理员，题库质量管理员根据实际情况手动进行捆绑合并处理。被捆绑合并的题目，只要调取了其中一个题目，其余的均视为已做题目；计算题目质量时，多个相同题目中只有一个会对同一用户只产生一个有效反应数据，因此把多个题目所采集的全部有效数据汇总分析后，只计算其中任意一个即可，其余默认为相同参数。

第三部分：参数估算技术

基于IRT模型建立的题库，技术重点与难点就在于参数的估算上。就IRT理论而言，有多重参数模型，参数设定越多，科学性就越高，但实现的难度就愈大。一般采用的是双参数模型(难度和区分度)和三参数模型(难度、区分度和猜测度)。

说明：

三参数模型是将题目的质量度设定为难度、区分度和猜测度等三个变量。就用户对项目(题目)的反应而言，个人的能力值水平在特定时期应该是一个恒数。因此，用户对项目(试题)做出正确反应的概率高低变化，是由项目(试题)的难度、区分度和猜测度三个变量所决定的。

IRT模型的参数计算与经典测试理论参数计算存在明显的区别，具体表现为：

经典理论的题目参数计算方法：测试对象中做出错误反应的人数与总人数的比值表示一个题目的难度，做出错误反应的人越多，比值越高，题目越难；测试对象中高能力组做出正确反应的人数减去低能力组做出正确反应的人数的差与总人数的比值为区分度，高分组回答正确的人数越多、低分组回答正确的人数越少，区分度就越高。

IRT模型的题目难度参数计算方法：将测试对象对题目做出正确反应的概率按照不同能力值水平作矩阵统计分析，其函数曲线的拐点处所对应的能力值水平代表题目难度；拐点处曲线的斜率代表题目的区分度，斜率越高则说明题目能把该能力水平附近的对象快速区分出来，区分度就越高。

IRT理论模型是基于两个大胆假设构建起来的教育测量模型，即：

1.假若受测试样本数量庞大、每个样本的能力值在一定时期内是一个恒数，可以根据不同样本对同一题目的不同反应来估算题目的质量参数；

2.假若题目的质量参数估算是科学的，每个被测试样本对题目做出正确反映的概率是由个人能力值所决定的，由此可以根据个体反应来估算其能力值。

通过计算机技术来构建IRT模型，本系统是基于三参数模型，优化为双参数模型来实现的。因为：本系统在数据的采集与甄别中，已经利用计算机技术排除了可信度不高的数据，在执行IRT模型算法中，猜测度已经是比较小的影响因素，可视为能接受的误差范围，这样同时也可以提高运算效率。

一、整个题库均没有题目质量参数和用户个人能力值的情形下的估值技术

为了解决建库初期所面临的两个假设基础不确定的问题，本专利是基于江西师范大学自主研发的能力因素分析软件和题目质量参数估算软件来确定题库基础题目的质量参数和首批参与测试用户的个人能力值(双向同步估值技术)。为了获取更为科学的题目参数，采取如下技术来收集处理数据：

1、制定专门的测试问卷，根据用户基本信息设定参与测试的用户条件，筛选出具体用户并投放，确保调查样本的广泛性和典型性；

2、用前面的有效反应数据甄选技术，从调查样本中筛选有效问卷；

3、将有效问卷汇总，平衡有效问卷在各类样本中的比例构成，多余有效问卷进行剔除；

4、将有效样本信息进行处理：先进行能力因素分析，确认本题库系统的能力因素组成结构；

5、记录测试问卷中题目的质量参数，已备今后进一步使用。(作为测试题目，一是来计算更多用户的个人能力值；二是作为“等值”来测算其它题目的未知质量参数。)

二、利用“等值”题目对每个用户个人能力值进行测定

本系统对个人能力值参数设置按照“0＜参数值＜1”来确认。库内一旦有了等值题目后，个人能力值的测试不再采用大量问卷进行双向同步估值模式进行，新的测试方法为：

1、以划分的能力因素为测试单元，从对应该能力因素的等值题目库中随机抽选代表各个难度水平的题目，组成测试卷投放给用户；

2、采集用户对测试卷的反应信息，排除不可信或可信度过低的题目，直到有效反应信息达到测算所需的基本数量；

3、分析用户对题目的反应数据，依照函数的收敛特点估算用户能力值；

4、反复投放更多有质量参数的题目，继续估算能力值，使得函数收敛后的能力值水平逐步趋于稳定。

三、库内更多题目(含新增题目)质量参数的估值技术

当掌握一定用户的能力值数据后，更多题目的质量参数的估算技术不再采用最初建库的双向同步估值技术来进行了，而是将无质量参数的题目投放给能力值相对稳定且能力水平不一的用户，通过用户对题目的反应来测算题目的质量参数，方法如下：

1、将需要测试质量参数的题目随机投放，大量采集用户数据(排除无效数据)；

2、按一定的分类技术筛选各个能力水平且能力值相对稳定的用户，保持样本数量的均衡；

3、根据不同能力值用户对题目的反应信息进行矩阵分析，计算题目难度和区分度。

第四部分 参数优化与题库更新技术

IRT理论是基于大数据和大运算来实现的，对各类参数的估算，自身就是一个不断优化更新的动态过程，具体实现方法如下：

一、个人能力参数优化技术

个人能力值的估算始终坚持以等值题目投放所估算的能力值为主，避免测评误差的不断扩大。

1、利用等值题目估算新用户的初始能力值，作为特定阶段标准能力值记录存档；

2、利用更多其它具有质量参数的题目投放用户使用，获取用户反应数据，并不断估算阶段内的能力值；

3、当用户该阶段内能力值变化幅度达到一定阀值且表现出一定稳定性时，系统启用新阶段能力值估算方法，即：再用等值题目组卷进行个人能力值的估算，并将结果更新，作为新的阶段标准能力值记录存档。

二、题目质量参数优化技术

题目的质量参数的估算并不是一次性就可以精准估算的，需要一个累积大数据进行分析的过程。因此，不管是库内的等值题目，还是其它题目，质量参数都要不断地运算和更新，方法如下：

1、不断收集各能力值水平用户对题目做出反应的数据，积累到一定数量后进行一次矩阵统计分析，对质量度的变化做好记录；

2、题目的质量度变化超过一定阀值后，系统会将报告发送给质量管理员，由质量管理员分析质量变化的原因(前期估值不准、投放频率高低、录题质量、终端显示等都可能是导致质量度发生变化的原因)；

3、将质量度发生较大变化的题目做出手动操作处理。

三、等值题目的优化技术

等值题目库是整个系统的核心。因此，对等值题目库的优化关系到整个系统测量精准度，我们采用如下技术予以优化

1、等值题目的补充

系统在估算非等值题目质量过程中，测试到各个难度水平中高区分度题目后，会依据管理员设定的阀值自动筛选并以报告推送给管理员，由管理员审核后可补充到等值题目库中。

2、等值题目的淘汰

题目等值题目在大量投放中，可能会出现质量度下降。系统会采取一定的策略在已知能力值的用户中测试等值题目质量度的变化，方法如下：

就特定的某个用户而言，等值题目可用于测算其能力值，其能力值逐步会趋于稳定。与此同时，这些等值题目在大量的已知能力值用户身上的反应数据，反过来又可以统计分析等值题目的质量参数。这就说明：等值题目可以在投放用户使用中继续双向估值，优化质量参数。

系统会对等值题目的质量参数变化作好记录，当参数变化达到一定阀值后，以报告方式提交给质量管理员，由质量管理员将质量度下降的等值题目剔除出库，作为一般题目使用。

3、等值题库数量的总体控制技术

等值题目数量需要控制在一个合理的范围内，如果数量太少，无法保障个人能力值动态估算的需要；如果数量过多，等值题目的质量标准可能会下降，而且会导致题目质量之间的相互干扰，降低准确性。

等值题目库按照能力因素来分类(精确到三级目录)，每个能力因素目录下设定等值题库的数量和质量参数的阀值，一旦超过限值，系统将会报告管理员进行处理。

第五部分 个性化学习技术

一、题目难度总体水平与个人能力值一致的技术

用户只要使用本系统(不管采用什么学习模式)，系统即可进行个人能力值的估算，作为制定学习策略的依据之一。下一次组卷推送题目的平均难度值与前一次估算的个人能力值保持基本一致(都按照0-1的区间标注)，而每组题目中具体题目难度值采用随机离散性分布特征抽选，以体现学习的巩固性和螺旋式提升基本。

二、学习内容和题型与考试内容和题型一致的技术

系统通过后台管理技术，预设不同地区的不同考试类别试卷的组卷规则，依据户注册时提交的信息对应选择使用。为了便于广泛收集并形成完善的规则体系，专门研发规则自动生成器软件分析不同地区的不同类别考试的真题试卷来生成组卷规则(自动生成的规则可手动修改)。

1、题型内容一致原则。题库的所有题目资源并不是适合每个用户的学习考试需要，每个地区的某类考试涉及到什么题型，系统就抽选对应题型。

2、能力因素一致原则。每个地区的某类考试涉及到哪些能力因素，系统就为用户推送该能力因素对应的试题(本系统在构建题目目录属性时采用能力因素分类法，不同于其它学习系统采用的知识点或章节分类法)。

3、题量时间一致原则。每个地区考试强度存在差别，所用题量和时间不一致，系统在模拟考试模块的组卷时，充分利用收集的历年考试信息来对应确定题型和题量。

三、以动态分区来构建个人专属题库的技术

系统包括智能练习、专项练习、智能考试、真题考试等四种基本学习模式，供用户选择使用。用于不同学习模式的题目采用动态的动态划分技术，以确保各类学习模式均能长期正常运行，办法为：

1、与用户注册信息中所反应的考试地区与考试类型对应的真题试卷(含该地区以上的区域的真题试卷)，仅供用户在真题考试模式下使用。用户不能在该模式下使用其余地区和类别的真题试卷(该部分真题试卷的题目用于其它学习模式)，仅能查看试卷基本信息。

2、库内其余真题试卷中试题题型及对应测评的能力因素不一定适合某地区的某类考试的用户，这类题目不进入在该用户的个人备用题库(特指用于智能练习、专项练习和智能考试的题目)，以免产生误导。

3、个人备用题库中，题目质量度较高的题目预留一定比例供用户在智能考试模式下组卷使用(这部分题目可能在使用中因质量度发生变化而动态调整到其它模块使用)。

4、前述两种模式下预留题目以外的题目，按照比例分配到智能练习和专项练习模式中使用，其中题目质量度太低的题目全部分配到专项练习中使用。

5、智能练习和智能考试模式下，可能因为抽选规则的差异，导致用户到后期将有的目录下收录题目做完、有的目录下还存在大量题目未使用(不含规则以外目录下的题目)，降低了组卷成功率。系统在抽选题目组卷时，除必选项外的机选项目，配置均衡抽题功能(即多个并列关系的机选目录下，库存题目多的提高抽选概率、库存题目少的降低机选概率)

6、智能练习与智能考试模式下，系统增加实现查漏补缺目的的巩固训练功能。一是对于做错的题目，在间隔一定时长后，优先推送给用户使用，促进问题的解决；二是对于某些能力因素项目的水平较低的用户，优先推送低能力因素对应目录下的题目促进用户能力水平的均衡提升。

实施例3

基于上述实施例1和实施例2中提供的教育测试系统的数据处理方法，在本实施例中提供了一种教育测试系统的数据处理装置，具体地，图2示出该装置的一种可选的结构图，如图2所示，该装置包括：第一获取单元20，用于根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值，其中，第一数据库中记录有各个ID信息的用户个人能力值；确定单元22，用于根据获取的用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目；推送单元24，用于将确定的与该用户个人能力值对应题目质量的题目推送给当前用户。

优选地，该装置还包括：接收判断单元，用于接收用户提交的答题信息，判断答题信息是否为有效答题信息；第一估算单元，用于在判定答题信息为有效答题信息时，根据用户的用户个人能力值、有效答题信息中的题目质量、有效答题信息中的题目正确率信息，估算用户的最新个人能力值；更新单元，用于将用户的最新个人能力值更新至第一数据库中与该用户对应ID信息下。

优选地，接收判断单元包括：

第一判定模块，用于获取用户提交的答题信息中用户答题所用的时间信息，判断用户答题所用的时间信息是否符合预置时间范围，若不符合，则判定答题信息不是有效答题信息；第二判定模块，用于获取用户提交的答题信息中的题目信息，判断题目信息是否为当前用户ID信息下已答题目信息，若是，则判定答题信息不是有效答题信息。

优选地，该装置还包括：判断单元，用于在根据当前用户的ID信息，在第一数据库中获取与ID信息对应的用户个人能力值之前，判断第一数据库中是否存在当前用户的ID信息；第二估算单元，用于判断单元判定不存在时，调用新用户能力值估算进程，对用户个人能力值进行估算。

本装置的具体实现方法如实施例1和实施例2中记载，此处不再赘述。

从以上描述中可以看出，本发明当用户通过电子网络的方式在教育考试系统进行测试或学习时，并非如传统的教育考试系统那样，直接推送给用户固定的试题进行测评，而是先根据用户的ID信息确认用户的个人能力值，在确定用户个人能力值之后，从数据库中调取与个人能力值对应的试题推送给用户进行作答，这种教育考试系统的处理方式，有效地解决现有技术中教育考试系统不考虑用户个人能力，单一地推送固定的题目进行测评，不能准确反映用户真实水平的问题，提高教育系统考评的准确性，同时，根据用户的水平推送与之对应难度的题目，让用户针对性的学习与测评，大大提高了学习的效率。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本申请可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

Claims (8)

1.一种教育测试系统的数据处理方法，其特征在于，包括：

根据当前用户的ID信息，在第一数据库中获取与所述ID信息对应的用户个人能力值，其中，所述第一数据库中记录有各个ID信息的用户个人能力值；

根据获取的所述用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目并组卷；

将确定的所述与该用户个人能力值对应题目质量的题目组卷推送给当前用户，

在所述将确定的所述题目推送给当前用户之后，还包括：

接收用户提交的答题信息，判断所述答题信息是否为有效答题信息；

在判定所述答题信息为有效答题信息时，根据用户的所述用户个人能力值、所述有效答题信息中的题目质量、所述有效答题信息中的题目正确率信息，估算用户的最新个人能力值；

将所述用户的最新个人能力值更新至所述第一数据库中与该用户对应ID信息下，

其中，采用双向同步估值技术确定所述第二数据库的基础题目的质量参数和首批参与测试用户的个人能力值，并以这部分估值的题目作为整个系统质量管理的“等值”，逐步运用到题库的所有题目质量和个人能力值的估算之中，采取如下步骤来收集处理数据：

1）制定专门的问卷，投放给各类用户，获取调查样本；

2）用有效性甄别技术从调查样本中筛选有效样本；

3）将有效样本信息进行双向同步估值，得出个人能力值与题目质量参数；

4）通过对用户中近期内参加其它测试所获得的成绩状况进行跟踪调查，修订个人能力值与题目质量参数，使其逐步趋于稳定并与实际各类考评结果相符；

5）继续通过采集个人能力值趋于稳定用户的反应数据，更新题目质量参数，手动剔除管理质量参数下降的题目。

2.如权利要求1所述的方法，其特征在于，所述接收用户提交的答题信息，判断所述答题信息是否为有效答题信息，包括：

获取所述用户提交的答题信息中用户答题所用的时间信息，判断用户答题所用的时间信息是否符合预置时间范围，若不符合，则判定所述答题信息不是有效答题信息；

获取所述用户提交的答题信息中的题目信息，判断所述题目信息是否为当前用户ID信息下已答题目信息，若是，则判定所述答题信息不是有效答题信息。

3.如权利要求1所述的方法，其特征在于，所述根据用户的所述用户个人能力值、所述有效答题信息中的题目质量、所述有效答题信息中的题目正确率信息，估算用户的最新个人能力值包括：

根据用户的所述用户个人能力值、所述有效答题信息中的题目质量、所述有效答题信息中的题目正确率信息，确定用户的即时个人能力值；

将所述用户的即时个人能力值与所述在第一数据库中用户的ID信息对应的用户个人能力值进行比较，若用户的即时个人能力值与所述用户个人能力值的差距值大于预定阈值，跳转至判断进程供用户判断是否为本人操作；

根据用户的判断结果，估算用户的最新个人能力值，其中，若用户判断结果为是本人操作，则将所述即时个人能力值作为用户的最新个人能力值，否则，继续将用户的ID信息对应的用户个人能力值作为用户的最新个人能力值。

4.如权利要求1所述的方法，其特征在于，在所述根据当前用户的ID信息，在第一数据库中获取与所述ID信息对应的用户个人能力值之前，还包括：

判断所述第一数据库中是否存在当前用户的ID信息；

若不存在，则调用新用户能力值估算进程，对用户个人能力值进行估算。

5.如权利要求4所述的方法，其特征在于，所述调用新用户能力值估算进程，对用户个人能力值进行估算，包括：

在所述第二数据库中调取不同题目质量的题目按照预设规则组成第一组卷策略，根据用户的答题信息，初步估算当前用户的能力值；

根据初步估算的当前用户的能力值，在所述第二数据库中调取与初步估算的当前用户的能力值对应的题目按照预设规则组成第二组卷策略，根据用户的答题信息，对用户个人能力值进行估算；

将用户的ID信息进行记录，并将该ID信息对应的用户个人能力值记录至所述第一数据库中。

6.如权利要求4所述的方法，其特征在于，在所述判断所述第一数据库中是否存在当前用户的ID信息之前，还包括：

预先获取采样样本信息，所述采样样本信息包含有采样人员属性信息及采样人员的采样答题信息；

将获取的采样样本信息进行筛选，获取有效采样样本信息；

根据所述有效采样样本信息中采样人员属性信息及采样人员的采样答题信息，确定采样人员的个人能力值和采样题目的题目质量，并进行记录。

7.一种教育测试系统的数据处理装置，其特征在于，包括：

第一获取单元，用于根据当前用户的ID信息，在第一数据库中获取与所述ID信息对应的用户个人能力值，其中，所述第一数据库中记录有各个ID信息的用户个人能力值；

确定单元，用于根据获取的所述用户个人能力值，在第二数据库中确定与该用户个人能力值对应题目质量的题目并组卷；

推送单元，用于将确定的所述与该用户个人能力值对应题目质量的题目组卷推送给当前用户； 接收判断单元，用于接收用户提交的答题信息，判断所述答题信息是否为有效答题信息；

第一估算单元，用于在判定所述答题信息为有效答题信息时，根据用户的所述用户个人能力值、所述有效答题信息中的题目质量、所述有效答题信息中的题目正确率信息，估算用户的最新个人能力值；

更新单元，用于将所述用户的最新个人能力值更新至所述第一数据库中与该用户对应ID信息下，

其中，所述确定单元、所述第一估算单元和所述更新单元采用双向同步估值技术确定所述第二数据库的基础题目的质量参数和首批参与测试用户的个人能力值，并以这部分估值的题目作为整个系统质量管理的“等值”，逐步运用到题库的所有题目质量和个人能力值的估算之中。

8.如权利要求7所述的装置，其特征在于，所述接收判断单元包括：

第一判定模块，用于获取所述用户提交的答题信息中用户答题所用的时间信息，判断用户答题所用的时间信息是否符合预置时间范围，若不符合，则判定所述答题信息不是有效答题信息；

第二判定模块，用于获取所述用户提交的答题信息中的题目信息，判断所述题目信息是否为当前用户ID信息下已答题目信息，若是，则判定所述答题信息不是有效答题信息。