CN105373703B - 一种基于遗忘曲线的自适应能力测试系统 - Google Patents

Abstract

本发明涉及一种基于遗忘曲线的自适应能力测试系统，属于人工智能和教育学测试评估技术领域。该系统包括题库分类模块、能力测试模块、统计分析模块以及反馈执行模块。该方法包括以下四个步骤：1）题库的建立和分类；2）设置用户能力测试的考评规则；3）统计及分析用户测试过程中答题对错记录；4）反馈用户的真实能力水平。本发明是一种高度智能化的能力测试系统，并定义了题目簇（family）用于对题库中的题目进行分类，减少出题的冗余度，能准确地测试出用户的真实能力水平。本发明涉及的自适应能力测试系统不仅可以测试出用户的真实能力水平，还可以通过用户对题目簇的记忆曲线，为研究智能学习方法提供一种有效的分析工具。

Description

一种基于遗忘曲线的自适应能力测试系统

技术领域

本发明涉及一种基于遗忘曲线的自适应能力测试系统，定义题目簇对题库进行分类来减少出题的冗余度，并根据用户的题目簇遗忘曲线来量化用户对题目簇的记忆程度，有效地改善题目簇的曝光率不均问题，属于人工智能和教育学测试评估技术领域。

背景技术

自适应能力测试是教育评价中一种广泛采用的方法，在教育测量理论的发展过程中，常见的自适应测试理论有项目反应理论(Ttem Response Theory，TRT)、决策理论(Decision Theory，DT)、序贯概率比检验(Sequential Probability Ratio Test，SPRT)模型、知识空间理论(Knowledge space theory，KST)等。下面从基本假设、测试目的、复杂程度、测试精度和应用领域等几个方面对这些理论进行对比分析，结果如表1所示。

表1自适应测试理论对比分析

	基本假设	测试目的	复杂程度	测试精度	应用领域
						IRT	强	能力估计	中等	精确	心理学、教育、医疗、认证等
DT	弱	分类	较复杂	较精确	工程、计算、教育等
						SPRT	弱	分类	容易	较精确	工程、教育等
KST	弱	能力估计	复杂	精确	知识表示、教育

项目反应理论是自适应测试中广泛应用的理论，它基于强假设、对被试的能力水平估计精确度高、应用领域也更加广泛。该理论假设潜在特质的存在，并认为某一潜在特质都是一维的，最终的目的是确定被试在一维的能力维度上的位置。在教育测量理论的发展过程中，以项目反应理论为基础的自适应测试系统逐渐得到广大教育工作者的认可，并相继提出了多个基于项目反应理论的项目反映模型。目前，基于项目反应理论的自适应测试系统已广泛应用于心理学、教育、医疗、认证等领域。

虽然现有的自适应测试方法能够进行基本的能力测试操作，但学者Wainer对GRE的题库中题目的使用情况进行了研究，结果发现测试中经常使用的50％的项目只占题库中题目总数的12％。这说明，实施能力测试过程中存在题目曝光不均以及冗余度高等问题。针对项目曝光率和题库使用率等问题，我们可以从题库设计的角度出发提出了解决办法，如定义题目簇降低冗余度、利用遗忘曲线改善题目簇的曝光率不均、概率方法等。

在传统的题目生成领域，题目的特征分为主要知识点(radicals)和次要知识点(incidentals)两种属性，同时将题目的主要知识点属性相同的所有题目的集合定义为一个题目簇。

根据认知心理学的研究成果，人类做题时的遗忘规律符合艾宾浩斯规律，即遗忘速度是先快后慢。由于每个人的记忆能力各不相同，每个题目簇的记忆难度也千差万别，所以通过设置遗忘临界点抑制高记忆量的题目簇，降低该题目簇的曝光率，来实现题目簇曝光率的均匀分布。

概率方法中最有名是由Sympson和Hetter提出的控制曝光率的条件概率法(简称S-H法)，该方法是基于条件概率来限制对题目被管理的最大频率，但并不是每个被选中的项目对于被试来说都具有相同的被管理概率，需要使用项目曝光控制参数对项目进行控制。对于频繁选择的项目，可以设置项目曝光参数为一个预先制定的最大曝光率。这种概率方法可以有效地控制一个项目的最大曝光率，S-H方法及其改进方法都是通过抑制那些可能过度曝光的项目来实现的曝光控制的。

现阶段的解决曝光率和使用率的方法都存在一些限制，如：1)没有被选择的项目不会被管理；2)当题库改变或者目标被试的能力分布改变时，曝光控制参数不得不通过大量的模拟进行更新。因此，为了很好地控制题目的曝光率和使用率，需要合并题目簇和遗忘曲线对现有的方法来进行优化。

发明内容

本发明所要解决的技术问题是：现有的自适应能力测试系统大都是基于项目反应理论(ItemResponseTheory,IRT)来检测用户的真实能力水平，这种系统不能有效剔除高度相似的题目以及刚做过的题目，从而导致出题的冗余度太高和测试长度太长。为解决背景技术中存在的问题，本发明提出一种基于遗忘曲线的自适应能力测试系统，通过定义题目簇将题库中高度相似的题目划分为一个题目簇，并利用遗忘曲线量化用户对题目簇的记忆程度，设置遗忘临界点来降低高记忆量的题目簇的曝光率，从而选出信息量最大的前个达到用户遗忘临界点的题目簇即最适合用户能力水平的题目簇。

本发明所述的自适应测试系统包括题库分类模块、能力测试模块、统计分析模块和反馈执行模块，其中能力测试模块由用户指令组件、记忆指令组件和测试指令组件三部分组成，如图1所示。本发明的技术方案具体包括以下步骤，如图2所示：

1.题库设置及分类。假设题库中所有题目的猜测度和区分度都一样，并按照题目中知识点所在单元设置难度系数。利用本系统的题库分类模块从题库中提取每个题目的知识点和相关的题目特征参量，将题库中主要知识点完全相同的题目划分为一个题目，重新对题库进行分类，避免在测试过程中高度相似的题目重复出现；

2.设置用户能力测试的考评规则。首先由能力测试模块的用户指令组件通过用户信息获取用户的初始能力值，然后由能力测试模块的测试长度组件规定本轮测试的测试题目长度，最后结合步骤1的题目簇的题目特征和能力测试模块的记忆模块计算出每个题目簇的信息量和记忆量，从题库中选出信息量最大的前个记忆量达到遗忘临界点的题目簇，分别从这个题目簇中随机各选一题共个题目作为一轮进行测试；

3.统计及分析用户整个测试过程中答题对错记录。由统计分析模块获取用户实际测试的答题对错记录，计算该用户测试过程中的信息量是否满足测试停止条件，若不满足，则返回步骤2的能力测试模块继续测试，若满足则进入步骤4；

4.反馈用户能力的真实能力水平。当用户测试的信息量满足测试停止条件时，则停止测试，并由反馈执行模块反馈出该用户的真实能力水平。本发明定义题目簇和遗忘曲线等辅助教学工具，解决了现有的自适应能力测试系统不能剔除知识点相同的题目以及刚做过的题目的问题，具有较高的智能化和较少的冗余度，在很大程度上缩短了传统自适应测试方法的测试长度。本发明涉及的自适应能力测试系统不仅可以测试出用户的真实能力水平，还可以通过用户对题目簇的记忆曲线，为研究智能学习方法提供一种有效的分析工具。

附图说明

图1是本发明的结构框图

图2是本发明的自适应测试流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本本发明，并不用于限定本发明。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围之内。

Claims (1)

1.一种基于遗忘曲线的自适应测试系统，包括题库分类模块、能力测试模块、统计分析模块以及反馈执行模块；其中题库分类模块从题库中提取每个题目的知识点和相关的题目特征参量，将相似题目归为同一个题目簇；再由能力测试模块基于遗忘曲线从题库中抽取最适合用户能力水平的题目进行测试；由统计分析模块统计出用户测试的答题对错数目后，由反馈执行模块更新修正出该用户的能力水平估计值；之后能力测试模块根据更新后的用户能力水平值基于遗忘曲线重新抽取题目给用户测试，由此反复进行而形成一个基于遗忘曲线根据用户能力水平变化而自适应出题的测试系统；

题库分类模块将比题目最难知识点的难度系数小于等于3的所有知识点定义为题目的主要知识点，按照题目的知识点将题库中主要知识点完全相同的题目划分为一个题目簇，用以避免题库中相同知识点的题目重复出现；

能力测试模块包括有用户指定组件，在该组件中，用以初始化该用户的能力值；

能力测试模块包括有测试长度指定组件，在该组件中，用以设定特定长度的题目试卷；

能力测试模块包括有记忆指定组件，在该组件中，用以设定用户对该题目簇的最佳复习时间；根据用户能力值以及每个题目簇的题目特征，建立如下的记忆衰减模型：

其中N为题目簇中主要知识点的个数，θ为用户能力值，h为时间控制因子，b_n是主要知识点n的难度系数，a_i是题目簇的区分度；

统计分析模块根据用户实际测试的答题对错记录计算每次测试的信息量，通过测试终止条件来判断该测试是否终止；模块中所使用的测试终止条件为：

其中，I_i(θ)为第i次测试的信息量，ε取0.05或者0.01；

反馈执行模块通过用户实际测试的答题对错记录，利用IRT能力迭代模型计算出该用户的真实能力水平；IRT能力迭代模型采用函数

其中为第n次测试前的能力值，为第n次测试后更新的能力值，L为每轮测试的题目长度，u_j是用户测试过程中答题对错记录。