CN107562697A - 认知诊断方法和系统 - Google Patents
认知诊断方法和系统 Download PDFInfo
- Publication number
- CN107562697A CN107562697A CN201710637344.7A CN201710637344A CN107562697A CN 107562697 A CN107562697 A CN 107562697A CN 201710637344 A CN201710637344 A CN 201710637344A CN 107562697 A CN107562697 A CN 107562697A
- Authority
- CN
- China
- Prior art keywords
- parameters
- matrix
- probability
- calculating
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了认知诊断方法和系统，方法获取认知属性信息和被试反应信息；根据认知属性信息确定项目属性关系Q矩阵，并根据被试反应信息确定被试反应X矩阵；构建OR‑DINA模型，模型包括失误参数和猜测参数；利用期望最大化EM算法估计失误参数和猜测参数；根据估计得到的失误参数和猜测参数计算被试的知识状态。本发明提供的认知诊断方法和系统，提出了一种优化的认知诊断模型，可以使正确作答项目的概率随着被试掌握项目所测属性数量的增多而增大，精准诊断被试的薄弱知识点及技能点。
Description
技术领域
本发明涉及计算机应用技术领域，尤其是涉及认知诊断方法和系统。
背景技术
传统的测验考试仅以测验总分作为评价指标，显得过于笼统和概括，现在人们不仅要求测验能在总分数层面进行评价，更希望能深入到被试内部的认知加工层面。
相对而言，现有技术在每个项目上将被试分为两类：掌握类和未掌握类。掌握类是掌握了项目所考察的全部属性的被试的集合；其他被试则化归为未掌握类，这些被试可能一个属性也没掌握，也可能掌握了部分属性。如此分类忽视了未掌握组的被试在属性掌握多少上的差异。除此之外，现有技术的模型定义不够严谨，从函数的角度来看，被试正确作答项目的概率并不是随着被试掌握属性个数的增多而增大；并且模型的可解释性较差，理想反应潜变量ηij取连续值的设定并不合理。在0<ηij<1时，被试答对的概率不仅与猜测参数有关，而且与失误参数有关，而有些情况是不具有解释性的；其次，ηij取连续值，也增大了参数估计的计算复杂度。
综上所述，目前的认知诊断模型缺少对被试的薄弱点和技能点精准判断能力。
发明内容
有鉴于此，本发明的目的在于提供认知诊断方法和系统，提出了一种优化的认知诊断模型，可以使正确作答项目的概率随着被试掌握项目所测属性数量的增多而增大，精准诊断被试的薄弱知识点及技能点。
第一方面，本发明实施例提供了认知诊断方法，包括：
获取认知属性信息和被试反应信息；
根据所述认知属性信息确定项目属性关系Q矩阵，并根据所述被试反应信息确定被试反应X矩阵；
构建OR-DINA模型，所述模型包括失误参数和猜测参数；
利用期望最大化EM算法估计所述失误参数和所述猜测参数；
根据估计得到的所述失误参数和所述猜测参数计算被试的知识状态。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述构建OR-DINA模型包括：
排除失误和猜测参数；
引入比值常数，定义理想反应潜变量以使被试正确作答项目的概率随所述被试掌握属性个数的增多而增大；
引入门常数以表明所述被试是否掌握了项目所考察的全部属性。
结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述构建OR-DINA模型还包括：
根据下式计算所述被试正确作答某项目的概率：
其中，P(Xij＝1|αi)为所述作答概率，为所述失误参数，为所述猜测参数，ηij为门常数，j表示项目j。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述认知属性信息确定项目属性关系Q矩阵包括：
根据所述认知属性信息建立层级关系；
根据所述层级关系建立邻接矩阵，并将所述邻接矩阵转换成可达矩阵；
利用扩张算法，根据所述邻接矩阵和所述可达矩阵得到理想掌握模型；
根据所述认知属性信息和所述理想掌握模型建立所述项目属性关系Q矩阵。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述利用期望最大化EM算法估计所述失误参数和所述猜测参数包括：
对所述失误参数和所述猜测参数赋初值，并计算比值常数，其中，所述比值常数的分子为所述被试已经掌握且能解答项目的属性个数，所述比值常数的分母为所述项目所考察的属性总个数；
根据所述项目属性关系Q矩阵和所述比值常数计算第一概率；
根据所述项目属性关系Q矩阵和所述被试反应X矩阵计算第二概率；
根据所述被试反应X矩阵、所述第一概率和所述第二概率计算第三概率；
利用所述第三概率计算第一期望和第二期望，并根据所述第一期望和所述第二期望计算所述失误参数和所述猜测参数；
判断所述失误参数和所述猜测参数是否收敛，并在不收敛的情况下进行迭代计算。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，还包括：
根据下式计算所述猜测参数：
或者；
根据下式计算所述失误参数；
其中，为所述猜测参数，为所述失误参数，Rjl为所述第一期望，Il为所述第二期望，l为第l个理想掌握模型，j为第j个项目。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述失误参数和所述猜测参数计算被试的知识状态包括：
根据所述失误参数和所述猜测参数进行迭代计算，得到多个第三概率；
从多个所述第三概率中选取最大的掌握模式，并将所述最大的掌握模式作为所述知识状态。
结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，还包括：
根据下式计算所述掌握模式：
αi＝argmax{P(αl|Xi)}
其中，所述αi为被试i的所述掌握模式，P(αl|Xi)为所述第三概率，Xi为所述被试i的作答反应。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述构建OR-DINA模型包括：
引入比值常数，定义理想反应潜变量以使被试正确作答项目的概率随所述被试掌握属性个数的增多而增大；
引入门常数以表明所述被试是否掌握了项目所考察的全部属性。
第二方面，本发明实施例提供了认知诊断系统，包括:
获取单元，用于获取认知属性信息和被试反应信息；
确定单元，用于根据所述认知属性信息确定项目属性关系Q矩阵，并根据所述被试反应信息确定被试反应X矩阵；
构建单元，用于构建OR-DINA模型，所述模型包括失误参数和猜测参数；
第一计算单元，用于利用期望最大化EM算法估计所述失误参数和所述猜测参数；
第二计算单元，用于根据估计得到的所述失误参数和所述猜测参数计算被试的知识状态。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述第一计算单元包括：
赋值单元，对所述失误参数和所述猜测参数赋初值，并计算比值常数；
第三计算单元，根据所述项目属性关系Q矩阵和所述比值常数计算第一概率；
第四计算单元，根据所述项目属性关系Q矩阵和所述被试反应X矩阵计算第二概率；
第五计算单元，根据所述被试反应X矩阵、所述第一概率和所述第二概率计算第三概率；
第六计算单元，利用所述第三概率计算第一期望和第二期望，并根据所述第一期望和所述第二期望计算所述失误参数和所述猜测参数；
判断单元，判断所述失误参数和所述猜测参数是否收敛，并在不收敛的情况下进行迭代计算。
本发明提供了认知诊断方法和系统，方法获取认知属性信息和被试反应信息；根据认知属性信息确定项目属性关系Q矩阵，并根据被试反应信息确定被试反应X矩阵；构建OR-DINA模型，模型包括失误参数和猜测参数；利用期望最大化EM算法估计失误参数和猜测参数；根据估计得到的失误参数和猜测参数计算被试的知识状态。本发明提供的认知诊断方法和系统，提出了一种优化的认知诊断模型，可以使正确作答项目的概率随着被试掌握项目所测属性数量的增多而增大，精准诊断被试的薄弱知识点及技能点。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的认知诊断方法流程图；
图2为本发明实施例提供的步骤S102方法流程图；
图3为本发明实施例提供的步骤S104方法流程图；
图4为本发明实施例提供的认知诊断系统结构示意图；
图5为本发明实施例提供的属性层级关系实例；
图6为本发明实施例提供的每种掌握模式下7道题答对的概率值运行结果图；
图7为本发明实施例提供的每种掌握模式下有此项目反应的概率值运行结果图；
图8为本发明实施例提供的每种反应下每一种掌握模式的概率值运行结果图；
图9为本发明实施例提供的10次迭代结束后各项目的s值和g值运行结果图；
图10为本发明实施例提供的OR-DINA模型得到10名被试学生的属性掌握情况运行结果图；
图11为本发明实施例提供的参数估计步骤原理图；
图12为本发明实施例提供的被试知识状态估计步骤原理图。
图标：
10-获取单元；20-确定单元；30-构建单元；40-第一计算单元；50-第二计算单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的认知诊断模型缺少对被试的薄弱点和技能点精准判断能力，基于此，本发明实施例提供的认知诊断方法和系统，可以使正确作答项目的概率随着被试掌握项目所测属性数量的增多而增大，从而精准诊断被试的薄弱知识点及技能点。
为便于对本实施例进行理解，首先对本发明实施例所公开的认知诊断方法进行详细介绍。
实施例一：
图1为本发明实施例提供的认知诊断方法流程图。
参照图1，认知诊断方法包括：
步骤S101，获取认知属性信息和被试反应信息；
步骤S102，根据认知属性信息确定项目属性关系Q矩阵，并根据被试反应信息确定被试反应X矩阵；
步骤S103，构建OR-DINA模型，模型包括失误参数和猜测参数；
步骤S104，利用期望最大化EM算法估计失误参数和猜测参数；
步骤S105，根据估计得到的失误参数和猜测参数计算被试的知识状态。
具体地，为了实现技术目的，本发明实施例提出了OR-DINA模型。我们引入参数γij(比值常数)，并对被试的猜测假设进行重新定义，避免了出现随着掌握属性的增加，正确作答概率却降低的现象，严格验证了被试答对试题的可能性应该随着被试已经掌握属性个数的增多而增大的假设。而针对现有技术可解释性较差的问题及参数估计计算量大的问题，我们令ηij(门常数)取值为0或1，具有较强的解释性，明确表示了被试是否掌握了项目所考察的全部属性。
现将本发明实施例提出的OR-DINA模型解释如下：
qj＝{qjk}k＝[1,…,K]表示项目j考察的属性，若qik＝1，则项目j考察了第k个属性；若qik＝0，则项目j没有考察第k个属性。
αi＝{αik}表示被试i的属性掌握模式，k＝1,…,K，若αik＝1，则被试i掌握了第k个属性；若αik＝0，则被试i没有掌握第k个属性。
Xij是被试i在项目j上的作答反应，若Xij＝1，则被试i答对项目j；若Xij＝0，则被试i答错项目j。定义OR-DINA模型中被试i的知识状态为αi，正确作答项目j的概率如公式(1)所示：
上式中，
sj＝P(Xij＝0|ηij＝1)，表示被试i在项目j上失误的概率，即被试i已经掌握了项目j所考察的全部属性，但出现失误而答错该项目的概率。
gj＝P(Xij＝1|ηij＝0)，表示被试i在项目j上猜对的概率，即被试i并没有掌握了项目j所考察的全部属性，但由于猜测而正确作答该项目的概率。
ηij＝1，代表被试i掌握了项目j所考察的全部属性；ηij＝0，代表被试i至少有一个项目j所考察的属性未掌握。
γij是一个比值下的常数，比值的分子是被试已经掌握的，并且能有效用来解答该项目的属性个数，比值的分母是项目j所考察的属性总个数。
OR-DINA模型比值常数的具体解释如下所示：
(1)当0≤γij<1，被试通过猜测答题，答对的概率是即被试的答对概率是随着掌握属性的个数的增多而增大的，特别地，当γij＝0，即学生对于项目j，一个属性都没有掌握，P(Xi|αi)＝gj。
(2)当γij值为1时，即被试掌握项目j的所有属性，即ηij值为1，被试答对此题的概率为P(Xi|αi)＝1-sj。
根据本发明的示例性实施例，步骤S102包括：
参照图2，步骤S201，根据认知属性信息建立层级关系；
步骤S202，根据层级关系建立邻接矩阵，并将邻接矩阵转换成可达矩阵；
步骤S203，利用扩张算法，根据邻接矩阵和可达矩阵得到理想掌握模型；
步骤S204，根据认知属性信息和理想掌握模型建立项目属性关系Q矩阵。
根据本发明的示例性实施例，步骤S104包括：
参照图3，步骤S301，对失误参数和猜测参数赋初值，并计算比值常数，其中，比值常数的分子为被试已经掌握且能解答项目的属性个数，比值常数的分母为项目所考察的属性总个数；
步骤S302，根据项目属性关系Q矩阵和比值常数计算第一概率；
步骤S303，根据项目属性关系Q矩阵和被试反应X矩阵计算第二概率；
步骤S304，根据被试反应X矩阵、第一概率和第二概率计算第三概率；
步骤S305，利用第三概率计算第一期望和第二期望，并根据第一期望和第二期望计算失误参数和猜测参数；
步骤S306，判断失误参数和猜测参数是否收敛，并在不收敛的情况下进行迭代计算。
根据本发明的示例性实施例，还包括：
根据式(2)计算猜测参数：
或者；
根据式(3)计算失误参数；
其中，为猜测参数，为失误参数，Rjl为第一期望，Il为第二期望，l为第l个理想掌握模式，j为第j个项目。
具体地，关于参数部分进行详细阐述，可参见图11。E-M算法是一种求参数极大似然估计的方法，具有稳定简单的特点。从宏观上来看，E-M算法只需要先初始化分布参数，然后重复迭代，直到参数收敛于某一个值。从具体步骤上来看，E-M算法是两个步骤交替进行，即期望步(E-step)和最大化步(M-step)。
E-M算法中以边缘似然为基础进行参数估计，则可以重新表示为式(4)：
其中，qj是Q矩阵中的第j行。当αi'qj<qj'qj时，ηij＝0；当αi'qj＝qj'qj时，ηij＝1。OR-DINA模型是在掌握模式下的反应模式Xij的条件分布，此处我们假设被试者在每个项目上的反应都是独立的，因此被试i的反应模式Xi的条件似然函数为式(5)所示：
对于所有被试的反应X的条件分布为式(6)：
我们令βj0＝gj，βj1＝sj，为了得到β＝(s1,g1,…,sJ,gJ)。我们给出反应矩阵X的边际似然函数如式(7)：
为了方便计算，我们写出对数似然函数如式(8)所示：
进而得到似然方程如式(9)所示：
整理后如式(10)所示：
上式中右边的偏导等价于以下式(11)：
结合上面两个式子，可以得到式(12)：
进而得出式(13)：
其中，P(αl|Xi)是被试i拥有第l个属性的后验概率。是被试i拥有掌握模式αl的期望。是答对项目j的被试i所拥有属性的期望。
对于式(14)，令即可得到式(15)和式(16)：
解得式(17)：
同理可得式(4)。
至此，OR-DINA模型的失误参数和猜测参数的推导部分结束，重复迭代，直至收敛。
参数估计的步骤为：
第一步：确定项目与属性关联的Q矩阵和反应矩阵X；
第二步：给项目参数赋初值sj＝0.25,gj＝0.1，并计算γij；
第三步：计算掌握模式为αl，l＝1,…L的被试答对项目j的概率Pj(αl)，公式如式(4)所示：
第四步：计算掌握模式为αl，l＝1,…L的被试对所有项目的作答概率P(Xi|αl)，公式(18)如下：
第五步：计算作答反应为Xi的被试，掌握模式为αl概率P(αl|Xi)，公式(19)如下：
第六步：估计猜测参数和失误参数
第七步：重复3-6步，直至参数收敛为止，输出猜测参数和失误参数。
根据本发明的示例性实施例，步骤S105包括：
根据失误参数和猜测参数进行迭代计算，得到多个第三概率；
从多个第三概率中选取最大的掌握模式，并将最大的掌握模式作为知识状态。
根据本发明的示例性实施例，还包括：
根据式(20)计算掌握模式：
αi＝argmax{P(αl|Xi)} (20)
其中，αi为被试i的掌握模式，P(αl|Xi)为第三概率，Xi为被试i的作答反应。
具体地，关于计算被试的知识状态内容进行详细阐述，参照图12。OR-DINA模型是一种具有显性表达式的诊断模型，在已经估算出模型参数后，可采用经典条件估计方法来估算被试的知识状态。常用的方法有最大后验估计法(MAP)和期望后验估计法(EAP)。
(1)通过期望后验估计法估算被试知识状态(EAP)
期望后验估计法中，计算知识状态的期望如式(21)所示：
得到被试的知识状态的期望值是连续的。
(2)通过最大后验估计法估算被试知识状态(MAP)，如式(22)所示：
αMAP＝argmax{P(αl|Xi)} (22)
即使得概率P(αl|Xi)最大的理想掌握模式αl即为被试i的掌握模式。
诊断被试的掌握模式的具体步骤为：
第一步：确定项目与属性关联的Q矩阵和反应矩阵X；
第二步：计算γij；
第三步：用估计的失误和猜测系数计算掌握模式为αl，l＝1,…L的被试答对项目j的概率Pj(αl)，公式如式(4)所示；
第四步：计算掌握模式为αl，l＝1,…L的被试对所有项目的作答概率P(Xi|αl)，公式如式(18)所示；
第五步：计算作答反应为Xi的被试，掌握模式为αl概率P(αl|Xi)，公式如式(19)；
第六步：计算被试的知识状态，使得概率P(αl|Xi)最大的掌握模式即为被试i的知识状态αi，计算公式如式(20)。
实施例二：
图4为本发明实施例提供的认知诊断系统结构示意图。
参照图4，认知诊断系统包括:
获取单元10，用于获取认知属性信息和被试反应信息；
确定单元20，用于根据认知属性信息确定项目属性关系Q矩阵，并根据被试反应信息确定被试反应X矩阵；
构建单元30，用于构建OR-DINA模型，模型包括失误参数和猜测参数；
第一计算单元40，用于利用期望最大化EM算法估计所述失误参数和所述猜测参数；
第二计算单元50，用于根据所述失误参数和所述猜测参数计算被试的知识状态。
根据本发明的示例性实施例，确定单元20包括：
根据认知属性信息建立层级关系；
根据层级关系建立邻接矩阵，并邻接矩阵转换成可达矩阵；
利用扩张算法，根据邻接矩阵和可达矩阵得到理想掌握模型；
根据认知属性信息和理想掌握模型建立项目属性关系Q矩阵。
根据本发明的示例性实施例，第一计算单元40包括：
赋值单元(未示出)，对失误参数和猜测参数赋初值，并计算比值常数；
第三计算单元(未示出)，根据项目属性关系Q矩阵和比值常数计算第一概率；
第四计算单元(未示出)，根据项目属性关系Q矩阵和被试反应X矩阵计算第二概率；
第五计算单元(未示出)，根据被试反应X矩阵、第一概率和第二概率计算第三概率；
第六计算单元(未示出)，利用第三概率计算第一期望和第二期望，并根据第一期望和第二期望计算失误参数和猜测参数；
判断单元(未示出)，判断失误参数猜测参数是否收敛，并在不收敛的情况下进行迭代计算。
根据本发明的示例性实施例，第二计算单元50包括：
根据失误参数和猜测参数进行迭代计算，得到多个第三概率；
从多个第三概率中选取最大的掌握模式，并将最大的掌握模式作为知识状态。
本发明实施例提供的认知诊断系统，与实施例提供的认知诊断方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例三：
我们以7年级数学上册中的第四章《代数式》为例，建立认知属性框架。首先确定五个认知属性，以表格的形式呈现需要掌握的属性，如表1所示：
表1认知属性实例
接着对属性建立层级关系，如图5所示。
根据层级关系建立邻接矩阵。
邻接矩阵(A矩阵)反应了属性之间的直接关系，由k*k的0-1矩阵表示。属性之间如果存在直接关系，在邻接矩阵中相应元素用“1”表示；属性之间如果无直接关系(包括间接关系和自身关系)，在邻接矩阵中相应元素用“0”表示。实例中属性邻接矩阵如式(23)：
将邻接矩阵转换为可达矩阵。可达矩阵(R矩阵)反应了属性之间的直接关系、间接关系和自身关系。与邻接矩阵相似，可达矩阵也是由k*k的0-1矩阵表示。属性之间如果存在联系(包括直接关系、间接关系和自身关系)，在可达矩阵中相应元素用“1”表示；否则用“0”表示。实例中属性可达矩阵如式(24)：
通过扩张算法得出理想掌握模式。实例中图5有5个属性，则被试所有的掌握模式应该有32种。然而由于属性之间是有一定的层级关系的，必定这些掌握模式中有一些是不符合逻辑的。因此我们采用扩张算法来剔除无效的掌握模式，即确定理想掌握模式。
扩张算法以邻接矩阵(R矩阵)为基础，每一列代表一种掌握模式。从第一列分别与后边的列做布尔加法，若出现新列，则把该列加到原来的R阵后，循环直至不再有新列出现。此时R阵的每一列均为一种掌握模式，R阵所有的列即为理想掌握模式。
以实例中图5所示层级关系为例，对式(24)进行变换：
(1)从第一列开始，与后边所有列做布尔加法，得出式(25)：
可以看出，新增的四列与前边矩阵中的列有重复，因此R阵没有新增列，第一次循环结束，R阵不变。即R1＝R。
(2)从第二列开始，与后边所有列做布尔加法，得出式(26)：
可以看出，新增的三列与前边矩阵中的列也有重复，因此R阵也没有新增列，第二次循环结束，R阵也不变。即R2＝R。
(3)从第三列开始，与后边所有列做布尔加法，得出式(27)：
可以看出，本次循环结束时，新增的两列与前边的列相比，均没有重复，因此将这两列加入到矩阵中，此时矩阵有7列。
(4)从第四列开始，与后边所有列做布尔加法，得出式(28)：
可以看出，本次循环结束时，新增的三列中(11110)是重复列，不再加入到矩阵中，此时矩阵有9列。
(5)从第五列开始，与后边所有列做布尔加法，得出式(29)：
可以看出，新增的四列与前边矩阵中的列都有重复，因此R阵也没有新增列，第五次循环结束，R5＝R4。
整个循环到此结束，加上全部属性未掌握模式(00000)，矩阵共10列，如式(30)所示：
由于R矩阵的每一列代表着一种掌握模式，因此被试的理想掌握模式共有10种，分别是(10000)、(11000)、(11100)、(11010)、(11001)、(11110)、(11101)、(11011)、(11111)、(00000)。
然后，建立Q矩阵。根据表1和图5中建立的属性框架并结合理想掌握模式，我们制定了一套包含7个项目的测验，测验中每个项目包含若干个属性。项目与属性的关系如表2所示。
表2测验中项目与属性的关系
| 项目/属性 | A1 | A2 | A3 | A4 | A5 |
| ITEM1 | 1 | 1 | 0 | 0 | 0 |
| ITEM2 | 1 | 1 | 1 | 1 | 0 |
| ITEM3 | 1 | 1 | 1 | 0 | 0 |
| ITEM4 | 1 | 1 | 1 | 0 | 1 |
| ITEM5 | 1 | 1 | 0 | 1 | 0 |
| ITEM6 | 1 | 1 | 0 | 1 | 0 |
| ITEM7 | 1 | 1 | 1 | 1 | 1 |
根据表中描述的项目与属性的关系，我们可以得到一个7行5列的Q矩阵，矩阵中的元素代表着某个项目中是否测量了某个属性。如Q23＝1表示第二个项目中测量了第三个属性；Q14＝0表示第一个项目中没有测量到第四个属性。Q矩阵如下式表示项目与属性关系的Q矩阵如式(31)所示：
参数估计。我们以上述测验为基础，组织了10名学生进行测试，得到了一组被试反应数据，如表3所示。
表3被试反应数据
接下来根据OR-DINA模型参数估计过程，估算本次测验中7个项目的猜测参数和失误参数。计算机实现代码可见附录部分，具体步骤如下：
第一步：确定项目与属性关系的Q矩阵和项目反应的X矩阵。
第二步：给项目参数赋初值，s1＝0.1，g1＝0.25。
第三步：求Pj(αl)，即每种掌握模式下每题答对的概率，计算公式如式(4)所示。
实例中共9种掌握模式，7个题，用OR-DINA模型计算每种理想掌握模式下，被试答对的概率如图6所示。我们可以看出用OR-DINA模式计算时，学生答对试题的概率会随着掌握属性的个数的增加而增大，将没有完全掌握分为多个等级，更加精细。
第四步，求P(Xi|αl)，每种理想掌握模式下，计算公式如(18)所示。
实例中10个学生分别有此反应的概率。程序执行结果如图7所示。
第五步，求P(αl|Xi)，即每种反应下，每一种掌握模式的概率，计算公式如(19)所示。程序执行结果如图8所示。
第六步，求猜测参数和失误参数。第1次迭代结束后，7个项目的猜测参数和失误参数的值如图9所示。为了使误差更小，我们设置程序迭代次数为10，最终的值即为每个项目的猜测参数和失误参数的估计值。通过图9可以看出，大多数项目的失误参数和猜测参数都小于0.4，说明参数估值是准确的。
诊断被试知识状态。OR-DINA模型是一种具有显性表达式的诊断模型，在已经估算出模型参数后，可采用经典条件估计方法来估算被试的知识状态。常用的方法有最大后验估计法(MAP)和期望后验估计法(EAP)。
(1)通过期望后验估计法估算被试知识状态(EAP)
期望后验估计法中，计算知识状态的期望如式(21)所示。
实例中输出的10名学生在5个属性上的掌握情况，程序执行结果如图10所示。
(2)通过最大后验估计法估算被试知识状态(MAP)如式(22)所示。
我们计算出了每种反应下的每一种掌握模式的概率，其中概率值最大的那个掌握模式即为估算出的被试知识状态。实例中10名学生的知识状态，如表4所示。
表4统计10名学生的知识状态表
| 学生序号 | 知识状态 | 学生序号 | 知识状态 |
| 学生1 | (1 1 0 0 0) | 学生6 | (1 1 1 0 1) |
| 学生2 | (1 1 1 0 1) | 学生7 | (1 0 0 0 0) |
| 学生3 | (1 0 0 0 0) | 学生8 | (1 1 0 0 0) |
| 学生4 | (1 1 0 1 0) | 学生9 | (1 1 0 1 0) |
| 学生5 | (1 1 0 0 0) | 学生10 | (1 1 1 0 1) |
总体来说，本发明OR-DINA模型对比现有技术具有以下优点：
(1)OR-DINA模型中学生掌握的属性个数越大，答对该题目的可能性就越大；
(2)OR-DINA模型对被试的潜在知识状态划分更为细致，在未完全掌握的类别中，将掌握属性个数不同的被试清晰的区别开。通过这种方式远远降低了猜测参数，使被试知识状态的估计更加精准；
(3)OR-DINA模型的猜测假设更为严格，避免了现有技术出现的漏洞。而且引入参数之后，解释性更好的同时没有增加参数估计的难度，参数同样易于估计。
本发明实施例所提供的认知诊断方法以及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种认知诊断方法，其特征在于，包括：
获取认知属性信息和被试反应信息；
根据所述认知属性信息确定项目属性关系Q矩阵，并根据所述被试反应信息确定被试反应X矩阵；
构建OR-DINA模型，所述模型包括失误参数和猜测参数；
利用期望最大化EM算法估计所述失误参数和所述猜测参数；
根据估计得到的所述失误参数和所述猜测参数计算被试的知识状态。
2.根据权利要求1所述的认知诊断方法，其特征在于，所述构建OR-DINA模型包括：
排除失误和猜测因素；
引入比值常数，定义理想反应潜变量以使被试正确作答项目的概率随所述被试掌握属性个数的增多而增大；
引入门常数以表明所述被试是否掌握了项目所考察的全部属性。
3.根据权利要求2所述的认知诊断方法，其特征在于，所述构建OR-DINA模型还包括：
根据下式计算所述被试正确作答某项目的概率：
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>|</mo>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<msub>
<mi>&eta;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>g</mi>
<mi>j</mi>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>&gamma;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>&eta;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</msup>
</mrow>
其中，P(Xij＝1|αi)为所述作答概率，为所述失误参数，为所述猜测参数，ηij为门常数，j表示项目j。
4.根据权利要求1所述的认知诊断方法，其特征在于，所述根据所述认知属性信息确定项目属性关系Q矩阵包括：
根据所述认知属性信息建立层级关系；
根据所述层级关系建立邻接矩阵，并将所述邻接矩阵转换成可达矩阵；
利用扩张算法，根据所述邻接矩阵和所述可达矩阵得到理想掌握模型；
根据所述认知属性信息和所述理想掌握模型建立所述项目属性关系Q矩阵。
5.根据权利要求1所述的认知诊断方法，其特征在于，所述利用期望最大化EM算法估计所述失误参数和所述猜测参数包括：
对所述失误参数和所述猜测参数赋初值，并计算比值常数，其中，所述比值常数的分子为所述被试已经掌握且能解答项目的属性个数，所述比值常数的分母为所述项目所考察的属性总个数；
根据所述项目属性关系Q矩阵和所述比值常数计算第一概率；
根据所述项目属性关系Q矩阵和所述被试反应X矩阵计算第二概率；
根据所述被试反应X矩阵、所述第一概率和所述第二概率计算第三概率；
利用所述第三概率计算第一期望和第二期望，并根据所述第一期望和所述第二期望计算所述失误参数和所述猜测参数；
判断所述失误参数和所述猜测参数是否收敛，并在不收敛的情况下进行迭代计算。
6.根据权利要求5所述的认知诊断方法，其特征在于，还包括：
根据下式计算所述猜测参数：
<mrow>
<msub>
<mover>
<mi>g</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msup>
<msub>
<mi>&alpha;</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo><</mo>
<msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>R</mi>
<mrow>
<mi>j</mi>
<mi>l</mi>
</mrow>
</msub>
<msub>
<mi>I</mi>
<mi>l</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>&gamma;</mi>
<mrow>
<mi>l</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
</msup>
</mrow>
或者；
根据下式计算所述失误参数；
<mrow>
<msub>
<mover>
<mi>s</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msup>
<msub>
<mi>&alpha;</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msub>
<mi>R</mi>
<mrow>
<mi>j</mi>
<mi>l</mi>
</mrow>
</msub>
</mrow>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msup>
<msub>
<mi>&alpha;</mi>
<mi>l</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msub>
<mi>I</mi>
<mi>l</mi>
</msub>
</mrow>
</mfrac>
</mrow>
其中，为所述猜测参数，为所述失误参数，Rjl为所述第一期望，Il为所述第二期望，l为第l个理想掌握模型，j为第j个项目。
7.根据权利要求1所述的认知诊断方法，其特征在于，所述根据估计得到的所述失误参数和所述猜测参数计算被试的知识状态包括：
根据所述失误参数和所述猜测参数进行迭代计算，得到多个第三概率；
从多个所述第三概率中选取最大的掌握模式，并将所述最大的掌握模式作为所述知识状态。
8.根据权利要求7所述的认知诊断方法，其特征在于，还包括：
根据下式计算所述掌握模式：
αi＝argmax{P(αl|Xi)}
其中，αi为被试i的所述掌握模式，P(αl|Xi)为所述第三概率，Xi为所述被试i的作答反应。
9.一种认知诊断系统，其特征在于，包括:
获取单元，用于获取认知属性信息和被试反应信息；
确定单元，用于根据所述认知属性信息确定项目属性关系Q矩阵，并根据所述被试反应信息确定被试反应X矩阵；
构建单元，用于构建OR-DINA模型，所述模型包括失误参数和猜测参数；
第一计算单元，用于利用期望最大化EM算法估计所述失误参数和所述猜测参数；
第二计算单元，用于根据估计得到的所述失误参数和所述猜测参数计算被试的知识状态。
10.根据权利要求9所述的认知诊断系统，其特征在于，所述第一计算单元包括：
赋值单元，对所述失误参数和所述猜测参数赋初值，并计算比值常数；
第三计算单元，根据所述项目属性关系Q矩阵和所述比值常数计算第一概率；
第四计算单元，根据所述项目属性关系Q矩阵和所述被试反应X矩阵计算第二概率；
第五计算单元，根据所述被试反应X矩阵、所述第一概率和所述第二概率计算第三概率；
第六计算单元，利用所述第三概率计算第一期望和第二期望，并根据所述第一期望和所述第二期望计算所述失误参数和所述猜测参数；
判断单元，判断所述失误参数和所述猜测参数是否收敛，并在不收敛的情况下进行迭代计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710637344.7A CN107562697A (zh) | 2017-07-28 | 2017-07-28 | 认知诊断方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710637344.7A CN107562697A (zh) | 2017-07-28 | 2017-07-28 | 认知诊断方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107562697A true CN107562697A (zh) | 2018-01-09 |
Family
ID=60974707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710637344.7A Pending CN107562697A (zh) | 2017-07-28 | 2017-07-28 | 认知诊断方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107562697A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930033A (zh) * | 2019-11-25 | 2020-03-27 | 南昌航空大学 | 一种呈现大学生英语阅读认知诊断报告的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1516859A (zh) * | 2001-04-20 | 2004-07-28 | 教育考试服务中心 | 潜在属性的诊断方法 |
| US20160005323A1 (en) * | 2014-07-03 | 2016-01-07 | Mentorum Solutions Inc. | Adaptive e-learning system and method |
| CN105808970A (zh) * | 2016-05-09 | 2016-07-27 | 南京智精灵教育科技有限公司 | 一种在线认知评估系统及评估方法 |
-
2017
- 2017-07-28 CN CN201710637344.7A patent/CN107562697A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1516859A (zh) * | 2001-04-20 | 2004-07-28 | 教育考试服务中心 | 潜在属性的诊断方法 |
| US20160005323A1 (en) * | 2014-07-03 | 2016-01-07 | Mentorum Solutions Inc. | Adaptive e-learning system and method |
| CN105808970A (zh) * | 2016-05-09 | 2016-07-27 | 南京智精灵教育科技有限公司 | 一种在线认知评估系统及评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘妍等: "认知诊断理论在计算机自适应测试中的应用与启示", 《中国远程教育》 * |
| 臧芳: "基于认知诊断理论的小学生数学能力评价研究", 《中国优秀硕士学位论文全文数据库工程科技I辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930033A (zh) * | 2019-11-25 | 2020-03-27 | 南昌航空大学 | 一种呈现大学生英语阅读认知诊断报告的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | A sequential cognitive diagnosis model for polytomous responses | |
| CN110378818B (zh) | 基于难度的个性化习题推荐方法、系统及介质 | |
| De La Torre et al. | Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data | |
| Lall et al. | The MIDAS touch: accurate and scalable missing-data imputation with deep learning | |
| De La Torre | An empirically based method of Q‐matrix validation for the DINA model: Development and applications | |
| Thissen et al. | Item response theory | |
| Scharfstein et al. | Incorporating prior beliefs about selection bias into the analysis of randomized trials with missing outcomes | |
| McFowland III et al. | Efficient Discovery of Heterogeneous Quantile Treatment Effects in Randomized Experiments via Anomalous Pattern Detection | |
| KR102233255B1 (ko) | 인지 진단 모델의 신뢰도를 이용한 학습자 진단 장치 및 방법 | |
| JP2004527049A (ja) | 潜在特性の診断方法 | |
| Xu et al. | Comparison of Methods to Trace Multiple Subskills: Is LR-DBN Best?. | |
| Nandi et al. | An EM algorithm for estimating the parameters of bivariate Weibull distribution under random censoring | |
| Blanken et al. | Estimating network structures using model selection | |
| Chung | Estimating the Q-matrix for cognitive diagnosis models in a Bayesian framework | |
| CN112905784A (zh) | 基于学生画像的个性化试题推荐方法 | |
| Sharma | Necessary and probably sufficient test for finding valid instrumental variables | |
| Barnes et al. | Experimental analysis of the q-matrix method in knowledge discovery | |
| Iaconangelo | Uses of classification error probabilities in the three-step approach to estimating cognitive diagnosis models | |
| Xiong et al. | Data‐driven Q‐matrix learning based on Boolean matrix factorization in cognitive diagnostic assessment | |
| CN107562697A (zh) | 认知诊断方法和系统 | |
| Thompson | Bayesian psychometrics for diagnostic assessments: A proof of concept | |
| JP2017207577A (ja) | 評価システム、評価方法、評価プログラム、及び記録媒体 | |
| Schweinberger et al. | Foundations of finite-, super-, and infinite-population random graph inference | |
| Levy et al. | Ranking recovery from limited pairwise comparisons using low-rank matrix completion | |
| Hsu et al. | Testing monotonicity of conditional treatment effects under regression discontinuity designs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |