CN111460128A - 一种基于认知诊断的计算机化自适应测验方法 - Google Patents
一种基于认知诊断的计算机化自适应测验方法 Download PDFInfo
- Publication number
- CN111460128A CN111460128A CN201911114411.2A CN201911114411A CN111460128A CN 111460128 A CN111460128 A CN 111460128A CN 201911114411 A CN201911114411 A CN 201911114411A CN 111460128 A CN111460128 A CN 111460128A
- Authority
- CN
- China
- Prior art keywords
- test
- question
- tester
- probability
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1053—Employment or hiring
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于认知诊断的计算机化自适应测验方法,包括以下步骤,S1、建立选题模型,需要大量的作答数据和试题考查知识点数据;S2、测试者登陆系统;S3、选择第一道试题,选取一道试题进行测试;S4、每一题结束后计算测试者当前知识掌握状态;S5、通过条件判定是否作答结束;S6、测试结束,输出结果;本发明技术非常新颖,与当前在线测验采用固定试卷的方式技术相比,本技术能缩减测验长度,节省被试者的时间,又能准确的测量出被试者的知识掌握水平;使用自适应测验可以缩少测验的长度和诊断不同能力的被试者;与传统测验相比,使用自适应测验可以大大缩减测验长度;采用香农熵选题法和GDINA模型,可以提高测量精度。
Description
技术领域
本发明涉及计算机应用技术领域,具体为一种基于认知诊断的计算机化 自适应测验方法。
背景技术
在传统测验中,测验的长度是固定的,整个测验的难度和区分度也是不 确定的,只能通过资深教师依据自身的经验来选择测验的题目,而且主观性 太强,导致题目的难度不一,无法有效的区分被试者的真实能力水平;当前 在线测验都是采用固定试卷的方式,并且整张试卷试题的选取只能由教师完 成,每名教师的经验不同,可能无法有效选取适合被试者的题目,导致整个 测验的信度和区分度不高,从而无法有效的测出被试者的知识水平,而且测 验长度的固定,有些被试者可能并不需要做这么多的题,便可以测出掌握水平,这就造成了资源浪费;
本发明是基于香农熵选题法和GDINA模型,针对不同的被试者,选取与 之相适应的题目,并诊断出被试者的知识掌握水平。当被试者每做完一道题, 系统会自动选择最符合被试者知识掌握水平的一道题。香农熵越大,其不确 定性越大。本发明中自适应测验就是根据香农熵的原理,将待选择的道题结 合被试的作答转化为熵,从而选择出香农熵最小的题目。
发明内容
本发明的目的在于提供一种基于认知诊断的计算机化自适应测验方法, 具有使用香农熵熵选题法和GDINA模型,结合被试者的能力水平,选择与被 试者相符合的题目;缩减测验长度,节省被试者的时间,又能准确的测量出 被试者的知识掌握水平等优点,用以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于认知诊断的计算 机化自适应测验方法,包括如下步骤:
S1、建立选题模型,首先需要准备好大量的作答数据和试题考查知识点 数据,再将这俩份数据输入到GDINA模型中,根据公式
估算出试题的参数值;
S2、测试者登陆系统,测试者通过账户以及密码等进行登陆系统,且对 于初次登陆者,需要通过身份验证和基本信息进行注册账户和设定密码,然 后进行系统的登陆;
S3、选择第一道试题,开始选取一道试题,并且根据注册信息或者是测 试者的信息备注信息,选取适合测试者相应程度的试题,用以供测试者进行 测试作答;
S4、计算测试者当前状态,在测试者进行一道相关知识点题目的作答后, 将测试者的答案和知识点输入到程序中,然后程序使用GDINA模型公式
,估计出测试者此时的知识掌握概率,再根据SHE公式
计算尚未作答的每道题之间的香农熵,比较他们之间香农熵的大小,选择熵 值最小的一道题,输入到前端页面,以供测试者再次答题;
S5、确定是否作答结束,在测试的过程中对与每道试题进行知识掌握概 率的计算,此过程经过多次迭代,直到测试者的知识掌握概率变化小于 0.0001,或者达到最大的测验长度,测验终止;
S6、测试结束,测试结束后,根据知识点掌握的概率进行判断知识点的 掌握情况,如果是在测试者的知识掌握概率变化小于0.0001的情况下结束的, 则显示知识点掌握较好,当是在达到最大的测验长的情况下结束的,则显示 知识点掌握不好,需要加紧练习。
所述步骤S1中的GDINA模型用于计算测试者对于知识点掌握的程度,且 DINA模型是认知诊断潜在分类模型中的一种,DINA模型是一个简单的随机连 接模型,DINA模型只涉及"失误"和"猜测"两个参数,比其他模型更加简洁、灵 活和易于解释。
所述步骤S3中的第一道题需要根据测试者的水平进行选择题目的难易程 度,即DINA模型中的认知诊断计量模型进行测试则水平,然后通过香农熵公 式进行计算题目的香农熵的大小,然后选取相应程度的题目。
所述香农熵公式计算得出每道题的香农熵,香农熵即时每道题的信息量 大小和它的不确定性有直接的关系,且对于任意不确定的随机变量X的熵公 式为
所述步骤S4中GDINA模型公式是基于一致性链接函数的G-GDINA模型公式,其中δj0为项目j的截距,也称为基线概率,即测试者若未掌握项目测量的所有属性而答 对项目的概率,该值为非负数,δjk为项目j上属性k的主效应,一般为非负数,代 表测试者掌握了属性k而答对项目概率的增加效应,其值越大说明掌握该属性对答对项 目的重要性越大,δjkk′为项目j上属性k和属性k′的交互效应,为项 目j测量所有属性间的交互效应。
所述步骤S4中SHE公式为对于待选的第t+1题测试者得分的可能为0或 者1,具体值不确定,因此作答第t+1题后,KS后验概率期望香农熵,由全概 率公式可知,对于待选择题的第t+1题,已知KS的先验分布时,得分为q的 概率为
所述步骤S5中对于最大的测验长度需要进行设定,且设定的最大的测验 长度为香农熵达不到最小值0.0001之前进行测试结束的标准。
所述步骤S5中的迭代过程为测试过后计算每道题的知识掌握概率变化小 于0.0001,如果知识掌握概率变化不小于0.0001的时候进行迭代步骤。
与现有技术相比,本发明的有益效果是:
本发明技术非常新颖,与当前在线测验采用固定试卷的方式技术相比, 本技术能缩减测验长度,节省被试者的时间,又能准确的测量出被试者的知 识掌握水平;使用自适应测验可以缩少测验的长度和诊断不同能力的被试者; 与传统测验相比,使用自适应测验可以大大缩减测验长度;采用香农熵选题 法和GDINA模型,可以提高测量精度。
附图说明
图1为本发明的方法流程示意框图。
具体实施方式
下面将结合本发明实例中的附图,对本发明实例中的技术方案进行清楚、 完整地描述。所描述的实例仅仅是本发明的一部分实例,而不是全部的实例。 基于本发明中的实例,本领域其他人员在没有做出创造性改变前提下所获得 的所有其他实例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种基于认知诊断的计算机化自 适应测验方法,包括如下步骤:
S1、建立选题模型,首先需要准备好大量的作答数据和试题考查知识点 数据,再将这俩份数据输入到GDINA模型中,根据公式
估算出试题的参数值;
S2、测试者登陆系统,测试者通过账户以及密码等进行登陆系统,且对 于初次登陆者,需要通过身份验证和基本信息进行注册账户和设定密码,然 后进行系统的登陆;
S3、选择第一道试题,开始选取一道试题,并且根据注册信息或者是测 试者的信息备注信息,选取适合测试者相应程度的试题,用以供测试者进行 测试作答;
S4、计算测试者当前状态,在测试者进行一道相关知识点题目的作答后, 将测试者的答案和知识点输入到程序中,然后程序使用GDINA模型公式
,估计出测试者此时的知识掌握概率,再根据SHE公式
计算尚未作答的每道题之间的香农熵,比较他们之间香农熵的大小,选择熵 值最小的一道题,输入到前端页面,以供测试者再次答题;
S5、确定是否作答结束,在测试的过程中对与每道试题进行知识掌握概 率的计算,此过程经过多次迭代,直到测试者的知识掌握概率变化小于 0.0001,或者达到最大的测验长度,测验终止;
S6、测试结束,测试结束后,根据知识点掌握的概率进行判断知识点的 掌握情况,如果是在测试者的知识掌握概率变化小于0.0001的情况下结束的, 则显示知识点掌握较好,当是在达到最大的测验长的情况下结束的,则显示 知识点掌握不好,需要加紧练习。
所述步骤S1中的GDINA模型用于计算测试者对于知识点掌握的程度,且 DINA模型是认知诊断潜在分类模型中的一种,DINA模型是一个简单的随机连 接模型,DINA模型只涉及"失误"和"猜测"两个参数,比其他模型更加简洁、灵 活和易于解释,该处的GDINA模型可以有效的计算出知识点掌握程度,使得能 够进行对知识点掌握程度的水平进行选题。
所述步骤S3中的第一道题需要根据测试者的水平进行选择题目的难易程 度,即DINA模型中的认知诊断计量模型进行测试则水平,然后通过香农熵公 式进行计算题目的香农熵的大小,然后选取相应程度的题目,该处的选择第 一道题需根据测试者的现有水平进行选择,用以判断后续题目选择的难易程 度。
所述香农熵公式计算得出每道题的香农熵,香农熵即时每道题的信息量 大小和它的不确定性有直接的关系,且对于任意不确定的随机变量X的熵公 式为
即变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大, 该处的随机变量X即为所有题目计算后的香农熵,然后根据知识掌握水平进 行相互结合实现对题目的选取。
所述步骤S4中GDINA模型公式是基于一致性链接函数的G-GDINA模型公式,其中δj0为项目j的截距,也称为基线概率,即测试者若未掌握项目测量的所有属性而答 对项目的概率,该值为非负数,δjk为项目j上属性k的主效应,一般为非负数,代 表测试者掌握了属性k而答对项目概率的增加效应,其值越大说明掌握该属性对答对项 目的重要性越大,δjkk′为项目j上属性k和属性k′的交互效应,为项 目j测量所有属性间的交互效应,该处的计算方式可以有效的计算出知识点的掌握程度。
所述步骤S4中SHE公式为对于待选的第t+1题测试者得分的可能为0或 者1,具体值不确定,因此作答第t+1题后,KS后验概率期望香农熵,由全概 率公式可知,对于待选择题的第t+1题,已知KS的先验分布时,得分为q的 概率为
所述步骤S5中对于最大的测验长度需要进行设定,且设定的最大的测验 长度为香农熵达不到最小值0.0001之前进行测试结束的标准,该处的最小值 0.0001为一个检测的标准,当香农熵小于0.0001说明知识点掌握的较为全面 与完整。
所述步骤S5中的迭代过程为测试过后计算每道题的知识掌握概率变化小 于0.0001,如果知识掌握概率变化不小于0.0001的时候进行迭代步骤,该处 的测试长度为在知识掌握的概率大于0.0001的时候实现结束,可以防止程序 体一直在运行。
工作步骤:建立选题模型,首先需要准备好大量的作答数据和试题考查 知识点数据,再将这俩份数据输入到GDINA模型中,根据公式估算出试题的 参数值;测试者登陆系统,测试者通过账户以及密码等进行登陆系统,且对 于初次登陆者,需要通过身份验证和基本信息进行注册账户和设定密码,然 后进行系统的登陆;选择第一道试题,开始选取一道试题,并且根据注册信 息或者是测试者的信息备注信息,选取适合测试者相应程度的试题,用以供 测试者进行测试作答;计算测试者当前状态,在测试者进行一道相关知识点 题目的作答后,将测试者的答案和知识点输入到程序中,然后程序使用GDINA 模型公式,估计出测试者此时的知识掌握概率,再根据SHE公式,计算尚未作 答的每道题之间的香农熵,比较他们之间香农熵的大小,选择熵值最小的一 道题,输入到前端页面,以供测试者再次答题;确定是否作答结束,在测试 的过程中对与每道试题进行知识掌握概率的计算,此过程经过多次迭代,直 到测试者的知识掌握概率变化小于0.0001,或者达到最大的测验长度,测验 终止;测试结束,测试结束后,根据知识点掌握的概率进行判断知识点的掌 握情况,如果是在测试者的知识掌握概率变化小于0.0001的情况下结束的, 则显示知识点掌握较好,当是在达到最大的测验长的情况下结束的,则显示 知识点掌握不好,需要加紧练习。
尽管已经显示和描述了本发明的实例,对于本领域的其他技术人员而言, 可以理解在不脱离本发明的原理和精神的情况下可以对这些实例进行多种变 化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于认知诊断的计算机化自适应测验方法,其特征在于:包括如下步骤:
S1、建立选题模型,首先需要准备好大量的作答数据和试题考查知识点数据,再将这俩份数据输入到GDINA模型中,根据公式
估算出试题的参数值;
S2、测试者登陆系统,测试者通过账户以及密码等进行登陆系统,且对于初次登陆者,需要通过身份验证和基本信息进行注册账户和设定密码,然后进行系统的登陆;
S3、选择第一道试题,开始选取一道试题,并且根据注册信息或者是测试者的信息备注信息,选取适合测试者相应程度的试题,用以供测试者进行测试作答;
S4、计算测试者当前状态,在测试者进行一道相关知识点题目的作答后,将测试者的答案和知识点输入到程序中,然后程序使用GDINA模型公式
,估计出测试者此时的知识掌握概率,再根据SHE公式
计算尚未作答的每道题之间的香农熵,比较他们之间香农熵的大小,选择熵值最小的一道题,输入到前端页面,以供测试者再次答题;
S5、确定是否作答结束,在测试的过程中对与每道试题进行知识掌握概率的计算,此过程经过多次迭代,直到测试者的知识掌握概率变化小于0.0001,或者达到最大的测验长度,测验终止;
S6、测试结束,测试结束后,根据知识点掌握的概率进行判断知识点的掌握情况,如果是在测试者的知识掌握概率变化小于0.0001的情况下结束的,则显示知识点掌握较好,当是在达到最大的测验长的情况下结束的,则显示知识点掌握不好,需要加紧练习。
2.根据权利要求1所述的一种基于认知诊断的计算机化自适应测验方法,其特征在于:所述步骤S1中的GDINA模型用于计算测试者对于知识点掌握的程度,且DINA模型是认知诊断潜在分类模型中的一种,DINA模型是一个简单的随机连接模型。
3.根据权利要求1所述的一种基于认知诊断的计算机化自适应测验方法,其特征在于:所述步骤S3中的第一道题需要根据测试者的水平进行选择题目的难易程度,即DINA模型中的认知诊断计量模型进行测试则水平,然后通过香农熵公式进行计算题目的香农熵的大小,然后选取相应程度的题目。
7.根据权利要求1所述的一种基于认知诊断的计算机化自适应测验方法,其特征在于:所述步骤S5中对于最大的测验长度需要进行设定,且设定的最大的测验长度为香农熵达不到最小值0.0001之前进行测试结束的标准。
8.根据权利要求1所述的一种基于认知诊断的计算机化自适应测验方法,其特征在于:所述步骤S5中的迭代过程为测试过后计算每道题的知识掌握概率变化小于0.0001,如果知识掌握概率变化不小于0.0001的时候进行迭代步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911114411.2A CN111460128B (zh) | 2019-11-14 | 2019-11-14 | 一种基于认知诊断的计算机化自适应测验方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911114411.2A CN111460128B (zh) | 2019-11-14 | 2019-11-14 | 一种基于认知诊断的计算机化自适应测验方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111460128A true CN111460128A (zh) | 2020-07-28 |
CN111460128B CN111460128B (zh) | 2023-09-12 |
Family
ID=71680189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911114411.2A Active CN111460128B (zh) | 2019-11-14 | 2019-11-14 | 一种基于认知诊断的计算机化自适应测验方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111460128B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114238546A (zh) * | 2022-02-24 | 2022-03-25 | 四川科星引擎教育科技有限责任公司 | 一种基于空洞卷积的自适应认知诊断测试设备及方法 |
CN118364729A (zh) * | 2024-06-19 | 2024-07-19 | 江西师范大学 | 一种基于决策树的计算机化自适应诊断测试生成方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789013A (zh) * | 2010-02-04 | 2010-07-28 | 浪潮集团山东通用软件有限公司 | 一种用于描述关系数据的增强型csv文件格式 |
CN106407237A (zh) * | 2015-08-03 | 2017-02-15 | 科大讯飞股份有限公司 | 在线学习试题推荐方法及系统 |
CN109509126A (zh) * | 2018-11-02 | 2019-03-22 | 中山大学 | 一种基于用户学习行为的个性化试题推荐方法 |
CN110264091A (zh) * | 2019-06-24 | 2019-09-20 | 中国科学技术大学 | 学生认知诊断方法 |
US20190318650A1 (en) * | 2018-04-11 | 2019-10-17 | Electronics And Telecommunications Research Institute | Method and apparatus for learner diagnosis using reliability of cognitive diagnostic model |
-
2019
- 2019-11-14 CN CN201911114411.2A patent/CN111460128B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789013A (zh) * | 2010-02-04 | 2010-07-28 | 浪潮集团山东通用软件有限公司 | 一种用于描述关系数据的增强型csv文件格式 |
CN106407237A (zh) * | 2015-08-03 | 2017-02-15 | 科大讯飞股份有限公司 | 在线学习试题推荐方法及系统 |
US20190318650A1 (en) * | 2018-04-11 | 2019-10-17 | Electronics And Telecommunications Research Institute | Method and apparatus for learner diagnosis using reliability of cognitive diagnostic model |
CN109509126A (zh) * | 2018-11-02 | 2019-03-22 | 中山大学 | 一种基于用户学习行为的个性化试题推荐方法 |
CN110264091A (zh) * | 2019-06-24 | 2019-09-20 | 中国科学技术大学 | 学生认知诊断方法 |
Non-Patent Citations (1)
Title |
---|
艾国金: "CD-CAT按模式分层选题策略及变长终止规则研究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114238546A (zh) * | 2022-02-24 | 2022-03-25 | 四川科星引擎教育科技有限责任公司 | 一种基于空洞卷积的自适应认知诊断测试设备及方法 |
CN118364729A (zh) * | 2024-06-19 | 2024-07-19 | 江西师范大学 | 一种基于决策树的计算机化自适应诊断测试生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111460128B (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Seltzer et al. | Examining relationships between where students start and how rapidly they progress: Using new developments in growth modeling to gain insight into the distribution of achievement within schools | |
CN108053117A (zh) | 一种学生学科掌握能力的个性化评估方法 | |
CN110147428B (zh) | 知识点掌握度的更新方法、装置、设备和存储介质 | |
CN111460128A (zh) | 一种基于认知诊断的计算机化自适应测验方法 | |
CN103697929B (zh) | 仪表指针运动状态的检测方法 | |
Yang | Meta-analysis research and theory building | |
Van Norman et al. | Curriculum-based measurement of reading decision rules: Strategies to improve the accuracy of treatment recommendations | |
Chen et al. | Computer Adaptive Testing Using the Same-Decision Probability. | |
Wang et al. | Classical test theory | |
Carlson | Criteria for family assessment in research and intervention contexts. | |
Hilger et al. | Parallel-forms reliability | |
Gross et al. | A comparison of methods for assessing performance on the number line estimation task | |
AU2020100135A4 (en) | Method, system and apparatus for evaluating sensory assessors’ concentration ability | |
CN104317856A (zh) | 一种词汇量的测试与评估方法 | |
CN109833048B (zh) | 一种基于精神运动能力的警觉度测量方法 | |
Chang et al. | Development and application of detection indices for measuring guessing behaviors and test-taking effort in computerized adaptive testing | |
Wolf | Assessing the impact of characteristics of the test, common-items, and examinees on the preservation of equity properties in mixed-format test equating | |
CN116228477A (zh) | 基于物联网的体育监测考试系统 | |
Ustinova et al. | Performance criteria of learning math tests | |
Jensen | The accuracy and precision of kinesiology-style manual muscle testing | |
CN109977114A (zh) | 基于大数据的考点按序预测方法、装置、设备和存储介质 | |
Cadeddu et al. | Human performance testing and simulators | |
CN109559065A (zh) | 技能认知诊断方法及装置 | |
Tobler et al. | Metacognitive calibration: a methodological expansion and empirical application | |
Scheibehenne et al. | Hierarchical Bayesian modeling: Does it improve parameter stability? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: No.55, Volvo Road, economic and Technological Development Zone, Linyi City, Shandong Province Applicant after: LINYI INFOTOP NETWORK Co.,Ltd. Address before: 276000 No.66, Volvo Road, Jinan Economic and Technological Development Zone, Shandong Province Applicant before: LINYI INFOTOP NETWORK Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |