CN110930033A - 一种呈现大学生英语阅读认知诊断报告的方法 - Google Patents

一种呈现大学生英语阅读认知诊断报告的方法 Download PDF

Info

Publication number
CN110930033A
CN110930033A CN201911164446.7A CN201911164446A CN110930033A CN 110930033 A CN110930033 A CN 110930033A CN 201911164446 A CN201911164446 A CN 201911164446A CN 110930033 A CN110930033 A CN 110930033A
Authority
CN
China
Prior art keywords
cognitive
attribute
examinees
attributes
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911164446.7A
Other languages
English (en)
Inventor
段惠琼
高湘民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN201911164446.7A priority Critical patent/CN110930033A/zh
Publication of CN110930033A publication Critical patent/CN110930033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种呈现大学生英语阅读认知诊断报告的方法，首先利用G‑DINA模型对考生的认知属性进行数据计算，做出客观评估；展示被试者分数及分数成绩水平，并提供如何阅读诊断报告的信息；提供考生答案与标准答案两栏，并利用1/0二分法展现考生掌握/未掌握的认知属性；提供考生掌握与未掌握阅读认知属性名称及其详细定义；根据考生认知属性掌握情况提供超链接，对考生进行有针对性地补救训练。本发明提供各个认知属性的详尽解释，有利于考生了解自身阅读过程中存在的认识缺陷，最后以超链接的形式，对学生提供针对性指导建议，并且自动关联学生下一阶段练习，对学生阅读能力的提高具有针对性的指导作用。

Description

一种呈现大学生英语阅读认知诊断报告的方法
技术领域
本发明属于认知诊断技术领域，具体涉及一种呈现大学生英语阅读认知诊断报告的方法。
背景技术
英语阅读测试的认知诊断是目前认知诊断研究的重要课题。认知诊断技术的发展促进了英语阅读测试和阅读技巧的研究。反过来，英语阅读测试和技能的研究又促进了关于新型认知诊断模型的开发。以上研究使用的研究方法归纳为：规则空间模型、融合模型、G-DINA模型框架中的补偿模型和饱和模型、GDM模型、潜在分类模型、树回归分析、数字化技术(网络多媒体技术)等。
G-DINA模型：G-DINA模型(generalized deterministic inputs，noisy“and”gate，广义确定性输入噪音和门)是DINA模型的一般化，假设更宽松(De La Torre,2009；DeLa Torre，2011)。在其饱和形式中，G-DINA模型等同于其他基于替代链接函数的认知诊断一般模型。当应用于适当的约束时，可以将几种常用的认知诊断模型(CDM)显示为一般模型的特殊情况。
英语阅读贯穿于整个英语学习过程中，是英语习得者必须掌握的基本技能之一。然而在英语学习过程中，每一位学习者的阅读水平/能力存在明显差异。
国内外关于阅读能力的研究大多数基于CTT(经典测验)理论，这样的研究结果因为强调的是学生的宏观阅读能力。它把阅读能力视作最小单位，忽略了考生阅读能力微观层面上的一系列内部心理认知过程。因此，国内外有关认知诊断的研究取得了一些进展，研究发现：不同学生的阅读认知能力各不相同。
在英语教学中，个体差异的问题不容忽视。从两千多年前的孔子实行“因材施教”到现如今提倡的个性化教育，都否定了划一式的教育机制，强调承认个体差异。考试，作为学生学习过程中的必要手段，理应顺应时代，发展“个性化考试”。但是，考试是学生能力的检验手段，必须具有划一性；只有这样才能让学生知道在大环境中自身的水平如何。如若在考试机制中增加一个必要的环节——制定“英语阅读认知诊断结果分析表”，则能够帮助学生更加明确自身的学习状况。
发明内容
本发明的目的在于提供一种呈现大学生英语阅读认知诊断报告的方法，本发明从认知诊断视角出发，关注大学生在阅读过程中更为微观的阅读认知过程。为了帮助学生及从教工作者更针对性地提高其阅读认知能力，本发明以反馈表的形式，提供细颗粒的有力指导，并且提供学生下一章节的相关练习，具有实践作用。
为了实现上述目的，本发明采用了下述技术方案：
一种呈现大学生英语阅读认知诊断报告的方法，步骤如下：
步骤一：利用G-DINA模型对考生的认知属性进行数据计算，做出客观评估；
步骤二：展示被试者分数及分数成绩水平，并提供如何阅读诊断报告的信息；
步骤三：提供考生答案与标准答案两栏，并利用1/0二分法展现考生掌握/未掌握的认知属性；
步骤四：提供考生掌握与未掌握阅读认知属性名称及其详细定义；
步骤五：根据考生认知属性掌握情况提供超链接，对考生进行有针对性地补救训练。
进一步地，步骤一中，采用R软件中，进行G-DINA模型分析考生成绩；
在G－DINA模型下，被试在完成试题J时被细分为2K*j个认知状态组别，K*j代表试题j所测认知属性的数量，G－DINA模型的方程式如下:
Figure RE-GDA0002324515300000021
其中，
Figure RE-GDA0002324515300000022
为试题J的答对率；δj0代表答对概率的底线，即未掌握任何属性时试题J 的答对概率，即猜测答对概率；δjk代表掌握单一认知属性αlk时，对答对题概率的影响；δjkk代表掌握认知属性αlk和αlk'的对答对概率的交互性作用δj12...K*则代表全部认知属性的掌握对答对概率的交互性作用。
进一步地，步骤二中包括：获取考生分数，确定考生的整体水平；提供关于认知诊断表的相关概述。
进一步地，所述认知属性的指标，具体包括：A1语法知识、A2提取匹配信息、A3难词辨析、A4长难句理解、A5段落大意、A6排除不合理选项、A7细节判断、A8综合主旨概况、 A9文本外知识，通过R软件中的G-DINA模型进行客观数据分析，获得学生对9种认知因子的掌握情况，并将结果填写在认知诊断反馈表中。
进一步地，所述提供超链接包括：对考生提供针对性的阅读能力提高建议；关联下一阶段相关讲解与练习。
进一步地，诊断报告有两页，第1页有三个部分，第一部分左上角提供了姓名、总分这类按比例划分的分数规范性信息；说明如何阅读报告的说明信息放在开头的顶部部分，向读者提供概述；第二部分报告标准答案、考生答案与考生的认知诊断属性掌握情况；第三部分是一个提示，提醒读者第2页有获得更详细的属性掌握情况；第2页也由三个部分组成：(1) 考生已经掌握的属性及定义；(2)考生未掌握的属性及定义；(3)一个链接，即：如何提高考生本人大学英语阅读认知属性的建议，将通过超链接形式与第下一章相关讲解和练习关联起来。
本发明具有如下优点：提供各个认知属性的详尽解释，有利于考生了解自身阅读过程中存在的认识缺陷，最后以超链接的形式，对学生提供针对性指导建议，并且自动关联学生下一阶段练习，对学生阅读能力的提高具有针对性的指导作用。
认知诊断报告不同于传统测验关注的焦点是考生分数。它关注的是分数背后隐藏的心理内部加工过程、技能和策略、知识结构等信息。本发明不再以单一的分数作为评估学生的唯一标准，而是主张一种多维度的认知诊断测评，主张个性化教育，能够帮助学生更加明确自身的学习状况。认知诊断报告不仅能够帮学生明确自身水平，认识到自身在阅读过程中的不足，也能协助教师及家长帮学生制定今后学习重点。这对外语教育者具有实际的指导作用。
为了检验考生对认知诊断报告的认可度，研究者请同学们根据自身情况，对照属性定义和诊断报告，在学校网络教学平台输入反馈意见，是否同意诊断报告对其掌握的英语阅读属性的判定。反馈结果表明，90％的同学认为属性判定准确。
附图说明
图1为呈现大学生英语阅读认知诊断报告方法的流程图。
图2为大学生英语阅读认知诊断报告的展示图(第1页)。
图3为大学生英语阅读认知诊断报告的展示图(第2页)。
图4是测验原始分数分布直方图。
图5是各阅读认知属性整体掌握状态。
图6南昌某高校A班大学英语阅读属性掌握情况。
图7南昌某高校B班大学英语阅读属性掌握情况。
图8南昌某高校C班大学英语阅读属性掌握情况。
图9西安某高校英语阅读属性掌握情况。
图10Robert和Gierl(2010)的认知分析报告。
具体实施方式
以下由特定的具体实施例说明本发明的事实方式，以便学生及教育工作者可由本说明所揭露的内容轻松了解本发明的其他优点及功效。
图1为呈现大学生英语阅读认知诊断报告方法的流程图，其最终目标为生成学生阅读认知情况的表格，该方法包括：
步骤一、利用G-DINA模型对考生的认知属性进行数据计算，认知属性的指标，具体包括： A1语法知识、A2提取匹配信息、A3难词辨析、A4长难句理解、A5段落大意、A6排除不合理选项、A7细节判断、A8综合主旨概况、A9文本外知识，通过R软件中的G-DINA模型进行客观数据分析，获得学生对9种认知因子的掌握情况，并将结果填写在认知诊断反馈表中。采用R软件中，进行G-DINA模型分析考生成绩；
在G－DINA模型下，被试在完成试题J时被细分为2K*j个认知状态组别，K*j代表试题j所测认知属性的数量，G－DINA模型的方程式如下:
Figure RE-GDA0002324515300000031
其中，
Figure RE-GDA0002324515300000032
为试题J的答对率；δj0代表答对概率的底线，即未掌握任何属性时试题J 的答对概率，即猜测答对概率；δjk代表掌握单一认知属性αlk时，对答对题概率的影响；δjkk代表掌握认知属性αlk和αlk'的对答对概率的交互性作用δj12...K*则代表全部认知属性的掌握对答对概率的交互性作用。
步骤二、展示被试者分数及分数成绩水平，并提供如何阅读诊断报告的信息，包括获取考生分数，确定考生的整体水平；提供关于认知诊断表的相关概述；
步骤三、提供考生答案与标准答案两栏，并利用1/0二分法展现考生掌握/未掌握的认知属性；
步骤四、提供考生掌握与未掌握阅读认知属性名称及其详细定义；
步骤五、根据考生认知属性掌握情况提供超链接，所述提供超链接包括：对考生提供针对性的阅读能力提高建议；关联下一阶段相关讲解与练习，对考生进行有针对性地补救训练。
诊断报告有两页，第1页有三个部分，第一部分左上角提供了姓名、总分这类按比例划分的分数规范性信息；说明如何阅读报告的说明信息放在开头的顶部部分，向读者提供概述；第二部分报告标准答案、考生答案与考生的认知诊断属性掌握情况；第三部分是一个提示，提醒读者第2页有获得更详细的属性掌握情况；第2页也由三个部分组成：(1)考生已经掌握的属性及定义；(2)考生未掌握的属性及定义；(3)一个链接，即：如何提高考生本人大学英语阅读认知属性的建议，将通过超链接形式与第下一章相关讲解和练习关联起来。
图2和图3为某位同学的某一具体考试情况为依据构建的认知诊断报告，图2第一部分：提供学生的具体分数以及在学生分数在全年级的整体水平，并详细阐述如何阅读此份阅读认知诊断报告。图2第二部分：将考生的答题答案与标准答案分别给出，进行对比，并对错误的答案进行标红；提供学生掌握/未掌握认知属性情况。学生关于认知属性的掌握情况由R软件中的G-DINA模型进行运算：
Figure RE-GDA0002324515300000041
其中，
Figure RE-GDA0002324515300000042
为试题J的答对率；δj0代表答对概率的底线，即未掌握任何属性时试题J的答对概率，即猜测答对概率；δjk代表掌握单一认知属性αlk时，对答对题概率的影响；δjkk代表掌握认知属性αlk和αlk'的对答对概率的交互性作用δj12...K*则代表全部认知属性的掌握对答对概率的交互性作用。
图2第三部分：提示部分，提醒读者第2页有获得更详细的属性掌握情况。
图3第一部分：详细描述考生已经掌握的属性及定义。示例中该学生所掌握的认知属性有A1语法知识、A2提取匹配信息、A3难词辨析、A4长难句理解、A5段落大意、A6排除不合理选项、A7细节判断、A8综合主旨概况、A9文本外知识。
图3第二部分：详细描述考生未掌握的属性及定义。示例中该学生未掌握的认知属性有 A5。
第3章第三部分：超链接部分。超链接提供了该考生相关的英语阅读学习建议，并为下一阶段考生学习做准备。
下面提供本发明的验证案例，以便于理解本发明的实现方式。
1.测验分数正态分布检验
在用认知模型进行数据分析前，需要对测验分数的正态分布进行检验。此次阅读测试的总分是30分，567名考生测验的平均分是16.24(注：认知诊断平均分一般是答对题目算1 分，答错计0分，不给加权，故30题总分只有30分)，标准差为5.579，最高分为28分，最低分是0分，测验分数分布的偏态量为-0.220(标准误为0.134)，峰度量为-.233(标准误为0.267)，分数分布直方图4表明全体被试测验分数分布近似于正态分布(图4)。
2.已掌握的大学英语阅读认知属性统计分析
属性掌握被试个体差异分析可以为教学相关人员进行教学改革提供微观视野。因此进行个体属性差异分析是有必要的。为了统计考生个体阅读属性的掌握概率，本文使用连续后验概率(PPM)。如果PPM>0.5,则考生是该技能的掌握者；如果PPM<0.5,则考生未掌握该技能。
如图5所示，约52.2％的考生掌握了英语阅读属性1，53.26％掌握了属性2，47.44％掌握了属性3，46.21％的考生掌握了属性4，53.26％的考生掌握了属性5，段落主旨归纳总结能力和分析匹配能力最强。51.32％掌握了属性6，44.09％掌握了属性7，46.56％掌握了属性8， 43.91％掌握了属性9。即：属性5、2、1的掌握情况最好，考生的词汇量有待提高，句子的理解能力需要加强。
为了帮助教师了解学生哪些属性掌握人数较多、学生掌握得很好，哪些属性掌握较少，哪些相关知识需要进一步指导和练习，研究人员通过对诊断结果每列中的所有“1”进行求和，获得被试掌握的属性分布情况。没有掌握1个属性的被试有23人，只掌握了0个属性的有6人，掌握2给属性的有57人，掌握3、4、5个属性的有100-114人，掌握6-8个属性的人数从70下降到37人，没有一个人掌握全部属性。这些数据的变化趋势表明，掌握0-2 个属性的人数和掌握8-9个属性的人数在被试人群中都占比例少。要想增加同学们认知属性的掌握数量，必须从掌握0-2个属性的学生中下功夫。(见表1)
表1已掌握的大学英语阅读属性总数
Figure RE-GDA0002324515300000051
认知诊断除了对学习者掌握模式进行判定以外，还可以获得更细粒度的个性化诊断信息。例如，如表2所示，11名考生的得分都是21，他们有10种不同的模式。在第二组中，8名考生的得分为11分，他们有8种掌握模式。由此可见，第一，几乎每一位考生的掌握模式不同。同一种掌握模式对应于不同的分数。不同分数虽然与是否掌握阅读属性有一定的关系，但也可能是由于考试时猜测或者做题失误造成的。因此，在教学中因材施教具有很大挑战。第二，传统的总分报告不能为学习者提供信息，确定他们在阅读能力上的优势和劣势。
表2具有相同分数学生的阅读认知属性模式
Figure RE-GDA0002324515300000052
Figure RE-GDA0002324515300000061
下面看一下567名被试有多少种英语阅读认知属性模式。
3.大学英语阅读认知属性模式种类
为了了解被试群体在大学英语阅读上的认知状态和知识结构，需要分析他们在属性掌握模式上的分布情况，了解被试群体的典型认知特征和阅读属性模式，发现他们群体存在的认知缺陷，为诊断教学奠定基础。由下表3可知，567名被试有196种属性模式，12人的属性掌握模式是111111110，86人掌握属性数量少，在0-2之间，占15.2％，属性2、3、5的掌握情况最差，几乎这些人的属性掌握情况都是0。这说明大部分存在认知属性不足的被试主要分布在这3个属性掌握模式上。这些数据暗示教师在后面的补救教学种，这些被试的主要欠缺词、提取和匹配信息能力以及归纳段落大意的技能。他们的知识结构和认知状态在这些三方面存在不足。如果抓牢了这些英语基础知识，其他阅读技能会随之提高。
表3 567名被试大学英语阅读认知属性模式种类
Figure RE-GDA0002324515300000062
Figure RE-GDA0002324515300000071
Figure RE-GDA0002324515300000081
4.被试个体对大学英语阅读认知诊断报告的反馈
唐**同学与罗**同学得分相同，均为15.5分，但他们一个掌握了4个认知属性，另一个掌握了3个属性。陈**同学同样掌握了5个属性，得分却只有12分，同学们对这样的判定满意吗？他们认为判定准确吗？
根据认知诊断模型分析得出567名被试大学英语阅读认知诊断报告。0代表未掌握，1代表掌握。如下表4所示四位同学的认知属性掌握/未掌握情况。
表4相同分数学生的英语阅读认知属性掌握/未掌握样例
Figure RE-GDA0002324515300000082
Figure RE-GDA0002324515300000091
数据分析是否符合实际情况需要考生本人的认可。因此，将G-DINA模型估计结果发给学生，告知他们0表示没有掌握这个属性，1表示掌握这个属性。请同学们判断是否同意模型对他们阅读能力的判断，在一周内将反馈提交到校网络教学平台。
在一周截止时间内，学生们对属性判定准确程度进行回应，90％以上的同学认为准确。学生们的反馈节选如下，其它略。
1808****李**<p>差不多</p>
1808****何**<p>准确</p>
1808****邓**<p>A2 A4 A7 A8</p>
1808****刘*<p>同意。</p>
1808****李*<p>准确，就比如A2这道题，就如软件对我的评价一样，我做的不是很理想，这让我可以加强对这道题的印象并加以改正，促使我得到了一定的提高，也让我在下次遇到这一类型的题时有一定的解决活动。所以，我同意软件对我阅读属性的判定。</p>
1808****罗*<p>同意A6中说对句子理解不太清晰</p>
1808****陈*<p>同意</p>
1808****刘**<p>不准确，我阅读能力还行，词汇量积累较多，高中英语125左右</p>
1808****韩**<p>准确</p>
1808****黄**<p>&nbsp；我的语法是薄弱点A1评定正常。对于A5因为语法不通，对文章理解力不够，导致看不到中心等。</p>
1808****王**<p>准确</p>
1808****刘**<p>对一些信息无法判断准确，对于类似的选项很难选择出适合的，对于选项的意思无法准确判断。</p>
18081209何*<p>准确的</p>
5.不同院校、班级英语阅读认知属性掌握情况分析
属性掌握概率的群体差异分析对分析每一个被试属性掌握概率的分析发挥着宏观调控的作用，可以为教学相关人员进行教学改革提供大的视野。因此进行群体属性差异分析有利于从整体上把握各高校和不同班级层次之间的总体差异，对于教育管理者从高处提升院校的英语竞争力十分必要。图6至图9显示不同院校和班级层级间大学英语阅读认知属性掌握差异。
下图6显示南昌某高校A班对9个属性掌握情况。南昌某高校A班考生阅读属性掌握比率从高到低依次是A6、A1、A3、A5、A9、A2、A8、A4、A7。这些同学的英语剔除不合理选项的能力最强。这个属性结合了所有其他8个属性才能具有。也就是拥有扎实的基础知识，他们的词汇量大，英语阅读量大，语法知识掌握牢。此外，他们的文本外知识比其他层次的学生牢固，综合概况能力强，因此，他们排除错误选项的能力优于同龄人。
不同于南昌高校A班，图7显示南昌某高校B班考生阅读属性掌握比率从高到低依次是 A5、A2、A1、A4、A6、A8、A3、A9、A7。
南昌高校C班考生阅读属性掌握情况的雷达图显示(见图8)，C班考生阅读属性掌握比率从高到低依次是A1、A2、A4、A5、A6、A9、A3、A8、A7。
细心的读者会发现，南昌某高校C班阅读属性掌握量和B班阅读属性掌握量最大的相比,C 班语法知识A1占比最大，B班全文大意掌握最好，A班剔除选项能力最强。C班同学平均分最低，他们的知识结构停留在零碎的语法知识上，没有提升到篇章层面，属性A6测试的全文中心思想的掌握上。C班同学，自然而然选对答案的概率最低。他们需要改进自己的知识结构。
西安高校属性掌握情况如下图9所示。学生的分析匹配信息能力最强，词汇和语法属性掌握一般，需要进一步加强的是难句的理解。诚然，句子理解正确是目前考试提分的关键。
不同学科考生具有不同的属性模式。由于补救教学与学科专业无关，不是根据专业不同进行教学设计和改革的，因此此处不进一步分析了。
6.认知诊断报告与计算机化自适应测验
认知诊断报告作为衔接教师和教育领域不同受众之间的接口，在认知诊断教学中起着关键作用。与目前大多数教育考试成绩报告只有一个总分数这一典型特征不同，CDA的结果提供了一个关于学生认知优势和劣势特定信息的掌握情况。这种认知诊断反馈有可能指导教师、家长和学生的教学和学习过程(Roberts和Gierl，2010)。如果将认知诊断模型与计算机网络相连，则可以即时提供基于网络的语言诊断评估和教学建议。
在项目反应理论(IRT)指导下的CAT(计算机自适应测验)是基于被试在已作答项目上的表现评估被试的能力水平，并根据选题策略连续地从题库或剩余题库中自适应地选择最适合被试作答的项目施测被试，直至满足测验终止规则(Chang和Ying，1996)。Embretson 和Reise(2000)认为：太难的项目不易准确地测量低能力水平被试，太易的项目不易准确地测量高能力水平被试，只有采用对被试能力水平而言难度适中的项目，才能达到准确测量被试能力水平的目的。CAT还要其他缺点，例如：为了获得项目参数，所有项目必须从某个较大的、有代表性的被试样本进行预测；其次，大多数CAT不允许被试返回检查并修改答案；第三，CAT为被试提供连续的施测，对题库的安全性是一个巨大挑战。大规模的网上偷题已经导致CAT版本的GRE考试在许多亚洲国家和地区停止使用；第四，CAT与传统纸笔测验的兼容性问题。
目前，国内关注CAT应用的有：我国大学英语四、六级考试委员会一直致力于CAT的研究与开发；国家汉语水平考试中心举办的汉语水平考试HSK；第四军医大学对应征者进行的文化水平测验已经使用或者计划使用CAT测验形式(田健全，苗丹民，杨业兵，何宁和肖玮， 2009)；江西师范大学二十多年来成功编制多个CAT系统；段俊(2009)设计了一个在线诊断听力测试系统ODLTS；马晓梅与她的研究团队(Ma和Meng，2008；马，孟，等，2008；马，孟等，2012)构建了个性化英语学习系统诊断和建议(PELSDA)以及该系统的子系统是英语视听理解诊断和建议AVSDA。
国外的计算机化自适应测验应用有：美国大学理事会(College Board)于1993年开发计算机化入学考试；美国大学入学考试委员会(American College Testing，ACT)于1993 年在其COMPASS项目中使用计算机化自适应数学、阅读和写作测验；美国教育考试服务中心 (Educational Testing Service，ETS)于1993年推出美国研究生入学考试(Graduate Record Examination，GRE)的自适应版本；美国商学院研究生的ETS入学考试(Graduate Management Admission Test，GMAT)CAT版本；美国医生护士资格考试、美国国防部的军事服役职业能力测验倾向成套测验(ASVAB)等也都相继推出CAT版本(Meijer和Nering，1999)。
计算机化自适应测验(CAT)有五个重要组成部分：(1)题库；(2)初始项目的选择；(3)参数估计方法；(4)选题策略；(5)终止规则。面对这五个部分及现在认知诊断计算机化自适应测验(CD-CAT)的不足，本课组成员针对CD-CAT和CAT进行了相关研究。他们在多选题认知诊断测验编制、认知诊断潜能最大化、项目属性的标定、认知诊断蓝图的设计、计算机自适应性选题策略、参数估计与反应等方面，做出了孜孜不倦的努力。他们的文章篇名和摘要摘录如下：
(1)基于抽样原理的计算机化自适应测验选题策略；(章沪超,丁树良,戴勰,关潮辉， 2014)
摘要：沿用曝光控制因子的同时，基于抽样原理，引入区分度分布因子，按区分度的分布情况来选取测验中的项目。以lna～N(0，1)为例，Monte Carlo模拟结果表明:该方法在估计精度、效率和安全性等指标上表现得比较优异。
(2)多项选择题认知诊断潜能的最大化；(李瑜，丁树良，唐小娟，2014)
摘要:多项选择题是认知诊断中常用的测验项目形式，其正确答案选项和经过特殊编制的干扰项都能提供诊断信息。为了提取干扰项的信息，需要采用不同于传统认知诊断模型的心理计量模型。分类介绍能使干扰项提供诊断信息的多项选择题编制方法，分析这类多项选择题的认知诊断模型，认为未来应加强干扰项编制方法和能提取干扰项信息的认知诊断模型的选择和开发等方面的研究。
(3)基于IRT模型的BP神经网络参数估计的进一步研究；(关潮辉，丁树良， 2014)
摘要:对基于IRT模型的BP神经网络降维法参数估计中的BP神经网络的网络隐层数及隐层节点数进行改进，并对其降维法中不合理的部分予以修正。通过蒙特卡洛模拟研究结果表明:对参数估计的各评价指标，改进的方法均优于原方法。
(4)多级评分认知诊断测验蓝图的设计_独立型和收敛型结构；(丁树良，罗芬，汪文义，2014).
摘要:定义了属性之间菱形层级结构的概念。在某种给定的评分方式下，假设属性之间没有补偿作用，讨论独立型、菱形层级结构对应的多级评分认知诊断测验蓝图设计问题，分别构造出相应的完备Q阵。
(5)项目属性标错时可达阵补救作用的研究；(甘朝红，汪文义，丁树良，2014)
摘要:以Q矩阵理论为基础，从分析专家给测验项目标定属性时可能出现的差错入手，设计不同的测验Q矩阵和模拟实验，分析比较在不同情况下的模式判准率，考察可达阵对测验Q矩阵标定出现差错时的补救作用。
(6)选项具有诊断信息的多选题认知诊断测验编制；(李瑜，丁树良，2014)
摘要：编制选项具有诊断信息的多选题是提高多选题认知诊断测验诊断效果的有效方法。研究从认知诊断的目标出发，根据认知诊断测验质量的评价标准，结合多选题的特点，探讨选项具有诊断信息的多选题认知诊断测验编制的原则。同时，结合多选题的特点和多选题采用称名计分方式的需要，对编制选项具有诊断信息的多选题提出两点要求。根据多选题认知诊断测验编制的原则和要求，给出具有可操作性的多选题认知诊断测验编制的步骤。模拟研究结果表明：根据所提出的原则和要求编制的多选题认知诊断测验具有较好的诊断效果，说明这些原则和要求合理、可行。由于这些原则、要求和步骤具有较强的可操作性，因此它对于编制多选题认知诊断测验具有一定的指导意义。
(7)多级评分认知诊断测验蓝图的设计_根树型结构；(丁树良，汪文义，罗芬，2014)
摘要：在某种给定的评分方式下，假设属性之间没有补偿作用，讨论多级评分认知诊断测验蓝图设计问题。根据图论，将J.P.Leighton等定义的线型、发散型、无结构型属性层级结构归结为根树型，构造出相应的完备测验Q阵，即是使知识状态与期望反应模式一一对应，且列数最少的测验Q阵。完备Q矩阵均受到测验Q阵的秩的制约。
(8)粗糙集在项目认知属性标定中的应用；(唐小娟，丁树良，俞宗火，2015)
摘要：认知诊断是新一代测量理论的核心，对形成性教学评估具有重要意义。项目认知属性标定是认知诊断中一项基础而重要的工作，现有的项目认知属性辅助标定方法的研究工作很少，并且在应用上存在诸多局限。课堂评估是认知诊断应用的理想场所，但课堂评估中项目的选取具有随意性，教师难以在短时间内准确标识项目认知属性。本研究首次提出采用粗糙集方法对项目认知属性进行标定，该方法无需太多被试和项目，亦无需已知项目参数，且能当场诊断出结果，适于采用纸笔测验的课堂评估。通过Monte Carlo模拟研究表明：采用粗糙集方法能迅速地对项目认知属性进行标定，并具有较高的标定准确率；而且，项目认知属性越少、或被试估计判准率越高、或失误率越小则项目认知属性标定的准确率越高。粗糙集方法的引入，对拓展认知诊断的应用范围，真正实现其辅助性教学功能，具有重要作用。
对于认知诊断评分报告，目前已经出版的例子很少。最早的诊断报告是Jang(2005) 完成的。Jang对新托福考试背景下的阅读技能进行诊断，对教学和学习的有效性进行了研究。她从技能描述、项目辨别力和技能掌握概率三个部分设计了一张名为DiagnOsis的成绩单。该成绩单由两页组成。第一页从三个组成部分提供了个性化的诊断信息。第二页介绍了九项技能以及与每种技能相关的测试项目(试题)。同时指出学习者在未来实践中需要提高的技能。两页涵盖的4个组成部分是：
a)“回顾你的答案”旨在回顾考生对问题的回答、正确答案以及得失分信息；
b)“拟提高的技能”旨在通过使用技能掌握概率，提供学生在评估技能方面存在的优势和劣势等最重要信息。每个水平条表示每种技能的估计技能掌握概率。图中间的灰色区域表示无差别区域。如果这一区域有障碍，那么无法确定学生的技能掌握程度。
c)“如何解释技能掌握”为解读DiagnOsis中的诊断信息提供指导说明，例如，掌握了多少技能或属性，如何使用诊断结果。
d)“技能描述”提供相关技能的详细描述以及与技能相关测试的项目列表。
第二个诊断报告是O’callaghan，Morley和Schwartz(2004)对技能类别I中代数和函数个体诊断得分报告。Robert和Gierl(2001)引用该报告的目的是给学生提供在各属性表现中的总结。这类报告可以使读者比较不同属性间的掌握程度，提供认知优势和弱点的诊断概况。学生或家长可将此诊断报告作为和教师讨论需要进一步学习的知识领域的起点。这个报告的认知模型是一个线性关系的起点，共同商量学生的五属性层次结构，如表5-5所示。
表5属性层次结构及阅读技能描述
Figure RE-GDA0002324515300000131
图10所示的报告(Roberts和Gierl，2010)包含了认知模型、属性分数和属性描述。首先该报告呈现了诊断报告具体的要素，然后描述了构建诊断报告时使用的设计原则。
报告中间部分包含了通常不能从大规模评估中报告的信息:学生诊断得分和属性层面的学习成绩具体信息。第一列中的属性标签对应于标准化的属性描述，该描述提供了测试所测量的认知技能的简短描述。属性层面的学习成绩通过“项目”、“你的答案”、“正确答案”和“回答汇总”栏目提供项目试题性能的信息。“属性得分”显示实际技能表现，以图形化的形式呈现在条形图中；条形图表示技能掌握的分类:不掌握、部分掌握和掌握。确定与每个技能掌握程度相关的掌握概率需要使用某种标准制定程序。对于此样本分数报告，诊断评分按照每个属性的性能水平进行报告，以提供解释属性评分的背景。条形是基于认知诊断属性得分，其条形的长度可以调整，长度反映了掌握的牢靠性程度(Gierl，Cui和Zhou，2009)。此外，还可以使用属性分类率，描述分类评估学生属性掌握和未掌握情况的精确度。这种展示分数的说明性方法并没有报告测量误差，或与技能掌握评估相关的实际数值概率或。最后给出的是总结性评价，并对正确、错误和没有回答的答案进行了分类。
报告底部叙述总结学生在所有属性中的表现。本部分根据学生的项目作答反应中体现的学生优势和劣势领域进行了简单的认知诊断总结，向他们提供如何改进的简短建议，并提醒他们与教师协商，以便根据反馈进一步做出教学指导。背面的认知诊断解释材料提供了CDA 报告的新信息。它分为三个部分。顶部陈述了从认知模型和属性所定义的技能类别。此外，属性描述比首页的属性描述更详细，它们是用标准格式写出的样本。为便于向目标受众(例如教师)报告，解释指南中的描述已经是简化了的认知模型中的属性描述。认知模型中的描述可以更详细，代表打算测量的所有方面。这个诊断报告除了具有描述性报告的功能外，还可以作为项目开发者的测试蓝图。
中间部分提供了属性是什么以及属性在测试中如何相互关联等更多信息。它用简单的术语解释了如何根据学生的反应模式生成诊断概况，描述属性得分源自何题。在解释报告首页的内容时，底部部分提供上下文信息，按照“常见问题解答”栏目标题进行分组。为了减少误读和误用诊断分数，读者需要如何使用报告、解释分数以及如何找到更具体的诊断信息等指示。AHM模式因其清晰性和系统性而被推荐使用。即使属性在独立结构中，不在层次结构中，这种结构化的诊断信息也能轻易呈现，可以直接链接到属性描述，对每个学生进行个性化的属性描述。
综上所述，这个报告提供了特定的诊断反馈和直接的指导决策。正如Roberts和Gierl(2010)指出的那样，要呈现有效的诊断分数报告，需要整合和应用教育、信息设计和技术的跨学科技术。由于AHM的使用效果最佳，因此其框架和指南适用于任何基于属性的诊断测试方法或诊断测试程序。
回顾这些例子可以发现，诊断报告确定了在制定评分报告时需要考虑的五个主要方面:1) 内容包括什么；2)陈述汇报内容的格式或细节；3)传播方式4)应用的设计原则5)语境。表6 是Roberts(2012)基于Jaeger(1998)和Ryan(2004)的研究提出的认知诊断评分报告框架。
表6 AHM要素和认知诊断评分报告框架
Figure RE-GDA0002324515300000141
总之，对该框架的检查表明，可以系统识别，且以不同方式和组合呈现诊断分析的要素和结果。测试开发人员可以选择以各种格式和模式报告框架中概述的部分或全部内容，但最终形式可能会受特定受众和教育政策需求的影响。此外，在组织和呈现文档的数字、图形或文本信息时，应该结合信息设计原则，包括对比度、重复、接近度和对齐。报告框架应将内容、形式与考虑因素、设计原则相结合，呈现的信息应体现开发诊断评分报告的主要方法。根据Goodman和Hambleton(2004)的建议，得分报告应该有一些辅助材料帮助读者理解报告中的信息。具体而言，Goodman和Hambleton(2004)建议得分报告应：1)涵盖对正确解释评估结果至关重要的所有信息；2)在开头包括学生成绩的叙述性总结；3)体现考评对象个性化；4)确定父母可以做些什么来帮助培养孩子。
本发明制作呈现的认知诊断报告，报告了CDA特有的要素。由于本研究使用的是纸质版考试，将考生的得分数据通过人工批改获得，未实行计算机自适应化测试，未与认知诊断模型连在一起。因此，只能将考生的阅读总分数据和每一道题的小分数据输入G-DINA模型，获得考生对属性掌握和未掌握情况的分析结果，用0和1表示。0代表未掌握，1代表掌握。虽然课题组成员在计算机化自适应测试中进行了一定程度的研究，但是目前还没有达到理想的程度。
本发明分次告知了各位考生考试的总分、各题得分、判定的大学英语阅读认知属性掌握/ 未掌握情况、对各阅读认知属性的解释，以及如何提高英语阅读属性的建议。未来，希望将现有网络教学平台与认知诊断模型直接联系起来，在考生完成英语阅读练习或者测验之后，可以将总分、各题得分、属性掌握/未掌握情况、教学指导建议一键获得。这样，可以给考生或者学习者提供熟悉的传统的得分报告功能，同时引入相对陌生和新颖的诊断评分报告。报告总分与诊断分数相结合可以向学生、家长和教师说明，相同的总分可以有不同的技能掌握模式。这样，认知诊断反馈就突出了学生的表现。有关报告内容的信息和如何阅读报告的说明信息放在开头的顶部部分，向读者提供概述。此外，还可以提供一个提示，供读者参考第 2页的解释材料，以获得更详细的分数报告和解释。本发明的诊断报告样例如2-3所示。
本文诊断报告第1页左上角提供了姓名、总分这类按比例划分的分数规范性信息。接着报告标准答案、考生答案与考生的认知诊断属性掌握情况。如何阅读报告的说明信息放在开头顶部，向读者提供概述。此外，页面底部有一个提示，提醒读者第2页有获得更详细的属性掌握情况。第2页由三个部分组成：(1)考生已经掌握的属性及定义；(2)考生未掌握的属性及定义；(3)一个链接，即：如何提高考生本人大学英语阅读认知属性的建议，将通过超链接形式与第下一章相关讲解和练习关联起来。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种呈现大学生英语阅读认知诊断报告的方法，其特征是：步骤如下：
步骤一：利用G-DINA模型对考生的认知属性进行数据计算，做出客观评估；
步骤二：展示被试者分数及分数成绩水平，并提供如何阅读诊断报告的信息；
步骤三：提供考生答案与标准答案两栏，并利用1/0二分法展现考生掌握/未掌握的认知属性；
步骤四：提供考生掌握与未掌握阅读认知属性名称及其详细定义；
步骤五：根据考生认知属性掌握情况提供超链接，对考生进行有针对性地补救训练。
2.根据权利要求1所述的呈现大学生英语阅读认知诊断报告的方法，其特征是：步骤一中，采用R软件中，进行G-DINA模型分析考生成绩；在G－DINA模型下，被试在完成试题J时被细分为2K*j个认知状态组别，K*j代表试题j所测认知属性的数量，G－DINA模型的方程式如下:
Figure FDA0002287026750000011
其中，
Figure FDA0002287026750000012
为试题J的答对率；δj0代表答对概率的底线，即未掌握任何属性时试题J的答对概率，即猜测答对概率；δjk代表掌握单一认知属性αlk时，对答对题概率的影响；δjkk代表掌握认知属性αlk和αlk'的对答对概率的交互性作用δj12...K*则代表全部认知属性的掌握对答对概率的交互性作用。
3.根据权利要求1所述的呈现大学生英语阅读认知诊断报告的方法，其特征是：步骤二包括：获取考生分数，确定考生的整体水平，提供关于认知诊断表的相关概述。
4.根据权利要求1所述的呈现大学生英语阅读认知诊断报告的方法，其特征是：所述认知属性的指标，具体包括：A1语法知识、A2提取匹配信息、A3难词辨析、A4长难句理解、A5段落大意、A6排除不合理选项、A7细节判断、A8综合主旨概况、A9文本外知识，通过R软件中的G-DINA模型进行客观数据分析，获得学生对9种认知因子的掌握情况，并将结果填写在认知诊断反馈表中。
5.根据权利要求1所述的呈现大学生英语阅读认知诊断报告的方法，其特征是：所提供超链接包括：对考生提供针对性的阅读能力提高建议；关联下一阶段相关讲解与练习。
6.根据权利要求1所述的呈现大学生英语阅读认知诊断报告的方法，其特征是：诊断报告有两页，第1页有三个部分，第一部分左上角提供了姓名、总分这类按比例划分的分数规范性信息；说明如何阅读报告的说明信息放在开头的顶部部分，向读者提供概述；第二部分报告标准答案、考生答案与考生的认知诊断属性掌握情况；第三部分是一个提示，提醒读者第2页有获得更详细的属性掌握情况；第2页也由三个部分组成：(1)考生已经掌握的属性及定义；(2)考生未掌握的属性及定义；(3)一个链接，即：如何提高考生本人大学英语阅读认知属性的建议，将通过超链接形式与第下一章相关讲解和练习关联起来。
CN201911164446.7A 2019-11-25 2019-11-25 一种呈现大学生英语阅读认知诊断报告的方法 Pending CN110930033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164446.7A CN110930033A (zh) 2019-11-25 2019-11-25 一种呈现大学生英语阅读认知诊断报告的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164446.7A CN110930033A (zh) 2019-11-25 2019-11-25 一种呈现大学生英语阅读认知诊断报告的方法

Publications (1)

Publication Number Publication Date
CN110930033A true CN110930033A (zh) 2020-03-27

Family

ID=69851802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164446.7A Pending CN110930033A (zh) 2019-11-25 2019-11-25 一种呈现大学生英语阅读认知诊断报告的方法

Country Status (1)

Country Link
CN (1) CN110930033A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574876A (zh) * 2024-01-16 2024-02-20 北京工业大学 一种诊断报告生成方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562697A (zh) * 2017-07-28 2018-01-09 华中师范大学 认知诊断方法和系统
CN108665006A (zh) * 2018-05-17 2018-10-16 华中师范大学 分层认知诊断方法、装置及设备
CN109255998A (zh) * 2018-10-25 2019-01-22 杭州数理大数据技术有限公司 一种学生成绩诊断提升系统
CN109919810A (zh) * 2019-01-22 2019-06-21 山东科技大学 在线学习系统中的学生建模与个性化课程推荐方法
CN110378818A (zh) * 2019-07-22 2019-10-25 广西大学 基于难度的个性化习题推荐方法、系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562697A (zh) * 2017-07-28 2018-01-09 华中师范大学 认知诊断方法和系统
CN108665006A (zh) * 2018-05-17 2018-10-16 华中师范大学 分层认知诊断方法、装置及设备
CN109255998A (zh) * 2018-10-25 2019-01-22 杭州数理大数据技术有限公司 一种学生成绩诊断提升系统
CN109919810A (zh) * 2019-01-22 2019-06-21 山东科技大学 在线学习系统中的学生建模与个性化课程推荐方法
CN110378818A (zh) * 2019-07-22 2019-10-25 广西大学 基于难度的个性化习题推荐方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈慧麟等: "G-DINA认知诊断模型在语言测验中的验证" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574876A (zh) * 2024-01-16 2024-02-20 北京工业大学 一种诊断报告生成方法、系统及设备
CN117574876B (zh) * 2024-01-16 2024-04-19 北京工业大学 一种诊断报告生成方法、系统及设备

Similar Documents

Publication Publication Date Title
Eckes Many-facet Rasch measurement: Implications for rater-mediated language assessment
Donker et al. Effectiveness of learning strategy instruction on academic performance: A meta-analysis
Osana et al. The role of content knowledge and problem features on preservice teachers’ appraisal of elementary mathematics tasks
Hall et al. Australia's literacy and numeracy test for initial teacher education students: Trends in numeracy for low-and high-achieving students
McGrane et al. Applying a thurstonian, two-stage method in the standardized assessment of writing
Shahsavar Diagnosing English learners’ writing skills: A cognitive diagnostic modeling study
Kou et al. Research on English teaching reading quality assessment based on cognitive diagnostic assessment
CN110930033A (zh) 一种呈现大学生英语阅读认知诊断报告的方法
Matitaputty et al. Examining the Pedagogical Content Knowledge of In-Service Mathematics Teachers on the Permutations and Combinations in the Context of Student Mistakes.
Everson Innovation and change in the SAT: A design framework for future college admission tests
Kusaeri et al. Culture and mathematics learning: Identifying students’ mathematics connection
Hierck et al. Grading for impact: Raising student achievement through a target-based assessment and learning system
Dolor Investigating Statistics Teachers' Knowledge of Probability in the Context of Hypothesis Testing
Rylander et al. Validating classroom assessments measuring learner knowledge of academic vocabulary
Watson First-language English teachers’ beliefs about grammar and the relationship of espoused beliefs to pedagogical practice
Hussein et al. Introduction to the Psychometric Analysis
Frans A captivating snapshot of standardized testing in early childhood
Atwell-Chin Hong An Exploratory Study of Mathematics Anxiety in Caribbean Preservice Teachers
Rodriguez et al. Objective testing of educational achievement.
Widianingsih A Research On Student’s Perception Toward Teacher Feedback In Writing Class
Montgomery A Review of Written Expression Curriculum-Based Measurement with a Focus on English Language Learners
Jannah THE CORRELATION BETWEEN LEARNING MOTIVATION AND STUDENTS’ACHIEVEMENT OF HIGH AND LOW-PROFICIENCY STUDENTS IN LEARNING ENGLISH AT SMK HIDAYATUL MUBTADI’IN SINGOSARI
Yumsek Enhancing Diagnostic Feedback in a K-12 Language Assessment: An Exploration of Diagnostic Classification Models for the Reading Domain
Septiana et al. Improving Learning Outcomes Reading Comprehension Using SQ3R Model
Salaeva et al. The Relationship between Reading Test Strategy Use and Reading Self-Efficacy Sources of Uzbek EFL Learners

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327

RJ01 Rejection of invention patent application after publication