CN104620300A - 用于测试生成或教学的参与者回答的集群分析 - Google Patents
用于测试生成或教学的参与者回答的集群分析 Download PDFInfo
- Publication number
- CN104620300A CN104620300A CN201380033521.0A CN201380033521A CN104620300A CN 104620300 A CN104620300 A CN 104620300A CN 201380033521 A CN201380033521 A CN 201380033521A CN 104620300 A CN104620300 A CN 104620300A
- Authority
- CN
- China
- Prior art keywords
- cluster
- answer
- sample
- participant
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 title abstract description 5
- 238000007621 cluster analysis Methods 0.000 title description 12
- 238000012360 testing method Methods 0.000 title description 4
- 239000013598 vector Substances 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 47
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
对参与者(例如，通过移动无线设备)提供的对开放式(即，自由应答式)题目的文本回答进行自动分类，从而使教员能够以方便、有组织的方式评价所述回答并相应地调整指令。
Description
相关申请的交叉引用
本申请要求提交于2012年4月27日的美国临时专利申请No.61/639,260的优先权和利益，所述临时专利申请以引用方式全文并入本文。
政府权利
本发明在美国国家科学基金会授予的IIS-0835338下借助于政府的支持而完成。政府在本发明中享有一定的权利。
技术领域
在各种实施例中，本发明总体涉及测试生成或教学的参与者回答的集群分析。
背景技术
从技术角度来看，多项选择题目易于管理，但通常编写困难并且耗时，因为它们需要全面理解参与者可能给出的所有可能回答。对于只有一个正确答案的问题来说，这需要基于深入了解可能导致参与者做出不正确回答的所有错误概念与错误理解，预测到可能出现的所有错误答案。即使是对于没有单个正确答案的问题(例如态度问题)，也很难预测参与者在面对题目提示时可能具有的所有可能观点。为多项选择题开发回答选项是一项极具挑战的工作，需要很多套公布的指南和规则；参见例如Haladyna,Downing,& Rodriguez,“A review of multiple-choice item-writing guidelines forclassroom assessment,”Applied Measurement in Education,15(3),309-333(2002)(Haladyna、Downing和Rodriguez，“课堂评价的多项选择题编写指南综述”，《教育应用测量》，第15卷，第3期，第309-333页，2002年)。
相比之下，让参与者回答自由应答题目而非多项选择题目解决了该特定问题，但其自身也有一系列困难。与可能包括算法定义或已分类条目的训练集的监督学习分析相比，用于参与者回答的无监督学习的潜在聚类是未知的。此外，可自动对一些罕见的自由应答题目类型进行评分(参见例如Attali & Burstein,“Automated essay scoring with e-rater v.2,”Journal ofTechnology,Learning,and Assessment,4(3),1-31(2006)(Attali和Burstein，“使用e-rater v.2进行自动作文评分”，《技术、学习与评估杂志》，第4卷，第3期，第1-31页，2006年)；Bennett,Morley& Quardt,“ThreeResponse Types for Broadening the Conception of Mathematical ProblemSolving in Computerized Tests,”Applied Psychological Measurement,24(4),294-309(2000)(Bennett、Morley和Quardt，“在计算机化测试中拓宽数学问题解决的概念的三种回答类型”，《应用心理测评》，第24卷，第4期，第294-309页，2000年))，然而，建立和使用该系统所花的时间和金钱成本可使得其不可行的。此外，在没有对题目回答进行自动评分或分类的情况下，教员无法实时处理数十个或数百个参与者回答以动态调整指令，动态调整指令是使用任何形成性评价技术的目标。
因此，需要使用自动对参与者对开放式题目的回答进行分类或评分并且自动向教员提供实时反馈的无监督学习的方法。
发明内容
本发明通过促进对参与者对开放式(即，自由应答式)题目的文本回答进行自动分类或评分，从而使教员能够轻松便利且井井有条地评价回答并相应地调整指令，来解决该问题。在各种实施例中，学生使用手持设备，例如具有网络访问的膝上型计算机或蜂窝电话，输入教员提出的开放式题目的回答。本文所用的术语“题目”是指教员向参与者提出以及参与者例如使用手持设备回答的问题。题目可能试图评价真实信息、梳理决策障碍或衡量参与者的意见。虽然本发明的讨论集中于大学课堂环境中的学生，但应当理解，本文描述的方法适用于任何进行教学或学术活动的组中的参与者，并且术语“学生”和“参与者”在本文中可互换使用。
本发明的关键是应用聚类技术来确定收集的学生回答中的“样本”回答。然而，目前，教员筛选长的答案列表并且随意阅读一些以试图检测例如学生可偏离正确推理的各种方式，本发明使用集群分析以找到学生给出的不同类型的答案、错误和观点，并且基于该分析挑选一个或少量的样本答案以供教员更快速地阅读。
因此，在第一方面，提供了对至少一个参与者对自由应答题目的文本回答进行分析和分类的方法。在各种实施例中，该方法包括以下步骤：提供自由应答题目给多个参与者；接收来自至少一些参与者的文本回答；通过计算将文本回答处理成回答类型的集群；确定代表每个回答类型的样本；以及报告对应于该样本的文本回答。该方法还可包括使用多个排序最高的样本回答生成该自由应答题目的多项选择版本。
在一些实施例中，将文本回答处理成表示为数值向量的集群，并且该方法还可包括以下步骤：根据多种聚类算法通过计算使该数值向量形成集群，其中每种算法在向量空间中产生集群集合，并且所得的多个集合在空间中仅部分重叠；在至少一些集群中，确定在空间上最接近最大数量的其他向量的样本向量；根据所确定的样本向量中的每一个样本向量与其他样本向量的距离对所确定的样本向量中的每一个样本向量进行排序；以及报告排序列表。
该方法还可包括删除与其他集群集合的相似性超出阈值的集群集合。在一些实施例中，确定样本包括基于每个回答中共同的词干化n元语法(n-gram)的数量的相似性，测量任意两个回答之间的距离。自由应答题目以无线方式提供给与参与者数据库中的参与者相关联的手持设备。
在一些实施例中，该方法还包括获得指定集合中集群之间距离的度量的步骤，其中，仅对于与所有其他集群的距离度量超出阈值的集群，确定样本向量。
题目可能是问题，并且该方法还可包括使用样本来预测问题的典型回答的步骤。该方法可包括通过计算生成问题的多项选择版本中的选择的步骤。
在另一方面，本发明涉及一种针对至少一个参与者对自由应答题目的文本回答进行分析与分类的系统。在各种实施例中，该系统包括用于存储参与者数据库的存储器，所述参与者数据库包括分别指定参与者的记录、与参与者相关联的移动设备、以及参与者通过移动设备提供的对自由应答题目的文本回答；以及与该存储器进行操作通信的处理器。该处理器被配置成(i)通过计算将文本回答处理成回答类型的集群；(ii)确定代表回答类型中的每一种回答类型的样本向量；以及(iii)使对应于样本向量的文本回答显示。
在各种实施例中，该处理器还被配置成(i)通过计算将文本回答处理成数值向量；(ii)根据多种聚类算法通过计算聚类数值向量，其中每种算法在向量空间中产生集群集合，并且所得的多个集合在空间中仅部分重叠；在至少一些集群中，确定在空间上最接近最大数量的其他向量的样本向量；(iv)根据所确定的样本向量中的每一个样本向量与其他样本向量的距离对所确定的样本向量中的每一个样本向量进行排序；以及(v)使对应于排序样本向量的文本回答以排序列表报告给教员。处理器还可被配置成删除与其他集群集合的相似性超出阈值的集群集合，和/或基于每个回答中共同的词干化n元语法的数量的相似性通过测量任意两个回答之间的距离来确定样本向量。
在一些实施例中，处理器还被配置成使用多个排序最高的样本回答生成自由应答题目的多项选择版本。该系统可将自由应答题目以无线方式传送到与参与者数据库中的参与者相关联的手持设备。
在整个本说明书中所提及的“一个例子”、“例子”、“一个实施例”或“实施例”意味着结合实例描述的特定特征、结构或特性包含在本技术的至少一个实例中。因此，在整个本说明书中多处出现的短语“在一个例子中”、“在例子中”、“一个实施例”或“实施例”不一定均指相同的例子。此外，特定特征、结构、例程、步骤或特性可以任何合适的方式结合在本技术的一个或多个例子中。本文所提供的标题仅是为了方便，而不是限制或解释所要求的技术范围或意义。
附图说明
在附图中，在所有的不同视图中，相同的参考标记通常指代相同的部件。另外，附图不一定按比例绘制，而重点通常在于示出本发明的原理。下列描述中，参考以下附图描述本发明的各种实施例，其中：
图1A示意性地示出涉及参与者与教员之间的通信的活动；
图1B为示出了根据本发明的代表性系统的部署的框图；
图2描述了根据本发明的实施例的用于集群分析和生成反馈的方法；以及
图3示出了根据本发明的实施例的用于分析参与者响应的系统。
具体实施方式
图1A描述了一群参与者或学生110(每人均具有手持设备120)回答由一个或多个教员或组织者130(其也可各自具有手持设备140)提出的一个或多个开放式题目的示例性事件或活动100。此外，该活动的性质对本发明来说并不重要，教员和参与者的特定角色对本发明也不重要；一个或多个教员130可以例如选自参与者110或者可以为一群不同的人。对于该活动重要的是涉及，提出的开放式题目的传输和从参与者中收集回答的能力。
参与者110和一个或多个教员130可以通过手持设备120、140直接通信，或通过中央计算设备150间接通信。手持设备120、140可以是例如通过网络将参与者的回答、态度、意见、知识、特性和/或彼此对相关主题或题目的理解传输至一个或多个教员130和/或传输至中央计算设备150的计算机、蜂窝电话、平板电脑或其他电子设备。传输的主题可能是对一个或多个教员130向参与者110提出的问题或讨论话题的回答。在一个代表性的具体实施中，参与者110是学生，事件100是课堂，并且教员130是希望评估学生对教学内容的理解的教授或老师。学生可以集中在同一个地方或在不同地方(例如，参加远程教学课堂)。在另一个实施例中，活动是由员工参加的企业培训或由研讨会参与者参加的研讨会，在该活动中会议领导希望评估参与者的意见或回答。本领域的一般技术人员将会知道，本文所述的发明可以适用于从事教育、智力或业务活动的任何一组参与者。
根据本发明，应用适用于自动选择小部分样本回答的难题的算法，并且教员可以使用所得的样本回答作为整个课堂实时讨论的基础，或作为可在未来事件中实施的新的多项选择题的回答选项。可以通过自动对开放式文本回答进行文本分析来选择样本，如以下讨论中所描述的。
参照图1B，在事件开始时，教员130可以以无线方式或以其他方式(例如，通过有线连接)将他们的开放式题目直接传输至参与者(共同表示为110)或传输至中央计算设备150，中央计算设备通过网络将题目传递到参与者110；参与者110随后可以以无线方式或以其他方式(例如，通过有线连接)通过网络将他们对题目的回答传输至中央计算设备150，在中央计算设备中，他们的回答存储在参与者数据库160中。中央计算设备150可在教员的手持设备中或在与其无线(或有线)通信的分离的独立的系统中实施。教员130可选择一种或多种集群分析算法以结合将提供给参与者110的题目使用，并且将所选择的一个或多个选项传输至(或将其输入至)中央计算设备150；集群分析算法存储在算法数据库170中。中央计算设备150基于参与者的特性和所选择的集群分析算法进行聚类。分析的结果通常包括计算的聚类的样本回答(和其等级次序)，其通过教员的手持设备自动传递至教员130。
本发明的方法是使学生的回答成集群并进行分析，以将概念上相似的回答集合在一起。本发明的实施例从每个有意义的集群中确定“样本回答”(即，例示在该集群的回答中是明显的任何模式的回答)，然后将发现的彼此差异最显著的这些样本回答中的一个或多个递交给教员。
在一个实施例中，识别到，不同的算法以及这些算法的不同参数将以不同的方式使回答聚类在一起。本发明不是尝试关注聚类所有回答的“最好的”方式，而是识别到，有很多实现这一点的有意义的方式。因此，在该实施例中，优选地应用多种聚类算法，从而产生重叠的集群，这是因为不同的算法对回答进行不同的划分。如果存在例如20个回答，则存在约一百万个不同的可能集群，但所采用的算法可能将仅仅将这些中的小的子集确定为有意义的(即，将所有以某种方式相似的一组回答群集)。适用于计算机辅助方法的代表性方法陈述于Grimmer & King,“General PurposeComputer-Assisted Clustering and Conceptualization,”Proceedings of theNational Academy of Sciences(2011)(Grimmer和King，通用计算机辅助的聚类和概念化”，《美国国家科学院学报》，2011年)(在下文表示为“G&K”，其公开内容据此以全文引用方式并入)中。
在其他实施例中，采用一种或多种传统的聚类算法。可以有利地使用能够确定样本回答的任何聚类算法。下列文献描述了合适的技术，例如Guojan Gan,Chaoqun Ma和Jianhong Wu,Data Clustering:Theory,Algorithms,and Applications,Siam,2007(Guojan Gan、Chaoqun Ma和Jianhong Wu，《数据聚类：理论、算法和应用》，工业与应用数学学会，2007年)；Leonard Kaufman和Peter Rousseeuw,Finding Groups in Data:An Introductionto Cluster Analysis,纽约:Wiley(1990)(Leonard Kaufman和PeterRousseeuw，《从数据中发现群组：集群分析入门》，纽约：威立出版社，1990年)和Frey,B.J.和Dueck,D.,“Clustering by Passing Messages BetweenData Points,”Science 315(5814):972(2007)(Frey,B.J.和Dueck,D.，“通过在数据点之间传递信息进行聚类，”《科学》，第315卷，第5814期，第972页，2007年)。这些参考文献的公开内容据此以全文引用方式并入。
在以下讨论中，术语“n元语法”是指来自文件的n个词的序列(在这种情况下是自由文本学生回答)。因此，在之前的句子中，每个词是1元语法，词组“序列”和“的序列”是2元语法等等。“词干化”是提取单词并将其减至其基本词根的过程。例如，在之前的句子中，“stemming”的词干是“stem”，“reducing”的词干是“reduce”，等等。以此方式，用于分析目的时，术语“reduce”和“reducing”被认为是相同的。“词干化的n元语法”是每个单词都减至其词干的n元语法。用于词干化的算法在本领域是常见的。
在一些实施例中，该程序在二维空间中将每个聚类表示为一点，使得在空间中紧挨在一起的聚类(点)是几乎相同的，并且相距较远的那些可确保更仔细的观察，因为它们在某些重要的方面是不同的。实际上，该可视化将数量庞大的可能聚类的无法描述的混乱状态转换为简单的框架，教员可理解并使用该框架以有效选择传达最有用的信息的一个聚类或少量聚类。
图2示出了代表性的方法300，该方法使用G&K方法根据实施例对参与者对开放式题目的回答进行分析，并且用于创建聚类的向量空间的代表性步骤如下。
首先，在步骤320中将一组文本文档310转化为数值数据集。只有当待成集群的问题为文本文档或通常还没有用数值表示时才需要这个步骤。对于每组可变长度的文本文档，使用通用框架以定量地表示该文本文档。这可包括通过移除标点、使单词词干化、计算1元、2元、3元、4元和5元语法、移除在回答中出现少于1％或多于99％的词干化的n元语法，并且最后将每个回答表示为汇总每个词干化的n元语法的存在或不存在(或用于一些计数目的)的向量，来将文本转化为数值。对于英文文档，在整个语料库中通常存在约3,500个独特单词的词干。然后用一组(约3,500)变量编码每个文档，每个变量对应于词干在此文档中使用的次数。因为大多数人类语言是高度重复的，所以这样的表示一般情况下完全能够发挥作用。此通用程序也可应用于相同文档的多重表示，例如术语加权表示诸如tf-idf(术语频率/逆文档频率)、词性标注、标记化规则诸如用“do_not”代替“do”和“not”等等。同样，也可使用核方法的变形形式作为数值表示的基础，核方法是在没有明确表示矩阵中的单词的情况下，产生文档之间的相似性度量的程序。
在步骤330中，对数值数据集应用多个聚类算法，每次应用一个。每种方法可表示不同的实质性假设，该不同的实质性假设在其应用之前很难表示，但所需效果是由它们的差异的事实而非那些差异的性质引起的。事实上结合该步骤可以使用任何高效计算的聚类方法，只要结果是分配到单个集群或分配到不同集群的每个文档具有总和为1的权重。代表性的聚类技术列于G&K的SI附录中，可访问http//www.ncbi.nlm.nih.gov/pmc/articles/PMC3041127/进行查看(以引用方式并入本文)。
理想地，不同的聚类算法生成的集群是能够分开的，即，它们生成不显著重叠的集群(如果有的话)。生成此类集群的一种方法是使用尽可能多的不同聚类技术以从数值数据集中产生三个或四个不重叠的集群。或者，可以使用G&K方法并向数据集施加大量聚类算法，从而形成聚类的空间(例如，向量空间)；然后，选择在空间中彼此等距的三个或四个点，并且这些集群用于如下描述的分析的剩余部分。另一种方式是应用若干现有的集群分析方法，诸如熟知的k均值算法，并且直接地使用这些输出，具体地讲，这些算法中的每一种算法的输出都是回答的聚类，其被添加至由其他算法生成的聚类之中。但也可能是例如生成与由其他算法生成的聚类差异不大的聚类的k均值算法(例如，如果存在26个回答A到Z，并且一种算法生成两个群组A-K和L-Z，则k均值算法生成由A-L和M-Z组成的两个群组)。因此，如果这些聚类中的某些聚类与已经使用其他方法生成的聚类过于相似，那么它们就可以被舍弃，因为它们没有提高本发明利用的分离性。
在步骤340中，得到距离度量以测量任何一对集群之间的相似性。每个聚类表示将参与者对题目的回答划分为互斥且详尽的分类，即每个聚类表示集群的集合。通常，所述聚类相对不同。相似性度量应该满足若干标准。第一，距离应该是在两个聚类中没有放置在一起(即，不存在于同一集群中)的文档的对数的函数。第二，在每个聚类内给定任意固定数目的集群，则距离应对文档数目而言不变。第三，通过将最小距离固定至零和最大距离固定至log(k)建立标度，其中k是集群的数目。
在步骤340中，在步骤330中建立的度量用于创建聚类的度量空间，以及用于视觉化的低维欧几里德表示法。J聚类组内的每对之间的距离矩阵可以表示在l-维度量空间中，其向下投影至两个欧几里德维数，以达到可视化目的。因为投影引起信息丢失，所以采用保留最关键信息的多维标度法。具体地讲，其为应该最精确地保存的小间距，因为这些反映了要结合到局部集合中(在下一个步骤)的聚类。当两个聚类之间的距离增加时，较高的失真度对结果的影响较小。公知Sammon多维标度算法满足这些标准，并且可以有利地使用。
任选地，在步骤350中，“局部集群集合”方法被用作汇总空间中任意点的方式。这允许进行空间的快速探测，从而确保系统使用者能够快速确定可用于参与者对其作答的题目的分区。“集群集合”是一种用于通过以特殊方式将许多独立的聚类平均化以生成单一聚类的技术。为保留局部多样性和避免由聚类一组聚类所造成的无限后退，该方法由附近现有聚类的加权平均数生成局部聚类集合，该局部聚类集合被限定为聚类空间的一点处创建的新聚类。该局部聚类集合方法当在步骤330中采用另外的聚类方法时将接近更多的可能聚类，并且与最靠近的现有观测点相比在接近新聚类方面将绝不会更差，而且通常将会好得多。与其他集群集合具有超出阈值的相似性程度的集群集合可被删除。
在步骤360中，对于每个集群或每个聚类内的集群集合，确定样本回答，即，给定聚类算法已确定为全部相似的一组回答，选择例示该相似性的这些回答之一。实现此目的的一个方法是：基于每个回答中共同的词干化n元语法的数量的相似性，测量任意两个回答之间的距离，使得存在于两个回答中的词干化n元语法的数目用作任意两个回答之间相似性的量度。例如，回答“increased voltage to battery”和“increasing volts”都共同具有词干化2元语法“increase volt”。每个集群中与最大数量的其他回答具有最小(空间)距离的单个回答被确定为样本。
在步骤370中，在全部聚类内来自全部集群的样本按差异性最大到最小的顺序排列。为此，“差异性”被定义为与其他样本组的距离(即不太相似)，使得样本与其他样本相差越远，其排序就越高。参照图1A和图2，在步骤380中，教员130看到的是按照排列顺序罗列的这些样本，该教员将阅读这些样本以快速查看课堂上的学生的理解和不理解的情况。或者，样本可用于预测针对问题的典型回答，从而提供该问题的多项选择版本中的选择。
图3中示出了用于根据本发明的实施例分析参与者回答的代表性系统400。系统400基于图1A中引入的框架，并且包括中央计算设备402，所述中央计算设备包括储存回答的数据库404(或与之通信)。一组未分组的参与者410每人持有一个手持设备412；如上文结合图1A所述，参与者可能集中在同一个地方或可能在地理上为分散的，并通过网络434进行通信。提供题目，并通过手持设备412从参与者处接收回答。
中央计算设备402包括参与者数据库416(或与之通信)，该参与者数据库包括参与者410以及训练集中可能使用的其他个人的记录；例如，数据库416可包括将每个参与者与一个手持设备相关联的记录。数据库418包含集群算法，该集群算法如上所述结合所接收到的回答的分析使用。计算设备402执行分析引擎420，该分析引擎进行图2中所示的步骤，即访问存储在数据库404中的回答，并且使用数据库404、418中的条目进行上述聚类分析。基于此分析，中央计算设备402按排列的顺序向教员432的手持设备430传送样本。通常，与手持设备412和手持设备432的通信以无线方式发生，例如通过SMS、自动电话呼叫、电子邮件或其他合适的通信形式。
分析引擎420可通过计算机可执行指令实现，例如由常规计算机执行的程序模块。一般来讲，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本领域内的技术人员将会知道，本发明可通过各种计算机系统配置进行实践，包括多处理器系统、基于微处理器的或可编程消费类电子产品、小型计算机、大型计算机等等。本发明还可在分布式计算环境中进行实践，其中任务由通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块可被定位于本地和远程计算机存储介质(包括存储器存储装置)中。
中央计算设备402可包括计算机形式的通用计算设备或由其组成，所述通用计算设备包括处理单元440、系统存储器以及连接各种系统组件(包括系统存储器到处理单元)的系统总线。在操作过程中，系统存储器包含实现分析引擎420的指令。计算机通常包括各种可形成系统存储器的一部分并可通过处理单元读取的计算机可读介质。通过举例而非限制的方式，计算机可读介质可包括计算机存储介质和通信介质。系统存储器可包括易失性存储器和/或非易失存储器形式的计算机存储介质，例如只读存储器(ROM)和随机存取存储器(RAM)。基本输入/输出系统(BIOS)通常存储在ROM中，所述基本输入/输出系统包括有助于在元件之间如在启动期间传送信息的基本例程。RAM通常包括可立即访问和/或当前通过处理单元对其进行操作的数据和/或程序模块。数据或程序模块可包括操作系统、应用程序、其他程序模块以及程序数据。操作系统可能是或包括诸如MicrosoftWINDOWS操作系统、Unix操作系统、Linux操作系统、Xenix操作系统、IBM AIX操作系统、Hewlett Packard UX操作系统、Novell NETWARE操作系统、Sun Microsystems SOLARIS操作系统、OS/2操作系统、BeOS操作系统、MACINTOSH操作系统、APACHE操作系统、OPENSTEP操作系统或其他平台操作系统的各种操作系统。
任何合适的编程语言均可用于在无需过度实验的情况下实现如上所述的分析功能。示例性地，使用的编程语言可包括例如汇编语言、Ada、APL、Basic、C、C++、C*、COBOL、dBase、Forth、FORTRAN、Java、Modula-2、Pascal、Prolog、Python、REXX和/或JavaScript。此外，单一类型指令或编程语言并非必须结合系统的操作和本发明的方法使用。相反，只要有必要或有需要，可使用任意数量的不同编程语言。
计算环境还可包括其他可移除/不可移除、易失性/非易失性计算机存储介质。例如，硬盘驱动器可读取或写入不可移除、非易失性磁介质。磁盘驱动器可读取或写入可移除、非易失性磁盘，而光盘驱动器可读取或写入可移除、非易失性光盘，诸如CD-ROM或其他光介质。其他可用于示例性操作环境的可移除/不可移除、易失性/非易失性计算机存储介质包括但不限于盒式磁带、闪存存储器卡、数字通用光盘、录像带、固态RAM、固态ROM等。存储介质通常通过可移动或不可移动的存储器接口连接至系统总线。
执行命令和指令的处理单元440可以是通用处理器，但也可使用各种其他技术中的任一种，包括专用硬件、微型计算机、小型计算机、大型计算机、编程的微处理器、微控制器、外围集成电路元件、CSIC(客户专用集成电路)、ASIC(专用集成电路)、逻辑电路、数字信号处理器、可编程逻辑设备诸如FPGA(现场可编程门阵列)、PLD(可编程逻辑设备)、PLA(可编程逻辑阵列)或能够实现本发明的处理步骤的任何其他设备或设备构造。
网络434可以是有线或无线局域网(LAN)和广域网(WAN)、无线个人局域网(PAN)和/或其他类型的网络。在LAN网络环境中使用时，中央计算设备402通过网络接口或适配器被连接至LAN。在WAN网络环境中使用时，中央计算设备402可包括调制解调器或其他网络接口，例如用于蜂窝通信的标准电信平台。移动设备412、432可通过互联网、内联网、外联网、以太网、无线电信基础设施或提供通信的任何其他系统进行连接。一些合适的通信方案可包括例如TCP/IP、UDP或OSI。此外，系统的组件可通过有线或无线路径的组合进行通信。
本文采用的术语和表达仅用作描述性而非限制性的术语和表达，并且无意使用此类术语和表达排除所示和所述特征或其部分的任何等同形式。此外，由于已经描述了本发明的某些实施例，对于本领域的普通技术人员来说将显而易见的是，在不脱离本发明的精神和范围的前提下，可使用结合了本文所公开的概念的其他实施例。因此，所述的实施例应在所有方面仅被视为示例性的而非限制性的。
Claims (15)
1.一种对至少一个参与者对自由应答题目的文本回答进行分析和分类的方法，所述方法包括以下步骤：
将所述自由应答题目提供给多个参与者；
接收来自至少一些所述参与者的文本回答；
通过计算将所述文本回答处理成回答类型的集群；以及
确定代表所述回答类型中的每一回答类型的样本；以及
报告对应于所述样本的所述文本回答。
2.根据权利要求1所述的方法，其中，所述文本回答被处理成表示为数值向量的集群，并且所述方法还包括以下步骤：
根据多种聚类算法通过计算使所述数值向量成集群，每种算法在向量空间中产生集群的集合，所得的多个集合在所述空间中仅部分重叠；
在至少一些所述集群内，确定在空间上最接近最大数量的其他向量的样本向量；
根据所确定的样本向量中的每一个样本向量与其他样本向量的距离，对所述所确定的样本向量中的每一个样本向量进行排序；以及
报告排序列表。
3.根据权利要求1所述的方法，还包括使用多个排序最高的样本回答生成所述自由应答题目的多项选择版本。
4.根据权利要求2所述的方法，还包括删除与其他集群集合的相似性超出阈值的集群集合。
5.根据权利要求1所述的方法，其中，确定所述样本包括基于每个回答中的共同的词干化n元语法的数目的相似性，测量任意两个回答之间的距离。
6.根据权利要求1所述的方法，其中，所述自由应答题目以无线方式提供给与参与者数据库中的所述参与者相关联的手持设备。
7.根据权利要求4所述的方法，还包括获得指定所述集合中的集群之间的距离的度量的步骤，仅对于与所有其他集群的距离度量超出阈值的集群，确定样本向量。
8.根据权利要求1所述的方法，其中，所述题目是问题，并且所述方法还包括使用所述样本预测所述问题的典型回答的步骤。
9.根据权利要求8所述的方法，还包括通过计算生成所述问题的多项选择版本中的选择的步骤。
10.一种用于对至少一个参与者对自由应答题目的文本回答进行分析和分类的系统，所述系统包括：
用于存储参与者数据库的存储器，所述参与者数据库包括分别指定参与者的记录、与所述参与者相关联的移动设备、以及所述参与者通过移动设备提供的对自由应答题目的文本回答；以及
与所述存储器可操作通信的处理器，所述处理器被配置成：
(i)通过计算将所述文本回答处理成回答类型的集群；
(ii)确定代表所述回答类型中的每一种的样本；以及
(iii)使得对应于所述样本的所述文本回答显示。
11.根据权利要求10所述的系统，其中，所述处理器还被配置为：
(i)通过计算将所述文本回答处理成数值向量；
(ii)根据多种集群算法通过计算使所述数值向量成集群，每种算法在向量空间中产生集群集合，所得的多个集合在所述空间中仅部分重叠；
(iii)在至少一些所述集群中，确定在空间上最接近最大数量的其他向量的样本向量；
(iv)根据所确定的样本向量中的每一个样本向量与其他样本向量的距离对所述所确定的样本向量中的每一个样本向量进行排序；以及
(v)使得对应于所述排序的样本向量的所述文本回答以排序列表报告给所述教员。
12.根据权利要求10所述的系统，其中，所述处理器还被配置成使用多个排序最高的样本生成所述自由应答题目的多项选择版本。
13.根据权利要求11所述的系统，其中，所述处理器还被配置成删除与其他集群集合的相似性超出阈值的集群集合。
14.根据权利要求11所述的系统，其中，所述处理器还被配置成通过基于每个回答中的共同的词干化n元语法的数目的相似性测量任意两个回答之间的距离来确定所述样本向量。
15.根据权利要求10所述的系统，其中，所述系统被配置成将所述自由应答题目以无线方式传送到与参与者数据库中的所述参与者相关联的手持设备。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261639260P | 2012-04-27 | 2012-04-27 | |
| US61/639,260 | 2012-04-27 | ||
| PCT/US2013/038376 WO2013163522A1 (en) | 2012-04-27 | 2013-04-26 | Cluster analysis of participant responses for test generation or teaching |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104620300A true CN104620300A (zh) | 2015-05-13 |
Family
ID=49483920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380033521.0A Pending CN104620300A (zh) | 2012-04-27 | 2013-04-26 | 用于测试生成或教学的参与者回答的集群分析 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US10388177B2 (zh) |
| CN (1) | CN104620300A (zh) |
| WO (1) | WO2013163522A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105448151A (zh) * | 2015-12-23 | 2016-03-30 | 冀付军 | 一种使用Wi-Fi笔记本进行教学形成性评价的方法 |
| US10388177B2 (en) | 2012-04-27 | 2019-08-20 | President And Fellows Of Harvard College | Cluster analysis of participant responses for test generation or teaching |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150044659A1 (en) * | 2013-08-07 | 2015-02-12 | Microsoft Corporation | Clustering short answers to questions |
| CA2921245C (en) | 2013-09-20 | 2023-08-22 | Fulcrum Management Solutions Ltd. | Processing qualitative responses |
| US10699589B2 (en) * | 2014-05-19 | 2020-06-30 | Educational Testing Service | Systems and methods for determining the validity of an essay examination prompt |
| CA2976051A1 (en) * | 2015-02-06 | 2016-08-11 | Ronen Tal-Botzer | Semi-automated system and method for assessment of responses |
| CA2992628C (en) * | 2015-07-24 | 2020-09-29 | Fulcrum Management Solutions Ltd. | Processing qualitative responses and visualization generation |
| US10643488B2 (en) | 2016-06-23 | 2020-05-05 | Lystnr, Llc | System and method of assessing depth-of-understanding |
| US10679088B1 (en) * | 2017-02-10 | 2020-06-09 | Proofpoint, Inc. | Visual domain detection systems and methods |
| JP7247481B2 (ja) * | 2018-07-17 | 2023-03-29 | 大日本印刷株式会社 | 情報処理装置及びプログラム |
| TWI739286B (zh) * | 2020-01-21 | 2021-09-11 | 國立臺灣師範大學 | 互動學習系統 |
| US12046156B2 (en) * | 2020-05-01 | 2024-07-23 | Suffolk University | Unsupervised machine scoring of free-response answers |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1133139C (zh) | 1995-05-24 | 2003-12-31 | D·L·柯林斯 | 用于自动化学习和成绩评定的方法和设备 |
| US6041311A (en) * | 1995-06-30 | 2000-03-21 | Microsoft Corporation | Method and apparatus for item recommendation using automated collaborative filtering |
| JP2002041544A (ja) * | 2000-07-25 | 2002-02-08 | Toshiba Corp | テキスト情報分析装置 |
| US6714897B2 (en) | 2001-01-02 | 2004-03-30 | Battelle Memorial Institute | Method for generating analyses of categorical data |
| WO2002075697A1 (en) * | 2001-03-17 | 2002-09-26 | Fleishman Edwin A | Computerized testing device for and method of assessing cognitive and metacognitive capabilities |
| CA2525267A1 (en) | 2005-10-28 | 2007-04-28 | Ibm Canada Limited - Ibm Canada Limitee | Systems, methods and tools for aggregating subsets of opinions from group collaborations |
| WO2007082308A2 (en) * | 2006-01-13 | 2007-07-19 | Bluespace Software Corp. | Determining relevance of electronic content |
| US20080126319A1 (en) * | 2006-08-25 | 2008-05-29 | Ohad Lisral Bukai | Automated short free-text scoring method and system |
| US8131722B2 (en) * | 2006-11-20 | 2012-03-06 | Ebay Inc. | Search clustering |
| US7840556B1 (en) * | 2007-07-31 | 2010-11-23 | Hewlett-Packard Development Company, L.P. | Managing performance of a database query |
| US20090202969A1 (en) * | 2008-01-09 | 2009-08-13 | Beauchamp Scott E | Customized learning and assessment of student based on psychometric models |
| US20100004982A1 (en) * | 2008-07-03 | 2010-01-07 | Microsoft Corporation | Quantifying trust in computing networks |
| US8346701B2 (en) * | 2009-01-23 | 2013-01-01 | Microsoft Corporation | Answer ranking in community question-answering sites |
| US20100235854A1 (en) * | 2009-03-11 | 2010-09-16 | Robert Badgett | Audience Response System |
| US8583453B2 (en) | 2009-10-20 | 2013-11-12 | Universal Research Solutions, Llc | Generation and data management of a medical study using instruments in an integrated media and medical system |
| GB2488551A (en) * | 2011-02-28 | 2012-09-05 | Iml Ltd | A participation system and method |
| JP2012204894A (ja) * | 2011-03-24 | 2012-10-22 | Toshiba Corp | 情報推薦装置 |
| US9471667B2 (en) * | 2012-03-26 | 2016-10-18 | Educational Testing Service | Systems and methods for evaluating multilingual text sequences |
| US10388177B2 (en) | 2012-04-27 | 2019-08-20 | President And Fellows Of Harvard College | Cluster analysis of participant responses for test generation or teaching |
-
2013
- 2013-04-26 US US13/871,627 patent/US10388177B2/en active Active
- 2013-04-26 CN CN201380033521.0A patent/CN104620300A/zh active Pending
- 2013-04-26 WO PCT/US2013/038376 patent/WO2013163522A1/en active Application Filing
-
2019
- 2019-07-02 US US16/460,409 patent/US10922991B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10388177B2 (en) | 2012-04-27 | 2019-08-20 | President And Fellows Of Harvard College | Cluster analysis of participant responses for test generation or teaching |
| CN105448151A (zh) * | 2015-12-23 | 2016-03-30 | 冀付军 | 一种使用Wi-Fi笔记本进行教学形成性评价的方法 |
| CN105448151B (zh) * | 2015-12-23 | 2018-07-24 | 冀付军 | 一种使用Wi-Fi笔记本进行教学形成性评价的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10388177B2 (en) | 2019-08-20 |
| US20130302775A1 (en) | 2013-11-14 |
| WO2013163522A1 (en) | 2013-10-31 |
| US10922991B2 (en) | 2021-02-16 |
| US20190340948A1 (en) | 2019-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104620300A (zh) | 用于测试生成或教学的参与者回答的集群分析 | |
| Lutfiani et al. | Utilization of big data in educational technology research | |
| Lauría et al. | Mining academic data to improve college student retention: An open source perspective | |
| Meedech et al. | Prediction of student dropout using personal profile and data mining approach | |
| CN111177413A (zh) | 学习资源推荐方法、装置和电子设备 | |
| Kanetaki et al. | A hybrid machine learning model for grade prediction in online engineering education | |
| Petkovic et al. | Setap: Software engineering teamwork assessment and prediction using machine learning | |
| Raleiras et al. | Automatic learning styles prediction: A survey of the State-of-the-Art (2006–2021) | |
| Chaudhury et al. | An empirical study on attribute selection of student performance prediction model | |
| US20150310456A1 (en) | Educational Survey System | |
| Aydoğdu | Educational data mining studies in Turkey: A systematic review | |
| Pupara et al. | An institution recommender system based on student context and educational institution in a mobile environment | |
| CN116796802A (zh) | 基于错题分析的学习推荐方法、装置、设备及存储介质 | |
| Widyahastuti et al. | Prediction model students' performance in online discussion forum | |
| Minami et al. | A correlation analysis of student’s attitude and outcome of lectures investigation of keywords in class-evaluation questionnaire | |
| CN114493944A (zh) | 学习路径的确定方法、装置、设备及存储介质 | |
| Eroğlu et al. | Can mobile learning be an opportunity for undergraduate teacher education? | |
| Okubo et al. | A Visualization System for Predicting Learning Activities Using State Transition Graphs. | |
| Ke et al. | Tracking representational flexibility development through speech data mining | |
| CN112231373B (zh) | 知识点数据的处理方法、装置、设备和计算机可读介质 | |
| Arlitt et al. | Feature engineering for design thinking assessment | |
| Raga et al. | A comparison of college faculty and student class activity in an online learning environment using course log data | |
| Ireri et al. | Modelling an institutional mobile learning readiness analyser | |
| Duch et al. | Enhancing Predictive Analytics for Students' Performance in Moodle: Insight from an Empirical Study | |
| Kolekar et al. | Modified literature based approach to identify learning styles in adaptive E-learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150513 |
|
| WD01 | Invention patent application deemed withdrawn after publication |