CN110705580A - 没有参考标准的简答题评分 - Google Patents

没有参考标准的简答题评分 Download PDF

Info

Publication number
CN110705580A
CN110705580A CN201910612487.1A CN201910612487A CN110705580A CN 110705580 A CN110705580 A CN 110705580A CN 201910612487 A CN201910612487 A CN 201910612487A CN 110705580 A CN110705580 A CN 110705580A
Authority
CN
China
Prior art keywords
computer
pseudo
answers
answer
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910612487.1A
Other languages
English (en)
Inventor
马腾飞
P·沃特森
安哉昱
M·常
A·斯珀林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110705580A publication Critical patent/CN110705580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及没有参考标准的简答题评分。描述了用于使用未标记的数据来确定目标学生答案的分数的系统、方法和计算机可读介质。目标答案是由学生对没有参考标准答案数据的问题给出的。一组学生答案用作一组伪参考答案，分类器用于基于每个其他答案对每个答案进行评分。以这种方式，每个学生答案作为每个其他学生答案的伪参考答案。也可以使用聚类方法将一组学生答案聚集成多个聚类。聚类的质心则可以作为所述一组伪参考答案。聚类提高了为目标学生答案确定的分数的鲁棒性和效率。

Description

没有参考标准的简答题评分
技术领域
本发明一般地涉及答案评分，更具体地涉及在没有参考答案的情况下的答案评分。
背景技术
在没有参考答案的情况下，自动评估诸如学生对论文或简答题的答案之类的简短回答可能是一项困难的任务。参考答案可能由于数据不完整而不可用，或者在某些情况下因为问题集合没有一组清晰、封闭的“正确”答案而不可用。
发明内容
在一个或多个示例实施例中，公开了一种用于使用未标记的数据对目标答案进行评分的方法。该方法包括识别一组伪参考答案并对该组伪参考答案进行评分。该方法还包括至少部分地基于一组专业知识度量来对该组经评分的伪参考答案进行加权，并且至少部分地基于经加权的该组经评分的伪参考答案来确定目标答案的分数。
在一个或多个其他示例实施例中，公开了一种用于使用未标记的数据对目标答案进行评分的系统。该系统包括存储计算机可执行指令的至少一个存储器和被配置为访问该至少一个存储器并执行计算机可执行指令以执行一组操作的至少一个处理器。操作包括识别一组伪参考答案并对该组伪参考答案进行评分。这些操作还包括至少部分地基于一组专门知识度量来对该组经评分的伪参考答案进行加权，并且至少部分地基于经加权的该组经评分的伪参考答案来确定目标答案的分数。
在一个或多个其他示例实施例中，公开了一种用于使用未标记的数据对目标答案进行评分的计算机程序产品。该计算机程序产品包括可由处理电路读取的非暂时性存储介质，该存储介质存储可由处理电路执行以使得方法得以执行的指令。该方法包括识别一组伪参考答案并对该组伪参考答案进行评分。该方法还包括至少部分地基于一组专业知识度量来对该组经评分的伪参考答案进行加权，并且至少部分地基于经加权的该组经评分的伪参考答案来确定目标答案的分数。
附图说明
参考附图阐述详细描述。附图仅仅是为了说明的目的而提供的，并且仅仅描述了本公开的示例性实施例。提供附图是为了便于理解本公开，并且不应被视为限制本公开的宽度、范围或适用性。在附图中，参考数字的最左边的数字标识参考数字首次出现的附图。使用相同的参考数字来表示相似但不一定相同的组件。然而，不同的参考数字也可以用来标识相似的组件。各种实施例可以利用不同于附图所示的元件或组件，并且一些元件和/或组件可以不存在于各种实施例中。根据上下文，使用单数术语来描述组件或元件可以包括多个这样的组件或元件，反之亦然。
图1是示意性混合数据流/框图，示出了根据示例实施例的使用未标记的数据的答案评分。
图2是根据一个或多个示例实施例的用于至少部分地基于赋予一组伪参考答案的分数对目标答案进行评分的说明性方法的过程流程图。
图3是根据一个或多个示例实施例的用于聚集一组答案以获得聚类并选择聚类中心为该组伪参考答案的说明性方法的过程流程图。
图4是被配置为实现一个或多个示例实施例的说明性计算设备的示意图。
具体实施方式
示例实施例涉及用于使用未标记的数据来确定目标学生答案分数的系统、方法、计算机可读介质、技术和方法等。在示例实施例中，目标答案是由学生对没有参考标准答案数据的问题提供的。例如，问题可以是开放式论文问题，或者要求不能被标记为明确正确答案的基于文本的答案的其他简短问题。
更具体地，一些示例实施例涉及利用一组学生答案作为伪参考答案，并且基于每个其他答案对每个答案进行评分。在示例实施例中，为每个学生生成各自的学生简档，学生简档包括赋予给由学生提供的历史答案的分数。学生简档可用于确定学生的专业水平。可以提供经训练的分类器，或者另选地使用已经评级的学生对先前考试的答案 (即标记的答案)来训练分类器。接着，经训练的分类器被用于基于一组学生答案中每个其他学生答案的分数对该组学生答案中的每个学生答案进行评分。以这种方式，每个学生答案作为每个其他学生答案的伪参考答案。在示例实施例中，为了确定目标学生答案的分数，每个其他学生答案的分数用表示相应学生的专业水平的各自专业水平度量来进行加权，并且经加权的分数被求和并针对专业水平度量的总和进行规格化。
在其他示例实施例中，采用聚类方法。更具体地，在一些示例实施例中，至少部分地基于一个或多个基于文本的特征，将初始的一组伪参考答案聚集成聚类。基于文本的特征包括例如初始的一组伪参考答案之间的词重叠程度(例如词重叠的频率、重叠词的数量等)；伪参考答案之间的语义相似性；等等。一旦获得了聚类，就将它们与学生能力的独立度量进行比较，以对聚类进行标记(例如评分)。在示例实施例中，学生能力的独立度量是先前描述的专业知识度量。接着，聚类的聚类中心被识别为表示相应的聚类，并且确定目标学生答案和聚类中心之间的相似性以对目标学生答案进行评分。
现在将描述各种说明性方法和与之相关联的相应数据结构。应当注意，方法200-300的每个操作都可以由图1或图4中描述的一个或多个程序模块等来执行，其操作将在下文中更详细地描述。这些程序模块可以用硬件、软件和/或固件的任意组合来实现。在一些示例实施例中，这些程序模块中的一个或多个可以至少部分地实现为软件和 /或固件模块，其包括计算机可执行指令，这些指令在由处理电路执行时使得一个或多个操作被执行。这里描述的被配置为实现示例实施例的系统或设备可以包括一个或多个处理电路，每个处理电路都可以包括一个或多个处理单元或节点。计算机可执行指令可以包括计算机可执行程序代码，代码在由处理单元执行时可以使得包含在计算机可执行程序代码中或由计算机可执行程序代码引用的输入数据被访问和处理以产生输出数据。
图1是示意性混合数据流/框图，示出了根据示例实施例的使用未标记数据的答案评分。图2是根据一个或多个示例性实施例的用于至少部分地基于赋予给一组伪参考答案的分数来对目标答案进行评分的说明性方法200的过程流程图。图3是根据一个或多个示例实施例的用于聚集一组答案以获得聚类并选择聚类中心为一组伪参考答案的说明性方法300的过程流程图。下文将结合图1来描述图2和3。
首先彼此结合来参考图1和图2，根据示例实施例，在方法200 的框202处，执行一个或多个学生简档生成模块102的计算机可执行指令，以生成多个学生的一组学生简档110，其中每个学生简档110 都与对应的学生相关联。每个相应的学生简档110都包括赋予给由相应学生对先前问题提供的历史答案的分数。
根据示例实施例，在方法200的框204处，执行学生简档生成模块102的计算机可执行指令，以至少部分地基于学生的相应学生简档 110来确定每个学生的相应专业知识度量122。每个专业知识度量 122是对应学生答案质量的度量，如根据由学生提供的历史答案和赋予给历史答案的对应分数所确定的。在示例实施例中，每个相应的学生简档110包括相应学生的相应专业知识度量122。
接着，可选地在方法200的框206处，根据示例实施例，确定问题难度度量和相关性度量。问题难度度量是对问题难度水平的度量。在示例实施例中，确定每个学生答案相对于问题的相关性度量，并且其提供学生答案与问题的主题相关程度的度量。例如，假设我们有分别提供T个答案的T个学生，学生答案的集合由A＝{a1，…，aT)给出。在示例实施例中，接着确定每个学生答案ai相对于问题的相关性度量ri。
在方法200的框208处，根据示例实施例，可选地使用标记的学生答案120来训练分类器104。更具体地说，赋予给由学生提供的历史答案的分数——如标记的学生答案120的组中所反映的——用于训练分类器104。接着，在方法200的框210处，经训练的分类器104被用于至少部分地基于用作一组伪参考答案112的一组其他学生答案来对每个学生答案进行评分。再次参考前面介绍的示例，伪参考答案 112的集合由A＝{a1，…，aT)给出。对于任何给定的目标学生答案 116(例如集合A中的an)，使用分类器104至少部分地基于集合A 中每个其他学生答案的分数(例如，{s1，…，sn-1，sn+1，…，sT})来确定目标学生答案116的分数。分类器104可以利用任何合适的无监督机器学习算法。
在方法200的框212处，集合{s1，…，sn-1，sn+1，…，sT}中的每个学生答案分数被聚合以获得目标学生答案116的分数118(例如 sn)。更具体地，在示例实施例中，集合{s1，…，sn-1，sn+1，…，sT}中的每个学生答案分数乘以相应学生的专业知识度量mi，并求和以获得总和。接着，通过每个学生的专业知识度量mi的总和来规格化该总和，以获得目标学生答案分数118。在一些示例实施例中，每项si×mi还乘以相应的相关性度量ri和问题难度度量(qd)以获得每个学生的项si×mi×ri×qd。接着，在集合{s1，…，sn-1，sn+1，…，sT} 上将这些项求和，并针对专业知识度量mi的总和进行规格化，以获得目标学生答案分数118(例如an的分数)。
在一些示例实施例中，使用聚类技术来增大根据图2的示例方法 200获得的目标学生答案分数118的鲁棒性。现在结合图1参考图 3，在方法300的框302处，执行一个或多个聚类模块106的计算机可执行指令，以至少部分地基于一个或多个基于文本的特征将一组伪参考学生答案112(例如先前介绍的示例集合A)聚集成一组聚类。基于文本的特征包括例如一组伪参考答案112之间的词重叠程度(例如词重叠的频率、重叠词的数量等)；伪参考答案112之间的语义相似性；等等。聚类算法可以是例如K均值聚类算法。例如，可以使用贝叶斯非参数方法(诸如狄利克雷(Dirichlet)过程高斯混合模型) 来自动推断聚类数量，以确定形成的聚类数量。在其他示例实施例中，预定义聚类距离，并且根据聚类距离来确定聚类数量。
在方法300的框304处，执行聚类模块106的计算机可执行指令，以将每个聚类与学生能力的独立度量进行比较，以对聚类进行标记(例如评分)。在示例实施例中，学生能力的独立度量是从学生简档110确定的专业知识度量122。更具体地，在示例实施例中，对于给定的聚类，对应于在该聚类中提供答案的学生的专业知识度量的加权平均值被用于对该聚类进行评分。以这种方式，获得了对应于该组聚类的一组分数。
在方法300的框306处，执行聚类模块106的计算机可执行指令，以指定每个聚类的相应中心为伪参考答案，以用于对目标学生答案116进行评分。具体而言，通过识别每个聚类的中心并将赋予给该聚类的分数赋予给聚类中心来确定一组伪参考聚类中心分数114。通过利用聚类中心作为伪参考学生答案，允许忽略一些原始“噪声”答案，并且聚类一般地通过减少用作伪参考答案的答案数量来使评分系统更加高效。
接着，在方法300的框308处，执行一个或多个评分模块108的计算机可执行指令，以至少部分地基于该组伪参考聚类中心分数114 获得目标学生答案116的分数118。具体而言，在一些示例实施例中，在目标学生答案116和每个聚类中心之间确定相应的相似性度量，并且如此确定的一组相似性度量被用于基于伪参考聚类中心分数 114对目标学生答案116进行评分。
在示例实施例中，标记的聚类被用作学生历史过去表现的替代，以确定目标学生答案116的分数。然而，在一些示例实施例中，一些学生答案(例如集合A中的一些选定答案)可以被标记为参考标准数据，以提高目标学生答案分数118的准确性。
在其他示例实施例中，学生答案被聚类以定义表示所有潜在学生答案的整个语料库的矢量空间。在示例实施例中，矢量空间可以定义“详细答案”(例如每个学生答案中包括的所有内容)。通过将矢量代数应用于整个矢量空间，则为每个学生的答案进行评分。
示例实施例提供了各种技术特征、技术效果和/或对计算机技术的改进。具体而言，示例实施例通过允许在没有标记的参考标准数据的情况下对简答题/论述题进行评分，对基于计算机的答案评分技术提供了技术改进。这种技术改进是通过以下技术特征实现的：使用学生的历史过去表现来训练分类器，并使用经训练的分类器基于每个其他学生答案的专业知识加权分数来对每个学生答案进行评分。以这种方式，每个学生的答案都作为每个其他学生答案的伪参考答案。此外，在示例实施例中，聚类方法被用于增强鲁棒性(例如为目标学生答案确定的分数的准确性)和评分的效率(即减少所使用的伪参考答案的数量)。
本文描述了本公开的一个或多个说明性实施例。这些实施例仅仅是对本公开范围的说明，并不打算以任何方式进行限制。因此，这里公开的实施例的变型、修改和等同物也在本公开的范围内。
图4是被配置为实现本公开的一个或多个示例实施例的说明性计算设备402的示意图。计算设备402可以是任何合适的设备，包括但不限于服务器、个人计算机(PC)、平板电脑、智能手机、可穿戴设备、支持语音的设备等。虽然计算设备402的任何特定组件可以在此以单数形式描述，但是应当理解，可以提供任何这种组件的多个实例，并且结合特定组件描述的功能可以分布在这种组件的多个组件上。
尽管图4中未示出，但是计算设备402可以被配置为经由一个或多个网络与一个或多个其他设备、系统、数据存储库等通信。这种网络可以包括但不限于任何一种或多种不同类型的通信网络，诸如例如电缆网络、公共网络(例如因特网)、专用网络(例如帧中继网络)、无线网络、蜂窝网络、电话网络(例如公共交换电话网络)或任何其他合适的专用或公共分组交换或电路交换网络。这种网络可以具有与其相关联的任何合适的通信范围，并且可以包括例如全球网络 (例如因特网)、城域网(MAN)、广域网(WAN)、局域网(LAN)或个人区域网(PAN)。此外，这样的网络可以包括通信链路和相关联的网络设备(例如链路层交换机、路由器等)，用于通过任何合适类型的介质来传输网络流量，介质包括但不限于同轴电缆、双绞线(例如双绞线铜线)、光纤、混合光纤同轴(HFC)介质、微波介质、射频通信介质、卫星通信介质或其任意组合。
在说明性配置中，计算设备402可以包括一个或多个处理器 404、一个或多个存储设备406(这里统称为存储器406)、一个或多个输入/输出(I/O)接口408、一个或多个网络接口410和数据存储装置414。计算设备402还可以包括一条或多条总线412，总线412 在功能上耦合计算设备402的各种组件。
总线412可以包括系统总线、存储器总线、地址总线或消息总线中的至少一种，并且可以允许在计算设备402的各种组件之间交换信息(例如，数据(包括计算机可执行代码)、信令等)。总线412可以包括但不限于存储器总线或存储器控制器、外围总线、加速图形端口等。总线412可以与任何合适的总线体系结构相关联，包括但不限于工业标准体系结构(ISA)、微通道体系结构(MCA)、增强型 ISA(EISA)、视频电子标准协会(VESA)体系结构、加速图形端口(AGP)体系结构、外围组件互连(PCI)体系结构、PCI-Express体系结构、个人计算机存储卡国际协会(PCMCIA)体系结构、通用串行总线 (USB)体系结构等。
存储器406可以包括易失性存储器(供电时保持其状态的存储器)，例如随机存取存储器(RAM)和/或非易失性存储器(即使没有供电时也保持其状态的存储器)，例如只读存储器(ROM)、闪存、铁电随机存取存储器(FRAM)等。这里使用的术语持久数据存储可以包括非易失性存储器。在一些示例实施例中，易失性存储器可以实现比非易失性存储器更快的读/写访问。然而，在一些其他示例实施例中，一些类型的非易失性存储器(例如FRAM)可以实现比一些类型的易失性存储器更快的读/写访问。
在各种实施方式中，存储器406可以包括多种不同类型的存储器，例如各种类型的静态随机存取存储器(SRAM)、各种类型的动态随机存取存储器(DRAM)、各种类型的不可改变的ROM和/或ROM 的可写变体，例如电可擦除可编程只读存储器(EEPROM)、闪存等。存储器406可以包括主存储器以及各种形式的高速缓存存储器，例如指令高速缓存、数据高速缓存、翻译后备缓冲器(TLB)等等。此外，诸如数据高速缓存之类的高速缓存可以是组织为一个或多个高速缓存级别(L1、L2等)的层级的多级高速缓存。
数据存储器414可以包括可移动存储装置和/或不可移动存储装置，包括但不限于磁存储装置、光盘存储装置和/或磁带存储装置。数据存储装置414可以提供计算机可执行指令和其他数据的非易失性存储。存储器406和数据存储装置414(可移动和/或不可移动的)是这里使用的术语计算机可读存储介质(CRSM)的示例。
数据存储装置414可存储计算机可执行代码、指令等，这些代码、指令等可加载到存储器406中并可由处理器404执行，以使处理器404执行或启动各种操作。数据存储装置414可以附加地存储数据，该数据可以被复制到存储器406，以供处理器404在执行计算机可执行指令期间使用。此外，作为处理器404执行计算机可执行指令的结果而生成的输出数据可以最初存储在存储器406中，并且可以最终被复制到数据存储装置414用于非易失性存储。
更具体地，数据存储装置414可以存储一个或多个操作系统 (O/S)416；一个或多个数据库管理系统(DBMS)418，其被配置为访问存储器406和/或一个或多个外部数据存储库428；以及一个或多个程序模块、应用程序、引擎、管理器、计算机可执行代码、脚本等，诸如例如一个或多个学生简档生成模块420、分类器422、一个或多个聚类模块424，以及一个或多个评分模块426。被描述为存储在数据存储装置414中的任何组件可以包括软件、固件和/或硬件的任何组合。软件和/或固件可以包括计算机可执行指令(例如计算机可执行程序代码)，其可以被加载到存储器406中，用于由一个或多个处理器404执行，以执行前面结合相应命名的模块描述的任何操作。
尽管在图4中未示出，但是数据存储装置414可以进一步存储由计算设备402的组件使用的各种类型的数据(例如，存储在数据存储库428中的数据)。存储在数据存储装置414中的任何数据可以被加载到存储器406中，以供处理器404在执行计算机可执行指令时使用。此外，存储在数据存储装置414中的任何数据都可以潜在地存储在外部数据存储库428中，并且可以经由DBMS 418访问并加载到存储器406中，以供处理器404在执行计算机可执行指令时使用。
处理器404可以被配置为访问存储器406并执行加载在其中的计算机可执行指令。例如，处理器404可以被配置为执行计算设备402 的各种程序模块、应用程序、引擎、管理器等的计算机可执行指令，以根据本公开的一个或多个实施例使得或促进各种操作被执行。处理器404可以包括能够接受数据作为输入、根据存储的计算机可执行指令来处理输入数据并生成输出数据的任何合适的处理单元。处理器 404可以包括任何类型的合适的处理单元，包括但不限于中央处理单元、微处理器、精简指令集计算机(RISC)微处理器、复杂指令集计算机(CISC)微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)、数字信号处理器 (DSP)等。此外，处理器404可以具有任何合适的微体系结构设计，其包括任何数量的组成组件，例如寄存器、多路复用器、算术逻辑单元、用于控制对高速缓存存储器的读/写操作的高速缓存控制器、分支预测器等。处理器404的微体系结构设计可以能够支持多种指令集中的任何一种。
现在参考被描述为存储在数据存储装置414中的其他说明性组件，O/S 416可以从数据存储装置414加载到存储器406中，并且可以提供在计算设备402上执行的其他应用程序软件和计算设备402的硬件资源之间的接口。更具体地说，O/S 416可以包括一组计算机可执行指令，用于管理计算设备402的硬件资源和向其他应用程序提供公共服务。在一些示例实施例中，O/S 416可以包括或以其他方式控制被描述为存储在数据存储装置414中的程序模块、引擎、管理器等中的一个或多个的执行。O/S 416可以包括现在已知的或将来可能开发的任何操作系统，包括但不限于任何服务器操作系统、任何大型机操作系统或任何其他专有或非专有操作系统。
DBMS 418可以被加载到存储器406中，并且可以支持用于访问、检索、存储和/或操纵存储在存储器406中的数据、存储在数据存储装置414中的数据和/或存储在外部数据存储428中的数据的功能。DBMS 418可以使用各种数据库模型中的任何一种(例如关系模型、对象模型等)，并且可以支持多种查询语言中的任何一种。 DBMS 418可以访问以一种或多种数据模式表示的并存储在任何合适的数据储存库中的数据。存储在数据存储库428中的数据可以包括例如学生简档、伪参考答案、聚类分数、专业知识度量、相关性度量、问题难度度量等。可由计算设备402经由DBMS 418访问的外部数据存储库428可包括但不限于数据库(例如关系数据库、面向对象数据库等)、文件系统、平面文件、其中数据存储在计算机网络的多于一个节点上的分布式数据存储库、对等网络数据存储库等。
现在参考计算设备402的其他说明性组件，输入/输出(I/O)接口408可以便于计算设备402从一个或多个I/O设备接收输入信息，以及从计算设备402向一个或多个I/O设备输出信息。I/O设备可以包括多种组件中的任何一种，例如具有触摸表面或触摸屏的显示器或显示屏；用于产生声音的音频输出设备，例如扬声器；音频捕捉设备，例如麦克风；图像和/或视频捕捉设备，例如摄像头；触觉单元；等等。这些组件中的任何一个都可以集成到计算设备402中或者可以是分开的。I/O设备可以进一步包括例如任何数量的外围设备，例如数据存储设备、打印设备等。
一个或多个I/O接口408还可以包括用于外部外围设备连接的接口，诸如通用串行总线(USB)、FireWire、Thunderbolt、以太网端口或可以连接到一个或多个网络的其他连接协议。一个或多个I/O 接口408还可以包括到一个或多个天线的连接，以经由无线局域网(WLAN)(例如Wi-Fi)无线电装置、蓝牙和/或无线网络无线电装置(例如能够与无线通信网络(诸如长期演进(LTE)网络、 WiMAX网络、3G网络等)通信的无线电装置)连接到一个或多个网络。
计算设备402还可以包括一个或多个网络接口410，计算设备 402可以通过网络接口410与各种其他系统、平台、网络、设备等中的任何一个进行通信。一个或多个网络接口410可以实现例如经由一个或多个网络与一个或多个其他设备的通信。
应当理解，图4中描述为存储在数据存储装置414中的程序模块 /引擎仅仅是说明性的，而不是穷举性的，并且被描述为由任何特定模块支持的处理可以替代地分布在多个模块、引擎等上，或者由不同的模块、引擎等执行。此外，还可以提供各种程序模块、脚本、插件、应用程序编程接口(API)或本地托管在计算设备402和/或通过一个或多个网络可访问的其他计算设备上的任何其他合适的计算机可执行代码，以支持由图4所示的模块提供的功能和/或附加或替代功能。此外，功能可以以任何合适的方式模块化，使得被描述为由特定模块执行的处理可以由任意数量的程序模块的集合执行，或者被描述为由任何特定模块支持的功能可以至少部分地由另一模块支持。此外，支持这里描述的功能的程序模块可以根据任何合适的计算模型 (例如客户机-服务器模型、对等模型等)跨任意数量的集群成员执行。
还应当理解，计算设备402可以包括超出所描述或描绘的组件的替换和/或附加硬件、软件或固件组件，而不脱离本公开的范围。更具体地，应当理解，被描绘为形成计算设备402的一部分的软件、固件或硬件组件仅仅是说明性的，并且在各种实施例中，一些组件可能不存在或者可以提供附加组件。虽然各种说明性模块已经被描绘和描述为存储在数据存储装置414中的软件模块，但是应当理解，被描述为由模块支持的功能可以由硬件、软件和/或固件的任意组合来实现。还应当理解，在各种实施例中，上述模块中的每一个都可以表示所支持的功能的逻辑划分。为了便于对功能的解释，描述了该逻辑划分，并且该逻辑划分可能不表示用于实现功能的软件、硬件和/或固件的结构。因此，应当理解，在各种实施例中，被描述为由特定模块提供的功能可以至少部分地由一个或多个其他模块提供。此外，在一些实施例中可能不存在一个或多个所描绘的模块，而在其他实施例中，可能存在未描绘的附加程序模块和/或引擎，并且可以支持所描述的功能和/或附加功能的至少一部分。
方法200至方法300中任一方法的一个或多个操作可以由具有图 4所示说明性配置的计算设备402来执行，或者更具体地，由在这样的设备上可执行的一个或多个程序模块、引擎、应用程序等来执行。然而，应当理解，这种操作可以结合许多其他设备配置来实现。
在图2和图3的说明性方法中描述和描绘的操作可以按照本公开的各种示例性实施例中期望的任何合适的顺序来实现或执行。另外，在一些示例实施例中，至少一部分操作可以并行执行。此外，在一些示例实施例中，可以执行比图2和图3中描绘的操作更少、更多或不同的操作。
尽管已经描述了本公开的具体实施例，但是本领域普通技术人员将认识到，许多其他修改和替代实施例都在本公开的范围内。例如，关于特定系统、系统组件、设备或设备组件描述的任何功能和/或处理能力可以由任何其他系统、设备或组件来执行。此外，虽然已经根据本公开的实施例描述了各种说明性实现方式和体系结构，但是本领域普通技术人员将理解，对这里描述的说明性实现方式和体系结构的许多其他修改也在本公开的范围内。此外，还应当理解，本文描述为基于另一操作、元件、组件、数据等的任何操作、元件、组件、数据等可以另外基于一个或多个其他操作、元件、组件、数据等。因此，短语“基于”或其变体应被解释为“至少部分地基于”。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子 (非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器 (RAM)、只读存储器(ROM)、可擦式可编程只读存储器 (EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及传统的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)一连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/ 动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于使用未标记的数据对目标答案进行评分的计算机实现的方法，所述方法包括：
识别一组伪参考答案；
对所述一组伪参考答案进行评分；
至少部分地基于一组专业知识度量来对所述一组经评分的伪参考答案进行加权；和
至少部分地基于经加权的一组经评分的伪参考答案确定所述目标答案的分数。
2.根据权利要求1所述的计算机实现的方法，进一步包括：
为多个学生中的每一个生成相应的学生简档，每一个相应的学生简档都包括赋予给由相应学生提供的历史答案的分数；和
至少部分地基于相应的学生简档来确定每个专业知识度量，
其中确定所述目标答案的分数包括对经加权的一组经评分的伪参考答案进行求和以获得总和，并针对所述一组专业知识度量的总和规格化所述总和。
3.根据权利要求2所述的计算机实现的方法，其中对所述一组伪参考答案进行加权还包括将每个加权的伪参考答案乘以指示问题难度水平的问题难度度量。
4.根据权利要求2所述的计算机实现的方法，其中确定所述目标答案的分数进一步包括：
使用标记的学生答案来训练分类器；和
利用经训练的分类器对所述一组伪参考答案进行评分。
5.根据权利要求1所述的计算机实现的方法，进一步包括：
至少部分地基于一个或多个基于文本的特征将一组初始伪参考答案聚集成一组聚类，以获得一组聚类；
将所述一组聚类与所述一组专业知识度量进行比较，以将相应的标记分配给所述一组聚类中的每一个聚类；
将所述一组聚类的一组聚类中心指定为所述一组伪参考答案。
6.根据权利要求5所述的计算机实现的方法，其中所述一个或多个基于文本的特征包括以下中的至少一项：所述一组初始伪参考答案之间的词重叠，或所述一组初始伪参考答案之间的语义相似性。
7.根据权利要求1所述的计算机实现的方法，其中所述目标答案是第一目标答案，所述方法进一步包括：
将所述一组伪参考答案聚集成一组聚类，所述一组聚类定义所有潜在答案的矢量空间；和
至少部分地通过将矢量代数应用于所述矢量空间来确定第二目标答案的分数。
8.一种用于使用未标记的数据对目标答案进行评分的系统，所述系统包括：
存储计算机可执行指令的至少一个存储器；和
发送设备的至少一个处理器，其中所述至少一个处理器被配置为访问所述至少一个存储器并执行所述计算机可执行指令，以执行根据权利要求1至7中任一项所述的方法中的步骤。
9.一种用于使用未标记的数据对目标答案进行评分的计算机程序产品，所述计算机程序产品包括可由处理电路读取的存储介质，所述存储介质存储可由所述处理电路执行以使根据权利要求1至7中任一项所述的方法中的步骤被执行的指令。
10.一种计算机系统，包括被配置为执行根据权利要求1至7中任一项所述的方法中的步骤的模块。
CN201910612487.1A 2018-07-10 2019-07-09 没有参考标准的简答题评分 Pending CN110705580A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/031,062 US20200020243A1 (en) 2018-07-10 2018-07-10 No-ground truth short answer scoring
US16/031,062 2018-07-10

Publications (1)

Publication Number Publication Date
CN110705580A true CN110705580A (zh) 2020-01-17

Family

ID=69139252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910612487.1A Pending CN110705580A (zh) 2018-07-10 2019-07-09 没有参考标准的简答题评分

Country Status (2)

Country Link
US (1) US20200020243A1 (zh)
CN (1) CN110705580A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085985A (zh) * 2020-08-20 2020-12-15 安徽七天教育科技有限公司 一种面向英语考试翻译题目的学生答案自动评分方法
CN112434688A (zh) * 2020-12-01 2021-03-02 北京爱论答科技有限公司 一种试题评价模型的训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078891A1 (en) * 2010-09-28 2012-03-29 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US20140370485A1 (en) * 2013-04-19 2014-12-18 Educational Testing Service Systems and Methods for Generating Automated Evaluation Models
US20150044659A1 (en) * 2013-08-07 2015-02-12 Microsoft Corporation Clustering short answers to questions
CN106205251A (zh) * 2016-08-31 2016-12-07 李彦芝 一种作业打分系统
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
US9940367B1 (en) * 2014-08-13 2018-04-10 Google Llc Scoring candidate answer passages

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181909B1 (en) * 1997-07-22 2001-01-30 Educational Testing Service System and method for computer-based automatic essay scoring
WO2002059857A1 (en) * 2001-01-23 2002-08-01 Educational Testing Service Methods for automated essay analysis
US7831196B2 (en) * 2003-10-27 2010-11-09 Educational Testing Service Automatic essay scoring system
US8798518B2 (en) * 2004-06-30 2014-08-05 Educational Testing Service Method and system for calibrating evidence models
WO2006093928A2 (en) * 2005-02-28 2006-09-08 Educational Testing Service Method of model scaling for an automated essay scoring system
US8990124B2 (en) * 2010-01-14 2015-03-24 Microsoft Technology Licensing, Llc Assessing quality of user reviews
US20130004931A1 (en) * 2011-06-28 2013-01-03 Yigal Attali Computer-Implemented Systems and Methods for Determining Content Analysis Metrics for Constructed Responses
US9576249B2 (en) * 2013-03-18 2017-02-21 Educational Testing Service System and method for automated scoring of a summary-writing task
US9443193B2 (en) * 2013-04-19 2016-09-13 Educational Testing Service Systems and methods for generating automated evaluation models
US9836985B2 (en) * 2014-02-27 2017-12-05 Educational Testing Service Systems and methods for automated scoring of textual responses to picture-based items

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078891A1 (en) * 2010-09-28 2012-03-29 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US20140370485A1 (en) * 2013-04-19 2014-12-18 Educational Testing Service Systems and Methods for Generating Automated Evaluation Models
US20150044659A1 (en) * 2013-08-07 2015-02-12 Microsoft Corporation Clustering short answers to questions
US9940367B1 (en) * 2014-08-13 2018-04-10 Google Llc Scoring candidate answer passages
CN106205251A (zh) * 2016-08-31 2016-12-07 李彦芝 一种作业打分系统
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘伟等: "主观题自动测评研究", 《北京邮电大学学报(社会科学版)》 *
姜振凤等: "基于计算机辅助评价的主观题自动评测研究", 《重庆师范大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085985A (zh) * 2020-08-20 2020-12-15 安徽七天教育科技有限公司 一种面向英语考试翻译题目的学生答案自动评分方法
CN112085985B (zh) * 2020-08-20 2022-05-10 安徽七天网络科技有限公司 一种面向英语考试翻译题目的学生答案自动评分方法
CN112434688A (zh) * 2020-12-01 2021-03-02 北京爱论答科技有限公司 一种试题评价模型的训练方法及装置

Also Published As

Publication number Publication date
US20200020243A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110674880B (zh) 用于知识蒸馏的网络训练方法、装置、介质与电子设备
US11128668B2 (en) Hybrid network infrastructure management
WO2021151296A1 (zh) 多任务分类方法、装置、计算机设备及存储介质
US20200051451A1 (en) Short answer grade prediction
US11741371B2 (en) Automatically generating diverse text
CN111653274B (zh) 唤醒词识别的方法、装置及存储介质
WO2018220700A1 (ja) 新規学習データセット生成方法、新規学習データセット生成装置および生成された学習データセットを用いた学習方法
CN111666416A (zh) 用于生成语义匹配模型的方法和装置
CN110705255A (zh) 检测语句之间的关联关系的方法和装置
CN110598869A (zh) 基于序列模型的分类方法、装置、电子设备
CN110705580A (zh) 没有参考标准的简答题评分
US20190171745A1 (en) Open ended question identification for investigations
US20220207861A1 (en) Methods, devices, and computer readable storage media for image processing
CN116601648A (zh) 备选软标签生成
US20230394846A1 (en) Coarse-to-fine attention networks for light signal detection and recognition
US10586171B2 (en) Parallel ensemble of support vector machines
WO2022121515A1 (en) Mixup data augmentation for knowledge distillation framework
US11922129B2 (en) Causal knowledge identification and extraction
WO2019103778A1 (en) Missing label classification and anomaly detection for sparsely populated manufacturing knowledge graphs
US10546247B2 (en) Switching leader-endorser for classifier decision combination
CN113010687B (zh) 一种习题标签预测方法、装置、存储介质以及计算机设备
CN111859985B (zh) Ai客服模型测试方法、装置、电子设备及存储介质
CN111754984B (zh) 文本选取的方法、装置、设备和计算机可读介质
US11514311B2 (en) Automated data slicing based on an artificial neural network
US20150278440A1 (en) Analyzing property of protein sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination