CN112740132A - 简答题评分预测 - Google Patents

简答题评分预测 Download PDF

Info

Publication number
CN112740132A
CN112740132A CN201980062445.3A CN201980062445A CN112740132A CN 112740132 A CN112740132 A CN 112740132A CN 201980062445 A CN201980062445 A CN 201980062445A CN 112740132 A CN112740132 A CN 112740132A
Authority
CN
China
Prior art keywords
similarity
answers
model
scored
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980062445.3A
Other languages
English (en)
Inventor
杰伊·戈亚尔
谢尔盖·费尔德曼
伊利亚·巴尔沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Active Learning Ltd
Actively Learn Inc
Original Assignee
Active Learning Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Active Learning Ltd filed Critical Active Learning Ltd
Publication of CN112740132A publication Critical patent/CN112740132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

实施包括计算机实现的方法、计算机可读介质和/或用于简答题评分预测的系统。

Description

简答题评分预测
相关申请
本申请主张申请号为62/717,723的美国临时专利申请的优先权，该临时专利申请的名称为“简答题评分预测”，该临时专利申请提交于2018年8月10日，本申请要求该临时专利申请的全部优先权。
背景技术
有些类型的考题的评分已经可以自动化，例如多项选择题，数字型答案的题目，等等。然而，其他类型的试题，例如简答题，等等，采用自由文本的形式，评分可能会很耗时间。为简答题格式的试题提供自动评分或预测就非常必要。
此处提供的背景描述是为了一般地呈现本申请的研究范围。目前提及的发明人的工作，在某种程度上，是在这个背景状况下以及一些可能不属于本申请提交时的现有技术的内容前提下进行描述的，该工作内容并没有被现有技术明确或隐含披露。
发明内容
提供一些实施方案，这些实施方案通常与计算机测试有关，特别是与简答题评分预测的系统、方法和计算机可读介质有关。
一些实施方案可以包括计算机实现的方法。该方法可以包括接收对一测试例的简答题作答，以及确定对应该测试例的预评分作答的数量。该方法还可以包括，当所述预评分作答的数量落入一阈值时，将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中，利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度。
该方法可以进一步包括：将该简答题作答与该一个或多个预评分作答之间的该相似度和与该一个或多个预评分作答相对应的预定分数应用于一评分模型中，使用该评分模型，产生一与该简答题作答相对应的评分预测。在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：通过程式基于该简答题作答中的字符、单词、单词用法、词序或单词位置中的一个或多个来确定该相似度。
在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：确定一具有范围的数值，该范围表示该简答题作答与该一个或多个预评分作答之间的相似度等级。该方法还包括：显示一用户界面以呈现该评分预测。
该方法还可以进一步包括：将该评分预测存储于一数据库。该方法还可以包括：将该评分预测与该学生在一特定测试中的其他作答的评分合并，以生成该学生在该特定测试中的总得分。
该方法还可以进一步包括：向教师提供该评分预测建议，及提供一用户界面供教师选择接受或修改该评分预测。
该方法还可以进一步包括：训练该相似度模型。其中，该相似度模型的训练包括：生成一个或多个问题及答案元组作为训练样本，其中，每个该问题及答案元组均包括两个或更多的答案；将该一个或多个问题及答案元组应用于该相似度模型中，生成一相似度分数值，该相似度分数值代表该两个或更多的答案的相似度；基于该相似度分数值通过该评分模型预测得到一评分预测；及，基于该评分模型预测得到的该评分预测调整该相似度模型中的一个或多个参数。
在一些实施例中，训练该相似度模型还进一步包括：比较通过该相似度模型得到的该评分预测及与一训练样本对应的已知分数；其中，该相似度模型包括一神经网络，调整该相似度模型中的一个或多个参数包括：调整该神经网络的一层或多层的一个或多个权重，作为该相似度模型得到的该评分预测及与该训练样本对应的该已知分数的差异的反馈。在一些实施例中，当一个或多个该相似度模型预测的评分预测落入一个或多个对应的已知分数的阈值内时，相似度模型或评分模型的训练完成。
该方法还可以包括：提供该相似度模型的输入值，包括：基于该简答题作答及多个预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个预评分作答中的一个的重叠函数值。该方法还可以进一步包括：提供该简答题作答、该一个或多个预评分作答及该一个或多个预评分作答的评分之间的相似点分布，并将该相似点分布作为该评分模型的输入值。
在一些实施例中，还可以包括：存储有上述指令的非瞬时计算机可读存储介质，当上述指令被一处理器执行时，使所述处理器运行一些操作。该操作可以包括：接收对一测试例的一简答题作答，以及确定对应该测试例的预评分作答的数量。该方法还可以包括：当该预评分作答的数量落入一阈值时，将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中，利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度。该方法还可以进一步包括：将该简答题作答与该一个或多个预评分作答之间的该相似度及与该一个或多个预评分作答相对应的预定分数应用于一评分模型中，使用该评分模型，产生一与该简答题作答相对应的评分预测。
在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：通过程式基于该简答题作答中的字符、单词、单词用法、词序或单词位置中的一个或多个来确定该相似度。在一些实施例中，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：确定一具有范围的数值，该范围表示该简答题作答与该一个或多个预评分作答之间的相似度等级。
一些实施例还可以包括：一系统，包括一个或多个处理器及与所述第一个或多个处理器相匹配的存储器，该存储器存储有一些指令，当上述指令被执行时，使该一个或多个处理器运行一些操作。该操作可以包括：接收对一测试例的一简答题作答，以及确定该测试例的预评分作答的数量。该操作还可以包括：当该预评分作答的数量落入一阈值时，将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中，利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度。该操作还可以进一步包括：将该简答题作答与该一个或多个预评分作答之间的该相似度及与该一个或多个预评分作答相对应的预定分数应用于一评分模型中，使用该评分模型，生产一与该简答题作答相对应的评分预测。
该操作还可以进一步包括：将该评分预测与该学生在一特定测试中的其他作答的评分合并，以生成该学生在该特定测试中的总得分。该操作还可以进一步包括：向教师提供该评分预测建议，及提供一用户界面供教师选择接受或修改该评分预测。
该操作还可以进一步包括：提供该相似度模型的输入值，包括：基于该简答题作答及多个预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个预评分作答中的一个的重叠函数值。该操作还可以进一步包括：提供该简答题作答、该一个或多个预评分作答及该一个或多个预评分作答的评分之间的相似点分布，并将该相似点分布作为该评分模型的输入值。
附图说明
图1是一些实施例中的一示例性的简答测试打分系统及网络环境的模块图。
图2是一些实施例中的具有示例输入和输出的简答题评分预测系统的示意图。
图3是一些实施例中的示例性的简答题评分预测方法的流程图。
图4是一些实施例中的示例性的训练一简答题评分预测模型的方法的流程图。
图5是用于本申请一个或多个实施例的示例性装置的模块图。
图6是一些实施例中的用于简答题评分预测的示例性用户界面的示意图。
图7是一些实施例中的具有示例输入和输出的简答题评分预测系统的示意图。
图8是一些实施例中的示例性的简答题评分预测方法的流程图。
具体实施方式
本申请的系统及方法可以克服一些常规的计算机测试系统及方法的一个或多个缺陷。例如，基于计算机学习模型的简答题评分预测可以减少人工评分的不一致性，还可以减少得到通过计算机系统提供的简答题作答评分的耗时。简答题作答可以包括，但不限于包括，少于20个字的作答、在5-10个字之间的作答、少于2段的自由格式的文本作答、少于20秒的口述作答，等等。
图1示出了示例环境100的框图，该示例环境100可以在本文所述的一些简答评分实施例中使用。在一些实施例中，环境100包括一个或多个测试服务器系统，例如，图1的示例中的测试服务器系统102。测试服务器系统102可以例如与网络130通信。测试服务器系统102可以包括服务器设备104和数据库106或其他存储设备。测试服务器系统102可以包括云计算和/或存储系统。环境100还可以包括一个或多个学生设备，例如学生设备120、122、124和126，它们可以经由网络130彼此和/或与测试服务器系统102通信。网络130可以是任何类型的，包括因特网、局域网(LAN)、无线网络、交换机或集线器连接等中的一个或多个的通信网络。在一些实施例中中，网络130可以包括设备之间的对等通信132，例如，使用对等无线协议。
为了便于说明，图1示出了用于测试服务器系统102、服务器设备104和数据库106的一个模块，并且示出了用于学生设备120、122、124和126的四个模块。代表服务器系统102、104和106的模块可以代表多个系统、服务器设备和网络数据库，并且能以与图示不同的配置来提供这些模块。例如，测试服务器系统102能够代表可由网络130与其他服务器系统通信的多个服务器系统。在一些实施例中，可以在与服务器设备104相分离的服务器系统模块中提供数据库106和/或其他存储设备，且，数据库106和/或其他存储设备可以通过网络130与服务器设备104和其他服务器系统进行通信。而且，学生设备的数量可以为任意。
每个学生设备均可以是任何类型的电子设备，例如台式计算机、膝上型计算机、便携式或移动设备、可穿戴设备等。一些学生设备还可以包含有类似于数据库106的本地数据库或其他存储器。在其他实施例中，环境100可以不设置所示的所有元器件和/或可以具有包括其他类型的元件的其他器件来代替本文描述的那些元件或除本文所述的元件之外的元件。
在各种实施例中，学生用户U1，U2，U3和U4可以包括在一教育环境中的一个或多个学生，并且可以与测试服务器系统102和/或相应的学生设备120、122、124彼此通信。在一些实施例中，用户U1，U2，U3和U4可以通过在各自的客户端设备和/或服务器系统102上运行的应用程序相互交互，和/或通过应用于服务器系统102上的网络服务相互交互，网络服务例如可以为聊天/消息收发服务、社交网络服务或其他类型的网络服务。例如，各个客户端设备120、122、124和126可以与一个或多个服务器系统(例如，服务器系统102)进行来回的数据通信。
在一些实施例中，该测试服务器系统102可以向学生设备提供数据，使得每个学生设备可以接收上载到服务器系统102和/或网络服务的传达的教育内容或共享的教育内容。在一些实施例中，学生可以通过音频或视频会议、音频、视频或文本聊天或其他通信模式或应用程序与讲师或彼此互动。在一些实施例中，网络服务可以包括使用户能够执行各种通信、接收各种形式的数据和/或执行教育功能的任何系统。例如，该网络服务可以允许学生参加考试，例如接收一个或多个问题，并提供一简答题作答，例如文本、语音形式等。
一用户界面可以在学生设备120、122、124和126上(或在测试服务器系统102上)显示课程资料，例如测试问题、课程的阅读材料以及其他资料，该其他资料例如为图像、图像合成、视频、数据和其他内容，该其他内容可以为通信、隐私设置、通知和其他数据。可以使用学生设备上的软件、服务器设备上的软件和/或在服务器设备104上执行的客户端软件和服务器软件的组合(例如，与测试服务器系统102通信的应用软件或客户端软件)来呈现这样的界面。在一些实施例中，该用户界面可以由学生设备或服务器设备的显示设备(例如显示屏，投影仪等)显示。在一些实施例中，服务器系统上运行的应用程序可以与学生设备进行通信以接收用户在客户端的输入，及在客户端设备上输出诸如可视数据、音频数据等的数据。
本文描述的特征的各种实现方式可以使用任何类型的教育系统和/或服务。例如，由学生和服务器设备访问的包括一个或多个所描述的特征的教育系统、社交网络服务、图像收集和共享服务、辅助消息服务或其他联网服务(例如，连接到互联网)。任何类型的电子设备都可以采用本文描述的特征。一些实施例可以在与计算机网络断开连接或间歇地连接的客户端(例如，学生端)或服务器设备上提供一个或多个本文描述的特征。在一些实施例中，包括显示设备或连接到显示设备的学生设备可以检查和显示存储在该学生设备本地的存储设备上的图像(例如，未通过通信网络连接)，并且可以提供本文所述的可查看的特征和结果给用户。
图2是根据一些实施例的具有示例输入和输出的简答题评分预测系统的示意图。特别地，简答题评分预测系统202可以包括一个或多个模型，诸如模型A 208和模型B210。这些模型可以包括如下所述的神经网络。可以基于接收到的训练数据206来训练模型(208和210)。训练数据206可以包括一个或多个分配数据(例如，阅读材料和/或与该阅读材料有关的问题)、阅读材料(例如，在回答问题并为作答提供语境之前要阅读的材料，例如短文章或大段文本的特定部分)、问题(例如，教师分配的简答题例，可以嵌于阅读材料中或紧随其后)、作答(例如，学生以阅读材料作为依据或语境输出对问题的文字作答)；或，正确的(或已知的)的评分数据(例如，教师基于评分范围(例如0到4)对答案的评分)。
为了预测例如从学生设备接收的短答案的成绩，可以使用两个不同的模型(例如，神经网络)。可以根据问题的历史作答是否可用以及是否满足阈值数量来决定使用哪种模型(例如，模型A 208或模型B 210)。该简答题评分系统基于历史作答的可用性确定用于给定测试例和简短答案的模型。
模型A(208)可以包括具有历史作答的模型。例如，如果待评分的作答是对某个问题的作答，该问题过去的回答和评分(例如，来自于同一位教师或其他教师教过的其他课程或以前的课程)是可用的，则该模型架构可以是例如孪生神经网络。在该模型中，可以有两个并行分支，一个分支用于该待评分的作答，一个分支用于一不同的作答，该两个并行分支具有共享学习参数的相同的层。每个分支中的层可以包括：
1.嵌入层–学习嵌入(例如，在训练过程中学习嵌入，并将其存储以供以后在预测时使用)或学习多维数字表现，以用于作答文本的多个特征(例如单词的小写字母形式、形状、前缀和后缀)。使用单词的部分特征，例如其形状、后缀和前缀，以使得系统202学习关于单词的更多一般概念，并且使得模型在评分生成期间更好地概括在训练阶段可能从未提供过的单词。然后可以将不同单词特征的嵌入进行组合以为每个单词创建一个嵌入。
2.池化层–该层将针对不同单词的嵌入组合成一个作答的概念。在池化层中，注意力机制学习在池化期间分配给一作答的每个单词的权重。当计算两个作答之间的关于评分接近程度的相似度时，这样做可以更好地掌握作答中的哪些单词权重更高。
3.相似度计算层–该层计算来自两个分支的作答的嵌入向量之间的余弦相似度，并将它们组合成一个相似度分数。
4.评分预测层–该层将该相似度等量为评分尺(例如，等量为0-4的评分尺)。
如果要被评分的作答是针对过去已确定的评分不超过一阈值数(例如，1、3、5、10等)的问题，则系统可以采用模型B 210，模型B210包括两部分的架构。第一部分学习阅读材料和问题中的句子的嵌入，并使用这些学习到嵌入来识别阅读材料中最有可能包含问题答案的句子。因为对于推理性的问题而言，答案很可能不包含在单个句子中，所以该模型可以从阅读材料中基于已学习的相似度阈值选择多个句子。
模型B 210可以包括与前述提到的模型A的层相似的层，并且可以使用所选句子的学习嵌入作为汇聚层的输入，以获取阅读材料的单个问题相关的表示。此架构的不同分支可以学习要评分的作答的嵌入，然后系统可以确定作答与问题相关的阅读材料嵌入的相似程度，并根据该相似度评分来分配评分。
图3是一些实施例中的用于预测评分的等级的示例方法300(例如，计算机实现的方法)的流程图。
在一些实施例中，方法300可以例如在图1所示的服务器系统102上实施。在其他实施例中，方法300的部分或全部可以在一个或多个如图1所示的学生设备120、122、124或126上，一个或多个服务器设备上，和/或同时在一个或多个服务器设备和一个或多个客户端设备上实施。在所述的实施例中，该实施系统包括一个或多个数字硬件处理器或处理电路(“处理器”)以及一个或多个存储设备(例如，数据库106或其他存储器)。在一些实施例中，一个或多个服务器和/或客户端的不同部件可以执行方法300的不同模块或其他部分。
在一些实施例中，方法300或部分该方法可以由一设备自动启动。例如，该方法(或其部分)可以基于一个或多个特定事件或条件的发生而被周期性地执行或被执行。例如，该事件或条件可以包括设备(例如学生设备)接收到的、上传到的或以其他方式访问的简答题作答，自方法300的前一次执行以来的过去的一预定时间段，和/或可以在实现方法300的设备的设置中指定的一个或多个其他事件或条件。在某些实施例中，该条件可以由用户在存储的用户的习惯偏好中预先指定(经用户同意允许设备或方法访问)。在一些实施例中，设备(服务器或客户端)可以通过访问接收简答题作答的一个或多个应用来执行方法300。在另一实施例中，学生设备可以接收电子的简答题作答并可以执行方法300。另外，或可选地，客户端设备可以通过网络向服务器发送一个或多个简答题作答，并且服务器可以使用方法300处理接收到的消息。
本处理方法自步骤302开始，在此步骤接收到简答题作答。除了作答之外，还可以接收与该作答相关的问题和阅读材料。本处理方法接下来到步骤304。
在步骤304中，确定是否已经接收到与该简答题作答相对应的问题的阈值数量的预评分作答。例如，可能存在一个阈值数，该阈值数用于确定在预测简答题作答的评分时使用哪种模型。如果存在对该问题的阈值数量的预评分作答，则至步骤306，否则至步骤312。
在步骤306中，识别对该问题的预评分作答。例如，这些可以从存储了待评分的问题的正确答案的数据库中获得，并且可以在数据库内识别对应特定问题的正确答案(例如，通过问题文本、问题编号等)。本处理方法接下来到步骤308。
在步骤308中，确定该简答题作答与所识别的正确短答案中的一个或多个之间的相似度。相似度可以表示一简答题作答与历史作答(或问题或阅读材料)匹配的程度。该相似度可以基于该简答题作答中的单词使用、单词顺序或单词配置等通过程式决定。相似度可以包括一具有范围的数值，该范围表示该简答题作答与一个或多个识别出的正确短答案的相似程度。本处理方法接下来到步骤310。
在步骤310中，基于在308确定的相似度生成评分预测。例如，可以基于相似度提供评分预测(例如，90-100％的相似度可以收到为A的评分预测；80-89％的相似度可以收到为B的评分预测，依此类推)。步骤308和310的相似度和评分预测可以通过使用实际答案训练的模型(例如，模型A 208)来执行。评分预测的流程在步骤310处结束。
在步骤312中，识别可能包含正确答案的课程材料的一个或多个部分(例如，问题，阅读材料等)。本处理方法接下来到步骤314。
在步骤314中，确定该简答题作答与一个或多个识别出的部分之间的相似度。可以基于该简答题作答与一个或多个该部分之间的单词使用、单词顺序、单词配置等通过程式确定该相似度。相似度可以包括一具有范围的数值，该范围表示该简答题作答与一个或多个识别出的正确的短答案之间的相似程度。本处理方法接下来到步骤316。
在步骤316中，基于步骤314确定的相似度来生成评分预测。例如，例如，可以基于相似度提供评分预测(例如，90-100％的相似度可以收到为A的评分预测；80-89％的相似度可以收到为B的评分预测，依此类推)。步骤314和316的相似度和评分预测可以通过使用课程材料(例如阅读材料，问题等)训练的模型(例如，模型B 210)执行。评分预测的流程在步骤316处结束。步骤302至316中的一项或多项可以全部或部分重复。
在确定评分之后，可以例如经由学生设备(例如，设备120-126中的任何一个)上的用户界面向提供该简答题作答的学生呈现评分。该评分也可以与学生的标识符一起存储在例如数据库中。此外，该评分可以与该学生在特定测试期间提供的其他作答的评分相结合，以为该学生提供例如该特定测试的总得分。在一些实施例中，可以向教师提供该方法判定的评分建议，并允许教师接受或修改该方法判定的评分。
图4是一些实施例中的训练模型以预测简答题评分的示例方法400(例如，计算机实现的方法)的流程图。该模型可以离线训练，训练后的模型可以包含一用于生成评分预测的代表例。
在一些实施例中，方法400可以在如图1所示的服务器系统102上实现。在其他实施例中，方法400中的部分或全部可以在一个或多个如图1所示的学生设备120、122、124或126上，一个或多个服务器设备，和/或同时在一个或多个服务器设备及一个或多个客户端设备上实施。在所述的实施例中，该实施系统包括一个或多个数字硬件处理器或处理电路(“处理器”)以及一个或多个存储设备(例如，数据库106或其他存储器)。在一些实施例中，一个或多个服务器和/或客户端的不同部件可以执行方法400的不同模块或其他部分。
本方法开始于步骤402，在此步骤生成短答案样本和分配信息。样本可以包括用于评分的应答(例如，线上训练中的)、一个或多个历史正确答案、问题、与该问题相关联的阅读材料、和/或一个或多个历史正确答案的评分。可以从教师在平台上为学生先前的应答评分中获得训练样本。例如，当系统识别出已知问题时，系统可以找到并使用其他学生对该问题的已评分的作答。
可以使用执行图3和图4的任务的该架构(例如，如图1和图2所示)来建立两个模型(例如，神经网络模型)，一个用于问题的历史作答可用的场景，一个用于问题的历史作答不可用的场景。在历史数据上训练该模型，以便于调整模型的参数，进而确定文本在预估短答案评分的任务中是相似还是不相似。本处理方法接下来到步骤404。
在步骤404中，将训练样本提供给一个或多个模型。例如，模型训练样本可以被提供为元组，例如问题和答案元组，其中，每个元组包括问题和简答题作答。在一些实施例中，样本可以包括对模型A的两个或多个作答，也可以包括对模型B的作答、问题和相应的阅读材料。在一些实施例中，可以在监督学习模式下将评分已知的作答用于对模型的训练。本处理方法接下来到步骤406。
在步骤406中，为所述样本生成相似度分数。可以通过程式基于两个或更多个简答题作答之间(例如，在对待评分的简答题作答与一个或多个历史简答题作答之间)的单词使用、单词顺序、单词设置等确定该相似度分数。该相似度分数可以包括一代表该简答题作答与一个或多个识别出的正确短答案之间的相似程度的范围。本处理方法接下来到步骤408。
在步骤408中，预测评分基于该相似度分数确定。本处理方法接下来到步骤410。当应用模型A时，评分预测可以包括将作答与历史正确答案进行比较。与历史正确答案相似的租到应具有较高的评分。当应用模型B时，同时与阅读材料和问题相似的作答也应具有较高的评分。
在步骤410中，进行模型评分评估。基于使用历史作答的训练，系统可以评估出模型的执行情况(例如，预测评分与真实评分的接近程度)。
例如，可以在已知的“问题-答案-评分”元组上训练模型。然后，可以将来自训练数据的问题和答案对提供给模型，并将模型生成的评分与该问题和答案对的已知评分进行比较。可以使用生成的评分与已知评分之间的差异作为反馈来调整神经网络的一层或多层中的神经网络节点的权重。当模型产生的评分(或多个评分)落入训练数据中的相应已知评分(或多个已知评分)的阈值之内时，可以认为该模型已经训练完成。本处理方法接下来到步骤412。
在步骤412中，基于步骤410中的评估来调整模型的数值参数(例如权重)。可以基于新批次的随机样本继续并且包括步骤402至412中的一个或多个并可反复以进行本处理方法，直到该模型产生的预测已不再提升。在训练过程中，将针对历史作答生成预测，其中，教师为该历史作答所做的真实评分是已知的。可以在训练数据中保留一组作答，对一个(或多个)模型进行一次迭代训练，然后可以使用模型(或多个模型)的新状态来预测所保留的一组作答的评分。然后可以将预测评分与真实评分进行比较，以确定模型性能的综合得分(例如，平均绝对误差、均方根误差等)。在训练的多次迭代之后，如果此综合得分停止提升(例如，误差不再降低或降低的程度小于阈值)，则可以认为模型学习已达到终止的条件，可以停止训练。
可以在各种问题、作答和课程的阅读材料上训练该模型，以学习到一语言模型。该语言模型可能适用于用英语(不同的语言将需要不同的模型)撰写的问题、答案或文本。可以针对各种主题(例如英语、历史等)的问题的作答来训练模型，从而使该模型可以将与训练数据相对应的主题处理的更好。
图5是可用于实现本文描述的一个或多个特征的示例设备500的模块示意图。在一个实施例中，设备500可以用于实现计算机设备，例如服务器设备(例如，图1的服务器设备104)，和/或学生设备，并且执行本文描述的合适的方法实现。设备500可以是任何合适的计算机系统、服务器或其他电子或硬件设备。例如，设备500可以是大型计算机、台式计算机、工作站、便携式计算机或电子设备(便携式设备、移动设备、手机、智能手机、平板电脑、电视、电视机顶盒、个人数字助理(PDA)、媒体播放器、游戏设备、可穿戴设备等)。在一些实施例中，设备500包括处理器502、存储器504和I/O接口506。
处理器502可以是一个或多个处理器和/或处理电路，用于执行程序代码并控制设备500的基本操作。“处理器”包括任何合适的处理数据、信号或其他信息的硬件和/或软件系统、装置或部件。处理器可以包括具有通用中央处理单元(CPU)、多个处理单元、用于实现功能的专用电路的系统或其他系统。处理过程不必限于特定的地理位置或具有时间限制。例如，处理器可以以“实时”、“离线”、“批处理模式”等方式执行其功能。部分处理过程可以在不同时间、不同位置通过不同(或相同)的处理系统执行。计算机可以是与存储器通信的任何处理器。
存储器504通常被提供在设备500中以供处理器502访问，并且可以是任何合适的处理器可读存储介质，例如，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除读取存储器(EEPROM)、闪存等等，只要适合于存储由处理器执行的指令即可，并且存储器504与处理器502分开放置和/或与之集成。存储器504可以存储由处理器502在服务器设备500上运行的软件，包括操作系统508、一个或多个应用程序510，例如，替代接口呈现应用程序512、其他应用程序514和应用程序数据520。在一些实施例中，应用程序510可以包括能够使处理器502执行本文所描述的功能的指令，例如，图3、图4和图8的部分或全部方法。
例如，应用程序510可以包括简答题评分预测应用程序512，如本文所述，其可以提供简答题评分预测。其他应用程序514(或引擎)也可以或可选地包含在应用程序510中，例如电子邮件应用程序、SMS和其他电话通信应用程序、Web浏览器应用程序、媒体显示应用程序、通信应用程序、Web托管引擎或应用程序、社交网络引擎或应用程序等。可选地，存储器504中的任何软件可以存储在任何其他合适的存储位置或计算机可读介质上。另外，存储器504(和/或其他连接的存储设备)可以存储应用数据，例如问题(或提示操作)、先前的简答题作答、课程材料、先前作答的评分以及具有本文所述特征的其他指令和数据。存储器504和任何其他类型的存储器(磁盘、光盘、磁带或其他有形介质)可以被认为是“存储器”或“存储设备”。
例如，应用数据520可以包括问题与答案522及课程资料524(例如，阅读资料等)。
I/O接口506可以提供使设备500与其他系统和设备连接的功能。例如，网络通信设备、存储设备(例如，存储器和/或数据库106)和输入/输出设备可以经由I/O接口506进行通信。在一些实施例中，I/O接口可以连接至接口设备，接口设备包括输入设备(键盘、定点设备、触摸屏、麦克风、相机、扫描仪等)和/或输出设备(显示设备、扬声器设备、打印机、电机、触觉输出设备等)。音频输入/输出设备530是可一种示例性输入和输出设备，可以如本文所述用于接收音频输入并提供音频输出(例如，语音接口输出)。音频输入/输出设备530可以经由本地连接(例如，有线总线、无线接口)和/或经由网络连接而连接到设备500，并且可以是如下所述的实施例中的任何合适的设备。
为了便于说明，图5示出了各处理器502、存储器504、I/O接口506模块以及软件模块508和510。这些模块可以表示一个或多个处理器或处理电路、操作系统、内存、I/O接口、应用程序和/或软件模块。在其他实施例中，设备500可以不具有所示的所有部件和/或可以具有包括其他类型的元件的其他部件，以代替或补充本文所示的那些元件。尽管服务器系统102被描述为执行如本文的一些实施例中所描述的操作，但是服务器系统102或类似系统的任何合适的部件或部件的组合，或者与系统相关联的任何合适的一个或多个处理器均可以执行所描述的操作。
客户端设备还可以执行本文描述的特征和/或与本文描述的特征一起使用，例如，图1所示的客户端设备120-126。一示例性客户端设备可以是包括与设备500相似的部件的计算机设备，例如，处理器502、存储器504和I/O接口506。适用于客户端设备的操作系统、软件和应用程序可以由存储器提供并由处理器使用，例如图像管理软件、客户端组通信应用程序软件等。客户端设备的I/O接口可以连接到网络通信设备，也可以连接到输入和输出设备，例如，用于捕获声音的麦克风、用于捕获图像或视频的照相机、用于输出声音的音频扬声器设备、用于输出图像或视频的显示设备、或其他输出设备。音频输入/输出设备530例如可以连接至设备500(或包括在设备500中)以接收音频输入(例如语音命令)并提供音频输出(例如语音接口)，并且可以包括诸如麦克风、扬声器、耳机等的合适的设备。在一些实施例中，可以提供音频输出设备，例如声音，来输出或合成语音文本。
图6是一些实施例中的用于短答案评分的示例用户界面600的示意图。界面600可以包括问题部分602、作答部分604、预测评分部分606以及一个或多个评分预测的评分内容参考608。用户界面600可以由学生来操作，其中，部件602、604和606可以显示在该用户界面600。界面600还可以被讲师操作以查看预测的评分进而用于系统的评估，也可以用于供教师复查或供系统的训练。在讲师的实施例中，界面600可以包括部件602、604、606和608。
在学生的实施例中，可以在部件602中向学生显示问题。学生可以在部件604中输入简答题作答。系统可以生成如本文所述的预测评分，并且可以在部件606中该显示预测成绩。
在讲师的实施例中，用户界面600可通过在602中显示问题、在604中显示学生的作答以及在606中显示预测评分供讲师来复查预测评分。内容参考608可以被显示给指导者，以给指导者关于成绩预测系统如何工作的想法。
在图6所示的实施例中，“林肯总统决定废除奴隶制”的简答题作答与等级评分的评分内容参考610相似。因此，预测该简答题作答的评分为5。其他作答也可以得到5的评分，例如“内战是对林肯总统寻求废除奴隶制的回应。”
图7是一些实施例中的具有示例性输入和输出的简答题评分预测系统的示意图。该系统包括相似度模型702和评分模型704。
在操作中，将向该相似度模型702提供输入。该输入可包括问题706(或提示)、新作答708和一个或多个现有作答710。该相似度模型包括机器学习模型(例如，神经网络)被训练以确定新作答和一个或多个现有作答710之间的相似度。问题706还可以用作确定如下所述的作答相似度的因素。
构造和训练相似度模型以确定两个作答的文本之间的相似度，以使得具有相似文本的对相同问题的作答可以获得相似的评分。相似度模型可以使用包括自然语言处理(NLP)的技术来对语言进行建模。可以通过使用语言模型训练该相似度模型来构建该相似度模型，该语言模型包括根据历史作答训练的词汇的数字代表。例如，单词可以在模型中表示为数字代表向量。
然后，语言模型可以用于创建问题(或提示)与待比较的两个作答之间的相似度的数字代表向量。例如，可以由模型基于以下确定相似度：
相似度＝作答1矢量*作答2矢量–([[问题矢量*作答1矢量]–[问题矢量*作答2矢量])
在一些实施例中，相似度模型702可以提供以如下方式表示的功能：
F(S(R1,R2),|S(Q,R1)-S(Q,R2)|,overlap(R1,R2))
其中，R1和R2代表相似度待评估两个作答。Q代表问题，S代表相似度函数，重叠代表重叠函数，F代表结合相似度和其他特征的函数。
可以将来自相似度模型702的输出提供给评分模型704。评分模型704可以包括能够利用历史作答的现有评分的整体决策树机器学习模型。
在操作中，评分可以包括找到该问题的现有评分作答。使用如上所述的相似度模型来确定已评分的作答和新作答之间的相似度，从而得到一组信息，该信息包括现有作答，该作答的评分以及该现有作答与新作答之间的相似度度量值。
已知评分和相似度可以被分到每个评分组的相似度分布中，其中具有相同评分的作答被分在一起，并且每个组中的作答的相似度值与该作答相关联。可以将每个评分组的相似度分布作为输入712提供给评分模型704。然后评分模型可以产生预测的或指定的评分714。
图8是一些实施例中的用于预测简答题作答的评分的示例方法800(例如，计算机实现的方法)的流程图。
在一些实施例中，方法800可以在如图1所示的服务器系统102上实施。在其他实施例中，方法800中的不服或全部可以在如图1所示的一个或多个学生设备120、122，124或126上、一个或多个服务器设备上、和/或同时在一个或多个服务器设备和一个或多个客户端设备上实施。在所述实施例中，实施系统包括一个或多个数字硬件处理器或处理电路(“处理器”)以及一个或多个存储设备(例如，数据库106或其他存储器)。在一些实施例中，一个或多个服务器和/或客户端的不同部件可以执行方法800的不同模块或其他部分。
在一些实施例中，方法800的全部或部分可以由设备自动启动。例如，该方法(或其部分)可以基于一个或多个特定事件或条件的发生而被周期性地执行或执行。例如，该事件或条件可以包括设备(例如学生设备)接收到的、上传到的或以其他方式访问的简答题作答，自方法800的前一次执行以来的过去的一预定时间段，和/或可以在实现方法800的设备的设置中指定的一个或多个其他事件或条件。在某些实施例中，该条件可以由用户在存储的用户的习惯偏好中预先指定(经用户同意允许设备或方法访问)。在一些实施例中，设备(服务器或客户端)可以通过访问接收简答题作答的一个或多个应用来执行方法800。在另一实施例中，学生设备可以接收电子的简答题作答并可以执行方法800。另外，或可选地，客户端设备可以通过网络向服务器发送一个或多个简答题作答，并且服务器可以使用方法800处理接收到的消息。
本处理方法自步骤802开始，在此步骤接收到简答题作答。除了作答之外，还可以接收与该作答相关的问题和阅读材料。本处理方法接下来到步骤804。
在步骤804中，确定是否已经接收到与该简答题作答相对应的问题的阈值数量的预评分作答。例如，可能存在一个阈值数，该阈值数用于确定在预测简答题作答的评分时是否可以使用该相似度模型及评分模型(例如702和704)。如果存在对该问题的阈值数量的预评分作答，则至步骤806，否则至步骤814。
在步骤806中，识别对该问题的预评分作答。例如，这些可以从存储了待评分的问题的正确答案的数据库中获得，并且可以在数据库内识别对应特定问题的正确答案(例如，通过问题文本、问题编号等)。本处理方法接下来到步骤808。
在步骤808中，确定该简答题作答与所识别的已知答案中的一个或多个之间的相似度。相似度可以表示一简答题作答与历史作答(或问题或阅读材料)匹配的程度。可以基于该简答题作答中的单词使用、单词顺序或单词配置等，使用例如702的相似度模型，通过程式决定该相似度。相似度可以包括一数值，该数值的范围表示该简答题作答与一个或多个识别出的正确短答案的相似程度。本处理方法接下来到步骤810。
在步骤810中，将在步骤808中确定的相似度及现有作答的评分提供给评分模型(例如，704)。本处理方法接下来到步骤812。
在步骤812中，由评分模型生成预测或指定的评分，并将其作为输出提供。步骤808和812的相似度和评分预测可以通过使用实际答案训练的模型(例如，模型702和704)来执行。评分预测的流程在步骤810处结束。
在步骤814中，由于缺少足够的现有作答(例如，没有足够的现有作答能使相似度确定或评分预测在统计上准确)，不执行自动评分。本处理方法接下来到步骤816。
在步骤816中，可选地存储问题和作答以训练相似度或评分模型。同样，一旦手动确定了答案的评分，该评分即可选地与问题和作答相关联以进行训练。
应当理解，可以全部或部分重复步骤802至816中的一个或多个。
在确定该评分预测之后，可以例如经由学生设备(例如，设备120至126中的任何一个)上的用户界面，向提供该简答题作答的学生呈现该评分。该评分也可以与学生的标识符一起存储在例如数据库中。此外，该评分可以与例如学生在特定测试期间提供的其他作答的评分相结合，例如，向该学生提供该特定测试的总得分。在一些实施例中，可以向教师提供所该评分预测建议，并允许教师接受或修改该评分预测。
本文描述的一个或多个方法(例如方法300、400或800)可以由能够在计算机上执行的计算机程序指令或代码来实现。例如，该代码可以由一个或多个数字处理器(例如，微处理器或其他处理电路)实现，并且可以存储在包括非临时性计算机可读介质(例如，存储介质)，例如磁、光、电磁，或包括半导体存储介质，含半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬磁盘、光盘、固态存储器等，的计算机程序产品上。该程序指令还可以包含在电子信号中，并以电子信号的形式提供，例如，以从服务器(例如，分布式系统和/或云计算系统)交付的软件以服务(SaaS)的形式提供。可替代地，可以以硬件(逻辑门等)或以硬件和软件的组合来实现一种或多种方法。示例硬件可以是可编程处理器(例如，现场可编程门阵列(FPGA)、复杂可编程逻辑设备)、通用处理器、图形处理器、专用集成电路(ASIC)等。可以将一种或多种方法作为在系统上运行的应用程序的一部分或组成部件，或作为与其他应用程序和操作系统一起运行的应用程序或软件来执行。
本文描述的一种或多种方法可以为能够在任何类型的计算设备上运行的独立程序，或，在网络浏览器上运行的程序，或，在移动计算设备(例如，手机、智能手机、平板电脑、可穿戴设备(手表、臂章、珠宝、头饰、护目镜、眼镜等)、膝上型计算机等)上运行的移动应用程序(“app”)。在一实施例中，可以使用客户端/服务器架构，例如，移动计算设备(作为客户端设备)，将用户输入数据发送到服务器设备，并从服务器接收用于输出(例如，用于显示)的最终输出数据。在另一实施例中，可以在移动计算设备上的移动应用程序(和/或其他应用程序)内执行所有计算。在另一实施例中，可以在移动计算设备和一个或多个服务器设备之间分配这些计算。
可以使用机器学习技术来执行简答题评分预测。例如，可以使用LSTM模型来学习简答题作答评分和/或测试问题或材料；可以使用针对对象识别而训练的机器学习模型来解析图像/视频内容；可以使用针对那些类型的对象专门训练的模型等来识别交互式对象。例如，测试评分应用程序可以实现机器学习，例如可以实现自动测试评分的深度学习模型。可以使用综合数据，例如由计算机自动生成的数据，而不使用用户信息，来训练机器学习模型。在一些实施例中，可以例如基于样本数据来训练机器学习模型，针对该机器学习模型已经明确地从用户获得了利用用户数据进行训练的许可。例如，样本数据可能包括简答题作答。基于样本数据，机器学习模型可以预测评分。
在一些实施例中，机器学习应用程序可以包括使得一个或多个处理器能够执行如本文描述的功能的指令，例如，图3、图4和/或图8的方法中的部分或全部。
在各种实施例中，执行本文所述功能的机器学习应用程序可以利用贝叶斯分类器、支持向量机、神经网络或其他学习技术。在一些实施例中，机器学习应用程序可以包括训练的模型、推理引擎和数据。在一些实施例中，数据可以包括训练数据，例如，用于生成训练模型的数据。例如，训练数据可以包括任何类型的数据，例如测试问题、答案、真实评分等。可以从任何来源获得训练数据，例如，专门标记用于训练的数据存储库、已获得许可可以用做及其训练数据的数据，等。在一些实施例中，在一个或多个用户允许使用他们各自的用户数据来训练机器学习模型，例如，训练模型，训练数据可以包括此类用户数据。在一些实施例中，在用户允许使用他们各自的用户数据，数据可以包括允许的数据，例如测试问题/提示、简答题作答、作答的真实评分(例如，来自讲师)以及文档(例如，课程资料等)。
在一些实施例中，训练数据可以包括出于训练目的而生成的合成数据，此类数据并非基于用户的输入或正在语境中进行训练的活动，例如，从先前的测试和/或短答案中产生的数据。例如，在这些实施例中，训练后的模型可以例如在不同的设备上生成，并且被提供为机器学习应用程序的一部分。在各种实施例中，训练后的模型可以被提供为包括模型结构或形式以及相关联的权重的数据文件。推理引擎可以读取训练模型的数据文件，并根据训练模型中指定的模型结构或形式来实现具有节点连接性、层和权重的神经网络。
机器学习应用程序还可以包括训练后的模型。在一些实施例中，训练后的模型可以包括一种或多种模型形式或结构。例如，模型形式或结构可以包括任何类型的神经网络，例如线性网络、实现多个层的深层神经网络(例如，输入层和输出层之间的“隐藏层”，每个层均为一线性网络)。模型形式或结构可以指定各种节点之间的连接以及指定节点在层中的组织。例如，第一层(例如，输入层)的节点可以接收数据作为输入数据或应用程序数据。当训练的模型用于对简答题作答进行评分时，这样的数据例如可以包括每个节点的简答题作答的一个或多个单词。例如，输入层获取问题和答案，这些问题和答案被馈送到第二层并在该层中进行转换，然后被馈送到下一层，等等。接下来的中间层(例如池化层)可以按照模型形式或结构中指定的连接性接收的前一层节点的输入输出。这些层也可以称为隐藏层。最后一层(例如，输出层)，例如，相似度计算或评分预测层，产生机器学习应用程序的输出，例如，预测评分。例如，输出可以是短答案的预测评分。在一些实施例中，模型形式或结构还指定每层中节点的数量和/或类型。
在不同的实施例中，训练后的模型可以包括多个节点，每个节点按照模型结构或形式排列成层。在一些实施例中中，节点可以为不具有存储器的计算节点，例如，被配置为处理一个输入单元以产生一个输出单元。由节点执行的计算可以包括例如将多个节点输入中的每一个乘以权重，获得加权和，以及用偏置或截距值来调整该加权和以产生节点输出。在一些实施例中，该计算可以包括将阶跃/激活函数应用于调整后的加权和。在一些实施例中，阶跃/激活函数可以是非线性函数。在各种实施例中，计算可以包括诸如矩阵乘法的运算。在一些实施例中中，多个节点进行的计算可以并行执行，例如，使用多核处理器的多个处理器核，使用GPU的各个处理单元或专用神经电路。在一些实施方案中，节点可包含存储器，例如，在处理接下来的输入时可以存储和使用一个或一个以上的先前输入。例如，包含内存的节点可能包括long-short memory(LSTM)节点。LSTM节点可以使用内存来维护“状态”，该状态允许节点充当有限状态机(FSM)。具有这样节点的模型在处理顺序数据时可能很有用，例如，句子或段落中的单词，视频、演讲或其他音频中的帧等。
在一些实施例中，训练后的模型可以包括各个节点的嵌入或权重。例如，可以将模型启动为排布成由模型形式或结构指定的层的多个节点。在初始化时，可以将各自的权重应用于按模型形式相连的每对节点之间的连接，例如，神经网络的连续层中的节点。例如，各个权重可以被随机分配，或者被初始化为默认值。然后可以例如使用数据来训练模型以产生结果。
例如，训练可以包括应用监督式学习技术。在监督式学习中，训练数据可以包括多个测试问题、简答题应答、应答评分、课程材料等。基于模型输出与预期输出的比较，权重值会自动调整，例如，当提供相似的输入时，以增加模型产生预期输出的可能性的方式。
在一些实施例中，训练可以包括应用无监督式学习技术。在无监督式学习中，可以仅提供输入数据，并且可以训练模型以区分数据，例如以将输入数据聚集为多个组，其中每个组包括一定程度上相似的输入数据。
机器学习应用程序还可以包括推理引擎。推理引擎用于将训练后的模型应用于数据(例如应用程序数据)以提供推理。在一些实施例中，推理引擎可以包括要由处理器执行的软件代码。在一些实施例中，推理引擎可以指定使处理器能够应用训练后的模型的电路配置(例如，用于可编程处理器，用于现场可编程门阵列(FPGA)等)。在一些实施例中，推理引擎可以包括软件指令、硬件指令或组合。在一些实施例中，推理引擎可以提供能够由操作系统和/或其他应用程序使用的应用程序编程接口(API)，以调用推理引擎，例如，将经训练的模型应用于应用程序数据以生成推理。
机器学习应用程序可以提供若干技术优势。例如，被训练用于确定简答题作答与先前的已评分的作答的相似度的模型可以产生比输入的短答案(例如，几千字节)小得多的相似值(例如，几个字节)。在一些实施例中中，这样的表示可能有助于降低处理成本(例如，计算成本、存储器使用等)以生成输出(例如，评分)。在一些实施例中，可以将这样的表示作为输入提供给不同的机器学习应用程序，该机器学习应用程序从推理引擎的输出中产生输出。
在一些实施例中，机器学习应用程序可以以离线的方式实施。在这些实施例中，训练后的模型可以在第一阶段中生成，并作为该机器学习应用程序的一部分提供。在一些实施例中，机器学习应用程序可以以在线方式来实施。例如，在这样的实现中，调用机器学习应用程序的一应用程序(例如，操作系统和/或一个或多个其他应用程序)可以利用机器学习应用程序产生的推断(例如，将推断提供给用户)，并且可以生成系统日志(例如，如果用户允许，则表示用户根据推断采取的行动；或者，如果用作进一步处理的输入，则表示该进一步处理的结果)。系统日志可以定期产生，例如每小时、每月、每季度等，并且可以在用户许可下用于更新训练后的模型，例如更新训练后的模型的嵌入。
存储器中的任何软件均能可选地存储在任何其他合适的存储位置或计算机可读介质上。另外，存储器(和/或其他连接的存储设备)可以存储一个或多个消息、一个或多个分类法、电子百科全书、词典、叙词表、知识库、消息数据、语法、用户偏好和/或在本文所述的特征中使用的其他指令和数据。内存和任何其他类型的存储(磁盘、光盘、磁带或其他有形介质)都可以视为“存储”或“存储设备”。
I/O接口可以提供将服务器设备与其他系统和设备连接的功能。接口的设备可以作为设备的一部分，也可以单独使用并与设备通信。例如，网络通信设备、存储设备(例如，存储器和/或数据库106)以及输入/输出设备，可以经由I/O接口进行通信。在一些实施例中，I/O接口可以连接到接口设备，例如输入设备(键盘、指示设备、触摸屏、麦克风、相机、扫描仪、传感器等)和/或输出设备(显示设备、扬声器设备、打印机、马达等)。
一些示例性的可以连接到I/O接口的接口设备可以包括一个或多个显示设备，其可以用于显示内容，例如本文所述的图像、视频和/或输出应用程序的用户界面。显示设备可以通过本地连接(例如，显示总线)和/或通过网络连接连接到设备，并且可以是任何合适的显示设备。显示设备可以包括任何合适的显示设备，例如LCD、LED或等离子显示屏，或，CRT、电视、监视器、触摸屏、3-D显示屏或其他视觉显示设备。例如，显示设备可以是在移动设备上提供的平面显示屏、在护目镜或头戴式耳机设备中提供的多个显示屏或计算机设备的监视器屏幕。
I/O接口可以与其他输入和输出设备连接。一些示例中包括一个或多个可以捕获图像的相机。在一些实施例中，可以为用于捕获声音(例如，作为捕获的图像、语音命令等的一部分)的麦克风、用于输出声音的音频扬声器设备或其他输入和输出设备。
尽管已经对特定实施例进行了描述，但是这些特定实施例仅是说明性的，而不是限制性的。这些实施例中示出的概念可以应用于其他实施例和实现方式。
需要注意到是，如本领域技术人员所知，本申请中描述的功能块、操作、特征、方法、设备和系统可以为一体或被划分为系统、设备和功能块的不同组合。可以使用任何适当的编程语言和编程技术来实现特定实施例的流程。可以采用不同的例如过程的或面向对象的编程技术来实现。该流程可以在单个处理设备或多个处理器上执行。尽管可以以特定顺序呈现这些步骤、操作或计算，但是，在不同的特定实施例中该顺序可以改变。在一些实施例中，在本说明书中顺序列出的多个步骤或操作可以同时执行。

Claims (20)

1.一种计算机实现的方法，包括：
收到对测试例的简答题作答；
确定该测试例的预评分作答的数量；
当该测试例的预评分作答的数量落入一阈值时：
向一相似度模型提供该简答题应答、一个或多个预评分作答以及该测试例；
使用该相似度模型确定该简答题应答与一个或多个预评分作答之间的相似度；
将该简答题应答和该一个或多个预评分作答之间的相似度，以及对该一个或多个预评分作答的预定评分提供至一评分模型；和
使用该评分模型生成对该简答题作答的评分预测。
2.根据权利要求1所述的方法，其中，确定该简答题应答与一个或多个预评分作答之间的相似度的步骤包括：基于该简答题作答内的字符、单词、单词使用、单词顺序或单词配置中的一个或多个通过程式确定所述相似度。
3.根据权利要求1所述的方法，其中，确定该简答题应答与一个或多个预评分作答之间的相似度的步骤包括：确定一具有范围的数值，该范围表示该简答题应答与该预评分作答之间的相似度。
4.根据权利要求1所述的方法，还包括通过显示一用户界面呈现该评分预测。
5.如权利要求4所述的方法，还包括将该评分预测存储在一数据库中。
6.如权利要求4所述的方法，其特征在于，还包括将该评分预测与在特定测试期间提供的其他作答的评分相结合，以生成该特定测试的总得分。
7.根据权利要求1所述的方法，还包括：
向教师提供该评分预测的建议；和
向该教师提供用户界面以接受或修改该评分预测。
8.如权利要求1所述的方法，其特征在于，还包括使用一语言模型来对所述测试例和所述简答题应答的语言进行建模。
9.根据权利要求8所述的方法，还包括：
训练该相似度模型；其中，该相似度模型的训练包括：
生成一个或多个问题和答案元组作为训练样本，其中该问题和答案元组的每个都包括两个或多个答案；
向该相似度模型提供一个或多个问题和答案元组；
生成代表该两个或多个答案之间相似度的相似度分数；
基于该相似度得分使用该评分模型来预测评分；和
根据评该分模型预测的评分，调整该相似度模型的一个或多个参数。
10.根据权利要求9所述的方法，其中，训练该相似度模型的步骤还包括：将由该相似度模型预测的评分与对应训练样本的已知评分进行比较；其中，该相似度模型包括神经网络，并且，其中，调整该相似度模型的一个或多个参数包括：使用该评分模型所预测的评分与相应训练样本的已知评分之间的差异作为反馈来调整神经网络的一层或多层中的一个或多个权重；以及
其中，当由该评分模型所预测的一个或多个评分在一个或多个相应的已知评分的阈值内时，完成该相似度模型的训练。
11.根据权利要求1所述的方法，还包括：基于该简答题作答及多个该预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个该预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个该预评分作答中的一个的重叠函数值。
12.根据权利要求1所述的方法，其进一步包括：提供该简答题作答、该一个或多个预评分作答及该一个或多个预评分作答的评分之间的相似点分布，并将该相似点分布作为该评分模型的输入值。
13.一种非暂时性计算机可读介质，存储有指令，这些指令在由处理器执行时使处理器执行以下操作：
收到对一测试例的简答题应答；
确定该测试例的预评分作答的数量；
当该测试例的预评分作答的数量落入一阈值时：
将该简答题作答、一个或多个该预评分作答及该测试例应用于一相似度模型中；
利用该相似度模型，确定该简答题作答与该一个或多个预评分作答之间的相似度；
将该简答题作答与该一个或多个预评分作答之间的该相似度及与该一个或多个预评分作答相对应的预定分数应用于一评分模型中；和
使用该评分模型生成该简答题作答的评分预测。
14.如权利要求13所述的非暂时性计算机可读介质，其特征在于，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：通过程式基于该简答题作答中的字符、单词、单词用法、词序或单词位置中的一个或多个来确定该相似度。
15.如权利要求13所述的非暂时性计算机可读介质，其特征在于，确定该简答题作答与该一个或多个预评分作答之间的相似度包括：确定一具有范围的数值，该范围表示该简答题作答与该一个或多个预评分作答之间的相似度等级。
16.一种系统，包括：
一个或多个处理器；和
与所述第一个或多个处理器相匹配的存储器，该存储器存储有一些指令，当上述指令被执行时，使该一个或多个处理器运行以下操作：
接收对一测试例的一简答题作答；
确定该测试例的预评分作答的数量；
当该预评分作答的数量落入一阈值时：
将该简答题作答、一个或多个预评分作答及所述测试例应用于一相似度模型中；
利用该相似度模型，确定该简答题作答与一个或多个预评分作答之间的相似度；
将该简答题作答与该一个或多个预评分作答之间的该相似度及与该一个或多个预评分作答相对应的预定分数应用于一评分模型中；及
使用该评分模型生成该简答题作答的评分预测。
17.根据权利要求16所述的系统，其中，所述操作还包括：将该评分预测与一学生在一特定测试中的其他作答的评分合并，以生成该学生在该特定测试中的总得分。
18.根据权利要求17所述的系统，其中，所述操作还包括：
向教师提供该评分预测建议；及
提供一用户界面供教师选择接受或修改该评分预测。
19.根据权利要求17所述的系统，其中，所述操作还包括：提供该相似度模型的输入值，包括：基于该简答题作答及多个预评分作答中的一个的第一相似度函数值，基于该简答题作答、多个预评分作答及该测试例中的一个的第二相似度函数值，及基于该简答题作答及多个预评分作答中的一个的重叠函数值。
20.根据权利要求17所述的系统，其中，所述操作还包括：提供该简答题作答、该一个或多个预评分作答及该一个或多个预评分作答的评分之间的相似点分布，并将该相似点分布作为该评分模型的输入值。
CN201980062445.3A 2018-08-10 2019-08-09 简答题评分预测 Pending CN112740132A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862717723P 2018-08-10 2018-08-10
US62/717,723 2018-08-10
PCT/US2019/046057 WO2020033922A1 (en) 2018-08-10 2019-08-09 Short answer grade prediction

Publications (1)

Publication Number Publication Date
CN112740132A true CN112740132A (zh) 2021-04-30

Family

ID=69406151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062445.3A Pending CN112740132A (zh) 2018-08-10 2019-08-09 简答题评分预测

Country Status (7)

Country Link
US (1) US20200051451A1 (zh)
EP (1) EP3834045A4 (zh)
CN (1) CN112740132A (zh)
AU (1) AU2019316649A1 (zh)
CA (1) CA3109186A1 (zh)
IL (1) IL280741A (zh)
WO (1) WO2020033922A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253985A1 (en) * 2017-03-02 2018-09-06 Aspiring Minds Assessment Private Limited Generating messaging streams
US11676048B2 (en) * 2019-11-01 2023-06-13 Pearson Education, Inc. Systems and methods for validation of artificial intelligence models
US20210192973A1 (en) * 2019-12-19 2021-06-24 Talaera LLC Systems and methods for generating personalized assignment assets for foreign languages
US20210358317A1 (en) * 2020-05-13 2021-11-18 Indiavidual Learning Private Limited System and method to generate sets of similar assessment papers
US11862315B2 (en) * 2020-12-16 2024-01-02 Express Scripts Strategic Development, Inc. System and method for natural language processing
US11776672B1 (en) 2020-12-16 2023-10-03 Express Scripts Strategic Development, Inc. System and method for dynamically scoring data objects
US12020593B2 (en) 2022-08-15 2024-06-25 BrainPOP IP LLC Automated evaluation of free-form answers and generation of actionable feedback to multidimensional reasoning questions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126319A1 (en) * 2006-08-25 2008-05-29 Ohad Lisral Bukai Automated short free-text scoring method and system
CN103151042A (zh) * 2013-01-23 2013-06-12 中国科学院深圳先进技术研究院 全自动口语评测管理与评分系统及其评分方法
US20140134588A1 (en) * 2006-01-26 2014-05-15 Richard William Capone Educational testing network
KR101680007B1 (ko) * 2015-10-08 2016-11-28 한국교육과정평가원 서답형 답안 채점 방법, 그를 위한 컴퓨터 프로그램과 기록매체
CN108363687A (zh) * 2018-01-16 2018-08-03 深圳市脑洞科技有限公司 主观题评分及其模型的构建方法、电子设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088949B2 (en) * 2002-06-24 2006-08-08 Educational Testing Service Automated essay scoring
WO2005045786A1 (en) * 2003-10-27 2005-05-19 Educational Testing Service Automatic essay scoring system
US20070172808A1 (en) * 2006-01-26 2007-07-26 Let's Go Learn, Inc. Adaptive diagnostic assessment engine
US20090226872A1 (en) * 2008-01-16 2009-09-10 Nicholas Langdon Gunther Electronic grading system
US10535041B2 (en) * 2012-06-26 2020-01-14 Oath Inc. System and method of predicting community member responsiveness
US20150044659A1 (en) * 2013-08-07 2015-02-12 Microsoft Corporation Clustering short answers to questions
US20150199913A1 (en) * 2014-01-10 2015-07-16 LightSide Labs, LLC Method and system for automated essay scoring using nominal classification
US11049409B1 (en) * 2014-12-19 2021-06-29 Educational Testing Service Systems and methods for treatment of aberrant responses
US20170154542A1 (en) * 2015-12-01 2017-06-01 Gary King Automated grading for interactive learning applications
US11144949B2 (en) * 2016-05-13 2021-10-12 Zeta Global Corp. Adaptive lead generation for marketing
US10643488B2 (en) * 2016-06-23 2020-05-05 Lystnr, Llc System and method of assessing depth-of-understanding
US10692006B1 (en) * 2016-06-30 2020-06-23 Facebook, Inc. Crowdsourced chatbot answers
US10665122B1 (en) * 2017-06-09 2020-05-26 Act, Inc. Application of semantic vectors in automated scoring of examination responses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140134588A1 (en) * 2006-01-26 2014-05-15 Richard William Capone Educational testing network
US20080126319A1 (en) * 2006-08-25 2008-05-29 Ohad Lisral Bukai Automated short free-text scoring method and system
CN103151042A (zh) * 2013-01-23 2013-06-12 中国科学院深圳先进技术研究院 全自动口语评测管理与评分系统及其评分方法
KR101680007B1 (ko) * 2015-10-08 2016-11-28 한국교육과정평가원 서답형 답안 채점 방법, 그를 위한 컴퓨터 프로그램과 기록매체
CN108363687A (zh) * 2018-01-16 2018-08-03 深圳市脑洞科技有限公司 主观题评分及其模型的构建方法、电子设备及存储介质

Also Published As

Publication number Publication date
IL280741A (en) 2021-04-29
WO2020033922A1 (en) 2020-02-13
AU2019316649A1 (en) 2021-03-11
US20200051451A1 (en) 2020-02-13
EP3834045A1 (en) 2021-06-16
CA3109186A1 (en) 2020-02-13
EP3834045A4 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
CN112740132A (zh) 简答题评分预测
US11687811B2 (en) Predicting user question in question and answer system
US20240135955A1 (en) Generating audio using neural networks
CN110188331B (zh) 模型训练方法、对话系统评价方法、装置、设备及存储介质
US11093813B2 (en) Answer to question neural networks
US10249207B2 (en) Educational teaching system and method utilizing interactive avatars with learning manager and authoring manager functions
WO2022095380A1 (zh) 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质
CN108376132A (zh) 相似试题的判定方法及系统
CN112115246A (zh) 基于对话的内容推荐方法、装置、计算机设备及存储介质
US20200027364A1 (en) Utilizing machine learning models to automatically provide connected learning support and services
JP2023518220A (ja) 多様なテキストを自動的に生成する方法
US20220188643A1 (en) Mixup data augmentation for knowledge distillation framework
US20220415202A1 (en) Smart-learning and knowledge retrieval system with integrated chatbots
CN114254127A (zh) 学生能力画像方法、学习资源推荐方法及装置
US11682318B2 (en) Methods and systems for assisting pronunciation correction
CN114398556A (zh) 学习内容的推荐方法、装置、设备及存储介质
CN113077237B (zh) 一种自适应混合算法的排课方法及系统
Xie Recommendation of English reading in vocational colleges using linear regression training model
US20200068271A1 (en) Personalized video interjections based on learner model and learning objective
Isaev et al. HIVA: Holographic Intellectual Voice Assistant
Shih et al. Virtual voice assistants
Ansari et al. Conversational AI Assistant
Adesina iNOUN: architecture and usability of a chatbot for academic enquiries
US11599836B2 (en) Assigning a tutor to a cohort of students
US20240273155A1 (en) Photo location destinations systems, methods, and computer readable media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210430

WD01 Invention patent application deemed withdrawn after publication