CN114175062A - 用于动态显示处理文本数据的评估系统的用户界面的系统和方法 - Google Patents

Abstract

一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法和系统。方法包括接收文本数据和对与文本对象相关联的问题的预测答案。文本对象包括结构化数据字段。预测答案包括置信水平。置信水平由机器学习系统基于机器学习系统的一个或多个模型和文本数据确定。响应于确定置信水平大于或等于预定置信阈值，存储预测答案和引用以供检取和显示。响应于确定置信水平小于预定置信阈值，在用户界面处向用户显示问题和与问题相关联的文本对象以供输入真实答案。

Description

用于动态显示处理文本数据的评估系统的用户界面的系统和 方法

相关申请的交叉引用

本申请要求于2019年4月3日提交的题为“SYSTEMS AND METHODS FORDYNAMICALLY DISPLAYING A USER INTERFACE OF AN EVALUATION SYSTEM PROCESSINGTEXTUAL DATA(用于动态显示处理文本数据的评估系统的用户界面的系统和方法)”的美国临时专利申请第62/828,876号的优先权，其通过引用整体并入本文。

背景技术

本发明的某些实施例涉及处理文本数据的评估系统。更具体地，本发明的一些实施例提供了用于动态显示处理文本数据的评估系统的用户界面的系统和方法。

随着对处理文本数据和自然语言数据的需求的不断增加，在对文本和自然语言数据以及被包括在大量文档和文件中的其他信息进行分析和分类中通常采用机器学习(ML)系统。为确保ML系统预测的结果符合用户指定的准确度和公差目标，结果需接受外部评估。然而，用于审查预测结果的常规评估系统通常涉及人类专家的多轮审查。此外，常规的评估系统通常要求人类专家在连续的基础上审查文档中的不同的感兴趣区域，识别关于预测结果的错误，和/或校正预测结果。人类专家的连续审查是劳动密集型、耗时的，而且随着需要评估的结果数量的增加，成本也会增加。

因此，非常期望提供和/或改进用于动态显示处理文本数据的评估系统的用户界面的技术。

发明内容

本发明的某些实施例涉及处理文本数据的评估系统。更具体地，本发明的一些实施例提供了用于动态显示处理文本数据的评估系统的用户界面的系统和方法。

根据一些实施例，一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法，方法包括接收文本数据和对与文本对象相关联的问题的第一预测答案。文本对象包括文本数据的结构化数据字段。第一预测答案包括第一置信水平。第一置信水平由至少部分基于机器学习系统的一个或多个第一模型和文本数据的机器学习系统确定。响应于确定第一置信水平大于或等于第一预定置信阈值，将第一预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。响应于确定置信水平小于第一预定置信阈值：在用户界面上向用户显示问题和与问题相关联的文本对象以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面上显示与文本对象相关的第一预测答案和上下文指导。响应于通过用户界面接收到真实答案：至少部分地基于机器学习系统的一个或多个第一模型来确定与真实答案相关联的第一准确度分数；至少部分地基于第一准确度分数改变第一预定置信阈值；以及第一准确度分数、真实答案以及引用被存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。

根据某些实施例，一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的系统，系统包括一个或多个处理器以及存储指令的存储器。当由一个或多个处理器执行时，指令使得系统执行接收文本数据和对与文本对象相关联的问题的预测答案。文本对象包括文本数据的结构化数据字段。预测答案包括置信水平。置信水平由至少部分基于机器学习系统的一个或多个模型和文本数据的机器学习系统确定。当由一个或多个处理器执行时，指令使得系统进一步执行响应于确定置信水平大于或等于第一预定置信阈值，将预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。当由一个或多个处理器执行时，指令使得系统进一步执行响应于确定置信水平小于第一预定置信阈值：在用户界面处，向第一用户显示问题和与问题相关联的文本对象，以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面处显示与文本对象相关的预测答案和上下文指导。当由一个或多个处理器执行时，指令使得系统进一步执行响应于通过用户界面接收真实答案：至少部分地基于机器学习系统的一个或多个模型来确定与真实答案相关联的准确度分数；至少部分地基于准确度分数改变第一预定置信阈值；以及将准确度分数、真实答案以及引用存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。

根据一些实施例，提供了一种存储一个或多个程序的非瞬态计算机可读存储介质。该一个或多个程序包括指令，当由一个或多个处理器执行时，指令使得用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的系统执行接收文本数据和对与文本对象相关联的问题的预测答案。文本对象包括文本数据的结构化数据字段。预测答案包括置信水平。置信水平由至少部分基于机器学习系统的一个或多个模型和文本数据的机器学习系统确定。当由一个或多个处理器执行时，指令使得系统进一步执行响应于确定置信水平大于或等于第一预定置信阈值，将预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。当由一个或多个处理器执行时，指令使得系统进一步执行响应于确定置信水平小于第一预定置信阈值：在用户界面处，向用户显示问题和与问题相关联的文本对象，以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面处显示与文本对象相关的预测答案和上下文指导。当由一个或多个处理器执行时，指令使得系统进一步执行响应于通过用户界面接收真实答案：至少部分地基于机器学习系统的一个或多个模型来确定与真实答案相关联的准确度分数；至少部分地基于准确度分数改变第一预定置信阈值；以及将准确度分数、真实答案以及引用存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。

取决于实施例，可以实现一个或多个优点。参考下文的具体实施方式和附图，可以充分理解本发明的这些优点和各种附加目的、特征和优点。

附图说明

图1A是处理数据的常规的评估系统的简化图。

图1B是示出了根据本发明的一个实施例的处理文本数据的评估系统的简化图。

图2是示出了根据本发明的一个实施例的用于动态显示处理文本数据的评估系统的用户界面的系统的简化图。

图3A是示出了根据本发明的一个实施例的用于动态显示处理文本数据的如图2所示的系统的用户界面的方法的简化图。

图3B是示出了根据本发明的一个实施例的处理文本数据的如图3A所示的方法的部分的简化图。

图4是示出了根据本发明的一个实施例的用于动态显示处理文本数据的评估系统的用户界面的方法的简化图。

图5是示出了根据本发明的一个实施例的用于实现动态显示处理文本数据的评估系统的用户界面的系统的计算系统的简化图。

具体实施方式

常规的系统和方法通常不能有效地评估机器学习(ML)系统预测的结果的准确性。例如，除了使用机器学习技术的系统之外，机器学习系统还包括其他预测系统。常规的系统和方法通常需要由人类专家在连续的基础上进行多轮审查，以确保预测结果符合用户指定的准确性和/或公差目标。更具体地，常规的评估系统无法提供有效确定是否需要审查特定预测结果的机制。

图1A是处理数据的常规的评估系统100的简化图。用于处理文档的文本数据的常规系统100包括多轮手动审查。例如，在第一次审查中，审查员102通读要评估的一个或多个文档的文本数据。例如，审查员104提取被包括在一个或多个文档的文本数据中的一个或多个结构化数据字段的元数据。在一些示例中，作为质量控制的一部分，由审查员106审查提取的元数据的样本。在某些示例中，提取的元数据存储在储存库108中，而不进一步审查。

本发明的某些实施例涉及处理文本数据的评估系统。更具体地，本发明的一些实施例提供了用于动态显示处理文本数据的评估系统的用户界面的系统和方法。在某些实施例中，起源于计算机技术的一个或多个解决方案克服了计算机技术领域中具体出现的一个或多个问题。

在一些实施例中，提供了用于动态显示处理文档的文本数据的评估系统的用户界面的系统和方法。在一些示例中，该系统和方法被配置为评估由处理文本数据的机器学习系统生成的预测结果。例如，预测结果包括关于以自然语言编写的合同文档的内容的预测。例如,预测结果包括对与文档的部分相关的主题的问题的答案。在某些示例中，机器学习系统被配置为预测文档的某些结构化数据字段的值。在一些示例中，由通过评估系统收集附加的真值样本并保留至少部分地基于该附加的真值样本的机器学习系统，从而改进预测结果中的不准确度。例如，真值样本包括由人类专家通过评估系统的用户界面审查、验证和/或校正的预测结果。

在某些实施例中，系统和方法能够确保由机器学习系统生成的预测结果符合用户指定的准确度和公差目标。例如，该系统和方法被配置为接受准确度目标和公差目标。例如，准确度目标等于95％的准确度值，并且公差目标等于±5％的公差目标。在一个示例中，准确度目标等于99％的准确度值，公差目标等于±1％的公差目标。在某些示例中，用户指定的准确度目标和与机器学习系统生成的预测结果相关联的置信水平相关。例如，在历史数据上，90％的置信水平与95％的实际准确度分数相关。例如，对于新数据，95％的置信水平与95％的实际准确度分数相关。在一些示例中，系统和方法被配置为基于第一预定置信阈值和/或第二预定置信阈值调整显示用于评估预测结果的用户界面。例如，第一预定置信阈值和第二预定置信阈值基于置信水平。例如，响应于用户指定的准确度目标和置信水平之间的关系变化，调整第一预定置信阈值和第二预定置信阈值。

根据一些实施例，系统和方法被配置为至少部分地基于与预测结果相关联的置信水平，通过用户界面向审查员动态显示预测结果。在一些示例中，系统和方法被配置为基于置信水平调整向审查员显示的信息。例如，系统和方法被配置为至少部分地基于置信水平和一个或多个置信阈值来确定是否显示信息以及向审查员显示什么信息。在一些示例中，系统和方法提供了预测结果的质量控制和审查员提供的答案。

某些实施例的益处包括通过减少和/或消除与审查员的交互来降低审查由机器学习系统生成的预测结果的成本。在一些示例中，减少了要提取(例如，手动或自动)以供审查员评估的字段的数量。在某些示例中，审查提取的字段所需的时间减少。其他益处包括评估系统的有效集成，评估系统被配置为动态显示用于审查利用生成预测结果的机器学习系统预测的结果的用户界面，以形成用于对符合用户指定的准确度和公差目标的文档的文本数据进行处理和分类的系统。

图1B是示出了根据本发明的一个实施例的处理文本数据的评估系统150的简化图。此图仅为示例，不应不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。例如，文档处理部件152被配置为解析(例如，读取)要评估的一个或多个文档的文本数据。例如，提取用户界面(UI)部件154被配置为提取被包括在一个或多个文档的文本数据中的一个或多个结构化数据字段的元数据。在一些示例中，提取UI部件154被配置为如果与预测结果相关联的置信水平等于低置信值或中等置信值，则向审查员156显示提取的元数据、由机器学习系统生成的预测结果和/或一个或多个结构化数据字段。例如，提取UI部件154被配置为基于置信水平等于低置信水平还是中等置信水平来改变向审查员156显示的信息。在某些示例中，提取UI部件154被配置为将提取的元数据、预测结果和/或一个或多个结构化数据字段存储在储存库158中而不被审查。在其他示例中，作为质量控制的一部分，评估系统150被配置为向审查员160显示由审查员156审查的数据的样本，以进行附加审查。在一些示例中，评估系统150被配置为除了将来自审查员156和/或审查员160的输入存储在储存库158中之外，还将提取的元数据、预测结果和/或一个或多个结构化数据字段存储在储存库158中。

图2是示出了根据本发明的一个实施例的用于动态显示处理文本数据的评估系统的用户界面的系统200的简化图。此图仅为示例，不应不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。系统200包括文档组织器部件202、文档处理部件204、机器学习部件206、提取用户界面(UI)部件208、储存库API部件210和储存库212。例如，文档组织器部件202包括前端UI部件214，并且被配置为组织、分类和选择文档216以存储在储存库212中，和/或由系统200进一步管理和分析文档216。例如，文档处理部件204被包括在储存库API部件210中。

在一些实施例中，文档216包括以自然语言编写的文本数据和/或内容。文件216的示例包括合同、专利许可证、商标许可证、版权许可证、技术许可证、合资企业协议、保密协议、研究协议、材料供应协议、制造协议、工作说明以及上述文档的修订和附录。在某些示例中，储存库API部件210被配置为从文档组织器部件202、文档处理部件204、机器学习部件206和/或提取UI部件208接收数据，并将接收的数据存储在储存库212中。在其他示例中，提取UI部件提供用户界面，用户界面被配置用于使用户与从文档组织器部件202、文档处理部件204、机器学习部件206和/或储存库API部件210接收的数据和文档交互。在一些示例中，提取UI部件的用户界面被配置为允许用户与存储在储存库212中的数据和文档交互。

在某些实施例中，文档处理部件204被配置为从文档组织器部件202接收与文档216相关联的数据以进行进一步处理。在一些示例中，由文档处理部件204的处理包括例如，对接收的文档216的数据应用光学字符识别技术。作为示例，文档处理部件204被配置为解析接收的数据以识别、分类和标记文档216内的特定部分。在某些示例中，文档处理部件204被配置为至少部分地基于文档216的处理向文档216添加元数据。在其他示例中，文档处理部件204被配置为在与文档216相关联的数据的格式和/或呈现样式之间转换，并且例如，生成所转换的数据的格式化文档。在又其他示例中，文档处理部件204被配置为生成经处理的文档216的报告、注释和/或文档。

图3A是示出了根据本发明的一个实施例的用于动态显示处理文本数据的系统200的用户界面的方法300的简化图。此图仅为示例，不应不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。在一些示例中，系统200被配置为评估对由机器学习部件206生成的问题的预测答案。在某些示例中，文档处理部件204被配置为处理302一个或多个文档的文本数据以用于动态显示用于评估预测答案的系统200的用户界面。例如，文档处理部件204被配置为识别一个或多个文档的文本数据内的文本对象。在一些示例中，文档处理部件204被配置为将经处理的一个或多个文档的文本数据发送到机器学习部件206，以生成对与文本对象相关联的问题的预测答案。

在一些实施例中，文本对象包括文本数据的结构化数据字段。例如，文本的结构化数据字段包括段落、句子、标题、块、条款、规定或文档节段。在一个示例中，文本对象包括与结构化数据字段的文本数据相关联的元数据或注释。例如，元数据包括文档的页码、节段号、文本突出显示、以及对结构化数据字段的引用。

在某些实施例中，文本对象包括对包括结构化数据字段的文档内的结构化数据字段的位置的引用。例如，引用表示到文档的某些部分的链接。例如，引用包括与结构化数据字段相关联的页码、节段号和/或节段标题。在一些示例中，文本对象包括对与包括文本对象的结构化数据字段的文档相关的一个或多个文档的引用。

根据一些实施例，机器学习部件206被配置为生成304经处理的一个或多个文档的预测和置信水平。例如，机器学习部件被配置成至少部分地基于机器学习系统的一个或多个模型来生成预测结果。例如，预测结果包括对与经处理的文档的文本数据相关联的问题的预测答案。在一些示例中，机器学习部件206被配置为生成与经处理的文档的文本数据相关联的问题的预测答案。在某些示例中，机器学习部件206被配置为至少部分地基于机器学习系统的一个或多个模型生成与预测答案相关联的优度、预测性误差、稳健性值和/或置信水平。例如，一个或多个模型与已知真实答案的控制组的准确度分数相关联。例如，通过使用有监督、半监督和/或无监督机器学习技术生成一个或多个模型。在一些示例中，机器学习技术包括神经网络、特征选择和分类、基于规则的学习和/或相似性测量技术。

根据一些实施例，机器学习部件206被配置为至少部分地基于一个或多个模型和文本数据生成置信水平。例如，对与文本对象相关联的问题的预测答案包括置信水平。在一个示例中，文本对象包括文本数据的结构化数据字段。在一些示例中，提取UI部件208被配置为确定文本对象是否与评估系统的控制组相关联。例如，控制组包括由机器学习部件206生成的预测答案的样本，这些预测答案的样本被选择用于准确度审查。在某些示例中，提取UI部件208被配置为响应于确定文本对象与控制组相关联，在用户界面处向用户显示问题、文本对象、预测答案以及上下文指导以用于输入真实答案。

根据某些实施例，提取UI部件208被配置为确定306与由机器学习部件206生成的预测答案相关联的置信水平是否等于高置信值、中等置信值或低置信值。在一些示例中，提取UI部件208被配置为确定置信水平大于或等于第一预定置信阈值。例如，大于或等于第一预定置信阈值的置信水平表示高置信值。在某些示例中，提取UI部件208被配置为确定置信水平小于第一预定置信阈值且大于第二预定置信阈值。例如，小于第一预定阈值且大于第二预定置信阈值的置信水平表示中等置信值。例如，第二预定置信阈值小于第一预定置信阈值。在一些示例中，提取UI部件208被配置为确定置信水平小于或等于第二预定置信阈值。例如，小于或等于第二预定置信阈值的置信水平表示低置信值。

在一些实施例中，提取UI部件208被配置为响应于确定置信水平等于低置信值，在用户界面处向用户显示308问题以及与问题相关联的文本对象，以供用户输入。例如，在用户界面处显示文本数据的结构化数据字段。例如，用户输入包括对问题的真实答案。在一些示例中，提取UI部件208被配置为响应于确定置信水平小于第一预定置信，在用户界面处向用户显示问题以及与问题相关联的文本对象，以供输入对问题的真实答案。例如，提取UI部件208被配置为接收来自用户的输入，并将用户输入与问题和文本对象相关联。在某些示例中，如果置信水平等于低置信值，则阈值提取UI部件208被配置为在用户界面处仅显示问题和文本对象而不显示预测答案。

在某些实施例中，提取UI部件208被配置为响应于确定置信水平等于中等置信值，在用户界面处向用户显示310问题以及与问题相关联的文本对象，以供用户输入。在一些示例中，提取UI部件208被配置为响应于置信水平等于中等置信值，在用户界面处向用户显示显示312预测答案和上下文指导。在某些示例中，提取UI部件208被配置为响应于第一置信水平大于或等于第二预定置信阈值，在用户界面处显示312与文本对象相关的预测答案和上下文指导。例如，上下文指导包括文本数据中的感兴趣区域、页码、节段号、文本突出显示或文本对象的自动导航功能。

根据一些实施例，提取UI部件208被配置为响应于确定置信水平等于高置信值，确定314文本对象是否与系统200的控制组相关联。在一些示例中，提取UI部件208被配置为响应于确定文本对象与控制组相关联，在用户界面处显示310问题和文本对象。在某些示例中，提取UI部件208被配置为响应于确定文本对象与控制组不相关联，在用户界面处不显示316问题和文本对象以供用户评估。在一些示例中，系统200被配置为响应于确定文本对象与控制组不关联，确定306与由机器学习部件206生成的另一预测答案相关联的置信水平等于高置信值、中等置信值还是低置信值。

在一些实施例中，提取UI部件208被配置为将置信水平、预测答案和引用存储在储存库212中以供检取和显示。例如，引用指示文本对象在文本数据中的位置。在一些示例中，提取UI部件208被配置为响应于接收用户输入，将用户输入发送到机器学习部件206。

在某些实施例中，机器学习部件206被配置为响应于通过用户界面接收真实答案，至少部分地基于机器学习系统的一个或多个模型来确定318与真实答案相关联的准确度分数。例如，机器学习组件206被配置为确定318从提取UI部件208接收的用户输入的准确度分数。

根据一些实施例，机器学习部件206被配置为至少部分地基于与真实答案相关联的确定的准确度分数来改变320第一预定置信阈值。例如，机器学习部件206被配置为至少部分地基于确定的准确度分数来改变置信水平被确定为等于高置信值还是中等置信值。在一些示例中，机器学习部件206被配置为至少部分地基于确定的准确度分数来改变320第二预定置信阈值。例如，机器学习部件206被配置为至少部分地基于确定的准确度分数来改变置信水平被确定为等于中等置信值还是低置信值。在某些示例中，机器学习部件206被配置为将改变的第一预定置信阈值和/或改变的第二预定置信阈值存储在储存库212中。在一些示例中，机器学习部件206被配置为调整第一预定置信阈值和第二预定置信阈值，以将由用户指定的准确度目标和相对应的公差与由机器学习部件206基于一个或多个机器学习系统的模型所确定的准确度分数和置信水平对齐。在某些示例中，机器学习部件206被配置为响应于确定置信水平小于第二预定置信阈值，识别与机器学习系统生成的预测答案相关联的准确度降低事件。

根据某些实施例，系统200被配置为对包括一个或多个预测答案的样本的控制组执行质量控制。在一些示例中，系统200被配置为显示控制组的一个或多个预测答案，以供第二用户(例如，外部实体)为了准确度对其审查。在某些示例中，控制组的一个或多个预测答案包括由机器学习部件206生成的预测答案。在其他示例中，控制组的一个或多个预测答案包括通过提取UI部件208的用户界面接收的真实答案。

在一些实施例中，系统200被配置为如果控制组的一个或多个预测答案的准确度分数被确定为小于预定准确度阈值，则增加与控制组的样本相关联的采样率。在一些示例中，如果确定控制的一个或多个预测答案的准确度分数大于预定准确度阈值，则系统200被配置为降低采样率。例如，系统200被配置为将采样率降低到预定采样率。例如，系统200被配置为在首先增加采样率之后并且如果控制的一个或多个预测答案的准确度分数被确定为大于预定准确度阈值，则降低采样率。

图3B是示出了根据本发明的一个实施例的处理文本数据的方法300的部分的简化图。此图仅为示例，不应不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。在一些示例中，机器学习部件206被配置为响应于通过用户界面接收真实答案，生成324用于预测答案的机器学习系统的一个或多个新模型。在某些示例中，机器学习部件206被配置为至少部分地基于机器学习系统的一个或多个新模型来确定318与真实答案相关联的准确度分数。例如，提取UI部件208被配置为接收预测答案，该预测答案包括由机器学习系统至少部分地基于一个或多个新模型和文本数据确定的置信水平。

图4是示出了根据本发明一个实施例的用于动态显示处理文本数据的评估系统的用户界面的方法的简化图。此图仅为示例，不应不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。方法400包括使用一个或多个处理器执行的过程402-414。尽管上文已经使用该方法的一组选定过程示出，但是可以有许多替代物、修改和变型。例如，过程中的一些可以被扩展和/或组合。其他过程可插入上述过程。取决于实施例，过程顺序可以与其他过程互换。

在一些实施例中，方法400的一些或所有过程(例如，步骤)由系统100执行。在某些示例中，方法400的一些或所有过程(例如，步骤)由计算机和/或由代码引导的处理器执行。例如，计算机包括服务器计算机和/或客户端计算机(例如，个人计算机)。在一些示例中，根据非瞬态计算机可读介质(例如，在计算机程序产品中，诸如计算机可读闪存驱动器中)包括的指令执行方法400的一些或所有过程(例如，步骤)。例如，非瞬态计算机可读介质可由包括服务器计算机和/或客户端计算机(例如，个人计算机和/或服务器机架)的计算机读取。例如，由非瞬态计算机可读介质包括的指令由包括服务器计算机的处理器和/或客户端计算机的处理器(例如，个人计算机和/或服务器机架)执行。

在一些实施例中，在过程402处，接收文本数据和与文本对象相关联的问题的预测答案。文本对象包括文本数据的结构化数据字段。预测答案包括置信水平。置信水平由机器学习系统至少部分地基于机器学习系统的一个或多个模型和文本数据确定。在过程404处，响应于确定置信水平大于或等于第一预定置信阈值，将预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。响应于确定置信水平小于第一预定置信阈值：在过程406处，在用户界面处向用户显示问题和与问题相关联的文本对象以供输入真实答案；以及，在过程408处，响应于确定置信水平大于或等于第二预定置信阈值，在用户界面处显示与文本对象相关的预测答案和上下文指导。响应于通过用户界面接收真实答案：在过程410处，至少部分地基于机器学习系统的一个或多个模型来确定与真实答案相关联的准确度分数；在过程412处，至少部分地基于准确度分数和/或置信水平改变第一预定置信阈值；以及在过程414处，将第一准确度分数、真实答案以及引用存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。

图5是示出了根据本发明一个实施例的用于实现动态显示处理文本数据的评估系统的用户界面的系统的计算系统的简化图。此图仅为示例，不应过度限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。计算系统500包括用于通信信息的总线502或其他通信机构、处理器504、显示器506、光标控制部件508、输入设备510、主存储器512、只读存储器(ROM)514、存储单元516和网络接口518。在一些实施例中，方法400的一些或所有过程(例如，步骤)由计算系统500执行。在一些示例中，总线502耦合到处理器504、显示器506、光标控制部件508、输入设备510、主存储器512、只读存储器(ROM)514、存储单元516和/或网络接口518。在某些示例中，网络接口耦合到网络520。例如，处理器504包括一个或多个通用微处理器。在一些示例中，主存储器512(例如，随机存取存储器(RAM)、高速缓存和/或其他动态存储设备)被配置为存储将由处理器504执行的信息和指令。在某些实施例中，主存储器512被配置为在将由处理器504执行的指令的执行期间存储临时变量或其他中间信息。例如，当存储在处理器504可访问的存储单元516中时，指令将计算系统500呈现到专用机器中，该专用机器被定制以执行指令中指定的操作。在一些示例中，ROM 514被配置为存储处理器504的静态信息和指令。在某些示例中，存储单元516(例如，磁盘、光盘或闪存驱动器)被配置为存储信息和指令。

一些实施例中，显示器506(例如，阴极射线管(CRT)、LCD显示器或触摸屏)被配置为向计算系统500的用户显示信息。在一些示例中，输入设备510(例如，字母数字键和其他键)被配置为向处理器504通信信息和命令。例如，光标控制508(例如，鼠标、轨迹球或光标方向键)被配置为向处理器504通信附加信息和命令(例如，控制显示器506上的光标移动)。

根据一些实施例，一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法，包括接收文本数据和对与文本对象相关联的问题的第一预测答案。文本对象包括文本数据的结构化数据字段。第一预测答案包括第一置信水平。第一置信水平由机器学习系统至少部分基于机器学习系统的一个或多个第一模型和文本数据确定。响应于确定第一置信水平大于或等于第一预定置信阈值，将第一预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。响应于确定置信水平小于第一预定置信阈值：在用户界面上向第一用户显示问题和与问题相关联的文本对象以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面上显示与文本对象相关的第一预测答案和上下文指导。响应于通过用户界面接收到真实答案：至少部分地基于机器学习系统的一个或多个第一模型来确定与真实答案相关联的第一准确度分数；至少部分地基于第一准确度分数改变第一预定置信阈值；以及将第一准确度分数、真实答案以及引用存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。例如，该方法至少根据图2、图3A、图3B和/或图4实现。

在一些示例中，第一预定置信阈值大于第二预定置信阈值。在某些示例中，方法进一步包括将改变的第一预定置信阈值存储在存储器中以供检取和显示。在一些示例中，方法进一步包括响应于通过用户界面接收真实答案，至少部分地基于第一准确度分数来改变第二预定置信阈值。

在某些示例中，该方法进一步包括：至少部分地基于机器学习系统的一个或多个第一模型生成对问题的第一预测答案；以及至少部分地基于机器学习系统的一个或多个第一模型来确定第一置信水平，第一置信水平与第一预测答案相关联。

在一些示例中，该方法进一步包括响应于确定第一置信水平大于或等于第一预定置信阈值：确定文本对象是否与评估系统的控制组相关联；以及响应于确定文本对象与控制组相关联，在用户界面处向第一用户显示问题和文本对象以供输入真实答案。

在某些示例中，由第二用户为了准确度对与控制组相关联的文本对象进行审查。例如，控制组的一个或多个预测答案包括由机器学习系统生成的预测答案。例如，控制组的一个或多个预测答案包括从第二用户接收的真实答案。

在一些示例中，方法进一步包括响应于确定控制组的一个或多个预测答案的第二准确度分数小于预定准确度阈值，增加与控制组的样本相关联的采样率。例如，方法进一步包括响应于确定控制组的一个或多个预测答案的第三准确度分数大于预定准确度阈值，降低与控制组的样本相关联的采样率。

在某些示例中，该方法进一步包括：确定文本对象是否与评估系统的控制组相关联；以及响应于确定文本对象与控制组相关联，在用户界面处向第一用户显示问题和文本对象以供输入真实答案。

在一些示例中，上下文指导包括文本数据中的感兴趣区域、页码、节段号、文本突出显示或文本对象的自动导航功能。在某些示例中，方法进一步包括将真实答案发送到机器学习系统，以至少部分基于真实答案生成一个或多个第二模型。例如，方法进一步包括接收对问题的第二预测答案。第二预测答案包括第二置信水平。由机器学习系统至少部分地基于一个或多个第二模型和文本数据来确定第二置信水平。在一些示例中，方法进一步包括响应于确定第一置信水平小于第二预定置信阈值，识别与由机器学习系统生成的第一预测答案相关联的准确度降低事件。

根据某些实施例，一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的系统，系统包括一个或多个处理器以及存储指令的存储器。当由一个或多个处理器执行时，指令使得系统执行接收文本数据和对与文本对象相关联的问题的第一预测答案。文本对象包括文本数据的结构化数据字段。第一预测答案包括第一置信水平。第一置信水平由机器学习系统至少部分基于机器学习系统的一个或多个第一模型和文本数据确定。当由一个或多个处理器执行时，指令使得系统进一步执行响应于确定第一置信水平大于或等于第一预定置信阈值，将第一预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。当由一个或多个处理器执行时，指令使得系统响应于确定置信水平小于第一预定置信阈值进一步执行：在用户界面处，向第一用户显示问题和与问题相关联的文本对象，以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面处显示与文本对象相关的第一预测答案和上下文指导。当由一个或多个处理器执行时，指令使得系统响应于通过用户界面接收真实答案进一步执行：至少部分地基于机器学习系统的一个或多个第一模型来确定与真实答案相关联的第一准确度分数；至少部分地基于第一准确度分数改变第一预定置信阈值；以及将第一准确度分数、真实答案以及引用存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。例如，该系统至少根据图2、图3A、图3B和/或图4实现。

在一些示例中，第一预定置信阈值大于第二预定置信阈值。在某些示例中，当由一个或多个处理器执行时，指令使得系统进一步将改变的第一预定置信阈值存储在存储器中以供检取和显示。在一些示例中，当由一个或多个处理器执行时，指令使得系统进一步响应于通过用户界面接收真实答案，至少部分地基于准确度分数来改变第二预定置信阈值。

在某些示例中，当由一个或多个处理器执行时，指令使得系统进一步执行：至少部分地基于机器学习系统的一个或多个模型生成对问题的预测答案；以及至少部分地基于机器学习系统的一个或多个模型来确定置信水平，置信水平与预测答案相关联。在其它示例中，当由一个或多个处理器执行时，指令使得系统响应于确定置信水平大于或等于第一预定置信阈值进一步执行：确定文本对象是否与评估系统的控制组相关联；以及响应于确定文本对象与控制组相关联，在用户界面处向第一用户显示问题和文本对象以供输入真实答案。

在一些示例中，由第二用户为了准确度对与控制组相关联的文本对象进行审查。在某些示例中，控制组的一个或多个预测答案包括由机器学习系统生成的预测答案。在一些示例中，控制组的一个或多个预测答案包括从第二用户接收的真实答案。

根据一些实施例，提供了一种存储一个或多个程序的非瞬态计算机可读存储介质。该一个或多个程序包括指令，当由一个或多个处理器执行时，指令使得用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的系统执行接收文本数据和对与文本对象相关联的问题的预测答案。文本对象包括文本数据的结构化数据字段。预测答案包括置信水平。置信水平由机器学习系统至少部分基于机器学习系统的一个或多个模型和文本数据确定。当由一个或多个处理器执行时，指令使得系统响应于确定置信水平大于或等于第一预定置信阈值，进一步执行将预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。当由一个或多个处理器执行时，指令使得系统响应于确定置信水平小于第一预定置信阈值进一步执行：在用户界面处，向用户显示问题和与问题相关联的文本对象，以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面处显示与文本对象相关的预测答案和上下文指导。当由一个或多个处理器执行时，指令使得系统响应于通过用户界面接收真实答案进一步执行：至少部分地基于机器学习系统的一个或多个模型来确定与真实答案相关联的准确度分数；至少部分地基于准确度分数改变第一预定置信阈值；以及将准确度分数、真实答案以及引用存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。例如，根据至少图2、图3A、图3B和/或图4实现非瞬态计算机可读存储介质。

例如，本发明的各种实施例的一些或所有部件分别和/或与至少另一个部件组合，使用一个或多个软件部件、一个或多个硬件部件和/或软件和硬件部件的一个或多个组合来实现。在另一个示例中，本发明的各种实施例的一些或所有部件分别和/或与至少另一个部件组合，在一个或多个电路(诸如一个或多个模拟电路和/或一个或多个数字电路)中实现。在又一个实施例中，虽然上文所述的实施例指代特定特征，但是本发明的范围还包括具有特征的不同组合的实施例以及不包括所述的全部特征的实施例。在又一个示例中，可以组合本发明的各种实施例和/或示例。

附加地，本文所述的方法和系统可以通过包括可由设备处理子系统执行的程序指令的程序代码在许多不同类型的处理设备上实现。软件程序指令可包括源代码、目标代码、机器代码或可操作以使处理系统执行本文所述的方法和操作的任何其他存储数据。然而，也可以使用其他实现，诸如固件或甚至被配置为执行本文所述的方法和系统的适当设计的硬件。

系统和方法的数据(例如，关联、映射、数据输入、数据输出、中间数据结果、最终数据结果等)可以在一个或多个不同类型的计算机实现的数据存储中存储和实现，诸如不同类型的存储设备和编程结构(例如，RAM、ROM、EEPROM、闪存、平面文件、数据库、编程数据结构、编程变量、IF-THEN(或类似类型)语句结构、应用程序编程接口等)。注意，数据结构描述用于在数据库、程序、存储器或其他计算机可读介质中组织和存储数据以供计算机程序使用的格式。

可以在许多不同类型的计算机可读介质上提供系统和方法，计算机可读介质包括包含指令(例如，软件)的计算机存储机制(例如，CD-ROM、软盘、RAM、闪存、计算机硬盘驱动器、DVD等)以供处理器在执行中使用，以执行方法的操作并实现本文所述的系统。本文描述的计算机部件、软件模块、功能、数据存储器和数据结构可以直接或间接地彼此连接，以便允许其操作所需的数据流。还应注意，模块或处理器包括执行软件操作的代码单元，并且可以实现为例如子例程代码单元、或实现为软件功能代码单元、或实现为对象(如在面向对象的范例中)、或实现为小程序、或在计算机脚本语言中或实现为另一种类型的计算机代码。软件部件和/或功能可能位于单个计算机上或分布在多个计算机上，具体取决于手头的情况。

计算系统可包括客户端设备和服务器。客户端设备和服务器通常彼此远离，并且通常通过通信网络交互。客户端设备和服务器的关系根据在相应计算机上运行且彼此具有客户端设备-服务器关系的计算机程序来产生。

本说明书包含用于特定实施例的许多细节。也可将在本说明书中单独的各实施例的情境中所描述的某些特征以组合的形式实现在单个实施例中。反之，也可单独地在多个实施例中、或在任何合适的子组合中实现在单个实施例的情境中所描述的各种特征。此外，尽管上述特征可被描述为在某些组合中起作用，但在某些情况下，可以从组合中移除来自组合的一个或多个特征，并且组合例如可以被指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了多个操作，但不应当将此理解为要求按所示的特定顺序或顺序地执行此类操作，或者要求要执行所有示出的操作以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，不应当将上文所描述的各实施例中的各种系统部件分开理解为在所有实施例中都要求进行此类分开，并且应当理解，一般可将所描述的程序部件和系统一起集成在单个的软件产品中，或将其封装进多个软件产品中。

尽管已经描述了本发明的特定实施例，但是本领域技术人员将理解，存在与所描述的实施例等效的其他实施例。因此，应当理解，本发明不受所示具体实施例的限制，而仅受所附权利要求书的范围的限制。

Claims (26)

1.一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法，所述方法包括：

接收文本数据和对与文本对象相关联的问题的第一预测答案，所述文本对象包括所述文本数据的结构化数据字段，所述第一预测答案包括第一置信水平，所述第一置信水平由机器学习系统至少部分地基于所述机器学习系统的一个或多个第一模型和所述文本数据确定；

响应于确定所述第一置信水平大于或等于第一预定置信阈值，将所述第一预测答案和引用存储在存储器中以供检取和显示，所述引用指示所述文本对象在所述文本数据中的位置；

响应于确定所述第一置信水平小于所述第一预定置信阈值：

在所述用户界面处，向第一用户显示所述问题和与所述问题相关联的所述文本对象，以供输入真实答案；以及

响应于确定所述第一置信水平大于或等于第二预定置信阈值，在所述用户界面处显示与所述文本对象相关的所述第一预测答案和上下文指导；并且

响应于通过所述用户界面接收真实答案：

至少部分地基于所述机器学习系统的所述一个或多个第一模型来确定与所述真实答案相关联的第一准确度分数；

至少部分地基于所述第一准确度分数改变所述第一预定置信阈值；以及

将所述第一准确度分数、所述真实答案以及所述引用存储在所述存储器中以供检取和显示；

其中所述第一预定置信阈值大于或等于所述第二预定置信阈值。

2.如权利要求1所述的方法，其特征在于，所述第一预定置信阈值大于所述第二预定置信阈值。

3.如权利要求1所述的方法，进一步包括：

将改变的第一预定置信阈值存储在所述存储器中以供检取和显示。

4.如权利要求1所述的方法，进一步包括：

响应于通过所述用户界面接收所述真实答案，至少部分地基于所述第一准确度分数来改变所述第二预定置信阈值。

5.如权利要求1所述的方法，进一步包括：

至少部分地基于所述机器学习系统的所述一个或多个第一模型生成对所述问题的所述第一预测答案；以及

至少部分地基于所述机器学习系统的所述一个或多个第一模型来确定所述第一置信水平，所述第一置信水平与所述第一预测答案相关联。

6.如权利要求1所述的方法，进一步包括：

响应于确定所述第一置信水平大于或等于第一预定置信阈值：

确定所述文本对象是否与所述评估系统的控制组相关联；以及

响应于确定所述文本对象与所述控制组相关联，在所述用户界面处向第一用户显示所述问题和所述文本对象以供输入真实答案。

7.如权利要求6所述的方法，其特征在于：

由第二用户为了准确度对与所述控制组相关联的所述文本对象进行审查。

8.如权利要求7所述的方法，其特征在于，所述控制组的一个或多个预测答案包括由所述机器学习系统生成的预测答案。

9.如权利要求7所述的方法，其特征在于，所述控制组的一个或多个预测答案包括从所述第二用户接收的真实答案。

10.如权利要求7所述的方法，进一步包括：

响应于确定所述控制组的所述一个或多个预测答案的第二准确度分数小于预定准确度阈值，增加与所述控制组的统计样本相关联的采样率。

11.如权利要求10所述的方法，进一步包括：

响应于确定所述控制组的所述一个或多个预测答案的第三准确度分数大于所述预定准确度阈值，降低与所述控制组的所述统计样本相关联的所述采样率。

12.如权利要求1所述的方法，进一步包括：

确定所述文本对象是否与所述评估系统的控制组相关联；以及

响应于确定所述文本对象与所述控制组相关联，在所述用户界面处向第一用户显示所述问题和所述文本对象以供输入真实答案。

13.如权利要求1所述的方法，其特征在于，所述上下文指导包括所述文本数据中的感兴趣区域、页码、节段号、文本突出显示或对所述文本对象的自动导航功能。

14.如权利要求1所述的方法，进一步包括：

将所述真实答案发送到所述机器学习系统，以用于至少部分地基于所述真实答案生成一个或多个第二模型。

15.如权利要求14所述的方法，进一步包括：

接收对所述问题的第二预测答案，所述第二预测答案包括第二置信水平，所述第二置信水平由所述机器学习系统至少部分地基于所述一个或多个第二模型和所述文本数据来确定。

16.如权利要求1所述的方法，进一步包括：

响应于确定所述第一置信水平小于所述第二预定置信阈值，识别与由机器学习系统生成的所述第一预测答案相关联的准确度降低事件。

17.一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的系统，所述方法包括：

一个或多个处理器；以及

存储器，所述存储器存储指令，当由所述一个或多个处理器执行时，所述指令使得所述系统执行：

接收文本数据和对与文本对象相关联的问题的预测答案，所述文本对象包括所述文本数据的结构化数据字段，所述预测答案包括置信水平，所述置信水平由机器学习系统至少部分地基于所述机器学习系统的一个或多个模型和所述文本数据确定；

响应于确定所述置信水平大于或等于第一预定置信阈值，将所述预测答案和引用存储在存储器中以供检取和显示，所述引用指示所述文本对象在所述文本数据中的位置；

响应于确定所述置信水平小于所述第一预定置信阈值：

在所述用户界面处，向第一用户显示所述问题和与所述问题相关联的所述文本对象，以供输入真实答案；以及

响应于确定所述置信水平大于或等于第二预定置信阈值，在所述用户界面处显示与所述文本对象相关的所述预测答案和上下文指导；并且

响应于通过所述用户界面接收真实答案：

至少部分地基于所述机器学习系统的所述一个或多个模型来确定与所述真实答案相关联的准确度分数；

至少部分地基于所述准确度分数改变所述第一预定置信阈值；以及

将所述准确度分数、所述真实答案以及所述引用存储在存储器中以供检取和显示；

其中所述第一预定置信阈值大于或等于所述第二预定置信阈值。

18.如权利要求17所述的系统，其特征在于，所述第一预定置信阈值大于所述第二预定置信阈值。

19.如权利要求17所述的系统，其特征在于，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器进一步执行：

将改变的第一预定置信阈值存储在所述存储器中以供检取和显示。

20.如权利要求17所述的系统，其特征在于，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器进一步执行：

响应于通过所述用户界面接收所述真实答案，至少部分地基于所述准确度分数来改变所述第二预定置信阈值。

21.如权利要求17所述的系统，其特征在于，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器进一步执行：

至少部分地基于所述机器学习系统的所述一个或多个模型生成对所述问题的所述预测答案；以及

至少部分地基于所述机器学习系统的所述一个或多个模型来确定所述置信水平，所述置信水平与所述预测答案相关联。

22.如权利要求17所述的系统，其特征在于，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器进一步执行：

响应于确定所述置信水平大于或等于第一预定置信阈值：

确定所述文本对象是否与所述评估系统的控制组相关联；以及

响应于确定所述文本对象与所述控制组相关联，在所述用户界面处向第一用户显示所述问题和所述文本对象以供输入真实答案。

23.如权利要求22所述的系统，其特征在于：

由第二用户为了准确度对与所述控制组相关联的所述文本对象进行审查。

24.如权利要求23所述的系统，其特征在于，所述控制组的一个或多个预测答案包括由所述机器学习系统生成的预测答案。

25.如权利要求23所述的系统，其特征在于，所述控制组的一个或多个预测答案包括从所述第二用户接收的真实答案。

26.一种存储一个或多个程序的非瞬态计算机可读存储介质，所述一个或多个程序包括指令，当由一个或多个处理器执行时，所述指令使得用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的系统执行：

接收文本数据和对与文本对象相关联的问题的预测答案，所述文本对象包括所述文本数据的结构化数据字段，所述预测答案包括置信水平，所述置信水平由机器学习系统至少部分地基于所述机器学习系统的一个或多个模型和所述文本数据确定；

响应于确定所述置信水平大于或等于第一预定置信阈值，将所述预测答案和引用存储在存储器中以供检取和显示，所述引用指示所述文本对象在所述文本数据中的位置；

响应于确定所述置信水平小于所述第一预定置信阈值：

在所述用户界面处，向用户显示所述问题和与所述问题相关联的所述文本对象，以供输入真实答案；以及

响应于确定所述置信水平大于或等于第二预定置信阈值，在所述用户界面处显示与所述文本对象相关的所述第一预测答案和上下文指导；并且

响应于通过所述用户界面接收真实答案：

至少部分地基于所述机器学习系统的所述一个或多个模型来确定与所述真实答案相关联的准确度分数；

至少部分地基于所述准确度分数改变所述第一预定置信阈值；以及

将所述准确度分数、所述真实答案以及所述引用存储在存储器中以供检取和显示；

其中所述第一预定置信阈值大于或等于所述第二预定置信阈值。

Images