CN113557535A - 基于训练数据与性能趋势的相关性的计算机模型机器学习 - Google Patents

基于训练数据与性能趋势的相关性的计算机模型机器学习 Download PDF

Info

Publication number
CN113557535A
CN113557535A CN202080018682.2A CN202080018682A CN113557535A CN 113557535 A CN113557535 A CN 113557535A CN 202080018682 A CN202080018682 A CN 202080018682A CN 113557535 A CN113557535 A CN 113557535A
Authority
CN
China
Prior art keywords
computer
training
model
implemented model
implemented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018682.2A
Other languages
English (en)
Inventor
陈涵青
A.凯尔盖尔拉梅什
R.劳特雷
R.艾普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN113557535A publication Critical patent/CN113557535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Debugging And Monitoring (AREA)
  • Feedback Control In General (AREA)

Abstract

提供了用于训练计算机实现的模型的机制。所述机制执行计算机实现的模型的训练的多个实例，其中计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练计算机实现的模型以生成训练的计算机实现的模型的不同实例。所述机制通过执行训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果。该机制与训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果相关联地记录计算机实现的模型的训练实例中的差异。所述机制分析记录的差异和对应的计算机实现的模型结果，并且生成指示记录的差异和对应的计算机实现的模型结果之间的相关性的输出。

Description

基于训练数据与性能趋势的相关性的计算机模型机器学习
背景技术
本申请总体上涉及一种改进的数据处理装置和方法，并且更具体地涉及用于基于训练数据与性能趋势的相关性来执行计算机模型机器学习的机制。
计算机模型、或计算机模拟是被设计成通过模拟物理世界中的对象或系统的情形模拟什么可能发生或者已经发生的计算机程序，其中该对象或系统可以是各种类型的，包括生物对象/系统、计算机对象/系统，环境对象/系统、机械对象/系统或可能存在于物理世界中的任何其他对象或系统。计算机模型或计算机模拟以多种方式使用，包括天文学、经济学和各种科学领域，例如物理学和生物学。许多现代计算机模型或计算机模拟利用基于机器学习方法的训练操作来训练计算机模型或计算机模拟，以正确地预测对象或系统的行为。
机器学习(ML)是计算机系统用来渐进地改进其在特定任务上的性能的算法和统计模型的科学研究。机器学习算法建立样本数据(被称为“训练数据”)的数学模型，以便在不被明确为执行任务编程的情况下做出预测或决策。机器学习算法用于电子邮件过滤、网络入侵者的检测和计算机视觉的应用中，其中开发用于执行任务的特定指令的算法是不可行的。机器学习与计算统计密切相关，计算统计关注于使用计算机进行预测。数据挖掘是机器学习内的研究领域，并且集中于通过无监督学习的探索数据分析。在其跨业务问题的应用中，机器学习也被称为预测分析。
发明内容
提供本发明内容以便以简化形式介绍将在本文在具体实施方式中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键因素或必要特征，也不旨在用于限制所要求保护的主题的范围。
根据一个方面，提供了一种在数据处理系统中用于训练计算机实现的模型的方法。该方法包括由所述数据处理系统执行所述计算机实现的模型的训练的多个实例，其中所述计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练所述计算机实现的模型以生成训练的计算机实现的模型的不同实例。该方法还包括通过执行所述训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果。此外，该方法包括由所述数据处理系统将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录。此外，该方法包括由数据处理系统分析所述记录的差异和所述对应的计算机实现的模型结果，以及由所述数据处理系统生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的输出。
在一个说明性实施例中，执行计算机实现的模型的训练的多个实例包括由所述数据处理系统使用训练数据的第一版本和一个或多个超参数的第一集合来对所述计算机实现的模型执行第一训练操作以生成所述计算机实现的模型的第一训练实例，以及由所述数据处理系统使用所述训练数据的第二版本和一个或多个超参数的第二集合对所述计算机实现的模型执行第二训练操作以生成所述计算机实现的模型的第二训练实例。通过利用训练数据和超参数的不同版本来训练计算机实现的模型的不同实例，说明性实施例能够识别计算机模型的性能与特定训练数据集和超参数设置的趋势并将其相关。
在一些说明性实施例中，记录计算机实现的模型的训练实例中的变化包括由所述数据处理系统生成第一跟踪数据结构，所述第一跟踪数据结构将所述第一训练操作的第一标识符与所述训练数据的第一版本和所述一个或多个超参数的第一集合相关联，以及由所述数据处理系统生成第二跟踪数据结构，所述第二跟踪数据结构将所述第二训练操作的第二标识符与所述训练数据的第二版本和所述一个或多个超参数的第二集合相关联。在一些说明性实施例中，生成计算机实现的模型结果包括从执行所述计算机实现的模型的所述第一实例来生成第一模型结果，以及从执行所述计算机实现的模型的所述第二实例来生成第二模型结果，并且其中分析所述记录的差异和所述对应的计算机实现的模型结果包括，由所述数据处理系统对所述第一跟踪数据结构、第二跟踪数据结构、第一模型结果、以及第二模型结果执行分析，以标识所述第一训练操作与所述第二训练操作之间的差异，所述差异与所述第一模型结果和所述第二模型结果之间的差异相关。再次，这些操作用来将训练中的差异与模型结果中的差异相关联，使得可以识别训练特性的适当选择以实现期望的性能。
在一些说明性实施例中，训练数据的第二版本是训练数据的第一版本的修改版本。以此方式，说明性实施例的机制可以确定训练数据的第一版本中的什么变化改进或降低计算机模型的性能。
在一些说明性实施例中，生成输出还包括：生成用于修改所述计算机实现的模型的训练的一个或多个推荐以通过基于所述记录的差异和对应的计算机实现的模型结果来标识什么变化增加了所述计算机实现的模型的准确度来改进训练数据。此外，在一些说明性实施例中，自动执行计算机操作以实现所述生成的一个或多个推荐，其中，所述计算机操作包括以下中的至少一个：获得新的训练数据，所述新的训练数据包括在所述一个或多个推荐中被指定为改进所述计算机实现的模型的训练的实体的实体；移除在所述一个或多个推荐中指定为使所述计算机实现的模型的训练降级的实体的实体；修改所述计算机实现的模型的至少一个超参数；或者修改用于执行所述计算机实现的模型的训练的计算机模型训练工具。以此方式，可以基于说明性实施例所执行的趋势分析来自动改进计算机模型的训练。
在一些说明性实施例中，跟踪用于训练所述计算机实现的模型的训练数据的实例，使得用于训练所述计算机实现的模型的训练数据可被还原到训练数据的先前版本。由此，利用这些机制，如果计算机模型的训练中的变化导致不想要的性能变化，则对训练所做的变化可被还原以确保计算机模型的最佳训练以实现期望的性能。
在一些说明性实施例中，分析包括对所述记录的差异和所述对应的计算机实现的模型结果执行趋势分析。该趋势分析允许确定训练数据的变化和对应的性能变化的预测，以便指导努力修改计算机模型的训练以实现期望的或最优的性能。
在一些说明性实施例中，所述计算机实现的模型的训练的所述多个实例包括由不同的计算机实现的模型开发者在一个或多个位置处训练该计算机实现的模型的不同副本，以生成所述训练的计算机实现的模型的实例的不同子集，并且其中所述方法跨来自所述不同的计算机实现的模型开发者的所述训练的实现的模型的实例的所有子集来执行。由此，利用说明性实施例的机制，由多个不同模型开发者执行的计算机模型的实例的个别训练可用于辅助其他开发者实现计算机模型的其自身实例之外的更大性能。
在其他说明性实施例中，提供了一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有存储在其中的计算机可读程序。当在计算装置上执行时，计算机可读程序使计算装置执行以上关于方法说明性实施例中的一个或多个概述的操作的不同操作和组合。
在又另一个说明性实施例中，提供了一种系统/设备。该系统/装置可以包括一个或多个处理器和耦合到该一个或多个处理器的存储器。所述存储器可以包括指令，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行以上关于方法说明性实施例中的一个或多个方法而概述的操作中的不同操作和组合。
根据另一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有存储在其中的计算机可读程序，其中，当在数据处理系统上执行时，所述计算机可读程序使所述数据处理系统：执行计算机实现的模型的训练的多个实例，其中所述计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练所述计算机实现的模型以生成训练的计算机实现的模型的不同实例；通过执行所述训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果；将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录；分析所述记录的差异和所述对应的计算机实现的模型结果；以及生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的输出。
根据另一个方面，提供了一种装置，该装置包括：处理器；以及耦合至所述处理器的存储器，其中，其中所述存储器包括指令，所述指令在由所述处理器执行时致使所述处理器：执行计算机实现的模型的训练的多个实例，其中所述计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练所述计算机实现的模型以生成训练的计算机实现的模型的不同实例；通过执行所述训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果；将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录；分析所述记录的差异和所述对应的计算机实现的模型结果；以及生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的输出。
本文披露的解决方案的这些和其他特征和优点将在本发明的示例性实施例的以下详细描述中进行描述或者鉴于本发明的示例性实施例的以下详细描述对本领域的普通技术人员将变得清楚。
附图说明
现在将仅通过举例并参考以下附图来描述本发明的优选实施例：
图1是在其中实现本发明的说明性实施例的分布式计算系统的框图；
图2是其中实现本发明的说明性实施例的示例数据处理系统的框图；
图3是根据一个说明性实施例的概述计算机模型训练计算系统的示例操作的流程图；
图4是根据一个说明性实施例的训练信息的仪表板表示的示例图；
图5是根据一个说明性实施例的计算机模型的副本的训练的趋势的图形表示的示例图；以及
图6是根据一个说明性实施例的训练模型特征和训练数据集特征的表格表示的示例图。
具体实施方式
说明性实施例提供了用于基于训练数据与性能趋势的相关性来执行计算机模型机器学习的机制。本方案具体针对用于训练计算机模型的计算机工具的改进，以基于对训练数据、训练工具、超参数等的变化的观察来提高这些计算机模型的性能和准确度，以及基于这些变化的计算机模型的性能和准确度的相应趋势。以此方式，向计算机模型训练提供改进，这进而导致计算机模型的改进的性能和准确度。
如上所述，计算机模型用于模拟或预测不同对象或系统将响应于特定刺激而运行的方式，或用于执行分析以确定为什么特定对象或系统以它们所做的方式运行。虽然计算机模型提供用于执行分析和预测建模的优异工具，但是它们的性能和准确度通常取决于计算机模型的训练的质量，计算机模型的训练质量本身取决于用于执行训练的特定训练数据。
此外，在现代计算机建模中，通常使用机器学习训练操作来训练这种计算机模型，在该机器学习训练操作中，这种训练数据被用作修改计算机模型的操作的基础以改进计算机模型的性能和准确度。即，在一种类型的机器学习方法中，有时被称为无监督机器学习，该机器学习利用训练数据，在该训练数据中该计算机模型的正确输出，或“基础真值”是先验已知的，并且是计算机模型的实际输出与之进行比较以确定计算机模型执行多好的基础。基于计算机模型的输出与基础真值之间的差，确定计算机模型中的误差，并且修改与计算机模型相关联的操作参数以减小该误差。该过程可以迭代地执行，直到误差被确定为处于或低于可接受的容限，例如阈值水平的误差或模型中的损失。
其他类型的机器学习(有时被称为受监督机器学习)涉及人类(如主题专家)，通知计算机模型其生成的结果的准确性或不准确性和/或对有待实现的操作参数的修改。例如，主题专家(SME)可以从计算机模型获得输出，并且可以手动地对操作参数、训练数据等进行调整，并且然后可以再次运行计算机模型以查看是否实现性能的改进。
可以认识到，这些计算机模型的训练高度依赖于所使用的训练数据，所使用的训练工具，以及该计算机模型的运行参数的具体设置，例如，计算机模型的超参数，其中超参数是在机器学习过程之前固定的计算机模型的操作参数。这样的超参数经常基于主题专家知识来设置并且在机器学习训练过程期间是静态的。
为了尝试获得计算机模型的改进的性能和准确度，计算机模型的训练中涉及的人类开发者可以对训练数据、训练工具、超参数等进行修改，以尝试使模型实现期望的性能或准确度。例如，考虑其中人类开发者正在训练和学习关于计算机模型在运行中的操作并且可能在主题专家的帮助下对训练数据、超参数、训练工具等进行修改的场景。开发者可以使用多个工具、若干类型的超参数，并且可以修改训练数据以获得不同结果。在此过程期间，开发者确定基础真值不正确并获得新的基础真值，即.获取训练数据的新版本。现在，开发者再次返回训练过程。对于每个训练数据集，开发者可以应用不同的工具、不同的超参数，并获得不同的结果。
该训练过程的问题是能够跟踪计算机模型的性能和准确度的差异所做的变化并使其相关。即，开发者如何跟踪所做的变化以及与计算机模型的性能和准确度的变化的对应性，以便标识异常、趋势等，并且确定什么变化对应于计算机模型的改进的或恶化的性能和准确度。此外，当相同的计算机模型的多个实例被分发给不同的开发者时，该问题加剧，每个开发者独立地执行计算机模型的它们自己的个体实例的这样的修改和训练。
利用说明性实施例的机制，当开发者做出变化和更新计算机模型(在下文中简称为“模型”)的训练时，跟踪影响计算机模型的性能和准确度的训练数据中的添加/删除/修改，例如，添加了什么实体、删除了什么实体、修改了什么实体。对跟踪的数据执行分析，以识别训练数据中的趋势以及模型的对应性能和准确性。可以针对与模型的重复训练会话和针对不同的训练数据集、不同的训练工具和不同的超参数设置重复该过程。例如，开发者可以在每日基础上在新的训练数据上运行计算机模型，并且可以获得计算机模型的准确度的更新，这可以导致可以与训练数据的变化相关的所识别的趋势。
基于所标识的趋势，说明性实施例的机制可以生成关于如何通过标识什么变化增加模型的准确度来改进训练数据的推荐，例如包括像X的更多实体将增加模型的准确度。这样的推荐可随后与不要作出的变化(即，导致模型的较低准确度或性能的变化)的推荐一起被输出到开发者。在一些说明性实施例中，由说明性实施例的机制生成的推荐可以用于在一个或多个训练数据集储存库中自动搜索其他训练数据集，所述训练数据集储存库可以包括被确定以提高计算机模型的准确性和/或性能的实体。在又一些实施例中，自动识别的训练数据集可被自动检索并用于训练计算机模型。可以重复该过程，直到达到计算机模型的期望精度或性能，或直到基于可用训练数据集、工具等确定不可能进一步改进。
可以跨不同的计算机模型实例、不同的开发者等来执行这种用于识别趋势、异常等的跟踪和相关。因此，客户A处使用计算机模型的第一实例的第一开发者可做出他们自己的独立训练数据集变化、操作参数变化等，并且跟踪该信息和与第一计算机模型实例的性能/准确度的相关性并将其报告给集中式计算系统。客户B处使用计算机模型的第二实例的第二开发者可做出他们自己的独立训练数据集变化、操作参数变化等，并且跟踪该信息和与第二计算机模型实例的性能/准确度的相关性并将其报告给集中式计算系统。说明性实施例的机制可以对第一和第二计算机模型实例二者的所有报告的信息执行分析，并且生成趋势信息，该趋势信息可以用于做出用于改进计算机模型性能和准确度的推荐。
在一些说明性实施例中，提供用于训练数据的版本跟踪，这样使得如果需要的话，可以重新创建训练数据的先前版本。即，保持被格式化以供模型使用的训练数据到原始接收到的训练数据的映射。以此方式，给定模型格式化的训练数据，原始接收到的训练数据可被重建。因此，说明性实施例的机制可以使从客户获得的训练数据的版本与为了计算机模型的消费而生成的数据的版本相关，并且可以经由版本化的跟踪返回到客户数据，使得可以再现更早的版本。
因此，利用说明性实施例的机制，提供了一种用于训练计算机实现的模型的计算机方法，其中该计算机方法在数据处理系统中实现，该数据处理系统被具体地配置为执行计算机特定操作的有序组合以训练计算机模型并跟踪对训练所作的变化以及将对训练所作的变化与性能/精度度量相关。所述计算机方法还提供计算机特定操作，所述计算机特定操作标识所跟踪的信息中的趋势并且执行分析以生成用于改进计算机实现的模型的训练的推荐和/或自动地实现所生成的用于改进计算机实现的模型的训练的推荐。
在一个说明性实施例中，计算机方法包括由具体配置的数据处理系统执行，计算机实现的模型的训练的多个实例，计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练计算机实现的模型以生成训练的计算机实现的模型的与计算机实现的模型的训练的其他实例不同的实例。计算机方法还包括通过执行训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果。此外，计算机方法包括由数据处理系统将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录。所述计算机方法还包括：由所述数据处理系统分析所记录的差异和对应的计算机实现的模型结果，以及由所述数据处理系统生成指示所记录的差异和对应的计算机实现的模型结果之间的相关性的输出。
在一些说明性实施例中，计算机方法至少通过执行以下操作来执行计算机实现的模型的训练的多个实例：由所述数据处理系统，使用训练数据的第一版本和一个或多个超参数的第一集合对所述计算机实现的模型进行第一训练操作以生成所述计算机实现的模型的第一训练实例。计算机方法还通过由数据处理系统使用训练数据的第二版本和一个或多个超参数的第二集合对计算机实现的模型执行第二训练操作以生成计算机实现的模型的第二训练实例，来执行计算机实现的模型的训练的多个实例。
在一些说明性实施例中，计算机方法至少通过提下方法来记录计算机实现的模型的训练实例中的变化：由所述数据处理系统生成第一跟踪数据结构，该第一跟踪数据结构将所述第一训练操作的第一标识符与第一版本的训练数据和一个或多个超参数的第一集合相关联，以及由该数据处理系统生成第二跟踪数据结构，该第二跟踪数据结构将第二训练操作的第二标识符与第二版本的训练数据以及一个或多个超参数的第二集合相关联。在一些说明性实施例中，计算机方法至少通过以下方法生成计算机实现的模型的结果：通过执行计算机实现的模型的第一实例生成第一模型结果，并且通过执行计算机实现的模型的第二实例来生成第二模型结果。在这样的说明性实施例中，所记录的差异和对应的计算机实现的模型结果的分析包括，由所述数据处理系统对所述第一跟踪数据结构、第二跟踪数据结构，第一模型结果，以及第二模型结果进行分析以标识第一训练操作与第二训练操作之间的差异，该差异与第一模型结果和第二模型结果之间的差异相关。
在一些说明性实施例中，训练数据的第二版本是训练数据的第一版本的修改版本。在一些说明性实施例中，计算机方法至少通过生成用于修改计算机实现的模型的训练的推荐以通过基于所记录的差异和对应的计算机实现的模型结果，识别什么变化增加计算机实现的模型的准确性来改进训练数据来生成输出。在一些说明性计算机中，自动执行操作以实现生成的一个或多个推荐，其中，所述计算机操作包括以下中的至少一个：获得新的训练数据，所述新的训练数据包括在所述一个或多个推荐中被指定为改进所述计算机实现的模型的训练的实体的实体，移除在所述一个或多个推荐中指定为使所述计算机实现的模型的训练降级的实体的实体，修改所述计算机实现的模型的至少一个超参数，或者修改用于执行所述计算机实现的模型的训练的计算机模型训练工具。
在一些说明性实施例中，计算机方法包含跟踪用于训练计算机实现的模型的训练数据的实例，使得用于训练计算机实现的模型的训练数据可还原到训练数据的先前版本。在其他说明性实施例中，计算机方法包括对记录的差异和对应的计算机实现的模型结果执行趋势分析。在又一说明性实施例中，计算机实现的模型的训练的多个实例包括由不同的计算机实现的模型开发者在一个或多个位置处训练计算机实现的模型的不同副本，以生成所述经训练的计算机实现的模型的实例的不同子集，并且其中所述方法跨来自所述不同的计算机实现的模型开发者的经训练的实现的模型的实例的所有子集来执行。
因此，利用说明性实施例的机制，提供了自动计算机工具，该自动计算机工具自动跟踪计算机模型的实例的训练的变化及计算机模型的实例的性能/准确度的变化并将二者相关联。由计算机工具在所跟踪的信息上自动执行趋势分析，所跟踪的信息可以针对计算机模型的单个实例或者在经受不同训练过程的相同或不同计算机模型的多个实例上来跟踪。趋势分析识别对计算机模型实例的训练所做的变化的类型和计算机模型实例的性能/准确度的对应变化的趋势，再次潜在地将性能/准确度的变化的类型与关于不同的性能/准确度参数相关。这些类型的变化可以是例如存在于训练数据中的特定类型的实体的添加/删除/修改、超参数的变化类型，例如。参数值的增加/减少、所使用的训练工具的变化等，使得说明性实施例的自动化计算工具可以确定计算机模型的训练的特定类型的变化倾向于在计算机模型被部署用于运行时使用时导致计算机模型的性能/准确度的特定类型的变化。
因此，可以认识到，根据优选实施例，本发明具体针对一种改进的计算机工具，该计算机工具被具体配置成用于包括逻辑结构并且执行用于解决计算机领域中的问题(即，计算机模型的训练)的具体计算机过程。改进的计算机工具提供了这样的机制，该机制向改进的计算机工具提供计算机工具先前不具有的新功能，并且该功能进而根据优选实施例改进了使用本发明的改进的计算机工具的机制训练的计算机模型的功能。即，通过改进的计算机工具的操作，改进了计算机模型的性能和准确性。
在更详细地开始讨论各个说明性实施例之前，首先应理解的是，贯穿本说明书，术语“机制”将用于指代本发明的执行各个操作、功能等的元件。如本文所使用的术语“机制”可以是呈装置、程序或计算机程序产品形式的说明性实施例的功能或各方面的实现方式。在过程的情况下，所述过程由一个或多个设备、装置、计算机、数据处理系统等来实现。在计算机程序产品的情况下，由在该计算机程序产品中或上实现的计算机代码或指令表示的逻辑由一个或多个硬件设备执行以便实现功能或执行与特定“机制”相关联的操作。”由此，本文描述的机制可被实现为专用硬件、在通用硬件上执行的软件、存储在介质上的软件指令以使得这些指令可由专用或通用硬件容易地执行、用于执行这些功能的过程或方法、或以上任何项的组合。
本说明书和权利要求书可以利用关于说明性实施例的特定特征和元素的术语“一个”、“至少一个”、和“一个或多个”。应了解，这些术语和短语意在陈述存在特定说明性实施例中存在的特定特征或元素中的至少一者，但也可存在不止一者。即，这些术语/短语不旨在将说明书或权利要求限于单个特征/元件存在或要求多个这样的特征/元件存在。相反，这些术语/短语仅需要至少一个单个特征/元件，其中多个这样的特征/元件可能在说明书和权利要求书的范围内。
此外，应当理解的是，术语“引擎”的使用(如果本文关于描述本发明的实施例和特征使用)不旨在限制用于实现和/或执行可归因于和/或由引擎执行的动作、步骤、过程等的任何特定实现方式。引擎可以是但不限于执行指定功能的软件、硬件和/或固件或其任何组合，所述指定功能包括但不限于通用和/或专用处理器与加载或存储在机器可读存储器中并且由处理器执行的适当软件组合的任何使用。进一步，除非以其他方式指定，否则与特定引擎相关联的任何名称是为了便于参考的目的而并非旨在限制于特定实现方式。另外，归于引擎的任何功能可以由多个引擎同等地执行、结合到相同或不同类型的另一个引擎中和/或与之组合、或者分布在各种配置的一个或多个引擎上。
此外，应当理解的是，以下描述针对说明性实施例的不同元件使用多个不同示例来进一步说明说明性实施例的示范性实现方式并帮助理解说明性实施例的机制。这些实例旨在是非限制性的并且不是实现说明性实施例的机制的不同可能性的穷举。鉴于本说明书，本领域普通技术人员将清楚的是，在不脱离本发明的精神和范围的情况下，存在用于除本文提供的实例之外或替代本文提供的实例可以利用的这些不同元件的许多其他替代性实现方式。
本发明可以是系统、方法和/或计算机程序产品。所述计算机程序产品可包含上面具有计算机可读程序指令的计算机可读存储介质(或介质)，所述计算机可读程序指令用于致使处理器执行本发明的方面。
计算机可读存储介质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储介质的更具体例子的非穷举列表包括以下：便携式计算机盘，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式致密盘只读存储器(CD-ROM)，数字通用盘(DVD)、记忆棒、软盘、机械编码设备(诸如穿孔卡片或具有记录在其上的指令的凹槽中的凸起结构)，以及上述的任意合适的组合。如本文中所使用的计算机可读存储介质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。
本文所述的计算机可读程序指令可从计算机可读存储介质下载到对应的计算/处理设备，或经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令，指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，包括JavaTM、Smalltalk、C++等面向对象的编程语言，以及常规的过程式编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本发明的各方面。Java和所有基于Java的商标和标志是Oracle和/或其会员的商标或注册商标。
本文中参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机的处理器、专用计算机或其他可编程数据处理装置，以产生机器，其通过计算机或其他可编程数据处理装置的处理器执行，创建用于实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可存储在计算机可读存储介质中，该计算机可读存储介质可指导计算机、可编程数据处理装置、和/或以特定方式起作用的其他设备，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各方面的指令。
计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置、或其他装置上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令，实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图展示了根据本发明的各个实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个方框可以代表模块、段或指令的一部分，其包括用于实现规定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中所标注的功能可以不以图中所标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。
如上所述，根据优选实施例，本发明提供了一种改进的计算机工具，用于通过在多个训练实例上跟踪对计算机模型的训练所作的变化，并将这些变化与计算机模型的性能/准确度的变化相关联，来改进计算机模型的训练。对所跟踪的信息执行分析以识别计算机模型的训练中的趋势，例如，一个或多个训练特性的特定变化，例如，训练数据中的实体的类型或训练数据本身的其他特性，一个或多个超参数的变化、所使用的特定训练算法或训练工具的变化，等导致性能/准确度的差异，例如，计算机模型的训练的收敛速度，经训练的计算机模型中的误差/损失的量，或其他性能/准确度度量。
训练特征的变化与性能/准确度变化的相关性生成趋势信息，该趋势信息被用于生成训练计算机模型的训练建议，或者在针对特定用途训练计算机模型的副本的一个或多个位置处跨越多个开发者的计算机模型的副本，例如，同一计算机模型(诸如医疗保健建议模型)可由不同开发者出于不同目的而开发，例如，一个开发人员训练计算机模型为前列腺癌患者提供治疗建议，与被训练为不同的开发者为膀胱癌患者提供治疗推荐的计算机模型的另一个拷贝相反。然而，可以使用类似的训练推荐来帮助不同的开发者基于训练特性和和计算机模型的性能/准确度的改进中的对应趋势中所识别的趋势来训练计算机模型的其个体副本。
说明性实施例的改进的计算机工具可以在许多不同类型的数据处理环境中使用。为了提供用于描述说明性实施例的特定元素和功能的上下文，图1-2在下文中被提供作为可以在其中实现说明性实施例的示例环境。应了解，图1-2仅为实例，且无意断言或暗示关于其中可实施本发明的实施例的环境的任何限制。在不背离本发明的精神和范围的情况下，可以对所描绘的环境进行许多修改。
图1描绘了实现请求处理管线108的数据处理系统100的一个说明性实施例的示意图，在一些实施例中，该请求处理管线可以是计算机网络102中的认知计算系统，诸如采用问答(QA)管线108的问答(QA)计算系统。可用作数据处理系统100的一部分的认知计算系统的示例是可从纽约州阿蒙克的国际商业机器(IBM)公司获得的IBM WatsonTM认知计算系统。在这种认知计算系统中实现的计算机模型本身可以采取许多不同的形式，并且可以包括，例如，神经网络、回归模型、时间序列分析模型、趋势分析模型、行为模型，模拟模型、或任何其他类型的计算机模型行为算法、或通过有监督或无监督机器学习过程训练的计算机模拟，其通过经由训练特性的调整迭代训练计算机模型并确定经训练的计算机模型或模拟的性能/准确度的变化来训练。IBM和Watson是国际商业机器公司在美国和/或其他国家的商标。
应了解，图1中所示的认知计算系统实施例仅是实例，因为认知计算系统利用计算机模型来执行其认知计算操作。然而，本发明优选地适用于其中训练和利用计算机模型、模拟或行为算法的任何实现方式，其包括不需要认知计算系统或相应管线108的实现方式。
出于本描述的目的，将假设数据处理系统100是实施为QA系统的认知计算系统，其中请求处理管线108被实施为对输入问题形式的结构化和/或非结构化请求进行操作的QA管线。在对这样的结构化和/或非结构化请求进行操作时，使用可以专用于QA系统100的特定实现方式及其预期目的的一个或多个经训练的计算机模型，例如，生成前列腺癌患者的治疗建议，进行医学图像诊断，评估患者电子医疗记录，执行车辆导航或防碰撞、提供金融产品/服务推荐等。可以使用训练计算机系统和一个或多个训练数据集来训练这些计算机模型。可以结合本文中所描述的原理使用的问题处理操作的一个示例在美国专利申请公开号2011/0125734中描述，通过引用将其全部内容结合于此。
如图1所示，数据处理系统100(例如，认知系统100)，在连接到计算机网络102的一个或多个计算设备104A-D(包括一个或多个处理器和一个或多个存储器，以及潜在地本领域已知的任何其他计算设备元件，包括总线、存储设备、通信接口等)上实现。仅出于说明的目的，图1描绘了仅在计算设备104A上实现的认知系统100，但如上所述，认知系统100可分布在多个计算设备上，诸如多个计算设备104A-D。网络102包括可作为服务器计算设备操作的多个计算设备104A-D，和可操作为客户端计算设备的设备110-112，它们经由一个或多个有线和/或无线数据通信链路彼此通信和与其他设备或组件通信，其中，每个通信链路包括电线、路由器、交换机、发送器、接收器等中的一个或多个。在一些说明性实施例中，认知系统100和网络102实现一个或多个认知系统用户经由其对应的计算设备110-112的问题处理和答案生成(QA)功能。在其他实施例中，认知系统100和网络102可提供其他类型的认知操作，包括但不限于请求处理和认知响应生成，其可取决于所需实现(例如，认知信息检索、用户的训练/指令、数据的认知评估等)而采取许多不同的形式。认知系统100的其他实施例可与除了本文所描述的组件、系统、子系统和/或设备不同的组件、系统、子系统和/或设备一起使用。
认知系统100经配置以实施从不同源接收输入的请求处理管线108。请求可以以自然语言问题、对信息的自然语言请求、对认知操作的执行的自然语言请求等的形式提出。例如，认知系统100从网络102、电子文档106的语料库或语料库、认知系统用户和/或其他数据和其他可能的输入源接收输入。在一个实施例中，认知系统100的一些或所有输入通过网络102路由。网络102上的不同计算设备104A-D包括用于内容创建者和认知系统用户的接入点。计算设备104A-D中的一些包括用于存储语料库或数据106(在图1中仅出于说明性目的示出为单独的实体)的语料库的数据库的设备。语料库或数据106语料库的各部分也可在一个或多个其他网络附加存储设备上、在一个或多个数据库中、或在图1中未明确示出的其他计算设备中提供。在不同实施例中，网络102包括本地网络连接和远程连接，使得认知系统100可在任何大小的环境中操作，包括本地和全球环境，例如互联网。
在一个实施例中，内容创建者在语料库或数据106语料库的文档中创建内容以用作认知系统100的数据语料库的一部分。文档包括用于认知系统100的任何文件、文本、文章或数据源。认知系统用户经由到网络102的网络连接或互联网连接来访问认知系统100，并将基于语料库或数据106的语料库中的内容回答/处理的问题/请求输入到认知系统100。在一个实施例中，使用自然语言来形成问题/请求。认知系统100通过管线108解析和解释问题/请求，并向认知系统用户(例如，认知系统用户110)提供响应，其包含对提出的问题的一个或多个答案、对请求的响应、处理请求的结果等。在一些实施例中，认知系统100在候选答案/响应的排序列表中向用户提供响应，而在其他说明性实施例中，认知系统100提供单个最终答案/响应或最终答案/响应与其他候选答案/响应的排序列表的组合。
认知系统100实现管线108，管线108包括用于基于从语料库或数据106的语料库获得的信息来处理输入问题/请求的多个阶段，其中这些阶段中的一个或多个阶段可以实现一个或多个计算机模型以辅助执行对输入问题/请求和/或从语料库或数据106的语料库获得的数据的相应处理。管线108基于输入问题/请求和语料库或数据106的语料库的处理来生成输入问题或请求的答案/响应。
如先前所述，在一些说明性实施例中，认知系统100可为可从纽约州阿蒙克的国际商业机器公司获得的IBM WatsonTM认知系统。在此说明性实施例中，IBM WatsonTM认知系统(例如，认知系统100)的管线(例如，管线108)，接收输入的问题或请求，然后解析该输入的问题或请求以提取问题/请求的主要特征，其继而用于制定被应用于语料库或数据106的语料库的查询。基于对语料库或数据106的语料库的查询的应用，通过在数据语料库或数据语料库106上查找语料库或数据语料库106(此后被简称为语料库106)的具有某些可能包含对输入问题/响应(此后被假设为输入问题)的有价值响应的部分来生成一组假设或对输入问题/请求的候选答案/响应。IBM WatsonTM认知系统的管线108然后使用各种推理算法对输入问题的语言和在查询应用期间发现的语料库106的每个部分中使用的语言执行深度分析。
然后，针对统计模型对从不同推理算法获得的分数进行加权，该统计模型总结了IBM WatsonTM认知系统100的管线108(在该示例中)关于由问题推断潜在候选答案的证据所具有的置信度水平。对于每个候选答案重复该过程以生成候选答案的排序列表，所述排序列表然后可以呈现给提交输入问题的用户(例如客户端计算设备110的用户)或者从中选择最终答案并呈现给用户。关于IBM WatsonTM认知系统100的管线108的更多信息可例如从IBM公司网站、IBM Redbooks等获得。例如，关于IBM WatsonTM认知系统的管线的信息可以在罗布高(Rob High)，IBM Redbooks，2012的原(Yuan)等人，“沃森和医疗保健(Watson andHealthcare)”，IBM研发工作(IBM developgerWorks)，2011和“认知系统的误差：内部观察IBM Watson和它如何工作(The Era of Cognitive Systems：An Inside Look at IBMWatson and How it Works)”中找到。
如上所述，虽然来自客户端设备的对认知系统100的输入可以以自然语言问题的形式提出，但是说明性实施例不限于此。相反，输入问题实际上可被格式化或结构化为可使用结构化和/或非结构化输入分析来解析和分析的任何合适类型的请求，结构化和/或非结构化输入分析包括但不限于如IBM WatsonTM认知系统的自然语言解析和分析机制，以确定进行认知分析的依据，并提供认知分析的结果。例如，在基于医疗的认知系统的情况下，该分析可涉及处理患者医疗记录，来自一个或多个语料库的医疗指导文档等，以提供面向医疗的认知系统结果，例如，患者医疗状况的诊断、患者的治疗建议，医学成像中的异常的强调等。在其他环境中，例如车辆导航和/或防碰撞系统，可以分析从摄像机等捕获的图像以对对象进行分类并确定适当的警告、校正动作，例如制动/转向控制等。在金融评估的环境中，可以做出风险确定，可以生成对金融产品/服务的推荐等。可以执行的可能认知操作是大量的，并且在本文阐述所有可能性是不切实际的。可由计算机实现的认知计算系统执行的任何认知操作旨在处于本发明说明性实施例的精神和范围内。
如图1中所示，本发明的说明性实施例提供改进的计算机工具150，其具体针对改进计算机模型的训练，所述计算机模型可通过在数据处理系统(例如图1中的认知系统100)中执行来开发以供运行时使用。同样，这仅是示例，并且计算机模型、模拟、算法等(其经过训练并且其训练通过一个或多个说明性实施例的操作得到改进)不限于与认知计算系统一起使用，并且可以在任何使用计算机模型、模拟、算法的计算系统布置中实现。此外，说明性实施例具体地涉及用于改进这样的计算机模型、模拟、算法等的训练的改进的计算机工具，并且因此，这些计算机模型、模拟、算法等具有其中使用一个或多个训练数据集、超参数、训练工具等来训练它们的性质，通常以迭代的方式。应当理解，根据说明性实施例的机制，说明性实施例的改进的计算机工具可以包括一个或多个计算设备、存储设备、存储器、通信接口等，其可被进一步扩充以包括以专用硬件、在硬件上执行的软件、或专用硬件和在硬件上执行的软件的任何组合实现的逻辑结构和过程，用于实现计算机模型训练计算系统150。
如图1所示，计算机模型训练计算系统150包括训练数据集趋势分析引擎152、训练工具趋势分析引擎154、计算机模型(或简称为“模型”)超参数趋势分析引擎156，模型结果相关引擎158、模型实例跟踪接口引擎160、计算机模型训练实例跟踪数据库162，跨开发者趋势分析引擎164、训练推荐引擎166、自动化推荐实现引擎168，以及训练数据集源特性跟踪引擎170。计算机模型训练计算系统150的这些元件中的每一个可以被实现为硬件、在硬件上执行的软件、或硬件/软件实现的组合。组件152-170彼此结合操作以实现通过识别计算机模型的训练中的趋势、生成用于改进计算机模型的训练的推荐、以及在一些说明性实施例中实际上自动执行用于改进计算机模型的训练的推荐操作来改进计算机模型的训练的目的。
模型实例跟踪接口引擎160提供从开发者工作站、其他服务器计算设备等获得信息所必需的计算机逻辑和计算机逻辑结构，这些开发者工作站、其他服务器计算设备等在通过迭代训练过程来实现和开发计算机模型时涉及。例如，一个或多个客户端计算设备110、112可以对在一个或多个服务器104C、104D上执行的计算机模型的副本进行操作。客户端计算设备110、112和/或服务器104C、104D可以提供计算机接口，训练工具等，用户(例如，计算机模型开发者)通过该训练工具等，可以指定训练特性，例如，利用什么训练数据集、超参数的设置，等等，以便当执行计算机模型的副本的训练的迭代时使用。在开发在一个或多个服务器104C，104D上执行的计算机模型的副本时，开发者可以做出变化和更新计算机模型的副本的训练特性，例如，通过在用于训练计算机模型的对应副本的训练数据集中做出添加/删除/修改，使得变化影响计算机模型的性能和准确性，通过变化所使用的训练工具或算法，通过改变用于在训练期间配置计算机模型的副本的超参数的设置，等等。
模型实例跟踪接口引擎160可结合在客户端计算设备110、112和/或服务器计算设备104C、104D中呈现和执行的代理172、174操作，该代理执行计算机模型的拷贝，其中这些代理172、174可以监视特定接口，由开发者和/或开发者环境使用的训练工具、训练管线等以标识训练特性和作为结果生成的对应计算机模型结果的变化，该结果收集关于用于训练计算机模型的副本的训练特征的变化，以及作为训练特征的变化的结果生成的对应的训练结果的信息。代理172、174可以经由模型实例跟踪接口引擎160向计算机模型训练计算系统150报告所收集的训练信息，例如训练特性和对应的计算机模型结果的变化。
应当理解，基于代理的实施例仅是一个可能的实施例，并且说明性实施例的机制不仅限于在客户端计算设备110、112和/或服务器计算设备104C、104D上部署代理的那些机制。在一些说明性实施例中，计算机模型的副本可在服务器104A-104D中实现，服务器104A-104D中实现认知计算系统100和/或计算机模型训练计算系统150。例如，在一些实施例中，可提供多个开发者环境，诸如虚拟地经由虚拟机等，其中可在这些不同开发者环境中执行和训练计算机模型的副本。在这样的实施例中，不需要代理并且开发者环境的直接监视是可能的。在不脱离本发明的精神和范围的情况下，也可以利用可以包括用于将训练信息从开发者环境传送到计算机模型训练计算系统150的任何合适的机制的其他实现。
在直接从开发者环境、从所部署的代理172、174或通过特定于特定实现的其他通信机制接收训练信息时，训练信息被标记或以其他方式与计算机模型的特定副本、开发者等相关联。此外，训练信息可以包括版本信息或标识训练计算机模型的副本的实例的其他指示符。即，例如，每次开发者发起训练计算机模型的副本的新实例时，新的实例标识符或版本标识符被生成并且与训练实例相关联。由此，训练信息可以与计算机模型的副本相关联并且与用于训练计算机模型的副本的训练实例相关联。
训练信息跟踪在训练实例期间所使用的训练特征以及所生成的计算机模型结果。在一些说明性实施例中，这些训练特性可被报告为在训练实例期间所使用的特定训练特性(例如，所使用的训练数据集、所使用的训练工具、超参数设置等)和由计算机模型输出的计算机模型结果。在这些说明性实施例中，如下文所讨论的，报告所有相关的训练特征，并且在下游分析中确定来自其他训练实例的这些训练特征的变化。在其他说明性实施例中，仅报告训练特性的变化，这些变化被认为是来自先前训练实例的变化，如可以从训练实例指示符或版本指示符的比较中确定的。
经由模型实例跟踪引擎160接收的报告的训练信息被用于生成计算机模型训练实例跟踪数据库162中的对应条目。计算机模型训练实例跟踪数据库162中的条目可以任何合适的方式索引，诸如通过计算机模型的副本的标识符、通过训练实例指示符、通过训练特性等。以此方式，随着计算机模型的每个副本和每个训练实例的新条目被生成并存储用于应用不同趋势分析来标识该跟踪的信息中的趋势，训练特性的变化可随着时间在计算机模型训练实例跟踪数据库162中被跟踪。例如，可以从一个训练实例到另一个训练实例标识不同的训练数据集。不同的训练数据集可以包括在训练数据集中从先前的训练数据集添加、删除或修改什么实体的规范，正在使用的全新训练数据集的标识符(包括关于新训练数据集的任何附加信息，诸如训练数据集的源、新训练数据集中存在的实体的类型，等等)。在一些情况下，计算机模型训练实例跟踪数据库162的条目中的训练特征信息可以包括指向训练数据集的指针和/或指定训练数据集的特征的其元数据，诸如训练数据集中包括的实体的类型和其他特性，其可以与其他训练数据集比较以确定训练数据集之间的差异。
类似地，通过在计算机模型训练实例跟踪数据库162的条目中存储训练特性来跟踪关于所利用的特定训练工具和/或超参数设置的训练特性的变化。例如，特定训练工具的标识(例如，用于修改计算机模型的训练参数的算法等)可与训练实例指示符相关联地存储。作为另一示例，超参数的特定设置可被存储在对应于计算机模型训练实例跟踪数据库162中的特定训练实例的条目中。可替代地，如前所述，计算机模型训练实例跟踪数据库162中的条目可改为存储所做出的实际变化，不一定所使用的特定值，例如，不是存储超参数X等于3，相反，条目可以指定超参数X增加1，或者在另一示例中，而不是在训练数据集中存储被添加、删除、修改的特定类型的实体的身份，数据库162中的条目可以指定类型A的实体增加300，类型B的实体减少50，等等。
可以意识到，可以随着时间跟踪计算机模型的副本的训练的多个实例，计算机实现的模型的训练的每个实例涉及使用不同的训练数据集、不同的训练工具、和/或不同的超参数设置来训练计算机实现的模型，以生成与计算机实现的模型的训练的其他实例不同的训练的计算机实现的模型的实例。所述计算机方法还包括通过对训练数据集的训练数据执行经训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果。所生成的计算机实现的模型结果，和/或所生成的计算机实现的模型结果中与来自先前训练实例的差异，也可以与计算机模型训练实例跟踪数据库162中的条目相关联地存储。
该计算机实现的模型结果信息连同接收到的其他训练实例信息一起经由模型实例跟踪接口引擎160来接收。计算机实现的模型结果信息和其他训练特征信息(或者在一些实施例中，这些类型的信息相对于先前训练实例的差异)与被训练的计算机实现的模型的实例的对应标识符相关联地被记录。
已经经由模型实例跟踪接口引擎160获得了训练特征信息和结果信息，以及在计算机模型训练实例跟踪数据库162中存储了对应的条目，不同分析被应用于计算机模型训练实例跟踪数据库162中的记录的条目，以便分析记录的差异和对应的计算机实现的模型结果。基于这些分析，识别训练特性的变化及其计算机模型结果的对应变化的趋势，并且生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的对应输出。
训练数据集趋势分析引擎152应用具体配置和针对标识训练数据集的变化的趋势并将这些趋势与计算机实现的模型结果的变化(例如，性能和/或准确度度量的变化)的趋势相关联的分析。由此，例如，训练数据集趋势分析引擎152标识关于训练数据集特性的训练实例之间的变化的模式，例如，添加、删除或修改什么类型的实体、利用什么训练数据集源，以标识随时间推移导致计算机模型性能和/或准确度度量的改进/减少的变化。例如，通过训练数据集趋势分析分析，引擎152可确定对于计算机实现的模型的特定副本，增加训练数据集中存在的类型A的医学图像的数目导致关于预测患者医学成像数据中特定异常的存在的计算机模型的准确性的X数量的改进。
类似地，训练工具趋势分析引擎154应用具体地配置和针对标识训练工具的变化趋势并将这些变化趋势与计算机实现的模型结果的变化趋势相关联的分析。因此，例如，训练工具趋势分析引擎154识别关于用于执行计算机模型的训练的特定训练工具的训练实例之间的变化的模式，即，利用计算机工具或算法的什么变化(例如，从工具A变化到工具B)来执行训练导致计算机模型性能和/或准确度度量的改进/减小。例如，通过训练工具趋势分析分析，引擎154可以确定对于计算机实现的模型的特定副本，使用与训练工具或算法B相反的训练工具或算法A导致计算机模型的性能/准确性的X的数量的改进。
模型超参数趋势分析引擎156应用具体地配置和针对标识用于训练计算机实现的模型的副本的模型超参数设置中的变化的趋势，并且将这些趋势与计算机实现的模型结果相关联的分析。因此，例如，模型超参数趋势分析引擎156识别关于超参数设置的训练实例之间的变化的模式，以识别随着时间的过去导致计算机模型性能和/或准确度度量的改进/降低的变化。例如，通过模型超参数趋势分析的分析，引擎156可以确定对于计算机实现的模型的特定副本，增加/减少/修改计算机模型的副本的超参数的设置导致计算机模型的性能/准确度的X数量的改进。
模型结果相关引擎158将由不同引擎152-156标识的训练特性的趋势与计算机实现的模型结果的趋势相关。由此，训练特性的变化被映射到计算机实现的模型结果的变化，其随后标识将导致计算机实现的模型结果的改善/减少的训练特性的潜在变化。可以在计算机模型的副本的训练的多个实例上关于计算机模型的各个副本做出这种关联。因此，使用这些引擎152-158和计算机模型训练实例跟踪数据库162中的对应条目，可标识关于计算机模型的第一副本这些趋势，以及可标识关于计算机模型的第二副本标识不同的趋势。
由不同引擎152-158执行的分析在数据库162中的跟踪数据的顶部执行以识别训练特性中的趋势以及计算机实现的模型的副本的对应性能和准确性。可以针对与计算机实现的模型的重复训练会话和针对不同的训练数据集、不同的训练工具和不同的超参数设置重复该过程。
因此，例如，在一个说明性实施例中，至少通过使用训练数据的第一版本和一个或多个超参数的第一集合对计算机实现的模型执行第一训练操作以生成计算机实现的模型的第一训练实例，来执行计算机实现的模型的训练的多个实例。通过使用训练数据的第二版本和一个或多个超参数的第二集合对计算机实现的模型执行第二训练操作以生成计算机实现的模型的第二训练实例，来进一步执行计算机实现的模型的训练的多个实例。至少通过生成第一跟踪数据结构(例如，数据库162中的条目)来记录计算机实现的模型的训练实例中的变化，第一跟踪数据结构将第一训练操作的第一标识符与训练数据的第一版本和一个或多个超参数的第一集合相关联，以及由所述数据处理系统生成第二跟踪数据结构，所述第二跟踪数据结构将所述第二训练操作的第二标识符与所述第二版本的训练数据以及所述第二组的一个或多个超参数相关联。至少通过从执行计算机实现的模型的第一实例生成第一模型结果，以及通过执行计算机实现的模型的第二实例生成第二模型结果，来生成计算机实现的模型结果。对所记录的差异和对应的计算机实现的模型结果的分析包括，通过引擎152-158分析第一跟踪数据结构、第二跟踪数据结构，第一模型结果，第二模型结果以标识所述第一训练操作与所述第二训练操作之间的差异，该差异与所述第一模型结果和所述第二模型结果之间的差异相关。
在这个说明性实施例的一些情况下，训练数据的第二版本是训练数据的第一版本的修改版本。例如，开发者可以在新的训练数据上运行计算机实现的模型，所述新的训练数据可以是训练数据的先前版本训练数据的新版本，其中训练数据中的实体每天被添加、删除或以其他方式修改，并且可获得计算机实现的模型的准确度的更新，这可导致所标识的准确度趋势，其可与训练特性的变化相关。类似地，这样的版本化可以关于特定的超参数设置、所使用的训练工具等来执行。
由不同引擎152-158应用的分析可以应用于计算机模型的各个副本的跟踪的训练特征信息和性能/准确度信息。然后，跨开发者趋势分析引擎164可以跨多个开发者和计算机模型的多个副本应用其他分析或对由引擎152-158所采用的那些分析类似的分析。例如，相同计算机模型的多个副本可以分发给不同的开发者，开发者开发计算机模型的训练的副本以用于利用计算机模型的特定客户的特定期望的实现和目的。训练特性的趋势及其计算机模型的副本的性能/准确性的对应趋势可跨同一计算机模型的这些各种多个副本被关联和分析，由此标识计算机模型如何对不同开发者环境和开发者的不同训练特性变化作出反应。由此，使得跨开发者的宏趋势分析成为可能。
基于所标识的趋势，针对计算机实现的模型的单个副本，或者跨越可能跨越多个开发者的计算机实现的模型的多个副本，说明性实施例的机制可以生成指示如何改进训练特性的训练推荐，从而改进计算机模型的结果训练副本的性能/准确性。基于对先前由不同引擎152-158识别的趋势的分析来生成训练推荐，以及潜在地164，通过分析这些趋势以识别训练特性中的什么变化提高了计算机模型的副本的性能/准确性，例如，包括诸如X的更多实体将提高计算机模型的准确性，移除某些实体将提高计算机模型的准确性，将超参数值设置到特定范围或值将提高准确性，等等。在一些情况下，训练推荐可针对特定架构，诸如指定具有架构A的计算机模型比具有架构B的计算机模型给出更好的结果。
训练推荐可以经由一个或多个图形用户界面(GUI)、仪表板等来呈现。GUI或仪表板可以包括通过说明性实施例的分析识别的趋势的图形表示、这种趋势信息的表格表示或适合于特定实现方式的趋势信息的任何其他表示。在一个说明性实施例中，GUI或仪表板包括趋势信息的图表示，其中训练实例被表示为沿着图表的点，其可被选择以获得关于在训练实例期间使用的特定训练特性的详细信息。例如，沿着一个轴，可以绘制计算机模型的性能/准确度，并且沿着另一个轴，可以绘制时间，使得表示计算机模型随时间的性能/准确度。所绘制的图的点表示根据生成的计算机模型结果绘制的不同时间点处的不同训练实例，即，性能/准确度度量。应了解，虽然简单实例可为二维图，但更复杂的实施例可利用其中绘制许多不同性能/准确性度量且表示不同训练特性的多维图。
训练推荐引擎166可生成和输出这些GUI、仪表板等，并且将它们呈现给计算机模型的开发者以辅助他们理解可以对他们的计算机模型的训练过程的训练特性做出什么变化以改进他们的训练，从而改进所得到的经训练的计算机模型。在一些说明性实施例中，除了所跟踪的训练信息的图形表示之外或替代所跟踪的训练信息的图形表示，训练推荐引擎166可生成用于修改计算机模型的训练实例的训练特性的自然语言或其他人类可读推荐。
在一些情况下，由训练推荐引擎166生成的推荐还可包括关于不作出的变化的推荐。例如，通过应用于接收到的训练信息的趋势分析，训练推荐引擎166可确定当对训练特性做出特定类型的变化时存在计算机模型的降低的或较低的性能/准确度的模式。由于这些趋势，训练推荐引擎166可推荐不做出导致计算机模型的较低准确性或性能的此类变化。
在一些说明性实施例中，由训练推荐引擎166生成的推荐由自动推荐实现引擎168用来自动实现训练推荐。例如，训练推荐可以包括通过增加/减少/修改超参数的设置来修改超参数设置的推荐。自动推荐实现引擎168可根据训练推荐来自动修改超参数设置，以便执行另一训练实例来改进由被训练的计算机模型生成的计算机模型结果。作为另一示例，训练推荐可以指定趋向于改进计算机模型结果的特定训练工具，并且所使用的训练工具可以自动地变化为改进计算机模型性能/准确度的所标识的训练工具。
在其他说明性实施例中，训练推荐可以是修改训练数据集本身和训练数据集的特定组成，例如，什么类型的实体被包括在训练数据集中，什么数量的不同类型的实体存在于训练数据集中，提供改进的计算机模型结果的训练数据的特定源等。基于关于要包括在训练数据集中的实体的类型的推荐，实体类型等的数量，这些训练数据集特性被用作搜索标准，用于执行对一个或多个训练数据集储存库中的其他训练数据集的自动搜索，其可包括被确定为改进计算机模型的准确性和/或性能的实体，即，这与搜索条件匹配，从而与训练推荐匹配。例如，当新的训练数据集变得可用时，它们的特性可以向训练数据集源特性跟踪引擎170注册。可以由该训练数据集源特性跟踪引擎170执行自动搜索并且由训练数据集源特性跟踪引擎170维护的注册表。
在一些说明性实施例中，通过自动搜索的方式自动识别的自动识别的训练数据集可由自动推荐实施引擎168自动检索，并用于训练计算机模型。可以重复该过程，直到达到计算机模型的期望精度或性能，或直到基于可用训练数据集、工具等确定不可能进行进一步改进，例如计算机模型的误差或损失等于或低于预定阈值。
如上所述，可以跟踪计算机模型的每个训练实例以及对训练特性的特定变化和生成的特定计算机模型结果。由此，经由此跟踪，训练数据的版本跟踪变得可能，使得如果需要的话，训练数据的先前版本可被重新创建。即，在一些说明性实施例中，在不同训练实例上维持被格式化以供模型使用的训练数据到原始接收的训练数据的映射。以此方式，给定模型格式化的训练数据，原始接收到的训练数据可被重建。因此，说明性实施例的机制可以使从客户获得的训练数据的版本与为了计算机模型的消费而生成的数据的版本相关，并且可以经由版本化的跟踪返回到客户数据，使得可以再现更早的版本。
应当理解，虽然上述示例实施例是关于应用于单个计算机模型的趋势分析，尽管可能关于由不同开发者训练的相同计算机模型的不同副本，但是说明性实施例不限于此。相反，取决于所期望的实现，趋势分析和训练推荐生成可跨不同的计算机模型来执行。例如，可以确定一个计算机模型中的训练特性的变化在其他计算机模型的训练中可以具有相似的效果，并且因此，可以通过说明性实施例的机制来生成跨计算机模型趋势分析和训练推荐。在这种情况下，可针对数据库162中与不同计算机模型相关联的不同条目来执行趋势分析。
如上所述，说明性实施例的机制以计算机技术领域为根并且使用存在于这种计算或数据处理系统中的逻辑来实现。这些计算或数据处理系统通过硬件、软件或硬件和软件的组合被具体配置以实现上述各种操作。照此，图2被提供作为其中可以实现本发明的实施例的一种类型的数据处理系统的实例。许多其他类型的数据处理系统同样可以被配置为具体实现说明性实施例的机制。
图2是其中实现说明性实施例的示例数据处理系统的框图。数据处理系统200是诸如图1中的服务器104或客户端110的计算机的示例，其中定位了实现本发明的说明性实施例的处理的计算机可用代码或指令。在一个说明性实施例中，图2表示服务器计算设备，例如服务器104，其实施被增强以包括此后描述的说明性实施例的附加机制的认知系统100和QA系统管线108。
在所描绘的示例中，数据处理系统200采用包括北桥和存储器控制器集线器(NB/MCH)202和南桥和输入/输出(I/O)控制器集线器(SB/ICH)204的集线器架构。处理单元206、主存储器208和图形处理器210连接到NB/MCH202。图形处理器210通过加速图形端口(AGP)连接到NB/MCH202。
在所描绘的示例中，局域网(LAN)适配器212连接到SB/ICH204。音频适配器216、键盘和鼠标适配器220、调制解调器222、只读存储器(ROM)224、硬盘驱动器(HDD)226、CD-ROM驱动器230、通用串行总线(USB)端口和其他通信端口232、以及PCI/PCIe设备234通过总线238和总线240连接到SB/ICH204。PCI/PCIe设备可包括例如以太网适配器、附加卡和用于笔记本计算机的PC卡。PCI使用卡总线控制器，而PCIe不使用。ROM 224可以是例如闪存基本输入/输出系统(BIOS)。
HDD226和CD-ROM驱动器230通过总线240连接到SB/ICH204。HDD226和CD-ROM驱动器230可以使用例如集成驱动电子设备(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)设备236连接到SB/ICH204。
在处理单元206上运行操作系统。操作系统协调和提供对图2中的数据处理系统200内的不同组件的控制。作为客户端，操作系统是可商购的操作系统，诸如
Figure BDA0003245428960000241
面向对象的编程系统(例如JavaTM编程系统)可结合操作系统运行，且提供从在数据处理系统200上执行的JavaTM程序或应用程序对操作系统的调用。
作为服务器，数据处理系统200可以是例如运行高级交互执行
Figure BDA0003245428960000242
操作系统或
Figure BDA0003245428960000243
操作系统的
Figure BDA0003245428960000244
eServerTMSystem p计算机系统。数据处理系统200可以是在处理单元206中包括多个处理器的对称多处理器(SMP)系统。或者，可以采用单个处理器系统。IBM、eServer和AIX是国际商业机器公司在美国和/或其他国家的商标。Microsoft、Windows、WindowsNT和Windows徽标是Microsoft公司在美国、其他国家或两者中的商标。Java和所有基于Java的商标和标志是Oracle和/或其会员的商标或注册商标。注册商标
Figure BDA0003245428960000245
是根据来自Linux基金会(Linus Torvalds的独占被许可方，在全世界基础上标记的拥有者)的子许可来使用的。
用于操作系统、面向对象的编程系统和应用或程序的指令位于诸如HDD226的存储设备上，并被加载到主存储器208中以供处理单元206执行。用于本发明的说明性实施例的处理由处理单元206使用计算机可用程序代码来执行，该计算机可用程序代码位于例如主存储器208、ROM224的存储器中或者例如位于一个或多个外围设备226和230中。
总线系统，诸如图2所示的总线238或总线240，由一个或多个总线组成。当然，总线系统可以使用任何类型的通信结构或架构来实现，该通信结构或架构提供附连到该结构或架构的不同组件或设备之间的数据传送。通信单元(诸如图2的调制解调器222或网络适配器212)包括用于发送和接收数据的一个或多个设备。存储器可以是例如主存储器208、ROM224或例如在图2中的NB/MCH202中找到的高速缓存。
所属领域的技术人员将了解，图1和2中所描绘的硬件可取决于实施例而变化。除了图1和2中所描绘的硬件之外或代替图1和2中所描绘的硬件，可以使用其他内部硬件或外围设备，诸如闪存、等效非易失性存储器或光盘驱动器等。此外，在不背离本发明的精神和范围的情况下，说明性实施例的处理可以应用于除了先前提到的SMP系统之外的多处理器数据处理系统。
此外，数据处理系统200可采取许多不同数据处理系统中的任一者的形式，包含客户端计算装置、服务器计算装置、平板计算机、膝上型计算机、电话或其他通信装置、个人数字助理(PDA)等。在一些说明性实例中，数据处理系统200可为便携式计算装置，其配置有快闪存储器以提供用于存储例如操作系统文件和/或用户产生的数据的非易失性存储器。基本上，数据处理系统200可以是没有架构限制的任何已知或以后开发的数据处理系统。
图3是根据一个说明性实施例的概述计算机模型训练计算系统的示例操作的流程图。如图3所示，操作开始于从开发者环境(例如，客户端/服务器计算系统实现的开发者环境)接收用于计算机模型的副本的一个或多个训练实例的训练信息(步骤310)。如前所述，在一些说明性实施例中，可以通过使用开发者环境内或结合开发者环境存在和执行的代理、直接从开发者环境，或通过用于从开发者环境(其中开发者正训练计算机模型的副本)获得这样的数据的任何其他合适的机制，来促进训练信息的这种获得。
基于所接收的训练信息，在计算机模型训练实例跟踪数据库中生成用于计算机模型的副本的一个或多个对应条目(步骤320)。如前所述，条目可基于一个或多个不同的标识符或指示符(诸如训练实例指示符、计算机模型的副本的指示符等)来索引。
将一个或多个趋势分析应用于计算机模型的副本的计算机模型训练实例跟踪数据库中的条目，以识别训练特性中的趋势(步骤330)。此外将一个或多个趋势分析应用于计算机模型训练实例跟踪数据库中的跨计算机模型的副本和/或不同模型的不同副本条目，以识别跨计算机模型的趋势训练特性(步骤340)。所识别的训练特性中的趋势与计算机模型结果中的趋势相关(步骤350)。
基于与计算机模型结果中的趋势相关的训练特征中的趋势，生成用于改进计算机模型的副本的训练的一个或多个训练推荐并且将其输出到负责开发计算机模型的副本的开发者或其他授权用户(步骤360)。可选地，(一个或多个)训练推荐可以通过执行对应的计算机操作以根据(一个或多个)训练推荐修改训练特征来自动实现(步骤370)。这可以包括例如修改超参数的设置、修改训练数据集的内容、从特定训练数据集源获得新的训练数据集、修改所利用的训练工具等。
不管是自动实现，还是通过基于向开发者输出训练推荐的手动修改实现，计算机模型的副本使用一个或多个训练推荐来训练(步骤380)。然后操作终止。
如前所述，说明性实施例的机制基于对训练特征和对应的计算机模型结果执行的趋势分析而生成的训练推荐。这些训练推荐的输出可以以各种不同的方式呈现，包括图形用户界面和仪表板，其中趋势被表示为将计算机模型性能/准确度与计算机模型的副本的各种训练实例的训练特征相关联，或者随着时间的过去，跨越计算机模型或不同计算机模型的多个副本的图形。在一些说明性实施例中，仪表板可以用表格格式来表示，其中表格输出的一个或多个列表示计算机模型性能/准确度的趋势，一个或多个列表示训练特征信息，并且一个或多个其他列表示特定于计算机模型的副本的训练实例的其他类型的信息。
图4是根据一个说明性实施例的训练信息的仪表板表示的示例图。如图4所示，仪表板表示是表格的形式，其中表格的行表示不同的计算机模型，并且列表示训练实例的各种训练实例信息和趋势信息。“细节”列包括用户可选择元素，当由用户选择时，所述用户可选择元素生成关于用于训练相应模型的训练数据的详细信息。“趋势”列包括用户可选择元素，当由用户选择时，所述用户可选择元素生成指示训练对应模型的趋势的输出。
图5是根据一个说明性实施例的计算机模型的副本的训练的趋势的图形表示的示例图。如图5所示，该图形表示包括表示计算机模型输出的准确度的垂直轴和表示时间序列的水平轴。沿着线的点表示计算机模型的副本的训练实例，这些点之间的线表示计算机模型性能的趋势。图形表示中的点是用户可选择的，使得当用户选择对应点时，训练数据版本、训练工具、超参数和其他训练特征的组合可被呈现以供开发者查看。从训练特征的该表示，开发者能够看到训练特征的什么组合可导致计算机模型性能/准确性的增加/减少，哪些训练特征导致异常的增加/减少，等等。当在图形表示中以期望的性能/准确度更平滑地呈现趋势时，诸如在所描绘的示例中的区域510中，开发者可以标识对应的训练特征并利用那些训练特征通过训练特征的适当设置来获得计算机模型的改进的性能/准确度。
图6是训练模型特征和训练数据集特征的表格表示的示例图，其中，使用上述图5表示多个模型上的准确度趋势。即，在图5中，每个点表示计算机模型实例，其中边缘表示精确度的趋势，例如增加/减少。基于图5中的曲线是增大还是减小(图5中的每个虚线边缘是模型)，模型开发者可还原到为模型实例指定的提供更大准确度的训练特性。沿着图5中所示的图表中的曲线的每个点可以具有其自己的图6中所示的表格信息的对应版本，并且其可以用于指定计算机模型的特定实例的训练特性。
因此，利用说明性实施例的机制，提供用于训练计算机实现的模型的改进的计算机工具，其中，该改进的计算机工具在数据处理系统中实现，该数据处理系统被具体地配置为执行计算机特定操作的有序组合以训练计算机实现的模型并跟踪对训练特征作出的变化以及将对训练特征作出的那些变化与性能/精度度量的变化相关。改进的计算机工具进一步提供计算机特定操作，其识别所跟踪的信息中的趋势并且执行分析以生成用于改进计算机实现的模型的训练的推荐和/或自动地实现用于改进计算机实现的模型的训练的所生成的推荐。
如上所述，应当理解，说明性实施例可以采取完全硬件实施例、完全软件实施例或包含硬件和软件元件两者的实施例的形式。在一个示例实施例中，说明性实施例的机制以软件或程序代码实现，其包括但不限于固件、驻留软件、微代码等。
适于存储和/或执行程序代码的数据处理系统将包括至少一个处理器，其过通信总线(诸如例如系统总线)直接地或通间接地耦合到存储器元件。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置和提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储装置检索代码的次数的高速缓冲存储器。存储器可以是各种类型的，包括但不限于ROM、PROM、EPROM、EEPROM、DRAM、SRAM、闪存、固态存储器等。
输入/输出或I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接地或通过居间的有线或无线I/O接口和/或控制器等耦合到系统。I/O设备可采用除了常规键盘、显示器、定点设备等之外的许多不同形式，诸如例如通过有线或无线连接耦合的通信设备，包括但不限于智能电话、平板计算机、触摸屏设备、语音识别设备等。任何已知的或以后开发的I/O设备都旨在处于说明性实施例的范围内。
网络适配器也可以耦合到系统，以使得数据处理系统能够通过居间的私有或公共网络耦合到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅是用于有线通信的当前可用类型的网络适配器中的一些。还可使用基于无线通信的网络适配器，包括但不限于802.11a/b/g/n无线通信适配器、蓝牙无线适配器等。任何已知的或以后开发的网络适配器都旨在处于本发明的精神和范围之内。
本发明的描述是出于说明和描述的目的而呈现的，并且不旨在是详尽的或限制于以所披露的形式的本发明。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对本领域的普通技术人员而言将是显而易见的。选择和描述实施例以便最好地解释本发明的原理、实际应用，并且使得本领域普通技术人员能够针对具有适合于所考虑的特定用途的不同修改的不同实施例理解本发明。选择本文使用的术语以最佳地解释实施例的原理、实际应用或在市场上找到的技术上的技术改进，或使得本领域普通技术人员能够理解在此披露的实施例。

Claims (30)

1.一种在数据处理系统中用于训练计算机实现的模型的方法，包括：
由所述数据处理系统执行所述计算机实现的模型的训练的多个实例，其中所述计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练所述计算机实现的模型以生成训练的计算机实现的模型的不同实例；
通过执行所述训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果；
由所述数据处理系统将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录；
由数据处理系统分析所述记录的差异和所述对应的计算机实现的模型结果；以及
由所述数据处理系统生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的输出。
2.如权利要求1所述的方法，其中，执行所述计算机实现的模型的训练的多个实例包括：
由所述数据处理系统使用训练数据的第一版本和一个或多个超参数的第一集合来对所述计算机实现的模型执行第一训练操作以生成所述计算机实现的模型的第一训练实例；以及
由所述数据处理系统使用所述训练数据的第二版本和一个或多个超参数的第二集合对所述计算机实现的模型执行第二训练操作以生成所述计算机实现的模型的第二训练实例。
3.如权利要求2的方法，其中，记录所述计算机实现的模型的训练的所述实例中的变化包括：
由所述数据处理系统生成第一跟踪数据结构，所述第一跟踪数据结构将所述第一训练操作的第一标识符与所述训练数据的第一版本和所述一个或多个超参数的第一集合相关联；以及
由所述数据处理系统生成第二跟踪数据结构，所述第二跟踪数据结构将所述第二训练操作的第二标识符与所述训练数据的第二版本和所述一个或多个超参数的第二集合相关联。
4.如权利要求3所述的方法，其中生成计算机实现的模型结果包括：
从执行所述计算机实现的模型的所述第一实例来生成第一模型结果；以及
从执行所述计算机实现的模型的所述第二实例来生成第二模型结果，并且其中分析所述记录的差异和所述对应的计算机实现的模型结果包括，由所述数据处理系统对所述第一跟踪数据结构、第二跟踪数据结构、第一模型结果、以及第二模型结果执行分析，以标识所述第一训练操作与所述第二训练操作之间的差异，所述差异与所述第一模型结果和所述第二模型结果之间的差异相关。
5.如权利要求2所述的方法，其中，所述训练数据的第二版本是所述训练数据的第一版本的修改版本。
6.如权利要求1所述的方法，其中，生成所述输出进一步包括：
生成用于修改所述计算机实现的模型的训练的一个或多个推荐以通过基于所述记录的差异和对应的计算机实现的模型结果来标识什么变化增加了所述计算机实现的模型的准确度来改进训练数据。
7.如权利要求6所述的方法，进一步包括：
自动执行计算机操作以实现所述生成的一个或多个推荐，其中，所述计算机操作包括以下中的至少一个：获得新的训练数据，所述新的训练数据包括在所述一个或多个推荐中被指定为改进所述计算机实现的模型的训练的实体的实体；移除在所述一个或多个推荐中指定为使所述计算机实现的模型的训练降级的实体的实体；修改所述计算机实现的模型的至少一个超参数；或者修改用于执行所述计算机实现的模型的训练的计算机模型训练工具。
8.如权利要求1所述的方法，进一步包括：
跟踪用于训练所述计算机实现的模型的训练数据的实例，使得用于训练所述计算机实现的模型的训练数据可被还原到训练数据的先前版本。
9.如权利要求1所述的方法，其中所述分析包括对所述记录的差异和所述对应的计算机实现的模型结果执行趋势分析。
10.如权利要求1所述的方法，其中，所述计算机实现的模型的训练的所述多个实例包括由不同的计算机实现的模型开发者在一个或多个位置处训练该计算机实现的模型的不同副本，以生成所述训练的计算机实现的模型的实例的不同子集，并且其中所述方法跨来自所述不同的计算机实现的模型开发者的所述训练的实现的模型的实例的所有子集来执行。
11.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有存储在其中的计算机可读程序，其中，当在数据处理系统上执行时，所述计算机可读程序使所述数据处理系统：
执行计算机实现的模型的训练的多个实例，其中所述计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练所述计算机实现的模型以生成训练的计算机实现的模型的不同实例；
通过执行所述训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果；
将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录；
分析所述记录的差异和所述对应的计算机实现的模型结果；以及
生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的输出。
12.如权利要求11所述的计算机程序产品，其中所述计算机可读程序进一步使所述数据处理系统至少通过以下操作来执行所述计算机实现的模型的训练的多个实例：
使用训练数据的第一版本和一个或多个超参数的第一集合对所述计算机实现的模型执行第一训练操作以生成所述计算机实现的模型的第一训练实例；以及
使用所述训练数据的第二版本和一个或多个超参数的第二集合对所述计算机实现的模型执行第二训练操作以生成所述计算机实现的模型的第二训练实例。
13.如权利要求12所述的计算机程序产品，其中所述计算机可读程序进一步使所述数据处理系统至少通过以下方式来记录所述计算机实现的模型的训练的所述实例中的变化：
生成第一跟踪数据结构，所述第一跟踪数据结构将所述第一训练操作的第一标识符与所述训练数据的第一版本和所述一个或多个超参数的第一集合相关联；以及
生成第二跟踪数据结构，所述第二跟踪数据结构将所述第二训练操作的第二标识符与所述训练数据的第二版本以及所述一个或多个超参数的第二集合相关联。
14.如权利要求13所述的计算机程序产品，其中所述计算机可读程序进一步使该数据处理系统至少通过以下操作生成计算机实现的模型结果：
从执行所述计算机实现的模型的所述第一实例来生成第一模型结果；以及
从执行所述计算机实现的模型的所述第二实例来生成第二模型结果，并且其中分析所述记录的差异和所述对应的计算机实现的模型结果包括，由所述数据处理系统对所述第一跟踪数据结构、第二跟踪数据结构、第一模型结果、以及第二模型结果执行分析，以标识所述第一训练操作与所述第二训练操作之间的差异，所述差异与所述第一模型结果和所述第二模型结果之间的差异相关。
15.如权利要求12所述的计算机程序产品，其中所述训练数据的第二版本是所述训练数据的第一版本的修改版本。
16.如权利要求11所述的计算机程序产品，其中所述计算机可读程序进一步使所述数据处理系统至少通过以下操作生成所述输出：
生成用于修改所述计算机实现的模型的训练的一个或多个推荐以通过基于所述记录的差异和对应的计算机实现的模型结果来标识什么变化增加了所述计算机实现的模型的准确度来改进训练数据。
17.如权利要求16所述的计算机程序产品，其中所述计算机可读程序进一步致使该数据处理系统：
自动执行计算机操作以实现所述生成的一个或多个推荐，其中，所述计算机操作包括以下中的至少一个：获得新的训练数据，所述新的训练数据包括在所述一个或多个推荐中被指定为改进所述计算机实现的模型的训练的实体的实体；移除在所述一个或多个推荐中指定为使所述计算机实现的模型的训练降级的实体的实体；修改所述计算机实现的模型的至少一个超参数；或者修改用于执行所述计算机实现的模型的训练的计算机模型训练工具。
18.如权利要求11所述的计算机程序产品，其中所述计算机可读程序还使得所述数据处理系统跟踪用于训练所述计算机实现的模型的训练数据的实例，使得用于训练所述计算机实现的模型的训练数据可被还原到训练数据的先前版本。
19.如权利要求11所述的计算机程序产品，其中所述计算机可读程序进一步使该数据处理系统至少通过对所述记录的差异和所述对应的计算机实现的模型结果执行趋势分析来分析所述记录的差异和所述对应的计算机实现的模型结果。
20.一种装置，包括：
处理器；以及
耦合到所述处理器的存储器，其中所述存储器包括指令，所述指令在由所述处理器执行时致使所述处理器：
执行计算机实现的模型的训练的多个实例，其中所述计算机实现的模型的训练的每个实例包括使用不同的训练数据集来训练所述计算机实现的模型以生成训练的计算机实现的模型的不同实例；
通过执行所述训练的计算机实现的模型的对应实例来在训练的每个实例之后生成计算机实现的模型结果；
将所述计算机实现的模型的训练的所述实例中的差异与所述训练的计算机实现的模型的实例的对应标识符和对应的计算机实现的模型结果联合地记录；
分析所述记录的差异和所述对应的计算机实现的模型结果；以及
生成指示记录的差异与对应的计算机实现的模型结果之间的相关性的输出。
21.如权利要求20所述的装置，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述处理器至少通过以下操作来执行所述计算机实现的模型的训练的多个实例：
由所述数据处理系统使用训练数据的第一版本和一个或多个超参数的第一集合来对所述计算机实现的模型执行第一训练操作以生成所述计算机实现的模型的第一训练实例；以及
由所述数据处理系统使用所述训练数据的第二版本和一个或多个超参数的第二集合对所述计算机实现的模型执行第二训练操作以生成所述计算机实现的模型的第二训练实例。
22.如权利要求21所述的装置，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述处理器至少通过以下操作来记录所述计算机实现的模型的训练实例中的变化：
由所述数据处理系统生成第一跟踪数据结构，所述第一跟踪数据结构将所述第一训练操作的第一标识符与所述训练数据的第一版本和所述一个或多个超参数的第一集合相关联；以及
由所述数据处理系统生成第二跟踪数据结构，所述第二跟踪数据结构将所述第二训练操作的第二标识符与所述训练数据的第二版本和所述一个或多个超参数的第二集合相关联。
23.如权利要求22所述的设备，其中所述存储器包括指令，所述指令在由该处理器执行时使该处理器至少通过以下操作产生计算机实现的模型结果：
从执行所述计算机实现的模型的所述第一实例来生成第一模型结果；以及
从执行所述计算机实现的模型的所述第二实例来生成第二模型结果，并且其中分析所述记录的差异和所述对应的计算机实现的模型结果包括，由所述数据处理系统对所述第一跟踪数据结构、第二跟踪数据结构、第一模型结果、以及第二模型结果执行分析，以标识所述第一训练操作与所述第二训练操作之间的差异，所述差异与所述第一模型结果和所述第二模型结果之间的差异相关。
24.如权利要求21所述的装置，其中所述训练数据的第二版本是所述训练数据的第一版本的修改版本。
25.如权利要求20所述的装置，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述处理器至少通过以下操作生成所述输出：
生成用于修改所述计算机实现的模型的训练的一个或多个推荐以通过基于所述记录的差异和对应的计算机实现的模型结果来标识什么变化增加了所述计算机实现的模型的准确度来改进训练数据。
26.如权利要求25所述的装置，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述处理器：
自动执行计算机操作以实现所述生成的一个或多个推荐，其中，所述计算机操作包括以下中的至少一个：获得新的训练数据，所述新的训练数据包括在所述一个或多个推荐中被指定为改进所述计算机实现的模型的训练的实体的实体；移除在所述一个或多个推荐中指定为使所述计算机实现的模型的训练降级的实体的实体；修改所述计算机实现的模型的至少一个超参数；或者修改用于执行所述计算机实现的模型的训练的计算机模型训练工具。
27.如权利要求20所述的装置，其中，所述存储器包括指令，所述指令当由所述处理器执行时使所述处理器：
跟踪用于训练所述计算机实现的模型的训练数据的实例，使得用于训练所述计算机实现的模型的训练数据可被还原到训练数据的先前版本。
28.如权利要求20所述的装置，其中，所述存储器包括指令，所述指令当由所述处理器执行时，使得所述处理器至少通过对所述记录的差异和所述对应的计算机实现的模型结果执行趋势分析来分析所述记录的差异和所述对应的计算机实现的模型结果。
29.如权利要求20所述的装置，其中所述计算机实现的模型的不同副本由不同的计算机实现的模型开发者在一个或多个位置处训练，并且其中所述设备从所述不同的计算机实现的模型开发者跨越所述训练的实现的模型的所述实例的所有子集操作。
30.一种包括程序代码装置的计算机程序，当所述程序在计算机上运行时，所述程序代码装置适于执行权利要求1至10中任一项的方法。
CN202080018682.2A 2019-03-07 2020-02-28 基于训练数据与性能趋势的相关性的计算机模型机器学习 Pending CN113557535A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/295,062 US11809966B2 (en) 2019-03-07 2019-03-07 Computer model machine learning based on correlations of training data with performance trends
US16/295,062 2019-03-07
PCT/IB2020/051708 WO2020178687A1 (en) 2019-03-07 2020-02-28 Computer model machine learning based on correlations of training data with performance trends

Publications (1)

Publication Number Publication Date
CN113557535A true CN113557535A (zh) 2021-10-26

Family

ID=72336425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018682.2A Pending CN113557535A (zh) 2019-03-07 2020-02-28 基于训练数据与性能趋势的相关性的计算机模型机器学习

Country Status (6)

Country Link
US (2) US11809966B2 (zh)
JP (1) JP7413392B2 (zh)
CN (1) CN113557535A (zh)
DE (1) DE112020000227T5 (zh)
GB (1) GB2596438A (zh)
WO (1) WO2020178687A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625642B2 (en) * 2018-04-22 2023-04-11 Trendalyze Inc. Method for converting nominal to ordinal or continuous variables using time-series distances
US20200303060A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Diagnostics using one or more neural networks
US11562178B2 (en) * 2019-04-29 2023-01-24 Oracle International Corporation Adaptive sampling for imbalance mitigation and dataset size reduction in machine learning
US11573833B2 (en) * 2019-07-31 2023-02-07 EMC IP Holding Company LLC Allocating cores to threads running on one or more processors of a storage system
US20210233166A1 (en) * 2020-01-28 2021-07-29 David B. Coulter System and Method Of Lender, Borrower, and Employee Driven Enrollment
US11494703B2 (en) * 2020-02-26 2022-11-08 Opendoor Labs Inc. Machine learning model registry
US11568279B2 (en) * 2020-06-09 2023-01-31 Sap Se Anomaly detection for automated information technology processes
US11956315B2 (en) 2020-11-03 2024-04-09 Microsoft Technology Licensing, Llc Communication system and method
KR102493655B1 (ko) * 2020-12-01 2023-02-07 가천대학교 산학협력단 인공지능 모델 훈련 데이터셋의 관리방법
US20220199262A1 (en) * 2020-12-22 2022-06-23 Nuance Communications, Inc. AI Platform System and Method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879944B1 (en) 2000-03-07 2005-04-12 Microsoft Corporation Variational relevance vector machine
US7080052B2 (en) 2001-04-19 2006-07-18 International Business Machines Corporation Method and system for sample data selection to test and train predictive algorithms of customer behavior
AU2009251043A1 (en) 2009-01-07 2010-07-22 The University Of Sydney A method and system of data modelling
US20110125734A1 (en) 2009-11-23 2011-05-26 International Business Machines Corporation Questions and answers generation
US8458074B2 (en) * 2010-04-30 2013-06-04 Corelogic Solutions, Llc. Data analytics models for loan treatment
US9454733B1 (en) 2012-08-15 2016-09-27 Context Relevant, Inc. Training a machine learning model
DE102013213397A1 (de) 2013-07-09 2015-01-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen von Stützstellendaten für ein datenbasiertes Funktionsmodell
JP2015087973A (ja) 2013-10-31 2015-05-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 生成装置、生成方法、およびプログラム
WO2015179778A1 (en) * 2014-05-23 2015-11-26 Datarobot Systems and techniques for predictive data analytics
US9886670B2 (en) 2014-06-30 2018-02-06 Amazon Technologies, Inc. Feature processing recipes for machine learning
US20160358099A1 (en) 2015-06-04 2016-12-08 The Boeing Company Advanced analytical infrastructure for machine learning
JP6703264B2 (ja) 2016-06-22 2020-06-03 富士通株式会社 機械学習管理プログラム、機械学習管理方法および機械学習管理装置
US20180025286A1 (en) 2016-07-25 2018-01-25 International Business Machines Corporation Detecting trends in evolving analytics models
US10832308B2 (en) 2017-04-17 2020-11-10 International Business Machines Corporation Interpretable rule generation using loss preserving transformation
US11113599B2 (en) 2017-06-22 2021-09-07 Adobe Inc. Image captioning utilizing semantic text modeling and adversarial learning
US20200012890A1 (en) * 2018-07-06 2020-01-09 Capital One Services, Llc Systems and methods for data stream simulation
CN109189767B (zh) 2018-08-01 2021-07-23 北京三快在线科技有限公司 数据处理方法、装置、电子设备及存储介质
US10528891B1 (en) * 2018-08-23 2020-01-07 SigOpt, Inc. Systems and methods for implementing an intelligent machine learning optimization platform for multiple tuning criteria
US11392859B2 (en) * 2019-01-11 2022-07-19 Microsoft Technology Licensing, Llc Large-scale automated hyperparameter tuning

Also Published As

Publication number Publication date
JP2022522641A (ja) 2022-04-20
WO2020178687A1 (en) 2020-09-10
US20200285899A1 (en) 2020-09-10
JP7413392B2 (ja) 2024-01-15
US11809966B2 (en) 2023-11-07
DE112020000227T5 (de) 2021-09-02
US20240020579A1 (en) 2024-01-18
GB2596438A (en) 2021-12-29
GB202112847D0 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
US11809966B2 (en) Computer model machine learning based on correlations of training data with performance trends
US10423519B2 (en) Proactive cognitive analysis for inferring test case dependencies
Lu et al. Machine learning for synthetic data generation: a review
US11790171B2 (en) Computer-implemented natural language understanding of medical reports
US10606893B2 (en) Expanding knowledge graphs based on candidate missing edges to optimize hypothesis set adjudication
US9063975B2 (en) Results of question and answer systems
US20210019665A1 (en) Machine Learning Model Repository Management and Search Engine
US9280908B2 (en) Results of question and answer systems
US9703536B2 (en) Debugging code using a question and answer system based on documentation and code change records
US10878570B2 (en) Knockout autoencoder for detecting anomalies in biomedical images
CA3137096A1 (en) Computer-implemented natural language understanding of medical reports
US20170061324A1 (en) Learning parameters in a feed forward probabilistic graphical model
US10147047B2 (en) Augmenting answer keys with key characteristics for training question and answer systems
US10984024B2 (en) Automatic processing of ambiguously labeled data
US20190251473A1 (en) Cognitive System Virtual Corpus Training and Utilization
Corley et al. Changeset-based topic modeling of software repositories
Syriani et al. Screening articles for systematic reviews with ChatGPT
US11119761B2 (en) Identifying implicit dependencies between code artifacts
US11243988B2 (en) Data curation on predictive data modelling platform
CN116453702B (zh) 孤独症行为特征集的数据处理方法、设备、系统及介质
WO2024226089A1 (en) Systems and methods for language model-based content classification and moderation
Cooper Intelligent Software Tooling for Improving Software Development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination