CN110914839B - 错误去相关的选择性训练 - Google Patents

Abstract

基于计算机的系统和方法将额外项添加到针对所选的训练数据项的集成中的机器学习系统(例如神经网络)的目标函数。该选择性训练被设计为惩罚和降低集成中的两个或更多个成员在任何训练数据项上犯相同错误的任何趋势，这应导致在操作中改进集成的性能。

Description

错误去相关的选择性训练

优先权声明

本申请要求于2017年6月26日提交的序列号为62/524,686的美国临时专利申请的优先权，该申请具有与如上相同的名称和发明人，并且通过引用被并入本文。

背景技术

机器学习系统的集成(ensemble)通常比作为集成的成员的个体机器学习系统提供明显更好的性能。当集成的个体成员是弱的，即低性能分类器时，如果将个体成员训练成相对不相关的，则集成可以提供好得多的性能。

然而，当集成的个体成员是高性能分类器时，它们本质上是高度相关的，因为它们几乎始终都得到相同的正确答案。当然，这种类型的相关是期望的。然而，形式为集成的多个成员在给定数据项上制造相同错误的相关仍然是不期望的。

发明内容

在一个总体方面，本发明针对改进机器学习系统的性能的基于计算机的系统和方法。特别地，本发明的系统和方法针对所选的训练数据项将惩罚项添加到机器学习系统(例如神经网络)的目标函数。这种选择性训练被设计为惩罚和降低集成的两个或更多个成员在任何训练数据项上犯相同错误的任何趋势，这应导致在操作中改进集成的性能。

例如，在一个实施例中，假设机器学习系统的集成包括N>2个集成成员。在集成的训练期间，可以检测集成在其上处于有误判定(erroneous determination)的阈值范围内(例如做出有误判定或者接近做出有误判定)的训练数据项。可以选择n个集成成员的适当子集(其中1<n<N)用于该训练数据项上的后续训练。在后续训练中，惩罚项被反向传播到n个集成成员中的至少一个、至多n个集成成员。优选地按照估计n个集成成员贡献于由集成产生的潜在错误的可能性的准则，诸如n个集成成员对该训练数据项做出了有误判定或者处于有误判定的阈值余量内的准则，来选择n个集成成员的适当集合。反向传播惩罚项可以包括将训练节点添加到集成，使得训练节点连接到n个集成成员，并且仅在激活训练节点超过阈值水平的情况下才在后续训练期间将惩罚项贡献给n个集成成员中的至少一个、至多n个集成成员。在其他实施例中，惩罚项包括针对n个集成成员中的每个集成成员的加权惩罚项，使得存在n个加权惩罚项，并且n个加权惩罚项对于n个集成成员中的每个集成成员是不同的。

通过以下描述，本发明的这些和其他益处将变得明确。

附图说明

本文结合以下附图以示例的方式描述各个实施例，其中：

图1和图2是根据本发明的各个说明性实施例的过程的流程图；

图3A和图3B是在本发明的各个实施例中使用的网络形式的框图；

图4是根据本发明的各个实施例的用于执行图1和图2所示的过程或者本文描述的其他过程的计算机系统的框图；并且

图5是根据本发明的各个实施例的具有用于集成成员的选择性训练的训练节点的集成的示意图。

具体实施方式

图1是本发明的说明性实施例的流程图。在该说明性实施例中，在机器学习系统的集成的训练期间，针对所选的训练数据项将额外项添加到目标函数。设计这种选择性训练以惩罚和降低集成的两个或更多个成员在任何训练数据项上犯相同错误的任何趋势。

图示的过程以框101开始，其中过程的起点假设为已机器学习(machine-learned)的分类器的集成。存在机器学习领域的技术人员众所周知的许多方法来创建分类器的集成。举例来说，图2例示说明使用本文所描述的选择性去相关技术的实施例根据单个分类器来构建分类器的集成的方法。

再次参考图1，框102检测训练数据项，在该训练数据项上集成制造错误或者接近错误；也就是说，集成的最终分类处于错误范围内。存在可以组合来自集成的个体成员的分类分数以做出组合的分类决策的若干方法。例如，考虑实施例，其中由集成的每个成员针对每个分类类别计算分数。例如，如果成员分类器是神经网络，则分类类别的分数是网络的相应输出节点的激活水平。这样的输出节点的激活水平a_j可以是该节点的输入之和的sigmoid函数：

z_j＝∑_i w_i，ja_i；a_j＝σ(z_j)＝1/(1+exp(-z_j)

作为另一个示例，每个输出节点的激活可以是在输出节点集上规格化的softmax函数：

a_j＝exp(z_j)/∑_iexp(-z_i)

然后，针对每种类型的激活函数或其他得分方法，存在若干方法来组合分数。例如，类别的组合的分数可以是该类别在集成的成员之间的激活的某种类型的平均值，诸如类别的激活的几何平均或算术平均。也可以使用其他函数来组合分数，诸如投票算法。例如，可以将集成的每个成员视为给分数或激活最高的类别一个投票。则组合的决策是投票最多的类别，即使投票数量少于多数。无论使用哪种技术来组合分数，集成都做出单个选择作为分类类别。在说明性实施例中，存在单个正确答案，因此任何其他类别都是错误。

对于做出组合决策的每种方法，可以有若干方法来决定是否已存在接近错误(close call)；即决定最终分类类别是否处于错误范围内。例如，系统可以将最佳得分类别的分数低于某个指定值的任何项指派为接近错误。作为另一个示例，系统可以将第二佳分数比某个指定余量更接近最佳分数的任何项指派为接近错误。作为另一个示例，系统可以将具有不正确答案的集成成员数量处于具有正确答案的集成成员数量的某个余量内的任何项指派为接近错误。

无论判定接近错误的方法是什么，说明性实施例的框102都选择存在错误或接近错误的一些或全部数据项以在选择性训练中使用。

对于每个所选的训练项，框103选择两个或更多个集成成员以进行反错误相关(anti-error-correlation training)训练。在一个说明性实施例中，两个或更多个所选的集成成员都具有相同的不正确答案作为其最佳得分答案。在一个实施例中，如果没有两个集成成员在该训练数据项上具有相同的不正确答案，则不将该训练数据项用于反错误相关训练，并且选择另一项。

框104在集成之上或外部添加额外的节点(“训练节点”)。本讨论中的术语来自神经网络分类器。然而，本发明适用于优化目标函数(诸如要被最小化的错误函数的成本)的任何类型的机器学习系统的集成。在神经网络的情况下，训练节点就像是输出层之上的层中的节点。一个示例在图5中示出。集成500包括多个神经网络作为独立的集成成员；在该示例中，为了说明的目的，存在三个集成成员502A-502C。当然，在其他实施例中，可能有并且将很可能有更多数量的集成成员。训练节点504与集成500的输出层节点506分离。

训练节点选择性地参与集成的后续训练。在优选实施例中，训练节点的权重和偏差是“超参数(hyperparameter)”而不是学习的参数，这意味着它们不是被训练而是由系统的设计者指定或者可以被自动确定，诸如通过基于机器学习的学习教练来确定，如下所述。在该实施例中，仅在训练节点504被激活超过其阈值的情况下训练节点504才向目标函数贡献额外的惩罚项，并且连接到训练节点504的节点对应于对于当前数据项不正确的类别。如果仅存在两个连接的节点(在图5的简单示例中就是这种情况)，其中集成成员504A、504B的输出节点被连接到训练节点504，则训练节点504的权重和偏差优选地计算AND函数的近似值。例如，权重可以各等于一，并且阈值可以是1.5。然后，如果连接的节点具有平均大于0.75的激活，则将激活训练节点。

一些实施例可以具有连接到训练节点的多于两个的节点。在这种情况下，训练节点的权重和偏差可以实现仅当具有错误答案的连接的节点的数量超过某个阈值数量时才激活训练节点的函数。然而，本发明的一些实施例仅使用连接两个集成成员的训练节点。在这些实施例中，具有多于两个的不正确节点的任何集合从两个成员都在具有相同的错误答案的不正确节点的集合中的任何训练节点接收选择性惩罚项。

在后续训练中，当在框104中创建的训练节点被激活时，在一些实施例中，框105进一步在额外的惩罚项向集成成员(其从该集成成员接收输入)的反向传播中具有选择性。对于任何一个所选的训练项，训练节点都选择贡献(contributing)集成成员的子集来接收额外的惩罚项。优选地，针对至少一些所选的训练项选择每个贡献成员，因此每个贡献成员因为与其他集成成员在相同时间犯相同错误而受到惩罚。然而，每个贡献成员在不同的所选数据的集合上接收其惩罚。因此，校正训练(corrective training)将趋向于校正每个贡献成员以不同的方向进行训练，从而提高它们不犯相同错误的趋势。例如，参考图5所示的简单实施例，可以针对训练节点504被激活的一些训练项来选择第一集成成员502A而排除第二集成成员502B，并且针对训练节点504被激活的其他训练项来选择第二集成成员502B而排除第一集成成员502A。

在另一个示例实施例中，每个贡献成员接收加权惩罚，但是对于任何一个所选的项，每个贡献成员的惩罚权重是不同的，并且对于训练数据的每个所选的项，权重的集合是不同的。例如，如果训练节点被连接到两个集成成员，则对于第一训练数据项，两个集成成员中的第一集成成员的惩罚权重可以是0.60，两个集成成员中的第二集成成员的惩罚权重可以是0.40。对于训练节点被激活的后续训练项，权重可以分别是0.65和0.35；或者它们可以是0.40和0.60(即第二集成得到更大的惩罚权重)。在这些示例中，惩罚权重的总和是1.00，但是在其他实施例中，惩罚权重的总和可以与小于或大于1.00的不同数字相等。

在另一个实施例中，加权惩罚项包括值为零或者一的系数，但是并非所有权重在集成成员之间都相同。也就是说，连接到训练节点的至少一个集成成员的权重为零，并且连接到训练节点的至少一个集成成员的权重为一。

可以使用不同的技术来选择贡献集成成员以在步骤105反向传播额外的惩罚。在一个实施例中，其中多个贡献集成成员在给定训练项上具有相同的错误答案，训练节点可以随机选择哪个贡献集成成员来惩罚。在另一个实施例中，训练节点可以总是惩罚在当前数据项上具有最高激活的贡献集成成员。在另一些其他实施例中，训练节点可以使用相反的规则，在具有最低激活的成员需要最少的改进以达到其不再制造相同错误的状况的基础上，仅惩罚具有较低激活的成员。对于这些实施例中的每一个实施例，每个成员可以在一些所选的数据上受到惩罚，使得每个成员都因犯相同错误的情况而被惩罚。然而，通过在不同数据上被惩罚或者在每一项上被用不同权重惩罚，集成成员学习做出不同的校正。在一些实施例中，对于给定的训练数据项，惩罚哪个成员的分配是永久性的，也就是说，当在另一个时期(epoch)再次遇到相同的训练数据项时，将惩罚分配给与以前相同的成员，并且如果惩罚是加权的，则权重与以前相同。在其他实施例中，在每个时期中独立地做出决策。在又一些其他实施例中，存在从固定决策到单独决策的逐渐过渡。所有这些替代都在可以针对给定应用进行优化的超参数的控制下。

额外的选择性训练节点仅在训练期间存在。当已训练的网络在操作中使用时，它们通常不存在。然而，在说明性实施例中，它们在操作期间针对自适应训练而存在，但是不参与操作上的分类计算。

图2示出根据本发明的实施例的过程的说明性实施例的流程图，通过该过程单个网络可以生长为一个集成，或者如果以集成(与单个网络相对)开始则为该集成创建附加成员。图2所示的步骤类似于图1所示的步骤。

在框201，假设过程以初始分类器开始，初始分类器可以是单个网络或者集成。框202在初始分类器中检测具有错误或接近错误的训练数据项。框203选择初始分类器中在该训练数据项上具有不正确答案或接近错误的至少一个节点。

在初始分类器是单个网络的情况下，框204克隆网络以制造两个成员的集成，或者在初始分类器本身是集成的情况下，其选择针对在框203处选择的节点具有不正确答案或接近错误的集成的一个或多个成员，并且克隆集成的所选成员以添加其他成员。然后，与图1中的框104相似，框205然后使用来自所选的节点的两个或更多个拷贝的输入，将训练节点添加在集成之上。

然后，框206优选地以类似于图1的框105的方式控制后续训练，以将两个或更多个集成成员训练成彼此不同。

在一些实施例中，框203可以选择多于一个节点。除了应用于框203选择多于一个节点的实施例之外，本段落中描述的过程类似于之前段落中描述的过程。在一些实施例中，在框204处仅创建一个克隆，其中每个所选的节点在两个网络的每个中具有一个拷贝，使得每个所选的节点及其克隆通过额外的选择性训练节点连接，该选择性训练节点由框205添加并且用于控制框206中的选择性反向传播。在这样的实施例中，存在被选择性训练以在两个新的网络之间制造更大差异的更多节点。另外，可以使用其他众所周知的技术来使集成成员学习以成为不同，并且增强集成的整体性能。

图3A例示说明本发明的实施例，在该实施例中，通过在集成成员之上添加组合网络，已将神经网络的集成转变成单个网络。在说明性实施例中，组合网络303是神经网络。即使当集成成员301是某种形式的机器学习系统而非神经网络时，也能够使用如图3A所示的组合网络。节点302是集成成员301的各个输出节点。作为组合网络中的内部节点，它们具有特殊的属性。它们是本文所定义的“有标签的节点(labeled node)”。作为有标签的节点，在一些实施例中，除了常规的反向传播外，它们还能够具有局部反向传播，如下一段所述。

图3A还例示说明由具有内部层中的多个有标签的节点集的单个网络导致的这样的网络结构。例如，可以通过将包括输出节点的完整网络作为子网络而拷贝到更大的单个网络中来创建有标签的节点集。在说明性实施例中，大网络的后续训练进行反向传播，该反向传播包括正如在常规输出节点处那样在每个先前的输出节点处生成的局部反向传播，其中该局部地生成的反向传播作为额外项添加到来自上级网络的反向传播。相比于来自上级网络的反向传播，超参数可以控制局部反向传播的相对权重。在说明性实施例中，该组合的反向传播训练也可以与如图3A所示的组合集成的单个网络一起使用。

在一些实施例中，有标签的节点集可以具有与大型包含网络(containingnetwork)的输出的类别标签不同的标签。在其他实施例中，具有与包含网络的输出相同的标签或者一些其他标签的集合的局部有标签的节点集可以用于其他目的(诸如正则化)，无论它们是否被配置为类集成(ensemble-like)的子网络组。

如在图3A的说明性实施例中那样将组合网络添加到集成具有若干优点。首先，可以将组合网络初始化以模仿任何标准集成组合方法。然后，可以通过随机梯度下降来训练组合网络，从而潜在地提供更好的组合性能。另外，来自组合网络的反向传播可以加强已改进了整体性能的任何选择性去相关。在任何情况下，组合网络都可以模仿非组合集成可以完成的任何计算。

在说明性实施例中，结合图1的框103、104和105讨论的选择性去相关训练也可以应用于由集成形成的单个网络(如图3A所示)，或者等效地应用于训练为具有有着有标签的节点集的类集成子网络的单个网络。如图3B所示，可以将额外的训练节点304插入有标签的节点集和组合网络之间。每个额外的训练节点304连接到一组节点，其中一个节点来自两个或更多个有标签的节点集中的每个有标签的节点集。连接到任何额外的选择性训练节点的节点必须具有相应的标签。来自选择性训练的惩罚项可以被局部地添加到来自上面的组合网络的反向传播。选择性训练如结合图1的框105所描述的那样进行。

图1和图2所示的示例过程可以使用适当编程的计算机系统来实现。如此，计算机系统可以使用被编程为执行图1或图2所示的过程的一个或多个联网的计算机设备来实现。计算机设备可以包括一个或多个处理器核(core)以及用于存储由处理器执行的计算机指令(例如软件)的存储器。每个处理器可以包括一个或多个核，诸如CPU、GPU或者AI加速器处理核。对处理器进行编程的软件可以存储在计算机设备的RAM和/或ROM中。

特别地，图1或图2的过程可以使用机器学习系统来实现，该机器学习系统指导对机器学习系统的“目标”集成的训练，如图4的示例所示。图4的示例计算机系统400包括两个计算机系统：用于实现目标集成(例如图3A-图3B的集成成员301和集成组合网络)的第一系统402以及机器学习(ML)学习教练404。第一系统402使用机器学习技术训练并验证目标集成的集成成员网络。

学习教练404本身可以是基于来自目标集成网络的观察来辅助训练目标集成的网络的机器学习系统。特别地，学习教练404可以对控制目标集成网络的生长和训练的目标集成的网络的超参数进行机器学习。例如，对应于图1的步骤102，学习教练404可以基于观察到的网络节点的激活水平来确定集成网络的错误的接近度，并且基于此来选择存在用于选择性训练的接近错误的训练数据项。学习教练404还可以在步骤103选择用于选择性训练的集成的成员，以及确定在步骤104添加的训练节点的权重和偏差。步骤105的反向传播可以由目标集成计算机系统402来执行，但是由学习教练来确定训练节点权重和偏差，并且由学习教练选择接收反向传播惩罚的集成成员。

关于示例性的基于机器学习的学习教练的更多细节在已公布的PCT申请WO 2018/063840和PCT申请PCT/US18/20887中提供，其中已公布的PCT申请WO 2018/063840标题是“Learning Coach for Machine Learning System”，由发明人詹姆斯·K·贝克(JamesK.Baker)发明，于2018年4月5日公布；PCT申请PCT/US18/20887标题也是“Learning Coachfor Machine Learning System”，由发明人詹姆斯·K·贝克发明，于2018年3月5日提交，这两个申请都通过引用被全部并入本文。如这些并入的申请中总体上描述的那样，学习教练本身可以是机器学习系统，但是它不尝试识别集成成员正在学习识别的模式或者进行集成成员正在学习进行的分类。相反，由学习教练404处理的数据可以包括对集成成员的内部状态的观察以及集成成员在训练期间计算的数据。通过监视学生学习系统，教练机器学习系统可以(通过机器学习技术)学习集成成员的超参数，诸如选择哪个(哪些)集成成员用于反向传播惩罚以及训练节点的权重/偏差来达到既定目标。

学习教练404和目标集成系统402可以经由高速数据总线进行通信。此外，为了提高处理速度，每个都可以使用它们自己的一组处理器核来实现。例如，目标集合系统402可以使用第一组处理器核(例如CPU、GPU和/或AI加速器核)来实现，并且学习教练404可以使用第二组处理器核(例如CPU、GPU和/或AI加速器核)来实现。另外，计算机系统402、404中的一个或二者可以由单个计算机系统(例如服务器)或者由计算机系统(例如服务器)的分布式网络来实现。

在其他实施例中，非机器学习计算机系统可以执行图1和图2的过程。也就是说，执行静态编程指令的计算机系统可以根据图1和图2所示的过程来控制集成成员的生长和训练。

基于以上描述，显然，本发明的实施例可以用于改进各种应用中的许多不同类型的机器学习系统，特别是神经网络的集成。例如，仅举几个例子，本发明的实施例可以诸如通过降低集成中的两个或更多个成员在任何训练数据项上都犯相同错误的任何趋势来改进推荐器系统、语音识别系统以及分类系统，包括图像和诊断分类系统，这应导致在操作中(即集成被用于做出分类、推荐等时)改进的性能。

用于学习教练和集成成员的计算机系统可以使用计算机硬件和软件来实现。例如，它们可以是具有多个处理CPU核的集成计算机系统(例如服务器或服务器网络)的部分。程序指令可以存储在处理核可访问的计算机存储器中，例如像RAM、ROM、处理器寄存器或者处理器高速缓存。在其他实施例中，处理器可以包括图形处理单元(GPU)核，例如通用GPU(GPGPU)管道或者AI加速器芯片(ASIC)的处理核。GPU核并行运行，因此通常可以比一组CPU核更高效地处理数据，但是所有核同时执行相同的代码。AI加速器是一类被设计为加速人工神经网络的微处理器。它们通常在还具有主机CPU的设备中用作协处理器。AI加速器通常具有以比CPU核低的精度(诸如AI加速器中的8位精度vs CPU核中的64位精度)运行的成千上万个矩阵乘法器单元。在其他实施例中，计算机系统可以是分布式计算机系统的部分。例如，实现学习教练的计算机设备(例如服务器)可以远离用于集成成员的计算机系统，并且可以使用适当有线网络和/或无线数据通信链接通过诸如LAN、WAN、互联网等的数据网络互连。可以使用诸如数据总线(优选地，高速数据总线)或网络链路(例如以太网)这样的适当数据链路在各种系统之间共享数据。

可以使用诸如.NET、C、C++、Python这样的任何适当计算机编程语言，并且使用传统的、功能的或面向对象的技术，在计算机软件中实现本文所描述的用于各种计算系统的软件和本文所描述的其他计算机功能。用于计算机软件和其他计算机实现的指令的编程语言可以在执行之前由编译器或汇编器翻译成机器语言和/或可以由解释器在运行时直接翻译。汇编语言的示例包括ARM、MIPS以及x86；高级语言的示例包括Ada、BASIC、C、C++、C#、COBOL、Fortran、Java、Lisp、Pascal、Object Pascal、Haskell、ML；脚本语言的示例包括Bourne脚本、JavaScript、Python、Ruby、Lua、PHP以及Perl。

因此，在一个总体方面，本发明针对训练机器学习系统的集成的计算机系统和计算机实现的方法，其中集成包括N>2个集成成员。在各种实施例中，方法包括在集成的训练期间，检测集成处于有误判定的阈值范围内的训练数据项。方法还包括以下步骤：选择n个集成成员用于训练数据项上的后续训练，其中1<n<N。方法还包括以下步骤：在集成的后续训练期间，将添加到用于训练集成的目标函数的惩罚项反向传播到n个集成成员中的至少一个、至多n个集成成员。

在各种实施例中，根据本发明的计算机系统包括一个或多个处理器核以及与一个或多个处理器核通信的计算机存储器。计算机存储器存储软件，该软件在由一个或多个处理器核执行时，使一个或多个处理器核：(i)在集成的训练期间，检测集成处于有误判定的阈值范围内的训练数据项；(ii)选择n个集成成员用于训练数据项上的后续训练，其中1<n<N；(iii)在集成的后续训练期间，将添加到用于训练集成的目标函数的惩罚项反向传播到n个集成成员中的至少一个、至多n个集成成员。

在各种实施例中，可以基于这样的准则来选择n个集成成员：估计n个集成成员贡献于由集成产生的潜在错误的可能性。准则可以是n个集成成员在训练数据项上做出有误判定或者处于有误判定的阈值余量内。另外，惩罚项可以包括在后续训练期间针对n个集成成员中的每个集成成员的加权惩罚项，使得存在n个加权惩罚项，并且其中n个加权惩罚项对于n个集成成员中的每个集成成员是不同的。而且，n个加权惩罚项中的每个加权惩罚项可以包括为零或为一的系数，并且并非所有n个加权惩罚项都具有相同的系数值。

在各种实施例中，方法可以进一步包括：由一个或多个处理器核在后续训练期间，将添加到用于训练集成的目标函数的惩罚项反向传播到n个集成成员中的至少一个、至多n个集成成员。反向传播惩罚项可以包括将训练节点添加到集成，使得训练节点连接到n个集成成员，并且仅在激活训练节点超过阈值水平的情况下才在后续训练期间将惩罚项贡献给n个集成成员中的至少一个、至多n个集成成员。仅在激活训练节点超过阈值水平的情况下，训练节点可以在后续训练期间将加权惩罚项贡献给n个集成成员中的每个集成成员，其中每次激活训练节点时，加权惩罚项对于n个集成成员中的每个集成成员是不同的。例如，训练节点的权重和偏差可以实现仅当具有有误答案的连接的集成成员的数量超过阈值数量时才激活训练节点的激活函数。而且，在由集成进行的操作上的分类期间可以忽略训练节点。

在各种实现中，检测集成处于有误判定的阈值范围内的训练数据项包括检测具有不正确分类的集成成员的数量处于具有正确分类的集成成员的数量的阈值余量内的训练数据项。例如，在各种实现中，每个集成成员是分类器，并且集成组合来自集成成员的输出以做出最终类别分类。在这些情况下，检测集成处于有误判定的阈值范围内的训练数据项可以包括检测由集成得出的最佳得分类别的分数低于指定值的训练数据项，或者检测由集成得出的第二高得分的分类类别的分数处于最高得分的分类类别的分数的阈值余量内的训练数据项。

在各种实现中，选择可以包括：每当激活训练节点时：(i)随机选择至少1个、至多n个连接的集成成员以接收反向传播中的额外惩罚项；(ii)选择n个集成成员中在反向传播期间在当前训练数据项上具有最高激活的集成成员；或者(iii)选择n个集成成员中在反向传播期间在当前训练数据项上具有最低激活的集成成员。

方法还可以包括：在检测集成处于有误判定的阈值范围内的训练数据项之前，根据单个原始机器学习系统生成集成。生成集成可以包括：(i)生成原始机器学习系统的副本机器学习系统，以生成包括原始机器学习系统和副本机器学习系统的集成；以及(ii)添加训练节点，使得该训练节点连接到原始机器学习系统中的所选节点和原始机器学习系统中的所选节点的在副本机器学习系统中的副本节点。

在各种实施例中，方法还包括将组合网络添加到集成以组合来自N个集成成员的输出。N个集成成员的输出节点可以是具有组合网络的集成的内部层中的有标签的节点。至少一些有标签的节点可以具有与具有组合网络的集成的类别标签不同的标签。而且，添加训练节点可以包括在n个集成成员的输出与组合网络之间添加训练节点。特别地，将训练节点添加到集成可以包括将多个训练节点添加到集成，使得每个训练节点连接在N个集成成员的输出与组合网络之间。在集成的后续训练中的反向传播期间，使用添加的训练节点，每当激活训练节点中的一个时，选择至少1个集成成员以接收反向传播中的额外惩罚项。

本文所呈现的示例意图例示说明本发明的潜在和具体实施方式。可以理解的是，示例主要意图为本领域技术人员例示说明本发明的目的。示例的特定方面不一定意图限制本发明的范围。此外，应当理解，已经简化了本发明的附图和描述以例示说明与清楚理解本发明相关的元素，同时为了清楚起见而省略了其他元素。尽管本文已经描述了各种实施例，但是应明晰的是，在获得至少一些优点的情况下，本领域技术人员可以对这些实施例进行各种修改、变更和改编。因此，所公开的实施例意图包括所有这样的修改、变更和改编而不脱离本文所阐述的实施例的范围。

Claims (53)

1.一种训练机器学习系统的集成的方法，其中，所述集成包括N>2个集成成员，所述方法包括：

在所述集成的训练期间，通过包括一个或多个图形处理单元GPU的计算机系统检测所述集成处于有误判定的阈值范围内的训练数据项，其中所述集成成员包括图像分类器并且训练数据包括用于所述分类器的训练数据，其中所述集成组合来自所述集成成员的输出以做出最终类别分类，并且其中检测所述训练数据项包括检测由所述集成得出的第二高得分的分类类别的分数处于最高得分的分类类别的分数的阈值余量内的训练数据项；

通过所述计算机系统选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N；以及

在所述集成的所述后续训练期间，通过所述计算机系统将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。

2.根据权利要求1所述的方法，其中，选择所述n个集成成员包括：基于估计所述n个集成成员贡献于由所述集成产生的潜在错误的可能性的准则，选择所述n个集成成员。

3.根据权利要求1所述的方法，其中，所述惩罚项包括在所述后续训练期间针对所述n个集成成员中的每个集成成员的加权惩罚项，使得存在n个加权惩罚项，并且其中，所述n个加权惩罚项对于所述n个集成成员中的每个集成成员是不同的。

4.根据权利要求3所述的方法，其中，所述n个加权惩罚项中的每个加权惩罚项包括为零或为一的系数，并且并非所有所述n个加权惩罚项都具有相同的系数值。

5.根据权利要求2所述的方法，其中，所述准则是所述n个集成成员在所述训练数据项上做出有误判定或者处于有误判定的阈值余量内。

6.根据权利要求1所述的方法，还包括：在所述后续训练期间，通过所述计算机系统将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。

7.根据权利要求6所述的方法，其中，反向传播所述惩罚项包括：将训练节点添加到所述集成，使得所述训练节点连接到所述n个集成成员，并且仅在激活所述训练节点超过阈值水平时所述训练节点才在所述后续训练期间将所述惩罚项贡献给所述n个集成成员中的所述至少一个、至多n个集成成员。

8.根据权利要求7所述的方法，其中，仅在激活所述训练节点超过阈值水平时，所述训练节点才在所述后续训练期间将加权惩罚项贡献给所述n个集成成员中的每个集成成员，其中，每次激活所述训练节点时所述加权惩罚项对于所述n个集成成员中的每个集成成员是不同的。

9.根据权利要求7所述的方法，其中，所述训练节点的权重和偏差实现仅当具有有误答案的连接的集成成员的数量超过阈值数量时才激活所述训练节点的激活函数。

10.根据权利要求7所述的方法，还包括在由所述集成进行的操作上的分类期间，通过所述计算机系统忽略所述训练节点。

11.根据权利要求1所述的方法，其中，所述N个集成成员中的每个集成成员都包括神经网络。

12.根据权利要求9所述的方法，其中，选择包括每当激活所述训练节点时，随机选择所述连接的集成成员中的至少1个、至多n个以接收反向传播中的额外惩罚项。

13.根据权利要求10所述的方法，其中，选择包括每当激活所述训练节点时，选择所述n个集成成员中在所述反向传播期间在当前训练数据项上具有最高激活的集成成员。

14.根据权利要求10所述的方法，其中，选择包括每当激活所述训练节点时，选择所述n个集成成员中在所述反向传播期间在当前训练数据项上具有最低激活的集成成员。

15.根据权利要求1所述的方法，还包括在检测所述集成处于有误判定的阈值范围内的训练数据项之前，通过所述计算机系统根据单个原始机器学习系统生成所述集成。

16.根据权利要求10所述的方法，还包括在检测所述集成处于有误判定的阈值范围内的训练数据项之前，根据单个原始机器学习系统生成所述集成。

17.根据权利要求16所述的方法，其中，生成所述集成包括：

生成所述原始机器学习系统的副本机器学习系统，以生成包括所述原始机器学习系统和所述副本机器学习系统的集成；以及

添加所述训练节点，使得该训练节点连接到所述原始机器学习系统中的所选节点和所述原始机器学习系统中的所述所选节点的在所述副本机器学习系统中的副本节点。

18.根据权利要求1所述的方法，还包括：通过所述计算机系统将组合网络添加到所述集成以组合来自所述N个集成成员的输出。

19.根据权利要求10所述的方法，还包括将组合网络添加到所述集成以组合来自所述N个集成成员的输出。

20.根据权利要求18或19所述的方法，其中，所述N个集成成员的输出节点是具有所述组合网络的所述集成的内部层中的有标签的节点。

21.根据权利要求20所述的方法，其中，至少一些所述有标签的节点具有与具有所述组合网络的所述集成的类别标签不同的标签。

22.根据权利要求20所述的方法，其中，反向传播所述惩罚项包括在所述N个集成成员中的每个集成成员处执行局部反向传播。

23.根据权利要求19所述的方法，其中，添加所述训练节点包括在所述n个集成成员的输出与所述组合网络之间添加所述训练节点。

24.根据权利要求23所述的方法，其中：

将训练节点添加到所述集成包括将多个训练节点添加到所述集成，使得每个训练节点连接在所述N个集成成员的输出与所述组合网络之间；并且

在所述集成的后续训练中的反向传播期间，使用添加的训练节点，每当激活所述训练节点中的一个训练节点时，选择至少1个集成成员以接收反向传播中的额外惩罚项。

25.一种用于训练机器学习分类器的集成的计算机系统，其中，所述集成包括N>2个集成成员，并且每个集成成员包括机器学习图像分类器，并且其中所述集成组合来自所述集成成员的输出以做出最终类别分类，所述计算机系统包括：

一个或多个处理器核；以及

与所述一个或多个处理器核通信的计算机存储器，其中所述计算机存储器存储软件，该软件当被所述一个或多个处理器核执行时使所述一个或多个处理器核：

在所述集成的训练期间，通过检测由所述集成得出的第二高得分的分类类别的分数处于最高得分的分类类别的分数的阈值余量内的训练数据项，检测所述集成处于有误判定的阈值范围内的训练数据项；

选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N，并且其中训练数据包括用于机器学习图像分类器的训练数据；以及

在所述集成的所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。

26.根据权利要求25所述的计算机系统，其中，所述一个或多个处理器核被编程为通过基于估计所述n个集成成员贡献于由所述集成产生的潜在错误的可能性的准则选择所述n个集成成员，来选择所述n个集成成员。

27.根据权利要求25所述的计算机系统，其中，所述惩罚项包括在所述后续训练期间针对所述n个集成成员中的每个集成成员的加权惩罚项，使得存在n个加权惩罚项，并且其中，所述n个加权惩罚项对于所述n个集成成员中的每个集成成员是不同的。

28.根据权利要求27所述的计算机系统，其中，所述n个加权惩罚项中的每个加权惩罚项包括为零或为一的系数，并且并非所有所述n个加权惩罚项都具有相同的系数值。

29.根据权利要求26所述的计算机系统，其中，所述准则是所述n个集成成员在所述训练数据项上做出有误判定或者处于有误判定的阈值余量内。

30.根据权利要求25所述的计算机系统，其中，所述一个或多个处理器核还被编程为在所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。

31.根据权利要求30所述的计算机系统，其中，所述一个或多个处理器核被编程为通过将训练节点添加到所述集成使得所述训练节点连接到所述n个集成成员并且仅在激活所述训练节点超过阈值水平时所述训练节点才在所述后续训练期间将所述惩罚项贡献给所述n个集成成员中的所述至少一个、至多n个集成成员，来反向传播所述惩罚项。

32.根据权利要求31所述的计算机系统，其中，仅在激活所述训练节点超过阈值水平的情况下所述训练节点才在所述后续训练期间将加权惩罚项贡献给所述n个集成成员中的每个集成成员，其中，每次激活所述训练节点时，所述加权惩罚项对于所述n个集成成员中的每个集成成员是不同的。

33.根据权利要求31所述的计算机系统，其中，所述训练节点的权重和偏差实现仅当具有有误答案的连接的集成成员的数量超过阈值数量时才激活所述训练节点的激活函数。

34.根据权利要求31所述的计算机系统，所述训练节点在由所述集成进行的操作上的分类期间被忽略。

35.根据权利要求25所述的计算机系统，其中，所述N个集成成员中的每个集成成员包括神经网络。

36.根据权利要求33所述的计算机系统，其中，所述一个或多个处理器核被编程为通过每当激活所述训练节点时随机选择至少1个、至多n个所述连接的集成成员以接收反向传播中的额外惩罚项来进行选择。

37.根据权利要求34所述的计算机系统，其中，所述一个或多个处理器核被编程为通过每当激活所述训练节点时选择所述n个集成成员中在所述反向传播期间在当前训练数据项上具有最高激活的集成成员来进行选择。

38.根据权利要求34所述的计算机系统，其中，所述一个或多个处理器核被编程为通过每当激活所述训练节点时选择所述n个集成成员中在反向传播期间在当前训练数据项上具有最低激活的集成成员来进行选择。

39.根据权利要求34所述的计算机系统，其中，所述一个或多个处理器核还被编程为在检测所述集成处于有误判定的阈值范围内的训练数据项之前，根据单个原始机器学习系统生成所述集成。

40.根据权利要求39所述的计算机系统，其中，所述一个或多个处理器核被编程为通过以下来生成所述集成：

生成所述原始机器学习系统的副本机器学习系统，以生成包括所述原始机器学习系统和所述副本机器学习系统的集成；以及

添加所述训练节点，使得该训练节点连接到所述原始机器学习系统中的所选节点和所述原始机器学习系统中的所述所选节点的在所述副本机器学习系统中的副本节点。

41.根据权利要求34所述的计算机系统，其中，所述一个或多个处理器核还被编程为将组合网络添加到所述集成以组合来自所述N个集成成员的输出。

42.根据权利要求41所述的计算机系统，其中，所述N个集成成员的输出节点是具有所述组合网络的所述集成的内部层中的有标签的节点。

43.根据权利要求42所述的计算机系统，其中，至少一些所述有标签的节点具有与具有所述组合网络的所述集成的类别标签不同的标签。

44.根据权利要求42所述的计算机系统，其中，所述一个或多个处理器核被编程为通过在所述N个集成成员中的每个集成成员处执行局部反向传播，来反向传播所述惩罚项。

45.根据权利要求44所述的计算机系统，其中，所述一个或多个处理器核还被编程为通过在所述n个集成成员的输出与所述组合网络之间添加所述训练节点，来添加所述训练节点。

46.根据权利要求45所述的计算机系统，其中，所述一个或多个处理器核被编程为：

通过将多个训练节点添加到所述集成使得每个训练节点连接在所述N个集成成员的输出与所述组合网络之间，来将训练节点添加到所述集成；并且

在所述集成的后续训练中的反向传播期间，使用添加的训练节点，每当激活所述训练节点中的一个训练节点时，选择至少1个集成成员以接收反向传播中的额外惩罚项。

47.根据权利要求34所述的计算机系统，其中所述一个或多个处理器核被编程为实现机器学习的学习教练系统以用于：

检测所述集成处于阈值范围内的所述训练数据项；以及

选择用于所述训练数据项上的后续训练的所述n个集成成员。

48.根据权利要求47所述的计算机系统，其中，所述机器学习的学习教练系统还用于确定所述训练节点的权重和偏差。

49.根据权利要求25至48中的任意一项所述的计算机系统，其中，所述一个或多个处理器核包括：

第一组一个或多个处理器核，被编程为实现并训练机器学习分类器的所述集成；以及

第二组一个或多个处理器核，被编程为：

在所述集成的训练期间，检测所述集成处于有误判定的阈值范围内的训练数据项；

选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N；并且

确定所述集成成员中的哪些集成成员来接收在训练所述集成中使用的目标函数的惩罚项，这些集成成员为从一个至多达所有n个所述集成成员，

其中，所述第一组一个或多个处理器核在所述集成的所述后续训练期间，将添加到所述目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。

50.根据权利要求49所述的计算机系统，其中：

所述第一组一个或多个处理器核包括一个或多个GPU处理器核；并且

所述第二组一个或多个处理器核包括一个或多个GPU处理器核。

51.根据权利要求49所述的计算机系统，其中：

所述第一组一个或多个处理器核包括一个或多个AI加速器处理器核；并且

所述第二组一个或多个处理器核包括一个或多个AI加速器处理器核。

52.一种训练机器学习系统的集成的方法，其中，所述集成包括N>2个集成成员，所述方法包括：

在所述集成的训练期间，通过包括一个或多个图形处理单元GPU的计算机系统检测所述集成处于有误判定的阈值范围内的训练数据项，其中所述集成成员包括语音识别系统并且训练数据包括用于所述语音识别系统的训练数据，其中所述集成组合来自所述集成成员的输出以做出最终类别分类，并且其中检测所述训练数据项包括检测由所述集成得出的第二高得分的分类类别的分数处于最高得分的分类类别的分数的阈值余量内的训练数据项；

通过所述计算机系统选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N；以及

在所述集成的所述后续训练期间，通过所述计算机系统将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。

53.一种用于训练机器学习分类器的集成的计算机系统，其中，所述集成包括N>2个集成成员，并且每个集成成员包括机器学习语音识别系统，并且其中所述集成组合来自所述集成成员的输出以做出最终类别分类，所述计算机系统包括：

一个或多个处理器核；以及

与所述一个或多个处理器核通信的计算机存储器，其中所述计算机存储器存储软件，该软件当被所述一个或多个处理器核执行时使所述一个或多个处理器核：

在所述集成的训练期间，通过检测由所述集成得出的第二高得分的分类类别的分数处于最高得分的分类类别的分数的阈值余量内的训练数据项，检测所述集成处于有误判定的阈值范围内的训练数据项；

选择n个集成成员用于所述训练数据项上的后续训练，其中1<n<N，并且其中训练数据包括用于机器学习语音识别系统的训练数据；以及

在所述集成的所述后续训练期间，将添加到用于训练所述集成的目标函数的惩罚项反向传播到所述n个集成成员中的至少一个、至多n个集成成员。