CN116802648A - 使用监督和无监督机器学习模型的基于时间的聚合学习的系统、方法和计算机程序产品 - Google Patents

Abstract

提供用于利用机器学习模型聚合学习的系统，所述系统包括处理器，用于：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述监督机器学习模型和所述无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。还提供了方法和计算机程序产品。

Description

使用监督和无监督机器学习模型的基于时间的聚合学习的系 统、方法和计算机程序产品

技术领域

本公开大体上涉及机器学习，并且在一些非限制性实施例或方面，涉及用于使用监督和无监督技术基于聚合学习方法生成机器学习模型的系统、方法和计算机程序产品。

背景技术

机器学习可以是计算机科学的领域，其使用统计技术为计算机系统提供使用数据学习任务(例如，逐渐提高性能)的能力，而无需对计算机系统进行明确编程以执行任务。在一些情况下，可以针对数据集开发机器学习模型，使得机器学习模型可以执行关于所述数据集的任务(例如，与预测相关联的任务)。

在一些情况下，机器学习模型，例如预测性机器学习模型，可用于基于大量数据(例如，大规模数据集)作出与风险或机会相关的预测。预测性机器学习模型可用于分析基于与单元相关联的大规模数据集的单元性能与单元的一个或多个已知特征之间的关系。预测性机器学习模型的目的可以是评估类似单元将展现与单元相同或相似的性能的可能性。为了生成预测性机器学习模型，可以将大规模数据集分段，使得可以针对适当的数据训练预测性机器学习模型。

在一些情况下，多类别分类(例如，多项式分类)可以指将实例分类为三个或更多个类别中的一个的问题，而将实例分类为两个类别中的一个可被称为二元分类。

深度学习(例如，深度结构化学习)可以指基于具有表示学习的人工神经网络的机器学习算法的类别，其中表示学习可以被监督、半监督和/或无监督。用于深度学习的机器学习架构可包括深度神经网络(DNN)、深度信念网络、深度强化学习、重复神经网络和卷积神经网络。

在深度学习领域中，机器学习模型通常擅长于在给定大数据集的情况下学习以执行特定任务。随着数据集的增长和不断改变，学习较旧数据集上特定任务的机器学习模型变得过时，并且需要对更新的数据集进行训练，以便模型可以相同的准确性或更好的给定新数据来执行。模型性能随着数据集改变和扩展的这种改变被称为模型新鲜度退化。

开发机器学习模型非常耗时并且需要大量数据。如果使用特定数据集构建分类模型，则在分类模型未用新数据更新和训练的情况下其准确性可能随时间推移退化。当由于市场或技术的突然改变(例如，技术改变、领域改变、市场改变)而出现新的数据模式时，模型退化甚至可能更快。此类机器学习模型将需要使用新的和新兴数据进行持续训练和更新，以随时间推移维持或提高模型的准确性。

在某些环境中，例如在线深度学习模型，深度学习模型经常面临问题，例如训练期间的数据延迟和模型扰动。与离线模型不同，在线模型容易受到数据实时改变和不完整数据集的影响。如果模型性能在很大程度上取决于用于训练的数据的完整性，则这种实时数据改变会对模型准确性产生负面影响。例如，关于图像数据的分类模型训练可以接收许多类似图像作为输入，这些图像几乎没有不同。即使是权重较大的特征中具有微小差异的单个图像也会扰动模型并对其训练产生负面影响。另外，如果输入图像数据是按时间排序的，则一些图像可以与其它图像的序列不一致地被输入到模型中，并且可能对模型训练产生负面影响。

鉴于所描述的问题，显而易见需要一种基于机器学习/深度学习聚合的训练系统、方法和计算机程序产品，以使用不太容易受模型退化、数据延迟和模型扰动影响的监督和无监督技术来生成机器学习模型。

发明内容

因此，所公开的是用于使用监督和无监督技术基于聚合学习方法生成机器学习模型的系统、方法和计算机程序产品。

根据一些非限制性实施例或方面，提供一种用于利用机器学习模型聚合学习以防止模型性能退化的方法。所述系统包括至少一个处理器，所述至少一个处理器被编程和/或被配置成接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。所述至少一个处理器还被编程和/或配置成将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。所述至少一个处理器还被编程和/或配置成选择第一多个监督机器学习模型以及选择第二多个无监督机器学习模型。所述至少一个处理器被进一步编程和/或配置成基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型。所述至少一个处理器被进一步编程和/或配置成基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型。所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

在一些非限制性实施例或方面，当将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集时，所述至少一个处理器被进一步编程和/或配置成将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述至少一个处理器被进一步编程和/或配置成将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

在一些非限制性实施例或方面，所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的所述运行时输出执行动作。

在一些非限制性实施例或方面，当生成所述聚合机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

在一些非限制性实施例或方面，所述至少一个处理器被进一步编程和/或配置成将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述至少一个处理器被进一步编程和/或配置成将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

在一些非限制性实施例或方面，当选择所述第一多个监督机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述至少一个处理器被进一步编程和/或配置成基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，当选择所述第二多个无监督机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述至少一个处理器被进一步编程和/或配置成基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

在一些非限制性实施例或方面，监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

根据一些非限制性实施例或方面，提供一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机实施的方法。所述方法包括接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。所述方法还包括将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。所述方法进一步包括选择第一多个监督机器学习模型以及选择第二多个无监督机器学习模型。所述方法进一步包括基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型。所述方法进一步包括基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型。所述方法进一步包括基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

在一些非限制性实施例或方面，将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集包括：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述方法进一步包括将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

在一些非限制性实施例或方面，所述方法进一步包括基于所述聚合机器学习模型的所述运行时输出执行动作。

在一些非限制性实施例或方面，生成所述聚合机器学习模型包括：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述方法进一步包括基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

在一些非限制性实施例或方面，所述方法进一步包括将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述方法进一步包括将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

在一些非限制性实施例或方面，选择所述第一多个监督机器学习模型包括基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述方法还包括基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，选择所述第二多个无监督机器学习模型包括基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述方法还包括基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

在一些非限制性实施例或方面，监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

根据一些非限制性实施例或方面，提供一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机程序产品。所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。所述一个或多个指令还使所述至少一个处理器将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。所述一个或多个指令进一步使所述至少一个处理器选择第一多个监督机器学习模型以及选择第二多个无监督机器学习模型。所述一个或多个指令进一步使所述至少一个处理器基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型。所述一个或多个指令进一步使所述至少一个处理器基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型。所述一个或多个指令进一步使所述至少一个处理器基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

在一些非限制性实施例或方面，使所述至少一个处理器将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例的所述一个或多个指令使所述至少一个处理器将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述一个或多个指令进一步使所述至少一个处理器将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。在一些非限制性实施例或方面，所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

在一些非限制性实施例或方面，所述一个或多个指令进一步使所述至少一个处理器基于所述聚合机器学习模型的所述运行时输出执行动作。

在一些非限制性实施例或方面，使所述至少一个处理器生成所述聚合机器学习模型的所述一个或多个指令使所述至少一个处理器基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述一个或多个指令进一步使所述至少一个处理器基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

在一些非限制性实施例或方面，所述一个或多个指令进一步使所述至少一个处理器将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述一个或多个指令进一步使所述至少一个处理器将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

在一些非限制性实施例或方面，使所述至少一个处理器选择所述第一多个监督机器学习模型的所述一个或多个指令使所述至少一个处理器基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述一个或多个指令进一步使所述至少一个处理器基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，使所述至少一个处理器选择所述第二多个无监督机器学习模型的所述一个或多个指令使所述至少一个处理器基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述一个或多个指令进一步使所述至少一个处理器基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

在以下编号条款中阐述其它实施例：

条款1：一种用于利用机器学习模型聚合学习以防止模型性能退化的系统，所述系统包括：至少一个处理器，其被编程或配置成：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

条款2：根据条款1所述的系统，其中当将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集时，所述至少一个处理器被进一步编程或配置成：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

条款3：根据条款1或2所述的系统，其中所述至少一个处理器被进一步编程或配置成：基于所述聚合机器学习模型的所述运行时输出执行动作。

条款4：根据条款1至3中任一项所述的系统，其中当生成所述聚合机器学习模型时，所述至少一个处理器被编程或配置成：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

条款5：根据条款1至4中任一项所述的系统，其中所述至少一个处理器被进一步编程或配置成：将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

条款6：根据条款1至5中任一项所述的系统，其中当选择所述第一多个监督机器学习模型时，所述至少一个处理器被编程或配置成：基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且其中当选择所述第二多个无监督机器学习模型时，所述至少一个处理器被编程或配置成：基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

条款7：根据条款1至6中任一项所述的系统，其中监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量；并且其中无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

条款8：一种用于利用机器学习模型聚合学习以防止模型性能退化的方法，所述方法包括：利用至少一个处理器接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；利用至少一个处理器将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；利用至少一个处理器选择第一多个监督机器学习模型；利用至少一个处理器选择第二多个无监督机器学习模型；利用至少一个处理器基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；利用至少一个处理器基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及利用至少一个处理器基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

条款9：根据条款8所述的系统，其中将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集包括：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

条款10：根据条款8或9所述的方法，还包括基于所述聚合机器学习模型的所述运行时输出执行动作。

条款11：根据条款8至10中任一项所述的方法，其中生成所述聚合机器学习模型包括：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

条款12：根据条款8至11中任一项所述的方法，还包括：将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

条款13：根据条款8至12中任一项所述的方法，其中选择所述第一多个监督机器学习模型包括：基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且其中选择所述第二多个无监督机器学习模型包括：基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

条款14：根据条款8至13中任一项所述的方法，其中监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量；并且其中无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

条款15：一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机程序产品，所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

条款16：根据条款15所述的计算机程序产品，其中使所述至少一个处理器将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例的所述一个或多个指令使所述至少一个处理器：将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

条款17：根据条款15或16所述的计算机程序产品，其中所述一个或多个指令进一步使所述至少一个处理器：基于所述聚合机器学习模型的所述运行时输出执行动作。

条款18：根据条款15至17中任一项所述的计算机程序产品，其中使所述至少一个处理器生成所述聚合机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

条款19：根据条款15至18中任一项所述的计算机程序产品，其中所述一个或多个指令进一步使所述至少一个处理器：将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

条款20：根据条款15至19中任一项所述的计算机程序产品，其中使所述至少一个处理器选择所述第一多个监督机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且其中使所述至少一个处理器选择所述第二多个无监督机器学习模型的所述一个或多个指令使所述至少一个处理器：基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

在参考附图考虑以下描述和所附权利要求书之后，本公开的这些和其它特征和特性以及相关结构元件和各部分的组合的操作方法和功能以及制造经济性将变得更加显而易见，所有附图形成本说明书的部分，其中相似附图标号在各图中标示对应部分。然而，应明确地理解，图式仅用于说明及描述的目的，且不希望作为对本公开的限制的定义。除非上下文另外明确规定，否则在本说明书和权利要求书中使用时，单数形式“一”和“所述”包括多个指示物。

附图说明

图1是其中可以根据本公开的原理实施本文中所描述的系统、装置、产品、设备和/或方法的环境的非限制性实施例或方面的图；

图2是图1的一个或多个装置和/或一个或多个系统的组件的非限制性实施例或方面的图；

图3是使用监督和无监督技术基于聚合学习方法生成机器学习模型的过程的非限制性实施例或方面的流程图；以及

图4A-4E是使用监督和无监督技术基于聚合学习方法生成机器学习模型的过程的实施方案的非限制性实施例或方面的图。

具体实施方式

下文出于描述的目的，术语“端”、“上”、“下”、“右”、“左”、“竖直”、“水平”、“顶部”、“底部”、“横向”、“纵向”以及其衍生词应涉及本公开如其在附图中的定向。然而，应理解，除了明确指定相反情况之外，本公开可以采用各种替代变化和步骤序列。还应理解，附图中示出的以及在以下说明书中描述的特定装置和过程仅仅是本公开的示例性实施例。因此，除非另有指示，否则与本文公开的实施例的实施例相关的特定维度和其它物理特性不应被视为限制。

本文所使用的方面、组件、元件、结构、动作、步骤、功能、指令等都不应当被理解为关键的或必要的，除非明确地如此描述。另外，如本文所使用，冠词“一”希望包括一个或多个项目，且可与“一个或多个”和“至少一个”互换使用。此外，如本文所使用，术语“集合”希望包括一个或多个项目(例如，相关项目、不相关项目、相关项目与不相关项目的组合等)，并且可与“一个或多个”或“至少一个”互换使用。在希望仅有一个项目的情况下，使用术语“一个”或类似语言。且，如本文中所使用，术语“具有”等希望是开放式术语。另外，除非另外明确陈述，否则短语“基于”希望意味着“至少部分地基于”。在适当的情况下，短语“基于”还可以意指“响应于”。

如本文所使用，术语“通信”和“传达”可以指信息(例如，数据、信号、消息、指令、命令等)的接收、接纳、发送、传送、预配等。一个单元(例如，装置、系统、装置或系统的组件、其组合等)与另一单元通信意味着所述一个单元能够直接或间接地从所述另一单元接收信息和/或向所述另一单元传递(例如，发送)信息。这可以指代本质上有线和/或无线的直接或间接连接。另外，尽管所发送的信息可以在第一单元与第二单元之间被修改、处理、中继和/或路线，但这两个单元也可以彼此通信。例如，即使第一单元被动地接收信息且不会主动地将信息发送到第二单元，第一单元也可与第二单元通信。作为另一实例，如果至少一个中间单元(例如，位于第一单元与第二单元之间的第三单元)处理从第一单元接收的信息且将处理后的信息发送到第二单元，则第一单元可与第二单元通信。在一些非限制性实施例中，消息可以指包括数据的网络数据包(例如，数据包等)。

如本文所使用，术语“发行方”、“发行方机构”、“发行方银行”或“支付装置发行方”可指向个体(例如，用户、客户等)提供用于进行例如信用卡支付交易和/或借记卡支付交易的支付交易的账户的一个或多个实体。例如，发行方机构可向客户提供唯一地标识与所述客户相关联的一个或多个账户的账户标识符，例如主账号(PAN)。在一些非限制性实施例中，发行方可以与唯一地标识发行方机构的银行标识号(BIN)相关联。如本文所使用，“发行方系统”可以指由发行方或代表发行方操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的服务器。例如，发行方系统可包括用于授权交易的一个或多个授权服务器。

如本文中所使用，术语“交易服务提供商”可以指接收来自商家或其它实体的交易授权请求且在一些情况下通过交易服务提供商与发行方机构之间的协议来提供支付保证的实体。例如，交易服务提供商可包括支付网络，例如Ameri can或处理交易的任何其它实体。如本文中所使用，术语“交易服务提供商系统”可以指由交易服务提供商或代表交易服务提供商操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的交易服务提供商系统。交易服务提供商系统可以包括一个或多个处理器，且在一些非限制性实施例中，可以由交易服务提供商或代表交易服务提供商操作。

如本文所使用，术语“商家”可以指基于支付交易等交易向用户(例如，客户、消费者等)提供商品和/或服务和/或对商品和/或服务的访问的一个或多个实体(例如，零售业务的运营商)。如本文所使用，“商家系统”可以指由商家或代表商家操作的一个或多个计算机系统，例如执行一个或多个软件应用程序的服务器。如本文所使用，术语“产品”可以指由商家提供的一个或多个商品和/或服务。

如本文所使用，术语“收单方”可以指由交易服务提供商许可且由交易服务提供商批准以发起涉及与交易服务提供商相关联的支付装置的交易(例如，支付交易)的实体。如本文所使用，术语“收单方系统”也可以指由收单方或代表收单方操作的一个或多个计算机系统、计算机装置等。收单方可发起的交易可包括支付交易(例如，购买、原始信用交易(OCT)、账户资金交易(AFT)等)。在一些非限制性实施例中，收单方可以由交易服务提供商授权以与商家或服务提供商签约，发起涉及与交易服务提供商相关联的支付装置的交易。收单方可以与支付服务商签合约，以使支付服务商能够向商家提供赞助。收单方可以根据交易服务提供商规章监视支付服务商的合规性。收单方可以对支付服务商进行尽职调查，并确保在与受赞助的商家签约之前发生适当的尽职调查。收单方可能对收单方操作或赞助的所有交易服务提供商计划负责任。收单方可以负责收单方支付服务商、由收单方支付服务商赞助的商家等的行为。在一些非限制性实施例中，收单方可以是金融机构，例如银行。

如本文所使用，术语“支付网关”可指实体和/或由此类实体或代表此类实体操作的支付处理系统，所述实体(例如商家服务提供商、支付服务提供商、支付服务商、与收单方有合约的支付服务商、支付集合人(payment aggregator)等)将支付服务(例如交易服务提供商支付服务、支付处理服务等)提供到一个或多个商家。支付服务可以与由交易服务提供商管理的便携式金融装置的使用相关联。如本文所使用，术语“支付网关系统”可指由支付网关或代表支付网关操作的一个或多个计算机系统、计算机装置、服务器、服务器群组等。

如本文所使用，术语“客户端”和“客户端装置”可以指一个或多个计算装置，例如处理器、存储装置和/或访问可由服务器提供的服务的类似计算机组件。在一些非限制性实施例中，客户端装置可包括被配置成与一个或多个网络通信和/或促进支付交易的电子装置，例如但不限于一个或多个台式计算机、一个或多个便携式计算机(例如，平板计算机)、一个或多个移动装置(例如，蜂窝电话、智能手机、个人数字助理、可穿戴装置，例如手表、眼镜、镜片和/或衣服等)，和/或其它类似装置。此外，术语“客户端”还可指拥有、使用和/或操作客户端装置以促进与另一实体的交易的实体。

如本文所使用，术语“服务器”可以指一个或多个计算装置，例如处理器、存储装置和/或类似计算机组件，所述计算装置在例如因特网或私用网络等网络上与客户端装置和/或其它计算装置通信，且在一些示例中，促进其它服务器和/或客户端装置之间的通信。

如本文所使用，术语“系统”可指一个或多个计算装置或计算装置组合，例如但不限于处理器、服务器、客户端装置、软件应用程序和/或其它类似组件。此外，如本文所使用，对“服务器”或“处理器”的参考可指先前所述的陈述为执行先前步骤或功能的服务器和/或处理器、不同的服务器和/或处理器，和/或服务器和/或处理器的组合。例如，如在说明书和权利要求书中所使用，陈述为执行第一步骤或功能的第一服务器和/或第一处理器可指陈述为执行第二步骤或功能的相同或不同服务器和/或处理器。

提供用于使用监督和无监督技术基于聚合学习方法生成机器学习模型的系统、方法和计算机程序产品。本公开的实施例可以包括一种用于利用机器学习模型聚合学习以防止模型性能退化的系统，所述系统包括至少一个处理器，其被编程或配置成：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

在一些非限制性实施例或方面，当将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集时，所述至少一个处理器被进一步编程和/或配置成将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例。所述至少一个处理器被进一步编程和/或配置成将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例。所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

在一些非限制性实施例或方面，所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的所述运行时输出执行动作。在一些非限制性实施例或方面，当生成所述聚合机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出。所述至少一个处理器被进一步编程和/或配置成基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。在一些非限制性实施例或方面，所述至少一个处理器被进一步编程和/或配置成将扰动添加到所述多个数据实例中的一个或多个额外数据实例。所述至少一个处理器被进一步编程和/或配置成将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

在一些非限制性实施例或方面，当选择所述第一多个监督机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量。所述至少一个处理器被进一步编程和/或配置成基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集。在一些非限制性实施例或方面，当选择所述第二多个无监督机器学习模型时，所述至少一个处理器被编程和/或配置成基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量。所述至少一个处理器被进一步编程和/或配置成基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。在一些非限制性实施例或方面，监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

以此方式，本公开的实施例或方面通过组合监督学习和无监督学习使得保持模型新鲜度来生成准确性提高且随时间推移的模型退化减少的机器学习模型。聚合学习系统可以使用包括数据延迟的数据来构建稳健且准确的深度学习模型。在一些非限制性实施例或方面，当模型输入数据中由于市场或技术的突然改变(例如，技术改变、领域改变、市场改变等)而出现新模式时，可以减少或消除模型退化。在一些非限制性实施例或方面，机器学习模型可包括一组多样化的基础模型和多个聚类模型，以保持模型新鲜度和通用性。在一些非限制性实施例或方面，可以产生数据延迟以保持模型新鲜度、减少退化、提高模型对数据改变和/或数据延迟的回弹性，以及提高模型随时间推移的准确性。

现在参考图1，图1是其中可实施本文所描述的装置、系统、方法和/或产品的示例环境100的图。如图1所示，环境100包括聚合学习系统102、用户装置104、数据源106和通信网络108。聚合学习系统102、用户装置104和数据源106可经由有线连接、无线连接或有线和无线连接的组合互连(例如，建立通信连接等)。

聚合学习系统102可包括一个或多个计算装置，所述一个或多个计算装置被配置成经由通信网络108与用户装置104和/或数据源106通信。例如，聚合学习系统102可以包括服务器群组和/或其它类似装置。在一些非限制性实施例或方面，聚合学习系统102可与如本文所描述的交易服务提供商相关联(由交易服务提供商操作)。另外或替代地，聚合学习系统102可以是交易服务提供商系统、发行方系统和/或商家系统的组件。在一些非限制性实施例或方面，聚合学习系统102可包括一个或多个机器学习模型。可以使用无监督和/或监督方法来训练机器学习模型。在一些非限制性实施例或方面，可以使用来自数据源106的数据集来训练机器学习模型。在一些非限制性实施例或方面，来自一个机器学习模型的输出可用作用于训练其它机器学习模型的输入。

用户装置104可包括一个或多个计算装置，所述一个或多个计算装置被配置成经由通信网络108与聚合学习系统102和/或数据源106通信。例如，用户装置104可以包括台式计算机(例如，与服务器通信的客户端装置)、移动装置等。在一些非限制性实施例或方面，用户装置104可与用户(例如，操作装置的个体)相关联。

数据源106可包括用于训练一个或多个机器学习模型的一个或多个数据集。在一些非限制性实施例或方面，数据源106可包括一个或多个静态训练数据集和/或一个或多个实时训练数据集。例如，数据源106可包括实时训练数据集，所述实时训练数据集可以不断用新数据更新。在一些非限制性实施例或方面，数据源106可包括先前已编译并存储在数据源106中的静态训练数据集。以此方式，静态训练数据集可以不接收新数据。可以经由通信网络108更新数据源106。数据源106可以被配置成经由通信网络108与聚合学习系统102和/或用户装置104通信。在一些非限制性实施例或方面，数据源106可以用来自一个或多个机器学习模型的新数据更新。例如，来自一个或多个机器学习模型的输出可以被传送到数据源106以进行存储。在一些非限制性实施例或方面，来自存储在数据源106中的一个或多个机器学习模型的输出可用作用于未来训练的一个或多个其它机器学习模型的输入。

通信网络108可包括一个或多个有线和/或无线网络。例如，通信网络108可包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代网络(5G)网络、码分多址(CDMA)网络等)、公用陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网络(PSTN))、专用网络、自组网络、内联网、因特网、基于光纤的网络、云计算网络等，和/或这些或其它类型的网络的组合。

作为示例提供图1所示的系统和/或装置的数目和布置。可存在额外系统和/或装置、更少系统和/或装置、不同的系统和/或装置，或以与图1所示的那些不同的方式布置的系统和/或装置。此外，可在单个系统和/或单个装置内实施图1所示的两个或更多个系统和/或装置，或图1所示的单个系统或单个装置可实施为多个分布式系统或装置。另外或替代地，环境100的一组系统或一组装置(例如，一个或多个系统、一个或多个装置)可执行被描述为由环境100的另一组系统或另一组装置执行的一个或多个功能。

现在参考图2，图2是装置200的示例组件的图。装置200可对应于聚合学习系统102(例如，聚合学习系统102的一个或多个装置)、用户装置104和/或数据源106。在一些非限制性实施例或方面，聚合学习系统102、用户装置104和/或数据源106可包括至少一个装置200。如图2所示，装置200可以包括总线202、处理器204、存储器206、存储组件208、输入组件210、输出组件212和通信接口214。

总线202可包括准许装置200的组件之间的通信的组件。在一些非限制性实施例或方面，处理器204可以硬件、软件，或硬件和软件的组合实施。例如，处理器204可包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等)、微处理器、数字信号处理器(DSP)和/或可以被编程为执行功能的任何处理组件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)。存储器206可包括随机存取存储器(RAM)、只读存储器(ROM)，和/或存储供处理器204使用的信息和/或指令的另一类型的动态或静态存储装置(例如，闪存存储器、磁存储器、光学存储器等)。

存储组件208可存储与装置200的操作和使用相关联的信息和/或软件。例如，存储组件208可包括硬盘(例如，磁盘、光盘、磁光盘、固态磁盘等)、压缩光盘(CD)、数字多功能光盘(DVD)、软盘、盒带、磁带和/或另一类型的计算机可读介质，以及对应的驱动器。在一些非限制性实施例或方面，存储组件208可对应于数据源106。

输入组件210可包括准许装置200例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风、摄像头等)接收信息的组件。另外或替代地，输入组件210可包括用于感测信息的传感器(例如全球定位系统(GPS)组件、加速度计、陀螺仪、致动器等)。输出组件212可以包括提供来自装置200的输出信息的组件(例如，显示器、扬声器、一个或多个发光二极管(LED)等)。

通信接口214可以包括收发器式组件(例如，收发器、独立的接收器和发送器等)，所述收发器式组件使装置200能够例如经由有线连接、无线连接，或有线连接和无线连接的组合与其它装置通信。通信接口214可以准许装置200接收来自另一装置的信息和/或向另一装置提供信息。例如，通信接口214可以包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、接口、/>接口、/>接口、蜂窝网络接口等。

装置200可以执行本文描述的一个或多个过程。装置200可以基于处理器204执行由例如存储器206和/或存储组件208的计算机可读介质存储的软件指令来执行这些过程。计算机可读介质(例如，非瞬态计算机可读介质)在本文中定义为非瞬态存储器装置。非瞬态存储器装置包括位于单个物理存储装置内部的存储器空间或散布于多个物理存储装置上的存储器空间。

软件指令可以经由通信接口214从另一计算机可读介质或从另一装置读取到存储器206和/或存储组件208中。在被执行时，存储在存储器206和/或存储组件208中的软件指令可以使处理器204执行本文描述的一个或多个过程。另外或替代地，硬接线电路可替代或结合软件指令使用以执行本文中所描述的一个或多个过程。因此，本文所描述的实施例不限于硬件电路和软件的任何特定组合。

存储器206和/或存储组件208可包括数据存储装置或一个或多个数据结构(例如数据库等)。装置200能够从存储器206和/或存储组件208中的数据存储装置或一个或多个数据结构接收信息、将信息存储于所述数据存储装置或一个或多个数据结构中、向所述数据存储装置或一个或多个数据结构传达信息或搜索其中存储的信息。例如，信息可以包括输入数据、输出数据、交易数据、账户数据或其任何组合。

提供图2中示出的组件的数目和布置作为示例。在一些非限制性实施例或方面，与图2中所示的那些相比，装置200可以包括额外组件、更少组件、不同组件或以不同方式布置的组件。另外或替代地，装置200的一组组件(例如一个或多个组件)可执行被描述为由装置200的另一组组件执行的一个或多个功能。

现在参考图3，图3是使用监督和无监督技术基于聚合学习方法生成机器学习模型的过程300的非限制性实施例或方面的流程图。在一些非限制性实施例或方面，可以由聚合学习系统102(例如，完全、部分地等)执行关于过程300描述的一个或多个功能。在一些非限制性实施例或方面，过程300的一个或多个步骤可由与聚合学习系统102分离或包括所述聚合学习系统的另一装置或装置群组(例如，用户装置104)(例如，完全地、部分地等)执行。

如图3所示，在步骤302，过程300可以包括接收训练数据集。在一些非限制性实施例或方面，聚合学习系统102可以接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列。例如，聚合学习系统102可以从数据源106接收实时和/或静态训练数据集，以用于训练一个或多个机器学习模型。在一些非限制性实施例或方面，静态训练数据集可包括存储在存储组件中和/或存储在数据源106中的预定义训练数据集。在一些非限制性实施例或方面，当正在收集数据时，聚合学习系统102可以实时接收训练数据集作为时间排序数据集。在一些非限制性实施例或方面，聚合学习系统102可以接收对应于来自一个或多个机器学习模型的输出的训练数据集。

在一些非限制性实施例或方面，训练数据集的多个数据实例中的每个数据实例可以表示事件，例如在与用户装置104相关联的用户和与商家系统相关联的商家之间的电子支付交易(例如，电子信用卡支付交易、电子借记卡支付交易等)。在一些非限制性实施例或方面，可以相对于事件实时地接收每个数据实例。在一些非限制性实施例或方面，可以将每个数据实例存储并编译成训练数据集以用于未来训练。在一些非限制性实施例或方面，每个数据实例可以包括与电子支付交易相关联的交易数据。在一些非限制性实施例或方面，交易数据可以包括与电子支付交易相关联的交易参数。交易参数可以包括：与电子卡相关联的电子钱包卡数据(例如，电子信用卡、电子借记卡、电子忠诚卡等)、与决策相关联的决策数据(例如，批准或拒绝交易授权请求的决策)、与授权响应相关联的授权数据(例如，批准的支出限额、批准的交易值等)、PAN、授权代码(例如，PIN等)、与交易金额相关联的数据(例如，批准的限额、交易值等)、与交易日期和时间相关联的数据、与货币汇率相关联的数据、与商家类型相关联的数据(例如，商品、杂货、燃料等)、与收单机构国家相关联的数据、与和PAN相关联的国家的标识符相关联的数据、与响应代码相关联的数据、与商家标识符相关联的数据(例如，商家名称、商家位置等)、与对应于与PAN相关联地存储的资金的货币类型相关联的数据等。

在一些非限制性实施例或方面，预测分类值可包括与事件相关联的时间量。例如，预测分类值可以表示完成事件所花费的时间量。在一个示例中，预测分类值可以表示清除(例如，涉及将例如呈电子支付请求形式的支付承诺变成电子资金从一个账户到另一个账户的实际移动的过程)与用户装置104相关联的用户和与商家系统相关联的商家之间的电子支付交易所花费的时间量(例如，天数)。

在一些非限制性实施例或方面，聚合学习系统102可以基于一个或多个训练过的机器学习模型的输出来生成训练数据集。例如，聚合学习系统102可以将数据集的每个数据实例作为输入提供到训练过的机器学习模型，并且聚合学习系统102可以针对数据集的每个数据实例生成训练过的机器学习模型的输出作为输入。

在一些非限制性实施例或方面，聚合学习系统102可以确定数据集的每个数据实例的分类(例如，预测分类、初始预测分类等)。例如，聚合学习系统102可以通过将初始输入提供到一个或多个训练过的机器学习模型(例如，包括随机森林、多层感知器和/或例如深度神经网络等神经网络的训练过的机器学习模型)来确定初始输入的分类，并且确定作为来自机器学习模型的输出的分类。在一些非限制性实施例或方面，一个或多个训练过的机器学习模型可以是包括深度学习网络的机器学习分类器。在一些非限制性实施例或方面，分类可以与包括成员群组的类别相关联，并且分类可以指在所述类别中的所述群组的成员之间共享的特征。在一些非限制性实施例或方面，聚合学习系统102可以将训练数据集存储在数据库中。

在一些非限制性实施例或方面，与预测矩阵相关联的多个值中的每个值可以包括表示一个或多个数据实例的预测分类值(例如，时间量，例如天数)与一个或多个数据实例的基本真值之间的误差值。预测矩阵的值可以包括一个或多个数据实例的第一基本真值与一个或多个数据实例的第一预测分类值之间的误差值、一个或多个数据实例的第二基本真值与一个或多个数据实例的第一预测分类值之间的误差值、一个或多个数据实例的第一基本真值与一个或多个数据实例的第二预测分类值之间的误差值、一个或多个数据实例的第三基本真值与一个或多个数据实例的第一预测分类值之间的误差值、一个或多个数据实例的第一基本真值与一个或多个数据实例的第三预测分类值之间的误差值、一个或多个数据实例的第三基本真值与一个或多个数据实例的第二预测分类值之间的误差值、一个或多个数据实例的第二基本真值与一个或多个数据实例的第三预测分类值之间的误差值，等等。在一些非限制性实施例或方面，与预测矩阵相关联的多个值可以包括多个事件的上误差值(例如，上对角误差值)和多个事件的下误差值(例如，下对角误差值)。在一些非限制性实施例或方面，上误差值包括与事件的预测分类值大于事件的基本真值相关联的误差值。在一些非限制性实施例或方面，下误差值可以包括与事件的预测分类值小于事件的基本真值相关联的误差值。在一些非限制性实施例或方面，与预测矩阵相关联的多个值可以包括正确预测值，其可以包括与事件的预测分类值等于事件的基本真值相关联的值。

在一些非限制性实施例或方面，聚合学习系统102可以生成一个或多个训练过的机器学习模型。例如，聚合学习系统102可以基于训练数据集生成训练过的机器学习模型以提供数据实例的预测分类，所述数据实例是例如与事件相关联的数据实例。

在一些非限制性实施例或方面，一个或多个训练过的机器学习模型可以包括被设计成接收与事件相关联的数据实例作为输入并且提供数据实例的预测分类作为输出的机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以存储训练过的机器学习模型(例如，供以后使用)。

在一些非限制性实施例或方面，如本文中所描述，聚合学习系统102可处理与事件相关联的数据实例(例如，与事件相关联的历史数据实例)，以获得用于机器学习模型的训练数据(例如，训练数据集)。例如，聚合学习系统102可以处理数据，以将数据改变为可以(例如，由聚合学习系统102)进行分析以生成一个或多个训练过的机器学习模型的格式。改变的数据(例如，由改变产生的数据)可被称为训练数据。在一些非限制性实施例或方面，聚合学习系统102可以基于接收数据实例来处理与事件相关联的数据实例，以获得训练数据。另外或替代地，聚合学习系统102可以基于聚合学习系统102从聚合学习系统102的用户(例如，与用户装置104相关联的用户)接收到聚合学习系统102将处理数据的指示，例如当聚合学习系统102接收到生成用于预测事件的分类的机器学习模型的指示时，处理数据以获得训练数据。

在一些非限制性实施例或方面，聚合学习系统102可以通过基于数据确定预测变量来处理与事件相关联的数据实例。预测变量可包括与事件相关联的度量，所述度量可基于与事件相关联的数据实例导出。可以分析预测变量以生成训练过的机器学习模型。例如，预测变量可以包括与事件时间相关联的变量、与事件参数相关联的变量、与事件方面发生的次数相关联的变量等。

在一些非限制性实施例或方面，聚合学习系统102可以分析训练数据以生成一个或多个训练过的机器学习模型。例如，聚合学习系统102可以使用机器学习技术来分析训练数据以生成训练过的机器学习模型。在一些非限制性实施例或方面，生成训练过的机器学习模型(例如，基于训练数据)可以被称为训练机器学习模型。机器学习技术可以包括例如监督和/或无监督技术，例如决策树、随机森林、逻辑回归、线性回归、梯度提升、支持向量机、额外树(例如，随机森林的扩展)、贝叶斯统计、学习自动机、隐式马尔可夫建模、线性分类器、二次分类器、关联规则学习等。在一些非限制性实施例或方面，机器学习模型可包括对特定特性特定的模型，例如对事件中涉及的特定实体特定的模型、事件发生的特定时间间隔等。另外或替代地，机器学习模型可以专门针对涉及事件的特定实体(例如，商家等商业实体、例如由发行方发行的账户的账户持有人等消费者实体、发行方等)。在一些非限制性实施例或方面，聚合学习系统102可以为一个或多个实体、特定实体群组和/或一个或多个实体的一个或多个用户生成一个或多个训练过的机器学习模型。

另外或替代地，当分析训练数据时，聚合学习系统102可以标识一个或多个变量(例如，一个或多个自变量)，作为可用于在分析训练数据时进行预测的预测变量(例如，特征)。在一些非限制性实施例或方面，预测变量的值可以是机器学习模型的输入。例如，聚合学习系统102可以将变量的子集(例如，适当子集)标识为可用于准确预测事件分类的预测变量。在一些非限制性实施例或方面，如上所论述，预测变量可以包括预测变量中对如由聚合学习系统102确定的事件的预测分类具有显著影响(例如，满足阈值的影响)的一个或多个预测变量。

在一些非限制性实施例或方面，聚合学习系统102可以验证机器学习模型。例如，在聚合学习系统102生成机器学习模型之后，聚合学习系统102可以验证机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于待用于验证的训练数据的一部分来验证机器学习模型。例如，聚合学习系统102可以将训练数据分成第一部分和第二部分，其中第一部分可以用于生成机器学习模型，如上文所描述。

在一些非限制性实施例或方面，聚合学习系统102可以通过提供与用户相关联的验证数据(例如，与涉及用户的一个或多个事件相关联的数据)作为对机器学习模型的输入，以及基于机器学习模型的输出确定机器学习模型是正确地还是错误地预测事件的分类，来验证机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于验证阈值来验证机器学习模型。例如，聚合学习系统102可以被配置成当由机器学习模型正确地预测多个事件的分类(如由验证数据标识)时验证机器学习模型(例如，当机器学习模型正确地预测多个事件的分类的50％、多个事件的分类的70％、多个事件的分类的阈值量等时)。

在一些非限制性实施例或方面，如果聚合学习系统102未验证机器学习模型(例如，当多个事件的正确预测分类的百分比不满足验证阈值时)，则聚合学习系统102可以生成一个或多个额外机器学习模型。

在一些非限制性实施例或方面，一旦机器学习模型已被验证，则聚合学习系统102可以进一步训练机器学习模型和/或基于接收新训练数据来生成新机器学习模型。新训练数据可以包括与一个或多个事件相关联的额外数据。在一些非限制性实施例或方面，新训练数据可包括与额外多个事件相关联的数据。聚合学习系统102可以使用机器学习模型来预测额外多个事件的分类并将机器学习模型的输出与新训练数据进行比较。在此类示例中，聚合学习系统102可基于新训练数据更新一个或多个训练过的机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以存储训练过的机器学习模型。例如，聚合学习系统102可以将训练过的机器学习模型存储在数据结构(例如，数据库、链表、树等)中。数据结构可以位于聚合学习系统102内或聚合学习系统102外部(例如，远离聚合学习系统)。

如图3所示，在步骤304，过程300可包括添加扰动。在一些非限制性实施例或方面，聚合学习系统102可以将扰动添加到多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。在一些非限制性实施例或方面，聚合学习系统102可以将时间延迟量添加到多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。例如，聚合学习系统102可以通过以指定时间间隔将新的和/或预先存在的数据实例插入到多个数据实例中来将时间延迟添加到多个数据实例中的一个或多个数据实例。另外或替代地，将新的和/或预先存在的数据实例插入多个数据实例中的时间间隔可以是随机的。在一些非限制性实施例或方面，聚合学习系统102可以通过以指定时间间隔从多个数据实例移除数据实例来将时间延迟添加到多个数据实例中的一个或多个数据实例。另外或替代地，从多个数据实例移除数据实例的时间间隔可以是随机的。在一些非限制性实施例或方面，可以在多个数据实例内连续地生成时间延迟。另外或替代地，可以以从等于0的时间到所选择的上限的特定间隔生成时间延迟。

在一些非限制性实施例或方面，聚合学习系统102可以通过将当前实时和与数据实例相关联的事件的预定时间进行比较来将时间延迟添加到多个数据实例中的一个或多个数据实例。在一些非限制性实施例或方面，当前实时可以包括在执行动作的时刻测量的时间(例如，当添加时间延迟时、当对训练数据集训练模型时、当模型读取数据实例时等)。在一些非限制性实施例或方面，聚合学习系统102可以将扰动添加到多个数据实例中的一个或多个额外数据实例。在一些非限制性实施例或方面，聚合学习系统102可以将多个数据实例中的一个或多个额外数据实例添加到经扩增的训练数据集。在一些非限制性实施例或方面，扰动可包括添加到多个数据实例中的一个或多个数据实例的小改变(例如，添加噪声、数据变形、新数据序列等)。在一些非限制性实施例或方面，聚合学习系统102可以使用对抗训练技术(例如，中毒法、快速梯度符号法、视觉相似性、语义相似性等)将扰动添加到一个或多个数据实例。

如图3所示，在步骤306，过程300可包括选择机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以选择第一多个监督机器学习模型。例如，聚合学习系统102可以基于多个监督模型的分类输出来选择第一多个训练过的和/或未训练的监督机器学习模型。在一些非限制性实施例或方面，训练过的机器学习模型的输出可以包括例如实时事件等作为输入提供的事件的预测分类值。在一些非限制性实施例或方面，训练过的监督机器学习模型的输出可以包括事件的预测分类值，其中所述事件不是与用于训练所述训练过的监督机器学习模型的数据集的数据实例相关联的事件。

在一些非限制性实施例或方面，聚合学习系统102可以通过基于经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对例如时间延迟等扰动的灵敏度度量来选择第一多个监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于每个监督机器学习模型对时间延迟的灵敏度度量来选择一组监督机器学习模型的子集。在一些非限制性实施例或方面，机器学习模型(例如，监督机器学习模型或无监督机器学习模型)对时间延迟的灵敏度度量可以包括机器学习模型相对于训练数据集与相对于经扩增的训练数据集相比的准确性改变的度量。

在一些非限制性实施例或方面，聚合学习系统102可以使用第一多个监督机器学习模型来进行聚合学习。在一些非限制性实施例或方面，使用第一多个监督机器学习模型利用聚合学习系统102的聚合学习可以基于贝叶斯最优分类器、提升算法(Boosting)、贝叶斯模型平均、模型桶等。另外或替代地，使用第一多个监督机器学习模型的聚合学习可以基于叠加多个机器学习模型，其中一个或多个机器学习模型使用其它机器学习模型的输出作为训练的输入。

在一些非限制性实施例或方面，聚合学习可包括使用来自两个或更多个机器学习模型的输出训练一个或多个机器学习模型(例如，包括随机森林、多层感知器和/或例如深度神经网络等神经网络的训练过的机器学习模型)的机器学习过程，所述两个或更多个机器学习模型使用与到一个或多个机器学习模型(例如，被训练的一个或多个机器学习模型)的输入相同的训练数据集单独地训练过。在一些非限制性实施例或方面，可使用算法在聚合学习过程期间训练机器学习模型。例如，在聚合学习过程期间使用的算法可包括加权平均、叠加泛化(例如，叠加)、自举聚合(例如，装袋算法(bagging))、提升算法等。

在一些非限制性实施例或方面，聚合学习系统102可以接收与训练数据集相关联的数据，并且聚合学习系统102可以将与训练数据集相关联的数据提供为一个或多个训练过的机器学习模型的输入。聚合学习系统102可以基于输入生成来自一个或多个训练过的机器学习模型的输出。在一些非限制性实施例或方面，来自训练过的监督机器学习模型的输出可以包括多个预测分类值。所述多个预测分类值可以包括训练过的机器学习模型被配置成为其提供预测的每个分类(例如，每个类别标签)的预测分类值。

在一些非限制性实施例或方面，聚合学习系统102可以选择第二多个无监督机器学习模型。例如，聚合学习系统102可以基于多个无监督模型的数据集群的输出来选择第二多个训练过的和/或未训练的无监督机器学习模型。在一些非限制性实施例或方面，一个或多个训练过的无监督机器学习模型的输出可以包括例如实时事件和/或数据实例等作为输入提供的事件和/或数据实例的预测聚类值。在一些非限制性实施例或方面，一个或多个训练过的无监督机器学习模型的输出可以包括事件的预测分类值，其中所述事件不是与用于训练一个或多个无监督机器学习模型的数据集的数据实例相关联的事件。

在一些非限制性实施例或方面，聚合学习系统102可以通过基于经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量来选择第二多个无监督机器学习模型。聚合学习系统102可以基于每个无监督机器学习模型对时间延迟的灵敏度度量来选择一组无监督机器学习模型的子集。

在一些非限制性实施例或方面，聚合学习系统102可以使用第二多个无监督机器学习模型来进行聚合学习。使用第二多个无监督机器学习模型利用聚合学习系统102的聚合学习可以基于聚类模型(例如，组合聚类模型、共关联、元聚类、排他聚类等)。

在一些非限制性实施例或方面，聚合学习系统102可以接收与训练数据集相关联的多个数据实例，并且聚合学习系统102可以将与训练数据集相关联的多个数据实例提供为一个或多个训练过的机器学习模型的输入。聚合学习系统102可以基于输入生成来自一个或多个训练过的机器学习模型的输出。在一些非限制性实施例或方面，来自一个或多个训练过的无监督机器学习模型的输出可以包括多个聚类值。多个聚类值可以包括训练过的机器学习模型被配置成为其提供聚类数据预测的每个集群的质心值(例如，k均值聚类的k中心)。

在一些非限制性实施例或方面，聚合学习系统102可以基于经扩增的训练数据集训练第一多个监督机器学习模型和第二多个无监督机器学习模型。例如，聚合学习系统102可以通过将经扩增的训练数据集作为输入提供给第一多个监督机器学习模型中的每个监督机器学习和第二多个无监督机器学习模型中的每个无监督机器学习模型来训练第一多个监督机器学习模型和第二多个无监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以将未修改的训练数据集作为输入提供给第一多个机器学习模型和第二多个机器学习模型。

如图3所示，在步骤308，过程300可包括生成聚合机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于第一多个监督机器学习模型的输出和第二多个无监督机器学习模型的输出生成聚合机器学习模型。例如，聚合学习系统102可以通过将来自每个监督机器学习模型的分类得分和来自每个无监督机器学习模型的聚类值提供给另一个机器学习以用于训练所收集输出值来生成聚合机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于第一多个监督机器学习模型的输出和第二多个无监督机器学习模型的输出通过聚合学习来生成聚合机器学习模型。在一些非限制性实施例或方面，生成的聚合模型可以通过使用反馈循环而基于其自身的输出来训练。

如图3所示，在步骤310，过程300可以包括生成运行时输出。在一些非限制性实施例或方面，聚合学习系统102可以基于聚合机器学习模型的运行时输入生成聚合机器学习模型的运行时输出。在一些非限制性实施例或方面，运行时输出可以包括当执行聚合学习系统102在生产环境中时由聚合学习系统102生成的输出。在一些非限制性实施例或方面，运行时输入可以包括当聚合学习系统102在生产环境中执行时由聚合学习系统102接收的输入。

在一些非限制性实施例或方面，运行时可包括当聚合学习系统102在生产环境中执行时的时间段。例如，当聚合学习系统102被置于由用户预期使用的操作中时，并且当聚合学习系统102正在生产硬件上执行以用于聚合学习系统102的每日操作时，聚合学习系统102可以处于运行时。换句话说，运行时可包括当聚合学习系统102作为实时服务向客户端提供时的时间段。在一些非限制性实施例或方面，运行时可以指聚合学习系统的状态。例如，聚合学习系统102可以处于运行时(例如，聚合学习系统102是实时的)，而不是开发或测试状态。

在一些非限制性实施例或方面，聚合学习系统102可以在运行时期间针对提供给聚合机器学习模型的交易数据输入实时地生成具有聚合机器学习模型的最终预测输出。在一些非限制性实施例或方面，聚合机器学习模型的准确性可以大于单独的监督和无监督机器学习模型的准确性。在一些非限制性实施例或方面，聚合机器学习模型的准确性可以大于单独的监督机器学习模型和单独的无监督机器学习模型随时间推移的准确性。

在一些非限制性实施例或方面，实时可以包括关于事件发生的时刻(例如，关于交易的实时、关于数据读取或写入的实时等)，其中响应可以在指定时间内发生，通常是相对较短的时间。例如，实时可以指与对应数据实例的收集和存储同时地或之后不久(例如，在毫秒范围内)将扰动添加到数据实例的时刻。作为另一示例，可相对于与接收实时输入同时地或在毫秒范围内的实时输入生成实时输出(例如，与交易发起同时地或在交易发起之后不久批准交易)。

现在参考图4A-4E，图4A-4E是使用监督和无监督技术基于聚合学习方法生成机器学习模型的过程(例如，过程300)的实施方案400的图。如图4A-4E所示，实施方案400可以包括聚合学习系统102执行所述过程的步骤。

如图4A的参考标号510所示，聚合学习系统102可以接收多个数据实例的训练数据集。在一些非限制性实施例或方面，聚合学习系统102可以接收存储在存储组件中的预先存在的训练数据集。在一些非限制性实施例或方面，聚合学习系统102可以接收实时生成的训练数据集。例如，当正在收集图像数据时，聚合学习系统102可以接收实时图像数据(例如，视频数据、医疗成像数据等)。作为另一示例，当客户发起的交易正被处理时，聚合学习系统102可以接收实时交易数据。

在一些非限制性实施例或方面，训练数据集可包括来自一个或多个机器学习模型的输出。在一些非限制性实施例或方面，训练数据集可包括完整数据集或不完整数据集。在其它非限制性实施例或方面，训练数据集可包括来自多个不同数据集的数据。

如图4B的参考标号515所示，聚合学习系统102可以将时间延迟量添加到多个数据实例中的一个或多个数据实例。在一些非限制性实施例或方面，聚合学习系统102可以通过以指定时间间隔将新的和/或预先存在的数据实例插入到多个数据实例中来将时间延迟量添加到多个数据实例中的一个或多个数据实例。在一些非限制性实施例或方面，将新的和/或预先存在的数据实例插入多个数据实例中的时间间隔可以是随机的。在一些非限制性实施例或方面，聚合学习系统102可以通过以指定时间间隔从多个数据实例移除数据实例来将时间延迟量添加到多个数据实例中的一个或多个数据实例。在一些非限制性实施例或方面，从多个数据实例移除数据实例的时间间隔可以是随机的。在一些非限制性实施例或方面，可以在多个数据实例内连续地生成时间延迟量。另外或替代地，可以以从等于0的时间到所选择的上限的特定时间间隔生成时间延迟。聚合学习系统102可以将时间延迟量添加到一个或多个标记数据实例和/或一个或多个未标记数据实例。在一些非限制性实施例或方面，可以将时间延迟量输入到被训练的一个或多个监督模型和/或一个或多个无监督模型。

在一些非限制性实施例或方面，聚合学习系统102可以将其它扰动添加到多个数据实例中的一个或多个数据实例。例如，聚合学习系统102可以在将空间变形的量添加到分段图像数据中的图像分段。作为另一示例，聚合学习系统102可以扰动被训练的机器学习模型的模型权重。聚合学习系统102可以通过将对抗示例添加到多个数据实例中的一个或多个数据实例(例如，修改数据、错误标记数据、添加噪声等)来将其它扰动添加到通过聚合学习训练的训练数据集或机器学习模型。

如图4C的参考标号520所示，聚合学习系统102可以选择第一多个监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以通过基于经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量来选择第一多个监督机器学习模型。聚合学习系统102可以基于每个监督机器学习模型对时间延迟的灵敏度度量来选择一组监督机器学习模型的子集。在一些非限制性实施例或方面，监督机器学习模型对时间延迟的灵敏度度量可以包括监督机器学习模型相对于训练数据集与相对于经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，聚合学习系统102可以基于对不同数据具有不同灵敏度度量的监督机器学习模型(例如，基于PAN历史、装置或互联网协议(IP)地址、账户信息等)来选择第一多个监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于机器学习模型算法的类型(例如，支持向量机(SVM)、决策树、神经网络(NN)等)来选择第一多个监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于将用于训练多个监督机器学习模型的训练数据集的大小来选择第一多个监督机器学习模型。在其它非限制性实施例或方面，聚合学习系统102可以基于模型的处理速度来选择第一多个监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于训练数据集中的数据实例的类型、训练数据集的域和/或与训练数据集相关联的使用案例(例如，图像分类、音频分类、文本分类等)来选择第一多个监督机器学习模型。

如图4C的参考标号525所示，聚合学习系统102可以选择第二多个无监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以通过基于经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量来选择第二多个无监督机器学习模型。聚合学习系统102可以基于每个无监督机器学习模型对时间延迟的灵敏度度量来选择一组无监督机器学习模型的子集。在一些非限制性实施例或方面，无监督机器学习模型对时间延迟的灵敏度度量可以包括无监督机器学习模型相对于训练数据集与相对于经扩增的训练数据集相比的准确性改变的度量。在一些非限制性实施例或方面，聚合学习系统102可以基于对不同数据具有不同灵敏度度量的无监督机器学习模型来选择第二多个无监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于机器学习模型算法的类型(例如，主组件分析(PCA)、自动编码器等)来选择第二多个无监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于将用于训练多个无监督机器学习模型的训练数据集的大小来选择第二多个无监督机器学习模型。在其它非限制性实施例或方面，聚合学习系统102可以基于模型的处理速度来选择第二多个无监督机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于训练数据集中的数据实例的类型、训练数据集的域和/或与训练数据集相关联的使用案例(例如，对象标识、客户角色、产品推荐等)来选择第二多个无监督机器学习模型。

如图4C的参考标号530所示，聚合学习系统102可以基于经扩增的训练数据集训练第一多个监督机器学习模型和第二多个无监督机器学习模型。在一些非限制性实施例或方面，可使用单个经扩增的训练数据集训练第一多个监督机器学习模型中的每个监督机器学习模型和第二多个无监督机器学习模型中的每个无监督机器学习模型。在一些非限制性实施例或方面，可使用不同的经扩增的训练数据集训练多个机器学习模型中的每个机器学习模型。在一些非限制性实施例或方面，可使用一个或多个经扩增的训练数据集训练多个机器学习模型中的每个机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以基于监督学习算法训练第一多个监督机器学习模型，所述监督学习算法例如神经网络、朴素贝叶斯、线性回归、逻辑回归、支持向量机、决策树、随机森林等。在一些非限制性实施例或方面，聚合学习系统102可以使用训练数据集中的不同类型的数据实例(例如，基于PAN历史、装置或IP地址、账户信息等)训练第一多个监督机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以基于主组件分析、自动编码器、单值分解、k均值聚类等来训练第二多个无监督机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以使用具有不同时间延迟量的不同训练数据集作为对每个监督和无监督机器学习模型的输入来训练多个机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以使用具有不同采样技术的训练数据集来训练多个机器学习模型，以便最小化数据偏差。

如图4D的参考标号535所示，聚合学习系统102可以基于第一多个监督机器学习模型的输出和第二多个无监督机器学习模型的输出来生成聚合机器学习模型。在一些非限制性实施例或方面，第一多个监督机器学习模型的输出可以包括分类值。在一些非限制性实施例或方面，分类值可对应于监督机器学习模型的性能。在一些非限制性实施例或方面，可以基于输出数据的监督机器学习模型的性能来对多个数据实例中的每个数据实例分配分类值。在一些非限制性实施例或方面，每个监督机器学习模型可以基于训练数据集中的多个数据实例输出一个或多个分类值。在一些非限制性实施例或方面，可以将分类值输入到用于训练的聚合机器学习模型中，以便生成聚合机器学习模型。

在一些非限制性实施例或方面，第二多个无监督机器学习模型的输出可包括数据集群(例如，类似数据对象的集群)。在一些非限制性实施例或方面，数据集群可对应于无监督机器学习模型的性能。在一些非限制性实施例或方面，可以基于输出数据的无监督机器学习模型的性能来对多个数据实例中的每个数据实例分配集群。在一些非限制性实施例或方面，每个无监督机器学习模型可以输出一个或多个集群。在一些非限制性实施例或方面，可以将数据集群输入到用于训练的聚合机器学习模型中，以便生成聚合机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以基于贝叶斯最优分类器、提升算法、贝叶斯模型平均、模型桶、叠加等来生成聚合机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于聚类模型(例如，共关联、元聚类等)的组合来生成聚合机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于作为对聚合机器学习模型的输入的所有监督和无监督机器学习模型输出来生成聚合机器学习模型。在其它非限制性实施例或方面，聚合学习系统102可以基于作为对聚合机器学习模型的输入的一部分监督和无监督机器学习模型输出来生成聚合机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于其它聚合机器学习模型的输出来生成聚合机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以基于第一多个监督机器学习模型的输出和第二多个无监督机器学习模型的输出生成聚合机器学习模型的输出。

如图4D的参考标号540所示，聚合学习系统102可以基于聚合机器学习模型的运行时输入来生成聚合机器学习模型的运行时输出。在一些非限制性实施例或方面，运行时输出可以基于通过将当前实时和与数据实例相关联的事件的预定时间进行比较而确定的添加的时间延迟量。在一些非限制性实施例或方面，当前实时可以包括在执行动作的时刻测量的时间(例如，当添加时间延迟时、当对训练数据集训练模型时、当模型接收数据实例时等)。例如，当聚合学习系统102基于聚合机器学习模型的运行时输入生成聚合机器学习模型的运行时输出时，聚合学习系统102可以通过将由聚合机器学习模型读取输入数据实例的时刻和与输入数据实例相关联的事件的时间进行比较来确定时间延迟量。作为另一示例，聚合学习系统102可以通过将聚合机器学习模型接收交易数据实例作为输入的时间与交易事件发生的时间进行比较来确定时间延迟量。可以基于时间戳或交易等确定交易事件发生的时间。在一些非限制性实施例或方面，基于聚合机器学习模型的运行时输入生成聚合机器学习模型的运行时输出可以相对于接收运行时输入而实时发生。

在一些非限制性实施例或方面，聚合学习系统102可以生成聚合机器学习模型的运行时输出，其中聚合机器学习模型的输出可以包括基于聚合机器学习模型的运行时输入的最终预测。例如，聚合学习系统102可以基于在运行时期间接收的输入到聚合机器学习模型的实时交易数据，生成包括交易批准(例如，待机处理(STIP))的预测的运行时输出。在其它非限制性实施例或方面，聚合学习系统102可以基于在运行时期间接收的实时交易数据输入来生成包括欺诈性交易预测的运行时输出。在一些非限制性实施例或方面，聚合学习系统102可以生成用于反馈循环中的聚合机器学习模型的运行时输出，以向聚合机器学习模型提供额外输入。聚合学习系统102可以提供聚合机器学习模型的反馈循环作为连续反馈循环。替代地，聚合学习系统102可以选择输出的特定实例以作为反馈提供给聚合机器学习模型。在一些非限制性实施例或方面，聚合学习系统102可以基于聚合机器学习模型的输出使用反向传播来训练聚合机器学习模型。

在一些非限制性实施例或方面，聚合学习系统102可以基于聚合机器学习模型的运行时输出来执行动作。例如，在输出预测包括STIP交易批准的情况下，聚合学习系统102可以基于聚合机器学习模型的运行时输出批准或拒绝交易。在一些非限制性实施例或方面，聚合学习系统102可以相对于生成聚合机器学习模型的运行时输出实时地执行动作。

如图4E的参考标号545所示，聚合学习系统102可以将时间延迟量添加到多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。在一些非限制性实施例或方面，聚合学习系统102可以将时间延迟量添加到训练数据集的多个数据实例中的一个或多个数据实例，使得时间延迟量输入到聚合机器学习模型以用于在运行时期间训练和/或生成实时输出。在一些非限制性实施例或方面，时间延迟量可以是输入特征。例如，可以将时间延迟量作为输入特征添加到多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集。另外或替代地，可以将时间延迟量添加为聚合机器学习模型的输入的输入特征。在一些非限制性实施例中，聚合学习系统102可以将时间延迟量提供为聚合机器学习模型的输入的输入特征。例如，聚合学习系统102可以将时间延迟量提供为训练过程期间聚合机器学习模型的输入特征。在一些非限制性实施例中，可以用作为直接模型输入变量的时间延迟量训练聚合机器学习模型。

尽管已出于说明的目的基于当前被视为最实用和优选的实施例详细地描述了以上系统、方法和计算机程序产品，但应理解，此类细节仅用于所述目的，并且本公开不限于所描述实施例，相反，本公开旨在涵盖属于所附权利要求书的精神和范围内的修改和等效布置。例如，应理解，本公开预期，尽可能地，任何实施例或方面的一个或多个特征可与任何其它实施例或方面的一个或多个特征组合。

Claims (20)

1.一种用于利用机器学习模型聚合学习以防止模型性能退化的系统，所述系统包括：

至少一个处理器，其被编程或配置成：

接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；

将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；

选择第一多个监督机器学习模型；

选择第二多个无监督机器学习模型；

基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；

基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及

基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

2.根据权利要求1所述的系统，其中当将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集时，所述至少一个处理器被进一步编程或配置成：

将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及

将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且

其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

3.根据权利要求1所述的系统，其中所述至少一个处理器被进一步编程或配置成：

基于所述聚合机器学习模型的所述运行时输出执行动作。

4.根据权利要求1所述的系统，其中当生成所述聚合机器学习模型时，所述至少一个处理器被编程或配置成：

基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及

基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

5.根据权利要求1所述的系统，其中所述至少一个处理器被进一步编程或配置成：

将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及

将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

6.根据权利要求1所述的系统，其中当选择所述第一多个监督机器学习模型时，所述至少一个处理器被编程或配置成：

基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及

基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且

其中当选择所述第二多个无监督机器学习模型时，所述至少一个处理器被编程或配置成：

基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及

基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

7.根据权利要求6所述的系统，其中监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量；并且

其中无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

8.一种用于利用机器学习模型聚合学习以防止模型性能退化的方法，所述方法包括：

利用至少一个处理器接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；

利用至少一个处理器将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；

利用至少一个处理器选择第一多个监督机器学习模型；

利用至少一个处理器选择第二多个无监督机器学习模型；

利用至少一个处理器基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；

利用至少一个处理器基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及

利用至少一个处理器基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

9.根据权利要求8所述的方法，其中将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供所述经扩增的训练数据集包括：

将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及

将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且

其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

10.根据权利要求8所述的方法，还包括：

基于所述聚合机器学习模型的所述运行时输出执行动作。

11.根据权利要求8所述的方法，其中生成所述聚合机器学习模型包括：

基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及

基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

12.根据权利要求8所述的方法，还包括：

将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及

将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

13.根据权利要求8所述的方法，其中选择所述第一多个监督机器学习模型包括：

基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及

基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且

其中选择所述第二多个无监督机器学习模型包括：

基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及

基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。

14.根据权利要求13所述的方法，其中监督机器学习模型对时间延迟的所述灵敏度度量包括所述监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量；并且

其中无监督机器学习模型对时间延迟的所述灵敏度度量包括所述无监督机器学习模型相对于所述训练数据集与相对于所述经扩增的训练数据集相比的准确性改变的度量。

15.一种用于利用机器学习模型聚合学习以防止模型性能退化的计算机程序产品，所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器：

接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；

将时间延迟量添加到所述多个数据实例中的一个或多个数据实例以提供经扩增的训练数据集；

选择第一多个监督机器学习模型；

选择第二多个无监督机器学习模型；

基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；

基于所述第一多个监督机器学习模型的输出和所述第二多个无监督机器学习模型的输出生成聚合机器学习模型；以及

基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。

16.根据权利要求15所述的计算机程序产品，其中使所述至少一个处理器将所述时间延迟量添加到所述多个数据实例中的一个或多个数据实例的所述一个或多个指令使所述至少一个处理器：

将所述时间延迟量添加到多个标记数据实例以提供多个经扩增的标记数据实例；以及

将所述时间延迟量添加到多个未标记数据实例以提供多个经扩增的未标记数据实例；并且

其中所述经扩增的训练数据集包括所述多个经扩增的标记数据实例和所述多个经扩增的未标记数据实例。

17.根据权利要求15所述的计算机程序产品，其中所述一个或多个指令进一步使所述至少一个处理器：

基于所述聚合机器学习模型的所述运行时输出执行动作。

18.根据权利要求15所述的计算机程序产品，其中使所述至少一个处理器生成所述聚合机器学习模型的所述一个或多个指令使所述至少一个处理器：

基于所述第一多个监督机器学习模型的所述输出和所述第二多个无监督机器学习模型的所述输出生成所述聚合机器学习模型的输出；以及

基于所述聚合机器学习模型的所述输出，使用反向传播来训练所述聚合机器学习模型。

19.根据权利要求15所述的计算机程序产品，其中所述一个或多个指令进一步使所述至少一个处理器：

将扰动添加到所述多个数据实例中的一个或多个额外数据实例；以及

将所述多个数据实例中的所述一个或多个额外数据实例添加到所述经扩增的训练数据集。

20.根据权利要求15所述的计算机程序产品，其中使所述至少一个处理器选择所述第一多个监督机器学习模型的所述一个或多个指令使所述至少一个处理器：

基于所述经扩增的训练数据集确定一组监督机器学习模型中的每个监督机器学习模型对时间延迟的灵敏度度量；以及

基于每个监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组监督机器学习模型的子集；并且

其中使所述至少一个处理器选择所述第二多个无监督机器学习模型的所述一个或多个指令使所述至少一个处理器：

基于所述经扩增的训练数据集确定一组无监督机器学习模型中的每个无监督机器学习模型对时间延迟的灵敏度度量；以及

基于每个无监督机器学习模型对时间延迟的所述灵敏度度量来选择所述一组无监督机器学习模型的子集。