CN102298569A - 在线学习算法的并行化 - Google Patents

Abstract

本发明揭示了在线学习算法的并行化。提供了用于在在线学习算法的并行化中使用的动态批策略的方法、系统，和媒介。该动态批策略提供了以原始模型状态和经更新的模型状态之间的阈值级别差异为基础的、而非根据恒定或预定批大小的合并功能。该合并过程包括读取一批传入流数据，从合作处理器检索任何缺少的模型信任，并且在该批传入流数据上进行训练。重复各读取、检索和训练步骤，直到所测得的状态差异超过设定的阈值级别。根据各属性，为多个处理器中的每一个合并所测得的超过阈值级别的差异。合并的超过阈值级别的差异与原始部分模型状态组合以获得经更新的全局模型状态。

Description

在线学习算法的并行化

技术领域

本发明涉及在线学习技术，尤其涉及在线学习算法的并行化。

背景技术

在线学习算法是这样一类算法，其使用直到当前时刻的历史数据来作出决定。在线学习算法也被称为流算法。接着由每个机器应用增量式训练以一次学习一个实例。当新数据变得可用，算法不需要在全部数据上重新训练，因为它们继续增量地改善现有模型。在线算法最近在批算法上获得改善了的效率。

新的更大的规模问题极大地增加了数据的量。因此，单机器方案在在线算法的有效并行(并且仍保持准确性)方面不能够提供令人满意的性能。

发明内容

本发明的各实施例由所附权利要求书来定义。提供本发明的各实施例的高层次概览以便介绍将在以下具体实施方式一节中进一步描述的系统、方法和介质的概述。本概述既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于独立地帮助确定所要求保护的主题的范围。

本发明的各实施例包括在根据本发明的各实施例的在线学习算法的并行化中使用的动态批策略。该动态批策略提供了以原始模型状态和经更新的模型状态之间的阈值级别差异为基础的、而非根据恒定或预定批大小的合并功能。因此，随着节点的经更新的模型状态偏离原始模型状态，合并更频繁地发生。如果节点的状态不是显著地不同于原始状态，则所有节点与当前状态接近一致，并且合并是不必要的。

一训练过程包括读取一批传入流数据，从合作处理器检索任何缺少的模型信任，并且在该批传入流数据上进行学习。重复各读取、检索和学习步骤(包括更新局部贝叶斯参数)，直到所测得的状态差异超过设定的阈值级别。向相应的多个处理器应用模型更新。处理器也可向另一处理器请求经更新的部分模型状态，其中作出请求的处理器将所请求的部分模型状态存储在其模型容器中。

本发明的其他实施例包括其上存储有指令的计算机可读机制，该指令在由计算设备执行时执行上述方法。

附图说明

以下将参考附图详细描述本发明的说明性实施例，附图通过引用结合于此，并且其中：

图1是示出根据本发明的各实施例使用的示例性计算机操作环境的框图；

图2是样本级策略的图示；

图3是批级策略的图示；

图4是微型批策略的图示；

图5是根据本发明的各实施例使用的并行化系统的图示；

图6是根据本发明的各实施例使用的并行化系统的流程图；

图7是根据本发明的各实施例使用的动态地并行地更新多个处理器的计算机实现的方法的流程图；以及

图8是在并行化学习系统中分配模型的计算机实现的方法的流程图。

具体实施方式

本发明的各实施例提供了用于动态地并行更新多个处理器的系统、方法和计算机可读存储介质。该具体实施方式和所附权利要求书满足适用的法定要求。

此处可使用术语“步骤”、“块”等来意味所采用的方法的不同动作，但是这些术语不应被解释为暗示任何特定次序，除非明确地描述了各单独步骤、框等的次序。同样，此处可使用术语“模块”等来意味所采用的系统的不同组件，但是这些术语不应被解释为暗示任何特定次序，除非明确地描述了各单独模块等的次序。

贯穿本发明的不同实施例的描述，使用若干缩写和简写符号来帮助理解关于相关联的系统、方法和计算机可读介质的特定概念。这些缩写和简写符号旨在帮助提供一种传达此处所表达的观念的容易方法，并且不意味着限制本发明的任何实施例的范围。

本发明的各实施例包括，但不限于，方法、系统以及具体化在一个或多个计算机可读介质上的计算机可执行指令集。计算机可读介质包括易失性和非易失性介质、可移动和不可移动介质、以及可由数据库和各种其它网络设备读取的介质。作为示例而非局限，计算机可读存储介质包括以用于存储信息的任何方法或技术实现的介质。存储的信息的示例包括计算机可使用的指令、数据结构、程序模块，及其他数据表示形式。介质示例包括，但不限于，信息传送介质、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)、全息介质或其他光盘存储、磁带盒、磁带、磁盘存储以及其他磁存储设备。这些介质示例可被配置成暂时地、临时地或永久地存储数据。计算机可读介质包括唯一地存在于一个处理系统上或分布在对该计算系统为本地或远程的多个互连的处理系统之间的协作或互连的计算机可读介质。

本发明的各实施例可以在计算机代码或机器可使用指令的一般上下文中描述，机器可使用指令包括由计算系统或其它一个或多个机器执行的诸如程序模块等的计算机可执行指令。一般而言，包括例程、程序、对象、组件、数据结构等的程序模块指的是可执行特定任务或实现特定数据类型的代码。此处所描述的各实施例可以使用各种系统配置来实现，包括手持式设备、消费电子产品、通用计算机、更专用计算设备等。此处所描述的各实施例还可以使用通过通信网络或因特网链接的远程处理设备来在分布式计算环境中实现。

在某些实施例中，描述了一种动态地并行地更新多个处理器的计算机实现的方法。模型状态根据划分方案被划分成部分模型。原始部分模型状态的本地副本被接收到多个处理器的每一个中。根据传入数据流的部分分布模型，在多个处理器之间划分所述传入数据流。多个处理器中的每一个根据属性来串行地处理经划分的传入流数据以达到多个当前部分模型状态。根据散度函数，为多个处理器中的每一个串行地确定原始部分模型状态与其相应的当前部分模型状态之间的差异。根据各属性，为多个处理器中的每一个合并所确定的超过阈值级别的差异。合并的超过阈值级别的差异与原始部分模型状态组合以获得经更新的全局模型状态。在另一实施例中，一个或多个计算机可读存储介质上包含有计算机可读指令，这些指令在由计算设备执行时执行上述动态地并行更新多个处理器的方法。

在某些实施例中，描述了一种在并行化学习系统中分配模型的计算机实现的方法。根据均匀分布散列函数的输出，将原始模型状态的多个分区分配给相应的多个节点。所分配的多个分区被加载到多个节点的每一个的相应的模型容器中。多个节点中的每一个根据经划分的经解析印象流来单独训练以获得多个经划分的当前模型状态。在根据多个节点的每一个的属性训练之后，合并所计算的经划分的原始模型状态和对应的经划分的当前模型状态之间的差异。合并的所计算的差异被组合到原始模型状态以获得经更新的模型状态。在另一实施例中，一个或多个计算机可读存储介质上包含有计算机可读指令，这些指令在由计算设备执行时执行上述在并行化学习系统中分配模型的方法。

在又一些实施例中，描述了一种动态地更新多个处理器的计算机实现的方法。根据均匀分布散列函数的输出，将原始模型状态的多个分区分配给相应的多个节点。所分配的多个经划分的原始模型状态被加载到多个节点的每一个中的相应的模型容器中。多个节点中的每一个根据属性来在相应的一批经划分的印象流上训练以获得多个分区当前模型状态。对多个节点的每一个，确定经划分的原始模型状态和相应的经划分的当前模型状态之间的差异。根据各属性，为多个节点中的每一个合并所确定的超过阈值级别的差异。合并的超过阈值级别的差异与经划分的原始模型状态进行组合以获得经更新的全局模型状态。在另一实施例中，一个或多个计算机可读存储介质上包含有计算机可读指令，这些指令在由计算设备执行时执行上述动态地更新多个处理器的方法。

在简要描述了此处的各实施例的概览后，以下描述一示例性计算设备。最初参考图1，示出了用于实现本发明的各实施例的示例性操作环境，并将其概括指定为计算设备100。计算设备100只是合适的计算系统的一个示例，并且不旨在对本发明的各实施例的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。在一个实施例中，计算设备100是常规计算机(例如，个人计算机或膝上型计算机)。本发明的各实施例还适用于多个互连的计算设备，如计算设备100。

计算设备100包括直接或间接耦合以下设备的总线110：存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出(I/O)端口118、输入/输出组件120、和说明性电源122。总线110表示一个或多个总线可以为何物(诸如地址总线、数据总线或其组合)。尽管为了清楚起见用线条示出了图1的各框，但是在现实中，各组件的划界并不是那样清楚，并且按比喻的说法，更精确而言这些线条将是灰色的和模糊的。例如，可以将诸如显示设备等的呈现组件116认为是I/O组件120。同样，处理器114具有存储器112。本领域的技术人员可以理解，这是本领域的特性，并且如上所述，图1的图示只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内并且被称为“计算设备”或“计算系统”。

计算设备100可包括各种计算机可读介质。作为示例而非局限，计算机可读介质可包括RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、DVD或其他光学或全息介质、磁带盒、磁带、磁盘存储或其他磁存储设备、或可被配置成存储与此处所描述的各实施例相关的数据和/或执行的类似的有形介质。

存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器112可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、高速缓存、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器114。呈现组件116向用户或其它设备呈现数据指示。示例性呈现组件116包括显示设备、扬声器设备、打印设备、振动设备等等。

I/O端口118将计算设备100逻辑上耦合至包括I/O组件120的其它设备，其中某些设备可以是内置的。说明性I/O组件120包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。

以上描述的与计算设备100有关的组件也可被包括在无线设备中。如此处所描述的无线设备指的是任何类型的无线电话、手持式设备、个人数字助理(PDA)、BlackBerry

智能电话、数码相机、或可无线地通信的其他移动设备(除了膝上型计算机之外)。本领域的技术人员可以理解，无线设备也包括执行各种功能的处理器和计算机存储介质。此处所描述的各实施例适用于计算设备和无线设备两者。在各实施例中，计算设备也可以指运行其图像由无线设备中的照相机来捕捉的应用程序的设备。

上述计算系统被配置成供上文中概括描述并在下文中更详细描述的若干计算机实现的方法、系统和介质来使用。本发明的各实施例提供了在线学习算法的并行化的计算机实现的方法、系统和介质。在线学习算法的并行化将机器增量式训练的概念并行地应用于多个训练机器。每一训练机器处理独立于经划分的原始模型状态的、所分配的量的流数据，以形成经划分的当前模型状态。所有训练机器用组合的经划分的当前模型状态的各个结果来同步，以获得经更新的全局模型状态。

在线学习算法利用各种策略来处理某一固定数量的实例，并组合来自多个训练机器的结果。图2中示出了样本级策略。所处理的信息与原始模型状态的合并在每一实例之后发生。该策略将产生非常准确的结果，但是如果有大量信息需要处理则是低效的，因为通信和同步开销将非常大。图3中示出了批级策略。所处理的信息与原始模型状态的合并在处理了所有实例之后发生。该策略在有大量实例要处理的情况下将具有有限的准确度，但却是非常高效的，因为合并直到处理了所有信息之后才发生。图4示出了微型批策略。所处理的信息与原始模型状态的合并在每一组实例之后发生。微型批策略试图平衡样本级和批级策略。然而，微型批策略使用了预定的恒定大小的批，且因此在提供既高效又准确的结果方面也是有限的。

图5示出了供根据本发明的各实施例的在线学习算法的动态批策略使用的并行化系统。该动态批策略提供了以原始模型状态和当前模型状态之间的阈值级别差异为基础的、而非根据一组恒定或预定准则的合并功能。该并行化系统中的多个节点根据部分分布模型来划分。根据本发明的一个实施例，该部分分布模型利用均匀分布的散列函数。

为便于解释，图5仅示出了两个训练节点。然而，可并行使用若干节点并且这被认为是在本发明的范围之内。每一节点将原始模型状态的一个分区加载到其模型容器中。向第一节点510分配原始模型状态的一个分区，该分区被加载到第一节点510的模型容器中。同样，向第二节点520分配原始模型状态的一个不同分区，该不同分区被加载到第二节点520的模型容器中。向每一节点分配数据印象或传入数据流的一个经划分的批，其中数据印象或传入数据流根据均匀分布的散列函数来划分。用于原始模型状态的划分的均匀分布的散列函数可以不同于用于数据印象流的划分的均匀分布的散列函数。打开分配给第一节点510的该批经解析的印象流530。打开分配给第一节点520的该批经解析的印象流540。第一节点510和第二节点520根据属性550独立地在它们相应的所分配的那批印象上进行训练。来自第一节点510的属性550中的某一些可以与来自第二节点520的属性550中的某一些相同。

在第一节点510在一批印象530上训练之后，根据散度函数，计算每一属性550的经划分的原始模型状态与当前模型状态560的第一分区之间的差异。散度函数将在此处更详细地描述。当所计算的差异低于一设定的阈值级别时，假定对于该特定属性550的经划分的原始模型状态和经划分的当前模型状态560之间的差异是可忽略的，并且经划分的当前模型状态560基本上未从经划分的原始模型状态改变。此时，读取另一批经解析的印象流530，并且该新一批的训练在第一节点510上发生。然后对每一属性550计算经划分的原始模型状态和当前模型状态560的第二分区之间的差异。如果该计算的差异仍低于该设定的阈值级别，则重复该过程，直到经划分的原始模型状态和经划分的当前模型状态560之间的差异超过该设定的阈值级别。当经划分的原始模型状态和经划分的当前模型状态560之间的差异超过该设定的阈值级别时，则将第一节点510的所计算的状态改变应用于第一节点510的该分区。该相同的过程在第二节点520上独立运行，以获得每一属性550的经划分的当前模型状态570，直到第二节点520的经划分的原始模型状态和经划分的当前模型状态570之间的差异超过设定的阈值级别。将第二节点520的所计算的超过设定的阈值级别的状态改变应用于第二节点520的该分区。

根据每一属性550组合第一节点510和第二节点520的这些所计算的超过设定的阈值级别的状态差异，如合并增量580所例示的。从合并所计算的差异中得到经更新的全局状态590。删除每一节点的本地高速缓存数据，并且用新的经划分的局部模型状态来更新每一节点，该状态被加载到其相应的模型容器中。

图6是表示使用图5所示的并行化系统来动态地并行更新多个处理器的方法的流程图。该流程图将只针对一个节点来描述，但是如上所述，完整的并行化系统将包含至少两个节点并且可包含若干节点。在步骤610，将信息加载到节点中。该信息可包括分区号、并行化模型状态的位置、对该特定节点的经解析的印象的位置、以及用于该训练模型的批大小。在步骤615，将经划分的原始模型状态加载到节点中。训练迭代在步骤620开始。在步骤625，从数据印象流中加载该特定节点的一批经划分的印象。该节点将确定当前在其高速缓存中存在哪些必要的模型信任，以及其高速缓存中缺少且因此将需要从合作节点中检索哪些信任。然后在步骤630，从一个或多个合作节点检索缺少的信任。然后在步骤635，在该批修订的印象上运行训练。如上参考图5所述，节点根据属性在其相应的一批所分配的印象上训练，然后在判定640中测量经划分的原始模型状态和经划分的当前模型状态之间的状态差异以确定是否需要合并。如果所计算的差异低于设定的阈值级别，则不需要合并，并且从步骤625开始重复该过程，直到经划分的原始模型状态和经划分的当前模型状态之间的阈值级别差异超过该阈值级别。一旦测得了阈值级别差异，则需要合并。如果从合作节点检索了任何信任或者从主题节点检索了来自其他合作节点的任何信任，则在步骤645相应地发送模型更新消息。在步骤650，该节点根据所接收到的任何更新消息以及从合并中所计算的状态更新来更新其模型。在更新了节点并且达到了经更新的全局状态之后，则可在步骤655清除节点的高速缓存。经更新的全局状态现在变为新的原始全局状态，其可在节点之间划分以再次在步骤620开始该过程。一个或多个计算机可读存储介质上包含有计算机可读指令，这些指令在由计算设备执行时执行上述动态地并行更新多个处理器的方法。

现在将参考图7的流程图来描述动态地并行更新多个处理器的计算机实现的方法。该方法包括在本发明的一个实施例中在并行化学习系统中分配模型。在步骤710，当多个处理器将在共享任务上并行工作时，使用部分分布模型来在多个处理器之间划分模型状态。根据本发明的一个实施例，该部分分布模型利用均匀分布的散列函数。在步骤720，还在多个处理器之间划分原始模型状态，其中每一处理器接收该原始模型状态的其本地副本。根据本发明的一个实施例，该经划分的原始模型状态可利用均匀分布的散列函数。在步骤730，多个处理器将处理在线流数据或印象，这些数据或印象根据其部分分布模型在处理器之间划分。每一处理器具有一模型容器，其包含各自的部分原始模型状态、本地高速缓存以及其相应的部分当前模型状态。在步骤740，每一处理器串行地处理传入部分流数据。该独立处理得到对于每一处理器的部分当前模型状态。然后在步骤750，根据散度函数对每一处理器计算部分原始模型状态和部分当前模型状态之间的差异。散度函数可包括平方绝对值散度、增量Kullback-Leibler(KL)散度或后验KL散度中的一个。增量KL散度比较自从上一次训练更新以来预测事件的概率受到训练多少影响。换言之，预测是在每一训练实例之前和之后作出的，并且计算两次预测之间的KL散度。增量KL散度测量从一数据点之前的预测到该数据点之后的预测的散度。后验KL散度测量从部分原始模型状态到部分当前模型状态的权重分布之间的差异。在步骤760，对每一属性，将所计算的超过设定的阈值级别的差异与来自其他处理器的所计算的超过该设定的阈值级别的差异合并。在本发明的一具体实施例中，该合并步骤包括读取一批传入流数据、从其他合作处理器检索任何缺少的模型信任、以及在该批传入流数据上训练。重复各读取、检索和训练步骤，直到所测得的状态差异超过该设定的阈值级别。向相应的多个处理器应用模型更新。处理器也可向另一处理器请求经更新的部分模型状态，其中作出请求的处理器将所请求的部分模型状态存储在其模型容器中。然后在步骤770，将合并的差异与原始模型状态组合以获得经更新的全局状态。该经更新的全局状态变为新的原始全局状态，其中该新的原始全局状态如上所述地在处理器之间划分，然后输入到相应处理器中。一个或多个计算机可读存储介质上包含有计算机可读指令，这些指令在由计算设备执行时执行上述动态地并行更新多个处理器的方法。

现在将参考图8的流程图来描述动态地更新多个处理器的计算机实现的方法。在步骤810，将原始模型状态的多个分区分配给相应的多个节点。分区可以根据均匀分布的散列函数的输出来分配。然后在步骤820，将所分配的分区加载到每一节点相应的模型容器中。第一模型容器中的某些所分配的分区可以与第二模型容器中某些所分配的分区部分重叠。原始模型状态分区也可以根据来自第二节点的请求从第一节点的模型容器加载到第二节点的本地高速缓存中。然后在步骤830，根据其经划分的经解析的印象流来训练各单独节点以获得每一节点的经划分的当前模型状态。诸如唯一印象标识符、特征值或两个或更多串接值等一组元组可被加入到经划分的当前模型状态。如上所述，根据所存在的各单独属性来计算每一部分原始模型状态和经更新的部分模型状态之间的差异。如果该状态差异超过一设定的阈值级别，则在步骤840，对每一单独的属性合并所有节点的状态差异。这些合并的差异包括一批动态的超过阈值级别的所计算的差异。该动态批基于一个或多个可变条件，如印象计数，或基于改变的信任的计数。然后在步骤850，将合并的差异与原始模型状态组合以获得经更新的全局模型状态。经更新的全局模型状态然后变为用于计算第二动态批的新的初始模型状态。一个或多个计算机可读存储介质上包含有计算机可读指令，这些指令在由计算设备执行时执行上述动态地更新多个处理器的方法。

包括以上针对动态地并行更新多个处理器的计算机实现的方法以及在并行化学习系统中分配模型的计算机实现的方法所描述的部分或全部特征的组合的计算机实现的方法被认为是在本发明的范围之内。其上包含有当由计算设备执行时执行上述部分或全部组合方法步骤的计算机可读指令的一个或多个计算机可读存储介质也被认为是在本发明的范围之内。

所描绘的各组件以及未示出的实施例的许多不同的安排都是可能的，而不背离本发明的精神和范围。已带着说明而非限制的意图描述了本发明的各实施例。

可以理解，某些特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下使用，它们都在权利要求书的范围内。并非各种图形中所列出的所有步骤都需要按所描述的特定的顺序执行。

Claims (14)

1.一种使用具有处理器、存储器和数据存储子系统的计算系统来动态地并行地更新多个处理器的计算机实现的方法，所述计算机实现的方法包括：

根据部分分布方案将模型状态划分为多个部分模型(710)；

将部分原始模型状态的本地副本接收到多个处理器的每一个中(720)；

根据传入流数据的部分分布模型，在多个处理器之间划分所述传入流数据(730)；

由多个处理器中的每一个根据属性来串行地处理经划分的传入流数据，以达到多个部分当前模型状态(740)；

根据散度函数，为多个处理器中的每一个串行地确定部分原始模型状态与相应的部分当前模型状态之间的差异(750)；

根据各属性，合并多个处理器中的每一个所确定的超过阈值级别的差异(760)；以及

将所合并的超过阈值级别的差异与部分原始模型状态进行组合，以获得经更新的全局模型状态(770)。

2.如权利要求1所述的计算机实现的方法，其特征在于，根据部分分布模型划分多个处理器(710)利用均匀分布散列函数。

3.如权利要求1所述的计算机实现的方法，其特征在于，所述多个处理器的每一个包括模型容器，所述模型容器包含其相应的部分原始模型状态、本地高速缓存，其相应的部分当前模型状态(560)。

4.如权利要求3所述的计算机实现的方法，其特征在于，还包括：从另一处理器请求经更新的部分模型状态(570)，并将其存储在请求处理器的模型容器中。

5.如权利要求1所述的计算机实现的方法，其特征在于，还包括：

根据所述部分分布模型，划分经更新的全局状态(590)；以及

将经划分的经更新的全局状态(590)输入到相应的多个处理器中。

6.如权利要求1所述的计算机实现的方法，其特征在于，所述合并包括：

读取一批传入流数据(625)；

从合作处理器中检索任何缺少的模型信任(630)；

在该批传入流数据上进行训练(635)；

重复所述读取、检索和训练，直到需要合并(640)；

将经更新的全局状态应用到相应的多个处理器中(650)；以及

复位每个本地高速缓存以同步所述多个处理器的每一个(655)。

7.一种使用具有处理器、存储器和数据存储子系统的计算系统来在并行化学习系统中分配模型的计算机实现的方法，所述计算机实现的方法包括：

根据均匀分布散列函数的输出，将原始模型状态的多个分区分配给相应的多个节点(810)；

将所分配的多个分区加载到所述多个节点的每一个的相应的多个模型容器中(820)；

根据经划分的经解析印象流单独训练多个节点中的每一个，以获得多个经划分的当前模型状态(830)；

在根据所述多个节点的每一个的属性进行训练之后，合并所计算的经划分的原始模型状态和对应的经划分的当前模型状态之间的差异(840)；以及

经合并的所计算的差异被组合到经划分的原始模型状态以获得经更新的全局模型状态(850)。

8.如权利要求7所述的计算机实现的方法，其特征在于，还包括：根据来自所述多个节点中的第二节点(520)的请求，将原始模型状态分区从多个节点中的第一节点(510)的模型容器加载到所述第二节点的本地高速缓存中。

9.如权利要求7所述的计算机实现的方法，其特征在于，合并所计算的差异(580)利用增量Kullback-Leibler散度，为所述多个节点的每一个测量从一数据点之前的预测到该数据点之后的预测的散度。

10.如权利要求7所述的计算机实现的方法，其特征在于，合并所计算的差异(580)利用后验Kullback-Leibler散度，为所述多个节点的每一个测量从经划分的原始模型状态(530)到经划分的当前模型状态(560)的权重分布之间的差异。

11.如权利要求7所述的计算机实现的方法，其特征在于，经合并的所计算的差异(580)包括超过阈值水平的第一动态批的所计算的差异。

12.如权利要求11所述的计算机实现的方法，其特征在于，经更新的全局模型状态(590)包括用于计算第二动态批的初始全局模型状态。

13.如权利要求7所述的计算机实现的方法，其特征在于，第一模型容器中的所分配的多个分区(560)的某些与第二模型容器中所分配的多个分区(570)的某些重叠。

14.如权利要求7所述的计算机实现的方法，其特征在于，一组元组可被加入到所述多个经划分的当前模型状态(560)的每一个。

Images