CN1329320A - 采用动态管理多个子模型进行在线自适应预测的系统和方法 - Google Patents

Abstract

预测模型广泛地用于许多领域中的各种任务。本发明用动态管理多个模型来处理非平稳过程的预测问题。这种系统包括一个模型鉴定器、一个模型适配器、多个子模型、多个模型组合功能,以及用来估计模型参数的训练数据和用来检验改变点的试验数据。所揭示的两个过程一个用来处理数据更新,而另一个用来处理预测请求。

Description

采用动态管理多个子模型进行在线自适应预测的系统和方法

本发明与性能管理有关，具体地说，本发明涉及采用动态管理多个子模型提供在线自适应预测的自动化性能管理技术。

预测模型广泛地用于许多领域中的各种任务。例子有：在零售业中通过对历来趋势的外推预料将来的顾客购买量；在制造业中通过预测一旦采用想得到的设备可以达到的产量来规划设备的购置；以及通过利用排队模型为工程技术人员反演响应时间与服务时间和/或到达率之间的关系来判断计算机性能的问题。

预测模型可以有许多形式，诸如Box-Jenkins模型之类的线性预测模型广泛地用于外推动向。天气预报通常使用一些微分方程组。计算机和生产系统的分析常常采用排队模型。

预测模型具有两种类型。离线模型从历史数据中估计出它们的参数。这对于一些了解得很清楚的过程(例如，工业控制)是很有效的，但是对于变化迅速的过程(例如，web通信业务量)就不怎么有效了。在线模型随数据变动调整它们的参数，从而能适应过程的变动。因此，本发明的焦点集中在在线模型上。

另一个要考虑的是采用多个模型的问题。例如，在计算机系统中，用预测模型来预料将来的工作量，而用排队模型来估计设备在将来这样的工作量下的性能。确实，随着时间的过去，通常需要采用许多模型配合。

为了例示这一点，考虑一个web服务器通信业务量预测模型。在J.Hellerstein，F.Zhang，和P.Shahabuddin“业务量管理预测方法”(“An Approach to Predictive Detection for Service LevelManagement”，Integrated Network Management VI，edited by M.Sloman et al.，IEEE Publishing，May 1999)中揭示了一种预报在时刻t每秒钟超文本操作次数(标为S(t))的模型，该文所揭示的在这里列作参考予以引用。这种模型考虑了以下情况：

1.S(t)完全由它的平均值mean确定。也就是说，也就是说，S(i)＝mean＋e(t)，其中e(t)为模型的“残差(residual)”，即用了这个模型后留下的余项。

2.S(t)由它的平均值和时刻确定。也就是说，t＝(i，l)，其中i为一天24个小时期间的一个区间，而1为指定的日子情况。例如，可以将一天分成一些5分钟的区间，而在这样情况下，i的范围从1到288。因此S(i，l)＝mean＋mean_tod(i)＋e(i，l)，其中mean_tod(i)为在i区间的平均值。

3.S(t)由它的平均值时刻和星期几确定。也就是说，t＝(i，j，l)，其中i为在一天24个小时期间的一个区间，j指出星期几(例如，星期一，星期二)，而1为指定的星期情况。因此，S(i，j，l)＝mean＋mean_tod(i)＋mean_month(k)＋e(i，j，l)。

4.S(t)由它的平均值、时刻、星期几和月份确定。这里，t＝(i，j，k，l)，其中k为月份，而1为一个月内的这个星期情况。因此，S(i，j，k，l)＝mean＋mean_tod(i)＋mean_day-of-week(j)＋mean_month(k)＋e(i.j，k；l)。

可以看出，S(i，j，k，l)模型提供最好的精度。因此就有这样一个问题：为什么用这个模型而不用其它模型？答案是因为数据是非平稳的。利用以上引用的Hellerstein、Zhang和Shahabuddin的论文中所用的技术得到tod(i)的估计需要至少一个对第i个时刻的测量值。类似，至少需要一个星期的数据来估计mean_day-of-week(j)和需要几个月的数据来估计mean_month(k)。

在这种情况下，一个合理的方法是根据可得到的数据采用不同的模型。例如，在给出不到一天的历史记录时可以采用上面的模型(1)；而在给出一天以上而不到一个星期时采用模型(2)，诸如此类。

实际上，要求仍然有点复杂。另一个问题是需要检测什么时侯数据的特性有了改变，从而需要一个新的模型。这称为改变点检测，例如可以参见Basseville和Nikiforov的“突然改变的检测”(“Detection of Abrupt Changes”Prentice Hall，1993，)，其中所揭示的在这里列作参考予以引用。改变点检测在假设是独立的情况下对同样分布的观察结果(即平稳的)进行试验。然而，结果是以上模型的残差不是独立的(虽然它们在平稳性和模型正确的假设下是同样分布的)。因此，仍然需要另一层次的模型化。在以上引用的Hellerstein、Zhang和Shahabuddin的文章中，采用了一个二阶自回归模型。也就是说，e(t)＝al* e(t－1)＋a2*e(t－2)＋y(t)，其中a1和a2为根据数据估计的常数。

因此出现这个问题：在检测到一个改变点后会怎样？有两个可能性。第一是继续使用旧的模型，虽然知道它不能准确地反映这个过程。第二是从新估计过程参数。也就是说，必须清除掉先前估计参数值所用的数据而收集新的数据。在这期间，通常不可能进行预测，而在这个过渡期期间需要某种预测。因此，可以采用一个默认模型，直到收集到足够的数据。

上述情况激发了对本发明要提供自适应预测的要求。第一，它必须在有足够的数据可以用来估计新的模型部分和确定增添这些部分可以改进模型精度时能增添新的模型部分(例如，除过程的平均值之外再包括一天的哪个时间)。第二，必须能有选择地除去发现为非平稳的模型部分。例如，可能星期几以不影响一天中的哪个时间的方式引起改变。因此需要从新估计mean_day-of-week(j)，但是可以继续使用mean_tod(i)。

现有技术包括：有关多个模型使用的，例如Wu等人的美国专利No.5,862,507；有关多个模型的，例如P Eide和P Maybeck的“F-16的MMAE故障检测系统”(“MMAE Failure Detection System for theF-16”，IEEE Transactions on Aerospace Electronic Systems，vol.32，no.3，1996)；有关自适应模型的，例如V.Kadirkamanathan和S.Q.Fabri的“多模型非线性系统的神经自适应控制的随机方法”(“Stochastic Method for Neural-adaptive Control ofMulti-modal Nonlineary Systems”，Conference on Control，p.49-53，1998)；以及有关自适应选择数据的多个模块的使用的，例如Rajesh Rao的“基于动态表现的识别”(“Dynamic Appearancebased Recognition”，IEEE Computer Society Conference onComputer Vision，p.540 546，1997)，其中所揭示的在这里都列作参考予以引用。然而，其中一个也没有涉及到“多个在线模型的动态管理”问题，因为这技术没有考虑到：(a)什么时侯除去一个模型；或者(b)什么时侯包括一个模型。

还有另一个情况要考虑的。这涉及测量数据的管理方式。在线模型必须(以某种方式)将测量数据分成“训练数据”和“试验数据”。训练数据用于估计模型参数，诸如mean、mean_tod(i)、mean_day-of-week(j)、mean_month(k)。试验数据用于检查改变点。在现有技术中，只用单个知识库(通常设在存储器内)为所有的子模型积累数据。在这个知识库内的数据分成训练和试验数据。一旦积累了足够的估计所有子模型的参数值的数据和用足够的训练数据对各独立的同样分布的残差进行试验后，就对整个模型的有效性进行检验。一个重要的发现是多个模型的动态管理对于每个模型需要具有单独的训练数据。没有这种结构，很难有选择地增添和删除个别模型。然而，在现有技术中不存在这种结构。

本发明用动态管理多个模型来处理非平稳过程的预测问题。在这里，将那些组成部分模型称为“子模型”。而术语“模型”是指子模型组合得到的结果。可以理解，一旦有了一个精确的模型，就可以用直接的方式，例如最小二乘回归、时序分析和排队模型，根据模型预测。

按照本发明，动态管理子模型提供了以下能力：(i)组合子模型的结果；(ii)确定改变点；也就是说，什么时侯模型不再正确地表征这个过程；(iii)在出现一个改变点和/或随着得到较多的数据时，识别需删除的子模型；(iv)在出现一个改变点和/或随着得到较多的数据时识别需增添的子模型；以及(v)以一种实现以上目的的方式管理训练和试验数据。

在本发明的一个情况中，为了达到上述目的采用动态管理多个子模型的在线自适应预测系统可以包括下列组成部分：组合各子模型的结果的子模型组合器部分，这在某种程度上是根据在模型环境中包括规定应该怎样组合子模型的结果的信息；计算模型的残差和检查改变点的模型鉴定器部分；确定需增添和/或删除的子模型、按需要更新模型环境的模型适配器部分。训练数据由每个子模型分别保存，以便可以动态的地增添和删除子模型。试验数据由模型鉴定器部分管理。

本发明提供了两个中枢过程。第一个详细地列出了在使新的测量数据可用于预测系统时所采取的步骤。在本发明的一个情况中，这个过程包括下列步骤：(a)更新试验数据；(b)更新每个子模型的训练数据和它的参数估计；(c)检验改变点；以及(d)根据改变点检测结果及其他因素确定子模型的最佳组合。第二个过程详细描述了在有一个应用请求预测时执行的那些操作。在本发明的一个情况中，这个过程包括下列步骤：(a)确定每个子模型的输入参数；(b)请求根据每个子模型进行预测；以及(c)组合这些结果。

本发明非常有利于需要有预测非平稳过程能力的系统的开发人员。第一，通过选择子模型的最佳组合可以改善精度。本发明由于具有灵活的增添和删除子模型的技术以及检验改变点的措施从而可以支持这样做。

第二，本发明提供了随着更多数据可用于参数估计逐渐调整模型的方法。精确的模型通常需要相当多的数据来估计参数。然而，如果可用数据适中，模型可能不很精确。如果需建模的过程是非平稳的，参数估计可用的数据将改变非常剧烈。具体地说，如果经常有改变点，在下一个改变点前就只得到少量的训练数据，要为这个过程的新的状态估计参数必须丢弃这些数据。另一方面，如果改变点很少发生，就可以得到相当多的数据，从而有可能包括那些需要较多数据估计它们参数的子模型。这样，对于根据可用数据修改所用子模型的技术相当有利。

第三，本发明提供的模块化结构非常有利于逐渐增添和删除子模型以及改变组合子模型的方式。因此，与硬性规定子模型和它们的相互关系的情况相比，更新模型更为容易。

从以下结合附图对本发明的说明性实施例的详细说明中可以更为清楚地看到本发明的这些和其他一些目的、特征和优点。

图1为例示按照本发明的一个实施例采用动态管理多个子模型的在线自适应预测系统可以工作的环境的总体结构的方框图；

图2为例示按照本发明一个实施例采用动态管理多个子模型的在线自适应预测系统的方框图；

图3为例示按照本发明的一个实施例设计的子模型部分的方框图；

图4为例示按照本发明的一个实施例在采用动态管理多个子模型的在线自适应预测系统中处理数据更新的过程的流程图；

图5为例示按照本发明的一个实施例在采用动态管理多个子模型的在线自适应预测系统中处理预测请求的过程的流程图；

图6为例示按照本发明的一个实施例在子模型部分中估计参数的过程的流程图；

图7为例示按照本发明的一个实施例在子模型部分中计算预测的过程的流程图；以及

图8为例示适合实现本发明的采用动态管理多个子模型的在线自适应预测系统的计算机系统的广义硬件体系结构的方框图。

下面将以一个说明性的在线环境和预测模型应用配置为背景对本发明进行说明。然而，可以理解本发明并不局限于这样的具体配置。本发明更普遍地适用于任何满足以下需要的在线环境和预测模型应用配置：(i)随着更多数据可用于模型参数估计通过在一个或多个预测模型中增添和/或删除一些子模型调整一个或多个预测模型改善这些预测模型的准确性；和/或(ii)通过改善预测请求处理改善预测模型的准确性。

现在来看图1，这个方框图示出了按照本发明的一个实施例采用动态管理多个子模型的在线自适应预测系统可以工作的环境的总体结构。如图所示，终端用户100与采用预测模型的应用110-1至110-N交互作用，而这些预测模型又运用一个或多个模型子系统120-1至120-M。子系统120-1至120-M构成了采用动态管理多个子模型的在线自适应预测系统。

可以理解，模型应用可以是根据使用的领域，例如在零售业中通过外推历来趋势预料将来的顾客购买量、在制造业中通过预测一旦采用想得到的设备可以达到的产量来规划设备的购置、和通过利用排队模型为工程技术人员反演响应时间与服务时间和/或到达率之间的关系来判断计算机性能的问题，执行一些功能的计算机程序。

还可以理解，终端用户可以包括一个与一个或多个可以运行模型应用和模型子系统的计算机系统通信的计算机系统。终端用户系统可以与其他这些计算机系统远离，也可以与其中的一个或多个设置在同一位置。这些计算机系统可以由任何适当的网络连接。

如下面将详细说明的那样，模型子系统使用模型环境知识库130-1至130-M。每个模型环境知识库含有诸如子模型组合方式和当前选择的子模型之类的信息。模型子系统120-1至120-M接受数据接入部分140的数据更新。提供给数据接入部分的数据来自模型应用对接的过程或系统，例如零售商、生产线、正在检查性能的计算机网络等。可以理解，虽然在图1中示出了一个以上的模型应用和一个以上的模型子系统，但是系统也可以用于一个或多个模型应用和模型子系统。

现在来看图2，这个方框图示出了按照本发明的一个实施例采用动态管理多个子模型的在线自适应预测系统。具体地说，图2示出了图1的模型子系统(120-1至120-M)之一的实施例。这个模型子系统包括子模型200-1至200-K、组合功能210-1至210-L、子模型组合器220、试验数据230、模型接入器240、模型控制器250和模型适配器260。

如图2所示，数据接入部分(图1中的140)和模型应用(图1中的110-1至110-N)都是向控制模型子系统内的总流程的模型控制器250发出它们的请求。模型适配器260通过对模型鉴定器240的咨询确定是否应该使用新的子模型组合。模型鉴定器240计算模型对试验数据230的残差，保存试验数据。子模型组合器220负责通过调用每个子模型(200-1至200-K)计算各个预测，通过咨询模型环境和使用适当的组合功能(210-1至210-L)组合这些结果。这样做需要确定每个子模型的参数。此外，子模型组合器确定在出现数据更新时需提供给子模型的数据。这些组合功能将一个或多个子模型的结果作为输入，计算出部分结果。子模型接受两种请求：(i)数据更新请求；以及(ii)预测请求。

现在来看图3，这个方框图示出了按照本发明的一个实施例设计的子模型部分。具体地说，图3例示了图2中的诸如子模型200-1至200-K之类的一个子模型的一些部分。如图所示，这个子模型包括参数估计部分305、子模型训练数据310、结果计算部分320和子模型描述符330。

在工作中，数据更新请求302送至参数估计部分305，与子模型训练数据310和子模型描述符330交互作用。子模型训练数据310含有估计这个模型的参数所需的数据，而子模型描述符330确定执行这些估计所需的数据和含有参数估计的值。预测请求315送至结果计算部分320。结果计算部分320从子模型描述符330读取这些参数值和要执行的计算的具体细节。

现在来看图4，这个流程图示出了按照本发明的一个实施例在采用动态管理多个子模型的在线自适应预测系统中处理数据更新的过程。因此，说明将参考图2和3中的一些部分。过程在步骤400开始，请求进入时具有数据。在步骤405，更新试验数据。在步骤410，对一

Claims (20)

1.一种提供在线自适应预测供配合一个或多个可以请求按照至少一个包括一个或多个子模型的模型执行预测的操作所采用的一个或多个应用使用的设备，所述设备包括：

至少一个可执行如下操作之一的处理器：(i)在与所述一个或多个可以请求预测的操作关联的数据中检测到有一个变动时，修改在计算在线预测中需用的所述一个或多个子模型中至少一个子模型；以及(ii)响应来自所述一个或多个应用的一个或多个请求，利用确定提供一个最佳预测组合的一个或多个子模型计算一个或多个预测。

2.权利要求1的设备，其中所述修改操作还包括根据相对所检测到的变动接收到的数据估计所述一个或多个子模型的各自一个或多个参数。

3.权利要求2的设备，其中所述为一个子模型估计的一个或多个参数用来更新一个与所述子模型关联的描述符。

4.权利要求2的设备，其中所述修改操作还包括检验一个变动点的状态。

5.权利要求4的设备，其中所述修改操作还包括考虑到所检测到的变动确定一个可以用来计算至少所请求的预测之一的子模型的最优组合。

6.权利要求1的设备，其中一个子模型保存对与其关联的一个或多个参数进行估计所用的数据。

7.权利要求1的设备，其中一个子模型至少计算或存储与一个或多个子模型参数关联的一个或多个值。

8.权利要求1的设备，其中所述预测计算操作还包括为确定提供最佳预测组合的一个或多个子模型的每个子模型计算一个预测。

9.权利要求8的设备，其中所述预测计算操作还包括组合一个或多个所计算出的预测的结果。

10.一种提供在线自适应预测供配合一个或多个可以请求按照至少一个包括一个或多个子模型的模型执行预测的操作所采用的一个或多个应用使用的方法，所述方法包括至少下列步骤之一：

在与所述一个或多个可以请求预测的操作关联的数据中检测到有一个变动时，修改在计算在线预测中需用的所述一个或多个子模型中至少一个子模型；以及

响应来自所述一个或多个应用的一个或多个请求，利用确定提供一个最佳预测组合的一个或多个子模型计算一个或多个预测。

11.权利要求10的方法，其中所述修改步骤还包括根据相对所检测到的变动接收到的数据估计所述一个或多个子模型的各自一个或多个参数。

12.权利要求11的方法，其中所述为一个子模型估计的一个或多个参数用来更新一个与所述子模型关联的描述符。

13.权利要求11的方法，其中所述修改步骤还包括检验一个变动点的状态。

14.权利要求13的方法，其中所述修改步骤还包括考虑到所检测到的变动确定一个可以用来计算至少所请求的预测之一的子模型的最优组合。

15.权利要求10的方法，其中一个子模型保存对与其关联的一个或多个参数进行估计所用的数据。

16.权利要求10的方法，其中一个子模型至少计算或存储与一个或多个子模型参数关联的一个或多个值。

17.权利要求10的方法，其中所述预测计算步骤还包括为确定提供最佳预测组合的一个或多个子模型的每个子模型计算一个预测。

18.权利要求17的方法，其中所述预测计算步骤还包括组合一个或多个所计算出的预测的结果。

19.一种提供在线自适应预测供配合可以请求按照至少一个包括一个或多子模型的模型预测的一个或多个操作所采用的一个或多个应用使用的制品，所述制品包括一个含有在实现至少下列步骤之一时执行的一个或多个程序的机器可读媒体：

在与所述一个或多个可以请求预测的操作关联的数据中检测到有一个变动时，修改在计算在线预测中需用的所述一个或多个子模型中至少一个子模型；以及

响应来自所述一个或多个应用的一个或多个请求，利用确定提供一个最佳预测组合的一个或多个子模型计算一个或多个预测。

20.权利要求19的制品，其中一个子模型保存对与其关联的一个或多个参数进行估计所用的数据。

Images