CN101188000A - 确定所预测系统行为的准确度的方法和装置 - Google Patents

Abstract

一种确定所预测的系统行为的准确度的方法可以包括：创建多个经噪声调节的分析模型，其中每个经噪声调节的分析模型与预定义分析模型参数集合相关联。可以得出针对每个经噪声调节的分析模型的经推知的分析模型参数集合。每个经推知的分析模型参数集合可以依赖于当前的经噪声调节的分析模型以及每个之前的经噪声调节的分析模型。对于每个经推知的分析模型参数集合，可以确定所述经推知的分析模型参数集合与关联于所述经噪声调节的分析模型的预定义分析模型参数集合之间的误差度量，其中所述经推知的分析模型参数集合从所述经噪声调节的分析模型中得出。

Description

确定所预测系统行为的准确度的方法和装置

技术领域

本发明涉及通过分析模型的使用来预测系统行为，并且进一步涉及确定用于创建具有指定的准确度级别的分析模型所需的数据量。

背景技术

分析性能模型是对真实世界系统的数学近似，其可被用于预测被建模的系统的某些行为。分析建模技术的示例可以包括但不限于：Petri Net、有色Petri Net、以及排队理论。尽管每种技术可被用于分析不同的系统，但是排队理论已被应用于多种现代系统。排队理论指代对于等待行列或队列的数学研究。可以使用排队理论来建模的一类系统是包括排队服务器的通信系统。这仅是作为分析模型的一个示例，并且排队模型可用于对其它真实世界系统进行建模，诸如银行或商店的付账队列、电话呼叫银行等等。

参考排队模型，一旦针对给定系统建立模型，则该系统的行为可以根据不同的与性能有关的度量来预测。这些度量可以包括但不限于：给定对象在被处理前将被存储在队列中的期望时间量、在特定时间在队列中的对象的期望数量、队列将为空的概率、对特定类型的对象进行服务的时间等等。诸如排队模型的分析模型常常被用于预测特定系统将是否能够满足已建立的服务质量标准，诸如响应时间。

分析模型可使用从被建模的实际系统中进行度量的参数，对所述参数的收集可能既困难又昂贵。在其它情形中，来自类似系统的参数或者从过往经验中确定的参数可以被使用。在任一情形中，收集过多的信息向分析模型构造添加了不必要的成本，因为不论数据量如何增加，分析模型的准确度开始会聚于相当恒定的级别。另一方面，收集过少的信息降低了成本，但是可能得出所具有的准确度级别太低而无法使用的分析模型。更复杂的问题在于，当分析模型已被建立时，底层的或已建模的系统可能经受进一步的改变。这典型地需要该分析模型被重建，这是耗时的手动过程。因此，理想的是具有某种指示，所述指示关于针对所选择系统创建分析模型所需的数据量。

发明内容

本发明的一实施例可以包括一种确定所预测的系统行为的准确度的方法。所述方法可以包括：创建多个经噪声调节的分析模型，其中每个经噪声调节的分析模型与预定义分析模型参数集合相关联。可以得出针对每个经噪声调节的分析模型的经推知的分析模型参数集合。每个经推知的分析模型参数集合依赖于当前的经噪声调节的分析模型以及每个之前的经噪声调节的分析模型。对于每个经推知的分析模型参数集合，可以确定所述经推知的分析模型参数集合与关联于所述经噪声调节的分析模型的预定义分析模型参数集合之间的误差度量，其中所述经推知的分析模型参数集合从所述经噪声调节的分析模型中得出。

本发明的另一实施例可以包括一种确定创建具有预定的准确度级别的分析模型所需的样本数据量的方法。所述方法可以包括：识别包括多个条目的数据源，其中每个条目包括噪声级别、准确度级别、以及生成具有在所述条目中指示的准确度级别的分析模型所需的系统度量集合的数量。所述方法可以进一步包括：从所度量的系统参数中计算噪声级别、选择期望的准确度级别、以及根据所述噪声级别和期望的准确度级别定位条目。可以从所述条目中读取生成具有所述期望的准确度级别的分析模型所需的系统度量集合的数量。

本发明的又一实施例可以包括一种具有带有计算机可用程序代码的计算机可用媒体的计算机程序产品，所述计算机可用程序代码当被执行时可以使得机器实施这里描述的各种步骤和/或功能。

附图说明

图1是示出了根据本发明的一方面的系统的框图。

图2是示出了根据本发明的另一方面的预定义分析模型参数集合的表。

图3是示出了本发明的另一方面的曲线图。

图4是示出了根据本发明的另一方面的方法的流程图。

图5是示出了根据本发明的另一方面的方法的流程图。

具体实施方式

如本领域技术人员将理解的，本发明可以被实现为一种方法、系统或计算机程序产品。因此，本发明可以采用的形式有：完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或者结合软件和硬件方面的实施例，其在这里可以全部被统称为“电路”、“模块”或“系统”。

此外，本发明可采用可从计算机可用或计算机可读媒体访问的计算机程序产品的形式，所述媒体提供由计算机或任何指令执行系统使用、或与计算机或任何指令执行系统相结合使用的程序代码。出于本说明书的目的，计算机可用或计算机可读媒体可以是可包含、存储、传送、传播或传输程序的任何装置，所述程序由指令执行系统、装置或设备使用或与指令执行系统、装置或设备相结合使用。

可以利用任何合适的计算机可用或计算机可读媒体。例如，所述媒体可以是(但不限于)：电子的、磁的、光的、电磁的、红外的或半导体系统(或装置或设备)、或传播媒体。示例性的计算机可读媒体的非穷举列表可以包括：具有一根或多根线的电连接、光纤、磁存储介质(诸如磁带)、可移动计算机磁盘、便携式计算机磁盘、硬盘、硬磁盘、光存储媒体(诸如光盘，包括只读存储器致密盘(CD-ROM)、读/写致密盘(CD-R/W)或DVD)、或者半导体或固态存储器(包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、或可擦除可编程只读存储器(EPROM或闪存))。

计算机可用或计算机可读媒体可以进一步包括传输媒体，诸如支持因特网或内联网的传输媒体。另外，计算机可用媒体可以包括这样的传播数据信号，无论是在基带内还是作为载波的一部分，该信号均具有计算机可用程序代码。计算机可用程序代码可以使用任何合适的媒体来传输，所述合适的媒体包括但不限于：因特网、有线线路、光纤、线缆、RF等。

在另一方面，计算机可用或计算机可读媒体可以是纸或在其上打印程序的另一合适的媒体，因为程序可以经由例如对纸或其它媒体进行光扫描而被电捕获，接着如果需要，可进行编译、解释、或者另外以合适的方式进行处理，并且接着存储在计算机存储器中。

用于执行本发明的操作的计算机程序代码可以以面向对象的编程语言(诸如Java、Smalltalk、C++等)来编写。然而，用于执行本发明的操作的计算机程序代码还可以以传统的程序编程语言(诸如“C”编程语言或类似编程语言)来编写。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为单独的软件包来执行、部分地在用户的计算机上执行以及部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一场景中，远程计算机可以通过局域网(LAN)或广域网(WAN)连接到用户的计算机，或者该连接可以连接到外部计算机(例如，使用因特网服务供应商通过因特网连接)。

适于存储和/或执行程序代码的数据处理系统将包括：直接地或通过系统总线间接地耦合于存储器单元的至少一个处理器。存储器单元可以包括在程序代码的实际执行期间使用的局部存储器、海量存储装置、以及高速缓冲存储器，该高速缓冲存储器提供了至少某种程序代码的临时存储以便减少在执行期间必须从海量存储装置检索代码的次数。

输入/输出或I/O设备(包括但不限于：键盘、显示器、定点设备等)可以直接地或通过中间I/O控制器耦合于系统。网络适配器也可以被耦合于系统，以使数据处理系统能通过中间的专用或公用网络来耦合于其它数据处理系统或远程打印机或存储设备。调制解调器、线缆调制解调器和以太网卡仅仅是当前可用类型的网络适配器中的少数几种。

下面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明。将会理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生一种机器，使得该指令在经由计算机或其它可编程数据处理装置的处理器执行时，创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。

这些计算机程序指令还可以存储在计算机可读存储器中，其可以指示计算机或其它可编程数据处理装置以特定的方式运行，从而存储在计算机可读存储器中的指令产生一种制品，其包括实现了在流程图和/或框图的一个或多个框中指定的功能/动作的指令装置。

计算机程序指令还可以被加载到计算机或其它可编程数据处理装置上，以使得一系列操作步骤在计算机或其它可编程装置上实施，以产生计算机实现过程，使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的步骤。

本发明涉及使用分析模型来预测通信系统的行为。根据这里公开的发明性方案，在给定诸如系统中的噪声级别以及被构建的分析模型的期望准确度或误差的输入的情况下，生成具有指定准确度级别的分析模型所需的样本或数据集的数量可以被确定。

针对系统的分析模型可以从多个预定义分析模型参数集合中创建。分析模型可以通过添加噪声来改变。经推知的分析模型参数集合可以从每个经噪声调节的分析模型中确定。经推知的分析模型参数集合可以是这样：如果其被提供给网络解算机(solver)则将产生经噪声调节的分析模型。每个预定义分析模型参数集合可以与相应的经推知的分析模型参数集合进行比较，以确定和记录针对每次比较的误差度量。所述过程可以针对多个数据集(即，多个预定义分析模型参数集合)以及在多个噪声级别上进行重复。

在指定了噪声级别以及期望的准确度或误差的级别的情况下，所收集的数据可被用于确定创建分析模型所需的数据集的数量。通过确定建立具有给定准确度级别的分析模型所需的数据量，降低了将收集到过多或过少数据的可能性。此外，确定所需数据量可以得到较便宜的分析模型，其能够以至少为某一最小准确度级别来预测系统行为。由于针对给定分析模型的准确度可以被确定，所以针对关于所建模的系统的其它决定，该模型的准确度可以被考虑。

图1是示出了根据本发明的一方面的系统100的框图。系统100可被用于创建库150。库150可以指示出生成分析模型所需的数据量，所述分析模型可以以指定的准确度级别模拟特定系统的行为。系统100可被应用于多种不同的分析模型中的任一种，诸如Petri Net、有色Petri Net、排队模型等等。于是，尽管在本说明书中参考的是排队模型，但本领域技术人员将认识到，这里公开的各种方法、系统和技术可被应用于其它分析模型。

如所示，网络解算机110可以接收预定义分析模型参数105的集合。预定义分析模型参数105可以是已被指定针对特定系统的参数。在一方面中，所述系统可以是通信系统。在此情形中，所述系统可以包括一个或多个已知的处理节点，即，可以被建模为排队服务器的服务器或其它硬件。例如，预定义分析模型参数105可以包括但不限于：在被建模的通信系统中的每一独立排队服务器处理或操作特定类型的事务或事件所需要的时间量、以及每个事务所需要的对每个独立服务器的访问的数量。

应该理解，这里公开的实施例可以被应用于多种不同的真实世界系统中的任一种。这样的系统的示例可以包括：银行出纳员队列、商店付账队列、电话系统等等。因此，尽管有时将通信系统用作示例，但是并非要把本发明限于仅对一类系统建模。

由通信系统实施的事务或作业可以在功能上和当实施事务时所需或所用的资源的方面不同。例如，诸如在在线购物会话期间浏览网页的事务与诸如搜索网站的事务相比，可能需要不同的时间量和/或对通信系统的多种服务器的访问的数量。针对给定事务所需的时间量可以基于每次事务被指定，并且可以进一步针对每个事务类型基于每个服务器被指定。在一方面中，预定义分析模型参数105可以是任意集合。在另一方面中，预定义分析模型参数105可以根据所建模的通信系统中的实际硬件或服务器的已知属性而进行估计。

从预定义分析模型参数105中，网络解算机110可以创建或生成分析模型115。本领域技术人员将认识到，网络和/或模型解算机(诸如排队模型解算机)是本领域中已知的软件程序。同样，所使用的特定网络解算机不是要限制本发明。而是，可以使用多种可用的网络解算机中的任一种。

得到的分析模型115可以指定系统的行为信息，其中所述预定义分析模型参数105针对所述系统而创建。分析模型115可以是下述函数，其当被解算时提供系统行为信息。例如，在通信系统的情形中，分析模型115当被解算时可以指定信息，诸如，期望的中央处理单元(CPU)使用量、以及针对涉及通信系统的多种不同的情形场景的期望响应时间。如所知的，CPU使用量可以按照百分比来指定，即，10％、20％、30％或50％使用量等等，而响应时间可以按照秒或者秒的某个分数(诸如微秒)来指定。

分析模型115(例如由分析模型115提供的行为信息)可被提供给噪声发生器120，噪声发生器120可以向分析模型115添加指定的噪声级别，从而得到经噪声调节的分析模型125。在图示中，如果指定的噪声级别是1.0％，则在分析模型中的任意参数(即，CPU使用量和/或响应时间)的级别可以改变±0.5％。因此，对于50％的CPU使用量，针对该分析模型的经噪声调节的CPU使用量可以被调节为49.5％和50.5％之间的值。对于由分析模型115提供或估计的所有值，都可以是这样的情形。

经噪声调节的分析模型125可以被提供给推理处理器130。在给定“分析模型A”作为输入的情况下，推理处理器130可以返回分析模型参数集合，所述分析模型参数集合当被网络解算机(诸如网络解算机110)处理时将提供“分析模型A”作为输入。推理处理器130应用了本质上非线性的处理技术。于是，所生成作为输出的、得到的经推知的分析模型参数135不会从被提供给推理处理器130作为输入的经噪声调节的分析模型125中容易地预测到。即，由于分析模型的非线性、排队数学、以及推理处理器130的行为的缘故，向分析模型115添加噪声的影响不会被容易地预测到。应该理解，尽管这里阐述的多种计算关于软件工具进行讨论，所述软件工具以半自动化或完全自动化的方式实现功能，但是当确实期望时，这里所描述的一个或多个过程也可以手动实施。

在任一情形中，在一实施例中，推理处理器130可以被实现为基于优化的推理处理器。在这样的实施例中，假定端对端度量数据(即，系统吞吐量、服务器使用量、以及端对端响应时间)为可用。每个端对端度量集合可以被公式化为易处理的二次方程式程序集合。基于所述公式化，一种自调节的嵌套过程被应用来解决该问题，所述嵌套过程明确地利用底层问题的结构属性。对每个二次方程式程序的解答的非唯一性以及多个度量集合的存在被用于获得排队网络参数，所述参数维持了对数据的解答的整个集合的表示。推理处理器可以检测并移除无关的度量集合。关于这里描述的推理处理器的进一步细节可以在Liu Z.、Wynter L.、Xia C.H.以及ZhangF.的“Parameter Inference of Queuing Models for IT Systems usingEnd-to-End Measurements”(Performance Evaluation，63(2006)：36-60)或者Wynter L.、Xia C.H.以及Zhang F.的“Parameter Inference ofQueuing Models for IT Systems using End-to-End Measurements”(PDF，Proceedings of SIGMETRICS-Performance 2004)中找到，这里通过引用将二者引入。

经推知的分析模型参数135可以被提供给比较器140，其将经推知的分析模型参数135与预定义的分析模型参数105进行比较。比较器140可以生成两个分析模型参数集合之间的误差或者误差度量145。在一方面中，误差度量145可以根据在分析模型参数的整个集合上的平均相对误差来计算。在另一方面中，可以使用平方和技术。应该理解，多种适合的误差函数中的任一种可以被使用，并且所使用的特定误差函数不是要限制本发明。误差度量145可以被存储在库150中。此外，误差度量145所基于的数据集的数量的指示可以被存储。

参考图1所描述的整个过程可以迭代多次。在每次迭代期间，预定义模型参数105的不同集合可以被处理。随着推理处理器130继续进行迭代，推理处理器130可以开始过滤噪声并会聚到一个解答。在每次迭代期间生成的经推知的分析模型参数135的集合不仅依赖于在当前迭代中被处理的经噪声调节的分析模型125，而且依赖于在之前的迭代中被处理的每个之前的经噪声调节的分析模型125。

在图示中，“预定义分析模型参数A”的集合被用于创建“分析模型A”以及“经噪声调节的分析模型A”。由推理处理器130生成“经推知的分析模型参数A”的集合。“经推知的分析模型参数A”和“预定义分析模型参数A”之间的误差被确定为“误差度量A”。“误差度量A”可以与数据集计数器值“1”以及被用于创建“经噪声调节的分析模型A”的噪声级别的指示存储在一起。数据集计数器值“1”指示出“误差度量A”对应于一个数据集。即，“经推知的分析模型参数A”从一个数据集中确定，在此情形中，所述一个数据集为“经噪声调节的分析模型A”或者用于创建“分析模型A”的底层的“预定义分析模型参数A”的集合。

所述过程可以被重复。“预定义分析模型参数B”的集合可以被用于生成“分析模型B”以及“经噪声调节的分析模型B”。可以确定“经推知的分析模型参数B”的集合。“经推知的分析模型参数B”和“预定义分析模型参数B”之间的误差可以被计算为“误差度量B”。“误差度量B”可以与数据集计数器值“2”以及被用于创建“经噪声调节的分析模型B”的噪声级别存储在一起。数据集计数器值“2”指示出“误差度量B”对应于两个数据集。即，“经推知的分析模型参数B”不仅从“经噪声调节的分析模型B”中确定，而且从“经噪声调节的分析模型A”(即，对推理处理器130的每个之前的输入)中确定。不过，应该理解，上述过程也可以针对每个噪声级别被实施多次，以获得统计上更准确的数量或度量。

随着所述过程继续进行迭代，用针对特定噪声级别对应于越来越多数据集的数量(即1、2、3、4、5等)的不同的误差度量来构建库150。因此，“经推知的分析模型参数C”和“预定义分析模型参数C”之间的误差度量将对应于3个数据集，因为“经推知的分析模型参数C”从“经噪声调节的分析模型A、B和C”中创建。被添加到“分析模型C”以创建“经噪声调节的分析模型C”的噪声级别可以与“误差度量C”存储在一起。

尽管预定义分析模型参数105可以被改变以创建预定义分析模型参数的多个集合，其中库150可以根据所述参数建立，但是应该理解，被用于创建经噪声调节的分析模型的噪声级别也可以改变。对于一个给定的迭代，噪声级别可以改变，预定义分析模型可以改变，从而创建新的预定义分析模型参数105的集合，或者二者都可以改变。在库150中存储的所得到的数据可以反映在整个噪声级别的范围和整个数据集的范围(即，预定义分析模型参数105的多个集合)上针对给定分析模型的误差度量。

图2呈现了示出根据本发明的另一方面的预定义分析模型参数集合的表200。表200示出了包括预定义分析模型参数的数据，其中分析模型可以基于所述预定义分析模型参数建立。在一方面中，表200的值可以是针对通信系统的多种服务器的响应时间的估计，以及可以基于每个独立服务器的已知硬件以及多种其它参数被估计。不过，在另一实施例中，所述值可以是任意集合。

如所示，表200指定了被建模的通信系统中的给定服务器对作为给定事务的一部分的请求进行响应所需要的时间量。例如，从表200中可以看出，对于事务“#WMLClick10Links”，服务器1、3、4、5和6被涉及。每个服务器具有0.005秒的响应时间。在事务“#WMLClick10Links”中未涉及服务器2。应该理解，表200的各种服务器1-6可以表示通信系统中的不同种类的服务器，包括但不限于：HTTP服务器、验证服务器、应用服务器、数据库服务器等。

附加信息可以被指定，其在表200中未示出，诸如特定服务器被访问以完成所指定的事务的次数。例如，可以是这样的情形，对于事务“#WMLClick10Links”，除了服务器1之外的每个服务器仅被访问一次。服务器1可以被访问3次，其中每次访问需要0.005秒来完成。

图3呈现了根据本发明的另一方面的曲线图300。曲线图300示出了给定分析模型的相对误差与用于生成模型的数据集的数量之间的关系。曲线图300示出了以下方式，其中，随着数据集(该分析模型基于所述数据集建立)的数量的增加，针对分析模型的准确度也增加(误差减少)。在曲线图300中反映的数据是关于噪声级别“0.1”。曲线图300示出了可以被存储在图1的库150中的数据。可以存储针对其它噪声级别(即，在任意期望的粒度或区间上、范围从“0.0”到“1.0”的级别)的另外的数据。

图4呈现了示出根据本发明的另一方面的方法400的流程图。方法400可以由系统实施以生成数据的库，所述系统诸如参考图1描述的系统。于是，在步骤405，数据集计数器可以被初始化为值“1”，并且最小噪声级别可以被建立作为当前的噪声级别。例如，噪声级别最初可以被设为最小噪声级别，诸如“0.1”，使得该噪声级别在整个已定义范围内持续递增。在另一示例中，噪声级别可以被设为最大，诸如“1.0”，并且被持续减少，直到达到针对已建立的范围的最小噪声级别为止。

在步骤410，预定义分析模型参数集合可以被识别或选择，作为当前的预定义分析模型参数集合。在步骤415，可以使用网络解算机从当前的预定义分析模型参数集合中创建分析模型。在步骤420，可以将噪声引入在步骤415中创建的分析模型。噪声可以在当前噪声级别被添加。向分析模型添加噪声得到经噪声调节的分析模型。

在步骤425，可以通过推断处理器来处理经噪声调节的分析模型的性能预测，以确定经推知的分析模型参数集合。在步骤430，经推知的分析模型参数集合和当前的预定义分析模型参数集合之间的误差度量可以被确定。在步骤435，误差度量可以被存储在库中。误差度量可以与数据集计数器的当前值和当前的噪声级别存储在一起。

在步骤440，可以确定是否已经处理了期望数量的数据集。可以将数据集计数器的当前值与指示出要处理的数据集的期望数量的阈值(即，100、150、200等)进行比较。如果数据集计数器的当前值小于已建立的阈值，则所述方法可以进行到步骤460。如果数据集计数器的当前值大于已建立的阈值，则所述方法可以继续到步骤445。继续进行步骤460，可以使数据集计数器的值递增。在步骤465，下一预定义分析模型参数集合可以被选择。所述方法可以继续到步骤410以继续处理。

进行到步骤445，可以确定是否已经处理了在期望的噪声级别的整个范围上的数据集。可以将当前的噪声级别与已建立的最大噪声级别进行比较。如果当前的噪声级别小于最大噪声级别，则所述方法可以进行到步骤455。如果当前的噪声级别大于最大噪声级别，则所述方法可以结束，因为已经处理了针对在噪声级别的整个范围上的所述数据集数量的期望的数据量。

在步骤450，可以使噪声级别递增例如“0.1”。在步骤455，数据集计数器可以被重置为值“1”。继续到步骤465，预定义分析模型参数集合可以被选择。由于所述过程已经完全对于全部数量的可用数据集进行了迭代，所以所述方法可以选择例如多个预定义分析模型参数集合中的第一个，并且使用新的噪声级别继续处理多个预定义分析模型参数集合中的每一个。

一旦参考图4描述的方法完成，则数据的库(即图1的库150)被构建。所述库可以提供：在给定了特定噪声级别和期望的准确度级别(即期望的误差度量)的情况下，对建立分析模型所必需的数据集的数量的指示。

图5呈现了示出根据本发明的另一方面的方法500的流程图。方法500示出了使用如参考图1-4所描述的那样进行开发的库的一种方式。在步骤505，用于建立或生成分析模型的一个或多个参数集合可以从将被建模的实际通信系统中进行度量。

在步骤510，可以计算针对各种参数的平均值以及置信度。此信息可以在统计上计算。置信度可以被认为指示了“真正的”平均值。置信度可以指示出，例如，针对99％的时间，平均值为50％，或者针对99％的时间，平均值介于45％和50％之间等等。

在步骤515，可以计算针对不同参数的平均噪声量。在图示中，如果针对给定参数，平均值被确定为50％，而度量到实际值45％，则如果已经收集了所述参数的50个样本，误差可以被认为是大约5％。至少针对给定参数的平均噪声量可以根据表达式[(平均值-实际)/(样本数量)]来计算。可以针对通信系统的每个参数对平均噪声量进行平均，以确定通信系统中的平均相对噪声量。如所阐述的，多种不同的噪声度量中的任一种可以被使用，并且本发明并非要被限制于一种特定类型的度量或噪声估计函数。

在步骤520，可以针对要生成的分析模型选择或指定期望的准确度级别。准确度级别可以被表达为来自分析模型的误差度量，并且可以被进一步表达为百分比。在步骤525，期望的准确度级别和平均相对噪声量可以被提供给库作为输入。在给定通信系统中的期望的准确度级别和平均相对噪声量的情况下，所述库可以提供指示出数据集或样本数量的值，所述数据集或样本数量将是产生针对通信系统的具有期望的准确度级别的分析模型所需的。

附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。在这点上，流程图或框图中的每个框可以表示代码部分、段或模块，其包括用于实现指定的一个或多个逻辑功能的一个或多个可执行指令。还应该注意，在某些可替换实现中，在框中阐述的功能可以以不同于图中阐述的顺序发生。例如，取决于所涉及的功能，顺序示出的两个框可能实际上基本并行地执行，或者所述框可能有时以相反的顺序执行。还将会注意，框图和/或流程图图示中的每个框、或者框图和/或流程图图示中的框的组合可以由实施特定功能或动作的专用的基于硬件的系统、或者专用硬件和计算机指令的组合来实现。

这里使用的术语是仅用于描述特定实施例的目的，而并非要限制本发明。如这里使用的，除非上下文明确地另外进行指示，否则单数形式“一个(a)”、  “一个(an)”和“该(the)”意在也包括复数形式。将会进一步理解，术语“包括(comprises)”和/或“包括(comprising)”当在本说明书中使用时指定了所阐述的特征、整数、步骤、操作、单元和/或组件的存在，但不会排除其中的一个或多个其它的特征、整数、步骤、操作、单元、组件和/或组的存在或增加。

权利要求中的所有装置或步骤加上功能单元的相应的结构、材料、动作和等同物意在包括按照明确要求保护的、用于结合其它所要求保护的单元实施功能的任意结构、材料或动作。已经出于说明和描述的目的呈现了对本发明的描述，但其并非意在穷举或限制于所公开的形式的发明。对于本领域普通技术人员来说许多修改和变体将显而易见，而不会背离本发明的范围和精神。所选择和描述的实施例用来最好地解释本发明的原理、实践应用，以及使得本领域普通技术人员能够理解针对具有适于预期的特定使用的多种修改的多种实施例的本发明。

因此，在已经详细描述了本应用发明并通过参考其中的实施例之后，将很明显，修改和变体是可能的，而不会背离在权利要求中限定的本发明的范围。

Claims (20)

1.一种确定所预测的系统行为的准确度的方法，包括：

创建多个经噪声调节的分析模型，其中每个经噪声调节的分析模型与预定义分析模型参数集合相关联；

得出针对每个经噪声调节的分析模型的经推知的分析模型参数集合，其中每个经推知的分析模型参数集合依赖于当前的经噪声调节的分析模型以及每个之前的经噪声调节的分析模型；以及

对于每个经推知的分析模型参数集合，确定所述经推知的分析模型参数集合与关联于所述经噪声调节的分析模型的预定义分析模型参数集合之间的误差度量，其中所述经推知的分析模型参数集合从所述经噪声调节的分析模型中得出。

2.根据权利要求1所述的方法，其中创建多个经噪声调节的分析模型进一步包括：

针对每个预定义分析模型参数集合生成分析模型；以及

将噪声添加到每个分析模型，以创建经噪声调节的分析模型。

3.根据权利要求2所述的方法，进一步包括：改变被添加到每个分析模型的噪声级别，以创建多个经噪声调节的分析模型。

4.根据权利要求1所述的方法，其中创建多个经噪声调节的分析模型进一步包括：

针对每个预定义分析模型参数集合生成分析模型；以及

对于每个分析模型，添加在整个预定义范围中变化的噪声级别，以创建多个经噪声调节的分析模型。

5.根据权利要求1所述的方法，进一步包括：对于每个误差度量，存储所述误差度量以及用于得出针对其所述误差度量被确定的经推知的分析模型参数集合的经噪声调节的分析模型的数量的指示。

6.根据权利要求5所述的方法，进一步包括：对于每个误差度量，存储被添加到当前经噪声调节的分析模型的噪声级别的指示，所述当前经噪声调节的分析模型用于得出针对其所述误差度量被确定的经推知的分析模型参数。

7.根据权利要求6所述的方法，进一步包括：响应于接收到指定期望的误差度量以及噪声级别的输入，确定生成具有所述期望的误差度量的分析模型所需的数据集的数量。

8.一种确定创建具有预定的准确度级别的分析模型所需的样本数据量的方法，所述方法包括：

识别包括多个条目的数据源，其中每个条目包括噪声级别、准确度级别、以及生成具有在所述条目中指示的准确度级别的分析模型所需的系统度量集合的数量；

从所度量的系统参数中计算噪声级别；

选择期望的准确度级别；以及

根据所述噪声级别和期望的准确度级别定位条目，以及读取生成具有所述期望的准确度级别的分析模型所需的系统度量集合的数量。

9.根据权利要求8所述的方法，进一步包括：

创建多个经噪声调节的分析模型，其中每个经噪声调节的分析模型与预定义分析模型参数集合相关联；

得出针对每个经噪声调节的分析模型的经推知的分析模型参数集合，其中每个经推知的分析模型参数集合依赖于当前的经噪声调节的分析模型以及每个之前的经噪声调节的分析模型；以及

对于每个经推知的分析模型参数集合，确定所述经推知的分析模型参数集合与关联于所述经噪声调节的分析模型的预定义分析模型参数集合之间的误差度量，其中所述经推知的分析模型参数集合从所述经噪声调节的分析模型中得出。

10.根据权利要求9所述的方法，其中创建多个经噪声调节的分析模型进一步包括：

针对每个预定义分析模型参数集合生成分析模型；以及

将噪声添加到每个分析模型，以创建经噪声调节的分析模型。

11.根据权利要求10所述的方法，进一步包括：改变被添加到每个分析模型的噪声级别，以创建多个经噪声调节的分析模型。

12.根据权利要求9所述的方法，其中创建多个经噪声调节的分析模型进一步包括：

针对每个预定义分析模型参数集合生成分析模型；以及

对于每个分析模型，添加在整个预定义范围中变化的噪声级别，以创建多个经噪声调节的分析模型。

13.根据权利要求9所述的方法，进一步包括：对于每个误差度量，存储所述误差度量以及用于得出针对其所述误差度量被确定的经推知的模型参数集合的经噪声调节的分析模型的数量的指示。

14.根据权利要求13所述的方法，进一步包括：对于每个误差度量，存储被添加到当前经噪声调节的分析模型的噪声级别的指示，所述当前经噪声调节的分析模型用于得出针对其所述误差度量被确定的经推知的模型参数。

15.一种确定所预测的系统行为的准确度的装置，包括：

用于创建多个经噪声调节的分析模型的装置，其中每个经噪声调节的分析模型与预定义分析模型参数集合相关联；

用于得出针对每个经噪声调节的分析模型的经推知的分析模型参数集合的装置，其中每个经推知的分析模型参数集合依赖于当前的经噪声调节的分析模型以及每个之前的经噪声调节的分析模型；以及

用于对于每个经推知的分析模型参数集合，确定所述经推知的分析模型参数集合与关联于所述经噪声调节的分析模型的预定义分析模型参数集合之间的误差度量的装置，其中所述经推知的分析模型参数集合从所述经噪声调节的分析模型中得出。

16.根据权利要求15所述的装置，其中用于创建多个经噪声调节的分析模型的所述装置进一步包括：

用于针对每个预定义分析模型参数集合生成分析模型的装置；以及

用于将噪声添加到每个分析模型，以创建经噪声调节的分析模型的装置。

17.根据权利要求16所述的装置，进一步包括：用于改变被添加到每个分析模型的噪声级别，以创建多个经噪声调节的分析模型的装置。

18.根据权利要求15所述的装置，进一步包括：用于对于每个误差度量，存储所述误差度量以及用于得出针对其所述误差度量被确定的经推知的分析模型参数集合的经噪声调节的分析模型的数量的指示的装置。

19.根据权利要求18所述的装置，进一步包括：用于对于每个误差度量，存储被添加到当前经噪声调节的分析模型的噪声级别的指示的装置，所述当前经噪声调节的分析模型用于得出针对其所述误差度量被确定的经推知的分析模型参数。

20.根据权利要求19所述的装置，进一步包括：用于响应于接收到指定期望的误差度量以及噪声级别的输入，确定生成具有所述期望的误差度量的分析模型所需的数据集的数量的装置。

Images