CN110166312A

CN110166312A - 使用随机测试床自动创建网络装置模型

Info

Publication number: CN110166312A
Application number: CN201811389014.1A
Authority: CN
Inventors: 诺舍万·米恩瓦拉; 朱光宇; 戴维·通; 何蔼; 贾亚巴哈拉特·博杜; 马修·杰里米·梅林; 哈维尔·安蒂克
Original assignee: Jungle Network
Current assignee: Jungle Network
Priority date: 2018-02-16
Filing date: 2018-11-20
Publication date: 2019-08-23
Anticipated expiration: 2038-11-20
Also published as: US11093666B2; US11055453B2; US20190258755A1; US11106839B2; US20190258756A1; EP3528435A1; CN110166312B; US20190258754A1; US20190258753A1; US11087046B2; EP3528435B1

Abstract

本公开总体上描述了使用随机测试床自动创建网络装置模型的技术。包括处理器的装置可以被配置为执行这些技术。所述处理器可以基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代。每个模拟迭代可以被配置为在测试环境内随机分配参数。所述驱动器可以基于配置对象在测试环境内进行每个模拟迭代，以收集表示网络装置的操作状态的模拟数据集。所述分析模块可以相对于每个模拟数据集执行机器学习，以生成模型，该模型响应于配置参数，当用网络装置的配置参数配置时，预测网络装置的操作状态。

Description

使用随机测试床自动创建网络装置模型

本申请要求2018年3月22日提交的美国专利申请No.15/928,932的权益，该美国专利申请要求2018年2月16日提交的欧洲专利申请No. 18382090的权益，其全部内容通过引用结合于此。

技术领域

本发明涉及计算装置，更具体地，涉及计算装置的建模。

背景技术

测试床试图复制其中可能部署装置的环境。例如，测试床可以尝试复制其中可以部署诸如路由器等网络装置的网络。在网络环境中，仅举几例，测试床可以包括许多不同的路由器、交换机和终端用户设备，例如，电缆调制解调器、数字用户线路(DSL)调制解调器、个人计算机、智能电话或其他蜂窝手机装置、无线接入点等。

网络管理员可以将测试床配置为实现各种服务，提供被测装置(即，本示例中的上述路由器)，以支持各种服务。在测试期间，网络管理员可以收集关于被测装置如何执行的信息，试图了解应该如何配置被测装置以及应该在网络中部署多少被测装置来成功实现服务。

虽然测试床可能有助于更好地理解被测装置，但配置测试床通常很耗时，需要手动输入所有配置数据才能成功实现服务。因为输入是手动的，所以最终的配置往往与现实网络中的配置不同。由于配置与现实网络不同，通常很难使用测试床来创建被测装置的真实模型，特别是考虑到路由器和其他装置支持的配置中潜在的广泛可变性。

发明内容

描述了使用测试环境(或换言之，测试床)实现被测装置(DUT)自动建模的技术。这些技术可以提供一种驱动器来自动配置DUT和测试床，而不是依靠手动配置。驱动器可以尝试随机化配置，以更好地反映真实世界的网络，从而获得更精确的模型，而不是使用遵循严格测试配置的逻辑配置的测试床(例如，使用规则来排序和分配IP地址)。驱动器可以自动迭代配置测试床和DUT，并根据迭代配置进行模拟。

在模拟期间，这些技术的各个方面可以允许使用各种机制来自动操作数据收集，以序列化和格式化(或者换言之，调节)操作数据。网络装置的操作数据的示例可以包括特征使用数据和资源利用数据。仅举几例，特征使用数据可以包括对等体数量、组数量、路由实例数量、客户边缘(CE) 装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个。仅举几例，资源利用数据可以包括路由引擎资源利用和/或分组转发引擎资源利用。数据收集工具可以被配置为实现这些技术的操作数据收集方面。数据收集工具可以查询或发出命令，来收集指示DUT操作状态的操作数据。数据收集工具可以向分析模块提供经调节的操作数据。

此外，这些技术的各个方面可以允许分析模块将操作数据与每个模拟同步。为了允许分析模块识别特征使用数据和资源利用数据之间的关联，数据收集工具调节操作数据，以便于识别特征使用数据和资源利用数据之间的关联的定义格式来设置操作数据。分析模块然后可以基于关联使用机器学习算法(和/或可能的其他算法)生成DUT的模型。该模型可响应于配置参数预测DUT的操作状态。

这些技术的某些方面可允许在不可能进行大规模配置随机化的预配置环境中生成模型。在预配置的环境中，驱动器可以迭代地适配(其可以指激活和/或停用)一个或多个预定义的配置对象，并且对于适配的每次迭代，进行模拟，以收集操作数据。以这种方式，驱动器可以在更静态的环境中自动创建模型，例如，由客户拥有和操作的环境，从而为客户部署的装置创建精确的模型。

在生成预测DUT操作状态的模型时，这些技术可以允许装置的客户更好地理解装置在资源消耗方面的实际能力，从而允许客户更好地理解现有装置部署。此外，客户可以利用该模型来更好地理解需要多少具有特定配置的相应装置来满足对所配置服务的预期需求。这种建模可以让客户更好地理解装置部署、每个装置的服务部署，并计划装置购买，以满足预期需求。这样，这些技术可以更好地了解实际环境中现有和未来的装置部署。

在一个示例中，这些技术针对一种自动创建模型的方法，所述方法包括：由一个或多个处理器基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境中的参数，以反映实际网络环境；并且由所述一个或多个处理器基于配置对象在测试环境内进行所述多个模拟迭代中的每一个，以收集表示网络装置的操作状态的对应的多个模拟数据集；并且由所述一个或多个处理器相对于多个模拟数据集中的每一个执行机器学习，以生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置所述网络装置时，预测网络装置的操作状态。

在另一示例中，这些技术针对一种被配置为自动创建模型的装置，所述装置包括：一个或多个处理器，其被配置为：基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境中的参数，以反映实际网络环境；基于配置对象在测试环境内进行所述多个模拟迭代中的每一个，以收集表示网络装置的操作状态的对应的多个模拟数据集；并且相对于多个模拟数据集中的每一个执行机器学习，以生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置网络装置时，预测网络装置的操作状态；以及存储器，其被配置为存储该模型。

在另一示例中，这些技术针对一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使第一处理器：基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境中的参数，以反映实际网络环境；基于配置对象在测试环境内进行所述多个模拟迭代中的每一个，以收集表示网络装置的操作状态的对应的多个模拟数据集；并且相对于多个模拟数据集中的每一个执行机器学习，以生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

在另一示例中，这些技术针对一种自动创建模型的方法，所述方法包括：由一个或多个处理器基于模拟配置文件生成配置对象的不同迭代，用于将网络装置配置为参与网络装置的测试环境内的多个模拟；由所述一个或多个处理器基于所述配置对象的不同迭代，迭代地与网络装置接口 (interface，对接)，以将所述网络装置配置为参与模拟；由一个或多个处理器在测试环境内迭代地进行多个模拟的同时，与网络装置接口，以在多个模拟中的每一个期间收集表示装置的操作状态的多个模拟数据集；并且由所述一个或多个处理器基于所述模拟数据集生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

在另一示例中，这些技术针对一种被配置为自动创建模型的装置，所述装置包括：存储器，其被配置为存储模拟配置文件；以及一个或多个处理器，其被配置为：基于模拟配置文件生成配置对象的不同迭代，用于将网络装置配置为参与网络装置的测试环境内的多个模拟；基于所述配置对象的不同迭代，迭代地与网络装置接口，以将所述网络装置配置为参与模拟；在测试环境内迭代地进行多个模拟的同时，与网络装置接口，以在多个模拟中的每一个期间收集表示装置的操作状态的多个模拟数据集；并且基于所述模拟数据集生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

在另一示例中，这些技术针对一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：基于模拟配置文件生成配置对象的不同迭代，用于将网络装置配置为参与网络装置的测试环境内的多个模拟；基于所述配置对象的不同迭代，迭代地与网络装置接口，以将所述网络装置配置为参与模拟；在测试环境内迭代地进行多个模拟的同时，与网络装置接口，以在多个模拟中的每一个期间收集表示装置的操作状态的多个模拟数据集；并且基于所述模拟数据集生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

在另一示例中，这些技术针对一种生成装置模型的方法，包括：由一个或多个处理器获得多个模拟配置文件，用于在测试环境内对网络装置进行多个模拟；由所述一个或多个处理器基于所述多个模拟配置文件，相对于测试环境内的网络装置进行所述多个模拟中的每一个，以收集指示网络装置相对于多个模拟中的每一个的操作状态的对应的多个模拟数据集；由所述一个或多个处理器确定所述多个模拟数据集的一个或多个非冗余对之间的相似程度；由所述一个或多个处理器响应于相似程度与多样性阈值的比较，选择所述多个模拟数据集的子集；并且由所述一个或多个处理器基于所述多个模拟数据集的选定子集，生成表示所述网络装置的模型，所述模型响应于网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

在另一示例中，这些技术针对一种被配置为生成网络装置的模型的装置，包括：存储器，其被配置为存储多个模拟配置文件，用于在测试环境内对网络装置进行多个模拟；以及一个或多个处理器，其被配置为基于所述多个模拟配置文件，相对于测试环境内的网络装置进行所述多个模拟中的每一个，以收集指示网络装置相对于多个模拟中的每一个的操作状态的对应的多个模拟数据集；确定所述多个模拟数据集的一个或多个非冗余对之间的相似程度；响应于相似程度与多样性阈值的比较，选择所述多个模拟数据集的子集；并且基于所述多个模拟数据集的选定子集，生成表示所述网络装置的模型，所述模型响应于网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

在另一示例中，这些技术针对一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：获得多个模拟配置文件，用于在测试环境内对网络装置进行多个模拟；基于所述多个模拟配置文件，相对于测试环境内的网络装置进行所述多个模拟中的每一个，以收集指示网络装置相对于多个模拟中的每一个的操作状态的对应的多个模拟数据集；确定所述多个模拟数据集的一个或多个非冗余对之间的相似程度；响应于相似程度与多样性阈值的比较，选择所述多个模拟数据集的子集；并且基于所述多个模拟数据集的选定子集，生成表示所述网络装置的模型，所述模型响应于网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

在另一示例中，这些技术针对一种在预配置网络环境内自动创建模型的方法，该方法包括：由一个或多个处理器与预配置网络环境内的网络装置接口，以迭代地适配预配置网络环境内的网络装置的一个或多个预定义配置对象；由所述一个或多个处理器对所述网络装置的一个或多个预定义配置对象的适配的每次迭代进行模拟，以收集表示所述网络装置在所述预配置网络环境内的操作状态的模拟数据集；并且由所述一个或多个处理器基于所述操作数据生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

在另一示例中，这些技术针对一种被配置为在预配置网络环境内自动创建模型的装置，所述装置包括：一个或多个处理器，其被配置为：与预配置网络环境内的网络装置接口，以迭代地适配预配置网络环境内的网络装置的一个或多个预定义配置对象；对所述网络装置的一个或多个预定义配置对象的适配的每次迭代进行模拟，以收集表示所述网络装置在所述预配置网络环境内的操作状态的模拟数据集；并且基于所述操作数据生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测网络装置的操作状态；以及存储器，其被配置为存储模型。

在另一示例中，这些技术针对一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：与预配置网络环境内的网络装置接口，以迭代地适配预配置网络环境内的网络装置的一个或多个预定义配置对象；对所述网络装置的一个或多个预定义配置对象的适配的每次迭代进行模拟，以收集表示所述网络装置在所述预配置网络环境内的操作状态的模拟数据集；并且基于所述操作数据生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

在附图和下面的描述中阐述技术的一个或多个方面的细节。这些技术的其他特征、目的和优点将从说明书和附图以及权利要求书中变得显而易见。

附图说明

图1是被配置为执行本公开中描述的建模技术的各个方面的示例网络建模环境的方框图；

图2是更详细地示出图1的建模环境的方框图；

图3是示出图1和图2的建模环境在各种操作层方面的方框图；

图4是更详细地示出图1-3的驱动器的方框图；

图5是更详细地示出图3的流管理模块和数据处理模块的方框图；

图6是示出根据本公开中描述的技术的各个方面的建模环境在生成模型中的示例操作的示图；

图7A和7B是示出根据本公开中描述的技术的各个方面的预配置建模环境的配置对象生成的示图；

图8是示出在执行本公开中描述的自动模型生成的各个方面时图1的建模环境的示例操作的流程图；

图9是示出在使用预配置的测试环境执行配置对象生成时图3的建模环境的示例操作的流程图；

图10是更详细地示出图1-3的测试床14的示例的方框图；

图11是示出表示上述被测装置的示例路由器的方框图；

图12是示出根据本公开的一种或多种技术操作的计算装置的一个示例的进一步细节的方框图。

具体实施方式

图1是示出被配置为执行本公开中描述的建模技术的各个方面的建模环境10的方框图。如图1的示例所示，建模环境10包括驱动器12、测试环境14(也可以称为“测试床14”)、被测装置(DUT)16、数据收集工具18、模型20、后端分析单元22和数据库(DB)24。

驱动器12可以表示被配置为自动测试在测试床14内的DUT 16的单元。驱动器12可以自动配置测试床14和DUT 16，使得DUT 16与测试床14协同操作，以实现一个或多个服务或执行一个或多个操作。例如，在计算机网络的上下文中，DUT 16可以表示路由器或其他网络装置(例如，L2、L3或L2/L3交换机；路线反射器；网关；或服务网关)。如图1 的示例所示，测试床14包括虚拟网络14A和基于硬件的测试网络14B的组合。驱动器12可以将测试床14配置为实现一个或多个路由服务，例如，第三层虚拟专用网络(L3VPN)服务、第二层虚拟专用网络服务，例如，以太网VPN(EVPN)和虚拟专用WAN/LAN服务、多播和其他路由服务。驱动器12可以进一步将测试床14配置为与DUT 16通信，用于路由协议会话、管理协议会话、其他通信会话。驱动器12还可以将DUT 16配置为支持实现路由服务和通信会话，例如，上面列出的那些。

测试床14可以表示任何类型的测试环境。尽管关于虚拟网络14A和测试网络14B进行了描述，但是测试床14可以仅包括虚拟网络14A或仅包括测试网络14B或额外网络14A-14B，并且不应该局限于图1的示例中所示的组合。此外，尽管被示出为提供用于测试网络装置的各种形式的网络，但是测试床14可以表示适于测试任何类型的装置的任何平台，包括个人计算机、膝上型计算机、蜂窝电话(包括所谓的“智能电话”)、数字手表(包括所谓的“智能手表”)、扬声器(包括所谓的“智能扬声器”)、平板计算机、处理器或任何其他类型的电子装置。

DUT 16可以表示基于硬件的装置、虚拟装置(其可以指被实现为由通用计算装置执行的模型的装置)或者基于硬件的装置和虚拟装置的组合。为了说明的目的，假设DUT16表示网络装置，例如，路由器，因此在本文中可以称为“路由器16”。其他类型的DUT 16可以包括前述示例装置，包括个人计算机、膝上型计算机、蜂窝电话(包括所谓的“智能电话”)、数字手表(包括所谓的“智能手表”)、扬声器(包括所谓的“智能扬声器”)、平板计算机、处理器或任何其他类型的电子装置。

数据收集工具18可以表示被配置为检索表示DUT 16的操作状态的度量和其他数据的单元。当DUT 16表示路由器时，表示操作状态的数据的示例包括特征使用数据和资源利用数据。仅举几例，特征使用数据可以包括多个对等体(例如，边界网关协议(BGP)对等体)、多个组(例如， BGP组)、多个路由实例(route instances)(也称为“路由实例(routinginstances)”)、多个客户边缘(CE)装置、多个CE接口、多个路由、每个路由的类型中的一个或多个。仅举几例，资源利用数据可以包括每个路由守护程序(在路由器的路由引擎中)的中央处理单元(CPU)利用、每个路由守护程序的内存使用、路由器的分组转发引擎(PFE)中的CPU利用以及PFE中的内存使用中的一个或多个。

数据收集工具18可以在建模过程期间轮询DUT 16，以检索操作数据，该操作数据也可以称为“模拟数据集”或“操作状态数据”。数据收集工具18可以调用许多不同的进程来协调数据收集，所述进程包括开源进程，例如，YAML非标记语言(YAML)、Spark进程、SparkKafka进程和流入进程，以提供下面更详细讨论的几个示例。

模型20表示被配置为相对于配置对DUT 16的操作状态建模的单元。在这方面，模型20可以呈现用于接收参数的接口(例如，在网络环境中，参数可以包括多个对等体、多个组、多个路由等，其可以是特征使用数据的子集或导出测量值)并生成指示DUT 16的操作状态的预测数据。建模环境10可将配置变化与表示DUT 16和测试床14的不同配置中的DUT16 的操作状态的相应收集数据(其可称为“操作数据”)相关联，并执行机器学习或执行其它人工智能算法，以获得模型20，如下文更详细概述的。

后端分析单元22可以表示被配置为对模型20生成的预测数据和数据收集工具18收集的操作数据执行分析的单元。后端分析单元22可以包括用户接口(UI)模块26，其以各种格式呈现预测数据和操作数据，以促进审查DUT 16和模型20。后端分析单元22可以将分析结果存储到数据库24。

如上所述，后端分析单元22可以采用机器学习来创建模型20。机器学习可以指一组数学建模过程，这些过程允许计算机在没有明确编程的情况下学习。例如，机器学习可以包括蒙特卡罗模拟型实验。相对于其他类型的建模算法，用于装置建模的机器学习可能需要具有大量熵(或者，换言之，随机性)的大量操作数据。为了精确的模型创建，机器学习可能会使用真实世界的数据，但是由于隐私和其他问题，这种真实世界的数据通常很难收集。此外，机器学习可能需要来自大多数(如果不是所有)可用参数配置的数据，这在多维配置中可能变得越来越困难，在多维配置中，具有多个不同设置的多个参数，以成功地配置单个服务，例如，在像路由器这种网络装置中。

鉴于上述情况，对多维装置建模的大多数尝试都试图使用不同的建模算法，这些算法不需要大量的真实世界数据和/或操作数据的高度随机性。然而，除了提供相对于特征使用数据的操作状态的初步估计之外，这些模型未能准确预测真实世界的装置操作。估计的准确性大多不足，不利于广泛的网络规划或者更普遍的容量规划。此外，以这种方式进行的模型开发不是自动化的，这种建模也不能足够快地创建一个模型来促进质量保证或装置开发或故障排除的其他方面。

根据本公开中描述的技术的各个方面，建模环境10可以以高度随机的方式自动配置DUT 16。建模环境10接下来可以以支持被配置为由DUT 16提供的现有服务的方式自动配置测试环境14。此外，建模环境10还可以使用反映真实世界值的参数以高度随机的方式自动化测试环境14的配置，以便于蒙特卡洛模拟型实验。建模环境10然后可以在测试环境14内对DUT 16进行模拟，并自动化操作数据收集。模型环境10可以迭代地进行许多不同的模拟并以导致收集大量操作数据的方式收集操作数据，这可以形成构建精确模型20的基础(与使用上述不同建模算法创建的模型相比)。

在操作中，驱动器12可以最初获得参数28A(“params 28B”)、配置对象28B(“config 28B”)和全局文件28C(“全局文件28C”)，这些也可以统称为“模拟配置文件28”。在某些情况下，可以使用YAML^TM来定义模拟配置文件28。YAML^TM是一种跨语言、基于Unicode的数据序列化语言，该语言是围绕通用的本地数据类型的编程语言设计的。YAML^TM定义了三种基本的原型结构，包括映射(例如哈希和/或字典)、序列(例如，阵列和/或列表)和标量(例如，字符串和/或数字)。从这三种原型结构中，可以构建YAML^TM中的所有其他数据结构。YAML^TM利用了原型结构，并添加了打字系统和混叠机制来形成一种用于序列化任何本地数据结构的语言。许多敏捷编程语言，例如，Perl、Python、PHP、Ruby和Javascript，可以使用YAML^TM来存储和传输数据。可以在Ben-Kiki、O.等人的题为 “YAMLAin’t Markup Language(YAML^TM)”，版本1.2，第3版，于 2009-10-01修补的文献中找到关于YAML^TM的更多信息，其全部内容通过引用结合于此，就好像其全部内容已经阐述了一样。

在任何情况下，驱动器12可以基于YAML^TM文件为每个模拟生成 DUT配置对象15(“DUT配置15”)的不同实例。为了生成DUT配置对象15的不同实例，驱动器12可以首先解析给定一组模拟配置文件28的配置文件28B。即，每组模拟配置文件28可以包括参数文件28A、配置文件28A和全局文件28C。每组模拟配置文件28可以定义测试环境14内 DUT 16的不同类别的模拟。例如，一组模拟配置文件可以定义L3VPN模拟。另一组模拟配置文件可以定义标签交换路径(LSP)自动带宽模拟，而另一模拟配置文件在L3VPN服务内定义内部边界网关协议(iBGP)、中间系统到中间系统(IS-IS)路由协议和/或资源预留路由协议(RSVP) 的模拟。

在任何情况下，配置文件28B定义了一个模板，通过该模板创建DUT 配置对象15的不同实例。该模板通常定义模拟的类别(或者换言之，类型)，提供了通用语法，用于能够创建将DUT 16配置为根据被模拟的特定服务、功能或操作来操作所需的DUT配置对象15。配置文件28B可以使用指定的语法引用参数文件28A。

即，配置文件28B可以包括使用指定语法定义的变量(或者换言之，参数)形式的占位符，该占位符发信号通知驱动器12，应该从参数文件 28A中提取为引用的参数指定的值。驱动器12可以解析参数文件28A，以识别配置文件28B中引用的参数。响应于识别参数，驱动器12可以处理参数文件28A，以确定对应参数的值。参数文件28A可以将该值定义为一个或多个范围，或者定义为静态值。参数文件28A还可以根据最大值和最小值来定义该值。驱动器12可以从定义的范围中随机选择一个值，并在DUT配置对象15内设置该值。使用为参数随机分配的值，驱动器12 可以创建根据参数值变化的DUT配置对象15的不同实例(或者换言之，迭代)，从而将大量熵注入到模拟中，并允许使用蒙特卡罗型实验来精确建模。

配置文件28B也可以用变量形式保存占位符，使用不同的语法定义这些变量，该语法发信号通知驱动器12，应该从全局文件28C中提取为引用的参数指定的值。全局文件28C定义了在同一模拟中的DUT配置对象 15的不同实例之间应该相同的参数值。全局文件28C还可以定义最大和最小参数值或对参数值选择的其他全局约束(以避免某些装置出现问题，例如，超过某些路由器的最大路由数量等)。

在生成DUT配置对象15的实例之后，驱动器12可以以确保DUT配置对象15的不同实例之间充分随机化的方式生成测试器配置对象13，如下文更详细描述的。驱动器12接下来可以为测试环境14生成测试器配置对象13的实例，以根据DUT配置对象15配置DUT 16时适应DUT 16的操作。

为了说明，DUT 16的DUT配置对象15可以在一个客户端边缘(CE) 装置和另一CE装置之间配置特定L3VPN。驱动器12可以为测试环境14 指定测试器配置对象13，使得预期的两个CE装置将以建立和模拟使用由 DUT 16提供的预期L3VPN的方式执行路由协议。在这方面，驱动器12 可以定义测试器配置对象13和DUT配置对象15，用于相干地配置测试环境14和DUT 16(分别)，使得DUT 16与测试环境14一致地操作，以支持一个或多个服务，即，上面示例中的L3VPN服务、操作或功能。

类似于DUT配置对象15的生成，驱动器12可以以反映实际或换言之真实世界网络环境的方式随机指定测试器配置对象13内的参数值。为了说明，而不是经由逻辑有序的方式将IP地址分配给测试环境14内的接口(例如，1.1.1.1分配给接口1，1.1.1.2分配给接口2，1.1.1.3分配给接口3等)，驱动器12可以将随机化引入IP地址(例如，1.1.1.1分配给接口1、10.1.0.90分配给接口2等。以这种方式，驱动器12可以生成测试器配置对象13，该测试器配置对象13包括具有随机分配以反映实际环境的值的参数。如上所述，这些输入参数需要广泛变化，以反映真实世界环境。除了第三层(L3)地址之外，可以受益于高度可变性的其他输入参数可以包括第二层(L2)媒体访问控制(MAC)地址、路由实例、路由数量、路由对等体数量、自治系统号、不同的网络服务组合和数量等。与在人工有序测试环境内创建的模型相比，以这种方式分配参数值可以促进更真实的建模，该建模更好地反映DUT 16的操作状态。

在选择DUT配置对象15的不同实例的子集之后，驱动器12可以与 DUT 16接口，以根据DUT配置对象15的第一个实例来配置DUT 16。从 DUT配置对象15的实例的不止一个参数与DUT配置对象15的另一实例不同的意义上来说，使用DUT配置对象15的实例的DUT 16的配置是多维的。换言之，DUT配置对象15不是对相同参数迭代测试不同的值，而是表示具有高熵的参数的随机选择，这可能比一维(指迭代地改变单个参数的值)测试提供更有意义的结果。

驱动器12可以接下来或者在配置DUT 16的同时，与测试环境14接口，以根据相应的一个测试器配置对象13来配置测试环境14。作为一个示例，驱动器12可以经由测试器配置对象13模拟和改变许多客户边缘 (CE)装置和多协议标签交换(MPLS)远程提供商边缘(PE)装置。此外，驱动器12可以经由测试器配置对象13模拟和改变CE协议的变化、每个CE装置和/或远程PE装置的路由数量、多个路由实例、互联网协议 (IP)地址、自治系统(AS)编号、子网划分、掩码长度等。

在配置DUT 16和测试环境14之后，驱动器12可以进行模拟，由此驱动器12可以与测试环境14接口，以启动路由协议操作(例如，BGP、 IS-IS、OSPF等)、服务执行(例如L3VPN)以及其他网络操作，以便测试DUT 16支持的各种服务、功能和操作。在模拟期间或同时，数据收集工具18可与DUT 16接合，以收集表示DUT 16的操作状态的操作数据 17。

数据收集工具18可以向DUT 16发出命令和/或其他查询，以收集操作数据17。例如，数据收集工具18可以发出命令，例如，可能导致每个守护程序利用和总内存的“UNIX-TOP”、可能导致BGP对等体的概要的 “显示bgp概要(show bgp summary)”命令、可能导致BGP组的概要的“显示bgp组概要(show bgp groups summary)”、可能导致路由号码的概要的 “显示路由概要(show route summary)”、可能导致多个路由实例和类型的“显示路由实例(show route instance)”。作为另一示例，数据收集工具 18可以发出命令，例如，可能导致数据平面内存使用的“显示任务存储器 (show task memory)”、可能导致数据平面中的柔性PIC(物理接口卡)集中器(FPC)上的处理器和内存使用的“显示机箱fpc(showchassis fpc)”。作为又一示例，数据收集工具18还可以发出“、显示jnh<#>池(show jnh<#>pool)”命令，来收集分组转发引擎(PFE)的内存使用。数据收集工具18还可以从指示操作数据17的DUT 16系统日志中检索或请求。

数据收集工具18可以收集操作数据17的特征使用数据，其可以指示 DUT 16相对于测试环境14的操作状态，并且包括例如多个对等体(例如，边界网关协议(BGP)对等体)、多个组(例如，BGP组)、多个路由实例、多个客户边缘(CE)装置、多个CE接口、多个路由、每个路由的类型中的一个或多个。数据收集工具18还可以收集指示DUT 16的操作状态的操作数据17的资源利用数据，这可以包括每个路由守护程序(在路由器的路由引擎中)的中央处理单元(CPU)利用、每个路由守护程序的内存使用、路由器的分组转发引擎(PFE)中的CPU利用以及PFE中的内存使用。

数据收集工具18可以调节操作数据17，以形成序列化数据19。即，数据收集工具18可以处理每种形式的操作数据17(例如，轮询数据和系统日志)，以系统地暂时排列数据，从而生成序列化数据19。驱动器12 和数据收集工具18可以协调，以迭代地为每个模拟配置文件28收集序列化数据19，重复前述过程，为每个模拟配置文件28收集序列化数据19。数据收集工具18可以将序列化数据19输出到后端分析单元22。

后端分析单元22可以基于序列化数据19生成模型20。在一些示例中，后端分析单元22可以识别序列化数据19，该序列化数据19是参考与每个 DUT配置对象15相关联的调节操作数据17的另一种方式，用于进行模拟。在路由器或其他网络装置的上下文中，DUT配置对象15可以表示与特定类型相关联的离散配置数据，例如，接口、radius服务器、路由实例、转发信息库(FIB)等。后端分析单元22可以确定DUT配置对象15和序列化数据19的不同部分之间的关联。基于DUT配置对象15和序列化数据19的不同部分之间的关联，后端分析模块22可以生成表示DUT 16的模型20，该模型20响应于配置参数预测DUT 16的操作状态。

例如，为了说明的目的，假设DUT 16是路由器，串行化数据19可以包括上述资源利用数据，该数据同样可以包括路由器执行的每个路由守护程序的处理利用、路由器执行的每个路由守护程序的内存使用、路由器的分组转发引擎(PFE)中的处理器利用以及路由器的PFE中的内存使用中的一个或多个。在该示例中，序列化数据19的特征使用数据可以定义不同数量的对等体、组、路由实例、客户边缘(CE)装置、CE接口和路由，并且定义每个路由的类型。后端分析单元22可以识别对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个与路由器执行的每个路由守护程序的处理利用、路由器执行的每个路由守护程序的内存使用、路由器的分组转发引擎(PFE)中的处理器利用和路由器的PFE中的内存使用中的一个或多个之间的关联。

因为模型生成需要多个模拟之间的一定程度的可变性，以确保DUT 16的完整表示，所以后端分析单元22可以确定序列化数据19的每个非冗余对之间的相似程度。尽管来自每个参数范围的随机采样可以提供一种解决方案来使在每次模拟期间收集的操作数据多样化，但是由于参数28A中预先定义的域逻辑，完全随机化是不可能的。即，某些参数在其分布方面存在偏差，或者换言之，不是以每个值相等数量的方式在统计上随机的。

同样，后端分析单元22可以考虑某些参数值的偏置采样分布，确定每对非冗余序列化数据19之间的相似程度(其中，每个序列化数据19对应于同一模拟的不同迭代)。后端分析单元22可以响应于相似程度与多样性阈值的比较，选择序列化数据19的子集。除非另有明确说明，否则本公开中对“子集”的引用旨在指数据少于较大集合中的元素总数的“非零子集”，而不是将包括较大集合中的零个或更多元素到较大集合的总元素的子集的严格数学定义。驱动器12可以选择序列化数据19的实例子集，以便减小偏差，从而产生更完整的模型20，该模型响应于配置参数更好地预测DUT 16的操作状态。

在一些情况下，后端分析模块22可以相对于序列化数据19(例如，表示DUT配置对象的序列化数据19的特征使用数据和序列化数据19的资源利用数据之间的上述识别的关联)执行机器学习，以生成表示DUT 16 的模型20。后端分析模块22可以首先执行数据清理，在此期间，后端分析模块22可完成缺失值并过滤序列化数据19的偏离值。后端分析模块22还可以聚集一些数据(例如，以确定不同路由协议上的路由总数)。后端分析模块22接下来可以执行特征工程，在此期间，后端分析模块22可以将序列化数据19分成不同的类别，并将序列化数据19的每个类别标准化。后端分析模块22可以相对于不同子模型(包括线性和非线性子模型)的序列化数据19的每个类别执行模型校准。后端分析模块22可以在校准每个子模型之后执行模型验证，包括k重交叉验证和正向链接验证。

子模型均可以预测DUT 16的上述类别的操作状态中的特定类别。即，第一子模型可以预测路由器执行的每个路由守护程序的处理利用，第二子模型可以预测路由器执行的每个路由守护程序的内存使用，第三子模型可以预测路由器的分组转发引擎(PFE)中的处理器利用，第四子模型可以预测路由器的PFE中的内存使用。在一些情况下，给定的子模型可以预测 DUT 16的两个或多个前述操作状态，如下面更详细描述的。在任何情况下，子模型的集合可以形成模型20。

在模型验证期间，后端分析单元20可将DUT配置对象15的实例和/ 或DUT 16的其它配置数据(通常可称为配置参数)输入模型20中，以生成预测操作数据，并将预测操作数据与为DUT配置对象15的相同实例收集的相应操作数据17进行比较。当模型20在与实际操作数据17相似的阈值水平内生成预测操作数据时，后端分析单元20可以验证模型20与DUT 16足够相似，从而可以将其部署用于预测分析。后端分析单元22然后可以迭代地将配置对象输入到模型20中，以收集反映DUT 16的预测操作状态的预测操作数据，将预测操作数据存储到数据库24中。后端分析单元22可以包括用户接口(UI)模型26，通过该模型，与数据库24和其他可视化工具对接，以与预测操作数据交互。

在生成预测DUT 16的操作状态的模型20时，建模环境10可以允许 DUT 16的客户更好地理解DUT 16在资源消耗方面的实际能力，从而允许客户更好地理解现有的装置部署。此外，客户可以利用该模型来更好地理解需要多少具有特定配置的相应装置来满足对所配置服务的预期需求。这种建模可以让客户更好地理解装置部署、每个装置的服务部署，并计划装置购买，以满足预期需求。通过这种方式，建模技术可以允许更好地了解实际环境中的现有和未来的装置部署。

即，模型20允许客户从资源消耗的角度理解服务如何影响DUT 16 和在DUT 16内执行的其他服务。此外，模型20允许客户更好地理解哪些服务最影响性能和/或规模。模型20还可以以自动化的方式揭示DUT 16 的缺陷，例如，存储器泄漏，从而可以促进质量保证，同时也验证性能并提供对DUT 16的操作系统的更新的详细理解。考虑特定的配置状态，模型20也可以预测收敛。此外，模型20可以提供关于将客户下降放置到边缘网络上的指导。

图2是更详细地示出图1的建模环境的方框图。在图2的示例中，驱动器12被示出为分别向DUT 16和测试器客户端30输出单独的配置31 和33。装置配置31可以表示指定参数的DUT配置对象15的子集，该参数具有随机选择的值并且具有足够的熵来允许蒙特卡洛型实验。测试器配置33可以表示测试器配置对象13，该测试器配置对象13还指定具有随机选择的值的参数，这些参数试图复制测试器客户端30的实际现实网络配置，并且以允许预期执行装置配置31将DUT 16配置为支持的服务、功能和/或操作的方式对应于装置配置31。

在图2的示例中，测试环境14被示出为测试器客户端30和测试器底盘32。测试器客户端30可以表示用于与测试器底盘32交互的接口。测试器底盘32可以表示一个或多个虚拟网络装置和/或实际网络装置，这些装置通过虚拟和/或实际网络链路互连，这些链路可以被配置为反射真实世界网络。仅举几例，虚拟和/或实际网络装置可以包括例如核心路由器、边缘路由器、客户边缘装置、宽带远程接入服务器(BRAS)、数字用户线接入复用器(DSLAM)和客户用户设备，例如，计算机、宽带调制解调器、交换机、集线器、蜂窝电话(包括所谓的“智能电话”)、平板电脑等。

驱动器12可以以上述方式配置DUT 16和测试环境14，并进行模拟，如上所述，通过每个装置配置31迭代，同时数据收集器工具18(在图2 的示例中显示为“收集器18”)发出命令35，以检索指示DUT 16的操作状态的操作数据17(在一个示例中，其可以包括报告，因此，包括在图2 的示例中显示的“报告17”)。DUT 16还可以被配置为将系统日志37(“syslog 37”)输出到日志服务器34。日志服务器34可以表示LogStash 实现方式，用于摄取syslog 37，以进行处理。虽然关于syslog 37进行了描述，但是这些技术可以利用不同类型的日志或数据交换格式，例如， JavaScript对象符号(JSON)。

收集器18可以调节报告17，以形成上面提到的序列化数据19，其也可以称为调节报告19(或者如图2所示的“报告19”)。收集器18可以将报告19输出到数据平台22，这可以是参考后端分析单元22的另一种方式。数据平台22可以从日志服务器34检索syslog 37，并执行上述操作，以生成模型20。

图3是示出图1和图2的建模环境在各种操作层方面的方框图。在图 3的示例中，建模环境10被示出为在三层中操作，即，驱动层40、代理层42和数据平台层44。驱动器层40包括驱动器12、测试床14和DUT 16。驱动器12可以生成DUT 16的配置数据31和测试床14的配置数据33，其中，配置数据31和33可以统称为模拟配置文件。

在可以不受限制地完全指定配置文件的情况下，驱动器12可以配置每个配置文件内的所有数据，以便设置测试床14的网络结构并包含DUT 16，并且初始化用于模拟的业务数据(例如，执行路由协议，以建立路由、功能和其他服务，例如，上述L3VPN服务)。出于示例的目的，假设L3VPN 网络，驱动器12可以在YAML^TM文件中配置多个参数，该文件包括多个路由实例、BGP组、BGP对等体、每个协议的BGP路由等，以生成DUT 配置对象15的实例和测试器配置对象13的相应实例。驱动器12可以迭代地加载DUT配置对象15的不同实例(显示为“配置数据31”)和测试器配置对象13的相应实例(显示为“配置数据33”)，以迭代地进行每个模拟。

代理层42可以包括数据收集工具18和日志服务器34。数据收集工具 18可以作为代理从DUT 16提取数据(通过发出命令35来提取报告17)。数据收集工具18可以表示处理YAML^TM文件以发出命令35并且处理报告 17的python客户端。配置数据31可以将DUT 16配置为(潜在地周期性地)将syslogs 37输出到日志服务器34。数据收集工具18可以处理报告17并将来自报告17的数据发布到流管理模块52内的主题。

数据平台层44可以表示被配置为处理和可视化来自报告17和/或 syslogs 37的数据的层。数据平台层44包括流管理模块52、数据处理模块 54、时间序列(“TS”)数据库24(“TS DB 24”)、TS分析模块56、数据连接模块58、分析模块60和可视化模块62。

流管理模块52可以表示被配置为处理潜在的大数据流的单元。流管理模块52可以实现Apache或任何其他流管理平台。流管理模块 52可以为数据流的生产者和消费者提供接口(例如，应用编程接口API)。流管理模块52可以维护生产者可以向其发布数据的主题。流管理模块52 可以允许不同的消费者订阅不同的主题，从而接收发布到每个主题的数据。流管理模块52可以将每个数据流存储为与一个或多个主题相关联的记录，其中，每个记录可以包括密钥、值和时间戳。这些记录有效地调节操作数据17，根据消费者可能订阅的主题序列化数据。按主题组织的条件记录通常可称为序列化数据19。

为了有效地序列化数据19，代理层42仅以报告17和syslogs 37的形式从DUT 16收集数据。即，代理层42不从测试床14收集数据，只从DUT 16收集报告17和syslogs 37。数据收集限于DUT 16，以允许在单个时间线内容易地协调所有数据。换言之，代理层42将数据收集限于单个装置 DUT 16，使得不存在可能冲突并产生时间差异的竞争定时器，流管理模块 52和/或数据处理模块54可能必须纠正这些时间差异。尽管被描述为从单个装置DUT16收集数据，但是代理层42可以从多个装置(包括虚拟装置或测试床14的其他装置)收集数据。

流管理模块52可以包括生产者API，通过该生产者API，应用程序可以向一个或多个主题发布记录流。流管理模块54还可以包括消费者API，通过该API，应用程序可以订阅一个或多个主题并处理提供给消费者的记录流。流管理模块54还可以包括流API，通过该流API，应用程序可以充当流处理器，来消费来自一个或多个主题的输入流，并产生到一个或多个输出主题的输出流，从而有效地将输入流转换成输出流。流管理模块54 还可以包括连接器API，该连接器API允许构建和执行将主题连接到现有应用程序或数据系统的可重用生产者或消费者。

在图3的上下文中，数据收集工具18和日志服务器34可以根据生产者API操作，以向流管理模块52发布数据流(即，在该示例中分别是记录17和syslogs 37)。数据处理模块54可以接收记录17和syslogs 37，作为输入流，并根据流API操作，调节输入流，以形成输出流，在本文中也称为序列化数据19。数据处理模块54可以创建序列化记录19，将序列化记录19发布到TS数据库24。TS数据库24的示例包括在流入数据平台 (其可以在码头集装箱内执行，以提高弹性)内执行的流入数据库 (“InfluxDB”)。

TS分析模块56可以表示被配置为分析发布到主题的序列化记录19 的模块。TS分析模块56可以分析序列化记录19，以识别不同的度量并向驱动器12提供反馈，从而改进未来的模拟。可视化模块62可以表示被配置为可视化序列化记录19和由TS分析模块56输出的任何分析的单元。

数据连接模块58可以表示被配置为协调向分析模块60的数据传送的模块。数据连接模块58可以确保不同组的序列化记录19彼此差异足够大，使得模型20能够准确预测大多数(如果不是所有)场景的操作数据。这样，数据连接模块58可以实现数据相似性模型，该模型可以测量两个序列化记录19(也可以称为“操作数据19”、“操作数据集19”或“模拟数据集19”)上的差异(或相似性)。

从数据科学建模的角度来看，模拟数据集19预期在多个模拟中是不同的，这可能表明模拟数据集19中的分布模式尽可能地变化。数据相似性模型可确定两个模拟数据集19的分布模式的相似性(或差异)，并提供单值相似性测量(也可称为“差异测量”)。

数据相似性模型可以使用以下算法来评估两个不同的模拟数据集19。首先，数据相似性模型可以从模拟数据集19中的第一个(其可以表示为 “第一模拟数据集19i”)创建随机样本集，向样本集中的每个实例添加具有值“DS_I”的新特征“原始”。数据相似性模型接下来可以从模拟数据集19中的第二个(其可以表示为“第二模拟数据集19ii”)创建随机样本集，向样本集中的每个实例添加具有值“DS_II”的新特征“原始”。然后，使用逻辑回归算法建立数据相似性模型，以使用样本集(例如，80％)从两个模拟数据集的每一个中预测实例的“原始”，作为训练数据。

可以使用剩余(例如20％)的模拟数据集来评估数据相似性模型，以预测每个实例的原型，如下定义评估测量(EM)：

其中，TP是表示真阳性的数量的变量，TN是表示真阴性的数量的变量，FP是表示假阳性的数量的变量，FN是表示假阴性的数量的变量。EM 可以是范围从0到1的单个数值。数据相似性模型接下来可以将EM与相似性阈值(其例如可以设置为0.2，并且也可以称为“多样性阈值”)进行比较。

在这方面，数据相似性模块可以从第一模拟数据集19i生成随机样本集，并且从第二模拟数据集19ii生成随机样本集。接下来可以使用逻辑回归算法来构建数据相似性模块，以基于第一模拟数据集19i和第二模拟数据集19ii的剩余实例来预测每个实例的原型。数据相似性模块然后可以基于第一模拟数据集19i和第二模拟数据集19ii的剩余实例上的预测原型的比较(例如，使用上述等式)来确定第一模拟数据集19i和第二模拟数据集19ii之间的相似程度。如上所述的相似程度可以是0与1之间的单个值，便于与多样性阈值(也可以称为“相似性阈值”)进行比较。

当EM小于或等于相似性阈值时，数据相似性模型可以确定第一和第二模拟数据集19i和19ii足够不同，使得可以选择这两者。当EM大于相似性阈值时，数据相似性模型可以确定第一和第二模拟数据集19i和19ii 相似，并消除第一或第二操作数据集19i/19ii中的一个。数据模拟模型可以对操作数据集19的额外非冗余对重复上述过程，同时也可能应用k重交叉验证。数据连接模块58可以将操作数据集19的选定子集输出到分析模块60。

分析模块60可以表示被配置为生成形成模型20的多个不同子模型的模块。分析模块60可以包括存储器预测子模型，该子模型估计考虑到路由器状态的指定输入的存储器消耗，例如，路由实例的数量、组的数量、对等体的数量和/或每个协议的路由的数量。存储器预测子模型可以基于指定的输入来输出路由器的路由引擎(RE)和分组转发引擎(PFE)中的存储器消耗的估计(为了说明的目的，假设DUT 16是路由器)。

考虑输入和RE/PFE存储器消耗之间的不同关系，分析模块60可以执行岭回归(ridge regression)和梯度增强回归，以构建存储器预测子模型。存储器预测子模型从与模拟配置文件28相关联的操作数据集19中“学习” 该关系。分析模块60采用岭回归来建模线性关系，同时对非线性情况采用梯度增强回归。

岭回归指的是对解释变量和目标变量之间的线性关系建模的过程。与其他线性模型相比，岭回归能更好地处理方差较大的数据，并减少标准误差，从而给出更可靠的估计。尽管在某些方面是有益的，但是除了岭回归之外的线性模型也可以用于线性情况。

梯度增强回归是用来捕捉解释变量和目标变量之间的非线性关系的一个集成模型。梯度增强回归以弱预测模型(例如，决策树)集合的形式产生预测模型。尽管在某些方面是有益的，但除梯度增强回归之外的非线性模型也可用于非线性情况。

分析模块60还可以生成路由学习子模型，该子模型估计路由器完成重新配置以适应网络环境的变化需要多长时间。路由学习持续时间也可以称为集中于(converge on，收敛于)当前配置状态所需的持续时间。为了说明，路由学习子模型可以预测当一个新的对等体在线时路由器需要多长时间来重新配置，从而导致增加100万条新路由。路由学习子模型的输入包括多个BGP路由、多个开放最短路径优先(OSPF)路由、多个虚拟专用 LAN(局域网)服务(VPLS)路由、多个标签分发协议(LDP)路由等。路由学习子模型可以响应于一个或多个前述输入来输出预测的学习持续时间。

分析模块60可以使用cox比例危险(CPH)算法生成路由学习子模型。CPH算法是一种统计回归过程，用于探索患者生存和几个解释变量之间的关系。因此，CPH算法允许考虑预测变量来估计死亡的危险(或风险) 或其他感兴趣的事件。分析模块60利用CPH算法来评估感兴趣的事件，在这种情况下，当将学习过程视为路由器的生存周期并且将解释变量视为上述输入时，该事件是路由学习。得到的路由学习子模型输出预期学习持续时间(以秒或其他时间度量为单位)、最差学习持续时间(以秒或其他时间度量为单位)和学习持续时间的概率曲线。以这种方式，分析模块60 生成模型20，作为子模型的组合。

图4是更详细地示出图1-3的驱动器12的方框图。在图4的示例中，驱动器12包括配置生成单元82、多样性模型82和模拟驱动器84。配置生成单元82表示被配置为基于模拟配置文件28(“SMC28”)生成DUT 配置对象15和测试器配置对象13的单元。

即，驱动器12使用域特定语言(DSL)，该语言由基于YAML的模板文件(例如，配置文件28B)中使用的标记组成。标记的输入是参数文件 28A。DSL的目的是促进创建灵活的语法来扩展强加的数据，以创建大型随机配置。驱动器12利用配置模板机制来创建配置，DSL提供用于表示数据扩展的语法。运行配置文件28B的输出是*set*格式的配置，这可能会导致输出前置有“set”。

DSL可能支持以下三种不同的标记语法：

'<>'[单V形]；

“<<>>”[双V形]；以及

'{func：..}'功能块。

上述语法可以作为关键字或值放在YAML中，下面将更详细地讨论例外情况。当用于YAML键位置时，单V形可能会导致迭代通过参数文件28A内的相应变量值所强加的数据。

以下示例配置文件28B可以说明在关键位置使用单V形：

示例`config.yaml`:

```

interfaces:

<my_interfaces>:

unit:0

以下示例参数文件28A可以被上述配置文件28B引用，这导致示例参数文件28A下面列出的示例预期输出：

```

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 0

set interfaces ge-0/0/1 unit 0

```

在上面的示例配置文件28B中，“my_interfaces”参数位于单V形中，这导致‘ge-0/0/0’、‘ge-0/0/1’参数值中的每一个都有两次迭代，从而产生示例预期输出中列出的两个集合配置对象。

下面是另一示例配置文件28B，该文件可以说明在其他关键位置使用单V形：

示例“配置YAML”：

```

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

static_units:[0,1,2,3]

```

示例预期输出：

```

设置接口ge-0/0/0单元0

设置接口ge-0/0/0单元1

设置接口ge-0/0/0单元2

设置接口ge-0/0/0单元3

设置接口ge-0/0/1单元0

设置接口ge-0/0/1单元1

设置接口ge-0/0/1单元2

设置接口ge-0/0/1单元3

```

在上面的示例配置文件28B中，“my_interfaces”参数位于单V形中，这导致‘ge-0/0/0’、‘ge-0/0/1’参数值的每一个都有两次迭代。在每次迭代中，都有另一子迭代产生四个集合配置对象来设置单元0-3，从而在预期输出中产生上面列出的八个集合配置对象。当在YAML内的*value*位置使用单V形时，表示的值是经由参数文件28A变量值强加的第一个值。

当在YAML内的*value*位置使用单V形时，表示的值是经由参数文件28A变量值强加的第一个值。下面是另一示例配置文件28B，该文件可以说明在价值位置使用单V形：

示例“config.yaml”：

```

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

static_units:[0,1,2,3]

```

示例预期输出：

```

设置接口ge-0/0/0单元0

设置接口ge-0/0/1单元0

```

在上述示例配置文件28B中，“static_unit”参数位于值位置的单V形内，这导致‘ge-0/0/0’、‘ge-0/0/1’参数值的每一个迭代两次，每一个参数值都具有“static_unit”的参数文件28A列表中的第一个值的单位值(即，在本示例中为0)。"

下面的示例配置文件28B可以说明双V形的使用：

示例“config.yaml”：

```

interfaces:

<my_interfaces>:

unit:<<static_units>>

```

示例匹配“params.yaml”：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

static_units:[0,1,2,3]

```

示例预期输出：

```

设置接口ge-0/0/0单元0

设置接口ge-0/0/1单元0

```

在上面的示例配置文件28B中，“static_units”参数位于双V形内，这导致‘ge-0/0/0’、‘ge-0/0/1’参数值的每一个迭代两次，从而产生示例预期输出中列出的两组配置对象。

如图所示，双V形表示单个值。当参数文件28A中表示的变量是字典项目的字符串、整数、列表时，双V形导致选择第一个强制值。处于值位置的单V形可以等同于双V形起作用。

下面的示例配置文件28B可以说明双V形的额外用途：

示例“config.yaml”：

```

interfaces:

<<my_interfaces>>:

unit:<<static_units>>

```

示例匹配“params.yaml”：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

static_units:[0,1,2,3]

```

示例预期输出：

```

设置接口ge-0/0/0单元0

```

在上面的示例配置文件28B中，“我的接口”和“static_units”参数在双V形内，这导致了单次迭代，该迭代产生了示例预期输出中列出的单个集合配置对象，该对象仅具有为两个参数中的每一个选择的第一个参数值。

对于更高级的操作，在参数文件28A内也支持额外语法。参数文件 28A内的变量可以处于键位置，并与‘范围’和‘op’键和值相关联。下面说明了启用高级操作的语法：

```

variable_name:

range:(<values>)

op:<supported_op_name>

```

支持的“op”键的操作值是“iter”、“rand”、“pick”和“choose”，这将在下面详细解释。

[iter]，迭代器，例如，Python“range()”；

[rand]，返回范围内的元素的随机、非空子集；

[pick]，从范围中挑选一个随机元素，每次使用，不重复；以及

[choose]，从范围中随机选择单个元素。

当使用上述操作时，在YAML键位置内可以使用单V形，在YAML 值位置内可以使用双V形。双V形内的值可以采用与单V形内的值相同的值，但是值位置内的双V形可以在关键位置下表示多次。

以下示例配置文件28B可以说明ITER操作的使用：

示例‘config.yaml’：

```

example_params_range_iter:

<example_range_iter>:

value:<<example_range_iter>>

```

示例匹配“params.yaml”：

```

example_range_iter:

range:(1-4)

op:iter

```

示例预期输出：

```

设置example_params_range_iter 1值1

设置example_params_range_iter 2值2

设置example_params_range_iter 3值3

设置example_params_range_iter 4值4

```

如预期输出中所示，有四个“set”配置对象迭代通过参数文件28A 中所示的1-4范围，其中，双V形在每个配置对象的末尾拉动与“值”的当前迭代相同的值。

在某些情况下，双V形内的值可以采用与单V形内的值相同的值，但是值位置内的双V形可以在键下表示多次，如以下示例所示，显示了双 V形如何与iter操作结合使用。

示例‘config.yaml’：

```

example_params_range_iter:

<example_range_iter>:

value:<<example_range_iter>>

another_value:foobar

same_value_again:<<example_range_iter>>

```

示例匹配“params.yaml”：

```

example_range_iter:

range:(1-4)

op:iter

```

示例预期输出：

```

设置example_params_range_iter 1值1

设置example_params_range_iter 1 another_value foobar

设置example_params_range_iter 1 same_value_again 1

设置example_params_range_iter 2 值2

设置example_params_range_iter 2 another_value foobar

设置example_params_range_iter 2 same_value_again 2

设置example_params_range_iter 3值3

设置example_params_range_iter 3 another_value foobar

设置example_params_range_iter 3 same_value_again 3

设置example_params_range_iter 4值4

设置example_params_range_iter 4 another_value foobar

设置example_params_range_iter 4 same_value_again 4

上面直接说明了如何多次使用双V形来设置不同参数的各种值。下面是iter操作的另一示例。

示例‘config.yaml’：

```

policy-options:

policy-statement:

vpn-export-<num_vpns>:

term:

a:

then:

community:

add:vpn<<num_vpns>>

accept:

b:

then:

-reject

community:

vpn<num_vpns>:

members:

-"target:<<local-as>>:<<num_vpns>>"

```

示例匹配“params.yaml”：

```

example_range_iter:

range:(1-4)

op:iter

```

示例预期输出：

```

set policy-options policy-statement vpn-export-1 term a thencommunity add vpn1

set policy-options policy-statement vpn-export-1 term a then accept

set policy-options policy-statement vpn-export-1 term b then reject

set policy-options policy-statement vpn-export-2 term a thencommunity add vpn2

set policy-options policy-statement vpn-export-2 term a then accept

set policy-options policy-statement vpn-export-2 term b then reject

set policy-options policy-statement vpn-export-3 term a thencommunity add vpn3

set policy-options policy-statement vpn-export-3 term a then accept

set policy-options policy-statement vpn-export-3 term b then reject

set policy-options community vpn1 members target:10020:1

set policy-options community vpn2 members target:10020:2

set policy-options community vpn3 members target:10020:3

以下示例配置文件28B可以说明rand操作的使用：

示例‘config.yaml’：

```

example_params_range_rand:

key<example_range_rand>:

value:<<example_range_rand>>

another_value:foobar

same_value_again:<<example_range_rand>>

```

示例匹配‘params.yaml’：

```

example_range_rand:

range:(1-5)

op:rand

```

示例预期输出：

```

set example_params_range_rand key3 value 3

set example_params_range_rand key3 another_value foobar

set example_params_range_rand key3 same_value_again 3

set example_params_range_rand key1 value 1

set example_params_range_rand key1 another_value foobar

set example_params_range_rand key1 same_value_again 1

```

如预期输出所示，有六个“set”配置对象，从配置文件28B中显示的 1-5范围中随机选择其值，其中，双V形在每个配置对象的末尾拉动与 “value”的当前迭代相同的值。rand操作可以从范围中选择随机数量的项目，并将所选择的数据用作强加的数据。下限可以是范围内的单个项目，上限是范围内的所有项目。例如，当范围是“范围：(1-5)”时，rand操作可以选择“2，3，5”作为要强加的数据。

以下示例配置文件28B可以说明pick操作的使用：

示例‘config.yaml’：

```

example_params_range_pick:

static:

value:<<example_range_pick>>

another_value:foobar

different_value_this_time:<<example_range_pick>>

```

示例匹配‘params.yaml’：

```

example_range_pick:

range:[(1-3),5,(6-7)]

op:pick

```

示例预期输出：(随机选择5和2)

```

set example_params_range_pick static value 5

set example_params_range_pick static another_value foobar

set example_params_range_pick static different_value_this_time 2

```

如预期输出所示，有三个“set”配置对象，从参数文件28A中显示的1-3、5和6-7范围中随机选择其值。pick操作可以从一系列元素中随机选择单个元素，而不重复。当在比要挑选的元素范围更长的迭代器中使用 pick操作时，驱动器12可能会产生错误。

下面的示例配置文件28B可以说明pick操作与单V形符号的结合使用：

示例‘config.yaml’：

```

example_params_range_pick:

<example_range_pick>:

value:<<example_range_pick>>

another_value:foobar

same_value_again:<<example_range_pick>>

以下示例参数文件28A可以由上述配置文件28B引用，这导致示例参数文件28A下面列出的示例预期输出：

```

示例匹配‘params.yaml’：

```

example_range_pick:

range:[(1-3),5,(6-7)]

op:pick

```

示例预期输出：(随机选择6)

```

set example_params_range_pick 1 value 1

set example_params_range_pick 1 another_value foobar

set example_params_range_pick 1 same_value_again 1

set example_params_range_pick 2 value 2

set example_params_range_pick 2 another_value foobar

set example_params_range_pick 2 same_value_again 2

set example_params_range_pick 3 value 3

set example_params_range_pick 3 another_value foobar

set example_params_range_pick 3 same_value_again 3

set example_params_range_pick 4 value 4

set example_params_range_pick 4 another_value foobar

set example_params_range_pick 4 same_value_again 4

set example_params_range_pick 5 value 5

set example_params_range_pick 5 another_value foobar

set example_params_range_pick 5 same_value_again 5

set example_params_range_pick 6 value 6

set example_params_range_pick 6 another_value foobar

set example_params_range_pick 6 same_value_again 6

```

如上所示，pick操作从整数范围中随机选择一个整数。选取的值成为从1(1)开始的迭代器的上限。迭代器是强加的数据。在上述预期输出中，选取的值是6，形成迭代器的上限，从1开始，一直迭代到选取的值6。

以下示例配置文件28B可以说明choose操作的使用：

示例‘config.yaml’：

```

bgp_neighbor_qty:<<example_range_choose>>

```

示例匹配‘params.yaml’：

```

example_range_choose:

range:(1-5)

op:choose

```

示例预期输出：(随机选择3)

```

set bgp_neighbor_qty 3

```

如上所示，选择操作从指定的整数范围(即，在本示例中为1-5)中随机选择单个整数。

以下示例配置文件28B可以说明选择操作与单V形符号的结合使用：

示例‘config.yaml’：

```

example_params_range_choose:

key<example_range_choose>:#single chevron usage

value:<<example_range_choose>>

another_value:foobar

different_value_this_time:<<example_range_choose>>

```

示例匹配‘params.yaml’：

```

example_range_choose:

range:(1-5)

op:choose

```

示例预期输出：(随机选择3)

```

set example_params_range_choose key1 value 1

set example_params_range_choose key1 another_value foobar

set example_params_range_choose key1 different_value_this_time 1

set example_params_range_choose key2 value 2

set example_params_range_choose key2 another_value foobar

set example_params_range_choose key2 different_value_this_time 2

set example_params_range_choose key3 value 3

set example_params_range_choose key3 another_value foobar

set example_params_range_choose key3 different_value_this_time 3

```

类似于上面的pick操作，单V形导致从1开始的迭代的上限。在上例中，随机选择了值3(3)，导致三个集合配置对象的三次迭代。

在DSL配置文件28B中使用功能块，为自定义函数提供语法，作为对上述YAML结构中其他地方强加的数据采取行动或获取该数据的一种方式。YAML是自上而下处理的，因此，功能块中提到的路径应该存在于功能块上方的YAML中，而不是下方。

DSL支持功能块中的以下功能：

[subnet]从输入子网获取IP地址；

[rand]从上述模板配置返回随机元素；

[rand_unit]返回随机interface.unit值，用于各种Junos配置语句；

[incr]整数递增器；

[hosts]返回与配置的IP地址相关联的一组随机主机相邻IP地址；

[pick]从钩路径表示的元素列表中挑选单个元素；

[hosts_network]从给定子网返回一组随机选择的IP地址，控制上限和下限，并能够跳过IP输出；

[enum]该功能块返回基于‘hook：’路径找到的所有元素。

功能块是返回自定义值的迭代器，其中，这些值可以表示IP地址、整数、接口等。当功能块位于单V形语句下时，激活迭代器。为了说明，考虑在接口下创建的N个逻辑接口(可以用术语“IFL”表示)，并且IFL 需要以无重叠的随机方式分配给虚拟路由功能(VRF)路由实例。自定义函数可以执行该分配，如下所示。此外，每个VRF可能需要配置eBGP 相邻，这涉及在IFL的IP地址处形成同一子网内的IP地址。然而，因为 IP地址是随机分配的，所以在每个VRF内选择使用的IP地址是未知的。自定义函数也可以解决这种情况，如下所示。

首先，考虑以下示例功能块语句：

示例功能块语句：

```

some_key:{func:{id:3,name:rand_unit,hook: groups|access_cpe|interfaces|*|unit|*,min:1,max:3,stateful:True}}

```

以类似Python字典的方式构建功能块语句，由以下元素组成：

`{func：`功能块语句头

`{id：<int>，`用于识别该函数输出的整数id值。如果这是有状态函数，则可能需要

`name：<function_name>，`支持的DSL函数的名称

`hook：<到强制数据的路径>，`到你希望采取行动的强制数据的路径 (例如XPath)。

`min：<int>、max：<int>、`函数参数，这些将根据功能而改变

`stateful：True}}`(可选)确保所创建数据的输出在函数id之间是唯一的。需要唯一的函数id。(即，同一范围内的同一IP地址不会使用超过一次)。

在某些情况下，功能块只能在YAML值位置内(键下)使用。因此， DSL可能不允许在动态施加的值下面包含其他键或列表项。

首先考虑子网功能块，子网功能块返回给定子网内的单个IP地址，并基于功能块内提供的网络掩码增加子网。下面所示的子网块的参数如下：

`network：`返回地址的IP和子网掩码

`offset：`该字段根据网络地址告诉函数从哪个IP地址值开始。(例如， `network：6.0.0.0/24，offset：1`将从IP地址‘6.0.0.1’开始返回。偏移值 2将从‘6.0.0.2’开始返回等)

`id：`当‘状态：’选项设置为True时，该字段有助于识别函数的结果。在子网范围内，具有相同ID的状态函数永远不会返回相同的值。

`stateful：`在同一功能的用法中实现独特的输出。选项是‘真’或‘假’。

以下是状态选项设置为真时的子网功能块的示例：

示例‘config.yaml’：

```

interfaces:

<my_interfaces>:

unit:

<these_units>:

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

<those_units>:

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:3,stateful:True}}

family mpls:

```

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

these_units:

range:(1-2)

op:iter

those_units:

range:(6-7)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 6 family inet address 6.0.2.3/24

set interfaces ge-0/0/0 unit 6 family mpls

set interfaces ge-0/0/0 unit 7 family inet address 6.0.3.3/24

set interfaces ge-0/0/0 unit 7 family mpls

set interfaces ge-0/0/1 unit 1 family inet address 6.0.4.1/24

set interfaces ge-0/0/1 unit 2 family inet address 6.0.5.1/24

set interfaces ge-0/0/1 unit 6 family inet address 6.0.6.3/24

set interfaces ge-0/0/1 unit 6 family mpls

set interfaces ge-0/0/1 unit 7 family inet address 6.0.7.3/24

set interfaces ge-0/0/1 unit 7 family mpls

```

以下是状态选项设置为假时的子网功能块的示例：

示例‘config.yaml’：

```

interfaces:

<my_interfaces>:

unit:

<my_units>:

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:False}}

```

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

my_units:

range:(1-3)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 family inet address 6.0.0.1/24

set interfaces ge-0/0/1 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/1 unit 2 family inet address 6.0.0.1/24

```

rand功能块基于表示一组配置值的钩路径返回元素的随机集合。下面显示的rand块的参数如下：

`hook：`到函数语句之上的感兴趣的YAML的路径

`min：`返回元素的可能数量的下限

`max：`返回元素的可能数量的上限

`id：`(可选)用于帮助跟踪输出唯一性的函数的ID，与`stateful：True` 一起使用时必需

`stateful：`(可选)用于在具有相同ID的功能使用中维护唯一输出。

以下是rand功能块的示例：

示例‘config.yaml’：

```

interfaces:

ge-0/0/0:

unit:

<these_units>:

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

random_value:{func:{id:2,name:rand,hook:interfaces|*|unit|*,min:1,max:3,stateful:True}}

```

示例匹配‘params.yaml’：

```

these_units:

range:(1-5)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set interfaces ge-0/0/0 unit 4 family inet address 6.0.3.1/24

set interfaces ge-0/0/0 unit 5 family inet address 6.0.4.1/24

set random_unit 5

set random_unit 4

set random_unit 1

```

rand_unit功能块从接口语句中随机选择interface.unit值，这在根据协议指定接口时可能很有用，但是还没有识别模板创建了哪些接口。下面显示的rand_unit块的参数如下：

`hook：`到函数语句之上的感兴趣的YAML的路径

`min：`返回元素的可能数量的下限

`max：`返回元素的可能数量的上限

以下是rand_unit功能块的一个示例：

示例‘config.yaml’：

```

interfaces:

<my_interfaces>:

unit:

<these_units>:

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

protocols:

ospf:

area 0:

interface:{func:{id:2,name:rand_unit,hook:interfaces|*|unit|*,min:1,max:3,stateful:True}}

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

these_units:

range:(1-5)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set interfaces ge-0/0/0 unit 4 family inet address 6.0.3.1/24

set interfaces ge-0/0/0 unit 5 family inet address 6.0.4.1/24

set interfaces ge-0/0/1 unit 1 family inet address 6.0.5.1/24

set interfaces ge-0/0/1 unit 2 family inet address 6.0.6.1/24

set interfaces ge-0/0/1 unit 3 family inet address 6.0.7.1/24

set interfaces ge-0/0/1 unit 4 family inet address 6.0.8.1/24

set interfaces ge-0/0/1 unit 5 family inet address 6.0.9.1/24

set protocols ospf area 0 interface ge-0/0/1.4

set protocols ospf area 0 interface ge-0/0/0.4

```

incr功能块提供整数递增。下面显示的incr块的参数如下：

‘start：`开始整数到乘积

以下是incr功能块的一个示例：

示例‘config.yaml’：

```

<these_units>:

my_incr:{func:{id:1,name:incr,start:1400,stateful:True}}

a:

{func:{id:1,name:incr,start:1400,stateful:True}}

b:

{func:{id:1,name:incr,start:1400,stateful:True}}

c:

{func:{id:2,name:incr,start:1400,stateful:True}}

示例匹配‘params.yaml’：

```

these_units:

range:(1-5)

op:iter

```

示例预期输出：

```

set 1 my_incr 1400

set 2 my_incr 1401

set 3 my_incr 1402

set 4 my_incr 1403

set 5 my_incr 1404

set a 1405

set b 1406

set c 1400

```

主机功能块返回与配置的IP地址相关联的主机相邻IP地址的随机集合，作为一个示例，这对于将BGP相邻IP地址与接口IP地址匹配可能是有用的。下面显示的主机块的参数如下：

`hook：`到函数语句之上的感兴趣的YAML的路径

`min：`返回元素的可能数量的下限

`max：`返回元素的可能数量的上限

以下是主机功能块的一个示例：

示例‘config.yaml’：

```

interfaces:

<my_interfaces>:

unit:

<these_units>:

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

routing-instances:

instance1:

interface:

{func:{id:3,name:rand_unit,hook:interfaces|*|unit|*,min:2,max:2,stateful:True}}

protocols:

bgp:

group:

ebgp_group<access_num_groups>:

neighbor:

{func:{id:4,name:hosts,hook:..|..|..|..|..|interface|*|family inet|address, min:1,max:3,skip:1,stateful:True}}

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

these_units:

range:(1-5)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set interfaces ge-0/0/0 unit 4 family inet address 6.0.3.1/24

set interfaces ge-0/0/0 unit 5 family inet address 6.0.4.1/24

set interfaces ge-0/0/1 unit 1 family inet address 6.0.5.1/24

set interfaces ge-0/0/1 unit 2 family inet address 6.0.6.1/24

set interfaces ge-0/0/1 unit 3 family inet address 6.0.7.1/24

set interfaces ge-0/0/1 unit 4 family inet address 6.0.8.1/24

set interfaces ge-0/0/1 unit 5 family inet address 6.0.9.1/24

set routing-instances instance1 interface ge-0/0/0.4

set routing-instances instance1 interface ge-0/0/0.3

set routing-instances instance1 protocols bgp group ebgp_group1neighbor 6.0.2.64

set routing-instances instance1 protocols bgp group ebgp_group1neighbor 6.0.2.150

set routing-instances instance1 protocols bgp group ebgp_group2neighbor 6.0.3.28

set routing-instances instance1 protocols bgp group ebgp_group2neighbor 6.0.2.21

set routing-instances instance1 protocols bgp group ebgp_group2neighbor 6.0.3.96

```

挑选功能块允许从由钩子表示的元素列表中选择单个元素。下面显示的挑选块的参数如下：

`hook：`到函数语句之上的感兴趣的YAML的路径

`pos：`要挑选的物品的索引。

下面是挑选功能块的一个示例：

示例‘config.yaml’：

```

interfaces:

<my_interfaces>:

unit:

<these_units>:

filter:{func:{id:1,name:incr,start:1400,stateful:True}}

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

units:{func:{name:pick,hook:interfaces|ge-0/0/0|unit|*,pos:2}}

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

these_units:

range:(1-3)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 filter 1400

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 filter 1401

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 filter 1402

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set interfaces ge-0/0/1 unit 1 filter 1403

set interfaces ge-0/0/1 unit 1 family inet address 6.0.3.1/24

set interfaces ge-0/0/1 unit 2 filter 1404

set interfaces ge-0/0/1 unit 2 family inet address 6.0.4.1/24

set interfaces ge-0/0/1 unit 3 filter 1405

set interfaces ge-0/0/1 unit 3 family inet address 6.0.5.1/24

set units 3

```

下面是挑选功能块的另一示例：

示例‘config.yaml’：

```

interfaces:

<my_interfaces>:

unit:

<these_units>:

filter:{func:{id:1,name:incr,start:1400,stateful:True}}

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

units:{func:{name:pick,hook:interfaces|ge-0/0/0|unit|*,pos:2}}

protocols:

ldp:

interface:

<my_interfaces>:{func:{name:pick,hook:interfaces|*|unit|*}}

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

these_units:

range:(1-3)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 filter 1400

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 filter 1401

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 filter 1402

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set interfaces ge-0/0/1 unit 1 filter 1403

set interfaces ge-0/0/1 unit 1 family inet address 6.0.3.1/24

set interfaces ge-0/0/1 unit 2 filter 1404

set interfaces ge-0/0/1 unit 2 family inet address 6.0.4.1/24

set interfaces ge-0/0/1 unit 3 filter 1405

set interfaces ge-0/0/1 unit 3 family inet address 6.0.5.1/24

set protocols ldp interface ge-0/0/0.1

set protocols ldp interface ge-0/0/1.1

```

hosts_network功能块根据给定的下限和上限，返回来自同一个子网的随机数量的IP地址，作为输入IP地址变量。下面显示的hosts_network块的参数如下：

`network：`IP地址/网络掩码输入，从中创建值。该值可以是静态字符串或双V形变量。(例如，‘192.168.1.1/24’或‘<<local-ip>>/29’等)

`min：`返回元素的可能数量的下限

`max：`返回元素的可能数量的上限

`skip：`(可选)不希望返回的IP地址的位置列表

以下是host_network功能块的一个示例：

示例‘config.yaml’：

```

neighbor:{func:{id:8,name:hosts_network,network:<<local-ip>>, min:1,max:2,skip:[1,2],stateful:True}}

foobar:

neighbor2:{func:{id:8,name:hosts_network,network:<<local-ip>>, min:1,max:2,skip:[1,2],stateful:False}}

示例匹配‘params.yaml’：

```

local-ip:193.2.0.1/24

```

示例预期输出：

```

set neighbor 193.2.0.174

set neighbor 193.2.0.230

set neighbor 193.2.0.158

set neighbor 193.2.0.106

set neighbor 193.2.0.90

set neighbor 193.2.0.39

set foobar

set neighbor2 193.2.0.182

```

enum功能块返回基于钩子找到的所有元素。此外，enum功能块可以在与接口结合使用时提供额外功能，允许返回interface.unit元素。当包括来自VRF或其他配置部分内的协议下的接口时，可以使用额外功能。下面显示的enum块的参数如下：

`hook：`到函数语句之上的感兴趣的YAML的路径。

下面是enum功能块的一个示例：

示例‘config.yaml’：

```

interfaces:

ge-0/0/0:

unit:

<these_units>:

filter:{func:{id:1,name:incr,start:1400,stateful:True}}

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

units:{func:{name:enum,hook:interfaces|ge-0/0/0|unit|*}}

示例匹配‘params.yaml’：

```

these_units:

range:(1-3)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 filter 1400

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 filter 1401

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 filter 1402

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set units 1

set units 2

set units 3

```

下面是enum功能块的另一示例用法，说明了额外的接口功能：

interfaces:

<my_interfaces>:

unit:

<these_units>:

filter:{func:{id:1,name:incr,start:1400,stateful:True}}

family inet:

address:{func:{id:1,name:subnet,network:6.0.0.0/24,offset:1,stateful:True}}

protocols:

ldp:

interface:

<my_interfaces>:{func:{name:enum,hook: interfaces|<my_interfaces>|unit|*}}

示例匹配‘params.yaml’：

```

my_interfaces:['ge-0/0/0','ge-0/0/1']

these_units:

range:(1-3)

op:iter

```

示例预期输出：

```

set interfaces ge-0/0/0 unit 1 filter 1400

set interfaces ge-0/0/0 unit 1 family inet address 6.0.0.1/24

set interfaces ge-0/0/0 unit 2 filter 1401

set interfaces ge-0/0/0 unit 2 family inet address 6.0.1.1/24

set interfaces ge-0/0/0 unit 3 filter 1402

set interfaces ge-0/0/0 unit 3 family inet address 6.0.2.1/24

set interfaces ge-0/0/1 unit 1 filter 1403

set interfaces ge-0/0/1 unit 1 family inet address 6.0.3.1/24

set interfaces ge-0/0/1 unit 2 filter 1404

set interfaces ge-0/0/1 unit 2 family inet address 6.0.4.1/24

set interfaces ge-0/0/1 unit 3 filter 1405

set interfaces ge-0/0/1 unit 3 family inet address 6.0.5.1/24

set protocols ldp interface ge-0/0/0.1

set protocols ldp interface ge-0/0/0.2

set protocols ldp interface ge-0/0/0.3

set protocols ldp interface ge-0/0/1.1

set protocols ldp interface ge-0/0/1.2

set protocols ldp interface ge-0/0/1.3

```

全局参数文件28C可以类似于参数文件28A，除了全局参数文件28C 可以定义对于模拟的每次迭代保持相同的参数值。全局参数文件28C还可以定义参数值，这些参数值涉及模拟的迭代次数、关于调试模式的信息(例如，启用或禁用)、最大路由数量(例如，跨越所有不同的路由协议)、每个实例的最大路由数量、每个相邻的最大数量或路由、最小网络掩码长度、最大网络掩码长度等。前述参数值可以解决DUT 16的限制(例如，DUT 16可以仅包括用于存储最多1,000,000条路由的设置数量的存储器，从而导致路由的最大数量设置为1,000,000条，以便不超过DUT 16的存储器)。

配置生成单元80可以以上述方式为DUT 16生成配置对象31，将配置对象31提供给多样性模型82。配置生成单元80还可以自动生成用于测试床14的相应配置对象33。配置对象33在加载到测试床14中时，可以配置测试床14，以在被配置为根据配置对象31操作时支持DUT 16的方式模拟和/或执行路由协议。配置生成单元80也可以将配置对象33输出到多样性模型82。

如上所述，来自每个参数范围的随机采样可以提供使操作数据17多样化的最佳解决方案。然而，由于预定义域逻辑导致的数据偏差，随机采样并非在所有情况下都可行。即，配置对象的不同迭代在DUT 16的第二操作状态上偏向DUT 16的第一操作状态。为了说明，考虑到研究显示与 200-300对等体范围、300-400对等体范围和任何其他更高范围相比， L3VPN网络模拟中BGP对等体的数量严重偏向1-100对等体范围。

结果，多样性模型82表示模型，其被配置为接收偏置采样分布，作为输入，并使用聚类分析来重新平衡采样分布。多样性模型82的一个示例可以采用k均值聚类，因为k均值聚类可能是有效的，并且可以很好地扩展，以处理大量数据。尽管下面关于k均值聚类进行了描述，但是这些技术可以使用其他聚类算法来执行。

在这个示例中，多样性模型82可以在以下三个步骤中实现k均值聚类。首先，多样性模型可以执行k均值聚类，以在偏差分布的密集区域中对采样数据进行分组(这是参考配置对象的不同迭代的另一种方式)，并且计算分组中心，例如，组中的参数的平均值。第二，多样性模型可以选择距离组中心最近的采样参数(这也是参考配置对象的另一种方式)，作为组的表示。第三，多样性模型可以从每个组中选择采样参数，作为输入，以形成每个配置数据31和33。在多样性模型生成模拟配置数据31和33 之后，驱动器12可以根据每个配置数据31和33迭代地进行模拟。

在这方面，多样性模型82可以调整DUT 16的配置对象31中阐述的配置参数的参数，以考虑数据偏差。多样性模型82可以将适配的配置对象31输出到模拟驱动器84。多样性模型82还可以更新配置对象33，以反映对配置对象31的适应(adaptations)的方式来调整各种参数。多样性模型82可以将配置对象31和33输出到模拟驱动器84。

模拟驱动器84可以表示被配置为与测试床14接口的单元。在一些示例中，测试床14可以表示能够模拟由一个或多个网络装置(以及可能多达数百或数千个网络装置)执行的一个或多个路由协议的虚拟化网络。例如，测试床14可以包括由和/或提供的测试环境。这样，模拟驱动器84可以包括ixia和/或Spirent接口，用于与测试床14接口，以加载配置对象33。模拟驱动器84还可以包括接口，通过该接口与DUT 16 交互，以加载配置对象31。

模拟驱动器84还可以向数据收集工具18输出通知85，指示模拟的每次迭代开始和停止、每个协议开始和停止的时间等。模拟驱动器84可以以这种方式输出通知85，以便于数据收集。即，响应于每个通知，数据收集工具18可以开始和结束数据收集。

图5是更详细地示出图3的流管理模块52和数据处理模块54的方框图。如图5的示例所示，流管理模块52包括流数据库(DB)60(“流DB 60”)，而数据处理模块54包括流客户端模块62、解析模块64、处理模块 66和时间序列(TS)客户端模块68(“TS客户端模块68”)。

流管理模块52可以将序列化记录19存储到流数据库60。流管理模块 52可以处理模拟数据集17和syslogs 37,以形成序列化记录。syslogs 37可以定义配置变化的日志，其中，使用“提交”命令将每个配置变化提交给 DUT 16。流管理模块52可以处理syslogs37，以识别每个连续的“提交” 命令以及发出每个“提交”命令的相关时间。使用发出每个“提交”命令的时间，流管理模块52可以生成序列化记录19，以仅包括在记录每个“提交”命令时和/或之后出现的模拟数据集17的部分，从而将模拟数据集17 分成单独的序列化记录19。

数据处理模块54的流客户端模块62可以表示模块，其被配置为根据消费者API操作，以便检索发布到流客户端模块62订阅的一个或多个主题的序列化记录。流客户端模块62可以将序列化记录19提供给处理模块 66。

数据处理模块54的解析模块64可以表示模块，被配置为处理可以被定义为YAML文件的数据处理规则63，并且将数据处理规则63输出到处理模块66。以下是数据处理规则63的示例：

#|--bgp-rib:struct(nullable＝true)

#| |--@style:string(nullable＝true)

#| |--accepted-prefix-count:long(nullable＝true)

#| |--active-prefix-count:long(nullable＝true)

#| |--advertised-prefix-count:long(nullable＝true)

#| |--name:string(nullable＝true)

#| |--received-prefix-count:long(nullable＝true)

#| |--suppressed-prefix-count:long(nullable＝true)

#|--type:string(nullable＝true)

root_tag:bgp-group

child_tag:bgp-rib

aggregations:

agg_name:ebgp_inet0_accepted_prefix_sum

filter:bgp-rib.name～inet.0,type＝External#rib name'like'inet.0

calc:sum

calc_field:bgp-rib.accepted-prefix-count

groupby:type

agg_name:ebgp_inet0_ri_count

filter:bgp-rib.name～inet.0,type＝External

calc:count#distinct count

calc_field:bgp-rib.name

在前面的数据处理规则63的示例中，“#”表示下面的注释，该注释是不可执行代码。数据处理规则63的上述示例可以将处理模块66配置为识别BGP组并聚集具有RIB名称inet.0的BGP路由信息库(RIB)，计算接受的前缀计数的BGP路由的总和，按类型对每个总和进行分组。在这方面，处理模块66可以基于数据处理规则63处理序列化记录19，以生成适配的序列化记录19。

处理模块66可以表示被配置为根据数据处理规则63处理序列化记录 19的单元。处理模块66可以实现称为Pandas的Python编程语言库，创建所谓的“数据帧”，这表示具有潜在不同类型数据(例如，整数、浮点值、字符、字符串、布尔值等)的列的二维标记数据结构并可经由索引访问。

处理模块66可以利用数据帧(DataFrames)来进一步将序列化记录组19序列化，从而作为一个示例，创建指定RE和PFE内存使用的数据帧。处理模块66可将该RE和PFE内存使用与上述各种不同数量的路由相关联，并在序列化记录19的特征使用数据中指定。处理模块66可以通过在不同列中设置路由数量，然后在随后的列中设置RE和PFE内存使用，来指定数据帧中的关联。然后，每行在给定时间戳(可能是另一列)为所标识的列定义相应的值。

作为另一示例，处理模块66可以生成指定路由学习持续时间的数据帧，根据数据处理规则63处理序列化记录60，以去除路由学习开始时和路由学习完成时之间的冗余或不相关数据。得到的路由学习数据帧可以在执行路由学习的给定模拟期间识别所有持续时间。数据处理模块66可以以类似于上述内存使用数据帧的方式指定数据帧中的关联。在该示例中，处理模块66可以指定第一列中的时间戳，随后是每种不同类型(BGP、 OSPF等)的路由数量的列，然后是学习持续时间的列。然后，每行在给定时间戳为所标识的列定义相应的值。换言之，处理模块66可以进一步调节序列化数据19。

TS客户端模块68可以表示被配置为作为TS数据库24的客户端操作的模块。TS客户端模块68可以实现专有或开源协议，通过这些协议与TS 数据库24接口。TS客户端模块68可以将处理模块66生成的所得数据帧作为序列化数据19存储到TS数据库24。

图6是示出根据本公开中描述的技术的各个方面的建模环境10在生成模型20中的示例操作的示图。如图6的示例所示，有三个垂直层，工具层100、集成层102和应用层104(“应用层104”)。

在工具层100内，数据处理模块54(图3)可以执行数据清理110。数据处理模块54可以通过完成缺失值和执行异常值过滤来“清理”数据。分析模块60(也可称为“分析引擎60”，如图6的示例所示)可执行工具层100的大部分剩余部分，执行特征工程112、模型校准114和模型验证 116。

在特征工程112期间，分析模块60可以执行分类特征单热编码，这是指在应用机器学习之前调节数据的过程。分类数据是指包含标签值而不是数值的变量。单热编码指的是这样一个过程，其中，分类数据(可能更具体地，不存在序数关系的分类数据)减小为整数，然后，映射到二进制值，该二进制值的位数等于分类数，其中，单个位设置为1，表示存在来自该类别的样本。考虑以下示例，该示例显示了具有三个不同值(红色、绿色或蓝色)的类别“颜色”的单热编码值：

在前述示例中，红色编码为100，绿色编码为010，蓝色编码为001。分析模块60还可以在特征工程112期间执行特征归一化，该特征归一化进一步在定义的范围内调节数据。

分析模块60还可执行模型校准114，在此期间，分析模块60可执行线性建模和非线性建模，如上文更详细讨论的，以产生存储器效用预测子模型120、CPU效用预测子模型122、路由学习预测子模型124(显示为 “收敛分析”子模型)等。分析模块60可以以上述方式生成存储器效用预测子模型120和路由学习预测子模型124。

为了生成CPU效用预测子模型122，分析模块60可以利用模拟数据集19的特征使用数据的与生成存储器效用预测子模型120时所利用的部分相同的部分(即，在该示例中，多个对等体、多个组、多个路由实例、多个客户边缘(CE)装置、多个CE接口、多个路由以及每个路由的类型)。分析模块60可以识别特征使用数据的上述部分和一个或多个资源利用数据之间的关联(例如，路由器执行的每个路由守护程序的处理器使用以及路由器的分组转发引擎(PFE)中的处理器使用中的一个或多个)。这样，分析模块60可以相对于每个关联执行机器学习，以生成表示装置的CPU 实用程序预测子模型124，该装置响应于配置参数(其与作为特征使用数据获得的配置对象的子集相同)预测路由器执行的每个路由守护程序的处理器使用以及路由器的PFE中的处理器使用。

分析模块60还可执行模型验证116，如上文更详细描述的，其可包括 K重交叉验证和正向链接验证。可视化模块62可以执行可视化118，提供对接收器操作特性(ROC)曲线、散点图等的访问。

尽管关于特定操作数据17进行了描述，但是本公开中描述的技术也可以捕获CPU和收敛，为CPU和收敛提供模型。可以形成额外模型的基础的其他操作数据17包括总结的路由统计(例如，路由协议数量和/或族类型和/或实例数量)、AS路径统计、路由改变推送通知、路由协议守护程序(RPD)中间组件统计(例如，将路由推送至转发信息库FIB时RPD的各个部分的统计)、FIB路由对象统计(例如，下一跳指针、类似于RIB 的总结统计)和BGP输出队列统计。

图7A和7B是示出根据本公开中描述的技术的各个方面的预配置建模环境的模拟数据集生成的示图。预配置建模环境是指测试环境14(图3) 被预配置并且经常被客户用于装置和服务的内部测试的建模环境。客户可能允许使用其测试环境14来建模，但是客户可能不允许完全控制所有参数。在这种情况下，可以根据技术的各个方面来配置驱动器12，以适配一个或多个预定义的配置对象，并对适配的每次迭代进行模拟。数据收集工具18然后可以收集操作数据17，分析模块60可以利用这些数据来生成模型20。

首先参考图7A，驱动器12可以与DUT 16接口合，以收集预先配置的配置对象。驱动器12还可以与测试环境14接合，以获得预配置的测试环境14的配置数据。驱动器12可以基于预配置测试环境14的配置数据来识别那些获得的能够被适配(例如，改变、激活、停用等)的配置对象。在图7A的示例中，配置对象150可以表示所获得的能够适配的配置对象。

在任何情况下，驱动器12可以适配配置对象150A-150G(“配置对象 150”)，向每个配置对象150分配随机值。为了说明的目的，假设配置对象150均表示多个路由。在图7A的示例中，驱动器12接下来可以执行预分组，从而产生三个组152A-152C(“组152”)。驱动器12可以利用k均值聚类(或执行其他聚类分析)，来对相似对象150进行分组，从而导致在每个对应组152中具有对象150的平均值的更少数量的配置对象 154A-154C。

驱动器12可以生成掩码池(“掩码156”)，其中，该池中的每个掩码是1和0的位掩码，指示是否存在对应的一个配置对象154。这样，驱动器12可以将掩码的数量计算为增加到2的幂的配置对象154的数量。在图7A的示例中，驱动器12可以确定8个掩码，因为有三个模拟对象，3²等于8(包括零)。掩模156可以包括以下[0，0，1]、[0，1，1]等。驱动器12然后可以将配置对象154应用于掩模156，以获得加权掩模158。上面示例中列出的两个掩模156的示例加权掩模158可以包括[0，0，333] 和[0，172，333]。驱动器12接下来可以执行掩码聚类，以确保模拟中的多样性。驱动器12然后可以选择聚类加权掩码158的子集，每个聚类具有一个子集(例如，最靠近每个组的中心的掩码)。

参考图7B，驱动器12还可以生成模拟，其中，存在随机选择生成的配置对象150。驱动器12可以执行预分组，从而产生组152A和152C。驱动器12然后可以从组152A和152C中的每一个中随机选择配置对象150 的不同子集，以生成三个不同的配置对象160A-160C。前述模拟生成的结果是，对于只有配置对象的子集可以调整的预定义网络配置，激活和停用各种配置对象，以便改变DUT 16的操作状态。除了完全定义所有的配置对象，前述允许通过激活和停用那些提供控制的配置对象来实现模拟多样性。

图8是示出图1的建模环境在执行本公开中描述的自动模型生成的各个方面时的示例操作的流程图。驱动器12(如图1的示例所示)可以最初获得配置参数28A(“参数28B”)、配置对象28B(“配置28B”)和全局文件28C(“全局文件28C”)，这些文件也可以统称为“模拟配置文件28”。

在一些情况下，驱动器12可以基于模拟配置文件28，以确保DUT 16 的一个不同模拟配置文件28中的配置对象28B之间充分随机化的方式，生成DUT 16的配置对象15(200)。除了随机化参数28A之外，驱动器 12可以生成或以其他方式获得多个配置对象15，每个配置对象可以定义测试环境14内的DUT 16的不同模拟。驱动器12可以以上述方式在对应于模拟的不同迭代(或者换言之，“模拟迭代”)的每个不同的所得到的配置对象15内随机化各种参数值。因为模型生成需要模拟之间一定程度的可变性，以确保DUT 16的完整表示，所以驱动器12可以确定配置对象 15的每个非冗余对之间的相似程度(202)。

虽然来自每个参数范围的随机采样可以提供一种解决方案来使每次模拟期间收集的操作数据多样化，但是由于参数28A中预先定义的域逻辑，完全随机化是不可能的。即，参数28A中阐述的参数的某些值在其分布方面存在偏差，或者换言之，不是以每个值相等数量的方式在统计上随机的。

同样，驱动器12可以考虑参数文件28A中阐述的参数的某些值的偏置采样分布，确定配置对象15的每个非冗余对(202)之间的相似程度。驱动器12可以响应于相似程度与相似性阈值的比较，选择配置对象15的子集(204)。驱动器12可以选择配置对象15的子集，以便进行给定模拟的不同迭代，从而产生表示DUT 16的操作状态的更好的操作数据集合，从而产生更完整的模型20，该模型响应于配置参数更好地预测DUT 16的操作状态。

当相似程度小于或等于相似性阈值时(“是”204)，驱动器12可以将两个配置对象15添加到配置对象15的子集(206)。当相似程度大于相似性阈值时(“否”204)，驱动器12可以仅将配置对象15中的一个添加到配置对象15的子集(208)。驱动器12可以以这种方式迭代通过配置对象 15的每个非冗余对。

驱动器12可以在选择配置对象15的子集之后，与DUT 16接口，以根据模拟配置文件28中的第一个来配置DUT 16(210)。驱动器12可以接下来或者在配置DUT 16的同时，与测试环境14接口，以根据模拟配置文件28中的第一个来配置测试环境14(212)。在配置DUT16和测试环境14之后，驱动器12可以进行与模拟配置文件28的子集中所选择的一个子集相对应的模拟(214)。驱动器12可以迭代地执行前述步骤，直到已经执行了对应于模拟配置文件28的选定子集的所有模拟(212，214)。

在模拟期间或同时，数据收集工具18可与DUT 16接口，以收集表示 DUT 16的操作状态的操作数据17(216)。

数据收集工具18可以发出命令和/或其他查询，来收集操作数据17。数据收集工具18还可以检索或请求指示操作数据17的系统日志。

数据收集工具18可以调节操作数据17，以形成序列化数据19(218)。即，数据收集工具18可以处理每种形式的操作数据17(例如，轮询数据和系统日志)，以系统地暂时排列数据，从而生成序列化数据19。驱动器 12和数据收集工具18可以协调，为模拟配置文件28的每个子集迭代地收集序列化数据19，重复上述过程，为模拟配置文件28的每个子集收集序列化数据19。数据收集工具18可以将序列化数据19输出到后端分析单元 22。

后端分析单元22可以基于序列化数据19生成模型20。在一些示例中，后端分析单元22可以识别序列化数据19，该序列化数据19是参考与用于进行模拟的每个模拟配置文件28相关联的调节操作数据17的另一种方式 (220)。即，使用syslogs 37，后端分析单元22可以识别上述“提交”命令，识别一个不同的模拟配置文件28。每个“提交”命令将全部配置对象提交给DUT 16，从而允许后端分析单元22识别哪个操作数据17对应于哪个模拟配置文件28。以这种方式，后端分析单元22可以访问每个模拟配置文件28，并且识别每个模拟配置文件28和序列化数据19之间的关联。

后端分析单元22可以确定配置对象28B和序列化数据19的不同部分之间的关联。基于配置对象28B和序列化数据19的不同部分之间的关联，后端分析模块22可以生成表示DUT 16的模型20，该模型20响应于配置参数，预测DUT 16的操作状态。在一些情况下，后端分析模块22可以相对于模拟配置文件28的子集和序列化数据19之间的关联执行机器学习，以生成表示DUT 16的模型20(222)。

图9是示出在使用预配置的测试环境执行模拟数据集生成时图3的建模环境的示例操作的流程图。驱动器12可以最初生成具有随机分配的值的配置对象150A-150G(“配置对象150”)(250)。在图7A的示例中，驱动器12接下来可以执行预分组，从而产生三个组152A-152C(“组152”) (252)。驱动器12可以利用k均值聚类来对类似的对象150进行分组，从而导致配置对象154A-154c在每个相应组152中具有对象150的平均值。以这种方式，驱动器12可以为每个组154确定配置对象154(254)。

驱动器12可以生成掩码池(“掩码156”)，其中，该池中的每个掩码是1和0的位掩码，指示是否存在对应的一个配置对象154。这样，驱动器12可以将掩码的数量计算为增加到2的幂的配置对象154的数量(256)。在图7A的示例中，驱动器12可以确定8个掩码，因为有三个模拟对象， 3²等于8(包括零)。驱动器12然后可以将配置对象154应用于掩模156，以获得加权掩模158(258)。驱动器12接下来可以相对于加权掩码158 执行掩码聚类，以确保模拟中的多样性(260)。驱动器12然后可以选择聚类加权掩码158的子集，每个聚类具有一个(例如，最靠近每个组的中心的掩码)(262)。驱动器12可以从每个选择的加权掩码158生成模拟数据集28(264)。

驱动器12还可以从生成的配置对象150的组152的随机选择中生成 (如图7B的示例所示)模拟配置文件28(266)，这可以有效地激活和停用某些配置对象。驱动器12可以执行预分组，从而产生组152A和152c。驱动器12然后可以从组152A和152C中的每一个中随机选择配置对象150 的不同子集，以生成三个不同的模拟配置文件160A-160C。

图10是更详细地示出图1-3的测试床14的示例的方框图。在图10 的示例中，测试床14包括客户网络300A-300N、提供商路由器302(“ixP 302”)、提供商边缘(PE)路由器304A-304N(“ixPE 304A-304N”)、远程客户站点306A-306N和308A-308N。每个客户网络300A-300N还包括相应的一个客户驻地设备(CPE)310A-310N(“ixCPE 310A-310N”)。每个客户网络300A-300N也都支持路由312A-312N，而每个远程客户站点 306A-306N和308A-308N分别支持路由314A-314N和316A-316N。DUT 16 被示为DUT PE 16，以表示DUT 16是PE路由器。CPE 310A-310N中的每一个可以经由外部BGP(eBGP)、内部BGP(iBGP)和/或OSPF路由协议与DUT PE 16通信。同样，远程客户站点306A-306N和308A-308N 内的任何CE可以经由eBGP、iBGP和/或OSPF路由协议与相应的PE路由器304A-304N通信。

如上所述，测试床14可以模仿或以其他方式模拟服务，例如，L3VPN，测试DUTPE16在支持L3VPN服务时的性能。尽管以上描述为测试L3VPN，但是本公开中描述的技术可以扩展到多个不同的服务，包括核心中的标签分发协议(LDP)和/或开放最短路径优先(OSPF)协议、网络边缘的外部BGP(eBGP)、自动带宽标签交换路径(LSPs)、重叠路由、 L3VPN的内部BGP(iBGP)、L3VPN的中间系统到中间系统(ISIS)协议、L3VPN的资源预留协议(RSVP)和各种其他服务。

此外，尽管根据每个客户网络300A-300N的路由器或其他装置的数量显示为固定的，但是测试床14可以以任何合适的方式被配置为模拟或复制真实世界的网络环境。此外，虽然显示为表示PE路由器，但是DUT 16 可以是任何类型的装置，包括任何类型的网络装置，例如，交换机、CPE、提供商路由器、集线器等。

图11是示出表示上述被测装置的示例路由器410的方框图。如图11 所示，路由器410包括控制单元412、交换结构414和多个分组转发引擎 (PFE)416A-416N(“PFE 416”)。控制单元412可以表示执行软件指令的一个或多个处理器(图11中未示出)，例如，用于定义软件或计算机程序的指令，这些指令存储到非暂时性计算机可读介质(同样，图11中未示出)，例如，存储装置(例如，磁盘驱动器或光驱)或者存储器(例如，闪存、随机存取存储器或RAM)或存储指令的任何其他类型的易失性或非易失性存储器，当执行指令时，所述指令促使一个或多个处理器执行本文所述的技术。或者，控制单元38可以表示专用硬件，例如，一个或多个集成电路、一个或多个专用集成电路(ASIC)、一个或多个专用专用处理器(ASSP)、一个或多个现场可编程门阵列(FPGA)或者专用硬件的一个或多个前述示例的任意组合，用于执行本文中描述的技术。通常，即使当实现为专用硬件时，专用硬件也支持执行可以实现本公开中描述的技术的一个或多个方面的软件。因此，这些技术通常可以用硬件或硬件和软件的组合来实现。

控制单元412包括为路由器410提供控制平面功能的路由引擎418。路由引擎426通常表示一个模块，该模块以将网络拓扑存储为所谓的“路由表”的形式提供控制平面功能，执行路由协议，以与对等路由装置通信，从而维护和更新路由表，并提供管理接口，以允许用户访问和配置路由器 410。

该管理接口在图11的示例中显示为接口模块420。控制单元412包括接口模块420，以促进与路由器410通信。接口模块420可以表示任何常见类型的接口，包括命令行接口(CLI)或图形用户接口(GUI)。接口模块420可以包括与用于向路由器410输入数据的组件交互所需的任何接口。接口模块420还可以表示一个或多个接口，驱动器12可以通过该接口输入装置配置31，收集器18可以通过该接口输入命令35，以获得报告 17并启动syslogs 37的输出。

交换结构414提供高速互连，用于将传入的数据包转发到正确的一个 PFE 416，用于通过网络传输，例如，通常称为“互联网”的大型公共网络。PFE 416经由相关的接口卡(IFC)422A-422N(“IFC 422”)接收和发送数据包。IFC 422可以均表示通信链路和路由器410之间的接口或端口，路由器410通过该接口或端口发送和接收数据包。PFE 416可以均包括控制单元430A-430N(“控制单元430”)中的一个，每个控制单元可以类似于控制单元412。控制单元430中的每一个可以包括专门为分组处理设计的专用硬件和中央处理单元(CPU)的组合，该中央处理单元用于配置该专用硬件，否则能够在路由引擎418和该专用硬件之间通信。IFC 422 和PFE 416与交换结构414相结合，可以形成负责根据转发信息转发数据包的“数据平面”。PFE 416中的每一个还可以包括存储器(“MEM”) 434A-434N(“MEM434”)中的一个。

如图11的示例所示，路由引擎418包括CPU 440(其可以表示一个或多个CPU 440)和存储器442(“MEM 442”，其也可以表示一个或多个存储器)。数据收集工具18可以经由接口模块420与路由器410接口，以收集指示每个路由守护程序使用CPU 440和指示每个路由守护程序使用 MEM 442的操作数据17。数据收集工具18还可以经由接口模块420与路由器410接口，以收集指示CPU 432的使用和指示MEM 434的使用的操作数据17。

以这种方式，数据收集工具18可以与路由器410接口，以收集指示路由器410的操作状态的操作数据17，从而促进构建可以允许路由器410 更精确建模的模型。更精确的模型可能会产生上面详细讨论的好处，这些好处会改善网络规划和现有路由器的更好利用，这可能会提高网络本身的性能。

图12是示出根据本公开的一种或多种技术操作的计算装置的一个示例的进一步细节的方框图。图12可以示出服务器或其他计算装置500的特定示例，该服务器或其他计算装置500包括一个或多个处理器502，用于执行驱动器12或者在本文中描述的任何其他应用程序中的任何一个或多个。可以在其他情况下使用计算装置500的其他示例。尽管出于示例的目的，在图12中示出为独立计算装置500，但是计算装置可以是包括用于执行软件指令的一个或多个处理器或其他合适的计算环境的任何组件或系统，并且例如不必包括图12中示出的一个或多个元件(例如，通信单元506；并且在一些示例中，诸如存储装置508等组件可以不与其他组件共同定位或者位于同一机箱中)。

如图12的示例所示，计算装置500包括一个或多个处理器502、一个或多个输入装置504、一个或多个通信单元506、一个或多个输出装置512、一个或多个存储装置508和用户接口(UI)装置510。在一个示例中，计算装置500还包括可由计算装置500执行的一个或多个应用程序522、驱动器12和操作系统516。组件502、504、506、508、510和512中的每一个被耦合(物理地、通信地和/或操作地)，以用于组件间通信。在一些示例中，通信信道514可以包括系统总线、网络连接、进程间通信数据结构或用于通信数据的任何其他方法。作为一个示例，组件502、504、506、 508、510和512可以通过一个或多个通信信道514耦合。

在一个示例中，处理器502被配置为实现用于在计算装置500内执行的功能和/或处理指令。例如，处理器502能够处理存储在存储装置508 中的指令。处理器502的示例可以包括微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效离散或集成逻辑电路中的任何一个或多个。

一个或多个存储装置508可以被配置为在操作期间在计算装置500内存储信息。在一些示例中，存储装置508被描述为计算机可读存储介质。在一些示例中，存储装置508是临时存储器，这意味着存储装置508的主要目的不是长期存储。在一些示例中，存储装置508被描述为易失性存储器，这意味着当计算机关闭时，存储装置508不维护存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器 (DRAM)、静态随机存取存储器(SRAM)和本领域已知的其他形式的易失性存储器。在一些示例中，存储装置508用于存储程序指令，以供处理器502执行。在一个示例中，存储装置508被在计算装置500上运行的软件或应用程序用来在程序执行期间临时存储信息。

在一些示例中，存储装置508还包括一个或多个计算机可读存储介质。存储装置508可以被配置为存储比易失性存储器更多的信息量。存储装置 508还可以被配置用于长期存储信息。在一些示例中，存储装置508包括非易失性存储元件。这种非易失性存储元件的示例包括磁性硬盘、光盘、软盘、闪存、或电可编程存储器(EPROM)或电可擦除可编程存储器 (EEPROM)的形式。

在一些示例中，计算装置500还包括一个或多个通信单元506。在一个示例中，计算装置500利用通信单元506经由一个或多个网络(例如，一个或多个有线/无线/移动网络)与外部装置通信。通信单元506可以包括网络接口卡，例如，以太网卡、光收发器、射频收发器或可以发送和接收信息的任何其他类型的装置。这种网络接口的其他示例可以包括3G和 WiFi无线电。在一些示例中，计算装置500使用通信单元506与外部装置通信。

在一个示例中，计算装置500还包括一个或多个用户接口装置510。在一些示例中，用户接口装置510被配置为通过触觉、音频或视频反馈从用户接收输入。用户接口装置510的示例包括存在敏感显示器、鼠标、键盘、语音响应系统、摄像机、麦克风或用于检测来自用户的命令的任何其他类型的装置。在一些示例中，存在敏感显示器包括触敏屏幕。

一个或多个输出装置512也可以包括在计算装置500中。在一些示例中，输出装置512被配置为使用触觉、音频或视频刺激向用户提供输出。在一个示例中，输出装置512包括存在敏感显示器、声卡、视频图形适配器卡或用于将信号转换成人类或机器可理解的适当形式的任何其他类型的装置。输出装置512的额外示例包括扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或可以生成用户可理解的输出的任何其他类型的装置。

计算装置500可以包括操作系统516。在一些示例中，操作系统516 控制计算装置500的组件的操作。例如，在一个示例中，操作系统516便于一个或多个应用程序522和驱动器12与处理器502、通信单元506、存储装置508、输入装置504、用户接口装置510和输出装置512的通信。应用程序522和驱动器12还可以包括可由计算装置500执行的程序指令和/或数据。

除了上述内容之外，或者作为上述内容的替代，描述了以下示例。在下面的任何示例中描述的特征可以与在本文中描述的任何其他示例一起使用。

示例1A.一种自动创建模型的方法，所述方法包括：由一个或多个处理器基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境内的参数，以反映实际网络环境；由所述一个或多个处理器基于配置对象在测试环境内进行所述多个模拟迭代中的每一个，以收集表示网络装置的操作状态的对应的多个模拟数据集；并且由所述一个或多个处理器相对于多个模拟数据集中的每一个执行机器学习，以生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

示例2A.根据示例1A所述的方法，其中，所述多个模拟数据集中的每一个包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述方法还包括识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且其中，执行机器学习包括相对于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，执行机器学习。

示例3A.根据示例2A所述的方法，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例4A.根据示例2A和3A的任意组合所述的方法，其中，执行机器学习包括相对于每个关联执行机器学习，以生成表示网络装置的存储器预测子模型，该子模型响应于网络装置的配置参数，预测网络装置执行的每个路由守护程序的内存使用以及网络装置的PFE中的内存使用。

示例5A.根据示例2A-4A的任意组合所述的方法，其中，所述特征使用数据包括用于多个路由协议中的每一个的多个路由中的一个或多个，其中，所述资源利用数据包括所述多个路由协议中的每一个的路由学习持续时间，其中，识别关联包括识别多个路由协议中的每一个的路由数量和多个路由协议中的相应一个的路由学习持续时间之间的关联，并且其中，执行机器学习包括相对于每个关联执行机器学习，以生成表示装置的路由学习子模型，该路由学习子模型响应于网络装置的配置参数，预测集中于当前配置状态所需的持续时间。

示例6A.根据示例2A-5A的任意组合所述的方法，其中，所述特征使用数据包括多个对等体、多个组、多个路由实例、多个客户边缘(CE) 装置、多个CE接口、多个路由以及每个路由的类型中的一个或多个，其中，所述资源利用数据包括由所述网络装置执行的每个路由守护程序的处理器利用以及所述网络装置的分组转发引擎(PFE)中的处理器利用中的一个或多个，并且其中，执行机器学习包括相对于每个关联执行机器学习，以生成表示网络装置的处理器预测子模型，该处理器预测子模型响应于网络装置的配置参数，预测网络装置执行的每个路由守护程序的处理器使用以及网络装置的PFE中的处理器使用。

示例7A.根据示例1A-6A的任意组合所述的方法，还包括：确定模拟配置文件的一个或多个非冗余对之间的相似程度；并且由所述一个或多个处理器响应于相似程度与多样性阈值的比较来选择模拟配置文件的子集，其中，基于模拟配置文件生成配置对象，包括基于模拟配置文件的子集生成配置对象，用于相对于在测试环境内操作的网络装置执行多个模拟迭代。

示例8A.根据示例1A-7A的任意组合所述的方法，其中，每个模拟配置文件包括用于相干地配置测试环境和网络装置的数据，使得网络装置与测试环境一致地操作，以支持一个或多个服务。

示例9A.根据示例8A所述的方法，其中，所述一个或多个服务包括第三层虚拟专用网络服务。

示例10A.根据示例1A-9A的任意组合所述的方法，其中，所述机器学习包括蒙特卡洛模拟型实验。

示例11A.一种被配置为自动创建模型的装置，所述装置包括：一个或多个处理器，其被配置为：基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境内的参数，以反映实际网络环境；基于配置对象在测试环境内进行所述多个模拟迭代中的每一个，以收集表示网络装置的操作状态的对应的多个模拟数据集；并且相对于多个模拟数据集中的每一个执行机器学习，以生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置网络装置时，预测网络装置的操作状态；以及存储器，其被配置为存储模型。

示例12A.根据示例11A所述的装置，其中，所述多个模拟数据集中的每一个包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述一个或多个处理器还被配置为识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且其中，所述一个或多个处理器被配置为相对于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，执行机器学习。

示例13A.根据示例12A所述的装置，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例14A.根据示例12A和13A的任意组合所述的装置，其中，所述一个或多个处理器被配置为相对于每个关联执行机器学习，以生成表示网络装置的存储器预测子模型，该子模型响应于网络装置的配置参数，预测网络装置执行的每个路由守护程序的内存使用以及网络装置的PFE中的内存使用。

示例15A.根据示例12A-14A的任意组合所述的装置，其中，所述特征使用数据包括用于多个路由协议中的每一个的多个路由中的一个或多个，其中，所述资源利用数据包括所述多个路由协议中的每一个的路由学习持续时间，其中，所述一个或多个处理器被配置为识别多个路由协议中的每一个的路由数量和多个路由协议中的相应一个的路由学习持续时间之间的关联，并且其中，所述一个或多个处理器被配置为相对于每个关联执行机器学习，以生成表示装置的路由学习子模型，该路由学习子模型响应于网络装置的配置参数，预测集中于当前配置状态所需的持续时间。

示例16A.根据示例12A-15A的任意组合所述的装置，其中，所述特征使用数据包括多个对等体、多个组、多个路由实例、多个客户边缘(CE) 装置、多个CE接口、多个路由以及每个路由的类型中的一个或多个，其中，所述资源利用数据包括由所述网络装置执行的每个路由守护程序的处理器利用以及所述网络装置的分组转发引擎(PFE)中的处理器利用中的一个或多个，并且其中，所述一个或多个处理器被配置为相对于每个关联执行机器学习，以生成表示网络装置的处理器预测子模型，该处理器预测子模型响应于网络装置的配置参数，预测网络装置执行的每个路由守护程序的处理器使用以及网络装置的PFE中的处理器使用。

示例17A.根据示例11A-16A的任意组合所述的装置，其中，所述一个或多个处理器还被配置为：确定模拟配置文件的一个或多个非冗余对之间的相似程度；并且由所述一个或多个处理器响应于相似程度与多样性阈值的比较来选择模拟配置文件的子集，并且其中，所述一个或多个处理器被配置为基于模拟配置文件的子集生成配置对象，用于相对于在测试环境内操作的网络装置执行多个模拟迭代。

示例18A.根据示例11A-17A的任意组合所述的装置，其中，每个模拟配置文件包括用于相干地配置测试环境和网络装置的数据，使得网络装置与测试环境一致地操作，以支持一个或多个服务。

示例19A.根据示例18A所述的装置，其中，所述一个或多个服务包括第三层虚拟专用网络服务。

示例20A.根据示例11A-19A的任意组合所述的装置，其中，所述机器学习包括蒙特卡洛模拟型实验。

示例21A.一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境内的参数，以反映实际网络环境；基于配置对象在测试环境内进行所述多个模拟迭代中的每一个，以收集表示网络装置的操作状态的对应的多个模拟数据集；并且相对于多个模拟数据集中的每一个执行机器学习，以生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

示例1B.一种自动创建模型的方法，所述方法包括：由一个或多个处理器基于模拟配置文件生成配置对象的不同迭代，用于将网络装置配置为参与网络装置的测试环境内的多个模拟；由所述一个或多个处理器基于所述配置对象的不同迭代，迭代地与网络装置接口，以将所述网络装置配置为参与模拟；由一个或多个处理器在测试环境内迭代地进行多个模拟的同时，与网络装置接口，以在多个模拟中的每一个期间收集表示装置的操作状态的多个模拟数据集；并且由所述一个或多个处理器基于所述模拟数据集生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

示例2B.根据示例1B所述的方法，其中，所述模拟配置文件包括定义在生成配置对象的不同迭代时要使用的参数值的参数文件、定义配置对象的不同迭代的配置文件以及定义在配置对象的不同迭代之间相同的全局参数的全局文件，并且其中，生成配置对象包括：处理参数文件，以获得不同的参数值；处理全局文件，以获得全局参数的值；并且根据配置文件并使用不同的参数值和全局参数值来指定配置对象。

示例3B.根据示例2B所述的方法，其中，所述参数文件使用最大值、最小值和范围中的一个或多个来定义不同的参数值，并且其中，处理参数文件，包括随机选择由最大值或最小值限制的或者在该范围内的不同值。

示例4B.根据示例1B-3B的任意组合所述的方法，还包括：基于网络装置的配置对象的不同迭代，生成配置对象的相应迭代，用于配置测试环境，以当使用网络装置的配置对象的不同迭代中的每一个进行配置时，适应网络装置的操作；并且基于配置对象的相应迭代，迭代地与测试环境接口，以自动配置测试环境来进行模拟。

示例5B.根据示例1B-4B的任意组合所述的方法，其中，所述多个模拟数据集中的每一个包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述方法还包括识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且其中，生成模型包括基于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，生成模型。

示例6B.根据示例5B所述的方法，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例7B.根据示例1B-6B的任意组合所述的方法，其中，所述配置对象的不同迭代在网络装置的第二操作状态上偏向网络装置的第一操作状态。

示例8B.根据示例1B-7B的任意组合所述的方法，其中，生成配置对象的不同迭代包括：相对于配置对象的一个或多个不同迭代，执行聚类分析，以在配置对象的一个或多个不同迭代的偏差分布的密集区域中，将配置对象的一个或多个不同迭代分组；选择每个组中配置对象的子集，来表示该组；以及选择与对配置对象的不同迭代的每个组的配置对象的选定子集对应的配置对象的不同迭代中的每一个。

示例9B.根据示例8B所述的方法，其中，执行聚类分析包括相对于配置对象的一个或多个不同迭代执行k均值聚类分析，以在配置对象的一个或多个不同迭代的偏差分布的密集区域中，将配置对象的一个或多个不同迭代分组。

示例10B.一种被配置为自动创建模型的装置，所述装置包括：存储器，其被配置为存储模拟配置文件；以及一个或多个处理器，其被配置为：基于模拟配置文件生成配置对象的不同迭代，用于将网络装置配置为参与网络装置的测试环境内的多个模拟；基于所述配置对象的不同迭代，迭代地与网络装置接口，以将所述网络装置配置为参与所述模拟；在测试环境内迭代地进行多个模拟的同时，与网络装置接口，以在多个模拟中的每一个期间收集表示装置的操作状态的多个模拟数据集；并且基于所述模拟数据集生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

示例11B.根据示例10B所述的装置，其中，所述模拟配置文件包括定义在生成配置对象的不同迭代时要使用的参数值的参数文件、定义配置对象的不同迭代的配置文件以及定义在配置对象的不同迭代之间相同的全局参数的全局文件，并且其中，所述一个或多个处理器被配置为：处理参数文件，以获得不同的参数值；处理全局文件，以获得全局参数的值；并且根据配置文件并使用不同的参数值和全局参数值来指定配置对象。

示例12B.根据示例11B所述的装置，其中，所述参数文件使用最大值、最小值和范围中的一个或多个来定义不同的参数值，并且其中，所述一个或多个处理器被配置为随机选择由最大值或最小值限制的或者在该范围内的不同值。

示例13B.根据示例10B-12B的任意组合所述的装置，其中，所述一个或多个处理器还被配置为：基于网络装置的配置对象的不同迭代，生成配置对象的相应迭代，用于配置测试环境，以当使用网络装置的配置对象的不同迭代中的每一个进行配置时，适应网络装置的操作；并且基于配置对象的相应迭代，迭代地与测试环境接口，以自动配置测试环境来进行模拟。

示例14B.根据示例10B-13B的任意组合所述的装置，其中，所述多个模拟数据集中的每一个包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述一个或多个处理器还被配置为识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且其中，所述一个或多个处理器被配置为基于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，生成模型。

示例15B.根据示例14B所述的装置，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例16B.根据示例10B-15B的任意组合所述的装置，其中，所述配置对象的不同迭代在网络装置的第二操作状态上偏向网络装置的第一操作状态。

示例17B.根据示例10B-16B的任意组合所述的装置，其中，所述一个或多个处理器被配置为：相对于配置对象的一个或多个不同迭代，执行聚类分析，以在配置对象的一个或多个不同迭代的偏差分布的密集区域中，将配置对象的一个或多个不同迭代分组；选择每个组中配置对象的子集，来表示该组；以及选择与对配置对象的不同迭代的每个组的配置对象的选定子集对应的配置对象的不同迭代中的每一个。

示例18B.根据示例17B所述的装置，其中，所述一个或多个处理器被配置为相对于配置对象的一个或多个不同迭代执行k均值聚类分析，以在配置对象的一个或多个不同迭代的偏差分布的密集区域中，将配置对象的一个或多个不同迭代分组。

示例19B.一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：基于模拟配置文件生成配置对象的不同迭代，用于将网络装置配置为参与网络装置的测试环境内的多个模拟；基于所述配置对象的不同迭代，迭代地与网络装置接口，以将所述网络装置配置为参与模拟；在测试环境内迭代地进行多个模拟的同时，与网络装置接口，以在多个模拟中的每一个期间收集表示装置的操作状态的多个模拟数据集；并且基于所述模拟数据集生成表示网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

示例20B.根据示例19B的非暂时性计算机可读存储介质，其中，所述模拟配置文件包括定义在生成配置对象的不同迭代时要使用的参数值的参数文件、定义配置对象的不同迭代的配置文件以及定义在配置对象的不同迭代之间相同的全局参数的全局文件，并且其中，当执行这些指令时，促使所述一个或多个处理器：处理参数文件，以获得不同的参数值；处理全局文件，以获得全局参数的值；并且根据配置文件并使用不同的参数值和全局参数值来指定配置对象。

示例1C.一种生成装置模型的方法，包括：由一个或多个处理器获得多个模拟配置文件，用于在测试环境内对网络装置进行多个模拟；由所述一个或多个处理器基于所述多个模拟配置文件，相对于测试环境内的网络装置进行所述多个模拟中的每一个，以收集指示网络装置相对于多个模拟中的每一个的操作状态的对应的多个模拟数据集；由所述一个或多个处理器确定所述多个模拟数据集的一个或多个非冗余对之间的相似程度；由所述一个或多个处理器响应于相似程度与多样性阈值的比较，选择所述多个模拟数据集的子集；并且由所述一个或多个处理器基于所述多个模拟数据集的选定子集，生成表示所述网络装置的模型，所述模型响应于网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

示例2C.根据示例1C所述的方法，其中，每个模拟配置文件包括用于相干地配置测试环境和网络装置的数据，使得所述装置与测试环境一致地操作，以支持一个或多个服务。

示例3C.根据示例2C所述的方法，其中，所述一个或多个服务包括第三层虚拟专用网络服务。

示例4C.根据示例1C-3C的任意组合所述的方法，其中，确定多个模拟数据集的一个或多个非冗余对之间的相似程度包括：生成多个模拟数据集的第一个的随机样本；生成所述多个模拟数据集中的第二个的随机样本；生成逻辑回归模型，以基于所述多个模拟数据集中的第二个的随机样本，预测多个模拟数据集中的第一个的随机样本；并且基于所述多个模拟数据集中的第一个的预测随机样本和所述多个模拟数据集中的第一个的随机样本的比较，确定所述多个模拟数据集中的第一个和所述多个模拟数据集中的第二个之间的相似程度。

示例5C.根据示例1C-4C的任意组合所述的方法，其中，所述多个模拟数据集中的每一个包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述方法还包括识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且其中，生成模型包括基于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，生成模型。

示例6C.根据示例5C所述的方法，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例7C.根据示例1C-6C的任意组合所述的方法，还包括处理多个模拟配置文件，以生成配置对象的不同迭代，用于将网络装置配置为参与测试环境内的多个模拟，以及相应配置数据，用于将测试环境配置为执行多个模拟。

示例8C.根据示例1C-7C的任意组合所述的方法，其中，与网络装置接口，以收集多个模拟数据集，包括与网络装置接口，以自动发出导致收集多个模拟数据集的命令，并且其中，所述方法还包括：与网络装置接口，以收集定义使用提交命令提交给网络装置的配置变化的系统日志；并且使用在系统日志中指定每个提交命令的时间来处理多个模拟数据集，以序列化多个模拟数据集，使得序列化的多个模拟数据集仅包括在每个提交命令记录到系统日志之时、之后或者之时和之后发生的多个模拟数据集的部分。

示例9C.根据示例1C-8C的任意组合所述的方法，还包括：获得根据语法指定的数据处理规则，并定义用于处理多个模拟数据集的规则；并且基于所述数据处理规则，处理所述多个模拟数据集，以生成适配的多个模拟数据集。

示例10C.一种被配置为生成网络装置的模型的装置，包括：存储器，其被配置为存储多个模拟配置文件，用于在测试环境内对网络装置进行多个模拟；以及一个或多个处理器，其被配置为基于所述多个模拟配置文件，相对于测试环境内的网络装置进行所述多个模拟中的每一个，以收集指示网络装置相对于多个模拟中的每一个的操作状态的对应的多个模拟数据集；确定所述多个模拟数据集的一个或多个非冗余对之间的相似程度；响应于相似程度与多样性阈值的比较，选择所述多个模拟数据集的子集；并且基于所述多个模拟数据集的选定子集，生成表示所述网络装置的模型，所述模型响应于网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

示例11C.根据示例10C所述的装置，其中，每个模拟配置文件包括用于相干地配置测试环境和网络装置的数据，使得所述装置与测试环境一致地操作，以支持一个或多个服务。

示例12C.根据示例11C所述的装置，其中，一个或多个服务包括第三层虚拟专用网络服务。

示例13C.根据示例10C-12C所述的装置，其中，所述一个或多个处理器被配置为：生成多个模拟数据集的第一个的随机样本；生成所述多个模拟数据集中的第二个的随机样本；生成逻辑回归模型，以基于所述多个模拟数据集中的第二个的随机样本，预测多个模拟数据集中的第一个的随机样本；并且基于所述多个模拟数据集中的第一个的预测随机样本和所述多个模拟数据集中的第一个的随机样本的比较，确定所述多个模拟数据集中的第一个和所述多个模拟数据集中的第二个之间的相似程度。

示例14C.根据示例10C-13C的任意组合所述的装置，其中，所述多个模拟数据集中的每一个包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述一个或多个处理器还被配置为识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且其中，所述一个或多个处理器被配置为基于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，生成模型。

示例15C.根据示例14C所述的装置，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例16C.根据示例10C-15C的任意组合所述的装置，其中，所述一个或多个处理器还被配置为处理多个模拟配置文件，以生成配置对象的不同迭代，用于将网络装置配置为参与测试环境内的多个模拟，以及相应配置数据，用于将测试环境配置为执行多个模拟。

示例17C.根据示例10C-16C的任意组合所述的方法，其中，所述一个或多个处理器被配置为与网络装置接合，以自动发出导致收集多个模拟数据集的命令，并且其中，所述一个或多个处理器还被配置为：与网络装置接口，以收集定义使用提交命令提交给网络装置的配置变化的系统日志；并且使用在系统日志中指定每个提交命令的时间来处理多个模拟数据集，以序列化多个模拟数据集，使得序列化的多个模拟数据集仅包括在每个提交命令记录到系统日志之时、之后或之时和之后发生的多个模拟数据集的部分。

示例18C.根据示例10C-17C的任意组合所述的装置，还包括：获得根据语法指定的数据处理规则，并定义用于处理多个模拟数据集的规则；并且基于所述数据处理规则，处理所述多个模拟数据集，以生成适配的多个模拟数据集。

示例19C.一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：获得多个模拟配置文件，用于在测试环境内对网络装置进行多个模拟；基于所述多个模拟配置文件，相对于测试环境内的网络装置进行所述多个模拟中的每一个，以收集指示网络装置相对于多个模拟中的每一个的操作状态的对应的多个模拟数据集；确定所述多个模拟数据集的一个或多个非冗余对之间的相似程度；响应于相似程度与多样性阈值的比较，选择所述多个模拟数据集的子集；并且基于所述多个模拟数据集的选定子集，生成表示所述网络装置的模型，所述模型响应于网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测所述网络装置的操作状态。

示例20C.根据示例19C的非暂时性计算机可读存储介质，其中，当执行这些指令时，促使一个或多个处理器：生成多个模拟数据集的第一个的随机样本；生成所述多个模拟数据集中的第二个的随机样本；生成逻辑回归模型，以基于所述多个模拟数据集中的第二个的随机样本，预测多个模拟数据集中的第一个的随机样本；并且基于所述多个模拟数据集中的第一个的预测随机样本和所述多个模拟数据集中的第一个的随机样本的比较，确定所述多个模拟数据集中的第一个和所述多个模拟数据集中的第二个之间的相似程度。

示例1D.一种在预配置网络环境内自动创建模型的方法，该方法包括：由一个或多个处理器与预配置网络环境内的网络装置接口，以迭代地适配预配置网络环境内的网络装置的一个或多个预定义配置对象；由所述一个或多个处理器对所述网络装置的一个或多个预定义配置对象的适配的每次迭代进行模拟，以收集表示所述网络装置在所述预配置网络环境内的操作状态的模拟数据集；并且由所述一个或多个处理器基于所述操作数据生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

示例2D.根据示例1D所述的方法，还包括：与预配置网络环境接口，以获得预配置网络环境的配置数据；并且基于预配置网络环境的配置数据，识别能够适配的网络装置的一个或多个预定义配置对象，其中，与网络装置接口，包括与预配置网络环境内的网络接口，以迭代地适配预配置网络环境内的网络装置的所识别的一个或多个预定义配置对象。

示例3D.根据示例1D和2D的任意组合所述的方法，其中，与网络装置接口，包括与网络装置接口，以迭代地激活或停用网络装置的一个或多个预定义配置对象。

示例4D.根据示例1D-3D的任意组合所述的方法，还包括：与网络装置接口，以获得配置对象；向配置对象分配随机值，以获得更新的配置对象；相对于更新的配置对象执行聚类分析，以获得更新的配置对象的组；并且确定适配的配置对象，作为每组更新的配置对象的平均值，其中，进行模拟，包括与网络装置接口，以加载适配的配置对象，并启动模拟。

示例5D.根据示例4D所述的方法，还包括在每次迭代之前，将掩模应用于适配的配置对象，以激活或停用每个适配的配置对象。

示例6D.根据示例1D-5D的任意组合所述的方法，其中，生成模型包括对每个模拟数据集执行机器学习，以生成模型。

示例7D.根据示例1D-6D的任意组合所述的方法，其中，每个模拟数据集包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述方法还包括识别每个模拟数据集的特征使用数据和每个模拟数据集的相应资源利用数据之间的关联，并且其中，执行机器学习包括相对于每个模拟数据集的特征使用数据和每个模拟数据集的相应资源利用数据之间的关联执行机器学习。

示例8D.根据示例7D所述的方法，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例9D.一种被配置为在预配置网络环境内自动创建模型的装置，所述装置包括：一个或多个处理器，其被配置为：与预配置网络环境内的网络装置接口，以迭代地适配预配置网络环境内的网络装置的一个或多个预定义配置对象；对所述网络装置的一个或多个预定义配置对象的适配的每次迭代进行模拟，以收集表示所述网络装置在所述预配置网络环境内的操作状态的模拟数据集；并且基于所述操作数据生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测网络装置的操作状态；以及存储器，其被配置为存储模型。

示例10D.根据示例9D所述的装置，其中，所述一个或多个处理器还被配置为：与预配置网络环境接口，以获得预配置网络环境的配置数据；并且基于预配置网络环境的配置数据，识别能够适配的网络装置的一个或多个预定义配置对象，其中，所述一个或多个处理器被配置为与预配置网络环境内的网络接口，以迭代地适配预配置网络环境内的网络装置的所识别的一个或多个预定义配置对象。

示例11D.根据示例9D和10D的任意组合所述的装置，其中，所述一个或多个处理器被配置为与网络装置接口，以迭代地激活或停用网络装置的一个或多个预定义配置对象。

示例12D.根据示例9D-11D的任意组合所述的装置，其中，所述一个或多个处理器还被配置为：与网络装置接口，以获得配置对象；向配置对象分配随机值，以获得更新的配置对象；相对于更新的配置对象执行聚类分析，以获得更新的配置对象的组；并且确定适配的配置对象，作为每组更新的配置对象的平均值，其中，所述一个或多个处理器被配置为与网络装置接口，以加载适配的配置对象，并启动模拟。

示例13D.根据示例12D所述的装置，其中，所述一个或多个处理器还被配置为在每次迭代之前，将掩模应用于适配的配置对象，以激活或停用每个适配的配置对象。

示例14D.根据示例9D-13D的任意组合所述的装置，其中，所述一个或多个处理器被配置为对每个模拟数据集执行机器学习，以生成模型。

示例15D.根据示例9D-14D的任意组合所述的装置，其中，每个模拟数据集包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述一个或多个处理器还被配置为识别每个模拟数据集的特征使用数据和每个模拟数据集的相应资源利用数据之间的关联，并且其中，一个或多个处理器被配置为相对于每个模拟数据集的特征使用数据和每个模拟数据集的相应资源利用数据之间的关联执行机器学习。

示例16D.根据示例15D所述的装置，其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、CE接口数量、路由数量和每个路由的类型中的一个或多个，并且其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

示例17D.一种非暂时性计算机可读存储介质，在其上存储有指令，当执行这些指令时，促使一个或多个处理器：与预配置网络环境内的网络装置接口，以迭代地适配预配置网络环境内的网络装置的一个或多个预定义配置对象；对所述网络装置的一个或多个预定义配置对象的适配的每次迭代进行模拟，以收集表示所述网络装置在所述预配置网络环境内的操作状态的模拟数据集；并且基于所述操作数据生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置网络装置时，预测网络装置的操作状态。

示例18D.根据示例17D所述的非暂时性计算机可读存储介质，进一步存储指令，当执行这些指令时，促使一个或多个处理器：与预配置网络环境接口，以获得预配置网络环境的配置数据；并且基于预配置网络环境的配置数据，识别能够适配的网络装置的一个或多个预定义配置对象，其中，当执行这些指令时，促使一个或多个处理器与预配置网络环境内的网络接口，以迭代地适配预配置网络环境内的网络装置的所识别的一个或多个预定义配置对象。

示例19D.根据示例18D所述的非暂时性计算机可读存储介质还存储指令，当执行这些指令时，促使一个或多个处理器在每次迭代之前，将掩模应用于适配的配置对象，以激活或停用每个适配的配置对象。

示例20D.根据示例17D-19D所述的任意组合的非暂时性计算机可读存储介质，其中，每个模拟数据集包括指示网络装置相对于测试环境的操作状态的特征使用数据以及指示网络装置内的资源利用的资源利用数据，其中，所述非暂时性计算机可读介质还存储指令，当执行这些指令时，促使一个或多个处理器识别每个模拟数据集的特征使用数据和每个模拟数据集的相应资源利用数据之间的关联，并且其中，当执行这些指令时，促使一个或多个处理器相对于每个模拟数据集的特征使用数据和每个模拟数据集的相应资源利用数据之间的关联执行机器学习。

示例1E.一种用指令编码的计算机可读存储介质，用于促使一个或多个可编程处理器执行根据示例1A-10A、1B-9B、1C-9C或1D-8D的任意组合所述的方法。

此外，在上述任何示例中阐述的任何特定特征可以组合成所述技术的有益示例。即，任何特定特征通常适用于本发明的所有示例。已经描述了本发明的各种示例。

在这方面，本公开中描述的技术可以至少部分地以硬件、软件、固件或其任意组合来实现。例如，所述技术的各个方面可以在一个或多个处理器内实现，包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等效集成或离散逻辑电路以及这些部件的任意组合。术语“处理器”或“处理电路”通常可以指任何前述逻辑电路，单独或与其他逻辑电路或任何其他等效电路组合。包括硬件的控制单元也可以执行本公开的一种或多种技术。

这种硬件、软件和固件可以在同一装置内或者在单独的装置内实现，以支持本公开中描述的各种操作和功能。此外，所描述的单元、模块或组件中的任何一个可以一起或单独实现为离散但可互操作的逻辑装置。将不同的特征描述为模块或单元是为了突出不同的功能方面，并不一定意味着这些模块或单元必须由单独的硬件或软件部件来实现。相反，与一个或多个模块或单元相关联的功能可以由单独的硬件或软件部件来执行，或者集成在公共或单独的硬件或软件部件内。

本公开中描述的技术也可以在包含指令的计算机可读介质中体现或编码，例如，非暂时性计算机可读介质或计算机可读存储介质。在计算机可读介质中嵌入或编码的指令可以促使可编程处理器或其他处理器执行该方法，例如，当执行指令时。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器 (EEPROM)、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁介质、光学介质或其他计算机可读存储介质。术语“计算机可读存储介质”指的是物理存储介质，而不是信号或载波，尽管术语“计算机可读介质”除了物理存储介质之外，还可以包括诸如信号等瞬态介质。

Claims

1.一种自动创建模型的方法，所述方法包括：

由一个或多个处理器基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配测试环境内的参数，以反映实际网络环境；并且

由所述一个或多个处理器基于所述配置对象在所述测试环境内进行所述多个模拟迭代中的每一个，以收集表示所述网络装置的操作状态的对应的多个模拟数据集；

由所述一个或多个处理器相对于所述多个模拟数据集中的每一个执行机器学习，以生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置所述网络装置时，预测所述网络装置的操作状态。

2.根据权利要求1所述的方法，

其中，所述多个模拟数据集中的每一个包括指示所述网络装置相对于所述测试环境的操作状态的特征使用数据以及指示所述网络装置内的资源利用的资源利用数据，

其中，所述方法还包括识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且

其中，执行机器学习包括相对于多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，执行机器学习。

3.根据权利要求2所述的方法，

其中，所述特征使用数据包括对等体数量、组数量、路由实例数量、客户边缘(CE)装置数量、客户边缘接口数量、路由数量和每个路由的类型中的一个或多个，并且

其中，所述资源利用数据包括网络装置在每次模拟期间执行的每个路由守护程序的内存使用和在每次模拟期间网络装置的分组转发引擎中的内存使用中的一个或多个。

4.根据权利要求2和3的任意组合所述的方法，其中，执行机器学习包括相对于每个关联执行机器学习，以生成表示网络装置的存储器预测子模型，该子模型响应于所述网络装置的配置参数，预测所述网络装置执行的每个路由守护程序的内存使用以及所述网络装置的PFE中的内存使用。

5.根据权利要求2和3的任意组合所述的方法，

其中，所述特征使用数据包括用于多个路由协议中的每一个的多个路由中的一个或多个，

其中，所述资源利用数据包括所述多个路由协议中的每一个的路由学习持续时间，

其中，识别关联包括识别所述多个路由协议中的每一个的路由数量和所述多个路由协议中的相应一个的路由学习持续时间之间的关联，并且

其中，执行机器学习包括相对于每个关联执行所述机器学习，以生成表示所述装置的路由学习子模型，该路由学习子模型响应于所述网络装置的配置参数，预测收敛于当前配置状态所需的持续时间。

6.根据权利要求2和3的任意组合所述的方法，

其中，所述特征使用数据包括多个对等体、多个组、多个路由实例、多个客户边缘(CE)装置、多个客户边缘接口、多个路由以及每个路由的类型中的一个或多个，

其中，所述资源利用数据包括由所述网络装置执行的每个路由守护程序的处理器利用以及所述网络装置的分组转发引擎(PFE)中的处理器利用中的一个或多个，并且

其中，执行机器学习包括相对于每个关联执行所述机器学习，以生成表示所述网络装置的处理器预测子模型，该处理器预测子模型响应于所述网络装置的配置参数，预测所述网络装置执行的每个路由守护程序的处理器使用以及所述网络装置的PFE中的处理器使用。

7.根据权利要求1-3的任意组合所述的方法，还包括：

确定所述模拟配置文件的一个或多个非冗余对之间的相似程度；以及

由所述一个或多个处理器响应于相似程度与多样性阈值的比较来选择所述模拟配置文件的子集，

其中，基于所述模拟配置文件生成配置对象，包括：基于所述模拟配置文件的子集生成配置对象，用于相对于在所述测试环境内操作的所述网络装置执行所述多个模拟迭代。

8.根据权利要求1-3的任意组合所述的方法，其中，每个模拟配置文件包括用于相干地配置所述测试环境和所述网络装置的数据，使得所述网络装置与所述测试环境一致地操作，以支持一个或多个服务。

9.根据权利要求8所述的方法，其中，所述一个或多个服务包括第三层虚拟专用网络服务。

10.根据权利要求1-3的任意组合所述的方法，其中，所述机器学习包括蒙特卡洛模拟型实验。

11.一种被配置为自动创建模型的装置，所述装置包括：

一个或多个处理器，其被配置为：

基于模拟配置文件生成配置对象，用于相对于在测试环境内运行的网络装置执行多个模拟迭代，每个模拟迭代被配置为随机分配所述测试环境内的参数，以反映实际网络环境；

基于所述配置对象在所述测试环境内进行所述多个模拟迭代中的每一个，以收集表示所述网络装置的操作状态的对应的多个模拟数据集；并且

相对于多个模拟数据集中的每一个执行机器学习，以生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用网络装置的配置参数配置所述网络装置时，预测网络装置的操作状态；以及

存储器，其被配置为存储所述模型。

12.根据权利要求11所述的装置，

其中，所述一个或多个处理器还被配置为识别所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，并且

其中，所述一个或多个处理器被配置为相对于所述多个模拟数据集中的每一个的特征使用数据和多个模拟数据集中的每一个的相应资源利用数据之间的关联，执行机器学习。

13.根据权利要求12所述的装置，

其中，所述资源利用数据包括所述网络装置在每次模拟期间执行的每个路由守护程序的内存使用和所述网络装置在每次模拟期间的PFE中的内存使用中的一个或多个。

14.根据权利要求12和13的任意组合所述的装置，其中，所述一个或多个处理器被配置为相对于每个关联执行机器学习，以生成表示所述网络装置的存储器预测子模型，该子模型响应于所述网络装置的配置参数，预测所述网络装置执行的每个路由守护程序的内存使用以及所述网络装置的PFE中的内存使用。

15.根据权利要求12和13的任意组合所述的装置，

其中，所述一个或多个处理器被配置为识别所述多个路由协议中的每一个的路由数量和所述多个路由协议中的相应一个的路由学习持续时间之间的关联，并且

其中，所述一个或多个处理器被配置为相对于每个关联执行所述机器学习，以生成表示所述装置的路由学习子模型，该路由学习子模型响应于所述网络装置的配置参数，预测收敛于当前配置状态所需的持续时间。

16.根据权利要求12和13的任意组合所述的装置，

其中，所述一个或多个处理器被配置为相对于每个关联执行所述机器学习，以生成表示所述网络装置的处理器预测子模型，该处理器预测子模型响应于所述网络装置的配置参数，预测所述网络装置执行的每个路由守护程序的处理器使用以及所述网络装置的PFE中的处理器使用。

17.根据权利要求11-13的任意组合所述的装置，

其中，所述一个或多个处理器还被配置为：

确定模拟配置文件的一个或多个非冗余对之间的相似程度；并且

由所述一个或多个处理器响应于相似程度与多样性阈值的比较来选择所述模拟配置文件的子集，并且

其中，所述一个或多个处理器被配置为基于所述模拟配置文件的子集生成所述配置对象，用于相对于在所述测试环境内操作的所述网络装置执行所述多个模拟迭代。

18.根据权利要求11-13的任意组合所述的装置，其中，每个模拟配置文件包括用于相干地配置所述测试环境和所述网络装置的数据，使得所述网络装置与所述测试环境一致地操作，以支持一个或多个服务。

19.根据权利要求18所述的装置，其中，所述一个或多个服务包括第三层虚拟专用网络服务。

20.根据权利要求11-13中任一项所述的装置，其中，所述机器学习包括蒙特卡洛模拟型实验。

21.一种非暂时性计算机可读存储介质，其上存储有指令，当执行这些指令时，促使一个或多个处理器：

相对于多个模拟数据集中的每一个执行机器学习，以生成表示所述网络装置的模型，所述模型响应于所述网络装置的配置参数，在用所述网络装置的配置参数配置所述网络装置时，预测所述网络装置的操作状态。