CN115484157A - 一种基于可编程交换机的sketch通用配置方法 - Google Patents

Abstract

本发明公开一种基于可编程交换机的sketch通用配置方法，该方法首先通过定义一系列硬件原语帮助用户选择sketch可配置参数；然后通过定义新的表达式明确表示sketch资源和性能之间的权衡；通过后验统计和剪枝算法自动求解若干优选配置方案；最后使用神经网络预测实际流量分布下的网络测量精度，确定最终的最优配置方案。本发明使得用户能在交换机级别的粒度对使用的硬件资源进行预算，配置用户指定性能参数，并提供可信的sketch精度分析，能够在可编程交换机上自动化高效地配置sketch。

Description

一种基于可编程交换机的sketch通用配置方法

技术领域

本发明涉及网络测量领域，具体为sketch的参数配置，特别涉及一种基于可编程交换机的sketch通用配置方法。

背景技术

网络测量为入侵检测、负载均衡和流量工程等现代网络管理任务提供了不可或缺的信息。新兴的可编程交换机允许用户灵活定制数据平面中的数据包处理行为，以实现更丰富、实时的网络测量任务。基于网络的可编程性，可以在交换机中部署sketch用于网络测量。sketch是用于网络测量的一种数据结构，提供可配置的资源参数，能够得到对网络细粒度的测量结果。

然而，如何合理配置资源参数以满足硬件资源占用和测量精度之间的权衡，成为了sketch实际部署中的难点。当用户在特定场景下，在可编程交换机上实施sketch时，现有的参数配置指导方案存下如下三个问题：

1.Sketch的参数配置缺乏可靠指导。具体地说，现有的关于sketch的参数配置的理论指导没有考虑硬件资源和性能之间的权衡情况。

2.资源预算问题。具体地说，因为可编程交换机上的硬件资源是稀缺的，所以在可编程交换机上配置sketch，希望可以在满足用户需求的同时最小化资源消耗。

3.准确性问题。具体地说，现有的关于sketch的参数配置的理论指导，只给出了一个较为宽松的误差范围，导致用户在实际部署sketch时，无法了解更精确的性能情况。

发明内容

针对现有技术的不足，本发明提出一种基于可编程交换机的sketch通用配置方法，该方法能够使用户找到满足资源预算和性能目标下最优的参数配置。具体技术方案如下：

一种基于可编程交换机的sketch通用配置方法，该方法包括如下三个步骤：

步骤一：资源参数识别，即确定需要配置的资源参数；具体为：

在可编程交换机硬件代码中通过原语识别的方法，识别出sketch使用的所有和硬件资源相关的原语；在用户需要配置的资源参数的位置插桩，生成带桩的可编程交换机硬件程序；

步骤二：推荐优选配置方案集，即根据用户的资源参数和性能目标推荐若干sketch的优选配置方案；具体为：

在所述带桩的可编程交换机硬件程序的桩位填补上用户根据需求给出sketch需要达到的性能目标以及可供sketch使用的资源预算的值，形成可编译的可编程交换机硬件程序；通过贝叶斯优化器不断优化资源参数的参数值，生成满足资源预算和性能目标的候选方案集；然后，通过剪枝算法，得到资源预算和性能目标不同权衡关系下的优选配置方案集；

步骤三：测量精度预测，即预测每个优选配置方案在不同的流量分布下的测量精度；具体为：

将每个优选配置方案对应的可编译的可编程交换机硬件程序运行在可编程交换机上，测试每个优选配置方案在不同流量分布下的精度，得到流量分布和精度结果的对应关系；将所有的流量分布和精度结果的对应关系作为训练数据集，训练以流量分布为输入，精度结果为输出的神经网络；将每个优选配置方案在用户部署sketch的特定场景下的流量分布输入训练后的神经网络中，神经网络输出每个优选配置方案对应的精度结果；选择精度最大的配置方案作为最终的最优配置方案。

进一步地，步骤一的原语包括Register、Stage、Hash、Table四种类型。

进一步地，Register包括reg_count、reg_init、reg_action；

Stage包括：nested_if；

Hash包括：hash_init；

Table包括：tbl_size；

其中，reg_count、tbl_size对应的原语识别方案为：识别原语中的资源参数；

其余的原语对应的原语识别方案为：将原语的数量作为资源参数。

进一步地，资源预算所需要考虑的主要资源类型，包括SRAM、SALU、Hash调用、使用的流水线Stage数量。用户根据这些资源类型给出具体的预算大小。

进一步地，所述步骤二中，所述优选配置方案定义为一组无法相互主导的向量所对应的配置；向量1主导向量2的定义为：向量1中的每一个元素均优于向量2。

进一步地，所述步骤二中，通过剪枝算法，得到资源预算和性能目标不同权衡关系下的优选配置方案集，具体包括如下步骤：

(1)寻找评分函数f最大的向量作为向量v_i，并存储在优选配置方案集中；

(2)移除所有v_i主导的候选方案；

(3)循环直到所有的候选方案都被移除或存储在优选配置方案集中。

进一步地，为了简化神经网络的输入，提取流量分布的统计特征，将统计特征作为神经网络的输入。

本发明的有益效果如下：

(1)用户在给定资源预算和目标性能的情况下，能够通过本发明的方法，获得最优配置推荐，实现在满足用户需求的同时最小化资源消耗。

(2)本发明的方法利用已经训练好的以流量分布为输入，测量精度为输出的神经网络，用户可以在可编程交换机上部署sketch之前，了解在实际流量分布下部署sketch后的精度。

(3)本发明的方法通过贝叶斯优化器和剪枝算法，使用户能够更直观地了解资源和性能之间的权衡关系。

附图说明

图1为本发明方法的整体设计逻辑；

图2为步骤二的推荐优选配置方案集的流程图。

图3为通过剪枝算法得到资源预算和性能目标不同权衡关系下的优选配置方案集的流程图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的基于可编程交换机的sketch通用配置方法，包括如下三个步骤：

步骤一：资源参数识别，即确定需要配置的参数对象。

在可编程交换机硬件代码中通过原语识别的方法，识别出sketch使用的所有和硬件资源相关的原语，让用户在这些原语中选择需要配置的即资源参数。然后，在用户需要配置的资源参数的位置插桩，生成带桩的可编程交换机硬件程序。

该实施例中，将与sketch相关的所有硬件资源分为四种主要类型：Register、Stage、Hash、Table。然后，该方法在用户提供的可编程交换机硬件代码中对这四种硬件资源的原语进行原语识别，定位出可编程交换机硬件代码中与sketch有关的所有参数对象。用户根据具体的使用场景和个人偏好在这些定位出的资源参数中选择想要配置的参数对象，即资源参数。该方法用插桩标记资源参数，生成带桩的可编程交换机硬件代码。具体如表1所示。

表1插桩示例

四种类型的硬件资源分别为Register、Stage、Hash、Table。其中，Register包括：reg_count、reg_init、reg_action；Stage包括：nested_if、resource_sum；Hash包括：hash_call、hash_init；Table包括：tbl_size。

原语识别中的原语指的是对应于上述四种硬件资源的可编程交换机硬件代码片段，用户能够在该方法定位的代表硬件资源的原语中，选中想要配置的资源参数，然后该方法就可以通过填补资源参数对应的参数值，调整sketch消耗的资源量。

由于可编程交换机硬件代码与特定资源的对应关系与sketch实现无关，本方法提供两种基于四类原语的资源参数识别方案：第一种，识别原语中的资源参数(1)；第二种，将原语的数量计算为资源参数(2)，如表2所示。

表2基于原语识别资源参数的两种方案

具体地说，各原语采用的资源参数识别方案为：reg_count、tbl_size对应的第一种原语识别方案；其余的原语对应的第二种原语识别方案，具体如表3所示。

表3原语与四种硬件资源的映射关系

步骤二：推荐优选配置方案集，即根据用户的资源参数和性能目标推荐若干sketch的优选配置方案，具体为：

如图2所示，用户根据需求给出sketch需要达到的性能目标以及可供sketch使用的资源预算。在带桩的可编程交换机硬件程序的桩位填补上用户给出的sketch需要达到的性能目标以及可供sketch使用的资源预算的值，形成可编译的可编程交换机硬件程序。然后，在可编程交换机上测试该程序，通过贝叶斯优化器不断优化资源参数的参数值，生成一组满足资源预算和性能目标的候选方案集。然后，通过剪枝算法，得到资源预算和性能目标不同权衡关系下的优选配置方案集。

资源预算所需要考虑的主要资源类型，包括SRAM、SALU、Hash调用、使用的阶段数量。这些资源类型能够进一步映射到更具体的资源，如Hash调用可以映射到Hash bit和Hash dist unit，使得用户能够更加贴近实际硬件资源的情况进行参数配置。相应地，各原语对应的资源类型为，reg_count(SRAM)、reg_init(SRAM)、reg_action(SALU)；nested_if(Stages，TCAM)；hash_init(Hash call)；tbl_size(SRAM)。

在该实施例中，在进行配置推荐时，首先，需要明确几个定义和定理，包括优选配置方案集、向量间的主导关系、评分函数，具体如下：

定义一：优选配置方案集是一组向量v_i的集合，即

SS＝[v₁，v₂，...，v_i，...，v_k]

其中，每个向量v_i是一组性能目标x_i的集合，即

v_i＝[x₁，x₂，...，x_i，...，x_n]

定义二：v₁主导v₂。两个有界向量v₁和v₂，

v₁＝[x₁，x₂，...，x_i，...，x_n]

v₂＝[y₁，y₂，...，y_i，...，y_n]

其中，对于

x_i≥y_i

定义三：评分函数f

f(x₁，x₂，...，x_i，...，x_n)＝α₁x₁+α₂x₂+…+α_ix_i+…+α_nx_n

其中，x_i为性能目标，α_i为性能目标x_i的权重。

定理一：优选配置方案集中任意两个向量v_i之间不存在主导关系。

定理二：M是一个包含任意单调评分函数f的集合，M→R，若

可以最大化评分函数f，则代表v_k在优选配置方案集中。

定理三：每一个向量v_k，至少存在一个单调的评分函数f，使得v_k可以最大化f。

该方法在可编程交换机硬件代码中的桩位填补上参数值，形成可编译的可编程交换机硬件程序。然后，在可编程交换机上测试该程序，通过贝叶斯优化器不断优化资源参数的参数值，生成一组满足资源预算和性能目标的候选方案集。如图3所示，具体流程如下：

(1)将sketch程序抽象为黑盒环境，该黑盒环境包括一个资源映射器和一个精度映射器。其中，资源映射器会输出所需的资源占用情况，精度映射器会输出sketch的测量精度。

(2)将配置参数输入黑盒环境，输出资源占用情况和测量精度，将这两个结果组合为向量v_k(即，候选方案)，表明该配置下sketch的综合性能。

(3)该方法生成一个反映用户偏好的评分函数f(x₁，x₂，...，x_i，...，x_n)，其中，涉及的所有性能指标x_i均归一化到[0，1]。

(4)贝叶斯优化器搜索f值较大的候选方案，过滤超过资源预算的配置。

为了充分解释上述步骤所涉及的内容，下面将进一步详细说明黑盒环境、精度映射器、资源映射器、贝叶斯优化、归一化、属性开发。

黑盒环境：该方法将可编程交换机硬件代码程序的执行环境抽象为一个黑盒，隐藏了环境的细节，然后将可编程交换机硬件代码程序解耦到精度映射器和资源映射器。其中，精度映射器生成测量结果，资源映射器生成资源的使用情况。

精度映射器：为了获得实际工作负载下的测量结果，用户可以在现实世界跟踪工作负载，例如：流量跟踪。精度映射器在可执行程序中生成测量结果。

资源映射器：对于简单的sketch，该方法使用Tofino交换机上的编译器，而不是直接在硬件上编译sketch，从而缩短编译时间。对于复杂的sketch，该方法使用开源的编译器RMT_mapper，将可编程交换机硬件代码程序映射到RMT硬件。

贝叶斯优化器：一方面，贝叶斯优化器通过指示搜索方向来加速候选方案的搜索。另一方面，黑盒环境的函数可以近似为函数d(p₁，...，p_n)的后验分布。搜索空间受配置参数的范围限制。函数d(p₁，...，p_n)描述了用户想要优化的函数。f是从一个高斯过程中得到的。选取ARD Matern 5/2核作为协方差函数：

用户根据自己的偏好为每个性能目标分配权重，构造单调评分函数f(x₁，x₂，...，x_i，...，x_n)。f允许用户指定偏好的精度指标。贝叶斯优化器在参数范围内的最大化f。优化器搜索最优资源参数(p₁，...，p_n)。黑盒环境给出了一组观测值，形式为

其中y_n～N(f(x_n)，v)。其中，v是引入到函数观测值中的噪声的方差。这一先验和这些数据引起后验功能。采集函数表示为

通过代理优化x_next＝argmax_xa(x)确定X中的哪个点应该被评估。对于超参数的完全贝叶斯处理(这里由θ单独总结)，需要边缘化超参数，并计算综合采集函数：

在先验高斯过程下，函数仅通过预测均值函数(x；{x_n，y_n}，θ)和预测方差函数σ²(x；{x_n，y_n}，θ)。在过程中，将最优值表示为

标准正态的累积分布函数表示为Φ(·)。预期改进(EI)是在当前最优的基础上最大化。它是高斯过程下的封闭形式：

a_EI(x；{x_n，y_n}，θ)＝σ(x；{x_n，y_n}，θ)(γ(x)Φ(γ(x))+N(γ(x)；0，1))

随着观测次数的增加，后验分布d会越来越接近黑匣子环境的函数。

归一化：为了减少各个性能指标范围的差异，得到更准确的评分函数f，应该对性能目标向量进行归一化，本发明采用的方法是对向量除各性能值的最大值，即

有些资源随参数的增加而单调增加。因此，可以通过使用参数的上界测试DUT来生成资源最大值。

定理利用。设置评分函数f的权重对用户来说是有难度的。根据定理1，最大化f的v_i一定在优选配置方案集中，因此不需要精确地设置每个性能目标的权重。此外，贝叶斯优化器有助于快速找到搜索候选方案的方向(即增大f)，这样可以免去搜索所有可能的候选方案，筛选出少量的向量作为候选方案。

然后，通过剪枝算法，得到资源预算和性能目标不同权衡关系下的优选配置方案集。剪枝算法的具体流程如下：

(1)寻找评分函数f最大的向量作为向量v_i，并存储在优选配置方案集中

(2)移除所有由v_i主导的候选方案，

(3)循环直到所有的候选方案都被移除或存储在优选配置方案集中。

举例来说，给定性能目标为[errors，memory]，权重均为1，则

f(x₁，x₂，...，x_i，...，x_n)＝error+memory

那么，整个流程如图3所示：其中，图3中的所有圆点代表的是贝叶斯优化器生成的所有候选方案集；其中，a，b，c为优选配置方案集。

(i)选定评分函数f最大的向量a。

(ii)a主导，可排除灰色部分的向量。

(iii)搜索找到距离向量a最近的向量b。当b占主导地位时，增加可排除的灰色部分。

(iv)找到下一个距离a向量最近的c向量。当向量c占主导地位时，又再次扩大了排除区域。最后，得到包含三个向量a，b，c的优选配置方案集。用户可以根据实际的使用场景权衡所需的性能目标，并从优选配置方案集中选择出最优配置。

步骤三：测量精度预测，即预测每个优选配置方案在不同的流量分布下的测量精度。具体为：

将每个优选配置方案对应的可编译的可编程交换机硬件程序运行在可编程交换机上，测试每个优选配置方案在不同流量分布下的精度，得到流量分布和精度结果的对应关系。将所有的流量分布和精度结果的对应关系作为训练数据集，训练以流量分布为输入，精度结果为输出的神经网络。最后，将每个优选配置方案在用户部署sketch的特定场景下的流量分布输入训练后的神经网络中，神经网络输出每个优选配置方案对应的精度结果；选择精度最大的配置方案作为最终的最优配置方案。

在该实施例中，首先，建立一个三设备测试平台作为DUT(Device-Under-Test，待测设备)。三设备由发送器、可编程交换机、接收器组成，以线性拓扑的形式连接在一起。将配置好的sketch部署在可编程交换机上。发送器提取网络流量并将数据包发送给接收器。在该测试平台上，测试优选配置方案的sketch在不同流量分布下的精度。将得到的流量分布和精度结果的对应关系作为数据集。

为了使得所有流量分布都能得到相应的性能结果，利用神经网络的泛化能力。由于，在给定sketch的配置参数并且同样的工作负载下，sketch的准确性是固定的。因此，可以通过回归任务来预测sketch的准确性。为了简化神经网络的输入，可以提取工作负载的统计特征，将统计特征作为输入。通常，统计信息包括Zipf分布中的偏度、频率的标准差、频率的均值和总频率。使用上一步从DUT捕获的数据集训练不同配置下的以流量分布为输入，性能为输出的神经网络，得到分析器。

最后，用户可以通过训练好的分析器，快速查询每种最优配置方案在不同流量分布下的精度，即不同网络情况下每种最优配置方案的性能，即可确定最优的配置方案。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于可编程交换机的sketch通用配置方法，其特征在于，该方法包括如下三个步骤：

步骤一：资源参数识别，即确定需要配置的资源参数；具体为：

在可编程交换机硬件代码中通过原语识别的方法，识别出sketch使用的所有和硬件资源相关的原语；在用户需要配置的资源参数的位置插桩，生成带桩的可编程交换机硬件程序；

步骤二：推荐优选配置方案集，即根据用户的资源参数和性能目标推荐若干sketch的优选配置方案；具体为：

在所述带桩的可编程交换机硬件程序的桩位填补上用户根据需求给出的sketch需要达到的性能目标以及可供sketch使用的资源预算的值，形成可编译的可编程交换机硬件程序；通过贝叶斯优化器不断优化资源参数的参数值，生成满足资源预算和性能目标的候选方案集；然后，通过剪枝算法，得到资源预算和性能目标不同权衡关系下的优选配置方案集；

步骤三：测量精度预测，即预测每个优选配置方案在不同的流量分布下的测量精度；具体为：

将每个优选配置方案对应的可编译的可编程交换机硬件程序运行在可编程交换机上，测试每个优选配置方案在不同流量分布下的精度，得到流量分布和精度结果的对应关系；将所有的流量分布和精度结果的对应关系作为训练数据集，训练以流量分布为输入，精度结果为输出的神经网络；将每个优选配置方案在用户部署sketch的特定场景下的流量分布输入训练后的神经网络中，神经网络输出每个优选配置方案对应的精度结果；选择精度最大的配置方案作为最终的最优配置方案。

2.根据权利要求1所述的基于可编程交换机的sketch通用配置方法，其特征在于，步骤一的原语包括Register、Stage、Hash、Table四种类型。

3.根据权利要求2所述的基于可编程交换机的sketch通用配置方法，其特征在于，

Register包括reg_count、reg_init、reg_action；

Stage包括：nested_if；

Hash包括：hash_init；

Table包括：tbl_size；

其中，reg_count、tbl_size对应的原语识别方案为：识别原语中的资源参数；

其余的原语对应的原语识别方案为：将原语的数量作为资源参数。

4.根据权利要求1基于可编程交换机的sketch通用配置方法，其特征在于，资源预算所需要考虑的主要资源类型，包括SRAM、SALU、Hash调用、使用的流水线Stage数量。用户根据这些资源类型给出具体的预算大小。

5.根据权利要求1基于可编程交换机的sketch通用配置方法，其特征在于，所述步骤二中，所述优选配置方案定义为一组无法相互主导的向量所对应的配置；向量1主导向量2的定义为：向量1中的每一个元素均优于向量2。

6.根据权利要求1基于可编程交换机的sketch通用配置方法，其特征在于，所述步骤二中，通过剪枝算法，得到资源预算和性能目标不同权衡关系下的优选配置方案集，具体包括如下步骤：

(1)寻找评分函数f最大的向量作为向量v_i，并存储在优选配置方案集中；

(2)移除所有v_i主导的候选方案；

(3)循环直到所有的候选方案都被移除或存储在优选配置方案集中。

7.根据权利要求1的基于可编程交换机的sketch通用配置方法，其特征在于，为了简化神经网络的输入，提取流量分布的统计特征，将统计特征作为神经网络的输入。

Images