CN115914011B - 一种支持软件定义的top-k流弹性测量方法 - Google Patents

Abstract

本发明提供了一种支持软件定义的top‑k流弹性测量方法，本发明方法包括：首先对网络分组解析，提取五元组作为流标识符；然后通过改进CU Sketch作为老鼠流过滤器持续记录分组，通过固定分组数量为周期进行更新，在网络流速波动的情况下始终准确过滤老鼠流，从而适应了网络流量的动态变化；接着设计了支持用户自定义的大象流记录表，在保证存储空间利用率的同时，支持用户通过软件灵活定义top‑k流的测量数量；最后根据大象流记录表结构中的流指纹和计数值通过top‑k流排序操作获取测量结果。本发明有效降低了测量时处理老鼠流的存储开销，在保证top‑k流测量的准确性的同时，支持用户通过软件对k值灵活调整，从而实现了支持软件定义的top‑k流弹性测量。

Description

一种支持软件定义的top-k流弹性测量方法

技术领域

本发明涉及计算机网络技术领域，更具体地说，涉及一种支持软件定义的top-k流弹性测量方法。

背景技术

网络测量是通过统计数据分组，对网络流量特征变化进行分析，以研究网络行为和网络规律，进而获取网络性能和流量变化趋势，对网络管理、网络优化和流量工程等领域至关重要。在网络流量中，一般将相同五元组(源IP地址、目的IP地址、源端口号、目的端口号和传输协议)的分组归为一条数据流。大象流是指在一个时间周期内流中分组个数或者此流占据的总字节量超过一定阈值，比如所含分组个数超过某一数值(10⁵个)或超出一定字节量(20M)，而排名前k的大象流则称为top-k流。按照测量方式，网络测量分为主动测量和被动测量。主动测量是向网络链路中发送探测数据包，通过分析所引起网络的相应响应，获取所测网络的状态和性能等参数。然而，随着主动测量发送的探测流量持续增加，给所测网络增加大量的负载，从而影响测量结果。更为甚者，如果没有合理的设计控制探测流量，还会出现网络拥塞现象。与主动测量不同的是，被动测量并不需产生额外的流量，而是在网络节点部署探针，通过数据流处理技术被动的监测网络链路的流量。目前，基于Sketch的数据流方法因其内存开销小且精度高，广泛应用于top-k流测量场景中。

Sketch是一种基于哈希算法的概率性数据结构，用于近似地记录数据流分布或流大小，实现以较小的内存资源记录庞大的数据流信息。Sketch通常先将到达的分组建模为键值，然后通过若干个哈希函数计算得到键值的哈希值，将相同哈希值的键值散列到对应桶中，以减少存储空间的开销，最后以桶中的数据值作为测量结果。保守更新Sketch(Conservative-Update Sketch,CU Sketch)是一种经典的Sketch，由d行w列个计数器构成，每行对应一个哈希函数h(.)，如附图1所示。在收到一个分组时，提取其流标识符作为键值，然后通过哈希函数映射到每行的一个计数器中，比较找出数值最小的计数器并使其加1。若在最小计数器更新后，剩余计数器数值小于该计数器时，则都置为相同数值。在执行查询操作时，同样哈希索引对应d个计数器，然后取最小计数器作为查询结果。

目前，SSS(Scoreboard Space-Saving)是一种快速准确查找数据流中前k个大象流的方案，其核心思想是先对传入的数据流预处理，通过计分方式找出大象流，然后将大象流记录在流摘要(Stream-Summary)数据机构中。流摘要是一个由多个桶组成的有序链表，每个桶记录大象流的流标识符和流大小。SSS方案通过增加一个队列和一个记分板作为分类器，以识别一个传入的数据流是否可能为大象流，【方案一】如附图2所示。记分板负责记录候选大象流，以判断一个分组是否属于大象流。若为大象流，则直接插入到的流摘要中，否则将其插入到记分板中。若为老鼠流，则插入队列中进行累加，以避免大象流误判为老鼠流。随着时间的推移，当队列中的数据流被驱逐出队列时，如果仍为老鼠流，则减少其在记分板的分数，直到清空后删除，否则保持其分数将不变。

HeavyKeeper是一种精确查找top-k大象流的方案，其数据结构由d个数组组成，每个数组包含w个桶，而桶包含流指纹和计数器，【方案二】如附图3所示。当收到一条流时，通过哈希函数映射到每个数组中的一个桶中，若为空桶，则将该流插入其中。若非空桶且流指纹匹配成功，则增加对应计数器值。否则以一定概率减少所映射流的计数器值，概率的大小随数值的增加呈指数减小。若计数器减少至0，则替换为新到达的流，同时将计数器置为1。例如，当收到一个属于流f₃的数据包P₅时，索引到每个数组的一个桶。在第一个数组所映射桶中，流指纹不等于F₃，因此以概率为1.08-²¹使计数器减1。在第二个映射桶中，流指纹同样匹配失败，故以概率为1.08^-1使计数器减1。若计数器值下降至0，则将流指纹替换为F₃，并将计数器置为1。在最后一个映射桶中，流指纹匹配成功，则将计数器从7加至8。

但上述现有的top-k流测量方案分别存在以下缺陷：

【方案一】该方案通过设置阈值判断传入分组是否属于大象流，通过记分板和队列过滤老鼠流，然后将大象流存入流摘要中，以实现top-k流测量。然而，SSS方案需记录所有传入的老鼠流的流标识符和流大小，且流摘要需通过链表维护top-k流的有序性。随着网络流量的不断增加，记录大量的流信息将造成巨大的内存空间和计算开销，进而导致老鼠流的过滤效率不高，难以应用于资源有限的测量场景。

【方案二】该方案通过概率衰减的策略将老鼠流驱逐出桶，以确保每个桶准确记录大象流，进而找出top-k流。然而，HeavyKeeper方案需提前设定桶的数量和桶中计数器大小，固定的容量空间导致老鼠流的频繁替换，甚至丢失部分大象流的信息。这不仅造成难以接受的计算开销，还可能影响测量结果的准确性。

发明内容

针对现有技术上述的问题，提供一种支持软件定义的top-k流弹性测量方法，首先设计一种基于Sketch的老鼠流过滤器，通过为Sketch中的每个计数器设置标志位，以低存储开销代价实现老鼠流的持续有效过滤；然后设计一种支持用户自定义的大象流记录表，根据用户测量需求动态调整其存储容量，在保证存储空间利用率的同时，实现top-k流的弹性测量。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种支持软件定义的top-k流弹性测量方法，步骤如下：

步骤一、网络分组解析：当收到一个网络分组p时，首先解析其协议首部，提取五元组作为流标识符；

步骤二、过滤老鼠流：过滤进入老鼠流过滤器，通过哈希函数映射至Sketch，并更新所映射的每个桶；为确保老鼠流过滤器持续有效，Sketch以固定分组数量为一个周期进行更新，以判断该分组是否归属于老鼠流；若桶中的计数器未达到所设阈值，则判定为老鼠流，直接丢弃分组；否则判定为大象流，放行至大象流记录表；

步骤三、记录大象流：若该流已在大象流记录表中，则直接更新对应的流信息；否则，将其插入对应分段中的任意一个空位置中；若未找到空位置，则选择最小计数器以一定概率使其衰减，直到归零后与其替换；

步骤四、top-k流测量：根据大象流记录表结构中的流指纹和计数值通过top-k流排序操作获取测量结果。

所述步骤二中：

所述的老鼠流过滤器提供一种支持周期更新的低开销老鼠流过滤方法，其由一个改进的CU Sketch构成，包含r行c列个桶，每个桶包含计数器和标志位；其中，计数器记录映射到该桶的分组数量，标志位用于标记该计数器在一个周期内是否达到阈值；Sketch关联r个哈希函数h₁(.),h₂(.),...,h_r(.)，每个分组通过哈希函数映射到Sketch中每行的一个计数器进行计数；

随着网络分组的不断到达，Sketch中越来越多的计数器逐步增大到计数上限，这可能导致过滤器无法精准过滤老鼠流；对此，每当所测网络分组的达到一定数量时，周期更新Sketch中的所有计数器，并根据其数值更新对应的标志位，以判断该分组是否归属于老鼠流，从而确保老鼠流过滤器的持续有效；

所述步骤三中：

所述的大象流记录表提供一种支持软件定义的top-k流弹性记录方法，其由数量可变的逻辑分段组成的弹性记录表；每个分段由m个桶构成，桶中包含流指纹和计数器；其中，流指纹由哈希函数H_f(.)计算得到，作为每条流的唯一标识符，而计数器记录每条流所含的分组数量；对于每个分段，通过对应的子哈希索引，而子哈希函数从流指纹随机选取不同的bit位排列而成；

当一条未记录的大象流到达时，若所有对应的索引位置均已满，则找出其中分组数量最小的大象流，然后以一定概率其对计数器进行衰减，以防止老鼠流误判为大象流；进一步，当用户根据测量需求增加或减少所需top-k流数量时，则拓展或收缩分段，以提高大象流记录表的空间利用率，进而实现支持软件定义的top-k流精准测量。

进一步，所述高效方法包括如下操作：

1、老鼠流判定操作

通过老鼠流过滤器记录所有传入网络流的分组数量，若未达到阈值且标志位为0则直接丢弃，若达到阈值或标志位为1，则放行至大象流记录表；

2、大象流记录操作

通过大象流记录表记录所有传入网络流的流指纹和流大小，根据流指纹判断该流是否已经被记录，同时根据流大小以一定概率替换该流，以避免老鼠流误判为大象流；进一步，根据用户测量任务中所需前k条大象流的数量变化增加或减少分段；

3、大象流输出操作

大象流记录表并行遍历每个分段中的每个桶，找出所有分组数量超出阈值的大象流，然后输出流指纹和流大小；

4、top-k流排序操作

根据输出的k条大象流通过排序算法按大到小的顺序依次排序，进而得到top-k流的测量结果；

根据本发明实施例的一种支持软件定义的top-k流弹性测量方法，至少具有以下技术效果：

1、针对现有top-k流测量方案因处理大量老鼠流导致测量性能不佳且难以适应网络流量变化的问题，本发明设计一种基于Sketch的老鼠流过滤器，提出适应网络流速波动的老鼠流高效过滤方法；该方法为Sketch中的每个计数器设置标志位，用于标记对应计数器在一个周期内是否达到阈值，作为判定是否放行该网络流的依据；同时，Sketch按固定分组数量进行周期更新，即每当到达的分组数量达到设定阈值时，更新所有标志位并重置所有计数器，从而在网络流速剧增或骤减时仍能准确过滤老鼠流。

2、针对现有top-k测量方案因容量固定而无法根据用户需求灵活调整大象流记录数量的问题，本发明设计一种基于可伸缩哈希表的大象流记录表，提出一种支持用户自定义的top-k流弹性记录方法；该方法根据用户测量需求适应性调整大象流记录表的存储容量，在保证存储空间利用率的同时，支持用户通过软件灵活定义top-k流测量数量；当用户需要测量更多top-k流时，大象流记录表新增分段，以容纳新旧k值之间的大象流；当用户需要测量更少top-k流时，大象流记录表减少分段，在满足用户测量需求的同时，提高存储空间利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法现有技术提供的CU Sketch数据结构示意图。

图2是本发明方法现有技术提供的SSS数据结构和算法示意图。

图3是本发明方法现有技术提供的HeavyKeeper的数据结构示意图。

图4是本发明方法提供的支持软件定义的top-k流弹性测量方案结构图。

图5是本发明方法中老鼠流过滤器数据结构示意图。该数据结构由一个改进的CUSketch构成，包含r行c列个桶。其中，每行有一个与之对应的哈希函数h(.)，每个桶包含计数器(白色方块)和标志位(灰色方块)。

图6是本发明方法中大象流记录表数据结构示意图。该数据结构由n个逻辑分段组成，每个分段由m个桶构成。其中每个分段对应一个子哈希函数subH(.)，每个桶中包含流指纹(灰色方块)和计数器(白色方块)。

图7是本发明实施例中top-k流测量总体流程图。

图8是本发明实施例中老鼠流判定流程图。

图9是本发明实施例中大象流记录流程图。

图10是本发明实施例中大象流输出流程流程图。

图11是本发明实施例中top-k流排序流程图。

图12是本发明实施例中top-k流弹性测量的具体架构图。

具体实施方式

为了更好地阐述该发明的内容，下面通过具体实施例对本发明进一步的验证。特在此说明，实施例只是为更直接地描述本发明，它们只是本发明的一部分，不能对本发明构成任何限制。

参照图4至图6，本发明实施例提供一种支持软件定义的top-k流弹性测量方法，包括以下两部分：

所述老鼠流过滤器在插入过程中，对于传入的分组，首先提取其流标识符fid，然后通过r个不同的哈希函数h_i(.)(1≥i≥r)在Sketch的每行中映射一个计数器，进而将r个计数器中的最小计数器加1。若剩余所映射的计数器存在小于更新后的最小计数器时，则将其置为相同数值。为确保老鼠流过滤器的过滤功能，每当所测分组数量达到一定数量时，则将Sketch所有桶中计数器达到阈值的标志位置为1，同时重置所有计数器为0。在计数器更新结束后，若此时计数器未达到阈值且标志位为0时，则确定为老鼠流，直接丢弃分组；否则判定为大象流，放行至大象流记录表。

所述大象流记录表在测量开始时，首先用户通过软件发出查询请求，以获取所需测量的top-k流数量，从而确定大象流记录表的分段数n。当一个所属流f_i的分组经过老鼠流过滤器后，提取其流标识符获取流指纹FP_i。针对每个分段，通过子哈希函数subH_f(.)计算该分组的索引位置，进而将对应的n个桶中存储的流指纹与FP_i进行匹配。若FP_i与某个流指纹成功匹配，则将该桶中的计数器加1。当计数器不断增加到某个阈值时，可确定该流为大象流。若匹配失败且存在空的索引位置，则将流插入其中，并将计数器置为1。否则找出所有索引位置中最小的大象流，并以概率C^-b使其计数器减1。其中，C为计数器值，b为略大于1的常数。若计数器值变为0，则将新流插入其中，并将计数器置为1。随着测量的持续进行，若用户根据需求更改所需的前k条大象流数量，则增加或减少分段，在保证记录表空间利用率的同时，进而支持用户通过软件对k值的动态定义。

参照图7至图11，上述实施例具体包括以下操作：

1、top-k流测量总体流程

如图7所示为top-k流测量总体流程。当收到一个分组时，首先解析其协议首部，提取五元组字段，从而计算流标识符。然后进入老鼠流判定流程，判断该流是否为老鼠流。若为老鼠流，则直接丢弃分组。否则进入大象流记录流程，根据用户测量需求动态调整容量，以灵活记录大象流的流指纹和分组数量，进而通过流排序流程实现支持软件定义top-k流精确测量。

2、老鼠流判定流程

如图8所示为老鼠流判定流程。当老鼠流过滤器收到一个分组的流标识符时，首先在Sketch的每个桶中映射一个计数器。然后在所有映射计数器中找出最小计数器，并使其加1。若此时其他索引位置中的计数器小于最小计数器，则置为相同计数器值，从而完成对该分组的计数。若所测分组数量达到某一阈值，则找出Sketch中所有达到阈值的计数器，将对应的标志位更新为1，同时清空所有计数器，从而进入下一个测量周期。若在测量周期内，则判断最小计数器的标志位是否为1，如果不为1，则进一步判断是否达到阈值，如果也未达到阈值，则确定为老鼠流，否则判定为大象流。

3、大象流记录流程

如图9所示为大象流记录流程。首先，根据用户所需测量的top-k流数量确定n个分段。当一个分组被老鼠流过滤器判定属于大象流时，则进入大象流记录表，通过哈希函数H(.)生成流指纹。然后在n个分段中通过相关联的子哈希函数映射一个桶，进而进行流指纹匹配。若匹配成功，则将匹配桶中的计数器加1。此时，若所需top-k流数量增加或减少，则动态调整大象流记录表中的分段数量，以适应网络测量任务的变化。若匹配失败，则检查是否存在空索引位置。若存在，则将新流插入其中，并将计数器置为1。否则找出所有索引位置中的最小计数器，并以概率b^-C使其减1。其中，C为计数器值，b为略大于1的常数。当计数器减为0时，将新流插入其中，并将计数器置为1。

4、大象流输出流程

如图10所示为大象流输出流程。首先获取大象流记录表的分段数量n和段内桶数m。然后逐个检查每个分段中每个桶内的计数器，以排除少部分误判的老鼠流，进而精确找出所有大象流。若计数器达到阈值，则输出对应的流指纹和流大小(即计数器值与老鼠流过滤阈值之和)。

5、top-k流排序流程

如图11所示为top-k流排序流程。首先获取大象流记录表中输出的k条大象流，并将流指纹和流大小(计数器值与老鼠流过滤阈值之和)传入数组A[k-1]。然后根据流大小依次对大象流进行排序，以确保数组内的有序性，进而得到top-k流的测量结果。

进一步，以下是本发明的一种具体实例：

如图12所示，在数据中心，通过在网络设备(如交换机)部署多个测量节点，对每个测量节点设置本发明提出的相关数据结构中，以采集和记录到达网络流的信息。当用户根据测量任务发送一个查询top-k流请求，对应测量节点则从大象流记录表获取保存的流信息，返回结果至控制器处理，结束后以运算结果应答。

本发明所述方法部署于交换机等网络硬件设备，根据用户在测量软件中动态定义的k值，从而实现对软件定义top-k流测量的支持。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所述技术领域的技术人员可以所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种支持软件定义的top-k流弹性测量方法，其特征在于，步骤如下：

步骤一、网络分组解析：当收到一个网络分组p时，首先解析其协议首部，提取五元组作为流标识符fid；

步骤二、过滤老鼠流：过滤进入老鼠流过滤器，通过哈希函数映射至Sketch，并更新所映射的每个桶；为确保老鼠流过滤器持续有效，Sketch以固定分组数量为一个周期进行更新，以判断该分组是否归属于老鼠流；若桶中的计数器未达到所设阈值，则判定为老鼠流，直接丢弃分组；否则判定为大象流，放行至大象流记录表；老鼠流过滤器提供一种支持周期更新的低开销老鼠流过滤方法，其由一个改进的CU Sketch构成，包含r行c列个桶，每个桶包含计数器和标志位；其中，计数器记录映射到该桶的分组数量，标志位用于标记该计数器在一个周期内是否达到阈值；Sketch关联r个哈希函数h1(.),h2(.),...,hr(.)，每个分组通过哈希函数映射到Sketch中每行的一个计数器进行计数；随着网络分组的不断到达，Sketch中越来越多的计数器逐步增大到计数上限，这导致过滤器无法精准过滤老鼠流；对此，每当所测网络分组的达到一定数量时，周期更新Sketch中的所有计数器，并根据其数值更新对应的标志位，以判断该分组是否归属于老鼠流，从而确保老鼠流过滤器的持续有效；老鼠流过滤器在插入过程中，对于传入的分组，首先提取其流标识符fid，然后通过r个不同的哈希函数hi(.),1≤i≤r，在Sketch的每行中映射一个计数器，进而将r个计数器中的最小计数器加1；若剩余所映射的计数器存在小于更新后的最小计数器时，则将其置为相同数值；为确保老鼠流过滤器的过滤功能，每当所测分组数量达到一定数量时，则将Sketch所有桶中计数器达到阈值的标志位置为1，同时重置所有计数器为0；在计数器更新结束后，若此时计数器未达到阈值且标志位为0时，则确定为老鼠流，直接丢弃分组；否则判定为大象流，放行至大象流记录表；

步骤三、记录大象流：若该流已在大象流记录表中，则直接更新对应的流信息；否则，将其插入对应分段中的任意一个空位置中，若未找到空位置，则选择最小计数器以一定概率使其衰减，直到归零后与其替换；大象流记录表提供一种支持软件定义的top-k流弹性记录方法，其由数量可变的逻辑分段组成的弹性记录表；每个分段由m个桶构成，桶中包含流指纹和计数器；其中，流指纹由哈希函数H_f(.)计算得到，作为每条流的唯一标识符，而计数器记录每条流所含的分组数量；对于每个分段，通过对应的子哈希索引，而子哈希函数从流指纹随机选取不同的bit位排列而成；当一条未记录的大象流到达时，若所有对应的索引位置均已满，则找出其中分组数量最小的大象流，然后以一定概率其对计数器进行衰减，以防止老鼠流误判为大象流；进一步，当用户根据测量需求增加或减少所需top-k流数量时，则拓展或收缩分段，以提高大象流记录表的空间利用率，进而实现支持软件定义的top-k流精准测量；

步骤四、top-k流测量：根据大象流记录表结构中的流指纹和计数值通过top-k流排序操作获取测量结果。