CN115102907B - 一种基于小流过滤的活跃大流精确识别方法和系统 - Google Patents
一种基于小流过滤的活跃大流精确识别方法和系统 Download PDFInfo
- Publication number
- CN115102907B CN115102907B CN202210690563.2A CN202210690563A CN115102907B CN 115102907 B CN115102907 B CN 115102907B CN 202210690563 A CN202210690563 A CN 202210690563A CN 115102907 B CN115102907 B CN 115102907B
- Authority
- CN
- China
- Prior art keywords
- flow
- counter
- small
- stream
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001914 filtration Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 18
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 2
- 239000004430 Mapka Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/21—Flow control; Congestion control using leaky-bucket
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/29—Flow control; Congestion control using a combination of thresholds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于小流过滤的活跃大流精确识别方法和系统，方法包括：首先对网络分组解析，提取五元组作为流标识符；然后提出可适应网络流速变化的小流过滤器更新策略，为每个当前周期计数器配置一个平均加权计数器，记录过去所有周期结束时计数器的加权平均值，作为当前周期内判定是否放行传入流的依据；接着设计大流监测表高效的多位置哈希算法，为传入流提供多个候选位置并在无法存入时通过踢操作为其腾出空位；最后，在时间窗结束时，根据大流监测表中存储的流信息识别活跃大流。根据本发明的方案，有效解决了大量小流干扰导致活跃大流识别不准确的问题，并大大降低了哈希冲突率，实现了时间周期序列下的实时活跃大流报告。
Description
技术领域
本发明涉及计算机网络技术领域，更具体地说，涉及一种基于小流过滤的活跃大流精确识别方法和系统。
背景技术
在分组交换网络中，网络流量是用户访问行为和系统工作活动在网络传输协议作用下产生的数据分组集合。大量网络测量结果表明：网络流量分布并不均匀，而是往往呈现出明显的局部性特点。从空间分布角度看，少量流往往占据大多数分组，而多数流占据少部分分组。因此，网络流根据其分组数量可分为大流和小流，而实际网络应用往往只关注大流，以适应计算和存储资源受限的环境。从时间分布角度看，同一条流的众多分组往往会成批集中到达，即流在活跃状态和静默状态之间反复切换。对于实时网络应用，不仅需要掌握大流的统计信息，更需关注大流的活跃期。
在网络测量领域中，网络流主要依据五元组进行分类，流量估计通常为每条流分配一个计数器，虽然保证了估计结果的准确性，但存储空间复杂度较高。为权衡估计精度和存储空间，基于sketch的流量估计应运而生。sketch是基于哈希的概率数据结构，通过牺牲较小的准确性为代价实现高内存效率，因此可将其直接部署至快速存储器中，如CPU和GPU芯片中的L2缓存等。如图1所示，该结构通常将传入分组分别映射至d个数组的d个计数器中，然后根据更新策略增加或减少计数值，以实现对每条流的细粒度估计，进而通过特定的查询策略报告测量结果。典型sketch包括Count Sketch、CM-Sketch、CU-Sketch等，但这类sketch均不支持删除过期流，无法实现活跃大流的测量。
目前，FastKeeper(Wang Y,Li D,Wu J.FastKeeper:AFast Algorithm forIdentifying Top-k Real-time Large Flows.2021GLOBECOM.2021:01-07.)是一种滑动窗口快速识别活跃大流的方法，其核心思想是采用流计数器记录当前传入的数据流，并在窗口滑动时删除其中的过期数据，以实时记录活跃流的速率变化，进而识别和报告活跃大流，【方案一】如图2所示。FastKeeper使用k个计数器记录流到达的分组，每个计数器记录一个时间块b内接收的分组数量，所有计数器值的总和即为当前实时流速率。若接收分组不属于当前桶内所记录流时，则增加冲突计数器。若冲突计数器达到所设阈值，则将新到达流插入并重新开始计数。同时，当窗口是否滑过一个时间块时，重置最旧的计数器，以确保始终记录活跃大流的实时流速率。
突变大流的流量特征与活跃大流相似，与之不同的是突变大流的速率变化大。Burst-Sketch(Zhong Z,Yan S,Li Z,et al.Burstsketch:Finding bursts in datastreams.SIGMOD/PODS'21.2021:2375-2383.)是一种实时检测突变大流的方法，其核心思想是过滤低速流后检测流速率变化，进而识别与报告突变大流，【方案二】如图3所示。BurstSketch由两个阶段组成，前阶段包含m个桶，每个桶有流标识符和计数器两个字段，通过哈希映射方式统计当前时间窗内传入的分组数量，以监测其流速进而过滤小流与低速流。后阶段设计了一个哈希桶数组，每个桶都有流标识符、两个计数器和时间戳四个字段，用于记录传入流在两个相邻时间窗的流大小，以检测其流速是否发生突然增加或突然减少，进而判断是否为突变大流。
但上述现有的活跃大流识别方案分别存在以下缺陷：
【方案一】采用流计数器记录当前传入的数据流，并通过滑动窗口删除其中的过期数据，以实时记录活跃流的速率变化，进而识别和报告活跃大流。然而，FastKeeper方案中的每个桶需维护更新指针和多个计数器，造成存储开销大和测量效率低，难以适应网络流速波动的情况。此外，由于大量小流分组的干扰，该方案易发生大流误判或漏选，严重影响活跃大流测量的准确性。
【方案二】通过前阶段过滤低速流以筛选大流，后阶段记录大流并检测其分组速率变化，以识别大流和报告大流的活跃期。然而，BurstSketch方案的前阶段需记录每条传入流的标识符，导致内存空间开销大，小流过滤效率低。此外，随着网络流的不断到达，大量流涌入容量固定的哈希桶数组，后阶段容易发生哈希冲突，进而导致大流漏选问题。
发明内容
为了解决FastKeeper因大量小流分组的干扰使得活跃大流测量准确性不稳定的问题，并克服BurstSketch小流过滤效率低和易发生大流冲突而导致漏选的缺陷，本发明提供一种基于小流过滤的活跃大流精确识别方法，首先设计一种高效准确的小流过滤方法，进而提出可适应网络流速变化的过滤器更新策略，以持续有效过滤小流；然后提出一种高效的多位置哈希算法，进而设计大流监测表准确报告活跃大流。
为了达到上述目的，本发明采用的技术方案为：
本发明提供一种基于小流过滤的活跃大流精确识别方法，步骤如下：
步骤一、网络流量解析：当收到一个分组时，首先解析其协议首部，提取五元组字段，从而计算得到流标识符；
步骤二、小流过滤：对步骤一解析后的网络分组的流标识符作为小流过滤器的输入，以初步分析该分组所属流的大小；通过筛选操作和更新操作，实现持续高效过滤小流；
步骤三、大流记录：将步骤二处理后的网络流量数据输入大流监测表，通过新型多位置哈希算法计算存储位置，对大流进行统计和测量；
步骤四、活跃大流识别：根据查询步骤三得到的测量结果，实现活跃大流的识别。
进一步地，所述步骤一中，网络分组的五元组字段包括协议类型、源IP地址、目的IP地址、源端口号和目的端口号。
进一步地，所述步骤二中：
小流过滤器由k个哈希函数和d个桶构成，每个桶包含当前周期计数器和加权平均计数器，当前周期计数器记录当前周期内映射到此位置的分组数量，而加权平均计数器记录过去所有周期结束时计数器的加权平均值，作为当前周期内判定是否放行传入流的依据；为了防止因大量计数器逐步溢出而导致过滤功能失效，小流过滤器采用超值计数器数量占比为更新周期，以适应网络分组到达速率的动态变化，从而持续高效过滤小流。
插入过程：对于到达的网络分组，首先提取其流标识符fid，然后查找大流监测表，若对应的流未被记录在其中，则进入小流过滤器进行筛选；小流过滤器采用k个哈希函数，计算该分组映射的k个位置，并对其中的所有当前周期计数器的数值加一；当多个分组哈希映射到同一位置时，对该当前周期计数器的数值进行累加。
筛选操作：若最小当前周期计数器和对应的加权平均计数器均未达到阈值，则直接丢弃，否则放行至大流监测表。
更新操作：当超出阈值的当前周期计数器数量达到预设比例时，每个单元的当前周期计数器计入加权平均计数器，然后重置为零，并进入下一个周期。
进一步地，所述步骤三中：
大流监测表采用哈希结构存储，每个哈希桶包含若干个记录流信息的槽；流信息主要是流标识符、当前时间窗内到达的分组数量和标志位；大流监测表为传入流提供三个候选位置，即直接映射和相邻的哈希位置；当传入流直接映射的哈希位置已满时，则在相邻的两个候选位置中选择一个空位存入，并采用标志位记录其实际存储位置与哈希映射位置的偏移量(分为0、+1、-1三种)；当三个候选位置均已满时，根据分组数量选出一条低速流进行替换；若三个候选位置中没有低速流，则在相邻候选位置中根据标志位选出一条流进行替换，并不断将被替换的流踢到同方向的相邻候选位置，直到出现空位或可被替换流、或踢次数达到设定阈值为止；每个时间窗结束时，报告该时间窗内的活跃大流，并重置所有流信息。
插入过程：对于到达的网络分组，首先根据其流标识符哈希映射到大流监测表，进而在直接映射的哈希桶及相邻两个哈希桶中查找对应的流；若查找成功，则将对应的分组数量加一，否则进入小流过滤器；若小流过滤器判定为大流，则存入大流监测表。
哈希操作：若大流监测表中对应的三个哈希桶存在空位，则将传入流直接插入，并通过标志位记录其哈希偏移量；否则，将分组速率阈值与当前时间窗的持续时长相乘得到分组数量阈值，进而选择分组数量低于阈值的最小流进行替换；若不存在可被替换的流，则从任意一个相邻的哈希桶中踢出一条合适的流，并将传入流插入；对于被踢出的流，在背离传入流直接映射位置的相邻桶中查找空位或分组数量低于阈值的最小流；若查找成功，则直接插入或替换；否则，按同样的方式不断执行踢操作，直到出现空位或可被替换流、或踢次数达到设定阈值为止。
进一步地，所述步骤四中，每个时间窗结束时，查询大流检测表并返回记录的流标识符和对应的计数器大小；当某条流的流大小大于所设阈值时，将该流识别为活跃大流，并重置所有大流检测表的桶内流信息和标志位，以进入下一个时间窗。
基于同一发明构思，本发明还提供一种基于小流过滤的活跃大流精确识别系统，其特征在于，包括交换机、路由器等网络设备和与之相连的控制器；所述网络设备中部署至少一个测量节点，并配置所述的小流过滤器和大流监测表等数据结构，以统计传入流信息；所述控制器接收网络测量任务并将其发送至所述网络设备，采用上述方法进行活跃大流识别。
进一步地，当用户根据网络测量任务发起一个查询请求时，所述的控制器将请求发送至所述对应的测量节点，以获取大流监测表中存储的流信息，然后将其发送至控制器进一步分析和报告，最后返回识别结果。
本发明区别于已有方法的特色在于：
(1)小流过滤器通过采用超值计数器数量占比作为更新周期，有效保证了小流过滤器的持续有效性，且克服了网络流速波动时现有过滤器性能不稳定的缺陷；(2)小流过滤器通过设置加权平均计数器作为当前周期内的小流判定依据，在有效控制存储开销的同时，实现了小流的持续有效过滤；(3)大流监测表通过所设计高效的多位置哈希算法为传入流提供多个候选位置，并在无法存入时通过踢操作为其腾出空位，大大降低了哈希冲突率，显著提升了活跃大流识别的准确性和高效性。
根据本发明实施例的一种基于小流过滤的活跃大流精确识别方法，至少具有以下技术效果：
1、针对现有小流过滤器容易逐步失效的问题，本发明设计一种高效准确的小流过滤器，并提出可适应网络流速变化的过滤器更新策略，有效保证了小流过滤器的持续有效性；本发明为每个当前周期计数器配置一个加权平均计数器，记录过去所有周期结束时当前周期计数器的加权平均值，作为当前周期内判定是否放行传入流的依据，以保持过滤器的持续有效；同时，小流过滤器按超值计数器数量的所占比例进行周期更新，即每当超出阈值的当前周期计数器数量达到预设比例时，更新所有加权平均计数器并重置对应的当前周期计数器，从而在网络流速剧增或骤减时仍能准确过滤小流。
2、针对大流监测表中因传入流容易发生哈希冲突的问题，设计了一种新型的高效多位置哈希算法，为传入流提供多个候选位置并在无法存入时通过踢操作为其腾出空位，大大降低了哈希冲突率，显著提升了活跃大流识别的准确性和高效性；该方法将每条流的哈希映射位置和相邻位置作为候选位置，当候选位置已满时替换其中的低速流，若不存在低速流时通过同向踢操作为其腾出空位，循环反复直到出现空位或低速流、或踢次数达到设定阈值为止，从而降低活跃大流的哈希冲突率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法现有技术提供的sketch数据结构示意图。
图2是本发明方法现有技术提供的FastKeeper的数据结构和算法示意图。
图3是本发明方法现有技术提供的BurstSketch的数据结构示意图。
图4是本发明方法提供的活跃大流识别方案结构图。
图5是本发明方法中小流过滤器的数据结构示意图。该数据结构由一个二维计数器数组构成，并与d个哈希函数h(.)相关联，每个桶包含当前周期计数器(白色方块)和加权平均计数器(灰色方块)。
图6是本发明方法中大流监测表的数据结构示意图。该数据结构由d个哈希桶组成，每个桶由c个槽构成，每个桶中包含流信息和标志位。
图7是本发明实施例中活跃大流识别总体流程图。
图8是本发明实施例中小流判定流程图。
图9是本发明实施例中大流记录流程图。
图10是本发明实施例中活跃大流识别流程图。
图11是本发明实施例中活跃大流识别的具体架构图。
具体实施方式
为了更好地阐述该发明的内容，下面通过具体实施例对本发明进一步的验证。特在此说明，实施例只是为更直接地描述本发明，它们只是本发明的一部分，不能对本发明构成任何限制。
参照图4至图6，本发明实施例提供一种基于小流过滤的活跃大流精确识别方法，包括以下：
本发明采用先过滤小流后监测大流的思路，构建一种精确高效的网络活跃大流识别架构(图4)。该架构分为小流过滤器(图5)和大流监测表(图6)两部分，小流过滤器采用双计数器型结构快速过滤小流，大流监测表跟踪记录筛选出的流并识别报告大流的活跃期。该架构通过小流过滤器筛除网络流量中的大量小流，以实现小流与大流的初步分离，从而降低小流分组对大流监测表的干扰，提高活跃大流的识别精度。大流监测表通过设计新型哈希算法高效存储小流过滤器筛选出的流，并采用小流驱逐策略进一步筛除小流，以精确记录跟踪活跃大流。
当一个网络分组到达时，首先查询对应的流是否已记录在大流监测表中。若查询成功，则大流监测表中对应的分组计数器加1。否则，将该分组的流标识符映射到小流过滤器中，查询对应的流大小，并更新对应的计数器。若流大小未达到大流阈值，则直接丢弃，否则放行至大流监测表。该流映射至大流监测表后，若存在空候选位置，则直接存入。否则，替换掉一条小流或通过踢操作寻找合适的位置存入。当每个时间窗结束时，大流监测表报告处于活跃状态的大流，同时更新小流过滤器和大流监测表。
如图5所示为小流过滤器的插入流程举例，设哈希函数个数k为3，桶数量为d为12和阈值为15。所属流f7和流f9的网络分组未被大流监测表所记录，则通过哈希函数h1(.),h2(.)和h3(.)映射至对应的当前周期计数器，并将该计数器的数值增加1。当多条流映射到同一个计数器时，对该计数器的数值进行累加。流f7映射的当前周期计数器均为达到阈值，但最小值4对应的加权平均计数器达到阈值，故将其发送至大流监测表。而流f9映射桶中计数器均为达到阈值，因此将其直接丢弃。
如图6所示为大流监测表的插入流程举例，流f1已被记录，则将对应计数器加1。流f2未被记录，但相邻桶存在空位，则直接插入其中，并更新标志位为+1。流f3未被记录且相邻桶不存在空位，则选取相邻桶中合适的一条流踢至同向的相邻桶，然后将其插入所腾出的位置中，同时更新标志位。
参照图7至图11，上述实施例具体包括以下操作：
1、活跃大流识别总体流程
如图7所示为活跃大流识别总体流程。当收到一个分组时，首先解析其协议首部，提取五元组字段，从而计算得到流标识符。然后判断该流是否已存入大流监测表，若已记录，则直接进入大流记录流程。否则进入小流判定流程，以判断该流是否为小流。若为小流，则直接丢弃分组，否则进入大流记录流程，以尽可能记录时间窗内传入的网络流。最后，在时间窗结束时进入活跃大流识别流程，从而实现快速精确识别和报告活跃大流。
2、小流判定流程
如图8所示为小流判定流程。当小流过滤器收到一个未被大流监测表记录的分组时，首先判断此时超出阈值的当前周期计数器数量是否达到预设比例，若达到所设比例，则重置所有的当前周期计数器。然后通过k个哈希函数映射至k个桶，对所有映射桶中的当前周期计数器的数值加1。同时，在所有映射计数器中找出最小计数器，进而判断是否达到所设阈值。若当前周期计数器和对应的加权平均计数器均未达到阈值，则确定为小流，否则判定为大流。
3、大流记录流程
如图9所示为大流记录流程。当一个分组被小流过滤器判定属于大流时，则进入大流监测表，根据传入的流标识符计算哈希映射位置，查找映射桶和相邻桶中是否已经记录对应的流。若匹配成功，则将对应的分组数量加1。否则查找对应的三个相邻哈希桶是否存在空位，若存在空位，则将传入流直接插入，并通过标志位记录其哈希偏移量。若不存在空位，则找出其中计数器值最小的流，判断是否达到预设阈值，若低于阈值，则替换未传入流。否则判断踢次数是否上限，若未达到上限，则随机选取一个相邻的哈希桶中一条流踢出，并将传入流插入。然后不断在背离传入流直接映射位置的相邻桶中查找，直到出现空位或分组数量低于阈值的最小流。
4、活跃大流识别流程
如图10所示为活跃大流识别流程。首先获取大流监测表的桶数量n和桶内槽数量m。然后逐个检查每个桶中槽内的计数器，以排除少部分误判的小流，从而精确找出所有活跃大流。若当前时间窗内的计数器达到阈值，则确定为活跃大流，然后输出对应的流标识符和流大小(计数器值与小流过滤阈值之和)。
进一步，以下是本发明的一种具体实例：
如图11所示为本发明的一种具体实例，在大型数据中心网络，通过在交换机、路由器和网关等网络设备部署本发明提出的小流过滤器和大流监测表等相关数据结构，以采集和统计传入网络流的信息。网络设备按照用户预设的相关参数统计大流信息，并发送至控制器进一步分析与报告活跃大流。
基于同一发明构思，本发明的另一个实施例提供一种计算机/服务器，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
基于同一发明构思，本发明的另一个实施例提供一种计算机可读取存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。所述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、移动硬盘、U盘或者光盘等介质。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所述技术领域的技术人员可以所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于小流过滤的活跃大流精确识别方法，其特征在于，包括以下步骤：
步骤一、网络流量解析：当收到一个分组时，首先解析其协议首部，提取五元组字段，从而计算得到流标识符；
步骤二、小流过滤：对步骤一解析后的网络分组的流标识符作为小流过滤器的输入，以初步分析该分组所属流的大小；小流过滤器包括当前周期计数器和加权平均计数器，并采用超值计数器数量占比作为周期，通过筛选操作和更新操作对小流过滤器的数据结构进行更新，实现小流的持续过滤；
步骤三、大流记录：对步骤二处理后的网络流量数据输入大流监测表，通过哈希操作为传入流提供多个候选位置，并在无法存入时通过踢操作为其腾出空位，循环反复直到出现空位或低速流、或踢次数达到设定阈值为止，以对大流监测表的数据结构进行更新，实现大流的统计和测量；
步骤四、活跃大流识别：在每个时间窗结束时，对步骤三中的大流监测表进行查询操作，返回记录的流标识符和对应的计数器大小；当流的大小超过设定的阈值时，将该流识别为活跃大流，并重置所有大流监测表的桶内流信息和标志位，进入下一个时间窗。
2.根据权利要求1所述的一种基于小流过滤的活跃大流精确识别方法，其特征在于，所述步骤二中：
小流过滤器由k个哈希函数和d个桶构成，每个桶包含当前周期计数器和加权平均计数器，当前周期计数器记录当前周期内映射到此位置的分组数量，而加权平均计数器记录过去所有周期结束时计数器的加权平均值，作为当前周期内判定是否放行传入流的依据；为了防止因大量计数器逐步溢出而导致过滤功能失效，小流过滤器采用超值计数器数量占比为更新周期，以适应网络分组到达速率的动态变化，从而持续高效过滤小流。
3.根据权利要求2所述的一种基于小流过滤的活跃大流精确识别方法，其特征在于，所述步骤二包括以下步骤：
插入过程：对于到达的网络分组，首先提取其流标识符fid，然后查找大流监测表，若对应的流未被记录在其中，则进入小流过滤器进行筛选；小流过滤器采用k个哈希函数，计算该分组映射的k个位置，并对其中的所有当前周期计数器的数值加一；当多个分组哈希映射到同一位置时，对该当前周期计数器的数值进行累加；
筛选操作：若最小当前周期计数器和对应的加权平均计数器均未达到阈值，则直接丢弃，否则放行至大流监测表；
更新操作：当超出阈值的当前周期计数器数量达到预设比例时，每个单元的当前周期计数器计入加权平均计数器，然后重置为零，并进入下一个周期。
4.根据权利要求1所述的一种基于小流过滤的活跃大流精确识别方法，其特征在于，所述步骤三中：
大流监测表采用哈希结构存储，每个哈希桶包含若干个记录流信息的槽；流信息主要是流标识符、当前时间窗内到达的分组数量和标志位；大流监测表为传入流提供三个候选位置，即直接映射和相邻的哈希位置；当传入流直接映射的哈希位置已满时，则在相邻的两个候选位置中选择一个空位存入，并采用标志位记录其实际存储位置与哈希映射位置的偏移量，分为0、+1、-1三种；当三个候选位置均已满时，根据分组数量选出一条低速流进行替换；若三个候选位置中没有低速流，则在相邻候选位置中根据标志位选出一条流进行替换，并不断将被替换的流踢到同方向的相邻候选位置，直到出现空位或可被替换流、或踢次数达到设定阈值为止；每个时间窗结束时，报告该时间窗内的活跃大流，并重置所有流信息。
5.根据权利要求4所述的一种基于小流过滤的活跃大流精确识别方法，其特征在于，所述步骤三包括以下步骤：
插入过程：对于到达的网络分组，首先根据其流标识符哈希映射到大流监测表，进而在直接映射的哈希桶及相邻两个哈希桶中查找对应的流；若查找成功，则将对应的分组数量加一，否则进入小流过滤器；若小流过滤器判定为大流，则存入大流监测表；
哈希操作：若大流监测表中对应的三个哈希桶存在空位，则将传入流直接插入，并通过标志位记录其哈希偏移量；否则，将分组速率阈值与当前时间窗的持续时长相乘得到分组数量阈值，进而选择分组数量低于阈值的最小流进行替换；若不存在可被替换的流，则从任意一个相邻的哈希桶中踢出一条合适的流，并将传入流插入；对于被踢出的流，在背离传入流直接映射位置的相邻桶中查找空位或分组数量低于阈值的最小流；若查找成功，则直接插入或替换；否则，按同样的方式不断执行踢操作，直到出现空位或可被替换流、或踢次数达到设定阈值为止。
6.一种基于小流过滤的活跃大流精确识别系统，其特征在于，包括交换机、路由器等网络设备和与之相连的控制器；所述网络设备中部署至少一个测量节点，并配置所述的小流过滤器和大流监测表等数据结构，以统计传入流信息；所述控制器接收网络测量任务并将其发送至所述网络设备，采用权利要求1～5中任一权利要求所述方法进行活跃大流识别。
7.根据权利要求6所述的一种基于小流过滤的活跃大流精确识别系统，其特征在于，当用户根据网络测量任务发起一个查询请求时，所述控制器将请求发送至所述对应的测量节点，以获取大流监测表中存储的流信息；在所述测量节点内，对大流监测表进行查询操作，获取相应的流标识符和计数器大小；对于流标识符对应的流，如果其流大小大于预设阈值，则将其识别为活跃大流；重置所有大流监测表的桶内流信息和标志位，以进入下一个时间窗；最后将识别结果报告至控制器，以供进一步分析和报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210690563.2A CN115102907B (zh) | 2022-06-17 | 2022-06-17 | 一种基于小流过滤的活跃大流精确识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210690563.2A CN115102907B (zh) | 2022-06-17 | 2022-06-17 | 一种基于小流过滤的活跃大流精确识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115102907A CN115102907A (zh) | 2022-09-23 |
| CN115102907B true CN115102907B (zh) | 2024-01-26 |
Family
ID=83291296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210690563.2A Active CN115102907B (zh) | 2022-06-17 | 2022-06-17 | 一种基于小流过滤的活跃大流精确识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115102907B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115967673B (zh) * | 2022-09-30 | 2024-09-06 | 深圳大学 | 一种基于p4可编程交换机的大流五元组的查询方法 |
| CN115834427B (zh) * | 2022-11-08 | 2024-06-18 | 清华大学 | 高速网络流被动测量方法及装置 |
| CN116032804A (zh) * | 2022-12-29 | 2023-04-28 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于终端节点协作的细粒度网络流量测量方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102984064A (zh) * | 2012-12-28 | 2013-03-20 | 盛科网络（苏州）有限公司 | 区分转发大象流的方法及系统 |
| US9979624B1 (en) * | 2015-12-29 | 2018-05-22 | Amazon Technologies, Inc. | Large flow detection for network visibility monitoring |
| CN110532307A (zh) * | 2019-07-11 | 2019-12-03 | 北京大学 | 一种流滑动窗口的数据存储方法及查询方法 |
| US10536360B1 (en) * | 2015-12-29 | 2020-01-14 | Amazon Technologies, Inc. | Counters for large flow detection |
| CN111262756A (zh) * | 2020-01-20 | 2020-06-09 | 长沙理工大学 | 一种高速网络大象流精确测量方法及架构 |
| CN113839835A (zh) * | 2021-09-27 | 2021-12-24 | 长沙理工大学 | 一种基于小流过滤的Top-k流精确监控架构 |
| CN114205253A (zh) * | 2021-12-15 | 2022-03-18 | 长沙理工大学 | 一种基于小流过滤的活跃大流精确检测架构及方法 |
-
2022
- 2022-06-17 CN CN202210690563.2A patent/CN115102907B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102984064A (zh) * | 2012-12-28 | 2013-03-20 | 盛科网络（苏州）有限公司 | 区分转发大象流的方法及系统 |
| US9979624B1 (en) * | 2015-12-29 | 2018-05-22 | Amazon Technologies, Inc. | Large flow detection for network visibility monitoring |
| US10536360B1 (en) * | 2015-12-29 | 2020-01-14 | Amazon Technologies, Inc. | Counters for large flow detection |
| CN110532307A (zh) * | 2019-07-11 | 2019-12-03 | 北京大学 | 一种流滑动窗口的数据存储方法及查询方法 |
| CN111262756A (zh) * | 2020-01-20 | 2020-06-09 | 长沙理工大学 | 一种高速网络大象流精确测量方法及架构 |
| CN113839835A (zh) * | 2021-09-27 | 2021-12-24 | 长沙理工大学 | 一种基于小流过滤的Top-k流精确监控架构 |
| CN114205253A (zh) * | 2021-12-15 | 2022-03-18 | 长沙理工大学 | 一种基于小流过滤的活跃大流精确检测架构及方法 |
Non-Patent Citations (4)
| Title |
|---|
| Algorithm Based on multiple filters for elephant flow identification;Lei Bai， Weijiang Liu;Proceedings 2011 International Conference on Transportation，Mechanical，and Electrical Engineering（TMEE）;全文 * |
| Lei Bai,Jianshe Zhou,Yaning Zhang.Algorithm Based on LL_CBF for Large Flows Identification.Tools for Design,Implementation and Verification of Emerging Information Technologies.2021,全文. * |
| 一种改进的分层CBF网络大流识别策略;张惠民;冯林生;邱雪欢;;装甲兵工程学院学报(01);全文 * |
| 基于CBF-SS策略的大流识别算法;赵小欢;李明辉;;中国科学院大学学报(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115102907A (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115102907B (zh) | 一种基于小流过滤的活跃大流精确识别方法和系统 | |
| CN109861881B (zh) | 一种基于三层Sketch架构的大象流检测方法 | |
| US10097464B1 (en) | Sampling based on large flow detection for network visibility monitoring | |
| CN108028778A (zh) | 生成信息传输性能警告的方法、系统和装置 | |
| JP5961354B2 (ja) | 効率的なネットフローデータ解析のための方法及び装置 | |
| US9979624B1 (en) | Large flow detection for network visibility monitoring | |
| US7821944B2 (en) | Optimal interconnect utilization in a data processing network | |
| US10536360B1 (en) | Counters for large flow detection | |
| CN110677324A (zh) | 基于sFlow采样与控制器主动更新列表的大象流两级检测方法 | |
| US10003515B1 (en) | Network visibility monitoring | |
| CN112688813B (zh) | 基于路由特性的路由节点重要性排序方法及系统 | |
| CN113839835B (zh) | 一种基于小流过滤的Top-k流精确监控系统 | |
| WO2018120915A1 (zh) | 一种DDoS攻击检测方法及设备 | |
| US20220311691A1 (en) | System and method for scalable and accurate flow rate measurement | |
| CN114205253A (zh) | 一种基于小流过滤的活跃大流精确检测架构及方法 | |
| KR100901696B1 (ko) | 보안 이벤트의 컨텐츠에 기반한 보안 이벤트 샘플링 장치및 방법 | |
| CN109952743B (zh) | 用于低内存和低流量开销大流量对象检测的系统和方法 | |
| CN101834763A (zh) | 高速网络环境下多类型大流并行测量方法 | |
| KR20040058415A (ko) | 네트워크 트래픽 측정 시스템 및 방법과 그 프로그램을기록한 기록매체 | |
| Turkovic et al. | Detecting heavy hitters in the data-plane | |
| US20090055420A1 (en) | Method, system, and computer program product for identifying common factors associated with network activity with reduced resource utilization | |
| CN117220958A (zh) | 一种高速网络场景下基于sketch的DDoS攻击检测方法 | |
| Mirylenka et al. | Finding interesting correlations with conditional heavy hitters | |
| Whitehead et al. | Tracking per-flow state—binned duration flow tracking | |
| CN115580543A (zh) | 一种基于哈希计数的网络系统活跃度评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |