CN116582507A - 基于可编程交换机的网络微突发流检测方法及相关设备 - Google Patents

基于可编程交换机的网络微突发流检测方法及相关设备 Download PDF

Info

Publication number
CN116582507A
CN116582507A CN202310851184.1A CN202310851184A CN116582507A CN 116582507 A CN116582507 A CN 116582507A CN 202310851184 A CN202310851184 A CN 202310851184A CN 116582507 A CN116582507 A CN 116582507A
Authority
CN
China
Prior art keywords
micro
burst
flow
data packet
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310851184.1A
Other languages
English (en)
Other versions
CN116582507B (zh
Inventor
于俊清
王佳宇
李冬
谢一丁
高源�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310851184.1A priority Critical patent/CN116582507B/zh
Publication of CN116582507A publication Critical patent/CN116582507A/zh
Application granted granted Critical
Publication of CN116582507B publication Critical patent/CN116582507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/30—Peripheral units, e.g. input or output ports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/20—Support for services
    • H04L49/208—Port mirroring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/25—Routing or path finding in a switch fabric
    • H04L49/252—Store and forward routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/50—Overload detection or protection within a single switching element
    • H04L49/501—Overload detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于可编程交换机的网络微突发流检测方法及相关设备，属于网络安全领域，包括：在数据包进入可编程交换机后，从包头提取出队列时的队列深度，若大于预设阈值，则判定其为微突发流数据包；利用BF和IBLT存储微突发流数据包中携带的流信息，BF和IBLT等长且初始值均为0；IBLT中，各槽位存储的信息包括：对应流的流id异或值、流计数以及包计数；按原始转发路径转发进入交换机的各数据包；每经过预设的时间间隔后，选取指定数量的数据包进行镜像，将当前IBLT中的内容嵌入镜像所得数据包的包头后，将这些数据包包头传输至控制平面。本发明能够在不影响可编程交换机的转发性能的情况下，实现网络微突发流的检测并提供微突发流信息。

Description

基于可编程交换机的网络微突发流检测方法及相关设备
技术领域
本发明属于网络安全领域，更具体地，涉及基于可编程交换机的网络微突发流检测方法及相关设备。
背景技术
近年来，随着数据中心的网络规模显著扩大，各种应用和服务都迁移至云环境，在数据中心网络带宽大幅增加和应用程序愈加复杂的环境下，确保网络高可用性和满足不同应用的服务级别协议（SLA，Service Level Agreement）具备高挑战性。SLA 中除去可用网络带宽，网络延迟也是影响用户体验的关键因素，例如实时会议视频流偶然经历的高延迟会导致画面时断时续；在金融领域的高频交易（HFT，High Frequency Trading）中，网络延迟会显著地影响交易的公平性，进而造成经济损失。据报道，HFT 中每 1ms 的延迟差距就会带来每年 1 亿美元的利润差异。
高速网络中端到端时延极低（<1ms），导致持续时间极短的网络拥塞也会产生高网络延迟，严重延长流完成时间（Flow Completed Time，FCT），对网络性能产生影响。先前的工作将间歇发生的时间尺度极短的网络拥塞事件称为微突发（MicroBurst），然而微突发极小的时间尺度使传统网络中粗粒度网管系统无法检测到微突发事件发生，一些现有的商业解决方案能够检测到微突发，但无法提供微突发流信息。在基于OpenFlow的软件定义网络（Software Define Network，SDN）环境中，通过控制器以最快速度轮询OpenFlow交换机内各类计数器进行检测，但只能统计微突发发生的轮询时间段。斯坦福大学教授NickMcKeown于2014年设计并提出了协议无关报文处理语言（ProgrammingProtocolindependent Packet Processors，P4），工业界跟进研制了一系列可编程交换机。主要包含 Barefoot Tofino，CaviumXPliant以及NetronomeNICs等。以P4交换机为代表的可编程交换机可向数据包暴露设备内部性能数据（如报文排队时延等），为细粒度检测微突发提供了技术基础。
经过调研发现，目前针对于微突发流的测量主要分为两大类，一类是在传统交换机上使用轮询计数器的方法进行检测，但是这种方法由于检测的粒度粗，从而无法检测到微突发的产生；另外一类是基于可编程交换机的方法，但是这种方法需要传输所有的微突发流数据包进行微突发流信息的获取，所占用的带宽开销较大，会严重影响可编程交换机的转发性能。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了基于可编程交换机的网络微突发流检测方法及相关设备，其目的在于，在不影响可编程交换机的转发性能的情况下，实现网络微突发流的检测并提供微突发流信息。
为实现上述目的，按照本发明的一个方面，提供了一种基于可编程交换机的网络微突发流检测方法，包括在可编程交换机的数据平面执行的以下步骤：
微突发流检测步骤：在数据包进入可编程交换机后，从其包头中提取数据包出队列时的队列深度，若大于预设的第一拥塞阈值，则判定其为微突发流数据包；
微突发流存储步骤：利用布隆过滤器和可逆布隆查找表存储微突发流数据包中携带的流信息；布隆过滤器和可逆布隆查找表长度相等，且初始值均为0；可逆布隆查找表中，各槽位存储的信息包括：对应的流的流id异或值、流计数以及包计数；对于任意一个微突发流数据包P，其所携带的流F信息的存储方式包括：
利用布隆过滤器判断流F的信息是否已经存储，若是，则确定可逆布隆查找表中与流F对应的槽位，并更新这些槽位中的包计数；否则，确定可逆布隆查找表中与流F对应的槽位，更新这些槽位的流id异或值、流计数和包计数，并将布隆过滤器中与流F对应的槽位置为1；
以及微突发流传输步骤：按照原始转发路径转发进入可编程交换机的各数据包；每经过预设的时间间隔后，选取指定数量的数据包进行镜像，得到自定义数据包，将当前可逆布隆查找表中的内容嵌入自定义数据包的包头后，将自定义数据包包头传输至可编程交换机的控制平面。
进一步地，微突发流存储步骤中，对于任意一个微突发流数据包P，其所携带的流F信息的存储方式包括如下子步骤：
（S1）对流F的id进行散列，得到布隆过滤器中与流F对应的槽位，若各槽位均不为0，则判定流F的信息已经存储，并转入步骤（S4）；否则，转入步骤（S2）；
（S2）将布隆过滤器中与流F对应的槽位置为1；
（S3）根据流F的id的散列结果，确定可逆布隆查找表中与流F对应的槽位，对于每一个槽位，按照如下方式进行更新后转入步骤（S5）：
将槽位内的流id异或值更新为原流id异或值与流F的id进行异或运算后的结果；
将槽位内的流计数加1；
将槽位内的包计数加1；
（S4）根据所述流F的id的散列结果，确定可逆布隆查找表中与流F对应的槽位，对于每一个槽位，按照如下方式进行更新后转入步骤（S5）
将槽位内的包计数加1；
（S5）微突发流数据包P所携带的流F的信息存储结束。
进一步地，微突发流传输步骤中，将当前可逆布隆查找表中的内容嵌入自定义数据包的包头，包括：
创建遥测头；遥测头包括：自定义数据包原始的协议号，自定义数据包出队列时的队列深度，IBLT位图，以及IBLT数据；
将自定义数据包中原始的协议号替换为自定义协议号，剔除载荷数据，并将遥测头插入自定义数据包的包头；
将可逆布隆查找表中各槽位清零；
其中，IBLT位图用于标识可逆布隆查找表中非零槽位的位置，IBLT数据用于记录可逆布隆查找表中非零槽位的内容以及最后一个槽位的内容；自定义协议号用于指示该自定义数据包为携带有微突发流信息的数据包。
进一步地，本发明提供的基于可编程交换机的网络微突发流检测方法，还包括：在可编程交换机的控制平面执行的解码步骤，用于从来自数据平面的自定义数据包中解码出微突发流信息；对于任意一个自定义数据包P'，其解码过程包括如下子步骤：
（T1）从自定义数据包P'中解析得到IBLT位图和IBLT数据后，重建得到可逆布隆查找表IBLT'；
（T2）获取可逆布隆查找表IBLT'中流计数为1的槽位，遍历这些槽位，对于遍历到的每一个槽位，提取其中的流id异或值，作为一个微突发流F'的流id，记为idF'，并提取当前槽位内的包计数，得到微突发流F'所包含的包数量CF'，对微突发流F'的id进行散列，得到微突发流F'对应的槽位，将各槽位内的流id异或值与idF'进行异或，并将槽位内的流计数减去1、包计数减去CF'；
（T3）重复执行步骤（T2），直至可逆布隆查找表IBLT'中不存在流计数为1的槽位，自定义数据包P'的解码过程结束。
进一步地，微突发流检测步骤还包括：
对于微突发流数据包，根据其出队列时的队列深度对数据包的拥塞程度进行等级划分；
并且，微突发流存储步骤中，针对每一个拥塞等级，分别创建对应的布隆过滤器和可逆布隆查找表，用于存储对应拥塞等级的微突发流数据包所属流的信息。
进一步地，对于微突发流数据包，根据其出队列时的队列深度对数据包的拥塞程度进行等级划分，方式如下：
若微突发流数据包出队列时的队列深度，则判断该微突发流数据包所属的拥塞等级为中度拥塞；
若，则判断该微突发流数据包所属的拥塞等级为高度拥塞；
其中，为可编程交换机的最大队列深度；/>为第一拥塞阈值，/>为预设的第二拥塞阈值，/>。
进一步地，，/>。
按照本发明的又一个方面，提供了一种网络微突发流检测器，包括：
计算机可读存储介质，用于存储计算机程序；
以及处理器，用于读取计算机可读存储介质中存储的计算机程序，执行本发明提供的基于可编程交换机的网络微突发流检测方法。
按照本发明的又一个方面，提供了一种可编程交换机，该可编程交换机搭载有本发明提供的网络微突发流检测器。
进一步地，本发明提供的可编程交换机为P4交换机。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
（1）本发明在可编程交换机的数据平面，基于数据包包头内的队列深度信息完成微突发流数据包的检测，实现了细粒度的微突发流检测，基于布隆过滤器和可逆布隆查找表实现了对微突发流信息的轻量级存储，在此基础上，通过定时镜像的转发方式，以极低的带宽开销将微突发流信息的转发到了控制平面，在不影响交换机数据包转发功能的情况下，提供了微突发流信息。
（2）本发明将存储于数据平面的微突发流信息转发至控制平面时，利用IBLT位图和IBLT数据对可逆布隆查找表中非零槽位的位置和内容进行记录，该记录将被嵌入到镜像得到的自定义数据包的头部，同时自定义数据包的载荷数据被剔除，在保证微突发流信息被完整转发到控制平面的基础上，尽可能减少了转发微突发流信息所占用的带宽开销，避免了对交换机正常转发功能的影响。
（3）本发明进一步在可编程交换机的控制平面，利用数据包中的IBLT位图和IBLT数据重建可逆布隆查找表，并从其中流计数为1的槽位开始提取微突发流的id信息和包计数信息，每提取一个微突发流的信息，则通过相应的运算将该微突发流的信息从可逆布隆查找表中消除，之后继续查找流计数为1的槽位，并执行相同的操作，由此能够完整、准确获取到微突发流信息。
附图说明
图1为现有的基于Tofino架构的P4交换机数据平面架构图。
图2为本发明实施例提供的基于可编程交换机的网络微突发流检测方法示意图。
图3为本发明实施例提供的布隆过滤器及可逆布隆查找表的结构示意图。
图4为本发明实施例提供的流信息存储过程示意图。
图5为本发明实施例提供的嵌入了可逆布隆查找表中内容的自定义数据包的包头示意图。
图6为本发明实施例提供的数据解码示意图。
图7为本发明实施例提供的微突发流检测方法的测试网络拓扑图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决在传统交换机上使用轮询计数器的检测方法无法检测到微突发流，而现有的基于可编程交换机的检测方法为提供微突发流信息，占用带宽较大的问题，本发明提供了基于可编程交换机的网络微突发流检测方法及相关设备，其整体思路在于：利用可编程交换机能够细粒度检测每个数据包的队列深度的特性，从各数据包的包头中提取数据包出队列时的队列深度，作为拥塞指标，实现细粒度的微突发流检测；对于微突发流，采用BF和IBLT实现微突发流信息的轻量级存储，并通过定时镜像的方式以较小的带宽开销将所存储的微突发流信息转发至控制层面，在不影响交换机转发性能的情况下，提供微突发流信息。
本发明所提供的微突发流检测方法，可适用于任意一种可编程交换机，不失一般性地，在以下实施例中，均以P4交换机为例进行说明。
可编程交换机一般分为数据平面和控制平面，图1所示为现有的基于Tofino架构的P4交换机的数据平面架构图，如图1所示，当数据包转发到出口流水线时，P4 交换机在数据包头部向量（PHV，Packet Header Vector）内附加出口固有元数据，Tofino架构下包含出端口id，出队列时队列深度等相关性能数据。为便于描述，在以下实施例中，具体以图1所示的P4交换机为例进行说明。
以下为实施例。
实施例1：
一种基于可编程交换机的网络微突发流检测方法，如图2所示，包括在可编程交换机的数据平面执行微突发流检测步骤、微突发流存储步骤以及微突发流传输步骤。以下针对各步骤进行具体说明。
本实施例中，微突发流检测步骤在数据包进入可编程交换机后根据数据包中出队列时的队列深度判断数据包是否是微突发流数据包，对于微突发流数据包，会存储相应的流信息，该流信息即为微突发流信息，在后续步骤将转发到控制平面；相应地，本实施例设置了第一拥塞阈值，用于检测数据包是否是微突发流数据包，具体地，若数据包出队列时的队列深度大于第一拥塞阈值，说明该数据包在短时间内经历了网络拥塞，则判定其为微突发流数据包。
本实施例中，为了为后续提供更多的微突发流信息，并保证后续解码的准确度，本实施例对于检测到的微突发流数据包，会进一步根据其出队列时的队列深度对数据包的拥塞程度进行等级划分；可选地，本实施例中，对于微突发流数据包，具体划分了两个拥塞等级，即中度拥塞和重度拥塞；中度拥塞数据包和重度拥塞数据包依据第二拥塞阈值判断。
可选地，本实施例中，根据交换机最大排队时延确定两个阈值的具体取值；经过测试，Tofino芯片下单个 10G 端口缓冲区最大为 15.5Mb 左右，最大排队时延1550左右，直连 P4 交换机的终端平均 RTT 在 80/>左右；基于此，设/>为最大队列深度，第一拥塞阈值和第二拥塞阈值分别为最大队列深度/>的0.05和0.2，数据包分类结果如表1所示。具体地，出队列时队列深度在0~0.05/>范围内的数据包为无拥塞数据包，不存储流信息；出队列时队列深度在0.05 ~ 0.2/>范围内的数据包为中度拥塞数据包，即时延至少增加一倍 RTT，性能受到影响的数据包，需存储相应的流信息；出队列时队列深度在0.2~ 1.0/>范围内的数据包为重度拥塞数据包，此类数据包经历严重拥塞，交换机甚至产生丢包，也需要存储相应的流信息。
基于以上微突发流检测步骤，本实施例基于数据包出队列时的队列深度实现了细粒度、准确的微突发流检测。基于以上微突发流检测步骤的检测结果，本实施例的微突发流存储步骤利用BF（Bloom Filter, 布隆过滤器）和IBLT（Invertible Bloom filter LookupTable, 可逆布隆查找表）设计并实现了微突发流的轻量级存储方案，在该方案中，多个微突发流的信息被压缩到同一个表项，并且，由于IBLT能够在常数级时间复杂度内处理哈希冲突，因此，本实施例可以在几乎不影响交换机转发性能的情况下实现微突发流信息的存储。
本实施中，布隆过滤器用于记录交换机中出现的流的信息，因此，基于布隆过滤器，可检测产生微突发流的数据包是否是新流从而决定是否需要对当前数据包的所有流信息进行存储；可逆布隆查找表则用于存储微突发流的信息，具体地，如图3所示，可逆布隆查找表中，各槽位存储的信息包括以下三个方面的信息：
（1）flowXOR：流id异或值，代表映射存储到该槽位的所有网络流id的异或值；流的id用于唯一表示一个流，本实施例中，具体使用五元组（源/目的IP，源/目的端口，传输层协议号）作为流的id；
（2）flowCount：流计数，代表存储到该槽位所有不同网络流的流个数；
（3）pktCount：包计数，代表存储到该槽位的所有数据包的个数。
基于以上存储机制，对于一个微突发流数据包，本实施例会对其所属流的id进行散列，得到多个散列值，这多个散列值标识了BF中与当前流所对应的槽位，若各槽位的值均不为0，说明当前微突发流数据包并非流中的第一个数据包，因此，当前流的信息已经存储到了IBLT中，只需要更新其对应槽位中的包计数器；否则，说明当前微突发流数据包是流中的第一个数据包，当前流的信息此前未进行存储，因此，需要将BF中的这些槽位置为1，同时将当前流的信息存储到IBLT中。IBLT的核心思想是固定哈希表大小，不处理哈希碰撞，而是主动“拥抱”碰撞，将待插入元素与槽位内已有数据相结合，实现常数级时间复杂度的数据插入过程。
基于以上存储机制，本实施例中，微突发流存储步骤包括：利用布隆过滤器和可逆布隆查找表存储微突发流数据包中携带的流信息；如图4所示，对于任意一个微突发流数据包P，其所携带的流F信息的存储方式包括如下子步骤：
（S1）对流F的id进行散列，得到布隆过滤器中与流F对应的槽位，若各槽位均不为0，则判定流F的信息已经存储，并转入步骤（S4）；否则，转入步骤（S2）；
（S2）将布隆过滤器中与流F对应的槽位置为1；
（S3）根据流F的id的散列结果，确定可逆布隆查找表中与流F对应的槽位，对于每一个槽位，按照如下方式进行更新后转入步骤（S5）：
将槽位内的流id异或值更新为原流id异或值与流F的id进行异或运算后的结果；
将槽位内的流计数加1；
将槽位内的包计数加1；
（S4）根据所述流F的id的散列结果，确定可逆布隆查找表中与流F对应的槽位，对于每一个槽位，按照如下方式进行更新后转入步骤（S5）：
将槽位内的包计数加1；
（S5）微突发流数据包P所携带的流F的信息存储结束。
考虑到本实施例的微突发流检测步骤中，对于微突发流数据包进行了更为细致的分类，同时为避免压缩到同一个表项中的微突发流过多，本实施例的微突发流存储步骤中，对于每一个拥塞等级，会分别创建对应的布隆过滤器和可逆布隆查找表，用于存储对应拥塞等级的微突发流数据包所属流的信息，每一个拥塞等级下的微突发流的信息存储方式相同，具体可参考以上步骤（S1）~（S5）的描述。
进行微突发流信息存储时，散列值哈希函数的选取有多种方式，可以根据布隆过滤器的长度和可编程交换机中所支持的哈希函数进行选取，并且哈希函数的个数可以根据可编程交换机的内存限制和实际需求自由选择；可选地，本实例选取了CRC32、CRC16作为微突发流的哈希函数，这两个散列值哈希函数分别用符号记为h1()和h2()；图4中，h1(F1)和h2(F1)分别表示利用这两个哈希函数对流F1的id进行计算得到的散列值，h1(F2)和h2(F2)分别表示利用这两个哈希函数对流F2的id进行计算得到的散列值。
基于以上微突发流存储步骤，本实施例实现了微突发流信息的轻量级存储，在此基础上，本实施例的微突发流传输步骤，用于在不影响交换机转发功能的情况下，将微突发流信息转发到控制平面，以供后续的分析处理。具体地，本实施例中，微突发流传输步骤具体包括：按照原始转发路径转发进入可编程交换机的各数据包；每经过预设的时间间隔后，选取指定数量的数据包进行镜像，得到自定义数据包，将当前可逆布隆查找表中的内容嵌入自定义数据包的包头后，将自定义数据包传输至可编程交换机的控制平面。
本实施例的微突发流检测步骤中，将当前可逆布隆查找表中的内容嵌入各自定义数据包的包头，具体包括：
创建遥测头；如图5所示，遥测头包括：自定义数据包原始的协议号，自定义数据包出队列时的队列深度，IBLT位图，以及IBLT数据；
将自定义数据包中原始的协议号替换为自定义协议号，剔除载荷数据，并将遥测头插入自定义数据包的包头；
将可逆布隆查找表中各槽位清零；
其中，IBLT位图用于标识可逆布隆查找表中非零槽位的位置，IBLT数据用于记录可逆布隆查找表中非零槽位的内容以及最后一个槽位的内容；自定义协议号用于指示该自定义数据包为携带有微突发流信息的数据包；
本实施例中，进行镜像时，所选取的数据包的数量具体与IBLT的长度相同；对于选取的数据包，原始的协议号为IPv4；容易理解的是，自定义协议号不能与现有的协议号相冲突，可选地，本实施例中，该自定义的协议号具体为0xFA。
上述微突发流传输步骤，利用到达出口流水线的镜像数据包遍历 IBLT 内每一槽位，同时只将IBLT中的非零数据嵌入包头，并在数据包包头记录 IBLT 序号和槽位所包含的微突发流信息后将其镜像传输至控制平面，与此同时，将IBLT内该槽位清零。本实施例中，IBLT最后一个槽位内的数据无论是否为零都镜像至控制平面，以标志传输过程结束。
该转发策略可视为一种定时镜像的策略，由于转发操作并非持续发生，且IBLT中仅非零数据需要被转发，此外，IBLT中存储的微突发流信息本身经过了压缩，因此，每次需要转发的数据量较小，相应地，转发嵌入有微突发流信息的数据包所占用的带宽开销极小，不会影响交换机对于正常数据包的转发功能。因此，本实施例可在不影响交换机转发功能的情况下，提供微突发流信息。
在以上微突发流转发步骤的基础上，本实施例可在控制平面对数据平面所转发的嵌入有微突发流信息的数据包进行解析，以获取微突发流信息。相关步骤具体通过控制平面执行的解码步骤。
如图6所示，对于任意一个自定义数据包P'，其解码过程包括如下子步骤：
（T1）从自定义数据包P'中解析得到IBLT位图和IBLT数据后，重建得到可逆布隆查找表IBLT'；
由于IBLT位图记录了非零槽位的位置，IBLT数据记录了非零槽位内的内容，将非零槽位内的内容填充到对应位置，即可重建得到IBLT'；
（T2）获取可逆布隆查找表IBLT'中流计数为1的槽位，遍历这些槽位，对于遍历到的每一个槽位，提取其中的流id异或值，作为一个微突发流F'的流id，记为idF'，并提取当前槽位内的包计数，得到微突发流F'所包含的包数量CF'，对微突发流F'的id进行散列，得到微突发流F'对应的槽位，将各槽位内的流id异或值与idF'进行异或，并将槽位内的流计数减去1、包计数减去CF'；
槽位的流计数为1，说明该槽位仅记录了一个微突发流的信息，可从该槽位内容中提取该微突发流的id和数据包数量，基于该微突发流的散列值可获得IBLT'中对应的槽位，将各槽位内的流id异或值与idF'进行异或，并将槽位内的流计数减去1、包计数减去CF'，可完成单个流信息的解码和消去；
（T3）重复执行步骤（T2），直至可逆布隆查找表IBLT'中不存在流计数为1的槽位，自定义数据包P'的解码过程结束。
基于解码步骤，本实施例能够在控制平面解析得到完整的微突发流信息，便于后续的进一步分析利用。
总体而言，本实施例基于数据包包头内的队列深度信息完成微突发流数据包的检测，实现了细粒度的微突发流检测，基于布隆过滤器和可逆布隆查找表实现了对微突发流信息的轻量级存储，在此基础上，通过定时镜像的转发方式，以极低的带宽开销将微突发流信息的转发到了控制平面，在不影响交换机数据包转发功能的情况下，提供了微突发流信息。
为了本实施例所提供的微突发流检测方法在交换机中的实际部署效果，在基于Tofino架构的P4交换机TofinoX321P-T中对提出的基于P4的数据中心网络中的微突发流检测机制进行部署实现，同时使用了三台服务器和P4交换机相连接，搭建了如图7所示的网络拓扑。在服务器1中采用DPDK发送 10Gbps 的背景流量，服务器2使用tcpreplay间接性满速重放微突发流数据集，其速率可达到2.5Gbps，P4交换机中的端口速率设置为10Gbps,服务器1和服务器2的数据均经过P4交换机发往服务器3，从而能够在P4交换机内形成微突发流量。P4交换机自身的管理CPU作为控制器，接收镜像报文并解码获取微突发流信息。其获取的部分微突发流信息如表2所示，表2中，Source_IP、Source_Port、Dst_IP和Dst_Port分别表示五元组中的源IP、源端口、目的IP和目的端口，Count表示流中所包含的数据包个数。
表2所示结果显示，本实施例可有效检测到微突发流，并获取到微突发流的id和数据包数量信息。
实施例2：
一种网络微突发流检测器，包括：
计算机可读存储介质，用于存储计算机程序；
以及处理器，用于读取计算机可读存储介质中存储的计算机程序，执行上述实施例1提供的基于可编程交换机的网络微突发流检测方法。
实施例3：
一种可编程交换机，该可编程交换机搭载有上述实施例2提供的网络微突发流检测器。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于可编程交换机的网络微突发流检测方法，其特征在于，包括在所述可编程交换机的数据平面执行的以下步骤：
微突发流检测步骤：在数据包进入可编程交换机后，从其包头中提取数据包出队列时的队列深度，若大于预设的第一拥塞阈值，则判定其为微突发流数据包；
微突发流存储步骤：利用布隆过滤器和可逆布隆查找表存储微突发流数据包中携带的流信息；所述布隆过滤器和所述可逆布隆查找表长度相等，且初始值均为0；所述可逆布隆查找表中，各槽位存储的信息包括：对应的流的流id异或值、流计数以及包计数；对于任意一个微突发流数据包P，其所携带的流F信息的存储方式包括：
利用布隆过滤器判断流F的信息是否已经存储，若是，则确定可逆布隆查找表中与流F对应的槽位，并更新这些槽位中的包计数；否则，确定可逆布隆查找表中与流F对应的槽位，更新这些槽位的流id异或值、流计数和包计数，并将所述布隆过滤器中与流F对应的槽位置为1；
以及微突发流传输步骤：按照原始转发路径转发进入可编程交换机的各数据包；每经过预设的时间间隔后，选取指定数量的数据包进行镜像，得到自定义数据包，将当前所述可逆布隆查找表中的内容嵌入自定义数据包的包头后，将自定义数据包包头传输至所述可编程交换机的控制平面。
2.如权利要求1所述的基于可编程交换机的网络微突发流检测方法，其特征在于，所述微突发流存储步骤中，对于任意一个微突发流数据包P，其所携带的流F信息的存储方式包括如下子步骤：
（S1）对所述流F的id进行散列，得到所述布隆过滤器中与所述流F对应的槽位，若各槽位均不为0，则判定所述流F的信息已经存储，并转入步骤（S4）；否则，转入步骤（S2）；
（S2）将所述布隆过滤器中与所述流F对应的槽位置为1；
（S3）根据所述流F的id的散列结果，确定可逆布隆查找表中与流F对应的槽位，对于每一个槽位，按照如下方式进行更新后转入步骤（S5）：
将槽位内的流id异或值更新为原流id异或值与流F的id进行异或运算后的结果；
将槽位内的流计数加1；
将槽位内的包计数加1；
（S4）根据所述流F的id的散列结果，确定可逆布隆查找表中与流F对应的槽位，对于每一个槽位，按照如下方式进行更新后转入步骤（S5）：
将槽位内的包计数加1；
（S5）所述微突发流数据包P所携带的流F的信息存储结束。
3.如权利要求2所述的基于可编程交换机的网络微突发流检测方法，其特征在于，所述微突发流传输步骤中，将当前所述可逆布隆查找表中的内容嵌入自定义数据包的包头，包括：
创建遥测头；所述遥测头包括：自定义数据包原始的协议号，自定义数据包出队列时的队列深度，IBLT位图，以及IBLT数据；
将自定义数据包中原始的协议号替换为自定义协议号，剔除载荷数据，并将所述遥测头插入自定义数据包的包头；
将所述可逆布隆查找表中各槽位清零；
其中，所述IBLT位图用于标识所述可逆布隆查找表中非零槽位的位置，所述IBLT数据用于记录所述可逆布隆查找表中非零槽位的内容以及最后一个槽位的内容；所述自定义协议号用于指示该自定义数据包为携带有微突发流信息的数据包。
4.如权利要求3所述的基于可编程交换机的网络微突发流检测方法，其特征在于，还包括：在所述可编程交换机的控制平面执行的解码步骤，用于从来自数据平面的自定义数据包中解码出微突发流信息；对于任意一个自定义数据包P'，其解码过程包括如下子步骤：
（T1）从所述自定义数据包P'中解析得到IBLT位图和IBLT数据后，重建得到可逆布隆查找表IBLT'；
（T2）获取可逆布隆查找表IBLT'中流计数为1的槽位，遍历这些槽位，对于遍历到的每一个槽位，提取其中的流id异或值，作为一个微突发流F'的流id，记为idF'，并提取当前槽位内的包计数，得到微突发流F'所包含的包数量CF'，对微突发流F'的id进行散列，得到微突发流F'对应的槽位，将各槽位内的流id异或值与idF'进行异或，并将槽位内的流计数减去1、包计数减去CF'；
（T3）重复执行步骤（T2），直至可逆布隆查找表IBLT'中不存在流计数为1的槽位，自定义数据包P'的解码过程结束。
5.如权利要求1~4任一项所述的基于可编程交换机的网络微突发流检测方法，其特征在于，所述微突发流检测步骤还包括：
对于微突发流数据包，根据其出队列时的队列深度对数据包的拥塞程度进行等级划分；
并且，所述微突发流存储步骤中，针对每一个拥塞等级，分别创建对应的布隆过滤器和可逆布隆查找表，用于存储对应拥塞等级的微突发流数据包所属流的信息。
6.如权利要求5所述的基于可编程交换机的网络微突发流检测方法，其特征在于，对于微突发流数据包，根据其出队列时的队列深度对数据包的拥塞程度进行等级划分，方式如下：
若微突发流数据包出队列时的队列深度，则判断该微突发流数据包所属的拥塞等级为中度拥塞；
若，则判断该微突发流数据包所属的拥塞等级为高度拥塞；
其中，为所述可编程交换机的最大队列深度；/>为所述第一拥塞阈值，/>为预设的第二拥塞阈值，/>。
7.如权利要求6所述的基于可编程交换机的网络微突发流检测方法，其特征在于，，/>。
8.一种网络微突发流检测器，其特征在于，包括：
计算机可读存储介质，用于存储计算机程序；
以及处理器，用于读取所述计算机可读存储介质中存储的计算机程序，执行权利要求1~7任一项所述的基于可编程交换机的网络微突发流检测方法。
9.一种可编程交换机，其特征在于，搭载有权利要求8所述的网络微突发流检测器。
10.如权利要求9所述的可编程交换机，其特征在于，所述可编程交换机为P4交换机。
CN202310851184.1A 2023-07-12 2023-07-12 基于可编程交换机的网络微突发流检测方法及相关设备 Active CN116582507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310851184.1A CN116582507B (zh) 2023-07-12 2023-07-12 基于可编程交换机的网络微突发流检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310851184.1A CN116582507B (zh) 2023-07-12 2023-07-12 基于可编程交换机的网络微突发流检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN116582507A true CN116582507A (zh) 2023-08-11
CN116582507B CN116582507B (zh) 2023-10-03

Family

ID=87538196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310851184.1A Active CN116582507B (zh) 2023-07-12 2023-07-12 基于可编程交换机的网络微突发流检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN116582507B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212296A1 (en) * 2012-02-13 2013-08-15 Juniper Networks, Inc. Flow cache mechanism for performing packet flow lookups in a network device
US20140269378A1 (en) * 2013-03-14 2014-09-18 Arista Networks, Inc. System And Method For Determining A Cause Of Network Congestion
US20170012851A1 (en) * 2015-07-07 2017-01-12 Dell Products L.P. Microburst monitoring system
US20170195259A1 (en) * 2016-01-05 2017-07-06 Knuedge, Inc. Flow control through packet router
US20180063084A1 (en) * 2016-09-01 2018-03-01 Hewlett Packard Enterprise Development Lp Filtering of packets for packet types at network devices
US20180063007A1 (en) * 2016-08-31 2018-03-01 Viavi Solutions Inc. Microburst buffering circuit
WO2018150223A1 (en) * 2017-02-14 2018-08-23 Telefonaktiebolaget Lm Ericsson (Publ) A method and system for identification of traffic flows causing network congestion in centralized control plane networks
US20180351883A1 (en) * 2017-06-04 2018-12-06 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Network packet microburst detection via network switching device hardware supporting quantizied congestion notification
CN110460528A (zh) * 2018-05-07 2019-11-15 天津师范大学 命名数据网转发平面的fib存储结构及其使用方法
US20210320866A1 (en) * 2020-01-28 2021-10-14 Intel Corporation Flow control technologies
CN114745309A (zh) * 2022-03-10 2022-07-12 华中科技大学 一种基于可编程数据平面的微突发检测与消除方法、系统
US20220311691A1 (en) * 2021-03-24 2022-09-29 Arista Networks, Inc. System and method for scalable and accurate flow rate measurement
CN115442275A (zh) * 2022-07-27 2022-12-06 北京邮电大学 基于分级可信流的混合遥测方法和系统
CN115967675A (zh) * 2022-12-02 2023-04-14 北京理工大学 一种基于布隆过滤器的ndn路由表建立查找方法
CN115967673A (zh) * 2022-09-30 2023-04-14 深圳大学 一种基于p4可编程交换机的大流五元组的查询方法
US20230155947A1 (en) * 2021-11-15 2023-05-18 Huawei Technologies Co., Ltd. Method for identifying flow, and apparatus

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212296A1 (en) * 2012-02-13 2013-08-15 Juniper Networks, Inc. Flow cache mechanism for performing packet flow lookups in a network device
US20140269378A1 (en) * 2013-03-14 2014-09-18 Arista Networks, Inc. System And Method For Determining A Cause Of Network Congestion
US20170012851A1 (en) * 2015-07-07 2017-01-12 Dell Products L.P. Microburst monitoring system
US20170195259A1 (en) * 2016-01-05 2017-07-06 Knuedge, Inc. Flow control through packet router
US20180063007A1 (en) * 2016-08-31 2018-03-01 Viavi Solutions Inc. Microburst buffering circuit
US20180063084A1 (en) * 2016-09-01 2018-03-01 Hewlett Packard Enterprise Development Lp Filtering of packets for packet types at network devices
WO2018150223A1 (en) * 2017-02-14 2018-08-23 Telefonaktiebolaget Lm Ericsson (Publ) A method and system for identification of traffic flows causing network congestion in centralized control plane networks
US20180351883A1 (en) * 2017-06-04 2018-12-06 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Network packet microburst detection via network switching device hardware supporting quantizied congestion notification
CN110460528A (zh) * 2018-05-07 2019-11-15 天津师范大学 命名数据网转发平面的fib存储结构及其使用方法
US20210320866A1 (en) * 2020-01-28 2021-10-14 Intel Corporation Flow control technologies
US20220311691A1 (en) * 2021-03-24 2022-09-29 Arista Networks, Inc. System and method for scalable and accurate flow rate measurement
US20230155947A1 (en) * 2021-11-15 2023-05-18 Huawei Technologies Co., Ltd. Method for identifying flow, and apparatus
CN114745309A (zh) * 2022-03-10 2022-07-12 华中科技大学 一种基于可编程数据平面的微突发检测与消除方法、系统
CN115442275A (zh) * 2022-07-27 2022-12-06 北京邮电大学 基于分级可信流的混合遥测方法和系统
CN115967673A (zh) * 2022-09-30 2023-04-14 深圳大学 一种基于p4可编程交换机的大流五元组的查询方法
CN115967675A (zh) * 2022-12-02 2023-04-14 北京理工大学 一种基于布隆过滤器的ndn路由表建立查找方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MIZRAHI, A: "Invertible Bloom Lookup Tables with Listing Guarantees", 《ARXIV》 *
QIZHAO ZHOU: "A Conflict-Free Flow Rule Management Algorithm in SDN Switches", 《IEEE》 *
Z. LV: "Finding Persistent Items using Invertible Bloom Lookup Table", 《IEEE》 *
刘斌 等: "一种基于重叠位图的路由查找算法", 《计算机学报》, vol. 41, no. 9 *
杨秋吉: "面向Storm的数据流编程模型与编译优化方法研究", 《计算机工程与科学》, vol. 38, no. 12 *
王乾;乔庐峰;陈庆华;: "可加速最长前缀匹配的布隆过滤查找方案", 通信技术, no. 07 *
赵君杨: "轻量级细粒度微突发测量方法研究", 《万方数据》, pages 1 - 76 *

Also Published As

Publication number Publication date
CN116582507B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US8000251B2 (en) Instrumenting packet flows
USRE48645E1 (en) Exporting real time network traffic latency and buffer occupancy
Iannaccone et al. Monitoring very high speed links
JP4594258B2 (ja) システム分析装置およびシステム分析方法
US7898969B2 (en) Performance measurement in a packet transmission network
US10237192B2 (en) Apparatus and system for optimizing communication networks
US8593947B2 (en) Congestion detection method, congestion detection apparatus, and recording medium storing congestion detection program recorded thereon
CN112688837B (zh) 基于时间滑动窗口的网络测量方法与装置
US8867350B2 (en) Method and apparatus for packet buffering measurement
CN111385163A (zh) 流量的分析、检测方法及装置
CN113300916B (zh) 一种基于流水印的数据中心网络拥塞检测系统及方法
CN113746700B (zh) 一种基于概率采样的大象流快速检测方法及系统
CN113507396B (zh) 一种网络状态分析方法、装置、设备及机器可读存储介质
US20050117513A1 (en) Flow generation method for internet traffic measurement
CN116582507B (zh) 基于可编程交换机的网络微突发流检测方法及相关设备
CN112825507A (zh) 网络设备中的流监测
CN112565821B (zh) 数据处理方法、装置、安全网关及存储设备
JP2004032377A (ja) ボトルネック推定方法並びに装置および前記方法のプログラムを記録したコンピュータ読取り可能な記録媒体
CN112688824B (zh) Rtp丢包检测方法、装置、设备及计算机可读存储介质
US7869368B2 (en) Performance measuring in a packet transmission network
CN113194007A (zh) 一种网络可用带宽测量方法、系统、设备及可读存储介质
Ahsan et al. DASHing towards hollywood
WO2023174346A1 (zh) 碰撞检测方法、电子设备、计算机可读介质
Shirmarz et al. From Pixels to Packets: Traffic Classification of Augmented Reality and Cloud Gaming
CN113595816A (zh) 一种数据流测算方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant