CN113300916A - 一种基于流水印的数据中心网络拥塞检测系统及方法 - Google Patents

一种基于流水印的数据中心网络拥塞检测系统及方法 Download PDF

Info

Publication number
CN113300916A
CN113300916A CN202110846964.8A CN202110846964A CN113300916A CN 113300916 A CN113300916 A CN 113300916A CN 202110846964 A CN202110846964 A CN 202110846964A CN 113300916 A CN113300916 A CN 113300916A
Authority
CN
China
Prior art keywords
stream
data
watermark
flow
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110846964.8A
Other languages
English (en)
Other versions
CN113300916B (zh
Inventor
陶静
莫露莎
吕高锋
李韬
全巍
谭靖
乔冠杰
段晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110846964.8A priority Critical patent/CN113300916B/zh
Publication of CN113300916A publication Critical patent/CN113300916A/zh
Application granted granted Critical
Publication of CN113300916B publication Critical patent/CN113300916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明属于数字信息的传输领域，提供了基于流水印的数据中心网络拥塞检测系统及方法，解决了现有网络拥塞检测技术延时高且吞吐量小的问题，该系统的第一智能网卡内设有流水印嵌入模块，其用于根据数据流的五元组信息哈希生成流水印数据，对数据流所到达的数据包嵌入流水印；第二智能网卡内设有流水印解码模块，用于接收多跳拓扑传送来的嵌入水印后的数据流，解码出流水印数据；控制器内设有网络状态分析模块，其用于根据预先训练好的流传输路径状态分析模型，对哈希生成的流水印数据及流解码结果进行处理，得到流传输路径的网络状况，提高了网络拥塞检测精度且满足了数据中心网络的零丢包、低延时及高吞吐量需求。

Description

一种基于流水印的数据中心网络拥塞检测系统及方法
技术领域
本发明属于数字信息的传输领域，尤其涉及一种基于流水印的数据中心网络拥塞检测系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在数字信息的传输领域中，网络高速发展伴随网络拥塞，仅仅增加带宽并不能提高应用程序的性能，网络转型的方向正在从高带宽向低延迟转变。为满足人工智能时代高效处理数据的需求，零丢包、低延迟、高吞吐量成为下一代数据中心网络的三大核心要求。而数据中心网络中的突发流量持续时间仅为秒级或毫秒极，因此需要细粒度的实时拥塞检测。
现有的网络拥塞检测技术存在探测精度差且带宽消耗大，不能监测全局网络信息或端到端信息，很难取得计算、存储、带宽开销之间的均衡，带内遥测的数据包有效载荷比低，交换机处理负担大，无法满足数据中心网络的零丢包、低延时及高吞吐量需求。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于流水印的数据中心网络拥塞检测系统及方法，其根据预先训练好的流传输路径状态分析模型，对哈希生成的流水印数据及流解码结果进行处理，得到流传输路径的网络状况，能够提高网络拥塞检测的精度且满足数据中心网络的零丢包、低延时及高吞吐量需求。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于流水印的数据中心网络拥塞检测系统，其包括第一智能网卡、第二智能网卡和控制器：
所述第一智能网卡内设有流水印嵌入模块，所述流水印嵌入模块用于根据数据流的五元组信息哈希生成流水印数据，基于数据流所处时隙与需要编码的流水印数据，对数据流所到达的数据包进行直接转发或延时操作来嵌入流水印；
所述第二智能网卡内设有流水印解码模块，所述流水印解码模块用于接收多跳拓扑传送来的嵌入水印后的数据流，解码出流水印数据；
所述控制器内设有网络状态分析模块，所述网络状态分析模块用于根据预先训练好的流传输路径状态分析模型提取流数据信息的特征向量，计算特征向量到预设数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上的网络状况；其中一个质心表示一种网络状况，流数据信息由哈希生成的流水印数据及流解码结果构成。
进一步地，在所述流水印嵌入模块中，所述流水印数据存储在流水印数据寄存器中，需要编码的流水印数据是从流水印数据寄存器中选取的最低两位数据。
进一步地，在所述流水印嵌入模块中，流水印数据寄存器由流水印数据进行初始化，当每次需要编码的两位流水印数据编码完后，流水印数据寄存器向右移两位，直至编码完成。
进一步地，在所述流水印嵌入模块和流水印解码模块中，将流水印嵌入操作的时间周期和流水印解码操作的时间周期相同，且划分的时间间隔大小及数量均相同。
进一步地，所述特征向量包括误码比特数、误码连续数和误码熵值。
进一步地，所述误码比特数的计算过程为：
将所有流水印数据及其对应流解码结果按照逐两位比特进行比较，得到不相同的两位比特的数量，即为码比特数；
其中，不相同的两位比特位记作一位‘1’，相同的两位比特位记作一位‘0’，得到误码向量。
进一步地，所述误码连续数的计算过程为：
求出所有误码向量中连续‘1’的最大位数，即得到误码连续数。
进一步地，所述误码熵值的计算过程为：
计算所有误码向量中每前后两个‘1’之间的距离的平均值，并取该平均值的常用对数，得到误码熵值。
本发明的第二个方面提供一种基于流水印的数据中心网络拥塞检测方法，包括：
将数据流传送至第一智能网卡，利用第一智能网卡内的流水印嵌入模块根据数据流的五元组信息哈希生成流水印数据，基于数据流所处时隙与需要编码的流水印数据，对数据流所到达的数据包进行直接转发或延时操作来嵌入流水印；
将嵌入水印后的数据流经多跳拓扑传送至第二智能网卡，在第二智能网卡内利用流水印解码模块解码出流水印数据；
将哈希生成的流水印数据及流解码结果输入至控制器，在控制器内经预先训练好的流传输路径状态分析模型处理后，得到流传输路径的网络状况；
其中，得到流传输路径的网络状况的过程为：
提取流数据信息的特征向量；其中，流数据信息由哈希生成的流水印数据及流解码结果构成；
计算特征向量到预设数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上的网络状况；其中一个质心表示一种网络状况。
进一步地，所述特征向量包括误码比特数、误码连续数和误码熵值。
与现有技术相比，本发明的有益效果是：
（1）本发明提供了一种基于流水印的数据中心网络拥塞检测系统，其包括第一智能网卡、第二智能网卡和控制器，第一智能网卡内设有流水印嵌入模块，第二智能网卡内设有流水印解码模块，控制器内设有网络状态分析模块，实现了基于智能网卡硬件进行流水印编解码，解决了软件实现流水印的数据传输效率不高、开销大同时编码效率低的问题，改变了带内测量在数据包内插入测量数据从而降低了数据包有效载荷比的缺点，还减轻了智能网卡的负担，提高了网络拥塞检测的精度，满足了数据中心网络的零丢包及低延时及高吞吐量的需求。
（2）本发明的流水印嵌入模块根据当前数据流所处时隙与需要编码的流水印数据，对当前数据流所到达的数据包进行直接转发或延时操作来嵌入流水印，将上述基于时间的流水印技术应用到网络拥塞检测中，没有增加额外开销，同时水印位的变化迅速反应出网络是否拥塞和拥塞程度情况，实现了低开销、细粒度的实时网络拥塞监测，在网络拥塞检测的准确性、开销低和实时性方面得到了提高，为数据中心网络实践部署提供理论与实践支持。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于流水印的数据中心网络拥塞检测系统结构示意图；
图2（a）是本发明实施例的水印位‘0’编码流程图；
图2（b）是本发明实施例的水印位‘1’编码流程图；
图2（c）是本发明实施例的水印位‘2’编码流程图；
图2（d）是本发明实施例的水印位‘3’编码流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
网络流水印技术指将网络流中某些独立于数据包内容的特征作为载体嵌入水印，如流量速率、数据包间延时、数据包数量等，然后在接收端检测对应流中是否存在水印，从而判断发送端和接收端是否存在流关联的一项技术。
基于时间的网络流水印技术通过调整数据包的时间间隔来表示水印数据，可分为基于数据包间延时的流水印技术和基于时间间隔的流水印技术。基于数据包间延时的流水印技术通过数据包间延时的长短来嵌入水印，如RAINBOW（Robust And Invisible Non-Blind Watermark，具有鲁棒性和不可见性的非盲水印）、DROPWAT（Watermark for DataExfiltration Traceback，用于数据泄露追踪的具有不可见性的网络流水印）等。基于时间间隔的流水印技术通过调整包间延时控制时隙内数据包的数量来嵌入数据，如IBW（Interval-Based Watermark，基于时隙的水印）、IBF（Interval-Based Fingerprint，基于时隙的指纹）等。
在图1中：
K-means聚类：K均值聚类算法（k-means clustering algorithm），一种迭代求解的聚类分析算法。
FIFO：先进先出队列（First Input First Output），一种存储器。
实施例一
网络测量是按照一定的方法和技术，利用软件或硬件工具来测试网络的运行状态、表征网络特性的一系列活动的总和。传统主动网络测量通过向网路发送探测包，根据探测包受网络影响发生的变化来分析网络行为，给网络增加了额外的带宽开销；传统被动网络测量通过捕获流经测量点的分组来测量网络状态，不会产生额外开销，但不能监测全局网络状态信息或端到端信息。随后伴随着软件定义网络的出现，产生了软件定义测量，将控制平面与数据平面分离并开发出标准化编程接口。但标准化编程接口对数据平面关注较少，不可避免地存在测量与网络中计算、存储和带宽资源之间的矛盾。网络遥测进一步发挥数据平面在网络测量过程中的作用。然而带内遥测将遥测指令和数据封装到正常数据包中导致了数据包有效载荷比降低，同时遥测指令和数据的封装、提取等也增加了交换机处理负担。对于实时采集流量特征和网络状态，华为提出了AI Fabric—基于高性能AI芯片的数据中心交换机。该交换机集成AI芯片，基于人工智能算法，在本地实时决策，从而动态调整网络参数，实现全网零丢包，能够达到秒级故障识别、分钟级故障自动定位，但是在应对突发流量时效果还不太好。为了解决上述问题，本实施例的一种基于流水印的数据中心网络拥塞检测系统，其包括第一智能网卡、第二智能网卡和控制器：
所述第一智能网卡内设有流水印嵌入模块，所述流水印嵌入模块用于根据数据流的五元组信息哈希生成流水印数据，基于数据流所处时隙与需要编码的流水印数据，对数据流所到达的数据包进行直接转发或延时操作来嵌入流水印；
所述第二智能网卡内设有流水印解码模块，所述流水印解码模块用于接收多跳拓扑传送来的嵌入水印后的数据流，解码出流水印数据，得到流解码结果；
所述控制器内设有网络状态分析模块，所述网络状态分析模块用于根据预先训练好的流传输路径状态分析模型提取流数据信息的特征向量，计算特征向量到预设数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上的网络状况；其中一个质心表示一种网络状况，流数据信息由哈希生成的流水印数据及流解码结果构成。
参照图1，第一智能网卡为智能网卡1，其内嵌入有流水印嵌入模块；第二智能网卡为智能网卡2，其内嵌入有流水印解码模块；控制器内嵌入有网络状态分析模块，所述流传输路径状态分析模型设置在网络状态分析模块中。
根据图1，本实施例的基于流水印的数据中心网络拥塞检测原理为：
流f到达智能网卡1，进入流水印嵌入模块。流水印嵌入模块依据流五元组信息哈希生成所需嵌入的流水印数据，再根据当前所处时隙与需要编码的水印数据对当前流f所到达的数据包进行直接转发或者延时操作来嵌入流水印。嵌入水印后的流F经过多跳拓扑后变成流F’，到达智能网卡2，进入流水印解码模块。流水印解码模块在设定寄存器中记录相应时间间隔所到达的流F’的数据包数目，将第二个时间间隔与第三个时间间隔所到达的数据包数目reg2、reg3与四个时间间隔到达的数据包数目的平均值average进行比较，依次解码出相应的流水印数据。在解码完成后，将流五元组信息与解码结果发送给控制器，进入网络状态分析模块。网络状态分析模块事先进行大量样本数据训练，得到流传输路径状态分析模型，将数据data={流f编码信息，流f解码结果}输入模型中，即可得到流传输路径状态变化判断。
在本实施例中，流传输路径状态包括但不限于正常、轻微拥塞、中度拥塞和重度拥塞。
下面详细介绍各个模块具体实施方式。
（1）流水印嵌入模块
流水印嵌入模块设置在智能网卡1中，用于对流进行嵌入流水印操作。
具体地，当流f第一个数据包到达编码智能网卡1时，提取五元组信息输入哈希函数得到一个n位的流水印数据{dndn-1…d1d0}，将其存入流水印数据寄存器中，取出低两位数据d1d0作为需要编码的流水印数据。
在所述流水印嵌入模块中，流水印数据寄存器由流水印数据进行初始化，当每次需要编码的两位流水印数据编码完后，流水印数据寄存器向右移两位，直至编码完成。
本实施例的该流水印编码方式属于四进制流水印编码，其相比于传统的二进制的流水印一次只能编码一位数据的编码方式来说，提高了流水印的编码效率，能够利用更少的时间周期和数据包数目编码更多的流水印数据。
如图2（a）-图2（d）所示，假设嵌入流水印操作的时间周期为T，时间周期单位为ms，其预先划分为1/2/3/4个时间间隔。同时将到达时间设为第0个时间间隔开始，每经过依次循环进入1/2/3/4个时间间隔。每到达一个流f数据包，将其压入先进先出队列FIFO1中，对流f数据包进行延时或者直接转发操作来嵌入流水印。
此处需要说明的是，嵌入流水印操作的时间周期及预先划分的时间间隔数量，本领域技术人员均可根据实际的情况来具体设置，此处不再累述。
在第零个时间间隔内，若有数据包到达，智能网卡1直接转发先入先出队列FIFO1中数据包。
若第一个时间间隔开始，依据所要编码的流水印数据进行相应操作，具体方法如下：
在第一个时间间隔内，若所编码的流水印数据为00或10，有数据包到达，直接转发先进先出队列FIFO1中数据包；若所编码的流水印数据为01或11，有数据包到达，将其从先进先出队列FIFO1中取出压入第二个时间间隔对应的先进先出队列FIFO2中。
若第二个时间间隔开始，在第二个时间间隔内，依据所要编码的流水印数据进行相应操作，具体方法如下：
若所编码的流水印数据为00，有数据包到达，将其从先进先出队列FIFO1中取出压入第三个时间间隔对应的先进先出队列FIFO3中；若所编码的流水印数据为10，有数据包到达，将其从先进先出队列FIFO1中取出压入第四个时间间隔对应的先进先出队列FIFO4中；若所编码的流水印数据为01，智能网卡1先转发先进先出队列FIFO2中存储的数据包。当有新的数据包到达，压入先进先出队列FIFO1中。若先进先出队列FIFO2为空，转发先进先出队列FIFO1中的数据包；若所编码的水印数据为11，将第二个时间间隔分为长短相同的前后两个时间间隔，分别为时间间隔interval1和时间间隔interval2，在时间间隔interval1中先转发先进先出队列FIFO2中存储的数据包。当有新数据包到达，压入先进先出队列FIFO1中，若先进先出队列FIFO2为空，转发先进先出队列FIFO1中的数据包。在时间间隔interval2中，有数据包到达，将其从先进先出队列FIFO1中取出压入第三个时间间隔对应的先进先出队列FIFO3中。
若第三个时间间隔开始，则在第三个时间间隔内，依据所要编码的流水印数据进行相应操作，具体方法如下：
若所编码的流水印数据为01或10，有数据包到达，将其从先进先出队列FIFO1中取出压入第四个时间间隔对应的先进先出队列FIFO4中；若所编码的流水印数据为00或11，智能网卡先转发先进先出队列FIFO3中存储的数据包。当有新的数据包到达，压入先进先出队列FIFO1中。若先进先出队列FIFO3为空，转发先进先出队列FIFO1中的数据包。
若第四个时间间隔开始，则在第四个时间间隔内，依据所要编码的流水印数据进行相应操作，具体方法如下：
若所编码的流水印数据为00或11，有数据包到达，直接转发先进先出队列FIFO1中数据包；若所编码的流水印数据为01或10，智能网卡1先转发先进先出队列FIFO4中存储的数据包。当有新的数据包到达，压入先进先出队列FIFO1中。若先进先出队列FIFO4为空，转发先进先出队列FIFO1中的数据包。
第四个时间间隔结束时，若n位流水印数据没有编码完，将流水印数据寄存器右移两位取新的低两位数据(d1d0)’后进入第一个时间间隔继续编码；若n位流水印数据已经编码完，有新的数据包到达，智能网卡1直接转发先进先出队列FIFO1中数据包。
（2）流水印解码模块
流水印解码模块设置在智能网卡2中，用于对流水印数据进行解码。
在所述流水印嵌入模块和流水印解码模块中，将流水印嵌入操作的时间周期和流水印解码操作的时间周期相同，且划分的时间间隔大小及数量均相同。
当流f第一个数据包到达解码智能网卡2时，将到达时间设为第0个时间间隔开始，每经过流水印解码操作的时间周期Tms依次循环进入1/2/3/4个时间间隔。
对流f进行解码，具体步骤如下：
在第零个时间间隔内，若有数据包到达，智能网卡直接转发数据包；在第一个时间间隔内，若数据包到达，接收数据包进行转发，第一个时间间隔对应的寄存器reg1内存储的到达数据包数目加1；在第二个时间间隔内，若数据包到达，接收数据包进行转发，第二个时间间隔对应的寄存器内存储的到达数据包数目reg2加1；在第三个时间间隔内，若数据包到达，接收数据包进行转发，第三个时间间隔对应的寄存器内存储的到达数据包数目reg3加1；在第四个时间间隔内，若数据包到达，接收数据包进行转发，第四个时间间隔对应的寄存器内存储的到达数据包数目reg4加1。
第四个时间间隔结束时，计算四个时间间隔到达数据包的平均值average，并将第二个和第三个时间间隔的数据包数目与平均值average进行比较，解码出两位流水印数据di+1di(i初始值设为0，每循环一次加2)，再将所有寄存器reg和平均值average清零。
解码具体方法如下：
若reg2≤average且reg3≥average，流水印数据为00；
若reg2>average且reg3≤average，流水印数据为01；
若reg2≤average且reg3<average，流水印数据为10；
若reg2>average且reg3>average，流水印数据为11。
其中，average为四个时间间隔到达数据包的平均值，reg2为寄存器内存储的到达数据包数目；reg3为寄存器内存储的到达数据包数目。
若n位流水印数据没有解码完，继续进行解码。若流水印数据解码完，智能网卡2将流五元组信息与解码结果发送给控制器。若数据包到达，接收数据包进行转发。n为大于或等于2的正整数。
（3）网络状态分析模块
网络状态分析模块设置在控制器内，用于对流传输路径进行状态分析。网络状态分析模块设置有预先训练好的流传输路径状态分析模型。
其中，网络状态分析模块用于根据预先训练好的流传输路径状态分析模型提取流数据信息的特征向量，计算特征向量到预设数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上的网络状况；其中一个质心表示一种网络状况，流数据信息由哈希生成的流水印数据及流解码结果构成。
在本实施例中，所述特征向量包括误码比特数、误码连续数和误码熵值。
需要说明的是，在其他实施例中，特征向量除了误码比特数、误码连续数和误码熵值之外，也可包括其他特征向量，本领域技术人员可根据实际情况来具体选择，此处不再详述。
在本实施例中，流传输路径状态分析模型的训练过程为：
第一步，依据样本数据集合，提取数据特征，形成特征向量，得到模型训练集合。
初始化网络状态分析模型的训练数据集合为DataSet={[第一个样本的流编码信息，第一个样本的流解码结果]，…，[第n个样本的流编码信息，第n个样本的流解码结果]}。
提取DataSet中n个向量的数据特征，得到特征向量，方法如下：
将n个样本的流编码信息与流解码结果逐两位比特比较，得到不相同的两位比特的数量，记作ErrorBN。
不相同的两位比特位记作一位‘1’，相同的两位比特位记作一位‘0’，得到误码向量，误码向量的维数等于1*(流编码信息的长度/2)，记作ErrorVN。
需要说明的是，此处的流编码信息指的是根据数据流的五元组信息输入至哈希函数计算得到的流水印数据。
求出n个误码向量ErrorVN中连续‘1’的最大位数得到误码连续数，记为ErrorQN。
计算n个误码向量ErrorVN中每前后两个‘1’之间的距离的平均值，并取其常用对数，得到误码熵值ErrorEN。由此得出流传输路径状态分析模型的训练集合为TrainSet={[第一个样本的误码比特数ErrorB1，第一个样本的误码连续数ErrorQ1，第一个样本的误码熵值ErrorE1]，…，[第n个样本的误码比特数ErrorBN，第n个样本的误码连续数ErrorQN，第n个样本的误码熵值ErrorEN]}。其中，n为大于或等于2的正整数。
第二步，根据TrainSet训练集合进行K-均值聚类，训练流传输路径状态分析模型方法如下：
随机选择K个初始质心Centroid1(B1,Q1,E1)、…、CentroidK（BK,QK,EK），分别计算每一个不是质心的点到这K个质心的距离，将这些点归类于距离最近的那个质心的一类，每一类分别代表流传输路径上的网络状况（比如：正常、轻微拥塞、中度拥塞等）。
重新计算每个类的质心(即，一个类中的所有点的平均向量)，得到K个新的质心Centroid1(B1,Q1,E1)’、…、CentroidK（BK,QK,EK)’。若质心不再发生变化或者到达最大迭代次数时，得到K个代表不同网络状况的质心。由此即可得到流传输路径状态分析模型：F{流f编码信息，流f解码结果}={1，2，…，K }，其中{1，2，…，K}分别代表如正常、轻微拥塞、中度拥塞等网络状态。其中，K为大于或等于2的正整数。
之后，当控制器接收到流五元组信息与解码数据后，利用流传输路径状态分析模型，对相关数据进行分析处理，推理出流传输路径上的实时网络状况，其中，网络状况包括但不限于正常、轻微拥塞、中度拥塞、重度拥塞等。
具体方法如下：
根据流数据信息data={流f编码信息，流f解码结果}提取数据特征，得到特征向量Vector={误码比特数ErrorB，误码连续数ErrorQ，误码熵值ErrorE}。
计算特征向量Vector到流传输路径状态分析模型中K个质心{Centroid1(B1,Q1,E1)’、…、CentroidK（BK,QK,EK)’}的距离，将特征向Vector归类于距离最近的质心的一类，输出数字{1，2，…，K }，其中{1，2，…，K}分别代表如正常、轻微拥塞、中度拥塞等网络状态，即可推理出流传输路径上的网络状况，其中一个质心表示一种网络状况。
实施例二
本实施例提供了一种基于流水印的数据中心网络拥塞检测方法，其具体包括如下步骤：
步骤1：将数据流传送至第一智能网卡，利用第一智能网卡内的流水印嵌入模块根据数据流的五元组信息哈希生成流水印数据，基于数据流所处时隙与需要编码的流水印数据，对数据流所到达的数据包进行直接转发或延时操作来嵌入流水印；
步骤2：将嵌入水印后的数据流经多跳拓扑传送至第二智能网卡，在第二智能网卡内利用流水印解码模块解码出流水印数据，得到流解码结果；
步骤3：将哈希生成的流水印数据及流解码结果输入至控制器，在控制器内经预先训练好的流传输路径状态分析模型处理后，得到流传输路径的网络状况。
在本实施例的步骤3中，得到流传输路径的网络状况的过程为：
步骤3.1：提取流数据信息的特征，得到特征向量；其中，流数据信息由哈希生成的流水印数据及流解码结果构成，所述特征向量由误码比特数、误码连续数和误码熵值构成；
步骤3.2：计算特征向量到流传输路径状态分析模型中预先设定数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上网络状况的实时变化，其中一个质心表示一种网络状况。
其中，误码比特数的计算过程为：
将所有流水印数据及其对应流解码结果按照逐两位比特进行比较，得到不相同的两位比特的数量，即为码比特数；其中，不相同的两位比特位记作一位‘1’，相同的两位比特位记作一位‘0’，得到误码向量。
所述误码连续数的计算过程为：求出所有误码向量中连续‘1’的最大位数，即得到误码连续数。
所述误码熵值的计算过程为：计算所有误码向量中每前后两个‘1’之间的距离的平均值，并取该平均值的常用对数，得到误码熵值。
本实施例基于智能网卡硬件进行流水印编解码，解决了软件实现流水印的数据传输效率不高、开销大同时编码效率低的问题，极大提高了流水印编解码效率同时减轻了智能网卡的负担。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于流水印的数据中心网络拥塞检测系统，包括第一智能网卡、第二智能网卡和控制器，其特征在于：
所述第一智能网卡内设有流水印嵌入模块，所述流水印嵌入模块用于根据数据流的五元组信息哈希生成流水印数据，基于数据流所处时隙与需要编码的流水印数据，对数据流所到达的数据包进行直接转发或延时操作来嵌入流水印；
所述第二智能网卡内设有流水印解码模块，所述流水印解码模块用于接收多跳拓扑传送来的嵌入水印后的数据流，解码出流水印数据；
所述控制器内设有网络状态分析模块，所述网络状态分析模块用于根据预先训练好的流传输路径状态分析模型提取流数据信息的特征向量，计算特征向量到预设数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上的网络状况；其中一个质心表示一种网络状况，流数据信息由哈希生成的流水印数据及流解码结果构成。
2.如权利要求1所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，在所述流水印嵌入模块中，所述流水印数据存储在流水印数据寄存器中，需要编码的流水印数据是从流水印数据寄存器中选取的最低两位数据。
3.如权利要求2所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，在所述流水印嵌入模块中，流水印数据寄存器由流水印数据进行初始化，当每次需要编码的两位流水印数据编码完后，流水印数据寄存器向右移两位，直至编码完成。
4.如权利要求1所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，在所述流水印嵌入模块和流水印解码模块中，将流水印嵌入操作的时间周期和流水印解码操作的时间周期相同，且划分的时间间隔大小及数量均相同。
5.如权利要求1所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，所述特征向量包括误码比特数、误码连续数和误码熵值。
6.如权利要求5所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，所述误码比特数的计算过程为：
将所有流水印数据及其对应流解码结果按照逐两位比特进行比较，得到不相同的两位比特的数量，即为码比特数；
其中，不相同的两位比特位记作一位‘1’，相同的两位比特位记作一位‘0’，得到误码向量。
7.如权利要求6所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，所述误码连续数的计算过程为：
求出所有误码向量中连续‘1’的最大位数，即得到误码连续数。
8.如权利要求6所述的基于流水印的数据中心网络拥塞检测系统，其特征在于，所述误码熵值的计算过程为：
计算所有误码向量中每前后两个‘1’之间的距离的平均值，并取该平均值的常用对数，得到误码熵值。
9.一种基于流水印的数据中心网络拥塞检测方法，其特征在于，包括：
将数据流传送至第一智能网卡，利用第一智能网卡内的流水印嵌入模块根据数据流的五元组信息哈希生成流水印数据，基于数据流所处时隙与需要编码的流水印数据，对数据流所到达的数据包进行直接转发或延时操作来嵌入流水印；
将嵌入水印后的数据流经多跳拓扑传送至第二智能网卡，在第二智能网卡内利用流水印解码模块解码出流水印数据；
将哈希生成的流水印数据及流解码结果输入至控制器，在控制器内经预先训练好的流传输路径状态分析模型处理后，得到流传输路径的网络状况；
其中，得到流传输路径的网络状况的过程为：
提取流数据信息的特征向量；其中，流数据信息由哈希生成的流水印数据及流解码结果构成；
计算特征向量到预设数量质心的距离，将特征向量归类于距离最近的质心的一类，推理出流传输路径上的网络状况；其中一个质心表示一种网络状况。
10.如权利要求9所述的基于流水印的数据中心网络拥塞检测方法，其特征在于，所述特征向量包括误码比特数、误码连续数和误码熵值。
CN202110846964.8A 2021-07-27 2021-07-27 一种基于流水印的数据中心网络拥塞检测系统及方法 Active CN113300916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846964.8A CN113300916B (zh) 2021-07-27 2021-07-27 一种基于流水印的数据中心网络拥塞检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846964.8A CN113300916B (zh) 2021-07-27 2021-07-27 一种基于流水印的数据中心网络拥塞检测系统及方法

Publications (2)

Publication Number Publication Date
CN113300916A true CN113300916A (zh) 2021-08-24
CN113300916B CN113300916B (zh) 2021-09-28

Family

ID=77331077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846964.8A Active CN113300916B (zh) 2021-07-27 2021-07-27 一种基于流水印的数据中心网络拥塞检测系统及方法

Country Status (1)

Country Link
CN (1) CN113300916B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747254A (zh) * 2021-09-08 2021-12-03 浙江大学 一种基于带内网络遥测的视频流调度方法和调度系统
CN116915706A (zh) * 2023-09-13 2023-10-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 数据中心网络拥塞控制方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084856A (en) * 1997-12-18 2000-07-04 Advanced Micro Devices, Inc. Method and apparatus for adjusting overflow buffers and flow control watermark levels
CN104852914A (zh) * 2015-04-30 2015-08-19 中国人民解放军国防科学技术大学 一种基于数据包间隔的水印跳变通信方法
CN104967610A (zh) * 2015-04-30 2015-10-07 中国人民解放军国防科学技术大学 一种基于时隙的水印跳变通信方法
CN106686007A (zh) * 2017-03-03 2017-05-17 南京理工大学 一种发现内网被控重路由节点的主动流量分析方法
CN111741249A (zh) * 2020-06-04 2020-10-02 北京佳讯飞鸿电气股份有限公司 一种网络拥塞检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084856A (en) * 1997-12-18 2000-07-04 Advanced Micro Devices, Inc. Method and apparatus for adjusting overflow buffers and flow control watermark levels
CN104852914A (zh) * 2015-04-30 2015-08-19 中国人民解放军国防科学技术大学 一种基于数据包间隔的水印跳变通信方法
CN104967610A (zh) * 2015-04-30 2015-10-07 中国人民解放军国防科学技术大学 一种基于时隙的水印跳变通信方法
CN106686007A (zh) * 2017-03-03 2017-05-17 南京理工大学 一种发现内网被控重路由节点的主动流量分析方法
CN111741249A (zh) * 2020-06-04 2020-10-02 北京佳讯飞鸿电气股份有限公司 一种网络拥塞检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747254A (zh) * 2021-09-08 2021-12-03 浙江大学 一种基于带内网络遥测的视频流调度方法和调度系统
CN116915706A (zh) * 2023-09-13 2023-10-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 数据中心网络拥塞控制方法、装置、设备及存储介质
CN116915706B (zh) * 2023-09-13 2023-12-26 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 数据中心网络拥塞控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113300916B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113300916B (zh) 一种基于流水印的数据中心网络拥塞检测系统及方法
CN110311829B (zh) 一种基于机器学习加速的网络流量分类方法
CN107483473B (zh) 一种云环境的低速拒绝服务攻击数据流检测方法
CN110351202B (zh) 5g核心网流量分组方法、装置、设备和计算机存储介质
CN113746700B (zh) 一种基于概率采样的大象流快速检测方法及系统
KR100567320B1 (ko) 인터넷 트래픽 측정을 위한 플로우 생성 방법
WO2017169948A1 (ja) 通信システム、可用帯域推定装置、可用帯域推定方法および可用帯域推定プログラムが記憶された記録媒体
US10749765B2 (en) Method and system for monitoring communication in a network
CN111385060B (zh) 一种数据传输方法、装置、设备和存储介质
JP2004080102A (ja) パケット処理装置
CN115514686A (zh) 一种流量采集方法、装置及电子设备和存储介质
Kempken et al. Modeling of H. 264 high definition video traffic using discrete-time semi-Markov processes
CN116582507B (zh) 基于可编程交换机的网络微突发流检测方法及相关设备
CN118075207B (zh) 一种基于fpga的超高清jpeg-xs的ip数据包处理方法、装置及系统
JP2009267892A (ja) 巨大フロー特定方法とシステムおよびプログラムとフロー制御システム
De Aquino et al. On the use data reduction algorithms for real-time wireless sensor networks
US10772010B2 (en) Transmission apparatus, method for controlling transmission, and recording medium
CN116527084B (zh) 一种电力线通信载波的滤波方法、系统、设备和介质
EP4277232A1 (en) Managing data traffic congestion in network nodes
Arenas et al. Design and implementation of packet switching capabilities on 10GbE MAC core
CN117272109A (zh) 加密流量的分类方法、装置、设备及计算机可读介质
CN118075207A (zh) 一种基于fpga的超高清jpeg-xs的ip数据包处理方法、装置及系统
KR101390135B1 (ko) 네트워크 코딩의 처리량 성능 향상을 위한 패킷 대기 방법
RU2640295C1 (ru) Способ глубокого разбора сетевых протоколов для анализа и фильтрации их содержимого
CN118118388A (zh) 基于Sketch采样的INT网络测量系统及测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant