CN113055251A - 一种面向高速网络的流量丢包状态实时感知方法 - Google Patents

一种面向高速网络的流量丢包状态实时感知方法 Download PDF

Info

Publication number
CN113055251A
CN113055251A CN202110414969.3A CN202110414969A CN113055251A CN 113055251 A CN113055251 A CN 113055251A CN 202110414969 A CN202110414969 A CN 202110414969A CN 113055251 A CN113055251 A CN 113055251A
Authority
CN
China
Prior art keywords
packet loss
interval
packet
udp
tcp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110414969.3A
Other languages
English (en)
Other versions
CN113055251B (zh
Inventor
吴桦
刘亚
程光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110414969.3A priority Critical patent/CN113055251B/zh
Publication of CN113055251A publication Critical patent/CN113055251A/zh
Application granted granted Critical
Publication of CN113055251B publication Critical patent/CN113055251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164—Adaptation or special uses of UDP protocol
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了一种面向高速网络的流量丢包状态实时感知方法，该方法能够实时检测出高速网络中使用TCP和UDP传输的服务的丢包状态。方法的具体步骤分为模型训练和模型使用两个场景。模型训练时，在可控的网络环境中进行流量抽样采集；根据传输协议的不同，设置特征Sketch的计数器从而提取出有效特征；根据提取的特征，训练机器学习分类模型，进而得到丢包预测模型。使用该模型时，首先在网络中的流量采集点抽样采集真实流量，并利用特征Sketch实时提取真实流量特征；使用丢包预测模型对真实流量特征进行识别分类，实时检测丢包状态。本发明可用于网络服务提供商在网络中间节点上对网络服务状态进行实时监测，为提高接入服务质量提供依据。

Description

一种面向高速网络的流量丢包状态实时感知方法
技术领域
本发明涉及一种面向高速网络的流量丢包状态实时感知方法技术，属于网络管理领域。
背景技术
近几年，随着Internet的迅速发展，出现了很多新的网络服务，这些网络服务为人们的日常生活提供了极大的便利，同时，这些服务的稳定性也是人们选择网络接入服务商的主要依据。然而，这些网络服务可能遭遇不同类型的网络攻击或通信故障，从而导致数据分组丢失，进一步影响用户的服务体验。因此，监控重要网络服务的流量，并实时检测服务流量丢包状态，对于网络接入服务提供商及时发现安全问题和管理故障，提供优质稳定网络接入服务来说具有重要意义。
当前，学术界对于网络流量的丢包检测已经提出了很多研究方法。根据原始流量数据获取方式的不同，可以将已有的丢包检测方法分为两类：主动丢包检测方法和被动丢包检测方法。虽然学术界提出了大量提高检测精度的主动丢包检测方法，但由于此类方法往往需要发送方和接收方的配合，因而对于网络接入服务商来说很难实现。因此网络接入服务商需要基于被动采集的流量进行监测。被动丢包检测方法主要包括基于概率论的丢包检测方法、基于NetFlow功能的丢包检测方法和基于TCP头部信息的丢包检测方法，但这些问题均有各自的局限性。
(1)基于概率论的丢包检测方法
这类方法一般使用其他易于检测的特征(例如吞吐量，延迟时间)来推断数据分组的丢失，但这类方法不能定位网络丢包的时间，所以无法满足丢包检测的实时性要求，且准确率相对较低。
(2)基于NetFlow功能的丢包检测方法
这类方法使用网络设备的NetFlow功能来检测网络数据分组丢失。然而，NetFlow功能并不是为丢包检测设计的，其输出的统计流信息中丢失了很多信息，导致使用NetFlow流信息进行丢包检测的检测精度和实时性都不高。
(3)基于TCP头部信息的丢包检测方法
这类方法使用TCP协议的头部关键信息(例如序列号码、确认号等)来推断数据分组是否丢失，基本思想是使用重复数据分组和确认数据分组之间的逻辑关系来确认丢包数目。因为TCP的超时重传机制，这类方法往往是很耗时的，且必须采用全部的分组数据，无法在数据抽样的情况下使用，导致空间和时间耗费都很高。此外，这类方法也不能应用于UDP协议的丢包检测。
发明内容
为解决上述问题，本发明提出了一种面向高速网络的流量丢包状态实时感知方法，该方法能够实时检测出高速网络中使用TCP和UDP传输的服务的丢包状态。该方法的具体步骤分为模型训练和模型使用两个场景。模型训练时，在可控的网络环境中进行流量抽样采集；根据传输协议的不同，设置特征Sketch的计数器从而提取出有效特征；根据提取的特征，训练机器学习分类模型，进而得到丢包预测模型。使用该模型时，首先在网络中的流量采集点抽样采集真实流量，并利用特征Sketch实时提取真实流量特征；使用丢包预测模型对真实流量特征进行识别分类，实时检测丢包状态。本发明可用于网络服务提供商在网络中间节点上对网络服务状态进行实时监测，为提高接入服务质量提供依据。
为实现本发明的目的，本方案具体技术步骤如下：
步骤(1)在可控网络环境中通过数据采集设备进行流量的抽样采集；
步骤(2)根据传输协议的不同，设置特征Sketch的计数器从而提取出有效特征，传输协议分为TCP协议、基于UDP的UDT协议和QUIC协议；
步骤(3)对提取的特征构建数据集，进行机器学习分类模型的训练，训练后的模型即为丢包预测模型；
步骤(4)在网络中数据采集点通过数据采集设备抽样采集真实流量，并利用特征Sketch实时提取流量的有效特征；
步骤(5)利用步骤(3)中训练好的丢包预测模型对步骤(4)中提取出来的有效特征进行分类，从而进行链路丢包状态的实时检测。
进一步的，所述步骤(1)具体包含如下子步骤：
(1.1)在客户端端访问TCP直播，SRT直播(UDT协议)和QUIC视频应用；
(1.2)使用中间节点软路由上的tc模块对下行丢包进行设置，并使用tcpdump进行流量抽样采集，抽样率设为1：p，即每隔p个分组抽取一个分组；
(1.3)tcpdump停止采集，tc模块停止丢包设置，采集下一个丢包率下的应用流量数据；
(1.4)重复(1.1)～(1.3)操作，直到采集到足够多的训练数据。
进一步的，所述步骤(2)具体包含如下子步骤：
(2.1)抽样采集的流量被哈希函数处理后，对特征Sketch桶中的计数器进行插入操作；
(2.2)在插入操作过程中，判断计数器的值是否达到相应的计数器阈值，若达到阈值，则进行步骤(2.3)；若没有达到，则重复(2.1)～(2.2)；
(2.3)计数器达到阈值，进行一次特征提取操作，并将相应计数器值重置为0。
进一步的，所述步骤(2.1)中特征Sketch的TCP计数器和UDP计数器详细信息，如表5和表6所示：
表5 TCP计数器名称及含义
TCP计数器 含义
C0 客户端负载等于0的分组
Cd 客户端负载大于0的分组
Cf 客户端有SYN和PSH标记的分组
Ca1 客户端负载在TCP区间1(0,83]内的分组
Ca2 客户端负载在TCP区间2(83,375]内的分组
Ca3 客户端负载在TCP区间3(375,1000]内的分组
S0 服务端负载等于0的分组
Sd 服务端负载大于0的分组
Sf 服务端有SYN和PSH标记的分组
Sa1 服务端负载在TCP区间1(0,83]内的分组
Sa2 服务端负载在TCP区间2(83,375]内的分组
Sa3 服务端负载在TCP区间3(375,1000]内的分组
Csack 客户端分组中可选项中SACKs的个数
表6 UDP计数器名称及含义
UDP计数器 含义
Ca1 客户端负载在UDP区间1(0,d]内的分组
Ca2 客户端负载在UDP区间2(d,140]内的分组
Ca3 客户端负载在UDP区间3(140,1000]内的分组
Ca4 客户端负载在UDP区间4(1000,1472]内的分组
Sa1 服务端负载在UDP区间1(0,d]内的分组
Sa2 服务端负载在UDP区间2(d,140]内的分组
Sa3 服务端负载在UDP区间3(140,1000]内的分组
Sa4 服务端负载在UDP区间4(1000,1472]内的分组
表6中，传输协议为UDT协议时d取值为20字节，QUIC协议时d取值为32字节
进一步的，所述步骤(2.2)中判断是否达到阈值的TCP计数器为C0，Cd，S0和Sd；UDP计数器为Ca1，Ca2，Ca3，Ca4,Sa1，Sa2，Sa3和Sa4。阈值设置都为100。
进一步的，所述步骤(2.3)提取的TCP特征和UDP特征如表7和表8所示：
表7 TCP特征及含义
Figure BDA0003025510150000031
Figure BDA0003025510150000041
表8 UDP特征及含义
特征 含义
Ca1/Pcs 客户端负载在UDP区间1内的分组个数/总的分组个数
Ca2/Pcs 客户端负载在UDP区间2内的分组个数/总的分组个数
Ca3/Pcs 客户端负载在UDP区间3内的分组个数/总的分组个数
Ca4/Pcs 客户端负载在UDP区间4内的分组个数/总的分组个数
Sa1/Pcs 服务端负载在UDP区间1内的分组个数/总的分组个数
Sa2/Pcs 服务端负载在UDP区间2内的分组个数/总的分组个数
Sa3/Pcs 服务端负载在UDP区间3内的分组个数/总的分组个数
Sa4/Pcs 服务端负载在UDP区间4内的分组个数/总的分组个数
Cp/Pcs 客户端分组个数/总的分组个数
Sp/Pcs 服务端分组个数/总的分组个数
spdSD 服务器端字节传输速率
spdSP 服务器端分组传输速率
表7和表8中其他特征可根据基本计数器进行计算，spdSD和spdSD采用以下公式进行计算：
Figure BDA0003025510150000042
Figure BDA0003025510150000043
其中，p为抽样间隔，diffT为两次特征提取操作间隔，Num(sai)为服务器端负载在区间i的分组的个数，Len(sai)为服务端负载在区间i的分组的长度。
进一步的，所述步骤(3)中机器学习分类模型采用基于决策树的XGBoost集成方法，该方法将模型上次预测(由t-1棵树组合而成的模型)产生的误差作为参考进行下一棵树(第t棵树)的建立。每加入一棵树，模型损失函数不断降低，经过若干轮学习后得到XGBoost算法分类器，即丢包预测模型。
进一步的，所述步骤(4)中具体包括如下子步骤：
(4.1)在网络中间采集节点设置数据分组抽样比，进行流量抽样；
(4.2)使用步骤(2)中设计的特征Sketch结构处理抽样后的数据分组，得到流量特征。
进一步的，所述步骤(5)中，将步骤(4)中实时计算出的特征集输入到步骤(3)中训练完成的丢包预测模型，进行实时丢包检测并输出实时丢包状态
与现有技术相比，本发明具有如下优点和有益效果：
(1)本发明提出了一种面向高速网络的流量丢包状态实时感知方法，可以精确有效地感知网络服务流量的丢包状态，使接入服务商根据丢包情况对网络进行及时的改造维护，保证用户体验质量。
(2)本发明包括使用对分组抽样减少需要处理的数据量，使用特征Sketch提取流量特征，提高了数据分组处理的效率，保证了丢包检测的实时性要求。
(3)本发明提出的面向高速网络的流量丢包状态实时感知方法，可以应用于TCP协议和特定的UDP协议，具有较好的应用前景。
附图说明
图1为面向高速网络的流量丢包状态实时感知方法的框架；
图2为特征Sketch的结构图；
图3-图5为训练完成的模型在三种应用上的混淆矩阵；
图6为抽样比为1/64三种应用的实时丢包检测图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1：本发明提供的一种面向高速网络的流量丢包状态实时感知方法，其结构框架如图1所示，包括如下步骤：
(1)在可控网络环境中通过数据采集设备进行流量的抽样采集；；
本步骤具体过程如下：
(1.1)在客户端访问TCP直播，SRT直播(UDT协议)和QUIC视频应用；
(1.2)使用中间节点软路由上的tc模块对下行丢包进行设置，并使用tcpdump进行流量抽样采集，抽样率设为1/64，即每隔64个分组抽取一个分组；
(1.3)tcpdump停止采集，tc模块停止丢包设置，采集下一个丢包率下的应用流量数据；
(1.4)重复(1.1)～(1.3)操作，直到采集到足够多的流量数据。
(2)根据传输协议的不同，设置特征Sketch的计数器从而提取出有效特征，传输协议分为TCP协议、基于UDP的UDT协议和QUIC协议；
本步骤具体过程如下：
(2.1)抽样采集的流量被哈希函数处理后，对特征Sketch桶中的计数器进行插入操作，特征Sketch的结构图如图2所示。特征Sketch的选择TCP计数器和UDP计数器详细信息，如表9和表10所示：
表9 TCP计数器名称及含义
TCP计数器 含义
C0 客户端负载等于0的分组
Cd 客户端负载大于0的分组
Cf 客户端有SYN和PSH标记的分组
Ca1 客户端负载在TCP区间1(0,83]内的分组
Ca2 客户端负载在TCP区间2(83,375]内的分组
Ca3 客户端负载在TCP区间3(375,1000]内的分组
S0 服务端负载等于0的分组
Sd 服务端负载大于0的分组
Sf 服务端有SYN和PSH标记的分组
Sa1 服务端负载在TCP区间1(0,83]内的分组
Sa2 服务端负载在TCP区间2(83,375]内的分组
Sa3 服务端负载在TCP区间3(375,1000]内的分组
Csack 客户端分组中可选项中SACKs的个数
表10 UDP计数器名称及含义
UDP计数器 含义
Ca1 客户端负载在UDP区间1(0,d]内的分组
Ca2 客户端负载在UDP区间2(d,140]内的分组
Ca3 客户端负载在UDP区间3(140,1000]内的分组
Ca4 客户端负载在UDP区间4(1000,1472]内的分组
Sa1 服务端负载在UDP区间1(0,d]内的分组
Sa2 服务端负载在UDP区间2(d,140]内的分组
Sa3 服务端负载在UDP区间3(140,1000]内的分组
Sa4 服务端负载在UDP区间4(1000,1472]内的分组
表10中，传输协议为UDT协议时d取值为20字节，QUIC协议时d取值为32字节。
(2.2)在插入操作过程中，判断计数器的值是否达到相应的计数器阈值，若达到阈值，则进行步骤(2.3)；若没有达到，则重复(2.1)～(2.2)。判断是否达到阈值的TCP计数器为C0，Cd，S0和Sd；UDP计数器为Ca1，Ca2，Ca3，Ca4,Sa1，Sa2，Sa3和Sa4。阈值设置都为100。
(2.3)计数器达到阈值，进行一次特征提取操作，并将相应计数器值重置为0。提取的TCP特征和UDP特征如表11和表12所示：
表11 TCP特征及含义
Figure BDA0003025510150000061
Figure BDA0003025510150000071
表12 UDP特征及含义
特征 含义
Ca1/Pcs 客户端负载在UDP区间1内的分组个数/总的分组个数
Ca2/Pcs 客户端负载在UDP区间2内的分组个数/总的分组个数
Ca3/Pcs 客户端负载在UDP区间3内的分组个数/总的分组个数
Ca4/Pcs 客户端负载在UDP区间4内的分组个数/总的分组个数
Sa1/Pcs 服务端负载在UDP区间1内的分组个数/总的分组个数
Sa2/Pcs 服务端负载在UDP区间2内的分组个数/总的分组个数
Sa3/Pcs 服务端负载在UDP区间3内的分组个数/总的分组个数
Sa4/Pcs 服务端负载在UDP区间4内的分组个数/总的分组个数
Cp/Pcs 客户端分组个数/总的分组个数
Sp/Pcs 服务端分组个数/总的分组个数
spdSD 服务端字节传输速率
spdSP 服务端分组传输速率
表11和表12中其他特征可根据基本计数器进行计算，spdSD和spdSD采用以下公式进行计算：
Figure BDA0003025510150000072
Figure BDA0003025510150000073
其中，p为抽样间隔，diffT为两次特征提取操作间隔，Num(sai)为服务端负载在区间i的分组的个数，Len(sai)为服务端负载在区间i的分组的长度。
(3)对提取的特征构建数据集，进行机器学习分类模型的训练，训练后的模型即为丢包预测模型。机器学习分类模型采用基于决策树的XGBoost集成方法，该方法将模型上次预测(由t-1棵树组合而成的模型)产生的误差作为参考进行下一棵树(第t棵树)的建立。每加入一棵树，模型损失函数不断降低，经过若干轮学习后得到XGBoost算法分类器，即丢包预测模型。模型准确率的混淆矩阵如图3-图5所示。其中类别0表示丢包率在5％以下，类别1表示丢包率在5％～20％之间，类别2表示丢包率在20％以上。
(4)在网络中数据采集点通过数据采集设备抽样采集真实流量，并利用特征Sketch实时提取流量的有效特征；
本步骤具体过程如下：
(4.1)在网络中间采集节点设置数据分组抽样比为1/64并进行流量抽样；
(4.2)使用步骤(2)中设计的特征Sketch结构处理抽样后的数据分组，得到流量特征。得到QUIC应用的部分流量特征如表13所示：
表13 QUIC应用部分流量特征
Figure BDA0003025510150000081
(5)利用步骤(3)中训练好的丢包预测模型对步骤(4.2)中提取出来的有效特征进行分类。三种应用的真实丢包环境设置如表14所示，QUIC应用丢包分类结果如表15所示，类别0表示丢包率在5％以下，类别1表示丢包率在5％～20％之间，类别2表示丢包率在20％以上。当抽样比为1/64时，三种应用的实时丢包检测情况如图6所示，通过与表14中数据对比可以发现，训练好的的丢包预测模型可以准确实时地对丢包状态进行检测。
表14三种应用的真实丢包环境设置
Figure BDA0003025510150000082
表15QUIC应用部分检测结果
Figure BDA0003025510150000083
Figure BDA0003025510150000091
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种面向高速网络的流量丢包状态实时感知方法，其特征在于，包括如下步骤：
步骤(1)在可控网络环境中通过数据采集设备进行流量的抽样采集；
步骤(2)根据传输协议的不同，设置特征Sketch的计数器从而提取出有效特征，传输协议分为TCP协议、基于UDP的UDT协议和QUIC协议；
步骤(3)对提取的特征构建数据集，进行机器学习分类模型的训练，训练后的模型即为丢包预测模型；
步骤(4)在网络中数据采集点通过数据采集设备抽样采集真实流量，并利用特征Sketch实时提取流量的有效特征；
步骤(5)利用步骤(3)中训练好的丢包预测模型对步骤(4)中提取出来的有效特征进行分类，从而进行流量丢包状态的实时检测。
2.根据权利要求1所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(1)具体包含如下子步骤：
(1.1)在客户端访问TCP直播，SRT直播(UDT协议)和QUIC视频应用；
(1.2)使用中间节点软路由上的tc模块对下行丢包进行设置，并使用tcpdump进行流量抽样采集，抽样率设为1：p，即每隔p个包抽取一个包；
(1.3)tcpdump停止采集，tc模块停止丢包设置，采集下一个丢包率下的应用流量数据；
(1.4)重复(1.1)～(1.3)操作，直到采集到足够多的训练数据。
3.根据权利要求1所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(2)具体包含如下子步骤：
(2.1)抽样采集的流量被哈希函数处理后，对特征Sketch桶中的计数器进行插入操作；
(2.2)在插入操作过程中，判断计数器的值是否达到相应的计数器阈值，若达到阈值，则进行步骤(2.3)；若没有达到，则重复(2.1)～(2.2)；
(2.3)计数器达到阈值，进行一次特征提取操作，并将相应计数器值重置为0。
4.根据权利要求3所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(2.1)中特征Sketch的TCP计数器和UDP计数器的详细信息，如表1和表2所示：
表1：TCP计数器名称及含义
Figure FDA0003025510140000011
Figure FDA0003025510140000021
表2 UDP计数器名称及含义
UDP计数器 含义 Ca1 客户端负载在UDP区间1(0,d]内的分组 Ca2 客户端负载在UDP区间2(d,140]内的分组 Ca3 客户端负载在UDP区间3(140,1000]内的分组 Ca4 客户端负载在UDP区间4(1000,1472]内的分组 Sa1 服务端负载在UDP区间1(0,d]内的分组 Sa2 服务端负载在UDP区间2(d,140]内的分组 Sa3 服务端负载在UDP区间3(140,1000]内的分组 Sa4 服务端负载在UDP区间4(1000,1472]内的分组
表2中，传输协议为UDT协议时d取值为20字节，QUIC协议时d取值为32字节。
5.根据权利要求4所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(2.2)中判断是否达到阈值的TCP计数器为C0，Cd，S0和Sd；UDP计数器为Ca1，Ca2，Ca3，Ca4,Sa1，Sa2，Sa3和Sa4，阈值设置都为100。
6.根据权利要求4所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(2.3)提取的TCP特征和UDP特征如表3和表4所示：
表3 TCP特征及含义
特征 含义 Cf/Pcs 客户端有SYN和PSH标记的包个数/总的包个数 Cp/Pcs 客户端包个数/总的包个数 Ca1/Pcs 客户端负载在TCP区间1内的分组个数/总的分组个数 Ca2/Pcs 客户端负载在TCP区间2内的分组个数/总的分组个数 Ca3/Pcs 客户端负载在TCP区间3内的分组个数/总的分组个数 Ca4/Pcs 客户端负载在TCP区间4内的分组个数(Cd-Ca1-Ca2-Ca3)/总的分组个数 Sf/Pcs 服务端有SYN和PSH标记的包个数/总的包个数 Sp/Pcs 服务端包个数/总的包个数 Sa1/Pcs 服务端负载在TCP区间1内的分组个数/总的分组个数 Sa2/Pcs 服务端负载在TCP区间2内的分组个数/总的分组个数 Sa3/Pcs 服务端负载在TCP区间3内的分组个数/总的分组个数 Sa4/Pcs 服务端负载在TCP区间4内的分组个数(Sd-Sa1-Sa2-Sa3)/总的分组个数 Csack 客户端包中可选项中SACKs的个数 spdSD 服务端字节传输速率 spdSP 服务端包传输速率
表4 UDP特征及含义
Figure FDA0003025510140000022
Figure FDA0003025510140000031
表中其他特征可根据基本计数器进行计算，spdSD和spdSD采用以下公式进行计算：
Figure FDA0003025510140000032
Figure FDA0003025510140000033
其中，p为抽样间隔，diffT为两次特征提取操作间隔，Num(sai)为服务端负载在区间i的分组的个数，Len(sai)为服务端负载在区间i的分组的长度。
7.根据权利要求1所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(3)中机器学习分类模型采用基于决策树的XGBoost集成方法，该方法将模型上次预测(由t-1棵树组合而成的模型)产生的误差作为参考进行下一棵树(第t棵树)的建立，每加入一棵树，模型损失函数不断降低，经过若干轮学习后得到XGBoost算法分类器，即丢包预测模型。
8.根据权利要求1所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(4)中具体包括如下子步骤：
(4.1)在网络中间采集点设置数据分组抽样比，进行流量的分组抽样；
(4.2)使用步骤(2)中设计的特征Sketch结构来处理抽样后的数据分组，得到流量特征。
9.根据权利要求1所述的一种面向高速网络的流量丢包状态实时感知方法，其特征在于，所述步骤(5)中，将步骤(4)中实时计算出的特征集输入到步骤(3)中训练完成的丢包预测模型，进行实时丢包检测并输出实时丢包状态。
CN202110414969.3A 2021-04-17 2021-04-17 一种面向高速网络的流量丢包状态实时感知方法 Active CN113055251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110414969.3A CN113055251B (zh) 2021-04-17 2021-04-17 一种面向高速网络的流量丢包状态实时感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110414969.3A CN113055251B (zh) 2021-04-17 2021-04-17 一种面向高速网络的流量丢包状态实时感知方法

Publications (2)

Publication Number Publication Date
CN113055251A true CN113055251A (zh) 2021-06-29
CN113055251B CN113055251B (zh) 2022-06-03

Family

ID=76519629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110414969.3A Active CN113055251B (zh) 2021-04-17 2021-04-17 一种面向高速网络的流量丢包状态实时感知方法

Country Status (1)

Country Link
CN (1) CN113055251B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923133A (zh) * 2021-09-29 2022-01-11 广东天镝科技有限公司 基于quic的加密网页流量的体验质量指标监控方法
CN115118632A (zh) * 2022-06-21 2022-09-27 中电信数智科技有限公司 一种基于云网融合的主机丢包自动检测方法
CN115314407A (zh) * 2022-08-03 2022-11-08 东南大学 一种基于网络流量的网络游戏QoE检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167258A1 (en) * 2020-01-28 2020-05-28 Intel Corporation Resource allocation based on applicable service level agreement
CN111314928A (zh) * 2020-01-15 2020-06-19 南京航空航天大学 一种基于改进bp神经网络的无线自组网性能预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314928A (zh) * 2020-01-15 2020-06-19 南京航空航天大学 一种基于改进bp神经网络的无线自组网性能预测方法
US20200167258A1 (en) * 2020-01-28 2020-05-28 Intel Corporation Resource allocation based on applicable service level agreement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宁等: "基于卷积神经网络的高速无线局域网分组丢失和错误原因识别方法", 《计算机与现代化》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923133A (zh) * 2021-09-29 2022-01-11 广东天镝科技有限公司 基于quic的加密网页流量的体验质量指标监控方法
CN113923133B (zh) * 2021-09-29 2023-07-25 广东天镝科技有限公司 基于quic的加密网页流量的体验质量指标监控方法
CN115118632A (zh) * 2022-06-21 2022-09-27 中电信数智科技有限公司 一种基于云网融合的主机丢包自动检测方法
CN115118632B (zh) * 2022-06-21 2024-02-06 中电信数智科技有限公司 一种基于云网融合的主机丢包自动检测方法
CN115314407A (zh) * 2022-08-03 2022-11-08 东南大学 一种基于网络流量的网络游戏QoE检测方法
CN115314407B (zh) * 2022-08-03 2024-08-02 东南大学 一种基于网络流量的网络游戏QoE检测方法

Also Published As

Publication number Publication date
CN113055251B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN113055251B (zh) 一种面向高速网络的流量丢包状态实时感知方法
US11700275B2 (en) Detection of malware and malicious applications
US7440409B2 (en) Network traffic monitoring system and monitoring method
US10218598B2 (en) Automatic parsing of binary-based application protocols using network traffic
CN105429977B (zh) 基于信息熵度量的深度包检测设备异常流量监控方法
US8239565B2 (en) Flow record restriction apparatus and the method
CN112788062B (zh) SDN中基于ET-EDR的LDoS攻击检测与缓解方法
Choi et al. Adaptive packet sampling for accurate and scalable flow measurement
CN108289125B (zh) 基于流式处理的tcp会话重组与统计数据提取方法
CN101488925A (zh) 一种利用Netflow采集及统计VPN流量的方法
CN101640594A (zh) 一种在网络设备上提取流量攻击报文特征的方法和单元
CN101309179A (zh) 一种基于主机活跃性和通信模式分析实时异常流量检测方法
KR101602189B1 (ko) 10기가급 패킷 캡쳐링에 의한 트래픽 분석 및 망 감시 시스템
CN106603326A (zh) 基于异常反馈的NetFlow采样处理方法
CN115118663B (zh) 结合带内网络遥测获取网络拥塞信息的方法
CN101741608A (zh) 一种基于流量特征的p2p应用识别系统及方法
CN110691007A (zh) 一种精确测量quic连接丢包率的方法
Lee et al. Passive measurement of one-way and two-way flow lifetimes
Cho et al. Aguri: An aggregation-based traffic profiler
CN106789429B (zh) 一种自适应低代价sdn网络链路利用率测量方法及系统
Wu et al. Real-time packet loss detection for TCP and UDP based on feature-sketch
CN101183998A (zh) 具有时效性的动态双向环行tcp流缓冲区建立和执行方法
CN115333915B (zh) 一种面向异构主机的网络管控系统
CN115242724B (zh) 一种基于两阶段聚类的高速网络流量服务分类方法
Chen et al. IPzip: A stream-aware IP compression algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant