CN115514686A - 一种流量采集方法、装置及电子设备和存储介质 - Google Patents
一种流量采集方法、装置及电子设备和存储介质 Download PDFInfo
- Publication number
- CN115514686A CN115514686A CN202110698895.0A CN202110698895A CN115514686A CN 115514686 A CN115514686 A CN 115514686A CN 202110698895 A CN202110698895 A CN 202110698895A CN 115514686 A CN115514686 A CN 115514686A
- Authority
- CN
- China
- Prior art keywords
- network
- data
- target
- sampling rate
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 82
- 230000005540 biological transmission Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
Abstract
本申请公开了一种流量采集方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取训练网络的网络指标和资源约束，并确定训练网络对应的最优网络性能和最优网络性能对应的采样率；利用网络指标、资源约束、最优网络性能和采样率进行有监督学习的模型训练；将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定目标网络对应的目标采样率；基于目标采样率对目标网络进行流量采集。本申请提供的流量采集方法，在系统资源受限的情况下，通过网络指标、资源约束和网络性能约束对流采集器自适应调整采样率，可以最大化利用系统现有资源，提高估计流量规模的准确度。
Description
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种流量采集方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
采用Netflow、IPFIX(IP数据流信息输出，IP Flow Information Export)、sFlow等流量采集技术时，一般对流采集器设置静态的采样率，以进行非全量采集模式的流量采集。一般而言，流采集器设置的采样率越高，能够获取到的信息量就越大，因此估计流量规模的准确度就越高，但消耗的资源和对原有网络性能的性能越大。采样率越低，估计的准确度越低，但消耗的资源/对原有网络性能的性能越小。在系统资源受限的情况下，流采集器的采样率设置受到限制，一般会趋于保守，并不能最大化利用系统现有资源实现最大化估计的准确度。
因此，如何以自适应系统资源的采样率进行流量采集是本领域技术人员需要解决的技术问题。
申请内容
本申请的目的在于提供一种流量采集方法、装置及一种电子设备和一种计算机可读存储介质，实现了以自适应系统资源的采样率进行流量采集。
为实现上述目的，本申请提供了一种流量采集方法，包括：
获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
基于所述目标采样率对所述目标网络进行流量采集。
其中，所述确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率，包括：
确定候选采样率，并确定所述训练网络在每个所述候选采样率下的网络性能；
确定最优网络性能和所述最优网络性能对应的采样率。
其中，所述网络性能包括网卡传输性能和数据转发面网络性能，所述网卡传输性能包括网卡每秒最大传输的数据包大小和/或网卡最大传输速率，所述数据转发面网络性能包括数据转发面网络零丢包情况下的数据传输速率、数据转发面网络每秒最大新建数量和数据转发面网络每秒最大并发数量中任一项或任几项的组合。
其中，所述网络指标包括主机网络的数据传输指标、数据包传输指标、错误数据包传输指标和各状态下TCP连接数中任一项或任几项的组合；
所述数据传输指标包括数据流量发送速率、接收速率、已发送的数据流量大小和已接收的数据流量大小中任一项或任几项的组合；
所述数据包传输指标包括数据包发送速率、接收速率、已发送的数据包大小和已接收的数据包大小中任一项或任几项的组合；
所述错误数据包传输指标包括发送错误数据包速率、接收错误数据包速率、已发送错误数据包数量和已接收错误数据包数量中任一项或任几项的组合。
其中，若所述训练网络包括虚拟网络，则所述网络指标还包括所述虚拟网络与所述主机网络之间的数据流量发送速率、数据流量接收速率、数据包发送速率和数据包接收速率中任一项或任几项的组合。
其中，所述数据流量包括数据总量、单播数据、多播数据、广播数据、组播数据、TCP数据、UDP数据和ICMP数据中任一项或任几项的组合；
所述数据包包括数据包总量、单播数据包、多播数据包、广播数据包、组播数据包、TCP包数据、UDP包数据和ICMP包数据中任一项或任几项的组合。
其中，所述资源约束包括CPU核数、CPU运行频率、内存容量、存储容量、网卡带宽容量中任一项或任几项的组合。
为实现上述目的，本申请提供了一种流量采集装置，包括：
获取模块，用于获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
训练模块，用于利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
输入模块，用于将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
采集模块，用于基于所述目标采样率对所述目标网络进行流量采集。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述流量采集方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述流量采集方法的步骤。
通过以上方案可知，本申请提供的一种流量采集方法，包括：获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；基于所述目标采样率对所述目标网络进行流量采集。
在本申请中，利用已标注最优采样率的训练网络对模型进行有监督学习的训练，训练完成的模型用于基于目标网络的目标网络指标、目标资源约束和目标网络性能约束预测目标网络对应的目标采样率，基于目标采样率对目标网络进行流量采集，可以最大程度的利用目标网络的资源，实现最优网络性能，提高估计流量规模的准确度。由此可见，本申请提供的流量采集方法，在系统资源受限的情况下，通过网络指标、资源约束和网络性能约束对流采集器自适应调整采样率，可以最大化利用系统现有资源，提高估计流量规模的准确度。本申请还公开了一种流量采集装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种流量采集方法的流程图；
图2为根据一示例性实施例示出的一种流量采集装置的结构图；
图3为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种流量采集方法，实现了以自适应系统资源的采样率进行流量采集。
参见图1，根据一示例性实施例示出的一种流量采集方法的流程图，如图1所示，包括：
S101：获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
本步骤的目的在于获取训练网络并标注最优的采样率。在具体实施中，首先获取训练网络的网络指标和资源约束。本实施例中的网络指标可以包括主机网络的数据传输指标、数据包传输指标、错误数据包传输指标和各状态下TCP(中文全称：传输控制协议，英文全称：Transmission Control Protocol)连接数等，在此不进行具体限定。此处的状态可以包括LISTEN、SYN_SENT、ESTABLISHED、SYN_RECV、FIN_WAIT1、CLOSE_WAIT、FIN_WAIT2、LAST_ACK、TIME_WAIT、CLOSING、CLOSED。本实施例中的资源约束可以包括CPU(中文全称：中央处理器，英文全称：central processing unit)核数、CPU运行频率、内存容量、存储容量、网卡带宽容量等，在此不进行具体限定。
可以理解的是，本实施例中的主机可以包括物理主机，也可以包括虚拟主机，在此不进行限定。数据传输指标可以包括数据流量发送速率、接收速率、已发送的数据流量大小和已接收的数据流量大小等，上述数据流量发送速率和接收速率的单位为比特/秒，已发送的数据流量大小和已接收的数据流量大小的单位为比特。数据包传输指标可以包括数据包发送速率、接收速率、已发送的数据包大小和已接收的数据包大小等，上述数据包发送速率和接收速率的单位为个/秒，已发送的数据包大小和已接收的数据包大小的单位为个。错误数据包传输指标可以包括发送错误数据包速率、接收错误数据包速率、已发送错误数据包数量和已接收错误数据包数量等，上述发送错误数据包速率和接收错误数据包速率的单位为个/秒，已发送错误数据包数量和已接收错误数据包数量的单位为个。
进一步的，若训练网络包括虚拟网络，则网络指标还可以包括虚拟网络与主机网络之间的数据流量发送速率、数据流量接收速率、数据包发送速率和数据包接收速率等。上述虚拟网络与主机网络之间的数据流量发送速率和数据流量接收速率的单位为比特/秒，数据包发送速率和数据包接收速率的单位为个/秒。
需要说明的是，本实施例中的数据流量可以包括数据总量、单播数据、多播数据、广播数据、组播数据、TCP数据、UDP(中文全称：用户数据报协议，英文全称：User DatagramProtocol)数据和ICMP(Internet控制报文协议，Internet Control Message Protocol)数据等，数据包可以包括数据包总量、单播数据包、多播数据包、广播数据包、组播数据包、TCP包数据、UDP包数据和ICMP包数据等。
其次，确定训练网络对应的最优网络性能和该最优网络性能对应的采样率。作为一种可行的实施方式，所述确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率，包括：确定候选采样率，并确定所述训练网络在每个所述候选采样率下的网络性能；确定最优网络性能和所述最优网络性能对应的采样率。在具体实施中，可以调整流采集器的采样率为各个候选采样率，得到各候选采样率下训练网络的网络性能，确定最优网络性能对应的采样率，从而得到网络指标、资源约束、最优网络性能和采样率的对应关系。
可以理解的是，本实施例中的网络性能可以包括网卡传输性能和数据转发面网络性能等，网卡传输性能可以包括网卡每秒最大传输的数据包大小(单位为个/秒)、网卡最大传输速率(单位为比特/秒)等，数据转发面网络性能可以包括数据转发面网络零丢包情况下的数据传输速率(单位为比特/秒)、数据转发面网络每秒最大新建数量、数据转发面网络每秒最大并发数量等。
S102：利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
在本实施例中，以上一步骤中的训练网络为训练样本、采样率为标签进行有监督学习的模型训练，训练完成的模型用于目标网络的最优采样率的预测，在最优采样率下目标网络的网络性能最优。若模型预测的采样率为y，标注的采样率为y'。训练则损失函数J可以包括均方差误差函数、平均绝对误差损失函数等，在此不进行具体限定。具体的，均方差误差函数为：
平均绝对误差损失函数为：
S103：将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
S104：基于所述目标采样率对所述目标网络进行流量采集。
在具体实施中，为了最大程度的利用目标网络的资源，获取目标网络的目标网络指标、目标资源约束和目标网络性能约束，并将其输入训练完成的模型中，以得到目标网络对应的目标采样率，在目标采样率下目标网络的网络性能最优，为上述目标网络性能。流采集器基于目标采样率对目标网络进行流量采集，可以提高估计流量规模的准确度。
在本申请实施例中，利用已标注最优采样率的训练网络对模型进行有监督学习的训练，训练完成的模型用于基于目标网络的目标网络指标、目标资源约束和目标网络性能约束预测目标网络对应的目标采样率，基于目标采样率对目标网络进行流量采集，可以最大程度的利用目标网络的资源，实现最优网络性能，提高估计流量规模的准确度。由此可见，本申请实施例提供的流量采集方法，在系统资源受限的情况下，通过网络指标、资源约束和网络性能约束对流采集器自适应调整采样率，可以最大化利用系统现有资源，提高估计流量规模的准确度。
下面对本申请实施例提供的一种流量采集装置进行介绍，下文描述的一种流量采集装置与上文描述的一种流量采集方法可以相互参照。
参见图2，根据一示例性实施例示出的一种流量采集装置的结构图，如图2所示，包括：
获取模块201，用于获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
训练模块202，用于利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
输入模块203，用于将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
采集模块204，用于基于所述目标采样率对所述目标网络进行流量采集。
在本申请实施例中，利用已标注最优采样率的训练网络对模型进行有监督学习的训练，训练完成的模型用于基于目标网络的目标网络指标、目标资源约束和目标网络性能约束预测目标网络对应的目标采样率，基于目标采样率对目标网络进行流量采集，可以最大程度的利用目标网络的资源，实现最优网络性能，提高估计流量规模的准确度。由此可见，本申请实施例提供的流量采集装置，在系统资源受限的情况下，通过网络指标、资源约束和网络性能约束对流采集器自适应调整采样率，可以最大化利用系统现有资源，提高估计流量规模的准确度。
在上述实施例的基础上，作为一种优选实施方式，所述获取模块201包括：
获取单元，用于获取训练网络的网络指标和资源约束；
第一确定单元，用于确定候选采样率，并确定所述训练网络在每个所述候选采样率下的网络性能；
第二确定单元，用于确定最优网络性能和所述最优网络性能对应的采样率。
在上述实施例的基础上，作为一种优选实施方式，所述网络性能包括网卡传输性能和数据转发面网络性能，所述网卡传输性能包括网卡每秒最大传输的数据包大小和/或网卡最大传输速率，所述数据转发面网络性能包括数据转发面网络零丢包情况下的数据传输速率、数据转发面网络每秒最大新建数量和数据转发面网络每秒最大并发数量中任一项或任几项的组合。
在上述实施例的基础上，作为一种优选实施方式，所述网络指标包括主机网络的数据传输指标、数据包传输指标、错误数据包传输指标和各状态下TCP连接数中任一项或任几项的组合；
所述数据传输指标包括数据流量发送速率、接收速率、已发送的数据流量大小和已接收的数据流量大小中任一项或任几项的组合；
所述数据包传输指标包括数据包发送速率、接收速率、已发送的数据包大小和已接收的数据包大小中任一项或任几项的组合；
所述错误数据包传输指标包括发送错误数据包速率、接收错误数据包速率、已发送错误数据包数量和已接收错误数据包数量中任一项或任几项的组合。
在上述实施例的基础上，作为一种优选实施方式，若所述训练网络包括虚拟网络，则所述网络指标还包括所述虚拟网络与所述主机网络之间的数据流量发送速率、数据流量接收速率、数据包发送速率和数据包接收速率中任一项或任几项的组合。
在上述实施例的基础上，作为一种优选实施方式，所述数据流量包括数据总量、单播数据、多播数据、广播数据、组播数据、TCP数据、UDP数据和ICMP数据中任一项或任几项的组合；
所述数据包包括数据包总量、单播数据包、多播数据包、广播数据包、组播数据包、TCP包数据、UDP包数据和ICMP包数据中任一项或任几项的组合。
在上述实施例的基础上，作为一种优选实施方式，所述资源约束包括CPU核数、CPU运行频率、内存容量、存储容量、网卡带宽容量中任一项或任几项的组合。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图3为根据一示例性实施例示出的一种电子设备的结构图，如图3所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的流量采集方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种流量采集方法，其特征在于，包括：
获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
基于所述目标采样率对所述目标网络进行流量采集。
2.根据权利要求1所述流量采集方法，其特征在于，所述确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率，包括：
确定候选采样率，并确定所述训练网络在每个所述候选采样率下的网络性能；
确定最优网络性能和所述最优网络性能对应的采样率。
3.根据权利要求2所述流量采集方法，其特征在于，所述网络性能包括网卡传输性能和数据转发面网络性能，所述网卡传输性能包括网卡每秒最大传输的数据包大小和/或网卡最大传输速率，所述数据转发面网络性能包括数据转发面网络零丢包情况下的数据传输速率、数据转发面网络每秒最大新建数量和数据转发面网络每秒最大并发数量中任一项或任几项的组合。
4.根据权利要求1所述流量采集方法，其特征在于，所述网络指标包括主机网络的数据传输指标、数据包传输指标、错误数据包传输指标和各状态下TCP连接数中任一项或任几项的组合；
所述数据传输指标包括数据流量发送速率、接收速率、已发送的数据流量大小和已接收的数据流量大小中任一项或任几项的组合；
所述数据包传输指标包括数据包发送速率、接收速率、已发送的数据包大小和已接收的数据包大小中任一项或任几项的组合；
所述错误数据包传输指标包括发送错误数据包速率、接收错误数据包速率、已发送错误数据包数量和已接收错误数据包数量中任一项或任几项的组合。
5.根据权利要求4所述流量采集方法，其特征在于，若所述训练网络包括虚拟网络，则所述网络指标还包括所述虚拟网络与所述主机网络之间的数据流量发送速率、数据流量接收速率、数据包发送速率和数据包接收速率中任一项或任几项的组合。
6.根据权利要求4或5所述流量采集方法，其特征在于，所述数据流量包括数据总量、单播数据、多播数据、广播数据、组播数据、TCP数据、UDP数据和ICMP数据中任一项或任几项的组合；
所述数据包包括数据包总量、单播数据包、多播数据包、广播数据包、组播数据包、TCP包数据、UDP包数据和ICMP包数据中任一项或任几项的组合。
7.根据权利要求1所述流量采集方法，其特征在于，所述资源约束包括CPU核数、CPU运行频率、内存容量、存储容量、网卡带宽容量中任一项或任几项的组合。
8.一种流量采集装置，其特征在于，包括：
获取模块，用于获取训练网络的网络指标和资源约束，并确定所述训练网络对应的最优网络性能和所述最优网络性能对应的采样率；
训练模块，用于利用所述网络指标、所述资源约束、所述最优网络性能和所述采样率进行有监督学习的模型训练；
输入模块，用于将目标网络的目标网络指标、目标资源约束和目标网络性能约束输入训练完成的模型中，以确定所述目标网络对应的目标采样率；
采集模块，用于基于所述目标采样率对所述目标网络进行流量采集。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述流量采集方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述流量采集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110698895.0A CN115514686A (zh) | 2021-06-23 | 2021-06-23 | 一种流量采集方法、装置及电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110698895.0A CN115514686A (zh) | 2021-06-23 | 2021-06-23 | 一种流量采集方法、装置及电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115514686A true CN115514686A (zh) | 2022-12-23 |
Family
ID=84500532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110698895.0A Pending CN115514686A (zh) | 2021-06-23 | 2021-06-23 | 一种流量采集方法、装置及电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115514686A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915667A (zh) * | 2023-07-19 | 2023-10-20 | 上海螣龙科技有限公司 | 网络流量采集方法、装置、电子设备及存储介质 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090089558A1 (en) * | 2007-09-27 | 2009-04-02 | Rockwell Automation Technologies, Inc. | Adjustment of data collection rate based on anomaly detection |
| CN101521630A (zh) * | 2009-04-09 | 2009-09-02 | 杭州华三通信技术有限公司 | 一种网络流量的分析方法和设备 |
| US20150085694A1 (en) * | 2013-09-24 | 2015-03-26 | International Business Machines Corporation | Port Mirroring for Sampling Measurement of Network Flows |
| US9215151B1 (en) * | 2011-12-14 | 2015-12-15 | Google Inc. | Dynamic sampling rate adjustment for rate-limited statistical data collection |
| US9246828B1 (en) * | 2014-06-18 | 2016-01-26 | Juniper Networks, Inc. | Traffic-aware sampling rate adjustment within a network device |
| CN106506249A (zh) * | 2015-09-08 | 2017-03-15 | 北京国双科技有限公司 | 数据采集方法和装置 |
| CN106506250A (zh) * | 2015-09-08 | 2017-03-15 | 北京国双科技有限公司 | 数据采集方法和装置 |
| CN106603326A (zh) * | 2016-11-01 | 2017-04-26 | 南京理工大学 | 基于异常反馈的NetFlow采样处理方法 |
| US20180323898A1 (en) * | 2017-05-02 | 2018-11-08 | Juniper Networks, Inc. | Performing upper layer inspection of a flow based on a sampling rate |
| CN109039821A (zh) * | 2018-08-21 | 2018-12-18 | 平安科技（深圳）有限公司 | 网络流量监控方法、装置、计算机设备及存储介质 |
| CN109547257A (zh) * | 2018-12-05 | 2019-03-29 | 深圳前海微众银行股份有限公司 | 网络流量控制方法、装置、设备、系统及存储介质 |
| CN109639481A (zh) * | 2018-12-11 | 2019-04-16 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| US20190230008A1 (en) * | 2018-01-23 | 2019-07-25 | Arista Networks, Inc. | Accelerated network traffic sampling using a network chip |
| CN110191024A (zh) * | 2019-05-31 | 2019-08-30 | 中国联合网络通信集团有限公司 | 网络流量监控方法和装置 |
| WO2020073688A1 (zh) * | 2018-10-08 | 2020-04-16 | 平安科技（深圳）有限公司 | 预测网络设备异常的方法、装置、设备及存储介质 |
| CN111104303A (zh) * | 2019-12-13 | 2020-05-05 | 苏州浪潮智能科技有限公司 | 一种服务器指标数据采集方法、装置和介质 |
| CN111130909A (zh) * | 2019-12-31 | 2020-05-08 | 南京邮电大学 | 基于自适应储备池esn的网络流量预测方法 |
| CN112291122A (zh) * | 2020-12-31 | 2021-01-29 | 迈普通信技术股份有限公司 | 网络流量检测方法、装置、电子设备及可读存储介质 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
| CN112511383A (zh) * | 2020-11-26 | 2021-03-16 | 杭州迪普信息技术有限公司 | 网络流量监测方法及装置 |
| CN112702219A (zh) * | 2019-10-22 | 2021-04-23 | 中国移动通信有限公司研究院 | 物联网网络监测方法、装置、设备及存储介质 |
| CN112926673A (zh) * | 2021-03-17 | 2021-06-08 | 清华大学深圳国际研究生院 | 一种基于一致性约束的半监督目标检测方法 |
| CN112988646A (zh) * | 2021-02-08 | 2021-06-18 | 北京博电新力电气股份有限公司 | 一种数据采集方法、装置以及数据采集卡 |
-
2021
- 2021-06-23 CN CN202110698895.0A patent/CN115514686A/zh active Pending
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090089558A1 (en) * | 2007-09-27 | 2009-04-02 | Rockwell Automation Technologies, Inc. | Adjustment of data collection rate based on anomaly detection |
| CN101521630A (zh) * | 2009-04-09 | 2009-09-02 | 杭州华三通信技术有限公司 | 一种网络流量的分析方法和设备 |
| US9215151B1 (en) * | 2011-12-14 | 2015-12-15 | Google Inc. | Dynamic sampling rate adjustment for rate-limited statistical data collection |
| US20150085694A1 (en) * | 2013-09-24 | 2015-03-26 | International Business Machines Corporation | Port Mirroring for Sampling Measurement of Network Flows |
| US9246828B1 (en) * | 2014-06-18 | 2016-01-26 | Juniper Networks, Inc. | Traffic-aware sampling rate adjustment within a network device |
| CN106506249A (zh) * | 2015-09-08 | 2017-03-15 | 北京国双科技有限公司 | 数据采集方法和装置 |
| CN106506250A (zh) * | 2015-09-08 | 2017-03-15 | 北京国双科技有限公司 | 数据采集方法和装置 |
| CN106603326A (zh) * | 2016-11-01 | 2017-04-26 | 南京理工大学 | 基于异常反馈的NetFlow采样处理方法 |
| US20180323898A1 (en) * | 2017-05-02 | 2018-11-08 | Juniper Networks, Inc. | Performing upper layer inspection of a flow based on a sampling rate |
| US20190230008A1 (en) * | 2018-01-23 | 2019-07-25 | Arista Networks, Inc. | Accelerated network traffic sampling using a network chip |
| CN109039821A (zh) * | 2018-08-21 | 2018-12-18 | 平安科技（深圳）有限公司 | 网络流量监控方法、装置、计算机设备及存储介质 |
| WO2020073688A1 (zh) * | 2018-10-08 | 2020-04-16 | 平安科技（深圳）有限公司 | 预测网络设备异常的方法、装置、设备及存储介质 |
| CN109547257A (zh) * | 2018-12-05 | 2019-03-29 | 深圳前海微众银行股份有限公司 | 网络流量控制方法、装置、设备、系统及存储介质 |
| CN109639481A (zh) * | 2018-12-11 | 2019-04-16 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN110191024A (zh) * | 2019-05-31 | 2019-08-30 | 中国联合网络通信集团有限公司 | 网络流量监控方法和装置 |
| CN112702219A (zh) * | 2019-10-22 | 2021-04-23 | 中国移动通信有限公司研究院 | 物联网网络监测方法、装置、设备及存储介质 |
| CN111104303A (zh) * | 2019-12-13 | 2020-05-05 | 苏州浪潮智能科技有限公司 | 一种服务器指标数据采集方法、装置和介质 |
| CN111130909A (zh) * | 2019-12-31 | 2020-05-08 | 南京邮电大学 | 基于自适应储备池esn的网络流量预测方法 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
| CN112511383A (zh) * | 2020-11-26 | 2021-03-16 | 杭州迪普信息技术有限公司 | 网络流量监测方法及装置 |
| CN112291122A (zh) * | 2020-12-31 | 2021-01-29 | 迈普通信技术股份有限公司 | 网络流量检测方法、装置、电子设备及可读存储介质 |
| CN112988646A (zh) * | 2021-02-08 | 2021-06-18 | 北京博电新力电气股份有限公司 | 一种数据采集方法、装置以及数据采集卡 |
| CN112926673A (zh) * | 2021-03-17 | 2021-06-08 | 清华大学深圳国际研究生院 | 一种基于一致性约束的半监督目标检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915667A (zh) * | 2023-07-19 | 2023-10-20 | 上海螣龙科技有限公司 | 网络流量采集方法、装置、电子设备及存储介质 |
| CN116915667B (zh) * | 2023-07-19 | 2024-03-08 | 上海螣龙科技有限公司 | 网络流量采集方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7430220B2 (en) | System load based dynamic segmentation for network interface cards | |
| US8121148B2 (en) | Protocol stack using shared memory | |
| US8681819B2 (en) | Programmable multifield parser packet | |
| US8085673B2 (en) | Method and apparatus for generating bi-directional network traffic and collecting statistics on same | |
| US20130238792A1 (en) | Apparatus and method for analyzing a network | |
| US20190182170A1 (en) | Systems and methods for congestion control in a network | |
| US9197566B2 (en) | Information processing method, recording medium, and information processing apparatus | |
| CN104702592B (zh) | 流媒体下载方法和装置 | |
| US20120163392A1 (en) | Packet processing apparatus and method | |
| US9203758B2 (en) | Network system, packet processing method and recording medium | |
| CN115514686A (zh) | 一种流量采集方法、装置及电子设备和存储介质 | |
| US20080117818A1 (en) | Focused Function Network Processor | |
| CN111064704A (zh) | 一种基于mptcp启动窗口自适应的数据传输方法、装置和介质 | |
| CN114205115B (zh) | 一种数据包处理优化方法、装置、设备及介质 | |
| CN115878512A (zh) | 一种内存映射方法、系统、设备及存储介质 | |
| US20090285207A1 (en) | System and method for routing packets using tags | |
| CN113595959B (zh) | 网络流量数据的处理方法及服务器 | |
| US11489904B2 (en) | Poor-QoE assessment method and related device | |
| US9160688B2 (en) | System and method for selective direct memory access | |
| CN101529864B (zh) | 用于执行媒体独立切换的方法和装置 | |
| CN115996203B (zh) | 网络流量分域方法、装置、设备和存储介质 | |
| US20230123387A1 (en) | Window-based congestion control | |
| Douglas et al. | Seekable sockets: a mechanism to reduce copy overheads in TCP-based messaging | |
| RU2640295C1 (ru) | Способ глубокого разбора сетевых протоколов для анализа и фильтрации их содержимого | |
| An et al. | A Programmable Routing System for Semi-physical Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |