CN113904952B - 网络流量采样方法及装置、计算机设备及可读存储介质 - Google Patents
网络流量采样方法及装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN113904952B CN113904952B CN202111171541.7A CN202111171541A CN113904952B CN 113904952 B CN113904952 B CN 113904952B CN 202111171541 A CN202111171541 A CN 202111171541A CN 113904952 B CN113904952 B CN 113904952B
- Authority
- CN
- China
- Prior art keywords
- code
- network traffic
- sampling
- network
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种网络流量采样方法。网络流量采样方法包括:为每一条网络流量关联唯一的流量标识,所述流量标识包括由多位数字组成的特征码;利用所述特征码与预设的采样比例进行取余运算;对所述取余运算的结果小于预设的取余阈值的网络流量进行采样;及对所述取余运算的结果大于或等于所述取余阈值的网络流量放弃采样。本申请还公开了一种网络流量采样装置、计算机设备及计算机可读存储介质。为每一条网络流量关联唯一的流量标识,利用流量标识中的特征码与采样比例进行取余运算,再通过判断取余运算的结果来确定是否对当前的网络流量进行采样,实现了对网络流量按采样比例进行采样,采样的效率较高且不需要浪费过多的存储资源。
Description
技术领域
本申请涉及网络测试技术领域,特别涉及一种网络流量采样方法、网络流量采样装置、计算机设备及计算机可读存储介质。
背景技术
流量采集技术是监控网络流量的关键技术之一,流量采集技术为流量分析提供数据来源。目前,大多数流量采集方法基于日志级别,需要收集大量的日志进行存储,并定时进行分析和显示,这种方法虽然可以最大限度地存储日志,但增加了存储的压力,因此,如何准确且高效地对网络流量进行采样成为亟待解决的问题。
发明内容
为解决背景技术中提及的至少任意一个存在的技术问题,本申请实施方式提供了一种网络流量采样方法、网络流量采样装置、计算机设备及计算机可读存储介质。
本申请实施方式的网络流量采样方法包括:
为每一条网络流量关联唯一的流量标识,所述流量标识包括由多位数字组成的特征码;
利用所述特征码与预设的采样比例进行取余运算;
对所述取余运算的结果小于预设的取余阈值的网络流量进行采样;及
对所述取余运算的结果大于或等于所述取余阈值的网络流量放弃采样。
在某些实施方式中,所述为每一条网络流量关联唯一的流量标识,包括循环执行的以下步骤:
赋值步骤:每为一条网络流量关联一个特征码后,将第一编码加一作为新的第一编码,将所述新的第一编码作为第二编码,将所述新的第一编码作为第三编码;
第一关联步骤:对并发的多条网络流量均关联所述第三编码;
比较步骤:所述并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完所述预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等;及
第二关联步骤:对于实施所述步骤的结果为相等的网络流量,关联当前的第二编码为特征码。
在某些实施方式中,所述赋值步骤还包括:
判断第一编码加一的值是否大于预设的编码最大值;及
若是,以预设的编码最小值作为所述新的第一编码。
在某些实施方式中,所述为每一条网络流量关联唯一的流量标识,还包括:
获取每一条网络流量的目标服务器的IP地址、及网络流量生成的时间信息;
处理所述IP地址并转化为第一格式、处理所述时间信息并转化为第二格式;及
组合第一格式的所述IP地址、第二格式的所述时间信息、及特征码以作为所述流量标识。
在某些实施方式中,所述处理所述IP地址并转化为第一格式、处理所述时间信息并转化为第二格式,包括:
将所述IP地址转化为第一预设位数,将所述时间信息转化为第二预设位数的时间戳。
在某些实施方式中,所述特征码为第三预设位数的数字,在利用所述特征码与预设的采样比例进行取余运算前,所述网络流量采样方法还包括:
依据所述IP地址、所述时间信息及所述特征码的组合顺序,从所述流量标识中提取预定位置中的数字作为所述特征码。
本申请实施方式的网络流量采样装置包括:
关联模块,所述关联模块用于为每一条网络流量关联唯一的流量标识,所述流量标识包括由多位数字组成的特征码;
运算模块,所述运算模块用于利用所述特征码与预设的采样比例进行取余运算;及
采样模块,所述采样模块用于对所述取余运算的结果小于预设的取余阈值的网络流量进行采样;及对所述取余运算的结果大于或等于所述取余阈值的网络流量放弃采样。
在某些实施方式中,所述关联模块包括:
赋值单元,用于实施赋值步骤:每为一条网络流量关联一个特征码后,将第一编码加一作为新的第一编码,将所述新的第一编码作为第二编码,将所述新的第一编码作为第三编码;
第一关联单元,用于实施第一关联步骤:对并发的多条网络流量均关联所述第三编码;
比较单元,用于实施比较步骤:所述并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完所述预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等;及
第二关联单元,用于实施第二关联步骤:对于实施所述步骤的结果为相等的网络流量,关联当前的第二编码为特征码。
本申请实施方式的计算机设备包括:
一个或多个处理器;
存储器;及
一个或多个计算机程序,其中,所述一个或多个计算机程序被存储在所述存储器中,并被配置为由所述一个或多个处理器执行,所述一个或多个计算程序配置用于:执行上述任一实施方式所述的网络流量采样方法。
本申请实施方式的非易失性计算机可读存储介质存储有计算机程序,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行上述任一实施方式所述的网络流量采样方法。
本申请实施方式的网络流量采样方法、网络流量采样装置、计算机设备及计算机可读存储介质中,为每一条网络流量关联唯一的流量标识,利用流量标识中的特征码与采样比例进行取余运算,再通过判断取余运算的结果来确定是否对当前的网络流量进行采样,实现了对网络流量按采样比例进行采样,采样的效率较高且不需要浪费过多的存储资源。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1为本申请某些实施方式的网络流量采样方法的流程示意图;
图2为本申请某些实施方式的网络流量采样方法的流程示意图;
图3为本申请某些实施方式的网络流量采样方法的流程示意图;
图4为本申请某些实施方式的网络流量采样方法的流程示意图;
图5为本申请某些实施方式的网络流量采样方法的流程示意图;
图6为本申请某些实施方式的网络流量采样方法的流程示意图;
图7为本申请某些实施方式的网络流量采样装置的模块示意图;
图8为本申请某些实施方式的网络流量采样装置的模块示意图;
图9为本申请某些实施方式的网络流量采样装置的模块示意图;
图10为本申请某些实施方式的网络流量采样装置的模块示意图;
图11为本申请某些实施方式的计算机可读存储介质与处理器的示意图;
图12为本申请某些实施方式的计算机设备的模块示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1,图1为本申请某些实施方式的网络流量采样方法的流程示意图,本申请实施方式的网络流量采样方法包括步骤:
01:为每一条网络流量关联唯一的流量标识,流量标识包括由多位数字组成的特征码;
02:利用特征码与预设的采样比例进行取余运算;
03:对取余运算的结果小于预设的取余阈值的网络流量进行采样;及
04:对取余运算的结果大于或等于取余阈值的网络流量放弃采样。
本申请实施方式的网络流量采样方法中,为每一条网络流量关联唯一的流量标识,利用流量标识中的特征码与采样比例进行取余运算,再通过判断取余运算的结果来确定是否对当前的网络流量进行采样,实现了对网络流量按采样比例进行采样,采样的效率较高且不需要浪费过多的存储资源。
具体地,实施步骤01时,为每一条网络流量关联唯一的流量标识,其中,流量标识可以是字符串,字符串中包括数字、字母、特殊符号中的一种或多种字符,每一条网络流量关联的流量标识与其他网络流量关联的流量标识不同,使得可以通过流量标识定位到唯一的一条流量。
流量标识包括由多位数字组成的特征码,特征码为流量标识中连续的多位数字。在一个例子中,特征码包括由连续的五位数字组成,例如特征码可以是10000至99999中的任意数字,或者特征码可以是10000至90000中的任意数字,用户可以进行自主设置。不同网络流量的流量标识中的特征码可以依据网络流量生成的顺序编号,例如从小到大进行编号,或者从大到小进行编号。可以理解,不同的网络流量的流量标识是唯一的,而不同的网络流量的特征码可能相同。
实施步骤02时,利用特征码与预设的采样比例进行取余运算,从网络流量的流量标识中可以提取出特征码,采样比例可以是用户自主设置,例如采样比例可以为1/10000,则取余运算的结果为特征码除以10000得到的余数。由于将采样比例作为一个条件进行取余计算,因此,最终得到流量采样结果实际上将与采样比例产生关联,达到控制采样比例的目的,具体实现方式将在下面进行详细描述。
实施步骤03时,对取余运算的结果小于预设的取余阈值的网络流量进行采样,取余阈值可以由用户自主设置,例如取余阈值可以设置为1、或者设置为2、或者设置为3等任意数值,在此不作限制。以取余阈值为1且采样比例为1/10000为例,对取余运算的结果小于1的特征码对应的网络流量进行采样,实际上则是对特征码与采样比例进行取余运算的结果为0的网络流量进行采样,则每10000个特征流量中可以有一个被进行采样,实现采样比例为1/10000。以取余阈值为2且采样比例为1/10000为例,对取余运算的结果小于2的特征码对应的网络流量进行采样,实际上则是对特征码与采样比例进行取余运算的结果为0或1的网络流量进行采样,则每10000个特征流量中可以有两个被进行采样,最终实际实现的采样比例为1/5000。因此,通过设置预设的采样比例与取余阈值,可以控制最终实现的采样比例。
实施步骤04时,对取余运算的结果大于或等于取余阈值的网络流量放弃采样,对于取余运算的结果大于或等于取余阈值的网络流量,则视为不需要采样的网络流量,这部分网络流量放弃采样,不需要再存储这部分网络流量的日志,节约了存储空间及后续的运算负担。
请参阅图2,图2为本申请某些实施方式的网络流量采样方法的流程示意图,在某些实施方式中,步骤01:为每一条网络流量关联唯一的流量标识,包括循环执行的以下步骤:
011:赋值步骤:每为一条网络流量关联一个特征码后,将第一编码加一作为新的第一编码,将新的第一编码作为第二编码,将新的第一编码作为第三编码;
012:第一关联步骤:对并发的多条网络流量均关联第三编码;
013:比较步骤:并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等;及
014:第二关联步骤:对于实施步骤的结果为相等的网络流量,关联当前的第二编码为特征码。
具体地,步骤011、步骤012、步骤013及步骤014按顺序依次循环实施。
实施步骤011时,多个网络流量的特征码需要逐一地进行关联,如果在同一时刻对多个网络流量的特征码进行关联,则可能会导致多个相近的(或者并发的)网络流量都关联了同一个特征码,后续无法精确地控制采样比例,因此,本申请实施方式的网络流量采样方法对多个网络流量逐一关联特征码。
每为一条网络流量关联一个特征码后,将第一编码(例如命名为next)加一作为新的第一编码,将新的第一编码作为第二编码(例如命名为count),将新的第一编码作为第三编码(例如命名为current),可以发现,随着每为一条网络流量关联一个特征码后,第一编码、第二编码及第三编码均加一。
实施步骤012时,对并发的多条网络流量均关联第三编码,可以理解,对于并发的多条网络流量,不能对并发的多个网络流量都关联同一特征码,因此,先关联第三编码以作为中间流程,后续再判断先对哪一条网络流量进行关联特征码的操作。
实施步骤013时,可以理解,并发的多条网络流量中,虽然网络流量是并发的,但执行完预定操作会有先后顺序,可以利用执行预定操作有先后顺序这一条件,筛选中优先关联特征码的网络流量。在并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等。
实施步骤014时,对于并发的多条网络流量中,最先执行完预定操作的网络流量关联的第三编码与第二编码必然相等(因为步骤011对第二编码及第三编码赋了相同的值),因此,最先执行完预定操作的网络流量可以触发步骤014,最先执行完预定操作的网络流量关联当前的第二编码为特征码。
为最先执行完预定操作的网络流量关联完特征码后,马上又重新触发步骤011,当前的第一编码、第二编码及第三编码均加一,此时,上一个循环中的步骤013中,后续执行完预定操作的多条网络流量关联的第三编码还是之前的第三编码,之前的第三编码与当前的第二编码不相等,因此,对于这些网络流量而言,无法触发步骤014,只能再通过步骤012重新关联当前的第三编码。依此类推,每一次循环(步骤011、步骤012、步骤013及步骤014)都可以为并发的多个网络流量中的其中一个关联特征码,且关联的顺序相邻的网络流量的特征码之间以一为间隔逐渐递增。
请参阅图3,图3为本申请某些实施方式的网络流量采样方法的流程示意图,在某些实施方式中,步骤011:赋值步骤还包括:
022:判断第一编码加一的值是否大于预设的编码最大值;及
023:若是,以预设的编码最小值作为新的第一编码。
实施步骤022时,判断第一编码加一的值是否大于预设的编码最大值,由于第一编码加一的值最终需要作为特征码与某一条网络流量关联,而为了便于对所有网络流量的特征码进行统一截取等操作,需要限定特征码的最小值及最大值,例如上述的10000与99999,或者10000与90000,该特征码的最小值及最大值即分别为编码最小值及最大值。当第一编码加一的值大于编码最大值时,需要重新从编码最小值开始进行编码,即,需要实施步骤023。
当然,如果判断第一编码加一的值不大于编码最大值,则可以继续将该第一编码加一的值作为新的第一编码。
请参阅图4,图4为申请某些实施方式的网络流量采样方法的流程示意图,在某些实施方式中,步骤01:为每一条网络流量关联唯一的流量标识,还包括步骤:
015:获取每一条网络流量的目标服务器的IP地址、及网络流量生成的时间信息;
016:处理IP地址并转化为第一格式、处理时间信息并转化为第二格式;及
017:组合第一格式的IP地址、第二格式的时间信息、及特征码以作为流量标识。
实施步骤015时,获取每一条网络流量的目标服务器的IP地址,及网络流量生成的时间信息,IP地址可以用于分析网络流量的目标服务器,以分析目标服务器的运行压力,时间信息可以用于分析网络流量在时间轴上的分布,以分析网络流量的高峰时段等。另外,IP地址与时间信息还可以用于与特征码一起组成唯一的流量标识并关联网络流量。
实施步骤016时,处理IP地址并转化为第一格式、处理时间信息并转化为第二格式,不同的IP地址可能会有不同的格式,不同的时间信息也可能会有不同的格式,为了便于后续对流量标识进行统一处理,先将IP地址转化为第一格式,将时间信息转化为第二格式。
实施步骤017时,组合第一格式的IP地址、第二格式的时间信息、及特征码以作为流量标识,组合后,不同网络流量的流量标识不同,而不同网络流量的流量标识的格式均相同,便于对流量标识进行批量处理。
请参阅图5,图5为申请某些实施方式的网络流量采样方法的流程示意图,在某些实施方式中,步骤016:处理IP地址并转化为第一格式、处理时间信息并转化为第二格式,包括步骤0161:将IP地址转化为第一预设位数,将时间信息转化为第二预设位数的时间戳。
具体地,在实施步骤0161时,在一个例子中,可以将IP地址转化为12位数字,将IP地址格式标准化处理,例如,通过Java中使用的split()方法或者StringTokenizer类来分割IP地址,将IP地址段长度不够3位的进行左补零,以此方式还原出完整的IP地址。对于时间信息,在一个例子中,可以采用13位毫秒级时间戳,用于根据设定的规则保证数据唯一性、精准性,最大限度地提高了精度,避免来数据重复。
请参阅图6,图6为申请某些实施方式的网络流量采样方法的流程示意图,在某些实施方式中,特征码为第三预设位数的数字,在步骤02前,网络流量采样方法还包括步骤05:依据IP地址、时间信息及特征码的组合顺序,从流量标识中提取预定位置中的数字作为特征码。
IP地址、时间信息及特征码的组合顺序可以由用户设定,例如流量标识的先后顺序依次为IP地址、时间信息及特征码等,在此不作限制。在一个例子中,IP地址、时间信息及特征码依次排列组成流量标识,对于IP地址为12数字、时间信息为13位毫秒级时间戳、特征码为5位数字的流量标识,可以直接提取流量标识的第25位(不包括第25位)至第30位(包括第30位)的数字作为特征码以用于取余运算。当然,对于不同的组合顺序,需要对应调整预定位置,以精确地从流量标识中提取出特征码。
综上,本申请实施方式的网络流量采样方法至少具有如下有益效果:
1.解决多线程并发安全:步骤011、步骤012、步骤013及步骤014实际上是一种乐观锁的技术,当多个线程(网络流量)试图去与同一编码关联时,只有其中一个线程可以与该同一编码关联,其它线程都失败,但失败的线程并不会被挂起,而是被告知在这次竞争中失败,并可以再次尝试。
2.减小开销:由于步骤011、步骤012、步骤013及步骤014是非阻塞的,可以避免死锁,线程之间的影响小,没有锁竞争造成的系统开销,线程之间没有频繁调度的开销。
3.优化性能问题:在并发量很高的情况下,按照采样比例进行流量采样,很大程度地降低了采样服务器的压力;
4.高效准确的技术策略:根据设定的采样比例计算进行流量采样,大大加快采样速度,且在并发情况下比例正确。
5.适用范围广:本发明可用于市面上比例采样流量的操作,适应性强。
请参阅图7,图7为本申请某些实施方式的网络流量采样装置10的模块示意图,本申请实施方式的网络流量采样装置10可用于实施本申请实施方式的网络流量采样方法,网络流量采样装置10包括关联模块11、运算模块12及采样模块13。关联模块11可用于实施步骤01,即,关联模块11用于为每一条网络流量关联唯一的流量标识,流量标识包括由多位数字组成的特征码。运算模块12可用于实施步骤02,即,运算模块12用于利用特征码与预设的采样比例进行取余运算。采样模块13可用于实施步骤03及步骤04,即,采样模块13用于对取余运算的结果小于预设的取余阈值的网络流量进行采样;及对取余运算的结果大于或等于取余阈值的网络流量放弃采样。
请参阅图8,图8为本申请某些实施方式的网络流量采样装置10的模块示意图,在某些实施方式中,关联模块11包括赋值单元111、第一关联单元112、比较单元113及第二关联单元114。赋值单元111可用于实施步骤011,即,赋值单元111可用于实施赋值步骤:每为一条网络流量关联一个特征码后,将第一编码加一作为新的第一编码,将新的第一编码作为第二编码,将新的第一编码作为第三编码。第一关联单元112可用于实施步骤012,即,第一关联单元112用于实施第一关联步骤:对并发的多条网络流量均关联第三编码。比较单元113可用于实施步骤013,即,比较单元113用于实施比较步骤:并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等。第二关联单元114可用于实施步骤014,即,第二关联单元114用于实施第二关联步骤:对于实施步骤的结果为相等的网络流量,关联当前的第二编码为特征码。
另外,在某些实施方式中,赋值单元111还可用于实施步骤022及步骤023,即,赋值单元111可用于判断第一编码加一的值是否大于预设的编码最大值,及若是,以预设的编码最小值作为新的第一编码。
请参阅图9,图9为本申请某些实施方式的网络流量采样装置10的模块示意图,在某些实施方式中,关联模块11包括获取单元115、处理单元116及组合单元117。获取单元115可用于实施步骤015,即,获取单元115可用于获取每一条网络流量的目标服务器的IP地址、及网络流量生成的时间信息。处理单元116可用于实施步骤016,即,处理单元116可用于处理IP地址并转化为第一格式、处理时间信息并转化为第二格式。组合单元117可用于实施步骤017,即,组合单元117可用于组合第一格式的IP地址、第二格式的时间信息、及特征码以作为流量标识。
具体地,处理单元116可用于实施步骤0161,即,处理单元116可用于将IP地址转化为第一预设位数,将时间信息转化为第二预设位数的时间戳。
请参阅图10,图10为本申请某些实施方式的网络流量采样装置10的模块示意图,在某些实施方式中,网络流量采样装置10还包括提取模块15,提取模块15可用于实施步骤05,即,提取模块15可用于依据IP地址、时间信息及特征码的组合顺序,从流量标识中提取预定位置中的数字作为特征码。
需要说明的是,网络流量采样装置10实施本申请任一实施方式的网络流量采样方法时的实施细节及所达到的效果,可以参考上述对网络流量采样方法的描述,在此不再赘述。
此外,请参阅图11,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现以上任一实施方式所述的网络流量采样方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(RandomAcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。
本申请方法实施例的内容均适用于本存储介质实施例,本存储介质实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同,具体请参见方法实施例中的说明,在此不再赘述。
此外,请参阅图12,本申请实施例还提供了一种计算机设备,本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括一个或多个处理器、存储器、以及一个或多个计算机程序。其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行。一个或多个计算机程序配置用于执行以上任一实施方式所述的网络流量采样方法。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (8)
1.一种网络流量采样方法,其特征在于,所述网络流量采样方法包括:
为每一条网络流量关联唯一的流量标识,所述流量标识包括由多位数字组成的特征码;
利用所述特征码与预设的采样比例进行取余运算;
对所述取余运算的结果小于预设的取余阈值的网络流量进行采样;及
对所述取余运算的结果大于或等于所述取余阈值的网络流量放弃采样;
所述为每一条网络流量关联唯一的流量标识,包括循环执行的以下步骤:
赋值步骤:每为一条网络流量关联一个特征码后,将第一编码加一作为新的第一编码,将所述新的第一编码作为第二编码,将所述新的第一编码作为第三编码;
第一关联步骤:对并发的多条网络流量均关联所述第三编码;
比较步骤:所述并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完所述预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等;及
第二关联步骤:对于实施所述步骤的结果为相等的网络流量,关联当前的第二编码为特征码。
2.根据权利要求1所述的网络流量采样方法,其特征在于,所述赋值步骤还包括:
判断第一编码加一的值是否大于预设的编码最大值;及
若是,以预设的编码最小值作为所述新的第一编码。
3.根据权利要求1所述的网络流量采样方法,其特征在于,所述为每一条网络流量关联唯一的流量标识,还包括:
获取每一条网络流量的目标服务器的IP地址、及网络流量生成的时间信息;
处理所述IP地址并转化为第一格式、处理所述时间信息并转化为第二格式;及
组合第一格式的所述IP地址、第二格式的所述时间信息、及特征码以作为所述流量标识。
4.根据权利要求3所述的网络流量采样方法,其特征在于,所述处理所述IP地址并转化为第一格式、处理所述时间信息并转化为第二格式,包括:
将所述IP地址转化为第一预设位数,将所述时间信息转化为第二预设位数的时间戳。
5.根据权利要求4所述的网络流量采样方法,其特征在于,所述特征码为第三预设位数的数字,在利用所述特征码与预设的采样比例进行取余运算前,所述网络流量采样方法还包括:
依据所述IP地址、所述时间信息及所述特征码的组合顺序,从所述流量标识中提取预定位置中的数字作为所述特征码。
6.一种网络流量采样装置,其特征在于,所述网络流量采样装置包括:
关联模块,所述关联模块用于为每一条网络流量关联唯一的流量标识,所述流量标识包括由多位数字组成的特征码;
运算模块,所述运算模块用于利用所述特征码与预设的采样比例进行取余运算;及
采样模块,所述采样模块用于对所述取余运算的结果小于预设的取余阈值的网络流量进行采样;及对所述取余运算的结果大于或等于所述取余阈值的网络流量放弃采样;
所述关联模块包括:
赋值单元,用于实施赋值步骤:每为一条网络流量关联一个特征码后,将第一编码加一作为新的第一编码,将所述新的第一编码作为第二编码,将所述新的第一编码作为第三编码;
第一关联单元,用于实施第一关联步骤:对并发的多条网络流量均关联所述第三编码;
比较单元,用于实施比较步骤:所述并发的多条网络流量中,按照执行完预定操作的先后顺序,比较执行完所述预定操作的网络流量关联的第三编码与当前的第二编码的值是否相等;及
第二关联单元,用于实施第二关联步骤:对于实施所述步骤的结果为相等的网络流量,关联当前的第二编码为特征码。
7.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器;及
一个或多个计算机程序,其中,所述一个或多个计算机程序被存储在所述存储器中,并被配置为由所述一个或多个处理器执行,所述一个或多个计算程序配置用于:执行权利要求1至5任意一项所述的网络流量采样方法。
8.一种存储有计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行权利要求1至5任意一项所述的网络流量采样方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111171541.7A CN113904952B (zh) | 2021-10-08 | 2021-10-08 | 网络流量采样方法及装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111171541.7A CN113904952B (zh) | 2021-10-08 | 2021-10-08 | 网络流量采样方法及装置、计算机设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113904952A CN113904952A (zh) | 2022-01-07 |
CN113904952B true CN113904952B (zh) | 2023-04-25 |
Family
ID=79190296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111171541.7A Active CN113904952B (zh) | 2021-10-08 | 2021-10-08 | 网络流量采样方法及装置、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113904952B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112118189A (zh) * | 2020-08-27 | 2020-12-22 | 北京基调网络股份有限公司 | 一种流量采样方法、计算机设备及计算机可读存储介质 |
WO2021113904A1 (en) * | 2019-12-11 | 2021-06-17 | Redfig Consulting Pty Ltd | Network traffic identification device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106161129B (zh) * | 2015-04-10 | 2019-09-13 | 南京中兴新软件有限责任公司 | 路由设备中数据流分析的方法、装置及路由设备 |
CN106506249B (zh) * | 2015-09-08 | 2019-08-20 | 北京国双科技有限公司 | 数据采集方法和装置 |
US10469343B2 (en) * | 2016-05-04 | 2019-11-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Path continuity determination in an aggregate flow environment |
CN111970150B (zh) * | 2020-08-20 | 2023-08-18 | 北京达佳互联信息技术有限公司 | 日志信息的处理方法、装置、服务器及存储介质 |
CN112532444B (zh) * | 2020-11-26 | 2023-02-24 | 上海阅维科技股份有限公司 | 用于网络镜像流量的数据流采样方法、系统、介质及终端 |
-
2021
- 2021-10-08 CN CN202111171541.7A patent/CN113904952B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021113904A1 (en) * | 2019-12-11 | 2021-06-17 | Redfig Consulting Pty Ltd | Network traffic identification device |
CN112118189A (zh) * | 2020-08-27 | 2020-12-22 | 北京基调网络股份有限公司 | 一种流量采样方法、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113904952A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110995468B (zh) | 待分析系统的系统故障处理方法、装置、设备和存储介质 | |
RU2608464C2 (ru) | Устройство, способ и сетевой сервер для обнаружения структур данных в потоке данных | |
CN111045721B (zh) | 动态修改Nginx配置参数的方法、装置及存储介质 | |
US11809406B2 (en) | Event records in a log file | |
ES2812765T3 (es) | Aparato, sistema y método para procesar datos de registro de aplicaciones | |
CN108132986B (zh) | 一种飞行器海量传感器试验数据的快速处理方法 | |
CN113904952B (zh) | 网络流量采样方法及装置、计算机设备及可读存储介质 | |
CN111708921A (zh) | 一种号码选择的方法、装置、设备和存储介质 | |
CN108063814B (zh) | 一种负载均衡方法及装置 | |
CN111049684B (zh) | 数据分析方法、装置、设备和存储介质 | |
CN107330031B (zh) | 一种数据存储的方法、装置及电子设备 | |
CN117714351A (zh) | 一种网络协议模糊测试方法、系统、设备及介质 | |
CN112149121A (zh) | 一种恶意文件识别方法、装置、设备及存储介质 | |
CN101620549A (zh) | 一种性能分析方法及装置 | |
CN115048277A (zh) | 用于数据审计的日志解析方法、装置、设备以及存储介质 | |
CN116414976A (zh) | 文档检测方法、装置及电子设备 | |
CN112217896A (zh) | 一种json报文转换方法以及相关装置 | |
CN111949555A (zh) | 一种基于多维向量和规则脚本的随机测试方法及装置 | |
CN113489622B (zh) | 一种提取网络设备指纹的方法、系统、设备及存储介质 | |
CN111083701A (zh) | 一种软件定义无线传感器网络中的硬件身份认证方法 | |
CN110503384B (zh) | 电力指标的生成方法、装置、计算机设备和存储介质 | |
CN113076178B (zh) | 报文存储方法、装置及设备 | |
CN113438290B (zh) | 重复请求的检测方法、装置、设备及存储介质 | |
CN108829831B (zh) | 一种数据处理方法、装置、硬件装置及芯片 | |
CN114328076A (zh) | 日志信息提取方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |