CN112468406A - 流量阈值的确定方法及装置 - Google Patents

流量阈值的确定方法及装置 Download PDF

Info

Publication number
CN112468406A
CN112468406A CN202011469271.3A CN202011469271A CN112468406A CN 112468406 A CN112468406 A CN 112468406A CN 202011469271 A CN202011469271 A CN 202011469271A CN 112468406 A CN112468406 A CN 112468406A
Authority
CN
China
Prior art keywords
flow
data
determining
flow data
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011469271.3A
Other languages
English (en)
Other versions
CN112468406B (zh
Inventor
邢涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou DPTech Technologies Co Ltd
Original Assignee
Hangzhou DPTech Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou DPTech Technologies Co Ltd filed Critical Hangzhou DPTech Technologies Co Ltd
Priority to CN202011469271.3A priority Critical patent/CN112468406B/zh
Publication of CN112468406A publication Critical patent/CN112468406A/zh
Application granted granted Critical
Publication of CN112468406B publication Critical patent/CN112468406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Abstract

本公开涉及一种流量阈值的确定方法、装置、电子设备及计算机可读介质。该方法包括:获取流量数据在一个周期内的流量平均值;将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;将所述区间标号存储在所述流量数据对应的变量中;基于多个周期后所述流量数据对应的变量确定所述流量阈值。本公开涉及的流量阈值的确定方法、装置、电子设备及计算机可读介质,能够使得检测设备在流量收集时就完成阈值自学习功能,解决了现有技术中存储大量历史数据产生的占用空间较大的问题。

Description

流量阈值的确定方法及装置
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种流量阈值的确定方法、装置、电子设备及计算机可读介质。
背景技术
在异常流量分析中,通常会分为两种模式,一种是自定义模式,一种是全局模式,对于自定义模式来说,所有的需要检测的IP或者URL都是用户自己配置的,属于完全监控的VIP流量,这些自定义的资源量不多,但是需要长时间存储它的流量信息,自定义的IP或者URL都支持自学习产生阈值的功能,不需要用户自己配置阈值。全局模式是自定义的一种补充,一般来说,非VIP的IP或者URL都属于全局,这些资源的特点是不需要耗费资源实时监控,但是出现异常流量也需要报告,全局流量由于没有具体的IP或者URL,所以一般不会存储他们的所有流量数据,也就不太容易进行历史流量自学习,使得阈值的配置变得非常有难度。在现网中经常出现配置错误导致误报告警或者漏报告警的情况。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种流量阈值的确定方法、装置、电子设备及计算机可读介质,能够使得检测设备在流量收集时就完成阈值自学习功能,用户无需再单独进行配置,同时也解决了现有技术中存储大量历史数据产生的占用空间较大的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种流量阈值的确定方法,该方法包括:获取流量数据在一个周期内的流量平均值;将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;将所述区间标号存储在所述流量数据对应的变量中;基于多个周期后所述流量数据对应的变量确定所述流量阈值。
在本公开的一种示例性实施例中,还包括:基于历史流量数据确定所述预设范围;基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号。
在本公开的一种示例性实施例中,还包括:基于所述流量阈值实时更新流量数据阈值表,所述流量数据阈值表中包括多个流量数据和其对应的阈值;基于所述流量数据阈值表对实时流量数据进行异常流量分析。
在本公开的一种示例性实施例中,基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号,包括:在所述预设范围的数量小于等于32时,确定占位数量为8字节的double型变量的5位;在所述预设范围的数量大于32且小于255时,确定占位数量为8字节的double型变量的8位。
在本公开的一种示例性实施例中,获取流量数据在一个周期内的流量平均值,包括:获取一个周期内的流量数据;基于所述流量数据的地址统计所述流量数据的平均值;所述地址包括IP地址和URL地址。
在本公开的一种示例性实施例中,将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号,包括:将所述流量平均值依次和所述预设范围的最大值、最小值进行比较;根据比较结果确定所述流量数据所属的区间标号。
在本公开的一种示例性实施例中,将所述区间标号存储在所述流量数据对应的变量中,包括:获取所述流量数据对应的变量;将所述区间标号存储在所述变量的最后一位。
在本公开的一种示例性实施例中,还包括:将所述变量中的多个占位数值自左向右依次更新。
在本公开的一种示例性实施例中,基于多个周期后所述流量数据对应的变量确定所述流量阈值,包括:在所述多个周期后,提取所述变量的每个占位的数值;基于每个占位的数值确定所述流量数据在所述多个周期内的最大值和平均值;基于所述最大值、所述平均值和阈值参数确定所述流量阈值。
在本公开的一种示例性实施例中,还包括:在所述流量数据处于异常告警状态时,停止计算所述流量阈值。
根据本公开的一方面,提出一种流量阈值的确定装置,该装置包括:数据模块,用于获取流量数据在一个周期内的流量平均值;比较模块,用于将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;存储模块,用于将所述区间标号存储在所述流量数据对应的变量中;阈值模块,用于基于多个周期后所述流量数据对应的变量确定所述流量阈值。
在本公开的一种示例性实施例中,还包括:范围模块,用于基于历史流量数据确定所述预设范围;变量模块,用于基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号。
在本公开的一种示例性实施例中,还包括:更新模块,用于基于所述流量阈值实时更新流量数据阈值表,所述流量数据阈值表中包括多个流量数据和其对应的阈值;分析模块,用于基于所述流量数据阈值表对实时流量数据进行异常流量分析。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的流量阈值的确定方法、装置、电子设备及计算机可读介质,获取流量数据在一个周期内的流量平均值;将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;将所述区间标号存储在所述流量数据对应的变量中;基于多个周期后所述流量数据对应的变量确定所述流量阈值的方式,能够使得检测设备在流量收集时就完成阈值自学习功能,用户无需再单独进行配置,同时也解决了现有技术中存储大量历史数据产生的占用空间较大的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种流量阈值的确定方法及装置的系统框图。
图2是根据一示例性实施例示出的一种流量阈值的确定方法的流程图。
图3是根据另一示例性实施例示出的一种流量阈值的确定方法的示意图。
图4是根据另一示例性实施例示出的一种流量阈值的确定方法的流程图。
图5是根据一示例性实施例示出的一种流量阈值的确定装置的框图。
图6是根据另一示例性实施例示出的一种流量阈值的确定装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
本公开的发明人发现,在现有的网络中,对于全局异常流量检测来说,一般有3种方案来处理,统一在管理平台进行操作。
第一种是用户直接在管理平台配置一个通用防护阈值,检测设备根据这个阈值判定全局的流量情况。第二种是通用自学习方案,管理平台根据全局流量某个IP或URL的峰值做为阈值,第三种是由管理平台存储每个单IP或URL的历史流量值进行单独自学习,然后将峰值做为阈值下发给每个IP或者URL。
第一种方案的缺陷很明显,用户根据经验值配置的阈值是固定的,很可能会在流量波动时产生误差或者漏报。第二种方案不需要配置,而是学习全局流量的峰值趋势来作为阈值,这种方案比起之前的方案来说,由于使用的是峰值,不太会出现误报,但是全局的流量IP或URL会非常多,各IP或URL之间的流量差距非常大,如果使用统一的峰值处理,那么对于小流量的IP或URL来说,这个阈值就可能会非常大,基本无法发现异常流量。最后一个方案可以解决上面的2个问题,但是由于IP或URL量很多,那么历史流量值的存储和计算量会非常大,对于大多数服务器或者检测设备来说,这些资源都无法满足。
检测设备会通过表项来统计全局的源IP或者URL数据,每1个周期将统计后的数据发送给统一管理平台进行存储和展示,也就是说通常情况下,检测设备本身是不存储历史数据的,也没有那么大的内存去存储历史数据,在这种情况下,可利用本公开中的方案进行历史数据的存储和自学习。
本公开中的流量阈值的确定方法,利用检测设备自身进行全局流量的自学习,通过使用一种微型的自学习机制,保证检测设备在流量收集时就完成阈值自学习功能,用户无需再单独进行配置,同时也节省了统一管理平台需要存储所有历史数据进行自学习的问题。下面借助具体的实施例对本公开中的技术内容进行详细说明。
图1是根据一示例性实施例示出的一种流量阈值的确定方法、装置、电子设备及计算机可读介质的系统框图。
如图1所示,系统架构10可以包括终端设备101、102、103,网络104和流量检测设备105。网络104用以在终端设备101、102、103和流量检测设备105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与网络上其他终端或者服务器进行交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
流量检测设备105可以是能够进行流量监测的各种设备,流量监测可以对接收到的流量数据进行分析等处理,并将处理结果(例如流量阈值)反馈给管理员或者后台流量分析服务器。
流量检测设备105可例如获取流量数据在一个周期内的流量平均值;流量检测设备105可例如将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;流量检测设备105可例如将所述区间标号存储在所述流量数据对应的变量中;流量检测设备105可例如基于多个周期后所述流量数据对应的变量确定所述流量阈值。
流量检测设备105可例如基于历史流量数据确定所述预设范围;基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号。
流量检测设备105可例如基于所述流量阈值实时更新流量数据阈值表,所述流量数据阈值表中包括多个流量数据和其对应的阈值;基于所述流量数据阈值表对实时流量数据进行异常流量分析。
需要说明的是,本公开实施例所提供的流量阈值的确定方法可以由流量检测设备105执行,相应地,流量阈值的确定装置可以设置于流量检测设备105中。而提供给用户进行网页浏览的网页端一般位于终端设备101、102、103中。
图2是根据一示例性实施例示出的一种流量阈值的确定方法的流程图。流量阈值的确定方法20至少包括步骤S202至S208。
如图2所示,在S202中,获取流量数据在一个周期内的流量平均值。包括:获取一个周期内的流量数据;基于所述流量数据的地址统计所述流量数据的平均值;所述地址包括IP地址和URL地址。按照IP地址和URL来区分不同的流量数据,每个地址的流量数据单独计算流量平均值。在本公开中,可同时计算多个流量平均值。而下文仅以一个IP地址为例进行说明。
在S204中,将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号。包括:将所述流量平均值依次和所述预设范围的最大值、最小值进行比较;根据比较结果确定所述流量数据所属的区间标号。
在一个实施例中,还包括:基于历史流量数据确定所述预设范围。
由于检测设备为了高性能处理,所有的数据全部存储在内存中,由于其内存空间有限,将数据全部存储是不现实的,在本公开中采用压缩归并的方式进行存储。
另一方面,对于需要判定异常的阈值来说,只要能反映出某个IP或者URL的流量比正常峰值大即可,无需非常的精确,也就是阈值设置成100Mbps和105Mbps对于判定异常来说没有太大的区别,只需要定在一个区间范围内就可以达到目的,所以依照这个理论,在本公开中把需要存储的预设范围按照历史流量直接进行区间划分,可例如:
10Mbps以内的做为第一区间,统一按照峰值10Mbps处理;
10Mbps到50Mbps做为第二区间,统一按照峰值50Mbps处理;
50Mbps到100Mbps做为第三区间,统一按照峰值100Mbps处理;
100Mbps到300Mbps做为第四区间,统一按照峰值100Mbps处理;
以此类推,10Gbps以上为第32区间,统一按照当时获取到的峰值进行处理。
在S206中,将所述区间标号存储在所述流量数据对应的变量中。包括:获取所述流量数据对应的变量;将所述区间标号存储在所述变量的最后一位。通过上述方式把所有要学习的周期流量全部和32个区间进行对比,记录区间标号。
在一个实施例中,还包括:基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号。包括:在所述预设范围的数量小于等于32时,确定占位数量为8字节的double型变量的5位;在所述预设范围的数量大于32且小于255时,确定占位数量为8字节的double型变量的8位。
其中,32位个区间只需要5个位即可表示,也就是用一个double(8个字节)型变量可以存储12个周期的流量值(多出的最高4个位不用),我们只需要这一个double变量就可以完成自学习,这样就可以达到既节省内存,又可以进行简易的流量自学习功能。当然上面所属的区间映射表并不是固定为32个的,如果需要更加精确的区间,可以考虑将它扩大到8位,这样一个double变量也可以存储8个周期的数据,而区间精度可以扩大到255个。
在一个实施例中,还包括:将所述变量中的多个占位数值自左向右依次更新。如图3所述,图3是一个8个字节的变量的部分占位的示意图,在生成了新的流量平均值时,将流量平均值存储在最左的一个占位中,然后将原有的占位数值依次右移。
在S208中,基于多个周期后所述流量数据对应的变量确定所述流量阈值。包括:在所述多个周期后,提取所述变量的每个占位的数值;基于每个占位的数值确定所述流量数据在所述多个周期内的最大值和平均值;基于所述最大值、所述平均值和阈值参数确定所述流量阈值。
我们以32个区间为例来介绍区间的使用方法,检测设备收到数据会根据不同的IP或者URL进行全局统计,当到达一个周期(默认1分钟)后,会将这个周期的流量计算一个平均值,通过这个平均值和前面的区间进行对比,按照落在某个区间将区间号(0~31)存储在这个IP或者URL的double变量中,double变量按照从右向左划分位12个,每个周期依次向左更新学习值,当填满12个后,后续来的值会替换掉最早的学习值。
通过这种轮换方式,可以保证一直存储的是最新的12个周期的值。根据上面的流量学习区间表,可以利用下面的算法进行阈值的自学习,预测方法是选取流量学习区间表中的12个周期内的最大值M和平均值V,权值设为W(0<W<=1),阈值倍数设为D(通常是常量2),那么阈值=(M×W+V×(1-W))*D。通过这个公式,我们可以选择在5个周期学习更新一次阈值(阈值不能更换的太过于频繁)。
在一个实施例中,还包括:在所述流量数据处于异常告警状态时,停止计算所述流量阈值。同时,一旦某个IP进入异常告警状态,那么就会停止更新学习流量,也即是停止向学习区间表更新数据,直到异常告警结束未知,因为异常流量是不能做为学习值的。
根据本公开的流量阈值的确定方法,获取流量数据在一个周期内的流量平均值;将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;将所述区间标号存储在所述流量数据对应的变量中;基于多个周期后所述流量数据对应的变量确定所述流量阈值的方式,能够使得检测设备在流量收集时就完成阈值自学习功能,用户无需再单独进行配置,同时也解决了现有技术中存储大量历史数据产生的占用空间较大的问题。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
图4是根据另一示例性实施例示出的一种流量阈值的确定方法的流程图。图4所示的流程40是对图2所示的方法在实际应用场景中的详细描述。
如图4所示,在S402中,获取一个周期内的流量数据。按照IP地址和URL来区分不同的流量数据,每个地址的流量数据单独计算流量平均值。
在S404中,将所述流量数据和流量数据阈值表中的阈值进行对比。述流量数据阈值表中包括多个流量数据和其对应的阈值;流量数据阈值表基于所述流量阈值实时更新流量数据阈值表。
在S406中,在所述流量数据大于流量数据阈值表中的阈值时,生成异常流量警告信息。
整个流程分为流量统计模块,异常流量学习模块,异常判定模块。流量统计模块是原有模块,只是需要在每个周期(默认1分钟)将这段时间的峰值流量存储在流量学习区间表(每个IP或者URL都有自己的表项)中,将最早的一个数据替换出去。异常流量学习模块是一个独立的模块,可每5分钟运行一次,通过取出当前流量学习区间表的值,通过上面提到的阈值算法得出下个周期内需要设置的阈值。异常判定模块也是之前的旧模块,它的区别除了利用阈值判定异常流量之外,还需要在确认异常并发出告警之后反馈给流量统计模块,让它关闭对流量学习区间表的更新,直到异常告警结束。
通过本公开中的方法,检测设备可自学习阈值,解决了全局异常流量检测阈值设置困难的问题。利用划分区间表和阈值自学习算法,在不占用大量内存和性能的情况下,由检测设备自身完成了阈值的更新。
本公开中的流量阈值的确定方法,具有如下优点:
(1)检测设备不需要管理平台,可以自身完成阈值的设置和自学习。
(2)通过流量学习区间表,可以在不占用内存和性能的情况下,达到存储多个周期历史流量的目的,为阈值学习提供了基础。
(3)利用流量学习区间表,可以根据之前N个周期的历史数据,通过简单的自学习算法,完成在指定周期内自动更新阈值的目的。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图5是根据一示例性实施例示出的一种流量阈值的确定装置的框图。如图5所示,流量阈值的确定装置50包括:数据模块502,比较模块504,存储模块506,阈值模块508。
数据模块502用于获取流量数据在一个周期内的流量平均值;数据模块502还用于获取一个周期内的流量数据;基于所述流量数据的地址统计所述流量数据的平均值;所述地址包括IP地址和URL地址。
比较模块504用于将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;比较模块504还用于将所述流量平均值依次和所述预设范围的最大值、最小值进行比较;根据比较结果确定所述流量数据所属的区间标号。
存储模块506用于将所述区间标号存储在所述流量数据对应的变量中;存储模块506还用于获取所述流量数据对应的变量;将所述区间标号存储在所述变量的最后一位。
阈值模块508用于基于多个周期后所述流量数据对应的变量确定所述流量阈值。阈值模块508还用于在所述多个周期后,提取所述变量的每个占位的数值;基于每个占位的数值确定所述流量数据在所述多个周期内的最大值和平均值;基于所述最大值、所述平均值和阈值参数确定所述流量阈值。
图6是根据另一示例性实施例示出的一种流量阈值的确定装置的框图。如图6所示,流量阈值的确定装置60包括:范围模块602,变量模块604,更新模块606,分析模块608。
范围模块602用于基于历史流量数据确定所述预设范围;
变量模块604用于基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号;可例如,在所述预设范围的数量小于等于32时,确定占位数量为8字节的double型变量的5位;在所述预设范围的数量大于32且小于255时,确定占位数量为8字节的double型变量的8位。
更新模块606用于基于所述流量阈值实时更新流量数据阈值表,所述流量数据阈值表中包括多个流量数据和其对应的阈值;
分析模块608用于基于所述流量数据阈值表对实时流量数据进行异常流量分析。
根据本公开的流量阈值的确定装置,获取流量数据在一个周期内的流量平均值;将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;将所述区间标号存储在所述流量数据对应的变量中;基于多个周期后所述流量数据对应的变量确定所述流量阈值的方式,能够使得检测设备在流量收集时就完成阈值自学习功能,用户无需再单独进行配置,同时也解决了现有技术中存储大量历史数据产生的占用空间较大的问题。
图7是根据一示例性实施例示出的一种电子设备的框图。
下面参照图7来描述根据本公开的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元710可以执行如图2,图4中所示的步骤。
所述存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备700’(例如键盘、指向设备、蓝牙设备等)通信,使得用户能与该电子设备700交互的设备通信,和/或该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,如图8所示,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:获取流量数据在一个周期内的流量平均值;将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;将所述区间标号存储在所述流量数据对应的变量中;基于多个周期后所述流量数据对应的变量确定所述流量阈值。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (13)

1.一种流量阈值的确定方法,其特征在于,包括:
获取流量数据在一个周期内的流量平均值;
将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;
将所述区间标号存储在所述流量数据对应的变量中;
基于多个周期后所述流量数据对应的变量确定所述流量阈值。
2.如权利要求1所述的方法,其特征在于,还包括:
基于历史流量数据确定所述预设范围;
基于所述预设范围的数量确定所述变量的占位以通过所述变量存储历史流量数据的区间标号。
3.如权利要求1所述的方法,其特征在于,还包括:
基于所述流量阈值实时更新流量数据阈值表,所述流量数据阈值表中包括多个流量数据和其对应的阈值;
基于所述流量数据阈值表对实时流量数据进行异常流量分析。
4.如权利要求2所述的方法,其特征在于,基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号,包括:
在所述预设范围的数量小于等于32时,确定占位数量为8字节的double型变量的5位;
在所述预设范围的数量大于32且小于255时,确定占位数量为8字节的double型变量的8位。
5.如权利要求1所述的方法,其特征在于,获取流量数据在一个周期内的流量平均值,包括:
获取一个周期内的流量数据;
基于所述流量数据的地址统计所述流量数据的平均值;所述地址包括IP地址和URL地址。
6.如权利要求1所述的方法,其特征在于,将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号,包括:
将所述流量平均值依次和所述预设范围的最大值、最小值进行比较;
根据比较结果确定所述流量数据所属的区间标号。
7.如权利要求1所述的方法,其特征在于,将所述区间标号存储在所述流量数据对应的变量中,包括:
获取所述流量数据对应的变量;
将所述区间标号存储在所述变量的最后一位。
8.如权利要求7所述的方法,其特征在于,还包括:
将所述变量中的多个占位数值自左向右依次更新。
9.如权利要求1所述的方法,其特征在于,基于多个周期后所述流量数据对应的变量确定所述流量阈值,包括:
在所述多个周期后,提取所述变量的每个占位的数值;
基于每个占位的数值确定所述流量数据在所述多个周期内的最大值和平均值;
基于所述最大值、所述平均值和阈值参数确定所述流量阈值。
10.如权利要求1所述的方法,其特征在于,还包括:
在所述流量数据处于异常告警状态时,停止计算所述流量阈值。
11.一种流量阈值的确定装置,其特征在于,包括:
数据模块,用于获取流量数据在一个周期内的流量平均值;
比较模块,用于将所述流量平均值和预设范围进行比较,以确定所述流量数据的区间标号;
存储模块,用于将所述区间标号存储在所述流量数据对应的变量中;
阈值模块,用于基于多个周期后所述流量数据对应的变量确定所述流量阈值。
12.如权利要求1所述的装置,其特征在于,还包括:
范围模块,用于基于历史流量数据确定所述预设范围;
变量模块,用于基于所述预设范围的数量确定所述变量的占位数量以通过所述变量存储历史流量数据的区间标号。
13.如权利要求1所述的装置,其特征在于,还包括:
更新模块,用于基于所述流量阈值实时更新流量数据阈值表,所述流量数据阈值表中包括多个流量数据和其对应的阈值;
分析模块,用于基于所述流量数据阈值表对实时流量数据进行异常流量分析。
CN202011469271.3A 2020-12-14 2020-12-14 流量阈值的确定方法及装置 Active CN112468406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011469271.3A CN112468406B (zh) 2020-12-14 2020-12-14 流量阈值的确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011469271.3A CN112468406B (zh) 2020-12-14 2020-12-14 流量阈值的确定方法及装置

Publications (2)

Publication Number Publication Date
CN112468406A true CN112468406A (zh) 2021-03-09
CN112468406B CN112468406B (zh) 2022-06-24

Family

ID=74804030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011469271.3A Active CN112468406B (zh) 2020-12-14 2020-12-14 流量阈值的确定方法及装置

Country Status (1)

Country Link
CN (1) CN112468406B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179257A (zh) * 2021-04-20 2021-07-27 杭州迪普科技股份有限公司 阈值学习方法、装置、设备及计算机可读存储介质
CN114143822A (zh) * 2021-11-05 2022-03-04 阳光电源股份有限公司 流量管理方法、运营管理平台、充电桩及存储介质
CN114338531A (zh) * 2021-12-22 2022-04-12 广东明创软件科技有限公司 一种流量控制方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7624447B1 (en) * 2005-09-08 2009-11-24 Cisco Technology, Inc. Using threshold lists for worm detection
US20120117254A1 (en) * 2010-11-05 2012-05-10 At&T Intellectual Property I, L.P. Methods, Devices and Computer Program Products for Actionable Alerting of Malevolent Network Addresses Based on Generalized Traffic Anomaly Analysis of IP Address Aggregates
CN105721494A (zh) * 2016-03-25 2016-06-29 中国互联网络信息中心 一种异常流量攻击检测处置的方法和装置
US20180020015A1 (en) * 2016-06-14 2018-01-18 Sdn Systems, Llc System and method for automated network monitoring and detection of network anomalies
CN108429651A (zh) * 2018-06-06 2018-08-21 腾讯科技(深圳)有限公司 流量数据检测方法、装置、电子设备及计算机可读介质
CN109194661A (zh) * 2018-09-13 2019-01-11 网易(杭州)网络有限公司 网络攻击告警阈值配置方法、介质、装置和计算设备
WO2019213086A1 (en) * 2018-05-02 2019-11-07 Visa International Service Association Self-learning alerting and anomaly detection in monitoring systems
CN111464359A (zh) * 2020-04-03 2020-07-28 杭州迪普科技股份有限公司 异常流量告警决策系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7624447B1 (en) * 2005-09-08 2009-11-24 Cisco Technology, Inc. Using threshold lists for worm detection
US20120117254A1 (en) * 2010-11-05 2012-05-10 At&T Intellectual Property I, L.P. Methods, Devices and Computer Program Products for Actionable Alerting of Malevolent Network Addresses Based on Generalized Traffic Anomaly Analysis of IP Address Aggregates
CN105721494A (zh) * 2016-03-25 2016-06-29 中国互联网络信息中心 一种异常流量攻击检测处置的方法和装置
US20180020015A1 (en) * 2016-06-14 2018-01-18 Sdn Systems, Llc System and method for automated network monitoring and detection of network anomalies
WO2019213086A1 (en) * 2018-05-02 2019-11-07 Visa International Service Association Self-learning alerting and anomaly detection in monitoring systems
CN108429651A (zh) * 2018-06-06 2018-08-21 腾讯科技(深圳)有限公司 流量数据检测方法、装置、电子设备及计算机可读介质
CN109194661A (zh) * 2018-09-13 2019-01-11 网易(杭州)网络有限公司 网络攻击告警阈值配置方法、介质、装置和计算设备
CN111464359A (zh) * 2020-04-03 2020-07-28 杭州迪普科技股份有限公司 异常流量告警决策系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马玉超: "基于机器学习的动态基线性能时序数据异常检测研究与应用", 《中国金融电脑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179257A (zh) * 2021-04-20 2021-07-27 杭州迪普科技股份有限公司 阈值学习方法、装置、设备及计算机可读存储介质
CN114143822A (zh) * 2021-11-05 2022-03-04 阳光电源股份有限公司 流量管理方法、运营管理平台、充电桩及存储介质
CN114143822B (zh) * 2021-11-05 2023-08-15 阳光电源股份有限公司 流量管理方法、运营管理平台、充电桩及存储介质
CN114338531A (zh) * 2021-12-22 2022-04-12 广东明创软件科技有限公司 一种流量控制方法、装置及存储介质
CN114338531B (zh) * 2021-12-22 2024-04-05 广东明创软件科技有限公司 一种流量控制方法、装置及存储介质

Also Published As

Publication number Publication date
CN112468406B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN112468406B (zh) 流量阈值的确定方法及装置
US10210036B2 (en) Time series metric data modeling and prediction
US11062231B2 (en) Supervised learning system training using chatbot interaction
EP3346650A1 (en) Network monitoring system, network monitoring method, and program
CN107704387B (zh) 用于系统预警的方法、装置、电子设备及计算机可读介质
CN111190888A (zh) 一种管理图数据库集群的方法和装置
WO2017083022A1 (en) Performance monitoring in a distributed storage system
US11722371B2 (en) Utilizing unstructured data in self-organized networks
Hauser et al. Reviewing cloud monitoring: Towards cloud resource profiling
US20230093130A1 (en) Drift detection for predictive network models
CN112948223A (zh) 一种监测运行情况的方法和装置
CN113138898B (zh) 对业务系统异常进行识别预警的方法、装置和电子设备
CN114443437A (zh) 告警根因输出方法、装置、设备、介质和程序产品
US20220179764A1 (en) Multi-source data correlation extraction for anomaly detection
US20210243069A1 (en) Alert correlating using sequence model with topology reinforcement systems and methods
CN112862222A (zh) 空调回风温度的预测方法、异常监控方法和相关装置
US11212162B2 (en) Bayesian-based event grouping
CN113835961B (zh) 告警信息监控方法、装置、服务器及存储介质
CN112260903B (zh) 链路监测方法及装置
CN112994934B (zh) 数据交互方法、装置及系统
US11906575B2 (en) Electrical power analyzer for large and small scale devices for environmental and ecological optimization
US20140359010A1 (en) Utilizing social media for information technology capacity planning
US9396083B2 (en) Computer system processes
WO2014182275A1 (en) Computing device performance monitor
CN116915670B (zh) 用于确定网络恢复时间的方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant