CN108123849B - 检测网络流量的阈值的确定方法、装置、设备及存储介质 - Google Patents
检测网络流量的阈值的确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN108123849B CN108123849B CN201711382164.5A CN201711382164A CN108123849B CN 108123849 B CN108123849 B CN 108123849B CN 201711382164 A CN201711382164 A CN 201711382164A CN 108123849 B CN108123849 B CN 108123849B
- Authority
- CN
- China
- Prior art keywords
- network
- time point
- bandwidth
- current time
- monitored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004590 computer program Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 16
- 230000002159 abnormal effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Abstract
本发明实施例提供了一种检测网络流量的阈值的确定方法、装置、设备及存储介质，其中，该方法包括：获取待监测网络的基础基线；实时获取所述待监测网络的节点总数和可用总网络带宽；针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限。
Description
技术领域
本发明涉及数据网监测技术领域，特别涉及一种检测网络流量的阈值的确定方法、装置、设备及存储介质。
背景技术
随着网络规模的扩大和复杂性增加，网络拓扑结构和网络设备日趋复杂，网络所面临的威胁和攻击也越来越多。如何降低网络风险，及时甚至提前发现问题已经成为网络研究人员所面临的迫切问题。网络监测就是对网络进行实时监控，迅速发现网络中的异常情况，并发出报警通知，以提醒网管人员采取措施保持网络的正常运行。
网络流量异常检测是网络监测的重要部分，通过检测网络流量异常可以检测网络攻击、故障和性能等问题，准确、及时的检测对提高网络可用性和可靠性、保证网络的服务质量具有重要的意义。
网络流量异常检测主要涉及基础基线和阈值两个概念。基础基线是指网络流量的正常行为，阈值则是用来区分网络流量正常行为和异常行为的界限，如果网络流量实际值在阈值以外，则认为此时网络流量异常，发出告警。因此，基础基线的获取和阈值的设置十分重要。
现有技术中，提供了一种网络设备的异常流量识别方法及相关装置，其中，一种网络设备的异常流量识别方法，可包括：计算网络设备在当前时段的流量值和第一参考时段的流量值的差值，所述第一参考时段的流量值为当前流量基线中记录的与所述当前时段具有映射关系的时段的所述网络设备的流量值；若所述差值符合第一条件，确定所述网络设备在所述当前时段的流量值异常；若所述差值符合第二条件，确定所述网络设备在所述当前时段的流量值正常。
该技术方案中，首先计算网络设备在当前时段的流量值和第一参考时段的流量值的差值，通过差值与第一条件和第二条件的匹配，判定流量是否正常。若所述差值符合第一条件，确定所述网络设备在所述当前时段的流量值异常；若所述差值符合第二条件，确定所述网络设备在所述当前时段的流量值正常。该技术方案虽然一定程度上可以降低误判，但由于判定条件设置的局限性，在避免误判的时候容易造成漏判。
现有技术中，还提供了一种DoS/DDoS攻击检测方法和装置。其中，一种DoS/DDoS攻击检测方法，包括：获取预设业务的设定时间段内的流量数据，其中，流量数据为设定时间段内业务的总体流量数据与时间的对应关系数据；获取根据业务的历史流量数据计算的业务在不同时间区间对应的总体流量阈值数据，其中，时间区间的历史流量数据越大，对应的业务总体流量阈值越大；确定获取的流量数据所对应的时间区间，根据确定的时间区间查找与其对应的总体流量阈值数据；将流量数据中包含的业务的总体流量数据与查找的总体流量阈值数据进行对比，当总体流量数据持续超过总体流量阈值数据的时间超过设定值时，对所述业务进行攻击检测。
该技术方案中，首先，获取根据业务的历史流量数据计算的业务在不同时间区间对应的总体流量阈值数据，其次，确定获取的流量数据所对应的时间区间，根据确定的时间区间查找与其对应的总体流量阈值数据；再将流量数据中包含的业务的总体流量数据与查找的总体流量阈值数据进行对比，当总体流量数据持续超过总体流量阈值数据的时间超过设定值时，对所述业务进行攻击检测。该技术方案虽然能够检测出网络攻击，但由于阈值设定固定，在真实网络用户发送大量数据的情况下会造成误判。
发明内容
本发明实施例提供了一种检测网络流量的阈值的确定方法，以解决现有技术中由于阈值是固定设置而导致网络流量检测过程中会误判的技术问题。该方法包括：获取待监测网络的基础基线；实时获取所述待监测网络的节点总数和可用总网络带宽；针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限。
本发明实施例还提供了计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种用于检测网络流量的阈值的确定方法。以解决现有技术中由于阈值是固定设置而导致网络流量检测过程中会误判的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有上述任意一种用于检测网络流量的阈值的确定方法。以解决现有技术中由于阈值是固定设置而导致网络流量检测过程中会误判的技术问题。
本发明实施例还提供了一种用于检测网络流量的阈值的确定装置，以解决现有技术中由于阈值是固定设置而导致网络流量检测过程中会误判的技术问题。该装置包括：基础基线获取模块，用于获取待监测网络的基础基线；网络信息获取模块，用于实时获取所述待监测网络的节点总数和可用总网络带宽；阈值确定模块，用于针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限。
在本发明实施例中，针对每个时间点，通过实时获取待监测网络的节点总数和可用总网络带宽，进而根据当前时间点对应的基础基线值、当前时间点的节点总数以及当前时间点的可用总网络带宽，实时确定当前时间点待监测网络的阈值上限和阈值下限。即每个时间点的阈值上限和阈值下限是基于待监测网络当前的节点数、可用总带宽等实际情况确定的，有利于确定出更准确的阈值上限和阈值下限；同时，每个时间点的阈值上限和阈值下限是实时、动态确定的，即每个时间点的阈值上限和阈值下限是动态更新的，与现有技术中的固定阈值相比，本申请有利于降低网络流量检测过程中的误判率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是本发明实施例提供的一种用于检测网络流量的阈值的确定方法的流程图；
图2是本发明实施例提供的一种阈值上限和阈值下限的示意图；
图3是本发明实施例提供的一种具体的确定基础基线和阈值上、下限的流程图；
图4是本发明实施例提供的一种计算机设备的结构框图；
图5是本发明实施例提供的一种用于检测网络流量的阈值的确定装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
阈值又称容忍线，是指一个效应能够产生的最大值或最小值，即在不产生告警的前提下，以基础基线为基准，能容忍流量值上下波动的上、下限。发明人发现，当前研究中阈值的设定多为手动固定设定或者以基础基线为基准，加K(0<K<1)倍作为阈值上限，减K(0<K<1)倍作为阈值下限。在真正或合法用户想要在网络中发送大量数据流并引起数据流计数的较大波动的情况下，这类方法极易将这些数据流视为检测到的网络流量异常，并且引发对这些数据流的告警。然而，类似的引发较大数据流计数的流条目可能来自一些合法用户或内部数据服务器，所以使用这类方法进行网络流量异常检测得到的异常比网络中真实存在的异常高很多。这类方法虽然能满足安全性要求较低的一些网络，但对于电力综合数据网而言，其误报、漏报率较高，需要一种更高精度的算法确定阈值上、下限，因此，本申请发明人提出了用于检测网络流量的阈值的确定方法，以提高确定阈值上、下限的准确性。
在本发明实施例中，提供了一种用于检测网络流量的阈值的确定方法，如图1所示，该方法包括：
步骤101：获取待监测网络的基础基线；
步骤102：实时获取所述待监测网络的节点总数和可用总网络带宽；
步骤103：针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限。
由图1所示的流程可知，在本发明实施例中，针对每个时间点，通过实时获取待监测网络的节点总数和可用总网络带宽，进而根据当前时间点对应的基础基线值、当前时间点的节点总数以及当前时间点的可用总网络带宽，实时确定当前时间点待监测网络的阈值上限和阈值下限。即每个时间点的阈值上限和阈值下限是基于待监测网络当前的节点数、可用总带宽等实际情况确定的，有利于确定出更准确的阈值上限和阈值下限，该阈值上限和阈值下限可以容忍网络内部数据流波动，并且允许合法用户安全地传送较大数据量而不产生异常告警，弥补了现有技术的不足，有助于实现在网络内精确地检测异常；同时，每个时间点的阈值上限和阈值下限是实时、动态确定的，即每个时间点的阈值上限和阈值下限是动态更新的，与现有技术中的固定阈值相比，本申请有利于降低网络流量检测过程中的误判率。
具体实施时，为了实现基于网络实时带宽情况准确地确定阈值上限和阈值下限，在本实施例中，针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限，包括：
在当前时间点设置允许所述待监测网络进行数据传输的最小网络带宽；即该最小网络带宽是满足待监测网络进行正常数据传输情况下的最低网络带宽。
根据当前时间点的所述节点总数和当前时间点的所述可用总网络带宽(例如，该可用总网络带宽可以为各链路可用带宽相加的总和)，计算当前时间点的平均可用带宽，即可用总网络带宽与总节点数的比值为平均可用带宽；
在所述节点总数中确定出当前时间点的活跃节点数，根据所述活跃节点数和所述可用总网络带宽，计算平均活跃带宽，即可用总网络带宽与活跃节点数的比值为平均活跃带宽，其中，活跃节点为当前时间点有流量数据的节点；
针对每个时间点，根据当前时间点对应的基础基线值、所述最小网络带宽、所述平均可用带宽以及所述平均活跃带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限。
具体的，在所述基础基线值大于所述平均活跃带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值上限，例如，如图2所示，基础基线1在T1、T2时间点的基础基线值大于平均活跃带宽，则确定基础基线值为T1、T2时间点的待监测网络的阈值上限；
在所述基础基线值小于所述平均活跃带宽，且大于所述平均可用带宽时，确定所述平均活跃带宽为当前时间点所述待监测网络的阈值上限，例如，如图2所示，基础基线2在T1、T2时间点的基础基线值小于平均活跃带宽，且大于平均可用带宽，则确定平均活跃带宽为T1、T2时间点的待监测网络的阈值上限；
在所述基础基线值小于所述平均可用带宽时，确定所述平均可用带宽为当前时间点所述待监测网络的阈值上限，例如，如图2所示，基础基线3在T1、T2时间点的基础基线值小于平均可用带宽，则确定平均可用带宽为T1、T2时间点的待监测网络的阈值上限；
在所述基础基线值大于所述最小网络带宽时，确定所述最小网络带宽为当前时间点所述待监测网络的阈值下限，例如，如图2所示，基础基线4在T1、T2时间点的基础基线值大于最小网络带宽，则确定最小网络带宽为T1、T2时间点的待监测网络的阈值下限；
在所述基础基线值小于所述最小网络带宽时，确定所述平均可用带宽为当前时间点所述待监测网络的阈值下限，例如，如图2所示，基础基线5在T1、T2时间点的基础基线值小于最小网络带宽，则确定基础基线值为T1、T2时间点的待监测网络的阈值下限。
具体实施时，针对每个时间点，按照上述用于检测网络流量的阈值的确定方法确定、更新每个时间点的待监测网络的阈值上限和阈值下限，将各个时间点的阈值上限按照时间顺序连接起来，将各个时间点的阈值下限按照时间顺序连接起来，两条连线之间的范围可以形成动态阈值范围。
具体实施时，由于阈值上限和阈值下限是基于基础基线值确定的，为了进一步提高确定阈值上限和阈值下限的准确性，在本实施例中，还提出了提高确定基础基线准确性的方法，例如，上述用于检测网络流量的阈值的确定方法还包括：
根据影响所述待监测网络产生流量数据大小的因素，对时间进行分类；例如，与网络中的业务量的波动有关的网络用户的作息规律、工作性质以及节假日等因素，发明人发现网络中的业务量的波动与这些因素有很大关系，并呈现一定的周期性，例如，业务量以天为单位呈现周期性，每日上午和下午的工作时间会出现峰值，中午及夜间休息会出现谷值，依据这种时间特性可以对时间进行分类，可以将时间分为工作日、周末与节假日三类；
获取不同类型的时间内所述待监测网络产生的流量数据，其中，流量数据与时刻值一一对应；例如，可以通过在网络节点上部署探针，以秒级速率采集网络中的流量数据，可以按照日期确定出该日期对应的是工作日、周末或者节假日的时间类型，依据这种时间类型的特性，可以把待监测网络(例如，电力数据网)中的业务量对应的流量数据用非平稳的时间序列近似表示如下：
T(t)＝αwkday(t)+βwkend(t)+γhlday(t) (1)
其中，αwkday(t)指工作日的业务量对应的流量数据，βwkend(t)指周末的业务量对应的流量数据，γhlday(t)指节假日的业务量对应的流量数据。在工作日期间，βwkend(t)＝γhlday(t)＝0；周末两天，αwkday(t)＝γhlday(t)＝0；节假日期间，αwkday(t)＝βwkend(t)＝0。然后，针对时间的分类，可以按照日期去获取工作日、周末或者节假日内待监测网络产生的流量数据；
根据每种类型的时间内所述待监测网络产生的流量数据，计算每种类型的时间对应的基础基线，得到所述待监测网络的基础基线。
本申请发明人发现网络的流量数据依据时间特性呈现周期性，提出对时间分类，并按照时间分类分别计算各个时间分类对应的基础基线，实现了从网络的流量数据分时段体现出周期性的实际情况出发，针对各个时间分类的时间段内流量数据的具体情况计算各个时间分类对应的基础基线，有利于提高确定基础基线的准确性。
具体实施时，为了得到更细化、准确的基础基线，在本实施例中，在时间尺度上对流量数据通过基于滑动窗口的方法来计算基础基线，例如，根据每种类型的时间内所述待监测网络产生的流量数据，计算每种类型的时间对应的基础基线，包括：
针对每种类型的时间，获取该种类型的时间中预设时长内所述待监测网络产生的流量数据，在获取的流量数据中按照滑动窗口分别取每个时间点内的流量数据，每个时间点的时长为所述滑动窗口的长度，例如，滑动窗口的长度可以取5分钟；
针对每个所述滑动窗口内的流量数据，在时间的基础上将该滑动窗口内的流量数据划分为预设值个组；例如，可以划分为四个组，即将该滑动窗口对应的预设时间段划分为四段，每个组对应一段；
分别计算每个组内流量数据的平均值和波动值；例如，可以采用以下公式(2)计算流量数据的平均值：
其中，
是平均值；i是组数，i＝1，2，3，4；j是每组中时刻序数；N是每组中时刻总数；Xij是第i组内第j个时刻对应的流量数据；
可以采用以下公式(3)计算波动值：
其中，Si是第i组的波动值。
确定波动值最小的组对应的平均值为该滑动窗口对应的时间点的基础基线值；
计算得到每个时间点的基础基线值，将各个基础基线值按照时间顺序依次连接，得到该种类型的时间对应的基础基线。
具体实施时，为了进一步提高确定基础基线的准确性，在本实施例中，上述用于检测网络流量的阈值的确定方法还包括：
在获取的流量数据中按照滑动窗口分别取每个时间点内的流量数据之前，按照预设时间长度将获取的流量数据划分为多个数据组，将每个数据组内的所有流量数据相加，将相加得到的和值确定为该数据组对应的所述预设时间长度的流量数据。
即对每种类型的时间中预设时长内监测网络产生的流量数据采用聚合方法进行处理，聚合方法是对一个预设时间长度内的数据块作求和操作，例如，可以采用以下公式(4)来实现：
其中，m的取值分别代表工作日、周末、节假日三种时间类型情况，m＝1,2,3；k值控制作求和处理的数据块时长，即一个预设时间长度的时刻总数，k＝0,1,2.....，该预设时间长度可以是几分钟或几小时，本申请不做具体限定；i是一个预设时间长度内的第i个时刻；Xm(i)是第m类时间内第i个时刻对应的流量数据。具体实施时，滑动窗口的长度大于该一个预设时间长度。
具体实施时，为了进一步提高基础基线的准确性，在本实施例中，在采用聚合方法对流量数据进行处理之后，还可以对聚合后的流量数据进行预处理，去除异常数据，再利用预处理后的流量数据计算基础基线。
以下详细描述采用上述用于检测网络流量的阈值的确定方法确定基础基线和阈值上、下限的过程，如图3所示，该过程包括以下步骤：
步骤1：通过在待监测网络的节点上部署探针，以秒级速率采集待监测网络中的流量数据。
步骤2：对采集的流量数据对应的时间处理分为工作日、周末以及节假日三类，分别计算每种类型时间对应的基础基线，以提高基础基线的准确性，进而提高阈值上、下限设定的准确性。
具体的，通过采集现网中的网络层流量数据进行统计分析，并结合网络用户行为分析技术可知，网络中的业务量的波动与网络用户的作息规律、工作性质以及节假日等因素有很大关系，并呈现一定的周期性。
例如，业务量以天为单位呈现周期性，每日上午和下午的工作时间会出现峰值，中午及夜间休息会出现谷值。因此，发明人提出将时间分为工作日、周末以及节假日三类，依据这种时间特性，可以把待监测网络(例如，电力数据网)中的业务量对应的流量数据用非平稳的时间序列近似表示如下：
T(t)＝αwkday(t)+βwkend(t)+γhlday(t) (1)
其中，αwkday(t)指工作日的业务量对应的流量数据，βwkend(t)指周末的业务量对应的流量数据，γhlday(t)指节假日的业务量对应的流量数据。在工作日期间，βwkend(t)＝γhlday(t)＝0；周末两天，αwkday(t)＝γhlday(t)＝0；节假日期间，αwkday(t)＝βwkend(t)＝0。
步骤3：根据每种类型的时间内待监测网络产生的流量数据，计算每种类型的时间对应的基础基线。例如，以工作日类型的时间为例，获取工作日内待监测网络产生的流量数据，对该流量数据进行聚合处理，例如，采用上述公式(4)进行聚合处理。
步骤4：对聚合后的数据进行预处理，去除异常数据。
步骤5：对预处理后的数据按照滑动窗口分别取每个时间点内的流量数据，每个时间点的时长是滑动窗口的长度，针对每个滑动窗口内的流量数据，在时间的基础上将该滑动窗口内的流量数据划分为预设值个组得到的有效数据进行随机分组，例如，分为四组，采用公式(2)计算每个组内流量数据的平均值，采用公式(3)计算每个组内流量数据的波动值。
步骤6：确定波动值最小的组对应的平均值为该滑动窗口对应的时间点的基础基线值，进而可以计算得到每个滑动窗口对应的时间点的基础基线值，各个基础基线值按照时间顺序依次连接，得到该种类型的时间对应的基础基线。
步骤7：先计算出一个时间点的阈值上、下限，下一个时间点用同样的方法更新阈值上、下限，连点成线，形成动态阈值范围。例如，以计算当前时间点的阈值上、下限为例，依据待监测网络当前状况，计算待监测网络当前可用的总网络带宽(各链路带宽相加)和总节点数。
步骤8：在保证待监测网络可以正常传输的前提下，设置待监测网络的最小网络带宽。
步骤9：根据当前待监测网络中活跃数据流，计算活跃节点数。
步骤10：计算平均可用带宽，即可用总网络带宽与总节点数的比值。
步骤11：计算平均活跃带宽，即可用总网络带宽与活跃节点数的比值。
步骤12：确定阈值上限：在基础基线值大于平均活跃带宽时，确定基础基线值为当前时间点待监测网络的阈值上限；在基础基线值小于平均活跃带宽，且大于平均可用带宽时，确定平均活跃带宽为当前时间点待监测网络的阈值上限；在基础基线值小于平均可用带宽时，确定平均可用带宽为当前时间点待监测网络的阈值上限；在基础基线值小于最小网络带宽时，确定平均可用带宽为当前时间点待监测网络的阈值上限。
步骤13：确定阈值下限：在基础基线值小于最小网络带宽时，确定基础基线值为当前时间点待监测网络的阈值下限；在基础基线值大于最小网络带宽时，确定最小网络带宽为当前时间点待监测网络的阈值下限。
步骤14：依照上述步骤7至13的方法更新下一个时间点的阈值上、下限。
步骤15：将各个时间点的阈值上限按照时间顺序连接起来，将各个时间点的阈值下限按照时间顺序连接起来，两条连线之间的范围可以形成动态阈值范围。
具体实施时，在本实施例中还提供了一种计算机设备，如图4所示，包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种用于检测网络流量的阈值的确定方法。以解决现有技术中由于阈值是固定设置而导致网络流量检测过程中会误判的技术问题。
具体实施时，在本实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有上述任意一种用于检测网络流量的阈值的确定方法。以解决现有技术中由于阈值是固定设置而导致网络流量检测过程中会误判的技术问题。
基于同一发明构思，本发明实施例中还提供了一种用于检测网络流量的阈值的确定装置，如下面的实施例所述。由于用于检测网络流量的阈值的确定装置解决问题的原理与用于检测网络流量的阈值的确定方法相似，因此用于检测网络流量的阈值的确定装置的实施可以参见用于检测网络流量的阈值的确定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例的用于检测网络流量的阈值的确定装置的一种结构框图，如图5所示，该装置包括：
基础基线获取模块501，用于获取待监测网络的基础基线；
网络信息获取模块502，用于实时获取所述待监测网络的节点总数和可用总网络带宽；
阈值确定模块503，用于针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限。
在一个实施例中，所述阈值确定模块503，包括：带宽设置单元，用于在当前时间点设置允许所述待监测网络进行数据传输的最小网络带宽；可用带宽计算单元，用于根据当前时间点的所述节点总数和当前时间点的所述可用总网络带宽，计算当前时间点的平均可用带宽；活跃带宽计算单元，用于在所述节点总数中确定出当前时间点的活跃节点数，根据所述活跃节点数和所述可用总网络带宽，计算平均活跃带宽，其中，活跃节点为当前时间点有流量数据的节点；阈值确定单元，用于针对每个时间点，根据当前时间点对应的基础基线值、所述最小网络带宽、所述平均可用带宽以及所述平均活跃带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限。
在一个实施例中，所述阈值确定单元，具体用于在所述基础基线值大于所述平均活跃带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述平均活跃带宽，且大于所述平均可用带宽时，确定所述平均活跃带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述平均可用带宽时，确定所述平均可用带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述最小网络带宽时，确定所述平均可用带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述最小网络带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值下限；在所述基础基线值大于所述最小网络带宽时，确定所述最小网络带宽为当前时间点所述待监测网络的阈值下限。
在一个实施例中，还包括：时间分类模块，用于根据影响所述待监测网络产生流量数据大小的因素，对时间进行分类；流量数据获取模块，用于获取不同类型的时间内所述待监测网络产生的流量数据，其中，流量数据与时刻值一一对应；基础基线确定模块，用于根据每种类型的时间内所述待监测网络产生的流量数据，计算每种类型的时间对应的基础基线，得到所述待监测网络的基础基线。
在一个实施例中，所述基础基线确定模块，包括：取流量数据单元，用于针对每种类型的时间，获取该种类型的时间中预设时长内所述待监测网络产生的流量数据，在获取的流量数据中按照滑动窗口分别取每个时间点内的流量数据，每个时间点的时长为所述滑动窗口的长度；分组单元，用于针对每个所述滑动窗口内的流量数据，在时间的基础上将该滑动窗口内的流量数据划分为预设值个组；计算单元，用于分别计算每个组内流量数据的平均值和波动值；基础基线值确定单元，用于确定波动值最小的组对应的平均值为该滑动窗口对应的时间点的基础基线值；基础基线确定单元，用于计算得到每个所述滑动窗口对应的时间点的基础基线值，将各个滑动窗口对应的基础基线值按照时间顺序依次连接，得到该种类型的时间对应的基础基线。
在一个实施例中，还包括：聚合模块，用于在获取的流量数据中按照滑动窗口分别取每个时间点内的流量数据之前，按照预设时间长度将获取的流量数据划分为多个数据组，将每个数据组内的所有流量数据相加，将相加得到的和值确定为该数据组对应的所述预设时间长度的流量数据。
在本发明实施例中，针对每个时间点，通过实时获取待监测网络的节点总数和可用总网络带宽，进而根据当前时间点对应的基础基线值、当前时间点的节点总数以及当前时间点的可用总网络带宽，实时确定当前时间点待监测网络的阈值上限和阈值下限。即每个时间点的阈值上限和阈值下限是基于待监测网络当前的节点数、可用总带宽等实际情况确定的，有利于确定出更准确的阈值上限和阈值下限；同时，每个时间点的阈值上限和阈值下限是实时、动态确定的，即每个时间点的阈值上限和阈值下限是动态更新的，与现有技术中的固定阈值相比，本申请有利于降低网络流量检测过程中的误判率。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种用于检测网络流量的阈值的确定方法，其特征在于，包括：
获取待监测网络的基础基线；
实时获取所述待监测网络的节点总数和可用总网络带宽；
针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限；
针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限，包括：
在当前时间点设置允许所述待监测网络进行数据传输的最小网络带宽；
根据当前时间点的所述节点总数和当前时间点的所述可用总网络带宽，计算当前时间点的平均可用带宽；
在所述节点总数中确定出当前时间点的活跃节点数，根据所述活跃节点数和所述可用总网络带宽，计算平均活跃带宽，其中，活跃节点为当前时间点有流量数据的节点；
针对每个时间点，根据当前时间点对应的基础基线值、所述最小网络带宽、所述平均可用带宽以及所述平均活跃带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限；
针对每个时间点，根据当前时间点对应的基础基线值、所述最小网络带宽、所述平均可用带宽以及所述平均活跃带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限，包括：
在所述基础基线值大于所述平均活跃带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述平均活跃带宽，且大于所述平均可用带宽时，确定所述平均活跃带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述平均可用带宽时，确定所述平均可用带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述最小网络带宽时，确定所述最小网络带宽为当前时间点所述待监测网络的阈值上限；
在所述基础基线值小于所述最小网络带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值下限；在所述基础基线值大于所述最小网络带宽时，确定所述最小网络带宽为当前时间点所述待监测网络的阈值下限。
2.如权利要求1所述的用于检测网络流量的阈值的确定方法，其特征在于，还包括：
根据影响所述待监测网络产生流量数据大小的因素，对时间进行分类；
获取不同类型的时间内所述待监测网络产生的流量数据，其中，流量数据与时刻值一一对应；
根据每种类型的时间内所述待监测网络产生的流量数据，计算每种类型的时间对应的基础基线，得到所述待监测网络的基础基线。
3.如权利要求2所述的用于检测网络流量的阈值的确定方法，其特征在于，根据每种类型的时间内所述待监测网络产生的流量数据，计算每种类型的时间对应的基础基线，包括：
针对每种类型的时间，获取该种类型的时间中预设时长内所述待监测网络产生的流量数据，在获取的流量数据中按照滑动窗口分别取每个时间点内的流量数据，每个时间点的时长为所述滑动窗口的长度；
针对每个所述滑动窗口内的流量数据，在时间的基础上将该滑动窗口内的流量数据划分为预设值个组；
分别计算每个组内流量数据的平均值和波动值；
确定波动值最小的组对应的平均值为该滑动窗口对应的时间点的基础基线值；
计算得到每个时间点的基础基线值，将各个基础基线值按照时间顺序依次连接，得到该种类型的时间对应的基础基线。
4.如权利要求3所述的用于检测网络流量的阈值的确定方法，其特征在于，还包括：
在获取的流量数据中按照滑动窗口分别取每个时间点内的流量数据之前，按照预设时间长度将获取的流量数据划分为多个数据组，将每个数据组内的所有流量数据相加，将相加得到的和值确定为该数据组对应的所述预设时间长度的流量数据。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的用于检测网络流量的阈值的确定方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有被处理器运行时执行权利要求1至4中任一项所述的用于检测网络流量的阈值的确定方法的计算机程序。
7.一种用于检测网络流量的阈值的确定装置，其特征在于，包括：
基础基线获取模块，用于获取待监测网络的基础基线；
网络信息获取模块，用于实时获取所述待监测网络的节点总数和可用总网络带宽；
阈值确定模块，用于针对每个时间点，根据所述基础基线中当前时间点对应的基础基线值、当前时间点的所述节点总数以及当前时间点的所述可用总网络带宽，实时确定当前时间点所述待监测网络的阈值上限和阈值下限；
所述阈值确定模块，包括：
带宽设置单元，用于在当前时间点设置允许所述待监测网络进行数据传输的最小网络带宽；
可用带宽计算单元，用于根据当前时间点的所述节点总数和当前时间点的所述可用总网络带宽，计算当前时间点的平均可用带宽；
活跃带宽计算单元，用于在所述节点总数中确定出当前时间点的活跃节点数，根据所述活跃节点数和所述可用总网络带宽，计算平均活跃带宽，其中，活跃节点为当前时间点有流量数据的节点；
阈值确定单元，用于针对每个时间点，根据当前时间点对应的基础基线值、所述最小网络带宽、所述平均可用带宽以及所述平均活跃带宽，确定当前时间点所述待监测网络的阈值上限和阈值下限；
所述阈值确定单元，具体用于在所述基础基线值大于所述平均活跃带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述平均活跃带宽，且大于所述平均可用带宽时，确定所述平均活跃带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述平均可用带宽时，确定所述平均可用带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述最小网络带宽时，确定所述最小网络带宽为当前时间点所述待监测网络的阈值上限；在所述基础基线值小于所述最小网络带宽时，确定所述基础基线值为当前时间点所述待监测网络的阈值下限；在所述基础基线值大于所述最小网络带宽时，确定所述最小网络带宽为当前时间点所述待监测网络的阈值下限。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382164.5A CN108123849B (zh) | 2017-12-20 | 2017-12-20 | 检测网络流量的阈值的确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382164.5A CN108123849B (zh) | 2017-12-20 | 2017-12-20 | 检测网络流量的阈值的确定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108123849A CN108123849A (zh) | 2018-06-05 |
| CN108123849B true CN108123849B (zh) | 2020-08-28 |
Family
ID=62229530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711382164.5A Active CN108123849B (zh) | 2017-12-20 | 2017-12-20 | 检测网络流量的阈值的确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108123849B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109194661B (zh) * | 2018-09-13 | 2021-10-26 | 网易（杭州）网络有限公司 | 网络攻击告警阈值配置方法、介质、装置和计算设备 |
| CN110247911B (zh) * | 2019-06-14 | 2021-06-08 | 曹严清 | 一种流量异常检测方法及系统 |
| CN111209795B (zh) * | 2019-12-17 | 2023-06-20 | 中国平安财产保险股份有限公司 | 基于数据分析的提醒信息生成方法、装置和计算机设备 |
| CN111865822A (zh) * | 2020-05-20 | 2020-10-30 | 国家电网有限公司 | 一种基于智能变电站交换机的业务流告警方法及装置 |
| CN113992496B (zh) * | 2020-07-10 | 2023-11-17 | 中国移动通信集团湖北有限公司 | 基于四分位算法的异动告警方法、装置及计算设备 |
| CN112350849B (zh) * | 2020-09-15 | 2022-07-29 | 国网浙江省电力有限公司湖州供电公司 | 一种电力监测数据阀值智能设置及更新系统 |
| CN112532617B (zh) * | 2020-11-27 | 2022-09-23 | 神州绿盟成都科技有限公司 | 一种针对HTTP Flood攻击的检测方法、装置、设备及介质 |
| CN112994978B (zh) * | 2021-02-25 | 2023-01-24 | 网宿科技股份有限公司 | 一种网络流量监测方法及装置 |
| CN113449971B (zh) * | 2021-06-13 | 2022-03-18 | 上海用正医药科技有限公司 | 基于临床试验指标数据分析结果的监查任务分派方法 |
| CN114143822B (zh) * | 2021-11-05 | 2023-08-15 | 阳光电源股份有限公司 | 流量管理方法、运营管理平台、充电桩及存储介质 |
| CN115208741A (zh) * | 2022-07-06 | 2022-10-18 | 中国联合网络通信集团有限公司 | 一种基于网络设备的故障监控方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724123A (zh) * | 2012-06-27 | 2012-10-10 | 青岛上锋科技有限公司 | 网络流量控制方法及控制装置 |
| CN102882895A (zh) * | 2012-10-31 | 2013-01-16 | 杭州迪普科技有限公司 | 一种识别报文攻击的方法及装置 |
| CN104734894A (zh) * | 2013-12-18 | 2015-06-24 | 中国移动通信集团甘肃有限公司 | 一种流量数据筛选方法和装置 |
-
2017
- 2017-12-20 CN CN201711382164.5A patent/CN108123849B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724123A (zh) * | 2012-06-27 | 2012-10-10 | 青岛上锋科技有限公司 | 网络流量控制方法及控制装置 |
| CN102882895A (zh) * | 2012-10-31 | 2013-01-16 | 杭州迪普科技有限公司 | 一种识别报文攻击的方法及装置 |
| CN104734894A (zh) * | 2013-12-18 | 2015-06-24 | 中国移动通信集团甘肃有限公司 | 一种流量数据筛选方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| "A Multi-Applications Comprehensive Traffic Prediction model for the electric power data network";Yu Zhou等，;《2016 18th Asia-Pacific Network Operations and Management Symposium (APNOMS)》;20161110;全文 * |
| "DDoS Attack Detection using Fast Entropy Approach on Flow- Based Network Traffic";Jisa David等，;《2nd International Symposium on Big Data and Cloud Computing (ISBCC’15)》;20150430;第30-36页 * |
| "基于网络流的流量异常检测研究";戚玉娥，;《中国优秀硕士学位论文全文数据库-信息科技辑》;20090915(第 09 期);I139-109起全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108123849A (zh) | 2018-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108123849B (zh) | 检测网络流量的阈值的确定方法、装置、设备及存储介质 | |
| US8457928B2 (en) | Automatic determination of dynamic threshold for accurate detection of abnormalities | |
| CN108429651B (zh) | 流量数据检测方法、装置、电子设备及计算机可读介质 | |
| CN104486141B (zh) | 一种误报自适应的网络安全态势预测方法 | |
| US7962611B2 (en) | Methods, systems and computer program products for detecting flow-level network traffic anomalies via abstraction levels | |
| CN112188531B (zh) | 异常检测方法、装置、电子设备及计算机存储介质 | |
| CN105406991A (zh) | 基于网络监控指标由历史数据生成业务阈值的方法及系统 | |
| US20110161048A1 (en) | Method to Optimize Prediction of Threshold Violations Using Baselines | |
| CN105847283A (zh) | 一种基于信息熵方差分析的异常流量检测方法 | |
| CN111010291B (zh) | 业务流程异常告警方法、装置、电子设备及存储介质 | |
| US9547545B2 (en) | Apparatus and program for detecting abnormality of a system | |
| CN102447707B (zh) | 一种基于映射请求的DDoS检测与响应方法 | |
| CN107888441A (zh) | 一种网络流量基线自学习自适应方法 | |
| CN110874674A (zh) | 一种异常检测方法、装置及设备 | |
| TWI721693B (zh) | 基於行動物聯網之網路行為異常偵測系統及方法 | |
| CN111193608B (zh) | 网络质量探测监控方法、装置、系统和计算机设备 | |
| CN114978568A (zh) | 使用机器学习进行数据中心管理 | |
| US20150205856A1 (en) | Dynamic brownian motion with density superposition for abnormality detection | |
| CN115454778A (zh) | 大规模云网络环境下的时序指标异常智能监控系统 | |
| CN107276779B (zh) | 一种监控方法、系统及设备 | |
| KR101187023B1 (ko) | 네트워크 비정상 트래픽 분석시스템 | |
| CN113271224A (zh) | 节点的定位方法、装置、存储介质及电子装置 | |
| CN117148045A (zh) | 配电网运行状态的故障研判管理系统 | |
| JP5310094B2 (ja) | 異常検出システム、異常検出方法および異常検出用プログラム | |
| Xu et al. | Comparisons of logistic regression and artificial neural network on power distribution systems fault cause identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |