CN107888441A - 一种网络流量基线自学习自适应方法 - Google Patents

Abstract

本发明提供了一种网络流量基线自学习自适应方法，其包括采集并存储网络流量数据、计算网络流量基线值、确定动态基线临界值和更新基线值和临界值。本发明提供的技术方案在未设定业务流量固定阈值时能给维护人员提供重要的流量异常报警信息，能够有效协助网络管理人员尽早侦测和发现网络中的异常，且能直观反映网络流量数据趋势。

Description

一种网络流量基线自学习自适应方法

技术领域

本发明涉及网络流量监控方法，具体讲涉及一种网络流量基线自学习自适应方法。

背景技术

网络管理中非常重要且非常基础的一个环节就是网络流量监测，网络流量监测即是通过对网络数据的连续采集来监测网络的流量。网络管理员根据当前的和历史的存储网络及其重要成分的性能的数据数据，就可对网络及其主要成分的性能进行性能管理，通过数据分析获得性能的变化趋势。

在网络流量监测的基础上，管理员可对感兴趣的网络管理对象设置阈值范围以配置网络阈值对象，阈值对象监控实时轮询网络获取定义对象的当前值。若超出阀值的上限和下限则报警，帮助管理员发现网络瓶颈，从而实现一定程度上的故障管理，网络流量监测本身也涉及到安全管理方面的内容。

目前主要采用基于恒定基线阈值检测方法监控网络流量，如果采集的流量数据超过其设定的网络流量恒定基线阈值，则认为流量异常，发出告警通知。基线阈值的选定依赖于网络管理员的经验和对历史观测数据的统计分析，主观选择性较大，且阈值设定的准确度有待提高。恒定阈值检测方法的关键是对阈值的设置，如果基线阈值选取过高，则检测不到较小流量的问题，设定的基线阈值失去意义；如果基线阈值过低，会产生误报警且掩盖真实异常情况。恒定阈值检测方法的缺点是难以设定恰当的阈值，难以发现细微的流量异常。

静态配置预警门限的方法，完全根据经验判断门限值的配置区间，无法适应网络数据变化和结构变化带来的隐形冲击，可能导致误告警，不利于及时高效监控及预警当前网路情况。

现有的检测方法适用于变化不大的网络环境中，而现今网络流量的复杂性和差异性用固定阈值难以发现异常情况。为满足现今复杂网络环境的流量检测，本发明提供了一种网络流量基线自学习自适应方法，检测异常网络流量。

发明内容

为满足现有技术发展的需要，克服现有技术中流量监控不精确的缺点，本发明提供一种网络流量基线自学习自适应方法。

本发明提供的网络流量基线自学习自适应方法，其改进之处在于，所述方法包括：

(1)采集并存储网络流量数据；

(2)计算网络流量基线值；

(3)确定动态基线临界值；

(4)更新基线值和临界值。

进一步的，所述步骤(1)中SNMP管理者用GET方法通过SNMP代理者每5分钟采集一次路由器管理对象信息库MIB的信息；

所述SNMP管理者定时从MIB中读取设备接口组每秒接收字节数ifInIctets和每秒发送字节数ifOutOctets；

进一步的，将采集的原始数据转化为流量速率存储在数据库中，并记录数据的标识字段ID、数据源路由器IP地址RouterIP、路由器端口号Port、路由器端口的出流量速率OutTraffic、路由器端口的入流量速率InTraffic和流量数据采集时刻Time。

进一步的，所述步骤(2)中，提取历史数据中每天相同时刻的流量信息数据，用下式(1)计算网络流量基线值：

其中，x_n是t时刻流量采集数据值，n是采集数据个数。

进一步的，所述步骤(3)中，

(3-1)由网络流量基线值计算采样数据的标准方差σ，如下式(2)所示：

其中，x_i是t时刻流量采集数据值,i＝1,2,3,…,n；

(3-2)选择标准方差系数p，由下式(3)计算基线边界值：

其中，ω_上：动态基线上临界值；ω_下：动态基线下临界值；p_上基线和p_下基线：分别为基线的上临界值方差系统和下临界值方差系数。

进一步的，所述标准方差系数P按下式计算：

其中，x_max：历史流量数据最大峰值；x_min：历史流量数据最小谷值；

进一步的，所述步骤(4)包括：

(4-1)根据新采集的数据y_new对流量进行判断：

若ω_上≥y_new≥ω_下，则y_new为正常流量；若y_new＞ω_上或y_new＜ω_下，则y_new为异常流量；

(4-2)y_new为正常流量，按下式(4)和(5)分别更新基线值μ_new和标准方差σ_new：

其中，x_i是t时刻流量采集数据值,i＝1,2,3,…,n；

(4-3)按下式(6)更新基线的上临界值ω_上new和下临界值ω_下new：

其中，P_{上基线-新}和P_{下基线-新}用更新的基线值μ_new和标准方差σ_new、更新的峰值x_max和谷值x_min计算。

与最接近的现有技术比，本发明提供的技术方案具有以下优异效果：

1、本发明提供的技术方案每天多时段定时统计网络流量并计算其平均值和标准方差，基于标准方差和基线值设定反映网络正常行为下所呈现的流量变化趋势的基线临界值，使网络流量趋势变化反映更直观。

2、本发明提供的基线自学习自适应方法在未设定业务流量固定阈值时，能提供给维护人员重要的流量异常报警信息，能够有效协助网络管理人员尽早侦测和发现网络中的异常。

3、本发明提供的技术方案通过动态基线对网络实现动态监控，根据历史流量数据动态生成基线阈值，减少人工配置固定流量阈值，减轻了人力投入，而且能够更加贴切的实际网络的流量监控，针对不同的业务环境，能够适应网络环境的变化，能快速满足监控需求。

附图说明

图1为本发明提供的技术方案的方法流程图；

图2为本发明提供的技术方案中SNMP方法原理图；

图3为本发明提供的技术方案中自适应方法流程图；

图4为本发明提供的技术方案中流量动态基线示意图。

具体实施方式

以下将结合附图说明对本发明提供的技术方案做进一步详细说明。

本发明提出的流量基线自学习自适应方法，是针对具体的网络，在网络历史流量信息的基础上，在纵向时间度根据历史流量信息中每一天该相同时段的流量样本数据自动学习，自适应网络流量的变化并适时调整基线阈值和临界值，灵活的解决流量监控问题。通过动态基线对网络实现动态监控，减少人工配置固定流量阈值，使软件程序能够根据历史流量数据动态生成基线阈值。通过这种基线自学习方法，减轻了人力投入，而且能够更加贴切的实际网络的流量监控，针对不同的业务环境，能够适应网络环境的变化，能快速满足监控需求。

本发明提出了一种网络流量基线自学习自适应方法，如附图1的自适应方法程序图，所述方法通过网络流量数据采集与存储、计算网络流量基线值、确定动态基线临界值、基线值和临界值的更新四个步骤来实现。自学习自适应方法中的四个步骤具体包括：。

(一)网络流量数据的采集与存储

用简单网络管理协议SNMP采集流量原始数据信息是一个国际标准协议，在SNMP应用中有许多系统被管理，管理系统透过GET协定指令取回需要的信息资讯。SNMP基本原理结构如图2所示，采用SNMP管理者用GET方法通过SNMP代理者采集路由器的管理对象信息库MIB的信息，从而获得网络的真实流量性能信息，每隔5分钟采集一次。从SNMP管理对象信息库MIB中定时读取接口组变量iflnOctets(B/s),ifOutOctets(B/s)，它们分别表示设备接口每秒接收字节数和设备口每秒发送字节数。

将从路由器上采集到到原始数据转化为流量速率bps，并存储在数据库中。需要记下以下基本信息：

ID

RouterIP

Port

OutTraffic

InTraffic

Time

ID:每条记录的标识字段。

RouterIP：数据源路由器IP。

Port：路由器的端口号。

OutTraffic：路由器端口的出流量速率(bps)。

InTraffic：路由器端口的入流量速率(bps)。

Time：流量数据采集时刻。

(二)计算网络流量基线值

基于存储的历史流量信息数据，处理采样数据。要计算某一时刻t的网络流量的基线值，首先需要将过去每一天在该时刻的历史流量信息数据取出，计算采集的历史流量数据的算术平均值μ，如下式(1)所示：

其中，x_n是t时刻流量采集数据值，n是采集数据个数。这个算术平均值就是根据历史流量数据计算出的网络流量基线值。

(三)确定动态基线临界值

1)根据计算出的网络流量基线值，计算采集数据的标准方差σ，如下式(2)所示：

其中，x_i是t时刻流量采集数据值,i＝1,2,3,…,n；

2)用标准方差值来设定基线边界值；

选择标准方差系数p(p>1)，与σ、μ共同计算得到基线上下临界值，基线上临界值为ω_上＝μ+p*σ,基线下临界值为ω_下＝μ-p*σ。

至此，得到动态基线和基线临界值，通过对不同时刻历史流量的基线值和临界值的计算，可以得到如图4所示的网络流量在一段时间内的动态基线示意图。

(4)基线值和临界值的更新

随着时间的发展，产生新的流量信息数据，需要不断将新的流量数据信息更新到基线值和临界值上，以反映网络流量的真实变化趋势。

先对新采集的流量数据进行预判，设新的采集数据为y_new,如果y_new＞ω_上，则y_new认为是异常流量，则不计入基线值的更新数据源；如果y_new＜ω_下，则y_new认为是异常流量，则不计入基线值的更新数据源，对异常流量，不再计算基线值和临界值的更新。

只有当ω_上≥y_new≥ω_下，则认为y_new是正常流量，更新正常流量采集数据，用式(3)更新基线值:

然后，更新标准方差σ_new，如下式(4)所示：

其中，x_i是t时刻流量采集数据值,i＝1,2,3,…,n；

根据新的标准方差，确定基线上下临界值：

ω_上new＝μ_new+p*σ_new

ω_下new＝μ_new-p*σ_new。

在更新流量数据后，获得新的基线和临界值，基线能够根据网络流量变化动态变化，更加适应网络的变化，过程如图3所示。

根据基线值和临界值对实时流量进行实时监控，当流量在上下临界值之间，则表示流量正常，并将流量信息计入数据库，用于计算更新的基线值和临界值，当实时流量越过临界值时则表明流量异常，提醒网络管理者对网络进行故障排查。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种网络流量基线自学习自适应方法，其特征在于，所述方法包括：

(1)采集并存储网络流量数据；

(2)计算网络流量基线值；

(3)确定动态基线临界值；

(4)更新基线值和临界值。

2.如权利要求1所述的自学习自适应方法，其特征在于，所述步骤(1)中SNMP管理者用GET方法通过SNMP代理者每5分钟采集一次路由器管理对象信息库MIB的信息；

所述SNMP管理者定时从MIB中读取设备接口组每秒接收字节数ifInIctets和每秒发送字节数ifOutOctets；

3.如权利要求1所述的自学习自适应方法，其特征在于，将采集的原始数据转化为流量速率存储在数据库中，并记录数据的标识字段ID、数据源路由器IP地址RouterIP、路由器端口号Port、路由器端口的出流量速率OutTraffic、路由器端口的入流量速率InTraffic和流量数据采集时刻Time。

4.如权利要求1所述的自学习自适应方法，其特征在于，所述步骤(2)中，提取历史数据中每天相同时刻的流量信息数据，用下式(1)计算网络流量基线值：

<mrow> <mi>&amp;mu;</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> </mrow> <mi>n</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中，x_n是t时刻流量采集数据值，n是采集数据个数。

5.如权利要求1所述的自学习自适应方法，其特征在于，所述步骤(3)中，

(3-1)由网络流量基线值计算采样数据的标准方差σ，如下式(2)所示：

<mrow> <mi>&amp;sigma;</mi> <mo>=</mo> <msqrt> <mfrac> <mrow> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mi>n</mi> </mfrac> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中，x_i是t时刻流量采集数据值,i＝1,2,3,…,n；

(3-2)选择标准方差系数p，由下式(3)计算基线边界值：

其中，ω_上：动态基线上临界值；ω_下：动态基线下临界值；p_上基线和p_下基线：分别为基线的上临界值方差系统和下临界值方差系数。

6.如权利要求5所述的自学习自适应方法，其特征在于，所述标准方差系数P按下式计算：

其中，x_max：历史流量数据最大峰值；x_min：历史流量数据最小谷值；

7.如权利要求1所述的自学习自适应方法，其特征在于，所述步骤(4)包括：

(4-1)根据新采集的数据y_new对流量进行判断：

若ω_上≥y_new≥ω_下，则y_new为正常流量；若y_new＞ω_上或y_new＜ω_下，则y_new为异常流量；

(4-2)y_new为正常流量，按下式(4)和(5)分别更新基线值μ_new和标准方差σ_new：

<mrow> <msub> <mi>&amp;mu;</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> <mo>+</mo> <msub> <mi>y</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msub> </mrow> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msub> <mo>=</mo> <msqrt> <mfrac> <mrow> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>y</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msub> </mrow> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中，x_i是t时刻流量采集数据值,i＝1,2,3,…,n；

(4-3)按下式(6)更新基线的上临界值ω_上new和下临界值ω_下new：

其中，P_{上基线-新}和P_{下基线-新}用更新的基线值μ_new和标准方差σ_new、更新的峰值x_max和谷值x_min计算。