CN110460498A - 一种流量监控方法及系统 - Google Patents

Abstract

本发明实施例提供一种流量监控方法及系统，包括：S1.采集端口的第一流量数据，并存入到流量监控文件中；S2.从所述流量监控文件中读取最近的预设数量个第二流量数据；S3.根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。在高波动网络环境中，通过对多个流量数据的比较，可以有效的分辨出实时流量是否产生了突变，能够有效的减少误报警、假报警、丢失报警等现象，同时，通过监控合并后的多个端口的流量来判断是否存在流量突变现象，可以使监控的流量数据更加稳定，使确定该异常流量是否为突变流量更加的清晰。

Description

一种流量监控方法及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种流量监控方法及系统。

背景技术

互联网数据中心(InternetDataCenter)简称IDC，就是电信部门利用已有的互联网通信线路、带宽资源，建立标准化的电信专业级机房环境，为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。在提供服务时，需要对客户所使用的流量进行实时监控。

随着网络通信的发展，为了对通信过程中的数据进行管理和控制，以及对通信过程进行优化与限制，则需要对通信过程进行流量监控，以实现数据的高效传输，而流量突变一般发生在网络故障的时候，所以突变检测对于保证网络安全性和可靠性具有重要作用。

为了满足自适应的流量突变检测，传统技术方案主要是通过对数值的聚集来进行突变检测。即通过当前网络流量和历史网络流量的比较，将比较结果和阈值进行比较判断，得出是否发生异常，但现有的技术方案投入到具体的网络流量监测中，存在以下问题：

1.异常阈值选取为一个固定值，或者说是经验值是传统技术方案之一，通过比较历史数据，选取一个较为合理的流量范围作为正常工作范围，但对于流量增幅较大的企业，需要经常设置异常阈值，才能够不断的适应因业务量提升而导致的流量增多的问题；

2.将异常阈值选取为一个固定的比例，通过波动量与历史流量的计算，得到波动率，将波动率作为突变流量的判断标准，对于流量稳步增长的企业来说，正常的流量增多的波动率会保持在一定的范围内，不会触发因流量异常而带来的误报警的问题，但对于网络环境变化较大，流量波动性较大的网络环境，且会带来较多的误报警、假报警、丢失报警等问题；

3.人工配置波动阈值的选取需要较强的经验和长时间对于网络环境的监控，才可以配置出比较合理的阈值范围，要耗费极大的人力和时间的投入。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种流量监控方法及系统，以实现对于高波动网络环境的突变流量进行有效的监控和报警。

一方面，本发明实施例提供了一种流量监控方法，包括：

S1. 采集端口的第一流量数据，并存入到流量监控文件中；

S2. 从所述流量监控文件中读取最近的预设数量个第二流量数据；

S3. 根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。

更进一步的，所述步骤S1之前，还包括：

S0. 添加用户数据，所述用户数据包括需要监控的所述端口、所述突变流量阈值，以及报警邮箱。

更进一步的，所述步骤S2中，还包括：

S21. 将同一时间采集的至少一个所述端口的所述第一流量数据进行合并，得到所述第二流量数据。

更进一步的，所述步骤S3中，还包括：

S31. 将读取的所述预设数量个所述第二流量数据中最新的所述第二流量数据与其他所述第二流量数据一一相减，得到流量差值；

S32. 将得到的多个所述流量差值与所述突变流量阈值进行对比，若所有的所述流量差值的绝对值均大于所述突变流量阈值，则所述流量出现突变，发送报警信息至所述报警邮箱，并将报警信息加入到报警表中，若存在所述流量差值的绝对值小于所述突变流量阈值，则所述流量没有出现突变，不发送报警信息。

更进一步的，步骤S32中所述将报警信息加入到报警表中之后，还包括：

S33. 更新最近的预设数量个第二流量数据，并重新计算流量差值，当存在所述流量差值的绝对值小于所述突变流量阈值时，取消报警，并将所述报警表中的所述报警信息删除。

另一方面，本发明实施例提供了一种流量监控系统，包括：

采集模块，用于采集端口的第一流量数据，并将所述第一流量数据存入到流量监控文件中；

读取模块，用于从所述流量监控文件中读取最近的预设数量个第二流量数据；

判断模块，用于根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。

更进一步的，还包括：

创建模块，用于添加用户数据，所述用户数据包括需要监控的所述端口、所述突变流量阈值，以及报警邮箱。

更进一步的，所述读取模块还包括：

数据合并单元，用于将采集模块同一时间采集的至少一个所述端口的所述第一流量数据进行合并，得到所述第二流量数据。

更进一步的，所述判断模块还包括：

计算单元，用于将读取模块读取的所述预设数量个所述第二流量数据中最新的所述第二流量数据与其他所述第二流量数据一一相减，得到流量差值；

报警单元，用于将计算单元计算得到的多个所述流量差值与所述突变流量阈值进行对比，若所有的所述流量差值的绝对值均大于所述突变流量阈值，则所述流量出现突变，发送报警信息至所述报警邮箱，并将报警信息加入到报警表中，若存在所述流量差值的绝对值小于所述突变流量阈值，则所述流量没有出现突变，不发送报警信息。

更进一步的，所述报警单元还包括：

恢复子单元，用于更新最近的预设数量个第二流量数据，并令所述计算单元重新计算流量差值，当存在所述流量差值的绝对值小于所述突变流量阈值时，取消报警，并将所述报警表中的所述报警信息删除。

上述技术方案具有如下有益效果：

1.在高波动网络环境中，通过对多个流量数据的比较，可以有效的分辨出实时流量是否产生了突变，能够有效的减少误报警、假报警、丢失报警等现象，同时，设置突变流量阈值，可以在有效减少误报警、假报警、丢失报警等现象时，具有较大的冗余性，流量阈值的设置可以较为粗略，节省了人力和时间成本；

2.在多端口流量监控的网络环境中，通过监控合并后的多个端口的流量来判断是否存在流量突变现象，可以使监控的流量数据更加稳定，当产生异常流量时，可以更加清晰准确的确定该异常流量是否为突变流量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一种流量监控方法的流程图；

图2是根据本发明实施例得到第二流量数据的方法的流程图；

图3是根据本发明实施例判断流量是否出现突变的方法的流程图；

图4是根据本发明实施例一种流量监控系统的结构框图；

图5是根据本发明实施例所述读取模块的结构框图；

图6是根据本发明实施例所述判断模块的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

rrdtool：用于处理rrd数据库，可对rrd数据库进行存储提取数据等操作。

rrd：rrd数据库是一个环形的数据库，文件大小固定。

实施例1：

如图1～3所示的一种流量监控方法，包括：

S1. 采集端口的第一流量数据，并存入到流量监控文件中；

每一个所述端口都对应一个独立的rrd文件，在本实施例中，采用python脚本和rrdtool工具对所述端口进行实时监测，python脚本将采集到的所述端口的第一流量数据存入到所述端口对应的所述rrd文件中，以及所述流量监控文件中。

在本实施例中，所述步骤S1之前，还包括：

S0. 添加用户数据，所述用户数据包括需要监控的所述端口、所述突变流量阈值，以及报警邮箱。

将所述用户数据加入到监控数据库中。

S2. 从所述流量监控文件中读取最近的预设数量个第二流量数据；

在本实施例中，采用python脚本和rrdtool工具获取当前时间，并根据当前时间的时间戳，通过python脚本，将所述流量监控文件中最近的预设数量个第二流量数据提取出来，所述第二流量数据为至少一个第一流量数据相加后的总和。

在其中一种实施方式中，所述步骤S2中，还包括：

S21. 将同一时间采集的至少一个所述端口的所述第一流量数据进行合并，得到所述第二流量数据。

用同一时间的至少一个所述端口的所述第一流量数据进行合并后的所述第二流量数作为后续的操作数，在多端口流量监控的网络环境中，可以使后续运算的流量数据更加稳定，当产生异常流量时，可以更加清晰准确的确定该异常流量是否为突变流量，例如，某时刻A端口的所述第一流量数据为n1，B端口的所述第一流量数据为0，所述第二流量数据为n1；下一时刻A端口的所述第一流量数据为0，B端口的所述第一流量数据为n1，所述第二流量数据为n1。对于A端口和B端口，在该时刻的所述第一流量数据变化的绝对值均为n1，但所述第二流量数据没有任何变化，虽然A端口和B端口的所述第一流量数据的波动都很大，但对于同时使用A端口和B端口的网络，并没有突变流量的产生，故减少了误报警、假报警的现象。

S3. 根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。

在本实施例中，所述步骤S3中判断方法，包括：

S31. 将读取的所述预设数量个所述第二流量数据中最新的所述第二流量数据与其他所述第二流量数据一一相减，得到流量差值；

S32. 将得到的多个所述流量差值与所述突变流量阈值进行对比，若所有的所述流量差值的绝对值均大于所述突变流量阈值，则所述流量出现突变，发送报警信息至所述报警邮箱，并将报警信息加入到报警表中，若存在所述流量差值的绝对值小于所述突变流量阈值，则所述流量没有出现突变，不发送报警信息。

在本实施例中，所述预设数量个为三个，采用最新的所述第二流量数据与另外两个所述第二流量数据一一相减，得到两个流量差值。若所述两个流量差值的绝对值均大于所述突变流量阈值，说明该时刻的流量异常并不是因流量波动而产生的，而是流量突变产生的，故需要发送报警信息至所述报警邮箱，并将报警信息加入到报警表中。若有一个流量差值的绝对值不大于所述突变流量阈值，说明该时刻的流量异常有可能是因流量波动而产生的，该流量异常不是流量突变，无需报警。

将所述将报警信息加入到报警表中之后，还包括：

S33. 更新最近的预设数量个第二流量数据，并重新计算流量差值，当存在所述流量差值的绝对值小于所述突变流量阈值时，取消报警，并将所述报警表中的所述报警信息删除。

在本实施例中，python脚本不断提取最新的三个所述第二流量数据，并按照步骤S32进行计算，当存在所述流量差值的绝对值小于所述突变流量阈值时，认为突变流量已恢复正常，取消报警；若所述流量差值的绝对值依然均大于所述突变流量阈值，则对报警表中的所述报警信息进行更新。

本实施例的技术方案，通过对多个流量数据的比较，能够在高波动网络环境中有效的分辨出实时流量是否产生了突变，能够有效的减少误报警、假报警、丢失报警等现象；同时在多端口流量监控的网络环境中，通过监控合并后的多个端口的流量来判断是否存在流量突变现象，可以使监控的流量数据更加稳定，当产生异常流量时，可以更加清晰准确的确定该异常流量是否为突变流量。

实施例2：

如图4、图5所示的一种流量监控系统，包括：

采集模块1，用于采集端口的第一流量数据，并将所述第一流量数据存入到流量监控文件中；

每一个所述端口都对应一个独立的rrd文件，在本实施例中，所述采集模块1采用python脚本和rrdtool工具对所述端口进行实时监测，所述采集模块1将采集到的所述端口的第一流量数据存入到所述端口对应的所述rrd文件中，以及所述流量监控文件中。

更进一步的，还包括：

创建模块0，用于添加用户数据，所述用户数据包括需要监控的所述端口、所述突变流量阈值，以及报警邮箱。

通过所述创建模块0将所述用户数据添加到监控数据库中。

读取模块2，用于从所述流量监控文件中读取最近的预设数量个第二流量数据；

在本实施例中，所述读取模块2采用python脚本和rrdtool工具获取当前时间，并根据当前时间的时间戳，通过python脚本，将所述流量监控文件中最近的预设数量个第二流量数据提取出来，所述第二流量数据为至少一个第一流量数据相加后的总和。

在其中一种实施方式中，所述读取模块2还包括：

数据合并单元21，用于将采集模块1同一时间采集的至少一个所述端口的所述第一流量数据进行合并，得到所述第二流量数据。

用同一时间的至少一个所述端口的所述第一流量数据进行合并后的所述第二流量数作为后续的操作数，在多端口流量监控的网络环境中，可以使后续运算的流量数据更加稳定，当产生异常流量时，可以更加清晰准确的确定该异常流量是否为突变流量，例如，某时刻A端口的所述第一流量数据为n1，B端口的所述第一流量数据为0，所述第二流量数据为n1；下一时刻A端口的所述第一流量数据为0，B端口的所述第一流量数据为n1，所述第二流量数据为n1。对于A端口和B端口，在该时刻的所述第一流量数据变化的绝对值均为n1，但所述第二流量数据没有任何变化，虽然A端口和B端口的所述第一流量数据的波动都很大，但对于同时使用A端口和B端口的网络，并没有突变流量的产生，故减少了误报警、假报警的现象。

判断模块3，用于根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。

在本实施例中，所述判断模块3还包括：

计算单元31，用于将所述读取模块1读取的所述预设数量个所述第二流量数据中最新的所述第二流量数据与其他所述第二流量数据一一相减，得到流量差值；

报警单元32，用于将所述计算单元31计算得到的多个所述流量差值与所述突变流量阈值进行对比，若所有的所述流量差值的绝对值均大于所述突变流量阈值，则所述流量出现突变，发送报警信息至所述报警邮箱，并将报警信息加入到报警表中，若存在所述流量差值的绝对值小于所述突变流量阈值，则所述流量没有出现突变，不发送报警信息。

在本实施例中，所述预设数量个为三个，所述计算单元31用最新的所述第二流量数据与另外两个所述第二流量数据一一相减，得到两个流量差值。若所述两个流量差值的绝对值均大于所述突变流量阈值，说明该时刻的流量异常并不是因流量波动而产生的，而是流量突变产生的，故需要所述报警单元32发送报警信息至所述报警邮箱，并将报警信息加入到报警表中。若有一个流量差值的绝对值不大于所述突变流量阈值，说明该时刻的流量异常有可能是因流量波动而产生的，该流量异常不是流量突变，无需所述报警单元32报警。

所述报警单元32还包括：

恢复子单元321，用于更新最近的预设数量个第二流量数据，并令所述计算单元重新计算流量差值，当存在所述流量差值的绝对值小于所述突变流量阈值时，取消报警，并将所述报警表中的所述报警信息删除。

在本实施例中，所述读取模块2不断提取通过所述采集模块1采集所述第一流量数据计算得到的最新的三个所述第二流量数据，并利用所述计算单元31进行计算，当存在所述流量差值的绝对值小于所述突变流量阈值时，认为突变流量已恢复正常，则所述恢复子单元321取消报警；若所述流量差值的绝对值依然均大于所述突变流量阈值，所述恢复子单元321对报警表中的所述报警信息进行更新。

本实施例的技术方案，通过对多个流量数据的比较，能够在高波动网络环境中有效的分辨出实时流量是否产生了突变，能够有效的减少误报警、假报警、丢失报警等现象；同时在多端口流量监控的网络环境中，通过监控合并后的多个端口的流量来判断是否存在流量突变现象，可以使监控的流量数据更加稳定，当产生异常流量时，可以更加清晰准确的确定该异常流量是否为突变流量。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种流量监控方法，其特征在于，包括：

S1. 采集端口的第一流量数据，并存入到流量监控文件中；

S2. 从所述流量监控文件中读取最近的预设数量个第二流量数据；

S3. 根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。

2.如权利要求1所述的一种流量监控方法，其特征在于，所述步骤S1之前，还包括：

S0. 添加用户数据，所述用户数据包括需要监控的所述端口、所述突变流量阈值，以及报警邮箱。

3.如权利要求1所述的一种流量监控方法，其特征在于，所述步骤S2中，还包括：

S21. 将同一时间采集的至少一个所述端口的所述第一流量数据进行合并，得到所述第二流量数据。

4.如权利要求2所述的一种流量监控方法，其特征在于，所述步骤S3中，还包括：

S31. 将读取的所述预设数量个所述第二流量数据中最新的所述第二流量数据与其他所述第二流量数据一一相减，得到流量差值；

S32. 将得到的多个所述流量差值与所述突变流量阈值进行对比，若所有的所述流量差值的绝对值均大于所述突变流量阈值，则所述流量出现突变，发送报警信息至所述报警邮箱，并将报警信息加入到报警表中，若存在所述流量差值的绝对值小于所述突变流量阈值，则所述流量没有出现突变，不发送报警信息。

5.如权利要求4所述的一种流量监控方法，其特征在于，步骤S32中所述将报警信息加入到报警表中之后，还包括：

S33. 更新最近的预设数量个第二流量数据，并重新计算流量差值，当存在所述流量差值的绝对值小于所述突变流量阈值时，取消报警，并将所述报警表中的所述报警信息删除。

6.一种流量监控系统，其特征在于，包括：

采集模块，用于采集端口的第一流量数据，并将所述第一流量数据存入到流量监控文件中；

读取模块，用于从所述流量监控文件中读取最近的预设数量个第二流量数据；

判断模块，用于根据所述预设数量个所述第二流量数据和预设的突变流量阈值，判断流量是否出现突变。

7.如权利要求6所述的一种流量监控系统，其特征在于，所述读取模块还包括：

数据合并单元，用于将采集模块同一时间采集的至少一个所述端口的所述第一流量数据进行合并，得到所述第二流量数据。

8.如权利要求6所述的一种流量监控系统，其特征在于，还包括：

创建模块，用于添加用户数据，所述用户数据包括需要监控的所述端口、所述突变流量阈值，以及报警邮箱。

9.如权利要求7所述的一种流量监控系统，其特征在于，所述判断模块还包括：

计算单元，用于将读取模块读取的所述预设数量个所述第二流量数据中最新的所述第二流量数据与其他所述第二流量数据一一相减，得到流量差值；

报警单元，用于将计算单元计算得到的多个所述流量差值与所述突变流量阈值进行对比，若所有的所述流量差值的绝对值均大于所述突变流量阈值，则所述流量出现突变，发送报警信息至所述报警邮箱，并将报警信息加入到报警表中，若存在所述流量差值的绝对值小于所述突变流量阈值，则所述流量没有出现突变，不发送报警信息。

10.如权利要求9所述的一种流量监控系统，其特征在于，所述报警单元还包括：

恢复子单元，用于更新最近的预设数量个第二流量数据，并令所述计算单元重新计算流量差值，当存在所述流量差值的绝对值小于所述突变流量阈值时，取消报警，并将所述报警表中的所述报警信息删除。