CN117424753A - 基于物联网的流量池监控方法及系统 - Google Patents

Abstract

本发明涉及数据监测技术领域，具体涉及一种基于物联网的流量池监控方法及系统；根据流量序列中预设区间之间的变化特征获得预设区间的合并概率和流量序列的流量区间；根据流量区间的差异特征获得流量序列之间的相似程度。根据相同时刻的流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度；根据流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数；根据权重系数和流量区间的流量特征获得流量拥挤度。本发明根据流量拥挤度获得网络设备的异常程度并判断异常，提高了异常检测的准确性。

Description

基于物联网的流量池监控方法及系统

技术领域

本发明涉及数据监测技术领域，具体涉及一种基于物联网的流量池监控方法及系统。

背景技术

在网络设备使用过程中需要实时监测和管理网络中的数据流量，使得管理员或运营团队能够及时了解运行情况，检测异常并优化网络资源的使用；进而提高网络的性能和安全性，保证网络的正常高效运行。

在对多台网络设备的流量异常检测过程中，通常根据不同网络设备使用流量的差异特征通过异常检测算法进行识别，但网络设备的流量变化是较为随机的；异常检测算法难以准确地构建网络设备的流量使用特征，进而不能够准确衡量不同网络设备的流量使用的差异特征，导致对网络设备的流量异常检测的准确率较低。

发明内容

为了解决上述异常检测算法不能够准确衡量不同网络设备的流量使用的差异特征，导致对网络设备的流量异常监测的准确率较低的技术问题，本发明的目的在于提供一种基于物联网的流量池监控方法及系统。

本发明提供了一种基于物联网的流量池监控方法，包括以下步骤：

获取网络设备使用过程的流量序列；根据所述流量序列中预设区间之间的变化特征获得预设区间的合并概率；根据预设区间之间的合并概率获得流量序列的流量区间；

根据流量序列之间的流量区间的差异特征获得流量序列之间的相似程度；根据相同时刻的所述流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度；

根据不同流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数；根据所述权重系数和所述流量区间的流量特征获得所述网络设备的流量拥挤度；

根据所述流量拥挤度获得网络设备的异常程度并判断异常。

进一步地，所述根据所述流量序列中预设区间之间的变化特征获得预设区间的合并概率的步骤包括：

计算预设区间和相邻其他预设区间之间的拟合直线的斜率差值绝对值，获得所述预设区间和相邻其他预设区间的斜率差异表征值；计算所述预设区间的任意两个相邻数据点的差值绝对值的和值，获得预设区间的波动表征值；计算所述斜率差异表征值与所述波动表征值的乘积并负相关映射，获得所述预设区间和相邻其他预设区间的合并概率。

进一步地，所述根据预设区间之间的合并概率获得流量序列的流量区间的步骤包括：

当任意两个相邻预设区间的合并概率超过预设合并阈值时，对所述任意两个相邻预设区间进行合并，遍历所述流量序列的预设区间进行合并，获得流量序列的不同的所述流量区间。

进一步地，所述根据流量序列之间的流量区间的差异特征获得流量序列之间的相似程度的步骤包括：

以所述流量序列的每个流量区间中点的数据按照时序构建中点序列，根据DTW算法计算任意两个流量序列对应的中点序列的DTW值并负相关映射，获得流量序列之间的相似距离；

以流量序列和任意其他流量序列之间流量区间数量的最大值的流量区间作为基础流量区间，计算流量序列和任意其他流量序列之间的基础流量区间的拟合直线的斜率差值绝对值，获得流量变化差异值；计算流量序列和任意其他流量序列之间的所有基础流量区间的流量变化差异值的和值并负相关映射，获得相似表征值；计算所述相似距离和所述相似表征值的乘积，获得流量序列和任意其他流量序列之间的相似程度。

进一步地，所述根据相同时刻的所述流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度的步骤包括：

对于任意流量序列的任意流量区间，计算所述任意流量区间的方差并归一化，获得流量区间波动表征值；计算所述任意流量区间的中心时刻对应的所有流量序列的流量区间的平均值，获得整体流量均值；计算所述任意流量区间的平均值与所述整体流量均值的差值绝对值，获得流量平均差异；计算所述流量区间波动表征值与所述流量平均差异的乘积，获得所述任意流量区间的流量偏离度；计算所述任意流量区间的中心时刻对应的所有流量区间的所述流量偏离度的平均值，获得所述流量区间的离散程度。

进一步地，所述根据不同流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数的步骤包括：

计算所述流量序列的所有流量区间的所述离散程度的和值，获得整体离散程度；计算所述流量区间与流量序列的长度之比，获得流量区间的区间占比；计算流量区间的区间占比和离散程度的乘积与所述整体离散程度的比值，获得区间权重；计算所述流量序列与其他流量序列的相似程度的平均值并负相关映射，获得流量序列差异值，计算所述流量序列差异值与所述区间权重的乘积，获得所述流量区间的权重系数。

进一步地，所述根据所述权重系数和所述流量区间的流量特征获得所述网络设备的流量拥挤度的步骤包括：

计算所述流量区间的平均值与所述权重系数的乘积，获得区间拥挤度，计算流量序列的所有区间拥挤度的和值，获得所述网络设备的流量拥挤度。

进一步地，所述根据所述流量拥挤度获得网络设备的异常程度并判断异常的步骤包括：

根据所有网络设备的流量拥挤度通过孤立森林算法获得网络设备的异常程度；当网络设备的异常程度超过预设异常阈值时，认为网络设备负载异常，否则负载正常。

进一步地，所述预设异常阈值为0.8。

本发明还提出了一种基于物联网的流量池监控系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现任意一项一种基于物联网的流量池监控方法的步骤。

本发明具有如下有益效果：

在本发明实施例中，根据合并概率获得流量区间能够将网络设备的流量序列的不同变化特征的区间分割开，进而能够准确具体地表征不同流量区间的流量变化特征，提高最终异常检测的准确性。获得相似程度能够反映不同网络设备之间的流量使用特征的相似性，为最终异常检测提供基础，提高异常检测准确性；获取离散程度表征了相同时刻不同流量区间之间的差异程度，能够优化不同流量区间参与异常检测的权重。获取权重系数能够调整离散程度不同、相似程度不同的网络设备的异常特征，便于区分与放大不同网络设备流量序列的差异特征，提高了异常检测的准确性。最终构建流量拥挤度特征判断网络设备异常程度，提高了网络设备的异常检测准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于物联网的流量池监控方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于物联网的流量池监控方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于物联网的流量池监控方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于物联网的流量池监控方法流程图，该方法包括以下步骤：

步骤S1，获取网络设备使用过程的流量序列；根据流量序列中预设区间之间的变化特征获得预设区间的合并概率；根据预设区间之间的合并概率获得流量序列的流量区间。

在本发明实施例中，实施场景为对网络设备的流量的异常监测。首先获取网络设备使用过程的流量序列，在本发明实施例中网络设备为路由器，每分钟获取一次实时流量数据，以当前时刻至历史12小时内的数据长度作为流量序列，实施者可根据实施场景自行确定。对流量使用情况监测主要目的是通过异常检测算法寻找负载较高或较低的异常网络设备，进而采用负载均衡策略，将流量分配到不同的路径和网络设备上，提高网络设备的负载稳定性。孤立森林算法为现有常用的异常检测算法，使用孤立森林算法构建孤立树主要依靠不同样本之间的差异特征从而实现异常检测，特征的选取对异常检测的准确性有较大的影响，由于网络设备的流量变化较为随机，若只根据当前流量大小或流量均值作为特征进行异常检测会导致准确率较低，故需要进一步分析不同网络设备之间的流量变化特征，进而提高异常检测的准确性。

因为流量的变化是较为随机的，若直接以整个流量序列进行分析提取特征则会出现较大的误差，故需要将流量序列进行分割，使得每段内的流量使用特征相似，进而根据流量序列中预设区间之间的变化特征获得预设区间的合并概率。

优选地，在本发明一个实施例中，获取合并概率包括：计算预设区间和相邻其他预设区间之间的拟合直线的斜率差值绝对值，获得预设区间和相邻其他预设区间的斜率差异表征值；当该斜率差异表征值越大，意味着两个预设区间之间的流量变化特征差异越大，在本发明实施例中预设区间为10个数据点组成的区间，将流量序列分割成多个预设区间，实施者可根据实施场景自行确定。计算预设区间的任意两个相邻数据点的差值绝对值的和值，获得预设区间的波动表征值；当波动表征值越小，意味着该预设区间的流量变化越稳定。计算斜率差异表征值与波动表征值的乘积并负相关映射，获得预设区间和相邻其他预设区间的合并概率，当斜率差异表征值和波动表征值越小，则意味着两个相邻的预设区间的流量变化特征越相似。

进一步地，获得相邻预设区间的合并概率后，可根据预设区间之间的合并概率获得流量序列的流量区间，具体包括：当任意两个相邻预设区间的合并概率超过预设合并阈值时，对任意两个相邻预设区间进行合并，遍历流量序列的预设区间进行合并，获得流量序列的不同的流量区间。在本发明实施例中，预设合并阈值为0.7，实施者可根据实施场景自行确定。进行合并后获得的流量区间的长度可能为一个预设区间的长度或多个预设区间的总长度；每个流量区间内的流量变化特征相似。

步骤S2，根据流量序列之间的流量区间的差异特征获得流量序列之间的相似程度；根据相同时刻的流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度。

对于多个网络设备，其流量模式存在着差异性，例如某些设备上的流量可能存在波峰波谷期，而部分网络设备的流量模式更为均匀，而传统的孤立森林可能会将不同流量模式的网络设备样本划分至同一节点内，造成异常检测的误差；故需要针对不同的流量模式计算不同网络设备在流量变化特征上的相似性，根据流量序列之间的流量区间的差异特征获得流量序列之间的相似程度。

优选地，在本发明一个实施例中，获取相似程度包括：以流量序列的每个流量区间中点的数据按照时序构建中点序列，根据DTW算法计算任意两个流量序列对应的中点序列的DTW值并负相关映射，获得流量序列之间的相似距离；需要说明的是，DTW动态时间规整算法属于现有技术，当两个序列之间的DTW值越大，意味着两个序列之间的变化特征差异越大，故当相似距离越大，意味着两个流量序列的变化特征越相似，其流量模式越相似。以流量序列和任意其他流量序列之间流量区间数量的最大值的流量区间作为基础流量区间，以该基础流量区间作为分割基础；计算流量序列和任意其他流量序列之间的基础流量区间的拟合直线的斜率差值绝对值，获得流量变化差异值；该流量变化差异值越小，意味着两个流量序列之间的流量区间的划分越接近且流量变化特征越相似。计算流量序列和任意其他流量序列之间的所有基础流量区间的流量变化差异值的和值并负相关映射，获得相似表征值；当该相似表征值越大，意味着两个流量序列之间的流量变化特征越接近。计算相似距离和相似表征值的乘积，获得流量序列和任意其他流量序列之间的相似程度，当该相似程度越大，意味着两个流量序列之间的流量变化特征越相似，网络设备的流量模式越接近；获取相似程度的公式包括：

式中，表示两个流量序列/>之间的相似程度，/>表示两个流量序列/>对应的中点序列的DTW值，/>表示相似距离，/>表示基础流量区间的数量，/>表示流量序列/>中第/>个基础流量区间的拟合直线的斜率，/>表示流量序列/>中第/>个基础流量区间的拟合直线的斜率，/>表示流量变化差异值，/>表示相似表征值，/>表示以自然常数为底的指数函数。

通过两个流量序列之间的相似程度能够准确地分析对应的两个网络设备之间的流量模式的相似特征；进一步需要考虑流量消耗大小的差异，由于孤立森林算法的思想是将样本集中的离群点更早地分离出，对于网络设备的异常检测场景体现在流量模式的异常以及流量消耗量的异常。而对于流量消耗程度的区分，在不同的流量区间内对应的差异性权重应当有所差异，对于流量使用的高峰时段，多个样本设备的流量数据变化较大，整体的离散程度较高，此时对单个样本的流量异常的检测条件相对更加苛刻，对于流量使用平缓的流量区间，某样本的使用流量较大或较小相对容易检测。基于该思想首先根据相同时刻的流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度。

优选地，在本发明一个实施例中，获取离散程度包括：对于任意流量序列的任意流量区间，计算任意流量区间的方差并归一化，获得流量区间波动表征值；当流量区间波动表征值越大，意味着该任意流量区间的流量变化越离散。计算该任意流量区间的中心时刻对应的所有流量序列的流量区间的平均值，获得整体流量均值；该整体流量均值反映了该时段内所有网络设备的整体流量使用平均水平。计算任意流量区间的平均值与整体流量均值的差值绝对值，获得流量平均差异；该流量平均差异越大，意味着该任意流量区间与对应时刻的其他流量区间的流量使用差异越大。计算流量区间波动表征值与流量平均差异的乘积，获得任意流量区间的流量偏离度；当流量偏离度越大，意味着该任意流量区间越偏离相同时刻的整体流量使用水平。计算任意流量区间的中心时刻对应的所有流量区间的流量偏离度的平均值，获得流量区间的离散程度，当流量偏离度的平均值越大，意味着相同时刻的流量区间流量使用情况的离散程度越大；获取离散程度的公式包括：

式中，表示离散程度，/>表示相同时刻对应的流量区间的数量。/>表示第/>个流量区间的方差，/>表示第/>个流量区间的平均值，/>表示整体流量均值，/>表示流量平均差异，/>表示归一化函数，/>表示第/>个流量区间的流量偏离度。

步骤S3，根据不同流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数；根据权重系数和流量区间的流量特征获得网络设备的流量拥挤度。

获得不同流量序列之间的相似程度以及流量区间的离散程度后，可根据不同流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数；具体包括：计算流量序列的所有流量区间的离散程度的和值，获得整体离散程度；计算流量区间与流量序列的长度之比，获得流量区间的区间占比；因为流量区间之间的长度不同，长度越大，应对于时间跨度更长的流量区间给予更高的权重。计算流量区间的区间占比和离散程度的乘积与整体离散程度的比值，获得区间权重；当区间权重越大，意味着该流量区间的时间跨度越大且离散程度越大，进而给予更高的权重提高异常检测的效果。计算流量序列与其他流量序列的相似程度的平均值并负相关映射，获得流量序列差异值，当流量序列差异值越大，意味着该流量序列与其他流量序列之间的差异越大。计算流量序列差异值与区间权重的乘积，获得流量区间的权重系数，该权重系数放大了离散程度严重且相似程度低的网络设备的异常特征，降低了离散程度低且相似程度高的网络设备的异常特征，提高了异常检测的准确性。获取权重系数的公式包括：

式中，表示第个流量序列的第个流量区间的权重系数，表示第个流 量序列的流量序列差异值，表示第个流量区间的区间占比，表示以第个流量序 列的第个流量区间为基础获得的离散程度，表示第个流量序列的整体离散程度；表示区间权重。

进一步地，获得网络设备不同流量区间的权重系数后，可根据权重系数和流量区间的流量特征获得网络设备的流量拥挤度，具体包括：计算流量区间的平均值与权重系数的乘积，获得区间拥挤度，计算流量序列的所有区间拥挤度的和值，获得网络设备的流量拥挤度，该值能够准确地反映网络设备在一段时间内的流量使用特征，基于该流量拥挤度的特征能够提高异常检测的准确性。

步骤S4，根据流量拥挤度获得网络设备的异常程度并判断异常。

根据所有网络设备的流量拥挤度通过孤立森林算法获得网络设备的异常程度；当网络设备的异常程度超过预设异常阈值时，认为网络设备负载异常，否则负载正常，在本发明实施例中预设异常阈值为0.8，实施者可根据实施场景自行确定。孤立森林的各参数为：每次采样的个数为，其中/>表示取整符号，即每棵树的训练样本数量，采样次数即树的个数取/>，树的深度取20，需要说明的是，孤立森林算法属于现有技术，具体计算步骤不再赘述。当负载异常时根据负载情况动态调整该设备的流量情况，提高整体系数的运行稳定性。至此，通过构建流量拥挤度，通过孤立森林对网络设备的异常情况进行检测，避免了直接根据流量使用的大小或均值进行异常检测的误差，提高了网络设备流量使用情况的异常检测的准确性。

综上所述，本发明实施例提供了一种基于物联网的流量池监控方法；根据流量序列中预设区间之间的变化特征获得预设区间的合并概率和流量序列的流量区间；根据流量区间的差异特征获得流量序列之间的相似程度；根据相同时刻的流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度；根据流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数；根据权重系数和流量区间的流量特征获得流量拥挤度；本发明根据流量拥挤度获得网络设备的异常程度并判断异常，提高了异常检测的准确性。

本发明还提出了一种基于物联网的流量池监控系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序实现任意一项一种基于物联网的流量池监控方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种基于物联网的流量池监控方法，其特征在于，所述流量池监控方法包括以下步骤：

获取网络设备使用过程的流量序列；根据所述流量序列中预设区间之间的变化特征获得预设区间的合并概率；根据预设区间之间的合并概率获得流量序列的流量区间；

根据流量序列之间的流量区间的差异特征获得流量序列之间的相似程度；根据相同时刻的所述流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度；

根据不同流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数；根据所述权重系数和所述流量区间的流量特征获得所述网络设备的流量拥挤度；

根据所述流量拥挤度获得网络设备的异常程度并判断异常。

2.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据所述流量序列中预设区间之间的变化特征获得预设区间的合并概率的步骤包括：

计算预设区间和相邻其他预设区间之间的拟合直线的斜率差值绝对值，获得所述预设区间和相邻其他预设区间的斜率差异表征值；计算所述预设区间的任意两个相邻数据点的差值绝对值的和值，获得预设区间的波动表征值；计算所述斜率差异表征值与所述波动表征值的乘积并负相关映射，获得所述预设区间和相邻其他预设区间的合并概率。

3.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据预设区间之间的合并概率获得流量序列的流量区间的步骤包括：

当任意两个相邻预设区间的合并概率超过预设合并阈值时，对所述任意两个相邻预设区间进行合并，遍历所述流量序列的预设区间进行合并，获得流量序列的不同的所述流量区间。

4.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据流量序列之间的流量区间的差异特征获得流量序列之间的相似程度的步骤包括：

以所述流量序列的每个流量区间中点的数据按照时序构建中点序列，根据DTW算法计算任意两个流量序列对应的中点序列的DTW值并负相关映射，获得流量序列之间的相似距离；

以流量序列和任意其他流量序列之间流量区间数量的最大值的流量区间作为基础流量区间，计算流量序列和任意其他流量序列之间的基础流量区间的拟合直线的斜率差值绝对值，获得流量变化差异值；计算流量序列和任意其他流量序列之间的所有基础流量区间的流量变化差异值的和值并负相关映射，获得相似表征值；计算所述相似距离和所述相似表征值的乘积，获得流量序列和任意其他流量序列之间的相似程度。

5.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据相同时刻的所述流量区间内的波动特征和流量区间之间的数据差异特征获得流量区间的离散程度的步骤包括：

对于任意流量序列的任意流量区间，计算所述任意流量区间的方差并归一化，获得流量区间波动表征值；计算所述任意流量区间的中心时刻对应的所有流量序列的流量区间的平均值，获得整体流量均值；计算所述任意流量区间的平均值与所述整体流量均值的差值绝对值，获得流量平均差异；计算所述流量区间波动表征值与所述流量平均差异的乘积，获得所述任意流量区间的流量偏离度；计算所述任意流量区间的中心时刻对应的所有流量区间的所述流量偏离度的平均值，获得所述流量区间的离散程度。

6.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据不同流量序列之间的相似程度、流量区间的占比特征和流量区间的离散程度获得流量区间的权重系数的步骤包括：

计算所述流量序列的所有流量区间的所述离散程度的和值，获得整体离散程度；计算所述流量区间与流量序列的长度之比，获得流量区间的区间占比；计算流量区间的区间占比和离散程度的乘积与所述整体离散程度的比值，获得区间权重；计算所述流量序列与其他流量序列的相似程度的平均值并负相关映射，获得流量序列差异值，计算所述流量序列差异值与所述区间权重的乘积，获得所述流量区间的权重系数。

7.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据所述权重系数和所述流量区间的流量特征获得所述网络设备的流量拥挤度的步骤包括：

计算所述流量区间的平均值与所述权重系数的乘积，获得区间拥挤度，计算流量序列的所有区间拥挤度的和值，获得所述网络设备的流量拥挤度。

8.根据权利要求1所述的一种基于物联网的流量池监控方法，其特征在于，所述根据所述流量拥挤度获得网络设备的异常程度并判断异常的步骤包括：

根据所有网络设备的流量拥挤度通过孤立森林算法获得网络设备的异常程度；当网络设备的异常程度超过预设异常阈值时，认为网络设备负载异常，否则负载正常。

9.根据权利要求8所述的一种基于物联网的流量池监控方法，其特征在于，所述预设异常阈值为0.8。

10.一种基于物联网的流量池监控系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1-9任意一项所述方法的步骤。