CN111064617A - 基于经验模态分解聚类的网络流量预测方法及装置 - Google Patents

Abstract

本发明属于网络流量预测技术领域，具体属于一种基于经验模态分解聚类的网络流量预测方法及装置；所述方法包括获取原始的网络流量数据并进行预处理；通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个IMF分量；通过K‑means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；对聚类后的IMF分量采用自适应加权马尔可夫模型预测；将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值；本发明通过聚类减少预测器的个数，能够有效减小模型复杂度，通过自适应加权马尔可夫模型提高预测精度。

Description

基于经验模态分解聚类的网络流量预测方法及装置

技术领域

本发明属于网络流量预测技术领域，涉及一种基于经验模态分解(EmpiricalMode Decomposition，EMD)和K-means聚类算法的网络流量预测方法；尤其涉及一种基于EMD聚类的网络流量预测方法及装置。

背景技术

随着5G时代的来临，网络流量呈爆发式增长，网络规模不断扩大，这给网络管理带来了巨大的挑战。

随着上网用户和网络流量的不断增长，研究人员需要大量的资源和时间去监控、分析网络流量，以防网络拥挤的突发情况发生，确保网络质量良好。传统的网络管理是在网络出现告警之后才去解决问题，这时候网络服务己经受到了影响，往往没有时间来采取相应的纠正措施。网络流量预测就是根据采集的实际网络流量观测值序列，通过建立好的预测模型，来预测未来的流量。如果给定一个阈值，当预测的结果超出给定阈值时，就发出警报，从而实现实时预警，管理者就可以事先查看网络状态，提前采取防范措施，从而保障网络的持续稳定运行。

网络流量预测的关键是建立预测模型。传统的一些线性预测模型，比如自回归模型(Auto-Regressive Model，简称AR)、移动平均模型(Moving Average Model，简称MA)、自回归移动平均模型(Auto-Regressive and Moving Average Model，简称ARMA)等，虽然它们的模型简单，计算量小，却只能用于预测平稳的序列。复杂的网络流量具有非线性、非平稳性的特点，传统的预测模型已经不能适用。后来，一些非线性预测模型被陆续提出，比如神经网络、支持向量机等，它们在针对非线性变化方面有很大优势，其预测精度有一定的提高，但同时也会导致模型复杂度和计算复杂度的增加，不适合实时网络流量的预测。相比单一模型，组合预测模型能更准确地刻画网络流量的非线性、非平稳、多尺度、长相关等特性，其预测精度得到了极大的提高，预测效果更好。

组合预测模型的主要研究方向是通过小波变换对原始流量进行分解，对得到的各层分量分别采用不同的方法进行预测。然而小波变换缺乏自适应处理信号的能力，需要依赖具体的信号特征和应用领域等先验知识，来确定合适的小波函数和分解层数；因而，容易导致预测的网络流量的准确率不高，导致网络流量分配不及时，造成流量拥堵。

发明内容

为了提高网络流量预测的精度，一种基于经验模态分解聚类的网络流量预测方法，包括：

S1：获取原始的网络流量数据并进行预处理；

S2：通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个本征模函数IMF分量；

S3：通过K-means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；

S4：对聚类后的IMF分量采用自适应加权马尔可夫模型预测；

S5：将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值。

基于与本发明的相同构思，本发明还提出了一种基于经验模态分解聚类的网络流量预测装置，包括：

数据获取模块，用于获取网络流量数据；

数据预处理模块，用于对获取的网络流量数据进行预处理；

经验分解模块，用于对预处理后网络流量数据进行经验模态分解；

K-means算法聚类模块，用于对进行经验模态分解后的本征模函数分量进行聚类；

自适应加权马尔可夫模型模块，用于对聚类后的本征模函数分量进行预测，确定出每个本征模函数分量的预测值；

求和预测模块，用于将预测出的各个本征模函数分量进行求和，确定当前时刻网络流量的预测值。

另外，本发明还提供了一种电子设备，所述电子设备包括：处理器、机器可读存储介质和系统总线，所述处理器和机器可读存储介质通过所述系统总线完成相互间的通信，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令包括：

获取指令、分解指令、聚类指令和预测指令；

所述处理器被所述获取指令促使执行：获取原始的网络流量数据并进行预处理；

所述处理器被所述分解指令促使执行：通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个本征模函数IMF分量；

所述处理器被所述聚类指令促使执行：通过K-means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；

所述处理器被所述预测指令促使执行：对聚类后的IMF分量采用自适应加权马尔可夫模型预测；将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值。

本发明的有益效果：

本发明针对网络流量预测模型中小波变换中分解层数及小波基难以选择的问题，引入经验模态分解将网络流量自适应分解成频率单一的IMF分量；其次，通过K-means算法对IMF分量做聚类分析，将复杂度相近的IMF分量聚到一起；然后，对聚类的IMF分量用自适应加权马尔可夫模型进行预测，减少预测器的个数；最后，将各分量序列的预测值加起来得到最终预测值；总而言之，本发明通过聚类减少预测器的个数，能够有效减小模型复杂度，通过自适应加权马尔可夫模型提高预测精度。

附图说明

图1为本发明的总体流程图；

图2为本发明EMD分解的流程图；

图3为本发明的K-means算法的流程图；

图4为本发明的自适应加权马尔可夫模型的预测流程图；

图5为本发明的基于经验模态分解聚类的网络流量预测装置框图；

图6为本发明实施例提供的一种电子设备的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本申请实施例的目的在于提供基于经验模态分解聚类的网络流量预测方法，以提高网络流量预测的准确性。具体技术方案如下：

第一方面，本申请的一个例子中提供了一种基于经验模态分解聚类的网络流量预测方法，如图1所示，所述方法包括：

S1：获取原始的网络流量数据并进行预处理；

S2：通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个本征模函数IMF分量；

S3：通过K-means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；

S4：对聚类后的IMF分量采用自适应加权马尔可夫模型预测；

S5：将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值。

结合第一方面，在一种可能的实施方式中，所述网络流量数据的预处理包括：

对网络流量数据的时间序列进行归一化处理，使数据范围在0～1之间，归一化具体为：

其中，x'为归一化后网络流量值；x为网络流量真实预测值；x_max表示网络流量的最大值；x_min表示网络流量的最小值。

结合第一方面，在一种可能的实施方式中，将各IMF分量的真实预测值相加时，需要对各IMF分量的预测值进行反归一化处理，表示为：

x＝x'(x_max-x_min)；

其中，x'为归一化后网络流量值，x'为网络流量真实预测值；x_max表示网络流量的最大值；x_min表示网络流量的最小值。

结合第一方面，在一种可能的实施方式中，将网络流量分解为IMF分量包括：

步骤1：令i＝1，并选择N种白噪声信号：

步骤2：往原信号中加入第i种白噪声信号，构成信噪混合体；

步骤3：把信噪混合体进行经验模态分解，分解成IMF的组合；

步骤4：判断i是否大于N，若大于则对得到的所有IMF求平均值，否则令i＝i+1并返回步骤2。

如图2所示，所述步骤3中包括：

S21：找出预处理后网络流量信号x(t)的所有局部极大值和局部极小值；

S22：通过极值拟合得到信号x(t)的上包络emax(t)和下包络emin(t)；

S23：计算局部均值m(t)，表示为：m(t)＝(emin(t)+emax(t))/2；

S24：将原始输入信号减去局部均值得到振荡信号h(t)，表示为：h(t)＝x(t)－m(t)；

S25：当h(t)满足IMF的条件时，令c₁＝h(t)，则c₁为第一个IMF，对应的余量r₁＝x(t)－c₁；否则，用h(t)替换x(t)并转到步骤S21；

S26：当r₁仍包含原始数据中的频率信息时，将r₁替换x(t)并转到步骤S21，得到第二个IMF分量，以此类推，得到r₁－c₂＝r₂,...,r_n-1－c_n＝r_n；当c_n或r_n小于设定值，或r_n成为单调函数时，停止筛分过程。

本发明所采用的EMD分解能够将流量分解成频率成分相对单一的IMF分量，IMF分量更容易预测，使得网络流量的预测精度会更高，能够更好的对后续的流量分配提供强有力的支撑。

结合第一方面，在一种可能的实施方式中，如图3所示，所述通过K-means算法对IMF分量进行聚类包括：

S31：计算每一个IMF分量、余项r_n与原始信号的相关系数，剔除相关系数最小的IMF分量；

S32：基于样本熵选择K个聚类中心；计算每一个IMF分量的样本熵，将样本熵最大的IMF分量作为第一个聚类中心Z1，将样本熵最小的IMF分量作为第二个聚类中心Z2，将样本熵中值的IMF分量作为第三个聚类中心Z3；

S33：计算其他分量与K个聚类中心的距离，将IMF分量分配到距离其最近的簇；

S34：计算每一个簇中所有样本熵的均值，将均值作为新的聚类中心；

S35：重复上述步骤S33、S34，直至聚类中心不再变化。

结合本发明第一方面的上一实施例，在一种可能的实施方式中，IMF分量的样本熵的计算过程包括：

S321：将IMF分量的时间序列{x(n)}＝{x(1),x(2),…,x(N)}按照序号组成一组m维矢量X_m(1),…,X_m(N-m+1)，其中X_m(i)＝{x(i),x(i+1),…,x(i+m-1)}；

S322：计算第m维矢量中关于i的连续m个数据X_m(i)与第m维矢量中关于j的连续m个数据X_m(j)之间的距离；

本实施例中的计算公式定义为：

d[X_m(i),X_m(j)]＝max_k＝[0,m-1][|x(i+k)-x(j+k)|]；该距离代表了产生新信息的可能性。

S323：分别统计与连续m个数据之间的距离小于给定阈值r的数据个数N_m(i)，即统计d[X_m(i),X_m(j)]<r的数目；并计算出该数据的统计值标签

S324：对第m维的所有统计值标签

求其平均值，即

S325：令m+1，重复上述步骤S321～S324，得到第m+1维的所有统计值标签的平均值

S326：计算出IMF分量的样本熵为

由于N为原始时间序列的长度，其为有限值，因此SampEn(m,r)的估计值为

所以IMF分量的样本熵为

其中，N表示数据总数，1≤m≤N；1≤i≤N-m，1≤j≤N-m；且i≠j。

结合第一方面，在一种可能的实施方式中，所述自适应加权马尔可夫模型预测包括通过马尔可夫模型根据聚类后的IMF分量计算出下一时刻的网络流量值；采用自适应过滤法对马尔可夫模型的权重进行调整，从而获取最佳的权重，并返回更新马尔可夫模型。

结合第一方面，在一种可能的实施方式中，如图4所示，所述自适应加权马尔可夫模型的预测流程包括：

S41：初始化迭代次数d＝1，并将网络流量序列δ＝{δ₁,δ₂,…,δ_N}均匀划分为m个进行状态空间E＝{1,2,…,m}；设置网络流量数据样本空间宽度为a。

优选的，还可提前设置误差指标ε和最大学习次数D。

S42：通过建立一步转移频数矩阵(f_ij)_i,j∈E，计算一步转移概率矩阵P₁＝(p_ij)_i,j∈E和n步转移概率矩阵P_n＝P₁ ⁿ，n∈N；

其中f_ij表示流量序列δ从状态区间i经过一步转移到状态区间j的频数，P_ij为转移概率：

其中，P_n代表n步转移概率矩阵，它的元素为P_ij(n)，则C-K方程的矩阵形式可表示为P_nm＝P_n·P_m；如果n＝m＝1，则得P₂＝P₁·P₁＝(P₁)²；利用数学归纳法得P_n＝P₁ ⁿ。

具体的，P₁代表一步转移概率P_ij所组成的矩阵；

P_n代表一步转移概率P_ij(n)所组成的矩阵；经证明有P_n＝P₁ ⁿ。

S43：检验网络流量序列δ的马尔可夫性，若检验通过，则进行步骤S44，否则不符合就不能作为马尔可夫链处理，则删除该网络流量序列。

马尔可夫性它表示若已知系统现在的状态,则系统未来所处状态与过去所处的状态无关。由于本发明所采用的网络流量序列属于随机变量序列，理论上是满足马尔可夫性的，因此，大多数情况下，可以无需检测，直接进入步骤S44。

检验过程一般是通过判断方程

是否服从自由度为(m-1)²的χ²分布；

式中，p_·j为边际概率矩阵：

S44：计算各阶相关系数和规范相关权重；

其中，

相关系数的计算公式为：

相关权重的计算公式为：

其中，x_i表示第m维矢量中第i个数据。

S45：计算出网络流量序列δ的s步预测概率向量；

P^(j)(l+s)＝(p₁(l+s),p₂(l+s),…,p_m(l+s))，j＜＜k

分别有：

式中，P(l)＝(p₁(l),p₂(l),…,p_m(l))表示流量序列δ在l时刻处于各状态的绝对概率向量，p_i(l)表示序列δ在l时刻处于状态空间i(i∈E)的绝对概率。

S46：计算l+s时刻的网络流量的预测值

当a足够小时，

式中，

θ_i为状态区间i的中值；

S47：根据网络流量预测值与其实际值的预测误差e_l+s修正权重；

w′_k＝w_k+2λ·e_l+sδ_l+s-k

式中，δ_l+s和

分别为实际值与预测值，w_k和w′_k分别为更新前后的权重；λ为学习常数；满足

S48：判断是否e_l+s<ε，若是则输出并存储修正后的权重，将权重应用于马尔可夫模型返回步骤S45继续进行预测，否则进行S49；

S49：判断是否d>D，若是则输出并存储修正后的权重，将权重应用于马尔可夫模型返回步骤S45继续进行预测，否则令d＝d+1，返回步骤S46。

第二方面，本申请的一个例子中提供了一种基于经验模态分解聚类的网络流量预测装置，如图5所示，所述装置包括：

数据获取模块，用于获取网络流量数据；

数据预处理模块，用于对获取的网络流量数据进行预处理；

经验分解模块，用于对预处理后网络流量数据进行经验模态分解；

K-means算法聚类模块，用于对进行经验模态分解后的本征模函数分量进行聚类；

自适应加权马尔可夫模型模块，用于对聚类后的本征模函数分量进行预测，确定出每个本征模函数分量的预测值；

求和预测模块，用于将预测出的各个本征模函数分量进行求和，确定当前时刻网络流量的预测值。

第三方面，本申请的一个例子中提供了一种电子设备，如图6所示，所述电子设备包括：处理器、机器可读存储介质和系统总线，所述处理器和机器可读存储介质通过所述系统总线完成相互间的通信，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令包括：

获取指令、分解指令、聚类指令和预测指令；

所述处理器被所述获取指令促使执行：获取原始的网络流量数据并进行预处理；

所述处理器被所述分解指令促使执行：通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个本征模函数IMF分量；

所述处理器被所述聚类指令促使执行：通过K-means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；

所述处理器被所述预测指令促使执行：对聚类后的IMF分量采用自适应加权马尔可夫模型预测；将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于经验模态分解聚类的网络流量预测方法，其特征在于，包括：

S1：获取原始的网络流量数据并进行预处理；

S2：通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个本征模函数IMF分量；

S3：通过K-means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；

S4：对聚类后的IMF分量采用自适应加权马尔可夫模型预测；

S5：将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值。

2.根据权利要求1所述的一种基于经验模态分解聚类的网络流量预测方法，其特征在于，所述步骤S2中包括：

S21：找出预处理后网络流量信号x(t)的所有局部极大值和局部极小值；

S22：通过极值拟合得到信号x(t)的上包络emax(t)和下包络emin(t)；

S23：计算局部均值m(t)，表示为：m(t)＝(emin(t)+emax(t))/2；

S24：将原始输入信号减去局部均值得到振荡信号h(t)，表示为：h(t)＝x(t)－m(t)；

S25：当h(t)满足IMF的条件时，令c₁＝h(t)，则c₁为第一个IMF，对应的余量r₁＝x(t)－c₁；否则，用h(t)替换x(t)并转到步骤S21；

S26：当r₁仍包含原始数据中的频率信息时，将r₁替换x(t)并转到步骤S21，得到第二个IMF分量，以此类推，得到r₁－c₂＝r₂,...,r_n-1－c_n＝r_n；当c_n或r_n小于设定值，或r_n成为单调函数时，停止筛分过程。

3.根据权利要求1所述的一种基于经验模态分解聚类的网络流量预测方法，其特征在于，所述步骤S3中包括：

S31：计算每一个IMF分量、余项r_n与原始信号的相关系数，剔除相关系数最小的IMF分量；

S32：基于样本熵选择K个聚类中心；计算每一个IMF分量的样本熵，将样本熵最大的IMF分量作为第一个聚类中心Z1，将样本熵最小的IMF分量作为第二个聚类中心Z2，将样本熵中值的IMF分量作为第三个聚类中心Z3；

S33：计算其他分量与K个聚类中心的距离，将IMF分量分配到距离其最近的簇；

S34：计算每一个簇中所有样本熵的均值，将均值作为新的聚类中心；

S35：重复上述步骤S33、S34，直至聚类中心不再变化。

4.根据权利要求3所述的一种基于经验模态分解聚类的网络流量预测方法，其特征在于，所述步骤S3中计算每一个IMF分量的样本熵包括：

S321：将IMF分量的时间序列{x(n)}＝{x(1),x(2),…,x(N)}按照序号组成一组m维矢量X_m(1),…,X_m(N-m+1)。

S322：计算第m维矢量中关于i的连续m个数据X_m(i)与第m维矢量中关于j的连续m个数据X_m(j)之间的距离：

d[X_m(i),X_m(j)]＝max_k＝[0,m-1][|x(i+k)-x(j+k)|]；

其中，X_m(i)＝{x(i),x(i+1),…,x(i+m-1)}；

X_m(j)＝{x(j),x(j+1),…,x(j+m-1)}；且i≠j。

S323：分别统计与连续m个数据之间的距离小于给定阈值r的数据个数N_m(i)；并计算出该数据的统计值标签：

S324：对第m维的所有统计值标签

求其平均值，即

S325：令m+1，重复上述步骤S321～S324，得到第m+1维的所有统计值标签的平均值

S326：计算出IMF分量的样本熵为

其中，N表示数据总数，1≤m≤N；1≤i≤N-m，1≤j≤N-m。

5.根据权利要求1所述的一种基于经验模态分解聚类的网络流量预测方法，其特征在于，所述自适应加权马尔可夫模型包括通过马尔可夫模型根据聚类后的IMF分量计算出下一时刻的网络流量值；采用自适应过滤法对马尔可夫模型的权重进行调整，从而获取最佳的权重，更新马尔可夫模型。

6.根据权利要求1或5所述的一种基于经验模态分解聚类的网络流量预测方法，其特征在于，所述自适应加权马尔可夫模型的预测流程包括：

S41：初始化迭代次数d＝1，并将网络流量序列δ＝{δ₁,δ₂,…,δ_N}均匀划分为m个进行状态空间E＝{1,2,…,m}；

S42：计算一步转移概率矩阵和n步转移概率矩阵；

S43：检验网络流量序列δ的马尔可夫性，若检验通过，则进行步骤S44；

S44：计算各阶相关系数和规范相关权重；

S45：计算出网络流量序列δ的s步预测概率向量；

S46：计算l+s时刻的网络流量的预测值

S47：根据网络流量预测值与其实际值的预测误差e_l+s修正权重；

S48：判断是否e_l+s<ε，若是则输出并存储修正后的权重，将权重应用于马尔可夫模型返回步骤S45继续进行预测，否则进行S49；

S49：判断是否d>D，若是则输出并存储修正后的权重，将权重应用于马尔可夫模型返回步骤S45继续进行预测，否则令d＝d+1，返回步骤S46。

7.根据权利要求1所述的一种基于经验模态分解聚类的网络流量预测方法，其特征在于，数据预处理采用归一化处理，而各IMF分量的预测值则进行反归一化处理。

8.一种基于经验模态分解聚类的网络流量预测装置，其特征在于，包括：

数据获取模块，用于获取网络流量数据；

数据预处理模块，用于对获取的网络流量数据进行预处理；

经验分解模块，用于对预处理后网络流量数据进行经验模态分解；

K-means算法聚类模块，用于对进行经验模态分解后的本征模函数分量进行聚类；

自适应加权马尔可夫模型模块，用于对聚类后的本征模函数分量进行预测，确定出每个本征模函数分量的预测值；

求和预测模块，用于将预测出的各个本征模函数分量进行求和，确定当前时刻网络流量的预测值。

9.一种电子设备，其特征在于，所述电子设备包括：处理器、机器可读存储介质和系统总线，所述处理器和机器可读存储介质通过所述系统总线完成相互间的通信，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令包括：

获取指令、分解指令、聚类指令和预测指令；

所述处理器被所述获取指令促使执行：获取原始的网络流量数据并进行预处理；

所述处理器被所述分解指令促使执行：通过经验模态分解将网络流量分解为不同时间尺度上频率单一的有限个本征模函数IMF分量；

所述处理器被所述聚类指令促使执行：通过K-means算法对IMF分量进行聚类，将复杂度相近的IMF分量聚到一起；

所述处理器被所述预测指令促使执行：对聚类后的IMF分量采用自适应加权马尔可夫模型预测；将各IMF分量的预测值进行求和确定当前时刻网络流量的预测值。

Images