CN105703954A - 一种基于arima模型的网络数据流预测方法 - Google Patents

Abstract

本发明涉及一种基于ARIMA模型的网络数据流预测方法，具体包括以下步骤：步骤S1：数据预处理：去除网络流中的冗余数据，错误数据以及缺失数据；步骤S2：特征提取：提取包括包长与包到达间隔时间的常用流量特征，通过PCA与信息增益降低维数；将n个特征生成个特征子集，通过CFS和最优优先搜索生成特征候选集；步骤S3：流量聚类：使用GMM聚类方法，将网络流分成若干应用类别，构建流量预测框架实现短期预测；步骤S4：分析预测：针对任意一应用类别的流量数据，取一组连续的网络流量时间序列进行ARIMA差分自回归滑动平均模型的分析。本发明可实现对互联网流量数据的有效分析和预测，网络管理者可以根据规律，制定相应调度和管理策略。

Description

一种基于ARIMA模型的网络数据流预测方法

技术领域

本发明涉及软件自定义网络环境领域，具体涉及一种基于ARIMA模型的网络数据流预测方法。

背景技术

目前，随着互联网日益发展和普及，网络流量数据正以惊人速度不断增长并呈现多样化，给网络运营与管理带来巨大压力与挑战，为优化网络资源配置，减轻网络拥塞，合理分配带宽，确保业务的QoS服务质量，提出基于ARIMA模型的网络数据流预测方法，它能够有效规划网络。

发明内容

有鉴于此，本发明的目的是提供一种基于ARIMA模型的网络数据流预测方法，以实现对互联网流量数据的有效分析和预测，网络管理者可以根据规律，制定相应调度和管理策略。

本发明采用以下方案实现：一种基于ARIMA模型的网络数据流预测方法，具体包括以下步骤：

步骤S1：数据预处理：去除网络流中的冗余数据，错误数据以及缺失数据；

步骤S2：特征提取：提取包括包长与包到达间隔时间的常用流量特征，通过PCA与信息增益降低维数；将n个特征生成2ⁿ个特征子集，通过CFS和最优优先搜索生成特征候选集；

步骤S3：流量聚类：使用GMM聚类方法，将网络流分成若干应用类别，构建流量预测框架实现短期预测；

步骤S4：分析预测：针对任意一应用类别的流量数据，取一组连续的网络流量时间序列X＝{x₁,…,x_t}进行ARIMA差分自回归滑动平均模型的分析，其中x_t为第t个时间段内的网络通信量。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：建立高斯混合模型：高斯混合模型定义为用k个单高斯密度函数线性叠加的线性模型：

$p\left(x\right)=\underset{i=1}{\overset{k}{\Σ}}{\mathrm{\π}}_i{N}_i(x;{\mathrm{\μ}}_i,{\Σ}_i)---\left(1\right),$

其中，π_i指第i个高斯的权重因子，所以N(x；μ_i,∑_i)是均值为μ_i和协方差为∑_i的高斯概率密度函数。

步骤S32：使用最大似然法做参数估计，使样本点在估计的概率密度函数上的概率值最；m个样本集X的log似然函数如下：

$\begin{array}{c}P\left(X\right|\mathrm{\Θ})=\underset{i}{\overset{m}{\Π}}\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\π}}_j{N}_j(x;{\mathrm{\μ}}_j,{\Σ}_j)\\ =\underset{i=1}{\overset{m}{\Σ}}\log \underset{j=1}{\overset{k}{\Σ}}{\mathrm{\π}}_j{N}_j(x;{\mathrm{\μ}}_j,{\Σ}_j)\end{array}---\left(2\right)$

其中，X＝{x₁,…,x_m}，Θ＝(θ₁,…,θ_k)^T，θ_j＝(π_j,μ_j,∑_j)；

步骤S33：通过EM算法优化参数并计算结果。

进一步地，所述EM算法优化参数，找到最佳模型参数，使得(2)式期望最大，具体包括以下步骤：

步骤S331：初始化均值μ_i,协方差∑_i，及权值因子π_i；

步骤S332：估计隐含类别变量：

$\mathrm{\α}(i,j)=\frac{{\mathrm{\π}}_j{N}_j(x_i;\mathrm{\Θ})}{\underset{l=1}{\overset{k}{\Σ}}{\mathrm{\π}}_l{N}_l(x_i;\mathrm{\Θ})},i\∈\[1,m\],j\∈\[1,k\]---\left(3\right)$

步骤S333：更新参数：

$N_k=\underset{i=1}{\overset{N}{\Σ}}\mathrm{\γ}(i,k),---\left(4\right)$

$N_k=\underset{i=1}{\overset{m}{\Σ}}\mathrm{\γ}(i,k)x_i,---\left(5\right)$

${\Σ}_k=\frac{1}{N_k}\underset{i=1}{\overset{N}{\Σ}}\mathrm{\γ}(i,k)(x_i-{\mathrm{\μ}}_k){(x_i-{\mathrm{\μ}}_k)}^T,---\left(6\right)$

${\mathrm{\π}}_k=\frac{N_k}{N}.---\left(7\right)$

评估函数P(X|Θ)，如果不满足收敛准则，则返回步骤S332；若收敛，则改进优化GMM参数。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41：若所述流量数据的时间序列具有周期性，则以周期为时间长度进行差分处理；

步骤S42：若所述数据流量的时间序列不具周期性，则进行平稳处理：对数据进行d次差分使其成为平稳序列w_j，计算方法：

$w_j\[k\]={\▿}^d{\mathrm{\α}}_j\[k\]-{\mathrm{\μ}}_j---\left(8\right)$

其中，α_j是样本矩阵中j时刻的列向量，k是α_j向量序列号，μ_j是j列数据差分后的均值。

步骤S43：建立ARIMA(p,d,q)模型：得到平稳序列后，所述数据流量的时间序列采用ARIMA(p,d,q)模型进行分析预测；其中，p为自回归阶数，q为移动平均阶数，d表示平稳化过程中差分的阶数；采用单位根检验法确定d值，根据序列的自相关性AC和偏相关性PAC确定p,q的取值，对AIC值进行分析，确定p,q取值，确定模型：

AIC＝lnσ²+2(p+q)/n(9)

其中，σ²是噪音方差，n为数据长度。

ARIMA(p,d,q)模型形式如下:

w_t＝φ₁w_t-1+…+φ_pw_t-p+σ+μ_t+…+θ_qμ_t-q(10)

其中，φ_i是模型自回归系数，θ_i为滑动平均系数，{μ_t}是白噪声序列，δ是常数。

步骤S44：参数估计：利用极大似然法进行参数估计，估计模型中自回归部分和滑动平均部分参数是否具有统计意义；

步骤S45：模型假设检验：检验残差序列是否为白噪声序列；

步骤S46：采用检验合格的模型进行预测：时间序列X_t在t时期第h步预测值公式：

${\hat{X}}_t\left(h\right)={\mathrm{\φ}}_1{\hat{X}}_t(h-1)+\mathrm{...}+{\mathrm{\φ}}_p{\hat{X}}_t(h-p)+\mathrm{\θ}{\widehat{\mathrm{\μ}}}_t+\mathrm{...}+{\mathrm{\θ}}_q\widehat{\mathrm{\μ}}---\left(11\right)$

其中，

与现有技术相比，本发明的基于ARIMA模型的网络数据流预测方法，实现对互联网流量数据的有效分析和预测，网络管理者可以根据规律，制定相应调度和管理策略。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施提供一种基于ARIMA模型的网络数据流预测方法，如图1所示，具体包括以下步骤：

步骤S1：数据预处理：互联网海量数据中存在的脏数据将影响算法的效率及结果，数据预处理将有利于后期的分析；预处理采用libpcap设计专用的数据集清洗程序，将网络流中的冗余数据，错误数据，缺失数据去除，得到一致性的数据；

步骤S2：特征提取：提取能代表网络应用本质区别的流特征，能提高聚类的精度，编写脚本提取提取包括包长与包到达间隔时间的常用流量特征，通过PCA与信息增益降低维数；将n个特征生成2ⁿ个特征子集，通过CFS和最优优先搜索生成特征候选集，选择相关性较大的特征；

步骤S3：流量聚类：使用GMM聚类方法，将网络流分成若干应用类别，构建流量预测框架实现短期预测；

步骤S4：分析预测：针对任意一应用类别的流量数据，取一组连续的网络流量时间序列X＝{x₁,…,x_t}进行ARIMA差分自回归滑动平均模型的分析，其中x_t为第t个时间段内的网络通信量。

在本实施例中，所述步骤S3具体包括以下步骤：

步骤S31：建立高斯混合模型：高斯混合模型定义为用k个单高斯密度函数线性叠加的线性模型：

$p\left(x\right)=\underset{i=1}{\overset{k}{\Σ}}{\mathrm{\π}}_i{N}_i(x;{\mathrm{\μ}}_i,{\Σ}_i)---\left(1\right),$

其中，π_i指第i个高斯的权重因子，所以N(x；μ_i,Σ_i)是均值为μ_i和协方差为Σ_i的高斯概率密度函数。

步骤S32：使用最大似然法做参数估计，使样本点在估计的概率密度函数上的概率值最；m个样本集X的log似然函数如下：

$\begin{array}{c}P\left(X\right|\mathrm{\Θ})=\underset{i}{\overset{m}{\Π}}\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\π}}_j{N}_j(x;{\mathrm{\μ}}_j,{\Σ}_j)\\ =\underset{i=1}{\overset{m}{\Σ}}\log \underset{j=1}{\overset{k}{\Σ}}{\mathrm{\π}}_j{N}_j(x;{\mathrm{\μ}}_j,{\Σ}_j)\end{array}---\left(2\right)$

其中，X＝{x₁,…,x_m}，Θ＝(θ₁,…,θ_k)^T，θ_j＝(π_j,μ_j,Σ_j)；

步骤S33：通过EM算法优化参数并计算结果。

在本实施例中，所述EM算法优化参数，找到最佳模型参数，使得(2)式期望最大，具体包括以下步骤：

步骤S331：初始化均值μ_i,协方差Σ_i，及权值因子π_i；

步骤S332：估计隐含类别变量：

$\mathrm{\α}(i,j)=\frac{{\mathrm{\π}}_j{N}_j(x_i;\mathrm{\Θ})}{\underset{l=1}{\overset{k}{\Σ}}{\mathrm{\π}}_l{N}_l(x_i;\mathrm{\Θ})},i\∈\[1,m\],j\∈\[1,k\]---\left(3\right)$

步骤S333：更新参数：

$N_k=\underset{i=1}{\overset{N}{\Σ}}\mathrm{\γ}(i,k),---\left(4\right)$

$N_k=\underset{i=1}{\overset{m}{\Σ}}\mathrm{\γ}(i,k)x_i,---\left(5\right)$

${\Σ}_k=\frac{1}{N_k}\underset{i=1}{\overset{N}{\Σ}}\mathrm{\γ}(i,k)(x_i-{\mathrm{\μ}}_k){(x_i-{\mathrm{\μ}}_k)}^T,---\left(6\right)$

${\mathrm{\π}}_k=\frac{N_k}{N}.---\left(7\right)$

评估函数P(X|Θ)，如果不满足收敛准则，则返回步骤S332；若收敛，则改进优化GMM参数。

使用GMM聚类方法，能有效将网络流分成若干应用类别。针对某些重要的应用，可以构建流量预测框架，实现短期预测。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41：若所述流量数据的时间序列具有周期性，则以周期为时间长度进行差分处理；

步骤S42：若所述数据流量的时间序列不具周期性，则进行平稳处理：对数据进行d次差分使其成为平稳序列w_j，计算方法：

$w_j\[k\]={\▿}^d{\mathrm{\α}}_j\[k\]-{\mathrm{\μ}}_j---\left(8\right)$

其中，α_j是样本矩阵中j时刻的列向量，k是α_j向量序列号，μ_j是j列数据差分后的均值。

步骤S43：建立ARIMA(p,d,q)模型：得到平稳序列后，所述数据流量的时间序列采用ARIMA(p,d,q)模型进行分析预测；其中，p为自回归阶数，q为移动平均阶数，d表示平稳化过程中差分的阶数；采用单位根检验法确定d值，根据序列的自相关性AC和偏相关性PAC确定p,q的取值，对AIC值进行分析，确定p,q取值，确定模型：

AIC＝lnσ²+2(p+q)/n(9)

其中，σ²是噪音方差，n为数据长度。

ARIMA(p,d,q)模型形式如下:

w_t＝φ₁w_t-1+…+φ_pw_t-p+σ+μ_t+…+θ_qμ_t-q(10)

其中，φ_i是模型自回归系数，θ_i为滑动平均系数，{μ_t}是白噪声序列，δ是常数。

步骤S44：参数估计：利用统计技术，如利用极大似然法进行参数估计，估计模型中自回归部分和滑动平均部分参数是否具有统计意义；

步骤S45：模型假设检验：检验残差序列是否为白噪声序列；

步骤S46：采用检验合格的模型进行预测：时间序列X_t在t时期第h步预测值公式：

${\hat{X}}_t\left(h\right)={\mathrm{\φ}}_1{\hat{X}}_t(h-1)+\mathrm{...}+{\mathrm{\φ}}_p{\hat{X}}_t(h-p)+\mathrm{\θ}{\widehat{\mathrm{\μ}}}_t+\mathrm{...}+{\mathrm{\θ}}_q\widehat{\mathrm{\μ}}---\left(11\right)$

其中，

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于ARIMA模型的网络数据流预测方法，其特征在于：具体包括以下步骤：

步骤S1：数据预处理：去除网络流中的冗余数据，错误数据以及缺失数据；

步骤S2：特征提取：提取包括包长与包到达间隔时间的常用流量特征，通过PCA与信息增益降低维数；将n个特征生成2ⁿ个特征子集，通过CFS和最优优先搜索生成特征候选集；

步骤S3：流量聚类：使用GMM聚类方法，将网络流分成若干应用类别，构建流量预测框架实现短期预测；

步骤S4：分析预测：针对任意一应用类别的流量数据，取一组连续的网络流量时间序列X＝{x₁,…,x_t}进行ARIMA差分自回归滑动平均模型的分析，其中x_t为第t个时间段内的网络通信量。

2.根据权利要求1所述的一种基于ARIMA模型的网络数据流预测方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S31：建立高斯混合模型：高斯混合模型定义为用k个单高斯密度函数线性叠加的线性模型：

$p\left(x\right)=\underset{i=1}{\overset{k}{\Σ}}{\mathrm{\π}}_i{N}_i(x;{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i),---\left(1\right)$

其中，π_i指第i个高斯的权重因子，所以N(x；μ_i,∑_i)是均值为μ_i和协方差为∑_i的高斯概率密度函数。

步骤S32：使用最大似然法做参数估计，使样本点在估计的概率密度函数上的概率值最；m个样本集X的log似然函数如下：

$\begin{array}{c}P\left(X|\mathrm{\Θ}\right)=\underset{i}{\overset{m}{\Π}}\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\π}}_j{N}_j\left(x;{\mathrm{\μ}}_j,{\Σ}_j\right)\\ =\underset{i=1}{\overset{m}{\Σ}}\log \underset{j=1}{\overset{k}{\Σ}}{\mathrm{\π}}_j{N}_j\left(x;{\mathrm{\μ}}_j,{\Σ}_j\right)\end{array}---\left(2\right)$

其中，X＝{x₁,…,x_m}，Θ＝(θ1,…,θ_k)^T，θ_j＝(π_j,μ_j,∑_j)；

步骤S33：通过EM算法优化参数并计算结果。

3.根据权利要求2所述的一种基于ARIMA模型的网络数据流预测方法，其特征在于：

所述EM算法优化参数，找到最佳模型参数，使得(2)式期望最大，具体包括以下步骤：

步骤S331：初始化均值μi,协方差∑_i，及权值因子π_i；

步骤S332：估计隐含类别变量：

$\mathrm{\α}(i,j)=\frac{{\mathrm{\π}}_j{N}_j(x_i;\mathrm{\Θ})}{\underset{l=1}{\overset{k}{\Σ}}{\mathrm{\π}}_l{N}_l(x_i;\mathrm{\Θ})},i\∈\[1,m\],j\∈\[1,k\]---\left(3\right)$

步骤S333：更新参数：

$N_k=\underset{i=1}{\overset{N}{\Σ}}\mathrm{\γ}(i,k),---\left(4\right)$

$N_k=\underset{i=1}{\overset{m}{\Σ}}\mathrm{\γ}(i,k)x_i,---\left(5\right)$

${\mathrm{\Σ}}_k=\frac{1}{N_k}\underset{i=1}{\overset{N}{\Σ}}\mathrm{\γ}(i,k)(x_i-{\mathrm{\μ}}_k){(x_i-{\mathrm{\μ}}_k)}^T,---\left(6\right)$

${\mathrm{\π}}_k=\frac{N_k}{N}\·---\left(7\right)$

评估函数P(X|Θ)，如果不满足收敛准则，则返回步骤S332；若收敛，则改进优化GMM参数。

4.根据权利要求1所述的一种基于ARIMA模型的网络数据流预测方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S41：若所述流量数据的时间序列具有周期性，则以周期为时间长度进行差分处理；

步骤S42：若所述数据流量的时间序列不具周期性，则进行平稳处理：对数据进行d次差分使其成为平稳序列w_j，计算方法：

$w_j\[k\]={\▿}^d{\mathrm{\α}}_j\[k\]-{\mathrm{\μ}}_j---\left(8\right)$

其中，α_j是样本矩阵中j时刻的列向量，k是α_j向量序列号，μ_j是j列数据差分后的均值。

步骤S43：建立ARIMA(p,d,q)模型：得到平稳序列后，所述数据流量的时间序列采用ARIMA(p,d,q)模型进行分析预测；其中，p为自回归阶数，q为移动平均阶数，d表示平稳化过程中差分的阶数；采用单位根检验法确定d值，根据序列的自相关性AC和偏相关性PAC确定p,q的取值，对AIC值进行分析，确定p,q取值，确定模型：

AIC＝lnσ²+2(p+q)/n(9)

其中，σ²是噪音方差，n为数据长度。

ARIMA(p,d,q)模型形式如下:

w_t＝φ1w_t-1+…+φ_pw_t-p+σ+μ_t+…+θ_qμ_t-q(10)

其中，φ_i是模型自回归系数，θ_i为滑动平均系数，{μ_t}是白噪声序列，δ是常数。

步骤S44：参数估计：利用极大似然法进行参数估计，估计模型中自回归部分和滑动平均部分参数是否具有统计意义；

步骤S45：模型假设检验：检验残差序列是否为白噪声序列；

步骤S46：采用检验合格的模型进行预测：时间序列X_t在t时期第h步预测值公式：

${\hat{X}}_t\left(h\right)={\mathrm{\φ}}_1{\hat{X}}_t\left(h-1\right)+\mathrm{...}+{\mathrm{\φ}}_p{\hat{X}}_t\left(h-p\right)+\mathrm{\θ}{\widehat{\mathrm{\μ}}}_t+\mathrm{...}+{\mathrm{\θ}}_q\widehat{\mathrm{\μ}}---\left(11\right)$

其中，