CN105978733B - 一种基于韦布尔分布的网络流量建模方法和系统 - Google Patents
一种基于韦布尔分布的网络流量建模方法和系统 Download PDFInfo
- Publication number
- CN105978733B CN105978733B CN201610481911.XA CN201610481911A CN105978733B CN 105978733 B CN105978733 B CN 105978733B CN 201610481911 A CN201610481911 A CN 201610481911A CN 105978733 B CN105978733 B CN 105978733B
- Authority
- CN
- China
- Prior art keywords
- time series
- wei buer
- farima
- wei
- network traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种基于韦布尔分布的网络流量建模方法和系统,包括以下步骤:步骤1:产生预定数量的韦布尔噪声时间序列at;步骤2:对产生的韦布尔噪声时间序列at进行预处理,剔除异点,并进行零均值化处理得到韦布尔时间序列εt;步骤3:采用搜索法估计分数差分系数d;步骤4:根据分数差分系数d对步骤2的韦布尔时间序列εt应用分数差分公式进行差分滤波得到时间序列Wt;步骤5:对时间序列Wt进行ARMA过程,得FARIMA时间序列Xt;步骤6:验证产生的FARIMA时间序列Xt能够描述网络流量的自相似性和突发性。该网络流量建模方法用韦布尔分布代替高斯分布生成的FARIMA模型比传统的网络流量模型更精确,更符合实际的网络流量的波形图,自相似的程度更好。
Description
技术领域
本发明涉及网络通信领域,尤其涉及一种基于韦布尔分布的网络流量建模方法和系统。
背景技术
在计算机网络的设计、评价和优化中,网络流量建模起着非常重要的作用。其中,以统计分布理论作为研究网络业务的基础,促进了网络流量业务的发展,网络业务的自相似性和突发性对网络的分析、设计、控制和管理产生了巨大影响,对网络的服务质量提出了更严峻的挑战。网络性能评价就成为网络设计与控制的重要研究部分,尤其随着网络的发展,网络上承载的业务也由语音扩展到视频,多媒体等,这一切都对网络性能和网络业务建模提出了更高的要求,因此建立出合理的网络流量模型对于网络的发展起着至关重要的作用。
实际的网络数据在绝大部分时间尺度范围内具有统计的自相似性,在小尺度范围内具有突发性。统计分布理论作为研究网络业务的工具为建模研究提供了便利。传统的网络流量模型在描述实际网络业务时,认为网络模型具有Markov性,并在此基础上建立了以泊松过程为主的数学描述模型。但此模型只可以描述突发的特征,并不能很好得描述出实际网络业务自相似性的特点;随后,科学家又进行了大量的仿真实验,应用了大量的数学模型,比如:Markov过程、AR、MA、ARMA和ARIMA过程等,同样这些模型不能很好地描述网络业务的自相似的特性,因此建立可以同时描述自相似性和突发性的网络业务模型是很有必要的。随着科学研究的发展,FARIMA(分数差分自回归滑动平均过程)被用作为网络业务模型,该模型以统计分布理论中的高斯噪声为基础成功地得到了可以描述网络流量的自相似性和突发性质的模型。但是,这种模型在某种程度上是有缺陷的,比如:在一个单一的Hurst参数下,这种模型很难去描述整个时间序列的相关性,况且,在实际的网络流量建模时,这类的自相似过程是比较片面的。
发明内容
本发明所要解决的技术问题是提供一种基于韦布尔分布的网络流量建模方法和系统,用韦布尔分布代替高斯分布生成的FARIMA模型比传统的网络流量模型更精确,更符合实际的网络流量的波形图,自相似的程度更好。
本发明解决上述技术问题的技术方案如下:一种基于韦布尔分布的网络流量建模方法,包括以下步骤:
步骤1:产生预定数量的韦布尔噪声时间序列at;
步骤2:对产生的韦布尔噪声时间序列at进行预处理,剔除异点,并进行零均值化处理得到韦布尔时间序列εt;
步骤3:采用搜索法估计分数差分系数d;
步骤4:根据分数差分系数d对步骤2的韦布尔时间序列εt应用分数差分公式进行差分滤波得到时间序列Wt;
步骤5:对时间序列Wt进行ARMA过程,得FARIMA时间序列Xt;
步骤6:验证产生的FARIMA时间序列Xt能够描述网络流量的自相似性和突发性。
本发明的有益效果:用韦布尔分布代替高斯分布生成的FARIMA模型准确地描述了实际网络流量业务的自相似性和突发性,比传统的网络流量模型更精确,更符合实际的网络流量的波形图,自相似的程度更好。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述步骤1中的韦布尔分布噪声序列由韦布尔分布的概率密度公式产生,所述概率密度公式为:
其中,λ>0是尺度参数,k>0是形状参数,t是为韦布尔噪声时间点。
进一步,所述步骤4的分数差分公式为:
其中,d∈(-0.5,0.5),0<|z|<1,εt是韦布尔时间序列,(1-z-1)d表示分数差分算子,Wt是对韦布尔序列εt做分数差分滤波后得到的序列,0≤t≤1000。
进一步,所述步骤5具体包括以下步骤:
步骤5.1:由Yule-Walker方程计算出AR模型的自回归参数向量 和MA模型的滑动平均参数向量θ[θ1,θ2,…,θq];
步骤5.2:根据AIC准则求得AR模型和MA模型的自回归系数p与滑动平均系数q;
步骤5.3:将步骤5.1中得到的和θ[θ1,θ2,…,θq]以及步骤5.2得到的P和q的值代入如下公式:
Xt为FARIMA时间序列,Φ(z-1)和Θ(z-1)分别是p阶自回归多项式和q阶移动平均多项式,Wt是根据差分系数d差分滤波后的时间序列,t为韦布尔噪声时间点,0≤t≤1000。
进一步,所述AIC准则的计算式为:
其中,N为FARIMA时间序列的时间点容量,p和q为ARMA模型阶数,为差分过后得到的时间序列Wt的残差方差。
进一步,所述步骤6具体包括以下步骤:
步骤6.1:对FARIMA时间序列Xt应用R/S公式来描述Xt自相似的程度,公式为:
其中,R(n)为FARIMA时间序列Xt的极差,S(n)为FARIMA时间序列Xt的标准差,0≤n≤1000,X(t)为FARIMA时间序列Xt;
步骤6.2:根据R/S统计的计算式,在对数坐标下,绘制R/S曲线;
步骤6.3:对R/S曲线进行最小二乘拟合,得到Hurst指数的估计值H;
步骤6.4:当0≤H≤0.5时,认为时间序列不具有自相似性质;0.5<H<1时,说明时间序列有自相似性,并且H的值越接近1,表示自相似程度越好。
步骤6.5:根据FARIMA时间序列Xt波形图观察每个顶端突出部分的差异性判断突发性强弱。
一种基于韦布尔分布的网络流量建模系统,其特征在于,包括数据获取单元、零均值处理单元、估算单元、分数差分单元、ARMA单元及验证单元,
所述数据获取单元,用于产生韦布尔噪声时间序列;
所述零均值处理单元,用于对产生的韦布尔噪声时间序列进行预处理,剔除异点并进行零均值化得到韦布尔时间序列;
所述估算单元,用于采用搜索法估计分数差分系数;
所述分数差分单元,根据分数差分系数对韦布尔时间序列进行分数差分滤波得到差分时间序列;
所述ARMA单元,用于对差分时间序列进行ARMA过程,得FARIMA时间序列;
所述验证单元,用于验证产生的FARIMA时间序列能够描述网络流量的自相似性和突发性。
进一步,所述数据获取单元通过概率密度公式产生韦布尔噪声时间序列,所述概率密度公式为:
其中,λ>0是尺度参数,k>0是形状参数,t是韦布尔噪声时间点。
进一步,所述分数差分单元通过分数差分公式对韦布尔时间序列进行分数差分,所述分数差分公式为:
其中,(1-z-1)d表示分数差分算子,εt是韦布尔时间序列,Wt是根据差分系数d差分后的时间序列,0≤t≤1000。
附图说明
图1是本发明的方法流程图;
图2是本发明的韦布尔噪声图;
图3是基于韦布尔分布的FARIMA模型波形图;
图4是基于韦布尔分布自相似性Hurst指数图;
图5是高斯噪声图;
图6是基于高斯分布的FARIMA模型波形图;
图7是基于高斯分布的自相似性Hurst指数图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种基于韦布尔分布的网络流量建模方法,包括以下步骤:
步骤1:由韦布尔分布的概率密度公式产生1000点布尔噪声序列at,如图2所示,用以作为FARIMA模型的基础序列,所述概率密度公式为:
其中,λ>0是尺度参数,k>0是形状参数,t是韦布尔噪声时间点。
步骤2:对产生的韦布尔噪声时间序列进行预处理,剔除异点及零均值化得到韦布尔时间序列εt;
步骤3:采用搜索法估计分数差分系数d;
步骤4:应用分数差分系数d对步骤2的韦布尔时间序列εt进行分数差分得到FARIMA(0,d,0)时间序列Wt,分数差分过程就是将一个时间序列转化为平稳序列所进行的过程,差分系数用d表示,针对韦布尔分布时间序列,我们用搜索法进行估计得到d=0.15。
其分数差分公式为:
其中,(1-z-1)d表示分数差分算子,εt是韦布尔时间序列,Wt是根据差分系数d差分后的时间序列,0≤t≤1000。
步骤5:根据ARMA模型对FARIMA(0,d,0)时间序列Wt进行预测,得到FARIMA(p,d,q)时间序列Xt,其具体过程如下:
(1)由Yule-Walker方程计算出AR模型的自回归参数向量 和MA模型的滑动平均参数向量θ[θ1,θ2,…,θq];
(2)根据AIC准则求得AR模型和MA模型的自回归系数p与滑动平均系数q的值,其AIC准则的计算式为:
其中,N为FARIMA(0,d,0)时间序列的时间点容量,p和q为ARMA模型阶数,为差分过后得到的FARIMA(0,d,0)时间序列Wt的残差方差。
(3)将步骤(1)中得到的和θ[θ1,θ2,…,θq]以及步骤(2)得到的P和q的值代入公式:
其中Φ(z-1)和Θ(z-1)分别是p阶自回归(AR)多项式和q阶滑动平均(MA)多项式,Xt为FARIMA(p,d,q)时间序列,Wt是根据差分系数d差分后的序列,t为韦布尔噪声时间点,0≤t≤1000,如图3所示。
步骤6:验证产生的基于韦布尔分布的FARIMA(p,d,q)时间序列能够描述网络流量的自相似性和突发性。
对步骤5产生的FARIMA(p,d,q)时间序列应用R/S分析方法,计算公式如下:
其中,R(n)为FARIMA(p,d,q)时间序列Xt的极差,S(n)为FARIMA(p,d,q)时间序列Xt的标准差,n为样本点容量,X(n)为FARIMA(p,d,q)时间序列Xt;
(2)根据R/S统计的计算式,在对数坐标下,绘制R/S曲线,如图4所示;
(3)对R/S曲线进行最小二乘拟合,得到Hurst指数的估计值H,经计算H=0.8079;
(4)当0.5<H<1时,说明时间序列有自相似性;当0≤H≤0.5时,认为时间序列不具有自相似性质,H=0.8079,说明模型产生了自相似程度较好的时间序列,可以描述网络流量业务的自相似特性。
(5)根据步骤5产生的FARIMA(p,d,q)时间序列Xt波形图观察波形图每个顶端突出部分的差异性判断突发性强弱,观察发现波形图的尖端部分差异性较大,故该模型可以描述网络流量的突发性。
将基于韦布尔噪声的FARIMA模型与传统的基于高斯噪声的FARIMA模型对比,如图5所示为产生的1000点高斯分布噪声图,基于高斯分布的FARIMA模型如图6所示,其自相似性Hurst指数图如图7所示,经计算H=0.7452,该值小于基于本发明提出模型的Hurst参数值,所以本发明提出的模型产生了高度的自相似时间序列;对比图3与图6,本发明提出的模型波形图比基于高斯分布的模型波形图突发更加明显,因此,本发明提出的网络流量建模方法弥补了传统模型在描述网络流量业务时存在的不足,可以应用到实际的网络评价、优化领域中。
一种基于韦布尔分布的网络流量建模系统,其特征在于,包括数据获取单元、零均值处理单元、估算单元、分数差分单元、ARMA单元及验证单元,
所述数据获取单元,用于产生韦布尔噪声时间序列;
所述零均值处理单元,用于对产生的韦布尔噪声时间序列进行预处理,剔除异点并进行零均值化得到韦布尔时间序列;
所述估算单元,用于采用搜索法估计分数差分系数;
所述分数差分单元,根据分数差分系数对韦布尔时间序列进行分数差分滤波得到差分时间序列;
所述ARMA单元,用于对差分时间序列进行ARMA过程,得FARIMA时间序列;
所述验证单元,用于验证产生的FARIMA时间序列能够描述网络流量的自相似性和突发性。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于韦布尔分布的网络流量建模方法,其特征在于,包括以下步骤:
步骤1:产生预定数量的韦布尔噪声时间序列at;
步骤2:对产生的韦布尔噪声时间序列at进行预处理,剔除异点,并进行零均值化处理得到韦布尔时间序列εt;
步骤3:采用搜索法估计分数差分系数d;
步骤4:根据分数差分系数d对步骤2的韦布尔时间序列εt应用分数差分公式进行差分滤波得到时间序列Wt;
步骤5:对时间序列Wt进行ARMA过程,得FARIMA时间序列Xt;
步骤6:验证产生的FARIMA时间序列Xt能够描述网络流量的自相似性和突发性。
2.如权利要求1所述的一种基于韦布尔分布的网络流量建模方法,其特征在于,所述步骤1中根据韦布尔分布的概率密度公式产生韦布尔噪声时间序列at,所述概率密度公式为:
其中,λ>0是尺度参数,k>0是形状参数,t是韦布尔噪声时间点。
3.如权利要求1所述的一种基于韦布尔分布的网络流量建模方法,其特征在于,所述步骤4的分数差分公式为:
其中d∈(-0.5,0.5),0<|z|<1,εt是韦布尔时间序列,(1-z-1)d表示分数差分算子,Wt是对韦布尔序列εt做分数差分滤波后得到的序列,0≤t≤1000。
4.如权利要求1所述的一种基于韦布尔分布的网络流量建模方法,其特征在于,所述步骤5具体包括以下步骤:
步骤5.1:由Yule-Walker方程计算出AR模型的自回归参数向量 和MA模型的滑动平均参数向量θ[θ1,θ2,…,θq];
步骤5.2:根据AIC准则求得AR模型和MA模型的自回归系数p与滑动平均系数q;
步骤5.3:将步骤5.1中得到的和θ[θ1,θ2,…,θq]以及步骤5.2得到的p和q的值代入如下公式:
Xt为FARIMA时间序列,Φ(z-1)和Θ(z-1)分别是p阶自回归多项式和q阶移动平均多项式,Wt是根据差分系数d差分滤波后的时间序列,t为韦布尔噪声时间点,0≤t≤1000。
5.如权利要求4所述的一种基于韦布尔分布的网络流量建模方法,其特征在于,所述AIC准则的计算式为:
其中,N为Wt时间序列的时间点容量,p和q为ARMA模型阶数,为差分滤波过后得到的时间序列Wt的残差方差。
6.如权利要求1所述的一种基于韦布尔分布的网络流量建模方法,其特征在于,所述步骤6具体包括以下步骤:
步骤6.1:对FARIMA时间序列Wt应用R/S公式来描述Xt自相似的程度,公式为:
其中,R(n)为FARIMA时间序列Xt的极差,S(n)为FARIMA时间序列Xt的标准差,0≤n≤1000,X(t)为FARIMA时间序列Xt;
步骤6.2:根据R/S统计的计算式,在对数坐标下,绘制R/S曲线;
步骤6.3:对R/S曲线进行最小二乘拟合,得到Hurst指数的估计值H;
步骤6.4:当0≤H≤0.5时,认为时间序列不具有自相似性质;0.5<H<1时,说明时间序列有自相似性,并且H的值越接近1,表示自相似程度越好;
步骤6.5:根据FARIMA时间序列Xt波形图观察每个顶端突出部分的差异性判断突发性强弱。
7.一种基于韦布尔分布的网络流量建模系统,其特征在于,包括数据获取单元、零均值处理单元、估算单元、分数差分单元、ARMA单元及验证单元,
所述数据获取单元,用于产生韦布尔噪声时间序列;
所述零均值处理单元,用于对产生的韦布尔噪声时间序列进行预处理,剔除异点并进行零均值化得到韦布尔时间序列;
所述估算单元,用于采用搜索法估计分数差分系数;
所述分数差分单元,根据分数差分系数对韦布尔时间序列进行分数差分滤波得到差分时间序列;
所述ARMA单元,用于对差分时间序列进行ARMA过程,得FARIMA时间序列;
所述验证单元,用于验证产生的FARIMA时间序列能够描述网络流量的自相似性和突发性。
8.如权利要求7所述的一种基于韦布尔分布的网络流量建模系统,其特征在于,所述数据获取单元通过概率密度公式产生韦布尔噪声时间序列,所述概率密度公式为:
其中,λ>0是尺度参数,k>0是形状参数,t是韦布尔噪声时间点。
9.如权利要求7所述的一种基于韦布尔分布的网络流量建模系统,其特征在于,所述分数差分单元通过分数差分公式对韦布尔时间序列进行分数差分,所述分数差分公式为:
其中,(1-z-1)d表示分数差分算子,εt是韦布尔时间序列,Wt是根据差分系数d差分后的时间序列,0≤t≤1000。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610481911.XA CN105978733B (zh) | 2016-06-27 | 2016-06-27 | 一种基于韦布尔分布的网络流量建模方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610481911.XA CN105978733B (zh) | 2016-06-27 | 2016-06-27 | 一种基于韦布尔分布的网络流量建模方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105978733A CN105978733A (zh) | 2016-09-28 |
CN105978733B true CN105978733B (zh) | 2019-04-16 |
Family
ID=57020006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610481911.XA Active CN105978733B (zh) | 2016-06-27 | 2016-06-27 | 一种基于韦布尔分布的网络流量建模方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105978733B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022035391A1 (en) * | 2020-08-11 | 2022-02-17 | Medianova Internet Hizmetleri Ve Ticaret Anonim Sirketi | Server assignment by traffic modelling in content delivery networks (cdn) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106301957B (zh) * | 2016-09-29 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 一种网络流量峰值的预测方法及装置 |
CN107547269B (zh) * | 2017-08-14 | 2020-06-30 | 浙江大学 | 基于farima的智能变电站通信流量阈值模型的构建方法 |
CN114900509B (zh) * | 2022-05-18 | 2023-06-13 | 华中科技大学 | 一种适用于确定性网络的流量需求描述协议的生成方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318334A (zh) * | 2014-10-29 | 2015-01-28 | 上海工程技术大学 | 一种基于长相关farima模型的短期电力负荷预测方法 |
CN104469795A (zh) * | 2014-11-10 | 2015-03-25 | 上海交通大学 | 基于领域搜索的FARIMA模型Hurst参数估计方法 |
-
2016
- 2016-06-27 CN CN201610481911.XA patent/CN105978733B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318334A (zh) * | 2014-10-29 | 2015-01-28 | 上海工程技术大学 | 一种基于长相关farima模型的短期电力负荷预测方法 |
CN104469795A (zh) * | 2014-11-10 | 2015-03-25 | 上海交通大学 | 基于领域搜索的FARIMA模型Hurst参数估计方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022035391A1 (en) * | 2020-08-11 | 2022-02-17 | Medianova Internet Hizmetleri Ve Ticaret Anonim Sirketi | Server assignment by traffic modelling in content delivery networks (cdn) |
Also Published As
Publication number | Publication date |
---|---|
CN105978733A (zh) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105978733B (zh) | 一种基于韦布尔分布的网络流量建模方法和系统 | |
Frei et al. | Bridging the ensemble Kalman and particle filters | |
CN112541546B (zh) | 一种基于多场景模型的光伏电站典型场景生成方法 | |
CN109934065A (zh) | 一种用于手势识别的方法和装置 | |
CN110422175B (zh) | 车辆状态估计方法以及装置、电子设备、存储介质、车辆 | |
CN106503279B (zh) | 一种用于电力系统暂态稳定评估的建模方法 | |
KR20220051162A (ko) | 시각적 포지셔닝 방법, 관련 모델의 훈련 방법 및 관련 장치, 기기 | |
CN110210006A (zh) | 一种数据筛选方法及数据筛选装置 | |
CN109991591B (zh) | 基于深度学习的定位方法、装置、计算机设备及存储介质 | |
CN111882120A (zh) | 基于VMD-MQPSO-BPn网络的电力负荷预测方法 | |
CN115311452A (zh) | 一种基于机器视觉的精密灌胶评估方法及系统 | |
CN111222581A (zh) | 一种基于改进分类算法的云存储手势识别系统及方法 | |
CN105657653B (zh) | 一种基于指纹数据压缩的室内定位方法 | |
CN105550772A (zh) | 一种在线历史数据潮流趋势分析方法 | |
CN117095247B (zh) | 基于数控加工的加工姿态运行优化方法、系统及介质 | |
CN114972695B (zh) | 一种点云生成方法、装置、电子设备及存储介质 | |
CN110610140A (zh) | 人脸识别模型的训练方法、装置、设备及可读存储介质 | |
CN110047509A (zh) | 一种两级子空间划分方法及装置 | |
CN110097116A (zh) | 一种基于独立成分分析和核密度估计的虚拟样本生成方法 | |
CN115600494A (zh) | 一种低压台区拓扑自动识别方法及装置 | |
Fearnhead | Filtering recursions for calculating likelihoods for queues based on inter-departure time data | |
CN109740638A (zh) | 一种em算法二维直方图聚类的方法及装置 | |
CN110309873B (zh) | 基于潮流向量贝叶斯分类的集成暂态稳定评估方法及系统 | |
Yousefi'Zadeh | A neural-based technique for estimating self-similar traffic average queueing delay | |
Kruzick et al. | Spectral statistics of lattice graph structured, non-uniform percolations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |