CN104469795A - 基于领域搜索的FARIMA模型Hurst参数估计方法 - Google Patents

基于领域搜索的FARIMA模型Hurst参数估计方法 Download PDF

Info

Publication number
CN104469795A
CN104469795A CN201410629098.7A CN201410629098A CN104469795A CN 104469795 A CN104469795 A CN 104469795A CN 201410629098 A CN201410629098 A CN 201410629098A CN 104469795 A CN104469795 A CN 104469795A
Authority
CN
China
Prior art keywords
farima
sequence
hurst
search
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410629098.7A
Other languages
English (en)
Other versions
CN104469795B (zh
Inventor
李毅飞
李悦
丁良辉
杨峰
钱良
支琤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201410629098.7A priority Critical patent/CN104469795B/zh
Publication of CN104469795A publication Critical patent/CN104469795A/zh
Application granted granted Critical
Publication of CN104469795B publication Critical patent/CN104469795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22Traffic simulation tools or models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于领域搜索的FARIMA模型Hurst参数估计方法,通过模拟实际网络流量所具有的自相似长相关特性的FARIMA时间序列作为估计源,通过时间-方差图法和搜索法相结合的方式来进行Hurst参数的精确估计,所述的方法具体包括以下步骤:1)产生可模拟具有自相似长相关特性的网络流量的FARIMA时间序列;2)确定用于粗估计FARIMA序列的方差-时间图法的时间块的经验区间;3)用方差-时间图法在步骤2)获得的经验区间内进行FARIMA时间序列的Hurst参数估计;4)确定搜索法的步长、精度参数,在粗估计值附近进行Hurst参数的精确搜索估计。与现有技术相比,本发明具有大幅度提高了Hurst参数估计的精度。

Description

基于领域搜索的FARIMA模型Hurst参数估计方法
技术领域
本发明涉及一种无线自组织网络流量预测,尤其是涉及一种基于领域搜索的FARIMA模型Hurst参数估计方法。
背景技术
随着越来越多的研究发现,网络流量具有自相似长相关的特性,这种特性的研究对于网络流量的建模与预测有存在挑战,传统的相关模型偏差较大,寻找和研究更合适的模型具有重要的意义。从性能、复杂度和使用场合等各方面对比了几种常见的网络模型后,认为FARIMA模型同时具有描述短相关和长相关特性的特点,特别适合用作自相似网络流量的建模与预测。Hurst参数可以用于描述网络流量所具有的自相似长相关特性,在检测FARIMA模型产生的序列的参数时要用到Hurst参数估计的方法。而对于Hurst参数的估计方法也有很多,例如R/S法、小波法、方差-时间图法,实验证明这些方法普遍精确度不高,小波法中小波基的选择对于估计结果也会有较大影响。搜索法可以比较精确的得到Hurst参数的估计值,但由于其在整个Hurst的取值范围内进行搜索,因此时间复杂度较高。因此,在实际网络流量的Hurst参数估计时,更适于采用的是时间复杂度低且具有较高估计精确度的Hurst参数估计方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于领域搜索的FARIMA模型Hurst参数估计方法,大幅度提高了Hurst参数估计的精度,且复杂度并没有明显提升,对具有自相似长相关性的网络流量的Hurst参数估计和建模具有实际意义。
本发明的目的可以通过以下技术方案来实现:
一种基于领域搜索的FARIMA模型Hurst参数估计方法,其特征在于,通过模拟实际网络流量所具有的自相似长相关特性的FARIMA时间序列作为估计源,通过时间-方差图法和搜索法相结合的方式来进行Hurst参数的精确估计,所述的方法具体包括以下步骤:
1)产生可模拟具有自相似长相关特性的网络流量的FARIMA时间序列;
2)确定用于粗估计FARIMA序列的方差-时间图法的时间块的经验区间;
3)用方差-时间图法在步骤2)获得的经验区间内进行FARIMA时间序列的Hurst参数估计;
4)确定搜索法的步长、精度参数,在粗估计值附近进行Hurst参数的精确搜索估计。
所述的步骤1)具体为:
用FARIMA序列的定义法来产生FARIMA时间序列{Xt:t=...,-1,0,1,...},
Φ(z-1)(1-z-1)dXt=Θ(z-1t
其中d∈(-0.5,0.5),0<|z|<1,{εt:t=...,-1,0,1,...}是一零均值方差为σ2的白噪声序列,Φ(z-1)和Θ(z-1)分别是p阶自回归多项式和q阶滑动平均多项式。
所述的步骤2)中的经验区间是由经验公式计算得出的:
mMin<m<mMax,log(mMin)≤log(N)/2-1/2,log(mMax)≤log(N)/2+1/2
其中N为FARIMA时间序列的点数,m为序列分块的块大小。
所述的步骤3)具体为:
301)将原始时间序列X划分为每个大小为m的数据块,并计算出每个数据块的均值:
Xk (m)=(Xk(m-1)+1+...+Xkm)/m,k=1,2,... m=1,2,...
k为各个数据块的标记;
302)计算Xk (m),k=1,2,...的方差,此方差即为VarX(m)的估计值;
303)按以下子步骤可获得β或H的估计值:
a)对于每个给定的m,将原始数据X1,X2,...,XN分解为N/m的数据块,每个数据块大小为m,计算出Xk (m),k=1,2,...,N/m,其样本方差由下式可得:
Var X ( m ) = 1 N / m Σ k = 1 N / m ( X k ( m ) ) 2 - ( 1 N / m Σ k = 1 N / m X k ( m ) ) 2
b)对不同的m值,重复a步骤;
c)以样本方差VarX(m)的对数为纵轴,m的对数为横轴描点,切直线的斜率为β=2H-2,-1≤β≤0。
所述的步骤4)具体为:
在从步骤3)中得到的Hurst参数的粗估计值的邻域内按照设定规律遍历,用粗估计值对序列进行分数差分得到Wt=ΔdXt,计算滤波后序列的自相关函数的平方和,由于自相关函数反映了同一序列在不同时刻的取值之间的相关程度,因此自相关函数的平方和越小,滤波后序列的白化程度越高,就越容易被拟合,于是将平方和最小的估计值作为Hurst参数的估计值;
对于长度为N的序列Wt,其K点(自相关函数的最大延迟)自相关函数估计量为:
γ ^ ( k ) = 1 N Σ t = 1 N - k W t W t + k , k = 1,2 , . . . , K
归一化自相关函数估计量为:
ρ ^ ( k ) = γ ^ ( k ) / γ ^ ( 1 ) , k = 1,2 , . . . , K
归一化自相关函数的平方和估计量为:
M = Σ j = 1 K ρ ^ 2 ( j )
邻域搜索法的具体步骤如下:
1)给定分数差分参数d的邻域大小ed,自相关函数序列的平方和M的精度ef,搜索步长step的初始长度是ed/2;
2)用时间-方差图法估计出d的粗估计值指定搜索范围是则当前搜索点取为
3)计算当前搜索点dc的自相关函数序列的平方和M1,即对序列进行分数差分后得到Wt,再利用上述公式计算滤波后序列的M1
4)计算搜索点dc+step的自相关函数序列的平方和M2
5)比较M1和M2的值,如果|M1-M2|<ef,则算法结束,返回dc作为分数差分参数d的值;如果|M1-M2|≥ef且M1>M2,则令dc=dc+step,跳到步骤3);如果|M1-M2|≥ef且M1≤M2,则令step=-step/2,跳到步骤3);
对于精度K,可以根据序列的自相关函数估计量是否显著趋于0来决定,例如当k≥K0时,则可以取K=K0;另外ed和ef两个精度需求可以根据当前数据量和最终精度要求在实际运用中灵活调整;通过上述邻域搜索法,快速的计算出较精确的分数差分阶数d,从而有H=d+1/2。
与现有技术相比,本发明具有以下优点:
(1)本发明中使用确定经验区间的方法缩小了方差-时间图法的估计区间,降低了方差-时间图法得到Hurst参数粗估计的时间,且比在整个区间上得到的估计值更加精确;
(2)在搜索法估计Hurst参数的估计值之前首先用方差-时间图法得到Hurst参数的粗估计,这样相比于单纯使用搜索法降低了估计时间,且方差-时间图法为时域估计法,本身时间复杂度较低;
(3)本发明估计方法即能保证更高的估计精确度,且并没有时间复杂度的大幅提升,具有一定的现实意义和前瞻性。
附图说明
图1为本发明的流程示意图;
图2为本发明估计算法与方差-时间图法的估计效果对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于邻域搜索的Hurst参数估计方法,如图1所示,首先通过产生可以模拟具有自相似长相关特性的网络流量的FARIMA时间序列,在估计时先使用经验区间上的方差-时间图法得到Hurst参数的粗估计,再使用搜索法在规定的区间和精度内进行Hurst参数的精确搜索。
如图1所示,本发明估计方法具体包括以下步骤:
1)首先使用FARIMA模型定义法产生Hurst参数为0.8的数据序列,序列元素个数为N=100000;
2)利用经验公式得到方差-时间图法得到的m的估计区间为10-1000;
3)采用方差-时间图法在m=10-1000的估计区间内对Hurst参数进行粗估计,得到Hurst参数的粗估计值为0.876,估计误差为9.5%;
4)选定ef=le-10,ed=0.03,采用搜索法对步骤3)得到的Hurst参数粗估计值进行精确搜索,得到的Hurst参数的精确估计值为0.8042,估计误差为0.52%。
本实例可以应用于典型的Hurst参数估计,估计源可以取自实际的网络流量。将Hurst参数估计的各个步骤整合于一段程序中,以实现邻域搜索对Hurst参数的完整估计。
进一步地,针对邻域搜索的Hurst参数估计的仿真可以包括:依次产生Hurst参数分别为0.600,0.650,...,0.850,0.900的100,000点FARIMA时间序列,分别对它们进行基于邻域搜索的Hurst参数估计,估计结果如表1所示。仿真结果表明,利用基于邻域搜索的Hurst参数估计法相较于方差-时间图法(如表2)可以明显降低估计误差(降低为<1.5%)。
表1
表2
方差-时间图法具有较低的时间复杂度O(N),而邻域搜索法的时间复杂度为O(KN),可见在时间复杂度上邻域搜索法并没有大幅度的提高。
本发明的实施例表明,本发明估计方法即能保证更高的估计精确度,且并没有时间复杂度的大幅提升,具有一定的现实意义和前瞻性。
尽管本发明的内容已经通过上述优选实施例做了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (5)

1.一种基于领域搜索的FARIMA模型Hurst参数估计方法,其特征在于,通过模拟实际网络流量所具有的自相似长相关特性的FARIMA时间序列作为估计源,通过时间-方差图法和搜索法相结合的方式来进行Hurst参数的精确估计,所述的方法具体包括以下步骤:
1)产生可模拟具有自相似长相关特性的网络流量的FARIMA时间序列;
2)确定用于粗估计FARIMA序列的方差-时间图法的时间块的经验区间;
3)用方差-时间图法在步骤2)获得的经验区间内进行FARIMA时间序列的Hurst参数估计;
4)确定搜索法的步长、精度参数,在粗估计值附近进行Hurst参数的精确搜索估计。
2.根据权利要求1所述的一种基于领域搜索的FARIMA模型Hurst参数估计方法,其特征在于,所述的步骤1)具体为:
用FARIMA序列的定义法来产生FARIMA时间序列{Xt:t=...,-1,0,1,...},
Φ(z-1)(1-z-1)dXt=Θ(z-1t
其中d∈(-0.5,0.5),0<|z|<1,{εt:t=...,-1,0,1,...}是一零均值方羞为σ2的白噪声序列,Φ(z-1)和Θ(z-1)分别是p阶自回归多项式和q阶滑动平均多项式。
3.根据权利要求1所述的一种基于领域搜索的FARIMA模型Hurst参数估计方法,其特征在于,所述的步骤2)中的经验区间是由经验公式计算得出的:
mMin<m<mMax,log(mMin)≤log(N)/2-1/2,log(mMax)≤log(N)/2+1/2
其中N为FARIMA时间序列的点数,m为序列分块的块大小。
4.根据权利要求1所述的一种基于领域搜索的FARIMA模型Hurst参数估计方法,其特征在于,所述的步骤3)具体为:
301)将原始时间序列X划分为每个大小为m的数据块,并计算出每个数据块的均值:
X k ( m ) = ( X k ( m - 1 ) + 1 + . . . + X km ) / mk = 1,2 , . . . , m = 1,2 , . . .
k为各个数据块的标记;
302)计算Xk (m),k=1,2,...的方差,此方差即为VarX(m)的估计值;
303)按以下子步骤可获得β或H的估计值:
a)对于每个给定的m,将原始数据X1,X2,...,XN分解为N/m的数据块,每个数据块大小为m,计算出Xk (m),k=1,2,...,N/m,其样本方差由下式可得:
VarX ( m ) = 1 N / m Σ k = 1 N / m ( X k ( m ) ) 2 - ( 1 N / m Σ k = 1 N / m X k ( m ) ) 2
b)对不同的m值,重复a步骤;
c)以样本方差VarX(m)的对数为纵轴,m的对数为横轴描点,切直线的斜率为β=2H-2,-1≤β≤0。
5.根据权利要求1所述的一种基于领域搜索的FARIMA模型Hurst参数估计方法,其特征在于,所述的步骤4)具体为:
在从步骤3)中得到的Hurst参数的粗估计值的邻域内按照设定规律遍历,用粗估计值对序列进行分数差分得到Wt=ΔdX1,计算滤波后序列的自相关函数的平方和,由于自相关函数反映了同一序列在不同时刻的取值之间的相关程度,因此自相关函数的平方和越小,滤波后序列的白化程度越高,就越容易被拟合,于是将平方和最小的估计值作为Hurst参数的估计值;
对于长度为N的序列Wt,其K点(自相关函数的最大延迟)自相关函数估计量为:
γ ^ ( k ) = 1 N Σ t = 1 N - k W t W t + k , k = 1,2 , . . . , k
归一化自相关函数估计量为:
ρ ^ ( k ) = γ ^ ( k ) / γ ^ ( 1 ) , k = 1,2 , . . . , K
归一化自相关函数的平方和估计量为:
M = Σ j = 1 k ρ ^ 2 ( j )
邻域搜索法的具体步骤如下:
1)给定分数差分参数d的邻域大小ed,自相关函数序列的平方和M的精度ef,搜索步长step的初始长度是ed/2;
2)用时间-方差图法估计出d的粗估计值指定搜索范围是则当前搜索点取为 d c = d ^ - ed ;
3)计算当前搜索点dc的自相关函数序列的平方和M1,即对序列进行分数差分后得到Wt,再利用上述公式计算滤波后序列的M1
4)计算搜索点dc+step的自相关函数序列的平方和M2
5)比较M1和M2的值,如果|M1-M2|<ef,则算法结束,返回dc作为分数差分参数d的值;如果|M1-M2|≥ef且M1>M2,则令dc=dc+step,跳到步骤3);如果|M1-M2|≥ef且M1≤M2,则令step=-step/2,跳到步骤3);
对于精度K,可以根据序列的自相关函数估计量是否显著趋于0来决定,例如当k≥K0时,则可以取K=K0;另外ed和ef两个精度需求可以根据当前数据量和最终精度要求在实际运用中灵活调整;通过上述邻域搜索法,快速的计算出较精确的分数差分阶数d,从而有H=d+1/2。
CN201410629098.7A 2014-11-10 2014-11-10 基于领域搜索的FARIMA模型Hurst参数估计方法 Active CN104469795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410629098.7A CN104469795B (zh) 2014-11-10 2014-11-10 基于领域搜索的FARIMA模型Hurst参数估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410629098.7A CN104469795B (zh) 2014-11-10 2014-11-10 基于领域搜索的FARIMA模型Hurst参数估计方法

Publications (2)

Publication Number Publication Date
CN104469795A true CN104469795A (zh) 2015-03-25
CN104469795B CN104469795B (zh) 2019-07-12

Family

ID=52915003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410629098.7A Active CN104469795B (zh) 2014-11-10 2014-11-10 基于领域搜索的FARIMA模型Hurst参数估计方法

Country Status (1)

Country Link
CN (1) CN104469795B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978733A (zh) * 2016-06-27 2016-09-28 华北理工大学 一种基于韦布尔分布的网络流量建模方法和系统
CN107547269A (zh) * 2017-08-14 2018-01-05 浙江大学 基于farima的智能变电站通信流量阈值模型的构建方法
CN109889531A (zh) * 2019-03-07 2019-06-14 北京华安普特网络科技有限公司 一种Web服务器的DDos攻击检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286897A (zh) * 2008-05-16 2008-10-15 华中科技大学 一种基于超统计理论的网络流量异常检测方法
CN101465759A (zh) * 2009-01-16 2009-06-24 华中科技大学 一种基于对数坐标平均筛选的网络流量参数估计方法
CN101610519A (zh) * 2009-07-07 2009-12-23 南京工业大学 基于小波分析和Gamma分布的无线实时多媒体通信流方法
CN102891770A (zh) * 2012-10-22 2013-01-23 哈尔滨工业大学深圳研究生院 一种利用短相关模型预测长相关序列的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286897A (zh) * 2008-05-16 2008-10-15 华中科技大学 一种基于超统计理论的网络流量异常检测方法
CN101465759A (zh) * 2009-01-16 2009-06-24 华中科技大学 一种基于对数坐标平均筛选的网络流量参数估计方法
CN101610519A (zh) * 2009-07-07 2009-12-23 南京工业大学 基于小波分析和Gamma分布的无线实时多媒体通信流方法
CN102891770A (zh) * 2012-10-22 2013-01-23 哈尔滨工业大学深圳研究生院 一种利用短相关模型预测长相关序列的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978733A (zh) * 2016-06-27 2016-09-28 华北理工大学 一种基于韦布尔分布的网络流量建模方法和系统
CN105978733B (zh) * 2016-06-27 2019-04-16 华北理工大学 一种基于韦布尔分布的网络流量建模方法和系统
CN107547269A (zh) * 2017-08-14 2018-01-05 浙江大学 基于farima的智能变电站通信流量阈值模型的构建方法
CN107547269B (zh) * 2017-08-14 2020-06-30 浙江大学 基于farima的智能变电站通信流量阈值模型的构建方法
CN109889531A (zh) * 2019-03-07 2019-06-14 北京华安普特网络科技有限公司 一种Web服务器的DDos攻击检测方法

Also Published As

Publication number Publication date
CN104469795B (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
George et al. Estimation of parameters of Johnson’s system of distributions
CN104809333A (zh) 基于Kalman滤波器的容量预测方法和系统
CN110958639A (zh) 一种目标状态估计方法及系统
Miswan et al. On parameter estimation for Malaysian gold prices modelling and forecasting
CN104469795A (zh) 基于领域搜索的FARIMA模型Hurst参数估计方法
CN102930171A (zh) 一种基于多胞型微分包含的非线性滤波方法
Del Rio Amador et al. Predicting the global temperature with the Stochastic Seasonal to Interannual Prediction System (StocSIPS)
Taghavi et al. Adaptive stopping for fast particle smoothing
CN103237320A (zh) 无线传感器网络基于混合量化卡尔曼融合的目标跟踪方法
Craigmile et al. Wavelet-based parameter estimation for polynomial contaminated fractionally differenced processes
CN102768366A (zh) 基于高阶统计量的线性与非线性融合的地震子波提取方法
CN103699650A (zh) 消息传播预测方法及装置
CN102708277B (zh) 基于蚁群算法的积雪深度反演设计方法
Tanajura et al. A sequential data assimilation method based on the properties of a diffusion-type process
CN105429720A (zh) 基于emd重构的相关时延估计方法
CN104794101A (zh) 一种分数阶非线性系统状态估计方法
CN112232011A (zh) 一种集成电路的宽频段电磁响应自适应确定方法及系统
CN106226752A (zh) 一种扩展海杂波Pareto分布参数估计范围的方法
Bhansali et al. Computation of the forecast coefficients for multistep prediction of long-range dependent time series
Yazdani et al. Applying geostatistical methods for analyzing regional flood frequency in North of Iran (Case Study: Mazandaran Catchments)
CN106786515A (zh) 一种电力系统低频振荡模态分析方法
CN103761442B (zh) 微区域流动参量的预测方法和装置
CN112464811A (zh) 一种抽水蓄能机组振摆信号中高频随机噪声精准滤除方法
Zhang et al. Uncertainty quantification of vector parabolic equation based wireless channel models using polynomial chaos expansion
CN104064195A (zh) 一种噪声环境下的多维盲分离方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant