CN107070683A - 数据预测的方法和装置 - Google Patents

数据预测的方法和装置 Download PDF

Info

Publication number
CN107070683A
CN107070683A CN201611141274.8A CN201611141274A CN107070683A CN 107070683 A CN107070683 A CN 107070683A CN 201611141274 A CN201611141274 A CN 201611141274A CN 107070683 A CN107070683 A CN 107070683A
Authority
CN
China
Prior art keywords
data
model
prediction
flow
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611141274.8A
Other languages
English (en)
Inventor
王宇
付军美
张丽
郝颖
王未
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Beijing Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201611141274.8A priority Critical patent/CN107070683A/zh
Publication of CN107070683A publication Critical patent/CN107070683A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种数据预测的方法和装置。其中,该方法包括:采集数据流量信息;通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;依据流量预测模型对数据流量进行预测。本发明解决了由于现有技术中的缺陷,导致的对计算数据的预测精度带来的影响的技术问题。

Description

数据预测的方法和装置
技术领域
本发明涉及电网业务应用领域,具体而言,涉及一种数据预测的方法和装置。
背景技术
随着加强智能电网的建设,电力数据网及其承载业务系统得到迅猛发展,电力数据网在运行保障和业务质量监测等方面的要求也越来越高,实现对未来一段时间内链路通道中所有业务量的预测对保障电力数据网网络质量,对提高网络利用率,防止网络拥塞具有重要意义。
在流量的预测模型中,主要有傅里叶级数模型、结构分量模型(如Holt-winter’s模型)以及时间序列模型(如ARIMA模型)三大模型体系。
然而,无论对于上述哪一模型体系,目前的研究主要都是针对某单一业务类型进行建模预测,而对于电力数据网来说需要从承载了各种业务的整个信道的宏观角度来进行流量预测,因为个别几个业务量的此消彼长并不会带来网络隐患,也不会形成网络拥塞。
相关技术中,该现有技术1提供了一种属于网络安全技术领域,尤其涉及一种基于ARIMA模型的无线传感器网络流量异常检测方法。该现有技术1公开一种基于ARIMA模型的无线传感器网络流量异常检测方法,使用ARIMA模型,进行d次差分使序列平稳,适用于流量非均衡、不平稳的无线传感网络条件;使用窗口大小合适的滑动窗口使历史建模数据量固定,既保证了建模的快速性,还保证了历史数据的最新有效性;每一次滑动窗口建立最优的ARIMA(p,d,q)模型,保证了预测值的准确性;对最终用于异常判定的下一时刻流量预测值由前L次的预测值指数加权平均生成,这样对流量的预测引入一定的“惯性”,当异常流量来临时,不能轻易的改变正常的流量预测模型,而能更好的得到正常流量的预测值,更轻易的检测流量异常。
现有技术2,属于流量实时监控领域,尤其涉及利用差分自回归移动平均模型对流量进行预测的方法和系统。该现有技术2公开了自适应的差分自回归移动平均模型的流量预测方法和系统,让模型更加的吻合当前流量的数据走势。其技术方案为:利用ARIMA模型对流量进行预测,当实际值偏离预测的置信区间时,产生报警;产生报警的同时,启动备选方案来进行监控流量数据,用以防止异常数据进入ARIMA模型预测;在ARIMA模型正常运作时,实时判别ARIMA模型的参数是否还适用,若发现不再适用时,自动进行再学习,通过再学习获得新的模型参数,以此提高模型预测的准确性。
现有技术3:专利号为CN105471631A的《基于流量趋势的网络流量预测方法》专利,属于计算机网络领域,尤其涉及一种基于流量趋势的网络流量预测方法。该现有技术3提出了一种基于流量趋势的网络流量预测方法,该方法按照以下步骤进行:S1:提取当前时间周期i之前的n个时间周期下的网络流量趋势,以及当前时间周期i中从第1个时刻到时刻c的流量趋势,n为正整数;S2:根据提取的网络流量趋势,预测未来时刻的网络流量趋势;S3:计算提取的网络流量值和其网络流量趋势之间的误差,预测流量误差;S4:根据步骤S2中预测的网络流量趋势和S3中预测的流量误差,预测未来时刻的网络流量预测值;S5:令c=c+k,如果c大于或等于时间周期i的结束时刻,则程序结束;否则返回步骤S2。该发明提高了预测精度的同时,大大减少了预测所需要的训练样本数,更易于应用在实际网络管理和测量中。
但是,已有的现有技术1中公开了一种基于ARIMA模型的无线传感器网络流量异常检测方法,使用ARIMA模型,通过选择大小合适的滑动窗口建模,保证了建模的快速性和预测值的稳定性,利用模型进行d次差分使序列平稳,适用于流量非均衡、不平稳的无线传感网络条件。但整数次差分有时会造成过差分,使得数据一定程度失真,影响预测的精确度。
已有的现有技术2中采用了自适应的差分自回归移动平均模型的流量预测方法和系统,利用ARIMA模型对流量进行预测,在ARIMA模型正常运作时,实时判别ARIMA模型的参数是否还适用,若发现不再适用时,自动进行再学习,通过再学习获得新的模型参数,以此提高模型预测的准确性。该方案虽然提高了预测准确性,但实现起来较复杂,实时处理工作量大大增加,负担和代价较大。
已有的现有技术3中提出了一种基于流量趋势的网络流量预测方法,通过计算提取的网络流量值和其网络流量趋势之间的误差,预测流量误差,再根据预测的网络流量趋势和S3中预测的流量误差,预测未来时刻的网络流量预测值。该方案减少了预测所需要的训练样本数,易于应用在实际网络管理和测量中,但并未具体介绍如何预测网络流量值和预测误差,只是提出了一种预测策略,内部的预测细节有待设计改良。
针对上述由于现有技术中的缺陷,导致的对计算数据的预测精度带来的影响的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据预测的方法和装置,以至少解决由于现有技术中的缺陷,导致的对计算数据的预测精度带来的影响的技术问题。
根据本发明实施例的一个方面,提供了一种数据预测的方法,包括:采集数据流量信息;通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;依据流量预测模型对数据流量进行预测。
可选的,采集数据流量信息包括:在通信网中部署探针;依据探针采集数据流量信息。
进一步地,可选的,通过预设协议对数据流量信息进行分析聚类,得到平稳性序列包括:对在预设采集时间内的数据流量信息进行求和操作;对数据流量信息中的数据求均值,得到均值为0的时间序列;对时间序列进行去噪,并判断去噪后的时间序列是否为非平稳时间序列;在判断结果为是的情况下,通过对非平稳时间序列进行差分,得到平稳序列。
可选的,通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型包括:依据数据流量的业务类型分别进行定阶,通过选择对应的量化值,选取对应的模型,并将模型作为流量预测模型。
可选的,在依据流量预测模型对数据流量进行预测之前,该方法还包括:对残差进行检验,对流量预测模型进行拟合,得到检验后的流量预测模型。
根据本发明实施例的另一方面,还提供了一种数据预测的装置,包括:采集模块,用于采集数据流量信息;分析模块,用于通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;计算模块,用于通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;预测模块,用于依据流量预测模型对数据流量进行预测。
可选的,采集模块包括:部署单元,用于在通信网中部署探针;采集单元,用于依据探针采集数据流量信息。
进一步地,可选的,分析模块包括:第一计算单元,用于对在预设采集时间内的数据流量信息进行求和操作;第二计算单元,用于对数据流量信息中的数据求均值,得到均值为0的时间序列;判断单元,用于对时间序列进行去噪,并判断去噪后的时间序列是否为非平稳时间序列;第三计算单元,用于在判断结果为是的情况下,通过对非平稳时间序列进行差分,得到平稳序列。
可选的,计算模块包括:第四计算单元,用于依据数据流量的业务类型分别进行定阶,通过选择对应的量化值,选取对应的模型,并将模型作为流量预测模型。
可选的,该装置还包括:检验模块,用于在依据流量预测模型对数据流量进行预测之前,对残差进行检验,对流量预测模型进行拟合,得到检验后的流量预测模型。
在本发明实施例中,通过采集数据流量信息;通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;依据流量预测模型对数据流量进行预测,达到了提升数据计算精度的目的,从而实现了提升计算数据的预测精度的技术效果,进而解决了由于现有技术中的缺陷,导致的对计算数据的预测精度带来的影响的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据预测的方法的流程示意图;
图2是根据本发明实施例的一种数据预测的方法的流程示意图;
图3是根据本发明实施例的一种数据预测的方法中全业务综合流量预测模型的拟合对比图;
图4是根据本发明实施例的一种数据预测的方法中全业务综合流量预测模型的预测结果图;
图5是根据本发明实施例的一种数据预测的方法中全业务综合流量预测模型建模分析图;
图6是根据本发明实施例的一种数据预测的方法中三种预测模型预测精度对比图;
图7是根据本发明实施例的一种数据预测的方法中区分业务与不区分业务建模预测对比图;
图8是根据本发明实施例的数据预测的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
根据本发明实施例,提供了一种数据预测的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的数据预测的方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S102,采集数据流量信息;
步骤S104,通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;
步骤S106,通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;
步骤S108,依据流量预测模型对数据流量进行预测。
本申请实施例提供的数据预测的方法中,通过采集数据流量信息;通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;依据流量预测模型对数据流量进行预测,达到了提升数据计算精度的目的,从而实现了提升计算数据的预测精度的技术效果,进而解决了由于现有技术中的缺陷,导致的对计算数据的预测精度带来的影响的技术问题。
可选的,步骤S102中采集数据流量信息包括:
Step1,在通信网中部署探针;
Step2,依据探针采集数据流量信息。
进一步地,可选的,步骤S104中通过预设协议对数据流量信息进行分析聚类,得到平稳性序列包括:
Step1,对在预设采集时间内的数据流量信息进行求和操作;
Step2,对数据流量信息中的数据求均值,得到均值为0的时间序列;
Step3,对时间序列进行去噪,并判断去噪后的时间序列是否为非平稳时间序列;
Step4,在判断结果为是的情况下,通过对非平稳时间序列进行差分,得到平稳序列。
可选的,步骤S106中通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型包括:
Step1,依据数据流量的业务类型分别进行定阶,通过选择对应的量化值,选取对应的模型,并将模型作为流量预测模型。
可选的,在步骤S108中依据流量预测模型对数据流量进行预测之前,本申请实施例提供的数据预测的方法还包括:
步骤S107,对残差进行检验,对流量预测模型进行拟合,得到检验后的流量预测模型。
综上,本申请实施例提供的数据预测的方法具体如下:
本申请实施例提供的数据预测的方法,通过对电力数据网的业务类型及传输特性分析,发现不同子网承载的业务流从流量分形层面有部分重合,虽然同类型业务由于内涵内容不同而对子网的传输QoS需求不同,但由于信源数据流产生机制相同,因此仍然可以采用对现有实际电力数据网同类数据流采样和整形分析完成模型建立。而这种通过从实际运行的电力数据网络中采样同质数据的方法可有效保证模型的有效性,对电力数据网建设具有实际工程可应用性。
目前电力数据网的信息业务类型大致分为数据类业务、语音业务、视频类业务,下面对应这几种业务类型进行流量特性分析。
1.语音业务:语音业务是电力数据网的传统业务,主要包括调度电话、办公行政电话和会议电话等。语音业务对可靠性和实时性的要求比较高,对带宽的要求不高。随着IP电话的普及,VoIP语音业务呈现出与原有程控电话不同的业务属性。
2.视频业务:视频业务是近几年兴起的业务类型,是多媒体监控领域不可或缺基本业务之一,主要包括电视会议和无人值班变电站及其他视频监视,这类业务的特点是对网络时延及带宽均有较高要求。
3.数据业务:包括SCADA类数据业务和MIS类数据业务。SCADA数据业务对可靠性和实时性要求高,流量一般较小(300Kbps~800Kbps),对时延要求较高。MIS类数据流的突发流量很大(峰值可达4~6Mbps),网络传输对带宽要求较高,对网络时延没有严格要求。
本申请实施例提供的数据预测的方法基于实际采集的不同电力数据网流量进行流量分析和模型建立。通过对三类主要业务流量的特性分析,发现随着VoIP语音业务的出现,传统意义上语音模型已经不再适用语音业务。对于视频和数据业务而言也遇到同样的情况。业务流量不但存在短相关性,在较大的时间尺度内呈现出了自相似性,也可称为长相关性。主要表现在所测网络流量的时间序列在一个范围很大的时间尺度上具有突发性,表现为非常集中的高或低活动期。前者会造成延时增大、持续周期性拥塞和缓存溢出率高,后者则给系统的资源造成不必要的浪费,给电力数据网络设计、流量控制和资源管理等带来了更多的困难。突发并没有明确的长度,而目前大多数的网络流量模型一般只能处理短相关性,对具有长相关特性的业务往往力不从心。本文选择兼具长相关和短相关特性的F-ARIMA模型和具有季节性的S-ARIMA模型作为基础,构建全业务综合流量模型,描述电力数据网络链路通道内业务的真实情况,并进行拟合和预测。
针对语音、数据业务的突发性和视频业务的长时性,本文基于S-ARIMA模型拟合语音类和数据类业务流量,基于F-ARIMA模型拟合视频类业务流量,提出如下电力数据网全业务综合流量预测模型:
其中,
特别地,当i=2时,
上式中,i=1,2,3分别代表了语音、视频、数据三个业务类型,B为后移算子,{εt}是一个均值为零的白噪声序列,ωi(B)和φi(B)为常规的自回归算子和移动平均算子,为季节性自回归算子和移动平均算子,gi,Gi,li,Li为各算子阶数,di为差分阶数,Di为季节性差分阶数,为差分算子,为季节性差分算子,si为季节周期。
下面介绍各相关参数的估计方法及模型的残差检验方法。
1.差分阶数di的估计方法
由文献可知,差分阶数d和时间序列的赫斯特(Hurst)指数存在d=H-0.5的关系。所以,可以先求出时间序列的赫斯特指数,由此得到差分阶数d。
赫斯特指数的计算方法有很多,如:聚合方差法、R/S分析法、周期图法、绝对值法、残差方差法、小波分析法以及Whittle法。其中,聚合方差法计算速度最快,R/S分析法速度较慢,Whittle速度最慢,但精度很高。综合考虑,本方法选择R/S分析法估计赫斯特指数,继而求得差分阶数。
2.模型阶次gi,li的估计方法
1)基于自相关函数和偏自相关函数的定阶方法
本申请实施例提供的数据预测的方法主要由自相关函数{ρk}和偏自相关函数{φkk}的截尾性判断模型的阶数,如表1所示。通过求得流量序列的自相关函数图和偏自相关函数图,观察图形的结尾性判定阶数。
表1截尾性阶数判定
2)利用信息准则定阶方法
BIC准则:BIC准则的函数表达式为:其中,n代表样本个数,是拟合模型残差的方差,g,l的上限值一般取定阶方法即为求得使上式值最小的g和l。
本申请实施例提供的数据预测的方法利用基于自相关函数和偏自相关函数的定阶和利用信息准则定阶相结合的方法确定模型阶次。
3.算子系数ωi,ki,k,Ψi,k的估计方法
各算子系数的估计方法主要有:矩估计、极大似然估计和最小二乘法。本方法选择最大似然法估计各算子的系数。
4.模型的残差检验方法
参数估计后,要检验所选的模型残差εt是否是白噪声。残差检验是模型拟合的重要部分,我们一般采用Ljung-Box检验
原假设:残差序列为白噪声序列,即H01=ρ2=…=ρm=0,
检验统计量为LB(Ljung-Box)统计量:
如果拒绝原假设,说明残差序列中还残留着相关信息,拟合模型不显著;如果没有拒绝原假设,说明拟合模型显著有效。
此外,还可以通过残差的自相关和偏自相关函数图进行白噪声检验。如果残差的自相关函数和偏自相关函数值均落在95%的置信区间内,则认为残差序列为白噪声序列。
在上述基本概念及方法明确后,本申请实施例提供的数据预测的方法流程如下所述:
Step1:在电力通信网中通过一定的部署策略进行探针部署,由此来采集电力数据网流量信息。
Step2:对探针采集上来的流量数据进行基于协议和端口的分析聚类,将其区分为语音、视频、数据三大类型。
Step3:对三种类型的数据分别在一定尺度上做聚合操作。聚合方法是对一个平稳时间序列X={X(i),i>0}取1分钟或1小时长的数据块作求和操作即 聚合后的时间序列更利于分析和预测。
Step4:对给定的网络流量数据进行处理得到一个均值为0的时间序列。
Step5:对经过上述操作后的时间序列做去噪处理。目前常用的时间序列去噪方法有:加窗函数、指数滤波器、小波变换等,本方法不对去噪处理进行限制。
Step6:如若得到的给定时间序列为非平稳的,还需要做平稳化操作(即差分)以得到平稳性序列。
Step7:对三大业务类型的流量数据分别进行定阶,选择适当的gi,di,li,Gi,Di,Li值,选择一个尝试性的模型。通过预处理后序列的自相关值求得全业务综合流量预测模型各参数的初估计。
Step8:模型经拟合后,对残差运用诊断检验过程,或者导致接受试验性模型,或者指出可以改进的方式,进而重新拟合及重复进行诊断检验。
Step9:基于上述获得的模型,对综合信道内所有流量进行预测并分析。
由上可知,图2是根据本发明实施例的一种数据预测的方法的流程示意图,本申请实施例提供的数据预测的方法具体如图2所示。
本申请实施例提供的数据预测的方法依据现网业务特性,对电力数据网信道内全业务进行分类;针对语音、数据业务的突发性和视频业务的长时性,本文基于S-ARIMA模型拟合语音类和数据类业务流量,基于F-ARIMA模型拟合视频类业务流量,最终形成电力数据网全业务综合数据流量预测模型,并基于此模型进行流量预测。
本申请实施例提供的数据预测的方法立足于电力数据网信道内的全业务流量,利用时间序列模型实现流量预测,首先依据现网的业务特性对信道内的各种业务进行分类,之后针对语音、视频、数据三大业务类型,通过一定时间尺度上的聚合操作、零均值化以及去噪操作对各类流量进行预处理,继而依据F-ARIMA和S-ARIMA模型对三类业务数据分别进行拟合,在此基础上提出全业务综合流量预测模型,并基于此模型进行流量预测。仿真试验表明,本发明所提方法,提高了预测的准确性,而预测步长也得到了一定提升。
具体的,对经过零均值化、差分以及去噪操作后的链路总流量序列进行模型拟合,模型拟合值与观测值的对比图如图3所示,图3是根据本发明实施例的一种数据预测的方法中全业务综合流量预测模型的拟合对比图。图中横坐标为时间,数据截取的部分为9:01-17:21时间段内的业务量。虚线为经过处理后的时间序列原始值,黑线为全业务综合流量预测模型的拟合值。
如图3所示,模型的拟合效果良好,下一步进行流量预测。由于数据量较大,全部展示效果不显著,故截取其中90步长的预测值同真实值进行对比分析,如图4所示,图4是根据本发明实施例的一种数据预测的方法中全业务综合流量预测模型的预测结果图。图4中横坐标为时间序列步长,虚曲线为预测值,实体曲线为真实值。
由图4可以看出,本申请实施例提供的数据预测的方法提出的预测模型的预测效果良好,用求得的预测数据,再经过差分、一次减均值以及去噪操作对应的反处理,即可得到原始流量对应的预测值。
为检验模型的合理性,我们对模型进行残差检验。图5是根据本发明实施例的一种数据预测的方法中全业务综合流量预测模型建模分析图,由上到下三幅图分别表示预测模型的残差、对应的残差ACF图和对应的残差Ljung-Box检验。图中,残差分布近似于白噪声的分布,其ACF值均在95%置信区间内且近乎为零,并且通过了残差Ljung-Box检验。所以本申请实施例提供的数据预测的方法提出的全业务综合流量预测模型很好的利用了数据中的有效信息,是一种合理有效的预测模型。
为描述全业务综合流量预测模型的预测精度,本申请实施例提供的数据预测的方法采用平均误差(Mean Error,ME)、平均绝对误差(Mean Absolute Deviation,MAD)、均方误差(Mean Square Error,MSE)、平均百分比误差(Mean Percentage Error,MPE)以及平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)五项指标进行评价。ME、MAD、MSE受时间序列数据的水平和计量单位的影响,适合用来比较同一数据的不同模型的拟合效果。MPE、MAPE消除了时间序列数据的水平和计量单位的影响,反映了误差大小的相对值。具体计算公式如下:
平均误差:
平均绝对误差:
均方误差:
平均百分比误差:
平均绝对百分比误差:
上式中,表示时间序列的预测值,Zi表示时间序列的真实值,n表示总步长数,δ表示各个方法计算的误差值。各个误差值越小,说明模型的预测精度越高。
对一天中链路内的总流量值运用傅立叶级数模型、Holt-winter’s模型和本文提出的全业务综合流量预测模型进行流量预测,并与实际流量值进行对比,分别计算上述预测精度指标,结果如图6所示,图6是根据本发明实施例的一种数据预测的方法中三种预测模型预测精度对比图。
从图6中可以看出,由于傅立叶级数模型对于随机性较小且周期性较强的数据进行拟合效果较好,而实际现网一天内的流量数据随机性较大,周期性较弱,故傅立叶级数模型表现的精度较差。Holt-winter’s模型可以较好的适应随机性较大的数据,然而其对链路中流量值较低的时段预测时效果较差,预测效果相较于全业务综合流量预测模型稍微差一些。
为展示对链路内总流量值分业务类型进行拟合预测的优势,我们对同样的数据分别用F-ARIMA模型和S-ARIMA模型单独对链路内总流量值不区分业务类型进行建模预测,结果与本文提出的模型进行精度对比,如图7所示,图7是根据本发明实施例的一种数据预测的方法中区分业务与不区分业务建模预测对比图。
由图7可知,F-ARIMA模型和S-ARIMA模型对链路内流量值整体建模预测的精度虽然比傅立叶级数模型和Holt-winter’s模型好,但相较于本文提出的做了业务特性区分的全业务综合流量预测模型的预测精度还是较差些。由此可见,本申请实施例提供的数据预测的方法针对电力数据网现网业务特性对链路内流量进行聚类分析拟合之后再进行建模预测的效果比直接对链路流量总和进行建模预测好,提高了预测的精度。
实施例二
根据本发明实施例的另一方面,还提供了一种数据预测的装置,图8是根据本发明实施例的数据预测的装置的结构示意图,如图8所示,包括:
采集模块82,用于采集数据流量信息;
分析模块84,用于通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;
计算模块86,用于通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;
预测模块88,用于依据流量预测模型对数据流量进行预测。
本申请实施例提供的数据预测的装置中,通过采集数据流量信息;通过预设协议对数据流量信息进行分析聚类,得到平稳性序列;通过选择对应的量化值对平稳性序列进行定阶,得到流量预测模型;依据流量预测模型对数据流量进行预测,达到了提升数据计算精度的目的,从而实现了提升计算数据的预测精度的技术效果,进而解决了由于现有技术中的缺陷,导致的对计算数据的预测精度带来的影响的技术问题。
可选的,采集模块82包括:部署单元,用于在通信网中部署探针;采集单元,用于依据探针采集数据流量信息。
进一步地,可选的,分析模块84包括:第一计算单元,用于对在预设采集时间内的数据流量信息进行求和操作;第二计算单元,用于对数据流量信息中的数据求均值,得到均值为0的时间序列;判断单元,用于对时间序列进行去噪,并判断去噪后的时间序列是否为非平稳时间序列;第三计算单元,用于在判断结果为是的情况下,通过对非平稳时间序列进行差分,得到平稳序列。
可选的,计算模块86包括:第四计算单元,用于依据数据流量的业务类型分别进行定阶,通过选择对应的量化值,选取对应的模型,并将模型作为流量预测模型。
可选的,该装置还包括:检验模块,用于在依据流量预测模型对数据流量进行预测之前,对残差进行检验,对流量预测模型进行拟合,得到检验后的流量预测模型。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据预测的方法,其特征在于,包括:
采集数据流量信息;
通过预设协议对所述数据流量信息进行分析聚类,得到平稳性序列;
通过选择对应的量化值对所述平稳性序列进行定阶,得到流量预测模型;
依据所述流量预测模型对所述数据流量进行预测。
2.根据权利要求1所述的方法,其特征在于,所述采集数据流量信息包括:
在通信网中部署探针;
依据所述探针采集所述数据流量信息。
3.根据权利要求1或2所述的方法,其特征在于,所述通过预设协议对所述数据流量信息进行分析聚类,得到平稳性序列包括:
对在预设采集时间内的所述数据流量信息进行求和操作;
对所述数据流量信息中的数据求均值,得到均值为0的时间序列;
对所述时间序列进行去噪,并判断去噪后的所述时间序列是否为非平稳时间序列;
在判断结果为是的情况下,通过对所述非平稳时间序列进行差分,得到所述平稳序列。
4.根据权利要求1所述的方法,其特征在于,所述通过选择对应的量化值对所述平稳性序列进行定阶,得到流量预测模型包括:
依据所述数据流量的业务类型分别进行定阶,通过选择对应的量化值,选取对应的模型,并将所述模型作为所述流量预测模型。
5.根据权利要求1所述的方法,其特征在于,在所述依据所述流量预测模型对所述数据流量进行预测之前,所述方法还包括:
对残差进行检验,对所述流量预测模型进行拟合,得到检验后的流量预测模型。
6.一种数据预测的装置,其特征在于,包括:
采集模块,用于采集数据流量信息;
分析模块,用于通过预设协议对所述数据流量信息进行分析聚类,得到平稳性序列;
计算模块,用于通过选择对应的量化值对所述平稳性序列进行定阶,得到流量预测模型;
预测模块,用于依据所述流量预测模型对所述数据流量进行预测。
7.根据权利要求6所述的装置,其特征在于,所述采集模块包括:
部署单元,用于在通信网中部署探针;
采集单元,用于依据所述探针采集所述数据流量信息。
8.根据权利要求6或7所述的装置,其特征在于,所述分析模块包括:
第一计算单元,用于对在预设采集时间内的所述数据流量信息进行求和操作;
第二计算单元,用于对所述数据流量信息中的数据求均值,得到均值为0的时间序列;
判断单元,用于对所述时间序列进行去噪,并判断去噪后的所述时间序列是否为非平稳时间序列;
第三计算单元,用于在判断结果为是的情况下,通过对所述非平稳时间序列进行差分,得到所述平稳序列。
9.根据权利要求6所述的装置,其特征在于,所述计算模块包括:
第四计算单元,用于依据所述数据流量的业务类型分别进行定阶,通过选择对应的量化值,选取对应的模型,并将所述模型作为所述流量预测模型。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
检验模块,用于在所述依据所述流量预测模型对所述数据流量进行预测之前,对残差进行检验,对所述流量预测模型进行拟合,得到检验后的流量预测模型。
CN201611141274.8A 2016-12-12 2016-12-12 数据预测的方法和装置 Pending CN107070683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611141274.8A CN107070683A (zh) 2016-12-12 2016-12-12 数据预测的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611141274.8A CN107070683A (zh) 2016-12-12 2016-12-12 数据预测的方法和装置

Publications (1)

Publication Number Publication Date
CN107070683A true CN107070683A (zh) 2017-08-18

Family

ID=59618828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611141274.8A Pending CN107070683A (zh) 2016-12-12 2016-12-12 数据预测的方法和装置

Country Status (1)

Country Link
CN (1) CN107070683A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107453786A (zh) * 2017-09-21 2017-12-08 冀北电力有限公司电力经济技术研究院 一种电力通信网络模型建立方法及装置
CN108924127A (zh) * 2018-06-29 2018-11-30 新华三信息安全技术有限公司 一种流量基线的生成方法和装置
CN109063885A (zh) * 2018-05-29 2018-12-21 国网天津市电力公司 一种变电站异常量测数据预测方法
CN109245913A (zh) * 2018-08-02 2019-01-18 浙江口碑网络技术有限公司 一种云体检系统及方法
CN109450672A (zh) * 2018-10-22 2019-03-08 网宿科技股份有限公司 一种识别带宽需求突发的方法和装置
CN109672582A (zh) * 2018-09-25 2019-04-23 平安普惠企业管理有限公司 全路径监测方法、设备、存储介质及装置
CN109831320A (zh) * 2018-12-29 2019-05-31 国家电网有限公司 一种辅助流量预测控制方法、存储介质和电子设备
CN109873712A (zh) * 2018-05-18 2019-06-11 新华三信息安全技术有限公司 一种网络流量预测方法及装置
CN110287439A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于lstm的网络行为异常检测方法
CN110351123A (zh) * 2019-06-19 2019-10-18 新华三大数据技术有限公司 链路流量预测方法、装置及电子设备
CN110880984A (zh) * 2019-10-18 2020-03-13 平安科技(深圳)有限公司 基于模型的流量异常监测方法、装置、设备及存储介质
CN111262750A (zh) * 2020-01-09 2020-06-09 中国银联股份有限公司 一种用于评估基线模型的方法及系统
CN111813392A (zh) * 2020-04-30 2020-10-23 中科院计算所西部高等技术研究院 具有ooda分形机制的编程方法
CN112235152A (zh) * 2020-09-04 2021-01-15 北京邮电大学 流量大小估算方法和装置
CN112532643A (zh) * 2020-12-07 2021-03-19 长春工程学院 基于深度学习的流量异常检测方法、系统、终端及介质
CN113315747A (zh) * 2020-11-09 2021-08-27 南昌工学院 一种计算机网络异常检测方法
CN114039889A (zh) * 2021-09-27 2022-02-11 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN114757722A (zh) * 2022-06-09 2022-07-15 荣耀终端有限公司 一种电子设备的销量预测方法和装置
CN116383450A (zh) * 2023-06-05 2023-07-04 沧州中铁装备制造材料有限公司 一种铁路公路物流运输信息综合管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104503A (zh) * 2009-12-21 2011-06-22 中国移动通信集团设计院有限公司 一种网络的传输流量仿真方法及设备
CN103095496A (zh) * 2013-01-10 2013-05-08 周亚建 网络流量预测方法和设备
JP2015207795A (ja) * 2014-04-17 2015-11-19 日本電信電話株式会社 通信トラヒック予測装置及び方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104503A (zh) * 2009-12-21 2011-06-22 中国移动通信集团设计院有限公司 一种网络的传输流量仿真方法及设备
CN103095496A (zh) * 2013-01-10 2013-05-08 周亚建 网络流量预测方法和设备
JP2015207795A (ja) * 2014-04-17 2015-11-19 日本電信電話株式会社 通信トラヒック予測装置及び方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张倩倩: ""面向配电网的电力通信流量分析和预测技术"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107453786A (zh) * 2017-09-21 2017-12-08 冀北电力有限公司电力经济技术研究院 一种电力通信网络模型建立方法及装置
CN107453786B (zh) * 2017-09-21 2020-12-08 国网冀北电力有限公司经济技术研究院 一种电力通信网络模型建立方法及装置
CN109873712A (zh) * 2018-05-18 2019-06-11 新华三信息安全技术有限公司 一种网络流量预测方法及装置
CN109873712B (zh) * 2018-05-18 2022-03-22 新华三信息安全技术有限公司 一种网络流量预测方法及装置
CN109063885A (zh) * 2018-05-29 2018-12-21 国网天津市电力公司 一种变电站异常量测数据预测方法
CN108924127B (zh) * 2018-06-29 2020-12-04 新华三信息安全技术有限公司 一种流量基线的生成方法和装置
CN108924127A (zh) * 2018-06-29 2018-11-30 新华三信息安全技术有限公司 一种流量基线的生成方法和装置
CN109245913A (zh) * 2018-08-02 2019-01-18 浙江口碑网络技术有限公司 一种云体检系统及方法
CN109672582A (zh) * 2018-09-25 2019-04-23 平安普惠企业管理有限公司 全路径监测方法、设备、存储介质及装置
CN109672582B (zh) * 2018-09-25 2021-10-08 平安普惠企业管理有限公司 全路径监测方法、设备、存储介质及装置
CN109450672A (zh) * 2018-10-22 2019-03-08 网宿科技股份有限公司 一种识别带宽需求突发的方法和装置
CN109831320A (zh) * 2018-12-29 2019-05-31 国家电网有限公司 一种辅助流量预测控制方法、存储介质和电子设备
CN109831320B (zh) * 2018-12-29 2022-03-25 国家电网有限公司 一种辅助流量预测控制方法、存储介质和电子设备
CN110351123A (zh) * 2019-06-19 2019-10-18 新华三大数据技术有限公司 链路流量预测方法、装置及电子设备
CN110287439A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于lstm的网络行为异常检测方法
CN110880984A (zh) * 2019-10-18 2020-03-13 平安科技(深圳)有限公司 基于模型的流量异常监测方法、装置、设备及存储介质
CN111262750B (zh) * 2020-01-09 2021-08-27 中国银联股份有限公司 一种用于评估基线模型的方法及系统
CN111262750A (zh) * 2020-01-09 2020-06-09 中国银联股份有限公司 一种用于评估基线模型的方法及系统
CN111813392A (zh) * 2020-04-30 2020-10-23 中科院计算所西部高等技术研究院 具有ooda分形机制的编程方法
CN111813392B (zh) * 2020-04-30 2023-06-16 中科院计算所西部高等技术研究院 具有ooda分形机制的编程方法
CN112235152B (zh) * 2020-09-04 2022-05-10 北京邮电大学 流量大小估算方法和装置
CN112235152A (zh) * 2020-09-04 2021-01-15 北京邮电大学 流量大小估算方法和装置
CN113315747A (zh) * 2020-11-09 2021-08-27 南昌工学院 一种计算机网络异常检测方法
CN112532643A (zh) * 2020-12-07 2021-03-19 长春工程学院 基于深度学习的流量异常检测方法、系统、终端及介质
CN112532643B (zh) * 2020-12-07 2024-02-20 长春工程学院 基于深度学习的流量异常检测方法、系统、终端及介质
CN114039889A (zh) * 2021-09-27 2022-02-11 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN114757722A (zh) * 2022-06-09 2022-07-15 荣耀终端有限公司 一种电子设备的销量预测方法和装置
CN114757722B (zh) * 2022-06-09 2023-11-14 荣耀终端有限公司 一种电子设备的销量预测方法和装置
CN116383450A (zh) * 2023-06-05 2023-07-04 沧州中铁装备制造材料有限公司 一种铁路公路物流运输信息综合管理系统
CN116383450B (zh) * 2023-06-05 2023-08-25 沧州中铁装备制造材料有限公司 一种铁路公路物流运输信息综合管理系统

Similar Documents

Publication Publication Date Title
CN107070683A (zh) 数据预测的方法和装置
WO2021072890A1 (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
WO2016101464A1 (zh) 用户体验质量QoE评估方法、装置、终端及服务器
CN108520357A (zh) 一种线损异常原因的判别方法、装置及服务器
CN103840988A (zh) 一种基于rbf神经网络的网络流量测量方法
CN107491970A (zh) 实时反作弊检测监控方法和系统以及计算设备
CN110912737A (zh) 一种基于混合模型的动态感知性能预告警方法
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
KR101953558B1 (ko) 스마트 기기 결함 관리 장치 및 방법
CN117439827B (zh) 一种网络流量大数据分析方法
CN111130890A (zh) 一种网络流量动态预测系统
CN107547269A (zh) 基于farima的智能变电站通信流量阈值模型的构建方法
US7617313B1 (en) Metric transport and database load
CN115643193A (zh) 一种网络流量异常检测方法、装置、设备及介质
CN101106487A (zh) 一种检测网络流量异常的方法及装置
CN108345857A (zh) 一种基于深度学习的区域人群密度预测方法及装置
CN109951358A (zh) 数据网流量预测方法
CN116128690B (zh) 一种碳排放量成本值计算方法、装置、设备及介质
CN111065106B (zh) 移动通信网络中基于异常检测和核密度估计kde的指标突变小区检测方法
CN116132337B (zh) 一种基于服务网格技术的接口流量异常检测方法
CN115225455B (zh) 异常设备检测方法及装置、电子设备、存储介质
CN101789091A (zh) 视频清晰度自动识别系统及其方法
CN116108376A (zh) 一种反窃电的监测系统、方法、电子设备及介质
CN114938339A (zh) 一种数据处理方法和相关装置
EP3840319A1 (en) Anomaly detector, anomaly detection network, method for detecting an abnormal activity, model determination unit, system, and method for determining an anomaly detection model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication