CN110740063A - 基于信号分解和周期特性的网络流量特征指标预测方法 - Google Patents

基于信号分解和周期特性的网络流量特征指标预测方法 Download PDF

Info

Publication number
CN110740063A
CN110740063A CN201911022926.XA CN201911022926A CN110740063A CN 110740063 A CN110740063 A CN 110740063A CN 201911022926 A CN201911022926 A CN 201911022926A CN 110740063 A CN110740063 A CN 110740063A
Authority
CN
China
Prior art keywords
prediction
component
period
signal decomposition
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911022926.XA
Other languages
English (en)
Other versions
CN110740063B (zh
Inventor
黄鹂声
耿建宁
冉芷娴
汪文勇
冉金也
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911022926.XA priority Critical patent/CN110740063B/zh
Publication of CN110740063A publication Critical patent/CN110740063A/zh
Application granted granted Critical
Publication of CN110740063B publication Critical patent/CN110740063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H04B17/3913—Predictive models, e.g. based on neural network models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Abstract

本发明公开了一种基于信号分解和周期特性的网络流量特征指标预测方法，涉及计算机网络技术领域。本发明使用EMD信号分解算法，对网络流量特征指标时间序列进行经验模态分解，得到多个分量和一个残余项；计算各个分量的周期，利用快速傅里叶变换计算每个分量各自的周期；各分量的单独预测，根据每个分量的周期，对分量中的周期点进行重新采样，形成新的采样时间序列，并针对该采样时间序列开展回归预测，最后使用回归方法对残余项进行预测；对各分量的预测输出以及残余项预测输出进行逐项求和，得到最终预测结果。本发明组合应用数字信号处理领域的信号分解技术，以及信号周期分析、分量回归预测等技术，实现对网络流量特征指标时间序列的预测。

Description

基于信号分解和周期特性的网络流量特征指标预测方法
技术领域
本发明涉及计算机网络技术领域，更具体地说，涉及一种基于信号分解和周期特性的网络流量特征指标预测方法。
背景技术
随着Internet的不断发展，网络规模日益扩大，其承载的网络业务逐渐增多，网络中的流量流向、运行状态已成为人们越来越关心的问题。网络流量特征指标是描述和刻画网络流量流向和运行状态的重要途径，自从NETFLOW标准出现以来，国内外研究机构从流量中提取若干特征指标，用于分析网络流量特征，这些特征指标包括但不限于：流量大小、报文数量、主机数量、会话数量、访问次数等等。对这些特征指标进行分析和预测，不仅仅能够对网络运行状况进行评估和分析，还能对网络用户的行为模式、活动趋势、网络性能、网络安全进行趋势预测。因此，对网络流量特征指标进行准确预测，是网络运行管理和态势分析的重要基础。
根据所提取到的流量特征指标历史数据，通过建立适当的预测模型，对将来的流量特征指标值进行预测。由预测的结果，可以得到将来流量的大致趋势，可广泛应用于安全、性能、故障、行为等分析领域。
网络流量特征指标的历史数据可在数学上描述为具有非线性非平稳的时间序列。对网络流量特征指标的预测就是对该时间序列的预测。常用预测方法大致分为三类：(1)传统时间序列预测方法，如移动平均、指数平滑、趋势外推、季节指数预测、ARMA模型、马尔科夫模型等；(2)基于回归分析的预测方法，如线性回归、非线性回归、Logistic回归、岭回归、主成分回归等；(3)基于机器学习(Machine Learning)的预测方法，机器学习算法能够通过不同的模型处理复杂的数据，使得其预测或者分类达到较高的精度，其中人工神经网络(Artificial Neural Networks，ANN)和支持向量机(Support Vector Machines， SVM)被广泛应用于预测模型中；(4)基于数字信号处理的预测方法，如利用傅里叶变换(FourierTransform)和小波变换(Wavelet Transform)等方法将原始时间序列信号分解为多个时间序列分量，并分别在各个分量中应用传统预测方法，最后加以合并，该预测方法能够对流量特征指标中的独立成分进行分解预测，提升了预测的精度和对流量不同周期性特征的适应能力。
上述方法存在各自的弱点：传统时间序列预测方法、基于回归分析的预测方法准较为老旧、准确率低，不能满足复杂数据预测需求；基于机器学习的预测方法能够适应复杂数据，精度较高，但预测过程时间、空间复杂度高，开销过大；基于数字信号处理的预测方法也存在计算复杂度高、自适应能力不足的问题。
在实际应用中，骨干网络流量具有很强的实时性、规模性、复杂性、非平稳性、周期性，网络流量的特征指标预测过程要求算法能够满足非线性、非平稳、周期性强、实时性强、复杂度低等网络流量特征实时预测需求。而现有方法均难以同时满足上述需求。
发明内容
基于现有方法的不足之处，本发明提出一种基于信号分解和周期特性的网络流量特征指标预测方法，目的是提供一种计算复杂度低、准确率高、自适应能力强的预测机制。经验模态分解(Empirical Mode Decomposition,EMD)作为一种相对较新的数字信号分析方法，是一种将时间序列数据中周期性成分进行分离的工具，能够广泛的应用于波动信号，将其应用于处理非线性、非平稳数据具有独特的优势。
为了解决上述现有技术中存在的问题，本发明是通过下述技术方案实现的：
一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：包括以下步骤：
信号分解步骤：使用EMD信号分解算法，对网络流量特征指标时间序列进行经验模态分解，得到多个分量和一个残余项；
周期计算步骤：计算各个分量的周期，利用快速傅里叶变换计算每个分量各自的周期；
分量预测步骤：对各个分量进行单独的预测，根据每个分量的周期，对分量中周期点进行重新采样，形成新的采样时间序列，并针对该采样时间序列开展回归预测，最后使用回归方法对残余项进行预测；
结果输出步骤：对各分量的预测输出以及残余项输出进行逐项求和，得到最终预测结果。
所述信号分解步骤中，使用EMD信号分解算法，对网络流量指标时间序列进行经验模态分析，将其按频率高低分解为多个分量。
所述周期计算步骤中，利用快速傅里叶变换计算每个信号分量IMFi的信号周期Ti和比重，而对残余项Rm不做周期分析。
所述分量预测步骤具体包括：
步骤a：根据某个分量IMFi的周期Ti，对IMFi分量中的周期点进行重新采样，形成新的采样时间序列；
步骤b：针对新的采样时间序列开展回归预测，从而得到该分量的预测输出outputi；
步骤c：针对所有IMF分量的预测全部完成后，最后使用回归方法对残余项 Rm进行预测，获得Rm的预测输出output_R。
所述结果输出步骤：对各分量的预测输出outputi以及残余项预测输出 output_R进行逐项求和得到最终预测结果RESULT。
所述分量预测步骤中，回归预测具体是指，根据需要预测的未来时刻t，从 IMFi中依次选取该分量历史数据中的周期点成员，即距离时刻点t的时间距离为 Ti整数倍的成员，组成新的时间序列，然后针对未来一段时间所有时刻点，重复上述预测过程，得到针对未来一段时间内所有时刻点的预测结果，从而得到该分量的预测输出outputi。
所述结果输出步骤中，求和过程为：将多个outputi以及output_R中相同时刻点的预测值进行分别累加，即将每个时刻点的不同分量预测结果进行累加运算，从而得到针对未来一段时间的最终预测结果时间序列RESULT。
本发明涉及相关专业名词定义及变量符号说明如下：
表1相关专业名词定义
Figure RE-GDA0002277012560000031
Figure RE-GDA0002277012560000041
表2变量符号表
Figure RE-GDA0002277012560000042
与现有技术相比，本发明所带来的有益的技术效果表现在：
1、本发明组合应用数字信号处理领域的信号分解技术，以及信号周期分析、分量回归预测等技术，实现对网络流量特征指标时间序列的预测。本发明与其他方法最大的不同点在于：本发明不仅仅对各个分量进行预测，还基于各个分量的周期进行周期点的重新采样和预测，具备更强的流量周期性自适应能力。
2、采用EMD对网络流量进行预处理，将其按频率高低分解为多个IMF分量，各分量蕴含不同的物理意义，具有各自不同的变化周期。相对于传统的数据预处理方法，EMD能更好地适应网络流量数据非线性非平稳的特征，从而使分解得到的各分量更好地表征原始数据，具有更加明显的周期性。
3、利用各个分量的周期特性，针对未来每个时刻点，对各个分量中的历史周期点进行重新采样，形成新的采样时间序列，并针对采样时间序列开展回归预测。该预测过程仅仅使用各个分量中的周期点作为预测依据，能够有效提升预测的准确率。
附图说明
图1为网络流量特征指标预测方法流程图；
图2为网络流量特征指标EMD分解示意图。
具体实施方式
下面结合说明书附图和具体实施例，对本发明的技术方案作出进一步详细地阐述。
本发明的基于信号分解和周期特性的网络流量特征指标预测方法，如图1 所示，包括如下步骤：
步骤1：信号分解步骤：使用EMD信号分解算法，对网络流量特征指标时间序列S(t)进行经验模态分解，得到m个IMF分量和一个残余项Rm。即
Figure RE-GDA0002277012560000051
采用EMD方法对网络流量特征指标时间序列S(t)进行分解，分解结果如图2所示，图中TCPOUT-eemd-original0为待分解的原始时间序列，后续 TCPOUT-eemd-IMF1到TCPOUT-eemd-IMF11为分解之后的各个IMF分量，其中IMF1 为最高频的分量，其周期T最小；IMF11为最低频的信号，其周期T最大，剩下的残余项为TCPOUT-eemd-r12，无明显周期特性。如果将各个分量与残余项进行叠加，即可还原出原始时间序列。
步骤2：周期计算步骤：计算各个分量的周期。利用快速傅里叶变换(FFT) 计算每个IMF分量各自的周期T，针对每个信号分量IMFi，分别获得其信号周期Ti。对残余项Rm不做周期分析，这是由于Rm没有明显的周期性。
在本实施例中，各分量的信号周期T计算结果如下表3所示。
分量 周期T
IMF<sub>1</sub> 3.17
IMF<sub>2</sub> 6.53
IMF<sub>3</sub> 13.80
IMF<sub>4</sub> 27.71
IMF<sub>5</sub> 55.00
IMF<sub>6</sub> 127.08
IMF<sub>7</sub> 567.00
IMF<sub>8</sub> 921.37
IMF<sub>9</sub> 1638.00
IMF<sub>10</sub> 7371.00
IMF<sub>11</sub> 7371.00
步骤3：分量预测步骤：各个分量的单独预测。根据某个分量IMFi的周期Ti对IMFi分量中的周期点进行重新采样，形成新的采样时间序列，并针对采样时间序列开展回归预测。首先根据需要预测的未来时刻点t，从IMFi中依次选取该分量历史数据中的周期点成员(即：距离时刻点t的时间距离为Ti整数倍的成员)，组成成新的时间序列，然后对这个新的时间序列使用岭回归进行预测，得到针对未来时刻t的预测结果；然后针对未来一段时间所有时刻点，重复上述预测过程，得到针对未来一段时间内所有时刻点的预测结果，从而得到该分量的预测输出outputi。针对所有IMF分量的预测全部完成后，最后使用回归方法对残余项Rm进行预测，获得Rm的预测输出output_R。
步骤3的一个实施例：例如，要针对以前N天的某个分量的时间序列，预测后一天的该分量的时间序列，则需要依次对后一天的每个时刻进行预测，针对某个时刻点t，依次查找该分量前N天时间序列，取出时刻t以前，且与t的时间差为T的整数倍的历史数据，形成一个新的时间序列，针对这个新的时间序列，使用回归方法(包括但不限于岭回归等)，对时刻t的分量进行预测。
步骤3的另一个实施例：某个分量的时间周期正好是一天，如果要预测明天早上8点的某个分量值，则依次取出该分量历史数据中所有早上8点的数据，形成该时刻点的新时间序列，针对新时间序列采用回归方法完成分量预测。
步骤3的又一个实施例：某个分量的时间周期是30分钟，如果要预测明天早上8点的某个分量值，则依次取出该分量历史数据中所有与明天早上8点相差 30分钟整数倍的数据，形成新时间序列，针对新时间序列采用回归方法完成分量预测。
步骤4：对各分量的预测输出outputi以及残余项预测输出output_R进行逐项求和得到最终预测结果RESULT，求和过程为：将多个outputi以及output_R中相同时刻点的预测值进行分别累加，即：将每个时刻点的不同分量预测结果进行累加运算，从而得到针对未来一段时间的最终预测结果时间序列RESULT。

Claims (7)

1.基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：包括以下步骤：
信号分解步骤：使用EMD信号分解算法，对网络流量特征指标时间序列进行经验模态分解，得到多个分量和一个残余项；
周期计算步骤：计算各个分量的周期，利用快速傅里叶变换计算每个分量各自的周期；
分量预测步骤：对各个分量进行单独的预测，根据每个分量的周期，对分量中周期点进行重新采样，形成新的采样时间序列，并针对该采样时间序列开展回归预测，最后使用回归方法对残余项进行预测；
结果输出步骤：对各分量的预测输出以及残余项输出进行逐项求和，得到最终预测结果。
2.如权利要求1所述的一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：所述信号分解步骤中，使用EMD信号分解算法，对网络流量指标时间序列进行经验模态分析，将其按频率高低分解为多个分量。
3.如权利要求1所述的一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：所述周期计算步骤中，利用快速傅里叶变换计算每个信号分量IMFi的信号周期Ti和比重，而对残余项Rm不做周期分析。
4.如权利要求1或3所述的一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：所述分量预测步骤具体包括：
步骤a：根据某个分量IMFi的周期Ti，对IMFi分量中的周期点进行重新采样，形成新的采样时间序列；
步骤b：针对新的采样时间序列开展回归预测，从而得到该分量的预测输出outputi；
步骤c：针对所有IMF分量的预测全部完成后，最后使用回归方法对残余项Rm进行预测，获得Rm的预测输出output_R。
5.如权利要求4所述的一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：所述结果输出步骤：对各分量的预测输出outputi以及残余项预测输出output_R进行逐项求和得到最终预测结果RESULT。
6.如权利要求4所述的一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：所述分量预测步骤中，回归预测具体是指，根据需要预测的未来时刻t，从IMFi中依次选取该分量历史数据中的周期点成员，即距离时刻点t的时间距离为Ti整数倍的成员，组成新的时间序列，然后针对未来一段时间所有时刻点，重复上述预测过程，得到针对未来一段时间内所有时刻点的预测结果，从而得到该分量的预测输出outputi。
7.如权利要求5所述的一种基于信号分解和周期特性的网络流量特征指标预测方法，其特征在于：所述结果输出步骤中，求和过程为：将多个outputi以及output_R中相同时刻点的预测值进行分别累加，即将每个时刻点的不同分量预测结果进行累加运算，从而得到针对未来一段时间的最终预测结果时间序列RESULT。
CN201911022926.XA 2019-10-25 2019-10-25 基于信号分解和周期特性的网络流量特征指标预测方法 Active CN110740063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911022926.XA CN110740063B (zh) 2019-10-25 2019-10-25 基于信号分解和周期特性的网络流量特征指标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911022926.XA CN110740063B (zh) 2019-10-25 2019-10-25 基于信号分解和周期特性的网络流量特征指标预测方法

Publications (2)

Publication Number Publication Date
CN110740063A true CN110740063A (zh) 2020-01-31
CN110740063B CN110740063B (zh) 2021-07-06

Family

ID=69271411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911022926.XA Active CN110740063B (zh) 2019-10-25 2019-10-25 基于信号分解和周期特性的网络流量特征指标预测方法

Country Status (1)

Country Link
CN (1) CN110740063B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464354A (zh) * 2020-03-31 2020-07-28 全球能源互联网研究院有限公司 一种细粒度的网络流量计算方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852871A (zh) * 2010-05-25 2010-10-06 南京信息工程大学 基于经验模态分解和数值集合预报的短期气候预测方法
CN104899656A (zh) * 2015-06-05 2015-09-09 三峡大学 一种基于总体平均经验模态分解与改进Elman神经网络的风功率组合预测方法
CN105067966A (zh) * 2015-07-08 2015-11-18 上海交通大学 基于特征模态分量能量分析的低压交流故障电弧检测方法
US20160140584A1 (en) * 2014-11-17 2016-05-19 Ebay Inc. EMD-Spectral Prediction (ESP)
CN107015124A (zh) * 2017-01-13 2017-08-04 国网山东省电力公司日照供电公司 一种基于分帧自适应稀疏分解的局放信号干扰抑制方法
US9958551B1 (en) * 2017-07-07 2018-05-01 Beihang University Method and device for determining availability of ARAIM system
CN108256697A (zh) * 2018-03-26 2018-07-06 电子科技大学 一种用于电力系统短期负荷的预测方法
CN108549117A (zh) * 2018-03-29 2018-09-18 南京信息工程大学 一种基于eemd-ces的地面气温观测资料质量控制方法
CN110299005A (zh) * 2019-06-10 2019-10-01 浙江大学 一种基于深度集成学习的城市大规模路网交通速度预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852871A (zh) * 2010-05-25 2010-10-06 南京信息工程大学 基于经验模态分解和数值集合预报的短期气候预测方法
US20160140584A1 (en) * 2014-11-17 2016-05-19 Ebay Inc. EMD-Spectral Prediction (ESP)
CN104899656A (zh) * 2015-06-05 2015-09-09 三峡大学 一种基于总体平均经验模态分解与改进Elman神经网络的风功率组合预测方法
CN105067966A (zh) * 2015-07-08 2015-11-18 上海交通大学 基于特征模态分量能量分析的低压交流故障电弧检测方法
CN107015124A (zh) * 2017-01-13 2017-08-04 国网山东省电力公司日照供电公司 一种基于分帧自适应稀疏分解的局放信号干扰抑制方法
US9958551B1 (en) * 2017-07-07 2018-05-01 Beihang University Method and device for determining availability of ARAIM system
CN108256697A (zh) * 2018-03-26 2018-07-06 电子科技大学 一种用于电力系统短期负荷的预测方法
CN108549117A (zh) * 2018-03-29 2018-09-18 南京信息工程大学 一种基于eemd-ces的地面气温观测资料质量控制方法
CN110299005A (zh) * 2019-06-10 2019-10-01 浙江大学 一种基于深度集成学习的城市大规模路网交通速度预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TANG QINGFENG ET AL.: "Short-term micro-grid load forecast method based on EMD-KELM-EKF", 《IEEE》 *
潘和平等: "FEPA-金融时间序列自适应组合预测模型", 《中国管理科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464354A (zh) * 2020-03-31 2020-07-28 全球能源互联网研究院有限公司 一种细粒度的网络流量计算方法、装置及存储介质
CN111464354B (zh) * 2020-03-31 2023-02-28 全球能源互联网研究院有限公司 一种细粒度的网络流量计算方法、装置及存储介质

Also Published As

Publication number Publication date
CN110740063B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN107292446B (zh) 一种基于考虑分量关联性小波分解的混合风速预测方法
CN110689190A (zh) 一种电网负荷预测方法、装置及相关设备
CN111950805B (zh) 中长期电力负荷预测方法、装置、计算机设备及存储介质
Sun A hybrid approach by integrating brain storm optimization algorithm with grey neural network for stock index forecasting
CN112232604B (zh) 基于Prophet模型提取网络流量的预测方法
CN111160626B (zh) 一种基于分解融合的电力负荷时间序列控制方法
CN112396234A (zh) 一种基于时域卷积神经网络的用户侧负荷概率预测方法
Yang et al. Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning
Zhu et al. Hybrid of EMD and SVMs for short-term load forecasting
CN115456306A (zh) 一种母线负荷预测方法、系统、设备及存储介质
CN110740063B (zh) 基于信号分解和周期特性的网络流量特征指标预测方法
CN110796303A (zh) 一种基于ewt和odbscan的短期电力负荷预测方法
Wang et al. A Transformer-based multi-entity load forecasting method for integrated energy systems
CN111563631A (zh) 基于变分模态分解的风力发电功率预测方法及设备
CN116432860A (zh) 一种基于ewt-tcn的短期电力负荷预测方法、系统及介质
CN111539558A (zh) 一种采用优化极限学习机的电力负荷预测方法
CN116561569A (zh) 一种基于EO特征选择结合AdaBoost算法的工业电力负荷辨识方法
CN116911419A (zh) 一种基于趋势相关性特征学习的长时序预测方法
CN115544890A (zh) 一种短期电力负荷预测方法及系统
CN112561186A (zh) 一种短期电力负荷的预测方法
CN111126659A (zh) 一种电力负荷预测方法及系统
Singh et al. Predicting the remaining useful life of ball bearing under dynamic loading using supervised learning
CN116340765B (zh) 一种窃电用户预测方法、装置、存储介质及电子设备
CN113807387B (zh) 基于svm分类的特征指标风电出力时间序列构建方法和装置
CN117009752A (zh) 一种基于poa-vmd-ssa-kelm模型的用电需求预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant