CN108199928B - 一种多维电力通信网流量预测方法及系统 - Google Patents
一种多维电力通信网流量预测方法及系统 Download PDFInfo
- Publication number
- CN108199928B CN108199928B CN201810101494.0A CN201810101494A CN108199928B CN 108199928 B CN108199928 B CN 108199928B CN 201810101494 A CN201810101494 A CN 201810101494A CN 108199928 B CN108199928 B CN 108199928B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- flow
- data
- sdn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种多维电力通信网流量预测方法及系统,所述方法包括以下步骤:步骤1、网络流量采集;步骤2、多维流量预测方法;步骤3、单指数平滑算法引入动态权值更新策略;所述系统包括:应用层设备及接口模块、SDN控制器、SDN协调器、SDN设备、OTN设备、EOPN设备。本发明的优异效果是:采用的数据测量方法中引入云服务的技术。数据采集部分中引入SDN技术。采集的横向维度数据采用BP神经网络算法来训练。采集纵向维度数据采用FARIMA和Elman算法相结合的算法。提高了预测算法的精度;采用单指数平滑算法更新多维预测算法输出的权值,降低了误差的波动维度。
Description
技术领域
本发明涉及一种多维电力通信网流量预测方法及系统,属于电力通信网网络流量预测管理领域。
背景技术
通信网作为电力系统第二张覆盖全域范围的网络,是承载电网安稳、保护、控制、信息的重要数据的唯一通道,其传输的稳定性、可靠性、安全性直接影响着电网输电线路的可靠运行。如果因为网络性能问题导致电网出现严重故障,将对国家民生财产和安全造成损失。
随着智能电网和国家电网的深入推进,电力通信网网络规模持续扩大,SDH(Synchronous Digital Hierarchy,同步数字体系)设备数量的增加,传输容量得以不断扩容,同时,网络承载业务种类也不断增加,网络流量行为变得日益复杂。目前电网大力推行建设智能配电网和信息化平台,末端网络智能化建设接入不同带宽、流量的配电自动化、视频监控、机器人巡检、分布式电源、信息化的业务,造成边缘网络的突变性和未知性,进一步也给骨干通信网容量带来冲击和挑战。因此,网络业务需求的不断增多,业务的多样化以及管理信息化业务和电网生产调度业务的差异,给通信网的网络容量和优化带来了新的挑战。目前,由于不能提前预测电力通信网络数据流量的变化趋势,造成有限网络资源的不合理分配,引起网络拥堵,影响了业务的服务质量,并进而为网络的扩容建设提供错误的数据支撑。因此,需要采用一种技术手段实时监控通信网中数据传输流量,并能够通过采集的流量数据特征寻找变化规律,从而评估网络流量发展趋势,建立差异化业务流量预测模型,为电力信息通信网网络资源的优化配置和扩容规划提供基础数据支撑。
公开号为CN107564281A的中国专利申请公开了一种基于WIFI信号的宏观车流流量预测算法,沿交通道路设置预测设备系统,所述预测设备系统包括多个子网络,每个子网络包含一个主机和若干个分机,所述分机通过无线被动感知模式,采集由移动终端设备随机向四周环境发送的广播式数据包,并筛选其中带有移动终端设备ID信息的数据包进行检索,打上分机标签后上传至主机,主机将收集到的数据进行统一存储和打上时间标签,并上传至数据服务器中存储,并通过数据分析对宏观车流流量进行评估预测。
公开号为CN107547154A的中国专利申请公开了一种建立视频流量预测模型的方法及装置,包括:获取在预设时长内针对预设地理区域上产生的历史视频流量数据集和至少一种特征数据集;将获取得到的历史视频流量数据集中包括的每条历史视频流量数据分别与每种特征数据集中的特征数据进行关联,得到用于建立视频流量预测模型的数据集;采用预设的特征选择算法组合对用于建立视频流量预测模型的数据集进行特征参数筛选,确定与视频流量相关的至少一种特征参数;利用用于建立视频流量预测模型的数据集采用预设模型训练算法进行模型训练,获得与视频流量相关的至少一种特征参数与视频流量之间的映射关系。
公开号为CN107483265A的中国专利申请公开了一种基于小波分析的网络流量动态预测方法,在网络拓扑结构中,对待分析的端到端网络流量数据的初始数据进行归一化处理,得到待分析网络流量的时域信号;基于小波分析理论,将该时域信号转化为待分析网络流量的时频域信号;将该时频域信号分解为低频分量、中频分量和高频分量,并根据小波的逆变换,分别获取相应的低频信号、中频信号和高频信号;分别构建低频信号、中频信号和高频信号的流量预测模型,并分别得到低频信号、中频信号和高频信号的预测结果;对低频信号、中频信号和高频信号的预测结果进行合成,获取待分析网络流量的预测结果。
综上所述,现有的传输设备网管系统不具备网络的流量预测机制,对已有网络流量的分析也只是通过人工手动计算业务峰值流量的方式进行预估,进而设计网络的带宽,并对网络扩容提供依据。这种方式可靠性低,实效性差,对网络的变化反映不及时,随着新业务的快速出现,网络流量快速发展,并具有一定的突发性,其对网络的优化和配置手段受到限制。
发明内容
本发明为解决电力通信网发展现状中存在的流量难以预测、网络扩容管理缺乏技术依据的问题,提出一种多维电力通信网流量预测方法及系统。本发明所述方法的核心技术方案是:将历史数据分为横向和纵向两个维度然后分别针对两个维度的特性进行预测并利用单指数平滑算法引入动态权值更新策略。
本发明所述方法包括以下步骤:
步骤1、网络流量采集:
网络流量采集针对计算机网络数据流的特性和变化情况进行监测和分析,根据网络流量来源的不同,将网络流量分为网络节点端口流量、端到端的IP流量以及用户业务数据流量。将采集工具嵌入到路由器、交换机的网络传输设备上,实时采集SDH(SynchronousDigital Hierarchy,同步数字体系)、OTN(光传送网,OpticalTransportNetwork)及EPON(Ethernet Passive Optical Network,以太网无源光网络)的设备的出口数据传输流量。利用路由器自带的Netflow功能进行网络流量监测,并在SG-TMS(国家电网通信管理系统)电力通信网管系统上对流量数据进行统计。
在电力通信网架构中,骨干网采用SDH和OTN设备,接入网采用EOPN设备,本发明引入云服务的技术进行数据采集管理,通过引入云服务和SDN(软件定义网络,SoftwareDefined Network)技术,利用计算机集群的整体资源对网络流量进行测量,缓解单一测量节点的采集压力以处理超大规模网络数据。SDN技术的核心是SDN控制器,能够加载在OTN、SDH的光通信网络上。SDN控制器包含了原有控制器路径计算的功能,增加了多域协同和将网络虚拟化的能力从而形成统一网络流量管理和统一调度。
步骤1.1、基于云服务和SDN调控手段的网络流量采集:
基于云服务和SDN调控手段的网络流量采集方法的模型架构分为四层,自底层向上分为物理层、虚拟层、控制层和应用层,接口层作为应用层中的一个子模块,包含在应用层的下部,其中物理层、虚拟层以IaaS(Infrastructure as a Service,作为一个应用的基础设施)向控制层提供服务封装,物理层、虚拟层、控制层以PaaS(Platform as a Service,作为一个应用的平台)向接口层提供服务封装;物理层、虚拟层、控制层、接口层则共同以SaaS(Software as a Service,作为一个应用软件)向应用层提供应用封装,应用层与接口层交互能够获取所请求的测量分析应用。其中控制层将为物理层、虚拟层提供数据编排、数据调配、数据共享的功能,SDN控制器将为应用层提供数据处理、执行决策的现场依据并共用同一架构以实现流量采集、预测功能目标。
物理层由底层电力通信网传输设备、网络设备组成,传输设备指SDH、OTN、EPON,网络设备是路由器、交换机,在网络设备上设置探针的测量节点对不同传输网的出口流量进行实时监控,并将采集的数据通过传输网上传,完成数据转发,保证上层网络通信,并设置存储服务器机群对采集数据进行暂存,存储服务器机群分布式放置于各网络节点且其作用是完成网络测量和数据存储的工作,测量节点上设置测量工具和被动测量工具并用于测量工作同时也与存储节点一起在虚拟层被虚拟为一整个虚拟资源池。
虚拟层是一个逻辑虚拟层,由SDN虚拟化技术实现,用于实现资源虚拟化和测量环境部署的功能,形成底层数据采集的数据虚拟资源池。
控制层是SDN技术的核心,SDN控制器包含了原有控制器路径计算的全部功能,并且增加了多域协同和将网络虚拟化的能力。通过统一的SDN控制器能够对传统的各个封闭式的网络形成统一管理和网络资源的统一调度。SDN控制器能够加载在OTN、SDH的光通信网络上层设置SDN控制器以及流量均衡器。流量均衡器采用分层管理为不同区域网络分配局部流量的均衡器,再由全局流量均衡器协调全网均衡器,并实现不同流量均衡器之间的信息交互。SDN控制器支持交换、路由、安全接入、流量均衡和流量隔离的功能。SDN控制器通过开放的北向接口与上层应用层相连,通过南向接口能够获得资源池能源信息以及用户的需求信息,定期收集用户发送的需求信息以及状态信息,采集时间间隔能够随机配置,通过南向接口下发配置信息。
接口层作为应用层中的一个子模块,包含在应用层的下部。通过Web2.0、Flex(一个高效、免费的开源框架)的程序语言实现与应用的交互界面以实现应用层与控制层的交互,完成对物理层资源的调用,应用层利用SG-TMS网管系统获取流量数据并安装数据抓取软件与现场采集模块互联互通,调用采集数据,通过接口层与底层的交互完成流量采集测量服务。
骨干网A平面采用SDH设备,在SG-TMS(电力通信管理系统)电力通信网管系统上安装Wireshark(一种网络封包分析软件)采集软件,对流量数据进行实时采集。骨干网B平面采用OTN设备,接入网采用EOPN设备,利用路由器自带的Netflow功能进行网络流量监测。
步骤1.2、横向和纵向数据的提取;
横向和纵向历史数据中,定义采样间隔为Δt小时,定义日周期为ΔT小时,定义S(t,d)为第d天的第t采样时刻的采样值,其中d=1,2,...,m,m为历史数据的总天数,在同一日期下,等周期不同时刻的流量数据为横向维度,采样间隔Δt的横向流量数据,横向数据源序列用x表示为:
x={S'(d)|d=1,2,...,n},令x={xi|i=1,2,...,Lx}为横向数据序列,其中为横向训练序列数据长度。
纵向历史数据提取是在不同日期下同一时刻的数据流量的纵向维度,表示为下式:
yt={S(t,d)|d=1,2,...,Ly;Ly≤m}令yt={y(t,i)|i=1,2,...Ly}为纵向时间序列,其中Ly为纵向序列的长度。
横向维度体现了预测当天流量的上升和下降趋势,纵向维度反映了一天中转折点的位置,利用流量的日周期性提高二维预测算法在转折点处的预测精度。
步骤2、多维流量预测:
对电力通信业务流量特性进行分析,网络流量存在突发性、长相关性、自相似性、多分形、周期性的特点,网络流量突发性是指网络业务流量突然出现的不正常的重大变化。网络流量的长相关特性是与泊松的短相关过程相对的,反映的是自相似过程中的持续现象,意味着未来的统计信息蕴含在过去和现在的信息中,并且是能够预测的。
常用的网络流量模型包括:Poisson过程模型、Markov/semi-Markov模型、ARIMA/FARIMA模型、重尾分布的ON/OFF模型、离散小波模型及神经网络模型。电力通信网络流量存在日周期性,每天的流量曲线会在某些时间段流量大,有些时间段流量小。这样,在一天中流量曲线会存在一些转折点,比如波峰和波谷还有一些局部的峰值出现,这些转折点出现的位置,每天相同,同时,一天的流量也存在着当天独特的趋势,在某些时段明显不同于历史数据。本发明所述方法解决了以往算法中转折点处存在预测延迟的问题同时能够提高当天趋势区段的预测精度。
步骤2.1、横向流量数据预测:
横向流量数据定义为在同一日期下,等周期不同时刻的流量数据为横向维度,采用BP神经网络算法来预测,对横向维度进行预测称为横向预测。
本发明所述方法选择BP神经网络算法对横向维度数据进行训练、预测,BP神经网络能够使用任何可微分的函数作为它的传递函数,常用的传递函数有S型函数、正切S型函数和线性函数。采用不同的传递函数将达到不同的输出值。对于网络流量的预测,由于网络流量数字序列具有多步相关性,即当前采样流量与过去若干个采样周期存在关联性。定义p(p≥1)步相关、提前l(l≥1)步预测的流量模型为:
xk+1=f(xk,xk-1,...xk-p+1)
第k+l个采用间隔的流量与它之前的p个流量存在映射f,f是非线性函数,用了三层BP神经网络预测结构,即输入层、输出层、隐含层。输入层以采集的数据为准,输入层有L个神经元,接受L个流量差值作为输入,L表示相关步数,隐含n个神经元,输出层有1个神经元,输出即第k+l个流量差值的预测k+l个流量差值的预测 表示从第m-1层的神经元j到第m各层神经元i的联结权重。由于神经网络各层的初始连接权值是任意的,先对神经网络进行训练,BP神经网络通过训练将样本的真实输出之间的误差反向传播到各层的神经元,采用梯度下降法不断的调节各层的权值,减小因权值带来的偏差,使训练样本真实输出与神经网络输出的误差在设定的范围内。
步骤2.2、纵向历史数据预测:
纵向历史数据定义为不同日期下同一时刻的数据流量为纵向维度,采用线性FARIMA数学模型预测,对纵向维度进行预测称为纵向预测。Elman神经网络是一种典型的局部递归网络并适合于时间序列的处理。线性FARIMA数学模型是一种渐近二阶自相似过程,既能够有效地描述样本流量的长相关特性,同时也能表示网络的短相关特性。采用FARIMA算作为纵向预测算法。
Elman神经网络由输入层、隐含层,连接层和输出层组成,是在BP神经网络基础上增加了一个内部反馈环节,内部反馈环节是通过结构单元的延迟,存储和自联到隐含层的输入端,用于记忆隐含层的过去态,并在下一时刻连同网络输入一起作为隐含层单元的输入,使得Elman神经网络具有动态记忆功能。设Elman神经网络的外部输入为u(k),输出为y(k),k为迭代次序,w为n维的神经网络连接权系数,则对于Elman神经网络有以下下式成立。
x(k)=f(w1xc(k)+w2u(k-1)
xc(k)=x(k-1)
y(k)=g(w3x(k))
其中w1,w2,w3分别为结构单元到隐含层、输入层到隐含层以及隐含层到输出层的连接权矩阵,f(w1xc(k)+w2u(k-1),g(w3x(k))分别为输出层单元和隐含层单元的激发函数组成的非线性向量函数。
步骤3、单指数平滑算法引入动态权值更新策略:
从现有的SG-TMS电力通信网管系统采集的历史数据分为横向和纵向两个维度;然后分别针对两个维度的特性选择算法进行预测。用单指数平滑算法引入动态权值更新策略。
用横向预测算法和纵向预测算分别计算横向和纵向维度在t+T时刻的预测值,并通过权值w求和得到最终预测输出。用单指数平滑算法更新权值w。
本发明所述系统包括:应用层设备及接口模块、SDN控制器、SDN协调器、SDN设备、OTN设备、EOPN设备。应用层设备及接口模块与SDN控制器连接,SDN控制器与SDN协调器连接;SDN设备与SDN控制器连接,SDN设备、OTN设备、EOPN设备依次连接。
本发明所述系统的架构分为三层,自底层向上分为物理层、虚拟控制层和应用层。其中物理层以IaaS(Infrastructure as a Service,作为应用基础设施)向虚拟控制层提供服务封装,物理层、虚拟控制层以PaaS(Platform as a Service,作为应用平台)向应用层提供服务封装。
本发明所述系统使用SDN控制器调度采集的数据信息并对网络出现的拥塞及未来流量进行估计预测。采集工具嵌入到网络传输设备上,实时采集SDH(Synchronous DigitalHierarchy,同步数字体系)设备、OTN(光传送网,OpticalTransportNetwork)设备及EPON(Ethernet Passive Optical Network,以太网无源光网络)设备的出口数据传输流量。
本发明所述系统利用路由器自带的Netflow功能进行网络流量监测并在SG-TMS(国家电网通信管理系统)电力通信网管系统上对流量数据进行统计分析。
物理层由传输设备、网络设备组成,传输设备包括SDH设备、OTN设备、EPON设备,网络设备包括路由器、交换机。存储服务器集群分布式放置于各网络节点,存储服务器集群作用是完成网络测量和数据存储的工作。
SDN控制器能够加载在OTN、SDH的光通信网络上层设置SDN控制器以及SDN协调器。SDN控制器能调控均衡器,SDN控制器支持交换、路由、安全接入、流量均衡和流量隔离的功能。SDN协调器与虚拟层协调器相连以获取虚拟层的资源编号及数据状态。SDN控制器通过开放的北向接口与上层应用层相连,通过南向接口获得资源池能源信息以及用户的需求信息并收集用户发送的需求信息以及状态信息,通过南向接口下发配置信息。
应用层设备及接口模块搭建在控制中心的服务器上,用于实现应用层与控制层的交互,完成对物理层资源的调用,应用层利用SG-TMS网管系统获取流量统计数据,与现场采集模块互通,通过接口层与底层的交互完成流量采集测量服务。
本发明所述方法的优越效果是:
1、采用的数据测量方法中引入云服务的技术,以云服务的形式将底层传输设备采集的数据流量信息向上层应用传递,便于数据存储和计算,将底层复杂的设备测量过程抽象为简单的一种服务,增强了数据间的共享性和协作性,提升系统数据处理效率。
2、数据采集部分中引入SDN技术,实现了底层设备采集过程的虚拟化、资源池化,SDN控制器自由调度采集的数据信息,实现控制、监控、协调、虚拟的功能,体现了系统整体的智能化、自愈性及可控性。
3、采集的横向维度数据采用BP神经网络算法来训练,充分体现了算法的非线性处理能力,采用梯度下降法不断的调节各层的权值,减小因权值带来的偏差,提升横向数据预测的精准度。
4、采集纵向维度数据采用FARIMA和Elman算法相结合的算法,弥补了FARIMA线性算法的不稳定性,提高了纵向数据预测的精准度。
5、多维预测算法通过结合纵横数据的特点,充分发挥线性流量预测算法和神经算法的优势,解决了转折点延迟的问题,同时提高了预测算法的精度;采用单指数平滑算法更新多维预测算法输出的权值,降低了误差的波动维度。本发明所述方法同时兼顾了采集的横向和纵向维度的数据特点并在纵向数据预测方面考虑了不同预测模型的优缺性,通过优势互补的方式弥补算法的非稳定性和非线性,解决了以往单一算法中转折点处存在预测延迟的问题,能够提高当天趋势区段的预测精度。
附图说明
图1是本发明所述方法的电网流量数据采集实施方案图;
图2是本发明所述方法的多维流量预测模型架构图;
图3是本发明所述方法的多维流量预测模型算法流程图;
图4是本发明所述方法的测试仿真结果图;
图5是本发明所述系统的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
本发明所述方法包括以下步骤:
步骤1、网络流量采集:
网络流量采集针对计算机网络数据流的特性和变化情况进行监测和分析,根据网络流量来源的不同,将网络流量分为网络节点端口流量、端到端的IP流量以及用户业务数据流量。将采集工具嵌入到路由器、交换机的网络传输设备上,实时采集SDH(SynchronousDigital Hierarchy,同步数字体系)、OTN(光传送网,OpticalTransportNetwork)及EPON(Ethernet Passive Optical Network,以太网无源光网络)的设备的出口数据传输流量。利用路由器自带的Netflow功能进行网络流量监测,并在SG-TMS(国家电网通信管理系统)电力通信网管系统上对流量数据进行统计。
在电力通信网架构中,骨干网采用SDH和OTN设备,接入网采用EOPN设备,本发明引入云服务的技术进行数据采集管理,通过引入云服务和SDN(软件定义网络,SoftwareDefined Network)技术,利用计算机集群的整体资源对网络流量进行测量,缓解单一测量节点的采集压力以处理超大规模网络数据。SDN技术的核心是SDN控制器,能够加载在OTN、SDH的光通信网络上。SDN控制器包含了原有控制器路径计算的功能,增加了多域协同和将网络虚拟化的能力从而形成统一网络流量管理和统一调度。
步骤1.1、基于云服务和SDN调控手段的网络流量采集:
如图1、2、3所示,基于云服务和SDN调控手段的网络流量采集方法的模型架构分为四层,自底层向上分为物理层、虚拟层、控制层和应用层,接口层作为应用层中的一个子模块,包含在应用层的下部,其中物理层、虚拟层以IaaS(Infrastructure as a Service,作为一个应用的基础设施)向控制层提供服务封装,物理层、虚拟层、控制层以PaaS(Platformas a Service,作为一个应用的平台)向接口层提供服务封装;物理层、虚拟层、控制层、接口层则共同以SaaS(Software as a Service,作为一个应用软件)向应用层提供应用封装,应用层与接口层交互能够获取所请求的测量分析应用。其中控制层将为物理层、虚拟层提供数据编排、数据调配、数据共享的功能,SDN控制器将为应用层提供数据处理、执行决策的现场依据并共用同一架构以实现流量采集、预测功能目标。
物理层由底层电力通信网传输设备、网络设备组成,传输设备指SDH、OTN、EPON,网络设备是路由器、交换机,在网络设备上设置探针的测量节点对不同传输网的出口流量进行实时监控,并将采集的数据通过传输网上传,完成数据转发,保证上层网络通信,并设置存储服务器机群对采集数据进行暂存,存储服务器机群分布式放置于各网络节点且其作用是完成网络测量和数据存储的工作,测量节点上设置测量工具和被动测量工具并用于测量工作同时也与存储节点一起在虚拟层被虚拟为一整个虚拟资源池。
虚拟层是一个逻辑虚拟层,由SDN虚拟化技术实现,用于实现资源虚拟化和测量环境部署的功能,形成底层数据采集的数据虚拟资源池。
控制层是SDN技术的核心,SDN控制器包含了原有控制器路径计算的全部功能,并且增加了多域协同和将网络虚拟化的能力。通过统一的SDN控制器能够对传统的各个封闭式的网络形成统一管理和网络资源的统一调度。SDN控制器能够加载在OTN、SDH的光通信网络上层设置SDN控制器以及流量均衡器。流量均衡器采用分层管理为不同区域网络分配局部流量的均衡器,再由全局流量均衡器协调全网均衡器,并实现不同流量均衡器之间的信息交互。SDN控制器支持交换、路由、安全接入、流量均衡和流量隔离的功能。SDN控制器通过开放的北向接口与上层应用层相连,通过南向接口能够获得资源池能源信息以及用户的需求信息,定期收集用户发送的需求信息以及状态信息,采集时间间隔能够随机配置,通过南向接口下发配置信息。
接口层作为应用层中的一个子模块,包含在应用层的下部。通过Web2.0、Flex(一个高效、免费的开源框架)的程序语言实现与应用的交互界面以实现应用层与控制层的交互,完成对物理层资源的调用,应用层利用SG-TMS网管系统获取流量数据并安装数据抓取软件与现场采集模块互联互通,调用采集数据,通过接口层与底层的交互完成流量采集测量服务。
骨干网A平面采用SDH设备,在SG-TMS(电力通信管理系统)电力通信网管系统上安装Wireshark(一种网络封包分析软件)采集软件,对流量数据进行实时采集。骨干网B平面采用OTN设备,接入网采用EOPN设备,利用路由器自带的Netflow功能进行网络流量监测。
步骤1.2、横向和纵向数据的提取;
横向和纵向历史数据中,定义采样间隔为Δt小时,定义日周期为ΔT小时,定义S(t,d)为第d天的第t采样时刻的采样值,其中d=1,2,...,m,m为历史数据的总天数,在同一日期下,等周期不同时刻的流量数据为横向维度,采样间隔Δt的横向流量数据,横向数据源序列用x表示为:
x={S'(d)|d=1,2,...,n},令x={xi|i=1,2,...,Lx}为横向数据序列,其中为横向训练序列数据长度。
纵向历史数据提取是在不同日期下同一时刻的数据流量的纵向维度,表示为下式:
yt={S(t,d)|d=1,2,...,Ly;Ly≤m}令yt={y(t,i)|i=1,2,...Ly}为纵向时间序列,其中Ly为纵向序列的长度。
横向维度体现了预测当天流量的上升和下降趋势,纵向维度反映了一天中转折点的位置,利用流量的日周期性提高二维预测算法在转折点处的预测精度。
步骤2、多维流量预测:
对电力通信业务流量特性进行分析,网络流量存在突发性、长相关性、自相似性、多分形、周期性的特点,网络流量突发性是指网络业务流量突然出现的不正常的重大变化。网络流量的长相关特性是与泊松的短相关过程相对的,反映的是自相似过程中的持续现象,意味着未来的统计信息蕴含在过去和现在的信息中,并且是能够预测的。
常用的网络流量模型包括:Poisson过程模型、Markov/semi-Markov模型、ARIMA/FARIMA模型、重尾分布的ON/OFF模型、离散小波模型及神经网络模型。电力通信网络流量存在日周期性,每天的流量曲线会在某些时间段流量大,有些时间段流量小。这样,在一天中流量曲线会存在一些转折点,比如波峰和波谷还有一些局部的峰值出现,这些转折点出现的位置,每天相同,同时,一天的流量也存在着当天独特的趋势,在某些时段明显不同于历史数据。本发明所述方法解决了以往算法中转折点处存在预测延迟的问题同时能够提高当天趋势区段的预测精度。
步骤2.1、横向流量数据预测:
横向流量数据定义为在同一日期下,等周期不同时刻的流量数据为横向维度,采用BP神经网络算法来预测,对横向维度进行预测称为横向预测。
本发明所述方法选择BP神经网络算法对横向维度数据进行训练、预测,BP神经网络能够使用任何可微分的函数作为它的传递函数,常用的传递函数有S型函数、正切S型函数和线性函数。采用不同的传递函数将达到不同的输出值。对于网络流量的预测,由于网络流量数字序列具有多步相关性,即当前采样流量与过去若干个采样周期存在关联性。定义p(p≥1)步相关、提前l(l≥1)步预测的流量模型为:
xk+1=f(xk,xk-1,...xk-p+1)
第k+l个采用间隔的流量与它之前的p个流量存在映射f,f是非线性函数,用了三层BP神经网络预测结构,即输入层、输出层、隐含层。输入层以采集的数据为准,输入层有L个神经元,接受L个流量差值作为输入,L表示相关步数,隐含n个神经元,输出层有1个神经元,输出即第k+l个流量差值的预测k+l个流量差值的预测 表示从第m-1层的神经元j到第m各层神经元i的联结权重。由于神经网络各层的初始连接权值是任意的,先对神经网络进行训练,BP神经网络通过训练将样本的真实输出之间的误差反向传播到各层的神经元,采用梯度下降法不断的调节各层的权值,减小因权值带来的偏差,使训练样本真实输出与神经网络输出的误差在设定的范围内。
步骤2.2、纵向历史数据预测:
纵向历史数据定义为不同日期下同一时刻的数据流量为纵向维度,采用线性FARIMA数学模型预测,对纵向维度进行预测称为纵向预测。Elman神经网络是一种典型的局部递归网络并适合于时间序列的处理。线性FARIMA数学模型是一种渐近二阶自相似过程,既能够有效地描述样本流量的长相关特性,同时也能表示网络的短相关特性。采用FARIMA算作为纵向预测算法。
Elman神经网络由输入层、隐含层,连接层和输出层组成,是在BP神经网络基础上增加了一个内部反馈环节,内部反馈环节是通过结构单元的延迟,存储和自联到隐含层的输入端,用于记忆隐含层的过去态,并在下一时刻连同网络输入一起作为隐含层单元的输入,使得Elman神经网络具有动态记忆功能。设Elman神经网络的外部输入为u(k),输出为y(k),k为迭代次序,w为n维的神经网络连接权系数,则对于Elman神经网络有以下下式成立。
x(k)=f(w1xc(k)+w2u(k-1)
xc(k)=x(k-1)
y(k)=g(w3x(k))
其中w1,w2,w3分别为结构单元到隐含层、输入层到隐含层以及隐含层到输出层的连接权矩阵,f(w1xc(k)+w2u(k-1),g(w3x(k))分别为输出层单元和隐含层单元的激发函数组成的非线性向量函数。
步骤3、单指数平滑算法引入动态权值更新策略:
从现有的SG-TMS电力通信网管系统采集的历史数据分为横向和纵向两个维度;然后分别针对两个维度的特性选择算法进行预测。用单指数平滑算法引入动态权值更新策略。
用横向预测算法和纵向预测算分别计算横向和纵向维度在t+T时刻的预测值,并通过权值w求和得到最终预测输出。用单指数平滑算法更新权值w。
从图4中能看出,本发明所述方法比单维度预测方法更接近实际流量情况。
本发明所述系统的结构图如图5所示:本发明所述系统包括:应用层设备及接口模块、SDN控制器、SDN协调器、SDN设备、OTN设备、EOPN设备。应用层设备及接口模块与SDN控制器连接,SDN控制器与SDN协调器连接;SDN设备与SDN控制器连接,SDN设备、OTN设备、EOPN设备依次连接。
本发明所述系统的架构分为三层,自底层向上分为物理层、虚拟控制层和应用层。其中物理层以IaaS(Infrastructure as a Service,作为应用基础设施)向虚拟控制层提供服务封装,物理层、虚拟控制层以PaaS(Platformas a Service,作为应用平台)向应用层提供服务封装。
本发明所述系统实现了底层设备采集过程的虚拟化、资源池化,使用SDN控制器调度采集的数据信息并对网络出现的拥塞及未来流量进行估计预测。采集工具嵌入到网络传输设备上,实时采集SDH(Synchronous Digital Hierarchy,同步数字体系)设备、OTN(光传送网,OpticalTransportNetwork)设备及EPON(Ethernet Passive Optical Network,以太网无源光网络)设备的出口数据传输流量。
本发明所述系统利用路由器自带的Netflow功能进行网络流量监测并在SG-TMS(国家电网通信管理系统)电力通信网管系统上对流量数据进行统计分析。
物理层由传输设备、网络设备组成,传输设备包括SDH设备、OTN设备、EPON设备,网络设备包括路由器、交换机。存储服务器集群分布式放置于各网络节点,存储服务器集群作用是完成网络测量和数据存储的工作。
SDN控制器能够加载在OTN、SDH的光通信网络上层设置SDN控制器以及SDN协调器。SDN控制器能调控均衡器,SDN控制器支持交换、路由、安全接入、流量均衡和流量隔离的功能。SDN协调器与虚拟层协调器相连以获取虚拟层的资源编号及数据状态。SDN控制器通过开放的北向接口与上层应用层相连,通过南向接口获得资源池能源信息以及用户的需求信息并收集用户发送的需求信息以及状态信息,通过南向接口下发配置信息。
应用层设备及接口模块搭建在控制中心的服务器上,用于实现应用层与控制层的交互,完成对物理层资源的调用,应用层利用SG-TMS网管系统获取流量统计数据,与现场采集模块互通,通过接口层与底层的交互完成流量采集测量服务。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明公开的范围内,能够轻易想到的变化或替换,都应涵盖在本发明权利要求的保护范围内。
Claims (6)
1.一种多维电力通信网流量预测方法,其特征在于,包括以下步骤:
步骤1、网络流量采集:
网络流量采集针对计算机网络数据流的特性和变化情况进行监测和分析,根据网络流量来源的不同将网络流量分为网络节点端口流量、端到端的IP流量以及用户业务数据流量,流量采集将采集工具嵌入到路由器和交换机的网络传输设备上,实时采集SDH、OTN及EPON的设备的出口数据传输流量,利用路由器自带的Netflow功能进行网络流量监测:
步骤1.1、基于云服务和SDN调控手段的网络流量采集;
基于云服务和SDN调控手段的网络流量采集方法的模型架构分为四层,自底向上分为物理层、虚拟层、控制层和应用层,接口层作为应用层中的一个子模块,包含在应用层的下部,应用层与接口层交互就能够获取所请求的测量分析服务;
步骤1.2、横向和纵向数据的提取;
横向和纵向历史数据中,定义采样间隔为Δt小时,定义日周期为ΔT小时;定义S(t,d)为第d天的第t采样时刻的采样值,其中d=1,2,...,m,m为历史数据的总天数;在同一日期下,等周期不同时刻的流量数据为横向维度,采样间隔Δt的横向流量数据,横向数据源序列用x表示为:
x={S′(d)|d=1,2,...,n},令x={xi|i=1,2,...,Lx}为横向数据序列,其中为横向训练序列数据长度;
纵向历史数据提取是在不同日期下同一时刻的数据流量的纵向维度,表示为下式:
yt={S(t,d)|d=1,2,...,Ly;Ly≤m}令yt={y(t,i)|i=1,2,...Ly}为纵向时间序列,其中Ly为纵向序列的长度
步骤2、多维流量预测;对电力通信业务流量特性进行分析,具体包括以下步骤:
步骤2.1、横向流量数据预测;
BP神经网络能够使用任何可微分的函数作为它的传递函数;采用不同的传递函数将达到不同的输出值;对于网络流量的预测,由于BP神经网络各层的初始连接权值是任意的,先对BP神经网络进行训练,BP神经网络通过训练将样本的真实输出之间的误差反向传播到各层的神经元,采用梯度下降法不断的调节各层的权值,减小因权值带来的偏差,使训练样本真实输出与神经网络输出的误差在设定的范围内或者达到最大训练次数;
步骤2.2、纵向历史数据预测:
纵向历史数据定义为不同日期下同一时刻的数据流量为纵向维度,采用线性FARIMA模型预测;Elman神经网络由输入层、隐含层,连接层和输出层组成,是在BP网络基础上增加了一个内部反馈环节,内部反馈环节是通过结构单元的延迟,存储和自联到隐含层的输入端,用于记忆隐含层的过去态,并在下一时刻连同网络输入一起作为隐含层单元的输入,使得网络具有动态记忆功能;设网络的外部输入为u(k),输出为y(k),k为迭代次序,w为n维的神经网络连接权系数;则对于Elman神经网络有下式成立:
x(k)=(w1xc(k))+w2u(k-1))
xc(k))=x(k-1)
y(k))=g(w3x(k))
其中w1,w2,w3分别为结构单元到隐含层、输入层到隐含层以及隐含层到输出层的连接权矩阵,f(w1xc(k)+w2u(k-1))、g(w3x(k))分别为输出层单元和隐含层单元的激发函数组成的非线性向量函数;
步骤3、单指数平滑算法引入动态权值更新策略:
从现有的SG-TMS电力通信网管系统采集的历史数据分为横向和纵向两个维度;然后分别针对两个维度的特性选择算法进行预测,用单指数平滑算法引入动态权值更新策略,用横向预测算法和纵向预测算分别计算横向和纵向维度在t+T时刻的预测值,并通过权值w求和得到最终预测输出,用单指数平滑算法更新权值w。
2.根据权利要求1所述的一种多维电力通信网流量预测方法,其特征在于,所述步骤2中,多分形即网络流量分布不均匀,在不同的时间尺度下的流量表现为差异性的流量特点因此一个维数无法描述其全部特征,需要采用多重分形测度或维数来表示。
3.根据权利要求2所述的一种多维电力通信网流量预测方法,其特征在于,所述步骤1.1中,应用层利用SG-TMS网管系统获取流量数据并安装数据抓取软件与现场采集模块互联互通,调用采集数据,通过接口层与底层的交互完成流量采集测量服务。
4.一种应用权利要求1至3之一所述多维电力通信网流量预测方法的多维电力通信网流量预测系统,其特征在于,包括:应用层设备及接口模块、SDN控制器、SDN协调器、SDN设备、OTN设备、EOPN设备,应用层设备及接口模块与SDN控制器连接,SDN控制器与SDN协调器连接;SDN设备与SDN控制器连接,SDN设备、OTN设备、EOPN设备依次连接。
5.根据权利要求4所述的一种多维电力通信网流量预测系统,其特征在于,所述SDN控制器能够加载在OTN、SDH的光通信网络上层并设置SDN控制器以及SDN协调器。
6.根据权利要求4所述的一种多维电力通信网流量预测系统,其特征在于,所述SDN控制器通过开放的北向接口与上层应用层相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810101494.0A CN108199928B (zh) | 2018-02-01 | 2018-02-01 | 一种多维电力通信网流量预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810101494.0A CN108199928B (zh) | 2018-02-01 | 2018-02-01 | 一种多维电力通信网流量预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108199928A CN108199928A (zh) | 2018-06-22 |
CN108199928B true CN108199928B (zh) | 2023-09-26 |
Family
ID=62591722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810101494.0A Active CN108199928B (zh) | 2018-02-01 | 2018-02-01 | 一种多维电力通信网流量预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108199928B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345028B (zh) * | 2018-10-25 | 2021-07-13 | 国家电网有限公司 | 基于态势感知的电网数据处理方法和装置 |
CN109360625B (zh) * | 2018-11-12 | 2021-11-23 | 四川骏逸富顿科技有限公司 | 用于互联网中短期用药咨询业务量的预测系统及预测方法 |
CN111294227A (zh) * | 2018-12-10 | 2020-06-16 | 中国移动通信集团四川有限公司 | 基于神经网络的流量预测的方法、装置、设备和介质 |
CN109889366B (zh) * | 2019-01-04 | 2020-06-16 | 烽火通信科技股份有限公司 | 网络流量增量统计、分析方法及系统 |
CN110011759B (zh) * | 2019-03-15 | 2022-04-15 | 烽火通信科技股份有限公司 | Otn传输网中星座图的数据传输方法及系统 |
CN109902886A (zh) * | 2019-04-10 | 2019-06-18 | 广东电网有限责任公司 | 一种二维配电通信网网络流量预测方法 |
CN110545199B (zh) * | 2019-07-24 | 2022-05-24 | 浪潮思科网络科技有限公司 | 一种基于Netflow的SDN网络流量统计装置及方法 |
CN110838941A (zh) * | 2019-11-01 | 2020-02-25 | 国家电网有限公司 | 一种电力通信网立体式网络承载结构描述方法 |
CN110909991A (zh) * | 2019-11-08 | 2020-03-24 | 国网辽宁省电力有限公司电力科学研究院 | 一种面向光缆纤芯远程智能调度业务的快速估计装置及方法 |
CN111224956A (zh) * | 2019-12-26 | 2020-06-02 | 北京安码科技有限公司 | 云计算环境中的横向渗透检测方法、装置、设备及存储介质 |
CN112087339A (zh) * | 2020-09-16 | 2020-12-15 | 江苏省未来网络创新研究院 | 一种基于sdn的新型网络预测算法 |
CN112702223A (zh) * | 2020-12-04 | 2021-04-23 | 迪爱斯信息技术股份有限公司 | 一种网络带宽利用率的测量方法及装置、系统 |
CN112906960A (zh) * | 2021-02-04 | 2021-06-04 | 广西智汇佳人力资源有限公司 | 一种非契约客户流失预测方法及系统 |
CN113453096B (zh) * | 2021-06-04 | 2022-12-13 | 中国联合网络通信集团有限公司 | 一种无源光网络pon口流量的预测方法及装置 |
CN113726599A (zh) * | 2021-08-20 | 2021-11-30 | 国网山东省电力公司无棣县供电公司 | 一种电力通讯网络状态评估系统及方法 |
CN114285773B (zh) * | 2021-11-19 | 2023-11-10 | 中国联合网络通信集团有限公司 | 流量采样方法、装置、设备及可读存储介质 |
CN115865762A (zh) * | 2023-03-03 | 2023-03-28 | 上海人工智能网络系统工程技术研究中心有限公司 | 基于sdn架构的空间信息网络流量预测方法及调度系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103051565A (zh) * | 2013-01-04 | 2013-04-17 | 中兴通讯股份有限公司 | 一种等级软件定义网络控制器的架构系统及实现方法 |
CN104243196A (zh) * | 2013-06-21 | 2014-12-24 | 中兴通讯股份有限公司 | 一种sdn架构下的虚拟网络映射保护方法及系统 |
CN104951836A (zh) * | 2014-03-25 | 2015-09-30 | 上海市玻森数据科技有限公司 | 基于神经网络技术的发帖预测系统 |
CN104993966A (zh) * | 2015-07-15 | 2015-10-21 | 国家电网公司 | 一种电力综合业务网流量预测方法 |
CN105095962A (zh) * | 2015-07-27 | 2015-11-25 | 中国汽车工程研究院股份有限公司 | 一种基于bp人工神经网络的材料动态力学性能预测方法 |
CN106651020A (zh) * | 2016-12-16 | 2017-05-10 | 燕山大学 | 一种基于大数据简约的短期电力负荷预测方法 |
-
2018
- 2018-02-01 CN CN201810101494.0A patent/CN108199928B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103051565A (zh) * | 2013-01-04 | 2013-04-17 | 中兴通讯股份有限公司 | 一种等级软件定义网络控制器的架构系统及实现方法 |
CN104243196A (zh) * | 2013-06-21 | 2014-12-24 | 中兴通讯股份有限公司 | 一种sdn架构下的虚拟网络映射保护方法及系统 |
CN104951836A (zh) * | 2014-03-25 | 2015-09-30 | 上海市玻森数据科技有限公司 | 基于神经网络技术的发帖预测系统 |
CN104993966A (zh) * | 2015-07-15 | 2015-10-21 | 国家电网公司 | 一种电力综合业务网流量预测方法 |
CN105095962A (zh) * | 2015-07-27 | 2015-11-25 | 中国汽车工程研究院股份有限公司 | 一种基于bp人工神经网络的材料动态力学性能预测方法 |
CN106651020A (zh) * | 2016-12-16 | 2017-05-10 | 燕山大学 | 一种基于大数据简约的短期电力负荷预测方法 |
Non-Patent Citations (1)
Title |
---|
SDN技术在电力光通信网络中的应用研究;郭云飞;刘世栋;王瑶;;微型机与应用(第23期);第68-71页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108199928A (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108199928B (zh) | 一种多维电力通信网流量预测方法及系统 | |
Venticinque et al. | A methodology for deployment of IoT application in fog | |
Qi et al. | A prediction approach to end-to-end traffic in space information networks | |
Wang et al. | A new traffic prediction algorithm to software defined networking | |
US11050656B2 (en) | System and method to learn and prescribe network path for SDN | |
CN105205231B (zh) | 一种基于dcom的配电网数字仿真系统 | |
CN110990159A (zh) | 一种基于历史数据分析的容器云平台资源配额预测方法 | |
Nichiforov et al. | Deep learning techniques for load forecasting in large commercial buildings | |
CN112600717A (zh) | 基于sdn的卫星网络管控协议半实物试验装置 | |
Zeb et al. | Edge intelligence in softwarized 6G: Deep learning-enabled network traffic predictions | |
CN101834753B (zh) | 一种基于共变正交和神经网络的网络流量预测方法 | |
CN118368316B (zh) | 一种基于边缘计算的远程电表数据采集方法及系统 | |
Valkanis et al. | Reinforcement learning in traffic prediction of core optical networks using learning automata | |
Sivakumar et al. | Prediction of traffic load in wireless network using time series model | |
Liu et al. | A SDN-based intelligent prediction approach to power traffic identification and monitoring for smart network access | |
Costa et al. | Intelligent resource sharing to enable quality of service for network clients: the trade-off between accuracy and complexity | |
Min et al. | A Novel 5G Digital Twin Approach for Traffic Prediction and Elastic Network Slice Management | |
CN113452559B (zh) | 基于深度学习的网络资源分配方法、系统及介质 | |
Hattori et al. | Recursive Router Metrics Prediction Using ML-based Node Modeling for Network Digital Replica | |
Nougnanke | Towards ML-based management of software-defined networks | |
Horng et al. | Integrating ant colony system and ordinal optimization for solving stochastic job shop scheduling problem | |
Das et al. | Energy-efficient mapping of LTE-A PHY signal processing tasks on microservers | |
Heimerson et al. | Automatic differentiation over fluid models for holistic load balancing | |
Jin et al. | VTB-RTRRP: Variable threshold based response time reliability real-time prediction | |
Lin et al. | Double-machine-learning-based resource scheduling method for offloading transfers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |