CN108471353A - 一种基于深度神经网络算法的网元容量分析与预测的方法 - Google Patents

一种基于深度神经网络算法的网元容量分析与预测的方法 Download PDF

Info

Publication number
CN108471353A
CN108471353A CN201810059853.0A CN201810059853A CN108471353A CN 108471353 A CN108471353 A CN 108471353A CN 201810059853 A CN201810059853 A CN 201810059853A CN 108471353 A CN108471353 A CN 108471353A
Authority
CN
China
Prior art keywords
neural network
deep neural
capacity
network algorithm
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810059853.0A
Other languages
English (en)
Other versions
CN108471353B (zh
Inventor
陈晓莉
黄勇
陈磊
张雄江
徐菁
丁帆
丁一帆
林建洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Ponshine Information Technology Co Ltd
Original Assignee
Zhejiang Ponshine Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Ponshine Information Technology Co Ltd filed Critical Zhejiang Ponshine Information Technology Co Ltd
Priority to CN201810059853.0A priority Critical patent/CN108471353B/zh
Publication of CN108471353A publication Critical patent/CN108471353A/zh
Application granted granted Critical
Publication of CN108471353B publication Critical patent/CN108471353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度神经网络算法的网元容量分析与预测的方法。本发明基于深度神经网络算法的网元容量分析与预测的方法具体步骤包括：S1、获取电信网元容量的输入与输出数据，组成样本数据；S2、利用深度神经网络算法训练样本数据得到深度神经网络模型；S3、输入网元容量规划数据、参数，通过深度神经网络模型预测网元容量的资源分配指标。本发明基于深度神经网络算法的网元容量分析与预测的方法，能够预测和规划网元容量的分配指标，合理利用系统的各项资源。

Description

一种基于深度神经网络算法的网元容量分析与预测的方法
技术领域
本发明属于网元容量指标预测领域，尤其涉及一种基于深度神经网络算法的网元容量分析与预测的方法。
背景技术
为了满足每种软件的功能不断丰富的需求，服务提供商通过不断扩大基础设施来简单升级数据中心。随着需求的波动，可用的云资源总是不能被充分利用。当容量被高估时，额外准备好但未被利用的物质资源纯粹被浪费，且未使用的物质资源不仅造成能源浪费，还会导致更多的购买成本。
此外，高估容量将带来额外的相关成本，如网络，人力和维护，所有这些都与基础设施的规模成正比。另一方面，低估云容量会造成资源短缺和收入损失。
对于云平台来说，硬件资源需要较长时间的采集和部署过程，如果实际需求高于现有容量，云端就不得不推迟服务新客户，从而失去潜在的收入，因此一旦资源出现短缺严重将造成现有客户的现有服务也受到巨大影响。
现有技术中，虚拟化虽然可以最大化地提高服务器各资源的使用率，但无监控和无规划的增加物理机的工作负荷最终会导致虚拟化项目的失败。虚拟化的另一个优势是资源添减的便利性，但如果管理员无计划无节制地进行空间分配会导致物理磁盘产生大量的磁盘碎片。而另一方面，如果容量管理没有分配合理或者根本就没有分配，供需就会失衡，导致资源浪费或者资源不够用，无论是购买的时间太早还是数量过多，都将带来昂贵的代价，资源短缺会直接影响到公司的业务运行并且给用户带来较差的体验。
鉴于上述现技术中存在的不能充分规划利用容量资源的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种能够对网元容量分析与预测的方法，能够改进一般现有的对虚拟化服务器资源的方法，使其更具有实用性。经过不断的研究、设计，并经过反复试作样品及改进后，终于创设出确具实用价值的本发明。
发明内容
针对现有技术存在的上述缺陷，本发明提供了一种基于深度神经网络算法的网元容量分析与预测的方法，本发明基于深度神经网络算法来分析和预测网元容量，从而合理规划网元容量的分配，改进现有技术中各项资源不能被合理分配使用，导致资源浪费或资源不够用的缺陷，且合理、科学的容量规划可以使企业有效避免成本浪费、资源不稳定等问题的发生，因此，采用深度神经网络算法，自动预测和规划网元容量，使资源的利用率达到最高是本发明的目的所在。
为达到上述技术目的，本发明采取如下技术方案：
一种基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，
S1、获取电信网元容量的输入与输出数据，组成样本数据；
S2、利用深度神经网络算法训练样本数据得到深度神经网络模型；
S3、输入网元容量的性能数据，通过深度神经网络模型预测网元容量的资源分配指标。
作为本发明的优选，步骤S1与步骤S2之间包括：归一化处理样本数据，通过转换函数使样本数据的取值范围为(0,1)。
作为本发明的优选，步骤S2还包括：利用梯度下降的方法更新训练样本的权重矩阵，通过迭代法直到指标的输出误差小于预设误差阈值。
作为本发明的优选，权重的调整幅度为ΔWij(t)＝η·εi(t)xi(t、ΔVj(t)＝η·εi(t)hj(t)，调整后的权重为ΔVj(t)＝η·εi(t)hj(t)、Vj(t+1)＝αVj(t)+ΔVj(t)。
作为本发明的优选，所述输出误差的计算方法为：所述样本数据中的目标输出值与实际输出值的差。
作为本发明的优选，通过成本函数的最小化实现深度神经网络模型的实际输出趋于所述目标输出值。
作为本发明的优选，步骤S2中深度神经网络算法训练样本数据的过程包括：输入层至输出层由输入层逐层计算各层神经元的输入与输出；由输出层逐层计算各层神经元的输出误差，以及根据误差梯度下降原则调节各层的连接权值与节点误差阈值。
作为本发明的优选，步骤S3还包括通过激活函数relu分类输出网元容量的每项指标。
本发明提供的技术方案可以包括以下有益效果：
使用深度神经网络算法构建深度神经网络模型，通过深度神经网络模型预测和规划网元容量的分配指标，能够将当前的性能数据作为模型输入，预测未来所需要的配置数据，合理利用各项资源。
附图说明
图1为本发明实施例1基于深度神经网络算法的网元容量分析与预测的方法的流程示意图；
图2为本发明DNN模型基本结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1、图2所示，本实施例提供了一种基于深度神经网络算法的网元容量分析与预测的方法，整体操作过程如下：
S1、获取已知电信网元容量的输入与输出，组成样本数据；
首先，确定网元容量规划的输入与输出，输入即为业务指标以及各项性能数据，输出为各项配置数据；通过历史的、已知的、合理的输入与输出电信网元数据得到历史数据。在模型构建时，首先需要采集历史的输入(Xi)和输出(Yi)指标的相关数据作为样本数据，具体指标选择视实际数据情况而定。
例如：输入指标为业务指标、，以及CPU、内存、进程、文件系统、磁盘、SWAP、网卡、日志文件等性能数据，如表1所示，表1为容量规划业务指标体系(输入)，包括但不限于以下指标：
如表2所示，表2为容量规划性能指标体系(输入)，包括但不限于以下指标：
输出指标包括需要预测的网络资源、数据中心资源等配置数据，如表3所示，表3为容量规划配置指标体系(输出)，包括但不限于以下指标：
S2、利用深度神经网络算法训练样本数据得到深度神经网络模型；
在训练数据样本之间须归一化处理样本数据，通过转换函数使样本数据的取值范围在0-1之间。
利用梯度下降的方法更新原有的权重矩阵，通过不断迭代，直到误差小于预设的误差阈值，最终得到深度神经网络模型；
S3、输入网元容量的性能数据，通过深度神经网络模型预测网元容量的资源分配指标，并进行输出。
DNN模型(深度神经网络模型)的基本结构包括输入层100，若干隐藏层200和输出层300，如图2所示。
深度神经网络模型在输出层采用激活函数relu进行分类，对容量指标进行输出。激活函数f(x)公式如下：f(x)＝max(0,x)
深度神经网络(DNN)算法的过程可以分为两个阶段：第一阶段是由输入层开始逐层计算各层神经元的输入和输出，直到输出层为止。第二阶段是由输出层开始逐层计算各层神经元的输出误差，并根据误差梯度下降原则来调节各层的连接权值和节点阈值，使修改后的网络的最终输出能接近期望值。如果一次训练以后还达不到精度要求，可以重复训练，直到满足训练精度为止。
网络权值调节机制：设输入向量X＝(x1，x2，…，xm)T，即为上述表中的各项输入数据——性能指标与业务指标，隐含层输出向量h＝(h1，h2，…，hL)T，y为网络的实际输出，即为配置指标。输入层节点i到隐含层节点j的权值为Wij，隐含层节点到输出层节点的权值为Vj，θj与分别表示隐含层和输出层的阈值。则
其中f(x)为激活函数，这里激活函数选定为relu函数，即f(x)＝max(0,x)，f(x)函数将变量映射为一个连续值。
详细介绍计算网络实际输出与理想输出的误差如下：
在t时刻，将网络的实际输出yi(t)与样本给出的目标输出di(t)进行比较，输出产生的误差εi(t)定义如下：
εi(t)＝di(t)-yi(t)
所产生的误差信号驱动了对学习算法的控制，其目的是对神经元的输入权重进行一系列校准调节，校准调整的目的是通过一步步的迭代，使输出信号yi(t)越来越接近目标输出di(t)，该目标可以通过成本函数E(t)最小化来实现。
作为本实施例的优选方案，利用梯度下降的方法更新训练样本的权重矩阵，计算网络权值的调整量如下：
权重的调整幅度为
ΔWij(t)＝η·εi(t)xi(t)
ΔVj(t)＝η·εi(t)hj(t)
其中η是一个数值为正的常量，代表学习率。
调整后的权重为
Wij(t+1)＝αWij(t)+ΔWij(t)
Vj(t+1)＝αVj(t)+ΔVj(t)
α为冲量项，ΔWij(t)为由输入层到隐含层的权值调整幅度，ΔVj(t)为由隐含层到输出层的权值调整幅度。
综上所述，本实施例能够通过历史合理的数据作为样本，训练出深度神经网络模型，将当前系统的性能数据作为度神经网络模型的输入，预测和规划未来所需要的配置数据。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，
S1、获取电信网元容量的输入与输出数据，组成样本数据；
S2、利用深度神经网络算法训练样本数据得到深度神经网络模型；
S3、输入网元容量的性能数据，通过深度神经网络模型预测网元容量的资源分配指标。
2.根据权利要求1所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，步骤S1与步骤S2之间包括：归一化处理样本数据，通过转换函数使样本数据的取值范围为(0,1)。
3.根据权利要求2所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，步骤S2还包括：利用梯度下降的方法更新训练样本的权重矩阵，通过迭代法直到指标的输出误差小于预设误差阈值。
4.根据权利要求3所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，权重的调整幅度为ΔWij(t)＝η·εi(t)xi(t)、ΔVj(t)＝η·εi(t)hj(t)，调整后的权重为ΔVj(t)＝η·εi(t)hj(t)、Vj(t+1)＝αVj(t)+ΔVj(t)。
5.根据权利要求3所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，所述输出误差的计算方法为：所述样本数据中的目标输出值与实际输出值之差。
6.根据权利要求5所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，通过成本函数的最小化实现深度神经网络模型的实际输出趋于所述目标输出值。
7.根据权利要求5所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，步骤S2中深度神经网络算法训练样本数据的过程包括：输入层至输出层由输入层逐层计算各层神经元的输入与输出；由输出层逐层计算各层神经元的输出误差，以及根据误差梯度下降原则调节各层的连接权值与节点误差阈值。
8.根据权利要求1所述的基于深度神经网络算法的网元容量分析与预测的方法，其特征在于，步骤S3还包括通过激活函数relu分类输出网元容量的每项指标。
CN201810059853.0A 2018-01-22 2018-01-22 一种基于深度神经网络算法的网元容量分析与预测的方法 Active CN108471353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810059853.0A CN108471353B (zh) 2018-01-22 2018-01-22 一种基于深度神经网络算法的网元容量分析与预测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810059853.0A CN108471353B (zh) 2018-01-22 2018-01-22 一种基于深度神经网络算法的网元容量分析与预测的方法

Publications (2)

Publication Number Publication Date
CN108471353A true CN108471353A (zh) 2018-08-31
CN108471353B CN108471353B (zh) 2021-03-30

Family

ID=63266037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810059853.0A Active CN108471353B (zh) 2018-01-22 2018-01-22 一种基于深度神经网络算法的网元容量分析与预测的方法

Country Status (1)

Country Link
CN (1) CN108471353B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391511A (zh) * 2018-09-10 2019-02-26 广西华南通信股份有限公司 一种基于可拓展训练网络的智能通信资源分配策略
CN109543891A (zh) * 2018-11-09 2019-03-29 深圳前海微众银行股份有限公司 容量预测模型的建立方法、设备及计算机可读存储介质
CN110839253A (zh) * 2019-11-08 2020-02-25 西北工业大学青岛研究院 一种确定无线网格网络流量的方法
CN112330003A (zh) * 2020-10-27 2021-02-05 电子科技大学 基于双向循环神经网络的周期型容量数据预测方法、系统及存储介质
CN112712239A (zh) * 2020-12-23 2021-04-27 青岛弯弓信息技术有限公司 一种基于工业互联网协同制造系统及控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394539A (zh) * 2014-08-12 2015-03-04 浪潮通信信息系统有限公司 一种可配置的网元容量评估方法
CN106529820A (zh) * 2016-11-21 2017-03-22 北京中电普华信息技术有限公司 一种运营指标的预测方法及系统
CN107037373A (zh) * 2017-05-03 2017-08-11 广西大学 基于神经网络的蓄电池剩余电量预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394539A (zh) * 2014-08-12 2015-03-04 浪潮通信信息系统有限公司 一种可配置的网元容量评估方法
CN106529820A (zh) * 2016-11-21 2017-03-22 北京中电普华信息技术有限公司 一种运营指标的预测方法及系统
CN107037373A (zh) * 2017-05-03 2017-08-11 广西大学 基于神经网络的蓄电池剩余电量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邱莉榕等: "《算法设计与优化》", 30 June 2017, 中央民族大学出版社 *
陈雯柏: "《人工神经网络原理与实践》", 31 January 2016, 西安电子科技大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391511A (zh) * 2018-09-10 2019-02-26 广西华南通信股份有限公司 一种基于可拓展训练网络的智能通信资源分配策略
CN109543891A (zh) * 2018-11-09 2019-03-29 深圳前海微众银行股份有限公司 容量预测模型的建立方法、设备及计算机可读存储介质
CN109543891B (zh) * 2018-11-09 2022-02-01 深圳前海微众银行股份有限公司 容量预测模型的建立方法、设备及计算机可读存储介质
CN110839253A (zh) * 2019-11-08 2020-02-25 西北工业大学青岛研究院 一种确定无线网格网络流量的方法
CN112330003A (zh) * 2020-10-27 2021-02-05 电子科技大学 基于双向循环神经网络的周期型容量数据预测方法、系统及存储介质
CN112712239A (zh) * 2020-12-23 2021-04-27 青岛弯弓信息技术有限公司 一种基于工业互联网协同制造系统及控制方法

Also Published As

Publication number Publication date
CN108471353B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN108471353A (zh) 一种基于深度神经网络算法的网元容量分析与预测的方法
Seghir et al. A hybrid approach using genetic and fruit fly optimization algorithms for QoS-aware cloud service composition
CN105631483B (zh) 一种短期用电负荷预测方法及装置
CN106874581A (zh) 一种基于bp神经网络模型的建筑空调能耗预测方法
CN109858758A (zh) 一种配电网电能质量的组合赋权评估方法及系统
Hadavandi et al. An improved sales forecasting approach by the integration of genetic fuzzy systems and data clustering: Case study of printed circuit board
CN109492774A (zh) 一种基于深度学习的云资源调度方法
CN110178280A (zh) 用于电网中受屏蔽的系统的分层隐式控制器
CN105786681B (zh) 数据中心的服务器性能评估及服务器更新方法
CN107944604A (zh) 一种用于光伏功率预测的天气类型识别方法和装置
CN107464025A (zh) 基于大数据的供应链需求预测与智能决策方法
CN108171379A (zh) 一种用电负荷预测方法
CN111178585A (zh) 基于多算法模型融合的故障接报量预测方法
CN107644297A (zh) 一种电机系统节能量计算和验证方法
CN108549907A (zh) 一种基于多源迁移学习的数据校验方法
Mohammad Nezhad et al. An artificial neural network meta-model for constrained simulation optimization
CN111415049A (zh) 一种基于神经网络及聚类的停电敏感性分析方法
Zhang et al. Scheduling electric power production at a wind farm
Prakash et al. Short-Term Load Forcasting for Smart Power Systems Using Swarm Intelligence Algorithm
CN108446771A (zh) 一种防止销售预测模型过拟合的方法
CN109886316B (zh) 基于云系相似度权重分配的变压器状态参量组合预测方法
Wasesa et al. Predicting electricity consumption in microgrid-based educational building using Google trends, Google mobility, and COVID-19 data in the context of COVID-19 pandemic
CN110717779A (zh) 一种电力交易系统、方法及其应用
CN109767037A (zh) 一种夏季日最大负荷的预测方法
CN108181503A (zh) 电力计量装置运维计划获取方法、装置、存储介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant