CN104954185B - 一种基于深度置信网的云计算负载预测方法 - Google Patents

一种基于深度置信网的云计算负载预测方法 Download PDF

Info

Publication number
CN104954185B
CN104954185B CN201510330961.3A CN201510330961A CN104954185B CN 104954185 B CN104954185 B CN 104954185B CN 201510330961 A CN201510330961 A CN 201510330961A CN 104954185 B CN104954185 B CN 104954185B
Authority
CN
China
Prior art keywords
cloud
prediction
data
depth confidence
confidence net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510330961.3A
Other languages
English (en)
Other versions
CN104954185A (zh
Inventor
张卫山
段鹏程
宫文娟
卢清华
李忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Mdt InfoTech Ltd
Original Assignee
Qingdao Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Mdt Infotech Ltd filed Critical Qingdao Mdt Infotech Ltd
Priority to CN201510330961.3A priority Critical patent/CN104954185B/zh
Publication of CN104954185A publication Critical patent/CN104954185A/zh
Application granted granted Critical
Publication of CN104954185B publication Critical patent/CN104954185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于深度置信网的云计算负载预测方法，包括以下步骤：步骤(1)，从云集群中提取并聚合负载观测值；步骤(2)，对步骤(1)的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性；步骤(3)，按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构；步骤(4)，使用前一步训练出的网络对云属性进行长短期预测；步骤(5)，将步骤(4)中的预测结果进行与步骤(2)相反的逆变换，得到原数据的预测值。本发明基于深度置信网的云负载预测方法，能够为云平台的资源调度提供可靠依据，具有预测误差小、适合长线预测等优点，达到云资源高效调度和使用。

Description

一种基于深度置信网的云计算负载预测方法
技术领域
本发明涉及云计算大数据计算、计算智能领域，特别涉及一种基于深度置信网的云计算负载预测方法。
背景技术
对云计算环境下的负载的预测是极为困难的。相对于网格计算和高性能计算而言，由于用户与云平台的交互和其上传得云任务类型在时间和空间上高度变化，使得云负载表现出高度的非线性性质，从而导致传统的线性或概率模型不能表现出其在应对网格和高性能系统时的良好效果。
作为深度神经网络的一员，深度置信网是由RBM(Restricted BoltzmannMachines)组成的多层神经网络。一个RBM能够获取数据的内在模式或特征，而由多个RBM叠成的深度置信网能够获取特征的特征，从而建立起高度的非线性预测模型。通过采用对比散度算法对RBM进行预训练并使用BP优化网络结构比直接使用BP优化算法能达到更好的实验效果。
最接近本发明的技术有：
1、D.Sheng提出一种基于Bayes模型的预测算法去预测谷歌云集群主机负载。然而获取Bayes模型的前验信息往往很困难，这使得此模型容易产生简单结果，从而降低预测精度。
2、S.Chen采用了分形建模技术去预测谷歌云任务的资源请求。然而，采用分形建模技术对数据建模的前提条件是数据具有自相似性。这样，一个好的预测结果就要求云属性具有自相似性，这也使得其应用范围受到限制。
发明内容
为解决现有技术的不足，本发明提出了一种基于深度置信网的云负载预测方法。
本发明的技术方案是这样实现的：
一种基于深度置信网的云计算负载预测方法，包括以下步骤：
步骤(1)，从云集群中提取并聚合负载观测值；
步骤(2)，对步骤(1)的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性；
步骤(3)，按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构；
步骤(4)，使用前一步训练出的网络对云属性进行长短期预测；
步骤(5)，将步骤(4)中的预测结果进行与步骤(2)相反的逆变换，得到原数据的预测值。
可选地，本发明的基于深度置信网的云计算负载预测方法，还包括步骤(6)，将预测结果与传统方法的预测结果进行评价，得出评价结果。
本发明的有益效果是：
(1)把深度置信网对非线性数据良好的拟合特性与高度变化的云属性相结合，预测误差小；
(2)适合长线预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度置信网的云计算负载预测方法的流程图；
图2为本发明一种基于深度置信网的云计算负载预测方法的网络拓扑图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为基于深度置信网的云负载预测方法的系统流程图，图2所示为其网络拓扑图。
本发明基于深度置信网的云负载预测方法，其预测过程包括6个步骤：预处理步骤，预分析步骤，训练步骤，预测步骤，后处理步骤，评价步骤。
下面结合图1与图2，对基于深度置信网的云负载预测方法的具体流程进行详细说明：
步骤(1)，预处理：从云集群中提取并聚合负载观测值。
步骤(2)，预分析：对前一步骤的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性。
步骤(3)，训练：按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构。
步骤(4)，预测：使用前一步训练出的网络对云负载进行长短期预测。
步骤(5)，将步骤(4)预测的结果进行与步骤(2)相反的逆变换，得到原数据的预测值。
进行完上述步骤之后，本发明基于深度置信网的云负载预测方法还可以包括步骤(6)，即评价步骤，将预测结果与传统方法的预测结果进行评价，得出评价结果。
本发明基于深度置信网的云负载预测方法，通过RMI协议从每个云节点中收集属性观测值，并送至属性处理中心；而且，实现了基于深度置信网的预测组件，通过提前训练历史数据对将来一段时间内的云负载进行估计。
本发明基于深度置信网的云负载预测方法，能够为云平台的资源调度提供可靠依据，具有预测误差小、适合长线预测等优点，在充分利用DBN对复杂非线性数据强建模能力的前提下，实时读取云负载观测值，计算未来某时间段最可能的资源消耗估计，达到云资源高效调度和使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度置信网的云计算负载预测方法，其特征在于，包括以下步骤：
步骤(1)，从云集群中提取并聚合负载观测值；
步骤(2)，对步骤(1)的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性；
步骤(3)，按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构；
步骤(4)，使用前一步训练出的网络对云属性进行长短期预测；
步骤(5)，将步骤(4)中的预测结果进行与步骤(2)相反的逆变换，得到原数据的预测值。
2.如权利要求1所述的基于深度置信网的云计算负载预测方法，其特征在于，还包括步骤(6)，将步骤(5)中的预测值与传统方法的预测结果进行评价，得出评价结果。
CN201510330961.3A 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法 Active CN104954185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510330961.3A CN104954185B (zh) 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510330961.3A CN104954185B (zh) 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法

Publications (2)

Publication Number Publication Date
CN104954185A CN104954185A (zh) 2015-09-30
CN104954185B true CN104954185B (zh) 2018-08-28

Family

ID=54168559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510330961.3A Active CN104954185B (zh) 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法

Country Status (1)

Country Link
CN (1) CN104954185B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN107545307A (zh) * 2017-07-28 2018-01-05 上海交通大学 基于深度信念网络的变压器油中溶解气体浓度预测方法及系统
CN108595272B (zh) * 2018-05-02 2020-11-27 厦门集微科技有限公司 一种请求分发方法和装置、计算机可读存储介质
CN109542803A (zh) * 2018-11-20 2019-03-29 中国石油大学(华东) 一种基于深度学习的混合多模式热数据缓存策略
CN109871278A (zh) * 2019-01-28 2019-06-11 中国石油大学(华东) 一种基于深度置信网的数据流系统资源预测机制
CN109978462A (zh) * 2019-03-28 2019-07-05 上海中通吉网络技术有限公司 资源调配方法、装置和设备
CN112949882A (zh) * 2019-11-26 2021-06-11 新奥数能科技有限公司 一种负荷预测的方法、装置及电子设备
CN112862138A (zh) * 2019-11-27 2021-05-28 新奥数能科技有限公司 一种热负荷预测方法、装置、可读介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365727A (zh) * 2013-07-09 2013-10-23 南京大学 一种云计算环境中的主机负载预测方法
CN103544539A (zh) * 2013-10-12 2014-01-29 国家电网公司 一种基于人工神经网络和d-s证据理论的用户变化量预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138688A1 (en) * 2011-04-04 2012-10-11 The Catholic University Of America Systems and methods for improving the accuracy of day-ahead load forecasts on an electric utility grid

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365727A (zh) * 2013-07-09 2013-10-23 南京大学 一种云计算环境中的主机负载预测方法
CN103544539A (zh) * 2013-10-12 2014-01-29 国家电网公司 一种基于人工神经网络和d-s证据理论的用户变化量预测方法

Also Published As

Publication number Publication date
CN104954185A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104954185B (zh) 一种基于深度置信网的云计算负载预测方法
Chen et al. DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing
CN107103754B (zh) 一种道路交通状况预测方法及系统
CN111199270B (zh) 一种基于深度学习的区域波高预报方法及终端
CN106372402B (zh) 一种大数据环境下模糊区域卷积神经网络的并行化方法
He et al. Modeling the urban landscape dynamics in a megalopolitan cluster area by incorporating a gravitational field model with cellular automata
GB2547816B (en) Actually-measured marine environment data assimilation method based on sequence recursive filtering three-dimensional variation
CN112257341B (zh) 一种基于异源数据差补融合的定制产品性能预测方法
JP6815708B2 (ja) インフルエンザ予測モデルの生成方法、装置及びコンピュータ可読記憶媒体
CN110346654B (zh) 基于普通克里金插值的电磁频谱地图构建方法
CN104680178B (zh) 基于迁移学习多吸引子细胞自动机的图像分类方法
JP2019091445A5 (zh)
CN103065192B (zh) 一种基于确定学习理论的海量时态数据建模方法
Vieira et al. Bio‐inspired algorithms for the optimization of offshore oil production systems
CN109981749A (zh) 一种基于极限梯度提升的云工作流任务执行时间预测方法
CN113469470A (zh) 基于电力大脑中枢的用能数据与碳排放量关联分析方法
CN111295657A (zh) 利用卷积神经网络代理经由梯度下降的技术设备的外形优化
CN105046044A (zh) 基于最优小波包变换的非平稳风速预测方法
CN116776208B (zh) 地震波分类模型的训练方法、地震选波方法、设备及介质
CN105138527B (zh) 一种数据分类回归方法及装置
Li et al. R3MR: Region growing based 3D mesh reconstruction for big data platform
CN109961129A (zh) 一种基于改进粒子群的海上静止目标搜寻方案生成方法
Zhang Application of knowledge model in dance teaching based on wearable device based on deep learning
CN110866609B (zh) 解释信息获取方法、装置、服务器和存储介质
CN114359510A (zh) 一种基于锚点检测的点云补全方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180625

Address after: 266000 room 2107, building 2, exhibition hall, 1777 Binhai Road, Huangdao District, Qingdao, Shandong.

Applicant after: Qingdao Mdt InfoTech Ltd

Address before: 266000 No. 66 Changjiang West Road, Qingdao economic and Technological Development Zone, Shandong

Applicant before: China Petroleum University (East China)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant