CN104954185A - 一种基于深度置信网的云计算负载预测方法 - Google Patents

一种基于深度置信网的云计算负载预测方法 Download PDF

Info

Publication number
CN104954185A
CN104954185A CN201510330961.3A CN201510330961A CN104954185A CN 104954185 A CN104954185 A CN 104954185A CN 201510330961 A CN201510330961 A CN 201510330961A CN 104954185 A CN104954185 A CN 104954185A
Authority
CN
China
Prior art keywords
cloud
data
cloud computing
computing load
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510330961.3A
Other languages
English (en)
Other versions
CN104954185B (zh
Inventor
张卫山
段鹏程
宫文娟
卢清华
李忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Mdt Infotech Ltd
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201510330961.3A priority Critical patent/CN104954185B/zh
Publication of CN104954185A publication Critical patent/CN104954185A/zh
Application granted granted Critical
Publication of CN104954185B publication Critical patent/CN104954185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于深度置信网的云计算负载预测方法，包括以下步骤：步骤(1)，从云集群中提取并聚合负载观测值；步骤(2)，对步骤(1)的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性；步骤(3)，按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构；步骤(4)，使用前一步训练出的网络对云属性进行长短期预测；步骤(5)，将步骤(4)中的预测结果进行与步骤(2)相反的逆变换，得到原数据的预测值。本发明基于深度置信网的云负载预测方法，能够为云平台的资源调度提供可靠依据，具有预测误差小、适合长线预测等优点，达到云资源高效调度和使用。

Description

一种基于深度置信网的云计算负载预测方法
技术领域
本发明涉及云计算大数据计算、计算智能领域，特别涉及一种基于深度置信网的云计算负载预测方法。
背景技术
对云计算环境下的负载的预测是极为困难的。相对于网格计算和高性能计算而言，由于用户与云平台的交互和其上传得云任务类型在时间和空间上高度变化，使得云负载表现出高度的非线性性质，从而导致传统的线性或概率模型不能表现出其在应对网格和高性能系统时的良好效果。
作为深度神经网络的一员，深度置信网是由RBM(Restricted BoltzmannMachines)组成的多层神经网络。一个RBM能够获取数据的内在模式或特征，而由多个RBM叠成的深度置信网能够获取特征的特征，从而建立起高度的非线性预测模型。通过采用对比散度算法对RBM进行预训练并使用BP优化网络结构比直接使用BP优化算法能达到更好的实验效果。
最接近本发明的技术有：
1、D.Sheng提出一种基于Bayes模型的预测算法去预测谷歌云集群主机负载。然而获取Bayes模型的前验信息往往很困难，这使得此模型容易产生简单结果，从而降低预测精度。
2、S.Chen采用了分形建模技术去预测谷歌云任务的资源请求。然而，采用分形建模技术对数据建模的前提条件是数据具有自相似性。这样，一个好的预测结果就要求云属性具有自相似性，这也使得其应用范围受到限制。
发明内容
为解决现有技术的不足，本发明提出了一种基于深度置信网的云负载预测方法。
本发明的技术方案是这样实现的：
一种基于深度置信网的云计算负载预测方法，包括以下步骤：
步骤(1)，从云集群中提取并聚合负载观测值；
步骤(2)，对步骤(1)的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性；
步骤(3)，按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构；
步骤(4)，使用前一步训练出的网络对云属性进行长短期预测；
步骤(5)，将步骤(4)中的预测结果进行与步骤(2)相反的逆变换，得到原数据的预测值。
可选地，本发明的基于深度置信网的云计算负载预测方法，还包括步骤(6)，将预测结果与传统方法的预测结果进行评价，得出评价结果。
本发明的有益效果是：
(1)把深度置信网对非线性数据良好的拟合特性与高度变化的云属性相结合，预测误差小；
(2)适合长线预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度置信网的云计算负载预测方法的流程图；
图2为本发明一种基于深度置信网的云计算负载预测方法的网络拓扑图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为基于深度置信网的云负载预测方法的系统流程图，图2所示为其网络拓扑图。
本发明基于深度置信网的云负载预测方法，其预测过程包括6个步骤：预处理步骤，预分析步骤，训练步骤，预测步骤，后处理步骤，评价步骤。
下面结合图1与图2，对基于深度置信网的云负载预测方法的具体流程进行详细说明：
步骤(1)，预处理：从云集群中提取并聚合负载观测值。
步骤(2)，预分析：对前一步骤的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性。
步骤(3)，训练：按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构。
步骤(4)，预测：使用前一步训练出的网络对云负载进行长短期预测。
步骤(5)，将步骤(4)预测的结果进行与步骤(2)相反的逆变换，得到原数据的预测值。
进行完上述步骤之后，本发明基于深度置信网的云负载预测方法还可以包括步骤(6)，即评价步骤，将预测结果与传统方法的预测结果进行评价，得出评价结果。
本发明基于深度置信网的云负载预测方法，通过RMI协议从每个云节点中收集属性观测值，并送至属性处理中心；而且，实现了基于深度置信网的预测组件，通过提前训练历史数据对将来一段时间内的云负载进行估计。
本发明基于深度置信网的云负载预测方法，能够为云平台的资源调度提供可靠依据，具有预测误差小、适合长线预测等优点，在充分利用DBN对复杂非线性数据强建模能力的前提下，实时读取云负载观测值，计算未来某时间段最可能的资源消耗估计，达到云资源高效调度和使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度置信网的云计算负载预测方法，其特征在于，包括以下步骤：
步骤(1)，从云集群中提取并聚合负载观测值；
步骤(2)，对步骤(1)的观测值进行差分变换以降低数据的线性度，归一化数据，分析数据内部的自相关和自回归特性；
步骤(3)，按照从下到上的顺序逐层训练RBM，并通过BP算法优化整体网络结构；
步骤(4)，使用前一步训练出的网络对云属性进行长短期预测；
步骤(5)，将步骤(4)中的预测结果进行与步骤(2)相反的逆变换，得到原数据的预测值。
2.如权利要求1所述的基于深度置信网的云计算负载预测方法，其特征在于，还包括步骤(6)，将预测结果与传统方法的预测结果进行评价，得出评价结果。
CN201510330961.3A 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法 Active CN104954185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510330961.3A CN104954185B (zh) 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510330961.3A CN104954185B (zh) 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法

Publications (2)

Publication Number Publication Date
CN104954185A true CN104954185A (zh) 2015-09-30
CN104954185B CN104954185B (zh) 2018-08-28

Family

ID=54168559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510330961.3A Active CN104954185B (zh) 2015-06-09 2015-06-09 一种基于深度置信网的云计算负载预测方法

Country Status (1)

Country Link
CN (1) CN104954185B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN107545307A (zh) * 2017-07-28 2018-01-05 上海交通大学 基于深度信念网络的变压器油中溶解气体浓度预测方法及系统
CN108595272A (zh) * 2018-05-02 2018-09-28 厦门集微科技有限公司 一种请求分发方法和装置、计算机可读存储介质
CN109542803A (zh) * 2018-11-20 2019-03-29 中国石油大学(华东) 一种基于深度学习的混合多模式热数据缓存策略
CN109871278A (zh) * 2019-01-28 2019-06-11 中国石油大学(华东) 一种基于深度置信网的数据流系统资源预测机制
CN109978462A (zh) * 2019-03-28 2019-07-05 上海中通吉网络技术有限公司 资源调配方法、装置和设备
CN112862138A (zh) * 2019-11-27 2021-05-28 新奥数能科技有限公司 一种热负荷预测方法、装置、可读介质及电子设备
CN112949882A (zh) * 2019-11-26 2021-06-11 新奥数能科技有限公司 一种负荷预测的方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138688A1 (en) * 2011-04-04 2012-10-11 The Catholic University Of America Systems and methods for improving the accuracy of day-ahead load forecasts on an electric utility grid
CN103365727A (zh) * 2013-07-09 2013-10-23 南京大学 一种云计算环境中的主机负载预测方法
CN103544539A (zh) * 2013-10-12 2014-01-29 国家电网公司 一种基于人工神经网络和d-s证据理论的用户变化量预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138688A1 (en) * 2011-04-04 2012-10-11 The Catholic University Of America Systems and methods for improving the accuracy of day-ahead load forecasts on an electric utility grid
CN103365727A (zh) * 2013-07-09 2013-10-23 南京大学 一种云计算环境中的主机负载预测方法
CN103544539A (zh) * 2013-10-12 2014-01-29 国家电网公司 一种基于人工神经网络和d-s证据理论的用户变化量预测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN107545307A (zh) * 2017-07-28 2018-01-05 上海交通大学 基于深度信念网络的变压器油中溶解气体浓度预测方法及系统
CN108595272A (zh) * 2018-05-02 2018-09-28 厦门集微科技有限公司 一种请求分发方法和装置、计算机可读存储介质
CN108595272B (zh) * 2018-05-02 2020-11-27 厦门集微科技有限公司 一种请求分发方法和装置、计算机可读存储介质
CN109542803A (zh) * 2018-11-20 2019-03-29 中国石油大学(华东) 一种基于深度学习的混合多模式热数据缓存策略
CN109871278A (zh) * 2019-01-28 2019-06-11 中国石油大学(华东) 一种基于深度置信网的数据流系统资源预测机制
CN109978462A (zh) * 2019-03-28 2019-07-05 上海中通吉网络技术有限公司 资源调配方法、装置和设备
CN112949882A (zh) * 2019-11-26 2021-06-11 新奥数能科技有限公司 一种负荷预测的方法、装置及电子设备
CN112862138A (zh) * 2019-11-27 2021-05-28 新奥数能科技有限公司 一种热负荷预测方法、装置、可读介质及电子设备

Also Published As

Publication number Publication date
CN104954185B (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN104954185A (zh) 一种基于深度置信网的云计算负载预测方法
CN105320809B (zh) 一种针对风电场空间相关性的风速预测方法
CN104331583B (zh) 一种基于实测海杂波数据的多重分形建模方法
CN110175541B (zh) 一种海平面变化非线性趋势提取的方法
CN105956768A (zh) 一种基于组合赋权和改进topsis的发电企业竞争力评估方法
Widiputra et al. Multiple time-series prediction through multiple time-series relationships profiling and clustered recurring trends
CN113326852A (zh) 模型训练方法、装置、设备、存储介质及程序产品
TW201800987A (zh) 問題推薦方法及設備
CN112700326A (zh) 一种基于灰狼算法优化bp神经网络的信贷违约预测方法
CN108734216A (zh) 基于负荷曲线形态的电力用户分类方法、装置及存储介质
CN113051130B (zh) 结合注意力机制的lstm网络的移动云负载预测方法及系统
CN104881563A (zh) 径流的混沌特性分析及非线性预测方法
CN102629341A (zh) 一种基于用户地理位置信息的Web服务QoS在线预测方法
CN104899607A (zh) 一种传统云纹图案的自动分类方法
Wu et al. Image denoising with rectified linear units
CN110879927A (zh) 一种用于海目标检测的海杂波幅度统计分布现场建模方法
CN105488598A (zh) 一种基于模糊聚类的中长期电力负荷预测方法
CN111598700A (zh) 一种金融风控系统及方法
CN114358246A (zh) 三维点云场景的注意力机制的图卷积神经网络模块
Zhang Application of knowledge model in dance teaching based on wearable device based on deep learning
CN117252436B (zh) 一种土地利用变化生态风险分区的方法和系统
CN110717281A (zh) 基于犹豫云语言术语集和群决策的仿真模型可信度评估方法
CN114021432A (zh) 一种应力腐蚀开裂裂纹扩展速率预测方法及系统
Ballı et al. An application of artificial neural networks for prediction and comparison with statistical methods
CN115034422A (zh) 基于波动识别和误差修正的风电短期功率预测方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180625

Address after: 266000 room 2107, building 2, exhibition hall, 1777 Binhai Road, Huangdao District, Qingdao, Shandong.

Applicant after: Qingdao Mdt InfoTech Ltd

Address before: 266000 No. 66 Changjiang West Road, Qingdao economic and Technological Development Zone, Shandong

Applicant before: China Petroleum University (East China)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant