CN103678004A - 一种基于非监督特征学习的主机负载预测方法 - Google Patents
一种基于非监督特征学习的主机负载预测方法 Download PDFInfo
- Publication number
- CN103678004A CN103678004A CN201310700225.3A CN201310700225A CN103678004A CN 103678004 A CN103678004 A CN 103678004A CN 201310700225 A CN201310700225 A CN 201310700225A CN 103678004 A CN103678004 A CN 103678004A
- Authority
- CN
- China
- Prior art keywords
- load
- host
- data
- input
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明是一种针对云计算中心主机的负载预测方法,属于云计算领域。本发明解决的问题是:针对云计算环境中主机负载的变化更加剧烈,噪声更大的问题,提出了一种将未来一段时间内的负载分割成若干连续的时间段,对这些时间段内的平均负载进行预测。本发明的主要算法的核心部分在于利用非监督的特征学习的方法对历史数据进行特征提取,将自动学习到的特征作为分类器的输入,分类器的分类结果作为预测的负载。本发明将传统的负载预测问题从回归问题转化成分类问题,通过与目前已有的一些方法相比较,本发明提出的方法能够取得更加精确的预测结果。
Description
技术领域
本发明主要针对云计算环境中的主机负载变化剧烈、噪声大等特点,提出了一种主机负载预测的方法。
背景技术
随着云计算技术的迅速发展,基础设施即服务(Infrastructure as a Service,IaaS)成为其重要的服务模式,用户可以从IaaS提供商处按需租用包括服务器、网络、存储等资源。在IaaS环境中,通常实施虚拟机(VirtualMachine,VM)迁移整合操作来满足负载均衡、自动伸缩、绿色节能、保证服务质量等方面的需要。
在云计算数据中心,为了能够及时的应对各种复杂情况,我们需要对数据中心中各种资源的情况进行预测而不是等到异常发生时再采取相应的措施。在云计算数据中心,最重要的几种资源分别是CPU资源、Memory资源以及disk资源。在这些资源中,CPU资源的使用情况反应了主机上应用程序的运行情况,因此在进行虚拟机调度时,CPU资源是首先要考虑的资源。当某台主机的负载超过一定值时,运行在该主机上的虚拟机的性能必然受到影响,因此此时选择将此主机上的一些虚拟机迁移到其他空闲主机上,从而减轻主机的负载;当某些主机上的负载低于一定值时,说明这些主机处于空闲状态,可以将这些主机上的虚拟机合并到其他主机上,然后关闭那些不用的主机,从而达到降低能耗的目的。
目前存在的一些主机负载预测方法主要针对网格(Grid)计算中主机的负载情况,但是在云计算环境中主机的类型各不相同,主机上运行的任务也各部相同,这就导致云环境中主机负载变化情况更加复杂,因此之前的一些方法并不能很好的对云环境中主机的负载情况进行预测。
为了解决现有技术中存在的问题,本文提出了一种基于非监督特征学习(Unsupervised FeatureLearning)的方法先自动对负载数据特征提取,将学习到的特征输入到softmax分类器中,分类的结果就是预测结果。
发明内容
本发明的目的:针对现在云计算中心将各种类型的主机进行集中化的管理,统一提供给各种类型的用户使用,导致云计算环境下,各台主机上运行的任务各不相同,其负载的变化情况更加复杂的情况,提出了一种能够精确预测未来一段时间内负载变化情况的方法,为下一步的虚拟机调度,资源综合管理奠定了基础。
针对现有技术中存在的问题,本发明提出了一种新的主机负载预测方法,能够有效的对未来一段时间内的主机负载进行预测,整个系统由以下两个主要模块组成:
模块一、利用非监督特征学习(Unsupervised Feature Learning)的方法对历史窗口中的数据进行特征提取,得到一种对输入数据更高层的表达。
模块二、将要需要预测的时间段分成若干连续相等的小时间段,预测这些时间段中的平均负载。预测的主要方法是将模块一中学到特征作为模块二中softmax分类器的输入,分类器的输出结果即预测的负载。
对于模块一,非监督特征学习是一种对输入数据高层特征提取的方法,已经成功的在手写数字识别,自然语言处理等领域取得了成功的应用。在本模块中,我们采用的非监督特征学习的方法是一个稀疏自编码神经网络。网络的输入是一个未标记的数据集合其中每个表示一个历史窗口中的数据。整个网络的架构如图1所示,其中输入数据为x,重构的结果其中W(i),b(i)为第i层权重系数和偏置项,f为激活函数,其具体形式为:
图中的中间层的输出就是输入的另一种表达。为了消除中间层单元的数量大于输入层数量的限制,在中间层加入了稀疏性的限制。在加入了稀疏性的限制后,优化问题变为通过最小化代价函数J(W,b),求解W和b,J(W,b)的具体形式为:
代价函数中第一项是用来确保重建后的输出与输入之间的误差最小;第二项是正则化项,用来防止过拟合,其中sl是第l层的单元数目;第三项是稀疏性惩罚项,其中代表了中间层的平均激活程度,ρ是稀疏性参数, 是Kullback-Leibler(KL)熵。
通过最小化J(W,b),我们可以得到权重W和偏置项b。
模块二利用softmax分类器进行负载预测。首先我们将负载值分成r个等级(对应r个类别),如图2所示,每个等级代表一个CPU使用率,将历史窗口中的数据作为模块一的输入,得到输入数据的高层特征表示,根据在实际环境中实验,我们将历史窗口的大小设为预测长度的2倍。分类器的任务就是根据输入特征预测其负载属于哪一个等级。为了预测未来一段时间内的负载,我们将要预测的时间段分割成若干连续并且相等的小时间段,通过预测这些小的时间段的负载来描述整个这段时间内负载的变化情况,分段的具体实现如图3所示。
然而,由于负载变化情况与紧邻的时间段相关性较大,因此我们预测的负载选择从当前时刻开始,为了得到图3中每个小段的负载,我们利用图4中的方法进行计算。其中Li为我们预测到的从当前时刻开始的负载,li为每个小段的负载,则li可以由以下公式得到:
在进行了上述定义后,我们可以运用softmax分类器进行负载预测。假设我们有一个大小为m的有标记的训练集,其中为输入特征,为类标,对应1,2,...,r。对于每一个测试输入特征x,softmax分类器计算在该输入特征下其属于每个类别的概率,即p(y=j|x),对于每个j=1,2,...,r。其中,
θ1,θ2,...,θr为分类器的参数。因此softmax分类器的代价函数为:
其中1{y(i)=j}是指示器函数,当y(i)取值为时,函数值为1,否则为0。
附图说明
附图说明用于提供对本发明技术方案的进一步理解,并构成说明书的一部分,与本发明的实施一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。附图说明如下:
图1为模块一中稀疏自编码网络架构图。
图2表示将CPU使用率分成r个等级。
图3是将负载分段示意图。
图4表示如何计算每个小段的负载。
具体实施方式
以下将结合附图来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决问题,并达成技术效果的实现过程能充分理解并据以实施。
下面具体说明算法的执行过程。
学习过程:
步骤101、数据采集。采集前n天所有主机负载的历史数据。利用主机上的CPU检测工具每隔5分钟获取CPU的负载数据。将采集到其他主机的历史数据作为Unlabeled Set(无标签数据集),要预测的主机数据作为Labeled Set(有标签数据集)。
步骤102、非监督特征学习。将无标签数据输入到稀疏自编码网络中进行特征学习,利用自学习网络提取输入数据的高层表达。通过最小化代价函数,得到的权重系数和偏置项的值。
步骤103、利用softmax分类器学习。利用从非监督特征学习的得到的权重系数和偏置项的值可以计算训练集的输入特征,将这些特征作为softmax分类器的输入,进行训练得到softmax分类器的参数。
预测过程:
步骤201、数据采集。利用主机上的CPU检测工具每隔5分钟获取当前主机的负载数据。
步骤202、主机负载预测。将采集到的数据输入稀疏自编码网络中,自编码网络的输出作为softmax分类器的输入,最终得到的分类结果就是我们预测的负载值。
本领域的技术人员应该明白,上述的本发明的系统结构和各个步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将他们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然本发明所示出和描述的实施方式如上,但是所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上以及细节上做任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (5)
1.一种基于非监督学习的主机负载预测的方法及系统,其特征是包含以下主要步骤:
学习过程:
步骤101、数据采集。采集前n天所有主机负载的历史数据。利用主机上的CPU检测工具每隔5分钟获取CPU的负载数据。将采集到其他主机的历史数据作为Unlabeled Set(无标签数据集),要预测的主机数据作为Labeled Set(有标签数据集)。
步骤102、非监督特征学习。将无标签数据输入到稀疏自编码网络中进行特征学习,利用自学习网络提取输入数据的高层表达。通过最小化代价函数,得到的权重系数和偏置项的值。
步骤103、利用softmax分类器学习。利用从非监督特征学习的得到的权重系数和偏置项的值可以计算训练集的输入特征,将这些特征作为softmax分类器的输入,进行训练得到softmax分类器的参数。
预测过程:
步骤201、数据采集。利用主机上的CPU检测工具每隔5分钟获取当前主机的负载数据。
步骤202、主机负载预测。将采集到的数据输入稀疏自编码网络中,自编码网络的输出作为softmax分类器的输入,最终得到的分类结果就是我们预测的负载值。
3.权利要求1所述方法的步骤1-3的特征在于,我们将负载值分成r个等级(对应r个类别),每个等级代表一个CPU使用率,分类器的任务就是根据输入特征预测其负载属于哪一个等级。为了预测未来一段时间内的负载,我们将要预测的时间段分割成若干连续并且相等的小时间段,通过预测这些小的时间段的负载来描述整个这段时间内负载的变化情况。在进行了上述定义后,我们可以运用softmax分类器进行负载预测。假设我们有一个大小为m的有标记的训练集,其中为输入特征,为类标,对应1,2,...,r。对于每一个测试输入特征x,softmax分类器计算在该输入特征下 其属于每个类别的概率,即p(y=j|x),对于每个j=1,2,...,r。其中, 为分类器的参数。因此softmax分类器的代价函数为: 其中1{y(i)=j}是指示器函数,当y(i)取值为j时,函数值为1,否则为0。
4.一种根据权利要求1中所述方法实现的针对云环境中主机负载预测的系统,其特征在于在能够对虚拟机的负载进行预测从而在主机过载前进行虚拟机的调度,以保证服务水平协议(Service Level Agreement,SLA),该系统是权利要求1中所述方法的具体实现。
5.根据权利要求4中所述的系统,其特征在于包括以下模块。
(1)数据采集模块,用于采集主机负载的历史情况。
(2)非监督特征学习模块。利用非监督特征学习的方法从无标签数据中学习特征。
(3)softmax分类模块。将训练集数据输入学习到的稀疏自编码网络中,得到训练数据的特征,将这些特征作为softmax分类器的输入进行训练,得到分类器的参数。
(4)预测模块。将当前主机的数据输入学习到的稀疏自编码网络,网络的输出作为softmax分类器的输入,最终得到负载预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310700225.3A CN103678004A (zh) | 2013-12-19 | 2013-12-19 | 一种基于非监督特征学习的主机负载预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310700225.3A CN103678004A (zh) | 2013-12-19 | 2013-12-19 | 一种基于非监督特征学习的主机负载预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103678004A true CN103678004A (zh) | 2014-03-26 |
Family
ID=50315656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310700225.3A Pending CN103678004A (zh) | 2013-12-19 | 2013-12-19 | 一种基于非监督特征学习的主机负载预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103678004A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
CN105260794A (zh) * | 2015-10-12 | 2016-01-20 | 上海交通大学 | 一种云数据中心的负载预测方法 |
CN105491079A (zh) * | 2014-09-16 | 2016-04-13 | 华为技术有限公司 | 云计算环境中调整应用所需资源的方法及装置 |
CN105550323A (zh) * | 2015-12-15 | 2016-05-04 | 北京国电通网络技术有限公司 | 一种分布式数据库负载均衡预测方法和预测分析器 |
CN106502799A (zh) * | 2016-12-30 | 2017-03-15 | 南京大学 | 一种基于长短时记忆网络的主机负载预测方法 |
CN106790706A (zh) * | 2017-02-27 | 2017-05-31 | 深圳先进技术研究院 | 一种数据资源优化的方法、平台及系统 |
CN106909530A (zh) * | 2017-02-28 | 2017-06-30 | 张家口浩扬科技有限公司 | 一种动态计算方法及其装置 |
CN108108810A (zh) * | 2016-11-24 | 2018-06-01 | 三星电子株式会社 | 包括非易失性存储器件的存储装置及访问方法 |
CN110059858A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 服务器资源预测方法、装置、计算机设备及存储介质 |
CN112882822A (zh) * | 2019-11-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 生成负载预测模型的方法、装置、设备和存储介质 |
CN113138875A (zh) * | 2021-04-22 | 2021-07-20 | 深圳感臻科技有限公司 | 一种故障检测方法、终端以及计算机存储介质 |
-
2013
- 2013-12-19 CN CN201310700225.3A patent/CN103678004A/zh active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105491079B (zh) * | 2014-09-16 | 2019-03-01 | 华为技术有限公司 | 云计算环境中调整应用所需资源的方法及装置 |
CN105491079A (zh) * | 2014-09-16 | 2016-04-13 | 华为技术有限公司 | 云计算环境中调整应用所需资源的方法及装置 |
CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
CN104462494B (zh) * | 2014-12-22 | 2018-01-12 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
CN105260794A (zh) * | 2015-10-12 | 2016-01-20 | 上海交通大学 | 一种云数据中心的负载预测方法 |
CN105550323A (zh) * | 2015-12-15 | 2016-05-04 | 北京国电通网络技术有限公司 | 一种分布式数据库负载均衡预测方法和预测分析器 |
CN105550323B (zh) * | 2015-12-15 | 2020-04-28 | 北京中电普华信息技术有限公司 | 一种分布式数据库负载均衡预测方法和预测分析器 |
CN108108810B (zh) * | 2016-11-24 | 2023-08-18 | 三星电子株式会社 | 包括非易失性存储器件的存储装置及访问方法 |
CN108108810A (zh) * | 2016-11-24 | 2018-06-01 | 三星电子株式会社 | 包括非易失性存储器件的存储装置及访问方法 |
CN106502799A (zh) * | 2016-12-30 | 2017-03-15 | 南京大学 | 一种基于长短时记忆网络的主机负载预测方法 |
CN106790706B (zh) * | 2017-02-27 | 2019-11-19 | 深圳先进技术研究院 | 一种数据资源优化的方法、平台及系统 |
CN106790706A (zh) * | 2017-02-27 | 2017-05-31 | 深圳先进技术研究院 | 一种数据资源优化的方法、平台及系统 |
CN106909530B (zh) * | 2017-02-28 | 2018-06-05 | 江苏达科智能科技有限公司 | 一种动态计算方法 |
CN106909530A (zh) * | 2017-02-28 | 2017-06-30 | 张家口浩扬科技有限公司 | 一种动态计算方法及其装置 |
CN110059858A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 服务器资源预测方法、装置、计算机设备及存储介质 |
CN112882822A (zh) * | 2019-11-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 生成负载预测模型的方法、装置、设备和存储介质 |
CN112882822B (zh) * | 2019-11-29 | 2024-03-01 | 阿里巴巴集团控股有限公司 | 生成负载预测模型的方法、装置、设备和存储介质 |
CN113138875A (zh) * | 2021-04-22 | 2021-07-20 | 深圳感臻科技有限公司 | 一种故障检测方法、终端以及计算机存储介质 |
CN113138875B (zh) * | 2021-04-22 | 2022-12-06 | 深圳感臻智能股份有限公司 | 一种故障检测方法、终端以及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103678004A (zh) | 一种基于非监督特征学习的主机负载预测方法 | |
CN116307652A (zh) | 一种智能电网人工智能资源分配方法 | |
CN111752710B (zh) | 数据中心pue动态优化方法、系统、设备及可读存储介质 | |
CN111026548A (zh) | 一种逆向深度强化学习的电力通信设备测试资源调度方法 | |
CN116974768A (zh) | 一种基于深度学习的算力调度方法 | |
CN112486687B (zh) | 一种基于多任务学习时间序列的云平台工作负载预测方法 | |
CN117520986A (zh) | 分布式光伏发电异常监测方法、系统、设备和存储介质 | |
CN116225696B (zh) | 用于流处理系统的算子并发度调优方法及装置 | |
CN115543626A (zh) | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 | |
CN117873690B (zh) | 运算器芯片功耗管理方法、计算子系统以及智能计算平台 | |
CN113505879B (zh) | 一种基于多注意力特征记忆模型的预测方法和装置 | |
CN117791596A (zh) | 故障电网的电力调度方法、系统、电子设备及存储介质 | |
CN117827467A (zh) | 一种基于动态画像的虚拟机资源调配方法 | |
CN118260021A (zh) | 基于时间序列预测的容器节能弹性扩缩容方法、系统及介质 | |
CN117130888A (zh) | 基于历史数据和机器学习的服务器自动调优方法及系统 | |
Ismaeel et al. | Real-time energy-conserving vm-provisioning framework for cloud-data centers | |
CN116541128A (zh) | 一种负载调节方法、装置、计算设备、及存储介质 | |
CN116738169A (zh) | 一种数据降维的计算机参数异常预测方法及系统 | |
CN116360921A (zh) | 一种面向电力物联网的云平台资源优化调度方法及系统 | |
Dong et al. | Image-based processing mechanism for peak load forecasting in smart grids | |
Jing et al. | CBLA_PM: an improved ann-based power consumption prediction algorithm for multi-type jobs on heterogeneous computing server | |
Carastan-Santos et al. | Light-weight prediction for improving energy consumption in HPC platforms | |
Lee et al. | Application of temperature prediction model based on LSTNet in telecommunication Room | |
CN118331750B (zh) | 一种用于处理网络威胁的动态资源分配系统、电子设备及存储介质 | |
CN118017597B (zh) | 一种光伏电站出力预测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140326 |