CN103678004A - 一种基于非监督特征学习的主机负载预测方法 - Google Patents

Abstract

本发明是一种针对云计算中心主机的负载预测方法，属于云计算领域。本发明解决的问题是：针对云计算环境中主机负载的变化更加剧烈，噪声更大的问题，提出了一种将未来一段时间内的负载分割成若干连续的时间段，对这些时间段内的平均负载进行预测。本发明的主要算法的核心部分在于利用非监督的特征学习的方法对历史数据进行特征提取，将自动学习到的特征作为分类器的输入，分类器的分类结果作为预测的负载。本发明将传统的负载预测问题从回归问题转化成分类问题，通过与目前已有的一些方法相比较，本发明提出的方法能够取得更加精确的预测结果。

Description

一种基于非监督特征学习的主机负载预测方法

技术领域

本发明主要针对云计算环境中的主机负载变化剧烈、噪声大等特点，提出了一种主机负载预测的方法。

背景技术

随着云计算技术的迅速发展，基础设施即服务(Infrastructure as a Service，IaaS)成为其重要的服务模式，用户可以从IaaS提供商处按需租用包括服务器、网络、存储等资源。在IaaS环境中，通常实施虚拟机(VirtualMachine，VM)迁移整合操作来满足负载均衡、自动伸缩、绿色节能、保证服务质量等方面的需要。

在云计算数据中心，为了能够及时的应对各种复杂情况，我们需要对数据中心中各种资源的情况进行预测而不是等到异常发生时再采取相应的措施。在云计算数据中心，最重要的几种资源分别是CPU资源、Memory资源以及disk资源。在这些资源中，CPU资源的使用情况反应了主机上应用程序的运行情况，因此在进行虚拟机调度时，CPU资源是首先要考虑的资源。当某台主机的负载超过一定值时，运行在该主机上的虚拟机的性能必然受到影响，因此此时选择将此主机上的一些虚拟机迁移到其他空闲主机上，从而减轻主机的负载；当某些主机上的负载低于一定值时，说明这些主机处于空闲状态，可以将这些主机上的虚拟机合并到其他主机上，然后关闭那些不用的主机，从而达到降低能耗的目的。

目前存在的一些主机负载预测方法主要针对网格(Grid)计算中主机的负载情况，但是在云计算环境中主机的类型各不相同，主机上运行的任务也各部相同，这就导致云环境中主机负载变化情况更加复杂，因此之前的一些方法并不能很好的对云环境中主机的负载情况进行预测。

为了解决现有技术中存在的问题，本文提出了一种基于非监督特征学习(Unsupervised FeatureLearning)的方法先自动对负载数据特征提取，将学习到的特征输入到softmax分类器中，分类的结果就是预测结果。

发明内容

本发明的目的：针对现在云计算中心将各种类型的主机进行集中化的管理，统一提供给各种类型的用户使用，导致云计算环境下，各台主机上运行的任务各不相同，其负载的变化情况更加复杂的情况，提出了一种能够精确预测未来一段时间内负载变化情况的方法，为下一步的虚拟机调度，资源综合管理奠定了基础。

针对现有技术中存在的问题，本发明提出了一种新的主机负载预测方法，能够有效的对未来一段时间内的主机负载进行预测，整个系统由以下两个主要模块组成：

模块一、利用非监督特征学习(Unsupervised Feature Learning)的方法对历史窗口中的数据进行特征提取，得到一种对输入数据更高层的表达。

模块二、将要需要预测的时间段分成若干连续相等的小时间段，预测这些时间段中的平均负载。预测的主要方法是将模块一中学到特征作为模块二中softmax分类器的输入，分类器的输出结果即预测的负载。

对于模块一，非监督特征学习是一种对输入数据高层特征提取的方法，已经成功的在手写数字识别，自然语言处理等领域取得了成功的应用。在本模块中，我们采用的非监督特征学习的方法是一个稀疏自编码神经网络。网络的输入是一个未标记的数据集合其中每个

表示一个历史窗口中的数据。整个网络的架构如图1所示，其中输入数据为x，重构的结果

其中W⁽ⁱ⁾，b⁽ⁱ⁾为第i层权重系数和偏置项，f为激活函数，其具体形式为：

$f\left(z\right)=\frac{1}{1+\exp (-z)}$

图中的中间层的输出就是输入的另一种表达。为了消除中间层单元的数量大于输入层数量的限制，在中间层加入了稀疏性的限制。在加入了稀疏性的限制后，优化问题变为通过最小化代价函数J(W，b)，求解W和b，J(W，b)的具体形式为：

$J(W,b)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\frac{1}{2}{\left|\right|f_{W,b}(x^{\left(i\right)}-y^{\left(i\right)})\left|\right|}^2\right)+\frac{\mathrm{\λ}}{2}\underset{l=1}{\overset{2}{\mathrm{\Σ}}}\underset{i=1}{\overset{s_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{s_{l+1}}{\mathrm{\Σ}}}{\left(W_{\mathrm{ji}}^{\left(l\right)}\right)}^2+\mathrm{\β}\underset{j=1}{\overset{s_2}{\mathrm{\Σ}}}\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right)$

代价函数中第一项是用来确保重建后的输出与输入之间的误差最小；第二项是正则化项，用来防止过拟合，其中s_l是第l层的单元数目；第三项是稀疏性惩罚项，其中代表了中间层的平均激活程度，ρ是稀疏性参数， $\mathrm{KL}\left(\mathrm{\ρ}\right|\left|\widehat{\mathrm{\ρ}}\right)=\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{\widehat{\mathrm{\ρ}}}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-\widehat{\mathrm{\ρ}}},$ 是Kullback-Leibler(KL)熵。

通过最小化J(W，b)，我们可以得到权重W和偏置项b。

模块二利用softmax分类器进行负载预测。首先我们将负载值分成r个等级(对应r个类别)，如图2所示，每个等级代表一个CPU使用率，将历史窗口中的数据作为模块一的输入，得到输入数据的高层特征表示，根据在实际环境中实验，我们将历史窗口的大小设为预测长度的2倍。分类器的任务就是根据输入特征预测其负载属于哪一个等级。为了预测未来一段时间内的负载，我们将要预测的时间段分割成若干连续并且相等的小时间段，通过预测这些小的时间段的负载来描述整个这段时间内负载的变化情况，分段的具体实现如图3所示。

然而，由于负载变化情况与紧邻的时间段相关性较大，因此我们预测的负载选择从当前时刻开始，为了得到图3中每个小段的负载，我们利用图4中的方法进行计算。其中L_i为我们预测到的从当前时刻开始的负载，l_i为每个小段的负载，则l_i可以由以下公式得到：

$l_i=\frac{(T_i-T_0)L_i-(T_{i-1}-T_0)L_{i-1}}{T_i-T_{i-1}}$

在进行了上述定义后，我们可以运用softmax分类器进行负载预测。假设我们有一个大小为m的有标记的训练集，其中

为输入特征，

为类标，对应1，2，...，r。对于每一个测试输入特征x，softmax分类器计算在该输入特征下其属于每个类别的概率，即p(y＝j|x)，对于每个j＝1，2，...，r。其中，

$p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ})=\frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^r{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}$

θ₁，θ₂，...，θ_r为分类器的参数。因此softmax分类器的代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\left[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{r}{\mathrm{\Σ}}}1\right\{y^{\left(i\right)}=j\left\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^r{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\right]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{r}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_{\mathrm{ij}}^2$

其中1{y⁽ⁱ⁾＝j}是指示器函数，当y⁽ⁱ⁾取值为时，函数值为1，否则为0。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1为模块一中稀疏自编码网络架构图。

图2表示将CPU使用率分成r个等级。

图3是将负载分段示意图。

图4表示如何计算每个小段的负载。

具体实施方式

以下将结合附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决问题，并达成技术效果的实现过程能充分理解并据以实施。

下面具体说明算法的执行过程。

学习过程：

步骤101、数据采集。采集前n天所有主机负载的历史数据。利用主机上的CPU检测工具每隔5分钟获取CPU的负载数据。将采集到其他主机的历史数据作为Unlabeled Set(无标签数据集)，要预测的主机数据作为Labeled Set(有标签数据集)。

步骤102、非监督特征学习。将无标签数据输入到稀疏自编码网络中进行特征学习，利用自学习网络提取输入数据的高层表达。通过最小化代价函数，得到的权重系数和偏置项的值。

步骤103、利用softmax分类器学习。利用从非监督特征学习的得到的权重系数和偏置项的值可以计算训练集的输入特征，将这些特征作为softmax分类器的输入，进行训练得到softmax分类器的参数。

预测过程：

步骤201、数据采集。利用主机上的CPU检测工具每隔5分钟获取当前主机的负载数据。

步骤202、主机负载预测。将采集到的数据输入稀疏自编码网络中，自编码网络的输出作为softmax分类器的输入，最终得到的分类结果就是我们预测的负载值。

本领域的技术人员应该明白，上述的本发明的系统结构和各个步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将他们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种基于非监督学习的主机负载预测的方法及系统，其特征是包含以下主要步骤： 

学习过程： 

步骤101、数据采集。采集前n天所有主机负载的历史数据。利用主机上的CPU检测工具每隔5分钟获取CPU的负载数据。将采集到其他主机的历史数据作为Unlabeled Set(无标签数据集)，要预测的主机数据作为Labeled Set(有标签数据集)。 

步骤102、非监督特征学习。将无标签数据输入到稀疏自编码网络中进行特征学习，利用自学习网络提取输入数据的高层表达。通过最小化代价函数，得到的权重系数和偏置项的值。 

步骤103、利用softmax分类器学习。利用从非监督特征学习的得到的权重系数和偏置项的值可以计算训练集的输入特征，将这些特征作为softmax分类器的输入，进行训练得到softmax分类器的参数。 

预测过程： 

步骤201、数据采集。利用主机上的CPU检测工具每隔5分钟获取当前主机的负载数据。 

步骤202、主机负载预测。将采集到的数据输入稀疏自编码网络中，自编码网络的输出作为softmax分类器的输入，最终得到的分类结果就是我们预测的负载值。 

2.权利要求1所述方法的步骤1-2的特征在于，我们采用的非监督特征学习的方法是一个稀疏自编码神经网络。网络的输入是一个未标记的数据集合其中每个

表示一个历史窗口中的数据。对于输入数据为x，重构的结果其中W⁽ⁱ⁾，b⁽ⁱ⁾为第i层权重系数和偏置项，f为激活函数，其具体形式为：

为了消除中间层单元的数量大于输入层数量的限制，在中间层加入了稀疏性的限制。在加入了稀疏性的限制后，优化问题变为通过最小化代价函数J(W，b)，求解W和b，J(W，b)的具体形式为： 

。

3.权利要求1所述方法的步骤1-3的特征在于，我们将负载值分成r个等级(对应r个类别)，每个等级代表一个CPU使用率，分类器的任务就是根据输入特征预测其负载属于哪一个等级。为了预测未来一段时间内的负载，我们将要预测的时间段分割成若干连续并且相等的小时间段，通过预测这些小的时间段的负载来描述整个这段时间内负载的变化情况。在进行了上述定义后，我们可以运用softmax分类器进行负载预测。假设我们有一个大小为m的有标记的训练集，

其中

为输入特征，

为类标，对应1，2，...，r。对于每一个测试输入特征x，softmax分类器计算在该输入特征下 其属于每个类别的概率，即p(y＝j|x)，对于每个j＝1，2，...，r。其中， 

为分类器的参数。因此softmax分类器的代价函数为： 

其中1{y⁽ⁱ⁾＝j}是指示器函数，当y⁽ⁱ⁾取值为j时，函数值为1，否则为0。 

4.一种根据权利要求1中所述方法实现的针对云环境中主机负载预测的系统，其特征在于在能够对虚拟机的负载进行预测从而在主机过载前进行虚拟机的调度，以保证服务水平协议(Service Level Agreement，SLA)，该系统是权利要求1中所述方法的具体实现。 

5.根据权利要求4中所述的系统，其特征在于包括以下模块。 

(1)数据采集模块，用于采集主机负载的历史情况。 

(2)非监督特征学习模块。利用非监督特征学习的方法从无标签数据中学习特征。 

(3)softmax分类模块。将训练集数据输入学习到的稀疏自编码网络中，得到训练数据的特征，将这些特征作为softmax分类器的输入进行训练，得到分类器的参数。 

(4)预测模块。将当前主机的数据输入学习到的稀疏自编码网络，网络的输出作为softmax分类器的输入，最终得到负载预测结果。 

Images