CN105320559A - 一种云计算系统的调度方法和装置 - Google Patents

Abstract

本发明提供一种云计算系统的调度方法和装置。所述云计算系统的调度方法，包括：获取云计算系统的资源池的资源超卖系数在当前周期的第一值；根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。本发明能够提高系统资源的利用率。

Description

一种云计算系统的调度方法和装置

技术领域

本发明涉及云计算领域，特别是指一种云计算系统的调度方法和装置。

背景技术

目前，云计算的虚拟化技术把服务器、存储设备等网络资源整合成资源池后进行分割，实现资源按需分配和自动增长。资源调度策略就是考虑到资源池利用的经济效益和业务保障等因素的资源分配和调控策略。资源调度系统利用资源调度策略，给虚拟资源分配具体的物理资源，调整虚拟资源的配置，必要时在物理资源之间迁移虚拟资源，实现资源的充分利用，降低能耗。

目前，资源调度有较多的方法，其中一种为用于云计算的策略调度系统和方法，其中，该策略调度系统包括策略配置、监控、策略调度以及策略执行4个模块：

●策略配置模块，用于配置针对云计算资源池中目标虚拟机的策略；

●监控模块，用于从策略配置模块获知目标虚拟机，监控目标虚拟机的性能参数，并将该性能参数发送至策略调度模块；

●策略调度模块，用于判断来自监控模块的目标虚拟机性能参数是否满足与该目标虚拟机对应的策略的触发条件，并在目标虚拟机性能参数满足与该目标虚拟机对应的策略的触发条件时，向策略执行模块发出请求消息；

●策略执行模块，用于接收到来自策略调度模块的请求消息后，执行策略配置模块配置的满足触发条件的策略。

这个系统的调度策略都是基于监控系统发现某台固定的虚拟机的资源不足或过剩后，系统对这台虚拟机调整，以便达到改善虚拟机的运行状态或节省系统计算资源的目标。

这种调度方案没有考虑资源池的总体资源需求情况，调整思路比较局限。

发明内容

本发明要解决的技术问题是，提供一种云计算系统的调度方法和装置，能够提高系统资源的利用率。

一方面，提供一种云计算系统的调度方法，包括：

获取云计算系统的资源池的资源超卖系数在当前周期的第一值；

根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；

判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；

如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。

所述根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值的步骤包括：

对所述资源池的每个物理机的所有虚拟机的历史资源利用率取平均值，计算得到每个物理机对应的第一平均值；

将所述第一平均值分别乘以一常数，得到每个物理机对应的一个乘积；

对所述资源池的所有物理机对应的乘积取平均值，计算得到第二平均值，作为所述资源超卖系数在所述当前周期的下一周期的预测值。

所述虚拟机的历史资源利用率根据以下步骤生成：

将所述虚拟机的历史资源实际使用量与所述虚拟机历史资源配置量之间的比值，作为所述虚拟机的历史资源利用率。

所述的方法，还包括：

获取所述资源池的可超卖资源总量；

根据所述资源池的资源实际使用量的历史数据，生成所述资源池的资源使用量在所述下一周期的预测值；

比较所述可超卖资源总量与所述资源使用量在所述下一周期的预测值之间的大小，得到比较结果；

根据所述比较结果，进行相应操作。

所述获取所述资源池的可超卖资源总量的步骤具体为：

将所述资源池中的所有物理机的资源总容量与所述资源超卖系数在所述当前周期的下一周期的预测值的乘积，作为所述资源池的可超卖资源总量。

所述根据所述比较结果，进行相应操作的步骤包括：

当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第二阈值时，则允许其他资源池的业务迁入；

当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第三阈值时，从所述资源池中选择至少一个第一物理机；将所述第一物理机上的所有虚拟机迁移至所述资源池中的除所述第一物理机外的其他物理机；关闭所述第一物理机；

当所述可超卖资源总量大于所述资源总使用量的预测值时，从所述资源池中选择至少一个第二物理机，所述第二物理机在下一周期的可超卖资源量小于所述第二物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第二物理机中选择至少一个第二虚拟机，将所述第二虚拟机迁移到所述资源池的其他物理机；

当所述可超卖资源总量小于或等于所述资源总使用量的预测值时，开启新的物理机；从所述资源池中选择至少一个第三物理机，所述第三物理机在下一周期的可超卖资源总量小于所述第三物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第三物理机中选择至少一个第三虚拟机；将所述第三虚拟机迁移到所述新的物理机；

当所述可超卖资源总量小于所述资源总使用量的预测值，从所述资源池中选择至少一个第四物理机，所述第四物理机在下一周期的可超卖资源量小于所述第四物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第四物理机中选择至少一个第四虚拟机；将所述第四虚拟机迁移到其他资源池。

所述从所述资源池中选择至少一个第一物理机的步骤具体为：

按照物理机上设置的虚拟机的数量大小，从所述资源池中选择至少一个第一物理机；或者

按照物理机的资源容量大小，从所述资源池中选择至少一个第一物理机。

所述从所述第二物理机中选择至少一个第二虚拟机的步骤具体为：

按照虚拟机在下一周期的资源利用率的预测值与所述资源池的资源利用率的历史平均值之间的差值的大小，从所述第二物理机中选择至少一个第二虚拟机。

所述的方法，还包括：

获取所述资源池中的第五物理机在当前周期的资源利用率；

判断所述第五物理机在所述当前周期的资源利用率是否大于告警值；

如果大于，则调整所述第五物理机的虚拟机在当前周期的最大可使用资源量；

在所述当前周期的下一个周期调整所述第五物理机的资源超卖系数或者在所述当前周期的下一个周期将所述第五物理机上的至少一个虚拟机迁移出去。

另一方面，提供一种云计算系统的调度装置，包括：

第一获取单元，获取云计算系统的资源池的资源超卖系数在当前周期的第一值；

第一生成单元，根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；

第一判断单元，判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；

调整单元，如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。

所述生成单元包括：

第一平均计算子单元，对所述资源池的每个物理机的所有虚拟机的历史资源利用率取平均值，计算得到每个物理机对应的第一平均值；

乘法子单元，将所述第一平均值分别乘以一常数，得到每个物理机对应的一个乘积；

第二平均计算子单元，对所述资源池的所有物理机对应的乘积取平均值，计算得到第二平均值，作为所述资源超卖系数在所述当前周期的下一周期的预测值。

所述的装置，还包括：

第二获取单元，获取所述资源池的可超卖资源总量；

第二生成单元，根据所述资源池的资源实际使用量的历史数据，生成所述资源池的资源使用量在所述下一周期的预测值；

第二比较单元，比较所述可超卖资源总量与所述资源使用量在所述下一周期的预测值之间的大小，得到比较结果；

操作单元，根据所述比较结果，进行相应操作。

所述操作单元包括：

第一选择子单元，当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第三阈值时，从所述资源池中选择至少一个第一物理机

第一迁移子单元，将所述第一物理机上的所有虚拟机迁移至所述资源池中的除所述第一物理机外的其他物理机；

关闭子单元，关闭所述第一物理机；

或者，所述操作单元包括：

第二选择子单元，当所述可超卖资源总量大于所述资源总使用量的预测值时，从所述资源池中选择至少一个第二物理机，所述第二物理机在下一周期的可超卖资源量小于所述第二物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第三选择子单元，从所述第二物理机中选择至少一个第二虚拟机；

第二迁移子单元，将所述第二虚拟机迁移到所述资源池的其他物理机；

或者，所述操作单元包括：

开启单元，当所述可超卖资源总量小于或等于所述资源总使用量的预测值时，开启新的物理机；

第四选择子单元，从所述资源池中选择至少一个第三物理机，所述第三物理机在下一周期的可超卖资源总量小于所述第三物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第五选择子单元，从所述第三物理机中选择至少一个第三虚拟机；

第三迁移子单元，将所述第三虚拟机迁移到所述新的物理机；

或者，所述操作单元包括：

第六选择子单元，当所述可超卖资源总量小于所述资源总使用量的预测值，从所述资源池中选择至少一个第四物理机，所述第四物理机在下一周期的可超卖资源量小于所述第四物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第七选择子单元，从所述第四物理机中选择至少一个第四虚拟机；

第四迁移子单元，将所述第四虚拟机迁移到其他资源池。

所述的装置，还包括：

第三获取到单元，获取所述资源池中的第五物理机在当前周期的资源利用率；

第三判断单元，判断所述第五物理机在所述当前周期的资源利用率是否大于告警值；

第二调整单元，如果大于，则调整所述第五物理机的虚拟机在当前周期的最大可使用资源量；在所述当前周期的下一个周期调整所述第五物理机的资源超卖系数；

迁移单元，在所述当前周期的下一个周期将所述第五物理机上的至少一个虚拟机迁移出去。

本发明的上述技术方案的有益效果如下：

本发明中，获取云计算系统的资源池的资源超卖系数在当前周期的第一值；

根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。通过资源池资源超卖系数的设置，并且动态调整资源超卖系数，能够增加资源的利用率。

附图说明

图1为本发明所述的一种云计算系统的调度方法的流程示意图；

图2为图1所示的一种云计算系统的调度方法的后续流程示意图；

图3为本发明所述的一种云计算系统的调度装置的结构示意图；

图4为本发明的应用场景中云计算调度系统的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

首先描述本发明的基本原理。

通常，分配给虚拟机的资源使用率小于100％，大多数系统的使用率为10％－30％。根据此特征，我们对资源池设置资源超卖系数(P_over)，分配算法中可用于资源分配调度的资源总数为实际资源与资源超卖系数的乘积(R_sheduled＝R_real*P_over，其中，R_sheduled为资源分配调度的资源总数，R_real为实际资源)。通过人为地放大资源量，从而使单个物理服务器可以容纳更多的虚拟机。当前虚拟化技术可以让虚拟机之间共享复用物理服务器，虚拟机之间自然错峰削谷，整体达到节能优化的效果。根据统计规律来看，一般虚拟机的利用率通常稳定在一个区间内变动，基本可以分为空闲、低使用率、正常、繁忙等几类(可以分别对应利用率为0-25％，25-50％，50-75％，75-100％等几个区间)。针对以上的利用率分布区间，系统中设置多个具有不同的资源超卖系数的物理资源池，每一个虚拟机根据它的资源利用率区间可以找到一个合适的资源池来运行,以达到最大化复用物力资源，同时满足业务需求的效果。例如，假设系统将虚拟机资源利用率分为0-25％、25-50％、50-75％、75-100％等4个区间，则设置4个资源池资源超卖系数分别为1/0.125＝8,1/0.375＝2.6,1/0.625＝1.6,1/0.875＝1.14等。将虚拟机按照资源利用率分别放到4个资源池。对于因资源复用匹配度差距过大有可能会受到剧烈影响的虚拟机，通过将虚拟机迁移到其他物理资源池，满足虚拟机的性能要求。假设，当前虚拟机在资源利用率0-25％的资源池，对应资源超卖系数为8，预测下个周期虚拟机资源利用率会到60％，应对应资源超卖系数1.6的资源池，则可认为这个虚拟机性能会受到影响，当前资源池不满足其后续运行性能需要。另外，每个资源池的资源超卖系数，通过统计数据来进行微调，可以达到最佳的资源超卖效果，同时满足系统支持的业务性能要求。以下具体通过实施例来说明。

如图1所示，为本发明所述的云计算系统的调度方法，包括：

步骤11，获取云计算系统的资源池的资源超卖系数在当前周期的第一值；本文所述的周期可以为预测周期。该步骤中，云计算系统的资源池的资源超卖系数在当前周期的第一值可以预先设定，后续阶段，则对资源超卖系数的值进行调整，来达到最佳的资源利用率。

步骤12，根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；

步骤13，判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；

步骤14，如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；

步骤15，否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。

换句话说，该步骤中，对比资源池的资源超卖系数当前值和资源超卖系数预测值，获得后续计算需要的资源超卖系数目标值，如果差别在一定范围内(例如差值为0.3)，则不生成资源池超卖系数调整指令，资源超卖系数目标值＝资源超卖系数的当前值，否则资源超卖系数目标值＝＝资源超卖系数的预测值。

其中，步骤12包括：

步骤121，对所述资源池的每个物理机的所有虚拟机的历史资源利用率取平均值，计算得到每个物理机对应的第一平均值；所述虚拟机的历史资源利用率根据以下步骤生成：将所述虚拟机的历史资源实际使用量与所述虚拟机历史资源配置量之间的比值，作为所述虚拟机的历史资源利用率。

步骤122，将所述第一平均值分别乘以一常数，得到每个物理机对应的一个乘积；

步骤123，对所述资源池的所有物理机对应的乘积取平均值，计算得到第二平均值，作为所述资源超卖系数在所述当前周期的下一周期的预测值。

以下具体描述资源池的资源超卖系数的预测值的计算方法。

计算资源池的整体资源超卖系数P_over需要基于物理服务器(也称为物理机)资源池中每个物理服务器的资源超卖系数M_over来计算，每个物理服务器的资源超卖系数M_over，需要综合考虑在其上运行的所有虚拟机的监控数据中的资源利用率和资源实际使用量，同时需要考虑最近多个计算周期的信息。

一种简单的做法为：采用简单的平均计算，来预测下个周期的资源超卖系数，公式如下

M_over＝f*F_Average(R_vmi.use/R_vmi.alloc)、

P_over＝F_Average(M_over)

其中，M_over为物理机的资源超卖系数，P_over为资源池的资源超卖系数，f为系统的一个经验配置，也就是上文所述的常数；F_Average为平均值函数。R_vmi.use表示虚拟机的资源实际使用量(如实际使用内存)，R_vmi.alloc表示虚拟机的资源配置量(如内存的大小)。

实际过程中，需要综合多个预测周期的结果，可以采用如下的预测算法来计算下一个周期的单个物理服务器的资源超卖系数，

M_over＝f_t-2M_over.t-2+f_t-1M_over.t-1+f_tM_over.t

其中，M_over.t为当前预测周期得到的资源超卖系数，M_over.t-i为前i个预测周期的结果，f_t-i为系统设置的经验系数。其中，经验系数可以根据实际情况具体设定。

对于资源池的资源超卖系数的确定过程，则需要采用数据分析中的各种聚类算法，如划分法(PartitioningMethods)、层次法(HierarchicalMethods)、基于密度的方法(density-basedmethods)、基于网格的方法(grid-basedmethods)、基于模型的方法(Model-BasedMethods)等来获取资源池中主机

M_over的分布情况，得到几个分布区间，然后采用与Mover类似的加权平均算法确定最终的P_over方法。划分法、层次法等数据分析算法均为已有技术，都可以用于预测资源超卖系数，本文不详述。另外，当P_over的变化不大，并不改变资源池的P_over来达到一定的平滑效果。实际工程上会设计资源超卖系数训练系统，根据不同的训练算法来评判多种算法的预测效果。

可选的，所述的方法，还包括：

步骤15，获取所述资源池的可超卖资源总量；该步骤具体为：将所述资源池中的所有物理机的资源总容量与所述资源超卖系数在所述当前周期的下一周期的目标值的乘积，作为所述资源池的可超卖资源总量。

步骤16，根据所述资源池的资源实际使用量的历史数据，生成所述资源池的资源使用量在所述下一周期的预测值；该步骤可以例如为：将所述资源池当前周期的资源实际使用量，作为所述资源池的资源使用量在所述下一周期的预测值。也可以根据当前周期以及当前周期的前几个周期的资源实际使用量，来评估所述资源池的资源使用量在所述下一周期的预测值。

步骤17，比较所述可超卖资源总量与所述资源使用量在所述下一周期的预测值之间的大小，得到比较结果；

步骤18，根据所述比较结果，进行相应操作。

步骤18包括：

步骤181，当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第二阈值时，则允许其他资源池的业务迁入；第二阈值的目的是使得资源池预留容量，以应付新增虚拟机和虚拟机资源突发需求。

步骤182，当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第三阈值时，从所述资源池中选择至少一个第一物理机；将所述第一物理机上的所有虚拟机迁移至所述资源池中的除所述第一物理机外的其他物理机；关闭所述第一物理机；所述从所述资源池中选择至少一个第一物理机的步骤具体为：按照物理机上设置的虚拟机的数量大小，从所述资源池中选择至少一个第一物理机；例如，选择虚拟机设置较少的物理机，使得因迁移而受到影响的虚拟机尽可能少。或者，所述从所述资源池中选择至少一个第一物理机的步骤具体为：按照物理机的资源容量大小，从所述资源池中选择至少一个第一物理机。例如，选择物理机的资源容量较小的物理机。

步骤183，当所述可超卖资源总量大于所述资源总使用量的预测值时，从所述资源池中选择至少一个第二物理机，所述第二物理机在下一周期的可超卖资源量小于所述第二物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第二物理机中选择至少一个第二虚拟机，将所述第二虚拟机迁移到所述资源池的其他物理机；所述从所述第二物理机中选择至少一个第二虚拟机的步骤具体为：按照虚拟机在下一周期的资源利用率的预测值与所述资源池的资源利用率的历史平均值之间的差值的大小，从所述第二物理机中选择至少一个第二虚拟机。上述应用场景为在同一资源池中进行业务迁移的场景，当所述虚拟机在下一周期的资源利用率的预测值与所述资源池的资源利用率的历史平均值之间的差值绝对值的越大时，则优先选择该虚拟机，进行业务迁出。

步骤184，当所述可超卖资源总量小于或等于所述资源总使用量的预测值时，开启新的物理机；从所述资源池中选择至少一个第三物理机，所述第三物理机在下一周期的可超卖资源总量小于所述第三物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第三物理机中选择至少一个第三虚拟机；将所述第三虚拟机迁移到所述新的物理机。选择第三虚拟机的依据同步骤183.

步骤185，当所述可超卖资源总量小于所述资源总使用量的预测值，从所述资源池中选择至少一个第四物理机，所述第四物理机在下一周期的可超卖资源量小于所述第四物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第四物理机中选择至少一个第四虚拟机；将所述第四虚拟机迁移到其他资源池。选择第三虚拟机的依据同步骤183。其中，所述第四物理机在下一周期的可超卖资源量可以根据所述资源超卖系数在下一周期的目标值来计算。具体为：所述资源超卖系数在下一周期的目标值乘以所述第四物理机的资源容量，作为所述第四物理机在下一周期的可超卖资源量。所述物理机上的所有虚拟机在下一周期的资源使用总量的预测值可以根据所述物理机的各个虚拟机的资源使用量的历史数据生成。

如图2所示，可选的，所述的方法，还包括：

步骤19，获取所述资源池中的第五物理机在当前周期的资源利用率；

步骤110，判断所述第五物理机在所述当前周期的资源利用率是否大于告警值；

步骤111，如果大于，则调整所述第五物理机的虚拟机在当前周期的最大可使用资源量；

步骤112，在所述当前周期的下一个周期调整所述第五物理机的资源超卖系数或者在所述当前周期的下一个周期将所述第五物理机上的至少一个虚拟机迁移出去。

具体来说，虚拟机和物理服务器运行状态变化信息用于提供某一个时间点资源使用突变的情况。尽管根据统计数据为虚拟机预留了资源，但是具体到某一台虚拟机的某个时间点，由于应用的突发需求，资源需求可能扩大很多。如果资源需求的突然扩大，导致物理服务器的资源利用率到达告警值，策略调度模块会临时调整该物理服务器上的虚拟机，保证虚拟机的正常运行。具体为：调整(降低)虚拟机的资源上限，临时限制虚拟机的最大资源使用量，以免影响其他虚拟机，此操作会短暂限制虚拟机的性能，待下一周期通过迁移或资源调整来满足资源需求。同时，在下一个周期时进一步调整资源超卖系数或者通过迁移虚拟机到资源超卖系数较低的资源池，以保证后续虚拟机的正常运行。

如图3所示，本发明提供一种云计算系统的调度装置，包括：

第一获取单元21，获取云计算系统的资源池的资源超卖系数在当前周期的第一值；

第一生成单元22，根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；

第一判断单元23，判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；

调整单元24，如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。

所述第一生成单元22包括：

第一平均计算子单元221，对所述资源池的每个物理机的所有虚拟机的历史资源利用率取平均值，计算得到每个物理机对应的第一平均值；

乘法子单元222，将所述第一平均值分别乘以一常数，得到每个物理机对应的一个乘积；

第二平均计算子单元223，对所述资源池的所有物理机对应的乘积取平均值，计算得到第二平均值，作为所述资源超卖系数在所述当前周期的下一周期的预测值。

所述的装置，还包括：

第二获取单元25，获取所述资源池的可超卖资源总量；

第二生成单元26，根据所述资源池的资源实际使用量的历史数据，生成所述资源池的资源使用量在所述下一周期的预测值；

第二比较单元27，比较所述可超卖资源总量与所述资源使用量在所述下一周期的预测值之间的大小，得到比较结果；

操作单元28，根据所述比较结果，进行相应操作。

所述操作单元包括：

第一选择子单元281，当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第三阈值时，从所述资源池中选择至少一个第一物理机

第一迁移子单元282，将所述第一物理机上的所有虚拟机迁移至所述资源池中的除所述第一物理机外的其他物理机；

关闭子单元283，关闭所述第一物理机；

或者，所述操作单元28包括：

第二选择子单元284，当所述可超卖资源总量大于所述资源总使用量的预测值时，从所述资源池中选择至少一个第二物理机，所述第二物理机在下一周期的可超卖资源量小于所述第二物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第三选择子单元285，从所述第二物理机中选择至少一个第二虚拟机；

第二迁移子单元286，将所述第二虚拟机迁移到所述资源池的其他物理机；

或者，所述操作单元28包括：

开启单元287，当所述可超卖资源总量小于或等于所述资源总使用量的预测值时，开启新的物理机；

第四选择子单元288，从所述资源池中选择至少一个第三物理机，所述第三物理机在下一周期的可超卖资源总量小于所述第三物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第五选择子单元289，从所述第三物理机中选择至少一个第三虚拟机；

第三迁移子单元2810，将所述第三虚拟机迁移到所述新的物理机；

或者，所述操作单元28包括：

第六选择子单元2811，当所述可超卖资源总量小于所述资源总使用量的预测值，从所述资源池中选择至少一个第四物理机，所述第四物理机在下一周期的可超卖资源量小于所述第四物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第七选择子单元2812，从所述第四物理机中选择至少一个第四虚拟机；

第四迁移子单元2813，将所述第四虚拟机迁移到其他资源池。

所述的装置，还包括：

第三获取到单元29，获取所述资源池中的第五物理机在当前周期的资源利用率；

第三判断单元210，判断所述第五物理机在所述当前周期的资源利用率是否大于告警值；

第二调整单元211，如果大于，则调整所述第五物理机的虚拟机在当前周期的最大可使用资源量；在所述当前周期的下一个周期调整所述第五物理机的资源超卖系数；

迁移单元212，在所述当前周期的下一个周期将所述第五物理机上的至少一个虚拟机迁移出去。

以下描述本发明的应用场景。本应用场景为一种基于动态资源超卖系数的云计算调度系统。

以下描述云计算调度系统的工作流程。

步骤1，根据虚拟机若干个时间周期的资源利用率，预测未来一个时间周期的资源利用率；

步骤2，计算资源池的整体资源利用率，通过若干个时间周期的资源利用率，预测未来一个时间周期的资源超卖系数；

步骤3，对比资源池当前资源超卖系数和预测的资源超卖系数，获得未来一个时间周期的资源超卖系数(如果差别在一个范围内如0.3，则不生成资源池超卖系数调整指令，目标超卖系数＝现在的资源超卖系数，否则目标超卖系数＝预测超卖系数)；

步骤4，使用目标超卖系数计算资源池中各物理机的可超卖资源总量，同时计算所有虚拟机的预测资源使用总量。循环对比每个物理机和虚拟机，当物理机不能满足其上运行的虚拟机的资源使用总量时，迁移某些虚拟机到其他物理机，生成迁移虚拟机指令(迁移虚拟机指令会导致迁移目标物理机重新计算是否满足资源需求)；

步骤5，当资源池使用目标资源超卖系数无法满足所有虚拟机未来资源总量时，优先选择将虚拟机中未来的资源利用率与本资源池整体平均利用率相差过大(如0.3)的虚拟机迁移到其他资源池；

步骤6，当虚拟机不能迁移至其他资源池时(即其他资源池也没有额外资源容量)，启动给资源池增加物理机的流程(将预留主机中增加到资源池，同时迁移某些虚拟机到新的物理机，优先选择步骤5中筛选出的虚拟机)

步骤7，当资源池使用目标资源超卖系数计算总资源容量后，资源容量远大于现有虚拟机的预测资源使用量，计算保留预留容量(应付新增虚拟机和虚拟机资源突发需求)后，选择当前运行虚拟机较少的物理机将其上运行的虚拟机迁移至其他物理机，然后将这些物理机执行电源关闭操作。

步骤8，将上述4,5,6,7步骤中生成的迁移虚拟机和关闭物理机、增加物理机指令统一排队，过滤冗余操作指令后进入任务执行引擎；

步骤9，在下一个时间周期，重复1-8步骤。

以下描述系统的内部结构。

本方案基于资源监控统计的云计算调度系统包括7个控制模块、控制虚拟机和物理服务器这2种对象，以及1个监控记录数据库。

7个控制模块的功能如下：

●方案的核心模块是策略调度模块。这个模块根据虚拟机和物理服务器的监控统计数据，结合虚拟机和物理服务器的当前配置信息、运行状态，制定虚拟机的调度策略，并把相关的控制信息传递给其它的模块；

●监控模块,负责收集虚拟机和物理服务器的运行状态信息，包括资源利用率等信息，并把状态的变化记录传递给监控数据采集模块和策略调度模块；

●监控数据采集器,根据策略调度模块传递过来的监控要求过滤监控信息，并把信息保存到数据库；这个模块主要采集虚拟机在每个小的时间间隔的资源使用记录，包括CPU和内存等资源的分配上限和实际使用量；数据采集的时间间隔值是该调度系统的系统参数；

●数据分析模块,负责统计分析数据库中的监控采集数据，并把统计结果记录在单独的数据表内。

●资源超卖系数训练系统,负责根据数据分析系统获取的基础分析数据，运用各种数据分析算法进行资源超卖系数的分析和预测；

●资源配置模块,负责落实策略调度模块制定的各个调度指令(例如虚拟机的在线迁移指令、资源池的资源复用调整、物理服务器的开关机指令等)，并把当前的配置信息传递给策略调度模块。

●资源池管理模块,负责调整资源池的资源超卖系数设置，同时管理不同复用率的资源池的资源数量。必要时，从后备的资源池给不同资源池补充资源。

以下描述数据分析模块的工作原理。

数据分析模块接到策略调度模块的数据请求后，首先需要从监控数据库读取数据，获取最近Δt内的每个采样点的虚拟机资源利用率数据R_ij，计算每台虚拟机在最近Δt内的资源使用峰值(R_iPeak)和资源使用平均值(R_i.Ave)。

R_iPeak＝F_Max(R_ij)(公式1)

R_iAve＝F_Average(R_ij)(公式2)

以上公式分别表示虚拟机i在最近Δt内每个资源利用率采样点数据R_ij的最大值函数F_Max和平均值函数F_Average。

统计出来数据结果传递给策略调度模块，同时把统计结果记录在监控数据库，用于报表输出和历史查询等用途。

以下描述策略调度模块的工作原理。

策略调度模块制定策略的依据来自于监控模块、监控数据分析模块、和资源配置模块的信息。

监控统计信息具体可以分为以下几类：

(1)所有虚拟机在每个Δt时间内的资源分配总量统计；

(2)所有虚拟机在每个Δt时间内的实际使用的资源总量统计；

(3)每台虚拟机在每个Δt时间内的资源配置量；

(4)每台虚拟机在每个Δt时间内实际的资源利用率；

系统实际存储若干天的各类监控数据，具体的数据保存天数根据整个云系统具体应用环境和经验值确定，是一个系统参数。

利用数据(1)和(2)可以知道在最近Δt时间内整个云系统把多少资源分配给系统内的虚拟机。对这些监控数据使用公式1和2，可以计算出所有虚拟机实际使用的资源总量的平均值和峰值，采用预测模型如贝叶斯算法或神经网络算法，计算即将到来的下一个Δt时间段所有虚拟机的资源总量的预测值。系统设计上可以实现多个预测模型，用于获取最佳的预测效果。

利用数据(3)和(4)可以知道具体的某一台虚拟机在上一个Δt时间段实际使用的资源总量的平均值和峰值，以及虚拟机资源配置量。根据这些信息，可以将上一个Δt时间段的资源实际使用量作为下一个Δt时间段虚拟机的资源使用量的预测值。通过计算当前某个物理主机上运行的所有虚拟机资源使用量预测值，与物理服务器实际能够提供的资源量比较，可以预测未来Δt时间段当前主机是否适合运行此虚拟机。如果当前物理服务器的资源超卖系数过高，运行过多的虚拟机不能满足该虚拟机的运行资源需要，将虚拟机迁移到其他资源充足的主机或调整资源池的资源超卖系数。

虚拟机和物理服务器资源池的当前配置信息包括以下的内容：

(1)每台物理服务器的运行状态(运行/启动)；

(2)每台物理服务器的资源配置(例如，CPU，内存和磁盘容量等数据)；

(3)每台物理服务器的超卖系数及物理服务器资源池的超卖系数

(4)每台物理服务器上运行的具体虚拟机编号；

(5)每台虚拟机的配置要求(例如，CPU，内存和磁盘容量等数据)。

策略调度模块根据物理服务器的资源配置和运行的虚拟机配置信息，可以知道下一个时间段的资源是盈余还是缺少，为物理服务器资源超卖系数调整提供资源依据。

以下描述资源池资源超卖系数的调整方法。

资源池中的所有虚拟机反应了整体的资源利用率。通过统计数据可以计算出资源池中运行的虚拟机的整体资源利用率，通过本文算法可以得出预测的资源超卖系数。当实际资源超卖系数和预测值具有较大差异时，启动超卖系数调整流程。

计算资源池的整体资源超卖系数P_over需要基于物理服务器资源池中每个物理服务器的资源超卖系数M_over来计算，每个物理服务器的资源超卖系数(M_over，需要综合考虑在其上运行的所有虚拟机监控数据中的资源利用率和实际资源使用量，同时需要考虑最近多个计算周期的信息。

一种简单的做法采用简单的平均计算预测下个周期的资源超卖系数，公式如下

M_over＝f*F_Average(R_vmi.use/R_vmi.alloc)、

P_over＝F_Average(M_over)

其中f为系统的一个经验配置。其中R_vmi.use表示虚拟机实际使用的资源(如实际使用内存)，R_vmi.alloc表示虚拟机资源配置(如内存大小)的中文。

实际过程中需要综合多个预测周期的结果，可以采用如下的预测算法来计算下一个周期的单个物理服务器的资源超卖系数，

M_over＝f_t-2M_over.t-2+f_t-1M_over.t-1+f_tM_over.t

其中，M_over.t为当前预测周期得到的资源超卖系数，M_over.t-i为前i个预测周期的结果，f_t-i为系统设置的经验系数。其中，经验系数可以根据实际情况具体设定。

对于资源池的资源超卖系数的确定过程需要则采用数据分析中的各种聚类算法，如划分法(PartitioningMethods)、层次法(HierarchicalMethods)、基于密度的方法(density-basedmethods)、基于网格的方法(grid-basedmethods)、基于模型的方法(Model-BasedMethods)等来获取资源池中主机

M_over的分布情况，得到几个分布区间，然后采用与Mover类似的加权平均算法确定最终的P_over方法。另外，当P_over的变化不大，并不改变资源池的P_over来达到一定的平滑效果。实际工程上会设计资源超卖系数训练系统，根据不同的训练算法来评判多种算法的预测效果。

以下描述虚拟机的调度方法。

在某个时间段Δt(类似于上述的当前周期)内，策略调度模块开始作下一个时间段Δt+1(类似于上述的当前周期的下一周期)的虚拟机的调度计划。具体的调度方法步骤如下：

(1)从监控数据分析模块收集Δt内的资源占用总量R_Δt，基于此，预测模型预测Δt+1的资源占用总量R_Δt+1。

(2)如果R_Δt+1>R_Δt,意味着下一个阶段虚拟机将会使用更多的物理资源，策略调度模块安排开始为Δt+1时间计算虚拟机合适的资源可复用比，以满足虚拟机性能要求。

(3)计算出资源池Δt的资源实际利用率，并使用上文描述的算法，预测下时间段Δt+1资源池的目标资源超卖系数。

(4)对比资源池中所有虚拟机Δt+1时间资源使用量预测值总和与物理服务器资源与资源池的资源超卖系数的乘积。当虚拟机资源使用总量预测值大于乘积时，将某些虚拟机迁移至其他的物理服务器，生成虚拟机迁移和资源池资源系数调整计划。

(5)根据上一步制定的虚拟机迁移计划，迁移虚拟机。

本方具有以下有益效果：

(1)本发明通过对监控采集统计数据的利用，保证虚拟机获得充足计算资源的同时，最大程度的减少资源池的总体资源开销。同时提出了资源复用比调整的思路这一资源调整方式。

(2)本发明基于监控统计的调度同时，能够结合监控信息对突变的资源请求进行补充调度。在虚拟机的资源需求突然增大的时候，系统可以为虚拟机安排足够的资源，更加适应资源需求有不可预测性的计算任务。

(3)本发明考虑到下一个时间段Δt+1虚拟机的资源需求范围，调度策略可以为虚拟机预留充足的资源，保证Δt+1内虚拟机上运行的业务应用有充足资源，不会受虚拟机迁移等因素的干扰。

(4)本发明考虑到资源池的资源需求总量、物理资源、虚拟机需求的因素，资源池的分配更加充分；同时可以给出量化的指标，体现调度方法节约的资源数值。

(5)本发明的虚拟机的资源需求数据来自于历史统计数据，数据获取的方法更加切实可行，容易落地。

(6)本发明考虑到每个时间段Δt+1虚拟机的资源需求范围，使得算法可以适用于资源需求波动的计算任务。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种云计算系统的调度方法，其特征在于，包括：

获取云计算系统的资源池的资源超卖系数在当前周期的第一值；

根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；

判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；

如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值的步骤包括：

对所述资源池的每个物理机的所有虚拟机的历史资源利用率取平均值，计算得到每个物理机对应的第一平均值；

将所述第一平均值分别乘以一常数，得到每个物理机对应的一个乘积；

对所述资源池的所有物理机对应的乘积取平均值，计算得到第二平均值，作为所述资源超卖系数在所述当前周期的下一周期的预测值。

3.根据权利要求2所述的方法，其特征在于，所述虚拟机的历史资源利用率根据以下步骤生成：

将所述虚拟机的历史资源实际使用量与所述虚拟机历史资源配置量之间的比值，作为所述虚拟机的历史资源利用率。

4.根据权利要求1所述的方法，其特征在于，还包括：

根据所述资源超卖系数在下一周期的目标值，计算所述资源池的可超卖资源总量；

根据所述资源池的资源实际使用量的历史数据，生成所述资源池的资源使用量在所述下一周期的预测值；

比较所述可超卖资源总量与所述资源使用量在所述下一周期的预测值之间的大小，得到比较结果；

根据所述比较结果，进行相应操作。

5.根据权利要求4所述的方法，其特征在于，所述根据所述资源超卖系数在下一周期的目标值，计算所述资源池的可超卖资源总量的步骤具体为：

将所述资源池中的所有物理机的资源总容量与所述资源超卖系数在所述当前周期的下一周期的预测值的乘积，作为所述资源池的可超卖资源总量。

6.根据权利要求4所述的方法，其特征在于，所述根据所述比较结果，进行相应操作的步骤包括：

当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第二阈值时，则允许其他资源池的业务迁入；

当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第三阈值时，从所述资源池中选择至少一个第一物理机；将所述第一物理机上的所有虚拟机迁移至所述资源池中的除所述第一物理机外的其他物理机；关闭所述第一物理机；

当所述可超卖资源总量大于所述资源总使用量的预测值时，从所述资源池中选择至少一个第二物理机，所述第二物理机在下一周期的可超卖资源量小于所述第二物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第二物理机中选择至少一个第二虚拟机，将所述第二虚拟机迁移到所述资源池的其他物理机；

当所述可超卖资源总量小于或等于所述资源总使用量的预测值时，开启新的物理机；从所述资源池中选择至少一个第三物理机，所述第三物理机在下一周期的可超卖资源总量小于所述第三物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第三物理机中选择至少一个第三虚拟机；将所述第三虚拟机迁移到所述新的物理机；

当所述可超卖资源总量小于所述资源总使用量的预测值，从所述资源池中选择至少一个第四物理机，所述第四物理机在下一周期的可超卖资源量小于所述第四物理机上的所有虚拟机在下一周期的资源使用量的预测值；从所述第四物理机中选择至少一个第四虚拟机；将所述第四虚拟机迁移到其他资源池。

7.根据权利要求6所述的方法，其特征在于，所述从所述资源池中选择至少一个第一物理机的步骤具体为：

按照物理机上设置的虚拟机的数量大小，从所述资源池中选择至少一个第一物理机；或者

按照物理机的资源容量大小，从所述资源池中选择至少一个第一物理机。

8.根据权利要求6所述的方法，其特征在于，所述从所述第二物理机中选择至少一个第二虚拟机的步骤具体为：

按照虚拟机在下一周期的资源利用率的预测值与所述资源池的资源利用率的历史平均值之间的差值的大小，从所述第二物理机中选择至少一个第二虚拟机。

9.根据权利要求1所述的方法，其特征在于，还包括：

获取所述资源池中的第五物理机在当前周期的资源利用率；

判断所述第五物理机在所述当前周期的资源利用率是否大于告警值；

如果大于，则调整所述第五物理机的虚拟机在当前周期的最大可使用资源量；

在所述当前周期的下一个周期调整所述第五物理机的资源超卖系数或者在所述当前周期的下一个周期将所述第五物理机上的至少一个虚拟机迁移出去。

10.一种云计算系统的调度装置，其特征在于，包括：

第一获取单元，获取云计算系统的资源池的资源超卖系数在当前周期的第一值；

第一生成单元，根据所述资源池的资源利用率的历史数据，生成所述资源超卖系数在所述当前周期的下一周期的预测值；

第一判断单元，判断所述第一值与所述预测值之间的差值的绝对值是否超过第一阈值；

调整单元，如果超过所述第一阈值，则将所述资源超卖系数在下一周期的目标值调整为所述预测值；否则，将所述资源超卖系数在下一周期的目标值保持为所述第一值。

11.根据权利要求10所述的装置，其特征在于，所述生成单元包括：

第一平均计算子单元，对所述资源池的每个物理机的所有虚拟机的历史资源利用率取平均值，计算得到每个物理机对应的第一平均值；

乘法子单元，将所述第一平均值分别乘以一常数，得到每个物理机对应的一个乘积；

第二平均计算子单元，对所述资源池的所有物理机对应的乘积取平均值，计算得到第二平均值，作为所述资源超卖系数在所述当前周期的下一周期的预测值。

12.根据权利要求10所述的装置，其特征在于，还包括：

第二获取单元，获取所述资源池的可超卖资源总量；

第二生成单元，根据所述资源池的资源实际使用量的历史数据，生成所述资源池的资源使用量在所述下一周期的预测值；

第二比较单元，比较所述可超卖资源总量与所述资源使用量在所述下一周期的预测值之间的大小，得到比较结果；

操作单元，根据所述比较结果，进行相应操作。

13.根据权利要求12所述的装置，其特征在于，

所述操作单元包括：

第一选择子单元，当所述可超卖资源总量大于所述资源总使用量的预测值，且所述可超卖资源总量与所述资源总使用量的预测值之间的差值大于第三阈值时，从所述资源池中选择至少一个第一物理机

第一迁移子单元，将所述第一物理机上的所有虚拟机迁移至所述资源池中的除所述第一物理机外的其他物理机；

关闭子单元，关闭所述第一物理机；

或者，所述操作单元包括：

第二选择子单元，当所述可超卖资源总量大于所述资源总使用量的预测值时，从所述资源池中选择至少一个第二物理机，所述第二物理机在下一周期的可超卖资源量小于所述第二物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第三选择子单元，从所述第二物理机中选择至少一个第二虚拟机；

第二迁移子单元，将所述第二虚拟机迁移到所述资源池的其他物理机；

或者，所述操作单元包括：

开启单元，当所述可超卖资源总量小于或等于所述资源总使用量的预测值时，开启新的物理机；

第四选择子单元，从所述资源池中选择至少一个第三物理机，所述第三物理机在下一周期的可超卖资源总量小于所述第三物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第五选择子单元，从所述第三物理机中选择至少一个第三虚拟机；

第三迁移子单元，将所述第三虚拟机迁移到所述新的物理机；

或者，所述操作单元包括：

第六选择子单元，当所述可超卖资源总量小于所述资源总使用量的预测值，从所述资源池中选择至少一个第四物理机，所述第四物理机在下一周期的可超卖资源量小于所述第四物理机上的所有虚拟机在下一周期的资源使用量的预测值；

第七选择子单元，从所述第四物理机中选择至少一个第四虚拟机；

第四迁移子单元，将所述第四虚拟机迁移到其他资源池。

14.根据权利要求10所述的装置，其特征在于，还包括：

第三获取到单元，获取所述资源池中的第五物理机在当前周期的资源利用率；

第三判断单元，判断所述第五物理机在所述当前周期的资源利用率是否大于告警值；

第二调整单元，如果大于，则调整所述第五物理机的虚拟机在当前周期的最大可使用资源量；在所述当前周期的下一个周期调整所述第五物理机的资源超卖系数；

迁移单元，在所述当前周期的下一个周期将所述第五物理机上的至少一个虚拟机迁移出去。