CN106603661B

CN106603661B - 一种适用于云平台的动态资源平衡调度方法

Info

Publication number: CN106603661B
Application number: CN201611155885.8A
Authority: CN
Inventors: 刘勇彬; 杨松; 季统凯
Original assignee: G Cloud Technology Co Ltd
Current assignee: G Cloud Technology Co Ltd
Priority date: 2016-12-14
Filing date: 2016-12-14
Publication date: 2019-08-30
Anticipated expiration: 2036-12-14
Also published as: CN106603661A

Abstract

本发明涉及云计算管理技术领域，特别是指一种适用于云平台的动态资源平衡调度方法。本发明方法是先设置计算节点监控指标频率相关参数，经采集样本后通过标准方差公式评估数据是否有效；将有效数据与设置阈值进行对比；根据对比结果决定如何调度虚拟机平衡计算节点资源。本发明解决了云平台虚拟机高成功率的灵活、全面的动态调度；可以适用于云平台的动态资源平衡调度。

Description

一种适用于云平台的动态资源平衡调度方法

技术领域

本发明涉及云计算管理技术领域，特别是指一种适用于云平台的动态资源平衡调度方法。

背景技术

当前云平台管理中，DRS(Distributed Resource Scheduler，虚拟机动态调度)，是指在云平台的管理中，为了达到节能或性能最优的目的，根据从每台物理机上采集的调度因素数值分析，自动将部分虚拟机在物理机之间进行迁移。一般是通过分析从每台物理机上采集的调度因素的数值做出迁移决定，分为节能模式和性能模式。在节能模式下，若某物理机A采集的调度因素数值低于最佳范围，并且存在物理机B的调度伊苏数值处于最佳范围内，则将物理机B作为迁移的目标虚拟机，将物理机A上的虚拟机一台一台地迁移至物理机B，直到物理机A上的虚拟机全部迁移完。在性能模式下，若某物理机A调度因素数值高于最佳范围，并且存在物理机B的调度因素数值低于最佳范围，则将物理机B作为目标虚拟机，将物理机A上的虚拟机一台一台地迁移至物理机B，直到物理机A的调度因素数值在最佳范围内。这两种方法存在以下弊端：

一是调度因素存在一定的局限性，对于很多云厂家只是单纯的考虑单一的因素，比如只考虑虚拟机的CPU利用率或内存利用率等，有可能调度的时候出现风险，比如监测到节点1CPU利用率高和节点2CPU利用率低就将虚拟机迁移至节点2，完全忽略了节点2可能内存利用率已经很高的情况。

二是设置复杂，有可能因为错误的设置而导致宕机，连vMware这种成熟的产品在用户设置DRS时，都推荐高级人员才能使用，非专业人员有可能设置循环调度，即虚拟机不停的再各个计算节点漂移。

三无论是性能模式还是节能模式，都没有有效考虑各个计算节点的各项指标的平衡性，调度判断依据不够准确，实时监测到的数据有可能是瞬时的，只是刚好高峰的时候，此时执行调度很容易出现更差的资源利用率。

为了支持有特殊要求的虚拟机进行动态调度，并提高调度成功率，需要一种更为灵活、全面的动态调度方法。

发明内容

本发明解决的技术问题在于提供一种适用于云平台的动态资源平衡调度方法，解决现有监控方法的不足，为云计算环境下各个计算节点提供一个动态资源平衡调度的解决方案。

本发明解决上述问题的技术方案是：

所述的方法是先设置计算节点监控指标频率相关参数，经采集样本后通过标准方差公式评估数据是否有效；若标准方差在10以内，表示为有效指标项，获得众多指标项平均值；若标准方差无效则计算节点不纳入本次调度；将有效数据与设置阈值进行对比；根据对比结果决定如何调度虚拟机平衡计算节点资源。

所述方法包括如下步骤：

步骤1：设置计算节点监控指标最大最小阈值，资源监控指标样本采集时长；

步骤2：采集计算节点监控指标数据集合；

步骤3：分析数据集合，获取指标项标准方差，若标准方差在10以内，表示为有效指标项，获得众多指标项平均值，若标准方差无效则计算节点不纳入本次调度；

步骤4：对比平均值，获取每个节点最大最小平均值的两项指标，包括节点N1,CPU：80％，内存10％；节点N2,内存:70％，IO:10％；节点N3，IO:75％,CPU：10％；

步骤5：对比设置的最大最小阈值，当获取最大最小平均值超出最大或者最小阈值时，纳入调度队列，若未超出阈值范围则计算节点不纳入调度队列；

步骤6：执行调度，对比纳入调度策略所有计算节点同一指标项，将占用指标项最大的虚拟机热迁移至占用指标项最小的计算节点，将节点N1占用CPU利用最大的虚拟机热迁移至节点N3；将节点2里面占用内存利用率最大的虚拟机热迁移至节点N1；将节点N3里面占用IO最大的虚拟机热迁移至N2；

步骤7：完成调度，进入下一轮分析。

所述的步骤1的计算节点监控指标，是指计算节点CPU利用率、内存利用率、磁盘IO利用率、带宽利用率；

所述的最大最小阈值，是指定各项监控指标触发调度的范围；

所述的样本采集时长，是指获取多长时间的样本；设置时长越大，计算出来的数据有效性越准确。

所述的分析数据集合，是指根据监控频率采集到的一组数据集合，该数据集合展现了在一段时间范围内，监控资源项指标的变化曲线；

所述的标准方差，用来衡量采集到的样本数据集合是否有效；

所述的有效指标，是指采集的样本数据波动范围不大，计算节点当前监控指标项资源需求平稳，可纳入调度分析。

所述的每个节点最大最小平均值的两项指标，是指每个节点的CPU利用率，内存利用率，磁盘利用率，带宽利用率四个样本数据集合，先得出每个样本数据集合的平均值，然后分别取最大的和最小的两项指标。

所述的标准方差公式，如下：

其中，是标准方差值，r是数据平均值，N是采集个数，s_i是第i次采集数值。

所述的调度队列，就是参与本次动态资源平衡调度的计算节点数据集合。

本发明的方法适用性高，适用于现在所有的IaaS云平台；本发明的方法资源利用率高，能够尽可能的把所有计算节点资源都利用起来，不会出现资源利用不平衡的情况；本发明的方法可移植性高，对比算法简单明了，只要有做监控的云平台都能快速移植；本发明的方法设置方法简单容易入手，不存在因为设置错误而宕机的情况；本发明的方法准确性更高，通过一段时间的观察才确定调度，而不是监测到出现波动就立马执行调度。。

附图说明

下面结合附图对本发明进一步说明：

图1为本发明的流程图；

图2为本发明的技术原理图。

具体实施方式

如图1、2所示，本发明具体实施过程如下：

步骤1：设置计算节点监控指标最大最小阈值，资源监控指标样本采集时长。

/**

*设置监控项

*@param string min最小阈值，范围0-100％

*@param string max最大阈值，范围0-100％

*@param int timecycle样本采集时长

*@return Boolean sucess设置任务结果

*/

public boolean setDrsValue(String min,String max,int timecycle)

return Rule.setDrsValue(min,max,timecycle)；

}

步骤2：采集计算节点监控指标数据集合。

/**

*监控代理根据监控频率定期上报数据

*@return void无返回结果

*/

public void requestMonitorData(){

return Service.requestMonitorData()；

}

步骤3：分析数据集合，获取指标项标准方差，若标准方差在10以内，表示为有效指标项，获得众多指标项平均值，若标准方差无效则计算节点不纳入本次调度。研究表明，当监控数据集合方差大于10时，监控指标项的波动数据比较大，比如前一秒CPU利用率10，下一秒CPU利用率80，这种情况是个别应用出现临时CPU使用导致，如果因为瞬时监控的CPU利用率高而贸然的将虚拟机调度到空闲节点，有可能会导致闲的节点越闲，负载高的节点负载更高的情况，所以当采集的数据集合标准方差大于10时，建议要持续观察一段时间，不要轻易的做出调度。

所述的标准方差公式，如下：

步骤4：对比平均值，获取每个节点最大最小平均值的两项指标，比如节点N1,CPU：80％，内存10％；节点N2,内存:70％，IO:10％；节点N3，IO:75％,CPU：10％。

/**

*监控管理端分析数据

*@param data监控数据对象

*@return boolean分析结果

*/

public boolean analysis(DataModel data){

return ThresholdRule.analysis(data)；

}

步骤5：对比设置的最大最小阈值，当获取最大最小平均值超出最大或者最小阈值时，纳入调度队列，若未超出阈值范围则计算节点不纳入调度队列。

/**

*监控管理端获取资源调度设置信息

*@param objectId监控项Id

*@return Rule设置信息

*/

public Rule getDrsValue(String objectId){

return Rules.getDrsValue(objectId)；

}

步骤6：执行调度，对比纳入调度策略所有计算节点同一指标项，将占用指标项最大的虚拟机热迁移至占用指标项最小的计算节点，比如节点N1，占用CPU利用最大的虚拟机热迁移至节点N3；将节点2里面占用内存利用率最大的虚拟机热迁移至节点N1；将节点N3里面，占用IO最大的虚拟机热迁移至N2。

步骤7：完成调度，进入下一轮分析。

Claims

1.一种适用于云平台的动态资源平衡调度方法，其特征在于：所述的方法是先设置计算节点监控指标频率参数，经采集样本后通过标准方差公式评估数据是否有效；若标准方差在10以内，表示为有效指标项，获得有效指标项平均值；若标准方差无效则计算节点不纳入本次调度；将有效指标项平均值与设置的阈值进行对比；根据对比结果决定如何调度虚拟机平衡计算节点资源。

2.根据权利要求1所述的动态资源平衡调度方法，其特征在于：所述方法包括如下步骤：

步骤1：设置计算节点监控指标最大和最小阈值，资源监控指标样本采集时长；

步骤2：采集计算节点监控指标数据集合；

步骤3：分析数据集合，获取指标项标准方差，若标准方差在10以内，表示为有效指标项，获得有效指标项平均值，若标准方差无效则计算节点不纳入本次调度；

步骤4：对比平均值，获取每个节点最大和最小平均值的两项指标，包括节点N1,CPU：80％，内存10％；节点N2,内存:70％，IO:10％；节点N3，IO:75％,CPU：10％；

步骤5：对比设置的最大最小阈值，当获取的最大或最小平均值超出最大或者最小阈值时，纳入调度队列，若未超出阈值范围则计算节点不纳入调度队列；

步骤6：执行调度，对比纳入调度策略所有计算节点同一指标项，将占用指标项最大的虚拟机热迁移至占用指标项最小的计算节点，将节点N1CPU利用率最大的虚拟机热迁移至节点N3；将节点N2里面内存利用率最大的虚拟机热迁移至节点N1；将节点N3里面IO利用率最大的虚拟机热迁移至N2；

步骤7：完成调度，进入下一轮分析。

3.根据权利要求2所述的动态资源平衡调度方法，其特征在于：所述的步骤1的计算节点监控指标，是指计算节点CPU利用率、内存利用率、磁盘IO利用率、带宽利用率；

所述的最大和最小阈值，是指定各项监控指标触发调度的范围；

4.根据权利要求2所述的动态资源平衡调度方法，其特征在于：所述的分析数据集合，是指根据监控频率采集到的一组数据集合，该数据集合展现了在一段时间范围内，监控资源项指标的变化曲线；

5.根据权利要求3所述的动态资源平衡调度方法，其特征在于：所述的分析数据集合，是指根据监控频率采集到的一组数据集合，该数据集合展现了在一段时间范围内，监控资源项指标的变化曲线；

6.根据权利要求2至5任一项所述的动态资源平衡调度方法，其特征在于：所述的每个节点最大和最小平均值的两项指标，是指每个节点的CPU利用率，内存利用率，磁盘利用率，带宽利用率四个样本数据集合；先得出每个样本数据集合的平均值，然后分别取最大的和最小的两项指标。

7.根据权利要求2至5任一项所述的动态资源平衡调度方法，其特征在于：所述的标准方差公式，如下：

8.根据权利要求6所述的动态资源平衡调度方法，其特征在于：所述的标准方差公式，如下：

9.根据权利要求2至5任一项所述的动态资源平衡调度方法，其特征在于：所述的调度队列，就是参与本次动态资源平衡调度的计算节点数据集合。

10.根据权利要求8所述的动态资源平衡调度方法，其特征在于：所述的调度队列，就是参与本次动态资源平衡调度的计算节点数据集合。