CN109062682B

CN109062682B - 一种云计算平台的资源调度方法和系统

Info

Publication number: CN109062682B
Application number: CN201810697915.0A
Authority: CN
Inventors: 钟光正; 陈平华
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2021-07-06
Anticipated expiration: 2038-06-29
Also published as: CN109062682A

Abstract

本申请所提供的一种云计算平台的资源调度方法，包括：通过设置侦查素和信息素；利用携带可用资源表的搜索进行全局搜索，得到预测执行能耗和预测传输能耗，进而得到平均执行能耗并计算出最优解，最后根据最优解进行云计算平台的资源调度。本申请将分组多态蚁群算法运用在云计算平台综合表现的评估中，该算法具有数学结构简单、参数控制少的特点，在多样化的任务调度需求中适应能力更强。同时保证低能耗以及高性能，使云平台调度更加科学。体现分布式处理的优势，充分发挥云计算平台的性能。本申请还提供一种云计算平台的资源调度系统、一种计算机可读存储介质和一种服务器，具有上述有益效果。

Description

一种云计算平台的资源调度方法和系统

技术领域

本申请涉及云计算领域，特别涉及一种云计算平台的资源调度方法和系统，一种计算机可读存储介质和一种服务器。

背景技术

目前，云计算作为一种新型的计算方式，以其高可扩展性和高可用性等优点迅速成为学术界和产业界的研究热点。例如，Google推出了谷歌应用软件引擎(GoogleAppEngine，简称GAE)，IBM推出了蓝云计算平台，Amazon推出了弹性计算云(elasticcompute cloud，简称EC2)。但是，要实现低成本、高效、安全、易用的云计算系统依然面临诸多挑战，其中，高能耗是云计算系统最为严重的问题之一。例如，Google数据中心产生的能耗可相当于一个小型城市的总能耗。

云计算系统中，除了处理任务时产生的必要能耗开销，其运行过程中还存在能耗浪费的现象，这表现在:(1)由于计算任务达到的随机性，使得单位时间内到达的任务量时而稀疏，时而密集，而现有的云计算系统通常是长时间处于开启状态，等待计算任务的到达。但是当计算机处于空闲状态时，其空闲功。率会占峰值功率的50％～60％。.因此，云计算系统会产生大量的空闲能耗。(2)由于云计算系统中通常包含不同的计算机，实验结果表明，不同计算机对不同计算任务的执行功率和响应时间一般不同.例如，同一图像处理任务分别在CPU和GPU上的执行功率和响应时间不同，任务执行完成后，产生的总能耗也不同.因此，当未考虑能耗因素时，不匹配的调度方式会造成:本来用较低能耗就能解决问题，但却用了较高能耗。因此，云计算系统的能耗优化管理也就成为亟待解决的问题。

Min-min算法是一个比较传统、经典的任务调度算法，它主要的调度思想是以最快的时间进行任务分配和处理，以时间为单一权重设计任务调度算法。将任务分配到处理时间最短的资源上，保证任务完成的时间最短。它流行于网格计算中，是网格计算任务调度的重要方法之一。

任务调度的问题是有M个需要执行的任务Task{T1，T2，T3.......Tm}，N个可用的资源节点Slave{S1，S2，S3.......Sn}(注：一般情况下，N<M)，要将这M个任务分配到N个可用的资源节点上进行处理。假设每个任务Tj在Si节点上处理的时间为Time(i，j)，Min-min算法以合适的分配方式将任务Task分配到执行时间最短的资源上，保证总的执行时间最短，即为Time(i，j)-min。

虽然Min-min算法保证了处理时间最短，但是这样导致处理能力强的资源一直处于工作状态，而其他资源一直处于空闲状态，反而不能体现分布式处理的优势。而且这样也会导致处理能力强的资源损耗较快。Min-min算法只专注于任务的完成时间，而不考虑能耗、负载平衡等其他因素，因此系统平均功率最大，耗电严重。

申请内容

本申请的目的是提供一种云计算平台的资源调度方法和系统，一种计算机可读存储介质和一种服务器，解决现有的云计算平台功耗严重的问题。

为解决上述技术问题，本申请提供一种云计算平台的资源调度方法，具体技术方案如下：

将所述云计算平台中的服务器作为节点，计算每两个所述节点之间路径的侦查素，并设置预设浓度的信息素于所述路径之上；

在所述节点上设置搜索蚁，计算所述搜索蚁待选择的下一节点；每只所述搜索蚁包括可用资源表，所述可用资源表包括节点ID、可用磁盘空间、可用处理器容量和可用内容；

当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗；

根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗；

计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度。

其中，所述计算每两个所述节点之间路径的侦查素包括：

在每个所述节点设置一个侦查蚁；

每个所述侦查蚁侦查自身所在节点以外的其他所有所述节点，得到每两个所述节点之间的侦查结果；

将侦查结果与先验知识结合形成侦查素，并将所述侦查素设于对应的两个所述节点之间的路径上。

其中，根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗包括：

根据任务的任务量大小和所述节点的可用带宽计算所述预测传输能耗；

根据所述搜索蚁在前一个所述节点的第一预测执行能耗、所述搜索蚁在前一个所述节点的实际执行能耗以及经验参数计算所述预测执行能耗；

根据所有所述实际执行能耗计算所述任务的平均执行能耗。

其中，还包括：

当所有所述搜索蚁和所有所述侦查蚁均经过所有所述节点时，根据所述信息素浓度之和调整各个所述路径上所述信息素的浓度。

本申请还提供一种云计算平台的资源调度系统，包括：

侦查模块，用于将所述云计算平台中的服务器作为节点，计算每两个所述节点之间路径的侦查素，并设置预设浓度的信息素于所述路径之上；

搜索模块，用于在所述节点上设置搜索蚁，计算所述搜索蚁待选择的下一节点；每只所述搜索蚁包括可用资源表，所述可用资源表包括节点ID、可用磁盘空间、可用处理器容量和可用内容；

第一能耗计算模块，用于当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗；

第二能耗计算模块，用于根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗；

第三能耗计算模块，用于计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度。

其中，所述侦查模块包括：

设置单元，用于在每个所述节点设置一个侦查蚁；

侦查单元，用于每个所述侦查蚁侦查自身所在节点以外的其他所有所述节点，得到每两个所述节点之间的侦查结果；

侦查素形成单元，用于将侦查结果与先验知识结合形成侦查素，并将所述侦查素设于对应的两个所述节点之间的路径上。

其中，所述第二能耗计算模块包括：

第一计算单元，用于根据任务的任务量大小和所述节点的可用带宽计算所述预测传输能耗；

第二计算单元，用于根据所述搜索蚁在前一个所述节点的第一预测执行能耗、所述搜索蚁在前一个所述节点的实际执行能耗以及经验参数计算所述预测执行能耗；

第三计算单元，用于根据所有所述实际执行能耗计算所述任务的平均执行能耗。

其中，还包括：

信息素调整模块，用于当所有所述搜索蚁和所有所述侦查蚁均经过所有所述节点时，根据所述信息素浓度之和调整各个所述路径上所述信息素的浓度。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的资源调度方法的步骤。

本申请还提供一种服务器，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的资源调度方法的步骤。

本申请所提供的一种云计算平台的资源调度方法，包括：将所述云计算平台中的服务器作为节点，计算每两个所述节点之间路径的侦查素，并设置预设浓度的信息素于所述路径之上；在所述节点上设置搜索蚁，计算所述搜索蚁待选择的下一节点；每只所述搜索蚁包括可用资源表，所述可用资源表包括节点ID、可用磁盘空间、可用处理器容量和可用内容；当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗；根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗；计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度。

本申请将分组多态蚁群算法运用在云计算平台综合表现的评估中，该算法具有数学结构简单、参数控制少的特点，在多样化的任务调度需求中适应能力更强。在传统只关注云平台性能的基础上将云平台能耗考虑在调度方案中，同时保证能耗以及性能，使云平台调度更加科学。不会导致处理能力强的资源一直处于工作状态，而其他资源一直处于空闲状态，体现分布式处理的优势。且同时不会使得处理能力强的资源损耗较快，充分发挥云计算平台的性能。本申请还提供一种云计算平台的资源调度系统、一种计算机可读存储介质和一种服务器，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种云计算平台的资源调度方法的流程图；

图2为本申请实施例所提供的一种云计算平台的资源调度系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种云计算平台的资源调度方法的流程图，该资源调度方法具体如下：

S101：将所述云计算平台中的服务器作为节点，计算每两个所述节点之间路径的侦查素，并设置预设浓度的信息素于所述路径之上；

将服务器作为节点，设置每两个节点之间的侦查素。具体的侦查素计算通常是由侦查蚁实现的，具体流程可以如下：

在每个所述节点设置一个侦查蚁；每个所述侦查蚁侦查自身所在节点以外的其他所有所述节点，得到每两个所述节点之间的侦查结果；将侦查结果与先验知识结合形成侦查素，并将所述侦查素设于对应的两个所述节点之间的路径上。

侦察蚁是以每个节点为中心，作局部侦察，并以侦察素来标记侦察结果，以便搜索蚁到达该节点进行下一节点选择时，提供辅助信息。

在此对于信息素的初始浓度并不作限定，具体浓度应由本领域技术人员进行设定。信息素可以随意设定，只需保证初始的信息素矩阵不全为0即可，并可以根据结果进行更改。

用图G(M,J)来定义处理用户资源申请的问题，M代表节点，J代表蚂蚁游走在节点间的路径。设向t个节点M{m₁,m₂,...,m_t}提交n个申请J{j₁,j₂,...,j_n}，其中t≤n。针对侦察蚁群的做法是将M个侦察蚁分别放置在M个节点上，每个侦察蚁以所在节点为中心，侦察其他(M-1)个节点，并将侦察结果(距离从小到大排序)与已有的先验知识相结合，构成侦察素，记为s[i][j]，标记在从节点i到节点j的路径上。s[i][j](i,j＝0,1,2...,m-1；i≠j)的计算如下：

其中：d_i'_j表示以节点i为中心，到其他(M-1)个节点的最小距离。d_ij表示以节点i为中心，到其他(M-1)个节点的最大距离。据此结果，可以置初始时刻各条路径(i节点到j节点)上的信息量如下：

其中：C_ij为根据节点i及j的资源信息确定的常数，定义该路径上信息素的浓度初始值；m为节点的个数；p表示CPU的速度。

S102：在所述节点上设置搜索蚁，计算所述搜索蚁待选择的下一节点；每只所述搜索蚁包括可用资源表，所述可用资源表包括节点ID、可用磁盘空间、可用处理器容量和可用内容；

搜索蚁群的任务是作该区域内的全局搜索，每到一个节点，根据侦察素和各出口的信息素等信息来选择下一节点，直到找到并标记最佳(最短)路线，以便工蚁从最佳路线取食回巢。工蚁群的任务是从已标记好的最佳路线取食回巢。在实际算法设计时，由于工蚁群与路径寻优无关，所以在该分区内只需针对侦察蚁群和搜索蚁群设计各自的信息素调控机制。其中，侦察蚁群负责该分区内的局部侦察，搜索蚁群负责该分区内的全局搜索。

具体的，可用资源表可以如表1所示：

表1可用资源表

针对搜索蚁群的做法是：蚂蚁k(k＝1,2,3,…,n)在运动过程中的t时刻，从节点i转移到节点j的概率

的计算公式如下：

S103：当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗；

当搜索蚁根据上述(3)式进入下一节点时，更新可用资源表内容，即将该节点的可用磁盘空间、可用处理器容量和可用内容写入可用资源表。

本次预测传输能耗TP与预测执行能耗FP的比值作为本发明算法的启发式值，根据任务的任务量大小和所述节点的可用带宽计算所述预测传输能耗：

其中：TP_jm表示申请作业j到达节点m的预测传输能耗，S_j表示申请作业j大小，bw_m表示节点m的可用带宽。然后根据所述搜索蚁在前一个所述节点的第一预测执行能耗、所述搜索蚁在前一个所述节点的实际执行能耗以及经验参数计算所述预测执行能耗：

其中：FP_lm(t+1)为申请l到达节点m的预测执行能耗；FT_im(t)表示上次执行申请的预测执行能耗；RT_im(t)表示上次执行申请的实际执行能耗；ξ是一个经验参数(0<ξ<1)，表示上次申请的执行能耗和实际能耗对下一次预测申请流程执行的影响度，用来调节在云资源中经验值和预测值的比重，以使平均执行能耗获得最小值。

S104：根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗；

由S103中预测执行能耗公式以及实际执行能耗可以计算所述任务的平均执行能耗为：

S105：计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度。

需要注意的是，此时通过计算各搜索蚁的目标函数值H_k，记录平均执行能耗最少的解，即最优解，再根据所述最优解进行云计算平台的资源调度。

本申请实施例提供了云计算平台的资源调度方法，可以通过上述方法实现将分组多态蚁群算法运用在云计算平台综合表现的评估中，该算法具有数学结构简单、参数控制少的特点，在多样化的任务调度需求中适应能力更强。在传统只关注云平台性能的基础上将云平台能耗考虑在调度方案中，同时保证能耗以及性能，使云平台调度更加科学。不会导致处理能力强的资源一直处于工作状态，而其他资源一直处于空闲状态，体现分布式处理的优势。且同时不会使得处理能力强的资源损耗较快，充分发挥云计算平台的性能。

基于上述实施例，作为优选的实施例，该资源调度方法还可以包括：

具体的，所有蚂蚁完成一次循环，各路径上信息素的浓度大小要根据下式作调整：

其中Δτ_ij表示本次循环蚁群在路径ij(即节点i和节点j之间的路径)上释放的信息素浓度之和。可以由下式得到：

进一步，还可以得到：

上式表示第k只蚂蚁在本次循环中，从时间t到t+1间留在路径ij上的信息素的浓度。这里的Q是指信息素增加强度系数。Q越大，信息素增加越快，收敛也越快，但是容易陷入局部最优解；Q越小，信息素增加越慢，收敛也越慢，但是容易寻找到全局最优解。

下面对本申请实施例提供的云计算平台的资源调度系统进行介绍，下文描述的资源调度系统与上文描述的资源调度方法可相互对应参照。

参见图2，图2为本申请实施例所提供的一种云计算平台的资源调度系统的结构示意图，该资源调度系统可以包括：

侦查模块100，用于将所述云计算平台中的服务器作为节点，计算每两个所述节点之间路径的侦查素，并设置预设浓度的信息素于所述路径之上；

搜索模块200，用于在所述节点上设置搜索蚁，计算所述搜索蚁待选择的下一节点；每只所述搜索蚁包括可用资源表，所述可用资源表包括节点ID、可用磁盘空间、可用处理器容量和可用内容；

第一能耗计算模块300，用于当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗；

第二能耗计算模块400，用于根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗；

第三能耗计算模块500，用于计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度。

基于上述实施例，作为优选的实施例，所述侦查模块100可以包括：

设置单元，用于在每个所述节点设置一个侦查蚁；

基于上述实施例，作为优选的实施例，所述第二能耗计算模块400包括：

基于上述实施例，作为优选的实施例，该资源调度系统还可以包括：

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种服务器，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然服务器还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种云计算平台的资源调度方法，其特征在于，包括：

所述计算每两个所述节点之间路径的侦查素包括：在每个所述节点设置一个侦查蚁；每个所述侦查蚁侦查自身所在节点以外的其他所有所述节点，得到每两个所述节点之间的侦查结果；将侦查结果与先验知识结合形成侦查素，并将所述侦查素设于对应的两个所述节点之间的路径上；

当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗，具体的：

其中：TP_jm表示申请作业j到达节点m的预测传输能耗，S_j表示申请作业j大小，bw_m表示节点m的可用带宽；

其中：FP_lm(t+1)为申请l到达节点m的预测执行能耗；FT_im(t)表示上次执行申请的预测执行能耗；RT_im(t)表示上次执行申请的实际执行能耗；ξ是一个经验参数(0<ξ<1)，表示上次申请的执行能耗和实际能耗对下一次预测申请流程执行的影响度，用于调节在云资源中经验值和预测值的比重，以使平均执行能耗获得最小值；

根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗；计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度；所述计算所述平均执行能耗的最优解为平均执行能耗最少的解，具体为：

2.根据权利要求1所述资源调度方法，其特征在于，根据所述预测执行能耗和所述预测传输能耗得到平均执行能耗包括：

根据所有所述实际执行能耗计算所述任务的平均执行能耗。

3.根据权利要求1所述资源调度方法，其特征在于，还包括：

4.一种云计算平台的资源调度系统，其特征在于，包括：

所述侦查模块包括：

设置单元，用于在每个所述节点设置一个侦查蚁；

侦查素形成单元，用于将侦查结果与先验知识结合形成侦查素，并将所述侦查素设于对应的两个所述节点之间的路径上；

第一能耗计算模块，用于当所述搜索蚁搜索至所述下一节点时更新所述可用资源表，并计算预测执行能耗和预测传输能耗，具体的：

第三能耗计算模块，用于计算所述平均执行能耗的最优解，并根据所述最优解进行云计算平台的资源调度；所述计算所述平均执行能耗的最优解为平均执行能耗最少的解，具体为：

5.根据权利要求4所述资源调度系统，其特征在于，所述第二能耗计算模块包括：

6.根据权利要求4所述资源调度系统，其特征在于，还包括：

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的资源调度方法的步骤。

8.一种服务器，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-3任一项所述的资源调度方法的步骤。