CN103268529A - 基于集合型离散粒子群优化的云工作流调度方法 - Google Patents

Abstract

本发明公开了一种基于集合型离散粒子群优化算法的云工作流调度方法，该方法针对带有不同服务质量QoS需求的云工作流调度问题，采用了一类新型的集合型粒子群优化算法，通过将粒子群优化的速度、位置和相关的更新操作在离散的集合空间重定义，从而能够满足对离散空间的云工作流调度优化问题的应用需求，提高了云工作流调度的效率。

Description

基于集合型离散粒子群优化的云工作流调度方法

技术领域：

本发明涉及云计算以及智能计算两大领域，主要涉及一种基于集合型粒子群算法优化云工作流调度的方法。

技术背景：

云计算作为一种新兴的资源使用和交付模式，可以让用户随时随地根据自己的需求来使用各种资源，已经逐渐为学界和产业界所认知。它提供了很弹性的方法来实现一种基于交付模式计算密集型的工作流应用。在云系统中，由于用户越来越关注服务质量(QoS)的满意程度，满足用户自定义需求的云工作流动态调度问题已经逐渐变成一个亟待解决而且具有挑战性的难题。

粒子群算法(PSO)是一种模拟自然界中鸟群和鱼群捕食的随机搜索算法。虽然PSO是一个非常适合于连续领域问题优化的算法，并且已经在很多连续空间领域获得了相当成功的应用，但是还是有很多现实的问题都是定义在离散空间中的，例如典型的离散组合问题就有背包问题，旅行商问题，调度问题等。为了将PSO在离散优化空间中拓展，我们此前提出了集合型的粒子群优化算法(S-PSO)，成功地突破了粒子群优化在离散优化空间的应用瓶颈，在解决如旅行商和多重背包等经典组合优化问题中取得了很好的求解性能[1]。以此为基础，如果能实现基于S-PSO的云工作流调度方法，将可以为进一步提高云工作流调度的效率提供新的有效途径。基于此技术背景，本发明将提出一种基于S-PSO的云工作流调度方法，提高云工作流调度的性能和效率。

参考文献：

[1]Wei-neng Chen，Jun ZHANG，Henry Chung，Wen-liang Zhong and Yu-hui Shi，“A Novel Set-Based Particle Swarm Optimization Method for DiscreteOptimization Problems”，IEEE Transactions on Evolutionary Computation，Vol.14，No.2，pp.278-300，March，2010.

发明内容：

本发明提出基于集合型粒子群优化算法的云工作流调度方法，具体步骤包括：

(1)初始化算法的各个参数，并建立第一代粒子群和初始速度。粒子的编码方式为一个n元组：

X＝(X¹，X²，...，Xⁿ)

其中Xⁱ∈S_i，S_i表示能用于执行第i个任务T_i的所有云计算服务的集合。事实上，由于每个任务只能匹配到一个云计算服务中执行，因此Xⁱ仅仅只含一个元素K_i，表示任务T_i被安排云计算服务

上执行，n是工作流中任务的总数量。初始化时Xⁱ用完全随机的方式生成。

速度的编码方式也为一个n元组

V＝(V¹，V²，...，Vⁿ)

其中每一维度是一个带有可能性的集合V^j＝{e/p(e)|e∈S_j}，表示集合S_j中的每一个元素e都关联着一个可能性p(e)。在初始化速度时，首先随机从S_j里面选择一个元素，并且分配一个随机的可能性p(e)∈(0，1]给这个元素，其它所有没选的元素的可能性都设置为0。

(2)根据粒子当前的位置评估每个粒子的适应度值。

(3)更新每个粒子的个体最优位置。

(4)更新粒子的速度，公式为：

$v_i^j\←\mathrm{\ω}\·v_i^j+{\mathrm{cr}}^j({\mathrm{pbest}}_{f_i\left(j\right)}^j-x_i^j),j=\mathrm{1,2},...,n$

(5)更新粒子的位置，得到新一代的粒子。

(6)如果达到终止条件则停止程序，否则返回步骤(2)

附图说明：

图1基于集合型离散粒子群优化的云工作流调度方法的流程图

具体实施方式：

以下结合附图进一步对发明的方法进行描述。

云工作流可以以有向无环图(DAG)G＝(V，A)的形式给出。在该模型中，令n为工作流中任务的数量，节点的集合V＝{T₁，T₂，...，T_n}对应工作流中的任务。箭线的集合A表示任务之间的优先次序关系。工作流中的每个任务在云系统里面都能被一些云计算服务实现，即每个任务T_i(1≤i≤n)都具有一个可执行该任务的云计算服务集合

其中表示云提供给任务T_i的一个服务实例，m_i表示T_i可用的服务实例的数量。对于每一个服务实例

考虑三个约束，即花费

执行时间

和可靠性

为了给用户提供一种在云系统里面弹性管理工作流的QoS，本发明所考虑的云工作流调度模型允许用户自己定义各种各样的QoS约束。根据上面所提到的三个QoS参数，用户可以定义三种类型的约束：

(1)执行时间约束：工作流的执行时间必须小于或者等于用户自定义的执行时间；

(2)预算约束：工作流产生的所有服务实例的总价格必须小于或者等于用户自定义的预算价格；

(3)可靠性约束：工作流中每个服务实例的储存的历史可靠性必须要小于用户自定义的最低可靠性；

另外，云工作流调度模型还允许用户指定一个QoS参数作为优化主体。换句话说，用户可以从下面的三种QoS优化方式中选择一种方式进行优化：执行时间最小化，预算最小化，可靠性最大化。

PSO是一种模拟自然界中鸟群和鱼群捕食的随机搜索算法。算法要求每个个体(粒子)在进化过程中维持两个向量，即速度向量和位置向量。粒子的速度决定了其运动方向和速率，而位置则体现了粒子所代表的解在解空间中的位置。每个粒子各自维持着一个自身的历史最优位置向量，而整个群体则维护着一个全局最优位置向量。在每一代中，每个粒子通过速度更新和位置更新，生成新的解，从而不断使待解问题得到优化。

由于原始的粒子群算法的速度和位置的更新公式都是定义在n维的实向量空间，所以它们不能被直接应用到离散空间的优化问题里面。在此，本发明使用S-PSO方法。这个方法将待优化的问题按照如下方式建立数学模型：

(1)问题所含有的元素的全集记为E。集合E可以被分为一个n元组(E¹，E²，...，Eⁿ)，其中E＝E¹∪E²…∪Eⁿ，可以把E¹，E²，...，Eⁿ看成问题的n维。

(2)问题的一组候选解X∈PS也可以被分为一个n元组(X¹，X²，...，Xⁿ)，其中X^j(j＝1，2，...，n)是一个集合并且

PS则是所有可行解的集合。

(3)X是可行解当且仅当X满足约束条件Ω。

(4)问题的优化目标就是要找到一个合适的解X^*使得问题的目标函数f得到最优化。

基于这一定义，基于集合型离散粒子群优化的云工作流调度方法的具体执行步骤如下：

(1)初始化算法的各个参数，并建立第一代粒子群和初始速度。粒子的编码方式为：

X＝(X¹，X²，...，Xⁿ)

其中Xⁱ∈S_i，S_i表示能用于执行第i个任务T_i的所有云计算服务的集合。事实上，由于每个任务只能匹配到一个云计算服务中执行，因此Xⁱ仅仅只含一个元素K_i，表示任务T_i被安排云计算服务

上执行，n是工作流中任务的总数量。初始化时Xⁱ用完全随机的方式生成。

速度的编码方式为：

V＝(V¹，V²，...，Vⁿ)

其中每一维度是一个带有可能性的集合V^j＝{e/p(e)|e∈S_j}，表示集合S_j中的每一个元素e都关联着一个可能性p(e)。初始化时随机从S_j里面选择一个元素，并且分配一个随机的可能性p(e)∈(0，1]给这个元素，其它所有没选的元素的可能性都为0。

(2)根据粒子当前的位置评估每个粒子的适应度值。由于云工作流调度优化需要考虑各种不同的约束条件，模型定义了三种不同的评价函数，分别为：

对于给定完成期限Deadline和费用预算Budget，优化可靠性的问题，其评价函数为：

$f\left(K\right)=\left\{\begin{array}{c}0.5\·\frac{\mathrm{Deadline}}{K.\mathrm{makespan}}+0.5\·\frac{\mathrm{Budget}}{K.\cos t}+\frac{\min \_\mathrm{reliability}}{\max \_\mathrm{reliability}},\\ \mathrm{if\; K}.\cos t>\mathrm{Budget\; and\; K}.\mathrm{makespan}>\mathrm{Deadline}\\ 0.5+0.5\·\frac{\mathrm{Budget}}{K.\cos t}+\frac{\min \_\mathrm{reliability}}{\max \_\mathrm{reliability}},\\ \mathrm{if\; K}.\cos t>\mathrm{Budget\; and\; K}.\mathrm{makespan}\≤\mathrm{Deadline}\\ 0.5\·\frac{\mathrm{Deadline}}{K.\mathrm{makespan}}+0.5+\frac{\min \_\mathrm{reliability}}{\max \_\mathrm{reliability}},\\ \mathrm{if\; K}.\cos t\≤\mathrm{Budget\; and\; K}.\mathrm{makespan}>\mathrm{Deadline}\\ 1+\frac{K.\mathrm{reliability}}{\max \_\mathrm{reliability}},\\ \mathrm{if\; K}.\cos t\≤\mathrm{Budget\; and\; K}.\mathrm{makespan}\≤\mathrm{Deadline}\end{array}\right.$

其中K.makespan表示调度K的工期，K.cost表示调度K的总体花费，min_reliability和max_reliability表示所有可用的云计算服务中可靠性最小和最大的服务的可靠性，K.reliability表示调度K的可靠性。

对于给定费用预算Budget约束，最小化完成时间的问题，适应度函数为：

$f\left(K\right)=\left\{\begin{array}{cc}1+\frac{\min \_\mathrm{makespan}}{K.\mathrm{makespan}},& \mathrm{if\; K}.\cos t\≤\mathrm{Budget}\\ \frac{\mathrm{Budget}}{K.\cos t}+\frac{\min \_\mathrm{makespan}}{\max \_\mathrm{makespan}},& \mathrm{if\; K}.\cos t>\mathrm{Budget}\end{array}\right.$

其中的min_makespan和max_makespan分别表示把所有任务都分配到完成时间最短或最长的云计算服务时工作流执行所需的完成时间。

对于给定完成时间Deadline约束，最小化费用的问题，适应度函数为：

$f\left(K\right)=\left\{\begin{array}{cc}1+\frac{\min \_\mathrm{makespan}}{K.\cos t},& \mathrm{if\; K}.\mathrm{makespan}\≤\mathrm{Deadline}\\ \frac{\mathrm{Deadline}}{K.\mathrm{makespan}}+\frac{\min \_\cos t}{\max \_\cos t},& \mathrm{if\; K}.\mathrm{makespan}>\mathrm{Deadline}\end{array}\right.$

其中的min_cost和max_cost分别表示把所有任务都分配到费用最小或最大的云计算服务时工作流执行所需的完成时间。

(3)更新每个粒子的个体最优位置。

(4)更新粒子的速度，公式为：

$v_i^j\←\mathrm{\ω}\·v_i^j+{\mathrm{cr}}^j({\mathrm{pbest}}_{f_i\left(j\right)}^j-x_i^j),j=\mathrm{1,2},...,n$

其中下标i表示第i个粒子，上标j表示维度，ω是惯性权重，c是参数，r^j是位于[0，1]区间的随机数，

表示第f_i(j)个粒子的历史最优位置的第j维，f_i(j)定义如下：首先产生一个处于[0，1]区间的随机数ran，如果ran比给定的参数Pc大，f_i(j)＝i，否则算法会对两个随机选择的粒子进行锦标赛选择，适应度值更大的那个会被选中为f_i(j)。

在这个更新公式中，由于速度和位置的定义已经不再在连续的实数空间中定义，而是在离散的集合空间中定义，因此更新公式的相关操作也需要重新定义：

(i)参数×速度：

cV＝{e/p^l(e)|e∈E}， $p^l\left(e\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; c}\×p\left(e\right)>1\\ c\×p\left(e\right),& \mathrm{otherwise}\end{array}\right.$

(ii)位置-位置：

$A-B=\left\{e\right|e\∈\mathrm{A\; and\; e}\∉B\}$

(iii)参数×(位置-位置)：

cE^l＝{e/p^l(e)|e∈E}， $p^l\left(e\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; e}\∈E^l\mathrm{and\; c}>1\\ c,& \mathrm{if\; e}\∈E^l\mathrm{and}0\≤c\≤1\\ 0,& \mathrm{if\; e}\∉E^l\end{array}\right.$

(iv)速度+速度：

V₁+V₂＝{e/max(p₁(e)，p₂(e))|e∈E}

(5)更新粒子的位置。在重新定义的离散空间里不能简单由速度加位置来更新粒子的位置，故采用如下4步来更新粒子的位置：

(i)速度矢量V_i的每一个维度

都用来生成另一个确定的集合

${\mathrm{cut}}_{\mathrm{\α}}\left(V_i^j\right)=\left\{e\right|e/p\left(e\right)\∈V_i^j\mathrm{and\; p}\left(e\right)\≥\mathrm{\α}\}.$

(ii)第i个粒子开始建立新的位置，由一个空集开始，粒子从

里面选择一个可行元素加到新的位置里面。

(iii)如果

里面没有可行解，并且新位置的构造还没有结束，则从当前的位置

里面选择一个可行元素加到新的位置里面。

(iv)如果

里面没有可行解，并且新位置的构造还没有结束，则从其它的可行解里面选择一个可行元素加到新的位置里面。

更新种群位置操作时的第(ii)(iii)(iv)步都有一个选择操作。这里将采用基于启发信息的选择方式，即每次进行选择之前都从{时间优先启发式，费用优先启发式，可靠性优先启发式，性价比启发式，随机启发式}这五类启发信息中随机选择一种启发信息，并按照这种启发信息选出候选元素中具有最优启发信息值的元素添加到新的位置里面。时间优先启发式是指执行时间越短的计算服务越优先被选择；费用优先启发式是指费用越低的计算服务越被优先选择；可靠性优先启发式是指可靠性越高的计算服务越被优先选择；性价比启发式是指时间与费用的乘积值越小的计算服务越被优先选择；随机启发式是指每个候选的元素都被赋以均匀分布于(0，1)区间的随机数，随机数值越大的元素越被优先选择。如果两个或多个元素具有等优的启发式信息值，则算法随机地从中选择一个添加到新的位置里面。

(6)如果达到终止条件则停止程序，否则返回步骤(2)。

Claims (1)

1.一种基于集合型离散粒子群优化算法的云工作流调度方法，其特征在于，采用了集合型离散粒子群算法来实现对云工作流的调度，算法具有如下的计算步骤：

(1)初始化算法的各个参数，并建立第一代粒子群的位置和初始速度，粒子的编码方式为：

X＝(X¹，X²，...，Xⁿ)

其中Xⁱ∈S_i，S_i表示能用于执行第i个任务T_i的所有云计算服务的集合，初始化时Xⁱ用完全随机的方式生成；

速度的编码方式为：

V＝(V¹，V²，...，Vⁿ)

其中每一维度是一个带有可能性的集合V^j＝{e/p(e)|e∈S_j}，表示集合S_j中的每一个元素e都关联着一个可能性p(e)，初始化时随机从S_j里面选择一个元素，并且分配一个随机的可能性p(e)∈(0，1]给这个元素，其它所有没选的元素的可能性都为0；

(2)根据粒子当前的位置评估每个粒子的适应度值；

(3)更新每个粒子的个体最优位置；

(4)更新粒子的速度，公式为：

$v_i^j\←\mathrm{\ω}\·v_i^j+{\mathrm{cr}}^j({\mathrm{pbest}}_{f_i\left(j\right)}^j-x_i^j),j=\mathrm{1,2},...,n$

其中下标i表示第i个粒子，上标j表示维度，ω是惯性权重，c是参数，r^j是位于[0，1]区间的随机数，

表示第f_i(j)个粒子的历史最优位置的第j维，f_i(j)定义如下：首先产生一个处于[0，1]区间的随机数ran，如果ran比给定的参数Pc大，f_i(j)＝i，否则算法会对两个随机选择的粒子进行锦标赛选择，适应度值更大的那个会被选中为f_i(j)；

在这个更新公式中，由于速度和位置的定义已经不再在连续的实数空间中定义，而是在离散的集合空间中定义，因此更新公式的相关操作也需要重新定义：

(i)参数×速度：

cV＝{e/p^l(e)|e∈E}， $p^l\left(e\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; c}\×p\left(e\right)>1\\ c\×p\left(e\right),& \mathrm{otherwise}\end{array}\right.$

(ii)位置-位置：

$A-B=\left\{e\right|e\∈\mathrm{A\; and\; e}\∉B\}$

(iii)参数×(位置-位置)：

cE^l＝{e/p^l(e)|e∈E}， $p^l\left(e\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; e}\∈E^l\mathrm{and\; c}>1\\ c,& \mathrm{if\; e}\∈E^l\mathrm{and}0\≤c\≤1\\ 0,& \mathrm{if\; e}\∉E^l\end{array}\right.$

(iv)速度+速度：

V₁+V₂＝{e/max(p₁(e)，p₂(e))|e∈E}

(5)更新粒子的位置，由于在重新定义的离散空间里不能简单由速度加位置来更新粒子的位置，故采用如下4步来更新粒子的位置：

(i)速度矢量V_i的每一个维度

都用来生成另一个确定的集合

${\mathrm{cut}}_{\mathrm{\α}}\left(V_i^j\right)=\left\{e\right|e/p\left(e\right)\∈V_i^j\mathrm{and\; p}\left(e\right)\≥\mathrm{\α}\};$

(ii)第i个粒子开始建立新的位置，由一个空集开始，粒子从

里面选择一个可行元素加到新的位置里面；

(iii)如果

里面没有可行解，并且新位置的构造还没有结束，则从当前的位置

里面选择一个可行元素加到新的位置里面；

(iv)如果

里面没有可行解，并且新位置的构造还没有结束，则从其它的可行解里面选择一个可行元素加到新的位置里面；

更新种群位置操作时的第(ii)(iii)(iv)步都有一个选择操作，这里将采用基于启发信息的选择方式，即每次进行选择之前都从{时间优先启发式，费用优先启发式，可靠性优先启发式，性价比启发式，随机启发式}这五类启发信息中随机选择一种启发信息，并按照这种启发信息选出候选元素中具有最优启发信息值的元素添加到新的位置里面；时间优先启发式是指执行时间越短的计算服务越优先被选择；费用优先启发式是指费用越低的计算服务越被优先选择；可靠性优先启发式是指可靠性越高的计算服务越被优先选择；性价比启发式是指时间与费用的乘积值越小的计算服务越被优先选择；随机启发式是指每个候选的元素都被赋以均匀分布于(0，1)区间的随机数，随机数值越大的元素越被优先选择。如果两个或多个元素具有等优的启发式信息值，则算法随机地从中选择一个添加到新的位置里面；

(6)如果达到终止条件则停止程序，否则返回步骤(2)。

Images