CN114461368A

CN114461368A - 一种基于协同果蝇算法的多目标云工作流调度方法

Info

Publication number: CN114461368A
Application number: CN202210256579.2A
Authority: CN
Inventors: 皮德常; 秦烁
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2022-03-16
Filing date: 2022-03-16
Publication date: 2022-05-10

Abstract

本发明公开了一种基于协同果蝇算法的多目标云工作流调度方法，包括：基于分解策略将问题编码为多个子问题，构造问题空间；采用基于参考点的聚类策略动态地将候选解划分为多个群体，保证候选解良好的分布性；基于非线性权重向量和两个任务分配规则设计了初始化策略来构造问题空间中所有候选解的初始位置；在基于气味的协同觅食策略中嵌入三个邻域操作算子执行全局搜索；在基于视觉的局部搜索策略中应用基于子群体的交叉算子执行局部搜索。本发明的优点是：有机结合了果蝇优化算法与云计算环境中工作流调度的问题特征，克服了传统工作流调度算法计算耗费高、求解精度低、调度方案单一以及资源分配依赖专家知识等一系列困难，通过提供一组互不支配的调度方案使云资源用户根据需求选择合适的调度策略。本发明适用于公有云环境中大型工作流的调度，发明具有普适性。

Description

一种基于协同果蝇算法的多目标云工作流调度方法

技术领域

本发明涉及一种基于协同果蝇算法的多目标云工作流调度方法，是针对公有云计算环境中大型工作流的调度优化方法，属于工程应用与信息科学的交叉领域。

背景技术

随着越来越多具有依赖关系的多个任务被建模为工作流且被广泛应用于商业和科学领域。一般情况下，大规模的工作流需要庞大的计算、通信和存储基础设施。因此，在异构分布式计算系统等高性能计算环境中执行复杂的工作流是可行的。但是传统的异构分布式计算系统不仅需要昂贵的建设和维护成本，而且利用率极低。云计算是一种新颖的分布式计算系统，它能够通过网络提供弹性和异构的计算资源并显著提高云计算环境中的资源利用率，并将建设和维护成本摊销给客户。显然，将庞大且复杂的工作流程序放在云计算环境中执行是可行的，但由于云计算环境的异构资源、弹性和复杂的成本模型，云环境中的工作流调度仍然面临巨大的挑战。

在网格计算等范式中，工作流调度问题已经被证明是一个NP完全问题，通过穷举搜索的策略找到最优调度方案的计算成本极高。之前的大多数方法往往只关注优化工作流的执行时间或租赁成本之一。但事实上执行较快的调度方案通常需要较高的租赁成本，而较低的租赁成本会导致工作流的执行效率低下。因此，在工作流调度过程中需要同时考虑资源租赁成本和工作流执行时间两个目标。之前的一些方法将云工作流调度问题建模为约束优化问题，即在截止日期(预算)的约束下优化总执行成本(时间)。这类模型对于商业组织来说具有极高的实用性。但由于任务执行时间和租赁成本的范围未知，用户很难为约束优化模型定义合理的截止日期或总预算。另一种思路将云工作流调度问题建模为多目标优化问题，进而为决策提供一组互补支配的调度方案，客户可以根据自己的喜好从中选择调度方案。

云工作流调度问题的目标是建立任务与资源之间的有效映射，这也是一个复杂的离散组合优化问题。而随着工作流规模的增加，云工作流调度问题可能成为一个大规模的优化问题。元启发式算法作为一种随机搜索算法，常被用于求解计算量较大且复杂的优化问题。一些基于元启发式算法的云工作流调度方法已经表现出优异的性能。但不同元启发式方法常有其自己的弱点，例如基于粒子群优化算法的方法通常缺乏问题特定的知识，在组合优化问题中搜索效率低下。遗传算法和人工蚁群算法常被用于求解离散组合优化问题，但遗传算法对参数极其敏感，但容易过早收敛。基于人工蚁群的方法也存在收敛速度慢的问题。果蝇优化算法作为一种模拟果蝇觅食行为的新型元启发式方法，包含一种易于实现的并行框架，能够有效地结合问题特定的知识并具有较快的收敛速度。因此基于果蝇优化算法设计多目标云工作流调度问题是有益的。

发明内容

发明目的：本发明的目的是提供一种多目标云工作流调度方法。该方法充分利用云工作流调度问题的领域知识，对工作流的执行时间和资源的租赁成本进行优化。此外，该方法充分考虑了云计算资源的弹性、异构性特点，解决了之前的云工作流调度方法求解精度不足等问题；同时基于该方法，可以提供一组互不支配的调度方案，用户可以根据自身喜好选择调度方案，从而实现用户与云服务供应商之间的需求平衡。

技术方案：为实现上述目的，本发明提出了一种基于协同果蝇算法的多目标云工作流调度方法，主要基于分解的编码策略构造了多目标云工作流调度问题的搜索空间；结合非线性权重向量和两种启发式规则，将资源租赁成本与工作流执行时间构造为多个不同的优化目标并生成对应的初始解；采用基于参考点的聚类策略将候选解种群划分为多个子种群，在子种群中通过收敛性判定候选解的优劣；在基于气味的协同觅食策略中，通过任务重分配算子、资源转换算子以及任务插入算子之间的协同搜索生成新的调度方案；在基于视觉的多目标觅食策略中，通过子种群之间的交叉算子执行局部搜索以加快算法收敛；具体的技术方案包括以下几个步骤：

步骤一：针对多目标云工作流调度问题的多个子问题，使用基于分解的编码策略针对不同子问题进行编码，构造问题空间。

步骤二：结合非线性权重向量与两种启发式规则，构造多个初始解。

步骤三：生成参考点并根据参考点将目标空间中的候选解聚类为多个子种群，每个子种群中的候选解根据其收敛性指标判断优劣。

步骤四：在基于气味的协同觅食策略中，基于任务重分配、资源转换以及任务插入三种邻域操作执行全局搜索。

步骤五：在基于视觉的多目标觅食策略中，通过子种群之间的交叉算子执行局部搜索以提升算法收敛性。

步骤六：重复步骤三至步骤五直到满足迭代终止条件，输出非支配解集。

有益效果：本发明从公有云计算环境的特征出发，针对工作流中多个任务之间的依赖关系，结合非线性权重向量、基于参考点的聚类策略、果蝇优化算法，提出了一种新颖的多目标云工作流调度方法，有效地解决了云计算环境中大规模工作流的多目标调度求解精度较差的问题。该方法能够通过提供一组互不支配的调度方案供用户选择，适合用于公有云计算环境中大规模，高复杂性的工作流调度。本发明经过扩展后，还可应用于公有云计算环境中的多工作流调度与混合云计算环境中的工作流调度。

附图说明

图1是本发明方法的总体流程图。

图2是混合初始化策略流程图。

图3是基于气味的协同觅食策略流程图。

图4是基于视觉的多目标觅食策略流程图。

图5是基于参考点的聚类策略示意图。

具体实施方式

下面结合附图，对本发明做进一步说明。

本发明的总体流程图如图1所示。其包含的子模块分别如图2、图3、图4以及图5所示，一下结合流程图与示意图进行详细说明。

本发明利用协同果蝇算法进行多目标云工作流调度，采用基于分解的编码策略构造问题空间，利用非线性权重向量与两种启发式规则生成初始解，使用基于气味的协同觅食策略执行全局搜索，采用基于视觉的多目标觅食策略执行局部搜索，利用基于参考点的聚类策略将候选解划分为多个子种群以筛选分布性与收敛性较好的候选解，最终输出一组互不支配的调度方案。其具体实施步骤如下，且总体流程见附图1。

1、基于分解的编码策略构造问题空间

在云工作流调度问题中，复杂的问题空间中主要包含三个子问题，(1)决定资源池中每种资源的数量；(2)将工作流中的任务映射到资源池中的不同资源上；(3)对任务的执行顺序进行排列。因此，一个可行的解决方案由三个序列表示，以协同表示云工作流调度问题的完整问题空间。首先，使用向量X表示任务与资源之间的映射关系。在向量X中，每个元素都可以设置为介于1到|R|(最大资源数)之间的整数值。使用向量Y表示资源池中每个资源的类型。在向量Y中，每个元素是1到rtype(资源类型的数量)之间的整数值。使用向量Z表示任务的执行顺序，每个元素都是1到|T|(任务数量)之间的整数值。由于每个任务只执行一次，因此向量Z中每个元素都不重复。

在向量X中，当第i个任务分配给第j个资源时，第i个元素被设置为j。同样，当第j个资源的类型为k时，向量Y中的第j个元素设置为k。在序列Z中，第i个元素设置为k表示第i个任务在第k个位置执行。由于任务执行顺序应遵循工作流中原始的拓扑关系，子任务必须出现在其前驱任务之后。此外，由于将资源池中的所有虚拟机都考虑为候选资源时成本极高，且一个任务不能同时分配给两个资源，所以将两个相同类型的未使用资源同时放入资源池没有意义。基于这一原则，候选资源池由调度方案中已使用的所有资源组成，且包含每种类型未使用的资源各一个。

2、混合初始化策略

由于复杂而庞大的问题空间，基于问题特征生成初始种群能够有效地加快收敛速度。本发明设计了一种基于非线性权重向量与两个启发式规则的混合初始化策略来生成分布性良好的候选解并加快收敛速度。其具体过程如下所示，且详细处理流程见附图2。

(1)仅在特定类型的一个资源上安排所有任务。假设有rtype种资源，生成rtype个特定的调度解决方案。

(2)在同一类型的资源上调度所有任务。具体来说，每个资源只执行一个任务，所有资源都是同一类型的。

(3)基于聚合函数f(σ)将执行时间TEC与执行时间TET进行组合。任务映射与资源池基于改进的HEFT构建以最小化聚合函数f(σ)。在满足拓扑约束时，随机构造任务执行顺序。

在基于权重向量的启发式中，聚合函数f(σ)构造如下以保持一致性。

其中

和

代表时间贪婪候选解(TGC)的TET与TEC，TGC为每个任务分配一个执行速度最快的资源，

和

表示成本贪心候选解(CGC)的TET与TEC，CGC为每个任务分配最便宜的资源。

非线性权重向量可以用来加强初始解的分布性，具体来讲，初始解中第k个候选解的偏好权重计算如下：

ω_k，2＝1-ω_k，1

此外，由于工作流中任务之间的优先关系，不可能直接使用任务的随机排列作为向量X。为了保证任务执行顺序序列的多样性，引入了Deadline Top Level(DTL)策略将任务划分为多层。同一层中的任务之间不存在依赖关系。因此，向量X可以通过组合每一层的所有随机排列得到。

3、基于参考点的聚类策略

为了保持非支配解集的分布性，本方法引入了基于参考点的聚类策略。基于每个候选解的分布性和收敛性指标在目标空间中对候选解进行聚类。基于分布性指标可以更加合理地分配计算资源，基于收敛性指标则可以使得候选解逼近Patero前沿。具体过程如下，且示意图见附图5。

本方法采用NBI方法生成参考点，由于云工作流调度问题中包含两个相互冲突的目标，本方法在目标空间中的参考线上均匀生成参考点。首先，根据最优的TEC值和TET值计算两个理想点

然后，基于理想点对目标空间中每个候选解的位置进行归一化。因此，归一化后的理想点为零向量。然后从第t代种群S_t中得到一组极值点Z_t＝{Z₁，Z₂}。显然，标量函数ASF最小的点即为极值点，计算过程如下：

其中λ_j＝{λ_j1，λ_j2，…，λ_jm}是对应于坐标轴j方向的单位向量。详细来说，当k∈{1，2，…，m}时，若k≠j则λ_jk＝0，否则λ_jk＝1。集合Z_t-1是t-1代中极值点的集合。然后，利用Z_t中的两个极值点来构建目标空间中的参考线。然后，在参考线上生成H个参考点Λ＝{λ₁，λ₂，…，λ_H}。将种群S_t中所有候选解都投影到参考线上并聚类到最近的参考点。此时每个参考点都是一个聚类的中心，每个聚类是一个子种群。

4、基于气味的协同觅食策略

对于云工作流调度问题中的子问题，搜索新的候选解的过程取决于三个邻域搜索算子，包括任务重分配、资源转换以及任务插入。然后，邻域搜索算子在基于气味的觅食阶段执行协作搜索。其具体过程如下，且详细处理流程见附图3。

(1)任务重分配：一个任务被随机重新分配给另一个资源资源池；

(2)资源转换：随机选择一个资源并转换该资源的类型；

(3)任务插入：从向量Z中随机选择一个任务并找到距离其最近的前驱任务和后继任务，并将该任务的执行顺序随机插入到二者之间的任意位置。

为了生成分布良好的解集并节省计算资源，采用分布密度度量将计算资源分配给种群S_t中的解。具体来说，每个子群中的果蝇密度就是该子群中的果蝇数量。例如，假设参考点λ_j周围的子群由解集

形成，则这些果蝇的密度度量设置为3。显然，密度高的果蝇周围相似的候选解多，密度低的果蝇周围的候选解少。因此，计算资源应该分配给不太密集的果蝇来搜索它们周围的区域以进一步增强非支配解集的分布性。对于每只果蝇，采用基于气味的协同觅食的概率计算如下。

prob_i＝1/density_i，i＝{1，2，…，NP}

使用这三个邻域算子执行基于气味的协作搜索，以丰富搜索模式并有效分配计算资源。在协同嗅觉觅食之后，协同嗅觉觅食得到的直接候选解被保存在临时解集中。

5、基于视觉的多目标觅食策略

在本文中，基于视觉的多目标觅食策略是基于交叉算子进行的。由于不同调度方案的资源池特征难以学习，因此本方法主要采用基于顺序的交叉算子和基于映射的交叉算子，分别对向量X与向量Z进行交叉。具体过程如下，且详细处理流程见附图4。

在基于顺序的交叉算子中，交叉算子必须遵循工作流中任务的拓扑结构所带来的限制。首先，随机选择一个截止位置，将优良解的向量X拆分为两个子向量。然后，保留其中一部分作为候选子序列，并丢弃另一部分。接下来，从头开始扫描较差解的向量X，候选子序列中没有出现的任务按照原来的执行顺序形成一个剩余任务序列。然后将候选子序列与剩余任务序列合并。若优良解的第一部分被保留，则剩余任务序列应该附加在候选子序列的末尾，否则，剩余任务序列应放在候选子序列之前。

在基于映射的交叉算子中，向量X与向量Y是相互关联的。首先，随机选择两个截止点将向量X拆分为多个子向量。两个截止点之间的子向量保留在新候选解中。此外，由于任务与资源之间的映射关系直接影响调度方案的结果。因此，改变任务映射的同时应该修改对应的资源类型。例如，当学习者果蝇中运行在p₂类型资源r₃上的任务t₃被重新调度到p₁类型资源r₁上时，资源r₁类型应该同时改为p₂。然后，应该保留其他任务分配方案和资源池。

本方法采用收敛性指标来区分非支配之间的优劣性。事实上，可以通过参考点计算每个解的ASF。那么，解s_i的ASF的值就是收敛度量ρ_i。解s_i∈S_t的收敛度量ρ_i定义为ρ_i＝ASF(s_i，λ_i)。因此，基于收敛性指标，可以采用外部选择和内部选择这两种策略来选择优良解。在外部选择中，通过轮盘赌选择策略选择所有子群中收敛度量最低的解决方案之一作为优良解。通过外部选择可以有效地交换不同子群之间的信息，提高种群的多样性。第i个子群中最优解的选择概率定义如下：

其中μ_i是子种群S_i中解的密度度量，|S|是子种群的数量。

在内部选择中，直接选择当前子种群中收敛性指标最低的候选解作为优良解。内部选择倾向于引导较差的候选解移动到优良候选解的区域，并加快收敛速度。注意，内部选择策略只能在当前子种群中的果蝇数量大于等于2的情况下使用。也就是说，如果子种群中只有一个候选解，则直接使用外部选择策略。否则，内部选择与外部选择参照概率CR调用。

Claims

1.一种基于协同果蝇算法的多目标云工作流调度方法，其主要特征包括如下步骤：

(1)针对多目标云工作流调度问题的多个子问题，使用基于分解的编码策略针对不同子问题进行编码，构造问题空间；

(2)结合非线性权重向量与两种启发式规则，构造多个初始解；

(3)生成参考点并根据参考点将目标空间中的候选解聚类为多个子种群，每个子种群中的候选解根据其收敛性指标判断优劣；

(4)在基于气味的协同觅食策略中，基于任务重分配、资源转换以及任务插入三种邻域操作执行全局搜索；

(5)在基于视觉的多目标觅食策略中，通过子种群之间的交叉算子执行局部搜索以提升算法收敛性。

2.根据权利要求1所述的基于协同果蝇算法的多目标云工作流调度方法，步骤(1)针对多目标云工作流调度问题的多个子问题，使用基于分解的编码策略进行编码，其实现方法包括：

(21)使用向量X表示任务与资源之间的映射关系。在向量X中，每个元素都可以设置为介于1到|R|(最大资源数)之间的整数值；

(22)使用向量Y表示资源池中每个资源的类型。在向量Y中，每个元素是1到rtype(资源类型的数量)之间的整数值；

(23)使用向量Z表示任务的执行顺序，每个元素都是1到|T|(任务数量)之间的整数值。

3.根据权利要求1所述的基于协同果蝇算法的多目标云工作流调度方法，其特征在于，步骤(2)所述的结合非线性权重向量与两种启发式规则构造多个初始解，具体实现方法包括：

(31)仅在特定类型的一个资源上安排所有任务。假设有rtype种资源，生成rtype个特定的调度解决方案；

(32)在同一类型的资源上调度所有任务。具体来说，每个资源只执行一个任务，所有资源都是同一类型的；

(33)基于聚合函数f(σ)将执行时间TEC与执行时间TET进行组合。任务映射与资源池基于改进的HEFT构建以最小化聚合函数f(σ)。在满足拓扑约束时，随机构造任务执行顺序。

4.根据权利要求1所述的基于协同果蝇算法的多目标云工作流调度方法，其特征在于，步骤(3)中生成参考点并根据参考点将目标空间中的候选解聚类为多个子种群，其实现方法如下：

(41)根据最优的TEC值和TET值计算两个理想点

(42)基于理想点对目标空间中每个候选解的位置进行归一化；

(43)从第t代种群S_t中得到一组极值点Zt＝{Z₁，Z₂}；

(44)利用Z_t中的两个极值点来构建目标空间中的参考线；

(45)在参考线上生成H个参考点Λ＝{λ₁，λ₂，…，λ_H}，将种群S_t中所有候选解都投影到参考线上并聚类到最近的参考点。

5.根据权利要求1所述的基于协同果蝇算法的多目标云工作流调度方法，其特征在于，步骤(4)所述的基于气味的协同觅食策略，其实现方法如下：

(51)任务重分配：一个任务被随机重新分配给另一个资源资源池；

(52)资源转换：随机选择一个资源并转换该资源的类型；

(53)任务插入：从向量Z中随机选择一个任务并找到距离其最近的前驱任务和后继任务，并将该任务的执行顺序随机插入到二者之间的任意位置；

(54)为了生成分布良好的解集并节省计算资源，采用分布密度度量将计算资源分配给种群S_t中的解。

6.根据权利要求1所述的基于协同果蝇算法的多目标云工作流调度方法，其特征在于，步骤(5)中所述的基于视觉的多目标觅食策略，其实现方法包括：

(61)在基于顺序的交叉算子中，交叉算子必须遵循工作流中任务的拓扑结构所带来的限制。首先，随机选择一个截止位置，将优良解的向量X拆分为两个子向量。然后，保留其中一部分作为候选子序列，并丢弃另一部分。接下来，从头开始扫描较差解的向量X，候选子序列中没有出现的任务按照原来的执行顺序形成一个剩余任务序列。然后将候选子序列与剩余任务序列合并。若优良解的第一部分被保留，则剩余任务序列应该附加在候选子序列的末尾，否则，剩余任务序列应放在候选子序列之前；

(62)在基于映射的交叉算子中，向量X与向量Y是相互关联的。首先，随机选择两个截止点将向量X拆分为多个子向量。两个截止点之间的子向量保留在新候选解中。此外，由于任务与资源之间的映射关系直接影响调度方案的结果。因此，改变任务映射的同时应该修改对应的资源类型。例如，当学习者果蝇中运行在p₂类型资源r₃上的任务t₃被重新调度到p₁类型资源r₁上时，资源r₁类型应该同时改为p₂。然后，应该保留其他任务分配方案和资源池；

(63)采用收敛性指标来区分非支配之间的优劣性。事实上，可以通过参考点计算每个解的ASF。那么，解s_i的ASF的值就是收敛度量ρ_i。解s_i∈S_t的收敛度量ρ_i定义为ρ_i＝ASF(s_i，λ_j)。因此，基于收敛性指标，可以采用外部选择和内部选择这两种策略来选择优良解。在外部选择中，通过轮盘赌选择策略选择所有子群中收敛度量最低的解决方案之一作为优良解。通过外部选择可以有效地交换不同子群之间的信息，提高种群的多样性；

(64)在内部选择中，直接选择当前子种群中收敛性指标最低的候选解作为优良解。内部选择倾向于引导较差的候选解移动到优良候选解的区域，并加快收敛速度。注意，内部选择策略只能在当前子种群中的果蝇数量大于等于2的情况下使用。也就是说，如果子种群中只有一个候选解，则直接使用外部选择策略。否则，内部选择与外部选择参照概率CR调用。