CN112954012B - 基于负载的改进模拟退火算法的云任务调度方法 - Google Patents

Abstract

本发明涉及一种基于负载的改进模拟退火算法的云任务调度方法，属于网络技术领域。本发明通过建立时间‑成本双适应度函数并将负载ΔL加入到传统模拟退火算法中的metropolis准则中，提高系统负载较好的解的接受概率，使任务在减少时间以及成本的同时以使系统达到负载均衡。传统模拟退火算法相比，本发明降低了任务总执行时间以及任务执行成本，提高了系统负载的均衡度,相较于遗传模拟退火算法,参数减少，容易实现。

Description

基于负载的改进模拟退火算法的云任务调度方法

技术领域

本发明属于网络技术领域，具体涉及一种基于负载的改进模拟退火算法的云任务调度方法。

背景技术

近几年来，由于互联网网络规模快速扩展，其所需要处理的业务量也随之快速增长。如何在较多时间内处理更多的数据与服务，高效率地为用户群体提供便捷优良的网络服务，已成为当前互联网发展所面临的一个问题。这种大背景下，产生了一种新型服务计算模型：云计算。而云计算中的虚拟化技术在现今作为一种资源管理技术，是将计算机的各种实体资源，如服务器，网络，内存及存储等，予以抽象转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源，其以更高的资源利用率，使用更加灵活，更加安全，可扩展性强等特点被广泛应用到各种领域。虚拟化技术中的资源调度过程指物理机被虚拟化成可在数据中心上同时运行的多个虚拟机。任务调度算法就是确定任务和虚拟资源之间的映射，以便满足一个或多个优化目标，当然任务如果有特殊需求的话，可以将任务与物理机直接映射，交由物理机直接处理。通常，当任务被提交后，计算资源管理者通过管理中间件中的资源管理机制为任务分配虚拟化资源。

期刊计算机科学第45卷第7期90-94页“基于云环境的高效任务调度算法”将每台虚拟机上执行任务的总预期执行时间当作这台虚拟机的负载，并以此为评价函数筛选其贪心模拟退火算法的解，即比较两个解谁的预期执行时间短，较短执行时间的分配方案为算法的下一次解，不断进行迭代优化直至满足优化条件。

期刊数据通信第一卷第2期21-28页“一种云环境下多目标优化虚拟机调度算法”所建立得到均衡度模型如下：

式中Load_i为第i个虚拟机的资源负载，vmeload_i为内存负载，load_avg为i虚拟机的平均资源负载，vcload_i为虚拟机i的cpu负载。

并将此模型作为目标函数，其值作为遗传模拟退火算法产生新解的一个评价标准。由上式可以看出，当cpu与内存利用率相等时，Load_i这时候达到了最小值0，说明这时候cpu与内存的使用都达到，了均衡，二者若相差较大，如内存使用率0％，cpu使用率100％，则Load_i达到了最大值0.5，因此此模型有一定的衡量系统是否达到负载均衡的意义。

第一项中只以预期执行时间为评价函数，而为考虑任务执行的成本消耗，对于任务所使用的资源利用率也未加衡量，因此适用范围较为局限。

负载均衡的目的是为了使系统加强系统的处理任务的能力，增加吞吐量，提高系统可用性和灵活性，而第二项中的模型是在cpu或者内存使用率较高时才有效的模型，若二者使用率都较高时，这里取极值都为1时，这时候按以上模型衡量时达到了系统负载均衡，但是这时候但cpu利用率和内存利用率极高，系统处于高负荷状态，很有可能会造成响应延时，甚至导致任务失败。无论是吞吐量还是任务处理能力都大大降低。此文并未给出针对这种情况行之有效的方法。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何克服现有模拟退火算法中收敛速度较慢解的质量较差等缺点。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于负载的改进模拟退火算法的云任务调度方法，包括以下步骤：

步骤1、初始化

设定初始温度T₀，依据基于预期任务完成时间的贪心方法，给出初始解X₀以及函数值F_e(X₀)，并给定Markov链长L_N，建立记忆矩阵M与记忆函数MI；

步骤2、产生新解

对当前解进行随机扰动产生新解X_n并计算其函数值F_e(X_n)，扰动公式为X_n＝X_n-1+(Random()-α)*m，α为控制扰动方向，α∈[0,1],Random()∈(0,1)，m为虚拟机个数；

步骤3、计算dF

dF＝F_e(X_n)-F_e(X₀)，如果dF≥0，则新解X_n成为当前解，否则，根据Metropolis准则计算接受概率p，产生一个在(0,1)区间上的随机数q,若p＞q,则新解X_n成为当前解否则保留当前解，比较当前解适应度值与记忆函数MI的值，若F_e(X_n)≥MI，则令MI＝F_e(X_n)，并将X_n存入M中；

步骤4、判断是否终止

判断此时是否满足终止条件，满足则输出所得解，比较所得解的适应度值与MI的大小，选出适应度值较大的为最终解，算法终止，否则执行步骤5；

步骤5、降温

按照组合降温函数对当前温度降温，然后转到步骤2。

(三)有益效果

本发明通过建立时间-成本双适应度函数并将负载ΔL加入到传统模拟退火算法中的metropolis准则中，提高系统负载较好的解的接受概率，使任务在减少时间以及成本的同时以使系统达到负载均衡。传统模拟退火算法相比，本发明降低了任务总执行时间以及任务执行成本，提高了系统负载的均衡度，相较于遗传模拟退火算法，参数减少，容易实现。

附图说明

图1为本发明的主流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如何设计一种相较于传统模拟退火算法既节省时间成本又提高系统的负载均衡度的方法，用于克服现有模拟退火算法中收敛速度较慢解的质量较差等缺点。

本发明的具体步骤如下：

步骤1、初始化

设定初始温度T₀，依据基于预期任务完成时间的贪心方法(优先给预期任务完成时间短的虚拟机分配任务，相同则看任务个数)，给出初始解X₀以及函数值F_e(X₀)，并给定Markov链长L_N，建立记忆矩阵M与记忆函数MI；

步骤2、产生新解

对当前解进行随机扰动产生新解X_n并计算其函数值F_e(X_n)，扰动公式为X_n＝X_n-1+(Random()-α)*m，α为控制扰动方向，α∈[0,1],Random()∈(0,1)，m为虚拟机个数；

步骤3、计算dF

dF＝F_e(X_n)-F_e(X₀)，如果dF≥0,则新解X_n成为当前解，否则，根据Metropolis准则计算接受概率p，产生一个在(0,1)区间上的随机数q,若p＞q,则新解X_n成为当前解否则保留当前解，比较当前解适应度值与记忆函数MI的值，若F_e(X_n)≥MI，则令MI＝F_e(X_n),并将X_n存入M中；

步骤4、判断是否终止

判断此时是否满足终止条件(终止条件为连续若干个解没有发生变化，说明已收敛)，满足则输出所得解，比较所得解的适应度值与MI的大小，选出适应度值较大的为最终解，算法终止，否则执行步骤5；

步骤5、降温

按照组合降温函数对当前温度降温，然后转到步骤2。

步骤1、2中，函数F_e()通过以下方式得到：

将云计算环境下的任务调度问题抽象为：合理地让m台虚拟机执行n个相互独立的任务(m＜n)，其中虚拟机集合VM＝(vm₁,vm₂,...,vm_m)，任务集合T＝(t₁,t₂,...,t_n)，每个子任务只能由一个虚拟机调度执行，二者的关系可用以下矩阵R来表示

其中R_ij表示子任务t_j与虚拟机vm_i的分配关系，即是否被vm_i调度执行，取值为0，表示未被调度，1表示被调度，i表示1,…,m，j表示1,…,n。

本发明从任务执行时间，开销以及系统负载均衡两方面入手来表示云计算任务调度问题的约束模型。

用etc_ij(expectedtimetocomplete)表示子任务t_j在虚拟机vm_i上的预期执行时间，而预期执行时间由传输时间和在虚拟机上的运行时间决定，即

etc_ij＝trans_ij+e_ij (2)

式中trans_ij为将子任务t_j传输到虚拟机vm_i上的时间，e_ij为子任务t_j在虚拟机vm_i上的预期运行时间，e_ij的计算公式如下

式中tasklength_j为子任务t_j的长度，vcal_i为虚拟机vm_i的计算能力，一般由以下方式计算

vcal_i＝vcpu_i*vmips_i+vmem_i (4)

式中vcpu_i为虚拟机vm_i的分配到的处理器数量，vmips_i为虚拟机vm_i得到的处理器运算速度(每秒百万条指令数)，vmem_i为虚拟机vm_i的内存；

令vetc_i为第i个虚拟机的任务预期执行时间，则

vect_max＝max(vetc_i)，vect_min＝min(vetc_i),由于虚拟机并发执行任务的特性，因此只需求出某一虚拟机执行一个或者多个子任务的最大预期执行时间，即可知道整个系统用分配方案XS去执行任务集T的时间，因此任务预期执行时间的适应度函数为

式中F_vect值越大，表示任务执行时间越短，则分配方案越好，vetc(XS)表示分配方案XS的任务预期执行时间，设虚拟机vm_i单位时间内执行任务所耗费的资源成本为r_i，ecc_ij表示子任务t_j在虚拟机vm_i的预期执行成本，则ecc_ij＝λ*r_i*etc_ij，λ为相关系数，则在虚拟机vm_i上处理任务的总成本

因此成本适应度函数为

式中可以看出F_vecc(xs)值越大，则资源成本耗费越少，至此可以得到资源选择的双适应度函数为

F_e(XS)＝a*F_vect(XS)+b*F_vecc(XS) (7)

R_ij＝0或1，

式中，a,b为时间以及成本的权重因子，a,b∈[0,1],a+b＝1，Ncpu与Nmem为当前数据中心的cpu数与内存大小；

步骤3中：

影响负载的因素中主要考虑虚拟机内存使用率以及cpu占用率；

CPU负载定义为

式中vcload_i为第i个虚拟机的cpu负载，vcs_i为执行第j个任务前所占用的初始cpu使用率，vc_ij为执行第j个任务后所占用的cpu大小，vc_i为i虚拟机总的处理能力大小，同理有内存负载与带宽负载定义为

式中vmeload_i为第i个虚拟机的内存负载，vmes_i为执行第j个任务前所占用的初始内存使用率，vme_ij为执行第j个任务后所占用的内存大小，vme_i为第i个虚拟机总的内存大小，第i个虚拟机的总负载为

sumload_i＝A*vcload_i+B*vmeload_i (10)

A,B为权重因子，且A+B＝1,A,B∈[0,1],虚拟机集的平均负载为

第i个虚拟机的负载与虚拟机集的平均负载差值为

其中，ΔL_i＝|sumload_i-load_average|

由上可得，以单个虚拟机上的负载与整体的相比较，ΔL值越小，负载就越均衡，有效的解决了上文提到的问题。之后将ΔL_i值加入到模拟退火算法中的Metropolis准则，即接受概率

中，得到接受概率p，ΔL值越小使得差解接受概率p增大，即使系统负载均衡的解接受概率增大，E_i＝F_e(i)，E_j＝F_e(j)，T’为当前温度，κ表示预设常数。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于负载的改进模拟退火算法的云任务调度方法，其特征在于，包括以下步骤：

步骤1、初始化

设定初始温度T₀，依据基于预期任务完成时间的贪心方法，给出初始解X₀以及函数值F_e(X₀)，并给定Markov链长L_N，建立记忆矩阵M与记忆函数MI；

步骤2、产生新解

对当前解进行随机扰动产生新解X_n并计算其函数值F_e(X_n)，扰动公式为X_n＝X_n-1+(Random()-α)*m，α为控制扰动方向，α∈[0，1]，Random()∈(0，1)，m为虚拟机个数；

步骤3、计算dF

dF＝F_e(X_n)-F_e(X₀)，如果dF≥0，则新解X_n成为当前解，否则，根据Metropolis准则计算接受概率p，产生一个在(0，1)区间上的随机数q，若p＞q，则新解X_n成为当前解否则保留当前解，比较当前解适应度值与记忆函数MI的值，若F_e(X_n)≥MI，则令MI＝F_e(X_n)，并将X_n存入M中；

步骤4、判断是否终止

判断此时是否满足终止条件，满足则输出所得解，比较所得解的适应度值与MI的大小，选出适应度值较大的为最终解，算法终止，否则执行步骤5；

步骤5、降温

按照组合降温函数对当前温度降温，然后转到步骤2；

步骤1中，函数F_e()通过以下方式得到：

将云计算环境下的任务调度问题抽象为：合理地让m台虚拟机执行n个相互独立的任务，m＜n，其中虚拟机集合VM＝(vm₁，vm₂，...，vm_m)，任务集合T＝(t₁，t₂，...，t_n)，每个子任务只能由一个虚拟机调度执行，二者的关系用以下矩阵R来表示

其中R_ij表示子任务t_j与虚拟机vm_i的分配关系，即是否被vm_i调度执行，取值为0，表示未被调度，1表示被调度，i表示1，...，m，j表示1，...，n；

从任务执行时间，开销以及系统负载均衡两方面入手来表示云计算任务调度问题的约束模型；

用etc_ij表示子任务t_j在虚拟机vm_i上的预期执行时间，而预期执行时间由传输时间和在虚拟机上的运行时间决定，即

etc_ij＝trans_ij+e_ij (2)

式中trans_ij为将子任务t_j传输到虚拟机vm_i上的时间，e_ij为子任务t_j在虚拟机vm_i上的预期运行时间，e_ij的计算公式如下

式中tasklength_j为子任务t_j的长度，vcal_i为虚拟机vm_i的计算能力，由以下方式计算

vcal_i＝vcpu_i*vmips_i+vmem_i (4)

式中vcpu_i为虚拟机vm_i的分配到的处理器数量，vmips_i为虚拟机vm_i得到的处理器运算速度，vmem_i为虚拟机vm_i的内存；

令vetc_i为第i个虚拟机的任务预期执行时间，则

vect_max＝max(vetc_i)，vect_min＝min(vetc_i)，由于虚拟机并发执行任务的特性，因此只需求出一个虚拟机执行一个或者多个子任务的最大预期执行时间，即可知道整个系统用分配方案XS去执行任务集T的时间，因此任务预期执行时间的适应度函数为

式中F_vect值越大，表示任务执行时间越短，则分配方案越好，vetc(XS)表示分配方案XS的任务预期执行时间，设虚拟机vm_i单位时间内执行任务所耗费的资源成本为r_i，ecc_ij表示子任务t_j在虚拟机vm_i的预期执行成本，则ecc_ij＝λ*r_i*etc_ij，λ为相关系数，则在虚拟机vm_i上处理任务的总成本

因此成本适应度函数为

式中F_vecc(xs)值越大，则资源成本耗费越少，至此得到资源选择的双适应度函数为

F_e(XS)＝a*F_vect(XS)+b*F_vecc(XS) (7)

R_ij＝0或1，

式中，a，b为时间以及成本的权重因子，Ncpu与Nmem为当前数据中心的cpu数与内存大小。

2.如权利要求1所述的方法，其特征在于，步骤1中，在基于预期任务完成时间的贪心方法中，优先给预期任务完成时间短的虚拟机分配任务，相同则看任务个数。

3.如权利要求1所述的方法，其特征在于，所述终止条件为连续若干个解没有发生变化，说明此时已收敛。

4.如权利要求1所述的方法，其特征在于，所述处理器运算速度为每秒百万条指令数。

5.如权利要求1所述的方法，其特征在于，a，b∈[0，1]，a+b＝1。

6.如权利要求1所述的方法，其特征在于，步骤3中，接受概率p通过以下方式确定：

影响负载的因素中考虑虚拟机内存使用率以及cpu占用率；

CPU负载定义为

式中vcload_i为第i个虚拟机的cpu负载，vcs_i为执行第j个任务前所占用的初始cpu使用率，vc_ij为执行第j个任务后所占用的cpu大小，vc_i为i虚拟机总的处理能力大小，同理有内存负载与带宽负载定义为

式中vmeload_i为第i个虚拟机的内存负载，vmes_i为执行第j个任务前所占用的初始内存使用率，vme_ij为执行第j个任务后所占用的内存大小，vme_i为第i个虚拟机总的内存大小，第i个虚拟机的总负载为

sumload_i＝A*vcload_i+B*vmeload_i (10)

A，B为权重因子，虚拟机集的平均负载为

第i个虚拟机的负载与虚拟机集的平均负载差值为

其中，ΔL_i＝|sumload_i-load_average|

之后将ΔL_i值加入到模拟退火算法中的Metropolis准则，即接受概率

中，得到接受概率p，其中E_i＝F_e(i)，E_j＝F_e(j)，T’为当前温度，κ表示预设常数。

7.如权利要求6所述的方法，其特征在于，A+B＝1，A，B∈[0，1]。

Images