CN105005501A - 一种面向云数据中心的二阶任务优化调度方法 - Google Patents

Abstract

本发明提供了一种面向云数据中心的二阶任务优化调度方法，包括云数据中心二阶任务调度建模、定义基因编码规则、种群初始化、计算适应度和遗传操作，其中遗传操作利用了基于Johnson规则的解码、线性交叉算子、单点进化变异算子以及交叉进化变异。本发明一方面通过遗传算法将任务分配到合适的处理机上，另一方面在遗传算法的解码过程中巧妙结合Johnson排序，使得分配到同一处理机上的任务能以最小完成时间执行，最后获得数据中心任务调度的相对满意解。本发明将问题抽象为一般化二阶任务调度问题，通过负载均衡的策略有利于提高资源利用率、降低使用和维护成本，适用于大部分二阶任务调度系统，具有显著的效果和很强的实用性。

Description

一种面向云数据中心的二阶任务优化调度方法

技术领域

本发明涉及一种面向云数据中心的二阶任务优化调度方法，属于云数据中心及任务调度应用领域。

背景技术

云数据中心集中了包括计算、存储、数据、应用等各种资源，当用户提出不同的任务请求时，需根据任务需求动态分配各类资源。随着云数据中心规模日益扩张，服务器数量逐渐增加、虚拟化环境日趋复杂，为提升数据中心管理性能、实现资源按需调度，同时降低管理和维护成本，需对各类资源进行合理调度。用户可通过多种方式(平板、手机、PC等)使用云服务，并通过网络提出任务请求，此时调度中心需根据具体任务计算其所需的资源，结合用户身份特征，采用合适的调度算法，将任务提交给合适的服务器(处理机)。当服务器接到任务时，执行调度并部署任务所需的资源，并在完成任务后将结果反馈给用户。与此同时，调度中心还需对数据中心的服务器进行实时监听，对资源使用率、空闲、配置信息等进行排序，以便下一次调度。

针对任务调度问题，常用方法有1)传统调度算法。如解析法、枚举法等，这类方法一般利用数学方法对问题进行求解。传统的调度算法简单易行、时间复杂度较低，但只适用于小规模的调度问题，难以应用于云数据中心这种计算量大、任务数多的大规模调度问题；2)启发式调度算法。包括在线模式启发式算法和批模式启发式算法，如列表调度算法、聚类算法、轮转法等。这类方法采用近似计算的方式得到相对较优的调度序列，适用于资源调度因素复杂的情况。可在较短的时间内求解大规模任务调度问题，但通常所得解质量较差，与理论最优调度差距较大；3)智能调度算法。如神经网络、粒子群算法、蚁群算法等，智能算法在演化过程中需大量的历史数据对算法进行训练或学习，因此，对历史数据不充分的情况并不适用，且这类算法将任务与处理机之间的关系模糊化，其调度结果的质量难以得到保证；4)邻域搜索算法。比较典型的有模拟退火算法、遗传算法、禁忌搜索算法、可变深度搜索算法等，这类算法从若干解出发，通过对解空间进行领域搜索以替换当前解来进行优化，其中以遗传算法应用居多，

上述的几类方法可有效解决普通任务调度问题，但考虑云数据中心任务的二阶特性，其处理过程可分为两个阶段：任务计算和网络传输。其中第一阶段为任务计算，即将用户请求的任务或应用在处理机上完成计算，并得到计算结果；第二阶段为网络传输，即通过网络将计算结果返回给用户。由于计算时间和传输时间取决于任务本身大小和用户所处的网络状况，因此，两阶段所需的时间并不存在线性关系。考虑云数据中心的任务两阶段特性，上述方法难以直接适用。

发明内容

为了解决现有技术的不足，本发明提供了一种面向云数据中心的二阶任务优化调度方法，建立一种一般化的云数据中心二阶任务调度模型，提出了一种基于JohnsonRanking的改进遗传调度方法，该方法不仅实现了多任务在多处理机上的高效调度，同时确保在单个服务器上的任务调度为最优调度。在保证服务质量的同时，提高云数据中心的资源利用率、降低使用和维护成本。

本发明为解决其技术问题所采用的技术方案是：提供了一种面向云数据中心的二阶任务优化调度方法，包括以下步骤：

(1)建立云数据中心的二阶任务模型：

设由m个任务组成的集合为J＝{J₁,J₂,...,J_j,...J_m}，其中，j∈[1,m]，任务表示第一阶段即任务计算阶段所需的时长，表示第二阶段即网络传输阶段所需的时长；设由n个处理机组成的集合为M＝{M₁,M₂,...,M_i,...M_n}，其中M_i表示集合中的一个处理机，i∈[1,n]；任务数目m、每个任务第一阶段和第二阶段所需的时长以及处理机数目n均为已知量；

定义大小为n×m的任务分配矩阵D，D中的第i行第j列的值d_ij的定义如下：

任务分配矩阵D中每一行仅有一个值为1，表示J中的一个任务分配到一个处理机上；任务一旦调度到M中的一个处理机上，则第一阶段和第二阶段均在该处理机上完成；二阶任务模型的任务为：找到合适的D，使J中的所有任务的总的时长最小；任务分配矩阵D为任务的解；

(2)定义基因编码规则：

从任务分配矩阵D的第一行开始，依次记录每一行值为1的元素所在的列数，将列数依次添加至序列I中；则I为由任务分配矩阵D编码得到的自然数序列；序列I为一个个体；

(3)种群初始化：

初始化得到包含n_p个个体的种群X＝{I(1),I(2),...,I(x),...,I(n_p)},x＝1,2,...,n_p，n_p为种群规模，根据花费与优化质量权衡方法选择得到；种群中的任意个体I(x)均由随机方法得到，且满足步骤(2)定义的基因编码规则，I(x)＝[s₁,s₂,...s_j,...s_m],s_j∈{1,2,...,n},j＝1,2,...m；所述种群X为初始种群；

(4)遗传操作：

(4-1)设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止；

(4-2)选择算子：采用轮盘赌方法进行个体选择，包括以下步骤：

计算当前种群的适应度其中每个个体的适应度通过以下公式计算：

$f\left(I\right(x\left)\right)=\frac{1}{\stackrel{\‾}{C}}=\frac{1}{max\left\{C_i\right\}},i=1,2,...,n_p$

其中，f(I(x))表示个体I(x)的适应度，C_i为处理机M_i上所有任务的完成时间，根据处理机M_i上各任务每个阶段的所需时长相加得到；

计算种群中每个个体的选择概率计算每个个体的累计选择概率利用随机数产生方法生成随机数r＝rand[0,1]；若r＜P(I(1))，则选择I(1)，若P(I(x-1))＜r＜P(I(x))，其中2≤x≤n_p，则选择I(x)；

(4-3)线性交叉算子：

从当前种群中任意选择两个个体作为父代个体I(1)和I(2)，利用随机数产生方法生成随机数r_c＝rand[0,1]，对I(1)和I(2)进行交叉操作：

$\hat{I}\left(1\right)=r_{c}I\left(1\right)+(1-r_c)I\left(2\right)$

$\hat{I}\left(2\right)=r_{c}I\left(2\right)+(1-r_c)I\left(1\right)$

对交叉后产生的新个体进行圆整化，得到合法子代

(4-4)进化变异算子：通过单点进化变异或者交叉进化变异进行进化变异算子；

其中，单点进化变异的过程为：任意选择父代个体I(x)，对该个体基于Johnson规则进行解码，所述基于Johnson规则进行解码的过程为：设解码后分配到处理机M_i的所有任务组成的序列为L_i，依次记录I(x)中值为“i”的数出现的位置j，每个i对应的j组成集合J_j，J_j就是分配到M_i上的任务的集合；根据和的大小关系将各个任务分组，其中第一组Group1包含的任务，第二组Group2包含的任务；对Group1中的任务按照进行不减排列，对Group2中的任务按照进行不增排列，然后以Group1在前、Group2在后的顺序将两组合并为新的组Group，完成排序；

比较各处理机M_i的当前完成时间C_i，获取最大值和最小值，设为C_min＝C_a,C_max＝C_b，其中最小值对应的处理机为M_a，分配到该处理机的所有任务组成的序列为L_a；最大值对应的处理机为M_b，分配到该处理机的所有任务组成的序列为L_b；计算最大完成时间与最小完成时间的差值Δ＝C_max-C_min＝C_b-C_a，在L_b中寻找是否存在任务J_k，满足s_k＝b且如存在，则将J_k从L_b移至L_a，即令s_k＝a；

交叉进化变异：任意选择父代个体I(x)，对该个体基于Johnson规则进行解码，比较各处理机M_i的当前完成时间C_i，获取最大值和最小值，设为C_min＝C_a,C_max＝C_b，计算最大完成时间与最小完成时间的差值Δ＝C_max-C_min＝C_b-C_a，在L_b中寻找任务J_k，L_a中寻找任务J_l，满足s_k＝b，s_l＝a且如存在，则将交换J_k与J_l，即令s_k＝a，s_l＝b。

步骤(3)所述的种群规模为20到40。

步骤(4-1)所述的设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止，具体为：设置最大遗传代数，对当前种群重复步骤(4-2)至步骤(4-4)，直到产生设置的遗传代数达到设置的最大遗传代数为止。

步骤(4-1)所述的设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止，具体为：设置最大CPU时间，对当前种群重复步骤(4-2)至步骤(4-4)，直到设置的最大CPU时间结束为止。

本发明基于其技术方案所具有的有益效果在于：

(1)本发明从云数据中心任务调度过程出发，分析云服务使用者所提交的任务特性，提取任务特征参数，根据不同任务所需的处理时间长不同以及网络状况差异，将任务表征成一般化二阶模型，结合云计算的并行计算特性，分析数据中心处理机特性，研究其并行处理机模型表示方法，根据数据中心任务调度需求，建立了一种面向云数据中心的一般化二阶任务调度模型；

(2)本发明提出一种基于提出了一种基于Johnson Ranking的改进遗传调度方法，结合数据中心任务调度模型的需求，研究调度问题的基因编码表示，并对遗传算法的各类算子进行合理设计，包括选择算子、交叉算子和变异算子，一方面通过遗传算法将任务分配到合适的处理机上，另一方面在遗传算法的解码过程中巧妙结合Johnson排序规则，使得分配到同一处理机上的任务能以最小完成时间执行，最后获得数据中心任务调度的相对满意解；

(3)本发明将问题抽象为一般化二阶任务调度问题，通过负载均衡的策略有利于提高资源利用率、降低使用和维护成本，适用于大部分二阶任务调度系统，具有显著的效果和很强的实用性。

附图说明

图1是本发明所述方法的流程示意图。

图2是本发明所述二阶任务模型和处理机模型示意图。

图3是本发明二阶任务调度模型示意图。

图4是本发明二阶任务参数示例。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明提供了一种面向云数据中心的二阶任务优化调度方法，参照图1，包括以下步骤：

(1)建立云数据中心的二阶任务模型：

设由m个任务组成的集合为J＝{J₁,J₂,...,J_j,...J_m}，其中，j∈[1,m]，任务表示第一阶段即任务计算阶段所需的时长，表示第二阶段即网络传输阶段所需的时长；设由n个处理机组成的集合为M＝{M₁,M₂,...,M_i,...M_n}，其中M_i表示集合中的一个处理机，i∈[1,n]；任务数目m、每个任务第一阶段和第二阶段所需的时长以及处理机数目n均为已知量；

定义大小为n×m的任务分配矩阵D，D中的第i行第j列的值d_ij的定义如下：

任务分配矩阵D中每一行仅有一个值为1，表示J中的一个任务分配到一个处理机上；任务一旦调度到M中的一个处理机上，则第一阶段和第二阶段均在该处理机上完成，对单个处理机而言，可以假定其有两个独立的处理通道P(Processing)和T(Transmission)，分别进行任务计算和网络传输操作，任务J_k和处理机M_i示意图分别如图2(1)和图2(2)所示。

二阶任务模型的任务为：找到合适的D，使J中的所有任务的总的时长最小；任务分配矩阵D为任务的解；

(2)定义基因编码规则：

从任务分配矩阵D的第一行开始，依次记录每一行值为1的元素所在的列数，将列数依次添加至序列I中；则I为由任务分配矩阵D编码得到的自然数序列；序列I为一个个体；

例如，15个任务调度到6个处理机，任务分配矩阵D可以是以下形式：

$D=\left[\begin{array}{ccccccccccccccc}0& 1& 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 1& 0& 0& 0& 0& 0& 1& 0& 0& 1& 0& 0& 0& 0& 1\\ 0& 0& 0& 0& 0& 0& 0& 1& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0& 0& 1& 0& 0& 0& 0\end{array}\right]$

基于上述所提的染色体编码规则，对J₁有d₂₁＝1，即J₁被分配到M₂上处理，因此染色体的第一个基因位为2，同理，对J₂有d₁₂＝1，因此第二个基因位为1，以此类推，直至D中所有元素“1”出现的行号都被记录下来，并按列排序，得到完整的个体(或称为染色体)为：

I＝[2 1 5 4 1 6 2 3 4 2 6 3 1 5 2]

(3)种群初始化：

初始化得到包含n_p个个体的种群X＝{I(1),I(2),...,I(x),...,I(n_p)},x＝1,2,...,n_p，n_p为种群规模，根据花费与优化质量权衡方法选择得到；种群中的任意个体I(x)均由随机方法得到，且满足步骤(2)定义的基因编码规则，I(x)＝[s₁,s₂,...s_j,...s_m],s_j∈{1,2,...,n},j＝1,2,...m；所述种群X为初始种群；

(4)遗传操作：

(4-1)设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止；

(4-2)选择算子：采用轮盘赌方法进行个体选择，包括以下步骤：

计算当前种群的适应度其中每个个体的适应度通过以下公式计算：

$f\left(I\right(x\left)\right)=\frac{1}{\stackrel{\‾}{C}}=\frac{1}{max\left\{C_i\right\}},i=1,2,...,n_p$

其中，f(I(x))表示个体I(x)的适应度，C_i为处理机M_i上所有任务的完成时间，根据处理机M_i上各任务每个阶段的所需时长相加得到

计算种群中每个个体的选择概率计算每个个体的累计选择概率利用随机数产生方法生成随机数r＝rand[0,1]；若r＜P(I(1))，则选择I(1)，若P(I(x-1))＜r＜P(I(x))，其中2≤x≤n_p，则选择I(x)；

(4-3)线性交叉算子：

从当前种群中任意选择两个个体作为父代个体I(1)和I(2)，利用随机数产生方法生成随机数r_c＝rand[0,1]，对I(1)和I(2)进行交叉操作：

$\hat{I}\left(1\right)=r_{c}I\left(1\right)+(1-r_c)I\left(2\right)$

$\hat{I}\left(2\right)=r_{c}I\left(2\right)+(1-r_c)I\left(1\right)$

对交叉后产生的新个体进行圆整化，得到合法子代

(4-4)进化变异算子：通过单点进化变异或者交叉进化变异进行进化变异算子；

其中，单点进化变异的过程为：任意选择父代个体I(x)，对该个体基于Johnson规则进行解码，所述基于Johnson规则进行解码的过程为：设解码后分配到处理机M_i的所有任务组成的序列为L_i，依次记录I(x)中值为“i”的数出现的位置j，每个i对应的j组成集合J_j，J_j就是分配到M_i上的任务的集合；根据和的大小关系将各个任务分组，其中第一组Group1包含的任务，第二组Group2包含的任务；对Group1中的任务按照进行不减排列，对Group2中的任务按照进行不增排列，然后以Group1在前、Group2在后的顺序将两组合并为新的组Group，完成排序。

参照图4，对于个体I＝[2 1 5 4 1 6 2 3 4 2 6 3 1 5 2]，以获取M₂的任务序列L₂为例对解码过程进行说明，有I₁＝I₇＝I₁₀＝I₁₅＝2，因此可得到分配到M₂上的任务集合为{J₁,J₇,J₁₀,J₁₅}。之后，按照Johnson规则对任务进行排序，可得任务序列L₂＝{J₁₀,J₁,J₇,J₁₅}。同样，可得到其他所有处理机上的任务序列，实现一次完全解码。

比较各处理机M_i的当前完成时间C_i，获取最大值和最小值，设为C_min＝C_a,C_max＝C_b，其中最小值对应的处理机为M_a，分配到该处理机的所有任务组成的序列为L_a；最大值对应的处理机为M_b，分配到该处理机的所有任务组成的序列为L_b；计算最大完成时间与最小完成时间的差值Δ＝C_max-C_min＝C_b-C_a，在L_b中寻找是否存在任务J_k，满足s_k＝b且如存在，则将J_k从L_b移至L_a，即令s_k＝a；

交叉进化变异：任意选择父代个体I(x)，对该个体基于Johnson规则进行解码，比较各处理机M_i的当前完成时间C_i，获取最大值和最小值，设为C_min＝C_a,C_max＝C_b，计算最大完成时间与最小完成时间的差值Δ＝C_max-C_min＝C_b-C_a，在L_b中寻找任务J_k，L_a中寻找任务J_l，满足s_k＝b，s_l＝a且如存在，则将交换J_k与J_l，即令s_k＝a，s_l＝b。

上述对算子进行选择、交叉和变异即表示对个体进行选择、交叉和变异处理。

步骤(3)所述的种群规模为20到40。

步骤(4-1)所述的设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止，可以设置为：设置最大遗传代数，对当前种群重复步骤(4-2)至步骤(4-4)，直到产生设置的遗传代数达到设置的最大遗传代数为止。

步骤(4-1)所述的设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止，可以设置为：设置最大CPU时间，对当前种群重复步骤(4-2)至步骤(4-4)，直到设置的最大CPU时间结束为止。

Claims (4)

1.一种面向云数据中心的二阶任务优化调度方法，其特征在于包括以下步骤：

(1)建立云数据中心的二阶任务模型：

设由m个任务组成的集合为J＝{J₁,J₂,...,J_j,...J_m}，其中，j∈[1,m]，任务 表示第一阶段即任务计算阶段所需的时长，表示第二阶段即网络传输阶段所需的时长；设由n个处理机组成的集合为M＝{M₁,M₂,...,M_i,...M_n}，其中M_i表示集合中的一个处理机，i∈[1,n]；任务数目m、每个任务第一阶段和第二阶段所需的时长以及处理机数目n均为已知量；

定义大小为n×m的任务分配矩阵D，D中的第i行第j列的值d_ij的定义如下：

任务分配矩阵D中每一行仅有一个值为1，表示J中的一个任务分配到一个处理机上；任务一旦调度到M中的一个处理机上，则第一阶段和第二阶段均在该处理机上完成；二阶任务模型的任务为：找到合适的D，使J中的所有任务的总的时长最小；任务分配矩阵D为任务的解；

(2)定义基因编码规则：

从任务分配矩阵D的第一行开始，依次记录每一行值为1的元素所在的列数，将列数依次添加至序列I中；则I为由任务分配矩阵D编码得到的自然数序列；序列I为一个个体；

(3)种群初始化：

初始化得到包含n_p个个体的种群X＝{I(1),I(2),...,I(x),...,I(n_p)},x＝1,2,...,n_p，n_p为种群规模，根据花费与优化质量权衡方法选择得到；种群中的任意个体I(x)均由随机方法得到，且满足步骤(2)定义的基因编码规则，I(x)＝[s₁,s₂,...s_j,...s_m],s_j∈{1,2,...,n},j＝1,2,...m；所述种群X为初始种群；

(4)遗传操作：

(4-1)设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止；

(4-2)选择算子：采用轮盘赌方法进行个体选择，包括以下步骤：

计算当前种群的适应度其中每个个体的适应度通过以下公式计算：

$f\left(I\right(x\left)\right)=\frac{1}{\stackrel{\‾}{C}}=\frac{1}{max\left\{C_i\right\}},i=1,2,...,n_p$

其中，f(I(x))表示个体I(x)的适应度，C_i为处理机M_i上所有任务的完成时间，根据处理机M_i上各任务每个阶段的所需时长相加得到；

计算种群中每个个体的选择概率计算每个个体的累计选择概率利用随机数产生方法生成随机数r＝rand[0,1]；若r＜P(I(1))，则选择I(1)，若P(I(x-1))＜r＜P(I(x))，其中2≤x≤n_p，则选择I(x)；

(4-3)线性交叉算子：

从当前种群中任意选择两个个体作为父代个体I(1)和I(2)，利用随机数产生方法生成随机数r_c＝rand[0,1]，对I(1)和I(2)进行交叉操作：

$\hat{I}\left(1\right)=r_{c}I\left(1\right)+(1-r_c)I\left(2\right)$

$\hat{I}\left(2\right)=r_{c}I\left(2\right)+(1-r_c)I\left(1\right)$

对交叉后产生的新个体进行圆整化，得到合法子代

(4-4)进化变异算子：通过单点进化变异或者交叉进化变异进行进化变异算子；

其中，单点进化变异的过程为：任意选择父代个体I(x)，对该个体基于Johnson规则进行解码，所述基于Johnson规则进行解码的过程为：设解码后分配到处理机M_i的所有任务组成的序列为L_i，依次记录I(x)中值为“i”的数出现的位置j，每个i对应的j组成集合J_j，J_j就是分配到M_i上的任务的集合；根据和的大小关系将各个任务分组，其中第一组Group1包含的任务，第二组Group2包含的任务；对Group1中的任务按照进行不减排列，对Group2中的任务按照进行不增排列，然后以Group1在前、Group2在后的顺序将两组合并为新的组Group，完成排序；

比较各处理机M_i的当前完成时间C_i，获取最大值和最小值，设为C_min＝C_a,C_max＝C_b，其中最小值对应的处理机为M_a，分配到该处理机的所有任务组成的序列为L_a；最大值对应的处理机为M_b，分配到该处理机的所有任务组成的序列为L_b；计算最大完成时间与最小完成时间的差值Δ＝C_max-C_min＝C_b-C_a，在L_b中寻找是否存在任务J_k，满足s_k＝b且如存在，则将J_k从L_b移至L_a，即令s_k＝a；

交叉进化变异：任意选择父代个体I(x)，对该个体基于Johnson规则进行解码，比较各处理机M_i的当前完成时间C_i，获取最大值和最小值，设为C_min＝C_a,C_max＝C_b，计算最大完成时间与最小完成时间的差值Δ＝C_max-C_min＝C_b-C_a，在L_b中寻找任务J_k，L_a中寻找任务J_l，满足s_k＝b，s_l＝a且如存在，则将交换J_k与J_l，即令s_k＝a，s_l＝b。

2.根据权利要求1所述的面向云数据中心的二阶任务优化调度方法，其特征在于：步骤(3)所述的种群规模为20到40。

3.根据权利要求1所述的面向云数据中心的二阶任务优化调度方法，其特征在于：步骤(4-1)所述的设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止，具体为：设置最大遗传代数，对当前种群重复步骤(4-2)至步骤(4-4)，直到产生设置的遗传代数达到设置的最大遗传代数为止。

4.根据权利要求1所述的面向云数据中心的二阶任务优化调度方法，其特征在于：步骤(4-1)所述的设置终止条件，对当前种群重复步骤(4-2)至步骤(4-4)，直到满足终止条件为止，具体为：设置最大CPU时间，对当前种群重复步骤(4-2)至步骤(4-4)，直到设置的最大CPU时间结束为止。