CN111124629A - 一种带结果收集的多趟调度模型的求解方法及系统 - Google Patents

Abstract

本发明属于信息处理技术领域，公开了一种带结果收集的多趟调度模型的求解方法及系统，给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型；求解带结果收集的多趟调度模型：求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，从而得到任务的最短完成时间。本发明的带结果收集的多趟调度模型以任务的最短完成时间为目标，推导得到了任务分配方案关于调度趟数和处理机数目的解析解。本发明提出的求解该模型的智能优化算法能够高效准确地求出最优的调度趟数和最优的处理机调度顺序。

Description

一种带结果收集的多趟调度模型的求解方法及系统

技术领域

本发明属于信息技术领域，尤其涉及一种带结果收集的多趟调度模型的求解方法及系统。

背景技术

目前，最接近的现有技术：

随着科学技术的蓬勃发展，数据规模呈爆炸式增长。目前存在大量大数据相关应用，例如大规模雷达图像的快速处理、大数据检索和分类、生物数据的快速分析、高清视频的快速格式转换、大规模矩阵的快速运算和数据流的实时处理等，这些大规模应用都需要在分布式计算平台上进行并行处理以便减少任务的处理时间。任务的处理效率很大程度上取决于任务调度方案的优劣。

已有的任务调度模型主要分为两类：单趟调度和多趟调度。在单趟调度模型中，主处理机将任务分成同从处理机数目相等的份数，并按照处理机调度顺序依次为从处理机传输任务，每个从处理机仅接收并计算一次任务。由于单趟调度分配给每台从处理机的任务量较大，因此后参与计算的处理机可能存在较长的等待时间。鉴于此，多趟调度通过将任务多批次的分配给每个从处理机来减少处理机的等待时间，从而提高任务的处理效率。然而，已有多趟调度模型均假设任务计算后得到的结果数据量很小，且结果的收集相对于任务的传输和计算时间可以忽略不计。但是，这一假设与大数据应用的实际情况不符，如清视频的快速格式转换和大规模矩阵的快速运算等。可见，多趟调度模型必须考虑结果的收集才能使模型更符合实际应用的需求。

综上所述，现有技术存在的问题是：

(1)单趟调度模型每个从处理机仅接收并计算一次任务。单趟调度分配给每台从处理机的任务量较大，因此后参与计算的处理机可能存在较长的等待时间，导致单趟调度模型的任务完成时间较长。

(2)已有多趟调度模型均假设任务计算后得到的结果数据量很小，且结果的收集相对于任务的传输和计算时间可以忽略不计。但是，这一假设与大数据应用的实际情况不符。

解决上述技术问题的难度：

已有的调度模型与大数据应用的实际情况不符，需要建立新的带结果收集的多趟调度模型，并设计求解新模型的高效算法，包括求解得到最优的任务分配方案，最优的调度趟数和最优的处理机调度顺序。

解决上述技术问题的意义：

所建立的新的带结果收集的多趟调度模型能够适用于大规模分布式环境下的大数据应用任务，可以加快任务的完成时间，提高任务的完成效率。

发明内容

针对现有技术存在的问题，本发明提供了一种带结果收集的多趟调度模型的求解方法及系统。

本发明是这样实现的，一种带结果收集的多趟调度模型的求解方法，针对大数据应用的任务调度问题，结合实际情况将结果收集的过程融合到调度过程中统一进行优化，通过严格的数学推导，得到每个处理机的最优任务分配方案的解析解，建立以总任务最短完成时间为目标的带结果收集的可分任务多趟调度模型。

针对所提出的带结果收集的多趟任务调度模型，设计一种启发式算法和进化算法分别得到调度的最优趟数和最优处理机调度顺序，从而得到最短的任务完成时间，提高任务的处理效率。

进一步，所述带结果收集的多趟调度模型的求解方法包括以下步骤：

步骤1，给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型；

步骤2，求解带结果收集的多趟调度模型：求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，从而得到任务的最短完成时间。

进一步，步骤1中，所述给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案包括：

其中，

p₀为主处理机，{p₁,p₂,…,p_n}为从处理机；{l₁,l₂,…,l_n}为p₀连接至从处理机{p₁,p₂,…,p_n}的通信链路；Λ＝(λ₁,λ₂,…,λ_n)为从处理机的调度顺序，其中(λ₁,λ₂,…,λ_n)为(1,2,…,n)的排列；m为调度趟数，n为参与调度的从处理机的数目，其中，W为总任务量，V为每一趟的调度任务大小。

α_i,β_i,γ_i分别表示从处理机

在第一趟调度、内部调度以及最后一趟调度所分配的任务大小；β_i是β₁的线性函数，μ_i是该函数的斜率，v_i是该函数的截距；α_i是α₁和β₁的线性函数，Δ_i是α₁的系数，H_i是β₁的系数，φ_i是该函数的截距；γ_i是γ₁和β₁的线性函数，Γ_i是γ₁的系数，-E_i是β₁的系数，ψ_i是该函数的截距。o_i为链路l_i的通信启动开销；z_i为l_i传输单位任务所花费的时间；s_i为从处理机p_i的计算启动开销；w_i为从处理机p_i的计算单位任务所花费的时间；θ为总结果收集量与总任务量的比率。

进一步，步骤1中，所述建立的带结果收集的多趟可分任务调度模型包括：

此模型的约束条件为：

0＜α_i,β_i,γ_i＜V，i＝1,2,…,n；

m≥3；

其中，α₁、β₁、γ₁满足式1。

进一步，所述步骤2的具体实现步骤包括：

步骤2.1：设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen。

步骤2.2：产生从N个1到n的n位随机排列数作为初始种群Pop(0)。对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据公式5计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0。

步骤2.3：对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体。令交叉生成的所有子代个体为O₁(t)。

步骤2.4：对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因。令变异生成的所有子代个体为O₂(t)。

步骤2.5：求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据公式5得到任务完成时间。个体的适应度为任务完成时间的倒数。

步骤2.6：从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1。

步骤2.7：若t≤MaxGen，则转至步骤2.3继续执行，否则停止该算法，得到当前种群的最好的解，即为该算法得到的最优处理机调度顺序Λ^*。

步骤2.8：由种群的最优个体Λ^*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m^*，根据公式5计算出最优的任务调度时间T(m^*,Λ^*)。

进一步，步骤2中，所述步骤2.2、2.5、2.8求解最优趟数算法具体实现步骤包括：

步骤2.2.1：记调度顺序为Λ，处理机数量为n，任务量为W，令趟数下界lower＝3，步长step＝2。

步骤2.2.2：令上界upper＝lower+step，当前趟数m＝upper，根据公式1计算α_i,β_i,γ_i，其中i＝1,2,…,n。

步骤2.2.3：当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，转至步骤2.2.5，否则执行步骤2.2.4。

步骤2.2.4：令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)。若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2，lower＝mid，转至步骤2.2.2，否则执行步骤2.2.5。

步骤2.2.5：若lower≥upper，则最优趟数m*＝upper，程序终止输出m*，否则转至步骤2.2.6。

步骤2.2.6：令mid＝(lower+upper)/2，m＝mid，计算α_i,β_i,γ_i，i＝1,2,…,n

步骤2.2.7：当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至步骤2.2.5.否则执行步骤2.2.8。

步骤2.2.8：计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m*＝upper，程序终止，输出m*，若lower＜upper，则转至步骤2.2.6。

本发明的另一目的在于提供一种带结果收集的多趟调度模型的求解系统，所述求解系统包括依次连接带结果收集的多趟调度模型建立模块和带结果收集的多趟调度模型求解模块。

所述带结果收集的多趟调度模型建立模块，用于给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型；

带结果收集的多趟调度模型求解模块，用于求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，得到任务的最短完成时间。

所述带结果收集的多趟调度模型建立模块包括：

任务分配方案子模块，用于实现给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；

多趟可分任务调度模型子模块，用于建立带结果收集的多趟可分任务调度模型。

进一步，所述带结果收集的多趟调度模型求解模块包括；

第一子模块，用于设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen；

第二子模块，用于产生从N个1到n的n位随机排列数作为初始种群Pop(0)；对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据公式5计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0；

第三子模块，对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体；令交叉生成的所有子代个体为O₁(t)；

第四子模块，对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因；令变异生成的所有子代个体为O₂(t)；

第五子模块，用于求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据多趟可分任务调度模型公式得到任务完成时间；个体的适应度为任务完成时间的倒数；

第六子模块，用于从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1；

第七子模块，若t≤MaxGen，则转至模块23继续执行，否则停止该算法，得到当前种群的最好的解，为该算法得到的最优处理机调度顺序Λ*；

第八子模块，由种群的最优个体Λ*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m*，根据多趟可分任务调度模型公式计算出最优的任务调度时间T(m*,Λ*)。

进一步，所述第二子模块包括：

第九子模块，用于实现记调度顺序为Λ，该网络规模为n，任务量为W，令趟数下界lower＝3，步长step＝2；

第十子模块，用于令上界upper＝lower+step，当前趟数m＝upper，根据任务分配方案公式计算α_i,β_i,γ_i,i＝1,2,…,n；

第十一子模块，用于当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，进入模块225，否则进入模块224；

第十二子模块，用于令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)；若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2，lower＝mid，转至第十子模块222，否则进入第十三字模块；

第十三子模块，用于实现若lower≥upper，则最优趟数m*＝upper，程序终止输出m*，否则进入第十四模块；

第十四子模块，用于实现令mid＝(lower+upper)/2，m＝mid，计算α_i,β_i,γ_i,i＝1,2,…,n；

第十五子模块，用当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至第十三子模块，否则执行第十六模块功能；

第十六子模块，用于计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m*＝upper，程序终止，输出m^*，若lower＜upper，则转至第十四子模块。

本发明另一目的在于提供一种实施所述带结果收集的多趟调度模型的求解方法的信息处理终端。

综上所述，本发明的优点及积极效果为：

本发明提供的一种带结果收集的多趟调度模型的求解方法及系统，针对大数据应用的任务调度问题，结合实际情况将结果收集的过程融合到调度过程中统一进行优化，通过严格的数学推导，得到了每个处理机的最优任务分配方案的解析解，建立了以总任务最短完成时间为目标的带结果收集的可分任务多趟调度模型。相比现有技术，该模型更加合理、有效并具有实际的工程意义。

本发明针对所提出的带结果收集的多趟任务调度模型，设计一种启发式算法和进化算法分别得到了调度的最优趟数和最优处理机调度顺序，从而得到最短的任务完成时间，提高了任务的处理效率。

附图说明

图1是本发明实施例提供的带结果收集的多趟调度模型的求解方法流程图。

图2是本发明实施例提供的带结果收集的多趟调度模型的求解系统示意图。

图3是本发明实施例提供的带结果收集的多趟调度模型建立模块示意图。

图4是本发明实施例提供的带结果收集的多趟调度模型求解模块示意图。

图5是本发明实施例提供的第二子模块示意图。

图中：1、带结果收集的多趟调度模型建立模块；11、任务分配方案子模块；12、多趟可分任务调度模型子模块；2、带结果收集的多趟调度模型求解模块；21、第一子模块；22、第二子模块；23、第三子模块；24、第四子模块；25、第五子模块；26、第六子模块；27、第七子模块；28、第八子模块；221、第九子模块；222、第十子模块；223、第十一子模块；224、第十二子模块；225、第十三子模块；226、第十四子模块；227、第十五子模块；228、第十六子模块。

图6是本发明实施例提供的大规模分布式系统的网络拓扑图。

图7是本发明实施例提供的带结果收集的多趟调度甘特图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种带结果收集的多趟调度模型的求解方法及系统，下面结合附图对本发明作详细的描述。

本发明实施例提供的一种带结果收集的多趟调度模型的求解方法，针对大数据应用的任务调度问题，结合实际情况将结果收集的过程融合到调度过程中统一进行优化，通过严格的数学推导，得到每个处理机的最优任务分配方案的解析解，建立以总任务最短完成时间为目标的带结果收集的可分任务多趟调度模型。针对所提出的带结果收集的多趟任务调度模型，设计一种启发式算法和进化算法分别得到调度的最优趟数和最优处理机调度顺序，从而得到最短的任务完成时间，提高任务的处理效率。

下面结合实施例对本发明作进一步描述。

如图1所示，本发明实施例提供的带结果收集的多趟调度模型的求解方法包括：

S101，给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型。

S102，求解带结果收集的多趟调度模型：求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，从而得到任务的最短完成时间。

如图2所示，本发明提供一种带结果收集的多趟调度模型的求解系统，包括依次连接带结果收集的多趟调度模型建立模块1和带结果收集的多趟调度模型求解模块2。

所述带结果收集的多趟调度模型建立模块1，用于给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型。

带结果收集的多趟调度模型求解模块2，用于求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，得到任务的最短完成时间。

如图3所示，所述带结果收集的多趟调度模型建立模块1包括：

任务分配方案子模块11，用于实现给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案。

多趟可分任务调度模型子模块12，用于建立带结果收集的多趟可分任务调度模型。

如图4所示，所述带结果收集的多趟调度模型求解模块2包括；

第一子模块21，用于设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen。

第二子模块22，用于产生从N个1到n的n位随机排列数作为初始种群Pop(0)；对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据公式5计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0。

第三子模块23，对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体；令交叉生成的所有子代个体为O₁(t)。

第四子模块24，对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因；令变异生成的所有子代个体为O₂(t)。

第五子模块25，用于求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据多趟可分任务调度模型公式得到任务完成时间；个体的适应度为任务完成时间的倒数。

第六子模块26，用于从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1。

第七子模块27，若t≤MaxGen，则转至模块23继续执行，否则停止该算法，得到当前种群的最好的解，为该算法得到的最优处理机调度顺序Λ*。

第八子模块28，由种群的最优个体Λ*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m*，根据多趟可分任务调度模型公式计算出最优的任务调度时间T(m*,Λ*)。

如图5所示，第二子模块22包括：

第九子模块221，用于实现记调度顺序为Λ，该网络规模为n，任务量为W，令趟数下界lower＝3，步长step＝2。

第十子模块222，用于令上界upper＝lower+step，当前趟数m＝upper，根据任务分配方案公式计算α_i,β_i,γ_i,i＝1,2,…,n。

第十一子模块223，用于当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，进入第十三子模块225，否则进入第十二子模块224。

第十二子模块224，用于令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)；若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2，lower＝mid，转至第十子模块222，否则进入第十三子模块225。

第十三子模块225，用于实现若lower≥upper，则最优趟数m*＝upper，程序终止输出m*，否则进入第十四模块226。

第十四子模块226，用于实现令mid＝(lower+upper)/2，m＝mid，计算α_i,β_i,γ_i,i＝1,2,…,n。

第十五子模块227，用当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至第十三子模块226，否则执行第十六模块228功能。

第十六子模块228，用于计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m^*＝upper，程序终止，输出m^*，若lower＜upper，则转至第十四子模块226。

下面结合具体实施例对本发明作进一步描述。

实施例1

本发明实施例提供的一种带结果收集的多趟调度模型的求解方法包括以下步骤：

步骤1：建立带结果收集的多趟调度模型。

记处理机的总数为N+1，p₀为主处理机，{p_i|i∈1,2,…,N}为从处理机，{l_i|i∈{1,2,…,N}}为p₀连接到从处理机p_i的通信链路。从处理机p_i的计算启动开销记为s_i，计算单位任务所花费的时间记作w_i。链路l_i的通信启动开销记作o_i，传输单位任务所花费的时间为z_i，所述单位任务的大小本发明中设为1MB。调度趟数记为m，参与调度的处理机数目记为n，其中，0＜n≤N，W为总任务量，V为每一趟的调度任务大小。将整个调度过程分成三个部分：第一趟调度(在图6中j＝1)，内部调度(在图6中j＝2,…,m-1)和最后一趟调度j＝m。参见附图6。Λ＝{λ₁,λ₂,…,λ_n}为从处理机的调度顺序，其中(λ₁,λ₂,…,λ_n)为1,2,…,n的排列。α_i,β_i,γ_i分别为从处理机

在第一趟，中间趟和最后一趟分配的任务大小，则分配方案满足下式：

步骤2求解带结果收集的多趟调度模型。

求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，从而得到任务的最短完成时间。

在本发明实施例中，步骤1具体包括：

步骤1.1：总任务完成时间取决于最后一个服务器完成结果收集的时间。为了使得总时间最短，将调度过程分为三个部分：第一趟调度、内部调度和最后一趟调度。总任务量平均分配到每一趟调度。

步骤1.1.1：对于内部调度，由每个处理机在任意相邻的两趟调度之间不存在时间间隔，可得：

其中(λ₁,λ₂,…,λ_n)表示从处理机的调度顺序，

表示链路

的通信启动开销，

表示处理机

的计算启动开销，

为计算单位任务所花费的时间，

表示传输单位任务所花费的时间，θ表示输出结果与输入数据量的比率。

整理式(2)，β_i(i＝2,…,n)可以表示为β₁的函数：

令：

则通过公式(4)可以简化公式(3)为：

β_i＝μ_iβ₁+v_i,i＝2,3,…,n (5)

将公式(5)带入

可得：

整理公式(6)可得内部调度的最优任务分配：

其中，任务分配方案需满足0＜β_i＜V,i＝1,2,…,n

步骤1.1.2对于第一趟调度，为了保证每个处理机在第一趟和第二趟调度之间没有空闲时间，必须满足：

重新排列上面的等式，可以将α_i(i＝2,…,n)用α_i-1表示为：

令：

通过公式(10)可以简化公式(9)为：

α_i＝δ_iα_i-1+η_iβ_i-1+φ_i (11)

通过分析表达式α_i和α_i-1的关系，迭代可得α_i关于α₁的表达式：

α_i＝Δ_iα₁+H_iβ₁+φ_i (12)

其中，

将公式(12)带入

可以得到第一趟调度的最优任务分配：

其中，任务分配方案需要满足0＜α_i＜V,i＝1,2,…,n。

步骤1.1.3对于最后一趟调度，服务器

计算其分配的任务γ_i直到p₀完成从

上的结果收集，那么以下等式必须满足：

重新排列上面的等式，可以将γ_i(i＝2,…,n)用γ_i-1表示为：

令

通过公式(17)将公式(16)简化为：

通过分析表达式γ_i和γ_i-1的关系，迭代可得γ_i关于γ₁的表达式：

γ_i＝Γ_iγ₁-E_iβ₁+ψ_i,i＝2,…,n (19)

其中

将公式(12)带入

可以得到最后一趟调度的最优任务分配：

其中，任务分配方案需要满足0＜γ_i＜V,i＝1,2,…,n。

步骤1.2建立的带结果收集的多趟可分任务调度模型包括：

此模型的约束条件为：

0＜α_i,β_i,γ_i＜V,i＝1,2,…,n

m≥3

其中，α₁、β₁、γ₁满足式(7)、式(14)和式(21)。

在本发明实施例中，步骤2具体包括：

步骤2.1：设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen。

步骤2.2：产生从N个1到n的n位随机排列数作为初始种群Pop(0)。对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据公式5计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0。

步骤2.3：对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体。令交叉生成的所有子代个体为O₁(t)。

步骤2.4：对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因。令变异生成的所有子代个体为O₂(t)。

步骤2.5：求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据公式5得到任务完成时间。个体的适应度为任务完成时间的倒数。

步骤2.6：从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1。

步骤2.7：若t≤MaxGen，则转至步骤2.3继续执行，否则停止该算法，得到当前种群的最好的解，即为该算法得到的最优处理机调度顺序Λ^*。

步骤2.8：由种群的最优个体Λ^*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m^*，根据公式5计算出最优的任务调度时间T(m^*,Λ*)。

所述的步骤2.2、2.5、2.8的求解最优趟数算法具体实现步骤包括：

步骤2.2.1：记调度顺序为Λ，处理机数量为n，任务量为W，令趟数下界lower＝3，步长step＝2。

步骤2.2.2：令上界upper＝lower+step，当前趟数m＝upper，根据公式1计算α_i,β_i,γ_i，其中i＝1,2,…,n。

步骤2.2.3：当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，转至步骤2.2.5，否则执行步骤2.2.4。

步骤2.2.4：令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)。若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2且lower＝mid，转至步骤2.2.2，否则执行步骤2.2.5。

步骤2.2.5：若lower≥upper，则最优趟数m*＝upper，程序终止输出m*，否则转至步骤2.2.6。

步骤2.2.6：令mid＝(lower+upper)/2且m＝mid，计算α_i,β_i,γ_i,i＝1,2,...,n；

步骤2.2.7：当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至步骤2.2.5.否则执行步骤2.2.8。

步骤2.2.8：计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m*＝upper，程序终止，输出m*，若lower＜upper，则转至步骤2.2.6。

实施例2

本发明实施例提供一种带结果收集的多趟调度模型的求解系统，包括带结果收集的多趟调度模型的建立和求解该模型。

所述的带结果收集的多趟调度模型建立模块1包括子模块11和子模块12，其中子模块11用于实现以下功能：

给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案包括：

其中，

p₀为主处理机，{p₁,p₂,…,p_n}为从处理机；{l₁,l₂,…,l_n}为p₀连接至从处理机{p₁,p₂,…,p_n}的通信链路；Λ＝(λ₁,λ₂,…,λ_n)为从处理机的调度顺序，其中(λ₁,λ₂,…,λ_n)为(1,2,…,n)的排列；m为调度趟数，n为参与调度的从处理机的数目，其中，W为总任务量，V为每一趟的调度任务大小。

α_i,β_i,γ_i分别表示从处理机

在第一趟调度、内部调度以及最后一趟调度所分配的任务大小；β_i是β₁的线性函数，μ_i是该函数的斜率，v_i是该函数的截距；α_i是α₁和β₁的线性函数，Δ_i是α₁的系数，H_i是β₁的系数，φ_i是该函数的截距；γ_i是γ₁和β₁的线性函数，Γ_i是γ₁的系数，-E_i是β₁的系数，ψ_i是该函数的截距。o_i为链路l_i的通信启动开销；z_i为l_i传输单位任务所花费的时间；s_i为从处理机p_i的计算启动开销；w_i为从处理机p_i的计算单位任务所花费的时间；θ为总结果收集量与总任务量的比率。

子模块12用于实现以下功能：

建立的带结果收集的多趟可分任务调度模型包括：

此模型的约束条件为：

0＜α_i,β_i,γ_i＜V,i＝1,2,…,n；

m≥3；

其中，α₁、β₁、γ₁满足式1。

所述的带结果收集的多趟调度模型求解模块2，包括子模块21、子模块22、子模块23、子模块24、子模块25、子模块26、子模块27和子模块28，其中，

所述的子模块21用于实现以下功能：

设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen。

所述的子模块22用于实现以下功能：

产生从N个1到n的n位随机排列数作为初始种群Pop(0)。对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据公式5计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0。

所述的子模块23用于实现以下功能：

对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体。令交叉生成的所有子代个体为O₁(t)。

所述的子模块24用于实现以下功能：

对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因。令变异生成的所有子代个体为O₂(t)。

所述的子模块25用于实现以下功能：

求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据公式5得到任务完成时间。个体的适应度为任务完成时间的倒数。

所述的子模块26用于实现以下功能：

从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1。

所述的子模块27用于实现以下功能：

若t≤MaxGen，则转至模块23继续执行，否则停止该算法，得到当前种群的最好的解，即为该算法得到的最优处理机调度顺序Λ^*。

所述的子模块28用于实现以下功能：

由种群的最优个体Λ^*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m^*，根据公式5计算出最优的任务调度时间T(m^*,Λ^*)。

所述子模块22中的算法实现子模块包括子模块221、子模块222、子模块223、子模块224、子模块225、子模块226、子模块227和子模块228，其中，

所述的子模块221用于实现以下功能：

记调度顺序为Λ，该网络规模为n，任务量为W，令趟数下界lower＝3，步长step＝2。

所述的子模块222用于实现以下功能：

令上界upper＝lower+step，当前趟数m＝upper，根据公式1计算α_i,β_i,γ_i,i＝1,2,…,n。

所述的子模块223用于实现以下功能：

当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，进入模块225，否则进入模块224。

所述的子模块224用于实现以下功能：

令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)；若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2且lower＝mid，转至模块222，否则进入模块225。

所述的子模块225用于实现以下功能：

若lower≥upper，则最优趟数m*＝upper，程序终止输出m*，否则进入模块226。

所述的子模块226用于实现以下功能：

令mid＝(lower+upper)/2且m＝mid，计算α_i,β_i,γ_i,i＝1,2,…,n，

所述的子模块227用于实现以下功能：

当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至模块225，否则执行模块228。

所述的子模块228用于实现以下功能：

计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m*＝upper，程序终止，输出m*，若lower＜upper，则转至模块226。

下面结合实验对本发明作进一步描述。

针对提出的一种带结果收集的多趟调度模型的求解方法，本发明进行了多组对比实验。实验参数设置包括：处理机数N＝15。表1给出了异构分布式网络下从处理机的相关实验参数。

[1]Shokripour A,Othman M,Ibrahim H,and Subramaniam S.New method forscheduling heterogeneous multi-installment systems,Future Generation ComputerSystems,2012,28(8):1205{1216,2012.

[2]Wang X,Veeravalli B.Performance characterization on handlinglarge-scalepartitionable workloads on heterogeneous networked computeplatforms,IEEE Transactions onParallel and Distributed Systems,2017,28(10):2925-2938.

[3]Barlas G D.An Analytical Approach to Optimizing Parallel ImageRegistration/Retrieval.IEEE Transactions on Parallel&Distributed Systems,2009,21(8):1074-1088.

表2给出了三种算法的任务完成时间随着W变化的实验结果，其中PMIS是周期性多趟调度模型，由参考文献[1]提出，并在参考文献[2]中得到改进。SIS是单趟调度模型，由参考文献[3]提出并成功应用于大规模图像问题。令θ＝0.3，总任务量W从3000到7000。表3给出了三种算法在不同调度顺序下的任务完成时间，其中IZ表示处理机按通信速度递减的顺序排列，IW表示处理机按计算速度递减排列。

IZ：Λ＝(13,5,12,15,8,7,11,14,1,10,3,6,2,4,9)

IW：Λ＝(9,4,2,6,3,10,1,14,11,7,8,15,12,5,13)

表1异构分布式网络下从处理机的相关实验参数

表2三种算法在不同任务量下的完成时间

W	本发明	PMIS	SIS
				3000	5391.018	5636.09	5888.55
4000	7129.683	7456.3	7810.09
				5000	8864.857	9274.39	9731.62
6000	10597.978	11091.07	11653.16
				7000	12329.729	12907.17	13574.70

通过表2可以看出，任务量越大，本发明提出的算法与其它两种算法的时间差距越大。因此，在大数据相关的任务调度问题中，采取本发明的算法能极大的提高任务的执行效率，是非常有必要的。

通过表3可以看出本发明所提算法能求得最优的处理机调度顺序，使得任务的总完成时间最短。

表3三种算法关于不同调度顺序的实验结果

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种带结果收集的多趟调度模型的求解方法，其特征在于，所述带结果收集的多趟调度模型的求解方法包括以下步骤：

步骤1，给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型；

步骤2，求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，得到任务的最短完成时间。

2.如权利要求1所述带结果收集的多趟调度模型的求解方法，其特征在于，步骤1中，所述给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案：

其中，

p₀为主处理机，{p₁,p₂,…,p_n}为从处理机；{l₁,l₂,…,l_n}为p₀连接至从处理机{p₁,p₂,…,p_n}的通信链路；Λ＝(λ₁,λ₂,…,λ_n)为从处理机的调度顺序，其中(λ₁,λ₂,…,λ_n)为(1,2,…,n)的排列；m为调度趟数，n为参与调度的从处理机的数目，其中，W为总任务量，V为每一趟的调度任务大小；

α_i,β_i,γ_i分别表示从处理机

在第一趟调度、内部调度以及最后一趟调度所分配的任务大小；β_i是β₁的线性函数，μ_i是该函数的斜率，v_i是该函数的截距；α_i是α₁和β₁的线性函数，Δ_i是α₁的系数，H_i是β₁的系数，φ_i是该函数的截距；γ_i是γ₁和β₁的线性函数，Γ_i是γ₁的系数，-E_i是β₁的系数，ψ_i是该函数的截距；o_i为链路l_i的通信启动开销；z_i为l_i传输单位任务所花费的时间；s_i为从处理机p_i的计算启动开销；w_i为从处理机p_i的计算单位任务所花费的时间；θ为总结果收集量与总任务量的比率。

3.如权利要求1所述带结果收集的多趟调度模型的求解方法，其特征在于，步骤1中，建立的带结果收集的多趟可分任务调度模型：

此模型的约束条件为：

0＜α_i,β_i,γ_i＜V，i＝1,2,…,n；

m≥3；

其中，α₁、β₁、γ₁满足任务分配方案公式。

4.如权利要求1所述带结果收集的多趟调度模型的求解方法，其特征在于，所述步骤2具体步骤包括：

步骤2.1：设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen；

步骤2.2：产生从N个1到n的n位随机排列数作为初始种群Pop(0)；对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据多趟可分任务调度模型公式计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0；

步骤2.3：对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体；令交叉生成的所有子代个体为O₁(t)；

步骤2.4：对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因；令变异生成的所有子代个体为O₂(t)；

步骤2.5：求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据多趟可分任务调度模型公式得到任务完成时间；个体的适应度为任务完成时间的倒数；

步骤2.6：从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1；

步骤2.7：若t≤MaxGen，则转至步骤2.3继续执行，否则停止该算法，得到当前种群的最好的解，即为该算法得到的最优处理机调度顺序Λ^*；

步骤2.8：由种群的最优个体Λ^*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m^*，根据多趟可分任务调度模型公式计算出最优的任务调度时间T(m^*,Λ^*)。

5.如权利要求4所述带结果收集的多趟调度模型的求解方法，其特征在于，所述步骤2.2求解最优趟数算法具体实现步骤包括：

步骤2.2.1：记调度顺序为Λ，处理机数量为n，任务量为W，令趟数下界lower＝3，步长step＝2；

步骤2.2.2：令上界upper＝lower+step，当前趟数m＝upper，根据任务分配方案公式计算α_i,β_i,γ_i，其中i＝1,2,…,n；

步骤2.2.3：当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，转至步骤2.2.5，否则执行步骤2.2.4；

步骤2.2.4：令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)；若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2，lower＝mid，转至步骤2.2.2，否则执行步骤2.2.5；

步骤2.2.5：若lower≥upper，则最优趟数m^*＝upper，程序终止输出m^*，否则转至步骤2.2.6；

步骤2.2.6：令mid＝(lower+upper)/2，m＝mid，计算α_i,β_i,γ_i，i＝1,2,…,n；

步骤2.2.7：当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至步骤2.2.5，否则执行步骤2.2.8；

步骤2.2.8：计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m^*＝upper，程序终止，输出m^*，若lower＜upper，则转至步骤2.2.6。

6.一种应用如权利要求1所述带结果收集的多趟调度模型的求解方法的带结果收集的多趟调度模型的求解系统，其特征在于，所述求解系统包括依次连接的带结果收集的多趟调度模型建立模块和带结果收集的多趟调度模型求解模块；

所述带结果收集的多趟调度模型建立模块，用于给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；建立带结果收集的多趟可分任务调度模型；

带结果收集的多趟调度模型求解模块，用于求解带结果收集的多趟调度模型，得到最优处理机调度顺序、最优调度趟数和最优任务分配方案，得到任务的最短完成时间。

7.如权利要求6所述带结果收集的多趟调度模型的求解系统，其特征在于，所述带结果收集的多趟调度模型建立模块包括：

任务分配方案子模块，用于实现给定处理机调度顺序、调度趟数和处理机数目，构建的任务分配方案；

多趟可分任务调度模型子模块，用于建立带结果收集的多趟可分任务调度模型。

8.如权利要求6所述带结果收集的多趟调度模型的求解系统，其特征在于，所述带结果收集的多趟调度模型求解模块包括；

第一子模块，用于设种群规模为N，交叉概率为p_cross，变异概率为p_mut，精英数量为E，最大遗传代数为MaxGen；

第二子模块，用于产生从N个1到n的n位随机排列数作为初始种群Pop(0)；对于任意的个体Λ∈Pop(0)，通过设计一种算法计算出最优趟数m，根据公式5计算任务的最短完成时间T(m,Λ)，将1/T作为个体Λ的适应度值；令代数t＝0；

第三子模块，对父代中的每对个体，依交叉概率进行交叉，交叉算子为：随机选取两个切点X和Y，交换这对父代两个切点之间的顺序值，并为这两个切点之间的顺序值建立映射关系，将所建立的映射化为最简映射，基于这个映射关系将父代中除这两个切点之间的其他顺序值按最简映射关系转换，生成两个子代个体；令交叉生成的所有子代个体为O₁(t)；

第四子模块，对O₁(t)中的所有个体，依变异概率进行变异，变异算子为：令当前个体被选中的个体Λ＝{λ₁,λ₂,…,λ_n}，对

生成一个0到1的随机数r，若r≤p_mut，则随机交换λ_i与Λ中的其他基因；令变异生成的所有子代个体为O₂(t)；

第五子模块，用于求得O₁(t)∪O₂(t)中每个个体对应的最优调度趟数，根据多趟可分任务调度模型公式得到任务完成时间；个体的适应度为任务完成时间的倒数；

第六子模块，用于从Pop(t)∪O₁(t)∪O₂(t)中选出E个精英个体直接保留到下一代，再用轮盘赌从Pop(t)∪O₁(t)∪O₂(t)选择Popsize-E个个体组成下一代，并令t＝t+1；

第七子模块，若t≤MaxGen，则转至模块23继续执行，否则停止该算法，得到当前种群的最好的解，为该算法得到的最优处理机调度顺序Λ^*；

第八子模块，由种群的最优个体Λ^*＝{λ₁,λ₂,…,λ_n}求得最优调度趟数m^*，根据多趟可分任务调度模型公式计算出最优的任务调度时间T(m^*,Λ^*)。

9.如权利要求8所述带结果收集的多趟调度模型的求解系统，其特征在于，所述第二子模块包括：

第九子模块，用于实现记调度顺序为Λ，该网络规模为n，任务量为W，令趟数下界lower＝3，步长step＝2；

第十子模块，用于令上界upper＝lower+step，当前趟数m＝upper，根据任务分配方案公式计算α_i,β_i,γ_i,i＝1,2,…,n；

第十一子模块，用于当i＝1,2,…,n时，若

或

或

则说明(upper,Λ)为不可行解，令upper＝upper-1，进入模块225，否则进入模块224；

第十二子模块，用于令mid＝(lower+upper)/2，计算T(mid,Λ)和T(upper,Λ)；若T(mid,Λ)＞T(upper,Λ)，则令step＝step×2，lower＝mid，转至第十子模块222，否则进入第十三字模块；

第十三子模块，用于实现若lower≥upper，则最优趟数m^*＝upper，程序终止输出m^*，否则进入第十四模块；

第十四子模块，用于实现令mid＝(lower+upper)/2，m＝mid，计算α_i,β_i,γ_i,i＝1,2,…,n；

第十五子模块，用当i＝1,2,…,n时，若

或

或

则说明(mid,Λ)为不可行解，令upper＝mid-1，转至第十三子模块，否则执行第十六模块功能；

第十六子模块，用于计算T(mid-1,Λ)和T(mid,Λ)，若T(mid-1,Λ)＜T(mid,Λ)，则令lower＝mid，否则令upper＝mid-1；若lower≥upper，则最优趟数m^*＝upper，程序终止，输出m^*，若lower＜upper，则转至第十四子模块。

10.一种实施权利要求1～5任意一项所述带结果收集的多趟调度模型的求解方法的信息处理终端。

Images