CN106844049A - 一种分布式计算系统的任务分配方法 - Google Patents

Abstract

本发明公开了一种分布式计算系统的任务分配方法，涉及数据处理技术领域，能够合理地对分布式计算系统的资源进行分配。该分布式计算系统的任务分配方法包括：周期性采集所述分布式计算系统的节点的负载情况；获取任务算子的资源需求情况；确定蚁群算法的启发式信息，获取信息素；基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上。本发明应用于对分布式计算系统的任务进行合理分配。

Description

一种分布式计算系统的任务分配方法

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式计算系统的任务分配方法。

背景技术

随着信息技术的飞速发展，基于数据处理和数据分析的应用受到了广泛的欢迎和关注。大量信息源带来数据规模的爆发式增长，对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的海量数据切分成小块后，分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。 因此，如何合理地对分布式计算系统的资源进行分配，使得分布式计算系统的资源的利10 用率最大化，同时减少处理任务的开销时间，成了亟待解决的问题。

发明内容

本发明所要解决的技术问题在于提供一种分布式计算系统的任务分配方法，能够合理地对分布式计算系统的资源进行分配。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种分布式计算系统的任务分配方法，该任务分配方法包括：

周期性采集所述分布式计算系统的节点的负载情况；

获取任务算子的资源需求情况；

确定蚁群算法的启发式信息，获取信息素；

基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上。

优选的，基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上之前，还包括：

基于各任务算子之间的关系绘制有向无环图。

优选的，基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上包括：

基于所述有向无环图，依序获取任务算子；

针对所述获取到的任务算子，基于启发式信息、信息素、资源需求情况和负载情况，计算其与各节点的匹配程度；

将该任务算子分配到与其匹配程度最高的节点上。

优选的，基于所述有向无环图，依序获取任务算子包括：

获取任务禁忌表，所述任务禁忌表记载有已分配的任务算子；

根据所述任务禁忌表，获取未被分配的任务算子；

基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子。

优选的，基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子之前，还包括：

检测所述任务禁忌表中记载的任务算子的个数，判断是否仍然存在未被分配的任务算子；

若存在未被分配的任务算子，则基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子。

优选的，该任务分配方法还包括：

若不存在未被分配的任务算子，则试运行当前的分配结果，检测预设定时间之后的分布式计算系统的负载波动；

若所述负载波动在预设范围之内，维持当前的分配结果。

优选的，所述启发式信息为：, 表示任务算子Ti在节点nodej上的处理时间。

优选的，针对所述获取到的任务算子，基于启发式信息、资源需求情况和负载情况，计算其与各节点的匹配程度包括：

计算，其中，表示序号为k的蚂蚁将下一个任务T_i分配到node_j的概率，表示所有蚂蚁在一次循环中将任务算子T_i分配到节点node_j时产生的信息素，表示节点node_j对任务T_i的启发信息，表示信息素和启发信息的权重，表示可处理任务算子的所述分布式计算系统的节点的集合。

优选的，该任务分配方法还包括：

更新信息素，其中，为信息素挥发因子,，表示序号为k的蚂蚁在一次循环中将任务算子T_i分配到节点node_j时产生的信息素。信息素挥发因子，是一个常数。可以根据实际应用给出固定值，也可以制定规则动态调整。

优选的，资源需求情况包括中央处理器使用率、内存占用率和磁盘输入/输出的使用率；

资源利用情况包括中央处理器使用率、内存使用率和磁盘输入/输出的使用率。

本发明实施例公开了一种分布式计算系统的任务分配方法，通过采集节点负载情况、获取任务算子的资源需求情况，并确定蚁群算法的启发式信息和信息素，可从整体角度规划出蚁群活动的行为方向，周而复始，求出最优的任务分配方法，可将分布式计算系统的节点资源进行最大化地利用，同时减少处理任务的开销时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的分布式计算系统的任务分配方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种分布式计算系统的任务分配方法，如图1所示，该任务分配方法包括：

步骤S1、周期性采集所述分布式计算系统的节点的负载情况。

步骤S2、获取任务算子的资源需求情况。

步骤S3、确定蚁群算法的启发式信息，获取信息素。

步骤S4、基于启发式信息、信息素、资源需求情况和负载情况，利用蚁群算法，将任务算子分配到分布式计算系统的节点上。

蚁群算法源于自然现象。同遗传算法、模拟退火算法一样，也是自适应启发式算法。它是与具体问题剥离的优化算法。是用来在途中寻找最优路径的机率型策略。它阐述了一个基本现象：蚂蚁可以在运动路径上留下一种物质，这种物质可以被同样经过这条路径的后续蚂蚁感知并引导其运动方向，这种物质称为信息素，蚂蚁总是倾向于沿着信息素浓度高的路径运动，通过这种信息交流的方式搜寻目的地。蚁群算法中的很多思想和步骤都来自于上述的现象。

蚁群算法实际上是一种智能多主体系统，其自组织机制使得算法无需对所求问题的每个方面都有详尽的认识。自组织本质上是算法正反馈机制在没有外界作用下使系统熵增加的动态过程，体现了从无序到有序的动态演化。

其一般步骤是：先对组合优化问题建模，然后在“探索”和“利用”之间根据信息素这一反馈载体确定决策点。同时按照针对性定制的信息素更新规则，对每只蚂蚁个体的信息素进行增量构建，随后从整体角度规划出蚁群活动的行为方向，周而复始，即可求出组合优化问题的最优解。

基于上述对蚁群算法特点的描述可以发现，蚁群算法非常适合解决类似全局任务分配这样的NP（Non-Deterministic Polynomial）完全问题难题。在智能型任务分配中，需要“调度知识”对启发式方法进行指导，调度知识通常以规则、策略或算法的形式出现，这样的知识可以进一步分为静态调度知识和动态调度知识。前者指在对象创建之后对知识的认识和所作的策略不再变更，这是在对象开始运行之前编译好的，比如节点的存储容量、运行速度等等；后者指在对象生命周期之内都在变化的知识，对象在运行过程中需要根据当前状态不断地对知识进行学习，训练自身行为并对策略进行优化调整，诸如节点的空闲内存空间、负载情况等，都属于动态知识。从这个角度看，蚁群利用信息素的正反馈变化和任务分配利用知识指导调度策略的内在本质是完全吻合的。不仅如此蚁群算法具有先天的可扩展性，即当问题规模扩大后，可在原来规模最优解的基础上快速迭代，取得当前规模的最优解，这非常符合分布式系统易变的拓扑结构对可扩展性的需求。

本发明实施例提供的任务分配方法的目标是将多个任务分配到多个处理节点上，并通过智能调度算法使集群负载均衡且整体性能最优，使用蚁群算法进行任务分配的具体流程如下：

(1) 首先构造合法的任务分配序列。根据任务算子构造的有向无环图（DatabaseAvailability Group，简称DAG），按阶位的降序排列成一个任务表，蚂蚁寻路时按任务表顺序分发任务。

任务算子之间可能存在优先约束关系，一个完整的任务计算流可以表示为一个有向无环图G（T，E），T指任务节点集，E指有向边集合。节点T在DAG中表示一个任务。有向边用节点（T_i，T_j）表示。任务可能存在前驱任务和后继任务，一个任务计算流存在起点和终点。起点没有前驱任务节点，终点没有后继任务节点。

(2) 假设环境为，一个有m个任务的任务集合T={T₁，T₂，…T_m}，Ti代表在任务表中排在位置i的任务，集群中有n个处理节点Node={node₁，node₂，…，node_n}。节点对（T_i，node_j）代表序号为i的任务算子被分配在节点node_j上执行。

(3) 算法初始化阶段依据下面的公式

计算每个节点的综合负载，以此设置节点的初始化信息素。根据公式设置启发式信息。我们假定一个任务在任何节点上的执行时间都是相同的，记为，表示任务T_i在节点node_j上的处理时间。

(4) 判断是否满足终止条件，如果是，则直接输出最优化结果。否则继续步骤（5）。终止条件可以是固定的迭代次数，也可以是路径长度不再变化，即目标函数值已经稳定。本发明是实施例中任务分配最重要的目标是各计算节点关于各项资源的使用平均和整体分布式计算系统的负载均衡，所以本发明实施例以负载波动作为目标函数，当负载波动值趋于稳定时，即负载波动的峰值均在所需的范围内时，迭代终止。

(5) 发出多只蚂蚁并行寻路。对于其中的每只蚂蚁，判断任务禁忌表中的任务数是否和5 DAG图中的任务节点数相等。如果相等则直接执行（8）步骤，否则执行步骤（6）。任务禁忌表用来记录蚂蚁已经分配的任务表中的任务将不能被再次分配。

(6) 根据式子计算概率。表示序号为k的蚂蚁将下一个任务T_i分配到node_j的概率，并根据最大的选路概率选择执行节点node_j。

其中表示所有蚂蚁在一次循环中将T_i分配到node_j时产生的信息素，表示节点node_j对任务算子T_i的启发信息，表示信息素和启发信息的权重。表示可选的处理节点集合。

(7) 当任务T_i分配完后蚂蚁将它加入任务禁忌表，根据式子和式子进行局部信息素更新。其中表示序号为k的蚂蚁在一次循环中将T_i分配到node_j时产生的信息素。

(8) 判断节点是否分配完成所有任务，如果没有，转到步骤（5）执行，否则按照本次迭代所求的分配方案试运行一段时间求得分布式计算系统的负载波动，即蚁群算法中的路径长度，以此判断解的优劣，接着转步骤（4）执行下一次迭代。

迭代完成，输出最优解。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式计算系统的任务分配方法，其特征在于，包括：

周期性采集所述分布式计算系统的节点的负载情况；

获取任务算子的资源需求情况；

确定蚁群算法的启发式信息，获取信息素；

基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上。

2.根据权利要求1所述的任务分配方法，其特征在于，基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上之前，还包括：

基于各任务算子之间的关系绘制有向无环图。

3.根据权利要求2所述的任务分配方法，其特征在于，基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上包括：

基于所述有向无环图，依序获取任务算子；

针对所述获取到的任务算子，基于启发式信息、信息素、资源需求情况和负载情况，计算其与各节点的匹配程度；

将该任务算子分配到与其匹配程度最高的节点上。

4.根据权利要求3所述的任务分配方法，其特征在于，基于所述有向无环图，依序获取任务算子包括：

获取任务禁忌表，所述任务禁忌表记载有已分配的任务算子；

根据所述任务禁忌表，获取未被分配的任务算子；

基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子。

5.根据权利要求4所述的任务分配方法，其特征在于，基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子之前，还包括：

检测所述任务禁忌表中记载的任务算子的个数，判断是否仍然存在未被分配的任务算子；

若存在未被分配的任务算子，则基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子。

6.根据权利要求5所述的任务分配方法，其特征在于，还包括：

若不存在未被分配的任务算子，则试运行当前的分配结果，检测预设定时间之后的分布式计算系统的负载波动；

若所述负载波动在预设范围之内，维持当前的分配结果。

7.根据权利要求5所述的任务分配方法，其特征在于，所述启发式信息为：

,表示任务算子T_i在节点node_j上的处理时间。

8.根据权利要求7所述的任务分配方法，其特征在于，针对所述获取到的任务算子，基于启发式信息、资源需求情况和负载情况，计算其与各节点的匹配程度包括：

计算，其中，表示序号为k的蚂蚁将下一个任务T_i分配到node_j的概率，表示所有蚂蚁在一次循环中将任务算子T_i分配到节点node_j时产生的信息素，表示节点node_j对任务T_i的启发信息，表示信息素和启发信息的权重，表示可处理任务算子的所述分布式计算系统的节点的集合。

9.根据权利要求8所述的任务分配方法，其特征在于，还包括：

更新信息素，其中，为信息素挥发因子，，表示序号为k的蚂蚁在一次循环中将任务算子T_i分配到节点node_j时产生的信息素。

10.根据权利要求1至9任一项所述的任务分配方法，其特征在于，

资源需求情况包括中央处理器使用率、内存占用率和磁盘输入/输出的使用率；

资源利用情况包括中央处理器使用率、内存使用率和磁盘输入/输出的使用率。