CN109788013A - 分布式系统中作业资源分配方法、装置及设备 - Google Patents

Abstract

本申请公开了一种用于分布式系统中作业资源分配方法，所述方法包括：确定分布式系统中有依赖关系的数据集合；针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；确定各作业及数据子集所需计算资源及存储资源；依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。采用上述方法，解决现有技术中存在的不能减少除进行源数据迁移的两个计算集群之外的其他计算集群访问这个源数据的流量以及流量优化效果有限的问题。

Description

分布式系统中作业资源分配方法、装置及设备

技术领域

本申请涉及分布式系统领域，具体涉及一种用于分布式系统中作业资源分配方法及装置，以及一种分布式系统中作业分配方法；以及一种用于分布式系统中作业资源分配的存储设备；以及一种电子设备。

背景技术

在分布式系统中，通常运行着成千上万的用户作业，这些用户作业在运行的过程中，需要读入存储在计算集群中的源数据进行处理，程序处理完后，也会将结果写入到计算集群中存储，随着业务规模的增加，一方面，由于计算集群计算资源有限(CPU\Memory)的限制，一个计算集群不可能承载无限的用户作业；另一方面，随着用户作业产生的作业增多，计算集群的存储也会成为瓶颈。理论上，只要计算集群能够持续的增加机器，上述问题也能得到解决。但是，由于机房机位容量、机房电量、业务冗灾等一系列因素，一个分布式计算集群不可能无限的扩容，这样就导致了会同时存在多个分布式计算集群，用户作业有可能运行在A计算集群上，但是读取源数据在B计算集群上，这样造成的结果就是在不同的分布式计算集群间，会有大量的数据传输。由于分布式计算集群有可能分布在不同的地理位置，例如有的计算集群在杭州、有的计算集群在北京、有的计算集群在深圳……在不同地域间的带宽费用和传输速度相较于分布式计算集群内部有着非常明显的差距。

现有技术中，由于存在一些源数据，本计算集群用户作业对它的流量依赖要小于其他计算集群用户作业对它的数据依赖，将这样的源数据从原来的计算集群迁移到其他对它依赖较大的计算集群，减小了两个集群间的网络流量消耗。如图1所示：虚线左边是一个计算集群，虚线右边是另外一个计算集群。将一个满足上述条件的源数据从左边集群迁移到了右边集群。其中，图中T表示数据，J表示作业。

现有技术中的解决方法存在以下缺陷：

1、由于一个源数据可能被多个计算集群上的用户作业所依赖，而已有方案只能选择一个计算集群进行数据迁移，故只是降低了两个计算集群间的相对流量，不能减少这两个计算集群之外的其他集群访问这个源数据的流量。

2、由于一个计算集群存储是有限的，所以计算集群不可能无限制接收迁移过来的数据，当遇到存储瓶颈时，已有方案只能退而选择次优的计算集群、或者将一部分数据置换到其他集群。而置换操作又会带来新的跨集群数据传输，从而流量优化效果有限。

综上所述，现有技术中的解决方法存在不能减少除进行源数据迁移的两个计算集群之外的其他计算集群访问这个源数据的流量以及流量优化效果有限的问题。

发明内容

本申请提供一种用于分布式系统中作业资源分配方法，以解决现有技术中存在的不能减少除进行源数据迁移的两个计算集群之外的其他计算集群访问这个源数据的流量以及流量优化效果有限的问题。

所述用于分布式系统中作业资源分配方法，其特征在于，包括：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

可选的，所述分布式系统中有依赖关系的数据集合包括：

将分布式系统中的数据均视为节点，数据与数据之间的依赖关系视为联通子图的边，将所述分布式系统分割为至少一个联通子图；任一联通子图视为分布式系统中有依赖关系的数据集合。

可选的，所述针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集，包括：

针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，并根据作业与数据的依赖关系将作业聚类到相应的簇。

可选的，所述针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，包括：

遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心；

将满足所述设定标准的数据节点作为簇中心；

将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇。

可选的，所述遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心，具体为：

按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心；

其中，所述密度为联通子图中的数据节点的流入流量与流出流量的和。

可选的，所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心，包括：

所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点；

对于遍历到的任一数据节点，判断该数据节点的密度是否大于与其相连的数据节点的密度；

若是，则所述该数据节点为簇中心；

若否，则所述该数据节点为不满足所述设定标准的数据节点。

可选的，所述将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇，包括：

将不满足所述设定标准的数据节点归属到与其距离最近的簇中心所在的簇；其中，所述距离，指从某个数据节点到簇中心点的链路中，经历的边权重最小值的倒数。

可选的，所述将不满足所述设定标准的数据节点归属到与其距离最近的簇中心所在的簇，包括：

当存在两个及以上与不满足所述设定标准的数据节点距离相等的簇中心时，将所述不满足所述设定标准的数据节点归属到任一簇中心。

可选的，所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群，包括：

所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，以及各作业及数据子集之间的流量依赖关系，为作业及数据子集分配分布式系统的计算集群。

可选的，所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，以及各作业及数据子集之间的流量依赖关系，为作业及数据子集分配分布式系统的计算集群，包括：

按照各作业及数据子集之间的流量依赖关系从高到低排序生成作业及数据子集的流量依赖关系序列，序列中的每个元素包括至少两个具有流量依赖关系的作业及数据子集；

依次取出所述关系序列中的每个元素的两个作业及数据子集，执行以下操作：

判断是否存在能容纳所述两个作业及数据子集的计算集群；若是，将所述两个作业及数据子集分配到所述计算集群中；若否，将所述两个作业及数据子集放入未分配结构集合中；

将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中。

可选的，将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中的步骤之前，包括：

依次取出所述未分配结构集合中的作业及数据子集，执行如下操作：

判断是否存在与当前作业及数据子集相匹配的计算集群，若是，将所述当前作业及数据子集分配到所述相匹配的计算集群中。

可选的，所述根据作业与数据的依赖关系将作业聚类到相应的数据子集，包括：

当与作业有依赖关系的数据聚集到不同的数据子集时，将所述作业聚类到与其有依赖关系的读流量最大的数据所在的数据子集。

本申请还提供一种分布式系统中作业分配方法，所述方法包括：

确定待分配的作业，以及作业执行所需的数据；

基于作业之间，作业与数据之间，以及数据与数据之间的依赖关系，进行聚类，得到多个聚类集合，一个聚类集合包括作业及数据；

根据一个聚类集合中的数据所在的计算集群，以及所述一个聚类集合中的作业所需的计算能力，将所述一个聚类集合中的作业分配到一个计算集群。

本申请还一种用于分布式系统中作业资源分配装置，所述装置包括：

确定集合单元，用于确定分布式系统中有依赖关系的数据集合；

生成子集单元，用于针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定资源单元，用于确定各作业及数据子集所需计算资源及存储资源；

分配子集单元，用于依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

本申请另外提供一种电子设备，所述电子设备包括：

显示器；

处理器；以及

存储器，用于存储用于分布式系统中作业资源分配方法的程序，该设备通电并通过所述处理器运行该用于分布式系统中作业资源分配方法的程序后，执行下述步骤：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

本申请还提供一种用于分布式系统中作业资源分配的存储设备，所述存储设备存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

与现有技术相比，本申请具有以下优点:

本申请提供一种用于分布式系统中作业资源分配方法，所述方法，包括：确定分布式系统中有依赖关系的数据集合；针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；确定各作业及数据子集所需计算资源及存储资源；依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

本申请提供的用于分布式系统中作业资源分配方法，确定分布式系统中有依赖关系的数据集合，再将所述数据集合根据依赖关系的大小进行聚类生成数据子集，然后根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集，最后为作业及数据子集分配分布式系统的计算集群，实现了在分布式系统存储、计算容量受到约束的条件下，尽可能的将依赖最紧密的作业和数据放在同一个计算集群中，从根本上缓解了不同计算集群间的流量开销，极大地减小了分布式计算集群间进行数据访问的流量，流量优化效果显著提升。

附图说明

图1是现有技术的减少分布式集群间流量传输的示意图。

图2是本申请第一实施例提供的一种用于分布式系统中作业资源分配方法的流程图。

图3是本申请第一实施例提供的一个联通子图的示意图。

图4是本申请第一实施例提供的包含有依赖关系的数据的联通子图的示意图。

图5是本申请第一实施例提供的所述针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各节点进行聚类，生成簇的流程图。

图6是本申请第二实施例提供的一种用于分布式系统中作业资源分配装置的示意图。

图7是本申请第三实施例提供的一种分布式系统中作业分配方法的流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

本申请第一实施例提供了一种用于分布式系统中作业资源分配方法。请参考图2，其示出了根据本申请的实施例提供的用于分布式系统中作业资源分配方法的流程图。以下结合图2、图3、图4、图5进行详细说明。

步骤S201,确定分布式系统中有依赖关系的数据集合。

所述分布式系统，是一种是建立在网络之上的软件系统。网络对于分布式系统就如同单台计算机对于普通软件。

所述数据，包括源数据和目的数据，所述源数据，可以指作业在执行过程中依赖的、需要读入的数据；所述目的数据，可以指作业执行过程中产生的数据，目的数据又可能成为其他作业的源数据。

所述作业，指用户在计算集群中运行的程序。作业链接了源数据和目的数据，某个作业的目的数据又可以成为其他作业的源数据。

所述分布式系统中有依赖关系的数据集合包括：将分布式系统中的数据均视为节点，数据与数据之间的依赖关系视为联通子图的边，将所述分布式系统分割为至少一个联通子图；任一联通子图视为分布式系统中有依赖关系的数据集合。

由于分布式系统在运行一段时间后，能够获取系统中的作业在运行时调用哪些数据，执行过程中产生哪些数据，因此可以在作业执行一段时间后，根据获取的作业与数据的依赖关系，将有依赖关系的作业与数据放在一起，确定出分布式系统中有依赖关系的作业及数据集合，通常，由于分布式系统中运行成千上万个作业，因此确定出分布式系统中有依赖关系的作业及数据集合为多个。其中，作业及数据集合可以以联通子图的形式表示出来，例如，如图3所示，其示出了一个包含有依赖关系的作业与数据的联通子图的示意图。图中J表示作业，T1-T9表示数据。由于图3中作业是串联数据与数据的虚拟节点，如果将作业从图中删除，即忽略写流量，只考虑读流量，就变成了图4，图4为删除作业虚拟节点后的只包括有依赖关系的数据的联通子图，此联通子图即为分布式系统中有依赖关系的一个数据集合。

步骤S202，针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集。

对于一个数据集合，由于很多情况下集合中数据存在于多个计算集群，因此集合中数据对应的作业执行时数据会跨计算集群进行传输，导致集群间流量传输增大，为了减少集群间传输的流量，本步骤首先根据数据间依赖关系的大小，将集合中的数据进行聚类，再根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集，以便将聚类后的作业及数据子集放在同一个计算集群中。

所述针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集，包括：

针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，并根据作业与数据的依赖关系将作业聚类到相应的簇，每一簇视为一作业及数据子集。

所述簇，是本实施中作业及数据子集的一种表现形式，指一批数据和与这些数据相关的作业聚集在一起构成的集合。簇拥有存储和计算两个属性，当决定一个簇放在哪个集群时，必须要预估这个簇带来的计算量是多少，否则一个计算集群的计算资源会被“撑爆”。

请参见图5，其为本申请的第一实施例提供的所述针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各节点进行聚类，生成簇的流程图，具体包括步骤S202-1至S202-3。

图4为包含有依赖关系的数据的联通子图，此联通子图即为分布式系统中有依赖关系的一个数据集合。下面结合图4和图5介绍所述针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇的过程。

步骤S202-1，遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心。

所述数据节点，指联通子图中的数据(T)，将每个T视为一个数据节点，例如，图4中的T1、T2、T3……

所述遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心，具体为：

按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心。

所述密度，指联通子图中的数据节点的依赖的流量与被依赖的流量的和，即图论中初度与入度的和，密度越大，表明这个数据节点在拓扑关系中依赖性越强，数据节点在拓扑结构中越重要。

所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，指先对所述联通子图的所有数据节点按照密度从高到低进行排序，再进行遍历，依次取出密度最高的数据节点、密度第二的数据节点……

所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心，包括：

所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点；

对于遍历到的任一数据节点，判断该数据节点的密度是否大于与其相连的数据节点的密度；

若是，则所述该数据节点为簇中心；

若否，则所述该数据节点为不满足所述设定标准的数据节点。

例如，如图4，假设数据节点T1的密度最大，从图中可见，数据节点T1与T3相连，由于T1的密度大于T3，则T1为簇中心。

本实施例中，为简化起见，所述不满足所述设定标准的数据节点也可称为非簇中心点。

如果按照设定的标准判断数据节点为簇中心，则将该数据节点设置为一个簇中心，具体设置时可以采用作标记的方式，例如，如果数据节点A为簇中心，则可设置A的标记为1；或者将簇中心对应的数据节点存储到簇中心的数组中。如果判断数据节点不是簇中心，将该数据节点作为非簇中心点。

步骤S202-2，将满足所述设定标准的数据节点作为簇中心。

步骤S202-3，将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇。

在遍历联通子图确定完簇中心后，需要将所述联通子图中的非簇中心点归属到与其相关性最大的簇中心所在的簇。

所述将所述非簇中心点归属到与其相关性最大的簇中心所在的簇，包括：将所述非簇中心点归属到与其距离最近的簇中心所在的簇。对于每个非簇中心点，这个节点离哪个簇中心的“距离”最近，就归属于哪个簇。其中，“距离”指从某个节点到簇中心点的链路中，经历的边权重最小值的倒数。这个值越大，表明这个节点与簇中心点的相关性越小，距离也就越远。其中，权重为节点间的依赖流量关系。

下面结合图4介绍针对任一所述包含作业及数据的联通子图，根据节点间依赖关系的大小，将所述各节点进行聚类，生成簇的过程。假设联通子图中数据节点密度从高到低依次为：T1、T2、T3、T4、T5、T6、T7、T8、T9。

1)遍历T1，与T1相连的节点为T3，由于T1的密度大于T3的密度，因此T1为簇中心；

2)遍历T2，与T2相连的节点为T3，由于T2的密度大于T3的密度，因此T2为簇中心；

3)遍历T3，与T3相连的节点为T1、T2、T5、T6，由于T3的密度小于T1、T2的密度，因此T3为非簇中心点；

4)遍历T4，与T4相连的节点为T6，由于T4的密度大于T6的密度，因此T4为簇中心；

5)遍历T5，与T5相连的节点为T3，由于T5的密度小于T3的密度，因此T5为非簇中心点；

6)遍历T6，与T6相连的节点为T3、T4、T9，由于T6的密度小于T3、T4的密度，因此T6为非簇中心点；

7)遍历T7，与T7相连的节点为T8，由于T7的密度大于T8的密度，因此T7为簇中心点；

8)遍历T8，与T8相连的节点为T7、T9，由于T7的密度大于T8的密度，因此T8为非簇中心点；

9)遍历T9，与T9相连的节点为T6、T8，由于T9的密度小于T6、T8的密度，因此T9为非簇中心点；

通过上述步骤，找到了所有的簇中心。

10)最后将各非簇中心点T3、T5、T6、T8、T9归属到与其最近的簇中心所在的簇，例如，T3分别与簇中心T1、T2相连，如果T3与T2之间的“距离”比T3与T1之间的“距离”近，则T3归属到T2所在的簇。

通过上述步骤，将图4中的节点按照依赖关系的大小聚类为以T1、T2、T4、T7为簇中心的四个簇，即将节点所对应的数据按照依赖关系的大小聚类为簇，将数据以簇为单位分配到计算集群中，能够减少集群间的流量传输。

在将有依赖关系的数据聚类生成簇后，还需要根据作业与数据的依赖关系将作业聚类到相应的簇。

需要说明的是，在根据作业与数据的依赖关系将作业聚类到相应的数据子集时，当出现与作业有依赖关系的数据聚集到不同的数据子集的情况时，最好将所述作业聚类到与其有依赖关系的读流量最大的数据所在的数据子集，以减少数据子集之间的流量传输。

通过本步骤，数据之间流量依赖大的作业和数据被聚类到了同一个簇，减少了分布式计算集群之间的流量传输。

步骤S203，确定各作业及数据子集所需计算资源及存储资源。

作业及数据子集所需计算资源可以通过统计子集中包含的作业消耗的计算资源获得。

当作业及数据子集为簇时，确定各作业及数据子集所需计算资源，即统计簇中包含的作业消耗的计算资源。

作业及数据子集所需存储资源可以通过统计子集中包含的数据的大小获得。

当作业及数据子集为簇时，确定各作业及数据子集所需存储资源，通过统计簇中包含的数据的大小即可获得。

步骤S204，依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

所述计算集群，指由若干台服务器组成的计算集群，计算集群将一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。计算集群可能分布在不同的位置，例如，有的集群在杭州、有的集群在北京、有的集群在深圳……在不同地域间的带宽费用和传输速度相对应计算集群内部有非常明显的差距。

所述计算集群可用计算容量，为计算集群的计算总容量与已占用计算资源之差。

所述计算集群可用存储容量，为计算集群的存储总容量与已占用存储资源之差。

需要说明的是，即使对数据进行了聚类操作，各作业及数据子集之间也可能存在流量依赖关系，经常存在某个作业及数据子集中的作业需要访问另一个作业及数据子集中数据的情形。优选的，为了进一步降低计算集群间的流量依赖关系，在将作业及数据子集放入分布式集群时，将流量依赖关系紧密的两个及以上作业及数据子集放入同一个分布式集群。

所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群，包括：

所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，以及各作业及数据子集之间的流量依赖关系，为作业及数据子集分配分布式系统的计算集群。其中，各作业及数据子集之间的流量依赖关系，可以通过数据与数据之间的流量依赖关系获得。

按照各作业及数据子集之间的流量依赖关系从高到低排序生成作业及数据子集的流量依赖关系序列，序列中的每个元素包括至少两个具有流量依赖关系的作业及数据子集；

遍历所述关系序列，对应遍历到的任一元素，判断是否存在能容纳该元素的同一计算集群；

若是，将该元素所包含的作业及数据子集分配到所述计算集群中；

若否，将该元素所包含的作业及数据子集放入未分配结构集合中；

将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中。

在将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中的步骤之前，包括以下步骤：

依次取出所述未分配结构集合中的作业及数据子集，执行如下操作：

判断是否存在与当前作业及数据子集相匹配的计算集群，若是，将所述当前作业及数据子集分配到所述相匹配的计算集群中。

为了使计算集群中的资源得到充分利用，对放入未分配结构集合中的簇，可以将其分配到与其匹配的计算集群中，所述匹配，指簇消耗的计算资源和存储资源与计算集群的可用计算容量和存储容量相同或接近。例如，如果簇X消耗的计算资源和存储资源与计算集群Y的可用计算容量和存储容量相同，则可将簇X分配至计算集群Y。

下面通过具体实例介绍作业及数据子集为簇时的分配过程。

例如，在将数据和作业聚类生成多个簇后，首先通过簇中数据T与T之间的流量依赖关系，获得簇与簇之间的流量依赖关系；然后按照簇与簇间的流量依赖关系进行从高到低的排序，得到(簇A，簇B)、(簇C，簇D)、(簇E，簇F)……的流量依赖关系序列；然后，取出序列中的第一个元素(簇A，簇B)，判断是否存在能容纳所述两个簇的分布式集群，找到一个集群1，其可用容量和存储容量均大于簇A和簇B所需的计算资源和存储资源之和，则将所述两个簇分配到所述计算集群1中；取出找到序列中的第二元素(簇C，簇D)，经过判断不存在能同时容纳簇C和簇D的计算集群，则将簇C和簇D放入未分配结构集合中，依次取出序列中的第三元素、第四元素……直到最后一个元素，判断是否存在能容纳所述两个簇的计算集群，若存在，将一个元素中的两个簇分配到计算集群中，若不存在，将上述两个簇放入未分配结构集合中。

通过上述步骤，实现了将有依赖关系的两个簇尽可能分配到同一个计算集群中，但是，还会有一些有依赖关系的两个簇不存在能同时容纳两者的计算集群，被放入了未分配结构集合中，然后，依次取出所述未分配结构集合中的簇，判断是否存在与当前簇相匹配的计算集群，若是，将所述当前簇分配到所述相匹配的计算集群中。

最后，将经过两次分配都未分配的未分配结构集合中的簇随机分配到能容纳簇的计算集群中。

需要说明的是，当在分布式系统中增加新作业时，由于在新增作业运行前不能获得新增作业运行过程中调用哪些数据，运行过程中产生哪些数据，因此新增作业可能与有依赖关系的数据没有被分配到一个计算集群中，增加了计算集群间的流量传输。为了减少计算集群间的流量传输，在有新增加作业时，可以在新增作业执行一次或几次后，采用本方法进行作业和数据的分配，或者周期性的采用本方法进行作业和数据的分配，所述周期可根据实际情况设置为一天、一周、一月等。

与上述提供的用于分布式系统中作业资源分配方法相对应的，本申请实施例还提供了一种用于分布式系统中作业资源分配装置。由于所述装置的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述用于分布式系统中作业资源分配装置实施例如下：

请参考图6，其示出了根据本申请的第二实施例提供的一种用于分布式系统中作业资源分配装置的示意图。

所述用于分布式系统中作业资源分配装置，包括：确定集合单元601、生成子集单元602、确定资源单元603、分配子集单元604。

确定集合单元601，用于确定分布式系统中有依赖关系的数据集合；

生成子集单元602，用于针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定资源单元603，用于确定各作业及数据子集所需计算资源及存储资源；

分配子集单元604，用于依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

可选的，所述分布式系统中有依赖关系的数据集合包括：

将分布式系统中的数据均视为节点，数据与数据之间的依赖关系视为联通图的边，将所述分布式系统分割为至少一个联通子图；任一联通子图视为分布式系统中有依赖关系的数据集合。

可选的，所述生成子集单元，具体用于：

针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，并根据作业与数据的依赖关系将作业聚类到相应的簇，每一簇视为一作业及数据子集。

可选的，所述针对任一所述包含数据的联通子图，根据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，具体为：

遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心；

将满足所述设定标准的数据节点作为簇中心；

将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇。

可选的，所述遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心，具体为：

按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心；

其中，所述密度为联通子图中的数据节点的流入流量与流出流量的和。

可选的，所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心，具体为：

所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点；

对于遍历到的任一数据节点，判断该数据节点的密度是否大于与其相连的数据节点的密度；

若是，则所述该数据节点为簇中心；

若否，则所述该数据节点为不满足所述设定标准的数据节点。

可选的，所述将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇，具体为：

将不满足所述设定标准的数据节点归属到与其距离最近的簇中心所在的簇；其中，所述距离，指从某个数据节点到簇中心点的链路中，经历的边权重最小值的倒数。

可选的，所述将不满足所述设定标准的数据节点归属到与其距离最近的簇中心所在的簇，具体为：

当存在两个及以上与不满足所述设定标准的数据节点距离相等的簇中心时，将所述不满足所述设定标准的数据节点归属到任一簇中心。

可选的，所述分配子集单元，具体用于：

所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，以及各作业及数据子集之间的流量依赖关系，为作业及数据子集分配分布式系统的计算集群。

可选的，所述分配子集单元，包括：

生成序列子单元，用于按照各作业及数据子集之间的流量依赖关系从高到低排序生成作业及数据子集的流量依赖关系序列，序列中的每个元素包括两个具有流量依赖关系的作业及数据子集；

取出元素子单元，用于依次取出所述关系序列中的每个元素的两个作业及数据子集；

判断子单元，用于判断是否存在能容纳从取出元素子单元取出的两个作业及数据子集的计算集群；

分配子集子单元，用于当判断单元的输出为是时，将所述两个作业及数据子集分配到所述计算集群中；

放入子集子单元，用于当判断单元的输出为否时，将所述两个作业及数据子集放入未分配结构集合中；

分配未分配子集子单元，用于将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中。

可选的，所述装置，包括：

取出子集单元，用于在分配未分配子集子单元工作之前，依次取出所述未分配结构序列中的作业及数据子集；

判断单元，用于判断是否存在与当前作业及数据子集相匹配的计算集群；

分配子集单元，用于当判断单元的输出为是时，将所述当前作业及数据子集分配到所述相匹配的计算集群中。

可选的，所述根据作业与数据的依赖关系将作业聚类到相应的数据子集，包括：

当与作业有依赖关系的数据聚集到不同的数据子集时，将所述作业聚类到与其有依赖关系的读流量最大的数据所在的数据子集。

本申请第三实施例提供一种分布式系统中作业分配方法，请参考图7，其示出了根据本申请的实施例提供的一种分布式系统中作业分配方法，以下结合图7进行说明。

步骤S701，确定待分配的作业，以及作业执行所需的数据。

所述作业，指用户在计算集群中运行的程序。作业链接了源数据和目的数据，某个作业的目的数据又可以成为其他作业的源数据。

所述待分配的作业，指待分配到分布式系统中的计算集群的作业。

所述数据，包括源数据和目的数据，所述源数据，可以指作业在执行过程中依赖的、需要读入的数据；所述目的数据，可以指作业执行过程中产生的数据，目的数据又可能成为其他作业的源数据。

确定待分配的作业，指确定分布式系统中的计算集群的作业，即确定用户在计算集群中运行的程序。作业执行所需的数据可以通过下述方式获得：由于分布式系统在运行一段时间后，能够获取系统中的作业在运行时调用哪些数据，执行过程中产生哪些数据，因此可以在作业执行一段时间后，根据获取的作业与数据的依赖关系，确定作业执行所需的数据。

步骤S702，基于作业之间，作业与数据之间，以及数据与数据之间的依赖关系，进行聚类，得到多个聚类集合，一个聚类集合包括作业及数据。

由于很多情况下分布式系统包含的作业及数据存在于多个计算集群，因此作业执行时数据会跨计算集群进行传输，导致集群间流量传输增大，为了减少集群间传输的流量，本步骤基于作业之间，作业与数据之间，以及数据与数据之间的依赖关系，进行聚类，得到多个聚类集合，以便将聚类后的作业及数据集合放在同一个计算集群中。

所述基于作业之间，作业与数据之间，以及数据与数据之间的依赖关系，进行聚类，得到多个聚类集合，指将依赖关系紧密的作业和数据进行聚类，生成多个聚类集合，在具体实施时，聚类集合可以以簇表示。

所述基于作业之间，作业与数据之间，以及数据与数据之间的依赖关系，进行聚类，得到多个聚类集合，包括：

根据数据间依赖关系的大小，将所述各数据进行聚类，生成簇，并根据作业与数据的依赖关系将作业聚类到相应的簇，每一簇视为聚类集合。

步骤S703，根据一个聚类集合中的数据所在的计算集群，以及所述一个聚类集合中的作业所需的计算能力，将所述一个聚类集合中的作业分配到一个计算集群。

所述作业所需的计算能力，指作业所消耗的计算资源。

所述计算集群，指由若干台服务器组成的计算集群，计算集群将一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。计算集群可能分布在不同的位置，例如，有的集群在杭州、有的集群在北京、有的集群在深圳……在不同地域间的带宽费用和传输速度相对应计算集群内部有非常明显的差距。

所述根据一个聚类集合中的数据所在的计算集群，以及所述一个聚类集合中的作业所需的计算能力，将所述一个聚类集合中的作业分配到一个计算集群，包括：根据一个聚类集合中的数据所在的计算集群；依据聚类集合所需计算资源及存储资源，以及所述聚类集合中的数据所在的计算集群可用计算容量和存储容量，将所述一个聚类集合中的作业分配到一个计算集群。

需要说明的是，即使对作业及数据进行了聚类操作，各聚类集合之间也可能存在流量依赖关系，经常存在某个聚类集合中的作业需要访问另一个聚类集合中数据的情形。优选的，为了进一步降低计算集群间的流量依赖关系，在将一个聚类集合中的作业分配到一个计算集群时，将流量依赖关系紧密的两个及以上聚类集合放入同一个计算集群。

通过上述方法，实现了在分布式系统存储、计算容量受到约束的条件下，尽可能的将依赖最紧密的作业和数据放在同一个计算集群中，从根本上缓解了不同计算集群间的流量开销，极大地减小了分布式计算集群间进行数据访问的流量，流量优化效果显著提升。

本申请第四实施例提供一种电子设备，所述电子设备包括：

显示器；

处理器；以及

存储器，用于存储用于分布式系统中作业资源分配方法的程序，该设备通电并通过所述处理器运行该用于分布式系统中作业资源分配方法的程序后，执行下述步骤：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

本申请第五实施例提供一种用于分布式系统中作业资源分配的存储设备，所述存储设备存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (16)

1.一种用于分布式系统中作业资源分配方法，其特征在于，包括：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

2.根据权利要求1所述的用于分布式系统中作业资源分配方法，其特征在于，所述分布式系统中有依赖关系的数据集合包括：

将分布式系统中的数据均视为节点，数据与数据之间的依赖关系视为联通子图的边，将所述分布式系统分割为至少一个联通子图；任一联通子图视为分布式系统中有依赖关系的数据集合。

3.根据权利要求2所述的用于分布式系统中作业资源分配方法，其特征在于，所述针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集，包括：

针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，并根据作业与数据的依赖关系将作业聚类到相应的簇，每一簇视为一作业及数据子集。

4.根据权利要求3所述的用于分布式系统中作业资源分配方法，其特征在于，所述针对任一所述包含数据的联通子图，根据数据节点间依赖关系的大小，将所述各数据节点进行聚类，生成簇，包括：

遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心；

将满足所述设定标准的数据节点作为簇中心；

将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇。

5.根据权利要求4所述的方法，其特征在于，所述遍历所述联通子图的数据节点，对于遍历到的任一数据节点，按照设定的标准判断该数据节点是否为簇中心，具体为：

按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心；

其中，所述密度为联通子图中的数据节点的流入流量与流出流量的和。

6.根据权利要求5所述的用于分布式系统中作业资源分配方法，其特征在于，所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点，对于遍历到的任一数据节点，并根据设定的标准判断该数据节点是否为簇中心，包括：

所述按照数据节点密度由高到底的顺序遍历所述联通子图的数据节点；

对于遍历到的任一数据节点，判断该数据节点的密度是否大于与其相连的数据节点的密度；

若是，则所述该数据节点为簇中心；

若否，则所述该数据节点为不满足所述设定标准的数据节点。

7.根据权利要求4所述的用于分布式系统中作业资源分配方法，其特征在于，所述将不满足所述设定标准的数据节点归属到与其相关性最大的簇中心所在的簇，包括：

将不满足所述设定标准的数据节点归属到与其距离最近的簇中心所在的簇；其中，所述距离，指从某个数据节点到簇中心点的链路中，经历的边权重最小值的倒数。

8.根据权利要求7所述的用于分布式系统中作业资源分配方法，其特征在于，所述将不满足所述设定标准的数据节点归属到与其距离最近的簇中心所在的簇，包括：

当存在两个及以上与不满足所述设定标准的数据节点距离相等的簇中心时，将所述不满足所述设定标准的数据节点归属到任一簇中心。

9.根据权利要求1-8任一所述的用于分布式系统中作业资源分配方法，其特征在于，所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群，包括：

所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，以及各作业及数据子集之间的流量依赖关系，为作业及数据子集分配分布式系统的计算集群。

10.根据权利要求9所述的方法，其特征在于，所述依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，以及各作业及数据子集之间的流量依赖关系，为作业及数据子集分配分布式系统的计算集群，包括：

按照各作业及数据子集之间的流量依赖关系从高到低排序生成作业及数据子集的流量依赖关系序列，序列中的每个元素包括至少两个具有流量依赖关系的作业及数据子集；

遍历所述关系序列，对应遍历到的任一元素，判断是否存在能容纳该元素的同一计算集群；

若是，将该元素所包含的作业及数据子集分配到所述计算集群中；

若否，将该元素所包含的作业及数据子集放入未分配结构集合中；

将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中。

11.根据权利要求10所述的方法，其特征在于，将所述未分配结构集合中的作业及数据子集随机分配到能容纳所述作业及数据子集的计算集群中的步骤之前，包括：

依次取出所述未分配结构集合中的作业及数据子集，执行如下操作：

判断是否存在与当前作业及数据子集相匹配的计算集群，若是，将所述当前作业及数据子集分配到所述相匹配的计算集群中。

12.根据权利要求1所述的方法，其特征在于，所述根据作业与数据的依赖关系将作业聚类到相应的数据子集，包括：

当与作业有依赖关系的数据聚集到不同的数据子集时，将所述作业聚类到与其有依赖关系的读流量最大的数据所在的数据子集。

13.一种用于分布式系统中作业资源分配装置，其特征在于，包括：

确定集合单元，用于确定分布式系统中有依赖关系的数据集合；

生成子集单元，用于针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定资源单元，用于确定各作业及数据子集所需计算资源及存储资源；

分配子集单元，用于依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

14.一种分布式系统中作业分配方法，其特征在于，包括：

确定待分配的作业，以及作业执行所需的数据；

基于作业之间，作业与数据之间，以及数据与数据之间的依赖关系，进行聚类，得到多个聚类集合，一个聚类集合包括作业及数据；

根据一个聚类集合中的数据所在的计算集群，以及所述一个聚类集合中的作业所需的计算能力，将所述一个聚类集合中的作业分配到一个计算集群。

15.一种电子设备，其特征在于，包括：

显示器；

处理器；以及

存储器，用于存储用于分布式系统中作业资源分配方法的程序，该设备通电并通过所述处理器运行该用于分布式系统中作业资源分配方法的程序后，执行下述步骤：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。

16.一种用于分布式系统中作业资源分配的存储设备，其特征在于，存储有指令，所述指令能够被处理器加载并执行以下步骤：

确定分布式系统中有依赖关系的数据集合；

针对任一所述数据集合，根据数据间依赖关系的大小，将所述数据进行聚类，生成数据子集，并根据作业与数据的依赖关系将作业聚类到相应的数据子集，生成作业及数据子集；

确定各作业及数据子集所需计算资源及存储资源；

依据各作业及数据子集所需计算资源及存储资源，以及分布式系统的各计算集群可用计算容量和存储容量，为作业及数据子集分配分布式系统的计算集群。