CN107608777A

CN107608777A - 一种分布式环境中大数据处理任务的调度方法

Info

Publication number: CN107608777A
Application number: CN201710834984.7A
Authority: CN
Inventors: 魏小敏
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-09-15
Filing date: 2017-09-15
Publication date: 2018-01-19

Abstract

本发明公开一种分布式环境中大数据处理任务的调度方法,涉及大数据处理技术领域；在分布式环境中，当任务到达队首时，判断当前空闲的计算节点是否含有队首任务所需要的数据，当前空闲计算节点包含队首任务所需数据，直接将队首任务调度到该节点上，否则根据任务的动态信息将任务分类，对不同类别的任务设置不同的等待时间阈值，根据任务的类别和等待时间阈值判断该任务是直接调度还是继续等待。

Description

一种分布式环境中大数据处理任务的调度方法

技术领域

本发明公开一种调度方法,涉及大数据处理技术领域，具体的说是一种分布式环境中大数据处理任务的调度方法。

背景技术

Hadoop作为一个处理、存储和分析海量的分布式、非结构化数据的开源框架，具有廉价的处理大数据的能力，能够以—种可靠、高效、可伸缩的方式处理分布式环境下的“大数据”。现在国内外的很多公司都选择使用Hadoop平台来进行大数据方面的相关业务。但是Hadoop在性能方面仍然有很多可提升的空间。同时通过研究Hadoop自身的性能影响因素，如MapReduce作业执行流程的合理性、数据分布、数据本地性及任务调度算法等方面对其进行改进。对任务进行调度时，要尽量提高数据本地性。为了提高MapReduce任务的数据本地性，相关领域的专家提出了延迟调度算法该算法采用“延迟调度”的策略，通过增加一定的等待时间开销来提高任务的数据本地性。然而该算法的前提是假设所有的任务都是短任务，并且对每个任务设置的是统一的静态等待时间阈值，这样的做法降低了算法的复杂度，却存在一些问题：(1)不同长短的任务设置相同的等待时间阈值：在实际应用场景中，不可能满足“所有的任务都是短任务”这一假设，现实情况是既有短任务又有长任务。对于短任务来说，任务本身的执行时间较短，甚至有可能低于任务的等待时间，那么在这种情况下，仍然让任务等待较长的时间，以增加时间开销来片面地追求数据本地化显然是不合理的；而对于长任务来说，任务本身的执行时间就很长，再加上较长的等待时间，会大大延长整体作业的完成时间。(2)不同的网络环境设置相同的等待时间阀值：随着任务的调度，某些节点已无任务所需的本地数据，那么当这些节点空闲时，依照延迟调度算法的策略，只有当一些任务等待的时间超过设定的阀值后，才有可能被调度到这些空闲的计算节点上。当这些无任务所需本地数据的空闲节点得不到超时任务时，就会一直等待下去，从而造成资源的浪费并且增加时间开销，特别是在负载比较大的情况下，有任务本地数据的计算节点不会很快空闲，那么就会导致一方面有很多任务一直在排队等待调度，而另一方面却有部分节点一直处于空闲状态，严重影响作业的完成时间。

本发明提供一种分布式环境中大数据处理任务的调度方法，利用具有更高性能的分布式任务调度算法，针对以上缺陷，对延迟算法进行一些改进，达到提高MapReduce任务调度的数据本地性以及缩短作业的完成时间，减少不必要的时间开销的目的，提高MapReduce任务调度的整体性能。

TCDDS，the Dynamic Delay Scheduling Based on Task Classification，基于任务分类的动态延迟调度算法。

FIFO，First In First Out，先进先出调度算法。

Fuzzy Commprehensive Evaluation Mthod，模糊综合评价法。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种分布式环境中大数据处理任务的调度方法。

一种分布式环境中大数据处理任务的调度方法，在分布式环境中，当任务到达队首时，判断当前空闲的计算节点是否含有队首任务所需要的数据，当前空闲计算节点包含队首任务所需数据，直接将队首任务调度到该节点上，

否则根据任务的动态信息将任务分类，对不同类别的任务设置不同的等待时间阈值，根据任务的类别和等待时间阈值判断该任务是直接调度还是继续等待。

所述的方法中根据任务的动态信息，将任务分成三类：高优先级任务、中优先级任务和低优先级任务，高优先级任务的等待时间阈值为0，低优先级任务在三者中等待时间阈值最长，而中优先级任务的等待时间阈值在高优先级任务与低优先级任务之间。

所述的方法中当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是高优先级任务，立即调度队首任务，而不再令其等待。

所述的方法中当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是中优先级任务，则先调度队伍中的其他任务而让队首任务等待，直到含有该任务所需数据的计算节点空闲，立即调度该任务；

或者队首任务的等待时间超过等待时间阈值，则立刻调度队首任务而不再令其继续等待。

所述的方法中当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是低优先级任务，先调度队伍中的其他任务而让队首任务等待，直到含有该任务所需数据的计算节点空闲，立即调度该任务；

所述的方法中利用模糊综合评价法将任务进行分类，则任务为评价对象，任务的动态信息作为评价指标，

具体步骤为：

步骤1：根据对评价对象可能做出的各种总的评价结果，确定评价对象的评价结果集，

步骤2：根据对评价对象进行评价所依照的评价指标，确定评价对象的评价指标集，

步骤3：根据分布式环境中各评价指标对大数据任务处理的影响，确定评价指标的权重矢量，

步骤4：利用单因素模糊评价，得到评价对象对各评价指标的隶属度，利用每个评价指标逐个对评价对象进行量化，确立模糊关系矩阵，

步骤5：选择合适的模糊合成算子将权重矢量与模糊关系矩阵合成，得到各评价对象的模糊综合评价的结果矢量，

步骤6：分析模糊综合评价的结果矢量，确定任务的分类结果。

所述的方法中根据属性将步骤2中的评价指标分类，每一类评价指标作为第一级评价指标，第一级评价指标包括该类别下的评价指标参数，作为第二级评价指标。

所述的方法中步骤4中利用单因素模糊评价，分别对各个评价指标进行分析，寻找其类似的模糊分布，将评价指标的隶属度函数定义为相应模糊分布的隶属度函数，并选择合适的参数，获得评价对象对各评价指标的隶属度。

所述的方法中任务的动态信息包括任务本身信息，计算节点信息以及当前的网络性能信息。

本发明与现有技术相比具有的有益效果是：

本发明提出了一种分布式环境中大数据处理任务的调度方法，在分布式环境中，可基于任务分类的动态延迟调度算法，充分考虑影响任务的等待时间阈值的因素，在为任务设置等待时间阈值时，将多种因素的影响都考虑在内，按照一定的策略将任务分类，对不同类别的任务设置不同的等待时间阈值，根据任务的类别和等待时间阈值来对其进行调度。在本发明中利用TCDDS算法，对任务进行分类的依据并不仅仅是任务自身的信息，而是综合考虑任务本身、计算节点以及网络环境等各方面的信息因素，这些因素中包括动态变化的信息因素，因此本发明的任务分类是在待分类任务进入队伍之后，即将被调度之前，而不是事先就对所有的任务进行分类，所以本发明对任务进行的分类是动态的，分类结果实时受到动态变化的信息因素影响，解决了在已有的任务调度中，仅依靠单一因素分类任务，而导致任务的时间开销与节点分配不合理的问题，减少时间开销和提高数据本地性，从而提高系统整体性能。

附图说明

图1本发明方法的应用流程示意图。

具体实施方式

本发明提供一种分布式环境中大数据处理任务的调度方法，在分布式环境中，当任务到达队首时，判断当前空闲的计算节点是否含有队首任务所需要的数据，当前空闲计算节点包含队首任务所需数据，直接将队首任务调度到该节点上，

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。

利用本发明方法，在分布式环境中，任务的动态信息主要包括任务本身信息，计算节点信息以及当前的网络性能信息，其中影响任务等待时间阈值的因素主要是任务长度信息，计算节点信息中影响任务等待时间阈值的因素主要是节点的空闲速率及空闲节点含有队首待调度任务的本地数据的概率简称本地概率，而在网络性能方面影响任务等待时间阈值的主要是带宽、时延和流量，

以利用模糊综合评价法将任务进行分类为例，任务为评价对象，任务的动态信息作为评价指标，具体步骤如下：

步骤1：根据对评价对象可能做出的各种总的评价结果，确定评价对象的评价结果集V，其中设V＝{v₁，v₂，……v_m}，是对评价对象可能做出的各种总的评价结果的集合，其中，v_j代表第j个评价结果j＝1,2,……m；m为总的评价结果数，可划分为3-5个等级，本发明中的等待时间阈值为评价结果，将评价结果划分为3个等级为例，v₁＝长，v₂＝中，v₃＝短，而又以“长”、“中”、“短”这三个评价结果分别对应着“低优先级任务”、“中优先级任务”和“高优先级任务”这三个分类为例，评价结果集V＝{v₁，v₂，v₃}＝{长，中，短}；

其中高优先级任务，意味着该任务能够被调度到含有自己所需数据的计算节点上的概率是很低的，即使进行较长时间的等待也不一定能满足任务的数据本地性，因而可以直接放弃对数据本地性的追求，避免徒劳地增加时间开销；

中优先级任务，意味着该任务能够被调度到含有自己所需数据的计算节点上的概率略高于高优先级任务，所以可以适当地等待一段时间；

低优先级任务，意味着该任务能够被调度到含有自己所需数据的计算节点上的概率是很高的，在这种情况下，通过增加一定程度的时间开销来尽可能地提高任务的数据本地性是很有必要的；

步骤2：根据对评价对象进行评价所依照的评价指标，确定评价对象的评价指标集U，其中设U＝{u₁，u₂，...，u_n},是评价者对评价对象进行评价所依照的n种评价指标的集合，其中，u_i代表第i个评价指标，i＝1，2，...，n，n为评价指标的总个数，由具体的评价指标体系来决定,可按照属性将评价指标分为若干类，每一类都可视为单一的评价指标，用第一级评价指标来表示，在每个第一级评价指标下可以设置若干个该类别的评价指标参数，用u_im来表示，此为第二级评价指标，本发明中，评价指标就是任务的分类依据，即前面说明的任务的动态信息，是影响任务的等待时间阈值设定的因素，因此U＝{任务，节点，网络}。其中，任务自身方面，能影响任务等待时间阈值的因素主要是任务长度，因此：U₁＝任务＝{u₁₁}＝{任务长度}；在计算节点方面，影响任务等待时间阈值的因素主要是计算节点的空闲速率，简称空闲速率以及空闲计算节点含有队首待调度任务的本地数据的概率，简称为本地概率，因此U₂＝节点＝{u₂₁，u₂₂}＝{空闲速率，本地速率}。在网络环境方面，影响任务等待时间阈值的主要是带宽、时延和流量因素，因此：

U₃＝网络＝{u₃₁，u₃₂，u₃₃}＝{网络带宽，网络时延，网络流量}；

则上述评价指标体系包含以下内容：三个第一级指标：任务、节点、网络和六个第二级指标：任务长度、空闲速率、本地概率、网络带宽、网络时延、网络流量；评价对象的评价指标集可以表示为U＝U₁∪U₂∪U₃＝{任务长度，空闲速率，本地概率，网络带宽，网络时延，网络流量}；

设W＝(w₁，w₂，...，w_n)为权重分配模矢量，其中w_i表示第i个评价指标的权重，要求：w_i≥0，且W反映了各指评价标重要程度；表1为对比矩阵标度定义，根据上述表1各项指标对比矩阵标度定义，可知表中元素i与元素j相比的相对重要性A_ij的标度，则元素j与元素i相比的相对重要性A_ji的标度如以下公式所示：

表1

根据分布式环境中各评价指标对大数据任务处理的影响，可以设定三个第一级评价指标的重要性两两对比,得出第一级评价指标的对比矩阵A₁为表2所示；

表2

第一级指标	U₁	U₂	U₃
				U₁	1	7	9
U₂	1/7	1	3
				U₃	1/9	1/3	1

矩阵A₁可以表示为：

由特征值和特征向量可得矩阵A₁的特征向量：

对特征向量做归一化处理，即可得到这三个第一级评价指标间的相对权重，又由归一化公式：

则第一级评价指标U₁、U₂、U₃间的相对权重为：

同理，根据以上步骤可以得出节点、网络的第二级评价指标的重要性两两对比，对比值分别见下表3、表4所示；

表3

第一级指标	U₂₁	U₂₂
			U₂₁	1	3
U₂₂	1/3	1

表4

第一级指标	U₃₁	U₃₂	U₃₃
				U₃₁	1	3	3
U₃₂	1/3	1	1
				U₃₃	1/3	1	1

根据上述计算过程，可以得到计算节点的第二级评价指标u₂₁和u₂₂之间的相对权重矢量为：

Q＝(0.75，0.25)

同理得到网络的第二级评价指标u₃₁、u₃₂和u₃₃之间的相对权重矢量为：

R＝(0.6，0.2，0.2)

由上述矢量P的值，将矢量Q和矢量R代入矢量P，最终可以得到所有指标的权重矢量：

W＝(0.766，0.116，0.039，0.041，0.014，0.014)；

步骤4：利用单因素模糊评价，得到评价对象对各评价指标的隶属度，利用每个评价指标逐个对评价对象进行量化，确立模糊关系矩阵；

单独从一个评价指标出发对评价对象进行评价，得出评价对象对每一个评价结果的隶属度大小，最终得到评价对象对评价集合V整体的隶属度大小，这种方法称为单因素模糊评价。利用单因素模糊评价，得到评价对象对各评价指标的隶属度，也就是逐个对评价对象从每个评价指标u_i上进行量化，进而可得到模糊关系矩阵，如下面公式所示：

其中r_ij表示表示某个评价对象从评价指标u_i来看对单一评价结果v_j的隶属度，且0≤r_ij≤1，i＝1，2，...，6，j＝1，2，3；由步骤1可知，评价结果集V＝{v₁，v₂，v₃}＝{长，中，短}。由步骤4可知，本发明确定的六个评价指标的权重为W＝(0.776，0.116，0.039，0.041，0.014，0.014)；

隶属度函数就是表示某元素属于某个模糊集合的“程度”，隶属度的大小表示的就是某元素属于某个模糊集合的程度的大小，本发明中隶属度函数的确立，采用根据模糊分布的方法来确立方法。常用的模糊分布有阶梯型模糊分布、矩阵型模糊分布、正态分布、柯西分布等，模糊现象的隶属度函数与某种模糊分布相似时，则可以直接将其作为隶属度函数，然后根据实际情况确定公式中的参数。本发明确立隶属度函数的方法是：对各个评价指标进行分析，寻找类似的模糊分布，将评价指标的隶属度函数定义为相应模糊分布的隶属度函数，并设置合适的参数：

首先，对评价指标u₁即任务长度进行分析，对于u₁，任务长度是决定任务的等待时间阈值的一个很重要的指标。任务较长或较短时，等待时间阈值都不宜过长，所以u₁对v₁的隶属度函数应是中间型分布，对v₂的隶属度函数是偏大型分布，对v₃的隶属度函数是偏小型分布，可以使用正态分布来定义u₁对v_j的隶属度函数，通过仿真不断对参数进行调整后，最终得到如以下公式所示u₁对v_j的隶属度函数：

u₁对v₁的隶属度函数A₁₁(x)如以下公式所示：

u₁对v₂的隶属度函数A₁₂(x)如以下公式所示：

u₁对v₃的隶属度函数A₁₃(x)如以下公式所示：

对评价指标u₂即节点空闲速率进行分析。空闲节点释放的速度越快，就意味着任务被调度到含有自己所需数据的节点上的可能性就越大，在这种情况下，可能稍微延长一点等待时间就能换取更大的数据本地性，因此等待时间阈值可以较长。所以u₂对v₁的隶属度函数是偏大型分布，对v₂的隶属度函数是偏小型分布，对v₃的隶属度函数是中间型分布，因此可以使用柯西分布来定义u₂对v_j的隶属度函数，通过仿真不断对参数进行调整后，最终得到如下所示的隶属度函数：

u₂对v₁的隶属度函数A₂₁(x)如以下公式所示：

u₂对v₂的隶属度函数A₂₂(x)如以下公式所示：

u₂对v₃的隶属度函数A₂₃(x)如以下公式所示：

对评价指标u₃即本地概率进行分析。u₃对v₁的隶属度函数应是偏大型分布，对v₂的隶属度函数是中间型分布，对v₃的隶属度函数是偏小型分布，因此可以使用K次抛物型分布来定义u₃对v_j的隶属度函数，通过仿真不断对参数进行调整后，最终得到如下所示的隶属度函数：

u₃对v₁的隶属度函数A₃₁(x)如以下公式所示：

u₃对v₂的隶属度函数A₃₂(x)如以下公式所示：

u₃对v₃的隶属度函数A₃₃(x)如以下公式所示：

对评价指标u₄即网络带宽进行分析。u₄对v₁的隶属度函数应是偏小型分布，对v₂的隶属度函数是中间型分布，对v₃的隶属度函数是偏大型分布，因此可以使用梯形分布来定义u₄对v_j的隶属度函数，通过仿真不断对参数进行调整后，最终得到如下所示的隶属度函数：

u₄对v₁的隶属度函数A₄₁(x)如以下公式所示：

u₄对v₂的隶属度函数A₄₂(x)如以下公式所示：

u₄对v₃的隶属度函数A₄₃(x)如以下公式所示：

同理，对评价指标u₅即网络时延进行分析。u₅对v₁的隶属度函数应是偏大型分布，对v₂的隶属度函数是中间型分布，对v₃的隶属度函数是偏小型分布。因此其隶属度函数分布与u₃相似；

同理，对评价指标u₆即网络流量进行分析。u₆对v₁的隶属度函数应是偏小型分布，对v₂的隶属度函数是中间型分布，对v₃的隶属度函数是偏大型分布。因此其隶属度函数分布与u₄相似；

其中利用合适的模糊合成算子将模糊权重矢量W与模糊关系矩阵R合成得到各被评价对象的模糊综合评价结果矢量B，本发明的评价指标集中，u₄、u₅和u₆这三个评价指标之间并非是相互独立的，而且期望得到的最佳评价结果是在这几个指标的共同作用下得到的最终结果，期望得到的最佳评价结果是在这几个指标的共同作用下得到的最终结果，选择加权平均型的综合评判算子：

矩阵R中每一个元素r_ij和权重向量中的每一个元素w_i对最后的评价结果都有一定的贡献，因此该算子是加权平均型的综合评判，而且各指标之间能够相互补偿，当各指标的权重分布较为均衡时，得到的结果可信度较高；

步骤6：分析模糊综合评价的结果矢量，确定任务的分类结果，

在步骤5中，得到了模糊综合评价结果矢量B，然而该矢量并不能作为最终的评价结果，仍需进行进一步的分析和处理，本发明可采用最大隶属度原则和加权平均原则对模糊综合评价矢量B进行处理，以最大隶属度原则来进行处理为例，

b_r＝max{b₁，b₂，…，b_n}

最终的评价结果就是分量最大的b_r对应的结果，也就是被评价任务的分类结果，根据上述举例，br实际上有三个分量，就是对应的{长、中、短}，即br＝max{b1,b2,b3}，比如br＝{0.2,0.5,0.3},那么根据隶属度最大原则0.5最大，这个任务的评价结果就是{中}，而任务分类的结果：高优先级任务、中优先级任务和低优先级任务分别对应的等待时间阈值为t_H、t_M、t_L。

则对任务进行调度的过程为：

当任务到达队首时，判断当前空闹的计算节点是否含有队首任务所需要的数据；

若当前空闲的计算节点含有队首任务所需要的数据，则将队首任务调度到该节点上；若当前空闲的计算节点不含队首任务所需要的数据，则统计当前节点和网络的状态，并依据前面所述模糊综合评价法对任务进行分类；

若该任务的分类结果为高优先级任务，则立即将该任务调度到当前空闲的计算节点上；

若该任务的分类结果为中优先级任务，则令该任务暂时等待。如果在等待的过程中，有含有该任务所需数据的节点空闲，立即调度该任务；如果该任务等待的时间超过t_M，则无论下一个空闲的节点是否含有该任务所需的数据，都立即调度该任务；

若该任务的分类结果为低优先级任务，则令该任务暂时等待。如果在等待的过程中，有含有该任务所需数据的节点空闲，立即调度该任务；如果该任务等待的时间超过t_L，则无论下一个空闲的节点是否含有该任务所需的数据，都立即调度该任务。

本发明利用具有更高性能的分布式任务调度算法，对延迟算法进行一些改进，达到提高MapReduce任务调度的数据本地性以及缩短作业的完成时间，减少不必要的时间开销的目的，提高MapReduce任务调度的整体性能。同样本发明可以应用于云计算平台中任务处理。

Claims

1.一种分布式环境中大数据处理任务的调度方法，其特征在于在分布式环境中，当任务到达队首时，判断当前空闲的计算节点是否含有队首任务所需要的数据，当前空闲计算节点包含队首任务所需数据，直接将队首任务调度到该节点上，

2.根据权利要求1所述的方法，其特征在于根据任务的动态信息，将任务分成三类：高优先级任务、中优先级任务和低优先级任务，高优先级任务的等待时间阈值为0，低优先级任务在三者中等待时间阈值最长，而中优先级任务的等待时间阈值在高优先级任务与低优先级任务之间。

3.根据权利要求2所述的方法，其特征在于当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是高优先级任务，立即调度队首任务，而不再令其等待。

4.根据权利要求2或3所述的方法，其特征在于当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是中优先级任务，则先调度队伍中的其他任务而让队首任务等待，直到含有该任务所需数据的计算节点空闲，立即调度该任务；

5.根据权利要求4所述的方法，其特征在于当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是低优先级任务，先调度队伍中的其他任务而让队首任务等待，直到含有该任务所需数据的计算节点空闲，立即调度该任务；

6.根据权利要求1-3或5任一所述的方法，其特征在于利用模糊综合评价法将任务进行分类，则任务为评价对象，任务的动态信息作为评价指标，

具体步骤为：

7.根据权利要求6所述的方法，其特征在于根据属性将步骤2中的评价指标分类，每一类评价指标作为第一级评价指标，第一级评价指标包括该类别下的评价指标参数，作为第二级评价指标。

8.根据权利要求7所述的方法，其特征在于步骤4中利用单因素模糊评价，分别对各个评价指标进行分析，寻找其类似的模糊分布，将评价指标的隶属度函数定义为相应模糊分布的隶属度函数，并选择合适的参数，获得评价对象对各评价指标的隶属度。

9.根据权利要求7或8所述的方法，其特征在于任务的动态信息包括任务本身信息，计算节点信息以及当前的网络性能信息。