CN102004670B - 一种基于MapReduce的自适应作业调度方法 - Google Patents

Abstract

本发明涉及分布式并行计算领域中MapReduce自适应作业调度方法，包括下列步骤：MapReduce计算各个计算节点单CPU内核的能力指数；计算MapReduce作业的数据块规模；调度节点对新进入的MapReduce作业的数据进行划分；调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。本发明提供一种基于计算节点实际计算能力，具有自适应任务划分和任务调度的方法。

Description

一种基于MapReduce的自适应作业调度方法

技术领域

本发明属于分布式并行计算领域，具体而言是MapReduce中自适应作业调度方法。 

背景技术

近年来，随着宽带网络技术与并行计算理论的快速发展，一种更简化的分布式并行计算模型——MapReduce应运而生。MapReduce是Google提出的一种实现分布式并行计算任务的通用软件框架，它简化了由普通计算机组成的超大集群上的并行软件编程模式，可用于大规模数据集的并行计算。MapReduce分布式计算系统中，作业的调度策略直接关系到系统整体资源的利用率以及各用户间使用资源的公平性。因此，作业的调度算法成为MapReduce系统面临的一大挑战。 

在当前的MapReduce计算模型中，作业的调度主要由集中控制节点完成，该节点负责将计算任务分配给具有足够资源的空闲节点。为了在集群计算系统中，实现多点并行计算，调度节点将MapReduce应用划分为固定粒度大小的任务，分配给多个节点。然而，MapReduce集群计算系统中各计算节点的计算能力存在较大差异，常规的静态任务划分及指派方法，将影响作业的执行效率以及计算资源的利用率。另一方面，MapReduce集群计算系统的静态调度方法，使得每一个作业真正开始执行之前，需要等待一个较长的时间，完成所有分解任务的初始化装配，从而导致集群系统中的计算资源被浪费。因此，本发明提出一种自适应的任务划分及动态任务调度方法，以解决此类问题。 

发明内容

本发明的目的是克服静态的任务划分及调度技术的缺陷，提供一种基于节点计算能力，具有自适应任务划分和任务调度的方法。 

为达到上述目的，本发明提供的方法包括以下步骤： 

第一步，MapReduce计算节点初始化时，提供一种生成计算节点能力指数的方法，具体而言，各计算节点根据自身的计算能力(CPU核数量、CPU主频)、存储能力(内存容量)与网络吞吐能力(网络带宽)等配置参数，生成计算节点单CPU核的能力指数； 

第二步，参照MapReduce集群计算系统内所有计算节点的能力指数，计算MapReduce作业的数据块规模； 

第三步，调度节点根据计算出的数据块规模，对新进入的MapReduce作业的数据进行划分； 

第四步，结合各计算节点的能力指数，调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点； 

第五步，动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。 

进一步，其中所述计算节点CPU核的能力指数计算，包括计算节点扫描自身的硬件配置参数，包括CPU核数、CPU核主频、内存容量及网络接口数量与带宽；根据硬件配置参数，按照下式产生所述计算节点单核能力指数： 

$C_{\mathrm{core}}=\frac{w*f*m}{p^2}$

式中，C_core代表计算节点单CPU核的能力指数，C_core越大表示计算节点单一CPU核对单一任务的处理能力越强，越能处理较大规模的任务；w代表计算节点所有网络接口的带宽之和，单位为Mbps；f代表计算节点的CPU核主频，单位为GHz；m代表计算节点的内存总量，单位为GB；p代表计算节点的CPU核数量，单位为个。 

进一步，其中所述调度节点基于计算节点的能力指数产生数据块大小，包括调度节点统计MapReduce集群计算系统所有计算节点的单核能力指数，按照下式产生数据块大小： 

$S=\min \{(\mathrm{\α}*C_{\mathrm{core}}^i):1\≤i\≤n\}$

式中，S代表数据块大小，单位为MB；min{C_core ⁱ：1≤i≤n}代表MapReduce集群计算系统中所有计算节点单CPU核的能力指数的最小值，C_core ⁱ代表第i个计算节点的单核能力指数；n代表MapReduce集群计算系统中计算节点总数；α代表调节因子，取值范围为0～1。 

进一步，其中所述MapReduce作业的数据划分，包括如下步骤：设定MapReduce集群计算系统的数据块规模；调用MapReduce集群计算系统的数据划分功能对MapReduce作业的数据划分为数据块。 

进一步，其中所述调度节点对任务的动态装配及动态调度，包括计算节点向调度节点报告其剩余能力指数，所述调度节点根据所述计算节点的剩余能力指数，按照下式产生所述计算节点最大可处理数据块数： 

D＝C_r/S 

式中，D代表所述计算节点最大可处理数据块数，S代表数据块大小，C_r代表计算节点可用的剩余能力指数。 

进一步，其中所述调度节点对任务的动态装配及动态调度，包括计算节点根据自身总能力指数及当前已经使用的能力指数，按照下式产生计算节点可用的剩余能力指数： 

C_r＝p*C_core-C_used

式中，C_r代表计算节点可用的剩余能力指数，C_core代表计算节点单CPU核的能力指数，p代表计算节点的CPU核数量，C_used代表计算节点当前已经使用的能力指数。 

进一步，其中所述调度节点对任务的动态装配及动态调度，包括调度节点根据产生的计算节点最大可处理数据块数，将D块数据块装配成一个任务，并指派给所述计算节点。 

进一步，其中所述MapReduce集群计算系统的资源使用率统计，包括计算节点向调度节点报告其总能力指数和当前已经使用的能力指数，所述调度节点按照下式产生MapReduce集群计算系统的资源使用率： 

$U=\frac{{\mathrm{\Σ}}_{i=1}^n{C}_{\mathrm{used}}^i}{{\mathrm{\Σ}}_{i=1}^n{p}_i*C_{\mathrm{core}}^i}$

式中，C_core ⁱ代表第i个计算节点单CPU内核的能力指数，p_i代表第i个计算节点的CPU内核数量，C_used ⁱ代表第i个计算节点当前已经使用的能力指数，n代表MapReduce集群计算系统中计算节点总数。 

借由上述技术方案，本发明至少具有下列优点： 

1、本发明利用计算节点的能力指数，自适应地划分任务大小，使任务规模与计算节点能力匹配，最大程度保证整个计算过程的正确执行。 

2、本发明通过动态组装任务，使作业可以更快地开始执行，从而使MapReduce集群计算系统的各项资源得到更加高效地利用。 

附图说明

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。 

图1是本发明的MapReduce集群计算系统的系统结构示意图。 

图2是本发明的动态任务装配及调度示意图。 

图3是本发明的数据块规模的计算流程示意图。 

图4是本发明的动态任务装配及调度的流程示意图。 

图5是本发明的作业划分流程示意图。 

具体实施方式

为进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的MapReduce集群计算系统自适应作业调度方法的具体实施方式、结构、特征及其功效，详细说明如后。 

本发明的核心思想是，通过了解MapReduce集群计算系统中各计算节点的数据计算能力以及当前集群系统的资源使用率，自适应地计算数据分片规模，并根据计算节点的剩余计算能力动态地将数据块组装成任务分配给计算节点。下面结合附图进一步详细说明本发明的实施方案。 

图1是本发明MapReduce集群计算系统的系统结构图。MapReduce集群计算系统由调度节点和计算节点组成，图1中所示客户端不包括在所述MapReduce集群计算系统。所述调度节点负责管理作业的划分、任务组装与任务调度，所述计算节点则负责执行所述调度节点分配的任务。 

图2是本发明作业的划分、任务动态组装与任务调度过程。提交到MapReduce集群计算系统的作业参照基于计算节点单核能力指数的数据块规模划分作业，调度节点再根据各个计算节点的剩余能力指数动态地将1个或多个数据块组装成一个任务，并指派给相应的计算节点。 

图3是本发明的数据块规模的计算流程，该流程具体包括的如下步骤： 

步骤301，计算节点独立地读取本地硬件设备信息，包括CPU内核数、CPU内核主频、内存容量及网络接口数量与带宽； 

步骤302，计算节点对收集到的本地硬件设备信息，按照下式计算该计算节点的单核能力指数： 

$C_{\mathrm{core}}=\frac{w*f*m}{p^2}$

式中，C_core代表计算节点单CPU内核的能力指数，C_core越大表示计算节点单一CPU内核对单一任务的处理能力越强，越能处理较大规模的任务；w代表计算节点所有网络接口的带宽之和，单位为Mbps；f代表计算节点的CPU内核主频，单位为GHz；m代表计算节点的内存总量，单位为GB；p代表计算节点的CPU内核数量，单位为个； 

步骤303，计算节点将步骤302计算得到的单核能力指数通过消息发送给调度节点； 

步骤304，调度节点判断是否收到包含计算节点单核能力指数的消息，如果是，执行步骤305，否则继续监控输入消息； 

步骤305，调度节点从消息中提取该计算节点的单核能力指数； 

步骤306，调度节点判断MapReduce集群计算系统当前资源使用率是否低于门限TS，如果是，执行步骤308，否则执行步骤307，所述门限TS取值介于0～1之间，一般取值为0.75； 

步骤307，调度节点丢弃该计算节点的单核能力指数，退出本次计算流程； 

步骤308，调度节点判断是否已经设置数据块规模，如果是，执行步骤309，否则执行步骤310； 

步骤309，调度节点用该计算节点的单核能力指数乘以调节因子α，并同MapReduce集群计算系统当前的数据块规模进行比较，保存较小者，所述调节因子α取值介于0～1之间，一般取值为0.13； 

步骤310，调度节点用该计算节点的单核能力指数乘以调节因子α，将结果保存为MapReduce集群计算系统的数据块规模，所述调节因子α取值介于0～1之间，一般取值为0.13。 

图4是本发明的动态任务装配及调度的流程，该流程具体包括的如下步骤： 

步骤401，计算节点向调度节点发送任务请求并附带当前该计算节点剩余能力指数，所述计算节点的剩余能力指数按照下式计算： 

C_r＝p*C_core-C_used

式中，C_r代表计算节点可用的剩余能力指数，C_core代表计算节点单核能力指数，p代表计算节点的CPU内核数量，C_used代表计算节点当前已经使用的能力指数； 

步骤402，调度节点判断是否收到计算节点的任务请求，如果是，执行步骤403，否则继续监控计算节点的任务请求； 

步骤403，调度节点从收到的任务请求中提取该计算节点的剩余能力指数； 

步骤404，调度节点根据该计算节点的剩余能力指数，及当前MapReduce集群计算系统的数据块规模，按照下式计算该计算节点最大可处理数据块数： 

D＝C_r/S 

式中，D代表所述计算节点最大可处理数据块数，S代表数据块大小，C_r代表计算节点可用的剩余能力指数； 

步骤405，调度节点从作业队列中获取当前正在执行活动作业； 

步骤406，调度节点判断该作业是否包含D块未处理的数据块，如果是，执行步骤407，否则执行步骤408； 

步骤407，调度节点从该作业中提取D块未处理的数据块； 

步骤408，调度节点从该作业中提取剩余所有未处理的数据块； 

步骤409，调度节点将提取的数据块组装成任务发送给该计算节点； 

步骤410，计算节点判断是否收到调度节点发送的任务，如果是，执行步骤411，否则继续监控输入的任务； 

步骤411，计算节点根据收到的任务的规模，按照下式更新计算节点当前已经使用的能力指数： 

C_used＝C_used+T_C

式中，C_used代表计算节点当前已经使用的能力指数，T_C代表任务所需能力指数； 

步骤412，计算节点执行该任务； 

步骤413，计算节点判断该任务是否执行完毕，如果是，执行步骤414，否则继续监控任务执行进度；

步骤414，计算节点按照下式更新计算节点当前已用能力指数： 

C_used＝C_used-T_C

式中，C_used代表计算节点当前已经使用的能力指数，T_C代表任务所需能力指数。 

图5是本发明的作业划分流程，该流程具体包括的如下步骤： 

步骤501，调度节点收到一个新提交的作业； 

步骤502，调度节点判断MapReduce集群计算系统是否已经设置作业划分数据块规模，如果是，执行步骤504，否则执行步骤503； 

步骤503，设定MapReduce集群计算系统的数据块规模设定为缺省值，该缺省值一般取值64MB字节； 

步骤504，调度节点利用当前MapReduce集群计算系统的数据块规模，调用MapReduce集群计算系统的作业划分功能对该作业的数据进行划分。 

图6是本发明的MapReduce集群计算系统资源使用率统计流程，该流程具体包括的如下步骤： 

步骤601，调度节点启动资源使用率统计定时器T1，定时器T1的定时周期一般为300秒； 

步骤602，调度节点清除已有的MapReduce集群计算系统资源使用率统计结果； 

步骤603，计算节点启动资源使用率统计定时器T2，定时器T2的定时周期一般为300秒； 

步骤604，计算节点判断定时器T2是否超时，如果是，执行步骤605，否则继续监控定时器T2状态； 

步骤605，计算节点通过消息将总能力指数及当前已分配的能力指数发送给调度节点； 

步骤606，调度节点判断是否收到计算节点的消息，如果是，执行步骤607，否则继续监控计算节点的输入消息； 

步骤607，调度节点从收到的消息中提取计算节点的总能力指数及当前已分配的能力指数，并对该计算节点对象中的总能力指数和已分配能力指数进行更新； 

步骤608，调度节点判断定时器T1是否超时，如果是，执行步骤609，否则执行步骤606； 

步骤609，调度节点对保存的所有计算节点的总能力指数和已分配能力指数进行统计求和；

步骤610，调度节点对所有计算节点的总能力指数和已用能力指数的统计和，按照下式计算MapReduce集群计算系统当前的资源使用率： 

$U=\frac{{\mathrm{\Σ}}_{i=1}^n{C}_{\mathrm{used}}^i}{{\mathrm{\Σ}}_{i=1}^n{p}_i*C_{\mathrm{core}}^i}$

式中，C_core ⁱ代表第i个计算节点单CPU内核的能力指数，p_i代表第i个计算节点的CPU内核数量，C_used ⁱ代表第i个计算节点当前已分配的能力指数，n代表MapReduce集群计算系统中计算节点总数。 

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。 

Claims (5)

1.一种基于MapReduce的自适应作业调度方法，其特征在于，包括下列步骤：

第一步，MapReduce计算节点根据自身的计算能力、存储能力与网络吞吐能力参数，生成各个计算节点单CPU内核的能力指数；所述计算节点单CPU内核的能力指数，包括计算节点扫描自身的硬件配置参数，包括CPU核数、CPU核主频、内存容量及网络接口数量与带宽；根据硬件配置参数，按照下式计算：

式中，C_core代表计算节点单CPU内核的能力指数，C_core越大表示计算节点单一CPU内核对单一任务的处理能力越强，越能处理较大规模的任务；w代表计算节点所有网络接口的带宽之和，单位为Mbps；f代表计算节点的CPU内核主频，单位为GHz；m代表计算节点的内存总量，单位为GB；p代表计算节点的CPU内核数量，单位为个；

第二步，参照MapReduce集群计算系统内所有计算节点的能力指数，计算MapReduce作业的数据块规模；所述计算MapReduce作业的数据块规模，包括调度节点统计MapReduce集群计算系统所有计算节点的单核能力指数，按照下式计算数据块大小：

式中，S代表数据块大小，单位为MB； 

代表MapReduce集群计算系统中所有计算节点单CPU内核的能力指数的最小值， 

代表第i个计算节点的单核能力指数；n代表MapReduce集群计算系统中计算节点总数；α代表调节因子，取值范围为0～1；

第三步，调度节点根据计算出的数据块规模，对新进入的MapReduce作业的数据进行划分； 

第四步，结合各计算节点的能力指数，调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；所述调度节点对任务的动态装配及动态调度，包括计算节点向调度节点报告其剩余能力指数，所述调度节点根据所述计算节点的剩余能力指数，按照下式产生所述计算节点最大可处理数据块数：

D＝C_r/S

式中，D代表所述计算节点最大可处理数据块数，S代表数据块大小，C_r代表计算节点可用的剩余能力指数;

第五步，动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。

2.根据权利要求1所述的基于MapReduce的自适应作业调度方法，其特征在于，所述MapReduce作业的数据划分，包括如下步骤：设定MapReduce集群计算系统的数据块规模；调用MapReduce集群计算系统的数据划分功能对MapReduce作业的数据划分为数据块。

3.根据权利要求2所述的基于MapReduce的自适应作业调度方法，其特征在于，所述计算节点向调度节点报告其剩余能力指数，按照下式公式计算：

C_r＝p*C_core-C_used

式中，C_r代表计算节点可用的剩余能力指数，C_core代表计算节点单CPU内核的能力指数，p代表计算节点的CPU内核数量，C_used代表计算节点当前已经使用的能力指数。

4.根据权利要求3所述的基于MapReduce的自适应作业调度方法，其特征在于，所述调度节点对任务的动态装配及动态调度，进一步包括调度节点根据产生的计算节点最大可处理数据块数，将D块数据块装配成一个任务，并指派给所述计算节点。 

5.根据权利要求1所述的基于MapReduce的自适应作业调度方法，其特征在于，所述MapReduce集群计算系统的资源使用率统计，进一步包括计算节点向调度节点报告其总能力指数和当前已经使用的能力指数，所述调度节点按照下式产生MapReduce集群计算系统的资源使用率：

式中， 

代表第i个计算节点单CPU内核的能力指数，p_i代表第i个计算节点的CPU内核数量， 

代表第i个计算节点当前已经使用的能力指数，n代表MapReduce集群计算系统中计算节点总数。 

Images