CN102096603A - MapReduce系统中的作业分解控制方法及调度节点设备 - Google Patents

Abstract

本发明公开了一种MapReduce系统中的作业分解控制方法及调度节点设备，用以提升MapReduce系统的可靠性。MapReduce系统中的作业分解控制方法，包括：调度节点监控本节点的资源使用信息；在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

Description

MapReduce系统中的作业分解控制方法及调度节点设备

技术领域

本发明涉及通信领域的数据处理技术，尤其涉及一种MapReduce系统中的作业分解方法及调度节点设备。

背景技术

MapReduce(映射化简)是一种分布式的用于处理大规模数据集的并行编程系统，通过定义相应的映射(Map)和化简(Reduce)函数即可实现分布式数据处理的功能。MapReduce系统包括调度节点(JobTracker)和若干任务执行节点(TaskTracker)，其网络架构如图1所示，其中：客户端(Client)用于将用户布置的并行处理作业(Job)提交至调度节点；调度节点自动将客户端提交的作业分解为多个具有相同处理功能(但输入数据可能不同)的Map任务和多个具有相同处理功能(但处理的数据可能不同)的Reduce任务，其中，Map任务的输出数据作为Reduce任务的输入数据，并将任务调度给任务执行节点；任务执行节点向调度节点请求任务并执行请求到的任务，任务执行节点在任务执行之后向调度节点上报状态信息。

MapReduce系统(本申请文件中简称MR系统)的工作流程如下：客户端将用户布置的作业提交给MR系统，MR系统中的调度节点(JobTracker)将作业分解为待执行的任务；任务执行节点(TaskTracker)具有一定的任务执行能力，体现为可执行任务数，当TaskTracker没有达到其任务执行能力时，即当前执行的任务数低于可执行任务数，TaskTracker会向JobTracker请求任务，JobTracker从分解出的任务中调度一个任务给TaskTracker执行。

现有技术中，当MR系统中的JobTracker接收到客户端提交的作业时，会立即将作业分解为待执行的任务，并将待执行的任务缓存在内存中，每个待执行的任务均会占用一定的内存容量。

MR系统的任务执行能力由TaskTracker总数和每个TaskTracker的任务执行能力确定，按照现有MR系统中的作业分解方法，JobTracker接收到客户端提交的作业时会立即将作业分解为待执行的任务，如果JobTracker在短时间内接收到大量的作业，将对大量的作业进行分解并在内存中缓存大量的待执行任务，有可能导致JobTracker的内存溢出等问题而宕机，从而影响MR系统的可靠性。

发明内容

本发明提供一种MapReduce系统中的作业分解控制方法及调度节点设备，用以提升MapReduce系统的可靠性。

本发明提供的MapReduce系统中的作业分解控制方法，包括：

调度节点监控本节点的资源使用信息；

在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；

在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

基于同一技术构思，本发明提供的MapReduce系统中的调度节点设备，包括存储模块、监控模块、控制模块和分解模块，其中：

所述存储模块，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；

所述监控模块，用于监控调度节点设备的资源使用信息；

所述控制模块，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停所述分解模块的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动所述分解模块的运行；

所述分解模块，用于从作业缓存队列中提取作业进行分解。

本发明提供的MapReduce系统中的作业分解控制方法及调度节点设备，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，调度节点将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解。根据资源使用信息控制对作业的分解，能够有效避免调度节点的内存溢出问题，提升MapReduce系统的可靠性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为现有技术中MapReduce系统的网络架构示意图；

图2为本发明实施例提供的MapReduce系统中的作业分解控制方法流程图；

图3为本发明实施例提供的一种较佳的作业分解控制处理流程图；

图4为本发明实施例提供的MapReduce系统中的调度节点设备框图。

具体实施方式

本发明实施例旨在提供一种MapReduce系统中的作业分解控制方法，引入延迟作业分解机制，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，JobTracker将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解，从而提升MapReduce系统的可靠性。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图2所示，本发明实施例提供的MapReduce系统中的作业分解控制方法，包括如下步骤：

S201、调度节点监控本节点的资源使用信息；

S202、在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；

具体实施中，作业缓存队列中缓存的作业可以按照优先级排序，相同优先级的作业按照提交时间排序，调度节点每次从作业缓存队列中提取未分解的作业时，均从作业缓存队列的头部提取，保证高优先级的作业被优先分解，从而被调度运行。当然，也可以不考虑作业的优先级，作业缓存队列中缓存的作业按照作业提交时间排序即可。

S203、在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

较佳的，为了有效解决JobTracker的内存溢出问题，所述的资源使用信息可以为内存使用率，在这种情况下，资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值，资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值，其中，第一使用率阈值高于第二使用率阈值。具体实施中，第一使用率阈值和第二使用率阈值可以根据经验灵活设定，取值范围在0值1之间，例如第一使用率阈值设定为90％，第二使用率阈值设定为70％。

所述的资源使用信息也可以为内存中的待执行任务数，在这种情况下，资源使用信息满足设定的作业分解暂停条件是指待执行任务数超过设定的第一数量阈值，资源使用信息满足设定的作业分解重启动条件是指待执行任务数低于设定的第二数量阈值，其中，第一数量阈值高于第二数量阈值。具体实施中，第一数量阈值高于第二数量阈值可以根据MapReduce系统中TaskTracker总数和每个TaskTracker的任务执行能力灵活设定，例如第一数量阈值设定为2T，第二数量阈值设定为T，T表示MapReduce系统的业务处理能力，T可以通过如下公式确定 $T=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i,$ 其中N表示MapReduce系统中的TaskTracker总数，W_i表示第i个TaskTracker的任务执行能力即执行任务数。

所述的资源使用信息也可以同时包括内存使用率和内存中的待执行任务数，在这种情况下，资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值，资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值，其中，第一使用率阈值高于第二使用率阈值，第一数量阈值高于第二数量阈值。

所述的资源使用信息还可以为已使用内存容量、CPU使用率等其它信息，具体实施请参见内存使用率、内存中的待执行任务数等相关信息的实施，不再一一赘述。

下面详细介绍作业分解控制处理流程，其中以资源使用信息同时包括内存使用率和内存中的待执行任务数为例进行说明，如图3所示，具体包括如下步骤：

S300、MR系统启动；

S301、JobTracker启动作业分解；

S302、JobTracker查询作业缓存队列中是否缓存有未分解的作业，如果是，执行S303，如果否，执行S305；

S303、JobTracker从作业缓存队列的头部提取作业进行分解；

S304、JobTracker监控自身的内存使用率，判断内存使用率是否超过设定的第一使用率阈值，如果是，执行S307，如果否，执行S306；

S305、JobTracker休眠(Sleep)一段时间以等待客户端提交作业，并返回执行S302；

S306、JobTracker监控内存中的待执行任务数，判断待执行任务数是否超过设定的第一数量阈值，如果是，执行S307，如果否，返回执行S302；

S307、JobTracker暂停作业分解；

S308、JobTracker休眠(Sleep)一段时间；

具体实施中，可以预先为JobTracker设定固定的休眠时间长度，或者由特定事件唤醒JobTracker，所述特定事件例如TaskTracker请求任务、JobTracker接收到客户端提交的作业等；

S309、JobTracker监控本节点的内存使用率，判断内存使用率是否低于设定的第二使用率阈值，如果是，执行S310，如果否，返回执行S308；

S310、JobTracker监控内存中的待执行任务数，判断待执行任务数是否低于设定的第二数量阈值，如果是，执行S311，如果否，返回执行S308；

S311、JobTracker重新启动作业分解，并返回执行S302。

基于同一技术构思，本发明实施例提供了一种MapReduce系统中的调度节点设备，如图4所示，包括存储模块41、监控模块42、控制模块43和分解模块44，其中：

存储模块41，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；

监控模块42，用于监控调度节点设备的资源使用信息；

控制模块43，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停分解模块44的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动分解模块44的运行；

分解模块44，用于从作业缓存队列中提取作业进行分解。

具体实施中，调度节点设备中的监控模块42可以包括第一监控子模块421，其中：

第一监控子模块421，用于监控内存使用率；以及

控制模块43，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值时，暂停分解模块44的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值时，重新启动分解模块44的运行，所述第一使用率阈值高于第二使用率阈值。

具体实施中，调度节点设备中的监控模块42还可以包括第二监控子模块422，其中：

第二监控子模块422，用于统计内存中的待执行任务数；以及

控制模块43，具体用于在作业分解执行状态下，当待执行任务数超过设定的第一数量阈值时，暂停分解模块44的运行；在作业分解暂停状态下，当待执行任务数低于设定的第二数量阈值时，重新启动分解模块44的运行，所述第一使用率阈值高于第二使用率阈值。

具体实施中，调度节点设备中的监控模块42也可以同时包括第一监控子模块421和第二监控子模块422，其中：

第一监控子模块421，用于监控内存使用率；

第二监控子模块422，用于统计内存中的待执行任务数；以及

控制模块43，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值时，暂停分解模块44的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值时，重新启动分解模块44的运行，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。

较佳的，该调度节点设备还可以包括：

排序模块45，用于将作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序；以及

分解模块44，具体用于从作业缓存队列的头部提取作业进行分解。

需要说明的是，以上调度节点设备的模块划分方式仅是各种可能的模块划分方式中的一种，本领域技术人员应该能够理解，只要使调度节点设备具备上述功能，其是否划分为不同的模块或者如何划分模块，都不会对本发明的保护范围构成限制。

本发明实施例提供的MapReduce系统中的作业分解控制方法及调度节点设备，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，调度节点将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解。根据资源使用信息控制对作业的分解，提升MapReduce系统的可靠性；

进一步，本发明实施例提供的MapReduce系统中的作业分解控制方法及调度节点设备，通过监控内存使用率、内存中的待执行任务数等与内存相关的信息，能够有效避免调度节点的内存溢出问题，从而提升MapReduce系统的可靠性。

本领域的技术人员应明白，本发明的实施例可提供为方法、设备、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种映射化简MapReduce系统中的作业分解控制方法，其特征在于，包括：

调度节点监控本节点的资源使用信息；

在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；

在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

2.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存使用率，以及所述资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值，所述资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值，所述第一使用率阈值高于第二使用率阈值。

3.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存中的待执行任务数，以及所述资源使用信息满足设定的作业分解暂停条件是指待执行任务数超过设定的第一数量阈值，所述资源使用信息满足设定的作业分解重启动条件是指待执行任务数低于设定的第二数量阈值，所述第一数量阈值高于第二数量阈值。

4.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存使用率和内存中的待执行任务数，以及所述资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值，所述资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。

5.如权利要求1至4任一所述的方法，其特征在于，所述作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序，以及所述调度节点从作业缓存队列的头部提取作业进行分解。

6.一种映射化简MapReduce系统中的调度节点设备，其特征在于，包括存储模块、监控模块、控制模块和分解模块，其中：

所述存储模块，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；

所述监控模块，用于监控调度节点设备的资源使用信息；

所述控制模块，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停所述分解模块的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动所述分解模块的运行；

所述分解模块，用于从作业缓存队列中提取作业进行分解。

7.如权利要求6所述的调度节点设备，其特征在于，所述监控模块包括第一监控子模块，其中：

所述第一监控子模块，用于监控内存使用率；以及

所述控制模块，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值。

8.如权利要求6所述的调度节点设备，其特征在于，所述监控模块包括第二监控子模块，其中：

所述第二监控子模块，用于统计内存中的待执行任务数；以及

所述控制模块，具体用于在作业分解执行状态下，当待执行任务数超过设定的第一数量阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当待执行任务数低于设定的第二数量阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值。

9.如权利要求6所述的调度节点设备，其特征在于，所述监控模块包括第一监控子模块和第二监控子模块，其中：

所述第一监控子模块，用于监控内存使用率；

所述第二监控子模块，用于统计内存中的待执行任务数；以及

所述控制模块，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。

10.如权利要求6至9任一所述的调度节点设备，其特征在于，还包括：

排序模块，用于将作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序；以及，

所述分解模块，具体用于从作业缓存队列的头部提取作业进行分解。

Images