CN106933664B - 一种Hadoop集群的资源调度方法及装置 - Google Patents

Abstract

本实施例提供的Hadoop集群的资源调度方法，根据Hadoop集群中节点的硬件配置差异情况，预先为Hadoop集群中的节点设置节点类型，以及为集群中的任务队列设置队列类型。当接收到客户端发送的待调度任务后，从待调度任务中获取指定执行信息，其中，该指定执行信息包括节点类型和队列类型中的至少一项。然后，从Hadoop集群中当前可调用的节点中，获取节点类型与指定执行信息相匹配的目标节点，并将待调度任务分配给目标节点来执行。该方法能够从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能。

Description

一种Hadoop集群的资源调度方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种Hadoop集群的资源调度方法及装置。

背景技术

Hadoop集群是开源的分布式存储和大数据处理框架，主要包括Common，分布式文件系统(Hadoop Distributed File System，HDFS)，Hadoop资源管理器(Yet AnotherResource Negotiator，YARN)和映射归约MapReduce(MapReduce用于大规模数据集的并行运算)。异构Hadoop集群通常指组成集群的各个节点的硬件(CPU，内存，磁盘)配置存在差异。

YARN资源调度器负责Hadoop集群中所有资源的统一管理和分配，它接收来自各个节点的资源汇报信息，并把这些信息按照一定的策略分配给各个任务。目前的YARN资源调度器都认为集群的节点是同构的，没有考虑到某些节点的配置会有不同。这样不能根据任务需求调度最匹配的节点来执行该任务，例如，一些机器学习类型的计算机任务使用了复杂的算法，需要在高性能的CPU上计算，但现有的资源调度方式无法识别硬件配置的区别，将任务调度到普通的节点上。

发明内容

为了解决传统的Hadoop集群的资源调度方式无法根据集群内节点的特点进行调度的问题，本申请提供一种Hadoop集群的资源调度方法及装置，其技术方案如下：

第一方面，本申请提供一种Hadoop集群的资源调度方法，应用于Hadoop集群中，包括：

获取待调度任务的指定执行信息，所述指定执行信息包括Hadoop集群包含节点对应的节点类型和任务队列的队列信息中的至少一项，所述节点类型根据所述节点的硬件配置情况设置；

从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点；

将所述待调度任务分配给所述目标节点执行。

可选地，所述指定执行信息包含节点类型和队列信息；

所述从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点，包括：

获取当前可调用的节点列表；

从所述指定执行信息中获取目标节点类型及目标队列类型；

判断所述目标队列类型与所述目标节点类型是否匹配；

当所述目标队列类型与所述目标节点类型相匹配时，确定相匹配的节点为所述目标节点；

当所述目标队列类型与所述目标节点类型不匹配时，根据冲突解决策略确定出所述目标节点，所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

可选地，判断所述目标队列类型与所述目标节点类型是否匹配，包括：

获取所述目标队列类型对应的全部可调度节点；

获取所述目标节点类型所包含的全部可调度节点；

比较所述目标队列类型对应的全部可调度节点与所述目标节点类型所包含的全部可调度节点是否完全相同；

如果完全相同，则确定所述目标队列类型与所述目标节点类型匹配；

如果不完全相同，则确定所述目标队列类型与所述目标节点类型不匹配。

可选地，所述方法还包括：

接收类型信息设定命令，所述类型信息设定命令包括节点类型设置信息和队列类型设置信息中的至少一项；

判断所述类型信息设定命令是否有效；

当所述类型信息设定命令是否有效时，从所述类型信息设定命令中提取类型设置信息；

存储所述类型设置信息。

可选地，判断所述类型信息设定命令是否有效，包括：

当所述类型信息设定命令包括节点类型设定命令时，判断所述节点类型设定命令请求配置的节点类型是否存在；如果存在，则确定所述节点类型设定命令有效；如果不存在，则确定所述节点类型设定命令无效；

当所述类型信息设定命令包括队列类型设定命令时，判断所述队列类型设定命令请求配置的队列类型是否具有访问权限；如果具有访问权限，则确定所述队列类型设定命令有效；如果不具有访问权限，则确定所述节点类型设定命令无效。

第二方面，本申请提供一种Hadoop集群的资源调度装置，应用于Hadoop集群中，包括：

第一获取单元，用于获取待调度任务的指定执行信息，所述指定执行信息包括Hadoop集群包含节点对应的节点类型和任务队列的队列信息中的至少一项，所述节点类型根据所述节点的硬件配置情况设置；

第二获取单元，用于从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点；

分配单元，用于将所述待调度任务分配给所述目标节点执行。

可选地，所述指定执行信息包含节点类型和队列信息；所述第二获取单元，包括：

第一获取子单元，用于获取当前可调用的节点列表；

第二获取子单元，用于从所述指定执行信息中获取目标节点类型及目标队列类型；

第一判断子单元，用于判断所述目标队列类型与所述目标节点类型是否匹配；

第一确定子单元，用于当所述目标队列类型与所述目标节点类型相匹配时，确定相匹配的节点为所述目标节点；

第二确定子单元，用于当所述目标队列类型与所述目标节点类型不匹配时，根据冲突解决策略确定出所述目标节点，所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

可选地，所述第一判断子单元，包括：

第三获取子单元，用于获取所述目标队列类型对应的全部可调度节点；

第四获取子单元，用于获取所述目标节点类型所包含的全部可调度节点；

比较子单元，用于比较所述目标队列类型对应的全部可调度节点与所述目标节点类型所包含的全部可调度节点是否完全相同；

第三确定子单元，用于当完全相同时，确定所述目标队列类型与所述目标节点类型匹配；

第四确定子单元，用于当不完全相同时，确定目标队列类型与所述目标节点类型不匹配。

可选地，所述装置还包括：

接收单元，用于接收类型信息设定命令，所述类型信息设定命令包括节点类型设置信息和队列类型设置信息中的至少一项；

判断单元，用于判断所述类型信息设定命令是否有效；

提取单元，用于当所述类型信息设定命令是否有效时，从所述类型信息设定命令中提取类型设置信息，所述配置信息包括节点类型配置信息和队列类型配置信息中的至少一项；

存储单元，用于存储所述类型设置信息。

可选地，所述判断单元，包括：

第二判断子单元，用于当所述类型信息设定命令包括节点类型设置信息时，判断所述节点类型设置信息中的节点类型是否存在；如果存在，则确定所述类型信息设定命令有效；如果不存在，则确定所述类型信息设定命令无效；

第三判断子单元，用于当所述类型信息设定命令包括队列类型设置信息时，判断所述队列类型设置信息中的队列类型是否具有访问权限；如果具有访问权限，则确定所述类型信息设定命令有效；如果不具有访问权限，则确定所述类型信息设定命令无效。

本实施例提供的Hadoop集群的资源调度方法，根据Hadoop集群中节点的硬件配置差异情况，预先为Hadoop集群中的节点设置节点类型，以及为集群中的任务队列设置队列类型。当接收到客户端发送的待调度任务后，从待调度任务中获取指定执行信息，其中，该指定执行信息包括节点类型和队列类型中的至少一项。然后，从Hadoop集群中当前可调用的节点中，获取节点类型与指定执行信息相匹配的目标节点，并将待调度任务分配给目标节点来执行。该方法根据Hadoop集群中节点的物理配置情况设置节点类型，而且，客户端发送的待调度任务中可以指定节点类型和队列类型中的至少一项；因此，能够从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一种Hadoop集群的资源调度方法流程图；

图2是本申请实施例一种获取目标节点过程的流程示意图；

图3是本申请实施例另一种Hadoop集群的资源调度方法的流程示意图；

图4是本申请实施例一种Hadoop集群的资源调度装置的框图

图5是本申请实施例一种第二获取单元的框图；

图6是本申请实施例另一种Hadoop集群的资源调度装置的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的Hadoop集群中，根据集群中各个节点的物理配置情况为节点设置节点类型，为任务队列分类。对节点分类，根据节点的硬件配置进行不同维度的类型划分，例如，是否配置了图像处理单元(Graphic Processing Unit，GPU)，是否有更多的内存。每个任务队列分类标记，表示提交到本队列的任务会在哪种类型的节点上调度运行。例如，某个任务需要使用配置有GPU的节点来执行，则该任务可以提交到队列类型可为GPU的队列中。

请参见图1，示出了本申请实施例一种Hadoop集群的资源调度方法的流程图，该方法应用于Hadoop集群服务器中，如图1所示，该方法可以包括以下步骤：

S110，获取待调度任务的指定执行信息。

待调度任务是指客户端发送给服务器的请求执行的任务，客户端在向服务器提交任务时，可以通过参数指定想要运行的节点对应的节点类型，和/或，指定想要运行的队列。其中，想要运行的队列可以利用队列名称表示。

所述指定执行信息包括节点类型和队列类型中的至少一项，节点类型是指Hadoop集群包含节点的类型，节点类型根据节点的硬件配置设置；

例如，Hadoop集群中包括两个机架分别是rack1、rack2；10个节点分别是：production01、production02、production03、production04、production05、dev01、dev02、dev03、dev04和dev05。且这10个节点的CPU类型和内存类型如表1所示：

表1

表1中的节点在Hadoop集群服务器中的存储的节点类型如下：

production01rack1,default,default

production02rack1,default,high-mem

production03rack1,gpu,high-mem

production04rack1,gpu,default

production05rack1,gpu,default

dev01rack2,gpu,default

dev02rack2,default,default

dev03rack2,default,default

dev04rack2,default,default

dev05rack2,default,default

如果队列设置了队列类型，表示提交到本队列的任务会在该种类型的节点上调度运行。

例如，dev队列上执行的任务可以在“rack2”类型或者“gpu”类型的节点上运行，则dev队列的队列类型可以是“dev rack2||gpu”。“dev rack2||gpu”是一个类型表达式。

S120，从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点。

Hadoop集群服务器获取当前可以被调用的节点列表。然后，从可调用的节点列表中选择与指定执行信息相匹配的目标节点。

请参见图2，示出了本申请实施例一种获取目标节点过程的流程示意图，如图2所示，该过程可以包括：

S121，获取当前可调用的节点列表。

Hadoop集群服务器接收到客户端提交的待调度任务后，获取当前集群中可以被调用的节点对应的节点列表。

S122，从指定执行信息中获取目标节点类型及目标队列类型。

从指定执行信息中提取目标节点类型，即客户端指定的想运行的节点类型。

在本申请一种可能的实现方式中，客户端指定的想运行的队列信息是队列名称，然后，根据队列名称获取该队列对应的队列类型。其中，队列类型可以根据需要进行设定，可以根据待调度任务的特定要求来设定，例如，某个待调度任务需要使用内存较大的节点，则可以根据内存分类设定队列类型。

S123，判断目标队列类型与所述目标节点类型是否匹配；如果匹配，则执行S124；否则，执行S125。

由于队列有自己的类型标识，节点也有自己的类型标识，队列的类型和节点的类型可能会不同。获取目标队列类型对应的全部节点，获取目标节点类型所包含的全部节点；然后，比较目标队列类型对应的全部节点与目标节点类型所包含的节点是否完全相同；如果完全相同，则确定目标队列类型与所述目标节点类型匹配；如果不完全相同，则确定目标队列类型与所述目标节点类型不匹配，即两种类型存在冲突。

S124，确定相匹配的节点为所述目标节点。

例如，目标队列类型对应的节点分别是：节点1、节点2、节点4；而目标节点类型对应的节点是节点1、节点2和节点4，则两个类型对应的节点完全相同，最终，从节点1、节点2和节点4中任选一个作为目标节点。

S125，根据冲突解决策略确定出目标节点。

所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

例如，任务提交时，指定在“dev”队列执行任务，同时又指定“想要”执行的节点类型是“gpu”；而且，“dev”队列指定的类型是“rack2&&gpu”，该队列类型对应的可调度节点是“dev01”。而根据节点类型“gpu”得到的可调度节点是“production03、production04、production05、dev01”。显然，节点类型的可调用节点与队列类型的可调用节点不完全相同，即队列类型与节点类型存在冲突。

如果按照“队列类型优先策略”解决冲突，则确定的可调度节点是“dev01”；

如果按照“节点类型优先策略”解决冲突，则确定的可调度节点是“production03，production04，production05，dev01”，最后，可以从这四个可调度节点中任选一个作为最终的目标节点；

如果按照“逻辑与策略”解决冲突，则确定的可调度节点是“dev01”；

如果按照“逻辑或策略”解决冲突，则确定的可调度节点是“production03，production04，production05，dev01”，最终从这四个节点中任选一个作为最终的目标节点。

在本申请的一种可能的实现方式中，默认按照“逻辑与”关系来确定最终的可调度节点；当然这4种冲突解决策略的优先级可以配置，优先级可以根据具体的需要进行设置。

S130，将待调度任务分配给目标节点执行。

把待调度任务分配给最终确定的目标节点。

本实施例提供的Hadoop集群的资源调度方法，根据Hadoop集群中节点的物理配置情况设置节点类型，而且，客户端发送的待调度任务中可以指定节点类型和队列类型中的至少一项；因此，能够从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能。

请参见图3，示出了本申请实施例另一种Hadoop集群的资源调度方法的流程示意图，本实施例在图1所示实施例的基础上还包括以下步骤：

S210，接收类型信息设定命令。

所述类型信息设定命令包括节点类型设定命令和队列类型设定命令中的至少一项。

类型信息设定命令可以由管理员输入，除设置节点类型和队列类型的操作外，还包括查询节点类型和队列类型的操作。

S220，判断所述类型信息设定命令是单个设定命令还是组设定命令；如果是单个设定命令，则执行S240；如果是组设定命令，则执行S230；

单个设定命令是指对单个节点设置节点类型的命令；组设定命令是指命令中节点的名称是正则表达式，正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。

S230，解析所述组设定命令，得到该组设定命令所请求设置的全部节点名称。

解析组设定命令中的正则表达式得到全部匹配的节点名称。然后，执行S240。

S240，判断类型信息设定命令是否有效；如果有效，则执行S250；如果无效，则执行S270。

例如，指定所有的节点类型包括gpu和high-mem，如果接收到的类型信息设定命令想设置某节点类型是high-cpu，此时，就会认为该类型信息设定命令是非法请求，即，该类型信息设定命令无效。

如果类型信息设定命令包括节点类型设置信息，则判断节点类型设置信息中的节点类型是否存在；如果存在，则确定该类型信息设定命令有效；如果不存在，则确定该类型信息设定命令无效；

如果类型信息设定命令包括队列类型设置信息，则判断类型信息设置信息中的队列类型是否具有访问权限；如果具有访问权限，则确定类型信息设定命令有效；如果不具有访问权限，则确定所述类型信息设定命令无效。

S250，从类型信息设定命令中提取类型设置信息。

所述配置信息包括节点类型配置信息和队列类型配置信息中的至少一项；

S260，存储所述类型设置信息。

将从类型信息设定命令中提取得到的配置信息存储到Hadoop集群服务器中。

S270，返回错误消息。如果类型信息设定命令无效，则向客户端返回错误消息。

本实施例提供的Hadoop集群的资源调度方法，根据节点的硬件配置差异情况预先配置集群中节点和队列的类型。为下一步根据节点类型进行调度奠定基础。客户端发送的待调度任务可以指定节点类型和队列类型中的至少一项，然后，从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

请参见图4，示出了本申请实施例一种Hadoop集群的资源调度装置的框图，该装置应用于Hadoop集群中，该装置包括：第一获取单元410、第二获取单元420和分配单元430。

第一获取单元410，用于获取待调度任务的指定执行信息。

所述指定执行信息包括Hadoop集群包含节点对应的节点类型和任务队列的队列信息中的至少一项，所述节点类型根据所述节点的硬件配置情况设置。

待调度任务是指客户端发送给服务器的请求执行的任务，客户端在向服务器提交任务时，可以通过参数指定想要运行的节点对应的节点类型，和/或，指定想要运行的队列。

第二获取单元420，用于从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点。

Hadoop集群服务器获取当前可以被调用的节点列表。然后，从可调用的节点列表中选择与指定执行信息相匹配的目标节点。

请参见图5，示出了本申请实施例一种第二获取单元的框图，本实施例中所述指定执行信息包含节点类型和队列信息，如图5所示，第二获取单元420包括：第一获取子单元421、第二获取子单元422、第一判断子单元423、第一确定子单元424和第二确定子单元425。

第一获取子单元421，用于获取当前可调用的节点列表。

Hadoop集群服务器接收到客户端提交的待调度任务后，获取当前集群中可以被调用的节点对应的节点列表。

第二获取子单元422，用于从所述指定执行信息中获取目标节点类型及目标队列类型。

在本申请一种可能的实现方式中，客户端指定的想运行的队列信息是队列名称，然后，根据队列名称获取该队列对应的队列类型。其中，队列类型可以根据需要进行设定，可以根据待调度任务的特定要求来设定，例如，某个待调度任务需要使用内存较大的节点，则可以根据内存分类设定队列类型。

第一判断子单元423，用于判断所述目标队列类型与所述目标节点类型是否匹配。

在申请实施例一种可能的实现方式中，第一判断子单元423可以包括：第三获取子单元，用于获取目标队列类型对应的全部可调度节点；第四获取子单元，用于获取目标节点类型所包含的全部可调度节点；比较子单元，用于比较目标队列类型对应的全部可调度节点与目标节点类型所包含的全部可调度节点是否完全相同；第三确定子单元，用于当完全相同时，确定目标队列类型与目标节点类型匹配；第四确定子单元，用于当不完全相同时，确定目标队列类型与目标节点类型不匹配。

第一确定子单元424，用于当所述目标队列类型与所述目标节点类型相匹配时，确定相匹配的节点为所述目标节点；

第二确定子单元425，用于当所述目标队列类型与所述目标节点类型不匹配时，根据冲突解决策略确定出所述目标节点，所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

分配单元430，用于将所述待调度任务分配给所述目标节点执行。

本实施例提供的Hadoop集群的资源调度装置，根据Hadoop集群中节点的物理配置情况设置节点类型，而且，客户端发送的待调度任务中可以指定节点类型和队列类型中的至少一项；因此，能够从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能。

请参见图6，示出了本申请实施例另一种Hadoop集群的资源调度装置的框图，该装置在图4所示实施例的基础上还包括：接收单元610、判断单元620、提取单元630和存储单元640。

接收单元610，用于接收类型信息设定命令。

所述类型信息设定命令包括节点类型设置信息和队列类型设置信息中的至少一项。

在本申请一种可能的实施例中，接收单元接收到类型信息设定命令后，先判断该类型信息设定命令是单个设定命令还是组设定命令，如果是单个设定命令，则发送给判断单元进行处理；如果是组设定命令，则需要解析该命令中的全部节点命令，然后发送给判断单元进行处理。

判断单元620，用于判断所述类型信息设定命令是否有效。

接收到类型信息设定命令后，获取元信息，元信息是所有合法的节点和队列类型的列表，根据元信息判断该类型信息设定命令是否有效。

在本申请一种可能的实现方式中，判断单元720可以包括第二判断子单元和第三判断子当源；

第二判断子单元，用于当类型信息设定命令包括节点类型设置信息时，判断节点类型设置信息中的节点类型是否存在；如果存在，则确定类型信息设定命令有效；如果不存在，则确定类型信息设定命令无效；

判断元信息中是否存在节点类型设置信息所包含的节点类型，如果存在，则类型信息设定命令有效；如果不存在，则类型信息设定命令无效。

第三判断子单元，用于当类型信息设定命令包括队列类型设置信息时，判断队列类型设置信息中的队列类型是否具有访问权限；如果具有访问权限，则确定类型信息设定命令有效；如果不具有访问权限，则确定类型信息设定命令无效，返回错误消息。

提取单元630，用于当所述类型信息设定命令是否有效时，从所述类型信息设定命令中提取类型设置信息；所述配置信息包括节点类型设置信息和队列类型设置信息中的至少一项。

存储单元640，用于存储所述类型设置信息。

本实施例提供的Hadoop集群的资源调度装置，根据节点的硬件配置差异情况预先配置集群中节点和队列的类型。为下一步根据节点类型进行调度奠定基础。客户端发送的待调度任务可以指定节点类型和队列类型中的至少一项，然后，从当前可调用的节点中调用与指定执行信息相匹配的目标节点来执行该待调度任务，根据节点物理配置的差异情况合理调度节点，提高了节点资源的利用率，以及，优化Hadoop集群的任务调度性能

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种Hadoop集群的资源调度方法，应用于Hadoop集群中，其特征在于，包括：

获取待调度任务的指定执行信息，所述指定执行信息包括Hadoop集群包含节点对应的节点类型和任务队列的队列信息中的至少一项，所述节点类型根据所述节点的硬件配置情况设置；

从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点；

将所述待调度任务分配给所述目标节点执行；

当所述指定执行信息包含节点类型和队列信息；

所述从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点，包括：

获取当前可调用的节点列表；

从所述指定执行信息中获取目标节点类型及目标队列类型；

判断所述目标队列类型与所述目标节点类型是否匹配；

当所述目标队列类型与所述目标节点类型相匹配时，确定所述当前可调用的节点列表中与所述目标节点类型相匹配的节点为所述目标节点；

当所述目标队列类型与所述目标节点类型不匹配时，根据冲突解决策略确定出所述目标节点，所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

2.根据权利要求1所述的方法，其特征在于，判断所述目标队列类型与所述目标节点类型是否匹配，包括：

获取所述目标队列类型对应的全部可调度节点；

获取所述目标节点类型所包含的全部可调度节点；

比较所述目标队列类型对应的全部可调度节点与所述目标节点类型所包含的全部可调度节点是否完全相同；

如果完全相同，则确定所述目标队列类型与所述目标节点类型匹配；

如果不完全相同，则确定所述目标队列类型与所述目标节点类型不匹配。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收类型信息设定命令，所述类型信息设定命令包括节点类型设置信息和队列类型设置信息中的至少一项；

判断所述类型信息设定命令是否有效；

当所述类型信息设定命令有效时，从所述类型信息设定命令中提取类型设置信息；

存储所述类型设置信息。

4.根据权利要求3所述的方法，其特征在于，判断所述类型信息设定命令是否有效，包括：

当所述类型信息设定命令包括节点类型设置信息时，判断所述节点类型设置信息中的节点类型是否存在；如果存在，则确定所述类型信息设定命令有效；如果不存在，则确定所述类型信息设定命令无效；

当所述类型信息设定命令包括队列类型设置信息时，判断队列类型设置信息中的队列类型是否具有访问权限；如果具有访问权限，则确定所述类型信息设定命令有效；如果不具有访问权限，则确定所述类型信息设定命令无效。

5.一种Hadoop集群的资源调度装置，应用于Hadoop集群中，其特征在于，包括：

第一获取单元，用于获取待调度任务的指定执行信息，所述指定执行信息包括Hadoop集群包含节点对应的节点类型和任务队列的队列信息中的至少一项，所述节点类型根据所述节点的硬件配置情况设置；

第二获取单元，用于从当前可调用的节点中，获取节点类型与所述指定执行信息相匹配的目标节点；

分配单元，用于将所述待调度任务分配给所述目标节点执行；

当所述指定执行信息包含节点类型和队列信息时，所述第二获取单元，包括：

第一获取子单元，用于获取当前可调用的节点列表；

第二获取子单元，用于从所述指定执行信息中获取目标节点类型及目标队列类型；

第一判断子单元，用于判断所述目标队列类型与所述目标节点类型是否匹配；

第一确定子单元，用于当所述目标队列类型与所述目标节点类型相匹配时，确定相匹配的节点为所述目标节点；

第二确定子单元，用于当所述目标队列类型与所述目标节点类型不匹配时，根据冲突解决策略确定出所述目标节点，所述冲突解决策略包括队列类型优先策略、节点类型优先策略、逻辑与策略和逻辑或策略。

6.根据权利要求5所述的装置，其特征在于，所述第一判断子单元，包括：

第三获取子单元，用于获取所述目标队列类型对应的全部可调度节点；

第四获取子单元，用于获取所述目标节点类型所包含的全部可调度节点；

比较子单元，用于比较所述目标队列类型对应的全部可调度节点与所述目标节点类型所包含的全部可调度节点是否完全相同；

第三确定子单元，用于当完全相同时，确定所述目标队列类型与所述目标节点类型匹配；

第四确定子单元，用于当不完全相同时，确定目标队列类型与所述目标节点类型不匹配。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

接收单元，用于接收类型信息设定命令，所述类型信息设定命令包括节点类型设置信息和队列类型设置信息中的至少一项；

判断单元，用于判断所述类型信息设定命令是否有效；

提取单元，用于当所述类型信息设定命令有效时，从所述类型信息设定命令中提取类型设置信息，所述类型设置信息包括节点类型设置信息和队列类型设置信息中的至少一项；

存储单元，用于存储所述类型设置信息。

8.根据权利要求7所述的装置，其特征在于，所述判断单元，包括：

第二判断子单元，用于当所述类型信息设定命令包括节点类型设置信息时，判断所述节点类型设置信息中的节点类型是否存在；如果存在，则确定所述类型信息设定命令有效；如果不存在，则确定所述类型信息设定命令无效；

第三判断子单元，用于当所述类型信息设定命令包括队列类型设置信息时，判断所述队列类型设置信息中的队列类型是否具有访问权限；如果具有访问权限，则确定所述类型信息设定命令有效；如果不具有访问权限，则确定所述类型信息设定命令无效。

Images