CN112073532A - 一种资源分配的方法及装置 - Google Patents

Abstract

本公开涉及计算机网络技术领域，尤其涉及一种资源分配的方法及装置，该方法包括：接收针对目标作业的资源分配请求；根据所述资源分配请求，确定用于运行所述目标作业的容器大小；在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。本公开实施例通过对预留资源的节点进行相关限制，可以提升集群资源的利用率，避免节点资源的浪费。

Description

一种资源分配的方法及装置

技术领域

本公开涉及计算机网络技术领域，具体而言，涉及一种资源分配的方法及装置。

背景技术

Hadoop YARN是一种集群资源管理和调度平台，其中Hadoop是分布式系统基础架构，YARN(Yet Another Resource Negotiator)是资源调度器，当用户提交作业时，YARN根据策略按序将资源以资源容器(container)的形式分配给用户作业，但当用户作业所需的单个容器的大小较大、而当前节点上的空闲资源都不足以分配时，会导致为用户作业分配资源失败，从而导致该类作业极难拿到资源。因此YARN使用预留策略，当较大的container在节点上尝试分配失败后，会在该节点上为该容器预留所需的资源。

但是，采用上述预留机制可能会造成节点上大部分资源因预留而浪费，造成集群资源利用率过低。

发明内容

有鉴于此，本公开实施例至少提供一种资源分配的方法及装置。

本公开主要包括以下几个方面：

第一方面，本公开实施例提供一种资源分配的方法，所述资源分配的方法包括：

接收针对目标作业的资源分配请求；

根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小；

在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；

根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

在一种可能的实施方式中，根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小，包括：

获取所述资源分配请求中携带的容器信息，所述容器信息中包含所述目标作业所需的容器大小；或者，

根据所述目标作业所需的总资源信息，确定所述目标作业所需的容器大小。

在一种可能的实施方式中，根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求，包括：

获取所述目标作业所属业务类型对应的各节点的剩余资源信息；

针对所述目标作业，根据各节点的剩余资源信息，以及该目标作业所需的所述容器大小，判断当前是否存在任一节点的剩余资源满足该目标作业的需求，若不存在，则确定该目标作业对应的容器存在资源预留需求。

在一种可能的实施方式中，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量；根据所述第一节点数量与所述节点集合对应的节点总数量，确定是否为当前容器预留资源；响应于为当前容器预留资源后，更新所述第一节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定当前已经为所述目标作业预留资源的第二节点数量；

根据所述第二节点数量，与所述目标作业所属业务类型对应的节点集合中节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第二节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量，以及当前已经为所述目标作业预留资源的第二节点数量；

根据所述第一节点数量、所述第二节点数量、以及所述节点集合对应的节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第一节点数量和所述第二节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，确定为当前容器预留资源，包括：

在确定当前存在任一节点对应的已预留资源的容器数量小于设定阈值后，确定为当前容器预留资源。

第二方面，本公开实施例还提供一种资源分配的装置，所述资源分配的装置包括：

接收模块，用于接收针对目标作业的资源分配请求；

容器确定模块，用于根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小；

获取模块，用于在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；

资源预留结果确定模块，用于根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

在一种可能的实施方式中，所述容器确定模块，具体用于：

获取所述资源分配请求中携带的容器信息，所述容器信息中包含所述目标作业所需的容器大小；或者，

根据所述目标作业所需的总资源信息，确定所述目标作业所需的容器大小。

在一种可能的实施方式中，所述获取模块，具体用于：

获取所述目标作业所属业务类型对应的各节点的剩余资源信息；针对所述目标作业，根据各节点的剩余资源信息，以及该目标作业所需的所述容器大小，判断当前是否存在任一节点的剩余资源满足该目标作业的需求，若不存在，则确定该目标作业对应的容器存在资源预留需求。

在一种可能的实施方式中，所述资源预留结果确定模块，具体用于：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量；根据所述第一节点数量与所述节点集合对应的节点总数量，确定是否为当前容器预留资源；

响应于为当前容器预留资源，更新所述第一节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，所述资源预留结果确定模块，具体用于：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定当前已经为所述目标作业预留资源的第二节点数量；

根据所述第二节点数量，与所述目标作业所属业务类型对应的节点集合中节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第二节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，所述资源预留结果确定模块，还具体用于：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量，以及当前已经为所述目标作业预留资源的第二节点数量；

根据所述第一节点数量、所述第二节点数量、以及所述节点集合对应的节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第一节点数量和所述第二节点数量，并存储与当前容器对应的预留资源信息。

在一种可能的实施方式中，所述资源预留结果确定模块，还具体用于：

在确定当前存在任一节点对应的已预留资源的容器数量小于设定阈值后，确定为当前容器预留资源。

第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的资源分配的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的资源分配的方法的步骤。

本公开实施例中，在根据目标作业对应的容器大小确定目标作业存在资源预留需求时，结合了当前已预留资源的节点信息来确认当前的资源预留结果，比如可以在已预留资源的节点数目较多时停止进行资源预留，从而提高集群资源的利用率。

采用上述方式，由于集群资源利用率的提升有了保障，可以放开对单个容器的资源预留大小的限制，来满足部分作业对于大容量容器的需求。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种资源分配的方法的流程示意图；

图2示出了本公开实施例所提供的一种确定资源预留需求的方法的流程示意图；

图3示出了本公开实施例所提供的一种确定资源预留结果的方法的流程示意图；

图4示出了本公开实施例所提供的另一种确定资源预留结果的方法的流程示意图；

图5示出了本公开实施例所提供的另一种确定资源预留结果的方法的流程示意图；

图6示出了本公开实施例所提供的一种资源分配的装置的结构示意图；

图7示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，在集群资源管理和调度基础平台中，当用户提交的目标作业所需资源过大时，集群为目标作业分配资源失败后，则使用资源预留策略，在节点上为该目标作业进行资源预留。但是资源预留的方式本身会造成节点上因过多资源被预留导致集群资源利用率低的问题。因此，可以通过采用预留限制策略来提升集群资源利用率。

有的预留限制策略会限制单个容器的最大预留资源。但是，因为有的目标作业在进行任务拆分时，拆分出的最小粒度的任务对应的单个容器大小仍然超出对单个容器的最大预留资源的限制，从而导致无法进行资源预留，并因一直无法分配到合适的资源而无法作业的问题。

基于上述研究，本公开实施例提供了一种资源分配的方法及装置，根据当前已预留资源的节点信息确定当前的资源预留结果，比如可以在已预留资源节点数目较多时停止进行资源预留，可以一定程度上提升集群资源利用率。在此基础上，可以放开单个容器的最大资源限制，在保证集群资源利用率的前提下，满足部分作业对于大容量容器的需求。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种资源分配的方法进行详细介绍，本公开实施例所提供的资源分配的方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，下面主要是以服务器为例做具体介绍。在一些可能的实现方式中，该资源分配的方法可以由服务器通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为服务器为例对本公开实施例提供的资源分配的方法加以说明。

实施例一

参见图1所示，为本公开实施例提供的资源分配的方法的流程示意图，所述方法包括步骤S101～S104，其中：

S101：接收针对目标作业的资源分配请求。

这里，用户根据目标作业的资源需求，提交针对目标作业的资源分配请求，集群资源管理和调度平台的资源管理器(Resource Manager，RM)接收上述资源分配请求，并执行下述资源预留确定过程。在具体实施中，RM可以部署在一个单独的服务器中，也可以与其它节点部署在同一服务器中。

S102、根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小。

如上所述，目标作业包括多个任务，任务为目标作业的执行单元。每个任务使用一个资源容器container；container大小是指资源量大小，可以包括不同资源的资源量，比如4核CPU和8GB内存。

在具体实施中，可以直接从资源分配请求中，提取用于运行所述目标作业的至少一个任务中每个任务的container大小，也可以由集群帮助用户自动化划分。下面分别说明：

方式一，获取资源分配请求中携带的container信息，container信息中包含目标作业对应的每个任务所需的容器container大小。上述container信息为用户自己设置的。

这里，用户在提交资源分配请求时，可以自己将目标作业拆分为多个任务，并定义每个任务占用的资源容器container大小，也即上述container的大小可以支持用户定义。

方式二，根据目标作业所需的总资源信息，确定所述目标作业对应的每个任务所需的容器container大小。其中，YARN的资源管理器根据目标作业所需总资源大小划分该目标作业中每个任务所需container大小。

这里，用户在提交资源分配请求时，可以只提供总资源信息，集群可以根据目标作业所需的总资源信息，自动进行任务拆分，确定每个任务所需的container大小。

S103、在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点。

其中，上述节点为集群资源管理和调度平台下的服务器，一个集群资源管理和调度平台下一般包括多个服务器。

其中，已预留资源的节点信息可以包括节点的标识、该节点所在节点集合label的标识和该节点下已预留container标识和该节点下已预留container数量等。上述节点集合label包括多个节点，这里的label为在物理上对集群中临近节点进行的划分，用于实现不同业务类型之间的隔离，一个label一般用于服务一种业务类型。

具体的，参照图2所示，为本公开实施例提供的一种确定资源预留需求的方法的流程示意图，具体包括如下步骤S201～S202：

S201：获取所述目标作业所属业务类型对应的各节点的剩余资源信息。

如前所述，一个节点集合一般服务于一种业务类型，或称一类目标作业。这里，当一个目标作业下的多个任务分别在不同节点下运行时，为了得到该目标作业的运行结果，需要将每个任务的运行结果进行聚合，为了减少在运行结果聚合过程中数据网络传输的资源浪费，则将临近的节点划分到一个节点集合label，为目标作业对应的多个任务分配同一个label下的至少一个节点的资源。

其中，上述剩余资源信息可以包括节点标识和该节点下的剩余资源总量。

具体的，根据目标作业的业务类型，找到运行该目标作业的节点集合label，获取该节点集合中各个节点的节点标识和剩余资源总量。

S202：针对所述目标作业，根据各节点的剩余资源信息，以及该目标作业所需的所述容器大小，判断当前是否存在任一节点的剩余资源满足该目标作业的需求，若不存在，则确定该目标作业对应的容器存在资源预留需求。

具体的，比较每个任务所需的container大小与任一节点下剩余资源总量大小，当每个任务所需的container大小小于任一节点剩余资源总量大小时，则直接为该任务分配container；若存在多个节点的剩余资源总量能够满足该container的需求，可以根据负载均衡策略，选择当前剩余资源总量最多的节点；当每个任务所需的container大小大于或者等于每个节点剩余资源总量大小时，则确定该任务存在资源预留需求，但并不代表一定能够为该任务成功预留资源，此时还需要根据资源预留策略判断是否符合资源预留条件，见下述描述。

S104、根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

具体的，根据当前已预留资源的节点信息中的已预留container数目，确定container资源预留结果。

本公开实施例中，根据目标作业所需container大小与任一节点剩余的资源总量，确定是否为目标作业进行资源预留，当确定为目标作业进行资源预留后，根据当前已预留资源的节点信息确定当前资源预留结果，比如可在已预留资源的节点数目较多时停止资源预留，从而提高集群资源利用率，具体基于已预留资源的节点信息，可以采用不同的资源预留策略。

参照图3所示，为本公开一可选的实施方式提供的一种确定资源预留结果的方法的流程示意图。

具体的，当有多个任务需要进行container的资源预留时，需要分别为其中每个任务进行container的资源预留，在为每个任务进行container的资源预留后，更新节点上的资源预留情况，基于更新后的资源预留情况，再执行下一个container的资源预留。

针对当前需要进行资源预留的所述至少一个container中的每个container，将该container作为当前container，执行步骤S301～S303：

S301、根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量。

其中，已预留资源的第一节点数量为该节点集合下已预留container的节点数量。

具体的，根据当前时刻目标作业所属的业务类型找到运行该类业务的节点集合，根据该节点集合的标识，获取该节点集合下每个节点的已预留container数量，计算该节点集合下已预留container的节点数量。

例如，当前时刻需要进行预留资源container所属的目标作业属于业务类型一，类型一的业务在label A上运行，且label A包含3个可调度节点，节点1已预留container数量为0，节点2已预留container数量为1，节点3已预留container数量为1，因此该节点集合下已预留container数量为2，即该节点集合中已预留资源的第一节点数量为2。

S302、根据所述第一节点数量与所述节点集合对应的节点总数量，确定是否为当前容器预留资源；

S303、响应于为当前容器预留资源，更新所述第一节点数量，并存储与当前容器对应的预留资源信息。

其中，预留资源信息可以包括预留资源的节点标识和container占用资源的大小。

具体的，可以将上述该节点集合下已预留container的节点数量与该节点集合中节点的总数量进行除法运算，得到该节点集合下已预留container的节点数量与该节点集合中节点的总数量的比例，当该比例大于或等于第一预设比例时，则为当前container预留资源失败；当该比例小于第一预设比例时，确定能够为当前container预留资源；或者，可以确定将该节点集合下已预留container的节点数量加1后(表示在为当前container预留资源后)，与该节点集合中节点的总数量的比例，当该比例大于或等于第一预设比例时，则为当前container预留资源失败；当该比例小于第一预设比例时，确定能够为当前container预留资源。

在确定预留资源的节点后，将该节点对应的节点集合下已预留container的节点数量加1，然后存储当前container占用资源的大小以及当前container对应的预留资源的节点标识。

例如，若当前第一节点数量为2，该节点集合对应的可调度节点总数量为10，第一预设比例为0.3，由于第一节点数量与该节点集合对应的可调度节点总数量的比例为0.2，上述第一节点数量与该节点集合对应的可调度节点总数量的比例0.2小于第一预设比例0.3，则确定为当前container预留资源。或者，确定第一节点数量2加1后等于3，3与该节点集合对应的可调度节点总数量10的比例大于0.3，此时确定不能为当前container预留资源。

另外，在具体实施中，当一个节点集合上有多个目标作业需要进行container的资源预留时，需要根据每个目标作业提交的时间顺序，采用先提交先执行的策略分别为每个目标作业进行container的资源预留，在为每个目标作业进行container的资源预留后，更新节点集合上的资源预留情况，基于更新后的资源预留情况，再执行下一个目标作业的container的资源预留。

本公开实施例中，通过节点集合已预留container的节点数量与该节点集合对应的节点总数量进行比较，确定是否为当前container预留资源，通过对节点集合下预留container的节点数量进行限制，提高集群资源利用率，在此基础上可以放开单个container的最大资源限制，满足部分作业对于大容量container的需求。

参照图4所示，为本公开另一种可选的实施方案提供的另一种确定资源预留结果的方法的流程示意图。

在该实施方式下，针对单个目标作业，限定了单个目标作业占用的预留资源的节点数量。

具体地，针对当前需要进行资源预留的所述至少一个container中的每个container，将该container作为当前container，执行步骤S401～S402：

S401、根据所述当前已预留资源的节点信息，确定当前已经为所述目标作业预留资源的第二节点数量。

其中，第二节点数量为针对目标作业，在其所属业务类型对应的节点集合中已预留container的节点数量。

具体的，根据当前时刻目标作业所属的业务类型找到运行该类业务的节点集合，根据该节点集合的标识，获取该节点集合下每个节点为当前目标作业已预留container数量，计算该节点集合下为当前目标作业已预留container的节点数量。

例如，当前时刻需要进行预留资源的container所属的目标作业属于业务类型一，类型一的业务在label A上运行，且label A包含3个可调度节点，节点1为该目标作业已预留container数量为1，节点2为该目标作业已预留container数量为0，节点3为该目标作业已预留container数量为0，因此该节点集合下为该目标作业已预留container的节点数量为1，即该节点集合中当前已经为该目标作业预留资源的第二节点数量为1。

S402、根据所述第二节点数量，与所述目标作业所属业务类型对应的节点集合中节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第二节点数量，并存储与当前容器对应的预留资源信息。

具体的，可以将上述当前目标作业在所属业务类型对应的节点集合下已预留container的节点数量与该目标作业所属业务类型对应节点集合中节点的总数量进行除法运算，得到当前目标作业在所属业务类型对应的节点集合下已预留container的节点数量与该目标作业所属业务类型对应节点集合中节点的总数量的比例，当该比例大于或等于第二预设比例时，则为当前container预留资源失败；当该比例小于第二预设比例时，确定为当前container预留资源；或者，也可以确定将当前目标作业对应的已预留container的节点数量加1后(表示在为当前container预留资源后)的值，与对应节点集合中节点的总数量的比例，当该比例大于或等于第二预设比例时，则为当前container预留资源失败；当该比例小于第二预设比例时，确定能够为当前container预留资源。

在确定预留资源的节点后，将该节点对应的节点集合下为当前目标作业已预留container的节点数量加1，并存储当前container占用资源的大小以及当前container对应的预留资源的节点标识。

例如，若当前第二节点数量为6，该节点集合对应的可调度节点总数量为100，第二预设比例为0.07，由于第二节点数量与该节点集合对应的可调度节点总数量的比例约为0.06，上述第二节点数量与该节点集合对应的可调度节点总数量的比例0.06小于第二预设比例0.07，则确定为当前container预留资源，并将第二节点数量加1，即当前第二节点数量为7，并将当前container对应的预留资源的节点标识以及当前container占用的资源大小进行存储。或者，确定第二节点数量6加1后等于7，7与该节点集合对应的可调度节点总数量100的比例等于0.07，此时不再为当前container预留资源。

本公开实施例中，通过对目标作业所属业务类型对应的节点集合中为目标作业已预留container的节点数量与该节点集合对应的节点总数量进行比较，确定是否为当前container预留资源，通过对节点集合下为每个目标作业预留container的节点数量进行限制，提高集群资源利用率，在此基础上可以放开单个container的最大资源限制，满足部分作业对于大容量container的需求。

本公开另一种可选实施方案，可以将上述图3相关的实施方式与图4相关的实施方式结合，参照图5所示。

具体地，针对当前需要进行资源预留的所述至少一个container中的每个container，将该container作为当前container，执行以下步骤S501～S502：

S501、根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量，以及当前已经为所述目标作业预留资源的第二节点数量。

具体的，根据当前时刻目标作业所属的业务类型找到运行该类业务的节点集合，根据该节点集合的标识，获取该节点集合下每个节点的已预留container数量以及每个节点为当前目标作业已预留container数量，计算该节点集合下已预留container的节点数量以及为当前目标作业已预留container的节点数量。

在具体实施过程中，当一个节点集合上有多个目标作业需要进行container的资源预留时，需要根据每个目标作业提交的时间顺序，采用先提交先执行的策略分别为每个目标作业进行container的资源预留，在为每个目标作业进行container的资源预留后，更新节点集合上的资源预留情况，基于更新后的资源预留情况，再执行下一个目标作业的container资源预留。在针对当前目标作业下的多个任务进行container的资源预留时，需要分别为其中每个任务进行container的资源预留，在为每个任务进行container的资源预留后，更新节点上的资源预留情况，基于更新后的资源预留情况，再执行下一个container的资源预留。

例如，当前时刻需要进行资源预留的container所属的目标作业属于业务类型一，类型一的业务在label A上运行，且label A包含3个可调度节点，节点1已预留资源的container的数量为1，为该目标作业已预留资源的container的数量为1，节点2已预留资源的container的数量为1，为该目标作业已预留资源的container的数量为0，节点3已预留资源的container的为0，为该目标作业已预留资源的container的数量为0，因此该节点集合下已预留资源的container的节点数量为2，为该目标作业已预留container的节点数量为1，即该节点集合中已预留资源的第一节点数量为2，当前已经为该目标作业预留资源的第二节点数量为1。

S502、根据所述第一节点数量、所述第二节点数量、以及所述节点集合对应的节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第一节点数量和所述第二节点数量，并存储与当前容器对应的预留资源信息。

具体的，将上述节点集合下已预留container的节点数量与该节点集合中节点的总数量进行除法运算，得到该节点集合下已预留container的节点数量与该节点集合中节点的总数量的比例1，并将上述当前目标作业在所属业务类型对应的节点集合下已预留container的节点数量与该目标作业所属业务类型对应节点集合中节点的总数量进行除法运算，得到当前目标作业在所属业务类型对应的节点集合下已预留container的节点数量与该目标作业所属业务类型对应节点集合中节点的总数量的比例2，当该比例1大于或等于第一预设比例，或比例2大于或等于第二预设比例时，则确定为当前container预留资源失败；当该比例1小于第一预设比例且比例2小于第二预设比例时，确定为当前container预留资源；或者，可以确定将该节点集合下已预留container的节点数量加1(表示在当前container预留资源后)，与该节点集合中节点的总数量的比例1，以及确定将当前目标作业对应的已预留container的节点数量加1后(表示在当前container预留资源后)与该节点集合中节点的总数量的比例2，当该比例1大于或等于第一预设比例或比例2大于或等于第二预设比例时，则为当前container预留资源失败；当该比例1小于第一预设比例且比例2小于第二预设比例时，确定为当前container预留资源。

当确定预留资源的节点后，将该节点对应的节点集合下已预留container的节点数量加1同时将该节点集合下为当前目标作业已预留container的节点数量加1，并存储当前container占用资源的大小以及当前container对应的预留资源的节点标识。

本公开实施例中，通过节点集合下已预留container的节点数量与该节点集合对应的节点总数量进行比较，以及当前目标作业所属作业类型对应的节点集合中为当前目标作业已预留container的节点数量与该节点集合对应的节点总数量进行比较，确定是否为当前container预留资源，通过对节点集合下预留container的节点数量以及对节点集合下为每个目标作业预留container的节点数量的双重限制，提高集群资源利用率，在此基础上放开单个container的最大资源限制，满足部分作业对于大容量container的需求。

在本公开又一种可选实施方案中，还可以增加资源预留限制条件：限制单个节点上最多预留的container数量。也即，确定当前待预留资源的节点对应的已预留资源的container数量小于设定阈值。

一般地，在放开对单个container最大预留资源量的限制的情况下，单个container最多可占满一个节点的资源，此时，不管增加不增加该限制条件，单个节点上最多预留的container数量也就是1了。

当然，比如若限制单个container最大预留资源不超过一个节点的总资源量的三分之一，此时也可以限制单个节点上最多预留的container数量为1个或2个。该数量也可以根据实际需求调整，本公开实施例不做限定。

本公开实施例中，可以根据节点集合已预留container的节点数量、当前目标作业所属作业类型对应的节点集合中为当前目标作业已预留container的节点数量、该节点集合对应的节点总数量，以及每一节点预留container数量的限制，确定是否为当前container预留资源，通过上述三重限制，提高集群资源利用率。采用本公开实施例的限制条件，集群最多可浪费的资源量为：最大预留的container数量*单个container最大预留资源；其中，最大预留的container数量等于上述限制条件中节点集合中可预留container的节点数量的上限值。

本公开实施例中，YARN接收用户终端发送的目标作业，并根据目标作业中的资源分配请求，确定该目标作业中每个任务container大小，根据该目标作业所属业务类型获取到处理该目标作业的节点集合label，当目标作业中每个任务所需container大小小于该节点集合中任一节点的剩余资源大小时，则YARN中的ResourceManager(RM)直接将NodeManager(YARN中的每个节点NM)的资源以container的形式分配给目标作业的每个任务，以使目标作业中的每个任务得以运行；在每个任务运行过程中，YARN中的ApplicationMaster(AM)接收并记录每个节点的心跳汇报，从而监控每个节点中已分配container的运行状况，当所述已分配container运行状况良好时，接收下一时刻的心跳汇报；当所述已分配资源容器运行状况为差时，则将所述已分配container标识、所述已分配container所在节点标识以及所述已分配container所在节点所在的节点集合标识进行上报，管理人员根据上述标识找到问题container并进行维护。

本公开实施例中，一个节点集群包括多个队列，则用户在提前目标作业之前，需向队列所有者提交使用申请，根据集群预先设定每个队列允许提交作业的用户，将用户提交的目标作业在不同队列下运行。

例如，一个节点集合包括3个队列，分别为队列a、队列b和队列c，用户A向队列a提交目标作业，当队列所有者同意用户A使用队列a时，用户A提交的目标作业进入队列a。

本公开实施例中，多个队列可以并行执行任务，根据不同队列允许使用用户不同，将不同用户同一时刻提交的同类目标作业在划分的不同队列下并行执行，可以提高作业执行效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与资源分配的方法对应的资源分配的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述资源分配的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

实施例二

参照图6所示，为本公开实施例提供的一种资源分配的装置600的结构示意图，包括接收模块601、容器确定模块602、获取模块603、资源预留结果确定模块604，具体的：

接收模块601，用于接收针对目标作业的资源分配请求。

容器确定模块602，用于根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小。

获取模块603，用于在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点。

资源预留结果确定模块604，用于根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

本公开实施例中，根据目标作业对应的container大小确定目标作业是否存在资源预留需求，并结合当前已预留资源的节点信息来确定当前资源预留结果，比如可以在已预留资源节点数目较多时停止进行资源预留，从而提高可集群资源的利用率。

一种可能的实施方式中，容器确定模块602，具体用于：

获取所述资源分配请求中携带的容器信息，所述容器信息中包含所述目标作业所需的容器大小；或者，根据所述目标作业所需的总资源信息，确定所述目标作业所需的容器大小。

一种可能的实施方式中，获取模块603，具体用于：获取所述目标作业所属业务类型对应的各节点的剩余资源信息；针对所述目标作业，根据各节点的剩余资源信息，以及该目标作业所需的所述容器大小，判断当前是否存在任一节点的剩余资源满足该目标作业的需求，若不存在，则确定该目标作业对应的容器存在资源预留需求。

一种可能的实施方式中，资源预留结果确定模块604，具体用于：将所述至少一个容器中的每个容器作为当前容器，执行：根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量；根据所述第一节点数量与所述节点集合对应的节点总数量，确定是否为当前容器预留资源；响应于为当前容器预留资源，更新所述第一节点数量，并存储与当前容器对应的预留资源信息。

一种可能的实施方式中，资源预留结果确定模块604，具体用于：将所述至少一个容器中的每个容器作为当前容器，执行：根据所述当前已预留资源的节点信息，确定当前已经为所述目标作业预留资源的第二节点数量；根据所述第二节点数量，与所述目标作业所属业务类型对应的节点集合中节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第二节点数量，并存储与当前容器对应的预留资源信息。

一种可能的实施方式中，资源预留结果确定模块604，具体用于：将所述至少一个容器中的每个容器作为当前容器，执行：根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量，以及当前已经为所述目标作业预留资源的第二节点数量；根据所述第一节点数量、所述第二节点数量以及所述节点集合对应的节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第一节点数量和所述第二节点数量，并存储与当前容器对应的预留资源信息。

一种可能的实施方式中，资源预留结果确定模块604，具体用于：在确定当前存在任一节点对应的已预留资源的容器数量小于设定阈值后，确定为当前容器预留资源。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图7所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：

接收针对目标作业的资源分配请求。

根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小。

在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点。

根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

其中，处理器701的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的资源分配的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的资源分配的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的资源分配的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种资源分配的方法，其特征在于，所述方法包括：

接收针对目标作业的资源分配请求；

根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小；

在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；

根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

2.根据权利要求1所述的方法，其特征在于，根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小，包括：

获取所述资源分配请求中携带的容器信息，所述容器信息中包含所述目标作业所需的容器大小；或者，

根据所述目标作业所需的总资源信息，确定所述目标作业所需的容器大小。

3.根据权利要求1所述的方法，其特征在于，根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求，包括：

获取所述目标作业所属业务类型对应的各节点的剩余资源信息；

针对所述目标作业，根据各节点的剩余资源信息，以及该目标作业所需的所述容器大小，判断当前是否存在任一节点的剩余资源满足该目标作业的需求，若不存在，则确定该目标作业对应的容器存在资源预留需求。

4.根据权利要求1所述的方法，其特征在于，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量；

根据所述第一节点数量与所述节点集合对应的节点总数量，确定是否为当前容器预留资源；

响应于为当前容器预留资源，更新所述第一节点数量，并存储与当前容器对应的预留资源信息。

5.根据权利要求1所述的方法，其特征在于，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定当前已经为所述目标作业预留资源的第二节点数量；

根据所述第二节点数量，与所述目标作业所属业务类型对应的节点集合中节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第二节点数量，并存储与当前容器对应的预留资源信息。

6.根据权利要求1所述的方法，其特征在于，根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果，包括：

将所述至少一个容器中的每个容器作为当前容器，执行：

根据所述当前已预留资源的节点信息，确定所述目标作业所属业务类型对应的节点集合中已预留资源的第一节点数量，以及当前已经为所述目标作业预留资源的第二节点数量；

根据所述第一节点数量、所述第二节点数量、以及所述节点集合对应的节点总数量，确定是否为当前容器预留资源，并在确定为当前容器预留资源后，更新所述第一节点数量和所述第二节点数量，并存储与当前容器对应的预留资源信息。

7.根据权利要求4～6任一所述的方法，其特征在于，确定为当前容器预留资源，包括：

在确定当前存在任一节点对应的已预留资源的容器数量小于设定阈值后，确定为当前容器预留资源。

8.一种资源分配的装置，其特征在于，所述装置包括：

接收模块，用于接收针对目标作业的资源分配请求；

容器确定模块，用于根据所述资源分配请求，确定用于运行所述目标作业的至少一个容器大小；

获取模块，用于在根据所述容器大小，确定所述目标作业对应的至少一个容器存在资源预留需求时，获取当前已预留资源的节点信息；所述节点信息用于指示为容器预留了资源的节点；

资源预留结果确定模块，用于根据所述当前已预留资源的节点信息，确定针对所述至少一个容器的资源预留结果。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的资源分配的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的资源分配的方法的步骤。

Images