CN110413393B - 集群资源管理方法、装置、计算机集群及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种集群资源管理方法、装置、计算机集群及可读存储介质，根据每个集群作业的作业信息，按照单位时间段进行聚合，以得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，并以此结合计算机集群在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。如此，可以使得集群管理者能够直观了解到各单位时间段内集群作业的处理进程和资源占用发展趋势，并根据各单位时间段内集群作业的处理进程和资源占用发展趋势，更加合理地调整集群资源，从而为制定资源分配策略提供数据支持，以提高集群资源的优化效果。

Description

集群资源管理方法、装置、计算机集群及可读存储介质

技术领域

本申请涉及计算机集群资源管理领域，具体而言，涉及一种集群资源管理方法、装置、计算机集群及可读存储介质。

背景技术

目前，计算机集群可以使用Yarn等资源管理框架对多台计算节点的计算资源的进行管理、分配和调度。例如，当将包含一个或者多个可并行运行的集群任务的集群作业提交到资源管理框架时，则由资源管理框架统一按照相应的资源管理策略为每个集群任务分配对应的集群资源，并调度至计算机集群运行。

在集群作业计算过程中，资源管理框架会计算当前运行过程中的总体资源分配情况和待分配资源情况，从而提示集群管理者进行负载优化和调度。然而经本申请发明人研究发现，采用上述方案，集群管理者往往只能了解计算机集群的总体资源状况，无法直观获取到集群作业的处理进程和资源占用发展趋势，从而为制定资源分配策略增加难度，造成集群资源总体优化不佳。

发明内容

有鉴于此，本申请实施例的目的在于提供一种集群资源管理方法、装置、计算机集群及可读存储介质，能够便于集群管理者直观获取到集群作业的处理进程和资源占用发展趋势，从而为制定资源分配策略提供数据支持，以提高集群资源的优化效果。

根据本申请实施例的一个方面，提供一种计算机集群，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当计算机集群运行时，所述处理器执行所述机器可执行指令，以执行下述的集群资源管理方法。

根据本申请实施例的另一方面，提供一种集群资源管理方法，应用于计算机集群，所述方法包括：

获取所述计算机集群中每个集群作业的作业信息，所述作业信息包括所述集群作业的作业提交时间以及所述集群作业中各集群任务的任务时间和占用资源；

根据所述每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源；

根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及所述计算机集群的每个计算节点在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。

根据本申请实施例的另一方面，提供一种集群资源管理装置，应用于计算机集群，所述装置包括：

获取模块，用于获取所述计算机集群中每个集群作业的作业信息，所述作业信息包括所述集群作业的作业提交时间以及所述集群作业中各集群任务的任务时间和占用资源；

第一计算模块，用于根据所述每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源；

第二计算模块，用于根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及所述计算机集群的每个计算节点在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。

根据本申请实施例的另一方面，提供一种可读存储介质，该可读存储介质上存储有机器可执行指令，该计算机程序被处理器运行时可以执行上述的集群资源管理方法的步骤。

基于上述任一方面，本申请实施例根据每个集群作业的作业信息，按照单位时间段进行聚合，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，并以此结合计算机集群在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。如此，可以使得集群管理者能够直观了解到各单位时间段内集群作业的处理进程和资源占用发展趋势，并根据各单位时间段内集群作业的处理进程和资源占用发展趋势，更加合理地调整集群资源，从而为制定资源分配策略提供数据支持，以提高集群资源的优化效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请第一实施例所提供的计算机集群的结构示意框图；

图2示出了本申请第二实施例所提供的集群资源管理方法的流程示意图；

图3示出了本申请第二实施例所提供的占用时长示意图；

图4示出了本申请第三实施例所提供的集群资源管理方法的流程示意图；

图5示出了本申请第四实施例所提供的集群资源管理装置的功能模块示意图；

图6示出了本申请第五实施例所提供的集群资源管理装置的功能模块示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

第一实施例

图1示出了本申请第一实施例提供的计算机集群100的结构示意框图，本实施例中，该计算机集群100包括多个计算节点110，这些计算节点110可以是服务器、计算机设备等具有计算处理能力的机器，每个计算节点110可为集群任务的计算提供集群资源，例如可以提供CPU(Central Processing Unit，CPU)计算资源和内存(Memory)计算资源。

计算机集群100可以通过使用资源管理框架对其所包括的多台计算节点110的计算资源进行管理、分配和调度。以资源管理框架为Yarn为例，Yarn的资源系统框架中包括资源管理器(Resource Manager，RM)和应用管理器(Application Master，AM)，该资源管理器可以负责集群任务的资源调度管理，该应用管理器可以负责与用户的应用任务形成一对一模式负责申请资源并监控集群任务的运行状况。

例如，假设某个集群作业包括50个集群任务，每个集群任务需要1个CPU核心和4000MB内存，即该集群作业总共需要50个CPU核心和200000MB内存。那么计算机集群100就会根据当前集群资源的空闲情况分配，假如计算机集群100的剩余集群资源大于50个CPU核心和200000MB内存，那么可以一性次为该集群作业分配50个CPU核心和200000MB内存。

假如计算机集群100只剩下25个CPU核心和100000MB内存，那么则先分配25个CPU核心和100000MB内存给该集群作业，并调度其中25个集群任务进行任务计算，如果之后存在其它集群作业释放了集群资源或者这25个集群任务中任何一个集群任务已经计算结束，则可以继续分配集群资源给该集群作业中剩余未计算的集群任务。

详细地，如图1所示，计算机集群100可以包括机器可读存储介质120和处理器130。

其中，处理器130可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制下述方法实施例提供的集群资源管理方法的程序执行的集成电路。

机器可读存储介质120可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory，EEPROM)、只读光盘(Compactdisc Read-Only MEMory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。机器可读存储介质120可以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行本申请方案的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令，以执行下述第二实施例至第三实施例提供的集群资源管理方法。

第二实施例

图2示出了本申请第二实施例提供的集群资源管理方法的流程示意图，该集群资源管理方法可以由图1中所示的计算机集群100执行。应当理解，在其它实施例中，本实施例的集群资源管理方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该集群资源管理方法的详细步骤介绍如下。

步骤S110，获取计算机集群100中每个集群作业的作业信息。

本实施例中，对于计算机集群100而言，可能会存在一个或者多个集群作业需要分配集群资源进行计算，因此可以分别获取处理的每个集群作业的作业信息。例如，可以获取集群作业的作业提交时间以及集群作业中各集群任务的任务时间和占用资源。

步骤S120，根据每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源。

本实施例中，该单位时间段可以根据实际需求进行设定。例如，如果设定每一单位分钟作为一个单位时间段，那么本步骤可以得到每个集群作业中各集群任务在每一单位分钟内的资源占用时长和等待分配资源。

步骤S130，根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及计算机集群100的每个计算节点110在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。

基于上述步骤，本实施例根据每个集群作业的作业信息，按照单位时间段进行聚合，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，并以此结合计算机集群100在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。如此，可以使得集群管理者能够直观了解到各单位时间段内集群作业的处理进程和资源占用发展趋势，并根据各单位时间段内集群作业的处理进程和资源占用发展趋势，更加合理地调整集群资源，从而为制定资源分配策略提供数据支持，以提高集群资源的优化效果。

在一种可能的实施方式中，针对步骤S110，由于每个集群作业和集群任务的信息是单独采集，为了便于后续计算和数据统计，需要将每个集群作业和集群任务进行关联。基于此，本实施例中，可以首先获取每个集群作业的作业关联信息以及每个集群任务的任务关联信息。其中，作业关联信息可包括集群作业的作业提交时间和集群作业标识，任务关联信息可包括集群任务的任务时间、占用资源以及关联的集群作业标识。

可选地，每个集群作业的作业信息还可以包括该集群作业的作业提交用户所在的各级工作单元，各级工作单元相互之间存在层次关联关系。例如，假设该集群作业的作业提交用户为A用户，该A用户所在的部门为B事业部C研发部D小组，那么各级工作单元分别是B事业部、C研发部、D小组以及用户A。

示例性地，某个集群作业的作业关联信息可以如下表1所示：

作业提交时间

作业提交用户

各级工作单元

集群作业标识

表1

可选地，上述集群作业中每个集群任务的任务时间具体可以包括任务开始时间和任务结束时间。例如，假设某个集群任务E在12：00开始进行计算，在16:00结束计算，那么该集群任务E的任务开始时间则为12：00、任务结束时间则为16:00。

示例性地，上述集群作业中每个集群任务的任务关联信息可以如下表2所示：

表2

如果上述集群作业中存在50个集群任务，那么上述表2中的任务关联信息则有50行。

在上述基础上，可以根据每个集群任务的任务关联信息，将与每个集群作业关联的集群任务的任务关联信息与该集群作业的作业关联信息进行合并，得到每个集群作业的作业信息。

示例性地，上述集群作业的作业信息可以如下表3所示：

表3

如此，通过上述关联后，可以便于后续计算和数据统计。

在一种可能的实施方式中，对于上述步骤S120，针对每个集群任务，可以根据该集群任务的任务时间和该集群任务对应的集群作业的作业提交时间，得到该集群任务在每个单位时间段内的占用时长。

例如，该占用时长可以包括第一占用时长和第二占用时长。

例如，请结合参阅图3，该第一占用时长是指该集群任务在该作业提交时间与该任务开始时间之间每个单位时间段内的占用时长，由于此期间，该集群任务尚未开始计算，因此该第一占用时长均为0。此外，该第二占用时长是指该集群任务在该任务开始时间和该任务结束时间之间每个单位时间段内的占用时长。

值得说明的是，当上述作业提交时间、任务开始时间、任务结束时间不为整数分钟时，则取该作业提交时间、任务开始时间、任务结束时间最近的整数分钟作为对应的作业提交时间、任务开始时间、任务结束时间。例如，如果任务开始时间实际为12：01：22，那么该任务开始时间则确定为12：01。又例如，如果任务结束时间实际为17：21：42，那么该任务开始时间则确定为17：22。

示例性地，上述计算结果通过如下表4所示：

表4

在上述基础上，可以根据该集群任务在每个单位时间段内的占用时长得到该集群任务在每个单位时间段内的资源占用时长和等待分配资源。

作为一种示例，针对每个单位时间段，判断该集群任务在该单位时间段内的占用时长是否大于0。若该集群任务在该单位时间段内的占用时长大于0，则根据该集群任务的占用资源和在该单位时间段内的占用时长，计算该集群任务在该单位时间段内的资源占用时长，并确定该集群任务在该单位时间段内的等待分配资源为0。此外，若该集群任务在该单位时间段内的占用时长等于0，则确定该集群任务在该单位时间段内的等待分配资源为该集群任务的占用资源，并确定该集群任务在该单位时间段内的资源占用时长为0。

可选地，假设占用资源包括CPU占用资源和内存占用资源，则可计算CPU占用资源与占用时长的乘积作为CPU资源占用时长，并计算内存占用资源与占用时长的乘积作为内存资源占用时长。如此，资源占用时长可包括CPU资源占用时长和内存资源占用时长。

例如，以前述占用资源包括CPU占用资源和内存占用资源为例，若集群任务E的CPU占用资源为2个CPU核心，内存占用资源为4000MB内存，在12：01-12:02内的占用时长为30秒>0，那么该集群任务E在12：01-12:02内的CPU资源占用时长为30*2＝60、内存资源占用时长为30*4000＝120000、等待分配资源为0。此外，若该集群任务E在12：01-12:02内的占用时长等于0，则该集群任务E在12：01-12:02内的等待分配资源为2个CPU核心和4000MB内存，该集群任务E在12：01-12:02内的资源占用时长为0。

值得说明的是，上述占用资源仅为一种示例，在其它实施方式中，任何可以利用的集群资源都可以作为上述占用资源参与资源占用时长和等待分配资源的计算。

示例性地，上述计算结果通过如下表5所示：

表5

在前述描述的基础上，针对步骤S130，经本申请发明人研究发现，现有技术中在统计占用资源信息和等待分配资源信息通常是针对整体所有集群作业来考虑的，然而各个集群作业通常可能是不同工作单元(例如事业部、部门、小组等)的用户发起的，但是现有技术未考虑到不同工作单元各自的占用资源和等待分配资源情况，从而导致在后续制定资源分配策略时未能考虑到工作单元的资源优化，导致集群资源的优化效果仍旧不佳。

针对上述技术问题的发现，在步骤S130，本实施例可针对每个单位时间段，计算各级工作单元所对应的集群作业中各集群任务在该单位时间段内的资源占用时长之和以及等待分配资源之和。

接着，针对每级工作单元，根据该级工作单元在该单位时间段内的资源占用时长之和以及总资源占用时长，得到该级工作单元在该单位时间段内的单元占用资源。

同时，针对每级工作单元，根据该级工作单元在该单位时间段内的等待分配资源之和以及总资源占用时长，得到该级工作单元在该单位时间段内的单元等待分配资源。

其中，该总资源占用时长为计算节点110在对应单位时间段内的集群资源和单位时间段所占时长的乘积。

示例性地，假设一台计算节点110包括32个CPU核心和128000MB内存，单位时间段的持续时间为一分钟，那每台计算节点110，每分钟的算力为：

CPU seconds＝32*60

MEM seconds＝128000mb*60

假设各级工作单元所对应的集群作业中各集群任务在该单位时间段内的CPU资源占用时长之和以及内存资源占用时长之和分别为sum(CPU seconds)和sum(MEM seconds)、等待分配CPU资源之和以及等待分配内存资源之和分别为sum(pend CPU)和sum(pendMEM)，那么：

该级工作单元在该单位时间段内的单元占用资源为：

greatest(sum(CPU seconds)/(32*60)，sum(MEM seconds)/(128000*60))

等待分配机器数：

greatest(sum(pend CPU)/(32*60)，sum(pend MEM)/(128000*60))

其中，上述“greatest”是指：计算结果取括号内计算结果中的最大值。

在此基础上，根据得到的各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源，得到各级工作单元在每个单位时间段内的占用资源信息和等待分配资源信息。

例如，假设各级工作单元分别是事业部、研发部、小组以及用户，那么对于不同的集群作业可以对应相同或者不同的事业部、研发部、小组以及用户，通过上述计算过程可以得到每个事业部、研发部、小组以及用户在每个单位时间段内的单元占用资源和单元等待分配资源。

如此，本实施例考虑到不同工作单元各自的占用资源和等待分配资源情况，可以便于后续制定资源分配策略时考虑到工作单元的资源优化，有助于进一步提高集群资源的优化效果。

第三实施例

图4示出了本申请第三实施例提供的集群资源管理方法的流程示意图，该集群资源管理方法可以由图1中所示的计算机集群100执行，本实施例以前述实施例为基础，进一步考虑到针对各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源进行集群资源优化的步骤。需要说明的是，本实施例中与前述实施例有关的部分可以参照前述实施例有关的描述即可，在此不再加以详述。该方法具体包括如下步骤：

步骤S210，获取计算机集群100中每个集群作业的作业信息。

步骤S220，根据每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源。

步骤S230，根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及计算机集群100的每个计算节点110在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。

步骤S240，根据各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源，生成各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图。

本实施例中，单元占用资源趋势图的横坐标依次为每个单位时间段，纵坐标依次为每个单位时间段对应的单元占用资源。单元等待分配资源趋势图的横坐标依次为每个单位时间段，纵坐标依次为每个单位时间段对应的单元等待分配资源。如此，通过上述单元占用资源趋势图和单元等待分配资源趋势图可以便于集群管理者很直观地了解到各单位时间段内集群作业的处理进程和资源占用发展趋势。

步骤S250，根据各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图对计算机集群100的集群资源进行分析，得到分析结果。

例如，为了便于集群管理者准确了解到各级工作单元的成本分担，从而便于调整各级工作单元的具体工作，本实施例可以根据各级工作单元在每个单位时间段内的单元占用资源趋势图，计算各级工作单元在预设时间段内的集群资源成本，该预设时间段可包括至少一个单位时间段。其中，集群资源成本的计算方式可以是各级工作单元在预设时间段内占用的累积集群资源与对应的成本系数之间的乘积。

又例如，为了便于集群管理者随时确定扩容需求，本实施例还可以根据各级工作单元在每个单位时间段内的单元等待分配资源趋势图，判断各级工作单元的单元等待分配资源大于设定阈值的持续时间是否大于设定时间。若任意一级工作单元的单元等待分配资源大于设定阈值的持续时间大于设定时间，则生成需要扩容计算机集群100的集群资源的提示信息，提示信息包括扩容资源数量。比如，假定各级工作单元的单元等待分配资源为M，可以判断M是否大于0，如果M大于0的持续时间是否大于三分钟，则提示需要扩容计算机集群100的集群资源，并且扩容资源数量为M。

又例如，为了便于根据各单位时间段内集群作业的处理进程和资源占用发展趋势，更加合理地调整集群资源，从而为制定资源分配策略提供数据支持，以提高集群资源的优化效果，本实施例还可以获取各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图中的曲线峰值点，然后根据曲线峰值点确定目标优化时间段，并确定目标优化时间段中待优化的目标集群任务。而后，输出目标集群任务以提示用户在目标优化时间段内对目标集群任务进行优化以降低曲线峰值点的坐标值。

作为一种示例，如果确定曲线峰值点为W，则根据该曲线峰值点W确定与该曲线峰值点W的纵坐标值接近的目标优化时间段[a，b]，并确定[a，b]中待优化的目标集群任务R，例如可以确定占用时长大于8个小时的目标集群任务R。而后，输出目标集群任务R以提示用户在下一次目标优化时间段[a，b]内对目标集群任务R进行优化以降低曲线峰值点W的坐标值(纵坐标值)。

第四实施例

图5示出了本申请第四实施例提供的集群资源管理装置300的功能模块示意图，本实施例可以根据上述方法实施例对该集群资源管理装置300进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图5示出的集群资源管理装置只是一种装置示意图。其中，集群资源管理装置300可以包括获取模块310、第一计算模块320以及第二计算模块330，下面分别对该集群资源管理装置300的各个功能模块的功能进行详细阐述。

获取模块310，用于获取计算机集群100中每个集群作业的作业信息，作业信息包括集群作业的作业提交时间以及集群作业中各集群任务的任务时间和占用资源。可以理解，该获取模块310可以用于执行上述步骤S110，关于该获取模块310的详细实现方式可以参照上述对步骤S110有关的内容。

第一计算模块320，用于根据每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源。可以理解，该第一计算模块320可以用于执行上述步骤S120，关于该第一计算模块320的详细实现方式可以参照上述对步骤S120有关的内容。

第二计算模块330，用于根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及计算机集群100的每个计算节点110在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。可以理解，该第二计算模块330可以用于执行上述步骤S130，关于该第二计算模块330的详细实现方式可以参照上述对步骤S130有关的内容。

在一种可能的实施方式中，获取模块310具体用于：获取每个集群作业的作业关联信息以及每个集群任务的任务关联信息，作业关联信息包括集群作业的作业提交时间和集群作业标识，任务关联信息包括集群任务的任务时间、占用资源以及关联的集群作业标识。在此基础上，根据每个集群任务的任务关联信息，将与每个集群作业关联的集群任务的任务关联信息与该集群作业的作业关联信息进行合并，得到每个集群作业的作业信息。

在一种可能的实施方式中，任务时间包括任务开始时间和任务结束时间，第一计算模块具体用于：

针对每个集群任务，根据该集群任务的任务时间和该集群任务对应的集群作业的作业提交时间，得到该集群任务在每个单位时间段内的占用时长，该占用时长包括第一占用时长和第二占用时长，该第一占用时长是指该集群任务在该作业提交时间与该任务开始时间之间每个单位时间段内的占用时长，该第二占用时长是指该集群任务在该任务开始时间和该任务结束时间之间每个单位时间段内的占用时长，其中，该第一占用时长为0；

根据该集群任务在每个单位时间段内的占用时长得到该集群任务在每个单位时间段内的资源占用时长和等待分配资源。

在一种可能的实施方式中，第一计算模块320具体进一步地用于：

针对每个单位时间段，判断该集群任务在该单位时间段内的占用时长是否大于0；

若该集群任务在该单位时间段内的占用时长大于0，则根据该集群任务的占用资源和在该单位时间段内的占用时长，计算该集群任务在该单位时间段内的资源占用时长，并确定该集群任务在该单位时间段内的等待分配资源为0；

若该集群任务在该单位时间段内的占用时长等于0，则确定该集群任务在该单位时间段内的等待分配资源为该集群任务的占用资源，并确定该集群任务在该单位时间段内的资源占用时长为0。

在一种可能的实施方式中，占用资源包括CPU占用资源和内存占用资源，第一计算模块320具体进一步地用于：

计算CPU占用资源与占用时长的乘积作为CPU资源占用时长，并计算内存占用资源与占用时长的乘积作为内存资源占用时长；

资源占用时长包括CPU资源占用时长和内存资源占用时长。

在一种可能的实施方式中，每个集群作业的作业信息还包括该集群作业的作业提交用户所在的各级工作单元，总资源占用时长为计算节点110在对应单位时间段内的集群资源和单位时间段所占时长的乘积。

第二计算模块320具体用于：

针对每个单位时间段，计算各级工作单元所对应的集群作业中各集群任务在该单位时间段内的资源占用时长之和以及等待分配资源之和；

针对每级工作单元，根据该级工作单元在该单位时间段内的资源占用时长之和以及总资源占用时长，得到该级工作单元在该单位时间段内的单元占用资源；以及

针对每级工作单元，根据该级工作单元在该单位时间段内的等待分配资源之和以及总资源占用时长，得到该级工作单元在该单位时间段内的单元等待分配资源；

根据得到的各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源，得到各级工作单元在每个单位时间段内的占用资源信息和等待分配资源信息。

第五实施例

图6示出了本申请第五实施例提供的集群资源管理装置400的功能模块示意图，本实施例以前述第四实施例为基础，进一步考虑到针对各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源进行集群资源优化的步骤。需要说明的是，本实施例中与前述实施例有关的部分可以参照前述实施例有关的描述即可，在此不再加以详述。其中，该集群资源管理装置400可以包括获取模块410、第一计算模块420、第二计算模块430、生成模块440以及分析模块450，下面分别对该集群资源管理装置400的各个功能模块的功能进行详细阐述。

获取模块410，用于获取计算机集群100中每个集群作业的作业信息，作业信息包括集群作业的作业提交时间以及集群作业中各集群任务的任务时间和占用资源。可以理解，该获取模块410可以用于执行上述步骤S210，关于该获取模块410的详细实现方式可以参照上述对步骤S210有关的内容。

第一计算模块420，用于根据每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源。可以理解，该第一计算模块420可以用于执行上述步骤S220，关于该第一计算模块420的详细实现方式可以参照上述对步骤S220有关的内容。

第二计算模块430，用于根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及计算机集群100的每个计算节点110在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。可以理解，该第二计算模块430可以用于执行上述步骤S230，关于该第二计算模块430的详细实现方式可以参照上述对步骤S230有关的内容。

生成模块440，用于根据各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源，生成各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图。可以理解，该生成模块440可以用于执行上述步骤S240，关于该生成模块440的详细实现方式可以参照上述对步骤S240有关的内容。

分析模块450，用于根据各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图对计算机集群100的集群资源进行分析，得到分析结果。可以理解，该分析模块450可以用于执行上述步骤S250，关于该分析模块450的详细实现方式可以参照上述对步骤S250有关的内容。

在一种可能的实施方式中，分析模块450具体可用于：

根据各级工作单元在每个单位时间段内的单元占用资源趋势图，计算各级工作单元在预设时间段内的集群资源成本，预设时间段包括至少一个单位时间段。

在一种可能的实施方式中，分析模块450具体可用于：

根据各级工作单元在每个单位时间段内的单元等待分配资源趋势图，判断各级工作单元的单元等待分配资源大于设定阈值的持续时间是否大于设定时间；

若任意一级工作单元的单元等待分配资源大于设定阈值的持续时间大于设定时间，则生成需要扩容计算机集群100的集群资源的提示信息，提示信息包括扩容资源数量。

在一种可能的实施方式中，分析模块450具体可用于：

获取各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图中的曲线峰值点；

根据曲线峰值点确定目标优化时间段，并确定目标优化时间段中待优化的目标集群任务；

输出目标集群任务以提示用户在目标优化时间段内对目标集群任务进行优化以降低曲线峰值点的坐标值。

第六实施例

本申请第六实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于执行一种集群资源管理方法，该方法首先通过获取计算机集群100中每个集群作业的作业信息，作业信息包括集群作业的作业提交时间以及集群作业中各集群任务的任务时间和占用资源。接着，根据每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源。最后，根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及计算机集群100的每个计算节点110在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息。

当然，本申请第六实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本申请任意实施例所提供的集群资源管理方法中的相关操作。

本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种集群资源管理方法，其特征在于，应用于计算机集群，所述方法包括：

获取所述计算机集群中每个集群作业的作业信息，所述作业信息包括所述集群作业的作业提交时间、所述集群作业中各集群任务的任务时间和占用资源以及该集群作业的作业提交用户所在的各级工作单元；

根据所述每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源；

根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及所述计算机集群的每个计算节点在每个单位时间段内的总资源占用时长，得到各级工作单元在每个单位时间段内的占用资源信息和等待分配资源信息；

针对各级工作单元在每个单位时间内的占用资源信息和等待分配资源信息进行集群资源优化。

2.根据权利要求1所述的集群资源管理方法，其特征在于，所述获取所述计算机集群中每个集群作业的作业信息的步骤，包括：

获取每个集群作业的作业关联信息以及每个集群任务的任务关联信息，所述作业关联信息包括所述集群作业的作业提交时间和集群作业标识，所述任务关联信息包括所述集群任务的任务时间、占用资源以及关联的集群作业标识；

根据每个集群任务的任务关联信息，将与每个集群作业关联的集群任务的任务关联信息与该集群作业的作业关联信息进行合并，得到每个集群作业的作业信息。

3.根据权利要求1所述的集群资源管理方法，其特征在于，所述任务时间包括任务开始时间和任务结束时间，所述根据所述每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源的步骤，包括：

针对每个集群任务，根据该集群任务的任务时间和该集群任务对应的集群作业的作业提交时间，得到该集群任务在每个单位时间段内的占用时长，该占用时长包括第一占用时长和第二占用时长，该第一占用时长是指该集群任务在该作业提交时间与该任务开始时间之间每个单位时间段内的占用时长，该第二占用时长是指该集群任务在该任务开始时间和该任务结束时间之间每个单位时间段内的占用时长，其中，该第一占用时长为0；

根据该集群任务在每个单位时间段内的占用时长得到该集群任务在每个单位时间段内的资源占用时长和等待分配资源。

4.根据权利要求3所述的集群资源管理方法，其特征在于，所述根据该集群任务在每个单位时间段内的占用时长得到该集群任务在每个单位时间段内的资源占用时长和等待分配资源的步骤，包括：

针对每个单位时间段，判断该集群任务在该单位时间段内的占用时长是否大于0；

若该集群任务在该单位时间段内的占用时长大于0，则根据该集群任务的占用资源和在该单位时间段内的占用时长，计算该集群任务在该单位时间段内的资源占用时长，并确定该集群任务在该单位时间段内的等待分配资源为0；

若该集群任务在该单位时间段内的占用时长等于0，则确定该集群任务在该单位时间段内的等待分配资源为该集群任务的占用资源，并确定该集群任务在该单位时间段内的资源占用时长为0。

5.根据权利要求4所述的集群资源管理方法，其特征在于，所述占用资源包括CPU占用资源和内存占用资源，所述根据该集群任务的占用资源和在该单位时间段内的占用时长，计算该集群任务在该单位时间段内的资源占用时长的步骤，包括：

计算所述CPU占用资源与所述占用时长的乘积作为CPU资源占用时长，并计算所述内存占用资源与所述占用时长的乘积作为内存资源占用时长；

所述资源占用时长包括所述CPU资源占用时长和所述内存资源占用时长。

6.根据权利要求1-5中任意一项所述的集群资源管理方法，其特征在于，所述总资源占用时长为所述计算节点在对应单位时间段内的集群资源和单位时间段所占时长的乘积；

所述根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及所述计算机集群的每个计算节点在每个单位时间段内的总资源占用时长，得到在每个单位时间段内的占用资源信息和等待分配资源信息的步骤，包括：

针对每个单位时间段，计算各级工作单元所对应的集群作业中各集群任务在该单位时间段内的资源占用时长之和以及等待分配资源之和；

针对每级工作单元，根据该级工作单元在该单位时间段内的资源占用时长之和以及所述总资源占用时长，得到该级工作单元在该单位时间段内的单元占用资源；以及

针对每级工作单元，根据该级工作单元在该单位时间段内的等待分配资源之和以及所述总资源占用时长，得到该级工作单元在该单位时间段内的单元等待分配资源；

根据得到的各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源，得到各级工作单元在每个单位时间段内的占用资源信息和等待分配资源信息。

7.根据权利要求6所述的集群资源管理方法，其特征在于，所述方法还包括：

根据各级工作单元在每个单位时间段内的单元占用资源和单元等待分配资源，生成各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图；

根据所述各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图对所述计算机集群的集群资源进行分析，得到分析结果。

8.根据权利要求7所述的集群资源管理方法，其特征在于，所述根据所述各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图对所述计算机集群的集群资源进行分析，得到分析结果的步骤，包括：

根据所述各级工作单元在每个单位时间段内的单元占用资源趋势图，计算各级工作单元在预设时间段内的集群资源成本，所述预设时间段包括至少一个单位时间段。

9.根据权利要求7所述的集群资源管理方法，其特征在于，所述根据所述各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图对所述计算机集群的集群资源进行分析，得到分析结果的步骤，包括：

根据所述各级工作单元在每个单位时间段内的单元等待分配资源趋势图，判断各级工作单元的单元等待分配资源大于设定阈值的持续时间是否大于设定时间；

若任意一级工作单元的单元等待分配资源大于设定阈值的持续时间大于设定时间，则生成需要扩容所述计算机集群的集群资源的提示信息，所述提示信息包括扩容资源数量。

10.根据权利要求7所述的集群资源管理方法，其特征在于，所述根据所述各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图对所述计算机集群的集群资源进行分析，得到分析结果的步骤，包括：

获取所述各级工作单元在每个单位时间段内的单元占用资源趋势图和单元等待分配资源趋势图中的曲线峰值点；

根据所述曲线峰值点确定目标优化时间段，并确定所述目标优化时间段中待优化的目标集群任务；

输出所述目标集群任务以提示用户在所述目标优化时间段内对所述目标集群任务进行优化以降低所述曲线峰值点的坐标值。

11.一种集群资源管理装置，其特征在于，应用于计算机集群，所述装置包括：

获取模块，用于获取所述计算机集群中每个集群作业的作业信息，所述作业信息包括所述集群作业的作业提交时间、所述集群作业中各集群任务的任务时间和占用资源以及该集群作业的作业提交用户所在的各级工作单元；

第一计算模块，用于根据所述每个集群作业的作业信息，得到每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源；

第二计算模块，用于根据每个集群作业中各集群任务在每个单位时间段内的资源占用时长和等待分配资源，以及所述计算机集群的每个计算节点在每个单位时间段内的总资源占用时长，得到各级工作单元在每个单位时间段内的占用资源信息和等待分配资源信息；

针对各级工作单元在每个单位时间内的占用资源信息和等待分配资源信息进行集群资源优化。

12.一种计算机集群，其特征在于，所述计算机集群包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时使所述计算机集群实现权利要求1-10中任意一项所述的集群资源管理方法。

13.一种可读存储介质，其特征在于，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-10中任意一项所述的集群资源管理方法。

Images