CN103365726B - 一种面向gpu集群的资源管理方法和系统 - Google Patents

Abstract

本发明公开了一种面向GPU集群的资源管理方法，包括：主管理节点建立两张表：资源信息表和任务信息表；主管理节点接收到新任务；判断任务是CPU任务还是GPU任务；主管理节点查找满足任务需求的空闲资源；对于CPU任务，次管理节点对任务的数据进行预处理，将数据片分发到其管理的所有节点进行计算，计算完成后，主管理节点根据任务号回收次管理节点管理的所有节点的相关CPU资源；对于GPU任务，在检测到GPU计算完成后，主管理节点先根据任务号回收次管理节点管理的所有节点的相关GPU资源；同时次管理节点管理的所有节点中的CPU进行计算结果后处理，后处理完成后。本发明将CPU资源和GPU资源区别对待，通过任务的检测，能快速地回收空闲的GPU资源。

Description

一种面向GPU集群的资源管理方法和系统

技术领域

本发明属于计算机高性能计算领域，，更具体地，涉及一种面向GPU集群的资源管理方法和系统。

背景技术

近年来，随着高性能计算的不断发展，GPU集群受到人们越来越多的关注。GPU集群的高性能主要归功于其大规模并行多核结构、多线程浮点算术中的高吞吐量，以及使用大型片上缓存显著减少了大量数据移动的时间。GPU集群不仅在速度性能上有巨大飞跃，而且显著降低了对空间、能源和冷却的要求。

然而，目前GPU集群的管理主要是参照CPU集群的管理模式，针对CPU核心进行调度，并采用单一的集中式统一管理模式：整个集群只有一个管理节点，其负责整个集群的调度工作，其他节点为工作节点。此管理模式会使得管理节点的负载很重，将成为整个系统的效率瓶颈。

随着多核处理器的发展，主流服务器上CPU的核心要远远大于系统可连接的GPU设备数目，使得GPU资源相对紧张。如果按照每个CPU核心调度一个GPU任务，GPU的负载会过重，造成任务等待或者带来任务切换开销；如果按照GPU设备的数目来决定调度的任务数，又会造成CPU资源的浪费。一般来说，一个CPU核心调度一个GPU设备，剩下的CPU核心接收CPU任务，形成一种CPU任务和GPU任务的混合调度模式。然而GPU任务有其自身的特性，包括数据的预处理，数据传输到GPU，GPU对数据进行计算，计算结果传回CPU，CPU对计算结果后处理等五个步骤（如图1所示）。如果GPU要等待整个任务完成才释放，无疑会使得CPU对计算结果后处理时，GPU处于空闲状态，浪费GPU资源。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种面向GPU集群的资源管理方法和系统，其目的在于解决现有方法中存在的管理节点负载重以及GPU资源浪费的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种面向GPU集群的资源管理方法，包括以下步骤：

（1）主管理节点建立资源信息表和任务信息表，其中资源信息表记录集群中每个节点的节点编号、CPU数目、空闲CPU数目、GPU数目、空闲GPU数目。任务信息表记录正在运行的任务的任务号、占用的资源列表；

（2）主管理节点接收来自用户的新任务；

（3）主管理节点通过资源信息表判断是否有空闲资源满足该任务的需求；若是则转入步骤（5），否则转入步骤（4）；

（4）主管理节点将该任务放入排队队列，然后返回步骤（2）；

（5）主管理节点将该任务分配到节点编号最小的节点，将该节点设为次管理节点，并更新资源信息表和任务信息表；

（6）次管理节点对该任务的数据进行处理，以获得该任务的计算结果；

（7）次管理节点判断该任务是CPU任务还是GPU任务；若是CPU任务则转入步骤（8），若是GPU任务则转入步骤（10）；

（8）次管理节点向主管理节点发送该CPU任务的任务号和CPU完成信息；

（9）主管理节点根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的CPU资源，更新资源信息表和任务信息表，然后过程结束；

（10）次管理节点根据该GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源，同时次管理节点管理的所有节点中的CPU对数据块的计算结果进行后处理；

（11）主管理节点根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的GPU资源，更新资源信息表；

（12）次管理节点向主管理节点发送该GPU任务的任务号和CPU完成信息，然后转入步骤（9）。

步骤（5）中更新资源信息表和任务信息表具体为更新资源信息表中空闲资源的数目，并在任务信息表中添加该任务的任务号和占用的资源列表。

步骤（6）包括以下子步骤：

（6-1）对该任务的数据进行预处理，包括数据的分块和数据的重构等；

（6-2）将各数据块分别发送到其管理的所有节点进行计算；

（6-3）收集来自其管理的所有节点的任务号和完成信息。

步骤（7）中，任务类型包括CPU任务和GPU任务，对于CPU任务而言，只需分配CPU资源，对于GPU任务而言，根据其是由主机端程序控制的特性，需要为其分配CPU和GPU资源，默认方式为一个CPU调度一个GPU，但若GPU任务是需要CPU和GPU协同完成的任务，则除了分配与GPU数目相同的CPU资源外，还要额外分配任务需求的CPU数目。

步骤（9）中更新资源信息表和任务信息表具体为更新资源信息表中空闲的CPU数目，删除任务信息表中与该CPU任务相关的记录。

步骤（10）包括以下子步骤：

（10-1）根据该GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源；

（10-2）向主管理节点发送该GPU任务的任务号和GPU完成信息；

（10-3）其管理的所有节点中的CPU对各数据块的计算结果进行后处理，包括数据的合并。

按照本发明的另一方面，提供了一种面向GPU集群的资源管理系统，包括：

第一模块，用于建立资源信息表和任务信息表；

第二模块，用于接收来自用户的新任务；

第三模块，用于判断资源信息表中是否有空闲资源满足当前任务的需求；若有空闲资源则转入第四模块，若无空闲资源则将当前任务放入排队队列；

第四模块，用于将任务分配到节点编号最小的节点，将该节点设为次管理节点，并更新资源信息表和任务信息表；

第五模块，用于对任务的数据进行处理，以获得该任务的计算结果；

第六模块，用于判断当前任务是CPU任务还是GPU任务；若是CPU任务则转入第七模块，若是GPU任务则转入第九模块；

第七模块，用于向主管理节点发送当前任务的任务号和CPU完成信息；

第八模块，用于根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的CPU资源，更新资源信息表和任务信息表，然后结束当前任务；

第九模块，用于根据当前GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源，同时次管理节点管理的所有节点中的CPU对数据块的计算结果进行后处理；

第十模块，用于根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的GPU资源，更新资源信息表，然后转入第七模块。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1．灵活的两级动态管理策略：由于采用了步骤（5）和步骤（6），使得管理节点分为主管理节点和次管理节点，主管理节点负责资源的管理、任务的调度，并且可利用空闲GPU资源执行GPU任务；次管理节点负责将主管理节点发送来的任务调度到其管理的工作节点、执行任务数据的预处理和后处理，并且可利用其空闲资源执行任务；因此，可以很大程度地减轻主管理节点的负载。

2．高效利用GPU资源：由于采用了步骤（7）、步骤（10）、步骤（11）和步骤（12），将CPU资源和GPU资源区别对待，通过对GPU程序进行监测，可以及时了解GPU资源的利用情况，从而便于快速回收空闲的GPU资源。

附图说明

图1是现有的GPU代码执行的流程图。

图2是本发明面向GPU集群的资源管理方法的流程图。

图3是本发明面向GPU集群的资源管理系统的模块图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图2所示，本发明面向GPU集群的资源管理方法包括以下步骤：

（1）主管理节点建立资源信息表和任务信息表；具体而言，资源信息表记录集群中每个节点的节点编号、CPU数目、空闲CPU数目、GPU数目、空闲GPU数目等；任务信息表记录正在运行的任务的任务号、占用的资源列表等。

本步骤的优势在于通过资源信息表分别记录集群中每个节点的CPU数目和GPU数目，将CPU和GPU分开管理，便于合理利用空闲资源。

（2）主管理节点接收来自用户的新任务；

（3）主管理节点通过资源信息表判断是否有空闲资源满足该任务的需求；若是则转入步骤（5），否则转入步骤（4）；

（4）主管理节点将该任务放入排队队列，然后返回步骤（2）；

（5）主管理节点将该任务分配到节点编号最小的节点，将该节点设为次管理节点，并更新资源信息表和任务信息表；具体而言，更新资源信息表中空闲资源的数目，并在任务信息表中添加该任务的任务号和占用的资源列表。

本步骤的优势在于采用两级管理策略设定主管理节点和次管理节点，大大地减轻了主管理节点的负载，并且能够根据分配到的节点情况动态地设定次管理节点，很好地避免了固定的次管理节点带来的负载过重问题。

（6）次管理节点对该任务的数据进行处理，以获得该任务的计算结果；本步骤包括以下子步骤：

（6-1）对该任务的数据进行预处理，包括数据的分块和数据的重构等；

（6-2）将各数据块分别发送到其管理的所有节点进行计算；

（6-3）收集来自其管理的所有节点的任务号和完成信息。

（7）次管理节点判断该任务是CPU任务还是GPU任务；若是CPU任务则转入步骤（8），若是GPU任务则转入步骤（10）；具体而言，任务类型包括CPU任务和GPU任务，对于CPU任务而言，只需分配CPU资源，对于GPU任务而言，根据其是由主机端程序控制的特性，需要为其分配CPU和GPU资源，默认方式为一个CPU调度一个GPU，但若GPU任务是需要CPU和GPU协同完成的任务，则除了分配与GPU数目相同的CPU资源外，还要额外分配任务需求的CPU数目。

（8）次管理节点向主管理节点发送该CPU任务的任务号和CPU完成信息；

（9）主管理节点根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的CPU资源，更新资源信息表和任务信息表；具体而言，更新资源信息表中空闲的CPU数目，删除任务信息表中与该CPU任务相关的记录，然后过程结束；

（10）次管理节点根据该GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源，同时次管理节点管理的所有节点中的CPU对数据块的计算结果进行后处理；本步骤包括以下子步骤：

（10-1）根据该GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源；

（10-2）向主管理节点发送该GPU任务的任务号和GPU完成信息；

（10-3）其管理的所有节点中的CPU对各数据块的计算结果进行后处理，包括数据的合并等。

（11）主管理节点根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的GPU资源，更新资源信息表；具体而言，更新资源信息表中空闲的GPU数目；

本步骤的优势在于GPU资源在完成其计算任务后，CPU资源尚需对各数据块的计算结果进行后处理，此时迅速回收空闲的GPU资源，能提高GPU资源的利用率。

（12）次管理节点向主管理节点发送该GPU任务的任务号和CPU完成信息，然后转入步骤（9）；

如图3所示，本发明面向GPU集群的资源管理系统包括：

第一模块，用于建立资源信息表和任务信息表；

第二模块，用于接收来自用户的新任务；

第三模块，用于判断资源信息表中是否有空闲资源满足当前任务的需求；若有空闲资源则转入第四模块，若无空闲资源则将当前任务放入排队队列；

第四模块，用于将任务分配到节点编号最小的节点，将该节点设为次管理节点，并更新资源信息表和任务信息表；

第五模块，用于对任务的数据进行处理，以获得该任务的计算结果；

第六模块，用于判断当前任务是CPU任务还是GPU任务；若是CPU任务则转入第七模块，若是GPU任务则转入第九模块；

第七模块，用于向主管理节点发送当前任务的任务号和CPU完成信息；

第八模块，用于根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的CPU资源，更新资源信息表和任务信息表，然后结束当前任务；

第九模块，用于根据当前GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源，同时次管理节点管理的所有节点中的CPU对数据块的计算结果进行后处理；

第十模块，用于根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的GPU资源，更新资源信息表，然后转入第七模块。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向GPU集群的资源管理方法，其特征在于，包括以下步骤：

(1)主管理节点建立资源信息表和任务信息表，其中资源信息表记录集群中每个节点的节点编号、CPU数目、空闲CPU数目、GPU数目、空闲GPU数目，任务信息表记录正在运行的任务的任务号、占用的资源列表；

(2)主管理节点接收来自用户的新任务；

(3)主管理节点通过资源信息表判断是否有空闲资源满足该任务的需求；若是则转入步骤(5)，否则转入步骤(4)；

(4)主管理节点将该任务放入排队队列，然后返回步骤(2)；

(5)主管理节点将该任务分配到节点编号最小的节点，将该节点设为次管理节点，并更新资源信息表和任务信息表；

(6)次管理节点对该任务的数据进行处理，以获得该任务的计算结果；

(7)次管理节点判断该任务是CPU任务还是GPU任务；若是CPU任务则转入步骤(8)，若是GPU任务则转入步骤(10)；

(8)次管理节点向主管理节点发送该CPU任务的任务号和CPU完成信息；

(9)主管理节点根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的CPU资源，更新资源信息表和任务信息表，然后过程结束；

(10)次管理节点根据该GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源，同时次管理节点管理的所有节点中的CPU对数据块的计算结果进行后处理；

(11)主管理节点根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的GPU资源，更新资源信息表；

(12)次管理节点向主管理节点发送该GPU任务的任务号和CPU完成信息，然后转入步骤(9)。

2.根据权 利要求1所述的资源管理方法，其特征在于，步骤(5)中更新资源信息表和任务信息表具体为更新资源信息表中空闲资源的数目，并在任务信息表中添加该任务的任务号和占用的资源列表。

3.根据 权利要求1所述的资源管理方法，其特征在于，步骤(6)包括以下子步骤：

(6-1)对该任务的数据进行预处理，包括数据的分块和数据的重构；

(6-2)将各数据块分别发送到其管理的所有节点进行计算；

(6-3)收集来自其管理的所有节点的任务号和完成信息。

4.根据 权利要求1所述的资源管理方法，其特征在于，步骤(7)中，任务类型包括CPU任务和GPU任务，对于CPU任务而言，只需分配CPU资源，对于GPU任务而言，根据其是由主机端程序控制的特性，需要为其分配CPU和GPU资源，默认方式为一个CPU调度一个GPU，但若GPU任务是需要CPU和GPU协同完成的任务，则除了分配与GPU数目相同的CPU资源外，还要额外分配任务需求的CPU数目。

5.根据 权利要求1所述的资源管理方法，其特征在于，步骤(9)中更新资源信息表和任务信息表具体为更新资源信息表中空闲的CPU数目，删除任务信息表中与该CPU任务相关的记录。

6.根据 权利要求1所述的资源管理方法，其特征在于，步骤(10)包括以下子步骤：

(10-1)根据该GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源；

(10-2)向主管理节点发送该GPU任务的任务号和GPU完成信息；

(10-3)其管理的所有节点中的CPU对各数据块的计算结果进行后处理，包括数据的合并。

7.一种面向GPU集群的资源管理系统，其特征在于，包括：

第一模块，用于建立资源信息表和任务信息表；

第二模块，用于接收来自用户的新任务；

第三模块，用于判断资源信息表中是否有空闲资源满足当前任务的需求；若有空闲资源则转入第四模块，若无空闲资源则将当前任务放入排队队列；

第四模块，用于将任务分配到节点编号最小的节点，将该节点设为次管理节点，并更新资源信息表和任务信息表；

第五模块，用于对任务的数据进行处理，以获得该任务的计算结果；

第六模块，用于判断当前任务是CPU任务还是GPU任务；若是CPU任务则转入第七模块，若是GPU任务则转入第九模块；

第七模块，用于向主管理节点发送当前任务的任务号和CPU完成信息；

第八模块，用于根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的CPU资源，更新资源信息表和任务信息表，然后结束当前任务；

第九模块，用于根据当前GPU任务的任务号，回收该次管理节点管理的所有节点的GPU资源，同时次管理节点管理的所有节点中的CPU对数据块的计算结果进行后处理；

第十模块，用于根据来自次管理节点的任务号，回收该次管理节点管理的所有节点的GPU资源，更新资源信息表，然后转入第七模块。