CN109933433B - 一种gpu资源调度系统及其调度方法 - Google Patents

Abstract

本发明公开了一种GPU资源调度系统及其调度方法，包括一GPU总集合，所述GPU总集合包括多个GPU节点；一GPU调用单元，所述GPU调用单元通信地连接所述GPU总集合，并调用所述GPU节点以形成一GPU子集合；以及一资源管理单元，所述资源管理单元通信地连接所述GPU总集合和所述GPU调用单元，并调用所述GPU节点以形成一GPU调度子集合，其中所述GPU调用单元监控所述GPU节点的调用信息，所述资源度量单元测量未调用状态的所述GPU并根据用户的资源请求以形成所述GPU调度子集合。能够通过调用一个新的GPU调度子集合来实现计算效率的提升，提高了整体系统的利用率，减少了多GPU资源请求的通信任务的负担。

Description

一种GPU资源调度系统及其调度方法

技术领域

本发明涉及通信领域，特别涉及一种GPU资源调度系统及其调度方法。

背景技术

图形处理器(GPU)是连接显示器和个人电脑主板的重要元件。作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。

应用GPU的计算机集群在大数据计算和处理中使用越加频繁，对于一个普通的计算机来说，其可供使用的计算核心可能达到上千个，因此其计算任务将会变得非常复杂。因此，一个高效的GPU资源调度方式在系统中应用非常重要，使得用户能够在较短时间完成需求计算。

目前GPU资源调度策略大多围绕着单块GPU进行的，其中包括多个通用计算任务在单块GPU卡上的高效执行以及多个显示任务在单块GPU卡的并行执行。也就是说，通常在提高单块GPU卡的工作效率，或者是扩大单块GPU卡的执行任务数量。

而在多块GPU卡上进行计算任务，由于整体系统的功率限制，容易造成多GPU卡任务的通信负担，从而影响整体系统的稳定性。另外，在进行多任务运算时，容易造成其中一个或者多个节点满负荷运载，而另一些节点始终空置。因此，在单块GPU和多块GPU的策略选择上均有一定的限制，从而导致整体计算效率的降低。

发明内容

本发明要解决的技术问题是提供一种GPU资源调度系统及其调度方法，能够解决在多GPU卡任务时的通信负担，使得整体系统的计算性能提升。

为了解决上述技术问题，本发明的技术方案为：

一种GPU资源调度系统，包括：

一GPU总集合，所述GPU总集合包括多个GPU节点；

一GPU调用单元，所述GPU调用单元通信连接所述GPU总集合，并调用所述GPU节点以形成一GPU子集合；以及

一资源管理单元，所述资源调度通信连接所述GPU总集合和所述GPU调用单元，其中所述GPU调用单元监控所述GPU节点的调用状态，并将调用状态上报给资源管理单元，所述资源管理单元根据用户的资源请求在所述GPU总集合中选取相应的GPU调用单元以形成一GPU调度子集合。

优选地，所述GPU调用单元包括一请求接收模块和一资源监控模块，所述请求接收模块适于接收并判断至少一GPU资源请求，所述资源监控模块通信地所述GPU总集合并监控所述GPU节点的调用情况，所述GPU调用单元还包括一消息上报模块，所述消息上报模块通信连接所述资源监控模块和所述资源管理单元，适于向所述资源管理单元上报所述GPU节点的调用状态。

优选地，所述资源管理单元包括：

一接收和统计模块，所述接收和统计模块接收所述GPU节点的调用信息，并生成和更新一调用资源池；以及

一路径测量模块和一速率测量模块，其中所述资源管理单元获取所述GPU节点的无调用信息，所述路径测量模块和所述速率测量模块相互通信地合作，根据GPU资源请求在未被调用的所述GPU节点中选择合适的GPU节点，生成所述GPU调度子集合。

优选地，所述资源管理单元集中管理和调控所述调用资源池以形成所述GPU调度子集合，当所述资源监控模块监控到所述GPU节点的状态转换并生成一状态转换信号，所述资源管理单元接收到所述状态转换信号，更新所述调用资源池。

本发明还提供了一种GPU资源调度方法，包括以下步骤：

(a)接收并判断所述资源请求，当所述资源请求可以被满足时，对所述GPU节点进行调用并形成一GPU子集合；

(b)当所述资源请求无法被满足时，所述资源管理单元对所述调用资源池中未调用的所述GPU节点进行调度并形成一GPU调度子集合；以及

(c)更新所述调用资源池中的GPU状态信息，并将更新后的状态上报给所述资源管理单元，同时执行资源请求任务。

优选地，在步骤(b)之后还包括以下步骤：

(b1)上报所述GPU节点的调用信息至所述资源管理单元；以及

(b2)接收到状态信息后，生成和更新一调用资源池。

优选地，在步骤(b)中还包括以下步骤：

(b3)测量所述调用资源池中的所述GPU节点之间的路径和通信速率；以及

(b4)获取和管控对应所述GPU节点，以形成所述GPU调度子集合。

优选地，在步骤(c)后中还包括以下步骤：

(d)当所述资源监控模块监控到至少一个所述GPU节点从已调用状态转变成未调用状态时，生成一状态转换信号，并传输至所述资源管理单元；以及

(e)更新所述调用资源池中的有关所述GPU子集合的状态信息列表。

优选地，所述GPU资源调度方法通过一GPU资源调度系统实现。

采用上述技术方案，由于在所述GPU资源请求超过一般调用时，所述资源调度单元对未调用状态的所述GPU节点进行测量并完成一GPU调度子集合的形成，使得本发明的有益效果在于：

第一、能够在多GPU资源请求下，通过调用一个新的GPU调度子集合来实现计算效率的提升。

第二、所述GPU调度子集合是未调用状态的所述GPU节点形成的，因此将未调用的所述GPU节点利用起来，提高了整体系统的利用率。

第三、所述GPU调度子集合是通过对于未调用状态的所述GPU节点进行计算和测量，使得所述GPU调度子集合是路径最小和传输速率最快的集合，因此，减少了多GPU资源请求的通信任务的负担。

附图说明

图1为本发明中所述GPU总集合的示意图。

图2为本发明中所述GPU资源调度系统的其中一部分系统操作示意图。

图3为接续图2的本发明中所述GPU资源调度系统的另一部分系统操作示意图。

图4为本发明中所述GPU资源调度系统的所述GPU节点100从已调用状态转变成未调用状态时的系统操作示意图。

图5为本发明中GPU资源调度流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一GPU资源调度系统。如图1所示，其中所述GPU资源调度系统包括一GPU总集合10，所述GPU总集合10用于完成通用计算任务。而所述GPU总集合10具有多个GPU节点100，当用户的GPU资源请求发送至所述资源总集合10时，能够有效连通并相邻的多个所述GPU节点即形成一GPU子集合101，而所述GPU子集合101则用于完成对应于所述GPU资源请求的通用计算任务。

如图2和图3所示，所述GPU资源调度系统包括一GPU调用单元20和一资源管理单元30，所述GPU调用单元20通信连接所述资源管理单元30，所述GPU调用单元20可控制地连接所述GPU总集合10，所述GPU调用单元20具有一请求接收模块21，所述请求接收模块21用于接收用户的GPU资源请求。同时，所述GPU调用单元20能够控制所述GPU节点10形成所述GPU子集合101。

需要注意的是，所述GPU调用单元20还包括一资源监控模块22，所述资源监控模块22通信地连接所述GPU总集合10，获取所述GPU总集合10的各个所述GPU节点100的调用情况。可以理解的是，所述调用情况分为几种情况：已调用情况，未调用情况和排队调用情况。

进一步地，所述GPU调用单元20还包括一消息上报模块23，所述消息上报模块23通信连接所述资源管理单元30，所述信息上报模块32向所述资源管理单元30上报所述GPU节点的调用信息，所述调用信息包括已调用和未调用。

在已调用情况下，所述GPU节点100以及其相互合作的其他所述GPU节点100所形成所述GPU子集合101处于任务调用状态，也就是工作状态，此时其他任务无法进入到当前的所述GPU节点100。

在排队调用情况下，当前的所述计算任务仅能在指定的所述GPU节点100下进行计算，因此当前的所述GPU节点100处于排队调用情况。一般情况下，所述排队调用情况属于所述已调用情况。因此，实际上所述调用情况分为两种情况：已调用情况和未调用情况。

在未调用情况下，所述GPU节点100处于空闲无任务的状态。

因此，当所述资源监控模块22获取到所述GPU总集合10的各个所述GPU节点100的调用情况时，并且将所述调用情况通过一监控信息A，传输至所述GPU调用单元20。使得所述GPU调用单元20能够完成当前GPU资源的调用。

可以理解的是，上述操作过程中，所述GPU调用单元20对接收到的所述GPU资源请求，无需进行调度直接即可形成所述GPU子集合101以完成相应计算运行。并且，可以理解的是，当前任务进行时，所述GPU调用单元20调用的是通常情况下的所述GPU子集合101。而当当多个GPU资源请求同时进行时，同时当所述GPU调用单元22，

也就是说，当所述GPU资源请求被接收后，所述GPU调用单元20则进行一般调用，在一般调用过程中，所述GPU子集合101则是根据一般情况形成的。在本发明中的一般情况，则是运用以往的运算经验和习惯，将所述GPU节点100进行集合调用。

而当所述GPU资源请求超出一般调用的范围外，所述GPU资源调度系统则进行资源度量和子集合调用。具体地，所述请求接收模块21对所述资源请求进行判断，当所述资源请求处于一般调用的情况，则仅进行一般调用；而当所述资源请求超过一般调用的情况下，则启动所述资源管理单元30进行调度。

述资源管理单元30通信地连接所述GPU总集合10和所述GPU调用单元20，所述GPU调用单元20获取所述GPU节点100的未调用情况并输出一未调用信息A，并将所述未调用信息A传输至所述资源管理单元30，因此所述资源管理单元30能够对各个未调用的所述GPU节点100进行计算，并最终得出一GPU调度子集合102。

具体地，所述资源管理单元30还包括一请求和统计模块300，所述请求和统计模块300通信连接所述GPU调用单元20，当所述GPU调用单元20中的资源请求无法满足时，所述GPU调用单元20即向所述资源管理单元30进行请求，另外，所述请求和统计模块300获取所述GPU节点的调用信息，进而生成一调用资源池，所述调用资源池中包括未被调用的所述GPU节点及其状态信息列表。

更具体地，所述资源管理单元30包括一路径测量模块31，所述路径测量模块31通信地连接各个未调用的所述GPU节点100并对其进行随机两个所述GPU节点100的路径计算。换句话说，所述路径测量模块31处理所述未调用信息，并对随机两个所述GPU节点100的路径计算，同时经过比较得出按照路径长短排列的所述GPU节点第一队列L1。

进一步地，所述资源管理单元30还包括一速率测量模块32，所述速率测量模块32通信地连接各个未调用的所述GPU节点100并对其进行随机两个所述GPU节点100的通信速率计算。换句话说，所述速率测量模块32处理所述未调用信息，并对随机两个所述GPU节点100的通信速率计算，同时经过比较得出按照速率快慢排列的所述GPU节点队列L2。

在其中一种实施方式中，所述资源管理单元30以所述GPU节点第一队列L1为主队列，并且按照所述GPU节点队列L2对其重新进行排列，最终得出一调用资源池，同时根据所述资源请求和所述调用资源池，所述资源管理单元30调用资源池中的所述GPU节点100以形成所述GPU调度子集合102。

在另一种实施方式，所述资源管理单元30以所述GPU节点队列L2为主队列，并且按照所述GPU节点第一队列L1对其重新进行排列，最终得出一调用资源池，同时根据所述资源请求和所述调用资源池，所述资源管理单元30调用资源池中的所述GPU节点100以形成所述GPU调度子集合102。

根据上述过程，当所述资源请求超出一般调用的情况下，所述资源管理单元30则被触发，以完成所述GPU调度子集合102的调用。具体地，当所述请求接收模块21接收到多个资源请求并且超出一般调用的情况下，则输出一资源度量信号。同时，将所述资源度量信号传输到所述资源管理单元30，当所述资源管理单元传输到所述资源管理单元30之后，所述资源管理单元30则完成上述队列的计算，并且根据所述资源请求形成一个新的所述GPU调度子集合102。

如图4所示，当所述GPU调用单元20的所述资源监控模块22监控到所述GPU节点100始终处于属于调用或者未调用状态下，则无需进行操作。而当所述资源监控模块22监控到所述GPU节点100从已调用状态转变成未调用状态，也就是说，所述GPU节点从工作状态转成空闲状态。

而此时，所述资源监控模块22将此时的情况生成一状态转换信号B，并传输到所述资源管理单元30，此时所述资源管理单元30接收到所述状态转换信号B，进一步地调用新的未调用的所述GPU节点100，在所述路径测量模块31和所述速率测量模块32中完成测量，同时进入到当前队列中以完成队列更新。此时，当前队列中的未调用的所述GPU节点100可能是时时地更新。

如图5所示，根据上述系统内容，本发明进一步地提供了一GPU资源调度流程，包括以下步骤:

第一步：所述GPU调用单元的所述资源监控模块定期向所述资源管理单元上报所述GPU节点的状态信息，所述状态信息包括已被调用和未被调用；

第二步：所述资源管理单元接收到状态信息后，生成和更新一调用资源池，所述调用资源池包括未被调用的所述GPU节点及其状态信息列表；

第三步：当有GPU资源请求时，所述资源管理单元将资源请求加入到资源请求队列中；

第四步：所述资源管理单元从资源请求队列中取出一个资源请求，并根据资源请求的大小来判断是否执行该资源请求；

第五步：当资源请求可以被满足时，将资源请求对应的任务生成一GPU子集合；

第六步：当资源请求无法被满足时，根据所述路径测量模块和所述速率测量模块选择合适的所述GPU节点，以生成一GPU调度子集合；

第七步：所述GPU调用单元接收到资源请求对应的任务时，更新其GPU状态信息，并将更新后的状态上报给所述资源管理单元，同时执行任务；

第八步：所述资源管理单元接收到状态更新信号后，更新其管理的所述调用资源池的状态信息表。

所述资源请求可以被满足时即是处于一般调用，所述资源资源请求无法被满足即是处于超过一般调用状态。

根据上述系统内容和操作流程，本发明进一步地提供了一种GPU资源调度方法，包括以下步骤：

(a)接收并判断所述资源请求，当所述资源请求可以被满足时，对所述GPU节点进行调用并形成一GPU子集合；

(b)当所述资源请求无法被满足时，所述资源管理单元对所述调用资源池中未调用的所述GPU节点进行调度并形成一GPU调度子集合；以及

(c)更新所述调用资源池中的GPU状态信息，并将更新后的状态上报给所述资源管理单元，同时执行资源请求任务。

根据上述系统内容和操作流程以及GPU资源调度方法，在步骤(b)中的所述调用信息包括已调用信息和未调用信息，并且在步骤(b)之后还包括以下步骤：

(b1)上报所述GPU节点的调用信息至所述资源管理单元；以及

(b2)接收到状态信息后，生成和更新一调用资源池。

根据上述GPU资源调度方法，在步骤(b)中还包括以下步骤：

(b3)测量所述调用资源池中的所述GPU节点之间的路径和通信速率；

(b4)获取和管控对应所述GPU节点，以形成所述GPU调度子集合。

根据上述GPU资源调度方法，在步骤(c)后中还包括以下步骤：

(d)当所述资源监控模块监控到至少一个所述GPU节点从已调用状态转变成未调用状态时，生成一状态转换信号，并传输至所述资源管理单元；

(e)更新所述调用资源池中的有关所述GPU子集合的状态信息列表。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (6)

1.一种GPU资源调度系统，其特征在于，包括：

一GPU总集合，所述GPU总集合包括多个GPU节点；

一GPU调用单元，所述GPU调用单元通信连接所述GPU总集合，并调用所述GPU节点以形成一GPU子集合；

以及一资源管理单元，所述资源管理单元通信连接所述GPU总集合和所述GPU调用单元，其中所述GPU调用单元监控所述GPU节点的调用状态，并将调用状态上报给资源管理单元，所述资源管理单元根据用户的资源请求在所述GPU总集合中选取相应的GPU调用单元以形成一GPU调度子集合；所述GPU调用单元包括一请求接收模块和一资源监控模块，所述请求接收模块适于接收并判断至少一GPU资源请求，所述资源监控模块通信地连接所述GPU总集合并监控所述GPU节点的调用情况，所述GPU调用单元还包括一消息上报模块，所述消息上报模块通信连接所述资源监控模块和所述资源管理单元，适于向所述资源管理单元上报所述GPU节点的调用状态；

所述资源管理单元包括：一接收和统计模块，所述接收和统计模块接收所述GPU节点的调用信息，并生成和更新一调用资源池；以及一路径测量模块和一速率测量模块，其中所述资源管理单元获取所述GPU节点的调用信息，所述路径测量模块和所述速率测量模块相互通信地合作，根据GPU资源请求在未被调用的所述GPU节点中选择合适的GPU节点，生成所述GPU调度子集合。

2.根据权利要求1所述的GPU资源调度系统，其特征在于，所述资源管理单元集中管理和调控所述调用资源池以形成所述GPU调度子集合，当所述资源监控模块监控到所述GPU节点的状态转换并生成一状态转换信号，所述资源管理单元接收到所述状态转换信号，更新所述调用资源池。

3.一种GPU资源调度方法，其特征在于，采用如权利要求2所述的GPU资源调度系统实现GPU资源进行调度，包括以下步骤：

(a)接收并判断所述资源请求，当所述资源请求可以被满足时，对所述GPU节点进行调用并形成一GPU子集合；

(b)当所述资源请求无法被满足时，所述资源管理单元对所述调用资源池中未调用的所述GPU节点进行调度并形成一GPU调度子集合；以及

(c)更新所述调用资源池中的GPU状态信息，并将更新后的状态上报给所述资源管理单元，同时执行资源请求任务。

4.根据权利要求3所述的GPU资源调度方法，其特征在于，在步骤(b)之后还包括以下步骤：

(b1)上报所述GPU节点的调用信息至所述资源管理单元；以及

(b2)接收到状态信息后，生成和更新一调用资源池。

5.根据权利要求4所述的GPU资源调度方法，其特征在于，在步骤(b)中还包括以下步骤：

(b3)测量所述调用资源池中的所述GPU节点之间的路径和通信速率；以及

(b4)获取和管控对应所述GPU节点，以形成所述GPU调度子集合。

6.根据权利要求5所述的GPU资源调度方法，其特征在于，在步骤(c)后中还包括以下步骤：

(d)当所述资源监控模块监控到至少一个所述GPU节点从已调用状态转变成未调用状态时，生成一状态转换信号，并传输至所述资源管理单元；以及

(e)更新所述调用资源池中的有关所述GPU子集合的状态信息列表。

Images