CN112463383A - 一种gpu分配方法、系统、存储介质及设备 - Google Patents

Abstract

本发明提供了一种GPU分配方法、系统、存储介质及设备，方法包括以下步骤：对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；接收用户的任务请求，并基于任务请求从新GPU组中分配虚拟GPU或GPU卡。本发明通过对GPU卡进行分割重组处理，得到含有多种虚拟GPU的新GPU卡，实现了对GPU的显存和计算资源的划分，在使用时，可以根据任务需求来调用适量的虚拟GPU，避免了任务在调用GPU时只能调用GPU卡的整卡资源而造成资源浪费，可以达到GPU资源利用的最大化。

Description

一种GPU分配方法、系统、存储介质及设备

技术领域

本发明涉及GPU技术领域，尤其涉及一种GPU分配方法、系统、存储介质及设备。

背景技术

随着计算机计算能力的快速、显著提升，人工智能已广泛应用于机器视觉、专家系统、智能搜索、自动程序设计、智能控制、遗传编程、语言和图像理解等方面。GPU(GraphicsProcessing Unit：图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU主要由存储单元(Memory Unit)和计算单元(Compute Unit)组成。对于人工智能，高性能GPU对深度学习计算有较为明显的加速作用。但是GPU的显存和计算资源是有限的，而深度学习模型的训练和推理往往需要大量的显存及算力，用来支持更大的模型和数据集。

如何更高效地利用GPU的显存和计算资源，在一张卡或一台机器上同时承载更多的训练和预测任务，让有限的显存和计算资源支持多个用户同时执行各自的任务，这些难题是开发者努力攻关的方向。

发明内容

有鉴于此，本发明的目的在于提出一种GPU分配方法、系统、存储介质及设备，用以解决现有技术中GPU的显存和计算资源不能被高效利用的问题。

基于上述目的，本发明提供了一种GPU分配方法，包括如下步骤：

对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；

将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；

接收用户的任务请求，并基于任务请求从新GPU组中分配虚拟GPU或GPU卡。

在一些实施例中，分割重组处理包括：

将GPU卡的显存容量和计算单元总量分别做n等分，将每份显存和计算单元组成一份GPU单元；

对若干GPU单元进行叠加处理形成不同种类的虚拟GPU；

将多个虚拟GPU进行组合并形成新GPU卡，其中，新GPU卡具有与原来的GPU卡相同的显存容量和计算单元总量。

在一些实施例中，对GPU单元进行叠加处理形成不同种类的虚拟GPU包括：将GPU单元进行1至m份不同数量的叠加合并，形成最大m种虚拟GPU，其中，m小于n。

在一些实施例中，n等于6，m取值范围为1至5。

在一些实施例中，基于任务请求从新GPU组中分配虚拟GPU或GPU卡包括：

响应于任务请求申请分配整卡资源，从新GPU组中分配相应数量的GPU卡；

响应于任务请求申请分配虚拟GPU资源，从新GPU组中分配相应种类和数量的虚拟GPU并组合。

在一些实施例中，方法还包括：基于任务请求接收分布式管理系统的GPU资源信息采集与核算。

在一些实施例中，基于任务请求接收分布式管理系统的GPU资源信息采集与核算包括：基于任务请求接收分布式管理系统对GPU卡和虚拟GPU的种类的信息采集以及对其的数量的核算。

本发明的另一方面，还提供了一种GPU分配系统，包括：

分割重组模块，配置用于对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；

新GPU组模块，配置用于将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；以及

GPU分配模块，配置用于接收用户的任务请求，并基于任务请求从新GPU组中分配虚拟GPU或GPU卡。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

本发明通过对GPU卡进行分割重组处理，得到含有多种虚拟GPU的新GPU卡，实现了对GPU的显存和计算资源的划分，在使用时，可以根据任务需求来调用适量的虚拟GPU，避免了任务在调用GPU时只能调用GPU卡的整卡资源而造成资源浪费，可以达到GPU资源利用的最大化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明提供的GPU分配方法的实施例的示意图；

图2为根据本发明实施例提供的单个GPU卡的显存和计算单元分别被分割为6份的结构示意图；

图3为基于图2的5种虚拟GPU的示意图；

图4为基于图3的4个具有一种或多种虚拟GPU组合的新GPU卡的结构示意图；

图5为根据本发明提供的GPU分配系统的实施例的示意图；

图6为本发明提供的执行GPU分配方法的计算机设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种GPU分配方法的实施例。图1示出的是本发明提供的GPU分配方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；

步骤S20、将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；

步骤S30、接收用户的任务请求，并基于任务请求从新GPU组中分配虚拟GPU或GPU卡。

本发明实施例通过对GPU卡进行分割重组处理，得到含有多种虚拟GPU的新GPU卡，实现了对GPU的显存和计算资源的划分，在使用时，可以根据任务需求来调用适量的虚拟GPU，避免了任务在调用GPU时只能调用GPU卡的整卡资源而造成资源浪费，可以达到GPU资源利用的最大化。

在一些实施例中，分割重组处理包括：将GPU卡的显存容量和计算单元总量分别做n等分，将每份显存和计算单元组成一份GPU单元；对若干GPU单元进行叠加处理形成不同种类的虚拟GPU；将多个虚拟GPU进行组合并形成新GPU卡，其中，新GPU卡具有与原来的GPU卡相同的显存容量和计算单元总量。

在一些实施例中，对GPU单元进行叠加处理形成不同种类的虚拟GPU包括：将GPU单元进行1至m份不同数量的叠加合并，形成最大m种虚拟GPU，其中，m小于n。在一些实施例中，n等于6，m取值范围为1至5。

图2为根据本发明实施例提供的单个GPU卡的显存和计算单元分别被分割为6份的结构示意图；图3为基于图2的5种虚拟GPU的示意图；图4为基于图3的4个具有一种或多种虚拟GPU组合的新GPU卡的结构示意图。如图2所示，将单个GPU卡的显存容量(30GB)和计算单元总量(120SMs)分别做6等分，1份显存(1m＝5GB)+1份计算单元(1s＝20SMs)组成1份GPU单元(1Slice)，1Slice为虚拟GPU的最小单元。如图3所示，当单个GPU卡的显存容量和计算单元总量分别划分为6等分时，共有5种Slice，分别为：

1Slice＝1m+1s；

2Slice＝2m+2s；

3Slice＝3m+3s；

4Slice＝4m+4s；

5Slice＝5m+5s；

上述5种Slice即为构建虚拟GPU的基本单元。如图4所示，可以利用5种Slice灵活创建新GPU卡；例如，新GPU卡gpu0包括6个1Slice，这6个1Slice的显存和算力相同；也可通过1Slice、2Slice、3Slice构建3个显存和算力均不相同的新GPU卡(1*[1m+1s]+1*[2m+2s]+1*[3m+3s])，如gpu1。

在一些实施例中，基于任务请求从新GPU组中分配虚拟GPU或GPU卡包括：响应于任务请求申请分配整卡资源，从新GPU组中分配相应数量的GPU卡；响应于任务请求申请分配虚拟GPU资源，从新GPU组中分配相应种类和数量的虚拟GPU并组合。图4示出了不同任务需要的相应种类和数量的虚拟GPU，例如，第一个任务(task1)需要1Slice(即单独由1Slice构成的虚拟GPU)，第九个任务(task9)需要1个由3Slice构成的虚拟GPU，第十一个任务(task11)需要2个由2Slice构成的虚拟GPU。当用户需要的是整卡资源时，直接将新GPU组中适量的GPU卡分配给用户。本实施例中的GPU资源支持多任务并行运行调用。在相关任务完成后，根据虚拟GPU的类型、数量是否满足业务需求，可以对虚拟GPU进行销毁或重建。

在一些实施例中，方法还包括：基于任务请求接收分布式管理系统的GPU资源信息采集与核算。在一些实施例中，基于任务请求接收分布式管理系统的GPU资源信息采集与核算包括：基于任务请求接收分布式管理系统对GPU卡和虚拟GPU的种类的信息采集以及对其的数量的核算。以图3和图4为例，将5种虚拟GPU分别记为Virtual/gpu-1s、Virtual/gpu-2s、Virtual/gpu-3s、Virtual/gpu-4s、Virtual/gpu-5s，信息采集即采集这些虚拟GPU的类型以及整卡GPU卡，整卡GPU卡被标记为All/gpu。核算时，即核算整卡GPU卡和各类型的虚拟GPU分别使用了多少，例如All/gpu＝p个、Virtual/gpu-1s＝q1个、Virtual/gpu-2s＝q2个、Virtual/gpu-3s＝q3个、Virtual/gpu-4s＝q4个、Virtual/gpu-5s＝q5个。

本发明实施例的第二个方面，还提供了一种GPU分配系统。图5示出的是本发明提供的GPU分配系统的实施例的示意图。一种GPU分配系统包括：分割重组模块10，配置用于对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；新GPU组模块20，配置用于将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；以及GPU分配模块30，配置用于接收用户的任务请求，并基于任务请求从新GPU组中分配虚拟GPU或GPU卡。

本实施例的GPU分配系统，通过对GPU卡进行分割重组处理，得到含有多种虚拟GPU的新GPU卡，实现了对GPU的显存和计算资源的划分，在使用时，可以根据任务需求来调用适量的虚拟GPU，避免了任务在调用GPU时只能调用GPU卡的整卡资源而造成资源浪费，可以达到GPU资源利用的最大化。

本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例方法。

应当理解，在相互不冲突的情况下，以上针对根据本发明的GPU分配方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的GPU分配系统和存储介质。也就是说，上面所述的应用于GPU分配方法的所有实施例及其变化都可以直接移转应用于根据本发明的系统和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例方法。

如图6所示，为本发明提供的执行GPU分配方法的计算机设备的一个实施例的硬件结构示意图。以如图6所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图6中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与GPU分配系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的GPU分配方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种GPU分配方法，其特征在于，包括以下步骤：

对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；

将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；

接收用户的任务请求，并基于所述任务请求从所述新GPU组中分配虚拟GPU或GPU卡。

2.根据权利要求1所述的方法，其特征在于，所述分割重组处理包括：

将GPU卡的显存容量和计算单元总量分别做n等分，将每份显存和计算单元组成一份GPU单元；

对若干所述GPU单元进行叠加处理形成不同种类的虚拟GPU；

将多个虚拟GPU进行组合并形成新GPU卡，其中，所述新GPU卡具有与原来的GPU卡相同的显存容量和计算单元总量。

3.根据权利要求2所述的方法，其特征在于，对所述GPU单元进行叠加处理形成不同种类的虚拟GPU包括：

将GPU单元进行1至m份不同数量的叠加合并，形成最大m种虚拟GPU，其中，m小于n。

4.根据权利要求3所述的方法，其特征在于，所述n等于6，所述m取值范围为1至5。

5.根据权利要求1所述的方法，其特征在于，基于所述任务请求从所述新GPU组中分配虚拟GPU或GPU卡包括：

响应于所述任务请求申请分配整卡资源，从所述新GPU组中分配相应数量的GPU卡；

响应于所述任务请求申请分配虚拟GPU资源，从所述新GPU组中分配相应种类和数量的虚拟GPU并组合。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述任务请求接收分布式管理系统的GPU资源信息采集与核算。

7.根据权利要求6所述的方法，其特征在于，基于所述任务请求接收分布式管理系统的GPU资源信息采集与核算包括：

基于所述任务请求接收分布式管理系统对GPU卡和虚拟GPU的种类的信息采集以及对其的数量的核算。

8.一种GPU分配系统，其特征在于，包括：

分割重组模块，配置用于对GPU组中的多个GPU卡分别进行显存容量和计算单元总量的分割重组处理，得到多个包含有多种不同虚拟GPU的新GPU卡；

新GPU组模块，配置用于将多个新GPU卡和另外未处理的GPU卡组合形成新GPU组；以及

GPU分配模块，配置用于接收用户的任务请求，并基于所述任务请求从所述新GPU组中分配虚拟GPU或GPU卡。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。

Images