CN109376011A - 虚拟化系统中管理资源的方法和装置 - Google Patents

Abstract

本发明公开了一种虚拟化系统中管理资源的方法和装置。所述方法包括：在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；利用所述GPU卡响应所述资源申请信息。

Description

虚拟化系统中管理资源的方法和装置

技术领域

本发明涉及信息处理领域，尤指一种虚拟化系统中管理资源的方法和装置。

背景技术

容器是轻量级的操作系统级虚拟化，可以在一个资源隔离的进程中运行应用及其依赖项。运行应用程序所必需的组件都将打包成一个镜像并可以复用。执行镜像时，它会运行在一个隔离环境中，并且不会共享宿主机的内存、CPU、图形处理器(GraphicsProcessing Unit，GPU)以及磁盘，这就保证了容器内进程不能监控容器外的任何进程。容器启动运行时的资源初始分配往往决定了容器中任务的运行效率，合理的资源配额分配既能够保障容器的稳定高效的运行又能充分的利用计算资源来完成所要求的任务。

就其中的GPU，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。用途是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。

在实现本发明过程中，发明人发现现有技术至少存在如下问题：

现有容器对GPU资源的调用策略造成GPU的使用率偏低，未能充分利用GPU资源。

发明内容

为了解决上述技术问题，本发明提供了一种虚拟化系统中管理资源的方法和装置，能够充分利用GPU资源。

为了达到本发明目的，本发明提供了一种虚拟化系统中管理资源的方法，包括：

在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；

根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；

利用所述GPU卡响应所述资源申请信息。

其中，所述方法还具有如下特点：所述获取所述资源申请信息中携带的GPU的标签信息之前，所述方法还包括：

为GPU卡配置至少两个GPU的标签信息，并建立所述至少两个GPU的标签信息与所述GPU卡的对应关系；

将所述至少两个GPU的标签信息分配给至少两个节点进行使用。

其中，所述方法还具有如下特点：所述利用所述GPU卡响应所述资源申请信息之后，所述方法还包括：

获取所述GPU卡当前的资源利用率信息；

将所述GPU卡当前的利用率信息发送给具有使用所述GPU卡权限的节点。

其中，所述方法还具有如下特点：所述获取所述GPU卡当前的资源利用率信息之后，所述方法还包括：

将所述GPU卡当前的利用率信息与预先设置的第一利用率阈值进行比较；

如果所述当前的利用率信息大于第一利用率阈值，则控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

其中，所述方法还具有如下特点：所述控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请之后，所述方法还包括：

检测所述GPU卡当前的资源利用率信息；

将所述GPU卡当前的资源利用率信息与预先设置的第二利用率阈值进行比较；

如果所述当前的利用率信息小于所述第二利用率阈值，则控制启动具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

为了达到本发明目的，本发明提供了一种虚拟化系统中管理资源的装置，其特征在于，包括：

第一获取模块，用于在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；

确定模块，用于根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；

响应模块，用于利用所述GPU卡响应所述资源申请信息。

其中，所述装置还具有如下特点：所述装置还包括：

配置模块，用于在获取所述资源申请信息中携带的GPU的标签信息之前，为GPU卡配置至少两个GPU的标签信息，并建立所述至少两个GPU的标签信息与所述GPU卡的对应关系；

分配模块，用于将所述至少两个GPU的标签信息分配给至少两个节点进行使用。

其中，所述装置还具有如下特点：所述装置还包括：

第二获取模块，用于在利用所述GPU卡响应所述资源申请信息之后，获取所述GPU卡当前的资源利用率信息；

发送模块，用于将所述GPU卡当前的利用率信息发送给具有使用所述GPU卡权限的节点。

其中，所述装置还具有如下特点：所述装置还包括：

第一比较模块，用于所述获取所述GPU卡当前的资源利用率信息之后，将所述GPU卡当前的利用率信息与预先设置的第一利用率阈值进行比较；

第一控制模块，用于如果所述当前的利用率信息大于第一利用率阈值，则控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

其中，所述装置还具有如下特点：所述装置还包括：

检测模块，用于在控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请之后，检测所述GPU卡当前的资源利用率信息；

第二比较模块，用于将所述GPU卡当前的资源利用率信息与预先设置的第二利用率阈值进行比较；

第二控制模块，用于如果所述当前的利用率信息小于所述第二利用率阈值，则控制启动具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

本发明提供的实施例，在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息，并根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，利用所述GPU卡响应所述资源申请信息，由于所述GPU卡对应有至少两个GPU的标签信息，能够允许至少两个节点调用该GPU卡的资源，提高GPU被调用的概率，从而有效提升GPU资源的利用率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明提供的虚拟化系统中管理资源的方法的流程图；

图2为本发明提供的物理GPU和GPU变化的对应关系示意图；

图3为本发明应用实例提供的在Kubernetes集群上GPU共享使用的方法的示意图；

图4为本发明提供的虚拟化系统中管理资源的装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明提供的虚拟化系统中管理资源的方法的流程图。图1所示方法包括：

步骤101、在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；

步骤102、根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；

步骤103、利用所述GPU卡响应所述资源申请信息。

本发明提供的方法实施例，在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息，并根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，利用所述GPU卡响应所述资源申请信息，由于所述GPU卡对应有至少两个GPU的标签信息，能够允许至少两个节点调用该GPU卡的资源，提高GPU被调用的概率，从而有效提升GPU资源的利用率。

下面对本发明提供的方法作进一步说明：

本发明提供的方案的基本思路，具体包括：

1)对Kubernetes集群中的GPU物理资源进行复用命名编排达到GPU卡的共享机制。

2)在实现GPU卡共享的前提下，提供合理优化的GPU共享策略。

上述方案的基本思路，主要包括如下几个步骤：

步骤1.计算集群和容器运行状态和资源使用的监控，主要是GPU资源的监控和使用情况，然后进入步骤2；

步骤2.对GPU进行编排，对同一个物理GPU进行多个命名，形成一个“伪GPU表”，然后进入步骤3；

步骤3.对将要新启动的容器任务进行配额声明，将正在使用的GPU卡在yaml文件中进行共享使用声明，进入步骤4；

步骤4.启动进行GPU共享的容器任务，生成pod环境，并实时对容器任务进行健康状况的监控。

在上述步骤基础上，本发明提供的一个方法实施例中，所述获取所述资源申请信息中携带的GPU的标签信息之前，所述方法还包括：

为GPU卡配置至少两个GPU的标签信息，并建立所述至少两个GPU的标签信息与所述GPU卡的对应关系；

将所述至少两个GPU的标签信息分配给至少两个节点进行使用。

具体的，通过为同一个物理GPU卡分配至少两个标签，利用至少两个标签为不同的节点进行使用，将现有技术中只允许一个节点来调用的GPU资源，提供给至少两个节点来使用，使得该GPU卡被调用的概率得到提高，从而提升该GPU卡的资源利用率，实现资源的最大化利用。

本发明提供的一个方法实施例中，所述利用所述GPU卡响应所述资源申请信息之后，所述方法还包括：

获取所述GPU卡当前的资源利用率信息；

将所述GPU卡当前的利用率信息发送给具有使用所述GPU卡权限的节点。

具体的，由于至少两个节点具有使用该GPU卡的权限，因此，每个节点对资源利用率的计算有可能会出现偏差，为了方便节点根据GPU卡的资源利用率进行GPU资源的选择，在物理GPU卡资源发生变化时，需要及时通知具有使用该GPU卡的节点，以便根据准确的资源利用率进行资源的选择。

在共享GPU卡的环境下，所述获取所述GPU卡当前的资源利用率信息之后，所述方法还包括：

将所述GPU卡当前的利用率信息与预先设置的第一利用率阈值进行比较；

如果所述当前的利用率信息大于第一利用率阈值，则控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

具体的，为了保证资源申请的应答成功率，需要对GPU卡的资源使用状态进行检测，当该GPU卡的资源不足时，需要控制对该GPU卡具有使用权限的节点继续申请该GPU卡的资源，以减少资源申请无法响应的问题。

当然，在GPU卡的资源得到释放后，还可以恢复上述节点的使用权限，具体实现方式如下：

其中，所述控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请之后，所述方法还包括：

检测所述GPU卡当前的资源利用率信息；

将所述GPU卡当前的资源利用率信息与预先设置的第二利用率阈值进行比较；

如果所述当前的利用率信息小于所述第二利用率阈值，则控制启动具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

具体的，在该GPU卡的资源不足时，按照预先设置的时间策略可以检测该GPU卡的资源变化情况；当该资源的GPU卡的资源得到释放且达到能够响应外部资源申请的程度时，可以恢复节点对该GPU卡的资源申请，以实现GPU卡的资源的最大化利用。

下面本发明以利用Kubernetes中的Kubernetes GPU插件和kubelet组件对GPU实现共享使用的方案为了进行说明：

在本方案中，利用Kubernetes中的Kubernetes GPU插件和kubelet组件对GPU进行获取和跟踪，然后利用Kubernetes中的Nvidia GPU scheduling功能对GPU进行共享使用，这样既能够保障容器的稳定高效的运行又能充分的利用GPU资源来完成所要求的任务。

本技术方案包括kubernetes集群上的GPU共享使用的实现方案，具体实现如下：

Kubernetes集群上的GPU共享使用：可利用Kubernetes自带的Kubelet组件对GPU硬件资源进行编排。在kubernetes集群中，每个Node节点都会启动kubelet进程，用来处理Master节点下发到本节点的任务，管理Pod和其中的容器。kubelet会在API Server上注册节点信息，定期向Master汇报节点资源使用情况，并通过cAdvisor监控容器和节点资源。另外NVIDIA device plugin是Daemonset，允许自动地公开集群中每一个节点的GPU数量，对GPU的运行健康状况保持跟踪。因此可以利用NVIDIA device plugin对所有节点的GPU进行识别和和编排，通过对同一个GPU进行命名成不同的标签的编排达到同一个GPU可以共享使用在实际环境中。

利用Nvidia device plugin对Kubernetes资源声明过程中做一个多GPU的声明，制定一个“伪GPU”表来映射到真实的GPU设备上，也就是同一个真实物理GPU可以有多个GPU编号对应，参见图2，图2为本发明提供的物理GPU和GPU变化的对应关系示意图。

当请求使用GPU时，系统就会根据GPU列表去找对应的物理GPU，如3个pod申请GPU且相应的GPU标号是GPU-No3，GPU-No4，GPU-No5，则对应的真实物理GPU卡只是Nvidia P40这个显卡，在启动这3个Pod之后，它们的GPU资源其实只是这一个P20的GPU卡，因此做到GPU卡的共享目的，但是要考虑到GPU卡使用中的显存和物理资源的限制，否则会造成容器启动失败和GPU卡的不识别问题。

下面以本发明提供的应用实例对本发明提供方法作进一步说明：

图3为本发明应用实例提供的在Kubernetes集群上GPU共享使用的方法的示意图。图3所示方法具体实施过程如下：

1)通过第三方开源的容器、计算集群、容器任务的监控工具对容器的资源使用，计算集群在用和闲置资源进行实时监控和利用Nvidia device plugin对GPU设备进行识别；

2)利用Kubernetes命令对同一个GPU卡资源进行复用命名和编排：

例如：

kubectl label nodes<node-with-p100>accelerator＝nvidia-tesla-p100-No1；

kubectl label nodes<node-with-p100>accelerator＝nvidia-tesla-p100-No2；

3)进行新容器的资源配额yaml文件声明:

Pod 1:

…

nvidia.com/gpu:1

nodeSelector:

accelerator:nvidia-tesla-p100-No1；

…

Pod 2:

…

nvidia.com/gpu:1

nodeSelector:

accelerator:nvidia-tesla-p100-No2；

…

4)启动容器并利用Kubernetes device plugin对容器和集群的GPU进行监测。

本发明应用实例提供的方法，利用Kubernetes中的Kubernetes GPU插件和kubelet组件对GPU进行获取和跟踪，然后利用Kubernetes最新的Nvidia GPU scheduling功能对GPU进行共享使用，这样既能够保障容器的稳定高效的运行又能充分的利用GPU资源来完成所要求的任务。

图4为本发明提供的虚拟化系统中管理资源的装置的结构图。图4所示装置包括：

第一获取模块401，用于在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；

确定模块402，用于根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；

响应模块403，用于利用所述GPU卡响应所述资源申请信息。

在本发明提供的一个装置实施例中，所述装置还包括：

配置模块，用于在获取所述资源申请信息中携带的GPU的标签信息之前，为GPU卡配置至少两个GPU的标签信息，并建立所述至少两个GPU的标签信息与所述GPU卡的对应关系；

分配模块，用于将所述至少两个GPU的标签信息分配给至少两个节点进行使用。

在本发明提供的一个装置实施例中，所述装置还包括：

第二获取模块，用于在利用所述GPU卡响应所述资源申请信息之后，获取所述GPU卡当前的资源利用率信息；

发送模块，用于将所述GPU卡当前的利用率信息发送给具有使用所述GPU卡权限的节点。

在本发明提供的一个装置实施例中，所述装置还包括：

第一比较模块，用于所述获取所述GPU卡当前的资源利用率信息之后，将所述GPU卡当前的利用率信息与预先设置的第一利用率阈值进行比较；

第一控制模块，用于如果所述当前的利用率信息大于第一利用率阈值，则控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

在本发明提供的一个装置实施例中，所述装置还包括：

检测模块，用于在控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请之后，检测所述GPU卡当前的资源利用率信息；

第二比较模块，用于将所述GPU卡当前的资源利用率信息与预先设置的第二利用率阈值进行比较；

第二控制模块，用于如果所述当前的利用率信息小于所述第二利用率阈值，则控制启动具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

本发明提供的装置实施例，在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息，并根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，利用所述GPU卡响应所述资源申请信息，由于所述GPU卡对应有至少两个GPU的标签信息，能够允许至少两个节点调用该GPU卡的资源，提高GPU被调用的概率，从而有效提升GPU资源的利用率。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种虚拟化系统中管理资源的方法，其特征在于，包括：

在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；

根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；

利用所述GPU卡响应所述资源申请信息。

2.根据权利要求1所述的方法，其特征在于，所述获取所述资源申请信息中携带的GPU的标签信息之前，所述方法还包括：

为GPU卡配置至少两个GPU的标签信息，并建立所述至少两个GPU的标签信息与所述GPU卡的对应关系；

将所述至少两个GPU的标签信息分配给至少两个节点进行使用。

3.根据权利要求1所述的方法，其特征在于，所述利用所述GPU卡响应所述资源申请信息之后，所述方法还包括：

获取所述GPU卡当前的资源利用率信息；

将所述GPU卡当前的利用率信息发送给具有使用所述GPU卡权限的节点。

4.根据权利要求3所述的方法，其特征在于，所述获取所述GPU卡当前的资源利用率信息之后，所述方法还包括：

将所述GPU卡当前的利用率信息与预先设置的第一利用率阈值进行比较；

如果所述当前的利用率信息大于第一利用率阈值，则控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

5.根据权利要求4所述的方法，其特征在于，所述控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请之后，所述方法还包括：

检测所述GPU卡当前的资源利用率信息；

将所述GPU卡当前的资源利用率信息与预先设置的第二利用率阈值进行比较；

如果所述当前的利用率信息小于所述第二利用率阈值，则控制启动具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

6.一种虚拟化系统中管理资源的装置，其特征在于，包括：

第一获取模块，用于在接收到请求调用图形处理器GPU资源的资源申请信息后，获取所述资源申请信息中携带的GPU的标签信息；

确定模块，用于根据本地预先存储的GPU标签与GPU卡的对应关系，确定所述GPU的标签信息对应的GPU卡，其中所述GPU卡对应有至少两个GPU的标签信息；

响应模块，用于利用所述GPU卡响应所述资源申请信息。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

配置模块，用于在获取所述资源申请信息中携带的GPU的标签信息之前，为GPU卡配置至少两个GPU的标签信息，并建立所述至少两个GPU的标签信息与所述GPU卡的对应关系；

分配模块，用于将所述至少两个GPU的标签信息分配给至少两个节点进行使用。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于在利用所述GPU卡响应所述资源申请信息之后，获取所述GPU卡当前的资源利用率信息；

发送模块，用于将所述GPU卡当前的利用率信息发送给具有使用所述GPU卡权限的节点。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第一比较模块，用于所述获取所述GPU卡当前的资源利用率信息之后，将所述GPU卡当前的利用率信息与预先设置的第一利用率阈值进行比较；

第一控制模块，用于如果所述当前的利用率信息大于第一利用率阈值，则控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

检测模块，用于在控制停止具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请之后，检测所述GPU卡当前的资源利用率信息；

第二比较模块，用于将所述GPU卡当前的资源利用率信息与预先设置的第二利用率阈值进行比较；

第二控制模块，用于如果所述当前的利用率信息小于所述第二利用率阈值，则控制启动具有使用所述GPU卡权限的全部或部分节点对所述GPU卡的资源申请。