CN112463384B

CN112463384B - 一种资源组配置方法、系统、设备以及介质

Info

Publication number: CN112463384B
Application number: CN202011403114.2A
Authority: CN
Inventors: 王继玉
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2020-12-04
Filing date: 2020-12-04
Publication date: 2022-11-08
Anticipated expiration: 2040-12-04
Also published as: CN112463384A

Abstract

本发明公开了一种资源组配置方法，包括以下步骤：将预先配置的标签绑定到资源组下通过校验的节点上；根据所述标签对相应的所述通过校验的节点上的GPU进行配置；周期性检测配置情况以更新所述相应的通过校验的节点的配置结果标签；读取所述配置结果标签上的配置结果并进行反馈。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方法能够实现让用户及时查看在对K8s集群中新创建的资源组的GPU进行配置时的情况，并且还支持用户根据规模、训练情况和不同类型的工作负载，动态调整GPU的配置方案。

Description

一种资源组配置方法、系统、设备以及介质

技术领域

本发明涉及深度学习领域，具体涉及一种资源组配置方法、系统、设备以及存储介质。

背景技术

现阶段，AI平台进行模型训练，需要配置资源组，用户与资源组关联后，能够使用资源组下的资源，提交训练任务。资源组的配置的成功与否，直接关系到AI平台能否正常提交训练任务。

目前，NVIDIA的A100GPU显卡，支持配置MIG模式，可以将单张GPU卡，安全的分割成多达7个独立实例中。然后，用户可以在该GPU卡上，同时运行多个训练任务，加速模型训练，提高GPU资源的利用率和训练效率。A100GPU卡，有5种MIG模式，有多种组合配置方式，可将A100GPU划分为多达七个实例，每个实例均与各自的高带宽显存、缓存和计算核心完全隔离。可以根据训练任务的需要，随时调整资源组中A100GPU的MIG模式。但是，MIG模式的配置和调整，都需要时间，同时，同一资源组的不同节点或同一节点的多张A100GPU卡，MIG模式配置成功的时间存在差异，配置可能存在失败的情况。并且平台资源组中A100GPU开关MIG模式，以及切换MIG模式时，各个节点和同节点不同A100GPU之间，MIG配置存在差异，导致配置后，用户无法确定具体配置结果以及资源组不能立即被调度和使用的问题。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种资源组配置方法，包括以下步骤：

将预先配置的标签绑定到资源组下通过校验的节点上；

根据所述标签对相应的所述通过校验的节点上的GPU进行配置；

周期性检测配置情况以更新所述相应的通过校验的节点的配置结果标签；

读取所述配置结果标签上的配置结果并进行反馈。

在一些实施例中，还包括：

获取所述标签中的配置模式以及配置方案；

利用所述配置模式以及所述配置方案对所述标签进行配置。

在一些实施例中，根据所述标签对所述待配置节点进行配置，进一步包括：

解析所述标签中的配置模式；

响应于所述配置模式为第一类预设模式，解析所述标签中的配置方案字段以将所述相应的通过校验的节点上的GPU划分为对应数量和大小的vGPU；

响应于所述配置模式为第二类预设模式，将所述相应的通过校验的节点上的GPU已划分的若干个vGPU初始化。

在一些实施例中，还包括：

响应于所述配置结果指示所述相应的通过校验的节点上至少一个GPU配置失败且接收到重试请求，修改所述相应的通过校验的节点绑定的标签的配置模式；

根据所述配置结果标签确定所述相应的通过校验的节点上配置失败的GPU；

根据所述标签的配置方案对所述配置失败的GPU重新配置。

在一些实施例中，还包括：

根据所述配置结果标签确定所述相应的通过校验的节点上配置成功的GPU；

利用所述配置成功的GPU接收任务调度。

在一些实施例中，还包括：

根据节点上的GPU类型以及是否存在正在运行的训练任务对所述节点进行校验。

在一些实施例中，读取所述配置结果标签上的配置结果并进行反馈，进一步包括：

读取所述配置结果标签上的配置进度字段、配置状态字段以及描述信息字段以将当前的配置进度、配置状态以及GPU配置结果进行反馈。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种资源组配置系统，包括：

绑定模块，所述绑定模块配置为将预先配置的标签绑定到资源组下通过校验的节点上；

配置模块，所述配置模块配置为根据所述标签对相应的所述通过校验的节点上的GPU进行配置；

检测模块，所述检测模块配置为周期性检测配置情况以更新所述相应的通过校验的节点的配置结果标签；

反馈模块，所述反馈模块配置为读取所述配置结果标签上的配置结果并进行反馈。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种资源组配置方法的步骤。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种资源组配置方法的步骤。

本发明具有以下有益技术效果之一：本发明提出的方法能够实现让用户及时查看在对K8s集群中新创建的资源组的GPU进行配置时的情况，并且还支持用户根据规模、训练情况和不同类型的工作负载，动态调整GPU的配置方案。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明的实施例提供的资源组配置方法的流程示意图；

图2为本发明的实施例提供的GPU配置方案表；

图3为本发明的实施例提供的资源组配置系统的结构示意图；

图4为本发明的实施例提供的计算机设备的结构示意图；

图5为本发明的实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

在本发明的实施例中，MIG(Multi-Instance GPU)：多实例GPU技术，如图2所示，MIG配置方案可以包括13种不同的方案，最多可将A100GPU划分多达7个实例，每个实例均与各自的高带宽显存、缓存和计算核心完全隔离，都有一套专用于计算、显存和缓存的硬件资源，能为工作负载提供稳定可靠的服务质量和有效的故障隔离。vGPUs:A100GPU根据内置规则划分成的vGPU(虚拟GPU)。

根据本发明的一个方面，本发明的实施例提出一种资源组配置方法，如图1所示，其可以包括步骤：

S1，将预先配置的标签绑定到资源组下通过校验的节点上；

S2，根据所述标签对相应的所述通过校验的节点上的GPU进行配置；

S3，周期性检测配置情况以更新所述相应的通过校验的节点的配置结果标签；

S4，读取所述配置结果标签上的配置结果并进行反馈。

本发明提出的方法能够实现让用户及时查看在对K8s集群中新创建的资源组的GPU进行配置时的情况，并且还支持用户根据规模、训练情况和不同类型的工作负载，动态调整GPU的配置方案。

在一些实施例中，还包括：

具体的，在AI平台，用户可以选择A100GPU节点，同时选择一种MIG配置方案，创建资源组，创建时，会校验该节点GPU卡是否为A100，MIG模式是否已经配置，是否有正在运行的训练任务。若节点上的GPU卡存在正在运行的训练任务，则无法进行配置，并且GPU卡不是为A100GPU，也无法进行配置。

需要说明的是，用户可以随时调整资源组的MIG配置方案，如果资源组个别节点上或节点上的个别GPU有任务正在运行，则该节点或该节点上的个别GPU的MIG模式无法调整和切换，其它无任务运行的节点或GPU，调整不受影响。如果调整后，运行任务的节点，任务运行结束，可以使用重配置机制，单独或批量调整和切换节点的MIG模式。并且同一节点，所有A100GPU卡必须使用同一种MIG配置方案。但是，同一资源组，不同节点，可以使用重配置机制，配置成不同的MIG方案。

在一些实施例中，还包括：

获取所述标签中的配置模式以及配置方案；

利用所述配置模式以及所述配置方案对所述标签进行配置。

具体的，在AI平台的业务层用户可以根据选择的节点和MIG配置方案，在k8s节点的Labels标签中，增加mig_set标签，如下所示：

{"mig_mod":"none_mix"，"config"：{"mig-1g.5gb":7，"mig-2g.10gb":0，"mig-3g.20gb":0，"mig-4g.20gb":0，"mig-7g.40gb":0}，"status":1"，progress":"0","description":""}

其中，mig_mod表示mig配置模式，可以包括两类，第一类预设模式可以是none_mix、mix_mix、mix_retry，其中none_mix表示A100GPU mig从关闭到开启，mix_mix表示A100GPU mig由一种mig方案切换到另一种mig方案，mix_retry表示A100GPU none_mix或mix_mix失败重试；第二类预设模式可以是mix_none、none_retry，其中mix_none表示A100GPU mig从开启到关闭，none_retry表示A100GPU mix_none失败重试。Config表示配置方案中5种vGPUs数量，mig-1g.5gb、mig-2g.10gb、mig-3g.20gb、mig-4g.20gb、mig-7g.39gb分别为5种规格的vGPU。Status表示A100GPU MIG配置状态，0：配置成功，1：配置中，2：配置失败。Progress表示节点A100GPU MIG配置进度。Description表示描述信息。其中，Progress和Description在该标签中不进行设置，只是为了与配置结果标签中的字段保持一致。

在一些实施例中，步骤S2，根据所述标签对所述待配置节点进行配置，进一步包括：

解析所述标签中的配置模式；

具体的，底层根据k8s节点的mig_set标签信息，再次进行校验，校验后开始调整节点A100GPU卡的MIG模式，并在Laebls标签下，增加mig_result标签，定时更新MIG配置状况。mig_result标签可以如下所示：

{"mig_mod":"none_mix"，"config"：{"mig-1g.5gb":7，"mig-2g.10gb":0，"mig-3g.20gb":0，"mig-4g.20gb":0，"mig-7g.40gb":0}，"status":2,"progress":"2/3","description":{"0":"fail","1":"success","2":"success"}}}。

其中，progress表示节点A100GPU MIG配置进度，如1/3，表示该节点有3张A100GPU卡，已经配置成功1张GPU卡。Description为描述信息，"description":{"0":"fail","1":"success","2":"success"}表示0号卡配置失败，1和2号卡配置成功。

当配置模式为第一类预设模式时，即开启GPU的MIG模式或切换MIG方案，则需要根据配置方案对GPU进行划分以得到预设数量和大小的vGPU，当配置模式为第二类预设模式时，即关闭GPU的MIG模式，则需要将所述相应的通过校验的节点上的GPU已划分的若干个vGPU初始化。

在一些实施例中，还包括：

根据所述标签的配置方案对所述配置失败的GPU重新配置。

具体的，当通过配置结果标签(即mig_result标签)上的Description和status判断该节点存在配置失败的GPU，则可以通过平台的业务层下发重试的指令，此时节点绑定的标签(mig_set标签)上的mig_mod字段则修改为mix_retry或none_retry，然后根据配置结果标签上Description字段指示的配置失败的GPU的编号确定配置失败的GPU，然后根据所述标签的配置方案对所述配置失败的GPU重新配置。

在一些实施例中，还包括：

利用所述配置成功的GPU接收任务调度。

具体的，底层可以每隔预设时间段(例如30s)检测MIG配置情况，并修改k8s的mig_result标签，平台的业务层同步读取mig_result信息，同步业务层MIG配置状态，更新新创建的资源组下各个节点的MIG配置状况，并同步更新整个资源组的MIG配置状况，实时显示资源组的MIG配置状态和进度。在配置过程中，如果该资源组有一个节点配置成功，则该资源组就可以进行正常使用和任务调度，不用等全部节点MIG都配置成功。配置成功的节点，k8s会在该节点的Capacity下添加如下标签信息：

Capacity:

nvidia.com/mig-1g.5gb:21//注释：如果该节点有三张卡，都是方案1，则mig-1g.5gb,为三张卡的总数3*7＝21，配置成功几张卡，则该为几张卡的总数

nvidia.com/mig-2g.10gb:0；

nvidia.com/mig-3g.20gb:0；

nvidia.com/mig-4g.20gb:0；

nvidia.com/mig-7g.40gb:0。

如果该资源组下，有个别节点配置失败，不影响该资源组的调度使用，配置成功的节点，能够正常进行任务调度和使用。如果节点中，有个别A100GPU卡配置失败，该节点，也能进行调度和使用，只使用配置成功的A100GPU。针对配置失败的节点或A100GPU，可以单独进行重试机制，重新进行配置。重配置时，会进行校验，同一节点，所有A100GPU卡必须使用同一种MIG配置方案。

但是，同一资源组，不同节点，可以使用重配置机制，配置成不同的MIG方案。并且提交训练任务时，可以根据训练情况，选择资源组下特定的MIG模式节点，提交训练任务。训练任务会被调度到该节点，使用该节点配置的MIG vGPUs实例，进行模型训练。MIG资源组中可能被重配置机制，调整的有MIG模式和非MIG模式的节点，但是都是包含A100GPU的节点，不允许出现非A100GPU的节点。MIG资源组在使用时，如果提交训练任务没有指定节点，则k8s根据AI平台配置的调度策略，进行节点调度。

调整和配置过程中，AI平台，可以查看MIG资源组各节点的配置进度和状态，以及节点各A100GPU卡的配置进度和状态。如果，MIG资源组，某个节点一直配置不成功，可以移除该节点或者调整该节点的MIG配置方案，或者配置成非MIG模式。如果某节点，出现宕机或离线状态，恢复后，不影响使用，如果无法恢复，可以从资源组中移除该节点。提高资源组的灵活性和易用性，确保AI平台资源调度的灵活稳定，提高AI平台的资源利用率和易用性。

本发明提出的方案可以使用在AI平台上，对配置MIG模式的A100GPU资源进行管理，可以根据用户规模、训练情况和不同类型的工作负载，动态调整和配置A100MIG模式，具备多种MIG方案的调整和配置、失败重试机制，事件监听机制，定时同步配置状态信息、更新和显示配置进度，以及支持资源组不同节点的MIG模式调整，在一定程度上，提高资源组的灵活性和易用性，提高AI平台资源的管理能力和模型训练的总体效率。

这样通过灵活和多样的A100GPU MIG模式配置处理，可以根据用户规模、训练情况和不同类型的工作负载，动态调整和配置A100MIG模式，具备多种MIG方案的调整和配置、失败重试机制，事件监听机制，定时同步配置状态信息、更新和显示配置进度，以及支持资源组不同节点的MIG模式调整，在一定程度上，提高资源组的灵活性和易用性，提高AI平台资源的管理能力和模型训练的总体效率。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种资源组配置系统400，如图3所示，包括：

绑定模块401，所述绑定模块401配置为将预先配置的标签绑定到资源组下通过校验的节点上；

配置模块402，所述配置模块402配置为根据所述标签对相应的所述通过校验的节点上的GPU进行配置；

检测模块403，所述检测模块403配置为周期性检测配置情况以更新所述相应的通过校验的节点的配置结果标签；

反馈模块404，所述反馈模块404配置为读取所述配置结果标签上的配置结果并进行反馈。

基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机设备501，包括：

至少一个处理器520；以及

存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种资源组配置方法的步骤。

基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种资源组配置方法的步骤。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种资源组配置方法，其特征在于，包括以下步骤：

将预先配置的标签绑定到资源组下通过校验的节点上；

读取所述配置结果标签上的配置结果并进行反馈；

所述方法还包括：

获取所述标签中的配置模式以及配置方案；

利用所述配置模式以及所述配置方案对通过校验的节点上的GPU进行配置；

利用所述配置模式以及所述配置方案对通过校验的节点上的GPU进行配置，进一步包括：

解析所述标签中的配置模式；

响应于所述配置模式为第一类预设模式，解析所述标签中的配置方案字段以将所述相应的通过校验的节点上的GPU划分为对应数量和大小的vGPU，其中，所述第一类预设模式包括从关闭到开启、配置方案的切换以及从关闭到开启和/或配置方案的切换的失败重试；

响应于所述配置模式为第二类预设模式，将所述相应的通过校验的节点上的GPU已划分的若干个vGPU初始化，其中，所述第二类预设模式包括从开启到关闭以及从开启到关闭的失败重试。

2.如权利要求1所述的方法，其特征在于，还包括：

根据所述标签的配置方案对所述配置失败的GPU重新配置。

3.如权利要求2所述的方法，其特征在于，还包括：

利用所述配置成功的GPU接收任务调度。

4.如权利要求1所述的方法，其特征在于，还包括：

5.如权利要求1所述的方法，其特征在于，读取所述配置结果标签上的配置结果并进行反馈，进一步包括：

6.一种资源组配置系统，其特征在于，包括：

反馈模块，所述反馈模块配置为读取所述配置结果标签上的配置结果并进行反馈；

配置模块，所述配置模块配置为：

获取所述标签中的配置模式以及配置方案；

解析所述标签中的配置模式；

7.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-5任意一项所述的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-5任意一项所述的方法的步骤。