CN111176924B

CN111176924B - 一种gpu掉卡模拟方法、系统、终端及存储介质

Info

Publication number: CN111176924B
Application number: CN201911331523.3A
Authority: CN
Inventors: 马磊
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2019-12-21
Filing date: 2019-12-21
Publication date: 2022-07-22
Anticipated expiration: 2039-12-21
Also published as: CN111176924A

Abstract

本发明提供一种GPU掉卡模拟方法、系统、终端及存储介质，包括：卸载GPU卡的驱动软件；查找GPU配置文件；按GPU卡硬件信息格式设置虚假硬件信息；判断主机是否存在空闲GPU卡槽：若是，则将所述虚假硬件信息写入GPU配置文件。本发明可以在线上模拟GPU掉卡的测试场景，尽可能的减少互通不及时造成的测试误差及GPU卡的实际损耗。同时极大的提高了测试效率。

Description

一种GPU掉卡模拟方法、系统、终端及存储介质

技术领域

本发明涉及服务器测试技术领域，具体涉及一种GPU掉卡模拟方法、系统、终端及存储介质。

背景技术

随着人工智能领域的高速发展，出现了大规模的服务器配多个GPU卡的部署环境。在实际运行的过程中，很可能会出现GPU掉卡的情况。那么在我们日常的测试过程中，模拟GPU掉卡就是很重要的一项测试内容。在AIStation平台的测试过程中，如果需要模拟GPU掉卡情况，需要到机房去进行拔掉GPU卡这种方法，徒劳人力也无法很快捷感知，也无法沟通，造成很大的困扰。此外，目前测试的办公环境与实际机房都是分开且无法进行消息互通。那么如果模拟掉卡场景的，无法及时沟通的情况下对GPU卡进行插拔，对测试结果会有很大误差影响。同时多次的插拔GPU卡，会对GPU卡及卡槽造成一定的损耗，得不偿失。

本发明运用模拟GPU掉卡的方式，来造成GPU掉卡的数据。使得后台感知GPU卡情况，进一步对GPU掉卡进行策略分析和操作。

发明内容

针对现有技术的上述不足，本发明提供一种GPU掉卡模拟方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种GPU掉卡模拟方法，包括：

卸载GPU卡的驱动软件；

查找GPU配置文件；

按GPU卡硬件信息格式设置虚假硬件信息；

判断主机是否存在空闲GPU卡槽：

若是，则将所述虚假硬件信息写入GPU配置文件。

进一步的，所述方法还包括：

在主机GPU掉卡模拟成功状态下，重启主机；

利用驱动安装脚本调用实际GPU卡匹配驱动进行驱动安装；

重启主机将主机从GPU掉卡状态恢复至正常状态。

进一步的，所述按GPU卡硬件信息格式设置虚假硬件信息，包括：

通过lspci命令查找GPU卡的真实硬件信息；

抓取所述真实硬件信息作为生成虚假硬件信息的基础信息；

将所述基础信息中的GPU身份参数值修改为预设值，所述预设值为随机数且所述预设值与配置文件中的真实硬件信息GPU身份参数值不同，将修改后的基础信息作为虚假硬件信息输出。

进一步的，所述判断主机是否存在空闲GPU卡槽，包括：

采集主机GPU卡槽数量；

采集所述GPU配置文件中的真实GPU卡配置信息数量；

判断所述GPU卡槽数量是否超过所述真实GPU卡配置信息数量：

若是，则判定主机存在空闲GPU卡槽。

第二方面，本发明提供一种GPU掉卡模拟系统，包括：

驱动卸载单元，配置用于卸载GPU卡的驱动软件；

文件查找单元，配置用于查找GPU配置文件；

模拟设置单元，配置用于按GPU卡硬件信息格式设置虚假硬件信息；

卡槽确认单元，配置用于判断主机是否存在空闲GPU卡槽；

模拟注入单元，配置用于若主机存在空闲GPU卡槽，则将所述虚假硬件信息写入GPU配置文件。

进一步的，所述系统还包括：

第一重启单元，配置用于在主机GPU掉卡模拟成功状态下，重启主机；

驱动安装单元，配置用于利用驱动安装脚本调用实际GPU卡匹配驱动进行驱动安装；

第二重启单元，配置用于重启主机将主机从GPU掉卡状态恢复至正常状态。

进一步的，所述模拟设置单元包括：

信息查找模块，配置用于通过lspci命令查找GPU卡的真实硬件信息；

信息采集模块，配置用于抓取所述真实硬件信息作为生成虚假硬件信息的基础信息；

信息修改模块，配置用于将所述基础信息中的GPU身份参数值修改为预设值，所述预设值为随机数且所述预设值与配置文件中的真实硬件信息GPU身份参数值不同，将修改后的基础信息作为虚假硬件信息输出。

进一步的，所述卡槽确认单元包括：

第一采集模块，配置用于采集主机GPU卡槽数量；

第二采集模块，配置用于采集所述GPU配置文件中的真实GPU卡配置信息数量；

数量比对模块，配置用于判断所述GPU卡槽数量是否超过所述真实GPU卡配置信息数量：

空闲判定模块，配置用于若所述GPU卡槽数量超过所述真实GPU卡配置信息数量，则判定主机存在空闲GPU卡槽。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的GPU掉卡模拟方法、系统、终端及存储介质，通过向GPU配置文件中写入虚假GPU硬件信息，实现对GPU掉卡场景的模拟。本发明可以在线上模拟GPU掉卡的测试场景，尽可能的减少互通不及时造成的测试误差及GPU卡的实际损耗。同时极大的提高了测试效率。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面对本发明中出现的关键术语进行解释。

AIStation是浪潮自主研发的人工智能开发平台，面向深度学习开发场景，整合计算资源、数据资源以及AI开发环境，实现计算资源统一分配调度、训练数据集中管理并加速、模型流程化开发训练，为AI研发构建敏捷高效的一体化平台。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种GPU掉卡模拟系统。

如图1所示，该方法100包括：

步骤110，卸载GPU卡的驱动软件；

步骤120，查找GPU配置文件；

步骤130，按GPU卡硬件信息格式设置虚假硬件信息；

步骤140，判断主机是否存在空闲GPU卡槽：

步骤150，若是，则将所述虚假硬件信息写入GPU配置文件。

为了便于对本发明的理解，下面以本发明GPU掉卡模拟方法的原理，结合实施例中对GPU掉卡场景进行模拟的过程，对本发明提供的GPU掉卡模拟方法做进一步的描述。

具体的，以AIStation平台为例，所述GPU掉卡模拟方法包括：

S1、卸载GPU卡的驱动软件。

在AIStation平台中查找到GPU卡驱动位置，对驱动进行卸载，执行命令/usr/bing/nvidia-uninstall。执行驱动卸载过程，直至卸载完成。

S2、查找GPU配置文件。

修改计算节点GPU配置文件，对node_gpuinfo.txt文档进行编辑。打开文档可见目前主机所有真实GPU卡的配置信息，如有两个真实GPU卡则会显示两条信息。信息如下：GPU-c7026b69-1a75-0838-92e1-90b8b5ade97a,2,00000000:AF:00.1,Tesla P100-PCIE-16GB。

S3、判断主机是否存在空闲GPU卡槽。

首先采集主机的全部GPU卡槽数量，然后采集步骤S2得到的真实GPU卡配置信息数量。判断GPU卡槽数量是否超过真实GPU卡配置信息数量，若超过，则可以确定主机存在空闲GPU卡槽，这种情况下才可以继续执行掉卡模拟操作。若GPU卡槽数量是否没有真实GPU卡配置信息数量，则暂停模拟操作，需要手动拔掉一个GPU卡，释放一个空闲GPU卡槽。

S4、按GPU卡硬件信息格式设置虚假硬件信息。

通过lspci|grep-i nvidia命令查找GPU卡的硬件信息。

抓取查找到的硬件信息，如：GPU-c7026b69-1a75-0838-92e1-90b8b5ade97a,2,00000000:AF:00.1,Tesla P100-PCIE-16GB，抓取到真实硬件参数如下：GPU-c7026b69-1a75-0838-92e1-90b8b5ade111,3,00000030:BB:03.1,Tesla P100-PCIE-16GB.其中参数00000030:BB:03.1是GPU卡的身份参数值，对这个参数值进行修改，生成一个随机数，将该参数值修改为随机数。修改完的硬件信息不能与查找到的GPU真实硬件信息相同。将修改完的硬件信息保存为虚假硬件信息。

在本发明的其他实施方式中，也可以按照GPU硬件信息的格式设置一个虚假硬件信息。只要校验该虚假硬件信息与真实硬件信息不同即可。

S5、将所述虚假硬件信息写入GPU配置文件。

将步骤S4中的虚假硬件信息写入GPU配置文件，在写入虚假硬件信息时需注意配置文件中不要出现空格或回车。

保存成功后，通过AIStation监控模块，可见GPU显示为掉卡状态，掉卡成功。

S6、在频繁的测试过程中，掉卡后需要恢复掉卡。以下操作将说明如何恢复掉卡：

首先重启节点，可通过命令reboot或bmc进行重启。

重启后找到匹配的GPU驱动进行安装，安装命令如下：

sh/home/NVIDIA-Linux-x86_64-418.67.run--ui＝none--no-questions--accept-license，系统自动安装后提示安装成功。

再次通过命令或bmc进行重启节点操作，重启成功后，可在AIStation平台监控查看到GPU卡状态已恢复。

如图2示，该系统200包括：

驱动卸载单元210，配置用于卸载GPU卡的驱动软件；

文件查找单元220，配置用于查找GPU配置文件；

模拟设置单元230，配置用于按GPU卡硬件信息格式设置虚假硬件信息；

卡槽确认单元240，配置用于判断主机是否存在空闲GPU卡槽；

模拟注入单元250，配置用于若主机存在空闲GPU卡槽，则将所述虚假硬件信息写入GPU配置文件。

可选地，作为本发明一个实施例，所述系统还包括：

可选地，作为本发明一个实施例，所述模拟设置单元包括：

可选地，作为本发明一个实施例，所述卡槽确认单元包括：

第一采集模块，配置用于采集主机GPU卡槽数量；

图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的GPU掉卡模拟方法。

其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明通过向GPU配置文件中写入虚假GPU硬件信息，实现对GPU掉卡场景的模拟。本发明可以在线上模拟GPU掉卡的测试场景，尽可能的减少互通不及时造成的测试误差及GPU卡的实际损耗。同时极大的提高了测试效率，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种GPU掉卡模拟方法，其特征在于，包括：

卸载GPU卡的驱动软件；

查找GPU配置文件；

按GPU卡硬件信息格式设置虚假硬件信息；

判断主机是否存在空闲GPU卡槽：

若是，则将所述虚假硬件信息写入GPU配置文件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在主机GPU掉卡模拟成功状态下，重启主机；

利用驱动安装脚本调用实际GPU卡匹配驱动进行驱动安装；

重启主机将主机从GPU掉卡状态恢复至正常状态。

3.根据权利要求1所述的方法，其特征在于，所述按GPU卡硬件信息格式设置虚假硬件信息，包括：

通过lspci命令查找GPU卡的真实硬件信息；

抓取所述真实硬件信息作为生成虚假硬件信息的基础信息；

4.根据权利要求1所述的方法，其特征在于，所述判断主机是否存在空闲GPU卡槽，包括：

采集主机GPU卡槽数量；

采集所述GPU配置文件中的真实GPU卡配置信息数量；

判断所述GPU卡槽数量是否超过所述真实GPU卡配置信息数量：

若是，则判定主机存在空闲GPU卡槽。

5.一种GPU掉卡模拟系统，其特征在于，包括：

驱动卸载单元，配置用于卸载GPU卡的驱动软件；

文件查找单元，配置用于查找GPU配置文件；

卡槽确认单元，配置用于判断主机是否存在空闲GPU卡槽；

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

7.根据权利要求5所述的系统，其特征在于，所述模拟设置单元包括：

8.根据权利要求5所述的系统，其特征在于，所述卡槽确认单元包括：

第一采集模块，配置用于采集主机GPU卡槽数量；

9.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。