CN113849272A - 在虚拟机中添加gpu资源的方法及装置 - Google Patents

在虚拟机中添加gpu资源的方法及装置 Download PDF

Info

Publication number
CN113849272A
CN113849272A CN202111112333.XA CN202111112333A CN113849272A CN 113849272 A CN113849272 A CN 113849272A CN 202111112333 A CN202111112333 A CN 202111112333A CN 113849272 A CN113849272 A CN 113849272A
Authority
CN
China
Prior art keywords
virtual machine
identification information
pcie
gpu
target virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111112333.XA
Other languages
English (en)
Inventor
姜智成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202111112333.XA priority Critical patent/CN113849272A/zh
Publication of CN113849272A publication Critical patent/CN113849272A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种在虚拟机中添加GPU资源的方法及装置，属于云服务领域。其中，该方法包括：在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，目标虚拟机用于装载容器实例，根据设备标识信息确定GPU资源对应的PCIE标识信息，启动目标虚拟机，并根据PCIE标识信息将对应的GPU资源添加至目标虚拟机。通过本发明，解决了相关技术在虚拟机中热插GPU需要占用内存的技术问题，解除了在Kata流程中向虚拟机插入GPU资源时BIOS的限制。

Description

在虚拟机中添加GPU资源的方法及装置
技术领域
本发明涉及云服务领域，具体而言，涉及一种在虚拟机中添加GPU资源的方法及装置。
背景技术
相关技术中，社区版本的KATA组件(一种轻量级虚拟机的容器组件)中，通过使用PCIE(peripheral component interconnect express,高速串行计算机扩展总线)热插的方式，来实现在对应的容器实例中添加GPU(graphics processing unit,图形处理器)资源，从而实现将GPU资源应用于虚拟化环境中。
然而，这种通过PCIE热插的方式将GPU资源添加到虚拟化环境中的方案存在以下缺陷：当GPU所占用的内存过大的时候，例如当社区版的KATA试图热插一块Nvidia TeslaV100的GPU的时候，就会由于BIOS预留的内存不足，而以失败告终。并且，即便是通过修改BIOS的源码，重新编译BIOS，让其预留出足够多的内存，也无法应对未来可能出现的占用内存更高的GPU型号。同时，在当前的热插解决方案中，当需要热插多个GPU设备的时候，也会存在问题，导致GPU无法顺利的热插成功。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种在虚拟机中添加GPU资源的方法及装置。
根据本发明实施例的一个方面，提供了一种在虚拟机中添加GPU资源的方法，包括：在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，所述目标虚拟机用于装载容器实例；根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息；启动所述目标虚拟机，并根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机。
进一步，根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息包括：获取所述目标虚拟机对应的KATA组件中的指定配置选项，其中，所述指定配置选项用于指示带启动参数的虚拟机接口；检测所述指定配置选项的标志位，其中，所述标志位用于指示是否添加所述GPU资源；在确定添加所述GPU资源的情况下，根据所述设备标识信息确定所述PCIE标识信息；将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中，其中，所述指定数据结构用于存储PCIE标识信息。
进一步，根据所述设备标识信息确定所述PCIE标识信息包括：枚举所述目标虚拟机的设备列表中的所有设备标识信息，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源；根据物理机的内核目录判断所述GPU资源是否为有效设备，其中，所述物理机用于承载所述目标虚拟机；在所述GPU资源为有效设备的情况下，从所述内核目录中提取所述GPU资源对应的PCIE编号，其中，所述PCIE标识信息包括所述PCIE编号。
进一步，所述设备标识信息包括设备文件路径的前缀字符和全部字符，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源包括：针对所述设备列表中的每个设备标识信息，提取设备文件路径的前缀字符和全部字符；采用第一预设字符比对所述前缀字符，以及采用第二预设字符比对所述全部字符；在所述第一预设字符与所述前缀字符相同且所述第二预设字符与所述全部字符不同的情况下，确定所述设备标识信息对应的设备为符合预设条件的GPU资源。
进一步，根据物理机的内核目录判断所述GPU资源是否为有效设备包括：提取所述GPU资源对应的虚拟机接口的VFIO编号；查询所述内核目录，并判断所述内核目录中是否存在所述VFIO编号；在所述内核目录中存在所述VFIO编号的情况下，确定所述GPU资源为有效设备。
进一步，在将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中的步骤之后，所述方法还包括：对所述指定数据结构中的PCIE标识信息进行去重。
进一步，所述PCIE标识信息包括PCIE编号，所述根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机包括：解析所述PCIE编号，以将所述PCIE编号转换为虚拟操作系统模拟器的启动参数，所述启动参数用于在启动所述目标虚拟机的过程中添加所述GPU资源；将所述启动参数添加到所述虚拟操作系统模拟器的开机命令中；执行所述开机命令，以基于所述目标虚拟机的镜像启动所述目标虚拟机。
进一步，所述目标虚拟机的镜像包括所述GPU资源对应的驱动程序和透传工具，所述方法还包括：通过所述透传工具将所述GPU资源和所述驱动程序添加到所述目标虚拟机的容器实例中。
根据本发明实施例的另一个方面，提供了一种在虚拟机中添加GPU资源的装置，包括：获取模块，用于在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，所述目标虚拟机用于装载容器实例；确定模块，用于根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息；启动模块，用于启动所述目标虚拟机，并根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机。
进一步，所述确定模块包括：获取单元，用于获取所述目标虚拟机对应的KATA组件中的指定配置选项，其中，所述指定配置选项用于指示带启动参数的虚拟机接口；检测单元，用于检测所述指定配置选项的标志位，其中，所述标志位用于指示是否添加所述GPU资源；确定单元，用于在确定添加所述GPU资源的情况下，根据所述设备标识信息确定所述PCIE标识信息；存储单元，用于将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中，其中，所述指定数据结构用于存储PCIE标识信息。
进一步，所述确定单元包括：选择子单元，用于枚举所述目标虚拟机的设备列表中的所有设备标识信息，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源；判断子单元，用于根据物理机的内核目录判断所述GPU资源是否为有效设备，其中，所述物理机用于承载所述目标虚拟机；提取子单元，用于在所述GPU资源为有效设备的情况下，从所述内核目录中提取所述GPU资源对应的PCIE编号，其中，所述PCIE标识信息包括所述PCIE编号。
进一步，所述设备标识信息包括设备文件路径的前缀字符和全部字符，所述选择子单元还用于：针对所述设备列表中的每个设备标识信息，提取设备文件路径的前缀字符和全部字符；采用第一预设字符比对所述前缀字符，以及采用第二预设字符比对所述全部字符；在所述第一预设字符与所述前缀字符相同且所述第二预设字符与所述全部字符不同的情况下，确定所述设备标识信息对应的设备为符合预设条件的GPU资源。
进一步，所述判断子单元还用于：提取所述GPU资源对应的虚拟机接口的VFIO编号；查询所述内核目录，并判断所述内核目录中是否存在所述VFIO编号；在所述内核目录中存在所述VFIO编号的情况下，确定所述GPU资源为有效设备。
进一步，所述确定模块还包括：去重单元，用于在所述存储单元将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中的步骤之后，对所述指定数据结构中的PCIE标识信息进行去重。
进一步，所述PCIE标识信息包括PCIE编号，所述获取模块包括：解析单元，用于解析所述PCIE编号，以将所述PCIE编号转换为虚拟操作系统模拟器的启动参数，所述启动参数用于在启动所述目标虚拟机的过程中添加所述GPU资源；添加单元，用于将所述启动参数添加到所述虚拟操作系统模拟器的开机命令中；执行单元，用于执行所述开机命令，以基于所述目标虚拟机的镜像启动所述目标虚拟机。
进一步，所述目标虚拟机的镜像包括所述GPU资源对应的驱动程序和透传工具，所述添加单元还包括：添加子单元，用于通过所述透传工具将所述GPU资源和所述驱动程序添加到所述目标虚拟机的容器实例中。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本发明实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，目标虚拟机用于装载容器实例，根据设备标识信息确定GPU资源对应的PCIE标识信息，启动目标虚拟机，并根据PCIE标识信息将对应的GPU资源添加至目标虚拟机，通过将GPU资源的设备标识信息确定为对应的PCIE标识信息，可以将目标虚拟机的设备列表中的GPU资源抽象为PCIE设备，可以将GPU资源在虚拟机开机启动时插入到操作系统的启动命令中，进而将GPU资源添加到目标虚拟机中，解决了相关技术在虚拟机中热插GPU需要占用内存的技术问题，解除了在Kata流程中向虚拟机插入GPU资源时BIOS的限制。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种服务器的硬件结构框图；
图2是根据本发明实施例的一种在虚拟机中添加GPU资源的方法的流程图；
图3是本发明实施例在虚拟机中使用GPU的流程示意图；
图4是本发明实施例的虚拟机的内层结构图；
图5是根据本发明实施例的一种在虚拟机中添加GPU资源的装置的结构框图；
图6是实施本发明实施例的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本发明实施例一所提供的方法实施例可以在计算机、服务器或者类似的数据存储设备中执行。以运行在服务器上为例，图1是本发明实施例的一种服务器的硬件结构框图。如图1所示，服务器可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储服务器程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种在虚拟机中添加GPU资源的方法对应的服务器程序，处理器102通过运行存储在存储器104内的服务器程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种在虚拟机中添加GPU资源的方法，图2是根据本发明实施例的一种在虚拟机中添加GPU资源的方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，目标虚拟机用于装载容器实例；
在本实施例中，通过在物理机中插入GPU资源，或者添加一个虚拟化的GPU，都可以在目标虚拟机的设备列表中添加待使用的GPU资源，除了添加GPU资源之外，还可以添加其他类型的逻辑设备，本实施例仅说明GPU资源在目标虚拟机中的添加和使用。
在本实施例的应用场景中，Docker管理KATA组件，KATA组件管理Pod和Pod中的容器，Pod与虚拟机一一对应，一个虚拟机中存在多个容器，受到虚拟机内的KATA组件的Agent模块管理。
本实施例的目标虚拟机所在的设备中，包括Docker容器引擎，KATA组件，操作系统组件。容器实例是采用Docker引擎搭建的容器实例，包括镜像。
步骤S204，根据设备标识信息确定GPU资源对应的PCIE标识信息；
通过确定GPU资源对应的PCIE标识信息，可以在物理机上将GPU资源抽象为PCIE设备，可以将GPU资源在虚拟机开机启动时插入到操作系统的启动命令中，进而将GPU资源添加到目标虚拟机中。
步骤S206，启动目标虚拟机，并根据PCIE标识信息将对应的GPU资源添加至目标虚拟机。
通过上述步骤，在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，目标虚拟机用于装载容器实例，根据设备标识信息确定GPU资源对应的PCIE标识信息，启动目标虚拟机，并根据PCIE标识信息将对应的GPU资源添加至目标虚拟机，通过将GPU资源的设备标识信息确定为对应的PCIE标识信息，可以将目标虚拟机的设备列表中的GPU资源抽象为PCIE设备，可以将GPU资源在虚拟机开机启动时插入到操作系统的启动命令中，进而将GPU资源添加到目标虚拟机中，解决了相关技术在虚拟机中热插GPU需要占用内存的技术问题，解除了在Kata流程中向虚拟机插入GPU资源时BIOS的限制。
在实施例的一个实施方式中，根据设备标识信息确定GPU资源对应的PCIE标识信息包括：
S11，获取目标虚拟机对应的KATA组件中的指定配置选项，其中，指定配置选项用于指示带启动参数的虚拟机接口；
可选的，新添加一个KATA的配置选项：例如命名为VFIOWithLaunchParam(带启动参数的VFIO(Virtual Function IO))。该指定配置选项可选两个标志位，如0和1，分别对应带启动参数的VFIO和不带启动参数的VFIO。本实施例的KATA组件是运行在容器和Docker之间的组件。
S12，检测指定配置选项的标志位，其中，标志位用于指示是否添加GPU资源；
可选的，可以修改KATA社区源代码中的HypervisorConfig(管理程序配置)的数据结构，在其中添加Data.PCIEDevice数据结构，作为数据结构新增的数据项，该结构支持传入一组字符串数据，表示为PCIE设备的编号。
S13，在确定添加GPU资源的情况下，根据设备标识信息确定PCIE标识信息；
S14，将PCIE标识信息存储至目标虚拟机对应的管理程序配置的指定数据结构中，其中，指定数据结构用于存储PCIE标识信息。
在其中一个示例中，根据设备标识信息确定PCIE标识信息包括：枚举目标虚拟机的设备列表中的所有设备标识信息，在设备列表中选择设备标识信息符合预设条件的GPU资源；根据物理机的内核目录判断GPU资源是否为有效设备，其中，物理机用于承载目标虚拟机；在GPU资源为有效设备的情况下，从内核目录中提取GPU资源对应的PCIE编号，其中，PCIE标识信息包括PCIE编号。
在一些实施方式中，设备标识信息包括设备文件路径的前缀字符和全部字符，在设备列表中选择设备标识信息符合预设条件的GPU资源包括：针对设备列表中的每个设备标识信息，提取设备文件路径的前缀字符和全部字符；采用第一预设字符比对前缀字符，以及采用第二预设字符比对全部字符；在第一预设字符与前缀字符相同且第二预设字符与全部字符不同的情况下，确定设备标识信息对应的设备为符合预设条件的GPU资源。
在一个实例中，第一预设字符为/dev/VFIO，第二预设字符为/dev/VFIO/VFIO，枚举设备列表中的每个设备，针对每一个被枚举到的设备，判断其前缀是否为/dev/VFIO且设备的全称不为/dev/VFIO/VFIO如果符合条件，则该设备为VFIO设备，即符合预设条件的GPU资源。
可选的，根据物理机的内核目录判断GPU资源是否为有效设备包括：提取GPU资源对应的虚拟机接口的VFIO编号；查询内核目录，并判断内核目录中是否存在VFIO编号；在内核目录中存在VFIO编号的情况下，确定GPU资源为有效设备。
在一个实例中，内核目录为/sys/kernel/iommu_groups/[VFIO编号]/devices/，通过提取该GPU资源的VFIO编号，并通过查询相关的内核目录/sys/kernel/iommu_groups/[VFIO编号]/devices/如果该目录不存在，则该设备不是有效的VFIO-PCIE设备，如果存在，则为有效设备。
在本实施例的一个实施方式中，在将PCIE标识信息存储至目标虚拟机对应的管理程序配置的指定数据结构中之后，还包括：对指定数据结构中的PCIE标识信息进行去重。
在一个场景中，上述添加和抽象GPU资源的过程设置于原社区流程的createsandbox(创建沙盒)的流程中。在社区的newsandbox被调用之前执行。在一个完整的实例中，包括以下的操作：
S21,通过检查VFIOWithLaunchParam配置选项，通过该配置选项的标志位决定该过程是否启用。
S22,获取虚拟机的设备列表，枚举设备列表中的所有设备。
S23,针对每一个被枚举到的设备，判断其前缀是否为/dev/VFIO且设备的全称不为/dev/VFIO/VFIO如果符合条件，则该设备为符合预设条件的GPU资源。
S24,提取该设备的VFIO编号，并通过查询物理机的内核目录/sys/kernel/iommu_groups/[VFIO编号]/devices/，如果该内核目录不存在上述VFIO编号，则该设备不是有效的VFIO-PCIE设备。
S25,从上述目录中，枚举每个设备的设备文件名，提取其文件名，将文件名确定为该设备的PCIE编号，如果通过上述方式，获取到了合法的PCIE编号，则判断该设备为有效的VFIO-PCIEE设备，需要进行处理。
S26,对于有效的VFIO-PCIE设备，将其从设备列表的设备信息的数据结构中抹除，同时，将从该设备中解析出来的PCIE编号，添加到之前配置的HypervisorConfig的数据结构中。
S27,对添加到HyperviConfig中的PCIE编号进行去重。
在本实施例中，PCIE标识信息包括PCIE编号，根据PCIE标识信息将对应的GPU资源添加至目标虚拟机包括：解析PCIE编号，以将PCIE编号转换为虚拟操作系统模拟器(QEMU，Quick EMUlator)的启动参数，启动参数用于在启动目标虚拟机的过程中添加GPU资源；将启动参数添加到虚拟操作系统模拟器的开机命令中；执行开机命令，以基于目标虚拟机的镜像启动目标虚拟机。
可选的，目标虚拟机的镜像包括GPU资源对应的驱动程序和透传工具，通过透传工具将GPU资源和驱动程序添加到目标虚拟机的容器实例中。
图3是本发明实施例在虚拟机中使用GPU的流程示意图，首先Docker containerd组件发布create容器指令，传递至KATA组件，执行启动虚拟机指令，在开机启动所述目标虚拟机时，将GPU透传至虚拟机，将该指令传输给QEMU(包括KATA-agent)，KATA-agent启动成功后，返回给KATA组件，由KATA组件启动容器指令，不用再热插GPU资源，在QEMU中使用带GPU驱动的虚拟机镜像。
图4是本发明实施例的虚拟机的内层结构图，底层是虚拟机镜像和虚拟机内核文件，中间是带GPU的QEMU和GPU驱动，通过容器工具包与容器进行通信，以英伟达的GPU为例，nvidia-container是一套工具包，用于将虚拟机系统中的相关驱动透传到容器中，使得容器中可以共享虚拟机的相关GPU驱动程序。
在QEMU的启动前，参数解析的过程中。添加了对修改后的HypervisorConfig数据结构里，新添加的Data.PCIEDevice数据结构的解析流程。该解析流程，会将PCIE编号，分别依次解析为对应的QEMU启动参数，并将该启动参数追加到QEMU开机的命令中。完成这一过程之后，继续执行QEMU开机过程。然后执行GPU资源的驱动程序在虚拟机和容器之间的复用，在原始社区的镜像中，添加Nvidia GPU的驱动程序(在此以GPU为Nvidia为例进行说明)，和Nvidia-container的相关工具，通过KATA的Hook机制，调用虚拟机内的相关工具后，在开机启动时被加载到虚拟机中的GPU资源，将会伴随对应的驱动一起透传到对应的容器中。如此，便可以在容器中调用GPU。
本实施例的方案为了让GPU资源，包括V100的GPU资源能够成功的透传到虚拟机内部。修改社区源代码KATA的QEMU组件启动参数相关的数据结构，以此来协助需要额外添加到开机启动中的设备信息在KATA-runtime中的开机流程和配置信息的获取流程之间进行传递。随后添加了相关的开机启动的设备解析过程。通过该解析过程，相关的VFIO-PCIE设备信息可以顺利的在QEMU开机启动的同时，被解析为正确的开机启动参数，添加到QEMU的开机启动命令中。最后，在所有传入容器实例的设备信息中，添加了提取VFIO-PCIE设备信息的处理过程。该处理过程，在获取到所有VFIO-PCIE的设备信息的情况下，也会同步的将相关设备信息从KATA原生的设备信息流程中剔除，以避免之后在社区原生的热插操作中，重复的插入该VFIO-PCIE设备。
通过在物理机上，将所有GPU资源抽象为VFIO-PCIE设备，就可以实现对GPU资源开机启动的时候就插入到QEMU的启动命令中，进而实现对包括Nvidia Tesla V100在内的GPU资源，插入到虚拟机的过程中。在虚拟机层面，使用了已经安装完毕Nvidia驱动的镜像文件。此时再通过社区原生的KATA Hook机制，调用Nvidia官方提供的相关工具和命令，即可完成进一步的从虚拟机内部，将设备和驱动透传给容器实例内部的过程。如此，便可以成功的在容器实例的内部正常的使用物理机上的GPU资源了，实现了GPU到虚拟机之间的透传。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种在虚拟机中添加GPU资源的装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种在虚拟机中添加GPU资源的装置的结构框图，如图5所示，该装置包括：获取模块50，确定模块52，启动模块54，其中，
获取模块50，用于在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，所述目标虚拟机用于装载容器实例；
确定模块52，用于根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息；
启动模块54，用于启动所述目标虚拟机，并根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机。
可选的，所述确定模块包括：获取单元，用于获取所述目标虚拟机对应的KATA组件中的指定配置选项，其中，所述指定配置选项用于指示带启动参数的虚拟机接口；检测单元，用于检测所述指定配置选项的标志位，其中，所述标志位用于指示是否添加所述GPU资源；确定单元，用于在确定添加所述GPU资源的情况下，根据所述设备标识信息确定所述PCIE标识信息；存储单元，用于将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中，其中，所述指定数据结构用于存储PCIE标识信息。
可选的，所述确定单元包括：选择子单元，用于枚举所述目标虚拟机的设备列表中的所有设备标识信息，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源；判断子单元，用于根据物理机的内核目录判断所述GPU资源是否为有效设备，其中，所述物理机用于承载所述目标虚拟机；提取子单元，用于在所述GPU资源为有效设备的情况下，从所述内核目录中提取所述GPU资源对应的PCIE编号，其中，所述PCIE标识信息包括所述PCIE编号。
可选的，所述设备标识信息包括设备文件路径的前缀字符和全部字符，所述选择子单元还用于：针对所述设备列表中的每个设备标识信息，提取设备文件路径的前缀字符和全部字符；采用第一预设字符比对所述前缀字符，以及采用第二预设字符比对所述全部字符；在所述第一预设字符与所述前缀字符相同且所述第二预设字符与所述全部字符不同的情况下，确定所述设备标识信息对应的设备为符合预设条件的GPU资源。
可选的，所述判断子单元还用于：提取所述GPU资源对应的虚拟机接口的VFIO编号；查询所述内核目录，并判断所述内核目录中是否存在所述VFIO编号；在所述内核目录中存在所述VFIO编号的情况下，确定所述GPU资源为有效设备。
可选的，所述确定模块还包括：去重单元，用于在所述存储单元将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中的步骤之后，对所述指定数据结构中的PCIE标识信息进行去重。
可选的，所述PCIE标识信息包括PCIE编号，所述获取模块包括：解析单元，用于解析所述PCIE编号，以将所述PCIE编号转换为虚拟操作系统模拟器的启动参数，所述启动参数用于在启动所述目标虚拟机的过程中添加所述GPU资源；添加单元，用于将所述启动参数添加到所述虚拟操作系统模拟器的开机命令中；执行单元，用于执行所述开机命令，以基于所述目标虚拟机的镜像启动所述目标虚拟机。
可选的，所述目标虚拟机的镜像包括所述GPU资源对应的驱动程序和透传工具，所述添加单元还包括：添加子单元，用于通过所述透传工具将所述GPU资源和所述驱动程序添加到所述目标虚拟机的容器实例中。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本申请实施例还提供了一种电子设备，图6是本发明实施例的一种电子设备的结构图，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信，存储器63，用于存放计算机程序；处理器61，用于执行存储器63上所存放的程序时，实现如下步骤：在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，所述目标虚拟机用于装载容器实例；根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息；启动所述目标虚拟机，并根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机。
可选的，根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息包括：获取所述目标虚拟机对应的KATA组件中的指定配置选项，其中，所述指定配置选项用于指示带启动参数的虚拟机接口；检测所述指定配置选项的标志位，其中，所述标志位用于指示是否添加所述GPU资源；在确定添加所述GPU资源的情况下，根据所述设备标识信息确定所述PCIE标识信息；将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中，其中，所述指定数据结构用于存储PCIE标识信息。
可选的，根据所述设备标识信息确定所述PCIE标识信息包括：枚举所述目标虚拟机的设备列表中的所有设备标识信息，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源；根据物理机的内核目录判断所述GPU资源是否为有效设备，其中，所述物理机用于承载所述目标虚拟机；在所述GPU资源为有效设备的情况下，从所述内核目录中提取所述GPU资源对应的PCIE编号，其中，所述PCIE标识信息包括所述PCIE编号。
可选的，所述设备标识信息包括设备文件路径的前缀字符和全部字符，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源包括：针对所述设备列表中的每个设备标识信息，提取设备文件路径的前缀字符和全部字符；采用第一预设字符比对所述前缀字符，以及采用第二预设字符比对所述全部字符；在所述第一预设字符与所述前缀字符相同且所述第二预设字符与所述全部字符不同的情况下，确定所述设备标识信息对应的设备为符合预设条件的GPU资源。
可选的，根据物理机的内核目录判断所述GPU资源是否为有效设备包括：提取所述GPU资源对应的虚拟机接口的VFIO编号；查询所述内核目录，并判断所述内核目录中是否存在所述VFIO编号；在所述内核目录中存在所述VFIO编号的情况下，确定所述GPU资源为有效设备。
可选的，在将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中的步骤之后，所述方法还包括：对所述指定数据结构中的PCIE标识信息进行去重。
可选的，所述PCIE标识信息包括PCIE编号，所述根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机包括：解析所述PCIE编号，以将所述PCIE编号转换为虚拟操作系统模拟器的启动参数，所述启动参数用于在启动所述目标虚拟机的过程中添加所述GPU资源；将所述启动参数添加到所述虚拟操作系统模拟器的开机命令中；执行所述开机命令，以基于所述目标虚拟机的镜像启动所述目标虚拟机。
可选的，所述目标虚拟机的镜像包括所述GPU资源对应的驱动程序和透传工具，所述方法还包括：通过所述透传工具将所述GPU资源和所述驱动程序添加到所述目标虚拟机的容器实例中。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的在虚拟机中添加GPU资源的方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的在虚拟机中添加GPU资源的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种在虚拟机中添加GPU资源的方法，其特征在于，包括：
在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，所述目标虚拟机用于装载容器实例；
根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息；
启动所述目标虚拟机，并根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机。
2.根据权利要求1所述的方法，其特征在于，根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息包括：
获取所述目标虚拟机对应的KATA组件中的指定配置选项，其中，所述指定配置选项用于指示带启动参数的虚拟机接口；
检测所述指定配置选项的标志位，其中，所述标志位用于指示是否添加所述GPU资源；
在确定添加所述GPU资源的情况下，根据所述设备标识信息确定所述PCIE标识信息；
将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中，其中，所述指定数据结构用于存储PCIE标识信息。
3.根据权利要求2所述的方法，其特征在于，根据所述设备标识信息确定所述PCIE标识信息包括：
枚举所述目标虚拟机的设备列表中的所有设备标识信息，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源；
根据物理机的内核目录判断所述GPU资源是否为有效设备，其中，所述物理机用于承载所述目标虚拟机；
在所述GPU资源为有效设备的情况下，从所述内核目录中提取所述GPU资源对应的PCIE编号，其中，所述PCIE标识信息包括所述PCIE编号。
4.根据权利要求3所述的方法，其特征在于，所述设备标识信息包括设备文件路径的前缀字符和全部字符，在所述设备列表中选择设备标识信息符合预设条件的所述GPU资源包括：
针对所述设备列表中的每个设备标识信息，提取设备文件路径的前缀字符和全部字符；
采用第一预设字符比对所述前缀字符，以及采用第二预设字符比对所述全部字符；
在所述第一预设字符与所述前缀字符相同且所述第二预设字符与所述全部字符不同的情况下，确定所述设备标识信息对应的设备为符合预设条件的GPU资源。
5.根据权利要求3所述的方法，其特征在于，根据物理机的内核目录判断所述GPU资源是否为有效设备包括：
提取所述GPU资源对应的虚拟机接口的VFIO编号；
查询所述内核目录，并判断所述内核目录中是否存在所述VFIO编号；
在所述内核目录中存在所述VFIO编号的情况下，确定所述GPU资源为有效设备。
6.根据权利要求2所述的方法，其特征在于，在将所述PCIE标识信息存储至所述目标虚拟机对应的管理程序配置的指定数据结构中的步骤之后，所述方法还包括：
对所述指定数据结构中的PCIE标识信息进行去重。
7.根据权利要求1所述的方法，其特征在于，所述PCIE标识信息包括PCIE编号，所述根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机包括：
解析所述PCIE编号，以将所述PCIE编号转换为虚拟操作系统模拟器的启动参数，所述启动参数用于在启动所述目标虚拟机的过程中添加所述GPU资源；
将所述启动参数添加到所述虚拟操作系统模拟器的开机命令中；
执行所述开机命令，以基于所述目标虚拟机的镜像启动所述目标虚拟机。
8.根据权利要求7所述的方法，其特征在于，所述目标虚拟机的镜像包括所述GPU资源对应的驱动程序和透传工具，所述方法还包括：
通过所述透传工具将所述GPU资源和所述驱动程序添加到所述目标虚拟机的容器实例中。
9.一种在虚拟机中添加GPU资源的装置，其特征在于，包括：
获取模块，用于在目标虚拟机的设备列表中获取待使用的GPU资源的设备标识信息，其中，所述目标虚拟机用于装载容器实例；
确定模块，用于根据所述设备标识信息确定所述GPU资源对应的PCIE标识信息；
启动模块，用于启动所述目标虚拟机，并根据所述PCIE标识信息将对应的GPU资源添加至所述目标虚拟机。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至8中任一项所述的方法步骤。
11.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至8中任一项所述的方法步骤。
CN202111112333.XA 2021-09-18 2021-09-18 在虚拟机中添加gpu资源的方法及装置 Pending CN113849272A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111112333.XA CN113849272A (zh) 2021-09-18 2021-09-18 在虚拟机中添加gpu资源的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111112333.XA CN113849272A (zh) 2021-09-18 2021-09-18 在虚拟机中添加gpu资源的方法及装置

Publications (1)

Publication Number Publication Date
CN113849272A true CN113849272A (zh) 2021-12-28

Family

ID=78979127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111112333.XA Pending CN113849272A (zh) 2021-09-18 2021-09-18 在虚拟机中添加gpu资源的方法及装置

Country Status (1)

Country Link
CN (1) CN113849272A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028164A (zh) * 2023-03-29 2023-04-28 阿里云计算有限公司 设备虚拟化方法以及装置
CN116719605A (zh) * 2023-06-09 2023-09-08 摩尔线程智能科技(北京)有限责任公司 一种gpu负载部署方法及云计算平台、电子设备
CN117234741A (zh) * 2023-11-14 2023-12-15 苏州元脑智能科技有限公司 资源管理与调度方法、装置、电子设备以及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028164A (zh) * 2023-03-29 2023-04-28 阿里云计算有限公司 设备虚拟化方法以及装置
CN116719605A (zh) * 2023-06-09 2023-09-08 摩尔线程智能科技(北京)有限责任公司 一种gpu负载部署方法及云计算平台、电子设备
CN117234741A (zh) * 2023-11-14 2023-12-15 苏州元脑智能科技有限公司 资源管理与调度方法、装置、电子设备以及存储介质
CN117234741B (zh) * 2023-11-14 2024-02-20 苏州元脑智能科技有限公司 资源管理与调度方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN113849272A (zh) 在虚拟机中添加gpu资源的方法及装置
US9301164B2 (en) Method, system, and terminal for performing system update between mobile communication terminals
CN109062617B (zh) 一种支持多类型设备的平台的应用方法、移动终端
CN110134446B (zh) 启动pcie设备扫描的方法
CN111782339B (zh) 一种容器创建方法、装置、电子设备及存储介质
CN111338662A (zh) 从站的固件升级方法、固件升级装置及终端
CN106959927B (zh) 获取虚拟机中的逻辑分区的位置信息的方法及装置
CN114398172A (zh) 资源配置方法、装置、电子设备及计算机可读存储介质
CN107220085B (zh) 一种自动升级raid卡固件的方法
US10503430B2 (en) Method and device for clearing data and electronic device
CN104601798B (zh) 一种定制应用程序启动控制方法及装置
CN113849269A (zh) 在虚拟机中添加gpu资源的方法及装置
EP3499365A1 (en) Method and device for use in accessing container
CN102929662A (zh) 一种基于网络批量分区的方法
CN114816491A (zh) 用于多系统移动终端的系统升级方法、装置及终端
CN110377345B (zh) 系统启动文件的处理方法及装置
CN116909634A (zh) 射频驱动的识别方法、装置、存储介质以及电子设备
CN116450046A (zh) 云盘实现方法、装置、智能网卡、服务器及存储介质
CN116627472A (zh) 高速外围组件设备的固件程序升级方法及服务器
CN115878327A (zh) 总线预留方法、装置、服务器、电子设备和存储介质
CN107688479B (zh) Android系统网络集群及其搭建的方法、Android系统网络集群数据处理的方法和系统
CN115469964A (zh) 块设备与虚拟机盘符之间映射关系的确定方法和装置
CN113472611A (zh) 获取WiFi信号强度的方法、装置及可读存储介质
CN108804144B (zh) 操作系统启动的控制方法/系统、存储介质及电子设备
CN111736858A (zh) 一种终端设备的升级方法、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination