CN113434261A - 异构计算设备虚拟化方法及系统 - Google Patents

Abstract

本申请公开了异构计算设备虚拟化方法及系统。其中，所述方法包括：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。采用这种处理方式，使得以逻辑异构计算设备的方式供用户使用，建立异构领域的新设备形态，不仅软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，且支持弹性效率和空间更大，有效提升了异构计算设备的虚拟化能力。

Description

异构计算设备虚拟化方法及系统

技术领域

本申请涉及云计算技术领域，具体涉及异构计算设备虚拟化方法及系统，异构计算设备板卡，应用开发装置，虚拟异构计算设备管理器，虚拟化管理系统。

背景技术

云计算的发展已经进入到云原生时代，云原生（Cloud Native）是基于分布部署和统一运管的分布式云，以容器、微服务、DevOps（过程、方法与系统的统称）等技术为基础建立的一套云技术产品体系。云原生应用是面向“云”而设计的应用，相对于传统的虚拟机或者裸机时代，云原生时代的人工智能AI应用小型化，常态化，AI应用越来越轻量化，如单服务的算力诉求只有1Tops（处理器每秒钟可进行一万亿次操作）。

为了解决AI应用计算复杂的问题，企业通常会构建共享的异构计算设备（XPU）集群，用来支持横跨多个领域产品的发展，如计算机视觉、自然语言处理、语音识别、推荐和广告服务等。异构计算设备算力大，又称为异构AI加速硬件，如GPU、NPU、ASIC、FPGA硬件等。目前，异构AI加速硬件虚拟化主要采用通用并行计算架构（Compute Unified DeviceArchitecture，CUDA），该架构通过静态异构资源调度和分配显存的方式共享单个XPU。

然而，在实现本发明过程中，发明人发现上述异构AI加速硬件虚拟化技术方案至少存在如下问题：1）异构计算设备的AI芯片往往都是几百Tops，在面向单服务的算力诉求较低（如只有1Tops）的云原生应用时，静态调度方式共享异构设备相比网络和存储不足，单芯片只能虚拟化成几个设备，当前的AI芯片虚拟化能力不足，无法满足云原生几百甚至上千弹性诉求，即无法满足云原生多租户的共享诉求；2）呈现给用户的显存容量之间无法隔离，用户看到整个空间的显存，安全上存在风险。综上所述，在单服务算力诉求较低的云原生场景中，现有技术存在异构计算设备的虚拟化技术能力不足等问题。

发明内容

本申请提供异构计算设备虚拟化方法，以解决现有技术存在的面向云原生应用异构虚拟化能力不足等问题。本申请另外提供异构计算设备虚拟化系统，异构计算设备板卡，应用开发装置，虚拟异构计算设备管理器，虚拟化管理系统。

本申请提供一种异构计算设备虚拟化系统，包括：

将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；

为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；

根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

可选的，还包括：

确定目标应用的异构计算资源需求量；

所述为目标应用的虚拟运行环境分配虚拟异构计算资源，采用如下方式：

根据所述资源需求量，为所述虚拟运行环境分配所述虚拟异构计算资源。

可选的，所述目标应用包括人工智能应用；

根据机器学习模型的类型和参数，确定所述资源需求量。

可选的，根据预设的资源分配量,为所述虚拟运行环境分配虚拟异构计算资源。

可选的，所述目标应用为重量级应用；

将基于多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给一个重量级应用。

可选的，所述目标应用为轻量级应用；

将基于一个或者多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给多个轻量级应用。

可选的，所述虚拟异构计算资源包括以下资源的至少一项：算力，异构处理器主存，算子列表，通信带宽。

可选的，所述虚拟运行环境包括：容器或者虚拟机。

可选的，不同应用对应的不同虚拟异构计算设备之间相互隔离使用异构处理器主存。

可选的，所述虚拟异构计算设备在主机操作系统中的以逻辑异构计算设备或者文件方式呈现。

本申请还提供一种异构计算设备虚拟化系统，包括：

异构计算设备虚拟化装置，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；

异构设备资源池管理装置，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

可选的，云平台服务端与异构计算设备之间通过网络连接；

所述异构计算设备虚拟化装置部署在云平台服务端；

所述异构设备资源池管理装置部署在异构计算设备端。

可选的，云平台服务端与异构计算设备位于同一服务器；

所述异构计算设备虚拟化装置和所述异构设备资源池管理装置部署在服务器中。

本申请还提供一种异构计算设备板卡，包括：

资源统一单元，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；

虚拟资源调度单元，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；

物理资源调度单元，用于根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

本申请还提供一种应用开发装置，用于以虚拟异构计算设备为编程视图，确定在虚拟运行环境中使用异构计算资源运行目标应用的程序代码。

本申请还提供一种虚拟异构计算设备管理器，用于管理虚拟异构计算设备；

所述虚拟异构计算设备采用如下方式处理：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

可选的，所述管理虚拟异构计算设备包括：显示虚拟异构计算设备的属性信息。

可选的，所述属性信息包括以下信息的至少一项：算力资源量，算力使用率，异构处理器主存容量，主存使用率，算子列表，异构计算板卡的通信带宽，异构计算节点的通信带宽。

本申请还提供一种虚拟化管理系统，包括：

异构计算设备虚拟化插件，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

本申请还提供一种电子设备，包括：

处理器和存储器；

存储器，用于存储实现根据上述任一项所述的方法的程序，该设备通电并通过所述处理器运行该方法的程序。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。

本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。

与现有技术相比，本申请具有以下优点：

本申请实施例提供的异构计算设备虚拟化方法，通过将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。采用这种处理方式，使得直接以算力设备的方式将异构计算设备资源呈现给主机系统，虚拟的算力设备通过两层映射和调度，按照逻辑异构计算设备的方式，呈现的容量和算力可按需分配，可动态的增加算力数量和容量，从而保证面向云原生的细粒度切分的诉求，支持弹性效率和空间更大；因此，可以有效提升异构计算设备的虚拟化能力。此外，通过两层调度和映射的方式解耦硬件，以逻辑异构计算设备的方式供用户使用，确保最终租户看到的是逻辑异构计算设备，实现软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，在系统层面无需依赖PCIE设备和驱动；因此，可以有效提升开发效率。再者，呈现给用户的显存容量之间相互隔离，可确保多租户之间的隔离性，用户不会看到整个空间的显存；因此，可以有效提升安全性。

本申请实施例提供的应用开发装置，通过以虚拟异构计算设备为编程视图，确定在虚拟运行环境中使用异构计算资源运行目标应用的程序代码，使得以逻辑异构计算设备的方式供用户使用，确保最终租户看到的是逻辑异构计算设备，实现软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，在系统层面无需依赖PCIE设备和驱动；因此，可以有效提升开发效率。

本申请实施例提供的虚拟异构计算设备管理器，可对虚拟异构计算设备进行查看、调整等，以使得虚拟异构计算设备更好的支持目标应用运行；因此，可以有效提升应用运行性能，以及有效使用虚拟异构计算资源。

本申请实施例提供的虚拟化管理系统，可在现有虚拟化管理基础上，进一步进行异构计算设备的虚拟化管理，使得系统层面不再依赖PCIE设备和驱动，以逻辑异构计算设备的方式供用户使用，建立异构领域的新设备形态，不仅软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，且支持弹性效率和空间更大，有效提升了异构计算设备的虚拟化能力。

附图说明

图1本申请提供的方法实施例的流程示意图；

图2本申请提供的方法实施例的虚拟化架构示意图；

图3本申请提供的方法实施例的虚拟设备示意图；

图4本申请提供的方法实施例的一虚多示意图；

图5本申请提供的方法实施例的多虚一示意图；

图6本申请提供的方法实施例的虚拟设备初始流示意图；

图7本申请提供的方法实施例的整体资源管控示意图；

图8本申请提供的方法实施例的整体资源使用示意图；

图9a现有技术中虚拟化设备的管理界面示意图；

图9b本申请提供的方法实施例的虚拟异构计算设备的管理界面示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，提供了异构计算设备虚拟化方法及系统，异构计算设备板卡，应用开发装置，虚拟异构计算设备管理器，虚拟化管理系统。在下面的实施例中逐一对各种方案进行详细说明。

第一实施例

请参考图1，其为本申请的异构计算设备虚拟化方法的实施例的流程示意图。在本实施例中，所述方法可包括如下步骤：

步骤S101：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系。

所述异构计算设备（XPU），具有算力大的特点，又称为异构人工智能（AI）加速硬件。所述异构计算设备，包括但不限于：图形处理器（GPU）、神经网络处理器（NPU）、张量处理器（TPU，ASIC芯片）、FPGA硬件等。具体实施时，所述异构计算设备还可以是中央处理器（CPU）。

本申请实施例提供的方法，可将至少一个异构计算设备的物理异构计算资源抽象成统一的虚拟异构计算资源。所述至少一个异构计算设备，可以包括不同厂商、不同类型的异构计算设备，如可包括多个不同厂商的GPU、NPU、TPU及CPU。

所述虚拟异构计算资源，是至少一个异构计算设备的统一化管理资源。所述虚拟异构计算资源，可以是不同厂商、不同类型的多个异构计算设备的统一资源，不区分设备厂商及设备类型等信息。同样的，所述虚拟异构计算资源，包括但不限于：算力，异构处理器主存，算子列表，通信带宽（如异构计算设备通信带宽，计算节点通信带宽）。

请参考图2，其为本申请的方法实施例的虚拟化架构图。在本实施例中，可通过虚拟化统一应用程序接口3（简称虚拟统一API）将支持人工智能AI应用运行的物理的异构计算设备的资源（即：物理异构计算资源）抽象成统一的虚拟异构计算资源，通过虚拟统一API抽象后，形成虚拟异构计算资源与物理异构计算资源的映射关系。由图2可见，硬件的异构计算设备，可以是XPU盒（XPU box）、XPU服务器（XPU server）、簇（XPU cluster）等。

如图3所示，虚拟统一API可通过对于多种硬件异构计算设备的抽象，将异构计算设备的厂家和算力形态等信息进行封装，统一呈现算力（如Tflops/Tops或者其他表示算力的方式）、异构处理器主存（如MB/GB/PB的形态）、算力列表、拓扑形态（如树形、环形、混合类型等）等属性。

步骤S103：为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备。

本申请实施例提供的方法提出了新的设备形态，即虚拟异构计算设备（简称虚拟设备或者虚拟算力设备，记作virtuldev）。所述虚拟异构计算设备，是根据虚拟异构计算资源创建的设备。这种虚拟设备占用的虚拟异构计算资源可按需分配，也可以静态方式分配。此外，不同应用对应的不同虚拟异构计算设备之间相互隔离使用异构处理器主存。也就是说，这种虚拟设备呈现给用户的异构处理器主存容量之间相互隔离，可确保多租户之间的隔离性，用户不会看到整个空间的主存。

而在现有技术中，是通过异构全栈层次中的编译层进行异构计算设备的虚拟化处理。该编译层通过中间表达式IR、虚拟设备编译和虚拟设备驱动的方式，支持异构计算设备的虚拟化，其呈现的虚拟化异构设备并非根据本申请提出的统一化的虚拟异构计算资源创建，而是直接根据异构计算设备的硬件异构计算资源进行创建，因此现有技术中的虚拟化异构设备实质为硬件设备，其设备名中包括硬件信息，如/dev/nvidia0，其中包括厂商信息，这是现有技术与本申请实施例提供的方法的本质区别。现有技术中的单芯片只能虚拟化成几个设备，且呈现给用户的显存容量之间无法隔离，用户看到整个空间的显存。

所述虚拟运行环境用于运行目标应用。所述虚拟运行环境，可以是容器，也可以是虚拟机。容器和虚拟机之间的主要区别在于虚拟化层的位置和操作系统资源的使用方式。在容器内，可最小化其对外界的影响，比如不能在容器内把宿主机上的资源全部消耗，这就是资源控制。

本申请实施例提供的方法，抽象一种虚拟的异构计算设备，可在主机操作系统中呈现为一种逻辑异构计算设备，设备名中不包括任何硬件信息，如/dev/odla0…n或者是/dev/xpu0。虚拟设备是可根据统一的开放深度学习ODLA API（开放深度学习API，opendeeplearning API）虚拟的算力设备。虚拟设备可面向用户呈现：算力、显存容量、拓扑结构等信息。

需要说明的是，具体实施时，所述虚拟异构计算设备在主机操作系统中，既可采用逻辑异构计算设备方式呈现，也可采用文件方式呈现。

在本实施例中，虚拟统一API可向异构设备虚拟化平台呈现基本属性和扩展属性。其中，基本属性包括但不限于：1、设备厂家（Vendor）：可以自定义；2、算力：描述设备支持的算力，可以xxTflops/Tops等方式描述，可根据物理设备进行枚举和抽象；3、算子：描述设备支持的算子列表，如abs/conv等等，可按照odla的统一API接口算力列表；4、Type：描述设备支持的数据类型，定点或者浮点；5、Data：描述设备支持的数据类型，如INT8---Float64的覆盖度；6、显存：描述设备的Mem容量，如xxMB。

所述扩展属性包括但不限于：1、异构计算设备互联（简称为XPU互联或者芯片互联）：描述设备是否支持芯片间互联，可面向多个物理的异构计算设备虚拟化成一个虚拟异构计算设备的场景，具体属性值可以是支持或者不支持，还可包括支持带宽xxGB/s；2、跨主机（Node）互联（简称为节点互联）：描述设备是否支持跨主机互联，主要面向多个物理的异构计算设备虚拟化成一个虚拟异构计算设备的场景，支持/不支持，支持的带宽xxGB/s。

如图2所示，本实施例通过异构设备虚拟化平台，以硬件或者软件的方式，将云平台服务端本地或者网络中的硬件的异构计算设备虚拟化，在主机操作系统中呈现为一种逻辑的/dev/odla设备，虚拟化平台支持多个（1-N）虚拟设备的呈现，也可负责将物理异构计算设备映射成为逻辑的虚拟异构计算设备。

在一个示例中，所述方法还可包括如下步骤：确定目标应用的异构计算资源需求量；相应的，根据所述资源需求量，为所述虚拟运行环境分配所述虚拟异构计算资源。采用这种处理方式，可实现动态调度方式共享异构设备，按照逻辑异构计算设备的方式，呈现的容量和算力可按需分配，动态的增加算力数量和主存容量，从而保证面向云原生的细粒度切分的诉求，支持弹性效率和空间更大。

所述资源需求量，可包括算力需求量、算子需求量、异构处理器主存需求量，如GPU显存需求量等。例如，所述目标应用可以是人工智能应用，可根据机器学习模型的类型和参数，确定所述资源需求量。

具体实施时，可通过虚拟化统一应用程序接口呈现异构计算设备的虚拟异构计算资源的属性信息，所述虚拟异构计算资源的属性信息可以是算力、算子列表、异构处理器主存、通信带宽等。在本实施例中，可使用虚拟资源调度器分配虚拟异构计算资源，可将所述资源需求量作为虚拟资源调度器的输入参数，虚拟资源调度器返回分配的虚拟异构计算资源，根据返回的虚拟异构计算资源，即可创建虚拟异构计算设备。

如图2所示，所述目标应用可以是算力诉求较低（如1Tops）的轻量级应用（如微服务），也可以是算力诉求居中（如1Pflops）的中量级应用，还可以是算力诉求较高（如1Eflops）的重量级应用（如单体应用）。

所述微服务是相对于单体应用而言的概念，单体应用将所有功能都打包成在一个独单元的应用程序中。微服务架构将单体应用分散成多个服务。在微服务架构下，一个用户的请求往往涉及多个内部服务调用。例如，网上超市包括用户服务、商品服务、订单服务、促销服务、数据分析服务等微服务，针对用户在网上超市的下订单请求，微服务内部会产生服务调用。

如图4所示，在一种情况下，所述目标应用为轻量级应用；将基于一个或者多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给多个轻量级应用。这样，可将一个物理异构计算设备虚拟化成多个虚拟异构计算设备，分配给多个轻量级应用使用。

如图5所示，在另一种情况下，所述目标应用为重量级应用；将基于多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给一个重量级应用。这样，可将多个物理异构计算设备虚拟化成一个虚拟异构计算设备，只分配给一个应用或少数几个重量级应用使用。

在本实施例中，虚拟化统一API先将异构计算设备的物理异构计算资源抽象成统一的虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；然后，可由容器确定目标应用的资源需求量，向虚拟化平台发送资源请求；虚拟化平台通过虚拟资源调度器，为所述容器分配虚拟异构计算资源，形成与容器对应的虚拟异构计算设备；容器通过虚拟化平台呈现的虚拟异构计算设备，运行目标应用；虚拟化平台通过物理资源调度器，根据所述映射关系，调度与虚拟异构计算设备对应的物理异构计算资源，用于支持在容器中运行目标应用。

在另一个示例中，根据预设的资源分配量,为所述虚拟运行环境分配虚拟异构计算资源。所述预设的资源分配量，可包括虚拟异构计算设备占用的虚拟异构计算资源的预设量，如算力预设量、算子预设量、处理器主存预设量等。采用这种处理方式，使得将硬件异构计算设备虚拟化成占用固定资源量的虚拟异构计算设备。

步骤S105：根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

本申请实施例提供的方法可根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，运行虚拟异构计算设备。

如图2所示，在本实施例中，将支持人工智能AI应用运行的物理异构计算设备的算力资源，通过虚拟统一API抽象后，通过网络通讯，在用户侧，通过异构计算设备虚拟化平台虚拟化后，给主机系统和容器中呈现一种虚拟设备，虚拟设备的算力与硬件无关，面向用户的应用（APP）形态呈现算力，当用户APP请求时，通过两层调度（虚拟资源调度器和物理资源调度器）的方式分配物理异构计算资源，从而实现面向不同APP算力请求，实现快速的弹性，同时也减少了用户对于硬件形态的感知，提升易用性。

图6示出了本实施例中虚拟设备的初始流，虚拟设备初始流可包括如下步骤：1）异构计算设备上电并运行基本输入输出系统BIOS；2）物理设备创建（emulate）；3）运行驱动程序和开发包SDK；4）系统能力评估，如异构计算设备的各种资源（算力、算子、主存等）的可用量等；5）虚拟设备创建（emulate）；6）运行虚拟设备；7）虚拟运行环境（如容器或者虚拟机）连接虚拟设备；8）虚拟运行环境运行目标应用。

具体实施时，可通过虚拟资源调度器，为所述虚拟运行环境分配所述虚拟异构计算资源。以及，通过硬件资源调度器，根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。如图7所示的整体资源管控示意图，在本实施例中，整体资源调度分为虚拟设备和物理设备调度两部分。物理资源调度器感知下层的异构物理计算设备，如CPU设备、AISC设备、GPU设备。虚拟资源调度器，调度和分配异构虚拟算力设备，上层的APP/框架完全不用感知具体的物理设备厂家/型号/拓扑结构。

如图8所示，在本实施例中，目标应用为机器学习模型训练任务或者预测（推理）任务，整体资源使用可包括如下步骤：1）确定要预测或者训练的任务，即确定目标应用；2）确定该任务涉及的深度学习模型的类型和参数；3）算力和主存需求估计,即对目标应用的资源需求量进行预测；4）通信带宽估计,即对目标应用的通信带宽需求量进行预测；5）为目标应用分配虚拟异构计算资源，向主机系统呈现虚拟异构计算设备；6）根据所述映射关系，将虚拟异构计算资源映射成物理异构计算资源；7）通过物理资源调度器，调度物理异构计算资源；8）执行模型预测和训练处理。

从上述实施例可见，本申请实施例提供的异构计算设备虚拟化方法，通过将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。采用这种处理方式，使得直接以算力设备的方式将异构计算设备资源呈现给主机系统，虚拟的算力设备通过两层映射和调度，按照逻辑异构计算设备的方式，呈现的容量和算力可按需分配，可动态的增加算力数量和容量，从而保证面向云原生的细粒度切分的诉求，支持弹性效率和空间更大；因此，可以有效提升异构计算设备的虚拟化能力。此外，通过两层调度和映射的方式解耦硬件，以逻辑异构计算设备的方式供用户使用，确保最终租户看到的是逻辑异构计算设备，实现软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，在系统层面无需依赖PCIE设备和驱动；因此，可以有效提升开发效率。再者，呈现给用户的显存容量之间相互隔离，可确保多租户之间的隔离性，用户不会看到整个空间的显存；因此，可以有效提升安全性。

第二实施例

在上述的实施例中，提供了一种异构计算设备虚拟化方法，与之相对应的，本申请还提供一种异构计算设备虚拟化系统。本实施例提供的系统与实施例一提供的方法相对应，所以描述得比较简单，相关之处参见实施例一的部分说明即可。

本申请另外提供一种异构计算设备虚拟化系统，包括：异构计算设备虚拟化装置和异构设备资源池管理装置。

所述异构计算设备虚拟化装置，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备。所述异构设备资源池管理装置，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

在一个示例中，云平台服务端与异构计算设备之间通过网络连接，如图2所示。在这种情况下，可将所述异构计算设备虚拟化装置部署在云平台服务端，将所述异构设备资源池管理装置部署在异构计算设备端。

在一个示例中，云平台服务端与异构计算设备位于同一服务器，所述异构计算设备虚拟化装置和所述异构设备资源池管理装置可部署在同一服务器中。

第三实施例

在上述的实施例中，提供了一种异构计算设备虚拟化方法，与之相对应的，本申请还提供一种异构计算设备板卡（如GPU芯片、NPU芯片）。该板卡是与上述方法实施例二相对应。由于板卡实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的板卡实施例仅仅是示意性的。

本申请提供一种异构计算设备板卡，包括：资源统一单元，虚拟资源调度单元，物理资源调度单元。

所述资源统一单元，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系。所述虚拟资源调度单元，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备。所述物理资源调度单元，用于根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

第四实施例

在上述的实施例中，提供了异构计算设备虚拟化方法，与之相对应的，本申请还提供一种电子设备。该设备是与上述方法的实施例相对应。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现根据上述任一项方法的程序，该设备通电并通过所述处理器运行该方法的程序。

所述电子设备，可以是异构计算设备板卡，也可以是云平台服务器等。

第五实施例

在上述的实施例中，提供了异构计算设备虚拟化方法，与之相对应的，本申请还提供一种应用开发装置。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种应用开发装置，用于以虚拟异构计算设备为编程视图，确定在虚拟运行环境中使用异构计算资源运行目标应用的程序代码。应用程序代码可不包括对于不同异构计算设备的硬件形态的驱动和接口适配的代码，对开发人员而言，实现了软硬件解耦。

所述以虚拟异构计算设备为编程视图，是指可直接针对虚拟异构计算设备进行编程。具体实施时，应用开发人员可通过应用开发装置，编写申请虚拟异构计算资源的代码（如通过虚拟资源调度器申请虚拟异构计算资源），该资源申请代码可包括上述实施例中所述的资源需求量，如算力需求量、主存需求量、通信带宽需求量等。在程序代码中，可使用虚拟异构计算设备，比如虚拟异构计算设备为/dev/xpu0，使用该虚拟异构计算设备的代码为open(/dev/xpu0)。

从上述实施例可见，本申请实施例提供的应用开发装置，通过以虚拟异构计算设备为编程视图，确定在虚拟运行环境中使用异构计算资源运行目标应用的程序代码，使得以逻辑异构计算设备的方式供用户使用，确保最终租户看到的是逻辑异构计算设备，实现软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，在系统层面无需依赖PCIE设备和驱动；因此，可以有效提升开发效率。

第六实施例

在上述的实施例中，提供了异构计算设备虚拟化方法，与之相对应的，本申请还提供一种虚拟异构计算设备管理器。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种虚拟异构计算设备管理器，用于管理虚拟异构计算设备。

所述虚拟异构计算设备采用如下方式处理：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

在本实施例中，在运行虚拟异构计算设备后，还可管理虚拟异构计算设备，以供设备管理员使用。

在一个示例中，可显示虚拟异构计算设备的属性信息，以管理虚拟异构计算设备。所述属性信息，包括但不限于：设备名，设备状态，资源总量及使用率，通信带宽，设备拓扑结构。

请参考图9a和图9b，其示出了现有技术与本申请提供的方法进行虚拟化异构计算设备的效果对比图。其中，图9a为现有技术中对异构计算设备进行虚拟化处理得到的虚拟化设备的管理界面示意图，其为物理设备显示，以某个芯片厂商的管理工具$nvidia-smi为例，从中可见虚拟化设备为GPU设备，GPU类型包括硬件芯片型号，此外还包括功耗、温度、风扇转速等硬件设备的属性信息。在现有技术中，虚拟化设备可以为GPU设备、NPU设备、BPU设备等。图9b为采用本申请实施例提供的方法对异构计算设备进行虚拟化处理得到的虚拟化设备（即虚拟异构计算设备）的管理界面示意图，其为逻辑设备显示，统一呈现算力，如采用工具halo-info，从中可见该设备统一为XPU设备，设备名为xPU0，并不区分GPU、BPU、NPU设备等，且该设备不包括任何硬件属性信息。需要注意的是，虚拟异构计算设备包括：算力（10Tlops）及其使用率，该属性信息在如图9a所示的现有技术中并不存在。此外，虚拟异构计算设备还可包括xPU互联及其通信带宽使用率、节点互联及其通信带宽使用率等属性。

在另一个示例中，可调整虚拟异构计算设备，以管理虚拟异构计算设备。例如，所述设备管理员可以是目标应用的运维人员，可通过虚拟异构计算设备管理器查看并调整虚拟设备的拓扑结构，对目标应用的运行环境进行调优处理。

从上述实施例可见，本申请实施例提供的虚拟异构计算设备管理器，可对虚拟异构计算设备进行查看、调整等，以使得虚拟异构计算设备更好的支持目标应用运行；因此，可以有效提升应用运行性能，以及有效使用异构计算资源。

第七实施例

在上述的实施例中，提供了异构计算设备虚拟化方法，与之相对应的，本申请还提供一种虚拟化管理系统。该系统是与上述方法的实施例相对应。由于系统实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的系统实施例仅仅是示意性的。

本实施例的一种虚拟化管理系统，包括：异构计算设备虚拟化插件。

所述插件，可作为所述虚拟化管理系统的增强模块，用于将异构计算设备的物理异构计算资源抽象成的虚拟异构计算资源，并形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；所述虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

所述虚拟化管理系统，可以是现有技术中较为成熟的虚拟化管理系统。所述虚拟化管理系统，可以是容器集群管理系统、虚拟机管理系统等。以容器集群管理系统为例，可用于自动部署,扩展和管理容器化应用程序。虚拟机管理系统，可对存储资源及网络资源进行虚拟化管理。

从上述实施例可见，本申请实施例提供的虚拟化管理系统，可在现有虚拟化管理基础上，进一步进行异构计算设备的虚拟化管理，使得系统层面不再依赖PCIE设备和驱动，以逻辑异构计算设备的方式供用户使用，建立异构领域的新设备形态，不仅软硬件解耦，减少用户对于不同硬件形态的驱动和接口适配，且支持弹性效率和空间更大，有效提升了异构计算设备的虚拟化能力。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、 输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、 其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

Claims (14)

1.一种异构计算设备虚拟化方法，其特征在于，包括：

将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；

为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；

根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

2.根据权利要求1所述的方法，其特征在于，还包括：

确定目标应用的异构计算资源需求量；

所述为目标应用的虚拟运行环境分配虚拟异构计算资源，采用如下方式：

根据所述资源需求量，为所述虚拟运行环境分配所述虚拟异构计算资源。

3.根据权利要求2所述的方法，其特征在于，

所述目标应用包括人工智能应用；

根据机器学习模型的类型和参数，确定所述资源需求量。

4.根据权利要求1所述的方法，其特征在于，

根据预设的资源分配量,为所述虚拟运行环境分配虚拟异构计算资源。

5.根据权利要求1所述的方法，其特征在于，所述目标应用为重量级应用；

将基于多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给一个重量级应用。

6.根据权利要求1所述的方法，其特征在于，所述目标应用为轻量级应用；

将基于一个或者多个异构计算设备的物理异构计算资源形成的虚拟异构计算资源分配给多个轻量级应用。

7.根据权利要求1所述的方法，其特征在于，所述虚拟异构计算资源包括以下资源的至少一项：算力，异构处理器主存，算子列表，通信带宽。

8.根据权利要求1所述的方法，其特征在于，不同应用对应的不同虚拟异构计算设备之间相互隔离使用异构处理器主存。

9.根据权利要求1所述的方法，其特征在于，所述虚拟异构计算设备在主机操作系统中以逻辑异构计算设备或者文件方式呈现。

10.一种异构计算设备虚拟化系统，其特征在于，包括：

异构计算设备虚拟化装置，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；

异构设备资源池管理装置，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

11.一种异构计算设备板卡，其特征在于，包括：

资源统一单元，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；

虚拟资源调度单元，用于为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；

物理资源调度单元，用于根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

12.一种应用开发装置，其特征在于，用于以虚拟异构计算设备为编程视图，确定在虚拟运行环境中使用异构计算资源运行目标应用的程序代码。

13.一种虚拟异构计算设备管理器，其特征在于，用于管理虚拟异构计算设备；

所述虚拟异构计算设备采用如下方式处理：将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

14.一种虚拟化管理系统，其特征在于，包括：

异构计算设备虚拟化插件，用于将异构计算设备的物理异构计算资源抽象成虚拟异构计算资源，形成虚拟异构计算资源与物理异构计算资源的映射关系；为目标应用的虚拟运行环境分配虚拟异构计算资源，形成与虚拟运行环境对应的虚拟异构计算设备；根据所述映射关系，调度与虚拟异构计算设备使用的虚拟异构计算资源对应的物理异构计算资源，以支持在虚拟运行环境中使用异构计算资源运行目标应用。

Images