CN117762524A - 一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法 - Google Patents

Abstract

本发明涉及计算机技术领域，尤其涉及一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，包括步骤S1、在Windows系统中启用WSL功能后，安装或升级到WSL2；步骤S2、在WSL环境准备好后，安装Linux发行版，初始化设置并更新Linux发行版；步骤S3、在WSL环境中安装和配置Docker，并启动Docker服务来运行容器；步骤S4、在WSL环境中配置GPU共享，安装适用于WSL环境的GPU驱动并验证GPU的可用性，并调整Docker的设置以确保访问GPU资源；步骤S5、在WSL环境中通过Docker运行支持GPU的AI推理容器，实现在Windows系统中GPU资源的共享。

Description

一种在Windows系统上共享GPU作为边缘计算AI推理节点的 方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法。

背景技术

在现代边缘计算场景中，尤其是涉及AI推理的任务，对于高效计算资源的需求正不断增长。其中，图形处理单元(GPU)由于其出色的并行计算能力，特别是在AI和机器学习任务中表现的高效性，已成为这些任务的关键资源。然而，这些计算任务往往在Linux环境中更能高效地执行，而众多的用户和企业的基础使用则主要基于Windows系统。

在现有技术中，GPU资源通常被限定在特定的操作系统环境内，例如Windows或Linux。对于Windows系统用户而言，要想利用GPU执行Linux专用的AI推理任务，常常面临需重装系统为Linux或配置复杂的虚拟化环境的难题。而这些方法不仅增加了技术复杂性，还引入了额外的成本和效率降低的问题。因此，现有技术主要面临以下几个问题：①复杂性与成本的增加：重装操作系统是一个复杂且成本高昂的过程。②资源独占问题：在传统模式中，GPU资源被用于推理任务时通常被独占，导致资源供应无法同时进行其他任务。③参与门槛：现有方法提高了参与边缘计算的门槛，特别是对于个人或小型企业而言。

因此，针对当前边缘计算和AI推理的技术背景，需要一种能够在Windows系统中实现高效共享GPU资源的解决方案，特别是针对在Linux环境下的运行的AI推理任务。

发明内容

本发明的目的是针对上述技术问题，提出一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，通过在Windows系统上实现GPU资源的高效共享，来降低边缘AI计算资源供给的成本和技术难度，同时避免GPU资源的独占问题，进而扩大边缘AI计算的规模和效率。本发明的目的可通过下列技术方案来实现：

本发明提供了一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，包括以下步骤：

步骤S1、在Windows系统中启用WSL功能后，安装或升级到WSL 2；

步骤S2、在WSL环境准备好后，安装Linux发行版，初始化设置并更新Linux发行版；

步骤S3、在WSL环境中安装和配置Docker，并启动Docker服务来运行容器；

步骤S4、在WSL环境中配置GPU共享，安装适用于WSL环境的GPU驱动并验证GPU的可用性，并调整Docker的设置以确保访问GPU资源；

步骤S5、在WSL环境中，通过所述Docker运行支持所述GPU的AI推理容器，以实现所述AI推理容器直接使用Windows底层的GPU资源。

进一步地，在步骤S1中，在Windows系统中启用WSL功能包括，

在Windows 10及Windows 10以上版本的Windows系统上启动控制面板，选择程序和功能选项后，选择并进入启用或关闭Windows功能；

在启用或关闭Windows功能提供的功能列表中，勾选适用于Linux的Windows子系统的选项。

进一步地，在步骤S1中，安装或升级到WSL2包括，

以管理员身份运行打开PowerShell，执行命令wsl--install来安装WSL 2；

当已经安装了WSL1，执行命令wsl--set-version<DistroName>2升级到WSL 2；其中，<DistroName>为已安装的Linux发行版的名称。

进一步地，在步骤S2中，安装Linux发行版包括，

打开Windows系统上的Microsoft Store；

搜索并选择所需的Linux发行版，Linux发行版包括Ubuntu；

点击安装，按照提示完成Linux发行版的安装过程。

进一步地，在步骤S2中，初始化设置并更新Linux发行版包括，

首次运行新安装的Linux发行版，完成初始化设置；

在Linux终端中运行命令sudo apt update&&sudo apt upgrade以更新Linux包。

进一步地，在步骤S3中，在WSL环境中安装和配置Docker，包括

在WSL环境中的Linux发行版中，打开终端；

执行命令sudo apt install docker.io以安装Docker。

进一步地，在步骤S3中，启动Docker服务来运行容器，包括

安装完成后，执行命令sudo service docker start以启动Docker服务来运行容器。

进一步地，在步骤S4中，安装适用于WSL环境的GPU驱动并验证GPU的可用性包括，

启动WSL环境中的GPU支持，确保Windows系统安装了适用于WSL环境的最新NVIDIAGPU或AMD GPU驱动程序。

在WSL环境中运行nvidia-smi或对应的命令验证GPU是否可用。

进一步地，步骤S4中，调整Docker的设置以确保访问GPU资源包括，

对Docker进行配置，确保能够访问GPU资源；

调整Docker的设置包括修改Docker配置文件或设置预设的启动参数。

进一步地，在步骤S5中，通过Docker运行支持GPU的AI推理容器包括，

使用Docker命令运行支持GPU的AI推理容器；

当使用GPU支持为NVIDIA GPU驱动程序时，执行命令docker run--gpus all-it<container>，<container>为运行的容器的名称。

与现有技术相比，本发明存在以下至少一种技术效果：

本发明提出了一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，有效解决了边缘计算AI推理场景中的核心问题。它允许带GPU资源的PC或服务器在不需重装为Linux系统或将GPU直通给虚拟机的情况下，向推理平台贡献GPU资源。这一创新大幅降低了资源供给者的成本和操作复杂性，同时避免了GPU资源被平台独占的问题，使得即使是只有一台PC的供给者也能为平台提供服务。总体而言，此发明显著降低了参与边缘AI计算的门槛，扩大了资源供给的规模，增强了整个系统的可用性和效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍：

图1为本发明一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法的步骤流程图；

图2为本发明一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法的框架原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施方式,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅用以解释本发明,并不用于限定本发明。

实施例1

本发明的目的是针对上述技术问题，提出一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，用于解决边缘计算中AI推理场景下的GPU资源共享问题，本方法主要结合了Windows Linux Subsystem(WSL)和容器技术，创新地实现了在Windows系统下的GPU资源共享。通过这种方式，边缘计算AI资源的贡献者可以在不需要重装操作系统或进行显卡直通的情况下，有效地共享宿主机的GPU资源。这一技术的应用降低了参与边缘计算的复杂性和成本，同时也提高了GPU资源的利用率，为边缘计算AI推理场景带来了新的可能性。本发明的目的可通过下列技术方案来实现：

本发明提供了一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，请参阅图1、2，包括：

如图2所示，GPU作为整个框架的计算核心，负责处理高性能的图形和数据计算任务，在GPU的上层是Windows操作系统，在User Environment(用户的常规使用环境)中，通常用于日常工作和娱乐活动，比如游戏之类。在这种情形下，Windows操作系统直接调用底层的GPU来支持游戏或其他图形密集型应用的流畅运行。然而，本发明则是应用在利用WSL(Windows Linux Subsystem)技术创造的环境中，即通过WSL在Windows系统内部集成了Linux子系统，使得原本专用于Windows环境的GPU资源现在也可以被Linux环境下的AI容器访问和利用。通过这种方式，个人的GPU不仅能用于常规的游戏和娱乐，还能被用于执行AI相关的计算任务，如图像生成、文本处理和运行复杂的AI模型。本方法显著扩展了个人PC的功能范围，使其不仅限于日常用途，还能作为执行高效AI计算的工具。

具体操作步骤包括，

步骤S1、在Windows系统中启用WSL功能后，安装或升级到WSL 2；

步骤S1.1、启动Windows 10及Windows 10以上版本的Windows系统上，打开“控制面板”，选择“程序和功能选项”后，选择并进入“启用或关闭Windows功能”；在“启用或关闭Windows功能”提供的功能列表中，勾选“适用于Linux的Windows子系统”的选项。

步骤S1.2、以管理员身份运行打开PowerShell，执行命令来安装WSL 2，具体的执行命令如下：

css

Copy code

wsl--install

或者，当已经安装了WSL1，执行命令升级到WSL 2，具体执行命令如下：

arduino

Copy code

wsl--set-version<DistroName>2；

其中，<DistroName>为已安装的Linux发行版的名称。

步骤S2、在WSL环境准备好后，安装Linux发行版，初始化设置并更新Linux发行版；

步骤S2.1、打开Windows系统上的Microsoft Store；

步骤S2.2、搜索并选择所需的Linux发行版(如Ubuntu)；

步骤S2.3、点击安装，按照提示完成Linux发行版的安装过程。

步骤S2.5同时，首次运行新安装的Linux发行版，完成初始化设置，如创建用户和密码；

步骤S2.6在Linux终端中运行命令sudo apt update&&sudo apt upgrade以更新Linux包，完成Linux系统的更新，这两个命令的组合用于确保Linux系统中的软件包保持最新状态。

在步骤S2.6的运行命令中，sudo apt update，这个命令用于更新包管理器的软件包列表。它会从配置的源(如Ubuntu的软件仓库)中获取最新的软件包信息，包括新版本的软件和安全更新。执行这个命令后，系统会了解哪些软件包有可用的更新。在执行了aptupdate之后，apt upgrade命令会根据更新后的软件包列表，下载并安装这些更新。这可能包括系统组件、应用程序、库文件的新版本和安全补丁。sudo和apt命令组合确保Linux系统中的软件包保持最新状态。

其中，在现有的边缘计算AI推理场景中，资源供给者通常需要将带有GPU资源的PC或服务器重装为Linux系统以提供所需的计算资源。这个过程不仅复杂而且成本较高。而本方法的步骤S1中，通过在Windows系统中集成Linux环境，避免了重装Linux系统的需要，简化了使用GPU资源的过程，步骤S2中，安装Linux发行版并进行初始化，进一步减少了在Linux系统上进行AI推理所需的技术复杂性和时间成本。

步骤S3、在WSL环境中安装和配置Docker，并启动Docker服务来运行容器；

步骤S3.1、在WSL环境中的Linux发行版中，打开终端；

步骤S3.2、执行命令sudo apt install docker.io以安装Docker。

步骤S3.3、安装完成后，执行命令sudo service docker start以启动Docker服务来运行容器。

步骤S4、在WSL环境中配置GPU共享，安装适用于WSL环境的GPU驱动并验证GPU的可用性，并调整Docker的设置以确保访问GPU资源；

步骤S4.1、启动WSL环境中的GPU支持，确保Windows系统安装了适用于WSL环境的最新NVIDIA GPU或AMD GPU驱动程序。

步骤S4.2、在WSL环境中运行nvidia-smi或对应的命令验证GPU是否可用。

步骤S4.3、对Docker进行配置，确保能够访问GPU资源；调整Docker的设置包括修改Docker配置文件或设置预设的启动参数。带GPU支持的Docker容器可以被看作是AI推理节点，为执行AI推理任务的具体实体。这些容器可以运行AI模型，处理数据，并利用GPU资源进行快速计算，提供了执行任务所需的环境和资源。

其中，在步骤S3和步骤S4中，在传统的边缘计算模型中，当GPU资源被推理平台使用时，这些资源往往被独占，导致资源供给者无法同时使用自己的PC进行其他任务。本发明通过在Windows系统上实现GPU共享，允许资源供给者在贡献GPU资源的同时，继续使用自己的设备进行其他工作。且通过该技术，GPU资源供给者无需重装系统或将GPU直通给虚拟机，从而降低了参与边缘AI计算的成本和技术难度。这使得拥有GPU资源的个人或小型企业更容易加入资源共享平台。

步骤S5、在WSL环境中，通过所述Docker运行支持所述GPU的AI推理容器，以实现所述AI推理容器直接使用Windows底层的GPU资源。其中，使用Docker命令运行支持GPU的AI推理容器；当使用GPU支持为NVIDIA GPU驱动程序时，执行命令docker run--gpus all-it<container>，<container>为运行的容器的名称。该步骤将配置好的GPU资源作为边缘计算节点的一部分，用于执行AI推理任务，从而实现在Windows系统上高效地共享GPU资源并为Linux环境下的AI推理提供强大的计算支持，无需更改原有Windows操作系统的配置或重装系统。并且通过实现GPU资源在Windows和Linux环境之间的高效共享，更多个人或组织可以将他们的GPU资源贡献给AI推理任务，从而增加了可用资源并提高了整体计算效率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何本领域的技术人员在本发明揭露的技术范围内，对本发明所做的变形或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述的权利要求的保护范围为准。

Claims (10)

1.一种在Windows系统上共享GPU作为边缘计算AI推理节点的方法，其特征在于，包括以下步骤：

步骤S1、在Windows系统中启用WSL功能后，安装或升级到WSL 2；

步骤S2、在WSL环境准备好后，安装Linux发行版，初始化设置并更新所述Linux发行版；

步骤S3、在所述WSL环境中安装和配置Docker，并启动Docker服务来运行容器；

步骤S4、在所述WSL环境中配置GPU共享，安装适用于所述WSL环境的GPU驱动并验证所述GPU的可用性，并调整所述Docker的设置以确保访问所述GPU资源；

步骤S5、在所述WSL环境中，通过所述Docker运行支持所述GPU的AI推理容器，以实现所述AI推理容器直接使用Windows底层的GPU资源。

2.根据权利要求1所述的方法，其特征在于，在步骤S1中，在Windows系统中启用WSL功能进一步包括，

在Windows 10及Windows 10以上版本的所述Windows系统上启动控制面板，选择程序和功能选项后，选择并进入启用或关闭Windows功能；

在所述启用或关闭Windows功能提供的功能列表中，勾选适用于Linux的Windows子系统的选项。

3.根据权利要求1所述的方法，其特征在于，在步骤S1中，安装或升级到WSL2进一步包括，

以管理员身份运行打开PowerShell，执行命令wsl--install来安装所述WSL 2；

当已经安装了WSL1，执行命令wsl--set-version<DistroName>2升级到所述WSL 2；其中，所述<DistroName>为已安装的所述Linux发行版的名称。

4.根据权利要求1所述的方法，其特征在于，在步骤S2中，安装Linux发行版进一步包括，

打开所述Windows系统上的Microsoft Store；

搜索并选择所需的所述Linux发行版，所述Linux发行版包括Ubuntu；

点击安装，按照提示完成所述Linux发行版的安装过程。

5.根据权利要求1所述的方法，其特征在于，在步骤S2中，初始化设置并更新所述Linux发行版进一步包括，

首次运行新安装的所述Linux发行版，完成所述初始化设置；

在Linux终端中运行命令sudo apt update&&sudo apt upgrade以更新Linux包。

6.根据权利要求1所述的方法，其特征在于，在步骤S3中，在所述WSL环境中安装和配置Docker进一步包括

在所述WSL环境中的所述Linux发行版中，打开终端；

执行命令sudo apt install docker.io以安装所述Docker。

7.根据权利要求1所述的方法，其特征在于，在步骤S3中，启动Docker服务来运行容器进一步包括

安装完成后，执行命令sudo service docker start以启动Docker服务来运行所述容器。

8.根据权利要求1所述的方法，其特征在于，在步骤S4中，安装适用于所述WSL环境的GPU驱动并验证所述GPU的可用性进一步包括，

启动所述WSL环境中的GPU支持，确保所述Windows系统安装了适用于所述WSL环境的最新NVIDIA GPU或AMD GPU驱动程序；

在所述WSL环境中运行nvidia-smi或对应的命令验证GPU是否可用。

9.根据权利要求1所述的方法，其特征在于，所述步骤S4中，调整所述Docker的设置以确保访问所述GPU资源，进一步包括，

对所述Docker进行配置，确保能够访问所述GPU资源；

所述调整所述Docker的设置包括修改Docker配置文件或设置预设的启动参数。

10.根据权利要求1所述的方法，其特征在于，在步骤S5中，通过所述Docker运行支持所述GPU的AI推理容器进一步包括，

使用Docker命令运行支持所述GPU的所述AI推理容器；

当使用所述GPU支持为所述NVIDIA GPU驱动程序时，执行命令docker run--gpus all-it<container>，所述<container>为运行的容器的名称。