CN112506672B

CN112506672B - 面向虚拟gpu的云手机在线调度与迁移的方法及装置

Info

Publication number: CN112506672B
Application number: CN202110151306.7A
Authority: CN
Inventors: 喻鑫; 周军; 刘铮; 张李秋
Original assignee: Jiangsu Bego Intelligent Technology Co ltd
Current assignee: Jiangsu Bego Intelligent Technology Co ltd
Priority date: 2021-02-04
Filing date: 2021-02-04
Publication date: 2021-06-22
Anticipated expiration: 2041-02-04
Also published as: CN112506672A

Abstract

本发明公开了一种面向虚拟GPU的云手机在线调度与迁移的方法及装置，通过采用“资源需求最小优先”的方式调度云手机，一方面尽可能避免因调度和迁移带来的“抖动”现象，另一方面因为资源需求越小，调度和迁移时涉及需要迁移的计算任务就越少，从而可以降低调度和迁移的难度；通过复制内存数据、克隆一致的运行环境，迁移处于等待状态的计算任务来实现云手机的迁移。

Description

面向虚拟GPU的云手机在线调度与迁移的方法及装置

技术领域

本发明涉及移动云计算领域，具体涉及一种面向虚拟GPU的云手机在线调度与迁移的方法及装置。

背景技术

随着云计算的普及，以及大数据分析、复杂图形图像的处理、VR/AR等应用的快速兴起，需要应用GPU实现加速的场景越来越多，这也推动GPU技术不断走向成熟，虚拟化技术也得到了越来越广泛的应用，GPU虚拟化技术在云手机上的应用探索正逐渐走向深入，但是现在GPU虚拟化技术通常是采用“静态”绑定的方式事先将待运行的云手机指定给不同的GPU，由于用户使用云手机上应用的随机性和不确定性，因此我们是无法在云手机运行前准确判断其运行期间最大GPU资源需求量，并且也无法预测未来一段时间内某个GPU负载的变化情况，导致现有的静态调度方法不能够充分利用GPU资源。

为了解决前述问题，申请号为201310244765.5的专利公开了一种云游戏中的GPU虚拟资源自适应调度宿主机系统和调度方法，该方法设计了一种云游戏中的GPU虚拟资源自适应调度宿主机系统，包括调度控制模块、以及与该调度控制模块分别连接的代理模块、图像应用程序编程接口分析模块和虚拟机列表，所述的代理模块由调度模块和监控模块组成，所有模块全部部署在宿主机中；调度控制模块负责其他各模块之间信息的沟通：调度控制模块从虚拟机列表中获得所有运行的虚拟机的信息，并发送给需要的模块。该发明基于公平性的QoS自适应调度方法通过公平分配的方式为所有运行的虚拟机分配足够的GPU资源并且保证符合QoS要求，同时使得整体GPU利用率最大化。专利号202010094800.X的专利公开了一种云计算环境中GPU资源调度的方法、系统及存储介质，包括以下步骤：S1：对可用资源进行打分的步骤，以显存利用率，GPU利用率，GPU功耗三项作为变量对可用资源进行打分；S2：单个GPU设备任务的调度步骤，对资源进行计算打分，当存在空闲GPU设备时最高被优先分配，否则的话找到满足显存要求的可用性最高的GPU设备进行分配，如果能够使用则进行资源分配，如果资源不足则挂起等待调度；S3：多个GPU设备任务的调度步骤，结合设备分数排序，选择分数高且分数差值最小的相应数量GPU进行分配，同时确认多块显卡的显存资源充足，如果能够使用则进行资源分配，如果资源不足则挂起等待调度。该发明通过采集方法获取当前GPU设备运行数据，然后再给各GPU进行打分的方式来进行GPU设备选择，这样既解决GPU资源人工静态指配的不便；也能提高GPU设备的资源利用率。

申请号为201310244765.5的专利用虚拟机列表来维护正在运行的虚拟机的信息，每一个虚拟机都能被系统索引，当有新的虚拟机加入并开始运行时，系统会将它自动加入虚拟机列表，并再次重新调度GPU资源，其中图像应用程序编程接口需要不断计算GPU命令运行带来的开销，这需要耗费CPU资源，且调度控制模块在收到计算结果后重新调度资源，这之间有不容忽略的延迟时间；专利号202010094800.X的专利采用对资源进行打分的方式，根据打分情况再进行GPU资源的分配，当任务运行引起可用资源发生变化时，就需要重新打分，同样需要耗费CPU资源。

发明内容

本发明的目的在于提供一种面向虚拟GPU的云手机在线调度与迁移的方法及装置。

实现本发明目的的技术方案为：一种面向虚拟GPU的云手机在线调度与迁移的方法，为GPU设置两个阀值f1和f2，GPU利用率在0%-f1之间为低负载或欠载，GPU利用率在f1-f2之间为满负载，GPU利用率在f2-100%为超载，该方法包括：

步骤1：判断GPU利用率是否在f2-100%之间，若不是，跳转到步骤2，若是，跳转到步骤4；

步骤2：判断GPU利用率是否在0%-f1之间，若是，跳转到步骤3，若不是，跳转到步骤1；

步骤3：将该GPU信息压入低负载GPU队列中，跳转步骤1；

步骤4：找到该GPU上资源需求最小的云手机；

步骤5：判断低负载GPU队列中是否有元素，若有，跳转到步骤6；若没有，等待；

步骤6：弹出队首GPU信息，根据信息找到低负载GPU，设为云手机迁移的目标GPU；

步骤7：将资源需求最小的云手机内存数据、运行环境克隆至目标GPU；

步骤8：将资源需求最小的云手机中处于等待执行的计算任务迁移至目标GPU；

步骤9：完成云手机的迁移，删去云手机在源GPU上的数据，跳转至步骤1。

进一步的，所述的f1、f2为自定义设置。

进一步的，资源需求最小的云手机是指资源占用率最小的手机。

进一步的，所述队首GPU信息包括GPU的名称及其负载情况。

进一步的，所述低负载判断标准为GPU利用率在0%-f1之间。

本发明还提供一种面向虚拟GPU的云手机在线调度与迁移的装置，包括：

GPU利用率设定单元，为GPU设置两个阀值f1和f2，GPU利用率在0%-f1之间为低负载或欠载，GPU利用率在f1-f2之间为满负载，GPU利用率在f2-100%为超载；

第一判断单元，判断GPU利用率是否在f2-100%之间，若不是，执行第二判断单元，若是，执行第二单元；

第二判断单元，判断判断GPU利用率是否在0%-f1之间，若是，执行第一单元，若不是，执行第一判断单元；

第一单元，将该GPU信息压入低负载GPU队列中，跳转至第一判断单元；

第二单元，找到该GPU上资源需求最小的云手机；判断低负载GPU队列中是否有元素，若没有，等待；若有，弹出队首GPU信息，根据信息找到低负载GPU，设为云手机迁移的目标GPU；将资源需求最小的云手机内存数据、运行环境克隆至目标GPU；将资源需求最小的云手机中处于等待执行的计算任务迁移至目标GPU；完成云手机的迁移，删去云手机在源GPU上的数据，跳转至第一判断单元。

进一步的，所述队首GPU信息包括GPU的名称及其负载情况。

进一步的，所述低负载判断标准为GPU利用率在0%-f1之间。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述面向虚拟GPU的云手机在线调度与迁移的方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述面向虚拟GPU的云手机在线调度与迁移的方法。

与现有技术相比，本发明的有益效果为：本发明采用的是“资源需求最小优先”的方式调度和迁移云手机，在调度时，CPU开销不会超过5%；在迁移时，在计算任务执行的同时，复制内存数据、克隆一致的运行环境，并且只迁移处于等待状态的计算任务，迁移一个正在运行的云手机需要不到100毫秒的时间。采用本发明所述方法，可以将正在运行的云手机从过载的GPU迁移到低负载的GPU之上，避免了某个GPU长时间处于过载的情况，也充分利用了欠载GPU的空闲资源，有效降低了GPU欠载的时间。而一个比较好的负载均衡，可以减轻云手机之间的资源竞争，从而很好地保证用户的服务质量。

附图说明

图1是设置有阀值f1和f2的GPU利用率示意图。

图2是本发明面向虚拟GPU的云手机在线调度与迁移的方法流程图。

具体实施方式

现有静态GPU调度和迁移方法不能在GPU负载发生变化时做出及时调整，且调整后需要重启云手机，由此导致了现有静态GPU调度和迁移方法存在负载不均衡、能耗高、资源分配公平性低等问题，针对这些问题，本发明提出了一种面向GPU的云手机在线调度与迁移的方法，在该方法中，通过采用“资源需求最小优先”的方式调度云手机，一方面尽可能避免因调度和迁移带来的“抖动”现象，另一方面因为资源需求越小，调度和迁移时涉及需要迁移的计算任务就越少，从而可以降低调度和迁移的难度；通过复制内存数据、克隆一致的运行环境，迁移处于等待状态的计算任务来实现云手机的迁移。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

一种面向虚拟GPU的云手机在线调度与迁移的方法，为GPU设置两个阀值f1和f2，具体数值可按需设置。如图1所示，GPU利用率在0%-f1之间为低负载或欠载，GPU利用率在f1-f2之间为满负载，GPU利用率在f2-100%为超载，上述区间均为左闭右开。

可以看出f2-100%这个区间是预留量，以免某个云手机突然有大资源需求任务到来时，产生资源竞争，导致QoS下降的情况出现。

如图2所示，该方法包括如下步骤：

步骤3：将该GPU信息压入低负载GPU队列中，跳转步骤1；

步骤4：找到该GPU上资源需求最小的云手机；

进一步的，所述队首GPU信息包括GPU的名称及其负载情况。

进一步的，所述低负载判断标准为GPU利用率在0%-f1之间。

在一种具体实施方式中，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述面向虚拟GPU的云手机在线调度与迁移的方法。

进一步的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述面向虚拟GPU的云手机在线调度与迁移的方法。

以鲲鹏920 CPU 搭配AMD RADEON™ PRO WX 5100 GPU为例，一块5100显卡上面差不多可以跑8路游戏型云手机用户（分辨率720p，30fps），普通型云手机用户20路，也就是一个GPU，通过xorg启动的display可以绑定8个运行游戏型云手机的容器，或者是绑定20个运行普通型云手机的容器。

假设我们再一个GPU A上通过display绑定了20个运行普通型云手机，此时可以认为该GPU处于满负荷工作状态，当其中一个云手机的用户在该云手机上下载了大型游戏，并运行，那么该GPU就会从满负荷的状态变成超载状态，这个时候，为了保障每个云手机的正常运行，就需要将其中一部分云手机迁移到另一个GPU上运行；当我们将该手机上的一个云手机迁移到某一个欠载的GPU B上时，若使GPU B从欠载状态变成了超载状态，需要再次迁移云手机，我们称之为抖动现象。因此，每次我们都只迁移超载GPU上资源需求最小的云手机。

在本发明中，我们提出了一种云手机在线迁移与调度的方法，通过这种方法不需要重启云手机，在用户无感知的情况下，在GPU之间“动态”地调度和迁移云手机，从而提升GPU利用率和保证用户的服务质量。

在本申请所提供的实施例中，应该理解到，所揭露的方法、装置、设备，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用

时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read -Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种面向虚拟GPU的云手机在线调度与迁移的方法，其特征在于，为GPU设置两个阀值f1和f2，GPU利用率在0%-f1之间为低负载或欠载，GPU利用率在f1-f2之间为满负载，GPU利用率在f2-100%为超载，该方法包括：

步骤3：将该GPU信息压入低负载GPU队列中，跳转步骤1；

步骤4：找到该GPU上资源需求最小的云手机；

步骤6：弹出队首GPU信息，根据信息找到低负载GPU，设为云手机迁移的目标GPU；所述队首GPU信息包括GPU的名称及其负载情况；

2.根据权利要求1所述的面向虚拟GPU的云手机在线调度与迁移的方法，其特征在于，所述的f1、f2为自定义设置。

3.根据权利要求1所述的面向虚拟GPU的云手机在线调度与迁移的方法，其特征在于，资源需求最小的云手机是指资源占用率最小的手机。

4.根据权利要求1所述的面向虚拟GPU的云手机在线调度与迁移的方法，其特征在于，所述低负载判断标准为GPU利用率在0%-f1之间。

5.一种面向虚拟GPU的云手机在线调度与迁移的装置，其特征在于，包括：

第二判断单元，判断GPU利用率是否在0%-f1之间，若是，执行第一单元，若不是，执行第一判断单元；

第二单元，找到该GPU上资源需求最小的云手机；判断低负载GPU队列中是否有元素，若没有，等待；若有，弹出队首GPU信息，根据信息找到低负载GPU，设为云手机迁移的目标GPU；将资源需求最小的云手机内存数据、运行环境克隆至目标GPU；将资源需求最小的云手机中处于等待执行的计算任务迁移至目标GPU；完成云手机的迁移，删去云手机在源GPU上的数据，跳转至第一判断单元；所述队首GPU信息包括GPU的名称及其负载情况。

6.根据权利要求5所述的面向虚拟GPU的云手机在线调度与迁移的装置，其特征在于，所述低负载判断标准为GPU利用率在0%-f1之间。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。