CN110457135A - 一种资源调度方法、装置及共享gpu显存的方法 - Google Patents

Abstract

本发明公开了一种资源调度方法及装置，其中方法包括：获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级；按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID；在筛选出的满足新容器任务的显卡上创建新申请容器实例；查询已创建pod的优先级；实时监控各个资源节点中每个显卡的显卡算力利用率；当显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；当显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。本发明通过在显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；在显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。提高了显存利用率。

Description

一种资源调度方法、装置及共享GPU显存的方法

技术领域

本发明涉及计算机领域，具体涉及一种资源调度方法、装置及共享GPU显存的方法。

背景技术

计算机领域，尤其是涉及GPU共享，显卡资源调度方面的技术。显卡显存越来越大，算力越来越强。K8S目前对GPU调度仅支持独享模式，多容器不能共享同一个GPU资源，导致GPU显存资源浪费，算力未充分发挥。

目前已有的方案是虚拟化GPU集群，利用时间片划分进程占用GPU的算力。对GPU的划分只能针对整张显卡，不能细粒度的划分大显存的显卡和算力，如16G的T4显卡。

现有调度方案只提到从算力方面共享，或者从进程间共享内存的角度，也就是在CPU上划分共享内存区域，不同进程间都可以访问，从而节省数据读取的时间，但总体来说其显卡显存利用率不是太高。

超卖概念：即在显卡上跑的业务所申请的资源总和，超过了显卡本身所拥有的资源量。超卖面临的问题，即各个业务申请的资源超过了显卡的实际提供能力，如何保证重要业务资源的服务质量。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种资源调度方法及装置，用于解决现有技术中显卡显存利用率不太高的缺陷。

为实现上述目的及其他相关目的，本发明提供一种资源调度方法，所述调度方法包括：

获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级；

按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID；

在筛选出的满足新容器任务的显卡上创建新申请容器实例；

查询已创建pod的优先级；

实时监控各个资源节点中每个显卡的显卡算力利用率；

当显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；当显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。

可选地，若存在多个同一级优先级低的容器业务pod时，则随机选择一优先级低的容器业务pod进行暂停；若存在多个同一级优先级高的容器业务pod时，则随机选择一优先级高的容器业务pod进行启动。

可选地，所述在筛选出的满足新容器任务的显卡上创建新申请的容器实例，包括：

当新容器申请的请求被资源节点获得时，在所述资源节点上创建容器实例，容器实例的状态为pending；

将该容器实例的相关信息转化为环境变量返回给上层资源节点，以真正的创建容器实例；创建成功后，容器实例的状态为running。

可选地，若存在多个新容器申请的请求，且每个新申请容器所需的显存均小于显卡剩余显存资源，则按照多个新容器申请的申请时间戳顺序申请资源。

为实现上述目的及其他相关目的，本发明还提供一种资源调度装置，该调度装置包括：

资源上报模块，用于获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级；

监控模块，用于实时监控各个资源节点中每个显卡的显卡算力利用率；

筛选模块，用于按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID；

业务pod创建模块，用于在筛选出的满足新容器任务的显卡上创建新申请容器实例；

业务pod优先级查询模块，用于查询已创建pod的优先级；

业务控制模块，用于在显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；还用于在显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。

可选地，若存在多个同一级优先级低的容器业务pod时，则随机选择一优先级低的容器业务pod进行暂停；若存在多个同一级优先级高的容器业务pod时，则随机选择一优先级高的容器业务pod进行启动。

可选地，所述在筛选出的满足新容器任务的显卡上创建新申请的容器实例，包括：

当新容器申请的请求被资源节点获得时，在所述资源节点上创建容器实例，容器实例的状态为pending；

将该容器实例的相关信息转化为环境变量返回给上层节点，以真正的创建容器实例；创建成功后，容器实例的状态为running。

可选地，若存在多个新容器申请的请求，且每个新申请容器所需的显存量均小于显卡剩余显存资源，则按照多个新容器申请的申请时间戳顺序申请资源。

为实现上述目的及其他相关目的，本发明提供一种资源调度方法，该调度方法包括：

在常驻显存的容器实例中启动多个业务进程；其中，多个业务进程共用一个容器的显存，每个业务进程包括active，inactive，free，其中，active表示进程正常运行；inactive表示进程状态控制器对此进程挂起，无数据进入此进程运算；free表示进程状态控制器对此进程进行杀死，释放相关显存；

将容器内业务优先级划分为三个等级，对应于业务进程的三个状态，active，inactive，free；

当显存使用达到第一阈值时，降低某一优先级业务进程中占用显存量最大的业务进程；

当显存使用达到第二阈值时，对某一优先级业务进程按显存使用情况从小到大，依次提高，直到显存使用达到第一阈值。

为实现上述目的及其他相关目的，本发明还提供一种资源调度方法，该调度方法包括：

在显卡资源池上启动不同种类的多容器业务，包括多容器共享单显卡和多进程共享单容器单显卡；

实时检测每个容器业务的算力显存比，算力显存比为算力与显存的比值；

当所述算力显存比达到高阈值时，暂停优先级低的容器业务，若优先级低的容器业务有多个，则对算力显存比高的业务进行暂停；

当所述算力显存比达到低阈值时，启动优先级高的容器业务，若优先级高的容器业务有多个，则对算力显存比低的业务进行启动。

为实现上述目的及其他相关目的，本发明还提供一种共享GPU显存的方法，该方法包括：

将GPU显卡按显存方式划分；其中，不同业务容器占用不同的在显存，总显存数不超过整张显卡的总显存；

在一块GPU显卡上，按需申请显存进行容器创建，当显存仍有空余且满足新申请的显存需求时，把新创建的容器绑定到同一显卡上。

如上所述，本发明的一种资源调度方法及装置，具有以下有益效果：

本发明通过在显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；在显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。提高了显存利用率。

附图说明

图1为本发明一实施例一种资源调度方法的流程图；

图2为本发明另一实施例一种资源调度方法的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

kubernetes(通常称为k8s)用于自动部署、扩展和管理容器化应用程序的开源系统。它旨在提供跨主机集群的自动部署、扩展以及运行应用程序容器的平台。在K8S集群中，标记某个资源节点为可共享属性，此资源节点中的GPU资源分为业务独占资源池、多容器多业务资源池和单容器多业务资源池。

业务独占资源池申请整张显卡资源同时标记最高优先级；在业务独占资源池中，运行实时，且显存用量到80％以上。此时各显卡业务优先级相等，当资源有空余时，此资源池显卡资源可适当向另两个资源池(即多容器多业务资源池和单容器多业务资源池)划分。当资源紧缺时，可根据时间戳顺序适当从另两个资源池(即多容器多业务资源池和单容器多业务资源池)中调用显卡资源。

多容器多业务资源池中，每个容器标记按业务相关性标记低等级优先级。一个容器内运行一个业务，业务相互独立，可同时运行相关性业务，比如人脸算法中的多算法仓场景，同一份数据需要多种算法结合运行，共同解析，综合得到结果的业务。在多容器多业务中，容器按照业务实时性划分优先级，同一优先级下，按算力显存比划分。

单容器多业务资源池，即多个业务进程共享一个容器和显卡，假定业务间互斥，即同一时刻不会启动全部业务，每个业务进程维持一个状态线程status，同时维持业务进程的状态线程包括调整业务的启动active，挂起inactive，释放free。每个业务进程占用显存情况为固定显存+动态显存，固定显存为每个业务的固有显存，动态显存为可复用显存，即动态显存为可空分复用部分。

本实施例提供一种共享GPU显存的方法，该方法为：将GPU显卡按显存方式划分，不同业务容器占用不同的在显存，总显存数不超过整张显卡的总显存；在一块GPU显卡上，按需申请显存进行容器创建，当显存仍有空余且满足新申请的显存需求时，把新创建的容器绑定到同一显卡上。

本实施例提供一种资源调度方法，应用于多容器多业务场景，即多容器按不同显存需求共享一个显卡，一个容器内运行一个业务，业务容器间相互独立。如图1所示，所述调度方法包括：

S11获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级。

其中，业务优先级的划分策略根据业务实时性划分，高实时性优先级高，即任何状态下都要保证其正常运行，低实时性优先级低，即资源紧缺时，业务可挂起，或长时间不被调用，可释放。业务挂起，即业务容器启动时会拉起业务进程，进程初始化时会申请内存，存放算法参数等，当没有运算数据提供给业务进程，此进程就是挂起状态，处于一直等待数据的阶段。

S12按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID。其中满足新容器任务是指在资源节点下显卡剩余显存资源大于新申请容器所需要显存，当某一显卡上达到此条件的新申请容器很多时，按照这些新申请容器的申请的时间标签，来顺序申请资源，启动业务容器。

例如，首先选择出满足需求的节点，比如新申请业务需要2G显存，节点N1,N2,N3分别剩余1G，3G，4G，那么就是N2和N3满足条件，接下来判断余量碎片最小的显卡，N2下的显卡有3G剩余，如果新业务启动，那么N2下的显卡上显存余量就是3-2＝1G；同理假如在N3上申请，N3下显卡余量会变为4-2＝2G，那么N2和N3的剩余显存余量最小的就是N2，即选择N2来启动新业务。

S13在筛选出的满足新容器任务的显卡上创建新申请容器实例。

具体地，创建新申请容器实例包括以下步骤：

当新容器申请的请求被资源节点获得时，在所述资源节点上创建容器实例，容器实例的状态为pending，表示启动过程；

将该容器实例的相关信息转化为环境变量返回给上层资源节点，以真正的创建容器实例；创建成功后，容器实例的状态为running，表示运运状态。

其中，容器实例的相关信息包括容器的名称、标签、镜像信息、运行后启动何种进程命令，申请的内存，占用cpu核数，申请显存信息，挂载盘等等。

S14查询已创建pod的优先级；具体地在算力资源达到高阈值或低阈值的情况下，查询已创建pod优先级。

S15实时监控各个资源节点中每个显卡的显卡算力利用率；

S16当显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；当显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。

具体地，当实时算力利用率达到整个显卡算力的95％时，通过任务控制进程产生告警，暂停某优先级低容器内的任务进程，释放算力，当实时算力到达整个显卡算力的50％时，任务控制进程产生告警，启动某优先级高的容器内的任务进程，进行运算。

需要注意的是，若存在多个同一级优先级低的容器业务pod时，则随机选择一优先级低的容器业务pod进行暂停；若存在多个同一级优先级高的容器业务pod时，则随机选择一优先级高的容器业务pod进行启动。

本发明通过在显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；在显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod，提高了显存利用率。

如图2所示，本实施例还提供一种资源调度方法，该调度方法包括：

S21在常驻显存的容器实例中启动多个业务进程；其中，多个业务进程共用一个容器的显存，假定业务相关性互斥，即同一时刻不会启动所有业务进程，容器占用的显存可超卖给多个业务进程，每个业务进程包括active，inactive，free，其中，active表示进程正常运行；inactive表示进程状态控制器对此进程挂起，无数据进入此进程运算；free表示进程状态控制器对此进程进行杀死，释放相关显存；Active—>inactive表示业务挂起，释放动态显存；Inactive—>active表示业务激活，启用动态显存；Inactive—>free表示业务降级，释放固定显存。

S22将容器内业务优先级划分为三个等级，对应于业务进程的三个状态，active，inactive，free；

S23当显存使用达到第一阈值时，降低某一优先级业务进程中占用显存量最大的业务进程；

S24当显存使用达到第二阈值时，对某一优先级业务进程按显存使用情况从小到大，依次提高，直到显存使用达到第一阈值。

详细地，调节方法包括：

多个业务进程共享一个容器和显卡，假定业务相关性互斥，即同一时刻不会启动所有业务进程，容器占用的显存可超卖给多个业务进程。

在常驻显存的容器实例中启动多个业务进程，多个业务进程共用一个容器的显存。

每个业务进程，维持一个状态线程status,维持进程三个状态，active，inactive，free，其中，active表示进程正常运行；inactive表示进程状态控制器对此进程挂起，无数据进入此进程运算；free表示进程状态控制器对此进程进行杀死，释放相关显存。每个业务进程占用显存情况为固定显存+动态显存，固定显存为每个业务的固有显存，动态显存为可复用显存，及动态显存为可空分复用部分。

业务1,2,3的固定显存部分<整卡资源，但是进程在active状态时，业务1,2,3的固定显存+动态显存>＝整卡资源。

显存超卖给多个业务进程，设定显存资源阈值，避免超卖的显存被真正使用。策略如下：

a)容器内业务优先级划分三个等级:3,2,1，分别对应active，inactive，free进程状态。

b)当显存使用量达到显存阈值(如整卡资源的95％为阈值)，即显存总使用量mem3+mem2>95％整卡，选择2优先级业务进程中占用显存最大的业务，优先级减1，业务进程自动调整进程释放状态；当显存使用长时间在低位(如整卡资源的50％以下)，即显存总使用量mem3+mem2<50％整卡资源，优先级2的业务进程按显存使用情况从小到大，依次加一，直到显存达到95％的阈值状态。

c)避免长时间处于free的业务饿死，在等待一定时间后重新拉起，初始优先级3。

本实施例还提供一种细粒度划分显卡显存的调度装置，该调度装置包括：

启动模块，用于在常驻显存的容器实例中启动多个业务进程；多个业务进程共用一个容器的显存，每个业务进程包括active，inactive，free三个状态；

等级划分模块，用于将容器内业务优先级划分为三个等级，对应于业务进程的三个状态，active，inactive，free；

降级模块，用于在显存使用达到第一阈值时，降低某一优先级业务进程中占用显存量最大的业务进程的优选级；

升级模块，用于在显存使用达到第二阈值时，对某一优先级业务进程按显存使用情况从小到大，依次提高其优先级，直到显存使用达到第一阈值。

在本实施例中，第一阈值为高阈值，第二阈值为低阈值，第一阈值大于第二阈值。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。

本实施例还提供一种资源调度方法，具体如下：

在显卡资源池上启动不同种类的多容器任务(多容器多任务-多容器共享单显卡和多进程共享单容器)，并按多容器共享单显卡，每个容器内运行一个业务进程，或者，单容器占用整个卡，此容器内启动多个业务进程两种方法添加优先级标签，同时上报节点上各个显卡资源的占用情况和容器业务的优先级标签，同时添加算力显存比的标签，业务占用的显存，算力资源利用率标签。

基于实时算力使用情况，合理调度。实时显存和算力监测设置高、低阈值，当达到高阈值时，暂停优先级低的容器业务，如优先级低的容器业务有多个，可对算力显存比高的业务进行暂停(即处理同样的数据，算力要求更高的业务被暂停)；当达到低阈值时，启动优先级高的pod任务，若优先级高的业务有多个，则对算力显存比低的业务进行启动(即处理同样数据，算力要求更低的业务被优先启动)。

其中，调度策略：

同类型任务容器：通过控制副本数量来进行扩容调度或缩容调度，不单一改变显存粒度来划分同类型多pod共享显卡。

不同类型任务容器：显存及算力资源够的情况下，按照申请的时间顺序及优先级标签申请资源。业务运行时，当资源紧张时，对优先级低(同优先级按算力显存比筛选)的容器业务进行暂停；业务运行时，当资源充足时，优先级低(同优先级按算力显存比筛选)的容器业务进行启动。当容器业务长时间处于等待创建或暂停运算状态，可适当上调优先级(避免一直处于暂停状态占用CPU和内存)。

本实施例提供一种资源调度装置，包括：

资源上报模块，用于获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级；

其中，现有显卡的数量、占用的显存量、申请时间戳、业务优先级等信息会实时上传至监控模块。

监控模块，用于实时监控各个资源节点中每个显卡的显卡算力利用率。

筛选模块，用于按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID。其中如果没有满足新容器任务的显卡，则可以等待一定时间后提高业务优先级后再次启动调度。筛选出满足情况的显卡资源，避免创建的需要求一下等待而无法创建。

其中，满足新容器任务是指在资源节点下显卡剩余显存资源大于新申请容器所需要显存，当某一显卡上达到此条件的新申请容器很多时，按照这些新申请容器的申请的时间标签，来顺序申请资源，启动业务容器。

例如，首先选择出满足需求的节点，比如新申请业务需要2G显存，节点N1,N2,N3分别剩余1G，3G，4G，那么就是N2和N3满足条件，接下来判断余量碎片最小的显卡，N2下的显卡有3G剩余，如果新业务启动，那么N2下的显卡上显存余量就是3-2＝1G；同理假如在N3上申请，N3下显卡余量会变为4-2＝2G，那么N2和N3的剩余显存余量最小的就是N2，即选择N2来启动新业务。

业务pod创建模块，用于在筛选出的满足新容器任务的显卡上创建新申请容器实例；

具体地，在已经筛选出的节点ID和显卡ID上按显存划分情况，创建新申请容器实例，同时更新pod内显存使用信息、容器优先级，供资源上报模块上报给筛选模块。

其中，pod容器内显存的使用，比如，整张显卡的显存共8G，容器1在启动时申请使用了2G，就会在容器1的实体内记录一个信息标签，记录了本容器使用的显存＝2G。那么计算显卡余量的时候，只需要查询显卡上每个容器的这个信息标签，就可以知道已使用了多少显存，即已使用了2G，那么此时显卡剩余显存＝8-2＝6G.

具体地，创建新申请容器实例包括以下步骤：

当新容器申请的请求被资源节点获得时，在所述资源节点上创建容器实例，容器实例的状态为pending；

容器的状态包括申请、启动、运行，pending对应启动过程，容器在启动时大概需要几秒到几十秒，此时用命令查看容器状态都是pending(阻塞/等待状态)，有时候启动成功，达到运行状态，命令查看容器状态就是running，有时启动异常，命令查看容器状态就会一直显示pending或者各种error类型的状态。

将该容器实例的相关信息转化为环境变量返回给上层资源节点，以真正的创建容器实例；创建成功后，容器实例的状态为running。

其中，容器实例的相关信息包括容器的名称、标签、镜像信息、运行后启动何种进程命令，申请的内存，占用cpu核数，申请显存信息，挂载盘等等。

业务pod优先级查询模块，用于查询已创建pod的优先级；

业务控制模块，用于在显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；还用于在显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。

在一些实施例中，若存在多个同一级优先级低的容器业务pod时，则随机选择一优先级低的容器业务pod进行暂停；若存在多个同一级优先级高的容器业务pod时，则随机选择一优先级高的容器业务pod进行启动。

具体地，在显卡上运行的多个容器，当显卡算力利用率达到高阈值时，此时，算力超载，选择业务优先级低的业务pod进行暂停，比如，在kafka内停止此容器的的业务订阅，然后查询此容器内是否处理完所有的已订阅信息，如果已经完成，则暂停此业务，释放动态显存和算力资源，其目的是为了使算力资源在高阈值以下。当算力利用率达到低阈值时，此时，算力空余，选择业务优先级高的容器业务pod进行启动。如果任务pod长时间没有被启动，可以提升其优先级，防止低优先级饿死情况。

在多业务多进程资源池内，单显卡上运行的业务进程在申请时，先挂起，按优先级顺序启动业务进程，同时每个进程按status线程维持其运行或挂起的状态。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种资源调度方法，其特征在于，所述调度方法包括：

获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级；

按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID；

在筛选出的满足新容器任务的显卡上创建新申请容器实例；

查询已创建pod的优先级；

实时监控各个资源节点中每个显卡的显卡算力利用率；

当显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；若存在多个同一级优先级低的容器业务pod时，则随机选择一优先级低的容器业务pod进行暂停；当显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod；若存在多个同一级优先级高的容器业务pod时，则随机选择一优先级高的容器业务pod进行启动。

2.根据权利要求1所述的一种资源调度方法，其特征在于，所述在筛选出的满足新容器任务的显卡上创建新申请的容器实例，包括：

当新容器申请的请求被资源节点获得时，在所述资源节点上创建容器实例，容器实例的状态为pending；

将该容器实例的相关信息转化为环境变量返回给上层资源节点，以真正的创建容器实例；创建成功后，容器实例的状态为running。

3.根据权利要求2所述的一种资源调度方法，其特征在于，若存在多个新容器申请的请求，且每个新申请容器所需的显存均小于显卡剩余显存资源，则按照多个新容器申请的申请时间戳顺序申请资源。

4.一种资源调度装置，其特征在于，该调度装置包括：

资源上报模块，用于获取资源池中显卡数量、总显存量、每个容器实例占用的显存量、申请时间戳和业务优先级；

监控模块，用于实时监控各个资源节点中每个显卡的显卡算力利用率；

筛选模块，用于按业务优先级筛选出满足新容器任务的显存的节点ID和显卡ID；

业务pod创建模块，用于在筛选出的满足新容器任务的显卡上创建新申请容器实例；

业务pod优先级查询模块，用于查询已创建pod的优先级；

业务控制模块，用于在显卡算力利用率达到高阈值时，暂停业务优先级低的容器业务pod；还用于在显卡算力利用率达到低阈值时，启动业务优先级高的容器业务pod。

5.根据权利要求4所述的一种资源调度装置，其特征在于，若存在多个同一级优先级低的容器业务pod时，则随机选择一优先级低的容器业务pod进行暂停；若存在多个同一级优先级高的容器业务pod时，则随机选择一优先级高的容器业务pod进行启动。

6.根据权利要求4或5所述的一种资源调度装置，其特征在于，所述在筛选出的满足新容器任务的显卡上创建新申请的容器实例，包括：

当新容器申请的请求被资源节点获得时，在所述资源节点上创建容器实例，容器实例的状态为pending；

将该容器实例的相关信息转化为环境变量返回给上层节点，以真正的创建容器实例；创建成功后，容器实例的状态为running。

7.根据权利要求6所述的一种资源调度装置，其特征在于，若存在多个新容器申请的请求，且每个新申请容器所需的显存量均资小于显卡剩余显存源，则按照多个新容器申请的申请时间戳顺序申请资源。

8.一种资源调度方法，其特征在于，该调度方法包括：

在常驻显存的容器实例中启动多个业务进程；其中，多个业务进程共用一个容器的显存，每个业务进程包括active，inactive，free，其中，active表示进程正常运行；inactive表示进程状态控制器对此进程挂起，无数据进入此进程运算；free表示进程状态控制器对此进程进行杀死，释放相关显存；三个状态；

将容器内业务优先级划分为三个等级，对应于业务进程的三个状态，active，inactive，free；

当显存使用达到第一阈值时，降低某一优先级业务进程中占用显存量最大的业务进程；

当显存使用达到第二阈值时，对某一优先级业务进程按显存使用情况从小到大，依次提高，直到显存使用达到第一阈值。

9.一种资源调度方法，其特征在于，该调度方法包括具体如下：

在显卡资源池上启动不同种类的多容器业务，包括多容器共享单显卡和多进程共享单容器单显卡；

实时检测每个容器业务的算力显存比，其中，算力显存比为算力与显存的比值；

当所述算力显存比达到高阈值时，暂停优先级低的容器业务，若优先级低的容器业务有多个，则对算力显存比高的业务进行暂停；

当所述算力显存比达到低阈值时，启动优先级高的容器业务，若优先级高的容器业务有多个，则对算力显存比低的业务进行启动。

10.一种共享GPU显存的方法，其特征在于，该方法包括：

将GPU显卡按显存方式划分，不同业务容器占用不同的在显存，总显存数不超过整张显卡的总显存；

在一块GPU显卡上，按需申请显存进行容器创建，当显存仍有空余且满足新申请的显存需求时，把新创建的容器绑定到同一显卡上。