CN111143060A - Gpu资源调度方法、装置及gpu - Google Patents

Abstract

本发明实施例提供的GPU资源调度方法、装置及GPU，所述方法包括：基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，并定时计算所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率；基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改最小阈值，或是否需要修改最大阈值。通过根据实时GPU的平均资源利用率的大小修正最小阈值和最大阈值，以及处于运行状态的实时业务POD进程的数量，提高了资源调度机制的准确率和有效性，大幅度提高了GPU资源利用率。

Description

GPU资源调度方法、装置及GPU

技术领域

本发明涉及GPU资源调度领域，具体而言，涉及一种GPU资源调度方法、装置及GPU。

背景技术

在安防行业，随着对摄像机所采集的视频、图片的后端智能分析需求越来越强烈，存在着对GPU显卡的大规模使用需求。同时，基于Kubernetes(K8S)和docker的容器云，在安防行业也得到越来越多的应用。目前K8S对GPU调度已经支持多POD的共享模式，即多个POD可以绑定并使用同一个GPU资源。

安防行业存在着实时视频流分析、实时图片流分析、录像流解析、人脸特征聚类等各种实时或非实时业务，由于缺乏有效的资源调度机制，GPU显卡的使用还是存在着利用率低下的问题。没有资源复用机制时，安防局点所部署的GPU显卡，全天资源利用率一般在20％以下。

对于上述问题，安防业界的一种通用策略是：按照白天、黑夜模式对实时图片流解析业务与录像流解析、人脸特征聚类等非实时业务进行资源共享调度。即：白天实时图片流解析业务全量占用分配给这部分业务的GPU资源，夜晚释放出一部分资源给非实时业务使用，以达到提高资源利用率的目的。

但是，由于上述策略的资源复用时间粒度比较粗，因此只能小幅度提高GPU资源利用率，GPU卡的全天资源利用率可以接近40％，还存在较大优化空间。

另外，在局点部署的GPU资源方面，还缺乏有效的计算方法。

发明内容

有鉴于此，本发明的目的在于提供一种文件默认命名方法、装置和电子设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种GPU资源调度方法，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程；所述实时业务POD进程用于处理实时业务，所述非实时业务POD进程用于处理非实时业务，所述方法包括：

基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；

根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量，并定时计算所有处于运行状态的所述实时业务POD进程所绑定的GPU的平均资源利用率；

基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量，或是否需要修改所述最小阈值，或是否需要修改所述最大阈值。

一天分为高峰时间段和低峰时间段，所述高峰时间段和所述低峰时间段均包括至少两个所述时间分区；在可选的实施方式中，根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量的步骤，包括：

若当前时间处于所述高峰时间段，则按照所在时间分区的所述最大阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

若所述当前时间处于所述低峰时间段，则按照所在时间分区的所述最小阈值，将对应数量的所述实时业务POD置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

将剩下的GPU所绑定的所述非实时业务POD进程置为运行状态，同时将绑定同一GPU的所述实时业务POD进程置为休眠状态。

在可选的实施方式中，基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量的步骤，包括：

在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的大小的范围；

若连续N次的所述平均资源利用率均小于或等于低水线阈值，则判断所述实时业务POD进程数量是否为所述最小阈值；

若否，则休眠第一数量的所述实时业务POD进程，并唤醒同一GPU的所述非实时业务POD进程。

在可选的实施方式中，基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量的步骤，还包括：

若连续N次的所述平均资源利用率均高于或等于高水线阈值；则判断所述实时业务POD进程数量是否到达所配置的GPU总数；若否，则休眠第二数量的所述非实时业务POD进程，并唤醒同一GPU的所述实时业务POD进程。

在可选的实施方式中，基于所述平均资源利用率的大小确定是否需要修改所述最小阈值，或是否需要修改所述最大阈值的步骤，包括：

在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的范围；

在低峰时间段，若连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值，则判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最小阈值；若不是，则将所述调度周期的时间累加到实际最小阈值的第一持续时长；所述第一持续时长为所述实际最小阈值对应的时间分区的时长；

在预定时间后，若所述第一持续时长大于所述最小阈值所对应的时间分区的时长，则将所述实际最小阈值作为所述最小阈值；

在高峰时间段，若连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值，则判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最大阈值；若不是，则将所述调度周期的时间累加到实际最大阈值的第二持续时长；所述第二持续时长为所述实际最大阈值对应的时间分区的时长；

在预定时间后，若所述第二持续时长大于所述最大阈值所对应的时间分区的时长，则将所述实际最大阈值作为所述最大阈值。

第二方面，本发明实施例提供一种GPU资源调度装置，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程；所述实时业务POD进程用于处理实时业务，所述非实时业务POD进程用于处理非实时业务，所述装置包括：

处理模块，用于基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；

以及还用于根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量，并定时计算所有处于运行状态的所述实时业务POD进程所绑定的GPU的平均资源利用率；

以及还用于基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量，或是否需要修改所述最小阈值，或是否需要修改所述最大阈值。

在可选的实施方式中，所述处理模块，还用于当前时间处于所述高峰时间段时，按照所在时间分区的所述最大阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

以及还用于所述当前时间处于所述低峰时间段时，按照所在时间分区的所述最小阈值，将对应数量的所述实时业务POD置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

以及还用于将剩下的GPU所绑定的所述非实时业务POD进程置为运行状态，同时将绑定同一GPU的所述实时业务POD进程置为休眠状态。

在可选的实施方式中，GPU资源调度装置还包括判断模块；所述判断模块，用于在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的大小的范围；

以及还用于连续N次的所述平均资源利用率均小于或等于低水线阈值时，判断所述实时业务POD进程数量是否为所述最小阈值；

所述处理模块，还用于所述实时业务POD进程数量不是所述最小阈值时，休眠第一数量的所述实时业务POD进程，并唤醒同一GPU的所述非实时业务POD进程。

在可选的实施方式中，所述判断模块，还用于连续N次的所述平均资源利用率均高于或等于高水线阈值时，判断所述实时业务POD进程数量是否到达所配置的GPU总数；

所述处理模块，还用于所述实时业务POD进程数量未到达所配置的GPU总数时，休眠第二数量的所述非实时业务POD进程，并唤醒同一GPU的所述实时业务POD进程。

在可选的实施方式中，所述判断模块，还用于在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的范围；

以及还用于在低峰时间段，连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值时，判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最小阈值；若不是，则将所述调度周期的时间累加到实际最小阈值的第一持续时长；所述第一持续时长为所述实际最小阈值对应的时间分区的时长；

所述处理模块，还用于在预定时间后，所述第一持续时长大于所述最小阈值所对应的时间分区的时长时，将所述实际最小阈值作为所述最小阈值；

所述判断模块，还用于在高峰时间段，连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值时，判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最大阈值；若不是，则将所述调度周期的时间累加到实际最大阈值的第二持续时长；所述第二持续时长为所述实际最大阈值对应的时间分区的时长；

所述处理模块，还用于在预定时间后，若所述第二持续时长大于所述最大阈值所对应的时间分区的时长时，将所述实际最大阈值作为所述最大阈值。

第三方面，本发明实施例提供一种GPU，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。

本发明实施例提供的GPU资源调度方法、装置及GPU，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程，所述方法包括：基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，并定时计算所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率；基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改最小阈值，或是否需要修改最大阈值。通过细粒度的划分每个时间分区，实时业务和非实时业务分时间段的复用GPU资源，大幅度提高了GPU资源利用率；通过根据实时GPU的平均资源利用率的大小不断修正初始预估的每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值，以及处于运行状态的实时业务POD进程的数量，提高了资源调度机制的准确率和有效性，大幅度提高了GPU资源利用率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的GPU资源调度方法的流程示意图。

图2示出了本发明实施例提供的另一种GPU资源调度方法的流程示意图。

图3示出了本发明实施例提供的GPU资源调度装置的功能模块图。

图4示出了本发明实施例提供的GPU的方框示意图。

图标：100-GPU资源调度装置；110-处理模块；120-判断模块；200-GPU；210-处理器；220-存储器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参阅图1，为本发明实施例提供的GPU资源调度方法的流程示意图。

步骤101，基于历史实时业务量预估每个时间分区所需的实时业务POD进程数量的最小阈值和最大阈值。

在本实施例中，首先基于历史各业务量数据分别在白天和晚上的峰值GPU资源占用，在上述峰值GPU资源占用的基础上做适当的GPU资源预留，预估出所需要配置的GPU数量，该GPU数量能够满足在高峰时间段及时处理实时业务，以及非实时业务也能够在当天处理完。

实时业务包括图片处理业务、视频处理业务，非实时业务包括人脸聚类业务、录像解析业务。

需要说明的是，本实施例中，高峰时间段是指白天，低峰时间段是指夜晚。一种默认的时间区间策略示例如下，同时各时间区间的范围还可以根据实际情况作出相应的调整：

根据上述GPU数量所需满足的目标，局点GPU资源配置的计算公式如下：

假设实时图片处理业务的资源占用为a，实时视频处理业务的资源占用为b，非实时的人脸聚类或录像解析”业务的全天资源占用之和为c；其中，c的表示方式，为完成当天全部数据处理的单GPU卡工作总时间，比如864000个英伟达P4卡处理秒。

同时，假设实时图片处理业务在低峰时间段的资源占用只有白天高峰时间段的20％，低峰时间段时长占全天时长的40％(9.6小时*3600秒)，高峰时间段时长占全天时长的60％(14.4小时*3600秒)，上述这些参数可以根据具体局点情况来调整。

则：

晚上的GPU资源需求：a*20％+b+((c-a*80％*低峰时间段时长)/全天时长)*(低峰时间段时长/全天时长)；

白天的GPU资源需求：a+b+((c-a*80％*低峰时间段时长)/全天时长)*(高峰时间段时长/全天时长)；

其中：全天时长就是24小时*3600秒；

因此，局点的实际GPU卡的配置数量，就是上述两个计算结果中的较大值，同时再增加适当的GPU资源预留。

然后本算法采用多POD进程绑定同一块GPU卡的资源复用策略，同时，考虑到运行的POD进程越多，消耗的CPU资源、内存资源越多，因此在本算法中优选采用两种业务POD进程共享绑定一块GPU卡，这两个POD组成一个分组；即每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程，实时业务POD进程用于处理实时业务，非实时业务POD进程用于处理非实时业务。

从业务的资源使用特点来看，实时图片解析业务的GPU资源占用与实际场景、时间等有较大相关性，因此在资源使用方面有较大的调度空间，比较适合与非实时业务共享GPU资源，比如录像解析、人脸聚类等业务。

因此，在本实施例中，优选的，由实时图片解析POD进程与非实时的录像解析POD进程、或实时图片解析POD进程与非实时的人脸聚类POD进程共享使用同一块GPU卡。

基于历史实时业务量预估每个时间分区所需的实时业务POD进程数量的最小阈值和最大阈值。即根据历史实时业务量数据预估每个时间分区处理完实时业务所需要的最少POD进程数量和最多POD进程数量。

下面以实时图片解析POD进程、录像解析POD进程共享同一GPU卡为例，说明本GPU资源调度算法的实现机制，其他业务的实现原理与此相同。

实时图片解析POD进程在各时间区间的预留最小阈值和最大阈值，在初始阶段按照预估的高峰时间段和低峰时间段分别抓拍的图片总数/秒进行设置。

比如：局点的人脸或者车辆卡口总数是512台，每个实时图片解析POD进程的最大图片处理数量/秒是64张/秒，则设置结果如下：

步骤102，根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，定时计算所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率。

在本调度算法在实际局点运行之后，根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，定时计算各时间区间所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率，该平均资源利用率用于判断当前处于运行状态的实时业务POD进程的数量、最小阈值和最大阈值是否合理。

步骤103，基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改所述最小阈值或是否需要修改所述最大阈值。

在本实施例中，基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改最小阈值，或是否需要修改最大阈值，使得处于运行状态的实时业务POD进程的数量、最小阈值和最大阈值更加合理化。通过细粒度的划分每个时间分区，实时业务和非实时业务分时间段的复用GPU资源，大幅度提高了GPU资源利用率；通过根据实时GPU的平均资源利用率的大小不断修正初始预估的每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值，以及处于运行状态的实时业务POD进程的数量，提高了资源调度机制的准确率和有效性，大幅度提高了GPU资源利用率。

请参阅图2，为本发明实施例提供的另一种GPU资源调度方法的流程示意图。

需要说明的是，本实施例所提供的GPU资源调度方法，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

下面仍以实时图片解析POD进程、录像解析POD进程共享同一GPU卡为例，说明本GPU资源调度算法的实现机制，其他业务的实现原理与此相同。

步骤101，基于历史实时业务量预估每个时间分区所需的实时业务POD进程数量的最小阈值和最大阈值。

步骤102，根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，定时计算所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率。

判断当前时间是在白天还是夜晚，若当前时间是在白天，则执行子步骤102-1；若当前时间是在夜晚则执行子步骤102-2。

在本调度算法在实际局点运行之后，启动GPU资源利用率采集定时器，定时(比如1分钟)采集所有运行状态的实时图片解析POD进程所绑定GPU卡的资源利用率，并计算得到这部分GPU卡的平均资源利用率。

需要说明的是，步骤102包括三个子步骤，本步骤中未提及之处将在其子步骤中进行详细的阐述。

子步骤102-1，若当前时间处于高峰时间段，则按照所在时间分区的最大阈值，将对应数量的实时业务POD进程置为运行状态，并将绑定同一GPU的非实时业务的POD进程置为休眠状态。

子步骤102-2，若当前时间处于低峰时间段，则按照所在时间分区的最小阈值，将对应数量的实时业务POD进程置为运行状态，并将绑定同一GPU的非实时业务POD进程置为休眠状态。

子步骤102-3，将剩下的GPU所绑定的非实时业务POD进程置为运行状态，同时将绑定同一GPU的实时业务POD进程置为休眠状态。

需要说明的是，子步骤102-1及子步骤102-2之后均执行子步骤102-3。

步骤103，基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改所述最小阈值或是否需要修改所述最大阈值。

需要说明的是，步骤103包括十二个子步骤，本步骤中未提及之处将在其子步骤中进行详细的阐述。

子步骤103-1，在调度周期切换时间点，判断在调度周期内的至少两个平均资源利用率的大小的范围。

启动调度切换定时器，每隔一定调度周期触发处理，比如5分钟。

基于平均资源利用率的大小所处的范围的不同，执行子步骤103-2、或子步骤103-4、或子步骤103-4、或子步骤103-6、或子步骤103-9。

子步骤103-2，若连续N次的平均资源利用率均小于或等于低水线阈值，则判断实时业务POD进程数量是否为最小阈值。

在可选的实施方式中，低水线阈值为60％。

在可选的实施方式中，若连续5次的平均资源利用率均小于或等于60％，则判断实时业务POD进程数量是否为最小阈值，若是，则说明最小阈值可能并不合理，需要执行子步骤103-6或子步骤103-9进一步判断；若否，则说明当前处于运行状态的实时业务POD进程的数量不合理，需要执行子步骤103-3。

子步骤103-3，休眠第一数量的实时业务POD进程并唤醒同一GPU的非实时业务POD进程。

需要说明的是，按照一定比例(比如5％)的GPU资源与POD数量的换算关系得到第一数量的具体值。

此时，说明用来运行实时图片解析POD进程的GPU卡过多，导致GPU卡的资源利用不够充分，应休眠一定数量的实时图片解析POD进程并唤醒同一GPU的录像解析POD进程POD进程。

子步骤103-4，若连续N次的平均资源利用率均高于或等于高水线阈值；则判断实时业务POD进程数量是否到达所配置的GPU总数。

在可选的实施方式中，高水线阈值为90％。

在可选的实施方式中，若连续5次的平均资源利用率均高于或等于90％，则判断实时业务POD进程数量是否到达所配置的GPU总数，若是，则说明最大阈值可能并不合理，需要执行子步骤103-6或子步骤103-9进一步判断；若否，则说明前处于运行状态的非实时业务POD进程的数量不合理，需要执行子步骤103-5。

子步骤103-5，休眠第二数量的非实时业务POD进程并唤醒同一GPU的实时业务POD进程。

需要说明的是，按照一定比例(比如5％)的GPU资源与POD数量的换算关系得到第二数量的具体值。

此时，说明实时图片解析业务较多，导致GPU卡的资源利用过于充分，为了能及时处理实时图片解析业务，应休眠一定数量的录像解析解析POD进程并唤醒同一GPU的实时图片POD进程POD进程。

子步骤103-6，在低峰时间段若连续N次的平均资源利用率均大于低水线阈值并小于高水线阈值，判断当前处于运行状态的实时业务POD数量是否为当前时间分区内的最小阈值。

若当前时间所处的时间分区为低峰时间段，则执行本步骤。

在可选的实施方式中，若连续5次的平均资源利用率均高于60％且低于90％，判断当前处于运行状态的实时业务POD进程数量是否为当前时间分区内的最小阈值；若是，则说明在本调度周期内最小阈值比较合理，并执行步骤103-12；若否，则说明最小阈值不合理，需要执行步骤103-7。

子步骤103-7，将调度周期的时间累加到实际最小阈值的第一持续时长。

实际最小阈值为当前平均资源利用率范围下，处于运行状态的实时业务POD进程数量。

第一持续时长为实际最小阈值对应的时间分区的时长。

子步骤103-8，在预定时间后，若第一持续时长大于最小阈值所对应的时间分区的时长，将实际最小阈值作为最小阈值。

在可选的实施方式中，预定时间可以是但不限于一个月。

子步骤103-9，在高峰时间段若连续N次的平均资源利用率均大于低水线阈值并小于高水线阈值，判断当前处于运行状态的实时业务POD数量是否为当前时间分区内的最大阈值。

若当前时间所处的时间分区为高峰时间段，则执行本步骤。

在可选的实施方式中，若连续5次的平均资源利用率均高于60％且低于90％，判断当前处于运行状态的实时业务POD进程数量是否为当前时间分区内的最大阈值；若是，则说明在本调度周期内最大阈值比较合理，并执行步骤103-12；若否，则说明最大阈值不合理，需要执行步骤103-10。

子步骤103-10，将调度周期的时间累加到实际最大阈值的第二持续时长。

实际最大阈值为当前平均资源利用率范围下，处于运行状态的实时业务POD进程数量。

第二持续时长为实际最大阈值对应的时间分区的时长。

子步骤103-11，在预定时间后，若第二持续时长大于最大阈值所对应的时间分区的时长，将实际最大阈值作为最大阈值。

在可选的实施方式中，预定时间可以是但不限于一个月。

子步骤103-12，启动下一轮的调度周期定时器。

此时，说明当前每个时间分区处于运行状态的所述实时业务POD进程的数量、最小阈值和所述最大阈值都比较合理，不需要修正，并启动调度周期定时器，开始下一轮计算。

需要说明的是，本发明实施例提供的GPU资源调度方法还支持高优先级任务抢占GPU资源的处理流程。

以高优先级任务为录像解析业务为例，录像解析业务在收到用户配置的最高优先级任务之后，先尝试在内部进行调度。当由于GPU资源不足、导致录像解析任务无法启动执行时，调用本算法的POD资源申请接口，指定操作类型(类型为申请资源)、该任务的摄像机路数；

算法在收到资源申请之后：

首先根据任务的摄像机路数，换算出需要的GPU卡数量；然后，根据所需GPU卡数量，对处于运行状态的实时图片解析POD进程执行休眠，同时唤醒分组中对应的录像分析POD进程；直到满足录像解析高优先级任务的资源需求，或者是到达该时间区间的最少实时图片解析POD进程数量；

完成高优先级的录像解析任务之后，录像解析业务需要调用本算法的POD资源释放接口，指定操作类型(类型为释放资源)、释放解析业务POD进程的ID；

本算法对于释放的这些POD，根据当前时间区间中的实时图片解析POD进程运行数量，执行唤醒实时图片解析POD进程、休眠分组中录像解析POD进程的处理。

下面以实时图片解析POD进程、录像解析POD进程共享同一GPU卡为例，说明本GPU资源调度算法的具体实现过程，其他业务的实现原理与此相同。

首先通过界面，将K8S上的实时图片解析POD进程、录像解析POD进程配置绑定到同一GPU卡，并在数据库中记录为共享同一GPU卡的POD分组。同时，在配置文件中指定白天、黑夜的各时间区间的实时图片解析POD进程的预留最小阈值、最大阈值。

然后启动本调度算法。如果当前时间在白天的某个时间区间，则算法自动调度该时间区间的预留最大阈值的实时图片解析POD进程为运行状态、同时将分组中对应的录像解析POD进程置为休眠状态。如果当前时间在晚上的某个时间区间，则算法自动调度该时间区间的预留最小阈值的实时图片解析POD进程为运行状态、同时将分组中对应的录像解析POD进程置为休眠状态。对于剩余的GPU卡，自动将录像解析POD进程置为运行状态，将分组中的实时图片解析POD进程置为休眠状态。

每隔一定时间(比如1分钟)，本算法会自动采集所有处于运行状态的实时图片POD进程所绑定GPU卡的资源利用率，同时计算这部分GPU卡的总体平均资源利用率，并记录下来。然后，在一定周期之后(比如5分钟)，算法会自动判断连续这N次(比如5次)的平均资源利用率是否都是大于且等于高水线值或者是低水线值。如果是，则按照一定资源比例(比如5％)换算得到POD进程数量，对这部分实时图片解析POD进程执行休眠(大于高水线)或者唤醒处理(小于低水线)，同时对分组中的录像录像解析POD进程执行唤醒或者休眠处理，直到实时图片解析POD进程数量达到本时间区间的最少阈值(休眠处理)或者全部GPU卡数量(唤醒处理)。从而实现两种业务对GPU卡使用的自动调节，有效提升GPU卡的实际利用率。

同时，由于本算法对实时图片解析POD进程在白天、夜晚的各时间区间的预留数量，具有根据实际场景进行自动学习的机制，可以更加有效的提升本算法的实际效果。

在未启用本调度算法方案之前，实时图片解析、录像解析、人脸聚类等业务的全天GPU显卡的平均利用率在40％以下。

当启用本调度算法方案时，上述业务POD在共用GPU显卡时，GPU卡资源的全天平均利用率可达到80％。

同时，在对实时图片解析POD在各时间区间预留的最少阈值和最多阈值进行一定时间的学习之后，GPU卡的全天平均资源利用率可达到90％以上。

综上所述，本发明实施例提供的GPU资源调度方法、装置及GPU，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程，所述方法包括：基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，并定时计算所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率；基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改最小阈值，或是否需要修改最大阈值。通过细粒度的划分每个时间分区，实时业务和非实时业务分时间段的复用GPU资源，大幅度提高了GPU资源利用率；通过根据实时GPU的平均资源利用率的大小不断修正初始预估的每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值，以及处于运行状态的实时业务POD进程的数量，提高了资源调度机制的准确率和有效性，大幅度提高了GPU资源利用率。

请参照图3，为本发明实施例所提供的一种GPU资源调度装置的功能模块示意图。需要说明的是，本发明实施例所提供的一种GPU资源调度装置100其基本原理及产生的技术效果与前述方法实施例相同，为简要描述，本实施例中未提及部分，可参考前述方法实施例中的相应内容。GPU资源调度装置100用于执行图1及图2所述的GPU资源调度方法，其包括处理模块110及判断模块120。

可以理解的，在一种实施例中，通过处理模块110执行步骤101、步骤102、步骤103-3、步骤103-5、步骤103-7、步骤103-8、步骤103-9、步骤103-10及步骤103-12。

可以理解的，在一种实施例中，通过判断模块120执行步骤103-1、步骤103-2、步骤103-4、步骤103-6及步骤103-9。

请参阅图4，图4为本发明实施例提供的一种GPU的方框示意图。

GPU200，包括处理器210和存储器220，所述存储器220存储有能够被所述处理器210执行的机器可执行指令，所述处理器210可执行所述机器可执行指令以实现上述的基于SSD的缓存方法。

其中，存储器用于存储程序或者数据。所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种GPU资源调度方法，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程；所述实时业务POD进程用于处理实时业务，所述非实时业务POD进程用于处理非实时业务，其特征在于，所述方法包括：

基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；

根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量，并定时计算所有处于运行状态的所述实时业务POD进程所绑定的GPU的平均资源利用率；

基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量，或是否需要修改所述最小阈值，或是否需要修改所述最大阈值。

2.根据权利要求1所述的方法，其特征在于，一天分为高峰时间段和低峰时间段，所述高峰时间段和所述低峰时间段均包括至少两个所述时间分区；

根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量的步骤，包括：

若当前时间处于所述高峰时间段，则按照所在时间分区的所述最大阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

若所述当前时间处于所述低峰时间段，则按照所在时间分区的所述最小阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

将剩下的GPU所绑定的所述非实时业务POD进程置为运行状态，同时将绑定同一GPU的所述实时业务POD进程置为休眠状态。

3.根据权利要求1所述的方法，其特征在于，基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量的步骤，包括：

在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的大小的范围；

若连续N次的所述平均资源利用率均小于或等于低水线阈值，则判断所述实时业务POD进程数量是否为所述最小阈值；

若否，则休眠第一数量的所述实时业务POD进程，并唤醒同一GPU的所述非实时业务POD进程。

4.根据权利要求3所述的方法，其特征在于，基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量的步骤，还包括：

若连续N次的所述平均资源利用率均高于或等于高水线阈值；则判断所述实时业务POD进程数量是否到达所配置的GPU总数；若否，则休眠第二数量的所述非实时业务POD进程，并唤醒同一GPU的所述实时业务POD进程。

5.根据权利要求1所述的方法，其特征在于，基于所述平均资源利用率的大小确定是否需要修改所述最小阈值，或是否需要修改所述最大阈值的步骤，包括：

在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的范围；

在低峰时间段，若连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值，则判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最小阈值；若不是，则将所述调度周期的时间累加到实际最小阈值的第一持续时长；所述第一持续时长为所述实际最小阈值对应的时间分区的时长；

在预定时间后，若所述第一持续时长大于所述最小阈值所对应的时间分区的时长，则将所述实际最小阈值作为所述最小阈值；

在高峰时间段，若连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值，则判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最大阈值；若不是，则将所述调度周期的时间累加到实际最大阈值的第二持续时长；所述第二持续时长为所述实际最大阈值对应的时间分区的时长；

在预定时间后，若所述第二持续时长大于所述最大阈值所对应的时间分区的时长，则将所述实际最大阈值作为所述最大阈值。

6.一种GPU资源调度装置，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程；所述实时业务POD进程用于处理实时业务，所述非实时业务POD进程用于处理非实时业务，其特征在于，所述装置包括：

处理模块，用于基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；

以及还用于根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量，并定时计算所有处于运行状态的所述实时业务POD进程所绑定的GPU的平均资源利用率；

以及还用于基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量，或是否需要修改所述最小阈值，或是否需要修改所述最大阈值。

7.根据权利要求6所述的装置，其特征在于，一天分为高峰时间段和低峰时间段，所述高峰时间段和所述低峰时间段均包括至少两个所述时间分区；

所述处理模块，还用于当前时间处于所述高峰时间段时，按照所在时间分区的所述最大阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

以及还用于所述当前时间处于所述低峰时间段时，按照所在时间分区的所述最小阈值，将对应数量的所述实时业务POD置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

以及还用于将剩下的GPU所绑定的所述非实时业务POD进程置为运行状态，同时将绑定同一GPU的所述实时业务POD进程置为休眠状态。

8.根据权利要求6所述的装置，其特征在于，还包括判断模块；

所述判断模块，用于在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的大小的范围；

以及还用于连续N次的所述平均资源利用率均小于或等于低水线阈值时，判断所述实时业务POD进程数量是否为所述最小阈值；

所述处理模块，还用于所述实时业务POD进程数量不是所述最小阈值时，休眠第一数量的所述实时业务POD进程，并唤醒同一GPU的所述非实时业务POD进程。

9.根据权利要求8所述的装置，其特征在于，

所述判断模块，还用于连续N次的所述平均资源利用率均高于或等于高水线阈值时，判断所述实时业务POD进程数量是否到达所配置的GPU总数；

所述处理模块，还用于所述实时业务POD进程数量未到达所配置的GPU总数时，休眠第二数量的所述非实时业务POD进程，并唤醒同一GPU的所述实时业务POD进程。

10.根据权利要求6所述的装置，其特征在于，

所述判断模块，还用于在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的范围；

以及还用于在低峰时间段，连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值时，判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最小阈值；若不是，则将所述调度周期的时间累加到实际最小阈值的第一持续时长；所述第一持续时长为所述实际最小阈值对应的时间分区的时长；

所述处理模块，还用于在预定时间后，所述第一持续时长大于所述最小阈值所对应的时间分区的时长时，将所述实际最小阈值作为所述最小阈值；

所述判断模块，还用于在高峰时间段，连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值时，判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最大阈值；若不是，则将所述调度周期的时间累加到实际最大阈值的第二持续时长；所述第二持续时长为所述实际最大阈值对应的时间分区的时长；

所述处理模块，还用于在预定时间后，若所述第二持续时长大于所述最大阈值所对应的时间分区的时长时，将所述实际最大阈值作为所述最大阈值。

11.一种GPU，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5任一所述的方法。

Images