CN111367679A

CN111367679A - 人工智能算力资源复用方法及装置

Info

Publication number: CN111367679A
Application number: CN202010245731.8A
Authority: CN
Inventors: 聂砂; 赵筝; 杨美红; 贺潇铮; 盛耀聪; 王洋
Original assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Current assignee: China Construction Bank Corp
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2020-07-03

Abstract

本发明提供了一种人工智能算力资源复用方法及装置，其中该方法包括：接收任务的预约信息；根据任务的预约信息，利用算力资源池，调度任务的算力资源；其中，算力资源池记录有算力资源占用情况；监听任务的执行进程，在任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况。该方法通过根据任务的预约信息，利用算力资源池，调度任务的算力资源；监听任务的执行进程，当该任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况；实现了根据人工智能任务的预约情况，调度分配算力资源，提高了人工智能算力资源复用度，减少资源浪费。

Description

人工智能算力资源复用方法及装置

技术领域

本发明涉及跨境交易技术领域，尤其涉及一种人工智能算力资源复用方法及装置。

背景技术

在人工智能深度学习模型训练过程中，一般会使用到高性能的算力资源，比如GPU(Graphics Processing Unit，图形处理器)、FPGA(Field-Programmable Gate Array，现场可编程逻辑门阵列)或者某些厂商的自主研发芯片等等。在大型企业中，一般都会有自己的算力资源，也会有多个人工智能训练任务。如果每个任务独占算力资源，可能会导致算力资源时忙时闲，算力资源的复用度不高，从而浪费宝贵的资源。

发明内容

本发明实施例提供一种人工智能算力资源复用方法，用以提高人工智能算力资源复用度，减少资源浪费，该方法包括：

接收任务的预约信息；

根据所述任务的预约信息，利用算力资源池，调度所述任务的算力资源；其中，所述算力资源池记录有算力资源占用情况；

监听所述任务的执行进程，在所述任务执行完成后，回收所述任务的算力资源，更新所述算力资源池中记录的算力资源占用情况。

本发明实施例还提供一种人工智能算力资源复用装置，用以提高人工智能算力资源复用度，减少资源浪费，该装置包括：

预约信息接收模块，用于接收任务的预约信息；

算力资源调度模块，用于根据所述任务的预约信息，利用算力资源池，调度所述任务的算力资源；其中，所述算力资源池记录有算力资源占用情况；

任务监听模块，用于监听所述任务的执行进程，在所述任务执行完成后，回收所述任务的算力资源，更新所述算力资源池记录的算力资源占用情况。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人工智能算力资源复用方法。

本发明实施例也提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述人工智能算力资源复用方法的计算机程序。

本发明实施例中，通过接收任务的预约信息；根据任务的预约信息，利用算力资源池，调度任务的算力资源；其中，算力资源池记录有算力资源占用情况；监听任务的执行进程，当该任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况；实现了根据人工智能任务的预约情况，调度分配算力资源，提高了人工智能算力资源复用度，减少资源浪费。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中人工智能算力资源复用方法的示意图。

图2为本发明具体实施例中步骤102的实施方法流程示意图。

图3为本发明一具体应用实施中人工智能算力资源复用系统的结构示意图。

图4为本发明实施例中人工智能算力资源复用装置的示意图。

图5为本发明具体实施例中算力资源调度模块402的具体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

申请人发现，一般地，在目前公有云的环境下，比较普遍的做法是：

在公有云上购买相应算力资源的配额；

在使用时启用相应的算力资源，比如启动2台2卡GPU的云服务器；

部署相应训练环境(比如启动容器镜像)，提交任务到这部分算力资源上；

任务执行完成后，释放相应算力资源。

但上述方案存在的缺点有：需要公有云服务提供商提供算力资源池，某些无法使用公有云服务的情形下不可用此种方式，比如敏感数据在私有云中不可拿出来。且需要手动申请和释放算力资源来尽可能节约成本，算力资源的复用度不高且操作不够便捷。

为了解决人工智能算力资源复用度不高的问题，本发明实施例提供了一种人工智能算力资源复用方法，用以提高人工智能算力资源复用度，减少资源浪费，如图1所示，该方法包括：

步骤101：接收任务的预约信息；

步骤102：根据该任务的预约信息，利用算力资源池，调度该任务的算力资源；

步骤103：监听该任务的执行进程，在该任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况；

其中，上述算力资源池记录有算力资源占用情况。

由图1所示流程可以得知，本发明实施例中，通过接收任务的预约信息；根据任务的预约信息，利用算力资源池，调度任务的算力资源；其中，算力资源池记录有算力资源占用情况；监听任务的执行进程，当该任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况；实现了根据人工智能任务的预约情况，调度分配算力资源，提高了人工智能算力资源复用度，减少资源浪费。

具体实施时，首先接收任务的预约信息，其中，任务是指需要占用人工智能算力资源的人工智能训练任务，任务的预约信息包括：任务的计划执行时刻、任务所需的算力资源类型、任务所需的算力资源需求量和任务的优先级。具体实施例中，任务的预约信息还包括：任务编号、任务预约时的申请时间、任务的执行状态、任务的实际执行时间和任务执行命令。

接收任务的预约信息后，根据该任务的预约信息，利用算力资源池，调度此任务的算力资源。其中，算力资源池记录有算力资源占用情况。具体实施例中，将所有的人工智能算力资源整合成为算力资源池，以使得整个资源池可以被共享。算力资源池还记录有算力资源的基础信息，例如包括算力资源编号、算力资源类型、算力资源的IP地址、算力资源的配置信息、算力资源所支持优先级、算力资源总数等。算力资源占用情况例如包括：算力资源占用任务编号、算力资源使用量、算力资源的占用时间和该算力资源的释放时间等。

具体实施时，根据该任务的预约信息，利用算力资源池，调度此任务的算力资源的方法流程如图2所示，包括：

步骤201：根据该任务的计划执行时刻和该任务的优先级，确定该任务的排序；

步骤202：按照上述排序，根据该任务所需的算力资源类型、任务所需的算力资源需求量和算力资源池记录的算力资源占用情况，确定该任务的算力资源；

步骤203：将确定的算力资源，调度给该任务。

步骤201具体实施时，按照预设时段，根据该任务的计划执行时刻和任务的优先级，实时更新上述任务的排序。例如，预设时段为1分钟或5分钟或1小时，每隔1分钟，扫描所有已预约的待执行任务，根据任务的计划执行时刻和任务的优先级，对扫描到的所有待执行任务进行排序，首先将待执行任务按优先级排序，优先级高的排序更靠前，同优先级的，按任务的计划执行时刻排序，计划执行时刻越早，排序越靠前。每隔1分钟进行排序，并对每个任务的排序序号进行更新。可以理解的是，上述预设时段仅为举例，可根据实际需求提前预设，在此不做限定。

步骤202具体实施时，根据算力资源池记录的算力资源占用情况，在算力资源池中查找满足该任务所需的算力资源类型和任务所需的算力资源需求量的空闲资源，确定为该任务的算力资源。

调度该任务的算力资源后，开始执行任务，任务执行过程中，监听该任务的执行进程，在该任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况。通过实时监听来确定算力资源的使用情况，一旦任务执行完毕，算力资源空闲，即可更改此算力资源的占用情况，以便尽快供后续算力资源的复用。

下面给出一具体实例说明本发明实施例如何进行算力资源复用。本例为应用上述人工智能算力资源复用方法所设计的人工智能算力资源复用系统。

为了更清楚地说明本发明具体实例的技术方案，下面将对具体实例描述中所涉及的技术术语进行解释：

人工智能：英文缩写为AI(Artificial Intelligence)，是研究开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

AI模型：根据训练数据总结出的数据结构，基于此结构可以对新的数据做预测，判定其目标分类或取值。

AI算法：总结AI模型的方法，有机器学习算法(如逻辑回归LR、梯度提升决策树GBDT等等)和深度学习算法(DNN/CNN/RNN等)。

算力资源：构建AI模型的过程，一般应用深度学习算法时，会用到高性能的计算资源。

具体实例中的人工智能算力资源复用系统结构如图3所示，包括：

资源管理装置301、任务预约和调度装置302、任务执行对接装置303和外部的算力资源池304。

具体地，资源管理装置301将外部的算力资源池304变成资源池子，使得整个算力资源池可以被共享，登记了算力资源池304中的所有机器信息，例如每台CPU物理机和GPU物理机，将其记录为如表1所示的资源基础信息表、表2所示的资源占用情况表以及表3所示的资源占用流水表。

表1资源基础信息表

表2资源占用情况表

表3资源占用流水表

资源管理装置301可用于查询资源列表、占用资源情况、更改资源占用信息以及释放指定资源，具体功能接口如下表4所示：

表4资源管理装置301接口功能表

具体地，任务预约和调度装置302，用于提供一套装置来满足任务定时执行和按优先级执行的需求，可用于任务预约、任务状态查询和任务预约取消等功能，具体功能接口如下表5所示：

表5任务预约和调度装置302接口功能表

其中，任务预约接口根据如表6所示的任务预约信息表对任务编号进行确认。

表6任务预约信息表

此外，任务预约和调度装置302还提供了一个内部接口如表7所示，供任务执行对接装置303调用，用于更新当前任务状态为执行完成，并释放相应的算力资源。

表7任务预约和调度装置302内部接口功能表

具体地，任务预约和调度装置302进行调度时使用Quartz触发器，触发周期可配置，一般为每分钟扫描一次，扫描逻辑为：

即，待执行任务按照优先级排序，优先级高的先可能被调度，同优先级的，按计划执行时刻排序，计划执行时刻早的先调度。

对于每个任务，根据其需求的算力资源类型和资源量，判断当前算力资源池中的空闲资源是否充足，充足则执行调度，否则本次放弃调度：

具体地，任务执行对接装置303，用于将调度成功的资源分配给申请方使用，监听任务执行的进程，及时回收算力资源。任务执行对接装置303通过ssh(安全外壳协议，Secure Shell)访问各台算力资源，进行提交执行任务、终止执行任务或者监控任务状态等功能，具体的功能接口如下表8所示。

表8任务执行对接装置303接口功能表

当任务执行对接装置303监控到当前任务执行结束后，调用任务预约和调度装置302的任务完成接口。

该人工智能算力资源复用系统的整体应用流程如下：

算力资源池304的全部算力资源在资源管理装置301中登记管理，预置初始占用都为0。

用户调用任务预约和调度装置302的任务预约接口，进行任务预约，如果预约时刻不晚于当前时刻，则希望立即占用资源。

任务预约和调度装置302调度已预约的任务，对于算力资源充足的任务，则调用任务预约和调度装置302的占用资源接口，更新任务状态，并调用任务执行对接装置303的任务执行接口。

任务执行对接装置303监测到任务进程执行完成，会告知任务预约和调度装置302哪些任务占用的什么算力资源已经释放，由任务预约和调度装置302来更新任务状态和资源管理装置301的资源占用情况。

相较于传统的使用公有云购买算力资源配额，上述人工智能算力资源复用系统更加适用于企业自身有一套独立的算力资源时使用，不受公有云的限制。且应用上述人工智能算力资源复用系统，能够实现任务自动提交，并且可以支持排队、定时调度、优先级调度以及支持多种资源类型和多种优先级的资源细粒度管理、申请和使用。

上述具体应用的实施仅为举例，其余实施方式不再一一赘述。

基于同一发明构思，本发明实施例还提供一种人工智能算力资源复用装置，由于人工智能算力资源复用装置所解决问题的原理与人工智能算力资源复用方法相似，因此人工智能算力资源复用装置的实施可以参见人工智能算力资源复用方法的实施，重复之处不再赘述，具体结构如图4所示：

预约信息接收模块401，用于接收任务的预约信息；

算力资源调度模块402，用于根据任务的预约信息，利用算力资源池，调度任务的算力资源；其中，算力资源池记录有算力资源占用情况；

任务监听模块403，用于监听任务的执行进程，在任务执行完成后，回收任务的算力资源，更新算力资源池记录的算力资源占用情况。

具体实施例中，上述任务预约信息包括：任务的计划执行时刻、任务所需的算力资源类型、任务所需的算力资源需求量和任务的优先级。

具体实施时，算力资源调度模块402具体结构如图5所示，包括：

排序单元501，用于根据任务的计划执行时刻和任务的优先级，确定任务的排序；

资源筛选单元502，用于按照上述排序，根据任务所需的算力资源类型、任务所需的算力资源需求量和算力资源池记录的算力资源占用情况，确定任务的算力资源；

资源调度单元503，用于将确定的算力资源，调度给该任务。

具体实施例中，排序单元501具体用于：按照预设时段，根据任务的计划执行时刻和任务的优先级，实时更新上述任务的排序。

本发明实施例还提供一种计算机可读存储介质，存储有执行上述人工智能算力资源复用方法的计算机程序。

综上所述，本发明实施例提供的人工智能算力资源复用方法及装置具有如下优点：

通过接收任务的预约信息；根据任务的预约信息，利用算力资源池，调度任务的算力资源；其中，算力资源池记录有算力资源占用情况；监听任务的执行进程，当该任务执行完成后，回收该任务的算力资源，更新算力资源池记录的算力资源占用情况；实现了根据人工智能任务的预约情况，调度分配算力资源，提高了人工智能算力资源复用度，减少资源浪费。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种人工智能算力资源复用方法，其特征在于，包括：

接收任务的预约信息；

监听所述任务的执行进程，在所述任务执行完成后，回收所述任务的算力资源，更新所述算力资源池记录的算力资源占用情况。

2.如权利要求1所述的方法，其特征在于，所述任务的预约信息包括：

任务的计划执行时刻、任务所需的算力资源类型、任务所需的算力资源需求量和任务的优先级。

3.如权利要求2所述的方法，其特征在于，根据所述任务的预约信息，利用算力资源池，调度所述任务的算力资源，包括：

根据所述任务的计划执行时刻和所述任务的优先级，确定所述任务的排序；

按照所述排序，根据所述任务所需的算力资源类型、所述任务所需的算力资源需求量和所述算力资源池记录的算力资源占用情况，确定所述任务的算力资源；

将确定的算力资源，调度给所述任务。

4.如权利要求3所述的方法，其特征在于，根据所述任务的计划执行时刻和所述任务的优先级，确定所述任务的排序，包括：

按照预设时段，根据所述任务的计划执行时刻和所述任务的优先级，实时更新所述任务的排序。

5.一种人工智能算力资源复用装置，其特征在于，包括：

预约信息接收模块，用于接收任务的预约信息；

6.如权利要求5所述的装置，其特征在于，所述任务预约信息包括：

7.如权利要求6所述的装置，其特征在于，所述算力资源调度模块具体包括：

排序单元，用于根据所述任务的计划执行时刻和所述任务的优先级，确定所述任务的排序；

资源筛选单元，用于按照所述排序，根据所述任务所需的算力资源类型、所述任务所需的算力资源需求量和所述算力资源池记录的算力资源占用情况，确定所述任务的算力资源；

资源调度单元，用于将确定的算力资源，调度给所述任务。

8.如权利要求7所述的装置，其特征在于，所述排序单元，具体用于：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。