CN113742047A - 基于资源消耗预测的批量任务调度方法及装置 - Google Patents

基于资源消耗预测的批量任务调度方法及装置 Download PDF

Info

Publication number
CN113742047A
CN113742047A CN202111098035.XA CN202111098035A CN113742047A CN 113742047 A CN113742047 A CN 113742047A CN 202111098035 A CN202111098035 A CN 202111098035A CN 113742047 A CN113742047 A CN 113742047A
Authority
CN
China
Prior art keywords
batch
scheduling
data table
operation mode
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111098035.XA
Other languages
English (en)
Inventor
迟钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202111098035.XA priority Critical patent/CN113742047A/zh
Publication of CN113742047A publication Critical patent/CN113742047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于资源消耗预测的批量任务调度方法及装置，涉及人工智能技术领域，其中该方法包括：获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；根据所述比例系数以及预设内存占用阈值，进行批量任务调度。本发明可以实现基于资源消耗预测的批量任务调度，保证了数据库稳定地运行。

Description

基于资源消耗预测的批量任务调度方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于资源消耗预测的批量任务调度方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，在生产环境资源有限，时间有限的情况下，须同时进行的批量任务所需资源远远超过生产环境所能提供的内存资源。
现有的批量任务调度方式，大多以逻辑前后顺序或者时间触点作为调度依据。但是在面临的经费有限、资源紧张的实际情况下，如果仅依靠数据库自身的控制机制，多任务并发时会导致多个SQL同时竞争资源，造成数据库崩溃。
发明内容
本发明实施例提供一种基于资源消耗预测的批量任务调度方法，用以实现基于资源消耗预测的批量任务调度，保证数据库稳定地运行，该方法包括：
获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；
根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；
根据所述比例系数以及预设内存占用阈值，进行批量任务调度。
本发明实施例还提供一种基于资源消耗预测的批量任务调度装置，用以实现基于资源消耗预测的批量任务调度，保证数据库稳定地运行，该装置包括：
预测单元，用于获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；
系数确定单元，用于根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；
调度单元，用于根据所述比例系数以及预设内存占用阈值，进行批量任务调度。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于资源消耗预测的批量任务调度方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于资源消耗预测的批量任务调度方法的计算机程序。
本发明实施例中，基于资源消耗预测的批量任务调度方案，与现有技术中大多以逻辑前后顺序或者时间触点作为调度依据，会由于资源紧张造成数据库崩溃的批量任务调度的技术方案相比，通过：获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；根据所述比例系数以及预设内存占用阈值，进行批量任务调度，可以实现基于资源消耗预测的批量任务调度，保证了数据库稳定地运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中基于资源消耗预测的批量任务调度方法的流程示意图；
图2为本发明另一实施例中基于资源消耗预测的批量任务调度方法流程示意图；
图3为本发明另一实施例中基于资源消耗预测的批量任务调度方法流程示意图；
图4为本发明另一实施例中基于资源消耗预测的批量任务调度方法流程示意图；
图5为本发明实施例中基于资源消耗预测的批量任务调度装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
发明人发现现有批量任务调度存在的技术问题，提出在原有的批量步骤先后顺序以外，需增加一种根据资源消耗估算来控制批量启动的机制。也就是基于以上情况，本发明提出一种基于资源消耗预测的批量任务调度方案，即一种基于资源消耗预测算法的任务调度机制，开发人员只需做少量的配置和代码编写，用时间换取空间，批量就可以更加稳定的完成，即在原有批量调度的基础上，增加资源消耗的判断，根据批量使用数据表的量级进行粗略的估算，限制并发数量。下面对该基于资源消耗预测的批量任务调度方案进行详细介绍。
图1为本发明实施例中基于资源消耗预测的批量任务调度方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤101：获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；
步骤102：根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；
步骤103：根据所述比例系数以及预设内存占用阈值，进行批量任务调度。
本发明实施例中，基于资源消耗预测的批量任务调度方法，通过：获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；根据所述比例系数以及预设内存占用阈值，进行批量任务调度，可以实现基于资源消耗预测的批量任务调度，保证了数据库稳定地运行。下面进行详细介绍。
本发明实施例提出了一种基于资源消耗预测算法的任务调度机制。在批量各步骤的启动顺序基础上，基于资源消耗预测进行任务调度。在原有批量调度的基础上，增加资源消耗的判断，根据批量使用数据表的量级进行粗略的估算，限制并发数量。下面对各个步骤进行详细介绍。
一、首先，介绍预先配置的步骤。
1.数据表存储情况信息
每日批量终结，批量程序查看各数据表的当前日期分区大小和全表大小，根据查看结果可以确定内存资源大小。数据项对应表结构如下表1所示：
Figure BDA0003269767710000041
表1
在上表1中，TBDSS_TAB_NAME字段用来存储系统批量涉及的所有数据表。TBDSS_TAB_PAR_DATE字段用来存储当前表中最新的数据分区日期。TBDSS_TAB_PAR_SIZE字段用来存储该表当前日期分区的大小。TBDSS_TAB_TOT_SIZE字段用来存储该表总的大小。
2.批量表操作情况记录
批量操作各张表的使用方式，只有01全表和02当日分区，如下表2所示。
Figure BDA0003269767710000042
表2
TBDSS_BATCH_ID字段用来存储系统批量步骤ID。
TBDSS_TAB_NAME字段用来存储系统批量涉及的数据表名。
TBDSS_OP_TYPE字段用来操作表的方式。
3)批量参数配置
投产前应根据当前环境情况配置参数TBDSS_TABOP,用来体现数据表占用与系统内存资源的比例。
二、接着，介绍上述步骤101。
在一个实施例中，所述操作方式可以包括对当前日期全数据表的操作方式和/或对当前日期分区的操作方式。
具体实施时，如上表2所示，本发明实施例为批量任务中每一步骤预先配置的使用数据表的标识(名称)及操作方式，该操作方式可以包括对当前日期全数据表的操作方式和/或对当前日期分区的操作方式。在进行预测时，获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小，具体地，可以利用现有的资源估算函数来预测执行每一步骤占用内存资源的大小。
三、接着，介绍上述步骤102。
具体实施时，运行批量中使用数据表最多，数据表占用磁盘空间综合最大的步骤，获取配置系数TBDSS_TABOP。系数是数据表占用磁盘空间大小与执行步骤时占用系统内存资源大小的比例，举一个例子，一个步骤数它使用的数据表一共有10G(占用磁盘空间大小)，但是运行时由于join一类的操作，导致占用内存达到了30G(执行步骤时占用系统内存资源大小)，这个比例系数就是3。由于这一步批量使用的表最多，数据量最大，大概率它膨胀的比率也是最高，所以选择他来确定这个系数，这是一种粗略的估算。
四、接着，介绍上述步骤103。
在一个实施例中，所述预设内存占用阈值取值范围为75％-85％，即如图2步骤1031所示，在比例系数超过75％-85％的取值时，限制多任务并发数量。
具体实施时，执行一次完整批量，确保系数能够保证批量不占用超过75％-85％的内存，可以保证数据库稳定地运行。
在一个实施例中，所述预设内存占用阈值取值为80％，即如图3步骤1032所示，在比例系数超过80％的取值时，限制多任务并发数量。
具体实施时，执行一次完整批量，确保系数能够保证批量不占用超过80％的内存，可以进一步保证数据库稳定地运行。
在一个实施例中，如图4所示，根据所述比例系数以及预设内存占用阈值，进行批量任务调度，可以包括步骤1033：根据所述比例系数以及预设内存占用阈值，限制多任务并发数量。
具体实施时，执行一次完整批量，确保系数能够保证批量不占用超过80％的内存，在系数超过80％(预设内存占用阈值)时，限制并发数量，可以进一步保证数据库稳定地运行。
为了便于理解本发明如何实施，下面再进行整体介绍。
具体实施时，新增一步批量的过程具体包括：
S11：实现批量程序本身；
S12：实现批量调度中关于资源估算(预测)的函数；
S13：整理程序对数据库表的操作；
S14：配置数据库操作表的名称和操作方式。
具体实施时，新配置一套批量的过程具体包括：
S21：运行批量中使用数据表最多，数据表占用磁盘空间综合最大的步骤，获取配置系数TBDSS_TABOP；
S22：执行一次完整批量，确保系数能够保证批量不占用超过80％的内存。
综上，本发明实施例提供的基于资源消耗预测的批量任务调度方法的有益技术效果是：对于开发人员而言，通过批量资源估算控制，批量可以稳定执行，避免并发过多造成数据库崩溃，在资源紧张的情况下避免生产事故的发生。对于维护人员而言，批量的执行时间变长，但是风险大大降低，可以减轻压力，同时进行多产品的监控维护。
本发明实施例中还提供了一种基于资源消耗预测的批量任务调度装置，如下面的实施例所述。由于该装置解决问题的原理与基于资源消耗预测的批量任务调度方法相似，因此该装置的实施可以参见基于资源消耗预测的批量任务调度方法的实施，重复之处不再赘述。
图5为本发明实施例中基于资源消耗预测的批量任务调度装置的结构示意图，如图5所示，该装置包括：
预测单元01，用于获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；
系数确定单元02，用于根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；
调度单元03，用于根据所述比例系数以及预设内存占用阈值，进行批量任务调度。
在一个实施例中，所述操作方式包括对当前日期全数据表的操作方式和/或对当前日期分区的操作方式。
在一个实施例中，所述预设内存占用阈值取值范围为75％-85％。
在一个实施例中，所述预设内存占用阈值取值为80％。
在一个实施例中，所述调度单元具体可以用于：根据所述比例系数以及预设内存占用阈值，限制多任务并发数量。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于资源消耗预测的批量任务调度方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于资源消耗预测的批量任务调度方法的计算机程序。
本发明实施例中，基于资源消耗预测的批量任务调度方案，与现有技术中大多以逻辑前后顺序或者时间触点作为调度依据，会由于资源紧张造成数据库崩溃的批量任务调度的技术方案相比，通过：获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；根据所述比例系数以及预设内存占用阈值，进行批量任务调度，可以实现基于资源消耗预测的批量任务调度，保证了数据库稳定地运行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于资源消耗预测的批量任务调度方法，其特征在于，包括：
获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；
根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；
根据所述比例系数以及预设内存占用阈值，进行批量任务调度。
2.如权利要求1所述的基于资源消耗预测的批量任务调度方法，其特征在于，所述操作方式包括对当前日期全数据表的操作方式和/或对当前日期分区的操作方式。
3.如权利要求1所述的基于资源消耗预测的批量任务调度方法，其特征在于，所述预设内存占用阈值取值范围为75％-85％。
4.如权利要求3所述的基于资源消耗预测的批量任务调度方法，其特征在于，所述预设内存占用阈值取值为80％。
5.如权利要求1所述的基于资源消耗预测的批量任务调度方法，其特征在于，根据所述比例系数以及预设内存占用阈值，进行批量任务调度，包括：根据所述比例系数以及预设内存占用阈值，限制多任务并发数量。
6.一种基于资源消耗预测的批量任务调度装置，其特征在于，包括：
预测单元，用于获取为批量任务中每一步骤预先配置的使用数据表的标识及操作方式；根据所述数据表的标识及操作方式预测执行每一步骤占用内存资源的大小；
系数确定单元，用于根据预测结果，确定使用数据表最多且执行时数据表占用系统内存资源最大的步骤；根据所述最大的步骤使用所有数据表占用磁盘空间的大小与执行时所有数据表占用系统内存资源大小确定比例系数；
调度单元，用于根据所述比例系数以及预设内存占用阈值，进行批量任务调度。
7.如权利要求6所述的基于资源消耗预测的批量任务调度装置，其特征在于，所述操作方式包括对当前日期全数据表的操作方式和/或对当前日期分区的操作方式。
8.如权利要求6所述的基于资源消耗预测的批量任务调度装置，其特征在于，所述预设内存占用阈值取值范围为75％-85％。
9.如权利要求8所述的基于资源消耗预测的批量任务调度装置，其特征在于，所述预设内存占用阈值取值为80％。
10.如权利要求6所述的基于资源消耗预测的批量任务调度装置，其特征在于，所述调度单元具体用于：根据所述比例系数以及预设内存占用阈值，限制多任务并发数量。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。
CN202111098035.XA 2021-09-18 2021-09-18 基于资源消耗预测的批量任务调度方法及装置 Pending CN113742047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111098035.XA CN113742047A (zh) 2021-09-18 2021-09-18 基于资源消耗预测的批量任务调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111098035.XA CN113742047A (zh) 2021-09-18 2021-09-18 基于资源消耗预测的批量任务调度方法及装置

Publications (1)

Publication Number Publication Date
CN113742047A true CN113742047A (zh) 2021-12-03

Family

ID=78739861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111098035.XA Pending CN113742047A (zh) 2021-09-18 2021-09-18 基于资源消耗预测的批量任务调度方法及装置

Country Status (1)

Country Link
CN (1) CN113742047A (zh)

Similar Documents

Publication Publication Date Title
US10810051B1 (en) Autoscaling using file access or cache usage for cluster machines
US8996811B2 (en) Scheduler, multi-core processor system, and scheduling method
CN107526645B (zh) 一种通信优化方法及系统
CN110413412B (zh) 一种基于gpu集群资源分配的方法和装置
CN107797853B (zh) 一种任务调度方法、装置及多核处理器
TWI786564B (zh) 任務調度方法和裝置、儲存媒體及計算機設備
CN109257399B (zh) 云平台应用程序管理方法及管理平台、存储介质
CN103634379A (zh) 一种分布式存储空间的管理方法和分布式存储系统
CN112416585A (zh) 面向深度学习的gpu资源管理与智能化调度方法
CN110866687A (zh) 任务分配方法及装置
CN115237580B (zh) 面向智能计算的流水并行训练自适应调整系统、方法
US20230305880A1 (en) Cluster distributed resource scheduling method, apparatus and device, and storage medium
CN111459691A (zh) 共享内存的读写方法及装置
US11775344B1 (en) Training task queuing cause analysis method and system, device and medium
CN115658311A (zh) 一种资源的调度方法、装置、设备和介质
CN117311990B (zh) 资源调整方法、装置、电子设备、存储介质及训练平台
CN106874080B (zh) 基于分布式服务器集群的数据计算方法及系统
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
CN113961353A (zh) 一种ai任务的任务处理方法和分布式系统
CN113407343A (zh) 一种基于资源分配的业务处理方法、装置及设备
CN116627659B (zh) 模型检查点文件保存方法、装置、设备及存储介质
CN116301644B (zh) 基于多硬盘协调的数据存储方法、系统、终端及介质
CN113742047A (zh) 基于资源消耗预测的批量任务调度方法及装置
CN110413393B (zh) 集群资源管理方法、装置、计算机集群及可读存储介质
CN112416596A (zh) 一种节点调度方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination