CN114816711A - 批量任务处理方法、装置、计算机设备和存储介质 - Google Patents
批量任务处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114816711A CN114816711A CN202210517413.1A CN202210517413A CN114816711A CN 114816711 A CN114816711 A CN 114816711A CN 202210517413 A CN202210517413 A CN 202210517413A CN 114816711 A CN114816711 A CN 114816711A
- Authority
- CN
- China
- Prior art keywords
- consuming
- system time
- sample data
- regression model
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 239000012634 fragment Substances 0.000 claims abstract description 191
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000014509 gene expression Effects 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 41
- 238000009795 derivation Methods 0.000 claims description 28
- 238000013467 fragmentation Methods 0.000 claims description 26
- 238000006062 fragmentation reaction Methods 0.000 claims description 26
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000001419 dependent effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012417 linear regression Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种批量任务处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取多维度的系统负载参数；将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；对批量任务分片表达式进行求解，得到任务分片数；根据任务分片数对批量任务进行分片并行处理。整个方案根据多维度的系统负载参数和预设系统耗时回归模型，对批量任务进行合理分配，根据任务分片数对批量任务划分进行分片，分配分片数对应数量的线程对分片后的批量任务进行处理，提高了批量任务处理效率。
Description
技术领域
本申请涉及资源调度技术领域，特别是涉及一种批量任务处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，各行各业都进入数字化转型时代，各业务系统的交易量与日俱增。在此背景下，如何提高批量任务的效率，对批量任务的调度变得尤为重要。
目前的一些方法主要通过并发方式来处理批量任务，并发处理方式较为固定，针对不同的批量任务进行同样的并发处理，无法适应不同的批量任务处理场景。
因此，目前的批量任务处理方法无法进行合理的任务分配，导致批量任务处理效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高处理效率的批量任务处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种批量任务处理方法。该方法包括：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
在其中一个实施例中，对批量任务分片表达式进行求解，得到任务分片数包括：对批量任务分片表达式进行求导，得到任务分片求导表达式；根据任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
在其中一个实施例中，预设系统耗时回归模型的生成过程包括：根据系统资源参数，构建初始系统耗时回归模型；系统资源参数包括系统负载参数以及任务分片参数；获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型，样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据。
在其中一个实施例中，获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：识别系统资源参数中包含数据类型维度；根据数据类型维度，确定所需样本数据的数量；根据所需样本数据的数量，从历史数据中获取样本数据；根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
在其中一个实施例中，根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系；根据系统耗时与系统资源参数之间的线性关系，构建预设系统耗时回归模型。
在其中一个实施例中，根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系包括：根据最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；根据样本数据，对目标函数进行求解，确定使得目标函数误差最小的系统资源参数的系数；根据系统资源参数的系数，得到系统耗时与系统资源参数之间的线性关系。
第二方面，本申请还提供了一种批量任务处理装置。该装置包括：
获取模块，用于获取多维度的系统负载参数；
输入模块，用于将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
分片模块，用于对批量任务分片表达式进行求解，得到任务分片数；
处理模块，用于根据任务分片数对批量任务进行分片并行处理。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
上述批量任务处理方法、装置、计算机设备、存储介质和计算机程序产品，获取多维度的系统负载参数；将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；对批量任务分片表达式进行求解，得到任务分片数；根据任务分片数对批量任务进行分片并行处理。整个方案根据多维度的系统负载参数以及预设系统耗时回归模型对批量任务进行合理分配，根据任务分片数对批量任务划分进行分片，进而根据任务分片数分配对应数量的线程对分片后的批量任务进行处理，提高了批量任务处理效率。
附图说明
图1为一个实施例中批量任务处理方法的应用环境图；
图2为一个实施例中批量任务处理方法的流程示意图；
图3为一个实施例中系统资源参数的系数确定步骤的流程示意图；
图4为另一个实施例中批量任务处理方法的流程示意图；
图5为一个实施例中批量任务处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
一般来说，影响服务器性能的因素主要为：CPU、内存、磁盘I/O带宽、网路I/O带宽，这四个系统资源之间相互依赖，任何一个系统资源负载过分都能导致其他系统资源出现瓶颈。
系统资源之间相互独立，又相互依赖。系统资源与系统负载能力成正相关，但是也存在上限，若某一个系统资源配置较多，而其他资源配置较少，随着系统负载的增加，系统资源较少的将成为系统负载的瓶颈。
回归(Regression)算法利用巨量观察数据和数理统计方法，尝试建立因变量与自变量之间的回归函数关系，其中当只有因变量及一个自变量时，成为一元回归；当涉及两个或者多个自变量时候，成为多元回归；另外，按照自变量与因变量之间的函数表达式是线性还是非线性，分为线性回归(Linear Regression)和非线性回归(Non-linearRegression)。
自变量与因变量之间的函数表达式的非线性体现在至少有一个变量的指数不是1即(幂函数，指数函数，对数函数，S函数等形式)。值得关注的是部分非线性函数和线性函数有直接的变换关系。故可将部分非线性回归转化为线性回归(Linear Regression)的方式来求解非线性回归问题；部分非线性回归无法转化为线性回归但是可以转换成多项式回归(Polynomial Regression)。
批量任务的耗时，与系统资源成正相关，也可以利用多项式回归方式来拟合系统资源与批量耗时的关系模型。批量任务由不同的批量步骤组合而成，为了提高批量任务的执行效率，又将批量步骤分成多个片来执行，系统的一个线程执行一个分片，从而进一步提高批量任务的执行效率。分片数越多，效率越高，但是分片数也不能无限制增加，也要根据系统当前剩余资源情况来分配。
因此，本申请拟合系统资源与系统处理批量任务的耗时之间的关系模型，进而根据系统当前负载，计算分片数，进而根据任务分片数对批量任务划分进行分片，进而根据任务分片数分配对应数量的线程对分片后的批量任务进行处理，提高批量任务处理效率。
本申请实施例提供的批量任务处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102向服务器发送批量任务处理请求，服务器104侦听并响应终端102发送的批量任务处理请求，获取多维度的系统负载参数；将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；对批量任务分片表达式进行求解，得到任务分片数；根据任务分片数对批量任务进行分片并行处理。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种批量任务处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取多维度的系统负载参数。
其中，系统负载参数是系统资源相关参数，系统负载参数表征系统可用资源情况。进一步地，系统负载参数包括当前时刻CPU使用率、剩余可用内存、剩余可用磁盘IO带宽、剩余网络IO带宽等。
具体地，服务器侦听并响应终端发送的批量任务处理请求，对批量任务处理请求进行解析，得到批量任务信息。服务器获取当前时刻的系统负载参数，进一步地，服务器获取当前时刻CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网络I/O带宽。
步骤204，将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式。
其中，预设系统耗时回归模型是系统耗时与系统资源参数之间关系的多项式拟合函数，系统资源参数包括系统负载参数以及任务分片参数。预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到。系统负载样本数据包括CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网络I/O带宽。预设系统耗时回归模型为CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网络I/O带宽、任务分片数与系统耗时之间的多元多项式回归模型。
具体地，服务器将当前时刻CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网络I/O带宽输入预设系统耗时回归模型，将预设系统耗时回归模型由多元多项式转换为一元的批量任务分片表达式。
步骤206，对批量任务分片表达式进行求解，得到任务分片数。
其中，任务分片数即将批量任务划分为多个子任务的数量。
具体地，服务器对任务分片求导表达式进行求解，得到任务分片求导表达式的极值点数据，即系统耗时最小处对应的任务分片数，系统耗时最小处对应的任务分片数即为最优分片数。在实际应用过程中，当服务器对任务分片求导表达式进行求解得到分片数后，将分片数与CPU内核数进行比较，若CPU内核数小于分片数，则将CPU内核数作为任务分片数，即最优分片数。若CPU内核数大于或者等于分片数，则将分片数作为任务分片数，即最优分片数。
步骤208，根据任务分片数对批量任务进行分片并行处理。
具体地，服务器将批量任务划分为任务分片数对应的子任务，生成并调用任务分片数分配对应数量的线程对分片后的子任务进行并行处理，此时系统耗时最少。
上述批量任务处理方法中，获取多维度的系统负载参数；将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；对批量任务分片表达式进行求解，得到任务分片数；根据任务分片数对批量任务进行分片并行处理。整个方案根据多维度的系统负载参数(如当前时刻CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网络I/O带宽)以及预设系统耗时回归模型对批量任务进行合理分配，根据任务分片数对批量任务划分进行分片，进而根据任务分片数分配对应数量的线程对分片后的批量任务进行处理，提高了批量任务处理效率。
在一个可选的实施例中，对批量任务分片表达式进行求解，得到任务分片数包括：对批量任务分片表达式进行求导，得到任务分片求导表达式；根据任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
其中，任务分片表达式是关于任务分片数与系统耗时之间关系的一元方程式。
具体地，服务器对一元的批量任务分片表达式进行求导，得到任务分片求导表达式，将任务分片求导表达式的结果值赋值为零，求解并对结果取整，得到系统耗时最小处对应的任务分片数。
一个系统的机器配置、环境等因素的相同，因此，一个系统对应的预设系统耗时回归模型相同，因此在同一系统部署批量任务时，只用根据拟合好的预设系统耗时回归模型，即系统分片数与系统当前负载的关系，以及系统当前的负载数据，再对分片数进行调整，服务器可以自适应根据最优分片数对批量任务进行分片，生成并调用任务分片数分配对应数量的线程对分片后的子任务进行并行处理从而提高批量执行任务的效率。
在一个可选的实施例中，多个服务器通过分布式方式协同处理一个批量任务。协同处理批量任务的服务器中，一个服务器为主服务器，其他服务器为从服务器。主服务器作为主设备，获取协同处理批量任务的所有服务器的系统负载参数以及该服务器对应的预设系统耗时回归模型，即主服务器获取主服务器的系统负载参数以及其他从服务器的系统负载参数，以及每个服务器对应的预设系统耗时回归模型，计算每个服务器对应的任务分片数，将每个服务器的任务分片数相加得到总任务分片数，根据每个服务器的任务分片数与总任务分片数的比例，乘以批量任务总量，得到该服务器的任务数量，分配对应任务数量的任务数据至该服务器。例如，有A、B、C三台服务器通过分布式方式协同处理一个批量任务，获取A、B、C三台服务器的系统负载参数以及对应的预设系统耗时回归模型，根据A服务器的系统负载参数以及A服务器对应的预设系统耗时回归模型，得到A任务分片数；根据B服务器的系统负载参数以及B服务器对应的预设系统耗时回归模型，得到B任务分片数；根据C服务器的系统负载参数以及C服务器对应的预设系统耗时回归模型，得到C任务分片数，将A任务分片数、B任务分片数以及C任务分片数相加，得到总任务分片数，A任务分片数/总任务分片数*批量任务总量＝A任务数量，B任务分片数/总任务分片数*批量任务总量＝B任务数量，C任务分片数/总任务分片数*批量任务总量＝C任务数量。
在一个可选的实施例中，预设系统耗时回归模型的生成过程包括：根据系统资源参数，构建初始系统耗时回归模型；获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。。
其中，样本数据是通过大量的测试，记录系统下在不同CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网路I/O带宽、分配的分片数的服务器负载情况下，观测批量任务的执行耗时，获取历史运行数据，从历史运行数据中获取得到样本数据。样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据，即包括当前时刻CPU使用率、剩余可用内存、剩余可用磁盘IO带宽、剩余网络IO带宽、任务分片数以及系统处理批量任务耗时的一组数据。
初始系统耗时回归模型是表达CPU使用率、剩余可用内存、剩余可用磁盘IO带宽、剩余网络IO带宽、任务分片数与系统处理批量任务耗时之间关系的多项式函数，多项式系数未知。
具体地，服务器根据CPU使用率、剩余可用内存、剩余可用磁盘IO带宽、剩余网络IO带宽、任务分片数与系统处理批量任务耗时来构建初始系统耗时回归模型，即五元五次多项式回归模型。初始系统耗时回归模型模拟如下：
y为系统处理批量任务耗时，总共为5个因素会影响到批量任务耗时，分别为：CPU使用率，剩余可用内存，剩余可用磁盘I/O带宽，剩余网路I/O带宽，分配的分片数，该多项式体现了各个资源之间的依赖性和相对独立性。
根据最小二乘法拟合初始系统耗时回归模型中每个多项式的系数，使得拟合好的系统耗时回归模型中的数据值与样本数据值误差最小，得到拟合好的预设系统耗时回归模型。
由于每个系统的机器配置、环境等因素的不同，其预设系统耗时回归模型对应的多项式关系函数都不同，因此在不同系统部署批量任务时，都要对系统的多项式关系函数进行拟合，不同系统的多项式关系函数不是通用的。拟合成功之后，批量任务在执行每一个批量任务之前自适应计算出任务分片数，计算分片数需要一定时间，但是相对批量任务总的执行时间相比，可忽略不计。
在一个可选的实施例中，获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：识别系统资源参数中包含数据类型维度；根据数据类型维度，确定所需样本数据的数量；根据所需样本数据的数量，从历史数据中获取样本数据；根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
其中，数据类型维度即系统资源参数中参数类型数量，本实施例中系统资源参数包括当前时刻CPU使用率、剩余可用内存、剩余可用磁盘IO带宽、剩余网络IO带宽、任务分片数，则数据类型维度为5。
具体地，根据系统资源参数的数量确定样本数量，样本数量确定表达式为
b表示系统资源参数的数量。将系统资源参数的数量输入样本确定表达式中进行计算，得到所需样本数据的数量。从历史运行数据中获取所需样本数据的数量的样本数据。将样本数据中每一组CPU使用率、剩余可用内存、剩余可用磁盘IO带宽、剩余网络IO带宽、任务分片数与系统处理批量任务耗时数据输入初始系统耗时回归模型中，拟合多项式系数。当拟合的误差达到预设阈值时，得到预设系统耗时回归模型。
最小二乘算法拟合多项式的通过R+1组互相不同的样本数据，计算出多项式的系数ai，使得拟合曲线，即初始系统耗时回归模型在R+1组数据的值与已知函数值之差的平方和为最小，得到拟合好的多项式回归方程，即预设系统耗时回归模型。
在一个可选的实施例中，根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系；根据系统耗时与系统资源参数之间的线性关系，构建预设系统耗时回归模型。
具体地，将样本数据带入拟合函数中，计算拟合函数值与样本数据中系统耗时的差值的平方和，求解得到使得拟合函数值与样本数据中系统耗时的差值的平方和最小的拟合函数的多项式系数，即得到系统耗时与系统资源参数之间的线性关系，将多项式系数带入拟合函数中，得到拟合好的多项式回归方程，即预设系统耗时回归模型。
在一个可选的实施例中，根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系包括：根据最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；根据样本数据，对目标函数进行求解，确定使得目标函数误差最小的系统资源参数的系数；根据系统资源参数的系数，得到系统耗时与系统资源参数之间的线性关系。
具体地，根据最小二乘法，构建样本数据与初始系统耗时回归模型的拟合曲线函数值之间的偏差平方和，即损失函数，目标函数如下所示：
其中Pn(x1，x2，x3，x4，x5)为拟合曲线，yj为已知函数值，x1为CPU使用率，x2为剩余可用内存，x3为剩余可用磁盘I/O带宽，x4为剩余网路I/O带宽，x5为任务分片数。
式(1)一共有
项，将该多项式每一项变量之积(即x1与x2，x3，x4，x5之间的乘积，
i5,...i1，i从0-5，有252项乘积)用υi表示，每一项的系数用αi表示，则多项式可变为
根据最小二乘算法原理可以列方程组如下：
求解次五元五次多项式的系数a0，a1....aq-1，其中q＝252，因此需要计算出252个系数，至少需要252个样本点才能解出该方程组j代表第几组已知数据，yj表示在组数据下，批量步骤的执行耗时。
通过大量的测试，记录下在不同CPU使用率、剩余可用内存、剩余可用磁盘I/O带宽、剩余网路I/O带宽、任务分片数的服务器负载情况下，观测批量任务的执行耗时，获取大量样本数据。
通过大量样本数据的进行多元多项式拟合，通过最小二乘法拟合该多项式，拟合出y与x1、x2、x3、x4、x5之间的关系。
该五元五次多项式至少需要252组样本数据(x1,0，x2,0，x3,0，x4,0，x5,0，y0)，(x1,1，x2,1，x3,1，x4,1，x5,1，y1).......(x1,R，x2,R，x3,R，x4,R，x5,R，y5)。其中R≧252。
通过样本点可以求出所有υij，如图3所示，计算过程如下：
(1)令i＝0；
(2)将i1,i2,…i5＝0；
(3)将j1,j2,…j5赋值为5；
(4)令
为υij；
(5)令
(6)令i5+1＝i5；
(7)判断im与jm的大小关系；
(8)当im≤jm，返回步骤(4)；
(9)当im>jm，从i4,i3,i2,i1找到最先满足iR≤jR的条件R；
(10)判断R与1的大小关系；
(11)若R≤1，252个υij计算完毕；
(12)若R>1，令iR+1＝jR；
(13)令iR+1，iR+2…im＝0，并计算jR+1,jR+2…jm的值，返回步骤(4)。
当计算出υi系数，即系统资源参数的系数之后，拟合多项式Pn(x1，x2，x3，x4，x5)成功，得到系统耗时与系统资源参数之间的线性关系，根据系统耗时与系统资源参数之间的线性关系，得到预设系统耗时回归模型。
为了易于理解本申请实施例提供的技术方案，以完整的批量任务处理过程对本申请实施例提供的批量任务处理方法进行简要说明：
(1)获取系统当前的CPU使用率x1、剩余可用内存x2、剩余可用磁盘I/O带宽x3、剩余网络I/O带宽x4。
(2)将系统当前的CPU使用率x1、剩余可用内存x2、剩余可用磁盘I/O带宽x3、剩余网络I/O带宽x4代入拟合后的预设系统耗时回归模型转换为批量任务分片表达式P(x1，x2，x3，x4，x5)中。
(3)预设系统耗时回归模型转换为批量任务分片表达式，即将P(x1，x2，x3，x4，x5)变为关于x5的一元方程P(x5)。
(4)对批量任务分片表达式进行求导，得到任务分片求导表达式，即对P(x5)求导得到任务分片求导表达式P′(x5)。
(5)将任务分片求导表达式的结果值赋值为零，求解并对结果取整，得到系统耗时最小处对应的任务分片数令P′(x5)＝0，求出x5，并对其取整，此时x5即为任务分片数。
(6)将批量任务划分为任务分片数对应的子任务，生成并调用任务分片数分配对应数量的线程对分片后的子任务进行并行处理。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的批量任务处理方法的批量任务处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个批量任务处理装置实施例中的具体限定可以参见上文中对于批量任务处理方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种批量任务处理装置，包括：获取模块502、输入模块504、分片模块506和处理模块508，其中：
获取模块502，用于获取多维度的系统负载参数。
输入模块504，用于将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到。
分片模块506，用于对批量任务分片表达式进行求解，得到任务分片数。
处理模块508，用于根据任务分片数对批量任务进行分片并行处理。
在一个可选的实施例中，分片模块506还用于对批量任务分片表达式进行求导，得到任务分片求导表达式；根据任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
在一个可选的实施例中，批量任务处理装置还包括训练模块，用于根据系统资源参数，构建初始系统耗时回归模型；系统资源参数包括系统负载参数以及任务分片参数；获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型，样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据。
在一个可选的实施例中，训练模块还用于识别系统资源参数中包含数据类型维度；根据数据类型维度，确定所需样本数据的数量；根据所需样本数据的数量，从历史数据中获取样本数据；根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
在一个可选的实施例中，训练模块还用于根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系；根据系统耗时与系统资源参数之间的线性关系，构建预设系统耗时回归模型。
在一个可选的实施例中，训练模块，用于根据最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；根据样本数据，对目标函数进行求解，确定使得目标函数误差最小的系统资源参数的系数；根据系统资源参数的系数，得到系统耗时与系统资源参数之间的线性关系。
上述批量任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设系统耗时回归模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种批量任务处理方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对批量任务分片表达式进行求解，得到任务分片数包括：对批量任务分片表达式进行求导，得到任务分片求导表达式；根据任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：预设系统耗时回归模型的生成过程包括：根据系统资源参数，构建初始系统耗时回归模型；系统资源参数包括系统负载参数以及任务分片参数；获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型，样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：识别系统资源参数中包含数据类型维度；根据数据类型维度，确定所需样本数据的数量；根据所需样本数据的数量，从历史数据中获取样本数据；根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系；根据系统耗时与系统资源参数之间的线性关系，构建预设系统耗时回归模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系包括：根据最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；根据样本数据，对目标函数进行求解，确定使得目标函数误差最小的系统资源参数的系数；根据系统资源参数的系数，得到系统耗时与系统资源参数之间的线性关系。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对批量任务分片表达式进行求解，得到任务分片数包括：对批量任务分片表达式进行求导，得到任务分片求导表达式；根据任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：预设系统耗时回归模型的生成过程包括：根据系统资源参数，构建初始系统耗时回归模型；系统资源参数包括系统负载参数以及任务分片参数；获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型，样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：识别系统资源参数中包含数据类型维度；根据数据类型维度，确定所需样本数据的数量；根据所需样本数据的数量，从历史数据中获取样本数据；根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系；根据系统耗时与系统资源参数之间的线性关系，构建预设系统耗时回归模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系包括：根据最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；根据样本数据，对目标函数进行求解，确定使得目标函数误差最小的系统资源参数的系数；根据系统资源参数的系数，得到系统耗时与系统资源参数之间的线性关系。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多维度的系统负载参数；
将系统负载参数输入预设系统耗时回归模型，将预设系统耗时回归模型转换为批量任务分片表达式；预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对批量任务分片表达式进行求解，得到任务分片数；
根据任务分片数对批量任务进行分片并行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对批量任务分片表达式进行求解，得到任务分片数包括：对批量任务分片表达式进行求导，得到任务分片求导表达式；根据任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：预设系统耗时回归模型的生成过程包括：根据系统资源参数，构建初始系统耗时回归模型；系统资源参数包括系统负载参数以及任务分片参数；获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型，样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取样本数据，基于样本数据、并采用最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：识别系统资源参数中包含数据类型维度；根据数据类型维度，确定所需样本数据的数量；根据所需样本数据的数量，从历史数据中获取样本数据；根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系；根据系统耗时与系统资源参数之间的线性关系，构建预设系统耗时回归模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据样本数据以及最小二乘法对初始系统耗时回归模型进行拟合，得到系统耗时与系统资源参数之间的线性关系包括：根据最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；根据样本数据，对目标函数进行求解，确定使得目标函数误差最小的系统资源参数的系数；根据系统资源参数的系数，得到系统耗时与系统资源参数之间的线性关系。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种批量任务处理方法，其特征在于，所述方法包括：
获取多维度的系统负载参数；
将所述系统负载参数输入预设系统耗时回归模型，将所述预设系统耗时回归模型转换为批量任务分片表达式；所述预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
对所述批量任务分片表达式进行求解，得到任务分片数；
根据所述任务分片数对所述批量任务进行分片并行处理。
2.根据权利要求1所述的方法，其特征在于，所述对所述批量任务分片表达式进行求解，得到任务分片数包括：
对所述批量任务分片表达式进行求导，得到任务分片求导表达式；
根据所述任务分片求导表达式，求解确定最小系统耗时对应的任务分片数。
3.根据权利要求1所述的方法，其特征在于，所述预设系统耗时回归模型的生成过程包括：
根据系统资源参数，构建初始系统耗时回归模型；所述系统资源参数包括系统负载参数以及任务分片参数；
获取样本数据，基于所述样本数据、并采用最小二乘法对所述初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型，所述样本数据包括系统负载样本数据、任务分片样本数据以及系统耗时样本数据。
4.根据权利要求3所述的方法，其特征在于，获取样本数据，基于所述样本数据、并采用最小二乘法对所述初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：
识别所述系统资源参数中包含数据类型维度；
根据所述数据类型维度，确定所需样本数据的数量；
根据所述所需样本数据的数量，从历史数据中获取样本数据；
根据所述样本数据以及所述最小二乘法对所述初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本数据以及所述最小二乘法对所述初始系统耗时回归模型进行拟合，得到预设系统耗时回归模型包括：
根据所述样本数据以及所述最小二乘法对所述初始系统耗时回归模型进行拟合，得到系统耗时与所述系统资源参数之间的线性关系；
根据所述系统耗时与所述系统资源参数之间的线性关系，构建预设系统耗时回归模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述样本数据以及所述最小二乘法对所述初始系统耗时回归模型进行拟合，得到系统耗时与所述系统资源参数之间的线性关系包括：
根据所述最小二乘法，构建初始系统耗时回归模型中系统资源参数与系统耗时的目标函数；
根据所述样本数据，对所述目标函数进行求解，确定使得所述目标函数误差最小的系统资源参数的系数；
根据所述系统资源参数的系数，得到系统耗时与所述系统资源参数之间的线性关系。
7.一种批量任务处理装置，其特征在于，所述装置包括：
获取模块，用于获取多维度的系统负载参数；
输入模块，用于将所述系统负载参数输入预设系统耗时回归模型，将所述预设系统耗时回归模型转换为批量任务分片表达式；所述预设系统耗时回归模型基于系统负载样本数据、任务分片样本数据以及系统耗时样本数据训练得到；
分片模块，用于对所述批量任务分片表达式进行求解，得到任务分片数；
处理模块，用于根据所述任务分片数对所述批量任务进行分片并行处理。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210517413.1A CN114816711A (zh) | 2022-05-13 | 2022-05-13 | 批量任务处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210517413.1A CN114816711A (zh) | 2022-05-13 | 2022-05-13 | 批量任务处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114816711A true CN114816711A (zh) | 2022-07-29 |
Family
ID=82513656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210517413.1A Pending CN114816711A (zh) | 2022-05-13 | 2022-05-13 | 批量任务处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114816711A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308215A (zh) * | 2023-05-17 | 2023-06-23 | 云账户技术(天津)有限公司 | 一种组批出款信息的生成方法、装置及相关设备 |
| CN117076555A (zh) * | 2023-05-08 | 2023-11-17 | 芜湖本初子午信息技术有限公司 | 一种基于计算的分布式任务管理系统及方法 |
| CN117251508A (zh) * | 2023-09-22 | 2023-12-19 | 湖南长银五八消费金融股份有限公司 | 一种借据批量入账方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120221373A1 (en) * | 2011-02-28 | 2012-08-30 | Manish Marwah | Estimating Business Service Responsiveness |
| CN105446896A (zh) * | 2014-08-29 | 2016-03-30 | 国际商业机器公司 | 映射化简应用的缓存管理方法和装置 |
| CN110119364A (zh) * | 2018-02-06 | 2019-08-13 | 北京京东尚科信息技术有限公司 | 一种输入/输出批量提交的方法和系统 |
| CN111338791A (zh) * | 2020-02-12 | 2020-06-26 | 平安科技（深圳）有限公司 | 集群队列资源的调度方法、装置、设备及存储介质 |
| CN111444026A (zh) * | 2020-04-20 | 2020-07-24 | 北京工业大学 | 一种云环境下的深度学习训练资源配置预测方法 |
| CN111475298A (zh) * | 2020-04-03 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
| CN111638959A (zh) * | 2020-06-02 | 2020-09-08 | 山东汇贸电子口岸有限公司 | 云环境下基于负载回归预测的弹性伸缩方法及可读存储介质 |
| CN113420911A (zh) * | 2021-06-03 | 2021-09-21 | 中国银行股份有限公司 | 一种耗时预测方法、装置及存储介质 |
-
2022
- 2022-05-13 CN CN202210517413.1A patent/CN114816711A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120221373A1 (en) * | 2011-02-28 | 2012-08-30 | Manish Marwah | Estimating Business Service Responsiveness |
| CN105446896A (zh) * | 2014-08-29 | 2016-03-30 | 国际商业机器公司 | 映射化简应用的缓存管理方法和装置 |
| CN110119364A (zh) * | 2018-02-06 | 2019-08-13 | 北京京东尚科信息技术有限公司 | 一种输入/输出批量提交的方法和系统 |
| CN111338791A (zh) * | 2020-02-12 | 2020-06-26 | 平安科技（深圳）有限公司 | 集群队列资源的调度方法、装置、设备及存储介质 |
| CN111475298A (zh) * | 2020-04-03 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
| CN111444026A (zh) * | 2020-04-20 | 2020-07-24 | 北京工业大学 | 一种云环境下的深度学习训练资源配置预测方法 |
| CN111638959A (zh) * | 2020-06-02 | 2020-09-08 | 山东汇贸电子口岸有限公司 | 云环境下基于负载回归预测的弹性伸缩方法及可读存储介质 |
| CN113420911A (zh) * | 2021-06-03 | 2021-09-21 | 中国银行股份有限公司 | 一种耗时预测方法、装置及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076555A (zh) * | 2023-05-08 | 2023-11-17 | 芜湖本初子午信息技术有限公司 | 一种基于计算的分布式任务管理系统及方法 |
| CN117076555B (zh) * | 2023-05-08 | 2024-03-22 | 深圳市优友网络科技有限公司 | 一种基于计算的分布式任务管理系统及方法 |
| CN116308215A (zh) * | 2023-05-17 | 2023-06-23 | 云账户技术(天津)有限公司 | 一种组批出款信息的生成方法、装置及相关设备 |
| CN116308215B (zh) * | 2023-05-17 | 2023-07-21 | 云账户技术(天津)有限公司 | 一种组批出款信息的生成方法、装置及相关设备 |
| CN117251508A (zh) * | 2023-09-22 | 2023-12-19 | 湖南长银五八消费金融股份有限公司 | 一种借据批量入账方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11106486B2 (en) | Techniques to manage virtual classes for statistical tests | |
| CN114816711A (zh) | 批量任务处理方法、装置、计算机设备和存储介质 | |
| US10067746B1 (en) | Approximate random number generator by empirical cumulative distribution function | |
| CN113822440A (zh) | 用于确定机器学习样本的特征重要性的方法及系统 | |
| CN108205469B (zh) | 一种基于MapReduce的资源分配方法及服务器 | |
| Dorier et al. | Adaptive performance-constrained in situ visualization of atmospheric simulations | |
| CN116882520A (zh) | 针对预定预测问题的预测方法及系统 | |
| CN115689018A (zh) | 物资需求预测方法、装置、设备、存储介质和程序产品 | |
| CN114461384A (zh) | 任务执行方法、装置、计算机设备和存储介质 | |
| CN113158435A (zh) | 基于集成学习的复杂系统仿真运行时间预测方法与设备 | |
| CN116737373A (zh) | 负载均衡方法、装置、计算机设备、存储介质 | |
| CN115481767A (zh) | 面向配电网检修的运行数据处理方法、装置和计算机设备 | |
| CN117608862B (zh) | 数据分发控制方法、装置、设备及介质 | |
| CN117077917A (zh) | 基于低代码平台的人员能力评估方法、装置和计算机设备 | |
| JP7378866B1 (ja) | プログラム、情報処理システム及び情報処理方法 | |
| CN113900800B (zh) | 一种边缘计算系统的分配方法 | |
| WO2024079899A1 (ja) | 統計値推定装置、統計値推定システム、統計値推定方法、及びプログラム | |
| US20230185622A1 (en) | Graph Execution Engine | |
| CN117314036A (zh) | 工单分配方法、装置、设备、存储介质和程序产品 | |
| CN116089244A (zh) | 应用资源使用情况确定方法、装置、设备和存储介质 | |
| CN118277026A (zh) | 虚拟资源的处理方法、装置、设备、存储介质及程序产品 | |
| Kukkadapu | Modeling and Analysis of Grace-Period Policy in High-Performance Computing Systems Using Game Theory and Data Analytics | |
| CN115578114A (zh) | 对象交互预测方法、装置、计算机设备和存储介质 | |
| CN117198557A (zh) | 资源数据处理方法、装置、计算机设备、存储介质 | |
| CN116450240A (zh) | 文本文件加载方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |