CN116795512A - 时长调整方法、装置及计算机可读存储介质 - Google Patents

时长调整方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN116795512A
CN116795512A CN202310764817.5A CN202310764817A CN116795512A CN 116795512 A CN116795512 A CN 116795512A CN 202310764817 A CN202310764817 A CN 202310764817A CN 116795512 A CN116795512 A CN 116795512A
Authority
CN
China
Prior art keywords
batch
tasks
task
duration
key factors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310764817.5A
Other languages
English (en)
Inventor
刘晨
宁志杰
蔚佳
李佳星
武媛媛
张海燕
邵玉杰
郭佳婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202310764817.5A priority Critical patent/CN116795512A/zh
Publication of CN116795512A publication Critical patent/CN116795512A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种时长调整方法、装置及计算机可读存储介质，可用于人工智能领域。该方法包括：获取影响第一批量任务执行时长的多个关键因素：系统服务器个数、CPU繁忙程度、第一批量任务包括的多个任务的数量、多个任务的数据量大小、以及多个任务中每个任务的复杂度；将多个关键因素对应的多个参数值输入至时长预测模型中，得到第一批量任务的执行时长的预测值；在预测值大于理想执行时长时，调整多个关键因素中至少一个关键因素的参数值，该理想执行时长是基于第一批量任务的紧急程度确定的。本申请的方法，可以在紧急任务调度时，减少紧急任务的批量任务执行时长。

Description

时长调整方法、装置及计算机可读存储介质
技术领域
本申请涉及人工智能领域，尤其涉及一种时长调整方法、装置及计算机可读存储介质。
背景技术
在业务处理中，通常会遇到为了完成某个功能需要执行多个任务的情况。这种场景下，服务器可以将这些任务打包作为一个批量去执行。
目前，业务人员只能在批量任务执行结束后，才能获得批量任务的执行时长以及批量任务的执行结果，从而基于批量任务的执行结果对业务进行下一步处理。但在遇到紧急任务调度时，可能存在紧急任务的批量任务执行时间较长，导致业务人员获取批量任务的执行结果的时间较长，进而导致业务人员很难在有限的时间内及早地对该紧急任务进行下一步处理。这可能会影响到整个批量任务的执行效率。
发明内容
本申请提供一种时长调整方法、装置及计算机可读存储介质，可以在紧急任务调度时，减少紧急任务的批量任务的执行时长。
第一方面，本申请提供一种时长调整方法，包括：获取影响第一批量任务执行时长的多个关键因素，所述多个关键因素包括系统服务器个数、中央处理器(centralprocessing unit，CPU)繁忙程度、所述第一批量任务包括的多个任务的数量、所述多个任务的数据量大小、以及所述多个任务中每个任务的复杂度；将所述多个关键因素对应的多个参数值输入至时长预测模型中，得到所述第一批量任务的执行时长的预测值，所述时长预测模型是基于多个批量任务的历史数据对多元线性回归模型进行训练得到的，所述多个批量任务的历史数据包括所述多个批量任务中每个批量任务对应的执行时长以及影响执行时长的多个关键因素的参数值；在所述预测值大于理想执行时长时，调整所述多个关键因素中至少一个关键因素的参数值，所述理想执行时长是基于第一批量任务的紧急程度确定的。
第二方面，本申请提供一种时长调整装置，包括：获取模块和处理模块。
获取模块用于：获取影响第一批量任务执行时长的多个关键因素，所述多个关键因素包括系统服务器个数、CPU繁忙程度、所述第一批量任务包括的多个任务的数量、所述多个任务的数据量大小、以及所述多个任务中每个任务的复杂度。
处理模块用于：将所述多个关键因素对应的多个参数值输入至时长预测模型中，得到所述第一批量任务的执行时长的预测值，所述时长预测模型是基于多个批量任务的历史数据对多元线性回归模型进行训练得到的，所述多个批量任务的历史数据包括所述多个批量任务中每个批量任务对应的执行时长以及影响执行时长的多个关键因素的参数值；以及在所述预测值大于理想执行时长时，调整所述多个关键因素中至少一个关键因素的参数值，所述理想执行时长基于第一批量任务的紧急程度确定。
第三方面，本申请提供一种时长调整装置，包括处理器，所述处理器用于执行第一方面以及第一方面任一种可能实现方式中所述的方法。
所述装置还可以包括存储器，用于存储指令和数据。所述存储器与所述处理器耦合，所述处理器执行所述存储器中存储的指令时，可以实现上述各方面中描述的方法。所述装置还可以包括通信接口，所述通信接口用于该装置与其它设备进行通信，示例性地，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。
第四方面，本申请提供一种芯片系统，该芯片系统包括至少一个处理器，用于支持实现上述第一方面以及第一方面任一种可能实现方式中所涉及的功能。
在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。
该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
第五方面，本申请提供一种计算机可读存储介质，包括计算机程序，当其在计算机上运行时，使得计算机实现第一方面以及第一方面任一种可能实现方式中的方法。
第六方面，本申请提供一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行第一方面以及以及第一方面任一种可能实现方式中的方法。
本申请提供的方法通过将第一批量任务的执行时长的多个关键因素对应的参数值输入至时长预测模型中，得到第一批量任务的执行时长的预测值，从而可以基于该预测值与理想执行时长之间的大小关系，确定是否需要调整影响批量任务执行时长的多个关键因素的参数值，而理想执行时长又是基于第一批量任务的紧急程度确定，因此，该方法可以在批量执行时长的预测值大于理想执行时长的情况下，通过调整至少一个关键因素的参数值，以达到减小批量执行时长的目的。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为适用于本申请实施例的数据处理系统示意图；
图2是本申请实施例提供的一种时长调整方法的示意性流程图；
图3是本申请实施例提供的另一种时长调整方法的示意性流程图；
图4是本申请实施例提供的一种时长调整装置的示意性框图；
图5是本申请实施例提供的另一种时长调整装置的示意性框图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，本申请提供的时长调整方法、装置、电子设设备及计算机可读存储介质可用于人工智能领域，也可用于除人工智能领域之外的任意领域，本申请提供的时长调整方法、装置及计算机可读存储介质的应用领域不做限定。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
为了更好地理解本申请实施例，首先对本申请适用的系统进行介绍。
图1是适用于本申请实施例的数据处理系统100的示意图。如图1所示，该数据处理系统100可以包括用户设备110以及数据处理设备120。
其中，用户设备110可以是包括手机、个人电脑或者信息处理中心等智能终端。应理解，该用户设备110为数据处理的发起端，用户通常通过用户设备发起数据处理请求。
数据处理设备120可以是云服务器、网络服务器、应用服务器以及管理服务器等具有数据处理功能的设备或服务器。该数据处理设备120通过交互接口接收来自用户设备110的待处理的数据等，再通过存储数据的存储器以及数据处理的处理器环节进行机器学习、深度学习、搜索、推理、决策等方式的数据处理。上述存储器可以是一个统称，包括本地存储以及存储历史数据的数据库，上述数据库可以部署在数据处理设备上，也可以在其它网络服务器上，此处不做限定。
为便于理解，首先对本申请所涉及的相关术语进行说明。
1、线性：指自变量x和因变量y之间是线性的关系。
2、回归：在研究一个函数，当输入自变量x时，因变量y可以无限的接近真实值。
3、线性回归：是利用线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。
4、多元线性回归：回归分析中包括两个或两个以上的自变量，且多个自变量与因变量之间是线性关系。
5、归一化：是将数据按比例进行缩小，使之落入一个较小的特定区间，使得缩小后的数据可保持数据原本的所有特征，只是改变了数据的大小。
示例性地，归一化种类主要有以下三种：
(1)线性归一化。该线性归一化的方式适合数值比较集中的场景。
线性归一化的转化函数为：
其中，X为待归一化的数据；X'为X对应的数据归一化后的结果。
(2)标准差标准化。
示例性地，经过标准差标准化处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数满足：
其中，μ为所有样本数据的均值，δ为所有样本数据的标准差，x为每个样本数据，x*为x对应样本数据的归一化结果。
(3)非线性归一化。该非线性归一化的方式通常用在数据分化比较大的场景，即有些数值很大，有些数值很小。
示例性地，该归一化方法一般通过一些数学函数，将原始值进行映射。例如，该归一化方法常使用的数学函数可以包括对数函数、指数函数以及正切函数等。
应理解，在使用该非线性归一化方式进行归一化时，需要根据数据分布的情况，决定非线性函数的曲线，例如，非线性函数曲线可以是log(V,2)或者log(V,10)等对应的函数曲线，其中，V为待归一化的数据，log(V,2)函数的函数值为V对应的数据归一化后的结果。
在业务处理中，通常会遇到为了完成某个功能需要执行多个任务的情况。在这种场景下，服务器一般会将这些任务打包作为一个批量去执行，在批量任务执行结束后，业务人员才能基于执行结果进行下一步处理。
目前，业务人员只能在批量任务执行结束后，才能获得批量任务的执行时长以及批量任务的执行结果，从而基于批量任务的执行结果对业务进行下一步处理。但在遇到紧急任务调度时，可能存在紧急任务的批量任务执行时间较长，导致业务人员获取批量任务的执行结果的时间较长，进而导致业务人员很难在有限的时间内及早地对该紧急任务进行下一步处理。可能会影响到整个批量任务的执行效率。
有鉴于此，本申请提供了一种时长调整方法、装置及计算机可读存储介质，该方法中，通过预测不同批量任务的执行时长，并对批量任务的执行时长的预测值与理想执行时长进行比较，从而可以在预测的执行时长较长，即预测值大于理想执行时长的情况下，通过调整影响批量任务执行时长的关键因素的参数值，以降低批量任务的执行时长，提高批量任务的执行效率。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
在介绍本申请实施例提供的方法之前，先做出以下几点说明。
第一，在下文示出的实施例中，各术语及英文缩略语，如批量任务、时长预测模型等，均为方便描述而给出的示例性举例，不应对本申请构成任何限定。本申请并不排除已有或未来定义其它能够实现相同或相似功能的术语的可能。
第二，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b和c中的至少一项(个)，可以表示：a，或b，或c，或a和b，或a和c，或b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。
第三，在本申请实施例中，“当……时”、“在……的情况下”、“若”以及“如果”等描述均指在某种客观情况下设备会做出相应的处理，并非是限定时间，且也不要求设备在实现时一定要有判断的动作，也不意味着存在其它限定。
图2为本申请实施例提供的一种时长调整方法200的示意性流程图。应理解，方法200可以由图1所示的数据处理设备执行，也可以由数据处理设备中的芯片执行，本申请实施例对此不作限定。
如图2所示，该方法200可以包括S201至S203，下面详细介绍图2所示的各步骤。
S201，获取影响第一批量任务执行时长的多个关键因素。
该多个关键因素包括系统服务器个数、CPU繁忙程度、第一批量任务包括的多个任务的数量、多个任务的数据量大小、以及多个任务中每个任务的复杂度。
应理解，上述多个关键因素中每个关键因素可以对应一个参数值，参数值为多个关键因素中每个关键因素的取值。例如，系统服务器个数为A，那该关键因素对应的参数值为A；第一批量任务包括B个任务的数量，那该关键因素对应的参数值为B；多个任务的数据量大小为C，那该关键因素对应的参数值为C。
对于CPU繁忙程度可以通过数值指示。例如，可以将CPU繁忙程度划分为三个级别：级别一，CPU不繁忙，CPU的繁忙程度为1，该关键因素对应的参数值为1；级别二，CPU一般繁忙，CPU的繁忙程度为2，该关键因素对应的参数值为2；级别三，CPU非常繁忙，CPU的繁忙程度为3，该关键因素对应的参数值为3。应理解，CPU的繁忙程度也可以划分更多个级别，从而对应更多个数值。
同理，多个任务中每个任务的复杂度也可以通过数值指示。例如，可以将每个任务的复杂度划分为三个级别：任务不复杂，复杂度为1；任务一般复杂，复杂度为2；任务非常复杂，复杂度为3。应理解，每个任务的复杂度也可以划分更多个级别，从而对应更多个数值。
但需要说明的是，本申请是将多个任务中每个任务的复杂度作为一个关键因素进行处理的，因此该关键因素对应的参数值可以是多个任务中每个任务的复杂度的总和，或是复杂度较高的几个任务的复杂度的总和等。
还应理解，在实际应用中，批量任务执行时长可能受多种因素的影响，但这多种因素中可能存在对批量任务的执行时长影响较小的一些因素。因此，在本申请的研究中，可以只关注一些对批量任务的执行时长影响较大的因素，该类因素本申请称为影响批量任务执行时长的关键因素。
由于第一批量任务是待执行的批量任务，因此影响第一批量任务的执行时长的关键因素可以是，基于对已经执行结束的批量任务的执行时长的分析获取的。即在S201之前，该方法200还可以包括：确定影响批量任务的执行时长的多个关键因素。
示例性地，确定影响批量执行时长的多个关键因素，可以包括如下步骤：
步骤一，获取多个批量任务的执行时长。
该多个批量任务是已经执行结束的批量任务。
步骤二，确定影响每个批量任务执行时长的多个因素。
该多个因素中包括多个关键因素。
步骤二，针对每个批量任务的执行时长和影响因素，每次调整多个因素中一个因素的参数值大小，且在保证其他因素的参数值不变的情况下，确定该被调整的因素的参数值对批量执行时长的影响。
1、若被调整的因素的参数值发生变化时，批量任务的执行时长变化较大，则将该因素确定为影响批量任务执行时长的关键因素。
例如，对调整参数值前后的批量任务的执行时长作差，若执行时长的差值大于预设阈值，则确定批量任务的执行时长变化较大。
2、若被调整的因素的参数值发生变化时，批量任务的执行时长变化不大，则不将该因素确定为影响批量任务执行时长的关键因素。
例如，对调整参数值前后的批量任务的执行时长作差，若执行时长的差值小于或等于预设阈值，则确定批量任务的执行时长变化较小。
步骤四，得到影响批量任务的执行时长的多个关键因素为：系统服务器个数、CPU繁忙程度、每个批量任务包括的多个任务的数量、多个任务的数据量大小、以及多个任务中每个任务的复杂度。
S202，将多个关键因素对应的多个参数值输入至时长预测模型中，得到第一批量任务的执行时长的预测值。
其中，时长预测模型是基于多个批量任务的历史数据对多元线性回归模型进行训练得到的。该多个批量任务的历史数据包括多个批量任务中每个批量任务对应的执行时长以及影响执行时长的多个关键因素的参数值。
可选地，在S202之前，该方法200还可以包括：建立多元线性回归模型。
示例性地，由于批量任务的执行时长受多个关键因素的影响，因此可以将批量执行时长看作因变量，影响批量执行时长的多个关键因素看作自变量。若设y为因变量，x1，x2，…，xk为自变量，且自变量x1，x2，…，xk与因变量y之间线性相关时，那么可以建立多元线性回归模型：
y＝b0+b1x1+b2x2+…+bkxk+e； (3)
其中，b0为常数项，b1，b2，…，bk为回归系数，e为是反映各种误差扰动综合影响的随机项，b1为x1，x2，…，xk固定时，x1每增加一个单位对y的效应，即x1对y的偏回归系数；b2为x1，x2，…，xk固定时，x2每增加一个单位对y的效应，即x2对y的偏回归系数，同理bk为x1，x2，…，xk固定时，xk每增加一个单位对y的效应，即xk对y的偏回归系数。
根据上述S201可知，本申请确定的影响批量任务的执行时长的关键因素共有五个，所以上述建立的多元线性回归模型中自变量的数量也应该为五个，那么本申请中的多元线性回归模型应为：
y＝b0+b1x1+b2x2+b3x3+b4x4+b5x5+e； (4)
关于模型中的各参数的含义，可参照公式(3)中的描述，此处不再赘述。
可选地，在S202之前，该方法200还可以包括：获取多个批量任务的历史数据；将多个批量任务的历史数据作为训练样本，对多元线性回归模型进行训练，得到时长预测模型。
示例性地，获取多个批量任务的历史数据，包括：获取多个批量任务中每个批量任务的执行时长；获取影响每个批量任务的执行时长的多个因素，该多个因素中包括多个关键因素；从多个因素中，确定影响批量任务执行时长的多个关键因素以及多个关键因素对应的多个参数值。
关于如何从多个因素中，确定影响批量任务执行时长的多个关键因素的过程，可参照前文描述，此处不再赘述。
本申请中，每个批量任务对应的多个关键因素均相同。每个批量任务对应的多个关键因素中，不同批量任务对应的同一关键因素的参数值可能不同。
示例性地，将多个批量任务的历史数据作为训练样本，对多元线性回归模型进行训练，得到时长预测模型，可以包括：对多个批量任务中每个批量任务对应的多个关键因素的参数值进行归一化处理，得到每个批量任务对应的归一化后的多个参数值；分别将每个批量任务对应的归一化后的多个参数值输入至多元线性回归模型中，以对多元线性回归模型进行训练，得到时长预测模型。
关于归一化的描述可参照前文描述，此处不再赘述。
示例性地，本申请可以采用非线性归一化的方式对多个关键因素对应的参数值进行归一化。
这种采用归一化方式处理关键因素的参数值的方式，可以提高获取模型参数的速度，提升模型的精度。
示例性地，上将多个批量任务的历史数据作为训练样本，对多元线性回归模型进行训练时，可以采用梯度下降算法对多元线性回归模型进行训练。这里的多元线性回归模型是指上述公式(4)。
关于梯度下降算法的描述，此处不再赘述。
S203，在预测值大于理想执行时长时，调整多个关键因素中至少一个关键因素的参数值。该理想执行时长是基于第一批量任务的紧急程度确定的。
应理解，第一批量任务比较紧急时，业务人员希望可以尽快获取到该第一批量任务的执行结果，因此理想执行时长会设置的比较小。第一批量任务不太紧急时，理想执行时长可以设置的大一些。
示例性地，第一批量任务的紧急程度可以通过不同的数值表示。若数值越大，批量任务越紧急，则在表示批量任务的紧急程度的数值增大时，减小理想时长；若数值越小，批量任务越紧急，则在表示批量任务的紧急程度的数值减小时，减小理想时长。
示例性地，在预测值大于理想执行时长时，可以通过增加系统服务器的个数或是CPU的个数等，提高批量任务的执行效率，减小批量任务的执行时长。
本申请提供的方法通过将第一批量任务的执行时长的多个关键因素对应的参数值输入至时长预测模型中，得到第一批量任务的执行时长的预测值，从而可以基于该预测值与理想执行时长之间的大小关系，确定是否需要调整影响批量时长的多个关键因素的参数值，而理想执行时长又是基于第一批量任务的紧急程度确定，因此，该方法可以在批量执行时长的预测值大于理想执行时长的情况下，通过调整至少一个关键因素的参数值，以达到减小批量任务执行时长的目的。
下面以图2所示的实施例为基础，结合图3详细描述本申请实施例提供的时长调整方法。应理解，图2所示实施例中已介绍的内容不再赘述。
图3是本申请实施例提供的另一种时长调整方法300的示意性流程图。应理解，该方法300可以由图1所示的数据处理设备执行，也可以由数据处理设备中的芯片执行，本申请实施例对此不作限定。
如图3所示，该方法包括S301至S307，下面详细描述图3所示的各步骤。
S301，建立多元线性回归模型。
这里的模型是指前文描述的公式(3)。关于建立该多元线性回归模型可参照前文S202中的相关描述，此处不再赘述。
S302，确定影响批量任务执行时长的多个关键因素。
该过程可参照前文S201中的相关描述，此处不再赘述。
上述影响批量任务执行时长的多个关键因素对应的参数值可以理解为影响批量任务执行时长的自变量。
S303，获取训练样本。
应理解，训练样本中包括多个批量任务对应的执行时长以及影响执行时长的五个关键因素的参数值。换言之，训练样本即为上述多个批量任务的历史数据。
S304，对训练样本中影响执行时长的多个参数值进行归一化处理。
关于归一化的描述可参照前文描述，此处不再赘述。
S305，训练多元线性回归模型，得到时长预测模型。
应理解，训练的多元线性回归模型为前文描述的公式(4)，该模型中包括的模型参数有：b0，b1，b2，b3，b4，b5以及e。
示例性地，将S304中经归一化处理的每个执行时长对应的五个参数值分别作为多元线性回归模型中x1，x2，x3，x4，x5的输入，可以得到该执行时长的预测值；基于预测值和训练样本中与五个参数值对应的执行时长的真实值，确定模型参数：b0，b1，b2，b3，b4，b5以及e；从而得到时长预测模型。
其中，x1的输入为系统服务器个数、x2的输入为CPU繁忙程度、x3的输入为每个批量任务包括的多个任务的数量、x4的输入为多个任务的数据量大小、x5的输入为多个任务中每个任务的复杂度。
S306，预测待执行的批量任务的执行时长。
示例性地，将与待执行的批量任务(例如，上述第一批量任务)对应的多个关键因素的参数值，依次输入至S305得到的时长预测模型，得到该批量任务的执行时长的预测值。
应理解，每个自变量x对应的关键因素在预测的过程中的输入应与训练过程中的输入保持一致。
S307，在预测值大于理想执行时长时，调整多个关键因素中至少一个关键因素的参数值。该过程与S203相同，此处不再赘述。
应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上文中结合图1至图3，详细描述了本申请实施例的方法，下面将结合图4和图5，详细描述本申请实施例的装置。
图4示出了本申请实施例提供的一种时长调整装置400，该装置400包括：获取模块410和处理模块420。
示例性地，获取模块410用于：获取影响第一批量任务执行时长的多个关键因素，所述多个关键因素包括系统服务器个数、CPU繁忙程度、所述第一批量任务包括的多个任务的数量、所述多个任务的数据量大小、以及所述多个任务中每个任务的复杂度；处理模块420用于：将所述多个关键因素对应的多个参数值输入至时长预测模型中，得到所述第一批量任务执行时长的预测值，所述时长预测模型是基于多个批量任务的历史数据对多元线性回归模型进行训练得到的，所述多个批量任务的历史数据包括所述多个批量任务中每个批量任务对应的执行时长以及影响执行时长的多个关键因素的参数值；以及在所述预测值大于理想执行时长时，调整所述多个关键因素中至少一个关键因素的参数值，所述理想执行时长是基于第一批量任务的紧急程度确定的。
可选地，获取模块410还用于：获取所述多个批量任务的历史数据；处理模块420还用于：将所述多个批量任务的历史数据作为训练样本，对所述多元线性回归模型进行训练，得到所述时长预测模型。
可选地，获取模块410具体用于：获取所述多个批量任务中每个批量任务的执行时长；以及，获取影响每个批量任务的执行时长的多个因素；处理模块420还用于：从所述多个因素中，确定影响批量任务执行时长的所述多个关键因素以及所述多个关键因素对应的多个参数值。
可选地，处理模块420具体用于：对所述多个批量任务中每个批量任务对应的多个关键因素的参数值进行归一化处理，得到每个批量任务对应的归一化后的多个参数值；以及，分别将所述每个批量任务对应的归一化后的多个参数值输入至所述多元线性回归模型中，以对所述多元线性回归模型进行训练，得到所述时长预测模型。
可选地，处理模块420具体用于：采用非线性归一化的方式，对所述多个批量任务中每个批量任务对应的多个关键因素的参数值进行归一化处理，得到每个批量任务对应的归一化后的多个参数值。
可选地，处理模块420具体用于：将所述多个批量任务的历史数据作为训练样本，采用梯度下降算法对所述多元线性回归模型进行训练，得到所述时长预测模型。
应理解，这里的装置400以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中，本领域技术人员可以理解，装置400可以具体为上述实施例中的数据处理设备，或者，上述实施例中数据处理设备的功能可以集成在装置400中，装置400可以用于执行上述方法实施例中与数据处理设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。
上述装置400具有实现上述方法中数据处理设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如，上述获取模块410可以为通信接口，例如收发接口。
在本申请的实施例，图4中的装置400也可以是芯片或者芯片系统，例如：片上系统(system on chip，SoC)。对应的，获取模块410可以是该芯片的收发电路，在此不做限定。
图5示出了本申请实施例提供的另一种时长调整装置500。该装置500包括处理器510、通信接口520和存储器530。
其中，处理器510、通信接口520和存储器530通过内部连接通路互相通信，该存储器530用于存储指令，该处理器510用于执行该存储器530存储的指令，以控制该通信接口520获取数据。
应理解，装置500可以用于执行上述方法实施例中与数据处理设备对应的各个步骤和/或流程。可选地，该存储器530可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器530的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器510可以用于执行存储器中存储的指令，并且该处理器510执行该指令时，该处理器510可以执行上述方法实施例中与数据处理设备对应的各个步骤和/或流程。
应理解，在本申请实施例中，该处理器可以是中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现前述实施例所述的方法。
本申请实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述实施例所述的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种时长调整方法，其特征在于，包括：
获取影响第一批量任务执行时长的多个关键因素，所述多个关键因素包括系统服务器个数、中央处理器CPU繁忙程度、所述第一批量任务包括的多个任务的数量、所述多个任务的数据量大小、以及所述多个任务中每个任务的复杂度；
将所述多个关键因素对应的多个参数值输入至时长预测模型中，得到所述第一批量任务执行时长的预测值，所述时长预测模型是基于多个批量任务的历史数据对多元线性回归模型进行训练得到的，所述多个批量任务的历史数据包括所述多个批量任务中每个批量任务对应的执行时长以及影响执行时长的多个关键因素的参数值；
在所述预测值大于理想执行时长时，调整所述多个关键因素中至少一个关键因素的参数值，所述理想执行时长是基于第一批量任务的紧急程度确定的。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述多个批量任务的历史数据；
将所述多个批量任务的历史数据作为训练样本，对所述多元线性回归模型进行训练，得到所述时长预测模型。
3.根据权利要求2所述的方法，其特征在于，所述获取所述多个批量任务的历史数据，包括：
获取所述多个批量任务中每个批量任务的执行时长；
获取影响每个批量任务的执行时长的多个因素；
从所述多个因素中，确定影响批量任务执行时长的所述多个关键因素以及所述多个关键因素对应的多个参数值。
4.根据权利要求2或3所述的方法，其特征在于，所述将所述多个批量任务的历史数据作为训练样本，对所述多元线性回归模型进行训练，得到所述时长预测模型，包括：
对所述多个批量任务中每个批量任务对应的多个关键因素的参数值进行归一化处理，得到每个批量任务对应的归一化后的多个参数值；
分别将所述每个批量任务对应的归一化后的多个参数值输入至所述多元线性回归模型中，以对所述多元线性回归模型进行训练，得到所述时长预测模型。
5.根据权利要求4所述的方法，其特征在于，所述对所述多个批量任务中每个批量任务对应的多个关键因素的参数值进行归一化处理，得到每个批量任务对应的归一化后的多个参数值，包括：
采用非线性归一化的方式，对所述多个批量任务中每个批量任务对应的多个关键因素的参数值进行归一化处理，得到每个批量任务对应的归一化后的多个参数值。
6.根据权利要求2所述的方法，其特征在于，所述将所述多个批量任务的历史数据作为训练样本，对所述多元线性回归模型进行训练，得到所述时长预测模型，包括：
将所述多个批量任务的历史数据作为训练样本，采用梯度下降算法对所述多元线性回归模型进行训练，得到所述时长预测模型。
7.一种时长调整装置，其特征在于，包括：
获取模块，用于获取影响第一批量任务执行时长的多个关键因素，所述多个关键因素包括系统服务器个数、中央处理器CPU繁忙程度、所述第一批量任务包括的多个任务的数量、所述多个任务的数据量大小、以及所述多个任务中每个任务的复杂度；
处理模块，用于将所述多个关键因素对应的多个参数值输入至时长预测模型中，得到所述第一批量任务的执行时长的预测值，所述时长预测模型是基于多个批量任务的历史数据对多元线性回归模型进行训练得到的，所述多个批量任务的历史数据包括所述多个批量任务中每个批量任务对应的执行时长以及影响执行时长的多个关键因素的参数值；以及在所述预测值大于理想执行时长时，调整所述多个关键因素中至少一个关键因素的参数值，所述理想执行时长基于第一批量任务的紧急程度确定。
8.根据权利要求7所述的装置，其特征在于，所述获取模块还用于：获取所述多个批量任务的历史数据；
所述处理模块还用于：将所述多个批量任务的历史数据作为训练样本，对所述多元线性回归模型进行训练，得到所述时长预测模型。
9.一种时长调整装置，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的方法。
CN202310764817.5A 2023-06-26 2023-06-26 时长调整方法、装置及计算机可读存储介质 Pending CN116795512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310764817.5A CN116795512A (zh) 2023-06-26 2023-06-26 时长调整方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310764817.5A CN116795512A (zh) 2023-06-26 2023-06-26 时长调整方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116795512A true CN116795512A (zh) 2023-09-22

Family

ID=88041056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310764817.5A Pending CN116795512A (zh) 2023-06-26 2023-06-26 时长调整方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116795512A (zh)

Similar Documents

Publication Publication Date Title
CN113657617B (zh) 一种模型联合训练的方法和系统
CN110046706A (zh) 模型生成方法、装置及服务器
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
CN112633567A (zh) 一种等待时长的预测方法、设备及存储介质
CN114896067B (zh) 任务请求信息的自动生成方法、装置、计算机设备及介质
CN114168318A (zh) 存储释放模型的训练方法、存储释放方法及设备
CN110263136B (zh) 基于强化学习模型向用户推送对象的方法和装置
CN117093684A (zh) 企业服务领域预训练对话式大语言模型的构建方法及系统
CN112906883B (zh) 用于深度神经网络的混合精度量化策略确定方法和系统
CN111510473B (zh) 访问请求处理方法、装置、电子设备和计算机可读介质
CN111046156B (zh) 奖励数据的确定方法、装置和服务器
CN116703457B (zh) 用户生命周期价值的预测方法和预测装置
CN116795512A (zh) 时长调整方法、装置及计算机可读存储介质
US20210103807A1 (en) Computer implemented method and system for running inference queries with a generative model
US20230108272A1 (en) Harmonizing diffusion tensor images using machine learning
CN110717537A (zh) 训练用户分类模型、执行用户分类预测的方法及装置
CN113269259B (zh) 一种目标信息的预测方法及装置
CN115859048A (zh) 一种局放信号的噪声处理方法及装置
CN107665185A (zh) 一种基于短信业务的客户行为分析方法及相关装置
CN111241571A (zh) 一种数据共享方法及模型、存储介质
CN114049126A (zh) 安全认证方法及装置
CN112766490B (zh) 特征变量学习方法、装置、设备及计算机可读存储介质
CN117435516B (zh) 一种测试用例优先级排序方法和系统
CN112163633B (zh) 测试评估方法、装置、电子设备及存储介质
CN118364181A (zh) 资源推荐方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination