CN114138614A - 一种批处理任务的运行时长预测方法和相关装置 - Google Patents

一种批处理任务的运行时长预测方法和相关装置 Download PDF

Info

Publication number
CN114138614A
CN114138614A CN202111495783.1A CN202111495783A CN114138614A CN 114138614 A CN114138614 A CN 114138614A CN 202111495783 A CN202111495783 A CN 202111495783A CN 114138614 A CN114138614 A CN 114138614A
Authority
CN
China
Prior art keywords
target
batch
job
running time
throughput
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111495783.1A
Other languages
English (en)
Inventor
叶文斌
傅闪斌
谈宏
钟文
时培军
丁洁
潘露萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202111495783.1A priority Critical patent/CN114138614A/zh
Publication of CN114138614A publication Critical patent/CN114138614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种批处理任务的运行时长预测方法和相关装置，将批处理任务中的一个批量节点作为目标批量节点，获取目标批量节点所执行的作业集合，将作业集合中的一个作业作为目标作业，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源获取目标作业的运行时长，根据目标作业的运行时长获取目标批量节点的运行时长，根据目标批量节点的运行时长获取批处理任务的运行时长。由此，通过影响作业运行时长的因素：日间联机交易量、I/O吞吐量、CPU资源和CF资源能够较为准确的预测作业的运行时长，从而得到批量节点的运行时长以及批处理任务的运行时长，实现批处理任务的运行监控，进而能够提前通过增加资源、暂停某些作业执行等方式避免资源冲突。

Description

一种批处理任务的运行时长预测方法和相关装置
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种批处理任务的运行时长预测方法和相关装置。
背景技术
大型主机系统运维过程中，核心系统会在业务量较小的时候，如凌晨两点至四点的时间段，通过定时执行、分批执行等方式进行批处理。一个批处理任务由多个批量节点组成，一个批量节点就是一套完整的作业流，作业流中包括多个作业，多个作业间可能串行执行，也可能并行执行。故此，不同批量节点、甚至批处理任务的运行时长可能不同。
若当前批量节点的运行时间过长，可能影响下一个批量节点的运行，可能影响需避开批量执行时段实施的变更，甚至由于批处理任务的运行时长过长影响后续联机交易平稳运行。故预测批处理任务的运行时长对于大型主机运维很重要，可以通过如增加资源、更改变更实施时间，从而避免出现资源冲突等问题。
相关技术中，通过人为经验的方式预测批处理任务的运行时长，但是该种方式过于依赖人为经验，预测准确性不高，经验不同可能导致预测结果不一致，且人力消耗成本高。
发明内容
针对上述问题，本申请提供一种批处理任务的运行时长预测方法和相关装置，用于提高批处理任务的运行时长预测的准确性。
基于此，本申请实施例公开了如下技术方案：
一方面，本申请实施例提供一种批处理任务的运行时长预测方法，所述方法包括：
获取目标批量节点所执行的作业集合，所述目标批量节点为批处理任务中的一个批量节点；
根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长，所述目标作业为所述作业集合中的一个作业；
根据所述目标作业的运行时长确定所述目标批量节点的运行时长；
根据所述目标批量节点的运行时长确定所述批处理任务的运行时长。
可选的，所述根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源预测所述目标作业的运行时长，包括：
根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数和CF资源系数；
根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、以及所述目标影响因子模型预测所述目标作业的运行时长。
可选的，所述根据目标作业的日间联机交易量、I/O吞吐量和CPU资源和CF资源预测所述目标作业的运行时长，包括：
根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长。
可选的，所述根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长，包括：
根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数、CF资源系数和内存使用率系数；
根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、内存使用率以及所述目标影响因子模型预测所述目标作业的运行时长。
可选的，所述根据所述目标作业的运行时长确定所述目标批量节点的运行时长，包括：
根据所述目标作业的运行时长获取所述作业集合中每个作业的运行时长；
根据所述作业集合中作业间的执行顺序和所述每个作业的运行时长，确定所述目标批量节点的运行时长。
可选的，根据所述目标批量节点的运行时长确定所述批处理任务的运行时长，包括：
根据所述目标批量节点的运行时长获取所述批处理任务中每个批处理节点的运行时长；
根据所述批处理任务中批处理节点的执行顺序和所述每个批处理节点的运行时长，确定所述批处理任务的运行时长。
可选的，所述方法还包括：
根据专家经验确定所述批处理任务的运行时长对应的告警级别。
另一方面，本申请实施例提供一种批处理任务的运行时长预测装置，所述装置包括：获取单元、预测单元和确定单元；
所述获取单元，用于获取目标批量节点所执行的作业集合，所述目标批量节点为批处理任务中的一个批量节点；
所述预测单元，用于根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长，所述目标作业为所述作业集合中的一个作业；
所述确定单元，用于根据所述目标作业的运行时长确定所述目标批量节点的运行时长；根据所述目标批量节点的运行时长确定所述批处理任务的运行时长。
另一方面，本申请提供了一种计算机设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
另一方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。
相对于现有技术，本申请上述技术方案的优点在于：
将批处理任务中的一个批量节点作为目标批量节点，获取目标批量节点所执行的作业集合，将作业集合中的一个作业作为目标作业，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源获取目标作业的运行时长，根据目标作业的运行时长获取目标批量节点的运行时长，根据目标批量节点的运行时长获取批处理任务的运行时长。由此，通过影响作业运行时长的因素，即日间联机交易量、I/O吞吐量、CPU资源和CF资源能够较为准确的预测作业的运行时长，从而得到批量节点的运行时长以及批处理任务的运行时长，实现批处理任务的运行监控，进而能够提前通过增加资源、暂停某些作业执行等方式避免资源冲突。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请提供的一种批处理任务的运行时长预测方法的流程图；
图2为本申请提供的一种批处理任务的运行时长预测装置的示意图；
图3为本申请实施例提供的一种计算机设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1，对本申请实施例提供的一种批处理任务的运行时长预测方法进行介绍。参见图1，该图为本申请提供的一种批处理任务的运行时长预测方法的流程图，该方法可以包括以下步骤101-104。
S101：获取目标批量节点所执行的作业集合。
一个批处理任务由多个批量节点组成，每个批量节点均会执行一个作业集合，每个作业集合中包括一个或多个作业。
将多个批量节点中一个批量节点作为目标批量节点，获取该目标批量节点所执行的作业集合，以便基于作业集合中作业的运行时间确定该目标批量节点的运行时间，进而获得批处理任务的运行时间。
S102：根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长。
将目标批量节点所执行的作业集合中的一个作业作为目标作业，计算目标作业的运行时长，经过分析发现，在银行中作业的运行时长会受日间联机交易量、输入/输出(Input/Output，I/O)吞吐量、中央处理器(Central Processing Unit，CPU)资源和耦合设备(Coupling Facility，CF)资源的影响，下面分别进行说明。
(1)日间联机交易量的大小会影响夜间批处理任务的任务数量，继而影响批处理任务的运行时间。例如，日间联机交易量为1亿笔和10亿笔，在其他资源不变的情况下，10亿笔交易所需的运行时间更长。
(2)I/O吞吐量影响磁盘响应时间，继而影响需磁盘调度作业的运行时间。
(3)CPU资源影响指令执行时间。
(4)CF资源影响各锁资源通信、GLOBAL资源的通信等。
故此，可以基于目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源获取目标作业的运行时长。
作为一种可能的实现方式，可以根据目标作业的类型获取目标作业对应的目标影响因子模型，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、以及目标影响因子模型获取目标作业的运行时长。
其中，影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数和CF资源系数。不同类型的作业具有不同的用途，根据作业用途不同，有些作业运行时间依赖IO性能，有些作业运行时间依赖日间联机交易量，有些作业运行时间依赖CPU性能，对于不同作业用途不同，依赖影响因子属性不同，调用不同的影响因子模型。如会计记账作业，会计记账作业的运行时间依赖日间联机交易量因素较多，日间联机交易量越大，则会计记账作业的运行时长将会越长，故会计记账作业的影响因子模型中日间联机交易量系数较大。
需要说明的是，作业的类型在开始时会被确定，即开发人员编写完作业后，即可明确作业的用途，从而可以根据映射规则明确该作业使用何种影响因子模型。
作为一种可能的实现方式，作业的运行时长还会受内存使用率影响，当内存使用率超过阈值时，会使得作业调度、作业执行等发生异常。故可以根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率获取目标作业的运行时长。
作为一种可能的实现方式，可以根据目标作业的类型获取目标作业对应的目标影响因子模型，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、内存使用率、以及目标影响因子模型获取目标作业的运行时长。
此时，影响因子模型中的影响因子不仅包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数和CF资源系数，还包括内存使用率系数。相关之处可以参照前述对影响因子模型的说明。
作为一种可能的实现方式，还可以根据神经网络模型，如BP神经网络模型获得目标作业的运行时长。如，将采集得到的样本数据(日间联机交易量、I/O吞吐量、CPU资源、CF资源，若有需要还可以获取内存使用率)输入至神经网络模型进行训练，在训练中不断调整权重和阈值，得到训练好的神经网络模型。将检测区域内采集的数据(日间联机交易量、I/O吞吐量、CPU资源、CF资源，若有需要还可以获取内存使用率)输入至训练好的神经网络模型中，得到目标作业的运行时间。
作为一种可能的实现方式，可以将通过影响因子模型调整采集到的数据，然后输入至训练好的神经网络模型中，使得得到的作业运行时间更为有针对性，更准确。
S103：根据目标作业的运行时长确定目标批量节点的运行时长。
将目标批量节点所执行的作业集合中的每一个作业作均为目标作业，获取每一个作业的运行时长，由此可以获得该目标批量节点的运行时长。
作为一种可能的实现方式，由于作业间的执行顺序不同，如串行执行或并行执行，会影响对应作业流的运行时间，影响批量节点的运行时间。故根据目标批量节点的作业集合中作业间的执行顺序和每个作业的运行时长，可以确定出该作业集合中运行时长最长的路径，即关键路径的运行时长，关键路径的运行时长即为该目标批量节点的运行时长。
S104：根据目标批量节点的运行时长确定批处理任务的运行时长。
将批处理任务中的每个批量节点均作为目标批量节点，获取每一个批量节点的运行时长，由此可以获得该批处理任务的运行时长。
需要说明的是，由于批量节点间也存在执行顺序，故可以根据批处理任务中批量节点间的执行顺序和每个批量节点的运行时长，可以确定出该批处理任务中关键路径的运行时长，由此可以获得批处理任务的运行时长。
作为一种可能的实现方式，还可以通过专家经验确定批处理任务的运行时长对应的告警级别。通过专家经验设置批处理任务的运行时长T的论域，模糊子集，可能性p。
例如，论域设置为μ＝{T特别短，T短，T正常，T长，T特别长}，其中，T特别短∈[0,30min)，T短∈[30min，60min)，T正常∈[60min，90min)，T长∈[90min，120min)，T特别长∈[120min，+∞]。
设置可能性p高＝1，p较高＝0.8，p一般＝0.6，p较低＝0.4，p低＝0.2。
设置模糊子集：“预测超长”、“预测长”、“预测适当”、“预测短”，表示分别如下：
Figure BDA0003400039460000071
Figure BDA0003400039460000072
Figure BDA0003400039460000073
Figure BDA0003400039460000074
不同的模糊子集对应于不同的告警级别，如预测超长对应于3级告警，预测长对应于2级告警，预测适当对应于1级告警，预测短对应于一般告警。
若通过前述S101-S104获得的批处理任务的运行时长为100分钟，则对应于T长，代入到公式(1)中，得到预测超长对应的可能性为p较高，为0.8。同理，代入到公式(2)中，得到预测长对应的可能性为p一般，为0.6。代入到公式(3)中，得到预测适当对应的可能性为p低，为0.2。代入到公式(4)中，得到预测短对应的可能性为0。由此，批处理任务的运行时长为100分可能性最大的为预测超长，此时对应的告警级别为3级告警。
由此，将传统运维过程中积累的专家经验，通过模糊推理得到最终的告警级别。如T特别长，即测算出的批量运行时间特别长，其对应的批量时间预测超长的可能性高，对应于3级告警。
通过上述技术方案可知，将批处理任务中的一个批量节点作为目标批量节点，获取目标批量节点所执行的作业集合，将作业集合中的一个作业作为目标作业，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源获取目标作业的运行时长，根据目标作业的运行时长获取目标批量节点的运行时长，根据目标批量节点的运行时长获取批处理任务的运行时长。由此，通过影响作业运行时长的因素，即日间联机交易量、I/O吞吐量、CPU资源和CF资源能够较为准确的预测作业的运行时长，从而得到批量节点的运行时长以及批处理任务的运行时长，实现批处理任务的运行监控，进而能够提前通过增加资源、暂停某些作业执行等方式避免资源冲突。
本申请实施例除了提供的一种批处理任务的运行时长预测方法外，还提供了一种批处理任务的运行时长预测装置，如图2所示，所述装置包括：获取单元201、预测单元202和确定单元203；
所述获取单元201，用于获取目标批量节点所执行的作业集合，所述目标批量节点为批处理任务中的一个批量节点；
所述预测单元202，用于根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长，所述目标作业为所述作业集合中的一个作业；
所述确定单元203，用于根据所述目标作业的运行时长确定所述目标批量节点的运行时长；根据所述目标批量节点的运行时长确定所述批处理任务的运行时长。
作为一种可能的实施方式，所述预测单元202，用于：
根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数和CF资源系数；
根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、以及所述目标影响因子模型预测所述目标作业的运行时长。
作为一种可能的实施方式，所述预测单元202，用于：
根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长。
作为一种可能的实施方式，所述预测单元202，用于：
根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数、CF资源系数和内存使用率系数；
根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、内存使用率以及所述目标影响因子模型预测所述目标作业的运行时长。
作为一种可能的实施方式，所述确定单元203，用于：
根据所述目标作业的运行时长获取所述作业集合中每个作业的运行时长；
根据所述作业集合中作业间的执行顺序和所述每个作业的运行时长，确定所述目标批量节点的运行时长。
作为一种可能的实施方式，所述确定单元203，用于：
根据所述目标批量节点的运行时长获取所述批处理任务中每个批处理节点的运行时长；
根据所述批处理任务中批处理节点的执行顺序和所述每个批处理节点的运行时长，确定所述批处理任务的运行时长。
由上述技术方案可知，将批处理任务中的一个批量节点作为目标批量节点，获取目标批量节点所执行的作业集合，将作业集合中的一个作业作为目标作业，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源获取目标作业的运行时长，根据目标作业的运行时长获取目标批量节点的运行时长，根据目标批量节点的运行时长获取批处理任务的运行时长。由此，通过影响作业运行时长的因素，即日间联机交易量、I/O吞吐量、CPU资源和CF资源能够较为准确的预测作业的运行时长，从而得到批量节点的运行时长以及批处理任务的运行时长，实现批处理任务的运行监控，进而能够提前通过增加资源、暂停某些作业执行等方式避免资源冲突。
本申请实施例还提供了一种计算机设备，参见图3，该图示出了本申请实施例提供的一种计算机设备的结构图，如图3所示，所述设备包括处理器310以及存储器320：
所述存储器310用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器320用于根据所述程序代码中的指令执行上述实施例提供的任一种批处理任务的运行时长预测方法。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述实施例提供的任一种批处理任务的运行时长预测方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种批处理任务的运行时长预测方法，其特征在于，所述方法包括：
获取目标批量节点所执行的作业集合，所述目标批量节点为批处理任务中的一个批量节点；
根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长，所述目标作业为所述作业集合中的一个作业；
根据所述目标作业的运行时长确定所述目标批量节点的运行时长；
根据所述目标批量节点的运行时长确定所述批处理任务的运行时长。
2.根据权利要求1所述的方法，其特征在于，所述根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源预测所述目标作业的运行时长，包括：
根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数和CF资源系数；
根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、以及所述目标影响因子模型预测所述目标作业的运行时长。
3.根据权利要求1所述的方法，其特征在于，所述根据目标作业的日间联机交易量、I/O吞吐量和CPU资源和CF资源预测所述目标作业的运行时长，包括：
根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长。
4.根据权利要求3所述的方法，其特征在于，所述根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长，包括：
根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数、CF资源系数和内存使用率系数；
根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、内存使用率以及所述目标影响因子模型预测所述目标作业的运行时长。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标作业的运行时长确定所述目标批量节点的运行时长，包括：
根据所述目标作业的运行时长获取所述作业集合中每个作业的运行时长；
根据所述作业集合中作业间的执行顺序和所述每个作业的运行时长，确定所述目标批量节点的运行时长。
6.根据权利要求1所述的方法，其特征在于，根据所述目标批量节点的运行时长确定所述批处理任务的运行时长，包括：
根据所述目标批量节点的运行时长获取所述批处理任务中每个批处理节点的运行时长；
根据所述批处理任务中批处理节点的执行顺序和所述每个批处理节点的运行时长，确定所述批处理任务的运行时长。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述方法还包括：
根据专家经验确定所述批处理任务的运行时长对应的告警级别。
8.一种批处理任务的运行时长预测装置，其特征在于，所述装置包括：获取单元、预测单元和确定单元；
所述获取单元，用于获取目标批量节点所执行的作业集合，所述目标批量节点为批处理任务中的一个批量节点；
所述预测单元，用于根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长，所述目标作业为所述作业集合中的一个作业；
所述确定单元，用于根据所述目标作业的运行时长确定所述目标批量节点的运行时长；根据所述目标批量节点的运行时长确定所述批处理任务的运行时长。
9.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7任意一项所述的方法。
CN202111495783.1A 2021-12-08 2021-12-08 一种批处理任务的运行时长预测方法和相关装置 Pending CN114138614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111495783.1A CN114138614A (zh) 2021-12-08 2021-12-08 一种批处理任务的运行时长预测方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111495783.1A CN114138614A (zh) 2021-12-08 2021-12-08 一种批处理任务的运行时长预测方法和相关装置

Publications (1)

Publication Number Publication Date
CN114138614A true CN114138614A (zh) 2022-03-04

Family

ID=80385116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111495783.1A Pending CN114138614A (zh) 2021-12-08 2021-12-08 一种批处理任务的运行时长预测方法和相关装置

Country Status (1)

Country Link
CN (1) CN114138614A (zh)

Similar Documents

Publication Publication Date Title
CN111881023B (zh) 一种基于多模型对比的软件老化预测方法及装置
CN113031983B (zh) 一种基于深度强化学习的软件智能升级方法及装置
Tuli et al. GOSH: Task scheduling using deep surrogate models in fog computing environments
CN109344967B (zh) 一种基于人工神经网络的智能电表生命周期预测方法
Rosà et al. Catching failures of failures at big-data clusters: A two-level neural network approach
CN114780233A (zh) 基于微服务链路分析和强化学习的调度方法及装置
CN113342939A (zh) 数据质量监控方法、装置及相关设备
CN117041017A (zh) 数据中心的智能运维管理方法及系统
CN111752706A (zh) 资源配置方法、装置及存储介质
Sinha Short term load forecasting using artificial neural networks
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN114138614A (zh) 一种批处理任务的运行时长预测方法和相关装置
CN111783883A (zh) 一种异常数据的检测方法及装置
CN106844152A (zh) 银行后台任务跑批时间的相关性分析方法及装置
CN114610590A (zh) 作业运行时长确定方法、装置、设备及存储介质
CN114528966A (zh) 一种本地学习方法、设备及介质
CN112395167A (zh) 一种作业故障预测方法、装置及电子设备
CN110008098B (zh) 评估业务流程中的节点的运行状况的方法和装置
CN116991448B (zh) 服务器的运维时间窗检测方法、系统、存储介质和服务器
CN116204379B (zh) 一种服务端软件健康检测方法及装置
CN112817811B (zh) 扫描失败率的预测方法、装置、设备及存储介质
CN112861951B (zh) 一种图像神经网络参数的确定方法及电子设备
CN111694712B (zh) 多计算节点上cpu和内存的动态自适应功耗测量方法、系统及介质
CN118170625A (zh) 一种批量运行时间上界确定方法及装置
CN117852695A (zh) 一种人工智能模型的自动迭代方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination