CN111931009A - 批量作业的作业最大路径确定方法及装置 - Google Patents
批量作业的作业最大路径确定方法及装置 Download PDFInfo
- Publication number
- CN111931009A CN111931009A CN202010814554.0A CN202010814554A CN111931009A CN 111931009 A CN111931009 A CN 111931009A CN 202010814554 A CN202010814554 A CN 202010814554A CN 111931009 A CN111931009 A CN 111931009A
- Authority
- CN
- China
- Prior art keywords
- job
- node
- maximum path
- operation nodes
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000010845 search algorithm Methods 0.000 claims abstract description 16
- 230000001419 dependent effect Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种批量作业的作业最大路径确定方法及装置，该方法包括：获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应；根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径。本发明实现了准确、高效的确定批量作业中某个作业的最大路径，为批量作业的状态预估提供了数据支持。
Description
技术领域
本发明涉及批量作业技术领域，具体而言，涉及一种批量作业的作业最大路径确定方法及装置。
背景技术
随着大数据技术的发展，越来越多的行业重视到数据的重要性，大数据加工已经成为很多企业经营的基础。批量作业是企业科技的一项重要环节，如何有效的保证批量作业按时完成，不影响业务的开展已经成为批量运维工程师日常工作的重心。对于批量作业，可以通过查找作业的最大路径(耗时最长的路径)来预估批量作业的状态，并且最大路径可以量化为作业运行结束仍需多长时间，当前运行到什么位置，业务数据还有多久能够展现出来等等众多场景。因此，如何准确的确定作业的最大路径是本领域亟需解决的问题。
发明内容
本发明为了解决上述背景技术中的技术问题，提出了一种批量作业的作业最大路径确定方法及装置。
为了实现上述目的，根据本发明的一个方面，提供了一种批量作业的作业最大路径确定方法，该方法包括：
获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定；
根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径，所述先验知识节点集合包括：非最大路径作业节点。
可选的，该批量作业的作业最大路径确定方法，还包括：
根据所述当前批量作业中各作业各自对应的作业历史完成时间确定各作业各自对应的完成时间预测值；
根据所述当前批量作业对应的作业依赖关系表以及所述完成时间预测值构建所述有向无环图模型，其中，所述有向无环图模型中各作业节点各自对应的权值由所述完成时间预测值来确定。
可选的，所述根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，具体包括：
重复执行查找步骤，在每一次查找步骤中查询基础作业节点对应的所有的依赖作业节点，并根据所述预设先验知识节点集合对所述所有的依赖作业节点进行筛选，将筛选后的依赖作业节点作为下一次查找步骤的基础作业节点，直至无法查询到基础作业节点对应的依赖作业节点时停止执行查找步骤，其中第一次查找步骤中的基础作业节点为所述第一目标作业节点，由此得到至所述第一目标作业节点的所有路径；
根据各作业节点各自对应的权值从所述所有路径中确定出最大路径。
可选的，该批量作业的作业最大路径确定方法，还包括：
获取历史批量作业对应的最大路径作业节点集合、所述当前批量作业对应的所有作业节点集合以及所述当前批量作业相对于所述历史批量作业的新增作业节点集合和删除作业节点集合；
根据所述最大路径作业节点集合、所述所有作业节点集合、所述新增作业节点集合以及所述删除作业节点集合确定所述当前批量作业对应的先验知识节点集合。
可选的，该批量作业的作业最大路径确定方法，还包括：
根据预设的先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的最大路径。
为了实现上述目的，根据本发明的另一方面，提供了一种批量作业的作业最大路径确定装置，该装置包括：
有向无环图模型获取单元，用于获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定；
最大路径查找单元，用于根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径，所述先验知识节点集合包括：非最大路径作业节点。
可选的，该批量作业的作业最大路径确定装置，还包括：
完成时间预测单元，用于根据所述当前批量作业中各作业各自对应的作业历史完成时间确定各作业各自对应的完成时间预测值；
有向无环图模型生成单元，用于根据所述当前批量作业对应的作业依赖关系表以及所述完成时间预测值构建所述有向无环图模型，其中，所述有向无环图模型中各作业节点各自对应的权值由所述完成时间预测值来确定。
可选的，所述最大路径查找单元，具体包括：
依赖作业节点查找模块，用于重复执行查找步骤，在每一次查找步骤中查询基础作业节点对应的所有的依赖作业节点，并根据所述预设先验知识节点集合对所述所有的依赖作业节点进行筛选，将筛选后的依赖作业节点作为下一次查找步骤的基础作业节点，直至无法查询到基础作业节点对应的依赖作业节点时停止执行查找步骤，其中第一次查找步骤中的基础作业节点为所述第一目标作业节点，由此得到至所述第一目标作业节点的所有路径；
最大路径确定模块，用于根据各作业节点各自对应的权值从所述所有路径中确定出最大路径。
可选的，该批量作业的作业最大路径确定装置，还包括：
作业节点数据获取单元，用于获取历史批量作业对应的最大路径作业节点集合、所述当前批量作业对应的所有作业节点集合以及所述当前批量作业相对于所述历史批量作业的新增作业节点集合和删除作业节点集合；
先验知识节点集合生成单元，用于根据所述最大路径作业节点集合、所述所有作业节点集合、所述新增作业节点集合以及所述删除作业节点集合确定所述当前批量作业对应的先验知识节点集合。
可选的，所述最大路径查找单元，还用于根据预设的先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的最大路径。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述批量作业的作业最大路径确定方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述批量作业的作业最大路径确定方法中的步骤。
本发明的有益效果为：本发明预先设置了当前批量作业对应的有向无环图模型，并预设了当前批量作业对应的先验知识节点集合，进而根据先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，实现了准确、高效的确定出批量作业中某个作业的最大路径，为批量作业的状态预估提供了数据支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例批量作业的作业最大路径确定方法的第一流程图；
图2是本发明实施例生成有向无环图模型的流程图；
图3是本发明实施例查找最大路径的流程图；
图4是本发明实施例生成先验知识节点集合的流程图；
图5是本发明实施例批量作业的作业最大路径确定方法的第二流程图；
图6是本发明实施例有向无环图模型示意图；
图7是本发明实施例批量作业的作业最大路径确定装置的第一结构框图；
图8是本发明实施例批量作业的作业最大路径确定装置的第二结构框图；
图9是本发明实施例最大路径查找单元的结构框图；
图10是本发明实施例批量作业的作业最大路径确定装置的第三结构框图；
图11是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例批量作业的作业最大路径确定方法的第一流程图，如图1所示，在本发明可选实施例中，本发明的批量作业的作业最大路径确定方法包括步骤S101至步骤S102。
步骤S101，获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定。
在本发明实施例中，本发明针对当前批量作业预先创建出对应的有向无环图模型，有向无环图模型中的作业节点与当前批量作业中的作业一一对应，有向无环图模型中各作业节点的依赖关系信息可以由当前批量作业对应的作业依赖表来确定。
图6是本发明一可选实施例的有向无环图模型的示意图，如图6所示，有向无环图模型包括多个作业节点，图6中的Job A至Job G为作业节点；各作业节点的依赖关系信息可以用箭头连接表示，图6中的作业节点Job H的箭头指向作业节点Job R，表示作业节点JobR依赖于作业节点Job H，即作业节点Job H为作业节点Job R的依赖作业节点。
在本发明实施例中，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定，具体的，可以根据作业节点对应的作业历史的作业完成时间预测出当前作业完成时间，进而根据预测出的当前作业完成时间确定出作业节点对应的权值。在本发明可选实施例中，作业节点的权值为该作业节点对应的作业的作业完成时间预测值。
在如图6所示的实施例中，各作业节点各自对应的权值可以标注在各作业节点的依赖关系信息上，即连接箭头上。
步骤S102，根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径，所述先验知识节点集合包括：非最大路径作业节点。
在本发明可选实施例中，在确定出至第一目标作业节点的最大路径后，输出该最大路径的作业节点集合、作业节点顺序以及权值总和(即作业完成时间总和)，可以用来预估重点批量作业完成情况，业务数据展现等众多场景，也可上送平台报警系统及时通知大数据平台运维人员监控、处理、应急等。
在本发明可选实施例中，本发明可以采用预设的查找算法在有向无环图模型中查找出至第一目标作业节点的所有路径，在查找路径时过滤掉所示先验知识节点集合中的非最大路径作业节点，最后计算各路径包含的作业节点的权值之和，最终确定出至第一目标作业节点的最大路径。
在本发明可选实施例中，至第一目标作业节点为用户指定的作业节点。
在本发明可选实施例中，至第一目标作业节点的路径表示，从数据源作业节点至第一目标作业节点的路径，数据源作业为批量作业的起始作业，其没有对应的依赖作业，该数据源作业可以有多个。与第一目标作业节点对应的数据源作业节点可以有多个，同样每个数据源作业节点至第一目标作业节点的路径可以有多条。
在本发明其他可选实施例中，本发明的批量作业的作业最大路径确定方法还包括：根据预设的先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的最大路径。具体的，可以采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的所有路径，在查找路径时过滤掉所示先验知识节点集合中的非最大路径作业节点，最后计算各路径包含的作业节点的权值之和，最终确定出第二目标作业节点至第三目标作业节点的最大路径。
由以上描述可以看出，本发明提出了一种准确、快速确定批量作业中作业的最大路径的方法，不仅能确定出从数据源作业至目标作业的最大路径，还能确定任意两个目标作业之间的最大路径。确定出的最大路径可以来预估批量作业的状态，并且可以量化为作业运行结束仍需多长时间，当前运行到什么位置，业务数据还有多久能够展现出来等等众多场景。
图2是本发明实施例生成有向无环图模型的流程图，如图2所示，在本发明可选实施例中，本发明生成有向无环图模型的流程包括步骤S201和步骤S202。
步骤S201，根据所述当前批量作业中各作业各自对应的作业历史完成时间确定各作业各自对应的完成时间预测值。
在本发明可选实施例中，可以根据作业对应的历史上连续的多个作业完成时间预测出当前作业的完成时间，即完成时间预测值。具体的，本发明可以采用以最小均方误差为准则的预测模型进行完成时间预测。
步骤S202，根据所述当前批量作业对应的作业依赖关系表以及所述完成时间预测值构建所述有向无环图模型，其中，所述有向无环图模型中各作业节点各自对应的权值由所述完成时间预测值来确定。
在本发明实施例中，由于批量作业间没有循环依赖关系，因此批量作业可以抽象成有向无环图模型。
在本发明实施例中，在生成有向无环图模型时可以根据所述作业依赖关系表确定各作业节点的依赖关系信息，并根据当前批量作业中各作业各自对应的完成时间预测值来确定对应的作业节点的权值。
在本发明一可选实施例中，可以直接将作业的完成时间预测值作为对应的作业节点的权值，也可以先对作业的完成时间预测值进行数值处理，进而将数值处理结果作为该作业对应的作业节点的权值。
在本发明一可选实施例中，上述步骤S201的确定各作业各自对应的完成时间预测值可以采用以最小均方误差为准则的预测模型进行完成时间预测，设定估计误差函数可以为：
e(n)＝d(n)-y(n)＝d(n)-WT(n)·X(n)
其中，d(n)为n时刻期望输出，y(n)为n时刻实际输出，x(n)为n时刻实际输入。
其均方误差J为：
J＝E[e2(n)]＝E[d2(n)]-2E[d(n)WT(n)X(n)]+E[WT(n)X(n)XT(n)W(n)]
权值向量W迭代公式为：
W(n+1)＝W(n)+u(-▽J)
其中，u为步长因子。为获取最优解需要知道输入信号和期望值，在本方法中我们设置期望值为作业前一天完成的时间，由此求取均方误差梯度为
进而可以更新权值向量公式为：
W(n+1)＝W(n)+u(-▽J)＝W(n)+2ue(n)X(n)
根据均方误差最小准则预测的作业完成时间预测值作为有向无环图模型作业节点的权值，如图6所示，以作业节点Job C和作业节点Job G为例，连接线标识的7表示作业节点Job G的权值为7，即作业节点Job G的作业完成时间预测值为7分钟。
图3是本发明实施例查找最大路径的流程图，如图3所示，在本发明的可选实施例中，上述步骤S102的查找最大路径的流程具体包括步骤S301至步骤S302。
步骤S301，重复执行查找步骤，在每一次查找步骤中查询基础作业节点对应的所有的依赖作业节点，并根据所述预设先验知识节点集合对所述所有的依赖作业节点进行筛选，将筛选后的依赖作业节点作为下一次查找步骤的基础作业节点，直至无法查询到基础作业节点对应的依赖作业节点时停止执行查找步骤，其中第一次查找步骤中的基础作业节点为所述第一目标作业节点，由此得到至所述第一目标作业节点的所有路径。
在本发明实施例中，批量作业中的有些作业的进行依赖其他作业的完成，例如作业A的进行依赖作业B的完成，此时称作业B为作业A的依赖作业。在如图6所示的实施例中，各作业节点的依赖关系信息可以用箭头连接表示，图6中的作业节点Job H的箭头指向作业节点Job R，表示作业节点Job H为作业节点Job R的依赖作业节点。
步骤S302，根据各作业节点各自对应的权值从所述所有路径中确定出最大路径。
在本发明可选实施例中，可以用dismax(R)表示以至作业R结尾的最大路径，在如图6所示的实施例中，对于作业节点R来说：
dismax(R)＝max(dismax(H)+8,dismax(I)+8)
这样至作业节点R的最大路径将转化为至作业节点H和至作业节点I的最大路径。
由于，
dismax(H)＝max(dismax(D)+5,dismax(G)+5)
dismax(I)＝max(dismax(D)+2,dismax(E)+2)
继续分解，当到达最小的问题时，即只有两个作业节点时，最大路径就为起点到该点的距离。
在本发明可选实施例中，优化的动态规划最大路径算法执行步骤如下：
Step1、确定需要计算最大路径的作业节点A；
Step2、遍历作业节点A下一层所有作业节点(即作业节点A的依赖作业节点)，将作业节点A的最大路径转化为下一层所有作业对应的最大路径；
Step3、当遍历节点时下一层不止一个作业节点则判断是否在先验知识节点集合中，将不在先验知识节点集合中的节点继续往下分解；
Step4、当遍历节点时下一层只有一个作业节点时，说明已到数据源作业节点，此时该路径为最大路径；
Step5、输出最大路径上各节点权值即作业运行时间，作业顺序等信息；
与传统动态规划求解最大路径算法相比，加入先验知识后的优化算法在性能上有很多提升。对于有31124个作业的批量作业系统，有143个作业根据先验知识不在最大路径中，通过搜索对比验证加入先验知识的情景效率提升有33.7％左右，具体的查找时长对比及效率提升可见下表和公式。由此可见，本发明结合先验知识进行最大路径查找的方法有效的提高了最大路径查找的效率。
| 批量系统作业数 | 先验知识去除作业清单 | 运行时长 |
| 31124 | 143 | 1m35s |
| 31124 | 0 | 2m7s |
提升效率：
图4是本发明实施例生成先验知识节点集合的流程图，如图4所示，在本发明可选实施例中，本发明生成先验知识节点集合的流程包括步骤S401和步骤S402。
步骤S401，获取历史批量作业对应的最大路径作业节点集合、所述当前批量作业对应的所有作业节点集合以及所述当前批量作业相对于所述历史批量作业的新增作业节点集合和删除作业节点集合。
在本发明可选实施例中，历史批量作业可以为当前批量作业的上一次批量作业。所述最大路径作业节点集合可以为，针对历史批量作业查找的所有最大路径中包含的所有作业节点，该所有最大路径可以为针对不同的作业查找的最大路径。
步骤S402，根据所述最大路径作业节点集合、所述所有作业节点集合、所述新增作业节点集合以及所述删除作业节点集合确定所述当前批量作业对应的先验知识节点集合。
在本发明一具体实施例中，当前批量作业对应的先验知识节点集合可以用以下公式进行表示：
其中，
为当前批量作业对应的先验知识节点集合，
为当前批量作业对应的所有作业节点集合，
为当前批量作业相对于历史批量作业的新增作业节点集合，
为当前批量作业相对于历史批量作业的删除作业节点集合，
为历史批量作业对应的最大路径作业节点集合。
图5是本发明实施例批量作业的作业最大路径确定方法的第二流程图，如图5所示，在本发明另一可选实施例中，本发明的批量作业的作业最大路径确定方法具体包括以下步骤：
从批量作业平台获取批量作业的作业清单表、作业完成记录表以及作业依赖表；
计算作业过去15天运行时间，并设置当前批量日期运行时间为前一天值；
针对每个作业通过最小均方误差规则预测出当日批量运行预估时间；
有向无环图模型构建G(V,E):V为作业节点，E节点连接线(及权值)；
动态规划求取最大路径，并输出最大路径包含作业节点、运行时间以及顺序；
最终，求取出的最大路径可以用于重点批量完成倒计时、监管报送完成情况以及业务系统展现情况等场景。
由以上实施例可以看出，本发明将批量作业抽象化为计算机图结构模型，以作业为节点，通过最小均方误差训练预测作业批量日期运行时长作为节点间权值，构建有向无环图模型。通过优化的图搜索算法提高了搜索效率，使整个系统在大数据平台批量运维方面展现出高效的性能，提高了运维的成熟度。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本发明实施例还提供了一种批量作业的作业最大路径确定装置，可以用于实现上述实施例所描述的批量作业的作业最大路径确定方法，如下面的实施例所述。由于批量作业的作业最大路径确定装置解决问题的原理与批量作业的作业最大路径确定方法相似，因此批量作业的作业最大路径确定装置的实施例可以参见批量作业的作业最大路径确定方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是本发明实施例批量作业的作业最大路径确定装置的第一结构框图，如图7所示，在本发明可选实施例中，本发明的批量作业的作业最大路径确定装置包括：
有向无环图模型获取单元1，用于获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定；
最大路径查找单元2，用于根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径，所述先验知识节点集合包括：非最大路径作业节点。
在本发明一可选实施例中，所述最大路径查找单元2，还用于根据预设的先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的最大路径。
图8是本发明实施例批量作业的作业最大路径确定装置的第二结构框图，如图8所示，在本发明可选实施例中，本发明的批量作业的作业最大路径确定装置还包括：
完成时间预测单元3，用于根据所述当前批量作业中各作业各自对应的作业历史完成时间确定各作业各自对应的完成时间预测值；
有向无环图模型生成单元4，用于根据所述当前批量作业对应的作业依赖关系表以及所述完成时间预测值构建所述有向无环图模型，其中，所述有向无环图模型中各作业节点各自对应的权值由所述完成时间预测值来确定。
图9是本发明实施例最大路径查找单元的结构框图，如图9所示，在本发明可选实施例中，本发明的最大路径查找单元2，具体包括：
依赖作业节点查找模块201，用于重复执行查找步骤，在每一次查找步骤中查询基础作业节点对应的所有的依赖作业节点，并根据所述预设先验知识节点集合对所述所有的依赖作业节点进行筛选，将筛选后的依赖作业节点作为下一次查找步骤的基础作业节点，直至无法查询到基础作业节点对应的依赖作业节点时停止执行查找步骤，其中第一次查找步骤中的基础作业节点为所述第一目标作业节点，由此得到至所述第一目标作业节点的所有路径；
最大路径确定模块202，用于根据各作业节点各自对应的权值从所述所有路径中确定出最大路径。
图10是本发明实施例批量作业的作业最大路径确定装置的第三结构框图，如图10所示，在本发明可选实施例中，本发明的批量作业的作业最大路径确定装置还包括：
作业节点数据获取单元5，用于获取历史批量作业对应的最大路径作业节点集合、所述当前批量作业对应的所有作业节点集合以及所述当前批量作业相对于所述历史批量作业的新增作业节点集合和删除作业节点集合；
先验知识节点集合生成单元6，用于根据所述最大路径作业节点集合、所述所有作业节点集合、所述新增作业节点集合以及所述删除作业节点集合确定所述当前批量作业对应的先验知识节点集合。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图11所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述批量作业的作业最大路径确定方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种批量作业的作业最大路径确定方法，其特征在于，包括：
获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定；
根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径，所述先验知识节点集合包括：非最大路径作业节点。
2.根据权利要求1所述的批量作业的作业最大路径确定方法，其特征在于，还包括：
根据所述当前批量作业中各作业各自对应的作业历史完成时间确定各作业各自对应的完成时间预测值；
根据所述当前批量作业对应的作业依赖关系表以及所述完成时间预测值构建所述有向无环图模型，其中，所述有向无环图模型中各作业节点各自对应的权值由所述完成时间预测值来确定。
3.根据权利要求1所述的批量作业的作业最大路径确定方法，其特征在于，所述根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，具体包括：
重复执行查找步骤，在每一次查找步骤中查询基础作业节点对应的所有的依赖作业节点，并根据所述预设先验知识节点集合对所述所有的依赖作业节点进行筛选，将筛选后的依赖作业节点作为下一次查找步骤的基础作业节点，直至无法查询到基础作业节点对应的依赖作业节点时停止执行查找步骤，其中第一次查找步骤中的基础作业节点为所述第一目标作业节点，由此得到至所述第一目标作业节点的所有路径；
根据各作业节点各自对应的权值从所述所有路径中确定出最大路径。
4.根据权利要求1所述的批量作业的作业最大路径确定方法，其特征在于，还包括：
获取历史批量作业对应的最大路径作业节点集合、所述当前批量作业对应的所有作业节点集合以及所述当前批量作业相对于所述历史批量作业的新增作业节点集合和删除作业节点集合；
根据所述最大路径作业节点集合、所述所有作业节点集合、所述新增作业节点集合以及所述删除作业节点集合确定所述当前批量作业对应的先验知识节点集合。
5.根据权利要求1所述的批量作业的作业最大路径确定方法，其特征在于，还包括：
根据预设的先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的最大路径。
6.一种批量作业的作业最大路径确定装置，其特征在于，包括：
有向无环图模型获取单元，用于获取当前批量作业对应的预设有向无环图模型，其中，所述有向无环图模型包含：多个作业节点、各作业节点的依赖关系信息以及各作业节点各自对应的权值，所述作业节点与所述当前批量作业中的各作业一一对应，各作业节点各自对应的权值由各作业节点各自对应的作业历史完成时间来确定；
最大路径查找单元，用于根据所述当前批量作业对应的预设先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出至第一目标作业节点的最大路径，其中，所述最大路径为至第一目标作业节点的所有路径中包含的作业节点的权值之和最大的路径，所述先验知识节点集合包括：非最大路径作业节点。
7.根据权利要求6所述的批量作业的作业最大路径确定装置，其特征在于，还包括：
完成时间预测单元，用于根据所述当前批量作业中各作业各自对应的作业历史完成时间确定各作业各自对应的完成时间预测值；
有向无环图模型生成单元，用于根据所述当前批量作业对应的作业依赖关系表以及所述完成时间预测值构建所述有向无环图模型，其中，所述有向无环图模型中各作业节点各自对应的权值由所述完成时间预测值来确定。
8.根据权利要求6所述的批量作业的作业最大路径确定装置，其特征在于，所述最大路径查找单元，具体包括：
依赖作业节点查找模块，用于重复执行查找步骤，在每一次查找步骤中查询基础作业节点对应的所有的依赖作业节点，并根据所述预设先验知识节点集合对所述所有的依赖作业节点进行筛选，将筛选后的依赖作业节点作为下一次查找步骤的基础作业节点，直至无法查询到基础作业节点对应的依赖作业节点时停止执行查找步骤，其中第一次查找步骤中的基础作业节点为所述第一目标作业节点，由此得到至所述第一目标作业节点的所有路径；
最大路径确定模块，用于根据各作业节点各自对应的权值从所述所有路径中确定出最大路径。
9.根据权利要求6所述的批量作业的作业最大路径确定装置，其特征在于，还包括：
作业节点数据获取单元，用于获取历史批量作业对应的最大路径作业节点集合、所述当前批量作业对应的所有作业节点集合以及所述当前批量作业相对于所述历史批量作业的新增作业节点集合和删除作业节点集合；
先验知识节点集合生成单元，用于根据所述最大路径作业节点集合、所述所有作业节点集合、所述新增作业节点集合以及所述删除作业节点集合确定所述当前批量作业对应的先验知识节点集合。
10.根据权利要求6所述的批量作业的作业最大路径确定装置，其特征在于，所述最大路径查找单元，还用于根据预设的先验知识节点集合采用预设的查找算法从所述有向无环图模型中查找出第二目标作业节点至第三目标作业节点的最大路径。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010814554.0A CN111931009B (zh) | 2020-08-13 | 2020-08-13 | 批量作业的作业最大路径确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010814554.0A CN111931009B (zh) | 2020-08-13 | 2020-08-13 | 批量作业的作业最大路径确定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111931009A true CN111931009A (zh) | 2020-11-13 |
| CN111931009B CN111931009B (zh) | 2023-09-26 |
Family
ID=73311303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010814554.0A Active CN111931009B (zh) | 2020-08-13 | 2020-08-13 | 批量作业的作业最大路径确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931009B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112363819A (zh) * | 2020-12-02 | 2021-02-12 | 深圳市房多多网络科技有限公司 | 大数据任务动态编排调度方法、装置及计算设备 |
| CN114584567A (zh) * | 2022-03-04 | 2022-06-03 | 中国银行股份有限公司 | 基于区块链的批量作业处理方法及装置 |
| CN114926045A (zh) * | 2022-05-27 | 2022-08-19 | 中国银行股份有限公司 | 一种作业管理方法及装置 |
| US12056524B2 (en) | 2021-07-28 | 2024-08-06 | International Business Machines Corporation | Predictive analysis on running batch jobs |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021296A (zh) * | 2016-05-04 | 2016-10-12 | 中国银行股份有限公司 | 核心银行系统批量作业路径的检测方法及装置 |
| CN107239335A (zh) * | 2017-06-09 | 2017-10-10 | 中国工商银行股份有限公司 | 分布式系统的作业调度系统及方法 |
-
2020
- 2020-08-13 CN CN202010814554.0A patent/CN111931009B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021296A (zh) * | 2016-05-04 | 2016-10-12 | 中国银行股份有限公司 | 核心银行系统批量作业路径的检测方法及装置 |
| CN107239335A (zh) * | 2017-06-09 | 2017-10-10 | 中国工商银行股份有限公司 | 分布式系统的作业调度系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112363819A (zh) * | 2020-12-02 | 2021-02-12 | 深圳市房多多网络科技有限公司 | 大数据任务动态编排调度方法、装置及计算设备 |
| US12056524B2 (en) | 2021-07-28 | 2024-08-06 | International Business Machines Corporation | Predictive analysis on running batch jobs |
| CN114584567A (zh) * | 2022-03-04 | 2022-06-03 | 中国银行股份有限公司 | 基于区块链的批量作业处理方法及装置 |
| CN114584567B (zh) * | 2022-03-04 | 2024-04-26 | 中国银行股份有限公司 | 基于区块链的批量作业处理方法及装置 |
| CN114926045A (zh) * | 2022-05-27 | 2022-08-19 | 中国银行股份有限公司 | 一种作业管理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931009B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931009A (zh) | 批量作业的作业最大路径确定方法及装置 | |
| WO2017045472A1 (zh) | 资源预测方法、系统和容量管理装 | |
| CN111950225B (zh) | 一种芯片布局方法、装置、存储介质和电子设备 | |
| CN106528280A (zh) | 一种任务分配方法和系统 | |
| EP3798930A2 (en) | Machine learning training resource management | |
| CN112000457B (zh) | 管理处理系统中的任务的方法、设备和计算机程序产品 | |
| US20150256442A1 (en) | Computer-implemented k-shortest path finding method | |
| US8892557B2 (en) | Optimal persistence of a business process | |
| CN103699443B (zh) | 任务分发方法及扫描器 | |
| US10931749B2 (en) | Efficient configuration combination selection in migration | |
| CN109189572B (zh) | 一种资源预估方法及系统、电子设备和存储介质 | |
| CN104035747A (zh) | 用于并行计算的方法和装置 | |
| CN115686734A (zh) | 虚拟机扩缩容方法、装置、计算设备及计算机存储介质 | |
| CN115756812A (zh) | 一种资源调整方法及装置、存储介质 | |
| CN102347869B (zh) | 设备性能监控的方法、装置和系统 | |
| CN112000478B (zh) | 作业运行资源分配方法及装置 | |
| CN116737511A (zh) | 基于图的调度作业监控方法及装置 | |
| CN117827392A (zh) | 一种计算任务的分布式计算系统、方法、电子设备及介质 | |
| CN106933882B (zh) | 一种大数据增量计算方法和装置 | |
| CN111737233A (zh) | 数据监控方法及装置 | |
| CN116992982A (zh) | 模型部署方法、装置、系统、电子设备和存储介质 | |
| CN113641670B (zh) | 数据存储及数据检索方法、装置、电子设备及存储介质 | |
| CN112131051B (zh) | 基于参数化配置的数据备份方法及装置 | |
| CN113448747A (zh) | 数据传输方法、装置、计算机设备和存储介质 | |
| Xia et al. | A scalable optimization framework for storage backup operations using markov decision processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |