CN116302411A - 作业的批量运行方法、装置、存储介质以及电子设备 - Google Patents
作业的批量运行方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN116302411A CN116302411A CN202310179522.1A CN202310179522A CN116302411A CN 116302411 A CN116302411 A CN 116302411A CN 202310179522 A CN202310179522 A CN 202310179522A CN 116302411 A CN116302411 A CN 116302411A
- Authority
- CN
- China
- Prior art keywords
- operated
- job
- jobs
- directed graph
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种作业的批量运行方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括:从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。通过本申请,解决了相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题。
Description
技术领域
本申请涉及大数据领域,具体而言,涉及一种作业的批量运行方法、装置、存储介质以及电子设备。
背景技术
在目前主流的主机系统中,实现主机作业调度的方式主要是采用业内使用频率较高的TWS系统(Tivoli Workload Schedule:企业作业调度)。还有一种基于Activiti工作流框架的平台调度主机作业的方法,也可以达到主机作业调度的目的。
但是,使用TWS系统需要向IBM(International Business Machines Corporation国际商业机器公司)公司购买使用权,增加企业的运营成本,而使用基于Activiti工作流框架的平台调度主机作业的方法,跟TWS一样需要开发梳理复杂的前后项依赖关系,并且需要配置众多的工作流节点,效率低,技术门槛也较高。
针对相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种作业的批量运行方法、装置、存储介质以及电子设备,以解决相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题。
根据本申请的一个方面,提供了一种作业的批量运行方法。该方法包括:从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
可选地,根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行包括:从待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业;根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业,其中,目标作业关联的全部前项作业的运行状态均为已运行;判断目标作业是否完成运行,并在目标作业完成运行的情况下,变更目标作业的运行状态,并重新执行从待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业的步骤,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
可选地,运行目标作业包括:解析目标作业,得到多个初始作业步骤,以及多个初始作业步骤之间的运行关系;获取多个初始作业步骤中的最后一个作业步骤,得到终止作业步骤,并在终止作业步骤之后添加结束作业步骤,得到更新后的目标作业;运行更新后的目标作业中的各个步骤,直至运行至结束作业步骤,并通过结束作业步骤向数据库发送指令信息,其中,指令信息用于变更数据库中目标作业的运行状态。
可选地,在根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业之后,该方法还包括:接收数据库发送的更新信息,其中,更新信息中包括更新后的初始有向图;根据更新后的初始有向图重新执行根据初始有向图中的前后项执行关系控制待运行作业集合的运行的步骤,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
可选地,数据库用于获取数据处理模块发送的指令信息,并根据指令信息变更初始有向图,得到更新后的初始有向图,并将更新后的初始有向图发送至数据处理模块。
可选地,在根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业之后,该方法还包括:接收数据库发送的更新信息,并确定接收更新信息时的当前时刻,其中,更新信息中包括更新后的初始有向图;获取上一次接收数据库发送的更新信息的时刻信息,得到第一时刻;计算当前时刻和第一时刻之间的时间差,得到目标时间差;判断目标时间差是否大于预设时间差;在目标时间差大于预设时间差的情况下,发出告警信息,其中,告警信息表征存在运行超时的待运行作业。
可选地,根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业包括:确定目标作业的数量;在目标作业的数量大于一的情况下,控制多个目标作业并行执行,并在多个目标作业全部执行完成的情况下,控制每个目标作业中的结束作业步骤同步向数据库发送指令信息,其中,指令信息用于变更数据库中目标作业的运行状态。
根据本申请的另一方面,提供了一种作业的批量运行装置。该装置包括:第一获取单元,用于从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;运行单元,用于根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种作业的批量运行方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种作业的批量运行方法。
通过本申请,采用以下步骤:从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。解决了相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题。通过获取待运行作业集合对应的有向图信息,从而获取到待运行作业集合中的多个待运行作业之间的关联关系以及运行的先后关系,并通过先后关系确定每个待运行作业是否可以开始运行,从而保证了多个待运行作业可以通过有向图清晰简洁的获取到前项作业是否已完成,并在全部前项作业均已完成的情况下,运行当前的待执行作业,进而保证了多个待执行作业可以按序执行,从有向图中获取每个待执行作业的前项作业的状态,并根据前项作业状态执行当前作业,进而达到了优化批量作业运行流程、提高作业批量运行效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的作业的批量运行方法的流程图;
图2是根据本申请实施例提供的一种可选的有向图;
图3是根据本申请实施例提供的可选地目标作业更新流程的示意图;
图4是根据本申请实施例的作业的批量运行系统的示意图;
图5是根据本申请实施例提供的作业的批量运行装置的示意图;
图6为根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
需要说明的是,本公开所确定的作业的批量运行方法、装置、存储介质以及电子设备可用于大数据领域,也可用于除大数据领域之外的任意领域,本公开所确定的作业的批量运行方法、装置、存储介质以及电子设备的应用领域不做限定。
根据本申请的实施例,提供了一种作业的批量运行方法。
图1是根据本申请实施例提供的作业的批量运行方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态。
具体的,数据库中存储有多个有向图,每个有向图可以对应一组批量运行作业,在需要进行作业的批量运行的时候,可以从数据库中获取对应的有向图,并获取该有向图指示的待运行作业集合,将有向图和待运行作业集合共同由数据库发送至作业处理模块中,从而同时获取到需要进行批量运行的待运行作业集合和关联的有向图。
需要说明的是,获取有向图和获取待运行作业集合的顺序可以互换,也即,可以先根据需要进行批量运行的作业的信息从数据库中获取待运行作业集合,并根据关联关系获取待运行作业集合对应的有向图。
进一步说明的是,有向图中包括多个节点,每个节点对应着待运行作业集合中的一个待运行作业,节点之间根据多个待运行作业之间的运行顺序和调用关系等关联关系通过有向边相连接,从而可以根据有向图确定多个待运行作业之间运行顺序。图2是根据本申请实施例提供的一种可选的有向图,如图2所示,图中的节点1-节点6分别对应待运行作业集合中的6个待运行作业,其中,节点2的前项作业为节点1,节点3的前项作业为节点2,节点4的前项作业为节点3,节点5的前项作业为节点2和节点4,节点6的前项作业为节点5和节点4,在想要运行节点3指示的待运行作业的时候,需要保证节点2指示的待运行作业完成运行,才可以运行节点3指示的待运行作业,从而保证批量作业的作业顺序的准确性。
步骤S102,根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
具体的,在确定了初始有向图后,即可根据初始有向图中的前后项执行关系控制待运行作业集合的运行,也即,如图2所示,在对待运行作业集合中的待运行作业进行运行的时候,首先需要运行节点1,在节点1完成运行的情况下,才可以运行节点2,依次类推,在全部待运行作业均完成运行的情况下,表征此次批量作业完成运行。
本申请实施例提供的作业的批量运行方法,通过从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。解决了相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题。通过获取待运行作业集合对应的有向图信息,从而获取到待运行作业集合中的多个待运行作业之间的关联关系以及运行的先后关系,并通过先后关系确定每个待运行作业是否可以开始运行,从而保证了多个待运行作业可以通过有向图清晰简洁的获取到前项作业是否已完成,并在全部前项作业均已完成的情况下,运行当前的待执行作业,进而保证了多个待执行作业可以按序执行,从有向图中获取每个待执行作业的前项作业的状态,并根据前项作业状态执行当前作业,进而达到了优化批量作业运行流程、提高作业批量运行效率的效果。
可选地,在本申请实施例提供的作业的批量运行方法中,根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行包括:从待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业;根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业,其中,目标作业关联的全部前项作业的运行状态均为已运行;判断目标作业是否完成运行,并在目标作业完成运行的情况下,变更目标作业的运行状态,并重新执行从待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业的步骤,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
具体的,初始有向图中号包括每个节点对应的待运行作业的运行状态,其中,运行状态可以为未运行和已运行,在得到多个待运行作业以及初始有向图后,首先确定初始有向图中的每个待运行作业的运行状态,并从中获取运行状态为未运行的待运行作业,得到多个待执行作业,在得到多个待执行作业后,需要通过有向图确定每个待执行作业的全部前项作业的运行状态,并将全部前项作业的运行状态均为已运行的待执行作业确定为目标作业,并运行目标作业。
进一步的,在完成目标作业的运行后,需要在有向图中将目标作业的运行状态进行变更,从而得到更新后的初始有向图,并根据更新后的初始有向图重新执行上述流程,此时,由于初始有向图中的待运行作业的运行状态发生变更,因此目标作业也会随之发生变更,进而可以通过上述流程将全部待运行作业按照更新的初始有向图进行运行,并不停循环上述流程,直至待运行作业集合中的全部待运行作业的运行状态均为已运行,此时表征待运行作业集合中的全部作业已完成运行。
可选地,在本申请实施例提供的作业的批量运行方法中,运行目标作业包括:解析目标作业,得到多个初始作业步骤,以及多个初始作业步骤之间的运行关系;获取多个初始作业步骤中的最后一个作业步骤,得到终止作业步骤,并在终止作业步骤之后添加结束作业步骤,得到更新后的目标作业;运行更新后的目标作业中的各个步骤,直至运行至结束作业步骤,并通过结束作业步骤向数据库发送指令信息,其中,指令信息用于变更数据库中目标作业的运行状态。
具体的,在运行某个目标作业的时候,首先需要解析目标作业,得到目标作业的多个初始作业步骤,以及多个初始作业步骤之间的运行关系,从而可以根据初始作业步骤之间的运行关系依次执行运行步骤,在确定运行关系后,可以确定最后一个作业步骤,得到终止作业步骤,并在终止作业步骤之后添加结束作业步骤,其中,结束作业步骤用于检测终止作业步骤是否完成执行,检测的方法为:由于结束作业步骤位于终止作业步骤之后,因此,只要结束作业步骤开始运行,则表征终止作业步骤一定执行完成。
例如,图3是根据本申请实施例提供的可选地目标作业更新流程的示意图,如图3所示,目标作业可以由3个步骤组成,在对目标作业进行解析后,可以在最后一个步骤,也即终止作业步骤之后,添加结束作业步骤,从而通过结束作业步骤的运行表征终止作业步骤的成功执行,进而可以自动对目标作业的运行状况进行监控,无需实时对目标作业的运行状态进行扫描,从而提高了运行效率,节省了运行成本。
进一步的,在运行结束作业步骤的时候,可以通过结束作业步骤向数据库发送指令信息,并通过指令信息变更初始有向图中的目标作业的作业状态,从而将该目标作业的运行状态由未运行变更为已运行,进而达到变更初始有向图中的作业运行状态的效果。
可选地,在本申请实施例提供的作业的批量运行方法中,在根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业之后,该方法还包括:接收数据库发送的更新信息,其中,更新信息中包括更新后的初始有向图;根据更新后的初始有向图重新执行根据初始有向图中的前后项执行关系控制待运行作业集合的运行的步骤,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
需要说明的是,由于初始有向图位于数据库中,因此,在通过结束作业步骤向数据库发送指令信息的操作变更初始有向图后,数据库会在完成初始有向图的变更后,将更新后的初始有向图发送至作业处理模块中,其中,在本申请实施例提供的作业的批量运行方法中,数据库用于获取数据处理模块发送的指令信息,并根据指令信息变更初始有向图,得到更新后的初始有向图,并将更新后的初始有向图发送至数据处理模块。
具体的,通过接收数据库发送的更新后的初始有向图,使得作业处理模块可以根据更新后的有向图重新执行根据初始有向图中的前后项执行关系控制待运行作业集合的运行的步骤,也即,重新确定目标作业,并执行新确定的目标作业的步骤,直至从数据库中接收到的最新版本的有向图中的每个节点指示的作业的运行状态均为已运行。
可选地,在本申请实施例提供的作业的批量运行方法中,在根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业之后,该方法还包括:接收数据库发送的更新信息,并确定接收更新信息时的当前时刻,其中,更新信息中包括更新后的初始有向图;获取上一次接收数据库发送的更新信息的时刻信息,得到第一时刻;计算当前时刻和第一时刻之间的时间差,得到目标时间差;判断目标时间差是否大于预设时间差;在目标时间差大于预设时间差的情况下,发出告警信息,其中,告警信息表征存在运行超时的待运行作业。
具体的,如图3所示,由于在终止作业步骤完成后,才会向数据库发送指令信息,因此,在当前接收到数据库发送的更新信息时,表征目标作业刚刚完成执行,因此,可以根据接收数据库发送的更新信息的当前时刻,和上一次接收到更新信息的时刻,也即第一时刻之间的差值,确定目标作业的运行时间,并在该时间差超过预设时间差的情况下,确定目标作业运行时间较长,也即存在超时完成的情况,从而可以及时的发现批量运行过程中发生的问题。
需要说明的是,还可以采用计时的方式判断目标作业的运行是否超时,也即,在接收到更新信息时,重置计时时刻,并开始计时,在计时时间超过预设时间长度的情况下,表征目标作业在预设时间内仍未完成,因此需要发出告警信息提示工作人员及时进行查看。
可选地,在本申请实施例提供的作业的批量运行方法中,根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业包括:确定目标作业的数量;在目标作业的数量大于一的情况下,控制多个目标作业并行执行,并在多个目标作业全部执行完成的情况下,控制每个目标作业中的结束作业步骤同步向数据库发送指令信息,其中,指令信息用于变更数据库中目标作业的运行状态。
具体的,在同时存在多个目标作业的情况下,可以采用并行运行的方式同时运行多个目标作业,此时,需要在多个目标作业均完成的情况下,也即多个目标作业均执行结束作业步骤的情况下,才可以通过多个结束作业步骤同时向数据库发送多个指令信息,从而保证初始有向图中的作业状态信息可以正确的进行变更,进而保证后续作业的正常运行。
图4是根据本申请实施例的作业的批量运行系统的示意图。如图4所示,该系统包括:
输入模块401,用于用户输入初始有向图以及初始有向图指示的待运行作业集合。
作业处理模块402,与输入模块401连接,用于接收输入模块401输入的初始有向图以及初始有向图指示的待运行作业集合,并将初始有向图以及初始有向图指示的待运行作业集合存储至数据库403中,并从数据库403中根据初始有向图获取目标作业,并在目标作业的最后一个步骤之后添加结束作业步骤,并运行更新后的目标作业,并通过结束作业步骤将指令信息发送至有向图,从而更新数据库403中的有向图。进而完成循环确认和运行目标作业的流程,直至全部待运行作业的状态变更为已运行。
数据库403,与作业处理模块402连接,用于存储待运行数据和有向图,并获取数据处理模块发送的指令信息,并根据指令信息变更初始有向图,得到更新后的初始有向图,并将更新后的初始有向图发送至数据处理模块。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种作业的批量运行装置,需要说明的是,本申请实施例的作业的批量运行装置可以用于执行本申请实施例所提供的用于作业的批量运行方法。以下对本申请实施例提供的作业的批量运行装置进行介绍。
图5是根据本申请实施例提供的作业的批量运行装置的示意图。如图5所示,该装置包括:第一获取单元51,运行单元52。
第一获取单元51,用于从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态。
运行单元52,用于根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
本申请实施例提供的作业的批量运行装置,通过第一获取单元51从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;运行单元52根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。解决了相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题。通过获取待运行作业集合对应的有向图信息,从而获取到待运行作业集合中的多个待运行作业之间的关联关系以及运行的先后关系,并通过先后关系确定每个待运行作业是否可以开始运行,从而保证了多个待运行作业可以通过有向图清晰简洁的获取到前项作业是否已完成,并在全部前项作业均已完成的情况下,运行当前的待执行作业,进而保证了多个待执行作业可以按序执行,从有向图中获取每个待执行作业的前项作业的状态,并根据前项作业状态执行当前作业,进而达到了优化批量作业运行流程、提高作业批量运行效率的效果。
可选地,在本申请实施例提供的作业的批量运行装置中,运行单元52包括:获取模块,用于从待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业;确定模块,用于根据多个待运行作业之间的前后项执行关系从多个待执行作业中确定目标作业,并运行目标作业,其中,目标作业关联的全部前项作业的运行状态均为已运行;判断模块,用于判断目标作业是否完成运行,并在目标作业完成运行的情况下,变更目标作业的运行状态,并重新执行从待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业的步骤,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
可选地,在本申请实施例提供的作业的批量运行装置中,确定模块包括:解析子模块,用于解析目标作业,得到多个初始作业步骤,以及多个初始作业步骤之间的运行关系;获取子模块,用于获取多个初始作业步骤中的最后一个作业步骤,得到终止作业步骤,并在终止作业步骤之后添加结束作业步骤,得到更新后的目标作业;运行子模块,用于运行更新后的目标作业中的各个步骤,直至运行至结束作业步骤,并通过结束作业步骤向数据库发送指令信息,其中,指令信息用于变更数据库中目标作业的运行状态。
可选地,在本申请实施例提供的作业的批量运行装置中,该装置还包括:第一接收单元,用于接收数据库发送的更新信息,其中,更新信息中包括更新后的初始有向图;执行单元,用于根据更新后的初始有向图重新执行根据初始有向图中的前后项执行关系控制待运行作业集合的运行的步骤,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
可选地,在本申请实施例提供的作业的批量运行装置中,数据库用于获取数据处理模块发送的指令信息,并根据指令信息变更初始有向图,得到更新后的初始有向图,并将更新后的初始有向图发送至数据处理模块。
可选地,在本申请实施例提供的作业的批量运行装置中,该装置还包括:第二接收单元,用于接收数据库发送的更新信息,并确定接收更新信息时的当前时刻,其中,更新信息中包括更新后的初始有向图;第二获取单元,用于获取上一次接收数据库发送的更新信息的时刻信息,得到第一时刻;计算单元,用于计算当前时刻和第一时刻之间的时间差,得到目标时间差;判断单元,用于判断目标时间差是否大于预设时间差;告警单元,用于在目标时间差大于预设时间差的情况下,发出告警信息,其中,告警信息表征存在运行超时的待运行作业。
可选地,在本申请实施例提供的作业的批量运行装置中,确定模块包括:确定子模块,用于确定目标作业的数量;控制子模块,用于在目标作业的数量大于一的情况下,控制多个目标作业并行执行,并在多个目标作业全部执行完成的情况下,控制每个目标作业中的结束作业步骤同步向数据库发送指令信息,其中,指令信息用于变更数据库中目标作业的运行状态。
上述作业的批量运行装置包括处理器和存储器,上述第一获取单元51,运行单元52单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中使用常规调度系统进行作业批量运行的运行流程复杂并且运行效率低的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述作业的批量运行方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述作业的批量运行方法。
如图6所示,本发明实施例提供了一种电子设备,电子设备60包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:从数据库中获取初始有向图,并从数据库中获取初始有向图指示的待运行作业集合,其中,待运行作业集合中包括多个待运行作业,初始有向图中包括多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;根据初始有向图中的前后项执行关系控制待运行作业集合的运行,直至待运行作业集合中的全部待运行作业的运行状态均为已运行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种作业的批量运行方法,其特征在于,包括:
从数据库中获取初始有向图,并从所述数据库中获取所述初始有向图指示的待运行作业集合,其中,所述待运行作业集合中包括多个待运行作业,所述初始有向图中包括所述多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;
根据所述初始有向图中的前后项执行关系控制所述待运行作业集合的运行,直至所述待运行作业集合中的全部待运行作业的运行状态均为已运行。
2.根据权利要求1所述的方法,其特征在于,根据所述初始有向图中的前后项执行关系控制所述待运行作业集合的运行,直至所述待运行作业集合中的全部待运行作业的运行状态均为已运行包括:
从所述待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业;
根据所述多个待运行作业之间的前后项执行关系从所述多个待执行作业中确定目标作业,并运行所述目标作业,其中,所述目标作业关联的全部前项作业的运行状态均为已运行;
判断所述目标作业是否完成运行,并在所述目标作业完成运行的情况下,变更所述目标作业的运行状态,并重新执行所述从所述待运行作业集合中获取运行状态为未运行的待运行作业,得到多个待执行作业的步骤,直至所述待运行作业集合中的全部待运行作业的运行状态均为已运行。
3.根据权利要求2所述的方法,其特征在于,运行所述目标作业包括:
解析所述目标作业,得到多个初始作业步骤,以及所述多个初始作业步骤之间的运行关系;
获取所述多个初始作业步骤中的最后一个作业步骤,得到终止作业步骤,并在所述终止作业步骤之后添加结束作业步骤,得到更新后的目标作业;
运行所述更新后的目标作业中的各个步骤,直至运行至所述结束作业步骤,并通过所述结束作业步骤向所述数据库发送指令信息,其中,所述指令信息用于变更所述数据库中所述目标作业的运行状态。
4.根据权利要求2所述的方法,其特征在于,在根据所述多个待运行作业之间的前后项执行关系从所述多个待执行作业中确定目标作业,并运行所述目标作业之后,所述方法还包括:
接收所述数据库发送的更新信息,其中,所述更新信息中包括更新后的初始有向图;
根据所述更新后的初始有向图重新执行所述根据所述初始有向图中的前后项执行关系控制所述待运行作业集合的运行的步骤,直至所述待运行作业集合中的全部待运行作业的运行状态均为已运行。
5.根据权利要求4所述的方法,其特征在于,所述数据库用于获取数据处理模块发送的指令信息,并根据所述指令信息变更所述初始有向图,得到更新后的初始有向图,并将所述更新后的初始有向图发送至所述数据处理模块,其中,所述指令信息用于变更所述数据库中所述目标作业的运行状态。
6.根据权利要求2所述的方法,其特征在于,在根据所述多个待运行作业之间的前后项执行关系从所述多个待执行作业中确定目标作业,并运行所述目标作业之后,所述方法还包括:
接收所述数据库发送的更新信息,并确定接收所述更新信息时的当前时刻,其中,所述更新信息中包括更新后的初始有向图;
获取上一次接收所述数据库发送的更新信息的时刻信息,得到第一时刻;
计算所述当前时刻和所述第一时刻之间的时间差,得到目标时间差;
判断所述目标时间差是否大于预设时间差;
在所述目标时间差大于所述预设时间差的情况下,发出告警信息,其中,所述告警信息表征存在运行超时的待运行作业。
7.根据权利要求2所述的方法,其特征在于,根据所述多个待运行作业之间的前后项执行关系从所述多个待执行作业中确定目标作业,并运行所述目标作业包括:
确定所述目标作业的数量;
在所述目标作业的数量大于一的情况下,控制多个目标作业并行执行,并在所述多个目标作业全部执行完成的情况下,控制每个目标作业中的结束作业步骤同步向所述数据库发送指令信息,其中,所述指令信息用于变更所述数据库中所述目标作业的运行状态。
8.一种作业的批量运行装置,其特征在于,包括:
第一获取单元,用于从数据库中获取初始有向图,并从所述数据库中获取所述初始有向图指示的待运行作业集合,其中,所述待运行作业集合中包括多个待运行作业,所述初始有向图中包括所述多个待运行作业之间的前后项执行关系,以及每个待运行作业的运行状态;
运行单元,用于根据所述初始有向图中的前后项执行关系控制所述待运行作业集合的运行,直至所述待运行作业集合中的全部待运行作业的运行状态均为已运行。
9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的作业的批量运行方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的作业的批量运行方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310179522.1A CN116302411A (zh) | 2023-02-16 | 2023-02-16 | 作业的批量运行方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310179522.1A CN116302411A (zh) | 2023-02-16 | 2023-02-16 | 作业的批量运行方法、装置、存储介质以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116302411A true CN116302411A (zh) | 2023-06-23 |
Family
ID=86817918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310179522.1A Pending CN116302411A (zh) | 2023-02-16 | 2023-02-16 | 作业的批量运行方法、装置、存储介质以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116302411A (zh) |
-
2023
- 2023-02-16 CN CN202310179522.1A patent/CN116302411A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107729139B (zh) | 一种并发获取资源的方法和装置 | |
US10866862B2 (en) | Method and apparatus for job operation retry | |
US9535754B1 (en) | Dynamic provisioning of computing resources | |
CN111190892B (zh) | 一种数据回填中处理异常数据的方法和装置 | |
CN113157411B (zh) | 一种基于Celery的可靠可配置任务系统及装置 | |
CN112748993A (zh) | 任务执行方法、装置、存储介质及电子设备 | |
CN110609755A (zh) | 跨区块链节点的消息处理方法及装置、设备、介质 | |
CN111666141A (zh) | 任务调度方法、装置、设备及计算机存储介质 | |
CN107179982B (zh) | 一种跨进程调试方法和装置 | |
US20160179570A1 (en) | Parallel Computing Without Requiring Antecedent Code Deployment | |
CN116302708A (zh) | 基于负载均衡的数据备份方法、装置、设备及存储介质 | |
EP3724776A1 (en) | Method, function manager and arrangement for handling function calls | |
CN112579049A (zh) | 基于云平台的定制软件产品化管理方法及装置 | |
US9760364B2 (en) | Checks for software extensions | |
CN109829678B (zh) | 一种回滚处理方法、装置以及电子设备 | |
US11561843B2 (en) | Automated performance tuning using workload profiling in a distributed computing environment | |
CN117076096A (zh) | 任务流程的执行方法、装置、计算机可读介质及电子设备 | |
US11755574B2 (en) | Anticipatory pre-execution of data queries | |
CN111611479A (zh) | 用于网络资源推荐的数据处理方法及相关装置 | |
CN116302411A (zh) | 作业的批量运行方法、装置、存储介质以及电子设备 | |
CN107958414B (zh) | 一种清除cics系统长交易的方法及系统 | |
CN115454599A (zh) | 任务处理方法、系统、装置、存储介质以及电子设备 | |
US20180341521A1 (en) | Managing job schedules | |
CN114791884A (zh) | 测试环境的构建方法、装置、存储介质及电子设备 | |
CN114489999A (zh) | 流水线任务的处理方法和装置、处理器及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |