CN111274090A - 作业处理方法、装置、介质及电子设备 - Google Patents
作业处理方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN111274090A CN111274090A CN202010048236.8A CN202010048236A CN111274090A CN 111274090 A CN111274090 A CN 111274090A CN 202010048236 A CN202010048236 A CN 202010048236A CN 111274090 A CN111274090 A CN 111274090A
- Authority
- CN
- China
- Prior art keywords
- job
- abnormal
- processed
- running
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 126
- 238000012544 monitoring process Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000008676 import Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种作业处理方法、作业处理装置、计算机可读介质及电子设备。该作业处理方法包括:确定对应于一个作业周期的多个待处理作业对象,并将多个待处理作业对象排列形成作业对象序列;按照作业对象序列的对象排列顺序依次运行待处理作业对象;获取在一作业监控周期内的多个待处理作业对象的运行结果,并将运行结果保存至作业结果列表;根据作业结果列表确定在作业监控周期内的运行结果为运行异常的异常作业对象;再次运行异常作业对象以得到异常作业对象的再次运行结果,并根据再次运行结果更新作业结果列表。本发明实施例的技术方案可以提高运维监控的效率,减少人力资源的占用,提升系统运行的可靠性。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种作业处理方法、作业处理装置、计算机可读介质及电子设备。
背景技术
为了保证数据仓库数据加工处理内容的正确性,对于数据仓库数据加工后台的作业处理过程,需要安排人力进行监控工作,发现问题和异常需要及时处理以确保信息系统的正常、稳定运行。但是人工监控在发现问题的及时性和定位及处理问题的准确性上都因运维人员个体的情况存在差异,在作业处理的准确性和时效性方面均存在较大问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种作业处理方法、作业处理装置、计算机可读介质及电子设备,进而至少在一定程度上克服相关技术中存在的准确性低、时效性差等技术问题。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种作业处理方法,该方法包括:
确定对应于一个作业周期的多个待处理作业对象,并将所述多个待处理作业对象排列形成作业对象序列;
按照所述作业对象序列的对象排列顺序依次运行所述待处理作业对象;
获取在一作业监控周期内的多个待处理作业对象的运行结果,并将所述运行结果保存至作业结果列表;
根据所述作业结果列表确定在所述作业监控周期内的运行结果为运行异常的异常作业对象;
再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,并根据所述再次运行结果更新所述作业结果列表。
在本发明的一些实施例中,基于以上技术方案,所述将所述多个待处理作业对象排列形成作业对象序列,包括:
获取各个所述待处理作业对象的对象标识以及与所述对象标识相关联的对象存储路径;
将具有关联关系的所述对象标识以及所述对象存储路径排列形成作业对象序列。
在本发明的一些实施例中,基于以上技术方案,所述按照所述作业对象序列的对象排列顺序依次运行所述待处理作业对象,包括:
将所述作业对象序列导入批处理作业引擎;
通过所述批处理作业引擎依次读取所述作业对象序列中的作业对象标识,并确定与所述作业对象标识相关联的对象存储路径;
根据所述对象存储路径调用并运行对应于所述作业对象标识的待处理作业对象。
在本发明的一些实施例中,基于以上技术方案,所述将所述作业对象序列导入批处理作业引擎,包括:
确定包括多个并行的批处理作业引擎的作业引擎群组,并获取各个所述批处理作业引擎的运行状态;
根据各个所述批处理作业引擎的运行状态将所述作业对象序列拆分为多个作业对象子序列;
将多个所述作业对象子序列分别导入所述作业引擎群组中的多个批处理作业引擎。
在本发明的一些实施例中,基于以上技术方案,所述获取在一作业监控周期内的多个待处理作业对象的运行结果,包括:
获取在一作业监控周期内的多个待处理作业对象的运行日志;
判断所述运行日志中是否存在异常文本关键词;
当所述运行日志中存在所述异常文本关键词时,将所述待处理作业对象的运行结果确定为运行异常;
当所述运行日志中不存在所述异常文本关键词时,将所述待处理作业对象的运行结果确定为运行正常。
在本发明的一些实施例中,基于以上技术方案,所述再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,包括:
将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列;
将所述异常对象序列导入重跑作业引擎,以通过所述重跑作业引擎运行所述异常作业对象以得到所述异常作业对象的再次运行结果。
在本发明的一些实施例中,基于以上技术方案,所述再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,包括:
将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列;
确定用于运行所述作业对象序列的多个批处理作业引擎,并获取各个所述批处理作业引擎的运行状态;
根据所述批处理作业引擎的运行状态确定一个或者多个再运行作业引擎;
将所述异常对象序列导入所述再运行作业引擎,以通过所述再运行作业引擎运行所述异常作业对象以得到所述异常作业对象的再次运行结果。
根据本发明实施例的第二方面,提供一种作业处理装置,该装置包括:
作业对象排列模块,被配置为确定对应于一个作业周期的多个待处理作业对象,并将所述多个待处理作业对象排列形成作业对象序列;
作业对象运行模块,被配置为按照所述作业对象序列的对象排列顺序依次运行所述待处理作业对象;
运行结果获取模块,被配置为获取在一作业监控周期内的多个待处理作业对象的运行结果,并将所述运行结果保存至作业结果列表;
异常对象确定模块,被配置为根据所述作业结果列表确定在所述作业监控周期内的运行结果为运行异常的异常作业对象;
运行结果更新模块,被配置为再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,并根据所述再次运行结果更新所述作业结果列表。
根据本发明实施例的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的作业处理方法。
根据本发明实施例的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的作业处理方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,通过对作业运行结果的定时扫描,可以检测出作业流程中发生问题的节点,再将所有问题节点汇聚为清单,一方面供运维人员查阅,另一方面供触发本策略问题节点自动重新运行功能。从而提高运维监控的效率,减少人力资源的占用,提升系统运行的可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性地示出了本发明一些实施例中作业处理方法的步骤流程图。
图2示意性地示出了本发明一些实施例中形成作业对象序列的步骤流程图。
图3示意性地示出了本发明一些实施例中运行待处理作业对象的步骤流程图。
图4示意性地示出了本发明一些实施例中基于作业引擎群组导入作业对象序列的步骤流程图。
图5示意性地示出了本发明一些实施例中获取运行结果的步骤流程图。
图6示意性地示出了本发明一些实施例中利用重跑作业引擎运行异常作业对象的步骤流程图。
图7示意性地示出了本发明一些实施例中利用再运行作业引擎运行异常作业对象的步骤流程图。
图8示意性地示出了本发明作业处理方法在一应用场景中的过程原理。
图9示意性地示出了本发明一些实施例中的作业处理装置的组成框图。
图10示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本发明旨在实现数据仓库数据加工作业监控流程的自动化,通过将问题节点捕获、重新运行的流程自动化,将降低人力在工作流程监控中的工作量,避免人为监控可能导致的发现问题不及时、监控内容有遗漏、定位问题不准确等问题的发生,从而达到提高运维监控的效率,提升系统运行的可靠性的目的。
图1示意性地示出了本发明一些实施例中作业处理方法的步骤流程图,如图1所示,该方法主要可以包括以下步骤:
步骤S110.确定对应于一个作业周期的多个待处理作业对象,并将多个待处理作业对象排列形成作业对象序列。
根据作业引擎的作业能力以及实际的作业需求,可以预先确定一个作业周期,例如一个作业周期可以是一天。对应于一个作业周期的多个待处理作业对象可以按照预先设定的作业顺序进行排列以形成作业对象序列。例如一个作业对象序列可以包括依次排列的作业1、作业2、作业3……作业N。
步骤S120.按照作业对象序列的对象排列顺序依次运行待处理作业对象。
按照作业对象序列的对象排列顺序,依次将待处理作业对象逐个导入或者批量导入至作业引擎中,可以利用作业引擎运行各个待处理作业对象,每运行完一个待处理作业对象可以形成一个对应的作业日志。
步骤S130.获取在一作业监控周期内的多个待处理作业对象的运行结果,并将运行结果保存至作业结果列表。
通过对待处理作业对象的作业日志进行分析可以确定每个待处理作业对象的运行结果。一个待处理作业对象的运行结果例如可以包括运行正常和运行异常两种类型。本发明实施例可以根据作业周期确定一个与之相关的作业监控周期,按照作业监控周期获取待处理作业对象的运行结果,可以形成按照作业监控周期保存的作业结果列表。
步骤S140.根据作业结果列表确定在作业监控周期内的运行结果为运行异常的异常作业对象。
对作业结果列表进行筛选后,可以判断在一个作业监控周期内是否存在运行异常的异常作业对象。如果存在异常作业对象,则可以将这些异常作业对象重新整理形成异常对象序列。
步骤S150.再次运行异常作业对象以得到异常作业对象的再次运行结果,并根据再次运行结果更新作业结果列表。
针对步骤S140中确定的异常作业对象,本步骤可以将其导入至作业引擎中,对其再次运行后得到异常作业对象的再次运行结果,同时可以根据异常作业对象的再次运行结果更新作业结果列表。更新后的作业结果列表可以在下一作业监控周期到来时再次进行筛选,如此往复以实现作业运行的自动化监控和维护。
在本发明实施例提供的作业处理方法中,通过对作业运行结果的定时扫描,可以检测出作业流程中发生问题的节点,再将所有问题节点汇聚为清单,一方面供运维人员查阅,另一方面供触发本策略问题节点自动重新运行功能。从而提高运维监控的效率,减少人力资源的占用,提升系统运行的可靠性。
图2示意性地示出了本发明一些实施例中形成作业对象序列的步骤流程图。如图2所示,在以上各实施例的基础上,步骤S110中的将多个待处理作业对象排列形成作业对象序列,可以包括以下步骤:
步骤S210.获取各个待处理作业对象的对象标识以及与对象标识相关联的对象存储路径。
对象标识是每个待处理作业对象的唯一性标识,例如可以是待处理对象的作业名称或者按照预设编码规则为其分配的作业编号。对象存储路径可以是作业对象在数据仓库中的存储地址。利用对象标识可以唯一确定一个待处理作业对象,利用对象存储路径可以找到并调用相应的待处理作业对象。
步骤S220.将具有关联关系的对象标识以及对象存储路径排列形成作业对象序列。
对应于同一个待处理作业对象的对象标识和对象存储路径可以建立关联关系,例如可以将二者组成一个关联数组,再将关联数据按照预设顺序排列后即形成作业对象序列。
作业对象序列的对象排列顺序决定了各个待处理作业对象的运行顺序。图3示意性地示出了本发明一些实施例中运行待处理作业对象的步骤流程图。如图3所示,在以上各实施例的基础上,步骤S120.按照作业对象序列的对象排列顺序依次运行待处理作业对象,可以包括以下步骤:
步骤S310.将作业对象序列导入批处理作业引擎。
批处理作业引擎可以按照串行的方式运行待处理作业对象,在运行完一个待处理作业对象后,可以按照顺序自动运行下一个待处理作业对象。
步骤S320.通过批处理作业引擎依次读取作业对象序列中的作业对象标识,并确定与作业对象标识相关联的对象存储路径。
将作业对象序列导入至批处理作业引擎后,批处理作业引擎可以按照序列中的排列顺序依次读取待处理作业对象的作业对象标识,同时可以确定与每个作业对象标识相关联的对象存储路径。
步骤S330.根据对象存储路径调用并运行对应于作业对象标识的待处理作业对象。
基于步骤S320中确定的待处理对象的对象存储路径,批处理作业引擎可以调用并运行与当前读取到的作业对象标识相对应的待处理作业对象。
用于运行待处理作业对象的批处理作业引擎可以是一个单独的串行作业引擎,与可以是由多个并行作业引擎组成的作业引擎群组。图4示意性地示出了本发明一些实施例中基于作业引擎群组导入作业对象序列的步骤流程图。如图4所示,在以上各实施例的基础上,步骤S310.将作业对象序列导入批处理作业引擎,可以包括以下步骤:
步骤S410.确定包括多个并行的批处理作业引擎的作业引擎群组,并获取各个批处理作业引擎的运行状态。
本发明实施例利用多个并行的批处理作业引擎组成作业引擎群组,作业引擎并行的方式可以提高待处理作业对象的处理效率。在确定作业引擎群组的基础上,本步骤可以获取该作业引擎群组中各个批处理作业引擎的运行状态。一个批处理作业引擎的运行状态与其正在处理和即将处理的作业对象的数量相关,例如根据作业对象数量是否超过某一数量阈值可以将批处理作业引擎的运行状态确定为空闲状态或者繁忙状态,同时繁忙状态由可以对应多个不同的繁忙等级,繁忙等级越高表明批处理作业引擎的繁忙程度越高。
步骤S420.根据各个批处理作业引擎的运行状态将作业对象序列拆分为多个作业对象子序列。
在确定各个批处理作业引擎的运行状态后,可以根据相应的运行状态将作业对象序列拆分为多个作业对象子序列。各个作业对象子序列中可以包括相同数量或者不同数量的待处理作业对象,一个作业对象子序列即对应一个批处理作业引擎。如果一个批处理作业引擎的繁忙程度较高,那么为其分配的作业对象子序列将具有较少数量的待处理作业对象。相应地,如果一个批处理作业引擎较为空闲,那么为其分配的作业对象子序列可以具有较多数量的待处理作业对象。
步骤S430.将多个作业对象子序列分别导入作业引擎群组中的多个批处理作业引擎。
本步骤可以按照预先确定的作业对象子序列与批处理作业引擎的对应关系,将各个作业对象子序列分别导入至作业引擎群组中与之相对应的批处理作业引擎。各个并行的批处理作业引擎可以按照各自的作业对象子序列运行相应的待处理作业对象。
图5示意性地示出了本发明一些实施例中获取运行结果的步骤流程图。如图5所示,在以上各实施例的基础上,步骤S130中的获取在一作业监控周期内的多个待处理作业对象的运行结果,可以包括以下步骤:
步骤S510.获取在一作业监控周期内的多个待处理作业对象的运行日志。
每个待处理作业对象在运行完毕后可以生成与之对应的运行日志,运行日志记录了待处理作业对象在运行过程中的状态数据。
步骤S520.判断运行日志中是否存在异常文本关键词。
当一个待处理作业对象在运行过程中出现异常时,会在运行日志中产生具有标识性的异常文本关键词,例如可以是“ERROR”或者“FAILED”等具有运行异常或者运行失败含义的关键词。因此,通过在运行日志中进行文本检索可以判断待处理作业对象的运行结果是否为正常或者异常。
步骤S530.当运行日志中存在异常文本关键词时,将待处理作业对象的运行结果确定为运行异常。
根据文本检索结果,如果在一个待处理作业对象的运行日志中检索确定存在异常文本关键词时,可以确定该待处理作业对象的运行结果为运行异常,该待处理作业对象也可以被确定为异常作业对象。
步骤S540.当运行日志中不存在异常文本关键词时,将待处理作业对象的运行结果确定为运行正常。
如果在一个待处理作业对象的运行日志中没有检索到异常文本关键词,那么可以确定该待处理作业对象的运行结果为运行正常。
运行结果为运行异常的异常作业对象需要再次运行,图6示意性地示出了本发明一些实施例中利用重跑作业引擎运行异常作业对象的步骤流程图。如图6所示,在以上各实施例的基础上,步骤S150中的再次运行异常作业对象以得到异常作业对象的再次运行结果,可以包括以下步骤:
步骤S610.将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列。
步骤S620.将异常对象序列导入重跑作业引擎,以通过重跑作业引擎运行异常作业对象以得到异常作业对象的再次运行结果。
重跑作业引擎可以是与用于处理作业对象序列的批处理作业引擎并行的一个专用的作业引擎。在每个作业监控周期内,重跑作业引擎都将单独运行由异常作业对象排列形成的异常对象序列,从而在不影响作业对象序列正常运行的情况下,获得异常作业对象的再次运行结果。
图7示意性地示出了本发明一些实施例中利用再运行作业引擎运行异常作业对象的步骤流程图。如图7所示,在以上各实施例的基础上,步骤S150中的再次运行异常作业对象以得到异常作业对象的再次运行结果,可以包括以下步骤:
步骤S710.将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列。
步骤S720.确定用于运行作业对象序列的多个批处理作业引擎,并获取各个批处理作业引擎的运行状态。
步骤S730.根据批处理作业引擎的运行状态确定一个或者多个再运行作业引擎。
步骤S740.将异常对象序列导入再运行作业引擎,以通过再运行作业引擎运行异常作业对象以得到异常作业对象的再次运行结果。
在本发明实施例中,通过对运行作业对象序列的多个批处理作业引擎进行运行状态监控,可以筛选得到一个或者多个繁忙程度较低的批处理作业引擎,并将筛选得到的批处理作业引擎确定为再运行作业引擎。然后可以将异常对象序列导入至再运行作业引擎的作业对象运行队列中,具体可以将异常对象序列插入至运行队列的队首或者队尾。
下面结合一具体应用场景对本发明实施例中的作业处理方法的原理和细节做出详细说明。
图8示意性地示出了本发明作业处理方法在一应用场景中的过程原理。如图8所示,该应用场景提供了一种基于数据仓库数据加工后台的批处理监控、运维的策略,该策略采用自动化方式监控自动作业流中各作业的运行:
步骤1.本自动监控策略生效的前提是需要提前设定步长值在后台自动运行,定时扫描整个“自动作业流”状态。
步骤2.定时扫描整个“自动作业流”状态,抓取在日志生成区生成的每个作业的执行日志,本策略会根据配置文件中设定好的关键字信息如:“ERROR”、“FAILED”等过滤条件判断出包含关键字的日志文件(作业失败的日志)。
步骤3.本策略通过步骤2过滤出的作业失败的日志提取出失败作业名称并生成失败作业清单文件。
步骤4.本策略根据步骤3生成的失败作业清单文件,本策略将失败作业清单文件中的失败作业按进入清单的队列放入重跑引擎中顺序依次调用。
步骤5.步骤4触发的失败作业会运行生成日志文件并再次生成到“日志生成区”覆盖之前生成的日志文件。
步骤6.本策略定时扫描在“日志生成区”步骤5生成的日志文件和步骤2自动作业正常生成的日志文件,不断重复步骤2~5的操作。
步骤7.本策略对于步骤3生成的失败作业清单文件提供向监控人员等相关人员以短信、微信或邮件等形式推送当前失败作业列表信息的服务,如果当前作业失败清单中没有失败作业可以发送“当前作业正常”的信息。
以某数据信息平台的每日批处理工作流为例,对本应用场景的策略进行实例说明。
步骤1)数据信息平台每日抽取、转换、加载的批处理工作流(后文简称“批处理工作流”)是每天7点准时启动,按照作业顺序串行依次调用。
步骤2)在步骤1)开始的同时本方案自动监控策略启动,设定为每隔20分钟扫描一次批处理工作流中的作业日志状态。
步骤3)由于批处理工作流中不同作业实现技术的不尽相同,目前可分为关系型数据日志表记录和文件系统的日志文件记录两种,针对两种记录方式,本方案配置的自动化策略会基于这两种记录媒介捕获和筛选出失败的作业日志汇总成失败作业清单文件(error_task.list)。
步骤4)解析失败作业清单文件提取出失败作业名称列表导入本策略中的重跑引擎,引擎会读取失败作业名称列表并顺序依次执行列表中的作业。
步骤5)失败作业名称列表中的作业运行产生的作业日志将再次被汇总成失败作业清单文件(error_task.list),覆盖步骤3)中正常生成的日志。
步骤6)本方案自动扫描会再次重复步骤2)~步骤5),直到失败作业清单文件(error_task.list)中不再有失败作业存在。
步骤7)本方案会按照自动监控策略的扫描频率向监控人员(可在配置文件里配置电子邮箱地址)发送提醒邮件并以附件的方式将当前失败作业清单文件(error_task.list)一并发送,如果当前作业失败清单中没有失败作业将在邮件的正文以“当前监控作业流运行状态正常”的信息进行发送。
表1示出了两种运维方案的运维结果比较。其中,旧方案是基于人工监控和分析处理的运维方案,新方案是基于本发明以上各实施例提供的作业处理方法的运维方案。
表1.新旧方案运维结果比较
如表1所示,使用本发明实施例提供的作业处理方法进行运行维护可以使人力成本减少66%,异常作业处理效率提高了70%,定位异常作业位置时间提高了75%,异常作业处理完整程度提高了100%。
以下介绍本发明的装置实施例,可以用于执行本发明上述的作业处理方法。
图9示意性地示出了本发明一些实施例中的作业处理装置的组成框图。如图9所示,作业处理装置900主要可以包括:
作业对象排列模块910,被配置为确定对应于一个作业周期的多个待处理作业对象,并将多个待处理作业对象排列形成作业对象序列;
作业对象运行模块920,被配置为按照作业对象序列的对象排列顺序依次运行待处理作业对象;
运行结果获取模块930,被配置为获取在一作业监控周期内的多个待处理作业对象的运行结果,并将运行结果保存至作业结果列表;
异常对象确定模块940,被配置为根据作业结果列表确定在作业监控周期内的运行结果为运行异常的异常作业对象;
运行结果更新模块950,被配置为再次运行异常作业对象以得到异常作业对象的再次运行结果,并根据再次运行结果更新作业结果列表。
在本发明的一些实施例中,基于以上各实施方式,作业对象排列模块910可以包括:
对象获取模块,被配置为获取各个待处理作业对象的对象标识以及与对象标识相关联的对象存储路径;
对象排列模块,被配置为将具有关联关系的对象标识以及对象存储路径排列形成作业对象序列。
在本发明的一些实施例中,基于以上各实施方式,作业对象运行模块920可以包括:
作业对象序列导入模块,被配置为将作业对象序列导入批处理作业引擎;
作业对象序列读取模块,被配置为通过批处理作业引擎依次读取作业对象序列中的作业对象标识,并确定与作业对象标识相关联的对象存储路径;
作业对象序列调用模块,被配置为根据对象存储路径调用并运行对应于作业对象标识的待处理作业对象。
在本发明的一些实施例中,基于以上各实施方式,作业对象序列导入模块可以进一步包括:
状态获取模块,被配置为确定包括多个并行的批处理作业引擎的作业引擎群组,并获取各个批处理作业引擎的运行状态;
序列拆分模块,被配置为根据各个批处理作业引擎的运行状态将作业对象序列拆分为多个作业对象子序列;
序列导入模块,被配置为将多个作业对象子序列分别导入作业引擎群组中的多个批处理作业引擎。
在本发明的一些实施例中,基于以上各实施方式,运行结果获取模块930可以包括:
运行日志获取模块,被配置为获取在一作业监控周期内的多个待处理作业对象的运行日志;
关键词判断模块,被配置为判断运行日志中是否存在异常文本关键词;
运行异常确定模块,被配置为当运行日志中存在异常文本关键词时,将待处理作业对象的运行结果确定为运行异常;
运行正常确定模块,被配置为当运行日志中不存在异常文本关键词时,将待处理作业对象的运行结果确定为运行正常。
在本发明的一些实施例中,基于以上各实施方式,运行结果更新模块950可以包括:
异常对象序列排列模块,被配置为将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列;
重跑作业引擎导入模块,被配置为将异常对象序列导入重跑作业引擎,以通过重跑作业引擎运行异常作业对象以得到异常作业对象的再次运行结果。
在本发明的一些实施例中,基于以上各实施方式,运行结果更新模块950可以包括:
异常对象序列排列模块,被配置为将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列;
引擎运行状态获取模块,被配置为确定用于运行作业对象序列的多个批处理作业引擎,并获取各个批处理作业引擎的运行状态;
再运行作业引擎确定模块,被配置为根据批处理作业引擎的运行状态确定一个或者多个再运行作业引擎;
再运行作业引擎导入模块,被配置为将异常对象序列导入再运行作业引擎,以通过再运行作业引擎运行异常作业对象以得到异常作业对象的再次运行结果。
由于本发明的示例实施例的作业处理装置的各个功能模块与上述作业处理方法的示例实施例的步骤对应,因此对于本发明装置实施例中未披露的细节,请参照本发明上述的作业处理方法的实施例。
下面参考图10,其示出了适于用来实现本发明实施例的电子设备的计算机系统1000的结构示意图。图10示出的电子设备的计算机系统1000仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的作业处理方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种作业处理方法,其特征在于,所述方法包括:
确定对应于一个作业周期的多个待处理作业对象,并将所述多个待处理作业对象排列形成作业对象序列;
按照所述作业对象序列的对象排列顺序依次运行所述待处理作业对象;
获取在一作业监控周期内的多个待处理作业对象的运行结果,并将所述运行结果保存至作业结果列表;
根据所述作业结果列表确定在所述作业监控周期内的运行结果为运行异常的异常作业对象;
再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,并根据所述再次运行结果更新所述作业结果列表。
2.根据权利要求1所述的作业处理方法,其特征在于,所述将所述多个待处理作业对象排列形成作业对象序列,包括:
获取各个所述待处理作业对象的对象标识以及与所述对象标识相关联的对象存储路径;
将具有关联关系的所述对象标识以及所述对象存储路径排列形成作业对象序列。
3.根据权利要求2所述的作业处理方法,其特征在于,所述按照所述作业对象序列的对象排列顺序依次运行所述待处理作业对象,包括:
将所述作业对象序列导入批处理作业引擎;
通过所述批处理作业引擎依次读取所述作业对象序列中的作业对象标识,并确定与所述作业对象标识相关联的对象存储路径;
根据所述对象存储路径调用并运行对应于所述作业对象标识的待处理作业对象。
4.根据权利要求3所述的作业处理方法,其特征在于,所述将所述作业对象序列导入批处理作业引擎,包括:
确定包括多个并行的批处理作业引擎的作业引擎群组,并获取各个所述批处理作业引擎的运行状态;
根据各个所述批处理作业引擎的运行状态将所述作业对象序列拆分为多个作业对象子序列;
将多个所述作业对象子序列分别导入所述作业引擎群组中的多个批处理作业引擎。
5.根据权利要求1所述的作业处理方法,其特征在于,所述获取在一作业监控周期内的多个待处理作业对象的运行结果,包括:
获取在一作业监控周期内的多个待处理作业对象的运行日志;
判断所述运行日志中是否存在异常文本关键词;
当所述运行日志中存在所述异常文本关键词时,将所述待处理作业对象的运行结果确定为运行异常;
当所述运行日志中不存在所述异常文本关键词时,将所述待处理作业对象的运行结果确定为运行正常。
6.根据权利要求1所述的作业处理方法,其特征在于,所述再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,包括:
将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列;
将所述异常对象序列导入重跑作业引擎,以通过所述重跑作业引擎运行所述异常作业对象以得到所述异常作业对象的再次运行结果。
7.根据权利要求1所述的作业处理方法,其特征在于,所述再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,包括:
将对应于同一作业监控周期的多个异常作业对象排列形成异常对象序列;
确定用于运行所述作业对象序列的多个批处理作业引擎,并获取各个所述批处理作业引擎的运行状态;
根据所述批处理作业引擎的运行状态确定一个或者多个再运行作业引擎;
将所述异常对象序列导入所述再运行作业引擎,以通过所述再运行作业引擎运行所述异常作业对象以得到所述异常作业对象的再次运行结果。
8.一种作业处理装置,其特征在于,所述装置包括:
作业对象排列模块,被配置为确定对应于一个作业周期的多个待处理作业对象,并将所述多个待处理作业对象排列形成作业对象序列;
作业对象运行模块,被配置为按照所述作业对象序列的对象排列顺序依次运行所述待处理作业对象;
运行结果获取模块,被配置为获取在一作业监控周期内的多个待处理作业对象的运行结果,并将所述运行结果保存至作业结果列表;
异常对象确定模块,被配置为根据所述作业结果列表确定在所述作业监控周期内的运行结果为运行异常的异常作业对象;
运行结果更新模块,被配置为再次运行所述异常作业对象以得到所述异常作业对象的再次运行结果,并根据所述再次运行结果更新所述作业结果列表。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的作业处理方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一项所述的作业处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048236.8A CN111274090A (zh) | 2020-01-16 | 2020-01-16 | 作业处理方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048236.8A CN111274090A (zh) | 2020-01-16 | 2020-01-16 | 作业处理方法、装置、介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111274090A true CN111274090A (zh) | 2020-06-12 |
Family
ID=71001627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010048236.8A Pending CN111274090A (zh) | 2020-01-16 | 2020-01-16 | 作业处理方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274090A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010377A (zh) * | 2021-03-03 | 2021-06-22 | 中国工商银行股份有限公司 | 一种作业的运行日志的采集方法及装置 |
CN115017118A (zh) * | 2022-06-01 | 2022-09-06 | 深圳鳍源科技有限公司 | 作业数据记录方法、装置、设备及存储介质 |
CN115766397A (zh) * | 2022-11-15 | 2023-03-07 | 中国工商银行股份有限公司 | 作业数据中断预警方法、装置、设备和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164271A (ja) * | 2002-11-13 | 2004-06-10 | Nec System Technologies Ltd | ジョブ実行監視方法及びプログラム |
US20050144527A1 (en) * | 2003-12-10 | 2005-06-30 | Sap Aktiengesellschaft | Postprocessing office method and system |
CN104317960A (zh) * | 2014-11-14 | 2015-01-28 | 中国建设银行股份有限公司 | 一种批处理作业的处理方法和装置 |
CN104933618A (zh) * | 2015-06-03 | 2015-09-23 | 中国银行股份有限公司 | 核心银行系统批量作业运行数据的监控方法及装置 |
CN107908494A (zh) * | 2017-11-10 | 2018-04-13 | 泰康保险集团股份有限公司 | 异常事件的处理方法、装置、电子设备及存储介质 |
CN107924357A (zh) * | 2015-09-18 | 2018-04-17 | 三菱电机株式会社 | 作业管理装置、作业管理方法和作业管理程序 |
CN109379400A (zh) * | 2018-09-04 | 2019-02-22 | 中国建设银行股份有限公司 | 批量作业调度处理系统、方法、装置和存储介质 |
CN109669766A (zh) * | 2018-09-11 | 2019-04-23 | 深圳平安财富宝投资咨询有限公司 | 批处理作业的处理方法、装置、设备及存储介质 |
CN110443695A (zh) * | 2019-07-31 | 2019-11-12 | 中国工商银行股份有限公司 | 数据处理方法及其装置、电子设备和介质 |
CN110597668A (zh) * | 2019-09-20 | 2019-12-20 | 中国银行股份有限公司 | 一种常驻作业的处理方法及系统 |
-
2020
- 2020-01-16 CN CN202010048236.8A patent/CN111274090A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164271A (ja) * | 2002-11-13 | 2004-06-10 | Nec System Technologies Ltd | ジョブ実行監視方法及びプログラム |
US20050144527A1 (en) * | 2003-12-10 | 2005-06-30 | Sap Aktiengesellschaft | Postprocessing office method and system |
CN104317960A (zh) * | 2014-11-14 | 2015-01-28 | 中国建设银行股份有限公司 | 一种批处理作业的处理方法和装置 |
CN104933618A (zh) * | 2015-06-03 | 2015-09-23 | 中国银行股份有限公司 | 核心银行系统批量作业运行数据的监控方法及装置 |
CN107924357A (zh) * | 2015-09-18 | 2018-04-17 | 三菱电机株式会社 | 作业管理装置、作业管理方法和作业管理程序 |
CN107908494A (zh) * | 2017-11-10 | 2018-04-13 | 泰康保险集团股份有限公司 | 异常事件的处理方法、装置、电子设备及存储介质 |
CN109379400A (zh) * | 2018-09-04 | 2019-02-22 | 中国建设银行股份有限公司 | 批量作业调度处理系统、方法、装置和存储介质 |
CN109669766A (zh) * | 2018-09-11 | 2019-04-23 | 深圳平安财富宝投资咨询有限公司 | 批处理作业的处理方法、装置、设备及存储介质 |
CN110443695A (zh) * | 2019-07-31 | 2019-11-12 | 中国工商银行股份有限公司 | 数据处理方法及其装置、电子设备和介质 |
CN110597668A (zh) * | 2019-09-20 | 2019-12-20 | 中国银行股份有限公司 | 一种常驻作业的处理方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010377A (zh) * | 2021-03-03 | 2021-06-22 | 中国工商银行股份有限公司 | 一种作业的运行日志的采集方法及装置 |
CN115017118A (zh) * | 2022-06-01 | 2022-09-06 | 深圳鳍源科技有限公司 | 作业数据记录方法、装置、设备及存储介质 |
CN115017118B (zh) * | 2022-06-01 | 2024-08-09 | 深圳鳍源科技有限公司 | 作业数据记录方法、装置、设备及存储介质 |
CN115766397A (zh) * | 2022-11-15 | 2023-03-07 | 中国工商银行股份有限公司 | 作业数据中断预警方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111274090A (zh) | 作业处理方法、装置、介质及电子设备 | |
CN102479113B (zh) | 异常自适应处理方法及系统 | |
CN113176978A (zh) | 基于日志文件的监控方法、系统、设备及可读存储介质 | |
CN110471945B (zh) | 活跃数据的处理方法、系统、计算机设备和存储介质 | |
CN111026602A (zh) | 一种云平台的健康巡检调度管理方法、装置及电子设备 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN110851324B (zh) | 基于日志的巡检处理方法、装置以及电子设备、存储介质 | |
CN112540887A (zh) | 故障演练方法、装置、电子设备及存储介质 | |
CN107203464B (zh) | 业务问题的定位方法以及装置 | |
CN111381940B (zh) | 分布式数据处理方法及装置 | |
CN114626563B (zh) | 一种基于大数据的配件管理方法及系统 | |
CN107908525B (zh) | 告警处理方法、设备及可读存储介质 | |
CN110011845B (zh) | 日志采集方法及系统 | |
CN112306871A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113094243B (zh) | 节点性能检测方法和装置 | |
CN114996081A (zh) | 批量作业进度监控方法、装置、电子设备及存储介质 | |
CN112632174A (zh) | 一种数据检验的方法、装置和系统 | |
CN111240990A (zh) | 一种ismcli命令行测试方法、系统、终端及存储介质 | |
CN112925697B (zh) | 作业差异监控方法、装置、设备及介质 | |
CN115599868B (zh) | 数据实时同步处理方法、系统、设备及介质 | |
CN113590300B (zh) | 定时任务的执行方法、装置、存储介质及设备 | |
CN115081233B (zh) | 一种流程仿真方法及电子设备 | |
CN116680110A (zh) | 系统异常原因的确定方法和装置 | |
CN118101411A (zh) | 一种事件驱动的跨渠道数据同步方法及系统 | |
CN118132379A (zh) | 一种内存溢出事件的监测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |
|
RJ01 | Rejection of invention patent application after publication |