CN113434360B - 一种作业运行监控的方法及系统 - Google Patents
一种作业运行监控的方法及系统 Download PDFInfo
- Publication number
- CN113434360B CN113434360B CN202110697697.2A CN202110697697A CN113434360B CN 113434360 B CN113434360 B CN 113434360B CN 202110697697 A CN202110697697 A CN 202110697697A CN 113434360 B CN113434360 B CN 113434360B
- Authority
- CN
- China
- Prior art keywords
- job
- original
- program
- name
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 12
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种作业运行监控的方法及系统,涉及自动化程序设计技术领域,包括:在作业中配置监控程序;当调度平台运行作业时,运行监控程序获取作业中的原执行程序及原作业参数,将原执行程序代入执行程序列,将原作业参数代入作业参数列;根据原执行程序及原作业参数,定位作业的作业名称;根据作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,若为启用,根据原作业参数运行原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行原执行程序返回的结果修改作业状态为处理成功或处理失败;若为禁用,修改作业状态为处理失败。
Description
技术领域
本发明涉及自动化程序设计技术领域,尤指一种作业运行监控的方法及系统。
背景技术
在现有技术中,传统的作业运行方案如果需要对作业运行监控,则需要在已投产的作业运行系统扩展,对现有调度系统进行改造,增加对作业运行状态与运行日志的记录。
例如,增加对作业运行状态与运行日志的记录,该改造可能对现有系统的运行产生影响,存在较大风险。同时传统的改造方案需要针对每个应用场景单独进行,方案不具备复用性。
综上来看,亟需一种可以解决上述问题,为批量作业运行系统提供运行监控的技术方案。
发明内容
为克服现有技术存在的缺陷,本发明提出了一种作业运行监控的方法及系统。本发明为作业运行系统提供作业运行监控,无需对现有系统进行改造,仅通过修改现有调度运行配置,可快速嵌入部署。通过运行监控程序调用作业执行程序,实现通过执行程序与作业参数反向查找作业名称,并对作业状态进行记录,从而实现作业运行监控。
在本发明实施例的第一方面,提出了一种作业运行监控的方法,该方法包括:
在作业中配置监控程序;
当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
根据所述原执行程序及原作业参数,定位作业的作业名称;
根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败;
若为禁用,修改作业状态为处理失败。
进一步的,作业的信息包含作业名称、原执行程序及原作业参数;其中,原执行程序及原作业参数的组合全局唯一,通过原执行程序及原作业参数定位到唯一的作业名称。
进一步的,该方法还包括:
设置作业定义信息及作业参数信息;其中,作业定义信息包含:作业名称,与作业名称对应的执行程序、作业内容的描述信息及启用标志;作业参数信息包含:作业名称,与作业名称对应的作业参数名称及参数值;
将作业定义信息与作业参数信息进行关联,生成作业的信息。
进一步的,在作业中配置监控程序,包括:
在作业中配置监控程序时,将监控程序映射为作业中的新执行程序,将原执行程序及原作业参数映射为作业中的新作业参数;其中,在所述新作业参数中,第一个作业参数为原执行程序,第二个及之后的作业参数为原作业参数。
进一步的,作业状态信息包含多条作业记录,每条作业记录至少包含作业名称、业务日期、已运行次数、作业状态、开始时间、结束时间及作业日志。
进一步的,作业名称为作业的唯一标识;业务日期为作业当前运行的日期;已运行次数为作业在业务日期的运行次数;作业状态为作业运行的状态;开始时间为作业开始运行的时间;结束时间为作业结束运行的时间;作业日志为作业运行输出的内容。
进一步的,作业状态包含新增、处理中、处理成功及处理失败在内的四种状态。
进一步的,根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,检查作业启用标志是否为启用,包括:
根据所述作业名称,运行监控程序,在作业状态信息中查询作业在业务日期的已运行次数,其中,查询时的过滤条件为当前的作业名称及当前的业务日期;
在作业状态信息中新增一条作业记录,在作业记录中写入对应的作业名称与业务日期,已运行次数加1,作业状态设置为新增,开始时间放空,结束时间放空,作业日志放空。
进一步的,该方法还包括:
在原执行程序中,设置启用标志,所述启用标志为启用或禁用。
进一步的,根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,检查作业启用标志是否为启用,包括:
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,修改开始时间为当前系统时间,并运行监控程序获取作业运行的日志,输出至调度平台。
进一步的,在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败,包括:
在作业运行结束后,修改结束时间为当前系统时间,根据运行所述原执行程序返回的结果修改作业状态,如果返回的结果为处理成功,则修改作业状态为处理成功,如果返回的结果为处理失败,则修改作业状态为处理失败,并将作业运行的日志更新至作业状态信息中的作业日志。
在本发明实施例的第二方面,提出了一种作业运行监控的系统,该系统包括:
配置模块,用于在作业中配置监控程序;
监控模块,用于当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
定位模块,用于根据所述原执行程序及原作业参数,定位作业的作业名称;
运行模块,用于根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败;
若为禁用,修改作业状态为处理失败。
进一步的,该系统还包括:
设置模块,用于设置作业定义信息及作业参数信息;其中,作业定义信息包含作业名称,与作业名称对应的作业执行的程序、作业内容的描述信息及启用标志;作业参数信息包含作业名称,与作业名称对应的作业参数名称及参数值;
关联模块,用于将作业定义信息与作业参数信息进行关联,生成作业的信息;其中,
作业的信息包含作业名称、原执行程序及原作业参数;其中,原执行程序及原作业参数的组合全局唯一,通过原执行程序及原作业参数定位到唯一的作业名称。
进一步的,配置模块具体用于:
在作业中配置监控程序时,将监控程序映射为作业中的新执行程序,将原执行程序及原作业参数映射为作业中的新作业参数;其中,在所述新作业参数中,第一个作业参数为原执行程序,第二个及之后的作业参数为原作业参数。
进一步的,运行模块具体用于:
根据所述作业名称,运行监控程序,在作业状态信息中查询作业在业务日期的已运行次数,其中,查询时的过滤条件为当前的作业名称及当前的业务日期;
在作业状态信息中新增一条作业记录,在作业记录中写入对应的作业名称与业务日期,已运行次数加1,作业状态设置为新增,开始时间放空,结束时间放空,作业日志放空。
进一步的,运行模块具体用于:
若启用标志为启用时,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,修改开始时间为当前系统时间,并运行监控程序获取作业运行的日志,输出至调度平台;
在作业运行结束后,修改结束时间为当前系统时间,根据运行所述原执行程序返回的结果修改作业状态,如果返回的结果为处理成功,则修改作业状态为处理成功,如果返回的结果为处理失败,则修改作业状态为处理失败,并将作业运行的日志更新至作业状态信息中的作业日志。
在本发明实施例的第三方面,提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现作业运行监控的方法。
在本发明实施例的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现作业运行监控的方法。
本发明提出的作业运行监控的方法及系统通过作业执行程序和作业参数反向定位作业名称,从而无需对原调度系统进行改造;并且,在不改变原有调度系统的前提下,只需要调整现有调度系统运行配置,能够实现快速嵌入部署,不会对原调度系统的运行产生影响;通过调用本发明中运行监控程序可以反向定位发起作业名称,并记录作业执行相关信息,实现作业运行监控。本发明可以获得完整作业运行状态记录,且该记录为实时更新结果,基于该日志记录结果,可再进行更为复杂的作业运行监控,适用于多种应用场景,具有较强的复用性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例的作业运行监控的方法流程示意图。
图2是本发明一具体实施例的作业信息定义的关系示意图。
图3是本发明一具体实施例的新旧调度系统作业配置映射关系示意图。
图4是本发明一具体实施例的运行监控程序执行逻辑的示意图。
图5是本发明一具体实施例的作业运行内容的关系示意图。
图6是本发明一具体实施例的作业A的新旧调度配置信息映射关系示意图。
图7是本发明一具体实施例的作业信息定义的关系示意图。
图8是本发明一具体实施例的作业运行监控的流程示意图。
图9是本发明一实施例的作业运行监控的系统架构示意图。
图10是本发明另一实施例的作业运行监控的系统架构示意图。
图11是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种作业运行监控的方法及系统,涉及自动化程序设计技术领域。本发明为作业运行系统提供作业运行监控,无需对现有系统进行改造,仅通过修改现有调度运行配置,可快速嵌入部署。通过运行监控程序调用作业执行程序,实现通过执行程序与作业参数反向查找作业名称,并对作业状态进行记录,从而实现作业运行监控。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
图1是本发明一实施例的作业运行监控的方法流程示意图。如图1所示,该方法包括:
步骤S101,在作业中配置监控程序;
步骤S102,当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
步骤S103,根据所述原执行程序及原作业参数,定位作业的作业名称;
步骤S104,根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败;
若为禁用,修改作业状态为处理失败。
为了对上述作业运行监控的方法进行更为清楚的解释,下面结合每一步骤来进行说明。
设置作业定义信息及作业参数信息。
其中,作业定义信息包含:作业名称,与作业名称对应的执行程序、作业内容的描述信息及启用标志;作业参数信息包含:作业名称,与作业名称对应的作业参数名称及参数值;
将作业定义信息与作业参数信息进行关联,生成作业的信息。
其中,作业的信息包含作业名称、原执行程序及原作业参数;其中,原执行程序及原作业参数的组合全局唯一,通过原执行程序及原作业参数定位到唯一的作业名称。
步骤S101:
在作业中配置监控程序时,将监控程序映射为作业中的新执行程序,将原执行程序及原作业参数映射为作业中的新作业参数;其中,在所述新作业参数中,第一个作业参数为原执行程序,第二个及之后的作业参数为原作业参数。
步骤S102:
当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
步骤S103:
根据所述原执行程序及原作业参数,定位作业的作业名称;
步骤S104:
根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;所述启用标志为启用或禁用。
在本实施例中,作业状态信息包含多条作业记录,每条作业记录至少包含作业名称、业务日期、已运行次数、作业状态、开始时间、结束时间及作业日志。
具体的,作业名称为作业的唯一标识。
业务日期为作业当前运行的日期。
已运行次数为作业在业务日期的运行次数。
作业状态为作业运行的状态;作业状态包含新增、处理中、处理成功及处理失败在内的四种状态。
开始时间为作业开始运行的时间。
结束时间为作业结束运行的时间。
作业日志为作业运行输出的内容。
具体的,根据所述作业名称,运行监控程序,在作业状态信息中查询作业在业务日期的已运行次数,其中,查询时的过滤条件为当前的作业名称及当前的业务日期;
在作业状态信息中新增一条作业记录,在作业记录中写入对应的作业名称与业务日期,已运行次数加1,作业状态设置为新增,开始时间放空,结束时间放空,作业日志放空。
在本实施例中,启用标志在原执行程序中进行设置,为启用或禁用。
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,修改开始时间为当前系统时间,并运行监控程序获取作业运行的日志,输出至调度平台。
在作业运行结束后,修改结束时间为当前系统时间,根据运行所述原执行程序返回的结果修改作业状态,如果返回的结果为处理成功,则修改作业状态为处理成功,如果返回的结果为处理失败,则修改作业状态为处理失败,并将作业运行的日志更新至作业状态信息中的作业日志。
若为禁用,修改作业状态为处理失败。
需要说明的是,尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
为了对上述作业运行监控的方法进行更为清楚的解释,下面结合一个具体的实施例来进行说明,然而值得注意的是该实施例仅是为了更好地说明本发明,并不构成对本发明不当的限定。
以批量作业运行系统为例,为该系统提供运行监控时,主要包含作业信息定义、运行监控程序插件两部分。
作业信息定义:
作业信息包含作业名称、执行程序、作业参数。
作业名称全局唯一,用于唯一标识一个运行作业,执行程序与作业参数组合全局唯一,即通过作业名可查询执行程序与作业参数,通过执行程序与作业参数可唯一定位一个作业名称。
参考图2所示,为本发明一具体实施例的作业信息定义的关系示意图。如图2所示,按照设计要求,如同一个执行程序与作业参数需要通过不同作业多次调起,需额外增加作业参数(不使用于程序运行),以保证执行程序与作业参数可唯一定位一个作业名称。
根据以上作业信息定义,本发明会维护两张数据表,表结构如表1及表2所示,表1为作业定义表结构,表2为作业参数表结构。
表1作业定义表结构
字段名称 | 字段功能描述 |
作业名称 | 作业的唯一标识 |
程序名 | 作业执行的程序 |
描述 | 作业内容的描述信息 |
启用标志 | 作业是否启用,1为启用,0为禁用 |
表2作业参数表结构
字段名称 | 字段功能描述 |
作业名称 | 作业的唯一标识 |
参数名称 | 作业参数的唯一标识 |
参数值 | 参数的内容 |
作业启用标志用于标记作业是否启用,用于后续执行过程中判定是否挂起作业执行。
表1与表2关联后可得作业名与作业参数的关系表,如表3所示,为示例性的作业信息视图。
表3作业信息视图
作业名称 | 执行程序 | 作业参数 |
作业A | XXXX.sh | A1 A2 A3 |
作业B | YYYY.py | B1 B2 B3 B4 |
…… | …… | …… |
在表3中遵从作业名称全局唯一,用于唯一标识一个运行作业,执行程序与作业参数组合全局唯一,即通过作业名可查询执行程序与作业参数,通过执行程序与作业参数可唯一定位一个作业名称的原则。
运行监控程序插件:
通过修改现有批量作业运行调度系统配置来调用本运行监控程序插件。原调度系统的作业配置包含上一章节中作业信息定义,即作业名称、执行程序、作业参数。在本发明方案中将执行程序替换为本方案运行监控插件程序,将原执行程序作为第一个作业参数添加到原作业参数中,新旧调度系统作业配置映射关系如图3所示。
调度作业运行发起时,调用运行监控程序,传入新作业参数,其中第一个作业参数为原调度作业配置中的执行程序,即为作业真实需要执行的程序,后续作业参数为该执行程序真实需要的作业参数。
参考图4,为本发明一具体实施例的运行监控程序执行逻辑的示意图。如图4所示,执行逻辑为:
运行监控程序首先通过执行程序与作业参数唯一定位到一个作业名,记录作业运行状态为开始,检查作业启用标志是否为启用,如为启用,输入作业参数运行执行程序,运行结束后根据执行程序返回结果记录作业状态为成功或失败,如为禁用,直接修改作业状态为失败。
通过作业启用标志的读取决定执行逻辑,从而在原有调度系统外通过简单参数配置实现了作业的强制挂起功能。
下面对具体的执行逻辑进行详细说明,主要包括:作业名获取、作业运行状态记录、作业运行及日志采集。
作业名获取:
参考图5,为本发明一具体实施例的作业运行内容的关系示意图。如图5所示,调度平台启动作业执行,运行监控程序获取到作业参数,作业参数分为两部分,作业参数1为真实执行程序,作业参数2及后续参数为真实执行程序的真实参数。
运行监控程序获取到作业参数后,通过表3的作业信息视图,将作业参数1代入执行程序列,将作业参数2及后续参数代入作业参数列,获取到唯一作业名称。
作业运行状态记录:
在获取到作业名后,运行监控程序将记录作业状态信息,作业状态信息表结构如表4所示。
表4作业状态信息表结构
首先,运行监控查询统计该作业在该业务日期已运行次数,统计方式为查询作业状态信息表,过滤条件为:
“作业名称”为当前作业名称、“业务日期”为当前业务日期,统计记录条数。
接着,在作业状态信息表中新增一条记录,填写对应的作业名称与业务日期,重跑次数为上一步统计记录条数加1,作业状态为01(新增),开始时间放空,结束时间放空,作业日志放空。
完成作业运行日志新增后,修改该条日志记录并发起作业运行。修改规则为修改作业状态为02(处理中),修改开始时间为当前系统时间。
作业运行:
运行监控程序完成作业开始状态记录后发起作业执行,执行内容为图5中的作业参数部分。作业参数的内容中,第一个作业参数为真实的作业执行程序,其余参数为该作业执行程序的参数输入。
日志采集:
作业运行发起后,运行监控程序将获取作业运行的日志输出,该日志输出结果在作业运行结束时将返还给调度平台,以保证原调度功能的完整,通过原调度平台日志查询功能(如有)仍能查询到运行日志输出,并且该日志输出将更新到作业状态信息表(表4)“作业日志”字段。
下面结合一具体的运行示例对本发明的作业运行监控方法进行说明。
以作业A为例,基于本发明得到新旧调度的配置信息,如图6所示,为作业A的新旧调度配置信息映射关系示意图。
基于前述的作业信息定义,配置作业定义表与作业参数表如图7所示,同时基于作业信息定义将自动产生相应的作业信息视图。
通过作业信息视图定位作业名称,并进入作业执行与监控流程,具体流程如图8所示:
S1,调度执行作业A。
S2,执行命令:运行监控.sh,XXX.sh,参数值1,参数值2,参数值3。
S3,通过程序名:“XXX.sh”,作业参数“参数值1,参数值2,参数值3”查找作业名。
其中,作业信息视图如表5所示:
表5作业信息视图
作业名称 | 程序名 | 作业参数 |
作业A | XXX.sh | 参数值1参数值2参数值3 |
S4,获取作业名:作业A。
S5,新增作业运行记录,如表6所示:
表6作业运行记录(新增)
作业名称 | 业务日期 | 重跑次数 | 作业状态 | 开始时间 | 结束时间 | 作业日志 |
作业A | 20200501 | 1 | 新增 |
S6,修改作业运行记录,如表7所示:
表7作业运行记录(开始)
S7,执行程序。
S8,更新作业日志。
S9,修改作业运行状态,如表8所示:
表8作业运行记录(处理成功)
S10,返回作业运行结果。
通过本发明,在不改变原有调度系统的前提下获得完整作业运行状态记录,且该记录为实时更新结果。基于该日志记录结果,可再进行更为复杂的作业运行监控。
在介绍了本发明示例性实施方式的方法之后,接下来,参考图9对本发明示例性实施方式的作业运行监控的系统进行介绍。
作业运行监控的系统的实施可以参见上述方法的实施,重复之处不再赘述。以下所使用的术语“模块”或者“单元”,可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思,本发明还提出了一种作业运行监控的系统,如图9所示,该系统包括:
配置模块910,用于在作业中配置监控程序;
监控模块920,用于当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
定位模块930,用于根据所述原执行程序及原作业参数,定位作业的作业名称;
运行模块940,用于根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败;
若为禁用,修改作业状态为处理失败。
进一步的,参考图10,为本发明另一实施例的作业运行监控的系统架构示意图。如图10所示,该系统还包括:
设置模块950,用于设置作业定义信息及作业参数信息;其中,作业定义信息包含作业名称,与作业名称对应的作业执行的程序、作业内容的描述信息及启用标志;作业参数信息包含作业名称,与作业名称对应的作业参数名称及参数值;
关联模块960,用于将作业定义信息与作业参数信息进行关联,生成作业的信息;其中,
作业的信息包含作业名称、原执行程序及原作业参数;其中,原执行程序及原作业参数的组合全局唯一,通过原执行程序及原作业参数定位到唯一的作业名称。
进一步的,配置模块910具体用于:
在作业中配置监控程序时,将监控程序映射为作业中的新执行程序,将原执行程序及原作业参数映射为作业中的新作业参数;其中,在所述新作业参数中,第一个作业参数为原执行程序,第二个及之后的作业参数为原作业参数。
进一步的,运行模块940具体用于:
根据所述作业名称,运行监控程序,在作业状态信息中查询作业在业务日期的已运行次数,其中,查询时的过滤条件为当前的作业名称及当前的业务日期;
在作业状态信息中新增一条作业记录,在作业记录中写入对应的作业名称与业务日期,已运行次数加1,作业状态设置为新增,开始时间放空,结束时间放空,作业日志放空。
进一步的,运行模块940具体用于:
若启用标志为启用时,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,修改开始时间为当前系统时间,并运行监控程序获取作业运行的日志,输出至调度平台;
在作业运行结束后,修改结束时间为当前系统时间,根据运行所述原执行程序返回的结果修改作业状态,如果返回的结果为处理成功,则修改作业状态为处理成功,如果返回的结果为处理失败,则修改作业状态为处理失败,并将作业运行的日志更新至作业状态信息中的作业日志。
应当注意,尽管在上文详细描述中提及了作业运行监控的系统的若干模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思,如图11所示,本发明还提出了一种计算机设备100,包括存储器110、处理器120及存储在存储器110上并可在处理器120上运行的计算机程序130,所述处理器120执行所述计算机程序130时实现前述作业运行监控的方法。
基于前述发明构思,本发明提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现前述作业运行监控的方法。
本发明提出的作业运行监控的方法及系统通过作业执行程序和作业参数反向定位作业名称,从而无需对原调度系统进行改造;并且,在不改变原有调度系统的前提下,只需要调整现有调度系统运行配置,能够实现快速嵌入部署,不会对原调度系统的运行产生影响;通过调用本发明中运行监控程序可以反向定位发起作业名称,并记录作业执行相关信息,实现作业运行监控。本发明可以获得完整作业运行状态记录,且该记录为实时更新结果,基于该日志记录结果,可再进行更为复杂的作业运行监控,适用于多种应用场景,具有较强的复用性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (16)
1.一种作业运行监控的方法,其特征在于,该方法包括:
在作业中配置监控程序;其中,原调度系统的作业信息包括作业名称、原执行程序、原作业参数,对原调度系统的作业进行改造,在新的作业中配置监控程序,将监控程序映射为作业中的新执行程序,将原执行程序及原作业参数映射为作业中的新作业参数;其中,在所述新作业参数中,第一个作业参数为原执行程序,第二个及之后的作业参数为原作业参数;
当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
根据所述原执行程序及原作业参数,定位作业的作业名称;
根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败;
若为禁用,修改作业状态为处理失败。
2.根据权利要求1所述的作业运行监控的方法,其特征在于,作业的信息包含作业名称、原执行程序及原作业参数;其中,原执行程序及原作业参数的组合全局唯一,通过原执行程序及原作业参数定位到唯一的作业名称。
3.根据权利要求2所述的作业运行监控的方法,其特征在于,该方法还包括:
设置作业定义信息及作业参数信息;其中,作业定义信息包含:作业名称,与作业名称对应的执行程序、作业内容的描述信息及启用标志;作业参数信息包含:作业名称,与作业名称对应的作业参数名称及参数值;
将作业定义信息与作业参数信息进行关联,生成作业的信息。
4.根据权利要求2所述的作业运行监控的方法,其特征在于,作业状态信息包含多条作业记录,每条作业记录至少包含作业名称、业务日期、已运行次数、作业状态、开始时间、结束时间及作业日志。
5.根据权利要求4所述的作业运行监控的方法,其特征在于,作业名称为作业的唯一标识;业务日期为作业当前运行的日期;已运行次数为作业在业务日期的运行次数;作业状态为作业运行的状态;开始时间为作业开始运行的时间;结束时间为作业结束运行的时间;作业日志为作业运行输出的内容。
6.根据权利要求5所述的作业运行监控的方法,其特征在于,作业状态包含新增、处理中、处理成功及处理失败在内的四种状态。
7.根据权利要求6所述的作业运行监控的方法,其特征在于,根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,检查作业启用标志是否为启用,包括:
根据所述作业名称,运行监控程序,在作业状态信息中查询作业在业务日期的已运行次数,其中,查询时的过滤条件为当前的作业名称及当前的业务日期;
在作业状态信息中新增一条作业记录,在作业记录中写入对应的作业名称与业务日期,已运行次数加1,作业状态设置为新增,开始时间放空,结束时间放空,作业日志放空。
8.根据权利要求7所述的作业运行监控的方法,其特征在于,该方法还包括:
在原执行程序中,设置启用标志,所述启用标志为启用或禁用。
9.根据权利要求8所述的作业运行监控的方法,其特征在于,根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,检查作业启用标志是否为启用,包括:
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,修改开始时间为当前系统时间,并运行监控程序获取作业运行的日志,输出至调度平台。
10.根据权利要求9所述的作业运行监控的方法,其特征在于,在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败,包括:
在作业运行结束后,修改结束时间为当前系统时间,根据运行所述原执行程序返回的结果修改作业状态,如果返回的结果为处理成功,则修改作业状态为处理成功,如果返回的结果为处理失败,则修改作业状态为处理失败,并将作业运行的日志更新至作业状态信息中的作业日志。
11.一种作业运行监控的系统,其特征在于,该系统包括:
配置模块,用于在作业中配置监控程序;其中,原调度系统的作业信息包括作业名称、原执行程序、原作业参数,对原调度系统的作业进行改造,在新的作业中配置监控程序,将监控程序映射为作业中的新执行程序,将原执行程序及原作业参数映射为作业中的新作业参数;其中,在所述新作业参数中,第一个作业参数为原执行程序,第二个及之后的作业参数为原作业参数;
监控模块,用于当调度平台运行所述作业时,运行所述监控程序获取作业中的原执行程序及原作业参数,将所述原执行程序代入执行程序列,将所述原作业参数代入作业参数列;
定位模块,用于根据所述原执行程序及原作业参数,定位作业的作业名称;
运行模块,用于根据所述作业名称,运行监控程序记录作业状态信息,设置作业状态为新增,并检查作业启用标志是否为启用;其中,
若为启用,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,并运行监控程序获取作业运行的日志,输出至调度平台;在作业运行结束后,根据运行所述原执行程序返回的结果修改作业状态为处理成功或处理失败;
若为禁用,修改作业状态为处理失败。
12.根据权利要求11所述的作业运行监控的系统,其特征在于,该系统还包括:
设置模块,用于设置作业定义信息及作业参数信息;其中,作业定义信息包含作业名称,与作业名称对应的作业执行的程序、作业内容的描述信息及启用标志;作业参数信息包含作业名称,与作业名称对应的作业参数名称及参数值;
关联模块,用于将作业定义信息与作业参数信息进行关联,生成作业的信息;其中,
作业的信息包含作业名称、原执行程序及原作业参数;其中,原执行程序及原作业参数的组合全局唯一,通过原执行程序及原作业参数定位到唯一的作业名称。
13.根据权利要求12所述的作业运行监控的系统,其特征在于,运行模块具体用于:
根据所述作业名称,运行监控程序,在作业状态信息中查询作业在业务日期的已运行次数,其中,查询时的过滤条件为当前的作业名称及当前的业务日期;
在作业状态信息中新增一条作业记录,在作业记录中写入对应的作业名称与业务日期,已运行次数加1,作业状态设置为新增,开始时间放空,结束时间放空,作业日志放空。
14.根据权利要求13所述的作业运行监控的系统,其特征在于,运行模块具体用于:
若启用标志为启用时,根据所述原作业参数运行所述原执行程序,设置作业状态为处理中,修改开始时间为当前系统时间,并运行监控程序获取作业运行的日志,输出至调度平台;
在作业运行结束后,修改结束时间为当前系统时间,根据运行所述原执行程序返回的结果修改作业状态,如果返回的结果为处理成功,则修改作业状态为处理成功,如果返回的结果为处理失败,则修改作业状态为处理失败,并将作业运行的日志更新至作业状态信息中的作业日志。
15.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10任一所述方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697697.2A CN113434360B (zh) | 2021-06-23 | 2021-06-23 | 一种作业运行监控的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697697.2A CN113434360B (zh) | 2021-06-23 | 2021-06-23 | 一种作业运行监控的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113434360A CN113434360A (zh) | 2021-09-24 |
CN113434360B true CN113434360B (zh) | 2024-04-19 |
Family
ID=77753476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110697697.2A Active CN113434360B (zh) | 2021-06-23 | 2021-06-23 | 一种作业运行监控的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113434360B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168059B (zh) * | 2022-09-07 | 2022-12-16 | 平安银行股份有限公司 | 系统内核监测方法、装置、终端设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139196A (ja) * | 1997-07-24 | 1999-02-12 | Hitachi Ltd | バッチ処理監視および検査システム |
CN103197960A (zh) * | 2013-04-12 | 2013-07-10 | 中国银行股份有限公司 | 用于批量作业系统的调度方法及系统 |
CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
CN108920260A (zh) * | 2018-05-16 | 2018-11-30 | 成都淞幸科技有限责任公司 | 一种异构系统的交互方法及其装置 |
CN109379400A (zh) * | 2018-09-04 | 2019-02-22 | 中国建设银行股份有限公司 | 批量作业调度处理系统、方法、装置和存储介质 |
CN110248164A (zh) * | 2019-06-27 | 2019-09-17 | 四川中电启明星信息技术有限公司 | Pc自动化作业监控方法及系统 |
CN110287015A (zh) * | 2019-06-27 | 2019-09-27 | 四川中电启明星信息技术有限公司 | Pc自动化作业被动调度方法 |
CN111737088A (zh) * | 2020-06-30 | 2020-10-02 | 中国工商银行股份有限公司 | 日志获取方法和装置、电子设备、及介质 |
CN111736969A (zh) * | 2020-06-16 | 2020-10-02 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
CN112035233A (zh) * | 2020-09-01 | 2020-12-04 | 中国银行股份有限公司 | 大数据批量作业任务调度方法及装置 |
CN112328408A (zh) * | 2020-10-21 | 2021-02-05 | 中国建设银行股份有限公司 | 数据处理方法、装置、系统、设备及存储介质 |
-
2021
- 2021-06-23 CN CN202110697697.2A patent/CN113434360B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139196A (ja) * | 1997-07-24 | 1999-02-12 | Hitachi Ltd | バッチ処理監視および検査システム |
CN103197960A (zh) * | 2013-04-12 | 2013-07-10 | 中国银行股份有限公司 | 用于批量作业系统的调度方法及系统 |
CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
CN108920260A (zh) * | 2018-05-16 | 2018-11-30 | 成都淞幸科技有限责任公司 | 一种异构系统的交互方法及其装置 |
CN109379400A (zh) * | 2018-09-04 | 2019-02-22 | 中国建设银行股份有限公司 | 批量作业调度处理系统、方法、装置和存储介质 |
CN110248164A (zh) * | 2019-06-27 | 2019-09-17 | 四川中电启明星信息技术有限公司 | Pc自动化作业监控方法及系统 |
CN110287015A (zh) * | 2019-06-27 | 2019-09-27 | 四川中电启明星信息技术有限公司 | Pc自动化作业被动调度方法 |
CN111736969A (zh) * | 2020-06-16 | 2020-10-02 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
CN111737088A (zh) * | 2020-06-30 | 2020-10-02 | 中国工商银行股份有限公司 | 日志获取方法和装置、电子设备、及介质 |
CN112035233A (zh) * | 2020-09-01 | 2020-12-04 | 中国银行股份有限公司 | 大数据批量作业任务调度方法及装置 |
CN112328408A (zh) * | 2020-10-21 | 2021-02-05 | 中国建设银行股份有限公司 | 数据处理方法、装置、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113434360A (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299150B (zh) | 一种可配置多数据源适配规则引擎解决方法 | |
CN110147225A (zh) | 一种代码生成方法、装置及计算机设备、存储介质 | |
CN110275992B (zh) | 应急处理方法、装置、服务器及计算机可读存储介质 | |
CN113434360B (zh) | 一种作业运行监控的方法及系统 | |
CN105808559A (zh) | 处理数据冲突的方法及装置 | |
CN105096104A (zh) | 表单操作权限的控制方法、装置及办公自动化系统 | |
CN115860451A (zh) | 一种流程运行方法、装置、电子设备及存储介质 | |
US11592797B2 (en) | Control program and method for operating an engineering system for an industrial process automation system | |
CN110991983B (zh) | 一种任务处理方法、装置、介质和设备 | |
CN111625330A (zh) | 跨线程的任务处理方法、装置、服务器及存储介质 | |
CN112130849A (zh) | 代码自动生成方法及装置 | |
CN116795425A (zh) | 一种基于git的芯片前端开发系统及方法 | |
CN105468445B (zh) | 一种基于WEB的Spark应用程序调度方法及系统 | |
CN111930387B (zh) | 一种集成包的集成方法及装置、电子设备和存储介质 | |
CN111078666B (zh) | 基于跨中心多数据库的自动化卸数供数的方法 | |
CN117081976B (zh) | 网关路由的配置方法及其装置 | |
CN114942745A (zh) | 电机控制器uds协议栈自动化配置方法 | |
US20150346713A1 (en) | Method for Processing an Automation Project Using a Plurality of Processing Stations | |
US8793263B2 (en) | Avoiding duplicate and equivalent data objects in service registries | |
US9141650B1 (en) | Methods and systems for filtering tree node data to determine part and assembly relationships | |
JP2003091431A (ja) | テストシナリオ選択実行システム、方法、およびプログラム | |
US20110022757A1 (en) | Method for Accessing Control Units Arranged in a Vehicle, Control Program and Communication Control Unit | |
CN114742600B (zh) | 基于工业互联网的内容解析方法及计算机存储介质 | |
US20060277251A1 (en) | Information processing apparatus and system development method | |
CN113468155B (zh) | 问题数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |