CN102226890B - 一种主机批量作业数据监控方法及装置 - Google Patents

一种主机批量作业数据监控方法及装置 Download PDF

Info

Publication number
CN102226890B
CN102226890B CN 201110156199 CN201110156199A CN102226890B CN 102226890 B CN102226890 B CN 102226890B CN 201110156199 CN201110156199 CN 201110156199 CN 201110156199 A CN201110156199 A CN 201110156199A CN 102226890 B CN102226890 B CN 102226890B
Authority
CN
China
Prior art keywords
data
job execution
information
job
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201110156199
Other languages
English (en)
Other versions
CN102226890A (zh
Inventor
蒋国强
毛宇星
刘辰
何宏烨
王卓
张琰璘
吴晓慧
王立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN 201110156199 priority Critical patent/CN102226890B/zh
Publication of CN102226890A publication Critical patent/CN102226890A/zh
Application granted granted Critical
Publication of CN102226890B publication Critical patent/CN102226890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种主机批量作业数据监控方法及装置,该方法包括:捕捉主机批量作业的作业信息,生成数据采集触发指令;根据数据采集触发指令在预定时间内收集作业执行数据,并存储作业执行数据;将作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息;将预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出;根据报表信息进行报表处理及生成,通过展示界面提供给用户。以解决计算机主机批量数据处理的自动监控问题。

Description

一种主机批量作业数据监控方法及装置
技术领域
本发明关于计算机系统的批量数据处理技术,具体地讲是一种主机批量作业数据监控方法及装置。
背景技术
在当前计算机主机的应用处理模式中,批量处理作为一种事后数据处理方式,一直是一种简单而又非常重要的处理方式,尤其是对于海量的数据处理,批量方式就更显示了其高效的处理效果。
随着应用业务的快速增长,数据规模迅猛发展以及近几年来数据集中的快速兴起,批量处理变的越来越复杂,每日的批量处理可以包含数千甚至上万个作业。同时,对于批量处理时效性的要求也日益显现,批量处理的延迟将可能直接影响到应用业务的可用性,因此需要对个体作业及整体批量进行全面有效的监控。
现有的主机系统上还没有成型的系统和产品来监控主机批量处理,因此迫切需要有一种有效的、快速的批量作业数据监控方案,以实现对主机批量处理的自动监控。
发明内容
本发明提供了一种主机批量作业数据监控方法及装置,以解决计算机主机批量数据处理的自动监控问题。
本发明的目的之一是,提供一种主机批量作业数据监控方法,该方法包括:捕捉主机批量作业的作业信息,生成数据采集触发指令;根据数据采集触发指令在预定时间内收集作业执行数据,并存储作业执行数据;将作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息;将预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出;根据报表信息进行报表处理及生成,通过展示界面提供给用户;其中,预先定义的作业及批量监控阀值数据包括:作业返回码最大值、作业执行时间阀值、批量运行时间阀值和批量关键路径;将作业执行数据与预先定义的作业及批量监控阀值数据进行对比包括:将作业执行数据与预先定义的作业返回码最大值进行对比、将作业执行数据与预先定义的作业执行时间阀值进行对比、将作业执行数据与预先定义的批量运行时间阀值进行对比、和将作业执行数据与预先定义的批量关键路径进行对比。
本发明的目的之一是,提供一种主机批量作业数据监控装置,该装置包括:信息捕获单元,用于捕捉主机批量作业的作业信息,生成数据采集触发指令;数据采集单元,用于根据数据采集触发指令在预定时间内收集作业执行数据,并存储作业执行数据;集中处理单元,用于将作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息;预警输出单元,用于将预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出;报表输出单元,用于根据报表信息进行报表处理及生成,通过展示界面提供给用户;其中,集中处理单元,用于将作业执行数据与预先定义的作业返回码最大值进行对比,判断作业执行状态,产生并存储预警信息及报表信息;并用于将作业执行数据与预先定义的作业执行时间阀值进行对比,判断作业执行状态,产生并存储预警信息及报表信息;并用于将作业执行数据与预先定义的批量运行时间阀值进行对比,判断作业执行状态,产生并存储预警信息及报表信息;并用于将作业执行数据与预先定义的批量关键路径进行对比,判断作业执行状态,产生并存储预警信息及报表信息。
本发明的有益效果在于:通过对主机作业及批量执行时间、执行结果进行分析,实现了对主机个体作业及整体批量处理的自动化监控,克服了目前对大规模的主机批量处理作业缺乏有效的监控手段问题,帮助及时发现作业及批量处理过程中的问题,有效提升对主机作业及批量处理的掌控,保障企业的生产稳定与安全。本发明可及时发现批量处理过程中的瓶颈,并以短信、电子邮件等多种通信方式报警,为批量处理调优提供依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的主机批量作业数据监控方法流程图;
图2为本发明实施例的主机批量作业数据监控装置的结构框图;
图3为本发明实施例的信息捕获单元的电路原理图;
图4为本发明实施例的预警输出单元的GSM芯片示意图;
图5为本发明实施例的主机批量作业数据监控系统连接示意图;
图6为本发明实施例的信息捕获单元的结构框图;
图7为本发明实施例的数据采集单元的结构框图;
图8为本发明实施例的集中处理单元的结构框图;
图9为本发明实施例的预警单元的结构框图;
图10为本发明实施例的报表单元的结构框图;
图11为本发明实施例的作业执行结果监控工作流程图;
图12为本发明实施例的作业执行时间监控工作流程图;
图13为本发明实施例的批量处理时间监控工作流程图;
图14为本发明实施例的批量关键路径监控工作流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例的主机批量作业数据监控方法包括:捕捉主机批量作业的作业信息,生成数据采集触发指令(步骤S101);根据数据采集触发指令在预定时间内收集作业执行数据,并存储作业执行数据(步骤S102);将作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息(步骤S103);将预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出(步骤S104);根据报表信息进行报表处理及生成,通过展示界面提供给用户(步骤S105)。
如图2所示,本实施例的主机批量作业数据监控装置包括:信息捕获单元001,用于捕捉主机批量作业的作业信息,生成数据采集触发指令;数据采集单元002,用于根据数据采集触发指令在预定时间内收集作业执行数据,并存储作业执行数据;集中处理单元003,用于将作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息;预警输出单元004,用于将预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出;报表输出单元005,用于根据报表信息进行报表处理及生成,通过展示界面提供给用户。
本实施例的监控方法通过捕获主机作业及批量的执行信息,自动收集主机作业及批量的执行数据并与配置表中的监控阀值进行比对,当执行结果超过阀值时自动发出预警并进行记录。
本实施例的监控装置包括:一个信息捕获单元、一个数据采集单元、一个集中处理单元、一个预警输出单元和一个报表输出单元。信息捕获单元负责捕捉作业开始、结束信息。数据采集单元负责在预定时间触发执行预先定义的数据采集任务。集中处理单元由输入模块、分析模块、配置模块、输出模块组成,负责接收作业执行数据、对比配置信息、分析作业运行状态、生成预警及报表信息。预警输出单元负责通过界面展示、邮件发送、短信通知等方式进行预警。报表输出单元负责记录作业执行信息、分析结果、预警信息,并提供展示界面给用户。
如图3所示,信息捕获单元包括:批量数据监听电路,该批量数据监听电路包括:CAN232MB转换器。CAN232MB转换器内置看门狗,保障长期工作的可靠性;同时,转换器内置非易失性存储器,用于保存用户上次配置运行的参数。CAN232MB转换器在正常工作时,实时对CAN总线和RS 232/RS 485总线进行监听,一旦检测到某一侧总线上有数据接收到,立即对其进行解析,并装入各自的缓冲区,然后按设定的工作方式处理并转换发送到另一侧的总线,实现数据格式的转换。
如图4所示,预警输出单元包括:短信报警电路,该短信报警电路包括:GSM手机模块或GPRS手机模块或CDMA手机模块。
如图5所示,本实施例的监控装置100与银行主机200相连接,监控装置100通过捕获主机200作业及批量的执行信息,自动收集主机200作业及批量的执行数据并与配置表中的监控阀值进行比对,当执行结果超过阀值时自动发出预警并进行记录。
本实施例的监控装置100的工作流程为:信息捕获单元捕捉到作业开始及结束信息后通知数据采集单元在预定时间触发执行数据采集任务,收集作业执行数据存储到集中处理单元的输入模块中,集中处理单元的分析模块对比集中处理单元的输入模块及集中处理单元的配置模块中的信息,判断作业执行状态,产生预警及报表信息存储到集中处理单元输出模块中。预警输出单元接收到集中处理单元输出模块中的预警信息根据预先定义的通知策略通过展示界面、邮件发送、短信通知等方式发出预警。报表输出单元接收到集中处理单元输出模块中数据进行报表处理及生成,通过展示界面提供给用户。该系统主要包括如下四个子系统:
一、作业执行结果监控子系统。通过获取作业结束信息,与配置表中参数进行比对,监控作业执行结果是否符合预期。
二、作业执行时间监控子系统。通过获取当前执行作业信息,与配置表中参数进行比对,监控作业执行时间是否超时。
三、批量处理时间监控子系统。通过对批量进行划分,指定批量开始及结束标志,获取批量运行信息,监控批量处理时间是否符合预期。
四、批量关键路径监控子系统。通过获取批量作业间逻辑关系及执行时间,计算得到批量关键路径,监控关键路径是否发生变化。
在图2中,信息捕获单元001,负责捕捉作业开始、结束信息,并通知数据采集单元002在预定时间触发执行数据采集任务。数据采集单元002,负责执行预先定义的任务,收集作业执行数据。集中处理单元003,负责接收作业执行数据、对比配置信息、分析作业运行状态、生成预警及报表信息。集中处理单元输入模块310,存储数据采集单元002收集的作业执行数据。集中处理单元配置模块320,储存预先定义的作业及批量监控阀值数据。集中处理单元分析模块330,对输入模块310与配置模块320中的数据进行分析,判断作业及批量执行状态。集中处理单元输出模块340,储存分析模块330生成的预警及报表数据。预警输出单元004,负责接收输出模块340中的预警信息并根据预先定义的通知策略通过展示界面、邮件发送、短信通知等方式发出预警。报表输出单元005,负责接收输出模块340中数据并进行报表处理及生成,通过展示界面提供给用户。
信息捕获单元001通过将捕获到的信息传播给数据采集单元002,实现与数据采集单元002的交互。数据采集单元002通过执行数据收集任务,将收集的数据储存至集中处理单元003输入模块310,实现与集中处理单元003的交互。集中处理单元003的分析模块330通过分析输入模块310及配置模块320中的数据来判断批量执行情况,并将结果存储至输出模块340。预警模块004通过接收集中处理单元输出模块340中的数据进行预警通知,从而实现与集中处理单元003的交互。报表输出单元005与集中处理单元003的交互主要是报表输出单元005接收集中处理单元输出模块340中的数据进行报表生成及展示。
如图6所示,信息捕获单元001主要用于捕捉作业开始、结束信息,其包括两部分:信息监听模块101和信息匹配模块102。信息监听模块101用于监听主机系统所有信息。信息匹配模块102中记录了需要捕获的信息,当与信息监听模块101监听到的信息相匹配时,会将信息传播给数据采集单元。
如图7所示,数据采集单元002主要用于管理数据收集任务,包括任务管理模块201和计时器模块202。管理模块201根据信息匹配模块102提供的信息触发相应的任务进行数据收集,并将收集结果保存至集中处理单元003的输入模块310。计时器模块202用于控制数据收集任务的执行时间及频度。
如图8所示,集中分析装置003主要用于分析作业及批量运行状态。集中分析装置003作为整个系统的核心装置,主要包括4大模块:输入模块310、配置模块320、分析模块330、输出模块340。输入模块310中存储了数据采集单元002收集的数据。配置模块320中定义了批量及作业的配置及监控阀值信息,其包含四个子模块:作业返回码最大值配置模块321、作业执行时间阀值配置模块322、批量运行时间阀值配置模块323、批量关键路径配置模块324。分析模块330主要用于对比输入模块310及配置模块320中数据,评估批量及作业执行情况。分析模块330由四个子模块组成:作业执行结果分析模块331、作业执行时间分析模块332、批量处理时间分析模块333、批量关键路径分析模块334,分别用于不同的监控分析功能。分析模块330将分析结果保存至输出模块340,根据数据不同分别储存在预警数据存储模块341和报表数据储存模块342中。
如图9所示,预警输出单元004主要用于发送预警通知,其包括两部分:预警信息生成模块401和预警通知模块402。预警信息生成模块401接收预警数据存储模块341中数据,生成预警信息。预警通知模块402中定义了各种通知策略,根据预警信息生成模块401生成的信息类型,分类通知相应人员。
如图10所示,报表输出单元005主要用于生成及展示报表,其包括两部分:报表生成模块501和报表展示模块502。报表生成模块501接收报表数据储存模块342中数据,生成相应的报表。报表展示模块502提供界面展示报表生成模块501生成的报表。
如图11所示,作业执行结果监控子系统工作流程包括:
主机作业开始及结束时都会产生相应的信息来进行标识,作业结束时会生成一个返回码,用来反映作业执行结果,其取值范围为0-4095。当返回码小于等于最大允许值时则认为作业正常完成,否则作业就是异常中断。作业中断就要进行相应处理,通常需要再次重新执行。不同的作业其返回码最大允许值也不尽相同,取决于作业的属性及用途,一般由作业开发人员指定。作业执行结果监控子系统通过获取作业结束信息,与配置模块中参数进行比对来监控作业执行结果是否符合预期,其工作流程如下:
步骤S201:信息捕获单元捕捉到作业结束信息,通知数据采集单元执行数据收集任务。
步骤S202:数据采集单元执行预定义的数据收集任务,将收集的数据储存至集中处理单元的输入模块中。收集的数据包括作业名、作业返回码。数据格式如表1:
表1
  作业名   返回码
  AAA   8
  ……   ……
步骤S203:集中处理单元分析模块读取配置模块中的作业返回码最大允许值参数,并与输入模块中作业返回码进行比较。
返回码最大允许值参数为预先定义的,通常由作业开发人员提供,参数表数据格式如表2:
表2
  作业名   返回码最大允许值
  AAA   4
  ……   ……
步骤S204:作业返回码小于等于最大允许值,则作业完成。将作业完成信息,包括作业名、作业开始时间、作业完成时间、作业执行时间存储至输出模块。
步骤S205:将输出模块中作业完成信息记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
步骤S206:作业返回码大于最大允许值,则作业中断。生成预警信息存储至输出模块,预警信息包含作业名、中断时间、作业返回码。
步骤S207:预警输出单元接收输出模块中的预警信息,根据预先定义的通知策略通过展示界面、邮件发送、短信通知等方式发出预警。
步骤S208:输出模块中作业完成信息及预警信息记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
步骤S209:相关人员接收到预警后对中断作业进行处理,通常需要重新执行该作业。
如图12所示,作业执行时间监控子系统工作流程包括:
通常,当作业的处理对象未发生变化时,其执行时间波动很小,因此从作业执行时间历史数据中可以得到固定的执行时间阀值。作业执行时间监控子系统通过获取当前执行作业运行时间信息,与配置表中作业执行时间阀值进行比对,监控作业执行时间是否超时。其工作流程如下:
步骤S301:数据采集单元执行预定义的数据收集任务,检收集当前正在执行的作业信息。收集的数据包括作业名、作业开始时间、作业执行时间。数据格式如表3:
表3
  开始时间   作业名   执行时间(分钟)
  8月1日10:00   AAA   30
  ……   ……   ……
步骤S302:数据采集单元将收集的数据储存至集中处理单元的输入模块中。
步骤S303:集中处理单元分析模块读取配置模块中的作业执行时间阀值参数,并与输入模块中数据进行比较。
作业执行时间阀值参数为预先定义的,从作业执行时间历史数据中提取。由于当作业处理对象未发生变化时,其执行时间是比较稳定的,因此可选取一段时间作业的平均执行时间加上调整值作为作业执行时间阀值。调整值需要根据监控预期来进行调整,如选取最近30天作业的平均执行时间,可接受的作业最大执行时间为正常时间的1.2倍,则调整值为最近30天作业的平均执行时间乘以0.2。即:作业执行时间阀值=最近30天作业的平均执行时间+最近30天作业的平均执行时间×0.2。通常对于同一个作业,在特殊情况下其执行时间会发生变化,如工作日、双休日、月初、月末、年末处理等,这和作业的属性及用途相关,因此在制定作业执行时间阀值时需要对这些情况进行区分。当作业处理对象发生变化时,需要重新制定执行时间阀值,从发生变化后作业执行时间历史数据中提取。
当作业执行时间阀值参数制定规则确定后,我们可以通过编写脚本,由数据采集单元定期执行任务,从报表输出单元中读取数据经过处理后存储至集中处理单元配置模块中,实现作业执行时间阀值参数的自动更新。作业执行时间阀值参数表数据格式如表4:
表4
  日期   作业名   执行时间阀值(分钟)
  月初   AAA   30
  ……   ……   ……
步骤S304:作业执行时间未超过阀值,监控过程结束。
步骤S305:作业执行时间超过阀值,生成预警信息存储至输出模块,预警信息包含作业名、执行时间、超过执行阀值时间。
步骤S306:预警输出单元接收输出模块中的预警信息,根据预先定义的通知策略通过展示界面、邮件发送、短信通知等方式发出预警。
步骤S307:输出模块中预警信息记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
步骤S308:相关人员接收到预警后对作业进行相应处理。
如图13所示,批量处理时间监控子系统工作流程包括:
目前,由于批量处理越来越复杂,作业规模越来越庞大,为了便于管理,通常我们将批量进行拆分,按照应用类型及功能划分为不同的子批量。同时,对批量及子批量指定起始及结束作业,用以标示批量及子批量处理的开始及结束。批量处理时间监控子系统通过获取批量起始及结束作业运行信息,监控批量处理时间是否符合预期。其工作流程如下:
步骤S401:批量及子批量处理开始。
步骤S402:信息捕获单元捕捉到批量及子批量起始作业开始执行信息,通知数据采集单元执行数据收集任务。
步骤S403:数据采集单元执行预定义的数据收集任务,将收集的数据储存至集中处理单元的输入模块中。收集的数据包括批量及子批量起始作业名、作业开始时间。数据格式如表5:
表5
  开始时间   作业名
  8月1日10:00   AAA
  ……   ……
步骤S404:集中处理单元分析模块读取配置模块中的批量及子批量运行时间阀值参数,并在数据采集单元中添加任务,在到达运行时间阀值时收集批量及子批量结束作业执行信息。
批量运行时间阀值参数需要预先定义,其制定方法等同于作业执行时间阀值参数,从历史数据中选取再加上调整值,并需要区分特殊情况下的参数值。同样可以通过编写脚本,由数据采集单元定期执行任务,从报表输出单元中读取数据经过处理后存储至集中处理单元配置模块中,实现批量运行时间阀值参数的自动更新。批量运行时间阀值参数表数据格式如表6:
表6
  日期   应用子批量名   起始作业名   结束作业名   运行时间阀值(分钟)
  月初   X1   AAA   BBB   120
  ……   ……   ……   ……   ……
即当信息捕获单元捕捉到AAA开始执行时,会通知数据采集单元执行数据收集任务,数据采集单元收集AAA的开始执行时间数据储存至集中处理单元的输入模块中。集中处理单元分析模块读取配置模块中应用子批量X1运行时间阀值参数,在数据采集单元中添加任务,于120分钟后收集作业BBB的执行信息。
步骤S405:到达运行时间阀值时,数据采集单元执行任务收集批量及子批量结束作业执行信息,并储存至集中处理单元的输入模块中。
步骤S406:集中处理单元分析模块读取输入模块中数据,判断批量及子批量结束作业是否已完成。
步骤S407:批量及子批量结束作业已完成,监控过程结束。
步骤S408:批量及子批量结束作业未完成,生成预警信息存储至输出模块,预警信息包含批量及子批量名、执行时间、超过执行阀值时间。
步骤S409:预警输出单元接收输出模块中的预警信息,根据预先定义的通知策略通过展示界面、邮件发送、短信通知等方式发出预警。
步骤S410:输出模块中预警信息记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
步骤S411:相关人员接收到预警后对批量及作业进行相应处理。
步骤S412:批量及子批量完成后将处理信息,包括批量及子批量处理开始时间、结束时间、执行时间数据记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
如图14所示,批量关键路径监控子系统工作流程包括:
主机批量处理过程中,作业执行是有顺序的,某些作业只有等其它作业完成后才能执行,我们分别将其称为后项作业、前项作业。后项作业必须在其前项作业正常完成后才能执行。通常每个作业都有前项作业及后项作业。如果作业只有后项作业无前项作业,则该作业是批量的起始作业。如果作业只有前项作业无后项作业,则该作业是批量的结束作业。从批量起始作业开始会有很多条路径到达批量结束作业,其中路径上的作业运行时间总和最大的路径即为关键路径。批量关键路径监控子系统通过获取批量作业间执行关系及执行时间,计算得到批量关键路径,监控关键路径是否发生变化。其工作流程如下:
步骤S501:批量结束作业完成标示批量处理完成。
步骤S502:信息捕获单元捕捉到批量结束作业完成信息,通知数据采集单元执行数据收集任务。
步骤S503:数据采集单元执行预定义的数据收集任务,将收集的数据储存至集中处理单元的输入模块中。收集的数据包括作业名、作业开始时间、作业结束时间、作业执行时间、作业的前项作业。数据格式如表7:
表7
Figure GDA00002206631500131
步骤S504:集中处理单元分析模块读取输入模块中数据,计算得到批量最长路径即为关键路径,并将数据保存至输出模块记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
关键路径的计算方法为:从批量结束作业查找批量结束作业的前项作业中执行时间最晚的作业,再查找该作业的前项作业中执行时间最晚的作业,以此类推,直到选取的作业无前项作业,这些作业即为关键路径作业,其执行时间总和即为关键路径长度,作业个数即为路径深度。如步骤803中数据,假设FFF为批量结束作业,则DDD为其前项作业中执行时间最晚的作业,CCC为DDD前项作业中执行时间最晚的作业,AAA为CCC前项作业中执行时间最晚的作业,AAA无前项作业,关键路径即为AAA,CCC,DDD,FFF,深度为4,批量处理时间为65分钟。
步骤S505:集中处理单元分析模块读取配置模块中的批量关键路径参数及关键路径上作业执行时间阀值参数,并与计算得到的数据进行比较。
通常在处理对象未发生变化的情况下,批量关键路径是不变的,关键路径上作业的执行时间是稳定的。因此批量关键路径参数可以从一段时间的历史数据中提取,关键路径上作业执行时间阀值从历史数据中选取再加上调整值,同时需要区分特殊情况下的参数值。同样可以实现批量关键路径参数及关键路径上作业执行时间阀值参数的自动更新。参数表数据格式如表8:
表8
Figure GDA00002206631500141
步骤S506:关键路径发生变化,生成预警信息存储至输出模块,预警信息包含关键路径作业名、作业执行时间。
步骤S507:关键路径发生变化,比较关键路径上的作业执行时间是否发生变化。
步骤S508:关键路径上的作业执行时间未超过正常值,监控过程结束。
步骤S509:关键路径上的作业执行时间超过正常值,生成预警信息存储至输出模块,预警信息包含关键路径作业名、执行时间、超过正常执行时间值。
步骤S510:预警输出单元接收输出模块中的预警信息,根据预先定义的通知策略通过展示界面、邮件发送、短信通知等方式发出预警。
步骤S511:输出模块中预警信息记录至报表输出单元,进行报表处理及生成,并通过展示界面提供给用户。
步骤S512:相关人员接收到预警后进行相应处理。本发明系统通过对主机作业及批量执行时间、执行结果进行分析,实现了对主机个体作业及整体批量处理的自动化监控,克服了目前对大规模的主机批量处理作业缺乏有效的监控手段问题,帮助及时发现作业及批量处理过程中的问题,有效提升对主机作业及批量处理的掌控,保障企业的生产稳定与安全。本发明可及时发现批量处理过程中的瓶颈,并以短信、电子邮件等多种通信方式报警,为批量处理调优提供依据。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种主机批量作业数据监控方法,其特征是,所述的方法包括:
捕捉主机批量作业的作业信息,生成数据采集触发指令;
根据所述的数据采集触发指令在预定时间内收集作业执行数据,并存储所述的作业执行数据;
将所述的作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息;
将所述的预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出;
根据所述的报表信息进行报表处理及生成,通过展示界面提供给用户;其中,
所述的预先定义的作业及批量监控阀值数据包括:作业返回码最大值、作业执行时间阀值、批量运行时间阀值和批量关键路径;
所述的将所述的作业执行数据与预先定义的作业及批量监控阀值数据进行对比包括:将所述的作业执行数据与预先定义的作业返回码最大值进行对比、将所述的作业执行数据与预先定义的作业执行时间阀值进行对比、将所述的作业执行数据与预先定义的批量运行时间阀值进行对比和将所述的作业执行数据与预先定义的批量关键路径进行对比。
2.根据权利要求1所述的方法,其特征是,所述的捕捉主机批量作业的作业信息包括作业开始信息和作业结束信息。
3.根据权利要求1所述的方法,其特征是,所述的捕捉主机批量作业的作业信息包括:
监听主机批量作业的所有作业信息;
如果监听到的作业信息与预先记录的需要捕获的作业信息相匹配时,输出数据采集触发指令。
4.一种主机批量作业数据监控装置,其特征是,所述的装置包括:
信息捕获单元,用于捕捉主机批量作业的作业信息,生成数据采集触发指令;
数据采集单元,用于根据所述的数据采集触发指令在预定时间内收集作业执行数据,并存储所述的作业执行数据;
集中处理单元,用于将所述的作业执行数据与预先定义的作业及批量监控阀值数据进行对比,判断作业执行状态,产生并存储预警信息及报表信息;
预警输出单元,用于将所述的预警信息以预先定义的通知策略通过展示界面或邮件发送或短信通知的方式发出;
报表输出单元,用于根据所述的报表信息进行报表处理及生成,通过展示界面提供给用户;其中,
所述的集中处理单元,用于将所述的作业执行数据与预先定义的作业返回码最大值进行对比,判断作业执行状态,产生并存储预警信息及报表信息;并用于将所述的作业执行数据与预先定义的作业执行时间阀值进行对比,判断作业执行状态,产生并存储预警信息及报表信息;并用于将所述的作业执行数据与预先定义的批量运行时间阀值进行对比,判断作业执行状态,产生并存储预警信息及报表信息;并用于将所述的作业执行数据与预先定义的批量关键路径进行对比,判断作业执行状态,产生并存储预警信息及报表信息。
5.根据权利要求4所述的装置,其特征是,所述的信息捕获单元包括:
信息监听模块,用于监听主机批量作业的所有作业信息;
信息匹配模块,如果监听到的作业信息与预先记录的需要捕获的作业信息相匹配时,输出数据采集触发指令。
6.根据权利要求4所述的装置,其特征是,所述的装置包括:
作业执行数据存储单元,用于存储所述的作业执行数据;
阀值数据存储单元,用于存储预先定义的作业及批量监控阀值数据;
报警信息存储单元,用于存储所述的预警信息及报表信息。
CN 201110156199 2011-06-10 2011-06-10 一种主机批量作业数据监控方法及装置 Active CN102226890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110156199 CN102226890B (zh) 2011-06-10 2011-06-10 一种主机批量作业数据监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110156199 CN102226890B (zh) 2011-06-10 2011-06-10 一种主机批量作业数据监控方法及装置

Publications (2)

Publication Number Publication Date
CN102226890A CN102226890A (zh) 2011-10-26
CN102226890B true CN102226890B (zh) 2013-03-20

Family

ID=44807859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110156199 Active CN102226890B (zh) 2011-06-10 2011-06-10 一种主机批量作业数据监控方法及装置

Country Status (1)

Country Link
CN (1) CN102226890B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722521B (zh) * 2012-04-24 2015-01-21 深圳市神盾信息技术有限公司 监控数据比对的方法及系统
JP2014052967A (ja) * 2012-09-10 2014-03-20 Ricoh Co Ltd 情報処理装置、プログラム及びシステム
CN104298181B (zh) * 2013-07-15 2016-12-28 珠海格力电器股份有限公司 生产监控方法和系统
CN104699455B (zh) * 2014-01-24 2017-10-10 杭州海康威视数字技术股份有限公司 进行报警主机设置的方法、系统及报警键盘
CN103838625B (zh) * 2014-02-27 2017-05-17 中国工商银行股份有限公司 一种数据交互的方法及系统
CN104901982B (zh) * 2014-03-05 2018-07-10 中芯国际集成电路制造(天津)有限公司 一种在线数据监控系统及监控方法
CN104360923A (zh) * 2014-11-03 2015-02-18 中国银行股份有限公司 批量应用进程的监控方法及监控系统
CN108694561A (zh) * 2018-05-21 2018-10-23 平安科技(深圳)有限公司 工作流管理方法、系统、计算机设备和存储介质
CN108765140A (zh) * 2018-06-20 2018-11-06 中国银行股份有限公司 批量业务异常监控方法以及第一电子设备
CN110134598B (zh) * 2019-05-05 2023-09-19 中国银行股份有限公司 一种批量处理方法、装置及系统
CN110162443A (zh) * 2019-05-05 2019-08-23 中国银行股份有限公司 多批量流程监控方法、装置、计算机设备和存储介质
CN110413483B (zh) * 2019-07-30 2023-04-07 中国工商银行股份有限公司 批量作业数据的监控方法、装置、电子设备及存储介质
CN110889105B (zh) * 2019-12-03 2022-02-25 中国工商银行股份有限公司 数据处理方法、装置、系统及介质
CN111372344B (zh) * 2020-02-28 2022-09-20 中国工商银行股份有限公司 作业信息的处理方法、装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100511274C (zh) * 2005-11-15 2009-07-08 中国工商银行股份有限公司 批量作业集中管理和调度的系统及方法
JP4797095B2 (ja) * 2009-07-24 2011-10-19 株式会社日立製作所 バッチ処理多重化方法
CN101996107A (zh) * 2009-08-31 2011-03-30 中国工商银行股份有限公司 一种作业中断自动恢复系统及方法
CN102012840A (zh) * 2010-12-23 2011-04-13 中国农业银行股份有限公司 一种数据的批量调度方法和系统

Also Published As

Publication number Publication date
CN102226890A (zh) 2011-10-26

Similar Documents

Publication Publication Date Title
CN102226890B (zh) 一种主机批量作业数据监控方法及装置
CN103220173B (zh) 一种报警监控方法及监控系统
CN109543992A (zh) 智能巡检方法、装置、智能终端及服务器
CN104410512A (zh) 一种适用于云计算的资源监控告警框架及其方法
US20140097952A1 (en) Systems and methods for comprehensive alarm management
CN104699598A (zh) 自动化测试方法、装置、设备及系统
CN102118261A (zh) 一种数据采集的方法、数据采集装置及网管设备
CN110502318A (zh) 事件处理方法、事件处理服务器、存储介质及装置
CN103514277A (zh) 用电信息采集系统的任务并行处理方法
CN103441896A (zh) 一种业务数据监测预警平台及预警方法
CN202084026U (zh) 一种主机批量作业数据监控系统
CN103593232A (zh) 一种数据仓库的任务调度方法及装置
CN103209096A (zh) 告警处理方法和设备
CN111143167A (zh) 用于多平台的告警归并方法及装置、设备、存储介质
CN112882939A (zh) 自动化测试方法、装置、电子设备及存储介质
Kang et al. Analysis of key operation performance data in manufacturing systems
CN107666398B (zh) 基于用户行为的群组通知方法、系统以及存储介质
CN112884369A (zh) 一种停电工单的监控方法、装置、设备及存储介质
CN104977887A (zh) 一种基于scada系统的信息监控系统及其监控方法
CN116228103A (zh) 一种库存生命周期实时管理方法及系统
EP3377950A1 (en) Configuring process modules for operation in plants
US9183388B2 (en) Injustice detecting system, injustice detecting device and injustice detecting method
US20140277667A1 (en) Method and system for filtering lot schedules using a previous schedule
CN113419921B (zh) 一种任务监控方法、装置、设备以及存储介质
CN114861909A (zh) 模型质量监控方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant