CN110413483B - 批量作业数据的监控方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种批量作业数据的监控方法、装置、电子设备及存储介质，其中，该监控方法包括：获取预定数据库中的多个原始作业数据、以及来自预定接口上送的多个作业数据；根据预定格式将多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息；根据告警阈值判断多个标准化作业信息是否触发告警；响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息；响应于分析结果为其他标准化作业信息异常，生成相应的告警信息。通过本发明，可以高效地分析告警的问题根源和异常影响。

Description

批量作业数据的监控方法、装置、电子设备及存储介质

技术领域

本发明涉及信息处理领域，具体涉及一种批量作业数据的监控方法、装置、电子设备及存储介质。

背景技术

随着互联网经济的蓬勃发展、商业社会的欣欣向荣，产生了海量的交易数据。为了满足海量数据的汇总统计需求，金融、零售、电力、通信等企业和部门大量采用了数据批处理的方式来加工业务数据，所产生的结果被广泛应用于监管审计、经营决策、日常运营等重要的生产活动中，因此针对数据批处理的准确性、及时性的监控和管理就显得尤为重要。

目前针对数据批处理的监控通常由业务系统自行实现或由专门的数据批处理调度系统来实现，这种方式存在如下不足：

(1)不同业务系统的数据批处理监控互相孤立，难以有效地进行综合利用。通常来说，对于大型机构，会同时存在多个业务系统，其数据批处理之间有着复杂的关联关系，单一的数据批处理作业如果发生异常，一般与上游系统的作业运行结果是有关的，同时这种异常也会影响下游关联作业的运行。现有的数据批处理监控系统未能将相关作业运行情况进行汇聚整合，以支撑运维人员自动、高效地从机构整体对所有数据批处理运行情况进行综合性的问题根源分析、异常影响评估和处置策略金决策。

(2)为了实现分析目的，需要从业务系统采集数据批处理的相关数据，传统的监控方式需要对业务系统的数据批量作业程序、数据批处理调度系统进行侵入性的程序改造。针对机构自研或者定制开发的业务系统，为了向监控系统提供数据批处理详情、异常等信息，需要调整系统功能、开发特定数据接口，存在较大的改造成本；针对闭源的商业数据批处理调度工具，则会受到供应商对产品开放性的控制，有时难以按要求对其提供的数据批处理进行监控。

发明内容

有鉴于此，本发明提供一种批量作业数据的监控方法、装置、电子设备及存储介质，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种批量作业数据的监控方法，所述方法包括：获取预定数据库中的多个原始作业数据、以及来自预定接口上送的多个作业数据；根据预定格式将所述多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息；根据告警阈值判断所述多个标准化作业信息是否触发告警；响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息；响应于分析结果为所述其他标准化作业信息异常，生成相应的告警信息。

根据本发明的第二方面，提供一种批量作业数据的监控装置，所述装置包括：数据获取单元，用于获取预定数据库中的多个原始作业数据、以及来自预定接口上送的多个作业数据；格式转换单元，用于根据预定格式将所述多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息；判断单元，用于根据告警阈值判断所述多个标准化作业信息是否触发告警；监控单元，用于响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息；告警单元，用于响应于分析结果为所述其他标准化作业信息异常，生成相应的告警信息。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述批量作业数据监控方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述批量作业数据监控方法的步骤。

由上述技术方案可知，通过将获取到的多个作业数据进行标准化处理后得到标准化作业信息，之后根据告警阈值对标准化作业信息进行告警判断，当出现告警时，监控并分析与该告警作业信息具有关联关系的其他作业信息(例如，上游和下游作业信息)，相比于现有技术的数据批处理信息互相孤立且难以有效地综合利用，通过本发明实施例的标准化处理步骤、以及监控分析步骤，可以高效地分析告警的问题根源和异常影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的批量作业数据监控方法的流程图；

图2是根据本发明实施例的步骤101获取数据的具体流程图；

图3是根据本发明实施例的批量作业图的模型示例图；

图4是根据本发明实施例的批量作业数据监控方法的详细流程图；

图5是根据本发明实施例的批量作业数据监控装置的结构框图；

图6是根据本发明实施例的批量作业数据监控装置的详细结构框图；

图7是根据本发明实施例的监控单元54的结构框图；

图8是根据本发明实施例的下游异常分析模块542的结构框图；

图9是根据本发明实施例的批量作业数据监控装置的示例结构框图；

图10是根据本发明实施例的数据采集单元1的详细结构框图；

图11是根据本发明实施例的标准化转换单元2的具体结构框图；

图12是根据本发明实施例的内存数据库4存储信息的示意图；

图13是根据本发明实施例的图计算单元5的结构框图；

图14是根据本发明实施例的根因分析模块503执行的根因分析流程图；

图15是根据本发明实施例的影响推断模块504执行的影响推断的流程图；

图16是根据本发明实施例的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中的数据批处理信息互相孤立且难以有效地综合利用、以及采集数据批处理情况需要对相关业务系统进行侵入性改造，基于此，本发明实施例提供一种综合性、非侵入式的面向数据批处理的监控方案。以下结合附图来详细描述本发明实施例。

本发明实施例提供一种批量作业数据的监控方法，图1是该方法的流程图，如图1所示，该方法包括步骤101-105，以下详细描述各步骤。

步骤101，获取预定数据库中的多个原始作业数据、以及来自预定接口的多个作业数据。

具体而言，可以通过数据复制技术获取保存在那些不便于向外提供接口的数据批处理调度系统数据库(例如，Oracle数据库)中的批量作业运行数据，这样，无需对系统进行侵入性改造，就可以获取到批量作业数据。

而经过改造的批量作业及数据批处理调度系统会调用标准化接口上送可以被直接识别的批量作业运行数据。

图2是根据本发明实施例的步骤101获取数据的具体流程图，如图2所示，该流程包括：

步骤201，已经经过改造的批量作业及数据批处理调度系统调用标准化接口上送可以直接识别的批量运行信息；

步骤202，接口程序将批量运行信息存放至内存队列，之后执行步骤102的标准化处理；

步骤203，批量作业及数据批处理调度系统运行在Oracle数据库上，并不断由于DML(Data Manipulation Language，数据操纵语言)的操作产生重做/归档日志；

步骤204，数据复制产品的Agent(数据复制产品中的一种命令)模块采集重做/归档日志；

步骤205，Agent模块将日志中DML信息还原成数据的修改向量并存放至内存队列中，之后执行步骤102的标准化处理。

步骤102，根据预定格式将所述多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息。

具体地，根据预先约定的映射配置将保存在内存队列中的批量作业运行数据转化为含有数据来源、作业开始时间、作业结束时间、预估执行时间、预估完成时间、批量运行时长、作业状态、是否为重做作业、作业成功率、作业数据量、是否特殊日、作业所属运行周期点、作业批次以及其他用于区分作业的描述项的标准化批量作业运行信息，同时使用例如数据来源、是否特殊日、作业所属运行周期点、作业批次以及其他用于区分作业的描述项生成用于标记该作业的唯一标识符，该标识符内容的选择可以依据实际情况而定，本发明不限于此。

经过以上方式的标准化格式转化，不同来源的批量数据运行情况将具有共有的标准化结构。

为了方便、直观、更有效地对批量运行数据进行监控，在本发明实施例中，基于图数据模型、根据上述转换后的多个标准化作业信息及其之间的关联关系生成批量作业图，该批量作业图为包含至少两个顶点和至少一条有向边的有向非环图，其中，一个顶点通过有向边与其他顶点连接，每个顶点对应一个标准化作业信息；之后将该批量作业图存储在图数据库中，即，将批量作业运行信息以图模型的形式进行保存。

图3是根据本发明实施例的批量作业图的模型示例图，如图3所示，该作业图包括顶点301、边302、顶点303。其中：

顶点301，用来描述某一特定的批量数据实例，顶点名称可以根据该顶点对应的批量作业信息而定，例如，根据批量作业的唯一标识符来命名，其属性包括如下的一项或多项：数据来源、作业开始时间、作业结束时间、预估执行时间、预估完成时间、批量运行时长、作业状态、是否为重做作业、作业成功率、作业数据量、是否特殊日、是否为重点批量、作业所属运行周期点、作业批次以及其他用于区分作业的描述项。

边302，用来描述顶点301和303对应的批量实例之间的依赖关系。在本发明实施例中，批量依赖关系有两种，一种是作业与作业间的逻辑依赖关系，另一种是作业调用的接口间的逻辑依赖关系。由于批量作业的依赖关系是有向的，因而边也是有方向的。边名称可以以两个批量的唯一标识符组合命名，根据作业调用接口的名称、数据量、和/或与边连接的作业之间的作业时间间隔生成边的名称。在实际操作中，边名称的属性包括如下的一项或多项：依赖的类型、依赖的接口名称(如被接口依赖)、依赖的接口数据量(如被接口依赖)、历史平均间隔(即，边连接的作业之间的作业时间平均间隔，具体可以是依赖批量作业的启动时间减去被依赖批量作业的启动时间)。

顶点303，本质上与顶点301的定义一致，此处描述为顶点303被顶点301依赖，或称顶点301依赖与顶点303。

根据以上表述可知，批量作业在理想情况下可以根据本模型被描述为一个有向带权重非环图。

在一个实施例中，当检测到生成的批量作业图存在环时，表示出现了(逻辑)错误，此时，断开环的任意一边，并生成相应的环告警信息；根据该环告警信息和具体的作业之间的关联关系对批量作业图进行修改。

步骤103，根据告警阈值判断多个标准化作业信息是否触发告警。

这里的告警阈值包括如下至少之一：作业开始时间、作业结束时间、作业运行时长、作业是否中断。

步骤104，响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息。

也就是说，当批量作业未在最晚开始时间前启动、批量作业未在批量最晚结束时间前结束、批量作业运行时间超过预设长度、批量作业发生了中断、或者批量作业发生了其他异常时，会发生告警，此时，监控并分析该告警对应的标准化作业信息以及与其具有关联关系的其他标准化作业信息。

具体而言，监控并分析与所述异常标准化作业信息具有关联关系的上游标准化作业信息，以进行根因分析，即，根据图最大直径算法确定触发告警的根源作业信息。

以及，监控并分析与所述异常标准化作业信息具有关联关系的下游标准化作业信息，以进行影响推断，即，基于异常标准化作业信息的异常情况，判断下游标准化作业信息中标记为重点批量的下游作业的运行信息是否将存在异常；当分析出下游作业的运行信息将超出预期时，例如，下游作业的作业运行开始时间、结束时间、或运行时长未与预期相符，则确定下游作业异常。

步骤105，响应于分析结果为所述其他标准化作业信息异常，生成相应的告警信息。

通过将获取到的多个作业数据进行标准化处理后得到标准化作业信息，之后根据告警阈值对标准化作业信息进行告警判断，当出现告警时，监控并分析与该告警对应的作业信息具有关联关系的其他作业信息(例如，上游和下游作业信息)，相比于现有技术的数据批处理信息互相孤立且难以有效地综合利用，通过本发明实施例的标准化处理步骤、以及监控分析步骤，可以高效地分析告警的问题根源和异常影响，相比于现有技术中的采集数据批处理情况需要对相关业务系统进行侵入性改造，本发明实施例通过数据复制技术就可以获取保存在那些不便于向外提供接口的数据批处理调度系统数据库中的批量作业运行数据，而无需对业务系统进行侵入性改造。

图4是根据本发明实施例的批量作业数据的监控方法的详细流程图，如图4所示，该流程包括：

步骤401，通过辅助数据复制技术采集保存在不便于对外提供接口的数据批处理调度系统如Oracle数据库中的批量作业运行数据，以及接收来自已经经过适配改造的批量作业上送的批量作业运行数据。

步骤402，将采集到的各种类型的数据转换为标准化批量作业运行数据。

步骤403，将标准化批量作业运行数据以字段更新的方式写入内存数据库，集中存储。

步骤404，周期性(例如，每天)触发统计计算程序，用于获取批量作业运行数据的统计量。

步骤405，周期性(例如，每天)触发将批量作业静态信息结合批量作业运行数据的统计量生成图数据模型。这里的静态信息包括：作业数据来源、是否特殊日、是否为重点批量、作业批次以及其他静态描述项等。

步骤406，定时判断所生成的图模型是否存在成环的情况，如果存在，则将环上的任意一边断开，并发出警告，如果不存在，则执行步骤408。

步骤407，将标准化批量作业运行数据以字段更新的方式写入图数据库，用于后续的监控分析。

步骤408，根据告警阈值分析接收到的批量作业是否触发告警，当告警触发时，执行步骤409和410。

步骤409，分析当前告警作业的影响推断，即，分析下游作业的潜在影响。

步骤410，递归追溯当前告警作业的所有产生异常的上游作业，定位告警根源，汇聚告警并产生压缩告警，即，分析该告警作业的根因。

上述各步骤的执行顺序，可以依据实际情况而定，本发明不限于此。

由以上描述可知，通过使用数据复制技术，可以获取不同来源的数据批处理的原始数据，并通过标准化转化将不同来源的原始数据快速转换为规范化格式，便于统一对不同来源的数据进行综合使用；本发明实施例根据批处理作业之间的关联关系等将作业数据以图数据模型保存，以此对当前异常作业信息进行根源分析和下游异常分析，从而实现对异常批量作业的问题根源和异常影响的高效分析。

本发明实施例还提供一种批量作业数据的监控装置，优选地，该装置可以应用上述实施例中的方法。图5是该装置的结构框图，如图5所示，该装置包括：数据获取单元51、格式转换单元52、判断单元53、监控单元54和告警单元55，其中：

数据获取单元51，用于获取预定数据库中的多个原始作业数据、以及来自预定接口上送的多个作业数据；具体而言，基于数据复制技术获取预定数据库中的多个原始作业数据，这里的预定数据库是指那些不便于向外提供接口的数据批处理调度系统的数据库(例如，Oracle数据库)。

格式转换单元52，用于根据预定格式将所述多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息；

判断单元53，用于根据告警阈值判断所述多个标准化作业信息是否触发告警；这里的告警阈值包括作业开始时间、作业结束时间、作业运行时长、作业是否中断等。

监控单元54，用于响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息；

告警单元55，用于响应于分析结果为所述其他标准化作业信息异常，生成相应的告警信息。

通过格式转换单元52将数据获取单元51获取到的多个作业数据进行标准化处理后得到标准化作业信息，之后判断单元53根据告警阈值对标准化作业信息进行告警判断，当出现告警时，监控单元54监控并分析与该告警对应的作业信息具有关联关系的其他作业信息(例如，上游和下游作业信息)，在存在异常时，通过告警单元55进行告警，相比于现有技术的数据批处理信息互相孤立且难以有效地综合利用，通过本发明实施例的格式转换单元52、判断单元53以及监控单元54，可以高效统一地分析告警的问题根源和异常影响，相比于现有技术中的采集数据批处理情况需要对相关业务系统进行侵入性改造，本发明实施例通过数据获取单元51基于数据复制技术就可以获取保存在那些不便于向外提供接口的数据批处理调度系统数据库中的批量作业运行数据，而无需对业务系统进行侵入性改造。

如图6所示，上述装置还包括：作业图生成单元56、存储单元57、顶点名称生成单元58、有向边确定单元59、有向边名称生成单元510、环检测单元511、以及作业图修改单元512，其中：

作业图生成单元56，用于基于图数据模型根据所述多个标准化作业信息及其之间的关联关系生成批量作业图，所述批量作业图为包含至少两个顶点和至少一条有向边的有向非环图，其中，一个顶点通过有向边与其他顶点连接，每个顶点对应一个标准化作业信息。

存储单元57，用于将所述批量作业图存储在图数据库中。

顶点名称生成单元58，用于根据标准化作业信息生成对应的顶点名称。具体地，顶点名称生成单元58根据标准化作业信息中的标识符生成对应的顶点名称，其中，所述标识符包括如下至少之一：数据来源、作业开始时间、作业结束时间、作业运行时长、作业状态、是否重做作业、作业成功率、作业数据量、是否特殊日、是否重点批量数据、作业所属运行周期点、作业批次。

有向边确定单元59，用于根据标准化作业信息之间的关联关系确定有向边。具体地，有向边确定单元59根据标准作业信息之间的逻辑关系、以及作业调用接口之间的逻辑关系确定所述有向边。

有向边名称生成单元510，用于根据作业调用接口的名称、数据量、以及与所述有向边连接的作业之间的作业时间间隔生成所述有向边的名称。

环检测单元511，用于响应于生成的批量作业图存在环，断开所述环的一边，并生成相应的环告警信息。

作业图修改单元512，用于根据所述环告警信息和作业之间的关联关系对所述批量作业图进行修改。

如图7所示，监控单元54包括：根源分析模块541和下游异常分析模块542，其中：根源分析模块541，用于分析与所述异常标准化作业信息具有关联关系的上游标准化作业信息，根据图最大直径算法确定触发告警的根源作业信息；下游异常分析模块542，用于分析与所述异常标准化作业信息具有关联关系的下游标准化作业信息，基于所述异常标准化作业信息的异常情况判断所述下游标准化作业信息中是否将存在异常。

如图8所示，上述下游异常分析模块542包括：下游异常判断子模块5421和下游异常确定子模块5422，其中：

下游异常判断子模块5421，用于基于所述异常情况，判断所述下游标准化作业信息中标记为重点批量的下游作业的运行信息是否将存在异常；

下游异常确定子模块5422，响应于所述运行信息超出预期，确定下游作业异常。这里的运行信息超出预期包括：作业运行开始时间、结束时间、或运行时长未与预期相符。

基于相似的发明构思，上述各单元各模块各子模块的具体执行可以参见上述方法实施例中的描述，此次不再赘述。

在实际操作中，可以依据实际情况而对上述各单元各模块各子模块合一设置或者单一设置，本发明不限于此。

图9是根据本发明实施例的批量作业数据监控装置的示例结构框图，如图9所示，该装置包括：数据采集单元1、标准化转换单元2、图数据库3、内存数据库4、图计算单元5、单一规则比较单元6、作业配置管理单元7、告警生成单元8、统计计算单元9。在本示例中，充分考虑到批量作业运行数据来源多样，以非入侵代码的数据复制技术、标准化接口多渠道监控对接数据来源；同时，基于内存数据库、图数据库充分利用经过标准化转换后的数据，从而有效提升批量作业运行数据这类运维数据的价值。以下分别详细描述各单元。

数据采集单元1主要用于采集不同源头的批量作业数据，并将数据保存在内存队列中以便于标准化转换单元2进行转换格式。具体地，数据采集单元1被动获取来自于已经经过适配改造的数据批处理作业上送的批量作业运行数据，以及主动基于读取数据库重做日志的数据复制技术获取来自于未改造的数据批处理调度系统数据库(Oracle数据库)的批量作业运行数据，并将如上数据保存在内存队列中，以便需要使用该种数据的标准化转换单元2通过TCP连接后轮询进行转换操作。

图10是该数据采集单元1的详细结构框图，如图10所示，该数据采集单元1具体包括：数据库日志抓取模块101、数据接收队列102、标准化数据接收接口103，其中：

数据库日志抓取模块101利用数据复制产品抓取数据库的重做日志，将通常不可读的数据库重做日志还原成用于描述数据操纵语言(DML)的数据修改向量，本发明实施例的数据复制技术被用于抓取不便于改造向外提供接口的商用闭源数据批处理调度系统的批量运行信息，并将抓取的相关信息保存在数据接收队列102中。

数据接收队列102将数据库日志抓取模块101、标准化数据接收接口103所采集到的信息记录在带有持久化功能的内存队列结构中，以便标准化转换单元2进行标准化转换。

标准化数据接收接口103的功能是为既有已经实施改造提供上送批量运行情况能力的作业提供直接接收相关标准格式报文的能力，并将接受到的报文信息保存在数据接收队列102中。

参见图9，标准化转换单元2主要用于将数据采集单元1采集到的来自不同源头的批量作业数据，进行标准化处理。根据预先约定的映射配置将原始数据转化为标准化批量运行信息，同时生成用于标记该作业的唯一标识，并将以上加工后的信息分别写入内存数据库4用以记录批量作业运行历史、以特定格式更新图数据库3以便后续利用相关图算法进行分析、以及转发至单一规则比较单元6用于初步筛选批量作业异常。

图11是该标准化转换单元2的具体结构框图，如图11所示，该标准化转换单元2包括：数据接收模块201、结构解析模块202、转发模块203、内存数据库写入模块204、图数据库写入模块205。

数据接收模块201从数据接收队列102中获取原始批量作业运行数据条目并转由结构解析模块202处理。

结构解析模块202根据预先约定的映射配置将原始批量作业运行数据条目转化为含有数据来源、作业开始时间、作业结束时间、预估执行时间、预估完成时间、批量运行时长、作业状态、是否为重做作业、作业成功率、作业数据量、是否特殊日、作业所属运行周期点、作业批次以及其他用于区分作业的描述项的标准化批量作业运行信息，同时使用数据来源、是否特殊日、作业所属运行周期点、作业批次以及其他用于区分作业的描述项生成用于标记该作业的唯一标识。通过以上方式的转化，不同来源的批量作业运行数据将具有相同的结构。

转发模块203将标准化后的批量作业运行数据转发至单一规则比较单元6用于初步筛选批量作业异常。

内存数据库写入模块204将标准化后的批量作业运行数据写入内存数据库4用以记录批量作业运行历史。

图数据库写入模块205在经图计算单元5初始化的批量作业图模型结构上更新批量运行的相关属性，以便图计算单元5后续利用相关图算法进行分析。

继续参见图9，如图9所示，图数据库3主要用于以图模型形式存储批量作业运行信息，为后续图计算单元5提供图模型化的数据查询平台。图数据库相较于传统关系型数据库的主要区别在于其数据存储模型为图模型、并基于图模型实现了相关的图计算算法、超多层关联等场景，相对于传统关系型数据库，图数据库有着较大的性能优势，是用来表达并计算诸如批量作业及作业关联关系这类对象的一种良好选择。

具体地图模型结构可以参见图3所示的结构，此处不再赘述。

内存数据库4主要用于以键值对及哈希列表的方式记录存储批量作业相关的配置信息、批量作业运行的历史信息、由图计算单元5产生的分析类结果信息、告警生成单元产生的告警信息。由于内存数据库通过内存读写数据，并辅以连续写的文件日志，可以保证意外发生时的数据持久性，可以为依赖于其读写数据的图计算单元5、单一规则比较单元6、作业配置管理单元7、统计计算单元9提供较高的读写性能。

图12是内存数据库4存储信息的示意图，存储信息主要包括：作业静态信息401、作业间依赖信息402、作业接口关联信息403、作业统计信息404、作业告警信息405、作业历史运行信息406、作业单一阈值信息407、作业根因分析结果信息408、影响推断结果信息409，其中：

作业静态信息401描述的内容是批量信息数据来源、是否特殊日、是否为重点批量、作业批次以及其他静态描述项。

作业间依赖信息402描述的内容是作业静态信息401所描述静态批量信息间的关联关系，例如A批量依赖于B批量，用于生成图模型中的边。

作业接口关联信息403描述的内容是作业静态信息401所描述静态批量其产生的接口及需要调用接口的信息，用于生成图模型中的边。

作业统计信息404描述的内容是逐条根据批量作业静态信息筛选出现异常的数据点后，计算其对应的作业历史运行信息的统计量，包括作业开始时间、结束时间、运行时的最大、最小值、均值、中位数、方差。

作业告警信息405描述的内容是由单一规则比较单元6所产生的如下异常信息：批量作业未在最晚开始时间前启动、批量作业未在批量最晚结束时间前结束、批量作业运行时间超过预设长度、批量作业发生了中断、批量作业发生了其他异常。

作业历史运行信息406描述的内容是内存数据库写入单元204处理产生的、以哈希表保存的逐笔批量作业运行记录。

作业单一阈值信息407描述的内容是经由作业配置管理单元7录入的作业告警阈值信息，包括批量最晚开始时间、批量最晚结束时间前结束、运行超时时间等。

作业根因分析结果信息408描述的内容是以哈希列表存储的根据如下根因分析模块503分析所得的告警根因及其关联告警。

影响推断结果信息409描述的内容是以哈希列表存储的根据如下影响推断模块504分析所得的告警后续可能影响关键批量作业节点情况。

图9中的图计算单元5用于对图数据库内存储的图模型化批量运行信息进行初始化、异常判断、分析使用，是基于图模型实现功能的逻辑核心。

图13为图计算单元5的结构框图，如图13所示，图计算单元5包括：图生成模块501、环检测模块502、根因分析模块503、影响推断模块504、图清理模块505，其中：

图生成模块501周期性(例如，每天)利用内存数据库4中的作业静态信息401、作业间依赖信息402、作业接口关联信息403、作业统计信息404结合图数据库3图模型生成下1日的批量作业图。

环检测模块502，由于下述根因分析模块503、影响推断模块504所用到的有向图的最大直径算法依赖于非环的前置条件，同时批量依赖构成环本身就是存在逻辑问题，因而环检测模块502通过环检测算法检测最近一次生成的图中是否包含环，如果存在环，则通过将环上的任意一边断开并经由告警生成单元8发出告警，提示对错误依赖数据进行修改。

根因分析模块503由单一规则比较单元6产生的告警触发操作，基于图模型递归追溯当前批量状态顶点的所有产生异常的上游顶点，并根据图最大直径算法计算当前顶点告警的根源，并根据根源归集存储并转发异常告警。

图14是根因分析模块503执行的根因分析流程图，如图14所示，该流程包括：

步骤1401，由单一规则比较(即，告警阈值)触发产生了图模型上某一特定批量作业的告警；

步骤1402，向上游顶点递归判断上游是否存在告警，如再无法搜索到异常则跳转到步骤1404，如上游仍有异常，则继续步骤1403；

步骤1403，记录所有存在异常的上游顶点；

步骤1404，在被记录的顶点中，计算以当前顶点为起点按照边的预计时间属性加权及不加权的最长图直径路径；

步骤1405，标记两种最远顶点为参考根因，并根据根因聚类展现对应的批量异常报警。

继续参见图13，如图13所示，影响推断模块504依托于记录在模型顶点上的重点批量属性以及记录在边上的历史批量平均执行时间，搜索当前告警顶点的被依赖边遍历搜索当前作业所属运行周期点的下游顶点，确认是否存在被标记为重点批量的关键顶点，计算异常定顶点(即，当前异常顶点)到关键顶点之间按照批量预估时间加权的边的距离之和。选取最大距离的路径所代表的时间与当前时间求和、再与预计关键节点的期望完成时间进行比较，判断是否可能由当前故障导致关键节点的批量运行时间超出预期值，如果超出预期值，则将超预期的结果转发异常告警。

图15是影响推断模块504执行的影响推断的流程图，如图15所示，该流程包括：

步骤1501，由单一规则比较触发产生了图模型上某一特定批量的告警；

步骤1502，通过告警顶点的被依赖边遍历搜索当前作业所属运行周期点的下游顶点，确认是否存在被标记为重点批量的关键顶点，如没有，则结束，如存在，则继续步骤1503；

步骤1503，计算异常定顶点到关键顶点之间的按照批量预估时间加权的边的距离和；

步骤1504，选取最大距离的路径所代表的时间与当前时间求和、再与预计关键顶点的期望完成时间进行比较，如未超过期望完成时间，则继续步骤1506，如果超过，则进行步骤1505；

步骤1505，记录预估情况，向外部集中监控系统发出告警，并继续步骤1506；

步骤1506，检查异常是否仍旧存在，如果是，则返回步骤1502，如果否，则进行其他修正流程，例如进行人工修正等。

图清理模块505通过便利功能将数据日期超过预定天数以上的图模型中的顶点及其边删除，以保证图数据库的性能。

再参见图9，如图9所示，单一规则比较单元6负责将标准化转换单元2产生的标准化批量作业运行信息与内存数据库4中所记录的告警阈值相比较。单一规则比较单元6所支持的告警阈值内容包括：批量作业未在最晚开始时间前启动、批量作业未在批量最晚结束时间前结束、批量作业运行时间超过预设长度、批量作业发生了中断、批量作业发生了其他异常。对于触发阈值的批量作业信息，单一规则比较单元6将其转发至告警生成单元8，并生成对外告警信息记录在内存数据库4中，从而触发图计算单元的相关分析功能。

作业配置管理单元7主要用于提供人机、机机的交互界面，读写内存数据库4中的批量作业的静态信息、告警阈值等信息。

告警生成单元8用于接收图计算单元5及单一规则比较单元6所产生的批量作业告警信息，将其转换成监控系统可以识别的标准告警格式，并转发给相关监控系统。

统计计算单元9用于周期性(例如，每日的间隔)读取内存数据库4中所记录的批量作业历史运行信息、作业静态信息，逐条根据批量作业静态信息筛选出现异常的数据点后，计算其对应的作业历史运行信息的统计量，包括作业开始时间、结束时间、运行时的最大值、最小值、均值、中位数、方差等，并将结果写入内存数据库4中，以供图计算单元5生成基础批量图模型及进行图分析时使用。

图16是根据本发明实施例的电子设备的示意图。图16所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器1601和存储器1602。处理器1601和存储器1602通过总线1603连接。存储器1602适于存储处理器1601可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器1601执行以实现上述批量作业数据监控方法的步骤。

上述处理器1601可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1601通过执行存储器1602所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线1603将上述多个组件连接在一起，同时将上述组件连接到显示控制器1604和显示装置以及输入/输出(I/O)装置1605。输入/输出(I/O)装置1605可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置1605通过输入/输出(I/O)控制器1606与系统相连。

其中，存储器1602可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述批量作业数据监控方法的步骤。

综上所述，本发明实施例通过数据复制技术、格式标准化转换以及图数据库技术，可以优化现有数据批处理的监控功能，主要体现在：(1)在批处理数据获取过程中，可以充分兼容各种来源的批处理相关数据，无需再对数据批处理作业或者数据批处理调度系统进行侵入式改造，避免了增加被监控系统的复杂度；(2)基于数据汇聚及标准化模型，在统一平台即可了解到整个机构内的全局数据批处理情况，避免在各平台间多次人工查询；(3)结合数据分析，提升了批量运行数据的价值，实现了数据批处理相关问题的快速定位和妥善处置。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本说明书实施例中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (24)

1.一种批量作业数据的监控方法，其特征在于，所述方法包括：

周期性的获取预定数据库中的多个原始作业数据、以及来自预定接口上送的多个作业数据；

根据预定格式将所述多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息；

根据告警阈值判断所述多个标准化作业信息是否触发告警；

响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息；

响应于分析结果为所述其他标准化作业信息异常，生成相应的告警信息；

在根据告警阈值判断所述多个标准化作业信息是否触发告警之前，所述方法还包括：

基于图数据模型根据所述多个标准化作业信息及其之间的关联关系生成批量作业图，所述批量作业图为包含至少两个顶点和至少一条有向边的有向非环图，其中，一个顶点通过有向边与其他顶点连接，每个顶点对应一个标准化作业信息；

所述分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息包括：

对于由告警阈值触发的一标准化作业信息的告警，在所述批量作业图上向该标准化作业信息对应的顶点的上游顶点递归判断是否存在告警；

对于存在告警的所述上游顶点，以该标准化作业信息对应的顶点为起点按照边的预计时间属性加权及不加权的最长图直径路径；

标记两种最远顶点为参考根因，并根据根因聚类展现对应的批量异常报警。

2.根据权利要求1所述的批量作业数据的监控方法，其特征在于，所述方法还包括：

根据标准化作业信息生成对应的顶点名称；

根据标准化作业信息之间的关联关系确定有向边。

3.根据权利要求2所述的批量作业数据的监控方法，其特征在于，根据标准化作业信息生成对应的顶点名称包括：

根据标准化作业信息中的标识符生成对应的顶点名称，其中，所述标识符包括如下至少之一：

数据来源、作业开始时间、作业结束时间、作业运行时长、作业状态、是否重做作业、作业成功率、作业数据量、是否特殊日、是否重点批量数据、作业所属运行周期点、作业批次。

4.根据权利要求2所述的批量作业数据的监控方法，其特征在于，根据标准化作业信息之间的关联关系确定有向边包括：

根据标准作业信息之间的逻辑关系、以及作业调用接口之间的逻辑关系确定所述有向边。

5.根据权利要求4所述的批量作业数据的监控方法，其特征在于，所述方法还包括：

根据作业调用接口的名称、数据量、和/或与所述有向边连接的作业之间的作业时间间隔生成所述有向边的名称。

6.根据权利要求1所述的批量作业数据的监控方法，其特征在于，所述方法还包括：

响应于生成的批量作业图存在环，断开所述环的一边，并生成相应的环告警信息；

根据所述环告警信息和作业之间的关联关系对所述批量作业图进行修改。

7.根据权利要求1所述的批量作业数据的监控方法，其特征在于，分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息包括：

分析与所述异常标准化作业信息具有关联关系的下游标准化作业信息，基于所述异常标准化作业信息的异常情况判断所述下游标准化作业信息中是否将存在异常。

8.根据权利要求7所述的批量作业数据的监控方法，其特征在于，基于所述异常标准化作业信息的异常情况判断所述下游标准化作业信息中是否将存在异常包括：

基于所述异常情况，判断所述下游标准化作业信息中标记为重点批量的下游作业的运行信息是否将存在异常；

响应于所述运行信息超出预期，确定下游作业异常。

9.根据权利要求8所述的批量作业数据的监控方法，其特征在于，所述运行信息超出预期包括：

作业运行开始时间、结束时间、或运行时长未与预期相符。

10.根据权利要求1所述的批量作业数据的监控方法，其特征在于，获取预定数据库中的多个作业数据包括：

基于数据复制技术获取预定数据库中的多个原始作业数据。

11.根据权利要求1所述的批量作业数据的监控方法，其特征在于，所述告警阈值包括如下至少之一：

作业开始时间、作业结束时间、作业运行时长、作业是否中断。

12.一种批量作业数据的监控装置，其特征在于，所述装置包括：

数据获取单元，用于周期性的获取预定数据库中的多个原始作业数据、以及来自预定接口上送的多个作业数据；

格式转换单元，用于根据预定格式将所述多个原始作业数据和多个作业数据分别进行标准化处理，以得到多个标准化作业信息；

判断单元，用于根据告警阈值判断所述多个标准化作业信息是否触发告警；

监控单元，用于响应于触发告警，监控并分析与触发告警对应的异常标准化作业信息具有关联关系的其他标准化作业信息；

告警单元，用于响应于分析结果为所述其他标准化作业信息异常，生成相应的告警信息；

所述装置还包括：

作业图生成单元，用于基于图数据模型根据所述多个标准化作业信息及其之间的关联关系生成批量作业图，所述批量作业图为包含至少两个顶点和至少一条有向边的有向非环图，其中，一个顶点通过有向边与其他顶点连接，每个顶点对应一个标准化作业信息；

存储单元，用于将所述批量作业图存储在图数据库中；

所述监控单元包括：

根源分析模块，用于对于由告警阈值触发的一标准化作业信息的告警，在所述批量作业图上向该标准化作业信息对应的顶点的上游顶点递归判断是否存在告警；对于存在告警的所述上游顶点，以该标准化作业信息对应的顶点为起点按照边的预计时间属性加权及不加权的最长图直径路径；标记两种最远顶点为参考根因，并根据根因聚类展现对应的批量异常报警。

13.根据权利要求12所述的批量作业数据的监控装置，其特征在于，所述装置还包括：

顶点名称生成单元，用于根据标准化作业信息生成对应的顶点名称；

有向边确定单元，用于根据标准化作业信息之间的关联关系确定有向边。

14.根据权利要求13所述的批量作业数据的监控装置，其特征在于，所述顶点名称生成单元具体用于：

根据标准化作业信息中的标识符生成对应的顶点名称，其中，所述标识符包括如下至少之一：

数据来源、作业开始时间、作业结束时间、作业运行时长、作业状态、是否重做作业、作业成功率、作业数据量、是否特殊日、是否重点批量数据、作业所属运行周期点、作业批次。

15.根据权利要求13所述的批量作业数据的监控装置，其特征在于，所述有向边确定单元具体用于：

根据标准作业信息之间的逻辑关系、以及作业调用接口之间的逻辑关系确定所述有向边。

16.根据权利要求15所述的批量作业数据的监控装置，其特征在于，所述装置还包括：

有向边名称生成单元，用于根据作业调用接口的名称、数据量、以及与所述有向边连接的作业之间的作业时间间隔生成所述有向边的名称。

17.根据权利要求12所述的批量作业数据的监控装置，其特征在于，所述装置还包括：

环检测单元，用于响应于生成的批量作业图存在环，断开所述环的一边，并生成相应的环告警信息；

作业图修改单元，用于根据所述环告警信息和作业之间的关联关系对所述批量作业图进行修改。

18.根据权利要求12所述的批量作业数据的监控装置，其特征在于，所述监控单元包括：

下游异常分析模块，用于分析与所述异常标准化作业信息具有关联关系的下游标准化作业信息，基于所述异常标准化作业信息的异常情况判断所述下游标准化作业信息中是否将存在异常。

19.根据权利要求18所述的批量作业数据的监控装置，其特征在于，所述下游异常分析模块包括：

下游异常判断子模块，用于基于所述异常情况，判断所述下游标准化作业信息中标记为重点批量的下游作业的运行信息是否将存在异常；

下游异常确定子模块，响应于所述运行信息超出预期，确定下游作业异常。

20.根据权利要求19所述的批量作业数据的监控装置，其特征在于，所述运行信息超出预期包括：

作业运行开始时间、结束时间、或运行时长未与预期相符。

21.根据权利要求12所述的批量作业数据的监控装置，其特征在于，所述数据获取单元用于基于数据复制技术获取预定数据库中的多个原始作业数据。

22.根据权利要求12所述的批量作业数据的监控装置，其特征在于，所述告警阈值包括如下至少之一：

作业开始时间、作业结束时间、作业运行时长、作业是否中断。

23.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至11中任一项所述的批量作业数据监控方法的步骤。

24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的批量作业数据监控方法的步骤。

Images