CN104331323A - 一种日报作业的调度方法及系统 - Google Patents

Abstract

本发明涉及一种日报作业的调度方法及系统，其中方法包括：步骤1：接收一个下级作业的执行请求；步骤2：通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，执行步骤5；否则，执行步骤3；步骤3：等待预设的时间间隔，判断上级作业执行过程是否出现错误，如果是，执行步骤4；否则，执行步骤2；步骤4：发出告警或跳过错误，执行步骤2；步骤5：启动下级作业，并执行下级作业。本发明在作业调度执行过程中，最大限度保障了作业执行的顺序性和有效性，同时不浪费作业之间的时间，在后一个作业等待的过程中对前一个作业的日志进行分析，以达到提前预警、提前处理的目的。

Description

一种日报作业的调度方法及系统

技术领域

本发明涉及一种日报作业的调度方法及系统，属于计算机技术领域。

背景技术

日报系统是一个流程化的系统，按业务逻辑先后顺序对基础数据进行加工和计算，每一个步骤都是基于前一个步骤的结果进行计算，前一个步骤的正确执行与否直接影响后一个步骤的执行结果，以致影响最后日报指标的准确性和及时性。

目前日报按定时作业调度的方式进行。现有日报采用定时作业调度的方式进行，在作业与作业之间的前后置关系限制下，无法很好的判断前一个作业的执行状态，从而对下一个作业进行控制，这样容易出现前置条件未执行完成而后一个作业已经启动造成指标计算错误或者不完整的情况。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种最大限度的保障了作业执行的顺序性和有效性，同时不浪费作业之间的时间的日报作业的调度方法。

本发明解决上述技术问题的技术方案如下：一种日报作业的调度方法，具体包括以下步骤：

步骤1：接收一个下级作业的执行请求；

步骤2：通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，执行步骤5；否则，执行步骤3；

步骤3：等待预设的时间间隔，在等待过程中对上级作业进行日志分析，判断上级作业执行过程是否出现错误，如果是，执行步骤4；否则，执行步骤2；

步骤4：发出告警或跳过错误，执行步骤2；

步骤5：启动下级作业，并执行下级作业。

本发明的有益效果是：相较定时作业调度而言，本发明在作业调度执行过程中，最大限度保障了作业执行的顺序性和有效性，同时不浪费作业之间的时间，也可以在后一个作业等待的过程中对前一个作业的日志进行分析，以达到提前预警、提前处理的目的。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述日志标志在作业执行结束后设置，用于记录该作业执行的结果状态和执行的时间信息。

进一步，所述数据标志在作业执行结束后设置，用于记录该作业处理的数据相关信息，如指标间的平衡性稽核结果等。

进一步，所述预设时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡。

进一步，所述步骤3中的错误包括数据库交互日志错误、业务逻辑错误和作业内部错误；

当上级作业出现数据库交互日志错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现业务逻辑错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现作业内部错误时，不影响下一步的执行，跳过错误，根据实际情况自动选择重新执行、跳过执行或断点继续执行。

出现作业内部错误时，对执行方式的选择的配置需要根据业务复杂度、重要级别等属性与用户业务管理人员共同商定。

本发明所要解决的技术问题是，针对现有技术的不足，提供一种最大限度的保障了作业执行的顺序性和有效性，同时不浪费作业之间的时间的日报作业的调度方法。

本发明解决上述技术问题的技术方案如下：一种日报作业的调度系统，包括请求模块、判断模块、等待模块和执行模块；

所述请求模块用于接收一个下级作业的执行请求；

所述判断模块通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，触发执行模块；否则，触发等待模块；

所述等待模块用于等待预设的时间间隔，在等待过程中对上级作业进行日志分析，判断上级作业执行过程是否出现错误，如果是，发出告警或跳过错误，触发判断模块；否则，直接触发判断模块；

所述执行模块用于启动下级作业，并执行下级作业。

本发明的有益效果是：相较定时作业调度而言，本发明在作业调度执行过程中，最大限度保障了作业执行的顺序性和有效性，同时不浪费作业之间的时间，也可以在后一个作业等待的过程中对前一个作业的日志进行分析，以达到提前预警、提前处理的目的。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述日志标志在作业执行结束后设置，用于记录该作业执行的结果状态和执行的时间信息。

进一步，所述数据标志在作业执行结束后设置，用于记录该作业处理的数据相关信息，如指标间的平衡性稽核结果等。

进一步，所述预设时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡。

进一步，所述等待模块中的错误包括数据库交互日志错误、业务逻辑错误和作业内部错误；

当上级作业出现数据库交互日志错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现业务逻辑错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现作业内部错误时，不影响下一步的执行，跳过错误，根据实际情况自动选择重新执行、跳过执行或断点继续执行。

出现作业内部错误时，对执行方式的选择的配置需要根据业务复杂度、重要级别等属性与用户业务管理人员共同商定。

附图说明

图1为本发明具体实施例1所述的一种日报作业的调度方法流程图；

图2为本发明具体实施例1所述的一种日报作业的调度系统结构框图；

图3为本发明具体实施例2所述的一种日报作业的调度方法在日报系统中执行过程的简化流程图。

附图中，各标号所代表的部件列表如下：

1、请求模块，2、判断模块，3、等待模块，4、执行模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明具体实施例1所述的一种日报作业的调度方法，具体包括以下步骤：

步骤1：接收一个下级作业的执行请求；

步骤2：通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，执行步骤5；否则，执行步骤3；

步骤3：等待预设的时间间隔，在等待过程中对上级作业进行日志分析，判断上级作业执行过程是否出现错误，如果是，执行步骤4；否则，执行步骤2；

步骤4：发出告警或跳过错误，执行步骤2；

步骤5：启动下级作业，并执行下级作业。

所述日志标志在作业执行结束后设置，用于记录该作业执行的结果状态和执行的时间信息。

所述数据标志在作业执行结束后设置，用于记录该作业处理的数据相关信息，如指标间的平衡性稽核结果等。

所述预设时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡。

所述步骤3中的错误包括数据库交互日志错误、业务逻辑错误和作业内部错误；

当上级作业出现数据库交互日志错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现业务逻辑错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现作业内部错误时，不影响下一步的执行，跳过错误，根据实际情况自动选择重新执行、跳过执行或断点继续执行。

出现作业内部错误时，对执行方式的选择的配置需要根据业务复杂度、重要级别等属性与用户业务管理人员共同商定。

如图2所示，为本发明具体实施例1所述的一种日报作业的调度系统，包括请求模块1、判断模块2、等待模块3和执行模块4；

所述请求模块1用于接收一个下级作业的执行请求；

所述判断模块2通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，触发执行模块4；否则，触发等待模块3；

所述等待模块3用于等待预设的时间间隔，在等待过程中对上级作业进行日志分析，判断上级作业执行过程是否出现错误，如果是，发出告警或跳过错误，触发判断模块2；否则，直接触发判断模块2；

所述执行模块4用于启动下级作业，并执行下级作业。

所述日志标志在作业执行结束后设置，用于记录该作业执行的结果状态和执行的时间信息。

所述数据标志在作业执行结束后设置，用于记录该作业处理的数据相关信息，如指标间的平衡性稽核结果等。

所述预设时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡。

所述等待模块3中的错误包括数据库交互日志错误、业务逻辑错误和作业内部错误；

当上级作业出现数据库交互日志错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现业务逻辑错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现作业内部错误时，不影响下一步的执行，跳过错误，根据实际情况自动选择重新执行、跳过执行或断点继续执行。

出现作业内部错误时，对执行方式的选择的配置需要根据业务复杂度、重要级别等属性与用户业务管理人员共同商定。

本技术方案包括以下几个方面：

1.设置作业执行成功的日志标志，该标志在作业成功执行结束后设置，记录该作业执行的结果状态及执行的时间；

2.设置作业执行成功的数据标志，该标志在作业执行结束后设置，记录该作业处理的数据相关信息，如指标间的平衡性稽核结果等；

3.后一个作业在执行之前，对前一个作业的日志标志及数据标志进行判断，如果满足判断条件，则启动该作业，否则按一定时间间隔(该时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡)对标志进行循环判断，直至标志更新为成功，立即启动后一个作业。

4.在等待的过程中，该方法会启动流程外的监控程序对前一个作业进行日志分析，以决定下一个作业的执行情况。分析过程大致可分为以下几种情况：

1)数据库交互日志错误：通过对数据库标准报错日志分析，对日志进行分类分级，如系统级、对象级、业务级，再针对不同的级别配置告警内容及告警对象，以达到及时通知的目的。该类错误后续作业需继续等待，直至故障排除后立即自动执行(主机重启需手工执行)；

2)业务逻辑错误：通过对执行日志中业务处理部分的分析，对报错信息进行分类，如业务冲突、业务逻辑不一致等，该类错误会定位具体的业务类别，并对后续作业中涉及该类业务的作业进行限制(等待执行)，但不影响其他作业的正常执行，同时发出告警信息，通过相应业务维护人员进行处理(业务逻辑部分随着业务的发展变化配置会随之变化，需要人工进行元数据维护)；

3)作业内部错误：作业在执行过程中发生内部错误或是程序级错误，而非系统级错误，根据调度策略配置信息，自动选择重新执行、跳过执行、断点继续执行(该部分执行方式的选择的配置需要根据业务复杂度、重要级别等属性与用户业务管理人员共同商定)。

本发明中的以前置作业的日志标志及数据标志作为后一个作业启动的前置条件，同时后一个作业在前置条件不满足的情况下，可以对前一个作业的日志进行分析，以更加优化的形式对作业进行调度，解决了作业定时启动时出现前置作业未执行成功导致的数据不完整、不准确等难题，应当予以保护。

图3图3为本发明具体实施例2所述的一种日报作业的调度方法在日报系统中执行过程的简化流程图。

其中：作业1、2为作业3的前置条件，其中作业1为充要条件，作业2为充分条件，当作业1执行不成功，作业3必须等待，作业2执行不成功，作业3可继续执行，通过日志标志及数据标志的分析，由调度程序决定作业3是否执行；

作业3为作业4的充要条件，作业3的标志分析结果为失败，则作业4必须等待；

作业4为作业5的非限制条件，无论作业4的标志分析结果是什么，作业5均可执行，但为保障整个日报的准确性和及时性，可在冗余时间范围内等待，冗余时间的配置需与用户业务管理人员共同商定；

作业5为作业6的充要条件，作业6为作业7、8、9、10.……的充要条件；

作业7为作业11、12、13、14的充要条件，与作业8、9、10无关，如果作业8执行失败，不影响作业11、12、13、14的执行。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日报作业的调度方法，其特征在于，具体包括以下步骤：

步骤1：接收一个下级作业的执行请求；

步骤2：通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，执行步骤5；否则，执行步骤3；

步骤3：等待预设的时间间隔，在等待过程中对上级作业进行日志分析，判断上级作业执行过程是否出现错误，如果是，执行步骤4；否则，执行步骤2；

步骤4：发出告警或跳过错误，执行步骤2；

步骤5：启动下级作业，并执行下级作业。

2.根据权利要求1所述的一种日报作业的调度方法，其特征在于，所述日志标志在作业执行结束后设置，用于记录该作业执行的结果状态和执行的时间信息。

3.根据权利要求2所述的一种日报作业的调度方法，其特征在于，所述数据标志在作业执行结束后设置，用于记录该作业处理的数据相关信息。

4.根据权利要求3所述的一种日报作业的调度方法，其特征在于，所述预设时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡。

5.根据权利要求1-4任一项所述的一种日报作业的调度方法，其特征在于，所述步骤3中的错误包括数据库交互日志错误、业务逻辑错误和作业内部错误；

当上级作业出现数据库交互日志错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现业务逻辑错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现作业内部错误时，不影响下一步的执行，跳过错误，根据实际情况自动选择重新执行、跳过执行或断点继续执行。

6.一种日报作业的调度系统，其特征在于，包括请求模块、判断模块、等待模块和执行模块；

所述请求模块用于接收一个下级作业的执行请求；

所述判断模块通过上一级执行的上级作业执行结束时设置的日志标志和数据标志，判断上级作业是否执行成功，如果是，触发执行模块；否则，触发等待模块；

所述等待模块用于等待预设的时间间隔，在等待过程中对上级作业进行日志分析，判断上级作业执行过程是否出现错误，如果是，发出告警或跳过错误，触发判断模块；否则，直接触发判断模块；

所述执行模块用于启动下级作业，并执行下级作业。

7.根据权利要求6所述的一种日报作业的调度系统，其特征在于，所述日志标志在作业执行结束后设置，用于记录该作业执行的结果状态和执行的时间信息。

8.根据权利要求7所述的一种日报作业的调度系统，其特征在于，所述数据标志在作业执行结束后设置，用于记录该作业处理的数据相关信息。

9.根据权利要求8所述的一种日报作业的调度系统，其特征在于，所述预设时间间隔需要在实际生产过程中进行调整以保障等待时间及主机性能的最优平衡。

10.根据权利要求6-9任一项所述的一种日报作业的调度系统，其特征在于，所述等待模块中的错误包括数据库交互日志错误、业务逻辑错误和作业内部错误；

当上级作业出现数据库交互日志错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现业务逻辑错误时，发出告警，直到错误解决后才执行下级作业；

当上级作业出现作业内部错误时，不影响下一步的执行，跳过错误，根据实际情况自动选择重新执行、跳过执行或断点继续执行。