CN113918299A - 一种批量作业的处理方法及系统 - Google Patents

Abstract

本发明提出了一种批量作业的处理方法及系统，涉及批量作业处理技术领域，该方法包括：配置批量作业的控制参数；在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。本发明具有高灵活性，可根据以往批量作业运行效率，动态调整控制参数，以在批量窗口内终止作业执行，批量作业功能健壮性好，能够适应业务数据量的变动以及批量作业提交时间的变化。

Description

一种批量作业的处理方法及系统

技术领域

本发明涉及批量作业处理技术领域，尤指一种批量作业的处理方法及系统。

背景技术

目前，大型机作为大型商业服务器，一般用于政府，银行保险公司和大型制造企业，对于银行业，应用系统企业规模信息同步、客户等级信息同步等通常是使用批量作业进行处理实现业务功能的。

商业银行系统需7×24小时提供服务，不同的作业处理不同的业务场景，常有业务场景需要定期对同一类数据进行相同逻辑的处理。有业务顺序要求的作业会按照调度顺序进行执行，这些批量作业提交时间一般都在夜间而不是各网点开门营业期间运行，目的是避免因资源竞争对日间银行联机交易的影响，因此批量作业运行的时间窗口就受到限制。对此，存在以下因素对批量作业造成影响：1、银行系统每日中发生的待处理业务量存在波动，甚至特殊日期波动较大。2、银行系统因受业务限制或者其他系统处理能力限制等因素，每日发生数据变动总量有限制要求。3、由于其他因素，业务处理作业提交运行时间较晚，如果超过阀值，需要人工干预，增加了银行系统维护难度。

综上来看，亟需一种克服上述缺陷，可以在多种不确定性因素下，保持批量作业的运行截止时间不超过预定的时间窗口，且能最大限度的处理业务数据的技术方案。

发明内容

为解决现有技术存在的问题，本发明提出了一种批量作业的处理方法及系统。本发明可以在多种不确定性因素下，保持批量作业的运行截止时间不超过预定的时间窗口，且能最大限度的处理业务数据。

在本发明实施例的第一方面，提出了一种批量作业的处理方法，该方法包括：

配置批量作业的控制参数；

在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；

根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。

在本发明实施例的第二方面，提出了一种批量作业的处理系统，该系统包括：

配置模块，用于配置批量作业的控制参数；

采集模块，用于在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；

判断模块，用于根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。

在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现批量作业的处理方法。

在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现批量作业的处理方法。

本发明提出的批量作业的处理方法及系统通过配置批量作业的控制参数；在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务，整体处理过程具有高灵活性，可根据以往批量作业运行效率，动态调整控制参数，以在批量窗口内终止作业执行，批量作业功能健壮性好，能够适应业务数据量的变动以及批量作业提交时间的变化。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一实施例的批量作业的处理方法流程示意图。

图2是本发明一实施例的采集作业执行信息的详细流程示意图。

图3是本发明一实施例的判断逻辑的详细流程示意图。

图4是本发明一实施例的批量作业的处理系统架构示意图。

图5是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

在本发明实施例中，需要说明的术语有：

大型机：又称Mainframe或主机，是一种大型商业服务器，运行在大型机上的应用程序通常称作大型机程序或者主机程序。

批量作业：为提升数据处理效率，采取的批量处理业务数据的方式，处理一组数据的应用程序，称为一个作业。大型机系统通常使用JCL开发语言进行书写。

提交作业：由作业调度工具，将批量作业交给操作系统运行，进行业务数据处理的过程。

事务提交：程序将已经处理的数据结果，永久写入数据库表或者文件的动作。

释放资源：程序在读取文件或者数据库表记录会对文件或表中数据加不同的锁、系统IO等都可以称为资源，取消文件或者数据库表记录的占用，称为释放资源。

根据本发明的实施方式，提出了一种批量作业的处理方法及系统，涉及批量作业处理技术领域。本发明用于大型机应用系统批量作业处理，通过流内文件或者数据库表配置好作业的运行参数，当作业提交后，读取此参数，确定以下内容：

本作业处理的业务数据量，用于控制处理数据量，超过此数据量的数据，本次作业运行将不再处理，下次(通常为第二天)作业再进行剩余数据处理；

本次作业运行时长，单位为分钟，作业从开始时间进行计时，达到运行时长限制时，如果有未处理的业务数据，将留到下次运行时再处理；

本次作业最晚截止时间，作业运行到最晚截止时间或者作业开始运行时间已经超过最晚截止时间，作业停止运行，如果有未处理的业务数据，将留到下次运行时再处理；

通过以上参数的读取，使用批量作业程序进行记录已处理记录数，作业开始时间，使用一定频率访问银行系统当前时间的方式，就能确定以上三项信息是否有满足，如满足以上任意一项，则程序进行事务提交，释放(程序)资源，结束程序运行，作业下次运行前处理的业务数据量为本次未处理的数据量以及下次批量作业需要处理的数据总量。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明一实施例的批量作业的处理方法流程示意图。如图1所示，该方法包括：

S101，配置批量作业的控制参数；

S102，在执行本次批量作业任务时，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中，采集执行过程中的作业执行信息；

S103，根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。

为了对上述批量作业的处理方法进行更为清楚的解释，下面结合每一步骤来进行详细说明。

在S101中，配置的批量作业的控制参数包括：

作业处理笔数、运行时长、截止时间及采集频率。

在S102中，采集的执行过程中的作业执行信息包括：

当前已处理的作业笔数、作业执行开始时间及当前时间。

参考图2，为本发明一实施例的采集作业执行信息的详细流程示意图。如图2所示，在S102中，在执行本次批量作业任务时，采集作业执行信息，包括：

S1021，在本次批量作业任务执行过程中，每处理一笔业务则更新当前已处理的作业笔数及采集频率的笔数；

S1022，根据所述采集频率的笔数，在采集频率的笔数达到一定数量时，获取当前时间，根据当前时间与作业执行开始时间计算得到已运行时长。

参考图3，为本发明一实施例的判断逻辑的详细流程示意图。如图3所示，

在S103中，根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务，包括：

对于作业处理笔数：

S1031，判断当前已处理的作业笔数是否达到所述作业处理笔数，若达到则进入S1034，停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务。

对于截止时间：

S1032，判断当前时间是否达到截止时间，若达到则进入S1034，停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务。

对于运行时长：

S1033，根据当前时间与作业执行开始时间计算得到已运行时长，判断已运行时长是否达到运行时长，若达到则进入S1034，停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务。

在下次执行任务时，可以将前次未完成的作业数据整合到一起再执行。

以上三种情况只要满足其中一项则立即停止执行本次批量作业。

基于上述过程，可以根据处理数据量，运行时长，截止时间多维度控制作业运行的方法及装置，保证作业在提交时间不确定的场景下，不超出处理时间窗口。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

为了对上述批量作业的处理方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明。

首先，配置批量作业的控制参数，至少包括处理数据量、运行时长、截止时间、采集频率，每次提交作业前均可动态调整。

控制参数可以是：采集频率为500笔，处理数据量为1000万，运行时长为60分钟，截止时间为5：00，则批量作业每处理一笔，都会检查是否达到目标值1000万，每处理500笔时，都会读取银行系统当前时间，判断是否到达运行时长60分钟和截止时间5：00点。

在配置好控制参数后，通过封装好的子程序，供批量作业程序调用采集控制信息。

将上日未完成的业务数据和本日待处理数据，作为本次批量作业的处理数据范围。

例如，上日未处理数据量为10万，本日新业务产生待处理数据量为1200万，则本次批量作业的数据量为1210万。

在执行批量作业的过程中，读取控制信息，再循环执行业务处理逻辑，每处理一笔业务数据，处理笔数计数器加1，采集频率计数器加1，并做如下判断：

若处理笔数达到“处理数据量”参数，例如，处理数据量达到1000万，则提交事务，关闭资源，批量作业停止运行。

若采集频率计数器达到“采集频率”则读取银行系统当前时间，判断银行系统当前时间是否达到“截止时间”参数要求，例如，每达到采集频率的500笔，则读取银行系统当前时间，判断银行系统当前时间是否达到5：00，若满足则提交事务，关闭资源，批量作业停止运行。

若采集频率计数器达到“采集频率”则读取银行系统当前时间，使用当前时间减去执行开始时间，作为已运行时长，判断是否达到“运行时长”，例如，每达到采集频率的500笔，则读取银行系统当前时间，减去执行开始时间得到已运行时长，判断已运行时长是否达到60分钟，若满足运行时长，则提交事务，关闭资源，批量作业停止运行。

上述三种情况满足任一条件，则提交事务，关闭资源，批量作业停止运行。对于未处理的数据可以留在次日的批量作业任务继续处理。

在另一实施例中，可以预先统计待处理业务数据量，拆分出一定规模的数据量本日处理，但是无法根据作业运行时长、截止时间进行控制，因银行系统每日各种业务场景的数据量变动会导致处理各个场景业务数据的作业开始运行的时间不一致，此方法仅部分解决时间窗口问题，无法解决作业提交时间较晚，到窗口期也无法处理拆分出的数据量，导致作业运行超过窗口期的情况发生。

在介绍了本发明示例性实施方式的方法之后，接下来，参考图4对本发明示例性实施方式的批量作业的处理系统进行介绍。

批量作业的处理系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

基于同一发明构思，本发明还提出了一种批量作业的处理系统，如图4所示，该系统包括：

配置模块410，用于配置批量作业的控制参数；

采集模块420，用于在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；

判断模块430，用于根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。

在一实施例中，所述配置模块410配置的批量作业的控制参数包括：

作业处理笔数、运行时长、截止时间及采集频率。

在一实施例中，所述采集模块420采集的作业执行信息包括：

当前已处理的作业笔数、作业执行开始时间及当前时间。

在一实施例中，所述采集模块420具体用于：

在本次批量作业任务执行过程中，每处理一笔业务则更新当前已处理的作业笔数及采集频率的笔数；

根据所述采集频率的笔数，在采集频率的笔数达到一定数量时，获取当前时间，根据当前时间与作业执行开始时间计算得到已运行时长。

在一实施例中，所述判断模块430具体用于：

判断当前已处理的作业笔数是否达到所述作业处理笔数，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务；

判断当前时间是否达到截止时间，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务；

根据当前时间与作业执行开始时间计算得到已运行时长，判断已运行时长是否达到运行时长，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务。

应当注意，尽管在上文详细描述中提及了批量作业的处理系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

基于前述发明构思，如图5所示，本发明还提出了一种计算机设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理器520执行所述计算机程序530时实现前述批量作业的处理方法。

基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述批量作业的处理方法。

本发明提出的批量作业的处理方法及系统通过配置批量作业的控制参数；在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务，整体处理过程具有高灵活性，可根据以往批量作业运行效率，动态调整控制参数，以在批量窗口内终止作业执行，批量作业功能健壮性好，能够适应业务数据量的变动以及批量作业提交时间的变化。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种批量作业的处理方法，其特征在于，该方法包括：

配置批量作业的控制参数；

在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；

根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。

2.根据权利要求1所述的批量作业的处理方法，其特征在于，配置的批量作业的控制参数包括：

作业处理笔数、运行时长、截止时间及采集频率。

3.根据权利要求2所述的批量作业的处理方法，其特征在于，在执行本次批量作业任务时，采集的作业执行信息包括：

当前已处理的作业笔数、作业执行开始时间及当前时间。

4.根据权利要求3所述的批量作业的处理方法，其特征在于，在执行本次批量作业任务时，采集作业执行信息，包括：

在本次批量作业任务执行过程中，每处理一笔业务则更新当前已处理的作业笔数及采集频率的笔数；

根据所述采集频率的笔数，在采集频率的笔数达到一定数量时，获取当前时间，根据当前时间与作业执行开始时间计算得到已运行时长。

5.根据权利要求4所述的批量作业的处理方法，其特征在于，根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务，包括：

判断当前已处理的作业笔数是否达到所述作业处理笔数，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务；

判断当前时间是否达到截止时间，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务；

根据当前时间与作业执行开始时间计算得到已运行时长，判断已运行时长是否达到运行时长，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务。

6.一种批量作业的处理系统，其特征在于，该系统包括：

配置模块，用于配置批量作业的控制参数；

采集模块，用于在执行本次批量作业任务时，采集作业执行信息；其中，如果有前次批量作业任务未完成的作业数据，将未完成的作业数据整合到本次批量作业任务中；

判断模块，用于根据所述作业执行信息判断是否达到所述批量作业的控制参数，若达到则停止批量，将未完成的作业数据保留至下次批量作业任务。

7.根据权利要求6所述的批量作业的处理系统，其特征在于，所述配置模块配置的批量作业的控制参数包括：

作业处理笔数、运行时长、截止时间及采集频率。

8.根据权利要求7所述的批量作业的处理系统，其特征在于，所述采集模块采集的作业执行信息包括：

当前已处理的作业笔数、作业执行开始时间及当前时间。

9.根据权利要求8所述的批量作业的处理系统，其特征在于，所述采集模块具体用于：

在本次批量作业任务执行过程中，每处理一笔业务则更新当前已处理的作业笔数及采集频率的笔数；

根据所述采集频率的笔数，在采集频率的笔数达到一定数量时，获取当前时间，根据当前时间与作业执行开始时间计算得到已运行时长。

10.根据权利要求9所述的批量作业的处理系统，其特征在于，所述判断模块具体用于：

判断当前已处理的作业笔数是否达到所述作业处理笔数，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务；

判断当前时间是否达到截止时间，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务；

根据当前时间与作业执行开始时间计算得到已运行时长，判断已运行时长是否达到运行时长，若达到则停止执行本次批量作业，将未完成的作业数据保留至下次批量作业任务。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。

Images