CN106484866A - 一种批量数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种批量数据处理方法和设备，所述方法包括：获取批量数据处理作业的作业模板；根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；将所述第一更新作业模板复制到各作业执行节点的作业存储位置；根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。本发明实施例可以提高批量数据处理的效率和正确率。

Description

一种批量数据处理方法及装置

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种批量数据处理方法及装置。

背景技术

计算机技术领域，常常涉及数据的批量处理，例如在夜间集中对非实时的计算作业进行处理。在一些业务场景中，在对作业进行批量处理时，往往需要针对作业模板对一些参数变量进行赋值，以实现批量作业的正确处理。举例说明，在银行业务领域，对于同一批量数据处理作业，在不同的分行执行时，需要根据分行的具体信息对某些参数变量进行赋值，这个过程称之为客户化。现有技术中，在每次执行批量数据处理任务前，均需要对批量数据处理作业手工进行客户化。举例说明，若某银行在不同的国家和地区存在40个分行，每个分行需要处理1300个批量作业，则需要人工对1300*40个作业进行人工客户化，耗时极长且错误率高。

发明内容

本发明实施例提供了一种批量数据处理方法及装置，可以提高批量数据处理的效率和正确率。

为此，本发明实施例提供如下技术方案：

第一方面，本发明实施例提供了一种批量数据处理方法，包括：获取批量数据处理作业的作业模板；根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；将所述第一更新作业模板复制到各作业执行节点的作业存储位置；根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，所述方法还包括：

预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

在一些实施方式中，所述节点信息参数具体包括所述节点名称和标识。

在一些实施方式中，所述方法还包括：根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS。

在一些实施方式中，所述方法还包括：

根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

第二方面，本发明实施例提供了一种批量数据处理装置，包括：获取模块，用于获取批量数据处理作业的作业模板；第一更新模块，用于根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；复制模块，用于将所述第一更新作业模板复制到各作业执行节点的作业存储位置；第二更新模块，用于根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，所述装置还包括：设置模块，用于预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

在一些实施方式中，所述装置还包括：第三更新模块，用于根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、CICS字段。

在一些实施方式中，所述装置还包括：执行模块，用于根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

第三方面，本发明实施例提供了一种用于XX的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取批量数据处理作业的作业模板；根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；将所述第一更新作业模板复制到各作业执行节点的作业存储位置；根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，所述处理器具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

在一些实施方式中，所述处理器具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点名称和节点标识，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，所述处理器具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS。

在一些实施方式中，所述处理器具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

本发明实施例提供的批量数据处理方法及装置，可以通过第一参数文件、第二参数文件分步对批量数据处理作业的作业模板进行客户化，以生成各作业执行节点对应的批量数据处理作业。由于对同一任务模板进行客户化处理自动生成了多个作业执行阶段的作业，大大提高了批量数据处理的效率与正确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一个应用场景示意图；

图2为本发明一实施例提供的批量数据处理方法流程图；

图3为本发明另一实施例提供的批量数据处理方法流程图；

图4为本发明一实施例提供的批量数据处理装置示意图；

图5是根据一示例性实施例示出的一种用于批量数据处理装置的框图。

具体实施方式

本发明实施例提供了一种批量数据处理方法及装置，可以提高批量数据处理的效率和正确率。

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

参见图1，为本发明实施例的示例性应用场景。本发明实施例提供的方法可以应用于如图1所示的场景，其中，本发明实施例提供的方法可以应用于如图1所示的服务器100中。举例说明，总行服务器存储有批量数据处理作业模板，总行服务器对其进行客户化处理后，生成多个分行批量数据处理作业，将其分配到各分行服务器进行处理，例如分行服务器1、分行服务器2……分行服务器N。每个分行服务器处理多个批量数据处理任务。每个分行服务器可以视为一个批量处理作业执行节点(以下简称作业执行节点)。当然，本发明实施例还可以应用到其他场景中，在此不进行限制。需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

下面将结合附图2至附图3对本发明示例性实施例示出的批量数据处理方法进行介绍。

参见图2，为本发明一实施例提供的批量数据处理方法流程图。如图2所示，可以包括：

S201，获取批量数据处理作业的作业模板。

具体实现时，针对不同的批量数据处理作业，均建立了对应的作业模板。需要说明的是，所述作业模板对各作业执行节点均是通用的。在具体执行作业时，需要根据各作业执行节点的具体信息对所述作业模板进行更新处理，即客户化处理。在本发明具体实现时，根据批量数据处理客户化的业务处理流程，梳理出了客户化过程中可以自动化处理的步骤，并生成了各参数文件，用于自动执行客户化处理流程。

S202，根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板。

具体实现时，第一参数文件包括环境参数和资源处理通道参数。所述环境参数用于描述作业的执行环境参数。举例说明，假设某次批量数据处理作业执行时，作业执行节点为新加坡行、东京行、首尔行这3家分行，由于其均属于亚太行，对应的环境参数是DEV3。又举例说明，美洲行对应的环境参数是DEV4，欧洲行对应的环境参数是DEV5。所述资源处理通道参数用于描述作业执行节点所依赖的获取资源的处理通道。举例说明，资源处理通道包括A通道、B通道。W通道，可以指定这3家分行的资源处理通道均为A通道，具体可以根据需要设置。

需要说明的是，一次批量数据处理任务可以包括多个不同类型的批量处理作业，每种类型的批量处理作业均对应一个作业模板。因此，具体实现时，需要对各种不同类型的作业模板均进行更新处理。举例说明，假设批量数据处理任务可以包括原表作业、报表作业、C64作业、主批作业，需要根据第一参数文件依次替换原表作业模板、报表作业模板、C64作业模板、主批作业模板中的环境参数(ALIAS)和资源处理通道参数(CLASS队列)。

S203，将所述第一更新作业模板复制到各作业执行节点的作业存储位置。

在一些实施方式中，可以预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。其中，不同类型的作业对应不同的存储位置。举例说明，可以针对不同分行，分别设置存储所述分行的原表作业、报表作业、C64作业、主批作业所使用的PDS文件夹。

在执行S202后，可以将生成的第一更新作业模板分别复制到各作业执行节点的作业存储位置。举例说明，假设存在1000个作业模板，3个分行作业执行节点，则通过复制操作，即生成了3000个作业。

S204，根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

需要说明的是，将所述第一更新作业模板复制到各作业执行节点的作业存储位置后，需要根据各作业执行节点的信息对其进行进一步客户化处理。具体地，可以根据第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数。所述第二参数文件包括节点信息参数，所述节点信息参数可以包括节点名称和节点标识。举例说明，所述节点名称可以是分行的简称，例如东京行的节点名称为JAP，首尔行的节点名称为KL。所述节点标识可以是分行编号，例如东京行的编号为101，首尔行的编号为103。当然，节点信息参数还可以包括其他信息，在此不进行限定。

需要说明的是，经过S202至S204的处理，可以分步更新作业模板的不同参数。举例说明，第一参数文件可以是对各作业执行节点均通用的需要赋值的参数，第二参数文件可以是各作业执行节点独有的，需要个性化处理的参数。这样，分步批量处理，即可通过一个作业模板生成数十个作业。当同时处理多个作业模板时，则可以生成成百上千个批量处理作业。举例说明，在对亚太行进行客户化处理时，若采用现有技术人工的方式，手工客户化一次批量作业，需要32个小时，使用本发明的方法，只需要1到2个小时，大大提高了效率，并且相对于手工客户化准确率高。

在一些实施方式中，所述方法还可以包括：根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS。举例说明，对于某一些作业执行节点，需要更新其部分参数。由于不是针对所有作业执行节点执行，因此可以保存更新参数的作业执行节点的标识以及更新的参数，以生成第三参数文件。在执行S204后，还可以进一步自动对部分批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS进行更新处理。

在一些实施方式中，所述方法还可以包括：根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。举例说明，可以预先定义各作业执行节点对应的参数控制文件，所述参数控制文件为各作业执行节点执行批量数据处理所依赖的参数文件。在各作业执行节点执行批量数据处理时，可以读取所述参数控制文件，利用客户化处理后的批量数据处理作业执行批量处理。

为了便于本领域技术人员更清楚地理解本申请在具体场景下的实施方式，下面以一个具体示例对本申请实施方式进行介绍。需要说明的是，该具体示例仅为使得本领域技术人员更清楚地了解本发明，但本发明的实施方式不限于该具体示例。

参见图3，为本发明一实施例提供的批量数据处理方法流程图。如图4所示，可以包括：

S301，建立各作业执行节点对应的参数控制文件。

举例说明，可以预先建立各分行的参数控制文件，例如QSAM文件、VSAM文件，所述QSAM文件、VSAM文件为各分行执行批量运行时所依赖的参数文件。

S302，对所述参数控制文件进行初始化处理。

S303，设置所述各作业执行节点的作业存储位置。

举例说明，可以针对不同分行，分别设置存储所述分行的原表作业、报表作业、C64作业、主批作业所使用的PDS文件夹。

S304，根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板。

举例说明，根据第一参数文件依次替换原表作业模板、报表作业模板、C64作业模板、主批作业模板中的环境参数(ALIAS)和资源处理通道参数(CLASS队列)。

S305，将所述第一更新作业模板复制到各作业执行节点的作业存储位置。

举例说明，将更新后的原表作业、报表作业、C64作业、主批作业复制到各家分行对应的PDS文件夹中。

S306，根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

举例说明，分别对各家分行的原表作业、报表作业、C64作业、主批作业中的分行简称、分行编号等信息进行替换更新。

S307，根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS。

举例说明，根据需要更新的分行标识以及更新参数文件，对需要更新的分行的作业中的表分区字段、货币码字段、CICS等进行更新替换。

S308，根据各作业执行节点对应的参数控制文件以及更新后的批量数据处理作业执行批量数据处理。

举例说明，读取各分行的参数控制文件QSAM文件、VSAM文件，利用更新后的批量数据处理作业执行批量数据处理。

在本发明实施例中，可以通过自动更新处理，对各作业执行节点的批量数据处理作业进行自动客户化处理，从而节省了人力成本，提高了数据处理的效率和准确率。

下面对本发明实施例提供的方法对应的设备进行介绍。

参见图4，为本发明一实施例提供的批量数据处理装置示意图。

一种批量数据处理装置400，包括：

获取模块401，用于获取批量数据处理作业的作业模板。

第一更新模块402，用于根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板。

复制模块403，用于将所述第一更新作业模板复制到各作业执行节点的作业存储位置。

第二更新模块404，用于根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，所述装置还包括：设置模块，用于预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

在一些实施方式中，所述装置还包括：第三更新模块，用于根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、CICS字段。

在一些实施方式中，所述装置还包括：执行模块，用于根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

参见图5，是本发明另一实施例提供的数据通信的装置的框图。包括：至少一个处理器501(例如CPU)，存储器502和至少一个通信总线503，用于实现这些装置之间的连接通信。处理器501用于执行存储器502中存储的可执行模块，例如计算机程序。存储器502可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器501执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取批量数据处理作业的作业模板；根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；将所述第一更新作业模板复制到各作业执行节点的作业存储位置；根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，处理器501具体用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

在一些实施方式中，处理器501具体用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点名称和节点标识，生成各作业执行节点的批量数据处理作业。

在一些实施方式中，处理器501具体用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS。

在一些实施方式中，处理器501具体用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

其中，本发明装置各单元或模块的设置可以参照图2至图3所示的方法而实现，在此不赘述。

本发明实施例提供的批量数据处理方法及装置，可以通过第一参数文件、第二参数文件分步对批量数据处理作业的作业模板进行客户化，以生成各作业执行节点对应的批量数据处理作业。由于对同一任务模板进行客户化处理自动生成了多个作业执行阶段的作业，大大提高了批量数据处理的效率与正确率。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种批量数据处理方法，其特征在于，所述方法包括：

获取批量数据处理作业的作业模板；

根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；

将所述第一更新作业模板复制到各作业执行节点的作业存储位置；

根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

3.根据权利要求1所述的方法，其特征在于，所述节点信息参数具体包括所述节点名称和标识。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、客户信息控制区域CICS。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

6.一种批量数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取批量数据处理作业的作业模板；

第一更新模块，用于根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；

复制模块，用于将所述第一更新作业模板复制到各作业执行节点的作业存储位置；

第二更新模块，用于根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

设置模块，用于预先设置所述各作业执行节点的作业存储位置；其中，不同类型的作业对应不同的存储位置。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三更新模块，用于根据预先保存的第三参数文件更新所述批量数据处理作业的表分区字段、货币码字段、CICS字段。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

执行模块，用于根据预先定义的参数控制文件以及生成的批量数据处理作业执行批量数据处理。

10.一种用于批量数据处理的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取批量数据处理作业的作业模板；

根据预先保存的第一参数文件更新所述作业模板中的环境参数与资源处理通道参数，获取第一更新作业模板；

将所述第一更新作业模板复制到各作业执行节点的作业存储位置；

根据预先保存的第二参数文件更新各作业执行节点对应的所述第一更新作业模板的节点信息参数，生成各作业执行节点的批量数据处理作业。