CN111399851A - 基于分布式系统的批处理执行方法 - Google Patents

Abstract

本发明涉及基于分布式系统的批处理执行方法，包括：S1．维度作业调度组件向各任务节点下发批处理指令和维度数据；S2．任务节点获取数据源的源数据，放入源数据集合NS中，输出到节点作业处理组件；S3．节点作业处理组件处理接收的源数据，输出到节点算法组件；S4．节点算法组件计算源数据的落地位置，输出各数据源与源数据对应关系的集合到预编译批处理组件；S5．预编译批处理组件源数据，实现对源数据的持久化；S6．所有任务节点执行完成后，分布式批处理任务结束。本发明能够具有目前开源框架的任务调度和监控等功能，同时又形成了标准且高效的大规模数据的批量处理方式，有效解决了批处理程序因为开发人员能力问题而产生的性能等问题。

Description

基于分布式系统的批处理执行方法

技术领域

本发明涉及大数据的数据批处理处理方法，具体讲是基于分布式系统的批处理执行方法。

背景技术

随着分布式微服务系统的广泛推广和应用，特别是在数据量高速增长的背景下，目前很多银行系统都采用了分库分表的策略来存储大规模日间交易数据。基于某些特殊业务的需要，如何在规定的时间内，集中且高效的处理完大规模日间交易，是许多分布式系统所面临的难题。例如，需要在T+1日处理T日的日间交易，将T日的日间交易按照某种业务逻辑进行核对，校验和修正后，给下游系统提供T日的日终对账明细，下游系统根据对账明细核算本系统T日的交易状态和资金，从而保证系统间交易状态的最终一致性以及资金的零误差。

目前，批处理框架多种多样，很多银行系统针对批处理任务一般使用开源的分布式批处理框架。但开源的批处理框架通常存在一些缺陷，例如：

1）、开源的分布式批处理框架只解决了数据分片和分布式任务调度，没有解决贴近业务的大规模数据的批量处理方法；

2）、针对分库分表存储策略下的分布式系统，开源社区还没有形成标准且高效的批处理方法。

所以，开源的批处理框架功能较为单一，无法完全满足业务的发展需要。同时，各个银行系统根据自身业务规则开发批处理应用程序的周期长，维护成本高，而且由于开发人员的水平各不相同，开发的批处理程序还存在各种各样的性能问题，从而影响公司的业务开展。

发明内容

本发明提供了一种基于分布式系统的批处理执行方法，既具有目前开源框架的任务调度和监控等功能，同时又形成了标准且高效的大规模数据的批量处理方式，以解决批处理程序因为开发人员能力问题而产生的性能等问题。

本发明基于分布式系统的批处理执行方法，包括：

S1．通过金融行业的维度作业调度组件向各任务节点下发批处理指令和用于数据处理的维度数据；

S2．任务节点接收到批处理指令后，启动批处理程序并初始化数据源，通过数据源DS-1~DS-N分别获取对应的存储节点1~N的源数据，将获取的所有源数据汇总后输出到源数据集合NS中，并将源数据集合NS输出到节点作业处理组件中，所述的源数据集合NS在存储器中的存储结构为：<节点：源数据集合>；

S3．节点作业处理组件根据业务规则对源数据集合NS中的源数据进行处理后，输出到节点算法组件；

S4．节点算法组件计算每个源数据的落地位置，再根据各数据源的落地位置与数据源的匹配关系，输出各数据源与源数据对应关系的集合到预编译批处理组件中；

S5．预编译批处理组件从数据源与源数据对应关系的集合中获取各数据源和其对应的源数据的链接，然后通过所述链接预编译各数据源对应的源数据，最后提交预编译后的源数据，实现对源数据的持久化；循环执行本步骤直到所有数据源对应的源数据完成预编译后，完成预编译的批处理；

S6．所有任务节点执行完成步骤S2至步骤S5后，分布式批处理任务结束。

通过本发明的方法，开发人员只需要关注业务处理，批处理的运算和执行由统一的组件进行处理，开发人员无需介入，从而达到了缩短应用批处理程序的开发周期，降低运营维护成本的目的，也解决了批处理程序因为开发人员能力问题而产生的性能等问题。其中节点作业处理组件是各业务系统根据自身实际情况实现的业务逻辑，其他流程结点和组件是通用的处理模块，业务系统无需介入。在批处理的执行过程中，按照最优颗粒度的业务维度，通过节点算法组件和预编译批处理组件的组合流程，在满足业务的条件下，使任务节点的系统资源利用率达到最低，从而保证了任务节点运行的稳定性。并且，按照数据源维度批量执行源数据，减少了应用系统与存储器之间的网络通讯次数，执行速度快且效率高。

进一步的，步骤S1中，先通过维度作业调度组件配置用于数据处理的维度数据，然后再将批处理指令和配置好的维度数据下发给各任务节点，在任务节点的任务执行过程中，维度作业调度组件实时监听各任务节点的服务状态和运行参数，根据各任务节点的运行情况对各任务节点的任务进行调度。维度作业调度组件用于监听、协调和调度各节点任务，保证节点正确的执行批处理作业，同时下发作业维度数据。

进一步的，步骤S2中，启动批处理程序时获取1~N各存储节点对应的数据源参数，并在校验了数据源参数的合法性后，通过数据源参数分别获得并初始化存储节点1~N分别对应的数据源DS-1~DS-N，将数据源DS-1~DS-N依次添加到已定义的数据源集合中，并且各数据源实时检查其对应源数据的链接的有效性，保证数据源始终存在有效的链接；在存储器中建立源数据集合NS的存储结构为<节点：源数据集合>，通过所述数据源集合中的各初始化后的数据源获得各数据源对应的源数据，然后将各数据源的源数据依次放入源数据集合NS中。批处理程序的任务包括有为应用系统提供了源数据的维查询服务、预编译服务、批量提交服务等服务。

进一步的，步骤S4中，节点算法组件提取出每个源数据报文中分库分表的关键字段-关键值的键值对，根据已定义的算法计算所述关键值的落地位置P，然后根据数据源DS与落地位置P的匹配键-值关系<P，DS>，得到每个落地位置P对应的数据源DS；最后将待处理的源数据添加到源数据集合PS中，再将源数据集合PS添加到数据源与源数据集合对应关系集合S2中，数据源与源数据集合对应关系集合S2在存储器中的存储结构为：<DS：PS>，并重复执行，直到源数据集合PS中的数据全部处理完成；输出数据源与源数据集合对应关系集合S2到预编译批处理组件中。节点算法组件根据已定义的算法规则计算源数据的落地位置P，同时也为批处理程序提供核心算力，为预编译批处理组件提供处理依据。

进一步的，步骤S5中，预编译批处理组件从各数据源中获取各自对应可用的链接，然后通过所述链接获得各数据源对应的源数据，并循环处理数据源中的源数据，生成可执行的脚本集合，通过所述链接循环预编译所述脚本集合，处理后添加到待提交批次中；当脚本集合预编译完成后，批量提交待处理批次，完成本轮源数据持久化处理。大规模交易在分库分表的情况下，预编译批处理组件提供了大批量源数据的处理方法，从而满足了在一定时间区间内处理完所有业务数据的要求。

在此基础上，步骤S3之前，先判断源数据集合NS中待执行的节点是否对应有源数据，如果有，则执行步骤S3，否则结束任务。

同理的，步骤S4中，节点算法组件先判断接收到的源数据集合NS中是否有源数据，如果没有，则结束任务，如果有，再计算每个源数据的落地位置。

同理的，步骤S5中，预编译批处理组件先判断在接收到的数据源与源数据对应关系的集合中是否存在数据源和源数据，如果没有，则结束任务，如果有，则处理数据源对应的源数据。

本发明基于分布式系统的批处理执行方法，能够具有目前开源框架的任务调度和监控等功能，同时又形成了标准且高效的大规模数据的批量处理方式，有效解决了批处理程序因为开发人员能力问题而产生的性能等问题。大幅度缩短了应用批处理程序的开发周期，并且能够按照数据源维度批量执行源数据，明显减少了应用系统与存储器之间的网络通讯次数，执行速度和效率都得到了有效提高。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1为本发明基于分布式系统的批处理执行方法的流程图。

图2为图1中节点算法组件的执行流程图。

图3为图1中预编译批处理组件的执行流程图。

具体实施方式

如图1所示本发明基于分布式系统的批处理执行方法，包括：

S1．通过金融行业的维度作业调度组件配置用于数据处理的维度数据，然后向各任务节点下发批处理指令和用于数据处理的维度数据。在任务节点的任务执行过程中，维度作业调度组件实时监听各任务节点的服务状态和运行参数，根据各任务节点的运行情况对各任务节点的任务进行调度。维度作业调度组件用于监听、协调和调度各节点任务，保证节点正确的执行批处理作业，同时下发作业维度数据。

S2．批处理程序的任务包括有为应用系统提供了源数据的维查询服务、预编译服务、批量提交服务等服务。任务节点接收到批处理指令后，启动批处理程序并初始化数据源，获取1~N各存储节点对应的数据源参数，并在校验了数据源参数的合法性后，通过数据源参数分别获得并初始化存储节点1~N对应的数据源DS-1~DS-N，将数据源DS-1~DS-N依次添加到已定义的数据源集合中，并且各数据源实时检查其对应源数据的链接的有效性，保证数据源始终存在有效的链接；在存储器中建立源数据集合NS的存储结构为<节点：源数据集合>。通过所述数据源集合中的各初始化后的数据源获得各数据源对应的源数据，然后将获取的所有源数据汇总后依次放入源数据集合NS中，并将源数据集合NS输出到节点作业处理组件中。

S3．节点作业处理组件判断源数据集合NS中待执行的节点是否对应有源数据，如果没有，结束任务，如果有，则节点作业处理组件根据业务规则对源数据集合NS中的源数据进行处理后，输出到节点算法组件。

S4．节点算法组件根据已定义的算法规则计算源数据的落地位置P，同时也为批处理程序提供核心算力，为预编译批处理组件提供处理依据。

如图2所示，节点算法组件先判断接收到的源数据集合NS中是否有源数据，如果没有则结束任务，如果有，则通过节点算法组件提取出每个源数据报文中分库分表的关键字段-关键值的键值对（key-value），根据已定义的算法计算所述关键值的落地位置P，然后根据数据源DS与落地位置P的匹配键-值关系<P，DS>，得到每个落地位置P对应的数据源DS；最后将待处理的源数据添加到源数据集合PS中，再将源数据集合PS添加到数据源与源数据集合对应关系集合S2中，数据源与源数据集合对应关系集合S2在存储器中的存储结构为：<DS：PS>，并重复执行，直到源数据集合PS中的数据全部处理完成；输出数据源与源数据集合对应关系集合S2到预编译批处理组件中。

S5．如图3所示，预编译批处理组件先判断在接收到的数据源与源数据对应关系的集合S2中是否存在数据源DS和源数据PS，如果没有，则结束任务，如果有，预编译批处理组件则从数据源与源数据集合对应关系集合S2中获取各数据源对应的源数据的链接，然后通过所述链接获得各数据源对应的源数据，并循环处理数据源中的源数据，生成可执行的脚本集合，通过所述链接循环预编译所述脚本集合，处理后添加到待提交批次中；当脚本集合预编译完成后，批量提交待处理批次，完成本轮源数据持久化处理。循环执行本步骤直到所有数据源对应的源数据完成预编译后，完成预编译的批处理。大规模交易在分库分表的情况下，预编译批处理组件提供了大批量源数据的处理方法，从而满足了在一定时间区间内处理完所有业务数据的要求。

S6．所有任务节点执行完成步骤S2至步骤S5后，分布式批处理任务结束。

通过本发明的方法，开发人员只需要关注业务处理，批处理的运算和执行由统一的组件进行处理，开发人员无需介入，从而达到了缩短应用批处理程序的开发周期，降低运营维护成本的目的，也解决了批处理程序因为开发人员能力问题而产生的性能等问题。其中节点作业处理组件是各业务系统根据自身实际情况实现的业务逻辑，其他流程结点和组件是通用的处理模块，业务系统无需介入。在批处理的执行过程中，按照最优颗粒度的业务维度，通过节点算法组件和预编译批处理组件的组合流程，在满足业务的条件下，使任务节点的系统资源利用率达到最低，从而保证了任务节点运行的稳定性。并且，按照数据源维度批量执行源数据，减少了应用系统与存储器之间的网络通讯次数，执行速度快且效率高。

下面以银行中的统一支付系统批处理为例进行进一步说明：

1、按照产品维度（例如存款产品、贷款产品和理财产品等），运营人员通过维度作业调度组件配置支付流水的批处理处理维度。

2、维度作业调度组件通过监听和配置信息，向任务节点发布批处理指令，同时下发配置的维度参数；

3、任务节点根据发布的批处理指令启动批处理程序，启动过程中实例化数据源集合，假设统一支付系统共10个存储节点，实例化后数据源集合中共有10个可用的数据源；

4、任务节点根据产品维度和数据标记，使用数据源集合从存储节点1~10分别查询存储节点1~10的支付流水，查询完成后汇总到支付流水集合NS：<节点：节点支付流水集合>中，并输出到节点作业处理组件；

5、节点作业处理组件判断支付流水集合中是否有支付流水，如果存在则执行节点作业处理组件，反之节点任务结束；

6、节点作业处理组件获取待处理的支付流水和支付通道T+1日的对账文件，然后两者进行对账，对账过程中核对和校验关键业务字段（包括金额、账号、姓名、身份证信息等），防止关键信息出入而导致的资金损失，对账的终态以支付通道T+1日的对账文件为准，从而更新本地的支付流水。对账完成后输出已更新状态的支付流水集合；

7、以节点作业处理组件的出参作为节点算法组件的入参。节点算法组件提取支付流水的分库分表字段及值，根据以下算法循环计算支付流水的落地位置P，然后将支付流水添加到源数据集合PS中。通过落地位置P和数据源DS的匹配关系<P，DS>得到落地位置P对应的数据源DS（例如落地位置405所处的数据源为DS5）。最后将源数据集合PS添加到数据源与支付流水对应关系集合S2中。待所有支付流水处理完成后，输出数据源与支付流水对应关系集合S2：<DS(数据源)，PS(支付流水集合)>。

(1)、落地位置P的计算方法：

截取分库分表字段值的后6位，6位字符转化为ASCII值并进行相加。公式如下：

sum=s[0]*31^(n-1) + s[1]*31^(n-2) + ... + s[n-1]；

其中，n为截取字段位数，本实施例中，支付默认的n值为6，s[n]为截取字段位的值。

对sum值进行1024取模运算得到落地位置P。公式如下：

P=sum%2^N，N为分库分表的数量，本实施例中，支付分库分表的数量默认为10。

(2)、落地位置P与数据源的匹配关系<P，DS>

在支付分库分表数为10的情况下，如表1的匹配关系：

表1：

落地位置P	数据源DS
		0-88	DS1
89-192	DS2
		193-296	DS3
297-400	DS4
		401-504	DS5
505-608	DS6
		609-712	DS7
713-816	DS8
		816-920	DS9
921-1024	DS10

8、节点算法组件的输出数据源与源数据集合对应关系集合S2：<DS(数据源)，PS(支付流水集合)>作为预编译批处理组件的输入。首先源数据DS循环生成可执行的脚本集合，然后批处理根据数据源DS获取可用的链接，通过链接预编译可执行的脚本集合，最后进行提交，从而将支付流水持久化到存储设备中。根据数据源DS循环如上步骤，直到所有数据源DS对应的支付流水持久化完成。

9、重复执行步骤5，直到支付流水集合中无可处理的流水，节点任务结束；

10、所有节点按照产品维度处理完所有支付流水后，统一支付的批处理任务结束；

数据对比：

任务节点的系统资源为4C8G，根据节点系统资源，合理调节数据的处理维度，本发明装置可以大幅度提高处理效率。通过本发明的批处理与传统批处理的数据比较如表2所示：

表2：

数据量	传统批处理耗时（分钟）	本发明耗时（分钟）
			10万	10	3
50万	24	6
			100万	40	13
500万	90	22
			1000万	300	34
2000万	700	40

由表2可以看出，批处理的数据量越大，本发明较传统批处理的速度越快，效率越高。

Claims (8)

1.基于分布式系统的批处理执行方法，其特征包括：

S1．通过金融行业的维度作业调度组件向各任务节点下发批处理指令和用于数据处理的维度数据；

S2．任务节点接收到批处理指令后，启动批处理程序并初始化数据源，通过数据源DS-1~DS-N分别获取对应的存储节点1~N的源数据，将获取的所有源数据汇总后输出到源数据集合NS中，并将源数据集合NS输出到节点作业处理组件中，所述的源数据集合NS在存储器中的存储结构为：<节点：源数据集合>；

S3．节点作业处理组件根据业务规则对源数据集合NS中的源数据进行处理后，输出到节点算法组件；

S4．节点算法组件计算每个源数据的落地位置，再根据各数据源的落地位置与数据源的匹配关系，输出各数据源与源数据对应关系的集合到预编译批处理组件中；

S5．预编译批处理组件从数据源与源数据对应关系的集合中获取各数据源和其对应的源数据的链接，然后通过所述链接预编译各数据源对应的源数据，最后提交预编译后的源数据，实现对源数据的持久化；循环执行本步骤直到所有数据源对应的源数据完成预编译后，完成预编译的批处理；

S6．所有任务节点执行完成步骤S2至步骤S5后，分布式批处理任务结束。

2.如权利要求1所述的基于分布式系统的批处理执行方法，其特征为：步骤S1中，先通过维度作业调度组件配置用于数据处理的维度数据，然后再将批处理指令和配置好的维度数据下发给各任务节点，在任务节点的任务执行过程中，维度作业调度组件实时监听各任务节点的服务状态和运行参数，根据各任务节点的运行情况对各任务节点的任务进行调度。

3.如权利要求1所述的基于分布式系统的批处理执行方法，其特征为：步骤S2中，启动批处理程序时获取1~N各存储节点对应的数据源参数，并在校验了数据源参数的合法性后，通过数据源参数分别获得并初始化存储节点1~N分别对应的数据源DS-1~DS-N，将数据源DS-1~DS-N依次添加到已定义的数据源集合中，并且各数据源实时检查其对应源数据的链接的有效性，保证数据源始终存在有效的链接；在存储器中建立源数据集合NS的存储结构为<节点：源数据集合>，通过所述数据源集合中的各初始化后的数据源获得各数据源对应的源数据，然后将各源数据依次放入源数据集合NS中。

4.如权利要求1所述的基于分布式系统的批处理执行方法，其特征为：步骤S4中，节点算法组件提取出每个源数据报文中分库分表的关键字段-关键值的键值对，根据已定义的算法计算所述关键值的落地位置P，然后根据数据源DS与落地位置P的匹配键-值关系<P，DS>，得到每个落地位置P对应的数据源DS；最后将待处理的源数据添加到源数据集合PS中，再将源数据集合PS添加到数据源与源数据集合对应关系集合S2中，数据源与源数据集合对应关系集合S2在存储器中的存储结构为：<DS：PS>，并重复执行，直到源数据集合PS中的数据全部处理完成；输出数据源与源数据集合对应关系集合S2到预编译批处理组件中。

5.如权利要求1所述的基于分布式系统的批处理执行方法，其特征为：步骤S5中，预编译批处理组件从各数据源中获取各自对应可用的链接，然后通过所述链接获得各数据源对应的源数据，并循环处理数据源中的源数据，生成可执行的脚本集合，通过所述链接循环预编译所述脚本集合，处理后添加到待提交批次中；当脚本集合预编译完成后，批量提交待处理批次，完成本轮源数据持久化处理。

6.如权利要求1至5之一所述的基于分布式系统的批处理执行方法，其特征为：步骤S3之前，先判断源数据集合NS中待执行的节点是否对应有源数据，如果有，则执行步骤S3，否则结束任务。

7.如权利要求1至5之一所述的基于分布式系统的批处理执行方法，其特征为：步骤S4中，节点算法组件先判断接收到的源数据集合NS中是否有源数据，如果没有则结束任务，如果有，再计算每个源数据的落地位置。

8.如权利要求1至5之一所述的基于分布式系统的批处理执行方法，其特征为：步骤S5中，预编译批处理组件先判断在接收到的数据源与源数据对应关系的集合中是否存在数据源和源数据，如果没有，则结束任务，如果有，则处理数据源对应的源数据。

Images