CN115640102A - 基于分布式任务的可重复执行式计算方法、系统和介质 - Google Patents

Abstract

本发明涉及信息技术领域，通过构造一种基于分布式任务的可重复执行式计算方法、系统和介质，解决长分布式任务最终状态难以计算的问题。包括新建所需执行的分布任务中的所有子任务，并设定子任务之间的映射关系，生成可解析的的标准化编排文件并将其保存至文件容器中；调取文件容器中的标准化编排文件，并对其解析获取所有子任务映射关系，并在进入和退出每个子任务接口增加日志输出并赋予UUID后保存至日志容器中；调取日志容器中的日志文件并对于解析获取所有子任务并依次执行，当当前执行任务出现异常，读取并解析日志，找到出错子任务后，重启该分布式任务。采用本发明占用存储空间小、易于解析，并能节约重复执行子任务时间。

Description

基于分布式任务的可重复执行式计算方法、系统和介质

技术领域

本发明涉及信息技术领域，主要通过构造一种基于分布式任务的可重复执行式计算方法、系统和介质，解决长分布式任务最终状态难以计算的问题。

背景技术

分布式任务通常包括多个子任务，各个子任务通常分布在不同服务器执行，并且每个子任务包含不同类型的IO操作，如网络IO操作、数据库IO操作、内存IO操作、硬盘IO操作等。分布式任务最终完成需要保证其中每个子任务都完成，一旦其中某些子任务执行失败，整个分布式任务是失败的，即会产生脏数据，这是一个分布式事务问题。

现有解决分布式事务问题的方法通常是针对具体业务，设计一种数据补偿方法，既当检测到异常日志的时候，通过事后修复数据的方法来达到最终一致性的目的。但这种方法一般存在三个问题：一是这种操作办法通常是人工干预，导致延时性较高；二是这种方法不具备通用性，不同的业务需要设计不同的数据补偿方法，费时费力，代价太大；三是由于整个过程是人工参与，所以数据容易出错。

发明内容

本发明旨在提出一种基于分布式任务的可重复执行式计算方法、系统和介质，以解决分布式任务最终一致性难以计算、出错任务无法快速重复执行、方法不通用等问题。具体而言，本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于分布式任务的可重复执行式计算方法，包括

新建所需执行的分布任务中的所有子任务，并设定子任务之间的映射关系，生成可解析的标准化编排文件并将其保存至文件容器中；

调取文件容器中的标准化编排文件，并对其解析获取所有子任务映射关系，并在进入和退出每个子任务接口增加日志输出并赋予子任务UUID后保存至日志容器中，UUID指通用唯一识别码，用于区别不同的子任务；

调取日志容器中的日志文件并对于解析获取所有子任务并依次执行，当当前执行任务出现异常，读取并解析日志，找到出错子任务后，重启该分布式任务。

在上述的一种基于分布式任务的可重复执行式计算方法，

创建分布式任务并为分布式任务以及所有子任务生成唯一标识UUID；

确定存在上下游业务关系的子任务组合；

为该分布式任务生成标准化编排文件并将其保存至文件容器中。

在上述的一种基于分布式任务的可重复执行式计算方法，

创建分布式任务时，输入的参数包括任务名称、子任务名称，子任务是否包含IO操作，子任务是否需要失败重试。

在上述的一种基于分布式任务的可重复执行式计算方法，

导出文件容器中的标准化编排文件，解析出所有子任务相关配置信息；

读取编排文件，根据每个子任务配置信息，在子任务相应代码模块的进入位置增加子任务开始执行日志S={UUID,status,LOGINFO,startTime}，在子任务相应代码模块的退出位置增加子任务结束执行日志E={UUID,status,LOGINFO,endTime}，且必须包含上下游子任务UUID，其中，LOGINFO为日志内容；

运行分布式任务。

在上述的一种基于分布式任务的可重复执行式计算方法，

定时汇集所有任务的日志信息，根据分布式任务UUID做日志分片，使同一个分布式任务的日志保存在同一个日志文件。

在上述的一种基于分布式任务的可重复执行式计算方法，

逐行读取日志容器中的日志数据，解析为可解读的标准化格式数据；

若该行数据是开始日志，新建一个解析任务，并将该日志文件保存到该解析任务中，再重新读取日志容器中的日志数据；否则，根据子任务UUID找到该子任务对应的分布式任务，将日志保存到该分布式任务对应的解析任务中再重新读取日志容器中的日志数据；

收集该分布式任务所有日志，根据分布式任务UUID读取并解析其标准化编排文件，得到该分布式任务所有子任务集合T={T₁,T₂,T₃…T_n}，根据分布式任务中子任务上下游关系，去日志中匹配所有子任务的开始执行日志集合TLogS={S₁,S₂,S₃,…S_n}和结束执行日志集合TLogE={E₁,E₂,E₃,…E_n}，并根据匹配结果执行：

若所有子任务都能找到子任务成功执行的日志信息,并且所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果为0，即R=S₁.UUID⊕S₂.UUID⊕…⊕S_n.UUID⊕E₁.UUID⊕E₂.UUID⊕…⊕E_n.UUID=0，该分布式任务执行成功；

若存在子任务没有匹配成功执行的日志信息，或者日志信息显示执行异常,或者所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果不为0，即R=S₁.UUID⊕S₂.UUID⊕…⊕S_n.UUID⊕E₁.UUID⊕E₂.UUID⊕…⊕E_n.UUID!=0，该分布式任务执行失败。从子任务集合T中遍历寻找开始执行日志和结束执行日志不匹配、或日志状态异常的子任务，从该失败的子任务处重新开启失败的分布式任务。

在上述的一种基于分布式任务的可重复执行式计算方法，逐行读取日志容器中的日志数据，若该行数据是异常日志或者结束日志，将该日志保存到分布式任务对应的解析任务中后执行收集该分布式任务所有日志步骤。

一种执行所述方法的系统，包括

分布式任务执行过程自定义编排系统：被配置为用于新建所需执行的分布任务中的所有子任务，并设定子任务之间的映射关系，生成可解析的的标准化编排文件并将其保存至文件容器中；

分布式任务日志管理系统：被配置为用于调取文件容器中的标准化编排文件，并对其解析获取所有子任务映射关系，并在进入和退出每个子任务接口增加日志输出并赋予子任务UUID后保存至日志容器中，UUID指通用唯一识别码，用于区别不同的子任务；

任务状态标准化日志解析系统：被配置为用于调取日志容器中的日志文件并对于解析获取所有子任务并依次执行，当当前执行任务出现异常，读取并解析日志，找到出错子任务后，重启该分布式任务。

分布式任务最终一致性计算方式：被配置为通过计算所有子任务开始执行和结束执行日志中UUID集合的异或值来判断，若结果为0则表示分布式任务执行成功，若结果不为0则表示分布式任务执行失败。

一种计算机介质，存储有计算机程序，该计算机程序能够执行权利要求1至7任意一项所述方法。

因此，本发明具有如下优点：1、提出了分布式任务中各个子任务以及子任务之间关系的结构化描述文件，并且该文件便于解析；2、提出了记录分布式任务中各个子任务执行状态的日志记录方式，并且改日志具备格式简单、占用存储空间小、易于解析等特点；3、分布式任务执行出错可以根据日志找到出错子任务，从该子任务重启该分布式任务，节约重复执行子任务时间。4、提出了分布式任务最终一致性计算方法，可以通过日志快速判断分布式任务的最终执行状态。

附图说明

附图1是本发明的分布式任务执行过程自定义编排系统流程图；

附图2是本发明的分布式任务日志管理系统实施实例流程图；

附图3是本发明的任务状态标准化日志解析系统流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

整个方法的核心运作流程主要包括三个步骤，各步骤具体流程如下所述：

步骤一，分布式任务执行过程自定义编排步骤，该步骤具体流程如下所示（如图1所示）：

（1）通过系统管理后台创建分布式任务，需要输入的参数包括任务名称、子任务名称，子任务是否包含IO操作，子任务是否需要失败重试；

具体到本实施例是，创建分布式任务task，需要输入的参数包括任务名称taskName，所有子任务的配置信息subTaskConfig，包括子任务名称、是否包含IO操作、是否需要失败重试subTaskInfo={subName, hasIO, needRetry}；

（2）系统为分布式任务以及所有子任务生成唯一标识UUID；

具体到本实施例是，为分布式任务生成唯一标识UUID，为每个子任务生成唯一标识subUUID；

（3）确定存在上下游业务关系的子任务组合；

具体到本实施例是，确定所有子任务间上下游业务关系connections，其中每个关系包含源头子任务，目的子任务，数据connection={source, destination, data}；

（4）系统为该分布式任务生成标准化编排文件；

具体到本实施例是，综合上述数据，为分布式任务task生成标准化编排文件layout；

步骤二，分布式任务日志管理步骤，该步骤具体流程如下所示（如图2所示）：

（1）导出步骤一中生成的标准化编排文件，解析出所有子任务相关配置信息；

具体到本实施例是，导出步骤一中的标准化编排文件layout，解析出子任务task，以及所有子任务配置信息subTaskConfig；

（2）业务程序读取编排文件，根据每个子任务配置信息，在子任务相应代码模块的进入和退出位置增加日志输出，且必须包含该子任务UUID，以及下游子任务UUID；具体到本实施例是，业务程序读取编排文件layout，根据每个子任务subTask的配置信息subTaskConfig，在子任务对应代码模块code的进入和退出位置增加日志taskStartInfo={UUID, subUUID, dataInput, step=start}和taskFinishInfo={UUID, subUUID,dataReturn, step=finish}；

（3）定时汇集所有任务的日志信息，根据分布式任务UUID做日志分片，保证同一个分布式任务的日志保存在同一个日志文件；

具体到本实施例是，定时汇集所有任务的日志信息，根据分布式任务的UUID计算分片fragmentId=md5(UUID)，保证某个分布式任务的日志保存在同一个文件；

（4）运行分布式任务；

具体到本实施例是，运行分布式任务task；

步骤三，构建任务状态标准化日志解析步骤，该步骤具体流程如下所示（如图3所示）：

（1）实时读取步骤二中保存的所有日志文件；

具体到本实施例是，实时读取步骤二中保存的所有日志文件logFils={file[0],file[1]…file[n]};

（2）逐行读取日志数据，解析为程序可以解读的标准化格式数据；

具体到本实施例是，逐行读取日志数据line，解析为标准格式化数据object；

（3）如果该行数据是开始日志，新建一个解析任务，并将该日志文件保存到该解析任务中，转（2）；

具体到本实施例是，如果该行日志是开始日志object.step=start，新建解析任务parser，将分布式任务UUID以及该行日志保存到parser：parser.UUID=object.UUID，parser.logs.push(object)；

（4）如果该日志是子任务日志，根据UUID找到该子任务对应的分布式任务，将日志保存到该分布式任务对应的解析任务中，转（2）；

具体到本实施例是，如果该行日志是子任务日志，根据object.UUID找到对应parser，将日志保存到parser中：parser.logs.push(object)；

（5）如果该日志是异常日志或者结束日志，将该日志保存到分布式任务对应的解析任务中，同时转（6）启动日志检查任务；

具体到本实施例是，如果该行日志是异常日志或者结束日志，将该日志保存到parser中：parser.logs.push(object)，同时转（6）启动日志检查任务；

（6）收集该分布式任务所有日志，根据UUID读取其标准化编排文件，根据分布式任务所有子任务集合。根据分布式任务中子任务上下游关系，去日志中匹配相应子任务的开始执行日志集合和结束执行日志集合。如果所有子任务都能找到子任务成功执行的日志信息，并且所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果为0，那么代表该分布式任务执行成功；如果存在子任务没有找到成功执行的日志信息，或者日志信息显示执行异常，或者所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果不为0，那么代表该分布式任务执行失败，转7；

具体到本实施例是，根据parser.UUID读取分布式任务标准化编排文件layout，得到该分布式任务所有子任务集合T={T1,T2,T3…Tn}，根据分布式任务中子任务上下游关系layout.connection，在解析器日志parser.logs中匹配所有子任务的开始执行日志集合TLogS={S1,S2,S3,…Sn}和结束执行日志集合TLogE={E1,E2,E3,…En}，并根据匹配结构执行：

如果所有子任务都能找到成功执行的日志信息，并且所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果为0，即R=S1.UUID⊕S2.UUID⊕…⊕Sn.UUID⊕E1.UUID⊕E2.UUID⊕…⊕En.UUID=0，那么代表该分布式任务执行成功status=success；

若存在子任务没有匹配成功执行的日志信息，或者日志信息显示执行异常,或者所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果不为0，即R=S1.UUID⊕S2.UUID⊕…⊕Sn.UUID⊕E1.UUID⊕E2.UUID⊕…⊕En.UUID!=0，那么代表分布式任务执行失败status=fail，转（7）；

（7）从失败的子任务处，重新开启失败的分布式任务；

本发明也涉及一种执行方法的系统，包括：

分布式任务执行过程自定义编排系统：被配置为用于新建所需执行的分布任务中的所有子任务，并设定子任务之间的映射关系，生成可解析的的标准化编排文件并将其保存至文件容器中；

分布式任务日志管理系统：被配置为用于调取文件容器中的标准化编排文件，并对其解析获取所有子任务映射关系，并在进入和退出每个子任务接口增加日志输出并赋予UUID后保存至日志容器中；

任务状态标准化日志解析系统：被配置为用于调取日志容器中的日志文件并对于解析获取所有子任务并依次执行，当当前执行任务出现异常，读取并解析日志，找到出错子任务后，重启该分布式任务。

分布式任务最终一致性计算方式：被配置为通过计算所有子任务开始执行和结束执行日志中UUID集合的异或值来判断，若结果为0则表示分布式任务执行成功，若结果不为0则表示分布式任务执行失败。

本发明还涉及一种计算机介质，存储有计算机程序，该计算机程序能够执行权利要求1至7任意一项所述方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于分布式任务的可重复执行式计算方法，其特征在于，包括

新建所需执行的分布任务中的所有子任务，并设定子任务之间的映射关系，生成可解析的标准化编排文件并将其保存至文件容器中；

调取文件容器中的标准化编排文件，并对其解析获取所有子任务映射关系，并在进入和退出每个子任务接口增加日志输出并赋予子任务UUID后保存至日志容器中，UUID指通用唯一识别码，用于区别不同的子任务；

调取日志容器中的日志文件并对于解析获取所有子任务并依次执行，当当前执行任务出现异常，读取并解析日志，找到出错子任务后，重启该分布式任务。

2.根据权利要求1所述的一种基于分布式任务的可重复执行式计算方法，其特征在于，还包括：

创建分布式任务并为分布式任务以及所有子任务生成唯一标识UUID；

确定存在上下游业务关系的子任务组合；

为该分布式任务生成标准化编排文件并将其保存至文件容器中。

3.根据权利要求1所述的一种基于分布式任务的可重复执行式计算方法，其特征在于，还包括：创建分布式任务时，输入的参数包括任务名称、子任务名称，子任务是否包含IO操作，子任务是否需要失败重试。

4.根据权利要求1所述的一种基于分布式任务的可重复执行式计算方法，其特征在于，还包括：

导出文件容器中的标准化编排文件，解析出所有子任务相关配置信息；

读取编排文件，根据每个子任务配置信息，在子任务相应代码模块的进入位置增加子任务开始执行日志S={UUID,status,LOGINFO,startTime}，在子任务相应代码模块的退出位置增加子任务结束执行日志E={UUID,status,LOGINFO,endTime}，且必须包含上下游子任务UUID，其中，LOGINFO为日志内容；

运行分布式任务。

5.根据权利要求4所述的一种基于分布式任务的可重复执行式计算方法，其特征在于，还包括：定时汇集所有任务的日志信息，根据分布式任务UUID做日志分片，使同一个分布式任务的日志保存在同一个日志文件。

6.根据权利要求1所述的一种基于分布式任务的可重复执行式计算方法，其特征在于，还包括：

逐行读取日志容器中的日志数据，解析为可解读的标准化格式数据；

若该行数据是开始日志，新建一个解析任务，并将该日志文件保存到该解析任务中再重新读取日志容器中的日志数据；否则，根据子任务UUID找到该子任务对应的分布式任务，将日志保存到该分布式任务对应的解析任务中再重新读取日志容器中的日志数据；

收集该分布式任务所有日志，根据分布式任务UUID读取并解析其标准化编排文件，得到该分布式任务所有子任务集合T={T₁,T₂,T₃…T_n}，根据分布式任务中子任务上下游关系，去日志中匹配所有子任务的开始执行日志集合TLogS={S₁,S₂,S₃,…S_n}和结束执行日志集合TLogE={E₁,E₂,E₃,…E_n}，并根据匹配结果执行：

若所有子任务都能找到子任务成功执行的日志信息,并且所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果为0，即R=S₁.UUID⊕S₂.UUID⊕…⊕S_n.UUID⊕E₁.UUID⊕E₂.UUID⊕…⊕E_n.UUID=0，该分布式任务执行成功；

若存在子任务没有匹配成功执行的日志信息，或者日志信息显示执行异常,或者所有子任务的开始执行日志集合中的UUID集合与结束执行日志集合中的UUID集合的异或结果不为0，即R=S₁.UUID⊕S₂.UUID⊕…⊕S_n.UUID⊕E₁.UUID⊕E₂.UUID⊕…⊕E_n.UUID!=0，该分布式任务执行失败，从子任务集合T中遍历寻找开始执行日志和结束执行日志不匹配、或日志状态异常的子任务，从该失败的子任务处重新开启失败的分布式任务。

7.根据权利要求1所述的一种基于分布式任务的可重复执行式计算方法，其特征在于，还包括：逐行读取日志容器中的日志数据，若该行数据是异常日志或者结束日志，将该日志保存到分布式任务对应的解析任务中后执行收集该分布式任务所有日志步骤。

8.一种执行权利要求1所述方法的系统，其特征在于，包括：

分布式任务执行过程自定义编排系统：被配置为用于新建所需执行的分布任务中的所有子任务，并设定子任务之间的映射关系，生成可解析的标准化编排文件并将其保存至文件容器中；

分布式任务日志管理系统：被配置为用于调取文件容器中的标准化编排文件，并对其解析获取所有子任务映射关系，并在进入和退出每个子任务接口增加日志输出并赋予子任务UUID后保存至日志容器中；

任务状态标准化日志解析系统：被配置为用于调取日志容器中的日志文件并对于解析获取所有子任务并依次执行，当当前执行任务出现异常，读取并解析日志，找到出错子任务后，重启该分布式任务。

9.一种计算机介质，其特征在于，存储有计算机程序，该计算机程序能够执行权利要求1至7任意一项所述方法。

Images