CN106533738A - 分布式批处理的方法、装置和系统 - Google Patents

Abstract

本发明提供一种分布式批处理的方法、装置和系统，其中，该方法包括：各从节点监听主节点，在主节点宕机后，选择新的节点作为主节点；若主节点确定不进行分包执行，则主节点执行当前作业步骤的数据处理；若主节点确定进行分包执行，则主节点进行当前作业步骤的数据分包处理，主节点将分包生成的数据包发送给从节点，从节点处理数据包中的数据，从节点、主节点对错误数据进行重试。从节点监听到主节点消失时，选举新的节点为主节点接管批量作业，在主节点宕机时整个批处理作业可自动执行完成，从节点宕机后，处理任务被其他从节点接管，不需人工干预重作；采用错误补偿机制，提高批处理的处理能力和效率，数据处理不成功后可再进行数据的正常处理。

Description

分布式批处理的方法、装置和系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式批处理的方法、装置和系统。

背景技术

在数据处理中，可以采用分布式批处理的方法。现有技术中，分布式批处理的方法的过程为调度启动批处理作业，然后主节点生成作业实例，进而主节点根据作业配置信息并行或串行执行作业步骤；执行作业步骤的过程为，主节点将数据包进行分包，从节点完成各分包任务的执行，主节点等待各包执行完成之后完成当前作业步骤，进入下一作业步骤。

然而现有技术中，作业开始执行起来之后，如果主节点宕机则会导致整个批处理作业无法自动成功执行完成，需要人工干预重作；并且，现有技术无法简化调用者对批处理作业发起时参数准备的要求，同时无法将批处理资源占用控制在一个最优比例，进而批处理的处理能力较低，批处理的效率也较低；对于由于一些瞬时事件而造成的数据处理不成功的情况，无法再进行数据的正常处理，批处理的成功率较低。

发明内容

本发明提供一种分布式批处理的方法、装置和系统，用以解决现有技术中主从节点宕机则会导致整个批处理作业无法自动成功执行完成，需要人工干预重作，并且批处理的成功率较低的问题。

本发明的一方面是提供一种分布式批处理的方法，包括：

主节点接收参数信息，所述主节点根据所述参数信息开始执行作业步骤；

各从节点监听所述主节点，以在所述主节点宕机之后，选择新的节点作为主节点；

所述主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；

若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理；

若所述主节点确定当前作业步骤的数据进行分包执行，则所述主节点进行当前作业步骤的数据分包处理；所述主节点将分包生成的数据包发送给从节点，所述从节点接收数据包，所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试。

本发明的另一方面是提供一种分布式批处理的装置，包括：

主节点和至少一个从节点；

所述主节点，用于接收参数信息，根据所述参数信息开始执行作业步骤；

各从节点，用于监听所述主节点，以在所述主节点宕机之后，选择新的节点作为主节点；

所述主节点，还用于根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理；若所述主节点确定当前作业步骤的数据进行分包执行，则所述主节点进行当前作业步骤的数据分包处理；所述主节点将分包生成的数据包发送给从节点，所述从节点接收数据包，以使所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试。

本发明的又一方面是提供一种分布式批处理的系统，包括：

批处理控制数据库的装置、和至少一个应用服务器；

所述应用服务器上设置有如上所述的分布式批处理的装置。

本发明的技术效果是：通过主节点接收参数信息，主节点根据参数信息开始执行作业步骤；各从节点监听主节点，以在主节点宕机之后，选择新的节点作为主节点；主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若主节点确定当前作业步骤的数据不进行分包执行，则主节点执行当前作业步骤的数据处理；若主节点确定当前作业步骤的数据进行分包执行，则主节点进行当前作业步骤的数据分包处理；主节点将分包生成的数据包发送给从节点，从节点接收数据包，从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试。从而可以在Zookeeper上注册一个临时节点作为主节点的一个标志，主节点中包括作业实例的信息，若主节点宕机，则从节点会监听到Zookeeper上该主节点消失，其他从节点可以自动选举新的节点作为主节点接管批量作业，从而使得在主节点宕机时候，整个批处理作业依然可以自动成功执行完成，不需要人工干预重作；并且，可以对作业步骤进行分包相关参数的定义，采用了错误补偿机制，包括了重试、跳过、断点续传、重作等方式，提高了批处理的处理能力和效率，使得数据处理不成功之后可以再进行数据的正常处理。

附图说明

图1为本发明实施例一提供的分布式批处理的方法的流程图；

图2为本发明实施例二提供的分布式批处理的装置的结构示意图；

图3为本发明实施例三提供的分布式批处理的系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的分布式批处理的方法的流程图，如图1所示，本实施例的方法包括：

S101、主节点接收参数信息，主节点根据参数信息开始执行作业步骤。

其中，S101的具体实现方式为：主节点接收调用方在进行作业执行请求时传入的参数信息；或者，主节点接收调用方在进行作业执行请求时传入的作业变式名称，主节点根据预设的作业变式名称与变式定义字段集之间的对应关系，确定与作业变式名称对应的变式定义字段集，以将与作业变式名称对应的变式定义字段集作为参数信息。

在本实施例中，具体的，提供一个在分布式环境下，批处理框架和基于该框架开发的批处理程序都是以集群的方式部署的方案。主节点接收作业执行请求，主节点返回调用方作业受理成功，同时启动后台线程进行作业执行。

主节点接收参数信息。主节点接收参数信息这个过程为，主节点接收调用方在进行作业执行请求时传入的参数信息。或者，主节点接收参数信息这个过程为，主节点接收调用方在进行作业执行请求时传入的作业变式名称，主节点根据预设的作业变式名称与变式定义字段集之间的对应关系，确定与作业变式名称对应的变式定义字段集，将与作业变式名称对应的变式定义字段集作为参数信息。从而主节点根据参数信息开始执行作业步骤。

其中，作业变式是一种参数转化方法，作业变式用于作业执行时，根据外部作业调用传递的入参，动态生成作业发起时实际运行参数，其中参数取值可能是事先配置的固定值，也可能是需要动态获取的参数值。对于作业变式中用到的参数可以定义，并且可以定义参数的取值，取值类支持枚举型、列表型等。

举例来说，对于结息的批处理，可以配置了多个作业变式，“变式定义字段集”用于批处理作业启动的参数。

表1作业变式

S102、各从节点监听主节点，以在主节点宕机之后，选择新的节点作为主节点。

在本实施例中，具体的，作业步骤启动的同时，往Zookeeper上注册一个临时节点，该节点包含作业实例的信息。当主节点宕机之后，其他节点会监听到Zookeeper上该节点消失，自动选举新的节点作为主节点接管批量作业。具体来说，在作业启动的同时，在Zookeeper上注册一个临时节点作为主节点，主节点中包括作业实例的信息，若主节点宕机，则从节点会监听到Zookeeper上该主节点消失，其他从节点可以自动选举新的节点作为主节点接管批量作业，新的节点作为主节点接管批量作业时，从前一个主节点断点处继续执行。进而提供了一种断点续跑的功能，可以对于联机文件批处理提供断点续跑功能，在作业异常中断后再次提交时，可从中断地点处继续执行，避免重复处理已经处理过的记录。

S103、主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行。

在本实施例中，具体的，主节点从批处理控制数据库中获取执行当前作业步骤的配置信息，根据当前作业步骤的配置信息确定当前作业步骤是否需要分包执行。

S104、若主节点确定当前作业步骤的数据不进行分包执行，则主节点执行当前作业步骤的数据处理。

其中，S104的具体实现方式为：

若主节点确定当前作业步骤的数据不进行分包执行，则主节点执行当前作业步骤的数据处理，并生成第一临时性节点，以在其它从节点监听到第一临时性节点消失时，其它从节点确定新的主节点，以使新的主节点获取当前数据处理的任务包进行重新执行；

主节点确定数据处理中的数据处理失败时，使得数据所在的任务包进行第一预设次数的重试，在重试失败之后，在包执行错误记录表中记录失败；对包执行错误记录表中的错误数据进行第二预设次数的重试，并在对包执行错误记录表中的错误数据进行第二预设次数的重试之后结束数据处理；

主节点确定数据处理中的数据处理成功时，执行下一个作业步骤的数据处理。

在本实施例中，具体的，若主节点确定当前作业步骤不需要分包执行，则主节点进行当前作业步骤的数据处理。此时，主节点生成一个默认的数据包插入到批处理控制数据库中，在主节点执行数据处理，同时，在Zookeeper上生成一个包节点，该节点包括两个子节点：节点状态持久化节点、处理包的节点信息为第一临时性节点，其他从节点监听到该第一临时性节点消失，其它从节点确定新的主节点，从而使得新的主节点自动获取该任务包重新执行，达到高可用的目标。

如果当前数据处理失败，则数据所在的任务包会首先进行第一预设次数的重试，若在第一预设次数的重试之后依然具有处理失败的数据，则主节点在包执行错误记录表中记录失败；然后主节点可以对包执行错误记录表中的错误数据进行第二预设次数的重试，在第二预设次数的重试之后结束数据处理，如果当前数据处理成功，则执行下一个作业步骤的数据处理。

S105、若主节点确定当前作业步骤的数据进行分包执行，则主节点进行当前作业步骤的数据分包处理；主节点将分包生成的数据包发送给从节点，从节点接收数据包，从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试。

在本实施例中，具体的，若主节点确定当前作业步骤需要分包执行，则主节点根据进行数据分包处理，以将每个数据包生成一条记录插入到批处理控制数据库中。

其中，主节点进行当前作业步骤的数据分包处理，包括：主节点根据预设数据量以及预设数据包个数，确定每一个数据包中的数据量，或者，主节点根据预设数据量以及单个数据包的数据量，确定数据包的个数；过滤不处理的数据，并对每个数据包的数据集进行记录。具体来说，可以对作业步骤进行数据分包相关参数的定义，并且数据分包处理的方式具有两种，第一种，指定分包总数，每包中的数据量动态计算，例如，指定具有5个数据包，一共有1000个数据，则每个数据包中具有200个数据；第二种，指定每包固定的数据量，分包数量动态计算，例如，指定具有1000个数据，每个包具有500个数据，则需要有2个数据包；同时，作业步骤可以指定数据处理时，每个事务提交的记录数；同时，分包时的具体实现逻辑有以下两点处理。第一点，在分包时可以过滤掉不需要处理的数据。第二点，在分包结果中对每个数据包的数据集进行记录，记录的方式有两种，第一种，每个数据包中记录对应的待处理数据索引范围，例如第一个数据包记录起始索引1，截止索引100；第二个数据包记录起始索引101，截止索引200，这种情况适用于数据量大的情况下，无法记录每一个待处理数据索引，后续数据包执行时需要根据索引重新查询；第二种，每数据包中记录实际的待处理数据索引，例如第一个数据包记录1、2、3、....、100，第二数据包记录101、102、...、200，这种情况适用于数据量小的情况，后续数据包执行直接用记录索引直接查询即可，无需再根据索引范围去重新确定索引。

同时，主节点进行当前作业步骤的数据分包处理之后，从节点在Zookeeper为每一个包上生成一个包节点，该节点包括两个子节点：节点状态持久化节点、处理包的节点信息为第二临时性节点，当处理任务包的节点宕机，其他从节点监听到第二临时性节点消失，从而其他从节点可以自动获取当前数据处理的任务包进行重新执行，进而达到高可用的目标。

然后，主节点将分包生成的数据包发送给从节点，从而从节点接收到主节点分发的数据包；接着从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试。

具体来说，主节点将分包生成的数据包发送给从节点的时候，主节点使用dubbo技术，根据分包生成的数据包信息，循环调用从节点的dubbo的批量任务接收服务，接收服务的入参是数据包信息。如果从节点的响应是任务正常接收，则该数据包就会在从节点执行，无需再往其他节点分发；如果从节点响应是任务接收失败，则该数据包还需分发至其他从节点进行处理。主节点负责将所有的数据包都成功分发到集群中的从节点进行处理；全部分发成功之后，主节点会根据预先配置的时间间隔，去批处理控制数据库中获取所有从节点任务执行的结果，直至所有从节点都执行完成。

在从节点接收数据包之后，还包括：从节点确定当前从节点处理任务的并发数是否达到当前从节点的最大并发数；若达到当前从节点的最大并发数，则从节点通知主节点为当前数据包重新选择从节点；若未达到当前从节点的最大并发数，则从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到最大并发数总和；若达到最大并发数总和，则从节点通知主节点为当前数据包重新选择从节点；若未达到最大并发数总和，则执行从节点处理数据包中的数据的作业步骤。

其中，从节点确定当前从节点处理任务的并发数是否达到当前从节点的最大并发数，包括：在具有变式定义字段集中的最大并发数时，从节点确定当前从节点处理任务的并发数是否达到当前从节点的接收到的变式定义字段集中的最大并发数；在不具有变式定义字段集中的最大并发数时，从节点确定当前从节点处理任务的并发数是否达到当前从节点的默认最大并发数。

从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到最大并发数总和，包括：在具有变式定义字段集中的最大并发数总和时，从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到了变式定义字段集中的最大并发数总和；在不具有变式定义字段集中的最大并发数总和时，从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到了默认最大并发数总和。

具体来说，从节点收到主节点发来的数据包的处理任务，需要进行两个层级的资源使用控制。第一层控制，从节点确定当前从节点处理任务的并发数是否达到当前从节点的最大并发数，可以在确定具有变式定义字段集中的最大并发数时，从节点根据当前从节点的接收到的变式定义字段集中的最大并发数，确定当前从节点处理任务的并发数是否达到变式定义字段集中的最大并发数；在不具有变式定义字段集中的最大并发数时，根据当前从节点的默认最大并发数，去确定当前从节点处理任务的并发数是否达到当前从节点的默认最大并发数。此时在具有变式定义字段集中的最大并发数时就以变式定义字段集中的最大并发数为判断标准，在没有变式定义字段集中的最大并发数时就以默认最大并发数为判断标准。若达到当前从节点的最大并发数，则此时主节点任务无法受理，从节点通知主节点为当前数据包重新选择从节点。若未达到当前从节点的最大并发数时，进行第二层控制，此时，则从节点查询批处理控制数据库，去确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到最大并发数总和；其中，确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到最大并发数总和时，在不具有变式定义字段集中的最大并发数总和时，从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到了变式定义字段集中的最大并发数总和，在不具有变式定义字段集中的最大并发数总和时，从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到了默认最大并发数总和；此时在具有变式定义字段集中的最大并发数总和时就以变式定义字段集中的最大并发数总和为判断标准，在没有变式定义字段集中的最大并发数总和时就以默认最大并发数总和为判断标准；若达到最大并发数总和，则此时从节点任务无法受理，从节点通知主节点为当前数据包重新选择从节点；若未达到最大并发数总和，则执行从节点处理数据包中的数据的作业步骤。

并且，从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试，包括：从节点处理数据包中的数据；

若当前数据包所有数据都处理成功，则从节点更新批处理数据库中的数据包记录结果为成功，且主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则主节点执行下一个作业步骤，若有错误数据，则主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后主节点根据预设配置方式确定是否执行下一个作业步骤；

若当前数据包所有数据中具有处理失败的数据，则从节点针对处理失败的数据，根据预设的包重试次数进行相应次数的重试处理；若处理失败的数据重试成功，则从节点更新批处理数据库中的数据包记录结果为成功；若对处理失败的数据重试之后具有不成功的数据，则从节点将不成功的数据记录到包执行错误记录表中，并更新数据包记录结果为失败；主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则主节点执行下一个作业步骤，若有错误数据，则主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后主节点根据预设配置方式确定是否执行下一个作业步骤；

其中，主节点根据预设配置方式确定是否执行下一个作业步骤，包括：若预设配置方式为失败之后继续执行下一个作业步骤，则主节点根据预设配置方式执行下一个作业步骤；若预设配置方式为失败之后结束作业，则则主节点根据预设配置方式结束作业。

具体来说，从节点处理数据包中的数据。从节点处理数据包中的数据分为当前数据包所有数据都处理成功，当前数据包中具有处理失败的数据这两种情况。第一种情况下，若当前数据包所有数据都处理成功，则从节点更新批处理数据库中的数据包记录结果为成功，然后主节点确定包执行错误记录表中是否有错误数据；若包执行错误记录表中没有错误数据，则主节点执行下一个作业步骤，如果失败之后继续执行则执行下一个作业步骤，如果失败之后结束作业则不往后继续执行，此时当前作业步骤完成了处理；若包执行错误记录表中有错误数据，则主节点根据预设的步骤重试次数，对错误数据进行重试，并且主节点将重试失败的记录计入到批量处理结果表中，然后主节点根据预设配置方式确定是否执行下一个作业步骤，如果失败之后继续执行则执行下一个作业步骤，如果失败之后结束作业则不往后继续执行，此时当前作业步骤完成了处理。第二种情况下，若当前数据包所有数据中具有处理失败的数据，则从节点对处理失败的数据，根据预设的包重试次数进行相应次数的重试处理；若处理失败的数据重试都成功了，则从节点更新批处理数据库中的数据包记录结果为成功，此时，可以执行“主节点确定包执行错误记录表中是否有错误数据；若包执行错误记录表中没有错误数据，则主节点执行下一个作业步骤；若包执行错误记录表中有错误数据，则主节点根据预设的步骤重试次数，对错误数据进行重试，并且主节点将重试失败的记录计入到批量处理结果表中，然后主节点根据预设配置方式确定是否执行下一个作业步骤，如果失败之后继续执行则执行下一个作业步骤，如果失败之后结束作业则不往后继续执行，此时当前作业步骤完成了处理的过程；若对处理失败的数据重试之后还有不成功的数据，则从节点将不成功的数据记录到包执行错误记录表中，同时从节点更新数据包记录结果为失败，然后，可以执行“主节点确定包执行错误记录表中是否有错误数据；若包执行错误记录表中没有错误数据，则主节点确定执行下一个作业步骤，此时当前作业步骤完成了处理；若包执行错误记录表中有错误数据，则主节点根据预设的步骤重试次数，对错误数据进行重试，并且主节点将重试失败的记录计入到批量处理结果表中，然后主节点确定执行下一个作业步骤，此时当前作业步骤完成了处理的过程。

从而主节点和从节点完成了错误补偿机制，错误补偿机制包括了重试、跳过、断点续传、重作等方式。其中，重试为第一种方式-分包后包内重试，即支持分包后执行完成对出错数据的重试，重试还不成功最后的数据记录到“包执行错误记录表”,状态标识为“重试”；第二种方式步骤级重试，即支持整个步骤所有包执行完成之后对出错数据的重试，从“包执行错误记录表”获取状态标识为“重试”的数据进行处理。达到重试次数之后，将依然存在错误的数据记入“批量处理结果表”，记录状态标识为“失败”。并且，以上两种重试方式可以分别设置重试次数。跳过，提供将应用跳过的数据记录到“批量处理结果表”的功能，状态标识为“跳过”，用于后续的作业执行情况查询和统计。同时提供了断点续跑的机制，对于联机文件批处理提供断点续跑功能，在作业异常中断后再次提交时，可从中断地点处继续执行，避免重复处理已经处理过的记录。重作机制，为支持通过作业ID从“批量处理结果表”查询出错的记录进行重作。

本实施例提供的方案中，针对作业步骤的运行，提供两种处理方式，第一种处理方式为串行处理，可以将待处理数据按顺序进行串行处理；第二处理方式为并行处理，这种方式支持对业务数据的分包并行处理，加快批量业务处理速度。同时，本实施例提供的方案中，支持多种类型的数据并行处理，包括了单台应用服务器上的数据分包、多线程并发处理，以及多台应用服务器上的数据分包、数据并行处理。并且，本实施例提供的方案中，可以定义不同类型的作业步骤运行池，在作业定义时可以指定使用的运行池，从而可以将联机文件批处理和日终批处理在不同的作业步骤运行池中运行，作业步骤运行池可以指定最大作业数、作业步骤运行池最大排队数。

本实施例通过主节点接收参数信息，主节点根据参数信息开始执行作业步骤；各从节点监听主节点，以在主节点宕机之后，选择新的节点作为主节点；主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若主节点确定当前作业步骤的数据不进行分包执行，则主节点执行当前作业步骤的数据处理；若主节点确定当前作业步骤的数据进行分包执行，则主节点进行当前作业步骤的数据分包处理；主节点将分包生成的数据包发送给从节点，从节点接收数据包，从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试。从而可以在Zookeeper上注册一个临时节点作为主节点，主节点中包括作业实例的信息，若主节点宕机，则从节点会监听到Zookeeper上该主节点消失，其他从节点可以自动选举新的节点作为主节点接管批量作业，从而使得在主节点宕机时候，整个批处理作业依然可以自动成功执行完成，并且从节点宕机之后，处理任务被其他从节点接管，不需要人工干预重作；并且，可以对作业步骤进行分包相关参数的定义，采用了错误补偿机制，包括了重试、跳过、断点续传、重作等方式，提高了批处理的处理能力和效率，使得数据处理不成功之后可以再进行数据的正常处理。

图2为本发明实施例二提供的分布式批处理的装置的结构示意图，如图2所示，本实施例提供的装置，包括：

主节点21和至少一个从节点22；

主节点21，用于接收参数信息，根据参数信息开始执行作业步骤；

各从节点22，用于监听主节点21，以在主节点21宕机之后，选择新的节点作为主节点21；

主节点21，还用于根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若主节点21确定当前作业步骤的数据不进行分包执行，则主节点21执行当前作业步骤的数据处理；若主节点21确定当前作业步骤的数据进行分包执行，则主节点21进行当前作业步骤的数据分包处理；主节点21将分包生成的数据包发送给从节点22，从节点22接收数据包，以使从节点22处理数据包中的数据，且从节点22、主节点21对错误数据进行重试。

主节点21，具体用于：接收调用方在进行作业执行请求时传入的参数信息；或者，接收调用方在进行作业执行请求时传入的作业变式名称，根据预设的作业变式名称与变式定义字段集之间的对应关系，确定与作业变式名称对应的变式定义字段集，以将与作业变式名称对应的变式定义字段集作为参数信息。

其中，若主节点21确定当前作业步骤的数据不进行分包执行，则主节点21执行当前作业步骤的数据处理，包括：

若主节点21确定当前作业步骤的数据不进行分包执行，则主节点21执行当前作业步骤的数据处理，并生成第一临时性节点，以在其它从节点22监听到第一临时性节点消失时，其它从节点22确定新的主节点21，以使新的主节点21获取当前数据处理的任务包进行重新执行；

主节点21确定数据处理中的数据处理失败时，使得数据所在的任务包进行第一预设次数的重试，在重试失败之后，在包执行错误记录表中记录失败；对包执行错误记录表中的错误数据进行第二预设次数的重试，并在对包执行错误记录表中的错误数据进行第二预设次数的重试之后结束数据处理；

主节点21确定数据处理中的数据处理成功时，执行下一个作业步骤的数据处理。

其中，主节点21进行当前作业步骤的数据分包处理，包括：

主节点21根据预设数据量以及预设数据包个数，确定每一个数据包中的数据量，或者，主节点21根据预设数据量以及单个数据包的数据量，确定数据包的个数；主节点21过滤不处理的数据，并对每个数据包的数据集进行记录。

从节点22，还用于：

在主节点21进行当前作业步骤的数据分包处理之后，从节点22生成第二临时性节点，以在其他从节点22监听到第二临时性节点消失时，其他从节点22获取当前数据处理的任务包进行重新执行。

主节点21，还用于：在从节点22接收数据包之后，从节点22确定当前从节点22处理任务的并发数是否达到当前从节点22的最大并发数；若达到当前从节点22的最大并发数，则从节点22通知主节点21为当前数据包重新选择从节点22；若未达到当前从节点22的最大并发数，则从节点22确定主节点21处理任务的并发数与所有从节点22处理任务的并发数的总和是否达到最大并发数总和；若达到最大并发数总和，则从节点22通知主节点21为当前数据包重新选择从节点22；若未达到最大并发数总和，则执行从节点22处理数据包中的数据的作业步骤。

其中，从节点22确定当前从节点22处理任务的并发数是否达到当前从节点22的最大并发数，包括：在具有变式定义字段集中的最大并发数时，从节点22确定当前从节点22处理任务的并发数是否达到当前从节点22的接收到的变式定义字段集中的最大并发数；在不具有变式定义字段集中的最大并发数时，从节点22确定当前从节点22处理任务的并发数是否达到当前从节点22的默认最大并发数。

从节点22确定主节点21处理任务的并发数与所有从节点22处理任务的并发数的总和是否达到最大并发数总和，包括：在具有变式定义字段集中的最大并发数总和时，从节点22确定主节点21处理任务的并发数与所有从节点22处理任务的并发数的总和是否达到了变式定义字段集中的最大并发数总和；在不具有变式定义字段集中的最大并发数总和时，从节点22确定主节点21处理任务的并发数与所有从节点22处理任务的并发数的总和是否达到了默认最大并发数总和。

从节点22，具体用于：

从节点22处理数据包中的数据；

若当前数据包所有数据都处理成功，则从节点22具体用于更新批处理数据库中的数据包记录结果为成功，且主节点21确定包执行错误记录表中是否有错误数据，若没有错误数据，则主节点21执行下一个作业步骤，若有错误数据，则主节点21根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后主节点21根据预设配置方式确定是否执行下一个作业步骤；

若当前数据包所有数据中具有处理失败的数据，则从节点22针对处理失败的数据，根据预设的包重试次数进行相应次数的重试处理；若处理失败的数据重试成功，则从节点22更新批处理数据库中的数据包记录结果为成功；若对处理失败的数据重试之后具有不成功的数据，则从节点22将不成功的数据记录到包执行错误记录表中，并更新数据包记录结果为失败；主节点21具体用于确定包执行错误记录表中是否有错误数据，若没有错误数据，则主节点21执行下一个作业步骤，若有错误数据，则主节点21根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后主节点21根据预设配置方式确定是否执行下一个作业步骤；

其中，主节点根据预设配置方式确定是否执行下一个作业步骤，包括：若预设配置方式为失败之后继续执行下一个作业步骤，则主节点根据预设配置方式执行下一个作业步骤；若预设配置方式为失败之后结束作业，则主节点根据预设配置方式结束作业。

本实施例的分布式批处理的装置可执行本发明实施例一提供的分布式批处理的方法，其实现原理相类似，此处不再赘述。

本实施例通过主节点接收参数信息，主节点根据参数信息开始执行作业步骤；各从节点监听主节点，以在主节点宕机之后，选择新的节点作为主节点；主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若主节点确定当前作业步骤的数据不进行分包执行，则主节点执行当前作业步骤的数据处理；若主节点确定当前作业步骤的数据进行分包执行，则主节点进行当前作业步骤的数据分包处理；主节点将分包生成的数据包发送给从节点，从节点接收数据包，从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试。从而可以在Zookeeper上注册一个临时节点作为主节点，主节点中包括作业实例的信息，若主节点宕机，则从节点会监听到Zookeeper上该主节点消失，其他从节点可以自动选举新的节点作为主节点接管批量作业，从而使得在主节点宕机时候，整个批处理作业依然可以自动成功执行完成，并且从节点宕机之后，处理任务被其他从节点接管，不需要人工干预重作；并且，可以对作业步骤进行分包相关参数的定义，采用了错误补偿机制，包括了重试、跳过、断点续传、重作等方式，提高了批处理的处理能力和效率，使得数据处理不成功之后可以再进行数据的正常处理。

图3为本发明实施例三提供的分布式批处理的系统的结构示意图，如图3所示，本实施例提供的系统，包括：

批处理控制数据库的装置31、和至少一个应用服务器32；

应用服务器上设置上述实施例中提供的分布式批处理的装置33。

在本实施例中，具体的，分布式批处理的系统由批处理控制数据库的装置31、和至少一个应用服务器32构成，并且，在每一个应用服务器32上设置实施例二中提供的分布式批处理的装置33。

本实施例的分布式批处理的装置33的结构和原理，与本发明实施例二提供的分布式批处理的装置33的结构和原理相同，此处不再赘述。

本实施例通过主节点接收参数信息，主节点根据参数信息开始执行作业步骤；各从节点监听主节点，以在主节点宕机之后，选择新的节点作为主节点；主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若主节点确定当前作业步骤的数据不进行分包执行，则主节点执行当前作业步骤的数据处理；若主节点确定当前作业步骤的数据进行分包执行，则主节点进行当前作业步骤的数据分包处理；主节点将分包生成的数据包发送给从节点，从节点接收数据包，从节点处理数据包中的数据，且从节点、主节点对错误数据进行重试。从而可以在Zookeeper上注册一个临时节点作为主节点，主节点中包括作业实例的信息，若主节点宕机，则从节点会监听到Zookeeper上该主节点消失，其他从节点可以自动选举新的节点作为主节点接管批量作业，从而使得在主节点宕机时候，整个批处理作业依然可以自动成功执行完成，并且从节点宕机之后，处理任务被其他从节点接管，不需要人工干预重作；并且，可以对作业步骤进行分包相关参数的定义，采用了错误补偿机制，包括了重试、跳过、断点续传、重作等方式，提高了批处理的处理能力和效率，使得数据处理不成功之后可以再进行数据的正常处理。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式批处理的方法，其特征在于，包括：

主节点接收参数信息，所述主节点根据所述参数信息开始执行作业步骤；

各从节点监听所述主节点，以在所述主节点宕机之后，选择新的节点作为主节点；

所述主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；

若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理；

若所述主节点确定当前作业步骤的数据进行分包执行，则所述主节点进行当前作业步骤的数据分包处理；所述主节点将分包生成的数据包发送给从节点，所述从节点接收数据包，所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试。

2.根据权利要求1所述的方法，其特征在于，所述主节点接收参数信息，包括：

所述主节点接收调用方在进行作业执行请求时传入的参数信息；

或者，

所述主节点接收调用方在进行作业执行请求时传入的作业变式名称，所述主节点根据预设的作业变式名称与变式定义字段集之间的对应关系，确定与作业变式名称对应的变式定义字段集，以将与作业变式名称对应的变式定义字段集作为参数信息。

3.根据权利要求1所述的方法，其特征在于，若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理，包括：

若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理，并生成第一临时性节点，以在其它从节点监听到所述第一临时性节点消失时，其它从节点确定新的主节点，以使新的主节点获取当前数据处理的任务包进行重新执行；

所述主节点确定数据处理中的数据处理失败时，使得数据所在的任务包进行第一预设次数的重试，在重试失败之后，在包执行错误记录表中记录失败；对包执行错误记录表中的错误数据进行第二预设次数的重试，并在对包执行错误记录表中的错误数据进行第二预设次数的重试之后结束数据处理；

所述主节点确定数据处理中的数据处理成功时，执行下一个作业步骤的数据处理。

4.根据权利要求1所述的方法，其特征在于，所述主节点进行当前作业步骤的数据分包处理，包括：

所述主节点根据预设数据量以及预设数据包个数，确定每一个数据包中的数据量；或者，所述主节点根据预设数据量以及单个数据包的数据量，确定数据包的个数；

过滤不处理的数据，并对每个数据包的数据集进行记录。

5.根据权利要求1所述的方法，其特征在于，在所述主节点进行当前作业步骤的数据分包处理之后，还包括：

所述从节点生成第二临时性节点，以在其他从节点监听到所述第二临时性节点消失时，其他从节点获取当前数据处理的任务包进行重新执行。

6.根据权利要求2所述的方法，其特征在于，在所述从节点接收数据包之后，还包括：

所述从节点确定当前从节点处理任务的并发数是否达到当前从节点的最大并发数；

若达到当前从节点的最大并发数，则所述从节点通知所述主节点为当前数据包重新选择从节点；

若未达到当前从节点的最大并发数，则所述从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到最大并发数总和；

若达到最大并发数总和，则所述从节点通知所述主节点为当前数据包重新选择从节点；

若未达到最大并发数总和，则执行所述从节点处理所述数据包中的数据的作业步骤；

其中，所述从节点确定当前从节点处理任务的并发数是否达到当前从节点的最大并发数，包括：

在具有变式定义字段集中的最大并发数时，所述从节点确定当前从节点处理任务的并发数是否达到当前从节点的接收到的变式定义字段集中的最大并发数；

在不具有变式定义字段集中的最大并发数时，所述从节点确定当前从节点处理任务的并发数是否达到当前从节点的默认最大并发数；

所述从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到最大并发数总和，包括：

在具有变式定义字段集中的最大并发数总和时，所述从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到了变式定义字段集中的最大并发数总和；

在不具有变式定义字段集中的最大并发数总和时，所述从节点确定主节点处理任务的并发数与所有从节点处理任务的并发数的总和是否达到了默认最大并发数总和。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试，包括：

所述从节点处理数据包中的数据；

若当前数据包所有数据都处理成功，则所述从节点更新批处理数据库中的数据包记录结果为成功，且所述主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则所述主节点执行下一个作业步骤，若有错误数据，则所述主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后所述主节点根据预设配置方式确定是否执行下一个作业步骤；

若当前数据包所有数据中具有处理失败的数据，则所述从节点针对处理失败的数据，根据预设的包重试次数进行相应次数的重试处理；若处理失败的数据重试成功，则所述从节点更新批处理数据库中的数据包记录结果为成功；若对处理失败的数据重试之后具有不成功的数据，则所述从节点将不成功的数据记录到包执行错误记录表中，并更新数据包记录结果为失败；所述主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则所述主节点执行下一个作业步骤，若有错误数据，则所述主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后所述主节点根据预设配置方式确定是否执行下一个作业步骤；

其中，所述主节点根据预设配置方式确定是否执行下一个作业步骤，包括：若预设配置方式为失败之后继续执行下一个作业步骤，则所述主节点根据预设配置方式执行下一个作业步骤；若预设配置方式为失败之后结束作业，则所述主节点根据预设配置方式结束作业。

8.一种分布式批处理的装置，其特征在于，包括：

主节点和至少一个从节点；

所述主节点，用于接收参数信息，根据所述参数信息开始执行作业步骤；

各从节点，用于监听所述主节点，以在所述主节点宕机之后，选择新的节点作为主节点；

所述主节点，还用于根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理；若所述主节点确定当前作业步骤的数据进行分包执行，则所述主节点进行当前作业步骤的数据分包处理；所述主节点将分包生成的数据包发送给从节点，所述从节点接收数据包，以使所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试。

9.根据权利要求8所述的装置，其特征在于，所述从节点，具体用于：

所述从节点处理数据包中的数据；

若当前数据包所有数据都处理成功，则所述从节点具体用于更新批处理数据库中的数据包记录结果为成功，且所述主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则所述主节点执行下一个作业步骤，若有错误数据，则所述主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后所述主节点根据预设配置方式确定是否执行下一个作业步骤；

若当前数据包所有数据中具有处理失败的数据，则所述从节点针对处理失败的数据，根据预设的包重试次数进行相应次数的重试处理；若处理失败的数据重试成功，则所述从节点更新批处理数据库中的数据包记录结果为成功；若对处理失败的数据重试之后具有不成功的数据，则所述从节点将不成功的数据记录到包执行错误记录表中，并更新数据包记录结果为失败；所述主节点具体用于确定包执行错误记录表中是否有错误数据，若没有错误数据，则所述主节点执行下一个作业步骤，若有错误数据，则所述主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后所述主节点根据预设配置方式确定是否执行下一个作业步骤；

其中，所述主节点根据预设配置方式确定是否执行下一个作业步骤，包括：若预设配置方式为失败之后继续执行下一个作业步骤，则所述主节点根据预设配置方式执行下一个作业步骤；若预设配置方式为失败之后结束作业，则则所述主节点根据预设配置方式结束作业。

10.一种分布式批处理的系统，其特征在于，包括：

批处理控制数据库的装置、和至少一个应用服务器；

所述应用服务器上设置有如权利要求8或9所述的分布式批处理的装置。