CN105119992A - 分布式任务执行装置和方法 - Google Patents

Abstract

本发明提供了一种分布式任务执行装置，包括：多任务节点运行单元，用于建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；任务预处理单元，用于基于每个任务节点的检查结果，对需要被执行的任务进行预处理；任务执行单元，用于基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。本发明还提供了一种分布式任务执行方法。通过本发明的技术方案，可以在现有的分布式任务执行义方式基础上，充分利用单对象类型完成多对象类型的分布式任务执行，建立多对象类型参与的面向复杂类型分布式任务执行的通用、统一执行思路。

Description

分布式任务执行装置和方法

技术领域

本发明涉及计算机技术领域，具体地，涉及一种分布式任务执行装置和一种分布式任务执行方法。

背景技术

随着互联网应用的不断发展，越来越多的应用系统部署朝着大规模、分布式、多机协同的方向发展。同时，大多数的项目工程都需要有一套定时任务执行功能，用来执行非客户触发的、需要在特定时间或特定时间间隔后完成的工作。

通常，定时任务执行分为本地单机执行和分布式执行两种。本地单机执行是指任务执行只在一台机器上，分布式执行则是指任务执行发生是在多台机器上。其中分布式执行的有两种做法，一种是把任务调度和任务执行分离出来，由一个集中式的任务调度模块去管理具体的分布式任务执行；还有一种是任务调度和任务执行不分离，但是通过一个集中式锁的管理（比如数据库锁）来实现分布式的任务执行。

关于第一种方法，集中式的任务调度模块会是整个系统的瓶颈，一旦任务调度模块出现故障，整个任务执行就限于瘫痪；关于第二种方法，集中式的锁会是整个系统的瓶颈，因为每次任务执行都需要对锁资源进行锁定互斥处理，需要协同的机器越多，对集中式锁的访问冲突就会越剧烈，降低了整体分布式任务的处理能力，也限制了多级协同的规模。同时，一旦集中式的锁出现故障，整个任务执行也将完全中断。因此如何解决集中式任务调度和集中式锁的缺陷就显得很有意义。

因此，需要一种新的分布式任务执行技术，可以在现有的分布式任务执行义方式基础上，充分利用单对象类型完成多对象类型的分布式任务执行，建立多对象类型参与的面向复杂类型分布式任务执行的通用、统一执行思路。

发明内容

本发明正是基于上述问题，提出了一种新的分布式任务执行技术，可以在现有的分布式任务执行义方式基础上，充分利用单对象类型完成多对象类型的分布式任务执行，建立多对象类型参与的面向复杂类型分布式任务执行的通用、统一执行思路。

有鉴于此，本发明提出了一种分布式任务执行装置，包括：多任务节点运行单元，用于建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；任务预处理单元，用于基于每个任务节点的检查结果，对需要被执行的任务进行预处理；任务执行单元，用于基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。在该技术方案中，可以使各个任务节点通过自动协商来决定分布式任务执行，解决集中式锁在高并发访问下的缺陷，达到扩展性和性能的同时增强。

在上述技术方案中，优选地，所述多任务节点运行单元，具体包括：对等任务节点建立模块，用于建立多个对等的任务节点；各任务节点处理任务模块，用于每个任务节点负责处理相同列表里的任务；待执行任务检查模块，用于每个任务节点定期检查当前时间下是否有任务需要被执行。在该技术方案中，可以利用多机协同的能力来进行任务的分布式执行，最大化的提高任务执行效率。

在上述技术方案中，优选地，所述任务预处理单元，具体包括：启动时间判定模块，用于基于每个任务节点的检查结果，判定当前时间下是否有任务需要被执行；任务预处理模块，用于若当前时间下有任务需要被执行时，则该任务节点对需要被执行的任务启动预处理操作；状态一次返回模块，用于若当前时间下没有任务需要被执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以使得分布式任务系统完全水平自由扩展，达到精确性能上的极大增强。

在上述技术方案中，优选地，所述任务预处理模块对需要被执行的任务启动预处理操作，包括：根据任务的地址标号、期望执行时间生成唯一标识。

在上述技术方案中，优选地，所述任务执行单元，具体包括：可执行性协商模块，用于基于预处理操作生成的唯一标识，该任务节点和多个对等的任务节点中其他节点共同协商确定是否可以执行该任务；任务在可执行节点执行模块，用于当大于预设数量的任务节点同意执行时，则在相应的任务节点上执行相应的任务；状态二次返回模块，用于当大于预设数量的任务节点不同意执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以有效地解决因为集中式任务调度模块故障导致的分布式任务系统整体瘫痪问题。

根据本发明的又一个方面，还提出了一种分布式任务执行方法，包括：步骤202：建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；步骤204：基于每个任务节点的检查结果，对需要被执行的任务进行预处理；步骤206：基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。在该技术方案中，可以使各个任务节点通过自动协商来决定分布式任务执行，解决集中式锁在高并发访问下的缺陷，达到扩展性和性能的同时增强。

在上述技术方案中，优选地，所述步骤202，具体包括：步骤302：建立多个对等的任务节点；步骤304：每个任务节点负责处理相同列表里的任务；步骤306：每个任务节点定期检查当前时间下是否有任务需要被执行。在该技术方案中，可以利用多机协同的能力来进行任务的分布式执行，最大化的提高任务执行效率。

在上述技术方案中，优选地，所述步骤204，具体包括：步骤402：基于每个任务节点的检查结果，判定当前时间下是否有任务需要被执行；步骤404：若当前时间下有任务需要被执行时，则该任务节点对需要被执行的任务启动预处理操作；步骤406：若当前时间下没有任务需要被执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以使得分布式任务系统完全水平自由扩展，达到精确性能上的极大增强。

在上述技术方案中，优选地，所述步骤403对需要被执行的任务启动预处理操作，包括：根据任务的地址标号、期望执行时间生成唯一标识。

在上述技术方案中，优选地，所述步骤206，具体包括：步骤502：基于预处理操作生成的唯一标识，该任务节点和多个对等的任务节点中其他节点共同协商确定是否可以执行该任务；步骤504：当大于预设数量的任务节点同意执行时，则在相应的任务节点上执行相应的任务；步骤506：当大于预设数量的任务节点不同意执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以有效地解决因为集中式任务调度模块故障导致的分布式任务系统整体瘫痪问题。

通过以上技术方案，可以在现有的分布式任务执行义方式基础上，充分利用单对象类型完成多对象类型的分布式任务执行，建立多对象类型参与的面向复杂类型分布式任务执行的通用、统一执行思路。

附图说明

图1示出了根据本发明的实施例的分布式任务执行装置的框图；

图2示出了根据本发明的实施例的分布式任务执行方法的流程图；

图3示出了根据本发明的实施例的多任务节点运行单元的流程图；

图4示出了根据本发明的实施例的任务预处理单元的流程图；

图5示出了根据本发明的实施例的任务执行单元的流程图；

图6示出了根据本发明的实施例的分布式任务执行的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

针对以上现有分布式任务执行做法的缺陷，需要建立一种装置，在多机协同中，保证各个节点都是对等的，不存在集中式的任务调度模块，同时各个节点通过自动协商来决定分布式任务执行，也解决了集中式锁在高并发访问下的缺陷，达到了扩展性和性能的同时增强。

图1示出了根据本发明的实施例的分布式任务执行装置的框图。

如图1所示，根据本发明的实施例的分布式任务执行装置100，包括：多任务节点运行单元102，用于建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；任务预处理单元104，用于基于每个任务节点的检查结果，对需要被执行的任务进行预处理；任务执行单元106，用于基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。在该技术方案中，可以使各个任务节点通过自动协商来决定分布式任务执行，解决集中式锁在高并发访问下的缺陷，达到扩展性和性能的同时增强。

在上述技术方案中，优选地，多任务节点运行单元102，具体包括：对等任务节点建立模块1022，用于建立多个对等的任务节点；各任务节点处理任务模块1024，用于每个任务节点负责处理相同列表里的任务；待执行任务检查模块1026，用于每个任务节点定期检查当前时间下是否有任务需要被执行。在该技术方案中，可以利用多机协同的能力来进行任务的分布式执行，最大化的提高任务执行效率。

在上述技术方案中，优选地，任务预处理单元104，具体包括：启动时间判定模块1042，用于基于每个任务节点的检查结果，判定当前时间下是否有任务需要被执行；任务预处理模块1044，用于若当前时间下有任务需要被执行时，则该任务节点对需要被执行的任务启动预处理操作；状态一次返回模块1046，用于若当前时间下没有任务需要被执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以使得分布式任务系统完全水平自由扩展，达到精确性能上的极大增强。

在上述技术方案中，优选地，任务预处理模块1044对需要被执行的任务启动预处理操作，包括：根据任务的地址标号、期望执行时间生成唯一标识。

在上述技术方案中，优选地，任务执行单元106，具体包括：可执行性协商模块1062，用于基于预处理操作生成的唯一标识，该任务节点和多个对等的任务节点中其他节点共同协商确定是否可以执行该任务；任务在可执行节点执行模块1064，用于当大于预设数量的任务节点同意执行时，则在相应的任务节点上执行相应的任务；状态二次返回模块1066，用于当大于预设数量的任务节点不同意执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以有效地解决因为集中式任务调度模块故障导致的分布式任务系统整体瘫痪问题。

图2示出了根据本发明的实施例的分布式任务执行方法的流程图。

如图2所示，根据本发明的实施例的分布式任务执行方法，包括：步骤202：建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；步骤204：基于每个任务节点的检查结果，对需要被执行的任务进行预处理；步骤206：基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。在该技术方案中，可以使各个任务节点通过自动协商来决定分布式任务执行，解决集中式锁在高并发访问下的缺陷，达到扩展性和性能的同时增强。

在上述技术方案中，优选地，参见图3，步骤202，具体包括：步骤302：建立多个对等的任务节点；步骤304：每个任务节点负责处理相同列表里的任务；步骤306：每个任务节点定期检查当前时间下是否有任务需要被执行。在该技术方案中，可以利用多机协同的能力来进行任务的分布式执行，最大化的提高任务执行效率。

在上述技术方案中，优选地，参见图4，步骤204，具体包括：步骤402：基于每个任务节点的检查结果，判定当前时间下是否有任务需要被执行；步骤404：若当前时间下有任务需要被执行时，则该任务节点对需要被执行的任务启动预处理操作；步骤406：若当前时间下没有任务需要被执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以使得分布式任务系统完全水平自由扩展，达到精确性能上的极大增强。

在上述技术方案中，优选地，步骤403对需要被执行的任务启动预处理操作，包括：根据任务的地址标号、期望执行时间生成唯一标识。

在上述技术方案中，优选地，参见图5，步骤206，具体包括：步骤502：基于预处理操作生成的唯一标识，该任务节点和多个对等的任务节点中其他节点共同协商确定是否可以执行该任务；步骤504：当大于预设数量的任务节点同意执行时，则在相应的任务节点上执行相应的任务；步骤506：当大于预设数量的任务节点不同意执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。在该技术方案中，可以有效地解决因为集中式任务调度模块故障导致的分布式任务系统整体瘫痪问题。

应用系统需要有一套定时任务执行功能来按照预先制定的策略执行一系列工作，一般对于无法并行执行的任务会由单台机器单独执行，但在业务规模越来越大的情况下，需要利用多机协同的能力来进行任务的分布式执行，最大化的提高任务执行效率。本发明的技术方案提供了一种分布式任务执行的方法，并且提供了基于该方法保证任务分布式调度的装置。

本发明的技术方案的主要流程如图6所示。本发明的技术方案中关于各节点协商确定任务执行节点是基于一致性算法。本发明的技术方案主要过程描述如下：

⑴任务节点在正常运行状态；

⑵任务节点判定是否有任务到达启动时间，若有，则进入第⑶步；若无，则回到第⑴步；

⑶任务节点针对第⑵步的任务启动任务预处理，该预处理包括根据任务的id、期望执行时间生成一个唯一标识，该标识会在第⑷步中使用；

⑷任务节点将第⑶步生成的唯一标识和其他节点共同协商确定是否可以执行该任务。若大多数节点同意执行，则进入第⑸步；若大多数节点不同意执行，则返回到第⑴步；

⑸在任务节点上执行该任务。

下面按Paxos算法对本发明的技术方案做说明。当然本发明的技术方案也可基于其它一致性算法（如：Gossip等）。

⑴首先，有多个对等的任务节点，每个任务节点都负责处理相同列表里的任务。每个任务节点都会定期检查当前时间下是否有任务需要被执行。

⑵如果某个节点发现有一个任务的执行时间到了，则该节点先会根据任务ID和期望执行时间计算出一个在所有任务节点中对当前这个任务的唯一标识，然后以一个全局唯一且递增的编号向其他任务节点发出请求执行这个任务的提案，这个全局唯一且递增的序号可以由当前的时间戳加上任务节点IP组成，提案中的唯一任务标识代表任务本身。

⑶其他节点在收到这个提案后，首先检查关于这个任务标识有没有已收到其他的提案：

①如果已收到关于这个任务标识的提案，接下来需要比较已收到的提案号和刚收到的这个提案号的大小：

a、如果已收到的提案号大于这个提案号，则直接拒绝当前提案。

b、如果已收到的提案号小于这个提案号，则同意该提案，但同时需要告知发起提案的节点本节点之前已经收到过其他节点关于这个任务的提案。

②如果没有收到其他提案，则直接同意这个提案。

⑷发起提案的节点在指定时间内收到其他节点的反馈后，按照以下方式处理：

①如果同意提案的节点数超过半数，且都是简单同意，则该节点再次向其他节点发起执行这个任务提案的提交。

②如果同意提案的节点数超过半数，但有节点反馈在本提案之前已收到过其他关于这个任务的更小提案号，则该节点需要提交具备更小编号的其他节点关于这个任务执行的提案。

⑸其他节点在收到新提交的提案后，按照与第⑶步相同的规则进行判断处理。

⑹最终，发起提案的节点在指定时间内收到其他节点的反馈后：

①如果同意提交提案的节点数超过半数，说明提案已通过，再根据提案内容决定任务是在哪个节点运行。如果是在本机执行，则接下来就运行该任务；如果是在其他节点运行，则接下来由其他节点执行该任务。

②如果同意提交提案的节点数没有超过半数，则该次提案失败，本节点不运行该任务。

经验证，本发明的技术方案，在多机协同的分布式任务执行中，通过对等节点的自动协商来决定分布式任务执行，该方式解决了集中式调度模块和集中式锁存在的缺陷，提高了扩展性和实时运行性能。

与现有分布式任务调度执行来比，本发明的技术方案至少可以达到的有益效果是：通过引入多机协同中的各个对等节点间自动协商来决定分布式任务执行，能够有效的解决因为集中式任务调度模块故障导致的分布式任务系统整体瘫痪问题，使得分布式任务系统可以完全水平自由扩展，同时也以节点协商方式解决了集中式锁的缺陷，达到了性能上的极大增强。

以上结合附图详细说明了本发明的技术方案，考虑到相关技术中没有简便的、统一的针对复杂类型元数据执行的解决办法。现有的服务建模无法完成有复杂类型参与的分布式任务执行过程。因此，本发明提出了一种分布式任务执行装置和一种分布式任务执行方法，可以在现有的分布式任务执行义方式基础上，充分利用单对象类型完成多对象类型的分布式任务执行，建立多对象类型参与的面向复杂类型分布式任务执行的通用、统一执行思路。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式任务执行装置，其特征在于，包括：

多任务节点运行单元，用于建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；

任务预处理单元，用于基于每个任务节点的检查结果，对需要被执行的任务进行预处理；

任务执行单元，用于基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。

2.根据权利要求1所述的分布式任务执行装置，其特征在于，所述多任务节点运行单元，具体包括：

对等任务节点建立模块，用于建立多个对等的任务节点；

各任务节点处理任务模块，用于每个任务节点负责处理相同列表里的任务；

待执行任务检查模块，用于每个任务节点定期检查当前时间下是否有任务需要被执行。

3.根据权利要求1或2所述的分布式任务执行装置，其特征在于，所述任务预处理单元，具体包括：

启动时间判定模块，用于基于每个任务节点的检查结果，判定当前时间下是否有任务需要被执行；

任务预处理模块，用于若当前时间下有任务需要被执行时，则该任务节点对需要被执行的任务启动预处理操作；

状态一次返回模块，用于若当前时间下没有任务需要被执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。

4.根据权利要求3所述的分布式任务执行装置，其特征在于，所述任务预处理模块对需要被执行的任务启动预处理操作，包括：根据任务的地址标号、期望执行时间生成唯一标识。

5.根据权利要求1或2所述的分布式任务执行装置，其特征在于，所述任务执行单元，具体包括：

可执行性协商模块，用于基于预处理操作生成的唯一标识，该任务节点和多个对等的任务节点中其他节点共同协商确定是否可以执行该任务；

任务在可执行节点执行模块，用于当大于预设数量的任务节点同意执行时，则在相应的任务节点上执行相应的任务；

状态二次返回模块，用于当大于预设数量的任务节点不同意执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。

6.一种分布式任务执行方法，其特征在于，包括：

步骤202：建立多个对等的任务节点，负责处理预设列表里的任务、并定期检查当前时间下是否有任务需要被执行；

步骤204：基于每个任务节点的检查结果，对需要被执行的任务进行预处理；

步骤206：基于对需要被执行的任务的预处理结果，在相应的任务节点中执行需要被执行的任务。

7.根据权利要求6所述的分布式任务执行方法，其特征在于，所述步骤202，具体包括：

步骤302：建立多个对等的任务节点；

步骤304：每个任务节点负责处理相同列表里的任务；

步骤306：每个任务节点定期检查当前时间下是否有任务需要被执行。

8.根据权利要求6或7所述的分布式任务执行方法，其特征在于，所述步骤204，具体包括：

步骤402：基于每个任务节点的检查结果，判定当前时间下是否有任务需要被执行；

步骤404：若当前时间下有任务需要被执行时，则该任务节点对需要被执行的任务启动预处理操作；

步骤406：若当前时间下没有任务需要被执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。

9.根据权利要求8所述的分布式任务执行方法，其特征在于，所述步骤403对需要被执行的任务启动预处理操作，包括：根据任务的地址标号、期望执行时间生成唯一标识。

10.根据权利要求6或7所述的分布式任务执行方法，其特征在于，所述步骤206，具体包括：

步骤502：基于预处理操作生成的唯一标识，该任务节点和多个对等的任务节点中其他节点共同协商确定是否可以执行该任务；

步骤504：当大于预设数量的任务节点同意执行时，则在相应的任务节点上执行相应的任务；

步骤506：当大于预设数量的任务节点不同意执行时，则相应的任务返回处理相同列表里的任务并定期检查当前时间下是否有任务需要被处理的状态。