CN108287756A - 一种处理任务的方法及装置 - Google Patents

Abstract

本申请公开了一种处理任务的方法及装置，所述方法包括：管理服务器根据获取的任务，确定所述任务中的各子任务间的依赖关系；所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；所述管理服务器将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；所述管理服务器在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

Description

一种处理任务的方法及装置

技术领域

本申请涉及计算机领域，特别涉及一种处理任务的方法及装置。

背景技术

现有技术中的任务调度主要为单机调度，任务的管理和执行都在同一个节点上，只能在一台服务器上部署。随着互联网业务的发展，单机很难再负荷存储和计算的性能要求。另外，随着调度任务数量的增加，任务处理时间的增长，任务间的关系越来越复杂，有些任务的前置任务多达几十个，任务无法在规定时间内全部执行完毕，比如一个数据中心无法在24小时之内处理完当天的计算任务，或者云服务无法在短时间内完成服务切换、弹性扩容，将会对业务带来极大的影响。因此我们需要对任务的处理方法具备更好的策略和更高的响应能力。

因此，目前亟需解决现有技术中任务调度方法处理能力小，且分布式系统的资源利用率低的问题。

发明内容

本申请实施例提供一种处理任务的方法及装置，提高了任务调度的工作效率和资源利用率，增大了分布式系统的处理能力。

本申请实施例提供一种处理任务的方法，所述方法包括：

管理服务器根据获取的任务，确定所述任务中的各子任务间的依赖关系；

所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；

所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；

所述管理服务器将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；

所述管理服务器在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

一种可能的实现方式，所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务，包括：

所述管理服务器按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，所述子任务队列中，子任务的前置任务位于该子任务之前；

所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务，包括：

所述管理服务器从所述子任务队列中获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

一种可能的实现方式，所述管理服务器按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，包括：

所述管理服务器确定所述任务中的各任务节点对应的任务组，并按照各任务节点之间的执行依赖关系将所述各任务组加入任务组队列；

所述管理服务器针对所述任务组队列中的任一任务组，确定该任务组中的各子任务；按照各子任务间的依赖关系，将所述各子任务加入该任务组的子任务队列；

所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务，包括：

所述管理服务器将前置任务状态为完成或无前置任务组的任务组，确定为待处理的任务组；所述任务组的前置任务状态根据所述任务组的前置任务组内各子任务的任务状态确定；

所述管理服务器从所述待处理的任务组的子任务队列中，获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

一种可能的实现方式，所述方法还包括：

所述管理服务器若确定所述待处理的子任务的执行结果为失败，则将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

所述管理服务器若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败。

一种可能的实现方式，所述管理服务器将所述待处理的子任务发送给执行服务器，包括：

所述管理服务器通过分布式服务器集群向各执行服务器发送所述待处理的子任务；所述各执行服务器用于并行执行各待处理的子任务。

本申请实施例提供一种处理任务的装置，所述装置包括：

获取单元，用于获取任务；

处理单元，用于根据获取的所述任务，确定所述任务中的各子任务间的依赖关系；根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

一种可能的实现方式，所述处理单元还用于：

按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，所述子任务队列中，子任务的前置任务位于该子任务之前；从所述子任务队列中获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

一种可能的实现方式，所述处理单元还用于：

确定所述任务中的各任务节点对应的任务组，并按照各任务节点之间的执行依赖关系将所述各任务组加入任务组队列；针对所述任务组队列中的任一任务组，确定该任务组中的各子任务；按照各子任务间的依赖关系，将所述各子任务加入该任务组的子任务队列；将前置任务状态为完成或无前置任务组的任务组，确定为待处理的任务组；所述任务组的前置任务状态根据所述任务组的前置任务组内各子任务的任务状态确定；从所述待处理的任务组的子任务队列中，获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

一种可能的实现方式，所述装置还包括：

所述管理服务器若确定所述待处理的子任务的执行结果为失败，则将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

所述管理服务器若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败。

一种可能的实现方式，所述处理单元还用于：

通过分布式服务器集群向各执行服务器发送所述待处理的子任务；所述各执行服务器用于并行执行各待处理的子任务。

本申请实施例中，管理服务器根据获取的任务，确定所述任务中的各子任务间的依赖关系；所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；所述管理服务器将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；任务的执行服务器可以设置为多个，实现任务的并行处理，提高了分布式系统的工作效率。分布式系统的处理能力为多个执行服务器的处理能力，增大了分布式系统的处理能力。所述管理服务器在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成；避免了通过需要轮询的方式，在每个任务的执行时都要进行多次数据库服务器的读写操作，来判断每个子任务是否为待处理任务的判断过程，极大的减少了任务处理的时间复杂度，提高了任务调度的效率。解决了现有技术中任务调度方法处理能力小，且分布式系统的资源利用率低的问题。

附图说明

图1为本申请实施例提供的处理任务的架构示意图；

图2为本申请实施例提供的处理任务的方法的流程示意图；

图3为本申请实施例提供的一种处理任务的方法的流程示意图；

图4为本申请实施例提供的一种处理任务的装置的结构示意图。

具体实施方式

目前系统架构无论是前端的业务系统还是后端的数据系统都在向云、分布式的方向转变，各种异构的数据源同时存在，过去在同一台机器上就可以完成的任务，现在需要在多台不同的机器上协同工作才能完成。现有技术中，任务的触发是通过轮询数据库服务器完成，通过获取到期任务，判断当前任务的前置依赖是否完成。任务的状态变更，任务的失败尝试，任务的执行日志记录等操作，都需要与数据库服务器产生大量交互。因此，任务间的依赖关系只能串行处理。通过轮询数据库服务器获取到期任务，每个任务的执行都要进行多次数据库服务器的读写操作，在任务密集的时刻，数据库服务器性能将会成为调度系统的处理的瓶颈。因此，目前亟需一种任务处理方法以实现分布式调度的能力。

本申请实施例提供一种任务处理的系统架构的示意图，以一个管理服务器102为例，3个执行服务器为例，其他数量的管理服务器和执行服务器的情况可以参考该示意图，在此不再赘述。如图1所示，包括：数据库服务器101，管理服务器102，分布式服务器集群103，执行服务器104-106。

管路服务器102，同一时间只有一个管理服务器提供服务，管理服务器会向分布式服务器集群103注册服务，由分布式服务器集群103确定提供服务的执行服务器，管理服务器102负责与数据库服务器101交互，包括：进行任务状态的操作，处理任务依赖关系，将可执行的任务向执行服务器进行分发，任务结束后会接收任务的执行结果等。

可选的，管理服务器可以为一个或多个管理服务器。

考虑到分布式服务器集群103需要具有可靠性，在所述任务的管理服务器发生故障时，所述管理服务器102从其他多个管理服务器中确定所述任务的新的管理服务器，所述多个管理服务器为所述任务的多个备用管理服务器中除所述任务的管理服务器外的服务器；为保证管理服务器的高可用和负载均衡，不同任务间的备用管理服务器可以相同，也可以不同，可以根据实际需要确定。

所述管理服务器102将所述任务或所述任务的剩余部分分配给所述任务的新的管理服务器处理，所述任务的剩余部分为所述任务中管理服务器102未处理完的部分。

可见，本申请实施例提供了任务粒度的可靠性，在一个任务的管理服务器发生故障时，确定该任务的新的管理服务器即可。

其中，如果管理服务器102设置所述任务既有管理服务器，又有备用管理服务器，则所述任务的多个管理服务器即为所述任务的备用服务器，在所述任务的管理服务器发生故障时，从所述任务的备用管理服务器中确定所述任务的新的管理服务器；如果管理服务器102设置所述任务没有备用管理服务器，则从其他任务的管理服务器中确定所述任务的新的管理服务器。

执行服务器至少需要一个，本申请实施例中，以执行服务器为3个举例，可与管理服务器102部署在一台服务器也可分别部署，启动时也需要向分布式服务器集群103注册，多个执行服务器104-106可以同时提供服务，执行服务器104-106只负责任务的执行，并将执行结果返回给管理服务器102。执行服务器104-106可以为为多激活ative模式。

分布式服务器集群103可以使用zookeeper实现，主要为管理服务器102和执行服务器提供进行服务的注册和查找，以此来实现调度系统的分布式架构。

本申请实施例提供一种处理任务的方法，如图2所示，所述方法包括以下步骤：

步骤201：管理服务器根据获取的任务，确定所述任务中的各子任务间的依赖关系；

步骤202：所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；

步骤203：所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；

步骤204：所述管理服务器将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；

步骤205：所述管理服务器在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

在步骤201中，一种可能的实现方式，管理服务器102接收数据库服务器101发送的任务处理指令，并获取所述任务；

其中，获取到的所述任务可以存放至管理服务器102的内存池中，以减少对数据库服务器101的频繁读取，大幅降低对数据库服务器的操作频率，在峰值数据库服务器不在成为调度系统瓶颈。

在一个具体实施例中，一种可能的实现方式，管理服务器102在初始化时会将数据库服务器101中的所述任务的任务信息一次性加载至管理服务器102的内存池，所述任务信息可以包括子任务的启动时间、循环周期、执行参数、任务类型、任务状态、子任务间的依赖关系等。

可选的，可以在管理服务器102的内存中设置内存池，内存池可以占用管理服务器102的全部内存空间，或者也可以占用管理服务器102的部分内存空间。管理服务器102的任意一个线程池都能够访问存储在内存池中的数据，例如，在同一时刻可以允许一个线程池访问内存池，或者在同一时刻也可以允许多个线程池访问内存池，本申请实施例对此不作限定。对于内存池的大小可根据需要设定，例如，管理服务器102总共有4GB的内存，可以设置其中的1GB为内存池。

在具体实施过程中，由于对数据安全性的考虑，一个任务中的任意一个子任务可能被划分为多个数据块，并存储在不同的数据库服务器中，因此，在获取所述任务的所有数据时，可以通过查询是否记录了子任务中的所有数据标识确定子任务的所有数据是否存储在内存池中，其中所述子任务中的数据标识可以用于指示所述数据，若未记录所述数据标识，那么可以将所述数据从数据库服务器中重新加载到内存池中，并记录所述数据标识，所述数据所属的子任务，所述数据在内存池中的地址，或，若记录了所述数据标识，那么可以根据所述数据标识获取对应的所述数据在内存池中的地址。

在内存池中，可能存储了很多的数据，每一个数据可能有对应的数据标识，每个标识可以用于指示一个数据，例如标识可以是数据的名称，或者可以是其他用于标识数据的信息。对于标识的表现形式，本申请实施例不作限定，例如，可以通过字符来表示，也可以通过数字编号来表示，等等，只要能够唯一指示对应的数据的，都可以是本申请实施例中的数据的标识。

在实际使用中，预留给记录信息的存储空间可能是有限的。若记录信息中记录的标识的数量超过预设值时，有可能记录信息中记录的数据已经较多，甚至可能已经没有空间再记录新加载到内存池中的数据，这时可以删除一些记录信息中的表项，以便能够记录新加载到内存中的数据的信息。对于删除哪些表项，本申请实施例不作限定，例如可以按照访问次数对记录信息中记录的数据进行排序，然后释放访问次数较少的前M个数据对应的内存，对于M的值具体为多少，本申请实施例同样不作限定，可以是在电子设备出厂时设置好的，也可以是由用户自行设定，以及设定之后还能根据需要进行修改。

在记录信息中记录的表项较多的情况下，可以首先释放访问次数较少的表项所指示的数据的内存，这些可能是用户很少使用的数据，即使删除可能也不会给用户带来较大影响，而对于用户经常读取的数据，并不会受到影响，依然能够直接从内存池中读取，设备较为智能化。

由于访问一个数据的线程池少的时候，可以认为管理服务器102发送的任务中可能只有较少的任务需要访问该数据，那么可以优先释放这类数据占用的内存，从而节省内存空间，也不会影响大部分任务的执行，而在执行大多数的任务的时候，依然能够直接从内存池中读取数据，设备较为智能化。

可选的，管理服务器102在接收到数据库服务器101发送的所述任务之后，还可以分别为内存池和执行所述任务的线程池分配资源。

管理服务器102获取所述任务后，可以对获取的所述任务处理指令进行分析，确定所述任务中各子任务，以及各子任务间的依赖关系。

所述任务可以是存储在数据库服务器101中的任意一种类型的任务。对于所述任务的类型本申请实施例不作限定，例如所述任务可以是对数据表类型的数据进行结构化处理，其中，所述数据表类型的数据可以是一个完整的数据表，或者也可以是一个数据表中的一个或多个表项，或者第一数据也可以是其他类型的数据。其中，所述任务可以是一个长期的任务，是分布式服务器集群103可以承担的具体的一项软件功能。例如：一个任务可以是集群成员管理、网络连接管理等。

例如，管理服务器102接收任务处理指令，并对任务处理指令进行分析，获取所述任务的所有数据，根据所述确定待处理的任务是子任务1-5，子任务1-3之间没有依赖关系；子任务1和子任务4有依赖关系，即子任务4需要子任务1完成之后才能执行；子任务2-4和子任务5有依赖关系，即子任务5需要子任务2-4完成之后才能执行。

在步骤202中，例如，根据所述确定待处理的任务是子任务1-5间的依赖关系，可以确定每个子任务的前置任务，即，子任务1-3的前置任务为无，子任务4的前置任务为子任务1，子任务5的前置任务为2-4。

一种可能的实现方式，管理服务器102可用按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，所述子任务队列中，子任务的前置任务位于该子任务之前；

管理服务器102从所述子任务队列中获取子任务，在确定所述子任务的前置任务状态为完成或没有前置任务时，确定所述子任务为待处理的子任务。

例如，子任务1-3的前置任务为无，子任务4的前置任务为子任务1，子任务5的前置任务为2-4，则确定子任务队列的按处理的先后顺序排列为子任务1、子任务2、子任务3；子任务4；子任务5。

在步骤203中，管理服务器102根据确定的子任务的前置任务的任务状态，确定待处理任务；

例如，若确定子任务1-3没有前置任务，则确定为待处理任务，并标记子任务1-3的任务状态为初始状态，执行次数为0。

例如，若确定子任务4的前置任务为子任务1，则根据子任务1的任务状态为初始状态，确定子任务4不是待处理任务。

当管理服务器102确定子任务1-3为待处理任务后，可以将子任务1-3发送至分布式服务器集群103。

一种可能的实现方式，可以通过根据每个任务的启动时间，确定任务队列中包括的子任务的排序。即每个任务为定时任务，其包含的时间信息可能会非常多(例如如果该定时任务为周期性任务，则会包括触发时间、循环周期等)。

在一个具体的实施例中，管理服务器102可以通过轮询管理服务器102中的内存池，将所述内存池中到达执行时间并且前置任务的任务状态完成或无前置任务的子任务取出，确定为待处理任务。

在步骤204中，一种可能的实现方式，管理服务器102通过分布式服务器集群103向各执行服务器发送所述待处理的子任务；所述各执行服务器用于并行执行各待处理的子任务。

在具体实施过程中，由于分布式系统可以包括管理服务器和多个执行服务器，一个管理服务器可以对应多个执行服务器。结合图1，管理服务器102可以通过分布式服务器集群103向执行服务器104-106发送待处理任务，执行服务器可以执行这些待处理任务，并可以将执行所述待处理任务后得到的结果返回给管理服务器102。

通过在管理服务器102和执行服务器104-106中间构建分布式服务器集群103实现调度系统的分布式架构，使得调度集群没有任何单点，子任务可以路由到多个执行服务器上并行处理，提高整体调度系统的稳定性和可用性，并且可以提高任务处理速度。

一种可能的实现方式，管理服务器102可以根据子任务的任务类型进行分类，将不同类型的子任务分组，通过分布式服务器集群103路由到相同类型的至少一个执行服务器上进行处理。

例如，管理服务器102确定子任务1-3为同一类型的子任务，可以通知分布式服务器集群103中的多个相同类型的执行服务器处理子任务1-3，分布式服务器集群103中的多个服务器获知有待处理的子任务后，执行处理分发的所述待处理的子任务中的一个或多个，可以根据实际情况进行确定，例如，根据负载均衡确定执行服务器。

例如，管理服务器102通知分布式服务器集群103中的多个服务器待处理的任务是子任务1-3，分布式服务器集群103中的多个服务器获知待处理的任务是子任务1-3后，可以分别向执行服务器104-106发送子任务1-3，例如，执行服务器104可以通过执行服务器104的任意一个线程池来执行管理服务器102发送的子任务1。

考虑到分布式系统除需要具有可靠性外，还要实现负载均衡。因此，在执行完上述处理任务的方法后，还需要按照调度规则，对服务器或者任务进行调度，以实现负载均衡。调度规则可以包括：

任一执行服务器的并行处理的子任务的总数有最大值，如果一个执行服务器为一个任务的执行服务器，则所述任务为所述执行服务器的并行处理的任务中的一个；

任一执行服务器并行待处理的多个子任务的总数有额定值；

任一执行服务器并行待处理的多个子任务的总数有最大值，一个执行服务器并行待处理的多个子任务的总数的额定值小于所述任务并行待处理的多个子任务的总数的最大值。

步骤205中，执行服务器处理完成后，会将执行结果和执行日志发送至管理服务器102，若确定所述子任务执行成功，会将所述子任务的状态置为成功，并将内存池中的其他子任务的前置任务为所述子任务的任务状态更新为完成；若确定所述子任务执行失败，会将所述子任务的执行次数加一，然后将所述子任务重新放入内存池，等待再次执行。

一种可能的实现方式，管理服务器102若确定所述待处理的子任务的执行结果为失败，则将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

一种可能的实现方式，管理服务器102若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败。所述管理服务器还可以向用户界面发送告警通知。

为保证管理服务器102中的多个管理服务器的高可用，所有的子任务的任务状态更新时，管理服务器102中目前使用的管理服务器都会实时同步给其他管理服务器。

一种可能的实现方式，管理服务器102记录各子任务的任务状态，并将所述各子任务的任务状态通过更新队列发送至数据库服务器101。

通过增加更新队列，对数据库服务器101实现异步更新，大幅降低对数据库服务器的操作频率，在峰值数据库服务器101不在成为调度系统的瓶颈。

为了避免单个子任务前置依赖太多，或依赖链条太长，导致任务间依赖关系不好梳理，时间复杂度高。本申请实施例中，所述任务可用包括任务组，所述任务组可以是多层级树结构，每个任务组还可以包括子任务组，子任务可以包括在任务组或子任务组中。此时，所述任务的任务信息可以包括任务组，子任务组，子任务的启动时间、循环周期、执行参数、任务类型、任务状态、任务组间的依赖关系、子任务组间的依赖关系、子任务间的依赖关系,任务组和子任务组的层级关系等。其中，任务组的任务状态可以包括：初始，正在执行，部分完成，完成，失败等。子任务组的任务状态可以包括：初始，正在执行，部分完成，完成，失败等。子任务的任务状态可以包括：初始，正在执行，部分完成，完成，失败等。

在步骤202中，一种可能的实现方式，可以包括以下步骤：

步骤一、管理服务器102确定所述任务中的各任务节点对应的任务组，并按照各任务节点之间的执行依赖关系将所述各任务组加入任务组队列；

步骤二、管理服务器102针对所述任务组队列中的任一任务组，确定该任务组中的各子任务；按照各子任务间的依赖关系，将所述各子任务加入该任务组的子任务队列；

在步骤203中，一种可能的实现方式，可以包括以下步骤：

步骤一、管理服务器102将前置任务状态为完成或没有前置任务组的任务组，确定为待处理的任务组；

其中，所述任务组的前置任务状态可以根据所述任务组的前置任务组内各子任务的任务状态确定；

例如，若确定所述任务组的前置任务组中各个子任务的任务状态都为完成，则确定所述任务组的前置任务状态为完成。

若确定所述任务组的前置任务组中有部分子任务的任务状态为完成，部分为未完成，则可以确定所述任务组的前置任务状态为部分完成。

上述确定的过程可以为在所述前置任务组中有子任务的任务状态需要更新时进行同步更新。

步骤二、管理服务器102从所述待处理的任务组的子任务队列中，获取子任务，在确定所述子任务的前置任务状态为完成或所述子任务没有前置任务时，确定所述子任务为待处理的子任务。

多层级的任务组最终都将被拆解为子任务存放至子任务队列中。通过设置任务组，可以有效降低依赖关系链条，只判断当前任务的上一级依赖是否完成，时间复杂度降为1，有效的提高了任务的执行效率。

本申请实施例提供一种处理任务的方法流程图，如图3所示，包括以下步骤：

步骤301：管理服务器102轮询内存池，从内存池中取出到达执行时间并且前置任务状态为完成或无前置任务组的任务组确定为待处理任务组，并将所述待处理任务组状态置为待运行；

步骤302：管理服务器102确定所述待处理任务组的待处理子任务组取出放入子任务组队列，并将所述待处理任务组状态置为待运行；

步骤303：管理服务器102判断所述子任务队列取出的子任务的任务状态和所述子任务的前置任务的任务状态；若确定所述子任务为待处理任务，则执行步骤304；否则，执行305；

步骤304：管理服务器102将所述待处理任务放入发送队列；

步骤305：管理服务器102将所述子任务重新放入所述子任务队列。

步骤306：管理服务器102将所述待处理的子任务发送给分布式服务器集群103；

步骤307：分布式服务器集群103将所述待处理的子任务发送至执行服务器104；

步骤308：执行服务器104执行所述待处理的子任务，并将所述待处理的子任务执行结果发送至分布式服务器集群103；

步骤309：分布式服务器集群103接收所述执行服务器反馈的所述待处理的子任务的执行结果；并将所述执行结果发送至管理服务器102；

步骤310：管理服务器102判断所述执行结果；若为成功时，执行步骤312；若否，执行步骤311；

步骤311：将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

步骤312：更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

一种可能的实现方式，管理服务器102若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败，并通知用户。

由于所有的任务组和任务在配置依赖关系时都满足有向无环，因此这种采用上述任务处理的方法，最终会处理完所述任务中的所有子任务。

本申请实施例提供一种处理任务的装置，如图4所示，所述装置包括：

获取单元401，用于获取任务；

处理单元402，用于根据获取的所述任务，确定所述任务中的各子任务间的依赖关系；根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

一种可能的实现方式，处理单元402还用于：

按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，所述子任务队列中，子任务的前置任务位于该子任务之前；从所述子任务队列中获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

一种可能的实现方式，处理单元402还用于：

确定所述任务中的各任务节点对应的任务组，并按照各任务节点之间的执行依赖关系将所述各任务组加入任务组队列；针对所述任务组队列中的任一任务组，确定该任务组中的各子任务；按照各子任务间的依赖关系，将所述各子任务加入该任务组的子任务队列；将前置任务状态为完成或无前置任务组的任务组，确定为待处理的任务组；所述任务组的前置任务状态根据所述任务组的前置任务组内各子任务的任务状态确定；从所述待处理的任务组的子任务队列中，获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

一种可能的实现方式，所述装置还包括：

所述管理服务器若确定所述待处理的子任务的执行结果为失败，则将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

所述管理服务器若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败。

一种可能的实现方式，处理单元402还用于：

通过分布式服务器集群向各执行服务器发送所述待处理的子任务；所述各执行服务器用于并行执行各待处理的子任务。

本申请实施例提供的一种任务处理方法及装置，只有管理服务器与数据库服务器交互，管理服务器将所述任务的数据在初始化时一次性加载至内存池，任务执行过程中会同步读写内存池，再通过更新队列异步写入数据库服务器，以此减少对数据库服务器的读写操作，降低峰值压力，提高调度系统整体响应速度；通过管理服务器实现统一的任务管理，通过分布式服务器集群实现分布式的任务执行，支持任务组，可以处理各种复杂逻辑任务；通过任务组和子任务的前置任务状态的设定，将任务中的各个子任务间的复杂依赖关系拆解为单一依赖，减少了时间复杂度，增加多级异步队列并行处理，极大的提高了任务处理的效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种处理任务的方法，其特征在于，所述方法包括：

管理服务器根据获取的任务，确定所述任务中的各子任务间的依赖关系；

所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；

所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；

所述管理服务器将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；

所述管理服务器在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

2.如权利要求1所述的方法，其特征在于，所述管理服务器根据所述各子任务间的依赖关系，确定所述各子任务的前置任务，包括：

所述管理服务器按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，所述子任务队列中，子任务的前置任务位于该子任务之前；

所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务，包括：

所述管理服务器从所述子任务队列中获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

3.如权利要求1所述的方法，其特征在于，所述管理服务器按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，包括：

所述管理服务器确定所述任务中的各任务节点对应的任务组，并按照各任务节点之间的执行依赖关系将所述各任务组加入任务组队列；

所述管理服务器针对所述任务组队列中的任一任务组，确定该任务组中的各子任务；按照各子任务间的依赖关系，将所述各子任务加入该任务组的子任务队列；

所述管理服务器将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务，包括：

所述管理服务器将前置任务状态为完成或无前置任务组的任务组，确定为待处理的任务组；所述任务组的前置任务状态根据所述任务组的前置任务组内各子任务的任务状态确定；

所述管理服务器从所述待处理的任务组的子任务队列中，获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

所述管理服务器若确定所述待处理的子任务的执行结果为失败，则将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

所述管理服务器若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败。

5.如权利要求1至4任一项所述的方法，其特征在于，所述管理服务器将所述待处理的子任务发送给执行服务器，包括：

所述管理服务器通过分布式服务器集群向各执行服务器发送所述待处理的子任务；所述各执行服务器用于并行执行各待处理的子任务。

6.一种处理任务的装置，其特征在于，所述装置包括：

获取单元，用于获取任务；

处理单元，用于根据获取的所述任务，确定所述任务中的各子任务间的依赖关系；根据所述各子任务间的依赖关系，确定所述各子任务的前置任务；将前置任务状态为完成或无前置任务的子任务，确定为待处理的子任务；将所述待处理的子任务发送给执行服务器，并接收所述执行服务器反馈的所述待处理的子任务的执行结果；在所述待处理的子任务的执行结果为成功时，更新关联子任务的前置任务状态，所述待处理的子任务为所述关联子任务的前置任务；返回至确定为待处理的子任务的步骤，直至所述任务中的各子任务执行完成。

7.如权利要求6所述的装置，其特征在于，所述处理单元还用于：

按照所述各子任务间的依赖关系，将所述各子任务加入子任务队列，所述子任务队列中，子任务的前置任务位于该子任务之前；从所述子任务队列中获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

8.如权利要求6所述的装置，其特征在于，所述处理单元还用于：

确定所述任务中的各任务节点对应的任务组，并按照各任务节点之间的执行依赖关系将所述各任务组加入任务组队列；针对所述任务组队列中的任一任务组，确定该任务组中的各子任务；按照各子任务间的依赖关系，将所述各子任务加入该任务组的子任务队列；将前置任务状态为完成或无前置任务组的任务组，确定为待处理的任务组；所述任务组的前置任务状态根据所述任务组的前置任务组内各子任务的任务状态确定；从所述待处理的任务组的子任务队列中，获取子任务，在确定所述子任务的前置任务状态为完成或无前置任务时，确定所述子任务为待处理的子任务。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

所述管理服务器若确定所述待处理的子任务的执行结果为失败，则将所述待处理的子任务的执行次数加一，并将所述待处理的子任务重新加入至所述子任务队列中；

所述管理服务器若确定所述待处理的子任务的执行次数超过预设阈值，则将所述待处理的子任务的任务状态确定为失败。

10.如权利要求6至8任一项所述的装置，其特征在于，所述处理单元还用于：

通过分布式服务器集群向各执行服务器发送所述待处理的子任务；所述各执行服务器用于并行执行各待处理的子任务。