CN111522649A - 一种分布式任务分配方法、装置和系统 - Google Patents

Abstract

本发明提供了一种分布式任务分配方法和系统，该系统包括服务子系统和多个任务执行模块，服务子系统接收各任务执行模块定期发送的存活任务执行模块查询请求，获取当前存活的所有任务执行模块信息，并返回给该任务执行模块，以该任务执行模块据此更新本地的存活任务执行模块信息列表，并基于本地存储的存活任务执行模块信息列表生成一致性哈希hash环；接收该任务执行模块定期发送的全量任务查询请求，获取当前的所有任务信息，并返回给该任务执行模块，以使该任务执行模块据此更新本地的全量任务信息列表，根据所述一致性hash环确定全量任务信息列表中属于该任务执行模块的任务，并执行属于该任务执行模块的任务。

Description

一种分布式任务分配方法、装置和系统

技术领域

本发明涉及通信技术领域，特别涉及一种分布式任务分配方法、装置和系统。

背景技术

当设计执行特定任务(比如监控10w台机器的存活)的任务执行模块(程序)时，由于任务量过大，单台设备处理不过来，需要将任务执行模块分布到多台设备上，即任务执行模块分布式化。任务执行模块分布式化之后，面临一个问题：如何将任务有效的分配给这些分布式任务执行模块。另外，当分布式任务执行模块存活情况变化(如分布式程序增加或减少)时，如何将根据分布式任务执行模块存活情况变化更新分布式任务执行模块的任务分配。

发明内容

有鉴于此，本发明的目的在于一种分布式任务分配方法、装置和系统，能够及时根据分布式任务执行模块的存活情况更新分布式任务执行模块的任务分配，保证任务分配可靠性。

为了达到上述目的，本发明提供了如下技术方案：

一种分布式任务分配系统，包括服务子系统和多个任务执行模块；

所述服务子系统包括：服务模块，用于接收任一任务执行模块定期发送的存活任务执行模块查询请求，获取当前存活的所有任务执行模块信息，将当前存活的所有任务执行模块信息返回给所述任一任务执行模块；用于接收所述任一任务执行模块定期发送的全量任务查询请求，获取当前存储的所有任务信息，将当前存储的所有任务信息返回给该任务执行模块

所述任一任务执行模块，用于定期向服务模块发送存活任务执行模块查询请求，接收服务模块返回的当前存活的所有任务执行模块信息，根据接收的所有任务执行模块信息更新本地存储的存活任务执行模块信息列表，并基于该存活任务执行模块信息列表生成一致性哈希hash环；用于定期向服务模块发送全量任务查询请求，接收服务模块返回的当前存储的所有任务信息，基于接收的所有任务信息更新本地存储的全量任务信息列表，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务，并执行属于所述任一任务执行模块的任务。

一种分布式任务分配方法，应用于分布式任务分配系统，所述分布式任务分配系统包括服务子系统和多个任务执行模块，该方法具体应用于所述服务子系统，包括：

接收任一任务执行模块定期发送的存活任务执行模块查询请求，获取当前存活的所有任务执行模块信息，将当前存活的所有任务执行模块信息返回给该任务执行模块，以使所述任一任务执行模块根据接收的所有任务执行模块信息更新本地的存活任务执行模块信息列表，并基于本地存储的存活任务执行模块信息列表生成一致性哈希hash环；

接收所述任一任务执行模块定期发送的全量任务查询请求，获取当前的所有任务信息，将当前的所有任务信息返回给该任务执行模块，以使所述任一任务执行模块基于接收到的所有任务信息更新本地的全量任务信息列表，根据所述一致性hash环确定全量任务信息列表中属于该任务执行模块的任务，并执行属于该任务执行模块的任务。

另一种布式任务分配方法，应用于分布式任务分配系统，所述分布式任务分配系统包括服务子系统和多个任务执行模块，该方法具体应用于任一任务执行模块，包括：

定期向服务子系统发送存活任务执行模块查询请求，接收服务子系统返回的当前存活的所有任务执行模块信息，基于接收到的所有任务执行模块信息更新本地存储的存活任务执行模块信息列表，并基于该存活任务执行模块信息列表生成一致性哈希hash环；

定期向服务子系统发送全量任务查询请求，接收服务子系统返回的当前的所有任务信息，基于接收到的所有任务信息更新本地存储的全量任务信息列表，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务，并执行属于所述任一任务执行模块的任务。

一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通过总线相连的存储器；所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序；所述至少一个处理器执行所述一个或多个计算机程序时实现上述应用于服务子系统的分布式任务分配方法中的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现上述应用于服务子系统的分布式任务分配方法。

另一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通过总线相连的存储器；所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序；所述至少一个处理器执行所述一个或多个计算机程序时实现上述应用于任一任务执行模块的分布式任务分配方法步骤。

另一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现上述应用于任一任务执行模块的分布式任务分配方法。

由上面的技术方案可知，本发明中，各任务执行模块通过定期向服务子系统请求当前存活的所有任务执行模块信息和当前的所有任务信息，根据当前存活的所有任务执行模块信息生成一致性hash环，并基于该一致性hash环确定属于该任务执行模块的所有任务，并执行这些任务。应用本发明的方法，可以及时根据分布式任务执行模块的存活情况更新分布式任务执行模块的任务分配，保证任务分配可靠性，另外采用一致性hash环来确定各任务执行模块的任务的方法，可以使任务执行模块增加或减少时，各任务执行模块的任务分配结果变化较少，可以保证任务分配的稳定性。

附图说明

图1是本发明实施例分布式任务分配系统的架构示意图；

图2是本发明实施例一分布式任务分配方法流程图；

图3是本发明实施例二分布式任务分配方法流程图；

图4是本发明实施例一提供的电子设备的结构示意图；

图5是本发明实施例二提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。

参见图1，图1是本发明实施例分布式任务分配系统的架构示意图，如图1所示，该系统包括服务子系统和多个任务执行模块。服务子系统包括服务模块、存活探测模块和任务管理模块，其中，服务模块用于基于各任务执行模块的请求将当前存活的所有任务执行模块信息、所有任务信息发送给该任务执行模块；存活探测模块用于探测维护的全量任务执行模块信息列表中各任务执行模块的存活情况；任务管理模块用于对当前的所有任务信息进行增加、删除、修改等管理。各任务执行模块用于从服务子系统获取当前存活的所有任务执行模块信息、所有任务信息，确定和执行属于该任务执行模块的任务。以下对该系统的具体实现进行详细说明：

该系统中的任一任务执行模块，用于定期向服务子系统中的服务模块发送存活任务执行模块查询请求。所述服务模块，接收到所述任一任务执行模块定期发送的存活任务执行模块查询请求后，获取当前存活的所有任务执行模块信息，将当前存活的所有任务执行模块信息返回给所述任一任务执行模块。所述任一任务执行模块接收到服务模块返回的当前存活的所有任务执行模块信息，根据接收的所有任务执行模块信息更新本地存储的存活任务执行模块信息列表，并基于该存活任务执行模块信息列表生成一致性哈希hash环；

所述任一任务执行模块，还用于定期向服务模块发送全量任务查询请求。所述服务模块，接收到所述任一任务执行模块定期发送的全量任务查询请求后，获取当前存储的所有任务信息，将当前存储的所有任务信息返回给该任务执行模块。所述任一任务执行模块接收到服务模块返回的当前存储的所有任务信息后，基于接收的所有任务信息更新本地存储的全量任务信息列表，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务，并执行属于所述任一任务执行模块的任务。

在本发明实施例中，全量任务执行模块信息列表由服务子系统中的存活探测模块负责维护。可以预先在配置文件或数据库中配置全量任务执行模块信息列表，该列表中的任务执行模块信息包括该任务执行模块标识(ID)，该任务执行模块所在设备的地址(如IP地址)和处理能力(如I/O处理能力和/或CPU性能)、该任务执行模块的存活状态等信息。

存活探测模块需要定期对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测，并基于存活状态探测结果更新全量任务执行模块信息中该任务执行模块的存活状态；这里的存活状态包括存活和未存活两种取值；

服务模块，可以从存活探测模块维护的全量任务执行模块信息列表获取当前存活的所有任务执行模块，具体地，是从该全量任务执行模块信息列表中找出存活状态为存活的所有任务执行模块信息。

在实际应用中，任一任务执行模块执行属于所述任一任务执行模块的任务之后，可以将任务执行结果存储到所述任一任务执行模块对应的存储位置，例如记录到一个数据库中，同时还记录该任务执行结果的存储时间，此存储时间可以用于存活探测模块对所述任一任务执行模块的存活情况探测。

另外，所述服务模块，接收到所述任一任务执行模块发送的存活任务执行模块查询请求时，还可以记录接收到所述任一任务执行模块发送的存活任务执行模块查询请求的时间，以用于存活探测模块对所述任一任务执行模块的存活情况探测。

所述服务模块，接收到所述任一任务执行模块发送的存活任务执行模块查询请求时，还可以记录接收到所述任一任务执行模块发送的存活任务执行模块查询请求的时间，以用于存活探测模块对所述任一任务执行模块的存活情况探测。

所述存活探测模块，对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测时，用于：针对全量任务执行模块信息列表中的每一任务执行模块，确定该任务执行模块的最近活跃时间，如果该最近活跃时间距离当前时间的时间差值超过预设时间阈值，则确定该任务执行模块未存活，否则，确定该任务存储模块存活；其中，该任务执行模块的最近活跃时间是该任务执行模块最近一次存储任务执行结果的时间、服务模块最近一次接收该任务执行模块发送的存活任务执行模块查询请求的时间，及服务模块最近一次接收该任务执行模块发送的全量任务查询请求的时间中距离当前时间最近的时间。在实际实现中，这三个时间的存储位置都可以预先设定，存活探测模块去相应位置获取这三个时间，并将距离当前时间最近的时间作为该任务执行模块的最近活跃时间即可。

本发明实施例中，

所述存活探测模块，确定该任务执行模块的最近活跃时间距离当前时间的时间差值超过预设时间阈值之后，确定该任务执行模块未存活之前，还可以进一步通过ping命令telnet命令确认该任务执行模块是否存活，具体地，可以向该任务执行模块所在设备发送ping命令或向该任务执行模块的监听端口发送telnet命令，如果接收到对所发送命令的响应信息，则确定该任务执行模块存活，否则，确定该任务执行模块未存活。

本发明实施例中，可以预先将所有任务信息存储到任务数据库中，任务管理模块负责对任务数据库中的任务进行增加、删除、修改等操作。

在具体实现中，任务管理用户可以向任务管理模块发送任务管理命令，任务管理命令包括任务增加命令、任务删除命令、任务修改命令。

任务管理模块，接收到任务管理用户的任务管理命令时，可以基于接收的任务管理命令维护任务数据库中存储的所有任务信息。具体地，

任务管理模块接收的任务管理命令是任务添加命令时，将任务添加命令指示的待添加任务添加到任务数据库中；

任务管理模块接收的任务管理命令是任务删除命令时，将任务删除命令指示的待删除任务从任务数据库中删除；

任务管理模块接收的任务管理命令是任务修改命令时，根据任务修改命令的修改指示修改任务数据库中的待修改任务。

所述服务模块，通过从任务数据库中读取当前存储的所有任务信息，即可获取得到当前的所有任务信息。

在现有实现中，为了保证安全性，在执行任务管理用户的任务管理命令之前，需要对发送任务管理命令的任务管理用户进行鉴权。

可以预先为每个任务管理用户分配对应的鉴权信息(如鉴权标识)，当任务管理用户触发任务管理命令时，任务管理命令中携带任务管理用户的鉴权信息。

当任务管理模块接收到任务管理用户的任务管理命令时，可以先基于任务管理命令中携带的鉴权信息对任务管理用户进行鉴权，鉴权通过，则继续执行后续的基于接收的任务管理命令维护任务数据库中存储的所有任务信息的操作，否则，可以返回鉴权失败信息，拒绝执行该任务管理命令。

这里，任务管理模块可以预先存储所有任务管理用户的鉴权信息，在鉴权过程中可以在存储的所有任务管理用户的鉴权信息中查找任务管理命令携带的鉴权信息，找到则可确定鉴权通过，否则可确定鉴权未通过。

本发明实施例中，所述任一任务执行模块，向服务模块发送存活任务执行模块查询请求之前，可以先判断所述任一任务执行模块是否需要退出分布式任务分配系统，如果是，则退出分布式任务分配系统，否则，继续执行向服务模块发送存活任务执行模块查询请求的操作；

同样，所述任一任务执行模块，向服务模块发送全量任务查询请求之前，也可以先判断所述任一任务执行模块是否需要退出分布式任务分配系统，如果是，则退出分布式任务分配系统，否则，继续执行向服务模块发送全量任务查询请求的操作。

本发明实施例中，为保证安全性，各任务执行模块向服务模块请求当前存活的所有任务执行模块信息和当前的所有任务信息时，服务模块也需要对该任务执行模块进行鉴权，以防止非任务执行模块冒充任务执行模块获取这些信息。

在实际应用中，可以预先为各任务执行模块分配对应的鉴权信息(如鉴权标识)。所述任一任务执行模块向服务模块发送的存活任务执行模块查询请求和全量任务查询请求中，均需携带有所述任一任务执行模块的鉴权信息。

所述服务模块，接收所述任一任务执行模块定期发送的存活任务执行模块查询请求之后，获取当前存活的所有任务执行模块信息之前，可进一步根据该存活任务执行模块查询请求携带的该任务执行模块的鉴权信息对该任务执行模块进行鉴权，鉴权通过，则获取当前存活的所有任务执行模块信息，否则，返回鉴权失败信息；

所述服务模块，接收所述任一任务执行模块定期发送的全量任务查询请求之后，获取当前的所有任务信息之前，可进一步根据该全量任务查询请求携带的该任务执行模块的鉴权信息对该任务执行模块进行鉴权，鉴权通过，则获取当前的所有任务信息，否则，返回鉴权失败信息；

所述任一任务执行模块，向服务模块发送存活任务执行模块查询请求或全量任务查询请求之后，如果接收到服务模块返回的鉴权失败信息，则记录鉴权失败日志或输出告警信息，并停止向服务模块发送存活任务执行模块查询请求或全量任务查询请求。

在实际实现中，服务模块则需要预先存储各任务执行模块的鉴权信息。在鉴权过程中可以在存储的所有任务执行模块的鉴权信息中查找存活任务执行模块查询请求和全量任务查询请求携带的鉴权信息，找到则可确定鉴权通过，否则可确定鉴权未通过。

这里，可以将各任务执行模块所在设备的IP地址作为该任务执行模块的鉴权信息，而服务模块中则将这些IP地址列入白名单，未列入白名单的IP地址视为非法IP地址。对于从非法IP地址发送的存活任务执行模块查询请求和全量任务查询请求，可以通过查询白名单确定属于非法IP，鉴权失败，返回鉴权失败信息，拒绝响应该接收到的存活任务执行模块查询请求或全量任务查询请求。

本发明实施例中，所述任一任务执行模块，基于该存活任务执行模块信息列表生成一致性hash环时，用于：

针对该存活任务执行模块信息列表中的每一任务执行模块，按照该任务执行模块所在处理的能力越大则为该任务执行模设置的虚拟节点越多的原则，为该任务执行模块设置对应的至少一个虚拟节点；

基于该存活任务执行模块信息列表各任务执行模块对应的虚拟节点生成一致性hash环。

所述任一执行模块，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务时，用于：针对该全量任务信息列表中的每一任务，确定该任务落入所述一致性hash环上的位置，如果该位置属于所述任一任务执行模块对应的任一虚拟节点的任务范围，则确定该任务是当前任务执行模块的任务。这里，如果该位置是在一定方向(顺时针方向或逆时针方向，具体方向是预先设定的)距离某一虚拟节点最近，则确定该位置属于该虚拟节点的任务范围。

一致性hash环的生成方法和计算任务落入一致性环上的位置的方法可采用现有一致性hash环算法。

以上对本发明实施例分布式任务分配系统进行了详细说明，本发明还提供了一种应用于服务子系统的分布式任务分配方法和一种应用于任一任务执行模块的分布式任务分配方法，下面结合图2、图3进行详细说明。

参见图2，图2是本发明实施例一分布式任务分配方法流程图，该方法应用于分布式任务分配系统，所述分布式任务分配系统包括服务子系统和多个任务执行模块，如图2所示，该方法具体应用于所述服务子系统，包括以下步骤：

步骤201、接收任一任务执行模块定期发送的存活任务执行模块查询请求，获取当前存活的所有任务执行模块信息，将当前存活的所有任务执行模块信息返回给该任务执行模块，以使所述任一任务执行模块根据接收的所有任务执行模块信息更新本地的存活任务执行模块信息列表，并基于本地存储的存活任务执行模块信息列表生成一致性哈希hash环；

步骤202、接收所述任一任务执行模块定期发送的全量任务查询请求，获取当前的所有任务信息，将当前的所有任务信息返回给该任务执行模块，以使所述任一任务执行模块基于接收到的所有任务信息更新本地的全量任务信息列表，根据所述一致性hash环确定全量任务信息列表中属于该任务执行模块的任务，并执行属于该任务执行模块的任务。

图2所示方法中，进一步包括：

定期对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测，并基于存活状态探测结果更新全量任务执行模块信息中该任务执行模块的存活状态；所述存活状态包括存活和未存活；

获取当前存活的所有任务执行模块信息的方法为：从维护的全量任务执行模块信息列表中找出存活状态为存活的所有任务执行模块信息。

图2所示方法中，

所述任一任务执行模块在执行属于所述任一任务执行模块的任务之后，将任务执行结果存储到所述任一任务执行模块对应的存储位置并记录有存储时间；

接收到所述任一任务执行模块发送的存活任务执行模块查询请求或全量任务查询请求时，进一步记录接收到所述任一任务执行模块发送的存活任务执行模块查询请求或全量任务查询请求的时间；

对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测的方法为：针对全量任务执行模块信息列表中的每一任务执行模块，确定该任务执行模块的最近活跃时间，如果该最近活跃时间距离当前时间的时间差值超过预设时间阈值，则确定该任务执行模块未存活，否则，确定该任务存储模块存活；其中，该任务执行模块的最近活跃时间为：该任务执行模块最近一次存储任务执行结果到预设位置的时间、记录的最近一次接收该任务执行模块发送的存活任务执行模块查询请求的时间，或记录的最近一次接收该任务执行模块发送的全量任务查询请求的时间中距离当前时间最近的时间。

图2所示方法中，

确定该任务执行模块的最近活跃时间距离当前时间的时间差值超过预设时间阈值之后，确定该任务执行模块未存活之前，进一步包括：向该任务执行模块所在设备发送ping命令或向该任务执行模块的监听端口发送telnet命令，如果收到所发送命令的响应信息，则确定该任务执行模块存活，否则，确定该任务执行模块未存活。

图2所示方法中，

预先在任务数据库中存储所有任务信息；

该方法进一步包括：接收任务管理用户的任务管理命令，基于接收的任务管理命令维护任务数据库中存储的所有任务信息；

获取当前的所有任务信息的方法为：从任务数据库中读取当前存储的所有任务信息。

图2所示方法中，

所述任务管理命令包括任务添加命令、任务删除命令和任务修改命令；

基于接收的任务管理命令，维护任务数据库中存储的所有任务信息，包括：

当接收的任务管理命令是任务添加命令时，将任务添加命令指示的待添加任务添加到任务数据库中；

当接收的任务管理命令是任务删除命令时，将任务删除命令指示的待删除任务从任务数据库中删除；

当接收的任务管理命令是任务修改命令时，根据任务修改命令的修改指示修改任务数据库中的待修改任务。

图2所示方法中，

所述任务管理命令携带有任务管理用户的鉴权信息；

所述任务管理模块，接收到任务管理用户的任务管理命令之后，基于接收的任务管理命令维护任务数据库中的所有任务信息之前，进一步包括：根据该任务管理命令携带的任务管理用户的鉴权信息对任务管理用户进行鉴权，鉴权通过，则基于该任务管理命令维护任务数据库中的所有任务信息，否则，拒绝执行该任务管理命令。

图2所示方法中，

所述任一任务执行模块向服务模块发送的存活任务执行模块查询请求和全量任务查询请求中，均携带有所述任一任务执行模块对应的鉴权信息；

接收所述任一任务执行模块定期发送的存活任务执行模块查询请求之后，获取当前存活的所有任务执行模块信息之前，进一步包括：根据该存活任务执行模块查询请求携带的该任务执行模块的鉴权标识对该任务执行模块进行鉴权，鉴权通过，则获取当前存活的所有任务执行模块信息，否则，返回鉴权失败信息；

接收所述任一任务执行模块定期发送的全量任务查询请求之后，获取当前的所有任务信息之前，进一步包括：根据该全量任务查询请求携带的该任务执行模块的鉴权标识对该任务执行模块进行鉴权，鉴权通过，则获取当前的所有任务信息，否则，返回鉴权失败信息。

参见图3，图3是本发明实施例二分布式任务分配方法流程图，该方法应用于分布式任务分配系统，所述分布式任务分配系统包括服务子系统和多个任务执行模块，如图2所示，该方法具体应用于任一任务执行模块，包括以下步骤：

步骤301、定期向服务子系统发送存活任务执行模块查询请求，接收服务子系统返回的当前存活的所有任务执行模块信息，基于接收到的所有任务执行模块信息更新本地存储的存活任务执行模块信息列表，并基于该存活任务执行模块信息列表生成一致性哈希hash环；

步骤302、定期向服务子系统发送全量任务查询请求，接收服务子系统返回的当前的所有任务信息，基于接收到的所有任务信息更新本地存储的全量任务信息列表，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务，并执行属于所述任一任务执行模块的任务。

图3所示方法中，

向服务子系统发送存活任务执行模块查询请求之前，进一步包括：判断所述任一任务执行模块是否在本地存储的存活任务执行模块信息列表中，如果是，则向服务子系统发送存活任务执行模块查询请求，否则，不向服务子系统发送存活任务执行模块查询请求；

向服务子系统发送全量任务查询请求之前，进一步包括：判断所述任一任务执行模块是否在本地存储的存活任务执行模块信息列表中，如果是，则向服务子系统发送全量任务查询请求，否则，不向服务子系统发送全量任务查询请求。

图3所示方法中，

向服务子系统发送存活任务执行模块查询请求和全量任务查询请求中均携带有所述任一任务执行模块的鉴权信息；

向服务子系统发送存活任务执行模块查询请求之后，进一步包括：如果接收到服务子系统返回的鉴权失败信息，则记录鉴权失败日志或输出告警信息，并停止向服务模块发送存活任务执行模块查询请求；

向服务子系统发送全量任务查询请求之后，进一步包括：如果接收到服务子系统返回的鉴权失败信息，则记录鉴权失败日志或输出告警信息，并停止向服务模块全量任务查询请求。

图3所示方法中，

执行属于所述任一任务执行模块的任务之后，进一步包括：将任务执行结果存储到所述任一执行模块对应的存储位置，以使服务子系统从所述任一执行模块对应的存储位置获取所述任一任务执行模块最近一次存储任务执行结果的时间。

图3所示方法中，

所述任务执行模块信息包括该任务执行模块所在设备的处理能力信息；

基于该存活任务执行模块信息列表生成一致性hash环的方法为：

针对该存活任务执行模块信息列表中的每个任务执行模块，按照该任务执行模块所在设备的处理能力越高则为该任务执行模块设置的虚拟节点越多的原则，为该任务执行模块设置至少一个虚拟节点；

基于该存活任务执行模块信息列表中的各任务执行模块对应的虚拟节点生成一致性hash环；

根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务的方法为：针对该全量任务列表中的每一任务，确定该任务落入所述一致性hash环中的位置，如果该位置属于所述任一任务执行模块对应的任一虚拟节点的任务范围，则确定该任务是所述任一任务执行模块的任务。

本发明实施例还提供了一种电子设备400，如图4所示，该电子设备400包括：至少一个处理器401，以及与所述至少一个处理器通过总线相连的存储器402；所述存储器402存储有可被所述至少一个处理器401执行的一个或多个计算机程序；所述至少一个处理器401执行所述一个或多个计算机程序时实现如图2所示分布式任务分配方法中的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个计算机程序，其所述一个或多个计算机程序被处理器执行时实现如图2所示分布式任务分配方法。

本发明实施例还提供了一种电子设备500，如图5所示，包括：至少一个处理器501，以及与所述至少一个处理器通过总线相连的存储器502；所述存储器502存储有可被所述至少一个处理器501执行的一个或多个计算机程序；所述至少一个处理器501执行所述一个或多个计算机程序时实现如图3所示分布式任务分配方法中的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现如图3所示分布式任务分配方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (27)

1.一种分布式任务分配系统，其特征在于，该系统包括服务子系统和多个任务执行模块；

所述服务子系统包括：服务模块，用于接收任一任务执行模块定期发送的存活任务执行模块查询请求，获取当前存活的所有任务执行模块信息，将当前存活的所有任务执行模块信息返回给所述任一任务执行模块；用于接收所述任一任务执行模块定期发送的全量任务查询请求，获取当前存储的所有任务信息，将当前存储的所有任务信息返回给该任务执行模块

所述任一任务执行模块，用于定期向服务模块发送存活任务执行模块查询请求，接收服务模块返回的当前存活的所有任务执行模块信息，根据接收的所有任务执行模块信息更新本地存储的存活任务执行模块信息列表，并基于该存活任务执行模块信息列表生成一致性哈希hash环；用于定期向服务模块发送全量任务查询请求，接收服务模块返回的当前存储的所有任务信息，基于接收的所有任务信息更新本地存储的全量任务信息列表，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务，并执行属于所述任一任务执行模块的任务。

2.根据权利要求1所述的系统，其特征在于，

所述服务子系统还包括：存活探测模块，用于定期对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测，并基于存活状态探测结果更新全量任务执行模块信息中该任务执行模块的存活状态；所述存活状态包括存活和未存活；

所述服务模块，获取当前存活的所有任务执行模块信息时，用于：从存活探测模块维护的全量任务执行模块信息列表中找出存活状态为存活的所有任务执行模块信息。

3.根据权利要求2所述的系统，其特征在于，

所述任一任务执行模块，执行属于所述任一任务执行模块的任务之后，进一步用于：将任务执行结果存储到所述任一任务执行模块对应的存储位置并记录存储时间；

所述服务模块，接收到所述任一任务执行模块发送的存活任务执行模块查询请求或全量任务查询请求时，进一步记录接收到所述任一任务执行模块发送的存活任务执行模块查询请求或全量任务查询请求的时间；

所述存活探测模块，对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测时，用于：针对全量任务执行模块信息列表中的每一任务执行模块，确定该任务执行模块的最近活跃时间，如果该最近活跃时间距离当前时间的时间差值超过预设时间阈值，则确定该任务执行模块未存活，否则，确定该任务存储模块存活；其中，该任务执行模块的最近活跃时间为该任务执行模块最近一次存储任务执行结果的时间、服务模块最近一次接收该任务执行模块发送的存活任务执行模块查询请求的时间，或服务模块最近一次接收该任务执行模块发送的全量任务查询请求的时间中距离当前时间最近的时间。

4.根据权利要求3的系统，其特征在于，

所述存活探测模块，确定该任务执行模块的最近活跃时间距离当前时间的时间差值超过预设时间阈值之后，确定该任务执行模块未存活之前，进一步用于：向该任务执行模块所在设备发送ping命令或向该任务执行模块的监听端口发送telnet命令，如果收到所发送命令的响应信息，则确定该任务执行模块存活，否则，确定该任务执行模块未存活。

5.根据权利要求1所述的系统，其特征在于，

预先在任务数据库中存储所有任务信息；

所述服务子系统还包括：任务管理模块，用于接收任务管理用户的任务管理命令，基于接收的任务管理命令维护任务数据库中存储的所有任务信息；

所述服务模块，获取当前的所有任务信息时，用于：从任务数据库中读取当前存储的所有任务信息。

6.根据权利要求5所述的系统，其特征在于，

所述任务管理命令包括任务添加命令、任务删除命令和任务修改命令；

所述任务管理模块，基于接收的任务管理命令，维护任务数据库中存储的所有任务信息，包括：

当接收的任务管理命令是任务添加命令时，将任务添加命令指示的待添加任务添加到任务数据库中；

当接收的任务管理命令是任务删除命令时，将任务删除命令指示的待删除任务从任务数据库中删除；

当接收的任务管理命令是任务修改命令时，根据任务修改命令的修改指示修改任务数据库中的待修改任务。

7.根据权利要求5所述的系统，其特征在于，

所述任务管理命令携带有任务管理用户的鉴权信息；

所述任务管理模块，接收到任务管理用户的任务管理命令之后，基于接收的任务管理命令维护任务数据库中的所有任务信息之前，进一步用于：根据该任务管理命令携带的任务管理用户的鉴权信息对任务管理用户进行鉴权，鉴权通过，则基于该任务管理命令维护任务数据库中的所有任务信息，否则，拒绝执行该任务管理命令。

8.根据权利要求1所述的系统，其特征在于，

所述任一任务执行模块，向服务模块发送存活任务执行模块查询请求之前，进一步用于：判断所述任一任务执行模块是否需要退出系统，如果是，则退出系统，否则，向服务模块发送存活任务执行模块查询请求；

所述任一任务执行模块，向服务模块发送全量任务查询请求之前，进一步用于：判断所述任一任务执行模块是否需要退出系统，如果是，则退出系统，否则，则向服务模块发送全量任务查询请求。

9.根据权利要求1所述的系统，其特征在于，

所述任一任务执行模块向服务模块发送的存活任务执行模块查询请求和全量任务查询请求中，均携带有所述任一任务执行模块的鉴权信息；

所述服务模块，接收所述任一任务执行模块定期发送的存活任务执行模块查询请求之后，获取当前存活的所有任务执行模块信息之前，进一步用于：根据该存活任务执行模块查询请求携带的该任务执行模块的鉴权信息对该任务执行模块进行鉴权，鉴权通过，则获取当前存活的所有任务执行模块信息，否则，返回鉴权失败信息；接收所述任一任务执行模块定期发送的全量任务查询请求之后，获取当前的所有任务信息之前，进一步用于：根据该全量任务查询请求携带的该任务执行模块的鉴权信息对该任务执行模块进行鉴权，鉴权通过，则获取当前的所有任务信息，否则，返回鉴权失败信息；

所述任一任务执行模块，向服务模块发送存活任务执行模块查询请求或全量任务查询请求之后，进一步用于：如果接收到服务模块返回的鉴权失败信息，则记录鉴权失败日志或输出告警信息，并停止向服务模块发送存活任务执行模块查询请求或全量任务查询请求。

10.根据权利要求1所述的系统，其特征在于，

所述任务执行模块信息包括该任务执行模块所在设备的处理能力信息；

所述任一任务执行模块，基于该存活任务执行模块信息列表生成一致性hash环时，用于：

针对该存活任务执行模块信息列表中的每一任务执行模块，按照该任务执行模块所在处理的能力越大则为该任务执行模设置的虚拟节点越多的原则，为该任务执行模块设置对应的至少一个虚拟节点；

基于该存活任务执行模块信息列表各任务执行模块对应的虚拟节点生成一致性hash环；

所述任一执行模块，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务时，用于：针对该全量任务信息列表中的每一任务，确定该任务落入所述一致性hash环上的位置，如果该位置属于所述任一任务执行模块对应的任一虚拟节点的任务范围，则确定该任务是当前任务执行模块的任务。

11.一种分布式任务分配方法，应用于分布式任务分配系统，其特征在于，所述分布式任务分配系统包括服务子系统和多个任务执行模块，该方法具体应用于所述服务子系统，包括：

接收任一任务执行模块定期发送的存活任务执行模块查询请求，获取当前存活的所有任务执行模块信息，将当前存活的所有任务执行模块信息返回给该任务执行模块，以使所述任一任务执行模块根据接收的所有任务执行模块信息更新本地的存活任务执行模块信息列表，并基于本地存储的存活任务执行模块信息列表生成一致性哈希hash环；

接收所述任一任务执行模块定期发送的全量任务查询请求，获取当前的所有任务信息，将当前的所有任务信息返回给该任务执行模块，以使所述任一任务执行模块基于接收到的所有任务信息更新本地的全量任务信息列表，根据所述一致性hash环确定全量任务信息列表中属于该任务执行模块的任务，并执行属于该任务执行模块的任务。

12.根据权利要求11所述的方法，其特征在于，

该方法进一步包括：定期对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测，并基于存活状态探测结果更新全量任务执行模块信息中该任务执行模块的存活状态；所述存活状态包括存活和未存活；

获取当前存活的所有任务执行模块信息的方法为：从维护的全量任务执行模块信息列表中找出存活状态为存活的所有任务执行模块信息。

13.根据权利要求12所述的方法，其特征在于，

所述任一任务执行模块在执行属于所述任一任务执行模块的任务之后，将任务执行结果存储到所述任一任务执行模块对应的存储位置并记录有存储时间；

接收到所述任一任务执行模块发送的存活任务执行模块查询请求或全量任务查询请求时，进一步记录接收到所述任一任务执行模块发送的存活任务执行模块查询请求或全量任务查询请求的时间；

对维护的全量任务执行模块信息列表中的各任务执行模块进行存活状态探测的方法为：针对全量任务执行模块信息列表中的每一任务执行模块，确定该任务执行模块的最近活跃时间，如果该最近活跃时间距离当前时间的时间差值超过预设时间阈值，则确定该任务执行模块未存活，否则，确定该任务存储模块存活；其中，该任务执行模块的最近活跃时间为：该任务执行模块最近一次存储任务执行结果到预设位置的时间、记录的最近一次接收该任务执行模块发送的存活任务执行模块查询请求的时间，或记录的最近一次接收该任务执行模块发送的全量任务查询请求的时间中距离当前时间最近的时间。

14.根据权利要求13的方法，其特征在于，

确定该任务执行模块的最近活跃时间距离当前时间的时间差值超过预设时间阈值之后，确定该任务执行模块未存活之前，进一步包括：向该任务执行模块所在设备发送ping命令或向该任务执行模块的监听端口发送telnet命令，如果收到所发送命令的响应信息，则确定该任务执行模块存活，否则，确定该任务执行模块未存活。

15.根据权利要求11所述的方法，其特征在于，

预先在任务数据库中存储所有任务信息；

该方法进一步包括：接收任务管理用户的任务管理命令，基于接收的任务管理命令维护任务数据库中存储的所有任务信息；

获取当前的所有任务信息的方法为：从任务数据库中读取当前存储的所有任务信息。

16.根据权利要求15所述的方法，其特征在于，

所述任务管理命令包括任务添加命令、任务删除命令和任务修改命令；

基于接收的任务管理命令，维护任务数据库中存储的所有任务信息，包括：

当接收的任务管理命令是任务添加命令时，将任务添加命令指示的待添加任务添加到任务数据库中；

当接收的任务管理命令是任务删除命令时，将任务删除命令指示的待删除任务从任务数据库中删除；

当接收的任务管理命令是任务修改命令时，根据任务修改命令的修改指示修改任务数据库中的待修改任务。

17.根据权利要求15所述的方法，其特征在于，

所述任务管理命令携带有任务管理用户的鉴权信息；

接收到任务管理用户的任务管理命令之后，基于接收的任务管理命令维护任务数据库中的所有任务信息之前，进一步包括：根据该任务管理命令携带的任务管理用户的鉴权信息对任务管理用户进行鉴权，鉴权通过，则基于该任务管理命令维护任务数据库中的所有任务信息，否则，拒绝执行该任务管理命令。

18.根据权利要求11所述的方法，其特征在于，

所述任一任务执行模块向服务模块发送的存活任务执行模块查询请求和全量任务查询请求中，均携带有所述任一任务执行模块对应的鉴权信息；

接收所述任一任务执行模块定期发送的存活任务执行模块查询请求之后，获取当前存活的所有任务执行模块信息之前，进一步用于：根据该存活任务执行模块查询请求携带的该任务执行模块的鉴权标识对该任务执行模块进行鉴权，鉴权通过，则获取当前存活的所有任务执行模块信息，否则，返回鉴权失败信息；

接收所述任一任务执行模块定期发送的全量任务查询请求之后，获取当前的所有任务信息之前，进一步包括：根据该全量任务查询请求携带的该任务执行模块的鉴权信息对该任务执行模块进行鉴权，鉴权通过，则获取当前的所有任务信息，否则，返回鉴权失败信息。

19.一种布式任务分配方法，应用于分布式任务分配系统，其特征在于，所述分布式任务分配系统包括服务子系统和多个任务执行模块，该方法具体应用于任一任务执行模块，包括：

定期向服务子系统发送存活任务执行模块查询请求，接收服务子系统返回的当前存活的所有任务执行模块信息，基于接收到的所有任务执行模块信息更新本地存储的存活任务执行模块信息列表，并基于该存活任务执行模块信息列表生成一致性哈希hash环；

定期向服务子系统发送全量任务查询请求，接收服务子系统返回的当前的所有任务信息，基于接收到的所有任务信息更新本地存储的全量任务信息列表，根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务，并执行属于所述任一任务执行模块的任务。

20.根据权利要求19所述的方法，其特征在于，

向服务子系统发送存活任务执行模块查询请求之前，进一步包括：判断所述任一任务执行模块是否在本地存储的存活任务执行模块信息列表中，如果是，则向服务子系统发送存活任务执行模块查询请求，否则，不向服务子系统发送存活任务执行模块查询请求；

向服务子系统发送全量任务查询请求之前，进一步包括：判断所述任一任务执行模块是否在本地存储的存活任务执行模块信息列表中，如果是，则向服务子系统发送全量任务查询请求，否则，不向服务子系统发送全量任务查询请求。

21.根据权利要求19所述的方法，其特征在于，

向服务子系统发送存活任务执行模块查询请求和全量任务查询请求中均携带有所述任一任务执行模块的鉴权信息；

向服务子系统发送存活任务执行模块查询请求之后，进一步包括：如果接收到服务子系统返回的鉴权失败信息，则记录鉴权失败日志或输出告警信息，并停止向服务模块发送存活任务执行模块查询请求；

向服务子系统发送全量任务查询请求之后，进一步包括：如果接收到服务子系统返回的鉴权失败信息，则记录鉴权失败日志或输出告警信息，并停止向服务模块全量任务查询请求。

22.根据权利要求19所述的方法，其特征在于，

执行属于所述任一任务执行模块的任务之后，进一步包括：将任务执行结果存储到所述任一执行模块对应的存储位置，以使服务子系统从所述任一执行模块对应的存储位置获取所述任一任务执行模块最近一次存储任务执行结果的时间。

23.根据权利要求19所述的方法，其特征在于，

所述任务执行模块信息包括该任务执行模块所在设备的处理能力信息；

基于该存活任务执行模块信息列表生成一致性hash环的方法为：

针对该存活任务执行模块信息列表中的每个任务执行模块，按照该任务执行模块所在设备的处理能力越高则为该任务执行模块设置的虚拟节点越多的原则，为该任务执行模块设置至少一个虚拟节点；

基于该存活任务执行模块信息列表中的各任务执行模块对应的虚拟节点生成一致性hash环；

根据所述一致性hash环确定该全量任务信息列表中属于所述任一任务执行模块的任务的方法为：针对该全量任务列表中的每一任务，确定该任务落入所述一致性hash环中的位置，如果该位置属于所述任一任务执行模块对应的任一虚拟节点的任务范围，则确定该任务是所述任一任务执行模块的任务。

24.一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通过总线相连的存储器；所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序；其特征在于，所述至少一个处理器执行所述一个或多个计算机程序时实现权利要求11-18任一权项所述的方法步骤。

25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个计算机程序，其所述一个或多个计算机程序被处理器执行时实现权利要求11-18中任一权项所述的方法。

26.一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通过总线相连的存储器；所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序；其特征在于，所述至少一个处理器执行所述一个或多个计算机程序时实现权利要求19-23任一权项所述的方法步骤。

27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现权利要求19-23中任一权项所述的方法。

Images