CN110262882A - 一种分布式的通讯命令调度系统及方法 - Google Patents

Abstract

本发明公开了一种分布式的通讯命令调度系统及方法，涉及通讯技术领域，该系统包括zookeeper服务器接收来自客户端的命令；并接收服务端发送的注册信息，并根据注册信息与所述服务端建立连接，并接收服务端反馈的进程的状态信息；集群管理服务器获取所述命令，并对命令进行解析，以获得工作任务；根据进程的状态信息向工作任务分配进程，获得进程分配关系，并将进程分配关系存储于zookeeper服务器上；服务端用于获取进程分配关系，并根据进程分配关系调用对应的进程对工作任务进行处理。本发明使得多任务并行处理的能力得到极大提升，即便任意一个终端掉线，命令也不会丢失，通过重新启动即能够重新进行命令处理。

Description

一种分布式的通讯命令调度系统及方法

技术领域

本发明涉及通讯技术领域，具体而言，涉及一种分布式的通讯命令调度系统及方法。

背景技术

目前，常用的分布式调度的通讯机制有几种，包括通过socket方式进行通讯、通过http方式进行通讯或者通过Netty方式进行通讯,但是采用上述通讯机制，会使得程序处于紧耦合的关系中，使得当系统中的某一个节点中断或者挂掉时，就会导致数据的丢失，也无法对集群的状态进行全面的监控。因此，如何构建一个稳定、可靠、安全的通信机制成了现在的亟需解决的技术问题。

发明内容

本发明正是基于上述问题，提出了一种新的分布式的通讯命令调度系统及方法，可以提供一个解耦的通讯命令的调度框架，从根本上解决现有的分布式通讯机制不稳定的问题。

有鉴于此，本发明提出了一种分布式的通讯命令调度系统，包括客户端、zookeeper服务器、集群管理服务器以及服务端，其中：

所述zookeeper服务器包括：

命令接收单元，用于接收来自所述客户端的命令；

服务端状态存储单元，用于接收所述服务端发送的注册信息，并根据所述注册信息与所述服务端建立连接；

进程状态存储单元，用于接收所述服务端反馈的进程的状态信息；

进程分配关系存储单元，用于接收所述集群管理服务器发送的进程分配关系；

所述集群管理服务器包括：

命令解析单元，用于获取所述命令，并对所述命令进行解析，以获得工作任务；

进程分配单元，用于根据所述进程的状态信息向所述工作任务分配进程，获得所述进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；

所述服务端包括：

通信单元，用于向所述zookeeper服务器发送所述注册信息；

进程状态反馈单元，用于在所述通信单元与所述zookeeper服务器建立连接后，向所述zookeeper服务器发送所述进程的状态信息；

读取单元，用于获取所述进程分配关系，并根据所述进程分配关系调用对应的进程对所述工作任务进行处理。

本发明的有益效果是：所述zookeeper服务器接收所述客户端发送的命令，所述集群管理服务器负责对所述命令进行解析，以分配进程对所述命令进行处理，并将所述进程分配关系下发至所述zookeeper服务器中；所述服务端则连接在所述zookeeper服务器上，通过获取所述zookeeper服务器中的进程分配关系，以根据所述进程分配关系来调度进程对工作任务进行处理。通过所述Zookeeper服务器接收命令，所述集群管理服务器对所述命令进行解析，分配进程，所述Zookeeper服务器只作为所述客户端、所述集群管理服务器以及所述服务端三者间命令的中转，所述服务端只需要负责数据的处理工作；使得多任务并行处理的能力得到极大提升，即便任意一个终端掉线，命令也不会丢失，通过重新启动即能够重新进行命令处理，而且通过zookeeper服务器在毫秒级做出反馈，不影响通讯效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述集群管理服务器还包括：命令监测单元，用于监测所述zookeeper服务器上的命令的状态是否发生变化；

所述进程分配单元还用于：当所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整；

所述读取单元还用于：根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态。

采用上述进一步方案的有益效果是：通过所述命令监测单元对所述zookeeper服务器上的命令的状态进行监测，当命令的状态发生变化时，所述读取单元能够根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态，使得所述服务端能够及时根据命令的变化对进程的运行状态进行调整。

进一步地，所述服务端还包括：进程回收单元，用于在所述进程完成工作任务处理后，对所述进程进行回收；

所述进程状态反馈单元还用于：在所述进程回收单元对所述进程进行回收后，对所述进程状态存储单元中存储的进程的状态信息进行更新。

采用上述进一步方案的有益效果是：通过所述进程状态反馈单元对所述进程状态存储单元中存储的进程的状态信息进行更新，使得所述集群管理服务器能够根据最新的进程的状态信息对进程进行分配，提高资源的利用率。

进一步地，所述集群服务器还包括：

进程状态监测单元，用于对所述进程的运行状态进行监测，并在所述进程的运行状态发生异常时，将运行状态发生异常的进程的工作任务进行失效转移。

采用上述进一步方案的有益效果是：通过对所述进程的运行状态进行监测，将运行状态发生异常的进程的工作任务转移到另一个备份服务端中进行执行，使得工作任务的执行不会发生中断。

进一步地，所述集群服务器还包括：

服务端监测单元，用于根据所述服务端的注册信息对所述服务端维持心跳检测，以判断所述服务端是否掉线；当所述服务端掉线时，将掉线的服务端的工作任务均衡分配至其它服务端中。

采用上述进一步方案的有益效果是：通过对服务端维持心跳检测，使得能够及时对掉线的服务端的工作任务重新均衡分配至其它服务端进行处理，使得工作任务的处理不会中断，而且对系统中的服务端的负载进行均衡分配。

进一步地，所述集群服务器还包括：

任务补偿单元，用于在预设时间阈值内向所述zookeeper服务器补偿所述工作任务。

采用上述进一步方案的有益效果是：通过在预设时间阈值内向所述zookeeper服务器补偿所述工作任务，可以防止工作任务丢失。

为解决上述技术问题，本发明提出一种分布式的通讯命令调度方法，包括以下步骤：

zookeeper服务器接收来自客户端的命令，且所述zookeeper服务器接受服务端的发送的注册信息，并根据所述注册信息与所述服务端建立连接；

所述服务端向所述zookeeper服务器反馈进程的状态信息；

集群管理服务器获取所述命令，对所述命令进行解析，以获得工作任务；并根据所述进程的状态信息向所述工作任务分配进程，获得进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；

所述服务端获取所述进程分配关系，并根据所述进程分配关系调用对应的进程对所述工作任务进行处理。

进一步地，所述方法还包括：

所述集群管理服务器监测所述zookeeper服务器上的命令的状态是否发生变化；

所述集群管理服务器在所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整；

所述服务端根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态。

进一步地，所述方法还包括：

所述服务端在所述进程完成工作任务处理后，对所述进程进行回收；且在所述进程进行回收后，对所述进程状态信息进行更新。

进一步地，所述方法还包括：

所述集群管理服务器对所述进程的运行状态进行监测，并在所述进程的运行状态发生异常时，将运行状态发生异常的进程的工作任务进行失效转移。

附图说明

图1示出了根据本发明的实施例提供的一种分布式的通讯命令调度系统的结构连接示意图；

图2示出了根据本发明的实施例提供的一种分布式的通讯命令调度方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例即实施例中的特征可以相互结合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例提供的一种分布式的通讯命令调度系统的结构连接示意图。

如图1所示，本实施例中，一种分布式的通讯命令调度系统，包括客户端、zookeeper服务器、集群管理服务器以及服务端，其中：

所述zookeeper服务器包括：

命令接收单元，用于接收来自所述客户端的命令；

服务端状态存储单元，用于接收所述服务端发送的注册信息，并根据所述注册信息与所述服务端建立连接；

进程状态存储单元，用于接收所述服务端反馈的进程的状态信息；

进程分配关系存储单元，用于接收所述集群管理服务器发送的进程分配关系；

所述集群管理服务器包括：

命令解析单元，用于获取所述命令，并对所述命令进行解析，以获得工作任务；

进程分配单元，用于根据所述进程的状态信息向所述工作任务分配进程，获得所述进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；

所述服务端包括：

通信单元，用于向所述zookeeper服务器发送所述注册信息；

进程状态反馈单元，用于在所述通信单元与所述zookeeper服务器建立连接后，向所述zookeeper服务器发送所述进程的状态信息；

读取单元，用于获取所述进程分配关系，并根据所述进程分配关系调用对应的进程对所述工作任务进行处理。

值得说明的是，Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

在该技术方案中，所述zookeeper服务器的命令接收单元接收所述客户端发送的命令，所述zookeeper服务器将命令按照命令接收到的时间的先后顺序依次编号存放在Zookeeper服务器的命令目录中，例如：先接收到的命令命名为cmd-1，后续依次接收到的命令命名为cmd-2、cmd-3、…、cmd-n；所述集群管理服务器的命令解析单元则获取所述zookeeper服务器上的命令，对所述命令进行解析，以获得工作任务；例如所述命令解析单元提取所述命令目录中序号最小的命令，即最先接收到的命令，并回调命令解析函数对所述命令进行解析，得到所述工作任务；所述服务端通过向所述zookeeper服务器发送所述注册信息，所述注册信息包括IP地址、端口号等，以用于所述zookeeper服务器与所述服务端建立连接；在建立连接后，所述服务端将进程的状态信息上传至所述zookeeper服务器上，所述集群管理服务器则根据进程的状态信息向所述工作任务分配进程，获得所述进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；所述服务端则读取所述进程分配关系，以调用对应的进程对所述工作任务进行处理。

在上述技术方案中，所述集群管理服务器还包括：命令监测单元，用于监测所述zookeeper服务器上的命令的状态是否发生变化；

所述进程分配单元还用于：当所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整；

所述读取单元还用于：根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态。

在该技术方案中，所述命令监测单元对所述zookeeper服务器上的命令进行监测，以判断命令的状态是否发生变化，由于命令有进程调度命令以及工作任务状态调度命令，例如工作任务的状态包括停止、运行中以及暂停等各种状态。因此，所述进程分配单元在当所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整，即命令的状态变化为进程调度命令时，则重新调整进程分配关系；命令的状态变化为工作任务状态调度时，则对所述工作任务的状态进行调整，例如，进程当前执行的工作任务的状态是运行中，变化的工作任务的状态是暂停，则向该进程发出暂停指令，以使该进程的工作任务的状态变成暂停。

在上述技术方案中，所述服务端还包括：进程回收单元，用于在所述进程完成工作任务处理后，对所述进程进行回收；

所述进程状态反馈单元还用于：在所述进程回收单元对所述进程进行回收后，对所述进程状态存储单元中存储的进程的状态信息进行更新。

在该技术方案中，由于所述集群管理服务器需要根据所述zookeeper服务器上的进程的状态信息来向工作任务分配进程，因此，在一个进程完成数据处理后，通过所述进程状态反馈单元向所述zookeeper服务器反馈该进程的状态，以便所述集群管理服务器能够对其进行分配，提到计算机资源的利用率。例如，进程A在处理完了工作任务A后，开始对进程A进行回收，所述进程状态反馈单元向所述zookeeper服务器反馈进程A的状态为空闲，所述集群管理服务器获得进程A的空闲信息，则向进程A分配工作任务B。

在上述技术方案中，所述集群服务器还包括：

进程状态监测单元，用于对所述进程的运行状态进行监测，并在所述进程的运行状态发生异常时，将运行状态发生异常的进程的工作任务进行失效转移。

值得说明的是，失效转移是是一种备份操作模式，当主要组件异常时，其功能转移到备份组件。其要点在于有主有备，且主故障时备可启用，并设置为主。

在该技术方案中，通过对进程的运行状态进行监测，当进程的运行状态发生异常后，将运行状态发生异常的进程的工作任务转移到另一个备份服务端中进行执行。例如对服务端A上的进程B的运行状态进行监测，服务端A上的进程B的运行状态发生异常，则启动服务端A的备份服务器来执行进程B。

在上述技术方案中，所述集群服务器还包括：

服务端监测单元，用于根据所述服务端的注册信息对所述服务端维持心跳检测，以判断所述服务端是否掉线；当所述服务端掉线时，将掉线的服务端的工作任务均衡分配至其它服务端中。

在该技术方案中，由于所述服务端向所述zookeeper服务器发送注册信息，所述zookeeper服务器验证所述注册信息是否合法，合法则与服务端建立连接。因此，可以根据所述服务端的注册信息对所述服务端维持心跳检测，以判断所述服务端是否掉线。当存在服务端掉线时，则将掉线的服务端的工作任务均衡分配至其它服务端中。不仅使得工作任务的处理不会暂停，而且也能使得服务端的负载均衡。

在上述技术方案中，所述集群服务器还包括：

任务补偿单元，用于在预设时间阈值内向所述zookeeper服务器补偿所述工作任务。

在该技术方案中，由于在工作任务的处理中，会出现各种异常情况导致工作任务丢失。例如如果任务的执行时间超过该任务的下一次执行时间，则会出现任务丢失，跳过该段时间的任务。因此在预设时间阈值内对工作任务进行补偿，以防止工作任务丢失。例如，当前进程在执行任务A，所述任务补偿单元每隔1分钟，发送一个新的任务A，如果当前进程还在被执行任务A或者已经执行完毕，则说明任务A并未丢失；如果当前进程已经丢失了，则将新的任务A重新分配进程进行处理，以防止工作任务丢失。

图2示出了根据本发明的实施例提供的一种分布式的通讯命令调度方法的流程示意图。

如图2所示，一种分布式的通讯命令调度方法，包括以下步骤：

zookeeper服务器接收来自客户端的命令，且所述zookeeper服务器接受服务端的发送的注册信息，并根据所述注册信息与所述服务端建立连接；

所述服务端向所述zookeeper服务器反馈进程的状态信息；

集群管理服务器获取所述命令，对所述命令进行解析，以获得工作任务；并根据所述进程的状态信息向所述工作任务分配进程，获得进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；

所述服务端获取所述进程分配关系，并根据所述进程分配关系调用对应的进程对所述工作任务进行处理。

在上述技术方案中，所述方法还包括：

所述集群管理服务器监测所述zookeeper服务器上的命令的状态是否发生变化；

所述集群管理服务器在所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整；

所述服务端根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态。

在上述技术方案中，所述方法还包括：

所述服务端在所述进程完成工作任务处理后，对所述进程进行回收；且在所述进程进行回收后，对所述进程状态信息进行更新。

在上述技术方案中，所述方法还包括：

所述集群管理服务器对所述进程的运行状态进行监测，并在所述进程的运行状态发生异常时，将运行状态发生异常的进程的工作任务进行失效转移。

以上结合附图详细说明了本发明的技术方案，考虑到相关技术中，分布式调度的通讯机制中某一个节点中断或者挂掉时，就会导致数据的丢失，也无法对集群的状态进行全面的监控。本发明提出了一种分布式的通讯命令调度系统及方法，使得多任务并行处理的能力得到极大提升，即便任意一个终端掉线，命令也不会丢失，通过重新启动即能够重新进行命令处理，而且通过zookeeper服务器在毫秒级做出反馈，不影响通讯效率。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式的通讯命令调度系统，其特征在于，包括客户端、zookeeper服务器、集群管理服务器以及服务端，其中：

所述zookeeper服务器包括：

命令接收单元，用于接收来自所述客户端的命令；

服务端状态存储单元，用于接收所述服务端发送的注册信息，并根据所述注册信息与所述服务端建立连接；

进程状态存储单元，用于接收所述服务端反馈的进程的状态信息；

进程分配关系存储单元，用于接收所述集群管理服务器发送的进程分配关系；

所述集群管理服务器包括：

命令解析单元，用于获取所述命令，并对所述命令进行解析，以获得工作任务；

进程分配单元，用于根据所述进程的状态信息向所述工作任务分配进程，获得所述进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；

所述服务端包括：

通信单元，用于向所述zookeeper服务器发送所述注册信息；

进程状态反馈单元，用于在所述通信单元与所述zookeeper服务器建立连接后，向所述zookeeper服务器发送所述进程的状态信息；

读取单元，用于获取所述进程分配关系，并根据所述进程分配关系调用对应的进程对所述工作任务进行处理。

2.根据权利要求1所述的分布式的通讯命令调度系统，其特征在于，

所述集群管理服务器还包括：命令监测单元，用于监测所述zookeeper服务器上的命令的状态是否发生变化；

所述进程分配单元还用于：当所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整；

所述读取单元还用于：根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态。

3.根据权利要求1所述的分布式的通讯命令调度系统，其特征在于，

所述服务端还包括：进程回收单元，用于在所述进程完成工作任务处理后，对所述进程进行回收；

所述进程状态反馈单元还用于：在所述进程回收单元对所述进程进行回收后，对所述进程状态存储单元中存储的进程状态信息进行更新。

4.根据权利要求1至3任一项所述的分布式的通讯命令调度系统，其特征在于，所述集群服务器还包括：

进程状态监测单元，用于对所述进程的运行状态进行监测，并在所述进程的运行状态发生异常时，将运行状态发生异常的进程的工作任务进行失效转移。

5.根据权利要求1至3任一项所述的分布式的通讯命令调度系统，其特征在于，所述集群服务器还包括：

服务端监测单元，用于根据所述服务端的注册信息对所述服务端维持心跳检测，以判断所述服务端是否掉线；当所述服务端掉线时，将掉线的服务端的工作任务均衡分配至其它服务端中。

6.根据权利要求1至3任一项所述的分布式的通讯命令调度系统，其特征在于，所述集群服务器还包括：

任务补偿单元，用于在预设时间阈值内向所述zookeeper服务器补偿所述工作任务。

7.一种分布式的通讯命令调度方法，其特征在于，包括以下步骤：

zookeeper服务器接收来自客户端的命令，且所述zookeeper服务器接受服务端的发送的注册信息，并根据所述注册信息与所述服务端建立连接；

所述服务端向所述zookeeper服务器反馈进程的状态信息；

集群管理服务器获取所述命令，对所述命令进行解析，以获得工作任务；并根据所述进程的状态信息向所述工作任务分配进程，获得进程分配关系，并将所述进程分配关系存储于所述zookeeper服务器上；

所述服务端获取所述进程分配关系，并根据所述进程分配关系调用对应的进程对所述工作任务进行处理。

8.根据权利要求7所述的分布式的通讯命令调度方法，其特征在于，所述方法还包括：

所述集群管理服务器监测所述zookeeper服务器上的命令的状态是否发生变化；

所述集群管理服务器在所述命令的状态发生变化时，根据所述命令的状态变化对应调整所述进程分配关系和/或对所述工作任务的状态进行调整；

所述服务端根据调整后的进程分配关系和/或调整后工作任务的状态对应调整所述服务端中的进程的运行状态。

9.根据权利要求7所述的分布式的通讯命令调度方法，其特征在于，所述方法还包括：

所述服务端在所述进程完成工作任务处理后，对所述进程进行回收；且在所述进程进行回收后，对所述进程状态信息进行更新。

10.根据权利要求7至9任一项至所述的分布式的通讯命令调度方法，其特征在于，所述方法还包括：

所述集群管理服务器对所述进程的运行状态进行监测，并在所述进程的运行状态发生异常时，将运行状态发生异常的进程的工作任务进行失效转移。