CN110011984A - 一种基于rest和rpc的分布式集群系统及方法 - Google Patents

Abstract

本发明公开了一种基于REST和RPC的分布式集群系统及方法；该系统架设在用户端和服务器之间，用户端和服务器之间基于Linux命名空间架构，通过REST架构实现命名空间及其资源的管理；REST的目的是提高客户端服务器的独立性和松耦合性，加强服务器的可伸缩性，简化服务器的开发，用于服务前端处理用户的各种服务请求。采用RPC架构能够弥补REST通信架构只能同步通信，通信数据仅限于文本等缺点，用于服务后端解决功能业务流程。用户网络采用虚拟化网络进行构建，数据存储采用分布式文件系统。提高了用户服务的可靠性，降低了管理的成本和运维的复杂程度。

Description

一种基于REST和RPC的分布式集群系统及方法

【技术领域】

本发明属于集群资源管理与任务调度领域，具体涉及一种基于REST和RPC的分布式集群系统及方法。

【背景技术】

在集群资源管理与任务调度领域，目前主要有以下几种软件实现方式：

资源管理软件：接口设计需要符合特定的设计标准，服务器端和客户端软件接口采用紧耦合的方式，大部分服务均采用中心化结构(master-slave)，为了保证master的可靠性，还需要额外的高可用保障资源。

云计算软件：均采用操作系统镜像来安装部署分布式节点，属于重量级应用范畴，在节点数据迁移时需要对操作系统镜像进行网络传输，数据资源重构带宽开销巨大，运维难度高。

容器管理软件：大部分采用Docker容器及其管理软件K8S。由于此类软件主要由Go语言实现，对硬件架构的适配性有限，目前仅支持X86和ARM，通用性不强。

目前大多数分布式集群软件均基于TCP/IP或者SNMP协议设计，代码可重用性低，耦合性强，调试难度高，部署运维工作量大。程序代码大部分采用C，C++，Java等语言进行开发，调试难度大。

【发明内容】

本发明的目的在于克服现有技术中心化突出、侧重于重量级应用、开发难度大等缺点，提供一种面向轻量级应用的基于REST和RPC的分布式集群系统和方法。该软件的通信机制基于REST协议和RPC协议。各模块内部通信采用REST协议，模块之间的通信采用RPC协议。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于REST和RPC的分布式集群系统，包括：

资源分配与调度管理模块，用于根据用户请求创建并分配命名空间，以及对命名空间迁移；

命名空间管理模块：用于接收资源分配与调度管理模块的信息，对命名空间的资源进行配置，并向虚拟网络管理模块发送网络资源申请以构建路由拓扑，向分布式共享存储管理模块发送请求构建文件系统，以分配存储资源；

虚拟网络管理模块：用于接收命名空间管理模块的信息，对不同用户的命名空间中运行的进程产生的流量进行路由转发，将不同用户的命名空间之间的通信信息反馈至命名空间管理模块和资源分配与调度管理模块；

分布式共享存储管理模块：用于接收命名空间管理模块的信息，对不同用户的命名空间中运行的进程使用的虚拟存储设备产生的文件进行统一的管理和存储，将管理和存储信息反馈至命名空间管理模块和资源分配与调度管理模块；

RPC协议实现模块：用于基于RPC协议进行上述模块之间的通信；

资源分配与调度管理模块、命名空间管理模块、虚拟网络管理模块和分布式共享存储管理模块的内部均使用REST协议进行通信。

本发明的进一步改进在于：

优选的，资源分配与调度管理模块还用于为所有命名空间的资源定义全局唯一ID，同时将所有命名空间的资源使用标准接口封装。

优选的，资源分配与调度管理模块，通过API接口响应为用户创建命名空间的REST请求，通过调度算法得到最优主机后提交创建命名空间的请求。

优选的，资源分配与调度管理模块通过cgroup组件实现命名空间的迁移。

优选的，虚拟网络管理模块通过创建虚拟交换机实现流量的路由转发。

优选的，虚拟交换机包括：

用户网络层，用于连接用户命名空间；

本地网络层，用于处理各个命名空间的用户网络层的流量，并对同一主机节点不同命名空间的网络层流量进行交换；

网络服务层，用于处理去往其他主机节点和进入到本主机节点的网络流量，并对其进行交换；

外部网络层，用于与外部主机节点相连接。

优选的，分布式共享存储管理模块通过Ceph分布式节点的文件系统进行文件的统一管理和存储。

优选的，命名空间管理模块通过RPC协议实现模块同时向虚拟网络管理模块和分布式共享存储管理模块发送信息为主题交换模式；虚拟网络管理模块或分布式共享存储管理模块通过RPC协议实现模块向命名空间管理模块发送信息为答案交换模式。

优选的，所述基于REST和RPC的分布式集群系统通过Python语言编写。

一种上述任意一项所述的基于REST和RPC的分布式集群系统的集群方法，包括：

步骤1，用户通过符合REST协议的接口向资源分配与调度管理模块发送资源申请的请求，资源分配与调度管理模块将用户请求发送到命名空间管理模块；

步骤2，命名空间管理模块为用户分配命名空间，并向虚拟网络管理模块发送网络资源申请，执行步骤3；同时命名空间管理模块向分布式共享存储管理模块发送请求构建文件系统，执行步骤4；

步骤3，虚拟网络管理模块构建虚拟网络资源后将资源信息的统一资源定位符发送回资源分配与调度管理模块和命名空间管理模块，命名空间管理模块构建自己的路由拓扑，资源分配与调度管理模块记录命名空间管理模块的网络拓扑信息；

步骤4，分布式共享存储管理模块创建该命名空间的存储资源并将资源信息发送回命名空间管理模块和资源分配与调度管理模块；命名空间管理模块通过该存储资源信息使用分配的存储资源，资源分配与调度管理模块存储该存储资源的信息。

与现有技术相比，本发明具有以下有益效果：

本发明针对现有产品不足，提出了一种基于REST服务和RPC服务的分布式集群系统和方法。REST协议能够提高客户端、服务器的独立性和松耦合性，加强服务器的可伸缩性，简化服务器的开发，用于处理前端用户的各种服务请求，各个模块内部通过REST进行数据通信。各个模块之间通过RPC协议实现模块RPC协议能够弥补REST协议只能同步通信，通信数据仅限于文本等缺点，用于后端功能业务流程。

本发明设计的基于REST和RPC的分布式集群系统具有以下优点：

(1)采用命名空间隔离用户应用，使得分布式资源可以集中分配和调度，用户间实现容器化和虚拟化隔离。

(2)实现了用户网络的安全隔离，并能够在用户命名空间出现故障时将用户网络迁移到没有故障的命名空间，迁移过程对用户透明，提高了网络的可靠性。

(3)采用了分布式文件系统，在用户命名空间出现故障时，用户文件数据可以同网络资源一样迁移到没有故障的命名空间，用户数据的安全性更高。

(4)使用REST和RPC两种通信协议，实现了客户端和服务器端的软件开发的完全解耦。

【附图说明】

图1为本发明的分布式集群系统功能模块关系图；

图2为本发明的RPC协议的应用模型图；

图3为本发明的NMM三层服务结构；

【具体实施方式】

下面结合附图和具体实施例对本发明做进一步详细描述，

参见图1，本发明公开了一种基于REST和RPC的分布式集群系统。该软件部署在服务器端，包括资源分配与调度管理模块(RMM)、命名空间管理模块(NSMM)、虚拟网络管理模块(NMM)和分布式共享存储管理模块(FSMM)，所有模块之间通过RPC协议处理模块(RPC)进行通信，模块内部的通信采用REST协议进行。该架构为基于Linux的命名空间架构，所述命名空间(NS)通过REST和RPC协议实现命名空间及其资源的管理，所述命名空间的架构设置在服务器端

本发明属于分布式集群管理软件领域，采用Python语言进行编写，采用基于REST和RPC的松耦合方式进行通信。该软件实现集群节点命名空间的创建、任务在命名空间中的运行、命名空间的调度管理等。命名空间之间通过虚拟网络进行通信和隔离，采用分布式存储方案实现命名空间的文件存储。

资源分配与调度管理模块(RMM)：共设置有三个功能：

功能一：用于根据用户请求，创建并分配命名空间，具体包括以下步骤：

RMM通过API接口响应用户创建命名空间的REST请求，通过调度算法得到最优主机后，提交创建命名空间的请求，为用户分配命名空间。调度算法主要实现资源权值计算以及资源过滤，通过过滤选择出满足用户需求的最优的主机。

功能二：在检测到故障时，对命名空间进行迁移，具体包括以下流程：

(1)调度前的检查工作

a)对源主机进行初步检查，主要检查源主机命名空间是否启动，源主机的RMM服务是否处于启动状态；

b)对目的主机进行初步检查，主要检查目的主机的RMM服务是否开启，目的主机的内存是否足够；

c)对源主机和目标主机的硬件资源一致性进行检查；

d)检查目标主机的磁盘空间是否足够，CPU特性是否与源主机匹配，以及源节点与目标节点是否为公用磁盘空间。

(2)处理NS的调度请求

a)RMM向目的主机节点发送调度前处理RPC请求，为NS的调度准备资源和相关配置文件，然后执行调度工作及调度后处理工作；

b)调度前处理RPC的主要内容为：调度原NS的存储设备内容到目标节点上，并在目标节点上创建虚拟交换端点，然后调用cgroup组件为新的NS创建新的磁盘设备；

c)调用cgroup组件实现NS的迁移。

源主机节点执行后处理工作，主要功能是在目标节点上定义新的NS配置参数，并更新RMM数据库中的NS的配置参数。然后源主机节点上的后处理工作使用cgroup释放源节点上的NS资源，调度工作结束。

功能三：为所有命名空间的资源定义全局唯一ID；将所有命名空间的资源使用标准接口封装，使其可通过URL链接的形式来访问。

命名空间管理模块(NSMM)：用于对命名空间的资源进行配置，设计时包括以下内容：接收RMM模块发送的RPC消息，为NS预留充足的硬件资源；验证RMM请求的NS的全局唯一ID是否被占用；接收RMM模块发送的RPC消息，为NS创建虚拟网络资源及拓扑参数、创建NS使用的分布式文件系统资源、创建NS的资源配置文件并对该NS做相应的配置。

虚拟网络管理模块(NMM)：创建虚拟交换机，通过虚拟交换机对不同用户命名空间中运行的用户进程的虚拟网络设备产生的流量进行路由转发。虚拟交换机的结构图如图3所示，包括依次连接的用户网络层、本地网络层、网络服务层和外部网络层。用户网络层的输入端和用户端连接，外部网络层的输出端和服务器连接。同一物理节点不同命名空间之间的通信通过用户网络层，在本地网络层的虚拟交换机上进行；不同物理节点命名空间之间的通信通过用户网络层、本地网络层到达网络服务层的虚拟路由后，通过外部网络层进行通信；将不同用户的命名空间之间的通信信息反馈至NSMM和RMM；

分布式共享存储管理模块(FSMM)：通过Ceph对不同用户的命名空间中运行的用户进程的虚拟存储设备产生的文件进行统一的管理和存储。分布式共享存储管理模块选用Ceph作为分布式节点的文件系统。Ceph是一种支持多种工作负载的高性能、高可靠性和高可扩展性的分布式文件系统。FSMM接收NSMM的RPC消息，为特定的NS分配要求配额的文件存储空间，并将配置参数通过RPC消息返回给NSMM和RMM。

RPC协议实现模块(RPC)：用于实现上述各模块间的通信，其通信机制如图2所示。设定NSMM为客户端，NMM和FSMM为服务器端，客户端和服务器端的RPC通信有两种模式，从客户端到服务器端的RPC使用主题交换(即客户端发起的请求不需要服务器的响应，并且服务器可以是多台服务器中的一台进行响应，为一个客户端针对多个服务器端发送信息，为一对多模式)；从服务器端到客户端的RPC使用答案交换(即服务器端发起的请求需要客户端响应，并且客户端必须是原发起请求的客户端，为一对一模式)。

该分布式集群系统的工作方法：

整个系统除RPC外，任意功能模块间的通信均需通过RPC进行。用户通过符合REST协议的接口向RMM发送资源申请的请求，RMM将用户请求发送到NSMM。NSMM为用户分配命名空间，并向NMM发送网络资源申请。NMM构建虚拟网络资源后将资源信息URL发送回RMM和NSMM，NSMM构建自己的路由拓扑，RMM记录NSMM的网络拓扑信息；NSMM模块向FSMM模块发送请求构建自己的文件系统，FSMM创建该NS的存储资源并将资源信息发送回NSMM和RMM。NSMM通过该存储资源信息使用分配的存储资源，RMM存储该存储资源的信息。

根据上述系统，用Python语言进行软件编写，并完成软件调试、测试。测试结果表明本发明具有很好的可实施性，且性能满足预期。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于REST和RPC的分布式集群系统，其特征在于，包括：

资源分配与调度管理模块，用于根据用户请求创建并分配命名空间，以及对命名空间迁移；

命名空间管理模块：用于接收资源分配与调度管理模块的信息，对命名空间的资源进行配置，并向虚拟网络管理模块发送网络资源申请以构建路由拓扑，向分布式共享存储管理模块发送请求构建文件系统，以分配存储资源；

虚拟网络管理模块：用于接收命名空间管理模块的信息，对不同用户的命名空间中运行的进程产生的流量进行路由转发，将不同用户的命名空间之间的通信信息反馈至命名空间管理模块和资源分配与调度管理模块；

分布式共享存储管理模块：用于接收命名空间管理模块的信息，对不同用户的命名空间中运行的进程使用的虚拟存储设备产生的文件进行统一的管理和存储，将管理和存储信息反馈至命名空间管理模块和资源分配与调度管理模块；

RPC协议实现模块：用于基于RPC协议进行上述模块之间的通信；

资源分配与调度管理模块、命名空间管理模块、虚拟网络管理模块和分布式共享存储管理模块的内部均使用REST协议进行通信。

2.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，资源分配与调度管理模块还用于为所有命名空间的资源定义全局唯一ID，同时将所有命名空间的资源使用标准接口封装。

3.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，资源分配与调度管理模块，通过API接口响应为用户创建命名空间的REST请求，通过调度算法得到最优主机后提交创建命名空间的请求。

4.根据权利要求3所述的一种基于REST和RPC的分布式集群系统，其特征在于，资源分配与调度管理模块通过cgroup组件实现命名空间的迁移。

5.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，虚拟网络管理模块通过创建虚拟交换机实现流量的路由转发。

6.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，虚拟交换机包括：

用户网络层，用于连接用户命名空间；

本地网络层，用于处理各个命名空间的用户网络层的流量，并对同一主机节点不同命名空间的网络层流量进行交换；

网络服务层，用于处理去往其他主机节点和进入到本主机节点的网络流量，并对其进行交换；

外部网络层，用于与外部主机节点相连接。

7.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，分布式共享存储管理模块通过Ceph分布式节点的文件系统进行文件的统一管理和存储。

8.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，命名空间管理模块通过RPC协议实现模块同时向虚拟网络管理模块和分布式共享存储管理模块发送信息为主题交换模式；虚拟网络管理模块或分布式共享存储管理模块通过RPC协议实现模块向命名空间管理模块发送信息为答案交换模式。

9.根据权利要求1所述的一种基于REST和RPC的分布式集群系统，其特征在于，所述基于REST和RPC的分布式集群系统通过Python语言编写。

10.一种基于权利要求1-9任意一项所述的基于REST和RPC的分布式集群系统的集群方法，其特征在于，包括：

步骤1，用户通过符合REST协议的接口向资源分配与调度管理模块发送资源申请的请求，资源分配与调度管理模块将用户请求发送到命名空间管理模块；

步骤2，命名空间管理模块为用户分配命名空间，并向虚拟网络管理模块发送网络资源申请，执行步骤3；同时命名空间管理模块向分布式共享存储管理模块发送请求构建文件系统，执行步骤4；

步骤3，虚拟网络管理模块构建虚拟网络资源后将资源信息的统一资源定位符发送回资源分配与调度管理模块和命名空间管理模块，命名空间管理模块构建自己的路由拓扑，资源分配与调度管理模块记录命名空间管理模块的网络拓扑信息；

步骤4，分布式共享存储管理模块创建该命名空间的存储资源并将资源信息发送回命名空间管理模块和资源分配与调度管理模块；命名空间管理模块通过该存储资源信息使用分配的存储资源，资源分配与调度管理模块存储该存储资源的信息。