CN106502797A - 一种集群系统及集群系统的部署方法 - Google Patents

Abstract

本发明公开了一种集群系统，包括：服务节点、集群节点和共享存储节点；其中，所述服务节点，用于部署PXE服务；所述集群节点，用于通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；所述共享存储节点，用于存储全部所述集群节点运行的输出文件；该集群系统基于LXD虚拟化技术定制化系统的高性能集群架构，具有部署简便，管理灵活，节约成本，数据安全性高等特点；本发明还公开了一种集群系统的部署方法，具有上述有益效果。

Description

一种集群系统及集群系统的部署方法

技术领域

本发明涉及服务器技术领域，特别涉及一种集群系统及集群系统的部署方法。

背景技术

随着高性能计算技术和虚拟化技术的发展越来越成熟，目前有需求将两者融合，从而使应用规模愈来愈大的集群系统在部署效率、管理开销、安全性、稳定性和灵活性等方面得到优化。

传统的集群节点将操作系统安装在本地硬盘中，然后通过挂载共享存储来达到文件共享的目的。但是，这样做存在以下问题：第一：增加部署集群的工作量；第二：可能会导致集群节点硬盘资源的浪费；第三：如果部署lustre、gfs等文件系统，一方面增加工作量，另一方面稳定性不如使用硬件来集中化管理磁盘。因此，如何在保证集群系统的安全性和稳定性的同时降低集群系统成本，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种集群系统及集群系统的部署方法，利用LXD虚拟化技术定制化系统的高性能集群架构，具有部署简便，管理灵活，节约成本，数据安全性高等特点。

为解决上述技术问题，本发明提供一种集群系统，包括：服务节点、集群节点和共享存储节点；其中，

所述服务节点，用于部署PXE服务；

所述集群节点，用于通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；

所述共享存储节点，用于存储全部所述集群节点运行的输出文件。

可选的，所述服务节点包括：

第一存储模块，用于存储定制的initrd.img文件、rootfs文件及LXD Images文件。

可选的，所述服务节点包括：

第二存储模块，用于存储定制的initrd.img文件、rootfs文件及N种LXD Images文件；其中N为大于1的整数。

可选的，所述集群节点包括：

启动模块，用于通过LXD命令获取所述服务节点的所述LXD Images文件启动对应的操作系统。

可选的，所述服务节点还包括：

修改模块，用于修改存储定制的所述initrd.img文件、所述rootfs文件及所述LXDImages文件。

可选的，所述共享存储节点还包括：

监测模块，用于监测所述共享存储节点的工作状态。

本发明还提供一种集群系统的部署方法，包括：

服务器节点部署PXE服务；

集群节点通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；

所述共享存储节点存储全部所述集群节点运行的输出文件。

可选的，服务器节点部署PXE服务，包括：

服务器节点存储定制的initrd.img文件、rootfs文件及LXD Images文件，并将所述initrd.img文件、所述rootfs文件及所述LXD Images文件发送给所述集群节点。

可选的，服务器节点部署PXE服务，包括：

服务器节点存储定制的initrd.img文件、rootfs文件及LXD Images文件，并将所述initrd.img文件、所述rootfs文件及所述LXD Images文件发送给所述集群节点；其中所述LXD Images文件至少为2种。

可选的，还包括：

修改存储定制的所述initrd.img文件、所述rootfs文件及所述LXD Images文件。

本发明所提供的一种集群系统，包括：服务节点、集群节点和共享存储节点；其中，服务器节点部署PXE服务；集群节点通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；所述共享存储节点存储全部所述集群节点运行的输出文件。

可见，该集群系统基于LXD虚拟化技术定制化系统的高性能集群架构，通过服务节点部署的PXE服务对所有集群节点定制化安装操作系统，且将集群节点运行的输出文件都保存在共享存储节点中，这样集群节点可以不需要硬盘，节省硬盘开支，且系统仅需要对共享存储节点进行监控，从而可以对数据进行集中管理，保证数据的安全性和可靠性；即该集群系统具有部署简便，管理灵活，节约成本，数据安全性高等特点；本发明还提供了一种集群系统的部署方法，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的集群系统的结构框图；

图2为本发明实施例所提供的集群系统PXE启动过程的结构框图。

图3为本发明实施例所提供的集群系统的部署方法的流程图。

具体实施方式

本发明的核心是提供一种集群系统及集群系统的部署方法，利用LXD虚拟化技术定制化系统的高性能集群架构，具有部署简便，管理灵活，节约成本，数据安全性高等特点。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的集群系统的结构框图；该集群系统可以包括：服务节点100(即Server node)、集群节点200(即compute nodes)和共享存储节点300(即storage node)；其中，

所述服务节点100，用于部署PXE服务；

所述集群节点200，用于通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点300中的指定目录将所述集群节点200运行的输出文件保存在所述共享储存节点300中；

所述共享存储节点300，用于存储全部所述集群节点200运行的输出文件。

具体的，本实施例中所指的集群节点200是运行在各物理节点上的虚拟机，因此可以理解为一个集群节点200即为一个虚拟机。

其中，服务节点100为物理节点用来部署PXE服务。这里可以通过部署的PXE服务实现对集群节点200的操作系统的定制化。例如用户根据需要选定所需操作系统将其对应的定制文件放置在服务节点100中，通过PXE服务即可以将该定制化的操作系统部署在各个集群节点200中，用户可以通过对对应定制文件的修改实现对集群节点200中运行的操作系统的修改，即实现统一对集群节点200的操作系统的定制化操作；或者是用户可以在服务节点100中部署多种操作系统的定制文件，通过设定各个集群节点200与所需操作系统的对应关系的配置文件实现对各个集群节点200的操作系统的定制化，也可以用户可以在服务节点100中部署多种操作系统的定制文件，通过集群节点200根据所需操作系统参数信息从多种操作系统中选取与操作系统参数信息对应的操作系统进行安装实现对各个集群节点200的操作系统的定制化。当然，可以在服务节点100中灵活选取这几种方式，本实施例并不对集群节点200操作系统的定制化过程进行限定。

通常部署PXE服务需要存储定制化的initrd.img文件、rootfs文件及LXD Images文件等文件。以便用于PXE传输给集群节点200使用的操作系统文件，且服务节点100也部署LXD Server，提供计算节点使用的系统镜像(Images)。且根据定制化过程的不同，可以每次在服务节点100部署一种定制化的操作系统镜像文件即LXD Images文件，在需要更换集群节点200的操作系统时对LXD Images文件等文件进行修改即可(例如修改存储定制的initrd.img文件、rootfs文件及LXD Images文件)。也可以在服务节点100部署N种定制化的操作系统镜像文件即LXD Images文件，集群节点200安装所需的操作系统；在需要更换集群节点200的操作系统时对LXD Images文件等文件进行修改即可(例如修改存储定制的initrd.img文件、rootfs文件及对应的LXD Images文件)。

其中，PXE(preboot execute environment，预启动执行环境)，Linux初始RAM磁盘(initrd)是在系统引导过程中挂载的一个临时根文件系统，用来支持两阶段的引导过程。initrd文件中包含了各种可执行程序和驱动程序，它们可以用来挂载实际的根文件系统，然后再将这个initrd RAM磁盘卸载，并释放内存。在很多嵌入式Linux系统中，initrd就是最终的根文件系统。root用户是系统中唯一的超级管理员，它具有等同于操作系统的权限，权限文件。

即可选的，所述服务节点100可以包括：

第一存储模块，用于存储定制的initrd.img文件、rootfs文件及LXD Images文件；或，

第二存储模块，用于存储定制的initrd.img文件、rootfs文件及N种LXD Images文件；其中N为大于1的整数。

即可选的，所述服务节点100还可以包括：

修改模块，用于修改存储定制的所述initrd.img文件、所述rootfs文件及所述LXDImages文件。

具体的，集群节点200即虚拟机在其对应的物理节点PXE启动后将操作系统运行在内存中，在内存中启动操作系统需要时间短，运行效率高。通过该操作系统启动LXD虚拟机即上述虚拟机也即集群节点200，由于操作系统占用的内存相比于硬件配置的几十上百G内存很小，基本可以忽略其带来的内存开销。通过LXD虚拟机的参数配置，虚拟机也可以利用Infiniband、GPU等硬件，用户体验上和物理机没有区别。集群节点200作为PXE客户端执行PXE启动后，将在内存中运行操作系统，此时挂载共享存储至指定目录，通过LXD命令获取服务节点100的LXD Images启动虚拟机，通过挂载共享存储节点中的指定目录将集群节点200运行的输出文件保存在共享储存节点300中；即所述集群节点200可以包括：启动模块，用于通过LXD命令获取服务节点的LXD Images文件启动对应的操作系统。集群节点200启动过程可以参考图2。

具体的，共享存储节点300负责储存虚拟机文件，由于集群节点200的操作系统是运行在内存中，集群节点200运行的输出文件是保存在共享储存节点300里，故集群节点200完全可以不需要硬盘，降低成本的同时也利于磁盘的统一管理和维护，提高了数据安全性。即集群节点200所有输出的数据均通过挂载的方式保存在共享存储节点300中，对于数据的安全性只需要关注共享储存节点300的稳定性和安装性，提高了运维效率、降低了运维的复杂性。例如可以通过硬件Raid等技术集中管理所有集群节点200的文件，保证文件数据安全性和稳定性。进一步，为了保证集群系统200数据的安全性和可靠性可以对共享存储节点300的工作状态进行监控。即可选的，共享存储节点300还可以包括：

监测模块，用于监测所述共享存储节点300的工作状态。

具体的，根据检测模块来保证共享存储节点300是否正常，根据监测结果对共享存储节点300进行相应的维护操作，例如在监测到异常时可以及时进行报警，通知相关人员及时进行维修，以保证集群系统的正常运行。提高了共享存储节点300的可靠性，即保证了集群数据的安全性。

基于上述技术方案，本发明实施例提供的集群系统，该集群系统的集群节点所在的物理节点完全不需要硬盘，降低了成本，同时部署起来只需要关注服务节点，简易性提高。同时，采用共享存储，可以通过硬件Raid等技术集中管理所有节点的文件，安全性和稳定性更有保障。另外，使用LXD部署可以随时选择集群节点的操作系统发行版本，可以更加灵活的管理集群。并且不存在集群操作系统故障重装，数据恢复难的问题。

即该集群系统在部署时只需关注服务节点中initrd.img和rootfs、LXD Images等的定制，其他集群节点只需设置PXE启动为第一启动项即可，易于部署和扩展集群规模。通过修改PXE服务器中的相关启动脚本，结合LXD API实现集群操作系统的自动选择，并且可以在Server节点的LXD Image导入定制的系统镜像，实现集群节点操作系统的按需选择、软件的按需预安装，即集群节点操作系统的定制化。

下面对本发明实施例提供的集群系统的部署方法进行介绍，下文描述的集群系统的部署方法与上文描述的集群系统可相互对应参照。

请参考图3，图3为本发明实施例所提供的集群系统的部署方法的流程图；该部署方法可以包括：

S100、服务器节点部署PXE服务；

S110、集群节点通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；

S120、所述共享存储节点存储全部所述集群节点运行的输出文件。

可选的，服务器节点部署PXE服务可以包括：

服务器节点存储定制的initrd.img文件、rootfs文件及LXD Images文件，并将所述initrd.img文件、所述rootfs文件及所述LXD Images文件发送给所述集群节点。

可选的，服务器节点部署PXE服务，包括：

服务器节点存储定制的initrd.img文件、rootfs文件及LXD Images文件，并将所述initrd.img文件、所述rootfs文件及所述LXD Images文件发送给所述集群节点；其中所述LXD Images文件至少为2种。

基于上述任意实施例，该部署方法还可以包括：

修改存储定制的所述initrd.img文件、所述rootfs文件及所述LXD Images文件。

具体的，通过服务节点部署的PXE服务启动安装定制化的操作系统至集群节点的内存中，然后集群节点通过导入(根据需求定制化或非定制标准系统的)LXD Image启动虚拟机系统。集群节点所在的物理节点也即PXE客户端，使通过PXE安装的操作系统运行在内存中，由于该操作系统可定制化，正常大小不会超过500M，在几十、上百G内存的硬件平台，基本没有过多占用内存的情况。最后使用共享存储节点存储集群节点上LXD虚拟机文件、作业数据等数据。

基于上述技术方案，本发明实施例提供的集群系统的部署方法，能够避免集群节点硬盘空间的浪费；节省部署lustre、gfs等文件系统的人力开销；且集群节点可以不安装硬盘，所有文件集中管理于共享存储节点里，降低系统运维难度。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的部署方法而言，由于其与实施例公开的集群系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的集群系统及集群系统的部署方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种集群系统，其特征在于，包括：服务节点、集群节点和共享存储节点；其中，

所述服务节点，用于部署PXE服务；

所述集群节点，用于通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；

所述共享存储节点，用于存储全部所述集群节点运行的输出文件。

2.根据权利要求1所述的集群系统，其特征在于，所述服务节点包括：

第一存储模块，用于存储定制的initrd.img文件、rootfs文件及LXD Images文件。

3.根据权利要求1所述的集群系统，其特征在于，所述服务节点包括：

第二存储模块，用于存储定制的initrd.img文件、rootfs文件及N种LXD Images文件；其中N为大于1的整数。

4.根据权利要求2或3所述的集群系统，其特征在于，所述集群节点包括：

启动模块，用于通过LXD命令获取所述服务节点的所述LXD Images文件启动对应的操作系统。

5.根据权利要求4所述的集群系统，其特征在于，所述服务节点还包括：

修改模块，用于修改存储定制的所述initrd.img文件、所述rootfs文件及所述LXDImages文件。

6.根据权利要求5所述的集群系统，其特征在于，所述共享存储节点还包括：

监测模块，用于监测所述共享存储节点的工作状态。

7.一种集群系统的部署方法，其特征在于，包括：

服务器节点部署PXE服务；

集群节点通过设置PXE启动为第一启动项，通过PXE启动获取操作系统并使操作系统运行在内存中，通过挂载共享存储节点中的指定目录将所述集群节点运行的输出文件保存在所述共享储存节点中；

所述共享存储节点存储全部所述集群节点运行的输出文件。

8.根据权利要求7所述的集群系统的部署方法，其特征在于，服务器节点部署PXE服务，包括：

服务器节点存储定制的initrd.img文件、rootfs文件及LXD Images文件，并将所述initrd.img文件、所述rootfs文件及所述LXD Images文件发送给所述集群节点。

9.根据权利要求7所述的集群系统的部署方法，其特征在于，服务器节点部署PXE服务，包括：

服务器节点存储定制的initrd.img文件、rootfs文件及LXD Images文件，并将所述initrd.img文件、所述rootfs文件及所述LXD Images文件发送给所述集群节点；其中所述LXD Images文件至少为2种。

10.根据权利要求8或9所述的集群系统的部署方法，其特征在于，还包括：

修改存储定制的所述initrd.img文件、所述rootfs文件及所述LXD Images文件。