CN112783610A - 基于Saltstack部署Ceph的主节点 - Google Patents

Abstract

本发明实施例公开了一种基于Saltstack部署Ceph的主节点，包括：管理模板配置模块，用于根据设定规则配置管理模板，所述管理模板包括Saltstack配置脚本；分发模块，用于将所述管理模板分发至Minion节点，以使得所述Minion节点根据所述管理模板执行配置脚本，完成Ceph部署；所述管理模板配置模块，包括：网络配置单元，用于提供配置Minion节点的网络配置脚本，以使得Minion节点提供Ceph访问接口；磁盘配置管理单元，用于提供配置Minion节点的磁盘配置脚本，以使得利用Saltstack任务对Minion节点上的物理磁盘进行配置管理，根据定义好的磁盘规则来创建磁盘到容器映射关系，达到容器存储持久化的目的。与现有技术相比，能够实现分布式存储系统Ceph的快速自动化的部署，减少了人工部署的各种缺点。

Description

基于Saltstack部署Ceph的主节点

技术领域

本发明涉及分布式数据库技术领域，尤其涉及一种基于Saltstack部署Ceph的主节点。

背景技术

分布式存储系统，是指通过某种通信方式将运行在多个物理主机或节点从逻辑上整合到一起，并通过业务网关对外提供可动态扩展的存储资源的技术或系统。

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。并考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。能够支持上千个存储节点的规模，支持TB到PB级的数据。

目前，Ceph分布式存储系统通常采用系统工具Ceph-Deploy部署，其具体需要在主机上预先生成一个干净完整环境，并设置相应的host文件，然后安装Ceph-deploy工具，创建monitor服务，在所有节点安装Ceph，部署osd服务，统一配置并部署mds服务以及创建Ceph文件系统。其操作较为复杂，且对人员技术要求较高。

在实现本发明的过程中，发明人发现如下技术问题：Ceph分布式存储系统在生产部署和运维的技术门槛相对较高，对于小规模的Ceph集群部署尚且可以人工来应对。但对于具一定规模的Ceph集群部署时人工的方法往往显得有些困难。首先，人工部署的方法在时间成本就很高；其次，人工部署时难免会导致一些不可控的误操作。

发明内容

本发明实施例提供了一种基于Saltstack部署Ceph的主节点，以解决现有技术中针对Ceph分布式存储系统部署技术难度和成本较高的技术问题。。

本发明实施例提供了一种基于Saltstack部署Ceph的主节点，包括：

管理模板配置模块，用于根据设定规则配置管理模板，所述管理模板包括Saltstack配置脚本；

分发模块，用于将所述管理模板分发至Minion节点，以使得所述Minion节点根据所述管理模板执行配置脚本，在所述Minion节点完成一个或者多个相同或者不同的组件部署，实现Ceph部署；

所述管理模板配置模块，包括：

网络配置单元，用于提供配置Minion节点的网络配置脚本，以使得Minion节点提供Ceph访问接口；

磁盘配置管理单元，用于提供配置Minion节点的磁盘配置脚本，以使得利用Saltstack任务对Minion节点上的物理磁盘进行配置管理，根据定义好的磁盘规则来创建磁盘到容器映射关系，达到容器存储持久化的目的。

进一步的，所述基于Saltstack部署Ceph的主节点还包括：

Podman容器安装模板配置模块，用于根据预设的配置生成Podman容器安装模板，以使得所述Minion节点根据接收到的Podman容器安装模板，完成相应的Podman容器安装；

相应的，所述分发模块，包括：

分发单元，用于使得所述Minion节点在Podman容器环境下执行配置脚本。

进一步的，所述Podman容器安装模板配置模块包括：

Podman容器安装配置模板生成单元，用于根据预先设定容器运行的内存大小，CPU的使用量，磁盘的绑定关系生成Podman容器安装配置模板，以使得所述Minion节点在执行配置脚本之前实现Podman容器安装；

相应的，所述分发模块用于将所述管理模板分发至Minion节点的多个Podman容器。

进一步的，所述Podman容器安装配置模板生成单元包括：

安装模板创建单元，用于根据服务内容分别创建MON、OSD和MDS Podman容器安装模板；

相应的，所述分发模块包括：

对应分发单元，用于根据预先设定容器运行的内存大小，CPU的使用量，磁盘的绑定关系确定MON、OSD和MDS Podman容器安装模板确定对应的容器，并进行分发。

进一步的，所述基于Saltstack部署Ceph的主节点还包括：

Podman容器管理模块，用于根据Podman容器安装模板配置模块实现对Minion节点的Podman容器创建、删除、状态管理。

进一步的，所述Podman容器管理模块，包括：

容器状态监控单元，用于对Minion节点的Podman容器状态进行监控。

进一步的，所述基于Saltstack部署Ceph的主节点还包括：

Minion节点状态管理模块，用于通过代理实现Minion节点的上线、离线、和故障状态的管理。

进一步的，所述基于Saltstack部署Ceph的主节点还包括：

模板配置修改模块，用于在集群网络配置，或者容器存储持久化配置存在变更需求时，生成修改配置模板并下发部署指令到所有Minion节点，以使得所有Minion节点快速完成修改。

更进一步的，所述基于Saltstack部署Ceph的主节点还包括：

模板配置升级模块，用于在集群环境有版本更新的需求时，根据指定更新的版本生成升级配置模板，并将升级配置模板下发所有Minion节点，以使得所有Minion节点的容器环境进行升级。

本发明实施例提供的基于Saltstack部署Ceph的主节点，通过管理模板配置模块据预设的规则配置管理模板，并将将所述管理模板分发至Minion节点，以使得以使得所述Minion节点根据所述管理模板执行配置脚本，完成Ceph部署。实现对外Ceph正常访问。与现有技术相比，能够实现分布式存储系统Ceph的快速自动化的部署，减少了人工部署的各种缺点。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例提供的基于Saltstack部署Ceph的主节点的结构示意图；

图2是本发明实施例提供的基于Saltstack部署Ceph的主节点进行Ceph部署的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1是本发明实施例提供的基于Saltstack部署Ceph的主节点的结构示意图；图2是本发明实施例提供的基于Saltstack部署Ceph的主节点进行Ceph部署的流程示意图。参考图1及图2，所述基于Saltstack部署Ceph的主节点，包括：管理模板配置模块，用于根据设定规则配置管理模板，所述管理模板包括Saltstack配置脚本；分发模块，用于将所述管理模板分发至Minion节点，以使得所述Minion节点根据所述管理模板执行配置脚本，完成Ceph部署；所述管理模板配置模块，包括：网络配置单元，用于提供配置Minion节点的网络配置脚本，以使得Minion节点提供Ceph访问接口；磁盘配置管理单元，用于提供配置Minion节点的磁盘配置脚本，以使得利用ansible任务对Minion节点上的物理磁盘进行配置管理，根据定义好的磁盘规则来创建磁盘到容器映射关系，达到容器存储持久化的目的。

在本实施例中，可以预先通过网络设定相应的节点。该网络可以为主\从方式的网络，主节点负责对从节点进行管理和控制。在本实施例中，可以预先选取一个网络中的一个节点作为master节点。可选的，可以根据其计算性能和\或网络性能选取其中一个节点作为master节点，将其他节点作为Minion节点。

在本实施例中，Master节点，即配置管理节点；Minion节点，即管理对象节点，具体为运行Podman容器环境的物理节点。

具体的，所述Master节点可以根据预设的规则配置管理模块。所述规则可以是人工输入的相应规则。在本实施例中，所述规则可以是指不同Minion节点所对应的组件，或者是同一个Minion节点中包括的多个不同组件。

具体的，Ceph包括如下组件：Ceph OSDs:Ceph OSD守护进程(Ceph OSD)的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD守护进程的心跳来向Ceph Monitors提供一些监控信息。当Ceph存储集群设定为有2个副本时，至少需要2个OSD守护进程，集群才能达到active+clean状态；

Monitors:Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、OSD图、归置组(PG)图、和CRUSH图。Ceph保存着发生在Monitors、OSD和PG上的每一次状态变更的历史信息。

MDSs:Ceph元数据服务器(MDS)为Ceph文件系统存储元数据(也就是说，Ceph块设备和Ceph对象存储不使用MDS)。元数据服务器使得POSIX文件系统的用户们，可以在不对Ceph存储集群造成负担的前提下，执行诸如ls、find等基本命令。

在本实施例中，所述容器A、B、C运行Ceph分布式集群的MON服务，容器D、E、F、G、H、I、J、K、L运行Ceph分布式集群的OSD服务。容器M、N运行Ceph分布式集群的MDS服务。

管理模板操作主要包括以下内容：容器的网络配置、容器存储集持久化配置、Ceph集群节点预配置、容器创建MON服务、容器创建OSD服务、容器创建MDS服务。以上每个步骤操作都有对应配置脚本，脚本都是标准shell脚本。该脚本可以通过Saltstack生成及传输。容器中能够直接运行脚本进行配置，Master节点只需要去配置Minion节点脚本的执行流程，就能实现整个部署流程。

Saltstack是一个服务器基础架构集中化管理平台，具备配置管理、远程执行、监控等功能，基于Python语言实现，结合轻量级消息队列(ZeroMQ)与Python第三方模块(Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等)构建。

通过部署Saltstack，可以在成千万台服务器上做到批量执行命令，根据不同业务进行配置集中化管理、分发文件、采集服务器数据、操作系统基础及软件包管理等，Saltstack是运维人员提高工作效率、规范业务配置与操作的利器。

利用Saltstack可以实现快速部署Ceph。而不需要人工干预，特别适用于大量节点的Ceph部署。

在本实施例中，可以通过设置指令对Minion节点上的物理网卡进行配置管理。示例性的，可以通过Saltstack任务根据定义好的网络规则来创建容器网络配置。配置每个Minion节点的网络模式，由于Minion节点可以存在多个不同功能的组件，因此，需要配置不同的网络模式。例如：桥接模式还是Host模式。配置网络模式后，容器中部署的Ceph分布式存储集群才能对外提供访问接口。可选的，可以根据所述Minion节点对应的角色预先设定，并进行相应的配置。

并且可以通过Saltstack任务对Minion节点上的物理磁盘进行配置管理，根据定义好的磁盘规则来创建磁盘到容器映射关系。通过上述配置可以实现创建MON、创建OSD、创建MDS，配置业务网关，对外提供文件、块、对象存储服务。进而实现Ceph的部署。

本发明实施例提供的基于Saltstack部署Ceph的主节点，通过管理模板配置模块据预设的规则配置管理模板，并将将所述管理模板分发至Minion节点，以使得所述Minion节点根据所述管理模板执行配置脚本，完成Ceph部署。实现对外Ceph正常访问。与现有技术相比，能够实现分布式存储系统Ceph的快速自动化的部署，减少了人工部署的各种缺点。

可选的，所述基于Saltstack部署Ceph的主节点还可以包括：Minion节点状态管理模块，用于通过代理实现Minion节点的上线、离线、和故障状态的管理。示例性的，所有Minion节点都安装好定制的操作系统，且系统中运行有配置好的agent，Minion节点上的agent提供了与Master节点通讯的通道，Master节点通过Minion的agent来感知Minion的状态，agent也会主动汇报上线信息。Master在发现所有Minion节点后即可对其进行管理，配置或资源的分发。

在本实施例中，所述Podman容器安装模板配置模块还可包括：

Podman容器安装模板配置模块，用于根据预设的配置生成Podman容器安装模板，以使得所述Minion节点根据接收到的Podman容器安装模板，完成相应的Podman容器安装；相应的，所述分发模块，包括：分发单元，用于使得所述Minion节点在Podman容器环境下执行配置脚本。

在本实施例中，对Minion节点进行Ceph配置需要通过容器实现，因此，需要预先对各个Minion节点进行Podman容器安装配置。包括：对于同一Minion节点中包括多个容器场景的配置。其目的是定义好CEPH服务所需要的容器配置，可以使用统一的标准进行配置，但标准的指标可以适当的修改，这里的容器资源配置是指设定容器运行的内存大小，设定CPU的使用量，设定磁盘的绑定关系。Master节点根据定义好的CEPH服务配置进行容器资源的预配置，并生成模板。在本实施例中，所述模板可以为镜像，可以进一步提升Ceph部署速度，减少部署时长。并通过Saltstack部署分发至各个Minion节点，以使得所述Minion节点执行Saltstack任务，实现Podman容器安装。可选的，可以根据服务内容分别创建MON、OSD和MDSPodman容器安装模板。相应的，所述分发模块包括：对应分发单元，用于根据预先设定容器运行的内存大小，CPU的使用量，磁盘的绑定关系确定MON、OSD和MDS Podman容器安装模板确定对应的容器，并进行分发。以根据不同组件的性能确定对应的容器。此外，还可通过容器状态监控单元，用于对Minion节点的Podman容器状态进行监控。在容器状态，特别是内存占用率和cpu使用率等性能指标进行监控。避免影响对外服务性能。

在本实施例中，所述基于Saltstack部署Ceph的主节点还可包括：Podman容器管理模块，用于根据Podman容器安装模板配置模块实现对Minion节点的Podman容器创建、删除、状态管理。

在本实施例的另一优选实施方式中，所述基于Saltstack部署Ceph的主节点还包括：模板配置修改模块，用于在集群网络配置，或者容器存储持久化配置存在变更需求时，生成修改配置模板并下发部署指令到所有Minion节点，以使得所有Minion节点快速完成修改。

在Ceph分布式存储系统部署完成后，可以提供相应的对外服务。然而Ceph分布式存储系统会受到其他外界环境的影响，可能某些节点无法提供相应的对外服务，因此，需要对集群网络或者持久化配置进行相应的变更。在本实施例中，MASTER节点可以根据变更需求，生成相应的配置，并将所述配置生成对应的Saltstack任务，将所述Saltstacke任务下发至所有的Minion节点，以使得Minion节点解析所述Saltstack任务，完成变更配置。并且可以在在集群环境有版本更新的需求时，根据指定更新的版本，生成Saltstack升级操作任务，并下发至所有Minion节点。利用上述方式可以快速完成CEPH分布式存储系统的升级。

下面结合基于Saltstack部署Ceph的具体实现步骤对本发明实施例提供的Saltstack部署Ceph的主节点的工作原理做进一步阐述，参见图2，

首先利用Minion节点状态管理模块，用于通过代理实现Minion节点的上线、离线、和故障状态的管理。确定在线的Minion节点。针对在线的Minion节点，根据设定容器运行的内存大小，设定CPU的使用量，设定磁盘的绑定关系确定相应的Podman容器配置镜像。以使得在线的Minion节点实现Podman容器配置，便于后期各个Minion节点实现一个或者多个组件的安装。并利用管理模板配置模块生成配置管理模板，该管理模块可以采用Saltstack配置脚本实现，并通过分发模块，用于将所述管理模板分发至Minion节点，以使得所述Minion节点根据所述管理模板执行配置脚本，完成Ceph部署。

具体的，可以通过网络配置单元，配置Minion的访问接口，并通过磁盘配置管理单元对Minion节点上的物理磁盘进行配置管理，根据定义好的磁盘规则来创建磁盘到容器映射关系，达到容器存储持久化的目的。Minion节点可以通过对Saltstack任务进行脚本解析运行实现上述技术效果。

Master节点根据定义好的CEPH服务配置进行容器资源的预配置，并生成模板。并可根据服务内容分别创建MON、OSD和MDS Podman容器安装模板。并可根据Podman容器安装模板根据CEPH的服务分别创建MON服务容器、OSD服务容器、MDS服务容器。并分别创建MON、创建OSD、创建MDS，配置业务网关，对外提供文件、块、对象存储服务。

并可在后期服务中，利用模板配置修改模块在集群网络配置，或者容器存储持久化配置存在变更需求时，生成修改配置模板并下发部署指令到所有Minion节点，以使得所有Minion节点快速完成修改。以适应外界环境或者需求的变化。并可利用模板配置升级模块，在集群环境有版本更新的需求时，根据指定更新的版本生成升级配置模板，并将升级配置模板下发所有Minion节点，以使得所有Minion节点的容器环境进行升级。

本领域技术人员可以理解，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的基于Saltstack部署Ceph的主节点及实部署Ceph实现方法，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种基于Saltstack部署Ceph的主节点，其特征在于，包括：

管理模板配置模块，用于根据设定规则配置管理模板，所述管理模板包括Saltstack配置脚本；

分发模块，用于将所述管理模板分发至Minion节点，以使得所述Minion节点根据所述管理模板执行配置脚本，在所述Minion节点完成一个或者多个相同或者不同的组件部署，实现Ceph部署；

所述管理模板配置模块，包括：

网络配置单元，用于提供配置Minion节点的网络配置脚本，以使得Minion节点提供Ceph访问接口；

磁盘配置管理单元，用于提供配置Minion节点的磁盘配置脚本，以使得利用Saltstack任务对Minion节点上的物理磁盘进行配置管理，根据定义好的磁盘规则来创建磁盘到容器映射关系，达到容器存储持久化的目的。

2.根据权利要求1所述的基于Saltstack部署Ceph的主节点，其特征在于，所述基于Saltstack部署Ceph的主节点还包括：

Podman容器安装模板配置模块，用于根据预设的配置生成Podman容器安装模板，以使得所述Minion节点根据接收到的Podman容器安装模板，完成相应的Podman容器安装；

相应的，所述分发模块，包括：

分发单元，用于使得所述Minion节点在Podman容器环境下执行配置脚本。

3.根据权利要求2所述的基于Saltstack部署Ceph的主节点，其特征在于，所述Podman容器安装模板配置模块包括：

Podman容器安装配置模板生成单元，用于根据预先设定容器运行的内存大小，CPU的使用量，磁盘的绑定关系生成Podman容器安装配置模板，以使得所述Minion节点在执行配置脚本之前实现Podman容器安装；

相应的，所述分发模块用于将所述管理模板分发至Minion节点的多个Podman容器。

4.根据权利要求3所述的基于Saltstack部署Ceph的主节点，其特征在于，所述Podman容器安装配置模板生成单元包括：

安装模板创建单元，用于根据服务内容分别创建MON、OSD和MDS Podman容器安装模板；

相应的，所述分发模块包括：

对应分发单元，用于根据预先设定容器运行的内存大小，CPU的使用量，磁盘的绑定关系确定MON、OSD和MDS Podman容器安装模板确定对应的容器，并进行分发。

5.根据权利要求3所述的基于Saltstack部署Ceph的主节点，其特征在于，所述基于Saltstack部署Ceph的主节点还包括：

Podman容器管理模块，用于根据Podman容器安装模板配置模块实现对Minion节点的Podman容器创建、删除、状态管理。

6.根据权利要求5所述的基于Saltstack部署Ceph的主节点，其特征在于，所述Podman容器管理模块，包括：

容器状态监控单元，用于对Minion节点的Podman容器状态进行监控。

7.根据权利要求1所述的基于Saltstack部署Ceph的主节点，其特征在于，所述基于Saltstack部署Ceph的主节点还包括：

Minion节点状态管理模块，用于通过代理实现Minion节点的上线、离线、和故障状态的管理。

8.根据权利要求1所述的基于Saltstack部署Ceph的主节点，其特征在于，所述基于Saltstack部署Ceph的主节点还包括：

模板配置修改模块，用于在集群网络配置，或者容器存储持久化配置存在变更需求时，生成修改配置模板并下发部署指令到所有Minion节点，以使得所有Minion节点快速完成修改。

9.根据权利要求1所述的基于Saltstack部署Ceph的主节点，其特征在于，所述基于Saltstack部署Ceph的主节点还包括：

模板配置升级模块，用于在集群环境有版本更新的需求时，根据指定更新的版本生成升级配置模板，并将升级配置模板下发所有Minion节点，以使得所有Minion节点的容器环境进行升级。

Images