CN110781158A - 一种基于ceph的分布式存储方法及系统 - Google Patents

Abstract

本发明公开了一种基于CEPH的分布式存储方法及系统，选择集群中的一个主机作为管理端，集群中所有主机启动一个代理端；管理进程接受用户命令，管理进程向代理进程发送消息，使得代理进程启动检查步骤，检查集群的软件硬件情况；通过管理进程检查所有主机完毕后，调整硬件配置及通过代理进程的初始化调整软件的配置；集群的存储硬件信息按照性能进行分类，通过管理进程调用代理进程，配置CEPH的依赖环境；通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程、自动启动相关主机的CEPH监控进程服务；根据当前主机的存储硬件情况，自适应的初始化CEPH的OSD配置、自动启动所有主机的OSD进程；CEPH创建成功。

Description

一种基于CEPH的分布式存储方法及系统

技术领域

本发明属于计算机存储领域，尤其涉及一种基于CEPH(一种分布式存储系统)的应用方案及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着信息技术的到来，数据呈现出爆炸性增长的趋势。集中式存储越来越难以满足扩展性，可靠性等需求，甚至成为性能瓶颈。分布式存储很好的解决了此类问题。CEPH(一种分布式存储系统)作为开源领域典型的分布式系统，能够同时提供对象存储，文件存储，以及块存储。但是CEPH系统对于存储硬件的一致性，要求较高。这不利于前期投资的回收利用，以及系统从集中式存储到分布式存储的平滑升级。同时CEPH作为一个开源系统，可维护性要求比较高。同时原生CEPH在存储性能上也并没有显著的优势。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于CEPH分布式存储的应用方案，能够一键式完成CEPH的安装，降低安装成本，增加维护的便利性。而且由于方案中缓存的使用，能够较大程度的提高集群的性能。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于CEPH的分布式存储方法，包括：

选择集群中的一个主机作为管理端，管理端启动管理进程，集群中所有主机启动一个代理端，代理端启动代理进程，管理进程向代理进程发送命令，进行CEPH安装；

管理进程接受用户命令，管理进程向代理进程发送消息，使得代理进程启动检查步骤，检查集群的软件硬件情况；

通过管理进程检查所有主机完毕后，调整硬件配置及通过代理进程的初始化调整软件的配置；

集群的存储硬件信息按照性能进行分类，通过管理进程调用代理进程，配置CEPH的依赖环境；

通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程、自动启动相关主机的CEPH监控进程服务；

根据当前主机的存储硬件情况，自适应的初始化CEPH的OSD(每个OSD对应一个最基本的存储单元，比如一块硬盘)配置、自动启动所有主机的OSD进程；

CEPH创建成功。

进一步的技术方案，管理进程接受用户命令，此时命令是用户通过web界面操作，或是通过shell界面命令操作实现。

进一步的技术方案，检查集群的软件硬件情况，包括集群主机数量，集群的操作系统，集群的存储配置，集群的软件安装情况以及版本情况；

如果硬件存在条件不满足情况，提出修改建议，每个主机当中不允许所有的硬盘均为HDD盘(机械硬盘，具有存储量大，但是速度慢的特点)，提示用户进行适当调整，调整过后继续检查，同时主机也不允许不存在数据盘的情况，只有所有硬件条件满足之后才允许继续安装；

如果集群中的主机软件不满足条件，返回提示信息，在集群初始化中进行处理，进而保证软件条件能够满足，若集群初始化失败，返回失败原因，进行调整，所有校验检查完毕后，继续安装。

进一步的技术方案，初始化调整软件的配置，包括：下载CEPH软件包，以及基本软件包，格式化磁盘，完成CEPH依赖软件的基本配置。

进一步的技术方案，根据检查的主机上现有的存储资源情况，运行优化算法，得到主机的存储模型。

进一步的技术方案，CEPH监控进程的处理有两种模式，一种是主动式，一种是被动式，主动式：当其中一个机器宕机，或者断网时候，集群主动搜寻新的非监控主机，并且加入到监控主机集群，成功之后，剔除原有监控主机，使其不在监控主机集群中；

被动式：用户初始建立监控主机，而后用户通过UI界面对集群监控主机进行干涉，删除或者添加新的监控主机，当用户进行断网时候，需要手动干预。

本发明的另一目的是公开了一种基于CEPH分布式存储系统的应用方案，包括：

任务分配模块，被配置为：选择集群中的一个主机作为管理端，管理端启动管理进程，集群中所有主机启动一个代理端，代理端启动代理进程，管理进程向代理进程发送命令，进行CEPH安装；

集群的校验模块，被配置为：管理进程接受用户命令，管理进程向代理进程发送消息，使得代理进程启动检查步骤，检查集群的软件硬件情况；

集群的初始化模块，被配置为：通过管理进程检查所有主机完毕后，调整硬件配置及通过代理进程的初始化调整软件的配置；

集群的存储硬件信息按照性能进行分类，通过管理进程调用代理进程，配置CEPH的依赖环境；

监控主机处理模块，被配置为：通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程、自动启动相关主机的CEPH监控进程服务；

CEPH创建模块，被配置为：根据当前主机的存储硬件情况，自适应的初始化CEPH的OSD配置、自动启动所有主机的OSD进程；CEPH创建成功。

以上一个或多个技术方案存在以下有益效果：

本公开实现集群的自动创建，默认创建过程无需人工干预；但是也为人工干预预留的操作接口。使用户在硬件资源管理上可以实现多样化，保护前期投资。此方案能够一键式完成CEPH的安装，降低安装成本，增加维护的便利性。而且由于方案中缓存的使用，能够较大程度的提高集群的性能。

本公开通过集群的校验，系统能够很快感知复杂硬件环境(前期投资的硬件，而非为分布式存储进行的独立投资)，以及对于硬件环境提出的整理建议。通过集群的初始化能够有效的自动完成一些软件安装、磁盘初始化等操作，为自动化安装做准备。通过对监控主机的选择，保证集群整体的效率。本公开通过多级的缓存机制，存储硬件缓存机制，本地优先机制的选择，可以充分的利用硬件资源，提高集群读写效率。同时整个过程可以完成一键安装。也支持用户的手动干预。本公开不同种类的存储介质可以充分进行运用，充分利用前期投资。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本公开具体实施例子的硬件架构以及进程示意图；

图2为本公开具体实施例子的主机上整体架构示意图；

图3为本公开具体实施例子的集群校验示意图；

图4为本公开具体实施例子的存储硬件模式生成示意图；

图5为本公开具体实施例子的集群监控主机选择示意图；

图6为本公开具体实施例子的CEPH自动化配置示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于CEPH分布式存储的应用方案，包括以下步骤：

步骤(1)：按照图1所示，选择四台服务器作为主机，主机名称分别为主机A，主机B，主机C,主机D。主机A上有两块固态盘(具有速度快，但是存储量小的特点)(后面用SSD盘表示)，4块机械硬盘(后面均用HDD盘表示)。主机B上有一个PCI接口的固态盘，用来做缓存盘。另有两块普通SSD盘。主机C上全部为SSD盘，主机D上有一块SSD盘和5块HDD盘。每个主机上都有一个DOM卡。

将主机A,B,C,D通过交换机网络连接好。安装好UBUNTU操作系统，并且启动成功。

步骤(2)：选择主机A作为管理端，管理端启动管理进程manager。主机A,B,C,D分别启动一个代理端，代理端启动代理进程agent。后续命令，均是通过manager向agent发送消息完成的。通过管理进程向代理进程发送命令，集群能够同时进行初始化，安装。从而实现一键处理功能。

步骤(3)：管理进程(manager进程)接受用户的存储系统安装命令，此时命令可以是用户通过web界面操作，也可以是通过shell界面命令操作实现。此处通过命令行形式操作。管理进程向代理进程发送消息，使得代理进程启动检查。

管理进程通知代理进程，自动检查各自主机的软硬件情况。并将检查结果告知管理进程。检查集群的软件硬件情况，如图3所示。包括集群主机数量，集群的操作系统，集群的存储配置，集群的软件安装情况以及版本情况等等。通过信息汇总，将当前整体硬件软件情况反馈给管理进程，从而进行进一步处理：

(3-1)如果硬件存在条件不满足情况，对于用户提出修改建议。例如：每个主机当中不允许所有的硬盘均为HDD盘。提示用户进行手工调整。调整过后继续检查。同时主机也不允许不存在数据盘的情况，只有所有硬件条件满足之后才允许继续安装。

(3-2)如果集群中的主机软件不满足条件，提示用户，但是并不强行要求用户进行调整。在集群初始化中会对其进行处理，进而保证软件条件能够满足。

(3-3)若集群初始化失败，会给出失败原因，用户可以手工干预进行调整，比如存在网络问题等。一直需要等到所有校验检查完毕后，才允许继续安装。

步骤(4)：用户通过管理进程检查所有主机完毕后，用户手工调整硬件配置。软件的配置可以通过代理进程的初始化完成。初始化的关键工作主要包括：下载有关的CEPH软件包，以及相关的依赖软件包；格式化磁盘；完成一些CEPH依赖软件的基本配置等等。初始化的工作过程已经在步骤(3)中进行了描述。

步骤(5)：整理当前集群的存储硬件信息。按照性能进行分类。此例中集群存储分为四类：

·无效存储硬件(DOM卡等)

·缓存存储硬件(PCI接口固态硬盘)

●高速存储硬件(普通固态硬盘)

·低速存储硬件(普通机械硬盘)

在当前的集群中，DOM卡并不参与CEPH集群的存储。可以用来安装操作系统。主机中的HDD(机械硬盘)作为低速硬件价格低，存储量大。SSD高速存储硬件，价格高，速度快。高速缓存硬件价格最高，速度最快，但是存储量最小。

根据存储集群的使用目的，即将来的使用场景。包括但是不限制于OA,数据库，视频类存储等。判断集群是否是以读操作为主。根据集群主机上现有的存储资源情况判断是否使用缓存。如果主机上既含有高速盘又含有低速盘，同时高速盘占空间少，低速盘占空间多，则主机的高速盘作低速盘的缓存盘。逻辑如图4所示。

存储模型可以有三种情况：

无缓存(模型II)；有缓存(模型I)；本地优先(模型III)；

其中，无缓存试用于全部是SSD盘的情况。有缓存试用于SSD盘与HDD盘同时存在的情况，根据SSD磁盘的大小以及数量选择其中一个或者多个作为HDD的缓存。若使用场景中读场景出现概率大，也可以采用本地优先模式。本地优先与其它两种模式并不冲突。

本例中，在主机A中有两个SSD盘，四个HDD盘。选择两个SSD座位缓存。HDD做为数据的主要存储。主机B由于有PCI接口的固态盘，性能显著高于另外两块盘，并且其存储量较小，可以用作令两块盘的缓存盘。主机C不需要缓存。主机D上，固态盘做缓存盘，机械盘做存储盘。

步骤(6)：通过管理进程调用代理进程，配置CEPH的初始依赖环境。

关键配置包括：

·CEPH自身的配置。根据当前资源配置/etc/ceph/ceph.conf。并通过配置文件产生一个公共的/tmp/monmap文件，将两个文件传送到所有主机上并且保持一致。为后续建立CEPH集群统一标准。

·根据当前主机A的时间，调整所有主机B,C,D使所有主机时间能够保持一致。

·根据当前的主机情况，调整/etc/hosts等配置文件，并将其传送到所有主机。

步骤(7)：通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程，监控进程用来监测集群中的主机是否还在集群当中，若有主机断网，或者主机关机情况，监控进程能够感知。(步骤7～9示意图见图6，图6是CEPH安装成集群的示意图)。

理论上每一台主机都可以启用CEPH监控进程。但是CEPH的监控进程并不是越多越好。CEPH监控程序过多会导致浪费集群网络资源。但是CEPH集群监控进程也不能过少。生产环境下，选取最少三个监控进程，同时保持奇数数目监控进程。CEPH监控进程的处理有两种模式，一种是主动式，一种是被动式(见图5)。这两种模式是用户预制的，在运行过程中也可以调整。

主动式监控程序，默认有三个主机存在监控进程，其它主机不含有监控进程。含有监控进程的主机，此时称为监控主机，不含有监控进程的主机称为非监控主机。监控主机的数目默认是3，但是也是可以调整的。此处监控主机数目为三，监控主机分别为A,B,C。当其中一个机器B宕机，或者断网时候。集群主动搜寻新的非监控主机(主机D)，并且加入到监控主机集群。成功之后，剔除原有监控主机B，使其不在监控主机集群中。在进行此类操作前，需要用户进行一定时间的等待，避免由于网络等不稳定产生动荡。此时监控主机由原来的A、B、C，变为了A,B,D。此种方式的优点在于用户可以完全不感知监控主机的存在性，有较好的维护性。

被动式监控，用户初始建立三个(用户可以预订数量)监控主机。而后用户可以通过UI界面对集群监控主机进行干涉。删除或者添加新的监控主机。当用户进行断网时候，需要手动干预。此例中没有采用被动式监控。

步骤(8)：通过管理进程调用代理进程，步骤(7)初始化完毕后，自动启动相关主机的CEPH监控进程服务。

步骤(9)：根据当前主机的存储硬件情况，见(5)，自适应的初始化CEPH的OSD配置。

·当系统中全部是高速缓存时候，每一块硬盘作为一个OSD的承载。

·当系统中存在缓存的时候。除去缓存部分，其它作硬盘作为OSD进程的承载。

·若场景中要求读操作概率较高。设置本地优先策略。所谓本地优先，即指在本地存在一个数据备份。并且作为数据的主备份。这样会加快读操作。

在此示例中，主机A,B,C,D都采用了缓存机制，没有使用本地优先策略。

步骤(10)：通过管理进程调用代理进程，自动启动所有主机的OSD进程服务。

步骤(11)：此时等待CEPH创建成功，同时删除集群中RBD默认池，保证所有的存储池都是系统自动创建的(非CEPH原生)，方便管理。精确控制集群的PG(CEPH系统内部的逻辑存储单元)数量。基于CEPH的原理，PG的数量与主机数量和磁盘的数量有关联关系，PG数量与主机和磁盘相匹配时候，可以令CEPH系统的读写更加迅速。

实施例子二

本发明公开了一种基于CEPH的分布式存储系统，包括：

任务分配模块，被配置为：选择集群中的一个主机作为管理端，管理端启动管理进程，集群中所有主机启动一个代理端，代理端启动代理进程，管理进程向代理进程发送命令，进行CEPH安装；

集群的校验模块，被配置为：管理进程接受用户命令，管理进程向代理进程发送消息，使得代理进程启动检查步骤，检查集群的软件硬件情况；

集群的初始化模块，被配置为：通过管理进程检查所有主机完毕后，调整硬件配置及通过代理进程的初始化调整软件的配置；

集群的存储硬件信息按照性能进行分类，通过管理进程调用代理进程，配置CEPH的依赖环境；

监控主机处理模块，被配置为：通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程、自动启动相关主机的CEPH监控进程服务；

CEPH创建模块，被配置为：根据当前主机的存储硬件情况，自适应的初始化CEPH的OSD配置、自动启动所有主机的OSD进程；CEPH创建成功。

通过集群的校验，系统能够很快感知复杂硬件环境(前期投资的硬件，而非为分布式存储进行的独立投资)，以及对于硬件环境提出的整理建议。通过集群的初始化能够有效的自动完成一些软件安装、磁盘初始化等操作，为自动化安装做准备。通过对监控主机的选择，保证集群整体的效率。存储硬件缓存机制，本地优先机制的选择，可以充分的利用硬件资源，提高集群读写效率。同时整个过程可以完成一键安装。也支持用户的手动干预。

以上实施例二系统中涉及的各模块与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于CEPH的分布式存储方法，其特征是，包括：

选择集群中的一个主机作为管理端，管理端启动管理进程，集群中所有主机启动一个代理端，代理端启动代理进程，管理进程向代理进程发送命令，进行CEPH安装；

管理进程接受用户命令，管理进程向代理进程发送消息，使得代理进程启动检查步骤，检查集群的软件硬件情况；

通过管理进程检查所有主机完毕后，调整硬件配置及通过代理进程的初始化调整软件的配置；

集群的存储硬件信息按照性能进行分类，通过管理进程调用代理进程，配置CEPH的依赖环境；

通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程、自动启动相关主机的CEPH监控进程服务；

根据当前主机的存储硬件情况，自适应的初始化CEPH的OSD配置、自动启动所有主机的OSD进程；

CEPH创建成功。

2.如权利要求1所述的一种基于CEPH的分布式存储方法，其特征是，管理进程接受用户命令，此时命令是用户通过web界面操作，或是通过shell界面命令操作实现。

3.如权利要求1所述的一种基于CEPH的分布式存储方法，其特征是，检查集群的软件硬件情况，包括集群主机数量，集群的操作系统，集群的存储配置，集群的软件安装情况以及版本情况；

如果硬件存在条件不满足情况，提出修改建议，每个主机当中不允许所有的硬盘均为HDD盘，提示用户进行适当调整，调整过后继续检查，同时主机也不允许不存在数据盘的情况，只有所有硬件条件满足之后才允许继续安装；

如果集群中的主机软件不满足条件，返回提示信息，在集群初始化中进行处理，进而保证软件条件能够满足，若集群初始化失败，返回失败原因，进行调整，所有校验检查完毕后，继续安装。

4.如权利要求1所述的一种基于CEPH的分布式存储方法，其特征是，初始化调整软件的配置，包括：下载CEPH软件包，以及基本软件包，格式化磁盘，完成CEPH依赖软件的基本配置。

5.如权利要求1所述的一种基于CEPH的分布式存储方法，其特征是，根据检查的主机上现有的存储资源情况，运行优化算法，得到主机的存储模型。

6.如权利要求1所述的一种基于CEPH的分布式存储方法，其特征是，CEPH监控进程的处理有两种模式，一种是主动式，一种是被动式，主动式：当其中一个机器宕机，或者断网时候，集群主动搜寻新的非监控主机，并且加入到监控主机集群，成功之后，剔除原有监控主机，使其不在监控主机集群中；

被动式：用户初始建立监控主机，而后用户通过UI界面对集群监控主机进行干涉，删除或者添加新的监控主机，当用户进行断网时候，需要手动干预。

7.一种基于CEPH的分布式存储系统，其特征是，包括：

任务分配模块，被配置为：选择集群中的一个主机作为管理端，管理端启动管理进程，集群中所有主机启动一个代理端，代理端启动代理进程，管理进程向代理进程发送命令，进行CEPH安装；

集群的校验模块，被配置为：管理进程接受用户命令，管理进程向代理进程发送消息，使得代理进程启动检查步骤，检查集群的软件硬件情况；

集群的初始化模块，被配置为：通过管理进程检查所有主机完毕后，调整硬件配置及通过代理进程的初始化调整软件的配置；

集群的存储硬件信息按照性能进行分类，通过管理进程调用代理进程，配置CEPH的依赖环境；

监控主机处理模块，被配置为：通过管理进程调用代理进程，自动初始化有关主机的CEPH监控进程、自动启动相关主机的CEPH监控进程服务；

CEPH创建模块，被配置为：根据当前主机的存储硬件情况，自适应的初始化CEPH的OSD配置、自动启动所有主机的OSD进程；CEPH创建成功。

8.如权利要求7所述的一种基于CEPH的分布式存储系统，其特征是，

管理进程接受用户命令，此时命令是用户通过web界面操作，或是通过shell界面命令操作实现。

9.如权利要求7所述的一种基于CEPH的分布式存储系统，其特征是，

检查集群的软件硬件情况，包括集群主机数量，集群的操作系统，集群的存储配置，集群的软件安装情况以及版本情况；

如果硬件存在条件不满足情况，提出修改建议，每个主机当中不允许所有的硬盘均为HDD盘，提示用户进行适当调整，调整过后继续检查，同时主机也不允许不存在数据盘的情况，只有所有硬件条件满足之后才允许继续安装；

如果集群中的主机软件不满足条件，返回提示信息，在集群初始化中进行处理，进而保证软件条件能够满足，若集群初始化失败，返回失败原因，进行调整，所有校验检查完毕后，继续安装。

10.如权利要求7所述的一种基于CEPH的分布式存储系统，其特征是，初始化调整软件的配置，包括：下载CEPH软件包，以及基本软件包，格式化磁盘，完成CEPH依赖软件的基本配置。

Images