CN112019601B - 一种基于分布式存储Ceph的两节点实现方法及系统 - Google Patents

Abstract

本发明公开了一种基于分布式存储Ceph的两节点实现方法及系统。该方法包括：为两个节点分别分配磁盘分区，并使得两个所述节点的两个所述磁盘分区中存储的数据始终保持同步；在两个所述节点上部署高可用服务，所述高可用服务用于从两个所述节点中选取主节点，并为所述主节点分配虚拟IP地址；在所述主节点上部署Monitor服务，所述Monitor服务数据被存储在所述主节点的所述磁盘分区中；当检测到所述主节点发生故障，则将所述Monitor服务从所述主节点迁移到所述从节点上运行，将所述从节点作为新主节点。本发明在具有集群模式的高可用的同时，可以在发生故障时快速进行Monitor服务的恢复。

Description

一种基于分布式存储Ceph的两节点实现方法及系统

技术领域

本发明属于分布式存储技术领域，更具体地，涉及一种基于分布式存储Ceph的两节点实现方法及系统。

背景技术

Ceph是一个开源的分布式存储软件，一般都是基于通用的标准服务器硬件，不依赖传统存储阵列的专有硬件。Ceph通过存储软件将服务器本地盘组成存储资源池，对外提供块存储、文件存储和对象存储服务。Ceph的核心组件主要包括：Monitor、osd、rbd等，其中osd负责数据的存储，硬盘上数据的读取和写入都是通过osd进行的。Monitor负责整个存储集群的管理，包括osd集群、Monitor集群、客户端管理等。rbd是Ceph的块存储客户端，负责向上层应用提供存储IO访问的接口。

Monitor进行存储集群的管理，为了保证Monitor自身的可靠性，通常情况下Monitor服务会部署在不同的物理服务器上，一般部署三、五或七个。多个Monitor之间通过paxos协议进行投票来解决分布式集群的一致性问题。然而，Paxos协议虽然解决了分布式集群下一致性的问题，同时也带来了一个问题，就是在一个分布式存储集群中，最少要有三个节点才能构建一个高可用的分布式存储系统。但是在一些小规模的场景下，比如只有两台服务器，就无法构建高可用的存储集群。当两台服务器中有一台出现故障，或者两个节点之间的网络中断，根据paxos协议的要求投票要大于一半才能够生效，此时无法满足paxos协议的条件，Monitor就无法正常提供服务。

为了解决这一问题，现有技术中提出了一种分布式存储Ceph的实现方法，当分布式存储Ceph中只包括两个节点时，两个节点都运行有第一Monitor服务，并且还从两个节点中选举主节点，在主节点上还部署第二Monitor服务，当检测到主节点发生故障时，将主节点上的第二Monitor服务迁移到从节点上；这样，当主节点发生故障之后，从节点成为新主节点运行两个Monitor服务，仍然可以基于Paxos协议进行投票，保证整个集群正常运行。然而，其存在Monitor服务恢复慢的问题。当主节点故障时，需要在从节点上动态创建一个新的Monitor服务，而这个Monitor服务的数据为空，需要先从之前的Monitor服务上将数据复制过来，只有等数据完全复制完成后，这个Monitor才能加入集群，此时才满足Paxos协议的要求，才能正常工作。特别是当Monitor的数据量较大时，数据复制的时间较长，Monitor服务恢复慢。在Monitor未恢复之前，无法对系统进行资源的管理，包括存储卷的分配、更新等，还有存储的监控系统也无法使用，需要等待monitor恢复完成。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于分布式存储Ceph的两节点实现方法及系统，具有集群模式的高可用的同时，可以在发生故障时快速进行Monitor服务的恢复。

为实现上述目的，按照本发明的第一方面，提供了一种基于分布式存储Ceph的两节点实现方法，包括：

为用于分布式存储Ceph的两个节点分别分配磁盘分区，并进行数据同步设置，以使得两个所述节点的两个所述磁盘分区中存储的数据始终保持同步；

在两个所述节点上部署高可用服务，所述高可用服务用于从两个所述节点中选取主节点，另一个所述节点作为从节点，并为所述主节点分配虚拟IP地址；

在所述主节点上部署Monitor服务，所述Monitor服务数据被存储在所述主节点的所述磁盘分区中，并被同步到所述从节点的所述磁盘分区中；

当检测到所述主节点发生故障，则将所述Monitor服务从所述主节点迁移到所述从节点上运行，将所述从节点作为新主节点，并从所述新主节点的所述磁盘分区中读取所述Monitor服务数据。

优选的，所述进行数据同步设置包括：将两个所述节点的两个所述磁盘分区配置为磁盘镜像。

优选的，所述配置为磁盘镜像包括：将两个所述节点的两个所述磁盘分区配置为DRBD的磁盘镜像，分别生成两个所述磁盘分区对应的DRBD块设备。

优选的，所述在所述主节点上部署Monitor服务包括：检测所述主节点上是否运行有Monitor服务，若没有启动Monitor服务，则挂载所述主节点的所述DRBD块设备，并启动Monitor服务。

优选的，所述迁移包括：

将所述虚拟IP地址从所述主节点迁移到所述从节点；

检测所述从节点上是否运行有Monitor服务，若没有启动Monitor服务，则挂载所述从节点的所述DRBD块设备，并启动Monitor服务。

优选的，一种基于分布式存储Ceph的两节点实现方法还包括：当所述主节点清除故障后，将所述主节点加入到分布式存储Ceph中作为新从节点，并保持所述新主节点上的所述Monitor服务和所述虚拟IP地址不变，所述Monitor服务数据被存储在所述新主节点的所述磁盘分区中，并被同步到所述新从节点的所述磁盘分区中。

优选的，所述检测包括：所述主节点定期发送广播包给所述从节点，若所述从节点未接收到所述广播包，则判定所述主节点发生故障。

按照本发明的第二方面，提供了一种基于分布式存储Ceph的两节点实现系统，包括：

数据同步组件，用于为用于分布式存储Ceph的两个节点分别分配磁盘分区，并进行数据同步设置，以使得两个所述节点的两个所述磁盘分区中存储的数据始终保持同步；

高可用组件，其部署在两个所述节点上，用于从两个所述节点中选取主节点，另一个所述节点作为从节点，并为所述主节点分配虚拟IP地址；

监控组件，其部署在两个所述节点上，用于在所述主节点上部署Monitor服务，所述Monitor服务数据被存储在所述主节点的所述磁盘分区中，并被同步到所述从节点的所述磁盘分区中；

所述高可用组件，还用于当检测到所述主节点发生故障，将所述Monitor服务从所述主节点迁移到所述从节点上运行，将所述从节点作为新主节点，并从所述新主节点的所述磁盘分区中读取所述Monitor服务数据。

总体而言，本发明与现有技术相比，具有有益效果：在分布式存储Ceph为两节点模式下，存储系统仍然具备集群模式的高可用，并且在迁移Monitor服务时不需要进行数据的复制，在检测到故障发生后，可以立即进行Monitor服务的恢复，恢复的速度更快。Monitor恢复过程中数据的读写都不会受到影响，并且存储资源管理只会出现短暂的中断后立即恢复，用户基本不会感知后端的变化，存储资源监控也可以在很短的时间内进行恢复，能够提高整个系统的可用性。

附图说明

图1是本发明实施例的DRBD镜像示意图；

图2是本发明实施例的Keepalived示意图；

图3是本发明实施例的系统示意图；

图4是本发明实施例的故障切换示意图；

图5是本发明实施例的故障恢复示意图；

图6是本发明实施例的Controller的监控流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例的一种基于分布式存储Ceph的两节点实现方法，包括步骤S11至S14。

S11，为用于分布式存储Ceph的两个节点分别分配磁盘分区，并进行数据同步设置，以使得两个节点的两个磁盘分区中存储的数据始终保持同步。

进行数据同步设置的方法有多种，例如可以采用将两个磁盘分区配置为磁盘镜像的方式，也可以采用通过网络远程挂载两个文件夹的方式实现两个磁盘分区数据的同步。

优选的，磁盘镜像方式可以采用DRBD镜像技术，将两个节点对应的两个磁盘分区配置为DRBD的磁盘镜像，分别生成两个磁盘分区对应的DRBD块设备。

S12，在两个节点上部署高可用服务，高可用服务用于从两个节点中选取主节点(Master)，另一个节点作为从节点(Slave)，并为主节点分配虚拟IP地址(Virtual IP，简称VIP)。

优选的，高可用服务可采用Keepalived技术。

S13，在主节点上部署一个Monitor服务，该Monitor服务数据被存储在主节点的磁盘分区中，由于步骤S1中的设置，因此主节点的磁盘分区中Monitor服务数据被同步到从节点的磁盘分区中。

S14，当检测到主节点发生故障，则将Monitor服务从主节点上迁移到从节点上运行，将从节点作为新主节点，并从新主节点的磁盘分区中读取同步的Monitor服务数据。

这样，当主节点上发生故障时，不需要等待从主节点上复制Monitor服务数据到从节点，就可以立即恢复Monitor服务。

下面以采用DRBD镜像技术和Keepalived技术为例具体说明。

为了实现两个节点构建分布式存储集群，需要解决以下问题。一是业务数据的可靠性，通过两副本的方式，同一份数据在存储上保存两份，每个节点保存一份，当一个节点故障时，另外一个节点上保存有完整的数据，可以正常提供服务，这是Ceph原生支持的功能。二是Monitor服务的可靠性，一个节点故障时，Monitor能够正常提供集群管理的服务。三是Monitor服务数据的可靠性和一致性，任何时刻一个节点故障，在另外一个节点都存在Monitor完整的数据，这样才能保证Monitor服务能够正常恢复。

本发明实施例采用DRBD技术进行Monitor服务数据同步，来保证Monitor服务数据的可靠性和一致性，从而实现Monitor服务的快速恢复。DRBD的工作原理如图1所示。

DRBD是由linux内核提供的硬盘镜像技术，它的实现方式是通过网络将两个主机上不同硬盘连接起来，在本地建立一个远端磁盘的实时镜像。配置DRBD磁盘镜像后，会在本地生成一个DRBD的块设备，对这个DRBD设备进行写数据时，DRBD本地硬盘上写一份数据，同时把这份数据通过网络发送给另一个主机，另外一个主机再将数据写入自己的本地硬盘上。本地节点与远程节点的数据可以保证实时的同步，并保证IO的一致性。所以当本地节点的主机出现故障时，远程节点上还会保存一份完全相同的数据，可以继续使用。

备选方式也采用远程文件同步的方式，例如使用rsync定时将本地文件备份到另一个主机，但是使用rsync进行同步，只能通过周期性进行数据同步，不能做到实时，当主节点出现故障时，会有一定的概率在另一个节点数据并不是最新的，可能会出现少量数据丢失，导致上层应用程序的异常。

解决了Monitor服务数据同步的问题后，再考虑Monitor服务的可靠性问题。如果在两个节点上各启用一个Monitor服务，集群中一共运行两个Monitor服务。按照paxos协议，当一个节点故障后，剩余的一个节点无法满足大于1/2的要求，还是不能正常工作。

本发明实施例的解决方式是只在其中一个节点上运行Monitor服务，另外一个节点上不运行。运行Monitor服务的节点实时的将数据同步到另一个节点，当运行Monitor服务的节点故障时，在另一个节点上立即使用之前实时同步过来的数据将Monitor服务恢复。这样就可以保证Monitor服务的可靠性。

那么在两个节点情况下，选择哪一个节点运行Monitor服务，当运行Monitor服务的节点故障时，另外一个节点如何快速发现并且快速进行恢复，这里通过Keepalived来选择一个节点作为主节点，另一个节点作为从节点，主节点运行Monitor服务，从节点不运行。

Keepalived是一个高可用的软件，可以用来检测服务器的健康状态。Keepalived是基于虚拟路由器冗余协议(Virtual Router Redundancy Protocol，简称VRRP)实现高可用功能的。如图2所示，在多台服务器中通过Keepalived内部的竞选机制会选出一个主节点，同时主节点上会分配一个虚拟的VIP，其他节点作为从节点。主节点在工作状态下会定期发送广播包给其他节点，当从节点预定时间内未接收到广播包，则判定主节点发生故障。当发生故障时，在剩余的节点中会竞选生成一个新的主节点，VIP也会随之漂移到这个节点上。在两个节点的情况下，Monitor服务就运行在拥有VIP的节点上。

解决了Monitor服务可靠性和数据可靠性的问题后，基于两个节点构建Ceph分布式存储集群整体方案如图3所示：在两个节点上部署Keepalived，通过Keepalived内部机制选择主节点，在主节点上拥有VIP。在VIP所在的节点上启用CephMonitor服务。Monitor的数据保存在主节点的DRBD的设备上，数据通过DRBD实时同步到另外一个节点的本地盘上。另外在所有节点的本地数据盘上部署Cephosd，用于保存业务数据。这样就可以构建一个两节点的高可用Ceph集群。

故障切换的实现如图4所示。当主节点发生故障时，Keepalived会检测到故障，将VIP迁移到从节点上，同时从节点提升为主节点，此时在新主节点上启动Monitor服务，新的Monitor服务从DRBD设备上直接读取数据，由于两个节点上的Monitor数据是实时同步的，故障切换后不会出现数据丢失。直接拉去Monitor进程即可，恢复速度很快。

故障恢复的实现如图5所示。故障节点恢复以后，主节点作为新从节点角色加入集群，此时保持新主节点上的Monitor服务和VIP不变，新从节点的DRBD设备自动从新主节点上同步Monitor服务数据。

本发明实施例的一种基于分布式存储Ceph的两节点实现方法，如图6所示，包括步骤S21至S29。

S21：安装两个节点的操作系统时，分别从两个节点的系统盘中划分一个独立的磁盘分区，该磁盘分区用于保存Monitor的数据。

S22：将S21中划分的磁盘分区，配置成DRBD的磁盘镜像，生成DRBD设备，比如/dev/drbd0。

S23：在两个节点上运行Keepalived服务，Keepalived自动选举其中一个节点作为主节点，另一个节点作为从节点，其中主节点上拥有VIP。

S24：首次运行时在主节点上启用Monitor服务，在所有节点上运行osd服务，Ceph集群正常运行。

S25：在两个节点的后台定时运行监控程序Controller，定时周期比如设置为10s。Controller的监控流程如图6所示，首先监控本节点是否为主节点节点，如果不是主节点DRBD，则结束检查。

S26:Controller检查本节点是主节点，则继续检查是否运行有Monitor服务，如果Monitor服务正在运行，则结束检查。如果本地没有启用Monitor服务，则挂载本地的/dev/drbd0设备，然后启动Monitor服务，集群恢复正常。

S27：当运行过程中，若从节点发生故障，主节点的角色保持不变，主节点上的Monitor服务也正常运行，集群正常提供服务。

S28：当运行过程中，若主节点发生故障，Keepalived会自动将VIP漂移到从节点，同时从节点提升为新主节点。Controller定时检查发现新主节点上没有运行Monitor服务，则自动挂载本地DRBD设备，然后启动Monitor服务，集群能够快速恢复。

S29：当S27和S28中故障节点恢复以后，Keepalived会将故障节点加入集群作为新从节点角色，此时通过新从节点的DRBD自动从新主节点的DRBD同步Monitor服务数据。同时Controller继续监控，发现为新从节点角色，则结束检查。

本发明实施例的一种基于分布式存储Ceph的两节点实现系统，包括：

数据同步组件，可以是上述的DRBD组件，用于为用于分布式存储Ceph的两个节点分别分配磁盘分区，并进行数据同步设置，以使得两个节点的两个磁盘分区中存储的数据始终保持同步；

高可用组件，可以是上述的Keepalived组件，其部署在两个节点上，用于从两个节点中选取主节点，另一个节点作为从节点，并为主节点分配VIP；

监控组件，可以是上述的Controller组件，其部署在两个节点上，用于在主节点上部署Monitor服务，Monitor服务数据被存储在主节点的磁盘分区中，并被同步到从节点的磁盘分区中；

高可用组件，还用于当检测到主节点发生故障，将主节点上运行的Monitor服务迁移到从节点上运行，将从节点作为新主节点，并从新主节点的磁盘分区中读取Monitor服务数据。

基于分布式存储Ceph的两节点实现系统的实现原理、技术效果与上述方法类似，此处不再赘述。

必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分布式存储Ceph的两节点实现方法，其特征在于，包括：

为用于分布式存储Ceph的两个节点分别分配磁盘分区，并进行数据同步设置，以使得两个所述节点的两个所述磁盘分区中存储的数据始终保持同步；

在两个所述节点上部署高可用服务，所述高可用服务用于从两个所述节点中选取主节点，另一个所述节点作为从节点，并为所述主节点分配虚拟IP地址；

在所述主节点上部署Monitor服务，所述Monitor服务数据被存储在所述主节点的所述磁盘分区中，并被同步到所述从节点的所述磁盘分区中；

当检测到所述主节点发生故障，则将所述Monitor服务从所述主节点迁移到所述从节点上运行，将所述从节点作为新主节点，并从所述新主节点的所述磁盘分区中读取所述Monitor服务数据。

2.如权利要求1所述的一种基于分布式存储Ceph的两节点实现方法，其特征在于，所述数据同步设置包括：将两个所述节点的两个所述磁盘分区配置为磁盘镜像。

3.如权利要求2所述的一种基于分布式存储Ceph的两节点实现方法，其特征在于，所述配置为磁盘镜像包括：将两个所述节点的两个所述磁盘分区配置为DRBD的磁盘镜像，分别生成两个所述磁盘分区对应的DRBD块设备。

4.如权利要求3所述的一种基于分布式存储Ceph的两节点实现方法，其特征在于，所述在所述主节点上部署Monitor服务包括：检测所述主节点上是否运行有Monitor服务，若没有启动Monitor服务，则挂载所述主节点的所述DRBD块设备，并启动Monitor服务。

5.如权利要求4所述的一种基于分布式存储Ceph的两节点实现方法，其特征在于，所述迁移包括：

将所述虚拟IP地址从所述主节点迁移到所述从节点；

检测所述从节点上是否运行有Monitor服务，若没有启动Monitor服务，则挂载所述从节点的所述DRBD块设备，并启动Monitor服务。

6.如权利要求1所述的一种基于分布式存储Ceph的两节点实现方法，其特征在于，还包括：当所述主节点清除故障后，将所述主节点加入到分布式存储Ceph中作为新从节点，并保持所述新主节点上的所述Monitor服务和所述虚拟IP地址不变，所述Monitor服务数据被存储在所述新主节点的所述磁盘分区中，并被同步到所述新从节点的所述磁盘分区中。

7.如权利要求1所述的一种基于分布式存储Ceph的两节点实现方法，其特征在于，所述检测包括：所述主节点定期发送广播包给所述从节点，若所述从节点未接收到所述广播包，则判定所述主节点发生故障。

8.一种基于分布式存储Ceph的两节点实现系统，其特征在于，包括：

数据同步组件，用于为用于分布式存储Ceph的两个节点分别分配磁盘分区，并进行数据同步设置，以使得两个所述节点的两个所述磁盘分区中存储的数据始终保持同步；

高可用组件，其部署在两个所述节点上，用于从两个所述节点中选取主节点，另一个所述节点作为从节点，并为所述主节点分配虚拟IP地址；

监控组件，其部署在两个所述节点上，用于在所述主节点上部署Monitor服务，所述Monitor服务数据被存储在所述主节点的所述磁盘分区中，并被同步到所述从节点的所述磁盘分区中；

所述高可用组件，还用于当检测到所述主节点发生故障，将所述Monitor服务从所述主节点迁移到所述从节点上运行，将所述从节点作为新主节点，并从所述新主节点的所述磁盘分区中读取所述Monitor服务数据。

9.如权利要求8所述的一种基于分布式存储Ceph的两节点实现系统，其特征在于，所述进行数据同步设置包括：将两个所述节点的两个所述磁盘分区配置为磁盘镜像。

10.如权利要求9所述的一种基于分布式存储Ceph的两节点实现系统，其特征在于，所述配置为磁盘镜像包括：将两个所述节点的两个所述磁盘分区配置为DRBD的磁盘镜像，分别生成两个磁盘分区对应的DRBD块设备。

Images