CN108958984B

CN108958984B - 基于ceph的双活同步在线热备方法

Info

Publication number: CN108958984B
Application number: CN201810916934.8A
Authority: CN
Inventors: 唐卓; 宋柏森; 陈都
Original assignee: Shenzhen Zhengtong Electronics Co Ltd
Current assignee: Shenzhen Zhengtong Electronics Co Ltd
Priority date: 2018-08-13
Filing date: 2018-08-13
Publication date: 2022-02-11
Anticipated expiration: 2038-08-13
Also published as: CN108958984A

Abstract

本发明公开了一种基于CEPH的双活同步在线热备方法，所述双活同步在线热备方法应用于主要由主服务器和备服务器构成的系统中进行数据的同步，并采用CEPH分布式存储方式进行数据的存储；其特征在于，在系统中设置集群间一致性锁，在客户端进行读操作和写操作时，引入集群间一致性锁执行步骤保证系统中数据的安全性；所述集群间一致性锁的粒度为4M。本发明不仅能够提高业务的处理效率；更重要的是，还能够在不同客户端在对服务器进行读写操作时，通过使用服务器间一致性共享锁和一致性排他锁控制事务对数据的读写操作，也即两个服务器在双活热备情况下，可以同时读主备服务器的数据，但不能同时写入数据，保障了数据的一致性和安全性。

Description

基于CEPH的双活同步在线热备方法

技术领域

本发明涉及计算机领域，特别涉及一种计算机同步在线热备方法。

背景技术

当今社会，数据信息发展迅速，每天产生海量的数据，需要日益增大的计算机网络，同时也要求网络能可靠、高速、稳定的运行。对于CEPH分布式存储系统，虽然其本身基于副本或者纠删码的策略，以及大的集群通过修改CRUSH规则，可以提升其数据的安全性；但是，在同一数据中心，还是无法避免地震、火灾、光纤中断等自然灾难和人为事故的影响。

服务器的高可靠性、高可用性是网络安全运行的关键，而目前大部分互联网公司的网络服务都是采用的中心主服务器的模式，即一台服务器进行数据存储，一旦这台服务器因为外部或内部的因素影响出现了宕机的故障，所提供的服务也会随之中断，影响正常工作，并可能影响关键性数据，造成损失巨大。

为了避免上述提到的服务器宕机造成的损失，有些互联网公司提出单活的想法。单活就是一主一备，主服务器和备服务器扮演着不同的角色，主服务器每天处理客户端传来的各种请求，而备服务器每天只要把主服务器处理完的数据备份一份保存好就可以了，只有在发生灾备事件时，主服务区宕机了，备用的服务器才开始承担起主服务器的工作。这种模式虽然有效的解决了单服务器出现故障的问题，但成本提高了，服务器处理请求的速度没有提高，只保障了安全性，备用服务器只做数据备份，造成服务器资源浪费。因此，许多厂商为了数据的安全都会在一定的距离之外，建立一个独立的服务器，对于重要的数据，可以备份到远端的服务器；并且，为了提供更好的访问服务以及数据的安全性，往往要求主备服务器可以同时对外进行访问，同时也可以在线的实时备份到对端的服务器中。此时，主备服务器互为备份，并且实时进行备份，保证了数据的一致性，其中主服务器承担了60%~70%的业务，备服务器分担30%~40%的业务；此种方式成为双活热备方式，此种方式运行的情况下，当发生灾备时，可在没有人工干预的情况下备服务器主动处理用户业务，用户业务不会中断，同时也不会感觉到数据中心的切换，提高了业务处理效率以及用户业务办理的满意度；但是此种仍然存在一定的问题，例如两个集群的两个客户端对同一个卷进行读写访问时，容易导致数据写脏，上层的文件系统损坏，数据不一致性等各种问题，无法保证数据的安全性。

发明内容

本发明需要解决的技术问题是提供一种基于CEPH的双活在线同步热备方法，能够在保证数据一致性和安全性的基础上，提高业务处理效率。

为解决上述技术问题，本发明所采取的技术方案如下。

基于CEPH的双活同步在线热备方法，所述双活同步在线热备方法应用于主要由主服务器和备服务器构成的系统中进行数据的同步，并采用CEPH分布式存储方式进行数据的存储；其特征在于，在系统中设置集群间一致性锁，在客户端进行读操作和写操作时，引入集群间一致性锁执行步骤保证系统中数据的安全性；所述集群间一致性锁的粒度为4M。

上述基于CEPH的双活同步在线热备方法，所述主服务器和备服务器中分别设置有自身的主PG和副本PG。

上述基于CEPH的双活同步在线热备方法，所述集群间一致性锁包括读操作时使用的集群间一致性共享锁和写操作时使用的集群间一致性排它锁。

上述基于CEPH的双活同步在线热备方法，两个客户端在不同的集群对同一个卷的进行读操作时，申请集群间一致性共享锁，最先申请的集群获得集群间一致性共享锁，主备集群都能进行读操作，但后申请的集群不能获得集群间一致性共享锁；所述客户端的读操作具体包括以下步骤：

A1.客户端发送读取数据请求；当读取数据请求发送给CEPH主服务器时，执行步骤A2；当读取数据请求发送给CEPH备服务器时，执行步骤A3；

A2.当主服务器接收到读取数据请求时，判断本集群内有没有集群间一致性共享锁，如果没有，则获取集群间一致性共享锁；

A3.当备服务器接收到读取数据请求时，首先检测主服务器是否释放了集群间一致性共享锁，如果主服务器没有释放，则备服务器进入获取锁的栈中等待，等待主服务器释放后获取集群间一致性共享锁；

A4.获取了集群间一致性共享锁的主服务器或备服务器，分别通过自身的CRUSHMAP计算得到主PG，主PG向主OSD查找请求的数据；

A5.如果数据存在则发送给客户端进行确认，数据不存在则发送数据不存在消息，读操作完成。

上述基于CEPH的双活同步在线热备方法，所述主服务器和备服务器在栈中等到获取集群间一致性共享锁时采用先进先出原则。

上述基于CEPH的双活同步在线热备方法，两个客户端在不同的集群对同一个卷的进行写操作时，申请集群间一致性排它锁，所述客户端的写操作具体包括以下步骤：

B1.客户端发送写请求给CEPH主服务器，

B2.主服务器先检测本集群内的卷是否开启双活的配置；如果开启，执行步骤B3，如果没有开启，主服务器只在本集群内由自身主PG写入客户端数据，主PG再向副PG进行数据备份；

B3.检测备服务器集群内是否有集群间一致性排它锁，如果备服务器集群中有集群间一致性排它锁，则主服务器进入栈中等待获取集群间一致性排它锁；

B4.主服务器获取集群间一致性排它锁后，在本集群内写入数据，同时向对端的备服务器写入进行数据备份；

B5.备服务器的主PG与副PG同步完成主服务器的写数据后，向备服务器集群内的主OSD发送数据进行对应存储；备服务器集群内的主OSD对写入的数据根据相应的CRUSH算法进行存储；

B6.判断备服务器集群内的数据是否写入成功，写入成功执行步骤B7，写入不成功则返回步骤B5；

B7.备服务器集群内的数据写入完成后，备服务器集群内的主OSD发送成功确认信息给备服务器的主PG，由备服务器的主PG发送写请求成功确认信息给主服务器的主PG；

B8.主服务器的主PG收到对端集群的写请求成功后，检查本集群的主OSD是否返回成功写入的信息，当主服务器的主PG确认收到对端的写请求操作成功确认信息以及本集群的写请求操作成功确认信息后即完成了写操作，然后才向客户端返回写入成功的确认，写操作完成。

上述基于CEPH的双活同步在线热备方法，所述集群间信息同步的方法为：在双活的主备服务器之间建立相互通信和心跳机制，通过两个集群间的Leader mon交互，互相更新CRUSH MAP和OSD MAP信息。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明同样采用主备服务器双活热备方式，通过两个服务器共同承担用户的业务，互为备份，服务器间通过心跳实时更新主备服务器的MAP信息，提高了业务的处理效率；更重要的是，还能够在不同客户端在对服务器进行读写操作时，通过使用服务器间一致性共享锁和一致性排他锁控制事务对数据的读写操作，也即两个服务器在双活热备情况下，可以同时读主备服务器的数据，但不能同时写入数据，保障了数据的一致性和安全性。

附图说明

图1为本发明中所述读操作的流程图；

图2为本发明中所述写操作的流程图；

图3为本发明所述系统的架构图。

具体实施方式

下面将结合具体实施例对本发明进行进一步详细说明。

一种基于CEPH的双活同步在线热备方法，该方法应用于主要由主服务器和备服务器构成的系统中进行数据的同步，并采用CEPH分布式存储方式进行数据的存储；系统中设置有集群间一致性锁，在客户端进行读操作和写操作时，引入集群间一致性锁执行步骤保证系统中数据的安全性。

集群间一致性锁包括集群间一致性共享锁和集群间一致性排它锁。其中，集群间一致性共享锁又称读锁，用于在客户端进行读操作时调用，若事务T对数据对象A加上集群间一致性共享锁，则事务T可以读对象A但不能修改对象A，其他事务只能再对数据对象A加集群间一致性共享锁，而不能加集群间一致性排它锁，直到事务T释放数据对象A上的集群间一致性共享锁，这保证了其他事务可以读对象A，但在事务T释放对象A上的集群间一致性共享锁之前不能对对象A做任何修改；集群间一致性排它锁又称写锁，在客户端进行写操作时调用，若事务T对数据对象A加上集群间一致性排它锁，事务T可以读对象A也可以修改对象A，其他事务不能再对对象A加任何锁，直到事务T释放对象A上的集群间一致性排它锁，这保证了其他事务在事务T释放对象A上的集群间一致性排它锁之前不能再读取和修改A。

在双活的状态下，两个客户端在不同的集群对同一个卷的进行读访问时，可以申请集群间一致性共享锁，两个客户端在不同的集群对同一个卷进行写访问时，要申请集群间的一致性排它锁。对于集群间的一致性共享锁，在两个客户端都对同一段数据进行读时，可以满足两个客户端的读请求；但是，当另一个客户端对同一段数据进行写时，会阻塞该客户端的写操作。集群间的一致性排它锁，要求两个客户端在对同一段数据进行写或者读时，只有获得一致性排它锁的一方客户端可以满足其I/O请求，另一方，只有等待对方释放锁之后才可以继续服务。之所以要求加入集群间一致性排它锁，其根本原因是为了在双活的情况下，两个集群的两个客户端对同一个卷进行读写访问时，避免出现数据写脏、上层的文件系统损坏、数据不一致性等各种问题。

当双活的两个集群的客户端对CEPH的同一段数据进行写访问时，或者一方写、另一方读的情况下会出现竞争，而CEPH本身是分布式存储，其将大的数据都一般切片成4M大小，因此，本发明中集群间一致性锁的粒度也就是4M的数据段大小，由于锁的粒度比较小，这样就降低了出现集群间一致性锁的竞争出现的几率；同时为了防止一方长期获得锁、一方出现饥饿的情况，在对锁的获取上采用队列的方式，先进先出，保障了调度的公平性，避免一方因为长期得不到IO饿死的情况。

对集群间的数据访问，在双活的主服务器和备服务器中分别设置有自身的主PG和副本PG，从而实现数据的四个备份。双活的主服务器和备服务器，其集群间的MON要建立相互通信和心跳机制，通过两个集群间的Leader mon交互，互相更新CRUSH MAP和OSD MAP信息。系统默认指定一方服务器的集群为主集群，这个指定是通过在MON的配置项中增加主集群配置，默认初始的集群此配置是关闭的，这样做的意义是，当两个集群间的网络发生故障时，也就是两个集群间的数据不同同步了，而客户端还可以对两个集群进行访问，为了保证数据的安全和一致性；并且人为指定一方服务器的集群为主集群，这样当发生脑裂的故障的时候，主集群客户继续对外服务，而备集群通过心跳可以知道跟主集群的网关不可达，因此对于备集群的任何IO都处于阻塞的状态，直到两个集群间的网络发生恢复。

当两个客户端在不同的集群对同一个卷的进行读操作时，申请集群间一致性共享锁，最先申请的集群获得集群间一致性共享锁，主备集群都能进行读操作，但后申请的集群不能获得集群间一致性共享锁。此时读操作的流程如图1所示，具体按照以下步骤进行。

A1.客户端发送读取数据请求；当读取数据请求发送给CEPH主服务器时，执行步骤A2；当读取数据请求发送给CEPH备服务器时，执行步骤A3。

A2.当主服务器接收到读取数据请求时，判断本集群内有没有集群间一致性共享锁，如果没有，则获取集群间一致性共享锁。

A3.当备服务器接收到读取数据请求时，首先检测主服务器是否释放了集群间一致性共享锁，如果主服务器没有释放，则备服务器进入获取锁的栈中等待，等待主服务器释放后获取集群间一致性共享锁。

A4.获取了集群间一致性共享锁的主服务器或备服务器，分别通过自身的CRUSHMAP计算得到主PG，主PG向主OSD查找请求的数据。

系统内的集群间一致性共享锁设置为两个，在不同集群内的两个客户端都对同一段数据进行读操作时，具有集群间一致性共享锁的主服务器和备服务器同时执行读操作。

当两个客户端在不同的集群对同一个卷的进行写操作时，申请集群间一致性排它锁，此时写操作的流程如图2所示，具体按照以下步骤进行。

B1.客户端发送写请求给CEPH主服务器。

B2.主服务器先检测本集群内的卷是否开启双活的配置；如果开启，执行步骤B3，如果没有开启，主服务器只在本集群内由自身主PG写入客户端数据，主PG再向副PG进行数据备份。

B3.检测备服务器集群内是否有集群间一致性排它锁，如果备服务器集群中有集群间一致性排它锁，则主服务器进入栈中等待获取集群间一致性排它锁。

B4.主服务器获取集群间一致性排它锁后，在本集群内写入数据，同时向对端的备服务器写入进行数据备份。

B5.备服务器的主PG与副PG同步完成主服务器的写数据后，向备服务器集群内的主OSD发送数据进行对应存储；备服务器集群内的主OSD对写入的数据根据相应的CRUSH算法进行存储。

B6.判断备服务器集群内的数据是否写入成功，写入成功执行步骤B7，写入不成功则返回步骤B5。

B7.备服务器集群内的数据写入完成后，备服务器集群内的主OSD发送成功确认信息给备服务器的主PG，由备服务器的主PG发送写请求成功确认信息给主服务器的主PG。

本发明应用于双活同步热备系统中，在客户端进行读写访问时，对于底层间的数据双活同步根本感知不到。客户端的读写流程如下所述。

首先通过MON获取的CLUSTER MAP，之后通过CLUSTER MAP中的CRUSH MAP和OSDMAP计算出此数据的主PG，之后发送读写请求到此主PG上。

当客户端的度请求达到主OSD的PG上后，在获得集群间一致性共享锁后，只需要在本地的文件系统中获取到数据发回客户端就可以了。

当客户端的写IO请求到达主OSD的PG上后，该PG会检查其归属的POOL是否开启双活在线热备，如果开启了双活在线热备，其会检测其所归属的OSD是否有对端集群的CLUSTER MAP，如果存在，就基于对端集群的CLUSTER MAP集群出对端集群的主PG信息，之后在获取了集群间一致性排它锁后，将数据同步的发送到对端的主PG和本地的副PG；对端的主PG接收到写请求后，会同步的发送给副PG；只有到当前客户端访问的集群的主PG和其副PG以及对端集群的主PG和其副PG都完成了写操作后，才向客户端返回写入成功的确认，这样就确保了集群间数据访问的一次性。

集群间的CLUSTER MAP信息同步的过程中，利用PAXOS算法基于基数个MON进行容灾，基数个MON中为了完成PAXOS选举的快速收敛，会选择IP地址最小的MON作为Leadermon，集群间的CLUSTER MAP交互，要求所有的MON除了要与本身的MON进行心跳外，还需要与对端的MON进行心跳。当一方的Leader mon出现故障后，当前集群会立即选举出新的Leadermon，并及时与对端的Leader mon进行通信，互相更新CRUSH MAP和OSD MAP信息，进行数据同步，再由Leader mon同步给没到得到及时更新的其他mon。

当灾备发生主服务器被宕机后，备服务器的Leader mon检测不到主服务器的心跳，失去了通信后，会马上承担起其客户端发送的读写请求，因为客户端不仅保存了主服务器的OSD MAP和CRUSH MAP，也保存了备服务器的相应信息，所以当客户端访问默认的主服务器超时之后，会向之前交互的MON发送PING消息，如果超时没有收到响应，则认为自身所在的服务器无法访问，出现了故障，就会发送读写请求给对端的备服务器，这样在没有人工干预的情况下，备数据中心主动处理用户业务，用户业务不会中断。

当宕掉的服务器故障修复好之后，服务器选举完新的Leader mon，新的Leadermon会主动向对端的服务器的Leader mon发起通信，对端接受请求后，发送目前最新的CRUSH MAP和OSD MAP信息，两端服务器互相更新CRUSH MAP和OSD MAP信息，进行数据同步，再由Leader mon同步给没到得到及时更新的其他mon，来达到数据恢复的目的。

数据的同步可以基于PG日志信息，能通过日志恢复的就在本都重新做日志，不能通过日志恢复则直接同步这段时间修改的对象，这样就达到了双活热备的目的，使数据得到安全性保障。

Claims

1.基于CEPH的双活同步在线热备方法，所述双活同步在线热备方法应用于主要由主服务器和备服务器构成的系统中进行数据的同步，并采用CEPH分布式存储方式进行数据的存储；其特征在于，在系统中设置集群间一致性锁，在客户端进行读操作和写操作时，引入集群间一致性锁执行步骤保证系统中数据的安全性；所述集群间一致性锁的粒度为4M；

所述集群间一致性锁包括读操作时使用的集群间一致性共享锁和写操作时使用的集群间一致性排它锁；

两个客户端在不同的集群对同一个卷的进行写操作时，申请集群间一致性排它锁，所述客户端的写操作具体包括以下步骤：

B1.客户端发送写请求给CEPH主服务器，

2.根据权利要求1所述的基于CEPH的双活同步在线热备方法，其特征在于，所述主服务器和备服务器中分别设置有自身的主PG和副本PG。

3.根据权利要求1所述的基于CEPH的双活同步在线热备方法，其特征在于，两个客户端在不同的集群对同一个卷的进行读操作时，申请集群间一致性共享锁，最先申请的集群获得集群间一致性共享锁，主备集群都能进行读操作，但后申请的集群不能获得集群间一致性共享锁；所述客户端的读操作具体包括以下步骤：

A4.获取了集群间一致性共享锁的主服务器或备服务器，分别通过自身的CRUSH MAP计算得到主PG，主PG向主OSD查找请求的数据；

4.根据权利要求3所述的基于CEPH的双活同步在线热备方法，其特征在于，所述主服务器和备服务器在栈中等到获取集群间一致性共享锁时采用先进先出原则。

5.根据权利要求4所述的基于CEPH的双活同步在线热备方法，其特征在于，所述集群间信息同步的方法为：在双活的主备服务器之间建立相互通信和心跳机制，通过两个集群间的Leader mon交互，互相更新CRUSH MAP和OSD MAP信息。