CN107329708A - 一种分布式存储系统实现缓存数据的方法及系统 - Google Patents

Abstract

本发明公开了一种分布式存储系统中实现缓存数据备份的方法，主节点通过网络在备节点上镜像本地缓存设备建立的镜像缓存设备，在向本地缓存设备写入数据时，同时也向镜像缓存设备写入相同的数据，可以在本地缓存设备发生故障导致数据丢失时，从镜像缓存设备读取相关的数据，保证了数据的安全性，避免了由于数据丢失而导致的数据服务业务流程中断，提高了存储系统的高可用性，本发明还提供一种分布式存储系统中实现缓存数据备份的系统，具有上述有益效果。

Description

一种分布式存储系统实现缓存数据的方法及系统

技术领域

本发明涉及计算机数据存储领域，特别是涉及一种分布式存储系统实现缓存数据的方法及系统。

背景技术

服务器IO的处理流程就是计算机为了实现在存储器上读取和写入数据的目的，而进行的数据单元从IO发起端到接受端数据处理流程。在分布式存储系统中，这个数据处理流程需要经过多个节点，中间需要通过CPU、网络、存储设备，数据最终需要存储在存储设备，并从存储设备中读取数据，而将数据从缓存设备写入物理磁盘的存储设备需要耗费十分漫长的时间，而读取数据时，需要在存储设备的数据写入完成后才能进行，而整个数据的写入到读取的速度的快慢直接影响着整个存储系统的性能。

为了提升存储系统的性能，提高运行速度，目前常采用的方法是在读取数据时使用缓存设备，也就是读数据是先从缓存设备中查找是否存在数据，如果存在，则从缓存设备中读取数据后返回，如果不存在，则从存储设备中读取数据后返回。

目前一种将数据写入缓存设备的write back方法，是将数据写入缓存设备中即返回写成功消息，缓存设备中的数据要等到被新的数据替换或者系统做缓存刷新时才会被更新到存储设备中。这种缓存设备写入数据的方式，存储的数据存在容易丢失的隐患，容易出现缓存不可用的问题。

发明内容

本发明的目的是提供一种分布式存储系统中实现缓存数据备份的方法，以便解决缓存的数据容易丢失的问题，提高了缓存数据的安全性，本发明还提供一种分布式存储系统中实现缓存数据备份的系统。

为解决上述技术问题，本发明提供一种分布式存储系统中实现缓存数据备份的方法，包括：

主节点接收客户端待写入的数据；所述主节点将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；所述备节点将所述数据写入镜像缓存设备，其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像建立所述本地缓存设备的镜像缓存设备；所述备节点向所述主节点返回写入成功消息，然后主节点向客户端返回写成功消息，标记客户端写操作执行成功。

其中，所述本地缓存设备为SSD盘。

其中，在所述备节点向所述主节点返回写入成功消息之后还包括：所述主节点将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。

其中，所述镜像缓存设备是主节点通过网络在多个远程的备节点上镜像建立本地缓存设备的多个镜像缓存设备。

其中，还包括：实时检测主节点是否存在故障，如果是，则选取所述备节点代替主节点进行数据的读写。

其中，还包括：实时检测各个所述备节点是否存在故障，如果是，则停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，继续向所述备节点发送所述数据。

本发明还提供了一种分布式存储系统中实现缓存数据备份的系统，包括：主节点和备节点；所述主节点，用于接收待写入的数据，将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；所述备节点通过网络和主节点连接，用于将所述数据写入镜像缓存设备，并向所述主节点返回写入成功消息；其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像建立本地缓存设备的镜像缓存设备。

其中，所述主节点还包括存储器；所述存储器用于在所述备节点向所述主节点返回写入成功消息之后，将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。

其中，还包括检测器，用于实时检测所述主节点是否存在故障，如果是，则选取所述备节点代替所述主节点进行数据的读写。

其中，所述检测器还用于实时检测各个所述备节点是否存在故障，如果是，则所述主节点停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，所述主节点继续向所述备节点发送所述数据。

本发明所提供的分布式存储系统中实现缓存数据备份的方法，主节点和备节点通过远程网络镜像本地缓存设备建立的镜像缓存设备，在本地缓存设备写入数据时，同时也在镜像缓存设备中备份有相同的数据，如果本地缓存设备由于故障或其他原因，导致数据丢失，还可以通过镜像缓存设备读取备份的数据，从而提高了数据的安全性，避免了由于数据丢失而导致的数据服务业务流程中断，提高了缓存的高可用性，从而达到了利用缓存读取数据来提高整个系统的性能。

本发明还提供一种具有上述有益效果的分布式存储系统中实现缓存数据备份的系统。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的实现缓存数据备份的一种具体实施方式的流程图；

图2为本发明实施例提供的分布式存储系统中实现缓存数据备份的系统的结构框图；

图3为本发明提供的实现缓存设备数据备份系统的另一种具体实施例的结构框图。

具体实施方式

在分布式存储系统中，数据通过write back方法写入缓存设备，因为缓存设备对数据的存储不具有持久性，如果突然发生断电或其他故障数据就会丢失，而此时数据若还未存储在存储设备中，就会造成数据永久性丢失，这对存储系统的数据的安全性以及整个系统的性能都会产生很大的影响，为了防止缓存设备的数据丢失，本发明提供了一种通过镜像缓存设备实现数据备份的方案。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的方案是基于DRBD来实现缓存数据备份的，是通过网络在远程机器上镜像建立本地设备的实时镜像，是本地设备和远程机器形成一种主备模式，在作为主节点的本地设备的本地缓存设备写入数据时，作为备节点的远程机器的镜像缓存也对相同的数据进行存储，从而实现数据的备份，具体实施例如下所述。

本发明提供的实现缓存数据备份的一种具体实施方式的流程图，如图1所示，该方法可以包括：

步骤S101：主节点接收待写入的数据。

在分布式存储系统中，数据处理流程需要经过多个节点，主节点接收上层设备发送的数据，具体的可以是存储前端口接收通过光纤网络传输的数据，主节点从存储前端口接收的数据即为待写入的数据。

步骤S102：所述主节点将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点。

数据最终是要存储在主节点后端存储设备中，所以数据一般由主节点接收，再由主节点向备节点传送相同的数据，以便备节点存储数据。

步骤S103：所述备节点将所述数据写入镜像缓存设备。

需要说明的是，如果仅仅考虑到数据的备份，则并不要求镜像缓存设备一定是在远程机器上建立的，也可以是在本地设备上建立，但是考虑到如果本地设备发生故障，本地设备上所有的数据都将不可用，从而无法解决本地缓存设备数据丢失的问题；还可以是在其他设备上对数据进行拷贝复制，但是这种简单的复制与向存储设备存储数据相类似，可能会耗费相当长的时间，与直接将数据存入存储设备没有太大的区别，为此就需要采取一种保证备份数据安全性的基础上，能够快速的备份数据。

因此，本发明中采取的是利用镜像缓存设备进行数据的备份，所述镜像缓存设备可以是主节点通过网络在远程的备节点上镜像所述本地缓存设备建立的镜像缓存设备，当然，这并不是本发明的唯一实施方案，其他能够安全且快速的对数据进行备份的方式也属于本发明的保护范围，在此不一一赘述。

步骤S4：10所述备节点向所述主节点返回写入成功消息。

具体的，在读取数据时，数据可能存储在存储设备中，也可能存储在本地缓存设备还未存入存储设备，如果需要读取的数据在本地缓存设备中，需要将数据存储在存储设备之后再读取数据，必然要花费很长时间，所以可以在数据存储在存储设备之前直接在本地缓存设备读取数据，而在备节点备份数据之后，在保证数据安全性的基础上，延后存储设备的存储数据的时间，既保证了数据的可用性，又提高了整个数据处理流程的速度，提高了系统的性能。

基于上述实施例，可以对本地缓存设备进一步限定。考虑到本地缓存设备的数据易丢失，本发明提供的本地缓存设备可以具体为一种SSD盘，例如PCIE SSD或者SATA SSD作为本地缓存设备，这些设备具有丢点不丢失数据、读写性能高等优点。在主节点突然断电或者发生其他类似的故障时，重新启动主节点后，数据不会丢失。另外考虑到镜像缓存设备写入数据的速度也会影响整个数据处理流程的效率，所以镜像缓存设备也同样采用SSD盘。

基于上述实施例，为了将本地缓存设备中的数据作更持久性的保存，本发明中在所述备节点向所述主节点返回写入成功消息之后还包括：

所述主节点将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。

通过异步方式将数据刷新到存储设备，而不是将数据写入本地缓存设备后立即刷新到存储设备，不影响在本地缓存设备和镜像缓存设备中写入数据后，从本地缓存设备读取相关的数据，从而不影响整个系统的性能。

基于上述实施例，备节点的数量可以是单个也可以是多个，考虑到分布式存储系统中，需要存储的数据往往数量较大，种类较多，为了保证数据的安全性，所以较为优选的方案是每个主节点，对应有多个备节点。本发明提供的实现缓存数据备份的另一具体实施例可以包括：

所述镜像缓存设备是主节点通过网络在多个远程的备节点上镜像建立本地缓存设备的多个镜像缓存设备。

因为本地缓存设备存储的数据较多，如果将所有数据都只备份到一个镜像缓存设备中，如果该镜像缓存设备发生故障，数据丢失或镜像缓存设备不可用，那么就会导致缓存数据备份失败，因此可以在多个备节点上镜像建立多个本地缓存设备的多个镜像缓存设备，以保证数据的安全性。但是对于镜像缓存设备的数量也不是越多越好，因为数量越多，通过网络向各个镜像缓存设备发送数据的速度就越慢，必然影响整个系统数据写入缓存设备的速度，所以，镜像缓存设备的数量应该根据具体应用中，需要写入数据的多少以及网络能承受的负载的大小来具体设定。

基于上述实施例，考虑到分布式存储系统中需要存储的数据较多，那么本地缓存设备需要频繁的被访问，这也导致主节点发生故障的概率增大，一旦主节点发生故障，如果没有及时采取应对措施，会使整个系统的性能受到影响，为此本发明的上述具体实施例中还可以包括：

实时检测主节点是否存在故障，如果是，则选取所述备节点代替主节点进行数据的读写。

因为镜像缓存设备为主节点通过网络在远程的备节点上镜像建立本地缓存设备的镜像缓存设备，所以镜像缓存设备和本地缓存设备在功能上是完全相同的，所以当主节点发生故障时，可以用备节点代替主节点进行数据的读写服务，以保证整个数据处理的流程不被中断。具体的读取数据时可以是主节点通过网络向备节点的镜像缓存设备查询相关数据，如果找到对应数据，备节点通过网络将数据发送给主节点，从而完成数据的读取，这种方式虽然相比直接在主节点上读取数据要多两个数据业务流程，但是与向存储设备储存数据的时间相比较，这两个数据业务流程耗费的时间要短的多，所以仍能提高整个系统的性能。当然这并不是备节点代替主节点存储数据的唯一方式，能够在保证整个数据处理数据的基础上代替主节点完成数据处理业务的实施方式，都能实现本发明的技术方案。

基于上述实施例，相对于主节点来说，备节点被访问的几率相对较小，但并不排除备节点会出现故障，导致数据备份失败的情况，为此本发明中上述实施例还可以进一步包括：

实时检测各个所述备节点是否存在故障，如果是，则停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，继续向所述备节点发送所述数据。

因为每个主节点对应有多个备节点，如果其中某些备节点发生故障，对应的镜像缓存设备就不能备份数据，或者备份的数据不可用，如果还继续向该备节点发送数据，就会占用网络资源，且不能起到备份数据的作用。因此如果检测到备节点发生故障，比较优选的实施方式是停止向该备节点发送数据，直到检测到该备节点恢复正常，再进行数据的备份，但这并不是实现本发明的必要技术特征。

下面对本发明实施例提供的分布式存储系统中实现缓存数据备份的系统进行介绍，下文描述的分布式存储系统中实现缓存数据备份的系统与上文描述的分布式存储系统中实现缓存数据备份的方法可相互对应参照。

图2为本发明实施例提供的分布式存储系统中实现缓存数据备份的系统的结构框图，参照图2分布式存储系统中实现缓存数据备份的系统可以包括：

主节点100，用于接收待写入的数据，将所述数据写入本地缓存设备110，并将所述数据通过网络发送至备节点；

备节点200，备节点200通过网络和主节点100连接，用于将所述数据写入镜像缓存设备210，并向所述主节点100返回写入成功消息；

其中，所述镜像缓存设备为主节点100通过网络在远程的备节点200上镜像建立本地缓存设备110的镜像缓存设备210。

基于上述实施例，主节点100还包括存储器120；存储器120用于在所述备节点200向所述主节点100返回写入成功消息之后，将存储在所述本地缓存设备110中的所述数据通过异步方式刷新到存储设备。

基于上述实施例，请参考图3，本发明提供的实现缓存设备数据备份系统的另一种具体实施例的结构框图，该系统还可以包括：

检测器300，用于实时检测所述主节点100是否存在故障，如果是，则选取所述备节点200代替所述主节点100进行数据的读写。

基于上述实施例，检测器300还用于实时检测各个所述备节点200是否存在故障，如果是，则所述主节点100停止向存在故障的备节点200发送所述数据，当检测所述备节点200恢复正常，所述主节点100继续向所述备节点发送所述数据。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的分布式存储系统中实现缓存数据备份的方法以及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式存储系统中实现缓存数据备份的方法，其特征在于，包括：

主节点接收待写入的数据；

所述主节点将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；

所述备节点将所述数据写入镜像缓存设备，其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像所述本地缓存设备建立的镜像缓存设备；

所述备节点向所述主节点返回写入成功消息。

2.根据权利要求1所述的方法，其特征在于，所述本地缓存设备为SSD盘。

3.根据权利要求1所述的方法，其特征在于，在所述备节点向所述主节点返回写入成功消息之后还包括：

所述主节点将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。

4.根据权利要求1所述的方法，其特征在于，所述镜像缓存设备是主节点通过网络在多个远程的备节点上镜像建立本地缓存设备的多个缓存设备。

5.根据权利要求4所述的方法，其特征在于，还包括：

实时检测主节点是否存在故障，如果是，则选取所述备节点代替主节点进行数据的读写。

6.根据权利要求5所述的方法，其特征在于，还包括：

实时检测各个所述备节点是否存在故障，如果是，则停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，继续向所述备节点发送所述数据。

7.一种分布式存储系统中实现缓存数据备份的系统，其特征在于，包括主节点和备节点；

所述主节点，用于接收待写入的数据，将所述数据写入本地缓存设备，并将所述数据通过网络发送至备节点；

所述备节点通过网络和主节点连接，用于将所述数据写入镜像缓存设备，并向所述主节点返回写入成功消息；

其中，所述镜像缓存设备为主节点通过网络在远程的备节点上镜像建立本地缓存设备的镜像缓存设备。

8.根据权利要求7所述的系统，其特征在于，所述主节点还包括存储器；

所述存储器用于在所述备节点向所述主节点返回写入成功消息之后，将存储在所述本地缓存设备中的所述数据通过异步方式刷新到存储设备。

9.根据权利要求7所述的系统，其特征在于，还包括：检测器，用于实时检测所述主节点是否存在故障，如果是，则选取所述备节点代替所述主节点进行数据的读写。

10.根据权利要求9所述的系统，其特征在于，所述检测器还用于实时检测各个所述备节点是否存在故障，如果是，则所述主节点停止向存在故障的备节点发送所述数据，当检测所述备节点恢复正常，所述主节点继续向所述备节点发送所述数据。