CN103516736A - 分布式缓存系统的数据恢复方法及装置 - Google Patents

Abstract

本发明公开了一种分布式缓存系统的数据恢复方法及装置，该方法包括：分布式缓存系统的服务器将其内存中的数据备份到存储介质；当服务器从故障恢复，重新启动时，服务器从存储介质中获取备份的数据。本发明利用存储介质对服务器中的数据进行备份，在服务器从故障恢复并重新启动时，服务器从存储介质中获取备份的数据，至少能保证恢复该服务器故障之前的数据，以减少内存数据丢失带来的损失。

Description

分布式缓存系统的数据恢复方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式缓存系统的数据恢复方法及装置。

背景技术

云计算（Cloud Computing）是网格计算（Grid Computing）、分布式计算（DistributedComputing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（NetworkStorage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。

分布式缓存是云计算范畴中的一个领域，其作用是提供海量数据的分布式存储服务以及高速读写访问的能力。图1是根据相关技术的分布式缓存系统的网元结构示意图，如图1所示，分布式缓存系统是由若干服务器节点和客户端互相连接构成的。一般来说写入的数据不可能只保存在单个服务器节点上，而是在多台服务器节点上保存同一个数据的副本，互为备份。所述数据由键（Key）和值（Value）构成，Key相当于数据的索引，Value是Key所代表的数据内容，逻辑上Key和Value是一对一的关系。

服务器节点负责在内存和磁盘中存储和管理数据，并在多个服务器节点存储数据的多个副本，用来保证部分服务器节点宕机后，整个系统仍能使用其他副本数据继续为应用提供正常服务；客户端可以对服务器节点做数据的写入、读取、更新、删除等操作。

对某一个特定数据的Key，逻辑上可以根据一定的优先级把服务器集群中某几台服务器节点看作一个协同服务器和多个副本服务器，不同的Key可能有不同的协同服务器和副本服务器。协同器负责处理来自客户端的请求，并将数据写入其他几个副本服务器。

在分布式缓存系统中，某个服务器节点进程停止运行后，该服务器节点内存数据会丢失，这时可以获取其副本数据，保证数据的恢复。但是如果分布式缓存系统发生更严重的故障，比如存储内存数据的多个副本服务器节点均故障宕机，那么就会造成应用无法再获取存储在分布式缓存系统中的内存的数据，数据丢失。

发明内容

本发明提供了一种分布式缓存系统的数据恢复方法及装置，以至少解决相关技术中，协同服务器和多个副本服务器均发生故障，导致数据丢失的问题。

根据本发明的一个方面，提供了一种分布式缓存系统的数据恢复方法，包括：分布式缓存系统的服务器将其内存中的数据备份到存储介质；当服务器从故障恢复，重新启动时，服务器从存储介质中获取备份的数据。

优选地，在服务器从存储介质中获取备份的数据之后，上述方法还包括：服务器将从存储介质中获取的数据存储到其内存中。

优选地，在分布式缓存系统的服务器将其内存中的数据备份到存储介质之后，上述方法还包括：服务器记录进行备份的备份时间。

优选地，在服务器从存储介质中获取备份的数据之后，上述方法还包括：服务器检测到分布式缓存系统中除服务器之外未发生故障的其它服务器中存储有与服务器中同样的数据；服务器根据记录的备份时间确定最后一次进行备份的时间；服务器从其它服务器中获取服务器最后一次进行备份之后产生的数据；服务器将获取到的数据存储到其内存中。

优选地，在服务器从存储介质中获取备份的数据之前，上述方法还包括：服务器判断分布式缓存系统中除服务器之外未发生故障的其它服务器中是否存储有与服务器中同样的数据；如果判断结果为是，服务器从其它服务器中获取全部数据；如果判断结果为否，服务器从存储介质中获取备份的数据。

优选地，分布式缓存系统的服务器将其内存中的数据备份到存储介质包括：服务器按照预先设定的备份时间间隔和备份速度将其内存中的数据备份到存储介质。

优选地，分布式缓存系统的服务器将其内存中的数据备份到存储介质包括：服务器采用异步备份的方式将其内存中的数据备份到存储介质。

优选地，上述存储介质是磁盘。

根据本发明的另一方面，提供了一种分布式缓存系统的数据恢复装置，应用于分布式缓存系统的服务器，包括：备份模块，用于将服务器内存中的数据备份到存储介质；获取模块，用于当服务器从故障恢复，重新启动时，从存储介质中获取备份的数据。

优选地，上述装置还包括：存储模块，用于将从存储介质中获取的数据存储到其内存中。

本发明利用存储介质对服务器中的数据进行备份，在服务器从故障恢复并重新启动时，服务器从存储介质中获取备份的数据，至少能保证恢复该服务器故障之前的数据，以减少内存数据丢失带来的损失。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据相关技术的分布式缓存系统的网元结构示意图；

图2是根据本发明实施例的分布式缓存系统的数据恢复方法的流程图；

图3是根据本发明优选实施例的分布式缓存系统的数据恢复方法的流程图；

图4是根据本发明实施例的分布式缓存系统的数据恢复装置的结构框图；

图5是根据本发明优选实施例的分布式缓存系统的数据恢复装置的结构框图一；

图6是根据本发明优选实施例的分布式缓存系统的数据恢复装置的结构框图二。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种分布式缓存系统的数据恢复方法，图2是根据本发明实施例的分布式缓存系统的数据恢复方法的流程图，如图2所示，包括如下的步骤S202至步骤S204。

步骤S202，分布式缓存系统的服务器将其内存中的数据备份到存储介质。

步骤S204，当服务器从故障恢复，重新启动时，服务器从存储介质中获取备份的数据。

相关技术中，如果协同服务器和多个副本服务器均发生故障，会导致数据丢失。本发明实施例中，利用存储介质对服务器中的数据进行备份，在服务器从故障恢复并重新启动时，服务器从存储介质中获取备份的数据，至少能保证恢复该服务器故障之前的数据，以减少内存数据丢失带来的损失。

优选地，在从存储介质中获取备份的数据之后，上述方法还包括：服务器将从存储介质中获取的数据存储到其内存中。

考虑到如果只从存储介质中获取备份的数据，只能恢复该服务器故障之前的数据，而在该服务器故障期间，可能会产生新数据，存储在分布式缓存系统中除该服务器之外的其他服务器中（如果所述其他服务器未发生故障的话）。

为了使故障服务器的内存数据全部恢复，在本发明实施例的一个优选实施方式中，在分布式缓存系统的服务器将其内存中的数据备份到存储介质之后，该服务器记录进行备份的备份时间。在服务器从存储介质中获取备份的数据之后，服务器检测到分布式缓存系统中除该服务器之外未发生故障的其它服务器中存储有与该服务器中同样的数据；服务器根据记录的备份时间确定最后一次进行备份的时间；服务器从其它服务器中获取该服务器最后一次进行备份之后产生的数据；服务器将获取到的数据存储到其内存中。需要说明的是，服务器将获取到的数据存储到其内存中，既包括从存储介质中获取的备份数据，也包括从其它服务器中获取的新数据。本优选实施方式中，在只有部分服务器故障的情况下，除了根据备份数据恢复大部分内存数据之外，还能够通过向正常服务器获取最新的副本数据，使故障服务器的内存数据恢复到100%完整的程度。

上述实施例中，故障服务器重新启动后，先从存储介质中获取备份的数据，再检测与其存储有同样数据的服务器中是否有未发生故障的，从而决定是否可以恢复该故障服务器故障期间的数据。基于此，本发明实施例还提供了另外一种数据恢复方法，即，先检测与故障服务器存储有同样数据的服务器中是否有未发生故障的，如果有，直接获取数据即可恢复全部数据；如果没有，则获取备份数据，以恢复部分数据，减少损失，具体如下：

在服务器从存储介质中获取备份的数据之前，上述方法还包括：服务器判断分布式缓存系统中除该服务器之外未发生故障的其它服务器中是否存储有与服务器中同样的数据；如果判断结果为是，服务器从其它服务器中获取全部数据；如果判断结果为否，服务器从存储介质中获取备份的数据。

考虑到如果采用安装了操作系统的磁盘进行数据的备份，内存数据写入磁盘的速度也需要控制，防止操作系统所在磁盘的IO被备份操作独占，服务器操作系统会出现间歇性无响应，影响服务器节点进程的正常运行。所以，在另一个优选实施方式中，分布式缓存系统的服务器按照预先设定的备份时间间隔和备份速度将其内存中的数据备份到存储介质。

为了避免内存数据写入存储介质的操作影响应用对内存数据的读写访问速度，分布式缓存系统的服务器采用异步备份的方式将其内存中的数据备份到存储介质。异步备份由一个独立的线程负责备份内存数据，使得在提高内存数据可靠性的同时，不损失内存数据的访问效率。

优选地，上述存储介质是磁盘。磁盘中存储的数据不会因为停电而丢失，保证了备份的数据的稳定性。

由上述可知，本发明实施例在不影响内存数据访问效率的前提下，将内存数据写入到存储介质（如磁盘）上，并在进程重启时从存储介质中进行内存数据恢复，使故障节点的内存数据能够最大程度的恢复，大大提高分布式缓存系统的可用性、可靠性，扩展了分布式缓存系统的应用场景。在一个优选实施例中，可以包括如下步骤（以存储介质是磁盘为例进行说明）：

前置步骤：在分布式缓存系统中配置多个服务器存储数据和数据的副本，客户端与分布式缓存系统中多个服务器节点建立连接，服务器节点间互相建立连接并且运行正常，并配置了内存数据定时备份的间隔时间和备份速度。

步骤A：分布式缓存系统接收来自应用的数据并写入内存。

步骤B：分布式缓存系统的各服务器节点，按内存数据备份间隔参数和备份速度参数，定时将内存数据写入到磁盘，并在每次备份内存数据时记录时刻T1。

步骤C：故障节点故障，退出分布式缓存系统。

步骤D：故障节点排除完故障，重新启动服务。

步骤E：故障节点将磁盘中备份的内存数据恢复到内存中。

步骤F：故障节点检测分布式缓存系统中其他服务器节点是否存储有同样的内存数据副本，如果有，则向其他服务器节点请求获取本节点最后一次备份之后产生的新数据，并存储到本节点内存中；如果未获取到其他节点数据，则结束内存数据恢复操作。

步骤G：故障节点恢复操作结束后，开始提供正常的数据访问。

上述步骤B中，故障节点备份内存数据采用异步备份方式，由一个独立的线程负责定时备份内存数据，避免了内存数据写入磁盘的操作影响应用对内存数据的读写访问速度，使得在提高内存数据可靠性的同时，不损失内存数据的访问效率。另外，当内存数据要备份到安装了操作系统的磁盘时，内存数据写入磁盘的速度也需要控制，防止操作系统所在磁盘的IO被备份操作独占，服务器操作系统会出现间歇性无响应，影响服务器节点进程的正常运行。

上述步骤E、F中，在只有部分服务器节点故障的情况下，除了根据备份数据恢复大部分内存数据之外，还能够通过向正常服务器节点获取最新的副本数据，使故障节点的内存数据恢复到100%完整的程度，使内存存储数据方式的可靠性可与磁盘存储数据方式的可靠性相媲美，而前者的性能远远超过了后者；而在所有服务器节点都故障的情况下，可根据备份数据恢复大部分内存数据，大大减少了内存数据丢失带来的损失。

下面将结合优选的实施例进行详细描述。以下优选实施例中，分布式缓存系统的结构如图1所示，对某一个特定数据的Key，逻辑上可以根据一定的优先级把服务器集群中某几台服务器节点看作一个协同服务器和多个副本服务器，不同的Key可能有不同的协同服务器和副本服务器。协同服务器的选取也需要参考当时的网络条件。

图3是根据本发明优选实施例的分布式缓存系统的数据恢复方法的流程图，如图3所示，包括如下步骤：

步骤S302，应用向服务器的内存写入数据。

步骤S304，服务器节点按一定速度定时将内存数据写入磁盘，并更新备份时刻T1。

步骤S306，服务器节点故障。

步骤S308，故障节点排除故障后，重新启动服务。

步骤S310，故障节点读取磁盘中的备份数据到内存。

步骤S312，故障节点向分布式缓存系统的其他服务器节点请求获取T1时刻后的内存数据。

步骤S314，如果其他服务器未发生故障，响应故障节点的请求，向故障节点发送最新数据。

步骤S316，故障节点获取数据并存储到本节点内存中，如果响应超时或系统无T1时刻之后的内存数据时，则恢复操作结束。

步骤S318，恢复操作结束后，故障节点开始提供正常服务。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例还提供了一种分布式缓存系统的数据恢复装置，应用于分布式缓存系统的服务器，该分布式缓存系统的数据恢复装置可以用于实现上述分布式缓存系统的数据恢复方法。图4是根据本发明实施例的分布式缓存系统的数据恢复装置的结构框图，如图4所示，包括备份模块41和第一获取模块42。下面对其结构进行详细描述。

备份模块41，用于将服务器内存中的数据备份到存储介质；第一获取模块42，连接至备份模块41，用于当服务器从故障恢复，重新启动时，从存储介质中获取备份模块41备份的数据。

如图5所示，上述装置还包括：第一存储模块43，连接至第一获取模块42，用于将第一获取模块42从存储介质中获取的数据存储到其内存中。

如图6所示，上述装置还包括：记录模块44，连接至备份模块41，用于记录备份模块41进行备份的备份时间。检测模块45，连接至第一获取模块42，用于检测分布式缓存系统中除该服务器之外未发生故障的其它服务器中存储有与该服务器中同样的数据；确定模块46，连接至记录模块44，用于根据记录模块44记录的备份时间确定最后一次进行备份的时间；第二获取模块47，连接至检测模块45和确定模块46，用于从检测模块45检测的其它服务器中获取该服务器最后一次进行备份之后产生的数据；第二存储模块48，连接至第二获取模块47，用于将第二获取模块47获取到的数据存储到该服务器的内存中。

在服务器从存储介质中获取备份的数据之前，上述装置还包括：判断模块，连接至备份模块41，用于判断分布式缓存系统中除该服务器之外未发生故障的其它服务器中是否存储有与服务器中同样的数据；第三获取模块，连接至判断模块，用于在判断模块的判断结果为是的情况下，从其它服务器中获取数据；此时，第一获取模块41，连接至判断模块，还用于在判断模块的判断结果为否的情况下，从存储介质中获取备份的数据。

优选地，备份模块41包括：第一备份单元，用于按照预先设定的备份时间间隔和备份速度将其内存中的数据备份到存储介质。

优选地，备份模块41包括：第二备份单元，用于采用异步备份的方式将其内存中的数据备份到存储介质。

优选地，上述存储介质是磁盘。

综上所述，根据本发明的上述实施例，提供了一种分布式缓存系统的数据恢复方法及装置。在云计算领域分布式缓存系统中，利用备份对故障节点进行内存数据恢复，大大减小了故障节点内存数据丢失的风险。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式缓存系统的数据恢复方法，其特征在于包括：

分布式缓存系统的服务器将其内存中的数据备份到存储介质；

当所述服务器从故障恢复，重新启动时，所述服务器从所述存储介质中获取备份的数据。

2.根据权利要求1所述的方法，其特征在于，在所述服务器从所述存储介质中获取备份的数据之后，所述方法还包括：

所述服务器将从所述存储介质中获取的所述数据存储到其内存中。

3.根据权利要求1所述的方法，其特征在于，在所述分布式缓存系统的所述服务器将其内存中的数据备份到所述存储介质之后，所述方法还包括：

所述服务器记录进行备份的备份时间。

4.根据权利要求3所述的方法，其特征在于，在所述服务器从所述存储介质中获取备份的数据之后，所述方法还包括：

所述服务器检测到所述分布式缓存系统中除所述服务器之外未发生故障的其它服务器中存储有与所述服务器中同样的数据；

所述服务器根据记录的备份时间确定最后一次进行备份的时间；

所述服务器从所述其它服务器中获取所述服务器最后一次进行备份之后产生的数据；

所述服务器将获取到的数据存储到其内存中。

5.根据权利要求1所述的方法，其特征在于，在所述服务器从所述存储介质中获取备份的数据之前，所述方法还包括：

所述服务器判断所述分布式缓存系统中除所述服务器之外未发生故障的其它服务器中是否存储有与所述服务器中同样的数据；

如果判断结果为是，所述服务器从所述其它服务器中获取全部数据；

如果判断结果为否，所述服务器从所述存储介质中获取备份的数据。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述分布式缓存系统的所述服务器将其内存中的数据备份到所述存储介质包括：

所述服务器按照预先设定的备份时间间隔和备份速度将其内存中的数据备份到存储介质。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述分布式缓存系统的所述服务器将其内存中的数据备份到所述存储介质包括：

所述服务器采用异步备份的方式将其内存中的数据备份到所述存储介质。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述存储介质是磁盘。

9.一种分布式缓存系统的数据恢复装置，应用于分布式缓存系统的服务器，其特征在于包括：

备份模块，用于将服务器内存中的数据备份到存储介质；

获取模块，用于当所述服务器从故障恢复，重新启动时，从所述存储介质中获取备份的数据。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

存储模块，用于将从所述存储介质中获取的所述数据存储到其内存中。

Images