CN113821377B - 一种分布式存储集群的数据恢复方法、系统及存储介质 - Google Patents

一种分布式存储集群的数据恢复方法、系统及存储介质 Download PDF

Info

Publication number
CN113821377B
CN113821377B CN202110998150.6A CN202110998150A CN113821377B CN 113821377 B CN113821377 B CN 113821377B CN 202110998150 A CN202110998150 A CN 202110998150A CN 113821377 B CN113821377 B CN 113821377B
Authority
CN
China
Prior art keywords
storage device
object storage
target object
target
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110998150.6A
Other languages
English (en)
Other versions
CN113821377A (zh
Inventor
李彦博
王曙光
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202110998150.6A priority Critical patent/CN113821377B/zh
Publication of CN113821377A publication Critical patent/CN113821377A/zh
Application granted granted Critical
Publication of CN113821377B publication Critical patent/CN113821377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种分布式存储集群的数据恢复方法、系统及存储介质，方法包括：响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复。通过本发明的方案，减少了换盘恢复数据所需要的时间，提高了数据恢复期间数据的安全性。

Description

一种分布式存储集群的数据恢复方法、系统及存储介质
技术领域
本发明涉及存储技术领域，尤其涉及一种分布式存储集群的数据恢复方法、系统及存储介质。
背景技术
对于分布式存储集群，使用了新一代的存储引擎bluestore后，为了提升集群性能，尤其是小IO的读写性能，除了把数据库部署在SSD上，还会在SSD上划分cache分区，作为OSD的数据缓存分区，这样使得数据读写的时候先经过cache分区，利用SSD的读写性能来提升集群的整体性能，如图1所示，为OSD(Object-based Storage Device，对象存储设备)从SSD或HDD读写对象时候的流程示意图，图1中缓存设备即SSD的cache分区，主存储设备即HDD盘分区。
由于cache分区空间有限，并且HDD盘只有在小IO读写的时候性能很差，所以cache分区主要承载小IO的读写，这样就极大的提升了小IO读写的性能。
为了提升小IO的读性能，cache分区会缓存一部分热数据，同时小IO写入的时候，cache分区先保存写入的数据，然后根据条件把数据下刷到HDD中，未下刷的数据我们称之为脏数据，这样一个OSD上数据就会存在到两个数据分区，SSD的cache分区和HDD的数据分区，那么OSD要正常运行，就必须保证cache分区和HDD的数据分区都正常。
如果SSD坏掉，我们需要更换SSD，虽然受影响的只有cache分区的少量数据，但是必须将OSD重做，才能将系统恢复，这样就带来了大量的数据重构，在重构期间会对客户业务造成一定的影响，同时也会降低集群数据安全性。
发明内容
有鉴于此，本发明提出了一种分布式存储集群的数据恢复方法、系统及存储介质，解决了一旦SSD损坏，更换新的SSD后，OSD重做时间长，会对客户业务造成影响以及集群数据安全性降低的问题，极大的减少了换盘恢复数据所需要的时间，降低了对客户业务的影响，提高了数据的安全性。
基于上述目的，本发明实施例的一方面提供了一种分布式存储集群的数据恢复方法，具体包括如下步骤：
响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复包括：
若是所述主对象存储设备不存在所述对应的对象，则通过所述主对象存储设备给所述目标存储设备发送删除命令以删除所述对象。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在所述对应的对象，并且所述目标对象存储设备上不存在所述对象，则通过所述主对象存储设备将所述对应的对象发送给所述目标存储设备以将所述对应的对象写入所述目标存储设备。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象并且两个对象的版本号一致，则检查所述目标对象存储设备的脏数据是否为空，若是所述脏数据不为空，则通过所述主对象存储设备将所述脏数据发送给所述目标存储设备以将所述脏数据写入所述目标存储设备。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象但是所述对象的版本号不一致，并且所述目标对象存储设备的脏数据不为空，则判断是否满足部分重构条件；
若是满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和版本之间不一致的数据发送给所述目标存储设备以将数据写入所述目标存储设备。
在一些实施方式中，方法进一步包括：
若是不满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和所述对应的对象发送给所述目标存储设备以进行对象恢复。
在一些实施方式中，通过所述备份数据库重建目标对象存储设备包括：通过备份数据库重建目标对象存储设备的onode，并将所有onode设置为待恢复状态；并且方法进一步包括：
在所述返回信息与对应对象的属性信息对比接收后，通过所述主对象存储设备发送清除命令给所述目标对象存储设备以清除所述目标对象存储设备的onode的待恢复状态。
在一些实施方式中，对象存储设备包含多个对象；并且方法进一步包括：
响应于所述对象恢复完成返回通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息的步骤以继续恢复下一个对象，直到所有对象恢复完成。
本发明实施例的另一方面，还提供了一种分布式存储集群的数据恢复系统，系统包括：
重建模块，所述重建模块配置为响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
发送模块，所述发送模块配置为通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
返回模块，所述返回模块配置为所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
恢复模块，所述恢复模块配置为所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：待恢复的目标OSD启动后，通过备份数据库来恢复所有对象的属性信息，并重建onode，把所有的对象的onode都标记为待恢复状态，通过扫描恢复来恢复目标OSD缺失的数据，极大的减少了换盘恢复数据所需要的时间，降低了对客户业务的影响，提高了数据的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为现有技术中对象存储设备从数据分区读写对象的流程示意图；
图2为本发明提供的分布式存储集群的数据恢复方法的一实施例的框图；
图3为本发明提供的分布式存储集群的数据恢复系统的一实施例的示意图；
图4为本发明提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种分布式存储集群的数据恢复方法的实施例。如图2所示，其包括如下步骤：
S101、响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
S103、通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
S105、所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
S107、所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复。
通过在待恢复的目标OSD启动后，备份数据库来恢复所有对象的属性信息，并重建onode，把所有的对象的onode都标记为待恢复状态，通过扫描恢复来恢复目标OSD缺失的数据，极大的降低了换盘恢复数据所需要的时间，降低了对客户业务的影响，提高了数据的安全性。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复包括：
若是所述主对象存储设备不存在所述对应的对象，则通过所述主对象存储设备给所述目标存储设备发送删除命令以删除所述对象。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在所述对应的对象，并且所述目标对象存储设备上不存在所述对象，则通过所述主对象存储设备将所述对应的对象发送给所述目标存储设备以将所述对应的对象写入所述目标存储设备。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象并且两个对象的版本号一致，则检查所述目标对象存储设备的脏数据是否为空，若是所述脏数据不为空，则通过所述主对象存储设备将所述脏数据发送给所述目标存储设备以将所述脏数据写入所述目标存储设备。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象但是所述对象的版本号不一致，并且所述目标对象存储设备的脏数据不为空，则判断是否满足部分重构条件；
若是满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和版本之间不一致的数据发送给所述目标存储设备以将数据写入所述目标存储设备。
在一些实施方式中，方法进一步包括：
若是不满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和所述对应的对象发送给所述目标存储设备以进行对象恢复。
在一些实施方式中，通过备份数据库重建所述目标对象存储设备包括：
通过备份数据库重建目标对象存储设备的onode，并将所有onode设置为待恢复状态；并且方法进一步包括：
在所述返回信息与对应对象的属性信息对比接收后，通过所述主对象存储设备发送清除命令给所述目标对象存储设备以清除所述目标对象存储设备的onode的待恢复状态。
在一些实施方式中，对象存储设备包含多个对象；并且方法进一步包括：
响应于所述对象恢复完成返回通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息的步骤以继续恢复下一个对象，直到所有对象恢复完成。
下面通过具体的实施例对本发明的多个实施方式进行说明。
待恢复的目标OSD启动后，根据备份数据库，在load_pg阶段，重建onode，并将所有onode设置为待恢复的状态，并且初始化PG(Placement Group，归置组，是数据分布的一种逻辑单元)的相关信息，确保所有PG能够进入到backfill(扫描恢复)状态，为数据恢复做准备。
OSD包含多个PG，每个PG包含多个对象，每个对象中包括多个数据，OSD中的所有对象依次存放在多个PG中。
PG进入到backfill状态后，开始进行数据恢复，主OSD发送扫描消息pg_scan给待恢复的目标OSD，目标OSD收到消息后，读取待恢复的对象的属性信息attr和脏数据信息并返回给主OSD。
主OSD收到目标OSD的回应Reply后进行以下判断，并基于判断结果恢复待恢复的对象：
主OSD收到目标OSD的Reply后，如果发现主OSD不存在待恢复对象的对应对象，说明该对象已经被删除，发送删除命令给目标OSD删除对象；
主OSD收到目标OSD的Reply后，如果发现主OSD存在对应对象，但目标OSD上不存在待恢复对象，说明是新写对象，则通过主OSD将对应对象发送给目标OSD以进行整对象恢复；
主OSD收到目标OSD的Reply后，如果发现主OSD存在与待恢复对象对应的对应对象并且两个对象的版本号一致，同时目标OSD的脏数据为空，说明目标OSD不需要恢复，通过主OSD发送清除消息给目标OSD以清除目标OSD的onode的待恢复状态；
主OSD收到目标OSD的Reply后，如果发现主OSD存在与待恢复对象对应的对应对象并且两个对象的版本号一致，同时目标OSD的脏数据不为空，说明只需要恢复脏数据的对象，通过主OSD发送清除消息给目标OSD以清除目标OSD的onode的待恢复状态，以及将主OSD的脏数据对象发送给目标OSD以进行对象恢复；
主OSD收到目标OSD的Reply后，如果发现主OSD存在与待恢复对象对应的对应对象并且两个对象的版本号不一致，同时目标OSD的脏数据不为空，并且满足部分重构的条件，通过主OSD发送清除消息给目标OSD以清除目标OSD的onode的待恢复状态，以及将脏数据和版本差距记录的部分数据合并之后发送给目标OSD以进行对象恢复；
主OSD收到目标OSD的Reply后，如果发现主OSD存在与待恢复对象对应的对应对象并且两个对象的版本号不一致，同时目标OSD的脏数据不为空，并且不满足部分重构的条件，说明脏数据对象和整个对象都需要恢复，通过主OSD发送清除消息给目标OSD以清除目标OSD的onode的待恢复状态，以及将脏数据对象和整个对象发送给目标OSD以进行整对象恢复；
其中，部分重构的条件可以基于待恢复对象大小、待恢复对象被修改的大小以及待恢复对象被修改的次数等因素的组合确定。例如：可以设定为待恢复对象被修改的大小不超过待恢复对象大小的1/1024，待恢复对象被修改的次数不超过预设次数，比如，40。
当前对象恢复完成之后，重复进行上述步骤，直到所有对象恢复完毕。
本发明的实施例通过在待恢复的目标OSD启动后，备份数据库来恢复所有对象的属性信息，并重建onode，将所有的对象的onode都标记为待恢复状态，然后通过扫描恢复来逐个恢复目标OSD缺失的数据，极大的减少了换盘恢复数据所需要的时间，降低了对客户业务的影响，提高了数据的安全性。
基于同一发明构思，根据本发明的另一个方面，如图3所示，本发明的实施例还提供了一种分布式存储集群的数据恢复系统，系统包括：
重建模块110，所述重建模块110配置为响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
发送模块120，所述发送模块120配置为通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
返回模块130，所述返回模块130配置为所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
恢复模块140，所述恢复模块140配置为所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机可读存储介质30，计算机可读存储介质30存储有被处理器执行时执行如下方法的计算机程序310：
响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复包括：
若是所述主对象存储设备不存在所述对应的对象，则通过所述主对象存储设备给所述目标存储设备发送删除命令以删除所述对象。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在所述对应的对象，并且所述目标对象存储设备上不存在所述对象，则通过所述主对象存储设备将所述对应的对象发送给所述目标存储设备以将所述对应的对象写入所述目标存储设备。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象并且两个对象的版本号一致，则检查所述目标对象存储设备的脏数据是否为空，若是所述脏数据不为空，则通过所述主对象存储设备将所述脏数据发送给所述目标存储设备以将所述脏数据写入所述目标存储设备。
在一些实施方式中，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象但是所述对象的版本号不一致，并且所述目标对象存储设备的脏数据不为空，则判断是否满足部分重构条件；
若是满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和版本之间不一致的数据发送给所述目标存储设备以将数据写入所述目标存储设备。
在一些实施方式中，方法进一步包括：
若是不满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和所述对应的对象发送给所述目标存储设备以进行对象恢复。
在一些实施方式中，通过备份数据库重建所述目标对象存储设备包括：通过备份数据库重建目标对象存储设备的onode，并将所有onode设置为待恢复状态；并且方法进一步包括：
在所述返回信息与对应对象的属性信息对比接收后，通过所述主对象存储设备发送清除命令给所述目标对象存储设备以清除所述目标对象存储设备的onode的待恢复状态。
在一些实施方式中，对象存储设备包含多个对象；并且方法进一步包括：
响应于所述对象恢复完成返回通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息的步骤以继续恢复下一个对象，直到所有对象恢复完成。
本发明实施例还可以包括相应的计算机设备。计算机设备包括存储器、至少一个处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述任意一种方法。
其中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述网络资源协同方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行装置的各种功能应用以及数据处理，即实现上述方法实施例的网络资源协同方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (6)

1.一种分布式存储集群的数据恢复方法，其特征在于，包括：
响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复；
所述通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在与所述对象对应的所述对应对象，并且两个对象的版本号一致，则检查所述目标对象存储设备的脏数据是否为空，若是所述脏数据不为空，则通过所述主对象存储设备将所述脏数据发送给所述目标对象存储设备以将所述脏数据写入所述目标对象存储设备；
若是所述主对象存储设备存在与所述对象对应的所述对应对象但是所述对象的版本号不一致，并且所述目标对象存储设备的脏数据不为空，则判断是否满足部分重构条件；
若是满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和版本之间不一致的数据发送给所述目标对象存储设备以将数据写入所述目标对象存储设备；
进一步包括：
若是不满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和所述对应的对象发送给所述目标对象存储设备以进行对象恢复；
所述通过备份数据库重建所述目标对象存储设备包括：通过备份数据库重建目标对象存储设备的onode，并将所有onode设置为待恢复状态；并且所述方法进一步包括：
在所述返回信息与对应对象的属性信息对比接收后，通过所述主对象存储设备发送清除命令给所述目标对象存储设备以清除所述目标对象存储设备的onode的待恢复状态。
2.根据权利要求1所述的方法，其特征在于，通过对比结果对所述目标对象存储设备的对象进行恢复包括：
若是所述主对象存储设备不存在所述对应的对象，则通过所述主对象存储设备给所述目标对象存储设备发送删除命令以删除所述对象。
3.根据权利要求1所述的方法，其特征在于，通过对比结果对所述目标对象存储设备的对象进行恢复还包括：
若是所述主对象存储设备存在所述对应的对象，并且所述目标对象存储设备上不存在所述对象，则通过所述主对象存储设备将所述对应的对象发送给所述目标对象存储设备以将所述对应的对象写入所述目标对象存储设备。
4.根据权利要求1所述的方法，其特征在于，对象存储设备包含多个对象；并且所述方法进一步包括：
响应于所述对象恢复完成，返回通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息的步骤以继续恢复下一个对象，直到所有对象恢复完成。
5.一种分布式存储集群的数据恢复系统，其特征在于，包括：
重建模块，所述重建模块配置为响应于待恢复的目标对象存储设备启动，通过备份数据库重建所述目标对象存储设备；
发送模块，所述发送模块配置为通过主对象存储设备向重建后的所述目标对象存储设备发送扫描消息；
返回模块，所述返回模块配置为所述目标对象存储设备接收到所述扫描消息后，读取所述目标对象存储设备的对象的属性信息和脏数据信息，并将读取的信息返回给所述主对象存储设备；
恢复模块，所述恢复模块配置为所述主对象存储设备接收到返回信息后，将所述返回信息与对应对象的属性信息进行对比，并通过对比结果对所述目标对象存储设备的对象进行恢复；
所述恢复模块配置为：
若是所述主对象存储设备存在与所述对象对应的所述对应对象，并且两个对象的版本号一致，则检查所述目标对象存储设备的脏数据是否为空，若是所述脏数据不为空，则通过所述主对象存储设备将所述脏数据发送给所述目标对象存储设备以将所述脏数据写入所述目标对象存储设备；
若是所述主对象存储设备存在与所述对象对应的所述对应对象但是所述对象的版本号不一致，并且所述目标对象存储设备的脏数据不为空，则判断是否满足部分重构条件；
若是满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和版本之间不一致的数据发送给所述目标对象存储设备以将数据写入所述目标对象存储设备；
进一步包括配置为以下功能的模块：
若是不满足所述部分重构条件，则通过所述主对象存储设备将所述脏数据和所述对应的对象发送给所述目标对象存储设备以进行对象恢复；
所述重建模块配置为：通过备份数据库重建目标对象存储设备的onode，并将所有onode设置为待恢复状态；并且所述系统进一步包括配置为以下功能的模块：
在所述返回信息与对应对象的属性信息对比接收后，通过所述主对象存储设备发送清除命令给所述目标对象存储设备以清除所述目标对象存储设备的onode的待恢复状态。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-4任意一项所述的方法的步骤。
CN202110998150.6A 2021-08-27 2021-08-27 一种分布式存储集群的数据恢复方法、系统及存储介质 Active CN113821377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110998150.6A CN113821377B (zh) 2021-08-27 2021-08-27 一种分布式存储集群的数据恢复方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110998150.6A CN113821377B (zh) 2021-08-27 2021-08-27 一种分布式存储集群的数据恢复方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113821377A CN113821377A (zh) 2021-12-21
CN113821377B true CN113821377B (zh) 2023-12-22

Family

ID=78913733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110998150.6A Active CN113821377B (zh) 2021-08-27 2021-08-27 一种分布式存储集群的数据恢复方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113821377B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722029B (zh) * 2022-04-18 2024-01-09 苏州浪潮智能科技有限公司 一种修复monitor数据库的方法、系统、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598168A (zh) * 2015-01-23 2015-05-06 华为技术有限公司 一种数据恢复方法及对象存储设备
WO2016101283A1 (zh) * 2014-12-27 2016-06-30 华为技术有限公司 一种数据处理方法装置及系统
CN107197050A (zh) * 2017-07-27 2017-09-22 郑州云海信息技术有限公司 一种分布式存储系统中文件写入的方法及系统
CN109284220A (zh) * 2018-10-12 2019-01-29 深信服科技股份有限公司 集群故障恢复时长估算方法、装置、设备及存储介质
CN110737543A (zh) * 2019-09-10 2020-01-31 苏州浪潮智能科技有限公司 一种分布式文件系统数据恢复的方法、装置及存储介质
CN110764953A (zh) * 2019-09-30 2020-02-07 浪潮电子信息产业股份有限公司 一种数据恢复方法、装置、设备及可读存储介质
CN111209253A (zh) * 2019-12-30 2020-05-29 河南创新科信息技术有限公司 分布式存储设备性能提升方法、装置及分布式存储设备
CN111290880A (zh) * 2020-01-21 2020-06-16 苏州浪潮智能科技有限公司 一种osd数据恢复方法、装置、设备、介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058791B (zh) * 2018-01-18 2022-05-10 伊姆西Ip控股有限责任公司 存储系统以及相应的方法和计算机可读介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101283A1 (zh) * 2014-12-27 2016-06-30 华为技术有限公司 一种数据处理方法装置及系统
CN104598168A (zh) * 2015-01-23 2015-05-06 华为技术有限公司 一种数据恢复方法及对象存储设备
CN107197050A (zh) * 2017-07-27 2017-09-22 郑州云海信息技术有限公司 一种分布式存储系统中文件写入的方法及系统
CN109284220A (zh) * 2018-10-12 2019-01-29 深信服科技股份有限公司 集群故障恢复时长估算方法、装置、设备及存储介质
CN110737543A (zh) * 2019-09-10 2020-01-31 苏州浪潮智能科技有限公司 一种分布式文件系统数据恢复的方法、装置及存储介质
CN110764953A (zh) * 2019-09-30 2020-02-07 浪潮电子信息产业股份有限公司 一种数据恢复方法、装置、设备及可读存储介质
CN111209253A (zh) * 2019-12-30 2020-05-29 河南创新科信息技术有限公司 分布式存储设备性能提升方法、装置及分布式存储设备
CN111290880A (zh) * 2020-01-21 2020-06-16 苏州浪潮智能科技有限公司 一种osd数据恢复方法、装置、设备、介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ceph RadosGW对象存储集群的部署与优化;陈阳;王丹;;现代计算机(14);全文 *

Also Published As

Publication number Publication date
CN113821377A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
US20040163009A1 (en) Physical incremental backup using snapshots
US8448023B2 (en) Approach for data integrity in an embedded device environment
CN109144790A (zh) MySQL数据库的合成备份方法和装置
CN111046024B (zh) 一种共享存储数据库的数据处理方法、装置、设备及介质
CN110704337B (zh) 基于固态硬盘的映射表重建方法、装置和计算机设备
CN110196818B (zh) 缓存数据的方法、缓存设备和存储系统
CN106339276B (zh) 一种基于数据备份状态的数据恢复方法及系统
CN113326006B (zh) 一种基于纠删码的分布式块存储系统
CN105302667A (zh) 基于集群架构的高可靠性数据备份与恢复方法
CN113821377B (zh) 一种分布式存储集群的数据恢复方法、系统及存储介质
CN110333971A (zh) Ssd坏块表备份方法、装置、计算机设备及存储介质
CN110825546A (zh) 一种面向高可用数据库集群的恢复方法、系统及设备终端
CN104750755A (zh) 一种数据库主备切换后的数据回补方法及系统
JP7215971B2 (ja) 記憶機器のデータ位置の処理方法及び処理装置、コンピュータ機器並びにコンピュータ読み取り可能な記憶媒体
CN103744751B (zh) 存储设备配置信息连续优化备份系统及其使用方法
CN107329699B (zh) 一种纠删重写方法及系统
CN108762987A (zh) 用于双备份单片机闪存的数据恢复方法及装置
CN115309591B (zh) 一种全闪存储系统的恢复方法及相关装置
CN112214175A (zh) 数据处理方法、装置、数据节点及存储介质
CN108271420B (zh) 管理文件的方法、文件系统和服务器系统
CN113742127B (zh) 一种裸闪存文件系统的故障恢复方法
CN103412802B (zh) 容灾数据文件访问控制列表备份的方法及装置
CN116204356A (zh) 基于索引重定向的数据合成方法、装置、设备和存储介质
CN113901293B (zh) 元数据管理方法、电子设备，及计算机可读存储介质
CN114676000A (zh) 数据处理方法及其装置、存储介质、计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant