CN111143112B - 用于恢复元数据的方法、设备和计算机可读存储介质 - Google Patents
用于恢复元数据的方法、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111143112B CN111143112B CN201811299996.5A CN201811299996A CN111143112B CN 111143112 B CN111143112 B CN 111143112B CN 201811299996 A CN201811299996 A CN 201811299996A CN 111143112 B CN111143112 B CN 111143112B
- Authority
- CN
- China
- Prior art keywords
- metadata
- log
- logs
- recovering
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例涉及一种用于恢复元数据的方法、设备和计算机程序产品。方法包括检测第一设备处与第一日志相对应的第一元数据是否发生损坏,并且在第一元数据发生损坏的情况下从第二设备获取与第二日志相对应的第二元数据,其中第二设备位于第一设备的远程。方法还包括基于第二元数据、第一日志以及第二日志来恢复所述第一元数据。本公开的实施例在本地元数据(其例如包括索引信息)发生损坏的情况下,使用远程的备份元数据来进行恢复,而不需要在本地保留元数据快照,由此能够节省存储空间。
Description
技术领域
本公开的实施例总体上涉及存储领域,并且更具体地涉及用于恢复元数据的方法、设备以及计算机程序产品。
背景技术
元数据是用来描述数据的数据,其可以用来描述数据属性的信息,以用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。日志是用来保存系统发生的事件信息和各种对象执行的操作记录。每当对象更新操作(如创建、重写、更新、删除等)发生时,存储系统首先将日志永久存储在物理块中,然后将这些日志放入存储器的元数据高速缓存中。只要日志持久存储,存储系统将认为这些事务已被提交。
如果存储器高速缓存已满或者一段时间过去,存储系统加载在上一轮被转储到物理块最新元数据,合并上一轮元数据和来自存储器高速缓存中的日志,然后将更新的元数据转储到物理块中。由于日志是被持久存储的,因而不会有事务丢失。因此,存储系统能够通过加载最新转储的元数据并且通过日志重放来获得最新的元数据。
发明内容
本公开的实施例提供了一种用于恢复元数据的方法、设备和计算机程序产品。
在本公开的一个方面,提供了一种用于恢复元数据的方法。该方法包括:检测第一设备处与第一日志相对应的第一元数据是否发生损坏;响应于检测到第一元数据发生损坏,从第二设备获取与第二日志相对应的第二元数据,其中第二设备位于第一设备的远程;以及基于第二元数据、第一日志以及第二日志,恢复第一元数据。
在本公开的另一方面,提供了一种用于恢复元数据的设备。该设备包括处理单元以及存储器,其中存储器被耦合至处理单元并且存储有指令。所述指令在由处理单元执行时执行以下动作:检测第一设备处与第一日志相对应的第一元数据是否发生损坏;响应于检测到第一元数据发生损坏,从第二设备获取与第二日志相对应的第二元数据,其中第二设备位于第一设备的远程;以及基于第二元数据、第一日志以及第二日志,恢复第一元数据。
在本公开的又一方面,提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令,所述计算机可执行指令在被执行时使得计算机执行根据本公开的实施例的方法或过程。
提供发明内容部分是为了简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。本发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的各个实施例的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中在本公开示例性实施例中,相同的附图标记通常代表相同的元素。
图1示出了本地设备处的日志和元数据的传统结构的示意图;
图2示出了远程设备处的日志和元数据的传统结构的示意图;
图3示出了根据本公开的实施例的用于恢复元数据的方法的流程图;
图4示出了根据本公开的实施例的用于处理元数据损坏的过程的流程图;
图5示出了根据本公开的实施例的本地设备处的日志和元数据的示例结构的示意图;
图6示出了根据本公开的实施例的远程设备处的日志和元数据的示例结构的示意图;
图7示出了根据本公开的实施例的本地设备和远程设备处的日志和元数据的组合结构的示意图;以及
图8示出了可以用来实施本公开的实施例的设备的示意性块图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的一些具体实施例,然而应该理解,可以以各种形式实现本公开,而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象,除非明确指示不同。
传统地,存储系统可以通过加载最新转储的元数据以及日志重放来获得最新的元数据。然而,如果最新的元数据发生损坏,则存储系统将无法获得元数据。因此,传统的改进方法是保留一段时间内的元数据快照以用于恢复。例如,图1-图2示出了这种改进方法的示意图,其中图1示出了本地设备处的日志和元数据的传统结构100的示意图,并且图2示出了远程设备处的日志和元数据的传统结构200的示意图。
如图1所示,元数据集合110包括周期性地转储的元数据111、112、113以及114,日志集合120包括按序生成的日志。为了在最新的元数据发生损坏的情况下进行恢复,可以保留一段时间的元数据。例如,在图1的实施例中,可以保留元数据112、113以及114以用于恢复。元数据112之前的元数据以及对应的日志则可以被删除。此外,由于存储系统还支持完整的远程备份,因而如图2所示,在远程设备处同样包括元数据集合210和日志集合220,元数据集合210中也包括一段时间的元数据(例如,元数据211至212)以用于恢复。元数据211之前的元数据以及对应的日志可以被删除。
然而,由于图1的本地设备处和图2的远程设备处都存储一些元数据以用于备份,导致了较高的元数据开销,会占用过多的存储空间。此外,存储系统使用复制来提供用户数据的附加保护,在存在多个远程备份的多站点环境下,保留的元数据所导致容量开销将逐倍增长。可见,传统的备份方法占用过多的存储空间(尤其是在多站点异地备份的场景下),造成大量的存储开销。此外,传统的存储系统通常保留仅十四天的元数据,这意味着十四天以内的元数据都不能删除,占用过多的存储空间。
为此,本公开的实施例提出了一种元数据的远程恢复方案。本公开的实施例在本地元数据(其例如包括索引信息)发生损坏的情况下,使用远程的备份元数据来进行恢复,而不需要在本地保留元数据快照,能够节省存储空间,从而减小元数据的容量开销。也就是说,本公开的实施例在异地备份的分布式环境中仅需在每个设备上保留最新元数据,而不需保留其他的元数据快照,由此节省存储空间,提高了资源利用率。
以下参考图3至图8来说明本公开的基本原理和若干示例实现方式。应当理解,给出这些示例性实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开的实施例,而并非以任何方式限制本公开的范围。
图3示出了根据本公开的实施例的用于恢复元数据的方法300的流程图。应当理解,虽然在下文以或B+树作为元数据的一种示例进行描述,然而其他类型的元数据也是可以的,本公开的实施例的范围不受元数据的数据结构类型的限制。
在302,检测本地设备处的本地元数据是否发生损坏。在存储系统存储的过程中,可以不断地产生日志,并且会将日志从本地设备复制到远程设备用于备份,而远程设备根据日志重放可以更新其元数据。日志是用来保存系统发生的事件信息和各种对象执行的操作记录。在一些实施例中,可以在本地设备中仅存储尚未被复制到远程设备的日志,而删除已经被复制到远程设备的日志。
如果在302没有检测到本地元数据损坏,则可以继续正常工作,而无需进行恢复。相反,如果在302检测到本地元数据发生损坏,则在304从远程设备获取远程元数据,其中元数据是用于描述存储系统中的用户数据的数据。根据本公开的实施例,不同于在本地设备和远程设备均保留元数据快照,本地设备和远程设备可以都仅存储最新的元数据,而当本地元数据发生损坏时,可以利用远程的元数据进行恢复。
在一些实施例中,元数据可以使用B+树索引结构来存储。B+树是一种平衡二叉树,其是为磁盘或其他直接存取辅助设备而设计的一种平衡查找树,在B+树中,所有记录节点都是按键值的大小顺序存放在同一层的叶节点中,各叶节点通过指针进行连接。通过使用B+树来存储元数据,可以提高数据的搜索和查找效率。存储系统使用日志和B+树来确保对象元数据的完整性。
在306,基于远程元数据,通过重放日志来恢复本地元数据。例如,可以重放远程元数据所对应的日志的时间与本地元数据所对应的日志的时间之间产生的所有日志的集合,来恢复本地元数据。在本公开的实施例中,重放(replay)日志是指系统通过重放上一个保存点以来的日志,来恢复到另一个点的状态。在一些实施例,元数据可以搜索分布式存储系统中的数据,分布式存储系统可以为高可扩展对象存储系统并且使用复制来提供额外保护。
因此,本公开的实施例的方法300在本地元数据发生损坏的情况下,使用远程的备份元数据来进行恢复,而不需要在本地保留元数据快照,能够减少存储的数据量。也就是说,针对例如最新B+树损坏的情况,本公开的实施例可以从远程备份来恢复元数据,而不是本地保留的快照,由此能够避免过多的存储容量开销。因此,本公开的实施例的方法能够实现元数据的远程恢复,这是因为即使没有本地保留的元数据快照,远程的最新日志和元数据以及本地日志也足够恢复本地设备中的元数据(例如B+树等)。
图4示出了根据本公开的实施例的用于处理元数据损坏的过程400的流程图。应当理解,过程400可以为以上参考图3所描述的方法300的示例具体实现。为了便于更清楚地描述本公开的一些示例实施例,在描述图4的过程400的同时结合了图5-图7一起进行描述。
在402,判断是否检测到元数据发生损坏。例如,图5示出了根据本公开的实施例的本地设备处的日志和元数据的示例结构500的示意图。参考图5,B_{x}表示周期性转储的元数据,x为0,1…m,n等,例如B+树,Jr_{x}表示顺序排序的日志,每个<B_{x},Jr_{x}>对组成一个元数据快照,通过加载B_{x}并且重放日志Jr_{x}之后的日志,存储系统可以将元数据恢复到日志Jr_{x}之后的任何点。如图5所示,存储系统的第一个日志是日志Jr_0,存储系统的最后一个日志是Jr_n。B_n可以为最新转储的B+树,其与日志是Jr_n相对应,其包括日志是Jr_n之前的所有元数据。
元数据集合510仅保留最新转储的本地元数据514,其对应于日志Jr_n,而先前生成的元数据511、512以及513等均已经被删除,这是因为根据本公开的实施例通过远程设备的元数据已经能够恢复本地元数据,因而无需在本地再占用存储空间而存储旧版的元数据。因此,本地元数据514是本地最新的元数据并且是本地唯一保留的元数据。日志集合520包括按序生成的日志,在图5的状态下,日志Jr_m之前的日志均已经被复制到远程设备,因此日志Jr_m之前的日志均无需在本地设备中再继续存储,其可以被删除。相反,只需在本地设备处存储日志Jr_m之后的日志,以用于恢复。也就是说,远程设备处存储的日志为<Jr_m,Jr_n>。因此,本公开的实施例不仅减少了元数据的存储开销,而且减少了日志的存储开销。
图6示出了根据本公开的实施例的远程设备处的日志和元数据的示例结构600的示意图。如图6所示,在远程设备处同样包括元数据集合610和日志集合620,从本地设备到远程设备最新复制的日志为日志Jr_m,而在远程设备生成的最新元数据为日志Jr_l所对应的远程元数据612(例如B+树)。在一些实施例中,日志的复制可以通过强一致性或最终一致性等策略来确定更新周期。日志Jr_m之后日志还没有从本地设备被复制到远程设备。根据本公开的实施例,由于在远程元数据发生损坏的情况下,可以利用更新的本地元数据进行覆盖,因而远程设备处只需存储最新的元数据612,而可以删除旧版元数据,例如元数据611等。因此,远程元数据612(即B_l)是远程最新的元数据并且是远程唯一保留的元数据。此外,由于日志Jr_l所对应的元数据已经被生成,因而远程设备处日志Jr_l之前的日志可以被删除。因此,远程设备处存储的日志为<Jr_l,Jr_m>。通过这种方式,在远程设备处也仅存储最新的元数据,由此节省存储空间。
图7示出了根据本公开的实施例的本地设备和远程设备处的日志和元数据的组合结构700的示意图。也就是说,可以将本地设备处的结构500和远程设备处的结构600进行逻辑组合,以生成逻辑的组合结构700,其中的元数据集合710包括远程元数据612和本地元数据514,日志集合720包括日志Jr_l至日志Jr_n之间的所有日志。如果本地元数据514或者远程元数据612发生损坏,可以基于本地设备和远程设备二者的元数据和日志进行恢复。元数据514(即B_n)可以通过加载元数据612(即B_l)和重放日志Jr_l之后的日志而可被恢复。
返回参考图4,如果在402检测到元数据发生损坏,则在404,进一步判断是本地元数据发生损坏还是远程元数据发生损坏。本公开的所述针对不同设备处的元数据损坏,可以采取不同的恢复方法。
如果在404判断是本地元数据发生损坏(例如,本地元数据514发生损坏),则在406,从远程设备拷贝远程元数据612,然后在408重放来自远程设备的日志集合,例如Jr_l至日志Jr_m之间的所有日志,即<Jr_l,Jr_m>,并且在410重放来自本地设备的日志集合,例如Jr_m至日志Jr_n之间的所有日志,即<Jr_m,Jr_n>,进而可以恢复本地元数据514。
如果在404判断是远程元数据612发生损坏,则在412将本地元数据514拷贝到远程设备,并且在414从最新元数据所对应的日志(例如在图5-7的实施例中是日志Jr_n,而不是日志Jr_m)处继续向远程设备复制日志。此外,如果本地设备和远程设备中的元数据同时发生损坏,则可能没有办法恢复元数据,与传统的方法类似。
在一些实施例中,在图5-7的示例中,如果已经传送到远程设备侧的最新日志Jr_m已经用来构建元数据B_m,则可以基于元数据B_m以及<Jr_m,Jr_n>的日志来直接还原本地元数据B_n。此外,在某一些实施例中,对于存在N个设备的远程备份环境中,本公开的实施例的方法能够减少可高达93%×N的系统元数据开销,极大地节省了存储空间。
图8示出了可以用来实施本公开的实施例的设备800的示意性块图,设备800可以为本公开的实施例所描述的设备或装置。如图8所示,设备800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个方法或过程可由处理单元801执行。例如,在一些实施例中,方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到RAM 803并由CPU 801执行时,可以执行上文描述的方法或过程中的一个或多个步骤或动作。
在一些实施例中,以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言,以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或块图中的一个或多个方块中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或块图中的一个或多个方块中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或块图中的一个或多个方块中规定的功能/动作。
附图中的流程图和块图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或块图中的每个方块可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方块中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方块实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,块图和/或流程图中的每个方块、以及块图和/或流程图中的方块的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (15)
1.一种用于恢复元数据的方法,包括:
检测第一设备处与第一日志相对应的第一元数据是否发生损坏,所述第一元数据包括周期性地转储的元数据;
响应于检测到所述第一元数据发生损坏,从第二设备获取与第二日志相对应的第二元数据,其中所述第二日志是最新日志,其中所述第二元数据包括最新转储的元数据,其中之前的元数据被删除,并且其中所述第二设备位于所述第一设备的远程,所述之前的元数据表示所述最新日志之前的所述周期性地转储的元数据中的至少一部分;以及
基于所述第二元数据、所述第一日志以及所述第二日志,恢复所述第一元数据。
2.根据权利要求1所述的方法,其中恢复所述第一元数据包括:
确定所述第一日志的第一时间以及所述第二日志的第二时间;
获得在所述第二时间与所述第一时间之间产生的日志集合;以及
基于所述第二元数据和所述日志集合,恢复所述第一元数据。
3.根据权利要求1所述的方法,还包括:
从所述第一设备向所述第二设备复制日志以用于更新所述第二元数据;
在第一设备中存储尚未被复制到所述第二设备的日志;以及
在第一设备中删除已经被复制到所述第二设备的日志。
4.根据权利要求3所述的方法,其中恢复所述第一元数据包括:
获得来自所述第一设备的第三日志与所述第一日志之间的第一日志集合,所述第三日志是从所述第一设备已被复制到所述第二设备的最新日志;
获得来自所述第二设备的所述第二日志与所述第三日志之间的第二日志集合;以及
基于所述第二元数据,通过重放所述第二日志集合和所述第一日志集合来恢复所述第一元数据。
5.根据权利要求1所述的方法,还包括:
响应于所述第二元数据发生损坏:
从所述第一设备向所述第二设备发送所述第一元数据;以及
从所述第一日志开始继续从所述第一设备向所述第二设备复制日志。
6.根据权利要求1所述的方法,还包括:
使用B+树索引结构来存储所述第一元数据和所述第二元数据。
7.根据权利要求6所述的方法,其中所述第一元数据是描述分布式存储系统中的用户数据的数据,所述方法还包括:
使用所述第一元数据来搜索所述分布式存储系统中的数据。
8.一种用于恢复元数据的设备,包括:
处理单元;以及
存储器,其耦合至所述处理单元并且存储有指令,所述指令在由所述处理单元执行时执行以下动作:
检测第一设备处与第一日志相对应的第一元数据是否发生损坏,所述第一元数据包括周期性地转储的元数据;
响应于检测到所述第一元数据发生损坏,从第二设备获取与第二日志相对应的第二元数据,其中所述第二日志是最新日志,其中所述第二元数据包括最新转储的元数据,其中之前的元数据被删除,并且其中所述第二设备位于所述第一设备的远程,所述之前的元数据表示所述最新日志之前的所述周期性地转储的元数据中的至少一部分;以及
基于所述第二元数据、所述第一日志以及所述第二日志,恢复所述第一元数据。
9.根据权利要求8所述的设备,其中恢复所述第一元数据包括:
确定所述第一日志的第一时间以及所述第二日志的第二时间;
获得在所述第二时间与所述第一时间之间产生的日志集合;以及
基于所述第二元数据和所述日志集合,恢复所述第一元数据。
10.根据权利要求8所述的设备,所述动作还包括:
从所述第一设备向所述第二设备复制日志以用于更新所述第二元数据;
在第一设备中存储尚未被复制到所述第二设备的日志;以及
在第一设备中删除已经被复制到所述第二设备的日志。
11.根据权利要求10所述的设备,其中恢复所述第一元数据包括:
获得来自所述第一设备的第三日志与所述第一日志之间的第一日志集合,所述第三日志是从所述第一设备已被复制到所述第二设备的最新日志;
获得来自所述第二设备的所述第二日志与所述第三日志之间的第二日志集合;以及
基于所述第二元数据,通过重放所述第二日志集合和所述第一日志集合来恢复所述第一元数据。
12.根据权利要求8所述的设备,所述动作还包括:
响应于所述第二元数据发生损坏:
从所述第一设备向所述第二设备发送所述第一元数据;以及
从所述第一日志开始继续从所述第一设备向所述第二设备复制日志。
13.根据权利要求8所述的设备,所述动作还包括:
使用B+树索引结构来存储所述第一元数据和所述第二元数据。
14.根据权利要求13所述的设备,其中所述第一元数据是描述分布式存储系统中的用户数据的数据,所述动作还包括:
使用所述第一元数据来搜索所述分布式存储系统中的数据。
15.一种计算机可读存储介质,其上存储计算机可读指令,所述计算机可读指令在被执行时使计算机执行根据权利要求1至7中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811299996.5A CN111143112B (zh) | 2018-11-02 | 2018-11-02 | 用于恢复元数据的方法、设备和计算机可读存储介质 |
US16/439,597 US11093348B2 (en) | 2018-11-02 | 2019-06-12 | Method, device and computer program product for recovering metadata |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811299996.5A CN111143112B (zh) | 2018-11-02 | 2018-11-02 | 用于恢复元数据的方法、设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111143112A CN111143112A (zh) | 2020-05-12 |
CN111143112B true CN111143112B (zh) | 2023-08-25 |
Family
ID=70459866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811299996.5A Active CN111143112B (zh) | 2018-11-02 | 2018-11-02 | 用于恢复元数据的方法、设备和计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11093348B2 (zh) |
CN (1) | CN111143112B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342751B (zh) * | 2021-07-30 | 2021-11-09 | 联想凌拓科技有限公司 | 元数据处理方法、装置、设备和可读存储介质 |
US11940882B2 (en) | 2022-07-25 | 2024-03-26 | Hewlett Packard Enterprise Development Lp | Migration of journal groups in a storage system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1784677A (zh) * | 2004-03-31 | 2006-06-07 | 微软公司 | 用于数据库备份的一致性检验的系统和方法 |
JP2012234446A (ja) * | 2011-05-06 | 2012-11-29 | Fujitsu Ltd | 情報処理装置、情報処理システムおよび検索方法 |
US8898409B1 (en) * | 2012-06-27 | 2014-11-25 | Emc International Company | Journal-based replication without journal loss |
CN107924353A (zh) * | 2015-10-14 | 2018-04-17 | 株式会社日立制作所 | 存储系统和存储系统的控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9176803B2 (en) * | 2006-08-14 | 2015-11-03 | International Business Machines Corporation | Collecting data from a system in response to an event based on an identification in a file of the data to collect |
US8275815B2 (en) * | 2008-08-25 | 2012-09-25 | International Business Machines Corporation | Transactional processing for clustered file systems |
JP6003350B2 (ja) * | 2012-07-30 | 2016-10-05 | 富士通株式会社 | 監視装置、情報処理装置、及び監視方法 |
GB2526031B (en) * | 2013-05-08 | 2020-07-29 | Hitachi Ltd | Storage system and data management method |
US20160117226A1 (en) * | 2014-10-22 | 2016-04-28 | Netapp, Inc. | Data recovery technique for recovering data from an object store |
US10936446B2 (en) * | 2018-02-05 | 2021-03-02 | Vmware, Inc. | Efficient handling of block write atomicity |
-
2018
- 2018-11-02 CN CN201811299996.5A patent/CN111143112B/zh active Active
-
2019
- 2019-06-12 US US16/439,597 patent/US11093348B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1784677A (zh) * | 2004-03-31 | 2006-06-07 | 微软公司 | 用于数据库备份的一致性检验的系统和方法 |
JP2012234446A (ja) * | 2011-05-06 | 2012-11-29 | Fujitsu Ltd | 情報処理装置、情報処理システムおよび検索方法 |
US8898409B1 (en) * | 2012-06-27 | 2014-11-25 | Emc International Company | Journal-based replication without journal loss |
CN107924353A (zh) * | 2015-10-14 | 2018-04-17 | 株式会社日立制作所 | 存储系统和存储系统的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111143112A (zh) | 2020-05-12 |
US20200142784A1 (en) | 2020-05-07 |
US11093348B2 (en) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12112076B2 (en) | Replication of versions of an object from a source storage to a target storage | |
US9697092B2 (en) | File-based cluster-to-cluster replication recovery | |
US9558078B2 (en) | Point in time database restore from storage snapshots | |
US10769035B2 (en) | Key-value index recovery by log feed caching | |
US9690666B1 (en) | Incremental backup operations in a transactional file system | |
US10671487B2 (en) | Fast and optimized restore using delta information | |
US10261863B2 (en) | Runtime file system consistency checking during backup operations | |
US10795579B2 (en) | Methods, apparatuses, system and computer program products for reclaiming storage units | |
CN111143231B (zh) | 用于数据处理的方法、设备和计算机程序产品 | |
CN111143113A (zh) | 复制元数据的方法、电子设备和计算机程序产品 | |
CN111143112B (zh) | 用于恢复元数据的方法、设备和计算机可读存储介质 | |
CN112800019A (zh) | 基于Hadoop分布式文件系统的数据备份方法及系统 | |
US10915403B2 (en) | Versioned records management using restart era | |
CN102597995B (zh) | 同步数据库和非数据库资源 | |
CN111488117B (zh) | 用于管理元数据的方法、电子设备和计算机可读介质 | |
CN111858145B (zh) | 数据备份与恢复的方法、设备和计算机程序产品 | |
CN108089942B (zh) | 一种数据备份、恢复方法及装置 | |
CN113986115B (zh) | 用于复制数据的方法、电子设备和计算机程序产品 | |
US11645333B1 (en) | Garbage collection integrated with physical file verification | |
CN115220956A (zh) | 恢复数据的方法、电子设备和计算机程序产品 | |
CN111858144A (zh) | 存储管理的方法、设备和计算机程序产品 | |
US11561863B2 (en) | PDSE member generation clustering and recovery | |
CN110362429B (zh) | 数据库的连续数据保护方法、系统、设备和介质 | |
WO2024132126A1 (en) | Memory controller and method for backup system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |