CN112925676A - 一种基于wal实现分布式数据库集群任意时间点恢复的方法 - Google Patents

一种基于wal实现分布式数据库集群任意时间点恢复的方法 Download PDF

Info

Publication number
CN112925676A
CN112925676A CN202110253613.6A CN202110253613A CN112925676A CN 112925676 A CN112925676 A CN 112925676A CN 202110253613 A CN202110253613 A CN 202110253613A CN 112925676 A CN112925676 A CN 112925676A
Authority
CN
China
Prior art keywords
wal
file
data
recovery
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110253613.6A
Other languages
English (en)
Other versions
CN112925676B (zh
Inventor
秦利鹏
张炜刚
贾德星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yunxi Technology Co ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110253613.6A priority Critical patent/CN112925676B/zh
Publication of CN112925676A publication Critical patent/CN112925676A/zh
Application granted granted Critical
Publication of CN112925676B publication Critical patent/CN112925676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于WAL实现分布式数据库集群任意时间点恢复的方法,涉及分布式数据库恢复技术领域；增加相关DDL语句，并重写分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，加载WAL文件到临时RocksDB实例，通过RocksDB实例获取WAL记录的所有应该落盘的key‑value数据，并对key‑value数据解析处理，并构建新DUMP文件和SST文件，交由LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。

Description

一种基于WAL实现分布式数据库集群任意时间点恢复的方法
技术领域
本发明公开一种方法,涉及分布式数据库恢复技术领域，具体地说是一种基于WAL实现分布式数据库集群任意时间点恢复的方法。
背景技术
数据库通常采用数据备份来进行数据库恢复和还原，保证数据安全可靠，数据备份是容灾的基础，现有的数据备份主要是采用内置或外置的存储设备进行冷备份。虽然这样的备份方式能较大程度上保证数据完整性，但由于其一般为定时备份，容易导致数据库系统故障发生在两次定时备份之间时的数据部分丢失。
发明内容
本发明针对现有技术的问题，提供一种基于WAL实现分布式数据库集群任意时间点恢复的方法，结合数据库全量备份和增量备份数据恢复，能够恢复故障发生前全部落盘数据或恢复至此前任意时间点状态，实现数据库系统高可用，提高系统容错、容灾能力。
本发明提出的具体方案是：
一种基于WAL实现分布式数据库集群任意时间点恢复的方法，增加相关DDL语句，并重写分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，加载WAL文件到临时RocksDB实例，通过RocksDB实例获取WAL记录的所有应该落盘的key-value数据，并对key-value数据解析处理，并构建新DUMP文件和SST文件，交由LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。
进一步，所述的一种基于WAL实现分布式数据库集群任意时间点恢复的方法中通过分布式数据库集群汇集WAL，利用WAL记录的所有应该落盘的数据，从指定的WAL汇集目录读取WAL文件，并按照指定时间点提取WAL中存放的时间点之前的落盘数据，加载WAL文件到临时RocksDB实例。
进一步，所述的一种基于WAL实现分布式数据库集群任意时间点恢复的方法中恢复数据库集群至此WAL所记录的之前任意时间点的流程：
S1：解析预处理已有的DUMP文件，获取descriptors信息，得到WAL汇集目录下所有WAL文件列表；
遍历WAL数据，将读取的数据记录写入临时RocksDB引擎；
根据数据内容时间戳与指定时间点进行比较，将处于恢复时间范围内的descriptor进行处理，记录descriptor修改和最新descriptor；
构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key-Value写入SST并更新descriptors记录的span信息；
处理descriptor，写入生成DUMP文件；
S2：将DUMP文件和SST文件路径加入备份文件路径列表，继续执行原有LOAD数据恢复流程。
一种基于WAL实现分布式数据库集群任意时间点恢复的系统，包括预处理模块、数据提取和准备模块以及恢复模块，
预处理模块利用增加的相关DDL语句和重写的分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，通过分布式数据库集群从指定的WAL汇集目录读取WAL文件并汇集WAL，加载WAL文件到临时RocksDB实例,
数据提取和准备模块根据重写的LOAD数据恢复流程，通过RocksDB实例获取WAL记录的所有应该落盘的key-value数据，并对key-value数据解析处理，并构建新DUMP文件和SST文件，交由恢复模块继续LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。
进一步，所述的一种基于WAL实现分布式数据库集群任意时间点恢复的系统中预处理模块通过分布式数据库集群汇集WAL，利用WAL记录的所有应该落盘的数据，从指定的WAL汇集目录读取WAL文件，并按照指定时间点提取WAL中存放的时间点之前的落盘数据，加载WAL文件到临时RocksDB实例。
进一步，所述的一种基于WAL实现分布式数据库集群任意时间点恢复的系统中恢复数据库集群至此WAL所记录的之前任意时间点的流程中，预处理模块解析预处理已有的DUMP文件，获取descriptors信息，得到WAL汇集目录下所有WAL文件列表；
遍历WAL数据，将读取的数据记录写入临时RocksDB引擎；
数据提取和准备模块根据预处理模块加载到临时RocksDB数据内容的时间戳与指定时间点进行比较，将处于恢复时间范围内的descriptor进行处理，记录descriptor修改和最新descriptor；
构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key-Value写入SST并更新descriptors记录的span信息；
处理descriptor，写入生成DUMP文件；
将DUMP文件和SST文件路径加入备份文件路径列表，继续交由恢复模块执行LOAD数据恢复流程。
一种基于WAL实现分布式数据库集群任意时间点恢复的装置，包括至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述一种基于WAL实现分布式数据库集群任意时间点恢复的方法。
计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述一种基于WAL实现分布式数据库集群任意时间点恢复的方法。
本发明的有益之处是：
本发明提供一种基于WAL实现分布式数据库集群任意时间点恢复的方法，利用WAL结合分布式数据库集群的数据恢复流程可以进行全量备份和增量备份数据恢复，能够恢复故障发生前全部落盘数据或恢复至此前任意时间点状态，实现数据库系统高可用，提高系统容错、容灾能力。
附图说明
图1是本发明方法流程示意图；
图2是数据库全量备份思路示意图；
图3是LOAD语法应用示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种基于WAL实现分布式数据库集群任意时间点恢复的方法，增加相关DDL语句，并重写分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，加载WAL文件到临时RocksDB实例，通过RocksDB实例获取key-value数据，并对key-value数据解析处理，并构建新DUMP文件和SST文件，交由LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。
本发明方法利用WAL数据和全量或增量备份DUMP文件，将WAL中的数据模拟增量备份装配生成DUMP文件和SST文件之后，按照LOAD还原流程进行数据库恢复。
具体应用中，通过增加集群WAL汇集及相关DDL语句，并重写WAL的DUMP流程和LOAD还原流程从而实现基于WAL恢复数据库内容。相关DDL语句可以包括：启用DUMP历史记录DUMP…WITHrevision_history,LOAD指定时间点恢复使用的WAL目录LOAD…ASOFSYSTEMTIME<sytem_time>WITHlast_log_collection<WAL_dir>等等。其中WITHrevision_history，启用历史版本记录，实现按照指定时间点恢复数据，通过配置，实现恢复数据库至任意时间点必须在DUMP备份数据时开启revision_history。WITHlast_log_collection，LOAD恢复时，用于存放汇集WAL的文件路径。使用WAL恢复数据时，为保证数据完整性需要预先将各节点WAL汇集(手动或自动方式)至某节点存放，last_log_collection为该节点的存放路径。ASOFSYSTEMTIME，LOAD恢复时指定的时间点，如不需要恢复至指定时间则不需要指定，若指定时间点，则不能早于数据库数据记录最早时间，不能晚于WAL记录最晚时间。
重写的WAL的DUMP流程和LOAD还原流程，在指定时间点恢复时，LOAD还原流程预处理完成后，首先进行WAL解析，组装成DUMP文件和SST文件，作为备份文件用于LOAD数据恢复。
其中S1：解析预处理已有的DUMP文件，获取descriptors信息，生成Descriptors数组，具体过程为：解析LOAD命令传入的备份路径，并判断路径是否准确。读取第一步各路径下的DUMP文件为byte数组，检查是否加密，如果检查到已经加密，使用对应的密钥来解密byte数组，否则进入下一步。解码byte数组为DumpDescriptor。循环执行上述过程直至传入的备份路径下所有的DUMP文件都解析完成添加到Descriptors数组。
然后得到WAL汇集目录下所有WAL文件列表，遍历WAL数据，根据读取的数据记录并将其写入临时RocksDB引擎，根据数据内容时间戳与指定时间进行比较，将处于恢复时间范围内的descriptor进行处理，记录descriptor修改和最新descriptor，构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key-Value写入SST并更新descriptors记录的span等信息，处理descriptor，写入生成DUMP文件，具体过程为：
处理last_log_collection指定的WAL存放路径，若该路径不在执行节点，需要将远端WAL文件拷贝的本地。
从Descriptors数组获取数据库系统的基本信息，写入新的DumpDescriptor。根据Descriptors数组，获取生成DumpDescriptor.DescriptorChanges部分数据，此部分数据主要记录了此前备份完成后的Descriptor版本数据。
新建一个临时RocksDB实例，调用改写自RocksDBLdb工具dump_wal流程的LoadWAL遍历指定的WAL存放路径，并将WAL数据加载到RocksDB实例。RocksDB从startkey到endkey遍历，首先根据DumpDescriptor的开始时间和传入的结束时间(ASOFSYSTEMTIME或默认的当前时间)判断当前遍历中的key-value是否需要处理，如KV时间戳处于开始时间和结束时间范围内，则检查其Descriptor信息，更新DumpDescriptor.DescriptorChanges，并判断是否是每个ID的最新版本Descriptor，如果是则追加DumpDescriptor.Descriptor。如果时间戳不在该时间范围内说明该KV不在恢复目标时间范围内，不必处理，跳过继续遍历。
遍历完成后，按照hlc时间戳重新排序DumpDescriptor.DescriptorChanges，规整DumpDescriptor.Descriptor，每个ID只保留最新版本的结果。
构建新的DUMP文件和SST文件。其中涉及对span的拆分和过滤，创建RocksDBSstFileWriter，将临时RocksDB实例中的数据内容写入SST，过程中要检查SST文件大小，超过阈值(64MB)后要进行SST拆分，同时要把相应的span信息，SST文件信息等写入DumpDescriptor。RocksDB实例中的数据内容写入SST完成，DumpDescriptor也更新完成，调用系统处理函数对DumpDescriptor进行编码加密处理，生成DUMP文件。至此，模拟增量备份流程结束。
S2：将DUMP文件和SST文件路径加入备份文件路径列表，继续执行原有LOAD数据恢复流程。
本发明方法通过组织读取WAL记录内容，获取到相关数据，从而用于数据库内容恢复通过WAL内容和全量备份、增量备份相结合的方式，实现恢复数据库；通过与现有导入流程相结合，从而达到恢复数据库到指定时间点的目的。
本发明还提供一种基于WAL实现分布式数据库集群任意时间点恢复的系统，包括预处理模块、数据提取和准备模块以及恢复模块，
预处理模块利用增加的相关DDL语句和重写的分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，通过分布式数据库集群从指定的WAL汇集目录读取WAL文件并汇集WAL，加载WAL文件到临时RocksDB实例,
数据提取和准备模块根据重写的LOAD数据恢复流程，通过RocksDB实例获取WAL记录的所有应该落盘的key-value数据，并对key-value数据解析处理，并构建新DUMP文件和SST文件，交由恢复模块继续LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。
上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同时提供一种基于WAL实现分布式数据库集群任意时间点恢复的装置，包括至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述一种基于WAL实现分布式数据库集群任意时间点恢复的方法。上述装置内的处理器的信息交互、执行可读程序过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
以及计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述一种基于WAL实现分布式数据库集群任意时间点恢复的方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述较佳实施例中各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于WAL实现分布式数据库集群任意时间点恢复的方法，其特征是增加相关DDL语句，并重写分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，加载WAL文件到临时RocksDB实例，通过RocksDB实例获取WAL记录的所有应该落盘的key-value数据，并对key-value数据解析处理，并构建新DUMP文件和SST文件，交由LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。
2.根据权利要求1所述的一种基于WAL实现分布式数据库集群任意时间点恢复的方法，其特征是通过分布式数据库集群汇集WAL，利用WAL记录的所有应该落盘的数据，从指定的WAL汇集目录读取WAL文件，并按照指定时间点提取WAL中存放的时间点之前的落盘数据，加载WAL文件到临时RocksDB实例。
3.根据权利要求2所述的一种基于WAL实现分布式数据库集群任意时间点恢复的方法，其特征是恢复数据库集群至此WAL所记录的之前任意时间点的流程：
S1：解析预处理已有的DUMP文件，获取descriptors信息，得到WAL汇集目录下所有WAL文件列表；
遍历WAL数据，将读取的数据记录写入临时RocksDB引擎；
根据数据内容时间戳与指定时间点进行比较，将处于恢复时间范围内的descriptor进行处理，记录descriptor修改和最新descriptor；
构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key-Value写入SST并更新descriptors记录的span信息；
处理descriptor，写入生成DUMP文件；
S2：将DUMP文件和SST文件路径加入备份文件路径列表，继续执行原有LOAD数据恢复流程。
4.一种基于WAL实现分布式数据库集群任意时间点恢复的系统，其特征是包括预处理模块、数据提取和准备模块以及恢复模块，
预处理模块利用增加的相关DDL语句和重写的分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，通过分布式数据库集群从指定的WAL汇集目录读取WAL文件并汇集WAL，加载WAL文件到临时RocksDB实例,
数据提取和准备模块根据重写的LOAD数据恢复流程，通过RocksDB实例获取WAL记录的所有应该落盘的key-value数据，并对key-value数据解析处理，并构建新DUMP文件和SST文件，交由恢复模块继续LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间点。
5.根据权利要求4所述的一种基于WAL实现分布式数据库集群任意时间点恢复的系统，其特征是预处理模块通过分布式数据库集群汇集WAL，利用WAL记录的所有应该落盘的数据，从指定的WAL汇集目录读取WAL文件，并按照指定时间点提取WAL中存放的时间点之前的落盘数据，加载WAL文件到临时RocksDB实例。
6.根据权利要求5所述的一种基于WAL实现分布式数据库集群任意时间点恢复的系统，其特征是恢复数据库集群至此WAL所记录的之前任意时间点的流程中，预处理模块解析预处理已有的DUMP文件，获取descriptors信息，得到WAL汇集目录下所有WAL文件列表；
遍历WAL数据，将读取的数据记录写入临时RocksDB引擎；
数据提取和准备模块根据预处理模块加载到临时RocksDB数据内容的时间戳与指定时间点进行比较，将处于恢复时间范围内的descriptor进行处理，记录descriptor修改和最新descriptor；
构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key-Value写入SST并更新descriptors记录的span信息；
处理descriptor，写入生成DUMP文件；
将DUMP文件和SST文件路径加入备份文件路径列表，继续交由恢复模块执行LOAD数据恢复流程。
7.一种基于WAL实现分布式数据库集群任意时间点恢复的装置，其特征是包括至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至3中任一项所述一种基于WAL实现分布式数据库集群任意时间点恢复的方法。
8.计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至3任一项所述一种基于WAL实现分布式数据库集群任意时间点恢复的方法。
CN202110253613.6A 2021-03-09 2021-03-09 一种基于wal实现分布式数据库集群任意时间点恢复的方法 Active CN112925676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110253613.6A CN112925676B (zh) 2021-03-09 2021-03-09 一种基于wal实现分布式数据库集群任意时间点恢复的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110253613.6A CN112925676B (zh) 2021-03-09 2021-03-09 一种基于wal实现分布式数据库集群任意时间点恢复的方法

Publications (2)

Publication Number Publication Date
CN112925676A true CN112925676A (zh) 2021-06-08
CN112925676B CN112925676B (zh) 2023-01-17

Family

ID=76171950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110253613.6A Active CN112925676B (zh) 2021-03-09 2021-03-09 一种基于wal实现分布式数据库集群任意时间点恢复的方法

Country Status (1)

Country Link
CN (1) CN112925676B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138200A (zh) * 2021-12-01 2022-03-04 浪潮云信息技术股份公司 一种基于RocksDB的预写日志方法及系统
CN114722125A (zh) * 2022-04-11 2022-07-08 京东科技信息技术有限公司 数据库事务处理的方法、装置、设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5278982A (en) * 1991-12-23 1994-01-11 International Business Machines Corporation Log archive filtering method for transaction-consistent forward recovery from catastrophic media failures
CN111221922A (zh) * 2019-12-31 2020-06-02 苏州浪潮智能科技有限公司 一种RocksDB数据库数据写入方法及RocksDB数据库

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5278982A (en) * 1991-12-23 1994-01-11 International Business Machines Corporation Log archive filtering method for transaction-consistent forward recovery from catastrophic media failures
CN111221922A (zh) * 2019-12-31 2020-06-02 苏州浪潮智能科技有限公司 一种RocksDB数据库数据写入方法及RocksDB数据库

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SIWLUXUEFENG: "Postgresql之通过wal日志恢复数据到任意时间点", 《CSDN》, 30 March 2018 (2018-03-30), pages 0001 *
知行合一: "RocksDB 之Write Ahead Log（WAL）", 《BLOG》, 3 September 2019 (2019-09-03), pages 0001 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138200A (zh) * 2021-12-01 2022-03-04 浪潮云信息技术股份公司 一种基于RocksDB的预写日志方法及系统
CN114138200B (zh) * 2021-12-01 2023-10-13 上海沄熹科技有限公司 一种基于RocksDB的预写日志方法及系统
CN114722125A (zh) * 2022-04-11 2022-07-08 京东科技信息技术有限公司 数据库事务处理的方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
CN112925676B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
CN108664359B (zh) 一种数据库恢复方法、装置、设备及存储介质
US9031997B2 (en) Log file compression
EP3474143B1 (en) Method and apparatus for incremental recovery of data
CN112925676B (zh) 一种基于wal实现分布式数据库集群任意时间点恢复的方法
US20090049016A1 (en) Apparatus and method for file difference management
CN113886143B (zh) 虚拟机持续数据保护方法、装置及数据恢复方法、装置
CN111400267B (zh) 记录日志的方法和装置
CN104217174A (zh) 分布式文件安全存储系统及其存储方法
CN110795287A (zh) 数据恢复方法、系统、电子设备及计算机存储介质
US10223205B2 (en) Disaster recovery data sync
CN104750755A (zh) 一种数据库主备切换后的数据回补方法及系统
CN112800019A (zh) 基于Hadoop分布式文件系统的数据备份方法及系统
US7580959B2 (en) Apparatus, system, and method for providing efficient disaster recovery storage of data using differencing
US20050262033A1 (en) Data recording apparatus, data recording method, program for implementing the method, and program recording medium
US20060129521A1 (en) System and method for restoring a file directory structure
CN110866068B (zh) 一种基于hdfs的公告数据存储方法及其装置
CN115495286A (zh) 配置文件定时备份的测试方法、系统、设备和存储介质
CN114625697A (zh) 文件系统恢复方法、装置、电子设备及存储介质
CN113886352A (zh) 分布式文件系统的元数据恢复方法、装置、设备及介质
CN113535482A (zh) 云备份链数据备份、管理方法及装置、设备、可读介质
KR101623508B1 (ko) 삭제된 이벤트 로그 파일을 복원하는 시스템 및 방법
CN114880277B (zh) 块设备快照方法、系统和存储介质
US11995042B1 (en) Fast recovery for replication corruptions
US20230385304A1 (en) Snapshots for distributed object-based datastores

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221228

Address after: Room 305-22, Building 2, No. 1158 Zhangdong Road and No. 1059 Dangui Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 200120

Applicant after: Shanghai Yunxi Technology Co.,Ltd.

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant before: Inspur cloud Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant