CN107357920B - 一种增量式的多副本数据同步方法及系统 - Google Patents

一种增量式的多副本数据同步方法及系统 Download PDF

Info

Publication number
CN107357920B
CN107357920B CN201710600588.8A CN201710600588A CN107357920B CN 107357920 B CN107357920 B CN 107357920B CN 201710600588 A CN201710600588 A CN 201710600588A CN 107357920 B CN107357920 B CN 107357920B
Authority
CN
China
Prior art keywords
operation record
copy
local
remote
modification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710600588.8A
Other languages
English (en)
Other versions
CN107357920A (zh
Inventor
李杰辉
牛立国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710600588.8A priority Critical patent/CN107357920B/zh
Publication of CN107357920A publication Critical patent/CN107357920A/zh
Application granted granted Critical
Publication of CN107357920B publication Critical patent/CN107357920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
    • G06F16/1756—De-duplication implemented within the file system, e.g. based on file segments based on delta files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种增量式的多副本数据同步方法及系统，该方法包括：获取本地副本的第一操作记录和远端副本的第二操作记录；判断第一操作记录和第二操作记录是否一致；若否，则根据第一操作记录和第二操作记录中不一致的内容执行同步操作，确保本地副本和远端副本保持一致，并记录同步的进度。本发明将元数据保存到元数据库，由于内容数据和元数据的修改均涉及到元数据库的修改，可根据副本元数据库的修改日志来达到增量式同步，另外根据数据的事务日志来推断大文件的修改历史，无需维护额外的日志文件，一致性方面只需保证元数据库和数据文件的一致性即可，大大化简了实现成本。

Description

一种增量式的多副本数据同步方法及系统
技术领域
本发明涉及数据同步存储技术领域，特别是涉及一种增量式的多副本数据同步方法及系统。
背景技术
互联网的高速发展产生了海量的图片、文档等文件的，这些文件的特点是尺寸较小(一搬在0～100KB)，数量巨大(数以亿计)，传统的POSIX接口文件系统已经难以满足需求，这就是业界著名的海量小文件问题。
对于海量小文件问题，业界的通用做法是合并存储，即将小文件合并存储到一个传统的POSIX文件。此外，为了保证系统的可用性和容错性，这些小文件通常又以多副本的方式保存，多副本引出了分布式存储系统的一个基本问题，就是副本一致性。目前已有的合并存储系统一般采用2种方式来解决数据一致性的问题：(1)写操作时采用强一致性的方法，只有所有副本写成功才算成功，这种方法降低了写操作的性能和系统的可用性；(2)写副本时成功不需要全部写入成功，只要写入成功数量(通常小于副本总份数)达到预设要求之后，就表示写入成功，剩下其它副本后台异步更新，这种方法提高了写性能和系统可用性，但是需要后台同步副本之间的状态，达到一个最终一致的状态。由于合并存储的应用场景里面，小文件修改的机会很低，因此很多存储系统都采用第2种一致性模型，即最终一致性。副本同步的关键技术是比较不同副本之间的异同，目前合并存储系统为了达到最终一致性，都采用了如下所列方法中的某一种来比较副本之间的异同。
第一种，基于大文件的内容，由于不同副本之间的写入顺序无法保证完全一样，所以只能通过扫描大文件的内容来比较。为了提高这种比较方式的效率，系统都会保存上次同步的位置，作为同步的切入点。由于大文件回收删除空间时需要改变小文件的偏移量，因此碰到这种情况只能从新开始扫描。
第二种，基于副本大文件修改日记，这种方式记录大文件的改动记录，例如修改、添加或删除等。这种方式的特点是只能记录整个小文件操作记录，例如整个文件是否被删除，是否为新增或是否为修改。在实际应用中，用户有时候只是修改某些元数据的值，副本同步只需要保证元数据一致就足够了，而在现有方法里，系统无法识别出来，只能比较整个小文件的操作记录。此外，这种方法要求额外维护的修改日记，系统需要保证元数据、数据、索引和修改日志的一致性，需要比较复杂的回滚机制。
发明内容
本发明的目的在于提出一种增量式的多副本数据同步方法及系统，以解决现有技术中对于小文件的操作记录需要额外维护修改日记，为了保证元数据、内容数据、索引信息和修改日志的一致性，需要比较复杂的回滚机制，增加了同步实现成本的问题。
为达到上述目的，本发明提供了以下技术方案：
一种增量式的多副本数据同步方法，包括：
获取本地副本的第一操作记录和远端副本的第二操作记录，所述第一操作记录用于记录本地副本的修改操作记录，所述第二操作记录记录远端副本的修改操作记录；
判断所述第一操作记录和所述第二操作记录是否一致；
若否，则根据所述第一操作记录和所述第二操作记录中不一致的内容执行同步操作，确保所述本地副本和所述远程副本之间保持一致，并记录同步的进度。
优选的，在所述获取本地副本的第一操作记录和远程副本的第二操作记录之前，还包括：
在包含POSIX大文件的本地逻辑存储单元中预设本地元数据库，以及在多个远程逻辑存储单元中分别预设远程元数据库；
将小文件的内容数据存储在所述POSIX大文件；
将所述小文件的元数据以及所述小文件的每次修改的操作记录存储在所述预设本地元数据库，且每次修改的所述操作记录按照递增的序列进行编号。
其中，所述执行同步操作中的同步以所述本地逻辑存储单元为单位，所述第一操作记录和所述第二操作记录为所述本地逻辑存储单元下所有小文件的操作记录。
优选的，在所述获取本地副本的第一操作记录和远程副本的第二操作记录之后，还包括：
根据所述本地副本的信息确定所述远程副本的位置；
向所述远程副本的所述预设元数据库发送通信请求，获取所述本地副本完成同步记录之后的修改历史记录。
其中，所述本地元数据库为键值数据库RocksDB。
其中，所述远端元数据库为键值数据库RocksDB。
一种增量式的多副本数据同步系统，包括：
获取单元，用于获取本地副本的第一操作记录和远程副本的第二操作记录，所述第一操作记录用于记录本地副本的修改操作记录，所述第二操作记录用于记录远端副本的修改操作记录；
判断单元，用于判断所述第一操作记录和所述第二操作记录是否一致；
同步单元，用于当判断所述第一操作记录和所述第二操作记录不一致时，则根据所述第一操作记录和所述第二操作记录中不一致的内容执行同步操作，确保所述本地副本和所述远程副本之间保持一致，并记录同步的进度。
优选的，在所述获取单元之前，还包括：
预设单元，用于在包含POSIX大文件的本地逻辑存储单元中预设本地元数据库，以及在多个远程逻辑存储单元中分别预设远程元数据库；
第一存储单元，用于将小文件的内容数据存储在所述POSIX大文件；
第二存储单元，用于将所述小文件的元数据以及所述小文件的每次修改的操作记录存储在所述预设本地元数据库，且每次修改的所述操作记录按照递增的序列进行编号；
其中，所述执行同步操作中的同步以所述本地逻辑存储单元为单位，所述第一操作记录和所述第二操作记录为所述本地逻辑存储单元下所有小文件的操作记录。
优选的，在所述获取单元之后，还包括：
确定单元，用于根据所述本地副本的信息确定所述远程副本的位置；
获取修改记录单元，用于向所述远程副本的所述预设元数据库发送通信请求，获取所述本地副本完成同步记录之后的修改历史记录。
经由上述的技术方案可知，与现有技术相比，本发明公开了一种增量式的多副本数据同步方法及系统，该方法包括：获取本地副本的第一操作记录和远端副本的第二操作记录，第一操作记录用于记录本地副本的修改操作记录，第二操作记录用于记录远端副本的修改操作记录；判断第一操作记录和第二操作记录是否一致；若否，则根据第一操作记录和第二操作记录中不一致的内容执行同步操作，确保本地副本和远端副本保持一致，并记录同步的进度。本发明将元数据保存到元数据库上，由于内容数据和元数据的修改都要涉及到元数据库的修改，因此根据副本元数据库的修改日志来达到增量式同步的目的，本发明可以根据数据的事务日志来推断出大文件的修改历史，不需要维护额外的日志文件，一致性方面只需要保证元数据库和数据文件的一致性即可，大大化简了实现成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种增量式的多副本数据同步方法的流程示意图；
图2为本发明实施例提供的图1中步骤S101之前还包括的方法流程示意图；
图3为本发明实施例提供的图1中步骤S101之后还包括的方法流程示意图；
图4为本发明实施例提供的一种增量式的多副本数据同步系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅附图1，图1为本发明实施例提供的一种增量式的多副本数据同步方法的流程示意图。如图1所示，本发明公开了一种增量式的多副本数据同步方法，该方法具体包括如下步骤：
S101、获取本地副本的第一操作记录和远端副本的第二操作记录，第一操作记录用于记录本地副本的修改操作记录，第二操作记录用于记录远端副本的修改操作记录；
S102、判断第一操作记录和第二操作记录是否一致，若是，则无需同步操作，若否，则进入步骤S103。
例如：如果副本中有两个小文件的校验码不一样，那么就说明这两个小文件的内容不一致，需要同步这两个文件的内容；如果两个小文件的校验码一样，但是元数据有不一样的地方，例如文件的类型发生变化，那么只需要同步这两个小文件的元数据即可。
S103、根据第一操作记录和第二操作记录中不一致的内容执行同步操作，确保本地副本和远程副本之间保持一致，并记录同步的进度。
每个副本包含了多个小文件，同步过的小文件其实不需要再比较，因此需要记录下同步的进度，下次开始同步时，就可以忽略掉已经同步过的小文件，即为增量式同步。
在本发明实施例中，对副本的改动可以分为两大类，一类是修改小文件的数据内容；一类是修改小文件的元数据。无论是哪一种，都需要修改元数据库，因此就会在元数据库里面留下一个修改记录，也就是操作日志。本方案会分析这个修改记录，了解哪些小文件被修改了。
本发明公开了一种增量式的多副本数据同步方法，该方法包括：获取本地副本的第一操作记录和远端副本的第二操作记录，第一操作记录用于记录本地副本的修改操作记录，第二操作记录用于记录远端副本的修改操作记录；判断第一操作记录和第二操作记录是否一致；若否，则根据第一操作记录和第二操作记录中不一致的内容执行同步操作，确保本地副本和远端副本保持一致，并记录同步的进度。本发明将元数据保存到元数据库上，由于内容数据和元数据的修改都要涉及到元数据库的修改，因此根据副本元数据库的修改日志来达到增量式同步的目的，本发明可以根据数据的事务日志来推断出大文件的修改历史，不需要维护额外的日志文件，一致性方面只需要保证元数据库和数据文件的一致性即可，大大化简了实现成本。
具体的，本实施例中，如图2所示，S101、在获取本地副本的第一操作记录和远程副本第二操作记录之前，还包括如下步骤：
S201、在包含POSIX大文件的本地逻辑存储单元中预设本地元数据库，以及在多个远程逻辑存储单元中分别预设远程元数据库。
具体的，本实施例中提及的本地预设数据库和远端预设数据库均为键值数据库RocksDB。
S202、将小文件的内容数据存储在POSIX大文件。
S203、将小文件的元数据以及小文件的每次修改的操作记录存储在预设本地元数据库，且每次修改的操作记录按照递增的序列进行编号。
其中，执行同步操作中的同步以本地逻辑存储单元为单位，第一操作记录和第二操作记录为本地逻辑存储单元下所有小文件的操作记录。
具体的，本实施例中，如图3所示，S101、在获取本地副本的第一操作记录和远程副本第二操作记录之后，还包括如下步骤：
S301、根据本地副本的信息确定远程副本的位置；
S302、向远程副本的预设元数据库发送通信请求，获取本地副本完成同步记录之后的修改历史记录。
例如：如果本地副本和远程副本中有两个小文件的校验码不一样，那么就说明这两个小文件的内容不一致，需要同步这两个文件的内容；如果两个小文件的校验码一样，但是元数据有不一样的地方，如文件的类型变了，那么只需要同步这两个小文件的元数据即可。
首先需要根据本地副本的信息确定远程副本的位置，本地预设元数据库向远程副本的预设元数据库发送通信请求，进而获取本地副本完成同步记录之后的修改历史记录。
本发明公开了一种增量式的多副本数据同步方法，本发明将元数据保存到元数据库上，由于内容数据和元数据的修改都要涉及到元数据库的修改，因此根据副本元数据库的修改日志来达到增量式同步的目的，本发明可以根据数据的事务日志来推断出大文件的修改历史，不需要维护额外的日志文件，一致性方面只需要保证元数据库和数据文件的一致性即可，大大化简了实现成本。
请参阅附图4，图4为本发明实施例提供的一种增量式的多副本数据同步系统的结构示意图。如图4所示，本发明公开了一种增量式的多副本数据同步系统，该系统具体包括如下结构：
获取单元401，用于获取本地副本的第一操作记录和远端副本的第二操作记录，所述第一操作记录用于记录本地副本的修改操作记录，所述第二操作记录用于记录远端副本的修改操作记录；
判断单元402，用于判断第一操作记录和第二操作记录是否一致；
同步单元403，用于当判断第一操作记录和第二操作记录不一致时，则根据第一操作记录和第二操作记录中不一致的内容执行同步相关操作，确保本地副本和远程副本之间保持一致，并记录同步的进度。
本发明公开了一种增量式的多副本数据同步系统，本发明将元数据保存到元数据库上，由于内容数据和元数据的修改都要涉及到元数据库的修改，因此根据副本元数据库的修改日志来达到增量式同步的目的，本发明可以根据数据的事务日志来推断出大文件的修改历史，不需要维护额外的日志文件，一致性方面只需要保证元数据库和数据文件的一致性即可，大大化简了实现成本。
具体的，该增量式的多副本数据同步系统还包括如下结构：
预设单元，用于在包含POSIX大文件的本地逻辑存储单元和多个远程逻辑存储单元中分别预设元数据库，分别为本地元数据库和远程元数据库；
第一存储单元，用于将小文件的内容数据存储在所述POSIX大文件；
第二存储单元，用于将所述小文件的元数据以及所述小文件的修改操作记录存储在所述预设元数据库，且所述预设元数据库保存了所述小文件的每次修改的操作记录，并按照严格递增的序列进行编号。
其中，执行同步操作中的同步以本地逻辑存储单元为单位，第一操作记录和第二操作记录为本地逻辑存储单元下所有小文件的操作记录。
具体的，该增量式的多副本数据同步系统还包括如下结构：
确定单元，用于根据本地副本的信息确定远程副本的位置；
获取修改记录单元，用于向远程副本预设元数据库发送通信请求，获取文件副本从上次已经完成同步的记录之后的修改历史记录。
本发明公开了一种增量式的多副本数据同步系统，该系统中，获取单元获取本地副本的第一操作记录和远端副本的第二操作记录，第一操作记录用于记录本地副本的修改操作记录，第二操作记录用于记录远端副本的修改操作记录；判断单元判断第一操作记录和第二操作记录是否一致；若否，则同步单元根据第一操作记录和第二操作记录中不一致的内容执行同步操作，确保本地副本和远端副本保持一致，并记录同步的进度。本发明将元数据保存到元数据库上，由于内容数据和元数据的修改都要涉及到元数据库的修改，因此根据副本元数据库的修改日志来达到增量式同步的目的，本发明可以根据数据的事务日志来推断出大文件的修改历史，不需要维护额外的日志文件，一致性方面只需要保证元数据库和数据文件的一致性即可，大大化简了实现成本。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种增量式的多副本数据同步方法，其特征在于，包括：
在包含POSIX大文件的本地逻辑存储单元中预设本地元数据库，以及在多个远程逻辑存储单元中分别预设远程元数据库；
将小文件的内容数据存储在所述POSIX大文件；
将所述小文件的元数据以及所述小文件的每次修改的操作记录存储在所述预设本地元数据库，且每次修改的所述操作记录按照递增的序列进行编号；
获取本地副本的第一操作记录和远端副本的第二操作记录，所述第一操作记录用于记录本地副本的修改操作记录，所述第二操作记录用于记录远端副本的修改操作记录；
判断所述第一操作记录和所述第二操作记录是否一致；
若否，则根据所述第一操作记录和所述第二操作记录中不一致的内容执行同步操作，确保所述本地副本和所述远端副本之间保持一致，并记录同步的进度。
2.根据权利要求1所述的增量式的多副本数据同步方法，其特征在于，所述执行同步操作中的同步以所述本地逻辑存储单元为单位，所述第一操作记录和所述第二操作记录为所述本地逻辑存储单元下所有小文件的操作记录。
3.根据权利要求1所述的增量式的多副本数据同步方法，其特征在于，在所述获取本地副本的第一操作记录和远端副本的第二操作记录之后，还包括：
根据所述本地副本的信息确定所述远端副本的位置；
向所述远端副本的所述预设远程元数据库发送通信请求，获取所述本地副本完成同步记录之后的修改历史记录。
4.根据权利要求1所述的增量式的多副本数据同步方法，其特征在于，所述本地元数据库为键值数据库RocksDB。
5.根据权利要求1所述的增量式的多副本数据同步方法，其特征在于，所述预设远程元数据库为键值数据库RocksDB。
6.一种增量式的多副本数据同步系统，其特征在于，包括：
预设单元，用于在包含POSIX大文件的本地逻辑存储单元中预设本地元数据库，以及在多个远程逻辑存储单元中分别预设远程元数据库；
第一存储单元，用于将小文件的内容数据存储在所述POSIX大文件；
第二存储单元，用于将所述小文件的元数据以及所述小文件的每次修改的操作记录存储在所述预设本地元数据库，且每次修改的所述操作记录按照递增的序列进行编号；
获取单元，用于获取本地副本的第一操作记录和远端副本的第二操作记录，所述第一操作记录用于记录本地副本的修改操作记录，所述第二操作记录用于记录远端副本的修改操作记录；
判断单元，用于判断所述第一操作记录和所述第二操作记录是否一致；
同步单元，用于当判断所述第一操作记录和所述第二操作记录不一致时，则根据所述第一操作记录和所述第二操作记录中不一致的内容执行同步操作，确保所述本地副本和所述远端副本之间保持一致，并记录同步的进度。
7.根据权利要求6所述的增量式的多副本数据同步系统，其特征在于，所述执行同步操作中的同步以所述本地逻辑存储单元为单位，所述第一操作记录和所述第二操作记录为所述本地逻辑存储单元下所有小文件的操作记录。
8.根据权利要求6所述的增量式的多副本数据同步系统，其特征在于，还包括：
确定单元，用于根据所述本地副本的信息确定所述远端副本的位置；
获取修改记录单元，用于向所述远端副本的所述预设远程元数据库发送通信请求，获取所述本地副本完成同步记录之后的修改历史记录。
CN201710600588.8A 2017-07-21 2017-07-21 一种增量式的多副本数据同步方法及系统 Active CN107357920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710600588.8A CN107357920B (zh) 2017-07-21 2017-07-21 一种增量式的多副本数据同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710600588.8A CN107357920B (zh) 2017-07-21 2017-07-21 一种增量式的多副本数据同步方法及系统

Publications (2)

Publication Number Publication Date
CN107357920A CN107357920A (zh) 2017-11-17
CN107357920B true CN107357920B (zh) 2020-05-22

Family

ID=60285518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710600588.8A Active CN107357920B (zh) 2017-07-21 2017-07-21 一种增量式的多副本数据同步方法及系统

Country Status (1)

Country Link
CN (1) CN107357920B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108431B (zh) * 2017-12-19 2021-07-23 中国民航信息网络股份有限公司 数据同步方法和系统
CN111309799A (zh) * 2018-12-11 2020-06-19 中兴通讯股份有限公司 数据合并的实现方法、装置、系统及存储介质
CN109815247B (zh) * 2019-01-09 2021-05-07 金蝶软件（中国）有限公司 信息同步方法、装置、计算机设备和存储介质
CN110209634A (zh) * 2019-06-10 2019-09-06 上海数腾软件科技股份有限公司 保证数据一致性的快照系统及其控制方法
CN112416878A (zh) * 2020-11-09 2021-02-26 山西云时代技术有限公司 一种基于云平台的文件同步管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262481A (zh) * 1999-01-27 2000-08-09 电话通有限公司 多个数据库的同步方法及装置
CN101567003A (zh) * 2009-05-27 2009-10-28 清华大学 并行文件系统中资源的管理和分配方法
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN103179185A (zh) * 2012-12-25 2013-06-26 中国科学院计算技术研究所 一种分布式文件系统客户端缓存中文件创建方法及其系统
CN104239476A (zh) * 2014-09-04 2014-12-24 上海天脉聚源文化传媒有限公司 一种数据库同步的方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092972B2 (en) * 2002-05-09 2006-08-15 Sun Microsystems, Inc. Delta transfers in distributed file systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262481A (zh) * 1999-01-27 2000-08-09 电话通有限公司 多个数据库的同步方法及装置
CN101567003A (zh) * 2009-05-27 2009-10-28 清华大学 并行文件系统中资源的管理和分配方法
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN103179185A (zh) * 2012-12-25 2013-06-26 中国科学院计算技术研究所 一种分布式文件系统客户端缓存中文件创建方法及其系统
CN104239476A (zh) * 2014-09-04 2014-12-24 上海天脉聚源文化传媒有限公司 一种数据库同步的方法、装置及系统

Also Published As

Publication number Publication date
CN107357920A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107357920B (zh) 一种增量式的多副本数据同步方法及系统
CN109074387B (zh) 分布式数据存储区中的版本化分层数据结构
US10146643B2 (en) Database recovery and index rebuilds
JP5500309B2 (ja) ストレージ装置
US8924365B2 (en) System and method for range search over distributive storage systems
EP2356560B1 (en) Atomic multiple modification of data in a distributed storage system
CN106933703B (zh) 一种数据库数据备份的方法、装置及电子设备
CN102629247B (zh) 一种数据处理方法、装置和系统
WO2017041654A1 (zh) 用于分布式存储系统的写入数据、获取数据的方法和设备
EP2615566A2 (en) Unified local storage supporting file and cloud object access
CN110209735B (zh) 数据库备份方法、数据库备份装置、计算设备和存储介质
CN104199888A (zh) 弹性文件系统的数据恢复方法和装置
US20150205674A1 (en) Cataloging backup data
CN103595797B (zh) 一种分布式存储系统中的缓存方法
CN104572920A (zh) 一种数据整理方法和装置
WO2019076102A1 (zh) 一种数据回滚方法、系统、设备及计算机可读存储介质
US10909091B1 (en) On-demand data schema modifications
JP2006018796A (ja) データ処理方法および装置並びにストレージ装置およびその処理プログラム
US10380141B1 (en) Fast incremental backup method and system
CN115114232A (zh) 一种历史版本对象列举方法、装置及其介质
CN114741453A (zh) 数据同步的方法、系统及计算机可读存储介质
US11468017B2 (en) Data storage system and method
CN112965939A (zh) 一种文件合并方法、装置和设备
US7685186B2 (en) Optimized and robust in-place data transformation
CN105404653A (zh) 一种全分布式文件索引及协作编辑机制的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant