CN103902617A - 分布式数据库同步方法和系统 - Google Patents

分布式数据库同步方法和系统 Download PDF

Info

Publication number
CN103902617A
CN103902617A CN201210586458.0A CN201210586458A CN103902617A CN 103902617 A CN103902617 A CN 103902617A CN 201210586458 A CN201210586458 A CN 201210586458A CN 103902617 A CN103902617 A CN 103902617A
Authority
CN
China
Prior art keywords
interval
node
backup
server cluster
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210586458.0A
Other languages
English (en)
Other versions
CN103902617B (zh
Inventor
朱俊华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210586458.0A priority Critical patent/CN103902617B/zh
Priority to EP13868638.1A priority patent/EP2919130A4/en
Priority to PCT/CN2013/080866 priority patent/WO2014101424A1/zh
Publication of CN103902617A publication Critical patent/CN103902617A/zh
Priority to US14/738,062 priority patent/US20150278030A1/en
Application granted granted Critical
Publication of CN103902617B publication Critical patent/CN103902617B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2048—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share neither address space nor persistent storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82—Solving problems relating to consistency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了分布式数据库同步方法和系统，布式数据库包括主服务器集群和备份服务器集群，主服务器集群包括第一主节点和第二主节点，备份服务器集群包括第一备份节点和第二备份节点；所述方法包括：生成主服务器集群哈希树和备份服务器集群哈希树；确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树；确定第二主节点中需同步的数据单元和第二备份节点需同步的数据单元；进行数据同步。由于本发明中，在确定需同步数据单元时可以在各个节点分别完成，所以可以实现多个节点分别同步确定需同步数据单元，从而节省执行数据一致性检查时所需的时间，进而提高数据同步效率。

Description

分布式数据库同步方法和系统
技术领域
本发明涉及数据库领域，更具体地说，涉及分布式数据库同步方法和系统。
背景技术
随着云计算的兴起，对海量数据存储和管理的需求也在不断地增加。在这样的趋势下，近几年出现了许多面向海量数据管理的大规模分布式数据库，通过利用商用硬件搭建大规模服务器集群来提供海量的数据存储和管理能力。
副本机制作为保证数据库服务的可靠性和可用性的关键技术之一，在各种新兴的大规模分布式数据库系统中得到了广泛运用。在实际应用中，一般会在数据中心之间采用异步复制的方式，对数据复制只提供最终一致性的保证，即通过将主数据库的数据与副本数据库的数据进行同步的方式，来保证数据的可靠性和可用性。为了保证主数据库与副本数据库同步的有效性，需要在各种故障场景下都能检查并同步不一致的数据副本，确保数据库在出现故障后能快速恢复到出错前的正确状态，从而提升数据库的可用性和可靠性。
现有技术中，所采用的技术方案一般为，在整个数据库同步系统包括有主数据库、副数据库和同步单元，主数据库和副数据库均包括数据格式化单元，哈希值生成器和树结构生成器。
数据格式化单元负责按照共同数据模型接收，格式化，存储和管理数据单元。哈希模型定义了一种或多种哈希算法及其输入格式，哈希值生成器根据哈希模型为数据单元生成哈希值。树结构生成器把数据格式化单元中的数据单元组织成一棵树。在树结构生成器生成树后，哈希值生成器计算树中每个节点的哈希值，从而得到一棵哈希树。若节点为叶节点，节点哈希值通过对其包含的数据单元的哈希值的计算得到，如节点不是叶节点，节点哈希值通过对其子节点的哈希值和包含的数据单元的哈希值的计算得到。
同步单元通过对比主数据库的哈希树和副数据库的哈希树，确定不一致的数据单元，同步单元通知主数据库将不一致的数据单元从主数据库传送至副数据库；在将所有的哈希树对比、并完成所有不一致的数据单元的传送后，即为完成了数据库的同步。
发明人通过研究发现，现有技术中的技术方案至少存在以下缺陷：
由于在现有技术中，需要在同步单元中完成所有节点中数据单元的哈希树比较，所以执行数据一致性检查时，需要较长的时间，从而使得数据同步的效率较低。
发明内容
有鉴于此，本发明提供分布式数据库同步方法和系统，以解决现有技术存在的数据同步的效率较低的问题。
本发明是这样实现的：
一方面，提供了一种分布式数据库同步方法，分布式数据库包括主服务器集群和备份服务器集群，主服务器集群中主节点包括一个或多个区间，备份服务器集群中备份节点包括一个或多个区间，主服务器集群中每个区间在备份服务器集群中都对应一个区间，主服务器集群包括第一主节点和第二主节点，备份服务器集群包括第一备份节点和第二备份节点，所述方法包括：
第一主节点获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中所述区间哈希值为叶节点的主服务器集群哈希树；其中，主节点的区间哈希树为主节点以区间中的数据单元为叶节点构造的哈希树；
第一备份节点获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，备份节点的区间哈希树为备份节点以区间中的数据单元为叶节点构造的哈希树；
第一主节点通过比较主服务器集群哈希树和备份服务器集群哈希树，确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树；
第二主节点通过比较第二主节点的区间哈希树和第二备份节点的区间哈希树，确定第二主节点中需同步的数据单元和第二备份节点需同步的数据单元；
第二主节点根据第二主节点中需同步的数据单元和第二备份节点中需同步的数据单元进行数据同步。
进一步的，所述以区间中的数据单元为叶节点构造的哈希树，具体包括：
根据数据单元信息和区间信息为每个区间构造以数据单元为叶节点的树结构；
根据哈希模型，计算所述树结构每个叶节点的哈希值，以生成所述区间哈希树；
为每个区间哈希树加入对应的区间标识。
进一步的，所述主服务器集群中每个区间在备份服务器中都对应一个区间，具体的包括：
分别为所述主服务器集群中每个区间和所述备份服务器中每个区间设有区间标识；
将所述主服务器集群中每个区间的区间标识和对应的备份服务器中区间的区间标识加以关联。
进一步的，所述第一主节点在多个主节点中选举产生；所述第一备份节点在多个备份节点中选举产生。
另一方面，本申请还提供了一种分布式数据库同步系统，所述分布式数据库同步系统包括主服务器集群和备份服务器集群，主服务器集群中主节点包括一个或多个区间，备份服务器集群中备份节点包括一个或多个区间，主服务器集群中每个区间在备份服务器集群中都对应一个区间，主服务器集群包括第一主节点和第二主节点，备份服务器集群包括第一备份节点和第二备份节点；
第一主节点包括主服务器集群哈希树生成单元，用于获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中所述区间哈希值为叶节点的主服务器集群哈希树；其中，主节点的区间哈希树为主节点以区间中的数据单元为叶节点构造的哈希树；
第一备份节点包括备份服务器集群哈希树生成单元，用于获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，备份节点的区间哈希树为备份节点以区间中的数据单元为叶节点构造的哈希树；
第一主节点包括区间确定单元，用于通过比较主服务器集群哈希树和备份服务器集群哈希树，确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树；
第二主节点包括数据确定单元，用于通过比较第二主节点的区间哈希树和第二备份节点的区间哈希树，确定第二主节点中需同步的数据单元和第二备份节点需同步的数据单元；
第二主节点包括同步单元，用于根据第二主节点中需同步的数据单元和第二备份节点中需同步的数据单元进行数据同步。
进一步的，所述主服务器集群哈希树生成单元和所述备份服务器集群哈希树生成单元均包括区间哈希树生成模块，所述区间哈希树生成模块包括：
树生成器，用于根据数据管理单元的数据单元信息和区间管理单元的区间信息为每个区间构造以数据单元为叶节点的树结构；
哈希值生成器，用于根据哈希模型，计算所述树结构每个叶节点的哈希值，以生成所述区间哈希树；
区间标识单元，用于为每个区间哈希树加入区间标识。
进一步的，所述主服务器集群和所述备份服务器集群均包括:
选举单元，用于在多个所述主节点中确定所述第一主节点，或，在多个所述备份节点中确定所述第一备份节点。
通过上述描述可以得知，在本发明中，通过设有主协调节点和从协调节点，并能够分别通过主协调节点和从协调节点生成的以区间哈希值为叶节点的主服务器集群哈希树和备份服务器集群哈希树，从而可以初步地确定需同步主区间和需同步备份区间，以及，分别与需同步主区间、需同步备份区间对应的需同步主节点和需同步备份节点；然后，通过比较需同步主节点的区间哈希树和需同步备份节点的区间哈希树，可以确定哈希值不一致的对应数据单元为需同步主数据单元和需同步备份数据单元；由于本发明中，在确定需同步主数据单元和需同步备份数据单元时可以在各个节点分别完成，所以可以实现多个节点分别同步确定需同步数据单元，从而节省执行数据一致性检查时所需的时间，进而提高数据同步效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中分布式数据库同步系统的组织结构示意图；
图2为本发明实施例提供的分布式数据库同步方法的流程示意图；
图3为本发明提供的分布式数据库同步系统的结构示意图；
图4为本发明提供的服务器集群中节点的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中，数据同步的效率较低的问题，在本实施例中，提供了一种分布式数据库同步方法，图1描述了本发明中分布式数据库同步系统的组织结构，分布式数据库包括主服务器集群12和备份服务器集群13，主服务器集群12中主节点14包括一个或多个区间，备份服务器集群13中备份节点15包括一个或多个区间，主服务器集群12中每个区间在备份服务器集群13中都对应一个区间，主节点和备份节点中每个区间包括一个或多个数据单元。
图2描述了本发明实施例提供的一种分布式数据库同步方法，其中，主服务器集群12包括第一主节点和第二主节点，备份服务器集群13包括第一备份节点和第二备份节点，该分布式数据库同步方法包括：
S11、生成主服务器集群哈希树和备份服务器集群哈希树。
第一主节点获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中所述区间哈希值为叶节点的主服务器集群哈希树；其中，主节点的区间哈希树为主节点以区间中的数据单元为叶节点构造的哈希树；
第一备份节点获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，备份节点的区间哈希树为备份节点以区间中的数据单元为叶节点构造的哈希树；
本发明中的数据库服务器集群包括有多个节点来存储数据，首先根据各个节点的存储功能不同，将节点分为主节点和备份节点两种；在实际应用中，可以将多个主节点总称为主服务器集群，将多个备份节点总称为备份服务器集群，备份服务器集群用于对主服务器集群中的数据进行备份。
在所述主节点和所述备份节点的功能均包括：管理、存储、和格式化数据单元；将数据单元按区间进行划分，并记录区间信息，具体的可以包括，通过数据管理单元维护包括多个数据单元的区间的区间信息。
在本发明中，主节点和备份节点均包括的功能具体为：通过数据管理单元存储、格式化和管理数据；本发明中的数据单元是分布式数据库进行数据组织的最小单元，数据管理单元可以包括有多个数据单元，每个数据单元可以通过其数据单元标识来区分和识别。具体的，数据管理单元可以通过设定的数据模型来将需要存储的数据格式化成多个数据单元。
本发明还在数据管理单元中，将多个数据单元组织为一个区间，通过区间管理单元来维护包括多个数据单元的区间的区间信息。也就是说，每个数据管理单元中，可以包括多个区间；区间是分布式数据库进行数据管理的最小单元。每个区间可以通过其区间标识来区分和识别。
在基于以上组织结构的分布式数据库中，本发明中，所述提供的分布式数据库同步方法首先要通过第一主节点获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中所述区间哈希值为叶节点的主服务器集群哈希树；其中，主节点的区间哈希树为主节点以区间中的数据单元为叶节点构造的哈希树；
第一备份节点获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，备份节点的区间哈希树为备份节点以区间中的数据单元为叶节点构造的哈希树；
主节点和备份节点的区间哈希树的生成方式是类似的，具体可以为，根据数据管理单元中的数据单元信息和区间管理单元中的区间信息，通过哈希模型为每个区间生成以数据单元的哈希值为叶节点，且包括区间标识的区间哈希树。
主服务器集群中每个区间在备份服务器中都对应一个区间，在本发明中，区间根据其所属的节点的性质可以分为分为主分区和备份分区两种，即，主节点中所包括的分区可以称之为主分区，备份节点中的分区可以称之为备份分区。主分区与备份分区一一对应，即主服务器集群中的主区间1在备份服务器集群中有对应的备份分区1，主服务器集群中的主区间2在备份服务器集群中有对应的备份分区2，以此类推；其中，备份分区通过和主分区同步来备份主分区中的数据。
此外，还可以通过分别为主分区和备份分区设有区间标识，并通过所述区间标识将对应的主分区和备份分区加以关联的方式来使主分区与备份分区一一对应。
本发明中的主节点和备份节点还可以根据数据管理单元中的数据单元信息和区间管理单元中的区间信息，通过哈希模型为每个区间生成以数据单元的哈希值为叶节点的区间哈希树。
具体的，完成上述功能可以通过以下方式来实现：
根据数据管理单元的数据单元信息和区间管理单元的区间信息构造以数据单元为叶节点的树结构；在实际应用中，可以通过树生成器来实现为每个区间构造以数据单元为叶节点的树结构。
根据哈希模型，计算树结构每个叶节点的哈希值，以生成区间哈希树。
在实际应用中，可以通过哈希值生成器来根据树结构生成区间哈希树，这样，通过为每个区间生成其对应的区间哈希树，从而通过建立区间哈希树，可以将主节点中区间的区间哈希树来与相应备份节点中的相应区间的哈希树的比较来确定是否有需要同步的数据单元。
第一主节点获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值后，以各个主节点的区间哈希值为叶节点，生成主服务器集群哈希树；
类似的，第一备份节点获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值后，以各个备份节点的区间哈希值为叶节点，生成备份服务器集群哈希树；
本发明中，可以通过选举机制产生第一主节点或第一备份节点。即，第一主节点可以通过选举，在多个主节点中产生；类似的，第一备份节点也可以通过选举在多个备份节点中产生。
S12、确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树。
第一主节点通过比较主服务器集群哈希树和备份服务器集群哈希树，确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树；在进行数据一致性检查时，即，检查备份服务器集群与主服务器集群中的数据是否一致时，首先对比主服务器集群哈希树和备份服务器集群哈希树是否一致，如果一致，则表明该主服务器集群和备份服务器集群数据一致，不需要进行同步更新；如果不一致，则表明主服务器集群和备份服务器集群中的区间至少有一个区间需要同步更新。具体的，在本发明中，可以将区间哈希值不一致的主节点称之为第二主节点，将区间哈希值不一致的备份节点称之为第二备份节点；
在本发明中，当比较主服务器集群哈希树和备份服务器集群时，发现不一致时，将造成不一致的对应区间确定为需同步主区间以及需同步备份区间，即，第二主节点和第二备份节点；进一步的，还可以将需同步主区间以及需同步备份区间的区间标识分别通知对应的主节点和备份节点，该主节点即为需同步主节点，该备份节点即为需同步备份节点。
进一步的，在本发明中，通知所述需同步区间对应的需同步主节点和需同步备份节点的具体方式可以是，通过分别获取包括需同步主区间以及需同步备份区间所对应的区间的区间标识，以及，主节点和备份节点的节点标识信息的三元组数据，并将三元组数据分别发送至对应的主节点和备份节点；由于在三元组数据中，包括了区间的区间标识和与其对应的主节点和备份节点的节点标识，从而可以实现通知相应的主节点和备份节点。
S13、确定第二主节点中需同步的数据单元和第二备份节点中需同步的数据单元。
第二主节点通过比较第二主节点的区间哈希树和第二备份节点的区间哈希树，确定第二主节点中需同步的数据单元和第二备份节点需同步的数据单元；
由于在本发明中，还计算了各个区间的区间哈希值，所以当主节点和备份节点中对应的区间至少有一个需要同步更新时，通过比较第二主节点和第二备份节点中的区间哈希树，即可确定哈希值不一致的对应数据单元为需同步主数据单元以及需同步备份数据单元，从而确定了需要同步更新的数据单元。由于本发明中，需同步的节点可以为多个，所以第二主节点和第二备份节点也可以为多个。
由于在本发明中，进行数据一致性检查时，多个第二主节点可以分别通过比较第二主区间的区间哈希树和对应的第二备份节点中第二备份区间的区间哈希树进行比较，所以可以实现多个节点间的同步运行，由于本发明可以有效地利用节点间的网络带宽和运算资源，从而节省了执行数据一致性检查和数据同步时所需的时间，进而也就有效地提高了数据同步效率。
具体的，主节点1在与备份节点1进行数据一致性检查的同时，主节点2可以同时与备份节点2进行数据一致性检查，以此类推，可以是实现多个主节点与备份节点进行数据一致性的同步检查。
S14、第二主节点根据第二主节点中需同步的数据单元和第二备份节点中需同步的数据单元进行数据同步。
在本发明中，完成需同步数据单元在对应的第二主节点和第二备份节点间的数据同步，具体可以由第二主节点完成。也就是说，在本发明中，每个主节点中均可设有同步单元，这样，当主单元为第二主节点时，通过其同步单元即可完成数据单元的同步更新。由于本发明中的同步单元为多个，所以在分布式环境下，发生单点故障的时候，如某个同步单元失效的时候，也不会影响整个数据库同步系统的正常运行。进而提高了分布式数据库同步系统的健硕性。
图3描述了本发明提供的一种分布式数据库同步系统的结构，该分布式数据库同步系统包括主服务器集群12和备份服务器集群13，主服务器集群12包括第一主节点141和第二主节点142，备份服务器集群13包括第一备份节151点和第二备份节点152；
第一主节点141包括主服务器集群哈希树生成单元121，用于获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中区间哈希值为叶节点的主服务器集群哈希树；其中，第一节点可以从多个主节点中来确定。
第一备份节点151包括备份服务器集群哈希树生成单元131，用于获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，第一备份节点可以从多个备份节点中来确定。
进一步的，本发明中，第一主节点141或第一备份节点151的确定具体可以通过选举机制产生。即，通过选举机制，在多个所述主节点中确定第一主节点，或，在多个所述备份节点中确定第一备份节点。
第一主节点141包括区间确定单元122，用于通过比较主服务器集群哈希树和备份服务器集群哈希树，确定区间哈希值不一致的两个对应区间为需同步主区间以及需同步备份区间。
进一步的，还可以通知所述需同步主区间以及需同步备份区间分别对应的第二主节点142即为需同步的主节点，第二备份节点152即为需同步的备份节点。当需同步主区间和需同步备份区间为多个，且需同步主区间和需同步备份区间分别位于多个第二主节点和第二备份节点中时，第二主节点和第二备份节点也就为多个。
在进行数据一致性检查时，即，检查主服务器集群12与备份服务器集群13中的数据是否一致时，区间确定单元122首先对比主服务器集群哈希树和备份服务器集群哈希树是否一致，如果一致，则表明该主服务器集群12和备份服务器集群13数据一致，不需要进行同步更新；如果不一致，则表明主服务器集群12和备份服务器集群13中的区间至少有一个区间需要同步更新。
进一步的，在本发明中，当比较主服务器集群哈希树和备份服务器集群时，发现不一致时，区间确定单元122还要将不一致的对应区间的区间标识分别通知对应的第二主节点142和第二备份节点152，该第二主节点142即为需同步主节点，该第二备份节点152即为需同步备份节点，第二主节点142和第二备份节点152的对应区间则分别为需同步主区间以及需同步备份区间。
针对第一主节点如何通知需同步节点，在本发明中，区间确定单元122还可以包括三元组数据处理组件，当区间哈希值不一致时，区间确定单元122分别获取包括需同步区间的区间标识、主节点14和备份节点15的节点标识信息的三元组数据，并将所述三元组数据发送至分别需同步主区间以及需同步备份区间对应的主节点和备份节点，以通知需同步主节点和需同步备份节点。
第二主节点142包括数据确定单元123，用于通过比较需同步主区间以及需同步备份区间的区间哈希树，确定哈希值不一致的对应数据单元为需同步主数据单元以及需同步备份数据单元；
第二主节点142包括同步单元124，用于完成需同步主区间和需同步备份区间在对应的需同步主节点和需同步备份节点间的数据同步。
由于在本发明中，还计算了各个区间的区间哈希树，所以当主节点和备份节点中对应的区间至少有一个需要同步更新时，数据确定单元123通过比较需同步主区间和需同步备份区间的区间哈希树，即可确定哈希值不一致的对应数据单元为需要同步的数据单元，这样就可以确定需同步主数据单元以及需同步备份数据单元。从而，通过同步单元124即可完成需同步主区间和需同步备份区间在对应的需同步主节点和需同步备份节点间的数据同步。
由于在本发明中，进行数据一致性检查时主节点直接将其需同步主区间的区间哈希树和备份节点中需同步备份区间的区间哈希树进行比较，所以可以实现多个节点间的同步运行，由于本发明可以有效地利用节点间的网络带宽和运算资源，从而节省了执行数据一致性检查和数据同步时所需的时间，进而也就有效地提高了数据同步效率。
由于在本发明中，同步单元可以设于主节点中，所以，在完成需同步数据单元在对应的需同步主节点和需同步备份节点间的数据同步，具体可以由第二主节点完成，第二主节点和第二备份节点均可以为多个，在本发明中，每个第二主节点中均可设有同步单元，这样，当多个第二主节点均为需同步主节点时，通过多个同步单元即可并行完成数据单元的同步更新。由于本发明中的同步单元为多个，所以在分布式环境下，发生单点故障的时候，如某个同步单元失效的时候，也不会影响整个数据库同步系统的正常运行。进而提高了分布式数据库同步系统的健硕性。
针对主服务器集群中主节点和备份服务器集群中备份节点，图4描述了本发明中提供的服务器集群中节点的结构，包括主服务器集群中主节点和备份服务器集群中备份节点的结构，主节点14和备份节点15的结构包括：区间管理单元22，用于将数据单元24按区间23进行划分，并记录区间信息；区间哈希树生成单元25，用于根据数据单元信息和区间信息，通过哈希模型为每个区间生成以数据单元的哈希值为叶节点，且包括区间标识的区间哈希树；其中，区间23根据其所属的节点分为主分区和备份分区，所述主分区与所述备份分区一一对应，也就是说，主服务器集群中每个区间在备份服务器中都对应一个区间。
本发明中的数据单元24是分布式数据库进行数据组织的最小单元，每个区间23可以包括有多个数据单元24，每个数据单元可以通过其数据单元标识来区分和识别。具体的，可以通过设定的数据模型来将需要存储的数据格式化成多个数据单元。
通过区间管理单元22，可以维护包括多个数据单元24的区间23的区间信息。也就是说，每个节点中，可以包括多个区间23；区间23是分布式数据库进行数据管理的最小单元。每个区间可以通过其区间标识来区分和识别；
区间23根据其所属的节点的性质可以分为主分区和备份分区两种，即，主节点中所包括的分区可以称之为主分区，备份节点中的分区可以称之为备份分区。主分区与备份分区一一对应，即主服务器集群中的主区间1在备份服务器集群中有对应的备份分区1，主服务器集群中的主区间2在备份服务器集群中有对应的备份分区2，以此类推；其中，备份分区通过和主分区同步来备份主分区中的数据。
此外，还可以通过分别为主分区和备份分区设有区间标识，并通过所述区间标识将对应的主分区和备份分区加以关联的方式来使主分区与备份分区一一对应。
本发明中的主节点和备份节点还包括有区间哈希树生成单元25，区间哈希树生成单元25根据数据单元信息和区间管理单元22中的区间信息，通过哈希模型可以为每个区间生成以数据单元的哈希值为叶节点的区间哈希树。
具体的，完成上述功能可以通过以下方式来实现：
根据数据单元信息和区间管理单元22的区间信息构造以数据单元24为叶节点的树结构；在实际应用中，可以通过树生成器来实现为每个区间构造以数据单元为叶节点的树结构。
根据哈希模型，计算树结构每个叶节点的哈希值，以生成区间哈希树。
在实际应用中，可以通过哈希值生成器来根据树结构生成区间哈希树，这样，通过为每个区间生成其对应的区间哈希树，从而通过建立区间哈希树，可以将主节点中区间的区间哈希树来与相应备份节点中的相应区间的哈希树的比较来确定是否有需要同步的数据单元。
进一步的，在本发明中，区间哈希树生成单元25具体可以包括：树生成器，用于根据数据单元信息和区间管理单元的区间信息构造以数据单元为叶节点的树结构；哈希值生成器，用于根据哈希模型，计算树结构每个叶节点的哈希值，以生成所述区间哈希树。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种分布式数据库同步方法，其特征在于，分布式数据库包括主服务器集群和备份服务器集群，主服务器集群中主节点包括一个或多个区间，备份服务器集群中备份节点包括一个或多个区间，主服务器集群中每个区间在备份服务器集群中都对应一个区间，主服务器集群包括第一主节点和第二主节点，备份服务器集群包括第一备份节点和第二备份节点，所述方法包括：
第一主节点获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中所述区间哈希值为叶节点的主服务器集群哈希树；其中，主节点的区间哈希树为主节点以区间中的数据单元为叶节点构造的哈希树；
第一备份节点获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，备份节点的区间哈希树为备份节点以区间中的数据单元为叶节点构造的哈希树；
第一主节点通过比较主服务器集群哈希树和备份服务器集群哈希树，确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树；
第二主节点通过比较第二主节点的区间哈希树和第二备份节点的区间哈希树，确定第二主节点中需同步的数据单元和第二备份节点需同步的数据单元；
第二主节点根据第二主节点中需同步的数据单元和第二备份节点中需同步的数据单元进行数据同步。
2.根据权利要求1所述分布式数据库同步方法，其特征在于，所述以区间中的数据单元为叶节点构造的哈希树，具体包括：
根据数据单元信息和区间信息为每个区间构造以数据单元为叶节点的树结构；
根据哈希模型，计算所述树结构每个叶节点的哈希值，以生成所述区间哈希树；
为每个区间哈希树加入对应的区间标识。
3.根据权利要求2所述分布式数据库同步系统，其特征在于，所述主服务器集群中每个区间在备份服务器中都对应一个区间，具体的包括：
分别为所述主服务器集群中每个区间和所述备份服务器中每个区间设有区间标识；
将所述主服务器集群中每个区间的区间标识和对应的备份服务器中区间的区间标识加以关联。
4.根据权利要求3所述分布式数据库同步系统，其特征在于，
所述第一主节点在多个主节点中选举产生；所述第一备份节点在多个备份节点中选举产生。
5.一种分布式数据库同步系统，其特征在于，所述分布式数据库同步系统包括主服务器集群和备份服务器集群，主服务器集群中主节点包括一个或多个区间，备份服务器集群中备份节点包括一个或多个区间，主服务器集群中每个区间在备份服务器集群中都对应一个区间，主服务器集群包括第一主节点和第二主节点，备份服务器集群包括第一备份节点和第二备份节点；
第一主节点包括主服务器集群哈希树生成单元，用于获取主服务器集群中各个主节点的所有区间哈希树的根节点的区间哈希值，并生成以主服务器集群中所述区间哈希值为叶节点的主服务器集群哈希树；其中，主节点的区间哈希树为主节点以区间中的数据单元为叶节点构造的哈希树；
第一备份节点包括备份服务器集群哈希树生成单元，用于获取备份服务器集群中各个备份节点的所有区间哈希树的根节点的区间哈希值，并生成以备份服务器集群中所述区间哈希值为叶节点的备份服务器集群哈希树；其中，备份节点的区间哈希树为备份节点以区间中的数据单元为叶节点构造的哈希树；
第一主节点包括区间确定单元，用于通过比较主服务器集群哈希树和备份服务器集群哈希树，确定区间哈希值不一致的第二主节点的区间哈希树和第二备份节点的区间哈希树；
第二主节点包括数据确定单元，用于通过比较第二主节点的区间哈希树和第二备份节点的区间哈希树，确定第二主节点中需同步的数据单元和第二备份节点需同步的数据单元；
第二主节点包括同步单元，用于根据第二主节点中需同步的数据单元和第二备份节点中需同步的数据单元进行数据同步。
6.根据权利要求5所述分布式数据库同步系统，其特征在于，所述主服务器集群哈希树生成单元和所述备份服务器集群哈希树生成单元均包括区间哈希树生成模块，所述区间哈希树生成模块包括：
树生成器，用于根据数据管理单元的数据单元信息和区间管理单元的区间信息为每个区间构造以数据单元为叶节点的树结构；
哈希值生成器，用于根据哈希模型，计算所述树结构每个叶节点的哈希值，以生成所述区间哈希树；
区间标识单元，用于为每个区间哈希树加入区间标识。
7.根据权利要求6所述分布式数据库同步系统，其特征在于，所述主服务器集群和所述备份服务器集群均包括:
选举单元，用于在多个所述主节点中确定所述第一主节点，或，在多个所述备份节点中确定所述第一备份节点。
CN201210586458.0A 2012-12-28 2012-12-28 分布式数据库同步方法和系统 Expired - Fee Related CN103902617B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210586458.0A CN103902617B (zh) 2012-12-28 2012-12-28 分布式数据库同步方法和系统
EP13868638.1A EP2919130A4 (en) 2012-12-28 2013-08-06 METHOD AND SYSTEM FOR SYNCHRONIZING A DISTRIBUTED DATA BASE
PCT/CN2013/080866 WO2014101424A1 (zh) 2012-12-28 2013-08-06 分布式数据库同步方法和系统
US14/738,062 US20150278030A1 (en) 2012-12-28 2015-06-12 Distributed Database Synchronization Method and System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210586458.0A CN103902617B (zh) 2012-12-28 2012-12-28 分布式数据库同步方法和系统

Publications (2)

Publication Number Publication Date
CN103902617A true CN103902617A (zh) 2014-07-02
CN103902617B CN103902617B (zh) 2017-06-09

Family

ID=50993945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210586458.0A Expired - Fee Related CN103902617B (zh) 2012-12-28 2012-12-28 分布式数据库同步方法和系统

Country Status (4)

Country Link
US (1) US20150278030A1 (zh)
EP (1) EP2919130A4 (zh)
CN (1) CN103902617B (zh)
WO (1) WO2014101424A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536971A (zh) * 2014-12-02 2015-04-22 北京锐安科技有限公司 一种具备高可用性的数据库
CN104794162A (zh) * 2015-03-25 2015-07-22 中国人民大学 实时数据存储与查询方法
CN104915381A (zh) * 2015-05-18 2015-09-16 北京联信永通信息技术有限公司 一种数据变更感知和快速同步的方法
CN105338109A (zh) * 2015-11-20 2016-02-17 小米科技有限责任公司 分片调度方法、装置及分布式服务器系统
CN106502835A (zh) * 2016-10-26 2017-03-15 中国银联股份有限公司 一种容灾备份方法及装置
CN106713412A (zh) * 2016-11-09 2017-05-24 弗洛格（武汉）信息科技有限公司 一种区块链系统及区块链系统的架构方法
CN107229541A (zh) * 2017-06-20 2017-10-03 携程旅游信息技术（上海）有限公司 事务数据的备份方法、备份系统及服务器
CN107329853A (zh) * 2017-06-13 2017-11-07 上海微烛信息技术有限公司 数据库集群的备份方法、备份系统及电子设备
CN108376142A (zh) * 2018-01-10 2018-08-07 北京思特奇信息技术股份有限公司 一种分布式内存数据库数据同步方法及系统
CN109086292A (zh) * 2018-06-11 2018-12-25 平安科技（深圳）有限公司 一种数据库的切换方法及系统
CN109561151A (zh) * 2018-12-12 2019-04-02 北京达佳互联信息技术有限公司 数据存储方法、装置、服务器和存储介质
CN109840166A (zh) * 2019-01-14 2019-06-04 京东数字科技控股有限公司 一种跨集群对象存储异步备份方法、装置和系统
CN109857810A (zh) * 2019-02-02 2019-06-07 立旃（上海）科技有限公司 基于区块链的数据同步装置及方法
CN110023944A (zh) * 2017-01-03 2019-07-16 华为技术有限公司 一种数据处理方法及相关设备
WO2019178772A1 (zh) * 2018-03-21 2019-09-26 深圳蓝贝科技有限公司 数据库主从区块一致性校验方法、装置和系统
CN111049886A (zh) * 2019-11-29 2020-04-21 紫光云(南京)数字技术有限公司 多区域sdn控制器数据同步方法、服务器及系统
CN111064770A (zh) * 2019-11-12 2020-04-24 国网辽宁省电力有限公司信息通信分公司 一种电网系统数据旁路捕获和同步的方法及系统
CN112667675A (zh) * 2021-03-17 2021-04-16 杭州趣链科技有限公司 数据查验方法、电子装置和存储介质
CN112799839A (zh) * 2021-01-28 2021-05-14 百果园技术(新加坡)有限公司 请求处理方法、装置、计算机可读存储介质及电子设备
CN113037552A (zh) * 2016-12-21 2021-06-25 瞻博网络公司 网络方法、网络装置和计算机可读存储介质
CN113297235A (zh) * 2020-11-03 2021-08-24 阿里巴巴集团控股有限公司 分布式数据库集群的数据一致性检验方法及装置
US11924044B2 (en) 2016-12-21 2024-03-05 Juniper Networks, Inc. Organizing execution of distributed operating systems for network devices

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091249B2 (en) * 2013-11-22 2018-10-02 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for synchronization of two databases in a lawful interception network by comparing checksum values
CN104504147B (zh) * 2015-01-04 2018-04-10 华为技术有限公司 一种数据库集群的资源协调方法、装置及系统
CN108183971B (zh) * 2015-03-13 2021-08-10 聚好看科技股份有限公司 一种分布式系统中的节点选举方法
US11023492B2 (en) * 2015-05-20 2021-06-01 Guidewire Software, Inc. Deferred synchronization for work unit-related data
US11075806B1 (en) 2016-06-30 2021-07-27 Juniper Networks, Inc. Hierarchical naming scheme for state propagation within network devices
CN106484508A (zh) * 2016-09-21 2017-03-08 中国电力科学研究院 一种基于云架构的电网地理信息系统及容错方法
US11316775B2 (en) 2016-12-21 2022-04-26 Juniper Networks, Inc. Maintaining coherency in distributed operating systems for network devices
CN107040582B (zh) 2017-02-17 2020-08-14 创新先进技术有限公司 一种数据处理方法及装置
US10282125B2 (en) * 2017-04-17 2019-05-07 International Business Machines Corporation Distributed content deduplication using hash-trees with adaptive resource utilization in distributed file systems
CN109218349A (zh) * 2017-06-29 2019-01-15 北京微影时代科技有限公司 一种管理服务器集群的方法及装置
CN110209726B (zh) * 2018-02-12 2023-10-20 金篆信科有限责任公司 分布式数据库集群系统、数据同步方法及存储介质
US11095742B2 (en) 2019-03-27 2021-08-17 Juniper Networks, Inc. Query proxy for delivery of dynamic system state
CN110069365B (zh) * 2019-04-26 2023-07-04 腾讯科技（深圳）有限公司 管理数据库的方法和相应的装置、计算机可读存储介质
CN112988883B (zh) * 2019-12-16 2023-03-10 金篆信科有限责任公司 数据库的数据同步方法、装置以及存储介质
CN111625511B (zh) * 2020-05-22 2023-11-03 广东浪潮大数据研究有限公司 一种配置文件管理方法、装置及电子设备和存储介质
CN113297236B (zh) * 2020-11-10 2024-07-30 阿里巴巴集团控股有限公司 分布式一致性系统中主节点的选举方法、装置及系统
DE102023102529B4 (de) 2023-02-02 2024-08-29 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Übertragung eines Prüfvektors von einer Sendeeinheit an eine Empfangseinheit

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054035A (zh) * 2010-12-29 2011-05-11 北京播思软件技术有限公司 一种基于数据范围的数据库数据同步方法
CN102262674A (zh) * 2011-08-11 2011-11-30 大唐移动通信设备有限公司 一种分布式内存数据库的数据同步方法及系统
US20120203745A1 (en) * 2011-02-08 2012-08-09 Wavemarket Inc. System and method for range search over distributive storage systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006020A (ja) * 2001-06-26 2003-01-10 Hitachi Ltd 複製データベースアクセス装置とそのアクセス方法
US8468427B2 (en) * 2007-10-02 2013-06-18 Lantiq Deutschland Gmbh Retransmission scheme for communication systems
CN101369923B (zh) * 2008-09-24 2010-12-29 中兴通讯股份有限公司 一种使用分布式哈希表提高集群web服务性能的方法
CN101826073B (zh) * 2009-03-06 2013-08-28 华为技术有限公司 分布式数据库同步方法、设备及系统
US8260742B2 (en) * 2009-04-03 2012-09-04 International Business Machines Corporation Data synchronization and consistency across distributed repositories
US8345707B2 (en) * 2009-06-03 2013-01-01 Voxer Ip Llc Method for synchronizing data maintained at a plurality of nodes
US8060497B1 (en) * 2009-07-23 2011-11-15 Google Inc. Framework for evaluating web search scoring functions
US8224935B1 (en) * 2010-05-12 2012-07-17 Symantec Corporation Systems and methods for efficiently synchronizing configuration data within distributed computing systems
CN102693324B (zh) * 2012-01-09 2015-03-18 西安电子科技大学 一种分布式数据库同步系统、同步方法和节点管理方法
CN103327037B (zh) * 2012-03-20 2017-09-29 中兴通讯股份有限公司 数据同步方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054035A (zh) * 2010-12-29 2011-05-11 北京播思软件技术有限公司 一种基于数据范围的数据库数据同步方法
US20120203745A1 (en) * 2011-02-08 2012-08-09 Wavemarket Inc. System and method for range search over distributive storage systems
CN102262674A (zh) * 2011-08-11 2011-11-30 大唐移动通信设备有限公司 一种分布式内存数据库的数据同步方法及系统

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536971A (zh) * 2014-12-02 2015-04-22 北京锐安科技有限公司 一种具备高可用性的数据库
CN104794162A (zh) * 2015-03-25 2015-07-22 中国人民大学 实时数据存储与查询方法
CN104794162B (zh) * 2015-03-25 2018-02-23 中国人民大学 实时数据存储与查询方法
CN104915381A (zh) * 2015-05-18 2015-09-16 北京联信永通信息技术有限公司 一种数据变更感知和快速同步的方法
CN105338109B (zh) * 2015-11-20 2018-10-12 小米科技有限责任公司 分片调度方法、装置及分布式服务器系统
CN105338109A (zh) * 2015-11-20 2016-02-17 小米科技有限责任公司 分片调度方法、装置及分布式服务器系统
CN106502835A (zh) * 2016-10-26 2017-03-15 中国银联股份有限公司 一种容灾备份方法及装置
CN106713412A (zh) * 2016-11-09 2017-05-24 弗洛格（武汉）信息科技有限公司 一种区块链系统及区块链系统的架构方法
CN106713412B (zh) * 2016-11-09 2020-11-06 弗洛格（武汉）信息科技有限公司 一种区块链系统及区块链系统的架构方法
CN113037552A (zh) * 2016-12-21 2021-06-25 瞻博网络公司 网络方法、网络装置和计算机可读存储介质
CN113037552B (zh) * 2016-12-21 2024-06-25 瞻博网络公司 网络方法、网络装置和计算机可读存储介质
US11924044B2 (en) 2016-12-21 2024-03-05 Juniper Networks, Inc. Organizing execution of distributed operating systems for network devices
CN110023944A (zh) * 2017-01-03 2019-07-16 华为技术有限公司 一种数据处理方法及相关设备
CN107329853A (zh) * 2017-06-13 2017-11-07 上海微烛信息技术有限公司 数据库集群的备份方法、备份系统及电子设备
CN107229541A (zh) * 2017-06-20 2017-10-03 携程旅游信息技术（上海）有限公司 事务数据的备份方法、备份系统及服务器
CN107229541B (zh) * 2017-06-20 2019-11-26 携程旅游信息技术（上海）有限公司 事务数据的备份方法、备份系统及服务器
CN108376142B (zh) * 2018-01-10 2021-05-14 北京思特奇信息技术股份有限公司 一种分布式内存数据库数据同步方法及系统
CN108376142A (zh) * 2018-01-10 2018-08-07 北京思特奇信息技术股份有限公司 一种分布式内存数据库数据同步方法及系统
WO2019178772A1 (zh) * 2018-03-21 2019-09-26 深圳蓝贝科技有限公司 数据库主从区块一致性校验方法、装置和系统
CN109086292A (zh) * 2018-06-11 2018-12-25 平安科技（深圳）有限公司 一种数据库的切换方法及系统
CN109086292B (zh) * 2018-06-11 2023-11-28 平安科技（深圳）有限公司 一种数据库的切换方法及系统
CN109561151A (zh) * 2018-12-12 2019-04-02 北京达佳互联信息技术有限公司 数据存储方法、装置、服务器和存储介质
CN109840166A (zh) * 2019-01-14 2019-06-04 京东数字科技控股有限公司 一种跨集群对象存储异步备份方法、装置和系统
CN109857810B (zh) * 2019-02-02 2023-06-23 立旃（上海）科技有限公司 基于区块链的数据同步装置及方法
CN109857810A (zh) * 2019-02-02 2019-06-07 立旃（上海）科技有限公司 基于区块链的数据同步装置及方法
CN111064770A (zh) * 2019-11-12 2020-04-24 国网辽宁省电力有限公司信息通信分公司 一种电网系统数据旁路捕获和同步的方法及系统
CN111064770B (zh) * 2019-11-12 2021-11-05 国网辽宁省电力有限公司信息通信分公司 一种电网系统数据旁路捕获和同步的方法及系统
CN111049886B (zh) * 2019-11-29 2023-07-07 紫光云(南京)数字技术有限公司 多区域sdn控制器数据同步方法、服务器及系统
CN111049886A (zh) * 2019-11-29 2020-04-21 紫光云(南京)数字技术有限公司 多区域sdn控制器数据同步方法、服务器及系统
CN113297235A (zh) * 2020-11-03 2021-08-24 阿里巴巴集团控股有限公司 分布式数据库集群的数据一致性检验方法及装置
CN113297235B (zh) * 2020-11-03 2023-12-19 阿里巴巴集团控股有限公司 分布式数据库集群的数据一致性检验方法及装置
CN112799839A (zh) * 2021-01-28 2021-05-14 百果园技术(新加坡)有限公司 请求处理方法、装置、计算机可读存储介质及电子设备
CN112799839B (zh) * 2021-01-28 2024-03-15 百果园技术(新加坡)有限公司 请求处理方法、装置、计算机可读存储介质及电子设备
CN112667675A (zh) * 2021-03-17 2021-04-16 杭州趣链科技有限公司 数据查验方法、电子装置和存储介质

Also Published As

Publication number Publication date
US20150278030A1 (en) 2015-10-01
CN103902617B (zh) 2017-06-09
EP2919130A1 (en) 2015-09-16
WO2014101424A1 (zh) 2014-07-03
EP2919130A4 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
CN103902617A (zh) 分布式数据库同步方法和系统
CN102054035B (zh) 一种基于数据范围的数据库数据同步方法
WO2021108452A3 (en) Systems and methods for enabling a highly available managed failover service
CN104243527A (zh) 数据同步方法、数据同步装置及分布式系统
CN103067525B (zh) 一种基于特征码的云存储数据备份方法
US10747776B2 (en) Replication control using eventually consistent meta-data
CN102855284A (zh) 一种集群存储系统的数据管理方法及系统
CN106446126A (zh) 一种海量空间信息数据存储管理方法及存储管理系统
CN107391294A (zh) 一种ipsan容灾系统的建立方法及装置
CN103324715B (zh) 一种灾备系统可用性检测方法及装置
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
CN103118130A (zh) 一种用于分布式服务的集群管理方法和系统
CN109325200B (zh) 获取数据的方法、装置及计算机可读存储介质
CN103297543A (zh) 一种基于计算机集群作业调度的方法
CN113987064A (zh) 数据处理方法、系统及设备
CN105721582A (zh) 多节点文件备份系统
CN103955510A (zh) 基于etl云平台上传的海量电力营销数据整合方法
CN101673289A (zh) 分布式文件存储构架的构建方法和装置
CN105069152A (zh) 数据处理方法及装置
KR20220052654A (ko) 메시지 전송 버스를 이용한 고가용성 배전 지능화 시스템 및 지능화 클러스터 시스템
CN103535014A (zh) 一种网络存储系统、数据处理方法和客户端
CN105187548A (zh) 一种集群监控信息收集方法与系统
CN107070645A (zh) 比较数据表的数据的方法和系统
CN112395269A (zh) MySQL高可用组的搭建方法及装置
CN113138882A (zh) 基于MySQL集群的自动化部署方法、装置及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170609

CF01 Termination of patent right due to non-payment of annual fee