CN110781243A - 关系型数据库双主数据增量同步方法和系统 - Google Patents

关系型数据库双主数据增量同步方法和系统 Download PDF

Info

Publication number
CN110781243A
CN110781243A CN201911073853.7A CN201911073853A CN110781243A CN 110781243 A CN110781243 A CN 110781243A CN 201911073853 A CN201911073853 A CN 201911073853A CN 110781243 A CN110781243 A CN 110781243A
Authority
CN
China
Prior art keywords
data
primary key
database
synchronized
source primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911073853.7A
Other languages
English (en)
Inventor
巫旭阳
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201911073853.7A priority Critical patent/CN110781243A/zh
Publication of CN110781243A publication Critical patent/CN110781243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种关系型数据库双主数据增量同步方法和系统，应用于双主模式下的关系型数据库管理系统，关系型数据库管理系统包括第一数据库和第二数据库，当第一数据库向第二数据库同步数据时，方法包括：获取第一数据库发送的待同步数据；待同步数据包括第一数据主键；在第二数据库的来源主键列表中查找与第一数据主键相匹配的目标来源主键；若未在来源主键列表中找到目标来源主键，则在来源主键列表中创建目标来源主键字段，并将第二数据库中的第一数据主键对应字段的值初始化，将待同步数据同步到第二数据库中。本发明缓解了现有技术中存在的对于主键冲突在横向扩容时会受到限制的技术问题。

Description

关系型数据库双主数据增量同步方法和系统
技术领域
本发明涉及关系型数据库管理系统技术领域，尤其是涉及一种关系型数据库双主数据增量同步方法和系统。
背景技术
关系型数据库管理系统(MySQL)双主模式：
两台MySQL都可读写，互为主备，默认只使用一台(masterA)负责数据的写入，另一台(masterB)备用；masterA是masterB的主库，masterB又是masterA的主库，它们互为主从；MySQL数据同步使用数据库操作日志(binlog)进行数据同步，两个台数据库相互发送各自的binlog进行同步。
而现有技术中，对于关系型数据库双主数据增量的同步方式中，对于出现的主键冲突：为了防止自增id(Identity document)冲突，解决办法是一个服务器使用奇数id，另一个服务器使用偶数id，合并的时候一般不会产生冲突，但横向扩容时会受到限制。如果一开始没有设置好自增策略，则数据进行同步时会出现异常。
发明内容
有鉴于此，本发明的目的在于提供一种关系型数据库双主数据增量同步方法和系统，以缓解现有技术中存在的对于主键冲突在横向扩容时会受到限制的技术问题。
第一方面，本发明实施例提供了一种关系型数据库双主数据增量同步方法，应用于双主模式下的关系型数据库管理系统，所述关系型数据库管理系统包括第一数据库和第二数据库，当第一数据库向第二数据库同步数据时，所述方法包括：获取所述第一数据库发送的待同步数据；所述待同步数据包括第一数据主键；在所述第二数据库的来源主键列表中查找与所述第一数据主键相匹配的目标来源主键；其中，所述来源主键列表为所述第一数据库向所述第二数据库的历史同步数据的主键列表；若未在所述来源主键列表中找到所述目标来源主键，则在所述来源主键列表中创建目标来源主键字段，并将所述第二数据库中的第一数据主键对应字段的值初始化，将所述待同步数据同步到所述第二数据库中；其中，所述目标来源主键的值为所述第一数据主键。
进一步地，所述方法还包括：若在所述来源主键列表中找到了所述目标来源主键，则直接将所述待同步数据同步到所述第二数据库中。
进一步地，在获取所述第一数据库发送的待同步数据之后，所述方法还包括：对所述待同步数据进行安全性验证，其中，所述安全性验证包括：IP白名单验证和Token验证。
进一步地，所述方法还包括：将所述待同步数据中的外键转换成所述第二数据库中对应数据的外键。
第二方面，本发明实施例还提供了一种关系型数据库双主数据增量同步系统，应用于双主模式下的关系型数据库管理系统，所述同步系统包括：获取模块，匹配模块和主键转换模块，其中，所述获取模块，用于获取第一数据库发送的待同步数据；所述待同步数据包括第一数据主键；所述匹配模块，用于在第二数据库的来源主键列表中查找与所述第一数据主键相匹配的目标来源主键；其中，所述来源主键列表为所述第一数据库向所述第二数据库的历史同步数据的主键列表；所述主键转换模块，用于若未在所述来源主键列表中找到所述目标来源主键，则在所述来源主键列表中创建目标来源主键字段，并将所述第二数据库中的第一数据主键对应字段的值初始化，将所述待同步数据同步到所述第二数据库中；其中，所述目标来源主键的值为所述第一数据主键。
进一步地，所述主键转换模块还用于：若在所述来源主键列表中找到了所述目标来源主键，则直接将所述待同步数据同步到所述第二数据库中。
进一步地，所述同步系统还包括：验证模块，用于对所述待同步数据进行安全性验证，其中，所述安全性验证包括：IP白名单验证和Token验证。
进一步地，所述同步系统还包括：外键转换模块，用于将所述待同步数据中的外键转换成所述第二数据库中对应数据的外键。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。
本发明提供了一种关系型数据库双主数据增量同步方法和系统，应用于双主模式下的关系型数据库管理系统，包括：获取第一数据库发送的待同步数据；待同步数据包括第一数据主键；在第二数据库的来源主键列表中查找与第一数据主键相匹配的目标来源主键；若未在来源主键列表中找到目标来源主键，则在来源主键列表中创建目标来源主键字段，并将第二数据库中的第一数据主键对应字段的值初始化，将待同步数据同步到第二数据库中。本发明通过在被同步数据库中创建来源主键列表的方式，缓解了现有技术中存在的对于主键冲突在横向扩容时会受到限制的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种关系型数据库双主数据增量同步方法的流程图；
图2为本发明实施例提供的一种数据入库同步方法的流程图；
图3为本发明实施例提供的一种关系型数据库双主数据增量同步系统的示意图；
图4为本发明实施例提供的另一种关系型数据库双主数据增量同步系统的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1是根据本发明实施例提供的一种关系型数据库双主数据增量同步方法的流程图，该方法应用于双主模式下的关系型数据库管理系统，其中，关系型数据库管理系统包括第一数据库和第二数据库。如图1所示，当第一数据库向第二数据库同步数据时，该方法具体包括如下步骤：
步骤S102，获取第一数据库发送的待同步数据；待同步数据包括第一数据主键。
例如，第一数据库新增一条t_user数据后触发同步，待同步数据被发送到第二数据库的同步接收程序。
步骤S104，在第二数据库的来源主键列表中查找与第一数据主键相匹配的目标来源主键；其中，来源主键列表为第一数据库向第二数据库的历史同步数据的主键列表。
例如，第二数据库根据接收到的t_user数据的第一数据主键id在第二数据库的来源主键列表source_id列中查询，是否有匹配。
步骤S106，若未在来源主键列表中找到目标来源主键，则在来源主键列表中创建目标来源主键字段，并将第二数据库中的第一数据主键对应字段的值初始化，将待同步数据同步到第二数据库中；其中，目标来源主键的值为第一数据主键。
其中，若未找到目标来源主键，则说明该条数据未被同步过，将该数据新增source_id字段，值为该数据的id，再将id置空(自增id数据库时使用)或者重新设置，防止跟第二数据库现有数据主键冲突，即可写入数据库。
本发明实施例提供了一种关系型数据库双主数据增量同步方法，包括：获取第一数据库发送的待同步数据；待同步数据包括第一数据主键；在第二数据库的来源主键列表中查找与第一数据主键相匹配的目标来源主键；若未在来源主键列表中找到目标来源主键，则在来源主键列表中创建目标来源主键字段，并将第二数据库中的第一数据主键对应字段的值初始化，将待同步数据同步到第二数据库中。本发明实施例提供的方法通过在被同步数据库中创建来源主键列表的方式，避免主键冲突无法写入的问题，缓解了现有技术中存在的对于主键冲突在横向扩容时会受到限制的技术问题。
可选地，本发明实施例提供的同步方法还包括：
若在来源主键列表中找到了目标来源主键，则直接将待同步数据同步到第二数据库中。
其中，若在来源主键列表中找到了目标来源主键，则表示第二数据库接收到的这条数据曾经被同步过，根据预设策略(以更新时间最新一条为准，即比较第二数据库匹配的这条数据和接收到第一数据库的这条数据的更新时间，以更新时间最晚的一条为更新基准)进行更新或丢弃操作。
可选地，在本发明实施例中，在步骤102获取第一数据库发送的待同步数据之后，该方法还包括：
对待同步数据进行安全性验证，其中，安全性验证包括：IP(Internet Protocol)白名单验证和Token验证。
具体地，IP白名单验证包括：同步程序中配置白名单列表，接收到数据后根据请求获取发送方的IP，匹配IP白名单，如能匹配上则往下游走，若不匹配直接抛弃。
Token验证包括：发送方和接收方都有配置相同的Token，发送方将Token携带在消息头里，接收方接收到数据后会取出消息头内的Token校验是否和本地匹配，匹配则往下游走，若不匹配直接抛弃。具体地，Token使用对称加密。
可选地，本发明实施提供的方法还包括：将待同步数据中的外键转换成第二数据库中对应数据的外键。
例如，以t_user用户,t_rule角色，t_user有rule_id字段表示外键t_rule.id，主键都用id表示，第一数据库向第二数据库同步数据为例，第一数据库中新增一条t_user数据后触发同步，数据被发送到第二数据库端同步接收程序。
t_user有一个rule_id字段为t_rule的主键id，意思就是t_user有t_rule的外键rule_id；第一数据库的一条t_user记录向第二数据库同步；第二数据库在接收到这条数据先进行之前主键转换操作。
因为t_user有外键rule_id，而之前同步的t_rule在第二数据库中必定和第一数据库中的id不相同(主键转换的结果)；那么t_user.rule_id需要设置第二数据库中t_rule新的id。则，使用t_user.rule_id字段去查询第二数据库中t_rule.source_id字段，找到匹配的t_rule取id字段赋值给t_user.rule_id，完成外键转换过程。
需要说明的是，本发明实施例提供的一种关系型数据库双主数据增量同步方法中，当第二数据库向第一数据库中同步数据时，所用方法和上述方法相同。
实施例二：
下面通过举例说明本发明实施例提供的一种关系型数据库双主数据增量同步方法的实施过程。例如：
步骤1、本发明实施例提供的一种关系型数据库双主数据增量同步方法的实施过程依赖同步程序，该同步程序依赖一份配置文件，配置文件来配置需要同步的表、表的外键依赖关系以及除主键外的唯一键(可组合)。使用JSON文件配置关系，配置样例如下：
Figure BDA0002261792620000071
Figure BDA0002261792620000081
其中，“tableRelations”:配置文件已tableRelations开始，所有表关系配置在tableRelation数组里面。
每个表配置都是tableRelation数组的一个元素由“{”开始由“}”结束。
“name”：声明需要同步的表。
“suffixAttrs”:是一个数组，里面声明该表的唯一键(MySQL的unique字段)，除主键以外的键。如上述“suffixAttrs“:[“name”]表示t_rols表的name字段不允许重复。
“relations”:是一个数组，声明一组依赖关系，其中每一个元素表示一对依赖关系。每个元素包含keyAttr和foreignTableName两个字段分别表示此表的依赖外键的字段和此字段对应的表的主键。如上文中“relations”：[{“keyAttr”:“role”,”foreignTableName”:”t_role”}]表示t_user表的role字段的值是t_role的主键。
步骤2、程序将步骤1中的配置读取变成需要同步的表的列表，以及对应的依赖关系和唯一键配置等之后，初始化一个全局进度，由起始时间和结束时间组成，刚生成的起始时间为空，结束时间为当前系统时间。由于本发明的设计需要数据同步是有序的，因为被配置在较后的数据可能依赖配置在较前表的数据也就是步骤1中说明的foreignTbaleName外键依赖。表的必须根据配置自上而下同步，而全局进度作用是使所需同步表的数据在一个时间切面上，从而保证顺序较后的表产生的较晚(比全局进度时间更晚)的数据不会被同步。
步骤3、程序会启动一个线程，对配置的表进行遍历。根据步骤2中生成的全局进度来进行切割时间段的取数据，若当前查询到的数据过多，如超过1000条以上，会进分批发送处理。包装成数据包，由发送部分发送到另一套正在运行的同步程序。在网络可访直接访问的情况下一般使用http协议进行数据传输。若在两个不同的网络环境下如两个内网之间，不能通过网络直接访问，同步程序也可借助代理进行异步传输。
步骤4、接收程序接收到数据之后进行安全性校验，来源IP是否可信、携带的Token是否正确。
步骤5、通过校验之后对数据进行解析和入库处理，入库需要用到步骤1中描述的配置。主要操作有两点：(1)进行主键转换；(2)进行外键转换。若是本地没有的数据则进行新增操作，如果是本地已有的数据根据最后更新时间来决定是否要更新本地数据。具体地，图2是根据本发明实施例提供的一种数据入库同步方法的流程图。其中，发送方数据库名为A，接收方数据库名为B。以步骤1的配置中描述的t_user和t_role来说明。如下描述t_user数据入库的流程。如图2所示：
步骤5.1、外键转换，根据步骤1中配置文件的描述进行外键转换，转换的目的是将本对应A库中t_role表的id转换成B库中对应的t_role的id，根据表名和值在数据库中查询。注意此处的值对应的是数据库中该表的来标记非当前记录的主键。
步骤5.2、主键转换，跟外键转换类似，但转换的是这条数据A库中的主键为B库中的主键，若转换失败则表示本地没有该条数据则需要新增。
步骤5.3、返回失败队列给数据发送方，外键转换失败的数据即是异常数据根据需要已表名主键列表的形式返回给发送方，由发送发进行处理。
步骤5.4、虚线框内描述了一个对于配置了唯一键即上文中的suffixAttrs字段的数据处理逻辑，根据唯一键的配置使用传入数据的唯一键值在数据库中查询是否有对应的数据，若有结果则需要合并，将发送过来的数据转换成本地已有数据，并在source_id字段打上发送方的标记。
步骤6、入库处理完成后，返回给发送方一个处理结果。如成功即返回一个success，若失败将之前的失败队列发返回给发送方。
由以上描述可知，本发明实施例提供的一种关系型数据库双主数据增量同步方法可以达到以下技术效果：
(1)缓解现有技术中的主键冲突的技术问题：当同步数据需要写入时，不设置id由数据库自动生成，但同时用来源标记记录下源主键。避免主键冲突导致无法写入的技术问题。
(2)缓解现有技术中的双主数据库不能同时进行写操作的技术问题：本发明的策略就是支持两库同时写入，并相互不影响。
(3)缓解现有技术中的不能再不同机房(不同网络环境)中工作的技术问题：本发明在使用场景上就有别与MySQL的同步，可在非直通网络(不可建立tcp长链接)场景下使用，只需通过代理使两边能异步通信即可。
(4)缓解现有技术中的数据同步范围不可控的技术问题：使用配置文件指定需要同步的表。
实施例三：
图3是根据本发明实施例提供的一种关系型数据库双主数据增量同步系统的示意图，该系统应用于双主模式下的关系型数据库管理系统，其中，关系型数据库管理系统包括两个主数据库。如图3所示，该同步系统具体包括：获取模块10，匹配模块20和主键转换模块30。
具体地，获取模块10，用于获取第一数据库发送的待同步数据；待同步数据包括第一数据主键。
匹配模块20，用于在第二数据库的来源主键列表中查找与第一数据主键相匹配的目标来源主键；其中，来源主键列表为第一数据库向第二数据库的历史同步数据的主键列表。
主键转换模块30，用于若未在来源主键列表中找到目标来源主键，则在来源主键列表中创建目标来源主键字段，并将第二数据库中的第一数据主键对应字段的值初始化，将待同步数据同步到第二数据库中；其中，目标来源主键的值为第一数据主键。
本发明实施例提供的一种关系型数据库双主数据增量同步系统，通过获取模块获取第一数据库发送的待同步数据；通过匹配模块在第二数据库的来源主键列表中查找与第一数据主键相匹配的目标来源主键；若未在来源主键列表中找到目标来源主键，则通过主键转换模块在来源主键列表中创建目标来源主键字段，并将第二数据库中的第一数据主键对应字段的值初始化，将待同步数据同步到第二数据库中。本发明通过在被同步数据库中创建来源主键列表的方式，缓解了现有技术中存在的对于主键冲突在横向扩容时会受到限制的技术问题。
可选地，主键转换模块30还用于：若在来源主键列表中找到了目标来源主键，则直接将待同步数据同步到第二数据库中。
可选地，图4是根据本发明实施例提供的另一种关系型数据库双主数据增量同步系统的示意图。如图4所示，该同步系统还包括：验证模块40，用于对待同步数据进行安全性验证，其中，安全性验证包括：IP白名单验证和Token验证。
可选地，如图4所示，本发明实施例提供的同步系统还包括：外键转换模块50，用于将待同步数据中的外键转换成第二数据库中对应数据的外键。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。
本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一中的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种关系型数据库双主数据增量同步方法，其特征在于，应用于双主模式下的关系型数据库管理系统，所述关系型数据库管理系统包括第一数据库和第二数据库，当第一数据库向第二数据库同步数据时，所述方法包括：
获取所述第一数据库发送的待同步数据；所述待同步数据包括第一数据主键；
在所述第二数据库的来源主键列表中查找与所述第一数据主键相匹配的目标来源主键；其中，所述来源主键列表为所述第一数据库向所述第二数据库的历史同步数据的主键列表；
若未在所述来源主键列表中找到所述目标来源主键，则在所述来源主键列表中创建目标来源主键字段，并将所述第二数据库中的第一数据主键对应字段的值初始化，将所述待同步数据同步到所述第二数据库中；其中，所述目标来源主键的值为所述第一数据主键。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若在所述来源主键列表中找到了所述目标来源主键，则直接将所述待同步数据同步到所述第二数据库中。
3.根据权利要求1所述的方法，其特征在于，在获取所述第一数据库发送的待同步数据之后，所述方法还包括：
对所述待同步数据进行安全性验证，其中，所述安全性验证包括：IP白名单验证和Token验证。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述待同步数据中的外键转换成所述第二数据库中对应数据的外键。
5.一种关系型数据库双主数据增量同步系统，其特征在于，应用于双主模式下的关系型数据库管理系统，所述同步系统包括：获取模块，匹配模块和主键转换模块，其中，
所述获取模块，用于获取第一数据库发送的待同步数据；所述待同步数据包括第一数据主键；
所述匹配模块，用于在第二数据库的来源主键列表中查找与所述第一数据主键相匹配的目标来源主键；其中，所述来源主键列表为所述第一数据库向所述第二数据库的历史同步数据的主键列表；
所述主键转换模块，用于若未在所述来源主键列表中找到所述目标来源主键，则在所述来源主键列表中创建目标来源主键字段，并将所述第二数据库中的第一数据主键对应字段的值初始化，将所述待同步数据同步到所述第二数据库中；其中，所述目标来源主键的值为所述第一数据主键。
6.根据权利要求5所述的同步系统，其特征在于，所述主键转换模块还用于：
若在所述来源主键列表中找到了所述目标来源主键，则直接将所述待同步数据同步到所述第二数据库中。
7.根据权利要求5所述的同步系统，其特征在于，所述同步系统还包括：验证模块，用于对所述待同步数据进行安全性验证，其中，所述安全性验证包括：IP白名单验证和Token验证。
8.根据权利要求5所述的同步系统，其特征在于，所述同步系统还包括：外键转换模块，用于将所述待同步数据中的外键转换成所述第二数据库中对应数据的外键。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-4任一所述方法。
CN201911073853.7A 2019-11-06 2019-11-06 关系型数据库双主数据增量同步方法和系统 Pending CN110781243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911073853.7A CN110781243A (zh) 2019-11-06 2019-11-06 关系型数据库双主数据增量同步方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911073853.7A CN110781243A (zh) 2019-11-06 2019-11-06 关系型数据库双主数据增量同步方法和系统

Publications (1)

Publication Number Publication Date
CN110781243A true CN110781243A (zh) 2020-02-11

Family

ID=69389443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911073853.7A Pending CN110781243A (zh) 2019-11-06 2019-11-06 关系型数据库双主数据增量同步方法和系统

Country Status (1)

Country Link
CN (1) CN110781243A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185309A1 (zh) * 2022-03-28 2023-10-05 京东方科技集团股份有限公司 数据同步方法和系统、计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070536A1 (en) * 2008-09-16 2010-03-18 Bank Of America Corp. Dynamic change data capture process
CN102761531A (zh) * 2011-04-29 2012-10-31 腾讯科技（深圳）有限公司 一种社区验证方法和服务器
CN103793514A (zh) * 2014-02-11 2014-05-14 华为技术有限公司 数据库同步方法及数据库
CN106817480A (zh) * 2016-08-31 2017-06-09 肖戈林 基于时间和应用白名单方式对移动设备使用权限进行管控的系统
CN108549622A (zh) * 2018-04-12 2018-09-18 江南大学 一种基于智能模型的数据汇聚报表方法及系统
CN108573006A (zh) * 2017-06-06 2018-09-25 北京金山云网络技术有限公司 跨机房数据同步系统、方法及装置、电子设备
CN108681590A (zh) * 2018-05-15 2018-10-19 普信恒业科技发展（北京）有限公司 增量数据处理方法及装置、计算机设备、计算机存储介质
CN108809914A (zh) * 2017-05-05 2018-11-13 国民技术股份有限公司 访问控制方法、装置、终端及物联网家居系统
CN109062727A (zh) * 2018-06-20 2018-12-21 平安科技（深圳）有限公司 一种数据同步系统及方法
CN109101528A (zh) * 2018-06-21 2018-12-28 深圳市买买提信息科技有限公司 数据处理方法、数据处理装置及电子设备
CN109800272A (zh) * 2019-02-25 2019-05-24 广州虎牙信息科技有限公司 缓存数据同步方法、服务器、应用系统及存储装置
CN110263050A (zh) * 2019-05-06 2019-09-20 阿里巴巴集团控股有限公司 数据处理方法、装置、设备及存储介质
CN110362631A (zh) * 2019-07-22 2019-10-22 阿里巴巴集团控股有限公司 一种同步数据的方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100070536A1 (en) * 2008-09-16 2010-03-18 Bank Of America Corp. Dynamic change data capture process
CN102761531A (zh) * 2011-04-29 2012-10-31 腾讯科技（深圳）有限公司 一种社区验证方法和服务器
CN103793514A (zh) * 2014-02-11 2014-05-14 华为技术有限公司 数据库同步方法及数据库
CN106817480A (zh) * 2016-08-31 2017-06-09 肖戈林 基于时间和应用白名单方式对移动设备使用权限进行管控的系统
CN108809914A (zh) * 2017-05-05 2018-11-13 国民技术股份有限公司 访问控制方法、装置、终端及物联网家居系统
CN108573006A (zh) * 2017-06-06 2018-09-25 北京金山云网络技术有限公司 跨机房数据同步系统、方法及装置、电子设备
CN108549622A (zh) * 2018-04-12 2018-09-18 江南大学 一种基于智能模型的数据汇聚报表方法及系统
CN108681590A (zh) * 2018-05-15 2018-10-19 普信恒业科技发展（北京）有限公司 增量数据处理方法及装置、计算机设备、计算机存储介质
CN109062727A (zh) * 2018-06-20 2018-12-21 平安科技（深圳）有限公司 一种数据同步系统及方法
CN109101528A (zh) * 2018-06-21 2018-12-28 深圳市买买提信息科技有限公司 数据处理方法、数据处理装置及电子设备
CN109800272A (zh) * 2019-02-25 2019-05-24 广州虎牙信息科技有限公司 缓存数据同步方法、服务器、应用系统及存储装置
CN110263050A (zh) * 2019-05-06 2019-09-20 阿里巴巴集团控股有限公司 数据处理方法、装置、设备及存储介质
CN110362631A (zh) * 2019-07-22 2019-10-22 阿里巴巴集团控股有限公司 一种同步数据的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185309A1 (zh) * 2022-03-28 2023-10-05 京东方科技集团股份有限公司 数据同步方法和系统、计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11520753B1 (en) Time reservations for ensuring consistent reads in a distributed database without logging
CN106685691B (zh) 物联网系统中终端设备的高效更新配置方法
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
Didona et al. Causal consistency and latency optimality: Friend or foe?
CN104809201A (zh) 一种数据库同步的方法和装置
US9110807B2 (en) Cache conflict detection
CN104809202A (zh) 一种数据库同步的方法和装置
CN104809200A (zh) 一种数据库同步的方法和装置
CN107870982B (zh) 数据处理方法、系统和计算机可读存储介质
US7860827B1 (en) Data synchronization method for an application database available on multiple wirelessly connected platforms
CN108595522A (zh) 一种增量同步方法、装置及系统
CN115114374B (zh) 事务执行方法、装置、计算设备及存储介质
CN110781243A (zh) 关系型数据库双主数据增量同步方法和系统
CN102594874B (zh) 一种同步处理方法和装置
CN112261090B (zh) Web数据处理方法、装置、计算机设备和可读存储介质
US9870402B2 (en) Distributed storage device, storage node, data providing method, and medium
EP2025133B1 (en) Repository synchronization in a ranked repository cluster
CN115104295A (zh) 数据处理方法、装置、电子装置及存储介质
CN112328632A (zh) 一种分布式两级缓存的方法和系统
CN111814020A (zh) 一种数据的获取方法和装置
US8281000B1 (en) Variable-length nonce generation
CN115189931A (zh) 一种分布式密钥管理方法、装置、设备、存储介质
EP3046307B1 (en) Processing method, device and system for data of distributed storage system
US10506038B1 (en) Method and system for implementing a global node architecture
CN113515532B (zh) 基于数据交换的变更处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211

RJ01 Rejection of invention patent application after publication