CN112015821B - 一种数据库同步方法、终端以及存储介质 - Google Patents

一种数据库同步方法、终端以及存储介质 Download PDF

Info

Publication number
CN112015821B
CN112015821B CN202010933547.2A CN202010933547A CN112015821B CN 112015821 B CN112015821 B CN 112015821B CN 202010933547 A CN202010933547 A CN 202010933547A CN 112015821 B CN112015821 B CN 112015821B
Authority
CN
China
Prior art keywords
data
database
queue
dislocation
waiting queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010933547.2A
Other languages
English (en)
Other versions
CN112015821A (zh
Inventor
钟叶青
俞圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202010933547.2A priority Critical patent/CN112015821B/zh
Publication of CN112015821A publication Critical patent/CN112015821A/zh
Priority to US17/110,780 priority patent/US11604805B2/en
Application granted granted Critical
Publication of CN112015821B publication Critical patent/CN112015821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24558—Binary matching operations
    • G06F16/2456—Join operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据库同步方法、终端及存储介质。所述方法包括：从第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志；将从所述第一数据库中读取的数据加入至等待队列；确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列；将重排列后的数据同步至第二数据库。本发明提供的数据库同步方法通过将从第一数据库中读取的数据缓存值等待队列，并对等待队列中的错位数据进行重排列后同步至第二数据库，避免了数据库同步后数据同一性差的问题。

Description

一种数据库同步方法、终端以及存储介质
技术领域
本发明涉及大数据技术领域，特别涉及一种数据库同步方法、终端以及存储介质。
背景技术
在现有技术中，杂合数据库广为应用，现有的数据库同步机制较为依赖源数据库，易对源数据产生影响，并且在同步过程中常常会出现数据错位，导致数据库同步后不能保证数据同一性。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，提供一种数据库同步方法、终端及存储介质，旨在解决现有技术中数据库同步过程中不能保证数据同一性的问题。
本发明的第一方面，提供一种数据库同步方法，包括：
从第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志；
将从所述第一数据库中读取的数据加入至等待队列；
确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列；
将重排列后的数据同步至第二数据库。
所述的数据库同步方法，其中，所述从第一数据库中读取数据，包括：
通过LinkedIn数据总线从所述第一数据库中读取数据。
所述的数据库同步方法，其中，所述将从所述第一数据库中读取的数据加入至等待队列，包括：
采用RabbitMQ工程缓存，将从所述第一数据库中读取的数据加入至所述等待队列。
所述的数据库同步方法，其中，所述根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列，包括：
当所述等待队列中的数据的错位类别为第一类别时，提取所述等待队列中的错位数据至限制引擎中；
当所述限制引擎中的内容不为空时，将所述限制引擎中的数据进行重排列。
所述的数据库同步方法，其中，所述将所述限制引擎中的数据进行重排列，包括：
根据所述动态数据日志获取从所述第一数据库中读取数据的数据读取时间、以及数据总线运行时间；
根据所述数据读取时间和所述数据总线运行时间对所述限制引擎中的数据进行重排列。
所述的数据库同步方法，其中，所述确定所述等待队列中的数据的错位类别之后，所述方法还包括：
当所述等待队列中数据的错位类别为第二类别时，启动数据同步状态监管。
所述的数据库同步方法，其中，所述将重排列后的数据上传至第二数据库，包括：
当所述限制引擎中的内容为空时，将重排列后的数据加入至上传队列；
收集所述上传队列中的缓存数据，并将所述上传队列中的缓存数据同步至所述第二数据库。
所述的数据库同步方法，其中，所述收集所述上传队列中的缓存数据之后，包括：
将所述上传队列转换成适用的UPSERT或DELETE队列。
本发明的第二方面，提供一种终端，包括：处理器、与处理器通信连接的存储介质，存储介质适于存储多条指令，处理器适于调用存储介质中的指令，以执行实现上述任一项所述的数据库同步方法的步骤。
本发明的第三方面，提供一种存储介质，其中，存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的数据库同步方法的步骤。
有益效果：与现有技术相比，本发明提供了一种数据库同步方法、终端及存储介质，本发明提供的数据库同步方法通过将从第一数据库中读取的数据缓存值等待队列，并对等待队列中的错位数据进行重排列后同步至第二数据库，避免了数据库同步后数据同一性差的问题。
附图说明
图1为本发明提供的数据库同步方法的实施例的流程图；
图2为本发明提供的数据库同步方法的实施例中步骤S300的子步骤流程图；
图3为本发明提供的数据库同步方法的实施例中步骤S320的子步骤流程图；
图4为本发明提供的终端的实施例的结构原理图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的一种数据库同步方法，是可以应用在终端中，终端可以但不限于是各种计算机、笔记本电脑、手机、平板电脑等。
实施例一
如图1所示，本发明提供的数据库同步方法包括步骤：
S100、从第一数据库读取数据，并抓取所述第一数据库中的动态数据日志。
在本实施例中，将第一数据库和第二数据库中的数据进行同步，所述第一数据库可以为SQL数据库或非SQL数据库，所述第二数据库可以为非SQL数据库或SQL数据库。在对所述第一数据库和所述第二数据库中的数据进行同步时，首先从所述第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志，所述第一数据库中的动态数据日志记录了所述第一数据库中发生的事件，根据所述动态数据日志可以获取所述第一数据库中数据的存储或修改时间、从所述第一数据库中读取数据的时间等信息。
在本实施例中，通过LinkedIn数据总线从所述第一数据库中读取数据，由于LinkedIn数据总线本身软件自带特性，通过LinkedIn数据总线从所述第一数据库中读取数据，能够使得数据的内容保持一致。
S200、将从所述第一数据库中读取的读取加入至等待队列。
在本实施例中，设置有等待队列，从所述第一数据库中读取数据后，将数据加入至所述等待队列，具体地，是采用RabbitMQ工程缓存，将从所述第一数据库中读取的数据加入至所述等待队列。RabbitMQ工程缓存能够保持对源数据库的最低影响，采用RabbitMQ工程缓存，将从所述第一数据库中读取的数据加入至所述等待队列能够防止数据同步对所述第一数据库内的源数据产生影响。
S300、确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列。
具体地，在本实施例中，设置有两种数据的错位类别，第一类别为循环重复产生的数据错位，也可以称为常规错位，第二类别为偶然出现的错位，也可以称为罕见错位。当数据的错位类别为第一类别时，可以通过重排列消除错位。
如图2所示，所述根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列，包括：
S310、当所述等待队列中的数据的错位类别为第一类别时，提取所述等待队列中的错位数据提取至限制引擎中；
当所述等待队列中的数据的错位类别为第一类别时，可以对所述等待队列中的错位数据进行重排列，消除错位，此时可将所述等待队列中的错位数据提取至限制引擎中，后续对限制引擎中的数据进行重排列。
S320、当所述限制引擎中的内容不为空时，将所述限制引擎中的数据进行重排列。
当所述限制引擎中的内容不为空时，将所述限制引擎中的数据进行重排列，消除错位。值得说明的是，即使所述等待队列中的数据的错位类别为第二类别，此时并不将所述等待队列中的数据提取至所述限制引擎中，但是此时所述限制引擎中可能存在上一次数据流中被提取至所述限制引擎中的错位数据，此时仍然继续将所述限制引擎中的数据进行重排列。
具体地，如图3所示，所述将所述限制引擎中的数据进行重排列，包括：
S321、根据所述动态数据日志获取从所述第一数据库中读取数据的数据读取时间、以及数据总线运行时间；
S322、根据所述数据读取时间和所述数据总线运行时间对所述限制引擎中的数据进行重排列。
所述数据读取时间为从所述第一数据库中开始读取数据的时间，所述数据总线运行时间为数据被抓取缓存到完成读取工作的总时间，由于数据读取的过程存在延迟，因此可能存在从所述第一数据库中读取的读取被缓存至所述等待队列时时间排列顺序产生了变化，形成了错位，在本实施例中，在从所述第一数据库中读取数据的同时，还抓取了所述第一数据库中的动态数据日志，从而可以获取到各个数据对应的所述数据读取时间以及所述数据总线运行时间，根据所述数据读取时间和所述数据总线运行时间可以还原从所述第一数据库中抓取的数据的排序，即，对数据进行重排列。在本实施例中，根据所述数据读取时间和所述数据总线运行时间对所述限制引擎中的数据进行重排列。
当所述等待队列中的数据的错位类别为第二类别时，由于第二类别为偶然出现的错位，不具有规律性，无法通过读取时间等数据进行自动重排列，此时启动数据同步状态监管，所述数据同步状态监管可以是通过预设设置的数据库监视系统来实现，当所述等待队列中的数据的错位类别为第二类别时，触发所述数据库监视系统监管数据同步状态，对错位的数据进行针对性地修正。
请再次参阅图1，本实施例提供的数据库同步方法，还包括步骤：
S400、将重排列后的数据同步至第二数据库。
具体地，所述将重排列后的数据同步至第二数据库包括：
S410、当所述限制引擎中的内容为空时，将重排列后的数据加入至上传队列；
S420、收集所述上传队列中的缓存数据，并将所述上传队列中的缓存数据同步至所述第二数据库。
具体地，当所述限制引擎中的内容为空时，说明产生了常规错位的数据(错位类别为第一类别的数据)已经重排列完成，消除了错位，此时将重排列后的数据加入至上传队列。将重排列后的数据加入至所述等待队列后，收集所述上传队列中的缓存数据，将所述上传队列中的缓存数据同步至所述第二数据库，实现将所述第一数据库的数据同步至所述第二数据库，且保证了所述第一数据库和所述第二数据库的数据同一性。在本实施例中，采用RabbitMQ工程缓存将重排列后的数据加入至所述上传队列，RabbitMQ工程缓存可进行多用户数据流分配，即，可以实现将所述第一数据库与多个所述第二数据库进行同步。
在将所述上传队列中的缓存数据同步至所述第二数据库后，需要继续进行下一数据流的同步过程，为了防止数据流重复同步导致出错，在本实施例中，所述收集所述上传队列中的缓存数据之后，还包括步骤：
将所述上传队列转换成适用的UPSERT或DELETE队列。
在收集所述上传队列中的缓存数据之后，将所述上传队列转换成适用的UPSERT或DELETE队列，即在同步下一数据流时，将重排列后的数据加入至所述上传队列时，对所述上传队列进行更新；或者，删除所述上传队列，重新创建新的所述上传队列。
综上所述，本实施例提供一种数据库同步方法，通过将从第一数据库中读取的数据缓存值等待队列，并对等待队列中的错位数据进行重排列后同步至第二数据库，避免了数据库同步后数据同一性差的问题。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，本发明中的步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本发明步骤的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图4所示。该终端包括存储器10和处理器20，存储器10中存储有计算机程序，该处理器10执行计算机程序时至少可以实现以下步骤：
从第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志；
将从所述第一数据库中读取的数据加入至等待队列；
确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列；
将重排列后的数据同步至第二数据库。
其中，所述从第一数据库中读取数据，包括：
通过LinkedIn数据总线从所述第一数据库中读取数据。
其中，所述将从所述第一数据库中读取的数据加入至等待队列，包括：
采用RabbitMQ工程缓存，将从所述第一数据库中读取的数据加入至所述等待队列。
其中，所述根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列，包括：
当所述等待队列中的数据的错位类别为第一类别时，提取所述等待队列中的错位数据至限制引擎中；
当所述限制引擎中的内容不为空时，将所述限制引擎中的数据进行重排列。
其中，所述将所述限制引擎中的数据进行重排列，包括：
根据所述动态数据日志获取从所述第一数据库中读取数据的数据读取时间、以及数据总线运行时间；
根据所述数据读取时间和所述数据总线运行时间对所述限制引擎中的数据进行重排列。
其中，所述确定所述等待队列中的数据的错位类别之后，所述方法还包括：
当所述等待队列中数据的错位类别为第二类别时，启动数据同步状态监管。
其中，所述将重排列后的数据上传至第二数据库，包括：
当所述限制引擎中的内容为空时，将重排列后的数据加入至上传队列；
收集所述上传队列中的缓存数据，并将所述上传队列中的缓存数据同步至所述第二数据库。
其中，所述收集所述上传队列中的缓存数据之后，包括：
将所述上传队列转换成适用的UPSERT或DELETE队列。
实施例三
本发明还提供了一种存储介质，存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的数据库同步方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据库同步方法，其特征在于，包括：
从第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志；
将从所述第一数据库中读取的数据加入至等待队列；
确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列，所述第一类别为循环重复产生的数据错位；
将重排列后的数据同步至第二数据库；
所述从第一数据库中读取数据，包括：
通过LinkedIn数据总线从所述第一数据库中读取数据；
所述根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列，包括：
当所述等待队列中的数据的错位类别为第一类别时，提取所述等待队列中的错位数据至限制引擎中；
当所述限制引擎中的内容不为空时，将所述限制引擎中的数据进行重排列。
2.根据权利要求1所述的数据库同步方法，其特征在于，所述将从所述第一数据库中读取的数据加入至等待队列，包括：
采用RabbitMQ工程缓存，将从所述第一数据库中读取的数据加入至所述等待队列。
3.根据权利要求1所述的数据库同步方法，其特征在于，所述将所述限制引擎中的数据进行重排列，包括：
根据所述动态数据日志获取从所述第一数据库中读取数据的数据读取时间、以及数据总线运行时间；
根据所述数据读取时间和所述数据总线运行时间对所述限制引擎中的数据进行重排列。
4.根据权利要求1所述的数据库同步方法，其特征在于，所述确定所述等待队列中的数据的错位类别之后，所述方法还包括：
当所述等待队列中数据的错位类别为第二类别时，启动数据同步状态监管。
5.根据权利要求1所述的数据库同步方法，其特征在于，所述将重排列后的数据上传至第二数据库，包括：
当所述限制引擎中的内容为空时，将重排列后的数据加入至上传队列；
收集所述上传队列中的缓存数据，并将所述上传队列中的缓存数据同步至所述第二数据库。
6.根据权利要求5所述的数据库同步方法，其特征在于，所述收集所述上传队列中的缓存数据之后，包括：
将所述上传队列转换成适用的UPSERT或DELETE队列。
7.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-6任一项所述的数据库同步方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-6任一项所述的数据库同步方法的步骤。
CN202010933547.2A 2020-09-08 2020-09-08 一种数据库同步方法、终端以及存储介质 Active CN112015821B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010933547.2A CN112015821B (zh) 2020-09-08 2020-09-08 一种数据库同步方法、终端以及存储介质
US17/110,780 US11604805B2 (en) 2020-09-08 2020-12-03 Terminal, storage medium, and database synchronization method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010933547.2A CN112015821B (zh) 2020-09-08 2020-09-08 一种数据库同步方法、终端以及存储介质

Publications (2)

Publication Number Publication Date
CN112015821A CN112015821A (zh) 2020-12-01
CN112015821B true CN112015821B (zh) 2023-11-07

Family

ID=73516556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010933547.2A Active CN112015821B (zh) 2020-09-08 2020-09-08 一种数据库同步方法、终端以及存储介质

Country Status (2)

Country Link
US (1) US11604805B2 (zh)
CN (1) CN112015821B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765273A (zh) * 2021-01-19 2021-05-07 澜途集思生态科技集团有限公司 一种面向物联网的分布式数据库的同步方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051885A (ja) * 1999-08-12 2001-02-23 Fujitsu Ltd データベース同期化方法及び監視制御システム
CN102222071A (zh) * 2010-04-16 2011-10-19 华为技术有限公司 数据同步处理方法、设备及系统
CN105786806A (zh) * 2014-12-15 2016-07-20 钟叶青 数据库转换的同步系统及其方法
CN106202459A (zh) * 2016-07-14 2016-12-07 华南师范大学 虚拟化环境下的关系型数据库存储性能优化方法及系统
CN107491526A (zh) * 2017-08-18 2017-12-19 国云科技股份有限公司 一种实现数据库同步的系统及其方法
CN108616556A (zh) * 2016-12-13 2018-10-02 阿里巴巴集团控股有限公司 数据处理方法、装置和系统
CN108647237A (zh) * 2018-03-30 2018-10-12 厦门海迈科技股份有限公司 异构关系型数据库间的数据同步方法
CN109241175A (zh) * 2018-06-28 2019-01-18 东软集团股份有限公司 数据同步方法、装置、存储介质及电子设备
CN111008246A (zh) * 2019-11-26 2020-04-14 中盈优创资讯科技有限公司 数据库日志同步方法、装置、计算机设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268743B2 (en) * 2015-06-19 2019-04-23 Sap Se Distributed database transaction protocol
US20200151560A1 (en) * 2018-11-09 2020-05-14 Silot Pte. Ltd. Apparatus and methods for using bayesian program learning for efficient and reliable generation of knowledge graph data structures
CN114096962A (zh) * 2019-05-14 2022-02-25 普勒纳瑞亚公司 区块链高速缓存系统
US11037207B2 (en) * 2019-08-20 2021-06-15 Shopify Inc. Channel synchronization engine with call control
US11164194B2 (en) * 2019-08-20 2021-11-02 Shopify Inc. Ecommerce storefront marketing channel synchronization management
CN111506556A (zh) * 2020-04-09 2020-08-07 北京市测绘设计研究院 一种多源异构的结构化数据同步方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051885A (ja) * 1999-08-12 2001-02-23 Fujitsu Ltd データベース同期化方法及び監視制御システム
CN102222071A (zh) * 2010-04-16 2011-10-19 华为技术有限公司 数据同步处理方法、设备及系统
CN105786806A (zh) * 2014-12-15 2016-07-20 钟叶青 数据库转换的同步系统及其方法
CN106202459A (zh) * 2016-07-14 2016-12-07 华南师范大学 虚拟化环境下的关系型数据库存储性能优化方法及系统
CN108616556A (zh) * 2016-12-13 2018-10-02 阿里巴巴集团控股有限公司 数据处理方法、装置和系统
CN107491526A (zh) * 2017-08-18 2017-12-19 国云科技股份有限公司 一种实现数据库同步的系统及其方法
CN108647237A (zh) * 2018-03-30 2018-10-12 厦门海迈科技股份有限公司 异构关系型数据库间的数据同步方法
CN109241175A (zh) * 2018-06-28 2019-01-18 东软集团股份有限公司 数据同步方法、装置、存储介质及电子设备
CN111008246A (zh) * 2019-11-26 2020-04-14 中盈优创资讯科技有限公司 数据库日志同步方法、装置、计算机设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Danijel Filipović 等.Bidirectional Database Synchronization to the Cloud Computing Platform.《ICISS '20: Proceedings of the 3rd International Conference on Information Science and Systems》.2020,101-105. *
Key-List型NoSQL数据库的设计与实现;田康维;《中国优秀硕士学位论文全文数据库 信息科技辑》(第5期);I138-1051 *

Also Published As

Publication number Publication date
CN112015821A (zh) 2020-12-01
US20220075799A1 (en) 2022-03-10
US11604805B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
CN110262929B (zh) 一种保证复制事务一致性的方法以及相应的复制装置
US9881041B2 (en) Multiple RID spaces in a delta-store-based database to support long running transactions
CN107515874B (zh) 一种分布式非关系型数据库中同步增量数据的方法与设备
WO2019085471A1 (zh) 数据库同步方法、应用服务器及计算机可读存储介质
CN110727724B (zh) 数据抽取方法、装置、计算机设备和存储介质
CN112286941B (zh) 一种基于Binlog+HBase+Hive的大数据同步方法和装置
CN112486913B (zh) 一种基于集群环境下的日志异步存储方法和设备
CN103595797B (zh) 一种分布式存储系统中的缓存方法
US10409835B2 (en) Efficient data manipulation support
CN112015821B (zh) 一种数据库同步方法、终端以及存储介质
US20170329836A1 (en) Database transfer of changes
CN111694863B (zh) 一种数据库缓存的刷新方法、系统和装置
CN111752804B (zh) 一种基于数据库日志扫描的数据库缓存系统
CN111221907B (zh) 一种基于日志解析的数据库添加列同步方法和装置
CN111125002B (zh) 一种基于分布式存储的数据备份归档方法和系统
CN114741453A (zh) 数据同步的方法、系统及计算机可读存储介质
US8452730B2 (en) Archiving method and system
US20230252029A1 (en) On-board data storage method and system
CN111858504B (zh) 基于日志解析同步的操作合并执行方法和数据同步系统
CN110866068B (zh) 一种基于hdfs的公告数据存储方法及其装置
CN110287183B (zh) 数据库表水位的处理方法、装置、计算机设备及存储介质
CN106970855B (zh) 数据恢复的方法和装置
CN111241193B (zh) 一种基于日志解析的数据库添加列同步方法和装置
CN111078643B (zh) 一种批量删除文件的方法、装置及电子设备
CN114328738A (zh) 数据处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant