CN106709043A - 一种基于数据库日志的数据同步加载方法 - Google Patents

一种基于数据库日志的数据同步加载方法 Download PDF

Info

Publication number
CN106709043A
CN106709043A CN201611260560.6A CN201611260560A CN106709043A CN 106709043 A CN106709043 A CN 106709043A CN 201611260560 A CN201611260560 A CN 201611260560A CN 106709043 A CN106709043 A CN 106709043A
Authority
CN
China
Prior art keywords
data
module
database
loading
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611260560.6A
Other languages
English (en)
Inventor
陈贤枭
卢强
王远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA REALTIME DATABASE Co Ltd
Original Assignee
CHINA REALTIME DATABASE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINA REALTIME DATABASE Co Ltd filed Critical CHINA REALTIME DATABASE Co Ltd
Priority to CN201611260560.6A priority Critical patent/CN106709043A/zh
Publication of CN106709043A publication Critical patent/CN106709043A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于数据库日志的数据同步加载方法，提供数据同步加载系统，该系统包括置于源端数据库的日志流数据解析模块和数据发送模块以及置于目标端数据库的数据接收缓存模块、数据适配恢复模块和数据加载模块，日志流数据解析模块和数据发送模块连接，数据发送模块和数据接收缓存模块连接，数据接收缓存模块分别与数据适配恢复模块和数据加载模块连接；通过对数据库操作过程中产生的日志文件进行分析得到数据操作动作，然后通过网络发送的方式将数据送达目标端，根据目标端数据库类型，选择对应的解析模式加载数据，达到异库备份目的，有效减小数据库备份过程中对业务系统影响，提高了数据备份的灵活性，提高了加载数据的可靠性和一致性。

Description

一种基于数据库日志的数据同步加载方法
技术领域
本发明属于数据交换、同步以及数据备份技术领域，具体是涉及一种基于数据库日志的数据同步加载方法。
背景技术
随着现在各个业务系统的不断融合和深入分析，现在急需一种崭新的方式用于不同数据库系统间的数据同步。以电力业务系统为例，总部、省(市)、地方业务系统之间存在一种父子关系、总分关系的数据表及业务；但对于不同的业务系统建设、早期的规划并不完善，导致各个业务系统的数据库版本不一致，这就造成了地方数据表同步到省(市)业务系统数据表上的技术瓶颈，如果简单通过对数据操作的SQL复制，会导致随机数据、时间数据产生不一致的情况，如果通过触发器方式获取数据变化，会大大降低业务系统的响应时间。传统的数据库主备复制过程是基于数据库流复制模式，并且只能做到同类型的数据库复制，复制过程中会占用数据库的处理性能，降低业务系统的响应速度。
因此，需要提出一种新型的用于不同数据库系统之间的数据同步方法。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于数据库日志的数据同步加载方法，通过对数据库操作过程中产生的日志文件进行分析得到数据操作动作，然后通过网络发送的方式将数据送达目标端，根据目标端数据库类型，选择对应的解析模式加载数据，达到异库备份的目的，可以有效减小数据库备份、复制过程中对业务系统性能影响，进一步提高了数据加载速率和加载数据的准确率。
技术方案：为实现上述目的，本发明的一种基于数据库日志的数据同步加载方法，提供一种数据同步加载系统，该系统包括置于源端数据库的日志流数据解析模块和数据发送模块以及置于目标端数据库的数据接收缓存模块、数据适配恢复模块和数据加载模块，所述日志流数据解析模块和所述数据发送模块连接，所述数据发送模块和所述数据接收缓存模块连接，所述数据接收缓存模块分别与所述数据适配恢复模块和所述数据加载模块连接；所述方法包括以下步骤：
S1通过对源端数据库操作过程中产生源端数据库日志文件；
S2所述日志流数据解析模块读取源端数据库日志文件中日志流数据，并解析日志流数据从而获取源端数据库中数据表的数据变化情况，并按照已定义的数据包格式将该数据变化数据发送至所述数据发送模块，该数据变化数据即为逻辑日志数据；
S3所述数据发送模块将逻辑日志数据发送至目标端数据库的数据接收缓存模块；
S4所述数据接收缓存模块将来自不同队列的逻辑日志数据按照指定缓存路径写入到缓存文件中；
S5所述数据适配恢复模块读取缓存文件中的逻辑日志数据，并根据目标端数据库的类型将逻辑日志数据解析成通用标准SQL数据语句；
S6所述数据加载模块将解析后的通用标准SQL数据语句批量加载到目标端数据库中。
进一步地，包括四种数据库部署模式，分别为多源单目标数据库部署模式、多源多目标数据库部署模式、单源单目标数据库部署模式和单源多目标数据库部署模式。
进一步地，所述数据发送模块处设置过滤规则，所述数据发送模块将不需要发送的数据进行过滤处理，将需要发送的数据发送至数据接收缓存模块。
进一步地，在解析日志流数据过程中添加事物完整性的检查点设置，根据事物完整性原则，主动过滤重复事物数据和事物不完整数据，对事物完整性数据进行发送。
进一步地，所述系统包括置于目标端数据库的内部智能冲突分析模块，所述内部智能冲突分析模块与所述数据加载模块连接；
所述步骤S6中包括以下步骤：
S71在批量加载数据过程中，判断当前批量加载数据是否失败，若失败进入S72；
S72所述内部智能冲突分析模块启动工作，将批量加载的数据采用归并分治的方法，逐步缩小范围定位得到执行出错的SQL数据语句，并将该出错的SQL数据语句加载到错误数据重做队列中。
进一步地，所述数据加载模块内部配置有数据映射模型，用于将源端数据库的数据表中的字段数据单独同步映射到目标端数据库的数据表中的字段内。
有益效果：本发明与现有技术比较，具有以下优点：
1、本发明基于数据库日志的分析捕获，从中获取源端数据库数据表中数据变化情况，解决随机数据、时间数据不一致的问题；
2、本发明不同于传统的通过触发器的数据捕获方式，数据库响应速度将大大提高，进一步提高了数据同步的速度；
3、本发明方法，通过对数据库操作过程中产生的日志文件进行分析得到数据操作动作，然后通过网络发送的方式将数据送达目标端，根据目标端数据库类型，选择对应的解析模式加载数据，达到异库备份的目的，可以有效减小数据库备份、复制过程中对业务系统性能影响，进一步提高了数据加载速率；
4、本发明方法充分利用了数据库日志特性并通过本地缓存、异步复制的方法，最大限度上减小了对运行库在运行过程中造成备份负担，大大加快了运行库对业务的响应时间，并且做到异库备份；
5、本发明方法通过在发送端设置事物完整性原则和过滤规则，将不需要的数据过滤，将需要的数据发送至目标端数据库中数据表内；在接收端设置内部智能冲突分析模块将执行出错的数据定位及分析错误原因，并修改数据入库方式，并通过在接收端设置映射模块，以达到不同表、不同列之间的数据同步，在数据加载模块通过适配转换算法，达到异库之间的数据备份功能，从而提高了数据备份的灵活性，提高了加载数据的可靠性和一致性。
附图说明
图1是本发明提出的数据同步加载系统结构示意图。
图2是多源单目标数据库部署模式结构示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明提出了一种基于数据库日志的数据同步加载方法，该方法提供了一种数据同步加载系统，参照图1，该系统包括置于源端数据库的日志流数据解析模块和数据发送模块以及置于目标端数据库的数据接收缓存模块、数据适配恢复模块和数据加载模块，其中日志流数据解析模块和数据发送模块连接，数据发送模块和数据接收缓存模块连接，数据接收缓存模块分别与数据适配恢复模块和数据加载模块连接；本发明方法可以通过对源端数据库操作过程中产生的日志文件进行分析得到数据操作动作，然后通过网络发送方式将数据变化数据送达目标端数据库，并根据目标端数据库的类型，选择对应的解析模式加载数据到目标端数据库的数据表中，达到异库备份的目的；具体来说，本发明方法包括以下步骤：
源端数据库日志文件中日志流数据解析和发送(LogSender)
首先日志流数据解析模块读取源端数据库日志文件中日志流数据，通过解析日志流数据从而获取源端数据库中数据表的数据变化情况，并按照已定义的数据包格式将解析得到的数据变化数据(下文称之为逻辑日志数据)发送至数据发送模块；
其次，数据发送模块将上述步骤得到的逻辑日志数据发送至目标端数据库处设置的数据接收缓存模块；在上述LogSender解析过程中添加事物完整性(ACID属性)的检查点设置，主动过滤重复事物数据以及事物不完整数据，例如对断电、故障情况下数据库重启时候做到无脏数据和重复数据的读取，保障业务数据的事物完整性，发送完整的事物处理数据；在数据发送模块处同时设置了过滤规则，用户可以有针对性的选择感兴趣的数据进行同步，对不需要发送的数据进行过滤处理，对需要的数据进行同步加载，以减小发送数据量对网络的压力；
目标端数据库数据接收缓存(LogReceiver)
接着，数据接收缓存模块将来自不同队列的逻辑日志数据按照指定的缓存路径写入到缓存文件中，不同队列的逻辑日志数据是指，当数据库部署模式为多源单目标数据库部署模式或多源多目标数据库部署模式、单源单目标数据库部署模式和单源多目标数据库部署模式时，源端数据库包括多个，形成多条数据传输队列，此处采用缓存的方式将接收到的数据存储主要是为了减小网络压力，增加网络发送接收响应时间，减小目标端数据库阻塞对数据接收的影响，从根本上解决因为数据库数据同步入库造成的源端和目标端之间数据阻塞问题；
目标端数据库数据适配恢复(SQL Adapter)
接着，数据适配恢复模块读取在缓存文件中缓存下来的逻辑日志数据，并根据目标端数据库的类型，启动内部自有的适配模块，将逻辑日志数据解析成通用标准SQL数据语句；最后，数据加载模块将解析后的通用标准SQL数据语句批量加载到目标端数据库的数据表中；在数据同步加载系统中，还包括与目标端数据库连接的内部智能冲突分析模块，解析模块在批量数据加载过程中分析当前数据的加载是否失败，通过智能分析、分块处理，定位出加载失败的数据点，并主动判断是否需要修改数据加载动作，重新完成数据适配入库，智能完成冲突数据的加载，在批量加载数据过程中，判断当前批量加载数据是否失败，若失败，内部智能冲突分析模块启动工作，将批量加载的数据采用归并分治的方法，逐步缩小范围定位得到执行出错的SQL数据语句，并将该出错的SQL数据语句加载到错误数据重做队列，如启动智能冲突归并规则，则系统将自动识别当前错误的SQL语句以及错误原因，并修改数据入库方式，例如将插入修改成更新操作，解决作为业务系统运行过程中C表产生了相同主键的数据信息；另外，在目标端数据库处可以根据业务应用需求，配置部署映射模型，将不同数据表中的个别字段数据，单独同步到指定表中的个别字段，例如将A表中a1、a2字段映射同步至C表的c3、c4字段。
本发明方法可以应用于4种数据库部署模式中，分别为多源单目标数据库部署模式(n-1)、多源多目标数据库部署模式(n-n)、单源单目标数据库部署模式(1-1)和单源多目标数据库部署模式(1-n)，最大限度地支持各类不同的应用业务场景中。
实施例：
下面以网省等电网业务场景中的某一应用实例来描述本发明方法：
在地方电网业务系统a中存在表A，地方电网业务系统b中存在表B，省网业务系统c中存在表C，并且表A、B、C均分别处于不同的数据库中；将表A所在数据库和表B所在数据库作为两个源端数据库，将表C所在数据库作为目标端数据库，实验结果要求将表A和表B都要实时同步数据变化到表C当中；
其中上述数据库可以为MySQL数据库或PostgreSQL数据库等其它数据库；对于PostgreSQL数据库，首先需要修改日志输出级别，并修改解码模块代码以及接收模块代码，达到对于WAL日志解码后的结果输出保存以及格式化输出；对于MySQL数据库同样修改日志数据模式为BinLog，在MySQL数据库的日志流数据解析模块，通过对BinLog日志的格式分析，按照固定的字节读取方式和解析规则得到用户对数据库的操作指令和操作结果集，在解析过程中添加事物完整性的检查点设置，对断电、故障情况下数据库重启时做到无脏数据和重复数据的读取，主动过滤重复事物数据以及事物不完整数据，保障业务数据的事物完整性；
对于将表A和表B数据都要实时同步数据变化到表C当中，结构示意图如图2所示，分别在表A端和表B端部署LogSender，在表C端部署LogReceiver和SQL Adapter；
在源端数据库A、B端，日志数据流解析模块，通过识别源端数据库类型，启动内部的专用数据库日志解析分析引擎，解析日志文件，获取业务数据表A、B上的数据变化，得到数据变化数据，之后根据事物完整性原则，只对得到完整提交事物的数据进行同步发送，并记录检查点数据，并且按照给定的过滤原则，将无需同步的数据进行过滤，以减小网络压力；
在目标端数据库C，数据接收缓存模块，根据给定的接收IP、端口以及接收队列，接收属于自己的业务数据缓存至给定文件当中；通过将接收、数据库入库分开隔离，大大提升了对源端数据库的数据接收效率，并且由于功能单一，从程序稳定性以及数据完整性上都得到了很大的提高；
在目标端数据库C，根据连接的同步数据库类型，启动不同的数据库驱动程序连接目标端数据库，然后读取数据接收缓存模块缓存下来的日志流数据，通过对文件名的判断启动专用SQL解析器，将接收到的数据解析成标准SQL数据语句，并批量完成数据加载。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于数据库日志的数据同步加载方法，其特征在于：提供一种数据同步加载系统，该系统包括置于源端数据库的日志流数据解析模块和数据发送模块以及置于目标端数据库的数据接收缓存模块、数据适配恢复模块和数据加载模块，所述日志流数据解析模块和所述数据发送模块连接，所述数据发送模块和所述数据接收缓存模块连接，所述数据接收缓存模块分别与所述数据适配恢复模块和所述数据加载模块连接；所述方法包括以下步骤：
S1通过对源端数据库操作过程中产生源端数据库日志文件；
S2所述日志流数据解析模块读取源端数据库日志文件中日志流数据，并解析日志流数据从而获取源端数据库中数据表的数据变化情况，并按照已定义的数据包格式将该数据变化数据发送至所述数据发送模块，该数据变化数据即为逻辑日志数据；
S3所述数据发送模块将逻辑日志数据发送至目标端数据库的数据接收缓存模块；
S4所述数据接收缓存模块将来自不同队列的逻辑日志数据按照指定缓存路径写入到缓存文件中；
S5所述数据适配恢复模块读取缓存文件中的逻辑日志数据，并根据目标端数据库的类型将逻辑日志数据解析成通用标准SQL数据语句；
S6所述数据加载模块将解析后的通用标准SQL数据语句批量加载到目标端数据库的数据表中。
2.根据权利要求1所述的基于数据库日志的数据同步加载方法，其特征在于：包括四种数据库部署模式，分别为多源单目标数据库部署模式、多源多目标数据库部署模式、单源单目标数据库部署模式和单源多目标数据库部署模式。
3.根据权利要求1所述的基于数据库日志的数据同步加载方法，其特征在于：所述数据发送模块处设置过滤规则，所述数据发送模块将不需要发送的数据进行过滤处理，将需要发送的数据发送至数据接收缓存模块。
4.根据权利要求1所述的基于数据库日志的数据同步加载方法，其特征在于：在解析日志流数据过程中添加事物完整性的检查点设置，根据事物完整性原则，主动过滤重复事物数据和事物不完整数据，对事物完整性数据进行发送。
5.根据权利要求1所述的基于数据库日志的数据同步加载方法，其特征在于：所述系统包括置于目标端数据库的内部智能冲突分析模块，所述内部智能冲突分析模块与所述数据加载模块连接；
所述步骤S6中包括以下步骤：
S71在批量加载数据过程中，判断当前批量加载数据是否失败，若失败进入S72；
S72所述内部智能冲突分析模块启动工作，将批量加载的数据采用归并分治的方法，逐步缩小范围定位得到执行出错的SQL数据语句，并将该出错的SQL数据语句加载到错误数据重做队列中。
6.根据权利要求1所述的基于数据库日志的数据同步加载方法，其特征在于：所述数据加载模块内部配置有数据映射模型，用于将源端数据库的数据表中的字段数据单独同步映射到目标端数据库的数据表中的字段内。
CN201611260560.6A 2016-12-30 2016-12-30 一种基于数据库日志的数据同步加载方法 Pending CN106709043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611260560.6A CN106709043A (zh) 2016-12-30 2016-12-30 一种基于数据库日志的数据同步加载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611260560.6A CN106709043A (zh) 2016-12-30 2016-12-30 一种基于数据库日志的数据同步加载方法

Publications (1)

Publication Number Publication Date
CN106709043A true CN106709043A (zh) 2017-05-24

Family

ID=58905662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611260560.6A Pending CN106709043A (zh) 2016-12-30 2016-12-30 一种基于数据库日志的数据同步加载方法

Country Status (1)

Country Link
CN (1) CN106709043A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423452A (zh) * 2017-09-02 2017-12-01 国网辽宁省电力有限公司 一种电网异构数据库同步复制迁移方法
CN108228756A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法
CN108228755A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN108491526A (zh) * 2018-03-28 2018-09-04 腾讯科技（深圳）有限公司 日志数据处理方法、装置、电子设备及存储介质
CN109033268A (zh) * 2018-07-10 2018-12-18 安心财产保险有限责任公司 数据同步方法、装置、设备及存储介质
CN109829003A (zh) * 2018-12-25 2019-05-31 北京市天元网络技术股份有限公司 数据库备份方法及装置
CN109977168A (zh) * 2019-03-18 2019-07-05 武汉达梦数据库有限公司 基于数据页预加载的数据库数据同步方法及设备
CN110008284A (zh) * 2019-03-18 2019-07-12 武汉达梦数据库有限公司 基于数据页预加载及回滚的数据库数据同步方法及设备
CN110019495A (zh) * 2017-07-27 2019-07-16 广东蓝盾移动互联网信息科技有限公司 基于事务日志分析的单导系统中mysql数据库同步技术
CN110515764A (zh) * 2019-07-30 2019-11-29 国云科技股份有限公司 一种云数据库备份和跨云恢复的系统及方法
CN111078697A (zh) * 2019-12-11 2020-04-28 秒针信息技术有限公司 一种数据存储方法、装置、存储介质及电子设备
CN111209293A (zh) * 2019-12-31 2020-05-29 江苏创好业科技有限公司 一种数据处理方法
CN111400394A (zh) * 2019-08-28 2020-07-10 江苏瑞中数据股份有限公司 一种跨安全区域的分布式数据库实时同步方法
CN111737197A (zh) * 2020-06-30 2020-10-02 上海英方软件股份有限公司 一种实现不停机迁移业务系统的系统及方法
CN112035508A (zh) * 2020-08-27 2020-12-04 深圳天源迪科信息技术股份有限公司 基于sql在线元数据解析的方法及系统、设备
CN112269823A (zh) * 2020-10-30 2021-01-26 浪潮云信息技术股份公司 一种实现PostgreSQL增量数据同步的方法及系统
CN112765156A (zh) * 2020-12-29 2021-05-07 中国人寿保险股份有限公司上海数据中心 一种基于数据修改规则的数据修改方法、系统和存储介质
CN113792094A (zh) * 2021-08-26 2021-12-14 广东电网有限责任公司 一种数据同步系统、方法、设备及介质
CN114928574A (zh) * 2022-05-16 2022-08-19 多点生活(成都)科技有限公司 信息发送方法、装置、电子设备和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050198084A1 (en) * 2004-03-05 2005-09-08 Samsung Electronics Co., Ltd. System and method of synchronizing data between a server and a client
CN101369283A (zh) * 2008-09-25 2009-02-18 中兴通讯股份有限公司 一种内存数据库与物理数据库间的数据同步方法及系统
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102346775A (zh) * 2011-09-26 2012-02-08 苏州博远容天信息科技有限公司 一种基于日志的异构多源数据库同步方法
CN104239476A (zh) * 2014-09-04 2014-12-24 上海天脉聚源文化传媒有限公司 一种数据库同步的方法、装置及系统
CN104572689A (zh) * 2013-10-17 2015-04-29 腾讯科技（深圳）有限公司 数据同步方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050198084A1 (en) * 2004-03-05 2005-09-08 Samsung Electronics Co., Ltd. System and method of synchronizing data between a server and a client
CN101369283A (zh) * 2008-09-25 2009-02-18 中兴通讯股份有限公司 一种内存数据库与物理数据库间的数据同步方法及系统
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102346775A (zh) * 2011-09-26 2012-02-08 苏州博远容天信息科技有限公司 一种基于日志的异构多源数据库同步方法
CN104572689A (zh) * 2013-10-17 2015-04-29 腾讯科技（深圳）有限公司 数据同步方法、装置及系统
CN104239476A (zh) * 2014-09-04 2014-12-24 上海天脉聚源文化传媒有限公司 一种数据库同步的方法、装置及系统

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019495A (zh) * 2017-07-27 2019-07-16 广东蓝盾移动互联网信息科技有限公司 基于事务日志分析的单导系统中mysql数据库同步技术
CN107423452A (zh) * 2017-09-02 2017-12-01 国网辽宁省电力有限公司 一种电网异构数据库同步复制迁移方法
CN108228756A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法
CN108228755A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN108491526A (zh) * 2018-03-28 2018-09-04 腾讯科技（深圳）有限公司 日志数据处理方法、装置、电子设备及存储介质
CN109033268A (zh) * 2018-07-10 2018-12-18 安心财产保险有限责任公司 数据同步方法、装置、设备及存储介质
CN109829003A (zh) * 2018-12-25 2019-05-31 北京市天元网络技术股份有限公司 数据库备份方法及装置
CN109977168B (zh) * 2019-03-18 2021-11-05 武汉达梦数据库股份有限公司 基于数据页预加载的数据库数据同步方法及设备
CN110008284B (zh) * 2019-03-18 2021-06-22 武汉达梦数据库股份有限公司 基于数据页预加载及回滚的数据库数据同步方法及设备
CN109977168A (zh) * 2019-03-18 2019-07-05 武汉达梦数据库有限公司 基于数据页预加载的数据库数据同步方法及设备
CN110008284A (zh) * 2019-03-18 2019-07-12 武汉达梦数据库有限公司 基于数据页预加载及回滚的数据库数据同步方法及设备
CN110515764A (zh) * 2019-07-30 2019-11-29 国云科技股份有限公司 一种云数据库备份和跨云恢复的系统及方法
CN110515764B (zh) * 2019-07-30 2022-12-06 国云科技股份有限公司 一种云数据库备份和跨云恢复的系统及方法
CN111400394A (zh) * 2019-08-28 2020-07-10 江苏瑞中数据股份有限公司 一种跨安全区域的分布式数据库实时同步方法
CN111400394B (zh) * 2019-08-28 2023-11-07 江苏瑞中数据股份有限公司 一种跨安全区域的分布式数据库实时同步方法
CN111078697A (zh) * 2019-12-11 2020-04-28 秒针信息技术有限公司 一种数据存储方法、装置、存储介质及电子设备
CN111078697B (zh) * 2019-12-11 2023-11-03 秒针信息技术有限公司 一种数据存储方法、装置、存储介质及电子设备
CN111209293A (zh) * 2019-12-31 2020-05-29 江苏创好业科技有限公司 一种数据处理方法
CN111737197A (zh) * 2020-06-30 2020-10-02 上海英方软件股份有限公司 一种实现不停机迁移业务系统的系统及方法
CN112035508A (zh) * 2020-08-27 2020-12-04 深圳天源迪科信息技术股份有限公司 基于sql在线元数据解析的方法及系统、设备
CN112269823A (zh) * 2020-10-30 2021-01-26 浪潮云信息技术股份公司 一种实现PostgreSQL增量数据同步的方法及系统
CN112765156A (zh) * 2020-12-29 2021-05-07 中国人寿保险股份有限公司上海数据中心 一种基于数据修改规则的数据修改方法、系统和存储介质
CN113792094A (zh) * 2021-08-26 2021-12-14 广东电网有限责任公司 一种数据同步系统、方法、设备及介质
CN114928574B (zh) * 2022-05-16 2023-06-13 多点生活(成都)科技有限公司 信息发送方法、装置、电子设备和计算机可读介质
CN114928574A (zh) * 2022-05-16 2022-08-19 多点生活(成都)科技有限公司 信息发送方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN106709043A (zh) 一种基于数据库日志的数据同步加载方法
CN107038162B (zh) 基于数据库日志的实时数据查询方法和系统
CN106933703B (zh) 一种数据库数据备份的方法、装置及电子设备
CN110045912A (zh) 数据处理方法和装置
CN108052551A (zh) 一种在redis上实现的存储大量时序数据的方法
CN103763368B (zh) 一种跨数据中心的数据同步方法
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及系统
CN104484242A (zh) 一种写时拷贝快照备份过程中可断点传输的方法
CN105447168A (zh) Mp4格式的碎片文件恢复与重组的方法
CN103188267A (zh) 一种基于dfa的协议解析方法
CN109145155A (zh) 海量遥感影像元数据高并发入库处理方法
CN110377602A (zh) 一种数据同步方法、系统和存储介质
CN106155835A (zh) 一种基于同步复制技术的容灾方法
CN109408050A (zh) 用于轨道车辆的设备应用程序接口的代码生成方法及装置
CN109600244A (zh) 列车拓扑管理方法及系统
CN103729269A (zh) 一种基于云架构的网络考试数据双缓存方法
CN113901047A (zh) 一种基于内存数据库的简便集群主从选举方法
KR101430239B1 (ko) 액티브-액티브 데이터베이스 서버 시스템에서 데이터동기화 장치 및 방법
CN104869056B (zh) 一种基于关系-数据分离的机构-人员数据同步方法
CN116185298A (zh) 一种日志分布式存储的方法
CN104639585B (zh) 一种实时数据传输系统及其数据同步方法
CN110704468A (zh) 数据更新方法、装置及控制器
CN116977067A (zh) 基于区块链的数据处理方法、装置、设备及可读存储介质
CN109150617A (zh) 一种自组织网络路由规划和动态优化的方法
CN113076298B (zh) 分布式小文件存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524

RJ01 Rejection of invention patent application after publication