CN111858597A - 一种异构数据库中数据的同步方法 - Google Patents

一种异构数据库中数据的同步方法 Download PDF

Info

Publication number
CN111858597A
CN111858597A CN202010711802.9A CN202010711802A CN111858597A CN 111858597 A CN111858597 A CN 111858597A CN 202010711802 A CN202010711802 A CN 202010711802A CN 111858597 A CN111858597 A CN 111858597A
Authority
CN
China
Prior art keywords
data
data synchronization
synchronization mechanism
database
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010711802.9A
Other languages
English (en)
Inventor
方小牛
张玄
段欢欢
陈慧清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Huadian Big Data Technology Co ltd
Original Assignee
Anhui Huadian Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Huadian Big Data Technology Co ltd filed Critical Anhui Huadian Big Data Technology Co ltd
Priority to CN202010711802.9A priority Critical patent/CN111858597A/zh
Publication of CN111858597A publication Critical patent/CN111858597A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异构数据库中数据的同步方法，属于数据库技术领域，包括第一数据同步机制和第二数据同步机制，第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测第一数据同步机制的状态；第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将源数据库中预定范围的数据同步至目标数据库；启用第二数据同步机制，包括：接收分布式资源管理平台推送的数据同步任务；数据同步任务包括数据恢复时间点及源数据库中的待同步数据库表的标识，检测第二数据同步机制的状态，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。

Description

一种异构数据库中数据的同步方法
技术领域
本发明涉及数据库技术领域，更具体地说，涉及一种异构数据库中数据的同步方法。
背景技术
对于异构数据库，目前现有的数据同步手段可通过DRC(Data ReplicationCenter，数据同步中心)监听源数据库的binlog日志(这里的源数据库是基于mysql数据库技术)，然后通过消息将binlog日志发送到订阅端，订阅端拿到消息后生成相应的ETL(Extract Transform Loading，数据抽取转化装载规则)任务，然后基于ETL任务将数据同步到目标数据库中。
然而，一旦DRC异常(比如宕机)暂时无法自动恢复时，源数据库的增量数据则无法同步到目标数据库。由于增量数据未及时同步到目标数据库，往往也就丧失了其时效性，进而还可能影响基于该目标数据库的系统应用(比如系统无法及时向用户推送最新资讯)。
发明内容
针对现有技术的不足，本发明的目的在于提供一种异构数据库中数据的同步方法，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。
本发明的目的可以通过以下技术方案实现：
一种异构数据库的数据同步方法，包括以下步骤：
包括第一数据同步机制和第二数据同步机制，
第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测所述第一数据同步机制的状态；
第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将所述源数据库中预定范围的数据同步至所述目标数据库；
所述启用第二数据同步机制，包括：
接收分布式资源管理平台推送的数据同步任务；所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识，检测所述第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；
根据所述待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于所述数据恢复时间点的所有数据放入临时列表，并将所述临时列表中的数据插入所述目标数据库中对应的数据库表；
所述定时读取接收到由调度中心定时发送的驱动消息时触发，每次触发读取范围为创建时间晚于上一次读取的截止时间的所有数据。
作为本发明的一种优选方案，所述定时读取检测第二数据同步机制的状态异常时，定时读取将已读取的数据存储在新建临时列表。
作为本发明的一种优选方案，所述新建临时列表的结构与异构数据库的列表相同。
作为本发明的一种优选方案，所述定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空所述新建临时列表。
作为本发明的一种优选方案，在第二数据同步机制自动清空所述新建临时列表步骤前，第二数据同步机制将所述新建临时列表里全部内容转录至错误信息列表。
作为本发明的一种优选方案，所述错误信息列表由第二数据同步机制创建，所述错误信息列表的结构与异构数据库的列表相同。
本发明的有益效果：
定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空所述新建临时列表，在第二数据同步机制自动清空所述新建临时列表步骤前，第二数据同步机制将所述新建临时列表里全部内容转录至错误信息列表，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例的异构数据库的数据同步方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种异构数据库的数据同步方法，其特征在于，包括以下步骤：
包括第一数据同步机制和第二数据同步机制，
第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测第一数据同步机制的状态；
第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将源数据库中预定范围的数据同步至目标数据库；
启用第二数据同步机制，包括：
接收分布式资源管理平台推送的数据同步任务；数据同步任务包括数据恢复时间点及源数据库中的待同步数据库表的标识，检测第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；
根据待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于数据恢复时间点的所有数据放入临时列表，并将临时列表中的数据插入目标数据库中对应的数据库表；
定时读取接收到由调度中心定时发送的驱动消息时触发，每次触发读取范围为创建时间晚于上一次读取的截止时间的所有数据。
定时读取检测第二数据同步机制的状态异常时，定时读取将已读取的数据存储在新建临时列表。
新建临时列表的结构与异构数据库的列表相同。
定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空新建临时列表。
在第二数据同步机制自动清空新建临时列表步骤前，第二数据同步机制将新建临时列表里全部内容转录至错误信息列表。
错误信息列表由第二数据同步机制创建，错误信息列表的结构与异构数据库的列表相同。
定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空新建临时列表，在第二数据同步机制自动清空新建临时列表步骤前，第二数据同步机制将新建临时列表里全部内容转录至错误信息列表，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。
数据库检测异常时，数据库停止运行，该数据库启用第一数据同步机制和第二数据同步机制。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种异构数据库的数据同步方法，其特征在于，包括以下步骤：
包括第一数据同步机制和第二数据同步机制，
第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测所述第一数据同步机制的状态；
第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将所述源数据库中预定范围的数据同步至所述目标数据库；
所述启用第二数据同步机制，包括：
接收分布式资源管理平台推送的数据同步任务；所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识，检测所述第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；
根据所述待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于所述数据恢复时间点的所有数据放入临时列表，并将所述临时列表中的数据插入所述目标数据库中对应的数据库表；
所述定时读取接收到由调度中心定时发送的驱动消息时触发，每次触发读取范围为创建时间晚于上一次读取的截止时间的所有数据。
2.根据权利要求1所述的一种异构数据库的数据同步方法，其特征在于：所述定时读取检测第二数据同步机制的状态异常时，定时读取将已读取的数据存储在新建临时列表。
3.根据权利要求2所述的一种异构数据库的数据同步方法，其特征在于：所述新建临时列表的结构与异构数据库的列表相同。
4.根据权利要求2所述的一种异构数据库的数据同步方法，其特征在于：所述定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空所述新建临时列表。
5.根据权利要求4所述的一种异构数据库的数据同步方法，其特征在于：在第二数据同步机制自动清空所述新建临时列表步骤前，第二数据同步机制将所述新建临时列表里全部内容转录至错误信息列表。
6.根据权利要求5所述的一种异构数据库的数据同步方法，其特征在于：所述错误信息列表由第二数据同步机制创建，所述错误信息列表的结构与异构数据库的列表相同。
CN202010711802.9A 2020-07-22 2020-07-22 一种异构数据库中数据的同步方法 Withdrawn CN111858597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010711802.9A CN111858597A (zh) 2020-07-22 2020-07-22 一种异构数据库中数据的同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010711802.9A CN111858597A (zh) 2020-07-22 2020-07-22 一种异构数据库中数据的同步方法

Publications (1)

Publication Number Publication Date
CN111858597A true CN111858597A (zh) 2020-10-30

Family

ID=72951021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010711802.9A Withdrawn CN111858597A (zh) 2020-07-22 2020-07-22 一种异构数据库中数据的同步方法

Country Status (1)

Country Link
CN (1) CN111858597A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615759A (zh) * 2015-02-13 2015-05-13 厦门雅迅网络股份有限公司 一种不同业务系统平台间的数据同步方法
CN107016014A (zh) * 2016-09-30 2017-08-04 阿里巴巴集团控股有限公司 异构数据库的数据同步方法及装置
CN107633026A (zh) * 2017-08-30 2018-01-26 深圳云天励飞技术有限公司 数据同步异常处理方法、装置及服务器
CN110955723A (zh) * 2019-11-15 2020-04-03 北京浪潮数据技术有限公司 一种主从数据库同步状态监控方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615759A (zh) * 2015-02-13 2015-05-13 厦门雅迅网络股份有限公司 一种不同业务系统平台间的数据同步方法
CN107016014A (zh) * 2016-09-30 2017-08-04 阿里巴巴集团控股有限公司 异构数据库的数据同步方法及装置
CN107633026A (zh) * 2017-08-30 2018-01-26 深圳云天励飞技术有限公司 数据同步异常处理方法、装置及服务器
CN110955723A (zh) * 2019-11-15 2020-04-03 北京浪潮数据技术有限公司 一种主从数据库同步状态监控方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN102968486B (zh) 一种基于变化日志的高可靠文件同步方法
US7788223B2 (en) Resource freshness and replication
CN102955720B (zh) 一种提高ext文件系统稳定性的方法
CN110175213A (zh) 一种基于SCN方式的Oracle数据库同步系统及方法
US20070162516A1 (en) Computing asynchronous transaction log replication progress based on file change notifications
CN102054035A (zh) 一种基于数据范围的数据库数据同步方法
US20120278429A1 (en) Cluster system, synchronization controlling method, server, and synchronization controlling program
CN107231435B (zh) 数据同步监控方法及系统
CN104270605B (zh) 一种视频监控数据的处理方法及装置
CN112328702B (zh) 数据同步方法及系统
CN113206757B (zh) 流式同步网管配置全量数据和增量数据的方法及电子设备
CN107040576A (zh) 信息推送方法及装置、通讯系统
CN104580425A (zh) 一种客户端数据同步方法及系统
CN100385407C (zh) 网络信息系统异地数据镜像方法
CN107316176A (zh) 保单处理的控制方法和装置
CN111858767A (zh) 同步数据的处理方法、装置、设备及存储介质
CN103581262B (zh) 一种主备数据同步方法、装置和系统
CN110389937A (zh) 一种基于数据库数据同步传输文件的方法及系统
CN112612852B (zh) 数据同步方法及装置、电子设备、存储介质
CN110912979B (zh) 一种解决多服务器资源同步冲突方法
CN111858597A (zh) 一种异构数据库中数据的同步方法
CN106682141B (zh) 一种基于业务操作日志的数据同步方法
CN109165259B (zh) 基于网络附属存储的索引表更新方法、处理器及存储装置
CN103297329B (zh) 一种异构系统间消息的准实时双向同步方法
CN111506668B (zh) 机器人集群智能化数据同步方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication