CN110716828A - 一种数据库实时备份方法 - Google Patents

一种数据库实时备份方法 Download PDF

Info

Publication number
CN110716828A
CN110716828A CN201910952666.XA CN201910952666A CN110716828A CN 110716828 A CN110716828 A CN 110716828A CN 201910952666 A CN201910952666 A CN 201910952666A CN 110716828 A CN110716828 A CN 110716828A
Authority
CN
China
Prior art keywords
database
data
main
backup
standby
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910952666.XA
Other languages
English (en)
Other versions
CN110716828B (zh
Inventor
孙玉娥
黄河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shunyuan Computer Technology Co ltd
Original Assignee
Suzhou Tingfengjianyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tingfengjianyu Network Technology Co Ltd filed Critical Suzhou Tingfengjianyu Network Technology Co Ltd
Priority to CN201910952666.XA priority Critical patent/CN110716828B/zh
Publication of CN110716828A publication Critical patent/CN110716828A/zh
Application granted granted Critical
Publication of CN110716828B publication Critical patent/CN110716828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明设计了一种数据库实时备份方法，能够保证数据库业务的连续性，并在最大限度内保证数据不丢失。本发明实施例包含了一个控制节点，一个主节点和两个备节点。其中主数据库位于主节点，而备份数据库位于备节点。本发明实施例在单数据库数据同步备份时的优点在于：1)当部分数据出现故障时，主数据库仍可以工作，并不需要备数据库进行接管；2)数据库同步备份系统并不需要运行在主数据库或备份数据库上，并不会影响数据库的系统性能；3)可以最大化地保证出现故障时数据不丢失。

Description

一种数据库实时备份方法
技术领域
本发明涉及数据库备份领域，是一种数据库数据实时同步备份与恢复的方法。
背景技术
数据库数据备份分为异步和同步两种，其中数据库异步备份是每个备份周期将数据库中的全部或差异数据压缩，传输到备份数据库中；而数据库同步备份则是基于数据库日志分析或触发器获得主数据库与备份数据库间的差异数据，实时同步到备份数据库当中。当主数据库发生异常或者部分数据出现故障时，由备数据库继续提供服务或者根据存储在备份数据库中的数据进行数据恢复。然而，现有的这些数据库备份技术还存在着诸多问题。当采用异步备份模式时，备份数据库上仅保存了上一个备份周期的数据，与主数据库存在大量的数据差值。因此，一旦主数据库发生宕机等异常需要备份接管业务，会丢失大量数据，影响数据的一致性。而当采用同步模式时，现有方案是将同步备份软件直接安装在主数据库上，通过分析日志文件或按照触发器获取数据库的实时数据变更，据此在备份数据库上做出相应的操作。但当主数据库上部分数据出现无法通过日志分析而回退恢复的问题时，备份数据库的数据与主数据库一直是实时同步的，会进行完全相同的操作，因此同样无法根据同步备份的数据进行实时同步。
发明内容
本发明的目的是通过以下技术方案实现的。
为了解决现有方案的不足，本发明设计了一种数据库实时备份方法，实现了多副本轮换同步备份，以确保数据在不同类型故障下的安全性。
本发明设计了一种数据库实时备份方法，能够保证数据库业务的连续性，并在最大限度内保证数据不丢失。本发明实施例包含了一个控制节点，一个主节点和两个备节点。其中主数据库位于主节点，而备份数据库位于备节点。具体实现步骤如下：
S101：在控制节点上设置主数据库为主节点，两个备份数据库为两个备节点；
S102：在主节点需实时同步备份的数据库表上安装触发器；
S103：在控制节点上建立系统表用于存储触发器捕获到的数据修改，并建立主节点到两个备节点之间的路径；
S104：将主节点上需要实时同步备份的数据加载到两个备节点；
S105：设置备节点轮换周期为T。两个备节点并不会同时实时同步主节点中的数据变更，而是分时链接主数据库进行数据的实时同步。例如，设置T等于5分钟。主数据库首先与第一个备数据库进行数据同步，第二个备数据库不做任何操作。5分钟之后，断开第一个备数据库与主数据库的数据同步，利用第二个备份数据库与主数据库进行数据同步。依据此规则，不断重复，两个备数据库轮换与主数据库进行数据同步。在这里，我们采用两个备节点是为了应对不同的数据库故障。当主数据库数据发生故障而无法自身恢复时，若正在实时同步的备数据库上的数据是可用的，那么可以直接利用该备数据库的数据进行实时恢复；而当正在实时同步的备数据库也出现故障不可用时，则可以利用另一个备数据库进行数据恢复。
S106：某个触发器被触发时，主节点在做数据修改的同时将相应修改发送给控制节点。
S107：控制节点在接收到数据修改操作时，将对应修改采用统一的格式规范记录到系统表中。
S108：控制节点将系统表中捕获的数据更改发送到正在同步备份的节点，并将数据更新到备份数据库中。除此之外，控制节点还会将当前轮换周期内捕获到的数据更改以日志文件的方式保存下来。
S109：当主数据库出现宕机等故障，使得主数据库完全无法使用时，由正在实时备份的数据库接管主数据库上的业务，并将该备数据库更改为主数据库，而将原先的主数据库更改为备数据库。
S110：当主数据库中的部分数据出现故障，但正在实时同步的数据库数据可用时，撤销主数据库安装在出现问题的数据库表上的触发器，并将正在同步备份的备数据库上该表的数据以加载初始负载的方式加载到主数据库上，覆盖掉原主数据库上出现故障的表。数据重新加载完毕后，重新在主数据库的该表上安装触发器。在数据恢复阶段，主数据库无法响应对出故障的表的数据操作。为了不影响业务的连续性，对故障表的操作将直接链接到实时备份数据库，从中读取和更新数据响应业务的需求。
S111：当主数据库中的部分数据出现故障且正在实时同步的数据库数据也不可用时，撤销主数据库安装在出现问题的数据库表上的触发器，并将不在实时同步的备数据库上该表的数据以加载初始负载的方式加载到主数据库上，覆盖掉原主数据库上出现故障的表。然后根据控制节点保存的本轮换周期内日志文件，对重新加载后的数据进行更新。最后，重新在主数据库的该表上安装触发器。
基于以上技术方案，本发明实施例在单数据库数据同步备份时的优点在于：1)当部分数据出现故障时，主数据库仍可以工作，并不需要备数据库进行接管；2)数据库同步备份系统并不需要运行在主数据库或备份数据库上，并不会影响数据库的系统性能；3)可以最大化地保证出现故障时数据不丢失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是数据库数据同步备份流程图。
图2是一个实施例在备库接管时的具体流程图。
图3是一个实施例在数据恢复时的具体流程图。
图4是另一个实施例在数据恢复时的具体流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明提出所设计的数据库数据同步备份方法，如图1所示，包含以下步骤：
S101：在控制节点上设置主数据库为主节点，两个备份数据库为两个备节点；
S102：在主节点需实时同步备份的数据库表上安装触发器；
S103：在控制节点上建立系统表用于存储触发器捕获到的数据修改，并建立主节点到两个备节点之间的路径；
S104：将主节点上需要实时同步备份的数据加载到两个备节点；
S105：设置备节点轮换周期为T；
S106：当某个触发器被触发时，主节点在做数据修改的同时将相应修改发送给控制节点。
S107：控制节点在接收到数据修改操作时，将对应修改采用统一的格式规范记录到系统表中。
S108：控制节点将系统表中捕获的数据更改发送到正在实时同步的备节点，并将数据更新到该备份数据库中。
S109：控制节点将当前轮换周期内捕获到的数据更改以日志文件的方式保存下来。
当主节点出现宕机等故障，使得主数据库完全无法使用时，如图2所示，所设计数据库接管方法具体实现步骤如下：
S201：设置正在实时备份的数据库为主数据库，接管原主数据库上的业务；
S202：在新的主数据库上建立表触发器；
S203：撤销原主数据库上的触发器；
S204：将原先的主数据库更改为备数据库，待恢复后与另外一个备数据库轮换同步备份主数据库中的数据。
当主数据库中的部分数据出现故障，但正在实时同步的备数据库数据可用时，如图3所示，所设计的方法具体实现步骤如下：
S301：撤销主数据库安装在出现问题的数据库表上的触发器；
S302：当有业务需要访问出现故障的表时，控制节点将需要访问的数据从正在实时同步的备份数据库上提取出来，并发送到主节点。
S303：当有业务需要修改出现故障的表时，将所需要修改的数据直接发送给控制节点，更新在正在同步的备份节点上。
S304：将正在同时备份的备数据库上出故障的表的数据以加载初始负载的方式加载到主数据库上；
S305：删除主数据库上出现故障的表；
S306：重新在主数据库重新加载的表上安装触发器。
当主数据库中的部分数据出现故障且正在实时同步的备数据库数据也不可用时，如图4所示，所设计方法的具体实现步骤如下：
S401：撤销主数据库安装在出现问题的数据库表上的触发器；
S402：将不在备份的备数据库上该表的数据以加载初始负载的方式加载到主数据库上，覆盖掉原主数据库上出现故障的表；
S403：根据控制节点保存的本轮换周期内日志文件，对重新加载后的数据进行更新；
S404：重新在主数据库的该表上安装触发器。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种数据库实时备份方法，其特征在于，包括：
S101：在控制节点上设置主数据库为主节点，两个备份数据库为两个备节点；
S102：在主节点需实时同步备份的数据库表上安装触发器；
S103：在控制节点上建立系统表用于存储触发器捕获到的数据修改，并建立主节点到两个备节点之间的路径；
S104：将主节点上需要实时同步备份的数据加载到两个备节点；
S105：设置备节点轮换周期；
S106：当某个触发器被触发时，主节点在做数据修改的同时将相应修改发送给控制节点；
S107：控制节点在接收到数据修改操作时，将对应修改采用统一的格式规范记录到系统表中；
S108：控制节点将系统表中捕获的数据更改发送到正在同步备份的节点，并将数据更新到备份数据库中；
S109：控制节点将当前轮换周期内捕获到的数据更改以日志文件的方式保存下来。
2.根据权利要求1所述的一种数据库实时备份方法，其特征在于，
所述两个备节点不会同时实时同步主节点中的数据变更，而是分时链接主数据库进行数据的实时同步。
3.根据权利要求2所述的一种数据库实时备份方法，其特征在于，
所述主数据库首先与第一个备数据库进行数据同步，第二个备数据库不做任何操作；在一个备节点轮换周期之后，断开第一个备数据库与主数据库的数据同步，利用第二个备份数据库与主数据库进行数据同步；依据此规则，不断重复，两个备数据库轮换与主数据库进行数据同步。
4.根据权利要求1-3任意一项所述的一种数据库实时备份方法，其特征在于，
当主数据库出现故障使得主数据库完全无法使用时，由正在实时备份的数据库接管主数据库上的业务，并将该备份数据库更改为主数据库，而将原先的主数据库更改为备数据库。
5.根据权利要求4所述的一种数据库实时备份方法，其特征在于，
所述接管的方法包括：
S201：设置正在实时备份的数据库为主数据库，接管原主数据库上的业务；
S202：在新的主数据库上建立表触发器；
S203：撤销原主数据库上的触发器；
S204：将原先的主数据库更改为备数据库，待恢复后与另外一个数据库轮换同步备份主数据库中的数据。
6.根据权利要求1所述的一种数据库实时备份方法，其特征在于，
当主数据库中的部分数据出现故障，但正在实时同步的数据库数据可用时，撤销主数据库安装在出现问题的数据库表上的触发器，并将正在同时备份的备数据库上该表的数据以加载初始负载的方式加载到主数据库上，覆盖原主数据库上出现故障的表；数据重新加载完毕后，重新在主数据库重新加载的表上安装触发器。
7.根据权利要求1所述的一种数据库实时备份方法，其特征在于，
当主数据库中的部分数据出现故障且正在实时同步的数据库数据也不可用时，撤销主数据库安装在出现问题的数据库表上的触发器，并将不在备份的备数据库上该表的数据以加载初始负载的方式加载到主数据库上，覆盖原主数据库上出现故障的表；根据控制节点保存的本轮换周期内日志文件，对重新加载后的数据进行更新；重新在主数据库的该表上安装触发器。
CN201910952666.XA 2019-10-09 2019-10-09 一种数据库实时备份方法 Active CN110716828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910952666.XA CN110716828B (zh) 2019-10-09 2019-10-09 一种数据库实时备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910952666.XA CN110716828B (zh) 2019-10-09 2019-10-09 一种数据库实时备份方法

Publications (2)

Publication Number Publication Date
CN110716828A true CN110716828A (zh) 2020-01-21
CN110716828B CN110716828B (zh) 2023-05-23

Family

ID=69212368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910952666.XA Active CN110716828B (zh) 2019-10-09 2019-10-09 一种数据库实时备份方法

Country Status (1)

Country Link
CN (1) CN110716828B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948181A (zh) * 2021-03-22 2021-06-11 深圳闪回科技有限公司 一套数据修改备份恢复系统
CN113987078A (zh) * 2021-12-24 2022-01-28 中兴通讯股份有限公司 数据同步方法、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504062A (zh) * 2014-12-22 2015-04-08 浙江宇视科技有限公司 主备数据库数据同步方法及装置
CN106815097A (zh) * 2017-01-18 2017-06-09 北京许继电气有限公司 数据库容灾系统和方法
US9916113B2 (en) * 2003-07-15 2018-03-13 International Business Machines Corporation System and method for mirroring data
CN107908269A (zh) * 2017-11-30 2018-04-13 郑州云海信息技术有限公司 一种多pol并联组合供电系统及供电方法
CN110263095A (zh) * 2019-05-31 2019-09-20 众安在线财产保险股份有限公司 数据备份与恢复方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916113B2 (en) * 2003-07-15 2018-03-13 International Business Machines Corporation System and method for mirroring data
CN104504062A (zh) * 2014-12-22 2015-04-08 浙江宇视科技有限公司 主备数据库数据同步方法及装置
CN106815097A (zh) * 2017-01-18 2017-06-09 北京许继电气有限公司 数据库容灾系统和方法
CN107908269A (zh) * 2017-11-30 2018-04-13 郑州云海信息技术有限公司 一种多pol并联组合供电系统及供电方法
CN110263095A (zh) * 2019-05-31 2019-09-20 众安在线财产保险股份有限公司 数据备份与恢复方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宁志博: "基于存储区域网络的管理软件的研究与开发 ——备份系统的研究与开发", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948181A (zh) * 2021-03-22 2021-06-11 深圳闪回科技有限公司 一套数据修改备份恢复系统
CN113987078A (zh) * 2021-12-24 2022-01-28 中兴通讯股份有限公司 数据同步方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110716828B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN107291787B (zh) 主备数据库切换方法和装置
US7565572B2 (en) Method for rolling back from snapshot with log
CN109189860A (zh) 一种基于Kubernetes系统的MySQL主备增量同步方法
CN110263095B (zh) 数据备份与恢复方法、装置、计算机设备及存储介质
US9525733B2 (en) Method and system for data synchronization
CN108920489B (zh) 数据库的部署方法、装置及设备
CN110716828B (zh) 一种数据库实时备份方法
CN115658390A (zh) 容器容灾方法、系统、装置、设备及计算机可读存储介质
US20020120733A1 (en) Method, program and arrangement for synchronizing a network manager to a network agent
CN117763046A (zh) 集群间数据同步的方法、装置、设备及存储介质
WO2021115043A1 (zh) 分布式数据库系统和数据灾备演练方法
CN111125060B (zh) 一种数据库管理方法、系统、设备及存储介质
CN111404737B (zh) 一种容灾处理方法以及相关装置
CN115878361A (zh) 数据库集群的节点管理方法、装置及电子设备
CN113472891B (zh) 一种sdn控制器集群数据处理方法、设备及介质
CN113297134B (zh) 数据处理系统及数据处理方法、装置、电子设备
CN110362428A (zh) 在线自动恢复数据库块的方法和系统
CN111176886A (zh) 一种数据库模式的切换方法、装置及电子设备
CN109189599B (zh) 一种提高scada系统实时数据转储稳定性的方法和装置
CN107329698B (zh) 一种数据保护方法及存储设备
CN117349381A (zh) 数据同步方法、装置、管理设备、控制器、系统及介质
CN114840365A (zh) 异常状态的双活卷扩容方法、系统、终端及存储介质
CN118018463A (zh) 一种故障处理方法、装置、设备及可读存储介质
CN117573415A (zh) 一种故障处理方法、系统、电子设备及存储介质
CN116226284A (zh) 数据同步方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230411

Address after: Room 206-01, Building 4, Gangcheng Square, No. 20 North Ring Road, Taicang Port Economic and Technological Development Zone, Taicang City, Suzhou City, Jiangsu Province, 215000

Applicant after: Hongwei Internet of Things Technology (Suzhou) Co.,Ltd.

Address before: 301, Mingde Building, No. 166, Ren'ai Road, Suzhou Industrial Park, Suzhou City, Jiangsu Province, 215000

Applicant before: Suzhou tingfengjianyu Network Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231126

Address after: Building 201-1, Building A4, Confidentiality Industrial Park, No. 31 Xinye Road, High tech Zone, Qingdao City, Shandong Province, 266000

Patentee after: Suda Xinchuang (Qingdao) Information Technology Co.,Ltd.

Address before: Room 206-01, Building 4, Gangcheng Square, No. 20 North Ring Road, Taicang Port Economic and Technological Development Zone, Taicang City, Suzhou City, Jiangsu Province, 215000

Patentee before: Hongwei Internet of Things Technology (Suzhou) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240517

Address after: Room 1201-6, No. 127 Guotong Road, Yangpu District, Shanghai, 200000

Patentee after: Shanghai Shunyuan Computer Technology Co.,Ltd.

Country or region after: China

Address before: Building 201-1, Building A4, Confidentiality Industrial Park, No. 31 Xinye Road, High tech Zone, Qingdao City, Shandong Province, 266000

Patentee before: Suda Xinchuang (Qingdao) Information Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right