CN105574127A - 分布式数据库系统准实时的双活方法 - Google Patents

分布式数据库系统准实时的双活方法 Download PDF

Info

Publication number
CN105574127A
CN105574127A CN201510932895.7A CN201510932895A CN105574127A CN 105574127 A CN105574127 A CN 105574127A CN 201510932895 A CN201510932895 A CN 201510932895A CN 105574127 A CN105574127 A CN 105574127A
Authority
CN
China
Prior art keywords
data
module
cluster
quasi real
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510932895.7A
Other languages
English (en)
Inventor
赵伟
崔维力
关连坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Original Assignee
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd filed Critical TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority to CN201510932895.7A priority Critical patent/CN105574127A/zh
Publication of CN105574127A publication Critical patent/CN105574127A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种分布式数据库系统准实时的双活方法，包括内嵌在外部应用作业中并接受作业调度的调度模块、用于在作业修改数据完成后实现主副集群间数据复制的数据复制模块、用于实现数据准实时数据增量同步的数据同步模块，方法包括如下步骤：步骤A、建立一个与主机群分片数相同的备份集群；步骤B、调度模块根据主机群分片内文件块以增量方式进行数据调度；步骤C、数据复制模块根据数据调度模块内数据以增量方式进行文件块复制；步骤D、数据同步模块将数据复制模块内增量复制的数据向备份集群内进行同步调度和同步数据更改。本发明可快速的对主机分布式数据库间的数据同步，缩短灾备的恢复时间，达到准实时的灾备，适用性好，实用性强。

Description

分布式数据库系统准实时的双活方法
技术领域
本发明属于数据库技术领域，具体涉及一种分布式数据库系统准实时的双活方法。
背景技术
数据库本身的灾备是任何任何数据库软件都必不可少的，分布式数据的灾备存在着数据量巨大，数据分布在多台机器的特点；他的灾备显得尤为困难。灾备的方式无外乎再准备一个备份的系统，在主系统异常时，由备份系统继续提供服务。这就要求在主系统的操作成功的数据，要按照一定的规则同步到备份系统；同步的实时性越高，灾备的恢复时间越短，灾备的可用性越高。分布式海量数据的数据库的灾备，会存在如下问题:数据库承载作业繁多，数据库时刻运转，不能长时间停机；对灾备的恢复时间要求高；数据库内数据量巨大，不能做全量同步；数据库承载作业繁多，分布式数据库本身的日志系统无法提供可同步的日志。
发明内容
为了解决上述技术问题，本发明是提供一种能够快带进行主备分布式数据库间的数据同步，缩短灾备恢复时间的分布式数据库系统准实时的双活方法。
实现本发明目的的技术方案是：一种分布式数据库系统准实时的双活方法，包括内嵌在外部应用作业中并接受作业调度的调度模块、用于在作业修改数据完成后实现主副集群间数据复制的数据复制模块、用于实现数据准实时数据增量同步的数据同步模块，方法包括如下步骤：
步骤A、建立一个与主机群分片数相同的备份集群；
步骤B、调度模块根据主机群分片内文件块以增量方式进行数据调度；
步骤C、数据复制模块根据数据调度模块内数据以增量方式进行文件块复制；
步骤D、数据同步模块将数据复制模块内增量复制的数据向备份集群内进行同步调度和同步数据更改，从而实现主机群与备分集群内数据同步的一致性。
在步骤B中，在进行数据调度时以库内落地数据文件块为单位直接同步数据，并区分增量数据和原始数据，并完成增量数据的调度。
在步骤D中进行同步数据更改时先在备分集群内暂建一个新版本，然后将数据同步在新版本内完成数据的复制更新，当全部数据同步更改成功后，将新版板进行激活生效。
在步骤D中，在同步调度和同步数据更改时，当同步的过程原子性，同步的数据具备一致性，在同步成功时所有分片成功，当同步失败时成功分片回滚。
本发明具有积极的效果：本发明可快速的对主机分布式数据库间的数据同步，缩短灾备的恢复时间，达到准实时的灾备，适用性好，实用性强。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明的流程示意图。
具体实施方式
(实施例1)
图1显示了本发明的一种具体实施方式，其中图图1为本发明的流程示意图。
见图1，一种分布式数据库系统准实时的双活方法，包括内嵌在外部应用作业中并接受作业调度的调度模块、用于在作业修改数据完成后实现主副集群间数据复制的数据复制模块、用于实现数据准实时数据增量同步的数据同步模块，方法包括如下步骤：
步骤A、建立一个与主机群分片数相同的备份集群；
步骤B、调度模块根据主机群分片内文件块以增量方式进行数据调度；
步骤C、数据复制模块根据数据调度模块内数据以增量方式进行文件块复制；
步骤D、数据同步模块将数据复制模块内增量复制的数据向备份集群内进行同步调度和同步数据更改，从而实现主机群与备分集群内数据同步的一致性。
在步骤B中，在进行数据调度时以库内落地数据文件块为单位直接同步数据，并区分增量数据和原始数据，并完成增量数据的调度。
在步骤D中进行同步数据更改时先在备分集群内暂建一个新版本，然后将数据同步在新版本内完成数据的复制更新，当全部数据同步更改成功后，将新版板进行激活生效。
在步骤D中，在同步调度和同步数据更改时，当同步的过程原子性，同步的数据具备一致性，在同步成功时所有分片成功，当同步失败时成功分片回滚。
本发明可快速的对主机分布式数据库间的数据同步，缩短灾备的恢复时间，达到准实时的灾备，适用性好，实用性强。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的实质精神所引伸出的显而易见的变化或变动仍属于本发明的保护范围。

Claims (4)

1.一种分布式数据库系统准实时的双活方法，包括内嵌在外部应用作业中并接受作业调度的调度模块、用于在作业修改数据完成后实现主副集群间数据复制的数据复制模块、用于实现数据准实时数据增量同步的数据同步模块，其特征在于：方法包括如下步骤：
步骤A、建立一个与主机群分片数相同的备份集群；
步骤B、调度模块根据主机群分片内文件块以增量方式进行数据调度；
步骤C、数据复制模块根据数据调度模块内数据以增量方式进行文件块复制；
步骤D、数据同步模块将数据复制模块内增量复制的数据向备份集群内进行同步调度和同步数据更改，从而实现主机群与备分集群内数据同步的一致性。
2.根据权利要求1所述的分布式数据库系统准实时的双活方法，其特征在于：在步骤B中，在进行数据调度时以库内落地数据文件块为单位直接同步数据，并区分增量数据和原始数据，并完成增量数据的调度。
3.根据权利要求2所述的分布式数据库系统准实时的双活方法，其特征在于：在步骤D中进行同步数据更改时先在备分集群内暂建一个新版本，然后将数据同步在新版本内完成数据的复制更新，当全部数据同步更改成功后，将新版板进行激活生效。
4.根据权利要求3所述的分布式数据库系统准实时的双活方法，其特征在于：在步骤D中，在同步调度和同步数据更改时，当同步的过程原子性，同步的数据具备一致性，在同步成功时所有分片成功，当同步失败时成功分片回滚。
CN201510932895.7A 2015-12-12 2015-12-12 分布式数据库系统准实时的双活方法 Pending CN105574127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510932895.7A CN105574127A (zh) 2015-12-12 2015-12-12 分布式数据库系统准实时的双活方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510932895.7A CN105574127A (zh) 2015-12-12 2015-12-12 分布式数据库系统准实时的双活方法

Publications (1)

Publication Number Publication Date
CN105574127A true CN105574127A (zh) 2016-05-11

Family

ID=55884258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510932895.7A Pending CN105574127A (zh) 2015-12-12 2015-12-12 分布式数据库系统准实时的双活方法

Country Status (1)

Country Link
CN (1) CN105574127A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933446A (zh) * 2016-06-28 2016-09-07 中国农业银行股份有限公司 一种大数据平台业务双活实现方法及系统
CN107515874A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种分布式非关系型数据库中同步增量数据的方法与设备
CN108123976A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统
CN109885429A (zh) * 2019-02-18 2019-06-14 国家计算机网络与信息安全管理中心 大数据灾备方法及装置
CN111880956A (zh) * 2020-07-24 2020-11-03 北京达佳互联信息技术有限公司 一种数据同步方法和装置
CN112286905A (zh) * 2020-10-15 2021-01-29 北京沃东天骏信息技术有限公司 数据迁移方法及装置、存储介质、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442713B1 (en) * 1999-03-30 2002-08-27 International Business Machines Corporation Cluster node distress signal
CN1430142A (zh) * 2001-12-29 2003-07-16 深圳市中兴通讯股份有限公司上海第二研究所 在通信系统中利用单片机实现软件下载的装置及其方法
US20050177777A1 (en) * 2004-01-23 2005-08-11 Seaburg Gunnar P. Cluster-based disk backup and restoration
CN102739799A (zh) * 2012-07-04 2012-10-17 合一网络技术(北京)有限公司 一种分布式应用中的分布式通讯方法
CN103235817A (zh) * 2013-04-27 2013-08-07 电子科技大学 一种大规模感染控制数据存储处理方法
CN103377100A (zh) * 2012-04-26 2013-10-30 华为技术有限公司 一种数据备份方法、网络节点及系统
CN104219085A (zh) * 2014-08-07 2014-12-17 深圳市同洲电子股份有限公司 一种数据库的数据处理方法、代理服务器及系统
CN104376087A (zh) * 2014-11-19 2015-02-25 天津南大通用数据技术股份有限公司 一种采用交叉备份的分布式数据库负载均衡的计算方法
CN104407945A (zh) * 2014-12-26 2015-03-11 北京奇虎科技有限公司 数据备份的方法、装置及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442713B1 (en) * 1999-03-30 2002-08-27 International Business Machines Corporation Cluster node distress signal
CN1430142A (zh) * 2001-12-29 2003-07-16 深圳市中兴通讯股份有限公司上海第二研究所 在通信系统中利用单片机实现软件下载的装置及其方法
US20050177777A1 (en) * 2004-01-23 2005-08-11 Seaburg Gunnar P. Cluster-based disk backup and restoration
CN103377100A (zh) * 2012-04-26 2013-10-30 华为技术有限公司 一种数据备份方法、网络节点及系统
CN102739799A (zh) * 2012-07-04 2012-10-17 合一网络技术(北京)有限公司 一种分布式应用中的分布式通讯方法
CN103235817A (zh) * 2013-04-27 2013-08-07 电子科技大学 一种大规模感染控制数据存储处理方法
CN104219085A (zh) * 2014-08-07 2014-12-17 深圳市同洲电子股份有限公司 一种数据库的数据处理方法、代理服务器及系统
CN104376087A (zh) * 2014-11-19 2015-02-25 天津南大通用数据技术股份有限公司 一种采用交叉备份的分布式数据库负载均衡的计算方法
CN104407945A (zh) * 2014-12-26 2015-03-11 北京奇虎科技有限公司 数据备份的方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈晗鸣: ""分布式系统中基于主/副版本的实时容错调度综述"", 《计算机应用研究》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515874A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种分布式非关系型数据库中同步增量数据的方法与设备
CN105933446A (zh) * 2016-06-28 2016-09-07 中国农业银行股份有限公司 一种大数据平台业务双活实现方法及系统
CN108123976A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统
CN108123976B (zh) * 2016-11-30 2020-11-20 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统
CN109885429A (zh) * 2019-02-18 2019-06-14 国家计算机网络与信息安全管理中心 大数据灾备方法及装置
CN111880956A (zh) * 2020-07-24 2020-11-03 北京达佳互联信息技术有限公司 一种数据同步方法和装置
CN111880956B (zh) * 2020-07-24 2023-12-05 北京达佳互联信息技术有限公司 一种数据同步方法和装置
CN112286905A (zh) * 2020-10-15 2021-01-29 北京沃东天骏信息技术有限公司 数据迁移方法及装置、存储介质、电子设备

Similar Documents

Publication Publication Date Title
CN105574127A (zh) 分布式数据库系统准实时的双活方法
CN102054035B (zh) 一种基于数据范围的数据库数据同步方法
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
CN102184251B (zh) 一种数据表同步系统及方法
CN101316184B (zh) 容灾切换方法、系统、装置
CN104346454A (zh) 基于Oracle数据库的数据一致性校验方法
CN103744906A (zh) 一种数据同步系统、方法及装置
CN104714811A (zh) 差分升级包的制作方法及装置、系统差分升级方法及装置
CN103345470A (zh) 一种数据库容灾方法、系统及服务器
CN101719165A (zh) 一种实现数据库高效快速备份的方法
CN109189860A (zh) 一种基于Kubernetes系统的MySQL主备增量同步方法
US20170168756A1 (en) Storage transactions
WO2016026306A1 (zh) 一种数据备份方法、系统、节点及计算机存储介质
CN110263095B (zh) 数据备份与恢复方法、装置、计算机设备及存储介质
US20190052709A1 (en) Clustered storage system synchronization
CN104021200A (zh) 一种数据库的数据同步方法和装置
CN111651275A (zh) 一种MySQL集群自动化部署系统及方法
CN106657169A (zh) 一种Redis中主从节点数据同步方法
CN103970834A (zh) 一种异构数据库同步系统中增量数据同步故障的恢复方法
EP1933236A1 (en) Branch Office and remote server smart archiving based on mirroring and replication software
CN104516796A (zh) 一种基于命令集的网元备份与恢复方法及装置
CN111049886B (zh) 多区域sdn控制器数据同步方法、服务器及系统
CN104850628B (zh) 一种数据库数据的同步方法及装置
CN102025753A (zh) 一种服务器数据资源负载均衡处理方法及设备
CN105242988A (zh) 分布式文件系统和分布式文件系统的数据备份方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160511

WD01 Invention patent application deemed withdrawn after publication