CN111708843A - 一种基于MGR的跨数据中心MySQL多活实现方法 - Google Patents

一种基于MGR的跨数据中心MySQL多活实现方法 Download PDF

Info

Publication number
CN111708843A
CN111708843A CN202010560771.1A CN202010560771A CN111708843A CN 111708843 A CN111708843 A CN 111708843A CN 202010560771 A CN202010560771 A CN 202010560771A CN 111708843 A CN111708843 A CN 111708843A
Authority
CN
China
Prior art keywords
data
mgr
data centers
database
consistency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010560771.1A
Other languages
English (en)
Inventor
康壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Zhenxing Bank Co ltd
Original Assignee
Liaoning Zhenxing Bank Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Zhenxing Bank Co ltd filed Critical Liaoning Zhenxing Bank Co ltd
Priority to CN202010560771.1A priority Critical patent/CN111708843A/zh
Publication of CN111708843A publication Critical patent/CN111708843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种基于MGR的跨数据中心MySQL多活实现方法，包括如下步骤：S1在同一个城市里要去选择三个数据中心，或者是自建数据中心，或者是租用运营商的数据中心，保证三个数据中心之间的距离在30公里以内；S2三个数据中心之间通过DWDM技术，使用裸光纤连接，确保网络延迟的2毫秒以内，网络带宽在10GB以上；S3数据库服务器采用物理主机，内存至少128G,CPU至少32核心，硬盘使用固态盘，保证数据库性能足够支撑相关业务。本发明通过MGR多主架构实现数据库级别的多节点写入；通过DWDM技术解决了MGR跨数据中心网络带宽和网络延迟的要求；三个数据中心提供三个MySQL副本，保障了数据的安全一致性。

Description

一种基于MGR的跨数据中心MySQL多活实现方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于MGR的跨数据中心MySQL多活实现方法。
背景技术
开源数据库MySQL在金融行业里使用越来越多，尤其以主从复制为架构的高可用方案，此架构存在丢失数据的风险并且无法实现数据库跨机房多活。
应用连接到主库，当主库出现宕机等情况，无法保证数据一致性的情况下自动切换到备库，当机房出现大面积宕机的情况，业务无法对外提供服务，无论是半同步还是无损半同步都无法保证数据的绝对一致性，都存在丢失数据的风险，多数据中心应用需要同时连接到主数据中心，其他两个数据中心只能提供只读业务，数据中心级别故障无法实现业务自动切换。
因此，设计一种基于MGR的跨数据中心的MySQL多活实现方法用以解决这个问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于MGR的跨数据中心MySQL多活实现方法。
本发明提出的一种基于MGR的跨数据中心MySQL多活实现方法，，包括如下步骤：
S1在同一个城市里要去选择三个数据中心，或者是自建数据中心，或者是租用运营商的数据中心，保证三个数据中心之间的距离在30公里以内；
S2三个数据中心之间通过DWDM技术，使用裸光纤连接，确保网络延迟的2毫秒以内，网络带宽在10GB以上；
S3数据库服务器采用物理主机，内存至少128G,CPU至少32核心，硬盘使用固态盘，保证数据库性能足够支撑相关业务；
S4高可用数据库采用MGR技术，基于Paxos分布式协议，采用多主组复制架构，确保数据最终一致性，每个数据中心的应用都可以直连本地的数据库服务器，并且提供读写服务；
S5 MGR的数据一致性算法原理是用户提交事务时，需要等待至少一个备库收到日志副本，才返回给用户事务成功结束的信号，且收到的确认事务会自动持久化到多数派主机中,确保数据库的可靠性；
S6一个复制组由若干个节点(数据库实例)组成，组内各个节点维护各自的数据副本(Share Nothing)，通过一致性协议实现原子消息和全局有序消息，来实现组内实例数据的一致，在整个故障切换过程中主备数据的强一致性,真正实现数据0丢失。
本发明中，所述一种基于MGR的跨数据中心MySQL多活实现方法，通过三台物理服务器实现跨数据中心三节点MGR高可用，实现业务自动切换；通过三台物理服务器实现数据库三副本，保障数据库的安全性；MGR组复制技术，基于Paxos分布式协议，实现了数据最终一致性；通过DWDM设备，实现网络安全可靠性，保障了MGR组复制集群的稳定运行；三节点的MGR跨数据中心多活方案实现了任意数据中心级故障业务不会中断，保障了业务的连续性；
本发明通过MGR多主架构实现数据库级别的多节点写入；通过DWDM技术解决了MGR跨数据中心网络带宽和网络延迟的要求；三个数据中心提供三个MySQL副本，保障了数据的安全一致性。
附图说明
图1为本发明提出的一种基于MGR的跨数据中心MySQL多活实现方法的框架结构示意图；
图2为本发明提出的一种基于MGR的跨数据中心MySQL多活实现方法的三个数据中心连接示意图；
图3为本发明提出的一种基于MGR的跨数据中心MySQL多活实现方法的MGR的数据一致性算法原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，一种基于MGR的跨数据中心MySQL多活实现方法，，包括如下步骤：
S1在同一个城市里要去选择三个数据中心，或者是自建数据中心，或者是租用运营商的数据中心，保证三个数据中心之间的距离在30公里以内；
S2三个数据中心之间通过DWDM技术，使用裸光纤连接，确保网络延迟的2毫秒以内，网络带宽在10GB以上；
S3数据库服务器采用物理主机，内存至少128G,CPU至少32核心，硬盘使用固态盘，保证数据库性能足够支撑相关业务；
S4高可用数据库采用MGR技术，基于Paxos分布式协议，采用多主组复制架构，确保数据最终一致性，每个数据中心的应用都可以直连本地的数据库服务器，并且提供读写服务；
S5 MGR的数据一致性算法原理是用户提交事务时，需要等待至少一个备库收到日志副本，才返回给用户事务成功结束的信号，且收到的确认事务会自动持久化到多数派主机中,确保数据库的可靠性；
S6一个复制组由若干个节点(数据库实例)组成，组内各个节点维护各自的数据副本(Share Nothing)，通过一致性协议实现原子消息和全局有序消息，来实现组内实例数据的一致，在整个故障切换过程中主备数据的强一致性,真正实现数据0丢失。
本发明中，在同一个城市里要去选择三个数据中心，或者是自建数据中心，或者是租用运营商的数据中心，保证三个数据中心之间的距离在30公里以内；三个数据中心之间通过DWDM技术，使用裸光纤连接，确保网络延迟的2毫秒以内，网络带宽在10GB以上；数据库服务器采用物理主机，内存至少128G,CPU至少32核心，硬盘使用固态盘，保证数据库性能足够支撑相关业务；高可用数据库采用MGR技术，基于Paxos分布式协议，采用多主组复制架构，确保数据最终一致性，每个数据中心的应用都可以直连本地的数据库服务器，并且提供读写服务； MGR的数据一致性算法原理是用户提交事务时，需要等待至少一个备库收到日志副本，才返回给用户事务成功结束的信号，且收到的确认事务会自动持久化到多数派主机中,确保数据库的可靠性；一个复制组由若干个节点(数据库实例)组成，组内各个节点维护各自的数据副本(Share Nothing)，通过一致性协议实现原子消息和全局有序消息，来实现组内实例数据的一致，在整个故障切换过程中主备数据的强一致性,真正实现数据0丢失。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于MGR的跨数据中心MySQL多活实现方法，其特征在于，包括如下步骤：
S1在同一个城市里要去选择三个数据中心，或者是自建数据中心，或者是租用运营商的数据中心，保证三个数据中心之间的距离在30公里以内；
S2三个数据中心之间通过DWDM技术，使用裸光纤连接，确保网络延迟的2毫秒以内，网络带宽在10GB以上；
S3数据库服务器采用物理主机，内存至少128G,CPU至少32核心，硬盘使用固态盘，保证数据库性能足够支撑相关业务；
S4高可用数据库采用MGR技术，基于Paxos分布式协议，采用多主组复制架构，确保数据最终一致性，每个数据中心的应用都可以直连本地的数据库服务器，并且提供读写服务；
S5 MGR的数据一致性算法原理是用户提交事务时，需要等待至少一个备库收到日志副本，才返回给用户事务成功结束的信号，且收到的确认事务会自动持久化到多数派主机中,确保数据库的可靠性；
S6一个复制组由若干个节点(数据库实例)组成，组内各个节点维护各自的数据副本(Share Nothing)，通过一致性协议实现原子消息和全局有序消息，来实现组内实例数据的一致，在整个故障切换过程中主备数据的强一致性,真正实现数据0丢失。
CN202010560771.1A 2020-06-18 2020-06-18 一种基于MGR的跨数据中心MySQL多活实现方法 Pending CN111708843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010560771.1A CN111708843A (zh) 2020-06-18 2020-06-18 一种基于MGR的跨数据中心MySQL多活实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010560771.1A CN111708843A (zh) 2020-06-18 2020-06-18 一种基于MGR的跨数据中心MySQL多活实现方法

Publications (1)

Publication Number Publication Date
CN111708843A true CN111708843A (zh) 2020-09-25

Family

ID=72541985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010560771.1A Pending CN111708843A (zh) 2020-06-18 2020-06-18 一种基于MGR的跨数据中心MySQL多活实现方法

Country Status (1)

Country Link
CN (1) CN111708843A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685234A (zh) * 2020-11-26 2021-04-20 辽宁振兴银行股份有限公司 一种金融级两地三中心高可用MySQL数据库实现方法
CN115934428A (zh) * 2023-01-10 2023-04-07 湖南三湘银行股份有限公司 一种mysql数据库的主灾备切换方法、装置及电子设备
CN112685234B (zh) * 2020-11-26 2024-06-07 辽宁振兴银行股份有限公司 一种金融级两地三中心高可用MySQL数据库实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259543A (zh) * 2016-12-29 2018-07-06 广东中科遥感技术有限公司 分布式云存储数据库以及其部署在多个数据中心的方法
CN109542659A (zh) * 2018-11-14 2019-03-29 深圳前海微众银行股份有限公司 应用多活方法、设备、数据中心集群及可读存储介质
CN109819004A (zh) * 2017-11-22 2019-05-28 中国人寿保险股份有限公司 用于部署多活数据中心的方法和系统
CN111090637A (zh) * 2019-12-20 2020-05-01 辽宁振兴银行股份有限公司 一种金融级基于A10的高可用MySQL数据库实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259543A (zh) * 2016-12-29 2018-07-06 广东中科遥感技术有限公司 分布式云存储数据库以及其部署在多个数据中心的方法
CN109819004A (zh) * 2017-11-22 2019-05-28 中国人寿保险股份有限公司 用于部署多活数据中心的方法和系统
CN109542659A (zh) * 2018-11-14 2019-03-29 深圳前海微众银行股份有限公司 应用多活方法、设备、数据中心集群及可读存储介质
CN111090637A (zh) * 2019-12-20 2020-05-01 辽宁振兴银行股份有限公司 一种金融级基于A10的高可用MySQL数据库实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾晓敏 等: ""计算机网络技术与云计算理论研究"", 30 September 2019, 上海立信会计出版, pages: 215 - 112 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685234A (zh) * 2020-11-26 2021-04-20 辽宁振兴银行股份有限公司 一种金融级两地三中心高可用MySQL数据库实现方法
CN112685234B (zh) * 2020-11-26 2024-06-07 辽宁振兴银行股份有限公司 一种金融级两地三中心高可用MySQL数据库实现方法
CN115934428A (zh) * 2023-01-10 2023-04-07 湖南三湘银行股份有限公司 一种mysql数据库的主灾备切换方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN106899518B (zh) 一种基于互联网数据中心的资源处理方法以及装置
US10078564B2 (en) Preventing split-brain scenario in a high-availability cluster
US10489254B2 (en) Storage cluster failure detection
EP2281240B1 (en) Maintaining data integrity in data servers across data centers
CN103226502B (zh) 一种数据灾备控制系统及数据恢复方法
CN107391294B (zh) 一种ipsan容灾系统的建立方法及装置
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
US8281092B2 (en) Memory-mirroring control apparatus and memory-mirroring control method
CN105069160A (zh) 一种基于自主可控数据库的高可用性方法及构架
CN101136728A (zh) 群集系统和用于备份群集系统中的副本的方法
US20140317438A1 (en) System, software, and method for storing and processing information
US20170293540A1 (en) Failover of application services
CN108810150B (zh) 协同办公系统应用级灾备系统的数据复制方法
CN115794499B (zh) 一种用于分布式块存储集群间双活复制数据的方法和系统
CN110175089A (zh) 一种具有读写分离功能的双活灾备系统
CN112190924A (zh) 一种数据容灾方法、装置及计算机可读介质
CN111158949A (zh) 容灾架构的配置方法、切换方法及装置、设备和存储介质
CN107357800A (zh) 一种数据库高可用零丢失解决方法
CN111865632A (zh) 分布式数据存储集群的切换方法及切换指令发送方法和装置
CN103793296A (zh) 一种在集群中用于辅助备份复制计算机系统的方法
CN112783694B (zh) 一种高可用Redis的异地灾备方法
CN111708843A (zh) 一种基于MGR的跨数据中心MySQL多活实现方法
CN112231399A (zh) 一种应用于图数据库的方法和装置
WO2023151443A1 (zh) 同步主备数据库
CN109218386B (zh) 一种管理Hadoop命名空间的高可用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination