CN110795280A - 一种基于mysql异步双向的异地双活容灾系统 - Google Patents

一种基于mysql异步双向的异地双活容灾系统 Download PDF

Info

Publication number
CN110795280A
CN110795280A CN201910859143.0A CN201910859143A CN110795280A CN 110795280 A CN110795280 A CN 110795280A CN 201910859143 A CN201910859143 A CN 201910859143A CN 110795280 A CN110795280 A CN 110795280A
Authority
CN
China
Prior art keywords
service machine
machine room
service
data
rooms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910859143.0A
Other languages
English (en)
Inventor
金新华
赖少飞
薛峰
欧平均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yike Information Technology Co Ltd
Original Assignee
Hangzhou Yike Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yike Information Technology Co Ltd filed Critical Hangzhou Yike Information Technology Co Ltd
Priority to CN201910859143.0A priority Critical patent/CN110795280A/zh
Publication of CN110795280A publication Critical patent/CN110795280A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明公开了一种基于mysql异步双向的异地双活容灾系统,包括服务机房、调度模块,服务机房包括第一服务机房、第二服务机房;第一服务机房、第二服务机房提供客户数据的存储;调度模块将不同客户变动的数据集中在与其对应的服务机房中,当对应服务机房发生故障时,客户变动的数据才会由另一服务机房提供相应服务;本发明提供双活数据中心即两个服务机房都处于运行当中,且运行相同的应用,具备同样的数据,能够提供跨中心业务负载均衡运行能力,实现持续的两个服务机房可用性和灾难备份能力。

Description

一种基于mysql异步双向的异地双活容灾系统
技术领域
本发明涉及数据容灾技术领域,更具体的说,它涉及一种基于mysql异步双向的异地双活容灾系统。
背景技术
因为电力、网络、地震、雪灾或其它原因,可能导致整个服务机房不可用,所以需要异地容灾。当前市场上常见的数据容灾模式可分为同城容灾、异地容灾、两地三中心这几种。
同城容灾是在同城或相近区域内(≤200KM)建立两个数据中心:一个为数据中心,负责日常生产运行;另一个为灾难备份中心,负责在灾难发生后的应用系统运行。
异地容灾主备中心之间的距离较远(>200KM),因此一般采用异步镜像技术,但会有少量的数据丢失发生。
两地三中心是指同城双中心加异地灾备,一种商用容灾备份解决方案;其中两地是指同城、异地;三中心是指生产中心、同城容灾中心、异地容灾中心(或者称为生产中心、同城灾备中心、异地灾备中心)。
同城容灾、异地容灾因为冷备(灾难备份中心的设备)都无法保证切换后设备是一定可用的,且存在数据一定的滞后性,所以容易让使用者察觉到数据的异常,影响使用。
发明内容
本发明克服了现有技术的不足,提供一种基于mysql异步双向的异地双活容灾系统。
本发明的技术方案如下:
一种基于mysql异步双向的异地双活容灾系统,包括服务机房、调度模块,服务机房包括第一服务机房、第二服务机房;
第一服务机房、第二服务机房提供客户数据的存储;第一服务机房、第二服务机房之间通过互联网线路联通,且两者处于不同地方;第一服务机房、第二服务机房内设置的云平台操作系统中设置mysql,通过mysql的异步复制机制在第一服务机房、第二服务机房之间进行数据的同步;
调度模块将不同客户变动的数据集中在与其对应的服务机房中,当对应服务机房发生故障时,客户变动的数据才会由另一服务机房提供相应服务。
进一步的,调度模块包括分配模块和数据模块;分配模块至少三个以上流量入口,流量入口设置在网络独立的其它机房内,其分配客户对应连接的服务机房和保障与服务机房的联通;数据模块进行数据格式和加密方式的统一,确保服务机房之间数据的互传与统一。
进一步的,调度模块还包括处理模块,分配模块与服务机房进行连接,并反馈连接情况给处理模块;其中分配模块的流量入口每隔一定时间进行与服务机房的联通判断,当出现2/3个流量入口反馈为无法与服务机房联通时,将判定为对应的服务机房发生故障,自动引发一次灾备切换。
进一步的,还包括ID发生器,ID发生器与服务机房有关,第一服务机房、第二服务机房内的客户ID不重复且ID值与相应服务机房相关,便于客户与相应服务机房的匹配。
进一步的,第一服务机房、第二服务机房内都设置两个数据实例进行服务运作。
本发明相比现有技术优点在于:本发明通过双活数据中心即两个服务机房都处于运行当中,且运行相同的应用,具备同样的数据,能够提供跨中心业务负载均衡运行能力,实现持续的两个服务机房可用性和灾难备份能力。在本发明的模式中,两地服务机房同时接纳数据,且技术操作简单,可实现跨多种云平台的数据。
本发明的分配模块至少包含三个以上流量入口,流量入口设置在网络独立的其它机房内,其作用是分配客户对应连接的服务机房和保障与服务机房的联通,实现客户稳定的连接与其对应的服务机房,在具体实施过程中,分配模块是按就近原则进行分配客户去合适的服务机房,一经分配,在无故障的情况下就不会变动。数据模块进行数据格式和加密方式的统一,确保服务机房之间数据的互传与统一,以此可以实现跨云台的数据传输,无需进行相应数据适应云平台的变化。例如第一服务机房是腾讯云平台,第二服务机房是阿里云服务平台,有了数据模块后,云服务平台之间的数据就有了统一的标准进行传输加密和解析,大大降低了运营维护成本和搭建成本。
本发明还包括ID发生器,其与服务机房有关,第一服务机房、第二服务机房内的客户ID不重复且ID值与相应服务机房相关,便于客户与相应服务机房的匹配。即为了防止数据冲突,各机房有一个ID发生器,一般按奇偶分开的原则生成,比如第一服务机房生成奇数ID,第二服务机房产生偶数ID,双向复制保证了数据的自动回流,待故障恢复时只要恢复原来的服务分配即可。
附图说明
图1为本发明的示意图。
具体实施方式
下面详细描述本发明的实施方式,其中自始至终相同或类似的标号表示相同或类似的元件或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明而不能作为对本发明的限制。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科技术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样的定义,不会用理想化或过于正式的含义来解释。
各实施方式中提到的有关于步骤的标号,仅仅是为了描述的方便,而没有实质上先后顺序的联系。各具体实施方式中的不同步骤,可以进行不同先后顺序的组合,实现本发明的发明目的。
下面结合附图和具体实施方式对本发明进一步说明。
如图1所示,一种基于mysql异步双向的异地双活容灾系统,包括服务机房、调度模块,服务机房包括第一服务机房、第二服务机房。
第一服务机房、第二服务机房提供客户数据的存储。第一服务机房、第二服务机房之间通过互联网线路联通,且两者处于不同地方,达到异地容灾效果,在传统异地容灾设计中要求机房间的信息传输采用专线,整体成本很高,而本方案只要通过普通的互联网线路进行联通即可。具体的,第一服务机房、第二服务机房内设置的云平台操作系统中设置mysql,通过mysql的异步复制机制在第一服务机房、第二服务机房之间进行数据的同步,通过mysql中自带的机制来实现数据的同步,因为此机制数据传输的准确性高,数据传输时的要求低,通过普通互联网线路就可。
第一服务机房、第二服务机房双活,即采用第一服务机房、第二服务机房同时都在使用,确保在发生故障的情况下,备用的服务机房是可以正常运作的,且数据是最新的。比如一共1万客户,5千由第一服务机房提供服务,另外5千由第二服务机房提供服务。双活保证了切换可用性,克服了传统的同城容灾、异地容灾、两地三中心这几种中的容灾备份中,备用装置本身可能已经发生故障的问题。即传统方法大部分备用装置是冷备,平时不在使用,当灾难发生时无法保证可用性,而本方案是双活,保证了切换可用性。冷备还造成了资源的极大浪费,而本方案双活同时在用,达到资源的合理利用。
调度模块将不同客户变动的数据集中在与其对应的服务机房中,当对应服务机房发生故障时,客户变动的数据才会由另一服务机房提供相应服务。即同一个客户的数据在服务机房不发生任何故障的情况下,其所有访问产生的数据变更都只会在同一个服务机房内,如客户A其一开始数据服务是由第一服务机房提供的,则在第一服务机房不发生故障的情况下,客户A只会连接第一服务机房,由第一服务机房进行相应的服务,而第二服务机房只是进行数据的同步。
其中,调度模块包括分配模块和数据模块。分配模块至少包含三个以上流量入口,流量入口设置在网络独立的其它机房内,其作用是分配客户对应连接的服务机房和保障与服务机房的联通,实现客户稳定的连接与其对应的服务机房,在具体实施过程中,分配模块是按就近原则进行分配客户去合适的服务机房,一经分配,在无故障的情况下就不会变动。数据模块进行数据格式和加密方式的统一,确保服务机房之间数据的互传与统一,以此可以实现跨云台的数据传输,无需进行相应数据适应云平台的变化。例如第一服务机房是腾讯云平台,第二服务机房是阿里云服务平台,有了数据模块后,云服务平台之间的数据就有了统一的标准进行传输加密和解析,大大降低了运营维护成本和搭建成本。
调度模块还包括处理模块,分配模块与服务机房进行连接,并反馈连接情况给处理模块。其中分配模块的流量入口每隔一定时间(一般以每10秒进行一次)进行与服务机房的联通判断,当出现2/3个流量入口反馈为无法与服务机房联通时,将判定为对应的服务机房发生故障,自动引发一次灾备切换,即所有流量入口都与第一服务机房、第二服务机房联通,所有流量入口都每隔一定时间就与第一服务机房、第二服务机房进行联通,确保第一服务机房、第二服务机房是可联通可使用的,一旦有2/3个及以上流量入口反馈第一服务机房无法联通,则判定第一服务机房发生故障,所有客户的数据访问将由第二服务机房来提供服务。发生故障的切换过程中主要是进行数据的增量复制,将发生故障的第一服务机房的客户从第一服务机房切到第二服务机房,这两部分。根据实际检验,采用了mysql的异步复制机制后,数据的增量复制不会超过半分钟,在整个故障切换过程中前后不超过一分钟即可完成;而传统的方式并不采用异步复制机制,使得会容易出现业务的中断,在一切顺利的情况下也需要两分钟左右的时间,本方案采用mysql的异步复制机制是不会中断业务,业务执行业务的指令,复制执行复制的指令,不会相互干涉,且十分适合本方案中的广域网此类不稳定的网络环境,不仅实现大大提高了客户在使用过程中的舒适度,而且切换时产生的延时也基本不会影响到客户的正常使用。
作为优选,本方案还包括ID发生器,ID发生器与服务机房有关,第一服务机房、第二服务机房内的客户ID不重复且ID值与相应服务机房相关,便于客户与相应服务机房的匹配。即为了防止数据冲突,各机房有一个ID发生器,一般按奇偶分开的原则生成,比如第一服务机房生成奇数ID,第二服务机房产生偶数ID,双向复制保证了数据的自动回流,待故障恢复时只要恢复原来的服务分配即可。
作为优选,第一服务机房、第二服务机房内都设置两个数据实例进行运作,即第一服务机房、第二服务机房内分别都设置两套服务设备进行服务,两套服务设备之间同样采用类似第一服务机房、第二服务机房之间的数据服务,具体如第一服务机房服务的5千客户分成两批由两套设备进行固定的数据服务,相互之间也采用mysql的异步复制机制进行数据同步。以此大大提高容灾能力,减少误判带来的问题。
综上同理,本方案可将两个服务机房提升到多个服务机房采用相同方式,即可达到更好的容灾效果。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。

Claims (5)

1.一种基于mysql异步双向的异地双活容灾系统,其特征在于:包括服务机房、调度模块,服务机房包括第一服务机房、第二服务机房;
第一服务机房、第二服务机房提供客户数据的存储;第一服务机房、第二服务机房之间通过互联网线路联通,且两者处于不同地方;第一服务机房、第二服务机房内设置的云平台操作系统中设置mysql,通过mysql的异步复制机制在第一服务机房、第二服务机房之间进行数据的同步;
调度模块将不同客户变动的数据集中在与其对应的服务机房中,当对应服务机房发生故障时,客户变动的数据才会由另一服务机房提供相应服务。
2.根据权利要求1所述的一种基于mysql异步双向的异地双活容灾系统,其特征在于:调度模块包括分配模块和数据模块;分配模块至少三个以上流量入口,流量入口设置在网络独立的其它机房内,其分配客户对应连接的服务机房和保障与服务机房的联通;数据模块进行数据格式和加密方式的统一,确保服务机房之间数据的互传与统一。
3.根据权利要求2所述的一种基于mysql异步双向的异地双活容灾系统,其特征在于:调度模块还包括处理模块,分配模块与服务机房进行连接,并反馈连接情况给处理模块;其中分配模块的流量入口每隔一定时间进行与服务机房的联通判断,当出现2/3个流量入口反馈为无法与服务机房联通时,将判定为对应的服务机房发生故障,自动引发一次灾备切换。
4.根据权利要求1所述的一种基于mysql异步双向的异地双活容灾系统,其特征在于:还包括ID发生器,ID发生器与服务机房有关,第一服务机房、第二服务机房内的客户ID不重复且ID值与相应服务机房相关,便于客户与相应服务机房的匹配。
5.根据权利要求1所述的一种基于mysql异步双向的异地双活容灾系统,其特征在于:第一服务机房、第二服务机房内都设置两个数据实例进行服务运作。
CN201910859143.0A 2019-09-11 2019-09-11 一种基于mysql异步双向的异地双活容灾系统 Pending CN110795280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910859143.0A CN110795280A (zh) 2019-09-11 2019-09-11 一种基于mysql异步双向的异地双活容灾系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910859143.0A CN110795280A (zh) 2019-09-11 2019-09-11 一种基于mysql异步双向的异地双活容灾系统

Publications (1)

Publication Number Publication Date
CN110795280A true CN110795280A (zh) 2020-02-14

Family

ID=69427116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910859143.0A Pending CN110795280A (zh) 2019-09-11 2019-09-11 一种基于mysql异步双向的异地双活容灾系统

Country Status (1)

Country Link
CN (1) CN110795280A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338858A (zh) * 2020-02-18 2020-06-26 中国工商银行股份有限公司 一种双机房的容灾方法及装置
CN111355988A (zh) * 2020-03-31 2020-06-30 苏州科达科技股份有限公司 业务灾备方法、设备及可读存储介质
CN113765705A (zh) * 2021-08-12 2021-12-07 深圳市珍爱捷云信息技术有限公司 一种跨公有云双活结构的流量切换方法及流量管理服务器
CN113766004A (zh) * 2021-07-27 2021-12-07 深圳市珍爱捷云信息技术有限公司 一种基于多云平台的灾备系统、方法及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053121A1 (en) * 2004-09-09 2006-03-09 Microsoft Corporation Method, system, and apparatus for providing resilient data transfer in a data protection system
US20120197842A1 (en) * 2011-01-28 2012-08-02 International Business Machines Corporation Space Efficient Cascading Point in Time Copying
CN105005518A (zh) * 2015-08-24 2015-10-28 上海天旦网络科技发展有限公司 自动聚合冗余系统交易数据的系统及其处理器和方法
CN105471622A (zh) * 2015-11-12 2016-04-06 武汉噢易云计算有限公司 一种基于Galera的控制节点主备切换的高可用方法及系统
CN106487486A (zh) * 2016-10-18 2017-03-08 泰康保险集团股份有限公司 业务处理方法和数据中心系统
CN106776126A (zh) * 2016-11-30 2017-05-31 郑州云海信息技术有限公司 一种容灾系统及方法
CN107766175A (zh) * 2017-09-07 2018-03-06 中国光大银行股份有限公司信用卡中心 一种用于银行的数据处理系统
CN108810150A (zh) * 2018-06-15 2018-11-13 国网上海市电力公司 协同办公系统应用级灾备系统的数据复制方法
CN109101364A (zh) * 2018-07-20 2018-12-28 中国邮政储蓄银行股份有限公司 双中心双活数据处理系统和方法
CN109635039A (zh) * 2018-11-23 2019-04-16 金色熊猫有限公司 多数据中心数据同步方法及系统
CN109714394A (zh) * 2018-12-05 2019-05-03 深圳店匠科技有限公司 跨境多服务端的信息同步方法、系统和存储介质
CN109901949A (zh) * 2019-02-25 2019-06-18 中国工商银行股份有限公司 双活数据中心的应用灾备系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053121A1 (en) * 2004-09-09 2006-03-09 Microsoft Corporation Method, system, and apparatus for providing resilient data transfer in a data protection system
US20120197842A1 (en) * 2011-01-28 2012-08-02 International Business Machines Corporation Space Efficient Cascading Point in Time Copying
CN105005518A (zh) * 2015-08-24 2015-10-28 上海天旦网络科技发展有限公司 自动聚合冗余系统交易数据的系统及其处理器和方法
CN105471622A (zh) * 2015-11-12 2016-04-06 武汉噢易云计算有限公司 一种基于Galera的控制节点主备切换的高可用方法及系统
CN106487486A (zh) * 2016-10-18 2017-03-08 泰康保险集团股份有限公司 业务处理方法和数据中心系统
CN106776126A (zh) * 2016-11-30 2017-05-31 郑州云海信息技术有限公司 一种容灾系统及方法
CN107766175A (zh) * 2017-09-07 2018-03-06 中国光大银行股份有限公司信用卡中心 一种用于银行的数据处理系统
CN108810150A (zh) * 2018-06-15 2018-11-13 国网上海市电力公司 协同办公系统应用级灾备系统的数据复制方法
CN109101364A (zh) * 2018-07-20 2018-12-28 中国邮政储蓄银行股份有限公司 双中心双活数据处理系统和方法
CN109635039A (zh) * 2018-11-23 2019-04-16 金色熊猫有限公司 多数据中心数据同步方法及系统
CN109714394A (zh) * 2018-12-05 2019-05-03 深圳店匠科技有限公司 跨境多服务端的信息同步方法、系统和存储介质
CN109901949A (zh) * 2019-02-25 2019-06-18 中国工商银行股份有限公司 双活数据中心的应用灾备系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338858A (zh) * 2020-02-18 2020-06-26 中国工商银行股份有限公司 一种双机房的容灾方法及装置
CN111338858B (zh) * 2020-02-18 2023-07-14 中国工商银行股份有限公司 一种双机房的容灾方法及装置
CN111355988A (zh) * 2020-03-31 2020-06-30 苏州科达科技股份有限公司 业务灾备方法、设备及可读存储介质
CN113766004A (zh) * 2021-07-27 2021-12-07 深圳市珍爱捷云信息技术有限公司 一种基于多云平台的灾备系统、方法及存储介质
CN113765705A (zh) * 2021-08-12 2021-12-07 深圳市珍爱捷云信息技术有限公司 一种跨公有云双活结构的流量切换方法及流量管理服务器

Similar Documents

Publication Publication Date Title
CN110795280A (zh) 一种基于mysql异步双向的异地双活容灾系统
CN103199972A (zh) 基于soa、rs485总线实现的双机热备份切换方法及热备份系统
CN102170342B (zh) 一种高冗余配置下的iec104通信主备切换方法
CN100499507C (zh) 一种容灾系统、方法和网络设备
CN105337780B (zh) 一种服务器节点配置方法及物理节点
CN102546773A (zh) 提供复原性服务
CN101984573A (zh) 分布式实现lacp标准状态机的方法及系统
US10929254B2 (en) Data processing system providing service continuity protection
CN102736721A (zh) 低sts使用率的数据中心拓扑
CN108390919B (zh) 一种用于高可靠双机热备的消息同步系统及方法
CN106993002A (zh) 一种故障录波信息的云发布方法
CN105302649A (zh) 一种容灾备份方法和系统
CN106209468A (zh) 异构主备调度自动化系统之间操作信息同步的方法及系统
CN102722797A (zh) 基于责任区的电力调度自动化系统信息分层方法
CN109391659B (zh) 一种远方实时监控方法及系统
CN102255716A (zh) 一种对协议状态的设备间备份的方法及系统
KR20200113995A (ko) 엣지 인공지능 서비스에 대한 고가용성 보장을 위한 삼중화 이상 다중화 구조 및 방법
JP2000330814A (ja) 二重化サーバシステム
CN115314596A (zh) 一种高可用热线电话客服应答系统、方法、装置及介质
CN104503871A (zh) 一种基于小型机系统全冗余模型的实现方法
Mori Autonomous decentralized systems technologies and their application to a train transport operation system
CN103929320A (zh) 一种针对it系统灾难恢复的集成平台
CN101854282A (zh) 一种适用于多接口调度台的环形组网方法及其系统
CN208589988U (zh) 光传送网络设备
CN113676405B (zh) 一种基于负荷分担的快速链路主备切换分布式系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214