CN110673982A - 一种共享mysql数据库备份与恢复方法及其装置 - Google Patents

一种共享mysql数据库备份与恢复方法及其装置 Download PDF

Info

Publication number
CN110673982A
CN110673982A CN201910791286.2A CN201910791286A CN110673982A CN 110673982 A CN110673982 A CN 110673982A CN 201910791286 A CN201910791286 A CN 201910791286A CN 110673982 A CN110673982 A CN 110673982A
Authority
CN
China
Prior art keywords
backup
data
mysql
directory
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910791286.2A
Other languages
English (en)
Inventor
梁永堂
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ruijiang Cloud Computing Co Ltd
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Ruijiang Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ruijiang Cloud Computing Co Ltd filed Critical Guangdong Ruijiang Cloud Computing Co Ltd
Priority to CN201910791286.2A priority Critical patent/CN110673982A/zh
Publication of CN110673982A publication Critical patent/CN110673982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种共享mysql数据库备份与恢复方法及其装置，方法步骤包括：搭建ceph分布式存储集群，提供两台mysql数据库的作为存储；创建mysql1目录和mysql2目录，分别用于存储两台mysql数据库的文件；两台mysql数据库系统调整mysql配置文件，分别修改其sock和二进制日志binlog用于存放在cephfs系统目录上的位置；对两台mysql数据库进行心跳服务检测，mysql‑master发生故障时，触发数据恢复；在触发数据恢复前，需对数据进行备份，数据备份包括全量备份、增量备份以及差异备份；每次差异备份后，需进行一次数据恢复过程；当mysql‑master发生故障时，即时切换至mysql‑backup继续服务，提取ceph分布式存储集群中最新的增量备份。本发明增加了备份的可靠性，保证了数据恢复的完整性，加快了数据恢复时间。

Description

一种共享mysql数据库备份与恢复方法及其装置
技术领域
本发明涉及领域，特别涉及一种共享mysql数据库备份与恢复方法及其装置。
背景技术
MySQL是一个开放源代码的关系数据库管理系统，和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用，主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。
mysqldump是数据库用来备份和数据转移的一个工具，一般在数据量很小的时候(几个G)可以用于备份。当数据量比较大的情况下，就不建议用mysqldump工具进行备份了。其中，mysqldump是一个实用性很强的mysql数据转移工具，具有兼容强强、跨版本等特点。
现有的mysql备份过程：1、通过mysql自带工具mysqldump对本地或者远程mysql数据库进行备份；2、进行全库备份以及source命令恢复数据库；3、通过定时脚本将备份整理。
而上述的现有技术存在几个缺点：1、每一次备份都需要全库备份，备份时间长；2、备份没有经过压缩，占用空间大；3、备份时会有锁表动作，影响正在读写的操作；4、恢复都是需要全库恢复，恢复时间长。
发明内容
本发明要解决的技术问题在于，提供一种共享mysql数据库备份与恢复方法及其装置，解决了目前备份时间过长、恢复时间长和占用本地磁盘空间大等问题，增加了备份的可靠性，保证了数据恢复的完整性，加快了数据恢复时间。
为解决上述技术问题，本发明提供如下技术方案：一种共享mysql数据库备份与恢复方法，包括以下步骤：
S1、搭建ceph分布式存储集群，创建ceph文件系统cephfs，提供两台mysql数据库的作为存储；
S2、挂载ceph文件系统cephfs，创建data目录；在data目录下，创建full目录和incre目录，分别用于存放全量备份数据和增量备份数据；在data目录下，再创建mysql1目录和mysql2目录，分别用于存储两台mysql数据库的文件，mysql1目录下的mysql数据库套接字sock，mysql2目录下的mysql数据库套接字二进制日志binlog；
S3、两台mysql数据库系统调整mysql配置文件，分别修改其sock和二进制日志binlog用于存放在cephfs系统目录上的位置；对两台mysql数据库进行心跳服务检测，mysql-master发生故障时，即时切换至mysql-backup，进行服务接替，在切换的同时触发数据恢复；
S4、在触发数据恢复前，需对数据进行备份，数据备份包括全量备份、增量备份以及差异备份；
S5、每次差异备份后，需进行一次数据恢复过程：将全量备份和差异备份数据恢复在mysql-backup，这样可以极大减少故障发生时数据恢复时间；
S6、当mysql-master发生故障时，即时切换至mysql-backup继续服务，提取ceph分布式存储集群中最新的增量备份，然后在二进制日志binlog上恢复此增量备份至故障发生时的数据，保证到数据的完整性。
作为优选地，在所述步骤S1：为保证数据的同步完整性，在两台mysql数据库上部署若干个mon节点，然后挂载若干节点，用于保证服务的高可用，若发生一个节点down的情况下不影响数据的读写。
作为优选地，所述步骤S3中，对两台mysql数据库通过keepalived进行心跳服务检测。
作为优选地，所述步骤S4的数据进行备份，具体为：以七天为一周期内的数据备份为计划，在第一天的凌晨1点进行全量备份，直至全量备份过程结束；全量备份过程结束后，每隔半小时对全量备份进行增量备份；在第二天至第七天的每天凌晨1点均进行一次差异备份，直至每次差异备份过程结束；每天都对当天的差异备份，以每隔半小时进行增量备份。
作为优选地，所述步骤S4的数据进行备份，数据使用xtrabackup工具进行备份进行备份。
本发明另一目的是提供一种共享mysql数据库备份与恢复装置，包括：
存储集群单元，用于搭建ceph分布式存储集群，并创建ceph文件系统cephfs；
数据库单元，用于提供若干台数据库存储数据；
目录创建单元，用于创建data目录，且在data目录下，创建full目录、incre目录、mysql1目录和mysql2目录；
数据备份单元，用于对数据进行备份，数据备份包括全量备份、增量备份以及差异备份；
数据恢复单元，用于对每次差异备份后的全量备份和差异备份数据恢复在mysql-backup，并且在故障发生后将增量备份恢复至故障发生时的数据。
作为优选地，所述数据库单元包括mysql数据库系统模块，所述mysql数据库系统模块用于调整mysql配置文件。
作为优选地，所述mysql数据库系统模块包括keepalived模块，所述keepalived模块用于实时检测mysql数据库的心跳服务。
作为优选地，所述数据备份单元包括xtrabackup工具模块，所述数据备份单元通过xtrabackup工具模块对数据进行备份。
采用上述技术方案后，本发明至少具有如下有益效果：
1、本发明数据的备份只受分布式存储的容量限制，也就是不受任何限制了，大大减少对本地磁盘的压力；
2、本发明备份文件和二进制文件都存放在分布式存储上，也会进行同步的备份，即使数据节点出现问题，也不会丢失数据；
3、本发明能够快速、可靠地完成备份，备份期间不间断事务处理，极大减少备份时间；
4、本发明通过Keepalived的监测和毫秒级切换，保证的数据库服务的可持续性；
5、本发明合理的备份方案配合存储集群的备份，保证数据的完整性，达到快速数据恢复效果。
附图说明
图1为本发明实施例1一种共享mysql数据库备份与恢复方法的流程图；
图2为本发明实施例1一种共享mysql数据库备份与恢复方法中周期备份示例的流程示意图；
图3为本发明实施例2一种共享mysql数据库备份与恢复装置的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
如图1所示，本发明提供一种共享mysql数据库备份与恢复方法，包括以下步骤：
S101、搭建ceph分布式存储集群，创建ceph文件系统cephfs，提供两台mysql数据库的作为存储；为了保证数据的同步完整性，可以部署多个mon节点，然后挂载多个节点，保证了服务的高可用，当有一个节点down的时候不影响数据读写；
S102、挂载ceph文件系统cephfs，创建data目录；在data目录下，创建full目录和incre目录，分别用于存放全量备份数据和增量备份数据；在data目录下，再创建mysql1目录和mysql2目录，分别用于存储两台mysql数据库的文件，mysql1目录下的mysql数据库套接字sock，mysql2目录下的mysql数据库套接字二进制日志binlog；
S103、两台mysql数据库系统调整mysql配置文件，分别修改其sock和二进制日志binlog用于存放在cephfs系统目录上的位置；对两台mysql数据库通过keepalived进行心跳服务检测，mysql-master发生故障时，即时切换至mysql-backup，进行服务接替，在切换的同时触发数据恢复；
S104、在触发数据恢复前，需对数据使用xtrabackup工具进行备份，数据备份包括全量备份、增量备份以及差异备份；
其中，数据使用xtrabackup工具进行备份，其具体为：以七天为一周期内的数据备份为计划，在第一天的凌晨1点进行全量备份，直至全量备份过程结束；全量备份过程结束后，每隔半小时对全量备份进行增量备份；在第二天至第七天的每天凌晨1点均进行一次差异备份，直至每次差异备份过程结束；每天都对当天的差异备份，以每隔半小时进行增量备份；
如图2所示，本实施例中，以星期一至星期天为一个备份周期，在星期一的凌晨1点进行全量备份，直至全量备份过程结束；全量备份过程结束后，每隔半小时对全量备份进行增量备份；在星期二至星期天的每天凌晨1点均进行一次差异备份，直至每次差异备份过程结束；每天都对当天的差异备份，以每隔半小时进行增量备份；上述备份数据均存储在ceph分布式存储集群中；另外，需对两台mysql数据库通过keepalived进行心跳服务检测，mysql-master发生故障时，即时切换至mysql-backup，进行服务接替，在切换的同时触发数据恢复；
S105、每次差异备份后，需进行一次数据恢复过程：将全量备份和差异备份数据恢复在mysql-backup；
S106、当mysql-master发生故障时，即时切换至mysql-backup继续服务，提取ceph分布式存储集群中最新的增量备份，然后在二进制日志binlog上恢复此增量备份至故障发生时的数据，保证到数据的完整性。
实施例2
如图3所示，本实施例提供一种共享mysql数据库备份与恢复装置，包括：
存储集群单元，用于搭建ceph分布式存储集群，并创建ceph文件系统cephfs；
数据库单元，用于提供若干台数据库存储数据；所述数据库单元包括mysql数据库系统模块，所述mysql数据库系统模块用于调整mysql配置文件；所述mysql数据库系统模块包括keepalived模块，所述keepalived模块用于实时检测mysql数据库的心跳服务；
目录创建单元，用于创建data目录，且在data目录下，创建full目录、incre目录、mysql1目录和mysql2目录；
数据备份单元，用于对数据进行备份，数据备份包括全量备份、增量备份以及差异备份；数据备份单元包括xtrabackup工具模块，所述数据备份单元通过xtrabackup工具模块对数据进行备份；
数据恢复单元，用于对每次差异备份后的全量备份和差异备份数据恢复在mysql-backup，并且在故障发生后将增量备份恢复至故障发生时的数据。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (9)

1.一种共享mysql数据库备份与恢复方法，其特征在于，包括以下步骤：
S1、搭建ceph分布式存储集群，创建ceph文件系统cephfs，提供两台mysql数据库的作为存储；
S2、挂载ceph文件系统cephfs，创建data目录；在data目录下，创建full目录和incre目录，分别用于存放全量备份数据和增量备份数据；在data目录下，再创建mysql1目录和mysql2目录，分别用于存储两台mysql数据库的文件，mysql1目录下的mysql数据库套接字sock，mysql2目录下的mysql数据库套接字二进制日志binlog；
S3、两台mysql数据库系统调整mysql配置文件，分别修改其sock和二进制日志binlog用于存放在cephfs系统目录上的位置；对两台mysql数据库进行心跳服务检测，mysql-master发生故障时，即时切换至mysql-backup，进行服务接替，在切换的同时触发数据恢复；
S4、在触发数据恢复前，需对数据进行备份，数据备份包括全量备份、增量备份以及差异备份；
S5、每次差异备份后，需进行一次数据恢复过程：将全量备份和差异备份数据恢复在mysql-backup；
S6、当mysql-master发生故障时，即时切换至mysql-backup继续服务，提取ceph分布式存储集群中最新的增量备份，然后在二进制日志binlog上恢复此增量备份至故障发生时的数据，保证到数据的完整性。
2.根据权利要求1所述的一种共享mysql数据库备份与恢复方法，其特征在于，在所述步骤S1：为保证数据的同步完整性，在两台mysql数据库上部署若干个mon节点，然后挂载若干节点，用于保证服务的高可用，若发生一个节点down的情况下不影响数据的读写。
3.根据权利要求1所述的一种共享mysql数据库备份与恢复方法，其特征在于，所述步骤S3中，对两台mysql数据库通过keepalived进行心跳服务检测。
4.根据权利要求1所述的一种共享mysql数据库备份与恢复方法，其特征在于，所述步骤S4的数据进行备份，具体为：以七天为一周期内的数据备份为计划，在第一天的凌晨1点进行全量备份，直至全量备份过程结束；全量备份过程结束后，每隔半小时对全量备份进行增量备份；在第二天至第七天的每天凌晨1点均进行一次差异备份，直至每次差异备份过程结束；每天都对当天的差异备份，以每隔半小时进行增量备份。
5.根据权利要求1或4所述的一种共享mysql数据库备份与恢复方法，其特征在于，所述步骤S4的数据进行备份，数据使用xtrabackup工具进行备份进行备份。
6.一种共享mysql数据库备份与恢复装置，其特征在于，包括：
存储集群单元，用于搭建ceph分布式存储集群，并创建ceph文件系统cephfs；
数据库单元，用于提供若干台数据库存储数据；
目录创建单元，用于创建data目录，且在data目录下，创建full目录、incre目录、mysql1目录和mysql2目录；
数据备份单元，用于对数据进行备份，数据备份包括全量备份、增量备份以及差异备份；
数据恢复单元，用于对每次差异备份后的全量备份和差异备份数据恢复在mysql-backup，并且在故障发生后将增量备份恢复至故障发生时的数据。
7.根据权利要求6所述的一种共享mysql数据库备份与恢复装置，其特征在于，所述数据库单元包括mysql数据库系统模块，所述mysql数据库系统模块用于调整mysql配置文件。
8.根据权利要求7所述的一种共享mysql数据库备份与恢复装置，其特征在于，所述mysql数据库系统模块包括keepalived模块，所述keepalived模块用于实时检测mysql数据库的心跳服务。
9.根据权利要求6所述的一种共享mysql数据库备份与恢复装置，其特征在于，所述数据备份单元包括xtrabackup工具模块，所述数据备份单元通过xtrabackup工具模块对数据进行备份。
CN201910791286.2A 2019-08-26 2019-08-26 一种共享mysql数据库备份与恢复方法及其装置 Pending CN110673982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910791286.2A CN110673982A (zh) 2019-08-26 2019-08-26 一种共享mysql数据库备份与恢复方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910791286.2A CN110673982A (zh) 2019-08-26 2019-08-26 一种共享mysql数据库备份与恢复方法及其装置

Publications (1)

Publication Number Publication Date
CN110673982A true CN110673982A (zh) 2020-01-10

Family

ID=69075570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910791286.2A Pending CN110673982A (zh) 2019-08-26 2019-08-26 一种共享mysql数据库备份与恢复方法及其装置

Country Status (1)

Country Link
CN (1) CN110673982A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459720A (zh) * 2020-04-02 2020-07-28 上海新炬网络技术有限公司 一种基于事务日志的Mysql数据恢复方法
CN112069127A (zh) * 2020-09-01 2020-12-11 南京卓盛云信息科技有限公司 一种CephFS文件系统的备份方法及系统
CN112596958A (zh) * 2020-12-30 2021-04-02 浪潮电子信息产业股份有限公司 一种数据库备份方法、装置、设备及存储介质
CN114003439A (zh) * 2021-12-30 2022-02-01 深圳市科力锐科技有限公司 数据备份方法、装置、设备及存储介质
CN117950917A (zh) * 2024-03-27 2024-04-30 天津南大通用数据技术股份有限公司 一种大规模分布式并行数据库集群系统在线备份方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459720A (zh) * 2020-04-02 2020-07-28 上海新炬网络技术有限公司 一种基于事务日志的Mysql数据恢复方法
CN111459720B (zh) * 2020-04-02 2023-07-07 上海新炬网络技术有限公司 一种基于事务日志的Mysql数据恢复方法
CN112069127A (zh) * 2020-09-01 2020-12-11 南京卓盛云信息科技有限公司 一种CephFS文件系统的备份方法及系统
CN112596958A (zh) * 2020-12-30 2021-04-02 浪潮电子信息产业股份有限公司 一种数据库备份方法、装置、设备及存储介质
CN114003439A (zh) * 2021-12-30 2022-02-01 深圳市科力锐科技有限公司 数据备份方法、装置、设备及存储介质
CN114003439B (zh) * 2021-12-30 2022-05-24 深圳市科力锐科技有限公司 数据备份方法、装置、设备及存储介质
CN117950917A (zh) * 2024-03-27 2024-04-30 天津南大通用数据技术股份有限公司 一种大规模分布式并行数据库集群系统在线备份方法

Similar Documents

Publication Publication Date Title
CN110673982A (zh) 一种共享mysql数据库备份与恢复方法及其装置
US7197632B2 (en) Storage system and cluster maintenance
CN103853837B (zh) Oracle全自动不停生产数据库的表级备份恢复方法
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US10565071B2 (en) Smart data replication recoverer
CN101739313B (zh) 一种连续数据保护和恢复方法
CN109189860A (zh) 一种基于Kubernetes系统的MySQL主备增量同步方法
CN105955836A (zh) 一种冷热备份自动演练多功能系统
CN1329829C (zh) 一种用户数据库的备份恢复方法
US9525733B2 (en) Method and system for data synchronization
CN110263095B (zh) 数据备份与恢复方法、装置、计算机设备及存储介质
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及系统
CN107038091A (zh) 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法
WO2017014814A1 (en) Replicating memory volumes
CN113360322A (zh) 一种基于备份系统恢复数据的方法及设备
CN104516795A (zh) 一种数据存取方法及系统
CN111125060A (zh) 一种数据库管理方法、系统、设备及存储介质
CN110716828B (zh) 一种数据库实时备份方法
EP4052129A1 (en) System and method for blockchain based backup and recovery
CN111680040A (zh) 数据表处理方法及装置
CN111858076B (zh) 一种目标守护进程同步方法和装置
CN103327105A (zh) hadoop系统中从属节点服务自动恢复方法
CN105138428B (zh) 基于前驱依赖的故障恢复方法
CN104361043B (zh) 数据库切换方法及数据库切换系统
KR20100061983A (ko) 실시간 복제 환경의 데이터베이스 운용 관리 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200110