CN105159943A - 一种分布式数据库自动化备份方法及系统 - Google Patents

一种分布式数据库自动化备份方法及系统 Download PDF

Info

Publication number
CN105159943A
CN105159943A CN201510484851.2A CN201510484851A CN105159943A CN 105159943 A CN105159943 A CN 105159943A CN 201510484851 A CN201510484851 A CN 201510484851A CN 105159943 A CN105159943 A CN 105159943A
Authority
CN
China
Prior art keywords
backup
tasks
current
database node
mysql database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510484851.2A
Other languages
English (en)
Inventor
武鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201510484851.2A priority Critical patent/CN105159943A/zh
Publication of CN105159943A publication Critical patent/CN105159943A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明涉及一种分布式数据库自动化备份方法及系统，包括以下步骤：配置备份策略；选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。本发明支持一次备份整个集群的mysql或者根据业务系统灵活选择多个mysql节点进行备份；备份任务的周期、时间等策略可灵活定制化；可以实时监控查看和管理备份的集群mysql各个节点备份状态；可以实时查看和管理备份的集群mysql各个节点备份文件。

Description

一种分布式数据库自动化备份方法及系统
技术领域
本发明涉及分布式数据库技术领域，特别涉及一种分布式数据库自动化备份方法及系统。
背景技术
在互联网、电信等许多关键领域，随着企业业务的不断发展，企业的I/T环境也在不断进行演变，单个数据库已经很难满足海量数据库存储和高并发数据访问，分布式数据库的出现成为必然，分布式数据库能够有效的解决海量数据存储和并发问题，通过数据的水平切合和数据表的垂直切分，有效的缓解了海量数据存储，通过负载均衡、高可用、轮询等缓解了高并发问题。但随着分布式数据库的上线业务量的增加随之mysql节点的剧增，传统的mysql单节点备份和简单的备份策略，已无法满足整个分布式系统的需求。
目前的分布式数据库系统不能实现自动化备份，随着业务增加每个节点数据量剧增，整个集群mysql的宕机的风险越来越大，数据丢失的风险越来越大。单个mysql节点的备份步骤操作越来越繁琐，需要花费大量的精力去管理和监控整个集群的mysql节点备份；Mysql集群的备份数据文件越来越多，无法进行有效地管理；Myql的备份策略不足以支撑业务系统的需求。
发明内容
本发明所要解决的技术问题是提供一种能够依次对整个mysql集群或者多个mysql节点进行备份的分布式数据库自动化备份的方法及系统。
本发明解决上述技术问题的技术方案如下：一种分布式数据库自动化备份方法，包括以下步骤：
配置备份策略；
选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；
加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。
本发明的有益效果是：本发明可界面化灵活定制数据库集群备份策略；可一次选择整个mysql集群或者多个mysql节点进行备份；可实时监控与管理备份任务的状态和备份的数据库数据文件；可将数据库备份文件上传到云管理平台的对象存储容器进行托管。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述配置备份策略，具体为配置备份时间、对象存储容器、备份中转服务器IP地址、主机用户、主机密码和备份系统目录。
进一步，所述加载当前的备份任务的信息，对当前的备份任务中选择的mysql数据库节点进行备份具体为：加载备份任务的信息，通过调用预设的备份命令对备份任务选择的mysql数据库节点进行备份。
进一步，当备份命令执行完成后，将备份任务中选择的各个mysql数据库节点的状态刷新为完成状态和刷新任务结束时间。
进一步，所述对当前的备份任务中选择的mysql数据库节点进行备份之后还包括：将备份任务中选择的mysql数据库节点备份成.sql文件，并将.sql文件输出到备份中转服务器的备份目录，同时将.sql文件上传到配置的对象存储容器并返回结果。
进一步，一种分布式数据库自动化备份系统，包括配置模块、选择模块和加载备份模块；
所述配置模块，用于配置备份策略；
所述选择模块，用于选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；
所述加载备份模块，用于加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。
进一步，所述配置模块，具体用于配置备份时间、对象存储容器、备份中转服务器IP地址、主机用户、主机密码和备份系统目录。
进一步，所述加载备份模块具体用于：加载备份任务的信息，通过调用预设的备份命令对备份任务选择的mysql数据库节点进行备份。
进一步，当备份命令执行完成后，刷新备份任务中选择的各个mysql数据库节点的状态为完成状态和刷新任务结束时间。
进一步，所述加载备份模块对当前的备份任务中选择的mysql数据库节点进行备份之后还包括：备份上传模块，用于将备份任务中选择的mysql数据库节点备份成.sql文件，并将.sql文件输出到备份中转服务器的备份目录，同时将.sql文件上传到配置的对象存储容器并返回结果。
附图说明
图1为本发明方法步骤流程图；
图2为本发明系统结构图。
附图中，各标号所代表的部件列表如下：
1、配置模块，2、选择模块，3、加载备份模块，4、备份上传模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1
如图1所示，一种分布式数据库自动化备份方法，包括以下步骤：
配置备份策略；
选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；
加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。
所述配置备份策略，具体为配置备份时间、对象存储容器、备份中转服务器IP地址、主机用户、主机密码和备份系统目录。
所述加载当前的备份任务的信息，对当前的备份任务中选择的mysql数据库节点进行备份具体为：加载备份任务的信息，通过调用预设的备份命令对备份任务选择的mysql数据库节点进行备份。
当备份命令执行完成后，将备份任务中选择的各个mysql数据库节点的状态刷新为完成状态和刷新任务结束时间。
所述对当前的备份任务中选择的mysql数据库节点进行备份之后还包括：将备份任务中选择的mysql数据库节点备份成.sql文件，并将.sql文件输出到备份中转服务器的备份目录，同时将.sql文件上传到配置的对象存储容器并返回结果。
在具体实施中，此实现方案总共包含三层：前端web层，主要用来创建备份任务，显示任务状态和备份文件列表的管理；中间调度层，主要用来控制定时任务的启动，任务状态的刷新和后台备份脚本的调用；后台服务层，主要是通过linuxshell备份脚本实现用来备份mysql数据库以及上传备份数据文件到云管理平台的对象存储容器。
Web层：
管理员在web端首先添加分布式数据库集群节点以及集群下的mysql节点，配置备份策略，包括：备份中转服务器IP地址，主机用户，主机密码，备份系统目录，备份的周期策略可配置支持一次性备份、每1天备份、每3天备份、每一周备份、每半个月备份、每一个月备份等等灵活的备份周期策略，备份的对象存储容器支持备份到云管理服务器。
当上述配置完成后，可以创建备份任务，填写备份任务名称，选择需要备份的分布式集群数据库，可以按照业务系统一次选择多个mysql节点数据库为一个备份任务，选择已定制化的备份策略是一次性备份还是选择周期性备份、选择备份开始时间系统会在配置的时间启动定时备份任务。
在web端可以实时查看备份任务的运行详情，监控各个mysql节点的备份状态，以及管理mysql节点数据库备份文件，可以选择删除过期的备份的数据库备份文件
中间调度层：
Web端创建备份任务成功后会通知中间调度层注册数据库定时备份任务，中间调度会在创建任务时指定的开始时间定时启动备份任务。任务启动调度层会自动加载出备份任务信息，调用后台服务层的备份命令备份任务选择的mysql集群数据库。同时中间调度层会立即刷新备份任务的各个mysql节点的状态为运行状态，备份命令执行完成后会刷新备份任务的各个mysql节点的状态为完成状态和刷新任务结束时间，如果是周期性备份，会自动计算出下一个周期任务的开始时间并注册下一个定时任务。
后台服务层：
接收到中间调度层的备份调度时，后台服务层会在备份中转服务器上执行备份命令,命令通过调用mysqldump工具备份指定的mysql数据库，备份完成后后会通知中间调度层备份完成。后台服务层将备份任务所选择的mysql数据库备份输出成.sql文件到备份中转服务器的备份目录，同时上传到配置的云管理系统的对象存储容器并返回结果。
如图2所示，一种分布式数据库自动化备份系统，包括配置模块1、选择模块2和加载备份模块3；
所述配置模块1，用于配置备份策略；
所述选择模块2，用于选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；
所述加载备份模块3，用于加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。
所述配置模块1，具体用于配置备份时间、对象存储容器、备份中转服务器IP地址、主机用户、主机密码和备份系统目录。
所述加载备份模块3具体用于：加载备份任务的信息，通过调用预设的备份命令对备份任务选择的mysql数据库节点进行备份。
当备份命令执行完成后，刷新备份任务中选择的各个mysql数据库节点的状态为完成状态和刷新任务结束时间。
所述加载备份模块3对当前的备份任务中选择的mysql数据库节点进行备份之后还包括：备份上传模块4，用于将备份任务中选择的mysql数据库节点备份成.sql文件，并将.sql文件输出到备份中转服务器的备份目录，同时将.sql文件上传到配置的对象存储容器并返回结果。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式数据库自动化备份方法，其特征在于，包括以下步骤：
配置备份策略；
选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；
加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。
2.根据权利要求1所述的分布式数据库自动化备份方法，其特征在于，所述配置备份策略，具体为配置备份时间、对象存储容器、备份中转服务器IP地址、主机用户、主机密码和备份系统目录。
3.根据权利要求1所述的分布式数据库自动化备份方法，其特征在于，所述加载当前的备份任务的信息，对当前的备份任务中选择的mysql数据库节点进行备份具体为：加载备份任务的信息，通过调用预设的备份命令对备份任务选择的mysql数据库节点进行备份。
4.根据权利要求3所述的分布式数据库自动化备份方法，其特征在于，当备份命令执行完成后，将备份任务中选择的各个mysql数据库节点的状态刷新为完成状态和刷新任务结束时间。
5.根据权利要求1所述的分布式数据库自动化备份方法，其特征在于，所述对当前的备份任务中选择的mysql数据库节点进行备份之后还包括：将备份任务中选择的mysql数据库节点备份成.sql文件，并将.sql文件输出到备份中转服务器的备份目录，同时将.sql文件上传到配置的对象存储容器并返回结果。
6.一种分布式数据库自动化备份系统，其特征在于，包括配置模块(1)、选择模块(2)和加载备份模块(3)；
所述配置模块(1)，用于配置备份策略；
所述选择模块(2)，用于选择至少一个mysql数据库节点作为当前的备份任务，并为当前的备份任务选择备份策略；
所述加载备份模块(3)，用于加载当前的备份任务的信息，根据备份策略对当前的备份任务中选择的mysql数据库节点进行备份。
7.根据权利要求6所述的分布式数据库自动化备份系统，其特征在于，所述配置模块(1)，具体用于配置备份时间、对象存储容器、备份中转服务器IP地址、主机用户、主机密码和备份系统目录。
8.根据权利要求6所述的分布式数据库自动化备份系统，其特征在于，所述加载备份模块(3)具体用于：加载备份任务的信息，通过调用预设的备份命令对备份任务选择的mysql数据库节点进行备份。
9.根据权利要求8所述的分布式数据库自动化备份系统，其特征在于，当备份命令执行完成后，刷新备份任务中选择的各个mysql数据库节点的状态为完成状态和刷新任务结束时间。
10.根据权利要求6所述的分布式数据库自动化备份系统，其特征在于，所述加载备份模块(3)对当前的备份任务中选择的mysql数据库节点进行备份之后还包括：备份上传模块(4)，用于将备份任务中选择的mysql数据库节点备份成.sql文件，并将.sql文件输出到备份中转服务器的备份目录，同时将.sql文件上传到配置的对象存储容器并返回结果。
CN201510484851.2A 2015-08-07 2015-08-07 一种分布式数据库自动化备份方法及系统 Pending CN105159943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510484851.2A CN105159943A (zh) 2015-08-07 2015-08-07 一种分布式数据库自动化备份方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510484851.2A CN105159943A (zh) 2015-08-07 2015-08-07 一种分布式数据库自动化备份方法及系统

Publications (1)

Publication Number Publication Date
CN105159943A true CN105159943A (zh) 2015-12-16

Family

ID=54800799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510484851.2A Pending CN105159943A (zh) 2015-08-07 2015-08-07 一种分布式数据库自动化备份方法及系统

Country Status (1)

Country Link
CN (1) CN105159943A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106301938A (zh) * 2016-08-25 2017-01-04 成都索贝数码科技股份有限公司 一种高可用性和强一致性的数据库集群系统及其节点管理方法
CN106569911A (zh) * 2016-10-14 2017-04-19 深圳前海微众银行股份有限公司 数据备份方法和装置
CN106909475A (zh) * 2015-12-23 2017-06-30 中国移动通信集团重庆有限公司 基于对象存储进行数据备份、恢复的方法和装置
CN107797887A (zh) * 2017-10-26 2018-03-13 医渡云（北京）技术有限公司 数据备份及恢复方法、装置、存储介质和电子设备
CN107819891A (zh) * 2017-10-16 2018-03-20 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN108829545A (zh) * 2018-07-02 2018-11-16 山东汇贸电子口岸有限公司 一种实现分布式数据库备份的方法
CN109254875A (zh) * 2018-09-05 2019-01-22 宁波纵横信息技术有限公司 一种用于MS-sql数据库的软硬件结合的备份装置及流程
CN109726046A (zh) * 2018-11-23 2019-05-07 网联清算有限公司 机房切换方法及切换装置
CN110795420A (zh) * 2019-10-30 2020-02-14 浪潮云信息技术有限公司 一种基于Ansible的MySQL数据库自动化备份方法
CN113032406A (zh) * 2021-05-26 2021-06-25 四川新网银行股份有限公司 一种通过元数据库集中化管理分表的数据归档方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110060722A1 (en) * 2009-09-07 2011-03-10 Icon Business Systems Limited Centralized management mode backup disaster recovery system
CN102880531A (zh) * 2012-09-27 2013-01-16 新浪网技术(中国)有限公司 数据库备份系统及其备份方法和从数据库服务器
CN102915262A (zh) * 2012-10-18 2013-02-06 曙光信息产业(北京)有限公司 一种基于Cloudview的管理数据内容数据备份方法
CN103425551A (zh) * 2013-07-31 2013-12-04 清华大学 数据库集中备份方法
CN103761169A (zh) * 2014-01-27 2014-04-30 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110060722A1 (en) * 2009-09-07 2011-03-10 Icon Business Systems Limited Centralized management mode backup disaster recovery system
CN102880531A (zh) * 2012-09-27 2013-01-16 新浪网技术(中国)有限公司 数据库备份系统及其备份方法和从数据库服务器
CN102915262A (zh) * 2012-10-18 2013-02-06 曙光信息产业(北京)有限公司 一种基于Cloudview的管理数据内容数据备份方法
CN103425551A (zh) * 2013-07-31 2013-12-04 清华大学 数据库集中备份方法
CN103761169A (zh) * 2014-01-27 2014-04-30 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909475A (zh) * 2015-12-23 2017-06-30 中国移动通信集团重庆有限公司 基于对象存储进行数据备份、恢复的方法和装置
CN106301938A (zh) * 2016-08-25 2017-01-04 成都索贝数码科技股份有限公司 一种高可用性和强一致性的数据库集群系统及其节点管理方法
CN106569911A (zh) * 2016-10-14 2017-04-19 深圳前海微众银行股份有限公司 数据备份方法和装置
CN107819891A (zh) * 2017-10-16 2018-03-20 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN107819891B (zh) * 2017-10-16 2020-01-24 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN107797887B (zh) * 2017-10-26 2021-03-23 医渡云（北京）技术有限公司 数据备份及恢复方法、装置、存储介质和电子设备
CN107797887A (zh) * 2017-10-26 2018-03-13 医渡云（北京）技术有限公司 数据备份及恢复方法、装置、存储介质和电子设备
CN108829545A (zh) * 2018-07-02 2018-11-16 山东汇贸电子口岸有限公司 一种实现分布式数据库备份的方法
CN108829545B (zh) * 2018-07-02 2021-08-10 上海浪潮云计算服务有限公司 一种实现分布式数据库备份的方法
CN109254875A (zh) * 2018-09-05 2019-01-22 宁波纵横信息技术有限公司 一种用于MS-sql数据库的软硬件结合的备份装置及流程
CN109254875B (zh) * 2018-09-05 2020-12-01 宁波纵横信息技术有限公司 一种用于MS-sql数据库的软硬件结合的备份装置及流程
CN109726046B (zh) * 2018-11-23 2021-01-08 网联清算有限公司 机房切换方法及切换装置
CN109726046A (zh) * 2018-11-23 2019-05-07 网联清算有限公司 机房切换方法及切换装置
CN110795420A (zh) * 2019-10-30 2020-02-14 浪潮云信息技术有限公司 一种基于Ansible的MySQL数据库自动化备份方法
CN113032406A (zh) * 2021-05-26 2021-06-25 四川新网银行股份有限公司 一种通过元数据库集中化管理分表的数据归档方法

Similar Documents

Publication Publication Date Title
CN105159943A (zh) 一种分布式数据库自动化备份方法及系统
US11379311B2 (en) Configuring computing devices using a template
CN109493076B (zh) 一种Kafka消息唯一消费方法、系统、服务器及存储介质
CN104679772B (zh) 分布式数据仓库中删除文件的方法、装置、设备及系统
US10261872B2 (en) Multilevel disaster recovery
CN104813321B (zh) 在分布式对象存储生态系统中的去耦合的内容以及元数据
CN102333029B (zh) 一种服务器集群系统中的路由方法
CN103095806B (zh) 一种面向大电网的实时数据库系统的负载均衡管理系统
CN105897946A (zh) 一种访问地址的获取方法及系统
CN103020223B (zh) 文件共享处理方法、装置和系统
CN105468476B (zh) 基于hdfs的数据灾备系统
CN106909475A (zh) 基于对象存储进行数据备份、恢复的方法和装置
CN105940396A (zh) 分布式存储系统中对象的层级组块
CN104272292A (zh) 用于基于云的服务的网络资源部署
CN108848132B (zh) 一种基于云的配电调度主站系统
CN107256182A (zh) 一种数据库还原的方法及设备
US10063651B2 (en) Parallel streams to maintain a target data transfer rate
CN101945394A (zh) 许可证管理方法、装置与系统
CN105243163A (zh) 历史数据归档集成系统及方法
CN103902410A (zh) 云存储系统的数据备份加速方法
US10657004B1 (en) Single-tenant recovery with a multi-tenant archive
CN103365740B (zh) 一种数据冷备方法及装置
CN104199955A (zh) 信息管理系统及方法
CN102279951A (zh) 报表信息处理方法及系统
CN105005517A (zh) 呼叫中心录音文件的存储备份系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151216

RJ01 Rejection of invention patent application after publication