CN107957920A - 数据库备份系统 - Google Patents

数据库备份系统 Download PDF

Info

Publication number
CN107957920A
CN107957920A CN201711051410.9A CN201711051410A CN107957920A CN 107957920 A CN107957920 A CN 107957920A CN 201711051410 A CN201711051410 A CN 201711051410A CN 107957920 A CN107957920 A CN 107957920A
Authority
CN
China
Prior art keywords
backup
database
data
storage server
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711051410.9A
Other languages
English (en)
Inventor
何淑芳
沈琳玲
陈劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingyuan Heng Cheng Chi Road Mdt Infotech Ltd
Original Assignee
Qingyuan Heng Cheng Chi Road Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingyuan Heng Cheng Chi Road Mdt Infotech Ltd filed Critical Qingyuan Heng Cheng Chi Road Mdt Infotech Ltd
Priority to CN201711051410.9A priority Critical patent/CN107957920A/zh
Publication of CN107957920A publication Critical patent/CN107957920A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Abstract

本发明涉及数据库技术领域,具体涉及一种数据库备份系统。包括用于维护数据库的主数据库服务器、从数据库服务器、存储服务器集群、临时存储服务器以及备份恢复控制装置;从数据库服务器用于对所述主数据库服务器中的数据库进行备份和恢复;临时存储服务器和存储服务器集群用于接收备份结果并存储,存储服务器集群为基于分布式文件系统HDFS技术的分布式结构,以分布式存储的方式保存备份结果;备份恢复控制装置用于控制从数据服务器的备份结果的发送目标,所述备份恢复控制装置还用于控制从数据服务器恢复备份时的数据源。本发明提供的数据库备份系统,能够解决现有数据库备份系统频繁对存储服务器进行文件修改而导致的数据丢失的问题。

Description

数据库备份系统
技术领域
本发明涉及数据库技术领域,具体而言,涉及一种数据库备份系统。
背景技术
随着办公自动化和电子商务的飞速发展,企业对信息系统的依赖性越来越高,数据库作为信息系统的核心担当着重要的角色。尤其在一些对数据可靠性要求很高的行业如银行、证券、电信等,如果发生意外停机或数据丢失其损失会十分惨重。因此,有必要对数据库进行备份。这样,在数据库出现故障遭到损坏后,可以通过备份的数据库进行恢复。
目前,业界使用的数据库备份系统通常包括主数据库服务器、从数据库服务器以及存储服务器,主数据库服务器用于对数据库进行维护,比如增加、修改、删除数据库中的元素,如数据表、数据表中的数据等。从数据库服务器用于使用流模式将主数据库服务器中的数据库备份到存储服务器中。现在的数据库备份系统,由于数据库众多,数据量较大,通常会采用HDFS技术使用分布式存储节点集群来存储备份的数据,将数据与元数据存储在不同的存储服务器上,所谓数据即是指真正的数据内容,而元数据用来维护HDFS文件系统中文件和目录的信息。
虽然HDFS将文件备份存储在不同的存储服务器上,并通过在不同存储器上存储多份备份,避免了数据的丢失,但是现有的备份系统通常都是对数据库进行实时备份,每次备份都要对文件数据进行大量的修改,频繁的修改很可能会给存储服务器带来问题,而一旦存储元数据的存储服务器出现问题,就会导致所有备份文件的丢失。
发明内容
本发明意在提供数据库备份系统,能够解决现有数据库备份系统频繁对存储服务器进行文件修改而导致的数据丢失的问题。
为了解决上述技术问题,本专利提供如下基础技术方案:
数据库备份系统,包括用于维护数据库的主数据库服务器、从数据库服务器和存储服务器集群,其中:
从数据库服务器用于对所述主数据库服务器中的数据库进行备份和恢复,所述从数据库服务器能够读取主数据库服务器中的数据库并进行压缩,将得到的压缩文件作为备份结果,然后将所述备份结果发送,所述从数据库服务器能够读取临时存储服务器或存储服务器集群中的数据备份,并进行解压,得到恢复文件,然后将所述恢复文件恢复到主数据库服务器中;
存储服务器集群为基于分布式文件系统HDFS技术的分布式结构,包括元数据存储服务器和数据存储服务器,所述元数据存储服务器用于接收备份结果,根据存储服务器集群中的各存储节点的存储空间进行存储的统筹安排和调节,以分布式存储的方式将备份结果存储到各数据存储服务器;还包括:
临时存储服务器,用于接收备份结果并存储;
备份恢复控制装置,所述备份恢复控制装置用于控制从数据服务器的备份结果的发送目标,所述备份恢复控制装置还用于控制从数据服务器恢复备份时的数据源,所述备份恢复控制装置可以按照预设计划的时间表自动切换数据备份和恢复时所使用的存储服务器。
本发明的技术方案中,通过备份恢复控制装置可以控制数据备份所使用的存储服务器,通过调整预设时间,实现对备份和恢复所使用的存储服务器的自动选择;存储服务器集群作为主存储服务器,以较大的时间间隔,如一个小时一次,来存储备份文件,临时存储服务器作为活动存储服务器,以较小的时间间隔,如一分钟一次,来存储备份文件;通过备份恢复控制装置和使用临时存储服务器避免了对存储服务器集群的频繁读写,减少了元数据存储服务器丢失元数据的风险。
存储服务器集群以一定的时间间隔,如一个小时一次,来存储备份文件,临时存储服务器作为活动存储服务器,以较小的时间间隔,如一分钟一次,来存储备份文件;通过备份恢复控制装置和使用临时存储服务器避免了对存储服务器集群的频繁读写,减少了元数据存储服务器丢失元数据的风险。
进一步,所述备份恢复控制装置包括控制模块、存储模块、输入模块和地址选择模块,所述存储模块用来存储预设计划,所述输入模块用来输入预设计划,所述地址选择模块用来切换数据备份地址和数据恢复源地址,控制模块用于根据预设计划的时间表通过地址选择模块自动切换数据备份地址和数据恢复源地址。
用户通过输入模块可以自定义预设计划。
进一步,所述备份恢复控制装置还包括显示模块,所述显示模块用来显示预设计划、当前数据备份地址和数据恢复源地址以及用户输入。方便用户查看和输入。
进一步,所述输入模块包括键盘、鼠标、触摸输入中的一种或多种。多种输入方式,满足不同用户需求。
进一步,所述从数据库服务器具体包括:
读写模块,用于读取主数据库服务器中的数据库数据以及写入数据库数据;
压缩解压模块,用于将读取到的数据进行压缩,生成备份结果,还用于在恢复时将从临时存储服务器或存储服务器集群上获取备份结果进行解压,生成恢复文件;
发送接收模块,用于将备份结果发送到临时存储服务器或存储服务器集群上,还用于在恢复数据时从临时存储服务器或存储服务器集群上读取备份结果。
进一步,所述压缩解压模块采用GZIP压缩算法进行压缩和解压。GZIP压缩算法压缩率高,压缩速度快。
附图说明
图1为本发明数据库备份系统实施例的逻辑框图。
具体实施方式
下面通过具体实施方式对本发明作进一步详细的说明:
如图1所示,本实施例数据库备份系统包括用于维护数据库的主数据库服务器、从数据库服务器、存储服务器集群、临时存储服务器以及备份恢复控制装置。
从数据库服务器用于对主数据库服务器中的数据库进行备份和恢复,从数据库服务器能够读取主数据库服务器中的数据库并进行压缩,将得到的压缩文件作为备份结果,然后将备份结果发送,从数据库服务器能够读取临时存储服务器或存储服务器集群中的数据备份,并进行解压,得到恢复文件,然后将恢复文件恢复到主数据库服务器中;
存储服务器集群为基于分布式文件系统HDFS技术的分布式结构,包括元数据存储服务器和数据存储服务器,元数据存储服务器用于接收备份结果,根据存储服务器集群中的各存储节点的存储空间进行存储的统筹安排和调节,以分布式存储的方式将备份结果存储到各数据存储服务器;
临时存储服务器用于接收备份结果并存储;
备份恢复控制装置用于控制从数据服务器的备份结果的发送目标,备份恢复控制装置还用于控制从数据服务器恢复备份时的数据源,备份恢复控制装置可以按照预设计划的时间表自动切换数据备份和恢复时所使用的存储服务器。
其中,备份恢复控制装置包括控制模块、存储模块、输入模块、地址选择模块以及显示模块,存储模块用来存储预设计划,输入模块用来输入预设计划,输入模块可以根据需要选择键盘、鼠标或者触摸等输入方式,地址选择模块用来切换数据备份地址和数据恢复源地址,控制模块用于根据预设计划的时间表通过地址选择模块自动切换数据备份地址和数据恢复源地址,本实施例中,元数据存储服务器与临时存储服务器采用数据线并联的方式,两者共用同一个数据接口,地址选择模块包括分别设置在存储服务器集群数据线和临时存储服务器数据线上的两个电信号控制开关,这两个电信号控制开关分别控制存储服务器集群数据线和临时存储服务器数据线的通断,进而实现对数据端口写入和读取地址的控制,控制模块优选为单片机,其信号输出端与电信号控制开关控制端信号连接,单片机能够读取存储模块中的预设计划并根据该计划控制相应的电信号控制开关打开或关闭,实现自动控制。显示模块用来显示预设计划、当前数据备份地址和数据恢复源地址以及用户输入,显示模块优选为液晶显示屏。
从数据库服务器具体包括:
读写模块,用于读取主数据库服务器中的数据库数据以及写入数据库数据;
压缩解压模块,用于将读取到的数据进行压缩,生成备份结果,还用于在恢复时将从临时存储服务器或存储服务器集群上获取备份结果进行解压,生成恢复文件;本实施例中,压缩解压模块优选采用GZIP压缩算法对数据进行压缩和解压;
发送接收模块,用于将备份结果发送到临时存储服务器或存储服务器集群上,还用于在恢复数据时从临时存储服务器或存储服务器集群上读取备份结果。
以上所述的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此未作过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.数据库备份系统,包括用于维护数据库的主数据库服务器、从数据库服务器和存储服务器集群,其特征在于:
从数据库服务器用于对所述主数据库服务器中的数据库进行备份和恢复,所述从数据库服务器能够读取主数据库服务器中的数据库并进行压缩,将得到的压缩文件作为备份结果,然后将所述备份结果发送,所述从数据库服务器能够读取临时存储服务器或存储服务器集群中的数据备份,并进行解压,得到恢复文件,然后将所述恢复文件恢复到主数据库服务器中;
存储服务器集群为基于分布式文件系统HDFS技术的分布式结构,包括元数据存储服务器和数据存储服务器,所述元数据存储服务器用于接收备份结果,根据存储服务器集群中的各存储节点的存储空间进行存储的统筹安排和调节,以分布式存储的方式将备份结果存储到各数据存储服务器;还包括:
临时存储服务器,用于接收备份结果并存储;
备份恢复控制装置,所述备份恢复控制装置用于控制从数据服务器的备份结果的发送目标,所述备份恢复控制装置还用于控制从数据服务器恢复备份时的数据源,所述备份恢复控制装置可以按照预设计划的时间表自动切换数据备份和恢复时所使用的存储服务器。
2.如权利要求1所述的数据库备份系统,其特征在于:所述备份恢复控制装置包括控制模块、存储模块、输入模块、地址选择模块,所述存储模块用来存储预设计划,所述输入模块用来输入预设计划,所述地址选择模块用来切换数据备份地址和数据恢复源地址,控制模块用于根据预设计划的时间表通过地址选择模块自动切换数据备份地址和数据恢复源地址。
3.如权利要求2所述的数据库备份系统,其特征在于:所述备份恢复控制装置还包括显示模块,所述显示模块用来显示预设计划、当前数据备份地址和数据恢复源地址以及用户输入。
4.如权利要求3所述的数据库备份系统,其特征在于:所述输入模块包括键盘、鼠标、触摸输入中的一种或多种。
5.如权利要求1至4任一项所述的数据库备份系统,其特征在于:所述从数据库服务器具体包括:
读写模块,用于读取主数据库服务器中的数据库数据以及写入数据库数据;
压缩解压模块,用于将读取到的数据进行压缩,生成备份结果,还用于在恢复时将从临时存储服务器或存储服务器集群上获取备份结果进行解压,生成恢复文件;
发送接收模块,用于将备份结果发送到临时存储服务器或存储服务器集群上,还用于在恢复数据时从临时存储服务器或存储服务器集群上读取备份结果。
6.如权利要求5所述的数据库备份系统,其特征在于:所述压缩解压模块采用GZIP压缩算法进行压缩和解压。
CN201711051410.9A 2017-10-31 2017-10-31 数据库备份系统 Pending CN107957920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711051410.9A CN107957920A (zh) 2017-10-31 2017-10-31 数据库备份系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711051410.9A CN107957920A (zh) 2017-10-31 2017-10-31 数据库备份系统

Publications (1)

Publication Number Publication Date
CN107957920A true CN107957920A (zh) 2018-04-24

Family

ID=61964280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711051410.9A Pending CN107957920A (zh) 2017-10-31 2017-10-31 数据库备份系统

Country Status (1)

Country Link
CN (1) CN107957920A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389202A (zh) * 2018-09-10 2019-02-26 陈龙 一种便携式移动存储设备及备份系统
CN110491478A (zh) * 2019-08-22 2019-11-22 中电健康云科技有限公司 一种基于ceph的影像文件分布式储存系统及其实现方法
CN111104258A (zh) * 2019-12-23 2020-05-05 北京金山云网络技术有限公司 MongoDB数据库的备份方法、装置及电子设备
CN111400105A (zh) * 2020-03-27 2020-07-10 北京拓世寰宇网络技术有限公司 数据库备份方法及装置
CN111581160A (zh) * 2020-04-29 2020-08-25 上海中通吉网络技术有限公司 一种基于分布式文件管理系统的数据备份还原方法和系统
CN112948344A (zh) * 2021-04-09 2021-06-11 苏州菲瑞斯信息技术有限公司 基于hdfs技术的数据库备份的服务器及系统
CN114356869A (zh) * 2022-03-11 2022-04-15 深圳市一号互联科技有限公司 一种图片分布式存储方法和系统
CN114466027A (zh) * 2022-01-26 2022-05-10 苏州浪潮智能科技有限公司 一种云原生数据库服务提供方法、系统、设备及介质
CN116185718A (zh) * 2023-03-10 2023-05-30 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963928A (zh) * 2009-07-22 2011-02-02 升东网络科技发展(上海)有限公司 数据库全量备份系统及方法
CN102880531A (zh) * 2012-09-27 2013-01-16 新浪网技术(中国)有限公司 数据库备份系统及其备份方法和从数据库服务器
CN103778034A (zh) * 2014-02-26 2014-05-07 广州杰赛科技股份有限公司 基于云存储的数据备份容灾方法及系统
CN104040481A (zh) * 2011-11-18 2014-09-10 戴尔软件股份有限公司 用于融合、存储和检索增量式备份数据的方法和系统
CN104239548A (zh) * 2014-09-23 2014-12-24 中电长城网际系统应用有限公司 数据库容灾系统和数据库容灾方法
CN105677516A (zh) * 2016-01-07 2016-06-15 成都市思叠科技有限公司 一种计算靠近存储云平台中高效可靠的备份恢复方法
CN106325778A (zh) * 2016-08-30 2017-01-11 四川格锐乾图科技有限公司 一种新型的具有备份功能的云端数据存储系统
CN106776123A (zh) * 2016-11-25 2017-05-31 上海爱数信息技术股份有限公司 一种容灾实时数据复制方法及系统、备份客户端
CN106936819A (zh) * 2017-03-01 2017-07-07 无锡紫光存储系统有限公司 云存储子系统及安全存储系统
US20170206144A1 (en) * 2014-12-04 2017-07-20 Commvault Systems, Inc. Opportunistic execution of secondary copy operations
CN107122262A (zh) * 2017-04-21 2017-09-01 杭州狮说教育科技有限公司 基于agent的数据库智能备份系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963928A (zh) * 2009-07-22 2011-02-02 升东网络科技发展(上海)有限公司 数据库全量备份系统及方法
CN104040481A (zh) * 2011-11-18 2014-09-10 戴尔软件股份有限公司 用于融合、存储和检索增量式备份数据的方法和系统
CN102880531A (zh) * 2012-09-27 2013-01-16 新浪网技术(中国)有限公司 数据库备份系统及其备份方法和从数据库服务器
CN103778034A (zh) * 2014-02-26 2014-05-07 广州杰赛科技股份有限公司 基于云存储的数据备份容灾方法及系统
CN104239548A (zh) * 2014-09-23 2014-12-24 中电长城网际系统应用有限公司 数据库容灾系统和数据库容灾方法
US20170206144A1 (en) * 2014-12-04 2017-07-20 Commvault Systems, Inc. Opportunistic execution of secondary copy operations
CN105677516A (zh) * 2016-01-07 2016-06-15 成都市思叠科技有限公司 一种计算靠近存储云平台中高效可靠的备份恢复方法
CN106325778A (zh) * 2016-08-30 2017-01-11 四川格锐乾图科技有限公司 一种新型的具有备份功能的云端数据存储系统
CN106776123A (zh) * 2016-11-25 2017-05-31 上海爱数信息技术股份有限公司 一种容灾实时数据复制方法及系统、备份客户端
CN106936819A (zh) * 2017-03-01 2017-07-07 无锡紫光存储系统有限公司 云存储子系统及安全存储系统
CN107122262A (zh) * 2017-04-21 2017-09-01 杭州狮说教育科技有限公司 基于agent的数据库智能备份系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389202B (zh) * 2018-09-10 2022-01-14 矩阵纵横(北京)科技有限公司 一种便携式移动存储设备及备份系统
CN109389202A (zh) * 2018-09-10 2019-02-26 陈龙 一种便携式移动存储设备及备份系统
CN110491478A (zh) * 2019-08-22 2019-11-22 中电健康云科技有限公司 一种基于ceph的影像文件分布式储存系统及其实现方法
CN111104258A (zh) * 2019-12-23 2020-05-05 北京金山云网络技术有限公司 MongoDB数据库的备份方法、装置及电子设备
CN111400105A (zh) * 2020-03-27 2020-07-10 北京拓世寰宇网络技术有限公司 数据库备份方法及装置
CN111581160A (zh) * 2020-04-29 2020-08-25 上海中通吉网络技术有限公司 一种基于分布式文件管理系统的数据备份还原方法和系统
CN112948344A (zh) * 2021-04-09 2021-06-11 苏州菲瑞斯信息技术有限公司 基于hdfs技术的数据库备份的服务器及系统
CN114466027A (zh) * 2022-01-26 2022-05-10 苏州浪潮智能科技有限公司 一种云原生数据库服务提供方法、系统、设备及介质
CN114466027B (zh) * 2022-01-26 2023-08-04 苏州浪潮智能科技有限公司 一种云原生数据库服务提供方法、系统、设备及介质
CN114356869A (zh) * 2022-03-11 2022-04-15 深圳市一号互联科技有限公司 一种图片分布式存储方法和系统
CN114356869B (zh) * 2022-03-11 2022-09-30 深圳市一号互联科技有限公司 一种图片分布式存储方法和系统
CN116185718A (zh) * 2023-03-10 2023-05-30 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统
CN116185718B (zh) * 2023-03-10 2023-12-15 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统

Similar Documents

Publication Publication Date Title
CN107957920A (zh) 数据库备份系统
US10795788B2 (en) Remote data replication method and system
US11245759B2 (en) Consolidated processing of storage-array commands by a snapshot-control media agent
US11663099B2 (en) Snapshot-based disaster recovery orchestration of virtual machine failover and failback operations
US10891197B2 (en) Consolidated processing of storage-array commands using a forwarder media agent in conjunction with a snapshot-control media agent
US20200329101A1 (en) Enhanced network attached storage (nas) services interfacing to cloud storage
US7958372B1 (en) Method and apparatus to convert a logical unit from a first encryption state to a second encryption state using a journal in a continuous data protection environment
CN100547555C (zh) 一种基于指纹的数据备份系统
JP5102826B2 (ja) 複製およびプロビジョニング管理でのボリューム・コンテナの使用
US6397309B2 (en) System and method for reconstructing data associated with protected storage volume stored in multiple modules of back-up mass data storage facility
CN102521072B (zh) 虚拟磁带库设备及数据恢复方法
EP2131284B1 (en) Storage system and method of producing recovery volume
US20070208918A1 (en) Method and apparatus for providing virtual machine backup
CN109582443A (zh) 基于分布式存储技术的虚拟机备份系统
WO2010064328A1 (en) Information processing system and method of acquiring backup in an information processing system
CN103197990A (zh) 自动优先恢复及相关的装置/计算机程序产品
US20090228530A1 (en) Separating file data streams to enhance progressive incremental processing
CN103116661A (zh) 一种数据库的数据处理方法
CN101939737A (zh) 可扩展的重复数据删除机构
CN110109778A (zh) 一种大量小数据文件备份方法及恢复方法
CN105302922B (zh) 一种分布式文件系统快照实现方法
WO2013137878A1 (en) Accessing and replicating backup data objects
JP2019021284A (ja) IoT装置がデータセンタでバックアップするための分散型重複データ削除記憶システム及びその分散型重複データ削除を実現する方法
CN101937378B (zh) 一种对存储设备的数据进行备份保护的方法及计算机系统
CN112380067A (zh) 一种Hadoop环境下基于元数据的大数据备份系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180424

RJ01 Rejection of invention patent application after publication