CN103678592B - 一种数据备份方法及系统 - Google Patents

一种数据备份方法及系统 Download PDF

Info

Publication number
CN103678592B
CN103678592B CN201310682855.2A CN201310682855A CN103678592B CN 103678592 B CN103678592 B CN 103678592B CN 201310682855 A CN201310682855 A CN 201310682855A CN 103678592 B CN103678592 B CN 103678592B
Authority
CN
China
Prior art keywords
backup
data
database
universal
backup data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310682855.2A
Other languages
English (en)
Other versions
CN103678592A (zh
Inventor
王旭
张道伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201310682855.2A priority Critical patent/CN103678592B/zh
Publication of CN103678592A publication Critical patent/CN103678592A/zh
Application granted granted Critical
Publication of CN103678592B publication Critical patent/CN103678592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据备份方法及系统。应用在计算机通信领域,包括以下步骤:备份任务控制装置分别向通用数据库备份装置、备份数据存储装置发送备份任务;通用数据库备份装置接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原。本发明对数据库备份采取基础服务+备份脚本的方式进行设计,在支持不同的数据库上,只需增加不同的数据库备份还原脚本即可实现对该数据库的保护;并设计了数据库脚本调用接口,便于以后对更多数据库支持时的扩展。

Description

一种数据备份方法及系统
技术领域
本发明涉及计算机通信领域,尤其涉及一种数据备份方法及系统。
背景技术
数据备份是IT信息系统建设中必须要考虑的内素,对于数据备份,可以分为块级备份,文件级备份,而文件级备份又可分为文件系统备份和应用级备份。
所谓的文件系统备份是指直接备份文件系统的内容,而应用级备份是指调用应用软件的接口生成备份数据,再对生成的备份数据进行备份;块级备份多用于卷级别的数据备份,文件系统备份用于文件级的数据备份。
对于数据库这种应用软件,由于其应用复杂,如备份不当很容易出现数据不一致状态,因而多采用应用级别的备份。其原理是首先调用数据库的备份接口生成数据库备份数据,再对生成的数据库备份数据进行备份;在还原时首先对备份的数据库备份数据进行还原,再调用数据库提供的还原接口进行数据库实质的还原。
对于数据库的备份,由于需要调用数据库提供的备份接口,而不同的数据库厂商提供的数据库备份接口千差万别,导致了每种数据库都需要一个量身定制的备份客户端才能进行备份这一局面;而从系统设计及系统维护的角度上看,这些差异的数据库备份客户端大大提升了系统设计的冗余,增加了系统维护的复杂程度。
发明内容
本发明提供一种数据备份方法及系统,以解决上述问题。
本发明提供一种数据备份方法。上述方法包括以下步骤:
备份任务控制装置分别向通用数据库备份装置、备份数据存储装置发送备份任务;
通用数据库备份装置接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原。
本发明还提供一种数据备份系统,包括:
备份任务控制装置、通用数据库备份装置、备份数据存储装置;备份任务控制装置、通用数据库备份装置、备份数据存储装置两两相互连接;
其中,
备份任务控制装置,用于分别向通用数据库备份装置、备份数据存储装置发送备份任务;
通用数据库备份装置,用于接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原;
备份数据存储装置,用于对通用数据库备份装置传输的备份数据进行存储,并在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置进行还原。
本发明的有益效果是:将多种数据库备份操作与通用的备份数据传输操作相分离,抽象出通用数据库备份客户端装置,而将具体的数据库备份及还原操作封装到脚本中去;对于数据库备份采取基础服务+备份脚本的方式进行设计,在支持不同的数据库上,只需增加不同的数据库备份还原脚本即可实现对该数据库的保护;并设计了数据库脚本调用接口,便于以后对更多数据库支持时的扩展。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1所示为本发明实施例1的多类型DB保护的备份结构示意图;
图2所示为本发明实施例2的数据库备份脚本调用时序图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明提供了一种数据备份方法,包括以下步骤:
备份任务控制装置分别向通用数据库备份装置、备份数据存储装置发送备份任务;
通用数据库备份装置接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原。
其中,通用数据库备份装置,在进行数据库备份/还原时,通过调用数据库备份通用接口对具体的数据库备份脚本进行调用,完成数据库备份/还原。
其中,备份任务控制装置对备份作业进行控制,包括:开始备份作业,停止备份作业。
其中,备份数据存储装置对通用数据库备份装置传输的备份数据进行存储,并在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置进行还原。
其中,数据库备份通用接口规定进行数据库备份时进行的操作以及这些操作的参数,行为及返回数据,包括:数据库浏览操作、数据库用户验证操作、数据库备份条件检测操作、数据备份需求操作、数据库备份操作、数据库备份文件解包操作、还原操作。
本发明实施例的核心思路为:
对数据库备份客户端进行分析,可以发现其具备两大块基本功能:数据库数据提取及数据传输;对于数据传输部份,无论哪种数据库,均是一致的,因此,对数据库备份客户端进行功能分解,将与具体数据库相关的功能从数据库备份客户端中剥离出去,即可达到数据备份客户端的通用性。
本发明将数据库备份架构设计为通用数据库备份装置1、备份任务控制装置2、备份数据存储装置3三部份,通过这三部份协作完成数据库的备份并支持多种类型的DB备份。
备份任务控制装置2,用于分别向通用数据库备份装置1、备份数据存储装置3发送备份任务;
其中,备份任务控制装置2对备份作业进行控制,如开始备份作业,停止备份作业等。
通用数据库备份装置1,用于接收备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置3进行存储或从备份数据存储装置3获取待还原的备份数据,进行待还原的备份数据的还原;
其中,通用数据库备份装置1与具体的数据库无关,所有的数据库备份均使用相同的通用数据库备份装置1。
其中,通用数据库备份装置1,在进行数据库备份/还原时,通过调用数据库备份通用接口4对具体的数据库备份脚本进行调用,从而达到数据库备份/还原的目的。
备份数据存储装置3,用于存储通用数据库备份装置1提取的备份数据及在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置1进行还原;其中,备份数据存储装置3对通用数据库备份装置1传输的备份数据进行存储,并在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置1进行还原。
数据库备份通用接口4,其规定了进行数据库备份时需要进行的操作以及这些操作的参数,行为及返回数据;具体而来说,其中,包括:数据库浏览操作、数据库用户验证操作、数据库备份条件检测操作、数据备份需求操作、数据库备份操作、数据库备份文件解包操作及还原操作。
对于数据库备份通用接口4部分,具体的设计如下:
a.数据库脚本之浏览操作
数据库浏览操作用于对实例,数据库以及表空间进行浏览,并将浏览结果发送到标准输出。浏览操任的脚本调用形式如下所示。
浏览操作的成功输出如下表所示。
如上所示,当浏览实例时,-d参数为“空”;当浏览数据库时,-d参数为“实例名称”;当浏览表时,-d参数为“实例名\数据库名”。
如果浏览成功,则数据库备份脚本首先输出错误码,以“\n”结束;随后输出各个实例、数据库、或表。每一项以“\n”分隔。
如果浏览失败,则数据库备份脚本输出错误码,以“\n”结束;随后可输出具体错误原因,也可不输出。
b.数据库脚本之用户验证操作
数据库用户验证操作用于验证用户名和密码是否是确,是否具备备份权限,并将验证结果发送到标准输出。验证操任的脚本调用形式如下所示。
用户验证操作的成功输出如下表所示。
如上所示,当进行用户验证时,-d参数为“实例名称”。
如果验证成功,则数据库备份脚本输出错误码0以“\n”结束。
如果验证失败,则数据库备份脚本输出错误码,以“\n”结束;随后可输出具体错误原因,也可不输出。
c.数据库脚本之检测操作
数据库检测操作用验证要保护的数据库或实例是否处于可备份状态,并将验证结果发送到标准输出。由于像Oracle,MySQL,KingBase这种数据库必须是处于归档模式下才可进行联机热备的,因此在备份之前需要进行能否进行备份的检测操作。检测操任的脚本调用形式如下所示。
检测操作的成功输出如下表所示。
如上所示,当进行用户验证时,-d参数为“实例名称”。
如果验证成功,则数据库备份脚本输出错误码0以“\n”结束。
如果验证失败,则数据库备份脚本输出错误码,以“\n”结束;随后可输出具体错误原因,也可不输出。
d.数据库脚本之备份需求操作
备份需求操判断在进行备份前是否需要之前的备份集进行参考,如果需要,则向标准输出1,否则向标准输出0。此操作目前只针对KingBase数据库,因为KingBase数据库在进行增量备份时需要上一次的备份集进行参考;对于其它的数据库,只要向标准输出0即可。备份需求操作的脚本调用形式如下所示。
如需要上一次的备份集,则结果如下所示。
e.数据库脚本之备份操作
数据库备份操作用于对指定的数据库进行备份,并将备份集进行打包,写入到指定的路径中去。备份结束后,会将本次执行备份的结果写入到标准输出中。具条的脚本格式如下表所示。
其中,-d是需要备份的数据库名;-t为此次备份的任务ID;-m指定此次备份的类型,可以为full,dif或是inc;-f为一个文件路径,指定了将备份集打包后写入的文件路径,DB备份客户端就是通过这个路径找到备份文件,并将其发送给介质服务器;-a指定了备份的附加属性,其中,属性与属性值使和“,”分隔,属性与属性之间使用“;”分隔。
备份操作的成功输出如下表所示。
注意,filePath为一个文件路径,是脚本将生成的备份集打包之后的文件,对于备份过程中的临时文件(如未打包的备份集等),需要脚本进行释放。
f.数据库脚本之解包操作
解包操作用于对指定的备份集压缩包文件进行解包,并将解包结果写入到标准输出。由于存储在介质关的备份数据是由数据库备份脚本打包的,故而DB备份客户端将备份数据从介质服务器拿到本地后,需要调用数据库脚本的解包操作对此文件进行解包,因为解包后的数据的路径是由数据库备份脚本决定的,故在解包成功后数据库备份脚本需要将此路径写入到标准输出,以告知DB备份客户端。调用解包操作的格式如下表所示。
其中,-f为一个文件路径,指定了待解包备份集的文件路径。
解包操作成功后的输出如下表所示。
其中,“0”为错误码,“/abc/d”为数据集的解包路径。
g.数据库脚本之还原操作
还原操作用于对指定的数据库进行还原,并将执行还原的结果写入到标准输出中。还原的脚本调用格式如下表所示。
其中,-d是需要备份的数据库名;-f为一个文件路径,指定了需要还原的备份集,如果需要还原的备份集是一个文件夹,则这个文件夹的路径可以使用”basedir filePath”得到;-a指定了备份的附加属性,其中,属性与属性值使和“,”分隔,属性与属性之间使用“;”分隔;-s指定了需要还原的备份集号,此项只对于MySQL这种数据库自身无备份记录的数据库有效。
还原操作的成功输出如下表所示。
图1所示为本发明实施例1的多类型DB保护的备份结构示意图,说明如下:
如图1所示,备份任务控制装置分别发送备份任务到通用备份数据库客户端及备份数据存储装置;通用备份数据库客户端由通用数据库备份装置、数据库备份通用接口及具体的数据库备份脚本组成。
如图1所示,目前的脚本配置了Oracle数据库、MySQL数据库、人大金仓及SQLServer备份服本。当通用备份数据库客户端接收到备份作业时,首先会与备份数据存储装置进行连接,连接成功后,会根据不同的数据库类型调用具体的数据库备份脚本生成备份数据。备份数据生成成功后,通用备份数据库客户端将生成的备份数据发送到备份数据存储装置进行存储。如果通用备份数据库客户端未找到相应的数据库备份脚本,则本次备份失败。
图2所示为本发明实施例2的数据库备份脚本调用时序图,说明如下:
通用备份数据库客户端调用数据库备份脚本,并在调用参数中指明具体的操作;当脚本执行一个操作后,会向标准输出一个错误码,表示这个操作是否成功。跟随这个错误码之后,会输出附件的信息,这此信息可能是对错误码具体的描述,也可能是其它的需要给上层反馈的信息。
本发明还提供了一种数据备份系统,包括:备份任务控制装置、通用数据库备份装置、备份数据存储装置;备份任务控制装置、通用数据库备份装置、备份数据存储装置两两相互连接;
其中,
备份任务控制装置,用于分别向通用数据库备份装置、备份数据存储装置发送备份任务;
通用数据库备份装置,用于接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原;
备份数据存储装置,用于对通用数据库备份装置传输的备份数据进行存储,并在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置进行还原。
其中,通用数据库备份装置,还用于在进行数据库备份/还原时,通过调用数据库备份通用接口对具体的数据库备份脚本进行调用,完成数据库备份/还原。
其中,数据库备份通用接口,用于规定进行数据库备份时进行的操作以及这些操作的参数,行为及返回数据,包括:数据库浏览操作、数据库用户验证操作、数据库备份条件检测操作、数据备份需求操作、数据库备份操作、数据库备份文件解包操作、还原操作。
本发明的有益效果是:将多种数据库备份操作与通用的备份数据传输操作相分离,抽象出通用数据库备份客户端装置,而将具体的数据库备份及还原操作封装到脚本中去;对于数据库备份采取基础服务+备份脚本的方式进行设计,在支持不同的数据库上,只需增加不同的数据库备份还原脚本即可实现对该数据库的保护;并设计了数据库脚本调用接口,便于以后对更多数据库支持时的扩展。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据备份方法,其特征在于,包括以下步骤:
备份任务控制装置分别向通用数据库备份装置、备份数据存储装置发送备份任务;
通用数据库备份装置接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原;
通用数据库备份装置,在进行数据库备份/还原时,通过调用数据库备份通用接口对具体的数据库备份脚本进行调用,完成数据库备份/还原。
2.根据权利要求1所述的方法,其特征在于:备份任务控制装置对备份作业进行控制,包括:开始备份作业,停止备份作业。
3.根据权利要求1所述的方法,其特征在于:
备份数据存储装置对通用数据库备份装置传输的备份数据进行存储,并在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置进行还原。
4.根据权利要求1所述的方法,其特征在于:
数据库备份通用接口规定进行数据库备份时进行的操作以及这些操作的参数,行为及返回数据,包括:数据库浏览操作、数据库用户验证操作、数据库备份条件检测操作、数据备份需求操作、数据库备份操作、数据库备份文件解包操作、还原操作。
5.一种数据备份系统,其特征在于,包括:备份任务控制装置、通用数据库备份装置、备份数据存储装置;备份任务控制装置、通用数据库备份装置、备份数据存储装置两两相互连接;
其中,
备份任务控制装置,用于分别向通用数据库备份装置、备份数据存储装置发送备份任务;
通用数据库备份装置,用于接收所述备份任务后,进行备份数据的提取并将提取的备份数据发送至备份数据存储装置进行存储或从备份数据存储装置获取待还原的备份数据,进行还原;
备份数据存储装置,用于对通用数据库备份装置传输的备份数据进行存储,并在还原时,将需要还原的备份数据提取出来传输给通用数据库备份装置进行还原;
通用数据库备份装置,还用于在进行数据库备份/还原时,通过调用数据库备份通用接口对具体的数据库备份脚本进行调用,完成数据库备份/还原。
6.根据权利要求5所述的系统,其特征在于,
数据库备份通用接口,用于规定进行数据库备份时进行的操作以及这些操作的参数,行为及返回数据,包括:数据库浏览操作、数据库用户验证操作、数据库备份条件检测操作、数据备份需求操作、数据库备份操作、数据库备份文件解包操作、还原操作。
CN201310682855.2A 2013-12-12 2013-12-12 一种数据备份方法及系统 Active CN103678592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310682855.2A CN103678592B (zh) 2013-12-12 2013-12-12 一种数据备份方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310682855.2A CN103678592B (zh) 2013-12-12 2013-12-12 一种数据备份方法及系统

Publications (2)

Publication Number Publication Date
CN103678592A CN103678592A (zh) 2014-03-26
CN103678592B true CN103678592B (zh) 2018-01-09

Family

ID=50316137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310682855.2A Active CN103678592B (zh) 2013-12-12 2013-12-12 一种数据备份方法及系统

Country Status (1)

Country Link
CN (1) CN103678592B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881336A (zh) * 2015-05-22 2015-09-02 北京奇虎科技有限公司 数据备份方法及装置
CN105740102A (zh) * 2016-02-02 2016-07-06 北京京东尚科信息技术有限公司 用于数据备份的设备及其中的方法
CN114003433A (zh) * 2020-07-28 2022-02-01 华为技术有限公司 用于备份管理的方法、设备、介质和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963928A (zh) * 2009-07-22 2011-02-02 升东网络科技发展(上海)有限公司 数据库全量备份系统及方法
CN102880531A (zh) * 2012-09-27 2013-01-16 新浪网技术(中国)有限公司 数据库备份系统及其备份方法和从数据库服务器
CN103412802A (zh) * 2013-08-12 2013-11-27 浪潮(北京)电子信息产业有限公司 容灾数据文件访问控制列表备份的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070174317A1 (en) * 2006-01-26 2007-07-26 International Business Machines Corporation System and method for modifying the structure and content of dissimilar databases

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963928A (zh) * 2009-07-22 2011-02-02 升东网络科技发展(上海)有限公司 数据库全量备份系统及方法
CN102880531A (zh) * 2012-09-27 2013-01-16 新浪网技术(中国)有限公司 数据库备份系统及其备份方法和从数据库服务器
CN103412802A (zh) * 2013-08-12 2013-11-27 浪潮(北京)电子信息产业有限公司 容灾数据文件访问控制列表备份的方法及装置

Also Published As

Publication number Publication date
CN103678592A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN102521072B (zh) 虚拟磁带库设备及数据恢复方法
US9514004B2 (en) Restore in cascaded copy environment
EP2788876B1 (en) System and method for restoring application data
CN105630632B (zh) 一种虚拟机恢复的方法及虚拟机管理设备
CN109582443A (zh) 基于分布式存储技术的虚拟机备份系统
EP3750066B1 (en) Protection of infrastructure-as-a-service workloads in public cloud
JP2005100373A (ja) 複数世代の回復スナップショットのバックアップと修復のマッピング装置
CN101860570B (zh) 一种备份和恢复移动终端用户数据的方法及系统
US20140108345A1 (en) Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers
CN103034564B (zh) 数据容灾演练方法、数据容灾演练装置及系统
US10459643B2 (en) Method and apparatus for storage system
EP3474143B1 (en) Method and apparatus for incremental recovery of data
EP3147797B1 (en) Data management method, node and system for database cluster
CN104035837A (zh) 一种在线备份同/异构UNIX/Linux主机的方法
GB2582078A (en) System and method for composite-key based blockchain device control
CN103473328A (zh) 一种基于mysql的数据库云及其建立方法
CN107133131A (zh) 一种基于VMware的虚拟机合成备份方法
CN103678592B (zh) 一种数据备份方法及系统
CN112800019A (zh) 基于Hadoop分布式文件系统的数据备份方法及系统
CN101329688B (zh) 用于外部备份的数据库系统和方法
CN104156676A (zh) 一种保护磁盘数据的方法及装置
US10514988B2 (en) Method and system of migrating applications to a cloud-computing environment
CN106250274A (zh) 一种虚拟机的备份方法及装置
CN102436411B (zh) 计算机系统进程恢复方法
CN116700884A (zh) 快照回滚数据一致性测试方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant