CN106909475A - 基于对象存储进行数据备份、恢复的方法和装置 - Google Patents

基于对象存储进行数据备份、恢复的方法和装置 Download PDF

Info

Publication number
CN106909475A
CN106909475A CN201510981449.5A CN201510981449A CN106909475A CN 106909475 A CN106909475 A CN 106909475A CN 201510981449 A CN201510981449 A CN 201510981449A CN 106909475 A CN106909475 A CN 106909475A
Authority
CN
China
Prior art keywords
backup
virtual machine
database
recovery
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510981449.5A
Other languages
English (en)
Inventor
谭文贵
陆艳军
曾进
杨翔
黄英港
谢辉
唐福林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Chongqing Co Ltd
Original Assignee
China Mobile Group Chongqing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Chongqing Co Ltd filed Critical China Mobile Group Chongqing Co Ltd
Priority to CN201510981449.5A priority Critical patent/CN106909475A/zh
Publication of CN106909475A publication Critical patent/CN106909475A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1479Generic software techniques for error detection or fault masking
    • G06F11/1482Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • G06F11/1484Generic software techniques for error detection or fault masking by means of middleware or OS functionality involving virtual machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors

Abstract

本发明实施例公开了一种基于对象存储进行数据备份的方法,包括虚拟机备份方法或数据库备份方法;所述虚拟机备份方法包括:生成虚拟机备份任务;基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件;将虚拟机备份文件上传至对象存储系统的存储节点中;所述数据库备份方法包括:针对待备份的目标数据库,生成数据库备份任务;基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。本发明实施例还公开了一种基于对象存储进行数据恢复的方法以及基于对象存储进行数据备份和恢复的装置。

Description

基于对象存储进行数据备份、恢复的方法和装置
技术领域
本发明涉及海量数据备份及恢复技术,尤其涉及一种基于对象存储进行数据备份、恢复的方法和装置。
背景技术
针对海量数据存储需求,目前采用的数据备份方案通常都是采用带库离线备份的方式。带库中的备份数据必须通过带库管理软件才能进行维护和查看,对于备份在已经离线的磁带中的数据,数据的查看和恢复都非常困难。带库的功能和数据恢复的性能差不能满足当前业务需要,需将数据备份到操作以及维护更灵活简单的存储系统中去。
具体地说,带库离线备份方式存在以下几点缺陷:
1)磁带失效率高,数据易丢失。
由于磁带库的磁带介质固有的非密封性,且物理磁带库对磁带没有容错保护机制,备份业务涉及到的磁带组中任意一盘磁带的卡带、磨损、霉点、粘连等,均会导致整个备份无法恢复。
2)故障率和维护成本高。
因为物理磁带库是一个非密封的机械设备,其核心部件磁带驱动器、机械手、传送装置等各组成部分均为机械易损件,受灰尘、温度、潮湿等因素影响大,故障率高,从而导致设备使用率差,数据备份作业无法正常连续运行。根据统计,物理磁带库每年的维护费用高达设备购买费用的15%以上。
3)备份和恢复过程复杂冗长。
物理磁带库的由于物理磁带的读写是顺序进行的,无法像物理硬盘一样进行随机读写,导致了一个物理磁带驱动的I/O性能非常有限的,无法满足电信级的业务系统数据备份及恢复的性能要求。
4)无法进行数据的下载查询,操作灵活性差。
磁带库备份无法支持数据的下载查询,数据存储不能以服务的形式提供,导致操作灵活性差。
进一步地,在使用带库对虚拟机/数据库进行备份、恢复时,速度慢,灵活度差。
发明内容
为解决上述技术问题,本发明实施例期望提供一种基于对象存储进行数据备份、恢复的方法和装置,能够基于对象存储实现虚拟机和数据库的备份和恢复,备份和恢复过程简单,备份速度较快。
本发明的技术方案是这样实现的:
本发明实施例提供一种基于对象存储进行数据备份的方法,包括虚拟机备份方法或数据库备份方法;
所述虚拟机备份方法包括:生成虚拟机备份任务;基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件;将虚拟机备份文件上传至对象存储系统的存储节点中;
所述数据库备份方法包括:针对待备份的目标数据库,生成数据库备份任务;基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。
上述方案中,所述生成虚拟机备份任务包括:基于设置的虚拟机备份信息生成虚拟机备份任务;所述虚拟机备份信息包括虚拟机的备份策略;
所述针对待备份的目标数据库,生成数据库备份任务包括:基于所述待备份的目标数据库及设置的数据库备份信息,生成数据库备份任务;所述数据库备份信息包括数据库的备份策略。
上述方案中,在将虚拟机备份文件上传至对象存储系统的存储节点之后,所述虚拟机备份方法还包括将所生成的虚拟机备份文件删除。
本发明实施例还提供了一种基于对象存储进行数据恢复的方法,所述进行数据恢复的方法基于上述任意一种进行数据备份的方法,所述进行数据恢复的方法包括:虚拟机恢复方法或数据库恢复方法;
所述虚拟机恢复方法包括:生成虚拟机恢复任务;基于虚拟机恢复任务从对象存储系统的存储节点上下载相应的虚拟机备份文件;基于下载的虚拟机备份文件,创建新的虚拟机;
所述数据库恢复方法包括:生成数据库恢复任务;基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。
上述方案中,在创建新的虚拟机之后,所述虚拟机恢复方法还包括:将原有的虚拟机停止,将下载的虚拟机备份文件删除。
上述方案中,所述生成虚拟机恢复任务包括:基于需要恢复的虚拟机备份文件生成虚拟机恢复任务;
所述生成数据库恢复任务包括:基于需要恢复的目标数据库的备份,生成数据库恢复任务。
本发明实施例还提供了一种基于对象存储进行数据备份的装置,包括虚拟机备份模块或数据库备份模块;
所述虚拟机备份模块包括第一生成单元、快照单元和第一上传单元;其中,
第一生成单元,用于生成虚拟机备份任务;
快照单元,用于基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件;
第一上传单元,用于将虚拟机备份文件上传至对象存储系统的存储节点中;
所述数据库备份模块包括第二生成单元和第二上传单元;其中,
第二生成单元,用于针对待备份的目标数据库,生成数据库备份任务;
第二上传单元,用于基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。
上述方案中,所述第一生成单元,具体用于基于设置的虚拟机备份信息生成虚拟机备份任务,所述虚拟机备份信息包括虚拟机的备份策略;
所述第二生成单元,具体用于基于所述待备份的目标数据库及设置的数据库备份信息,生成数据库备份任务;所述数据库备份信息包括数据库的备份策略。
本发明实施例还提供了一种基于对象存储进行数据恢复的装置,所述进行数据恢复的装置基于上述任意一种的进行数据备份的装置,所述进行数据恢复的装置包括虚拟机恢复模块或数据库恢复模块;
所述虚拟机恢复模块包括第三生成单元、下载单元和创建单元;其中,
第三生成单元,用于生成虚拟机恢复任务;
下载单元,用于基于虚拟机恢复任务从对象存储系统的存储节点上下载相应的虚拟机备份文件;
创建单元,用于基于下载的虚拟机备份文件,创建新的虚拟机;
所述数据库恢复模块包括第四生成单元和恢复单元;其中,
第四生成单元,用于生成数据库恢复任务;
恢复单元,用于基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。
上述方案中,,所述第三生成单元,用于基于需要恢复的虚拟机备份文件生成虚拟机恢复任务;
所述第四生成单元,用于基于需要恢复的目标数据库的备份,生成数据库恢复任务。
本发明实施例提供的基于对象存储进行数据备份的方法和装置,在进行虚拟机备份时,生成虚拟机备份任务;基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件;将虚拟机备份文件上传至对象存储系统的存储节点中;在进行数据库备份时,针对待备份的目标数据库,生成数据库备份任务;基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。如此,能够基于对象存储实现虚拟机和数据库的备份,备份过程简单,备份速度较快,数据备份以服务的形式提供,灵活性好。
本发明实施例提供的基于对象存储进行数据恢复的方法和装置,在进行虚拟机恢复时,生成虚拟机恢复任务;基于虚拟机恢复任务从对象存储系统的存储节点上下载相应的虚拟机备份文件;基于下载的虚拟机备份文件,创建新的虚拟机;在进行数据库恢复时,生成数据库恢复任务;基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。如此,能够基于对象存储实现虚拟机和数据库的恢复,恢复过程简单,恢复速度较快,支持备份数据的下载查询,灵活性好。
附图说明
图1为本发明实施例对象存储系统的组网结构示意图;
图2为本发明实施例对象存储系统内部的通信链路示意图;
图3为本发明实施例一基于对象存储进行虚拟机备份的方法的流程图;
图4为本发明实施例一基于对象存储进行数据库备份的方法的流程图;
图5为本发明实施例二基于对象存储进行虚拟机恢复的方法的流程图;
图6为本发明实施例二基于对象存储进行数据库恢复的方法的流程图;
图7为本发明实施例三中虚拟机备份模块的组成结构示意图;
图8为本发明实施例三中数据库备份模块的组成结构示意图;
图9为本发明实施例四中虚拟机恢复模块的组成结构示意图;
图10为本发明实施例四中数据库恢复模块的组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例的基本思想为:基于对象存储系统对虚拟机/数据库进行备份,也可以根据对虚拟机/数据库的备份文件进行数据恢复。
这里,对象存储系统包括但不限于Swift对象存储系统,虚拟机包括但不限于vmware虚拟机、xenserver虚拟机等等,数据库包括但不限于oracle数据库。
图1为本发明实施例对象存储系统的组网结构示意图,如图1所示,该对象存储系统至少包括管理节点100、至少一个存储节点101以及业务子系统102;其中,
管理节点100,用于提供对整个对象存储系统的管理功能,同时还提供认证服务;进一步地,管理平台可以采用两台服务器以主备方式工作。管理节点主要实现的功能是用户的鉴权、以及为对象存储系统提供一个图形化的管理界面。
至少一个存储节点101,用于提供磁盘设备上的存储服务、负责数据的的存储、并根据相应的算法保障数据存储的安全性和数据一致性,存储节点通常通过存储服务器实现;示例性地,在Swift对象存储系统中,各个存储节点可以分为以下三类存储服务器:账户(Account)服务器、容器(Container)服务器和对象(Object)服务器;其中,Container服务器负责处理Object的列表,Container服务器并不知道对象存放位置,只知道指定Container里存的哪些Object。这些Object信息以sqlite数据库文件的形式存储。Container服务器也做一些跟踪统计,例如Object的总数、Container的使用情况。
业务子系统102,用于对外提供对象存储服务的应用程序编程接口(Application Programming Interface,API);示例性地,业务子系统包括客户端、至少一个应用服务器和客户关系管理(Customer relationship management,CRM)数据库。进一步地,业务子系统可以根据用户的请求选择相应的存储节点进行存储或数据抽取。
进一步地,所述对象存储系统还包括至少一个代理服务器(proxy server)103,代理服务器用于提供对象存储系统的API的服务器进程,负责对象存储系统组件之间的相互通信;示例性地,当对象存储系统为Swift对象存储系统时,所述至少一个代理服务器103,用于提供Swift API的服务器进程,负责提供Swift其余组件间的相互通信;这里,Swift其余组件指Swift的各个组件中除去代理服务组件之外的组件。针对每个业务系统中每个客户端的请求,所述至少一个代理服务器将在Ring中查询Account、Container或Object的位置,并且相应地转发请求;Ring是Swift对象存储系统中最重要的组件,用于记录存储对象与物理位置间映射关系。代理服务器提供了Rest-full API,并且符合标准的HTTP协议规范,这使得开发者可以快捷构建定制的客户端(Client)与Swift对象存储系统的交互。示例性地,代理服务器的数量为2,2个代理服务器都处于工作模式,这里,代理服务器的数量可根据网络带宽和处理能力的需要进行横向扩展。
具体地说,所述管理节点可以提供以下三方面的管理功能:存储节点管理功能、监控管理功能以及用户管理功能。
这里,存储节点管理功能包括但不限于:存储节点的添加、存储节点的删除、存储节点中硬盘的添加与删除、根据不同存储节点存储容量的大小进行权重设置以确保存储数据的均衡分布、环管理、Account服务器的管理、Container服务器的管理、存储节点的远程开关机控制、存储节点数量的动态伸缩、存储集群MAP任务管理、缓存(memcached)管理等等。
监控管理功能包括但不限于:图形化展示备份在存储节点中的数据的备份情况的拓扑结构、针对不同类型的设备显示不同的信息等,这里,针对不同类型的设备显示不同的信息包括:每个存储节点显示存储节点总量以及已存储的数据占存储总量的百分比,每个代理服务器显示对外带宽利用率,业务系统的客户端显示备份任务相关信息。
用户管理功能包括但不限于:针对不同角色的用户提供不同的界面、新增用户、删除用户、用户状态锁定、用户备份池管理、用户分组管理、用户角色管理、用户容量限额确定、用户权限管理等;这里,用户的角色可以是管理员或普通用户。
具体地,所述对象存储系统需要部署3个网络,分别为:内部私有网络104、外部存储网络105和管理网络106;其中,内部私有网络104,用于负责存储节点与代理服务器之间的通信;外部存储网络105,用于提供业务子系统与代理服务器之间的数据通信;管理网络106,用于对管理节点的管理功能提供通信支持。
进一步地,在使用对象存储系统进行数据备份时,采用异地部署方式,即存储节点与需要备份数据的业务子系统部署在不同的数据中心。
图2为本发明实施例对象存储系统内部的通信链路示意图,如图2所示,在对象存储系统中,还设置有至少一个交换机107,这里,交换机用于实现代理服务器与存储节点之间的数据通信、管理节点与代理服务器之间的数据通信、以及管理节点与存储节点之间的数据通信;交换机的型号可以根据应用需求进行选择,例如,交换机的型号为cisco N7010。
具体地说,在交换机的1000M端口或10000M端口与代理服务器的相应端口之间形成通信链路,在交换机的1000M端口与管理节点的1000M端口之间形成通信链路,在交换机的1000M端口与存储节点的1000M端口之间形成通信链路。
进一步地,对象存储系统可以为用户提供了以下类型的数据的存储业务:虚拟机镜像、视频文件、音频文件、图片、邮件、文档等,相应的存储业务能够以服务的形式提供给用户;在对象存储系统中,使用大量PC服务器的廉价内置硬盘为存储节点,每一份数据均有3个副本,保障了数据安全性,同时存储的实施成本较低;另外,对象存储系统采用负载均衡策略,在进行数据存储时,采用自动数据平衡技术,有效地降低数据存储的故障率和维护成本。
下面通过几个具体实施例说明基于对象存储进行数据备份、恢复的方法和系统。
实施例一
本发明实施例一提供了一种基于对象存储进行数据备份方法;该数据备份方法可以用于对虚拟机文件和数据库进行备份。
图3为本发明实施例一基于对象存储进行虚拟机备份的方法的流程图,如图3所示,该流程包括:
步骤300:生成虚拟机备份任务。
本步骤具体包括:用户登录分布式对象存储系统的管理节点;在管理节点上,基于设置的虚拟机备份信息生成虚拟机备份任务,所述虚拟机备份信息包括用于接收备份任务的备份客户端;在生成虚拟机备份任务之后,利用虚拟机备份客户端接收虚拟机备份任务。
这里,所述虚拟机备份信息还包括虚拟机备份文件在对象存储系统上的存放路径等。
下面通过一个例子说明步骤300的一种具体实现方式。
示例性地,用户登录对象存储系统的管理节点,进入虚拟机备份客户端管理界面;根据需要来设置虚拟机备份客户端,这里,如果虚拟机备份客户端此时已经设置完毕,则不需要进行重复设置;在虚拟机备份客户端设置完毕之后,进入虚拟机备份目录管理界面;在虚拟机备份目录管理界面,根据需要创建虚拟机备份文件在对象存储系统上的存放路径,如果相应的路径此时已经创建完毕,则无需重复创建;在创建虚拟机备份文件在对象存储系统上的存放路径之后,进入虚拟机备份任务管理界面;在虚拟机备份任务管理界面,根据虚拟机备份信息来制定虚拟机备份任务,这里,如果虚拟机备份任务此时已经制定完毕,则无需重复制定;虚拟机备份任务制定完毕之后,可以自动向虚拟机备份客户端发送虚拟机备份任务,也可以在接收到用户的虚拟机备份请求后,向虚拟机备份客户端发送备份任务。
本步骤中,当虚拟机采用vmware虚拟机时,虚拟机备份客户端可以是VMware ESXi,当虚拟机采用xenserver虚拟机时,虚拟机备份客户端可以是XenServer。
进一步地,本步骤中,所述虚拟机备份信息还包括虚拟机的备份策略;所述虚拟机的备份策略包括以下至少一种信息:虚拟机备份名称、虚拟机备份类型、虚拟机备份内容、虚拟机备份方式、虚拟机备份周期、虚拟机文件保存周期;这里,虚拟机备份方式可以为全量备份或增量备份,虚拟机备份周期用于表示进行虚拟机备份的周期,例如,每隔12小时进行一次虚拟机备份;虚拟机文件保存周期用于表示备份的数据在对象存储系统的存储节点中的保存时间。
这里,用户可以根据需要灵活制定虚拟机的备份策略,从而灵活地制定虚拟机备份任务;如此,使虚拟机备份满足用户个性化的需求,提升用户体验。
步骤301:基于获取的备份任务对虚拟机进行快照,生成虚拟机备份文件。
当虚拟机采用vmware虚拟机时,本步骤具体包括:基于获取的虚拟机备份任务对vmware虚拟机进行快照,生成虚拟机备份文件,这里,对vmware虚拟机进行快照生成的虚拟机备份文件为vmdk文件。
当虚拟机采用xenserver虚拟机时,本步骤具体包括:基于获取的虚拟机任务对xenserver虚拟机进行快照,生成虚拟机备份文件,这里,对xenserver虚拟机进行快照生成的虚拟机备份文件为xva文件。
这里,对vmware虚拟机或xenserver虚拟机进行快照的过程具有现有的实现方式,这里不再赘述。
步骤302:将虚拟机备份文件上传至对象存储系统的存储节点中。
本步骤具体包括:按照所述虚拟机备份文件在对象存储系统上的存放路径,将虚拟机备份文件上传至对象存储系统的存储节点的相应位置。
当虚拟机采用vmware虚拟机时,本步骤具体包括:将生成的vmdk文件备份到媒介服务器(media server)上;在media server上,利用对象存储系统的客户端将media server上的vmdk文件上传至对象存储系统的存储节点中。
当虚拟机采用xenserver虚拟机时,本步骤具体包括:将生成的xva文件上传到对象存储系统的存储节点中。
进一步地,在将虚拟机备份文件上传至对象存储系统的存储节点之后,将所生成的虚拟机备份文件删除,如此可以释放存储空间。具体地说,当虚拟机采用vmware虚拟机时,上传完成后,将media server上的vmdk文件删除,整个备份过程完毕;当虚拟机采用xenserver虚拟机时,将xenserver上生成的xva文件删除,整个备份过程完成。这里,将media server上的vmdk文件删除或将xenserver上生成的xva文件删除的目的在于:释放media server或xenserver上的存储空间。
需要说明的是,在本发明实施例一中,虚拟机备份客户端、media server均处于对象存储系统的业务子系统。
图4为本发明实施例一基于对象存储进行数据库备份的方法的流程图,如图4所示,该流程包括:
步骤400:针对待备份的目标数据库,生成数据库备份任务;
这里,目标数据库可以是oracle数据库。
本步骤具体包括:用户登录分布式对象存储系统的管理节点;在管理节点上,获取待备份的目标数据库,基于所述待备份的目标数据库及设置的数据库备份信息,生成数据库备份任务;所述数据库备份信息包括所述目标数据库在对象存储系统上的存放路径等。
进一步地,所述数据库备份信息还包括用于接收数据库备份任务的数据库备份客户端;在生成数据库备份任务之后,利用数据库备份客户端接收所述数据库备份任务。
下面通过一个例子说明步骤400的一种具体实现方式。
示例性地,用户登录对象存储系统的管理节点,进入数据库备份客户端管理界面;根据需要来设置数据库备份客户端,这里,如果数据库备份客户端此时已经设置完毕,则不需要进行重复设置;在数据库备份客户端设置完毕之后,进入数据库备份目录管理界面;在数据库备份目录管理界面,根据需要创建目标数据库在对象存储系统的存储节点上的存放路径,如果相应的路径此时已经创建完毕,则无需重复创建;在创建目标数据库在对象存储系统存储节点上的存放路径之后,进入目标数据库管理界面;在目标数据库管理界面,根据需要设置待备份的目标数据库,如果目标数据库此时已经设置完毕,则不需要重复设置;在目标数据库设置完成后,进入数据库备份任务管理界面;在数据库备份任务管理界面,根据数据库备份信息来制定备份任务,这里,如果数据库备份任务此时已经制定完毕,则无需重复制定;在数据库备份任务制定完毕之后,可以自动向备份客户端发送备份任务,也可以在接收到用户的虚拟机备份请求后,向备份客户端发送备份任务。
进一步地,本步骤中,所述数据库备份信息还包括数据库的备份策略;所述数据库的备份策略包括以下至少一种信息:数据库备份名称、数据库备份类型、数据库备份内容、数据库备份方式、数据库备份周期、目标数据库保存周期;这里,数据库备份方式可以为全量备份或增量备份,数据库备份周期用于表示进行数据库备份的周期,例如,每隔12小时对目标数据库进行一次备份;目标数据库保存周期用于表示目标数据库备份文件在对象存储系统的存储节点中的保存时间。
这里,用户可以根据需要灵活制定数据库的备份策略,从而灵活地制定数据库备份任务;如此,使数据库备份满足用户个性化的需求,提升用户体验。
步骤401:基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。
本步骤具体包括:按照所述目标数据库在对象存储系统上的存放路径,将目标数据库备份至对象存储系统的存储节点的相应位置。
需要说明的是,在本发明实施例一中,数据库备份客户端处于对象存储系统的业务子系统。
本发明实施例一的数据备份方法中,基于对象存储系统进行数据备份,能够实现虚拟机和数据库的备份,备份过程简单,备份速度较快,数据备份以服务的形式提供,灵活性好。
实施例二
在本发明实施例一的基础上,本发明实施例二提供了一种基于对象存储进行数据恢复的方法,该数据恢复方法可以用户对虚拟机文件和数据库进行恢复。
图5为本发明实施例二基于对象存储进行虚拟机恢复的方法的流程图,如图5所示,该流程包括:
步骤500:生成虚拟机恢复任务。
本步骤具体包括:用户登录分布式对象存储系统的管理节点;在管理节点上,基于需要恢复的虚拟机备份文件生成虚拟机恢复任务。
这里,可以根据需要恢复的虚拟机备份文件,选择需要的虚拟机备份记录,基于需要的虚拟机备份记录生成虚拟机恢复任务。
下面通过一个例子说明步骤500的一种具体实现方式。
示例性地,用户登录对象存储系统的管理节点,进入虚拟机恢复功能界面,在虚拟机恢复功能界面的虚拟机备份记录中,根据需要恢复的虚拟机备份文件,选择需要的虚拟机备份记录;这里,虚拟机恢复功能界面的备份记录以树状结构呈现。在选择需要的虚拟机备份记录后,基于需要的虚拟机备份记录制定虚拟机恢复任务。
步骤501:基于虚拟机恢复任务从对象存储系统的存储节点下载相应的虚拟机备份文件。
本步骤具体包括:按照所述虚拟机恢复任务对应的虚拟机备份文件在对象存储系统上的存放路径,从对象存储系统的存储节点的相应位置下载与所述虚拟机恢复任务对应的虚拟机备份文件。
这里,可以使用虚拟机备份客户端接收与所述虚拟机恢复任务对应的虚拟机备份文件;具体地,当虚拟机采用vmware虚拟机时,虚拟机备份客户端可以是VMware ESXi,当虚拟机采用xenserver虚拟机时,虚拟机备份客户端可以是XenServer。
本步骤中,当虚拟机采用vmware虚拟机时,使用虚拟机备份客户端接收与所述虚拟机恢复任务对应的虚拟机备份文件,包括:将所述虚拟机备份文件从对象存储系统下载到media server上;将media server上的虚拟机备份文件发送至虚拟机备份客户端;利用虚拟机备份客户端接收与所述虚拟机恢复任务对应的虚拟机备份文件。
进一步地,当虚拟机采用vmware虚拟机时,在media server上的虚拟机备份文件发送至备份客户端后,将media server上的虚拟机备份文件删除,如此可以释放media server存储空间。
步骤502:基于下载的虚拟机备份文件,创建新的虚拟机。
本步骤中,创建的新的虚拟机为虚拟机备份文件的备份时间点的虚拟机。
进一步地,在创建新的虚拟机之后,将原有的虚拟机停止,整个虚拟机恢复任务完成。
这里,在创建新的虚拟机之后,将下载的虚拟机备份文件删除,如此可以释放存储空间。
可以看出,在本发明实施例二中,通过虚拟机备份文件进行恢复,可以将虚拟机状态恢复到虚拟机备份文件对应的时间点。
需要说明的是,在本发明实施例二中,虚拟机备份客户端、media server均处于对象存储系统的业务子系统。
图6为本发明实施例二基于对象存储进行数据库恢复的方法的流程图,如图6所示,该流程包括:
步骤600:生成数据库恢复任务。
本步骤具体包括:用户登录分布式对象存储系统的管理节点;在管理节点上,基于需要恢复的目标数据库的备份,生成数据库恢复任务。
这里,可以根据需要恢复的目标数据库的备份,选择对应时间点的数据库备份记录,基于需要的数据库备份记录生成数据库恢复任务;这里,数据库备份记录以树状结构呈现。
下面通过一个例子说明步骤600的一种具体实现方式。
示例性地,用户登录对象存储系统的管理节点,进入数据库恢复功能界面,在数据库恢复功能界面的数据库备份记录中,根据需要恢复的目标数据库的备份对应的时间点,选择数据库备份记录,基于需要的数据库备份记录生成数据库恢复任务。
步骤601:基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。
这里,基于下载的目标数据库备份对目标数据库进行恢复的过程有多种现有实现方式,这里不再赘述。
本发明实施例二的数据恢复方法中,基于对象存储系统进行数据恢复,能够实现虚拟机和数据库的恢复,恢复过程简单,恢复速度较快,支持备份数据的下载查询,灵活性好。
实施例三
针对本发明实施例一的基于对象存储进行数据备份的方法,本发明实施例提供了一种基于对象存储进行数据备份的装置,该装置包括虚拟机备份模块或数据库备份模块。
图7为本发明实施例三中虚拟机备份模块的组成结构示意图,如图7所示,所述虚拟机备份模块700包括第一生成单元701、快照单元702和第一上传单元703;其中,
第一生成单元701,用于生成虚拟机备份任务。
快照单元702,用于基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件。
第一上传单元703,用于将虚拟机备份文件上传至对象存储系统的存储节点中。
具体地,所述第一生成单元701,用于基于设置的虚拟机备份信息生成虚拟机备份任务,所述虚拟机备份信息包括虚拟机的备份策略。
图8为本发明实施例三中数据库备份模块的组成结构示意图,如图8所示,所述数据库备份模块800包括第二生成单元801和第二上传单元802;其中,
第二生成单元801,用于针对待备份的目标数据库,生成数据库备份任务;
第二上传单元802,用于基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。
具体地,所述第二生成单元802,用于基于所述待备份的目标数据库及设置的数据库备份信息,生成数据库备份任务;所述数据库备份信息包括数据库的备份策略。
在实际应用中,所述第一生成单元701、快照单元702、第一上传单元703、第二生成单元801和第二上传单元802均可由位于对象存储系统的业务子系统中的中央处理器(Central Processing Unit,CPU)、微处理器(Micro ProcessorUnit,MPU)、数字信号处理器(Digital Signal Processor,DSP)、或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
实施例四
针对本发明实施例二的基于对象存储进行虚拟机恢复的方法,本发明实施例提供了一种基于对象存储进行数据恢复的装置,该装置包括虚拟机恢复模块或数据库恢复模块。
图9为本发明实施例四中虚拟机恢复模块的组成结构示意图,如图9所示,所述虚拟机恢复模块900包括第三生成单元901、下载单元902和创建单元903;其中,
第三生成单元901,用于生成虚拟机恢复任务。
下载单元902,用于基于虚拟机恢复任务从对象存储系统的存储节点上下载相应的虚拟机备份文件。
创建单元903,用于基于下载的虚拟机备份文件,创建新的虚拟机。
具体地,所述第三生成单元901,用于基于需要恢复的虚拟机备份文件生成虚拟机恢复任务。
图10为本发明实施例四中数据库恢复模块的组成结构示意图,如图10所示,所述数据库恢复模块1000包括第四生成单元1001和恢复单元1002;其中,
第四生成单元1001,用于生成数据库恢复任务;
恢复单元1002,用于基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。
具体地,所述第四生成单元1001,用于基于需要恢复的目标数据库的备份,生成数据库恢复任务。
在实际应用中,所述第三生成单元901、下载单元902、创建单元903、第四生成单元1001和恢复单元1002均可由位于对象存储系统的业务子系统中的中央处理器(Central Processing Unit,CPU)、微处理器(Micro Processor Unit,MPU)、数字信号处理器(Digital Signal Processor,DSP)、或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.一种基于对象存储进行数据备份的方法,其特征在于,所述方法包括虚拟机备份方法或数据库备份方法;
所述虚拟机备份方法包括:生成虚拟机备份任务;基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件;将虚拟机备份文件上传至对象存储系统的存储节点中;
所述数据库备份方法包括:针对待备份的目标数据库,生成数据库备份任务;基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。
2.根据权利要求1所述的方法,其特征在于,所述生成虚拟机备份任务包括:基于设置的虚拟机备份信息生成虚拟机备份任务;所述虚拟机备份信息包括虚拟机的备份策略;
所述针对待备份的目标数据库,生成数据库备份任务包括:基于所述待备份的目标数据库及设置的数据库备份信息,生成数据库备份任务;所述数据库备份信息包括数据库的备份策略。
3.根据权利要求1或2所述的方法,其特征在于,在将虚拟机备份文件上传至对象存储系统的存储节点之后,所述虚拟机备份方法还包括将所生成的虚拟机备份文件删除。
4.一种基于对象存储进行数据恢复的方法,其特征在于,所述进行数据恢复的方法基于权利要求1至3任一项所述的进行数据备份的方法,所述进行数据恢复的方法包括:虚拟机恢复方法或数据库恢复方法;
所述虚拟机恢复方法包括:生成虚拟机恢复任务;基于虚拟机恢复任务从对象存储系统的存储节点上下载相应的虚拟机备份文件;基于下载的虚拟机备份文件,创建新的虚拟机;
所述数据库恢复方法包括:生成数据库恢复任务;基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。
5.根据权利要求4所述的方法,其特征在于,在创建新的虚拟机之后,所述虚拟机恢复方法还包括:将原有的虚拟机停止,将下载的虚拟机备份文件删除。
6.根据权利要求4或5所述的方法,其特征在于,所述生成虚拟机恢复任务包括:基于需要恢复的虚拟机备份文件生成虚拟机恢复任务;
所述生成数据库恢复任务包括:基于需要恢复的目标数据库的备份,生成数据库恢复任务。
7.一种基于对象存储进行数据备份的装置,其特征在于,所述装置包括虚拟机备份模块或数据库备份模块;
所述虚拟机备份模块包括第一生成单元、快照单元和第一上传单元;其中,
第一生成单元,用于生成虚拟机备份任务;
快照单元,用于基于生成的虚拟机备份任务对虚拟机进行快照,生成虚拟机备份文件;
第一上传单元,用于将虚拟机备份文件上传至对象存储系统的存储节点中;
所述数据库备份模块包括第二生成单元和第二上传单元;其中,
第二生成单元,用于针对待备份的目标数据库,生成数据库备份任务;
第二上传单元,用于基于生成的数据库备份任务,将目标数据库备份至对象存储系统的存储节点中。
8.根据权利要求7所述的装置,其特征在于,所述第一生成单元,具体用于基于设置的虚拟机备份信息生成虚拟机备份任务,所述虚拟机备份信息包括虚拟机的备份策略;
所述第二生成单元,具体用于基于所述待备份的目标数据库及设置的数据库备份信息,生成数据库备份任务;所述数据库备份信息包括数据库的备份策略。
9.一种基于对象存储进行数据恢复的装置,其特征在于,所述进行数据恢复的装置基于权利要求7或8所述的进行数据备份的装置,所述进行数据恢复的装置包括虚拟机恢复模块或数据库恢复模块;
所述虚拟机恢复模块包括第三生成单元、下载单元和创建单元;其中,
第三生成单元,用于生成虚拟机恢复任务;
下载单元,用于基于虚拟机恢复任务从对象存储系统的存储节点上下载相应的虚拟机备份文件;
创建单元,用于基于下载的虚拟机备份文件,创建新的虚拟机;
所述数据库恢复模块包括第四生成单元和恢复单元;其中,
第四生成单元,用于生成数据库恢复任务;
恢复单元,用于基于所述数据库恢复任务从对象存储系统的存储节点上下载相应的目标数据库备份,基于下载的目标数据库备份,对目标数据库进行恢复。
10.根据权利要求9所述的装置,其特征在于,所述第三生成单元,用于基于需要恢复的虚拟机备份文件生成虚拟机恢复任务;
所述第四生成单元,用于基于需要恢复的目标数据库的备份,生成数据库恢复任务。
CN201510981449.5A 2015-12-23 2015-12-23 基于对象存储进行数据备份、恢复的方法和装置 Pending CN106909475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510981449.5A CN106909475A (zh) 2015-12-23 2015-12-23 基于对象存储进行数据备份、恢复的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510981449.5A CN106909475A (zh) 2015-12-23 2015-12-23 基于对象存储进行数据备份、恢复的方法和装置

Publications (1)

Publication Number Publication Date
CN106909475A true CN106909475A (zh) 2017-06-30

Family

ID=59201032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510981449.5A Pending CN106909475A (zh) 2015-12-23 2015-12-23 基于对象存储进行数据备份、恢复的方法和装置

Country Status (1)

Country Link
CN (1) CN106909475A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609176A (zh) * 2017-09-29 2018-01-19 郑州云海信息技术有限公司 一种本地存储快照分布式存储的方法及系统
CN107797887A (zh) * 2017-10-26 2018-03-13 医渡云(北京)技术有限公司 数据备份及恢复方法、装置、存储介质和电子设备
CN108519931A (zh) * 2018-03-19 2018-09-11 山东超越数控电子股份有限公司 一种基于快照技术的热备份实现方法
CN109936594A (zh) * 2017-12-15 2019-06-25 上海欣能信息科技发展有限公司 一种基于电力数据的云存储系统
CN110442427A (zh) * 2019-07-29 2019-11-12 腾讯科技(深圳)有限公司 一种虚拟机快照管理方法、装置、设备和存储介质
CN111104251A (zh) * 2018-10-26 2020-05-05 伊姆西Ip控股有限责任公司 恢复文件的方法、设备和计算机可读介质
CN111404980A (zh) * 2019-09-29 2020-07-10 杭州海康威视系统技术有限公司 一种数据存储方法及一种对象存储系统
CN111949441A (zh) * 2019-05-14 2020-11-17 Emc知识产权控股有限公司 用于可扩展备份搜索的系统和方法
CN112395133A (zh) * 2020-11-17 2021-02-23 平安科技(深圳)有限公司 基于虚拟机的数据备份方法、装置和计算机设备
CN112583868A (zh) * 2019-09-27 2021-03-30 浙江宇视科技有限公司 云存储数据的备份方法、装置、设备和介质
CN112732489A (zh) * 2021-01-11 2021-04-30 上海上讯信息技术股份有限公司 基于数据库虚拟化的数据脱敏的方法及设备
CN112860490A (zh) * 2021-03-17 2021-05-28 北京理工大学 一种基于Docker容器故障恢复的属性权重快照选择方法
CN114860173A (zh) * 2022-07-01 2022-08-05 广东睿江云计算股份有限公司 虚拟机文件系统中数据备份和恢复的控制方法及控制系统
CN115454723A (zh) * 2022-09-28 2022-12-09 安超云软件有限公司 一种基于存储快照的数据备份、恢复方法及其系统
CN116305334A (zh) * 2023-05-12 2023-06-23 烟台友开通信技术有限公司 一种计算机软件加密保护装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981931A (zh) * 2012-12-03 2013-03-20 中国联合网络通信集团有限公司 虚拟机备份方法及装置
CN105159943A (zh) * 2015-08-07 2015-12-16 北京思特奇信息技术股份有限公司 一种分布式数据库自动化备份方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981931A (zh) * 2012-12-03 2013-03-20 中国联合网络通信集团有限公司 虚拟机备份方法及装置
CN105159943A (zh) * 2015-08-07 2015-12-16 北京思特奇信息技术股份有限公司 一种分布式数据库自动化备份方法及系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609176B (zh) * 2017-09-29 2019-09-13 郑州云海信息技术有限公司 一种本地存储快照分布式存储的方法及系统
CN107609176A (zh) * 2017-09-29 2018-01-19 郑州云海信息技术有限公司 一种本地存储快照分布式存储的方法及系统
CN107797887B (zh) * 2017-10-26 2021-03-23 医渡云(北京)技术有限公司 数据备份及恢复方法、装置、存储介质和电子设备
CN107797887A (zh) * 2017-10-26 2018-03-13 医渡云(北京)技术有限公司 数据备份及恢复方法、装置、存储介质和电子设备
CN109936594A (zh) * 2017-12-15 2019-06-25 上海欣能信息科技发展有限公司 一种基于电力数据的云存储系统
CN108519931A (zh) * 2018-03-19 2018-09-11 山东超越数控电子股份有限公司 一种基于快照技术的热备份实现方法
CN111104251A (zh) * 2018-10-26 2020-05-05 伊姆西Ip控股有限责任公司 恢复文件的方法、设备和计算机可读介质
CN111104251B (zh) * 2018-10-26 2023-08-18 伊姆西Ip控股有限责任公司 恢复文件的方法、设备和计算机可读介质
CN111949441A (zh) * 2019-05-14 2020-11-17 Emc知识产权控股有限公司 用于可扩展备份搜索的系统和方法
CN110442427A (zh) * 2019-07-29 2019-11-12 腾讯科技(深圳)有限公司 一种虚拟机快照管理方法、装置、设备和存储介质
CN110442427B (zh) * 2019-07-29 2021-09-14 腾讯科技(深圳)有限公司 一种虚拟机快照管理方法、装置、设备和存储介质
CN112583868A (zh) * 2019-09-27 2021-03-30 浙江宇视科技有限公司 云存储数据的备份方法、装置、设备和介质
CN112583868B (zh) * 2019-09-27 2023-04-07 浙江宇视科技有限公司 云存储数据的备份方法、装置、设备和介质
CN111404980A (zh) * 2019-09-29 2020-07-10 杭州海康威视系统技术有限公司 一种数据存储方法及一种对象存储系统
CN112395133A (zh) * 2020-11-17 2021-02-23 平安科技(深圳)有限公司 基于虚拟机的数据备份方法、装置和计算机设备
CN112732489A (zh) * 2021-01-11 2021-04-30 上海上讯信息技术股份有限公司 基于数据库虚拟化的数据脱敏的方法及设备
CN112860490A (zh) * 2021-03-17 2021-05-28 北京理工大学 一种基于Docker容器故障恢复的属性权重快照选择方法
CN112860490B (zh) * 2021-03-17 2022-07-26 北京理工大学 一种基于Docker容器故障恢复的属性权重快照选择方法
CN114860173A (zh) * 2022-07-01 2022-08-05 广东睿江云计算股份有限公司 虚拟机文件系统中数据备份和恢复的控制方法及控制系统
CN115454723A (zh) * 2022-09-28 2022-12-09 安超云软件有限公司 一种基于存储快照的数据备份、恢复方法及其系统
CN116305334A (zh) * 2023-05-12 2023-06-23 烟台友开通信技术有限公司 一种计算机软件加密保护装置
CN116305334B (zh) * 2023-05-12 2023-08-04 烟台友开通信技术有限公司 一种计算机软件加密保护装置

Similar Documents

Publication Publication Date Title
CN106909475A (zh) 基于对象存储进行数据备份、恢复的方法和装置
US20210064476A1 (en) Backup of partitioned database tables
CN105389230B (zh) 一种结合快照技术的持续数据保护系统及方法
CN107197022A (zh) OpenStack存储优化方法及系统
CN102981931B (zh) 虚拟机备份方法及装置
DE112020003420T5 (de) Datenwiederherstellung in einem virtuellen Speichersystem
CN104813321B (zh) 在分布式对象存储生态系统中的去耦合的内容以及元数据
DE112019005770T5 (de) Speicherverwaltung für ein cloudbasiertes Speichersystem
US20170228417A1 (en) Verification of database table partitions during backup
US11354065B2 (en) Cloud edition and retrieve
US10872017B2 (en) Restoring a file system object
US20200026621A1 (en) Backup client agent
CN109582443A (zh) 基于分布式存储技术的虚拟机备份系统
US20100100587A1 (en) Systems and methods for a data management recovery in a peer-to-peer network
CN107710215A (zh) 在测试设施中的移动计算装置安全的方法和设备
CN107256182A (zh) 一种数据库还原的方法及设备
CN108038201B (zh) 一种数据整合系统及其分布式数据整合系统
US20210042166A1 (en) Managing Metadata For A Distributed Processing System With Manager Agents And Worker Agents
CN107508718A (zh) 日志采集系统、日志采集单元以及日志采集方法
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
CN110445822A (zh) 一种对象存储方法及装置
CN104035837A (zh) 一种在线备份同/异构UNIX/Linux主机的方法
CN110456984A (zh) 一种对Ceph存储的块设备进行连续数据保护的方法
CN104793981B (zh) 一种虚拟机集群的在线快照管理方法及装置
CN109451004A (zh) 基于云网桥的云存储系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170630