CN112839112A - 一种分层数据存储系统及方法、备份管理服务器 - Google Patents
一种分层数据存储系统及方法、备份管理服务器 Download PDFInfo
- Publication number
- CN112839112A CN112839112A CN202110317844.9A CN202110317844A CN112839112A CN 112839112 A CN112839112 A CN 112839112A CN 202110317844 A CN202110317844 A CN 202110317844A CN 112839112 A CN112839112 A CN 112839112A
- Authority
- CN
- China
- Prior art keywords
- backup
- distributed object
- data
- object storage
- storage cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本文提供了一种分层数据存储系统及方法、备份管理服务器,其中,系统包括:备份管理服务器、应用服务器、分布式对象存储集群及磁带库;备份管理服务器用于根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器;根据磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至分布式对象存储集群;应用服务器连接所述分布式对象存储集群,用于根据第一备份请求,将应用服务器中相应数据存储于分布式对象存储集群中;分布式对象存储集群连接磁带库,用于根据第二备份请求,将分布式对象存储集群中相应数据存储于磁带库中。本文能够提高数据备份效率及成功率,同时还可以降低运维成本。
Description
技术领域
本文属于备份领域,尤其涉及一种分层数据存储系统及方法、备份管理服务器。
背景技术
现有技术中,对于敏感数据保护(例如金融业数据)通常分为两类场景:短周期保护以及长周期保护。其中,短周期保护适用于业务数据的快速恢复,长周期保护是用于审计及业务查询。由于磁带的低成本,当前对于敏感数据的保护基本上基于磁带进行,但是磁带读写性能差,在面对海量数据场景时,存在备份周期过长导致在备份窗口内无法完成数据备份、无法及时提供所需的数据导致查账供数等耗时过长等问题。同时由于磁带库和磁带驱动器都是机电设备,普遍存在机械故障率过高的问题。
为解决磁带读写性能差,导致备份和恢复时间过长的问题,目前业界一般解决方案包括如下两种:
1)使用多控制节点,提升磁带备份的并发度进而提升性能。但磁带库和控制器不可避免的机械故障导致的持续降低的备份成功率,使运维成本大幅提升。
2)使用磁盘备份替代磁带备份,其中磁盘备份有使用集中式存储盘机或分布式存储。但盘机方案成本较高,不适合存储大容量数据备份,分布式存储方案不适合长周期数据的备份,否则数据长时间在线将大幅提升运营成本。
发明内容
本文用于解决现有磁带备份方法存在数据备份和恢复过程耗时过长、成功率较低、运维成本较高的问题。
为了解决上述技术问题,本文的第一方面提供一种分层数据存储系统,包括:备份管理服务器、应用服务器、分布式对象存储集群及磁带库;
所述备份管理服务器连接所述应用服务器及所述分布式对象存储集群,用于根据所述分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至所述应用服务器;根据所述磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群;
所述应用服务器连接所述分布式对象存储集群,用于根据所述第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
所述分布式对象存储集群连接所述磁带库,用于根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
本文的进一步实施例中,所述备份策略包括:应用服务器编号、备份数据、备份发起时间、备份执行频率及备份数据的保留周期。
本文的进一步实施例中,所述备份管理服务器根据所述磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群,包括:
判断所述分布式对象存储集群中备份数据的保留周期是否大于预定值,若大于,则根据所述备份数据的保留周期及磁带库的剩余存储容量,生成并发送第二备份请求至所述分布式对象存储集群。
本文的进一步实施例中,将所述应用服务器中相应数据存储于所述分布式对象存储集群时,采用副本及纠删码方式进行存储。
本文的进一步实施例中,将所述分布式对象存储集群中相应数据存储于磁带库之后,删除所述分布式对象存储集群中相应数据。
本文的进一步实施例中,所述备份管理服务器还用于根据恢复策略生成并发送恢复请求至目标应用服务器;
所述目标应用服务器根据所述恢复请求,从所述分布式对象存储集群或所述磁带库,读取相应待恢复数据。
本文的进一步实施例中,所述恢复请求包括待恢复数据及待恢复数据的保留周期;
所述目标应用服务器根据所述恢复请求,从所述分布式对象存储集群或所述磁带库,读取相应待恢复数据,包括:
所述目标应用服务器判断所述待恢复数据的保留周期是否大于预定值,若大于,则从所述磁带库获取所述待恢复数据;反之,则从所述分布式对象存储集群中获取所述待恢复数据。
本文的进一步实施例中,所述备份管理服务器还用于根据所述分布式对象存储集群及所述磁带库中数据的保留周期,定期删除所述分布式对象存储集群及所述磁带库中的数据。
本文的第二方面提供一种分层数据存储方法,包括:
采集分布式对象存储集群的剩余存储容量及磁带库的剩余存储容量;
根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器,以使所述应用服务器根据第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
根据磁带库剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群,以使所述分布式对象存储集群根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
本文的第三方面提供一种备份管理服务器,包括:
采样模块,用于采集分布式对象存储集群及磁带库的剩余存储容量;
备份模块,用于根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器,以使应用服务器根据第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
转存模块,用于根据磁带库剩余存储容量及数据保留周期,生成并发送第二备份请求至所述分布式对象存储集群,以使分布式对象存储集群根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
本文提供的分层数据存储系统及方法、备份管理服务器,通过将应用服务器中的数据优先存储于分布式对象存储集群中,再根据数据保留周期确定是否将分布式对象存储集群中的数据存储于磁带库中,能够实现如下技术效果:
1)优先使用分布式对象存储集群做备份介质,能够保证备份的成功率、扩展性及高可靠性;
2)根据数据保留周期,将分布式对象存储集群中周期长的数据存储于磁带库中,该过程与应用服务器无关,不会影响应用服务器的操作,并且不受备份窗口(即备份的时间段)的限制,可全天发起第一备份请求;
3)可应用于数据中心的数据保护场景,能够达到更优的TCO(Total Cost ofOwnership,总拥有成本)。
为让本文的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本文的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本文实施例分层数据存储系统的结构图;
图2示出了本文实施例分布式对象存储集群的结构图;
图3示出了本文实施例分层数据存储系统交互过程图;
图4示出了本文实施例分层数据存储方法的第一流程图;
图5示出了本文实施例分层数据存储方法的第二流程图;
图6示出了本文实施例备份管理服务器的结构图;
图7示出了本文实施例分层数据存储系统交互过程的流程图;
图8示出了本文实施例计算机设备的结构图。
附图符号说明:
110、备份管理服务器;
120、应用服务器;
130、分布式对象存储集群;
140、磁带库;
210、磁盘;
220、对象服务接口;
610、采样模块;
620、备份模块;
630、转存模块;
802、计算机设备;
804、处理器;
806、存储器;
808、驱动机构;
810、输入/输出模块;
812、输入设备;
814、输出设备;
816、呈现设备;
818、图形用户接口;
820、网络接口;
822、通信链路;
824、通信总线。
具体实施方式
下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。
本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或装置产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。
现有技术中较多采用磁带备份的方法对应用数据进行备份,但该种数据备份方法存在数据备份和恢复过程耗时过长、成功率较低、运维成本较高的问题。另外,现有技术中的分布式对象存储目前被广泛应用于存放票据影像、视频监控、静态文件及备份归档等场景,未见分布式对象存储与磁带存储相结合的方案。
考虑到现有技术中存在的上述技术问题,本文的一实施例中,提供一种分层数据存储系统,如图1所示,分层数据存储系统包括:备份管理服务器110、应用服务器120、分布式对象存储集群130及磁带库140。
备份管理服务器110连接应用服务器120、分布式对象存储集群130及磁带库140,用于根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器120;根据磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至分布式对象存储集群130;
应用服务器120连接分布式对象存储集群130,用于根据第一备份请求,将应用服务器中相应数据存储于分布式对象存储集群中;
分布式对象存储集群130连接磁带库140,用于根据第二备份请求,将分布式对象存储集群中相应数据存储于磁带库中。
详细的说,本文所述的备份管理服务器中安装有管理系统,该管理系统用于管理分布式对象存储集群及磁带库对应用服务器数据的存储,供操作人员制定备份策略等。具体实施时,备份管理服务器通过与分布式对象存储集群130及磁带库140通讯来获取剩余存储容量。分布式对象集群的剩余存储容量包括集群内每一磁盘的剩余容量及总剩余容量,磁带库的剩余存储容量包括磁带库中每一磁带的剩余容量及总剩余容量。
备份策略包括应用服务器编号、备份数据、备份发起时间、备份执行频率及备份数据的保留周期,具体的,备份策略例如为<应用服务器IP,/home/test/,周二晚10点,每周一次,保留两个月>。通过服务器编号及备份数据,可以确定从哪里获取备份内容,通过备份发起时间及备份执行频率(例如为每日、每周、每月等)可以确定备份发起的时间点,通过备份数据的保留周期(例如为两周、一个月、半年、一年等)以便分布式对象存储集群130及磁带库140定期清理数据。
应用服务器120包括数据库和文件应用等,例如为运行数据库服务程序的节点、负责数据存取的服务器,用于承载应用业务。不同的应用业务可以对应不同的应用服务器,还可以多个应用业务对应一应用服务器。
如图2所示,分布式对象存储集群130为基于通用服务器和磁盘210(包括HDD和SSD等)构建的高可靠、高性能、可扩展的分布式集群,分布式集群将众多的普通计算机或服务器通过网络进行连接,同时对外提供一个整体的存储服务,并且提供通用的对象服务接口220,通过对象服务接口220可实现对业务数据的访问。
磁带库140为基于磁带的数据存储系统,包括驱动器、机械臂及磁带等部件。磁带库140具体结构可参考现有技术,本文不再详述。
第一备份请求适用于短周期存储的数据,例如为正在对外提供服务的业务(如微信、QQ等),以便快速恢复数据。第二备份请求适用于长周期存储的数据,例如为审计和业务查询等对实时性没有特殊要求的业务。
本实施例通过将应用服务器中的数据优先存储于分布式对象存储集群中,再根据数据保留周期确定是否将分布式对象存储集群中的数据存储于磁带库中,能够实现如下技术效果:1)优先使用分布式对象存储集群做备份介质,能够保证备份的成功率、扩展性及高可靠性;2)根据数据保留周期,将分布式对象存储集群中周期长的数据存储于磁带库中,该过程与应用服务器无关,不会影响应用服务器的操作,并且不受备份窗口的限制,可全天发起第一备份请求;3)可应用于数据中心的数据保护场景,能够达到更优的TCO。
本文一实施例中,备份管理服务器110根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器120包括:
根据应用服务器编号、备份数据,确定备份内容目录位置;
根据备份发起时间及备份执行频率,确定第一备份指令的下发时间;
根据备份数据的保留周期,确定备份数据在目标存储位置的保存时间;
根据分布式对象存储集群的剩余存储容量,确定目标分布式对象存储位置;
根据备份内容目录位置、第一备份指令的下发时间、备份数据在目标存储位置的保存时间、目标分布式对象存储位置,生成第一备份指令。
具体实施时,应用服务器可通过应用服务器调用接口将数据下入分布式对象存储集群中。
本文一实施例中,备份管理服务器110根据磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至分布式对象存储集群130,包括:
判断分布式对象存储集群130中备份数据的保留周期是否大于预定值,若大于,则根据备份数据的保留周期及磁带库的剩余存储容量,生成并发送第二备份请求至所述分布式对象存储集群。
其中,备份数据的保留周期可从备份策略中进行确定,磁带库的剩余存储容量可通过查询磁带库来确定。
具体实施时,分布式对象存储集群可通过调用分布式对象存储调用接口将数据写入磁带库中。
本文一实施例中,为了保证分层数据存储系统的鲁棒性及数据的可靠性(在部分数据因硬件故障丢失或无法访问时,仍会恢复数据),将应用服务器120中相应数据存储于分布式对象存储集群130时,采用副本及纠删码方式进行存储。通过副本及纠删码可以实现不少于一份数据的保存,使得系统在局部故障时,仍然可以提供服务。
本文一实施例中,为了保证分布式对象存储集群的存储容量,将分布式对象存储集群中相应数据存储于磁带库之后,删除分布式对象存储集群中相应数据。
进一步的,备份管理服务器还用于根据分布式对象存储集群及磁带库中数据的保留周期,定期删除分布式对象存储集群及磁带库中的数据。当数据达到保留周期时,删除该数据。
本文一实施例中,如图3所示,备份管理服务器110还用于根据恢复策略生成并发送恢复请求至应用服务器120。应用服务器120根据恢复请求,从分布式对象存储集群130或磁带库140,读取相应待恢复数据。
详细的说,恢复策略包括:应用服务器信息、待恢复数据、待恢复数据的保留周期等等。通过对比备份记录及恢复策略,可以确定待恢复数据的存放位置。
应用服务器120指的是待恢复数据对应的目标服务器,可根据恢复策略确定目标服务器,根据待恢复数据的备份周期长短来确定从哪里获取备份数据。一具体实施方式中,应用服务器120比较待恢复数据保留周期与预定值,若待恢复数据保留周期大于预定值,则从磁带库140读取相应待恢复数据,若待恢复数据保留周期小于或等于预定值,则从分布式对象存储集群130读取相应待恢复数据。其中,预定值可根据实际需求进行设定,本文对其具体取值不做限定。
本文一实施例中,还提供一种分层数据存储方法,适用于备份管理服务器,具体的,如图4所示,分层数据存储方法包括:
步骤410,采集分布式对象存储集群的剩余存储容量及磁带库的剩余存储容量;
步骤420,根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器,以使所述应用服务器根据第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
步骤430,根据磁带库剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群,以使所述分布式对象存储集群根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
进一步实施例中,为了能够恢复数据,如图5所示,分层数据存储方法还包括:
步骤440,根据恢复策略生成并发送恢复请求至应用服务器,以使应用服务器根据恢复请求,从分布式对象存储集群或磁带库,读取相应待恢复数据。
本文提供的分层数据存储方法,通过将应用服务器中的数据优先存储于分布式对象存储集群中,再根据数据保留周期确定是否将分布式对象存储集群中的数据存储于磁带库中,能够实现如下技术效果:
1)优先使用分布式对象存储集群做备份介质,能够保证备份的成功率、扩展性及高可靠性;
2)根据数据保留周期,将分布式对象存储集群中周期长的数据存储于磁带库中,该过程与应用服务器无关,不会影响应用服务器的操作,并且不受备份窗口的限制,可全天发起第一备份请求;
3)可应用于数据中心的数据保护场景,能够达到更优的TCO。
基于同一发明构思,本文还提供一种备份管理服务器,如下面的实施例所述。由于备份管理服务器解决问题的原理与分层数据存储方法相似,因此备份管理服务器的实施可以参见分层数据存储方法,重复之处不再赘述。
本实施例提供的备份管理服务器包括多个功能模块,均可以由专用或者通用芯片实现,还可以通过软件程序实现,本文对此不作限定。
具体的,如图6所示,备份管理服务器包括:
采样模块610,用于采集分布式对象存储集群及磁带库的剩余存储容量;
备份模块620,用于根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器,以使应用服务器根据第一备份请求,将应用服务器中相应数据存储于分布式对象存储集群中;
转存模块630,用于根据磁带库剩余存储容量及数据保留周期,生成并发送第二备份请求至分布式对象存储集群,以使分布式对象存储集群根据第二备份请求,将分布式对象存储集群中相应数据存储于磁带库中。
为了更清楚说明本文技术方案,下面以一具体实施例进行详细说明,如图7所示,分层数据存储系统实现数据备份及恢复的过程包括:
步骤710,备份管理服务器监测管理分布式对象存储集群及磁带库的状态,在分布式对象存储集群及磁带库状态正常的情况下,发出获取剩余存储容量的请求;
步骤720,分布式对象存储集群及磁带库发送剩余存储容量至备份管理服务器;具体实施时,分布式对象存储集群及磁带库还可发送已占用存储容量至备份管理服务器,根据已占用存储容量,计算剩余存储容量;
步骤730,备份管理服务器根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器;
步骤740,应用服务器根据第一备份请求,将应用服务器中相应数据存储于分布式对象存储集群中;
步骤750,备份管理服务器根据磁带库剩余存储容量及数据保留周期,生成并发送第二备份请求至分布式对象存储集群;
步骤760,分布式对象存储集群根据第二备份请求,将分布式对象存储集群中相应数据存储于磁带库中;
步骤770,备份管理服务器根据恢复策略生成并发送恢复请求至相应应用服务器;
步骤780,应用服务器接收并解析恢复请求,得到待恢复数据及待恢复数据的保留周期,比较待恢复数据保留周期与预定值,若待恢复数据保留周期大于预定值,则从磁带库读取相应待恢复数据,若待恢复数据保留周期小于或等于预定值,则从分布式对象存储集群读取相应待恢复数据。
本文一实施例中,如图8所示,还提供一种计算机设备,计算机设备802可以包括一个或多个处理器804,诸如一个或多个中央处理单元(CPU),每个处理单元可以实现一个或多个硬件线程。计算机设备802还可以包括任何存储器806,其用于存储诸如代码、设置、数据等之类的任何种类的信息,具体的,存储器806中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现前述任一实施例所述分层数据存储方法。非限制性的,比如,存储器806可以包括以下任一项或多种组合:任何类型的RAM,任何类型的ROM,闪存设备,硬盘,光盘等。更一般地,任何存储器都可以使用任何技术来存储信息。进一步地,任何存储器可以提供信息的易失性或非易失性保留。进一步地,任何存储器可以表示计算机设备802的固定或可移除部件。在一种情况下,当处理器804执行被存储在任何存储器或存储器的组合中的相关联的指令时,计算机设备802可以执行相关联指令的任一操作。计算机设备802还包括用于与任何存储器交互的一个或多个驱动机构808,诸如硬盘驱动机构、光盘驱动机构等。
计算机设备802还可以包括输入/输出模块810(I/O),其用于接收各种输入(经由输入设备812)和用于提供各种输出(经由输出设备814))。一个具体输出机构可以包括呈现设备816和相关联的图形用户接口818(GUI)。在其他实施例中,还可以不包括输入/输出模块810(I/O)、输入设备812以及输出设备814,仅作为网络中的一台计算机设备。计算机设备802还可以包括一个或多个网络接口820,其用于经由一个或多个通信链路822与其他设备交换数据。一个或多个通信总线824将上文所描述的部件耦合在一起。
通信链路822可以以任何方式实现,例如,通过局域网、广域网(例如,因特网)、点对点连接等、或其任何组合。通信链路822可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
对应于图4-图5中的方法,本文实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法的步骤。
本文实施例还提供一种计算机可读指令,其中当处理器执行所述指令时,其中的程序使得处理器执行如图4至图5所示的方法。
应理解,在本文的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本文实施例的实施过程构成任何限定。
还应理解,在本文实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本文所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外,在本文各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本文的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本文的方法及其核心思想;同时,对于本领域的一般技术人员,依据本文的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本文的限制。
Claims (10)
1.一种分层数据存储系统,其特征在于,包括:备份管理服务器、应用服务器、分布式对象存储集群及磁带库;
所述备份管理服务器连接所述应用服务器及所述分布式对象存储集群,用于根据所述分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至所述应用服务器;根据所述磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群;
所述应用服务器连接所述分布式对象存储集群,用于根据所述第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
所述分布式对象存储集群连接所述磁带库,用于根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
2.如权利要求1所述的分层数据存储系统,其特征在于,所述备份策略包括:应用服务器编号、备份数据、备份发起时间、备份执行频率及备份数据的保留周期。
3.如权利要求1所述的分层数据存储系统,其特征在于,所述备份管理服务器根据所述磁带库的剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群,包括:
判断所述分布式对象存储集群中备份数据的保留周期是否大于预定值,若大于,则根据所述备份数据的保留周期及磁带库的剩余存储容量,生成并发送第二备份请求至所述分布式对象存储集群。
4.如权利要求1所述的分层数据存储系统,其特征在于,将所述应用服务器中相应数据存储于所述分布式对象存储集群时,采用副本及纠删码方式进行存储。
5.如权利要求1所述的分层数据存储系统,其特征在于,将所述分布式对象存储集群中相应数据存储于磁带库之后,删除所述分布式对象存储集群中相应数据。
6.如权利要求1所述的分层数据存储系统,其特征在于,所述备份管理服务器还用于根据恢复策略生成并发送恢复请求至目标应用服务器;
所述目标应用服务器根据所述恢复请求,从所述分布式对象存储集群或所述磁带库,读取相应待恢复数据。
7.如权利要求6所述的分层数据存储系统,其特征在于,所述恢复请求包括待恢复数据及待恢复数据的保留周期;
所述目标应用服务器根据所述恢复请求,从所述分布式对象存储集群或所述磁带库,读取相应待恢复数据,包括:
所述目标应用服务器判断所述待恢复数据的保留周期是否大于预定值,若大于,则从所述磁带库获取所述待恢复数据;反之,则从所述分布式对象存储集群中获取所述待恢复数据。
8.如权利要求1所述的分层数据存储系统,其特征在于,所述备份管理服务器还用于根据所述分布式对象存储集群及所述磁带库中数据的保留周期,定期删除所述分布式对象存储集群及所述磁带库中的数据。
9.一种分层数据存储方法,其特征在于,包括:
采集分布式对象存储集群的剩余存储容量及磁带库的剩余存储容量;
根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器,以使所述应用服务器根据第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
根据磁带库剩余存储容量及备份数据的保留周期,生成并发送第二备份请求至所述分布式对象存储集群,以使所述分布式对象存储集群根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
10.一种备份管理服务器,其特征在于,包括:
采样模块,用于采集分布式对象存储集群及磁带库的剩余存储容量;
备份模块,用于根据分布式对象存储集群的剩余存储容量及备份策略,生成并发送第一备份请求至应用服务器,以使应用服务器根据第一备份请求,将所述应用服务器中相应数据存储于所述分布式对象存储集群中;
转存模块,用于根据磁带库剩余存储容量及数据保留周期,生成并发送第二备份请求至所述分布式对象存储集群,以使分布式对象存储集群根据所述第二备份请求,将所述分布式对象存储集群中相应数据存储于磁带库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110317844.9A CN112839112B (zh) | 2021-03-25 | 2021-03-25 | 一种分层数据存储系统及方法、备份管理服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110317844.9A CN112839112B (zh) | 2021-03-25 | 2021-03-25 | 一种分层数据存储系统及方法、备份管理服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112839112A true CN112839112A (zh) | 2021-05-25 |
CN112839112B CN112839112B (zh) | 2023-02-17 |
Family
ID=75930557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110317844.9A Active CN112839112B (zh) | 2021-03-25 | 2021-03-25 | 一种分层数据存储系统及方法、备份管理服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112839112B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697353A (zh) * | 2022-05-27 | 2022-07-01 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
CN115543698A (zh) * | 2022-11-30 | 2022-12-30 | 云和恩墨(北京)信息技术有限公司 | 数据备份方法、装置、设备及存储介质 |
CN116737466A (zh) * | 2023-08-15 | 2023-09-12 | 中移(苏州)软件技术有限公司 | 备份处理方法、装置、系统、电子设备及可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117231A (zh) * | 2009-12-30 | 2011-07-06 | 上海文广互动电视有限公司 | 一种分布式数据备份容灾系统以及方法 |
US20110231172A1 (en) * | 2010-03-21 | 2011-09-22 | Stephen Gold | Determining impact of virtual storage backup jobs |
CN103164172A (zh) * | 2013-03-11 | 2013-06-19 | 华为技术有限公司 | 数据流存储方法及装置 |
CN203260027U (zh) * | 2012-08-21 | 2013-10-30 | 杭州海康威视数字技术股份有限公司 | 一种备份装置及数据备份系统 |
CN103605585A (zh) * | 2013-11-06 | 2014-02-26 | 上海爱数软件有限公司 | 一种基于数据发现的智能备份方法 |
US20150254141A1 (en) * | 2014-03-10 | 2015-09-10 | Oracle International Corporation | Centralized tape management for databases |
CN106649401A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 分布式文件系统中的数据写入方法和装置 |
CN109885425A (zh) * | 2019-01-29 | 2019-06-14 | 人人行科技股份有限公司 | 数据的备份方法、备份装置、存储介质和处理器 |
CN110096388A (zh) * | 2019-04-28 | 2019-08-06 | 平安科技(深圳)有限公司 | 一种数据备份的方法、装置及计算机存储介质 |
-
2021
- 2021-03-25 CN CN202110317844.9A patent/CN112839112B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117231A (zh) * | 2009-12-30 | 2011-07-06 | 上海文广互动电视有限公司 | 一种分布式数据备份容灾系统以及方法 |
US20110231172A1 (en) * | 2010-03-21 | 2011-09-22 | Stephen Gold | Determining impact of virtual storage backup jobs |
CN203260027U (zh) * | 2012-08-21 | 2013-10-30 | 杭州海康威视数字技术股份有限公司 | 一种备份装置及数据备份系统 |
CN103164172A (zh) * | 2013-03-11 | 2013-06-19 | 华为技术有限公司 | 数据流存储方法及装置 |
CN103605585A (zh) * | 2013-11-06 | 2014-02-26 | 上海爱数软件有限公司 | 一种基于数据发现的智能备份方法 |
US20150254141A1 (en) * | 2014-03-10 | 2015-09-10 | Oracle International Corporation | Centralized tape management for databases |
CN106649401A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 分布式文件系统中的数据写入方法和装置 |
CN109885425A (zh) * | 2019-01-29 | 2019-06-14 | 人人行科技股份有限公司 | 数据的备份方法、备份装置、存储介质和处理器 |
CN110096388A (zh) * | 2019-04-28 | 2019-08-06 | 平安科技(深圳)有限公司 | 一种数据备份的方法、装置及计算机存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697353A (zh) * | 2022-05-27 | 2022-07-01 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
CN115543698A (zh) * | 2022-11-30 | 2022-12-30 | 云和恩墨(北京)信息技术有限公司 | 数据备份方法、装置、设备及存储介质 |
CN116737466A (zh) * | 2023-08-15 | 2023-09-12 | 中移(苏州)软件技术有限公司 | 备份处理方法、装置、系统、电子设备及可读存储介质 |
CN116737466B (zh) * | 2023-08-15 | 2023-11-03 | 中移(苏州)软件技术有限公司 | 备份处理方法、装置、系统、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112839112B (zh) | 2023-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112839112B (zh) | 一种分层数据存储系统及方法、备份管理服务器 | |
CN110609797B (zh) | 基于块的存储的页面高速缓存存录 | |
US7844856B1 (en) | Methods and apparatus for bottleneck processing in a continuous data protection system having journaling | |
US9158653B2 (en) | Determining impact of virtual storage backup jobs | |
CN110071821A (zh) | 备用节点的指定 | |
JP2003186564A (ja) | ストレージリソース測定システム | |
US20060059322A1 (en) | Data storage system and process | |
US7987325B1 (en) | Method and apparatus for implementing a storage lifecycle based on a hierarchy of storage destinations | |
US7979649B1 (en) | Method and apparatus for implementing a storage lifecycle policy of a snapshot image | |
US20040153481A1 (en) | Method and system for effective utilization of data storage capacity | |
CN105550062B (zh) | 基于持续数据保护与时间点浏览恢复的数据回流方法 | |
US20120078846A1 (en) | Systems and methods of managing virtual storage resources | |
JP2005523517A (ja) | ディザスタ・リカバリのための方法およびシステム | |
US11275522B2 (en) | Efficient data storage management system | |
CN111966449B (zh) | 一种虚拟机备份管理方法、系统、终端及存储介质 | |
US11494271B2 (en) | Dynamically updating database archive log dependency and backup copy recoverability | |
CN111338844A (zh) | 一种数据库备份管理的方法及电子设备 | |
CN101501653B (zh) | 磁盘的长期备份 | |
CN110825562A (zh) | 数据备份方法、装置、系统和存储介质 | |
US8006116B1 (en) | Systems and methods for storing health information with computing-system backups | |
US20160139996A1 (en) | Methods for providing unified storage for backup and disaster recovery and devices thereof | |
JP5154843B2 (ja) | クラスタシステム、計算機、および障害回復方法 | |
US11360935B2 (en) | Efficient data storage management system | |
US8495315B1 (en) | Method and apparatus for supporting compound disposition for data images | |
EP4281872A1 (en) | Published file system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |