CN101599080A - 一种备份数据的组织系统和方法 - Google Patents

一种备份数据的组织系统和方法 Download PDF

Info

Publication number
CN101599080A
CN101599080A CNA2009100890587A CN200910089058A CN101599080A CN 101599080 A CN101599080 A CN 101599080A CN A2009100890587 A CNA2009100890587 A CN A2009100890587A CN 200910089058 A CN200910089058 A CN 200910089058A CN 101599080 A CN101599080 A CN 101599080A
Authority
CN
China
Prior art keywords
index
backup data
backup
data
archive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100890587A
Other languages
English (en)
Other versions
CN101599080B (zh
Inventor
王树鹏
云晓春
郭莉
吴志刚
袁春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN2009100890587A priority Critical patent/CN101599080B/zh
Publication of CN101599080A publication Critical patent/CN101599080A/zh
Application granted granted Critical
Publication of CN101599080B publication Critical patent/CN101599080B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种备份数据的组织系统和方法,该系统包括备份数据管理装置、备份数据索引操作装置、备份数据操作装置和数据存储装置。备份数据管理装置接收来自备份客户端的备份命令、备份数据和备份数据索引;备份数据索引操作装置接收来自备份数据管理装置的备份数据索引并将其转发给数据存储装置;备份数据操作装置接收来自备份数据管理装置的备份数据并将其转发给数据存储装置;数据存储装置根据备份数据索引和备份数据的本地存储地址及备份数据大小建立表示本地存储和备份客户端存储的备份数据索引组织表。使用该系统和方法组织管理备份数据时,可以有效减少备份索引量,降低存储开销,提高备份数据的访问效率,降低时间开销。

Description

一种备份数据的组织系统和方法
技术领域
本发明涉及信息安全技术,更具体地,本发明涉及一种备份数据的组织系统和方法。
背景技术
随着计算机技术的不断发展和信息化程度的不断提高,人们对信息的依赖程度越来越高。信息在IT应用中的高度集中存储,很大程度地提高了信息和数据管理的自动化,提高了运营效率,降低了运营成本。但同时,数据安全的风险性也在不断的增加,而灾难发生所造成的数据丢失可能会导致巨大的损失。
为了避免灾难带来的不利影响,需要对数据进行定时或者实时的备份。然而,随着需要保护的数据的增加,备份数据量也越来越大,导致备份数据的索引量同时也越来越大。这样,一方面极大的增加了存储开销,另一方面也降低了备份数据索引的检索效率,实质上降低了恢复效率。目前面对数据的爆炸式增长,一方面需要降低存储开销,另一方面需要提高备份数据的恢复效率,来满足当前信息系统对RPO(数据恢复点目标,是指业务系统所能容忍的数据丢失量)和RTO(数据恢复时间目标,是指业务系统能够容忍的系统恢复时间)的要求。因此,如何有效地组织和管理海量的备份数据成为需要解决的一个关键问题。
目前的备份数据组织管理中,备份索引所表示的备份数据都是定长的。例如在快照位图索引中,用于每个时间点的备份数据保存全局位图中,全局位图中的每一位表示逻辑地址空间内固定长度的数据块,作为基本备份/恢复单位。这样,针对长度不同的数据,灵活性较差。另外,定长索引机制所表示的备份数据长度比较小,备份数据索引中索引项就需要更多,占用更多的存储空间,降低了检索效率。
发明内容
为克服现有数据备份中存储开销大和检索效率低的缺陷,本发明提出一种备份数据的组织系统和方法。
根据本发明的一个方面,提出了一种备份数据的组织系统,包括:
备份数据管理装置、备份数据索引操作装置、备份数据操作装置和数据存储装置,所述备份数据管理装置和备份客户端相连;
其中,所述备份数据管理装置用于接收来自备份客户端的备份命令、备份数据和备份数据索引,将所述备份数据发送给所述备份数据操作装置,将所述备份数据索引发送给所述备份数据索引操作装置;所述备份数据操作装置接收来自所述备份数据管理装置的备份数据并将其写入所述数据存储装置,将备份数据在数据存储装置上的存储位置通告给备份数据管理装置;所述备份数据索引操作装置接收来自所述备份数据管理装置的备份数据索引并将其写入所述数据存储装置;所述数据存储装置用于接收来自所述备份数据索引操作装置的备份数据索引和来自所述备份数据操作装置的备份数据,根据所述备份数据索引和备份数据的本地存储地址及备份数据大小建立表示本地存储和备份客户端存储的备份数据索引组织表。
其中,所述备份数据管理装置,用于接收来自备份客户端的恢复命令,根据来自所述备份数据索引操作装置的备份数据索引组织表,调用所述备份数据操作装置提取所备份的数据并与所述备份数据索引一起发送给所述备份客户端。
其中,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于所述数据存储装置的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节。
其中,所述备份数据索引操作装置接收来自所述数据存储装置的所述备份数据索引组织表,确定不同时间点的备份数据索引项的逻辑关系,定时或者实时地对备份数据索引进行合并处理,将所述逻辑关系发送给所述备份数据管理装置。
其中,所述备份数据操作装置接收来自所述备份数据管理装置的所述逻辑关系,对所述数据存储装置中的备份数据进行合并处理。
其中,所述备份数据索引操作装置比较不同时间点的备份索引集合中的备份索引项在数据仓库中的对应的起点和终点,将表示同一部分数据块的备份索引项进行合并,将合并后的备份索引项放入新的备份索引集合中。
其中,所述备份数据操作装置根据所述逻辑关系,将具有相同索引信息的数据块合并,形成新的数据块。
根据本发明的另一方面,提出了一种备份数据的备份方法,包括,备份数据索引组织表,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于所述数据存储装置的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节;所述方法包括:
步骤10)、接收备份命令、备份数据和备份数据索引,保存所述备份数据;
步骤20)、根据所述备份数据索引和所述备份数据的本地存储地址及备份数据大小建立表示本地存储和备份客户端存储的备份数据索引组织表。
根据本发明的又一方面,提出了一种备份数据的合并方法,包括,备份数据索引组织表,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于保存备份数据的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节;所述方法包括:
步骤10)、根据备份数据索引组织表,确定不同时间点的备份数据索引项的逻辑关系,对备份数据索引进行合并处理,修改所述备份数据索引组织表中的备份索引集合。
所述的方法还包括:步骤20)、根据所述逻辑关系,对所述数据仓库中的备份数据进行合并处理。
其中,所述不同时间点的备份数据索引项的逻辑关系包括左独立、左重叠、重叠、右重叠、右独立和覆盖;
其中,设定IndexSet(ti)和IndexSet(tj)分别表示时间点ti和时间点tj的备份索引集合,ti<tj,Indexm(ti)=[a,b],a<=b,Indexn(tj)=[A,B],A<=B;
如果(b<A),则Indexm(ti)相对于Indexn(tj)左独立;
如果(a<A且A≤b且b≤B),则Indexm(ti)相对于Indexn(tj)左重叠;
如果(a>A且b<B),则称Indexm(ti)r相对于Indexn(tj)重叠;
如果(a≥A且a≤B且b>B),则称Indexm(ti)相对于Indexn(tj)右重叠;
如果(a>B),则称Indexm(ti)相对于Indexn(tj)右独立;
如果(a≤A且b≥B),则称Indexm(ti)r相对于Indexn(tj)覆盖。
其中,所述步骤20)包括:
比较不同时间点的备份索引集合中的备份索引项在数据仓库中的对应的起点和终点,将表示同一部分数据块的备份索引项进行合并,将合并后的备份索引项放入新的备份索引集合中;
将具有相同索引信息的数据块合并,形成新的数据块。
根据本发明的第四方面,提出了一种备份数据的恢复方法,包括,备份数据索引组织表,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于保存备份数据的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节;所述方法包括:
接收恢复命令,根据备份数据索引组织表,提取所备份的数据并与所述备份数据索引一起发送给备份客户端。
本发明的系统和方法能够有效地减少索引数据量和存储空间开销,降低备份数据的存储成本,能够提高备份数据的合并及访问效率,满足当前信息系统对数据备份存储开销以及时间开销要求越来越小的趋势,特别适用于备份点密集的海量备份数据存储环境,并且在应用范围也具有很强的实用性。
附图说明
图1是根据本发明的实施例的基于变长索引的备份数据组织系统的组成示意图;
图2是根据本发明的实施例的备份数据索引组织表的示意图;
图3是根据本发明的实施例的索引项之间的关系的示意图;
图4是根据本发明的实施例的索引项之间逻辑关系的判别流程图;和
图5是根据本发明的实施例的备份数据索引合并和备份数据合并的流程图。
具体实施方式
下面结合附图和具体实施例对本发明提供的一种备份数据的组织系统和方法进行详细描述。
图1示出根据本发明实施例的基于变长索引的备份数据组织系统。如图1所示,备份数据组织系统包括备份数据管理装置、备份数据索引操作装置、备份数据操作装置和数据存储装置。备份数据组织系统通过备份数据管理装置和外部的备份客户端(图1中未示)相连。数据存储装置可以是任意的现有存储设备或者虚拟存储装置。
备份数据管理装置用于接收来自备份客户端的备份、恢复等命令,备份时接收来自备份客户端发送的备份数据和备份数据索引,恢复时根据来自备份数据索引操作装置的备份数据索引而调用备份数据操作装置提取所备份的数据并发送所备份的数据和备份数据索引给备份客户端。备份数据管理装置用于将来自备份客户端的备份数据发送给备份数据操作装置,将来自备份客户端的备份数据索引发送给备份数据索引操作装置。备份数据管理装置还可以根据备份数据索引操作装置所合并的备份数据索引来指示备份数据操作装置完成备份数据的合并。
备份数据索引操作装置接收来自备份数据管理装置的备份数据索引并将其转发给数据存储装置;定时或者实时地接收来自数据存储装置的备份数据索引组织表,对备份数据索引进行合并处理,并将合并后的备份数据索引发送给备份数据管理装置。
备份数据操作装置接收来自备份数据管理装置的备份数据,并将其写入到数据存储装置,将备份数据在数据存储装置上的存储位置通告给备份数据管理装置;接收来自备份数据管理装置的合并后的备份数据索引,根据合并后的备份数据索引和合并前的备份数据索引的逻辑关系,对数据存储装置中的数据进行合并处理。
数据存储装置用于存储备份数据索引和备份数据,根据该备份数据索引和备份数据本地存储的地址及备份数据大小建立本地备份数据索引,本地备份数据索引用于表示备份数据本地存储和备份客户端存储的对应关系,本地备份数据索引的组织结构如下结合图2详细描述。
如图1所示,当接收到来自备份客户端的备份命令时,备份数据管理装置将备份数据传送给备份数据操作装置,该备份命令包含备份数据的地址、数据大小等描述信息(步骤102),由备份数据操作装置将备份数据写入数据存储装置(步骤103),备份数据管理装置将备份数据索引传送给备份数据索引操作装置(步骤101),由备份数据索引操作装置将备份数据索引写入数据存储装置(步骤104)。当进行数据恢复时,备份数据管理装置根据备份客户端发送的恢复命令调用备份数据索引操作装置(步骤109),由备份数据索引操作装置从数据存储装置读取备份数据索引(步骤105),然后备份数据管理装置调用备份数据操作装置(步骤110),由备份数据操作装置从数据存储装置读取备份数据(步骤107)。在进行备份数据定时或者实时合并时,备份数据索引操作装置对备份数据索引进行合并,然后发送给备份数据管理装置(步骤108),然后将合并后的索引发送给备份数据操作装置(步骤110),由备份数据操作装置对备份数据进行合并,然后由备份数据索引管理装置将合并后的备份数据索引写入数据存储装置(步骤104),由备份数据操作装置将合并后的备份数据写入数据存储装置(步骤103)。
图2示出根据本发明实施例的备份数据索引组织表的结构图。数据存储装置在每个备份时间点产生一组备份索引项,称之为备份索引集合,来表示该时间点备份数据的信息和存储位置。如图2所示,该组织结构包括各个时间点的备份索引集合,每个备份索引集合包括多个备份索引项,每个备份索引项对应于数据存储装置中的某个数据仓库的一部分或者全部。该备份索引项被定义为<Start,Length,DepotId,Offset>,其中,每个备份索引项使用Start和Length描述保存在备份客户端中的一段连续的数据块,其中Start表示数据块在备份对象中的起始位置,而Length表示数据块的长度,Start和Length一般采用4个字节来描述,也可以采用诸如8个字节的其他的数据来表示。每个备份索引项使用<DepotId,Offset>来描述备份数据在备份存储介质上的存放位置,在本实施例中表示在数据存储装置中的存放位置,其中DepotId表示数据仓库的编号,Offset表示在该存储仓库中的存放位置,DepotId和Offset可以采用4个字节来描述,通过该描述信息可以定位到备份数据在数据存储装置的存储位置,同样,也可以采用8个字节或者其它数量个字节来表示DepotId和Offset。由于每个备份索引项具有表示数据量大小的数据长度,所以每个备份索引项表示的备份数据量是可以变化的,也就是说,该组织结构用变长来表示备份数据。在图1所示系统中应用时,为建立和调用方便,该组织结构图在数据存储装置中形成并保存。当然可以理解,该组织结构也可以在其他三个装置的任意一个中建立并保存,也可以在其中一个装置中建立并在其中另一个装置中保存而被调用。另外,该备份数据索引的组织结构并不仅仅可以用于本系统,还可以用于其他的数据备份系统和方法的数据索引的组织构建。
图3示出根据本发明的实施例的备份索引项之间的关系。令IndexSet(ti)和IndexSet(tj)分别表示时间点ti和时间点tj的备份索引集合,其中ti<tj。Indexm(ti)(0≤m<M)表示备份索引集合IndexSet(ti)中的第m个备份索引项,M表示IndexSet(ti)中所包含的备份索引项的个数;Indexn(tj)(0≤n<N)表示备份索引集合IndexSet(tj)的第n个索引项,N表示IndexSet(ti)中所包含的备份索引项的个数,令DataBlockm(ti)表示备份索引项Indexm(ti)所表示的备份数据,DataBlockn(tj)表示备份索引项Indexn(tj)所表示的备份数据。
令Indexm(ti)=[a,b],a<=b,Indexn(tj)=[A,B],A<=B,如图3所示,则源区间r=Indexm(ti)相对于目标区间R=Indexn(tj)有以下六种关系:
1、左独立:if(<A),则称源区间r相对于目标区间R左独立,简称左独立;
2、左重叠:if(a<A andA≤bandb≤B),则称源区间r相对于目标区间R左重叠,简称左重叠;
3、重叠:if(a>A and b<B),则称源区间r相对于目标区间R重叠,简称重叠;
4、右重叠:if(a≥A and a≤B and b>B),则称源区间r相对于目标区间R右重叠,简称右重叠;
5、右独立:if(a>B),则称源区间r相对于目标区间R右独立,简称右独立;
6、覆盖:if(a≤A and b≥B),则称源区间r相对于目标区间R满足覆盖关系,简称覆盖。
为操作上的方便,一般将较新时间点的备份索引集合称之为目标区间,而将较旧时间点的备份索引集合称之为源区间。
图4示出根据本发明的实施例的判断两个索引项Indexm(ti)和Indexn(tj)之间关系的逻辑流程图,其中,对于Indexm(ti)和Indexn(tj)中的字符定义与图3中相同,此处不再赘述。具体判断过程如下所述:
步骤401:判断b是否小于A,如果小于,则执行步骤402,否则,执行步骤403;
步骤402:说明索引项Indexm(ti)和Indexn(tj)之间满足左独立关系,执行步骤412;
步骤403:判断a是否大于B,如果大于,则执行步骤404;否则,执行步骤405;
步骤404:说明索引项Indexm(ti)和Indexn(tj)之间满足右独立关系,执行步骤412;
步骤405:判断a是否小于A,如果小于,则执行步骤406,否则,执行步骤409;
步骤406:判断b与B的关系,如果b小于等于B,则执行步骤407;否则执行步骤408;
步骤407:说明索引项Indexm(ti)和Indexn(tj)之间满足左重叠关系,执行步骤412;
步骤408:说明索引项Indexm(ti)和Indexn(tj)之间满足覆盖关系,执行步骤412;
步骤409:判断b与B的关系,如果b小于等于B,则执行步骤410,否则执行步骤411;
步骤410:说明索引项Indexm(ti)和Indexn(tj)之间满足重叠关系,执行步骤412;
步骤411:说明索引项Indexm(ti)和Indexn(tj)之间满足右重叠关系,执行步骤412;
步骤412:结束。
在实现中,对不同版本的备份数据进行合并时,可以对备份数据块不进行移动,也可以对备份数据块进行移动。在本实施例中,对备份数据块进行了合并移动,并存放到新的数据仓库。
图5是根据本发明的实施例的备份数据索引合并和数据合并的流程图。具体步骤如下:
步骤501:判断索引集合IndexSet(ti)和索引集合IndexSet(tj)是否为空,如果全不为空,则执行步骤502,如果索引集合IndexSet(ti)为空,则执行步骤503,如果索引集合IndexSet(tj)为空,则执行步骤504;
步骤502:从索引集合IndexSet(ti)和索引集合IndexSet(tj)中分别取一个索引项Indexm(ti)和索引集合Indexn(tj),然后执行步骤505;
步骤503:读索引集合IndexSet(tj)中剩余的所有索引项,放入新的索引集合,并读取索引项所描述的数据放入新的数据仓库,并修改索引项中的位置描述信息,执行结束;
步骤504:读索引集合IndexSet(ti)中剩余的所有索引项,放入新的索引集合,并读取索引项所描述的数据放入新的数据仓库,并修改索引项中的位置描述信息,执行结束;
步骤505:判断索引项Indexn(ti)和索引项Indexm(ti)之间的关系,如果满足左独立关系,执行步骤506;如果满足左重叠关系,执行步骤509;如果满足重叠关系,执行步骤515;如果满足覆盖关系,执行步骤516;如果满足右重叠关系,执行步骤519;如果满足右独立关系,执行步骤520;
步骤506:将Indexm(ti)索引对应的数据块放入新的数据仓库,修改索引Indexm(ti)中的<DepotId,Offset>信息,将索引项放入新的索引集合;
步骤507:判断索引集合IndexSet(ti)是否还存在未处理的索引项,如果存在,执行步骤508;否则,执行步骤503;
步骤508:从索引集合IndexSet(ti)获取一个索引项Indexm(ti),执行步骤505;
步骤509:读取Indexm(ti)索引所指向的[a,A]区间的数据与Indexn(tj)索引所指向的[A,B]区间的数据,形成一个新的数据项,放入新的数据仓库,修改索引项Indexn(tj)的索引范围为[a,B],并修改索引项中的位置描述信息;
步骤510:索引集合IndexSet(ti)是否还存在未处理的索引项,如果存在,执行步骤511,否则,执行步骤503;
步骤511:从索引集合IndexSet(ti)获取一个索引项Indexm(ti);
步骤512:判断索引项Indexm(ti)的上界是否大于A,如果大于,则执行步骤513,否则执行步骤510;
步骤513:判断索引集合IndexSet(tj)是否还存在未处理的索引项,如果存在,执行步骤514,否则执行步骤504;
步骤514:从索引集合IndexSet(tj)获取一个索引项Indexn(tj),然后执行步骤505;
步骤515:读取Indexn(tj)所指向的数据,放置到新的数据仓库,修改该索引项中的位置描述信息;
步骤516:读取Indexm(ti)索引所指向的[a,A]区间的数据与Indexn(tj)索引所指向的[A,B]区间的数据,形成一个新的数据项,放入新的数据仓库,修改索引项Indexn(tj)的索引范围为[a,B],并修改位置描述信息,将Indexm(ti)所指向的范围修改为[B,b];
步骤517:判断索引集合IndexSet(ti)是否还存在未处理的索引项,如果存在,执行步骤518,否则执行步骤504;
步骤518:从索引集合IndexSet(tj)获取一个索引项Indexn(tj),然后执行步骤505;
步骤519:读取Indexn(tj)索引所指向的数据内容,放入到新的数据仓库,修改该索引的位置描述信息,将Indexm(ti)所指向的范围修改为[B,b],然后执行步骤517;
步骤520:读取Indexn(tj)索引所指向的数据内容,放入到新的数据仓库,修改该索引的位置描述信息,然后执行步骤517。
之后可以删除合并前的备份数据索引集合和备份数据块。
通过结合附图的上述实施例的描述,本领域内的普通技术人员可以理解,该系统和方法能够以实施例描述的方法实现,也可以在现有的计算处理设备中实现。而且可以看出,该备份数据索引的组织结构和备份数据索引项的逻辑关系判断、合并方法以及备份数据的合并方法可以不依赖于图1所述的系统,可以在现有的备份系统中构建该备份数据索引的组织结构,并实现备份数据索引项的逻辑关系判断、合并方法以及备份数据的合并方法。
本发明通过该备份数据组织系统和方法可以实现对备份点密集的海量备份数据的高效管理,有效平衡存储空间开销和时间开销,支持实现海量数据快速恢复,降低RTO,满足信息化系统对RTO越来越高的要求。
最后应说明的是,以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制,本发明在应用上可以延伸为其他的修改、变化、应用和实施例,并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (13)

1、一种备份数据的组织系统,包括:
备份数据管理装置、备份数据索引操作装置、备份数据操作装置和数据存储装置,所述备份数据管理装置和备份客户端相连;
其中,所述备份数据管理装置用于接收来自备份客户端的备份命令、备份数据和备份数据索引,将所述备份数据发送给所述备份数据操作装置,将所述备份数据索引发送给所述备份数据索引操作装置;所述备份数据操作装置接收来自所述备份数据管理装置的备份数据并将其写入所述数据存储装置,将备份数据在数据存储装置上的存储位置通告给备份数据管理装置;所述备份数据索引操作装置接收来自所述备份数据管理装置的备份数据索引并将其转发给所述数据存储装置;所述数据存储装置用于存储来自所述备份数据索引操作装置的备份数据索引和来自所述备份数据操作装置的备份数据,根据所述备份数据索引和备份数据的本地存储地址及备份数据大小建立表示本地存储和备份客户端存储的备份数据索引组织表。
2、权利要求1所述的组织系统,其中,所述备份数据管理装置,用于接收来自备份客户端的恢复命令,根据来自所述备份数据索引操作装置的备份数据索引组织表,调用所述备份数据操作装置提取所备份的数据并与所述备份数据索引一起发送给所述备份客户端。
3、权利要求1所述的组织系统,其中,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于所述数据存储装置中的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节。
4、权利要求3所述的组织系统,其中,所述备份数据索引操作装置接收来自所述数据存储装置的所述备份数据索引组织表,确定不同时间点的备份数据索引项的逻辑关系,定时或者实时地对备份数据索引进行合并处理,将所述逻辑关系发送给所述备份数据管理装置。
5、权利要求4所述的组织系统,其中,所述备份数据操作装置接收来自所述备份数据管理装置的所述逻辑关系,对所述数据存储装置中的备份数据进行合并处理。
6、权利要求4所述的组织系统,其中,所述备份数据索引操作装置比较不同时间点的备份索引集合中的备份索引项在数据仓库中的对应的起点和终点,将表示同一部分数据块的备份索引项进行合并,将合并后的备份索引项放入新的备份索引集合中。
7、权利要求5所述的组织系统,其中,所述备份数据操作装置根据所述逻辑关系,将具有相同索引信息的数据块合并,形成新的数据块。
8、一种备份数据的备份方法,包括,备份数据索引组织表,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于保存备份数据的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节;所述方法包括:
步骤10)、接收备份命令、备份数据和备份数据索引,保存所述备份数据;
步骤20)、根据所述备份数据索引和所述备份数据的本地存储地址及备份数据大小建立表示本地存储和备份客户端存储的备份数据索引组织表。
9、一种备份数据的合并方法,包括,备份数据索引组织表,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于保存备份数据的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节;所述方法包括:
步骤10)、根据备份数据索引组织表,确定不同时间点的备份数据索引项的逻辑关系,对备份数据索引进行合并处理,修改所述备份数据索引组织表中的备份索引集合。
10、权利要求9所述的方法,还包括:
步骤20)、根据所述逻辑关系,对所述数据仓库中的备份数据进行合并处理。
11、权利要求9所述的方法,其中,所述不同时间点的备份数据索引项的逻辑关系包括左独立、左重叠、重叠、右重叠、右独立和覆盖;
其中,设定IndexSet(ti)和IndexSet(tj)分别表示时间点ti和时间点tj的备份索引集合,ti<tj,Indexm(ti)=[a,b],a<=b,Indexn(tj)=[A,B],A<=B;
如果(b<A),则Indexm(ti)相对于Indexn(tj)左独立;
如果(a<A且A≤b且b≤B),则Indexm(ti)相对于Indexn(tj)左重叠;
如果(a>A且b<B),则称Indexm(ti)r相对于Indexn(tj)重叠;
如果(a≥A且a≤B且b>B),则称Indexm(ti)相对于Indexn(tj)右重叠;
如果(a>B),则称Indexm(ti)相对于Indexn(tj)右独立;
如果(a≤A且b≥B),则称Indexm(ti)r相对于Indexn(tj)覆盖。
12、权利要求10的方法,其中,所述步骤20)包括:
比较不同时间点的备份索引集合中的备份索引项在数据仓库中的对应的起点和终点,将表示同一部分数据块的备份索引项进行合并,将合并后的备份索引项放入新的备份索引集合中;
将具有相同索引信息的数据块合并,形成新的数据块。
13、一种备份数据的恢复方法,包括,备份数据索引组织表,所述备份数据索引组织表包括在各个备份时间点产生的多个备份索引集合,所述每个备份索引集合包括多个备份索引项,所述每个备份索引项对应于保存备份数据的数据仓库;所述备份索引项被定义为<Start,Length,DepotId,Offset>,其中,Start表示备份数据块在备份客户端中备份对象的起始位置,Length表示所述备份数据块的长度,DepotId表示所述数据仓库的编号,Offset表示所述备份数据块在所述存储仓库中的存放位置,其中,所述Start、Length、DepotId和Offse是四个字节或者更多个字节;所述方法包括:
接收恢复命令,根据备份数据索引组织表,提取所备份的数据并与所述备份数据索引一起发送给备份客户端。
CN2009100890587A 2009-07-22 2009-07-22 一种备份数据的组织系统和方法 Expired - Fee Related CN101599080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100890587A CN101599080B (zh) 2009-07-22 2009-07-22 一种备份数据的组织系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100890587A CN101599080B (zh) 2009-07-22 2009-07-22 一种备份数据的组织系统和方法

Publications (2)

Publication Number Publication Date
CN101599080A true CN101599080A (zh) 2009-12-09
CN101599080B CN101599080B (zh) 2011-06-29

Family

ID=41420528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100890587A Expired - Fee Related CN101599080B (zh) 2009-07-22 2009-07-22 一种备份数据的组织系统和方法

Country Status (1)

Country Link
CN (1) CN101599080B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866358A (zh) * 2010-06-12 2010-10-20 中国科学院计算技术研究所 一种多维区间查询方法及系统
CN102314383A (zh) * 2011-09-28 2012-01-11 成都市华为赛门铁克科技有限公司 数据索引的故障恢复方法和装置
CN102314503A (zh) * 2011-09-01 2012-01-11 浪潮(北京)电子信息产业有限公司 一种索引方法
CN102523267A (zh) * 2011-12-08 2012-06-27 华中科技大学 云备份系统和云备份方法
CN102929976A (zh) * 2012-10-17 2013-02-13 华为技术有限公司 备份数据访问方法及装置
CN103177112A (zh) * 2013-04-02 2013-06-26 浪潮电子信息产业股份有限公司 一种备份文件浏览系统
CN107451176A (zh) * 2016-05-30 2017-12-08 恩芬森株式会社 数据复制方法及其装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716171B2 (en) * 2005-08-18 2010-05-11 Emc Corporation Snapshot indexing
US20070043705A1 (en) * 2005-08-18 2007-02-22 Emc Corporation Searchable backups

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866358A (zh) * 2010-06-12 2010-10-20 中国科学院计算技术研究所 一种多维区间查询方法及系统
CN101866358B (zh) * 2010-06-12 2012-09-05 中国科学院计算技术研究所 一种多维区间查询方法及系统
CN102314503A (zh) * 2011-09-01 2012-01-11 浪潮(北京)电子信息产业有限公司 一种索引方法
CN102314383A (zh) * 2011-09-28 2012-01-11 成都市华为赛门铁克科技有限公司 数据索引的故障恢复方法和装置
CN102314383B (zh) * 2011-09-28 2013-12-04 华为数字技术(成都)有限公司 数据索引的故障恢复方法和装置
CN102523267A (zh) * 2011-12-08 2012-06-27 华中科技大学 云备份系统和云备份方法
CN102929976A (zh) * 2012-10-17 2013-02-13 华为技术有限公司 备份数据访问方法及装置
CN102929976B (zh) * 2012-10-17 2016-06-15 华为技术有限公司 备份数据访问方法及装置
CN103177112A (zh) * 2013-04-02 2013-06-26 浪潮电子信息产业股份有限公司 一种备份文件浏览系统
CN107451176A (zh) * 2016-05-30 2017-12-08 恩芬森株式会社 数据复制方法及其装置

Also Published As

Publication number Publication date
CN101599080B (zh) 2011-06-29

Similar Documents

Publication Publication Date Title
CN101599080B (zh) 一种备份数据的组织系统和方法
US10956364B2 (en) Efficient data synchronization for storage containers
US10175894B1 (en) Method for populating a cache index on a deduplicated storage system
CN101814045B (zh) 一种用于备份服务的数据组织方法
CN105224478B (zh) 一种映射表的形成、更新和恢复方法及电子设备
EP3101545B1 (en) System and method for generating backups of a protected system from a recovery system
US7681001B2 (en) Storage system
WO1998020419B1 (en) System and method for maintaining a logically consistent backup using minimal data transfer
JPH0715664B2 (ja) データ・セツト回復方法
CN100465899C (zh) 基于虚拟内核对象的Linux程序检查点用户级实现方法
CN109144416B (zh) 查询数据的方法和装置
CN102750201A (zh) 计算机系统及其备份方法
CN105808449B (zh) 一种用于虚拟机的虚拟存储映像版本管理方法和系统
CA2608282A1 (en) Secure storage management system and method
CN110196818A (zh) 缓存数据的方法、缓存设备和存储系统
Strzelczak et al. Concurrent Deletion in a Distributed {Content-Addressable} Storage System with Global Deduplication
CN109558213A (zh) 管理OpenStack平台的虚拟机快照的方法和装置
CN106155838A (zh) 一种数据库备份数据恢复方法及装置
CN103197987A (zh) 一种数据备份的方法、数据恢复的方法及系统
WO2007099636A1 (ja) ファイルシステム移行方法、ファイルシステム移行プログラム及びファイルシステム移行装置
CN102073690A (zh) 一种支持历史Key信息的内存数据库
CN105022676A (zh) 一种内存数据库重做日志文件的恢复方法和装置
CN113641446A (zh) 内存快照创建方法、装置、设备及可读存储介质
US9798793B1 (en) Method for recovering an index on a deduplicated storage system
CN101604269B (zh) 一种备份数据的管理系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: YANTAI ZHONGKE NETWORK TECHNOLOGY INSTITUTE

Free format text: FORMER OWNER: INSTITUTE OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCES

Effective date: 20140408

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100190 HAIDIAN, BEIJING TO: 264003 YANTAI, SHANDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20140408

Address after: 264003, Blue Ocean International Software Park, No. 1 Blue Sea Road, Yantai, Shandong

Patentee after: YANTAI BRANCH, INSTITUTE OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCE

Address before: 100190 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No.

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110629

Termination date: 20210722