CN101216790A - 一种与源结构无关的备份数据共享存储方法 - Google Patents

一种与源结构无关的备份数据共享存储方法 Download PDF

Info

Publication number
CN101216790A
CN101216790A CNA2008100452075A CN200810045207A CN101216790A CN 101216790 A CN101216790 A CN 101216790A CN A2008100452075 A CNA2008100452075 A CN A2008100452075A CN 200810045207 A CN200810045207 A CN 200810045207A CN 101216790 A CN101216790 A CN 101216790A
Authority
CN
China
Prior art keywords
backup
backup data
user
record
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008100452075A
Other languages
English (en)
Inventor
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Gerite Technology Co., Ltd.
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CNA2008100452075A priority Critical patent/CN101216790A/zh
Publication of CN101216790A publication Critical patent/CN101216790A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种与源结构无关的备份数据共享存储方法,属于信息安全领域。本发明通过备份数据封装、存储空间动态分配等技术实现了多个用户、多个备份任务的备份数据在共享的存储空间内存储,备份中心与备份源数据存储结构无关,为所有用户共享使用,极大地提高了系统资源的使用效率,节约了灾备系统的建设成本,具有广阔的应用前景。

Description

一种与源结构无关的备份数据共享存储方法
技术领域
本发明提出了一种与源结构无关的备份数据共享存储方法,属于信息安全领域。
背景技术
现有的备份技术需要在远程备份中心部署相同或相近的系统,采用独占方式,与备份数据结构直接相关。如在本地数据中心的一个Oracle数据库系统,在远程备份中心同样也需要部署一个Oracle数据库系统,这样才能实现Oracle数据库的备份工作,这造成了远程备份中心的存储与源数据结构相关,造成了软硬件资源的极大浪费,加大了备份系统的建设和运营成本。
中国专利号为ZL02153973.1的专利是基于卷的备份,可实现数据备份,需要为每个备份任务分配对称的卷存储空间,源系统与备份系统结构相关,造成了存储资源、计算资源的巨大浪费。
针对上述缺陷,本发明提出了一种与源结构无关的备份数据共享存储方法,通过备份数据封装,屏蔽了备份数据源的结构特征,支持Windows、Unix、Linux以及Oracle、SQLServer、DB2、MySQL、Sybase等主流操作系统和数据库平台的备份数据存储,支持多个备份任务共享一个存储平台,突破了传统容灾抗毁系统备份中心仅能供单一任务独占使用这一显著缺陷,极大地提高了系统资源的使用效率,具有广阔的应用前景。
发明内容
定义1:系统用户表USER,用来记录用户信息,其中每个元素包含以下两个部分:
1)用户标识符UID:字符串,唯一标识每个用户。
2)备份任务指TP:字符串,指向用户备份任务表TASKS(详细描述请参见定义2)。
定义2:用户备份任务表TASKS,用于记录系统中用户拥有的所有备份任务信息,其每个元素包含以下两部分:
1)备份任务标识符TID:字符串,唯一标识用户的一个备份任务。
2)备份任务存储索引表指针AP:字符串,指向该任务的备份任务存储索引表TADDR(详细描述请参见定义3)。
定义3:备份任务存储索引表TADDR,用于记录备份数据的存放位置,其每个元素包括以下两部分:
1)数据源偏移量offset:整数,描述此备份数据在数据源中的存放位置。
2)备份数据存储地址addr:整数,描述此备份数据在备份数据存储器中的存放位置。
定义4:备份数据记录R,描述用户备份任务产生的备份数据,包含四个字段,具体描述如下:
1)用户标识符UID:字符串,标识产生此备份数据的备份任务所属的用户。
2)任务标识符TID:字符串,标识产生此备份数据的备份任务。
3)数据源偏移量offset:整数,描述此备份数据在数据源中的存放位置。
4)备份数据data:二进制串,记录需要备份的数据。
定义5:备份数据存储器S,为一线性存储器,可以是文件、数据库等,用来存放备份中心所有用户的所有备份任务的备份数据。
本发明包括分配存储空间、存储备份数据、读取备份数据和删除备份数据等4个部分。通过将备份数据封装为备份记录R,在备份数据存储时采用统一的数据格式,并在共享的存储空间内存储备份数据,实现了一种与源结构无关的备份数据共享存储方法。在备份数据存储时,首先解析出备份数据R中的UID、TID、offset、data;通过UID,找到用户备份任务表,通过TID,找到备份任务存储索引表,通过offset,找到data在备份数据存储器中的存放位置addr,最后将data存储到备份数据存储器。当需要读取数据的时候,根据UID,TID,offset得到备份数据在备份数据存储器中的存放位置addr,读取addr指向的存储单元,得到备份数据data。
当创建一个新用户时,首先在系统用户表中新增一条记录,设置备份任务指针TP指向新创建的用户备份任务表,然后为该用户创建一个新任务,设置备份数据存储索引表指针AP指向新创建的备份数据存储索引表,接着在备份数据存储索引表中保存备份记录的offset和为该备份记录分配的存储单元的地址addr,最后保存data到备份数据存储器。
当删除一个用户时,首先释放该用户每个任务对应的存储资源,然后释放每个任务对应的存储索引表,然后删除用户备份任务表,最后在系统用户表中删除该用户对应的记录。
附图说明
图1是与源数据结构无关的备份数据共享存储方法的工作原理图。
图2是分配存储空间的步骤。
图3是存储备份数据的步骤。
图4是读取备份数据的步骤。
图5是删除备份数据的步骤。
具体实施方式
以下结合附图详细说明本发明的具体方法。
图1是与源数据结构无关的的备份数据共享存储方法的工作原理图。
如图1所示,本发明通过将备份数据封装为统一的存储格式,屏蔽了备份数据源的结构特征,多个备份任务的备份数据可以共享存储资源,从而实现了一种与源结构无关的备份数据共享存储方法。
当需要存储备份记录R时,首先解析R包含的字段,得到UID、TID、offset、data,然后进行备份数据IO寻址:利用UID查询系统用户表USER,得到用户备份任务表TASKS;通过TID,得到备份任务存储索引表TADDR;通过offset,得到备份数据在备份数据缓存器中的存储地址addr;最后在备份数据缓存器中addr的位置保存数据data。当没有满足存储备份记录R的存储空间时,需要进行存储空间分配。存储空间分配可增加一个记录、一个任务或一个用户。
当需要读取备份数据时,只需提供UID,TID,offset,通过UID,找到用户备份任务表,通过TID,找到备份任务存储索引表,通过offset,得到备份数据存储器中的存放位置addr,最后读出data。
当需要删除备份数据的时候,需要进行存储空间的回收,删除时可以删除一个记录、一个任务或一个用户。删除一个用户时,首先找到这个用户对应的所有任务,然后释放每个任务对应的所有存储单元,接着删除每个任务对应的备份任务存储索引表,再删除该用户对应的备份任务表,最后在系统用户表中删除该用户对应的记录。
具体地,本发明包含以下几个步骤:
1)分配存储空间的步骤;
2)存储备份数据的步骤;
3)读取备份数据的步骤;
4)删除备份数据的步骤。
图2是分配存储空间的步骤。
图2给出了分配存储空间的具体方法。可根据需要,增加一个备份记录、一个备份任务,或者增加一个用户。具体步骤如下:
(1)增加一个用户的步骤:首先创建TASKS表,接着创建USER表的记录<UID,TP>,最后将<UID,TP>添加到系统用户表USER中。具体包括以下步骤:
1)创建用户备份任务表的步骤:在系统中创建用户备份任务表,用来存放用户的备份任务信息;
2)创建系统用户表记录的步骤:创建一条系统用户表的记录<UID,TP>,其中UID为新添加的用户标识符,TP为指向在1)中创建的用户备份任务表的指针;
3)添加用户记录的步骤:将2)中构建的用户记录添加到系统用户表中。(2)增加一个备份任务的步骤:首先创建TADDR表,接着创建TASKS表的记录<TID,AP>,最后将<TID,AP>添加到用户备份任务表。具体包括以下步骤:
1)创建备份任务存储索引表的步骤:在系统中创建备份任务存储索引表;
2)创建用户备份任务表记录的步骤:创建用户备份任务表记录<TID,AP>,其中TID为新增任务的标识符,AP为指向1)创建的备份任务存储索引表的指针;
3)添加备份任务记录的步骤:将2)中创建的备份任务记录<TID,AP>添加到用户的备份任务表中。
(3)增加一个备份数据记录的步骤:为新的备份数据记录在备份数据存储器中分配存储空间,并把数据存储到新分配的存储空间中。具体包括以下步骤:
1)申请存储空间的步骤:向备份数据存储器提出存储资源分配请求,接受系统分配的存储资源;
2)数据存储的步骤:将数据data存放到1)分配的存储空间;
3)创建备份任务存储索引表的记录的步骤:创建备份任务存储索表的记录<offset,addr>,其中offset与R中保存的offset相等,addr为3)分配的存储空间的地址;
4)添加备份任务存储索引表记录的步骤:将3)创建的记录<offset,addr>添加到备份任务数据存储索引表中。
图3是存储备份数据的步骤。
图3给出了存放备份数据的方法。首先解析备份数据记录,得到备份数据描述信息,判断是否能够得到对应的存储单元地址addr,如果能够得到,则将备份数据存入对应的存储单元,否则,执行分配存储空间操作,增加一个备份数据记录。具体步骤如下:
(1)解析备份数据记录的步骤:从备份数据记录中,解析出UID,TID,offset,data;
(2)判断是否存在该备份数据记录的步骤:根据UID,TID,offset,通过IO寻址在相应的备份任务存储索引表TADDR中查找是否有该条记录,如果有,则进行下一步,更新相应的备份数据,否则转(4),增加一个备份数据记录;
(3)更新备份数据记录的步骤:用(1)得到的备份数据data更新相应的存储单元;
(4)增加一个备份数据记录的步骤:当备份数据记录不存在时,调用分配存储空间的步骤中的增加一个备份数据记录的步骤,在备份数据存储器中增添一条备份数据记录。
图4是读取备份数据的步骤。
图4给出了读取备份数据的具体方法。在读取备份数据时,需要提供UID,TID,offset,通过在相应的备份任务存储索引表TADDR中查找是否有该条记录,如果出现寻址异常,则报错,否则该条记录中备份存储地址指向的存储单元内的备份数据。具体步骤如下:
(1)判断存储单元地址是否有效的步骤:根据UID,TID,offset,通过在相应的备份任务存储索引表TADDR中查找是否有该条记录,如果没有,则报错退出,否则进行下一步;
(2)读取备份数据的步骤:在备份数据存储器中相应存储单元读取相应的备份数据。
图5是删除备份数据的步骤。
图5描述了删除备份数据的方法。在需要删除备份数据时,通过提供备份数据的UID,TID,offset等信息,实现删除备份数据记录、删除指定备份任务和删除指定用户并释放相应的存储资源,具体包括以下步骤:
(1)删除备份数据记录的步骤:
1)判断存储单元地址是否有效的步骤:根据UID,TID,offset,在相应的备份任务存储索引表TADDR中查找是否有该条记录,如果没有,则报错退出,否则进行下一步;
2)释放存储空间的步骤:在备份数据存储器中释放存储该备份数据的存储单元;
3)删除备份任务存储索引表记录的步骤:释放备份任务存储索引表中offset所占用的记录。
(2)删除备份任务的步骤:首先得到记录备份任务数据存储信息的TADDR表,接着释放由TADDR中每条记录的addr字段指向的存储单元,然后删除TADDR表,最后从用户备份任务表中删除该备份任务的记录。具体步骤如下:
1)得到备份任务存储索引表的步骤:根据待删除任务的AP指针,得到备份任务存储索引表;
2)删除所有备份数据记录的步骤:方法为对备份任务存储索引表中的所有备份记录,逐一执行删除备份数据记录的步骤;
3)删除备份任务存储索引表的步骤:删除1)得到的备份任务存储索引表;
4)删除用户任务表中的备份任务记录的步骤:从用户备份任务表表中删除描述该备份任务的记录。
(3)删除用户的步骤:首先删除用户的所有备份任务,然后从系统用户表中删除该用户的记录,具体步骤如下:
1)获取用户备份任务表的步骤:根据用户记录中的TP指针得到用户的备份任务表;
2)删除所有备份任务的步骤:方法为对用户备份任务表中的所有备份任务,逐一执行删除备份任务的步骤;
3)删除备份任务表的步骤:删除1)得到的备份任务表;
4)删除用户记录的步骤:从系统用户表中删除用户的记录。

Claims (1)

1.一种与源结构无关的备份数据共享存储方法,其特征在于定义如下的四种结构,包括:
1)系统用户表,该表中的每个元素包括用户标识符和备份任务指针;
2)用户备份任务表,该表中的每个元素包括备份任务标识符和备份数据存储索引表指针;
3)备份任务存储索引表,该表中的每个元素包括数据源偏移量和备份数据存储地址;
4)备份数据记录,包括用户标识符,任务标识符,数据源偏移量,备份数据;
与源结构无关的备份数据共享存储方法包括以下步骤:分配存储空间的步骤;存储备份数据的步骤;读取备份数据的步骤,删除备份数据的步骤;其中:
分配存储空间的步骤,包括以下步骤:
1)增加一个用户的步骤,包括以下步骤:
①创建用户备份任务表的步骤;
②创建系统用户表记录的步骤;
③添加用户记录的步骤;
2)增加一个备份任务的步骤,包括以下步骤:
①创建备份任务存储索引表的步骤;
②创建用户备份任务表记录的步骤;
③添加备份任务记录的步骤;
3)增加一个备份数据记录的步骤,包括以下步骤:
①申请存储空间的步骤;
②数据存储的步骤;
③创建备份任务存储索引表的记录的步骤;
④添加备份任务存储索引表记录的步骤;
存储备份数据的步骤,包括以下步骤:
1)解析备份数据记录的步骤;
2)判断是否存在该备份数据记录的步骤;
3)更新备份数据记录的步骤;
4)增加一个备份数据记录的步骤;
读取备份数据的步骤,包括以下步骤:
1)判断存储单元地址是否有效的步骤;
2)读取备份数据的步骤;
删除备份数据的步骤,包括以下步骤:
1)删除备份数据记录的步骤,包括以下步骤:
①判断存储单元地址是否有效的步骤;
②释放存储空间的步骤;
③删除备份任务存储索引表记录的步骤;
2)删除备份任务的步骤,包括以下步骤:
①得到备份任务存储索引表的步骤;
②删除所有备份数据记录的步骤;
③删除备份任务存储索引表的步骤;
④删除用户任务表中的备份任务记录的步骤;
3)删除用户的步骤,包括以下步骤:
①获取用户备份任务表的步骤;
②删除所有备份任务的步骤;
③删除备份任务表的步骤;
④删除用户记录的步骤。
CNA2008100452075A 2008-01-17 2008-01-17 一种与源结构无关的备份数据共享存储方法 Pending CN101216790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2008100452075A CN101216790A (zh) 2008-01-17 2008-01-17 一种与源结构无关的备份数据共享存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008100452075A CN101216790A (zh) 2008-01-17 2008-01-17 一种与源结构无关的备份数据共享存储方法

Publications (1)

Publication Number Publication Date
CN101216790A true CN101216790A (zh) 2008-07-09

Family

ID=39623226

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008100452075A Pending CN101216790A (zh) 2008-01-17 2008-01-17 一种与源结构无关的备份数据共享存储方法

Country Status (1)

Country Link
CN (1) CN101216790A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130960A (zh) * 2011-03-23 2011-07-20 华为技术有限公司 一种媒体流化的方法和媒体控制器
CN101763310B (zh) * 2008-12-23 2013-10-23 康佳集团股份有限公司 数据存储控制方法
CN103714448A (zh) * 2012-09-29 2014-04-09 镇江金软计算机科技有限责任公司 一种数据转移及备份方法
CN106407050A (zh) * 2016-10-20 2017-02-15 厦门科华恒盛股份有限公司 一种数据存储方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763310B (zh) * 2008-12-23 2013-10-23 康佳集团股份有限公司 数据存储控制方法
CN102130960A (zh) * 2011-03-23 2011-07-20 华为技术有限公司 一种媒体流化的方法和媒体控制器
US9491212B2 (en) 2011-03-23 2016-11-08 Huawei Technologies Co., Ltd. Method for streaming media and media controller
CN103714448A (zh) * 2012-09-29 2014-04-09 镇江金软计算机科技有限责任公司 一种数据转移及备份方法
CN106407050A (zh) * 2016-10-20 2017-02-15 厦门科华恒盛股份有限公司 一种数据存储方法
CN106407050B (zh) * 2016-10-20 2020-11-10 科华恒盛股份有限公司 一种数据存储方法

Similar Documents

Publication Publication Date Title
CN102158546B (zh) 一种集群文件系统及其文件服务方法
CN105549905B (zh) 一种多虚拟机访问分布式对象存储系统的方法
CN101997918B (zh) 异构san环境中的海量存储资源按需分配的实现方法
CN102331993B (zh) 分布式数据库的数据迁移方法和分布式数据库迁移系统
CN106708427A (zh) 一种适用于键值对数据的存储方法
CN105930387A (zh) 一种基于数据路由、分库分表的数据操作系统及方法
CN103116627B (zh) 一种高并发soa技术访问数据库的方法和系统
CN101986649B (zh) 应用于电信行业计费系统的共享数据中心
CN101203019B (zh) 通讯设备逻辑地址与物理地址的互换方法及装置
CN101944114A (zh) 内存数据库和物理数据库间的数据同步方法
CN107256196A (zh) 基于闪存阵列的支持零拷贝的缓存系统及方法
CN102314375A (zh) 一种异构数据库存储统一接口和数据库访问方法
CN103853714A (zh) 一种数据处理方法和装置
CN105808449A (zh) 一种用于虚拟机的虚拟存储映像版本管理方法和系统
CN101887388A (zh) 基于内存数据库的数据备份系统和方法
CN102033930A (zh) 分布式内存数据库系统
CN102779138A (zh) 实时数据的硬盘存取方法
CN103051671A (zh) 一种集群文件系统重复数据删除方法
CN107832423A (zh) 一种用于分布式文件系统的文件读写方法
CN103886104A (zh) 一种适用于电力系统的分布式实时数据库管理系统及实现方法
CN103916467A (zh) 一种元数据集群中负载转移方法及系统
CN106682110A (zh) 一种基于哈希格网索引的影像文件存储和管理系统及方法
CN103049224A (zh) 将数据导入物理磁带的方法、装置和系统
CN105608126A (zh) 一种建立海量数据库二级索引的方法和装置
CN101216790A (zh) 一种与源结构无关的备份数据共享存储方法

Legal Events

Date Code Title Description
C57 Notification of unclear or unknown address
DD01 Delivery of document by public notice

Addressee: Li Tao

Document name: Notification of Passing Preliminary Examination of the Application for Invention

C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SICHUAN GREAT TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SICHUAN UNIVERSITY

Effective date: 20100513

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 610065 NO.24, SOUTH 1ST SECTION, 1ST RING ROAD, CHENGDU CITY, SICHUAN PROVINCE TO: 610041 2/F, COMPLEX BUILDING (FACING THE STREET), CHENGDU KEHUA MIDDLE ROAD PRIMARY SCHOOL, NO.2, CHANGSHOU ROAD, WUHOU DISTRICT, CHENGDU CITY

TA01 Transfer of patent application right

Effective date of registration: 20100513

Address after: 610041, Wuhou District, Changshou Road, Chengdu No. 2 Chengdu KELONG Road Primary School Street building two floor

Applicant after: Sichuan Gerite Technology Co., Ltd.

Address before: 610065 Sichuan, Chengdu, South Ring Road, No. 1, No. 24

Applicant before: Sichuan University

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080709