CN101064730A - 计算机网络数据文件本地和远程的备份方法 - Google Patents

计算机网络数据文件本地和远程的备份方法 Download PDF

Info

Publication number
CN101064730A
CN101064730A CN 200610116304 CN200610116304A CN101064730A CN 101064730 A CN101064730 A CN 101064730A CN 200610116304 CN200610116304 CN 200610116304 CN 200610116304 A CN200610116304 A CN 200610116304A CN 101064730 A CN101064730 A CN 101064730A
Authority
CN
China
Prior art keywords
file
backup
data
time point
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200610116304
Other languages
English (en)
Inventor
邹恒明
陈惟康
姚琪
邱丽琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN 200610116304 priority Critical patent/CN101064730A/zh
Publication of CN101064730A publication Critical patent/CN101064730A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明涉及一种网络信息技术领域的计算机网络数据文件本地和远程的备份方法。本发明完全备份时利用已有备份数据合成新备份来满足用户完全备份的需求,既保证了所有数据的备份又提供了一个快捷的“完全备份”方法;远程备份时只传输生成新的备份文件所需的增量数据块至远端;采用增量备份方法的增量提取办法来生成差分备份所需要的数据,然后再利用上一次备份的差分数据合成新的差分备份。本发明在已有的增量备份和差分备份的基础上,克服了以往备份系统完全备份速度慢、远程备份网络传输量大的缺点。

Description

计算机网络数据文件本地和远程的备份方法
技术领域
本发明涉及的是一种用于网络信息技术领域的方法,具体地说是一种计算机网络数据文件本地和远程的备份方法。
背景技术
在数据备份/恢复系统中,备份方法确定了系统在什么时候对数据进行备份以及需要备份的内容有哪些,它不仅决定了系统对数据的备份效率也影响着系统对备份文件进行恢复的效率。
经对现有技术的文献检索发现,耿煜在《华中电力》2005 Vol.18 No.5上发表的文章“计算机系统数据备份机制与策略”,其中总结目前已知的备份方法主要有以下几种:
(1)完全备份(Full Backup):备份文件包含所有的档案资料,在每个备份时间点都对需要备份的数据文件进行完全备份,每次都生成一份所有数据的拷贝。其优点:恢复方便快捷:只需备份时间点的那一份数据即可恢复所有数据。其缺点:备份时消耗的时间过长、占用大量的存储空间并且可能存储了很多相同的数据。
(2)增量备份(Incremental Backup):在完全备份的基础上每个备份时间点都只备份上一次备份以来更新的数据(增量数据),当需要恢复至某一备份时间点A时系统要从该时间点之前最近一次的完全备份开始恢复,然后依次恢复每一次增量数据直至时间点A的增量数据被恢复才算完成所有数据的恢复。其优点:备份时间短,数据的提取量最小,节省备份文件的存储空间;缺点:恢复步骤较为繁琐,且每份备份文件都依赖之前的所有备份,其中一份文件损坏都会造成之后备份的所有文件失效。
(3)差分备份(Differential Backup):在完全备份的基础上每个备份时间点都只备份每个数据文件较上次完全备份所更新的部分(差分数据),当需要恢复至某一备份时间点A时系统先恢复该时间点之前最近一次的完全备份,然后再恢复时间点A的差分数据即可完成所有数据的恢复。其优点:备份时间短,节省备份文件的存储空间,恢复步骤比较简单;缺点:每次备份时的差分数据可能包含大量相同数据,提取差分数据时可能进行重复数据的提取工作。
在实际应用的以上三种方法还存在以下缺陷:
(1)已知的备份方法都依赖于完全备份,而对于需要备份数据量较大的用户,经常的进行完全备份需要花费大量时间而且往往需要暂停系统工作来保证备份前后的数据一致性,因而导致用户无法正常使用系统而遭受大量损失。
(2)当用户需要进行数据的远程备份时,按照已知的备份方法备份系统要对备份数据的整个文件进行传输,当文件较大时备份系统对网络资源的消耗过大造成整个系统的网络堵塞使得系统备份效率极低,而且大数据量的传输增大了数据丢失的概率。
发明内容
本发明的目的在于克服现有技术中的不足,提出一种计算机网络数据文件本地和远程的备份方法,使其基于增量差分的在已有的增量备份和差分备份的基础上,克服了以往备份系统完全备份速度慢、远程备份网络传输量大的缺点。
本发明是通过以下技术方案实现的:
本发明提出的计算机网络数据文件本地的备份方法,具体步骤如下:
(1)按照由用户确定的所有需要备份的文件的列表L,该列表中的数据项均指向当前正在使用的数据文件(即需要备份的文件);
(2)在时间点T0对L、中所列举的所有文件进行第一次完全备份,得到备份文件集合B={F0、F1……Fn},备份方法与已知的完全备份方法相同,即文件的完全拷贝;
(3)在时间点T1将时间段T0-T1中被修改过的所有文件(关于文件是否被修改过的检测可以采用现已知的通用办法)增量提取,得到需要备份的文件与时间点T0的完全备份B中对应文件的差分文件,生成差分文件集合D1={d10、d11……d1m}(m小于等于需要备份的文件总数),作为时间点T1的差分备份;
(4)生成一张备份文件列表L1,该表中记录了L中文件的修改情况,其数据项与B中的文件一一对应;
(5)在剩下的所有时间点Ti(1<i≤n)参照步骤(3)生成Di,作为时间点Ti的差分备份;
(6)根据步骤(5)修改Li-1,生成新的备份文件列表Li(Li-1不变);
(7)在下一备份周期的第一个时间点T0进行完全备份生成,生成该时间点的完全备份;
(8)时间点T1-Tn的备份步骤与步骤(2)-(7)相同。
本发明提出的计算机网络数据文件远程的备份方法,具体步骤如下:
a.本地端在时间点T0将“本地备份”执行至步骤(2)时生成的完全备份文件集合B={F0、F1……Fn}通过传送到远端;
b.本地端在时间点T1进行增量提取,得到时间点T1需要备份的所有数据文件集合F1i’与B中相应的文件Fi的增量信息,然后通过网络将该增量信息发送至远端;
c.远端收到所有文件的增量信息后将其保存为差分文件集合D1={d10、d11……d1m}(m小于等于需要备份的文件总数),作为时间点T1的远端差分备份。
d.远端生成一张远端备份文件列表RL1,该列表与L1基本相同,只是其中数据项所指示的文件获取方式对应于远端文件;
e.本地端在剩下的任意时间点Ti(1<i≤n)进行增量提取,得到时间点Ti需要备份的所有数据文件集合Fij’与时间点Ti-1时的相应文件的增量信息,然后通过网络将该增量信息发送至远端;
f.远端收到所有文件的增量信息后进行文件生成,将RLi-1中标识的相应的文件合并生成临时文件集合Temp={ti0、ti1……tim}(m≤n),Temp中的任一文件均与当前用户正在使用的需要备份的数据文件一致;
此步骤f中,所述的文件生成,步骤为:
a)读取差分备份或增量信息文件的第1个数据项,按照其属性值获取该数据块对应数据块的内容,将其写入新文件末端;
b)依次读取该文件的其它数据项,参照步骤a)处理所有数据项,最终完成新文件的生成。
g.增量提取得到Temp中的所有文件与B中相应文件的差分文件,生成差分文件集合Di={di0、di1……d1m},作为时间点Ti的远端差分备份;
h.删除Temp;
i.根据步骤g修改RLi-1中对应文件的记录项,生成新的备份文件列表RLi(RLi-1不变);
j.在下一备份周期的第一个时间点T0进行完全备份生成,生成该时间点的完全备份;
k.时间点T1-Tn的备份步骤与步骤b-g相同。
步骤(7)和步骤j中,用于完成在第一个备份周期之后的备份周期时间点T0利用上一周期的完全备份文件集合B和上一周期时间点Tn的差分备份文件集合Dn以及备份文件列表Ln(在远端为RLn)生成新的完全备份文件集合B’。
生成新的完全备份,步骤如下:
a)复制Ln,生成新的备份文件列表Ln’;
b)依次读取Ln’的第i个数据项,如果属性“该文件是否被修改”为未被修改,则按照属性“获取方式”从Pathi读取该文件复制到B’中,并记下新的文件访问路径Pathi’;如果属性“该文件是否被修改”为被修改过,则按照属性“文件获取方式”的内容“合并Fi和Dji”进行文件生成,将新文件保存到B’中,并记下新的文件访问路径Pathi’;此步骤b)中,所述的文件生成与步骤f中所述的文件生成步骤相同;
c)在每次步骤b)结束读取下一数据项前,根据步骤b)记下的存放路径修改Ln’第i个数据项的属性“获取方式”为“从Pathi’读取”。
步骤(3)和步骤g中,所述的增量提取,步骤为:
a)将文件Fik分成若干个长度为L的数据块Bkj,j=0、1……,末尾长度不足L的数据块用0x00补足;
b)为每一数据块按其在Fk中的顺序表上索引号N,即第一个数据块Bk1的索引号为1,第二个数据块B2的索引号为2,以此类推;
c)将文件Fik’按长度为L的数据块逐个与Fk中的数据块比较,按顺序得出不同的数据块(长度不一定为L)和两个文件中相同的数据块(长度必为L)分别在Fk中的索引号N,这些信息称为增量信息。其保存的数据块所包含的属性与步骤(3)里所定义的差分文件中的数据块格式相同。
本发明主要解决了以下的技术问题:
(1)避免用户通过完全拷贝文件的方法来进行多次完全备份,而采取利用已有备份数据合成新备份的办法来满足用户完全备份的需求,既保证了所有数据的备份又提供了一个快捷的“完全备份”方法。
(2)避免了在网络中进行数据的远程备份时传输耗时过大的问题,保证备份过程中的最小网络传输量,只传输生成新的备份文件所需的增量数据块(即与老的备份文件不同的数据)至远端,然后在远端生成新的备份文件。
(3)在每次生成远端差分备份时减少了每个备份时间点可能存在的重复数据的提取,采用增量备份方法的增量提取办法来生成差分备份所需要的数据,然后再利用上一次备份的差分数据合成新的差分备份。
通过解决以上三个问题,本发明所提出的备份方法较现在已知的备份方法具有以下优点:完全备份速度快,用户只需做一次数据的完全拷贝即可满足以后完全备份要求,并且在完全备份时不需要用户停止系统工作;远程备份的数据传输效率高,保证每次备份时所传输的数据量最小,对网络带宽的要求远远低于以往基于文件的远程备份方法。
附图说明
图1为本发明时间点备份数据图
图2为本发明的流程示意图
具体实施方式
本发明所提出的备份方法首先需要确定一个备份的时间周期(由用户来决定该周期的长度,一般为7天),在此周期开始的时间点(T0)生成一次完全备份B,之后的每个备份时间点(T1-Tn,Tn为周期的最后一个时间点)生成差分备份Di(如图1所示),当本地端或远端需要恢复到时间点为Ti的数据时先恢复T0时所做的完全备份,然后再恢复Ti时所做的差分备份,具体实施如下:
本地备份步骤
(1)按照由用户确定的所有需要备份的文件的列表L,该列表中的数据项均指向当前正在使用的数据文件(既需要备份的文件);
(2)在时间点T0对L、中所列举的所有文件进行第一次完全备份,得到备份文件集合B={F0、F1……Fn},备份方法与已知的完全备份方法相同,即文件的完全拷贝;
(3)在时间点T1将时间段T0-T1中被修改过的所有文件(关于文件是否被修改过的检测可以采用现已知的通用办法)参照下文中的“增量提取步骤”得到需要备份的文件与时间点T0的完全备份B中对应文件的差分文件,生成差分文件集合D1={d10、d11……d1m}(m小于等于需要备份的文件总数),作为时间点T1的差分备份,其中差分文件的数据格式如表格3的示例所示。
(4)生成一张备份文件列表L1,该表中记录了L中文件的修改情况,其数据项与B中的文件一一对应,其格式如表格1的示例所示。
             表格1
  文件名   是否被修改   获取方式
  File0   否   从Path0读取
  File1   是   合并F1和d11
  File2   是   合并F2和d12
  File3   否   从Path3读取
  ……   ……   ……
其中“获取方式”中的合并文件需按照下文中的“文件生成步骤”来进行。
(5)在剩下的所有时间点Ti(1<i≤n)参照步骤(3)生成Di,作为时间点Ti的差分备份;
(6)根据步骤(5)修改Li-1,生成新的备份文件列表Li(Li-1不变),例如在时间段Ti-1-Ti用户修改了文件File2、File3,步骤(5)中将生成di2和di3,则生成的Li如表格2所示:
               表格2
  文件名   是否被修改   获取方式
  File0   否   从Path0读取F0
  File1   是   合并F1和d11
  File2   是   合并F2和di2
  File3   否   合并F3和di3
  ……   ……   ……
(7)在下一备份周期的第一个时间点T0按照下文中的“‘完全备份’生成步骤”生成该时间点的完全备份;
(8)时间点T1-Tn的备份步骤与步骤(2)-(7)相同。
远程备份步骤
a.本地端在时间点T0将“本地备份步骤”执行至步骤(2)时生成的完全备份文件集合B={F0、F1……Fn}通过网络或其它手段传送到远端;
b.本地端在时间点T1参照下文中的“增量提取步骤”,得到时间点T1需要备份的所有数据文件集合F1i’与B中相应的文件Fi的增量信息,然后通过网络将该增量信息发送至远端;
c.远端收到所有文件的增量信息后将其保存为差分文件集合D1={d10、d11……d1m}(m小于等于需要备份的文件总数),作为时间点T1的远端差分备份。
d.远端生成一张远端备份文件列表RL1,该列表与L1基本相同,只是其中数据项所指示的文件获取方式对应于远端文件;
e.本地端在剩下的任意时间点Ti(1<i≤n)均参照下文中的“增量提取步骤”,得到时间点Ti需要备份的所有数据文件集合Fij’与时间点Ti-1时的相应文件(该文件可通过查询表Li-1,按照相应文件的“获取方式”来得到)的增量信息,然后通过网络将该增量信息发送至远端;
f.远端收到所有文件的增量信息后按照下文中的“文件生成步骤”将RLi-1中标识的相应的文件合并生成临时文件集合Temp={ti0、ti1……tim}(m≤n),Temp中的任一文件均与当前用户正在使用的需要备份的数据文件一致;
g.通过增量提取得到Temp中的所有文件与B中相应文件的差分文件,生成差分文件集合Di={di0、di1……d1m},作为时间点Ti的远端差分备份;
h.删除Temp;
i.根据步骤g修改RLi-1中对应文件的“获取方式”,生成新的备份文件列表RLi(RLi-1不变);
j.在下一备份周期的第一个时间点T0按照下文中的“‘完全备份’生成步骤”生成该时间点的完全备份;
k.时间点T1-Tn的备份步骤与步骤b-g相同。
完全备份生成步骤
该步骤(本地与远端的步骤相同)用于完成在第一个备份周期之后的备份周期时间点T0利用上一周期的完全备份文件集合B和上一周期时间点Tn的差分备份文件集合Dn以及备份文件列表Ln(在远端为RLn)生成新的完全备份文件集合B’,步骤如下:
a)复制Ln,生成新的备份文件列表Ln’;
b)依次读取Ln’的第i个数据项,如果属性“是否被修改”为否,则按照属性“获取方式”从Pathi读取该文件复制到B’中,并记下新的文件访问路径Pathi’;如果属性“是否被修改”为是,则按照属性“获取方式”的内容“合并Fi和Dji”,将生成的新文件保存到B’中,并记下新的文件访问路径Pathi’;
c)在每次步骤b)结束读取下一数据项前,修改Ln’第i个数据项的属性“获取方式”为“从Pathi’读取”。
增量提取步骤
在时间点Ti采用现已知通用的文件比较的办法提取需要备份的文件Fik’相对于其原始文件Fk(该文件可能为时间点T0时生成的完全备份文件也可能为通过Li-1的文件获取方式生成的临时文件)增量信息的步骤如下:
a)将文件Fk分成若干个长度为L的数据块Bkj(j=0、1……),末尾长度不足L的数据块用0x00补足;
b)为每一数据块按其在Fk中的顺序表上索引号N,即第一个数据块Bk1的索引号为1,第二个数据块Bk2的索引号为2,等等;
c)将文件Fk’按长度为L的数据块逐个与Fk中的数据块比较,按顺序得出不同的数据块(长度不一定为L)和两个文件中相同的数据块(长度必为L)分别在Fk中的索引号N,这些信息称为增量信息,例如:假设Fk由Bk1Bk2Bk3Bk4Bk5组成,Fik’由Bk1Bk2’Bk5Bk3Bk4’Bk5(其中Bkm’即为与Fk不同数据块,长度不一定为L)组成,将Fik’按块逐个与Fk中的数据块比较后可得到增量信息I如表格1所示,该增量信息的共有6个数据项,记录的Fik’的文件信息,但其大小几乎仅为数据块Bk2’和Bk4’的大小之和。
                          表格3
  是否匹配   是   否   是   是   否   是
  N   1   空   5   3   空   5
  数据内容   空   Bk2   空   空   Bk4   空
文件生成步骤
以上文中“增量提取步骤”中步骤c)的增量信息I和文件Fk为例生成Fik’的备份文件的步骤如下:
a)读取I的第1个数据项检查属性“是否匹配”,值为“是”,参照属性“N”的内容读取Fk中索引号为1的数据块Bk1,将其写入新文件末端(此时新文件内容为Bk1);
b)读取I的第2个数据项检查属性“是否匹配”,值为“否”,读取I的第2个数据项的属性“数据内容”Bk2’,将其写入新文件末端(此时新文件内容为Bk1Bk2’);
c)读取I的第3个数据项检查属性“是否匹配”,值为“否”,参照属性“N”的内容读取Fk中索引号为5的数据块Bk5,将其写入新文件末端(此时新文件内容为Bk1Bk2’Bk5);
d)依次读取I的4-6个数据项并参照步骤a)、b)、c)做出相应处理生成最终新文件的内容为Bk1Bk2’Bk5Bk3Bk4’Bk5,该文件内容与Fik’的一致,即为该文件的备份文件。
以下示例是对以上操作步骤的说明。
假定本地端为Local,远端为Remote,用户需要定期的将文件a、b、c进行本地和远程备份,备份时间点为T0、T1、T2、T0’,用户在时间段T0-T1中修改文件a、b,在时间段T1-T2中修改过文件a、c。
(1)在Local获取需要备份的文件的列表L,指明需要备份的文件为a、b、c;
(2)Local在T0时对文件a、b、c进行第一次完全备份,将其分别复制到路径Path A、Path B、Path C,保存为B={a’、b’、c’};
(3)Local将B传送到Remote,分别保存至RPath A、RPath B、RPath C;
(4)Local在时间点T1通过“增量提取”,得到a相对于a’的增量信息和b相对于b’的增量信息,将其保存为D1={d1a、d1b};
(5)Local过网络将D1发送至远端;
(6)Local生成备份文件列表L1,如表格4所示:
               表格4
  文件名   该文件是否被修改   文件获取方式
  a   是   合并a’和d1a
  b   是   合并b’和d1b
  c   否   从Path C读取
(7)Remote收到D1后将其保存作为时间点T1的远端差分备份。
(8)Remote生成远端备份文件列表RL1,如表格5所示:
              表格5
  文件名   该文件是否被修改   文件获取方式
  a   是   合并a’和d1a
  b   否   合并b’和d1b
  c   否   从RPath C读取
(9)Local在时间点T2通过“增量提取”,得到a相对于a’的增量信息和c相对于c’的增量信息,将其保存为D2={d2a、d2c};
(10)Local过网络将D2发送至远端;
(11)Local修改L1,另存为L2,如表格6所示:
                表格6
  文件名   该文件是否被修改   文件获取方式
  a   是   合并a’和d2a
  b   否   合并b’和d1b
  c   是   合并c’和d2c
(12)Remote收到D2后检索RL1中文件a、c的相应记录,通过“合并a’和d1a”和“从RPath C读取”生成临时文件ta、tc,再通过“文件生成”,合并ta与d2a、tc与d2c,生成临时文件集合Temp={t2a、t2c};
(13)Remote通过“增量提取”得到t2a相对于a’和t2c相对于c’的增量信息,生成差分文件集合D2={d2a、d2c},作为时间点T2的远端差分备份;
(14)Remote删除Temp;
(15)Remote修改RL2,另存为RL2,如表格6所示:
(16)Local在T0’根据L2,合并合并a’和d2a、合并b’和d1b、合并c’和d2c,生成新的完全备份B={a’、b’、c’}并生成新的备份列表;
(17)Remote在T0’根据L2,合并合并a’和d2a、合并b’和d1b、合并c’和d2c,生成新的完全备份B={a’、b’、c’}并生成新的备份列表。
该示例通过以上步骤在本地和远端生成了文件a、b、c在T0时的完全备份B={a’、b’、c’}和T1、T2时的差分备份D1={d1a、d1b}、D2={d2a、d2c},以及在新的备份周期开始是合成了新的完全备份。
根据“本地备份步骤”和“远程备份步骤”即可实现本发明所提出的备份方法(如图2所示),恢复时可参考“完全备份”生成步骤生成需要恢复的时间点Ti的完全备份,然后再进行所有的数据恢复即可,该恢复方法不在本发明涉及的范围之内,在此不再详细说明。

Claims (8)

1、一种计算机网络数据文件本地的备份方法,其特征在于,具体步骤如下:
(1)按照由用户确定的所有需要备份的文件的列表L,该列表中的数据项均指向当前正在使用的数据文件;
(2)在时间点T0对L、中所列举的所有文件进行第一次完全备份,得到备份文件集合B={F0、F1……Fn};
(3)在时间点T1将时间段T0-T1中被修改过的所有文件进行增量提取得到需要备份的文件与时间点T0的完全备份B中对应文件的差分文件,生成差分文件集合D1={d10、d11……d1m},m小于等于需要备份的文件总数,作为时间点T1的差分备份,其中差分文件的每个数据块包含的属性有:是否为匹配数据块、匹配的数据块在原文件中索引号、不匹配的数据块的内容;
(4)生成一张备份文件列表L1,它记录了L中文件的修改情况,其数据项与B中的文件一一对应,该表的记录格式为:文件名、该文件是否被修改过、文件获取方式;
(5)在剩下的所有时间点Ti参照步骤(3)生成Di,作为时间点Ti的差分备份,其中1<i≤n;
(6)根据步骤(5)修改Li-1,生成新的备份文件列表Li:将表中被修改过的文件对应的“该文件是否被修改过”标识为被修改过,并将其“获取方式”标识为合并Fj和Dij,原表Li-1不变;
(7)在下一备份周期的第一个时间点T0进行完全备份生成,生成该时间点的完全备份;
(8)时间点T1-Tn的备份步骤与步骤(2)-(7)相同。
2、如权利要求1所述的计算机网络数据文件本地的备份方法,其特征是,步骤(7)中,所述的完全备份生成,步骤为:
a)复制Ln,生成新的备份文件列表Ln’;
b)依次读取Ln’的第i个数据项,如果属性“该文件是否被修改”为未被修改,则按照属性“获取方式”从Pathi读取该文件复制到B’中,并记下新的文件访问路径Pathi’;如果属性“该文件是否被修改”为被修改过,则按照属性“文件获取方式”的内容“合并Fi和Dji”进行文件生成,将新文件保存到B’中,并记下新的文件访问路径Pathi’;
c)在每次步骤b)结束读取下一数据项前,根据步骤b)记下的存放路径修改Ln’第i个数据项的属性“获取方式”为“从Pathi’读取”。
3、如权利要求2所述的计算机网络数据文件本地的备份方法,其特征是,步骤b)中,所述的文件生成,步骤为:
a)读取差分备份或增量信息文件的第1个数据项,检查属性“是否为匹配数据块”,若值为“是”,参照属性“匹配的数据块在原文件中索引号”的内容读取Fk中相应索引号数据块,将其写入新文件末端;若值为“否”,读取属性“不匹配的数据块的内容”的值,将其写入新文件末端;
b)依次读取该文件的其它数据项,参照步骤a)处理所有数据项,最终完成新文件的生成。
4、如权利要求1所述的计算机网络数据文件本地的备份方法,其特征是,步骤(3)中,所述的增量提取,步骤为:
a)将文件Fik分成若干个长度为L的数据块Bkj,j=0、1……,末尾长度不足L的数据块用0x00补足;
b)为每一数据块按其在Fk中的顺序表上索引号N,即第一个数据块Bk1的索引号为1,第二个数据块B2的索引号为2,依次类推;
c)将文件Fik’按长度为L的数据块逐个与Fk中的数据块比较,按顺序得出内容不同的非等长数据块和两个文件中内容相同的数据块分别在Fk中的索引号N,这些信息称为增量信息,其保存的数据块所包含的属性与步骤(3)里所定义的差分文件中的数据块格式相同。
5、一种计算机网络数据文件远程的备份方法,其特征在于,具体步骤如下:
a.本地端在时间点T0将本地备份执行第一次完全备份生成的完全备份文件集合B={F0、F1……Fn}通过传送到远端;
b.本地端在时间点T1进行增量提取,得到时间点T1需要备份的所有数据文件集合F1i’与B中相应的文件Fi的增量信息,然后将该增量信息发送至远端;
c.远端收到所有文件的增量信息后将其保存为差分文件集合D1={d10、d11……d1m},m小于等于需要备份的文件总数,作为时间点T1的远端差分备份;
d.远端生成一张远端备份文件列表RL1,该列表与L1基本相同,只是其中数据项所指示的文件获取方式对应于远端文件;
e.本地端在剩下的任意时间点Ti进行增量提取,1<i≤n,得到时间点Ti需要备份的所有数据文件集合Fij’与时间点Ti-1时的相应文件的增量信息,然后将该增量信息发送至远端,其中“时间点Ti-1时的相应文件”通过查询表Li-1,按照相应文件的“文件获取方式”来得到;
f.远端收到所有文件的增量信息后进行文件生成,将RLi-1中标识的相应的文件合并生成临时文件集合Temp={ti0、ti1……tim},m≤n,Temp中的任一文件均与当前用户正在使用的需要备份的数据文件一致;
g.增量提取得到Temp中的所有文件与B中相应文件的差分文件,生成差分文件集合Di={di0、di1……d1m},作为时间点Ti的远端差分备份;
h.删除Temp;
i.根据步骤g修改RLi-1中对应文件的“文件获取方式”,生成新的备份文件列表RLi,RLi-1不变;
j.在下一备份周期的第一个时间点T0进行完全备份生成,生成该时间点的完全备份;
k.时间点T1-Tn的备份步骤与步骤b-g相同。
6、如权利要求5所述的计算机网络数据文件远程的备份方法,其特征是,步骤j中,所述的完全备份生成,步骤为:
a)复制Ln,生成新的备份文件列表Ln’;
b)依次读取Ln’的第i个数据项,如果属性“该文件是否被修改”为未被修改,则按照属性“获取方式”从Pathi读取该文件复制到B’中,并记下新的文件访问路径Pathi’;如果属性“该文件是否被修改”为被修改过,则按照属性“文件获取方式”的内容“合并Fi和Dji”进行文件生成,将新文件保存到B’中,并记下新的文件访问路径Pathi’;
c)在每次步骤b)结束读取下一数据项前,根据步骤b)记下的存放路径修改Ln’第i个数据项的属性“获取方式”为“从Pathi’读取”。
7、如权利要求6所述的计算机网络数据文件远程的备份方法,其特征是,步骤b)中,所述的文件生成,步骤为:
a)读取差分备份或增量信息文件的第1个数据项,检查属性“是否为匹配数据块”,若值为“是”,参照属性“匹配的数据块在原文件中索引号”的内容读取Fk中相应索引号数据块,将其写入新文件末端;若值为“否”,读取属性“不匹配的数据块的内容”的值,将其写入新文件末端;
b)依次读取该文件的其它数据项,参照步骤a)处理所有数据项,最终完成新文件的生成。
8、如权利要求5所述的计算机网络数据文件远程的备份方法,其特征是,步骤g中,所述的增量提取,步骤为:
a)将文件Fik分成若干个长度为L的数据块Bkj,j=0、1……,末尾长度不足L的数据块用0x00补足;
b)为每一数据块按其在Fk中的顺序表上索引号N,即第一个数据块Bk1的索引号为1,第二个数据块B2的索引号为2,依次类推;
c)将文件Fik’按长度为L的数据块逐个与Fk中的数据块比较,按顺序得出内容不同的非等长数据块和两个文件中内容相同的数据块分别在Fk中的索引号N,这些信息称为增量信息。
CN 200610116304 2006-09-21 2006-09-21 计算机网络数据文件本地和远程的备份方法 Pending CN101064730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200610116304 CN101064730A (zh) 2006-09-21 2006-09-21 计算机网络数据文件本地和远程的备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200610116304 CN101064730A (zh) 2006-09-21 2006-09-21 计算机网络数据文件本地和远程的备份方法

Publications (1)

Publication Number Publication Date
CN101064730A true CN101064730A (zh) 2007-10-31

Family

ID=38965434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200610116304 Pending CN101064730A (zh) 2006-09-21 2006-09-21 计算机网络数据文件本地和远程的备份方法

Country Status (1)

Country Link
CN (1) CN101064730A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764954A (zh) * 2008-11-28 2010-06-30 新奥特(北京)视频技术有限公司 一种字幕单的备份和还原方法
CN102082791A (zh) * 2010-12-31 2011-06-01 成都市华为赛门铁克科技有限公司 数据备份实现方法、客户端和服务器及系统
CN102111570A (zh) * 2009-12-28 2011-06-29 新奥特(北京)视频技术有限公司 安全采集股票信息的方法及装置
CN102193844A (zh) * 2010-03-08 2011-09-21 微软公司 基于部分块的备份
CN102236586A (zh) * 2010-04-21 2011-11-09 雷州 一种计算机本地及网络多次增量的数据备份、恢复方法
CN102737098A (zh) * 2011-03-29 2012-10-17 日本电气株式会社 分布式文件系统
CN101453490B (zh) * 2008-12-23 2012-12-19 上海爱数软件有限公司 一种合成数据备份方法和装置
CN103345435A (zh) * 2013-06-28 2013-10-09 环境保护部华南环境科学研究所 数据备份、恢复的方法以及用于备份的目的服务器系统
CN103425550A (zh) * 2013-07-11 2013-12-04 济南万联信息科技有限公司 一种系统克隆方法和装置
CN103713964A (zh) * 2012-09-29 2014-04-09 联想(北京)有限公司 一种数据备份、恢复的方法和电子设备
CN103744749A (zh) * 2014-01-11 2014-04-23 浪潮电子信息产业股份有限公司 一种基于预算算法的虚拟机智能备份方法
WO2015117422A1 (zh) * 2014-08-25 2015-08-13 中兴通讯股份有限公司 一种系统数据备份方法及装置
CN104866394A (zh) * 2015-06-08 2015-08-26 肖选文 一种分布式文件备份方法和系统
CN105243109A (zh) * 2015-09-25 2016-01-13 杭州华为数字技术有限公司 数据备份的方法和数据处理系统
CN105404562A (zh) * 2014-08-18 2016-03-16 北京云巢动脉科技有限公司 实现操作系统的镜像文件高效备份的方法和系统
CN105630629A (zh) * 2015-12-15 2016-06-01 深圳市慧动创想科技有限公司 数据备份方法和系统
WO2017028705A1 (zh) * 2015-08-18 2017-02-23 阿里巴巴集团控股有限公司 计算机系统任务备份方法、系统状态恢复方法及其装置
WO2017147794A1 (zh) * 2016-03-02 2017-09-08 华为技术有限公司 差异数据备份的方法和设备
WO2018000191A1 (zh) * 2016-06-28 2018-01-04 华为技术有限公司 一种数据处理的方法和装置
CN107577556A (zh) * 2017-08-04 2018-01-12 西安电子科技大学 一种基于物联网分层架构的多域协同的数据备份方法
CN107908501A (zh) * 2017-10-26 2018-04-13 南京壹进制信息技术股份有限公司 一种基于索引的VMware虚拟机合成备份方法
CN110784499A (zh) * 2018-07-30 2020-02-11 华为技术有限公司 备份数据的方法和终端设备
US11132260B2 (en) 2015-09-25 2021-09-28 Huawei Technologies Co., Ltd. Data processing method and apparatus
CN115098447A (zh) * 2022-07-18 2022-09-23 重庆紫光华山智安科技有限公司 文件恢复方法、装置、电子设备及可读存储介质

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764954B (zh) * 2008-11-28 2013-06-05 新奥特(北京)视频技术有限公司 一种字幕单的备份和还原方法
CN101764954A (zh) * 2008-11-28 2010-06-30 新奥特(北京)视频技术有限公司 一种字幕单的备份和还原方法
CN101453490B (zh) * 2008-12-23 2012-12-19 上海爱数软件有限公司 一种合成数据备份方法和装置
CN102111570A (zh) * 2009-12-28 2011-06-29 新奥特(北京)视频技术有限公司 安全采集股票信息的方法及装置
CN102193844A (zh) * 2010-03-08 2011-09-21 微软公司 基于部分块的备份
CN102236586A (zh) * 2010-04-21 2011-11-09 雷州 一种计算机本地及网络多次增量的数据备份、恢复方法
CN102082791A (zh) * 2010-12-31 2011-06-01 成都市华为赛门铁克科技有限公司 数据备份实现方法、客户端和服务器及系统
CN102737098A (zh) * 2011-03-29 2012-10-17 日本电气株式会社 分布式文件系统
CN103713964A (zh) * 2012-09-29 2014-04-09 联想(北京)有限公司 一种数据备份、恢复的方法和电子设备
CN103713964B (zh) * 2012-09-29 2017-06-27 联想(北京)有限公司 一种数据备份、恢复的方法和电子设备
CN103345435A (zh) * 2013-06-28 2013-10-09 环境保护部华南环境科学研究所 数据备份、恢复的方法以及用于备份的目的服务器系统
CN103345435B (zh) * 2013-06-28 2015-04-22 环境保护部华南环境科学研究所 用于数据备份的目的服务器系统
CN103425550A (zh) * 2013-07-11 2013-12-04 济南万联信息科技有限公司 一种系统克隆方法和装置
CN103425550B (zh) * 2013-07-11 2016-11-23 济南万联信息科技有限公司 一种系统克隆方法和装置
CN103744749A (zh) * 2014-01-11 2014-04-23 浪潮电子信息产业股份有限公司 一种基于预算算法的虚拟机智能备份方法
CN105404562A (zh) * 2014-08-18 2016-03-16 北京云巢动脉科技有限公司 实现操作系统的镜像文件高效备份的方法和系统
CN105376276A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种系统数据备份方法及装置
WO2015117422A1 (zh) * 2014-08-25 2015-08-13 中兴通讯股份有限公司 一种系统数据备份方法及装置
CN104866394B (zh) * 2015-06-08 2018-03-09 肖选文 一种分布式文件备份方法和系统
CN104866394A (zh) * 2015-06-08 2015-08-26 肖选文 一种分布式文件备份方法和系统
WO2017028705A1 (zh) * 2015-08-18 2017-02-23 阿里巴巴集团控股有限公司 计算机系统任务备份方法、系统状态恢复方法及其装置
CN111240902A (zh) * 2015-09-25 2020-06-05 华为技术有限公司 数据备份的方法和数据处理系统
CN105243109A (zh) * 2015-09-25 2016-01-13 杭州华为数字技术有限公司 数据备份的方法和数据处理系统
CN105243109B (zh) * 2015-09-25 2021-10-15 华为技术有限公司 数据备份的方法和数据处理系统
US11132260B2 (en) 2015-09-25 2021-09-28 Huawei Technologies Co., Ltd. Data processing method and apparatus
US11119863B2 (en) 2015-09-25 2021-09-14 Huawei Technologies Co., Ltd. Data backup method and data processing system
CN105630629A (zh) * 2015-12-15 2016-06-01 深圳市慧动创想科技有限公司 数据备份方法和系统
WO2017147794A1 (zh) * 2016-03-02 2017-09-08 华为技术有限公司 差异数据备份的方法和设备
WO2018000191A1 (zh) * 2016-06-28 2018-01-04 华为技术有限公司 一种数据处理的方法和装置
CN107577556A (zh) * 2017-08-04 2018-01-12 西安电子科技大学 一种基于物联网分层架构的多域协同的数据备份方法
CN107908501A (zh) * 2017-10-26 2018-04-13 南京壹进制信息技术股份有限公司 一种基于索引的VMware虚拟机合成备份方法
CN110784499A (zh) * 2018-07-30 2020-02-11 华为技术有限公司 备份数据的方法和终端设备
CN115098447A (zh) * 2022-07-18 2022-09-23 重庆紫光华山智安科技有限公司 文件恢复方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN101064730A (zh) 计算机网络数据文件本地和远程的备份方法
CN1192317C (zh) 用于定位万维网页以及计算机网络文件的系统和方法
CN1205574C (zh) 数据压缩、扩展方法和装置
CN1752939A (zh) 用于综合备份和恢复的方法和系统
CN1690974A (zh) 最小化备份系统故障后重新同步时间的系统与方法
CN1961313A (zh) 用于索引文件并将相关元数据添加到索引和元数据数据库的方法和系统
CN101064630A (zh) 一种数据同步方法及系统
CN1809828A (zh) 用于恢复数据库中单元的系统和方法
CN102591946A (zh) 使用索引划分和协调来进行数据去重复
CN101075211A (zh) 基于sector访问的flash存储器的存储管理
CN1271441A (zh) 一种关于数据库的方法
CN102811260B (zh) 文件云同步系统及方法
CN1736030A (zh) 用于存储器中数据压缩的基于内容的分段模式及包括等级分段表示的传输
CN1647038A (zh) 软件分发方法与系统
CN1662905A (zh) 多路并行现用文件系统
CN1783082A (zh) 用于与文件系统保持命名空间一致性的方法和系统
CN102915336A (zh) 一种基于时间戳和日志的增量数据捕获和抽取方法
CN1846207A (zh) 类型路径索引
CN1894930A (zh) 用于进行基于网格的数据存储的设备、系统和方法
CN1815451A (zh) 日志信息管理方法及系统
CN1855094A (zh) 对用户电子文件进行处理的方法和装置
CN1545048A (zh) 一种用二维表实现的树的存储、访问的方法
CN1845093A (zh) 一种属性可扩展的对象文件系统
CN1975739A (zh) 报表生成方法、设备及系统
CN1549178A (zh) 分配和更新杂散资源的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20071031