CN117435404A - 永久增量备份数据储存的处理方法、系统及数据恢复方法 - Google Patents

永久增量备份数据储存的处理方法、系统及数据恢复方法 Download PDF

Info

Publication number
CN117435404A
CN117435404A CN202311763634.8A CN202311763634A CN117435404A CN 117435404 A CN117435404 A CN 117435404A CN 202311763634 A CN202311763634 A CN 202311763634A CN 117435404 A CN117435404 A CN 117435404A
Authority
CN
China
Prior art keywords
data
file
index
data block
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311763634.8A
Other languages
English (en)
Other versions
CN117435404B (zh
Inventor
谢俊峰
赵文辉
黄传波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Vinchin Science And Technology Co
Original Assignee
Chengdu Vinchin Science And Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Vinchin Science And Technology Co filed Critical Chengdu Vinchin Science And Technology Co
Priority to CN202311763634.8A priority Critical patent/CN117435404B/zh
Publication of CN117435404A publication Critical patent/CN117435404A/zh
Application granted granted Critical
Publication of CN117435404B publication Critical patent/CN117435404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种永久增量备份数据储存的处理方法、系统及数据恢复方法,属于计算机技术领域。所述方法包括：生成全量数据文件；创建索引文件（T0）；生成增量数据文件（T1）；生成索引文件（T1）；生成备份链；备份数据文件合并处理。所述系统包括：生成全量数据文件模块；创建索引文件（T0）模块；生成增量数据文件（T1）模块；生成索引文件（T1）模块；生成备份链模块；备份数据文件合并处理模块。本发明不需要周期性地执行完全备份，一条备份链即可还原完整数据，不仅能够提高备份效率，也有助于减少备份存储空间。

Description

永久增量备份数据储存的处理方法、系统及数据恢复方法
技术领域
本发明属于数据备份与恢复技术领域，涉及一种永久增量备份数据储存的处理方法、系统及完备数据恢复方法。
背景技术
定时备份是指按照预定的时间间隔执行备份操作，往往会将数据的完整副本复制到备份介质中（如磁盘或磁带），以确保数据在备份时刻的快照被保存。增量备份是一种备份类型，仅备份自上次全备份或增量备份以来发生变化的数据。定时备份和增量备份结合使用，可以提供完整的备份链，备份链具有定时备份提供的数据完整快照和增量备份提供的仅备份变化的部分，通过备份链则可以还原完整数据，一定程度地提高了备份效率和节省了存储空间。
由于备份存储空间不是无限的，为了让备份能够永续运行，会引入保留策略，保留策略能够在某次备份完成后进行空间的自动回收，一般情况下会删除最早的备份数据集，以达到释放储存空间的效果。而由于数据链的存在，无论删除备份链的完备点时，还是删除备份链上任意中间的增量点，都需要同时删除后续依赖它的所有增量点，这样备份链不完整，便无法还原完整数据。
目前，现有技术是主要是周期性地执行完全备份，以此产生多条备份链，否则一条备份链上一直做增量备份，将会导致备份存储空间最终耗尽。但是，周期性地执行完全备份会降低备份效率，备份存储空间也至少需要完备点两倍以上的数据存储空间，而对此现有技术中没有较好的解决方法。
因此，如何在保证备份链完整情况下，再减少占用的备份数据存储空间，是当前急需解决的技术问题。
发明内容
本发明为了解决上述背景技术中的技术问题，提供一种永久增量备份数据储存的处理方法、系统及数据恢复方法。
本发明解决上述技术问题的技术方案如下：
第一个方面，提供了一种永久增量备份数据储存的处理方法，所述方法，包括步骤：
生成全量数据文件步骤，获取时间点T0，创建磁盘（T0）的快照，生成一份全量数据文件；
创建索引文件（T0）步骤，创建磁盘（T0）的索引文件（T0），所述索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；
生成增量数据文件（T1）步骤，获取时间点T1，生成与全量数据文件形成依赖关系的增量数据文件（T1）；
生成索引文件（T1）步骤，拷贝索引文件（T0），再遍历磁盘（T1）后，结合索引文件（T0）生成索引文件（T1），索引文件（T1）中变化数据块对应的索引得到更新；
生成备份链步骤，在时间点T1后，重复生成增量数据文件（T1）步骤和生成索引文件（T1）步骤，生成一条备份链；
备份数据文件合并处理步骤，获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同，若相同，直接使用索引文件（Tn）；若不相同，将索引文件（Tn）与索引文件（Tn+1）合并，数据文件（Tn）与数据文件（Tn+1）合并。
在其中一个实施例中，所述创建索引文件（T0）步骤，还包括：
计算生成时间点T0的唯一标识TP0；
遍历磁盘（T0）的数据块，生成索引文件（T0），索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP0；
读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。
在其中一个实施例中，所述创建索引文件（T0）步骤中，所述索引结构还包括保留标识。
在其中一个实施例中，所述生成索引文件（T1）步骤，还包括：
计算生成时间点T1的唯一标识TP1；
将时间点T1依赖的上一时间点T0的索引文件（T0）拷贝到当前时间点T1；
遍历磁盘（T1）的数据块，再结合索引文件（T0）生成索引文件（T1），索引文件（T1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP1；
读取增量数据文件（T1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。
在其中一个实施例中，所述备份数据文件合并处理步骤，还包括：
获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1）；
判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同；
若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（Tn），即判断为相同，则直接使用索引文件（Tn）；
若满足以下两个条件中任一条件：（1）目标数据块（Tn）有效数据情况为存在有效数据，目标数据块（Tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（Tn）的索引指向目标数据块（Tn），目标数据块（Tn+1）的索引指向目标数据块（Tn+1），即判断为不相同，并将索引文件（Tn）与索引文件（Tn+1）、数据文件（Tn）与数据文件（Tn+1）分别合并。
第二个方面，提供了一种永久增量备份数据储存的处理系统，所述系统，包括：
生成全量数据文件模块，用于获取时间点T0，创建磁盘（T0）的快照，生成一份全量数据文件；
创建索引文件（T0）模块，用于创建磁盘（T0）的索引文件（T0），所述索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；
生成增量数据文件（T1）模块，用于获取时间点T1，生成与全量数据文件形成依赖关系的增量数据文件（T1）；
生成索引文件（T1）模块，用于拷贝索引文件（T0），再遍历磁盘（T1）后，结合索引文件（T0）生成索引文件（T1），索引文件（T1）中变化数据块对应的索引得到更新；
生成备份链模块，用于在时间点T1后，重复生成增量数据文件（T1）模块和生成索引文件（T1）模块，生成一条备份链；
备份数据文件合并处理模块，用于获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同，若相同，直接使用索引文件（Tn）；若不相同，将索引文件（Tn）与索引文件（Tn+1）合并，数据文件（Tn）与数据文件（Tn+1）合并。
在其中一个实施例中，所述创建索引文件（T0）模块，还包括：
生成唯一标识TP0单元，用于计算生成时间点T0的唯一标识TP0；
生成索引文件（T0）单元，用于遍历磁盘（T0）的数据块，生成索引文件（T0），索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP0；
设置索引单元，用于读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。
在其中一个实施例中，所述生成索引文件（T1）模块，还包括：
生成唯一标识TP1单元，用于计算生成时间点T1的唯一标识TP1；
拷贝索引文件（T0）单元，用于将时间点T1依赖的上一时间点T0的索引文件（T0）拷贝到当前时间点T1；
生成索引文件（T1）单元，用于遍历磁盘（T1）的数据块，再结合索引文件（T0）生成索引文件（T1），索引文件（T1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP1；
更新目标索引单元，用于读取增量数据文件（T1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。
在其中一个实施例中，所述备份数据文件合并处理模块，还包括：
获取处理时间点数据文件单元，用于获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1）；
判断处理单元，用于判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同；
若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（Tn），即判断为相同，则直接使用索引文件（Tn）；
若满足以下两个条件中任一条件：（1）目标数据块（Tn）有效数据情况为存在有效数据，目标数据块（Tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（Tn）的索引指向目标数据块（Tn），目标数据块（Tn+1）的索引指向目标数据块（Tn+1），即判断为不相同，并将索引文件（Tn）与索引文件（Tn+1）、数据文件（Tn）与数据文件（Tn+1）分别合并。
第三个方面，提供了一种数据恢复方法，利用上述任一项所述永久增量备份数据储存的处理方法，还包括步骤：
获取恢复时间点Tg，得到恢复时间点的备份链；
遍历恢复时间点备份链上的索引文件，获得目标增量数据文件（Tg）和全量数据文件中的目标原始数据块，其中目标原始数据块与目标增量数据文件（Tg）的数据量总和小于等于原始磁盘的数据量；
通过目标增量数据文件（Tg）和目标原始数据块，恢复时间点Tg的磁盘数据。
本发明的有益效果是：
（1）本发明通过索引结构，帮助实现了增量数据文件自动合并，不需要按照现有保留策略进行备份链的删除，也保证了备份链的完整，支持永久做增量备份；
（2）本发明不需要周期性地执行完全备份，一条备份链即可还原完整数据，这样不仅能够提高备份效率，也有助于减少备份存储空间；
（3）本发明通过索引结构，备份链上任意相邻两个备份数据文件均可以实现合并，不受限于处理时间点备份数据文件的位置，灵活方便，且应用范围更广。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图1为本发明实施例1中永久增量备份数据储存的处理方法的流程示意图。
图2为本发明实施例1中生成备份链的结构示意图。
图3为本发明实施例2中永久增量备份数据储存的处理系统的结构示意图。
图4为本发明实施例2中创建索引文件（T0）模块的结构示意图。
图5为本发明实施例2中生成索引文件（T1）模块的结构示意图。
图6为本发明实施例2中备份数据文件合并处理模块的结构示意图。
图7为本发明实施例3中数据恢复方法的流程示意图。
附图中，各标号所代表的部件列表如下：
2001、生成全量数据文件模块；2002、创建索引文件（T0）模块；2003、生成增量数据文件（T1）模块；2004、生成索引文件（T1）模块；2005、生成备份链模块；2006、备份数据文件合并处理模块；20021、生成唯一标识TP0单元；20022、生成索引文件（T0）单元；20023、设置索引单元；20041、生成唯一标识TP1单元；20042、拷贝索引文件（T0）单元；20043、生成索引文件（T1）单元；20044、更新目标索引单元；20061、获取处理时间点数据文件单元；20062、判断处理单元。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，提供一种永久增量备份数据储存的处理方法，该方法包括：
S101.获取时间点T0，创建磁盘（T0）的快照，生成一份全量数据文件。
可以理解的是，本技术方案中所指的磁盘，可以扩展为可以进行数据块划分的储存介质，包括但不限于物理磁盘、虚拟磁盘、源卷。
另外，本技术方案中的“磁盘（T0）”、“索引文件（T0）”、“增量数据文件（T1）”、“索引文件（T1）”等，都应该理解当前时间的对象，例如磁盘（T0）是指时间点T0的磁盘；索引文件（T0）是指时间点T0的索引文件；增量数据文件（T1）是指时间点T1的增量数据文件。
S102.创建磁盘（T0）的索引文件（T0），所述索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度、时间点标识和保留标识。
为了便于理解，我们进一步解释索引结构中各部分的具体含义：
a.数据块有效数据情况标识：用于表示对应数据块是否为有效数据，一般的，可以用0代表该数据块不存在有效数据；用1则代表该数据块存在有效数据；
b.数据块偏移：用于表示对应数据块在备份数据文件中的偏移，用于恢复时定位数据块的具体位置；
c.数据块长度:用于表示对应数据块长度；
d.时间点标识：根据获得的时间点生成，本技术方案中可以通过UUID等方式生成唯一时间点标识，从而使得利用整条数据链的效果能够准确；
e.保留标识:用于表示保留位，可以后续用于重删。
可选的，所述步骤S102，还包括：
S1021.计算生成时间点T0的唯一标识TP0；
S1022.遍历磁盘（T0）的数据块，生成索引文件（T0），索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP0；
S1023.读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。
可以理解的是，由于全量数据文件是整条数据链的起始点，那么此时索引文件（T0）中的每个索引都可以直接根据初始磁盘的信息进行记录。
S103.获取时间点T1，生成与全量数据文件形成依赖关系的增量数据文件（T1）。
值得说明的，备份链通常由一个完全备份和多个增量备份组成。完全备份（即全量数据文件）是在某一时间点上对整个数据集进行备份，它创建了一个基准点或起始点。增量备份是在完全备份后，只备份自上次备份以来发生更改的数据部分。
因此，在备份链上，相邻两个节点之间都需要存在依赖关系，即是指后续节点的备份需要依赖前一个节点的备份，通过备份链上节点之间的依赖关系，可以追溯到最初的完全备份，从而还原完整的数据，确保备份数据的完整性和可恢复性。
如果合并空间不足，可以在数据文件后面追加，索引结构可以包括压缩加密标识，来帮助确定空间，但追加会产生无效数据，占用一定储存量。
S104.拷贝索引文件（T0），再遍历磁盘（T1）后，结合索引文件（T0）生成索引文件（T1），索引文件（T1）中变化数据块对应的索引得到更新。
可以理解的是，由于增量备份是在完全备份后，只备份自上次备份以来发生更改的数据部分，那么此时新生成的索引文件里，需要更新有发生更改数据块对应的索引部分。
可选的，所述步骤S104，包括：
S1041.计算生成时间点T1的唯一标识TP1；
S1042.将时间点T1依赖的上一时间点T0的索引文件（T0）拷贝到当前时间点T1；
S1043.遍历磁盘（T1）的数据块，再结合索引文件（T0）生成索引文件（T1），索引文件（T1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识、保留标识，其中时间点标识为唯一标识TP1；
S1044.读取增量数据文件（T1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。
可以理解的是，步骤S1044中，更新的目标索引是指磁盘（T1）中变化数据块所对应的索引。
S105.在时间点T1后，重复步骤S103和步骤S104，生成一条备份链。
为了便于理解本实施例生成的备份链，下面我们提供一个示例进行说明，具体如下：
如图2所示，由于备份链通常由一个完全备份和多个增量备份组成，即存在多个时间点，因此我们示例中生成的备份链上有T0时刻的完全备份点，T1时刻的增量备份点，T2时刻的增量备份点。
在T0时刻，全量数据文件具有A、B、C、D四个数据块，索引文件（T0）具有0、1、2、3四个索引，其中索引0指向数据块A，索引1指向数据块B，索引2指向数据块C，索引3指向数据块D。
在T1时刻，数据块B发生变化为B’，此时仅生成增量数据文件（T1），为保证可追溯，索引文件（T1）根据变化具有0、1’、2、3四个索引，其中索引0指向数据块A，索引1’指向数据块B，索引2指向数据块C，索引3指向数据块D。
在T2时刻，数据块D发生变化为D’，此时仅生成增量数据文件（T2），索引文件（T2）根据变化具有0、1’、2、3’四个索引，其中索引0指向数据块A，索引1’指向数据块B’，索引2指向数据块C，索引3指向数据块D’。
如上所述，一个备份时间点是分为备份数据文件和索引文件，我们通过检索索引文件可以进行追溯，因为每个索引都指向了之前时间的数据块位置，这样便可以还原备份时间点对应的原始数据。
S106.获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同，若相同，直接使用索引文件（Tn）；若不相同，将索引文件（Tn）与索引文件（Tn+1）合并，将数据文件（Tn）与数据文件（Tn+1）合并。
可选的，所述步骤S106，还包括：
S1061.获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1）；
S1062.判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同；
若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（Tn），即判断为相同，则直接使用索引文件（Tn）；
若满足以下两个条件中任一条件：（1）目标数据块（Tn）有效数据情况为存在有效数据，目标数据块（Tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（Tn）的索引指向目标数据块（Tn），目标数据块（Tn+1）的索引指向目标数据块（Tn+1），即判断为不相同，并将索引文件（Tn）与索引文件（Tn+1）、数据文件（Tn）与数据文件（Tn+1）分别合并。
为了更加清楚地理解上述步骤S1062，下面我们结合几种场景进行详细说明，具体如下：
场景1
备份链上分别有时间点Tn、时间点Tn+1，时间点Tn是首个点，也是被合并的目标点。
通过遍历索引文件（Tn）与索引文件（Tn+1），得到两者目标数据块N的索引中数据块有效数据情况标识（即数据块有效数据情况标识）均为0，即目标数据块N（Tn）和目标数据块N（Tn+1）均不存在有效数据，即判断相同，则直接使用索引文件（Tn）。
场景2
备份链上分别有时间点Tn、时间点Tn+1、时间点Tn+2，时间点Tn是首个点，也是被合并的目标点。
遍历索引文件（Tn）与索引文件（Tn+1），得到两者目标数据块N的索引中数据块有效数据情况标识（即数据块有效数据情况标识）均为1，即目标数据块N（Tn）和目标数据块N（Tn+1）均存在有效数据，此时从时间点标识可知两者目标数据块N的索引均是指向了目标数据块N（Tn），即判断相同，则直接使用索引文件（Tn）。
场景3
备份链上分别有时间点Tn、时间点Tn+1，时间点Tn是首个点，也是被合并的目标点。
通过遍历索引文件（Tn）与索引文件（Tn+1），得到目标数据块N（Tn）的索引中的数据块有效数据情况标识为1，目标数据块N（Tn+1）的索引中的数据块有效数据情况标识为0，即判断不相同。
然后，将索引文件（Tn+1）写入索引文件（Tn），将数据文件（Tn+1）写入处理数据文件（Tn）;备份链上时间点Tn将同步改为Tn+1，以完成分别合并。
场景4
备份链上分别有时间点Tn、时间点Tn+1、时间点Tn+2，时间点Tn是首个点，也是被合并的目标点。
通过遍历索引文件（Tn）与索引文件（Tn+1），得到两者目标数据块N的索引中数据块有效数据情况标识均为1，但此时从时间点标识可知目标数据块N（Tn）的索引指向目标数据块N（Tn），目标数据块（Tn+1）的索引指向目标数据块N（Tn+1），即判断不相同。
然后，将索引文件（Tn+1）写入索引文件（Tn），将数据文件（Tn+1）写入数据文件（Tn）;备份链上时间点Tn将同步改为Tn+1，原指向数据块（Tn）的索引均改为指向数据块（Tn+1），以完成分别合并。合并后，目标数据块N（Tn+1）的时间点标识为TPn+1。
本实施例的技术方案，通过索引结构，帮助实现了增量数据文件自动合并，不需要按照现有保留策略进行备份链的删除，也保证了备份链的完整；同时，不需要周期性地执行完全备份，一条备份链即可还原完整数据，这样不仅能够提高备份效率，也有助于减少备份存储空间。
实施例2
如图3所示，在一个实施例中，提供了一种永久增量备份数据储存的处理系统，该系统包括：
生成全量数据文件模块2001，用于获取时间点T0，创建磁盘（T0）的快照，生成一份全量数据文件；
创建索引文件（T0）模块2002，用于创建磁盘（T0）的索引文件（T0），所述索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；
生成增量数据文件（T1）模块2003，用于获取时间点T1，生成与全量数据文件形成依赖关系的增量数据文件（T1）；
生成索引文件（T1）模块2004，用于拷贝索引文件（T0），再遍历磁盘（T1）后，结合索引文件（T0）生成索引文件（T1），索引文件（T1）中变化数据块对应的索引得到更新；
生成备份链模块2005，用于在时间点T1后，重复生成增量数据文件（T1）模块2003和生成索引文件（T1）模块2004，生成一条备份链；
备份数据文件合并处理模块2006，用于获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同，若相同，直接使用索引文件（Tn）；若不相同，将索引文件（Tn）与索引文件（Tn+1）合并，数据文件（Tn）与数据文件（Tn+1）合并。
如图4所示，可选的，所述创建索引文件（T0）模块2002，包括：
生成唯一标识TP0单元20021，用于计算生成时间点T0的唯一标识TP0；
生成索引文件（T0）单元20022，用于遍历磁盘（T0）的数据块，生成索引文件（T0），索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP0；
设置索引单元20023，用于读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。
如图5所示，可选的，所述生成索引文件（T1）模块2004，包括：
生成唯一标识TP1单元20041，用于计算生成时间点T1的唯一标识TP1；
拷贝索引文件（T0）单元20042，用于将时间点T1依赖的上一时间点T0的索引文件（T0）拷贝到当前时间点T1；
生成索引文件（T1）单元20043，用于遍历磁盘（T1）的数据块，再结合索引文件（T0）生成索引文件（T1），索引文件（T1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP1；
更新目标索引单元20044，用于读取增量数据文件（T1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。
如图6所示，可选的，所述备份数据文件合并处理模块2006，包括：
获取处理时间点数据文件单元20061，用于获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1）；
判断处理单元20062，用于判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同；
若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（Tn），即判断为相同，则直接使用索引文件（Tn）；
若满足以下两个条件中任一条件：（1）目标数据块（Tn）有效数据情况为存在有效数据，目标数据块（Tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（Tn）的索引指向目标数据块（Tn），目标数据块（Tn+1）的索引指向目标数据块（Tn+1），即判断为不相同，并将索引文件（Tn）与索引文件（Tn+1）、数据文件（Tn）与数据文件（Tn+1）分别合并。
本实施例的技术方案，通过索引结构，备份链上任意相邻两个备份数据文件均可以实现合并，不受限于处理时间点备份数据文件的位置，灵活方便，且应用范围更广。
实施例3
如图7所示，在本实施例中，提供一种数据恢复方法，利用上述实施例1所述永久增量备份数据储存的处理方法，还包括步骤：
S301.获取恢复时间点Tg，得到恢复时间点的备份链；
S302.遍历恢复时间点备份链上的索引文件，获得目标增量数据文件（Tg）和全量数据文件中的目标原始数据块，其中目标原始数据块与目标增量数据文件（Tg）的数据量总和小于等于原始磁盘的数据量；
S303.通过目标增量数据文件（Tg）和目标原始数据块，恢复时间点Tg的磁盘数据。
本实施例的技术方案，解决了当前恢复数据文件，需要先恢复最初时间点T0全量数据文件，再恢复恢复时间点Tg增量数据文件，造成恢复数据中存在无用过期数据的问题。通过遍历恢复时间点的索引文件，并借助索引结构，可以在备份链上恢复所有有效的数据块，且恢复任意时间点，恢复总量都不会超过原始磁盘。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种永久增量备份数据储存的处理方法，其特征在于，所述方法，包括步骤：
生成全量数据文件步骤，获取时间点T0，创建磁盘（T0）的快照，生成一份全量数据文件；
创建索引文件（T0）步骤，创建磁盘（T0）的索引文件（T0），所述索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；
生成增量数据文件（T1）步骤，获取时间点T1，生成与全量数据文件形成依赖关系的增量数据文件（T1）；
生成索引文件（T1）步骤，拷贝索引文件（T0），再遍历磁盘（T1）后，结合索引文件（T0）生成索引文件（T1），索引文件（T1）中变化数据块对应的索引得到更新；
生成备份链步骤，在时间点T1后，重复生成增量数据文件（T1）步骤和生成索引文件（T1）步骤，生成一条备份链；
备份数据文件合并处理步骤，获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同，若相同，直接使用索引文件（Tn）；若不相同，将索引文件（Tn）与索引文件（Tn+1）合并，数据文件（Tn）与数据文件（Tn+1）合并。
2.根据权利要求1所述的永久增量备份数据储存的处理方法，其特征在于，所述创建索引文件（T0）步骤，还包括：
计算生成时间点T0的唯一标识TP0；
遍历磁盘（T0）的数据块，生成索引文件（T0），索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP0；
读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。
3.根据权利要求1所述的永久增量备份数据储存的处理方法，其特征在于，所述创建索引文件（T0）步骤中，所述索引结构还包括保留标识。
4.根据权利要求1所述的永久增量备份数据储存的处理方法，其特征在于，所述生成索引文件（T1）步骤，还包括：
计算生成时间点T1的唯一标识TP1；
将时间点T1依赖的上一时间点T0的索引文件（T0）拷贝到当前时间点T1；
遍历磁盘（T1）的数据块，再结合索引文件（T0）生成索引文件（T1），索引文件（T1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP1；
读取增量数据文件（T1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。
5.根据权利要求1所述的永久增量备份数据储存的处理方法，其特征在于，所述备份数据文件合并处理步骤，还包括：
获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1）；
判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同；
若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（Tn），即判断为相同，则直接使用索引文件（Tn）；
若满足以下两个条件中任一条件：（1）目标数据块（Tn）有效数据情况为存在有效数据，目标数据块（Tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（Tn）的索引指向目标数据块（Tn），目标数据块（Tn+1）的索引指向目标数据块（Tn+1），即判断为不相同，并将索引文件（Tn）与索引文件（Tn+1）、数据文件（Tn）与数据文件（Tn+1）分别合并。
6.一种永久增量备份数据储存的处理系统，其特征在于，所述系统，包括：
生成全量数据文件模块，用于获取时间点T0，创建磁盘（T0）的快照，生成一份全量数据文件；
创建索引文件（T0）模块，用于创建磁盘（T0）的索引文件（T0），所述索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；
生成增量数据文件（T1）模块，用于获取时间点T1，生成与全量数据文件形成依赖关系的增量数据文件（T1）；
生成索引文件（T1）模块，用于拷贝索引文件（T0），再遍历磁盘（T1）后，结合索引文件（T0）生成索引文件（T1），索引文件（T1）中变化数据块对应的索引得到更新；
生成备份链模块，用于在时间点T1后，重复生成增量数据文件（T1）模块和生成索引文件（T1）模块，生成一条备份链；
备份数据文件合并处理模块，用于获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同，若相同，直接使用索引文件（Tn）；若不相同，将索引文件（Tn）与索引文件（Tn+1）合并，数据文件（Tn）与数据文件（Tn+1）合并。
7.根据权利要求6所述的永久增量备份数据储存的处理系统，其特征在于，所述创建索引文件（T0）模块，还包括：
生成唯一标识TP0单元，用于计算生成时间点T0的唯一标识TP0；
生成索引文件（T0）单元，用于遍历磁盘（T0）的数据块，生成索引文件（T0），索引文件（T0）的索引与磁盘（T0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP0；
设置索引单元，用于读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。
8.根据权利要求6所述的永久增量备份数据储存的处理系统，其特征在于，所述生成索引文件（T1）模块，还包括：
生成唯一标识TP1单元，用于计算生成时间点T1的唯一标识TP1；
拷贝索引文件（T0）单元，用于将时间点T1依赖的上一时间点T0的索引文件（T0）拷贝到当前时间点T1；
生成索引文件（T1）单元，用于遍历磁盘（T1）的数据块，再结合索引文件（T0）生成索引文件（T1），索引文件（T1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识TP1；
更新目标索引单元，用于读取增量数据文件（T1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。
9.根据权利要求6所述的永久增量备份数据储存的处理系统，其特征在于，所述备份数据文件合并处理模块，还包括：
获取处理时间点数据文件单元，用于获取处理时间点Tn，在当前备份链上获得数据文件（Tn）和时间点Tn下一时间点的数据文件（Tn+1）；
判断处理单元，用于判断目标数据块（Tn）对应的索引与目标数据块（Tn+1）对应的索引是否相同；
若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（Tn），即判断为相同，则直接使用索引文件（Tn）；
若满足以下两个条件中任一条件：（1）目标数据块（Tn）有效数据情况为存在有效数据，目标数据块（Tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（Tn）的索引指向目标数据块（Tn），目标数据块（Tn+1）的索引指向目标数据块（Tn+1），即判断为不相同，并将索引文件（Tn）与索引文件（Tn+1）、数据文件（Tn）与数据文件（Tn+1）分别合并。
10.一种数据恢复方法，其特征在于，利用权利要求1至5任一项所述永久增量备份数据储存的处理方法，还包括步骤：
获取恢复时间点Tg，得到恢复时间点的备份链；
遍历恢复时间点备份链上的索引文件，获得目标增量数据文件（Tg）和全量数据文件中的目标原始数据块，其中目标原始数据块与目标增量数据文件（Tg）的数据量总和小于等于原始磁盘的数据量；
通过目标增量数据文件（Tg）和目标原始数据块，恢复时间点Tg的磁盘数据。
CN202311763634.8A 2023-12-21 2023-12-21 永久增量备份数据储存的处理方法、系统及数据恢复方法 Active CN117435404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311763634.8A CN117435404B (zh) 2023-12-21 2023-12-21 永久增量备份数据储存的处理方法、系统及数据恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311763634.8A CN117435404B (zh) 2023-12-21 2023-12-21 永久增量备份数据储存的处理方法、系统及数据恢复方法

Publications (2)

Publication Number Publication Date
CN117435404A true CN117435404A (zh) 2024-01-23
CN117435404B CN117435404B (zh) 2024-05-28

Family

ID=89558651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311763634.8A Active CN117435404B (zh) 2023-12-21 2023-12-21 永久增量备份数据储存的处理方法、系统及数据恢复方法

Country Status (1)

Country Link
CN (1) CN117435404B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477487A (zh) * 2009-01-22 2009-07-08 上海交通大学 多次增量文件的备份方法和恢复方法
CN105808381A (zh) * 2016-03-05 2016-07-27 成都云祺科技有限公司 一种虚拟机瞬时恢复方法
CN106777219A (zh) * 2016-12-23 2017-05-31 北京亚细亚智业科技有限公司 用于虚拟化数据中心的数据处理方法及装置
US9703644B1 (en) * 2014-12-09 2017-07-11 EMC IP Holding Company LLC Methods for generating a synthetic backup and for consolidating a chain of backups independent of endianness
CN107819680A (zh) * 2017-09-27 2018-03-20 北京华为数字技术有限公司 一种切换业务的方法、网络设备
CN107908501A (zh) * 2017-10-26 2018-04-13 南京壹进制信息技术股份有限公司 一种基于索引的VMware虚拟机合成备份方法
CN109710466A (zh) * 2019-01-03 2019-05-03 浪潮商用机器有限公司 一种数据备份方法及装置
CN114385415A (zh) * 2021-12-10 2022-04-22 苏州浪潮智能科技有限公司 一种虚拟机跨备份存储池备份的方法和装置
CN114661527A (zh) * 2022-05-23 2022-06-24 武汉四通信息服务有限公司 数据备份方法、装置、电子设备及存储介质
CN116560914A (zh) * 2023-07-10 2023-08-08 成都云祺科技有限公司 虚拟机cbt失效下的增量备份方法、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477487A (zh) * 2009-01-22 2009-07-08 上海交通大学 多次增量文件的备份方法和恢复方法
US9703644B1 (en) * 2014-12-09 2017-07-11 EMC IP Holding Company LLC Methods for generating a synthetic backup and for consolidating a chain of backups independent of endianness
CN105808381A (zh) * 2016-03-05 2016-07-27 成都云祺科技有限公司 一种虚拟机瞬时恢复方法
CN106777219A (zh) * 2016-12-23 2017-05-31 北京亚细亚智业科技有限公司 用于虚拟化数据中心的数据处理方法及装置
CN107819680A (zh) * 2017-09-27 2018-03-20 北京华为数字技术有限公司 一种切换业务的方法、网络设备
CN107908501A (zh) * 2017-10-26 2018-04-13 南京壹进制信息技术股份有限公司 一种基于索引的VMware虚拟机合成备份方法
CN109710466A (zh) * 2019-01-03 2019-05-03 浪潮商用机器有限公司 一种数据备份方法及装置
CN114385415A (zh) * 2021-12-10 2022-04-22 苏州浪潮智能科技有限公司 一种虚拟机跨备份存储池备份的方法和装置
CN114661527A (zh) * 2022-05-23 2022-06-24 武汉四通信息服务有限公司 数据备份方法、装置、电子设备及存储介质
CN116560914A (zh) * 2023-07-10 2023-08-08 成都云祺科技有限公司 虚拟机cbt失效下的增量备份方法、系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU HUA等: "Cost-Efficient Remote Backup Services for Enterprise Clouds", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, vol. 12, no. 5, 17 March 2016 (2016-03-17), pages 1650 - 1657, XP011634254, DOI: 10.1109/TII.2016.2543258 *
冯学磊: "基于SAN环境的虚拟资源管理系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 February 2017 (2017-02-15), pages 138 - 1515 *
叶嘉酩等: "多数据库容灾系统的设计与实现", 《计算机工程与设计》, vol. 33, no. 12, 16 December 2012 (2012-12-16), pages 4541 - 4545 *

Also Published As

Publication number Publication date
CN117435404B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US8015441B2 (en) Verification of computer backup data
US7421551B2 (en) Fast verification of computer backup data
US10120595B2 (en) Optimizing backup of whitelisted files
US10203905B2 (en) System and method for incrementally performing full data backup
CN109298873B (zh) 一种系统升级方法及装置
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
JP2021522577A (ja) ホスト認識更新書き込みの方法、システム、およびコンピュータ・プログラム
CN109753381B (zh) 一种基于对象存储的持续数据保护方法
US8595271B1 (en) Systems and methods for performing file system checks
CN117435404B (zh) 永久增量备份数据储存的处理方法、系统及数据恢复方法
CN112631826B (zh) 一种备份处理方法、装置及计算机可读存储介质
WO2017067397A1 (zh) 一种数据恢复方法和装置
CN113220500A (zh) 基于逆向差异恢复的恢复方法、设备和程序产品
US10423494B2 (en) Trimming unused blocks from a versioned image backup of a source storage that is stored in a sparse storage
CN112463047B (zh) 一种数据迁移回收方法及相关装置
CN114185718A (zh) 一种数据同步方法、装置、计算机设备及存储介质
US11226739B2 (en) Method, device and computer program product for storage management
US9843636B2 (en) Computer-readable medium storing data editing program
CN117435403B (zh) 永久增备中处理索引合并方法、系统及无效数据处理方法
CN110673985A (zh) 一种自动备份版本库的方法、存储介质及服务器
US8655929B2 (en) Modification of data within a file
CN113986617B (zh) 一种基于mmkv文件格式的数据恢复方法和系统
CN108804671B (zh) 物理文件重组的方法和装置
CN109992296B (zh) 同步修改一个工程中多个配置文件的方法、装置及系统
CN112667161A (zh) 文件系统的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant