CN113535482A - 云备份链数据备份、管理方法及装置、设备、可读介质 - Google Patents
云备份链数据备份、管理方法及装置、设备、可读介质 Download PDFInfo
- Publication number
- CN113535482A CN113535482A CN202110832795.2A CN202110832795A CN113535482A CN 113535482 A CN113535482 A CN 113535482A CN 202110832795 A CN202110832795 A CN 202110832795A CN 113535482 A CN113535482 A CN 113535482A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- parent
- child
- backup data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000012217 deletion Methods 0.000 claims description 35
- 230000037430 deletion Effects 0.000 claims description 35
- 238000013523 data management Methods 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 32
- 238000010586 diagram Methods 0.000 description 27
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请是关于一种云备份链数据备份、管理方法及装置、设备、可读介质,具体涉及数据库领域。所述云备份链数据备份方法包括:获取父备份数据,以及父备份数据对应的子备份数据;当需要删除父备份数据时,将父备份数据中的数据与子备份数据中的数据进行对比,确定父备份数据中各个数据的数据类型,基于数据类型将父备份数据中的数据更新至子备份数据中,得到更新后的子备份数据。通过上述方案,在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
Description
技术领域
本发明涉及数据库领域,具体涉及一种云备份链数据备份、管理方法及装置、设备、可读介质。
背景技术
数据备份是指为防止出现操作失误或系统故障导致数据丢失,而将部分或全部数据集合从某一设备的存储介质复制到其他的存储介质的过程。
为了减少备份数据以及备份时间,现有的备份方案大多都是首次对数据进行全量备份,后续备份采用増量备份的形势,这样备份保存的数据都是前一次备份之后变化的数据。当备份文件数量较多,需要删除中间的备份时,可以将待删除备份的文件,与待删除备份的子备份的文件进行合并,再将该待备份文件删除,以减小中间备份的数量,实现存储空间的释放。
上述方案中,待删除备份的文件与子备份的文件在实现数据合并的效率较低。
发明内容
本申请提供了一种云备份链数据备份、管理方法及装置、设备、可读介质,提高了数据备份的合并效率,该技术方案如下。
一方面,提供了一种云备份链数据备份方法,所述方法包括:
获取父备份数据,以及所述父备份数据对应的子备份数据;
当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据。
又一方面,提供了一种云备份链数据管理方法,其特征在于,所述方法包括:
终端发送删除备份点请求至云服务器;
所述云服务器接收到所述删除备份点请求后,在云服务器中的云存储中检索待删除备份点对应的元数据对象,并将其标记为待删除状态,
所述云服务器通过云端服务守护进程定期扫描所述云存储中的元数据对象,并对带有所述待删除状态标记的元数据对象对应的待删除备份点实施删除;
待下一启动周期时,云端服务守护进程继续对下一个带有待删除标记的元数据对象对应的待删除备份点实施删除。
又一方面,提供了一种云备份链数据备份装置,所述装置包括:
备份数据获取模块,用于获取父备份数据,以及所述父备份数据对应的子备份数据;
数据类型确定模块,用于当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
数据更新模块,用于基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据。
在一种可能的实现方式中,所述数据类型获取模块,包括:
更新位置获取单元,用于获取所述父备份数据中各个数据对应的第一数据更新位置,以及所述子备份数据中各个数据对应的第二数据更新位置;
数据类型获取单元,用于将所述第一数据更新位置与所述第二数据更新位置进行对比,确定所述父备份数据中各个数据的数据类型。
在一种可能的实现方式中,获取所述父备份数据对应的第一位置序列,以及所述第一位置序列中各个位置对应的位图数据;所述第一位置序列用于指示在所述数据库中,所述父备份数据更新的数据段;
将所述第一位置序列中位图数据为1的位置序列确定为第一増量序列,并根据第一増量序列的序列顺序确定所述父备份数据中各个数据对应的第一数据更新位置;
获取所述子备份数据对应的第二位置序列,以及所述第二位置序列中各个位置对应的位图数据;所述第二位置序列用于指示在所述数据库中,所述子备份数据更新的数据段;
将所述第二位置序列中位图数据为1的位置序列确定为第二増量序列,并根据第二増量序列的序列顺序,确定所述子备份数据中各个数据对应的第二数据更新位置。
在一种可能的实现方式中,所述数据更新模块,包括:
数据删除单元,用于将所述父备份数据的被所述子备份数据更改的数据删除,获得第一更新数据;
数据合并单元,用于将所述第一更新数据与所述子备份数据进行合并,获得更新后的子备份数据。
在一种可能的实现方式中,所述备份数据中包含由所述数据构成的数据对象;
所述数据删除单元,还用于,
将所述父备份数据中的数据对象中,由被所述子备份数据更改的数据构成的数据对象删除,获得第一更新数据。
在一种可能的实现方式中,所述数据更新单元,包括以下至少一者:
数据合并子单元,用于将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得更新后的子备份数据的数据对象;
数据获取子单元,用于将所述第一更新数据中的数据对象中,由未被所述子备份数据更改的数据构成的数据对象获取为更新后的子备份数据的数据对象。
在一种可能的实现方式中,所述数据获取子单元,还用于,
所述将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得合并数据对象;
当所述合并数据对象的数据数量大于第一阈值,将所述合并数据对象拆分为至少两个更新后的子备份数据的数据对象。
又一方面,提供了一种云备份链数据管理装置,所述装置包括:
备份点发送模块,用于指示终端发送删除备份点请求至云服务器;
删除点标记模块,用于指示所述云服务器接收到所述删除备份点请求后,在所述云服务器中的云存储中检索待删除备份点对应的元数据对象,并将其标记为待删除状态;
第一备份删除模块,用于指示所述云服务器通过云端服务守护进程定期扫描所述云存储中的元数据对象,并对带有所述待删除状态标记的元数据对象对应的待删除备份点实施删除;
第二删除备份模块,用于待下一启动周期时,指示所述云端服务守护进程继续对下一个带有所述待删除标记的元数据对象对应的所述待删除备份点实施删除。
其中,所述第一备份删除模块,还包括:
备份点数据删除单元,用于将所述待删除备份点的数据与下一备份点的数据进行合并,删除所述待删除备份点数据,并删除所述待删除备份点对应的元数据对象;
元数据对象更新单元,用于将所述待删除备点的父节点更新为所述下一备份点的父节点,更新元数据对象。
在一种可能的实现方式中,所述备份点数据删除单元,还用于,
获取父备份数据,以及所述父备份数据对应的子备份数据;所述父备份数据是所述待删除备份点的数据;所述子备份数据是所述待删除备份点的下一备份点的数据;
当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据,并删除所述待删除备份点对应的元数据对象,
将所述待删除备点的父节点更新为所述下一备份点的父节点,更新元数据对象。
再一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述的云备份链数据备份方法;
或者,所述至少一条指令由所述处理器加载并执行上述的云备份链数据管理方法。
再一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的云备份链数据备份方法;
或者,所述至少一条指令由所述处理器加载并执行上述的云备份链数据管理方法。
又一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述的云备份链数据备份方法或云备份链数据管理方法。
有益效果
当需要删除具有子备份数据的父备份数据时,可以先将父备份数据中的数据与子备份数据之间的数据进行对比,确定父备份数据中各个数据是否被子备份数据更改,并将父备份数据中的各个数据分类为被子备份数据更改的数据和未被子备份数据更改的数据,再将父备份数据中各个数据的类型,将父备份数据中的各个数据更新到子备份数据中,从而在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种云备份链数据备份系统的结构示意图;
图2是根据一示例性实施例示出的一种云备份链数据备份方法的方法流程图;
图3示出了图2所示实施例涉及的一种云备份链数据备份示意图;
图4是根据一示例性实施例示出的一种云备份链数据备份方法的方法流程图;
图5示出了图4所示实施例涉及的一种云备份链数据备份示意图;
图6示出了图4所示实施例涉及的一种数据更新位置确定示意图;
图7示出了图4所示实施例涉及的一种数据对象删除方法示意图;
图8示出了图4所示实施例涉及的一种数据对象合并示意图;
图9是根据一示例性实施例示出的一种云备份链数据备份方法的流程框图;
图10示出了图9所示实施例涉及的一种快照数据分割示意图;
图11示出了图9所示实施例涉及的一种増量备份数据上传示意图;
图12示出了图9所示实施例涉及的一种合并数据示意图;
图13是根据一示例性实施例示出的一种云备份链数据管理方法的方法流程图;
图14是根据一示例性实施例示出的一种云备份链数据备份装置的结构方框图;
图15是根据一示例性实施例示出的一种云备份链数据管理装置的结构方框图;
图16示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,在本申请的实施例中提到的“指示”可以是直接指示,也可以是间接指示,还可以是表示具有关联关系。举例说明,A指示B,可以表示A直接指示B,例如B可以通过A获取;也可以表示A间接指示B,例如A指示C,B可以通过C获取;还可以表示A和B之间具有关联关系。
在本申请实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
本申请实施例中,“预定义”可以通过在设备(例如,包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
为更好的理解本发明的技术方案和技术效果,先对本发明中涉及的几个技术特征进行概括定义。
首先,本发明中对于父备份数据和子备份数据的定义如下,所述父备份数据是基于第一数据库快照以及第二数据库快照获取的増量数据,且该第二数据库快照的生成时间在该第一数据库快照的生成时间之后,此时该父备份数据可以将与第一数据库快照的状态对应的数据库,更新为与第二数据库快照的状态对应的数据库。同理,所述子备份数据是基于第二数据库快照以及第三数据库快照获取的増量数据,该子备份数据可以将与第二数据库快照的状态对应的数据库,更新为与第三数据库快照的状态对应的数据库。
其次,本发明中,关于第一数据更新位置和第二数据更新位置的识别方法如下:
对存储卷从头看是按照定长进行划分成若干块数据块,并对划分好的数据块从头到尾按照最小为0向上递增的方式标记数据块块号;对于每一个数据块建立一个bitmap用于记录数据块上对应数据的有效性信息,1表示有效,0表示无效,而在这里对于有效的定义为:将子备份数据节点下恢复的全数据与父备份数据节点下恢复的全数据进行对比,每一个数据块中发生数据变更的数据对应的位图标记为1,没有变更的数据对应的位图标记为0。
如图12中所示的三个定长的数据块F1、S1和S2,其中F1、S1和S2分别是在第一、第二、第三数据备份节点下恢复的全数据中截取出来的同一块号的一个数据块,比如F1里4个位置(即第一位置序列)上的数据全部为增量数据,即全部发生了变更,那这4个位置上的数据的位图信息全部标记为1(即形成第一增量序列),在本实施方式中,通过以下的方式来对其进行表示0,3[1,1,1,1],即为元数据,将数据块S1和F1进行比较,位置1、3的数据发生了改变,位图标记为1,记为1,3,[1,0,1],将数据块S2和S1进行比较,位置0、1的数据发生了改变,位图标记为1,记为0,1[1,1],这里的元数据即表示了每一次增量备份数据的标识信息,其中前面两位表示增量数据的起始位置信息,[]中表示对应增量数据的位图信息,位图信息为1的对应数据位的数据表示保存在增量备份数据中,比如这里的1,3,[1,0,1]表示位置1、3的数据为保存到增量备份中的数据,0,3[1,1,1,1]则表示位置0、1、2、3的数据为保存到增量备份中的数据。
因此,在本发明中,通过位图信息的方式识别父备份数据、子备份数据中第一数据更新位置、第二数据更新位置。
图1是根据一示例性实施例示出的一种云备份链数据备份系统的结构示意图。该系统包括终端120以及云服务器110。
该终端120,用于向该云服务器110发送用于指示删除父备份数据的第一删除请求。
该云服务器110,用于响应于接收到所述第一删除请求,获取父备份数据,以及该父备份数据对应的子备份数据;
该云服务器110,用于当需要删除该父备份数据时,将该父备份数据中的数据与该子备份数据中的数据进行对比,确定该父备份数据中各个数据的数据类型,该数据类型包括被该子备份数据更改的数据以及未被该子备份数据更改的数据;
该云服务器110,用于基于该数据类型将该父备份数据中的该数据更新至该子备份数据中,得到更新后的子备份数据。
在一种可能的实现方式中,该云服务器接收到第一删除请求后,根据第一删除请求,将该父备份数据标记为待删除状态,并向该终端返回用于指示父备份数据删除成功的指示信息。
即当用户或者云服务器的管理人员需要删除云服务器中存储的父备份数据时,可以通过终端向云服务器发送第一删除请求,当云服务器接收到第一删除请求后,将第一删除请求对应的父备份数据标记为待删除状态,以便后续对该父备份数据执行删除操作。当云服务器成功将该父备份数据标记为待删除状态后,向终端发送指示父备份数据删除成功的指示信息。
即终端接收到云服务器返回的指示父备份数据删除成功的指示消息时,云服务器中可能实际上并未完成对该父备份数据的删除过程,但云服务器已经开始执行删除流程,在未出现不可预估的错误的前提下,该父备份数据在一定时间后可以被删除,因此可以提前通知终端,云服务器已经完成了删除父备份数据的操作,减小了终端与云服务器之间的无效通信连接时间。
在另一种可能的实现方式中,云服务器响应于得到更新后的子备份数据,向该终端返回用于指示父备份数据删除成功的指示信息。
即该云服务器还可以,在成功删除父备份数据,并将该父备份数据合并至子备份数据之后,向该终端返回用于指示父备份数据删除成功的指示信息,以便通知终端该父备份数据已经成功删除,可以继续执行其他操作。
在一种可能的实现方式中,该终端中存在按时间顺序排列的各个数据库快照,根据连续两个数据库快照,获取该终端对应的备份数据,并将该备份数据发送至云服务器。
即对于终端与云服务器构成的云备份链数据备份系统而言,当终端需要对数据库进行备份时,可以获取该终端的数据库快照,并根据连续两个数据库快照,该终端对应的増量数据,并发送至云服务器,以记录该终端的数据库的变化情况。
可选的,该终端可以是具有数据处理功能以及数据存储功能的终端设备,该终端可以包括一个终端,也可以包括多个终端,本申请实施例对该终端的数量不设限制。该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等具有数据处理器以及数据存储组件的终端设备,但不局限于此。该终端中的数据处理器,可以对该数据存储组件在两个不同时间段的数据库快照进行处理,以获得该终端对应的増量备份数据。
可选的,该云服务器可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础运计算服务的云服务器。
可选的,该云服务器中可以包含具有数据存储功能的云存储组件、以及具有数据处理功能的云计算组件;当该云服务器接受到该第一删除请求,对父备份数据进行删除时,可以通过云计算组件对父备份数据与子备份数据进行数据处理,以获得更新后的子备份数据,并将更新后的子备份数据保存至该云存储组件中。
可选的,该云服务器110与该终端120之间可以通过通信网络相连。可选的,该通信网络可以是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网,但也可以是其他任何网络,包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种云备份链数据备份方法的方法流程图。该方法由云服务器执行,该云服务器设备可以是如图1中所示的云服务器110。如图2所示,该用于云备份链数据备份方法可以包括如下步骤:
步骤201,获取父备份数据,以及该父备份数据对应的子备份数据。
可选的,该父备份数据用于对数据库进行备份还原,该子备份数据用于对基于父备份数据更新过后的数据进行备份还原。
因此,当数据库需要通过子备份数据进行备份还原时,需要按照顺序,先通过父备份数据进行备份还原,再通过父备份数据对应的子备份数据进行备份还原。
请参考图3,其示出了本申请实施例涉及的一种云备份链数据备份示意图。如图3所示,当在第一时间点第一次获取数据库的快照时,可以通过全量获取的方式,获取第一备份数据301,其中,第一备份数据301中包含了该数据库在第一时间点的全部数据。当在第二时间点再次获取数据库的快照时,可以根据第二时间点获取到的数据库快照以及第一时间点的数据库快照之间的差异,获取第二备份数据302,且该第二备份数据302包含了数据库在第一时间点与第二时间点之间的差异数据,以及差异数据对应的位置。同理,当在第三时间点再次获取数据库的快照时,可以根据第三时间点获取到的数据库快照以及第二时间点的数据库快照之间的差异,获得第三备份数据303,且该第三备份数据303包含了数据库在第二时间点与第三时间点之间的差异数据,以及差异数据对应的位置。
因此由图3可以看出,当需要更新到第一时间点对应的数据库时,通过第一备份数据301就可以直接确定在第一时间点,数据库对应的数据状态;而当需要更新到第二时间点对应的数据库时,通过第一时间点对应的数据库,以及第二备份数据中指示的数据库在第一时间点与第二时间点的差异,可以确定数据库在第二时间点的数据,以便将该数据库还原至第二时间点。同理,当数据库更新到第二时间点对应的数据库状态后,还可以根据第三备份数据303中指示的,数据库在第二时间点与第三时间点之间的差异,更新到第三时间点对应的数据库状态。且在上述过程中,第二备份数据的更新依赖于第一备份数据更新得到的第一时间点的数据库;第三备份数据的更新依赖于第二备份数据更新得到的第二时间点的数据库,因此可以人为第一备份数据是第二备份数据的父备份数据;且第二备份数据是第三备份数据的父备份数据。
步骤202,当需要删除该父备份数据时,将该父备份数据中的数据与该子备份数据中的数据进行对比,确定该父备份数据中各个数据的数据类型。
其中,该数据类型包括被该子备份数据更改的数据以及未被该子备份数据更改的数据。
当需要删除父备份数据时,为了避免删除父备份数据所导致数据库无法还原至子备份数据对应的数据库状态时,需要先对待删除的父备份数据进行处理。在本申请实施例的一种可能的实现方式中,在删除父备份数据之前,可以先将父备份数据中的数据与子备份数据中的数据进行对比,以确定父备份数据中,哪些数据被子备份数据再次更改过,哪些数据未被再次更改过。
对于父备份数据中,已经被子备份数据更改过的数据来说,在数据库依次通过父备份数据与子备份数据,更新至子备份数据对应的状态的过程中,该父备份数据中已经被子备份数据更改过的数据,对数据库进行更新后的结果,仍然会在子备份数据的更新过程中被再次更新,因此被子备份数据更改过的数据,在父备份数据中的重要性较小;而对于未被子备份数据更改过的数据来说,在数据库依次通过父备份数据与子备份数据,更新至子备份数据对应的状态的过程中,该父备份数据中的未被子备份数据更改过的数据,对数据库进行更新后的结果,并不会在子备份数据的更新过程中被再次更新,因此该被子备份数据更改过的数据,在父备份数据中的重要性较大。
步骤203,基于该数据类型将该父备份数据中的该数据更新至该子备份数据中,得到更新后的子备份数据。
由步骤202可知,当数据类型不同时,即对于被子备份数据更改过的数据,以及未被子备份数据更改过的数据,在数据库依次通过父备份数据与子备份数据,更新至子备份数据对应的状态的过程中,所占据的重要程度不同,因此可以对不同数据类型的数据,采取不同的数据处理方式,以实现父备份数据的删除以及子备份数据的更新过程。
综上所述,在本申请实施例所示方案中,当需要删除具有子备份数据的父备份数据时,可以先将父备份数据中的数据与子备份数据之间的数据进行对比,确定父备份数据中各个数据是否被子备份数据更改,并将父备份数据中的各个数据分类为被子备份数据更改的数据和未被子备份数据更改的数据,再将父备份数据中各个数据的类型,将父备份数据中的各个数据更新到子备份数据中,从而在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
图4是根据一示例性实施例示出的一种云备份链数据备份方法的方法流程图。该方法由云服务器执行,该云服务器设备可以是如图1中所示的云服务器110。如图4所示,该用于云备份链数据备份方法可以包括如下步骤:
步骤401,获取父备份数据,以及该父备份数据对应的子备份数据。
可选的,该父备份数据是终端根据第一时间点的数据库快照与第二时间点的数据库快照,对比后获得的増量数据;该子备份数据是终端根据第二时间点的数据库快照与第三时间点的数据库快照,对比后获得的増量数据;该第一时间点的时间顺序先于第二时间点;该第二时间点的时间顺序先与第三时间点。
可选的,该父备份数据可以是根据终端根据第一时间点的数据库快照构建的原始备份数据,该子备份数据是终端根据第一时间点的数据库快照以及第二时间点的数据库快照,对比后获得的増量数据。
步骤402,当需要删除该父备份数据时,将该父备份数据中的数据与该子备份数据中的数据进行对比,确定该父备份数据中各个数据的数据类型。
其中,该数据类型包括被该子备份数据更改的数据以及未被该子备份数据更改的数据。
在云数据库中,通过步骤401所示的増量备份方式,可以极大的减小备份数据的数据量,但当备份数据的备份数量较多时,仍然会占据较大的存储空间,因此可以通过删除备份的方式释放部分存储空间。当需要删除父备份数据时,可以先通过父备份数据中各个数据的类型,确定如何对该父备份数据进行处理。
请参考图5,其示出了本申请实施例涉及的一种数据类型示意图。如图5所示,对于父备份数据501,其中包含更新位置分别为0、3、4、6、7的数据,以便更新数据库中位置为上述位置的各个数据;同理,对于子备份数据502,其中包含更新位置分别为0、2、5、6、7的数据,以便更新数据库中位置为上述位置的各个数据,此时父备份数据中,位置为0、6和7的三个数据可以被定义为被子备份数据更改的数据,父备份数据中,位置为3和4的两个数据可以被定义为未被子备份数据更改的数据。
例如,当通过父备份数据对数据库510进行更新时,可以分别将0、3、4、6、7位置的数据更新,以获得父备份数据对应的更新数据库511;再通过子备份数据对父备份数据对应的更新数据库511进行更新时,可以分别再将0、2、5、6、7位置的数据进行更新,以获得子备份数据对应的更新数据库512。将数据库510与子备份数据对应的更新数据库512对比可知,位置6和7的数据是根据子备份数据中的位置6和7的数据更新得到的,因此父备份数据中,被子备份数据更改的数据,在连续的更新过程中的意义较小。
在一种可能的实现方式中,获取所述父备份数据中各个数据对应的第一数据更新位置,以及所述子备份数据中各个数据对应的第二数据更新位置;将所述第一数据更新位置与所述第二数据更新位置进行对比,确定所述父备份数据中各个数据的数据类型。
其中,该第一数据更新位置,用于指示父备份数据中各个数据在数据库更新过程中的更新位置;该第二数据更新位置用于指示子备份数据中各个数据在数据库更新过程中的更新位置。
在一种可能的实现方式中,将父备份数据中,与该第一数据更新位置与第二数据更新位置的重复位置对应的数据,确定为被子备份数据更改的数据;将父备份数据中,与该第一数据更新位置与第二数据更新位置中重复位置之外的位置对应的数据,确定为未被子备份数据更改的数据。
当父备份数据的各个数据中,存在某个数据对应的数据更新位置与子备份数据中数据的更新位置相同时,说明该数据在子备份数据中被指示需要再次更新,因此该数据在父备份数据中可以被确定为被子备份数据更改的数据;当父备份数据中的各个数据中,存在并未出现在子备份数据的各个数据对应的数据更新位置时,说明该数据在子备份数据中并未被再次更新,因此该数据在父备份数据中可以被确定为父备份数据更改的数据。
在一种可能的实现方式中,根据该父备份数据对应的第一位置序列,确定该父备份数据的各个数据对应的第一数据更新位置;根据该子备份数据中的各个数据对应的第二位置序列,确定该子备份数据的各个数据对应的数据更新位置。
其中,该父备份数据对应的第一位置序列,可以用于指示该父备份数据中的各个数据在数据库中对应的数据更新位置;该子备份数据对应的第二位置序列,可以用于指示该子备份数据中的各个数据在数据库中对应的数据更新位置。如图3中所示第三备份数据303,该第三备份数据303中数据块中的[1]和[0]分别是第三备份数据中的数据,而第三备份数据303对应的(0,7),即为该第三备份数据对应的位置序列,该位置序列可以指示该第三备份数据中数据1对应的数据更新位置为0,该第三备份数据中数据0对应的数据更新位置为7。
在一种具体的实现方式中,根据该父备份数据对应的第三位置序列,以及第三位置序列对应的位图集合,确定该父备份数据的各个数据对应的数据更新位置;根据该子备份数据中的各个数据对应的第四位置序列,以及该第四位置序列对应的位图集合,确定该子备份数据的各个数据对应的数据更新位置。
其中,该第三位置序列对应的位图集合中,包含与第三位置序列中的各个位置分别对应的位图数据;该第四位置序列对应的位图集合中,包含与第四位置序列中的各个位置分别对应的位图数据。该位图数据用于指示与位图数据对应的位置的数据的有效性。
在一种可能的实现方式中,将该第三位置序列中,位图数据为1的数据确定为有效序列,表示该位置对应的数据发生了改变,属于该节点下的增量备份数据,并根据序列顺序,与父备份数据之间的顺序进行一一对应,获得该父辈数据中各个数据对应的更新位置。
即第三位置序列保存的是某一段数据的数据序列时,该第三位置序列对应的位图(bitmap)可以用于指示该第三位置序列中有效的序列,并将父备份数据按照顺序,一一与该有效序列对应,获得该父备份数据的各个数据的数据更新位置。
请参考图6,其示出了本申请实施例涉及的一种数据更新位置确定示意图。如图6所示,对于父备份数据600来说,其中包含父备份数据中的各个数据601,以及该父备份数据对应的位置序列602,以及该位置序列对应的位图集合603。由于该父备份数据对应的位置序列602指示该父备份数据对应的位置为(1,2,3,4),且位图集合为1001,因此根据位置序列与位图集合的对应关系可知,该位置序列中有效序列为1和4,因此根据有效序列,可以得知父备份数据中的各个数据601中,数据5对应的更新位置为数据库610中的位置1,数据6对应的更新位置为数据库中的位置4。
步骤303,将该父备份数据的被该子备份数据更改的数据删除,获得第一更新数据。
由于父备份数据中的被子备份数据更改的数据,会在后续的备份还原过程中继续被子备份数据更改,因此可以先将该被子备份数据更改的数据删除,以提前释放部分内存,加快云服务器的存储的释放速度。
在一种可能的实现方式中,该备份数据中包含由该数据构成的数据对象;将该父备份数据中的数据对象中,由被该子备份数据更改的数据构成的数据对象删除,获得第一更新数据。
在数据库中,备份数据可以存储于包含多个数据的数据对象中,在备份数据的数据对象可以存储多个数据,并作为数据库中的一种数据存储方式。
当数据库中的备份数据包含数据对象时,即父备份数据中也可以包含各个数据对象,当父备份数据的各个数据对象中,存在由被子备份数据更改的数据构成的数据对象时,可以先将该由子备份数据更改的数据构成的数据对象删除,以提前释放部分内存。
请参考图7,其示出了本申请实施例涉及的一种数据对象删除方法示意图。如图7所示,父备份数据700中可能存在至少两种不同状态的数据对象,其中,数据对象701由被子备份数据710更改的数据(0,1位置对应的数据均会被子备份数据701再次更改)构成,数据对象702中包含不被子备份数据710更改的数据(2位置的数据不会被子备份数据701更改)。此时,对于包含不被子备份数据710更改的数据的数据对象702,其中存在的不被子备份数据710更改的数据,直接删除时,备份数据的缺失可能会导致数据库无法恢复到需要恢复的状态,此时,可以先将由被子备份数据710更改的数据构成的数据对象701删除,以实现在不影响备份还原结果的前提下,提前释放部分内存。
在另一种可能的实现方式中,当数据库中的备份数据包含数据对象时,且该数据对象中包含被子备份数据更改的数据时,直接将该被子备份数据更改的数据删除,获得新的数据对象,并根据各个新的数据对象获得第一更新数据。
步骤304,将该第一更新数据与该子备份数据进行合并,获得更新后的子备份数据。
由于第一更新数据中存在子备份数据未更新的数据,因此需要将第一更新数据中的数据信息,合并至子备份数据中,以便实现数据库可以正常通过子备份数据还原至子备份数据对应的数据库状态。
在一种可能的实现方式中,将该第一更新数据中的数据对象中,包含被该子备份数据更改的数据以及未被该子备份数据更改的数据的数据对象,与该子备份数据的数据对象合并,获得更新后的子备份数据的数据对象;将该第一更新数据中的数据对象中,由未被该子备份数据更改的数据构成的数据对象获取为更新后的子备份数据的数据对象。
当父备份数据以及子备份数据均通过数据对象来存储数据时,第一更新数据中的数据对象可能也存在两种类型,即全部由未被该子备份数据更改的数据构成的数据对象,以及由未被该子备份数据更改的数据以及被子备份数据更改的数据共同构成的数据对象。
对于全部由未被该子备份数据更改的数据构成的数据对象而言,其中各个数据均未被子备份数据再次更改,即该各个数据对数据库的更改操作都是不可丢失的,因此可以直接将该由未被该子备份数据更改的数据构成的数据对象,获取为更新后的子备份数据的数据对象。
而对于由未被该子备份数据更改的数据以及被子备份数据更改的数据共同构成的数据对象而言,其中既存在需要丢弃的,被子备份数据更改的数据;也存在不能被丢弃的,未被该子备份数据更改的数据,因此可以将该由未被该子备份数据更改的数据以及被子备份数据更改的数据共同构成的数据对象,与子备份中的数据对象进行合并操作,并获取为更新后的子备份数据的数据对象,以构成更新后的子备份数据。
请参考图8,其示出了本申请实施例涉及的一种数据对象合并示意图。如图8所示,对于第一更新数据800而言,其中包含了全部由未被该子备份数据更改的数据构成的数据对象(以下称为第一数据对象801),以及由未被该子备份数据更改的数据以及被子备份数据更改的数据共同构成的数据对象(以下称为第二数据对象802)。对于第一数据对象801而言,其可以直接获取为更新后的子备份数据820的数据对象821。而对于第二数据对象802而言,其被子备份数据810中的数据对象811更改了一部分,因此可以将第一备份数据中更改的一部分删除,并将剩余部分合并入数据对象811中,得到更新后的子备份数据中的数据对象822;子备份数据中的剩余部分直接获取为更新后的子备份数据820中的数据对象823。此时,可以认为完成了将父备份数据与子备份数据合并的过程。
在一种可能的实现方式中,将该第一更新数据中的数据对象中,包含被该子备份数据更改的数据以及未被该子备份数据更改的数据的数据对象,与该子备份数据的数据对象合并,获得合并数据对象;当该合并数据对象的数据数量大于第一阈值,将该合并数据对象拆分为至少两个更新后的子备份数据的数据对象。
当第一更新数据中,通过子备份数据的数据对象与父备份数据的数据对象合并得到的数据数量大于第一阈值时(例如数据数量大于5时),可以将该合并数据对象拆分为至少两个更新后的子备份数据,且拆分后得到的更新后的子备份数据的数据对象的数据数量小于第一阈值即可。
综上所述,在本申请实施例所示方案中,当需要删除具有子备份数据的父备份数据时,可以先将父备份数据中的数据与子备份数据之间的数据进行对比,确定父备份数据中各个数据是否被子备份数据更改,并将父备份数据中的各个数据分类为被子备份数据更改的数据和未被子备份数据更改的数据,再将父备份数据中各个数据的类型,将父备份数据中的各个数据更新到子备份数据中,从而在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
图9是根据一示例性实施例示出的一种云备份链数据备份方法的流程框图,该方法可以由图1所示的云备份链数据备份系统中的终端120以及云服务器110执行。如图9所示,该云备份链数据备份方法可以包括如下步骤。
S901,备份数据上传。
在本申请实施例涉及的云备份链数据备份系统中包含终端以及云服务器,终端可以通过客户端对虚拟机的数据卷做快照(以获得数据库快照),并将根据数据库快照之间的差异得到的増量备份发送至云服务器,以便云服务器接受到客户端发送的増量备份并保存至云存储中。
在一种可能的实现方式中,该快照可以被分割并存储至一个个数据对象中。图10示出了本申请实施例涉及的一种快照数据分割示意图。
根据一定顺序(例如栈的编号)对数据库中1001从头开始按定长开始进行划分(例如64KB大小),并对划分好的块按照一定顺序标记为块号;
连续读取若干个数据块1002(即数据对象,例如可以取总长度为1M的数据对象),同时创建一个bitmap用于记录这些数据块上是否有数据(例如标记为1的为有效数据,标记为0的则为无效数据)。
S902,备份数据上传。
将bitmap与数据块和对应块号(即数据对象对应的位置序列)组合成数据包,通过网络上传至云服务器进行存储。请参考图11,其示出了本申请实施例涉及的一种増量备份数据上传示意图。如图11所示,终端中的数据库在不同状态下分别生产快照1以及快照2,且终端根据如图10所示的操作,对基于快照1以及快照2生成的増量备份数据1101进行分割保存,并生成对应的位图以及元数据用于标记该増量备份数据1101的位置以及状态,以便上传至云服务器1110。
S903,终端向云端发送删除请求。
当需要删除某一备份数据时,且该备份数据存在子备份数据时,该备份客户端发送删除备份点的请求给云服务器,云服务器接收到该请求后,在云存储中检索该备份点对于的元数据对象,并将该元数据标记为待删除状态,当该待删除标记成功后将删除成功的信息发送至终端,此时终端接收到删除成功的信息,并删除本地数据库中的该备份点的信息;当该待删除标记未成功,则返回删除失败给终端,以告知终端,云端的备份数据删除失败。
S904,云端执行删除备份数据流程。
云服务器中可以运行有开机自启动守护进程scrub线程,以定期检索云服务器中存储的元数据,对标记为待删除状态的备份点进行删除,scrub进程删除备份点的过程,即为将待删除备份数据合并至下一个子备份数据中。
该待删除备份数据的删除过程可以包括以下步骤。
1.删除该备份数据(即父备份数据)不被子备份数据引用的数据对象,使得云端空间能快速释放。其中,备份数据的元数据中还保存有bitmap来记录每个数据对象中是否是该备份点有效的新数据,通过比较该备份数据和它的子备份数据对应的bitmap信息可以确定该数据对象是否被引用。
例如,当父备份数据中的某一数据对象中的数据,都是被子备份数据更改的数据,可以认为该数据对象是不被子备份数据引用的数据对象。即当父备份数据的某一数据对象中的各个数据,都需要在子备份数据更新时被再次更改,因此子备份数据的更新并不依赖该父备份数据中的该数据对象,因此可以将该数据对象确定为不被子备份数据引用的数据对象。
2.将待删除备份数据(即父备份数据)中被子备份数据引用的数据对象合并至子备份数据的数据对象(如果合并后的新数据对象过大,例如大于2MB时,则将其拆分为两个数据对象),更新子备份数据对应的元数据,删除待删除备份数据中被合并的数据对象。
3.当待删除备份数据所有被应用的数据对象合并完成后,更新该子备份数据的父节点为待删除备份的父备份数据。
4.当云端服务重启后,scrub进程会自启动,继续删除标记为待删除状态的备份数据。
请参考图12,其示出了本申请实施例涉及的一种合并数据示意图。其中,合并数据对象的过程可以如下所示。
第一次做了全量备份F1,对应在云端的元数据中保存这次备份有两个segment(元数据块),该两个元数据块为(f1_seg_0,f2_seg_1),每个元数据块描述一个云端的数据对象,它记录了该数据对象中包含数据的起始块和结束块(即起始数据的位置以及结束数据的位置),以及描述这段数据中有增量数据的bitmap(位图)。
第二次备份S1的时候第1和3个chunk(数据块)修改了,所以增量备份了这两个chunk到云端,s1_seg_0描述了保存的云端数据对象3中的增量数据,起始chunk号为1,结束chunk号为3,bitmap中的[1,0,1]表示第1个和第3个chunk的数据保存在数据对象3中。
第三次备份S2的时候第0和1个chunk修改了,云端保存了新的元数据s2_seg_0和数据对象4.
现在要删除中间的备份点S1,过程如下:
1.首先找到S1在云端中的元数据,元数据中包含所有segment的信息,按起始块递增排序处理所有数据对象,S1只有一个s1_seg_0。
2.找到S1的子备份点S2以及它的元数据信息,S2只有一个s2_seg_0。
3.将S1的segment s1_seg_0中bitmap表中为1,但是对应的chunk在S2的segments2_seg_0中bitmap表中为0或者不存在的bits合并,生成新的segment s2_seg_0_new元数据,它描述的是从chunk 0到3,有效的chunk是0,1,3。按照s2_seg_0_new的描述合并数据对象3和数据对象4中的chunk,得到新的数据对象4_new。
4.将合并好后新的数据对象4_new上传回云端。
5.将合并好后S2新的元数据块s2_seg_0_new上传回云端。
6.删除S2的数据对象4。
7.删除S1的数据对象3。
8.更新S1的元数据,删除其中的segment s1_seg_0,上传回云端。
9.按步骤3至8循环处理S1的所有segments,当其所有segments都被处理后,更新子备份点S2的元数据,将S2的父节点更新为F1。
10.删除S1的元数据,删除备份点S1完成。
通过上述方案,在删除备份点后云端存储空间占有量会下降,并且支持删除任意备份点,不影响其他备份点的使用。客户端在收到删除备份点成功后可以继续删除其他的备份点。
图13是根据一示例性实施例示出的一种云备份链数据管理方法的方法流程图,该方法可以由图1所示的云备份链数据备份系统中的终端120以及云服务器110共同执行,该方法包括:
S1301,终端发送删除备份点请求至云服务器。
可选的,在本申请实施例中,备份点用于指示该云服务器中存储的各个备份数据。例如,备份点中可以包含备份数据以及备份数据对应的备份标识,例如当某一备份点中存储有备份数据以及数值为3的备份标识,则可以说明该备份数据是序号为3的备份数据。
S1302,该云服务器接收到该删除备份点请求后,在云服务器中的云存储中检索待删除备份点对应的元数据对象,并将其标记为待删除状态。
可选的,该云服务器接收到该删除备份点请求后,根据该删除备份点请求中包含的备份标识,在云服务器存储的各个备份点中,确定与该删除备份点请求对应的备份点,并将其的元数据对象标记为待删除状态。
例如,当云服务器接收到待删除备份点请求时,并确定了与该待删除备份点请求对应的备份点后,对其元数据对象进行标记(例如修改该元数据对象的状态信息为待删除,或者给该元数据对象增加删除标记)。
S1303,该云服务器通过云端服务守护进程定期扫描该云存储中的元数据对象,并对该带有该待删除状态标记的元数据对象对应的待删除备份点实施删除。
S1304,待下一启动周期时,云端服务守护进程继续对下一个带有待删除标记的元数据对象对应的待删除备份点实施删除。
在一种可能的实现方式中,对带有删除标记的元数据对象对应的待删除备份点实施删除,可以通过如下方式实施:
将该待删除备份点的数据与下一备份点的数据进行合并,删除该待删除备份点数据,并删除该待删除备份点对应的元数据对象;
将该待删除备点的父节点更新为该下一备份点的父节点,更新元数据对象。
上述元数据对象以及父节点的删除过程可以参考图12对应的实施例所示内容,此处不再赘述。
在一种可能的实现方式中,将该待删除备份点的数据与下一备份点的数据进行合并,删除该待删除备份点的数据,并删除该待删除备份点对应的元数据对象,可以通过如下方式实施:
获取父备份数据,以及该父备份数据对应的子备份数据;该父备份数据是该待删除备份点的数据;该子备份数据是该待删除备份点的下一备份点的数据;
当需要删除该父备份数据时,将该父备份数据中的数据与该子备份数据中的数据进行对比,确定该父备份数据中各个数据的数据类型,该数据类型包括被该子备份数据更改的数据以及未被该子备份数据更改的数据;
基于该数据类型将该父备份数据中的该数据更新至该子备份数据中,得到更新后的子备份数据,并删除该待删除备份点对应的元数据对象,
将该待删除备点的父节点更新为该下一备份点的父节点,更新元数据对象。
其中,上述待删除备份点的删除过程可以参考图2、图4及图9任一所示的实施例中记载的备份点删除过程,此处不再赘述。
综上所述,在本申请实施例所示方案中,当需要删除具有子备份数据的父备份数据时,可以先将父备份数据中的数据与子备份数据之间的数据进行对比,确定父备份数据中各个数据是否被子备份数据更改,并将父备份数据中的各个数据分类为被子备份数据更改的数据和未被子备份数据更改的数据,再将父备份数据中各个数据的类型,将父备份数据中的各个数据更新到子备份数据中,从而在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
并且,在图13所示实施例中,备份客户端发送删除备份点的请求给云端服务,云端服务收到该请求后,在云存储中检索该备份点对应的元数据对象,将该元数据标记为待删除状态,只要待删除状态标记成功就返回成功给客户端,客户端删除本地数据库中该备份点的信息,删除备份点成功;否则返回失败给客户端,备份点删除失败。即当删除标记成功后,客户端就认为该备份点已经删除成功,当云端在后台执行备份点删除操作时,客户端无需等待删除备份点完成后就可以对其他备份点执行删除或恢复等操作,提高了客户端的运行效率。
图14是根据一示例性实施例示出的一种云备份链数据备份装置的结构方框图。该云备份链数据备份装置包括:
备份数据获取模块1401,用于获取父备份数据,以及所述父备份数据对应的子备份数据;
数据类型确定模块1402,用于当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
数据更新模块1403,用于基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据。
在一种可能的实现方式中,所述数据类型获取模块,包括:
更新位置获取单元,用于获取所述父备份数据中各个数据对应的第一数据更新位置,以及所述子备份数据中各个数据对应的第二数据更新位置;
数据类型获取单元,用于将所述第一数据更新位置与所述第二数据更新位置进行对比,确定所述父备份数据中各个数据的数据类型。
在一种可能的实现方式中,所述数据更新模块,包括:
数据删除单元,用于将所述父备份数据的被所述子备份数据更改的数据删除,获得第一更新数据;
数据合并单元,用于将所述第一更新数据与所述子备份数据进行合并,获得更新后的子备份数据。
在一种可能的实现方式中,所述备份数据中包含由所述数据构成的数据对象;
所述数据删除单元,还用于,
将所述父备份数据中的数据对象中,由被所述子备份数据更改的数据构成的数据对象删除,获得第一更新数据。
在一种可能的实现方式中,所述数据更新单元,包括以下至少一者:
数据合并子单元,用于将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得更新后的子备份数据的数据对象;
数据获取子单元,用于将所述第一更新数据中的数据对象中,由未被所述子备份数据更改的数据构成的数据对象获取为更新后的子备份数据的数据对象。
在一种可能的实现方式中,所述数据获取子单元,还用于,
所述将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得合并数据对象;
当所述合并数据对象的数据数量大于第一阈值,将所述合并数据对象拆分为至少两个更新后的子备份数据的数据对象。
综上所述,在本申请实施例所示方案中,当需要删除具有子备份数据的父备份数据时,可以先将父备份数据中的数据与子备份数据之间的数据进行对比,确定父备份数据中各个数据是否被子备份数据更改,并将父备份数据中的各个数据分类为被子备份数据更改的数据和未被子备份数据更改的数据,再将父备份数据中各个数据的类型,将父备份数据中的各个数据更新到子备份数据中,从而在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
图15是根据一示例性实施例示出的一种云备份链数据管理装置的结构方框图。该云备份链数据管理装置包括:
备份点发送模块1501,用于指示终端发送删除备份点请求至云服务器;
删除点标记模块1502,用于指示所述云服务器接收到所述删除备份点请求后,在所述云服务器中的云存储中检索待删除备份点对应的元数据对象,并将其标记为待删除状态。
第一备份删除模块1503,用于指示所述云服务器通过云端服务守护进程定期扫描所述云存储中的元数据对象,并对带有所述待删除状态标记的元数据对象对应的待删除备份点实施删除;
第二删除备份模块1504,用于待下一启动周期时,指示所述云端服务守护进程继续对下一个带有所述待删除标记的元数据对象对应的所述待删除备份点实施删除。
其中,所述第一备份删除模块,还包括:
备份点数据删除单元,用于将所述待删除备份点的数据与下一备份点的数据进行合并,删除所述待删除备份点数据,并删除所述待删除备份点对应的元数据对象;
元数据对象更新单元,用于将所述待删除备点的父节点更新为所述下一备份点的父节点,更新元数据对象。
在一种可能的实现方式中,所述备份点数据删除单元,还用于,
获取父备份数据,以及所述父备份数据对应的子备份数据;所述父备份数据是所述待删除备份点的数据;所述子备份数据是所述待删除备份点的下一备份点的数据;
当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据,并删除所述待删除备份点对应的元数据对象,
将所述待删除备点的父节点更新为所述下一备份点的父节点,更新元数据对象。
综上所述,当需要删除具有子备份数据的父备份数据时,可以先将父备份数据中的数据与子备份数据之间的数据进行对比,确定父备份数据中各个数据是否被子备份数据更改,并将父备份数据中的各个数据分类为被子备份数据更改的数据和未被子备份数据更改的数据,再将父备份数据中各个数据的类型,将父备份数据中的各个数据更新到子备份数据中,从而在将父备份数据与子备份数据的合并过程中,考虑到了子备份数据与父备份数据之间的关系,提高了子备份数据与父备份数据的合并效率。
并且,在图15所示实施例中,基于与图13所示实施例相同的理由,客户端无需等待删除备份点完成后就可以对其他备份点执行删除或恢复等操作,提高了客户端的运行效率。
图16是本申请一示例性实施例示出的计算机设备1600的结构框图。该计算机设备可以实现为本申请上述方案中的终端或服务器。所述计算机设备1600包括中央处理单元(Central Processing Unit,CPU)1601、包括随机存取存储器(Random Access Memory,RAM)1602和只读存储器(Read-Only Memory,ROM)1603的系统存储器1604,以及连接系统存储器1604和中央处理单元1601的系统总线1605。所述计算机设备1600还包括用于存储操作系统1609、应用程序1610和其他程序模块1611的大容量存储设备1606。
所述大容量存储设备1606通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。所述大容量存储设备1606及其相关联的计算机可读介质为计算机设备1600提供非易失性存储。也就是说,所述大容量存储设备1606可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory,EEPROM)闪存或其他固态存储其技术,CD-ROM、数字多功能光盘(DigitalVersatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1606可以统称为存储器。
根据本公开的各种实施例,所述计算机设备1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1600可以通过连接在所述系统总线1605上的网络接口单元1607连接到网络1608,或者说,也可以使用网络接口单元1607来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条计算机程序,所述至少一条计算机程序存储于存储器中,中央处理器1601通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2、图4、图9与图13任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (14)
1.一种云备份链数据备份方法,其特征在于,所述方法包括:
获取父备份数据,以及所述父备份数据对应的子备份数据;
当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据。
2.根据权利要求1所述的云备份链数据备份方法,其特征在于,所述将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中的各个数据的数据类型,包括:
获取所述父备份数据中各个数据对应的第一数据更新位置,以及所述子备份数据中各个数据对应的第二数据更新位置;
将所述第一数据更新位置与所述第二数据更新位置进行对比,以确定所述父备份数据中各个数据的数据类型。
3.根据权利要求2所述的云备份链数据备份方法,其特征在于,所述获取所述父备份数据中各个数据对应的第一数据更新位置,以及所述子备份数据中各个数据对应的第二数据更新位置,包括:
获取所述父备份数据对应的第一位置序列,以及所述第一位置序列中各个位置对应的位图数据;所述第一位置序列用于指示在所述数据库中,所述父备份数据更新的数据段;
将所述第一位置序列中位图数据为1的位置序列确定为第一增量序列,并根据第一增量序列的序列顺序确定所述父备份数据中各个数据对应的第一数据更新位置;
获取所述子备份数据对应的第二位置序列,以及所述第二位置序列中各个位置对应的位图数据;所述第二位置序列用于指示在所述数据库中,所述子备份数据更新的数据段;
将所述第二位置序列中位图数据为1的位置序列确定为第二增量序列,并根据第二增量序列的序列顺序,确定所述子备份数据中各个数据对应的第二数据更新位置。
4.根据权利要求1至3任一所述的云备份链数据备份方法,其特征在于,所述基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据,包括:
将所述父备份数据的被所述子备份数据更改的数据删除,获得第一更新数据;
将所述第一更新数据与所述子备份数据进行合并,获得更新后的子备份数据。
5.根据权利要求4所述的云备份链数据备份方法,其特征在于,所述备份数据中包含由所述数据构成的数据对象;
所述将所述父备份数据的被所述子备份数据更改的数据删除,获得第一更新数据,包括:
将所述父备份数据中的数据对象中,由被所述子备份数据更改的数据构成的数据对象删除,获得第一更新数据。
6.根据权利要求5所述的云备份链数据备份方法,其特征在于,所述将所述第一更新数据与所述子备份数据进行合并,获得更新后的子备份数据,包括以下至少一者:
将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得更新后的子备份数据的数据对象;
将所述第一更新数据中的数据对象中,由未被所述子备份数据更改的数据构成的数据对象获取为更新后的子备份数据的数据对象。
7.根据权利要求6所述的云备份链数据备份方法,其特征在于,所述将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得更新后的子备份数据的数据对象,包括:
所述将所述第一更新数据中的数据对象中,包含被所述子备份数据更改的数据以及未被所述子备份数据更改的数据的数据对象,与所述子备份数据的数据对象合并,获得合并数据对象;
当所述合并数据对象的数据数量大于第一阈值,将所述合并数据对象拆分为至少两个更新后的子备份数据的数据对象。
8.一种云备份链数据管理方法,其特征在于,所述方法包括:
终端发送删除备份点请求至云服务器;
所述云服务器接收到所述删除备份点请求后,在所述云服务器中的云存储中检索待删除备份点对应的元数据对象,并将其标记为待删除状态;
所述云服务器通过云端服务守护进程定期扫描所述云存储中的元数据对象,并对带有所述待删除状态标记的元数据对象对应的待删除备份点实施删除;
待下一启动周期时,所述云端服务守护进程继续对下一个带有所述待删除标记的元数据对象对应的所述待删除备份点实施删除。
9.根据权利要求8所述的方法,其特征在于,所述对带有所述删除标记的元数据对象对应的待删除备份点实施删除,包括:
将所述待删除备份点的数据与下一备份点的数据进行合并,删除所述待删除备份点数据,并删除所述待删除备份点对应的元数据对象;
将所述待删除备点的父节点更新为所述下一备份点的父节点,更新元数据对象。
10.根据权利要求9所述的方法,其特征在于,所述将所述待删除备份点的数据与下一备份点的数据进行合并,删除所述待删除备份点的数据,并删除所述待删除备份点对应的元数据对象,包括:
获取父备份数据,以及所述父备份数据对应的子备份数据;所述父备份数据是所述待删除备份点的数据;所述子备份数据是所述待删除备份点的下一备份点的数据;
当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据,并删除所述待删除备份点对应的元数据对象。
11.一种云备份链数据备份装置,其特征在于,所述装置包括:
备份数据获取模块,用于获取父备份数据,以及所述父备份数据对应的子备份数据;
数据类型确定模块,用于当需要删除所述父备份数据时,将所述父备份数据中的数据与所述子备份数据中的数据进行对比,确定所述父备份数据中各个数据的数据类型,所述数据类型包括被所述子备份数据更改的数据以及未被所述子备份数据更改的数据;
数据更新模块,用于基于所述数据类型将所述父备份数据中的所述数据更新至所述子备份数据中,得到更新后的子备份数据。
12.一种云备份链数据管理装置,其特征在于,所述装置包括:
备份点发送模块,用于指示终端发送删除备份点请求至云服务器;
删除点标记模块,用于指示所述云服务器接收到所述删除备份点请求后,在所述云服务器中的云存储中检索待删除备份点对应的元数据对象,并将其标记为待删除状态;
第一备份删除模块,用于指示所述云服务器通过云端服务守护进程定期扫描所述云存储中的元数据对象,并对带有所述待删除状态标记的元数据对象对应的待删除备份点实施删除;
第二删除备份模块,用于待下一启动周期时,指示所述云端服务守护进程继续对下一个带有所述待删除标记的元数据对象对应的所述待删除备份点实施删除。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现权利要求1至7任一所述的云备份链数据备份方法;
或者,所述至少一条指令由所述处理器加载并执行如权利要求8至10任一所述的云备份链数据管理方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现权利要求1至7任一所述的云备份链数据备份方法;
或者,所述至少一条指令由处理器加载并执行以实现如权利要求8至10任一所述的云备份链数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110832795.2A CN113535482B (zh) | 2021-07-22 | 2021-07-22 | 云备份链数据备份方法及装置、设备、可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110832795.2A CN113535482B (zh) | 2021-07-22 | 2021-07-22 | 云备份链数据备份方法及装置、设备、可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113535482A true CN113535482A (zh) | 2021-10-22 |
CN113535482B CN113535482B (zh) | 2024-03-19 |
Family
ID=78120524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110832795.2A Active CN113535482B (zh) | 2021-07-22 | 2021-07-22 | 云备份链数据备份方法及装置、设备、可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113535482B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117435403A (zh) * | 2023-12-21 | 2024-01-23 | 成都云祺科技有限公司 | 永久增备中处理索引合并方法、系统及无效数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9753672B1 (en) * | 2013-06-27 | 2017-09-05 | EMC IP Holding Company LLC | Method and system for parent backup application driving of children backup applications |
CN107608827A (zh) * | 2016-06-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 包配置文件的备份方法及终端和相关介质产品 |
CN112463450A (zh) * | 2020-11-27 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种增量备份管理方法、系统、电子设备及存储介质 |
CN112631826A (zh) * | 2019-10-09 | 2021-04-09 | 中移(苏州)软件技术有限公司 | 一种备份处理方法、装置及计算机可读存储介质 |
-
2021
- 2021-07-22 CN CN202110832795.2A patent/CN113535482B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9753672B1 (en) * | 2013-06-27 | 2017-09-05 | EMC IP Holding Company LLC | Method and system for parent backup application driving of children backup applications |
CN107608827A (zh) * | 2016-06-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 包配置文件的备份方法及终端和相关介质产品 |
CN112631826A (zh) * | 2019-10-09 | 2021-04-09 | 中移(苏州)软件技术有限公司 | 一种备份处理方法、装置及计算机可读存储介质 |
CN112463450A (zh) * | 2020-11-27 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种增量备份管理方法、系统、电子设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117435403A (zh) * | 2023-12-21 | 2024-01-23 | 成都云祺科技有限公司 | 永久增备中处理索引合并方法、系统及无效数据处理方法 |
CN117435403B (zh) * | 2023-12-21 | 2024-03-12 | 成都云祺科技有限公司 | 永久增备中处理索引合并方法、系统及无效数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113535482B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11327799B2 (en) | Dynamic allocation of worker nodes for distributed replication | |
US11010240B2 (en) | Tracking status and restarting distributed replication | |
US10761765B2 (en) | Distributed object replication architecture | |
US7478113B1 (en) | Boundaries | |
US20200167238A1 (en) | Snapshot format for object-based storage | |
CN106547859B (zh) | 一种多租户数据存储系统下的数据文件的存储方法及装置 | |
US10387271B2 (en) | File system storage in cloud using data and metadata merkle trees | |
US20190227710A1 (en) | Incremental data restoration method and apparatus | |
CN113064760B (zh) | 数据库合成备份方法、装置、计算机设备和存储介质 | |
CN112925676A (zh) | 一种基于wal实现分布式数据库集群任意时间点恢复的方法 | |
CN114968966A (zh) | 分布式元数据远程异步复制方法、装置和设备 | |
CN109947730B (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
CN113918388A (zh) | 一种数据恢复方法、装置、设备及存储介质 | |
CN108271420B (zh) | 管理文件的方法、文件系统和服务器系统 | |
WO2018059239A1 (zh) | 一种文件存储方法及装置 | |
CN113535482B (zh) | 云备份链数据备份方法及装置、设备、可读介质 | |
CN113419897B (zh) | 一种文件处理方法、装置、电子设备及其存储介质 | |
CN113761059A (zh) | 数据处理方法及装置 | |
CN110866068B (zh) | 一种基于hdfs的公告数据存储方法及其装置 | |
WO2017067397A1 (zh) | 一种数据恢复方法和装置 | |
JP3896077B2 (ja) | 計算機システムおよびファイル管理方法 | |
CN113886352B (zh) | 分布式文件系统的元数据恢复方法、装置、设备及介质 | |
CN114138559A (zh) | 一种基于合成技术的快速备份方法及系统 | |
CN111698330B (zh) | 存储集群的数据恢复方法、装置及服务器 | |
CN108874592B (zh) | 一种针对Log-structured存储引擎的数据冷备方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |