CN114625564A - 文件备份方法、装置及设备 - Google Patents
文件备份方法、装置及设备 Download PDFInfo
- Publication number
- CN114625564A CN114625564A CN202011423886.2A CN202011423886A CN114625564A CN 114625564 A CN114625564 A CN 114625564A CN 202011423886 A CN202011423886 A CN 202011423886A CN 114625564 A CN114625564 A CN 114625564A
- Authority
- CN
- China
- Prior art keywords
- deconstruction
- storage area
- file
- changed
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000015654 memory Effects 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000011084 recovery Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 101150067113 prxl2a gene Proteins 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件备份方法、装置及设备,该方法包括:当基于预设的备份周期检测到解构存储区中的文件发生更改时,将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定值;将解构日志以及更改后的文件备份至被备份端,以使得被备份端根据解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区,并根据接收到的更改后的文件对待更改解构存储区中的文件进行备份。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种文件备份方法、装置及设备。
背景技术
相关技术中,在进行文件备份时,通常是将文件备份到可移动介质,如磁 带,光盘等,然后再通过物流运输到异地进行保存。由于物流、人力以及管理 成本较高,且可移动介质的存放和管理不易,因此,相关技术中的文件备份的 成本较高。
发明内容
本发明实施例提供一种文件备份方法、装置及设备,以解决相关技术中文 件备份成本较高的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,提供了一种文件备份方法,应用于主备份端,所述方法包括:
当基于预设的备份周期检测到解构存储区中的文件发生更改时,将解构日 志中与文件发生更改的解构存储区对应的状态值修改为指定值;其中,所述解 构日志包括解构存储区与状态值之间的对应关系,所述状态值用于表征对应的 解构存储区中的文件相对于上一备份周期是否发生了更改;
将解构日志以及更改后的文件备份至被备份端,以使得所述被备份端根据 所述解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区,并 根据接收到的更改后的文件对所述待更改解构存储区中的文件进行备份。
第二方面,提供了一种文件备份方法,应用于被备份端,所述方法包括:
接收主备份端基于预设的备份周期发送的解构日志以及更改后的文件;其 中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状态值用于 表征对应的解构存储区中的文件是否在当前备份周期内发生了更改;
根据所述解构日志中对应状态值为指定值的解构存储区确定待更改解构 存储区;
根据所述待更改解构存储区以及接收到的更改后的文件对所述待更改解 构存储区中的文件进行备份。
第三方面,提供了一种文件备份装置,应用于主备份端,所述装置包括:
修改模块,用于当基于预设的备份周期检测到解构存储区中的文件发生更 改时,将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定 值;其中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状态 值用于表征对应的解构存储区中的文件是否在当前备份周期内发生了更改;
发送模块,用于将解构日志以及更改后的文件备份至被备份端,以使得所 述被备份端根据所述解构日志中对应状态值为指定值的解构存储区确定待更 改解构存储区,并根据接收到的更改后的文件对所述待更改解构存储区中的文 件进行备份。
第四方面,提供了一种文件备份装置,所述装置包括:
接收模块,用于基于预设的备份周期接收被备份端备份的解构日志以及更 改后的文件;其中,所述解构日志包括解构存储区与状态值之间的对应关系, 所述状态值用于表征对应的解构存储区中的文件是否在当前备份周期内发生 了更改;
确定模块,用于根据所述解构日志中对应状态值为指定值的解构存储区确 定待更改解构存储区;
备份模块,用于根据所述待更改解构存储区以及接收到的更改后的文件对 所述待更改解构存储区中的文件进行备份。
第五方面,提供了终端,包括:存储器、处理器及存储在所述存储器上并 可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实 现如上述第一方面或第二方面所述的方法的步骤。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上 存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或第 二方面所述的方法的步骤。
本发明实施例提供的上述至少一个技术方案可以达到如下技术效果:
在进行文件备份时,不需要对所有的文件进行备份,只需要根据文件发生 改变的解构存储区来进行文件备份,由于不用全量备份,因此,无需对网络有 较高的要求,从而可以有效解决相关技术中的文件备份成本较高的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部 分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不 当限定。在附图中:
图1为本发明一个实施例提供的文件备份方法的流程示意图之一;
图2为本发明一个实施例提供的文件备份方法的流程示意图之二;
图3为本发明一个实施例提供的文件备份装置300的模块组成示意图;
图4为本发明一个实施例提供的文件备份装置400的模块组成示意图之 一;
图5为本发明一个实施例提供的文件备份装置400的模块组成示意图之 二;
图6为本发明一个实施例提供的文件备份装置400的模块组成示意图之 三;
图7为本发明一个实施例提供的文件备份设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实 施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的 实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施 例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例,都属于本发明保护的范围。
以下结合附图,详细说明本发明各实施例提供的技术方案。
请参见图1,图1为本发明一个实施例提供的文件备份方法的流程示意图 之一,如图1所示,该方法包括以下步骤:
步骤102:当基于预设的备份周期检测到解构存储区中的文件发生更改时, 将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定值。
步骤104:将解构日志以及更改后的文件备份至被备份端,以使得被备份 端根据解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区, 并根据接收到的更改后的文件对待更改解构存储区中的文件进行备份。
在本实施例中,主备份端可以预设多个解构存储区,并在所有的文件存储 在该多个解构存储区中,其中,不同的解构存储区的内存大小相同。
在一个示例中,解构存储区可以是根据预设的第一解构参数来确定的,其 中,该预设的第一解构参数可以为文件系统最小读写单元,如磁盘或卷组的最 小读写单元的N倍,N可以为正整数。
在本示例中,第一解构参数可以根据实际环境来进行调整,例如,当主备 份端上的大文件较多时,第一解构参数可以较小;当主备份端上的小文件较多 时,第一解构参数可以较大。
当第一解构参数越大时,对应的解构存储区的内存大小越大,此时,主备 份端上的解构存储区的数量越少;而当第一解构参数越小时,对应的解构存储 区的内存大小越小,此时,主备份端上的解构存储区的数量越多。
需要说明的是,由于解构存储区时根据第一解构参数确定的,因此,当第 一解构参数变化时,如相关人员手动更改了第一解构参数时,主备份端可以重 新确定解构存储区。
在本实施例中,主备份端可以基于预设的备份周期来检测解构存储区中的 文件是否发生更改。当检测到解构存储区中的文件发生更改时,主备份端可以 将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定值。
在上述实施例中,当主备份端检测到解构区域中的文件相对于上一备份周 期发生变化时,可以确定检测到解构存储区中的文件发生了更改。
在一个示例中,主备份端可以只确定解构区域的文件是否相对于上一备份 周期发生了变化,而无需确定变化的次数、每次变化的内容等,从而可以有效 地减小备份数据量,同时,也可以有效降低数据处理量。
在一个实施例中,主备份端上可以预先生成解构日志。其中,解构日志可 以包括解构存储区域与状态值之间的对应关系,状态值可以用于表征对应的解 构存储区中的文件相对于上一备份周期是否发生了更改。
例如,解构日志可以如表1所示:
表1
解构存储区 | 状态值 |
C-1 | N |
C-2 | Y |
… | … |
其中,表1中的状态值N可以用于表征其对应的解构存储区,即解构存储 区C-1中的文件相对于上一备份周期未发生更改;表1中的状态值Y可以用于 表征其对应的解构存储区,即解构存储区C-2中的文件相对于上一备份周期发 生了更改。
在一个示例中,主备份端可以先进行初次备份,即将所有的文件全量备份 到被备份端,然后,根据第一解构参数生成解构日志,此时,解构日志中与任 一解构存储区域对应的状态值可以表征对应的解构存储区中的文件相对于上 一备份周期未发生更改。
例如,当状态值为1时,可以表征对应的解构存储区中的文件相对于上一 备份周期发生了更改;当状态值为0时,可以表征对应的解构存储区中的文件 相对于上一备份周期未发生更改。则当主备份端进行初次备份,并根据第一解 构参数生成解构日志时,解构日志中与任一解构存储区域对应的状态值可以为 0。
在本实施例中,主备份端在检测到解构存储区中的文件发生更改时,可以 将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定值,如上 述示例中的1,当然,该指定值可以为数字也可以为其他字符,本实施例对此 不做限制。
在将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定 值后,主备份端可以将解构日志以及更改后的文件备份到被备份端,以使得被 备份端根据解构日志中对应状态值为指定值的解构存储区确定待更改解构存 储区,并根据接收到的更改后的文件对待更改解构存储区中的文件进行备份。
由上述内容可知,在本实施例中,当基于预设的备份周期检测到解构存储 区中的文件发生更改时,主备份端可以将解构日志中与文件发生更改的解构存 储区对应的状态值修改为指定值,然后,将解构日志以及更改后的文件备份至 被备份端,以使得被备份端根据解构日志中对应状态值为指定值的解构存储区 确定待更改解构存储区,并根据接收到的更改后的文件对待更改解构存储区中 的文件进行备份。
由本实施例公开的内容可知,本实施例在进行文件备份时,不需要对所有 的文件进行备份,只需要根据文件发生改变的解构存储区来进行文件备份,由 于不用全量备份,因此,无需对网络有较高的要求,从而可以有效解决相关技 术中的文件备份成本较高的问题。
请参见图2,图2为本发明一个实施例提供的文件备份方法的流程示意图 之二,如图2所示,该方法包括以下步骤:
步骤202:接收主备份端基于预设的备份周期发送的解构日志以及更改后 的文件;其中,解构日志包括解构存储区与状态值之间的对应关系,状态值用 于表征对应的解构存储区中的文件是否在当前备份周期内发生了更改。
步骤204:根据解构日志中对应状态值为指定值的解构存储区确定待更改 解构存储区。
步骤205:根据待更改解构存储区以及接收到的更改后的文件对待更改解 构存储区中的文件进行备份。
在本实施例中,被备份端可以预设多个解构存储区,并将接收到的所有的 备份文件存储在该多个解构存储区中,其中,不同的解构存储区的内存大小相 同。
在一个实施例中,被备份端上的解构存储区可以是根据预设的第二解构参 数来确定的,其中,该预设的第二解构参数可以为文件系统最小读写单元,如 磁盘或卷组的最小读写单元的M倍,M可以为正整数。
在一个实施例中,第二解构参数可以与上一实施例中的第一解构参数相 同。
在本示例中,第二解构参数可以根据实际环境来进行调整,例如,当被备 份端上的大文件较多时,第二解构参数可以较小;当被备份端上的小文件较多 时,第二解构参数可以较大。
需要说明的是,当第一解构参数变化时,第二解构参数也可以随着第一解 构参数一起变化。
在一个实施例中,被备份端上的解构存储区的数量可以大于或等于主备份 端上的解构存储区的数量,由于解构参数越小时,对应的解构存储区的内存大 小越小、解构存储区的数量越多,因此,第二解构参数可以小于或等于第一解 构参数。
在本实施例中,被备份端可以接收主备份端基于预设的备份周期发送的解 构日志以及更改后的文件。其中,解构日志可以包括解构区与状态值之间的对 应关系,状态值可以用于表征对应的解构存储区中的文件是否在当前备份周期 内发生了更改。
由于解构日志的相关内容已在上一实施例中详述,因此,本实施例对此不 再赘述。
在接收到解构日志以及更改后的文件后,主备份端可以获取解构日志中对 应状态值为指定值的解构存储区。
例如,指定值可以为M,解构日志可以如表2所示,则可以将解构存储区 C05确定为对应状态值为指定值的解构存储区。
表2
解构存储区 | 状态值 |
C05 | M |
C06 | N |
… | … |
被备份端可以根据对应状态值为指定值的解构存储区确定待更改解构存 储区。
在一个示例中,被备份端可以根据预设的解构存储区对应关系以及解构日 志中对应状态值为指定值的解构存储区来确定待更改解构存储区。其中,解构 存储区对应关系可以包括主备份端的解构存储区与被备份端的解构存储区之 间的对应关系。
例如,解构存储区对应关系可以如表3所示,若被备份端获取的解构日志 如表2所示,指定值为M,则可以将被备份端上的解构存储区B-5确定为待更 改解构存储区。
表3
主备份端-解构存储区 | 被备份端-解构存储区 |
C05 | B-5 |
C06 | B-6 |
… | … |
在上述实施例中,被备份端预设的解构存储区对应关系可以是被备份端与 主备份端进行协商后确定的,也可以是相关人员手动设置的,本实施例对此不 做限制;主备份端上可以存储有该解构存储区对应关系,也可以不存储有该解 构存储区对应关系,本实施例对此同样不做限制。
在确定待更改解构存储区后,被备份端可以根据待更改解构存储区以及接 收到的更改后的文件对待更改解构存储区中的文件进行备份。
在一个示例中,被备份端可以直接将待更改解构存储区中的文件更换为接 收到的更改后的文件,从而完成对待更改解构存储区中的文件的备份。
在一个实施例中,被备份端在接收主备份端基于预设的备份周期发送的解 构日志以及更改后的文件之前,还可以进行初次备份。具体地,主备份端可以 将所有的文件全量发送至被备份端,被备份端可以接收全量文件,并对该全量 文件进行备份,并生成对应的重构映像。
在完成待更改解构存储区中的文件的备份后,被备份端可以将该新备份的 内容链接至重构映像的解构区域中,形成一份完整的基于再次备份时的全量重 构映像以便于后续文件恢复。
由于被备份端可以形成了一个新的全量重构映像,所以在恢复过程中不需 要进行多次恢复,提升了恢复的便捷性,缩短了恢复时间。
在本实施例中,被备份端可以将备份文件传输至其他主备份端,其他主备 份端可以为除了被备份端以及上述实施例中的主备份端以外的其他主备份端, 如灾备备份主备份端等。
其中,被备份端在进行备份文件传输时,可以通过传输位表监测备份文件 的传输状态;其中,传输位表可以包括与其他主备份端对应的备份文件的传输 状态,传输状态至少包括以下之一:传输完成、未排队、已排队、已出栈。
在一个示例中,被备份端可以将备份文件传输至生产容灾系统中的灾备备 份系统中。该生产容灾系统可以包括上一实施例中的主备份端、被备份端以及 生产容灾系统。其中,被备份端可以分别与主备份端以及生产容灾系统进行数 据连接,并基于数据连接进行数据传输。
被备份端在将备份文件传输至灾备备份系统时,可以将备份文件tar包组 成块,并根据块的先后顺序进入传输缓冲堆栈。当tar包组成块进入传输缓冲 堆栈的同时,系统传输位表如表4、表5以及表6所示开始记录和维护:
表4
表5
表6
由表4、表5以及表6可知,BC00001和BC00002两个序列的001和0A2 这两个数据块先后进入传输缓冲堆栈,传输位表中的被备份端序列进行记录 “已排队”。待这两个数据块出堆栈准备传输到灾备端备份系统的时候,传输 位表中的传输缓冲堆栈序列记录为“已出栈”。待灾备备份系统接收到这两个 数据块并反馈给被备份端时,传输位表中的灾备备份系统序列更新为“传输完 成”,同时被备份端序列也更新为传输完成。
待传输全部完成,灾备端备份系统备份tar包也收包完成,同时把收包完 成信息反馈给被备份端。
由于所有被备份端备份出来的文件或者数据库都是*.tar这样的备份压缩 格式,而这样格式的文件是不能直接进行打开或者使用的,只有使用被备份端 恢复文件或者数据库的时候,tar包会同时解压缩为原文件,所以灾备端备份 系统如果要直接开打数据库并且实现副本拷贝,则需要完成tar包恢复到临时 库并提取出数据库镜像拷贝的过程。因此,在收包完成后,灾备端备份系统tar 包可以根据预设的策略或相关人员的手动触发到临时中转库的取镜像拷贝。
在一个实施例中,被备份端在进行文件备份后,当检测到针对同一存储区 域的至少一个操作时,可以分别确定与至少一个操作对应的副本拷贝区;其中, 副本拷贝区的寻址指针指向同一存储区域,副本拷贝区中的文件与同一存储区 域中的文件相同,分别将至少一个操作对应的操作区域更改为对应的副本拷贝 区,以使得至少一个操作分别对对应的副本拷贝区进行操作,以保护文件备份 母本,从而实现在应急状态下的文件恢复以及容灾。
在本实施例中,被备份端在检测到针对同一存储区域的至少一个操作时, 可以在不破坏文件备份母本的情况下,创建至少一份拷贝副本来供该至少一个 操作使用,以使得该至少一个操作操作的是拷贝副本,而非文件备份母本。该 至少一个操作操作的内容会被记录在副本拷贝区中,此时,副本拷贝区以及至 少一个操作对应的原写入区域一起形成操作后的全量内容。
被备份端可以生成副本拷贝位表来记录上述过程,在一个示例中,副本拷 贝位表可以如表7所示:
表7
表7中,LCOPY1以及LCOPY2可以表示操作用户。由表7可知,用户LCOPY1 操作后的全量数据为块地址0A2对应的文件;LCOPY2操作后的全量数据为块地 址F2Y以及块地址0A3中的文件之和。
表7中的写标志位可以标识对应的块地址是否被复写,若被复写则为1; 若未被复写则为0。
下面结合上述表7进行详细的说明:
在获取到用户LCOPY2提出的使用一份副本拷贝需求后,被备份端可以快 速生成该用户的副本拷贝位表,此时的副本拷贝位表只涉及到逻辑指针管理, 不涉及到具体的磁盘读写操作。
然后,被备份端可以创建该用户的副本拷贝区,这个副本拷贝区在被备份 端上对应一个新的逻辑卷或文件系统,这个逻辑卷或者文件系统中的数据此刻 和该用户想要操作的原始文件母本一致,但是并不带来额外的存储开销,因为, 此时它的寻址指针始终指向原始文件母本块地址。这个逻辑卷或文件系统可以 通过NFS(网络文件系统)的方式挂载给其他系统直接进行访问或使用。
当有对应块的读操作时,被备份端的该副本拷贝位表会把这个读操作请求 通过指针指引到原始文件母本对应的块进行读取;而当有对应块的写操作时, 原始文件母本这个块地址被写操作请求,首先在该用户的副本拷贝位表的原始 数据区写标志位被置“1”,表示对应的数据块会被复写。然后在副本拷贝位 表的副本拷贝区的块地址记录下新的落盘位置,并更新指针0A3→F2Y,指针更 新后,该用户的写操作真正落盘到F2Y块,并最后将用户最终寻址区的块指针 维护更新为“LCOPY2:0A3→F2Y”,这表示用户LCOPY2对应原始文件母本块 0A3被更新落盘存放到新地址F2Y。
在一个实施例中,当检测到针对同一存储区域的多个操作时,可以分别确 定与该多个操作对应的副本拷贝区,并生成对应的拷贝副本。该些副本拷贝区 的寻址指针都指向操作对应的原始文件母本区。
在本实施例中,若有另一操作对应的原始文件母本与之前已落盘的操作对 应的原始文件母本相同,则可以在如表7所示的副本拷贝位表中与该原始文件 母本对应的表项中写入这两个操作对应的最终落盘地址。
例如,用户LCOPY3也要使用块地址为0A3的原始文件母本的文件,则用 户LCOPY3可以基于用户LCOPY2对应的副本拷贝位表来快速生成副本拷贝位 表,如表8所示。
表8
由表8可知,第一条记录表示这个数据块(0A2)没有被其它的任何用户 进行过写操作,块位置为原始文件母本块位置。
第二条记录表示,F2Y这个数据块已经被用户LCOPY2落盘存放,要以读方 式访问这个地址可用过用户LCOPY2的指针进行寻址。
第三条记录表示,如果用户LCOPY3要对OG1(已经被用户LCOPY2进行落 盘存放)数据块进行写操作时,首先要把位表中的原始文件母本区写标志位置 置1,以表示这个块被写请求,然后位表的副本拷贝区把对应原始文件母本区 指针维护更新为“YY2→LCOPY2:OG1”,表示用户LCOPY2的0G1数据块已经 被写落盘到YY2数据块,此数据块地址被用户LCOPY3维护,最后将最终寻址 区的块指针维护更新为“LCOPY3:YY2→LCOPY2:OG1”,这表示用户LCOPY3对 应原始文件母本区块LCOPY2:OG1被写更新落盘存放到新地址LCOPY3:YY2。
对应地,如果有其他用户要以副本拷贝的方式来使用原始文件母本区的文 件时,重复上述过程即可。
由上述内容可知,当多用户通过多个操作以副本拷贝的形式同时使用一份 物理数据时,可以完全基于用户视图空间多次索引,最大化的节约了储存资源。 当副本数越多的时候这种节约效益越大。
由本实施例公开的内容可知,本实施例在进行文件备份时,不需要对所有 的文件进行备份,只需要根据文件发生改变的解构存储区来进行文件备份,由 于不用全量备份,因此,无需对网络有较高的要求,从而可以有效解决相关技 术中的文件备份成本较高的问题。
对应上述文件同步方法,本发明实施例还提供了一种文件同步装置,应用 于主备份端,所述主备份端的文件存储在预设的多个解构存储区中,不同的解 构存储区内存大小相同,图3为本发明实施例提供的文件同步300的模块组成 示意图,如图3所示,该文件同步装置300包括:
修改模块301,用于当基于预设的备份周期检测到解构存储区中的文件发 生更改时,将解构日志中与文件发生更改的解构存储区对应的状态值修改为指 定值;其中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状 态值用于表征对应的解构存储区中的文件是否在当前备份周期内发生了更改;
发送模块302,用于将解构日志以及更改后的文件备份至被备份端,以使 得所述被备份端根据所述解构日志中对应状态值为指定值的解构存储区确定 待更改解构存储区,并根据接收到的更改后的文件对所述待更改解构存储区中 的文件进行备份。
可选的,所述解构存储区的内存小是根据预设的第一解构参数确定的,其 中,预设的解构参数为文件系统最小读写单元的N倍,N为正整数。
本实施例在进行文件备份时,不需要对所有的文件进行备份,只需要根据 文件发生改变的解构存储区来进行文件备份,由于不用全量备份,因此,无需 对网络有较高的要求,从而可以有效解决相关技术中的文件备份成本较高的问 题。
对应上述文件同步方法,本发明实施例还提供了另一种文件同步装置,应 用于被备份端,所述被备份端的文件存储在预设的多个解构存储区中,不同的 解构存储区内存大小相同,图4为本发明实施例提供的文件同步400的模块组 成示意图之一,如图4所示,该文件同步装置400包括:
接收模块401,用于基于预设的备份周期接收被备份端备份的解构日志以 及更改后的文件;其中,所述解构日志包括解构存储区与状态值之间的对应关 系,所述状态值用于表征对应的解构存储区中的文件是否在当前备份周期内发 生了更改;
确定模块402,用于根据所述解构日志中对应状态值为指定值的解构存储 区确定待更改解构存储区;
备份模块403,用于根据所述待更改解构存储区以及接收到的更改后的文 件对所述待更改解构存储区中的文件进行备份。
可选的,所述确定模块402用于:
根据预设的解构存储区对应关系以及所述解构日志中对应状态值为指定 值的解构存储区,确定待更改解构存储区;其中,所述解构存储区对应关系包 括所述主备份端的解构存储区与所述被备份端的解构存储区之间的对应关系。
可选的,所述解构存储区的内存大小是根据预设的第二解构参数确定的, 其中,预设的解构参数为文件系统最小读写单元的M倍,M为正整数。
可选的,该文件同步装置400还包括(如图5所示):
监测模块404,用于将备份文件传输至其他终端,并通过传输位表监测备 份文件的传输状态;其中,所述传输位表包括与所述其他终端对应的所述备份 文件的传输状态,所述传输状态至少包括以下之一:传输完成、未排队、已排 队、已出栈。
可选的,该文件同步装置400还包括(如图6所示):
拷贝模块405,用于当检测到针对同一存储区域的至少一个操作时,分别 确定与所述至少一个操作对应的副本拷贝区;其中,所述副本拷贝区的寻址指 针指向所述同一存储区域;所述副本拷贝区中的文件与所述同一存储区域中的 文件相同;
更改模块406,用于分别将所述至少一个操作对应的操作区域更改为对应 的副本拷贝区,以使得所述至少一个操作分别对对应的副本拷贝区进行操作。
本实施例在进行文件备份时,不需要对所有的文件进行备份,只需要根据 文件发生改变的解构存储区来进行文件备份,由于不用全量备份,因此,无需 对网络有较高的要求,从而可以有效解决相关技术中的文件备份成本较高的问 题。
对应上述文件备份方法,本发明实施例还提供了一种文件备份设备,图7 为本发明一个实施例提供的文件备份设备的硬件结构示意图。
该文件备份设备可以为上述实施例提供的用于备份文件的终端设备或服 务器等。
文件备份设备可因配置或性能不同而产生比较大的差异,可以包括一个或 一个以上的处理器701和存储器702,存储器702中可以存储有一个或一个以 上存储应用程序或数据。其中,存储器702可以是短暂存储或持久存储。存储 在存储器702的应用程序可以包括一个或一个以上模块(图示未示出),每个 模块可以包括对文件备份设备中的一系列计算机可执行指令。更进一步地,处 理器701可以设置为与存储器702通信,在文件备份设备上执行存储器702中 的一系列计算机可执行指令。文件备份设备还可以包括一个或一个以上电源 703,一个或一个以上有线或无线网络接口704,一个或一个以上输入输出接口705,一个或一个以上键盘706。
具体在本实施例中,文件备份设备包括有存储器,以及一个或一个以上的 程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序 可以包括一个或一个以上模块,且每个模块可以包括对文件备份设备中的一系 列计算机可执行指令,且经配置以由一个或者一个以上处理器执行上述实施 例。
文件备份设备在进行文件备份时,不需要对所有的文件进行备份,只需要 根据文件发生改变的解构存储区来进行文件备份,由于不用全量备份,因此, 无需对网络有较高的要求,从而可以有效解决相关技术中的文件备份成本较高 的问题。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改 进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对 于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已 经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程 编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的 改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGate Array, FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制 造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成 电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实 现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码 也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、 HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、 PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用 的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上 述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实 现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器 或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件 或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器 的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、 Microchip PIC18F26K20以及Silicone LabsC8051F320,存储器控制器还可 以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计 算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编 程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微 控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部 件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。 或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块 又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实 体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。 具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、 智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制 台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然, 在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计 算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输 出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。 内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任 何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序 的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、 静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随 机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、 快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光 盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设 备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文 中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media), 如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包 括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、系统或计算机程 序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和 硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、 光学存储器等)上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例 如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的 例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本 发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来 执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地 和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相 似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之 处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的 比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技 术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所 作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种文件备份方法,应用于主备份端,所述主备份端的文件存储在预设的多个解构存储区中,不同的解构存储区内存大小相同,其特征在于,所述方法包括:
当基于预设的备份周期检测到解构存储区中的文件发生更改时,将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定值;其中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状态值用于表征对应的解构存储区中的文件相对于上一备份周期是否发生了更改;
将解构日志以及更改后的文件备份至被备份端,以使得所述被备份端根据所述解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区,并根据接收到的更改后的文件对所述待更改解构存储区中的文件进行备份。
2.根据权利要求1所述的方法,其特征在于,所述解构存储区的内存小是根据预设的第一解构参数确定的,其中,预设的解构参数为文件系统最小读写单元的N倍,N为正整数。
3.一种文件备份方法,应用于被备份端,所述被备份端的文件存储在预设的多个解构存储区中,不同的解构存储区内存大小相同,其特征在于,所述方法包括:
接收主备份端基于预设的备份周期发送的解构日志以及更改后的文件;其中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状态值用于表征对应的解构存储区中的文件是否在当前备份周期内发生了更改;
根据所述解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区;
根据所述待更改解构存储区以及接收到的更改后的文件对所述待更改解构存储区中的文件进行备份。
4.根据权利要求4所述的方法,其特征在于,所述根据所述解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区,包括:
根据预设的解构存储区对应关系以及所述解构日志中对应状态值为指定值的解构存储区,确定待更改解构存储区;其中,所述解构存储区对应关系包括所述主备份端的解构存储区与所述被备份端的解构存储区之间的对应关系。
5.根据权利要求4所述的方法,其特征在于,所述解构存储区的内存大小是根据预设的第二解构参数确定的,其中,预设的解构参数为文件系统最小读写单元的M倍,M为正整数。
6.根据权利要求4所述的方法,其特征在于,在所述根据所述待更改解构存储区以及接收到的更改后的文件对所述待更改解构存储区中的文件进行备份之后,所述方法还包括:
将备份文件传输至其他终端,并通过传输位表监测备份文件的传输状态;其中,所述传输位表包括与所述其他终端对应的所述备份文件的传输状态,所述传输状态至少包括以下之一:传输完成、未排队、已排队、已出栈。
7.根据权利要求4所述的方法,其特征在于,在所述根据所述待更改解构存储区以及接收到的更改后的文件对所述待更改解构存储区中的文件进行备份之后,所述方法还包括:
当检测到针对同一存储区域的至少一个操作时,分别确定与所述至少一个操作对应的副本拷贝区;其中,所述副本拷贝区的寻址指针指向所述同一存储区域;所述副本拷贝区中的文件与所述同一存储区域中的文件相同;
分别将所述至少一个操作对应的操作区域更改为对应的副本拷贝区,以使得所述至少一个操作分别对对应的副本拷贝区进行操作。
8.一种文件备份装置,应用于主备份端,所述主备份端的文件存储在预设的多个解构存储区中,不同的解构存储区内存大小相同,其特征在于,所述装置包括:
修改模块,用于当基于预设的备份周期检测到解构存储区中的文件发生更改时,将解构日志中与文件发生更改的解构存储区对应的状态值修改为指定值;其中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状态值用于表征对应的解构存储区中的文件是否在当前备份周期内发生了更改;
发送模块,用于将解构日志以及更改后的文件备份至被备份端,以使得所述被备份端根据所述解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区,并根据接收到的更改后的文件对所述待更改解构存储区中的文件进行备份。
9.一种文件备份装置,应用于被备份端,所述被备份端的文件存储在预设的多个解构存储区中,不同的解构存储区内存大小相同,其特征在于,所述装置包括:
接收模块,用于基于预设的备份周期接收被备份端备份的解构日志以及更改后的文件;其中,所述解构日志包括解构存储区与状态值之间的对应关系,所述状态值用于表征对应的解构存储区中的文件是否在当前备份周期内发生了更改;
确定模块,用于根据所述解构日志中对应状态值为指定值的解构存储区确定待更改解构存储区;
备份模块,用于根据所述待更改解构存储区以及接收到的更改后的文件对所述待更改解构存储区中的文件进行备份。
10.一种设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至2,或权利要求3至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011423886.2A CN114625564A (zh) | 2020-12-08 | 2020-12-08 | 文件备份方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011423886.2A CN114625564A (zh) | 2020-12-08 | 2020-12-08 | 文件备份方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114625564A true CN114625564A (zh) | 2022-06-14 |
Family
ID=81895158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011423886.2A Pending CN114625564A (zh) | 2020-12-08 | 2020-12-08 | 文件备份方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114625564A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789404A (zh) * | 2011-05-20 | 2012-11-21 | 北京同方微电子有限公司 | 一种用于ic卡更新数据时防掉电数据存储的方法 |
CN109947592A (zh) * | 2017-12-20 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 一种数据同步方法、装置以及相关设备 |
CN111143115A (zh) * | 2018-11-05 | 2020-05-12 | 中国移动通信集团云南有限公司 | 基于备份数据的远程容灾方法及装置 |
CN111338842A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团云南有限公司 | 文件备份方法及装置 |
-
2020
- 2020-12-08 CN CN202011423886.2A patent/CN114625564A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789404A (zh) * | 2011-05-20 | 2012-11-21 | 北京同方微电子有限公司 | 一种用于ic卡更新数据时防掉电数据存储的方法 |
CN109947592A (zh) * | 2017-12-20 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 一种数据同步方法、装置以及相关设备 |
CN111143115A (zh) * | 2018-11-05 | 2020-05-12 | 中国移动通信集团云南有限公司 | 基于备份数据的远程容灾方法及装置 |
CN111338842A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团云南有限公司 | 文件备份方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9645892B1 (en) | Recording file events in change logs while incrementally backing up file systems | |
US20230325287A1 (en) | Data backup method and apparatus, data recovery method and apparatus, and storage medium | |
US8965850B2 (en) | Method of and system for merging, storing and retrieving incremental backup data | |
US11093387B1 (en) | Garbage collection based on transmission object models | |
US10628298B1 (en) | Resumable garbage collection | |
CN111078667B (zh) | 一种数据迁移的方法以及相关装置 | |
US10585895B2 (en) | Method and apparatus for reconstructing standby node database | |
CN111506253A (zh) | 一种分布式存储系统及其存储方法 | |
CN112445780A (zh) | 一种基于快照的主从架构部署方法及设备 | |
CN108572888B (zh) | 磁盘快照创建方法和磁盘快照创建装置 | |
CN112182010A (zh) | 脏页刷新方法和装置、存储介质和电子设备 | |
CN111158858A (zh) | 一种虚拟机的克隆方法和装置,及计算机可读存储介质 | |
CN110895545B (zh) | 共享数据同步方法及装置 | |
CN108647112B (zh) | 数据备份的方法、装置及分布式事务处理系统 | |
WO2023241528A1 (zh) | 数据处理方法以及装置 | |
US8595271B1 (en) | Systems and methods for performing file system checks | |
CN115658391A (zh) | 基于QianBase MPP数据库的WAL机制的备份恢复方法 | |
CN114625564A (zh) | 文件备份方法、装置及设备 | |
CN115391337A (zh) | 数据库分区的方法、装置、存储介质及电子设备 | |
CN114297196A (zh) | 元数据存储方法、装置、电子设备及存储介质 | |
CN112699129A (zh) | 一种数据处理系统、方法及装置 | |
CN112860376A (zh) | 一种快照链的制作方法、装置、电子设备及存储介质 | |
US8401995B2 (en) | File removal with no available disk blocks in redirect-on-write file systems | |
CN106155837B (zh) | 一种主备库数据修复的方法以及装置 | |
US11645333B1 (en) | Garbage collection integrated with physical file verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220614 |
|
RJ01 | Rejection of invention patent application after publication |