CN112416660A - 一种基于纠删技术的大文件分布式备份方法及装置 - Google Patents

一种基于纠删技术的大文件分布式备份方法及装置 Download PDF

Info

Publication number
CN112416660A
CN112416660A CN202110078646.1A CN202110078646A CN112416660A CN 112416660 A CN112416660 A CN 112416660A CN 202110078646 A CN202110078646 A CN 202110078646A CN 112416660 A CN112416660 A CN 112416660A
Authority
CN
China
Prior art keywords
backup
data blocks
large file
file
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110078646.1A
Other languages
English (en)
Inventor
杨鹏
杨波
周宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Qunding Technology Co ltd
Original Assignee
Nanjing Qunding Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Qunding Technology Co ltd filed Critical Nanjing Qunding Technology Co ltd
Priority to CN202110078646.1A priority Critical patent/CN112416660A/zh
Publication of CN112416660A publication Critical patent/CN112416660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于纠删技术的大文件分布式备份方法及装置，方法包括：备份代理服务器根据接收客户端的大文件备份请求信息，将大文件数据逐步缓存至内存中；备份代理服务将预读进内存中的大文件数据以每个MB的固定块大小进行提取，得到n个源数据块；设置纠删码的冗余级别为n+m，基于n个源数据块冗余计算出m个校验数据块；生成拆解到数据块的元数据信息；备份代理服务将数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；备份代理服务对已备份大文件的备份数据块进行监控。本发明提升大文件备份速度，校验数据块还能以最小的冗余量给备份数据提供二次保护，节省备份存储空间的同时保证了备份数据的可靠性。

Description

一种基于纠删技术的大文件分布式备份方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于纠删技术的大文件分布式备份方法及装置。
背景技术
文件备份是指为防止系统出现操作失误或系统故障导致文件丢失，而将全部或部分文件集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。
对于文件备份，较为主流的备份系统基本是单点备份，即将备份目标文件通过网络传输到指定的某种存储介质中去，备份过程一般通过一台备份服务器完成，备份的介质也一般为单一的磁盘，或挂载在备份服务器上的单一存储逻辑卷，备份速度受备份服务器性能及备份介质的优劣影响较大。特别是针对大文件，其备份方式一般为串行读取后进行备份写入，这种方式导致对单一大文件备份时间过于漫长。
此外，备份模式确实会对备份后的数据进行二次保护，但因备份数据损坏而造成备份无法恢复的情况时有发生。在生产提出明确需要的情况下一般也只是机械的再多存一份备份数据，对存储容量造成了非常大的压力。
综上所述，传统备份的方式性能存在一定的瓶颈，特别是对大文件备份表现越发明显，另外缺少对备份数据二次保护的高效低耗的手段。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于纠删技术的大文件分布式备份方法及装置，将大文件分解成n个源数据块，结合纠删码技术基于n个源数据块冗余计算获得m个校验数据块，再对源数据块和校验数据块进行分布式备份存储从而实现大文件备份。本方法与传统的大文件备份方法相比，数据备份速率和安全性能得到了大幅度提升，以最小化冗余存储开销为备份数据提供二次保护，适用于大规模备份存储的应用场景。
为实现上述目的，本发明提供了一种基于纠删技术的大文件分布式备份方法，包括以下步骤：
S1：备份代理服务器根据接收客户端的大文件备份请求信息，对需要备份的大文件进行预读，将大文件数据逐步缓存至内存中；
S2：备份代理服务将预读进内存中的大文件数据以每个MB的固定块大小进行提取，得到n个源数据块，其中t为提取的文件块大小，t为正整数；
S3：设置纠删码的冗余级别为n+m，基于n个源数据块冗余计算出m个校验数据块；
S4：生成步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块的元数据信息；将n+m个子数据块的元数据信息写入RocksDB；
S5：备份代理服务将步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；
S6：当所述n个源数据块和m个校验数据块成功备份存储至备份服务器后，备份服务器向备份代理服务发送备份成功的通知；当备份代理服务接收到n+m个备份服务器的备份成功通知后，表示所述n个源数据块和m个校验数据块已成功进行备份存储；
S7：备份代理服务对已备份大文件的备份数据块进行监控，当无法读取的备份数据块数量达到m个时，立即触发对大文件进行重新备份的操作。
优选的，所述步骤S3具体为：
S3-1：将步骤S2提
Figure 974331DEST_PATH_IMAGE001
按列排列成向量D：
Figure 953788DEST_PATH_IMAGE002
S3-2：假设校验块的数量为m，则构造一个
Figure 547841DEST_PATH_IMAGE003
维度的分布矩阵B，对矩阵B需 要满足：
任意n行向量都是相互独立的，即任意n行向量组成的
Figure 739788DEST_PATH_IMAGE004
矩阵可逆，故以
Figure 350898DEST_PATH_IMAGE004
维 的单位矩阵I作为分布矩阵B的前n行，再从范德蒙矩阵V中取m行作为分布矩阵B的后m行，从而 构成完整的分布矩阵B，其中范德蒙矩阵V行数为k，列数为n，其第i行、第j列表示为
Figure 970098DEST_PATH_IMAGE005
，
Figure 33869DEST_PATH_IMAGE006
两两互异；矩阵I、V、B的表达式分别如下：
Figure 29507DEST_PATH_IMAGE007
Figure 495124DEST_PATH_IMAGE008
Figure 285225DEST_PATH_IMAGE009
S3-3：将所述分布矩阵B与向量D相乘:
Figure 836292DEST_PATH_IMAGE010
从乘积结果向量中即可分解得到m个校验块
Figure 370042DEST_PATH_IMAGE011
；
S3-4：从n个源数据块
Figure 955744DEST_PATH_IMAGE001
和m个校验块
Figure 916746DEST_PATH_IMAGE011
中任选n个数据块，按列排列成向 量
Figure 955110DEST_PATH_IMAGE012
，从矩阵B中将所选n个数据块对应的行向量挑出来，组成新矩阵
Figure 26971DEST_PATH_IMAGE013
，即存在等式
Figure 467179DEST_PATH_IMAGE014
；因为从矩阵B任意n行组成的矩阵都可逆，所以矩阵
Figure 599084DEST_PATH_IMAGE013
存在逆矩阵，记为
Figure 124743DEST_PATH_IMAGE015
， 显然有
Figure 265874DEST_PATH_IMAGE016
；在等式
Figure 560589DEST_PATH_IMAGE017
两边同时左乘矩阵
Figure 863395DEST_PATH_IMAGE015
，得到
Figure 610771DEST_PATH_IMAGE018
，即
Figure 295873DEST_PATH_IMAGE019
。
优选的，所述步骤S4的元数据信息包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息。
优选的，所述步骤S6中所述n个源数据块和m个校验数据块成功进行备份存储后，备份代理服务删除预读缓存至内存的文件数据。
优选的，所述步骤S6中所述n个源数据块和m个校验数据块成功进行备份存储后，更新数据块对应的元数据，包括但不限于增加数据块备份存储位置信息以及备份时间的字段信息。
本发明还提供一种基于纠删技术的大文件分布式备份装置，包括：大文件备份请求信息接收模块，大文件预读模块，源数据块提取模块，校验数据块计算模块，元数据生成模块，数据块分布式备份存储模块，备份文件监控模块，其中:
大文件备份请求信息接收模块，用于备份代理服务接收客户端的大文件备份请求信息；
大文件预读模块，用于备份代理服务器根据接收到的文件备份请求信息，对需要备份的大文件数据进行预读，逐步缓存至内存中；
源数据块提取模块，用于以每个MB的固定块大小从内存中提取预读好的大文件数据，得到n个源数据块，其中t为正整数；
校验数据块计算模块，用于结合纠删码技术基于n个源数据块冗余计算获得m个校验块；
元数据生成模块，用于生成n个源数据块和m个校验数据块的元数据信息并写入RocksDB；
数据块分布式备份存储模块，用于备份代理服务将提取的n个源数据块和计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；
备份文件监控模块，用于在大文件对应所有源数据块、校验数据块均分布式备份存储至备份服务器后，对备份数据块进行监控，当不可正常读取的数据块数量达到m个时，立即触发对大文件进行重新备份的操作。
优选的，还包括缓存数据删除模块，用于在大文件对应n个源数据块和m个校验数据块均分布式备份存储至备份服务器后，备份代理服务删除内存中的缓存文件数据。
优选的，还包括元数据更新模块，用于在大文件对应n个源数据块和m个校验数据块均分布式备份存储至备份服务器后，备份代理服务更新数据块对应的元数据，包括但不限于增加数据块备份存储位置以及备份时间的字段信息。
优选的，所述元数据生成模块生成的元数据信息包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息。
本发明的有益效果是：
本发明通过将原大文件按固定大小提取成数个数据块，并结合纠删技术计算得到校验数据块，将源数据块和校验数据块异步、并行的分发至备份服务器，进行分布式备份存储，提升大文件备份速度；此外，校验数据块还能以最小的冗余量给备份数据提供二次保护，节省备份存储空间的同时保证了备份数据的可靠性。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明一种基于纠删技术的大文件分布式备份方法的详细流程示意图；
图2是本发明一种基于纠删技术的大文件分布式备份方法中利用纠删码技术编码计算校验块详细流程示意图；
图3是本发明一种基于纠删技术的大文件分布式备份装置的主要功能示意图。
具体实施方式
如图1所示，本发明的目的在于提供一种基于纠删技术的大文件分布式备份方法，其主要流程如下：
S1：备份代理服务器根据接收客户端的大文件备份请求信息，对需要备份的大文件进行预读，将数据逐步缓存至内存中；
S2：备份代理服务将预读进内存中的文件数据以每个MB（t为正整数）的固定块大小进 行提取，其中t为提取的文件块大小，得到n个源数据块，定为
Figure 445095DEST_PATH_IMAGE020
MB主要是为了确保原文件大 小能被整除没有余数；
S3：设置纠删码的冗余级别为n+m，则需要基于n个源数据块冗余计算出m个校验块，如图2所示，其详细流程包含以下步骤：
S3-1：将S2提取出的n个源数据块
Figure 184381DEST_PATH_IMAGE001
按列排列成向量D：
Figure 419053DEST_PATH_IMAGE002
S3-2：假设校验块的数量为m，则需要构造一个
Figure 901987DEST_PATH_IMAGE003
维度的分布矩阵B，对矩阵B 需要满足：任意n行向量都是相互独逆，故以n*n维的单位矩阵I作为分布矩阵B的前n行，再 从范德蒙矩阵V（范德蒙矩阵V行数为k，列数为n，其第i行、第j列可以表示为
Figure 815902DEST_PATH_IMAGE005
，其中
Figure 537870DEST_PATH_IMAGE006
两两互异）中取m行作为分布矩阵B的后m行，从而构成完整的分布矩阵 B；矩阵I、V、B的表达式分别如下：
Figure 558916DEST_PATH_IMAGE007
Figure 417151DEST_PATH_IMAGE008
Figure 498239DEST_PATH_IMAGE009
S3-3：将分布矩阵B与向量D相乘:
Figure 707504DEST_PATH_IMAGE010
从乘积结果向量中即可分解得到m个校验块
Figure 532240DEST_PATH_IMAGE011
；
S3-4：从n个源数据块
Figure 510560DEST_PATH_IMAGE001
和m个校验块
Figure 762550DEST_PATH_IMAGE011
中任选n个数据块，按列排列成向 量
Figure 193532DEST_PATH_IMAGE012
，从矩阵B中将所选n个数据块对应的行向量挑出来，组成新矩阵
Figure 556380DEST_PATH_IMAGE013
，即存在等式
Figure 654786DEST_PATH_IMAGE014
；因为从矩阵B任意n行组成的矩阵都可逆，所以矩阵
Figure 812098DEST_PATH_IMAGE013
存在逆矩阵，记为
Figure 995954DEST_PATH_IMAGE015
，显然有
Figure 162493DEST_PATH_IMAGE016
；在等式
Figure 843967DEST_PATH_IMAGE017
两边同时左乘矩阵
Figure 703339DEST_PATH_IMAGE015
，得到
Figure 108913DEST_PATH_IMAGE018
，即
Figure 79143DEST_PATH_IMAGE019
，由此证明，通过任意n个数据块都可解码恢复 源数据块
Figure 886562DEST_PATH_IMAGE001
。
S4：生成S2拆解到的n个源数据块和S3计算得到的m个校验数据块的元数据信息，包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息等；将n+m个子数据块的元数据信息写入RocksDB，其中RocksDB是一种持久型的key_value存储；
S5：备份代理服务将S2拆解到的n个源数据块和S3计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；
S6：当数据块成功备份存储至备份服务器后，备份服务器会向备份代理服务发送备份成功的通知；当备份代理服务接收到n+m个备份服务器的备份成功通知后，表示所有数据块已成功进行备份存储；备份代理服务删除预读缓存至内存的文件数据，并更新数据块对应的元数据，包括但不限于增加数据块备份存储位置信息以及备份时间等字段信息；
S7：备份代理服务对已备份大文件的备份数据块进行监控，当无法读取的备份数据块数量达到m个时，应当立即触发对大文件进行重新备份的操作，以确保备份数据的可恢复性能。
如图3所示，本发明还提供一种基于纠删技术的大文件分布式备份装置，该装置包括以下模块：大文件备份请求信息接收模块，大文件预读模块，源数据块提取模块，校验数据块计算模块，元数据生成模块，数据块分布式备份存储模块，缓存数据删除模块，元数据更新模块，备份文件监控模块：
01、 大文件备份请求信息接收模块，用于备份代理服务接收客户端的大文件备份请求信息；
02、 大文件预读模块，用于备份代理服务器根据接收到的文件备份请求信息，对需要备份的大文件数据进行预读，逐步缓存至内存中；
03、 源数据块提取模块，用于以每个MB（t为正整数）的固定块大小从内存中提取预读好的文件数据，得到n个源数据块；
04、 校验数据块计算模块，用于结合纠删码技术基于n个源数据块冗余计算获得m个校验块；
05、 元数据生成模块，用于生成n个源数据块和m个校验数据块的元数据信息并写入RocksDB，元数据信息包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息等；
06、 数据块分布式备份存储模块，用于备份代理服务将提取的n个源数据块和计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；
07、 缓存数据删除模块，用于在大文件对应所有源数据块、校验数据块均分布式备份存储至备份服务器后，备份代理服务删除内存中的缓存文件数据；
08、 元数据更新模块，用于在大文件对应所有源数据块、校验数据块均分布式备份存储至备份服务器后，备份代理服务更新数据块对应的元数据，包括但不限于增加数据块备份存储位置以及备份时间等字段信息；
09、 备份文件监控模块，用于在大文件对应所有源数据块、校验数据块均分布式备份存储至备份服务器后，对备份数据块进行监控，当不可正常读取的数据块数量达到m个时，立即触发对大文件进行重新备份的操作，保障数据安全。
综上，本发明通过将原大文件按固定大小提取成数个数据块，并结合纠删技术计算得到校验数据块，将源数据块和校验数据块异步、并行的分发至备份服务器，进行分布式备份存储，提升大文件备份速度；此外，校验数据块还能以最小的冗余量给备份数据提供二次保护，节省备份存储空间的同时保证了备份数据的可靠性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于纠删技术的大文件分布式备份方法，其特征在于，包括以下步骤：
S1：备份代理服务器根据接收客户端的大文件备份请求信息，对需要备份的大文件进行预读，将大文件数据逐步缓存至内存中；
S2：备份代理服务将预读进内存中的大文件数据以每个MB的固定块大小进行提取，得到n个源数据块，其中t为提取的文件块大小，t为正整数；
S3：设置纠删码的冗余级别为n+m，基于n个源数据块冗余计算出m个校验数据块；
S4：生成步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块的元数据信息；将n+m个子数据块的元数据信息写入RocksDB；
S5：备份代理服务将步骤S2拆解到的n个源数据块和步骤S3计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；
S6：当所述n个源数据块和m个校验数据块成功备份存储至备份服务器后，备份服务器向备份代理服务发送备份成功的通知；当备份代理服务接收到n+m个备份服务器的备份成功通知后，表示所述n个源数据块和m个校验数据块已成功进行备份存储；
S7：备份代理服务对已备份大文件的备份数据块进行监控，当无法读取的备份数据块数量达到m个时，立即触发对大文件进行重新备份的操作。
2.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S3具体为：
S3-1：将步骤S2提取出的n个源数据块
Figure 57276DEST_PATH_IMAGE001
按列排列成向量D：
Figure 950146DEST_PATH_IMAGE002
S3-2：假设校验块的数量为m，则构造一个
Figure 458488DEST_PATH_IMAGE003
维度的分布矩阵B，对矩阵B需要 满足：
任意n行向量都是相互独立的，即任意n行向量组成的
Figure 120413DEST_PATH_IMAGE004
矩阵可逆，故以
Figure 56008DEST_PATH_IMAGE004
维 的单位矩阵I作为分布矩阵B的前n行，再从范德蒙矩阵V中取m行作为分布矩阵B的后m行，从 而构成完整的分布矩阵B，其中范德蒙矩阵V行数为k，列数为n，其第i行、第j列表示为
Figure 436174DEST_PATH_IMAGE005
，
Figure 482627DEST_PATH_IMAGE006
两两互异；矩阵I、V、B的表达式分别如下：
Figure 264639DEST_PATH_IMAGE007
Figure 371135DEST_PATH_IMAGE008
Figure 238597DEST_PATH_IMAGE009
S3-3：将所述分布矩阵B与向量D相乘:
Figure 88741DEST_PATH_IMAGE010
从乘积结果向量中即可分解得到m个校验块
Figure 725259DEST_PATH_IMAGE011
；
S3-4：从n个源数据块
Figure 2656DEST_PATH_IMAGE001
和m个校验块
Figure 91835DEST_PATH_IMAGE011
中任选n个数据块，按列排列成向 量
Figure 745670DEST_PATH_IMAGE012
，从矩阵B中将所选n个数据块对应的行向量挑出来，组成新矩阵
Figure 242554DEST_PATH_IMAGE013
，即存在等式
Figure 690853DEST_PATH_IMAGE014
；因为从矩阵B任意n行组成的矩阵都可逆，所以矩阵
Figure 532907DEST_PATH_IMAGE013
存在逆矩阵，记为
Figure 724854DEST_PATH_IMAGE015
，显然有
Figure 70384DEST_PATH_IMAGE016
；在等式
Figure 220743DEST_PATH_IMAGE017
两边同时左乘矩阵
Figure 284514DEST_PATH_IMAGE015
，得到
Figure 280152DEST_PATH_IMAGE018
，即
Figure 480189DEST_PATH_IMAGE019
。
3.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S4的元数据信息包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息。
4.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S6中所述n个源数据块和m个校验数据块成功进行备份存储后，备份代理服务删除预读缓存至内存的文件数据。
5.如权利要求1所述的一种基于纠删技术的大文件分布式备份方法，其特征在于，所述步骤S6中所述n个源数据块和m个校验数据块成功进行备份存储后，更新数据块对应的元数据，包括但不限于增加数据块备份存储位置信息以及备份时间的字段信息。
6.一种基于纠删技术的大文件分布式备份装置，其特征在于，包括：大文件备份请求信息接收模块，大文件预读模块，源数据块提取模块，校验数据块计算模块，元数据生成模块，数据块分布式备份存储模块，备份文件监控模块，其中:
大文件备份请求信息接收模块，用于备份代理服务接收客户端的大文件备份请求信息；
大文件预读模块，用于备份代理服务器根据接收到的文件备份请求信息，对需要备份的大文件数据进行预读，逐步缓存至内存中；
源数据块提取模块，用于以每个MB的固定块大小从内存中提取预读好的大文件数据，得到n个源数据块，其中t为正整数；
校验数据块计算模块，用于结合纠删码技术基于n个源数据块冗余计算获得m个校验块；
元数据生成模块，用于生成n个源数据块和m个校验数据块的元数据信息并写入RocksDB；
数据块分布式备份存储模块，用于备份代理服务将提取的n个源数据块和计算得到的m个校验数据块异步、并行的分发至n+m个备份服务器，进行分布式备份存储；
备份文件监控模块，用于在大文件对应所有源数据块、校验数据块均分布式备份存储至备份服务器后，对备份数据块进行监控，当不可正常读取的数据块数量达到m个时，立即触发对大文件进行重新备份的操作。
7.如权利要求6所述的一种基于纠删技术的大文件分布式备份装置，其特征在于，还包括缓存数据删除模块，用于在大文件对应n个源数据块和m个校验数据块均分布式备份存储至备份服务器后，备份代理服务删除内存中的缓存文件数据。
8.如权利要求6所述的一种基于纠删技术的大文件分布式备份装置，其特征在于，还包括元数据更新模块，用于在大文件对应n个源数据块和m个校验数据块均分布式备份存储至备份服务器后，备份代理服务更新数据块对应的元数据，包括但不限于增加数据块备份存储位置以及备份时间的字段信息。
9.如权利要求6所述的一种基于纠删技术的大文件分布式备份装置，其特征在于，所述元数据生成模块生成的元数据信息包括但不限于身份标识号、生成的时间节点、大小、类型、所属原大文件信息。
CN202110078646.1A 2021-01-21 2021-01-21 一种基于纠删技术的大文件分布式备份方法及装置 Pending CN112416660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110078646.1A CN112416660A (zh) 2021-01-21 2021-01-21 一种基于纠删技术的大文件分布式备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110078646.1A CN112416660A (zh) 2021-01-21 2021-01-21 一种基于纠删技术的大文件分布式备份方法及装置

Publications (1)

Publication Number Publication Date
CN112416660A true CN112416660A (zh) 2021-02-26

Family

ID=74783045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078646.1A Pending CN112416660A (zh) 2021-01-21 2021-01-21 一种基于纠删技术的大文件分布式备份方法及装置

Country Status (1)

Country Link
CN (1) CN112416660A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584578A (zh) * 2022-04-28 2022-06-03 湖南工商大学 一种基于智能合约以及纠删码编码的多云存储方法
WO2022198429A1 (zh) * 2021-03-23 2022-09-29 深圳市欢太科技有限公司 一种数据冗余备份方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893169A (zh) * 2016-03-31 2016-08-24 乐视控股（北京）有限公司 一种基于纠删码的文件存储方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893169A (zh) * 2016-03-31 2016-08-24 乐视控股（北京）有限公司 一种基于纠删码的文件存储方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕文娟: "一种基于纠删码的分布式备份技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198429A1 (zh) * 2021-03-23 2022-09-29 深圳市欢太科技有限公司 一种数据冗余备份方法、装置、存储介质及电子设备
CN114584578A (zh) * 2022-04-28 2022-06-03 湖南工商大学 一种基于智能合约以及纠删码编码的多云存储方法

Similar Documents

Publication Publication Date Title
US6041423A (en) Method and apparatus for using undo/redo logging to perform asynchronous updates of parity and data pages in a redundant array data storage environment
CN102279777B (zh) 数据冗余处理方法、装置和分布式存储系统
US10075523B2 (en) Efficient storage of data in a dispersed storage network
US9880762B1 (en) Compressing metadata blocks prior to writing the metadata blocks out to secondary storage
CN110442535B (zh) 提高分布式固态盘键值缓存系统可靠性的方法及系统
CN114415976B (zh) 一种分布式数据存储系统与方法
US10664358B1 (en) Ensure volume consistency for online system checkpoint
CN112416660A (zh) 一种基于纠删技术的大文件分布式备份方法及装置
US7020805B2 (en) Efficient mechanisms for detecting phantom write errors
WO2019001521A1 (zh) 数据存储方法、存储设备、客户端及系统
US20140222770A1 (en) De-duplication data bank
CN113190377B (zh) 一种基于分布式存储系统的可靠冗余方法及设备
US20100312960A1 (en) Method and apparatus for protecting the integrity of cached data in a direct-attached storage (das) system
CN111124258B (zh) 全闪存阵列的数据存储方法、装置、设备及可读存储介质
CN107852349B (zh) 用于多节点集群的事务管理的系统、方法及存储介质
US20080046644A1 (en) Method and System to Provide a Redundant Buffer Cache for Block Based Storage Servers
US11003542B1 (en) Online consistent system checkpoint
KR101525453B1 (ko) 데이터 접근빈도를 이용한 ｒａｉｄ 시스템의 데이터 복제 방법
CN116501264B (zh) 一种数据存储方法、装置、系统、设备及可读存储介质
WO2023197937A1 (zh) 数据处理方法及其装置、存储介质、计算机程序产品
EP4135203A1 (en) Systems, methods, and apparatus for processing data at a storage device
EP4135201A1 (en) Systems, methods, and apparatus for hierarchical aggregation for computational storage
CN116933250A (zh) 保护数据免受勒索软件攻击的方法及系统
JP3373360B2 (ja) ディスクアレイ装置
CN112667443A (zh) 一种面向用户的可变分布式存储副本容错方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226