CN109582646A - 一种用于文件拆分的冗余和恢复方法及系统 - Google Patents

一种用于文件拆分的冗余和恢复方法及系统 Download PDF

Info

Publication number
CN109582646A
CN109582646A CN201811073406.7A CN201811073406A CN109582646A CN 109582646 A CN109582646 A CN 109582646A CN 201811073406 A CN201811073406 A CN 201811073406A CN 109582646 A CN109582646 A CN 109582646A
Authority
CN
China
Prior art keywords
subfile
file
verification
files
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811073406.7A
Other languages
English (en)
Inventor
唐学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811073406.7A priority Critical patent/CN109582646A/zh
Publication of CN109582646A publication Critical patent/CN109582646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种用于文件拆分的冗余和恢复方法和系统，能够在一个文件拆分过程中或拆分后，通过文件块或子文件按位异或操作生成校验子文件，当其中一个子文件损坏或丢失时，可以通过包括校验子文件在内的其他子文件恢复该子文件。该系统包括冗余模和恢复模块，冗余模块用于文件拆分过程中或拆分后将子文件或文件块按位异或操作生成校验子文件；恢复模块，通过包括校验子文件在内的其他子文件恢复损坏或丢失的子文件。从而可以实现当某一个子文件损坏或丢失时不影响文件重组。本发明提供了一种具有较高存储效率的增强拆分文件存储可靠性的方法。

Description

一种用于文件拆分的冗余和恢复方法及系统
技术领域
本发明涉及网络信息管理技术,属于计算机科学与技术学科中的智能信息处理领域。
背景技术
随着信息技术及互联网应用的发展，特别是云计算技术的发展给信息的存储和使用带来了很大的便利性，但同时人们对隐私及信息安全的重视程度也越来越高，防止重要信息泄密和丢失已成为企业和个人越来越关注的焦点。文件拆分后的子文件存储到多个云平台或硬盘系统，可以较好地防止信息泄密，但跨云平台或硬件系统之间的文件冗余没有好的方法，常见的备份冗余方法，存储空间需求翻倍，效率较低。
发明内容
本发明公开了一种用于文件拆分的冗余和恢复方法及系统，通过该方法和系统能够在拆分的子文件外生成一个校验子文件，当其中任何一个子文件丢失时，该丢失的子文件可以通过其他子文件及校验子文件得到恢复，从而不影响文件的重组。如果将各子文件和校验子文件分别存储在不同的云平台或硬盘系统中，当其中一个云平台或硬盘系统出现问题时，只会导致一个子文件或校验子文件丢失，而该丢失的子文件可以通过存储在其他云平台或硬盘系统的其他子文件及校验子文件得到恢复，不会影响文件的重组，提高了文件存储的可靠性，而其存储空间效率与子文件个数有关，随着子文件个数的增加，其存储空间效率可以从66％提高到90％以上。
本发明涉及的一种用于文件拆分的冗余和恢复方法能够在一个文件拆分过程中或拆分后，通过文件块或子文件按位异或运算生成校验子文件，当其中一个子文件损坏或丢失时，可以通过包括校验子文件在内的其他子文件恢复该子文件。一个文件拆分为两个以上子文件的方法由拆分方法确定，可以等长也可以不等长，可以加密也可以不加密，可以增加额外数据也可以不增加额外数据，不影响本发明的冗余和恢复方法及系统的使用。
按位异或运算是指参加运算的两个对象(其运算符号为A⊕B)，两个相应二进制位置的值为“异”(值不同)，则该位运算结果为1，两个相应二进制位置的值为“同”(值相同)则为0；当对多个对象进行按位异或运算(其运算符号为AI⊕A2┄Ai⊕Ai+1┄⊕An)时，则依次进行按位异或运算，该运算也等同于，如果相应二进制位置1的个数为奇数，则该位运算结果为1，如果相应位置1的个数为偶数，则该位运算结果为0。
本发明包括以下两种情况：
第一种情况：基于文件块的冗余和恢复流程
1)在文件拆分过程中，会循环读取等于拆分子文件个数n的文件块直接写入各子文件或进行加密等处理后分别写入各个子文件。本发明的特征在于，对于每次读取的n个文件块，直接或进行加密等处理后，按其中最大文件块长度在前面或后面补零后按位进行异或运算得到校验文件块，按拆分子文件同样的规则存储校验文件块得到校验子文件，并将按等长字节记录的各文件块长度按位异或运算后的结果作为校验文件块长度，文件块长度的记录方法由拆分文件的方法确定，可以记录在文件块头部，也可以是默认预设值不在文件中体现，对于不在文件中体现文件块长度的情况，各子文件写入的最后一个文件块的长度需要在文件尾部或文件名中记录(因为该文件块长度有可能不同于默认预设值)，确保子文件恢复时最后的文件块能够截取正确的长度；流程参见图1基于文件块的冗余流程图。
2)对应恢复的方法为按拆分的子文件合并时同样的规则读取除损坏或丢失子文件外所有子文件(包括校验子文件)的文件块和文件块长度，对各文件块长度按位进行异或运算得到损坏或丢失的子文件块长度并记录下来，将各文件块按最大文件块长度补零后，按位进行异或运算得到新的文件块，从前面或后面删除多余的零作为损坏或丢失子文件的文件块(如果生成校验文件块时文件块是在前面补零，则删除前面多余的零；如果生成校验文件块时文件块是在后面补零，则删除后面多余的零)，按拆分的子文件同样的规则存储损坏或丢失子文件的文件块，得到损坏或丢失子文件，并按1)中文件块长度记录方法记录该文件块长度。流程参见图2基于文件块的恢复流程图。
第二种情况：基于子文件的冗余和恢复流程
1)当一个文件拆分为两个及以上子文件后，按等长字节记录各子文件长度，将所有子文件按最大子文件长度在前面或后面补零后，按位进行异或运算，生成校验子文件，同时将各子文件长度按位进行异或运算并将结果记录下来，文件长度的记录方法可以是在文件名中体现，也可以在文件头中记录，还可以在文件尾部记录；流程参见图3基于子文件的冗余流程图。
2)对应的恢复方法为将除损坏或丢失子文件外的其他所有子文件(包括校验子文件)长度按位进行异或运算得到损坏或丢失的子文件长度，将除损坏或丢失文件外的其他所有子文件 (包括校验子文件)按最大子文件长度在前面或后面补零后，按位进行异或运算，并截取损坏或丢失子文件长度的内容得到损坏或丢失子文件，并按1)中文件长度的记录方法记录该子文件长度。流程参见图4基于子文件的恢复流程图。
附图说明
图1基于文件块的冗余流程图；
图2基于文件块的恢复流程图；
图3基于子文件的冗余流程图；
图4基于子文件的恢复流程图。
本发明用于文件拆分的冗余和恢复系统包括：
1)冗余模块，用于文件拆分过程中或拆分后将子文件或文件块按位异或运算生成校验子文件；
2)恢复模块，通过包括校验子文件在内的其他子文件恢复损坏或丢失的子文件。

Claims (3)

1.一种用于文件拆分的冗余方法，该方法用于一个文件拆分为两个以上子文件，其特征在于，一个文件拆分过程中或拆分后，将文件块或子文件按位异或运算生成校验子文件。
2.根据权利要求1所述的文件拆分的恢复方法，其特征在于，当其中一个子文件坏或丢失时，可以通过包括校验子文件在内的其他子文件恢复该子文件。
3.根据权利要求1和权利要求2所述的一种用于文件拆分的冗余和恢复系统，其特征在于，包括：冗余模块，用于文件拆分过程中或拆分后将子文件或文件块按位异或运算生成校验子文件；恢复模块，通过包括校验子文件在内的其他子文件恢复损坏或丢失的子文件。
CN201811073406.7A 2018-09-14 2018-09-14 一种用于文件拆分的冗余和恢复方法及系统 Pending CN109582646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811073406.7A CN109582646A (zh) 2018-09-14 2018-09-14 一种用于文件拆分的冗余和恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811073406.7A CN109582646A (zh) 2018-09-14 2018-09-14 一种用于文件拆分的冗余和恢复方法及系统

Publications (1)

Publication Number Publication Date
CN109582646A true CN109582646A (zh) 2019-04-05

Family

ID=65919792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811073406.7A Pending CN109582646A (zh) 2018-09-14 2018-09-14 一种用于文件拆分的冗余和恢复方法及系统

Country Status (1)

Country Link
CN (1) CN109582646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198429A1 (zh) * 2021-03-23 2022-09-29 深圳市欢太科技有限公司 一种数据冗余备份方法、装置、存储介质及电子设备
CN117271225A (zh) * 2023-11-20 2023-12-22 安擎计算机信息股份有限公司 一种fru信息备份方法、装置和服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834898A (zh) * 2010-04-29 2010-09-15 中科院成都信息技术有限公司 一种网络分布式编码存储方法
CN107861892A (zh) * 2017-09-26 2018-03-30 大唐微电子技术有限公司 一种实现数据处理的方法及终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834898A (zh) * 2010-04-29 2010-09-15 中科院成都信息技术有限公司 一种网络分布式编码存储方法
CN107861892A (zh) * 2017-09-26 2018-03-30 大唐微电子技术有限公司 一种实现数据处理的方法及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198429A1 (zh) * 2021-03-23 2022-09-29 深圳市欢太科技有限公司 一种数据冗余备份方法、装置、存储介质及电子设备
CN117271225A (zh) * 2023-11-20 2023-12-22 安擎计算机信息股份有限公司 一种fru信息备份方法、装置和服务器
CN117271225B (zh) * 2023-11-20 2024-02-06 安擎计算机信息股份有限公司 一种fru信息备份方法、装置和服务器

Similar Documents

Publication Publication Date Title
US10540514B1 (en) Distributed network for storing a redundant array of independent blockchain blocks
US9158927B1 (en) Cross-region recovery of encrypted, erasure-encoded data
US8165221B2 (en) System and method for sampling based elimination of duplicate data
US20170132266A1 (en) Verifiable data destruction in a database
BR112019014815A2 (pt) Método implementado por computador, meio de armazenamento legível por computador não transitório e sistema
WO2018032375A1 (zh) 一种用于区块链可生存存储系统及其方法
US20090094251A1 (en) Virtualized data storage vaults on a dispersed data storage network
GB2463078A (en) Data storage and transmission using parity data
US8839446B2 (en) Protecting archive structure with directory verifiers
CN104866394A (zh) 一种分布式文件备份方法和系统
CN107210006A (zh) 不一致检测方法、不一致检测系统、不一致检测装置以及程序
JP5620792B2 (ja) 分散アーカイブシステム並びにデータアーカイブ装置及びデータ復元装置
CN106527993A (zh) 一种分布式系统中的海量文件储存方法及装置
CN104809178A (zh) 一种键值数据库内存日志的写入方法
CN105893169A (zh) 一种基于纠删码的文件存储方法和系统
CN110555682B (zh) 基于联盟链的多通道实现方法
CN109582646A (zh) 一种用于文件拆分的冗余和恢复方法及系统
CN115021988B (zh) 基于可验证秘密共享的数据安全备份和恢复的方法和系统
CN110753080A (zh) 区块传输方法、装置、设备及可读存储介质
CN111291001B (zh) 计算机文件的读取方法、装置、计算机系统及存储介质
CN106933707A (zh) 一种数据存储设备数据恢复方法及系统
Song et al. Techniques to audit and certify the long-term integrity of digital archives
CN112148797B (zh) 基于区块链的分布式数据存取方法、装置及存储节点
CN107357677A (zh) 一种GlusterFS基于纠删码的数据冗余存储方法
Neuner et al. Timestamp hiccups: Detecting manipulated filesystem timestamps on NTFS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190405