CN107885619A - 一种数据精简去重和镜像异地备份保护的方法及系统 - Google Patents

一种数据精简去重和镜像异地备份保护的方法及系统 Download PDF

Info

Publication number
CN107885619A
CN107885619A CN201711137410.0A CN201711137410A CN107885619A CN 107885619 A CN107885619 A CN 107885619A CN 201711137410 A CN201711137410 A CN 201711137410A CN 107885619 A CN107885619 A CN 107885619A
Authority
CN
China
Prior art keywords
data
duplicate
block
storage
mirror image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711137410.0A
Other languages
English (en)
Inventor
陈成波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201711137410.0A priority Critical patent/CN107885619A/zh
Publication of CN107885619A publication Critical patent/CN107885619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2079—Bidirectional techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据精简去重和镜像异地备份保护的方法及系统，其实现过程为：首先将待存储的数据文件分割成若干数据块；然后对分割的数据块进行查重，删除重复的数据块；将处理后的数据备份到数据存储池中，然后将该存储池备份到另一镜像存储池中。本发明的一种数据精简去重和镜像异地备份保护的方法及系统与现有技术相比，实现生产服务器上的重复数据经过重复数据删除后将唯一数据作有效的保护，适合中小企业内部的备份，能够有效地减少重复数据传输所占用存储空间，降低存储成本，实用性强，适用范围广泛，易于推广。

Description

一种数据精简去重和镜像异地备份保护的方法及系统
技术领域
本发明涉及数据存储技术领域，具体地说是一种实用性强的数据精简去重和镜像异地备份保护的方法及系统。
背景技术
数据备份存储不但涉及到完整、安全、稳定的数据备份，同时还要以很高的效率将数据存储在相应的介质上面，企业在选择数据备份存储的同时需要考虑到其他重要因素，就其具体备份方案，会有很多种。
但是在现有技术中，数据备份设备中总是充斥着大量的冗余数据，这就导致了备份时需要占用大量的带宽，备份空间所占较大。为了解决这个问题，节省更多空间，“精简去重”便应运而生。但是现有技术中，精简去重过程麻烦，而且去重后更大的风险是来自硬件故障的灾难性的数据损失。
基于此，亟需一种新的数据备份存储技术，来解决上述问题。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强的数据精简去重和镜像异地备份保护的方法及系统。
一种数据精简去重和镜像异地备份保护的方法，其实现过程为：
一、首先将待存储的数据文件分割成若干数据块；
二、然后对分割的数据块进行查重，删除重复的数据块；
三、将处理后的数据备份到数据存储池中，然后将该存储池备份到另一镜像存储池中。
所述步骤一中，首先自定义数据去重的粒度，然后按照去重粒度将待存储的数据文件进行分割成数据块级，同时对分割后的数据库配置唯一标识。
所述唯一标识为信息指纹，该信息指纹通过采用MD5和SHA系列HASH函数运算获取，相对应的，在步骤二中进行查重前，首先通过上述函数计算获取数据库的信息指纹。
所述步骤二中查重删除的过程为：以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，完成重复数据库的删除；否则表示该数据块是一个新的唯一块。
在步骤三中对数据块进行存储时创建相关元数据，所述元数据是指一个物理文件在存储系统对应的一个逻辑表示，由一组指纹点FP组成，当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。
所述步骤三中将存储池数据备份到另一镜像存储池中是在上一次备份的时间戳上进行，该备份采用人工选择进行差分数据同步或全盘拷贝方式。
一种数据精简去重和镜像异地备份保护的系统，包括，
数据分割模块，用于将待存储的数据文件分割成若干数据块；
处理模块，对数据分割模块分割的数据块进行查重，并删除重复的数据块；
存储池，存储处理模块处理后的数据；
镜像存储池，为上述存储池的备份存储池，当存储池发生故障时，切换到该镜像存储池中，先进行备份数据的保存，再在存储池恢复后备份到存储池中。
还包括标识配置模块，该标识配置模块在数据分割模块对数据文件分割后，对数据块配置唯一标识，该唯一标识为信息指纹，所述标识配置模块在处理模块处理数据块前，通过MD5和SHA系列HASH函数运算获取该信息指纹。
所述处理模块对数据查重后删除是指，以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，完成重复数据库的删除；否则表示该数据块是一个新的唯一块。
在存储池中对数据块进行存储时创建相关元数据，所述元数据是指一个物理文件在存储系统对应的一个逻辑表示，由一组指纹点FP组成，当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本；相对应的，当存储池发生故障时，切换到镜像存储池中，采用上述步骤进行备份数据的保存，再在存储池恢复后备份到存储池中。
本发明的一种数据精简去重和镜像异地备份保护的方法及系统和现有技术相比，具有以下有益效果：
本发明的一种数据精简去重和镜像异地备份保护的方法及系统，采用重复删除技术可以将存储的数据减少，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽；对唯一数据存储池进行同步或异步镜像，能够有效地提高重复数据删除应用中对重复删除之后的数据的保护；实现生产服务器上的重复数据经过重复数据删除后将唯一数据作有效的保护，适合中小企业内部的备份，能够有效地减少重复数据传输所占用存储空间，降低存储成本，实用性强，适用范围广泛，易于推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是本发明方法的实现示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的方案，下面结合具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1所示，一种数据精简去重和镜像异地备份保护的方法，其实现过程为：
一、首先将待存储的数据文件分割成若干数据块；
二、然后对分割的数据块进行查重，删除重复的数据块；
三、将处理后的数据备份到数据存储池中，然后将该存储池备份到另一镜像存储池中。
所述步骤一中，首先自定义数据去重的粒度，然后按照去重粒度将待存储的数据文件进行分割成数据块级，同时对分割后的数据库配置唯一标识。
所述唯一标识为信息指纹，该信息指纹通过采用MD5和SHA系列HASH函数运算获取，相对应的，在步骤二中进行查重前，首先通过上述函数计算获取数据库的信息指纹。
所述步骤二中查重删除的过程为：以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，完成重复数据库的删除；否则表示该数据块是一个新的唯一块。
在步骤三中对数据块进行存储时创建相关元数据，所述元数据是指一个物理文件在存储系统对应的一个逻辑表示，由一组指纹点FP组成，当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。
所述步骤三中将存储池数据备份到另一镜像存储池中是在上一次备份的时间戳上进行，该备份采用人工选择进行差分数据同步或全盘拷贝方式。
基于上述描述，本发明的具体实施过程如下所述：
1) 文件数据块切分。
Dedupe按照消重的粒度可以分为文件级和数据块级。主流的产品都是数据块级的。定长分块算法的优点是简单、性能高，但它对数据插入和删除非常敏感，处理十分低效，不能根据内容变化作调整和优化。滑动块切分的优点是重删的力度增强，可以发现更多的重删数据块，但也增加了计算量。
2) 数据块指纹计算。
数据指纹是数据块的本质特征，理想状态是每个唯一数据块具有唯一的数据指纹，不同的数据块具有不同的数据指纹。数据块本身往往较大，因此数据指纹的目标是期望以较小的数据表示(如16、32、64、128字节)来区别不同数据块。数据指纹通常是对数据块内容进行相关数学运算获得， MD5和SHA系列HASH函数具有非常低的碰撞发生概率，因此通常被采用作为指纹计算方法，还可以同时使用多种Hash算法来为数据块计算指纹。
3) 重复数据查找。
以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元数据。
4）元数据排列。
按数据块顺序使用元数据排列替代。
5）唯一数据存储池A。
将对比后的唯一数据保存在A池中，该存储池中除了保存了唯一性的实体数据外，还有大量的原数据块和元数据。
6）镜像存储池B。
作为唯一数据存储池的A的互备存储池，当当A存储池发生故障时，切换到B中，先进行备份数据的保存，再备份到A中；可以实现自动切换。
在本发明中，重删的目的是节约存储空间，重复数据块会越多，这样重删比就越大。特别对于重复数据文件特别多的用户，增加一倍的存储空间而有力的进行了重删并保证了重删的安全性，是十分必要的。
一种数据精简去重和镜像异地备份保护的系统，包括，
数据分割模块，用于将待存储的数据文件分割成若干数据块；
处理模块，对数据分割模块分割的数据块进行查重，并删除重复的数据块；
存储池，存储处理模块处理后的数据；
镜像存储池，为上述存储池的备份存储池，当存储池发生故障时，切换到该镜像存储池中，先进行备份数据的保存，再在存储池恢复后备份到存储池中。
还包括标识配置模块，该标识配置模块在数据分割模块对数据文件分割后，对数据块配置唯一标识，该唯一标识为信息指纹，所述标识配置模块在处理模块处理数据块前，通过MD5和SHA系列HASH函数运算获取该信息指纹。
所述处理模块对数据查重后删除是指，以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，完成重复数据库的删除；否则表示该数据块是一个新的唯一块。
在存储池中对数据块进行存储时创建相关元数据，所述元数据是指一个物理文件在存储系统对应的一个逻辑表示，由一组指纹点FP组成，当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本；相对应的，当存储池发生故障时，切换到镜像存储池中，采用上述步骤进行备份数据的保存，再在存储池恢复后备份到存储池中。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种数据精简去重和镜像异地备份保护的方法，其特征在于，其实现过程为：
一、首先将待存储的数据文件分割成若干数据块；
二、然后对分割的数据块进行查重，删除重复的数据块；
三、将处理后的数据备份到数据存储池中，然后将该存储池备份到另一镜像存储池中。
2.根据权利要求1所述的一种数据精简去重和镜像异地备份保护的方法，其特征在于，所述步骤一中，首先自定义数据去重的粒度，然后按照去重粒度将待存储的数据文件进行分割成数据块级，同时对分割后的数据库配置唯一标识。
3.根据权利要求2所述的一种数据精简去重和镜像异地备份保护的方法，其特征在于，所述唯一标识为信息指纹，该信息指纹通过采用MD5和SHA系列HASH函数运算获取，相对应的，在步骤二中进行查重前，首先通过上述函数计算获取数据库的信息指纹。
4.根据权利要求3所述的一种数据精简去重和镜像异地备份保护的方法，其特征在于，所述步骤二中查重删除的过程为：以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，完成重复数据库的删除；否则表示该数据块是一个新的唯一块。
5.根据权利要求3所述的一种数据精简去重和镜像异地备份保护的方法，其特征在于，在步骤三中对数据块进行存储时创建相关元数据，所述元数据是指一个物理文件在存储系统对应的一个逻辑表示，由一组指纹点FP组成，当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。
6.根据权利要求1-5任一所述的一种数据精简去重和镜像异地备份保护的方法，其特征在于，所述步骤三中将存储池数据备份到另一镜像存储池中是在上一次备份的时间戳上进行，该备份采用人工选择进行差分数据同步或全盘拷贝方式。
7.一种数据精简去重和镜像异地备份保护的系统，其特征在于，包括，
数据分割模块，用于将待存储的数据文件分割成若干数据块；
处理模块，对数据分割模块分割的数据块进行查重，并删除重复的数据块；
存储池，存储处理模块处理后的数据；
镜像存储池，为上述存储池的备份存储池，当存储池发生故障时，切换到该镜像存储池中，先进行备份数据的保存，再在存储池恢复后备份到存储池中。
8.根据权利要求7所述的一种数据精简去重和镜像异地备份保护的系统，其特征在于，还包括标识配置模块，该标识配置模块在数据分割模块对数据文件分割后，对数据块配置唯一标识，该唯一标识为信息指纹，所述标识配置模块在处理模块处理数据块前，通过MD5和SHA系列HASH函数运算获取该信息指纹。
9.根据权利要求7或8所述的一种数据精简去重和镜像异地备份保护的系统，其特征在于，所述处理模块对数据查重后删除是指，以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，完成重复数据库的删除；否则表示该数据块是一个新的唯一块。
10.根据权利要求9所述的一种数据精简去重和镜像异地备份保护的系统，其特征在于，在存储池中对数据块进行存储时创建相关元数据，所述元数据是指一个物理文件在存储系统对应的一个逻辑表示，由一组指纹点FP组成，当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本；相对应的，当存储池发生故障时，切换到镜像存储池中，采用上述步骤进行备份数据的保存，再在存储池恢复后备份到存储池中。
CN201711137410.0A 2017-11-16 2017-11-16 一种数据精简去重和镜像异地备份保护的方法及系统 Pending CN107885619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711137410.0A CN107885619A (zh) 2017-11-16 2017-11-16 一种数据精简去重和镜像异地备份保护的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711137410.0A CN107885619A (zh) 2017-11-16 2017-11-16 一种数据精简去重和镜像异地备份保护的方法及系统

Publications (1)

Publication Number Publication Date
CN107885619A true CN107885619A (zh) 2018-04-06

Family

ID=61777062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711137410.0A Pending CN107885619A (zh) 2017-11-16 2017-11-16 一种数据精简去重和镜像异地备份保护的方法及系统

Country Status (1)

Country Link
CN (1) CN107885619A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189610A (zh) * 2018-08-16 2019-01-11 郑州云海信息技术有限公司 一种linux下服务器监测数据的处理方法
CN109522423A (zh) * 2018-11-01 2019-03-26 深圳市商舟网科技有限公司 指纹植入和信息识别方法、装置、计算机设备和存储介质
CN110944040A (zh) * 2019-10-31 2020-03-31 浙江工商大学 一种数据压缩过程中的编码方法
CN111026327A (zh) * 2019-10-22 2020-04-17 苏州浪潮智能科技有限公司 一种基于重删的磁带归档系统及方法
CN111352587A (zh) * 2020-02-24 2020-06-30 苏州浪潮智能科技有限公司 一种数据打包方法、装置
CN111984203A (zh) * 2020-09-27 2020-11-24 苏州浪潮智能科技有限公司 一种数据重删方法、装置及电子设备和存储介质
CN113050891A (zh) * 2021-03-26 2021-06-29 杭州宏杉科技股份有限公司 重删数据保护方法及装置
CN113064556A (zh) * 2021-04-29 2021-07-02 山东英信计算机技术有限公司 一种bios的数据存储方法、装置、设备及存储介质
CN114651232A (zh) * 2019-11-22 2022-06-21 惠普发展公司，有限责任合伙企业 数据管理
US11388233B2 (en) 2019-04-30 2022-07-12 Clumio, Inc. Cloud-based data protection service

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052692A1 (en) * 2012-08-15 2014-02-20 Alibaba Group Holding Limited Virtual Machine Snapshot Backup Based on Multilayer De-duplication
CN105095027A (zh) * 2015-09-11 2015-11-25 浪潮(北京)电子信息产业有限公司 一种数据备份方法及装置
CN106066818A (zh) * 2016-05-25 2016-11-02 重庆大学 一种提高重复数据删除备份系统恢复性能的数据布局方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052692A1 (en) * 2012-08-15 2014-02-20 Alibaba Group Holding Limited Virtual Machine Snapshot Backup Based on Multilayer De-duplication
CN105095027A (zh) * 2015-09-11 2015-11-25 浪潮(北京)电子信息产业有限公司 一种数据备份方法及装置
CN106066818A (zh) * 2016-05-25 2016-11-02 重庆大学 一种提高重复数据删除备份系统恢复性能的数据布局方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189610A (zh) * 2018-08-16 2019-01-11 郑州云海信息技术有限公司 一种linux下服务器监测数据的处理方法
CN109189610B (zh) * 2018-08-16 2021-10-29 郑州云海信息技术有限公司 一种linux下服务器监测数据的处理方法
CN109522423A (zh) * 2018-11-01 2019-03-26 深圳市商舟网科技有限公司 指纹植入和信息识别方法、装置、计算机设备和存储介质
CN109522423B (zh) * 2018-11-01 2020-12-11 深圳市商舟网科技有限公司 指纹植入和信息识别方法、装置、计算机设备和存储介质
TWI798547B (zh) * 2019-04-30 2023-04-11 美商克魯密爾公司 從基於雲端的資料保護服務進行還原
US11388233B2 (en) 2019-04-30 2022-07-12 Clumio, Inc. Cloud-based data protection service
CN111026327A (zh) * 2019-10-22 2020-04-17 苏州浪潮智能科技有限公司 一种基于重删的磁带归档系统及方法
CN111026327B (zh) * 2019-10-22 2022-12-23 苏州浪潮智能科技有限公司 一种基于重删的磁带归档系统及方法
CN110944040A (zh) * 2019-10-31 2020-03-31 浙江工商大学 一种数据压缩过程中的编码方法
CN114651232A (zh) * 2019-11-22 2022-06-21 惠普发展公司，有限责任合伙企业 数据管理
CN111352587A (zh) * 2020-02-24 2020-06-30 苏州浪潮智能科技有限公司 一种数据打包方法、装置
CN111984203B (zh) * 2020-09-27 2022-07-29 苏州浪潮智能科技有限公司 一种数据重删方法、装置及电子设备和存储介质
CN111984203A (zh) * 2020-09-27 2020-11-24 苏州浪潮智能科技有限公司 一种数据重删方法、装置及电子设备和存储介质
CN113050891B (zh) * 2021-03-26 2022-02-25 杭州宏杉科技股份有限公司 重删数据保护方法及装置
CN113050891A (zh) * 2021-03-26 2021-06-29 杭州宏杉科技股份有限公司 重删数据保护方法及装置
CN113064556A (zh) * 2021-04-29 2021-07-02 山东英信计算机技术有限公司 一种bios的数据存储方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107885619A (zh) 一种数据精简去重和镜像异地备份保护的方法及系统
CN101989929B (zh) 容灾数据备份的方法及系统
CN100547555C (zh) 一种基于指纹的数据备份系统
US9141633B1 (en) Special markers to optimize access control list (ACL) data for deduplication
CN102236589B (zh) 一种基于数字标识符管理增量文件的数据保护方法
US8443000B2 (en) Storage of data with composite hashes in backup systems
US8180740B1 (en) System and method for eliminating duplicate data by generating data fingerprints using adaptive fixed-length windows
US8751462B2 (en) Delta compression after identity deduplication
US8315985B1 (en) Optimizing the de-duplication rate for a backup stream
CN102323958A (zh) 重复数据删除方法
US20130185259A1 (en) System and method for scalable reference management in a deduplication based storage system
US10416915B2 (en) Assisting data deduplication through in-memory computation
US10366072B2 (en) De-duplication data bank
CN107111460B (zh) 使用块文件的重复数据删除
US11409766B2 (en) Container reclamation using probabilistic data structures
CN101968796B (zh) 一种双向并发执行的文件级可变长数据分块方法
CN105487942A (zh) 一种基于重复数据删除的备份与远程复制方法
CN105095027A (zh) 一种数据备份方法及装置
US9734156B1 (en) Systems and methods for leveraging data-deduplication capabilities of file systems
CN103838645B (zh) 一种基于哈希的远程差异合成备份实现方法
CN104317676A (zh) 一种数据备份容灾方法
CN105447168A (zh) Mp4格式的碎片文件恢复与重组的方法
CN104461773A (zh) 一种虚拟机备份去重的方法
CN105493080A (zh) 基于上下文感知的重复数据删除的方法和装置
CN102082791A (zh) 数据备份实现方法、客户端和服务器及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406