CN102456059A - 重复数据删除的处理系统 - Google Patents
重复数据删除的处理系统 Download PDFInfo
- Publication number
- CN102456059A CN102456059A CN2010105304132A CN201010530413A CN102456059A CN 102456059 A CN102456059 A CN 102456059A CN 2010105304132 A CN2010105304132 A CN 2010105304132A CN 201010530413 A CN201010530413 A CN 201010530413A CN 102456059 A CN102456059 A CN 102456059A
- Authority
- CN
- China
- Prior art keywords
- data
- block
- client
- module
- eigenwert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种重复数据删除的处理系统,处理系统包括:客户端与服务端。将每一数据区块的特征值与客户端所储存的特征值进行比对,若客户端中已存在相同的特征值,删除进行比对的特征值相应的数据区块;服务端数据管理模块通过网络连接于客户端数据管理模块。若特征值不存在于服务端中则向客户端获取相应的数据区块,将新的数据区块与特征值储存于服务端中;文件管理模块将数据区块位在服务端的储存地址记录至索引文件中,如此一来,不需由服务端完全执行各客户端的重复数据删除的处理,进而降低频宽的占用与提高服务端的处理效率。
Description
技术领域
本发明涉及一种文件储存系统,特别涉及一种重复数据删除的处理系统。
背景技术
重复数据删除是一种数据缩减技术,通常用于基于磁盘的备份系统,主要目的在于减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。由于存储系统中总是充斥着大量的冗余数据。为了解决这个问题,节省更多空间,“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20,从而让出更多的备份空间,不仅可以使存储系统上的备份数据保存更长的时间,而且还可以节约离线存储时所需的大量的带宽。请参考1图所示,其为现有技术的重复数据删除的存取的示意图。
由于欲存储的数据数据都会被储存在服务端中,因此客户端需要实时的将数据传送至服务端。接着,服务端再对数据进行重复数据删除的处理。如果在具有多客户端的架构下,服务端必然需要面临高压的负载。
发明内容
鉴于以上的问题,本发明的目的在于提供一种重复数据删除的处理系统,将输入文件通过服务端与客户端进行重复数据删除的处理。
为了达到上述目的,本发明揭露一种重复数据删除的处理系统包括:客户端数据管理模块与服务端数据管理模块。于每一客户端中设置客户端数据管理模块,客户端数据管理模块接收输入文件,客户端数据管理模块还包括数据切块模块、指纹特征模块与特征值查找模块。数据切块模块(Data Chunkingmodule)用以将输入文件进行数据切分程序,并产生至少一数据区块;指纹特征模块(Fingerprinting module)对数据区块进行特征处理程序,并产生相应的特征值;将每一数据区块的特征值与客户端所储存的特征值进行比对,若客户端中已存在相同的特征值,则删除进行比对的特征值相应的数据区块,若客户端中不存在相同的特征值,则客户端向服务端发送查询请求;服务端数据管理模块通过网络连接于客户端数据管理模块,服务端数据管理模块还包括:特征储存模块、文件管理模块与数据储存模块。特征储存模块根据查询请求判断特征值是否已经记录于服务端中,若特征值不存在于服务端中则向客户端获取相应的数据区块,并将新的数据区块与特征值储存于服务端中;文件管理模块用以将每输入文件的数据区块在服务端的储存地址记录至索引文件中;数据储存模块用以储存数据区块与输入文件的元数据(meta-data)。
上所述的重复数据删除的处理系统,其中,该数据切分程序包括即定长切分(fixed-size partition)、内容定义切分算法(content-defined chunking)或滑动块切分(sliding block)。
本发明将所有数据区块的存储、元数据的描述信息、及特征值的存储和管理都在服务端实现。而对输入文件的数据切分、计算特征值等动作则是由客户端实现。然后通过网络在服务端和客户端间交互这些信息,客户端处理数据时先把计算的特征值发给服务端,如果该数据已存在则只需要更新数据块位置引用信息,不用在网络上发送数据块本身,如果不存在再把数据发给服务端。这样即节省了服务端的存储空间,也降低了网络带宽的需求。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为现有技术的重复数据删除的存取的示意图;
图2为本发明的架构示意图;
图3为本发明的运作流程图。
其中,附图标记
客户端210
客户端数据管理模块211
数据切块模块212
指纹特征模块213
特征值查找模块214
服务端220
服务端数据管理模块221
特征储存模块222
文件管理模块223
数据储存模块224
布隆过滤器225
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述:
本发明应用于具有处理重复数据删除程序的计算器,例如:个人计算机、笔记型计算机、服务端或应用在客户端与服务端架构中。重复数据删除的处理系统包括至少一个客户端210与服务端。请分别参考图2与图3所示,其分别为本发明的架构示意图与运作流程图。客户端210可以通过因特网(Internet)或内网(intranet)连接至服务端。为能更进一步说明本发明的各模块的运作,请配合图3的运作解说。本发明的重复数据删除的处理包括以下步骤:
步骤S310:客户端向服务端发出查询请求;
步骤S320:由服务端的布隆过滤器判断查询请求的数据区块是否存在于服务端中;
步骤S330:若欲查询的数据区块存在于服务端中,服务端将储存该数据区块的特征值;
步骤S331:命令客户端将新的数据区块传送给服务端;
步骤S340:若欲查询的数据区块不存在于服务端中,根据查询请求判断特征值是否已经记录于服务端中;
步骤S341:若特征值不存在于服务端中,则向客户端获取相应的数据区块,并将新的数据区块与特征值储存于服务端中;
步骤S342:若特征值已存在于服务端中,服务端将更新相应数据区块的元数据;以及
步骤S343:通知客户端该数据区块已存在服务端中,并命令客户端重新查询特征值查找模块。
每一客户端210均具有客户端数据管理模块211,客户端数据管理模块211接收输入文件并运行部分的重复数据删除程序(其运作部分将于后文详加描述)。客户端数据管理模块211还包括数据切块模块212、指纹特征模块213与特征值查找模块214。在服务端220中包括服务端数据管理模块221,服务端数据管理模块221通过网络连接于客户端数据管理模块211。服务端数据管理模块221还包括:特征储存模块222、文件管理模块223、数据储存模块224与布隆过滤器225(Bloom filter)。
当客户端210接收到新的输入文件时,数据切块模块212将对输入文件进行数据切分处理。数据切块模块212可以利用固定长度方式(fixed-size partition)或基于内容变长度分割方式(content-defined chunking,CDC)等方式对输入文件进行数据区块的切分处理。
定长切分算法采用预先定义好的数据区块大小对输入文件进行切分。定长分块算法的优点是简单、性能高。内容定义切分算法是一种变长分块算法,它应用指纹数据(例如通过Rabin指纹算法,将文件内容转换成预设的哈希值)将档分割成长度大小不等的分块策略。
与定长切分算法不同,内容定义切分算法是基于特定的指纹数据进行数据区块的切分处理,因此数据区块大小是可变化的。内容定义切分算法的优点在于可以提供具有弹性的查询或插入数据区块的策略,使得新增的数据区块可以被快速的安插至目的地。
在数据切块模块212完成数据区块的切分后,数据切块模块212将所生成的数据区块输出至指纹特征模块213。指纹特征模块213(Fingerprinting module)对数据区块进行特征处理程序,并产生相应该数据区块的特征值。指纹特征模块213可以通过但不限定为:MD5、SHA-1、SHA-256、SHA-512或单向哈希(One-way HASH)等算法所实现。
特征值查找模块214将每一个数据区块的特征值与客户端210所储存的特征值进行比对,藉以判断是否有无相同的特征值。若客户端210中已存在相同的特征值,则删除进行比对的特征值相应的数据区块。
若客户端210中已存在相同的该特征值时,特征值查找模块214同时向服务端220发送数据区块索引请求。服务端220将更新数据区块中的引用计数的次数。并且返回数据区块结果给客户端210。若客户端210中不存在相同的特征值,则客户端210向服务端220发送查询请求。
当服务端数据管理模块221接收到来自于客户端数据管理模块211的查询请求时,由特征储存模块222根据查询请求判断特征值是否已经记录于服务端220中。
首先,由布隆过滤器225接收来自于客户端210的数据区块的特征值。布隆过滤器225判断所接收到的数据区块是否已被修改过的数据区块,并将判断结果输出至特征储存模块222。若特征值不存在于服务端220中则向客户端210获取相应的数据区块,并将新的数据区块与特征值储存于服务端220中。若特征值已存在于服务端220中,则特征储存模块222将更新数据区块中的引用计数的次数,并且返回数据区块结果。并通过文件管理模块223将每一输入文件的数据区块在服务端220的储存地址记录至索引文件中,已变在索引信息中管理目标文件的所有数据区块的位置索引信息,藉以能够还原该目标文件。数据储存模块224用以储存数据区块与输入文件的元数据。
本发明将所有数据区块的存储、元数据的描述信息、及特征值的存储和管理都在服务端220实现。而对输入文件的数据切分、计算特征值等动作则是由客户端210实现。然后通过网络在服务端220和客户端210间交互这些信息,客户端210处理数据时先把计算的特征值发给服务端220,如果该数据已存在则只需要更新数据块位置引用信息,不用在网络上发送数据块本身,如果不存在再把数据发给服务端220。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种重复数据删除的处理系统,将一输入文件通过一服务端与一客户端进行重复数据删除的处理,其特征在于,该重复数据删除的处理系统包括:
一客户端数据管理模块,于每一该客户端中设置该客户端数据管理模块,该客户端数据管理模块接收该输入文件,该客户端数据管理模块还包括:一数据切块模块、一指纹特征模块、一特征值查找模块,该数据切块模块用以将该输入文件进行一数据切分程序,并产生至少一数据区块;该指纹特征模块对该些数据区块进行一特征处理程序,并产生相应的一特征值;该特征值查找模块将每一该数据区块的该特征值与该客户端所储存的该些特征值进行比对,若该客户端中已存在相同的该特征值,则删除进行比对的该特征值相应的该数据区块,若该客户端中不存在相同的该特征值,则该客户端向该服务端发送一查询请求;以及
一服务端数据管理模块,通过网络连接于该客户端数据管理模块,该服务端数据管理模块还包括:一特征储存模块、一文件管理模块、一数据储存模块,该特征储存模块根据该查询请求判断该特征值是否已经记录于该服务端中,若该特征值不存在于该服务端中则向该客户端获取相应的该数据区块,并将新的该数据区块与该特征值储存于该服务端中;该文件管理模块用以将每一该输入文件的该些数据区块在该服务端的一储存地址记录至一索引文件中;该数据储存模块用以储存该些数据区块与该输入文件的一元数据。
2.根据权利要求1所述的重复数据删除的处理系统,其特征在于,该数据切分程序包括即定长切分、内容定义切分算法或滑动块切分。
3.根据权利要求1所述的重复数据删除的处理系统,其特征在于,该特征处理程序包括MD5、SHA1、SHA256或CRC32。
4.根据权利要求1所述的重复数据删除的处理系统,其特征在于,若该客户端中已存在相同的该特征值时,该特征值查找模块同时向该服务端发送一数据区块索引请求,该服务端更新该数据区块的一引用计数的数量,并且返回一数据区块结果,该数据区块结果包括该数据区块的后连续的多笔该特征值。
5.根据权利要求1所述的重复数据删除的处理系统,其特征在于,该客户端的该些特征值存储于一内存或一缓存中。
6.根据权利要求1所述的重复数据删除的处理系统,其特征在于,若该特征值已存在于该服务端中,则该特征储存模块将更新该数据区块的一引用计数的数量并且返回一数据区块结果,该数据区块结果包括该数据区块的后连续的多笔该特征值。
7.根据权利要求1所述的重复数据删除的处理系统,其特征在于,还包括一布隆过滤器,接收来自于该客户端的该特征值,该服务端通过该布隆过滤器判断所接收到的该数据区块是否已被修改过的该数据区块,并将判断结果输出至该特征储存模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105304132A CN102456059A (zh) | 2010-10-21 | 2010-10-21 | 重复数据删除的处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105304132A CN102456059A (zh) | 2010-10-21 | 2010-10-21 | 重复数据删除的处理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102456059A true CN102456059A (zh) | 2012-05-16 |
Family
ID=46039254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010105304132A Pending CN102456059A (zh) | 2010-10-21 | 2010-10-21 | 重复数据删除的处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102456059A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103502957A (zh) * | 2012-12-28 | 2014-01-08 | 华为技术有限公司 | 数据处理方法及装置 |
CN103916421A (zh) * | 2012-12-31 | 2014-07-09 | 中国移动通信集团公司 | 云存储数据服务装置、数据传输系统、服务器及方法 |
CN104239575A (zh) * | 2014-10-08 | 2014-12-24 | 清华大学 | 一种虚拟机镜像文件存储、分发方法及装置 |
CN104636477A (zh) * | 2015-02-15 | 2015-05-20 | 山东卓创资讯集团有限公司 | 一种信息推送前推送列表的去重方法 |
CN104753626A (zh) * | 2013-12-25 | 2015-07-01 | 华为技术有限公司 | 一种数据压缩方法、设备及系统 |
CN104836632A (zh) * | 2014-02-12 | 2015-08-12 | 鸿富锦精密工业(深圳)有限公司 | 网络数据传输管理方法及系统 |
CN104994441A (zh) * | 2015-07-06 | 2015-10-21 | 无锡天脉聚源传媒科技有限公司 | 一种传输视频文件的方法及装置 |
CN105487819A (zh) * | 2015-11-30 | 2016-04-13 | 上海爱数信息技术股份有限公司 | 一种基于任务策略的内存级数据快速存储方法 |
CN105607867A (zh) * | 2014-11-14 | 2016-05-25 | 爱思开海力士有限公司 | 使用主装置和从装置的重复删除 |
CN105701024A (zh) * | 2015-12-31 | 2016-06-22 | 华为技术有限公司 | 一种存储设备及其垃圾数据回收的方法 |
CN105917304A (zh) * | 2014-12-09 | 2016-08-31 | 华为技术有限公司 | 重复数据删除的装置和方法 |
CN106021460A (zh) * | 2012-12-28 | 2016-10-12 | 华为技术有限公司 | 数据处理方法及装置 |
CN106101257A (zh) * | 2016-07-07 | 2016-11-09 | 广东工业大学 | 一种基于布隆过滤器的云存储数据管理方法及装置 |
CN106445413A (zh) * | 2012-12-12 | 2017-02-22 | 华为技术有限公司 | 集群系统中数据处理方法及装置 |
CN106933850A (zh) * | 2015-12-29 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 网络数据查询方法、装置和系统 |
CN107465676A (zh) * | 2017-07-31 | 2017-12-12 | 广州视源电子科技股份有限公司 | 一种向海量数据文件存储系统中上传文件的方法及其装置 |
CN108089816A (zh) * | 2017-11-14 | 2018-05-29 | 西北工业大学 | 一种基于负载均衡的查询式重复数据删除方法及装置 |
CN109116146A (zh) * | 2018-07-27 | 2019-01-01 | 南京瑞贻电子科技有限公司 | 一种具有自动化删除无价值数据的录波分析仪 |
CN109408036A (zh) * | 2018-09-07 | 2019-03-01 | 安徽恒科信息技术有限公司 | 一种敏捷开发平台 |
CN111522791A (zh) * | 2020-04-30 | 2020-08-11 | 电子科技大学 | 一种分布式文件重复数据删除系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005050386A2 (en) * | 2003-11-13 | 2005-06-02 | Commvault Systems, Inc. | System and method for performing a snapshot and for restoring data |
CN101183323A (zh) * | 2007-12-10 | 2008-05-21 | 华中科技大学 | 一种基于指纹的数据备份系统 |
CN101582076A (zh) * | 2009-06-24 | 2009-11-18 | 浪潮电子信息产业股份有限公司 | 一种基于数据库的重复数据删除方法 |
CN101814045A (zh) * | 2010-04-22 | 2010-08-25 | 华中科技大学 | 一种用于备份服务的数据组织方法 |
-
2010
- 2010-10-21 CN CN2010105304132A patent/CN102456059A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005050386A2 (en) * | 2003-11-13 | 2005-06-02 | Commvault Systems, Inc. | System and method for performing a snapshot and for restoring data |
CN101183323A (zh) * | 2007-12-10 | 2008-05-21 | 华中科技大学 | 一种基于指纹的数据备份系统 |
CN101582076A (zh) * | 2009-06-24 | 2009-11-18 | 浪潮电子信息产业股份有限公司 | 一种基于数据库的重复数据删除方法 |
CN101814045A (zh) * | 2010-04-22 | 2010-08-25 | 华中科技大学 | 一种用于备份服务的数据组织方法 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106445413A (zh) * | 2012-12-12 | 2017-02-22 | 华为技术有限公司 | 集群系统中数据处理方法及装置 |
CN106445413B (zh) * | 2012-12-12 | 2019-10-25 | 华为技术有限公司 | 集群系统中数据处理方法及装置 |
CN103502957B (zh) * | 2012-12-28 | 2016-07-06 | 华为技术有限公司 | 数据处理方法及装置 |
CN106021460A (zh) * | 2012-12-28 | 2016-10-12 | 华为技术有限公司 | 数据处理方法及装置 |
US8760956B1 (en) | 2012-12-28 | 2014-06-24 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
CN103502957A (zh) * | 2012-12-28 | 2014-01-08 | 华为技术有限公司 | 数据处理方法及装置 |
US10877680B2 (en) | 2012-12-28 | 2020-12-29 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
WO2014101130A1 (zh) * | 2012-12-28 | 2014-07-03 | 华为技术有限公司 | 数据处理方法及装置 |
CN106021460B (zh) * | 2012-12-28 | 2020-09-08 | 华为技术有限公司 | 数据处理方法及装置 |
CN103916421B (zh) * | 2012-12-31 | 2017-08-25 | 中国移动通信集团公司 | 云存储数据服务装置、数据传输系统、服务器及方法 |
CN103916421A (zh) * | 2012-12-31 | 2014-07-09 | 中国移动通信集团公司 | 云存储数据服务装置、数据传输系统、服务器及方法 |
CN104753626A (zh) * | 2013-12-25 | 2015-07-01 | 华为技术有限公司 | 一种数据压缩方法、设备及系统 |
CN104836632A (zh) * | 2014-02-12 | 2015-08-12 | 鸿富锦精密工业(深圳)有限公司 | 网络数据传输管理方法及系统 |
CN104239575A (zh) * | 2014-10-08 | 2014-12-24 | 清华大学 | 一种虚拟机镜像文件存储、分发方法及装置 |
CN105607867B (zh) * | 2014-11-14 | 2020-03-03 | 爱思开海力士有限公司 | 主-从重复删除储存系统及其方法和计算机可读储存介质 |
CN105607867A (zh) * | 2014-11-14 | 2016-05-25 | 爱思开海力士有限公司 | 使用主装置和从装置的重复删除 |
CN105917304A (zh) * | 2014-12-09 | 2016-08-31 | 华为技术有限公司 | 重复数据删除的装置和方法 |
CN104636477B (zh) * | 2015-02-15 | 2017-11-24 | 山东卓创资讯股份有限公司 | 一种信息推送前推送列表的去重方法 |
CN104636477A (zh) * | 2015-02-15 | 2015-05-20 | 山东卓创资讯集团有限公司 | 一种信息推送前推送列表的去重方法 |
CN104994441A (zh) * | 2015-07-06 | 2015-10-21 | 无锡天脉聚源传媒科技有限公司 | 一种传输视频文件的方法及装置 |
CN104994441B (zh) * | 2015-07-06 | 2018-09-25 | 无锡天脉聚源传媒科技有限公司 | 一种传输视频文件的方法及装置 |
CN105487819A (zh) * | 2015-11-30 | 2016-04-13 | 上海爱数信息技术股份有限公司 | 一种基于任务策略的内存级数据快速存储方法 |
CN106933850A (zh) * | 2015-12-29 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 网络数据查询方法、装置和系统 |
CN106933850B (zh) * | 2015-12-29 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 网络数据查询方法、装置和系统 |
CN105701024B (zh) * | 2015-12-31 | 2018-11-06 | 华为技术有限公司 | 一种存储设备及其垃圾数据回收的方法 |
CN105701024A (zh) * | 2015-12-31 | 2016-06-22 | 华为技术有限公司 | 一种存储设备及其垃圾数据回收的方法 |
CN106101257B (zh) * | 2016-07-07 | 2019-07-02 | 广东工业大学 | 一种基于布隆过滤器的云存储数据管理方法及装置 |
CN106101257A (zh) * | 2016-07-07 | 2016-11-09 | 广东工业大学 | 一种基于布隆过滤器的云存储数据管理方法及装置 |
CN107465676A (zh) * | 2017-07-31 | 2017-12-12 | 广州视源电子科技股份有限公司 | 一种向海量数据文件存储系统中上传文件的方法及其装置 |
CN108089816A (zh) * | 2017-11-14 | 2018-05-29 | 西北工业大学 | 一种基于负载均衡的查询式重复数据删除方法及装置 |
CN108089816B (zh) * | 2017-11-14 | 2021-05-11 | 西北工业大学 | 一种基于负载均衡的查询式重复数据删除方法及装置 |
CN109116146A (zh) * | 2018-07-27 | 2019-01-01 | 南京瑞贻电子科技有限公司 | 一种具有自动化删除无价值数据的录波分析仪 |
CN109408036A (zh) * | 2018-09-07 | 2019-03-01 | 安徽恒科信息技术有限公司 | 一种敏捷开发平台 |
CN111522791A (zh) * | 2020-04-30 | 2020-08-11 | 电子科技大学 | 一种分布式文件重复数据删除系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102456059A (zh) | 重复数据删除的处理系统 | |
US11416452B2 (en) | Determining chunk boundaries for deduplication of storage objects | |
US9262434B1 (en) | Preferential selection of candidates for delta compression | |
CN102467572B (zh) | 支持重复数据删除程序的数据区块查询方法 | |
US8972672B1 (en) | Method for cleaning a delta storage system | |
CN102629247B (zh) | 一种数据处理方法、装置和系统 | |
CN103548003B (zh) | 用于提高去重复系统备份性能的客户端侧指纹缓存的方法和系统 | |
US20120303595A1 (en) | Data restoration method for data de-duplication | |
US20120150824A1 (en) | Processing System of Data De-Duplication | |
US8799291B2 (en) | Forensic index method and apparatus by distributed processing | |
US20130067237A1 (en) | Providing random access to archives with block maps | |
CN102833298A (zh) | 分布式的重复数据删除系统及其处理方法 | |
WO2014015488A1 (zh) | 一种数据存储、数据查询的方法及装置 | |
CN103186652A (zh) | 分布式的重复数据删除系统及其方法 | |
US9026740B1 (en) | Prefetch data needed in the near future for delta compression | |
CN103279502B (zh) | 一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法 | |
CN105069111A (zh) | 云存储中基于相似性的数据块级数据去重方法 | |
CN102469142A (zh) | 重复数据删除程序的数据传输方法 | |
CN105376277A (zh) | 一种数据同步方法及装置 | |
US20120310936A1 (en) | Method for processing duplicated data | |
CN107391761B (zh) | 一种基于重复数据删除技术的数据管理方法及装置 | |
US20180107404A1 (en) | Garbage collection system and process | |
CN105493080A (zh) | 基于上下文感知的重复数据删除的方法和装置 | |
CN105630923A (zh) | 一种实现档案管理信息化的方法 | |
CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120516 |