CN101882141A - 一种实现重复数据数据删除的方法和系统 - Google Patents

一种实现重复数据数据删除的方法和系统 Download PDF

Info

Publication number
CN101882141A
CN101882141A CN2009101365952A CN200910136595A CN101882141A CN 101882141 A CN101882141 A CN 101882141A CN 2009101365952 A CN2009101365952 A CN 2009101365952A CN 200910136595 A CN200910136595 A CN 200910136595A CN 101882141 A CN101882141 A CN 101882141A
Authority
CN
China
Prior art keywords
data
similarity
warehouse
storehouse
bias
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009101365952A
Other languages
English (en)
Inventor
张庆敏
胡刚
谢海威
郭栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Soul Information Technology Co Ltd
Original Assignee
Beijing Soul Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Soul Information Technology Co Ltd filed Critical Beijing Soul Information Technology Co Ltd
Priority to CN2009101365952A priority Critical patent/CN101882141A/zh
Publication of CN101882141A publication Critical patent/CN101882141A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种实现重复数据数据删除的方法，包括：通过simhash(相似性哈希)算法计算数据的相似度；通过相似度定位存储位置，把相似度计入索引库；把数据写入数据仓库。如果有相同的相似度的数据进来的话，把数据仓库中对应的数据提取出来，然后进行二进制比对；如果相同则记录索引，如果不同则记录不同的数据部分。本发明还提供了一种实现重复数据数据删除的系统，包括：相似度标示库(BitMap)、数据偏移的标示库和数据仓库(LBAMap)，记录原始数据的存储库(Resp)。所述方法和系统基于相似性哈希算法理论，通过数据对比保证数据一致性，既高效的完成了重复数据删除，又保证了数据的一致性。

Description

一种实现重复数据数据删除的方法和系统
技术领域
本发明涉及计算机存储技术领，尤其涉及一种实现重复数据数据删除的方法和系统。
背景技术
企业的关键业务数据每天都会做数据备份。按根据备份策略的定制，可以每天做增量备份，每周做全备份。大但随着大量数据的累计，大量数据是重复的，而重复数据又导致了数据量以几何级数增长。举例老说，某个ERP系统初始数据量为100TB，每天增加10TB，一周6天做增量备份，周末做全备份，一周备份数据就达到160TB。但使用重复数据删除技术(Data Deduplication)，100TB的初始数据不用重复做备份，进一步发现每天10TB增量数据，可以压缩到1TB，因此每周7天备份只增加7TB，数据量比传统备份大大减少。
由于数据的爆炸式增长每天都困扰着企业级企业，在解决这个问题上，重复数据删除是一项最具前景的技术。国内外存储厂商都在努力开发基于重复数据删除技术的产品。总结目前国外厂商实现重复数据删除的方法，主要有三种，第一种是基于散列的方法，比如Data Domain、飞康、昆腾的DXi系列设备都是采用SHA-1，MD-5等类似的算法将这些进行备份的数据流断成块并且为每个数据块生成一个散列(hash)。如果新数据块的散列(hash)与备份设备上散列索引中的一个散列匹配，表明该数据已经被备份，设备只更新它的表，以说明在这个新位置上也存在该数据。该方法存在内置的可扩展性的问题。第二种方法是基于内容识别的重复删除，这种方法主要是识别记录的数据格式。它采用内嵌在备份数据中的文件系统的元数据识别文件；然后与其数据存储库中的其它版本进行逐字节地比较，找到该版本与第一个已存储的版本的不同之处并为这些不同的数据创建一个增量文件。该方法的缺点是需要使用支持的备份应用设备以便设备可以提取元数据。第三种方法是Diligent Technologies用于其ProtecTier VTL的技术，它像基于散列(hash)的产品那样将数据分成块，并且采用自有的算法决定给定的数据块是否与其它的相似。然后与相似块中的数据进行逐字节的比较，以判断该数据块是否已经被备份。国外各大存储厂商只所以采用不同的方法，主要目的是结合厂商自己生产的硬件存储设备。
发明内容
本发明的目的在于提供一种实现重复数据数据删除的方法，实现重复数据删除就要找到相同数据，然后建立高速的索引，用索引代替相同的数据，本发明与现有技术不同之处在于，它基于相似度算法理论，利用二进制数据对比保证数据一致性。主要步骤包括：
通过simhash(相似性哈希)算法计算数据的相似度；
通过相似度定位存储位置，把相似度计入索引库；
把数据写入数据仓库。如果有相同的相似度的数据进来的话，把数据仓库中对应的数据提取出来，然后进行二进制比对；
如果相同则记录索引，如果不同则记录不同的数据部分。
所述方法按照一定的格式记录数据结构，通过数据指纹加数据对比的方式实现数据的准确性和一致性。
本发明还提供了一种一种实现重复数据数据删除的系统，包括：相似度标示库(BitMap)、数据偏移的标示库和数据仓库(LBAMap)，记录原始数据的存储库(Resp)。其中：
相似度标示库，用来标示相似度的值是否存在，所有的相似度的值都可以在bitmap中找到一个固定的标示位，如果该标示位为1，则表示有同样相似度的数据出现过，可以进行数据缩减。BitMap中的数据标示，通过二维座标定位，可以快速的进行相似度定位验证.
数据偏移的标示库，用来表示数据在仓库(resp)中的偏移，LBAMap中记录的LBA和BitMap中标示位相对应，与BitMap相同，LBAMap中的相似度数据偏移定位也是通过二维坐标定位，可以迅速的找到相似度对应的数据偏移。
数据仓库，记录原始数据的存储库，其地址偏移在LBAMap中记录。Resp中的数据按照数据源特征，顺序写入，这样在读取的时可以保证数据顺序读取，保证了系统的性能。
本发明基于相似性哈希算法理论，通过数据对比保证数据一致性，即高效的完成了重复数据删除，又保证了数据的一致性。
附图说明
图1是本发明相似度计算流程图；
图2是本发明相似度内存比对流程图；
图3是本发明数据写入示意图；
图4是本发明数据对比示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
实现重复数据删除就要找到相同数据，然后建立高速的索引，用索引代替相同的数据，实现得关键点，一是如何查找相同数据，二是如何建立快速索引。传统的重复数据删除技术是通过计算数据的哈希值来标示，并通过大量的缓存来维护索引，很难实现快速索引，并且通过哈希值来作为数据指纹的话，哈希冲突就不可避免，虽然概率很低，但一旦出现，将会造成不可预知的数据错误。
Simhash(相似性哈希)算法的原理是：将数据中的每个token映射到一个b维的向量空间，每一维的值为1或者-1。把数据中所有token的映射相加得到该数据的一个b维矩阵。该矩阵中每个非负的元素都置为1，否则置为0，如此得到该数据的唯一哈希值。该哈希值所具有的性质是，两个数据的相似程度与这两个数据的哈希值中相同的位的个数成正比。
通过simhash的相似度算法计算数据的相似度，然后通过相似度定位存储位置，把相似度计入索引库，然后把数据写入数据仓库。如果有相同的相似度的数据进来的话，把数据仓库中对应的数据提取出来，然后进行2进制比对，如果相同则记录索引，如果不同则记录不同的数据部分。并且按照一定的格式记录数据结构，这样数据指纹加数据对比的方式就可以保证数据的准确性，一致性。
实现重复数据数据删除的方法，先进行数据拆分，将这些数据划分为很小的数据单元；计算这些数据单元的相似度。在BitMap中找到数据对应相似度的标示位，查看是否有相同相似度的数据出现过，如果有进行数据比对，如果没有，对BitMap对应位进行置位，供以后查找。
如果数据已经出现过，到LBAMap中查找数据偏移LBA，在resp中读取数据进行二进制比对，相同的数据单元不会被重复写入，只将指针指向已经存在的数据单元；如果有相同的数据相似度，数据不同，则会记录数据单元中不同的数据部分。
如果数据没有出现过，在仓库中顺序写入数据，并把数据的偏移LBA记录到相似度对应的LBAMap中。
试验证明，本发明所提出的重复数据删除方法可以达到预期的目的。
参照图1是本发明相似度计算流程图，主要步骤包括：
步骤101，对数据进行拆分，把定长的数据进行拆分，拆成n份；
步骤102，以mK为单位先进性hash运算，计算出数据的hash值；
步骤103，然后利用这m个hash值计算数据整体的相似度值K。
参照图2是本发明相似度内存比对流程图，主要步骤包括：
步骤201，计算K的25bit的参照值M；
步骤202，然后在bitMap中找到对应位，验证bitMap位值，如果为0，参考图3是本发明数据写入示意图，如果为1，参考图4是本发明数据对比示意图。
参照图3是本发明本发明数据写入示意图，主要步骤包括：
步骤301，计算数据的LBA地址，根据M值把LBA地址记录到LBAMap中；
步骤302，然后把数据写到resp相应的LBA偏移上；
步骤303，用拆分的n个LBA地址代替原始数据。
参照图4是本发明本发明数据对比示意图，主要步骤包括：
步骤401，读取LBAMap中M对应的LBA；
步骤402，然后把仓库中的数据取出来进行拆分成n份进行数据对比；
步骤403，如果相同，记录该LBA地址，如果不同，把不同的mK数据记录下来，并把地址记录替换相应LBA地址。
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的系统及方法；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种实现重复数据数据删除的方法，其特征在于，主要步骤包括：
通过simhash(相似性哈希)算法计算数据的相似度；
通过相似度定位存储位置，把相似度计入索引库；
把数据写入数据仓库；
如果有相同的相似度的数据进来的话，把数据仓库中对应的数据提取出来，然后进行二进制比对；
如果相同则记录索引，如果不同则记录不同的数据部分。
2.根据权利要求1所述的方法，其特征在于，所述方法按照一定的格式记录数据结构，通过数据指纹加数据对比的方式实现数据的准确性和一致性。
3.根据权利要求1所述的方法，其特征在于，所述方法基于相似性哈希算法理论，利用二进制数据对比保证数据一致性。
4.一种实现重复数据数据删除的系统，其特征在于，所述系统包括：相似度标示库(BitMap)、数据偏移的标示库和数据仓库(LBAMap)，记录原始数据的存储库(Resp)。其中：
所述相似度标示库，用来标示相似度的值是否存在，所有的相似度的值都可以在bitmap中找到一个固定的标示位，如果该标示位为1，则表示有同样相似度的数据出现过，可以进行数据缩减；
所述数据偏移的标示库，用来表示数据在仓库(resp)中的偏移，LBAMap中记录的LBA和BitMap中标示位相对应；
所述数据仓库，记录原始数据的存储库，其地址偏移在LBAMap中记录。
5.根据权利要求4所述的系统，其特征在于，所述相似度标示库中的数据标示，通过二维座标定位，可以快速的进行相似度定位验证。
6.根据权利要求4所述的系统，其特征在于，所述数据偏移的标示库中的相似度数据偏移定位也是通过二维坐标定位，可以迅速的找到相似度对应的数据偏移。
7.根据权利要求4所述的系统，其特征在于，所述数据仓库，记录原始数据的存储库中的数据按照数据源特征，顺序写入，这样在读取的时可以保证数据顺序读取，保证了系统的性能。
CN2009101365952A 2009-05-08 2009-05-08 一种实现重复数据数据删除的方法和系统 Pending CN101882141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101365952A CN101882141A (zh) 2009-05-08 2009-05-08 一种实现重复数据数据删除的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101365952A CN101882141A (zh) 2009-05-08 2009-05-08 一种实现重复数据数据删除的方法和系统

Publications (1)

Publication Number Publication Date
CN101882141A true CN101882141A (zh) 2010-11-10

Family

ID=43054157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101365952A Pending CN101882141A (zh) 2009-05-08 2009-05-08 一种实现重复数据数据删除的方法和系统

Country Status (1)

Country Link
CN (1) CN101882141A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033924A (zh) * 2010-12-08 2011-04-27 浪潮(北京)电子信息产业有限公司 一种数据存储方法和系统
CN102222085A (zh) * 2011-05-17 2011-10-19 华中科技大学 一种基于相似性与局部性结合的重复数据删除方法
CN102323958A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 重复数据删除方法
CN102523290A (zh) * 2011-12-19 2012-06-27 成都市华为赛门铁克科技有限公司 数据的处理方法、设备和系统
CN102523112A (zh) * 2011-12-14 2012-06-27 华为技术有限公司 信息处理方法及设备
CN102629258A (zh) * 2012-02-29 2012-08-08 浪潮(北京)电子信息产业有限公司 重复数据删除方法和装置
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除系统及其处理方法
CN102902826A (zh) * 2012-11-08 2013-01-30 公安部第三研究所 一种基于基准图像索引的图像快速检索方法
CN103150145A (zh) * 2011-12-07 2013-06-12 Sap股份公司 数据仓库环境中的语义分组数据的并行处理
CN103294957A (zh) * 2013-05-06 2013-09-11 北京赛思信安技术有限公司 支持重复数据删除文件系统中数据更新时的数据保护方法
CN103309975A (zh) * 2013-06-09 2013-09-18 华为技术有限公司 一种重复数据删除方法和设备
CN103412864A (zh) * 2013-06-06 2013-11-27 莱诺斯科技(北京)有限公司 一种数据压缩存储方法
CN103502957A (zh) * 2012-12-28 2014-01-08 华为技术有限公司 数据处理方法及装置
WO2014067063A1 (zh) * 2012-10-30 2014-05-08 华为技术有限公司 重复数据检索方法及设备
CN104063318A (zh) * 2014-06-24 2014-09-24 湘潭大学 Android应用相似性快速检测方法
CN104317823A (zh) * 2014-09-30 2015-01-28 北京合力思腾科技股份有限公司 一种利用数据指纹进行数据检测的方法
CN104391894A (zh) * 2014-11-11 2015-03-04 广州科腾信息技术有限公司 一种重复数据的检查处理方法
CN104866473A (zh) * 2014-02-20 2015-08-26 携程计算机技术（上海）有限公司 存储单元的数据存储、访问方法以及服务器
CN105069111A (zh) * 2015-08-10 2015-11-18 广东工业大学 云存储中基于相似性的数据块级数据去重方法
CN105260133A (zh) * 2015-09-22 2016-01-20 Tcl移动通信科技（宁波）有限公司 一种移动终端emmc的数据写入方法及系统
WO2016008070A1 (zh) * 2014-07-14 2016-01-21 华为技术有限公司 数据写入的方法及装置
CN105653209A (zh) * 2015-12-31 2016-06-08 浪潮(北京)电子信息产业有限公司 一种对象存储数据传输方法及装置
US20160171009A1 (en) * 2014-12-10 2016-06-16 International Business Machines Corporation Method and apparatus for data deduplication
CN105917304A (zh) * 2014-12-09 2016-08-31 华为技术有限公司 重复数据删除的装置和方法
CN106649646A (zh) * 2016-12-09 2017-05-10 北京锐安科技有限公司 一种数据去重的方法及装置
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN108027713A (zh) * 2015-09-18 2018-05-11 阿里巴巴集团控股有限公司 用于固态驱动器控制器的重复数据删除
CN108681433A (zh) * 2018-05-04 2018-10-19 南京信息工程大学 一种用于重复数据删除的抽样选择方法
CN110019053A (zh) * 2017-11-02 2019-07-16 福建天晴数码有限公司 一种Unity3D资源包冗余数据检测方法及终端
CN111651326A (zh) * 2020-06-02 2020-09-11 葛菲 一种基于区块链的分布式数据管理系统及方法
CN112380197A (zh) * 2020-10-29 2021-02-19 中科热备(北京)云计算技术有限公司 一种基于前端重复数据删除的方法
CN112558885A (zh) * 2020-12-24 2021-03-26 展讯半导体(成都)有限公司 功能手机的存储器使用方法及相关产品

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033924B (zh) * 2010-12-08 2012-10-31 浪潮(北京)电子信息产业有限公司 一种数据存储方法和系统
CN102033924A (zh) * 2010-12-08 2011-04-27 浪潮(北京)电子信息产业有限公司 一种数据存储方法和系统
CN102222085A (zh) * 2011-05-17 2011-10-19 华中科技大学 一种基于相似性与局部性结合的重复数据删除方法
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除系统及其处理方法
CN102323958A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 重复数据删除方法
CN103150145A (zh) * 2011-12-07 2013-06-12 Sap股份公司 数据仓库环境中的语义分组数据的并行处理
CN102523112A (zh) * 2011-12-14 2012-06-27 华为技术有限公司 信息处理方法及设备
CN102523112B (zh) * 2011-12-14 2015-09-09 华为技术有限公司 信息处理方法及设备
CN102523290A (zh) * 2011-12-19 2012-06-27 成都市华为赛门铁克科技有限公司 数据的处理方法、设备和系统
CN102523290B (zh) * 2011-12-19 2015-04-08 华为数字技术（成都）有限公司 数据的处理方法、设备和系统
CN102629258B (zh) * 2012-02-29 2013-12-18 浪潮(北京)电子信息产业有限公司 重复数据删除方法和装置
CN102629258A (zh) * 2012-02-29 2012-08-08 浪潮(北京)电子信息产业有限公司 重复数据删除方法和装置
WO2014067063A1 (zh) * 2012-10-30 2014-05-08 华为技术有限公司 重复数据检索方法及设备
CN102902826B (zh) * 2012-11-08 2016-07-06 公安部第三研究所 一种基于基准图像索引的图像快速检索方法
CN102902826A (zh) * 2012-11-08 2013-01-30 公安部第三研究所 一种基于基准图像索引的图像快速检索方法
US10877680B2 (en) 2012-12-28 2020-12-29 Huawei Technologies Co., Ltd. Data processing method and apparatus
CN103502957A (zh) * 2012-12-28 2014-01-08 华为技术有限公司 数据处理方法及装置
US8760956B1 (en) 2012-12-28 2014-06-24 Huawei Technologies Co., Ltd. Data processing method and apparatus
WO2014101130A1 (zh) * 2012-12-28 2014-07-03 华为技术有限公司 数据处理方法及装置
CN103502957B (zh) * 2012-12-28 2016-07-06 华为技术有限公司 数据处理方法及装置
CN103294957A (zh) * 2013-05-06 2013-09-11 北京赛思信安技术有限公司 支持重复数据删除文件系统中数据更新时的数据保护方法
CN103294957B (zh) * 2013-05-06 2015-10-28 北京赛思信安技术有限公司 支持重复数据删除文件系统中数据更新时的数据保护方法
CN103412864A (zh) * 2013-06-06 2013-11-27 莱诺斯科技(北京)有限公司 一种数据压缩存储方法
CN103412864B (zh) * 2013-06-06 2017-04-05 莱诺斯科技（北京）股份有限公司 一种数据压缩存储方法
CN103309975A (zh) * 2013-06-09 2013-09-18 华为技术有限公司 一种重复数据删除方法和设备
CN104866473A (zh) * 2014-02-20 2015-08-26 携程计算机技术（上海）有限公司 存储单元的数据存储、访问方法以及服务器
CN104063318A (zh) * 2014-06-24 2014-09-24 湘潭大学 Android应用相似性快速检测方法
WO2016008070A1 (zh) * 2014-07-14 2016-01-21 华为技术有限公司 数据写入的方法及装置
CN105518790A (zh) * 2014-07-14 2016-04-20 华为技术有限公司 数据写入的方法及装置
CN105518790B (zh) * 2014-07-14 2019-05-28 华为技术有限公司 数据写入的方法及装置
CN104317823A (zh) * 2014-09-30 2015-01-28 北京合力思腾科技股份有限公司 一种利用数据指纹进行数据检测的方法
CN104391894A (zh) * 2014-11-11 2015-03-04 广州科腾信息技术有限公司 一种重复数据的检查处理方法
CN105917304A (zh) * 2014-12-09 2016-08-31 华为技术有限公司 重复数据删除的装置和方法
US11243915B2 (en) * 2014-12-10 2022-02-08 International Business Machines Corporation Method and apparatus for data deduplication
US20160171009A1 (en) * 2014-12-10 2016-06-16 International Business Machines Corporation Method and apparatus for data deduplication
US10089321B2 (en) * 2014-12-10 2018-10-02 International Business Machines Corporation Method and apparatus for data deduplication
US20180365262A1 (en) * 2014-12-10 2018-12-20 International Business Machines Corporation Method and apparatus for data deduplication
CN105069111A (zh) * 2015-08-10 2015-11-18 广东工业大学 云存储中基于相似性的数据块级数据去重方法
CN105069111B (zh) * 2015-08-10 2018-09-18 广东工业大学 云存储中基于相似性的数据块级数据去重方法
CN108027713B (zh) * 2015-09-18 2021-10-12 阿里巴巴集团控股有限公司 用于固态驱动器控制器的重复数据删除
CN108027713A (zh) * 2015-09-18 2018-05-11 阿里巴巴集团控股有限公司 用于固态驱动器控制器的重复数据删除
CN105260133B (zh) * 2015-09-22 2019-04-30 Tcl移动通信科技（宁波）有限公司 一种移动终端emmc的数据写入方法及系统
CN105260133A (zh) * 2015-09-22 2016-01-20 Tcl移动通信科技（宁波）有限公司 一种移动终端emmc的数据写入方法及系统
CN105653209A (zh) * 2015-12-31 2016-06-08 浪潮(北京)电子信息产业有限公司 一种对象存储数据传输方法及装置
CN106649646A (zh) * 2016-12-09 2017-05-10 北京锐安科技有限公司 一种数据去重的方法及装置
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN107122130B (zh) * 2017-04-13 2020-04-21 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN110019053A (zh) * 2017-11-02 2019-07-16 福建天晴数码有限公司 一种Unity3D资源包冗余数据检测方法及终端
CN110019053B (zh) * 2017-11-02 2022-04-01 福建天晴数码有限公司 一种Unity3D资源包冗余数据检测方法及终端
CN108681433A (zh) * 2018-05-04 2018-10-19 南京信息工程大学 一种用于重复数据删除的抽样选择方法
CN111651326A (zh) * 2020-06-02 2020-09-11 葛菲 一种基于区块链的分布式数据管理系统及方法
CN111651326B (zh) * 2020-06-02 2021-09-07 深圳市云计算科技有限公司 一种基于区块链的分布式数据管理系统及方法
CN112380197A (zh) * 2020-10-29 2021-02-19 中科热备(北京)云计算技术有限公司 一种基于前端重复数据删除的方法
CN112558885A (zh) * 2020-12-24 2021-03-26 展讯半导体(成都)有限公司 功能手机的存储器使用方法及相关产品
CN112558885B (zh) * 2020-12-24 2022-11-22 展讯半导体(成都)有限公司 功能手机的存储器使用方法及相关产品

Similar Documents

Publication Publication Date Title
CN101882141A (zh) 一种实现重复数据数据删除的方法和系统
US10031675B1 (en) Method and system for tiering data
JP5445682B2 (ja) ストレージシステム
CN104246764B (zh) 利用非均匀散列函数在非均匀访问存储器中放置记录的方法和装置
CN103902623B (zh) 用于在存储系统上存取文件的方法和系统
US10540106B2 (en) System and method for copy on write on an SSD
US11604834B2 (en) Technologies for performing stochastic similarity searches in an online clustering space
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
US10409692B1 (en) Garbage collection: timestamp entries and remove reference counts
WO2018063585A1 (en) Techniques to manage key-value storage at a memory or storage device
CN108027713A (zh) 用于固态驱动器控制器的重复数据删除
CN107135662B (zh) 一种差异数据备份方法、存储系统和差异数据备份装置
US10248677B1 (en) Scaling an SSD index on a deduplicated storage system
CN114924911A (zh) Windows操作系统有效数据备份方法、装置、设备和存储介质
CN105302665A (zh) 一种改进的写时拷贝快照方法及系统
CN102609531A (zh) 一种根据关键字反查文件的方法
CN113971001B (zh) 存储器装置中的存储流量模式检测
US9128823B1 (en) Synthetic data generation for backups of block-based storage
EP3908938B1 (en) Systems, methods and devices for eliminating duplicates and value redundancy in computer memories
CN108647243B (zh) 基于时间序列的工业大数据存储方法
CN103049387B (zh) 一种分页存储器件的压缩管理方法及装置
CN102831240B (zh) 扩展元数据文件的存储方法和存储结构
CN114579617A (zh) 数据查询方法、装置、计算机设备和存储介质
Long et al. A fast deduplication scheme for stored data in distributed storage systems
US10042558B1 (en) Method to improve the I/O performance in a deduplicated storage system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
DD01 Delivery of document by public notice

Addressee: Wang Xiaoyuan

Document name: Notification of Passing Examination on Formalities

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 214028 Jiangsu Province, Wuxi City District Road No. 18 Wuxi Zhenze National Software Park Building 6 layer A Taurus

Applicant after: SOUL Storage Technology (Wuxi) Co., Ltd.

Address before: 214028 Jiangsu Province, Wuxi City District Zhenze Road No. 18 Jiangsu Software Outsourcing Industrial Park Building 6 layer A Taurus

Applicant before: Wuxi SOUL Storage Technology Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: WUXI SOUL STORAGE TECHNOLOGY CO., LTD. TO: SOUL STORAGE TECHNOLOGY (WUXI)CO., LTD.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20101110