CN103019887A - 数据备份方法及装置 - Google Patents
数据备份方法及装置 Download PDFInfo
- Publication number
- CN103019887A CN103019887A CN2012105349965A CN201210534996A CN103019887A CN 103019887 A CN103019887 A CN 103019887A CN 2012105349965 A CN2012105349965 A CN 2012105349965A CN 201210534996 A CN201210534996 A CN 201210534996A CN 103019887 A CN103019887 A CN 103019887A
- Authority
- CN
- China
- Prior art keywords
- data block
- backed
- index information
- fingerprint
- cache pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种数据备份方法及装置，涉及数据备份技术领域。该方法包括：分析待备份数据块的指纹；以所述指纹为关键字在缓存池中查找相同的指纹；若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及周期性查询所述索引表，删除引用计数低于预设阈值的虚拟卷页对应的元数据信息。本发明实施例提供的方法及装置，能够在不影响系统性能的前提下实现重删性能的提高。
Description
技术领域
本发明涉及数据备份技术领域，尤其涉及一种数据备份方法及装置。
背景技术
随着备份数据的日益增多，重复数据删除（DataDe-duplication）被越来越广泛的应用，以降低数据存储的成本。重复数据删除也称重删，如字义所言就是不存储重复的部分以减少空间耗用，找出相同的数据，相同数据的只存储一份，以索引来记录，还原时根据索引就能回溯计算出原来文件的组成型式。
重删过程通常是这样的：首先，将数据文件分割成一组数据块，采用哈希（Hash）算法为每个数据块计算指纹（（Fingerprint，FP），具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份）；在进行数据的备份存储时，对每个待备份数据块，以指纹为关键字在索引中进行哈希查找，匹配则表示该数据块为重复数据块，仅存储该数据块的索引信息，不匹配则表示该数据块是一个新的唯一块，对该数据块进行存储并创建相关元数据信息，元数据信息包括数据块的指纹。
现有的数据的备份存储中，通常使用将重删后的数据的元数据缓存到内存中，将重删后的数据存储到底层磁盘上的方式，完成待备份数据的备份。在进行每个数据块的备份时，先到内存中查找元数据以完成重删，这样缩短了将元数据存储到底层磁盘对元数据时进行元数据访问的时间，一定程度上提高了访问性能，从而提高了重删性能。但是由于备份数据量一般很大，对应的元数据也很大，因此需要消耗掉大量的内存，影响系统性能。采用较大的内存固然可以在提高重删性能的前提下提高系统性能，但是由于内存颗粒的价格较高，所以受到了一定的限制。
发明内容
有鉴于此，本发明提供了一种数据备份方法及装置，能够在不影响系统性能的前提下实现重删性能的提高。
为了实现上述目的，在第一方面，本发明实施例提供了一种数据备份方法，包括：
分析待备份数据块的指纹；
以所述指纹为关键字在缓存池中查找相同的指纹；
若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
周期性查询所述索引表，删除所述缓存池中引用计数低于预设阈值的虚拟卷页对应的元数据信息，所述预设阈值是自然数。
其中，所述缓存池中存储有已存储的各数据块的元数据信息；所述索引表包括已存储的各数据块对应的虚拟卷页的索引信息，所述索引信息包括数据块对应的虚拟卷页的地址、以及数据块的元数据信息在所述缓存池中的存储地址，所述元数据信息包括所述数据块的指纹；所述引用计数用于记录所述虚拟卷页所对应的数据块被引用的次数。
结合第一方面，在第二种可能的实现方式中，所述若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一的步骤具体包括：
为所述待备份数据块分配虚拟卷页以及缓存池中的存储空间；
在所述索引表中创建所述待备份数据块的索引信息，并将所分配的虚拟卷页的引用计数记为一；以及
将所述待备份数据块存储到所述虚拟卷页对应的磁盘空间中，将其元数据信息存储到所分配的缓存池中的存储空间中。
结合第一方面的或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述索引信息中还包括访问时间，用于记录最近一次更新所述索引信息的时间。
结合第一方面的第二种可能的实施方式，在第三种可能的实现方式中，所述方法还包括：
周期性查询所述索引表，获得访问时间最近的第一预设数量的索引信息；
在所述第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除所述缓存池中引用计数最小的第二预设数量的虚拟卷页对应的元数据信息。
结合第一方面或第一方面的上述实现方式中的任一种，在第四种可能的实现方式中，所述缓存池设置在固态硬盘SSD中。
在第二方面，本发明实施例提供了一种数据备份装置，包括：
分析单元，用于分析待备份数据块的指纹；
匹配单元，用于以所述分析单元所分析出的指纹为关键字在缓存池中查找匹配的指纹；
备份单元，用于根据所述匹配单元的查找结果进行待备份数据块的备份：
若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
淘汰单元，用于周期性查询所述索引表，删除所述缓存池中引用计数低于预设阈值的虚拟卷页对应的元数据信息，所述预设阈值是自然数；
其中，所述缓存池中存储有已存储的各数据块的元数据信息；所述索引表包括已存储的各数据块对应的虚拟卷页的索引信息，所述索引信息包括数据块对应的虚拟卷页的地址、以及数据块的元数据信息在所述缓存池中的存储地址，所述元数据信息包括所述数据块的指纹；所述引用计数用于记录所述虚拟卷页所对应的数据块被引用的次数。
结合第二方面，在第一种可能的实现方式中，所述索引信息中还包括访问时间，用于记录最近一次更新所述索引信息的时间；
所述淘汰单元还用于周期性查询所述索引表，获得访问时间最近的第一预设数量的索引信息，并在所述第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除所述缓存池中引用计数最小的第二预设数量的虚拟卷页对应的元数据信息。
结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述缓存池设置在固态硬盘SSD中。
本发明实施例提供的方法及装置，采用了定期淘汰的机制，对缓存池中访问频率较低的元数据进行淘汰，即从缓存池中删除相关的信息，以保证容量有限的缓存池够用，能够在不影响系统性能的前提下实现重删性能的提高，进而提高了数据备份效率。
根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的说明书附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
图1为本发明实施例的数据备份方法的流程图；
图2为本发明实施例的数据备份方法中的索引表示意图；
图3为本发明实施例的数据备份方法的部分流程图；
图4为本发明实施例的一种数据备份装置的结构框图；
图5为本发明实施例的另一种数据备份装置的结构框图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于大家熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
现代存储技术中，磁盘根据自身的管理方式，将实际存储空间划分为固定大小的磁盘块进行管理，然后将各个磁盘块按一定的原则组合成虚拟卷，向用户呈现为逻辑单元号LUN。每一个虚拟卷都有一个最小的组成单位，该最小的组成单位可以为一个或多个上述磁盘块的大小，将虚拟卷的最小组成单位称为虚拟卷页。换言之，虚拟卷可由很多个物理空间连续或不连续的磁盘块组成，实际实现中，一般由将磁盘块映射到虚拟卷页的映射对各个磁盘块进行组织，从而对系统以虚拟卷的形式呈现为一个连续的空间。
如图1所示，本发明实施例提供了一种数据备份方法，包括：
S1.分析待备份数据块的指纹；
S2.以该指纹为关键字在缓存池中查找相同的指纹；
S3.若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数（ref）加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
S4.周期性查询所述索引表，删除所述缓存池中引用计数低于预设阈值的虚拟卷页对应的元数据信息，所述预设阈值是自然数。
其中，缓存池中存储有已存储的各数据块的元数据信息；所述索引表包括已存储的各数据块对应的虚拟卷页（Container，简称Ctn）的索引信息，每个虚拟卷页可对应多个数据块，每个虚拟卷页所对应的元数据可由对应的多个数据块的元数据信息构成，元数据信息中包括数据块的指纹。如2图所示，每条索引信息分别包括：虚拟卷页的ID（Ctn_ID）、虚拟卷页的地址（Ctn_Addr）、以及该虚拟卷页对应的元数据（Ctn_Meta）在缓存池中的地址（Ctn_Meta_addr）。引用计数用于记录虚拟卷页所对应的数据块被引用的次数，即引用该虚拟卷页中的数据块的文件的数量，代表着该虚拟卷页的热点特性。对文件的写操作将引起该计数的改变：增加文件的数据可能造成引用计数的增加；删除文件的数据可能造成引用计数的减少，甚至减少为零。
本发明实施例的方法采用了定期淘汰的机制，对缓存池中访问频率较低的元数据进行淘汰，即从缓存池中删除相关的信息，以保证容量有限的缓存池够用，能够在不影响系统性能的前提下实现重删性能的提高。其中，可在满足采用该预设阈值进行元数据的淘汰能够保证缓存池够用的条件下，根据需要任意设置该预设阈值，，所述预设阈值是自然数，例如1。
且如3图所示，在步骤S3中，将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一的步骤具体包括：
S31.为待备份数据块分配虚拟卷页以及缓存池中的存储空间；
S32.在该索引表中创建该待备份数据块的索引信息，并将所分配的虚拟卷页的引用计数记为一；以及
S33.将该待备份数据块存储到该虚拟卷页对应的磁盘空间中，将其元数据信息存储到所分配的缓存池中的存储空间中。
需要说明的是，上述步骤S32和S33的顺序可以调换。
本发明实施例的方法中索引信息中还包括访问时间，用于记录最近一次更新所述索引信息的时间，本发明实施例的方法在上述步骤S1-S4的基础上还可包括步骤：
周期性查询该索引表，获得访问时间最近的第一预设数量（例如总的索引信息数量的20%）的索引信息；
在该第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除所述缓存池中引用计数最小的第二预设数量（例如第一预设数量的50%）的虚拟卷页对应的元数据信息。
通过上述步骤，本发明实施例的方法可对定期将较少被访问且引用计数较小的虚拟卷页淘汰掉，以进一步保证容量有限的缓存池够用。
此外，在本发明实施例的方法中，该缓存池可在内存中，还可在固态硬盘（Solid State Disk、IDE FLASH DISK，SSD）。SSD的成本较内存低，可以在较低的成本的条件下实现重删性能的提高。
如图4所示，本发明实施例还提供了一种数据备份装置400，该装置依照图1所示的方法进行数据备份，该装置包括：
分析单元401，用于分析待备份数据块的指纹；
匹配单元402，用于以分析单元401所分析出的指纹为关键字在缓存池中查找相同的指纹；
备份单元403，用于根据匹配单元402的查找结果进行待备份数据块的备份：若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
淘汰单元404，用于周期性查询所述索引表，删除所述缓存池中引用计数低于预设阈值的虚拟卷页对应的元数据信息，所述预设阈值是自然数；或者周期性查询所述索引表，获得访问时间最近的第一预设数量的索引信息，并在所述第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除引用计数最小的第二预设数量的虚拟卷页对应的元数据信息。
如图5所示，本发明实施例还提供了另一种数据备份装置500，该数据备份装置500可以包括：
处理器(processor)510、通信接口(CommunicationsInterface)520、存储器(memory)530、以及通信总线540。其中：
处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。
通信接口520，用于与比如客户端等的网元通信。
处理器510，用于执行程序532，具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地，程序532可以包括程序代码，所述程序代码包括计算机操作指令。
处理器510可能是一个中央处理器CPU，或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器530，用于存放程序532。存储器530可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。程序532具体可以包括：
分析单元，用于分析待备份数据块的指纹；
匹配单元，用于以分析单元所分析出的指纹为关键字在缓存池中查找相同的指纹；
备份单元，用于根据匹配单元的查找结果进行待备份数据块的备份：若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
淘汰单元，用于周期性查询所述索引表，删除引用计数低于预设阈值的虚拟卷页对应的元数据信息；或者周期性查询所述索引表，获得访问时间最近的第一预设数量的索引信息，并在所述第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除所述缓存池中引用计数最小的第二预设数量的虚拟卷页对应的元数据信息。
程序532中各单元的具体实现可以参见图4所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (8)
1.一种数据备份方法，其特征在于，包括：
分析待备份数据块的指纹；
以所述指纹为关键字在缓存池中查找相同的指纹；
若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
周期性查询所述索引表，删除所述缓存池中引用计数低于预设阈值的虚拟卷页对应的元数据信息，所述预设阈值是自然数；
其中，所述缓存池中存储有已存储的各数据块的元数据信息；所述索引表包括已存储的各数据块对应的虚拟卷页的索引信息，所述索引信息包括数据块对应的虚拟卷页的地址、以及数据块的元数据信息在所述缓存池中的存储地址，所述元数据信息包括所述数据块的指纹；所述引用计数用于记录所述虚拟卷页所对应的数据块被引用的次数。
2.根据权利要求1所述的方法，其特征在于，所述若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一的步骤具体包括：
为所述待备份数据块分配虚拟卷页以及缓存池中的存储空间；
在所述索引表中创建所述待备份数据块的索引信息，并将所分配的虚拟卷页的引用计数记为一；以及
将所述待备份数据块存储到所述虚拟卷页对应的磁盘空间中，将其元数据信息存储到所分配的缓存池中的存储空间中。
3.根据权利要求1或2所述的方法，其特征在于，所述索引信息中还包括访问时间，用于记录最近一次更新所述索引信息的时间。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
周期性查询所述索引表，获得访问时间最近的第一预设数量的索引信息；
在所述第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除所述缓存池中引用计数最小的第二预设数量的虚拟卷页对应的元数据信息。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述缓存池设置在固态硬盘SSD中。
6.一种数据备份装置，其特征在于，包括：
分析单元，用于分析待备份数据块的指纹；
匹配单元，用于以所述分析单元所分析出的指纹为关键字在缓存池中查找相同的指纹；
备份单元，用于根据所述匹配单元的查找结果进行待备份数据块的备份：
若存在相同的指纹，则将所述指纹对应的索引信息中虚拟卷页的引用计数加一；若不存在相同的指纹，则将所述待备份数据块存储到虚拟卷上，将所述待备份数据块的元数据信息存储在所述缓存池中，并在索引表中为所述待备份数据块创建索引信息，将所创建的索引信息中所述待备份数据块对应的虚拟卷页的引用计数设为一；以及
淘汰单元，用于周期性查询所述索引表，删除所述缓存池中引用计数低于预设阈值的虚拟卷页对应的元数据信息，所述预设阈值是自然数；
其中，所述缓存池中存储有已存储的各数据块的元数据信息；所述索引表包括已存储的各数据块对应的虚拟卷页的索引信息，所述索引信息包括数据块对应的虚拟卷页的地址、以及数据块的元数据信息在所述缓存池中的存储地址，所述元数据信息包括所述数据块的指纹；所述引用计数用于记录所述虚拟卷页所对应的数据块被引用的次数。
7.根据权利要求6所述的装置，其特征在于，所述索引信息中还包括访问时间，用于记录最近一次更新所述索引信息的时间；
所述淘汰单元还用于周期性查询所述索引表，获得访问时间最近的第一预设数量的索引信息，并在所述第一预设数量的索引信息中，按照虚拟卷页的引用计数从小到大的顺序，删除所述缓存池中引用计数最小的第二预设数量的虚拟卷页对应的元数据信息。
8.根据权利要求6或7所述的装置，其特征在于，所述缓存池设置在固态硬盘SSD中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210534996.5A CN103019887B (zh) | 2012-12-12 | 2012-12-12 | 数据备份方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210534996.5A CN103019887B (zh) | 2012-12-12 | 2012-12-12 | 数据备份方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103019887A true CN103019887A (zh) | 2013-04-03 |
| CN103019887B CN103019887B (zh) | 2016-01-06 |
Family
ID=47968517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210534996.5A Active CN103019887B (zh) | 2012-12-12 | 2012-12-12 | 数据备份方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103019887B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103744614A (zh) * | 2013-12-17 | 2014-04-23 | 记忆科技(深圳)有限公司 | 固态硬盘访问的方法及其固态硬盘 |
| WO2015010555A1 (zh) * | 2013-07-23 | 2015-01-29 | 华为技术有限公司 | 数据分块方法及装置 |
| CN104391760A (zh) * | 2014-11-24 | 2015-03-04 | 华为技术有限公司 | 一种数据备份的方法、服务器和系统 |
| CN104778193A (zh) * | 2014-12-23 | 2015-07-15 | 北京锐安科技有限公司 | 数据去重方法及装置 |
| CN104866473A (zh) * | 2014-02-20 | 2015-08-26 | 携程计算机技术（上海）有限公司 | 存储单元的数据存储、访问方法以及服务器 |
| CN105487819A (zh) * | 2015-11-30 | 2016-04-13 | 上海爱数信息技术股份有限公司 | 一种基于任务策略的内存级数据快速存储方法 |
| WO2016086411A1 (zh) * | 2014-12-05 | 2016-06-09 | 华为技术有限公司 | 一种控制器、闪存装置、识别数据块稳定性的方法以及在闪存装置中存储数据的方法 |
| CN106407226A (zh) * | 2015-07-31 | 2017-02-15 | 华为技术有限公司 | 一种数据处理方法、备份服务器及存储系统 |
| CN108052284A (zh) * | 2017-12-08 | 2018-05-18 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN109144773A (zh) * | 2017-06-27 | 2019-01-04 | 华为技术有限公司 | 数据备份的方法、装置及设备 |
| CN109508254A (zh) * | 2017-09-14 | 2019-03-22 | 华为技术有限公司 | 一种数据恢复方法及装置 |
| CN110389706A (zh) * | 2018-04-16 | 2019-10-29 | 华为技术有限公司 | 一种指纹回收方法以及存储系统 |
| CN112612576A (zh) * | 2020-12-23 | 2021-04-06 | 新华三大数据技术有限公司 | 虚拟机备份方法、装置、电子设备及存储介质 |
| CN116108023A (zh) * | 2023-04-12 | 2023-05-12 | 北京首信科技股份有限公司 | 一种用于HBase数据库的数据检索方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908073A (zh) * | 2010-08-13 | 2010-12-08 | 清华大学 | 一种文件系统中实时删除重复数据的方法 |
| CN102495894A (zh) * | 2011-12-12 | 2012-06-13 | 成都市华为赛门铁克科技有限公司 | 重复数据查找方法、装置及系统 |
| US20120159098A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Garbage collection and hotspots relief for a data deduplication chunk store |
-
2012
- 2012-12-12 CN CN201210534996.5A patent/CN103019887B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908073A (zh) * | 2010-08-13 | 2010-12-08 | 清华大学 | 一种文件系统中实时删除重复数据的方法 |
| US20120159098A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Garbage collection and hotspots relief for a data deduplication chunk store |
| CN102495894A (zh) * | 2011-12-12 | 2012-06-13 | 成都市华为赛门铁克科技有限公司 | 重复数据查找方法、装置及系统 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015010555A1 (zh) * | 2013-07-23 | 2015-01-29 | 华为技术有限公司 | 数据分块方法及装置 |
| CN103744614A (zh) * | 2013-12-17 | 2014-04-23 | 记忆科技(深圳)有限公司 | 固态硬盘访问的方法及其固态硬盘 |
| CN103744614B (zh) * | 2013-12-17 | 2017-07-07 | 记忆科技(深圳)有限公司 | 固态硬盘访问的方法及其固态硬盘 |
| CN104866473A (zh) * | 2014-02-20 | 2015-08-26 | 携程计算机技术（上海）有限公司 | 存储单元的数据存储、访问方法以及服务器 |
| CN104391760A (zh) * | 2014-11-24 | 2015-03-04 | 华为技术有限公司 | 一种数据备份的方法、服务器和系统 |
| CN104391760B (zh) * | 2014-11-24 | 2018-03-09 | 华为技术有限公司 | 一种数据备份的方法、服务器和系统 |
| WO2016086411A1 (zh) * | 2014-12-05 | 2016-06-09 | 华为技术有限公司 | 一种控制器、闪存装置、识别数据块稳定性的方法以及在闪存装置中存储数据的方法 |
| CN105980992A (zh) * | 2014-12-05 | 2016-09-28 | 华为技术有限公司 | 一种控制器、闪存装置、识别数据块稳定性的方法以及在闪存装置中存储数据的方法 |
| US9772790B2 (en) | 2014-12-05 | 2017-09-26 | Huawei Technologies Co., Ltd. | Controller, flash memory apparatus, method for identifying data block stability, and method for storing data in flash memory apparatus |
| CN105980992B (zh) * | 2014-12-05 | 2018-02-13 | 华为技术有限公司 | 一种存储系统、识别数据块稳定性的方法以及装置 |
| CN104778193A (zh) * | 2014-12-23 | 2015-07-15 | 北京锐安科技有限公司 | 数据去重方法及装置 |
| CN104778193B (zh) * | 2014-12-23 | 2018-03-23 | 北京锐安科技有限公司 | 数据去重方法及装置 |
| CN106407226A (zh) * | 2015-07-31 | 2017-02-15 | 华为技术有限公司 | 一种数据处理方法、备份服务器及存储系统 |
| CN105487819A (zh) * | 2015-11-30 | 2016-04-13 | 上海爱数信息技术股份有限公司 | 一种基于任务策略的内存级数据快速存储方法 |
| CN109144773A (zh) * | 2017-06-27 | 2019-01-04 | 华为技术有限公司 | 数据备份的方法、装置及设备 |
| CN109508254A (zh) * | 2017-09-14 | 2019-03-22 | 华为技术有限公司 | 一种数据恢复方法及装置 |
| CN109508254B (zh) * | 2017-09-14 | 2020-09-08 | 华为技术有限公司 | 一种数据恢复方法及装置 |
| US11397537B2 (en) | 2017-09-14 | 2022-07-26 | Huawei Technologies Co., Ltd. | Data restoration method and apparatus |
| CN108052284A (zh) * | 2017-12-08 | 2018-05-18 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108052284B (zh) * | 2017-12-08 | 2020-11-06 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN110389706A (zh) * | 2018-04-16 | 2019-10-29 | 华为技术有限公司 | 一种指纹回收方法以及存储系统 |
| CN110389706B (zh) * | 2018-04-16 | 2021-05-11 | 华为技术有限公司 | 一种指纹回收方法以及存储系统 |
| CN112612576A (zh) * | 2020-12-23 | 2021-04-06 | 新华三大数据技术有限公司 | 虚拟机备份方法、装置、电子设备及存储介质 |
| CN112612576B (zh) * | 2020-12-23 | 2022-08-30 | 新华三大数据技术有限公司 | 虚拟机备份方法、装置、电子设备及存储介质 |
| CN116108023A (zh) * | 2023-04-12 | 2023-05-12 | 北京首信科技股份有限公司 | 一种用于HBase数据库的数据检索方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103019887B (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103019887B (zh) | 数据备份方法及装置 | |
| KR102564170B1 (ko) | 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체 | |
| US10031675B1 (en) | Method and system for tiering data | |
| EP2735978B1 (en) | Storage system and management method used for metadata of cluster file system | |
| US9851917B2 (en) | Method for de-duplicating data and apparatus therefor | |
| US8271462B2 (en) | Method for creating a index of the data blocks | |
| CN108268219B (zh) | 一种处理io请求的方法及装置 | |
| US10706034B2 (en) | Query access optimizations for tiered index architecture | |
| US9772790B2 (en) | Controller, flash memory apparatus, method for identifying data block stability, and method for storing data in flash memory apparatus | |
| CN110532200B (zh) | 一种基于混合内存架构的内存系统 | |
| CN109407985B (zh) | 一种数据管理的方法以及相关装置 | |
| US11625187B2 (en) | Method and system for intercepting a discarded page for a memory swap | |
| CN104750432B (zh) | 一种数据存储方法及装置 | |
| CN113535670B (zh) | 一种虚拟化资源镜像存储系统及其实现方法 | |
| CN106055679A (zh) | 一种多层次缓存感知型索引方法 | |
| CN104462388A (zh) | 一种基于级联式存储介质的冗余数据清理方法 | |
| CN105493080A (zh) | 基于上下文感知的重复数据删除的方法和装置 | |
| CN104050057B (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
| US8868853B2 (en) | Data processing device, data recording method and data recording program | |
| CN109408416B (zh) | 一种地址映射表项页管理方法及装置 | |
| US9361402B2 (en) | Tiered index management | |
| CN104391652A (zh) | 一种硬盘的损耗均衡方法及装置 | |
| Wu et al. | Data sorting in flash memory | |
| KR100878142B1 (ko) | 플래시 메모리 상에서의 효율적인 동작을 위한 수정된ｂ-트리 인덱스 구성 방법 | |
| Wang et al. | FlashSkipList: indexing on flash devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |