CN106095332A - 一种数据重删方法及装置 - Google Patents

一种数据重删方法及装置 Download PDF

Info

Publication number
CN106095332A
CN106095332A CN201610381696.6A CN201610381696A CN106095332A CN 106095332 A CN106095332 A CN 106095332A CN 201610381696 A CN201610381696 A CN 201610381696A CN 106095332 A CN106095332 A CN 106095332A
Authority
CN
China
Prior art keywords
data block
data
heavily
mapping
cryptographic hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610381696.6A
Other languages
English (en)
Inventor
扈海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macrosan Technologies Co Ltd
Original Assignee
Macrosan Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macrosan Technologies Co Ltd filed Critical Macrosan Technologies Co Ltd
Priority to CN201610381696.6A priority Critical patent/CN106095332A/zh
Publication of CN106095332A publication Critical patent/CN106095332A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据重删方法及装置，方法包括：确定第一区域，第一区域为写入数据频率低于预设的频率阈值的区域，区域包含至少一个数据块；计算第一区域的第一数据块的哈希值；判断第一数据块的哈希值是否与重删映射表项中的哈希值相同；当相同时，获取重删映射表项中重删数据块的物理地址；读取重删数据块中的数据；当重删数据块中的数据与第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收第一数据块。本发明可提高重删效率，降低写入数据延时，提高存储系统的工作效率。

Description

一种数据重删方法及装置
技术领域
本发明涉及存储技术领域，尤其涉及一种数据重删方法及装置。
背景技术
重删是一种自动搜索重复数据，并将相同数据保留唯一副本的存储技术。通过重删处理，可消除存储系统的冗余数据，降低对存储容量的需求。
目前比较流行的重删技术是基于Hash(译为散列或哈希)算法实现的在线重删技术，即在写入数据时，计算写入数据的Hash值，通过Hash值匹配，保留新增数据，删除重复数据。Hash值计算以及匹配过程需要消耗大量的系统资源，造成写数据延迟，影响存储系统工作效率。
发明内容
本发明的目的在于提供一种数据重删方法及装置，用以在非热点区域执行后台重删处理。
为实现上述发明目的，本发明提供了技术方案：
本发明提供一种数据重删方法，应用于存储系统，所述方法包括：
确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；
计算所述第一区域的第一数据块的哈希值；
判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；
当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；
根据所述重删数据块的物理地址读取所述重删数据块中的数据；
当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。
进一步地，所述确定第一区域之前，还包括：
获取预设的统计时长；
在所述统计时长内，统计每一个数据块的写入次数；
计算同一区域内所有数据块的写入次数的总和；
根据所述写入次数的总和以及所述统计时长，得到当前区域的写入数据频率。
进一步地，所述方法还包括：
当所述第一数据块的哈希值与重删映射表项中的哈希值不同时，分配重删数据块；
将所述第一数据块的数据写入分配的重删数据块；
将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系；
建立所述第一数据块的哈希值与所述分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项；
回收所述第一数据块。
进一步地，所述方法还包括：
将第二区域的第二数据块对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，所述第二区域为写入数据频率达到所述预设频率阈值的区域。
本发明还提供一种数据重删装置，应用于存储系统，所述装置包括：
确定单元，用于确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；
计算单元，用于计算所述第一区域的第一数据块的哈希值；
判断单元，用于判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；
获取单元，用于当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；
读取单元，用于根据所述重删数据块的物理地址读取所述重删数据块中的数据；
重删单元，用于当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。
进一步地，所述装置还包括：
统计单元，用于在所述确定单元确定第一区域之前，获取预设的统计时长；在所述统计时长内，统计每一个数据块的写入次数；计算同一区域内所有数据块的写入次数的总和；根据所述写入次数的总和以及所述统计时长，得到当前区域的写入数据频率。
进一步地，
所述重删单元，还用于当所述第一数据块的哈希值与重删映射表项中的哈希值不同时，分配重删数据块；将所述第一数据块的数据写入分配的重删数据块；将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系；建立所述第一数据块的哈希值与所述分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项；回收所述第一数据块。
进一步地，所述装置还包括：
保存单元，用于将第二区域的第二数据块对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，所述第二区域为写入数据频率达到所述预设频率阈值的区域。
由以上描述可以看出，本发明基于非热点区域(写入数据频率相对较低的区域)执行后台重删处理，从而提高重删效率，同时，降低写入数据延时，提高存储系统的工作效率。
附图说明
图1是本发明实施例示出的数据重删方法流程图；
图2是本发明实施例示出的一种数据重删中间状态示意图；
图3是本发明实施例示出的另一种数据重删中间状态示意图；
图4是本发明实施例示出的另一种数据重删中间状态示意图；
图5是本发明实施例示出的一种存储系统的结构示意图；
图6是本发明实施例示出的一种数据重删装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例提出一种数据重删方法，该方法基于非热点区域(写入数据频率相对较低的区域)执行后台重删处理，从而提高重删效率，同时，降低写入数据延时，提高存储系统的工作效率。
参见图1，为本发明数据重删方法的一个实施例流程图，该实施例对数据重删过程进行描述。
步骤101，确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块。
数据块是用来保存数据的最小单位，数据块的大小可根据具体应用进行划分，例如，4K、8K、16K等。本发明实施例将数据写入存储系统时的数据块称为初始数据块。
本发明实施例基于数据块划分区域，区域的大小为数据块大小的整数倍。在进行重删处理之前，首先识别区域是否为热点区域。具体识别过程为：获取预设的统计时长，例如，一个小时。在该统计时长内，统计每一个数据块的写入次数，然后，计算同一区域内所有数据块的写入次数的总和，根据区域内写入次数的总和以及统计时长，得到当前区域的写入数据频率。将该写入数据频率与预设的频率阈值进比较，当写入数据频率达到预设的频率阈值时，确定当前区域为热点区域；当写入数据频率低于预设的频率阈值时，确定当前区域为非热点区域。以下描述将非热点区域称为第一区域，位于第一区域的数据块，称为第一数据块。
步骤102，计算所述第一区域的第一数据块的哈希值。
本发明实施例仍基于哈希值进行重删处理。
步骤103，判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系。
将步骤102计算的第一数据块的哈希值与重删映射表项中的哈希值进行比较，以确认当前第一数据块中的数据是否与重删数据块中的数据重复，进而进行重删处理。
步骤104，当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址。
当第一数据块的哈希值与重删映射表项中的哈希值相同时，可基本确定第一数据块的数据与重删数据块的数据重复。但是，既使哈希算法再先进再复杂，也无法完全避免哈希冲突(哈希值相同，但实际数据并不相同)，因此，还需要进一步确定。
步骤105，根据所述重删数据块的物理地址读取所述重删数据块中的数据。
步骤106，当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。
当第一数据块与重删数据块的哈希值相同时，可通过获取对应数据块中的具体数据进行比对，以确定是否真正存在数据重复。
当第一数据块中的数据与重删数据块中的数据相同时，说明确实存在数据重复，因此，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系，并回收该第一数据块，从而完成重删处理，即，对于相同数据仅在存储系统中保存一份副本。当读取数据时，可通过查询数据映射表项，由逻辑地址直接查询到对应的物理地址，进而获取对应数据，缩短了数据读取时间。
当第一数据块中的数据与重删数据块中的数据不同时，说明当前存在哈希冲突(随着哈希算法的优化，真正发生哈希冲突的概率很小)，实际数据并没有重复，此时，可不进行处理，数据仍保存在第一数据块中，仍然通过第一数据块的逻辑地址与第一数据块的物理地址的映射关系访问该第一数据块中的数据。
当根据步骤103的判断结果，确定第一数据块的哈希值与重删映射表项中的哈希值不同时，说明第一数据块的数据与当前已保存在重删数据块中的数据不重复，因此，分配重删数据块，将第一数据块中的数据写入该分配的重删数据块，同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系，并建立第一数据块的哈希值与分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项，并回收第一数据块。
由以上描述可以看出，本发明实施例采用后台重删方式，在数据写入后再进行重删处理，从而将前端处理(读写数据)与后台重删处理分离，通过控制重删处理时机(例如，设定时间策略，到预定时间点触发重删处理；设定数据增量，当写入数据到达一定规模时，触发重删处理；检测系统状态，在系统空闲时触发重删处理)，保证前端处理效率。同时，由于采用一次映射(由逻辑地址直接到物理地址的映射)进行读写操作，在支持重删功能的同时，进一步提高了前端处理效率。此外，由于非热点区域数据更新频率较低，针对非热点区域的重删处理，可提高处理后数据的稳定性，提高重删效率。
需要补充的是，由于本发明实施例对非热点区域(简称第一区域)和热点区域(简称第二区域)进行了区分，因此，当存储系统内存紧张时，可将第二区域的数据块(简称第二数据块)对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，从而减轻内存压力，使访问频繁的数据块的映射关系优先放在内存中，提高访问速度。
本发明实施例的数据重删方法可适用于文件存储系统、对象存储系统以及块存储系统，现以块存储系统(LUN存储系统)为例介绍数据重删过程。
图2所示，为本发明实施例示出的一种数据重删中间状态示意图。假设，Addr_0～Addr_m为区域1，对应数据块B_0～B_m，区域1的写入数据频率为5次/小时；区域2(图中未示出)的写入数据频率为30次/小时；区域X(图中未示出)的写入数据频率为40次/小时；预设频率阈值为25次/小时，则可确定区域1为非热点区域，其它区域为热点区域。
对区域1进行重删处理，具体如下：
获取B_0数据块中数据Data_0(表示保存在B_0数据块中的所有数据)，计算Data_0的哈希值，假设计算结果为H_x，查询哈希值与重删数据块物理地址的映射关系，可知存在该哈希值H_x，获取与H_x对应的重删数据块B_x中的数据Data_0，与B_0数据块中的数据Data_0比对，数据内容完全相同，因此，可确定存在重复数据，修改与Addr_0对应的数据块的物理地址为重删数据块B_x的物理地址，参见图3，回收数据块B_0。
获取B_1数据块中数据Data_1(表示保存在B_1数据块中的所有数据)，计算Data_1的哈希值，假设计算结果为H_y，查询哈希值与重删数据块物理地址的映射关系，可知存在该哈希值H_y，获取与H_y对应的重删数据块B_y中的数据Data_y，与B_1数据块中的数据Data_1比对，数据内容不同，因此，确定存在哈希冲突，不作处理，Data_1仍然保存在B_1中，逻辑地址Addr_1和数据块B_1的物理地址映射关系不变。
获取B_m数据块中数据Data_m(表示保存在B_m数据块中的所有数据)，计算Data_m的哈希值，假设计算结果为H_z，查询哈希值与重删数据块物理地址的映射关系，可知不存在该哈希值H_z，分配重删数据块B_z，将Data_m写入重删数据块B_z，修改与Addr_m对应的数据块的物理地址为重删数据块B_z的物理地址，参见图4，回收数据块B_m。
当内存空间紧张时，可将非热点区域(区域1)对应的逻辑地址与数据块物理地址的映射关系存入磁盘中，将其它热点区域对应的逻辑地址与数据块物理地址的映射关系保留在内存中，以满足热点区域读写效率。
与前述数据重删方法的实施例相对应，本发明还提供了数据重删装置的实施例。
本发明数据重删装置的实施例可以应用在存储系统上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器运行存储器中对应的计算机程序指令形成的。从硬件层面而言，如图5所示，为本发明数据重删装置所在设备的一种硬件结构图，除了图5所示的处理器以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图6，为本发明一个实施例中的数据重删装置的结构示意图。该数据重删装置包括确定单元601、计算单元602、判断单元603、获取单元604、读取单元605以及重删单元606，其中：
确定单元601，用于确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；
计算单元602，用于计算所述第一区域的第一数据块的哈希值；
判断单元603，用于判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；
获取单元604，用于当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；
读取单元605，用于根据所述重删数据块的物理地址读取所述重删数据块中的数据；
重删单元606，用于当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。
进一步地，所述装置还包括：
统计单元，用于在所述确定单元601确定第一区域之前，获取预设的统计时长；在所述统计时长内，统计每一个数据块的写入次数；计算同一区域内所有数据块的写入次数的总和；根据所述写入次数的总和以及所述统计时长，得到当前区域的写入数据频率。
进一步地，
所述重删单元606，还用于当所述第一数据块的哈希值与重删映射表项中的哈希值不同时，分配重删数据块；将所述第一数据块的数据写入分配的重删数据块；将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系；建立所述第一数据块的哈希值与所述分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项；回收所述第一数据块。
进一步地，所述装置还包括：
保存单元，用于将第二区域的第二数据块对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，所述第二区域为写入数据频率达到所述预设频率阈值的区域。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种数据重删方法，应用于存储系统，其特征在于，所述方法包括：
确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；
计算所述第一区域的第一数据块的哈希值；
判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；
当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；
根据所述重删数据块的物理地址读取所述重删数据块中的数据；
当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。
2.如权利要求1所述的方法，其特征在于，所述确定第一区域之前，还包括：
获取预设的统计时长；
在所述统计时长内，统计每一个数据块的写入次数；
计算同一区域内所有数据块的写入次数的总和；
根据所述写入次数的总和以及所述统计时长，得到当前区域的写入数据频率。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
当所述第一数据块的哈希值与重删映射表项中的哈希值不同时，分配重删数据块；
将所述第一数据块的数据写入分配的重删数据块；
将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系；
建立所述第一数据块的哈希值与所述分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项；
回收所述第一数据块。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
将第二区域的第二数据块对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，所述第二区域为写入数据频率达到所述预设频率阈值的区域。
5.一种数据重删装置，应用于存储系统，其特征在于，所述装置包括：
确定单元，用于确定第一区域，所述第一区域为写入数据频率低于预设的频率阈值的区域，所述区域包含至少一个数据块；
计算单元，用于计算所述第一区域的第一数据块的哈希值；
判断单元，用于判断所述第一数据块的哈希值是否与重删映射表项中的哈希值相同，所述重删映射表项用于记录哈希值与重删数据块的物理地址的映射关系；
获取单元，用于当所述第一数据块的哈希值与重删映射表项中的哈希值相同时，获取所述重删映射表项中重删数据块的物理地址；
读取单元，用于根据所述重删数据块的物理地址读取所述重删数据块中的数据；
重删单元，用于当所述重删数据块中的数据与所述第一数据块中的数据相同时，将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与重删数据块的物理地址的映射关系；回收所述第一数据块。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
统计单元，用于在所述确定单元确定第一区域之前，获取预设的统计时长；在所述统计时长内，统计每一个数据块的写入次数；计算同一区域内所有数据块的写入次数的总和；根据所述写入次数的总和以及所述统计时长，得到当前区域的写入数据频率。
7.如权利要求5或6所述的装置，其特征在于：
所述重删单元，还用于当所述第一数据块的哈希值与重删映射表项中的哈希值不同时，分配重删数据块；将所述第一数据块的数据写入分配的重删数据块；将数据映射表项中记录的第一数据块的逻辑地址与第一数据块的物理地址的映射关系，更改为第一数据块的逻辑地址与分配的重删数据块的物理地址的映射关系；建立所述第一数据块的哈希值与所述分配的重删数据块的物理地址的映射关系，生成对应的重删映射表项；回收所述第一数据块。
8.如权利要求5所述的装置，其特征在于，所述装置还包括：
保存单元，用于将第二区域的第二数据块对应的数据映射表项保存在内存中，将第一区域的第一数据块对应的数据映射表项保存在磁盘中，所述第二区域为写入数据频率达到所述预设频率阈值的区域。
CN201610381696.6A 2016-06-01 2016-06-01 一种数据重删方法及装置 Pending CN106095332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610381696.6A CN106095332A (zh) 2016-06-01 2016-06-01 一种数据重删方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610381696.6A CN106095332A (zh) 2016-06-01 2016-06-01 一种数据重删方法及装置

Publications (1)

Publication Number Publication Date
CN106095332A true CN106095332A (zh) 2016-11-09

Family

ID=57446778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610381696.6A Pending CN106095332A (zh) 2016-06-01 2016-06-01 一种数据重删方法及装置

Country Status (1)

Country Link
CN (1) CN106095332A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN107193503A (zh) * 2017-05-27 2017-09-22 杭州宏杉科技股份有限公司 一种数据重删方法及存储设备
CN110795031A (zh) * 2019-10-17 2020-02-14 北京浪潮数据技术有限公司 一种基于全闪存储的数据重删方法、装置和系统
CN111984203A (zh) * 2020-09-27 2020-11-24 苏州浪潮智能科技有限公司 一种数据重删方法、装置及电子设备和存储介质
CN113867627A (zh) * 2021-08-29 2021-12-31 苏州浪潮智能科技有限公司 一种存储系统性能优化方法及系统
CN114138198A (zh) * 2021-11-29 2022-03-04 苏州浪潮智能科技有限公司 一种数据重删的方法、装置、设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114932A1 (en) * 2012-10-18 2014-04-24 Netapp, Inc. Selective deduplication
US20140122818A1 (en) * 2012-10-31 2014-05-01 Hitachi Computer Peripherals Co., Ltd. Storage apparatus and method for controlling storage apparatus
CN104123347A (zh) * 2014-07-04 2014-10-29 北京思特奇信息技术股份有限公司 一种应用于boss系统的数据重删方法及系统
CN104239518A (zh) * 2014-09-17 2014-12-24 华为技术有限公司 重复数据删除方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114932A1 (en) * 2012-10-18 2014-04-24 Netapp, Inc. Selective deduplication
US20140122818A1 (en) * 2012-10-31 2014-05-01 Hitachi Computer Peripherals Co., Ltd. Storage apparatus and method for controlling storage apparatus
CN104123347A (zh) * 2014-07-04 2014-10-29 北京思特奇信息技术股份有限公司 一种应用于boss系统的数据重删方法及系统
CN104239518A (zh) * 2014-09-17 2014-12-24 华为技术有限公司 重复数据删除方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN107122130B (zh) * 2017-04-13 2020-04-21 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN107193503A (zh) * 2017-05-27 2017-09-22 杭州宏杉科技股份有限公司 一种数据重删方法及存储设备
CN107193503B (zh) * 2017-05-27 2020-05-29 杭州宏杉科技股份有限公司 一种数据重删方法及存储设备
CN110795031A (zh) * 2019-10-17 2020-02-14 北京浪潮数据技术有限公司 一种基于全闪存储的数据重删方法、装置和系统
CN111984203A (zh) * 2020-09-27 2020-11-24 苏州浪潮智能科技有限公司 一种数据重删方法、装置及电子设备和存储介质
CN111984203B (zh) * 2020-09-27 2022-07-29 苏州浪潮智能科技有限公司 一种数据重删方法、装置及电子设备和存储介质
CN113867627A (zh) * 2021-08-29 2021-12-31 苏州浪潮智能科技有限公司 一种存储系统性能优化方法及系统
CN113867627B (zh) * 2021-08-29 2023-08-22 苏州浪潮智能科技有限公司 一种存储系统性能优化方法及系统
CN114138198A (zh) * 2021-11-29 2022-03-04 苏州浪潮智能科技有限公司 一种数据重删的方法、装置、设备及可读介质
CN114138198B (zh) * 2021-11-29 2024-05-28 苏州浪潮智能科技有限公司 一种数据重删的方法、装置、设备及可读介质

Similar Documents

Publication Publication Date Title
CN106095332A (zh) 一种数据重删方法及装置
US9298384B2 (en) Method and device for storing data in a flash memory using address mapping for supporting various block sizes
US8275970B2 (en) Optimizing write traffic to a disk
US20180232314A1 (en) Method for storing data by storage device and storage device
CN110008136A (zh) 管理闪存模块的方法及相关的闪存控制器及电子装置
CN107193503B (zh) 一种数据重删方法及存储设备
US11402998B2 (en) Re-placing data within a mapped-RAID environment comprising slices, storage stripes, RAID extents, device extents and storage devices
CN108604165A (zh) 存储装置
CN108431783A (zh) 访问请求处理方法、装置及计算机系统
CN107608625B (zh) 一种提升固存储设备读性能的方法
US20140068216A1 (en) Storage system for supporting copy command and move command and operation method of storage system
CN105917303A (zh) 一种控制器、识别数据块稳定性的方法和存储系统
CN107273046A (zh) 一种基于固态盘阵列的数据处理方法及系统
CN110427347A (zh) 重复数据删除的方法、装置、存储节点及存储介质
CN111007990B (zh) 一种对快照系统中数据块引用进行快速定位的定位方法
CN107273306B (zh) 一种固态硬盘的数据读取、数据写入方法及固态硬盘
US9524236B1 (en) Systems and methods for performing memory management based on data access properties
CN110187834B (zh) 重删副本的数据处理方法、装置、电子设备
CN108431784A (zh) 访问请求处理方法、装置及计算机系统
CN113641681B (zh) 一种空间自适应的海量数据查询方法
CN113568788B (zh) Linux非逻辑卷块设备的快照方法、系统及存储介质
CN102722450A (zh) 一种基于位置敏感哈希的删冗块设备存储方法
KR101026634B1 (ko) 하이브리드 플래시 메모리의 데이터 저장 방법
CN111026678B (zh) 基于固态硬盘的缓存设计方法、装置及计算机设备
CN108334457B (zh) 一种io处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang Province, Binjiang District West Street 310053 Qianmo Road No. 482 building eleventh layer to the twelfth layer A

Applicant after: Hangzhou Sequoia Polytron Technologies Inc

Address before: Hangzhou City, Zhejiang Province, Binjiang District West Street 310053 Qianmo Road No. 482 building eleventh layer to the twelfth layer A

Applicant before: Hangzhou MacroSAN Technologies Co., Ltd.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication