CN106406762A - 一种重复数据删除方法及装置 - Google Patents

一种重复数据删除方法及装置 Download PDF

Info

Publication number
CN106406762A
CN106406762A CN201610831357.3A CN201610831357A CN106406762A CN 106406762 A CN106406762 A CN 106406762A CN 201610831357 A CN201610831357 A CN 201610831357A CN 106406762 A CN106406762 A CN 106406762A
Authority
CN
China
Prior art keywords
data
data block
block
fingerprint
duplicate checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610831357.3A
Other languages
English (en)
Inventor
苑忠科
殷雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201610831357.3A priority Critical patent/CN106406762A/zh
Publication of CN106406762A publication Critical patent/CN106406762A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种重复数据删除方法及装置，将数据流划分为预设块大小的数据块；对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；获取计算出的指纹的固定长度前缀，根据固定长度前缀将数据块分发到不同的处理队列中；每个处理队列的工作线程通过并行的方式进行查重操作，删除数据块中的重复数据。本申请基于数据块指纹的固定长度前缀，将接收的数据块分发到不同的处理队列中，使用单独的线程对每个处理队列中的数据块进行处理，只从对应指纹固定长度前缀的重删元数据块子表中查重，避免了一致性锁的开销；每个处理队列工作线程通过并行的方式实现查重操作，减少了去重计算中系统资源的消耗，提高了数据重删效率。

Description

一种重复数据删除方法及装置
技术领域
本发明涉及数据存储技术领域，特别是涉及一种重复数据删除方法及装置。
背景技术
随着信息技术和互联网技术的发展，各种数据正以倍数级速度逐年增长，高性能但容量相对较小的固态存储介质在存储系统中占的比重越来越大。重复数据删除技术通过对发送到存储系统的数据流进行分块、比对计算，将重复的数据删除掉，实现存储资源的高效利用。在重复数据删除的实现中，用户写到存储中的数据流首先根据一定的块大小进行分割，然后重删模块对分割后的数据块的全部数据进行哈希计算(MD5或SHA1)，生成该数据块的全局唯一的数据指纹。然后系统在全局重删元数据表(数据块的指纹信息和数据块的存储地址等信息)中对该指纹进行查找，如果查找到该指纹信息，则将该数据块丢弃并返回给上层模块查找到的与指纹信息对应的LBA地址，如果查找不到，这为该数据块分配地址并将重删数据块元数据添加到全局表中。
由于对数据块计算签名和从全局重删元数据表中查找数据块签名是数据重删模块的性能瓶颈点，业界普遍使用带互斥锁保护的全局删除元数据表并行查找策略。在全局元数据表中，HASH桶的桶标的大小决定了互斥锁的粒度大小。随着桶标大小的增大，数据重删的效率越高。随着并行线程数量的增加，数据重删的效率同样越来越高，当并行线程数据增长到一定数量后，数据重删效率增长幅度逐渐减小并达到一个极限。这种并行策略由于处理一致性锁的开销，未能达到期望的性能需求。
发明内容
本发明的目的是提供一种重复数据删除方法及装置，以解决现有带互斥锁的重复数据删除方法效率较低、资源消耗较多的问题。
为解决上述技术问题，本发明提供一种重复数据删除方法，包括：
将数据流划分为预设块大小的数据块；
对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
获取计算出的指纹的固定长度前缀，根据所述固定长度前缀将所述数据块分发到不同的处理队列中；
每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据。
可选地，所述根据所述固定长度前缀将所述数据块分发到不同的处理队列中包括：
根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表；
所述每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据包括：
每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据。
可选地，所述分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据包括：
根据数据块的指纹信息从所述重删子元数据表中进行查找，如果查找到数据块指纹，则调用数据块的回调函数更新所述数据块的地址；如果未查找到所述数据块指纹，则为所述数据块申请存储地址，并将所述数据块添加到写入列表中。
可选地，在所述将所述数据块添加到写入列表中之后还包括：
对所述数据块进行调度与合并，进行数据的写入。
可选地，所述对每个数据块进行指纹计算包括：
采用MD5或SAH1的方法对所述数据进行指纹计算。
本发明还提供了一种重复数据删除装置，包括：
数据分块子模块，用于将数据流划分为预设块大小的数据块；
指纹计算子模块，用于对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
固定长度前缀获取子模块，用于获取计算出的指纹的固定长度前缀，根据所述固定长度前缀将所述数据块分发到不同的处理队列中；
查重子模块，用于每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据。
可选地，所述固定长度前缀获取子模块具体为根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表的模块；
所述查重子模块具体为每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据的模块。
可选地，所述查重子模块具体用于：根据数据块的指纹信息从所述重删子元数据表中进行查找，如果查找到数据块指纹，则调用数据块的回调函数更新所述数据块的地址；如果未查找到所述数据块指纹，则为所述数据块申请存储地址，并将所述数据块添加到写入列表中。
可选地，还包括：
写入模块，用于在将所述数据块添加到写入列表中之后，对所述数据块进行调度与合并，进行数据的写入。
可选地，所述指纹计算子模块具体为：采用MD5或SAH1的方法对所述数据进行指纹计算的模块。
本发明所提供的重复数据删除方法及装置，将数据流划分为预设块大小的数据块；对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；获取计算出的指纹的固定长度前缀，根据固定长度前缀将数据块分发到不同的处理队列中；每个处理队列的工作线程通过并行的方式进行查重操作，删除数据块中的重复数据。本申请基于数据块指纹的固定长度前缀，将接收的数据块分发到不同的处理队列中，使用单独的线程对每个处理队列中的数据块进行处理，只从对应指纹固定长度前缀的重删元数据块子表中查重，避免了一致性锁的开销；每个处理队列工作线程通过并行的方式实现查重操作，减少了去重计算中系统资源的消耗，提高了数据重删效率。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的重复数据删除方法的一种具体实施方式的流程图；
图2为本发明所提供的重复数据删除方法的另一种具体实施方式的流程图；
图3为本发明所提供的重复数据删除方法的另一种具体实施方式的示意图；
图4为本发明实施例提供的重复数据删除装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的重复数据删除方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：将数据流划分为预设块大小的数据块；
步骤S102：对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
具体地，可以采用MD5或SAH1的方法对所述数据进行指纹计算，当然并不限于这两种方式。
步骤S103：获取计算出的指纹的固定长度前缀，根据所述固定长度前缀将所述数据块分发到不同的处理队列中；
步骤S104：每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据。
本发明所提供的重复数据删除方法，将数据流划分为预设块大小的数据块；对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；获取计算出的指纹的固定长度前缀，根据固定长度前缀将数据块分发到不同的处理队列中；每个处理队列的工作线程通过并行的方式进行查重操作，删除数据块中的重复数据。本申请基于数据块指纹的固定长度前缀，将接收的数据块分发到不同的处理队列中，使用单独的线程对每个处理队列中的数据块进行处理，只从对应指纹固定长度前缀的重删元数据块子表中查重，避免了一致性锁的开销；每个处理队列工作线程通过并行的方式实现查重操作，减少了去重计算中系统资源的消耗，提高了数据重删效率。
在上述实施例的基础上，本发明所提供的重复数据删除方法中，步骤S103根据所述固定长度前缀将所述数据块分发到不同的处理队列中的过程可以具体为：
根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表；
进一步地，步骤S104每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据的过程可以具体为：
每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据。
如图2本发明所提供的重复数据删除方法的另一种具体实施方式的流程图所示，该方法包括：
步骤S201：将数据流划分为预设块大小的数据块；
用户写入数据到达存储系统的重复数据删除模块后，首先数据分块子模块根据设定的块大小将数据流划分成指定大小的数据块，并将这些数据块添加到dup_fb_list等待指纹计算子模块进行处理。
步骤S202：对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
指纹计算子模块不断的从fb_list上获取待处理的数据块，对每个数据块缓冲区中的全部数据进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中。
步骤S203：根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表；
根据该前缀值将该数据块转移到不同的查重链表dup_que_xxx_li st。如果从fb_list获取的数据块序列为(a1,b2,c3,d1,e2,f3,g1,h2,i3,j1,k2,l3,m1,m2,o3)，则根据指纹定长前缀将数据块划分到三个不同的队列中：(a1,d1,g1,j1,m1)、(b2,e2,h2,k2,m2)、(c3,f3,i3,l3,o3)，并且数据块在子队列中的顺序不变，保持数据块的局部特性。
步骤S204：每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据。
每个查重线程对应一个查重数据块链表，并只从与指纹固定长度前缀对应的重删元数据子表进行查询。该查重线程从dup_que_xxx_list链表中获取待处理数据块，根据数据块的指纹信息从对应重删元数据子表中进行查找，如果查找到数据块指纹，则调用数据块的回调函数更新该数据块的地址；如果未能查找到该数据块指纹，则将为该数据块申请存储地址并将数据块添加到dup_wr_list，然后将该数据块的元数据添加到重删元数据子表中，元数据包括数据块指纹、LBA地址、新建时间等。
作为一种具体实施方式，本发明在将所述数据块添加到写入列表中之后还包括：对所述数据块进行调度与合并，进行数据的写入。数据写入线程不断从dup_wr_list上获取要写入磁盘的的数据块，并通过一定的算法进行数据块的调度和合并，并负责将数据块提交给下层IO模块。
采用数据块指纹固定长度前缀将全局重删元数据表划分成多个子元数据表，每个子表对应一个线程用于数据块指纹的查重，充分利用多核心处理器的并行能力，如图3本发明所提供的重复数据删除方法的另一种具体实施方式的示意图。使用指纹固定长度前缀的方式划分元数据子表的策略，可以确保各子表中的数据块指纹的全局唯一性和局部特性。
下面对本发明实施例提供的重复数据删除装置进行介绍，下文描述的重复数据删除装置与上文描述的重复数据删除方法可相互对应参照。
图4为本发明实施例提供的重复数据删除装置的结构框图，参照图4重复数据删除装置可以包括：
数据分块子模块100，用于将数据流划分为预设块大小的数据块；
指纹计算子模块200，用于对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
固定长度前缀获取子模块300，用于获取计算出的指纹的固定长度前缀，根据所述固定长度前缀将所述数据块分发到不同的处理队列中；
查重子模块400，用于每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据。
在上述实施例的基础上，本发明所提供的重复数据删除装置中，上述固定长度前缀获取子模块具体为根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表的模块；
所述查重子模块具体为每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据的模块。
进一步地，所述查重子模块具体用于：根据数据块的指纹信息从所述重删子元数据表中进行查找，如果查找到数据块指纹，则调用数据块的回调函数更新所述数据块的地址；如果未查找到所述数据块指纹，则为所述数据块申请存储地址，并将所述数据块添加到写入列表中。
作为一种具体实施方式，本申请实施例所提供的重复数据删除装置还可以进一步包括：
写入模块，用于在将所述数据块添加到写入列表中之后，对所述数据块进行调度与合并，进行数据的写入。
在上述任一实施例的基础上，本申请中指纹计算子模块可以具体为：采用MD5或SAH1的方法对所述数据进行指纹计算的模块。
本发明所提供的重复数据删除装置，将数据流划分为预设块大小的数据块；对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；获取计算出的指纹的固定长度前缀，根据固定长度前缀将数据块分发到不同的处理队列中；每个处理队列的工作线程通过并行的方式进行查重操作，删除数据块中的重复数据。本申请基于数据块指纹的固定长度前缀，将接收的数据块分发到不同的处理队列中，使用单独的线程对每个处理队列中的数据块进行处理，只从对应指纹固定长度前缀的重删元数据块子表中查重，避免了一致性锁的开销；每个处理队列工作线程通过并行的方式实现查重操作，减少了去重计算中系统资源的消耗，提高了数据重删效率。
相比于传统的基于细粒度的一致性锁的并行查重方案，本申请所提供的无锁并行重复数据删除方法，可以将重复数据删除的IO吞吐量提高2～5倍。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的重复数据删除方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种重复数据删除方法，其特征在于，包括：
将数据流划分为预设块大小的数据块；
对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
获取计算出的指纹的固定长度前缀，根据所述固定长度前缀将所述数据块分发到不同的处理队列中；
每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据。
2.如权利要求1所述的重复数据删除方法，其特征在于，所述根据所述固定长度前缀将所述数据块分发到不同的处理队列中包括：
根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表；
所述每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据包括：
每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据。
3.如权利要求2所述的重复数据删除方法，其特征在于，所述分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据包括：
根据数据块的指纹信息从所述重删子元数据表中进行查找，如果查找到数据块指纹，则调用数据块的回调函数更新所述数据块的地址；如果未查找到所述数据块指纹，则为所述数据块申请存储地址，并将所述数据块添加到写入列表中。
4.如权利要求3所述的重复数据删除方法，其特征在于，在所述将所述数据块添加到写入列表中之后还包括：
对所述数据块进行调度与合并，进行数据的写入。
5.如权利要求1至4任一项所述的重复数据删除方法，其特征在于，所述对每个数据块进行指纹计算包括：
采用MD5或SAH1的方法对所述数据进行指纹计算。
6.一种重复数据删除装置，其特征在于，包括：
数据分块子模块，用于将数据流划分为预设块大小的数据块；
指纹计算子模块，用于对每个数据块进行指纹计算，将计算出的指纹信息添加到数据块结构的属性中；
固定长度前缀获取子模块，用于获取计算出的指纹的固定长度前缀，根据所述固定长度前缀将所述数据块分发到不同的处理队列中；
查重子模块，用于每个处理队列的工作线程通过并行的方式进行查重操作，删除所述数据块中的重复数据。
7.如权利要求6所述的重复数据删除装置，其特征在于，所述固定长度前缀获取子模块具体为根据所述固定长度前缀将全局重删元数据表划分为多个重删子元数据表的模块；
所述查重子模块具体为每个查重线程对应一个所述重删子元数据表，分别对相应重删子元数据表中的元数据进行查重，删除所述重复数据的模块。
8.如权利要求7所述的重复数据删除装置，其特征在于，所述查重子模块具体用于：根据数据块的指纹信息从所述重删子元数据表中进行查找，如果查找到数据块指纹，则调用数据块的回调函数更新所述数据块的地址；如果未查找到所述数据块指纹，则为所述数据块申请存储地址，并将所述数据块添加到写入列表中。
9.如权利要求8所述的重复数据删除装置，其特征在于，还包括：
写入模块，用于在将所述数据块添加到写入列表中之后，对所述数据块进行调度与合并，进行数据的写入。
10.如权利要求6至9任一项所述的重复数据删除装置，其特征在于，所述指纹计算子模块具体为：采用MD5或SAH1的方法对所述数据进行指纹计算的模块。
CN201610831357.3A 2016-09-19 2016-09-19 一种重复数据删除方法及装置 Pending CN106406762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610831357.3A CN106406762A (zh) 2016-09-19 2016-09-19 一种重复数据删除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610831357.3A CN106406762A (zh) 2016-09-19 2016-09-19 一种重复数据删除方法及装置

Publications (1)

Publication Number Publication Date
CN106406762A true CN106406762A (zh) 2017-02-15

Family

ID=57996636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610831357.3A Pending CN106406762A (zh) 2016-09-19 2016-09-19 一种重复数据删除方法及装置

Country Status (1)

Country Link
CN (1) CN106406762A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704435A (zh) * 2019-09-24 2020-01-17 新华三大数据技术有限公司 数据存储方法、电子设备及机器可读存储介质
CN110941605A (zh) * 2019-11-07 2020-03-31 北京浪潮数据技术有限公司 重复数据的在线删除方法、装置及可读存储介质
US10963308B2 (en) 2017-03-08 2021-03-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for controlling fingerprint processing resources, terminal, and computer-readable storage medium
CN112783661A (zh) * 2021-02-08 2021-05-11 上海交通大学 一种适用于容器环境下的内存重删方法及装置
CN113760187A (zh) * 2021-07-29 2021-12-07 苏州浪潮智能科技有限公司 基于vdbench的重删IO线程生成方法、系统、终端及存储介质
CN113810477A (zh) * 2021-08-30 2021-12-17 深圳壹账通智能科技有限公司 一种文件上传方法、装置、设备及存储介质
CN115509763A (zh) * 2022-10-31 2022-12-23 新华三信息技术有限公司 指纹计算方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332436A1 (en) * 2009-06-29 2010-12-30 International Business Machines Corporation Multi-pairs shortest path finding method and system
CN101968796A (zh) * 2010-09-09 2011-02-09 北京邮电大学 一种双向并发执行的文件级可变长数据分块方法
CN102915278A (zh) * 2012-09-19 2013-02-06 浪潮(北京)电子信息产业有限公司 重复数据删除方法
CN103139300A (zh) * 2013-02-05 2013-06-05 杭州电子科技大学 一种基于重复数据删除的虚拟机镜像管理的优化方法
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332436A1 (en) * 2009-06-29 2010-12-30 International Business Machines Corporation Multi-pairs shortest path finding method and system
CN101968796A (zh) * 2010-09-09 2011-02-09 北京邮电大学 一种双向并发执行的文件级可变长数据分块方法
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置
CN102915278A (zh) * 2012-09-19 2013-02-06 浪潮(北京)电子信息产业有限公司 重复数据删除方法
CN103139300A (zh) * 2013-02-05 2013-06-05 杭州电子科技大学 一种基于重复数据删除的虚拟机镜像管理的优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A MUTHITACHAROEN ET AL.: "A Low-bandwidth Network File System", 《ACM SIGOPS OPERATING SYSTEMS REVIEW》 *
江程 等: "一种低开销的并行重复数据删除算法", 《软件导刊》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963308B2 (en) 2017-03-08 2021-03-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for controlling fingerprint processing resources, terminal, and computer-readable storage medium
CN110704435A (zh) * 2019-09-24 2020-01-17 新华三大数据技术有限公司 数据存储方法、电子设备及机器可读存储介质
CN110704435B (zh) * 2019-09-24 2022-08-09 新华三大数据技术有限公司 数据存储方法、电子设备及机器可读存储介质
CN110941605A (zh) * 2019-11-07 2020-03-31 北京浪潮数据技术有限公司 重复数据的在线删除方法、装置及可读存储介质
CN110941605B (zh) * 2019-11-07 2022-07-08 北京浪潮数据技术有限公司 重复数据的在线删除方法、装置及可读存储介质
CN112783661A (zh) * 2021-02-08 2021-05-11 上海交通大学 一种适用于容器环境下的内存重删方法及装置
CN113760187A (zh) * 2021-07-29 2021-12-07 苏州浪潮智能科技有限公司 基于vdbench的重删IO线程生成方法、系统、终端及存储介质
CN113760187B (zh) * 2021-07-29 2023-08-18 苏州浪潮智能科技有限公司 重删io线程生成方法、系统、终端及存储介质
CN113810477A (zh) * 2021-08-30 2021-12-17 深圳壹账通智能科技有限公司 一种文件上传方法、装置、设备及存储介质
CN115509763A (zh) * 2022-10-31 2022-12-23 新华三信息技术有限公司 指纹计算方法及装置

Similar Documents

Publication Publication Date Title
CN106406762A (zh) 一种重复数据删除方法及装置
US10657101B2 (en) Techniques for implementing hybrid flash/HDD-based virtual disk files
US9928264B2 (en) High performance transactions in database management systems
US9182927B2 (en) Techniques for implementing hybrid flash/HDD-based virtual disk files
US20160371307A1 (en) Isolating Resources and Performance in a Database Management System
US9195599B2 (en) Multi-level aggregation techniques for memory hierarchies
CN110874271B (zh) 一种海量建筑图斑特征快速计算方法及系统
CN103412884B (zh) 一种异构存储介质下嵌入式数据库的管理方法
CN103823865A (zh) 一种数据库主存索引方法
KR101400214B1 (ko) Ｈｙｂｒｉｄ Ｃ 인터페이스를 지원하는 장치
CN109364483A (zh) 大场景地图分割方法及应用其的玩家视角场景更新方法
CN104778077A (zh) 基于随机和连续磁盘访问的高速核外图处理方法及系统
CN107632791A (zh) 一种存储空间的分配方法及系统
CN104111936A (zh) 数据查询方法和系统
CN103218305B (zh) 存储空间的分配方法
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
US9946461B2 (en) In-flash immutable object processing
CN103488523A (zh) 一种页的访问方法和页的访问装置、服务器
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
Kijsipongse et al. Dynamic load balancing on GPU clusters for large-scale K-Means clustering
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法
CN104537003A (zh) 一种Hbase数据库的通用高性能数据写入方法
CN106156049A (zh) 一种数据读取的方法和系统
CN107391040A (zh) 一种存储阵列磁盘io调度的方法及装置
CN110832473B (zh) 日志结构管理系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215

RJ01 Rejection of invention patent application after publication