CN110941605B - 重复数据的在线删除方法、装置及可读存储介质 - Google Patents
重复数据的在线删除方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN110941605B CN110941605B CN201911082320.5A CN201911082320A CN110941605B CN 110941605 B CN110941605 B CN 110941605B CN 201911082320 A CN201911082320 A CN 201911082320A CN 110941605 B CN110941605 B CN 110941605B
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- data
- data module
- fingerprint value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种重复数据的在线删除方法、装置及可读存储介质，包括：接收主机IO下发的数据，并对数据进行划分，得到多个数据模块；计算每个数据模块的指纹值；依次对等待队列中每个数据模块执行以下操作：将该数据模块的指纹值插入指纹链表；判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；若是，将该数据模块再次插入等待队列；若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从指纹链表中删除。本申请中增加了对当前下发的数据的指纹值进行记录、判断查重的指纹链表的操作，这一手段解决了现有技术中多线程时重删操作执行不彻底不完整的问题，在保证了处理效率的前提下，实现了对重复数据准确、有效的判断。
Description
技术领域
本发明涉及数据存储领域，特别涉及一种重复数据的在线删除方法、装置及可读存储介质。
背景技术
当前，重复数据删除(deduplication)作为一种可自动识别并删除重复数据的技术，在数据存储领域得到广泛应用。由于SSD盘存在读写次数限制，数据写入后再处理的方式容易增加SSD盘的磨损，缩短其使用寿命，因此SSD采用在线重删的方式实现重复数据删除压缩。
但是在面对大量数据同时下发时，如果继续选择在线重删的方式，若应用互斥数据的单线程，易造成大量数据等待，耗费大量时间成本和系统性能；若应用多个线程，当重复数据处于同时进行的线程中时，并不能从记录落盘数据指纹值的指纹库中判断到是否重复，因此系统会将重复的数据作为非重复数据处理，不能实现重复数据删除的效果。
因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种重复数据的在线删除方法、装置及可读存储介质，以提高重删的准确度。其具体方案如下：
一种重复数据的在线删除方法，包括：
接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；
计算每个所述数据模块的指纹值；
依次对所述等待队列中每个所述数据模块执行以下操作：
将该数据模块的指纹值插入指纹链表；
判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；
若是，将该数据模块再次插入所述等待队列；
若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。
优选的，所述落盘指纹库操作包括：
判断当前落盘指纹库中是否存在与该数据模块的指纹值相同的指纹值；
若是，对该数据模块执行数据重删操作；
若否，将该数据模块落盘。
优选的，所述将该数据模块落盘之后，还包括：
将该数据模块的指纹值插入当前落盘指纹库。
优选的，所述落盘指纹库操作，还包括：
建立该数据模块的逻辑地址和物理地址之间的映射关系。
优选的，所述对所述数据进行划分，得到多个数据模块的过程，具体包括：
对所述数据进行粒度划分，得到多个数据模块。
优选的，所述将该数据模块的指纹值插入指纹链表之前，还包括：
判断该数据模块的指纹值是否为全零数据指纹值；
若否，执行将该数据模块的指纹值插入指纹链表的步骤。
优选的，所述将该数据模块的指纹值插入指纹链表的过程，具体包括：
将该数据模块的指纹值与标识信息插入指纹链表；
相应的，所述该数据模块的指纹值从所述指纹链表中删除的过程，具体包括：
该数据模块的指纹值与标识信息从所述指纹链表中删除。
相应的，本发明还公开了一种重复数据的在线删除装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述重复数据的在线删除方法的步骤。
优选的，所述在线删除装置应用于全闪存储双控服务器。
相应的，本发明还公开了一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任一项所述重复数据的在线删除方法的步骤。
本申请公开了一种重复数据的在线删除方法，包括：接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；计算每个所述数据模块的指纹值；依次对所述等待队列中每个所述数据模块执行以下操作：将该数据模块的指纹值插入指纹链表；判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；若是，将该数据模块再次插入所述等待队列；若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。本申请中增加了对当前下发的数据的指纹值进行记录、判断查重的指纹链表，只有确定指纹链表中无相同指纹值时才可进行落盘指纹库操作，否则必须再次插入等待队列进行等待。这一手段解决了现有技术中多线程时重删操作执行不彻底不完整的问题，在保证了处理效率的前提下，实现了对重复数据准确、有效的判断。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种重复数据的在线删除方法的步骤流程图；
图2为本发明实施例中一种重复数据的在线删除方法的子步骤流程图；
图3为本发明实施例中一种重复数据的在线删除方法的子步骤流程图；
图4为本发明实施例中一种重复数据的在线删除装置的结构分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在面对大量数据同时下发时，如果继续选择在线重删的方式，若应用互斥数据的单线程，易造成大量数据等待，耗费大量时间成本和系统性能；若应用多个线程，当重复数据处于同时进行的线程中时，并不能从记录落盘数据指纹值的指纹库中判断到是否重复，因此系统会将重复的数据作为非重复数据处理，不能实现重复数据删除的效果。
本申请中增加了对当前下发的数据的指纹值进行记录、判断查重的指纹链表，解决了现有技术中多线程时重删操作执行不彻底不完整的问题，在保证了处理效率的前提下，实现了对重复数据准确、有效的判断。
本发明实施例公开了一种重复数据的在线删除方法，参见图1所示，包括：
S11：接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；
S12：计算每个数据模块的指纹值；
依次对等待队列中每个所述数据模块执行以下操作：
S13：将该数据模块的指纹值插入指纹链表；
S14：判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；
S15：若是，将该数据模块再次插入所述等待队列；
S16：若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。
可以理解的是，在步骤S11中对数据进行划分时，存在多种划分方法，例如定长划分和变长划分，定长划分时数据被划分为相同长度的数据块，变长划分时数据根据标志位被划分为不同大小的数据块，又例如粒度划分，将数据划分为块级或文件级的数据模块，以进行相应的指纹值计算。
具体的，步骤S13将该数据模块的指纹值插入指纹链表的过程可以包括：
将该数据模块的指纹值与标识信息插入指纹链表；
相应的，步骤S16该数据模块的指纹值从所述指纹链表中删除的过程具体包括：
该数据模块的指纹值与标识信息从所述指纹链表中删除。
可以理解的是，数据下发时，第一个数据模块之前并没有其他的数据模块，因此必然不会出现与第一个数据模块相同的指纹值，在步骤S14中跳过判断操作，直接对改数据执行落盘指纹库操作即可。
可以理解的是，步骤S12可以一次性计算完成，也可以并入步骤S13、S14的执行流程中，依次对每个数据模块进行计算指纹值、插入指纹链表、判断相同指纹值的操作，图1是按后者所作的步骤流程图。
可以理解的是，步骤S14判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值，意为判断下发的数据中是否存在重复的数据模块，例如等待队列中数据模块A先于数据模块B，数据模块A将指纹值插入指纹链表，由于没有先于数据模块A的重复数据，当前指纹链表没有相同的指纹值，数据模块A进行落盘指纹库操作，在该落盘指纹库操作过程中，数据模块B的指纹值插入指纹链表，并发现当前指纹链表中存在相同的指纹值，数据模块B被再次插入等待队列，等待至数据模块A的落盘指纹库操作结束且其数据模块A的指纹值从指纹链表中删除后，此时当前指纹链表中没有数据模块B相同的指纹值，继而数据模块B可进行落盘指纹库操作。
也就是说，步骤S15将该数据模块再次插入等待队列，是为了留出足够的时间让前一相同指纹值的数据模块完成落盘指纹库操作，因此步骤S15的插入等待队列可以是随机插入等待队列，可以是直接插入等待队列末尾，也可以是插入等待队列中与队首相隔预设个数的位置，该预设个数与重复数据的个数、落盘指纹库操作的用时有关，还可以是独立到另一等待队列，只要迁移相同指纹值的数据模块的指纹值从指纹链表中删除，该数据模块便可进入落盘指纹库操作。
可以理解的是，所述在线删除方法可应用于全闪存储双控服务器。
本申请公开了一种重复数据的在线删除方法，包括：接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；计算每个所述数据模块的指纹值；依次对所述等待队列中每个所述数据模块执行以下操作：将该数据模块的指纹值插入指纹链表；判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；若是，将该数据模块再次插入所述等待队列；若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。本申请中增加了对当前下发的数据的指纹值进行记录、判断查重的指纹链表，只有确定指纹链表中无相同指纹值时才可进行落盘指纹库操作，否则必须再次插入等待队列进行等待。这一手段解决了现有技术中多线程时重删操作执行不彻底不完整的问题，在保证了处理效率的前提下，实现了对重复数据准确、有效的判断。
本发明实施例公开了一种具体的重复数据的在线删除方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图2所示，所述落盘指纹库操作包括：
S21：判断当前落盘指纹库中是否存在与该数据模块的指纹值相同的指纹值；
S22：若是，对该数据模块执行数据重删操作；
S23：若否，将该数据模块落盘。
进一步的，步骤S23所述将该数据模块落盘之后，还可以包括：
S24：将该数据模块的指纹值插入当前落盘指纹库。
可以理解的是，指纹链表的大小受到内存限制，不能无限插入数据模块的指纹值和标识信息，因此当该数据模块落盘、将该数据模块的指纹值插入当前落盘指纹库以后，通常还会将该数据模块的信息、与该数据模块的指纹值相同的数据模块的信息都从指纹链表中删除，为后来的数据模块留出足够的存储空间。
进一步的，落盘指纹库操作还包括：
建立该数据模块的逻辑地址和物理地址之间的映射关系。
可以理解的是，建立上述映射关系是数据模块落盘的过程中的常规流程，这一步骤的后续操作同样按照常规流程执行即可。
本发明实施例公开了一种具体的重复数据的在线删除方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的，对所述数据进行划分，得到多个数据模块的过程，具体包括：对所述数据进行粒度划分，得到多个数据模块。
参见图3所示，对于每个数据模块执行的操作具体包括：
S31：计算该数据模块的指纹值；
S32：判断该数据模块的指纹值是否为全零数据指纹值；若否，执行步骤S33。
S33：将该数据模块的指纹值插入指纹链表；
S34：判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；
S35：若是，将该数据模块再次插入所述等待队列；
S36：若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。
可以理解的是，如果步骤S32判断结论为是，则进行全零数据处理，该处理属于现有技术，并非本实施例所要保护的内容，因此此处不作讨论。
本实施例在判断指纹链表之前对是否为全零数据指纹值进行了判断，进一步提高了下发的数据在落盘过程中的准确性和可靠性。
相应的，本发明实施例还公开了一种重复数据的在线删除装置，参见图4所示，包括处理器11和存储器12；其中，所述处理11执行所述存储器12中保存的计算机程序时实现以下步骤：
接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；
计算每个所述数据模块的指纹值；
依次对所述等待队列中每个所述数据模块执行以下操作：
将该数据模块的指纹值插入指纹链表；
判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；
若是，将该数据模块再次插入所述等待队列；
若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。
本申请中增加了对当前下发的数据的指纹值进行记录、判断查重的指纹链表，只有确定指纹链表中无相同指纹值时才可进行落盘指纹库操作，否则必须再次插入等待队列进行等待。这一手段解决了现有技术中多线程时重删操作执行不彻底不完整的问题，在保证了处理效率的前提下，实现了对重复数据准确、有效的判断。
在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：
判断当前落盘指纹库中是否存在与该数据模块的指纹值相同的指纹值；
若是，对该数据模块执行数据重删操作；
若否，将该数据模块落盘。
在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：
将该数据模块的指纹值插入当前落盘指纹库。
在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：
建立该数据模块的逻辑地址和物理地址之间的映射关系。
在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：
对所述数据进行粒度划分，得到多个数据模块。
在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：
判断该数据模块的指纹值是否为全零数据指纹值；
若否，执行将该数据模块的指纹值插入指纹链表的步骤。
在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：
将该数据模块的指纹值与标识信息插入指纹链表；
相应的，所述该数据模块的指纹值从所述指纹链表中删除的过程，具体包括：
该数据模块的指纹值与标识信息从所述指纹链表中删除。
在一些具体的实施例中，所述在线删除方法应用于全闪存储双控服务器。
进一步的，本实施例中的重复数据的在线删除装置，还可以包括：
输入接口13，用于获取外界导入的计算机程序，并将获取到的计算机程序保存至所述存储器12中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器11中，以便处理器11利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口13具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口14，用于将处理器11产生的各种数据输出至与其相连的终端设备，以便于与输出接口14相连的其他终端设备能够获取到处理器11产生的各种数据。本实施例中，所述输出接口14具体可以包括但不限于USB接口、串行接口等。
通讯单元15，用于在重复数据的在线删除装置和外部服务器之间建立远程通讯连接，以便于重复数据的在线删除装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元15具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。
键盘16，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器17，用于重复数据的在线删除过程的相关信息进行实时显示，以便于用户及时地了解当前重复数据的在线删除情况。
鼠标18，可以用于协助用户输入数据并简化用户的操作。
进一步的，本申请实施例还公开了一种计算机可读存储介质，这里所说的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；
计算每个所述数据模块的指纹值；
依次对所述等待队列中每个所述数据模块执行以下操作：
将该数据模块的指纹值插入指纹链表；
判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；
若是，将该数据模块再次插入所述等待队列；
若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除。
本申请中增加了对当前下发的数据的指纹值进行记录、判断查重的指纹链表，只有确定指纹链表中无相同指纹值时才可进行落盘指纹库操作，否则必须再次插入等待队列进行等待。这一手段解决了现有技术中多线程时重删操作执行不彻底不完整的问题，在保证了处理效率的前提下，实现了对重复数据准确、有效的判断。
在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：
判断当前落盘指纹库中是否存在与该数据模块的指纹值相同的指纹值；
若是，对该数据模块执行数据重删操作；
若否，将该数据模块落盘。
在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：
将该数据模块的指纹值插入当前落盘指纹库。
在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：
建立该数据模块的逻辑地址和物理地址之间的映射关系。
在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：
对所述数据进行粒度划分，得到多个数据模块。
在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：
判断该数据模块的指纹值是否为全零数据指纹值；
若否，执行将该数据模块的指纹值插入指纹链表的步骤。
在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：
将该数据模块的指纹值与标识信息插入指纹链表；
相应的，所述该数据模块的指纹值从所述指纹链表中删除的过程，具体包括：
该数据模块的指纹值与标识信息从所述指纹链表中删除。
在一些具体的实施例中，所述在线删除方法应用于全闪存储双控服务器。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种重复数据的在线删除方法、装置及可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种重复数据的在线删除方法，其特征在于，包括：
接收主机IO下发的数据，并对所述数据进行划分，得到在等待队列排序的多个数据模块；
计算每个所述数据模块的指纹值；
依次对所述等待队列中每个所述数据模块执行以下操作：
将该数据模块的指纹值插入指纹链表；
判断当前指纹链表中是否存在与该数据模块的指纹值相同的指纹值；
若是，将该数据模块再次插入所述等待队列；
若否，对该数据模块执行落盘指纹库操作，并将该数据模块的指纹值从所述指纹链表中删除；
所述落盘指纹库操作包括：
判断当前落盘指纹库中是否存在与该数据模块的指纹值相同的指纹值；
若是，对该数据模块执行数据重删操作；
若否，将该数据模块落盘；
所述将该数据模块落盘之后，还包括：
将该数据模块的指纹值插入当前落盘指纹库。
2.根据权利要求1所述在线删除方法，其特征在于，所述落盘指纹库操作，还包括：
建立该数据模块的逻辑地址和物理地址之间的映射关系。
3.根据权利要求1或2所述在线删除方法，其特征在于，所述对所述数据进行划分，得到多个数据模块的过程，具体包括：
对所述数据进行粒度划分，得到多个数据模块。
4.根据权利要求3所述在线删除方法，其特征在于，所述将该数据模块的指纹值插入指纹链表之前，还包括：
判断该数据模块的指纹值是否为全零数据指纹值；
若否，执行将该数据模块的指纹值插入指纹链表的步骤。
5.根据权利要求4所述在线删除方法，其特征在于，
所述将该数据模块的指纹值插入指纹链表的过程，具体包括：
将该数据模块的指纹值与标识信息插入指纹链表；
相应的，所述该数据模块的指纹值从所述指纹链表中删除的过程，具体包括：
该数据模块的指纹值与标识信息从所述指纹链表中删除。
6.一种重复数据的在线删除装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述重复数据的在线删除方法的步骤。
7.根据权利要求6所述在线删除装置，其特征在于，所述在线删除装置应用于全闪存储双控服务器。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述重复数据的在线删除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082320.5A CN110941605B (zh) | 2019-11-07 | 2019-11-07 | 重复数据的在线删除方法、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082320.5A CN110941605B (zh) | 2019-11-07 | 2019-11-07 | 重复数据的在线删除方法、装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110941605A CN110941605A (zh) | 2020-03-31 |
| CN110941605B true CN110941605B (zh) | 2022-07-08 |
Family
ID=69907437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911082320.5A Active CN110941605B (zh) | 2019-11-07 | 2019-11-07 | 重复数据的在线删除方法、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110941605B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949624B (zh) * | 2020-09-11 | 2022-09-20 | 苏州浪潮智能科技有限公司 | 一种数据重删操作的pl超限控制方法、装置及可读存储介质 |
| CN117369731B (zh) * | 2023-12-07 | 2024-02-27 | 苏州元脑智能科技有限公司 | 一种数据的缩减处理方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916171A (zh) * | 2010-07-16 | 2010-12-15 | 中国科学院计算技术研究所 | 一种并发层次式的重复数据消除方法和系统 |
| WO2013075668A1 (zh) * | 2011-11-25 | 2013-05-30 | 华为技术有限公司 | 重复数据删除方法和装置 |
| CN106406762A (zh) * | 2016-09-19 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种重复数据删除方法及装置 |
| US10282256B1 (en) * | 2013-06-15 | 2019-05-07 | Veritas Technologies Llc | System and method to enable deduplication engine to sustain operational continuity |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8949199B2 (en) * | 2011-12-29 | 2015-02-03 | Dell Products L.P. | Systems and methods for de-duplication in storage systems |
-
2019
- 2019-11-07 CN CN201911082320.5A patent/CN110941605B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916171A (zh) * | 2010-07-16 | 2010-12-15 | 中国科学院计算技术研究所 | 一种并发层次式的重复数据消除方法和系统 |
| WO2013075668A1 (zh) * | 2011-11-25 | 2013-05-30 | 华为技术有限公司 | 重复数据删除方法和装置 |
| US10282256B1 (en) * | 2013-06-15 | 2019-05-07 | Veritas Technologies Llc | System and method to enable deduplication engine to sustain operational continuity |
| CN106406762A (zh) * | 2016-09-19 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种重复数据删除方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Fingerprint based duplicate detection in streamed data;Singh A;《Computing and Informatics》;20181231;第37卷(第6期);第1313-1338页 * |
| 一种低开销的并行重复数据删除算法;江程;《软件导刊》;20151231;第14卷(第08期);第96-99页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110941605A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111506498A (zh) | 测试用例的自动生成方法、装置、计算机设备及存储介质 | |
| CN106469022B (zh) | 存储驱动器的存储管理方法和系统 | |
| CN110941605B (zh) | 重复数据的在线删除方法、装置及可读存储介质 | |
| WO2021043212A1 (zh) | 一种日志数据的存储方法、电子设备及存储介质 | |
| CN109471851B (zh) | 数据处理方法、装置、服务器和存储介质 | |
| CN110555073A (zh) | 一种数据处理方法、装置及电子设备和存储介质 | |
| CN109561117A (zh) | 数据采集方法及装置 | |
| EP3364303A1 (en) | Data arrangement method, storage apparatus, storage controller and storage array | |
| CN112463020A (zh) | 基于Flash的数据存取方法、装置及设备 | |
| CN111880744A (zh) | 一种数据迁移方法、装置、电子设备和介质 | |
| CN109597707A (zh) | 克隆卷数据拷贝方法、装置及计算机可读存储介质 | |
| US20140012879A1 (en) | Database management system, apparatus, and method | |
| CN111414339B (zh) | 一种文件的处理方法、系统、装置、设备及介质 | |
| CN109710409B (zh) | 一种内存管理方法、系统、装置及可读存储介质 | |
| CN113626483B (zh) | 一种填写表单的前端缓存方法、系统、设备及存储介质 | |
| CN113778455B (zh) | 一种代码转换方法、装置、电子设备及存储介质 | |
| CN109254732A (zh) | 一种存储数据的读写方法、装置及相关设备 | |
| CN111399759B (zh) | 读数据、写数据的方法、以及对象文件系统 | |
| CN114385891A (zh) | 数据搜索方法、装置、电子设备及存储介质 | |
| CN109660576B (zh) | 用户数据实时迁移方法、存储介质、电子设备及系统 | |
| CN110443053B (zh) | 一种基于密钥循环表及映射表的密钥生成方法 | |
| CN109299018B (zh) | 一种Flash存储器中历史数据的读取方法及装置 | |
| CN111125425A (zh) | 一种视频数据的读写方法、系统、装置及可读存储介质 | |
| CN112527786A (zh) | 数据表分区新增方法、装置、计算机设备及存储介质 | |
| CN111966295B (zh) | 一种基于ceph的多journal记录方法、装置和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |