CN106227901A - 一种基于重删与压缩并行的空间节省方法 - Google Patents

Abstract

本发明公开了一种基于重删与压缩并行的空间节省方法，其具体实现过程为：首先对数据文件划分成数据块，对数据块进行弱校验；弱校验相同后再进行强校验，对强校验相同数据块做重删处理；对弱校验相同、强校验不同的数据块合并后进行压缩处理。该一种基于重删与压缩并行的空间节省方法与现有技术相比，通过弱校验，强校验对相同/相似数据块进行删除/压缩处理，有效降低了后端存储空间，提高了对存储硬盘的利用率，实用性强，适用范围广泛，易于推广。

Description

一种基于重删与压缩并行的空间节省方法

技术领域

本发明涉及计算机数据存储技术领域，具体地说是一种实用性强、基于重删与压缩并行的空间节省方法。

背景技术

大数据时代信息数据迅速的增长趋势，需要更多的后端存储空间，无形的增加了企业的运营成本。这么大的数据量大部分来自于数据冗余，这些数据占用了大量的磁盘空间，当进行数据备份或者数据库归档时，会产生大量的重复数据，这些重复数据会导致存储空间急速上升，同时也会影响系统的传输带宽。传统的重删软件大多数是对相同的数据块或者文件进行删除，而忽略了对相似的数据块或文件的处理。

针对上述问题，本发明设计了一种基于重删与压缩并行的空间节省方法，其主要功能为在原有的相同数据块删除的基础上，对相似的数据块进行合并压缩，弥补了传统重删系统对相似数据块的处理短板。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于重删与压缩并行的空间节省方法。

一种基于重删与压缩并行的空间节省方法，其具体实现过程为：

步骤一、首先对数据文件划分成数据块，对数据块进行弱校验；

步骤二、弱校验相同后再进行强校验，对强校验相同数据块做重删处理；

步骤三、对弱校验相同、强校验不同的数据块合并后进行压缩处理。

所述步骤一的具体过程为：

首先将数据文件按照m大小划分成多个块，这里的m取值范围为4K-1M；

然后创建n个不同的hash弱校验函数以及n大小的位图，这里的n取值范围为3-10；

创建n个线程，每个线程对数据块进行hash弱校验，匹配成功将位图的对应位置为1，否则置为0。

所述步骤二的具体过程为：

对弱校验匹配都成功的数据块，进行MD5强校验，对强校验匹配成功数据块进行重删处理，同时记录重删后数据块物理位置，方便以后根据该位置重定位原来数据块。

循环匹配所有的数据块，重删完所有MD5强校验匹配成功的数据块。

所述步骤三的具体过程为：

当存在至少一个弱校验匹配成功、强校验匹配不成功的数据块时，对其进行合并处理，同时记录好每个数据块相对合并后数据块的偏移量，对合并后数据块进行压缩处理，同时记录压缩后数据块物理位置，方便以后根据该位置以及偏移量重定位原来数据块。

本发明的一种基于重删与压缩并行的空间节省方法，具有以下优点：

本发明的一种基于重删与压缩并行的空间节省方法，通过弱校验，强校验对相同/相似数据块进行删除/压缩处理，有效降低了后端存储空间，提高了对存储硬盘的利用率，在原有的相同数据块删除的基础上，对相似的数据块进行合并压缩，弥补了传统重删系统对相似数据块的处理短板，又避免了采用全部压缩、反压缩占用大量CPU、内存的缺陷，从而有效的提高了存储空间利用率，降低了对资源的占用率，节省了企业运营成本，实用性强，适用范围广泛，易于推广。

附图说明

附图1为本发明的实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

如附图1所示，本发明提出本发明提出一种基于重删与压缩并行的空间节省方法，其主要功能为在原有的相同数据块删除的基础上，对相似的数据块进行合并压缩，弥补了传统重删系统对相似数据块的处理短板，又避免了采用全部压缩、反压缩占用大量CPU、内存的缺陷，从而有效的提高了存储空间利用率，降低了对资源的占用率，节省了企业运营成本。

其具体实现过程为：

步骤一、首先对数据文件划分成数据块，对数据块进行弱校验；

步骤二、弱校验相同后再进行强校验，对强校验相同数据块做重删处理；

步骤三、对弱校验相同、强校验不同的数据块合并后进行压缩处理。

所述步骤一的具体过程为：

首先将数据文件按照m大小划分成多个块，这里的m取值范围为4K-1M；

然后创建n个不同的hash弱校验函数以及n大小的位图，这里的n取值范围为3-10；

创建n个线程，每个线程对数据块进行hash弱校验，匹配成功将位图的对应位置为1，否则置为0。

所述步骤二的具体过程为：

对弱校验匹配都成功的数据块，进行MD5强校验，对强校验匹配成功数据块进行重删处理，同时记录重删后数据块物理位置，方便以后根据该位置重定位原来数据块。

循环匹配所有的数据块，重删完所有MD5强校验匹配成功的数据块。

所述步骤三的具体过程为：

当存在至少一个弱校验匹配成功、强校验匹配不成功的数据块时，对其进行合并处理，同时记录好每个数据块相对合并后数据块的偏移量，对合并后数据块进行压缩处理，同时记录压缩后数据块物理位置，方便以后根据该位置以及偏移量重定位原来数据块。

本发明提供的方法支持文件块级别的重删、压缩来实现空间的节省；对于相同数据块进行重删处理；对于相似数据块合并后，进行压缩处理，实用性强。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于重删与压缩并行的空间节省方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (4)

1.一种基于重删与压缩并行的空间节省方法，其特征在于，其具体实现过程为：

步骤一、首先对数据文件划分成数据块，对数据块进行弱校验；

步骤二、弱校验相同后再进行强校验，对强校验相同数据块做重删处理；

步骤三、对弱校验相同、强校验不同的数据块合并后进行压缩处理。

2.根据权利要求1所述的一种基于重删与压缩并行的空间节省方法，其特征在于，所述步骤一的具体过程为：

首先将数据文件按照m大小划分成多个块，这里的m取值范围为4K-1M；

然后创建n个不同的hash弱校验函数以及n大小的位图，这里的n取值范围为3-10；

创建n个线程，每个线程对数据块进行hash弱校验，匹配成功将位图的对应位置为1，否则置为0。

3.根据权利要求1所述的一种基于重删与压缩并行的空间节省方法，其特征在于，所述步骤二的具体过程为：

对弱校验匹配都成功的数据块，进行MD5强校验，对强校验匹配成功数据块进行重删处理，同时记录重删后数据块物理位置，方便以后根据该位置重定位原来数据块；

循环匹配所有的数据块，重删完所有MD5强校验匹配成功的数据块。

4.根据权利要求1所述的一种基于重删与压缩并行的空间节省方法，其特征在于，所述步骤三的具体过程为：

当存在至少一个弱校验匹配成功、强校验匹配不成功的数据块时，对其进行合并处理，同时记录好每个数据块相对合并后数据块的偏移量，对合并后数据块进行压缩处理，同时记录压缩后数据块物理位置，方便以后根据该位置以及偏移量重定位原来数据块。