CN105468733B - 一种基于源端数据重删的卷复制方法 - Google Patents

Abstract

本发明提供一种基于源端数据重删的卷复制方法，所述卷复制方法包括以下步骤：S1，对源卷创建快照；S2，遍历所述快照，形成数据流，S3，对所述数据流进行重删处理；S4，发送经过重删处理的数据流；S5，接收所述数据流，对重删数据进行还原，并将所接收的全部数据写入存储到对应的位置上，再对其做快照。本发明能够减少复制网络中的数据传输量，提高远程复制整体的效率，节省系统资源。

Description

一种基于源端数据重删的卷复制方法

技术领域

本发明涉及一种卷复制方法，特别是涉及一种基于源端数据重删的卷复制方法。

背景技术

当前，随着信息化技术的不断发展，人们需要保存的资料、数据越来越多，数据对人们的工作、生活也越来越重要。数据的保存和数据的安全也显得越来越重要了，出现了各种各样的数据备份技术和产品。如针对前端主机的数据备份，将主机上的数据拷贝到其他的存储介质上进行保存，以便将来当原有数据丢失时，能够再找回来。基于存储后端的备份技术。有对存储卷或者文件系统做快照、创建克隆等本地的数据备份方式和将生成的快照备份到异地的存储介质上面的复制，异步远程镜像等技术。

通过快照技术实现卷复制过程中，卷中很多数据可能是相同的。在传输过程中，很多数据是相同的，或者有些文件只是修改了很少的部分，绝大多数是相同的。但在传输中，传输的是整个卷的数据。即使是一样的数据，也需要传输多次到目的端。而现有的卷复制一般用于异地数据保护，如两地三中心等这种场景，网络一般采用10/100Mb专线网络，相比本地的数据读写速度慢很多，网络就成为了整个系统的瓶颈。如何在不增加网络带宽的情况下，提高卷复制的整体效率，成为该发明需要解决的首要问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于源端数据重删的卷复制方法，用于解决现有技术中卷复制整体效率低、复制网络中数据传输量大的问题。

为实现上述目的及其他相关目的，本发明提供一种基于源端数据重删的卷复制方法，其特征在于，所述卷复制方法包括以下步骤：S1，对源卷创建快照；S2，遍历所述快照，形成数据流，S3，对所述数据流进行重删处理；S4，发送经过重删处理的数据流；S5，接收所述数据流，对重删数据进行还原，并将所接收的全部数据写入存储到对应的位置上，再对其做快照。

于本发明的一实施例中，步骤S2中形成的数据流以文件系统的数据块为最小单位，每个所述数据块的前部分为此数据块的元数据，后部分为此数据块的内容。

于本发明的一实施例中，所述元数据用于描述数据块的属性，至少包括所述数据块的标示符、所述数据块在数据对象中的偏移、所述数据块的位置。

于本发明的一实施例中，所述步骤S3包括如下步骤：S31，将每一个所述数据块与其他所述数据块进行比较，确定是否是重复数据块，若是，则执行步骤S32；否则，执行步骤S33；S32，在所述数据块的元数据中增加重复数据块的元数据信息，并仅将增加后的元数据插入到所述数据流中；S33，将所述数据块插入到所述数据流中。

于本发明的一实施例中，所述步骤S31具体包括如下步骤：S311，建立初始为空的指纹库；S312，遍历所述数据块，计算其指纹值；S313，逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比，判断所述指纹库中是否存在相同的指纹值，若是，则执行步骤S32；否则，将所述指纹值插入到所述指纹库中以更新指纹库，并执行步骤S33。

于本发明的一实施例中，所述步骤S312中采用哈希算法sha-256计算数据块的指纹值。

于本发明的一实施例中，所述步骤S32中所增加的元数据信息至少包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置。

于本发明的一实施例中，经过重删处理后的数据块形成重删数据块，所述重删数据块的元数据中包含两个位置信息，分别为原数据块的位置以及数据块写入的位置。

于本发明的一实施例中，步骤S5具体包括如下步骤：S51，接收所述数据流，并将其解析成多个数据块；S52，逐个读取所述数据块的元数据部分，确定是否为重删数据块，若为重删数据块则执行步骤S53；否则，执行步骤S54；S53，根据所述重删数据块的元数据中描述的原数据块的位置读取所述重删数据块的内容到内存中以对所述重删数据块进行还原，并将还原后的数据块写入存储到所述重删数据块的元数据中描述的数据块写入的位置中。S54，直接读取所述数据块的元数据后面的数据内容，并将所述数据块写入存储到所述数据块的元数据中描述的数据块写入的位置中；S55，对写入的全部数据做快照，将源端的指纹库销毁。

于本发明的一实施例中，所述步骤S53中，通过读取重删数据块的内容的接口将其内容读取到内存中。

如上所述，本发明的一种基于源端数据重删的卷复制方法，具有以下有益效果：

1、卷复制时，采用该重删技术可以显著降低网络数据的传输量，加快整个卷复制的效率，特别是在网络带宽受限的情况下；

2、不需要在源端和目标端保存大量的指纹库，占用大量的存储资源，也不需要在源端和目标端同步指纹库，占用额外的网络带宽；

3、支持单个任务级重删，减少指纹库的大小，使占用的内存数量计较少；

4、重删发生在网络传输上，不影响卷复制的源端和目标端，对源端和目标端的数据读写不会产生任何影响。

附图说明

图1显示为本发明的基于源端数据重删的卷复制方法流程图。

图2显示为本发明的卷复制数据流中数据块分布图。

图3显示为本发明的重删处理流程图。

图4显示为本发明的目标端数据处理流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1-图4，本发明提供一种基于源端数据重删的卷复制方法，本方法可用于异地数据保护中，提供一种在卷复制过程中，通过引入数据重删技术，达到在复制源端实现重复数据删除，进而减少复制网络中的数据传输量，提高远程复制整体的效率，节省系统资源的目标。

如图1所示，为本发明的基于源端数据重删的卷复制方法流程图，包括如下步骤：S1，对源卷创建快照；S2，遍历所述快照，形成数据流，S3，对所述数据流进行重删处理；S4，发送经过重删处理的数据流；S5，接收所述数据流，对重删数据进行还原，并将所接收的全部数据写入存储到对应的位置上，再对其做快照。

于本实施例中，步骤S2中形成的数据流以文件系统的数据块为最小单位，每个所述数据块的前部分为所述数据块的元数据，后部分为所述数据块的内容。元数据用于描述数据块的属性，包括数据块的标示符、数据块在数据对象中的偏移、数据块的位置、数据块大小、块数据效验码、是否压缩等。如图2所示，为卷复制数据流中数据块分布图，每个数据块前部分为metaData元数据信息，后面data为内容。

于本实施例中，S3包括如下步骤：S31，将每一个所述数据块与其他所述数据块进行比较，确定是否是重复数据块，若是则执行步骤S32；否则，执行步骤S33；S32，在所述数据块的元数据中增加重复数据块的元数据信息，并仅将增加后的元数据插入到所述数据流中；S33，将所述数据块插入到所述数据流中。如图3所示，为步骤S3的重删处理流程图，包括如下步骤：S311，建立初始为空的指纹库；S312，遍历所述数据块，计算其指纹值；S313，逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比，判断所述指纹库中是否存在相同的指纹值，若是，则执行步骤S32，即在所述数据块的元数据中增加重复数据块的元数据信息，并仅将增加后的元数据插入到所述数据流中；否则将所述指纹值插入到所述指纹库中以更新指纹库，并执行步骤S33，即将所述数据块插入到所述数据流中。

对于步骤S32中所增加的元数据信息包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置、重复数据块的对象标号等。

仅将增加了重复数据块的元数据信息的元数据插入到数据流中后，经过如此重删处理后的数据块即为重删数据块，其所增加的重复数据块的元数据信息即为重删数据块的元数据信息。可将此信息用于重删数据块的判别中。

重删数据块的元数据结构主要字段如下：

uint64_t object； 该数据块所在对象编号

uint64_t offset； 该数据块在数据对象中的偏移

uint64_t toguid； 该数据块的唯一标示符

uint64_t refguid； 重删数据块的唯一标示符

uint64_t refobject； 重删数据块的对象标号

uint64_t refoffset； 重删数据块的在数据对象中的偏移

uint64_t chksum； 指纹值

指纹库的数据结构主要字段如下：

uint64_t chksum； 指纹值

uint64_t guid； 该数据块的唯一标示符

uint64_t obj ect； 该数据块所在对象编号

uint64_t offset 该数据块在数据对象中的偏移

进行重删处理后的重删数据块，因为仅将增加后的元数据插入到数据流中，所以数据流中的重删数据块仅包括元数据，而不包括数据块的内容。

元数据包含数据块写入的位置，而当确定为重复数据块后，再增加一个原数据块的位置，使得重复数据块具有两个位置信息，即原数据块的位置以及数据块写入的位置。增加原数据块的位置，是为了在后续目标端对重删数据进行还原时，根据此位置信息，读取其数据块的内容。

步骤S312中采用哈希算法sha-256计算数据块的指纹值，sha-256为一个强hash算法，它的哈希算法hash冲突率非常的低。

在复制任务开始时，建立一个空的指纹库，并计算数据流中的数据块的指纹值，逐一地按照顺序将其指纹值与指纹库中的指纹值进行比较，当然，第一个被比较的数据块只能跟空的指纹库进行比较，因为空的指纹库中不存在与此数据块相同的指纹值，其便不是重复块，将其整个数据块插入数据流中，并将其指纹值插入到指纹库中，以更新指纹库，供后续数据块进行比较，继续后续数据块的比较，若指纹库中存在与数据块相同的指纹值，则说明前面存在与此数据块重复的数据块，确定此数据块为重复块后，在此数据块的元数据中增加重复数据块的元数据信息，并仅将增加后的元数据插入到所述数据流中。

如图4所示，为步骤S5的目标端数据处理流程图，步骤S5具体包括如下步骤：S51，接收所述数据流，并将其解析成多个数据块；S52，逐个读取所述数据块的元数据部分，确定是否为重删数据块，若是，则执行步骤S53；否则，执行步骤S54；S53，根据所述重删数据块的元数据中描述的原数据块的位置读取所述重删数据块的内容到内存中以对所述重删数据块进行还原，并将还原后的数据块写入存储到所述重删数据块的元数据中描述的数据块写入的位置中；S54，直接读取所述数据块的元数据后面的数据内容，并将所述数据块写入存储到所述数据块的元数据中描述的数据块写入的位置中；S55，对写入的全部数据做快照，将源端的指纹库销毁。

步骤S52中，在读取数据块的元数据后，通过元数据信息即可判断是否为重删数据块，这是由于在前述步骤中，对于确定为重复块的数据块增加了重复数据块的元数据信息，可通过增加的信息中的重删数据块的唯一标示符、重删数据块的在数据对象中的偏移等来确定是否为重删数据块。

步骤S53中，通过读取重删数据块的内容的接口将其内容读取到内存中。这里，目标端根据元数据中描述的原数据块的位置，调用由文件系统提供的相应的接口，从而将该数据块的内容从目标端中读取出来。

复制完成后，指纹库就销毁掉，指纹库位于内存中，加快指纹查找的速度，不需要进行存盘，不占用存储的额外空间。只在运行时，需要占用源端存储的内存。如果文件系统的数据块大小为128K，一条指纹值占用64个字节。复制2T的数据，理论上只需要1G的内存做指纹库。重删时，在单次任务数据量不是很大时，对源端内存的消耗不是很大。源端卷在没有卷复制任务时，也不需要额外去保存和维护指纹库，简化了源端存储的工作量。

由于卷复制采用的是快照技术，在卷复制过程中，目标端通过复制写入的数据块在复制任务运行过程中是不能修改和删除的，这样就确保了该任务之前写入的数据块，在后面有相同的数据块时，只需要传入位置信息，就可以把之前的数据读取出来，而不需要考虑之前写入的数据发生改变的问题。但卷复制任务结束后，目标端的卷都是可以进行读、写、修改、删除等任意操作的，不会受到该重删方案的任何影响。

采用该数据重删方法，可以跟其他数据处理手段共存，不影响其他处理方式，如数据压缩，数据加密等。

由此可见，在整个网络传输中，采用源端重删技术后，对于重复数据块，只需传输元数据，即可实现卷复制，很大程度上减少了复制网络中的数据传输量，提高了远程复制整体的效率，节省了系统资源。

综上所述，在整个网络传输中，采用源端重删技术后，对于重复数据块，只需传输元数据，即可实现卷复制，很大程度上减少了复制网络中的数据传输量，提高了远程复制整体的效率，节省了系统资源。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于源端数据重删的卷复制方法，其特征在于，所述卷复制方法包括以下步骤：

S1，对源卷创建快照；

S2，遍历所述快照，形成数据流，

S3，对所述数据流进行重删处理；

S4，发送经过重删处理的数据流；

S5，接收所述数据流，对重删数据进行还原，并将所接收的全部数据写入存储到对应的位置上，再对其做快照；

经过重删处理后的数据块形成重删数据块，所述重删数据块的元数据中包含两个位置信息，分别为原数据块的位置以及数据块写入的位置；

步骤S5具体包括如下步骤：

S51，接收所述数据流，并将其解析成多个数据块；

S52，逐个读取所述数据块的元数据部分，确定是否为重删数据块，若是，则执行步骤S53；否则，执行步骤S54；

S53，根据所述重删数据块的元数据中描述的原数据块的位置读取所述重删数据块的内容到内存中以对所述重删数据块进行还原，并将还原后的数据块写入存储到所述重删数据块的元数据中描述的数据块写入的位置中；

S54，直接读取所述数据块的元数据后面的数据内容，并将所述数据块写入存储到所述数据块的元数据中描述的数据块写入的位置中；

S55，对写入的全部数据做快照，将源端的指纹库销毁。

2.根据权利要求1所述的基于源端数据重删的卷复制方法，其特征在于：所述步骤S2中，形成的数据流以文件系统的数据块为最小单位，每个所述数据块的前部分为所述数据块的元数据，后部分为所述数据块的内容。

3.根据权利要求2所述的基于源端数据重删的卷复制方法，其特征在于：所述元数据用于描述数据块的属性，至少包括所述数据块的标示符、所述数据块在数据对象中的偏移、所述数据块的位置。

4.根据权利要求3所述的基于源端数据重删的卷复制方法，其特征在于：所述步骤S3包括如下步骤：

S31，将每一个所述数据块与其他所述数据块进行比较，确定是否是重复数据块，若是，则执行步骤S32；否则，执行步骤S33；

S32，在所述数据块的元数据中增加重复数据块的元数据信息，并仅将增加后的元数据插入到所述数据流中；

S33，将所述数据块插入到所述数据流中。

5.根据权利要求4所述的基于源端数据重删的卷复制方法，其特征在于：所述步骤S31具体包括如下步骤：

S311，建立初始为空的指纹库；

S312，遍历所述数据块，计算其指纹值；

S313，逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比，判断所述指纹库中是否存在相同的指纹值，若是，则执行步骤S32；否则将所述指纹值插入到所述指纹库中以更新指纹库，并执行步骤S33。

6.根据权利要求5所述的基于源端数据重删的卷复制方法，其特征在于：所述步骤S312中采用哈希算法sha-256计算数据块的指纹值。

7.根据权利要求4至6中任一项所述的基于源端数据重删的卷复制方法，其特征在于：所述步骤S32中所增加的元数据信息至少包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置。

8.根据权利要求7所述的基于源端数据重删的卷复制方法，其特征在于：所述步骤S53中，通过读取所述重删数据块的内容的接口将其内容读取到内存中。