CN103514250A - 一种全局重复数据删除的方法和系统及存储装置 - Google Patents

Abstract

一种全局重复数据删除的方法和系统及存储装置，该方法包括如下步骤：1.1初始化；1.2接收层将数据流分成多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找与之对应的管理节点，将其发送给管理节点；1.3管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，存在则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；不存在则直接进行更新。系统用来实现上述方法。存储装置包括存储介质和存储控制器，存储控制器包括上述全局重复数据删除的系统。本发明只需要传输数据段的指纹值，不要求传输全部数据段，并通过建立指纹值索引结构和划分指纹值管理范围，大大提升了指纹值交互操作性能。

Description

一种全局重复数据删除的方法和系统及存储装置

技术领域

本发明主要涉及到数据存储领域，特指一种适用于数据存储设备的全局重复数据删除的方法及系统。

背景技术

随着数据量的爆发式增长，存储系统中存储的数据量越来越多，根据IDC的统计，2012年全球数据总量达到上万亿GB，超过95%的数据为非结构化数据；在许多以数据为核心的计算中心里，每天新产生的数据量已经达到100GB甚至1TB。与此同时，新型存储介质及其技术，如闪存（flash memory）、相变存储（phase change memory）等，也在不断发展。作为新型存储介质的典型，闪存存储介质具有密度高、重量轻、能耗低等特点，是一种理想的替代主存储系统中磁盘的存储介质。闪存的最小读写单元是闪存页，当需要从闪存中读取或向闪存中写入数据时，访问单元必须以闪存页为单位。当一个闪存页的内容被修改时，需要将该闪存页擦除后再重新写入数据。闪存的擦除操作延迟较大，通常是闪存页读操作延迟的上十倍。在闪存设备中，写操作总是异地更新，即，新数据总是写入一个新的空白闪存页，然后废除之前的闪存页中的旧数据，以避免擦除操作带来的性能开销。基于闪存存储系统通常具有寿命问题，每个闪存页存在有限的擦除次数，通常上限为1万-100万次，在一个闪存页达到擦除次数上限时，闪存页无法再被访问。

重复数据删除技术能够检测并消除存储数据的冗余副本，有效地减少写入主存储系统的数据量，不仅能有效地降低系统的存储成本，而且能潜在减少对存储介质的写操作，提高存储介质的寿命和系统的访问性能。

在已有的重复数据删除方法中，一个节点/控制器通常负责管理所有数据单元的指纹值，当有数据写操作时，查找该数据单元的指纹值，以确定该数据单元是否存在，如果存在，则将新的数据块指针指向已有的数据单元，而新的数据块不必写入系统。传统重复数据删除技术通常分为两种：相似重删技术和精确重删技术。相似重删技术将连续的数据流划分为多个大数据段，并为每个数据段保存一个特征值；当一个新的数据段需要写入时，系统比较新数据段的特征值是否已经存在，如果存在，则读取该特征值对应的数据段，并检测该数据段与新数据段之间的重复数据。相似重删技术将所有特征值一次性全部读入内存，因此重复数据删除的过程对系统性能影响十分小。然而，相似重删技术只能检测两个数据段之间的重复数据，因此其提高的空间效率有限。相比之下，在精确重删技术中，系统为每个数据单元（如固定的128KB大小或者可变长大小单元）计算指纹值，然后存储在指纹表中。当写入数据时，系统遍历所有的指纹值，以确定是否有重复数据存在，因此，精确重删技术能极为准确地检测出系统中所有重复数据单元，最大化系统的空间利用率。然而，精确重删技术要求每次在写入数据时，遍历所有指纹值，才能检测是否存在相同的指纹值；由于系统存储的指纹值个数通常很多，遍历操作将引入了巨大的时间开销。

在存储系统中，为了提高系统的可扩展性和可用性，系统通常具备多个节点/控制器同时提供服务，而且多个节点/控制器相互交互，提供更大的存储空间和访问性能。在这种主存储系统中采用传统的重复数据删除方法，尽管每个节点/控制器中独立完成数据消冗，但是不能在全局范围内进行重复数据检测，因此也降低了重复数据删除的效率。

为了减少每次实际写入和读出存储系统的数据量，现有技术中也存在一些带有全局重复数据删除的技术方法,这些方法需要存储系统由数据重定向模块和匹配节点组成。当对存储系统写入一个数据段时，数据重定向模块搜索一个与该数据段最相似的已存储的数据段，并确定该相似数据段所处的匹配节点，最后将写入的数据段发送到该匹配节点中，由该匹配节点对该数据段进行重复数据删除操作。该方法仍然存在以下问题：1. 该方法要求数据重定向模块和控制器之间传输所有要写入的数据，才能由控制器来完成重复数据的检测和消冗操作。由于频繁的大段的数据传输将占用大量的控制器带宽，因此该方法将会极大的降低系统的读写访问性能。2. 该方法未对元数据中的指纹值索引进行高效的组织和利用，而读请求需要频繁地访问指纹值索引，因此，在读请求频繁的存储系统中，该方法会降低系统访问性能。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种只需要传输数据段的指纹值，而不要求传输全部数据段，并通过建立指纹值索引结构和划分指纹值管理范围大大提升指纹值交互操作性能的全局重复数据删除的方法和系统及存储装置。

为解决上述技术问题，本发明采用以下技术方案：

一种全局重复数据删除的方法，包括如下步骤：

1.1 将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将所述指纹值索引结构写入存储设备或者存储介质中；

1.2 接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；

1.3 管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

作为本发明的进一步改进，所述步骤1.3中，管理节点进行指纹值索引结构更新的流程为：如果所述写入数据段指纹值已经存在于指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果所述写入数据段指纹值不存在于指纹值索引结构中，则向该指纹值索引结构中插入所述写入数据段指纹值；最后将该指纹值索引结构的更新部分写入存储设备或者存储介质中。

作为本发明的进一步改进，所述步骤1.1中，采用范围划分法来划分管理节点可接收指纹值的范围，即将可接收的指纹值按大小编号，并由管理节点按顺序管理相应的可接收的指纹值；所述步骤1.2中，查找所述写入数据段的指纹值对应的管理节点的方法为范围查找法，确定一个写入数据段的指纹值所处的所述范围，并确定所述范围对应的管理节点。

作为本发明的进一步改进，所述步骤1.1中，采用哈希划分法来划分管理节点可接收指纹值的范围，即先为可接收的指纹值计算哈希值，然后对该哈希值取模，再根据取模的结果与管理节点的编号进行比较，将可接收的指纹值划分到管理节点的编号与该取模结果相等的管理节点管理；其中，取模计算的公式为：指纹值的哈希值 % 管理控制器的个数；所述步骤1.2中，为每个写入数据段的指纹值计算哈希值，并对该哈希值的结果取模计算，找到管理控制器编号与该取模计算结果相等的管理控制器，所述取模计算的公式为：管理控制器编号 = 指纹值的哈希值 % 管理控制器的个数。

作为本发明的进一步改进，所述步骤1.1中的指纹值索引结构以已存储数据段的指纹值或该指纹值的一部分为索引关键字，索引关键字对应的值为该已存储数据段的指纹值对应的索引段，所述索引段中包含与该已存储数据段的指纹值对应的数据段的物理地址和数据段的引用次数；所述指纹值索引结构采用平衡树索引结构或者哈希表索引结构。

作为本发明的进一步改进，所述步骤1.2中，对所述数据流进行分段的方法为固定划分方法，即从所述数据流的开始位置，以固定大小将该数据流分割为具有固定大小的写入数据段。

作为本发明的进一步改进，所述步骤1.2中，对所述数据流进行分段的方法为可变长划分方法，具体步骤为： 

4.1 设置用来选取分段数据的滑动窗口，所述滑动窗口大小的初始值为1，从写入的数据流中未分段部分的起始位置开始选择一个固定大小的数据单元，将该数据单元放入滑动窗口内；

4.2 计算所述滑动窗口内数据内容的哈希值，并计算该哈希值的边界判断值，所述边界判断值的计算公式为：边界判断值 = 数据内容哈希值 % M，其中M为一个预设值；

4.3 如果所述边界判断值不等于预设边界判断值，那么将所述滑动窗口的大小递增，即在该滑动窗口中增加一个固定大小的数据单元，并重复步骤4.2；如果所述边界判断值等于预设的边界判断值，则滑动窗口内的数据内容即为一个写入数据段。

作为本发明的进一步改进，所述步骤1.3中，管理节点会查找每一个写入数据段的指纹值是否已经在其指纹值索引结构中存在；或者，管理节点将若干个写入数据段的指纹值组织成一个集合，然后选取该集合中最大值或者最小值，作为该集合的指纹值，如果该集合的指纹值在所述管理节点的指纹值索引结构中存在，该管理节点再在其指纹索引结构中，依次查找所述集合中的每个值，并根据该集合中的每个值是否都存在决定该值对应的写入数据段是否写入存储设备或存储介质中；如果所述集合的指纹值在所述管理节点的指纹值索引结构中不存在，则所述集合中所有值对应的写入数据段均被写入所述存储设备或存储介质中。

作为本发明的进一步改进，所有所述步骤中，对存储设备或者存储设备的写操作都采用顺序写方式。

作为本发明的进一步改进，所述管理节点和接收层采用同一个控制器，或者采用两个不同的控制器。

本发明进一步提供了一种全局重复数据删除系统，包括：

第一模块（初始化模块），用于将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将所述指纹值索引结构写入存储设备或者存储介质中；

第二模块（接收模块），用于使接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；

第三模块（执行处理模块），用于使管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

作为本发明系统的进一步改进，本发明还包括第四模块（更新模块），用于使管理节点进行指纹值索引结构更新；如果所述写入数据段指纹值已经存在于指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果所述写入数据段指纹值不存在于指纹值索引结构中，则向该指纹值索引结构中插入所述写入数据段指纹值；最后将该指纹值索引结构的更新部分写入存储设备或者存储介质中。

本发明进一步还提供了一种存储装置，包括存储介质和存储控制器，所述存储控制器包括上述的全局重复数据删除系统。

与现有技术相比，本发明的优点在于：

1.采用本发明后，对于任意一个数据流的写操作，接收层和管理节点之间只需要传输相应的指纹值，而不要求传输全部数据段，即可完成全局重复数据删除，避免了大量数据传输对存储系统读写性能的影响。

2.采用本发明后，每个管理节点使用高效的索引结构为指纹值创建指纹值索引结构，管理节点只需要进行有限个索引节点的查找，即可完成指纹值查找操作，在读请求频繁的存储系统中，能够大大提高存储系统的读性能。

3. 采用本发明后，采用范围划分法或哈希划分法划分管理节点管理的可接收指纹值范围，只需采用范围查找法或哈希查找法对指纹值计算，便可直接找出一个与写入数据段指纹值对应的管理节点，无需使用额外的映射表保存指纹值与管理节点之间的对应关系，提高存储系统的访问性能。

4. 采用本发明后，在向存储设备或者存储介质写入数据时，包括管理节点写入指纹值索引结构和接收层写入数据段，都是采用性能较高的顺序写操作，减少了对存储设备或者存储介质的随机写操作，提高了存储系统的读写访问性能及使用寿命。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在一个具体应用实例中实施后的存储系统结构原理示意图。

图3是本发明在一个具体应用实例中实施时的原理示意图。

图4是本发明在具体应用实施例中采用一种指纹值索引结构的原理示意图。

图5是本发明在另一个具体应用实例中实施后的存储系统结构原理示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的全局重复数据删除的方法，包括如下步骤： 

1.1 将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将指纹值索引结构写入存储设备或者存储介质中；

1.2 接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；

1.3 管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

在上述步骤1.3中，管理节点进行指纹值索引结构更新的流程为：如果写入数据段指纹值已经存在于指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果写入数据段指纹值不存在于指纹值索引结构中，则向该指纹值索引结构中插入写入数据段指纹值；最后将该指纹值索引结构的更新部分写入存储设备或者存储介质中。

如图2所示，为本发明在一个具体应用实例中实施后的存储系统结构原理示意图，以下将以该实例描述本发明的具体实现原理。其中，主机端101是发送读写操作的源主机。存储系统102使用了本发明全局重复数据删除方法，该存储系统包括接收层群104、管理节点群105和存储设备或存储介质群106，其中，接收层群104中可以包括1个或多个接收层，管理节点群105中可以包括1个或多个管理节点，存储设备或者存储介质群106可以包括例如硬盘、磁带驱动器、半导体存储器等单个存储设备或存储介质，也可以包括冗余阵列系统（例如独立磁盘冗余阵列RAID）等多个存储设备组成的装置或者网络附属连接存储系统等网络存储装置。主机端101与存储系统102之间通过网络连接103连接，网络连接包括局域网、广域网、无线网络、IB网络、光纤网络和以太网络或者实现网络通信的其他任何网络。通过网络连接103相互连接之后，主机端101与存储系统102之间互发消息，完成数据读写的操作。

结合图3，在上述实例中，以包含3个接收层和3个管理节点为例，该存储系统包括第一接收层201、第二接收层202、第三接收层203和第一管理节点210、第二管理节点211、第三管理节点212以及存储设备216。

在本实施例中，全局重复数据删除的方法包括以下步骤：

1．1）存储系统初始化步骤，具体的包括：

首先，划分管理节点可接收的指纹值的范围，本实例中，设定可接收的指纹值范围为A～H，划分范围后，第一管理节点210管理指纹值范围为（A,B,C），第二管理节点211管理指纹值范围为（D,E,F），第三管理节点212管理指纹值范围为（G,H），在本示意图中，字母用于区分一个写入数据段的内容，如果两个数据段的字母相同，则两个数据段的内容也相同。

在进行划分管理节点可接收的指纹值的范围时，可以采用范围划分法或者哈希划分法。

当采用范围划分法时，将可接收的指纹值按大小编号，并由管理节点按顺序管理相应的可接收的指纹值，如编号为1的管理节点管理大小为[0,N]的可接收的指纹值，编号为2的管理节点管理大小为[N+1,2N]的可接收的指纹值，依次类推。

当采用哈希划分法时，先为可接收的指纹值计算哈希值，然后对该哈希值取模，再根据取模的结果与管理节点编号进行比较，将可接收的指纹值划分到管理节点编号与该取模结果相等的管理节点管理，其中，取模计算的公式为：指纹值的哈希值 % 管理节点的个数。然后，将存储设备或者存储介质上所有已存储数据段的指纹值按照范围与相应的管理节点建立唯一的映射关系，管理节点为所有与其有映射关系的指纹值建立指纹值索引结构。如图3所示，以第一管理节点210为例，其中，指纹值索引结构208为第一管理节点210上对存储设备上已存在的数据段A和数据段B对应的指纹值A和指纹值B的建立的指纹值索引结构，以此类推。

本实例中，指纹值索引结构以已存储数据段的指纹值（或该指纹值的一部分）为索引关键字，索引关键字对应的值为该已存储数据段的指纹值对应的索引段，索引段中包含与该已存储数据段的指纹值对应的数据段的物理地址和数据段的引用次数。

指纹值索引结构可以采用平衡树索引结构或者哈希表索引结构等高效映射的索引结构。

当采用平衡树索引结构时，将以已存储数据段的指纹值为键值，叶子节点中包含多个索引段。

当采用哈希表索引结构时，每个索引对中键值为已存储数据段的指纹值，值为索引段。

参见图4，为本实施例的指纹值索引结构的示意图。在本实施例中，指纹值索引结构采用的是平衡树索引结构，每一个管理节点都有一个平衡树指纹值索引结构，用于查询该管理节点管理的指纹值。本实例的平衡树为B+树结构。

参见图4，关键字301为已存储数据段的指纹值或者该指纹值的一部分（如该指纹值的前64位）。地址指针302与关键字301对应，保存了一个关键字对应的子节点的物理位置。根节点303、 中间节点304存储了多个关键字和地址指针。

该B+树的叶节点中保存着多个关键字和索引段，如叶节点305包括关键字306和索引段307，在本实施例中，每个索引段表示为<引用次数、物理地址>，对应于一个已存储数据段的数据段，其中，引用次数的值表示该数据段被多少个卷或文件的逻辑地址引用，而物理地址则表示该数据段在存储设备或者存储介质上的存储物理地址。当引用次数为0时，该数据段已经不再被使用，对应的物理地址可以被回收。

最后，将该指纹值索引结构写入存储设备或者存储介质中。以第一管理节点210为例，存储空间219的内容为第一管理节点210在存储设备或介质上写入的指纹值索引结构208。

在本实例中，将指纹值索引结构写入存储设备或者存储介质，采用顺序写的方式，以充分开发存储设备或者存储介质的顺序写访问性能。

在本发明提供的全局重复数据删除方法中，步骤1.1）就是为存储系统进行初始化的步骤，因此在使用本发明提供的全局重复数据删除方法的存储系统中，只需要执行一遍步骤1.1）即可使该存储系统具备使用本发明提供的全局重复数据删除方法的前提条件。当该存储系统的存储设备或者存储介质更换时，步骤1.1）需要重新执行一次。

1.2)找到相应的管理节点步骤，具体包括：

首先，接收层接收主机端写入的数据流，对该数据流进行分段，得到多个写入数据段，并为每个写入数据段计算写入数据段指纹值。如图3所示，以第一接收层201为例，当第一接收层201接收到来自主机端101写入的数据流204时，该接收层将该数据流分成包括5个数据段的数据段集合207，然后第一接收层201为数据段集合207中的每个数据段计算指纹值。

写入数据流分段的方法可以采用固定划分方法或者可变长划分方法。

当采用固定划分方法时，从写入的数据流的开始位置，以固定大小（如64KB）将该数据流分割为具有固定大小的写入数据段；

当采用可变长划分方法时，包含以下步骤： 

4.1）设置用来选取分段数据的滑动窗口，滑动窗口大小的初始值为1，从写入的数据流中未分段部分的起始位置开始选择一个固定大小（如4KB）的数据单元，将该数据单元放入滑动窗口内；

4.2）计算滑动窗口内数据内容的哈希值，并计算该哈希值的边界判断值，边界判断值的计算公式为：边界判断值 = 数据内容哈希值 % M，其中M为一个预设值；

4.3）如果边界判断值不等于预设边界判断值，那么将滑动窗口的大小递增，即在该滑动窗口中增加一个固定大小的数据单元，并重复步骤4.2）；如果边界判断值等于预设的边界判断值，则滑动窗口内的数据内容即为一个写入数据段。

在步骤1.2）中，计算写入数据段指纹值的方法采用散列方法，包括MD5、SHA-1、SHA-256等。

然后，接收层查找写入数据段指纹值对应的管理节点，并将该写入数据段指纹值发送给管理节点。如图3所示，第一接收层201为写入数据段集合207中的数据段A和B的指纹值找到第一管理节点210，并发给该管理节点；为写入数据段集合207中的数据段D和E的指纹值找到第二管理节点211，并发给该管理节点；为写入数据段集合207中的数据段H的指纹值找到第三管理节点212，并发给该管理节点。

写入数据段的指纹值找到对应的管理节点的方法可以采用范围查找法或者哈希查找法。

当采用范围查找法时，该查找方法只需要确定一个写入数据段的指纹值所处的范围，并确定范围对应的管理节点，即可找到该写入数据段指纹值对应的管理节点；

当采用哈希查找法时，该查找方法为每个写入数据段的指纹值计算哈希值，并对该哈希值的结果取模计算，找到管理节点编号与该取模计算结果相等的管理节点，取模计算的公式为：管理节点编号 = 指纹值的哈希值 % 管理节点的个数。 

1.3)删除重复数据，写入不重复数据步骤：

管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

步骤1.3）可以采用全局精确重复数据删除或者全局相似重复数据删除方法。

当采用全局精确重复数据删除方法时，管理节点查找每写入数据段的指纹值是否已经在其指纹值索引结构中存在，如果存在，则不要求接收层将写入数据段写入存储设备或存储介质中，否则，要求接收层将写入数据段写入存储设备或介质中；

当采用全局相似重复数据删除方法时，管理节点将若干个写入数据段的指纹值组织成一个集合，然后选取该集合中最大值或者最小值，作为该集合的指纹值，如果该集合的指纹值在管理节点的指纹值索引结构中存在，该管理节点再在其指纹索引结构中，依次查找集合中的每个值，并根据该集合中的每个值是否都存在决定该值对应的写入数据段是否写入存储设备或存储介质中；如果集合的指纹值在管理节点的指纹值索引结构中不存在，则集合中所有值对应的写入数据段均被写入存储设备或存储介质中。

在本实例中，采用的是全局精确重复数据删除方法。如图3所示，第一管理节点210、第二管理节点211、第三管理节点212在分别接收到第一接收层201发送的指纹值后，对比每个指纹值是否在其指纹值索引结构存在，其中指纹值A和指纹值B在第一管理节点210指纹值索引结构中存在，指纹值D和指纹值E在第二管理节点211指纹值索引结构中存在，而指纹值H不存在于第三管理节点212的指纹值索引结构中。则第三管理节点212要求第一接收层201将数据段H的内容写入存储设备和存储介质中。

在本实例中，管理节点查找指纹值是否存在于指纹值索引结构中使用以下步骤：当需要查询一个指纹值关键字对应的索引段时，该管理节点从B+树的根节点开始查询，经过中间节点，最终到达叶子节点；在叶子节点中，采用二分法查找该关键字对应的索引段是否存在；如果存在，则该指纹值对应的数据段内容已经在存在于存储设备或者存储介质中，并且可以从该索引段中获取数据段的物理地址。

在本实例中，接收层直接将该数据段写入存储设备或者存储介质均以顺序写的方式写入存储设备或者存储介质中，以充分开发存储设备或者存储介质的顺序写访问性能。

本实例中更新管理节点中的指纹值索引结构步骤，具体包括：

管理节点更新其指纹值索引结构，如果写入数据段指纹值已经存在于该指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果写入数据段的指纹值不存在于该指纹值索引结构中，则向该指纹值索引结构中插入写入数据段的指纹值；将该指纹值索引结构的更新部分写入存储设备或者存储介质中。在本实例中，步骤1.3）结束后，第一管理节点210、第二管理节点211、第三管理节点212均需要更新其指纹值索引结构，由于指纹值A和指纹值B已存在于第一管理节点210的指纹值索引结构中，则将该结构中指纹值A和指纹值B对应的索引段中的引用次数递增，同样将第二管理节点211的指纹值索引结构中指纹值D和指纹值E对应的索引段中的引用次数递增；由于指纹值H不存在于第三管理节点212的指纹值索引结构中，需要将指纹值H插入到该指纹值索引结构中。各管理节点更新完其指纹值索引结构后，将该结构更新部分写入存储设备中。

本实例在更新指纹值索引结构时，所有被更新的索引结构的一部分均以顺序写的方式写入存储设备或者存储介质中，以充分开发存储设备或者存储介质的顺序写访问性能。

根据采用控制器的职能可以分为带内交互方式或带外交互方式两种：带内交互方式中，一个控制器要么只作为接收控制器，要么只作为管理控制器；带外交互方式中，一个控制器既可以作为接收控制器，也可以作为管理控制器。

本实施例中，为带内交互方式，一个控制器要么只作为接收控制器，要么只作为管理控制器。即，管理节点采用一个管理控制器，接收层采用接收控制器。

如图5所示，为另外一种采用本发明后的应用实例，其采用带外交互方式，管理节点和接收层共用为一个控制器。

本发明进一步提供一种用来实施上述方法的全局重复数据删除系统，包括： 

第一模块，用于将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将指纹值索引结构写入存储设备或者存储介质中；

第二模块，用于使接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；

第三模块，用于使管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

本实施中，还进一步包括第四模块，用于使管理节点进行指纹值索引结构更新；如果写入数据段指纹值已经存在于指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果写入数据段指纹值不存在于指纹值索引结构中，则向该指纹值索引结构中插入写入数据段指纹值；最后将该指纹值索引结构的更新部分写入存储设备或者存储介质中。

本发明进一步还提供了一种存储装置，包括存储介质和存储控制器，存储控制器包括上述的全局重复数据删除系统。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (13)

1.一种全局重复数据删除的方法，其特征在于，包括如下步骤：

1.1 将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将所述指纹值索引结构写入存储设备或者存储介质中；

1.2 接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；

1.3 管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

2.根据权利要求1所述的全局重复数据删除的方法，其特征在于，所述步骤1.3中，管理节点进行指纹值索引结构更新的流程为：如果所述写入数据段指纹值已经存在于指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果所述写入数据段指纹值不存在于指纹值索引结构中，则向该指纹值索引结构中插入所述写入数据段指纹值；最后将该指纹值索引结构的更新部分写入存储设备或者存储介质中。

3.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于:

所述步骤1.1中，采用范围划分法来划分管理节点可接收指纹值的范围，即将可接收的指纹值按大小编号，并由管理节点按顺序管理相应的可接收的指纹值；

所述步骤1.2中，查找所述写入数据段的指纹值对应的管理节点的方法为范围查找法，确定一个写入数据段的指纹值所处的所述范围，并确定所述范围对应的管理节点。

4.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，

所述步骤1.1中，采用哈希划分法来划分管理节点可接收指纹值的范围，即先为可接收的指纹值计算哈希值，然后对该哈希值取模，再根据取模的结果与管理节点的编号进行比较，将可接收的指纹值划分到管理节点的编号与该取模结果相等的管理节点管理；其中，取模计算的公式为：指纹值的哈希值 % 管理控制器的个数；

所述步骤1.2中，为每个写入数据段的指纹值计算哈希值，并对该哈希值的结果取模计算，找到管理控制器编号与该取模计算结果相等的管理控制器，所述取模计算的公式为：管理控制器编号 = 指纹值的哈希值 % 管理控制器的个数。

5.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，所述步骤1.1中的指纹值索引结构以已存储数据段的指纹值或该指纹值的一部分为索引关键字，索引关键字对应的值为该已存储数据段的指纹值对应的索引段，所述索引段中包含与该已存储数据段的指纹值对应的数据段的物理地址和数据段的引用次数；所述指纹值索引结构采用平衡树索引结构或者哈希表索引结构。

6.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，所述步骤1.2中，对所述数据流进行分段的方法为固定划分方法，即从所述数据流的开始位置，以固定大小将该数据流分割为具有固定大小的写入数据段。

7.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，所述步骤1.2中，对所述数据流进行分段的方法为可变长划分方法，具体步骤为： 

4.1 设置用来选取分段数据的滑动窗口，所述滑动窗口大小的初始值为1，从写入的数据流中未分段部分的起始位置开始选择一个固定大小的数据单元，将该数据单元放入滑动窗口内；

4.2 计算所述滑动窗口内数据内容的哈希值，并计算该哈希值的边界判断值，所述边界判断值的计算公式为：边界判断值 = 数据内容哈希值 % M，其中M为一个预设值；

4.3 如果所述边界判断值不等于预设边界判断值，那么将所述滑动窗口的大小递增，即在该滑动窗口中增加一个固定大小的数据单元，并重复步骤4.2；如果所述边界判断值等于预设的边界判断值，则滑动窗口内的数据内容即为一个写入数据段。

8.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，所述步骤1.3中，管理节点会查找每一个写入数据段的指纹值是否已经在其指纹值索引结构中存在；或者，管理节点将若干个写入数据段的指纹值组织成一个集合，然后选取该集合中最大值或者最小值，作为该集合的指纹值，如果该集合的指纹值在所述管理节点的指纹值索引结构中存在，该管理节点再在其指纹索引结构中，依次查找所述集合中的每个值，并根据该集合中的每个值是否都存在决定该值对应的写入数据段是否写入存储设备或存储介质中；如果所述集合的指纹值在所述管理节点的指纹值索引结构中不存在，则所述集合中所有值对应的写入数据段均被写入所述存储设备或存储介质中。

9.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，所有所述步骤中，对存储设备或者存储设备的写操作都采用顺序写方式。

10.根据权利要求1或2所述的全局重复数据删除的方法，其特征在于，所述管理节点和接收层采用同一个控制器，或者采用两个不同的控制器。

11.一种全局重复数据删除系统，其特征在于，包括： 

第一模块，用于将管理层划分成若干个管理节点，为每一个管理节点划分可接收指纹值的范围，并将存储设备或者存储介质上所有已存储数据段的指纹值按照上述范围与相应的管理节点建立唯一的映射关系；每一个管理节点为与其有映射关系的指纹值建立指纹值索引结构，并将所述指纹值索引结构写入存储设备或者存储介质中；

第二模块，用于使接收层对接收到的数据流进行分段，得到多个写入数据段，为每个写入数据段计算写入数据段指纹值，并查找该写入数据段指纹值所对应的管理节点，将该写入数据段指纹值发送给所对应的管理节点；

第三模块，用于使管理节点判断收到的写入数据段指纹值是否已经在指纹值索引结构中存在，如果不存在，则由接收层直接将该写入数据段写入存储设备或者存储介质中，并进行指纹值索引结构的更新；如果已存在，则直接进行指纹值索引结构的更新。

12.根据权利要求11所述的全局重复数据删除的系统，其特征在于，还包括第四模块，用于使管理节点进行指纹值索引结构更新；如果所述写入数据段指纹值已经存在于指纹值索引结构中，则将该指纹值索引结构中对应的指纹值的引用次数递增；如果所述写入数据段指纹值不存在于指纹值索引结构中，则向该指纹值索引结构中插入所述写入数据段指纹值；最后将该指纹值索引结构的更新部分写入存储设备或者存储介质中。

13.一种存储装置，包括存储介质和存储控制器，其特征在于，所述存储控制器包括权利要求11或12所述的全局重复数据删除系统。

Images