CN103049508B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施方式公开了一种数据处理方法及装置。其中，数据处理方法包括：判断存储系统是否处于业务在线时间，如果是，则进行节点内重复数据删除；如果否，则判断存储系统的存储性能是否达到预设的性能阈值；如果否，进行节点间重复数据删除，如果是，结束重复数据删除。通过上述方式，本申请能够充分利用存储系统具有业务在线和离线时间的特点，在线时进行节点内重复数据删除，离线时进行节点间重复数据删除，提高集群重复数据删除的灵活性，同时提高重复数据删除的性能和重复数据删除率。

Description

一种数据处理方法及装置

技术领域

本发明涉及一种数据处理方法及装置。

背景技术

随着信息技术的发展，特别是网络技术的快速更新，数据量急剧增长，需要备份的数据量也成倍增加。因此，尽管如今单位存储空间的成本不断走低，但企业需要存储或者备份的数据量仍然在持续上涨，导致了企业在磁盘存储空间方面无止境的成本投入。

重复数据删除技术是一种数据缩减技术，可以极大减少备份数据的数量，降低成本投入。重复数据删除方式主要有两种：节点内重复数据删除(Local deduplication)和节点间重复数据删除(Global deduplication)。目前集群备份系统要么采用节点内重复数据删除，要么采用节点间重复数据删除，但是不管是哪一种方式，都存在其自身的优点与不足。

节点内重复数据删除只在本节点内进行，这种方式实现简单，重复数据删除性能高，但是整个集群系统的重复数据删除率不高，如果节点间有数据重复则无法删除；节点间重复数据删除在整个集群域中所有节点上进行，这种方式能够确保整个集群中皆无重复数据，但是数据删除速度比较慢，节点间交互较多，节点间重复数据删除的集群的平均重复数据删除性能比节点内重复数据删除低。

发明内容

本申请主要解决的技术问题是提供一种数据处理方法及装置，能够提高集群重复删除的灵活性，同时提高重复数据删除的性能和重复数据删除率。

本申请的第一方面是提供一种数据处理方法，包括：判断存储系统是否处于业务在线时间，如果是，则进行节点内重复数据删除；如果否，则判断所述存储系统的存储性能是否达到预设的性能阈值；如果否，进行节点间重复数据删除，如果是，结束重复数据删除。

结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：接收写数据请求；所述进行节点内重复数据删除的步骤包括：在执行所述写数据请求时，进行节点内重复数据删除；所述进行节点间重复数据删除的步骤包括：在执行所述写数据请求时，进行节点间重复数据删除。

结合第一方面，在第一方面的第二种可能的实现方式中，所述方法还包括：接收写数据请求；所述进行节点内重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点内重复数据删除；所述进行节点间重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点间重复数据删除。

结合第一方面，在第一方面的第三种可能的实现方式中，所述进行节点内重复数据删除的步骤包括：启动节点内重复数据删除线程，以进行所述节点内重复数据删除，并判断所述存储系统的存储性能是否达到预设的性能阈值；若所述存储系统的存储性能没有达到预设的性能阈值，则启动节点间重复数据删除线程，以进行节点间重复数据删除。

结合第一方面，在第一方面的第四种可能的实现方式中，所述当所述存储系统的存储性能没有达到预设的性能阈值时，进行节点间重复数据删除包括：当所述存储系统的存储性能没有达到预设的性能阈值时，启动节点间重复数据删除线程，以进行节点间重复数据删除。

本申请的第二方面，提供一种数据处理方法，包括：判断存储系统的存储性能是否达到预设的第一性能阈值，如果否，进行节点间重复数据删除；如果所述存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除。

结合第二方面，在第二方面的第一种可能的实现方式中，所述方法还包括：接收写数据请求；所述进行节点内重复数据删除的步骤包括：在执行所述写数据请求时，进行节点内重复数据删除；所述进行节点间重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点间重复数据删除。

结合第二方面，在第二方面的第二种可能的实现方式中，所述方法还包括：接收写数据请求；所述进行节点内重复数据删除的步骤包括：在执行完所述写数据请求，再进行节点内重复数据删除；所述进行节点间重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点间重复数据删除。

结合第二方面，在第二方面的第三种可能的实现方式中，所述进行节点内重复数据删除的步骤包括：启动节点内重复数据删除线程，以进行所述节点内重复数据删除，并判断所述存储系统的存储性能是否达到预设的性能阈值；若所述存储系统的存储性能没有达到预设的性能阈值，则启动节点间重复数据删除线程，以进行节点间重复数据删除。

本申请的第三方面，提供一种数据处理装置，包括判断模块、第一删除模块以及第二删除模块，其中：所述判断模块用于判断存储系统是否处于业务在线时间；所述第一删除模块用于当存储系统处于业务在线时间时，进行节点内重复数据删除；所述判断模块还用于当系统没有处于业务在线时间时，判断所述存储系统的存储性能是否达到预设的性能阈值；所述第二删除模块用于当系统的性能没有达到预设的性能阈值时，进行节点间重复数据删除。

结合第三方面，在第三方面的第一种可能的实现方式中，所述装置还包括接收模块，用于接收写数据请求；所述第一删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点内重复数据删除线程以进行所述节点内重复数据删除；所述第二删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点间重复数据删除线程以进行所述节点间重复数据删除。

结合第三方面，在第三方面的第二种可能的实现方式中，所述判断模块还用于在所述第一删除模块在存储系统处于业务在线时间时，进行节点内重复数据删除的同时，判断所述存储系统的存储性能是否达到预设的性能阈值。

本申请的第四方面，提供一种数据处理装置，包括判断模块、第一删除模块以及第二删除模块，其中：所述判断模块用于判断存储系统的存储性能是否达到预设的第一性能阈值；所述第一删除模块用于当所述存储系统的存储性能没有达到预设的第一性能阈值时，进行节点间重复数据删除；所述判断模块还用于判断存储系统的存储性能是否达到预设的第二性能阈值；所述第二删除模块用于当所述存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除。

结合第四方面，在第四方面可能的第一种实现方式中，所述装置还包括接收模块，用于接收写数据请求；所述第一删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点间重复数据删除线程以进行节点间重复数据删除；所述第二删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点内重复数据删除线程以进行节点内重复数据删除。

本申请的有益效果是：区别于现有技术的情况，本申请当系统处于业务在线时间时，进行节点内重复数据删除，当业务离线时间时，再根据系统的性能情况决定是否启动节点间重复数据删除。通过这种方式，能够充分利用备份系统具有业务在线和离线时间的特点，在线时仅进行本地重删，离线时进行节点间全局重删，结合节点内和节点间重复数据删除的优点，同时提高重复数据删除的性能和重复删除率，降低成本，有效提高集群重复数据删除的灵活性。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请数据处理方法实施方式中的系统架构示意图；

图2是本申请数据处理方法实施方式中另一种系统架构示意图；

图3是本申请数据处理方法一个实施方式的流程图；

图4是本申请数据处理方法另一个实施方式中进行节点内重复数据删除的流程图；

图5是本申请数据处理方法又一个实施方式的流程图；

图6是本申请数据处理装置一个实施方式的结构示意图；

图7是本申请数据处理装置另一个实施方式的结构示意图；

图8是本申请数据处理装置又一个实施方式的结构示意图；

图9是本申请集群系统一个实施方式的结构示意图；

图10是本申请存储设备一个实施方式的结构示意图。

具体实施方式

为使本申请实施方式的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

本申请实施方式提供的数据处理的方法可以在存储系统上实现。图1、图2为本申请实施方式提供的数据处理方法的系统架构示意图，如图1以及图2所示，存储系统包括主机A和存储设备B。

主机可以包括当前技术已知的任何计算设备，如服务器、台式计算机等等。在主机内部，安装有操作系统以及其他应用程序。

存储设备可以包括当前技术已知的存储设备，如独立磁盘冗余阵列（RedundantArrays of Inexpensive Disks，RAID）、磁盘簇（Just a BunchOf Disks,JBOD）、直接存取存储器（Direct Access Storage Device，DASD）的一个或多个互连的磁盘驱动器，诸如磁带库、一个或多个存储单元的磁带存储设备。

当存在两个或两个以上的存储设备时，称为集群存储系统。比如图2表示两个存储设备的集群系统。

本申请实施方式所说的节点内重复数据删除是指重复数据删除只在各个存储设备内部进行，如图1所示，本申请实施方式所说的节点间重复数据删除是指重复数据删除在各个存储设备之间进行，如图2所示。

请参阅图1，本申请数据处理方法一个实施方式包括：

步骤S101：开始；

步骤S102：判断存储系统是否处于业务在线时间；

对于存储系统比如备份类系统，存储系统通常有业务在线时间和业务离线时间。比如每天或每周预定时间做一次数据备份，那么进行数据备份的时间为业务在线时间，其余时间都为业务离线时间。因此，业务在线时间往往要求系统以最大带宽全速运行，达到最高的读写性能值。而业务离线时间则无读写访问，完全空闲，没有性能要求。

接收写数据请求之后，首先判断存储系统是否处于业务在线时间，再决定是启动节点内重复数据删除还是启动节点间重复数据删除。如果存储系统处于业务在线时间，则进行步骤S103，如果存储系统没有处于业务在线时间(即存储系统处于业务离线时间)，则进行步骤S104。

步骤S103：进行节点内重复数据删除；

节点内重复数据删除是指重复数据删除只在集群系统的每个存储设备的自身内部进行。

重复数据删除可以以在线方式（即执行写数据请求的同时）或离线方式（即执行完写数据请求中之后）进行。在线方式进行重复数据删除是指数据写入存储系统同时执行重复数据的删除，因此实际传输或写入的数据量较少，适合通过LAN或WAN进行数据处理的存储系统，如网络备份归档和异地容灾系统。离线方式进行重复数据删除是指先将数据写入存储系统，然后利用适当的时间再进行重复数据删除。这种模式与前面一种刚好相反，它对存储系统资源消耗少，但写入了包含重复的数据，需要更多的额外存储空间来预先存储没有删除的重复的数据。这种模式适合直连存储DAS和存储区域网络SAN存储架构。因此，离线方式进行重复数据删除的模式需要保证有足够的存储空间先存储所有的数据，然后进行重复数据删除操作。

当存储系统处于业务在线时间，则存储系统需要以最大带宽全速运行，这时，进行节点内重复数据删除。本申请数据处理方法的实施方式中，可以在线方式也可以离线方式进行节点内重复数据删除。本实施方式以在线方式进行节点内重复数据删除。在数据写入的同时进行重复数据的删除，减少实际传输或写入的数据量，减轻存储系统的业务压力。

本申请实施方式采用在线方式进行节点内重复数据删除。存储系统为集群域中每个节点启动一个本地重复数据删除的线程(Local-dd1)，以每个节点内的新数据块的指纹跟该节点内的数据指纹库中的指纹进行对比，对指纹一致的数据进行删除，只保留不重复的数据。

实际应用过程中，重复数据删除过程一般是这样的：首先将数据文件分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元数据信息。这样，一个物理文件在存储系统就对应一个逻辑文件，由一组函数式程序设计(Functional Programming，FP)组成的元数据。当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。

数据文件切分按照重复数据删除的粒度可以分为文件级和数据块级。文件级的重复数据删除技术(即dedupe)也称为单一实例存储(SingleInstance Store，SIS)，数据块级的重复数据删除的粒度更小，可以达到4-24KB之间。显然，数据块级的dedupe技术可以提供更高的数据重复数据删除率，因此目前主流的dedupe产品都是数据块级的。

数据分块算法主要有定长切分(fixed-size partition)算法和CDC算法(content-defined chunking)。

定长切分算法采用预先义好的块大小对文件进行切分，将数据分为若干个等长的数据块，并计算每个数据块的数据指纹。

CDC算法是一种变长分块算法，它应用数据指纹(如Rabin指纹)将文件分割成长度大小不等的分块策略。与定长分块算法不同，它是基于文件内容进行数据块切分的，因此数据块大小是可变化的。

数据指纹是数据块的本质特征，理想状态是每个唯一数据块具有唯一的数据指纹，不同的数据块具有不同的数据指纹。数据块本身往往较大，因此数据指纹的目标是期望以较小的数据表示(如16、32、64、128字节)来区别不同数据块。数据指纹通常是对数据块内容进行相关数学运算获得，从当前研究成果来看哈希（Hash）函数比较接近与理想目标，比如MD5、SHA1、SHA-256、SHA-512、RabinHash等。另外，还有许多字符串的Hash函数也可以用来计算数据块指纹。实际应用中还可以同时使用多种Hash算法来为数据块计算指纹。

本申请实施方式中，将数据文件切分以及为每个数据块计算指纹都可以通过现有技术的任何一种方式来实现。

步骤S104：判断存储系统的性能是否达到预设的性能阈值；

当存储系统没有处于业务在线时间，可以通过判断存储系统的性能后再决定是否启动节点间重复数据删除。当存储系统的性能达到预设的性能阈值，说明当前存储系统的负荷较大，则进行步骤S106，当存储系统的性能没有达到预设的性能阈值，则进行步骤S105。

步骤S105：进行节点间重复数据删除；

当存储系统处于业务离线时间且存储系统的性能也没有达到预设的性能阈值，可以不进行节点内重复数据删除而直接进节点间重复数据删除，直到完成整个集群域中的重复数据删除。这样能有效节约资源，同时又能提高重复数据删除率。

本申请数据处理方法实施方式中，可以在线方式或离线方式的任意一种方式进行节点间重复数据删除。

步骤S106：结束重复数据删除；

当存储系统没有处于业务在线时间，但存储系统的性能达到预设的性能阈值时，不进行重复数据删除，结束重复数据删除流程。

通过上述实施方式的描述，可以理解，本申请当存储系统处于业务在线时间时，进行节点内重复数据删除，当存储系统处于业务离线时间时，再根据存储系统的性能情况决定是否启动节点间重复数据删除。通过这种方式，能够充分利用存储系统具有业务在线和离线时间的特点，在线时仅进行节点内重复数据删除，离线时进行节点间全局重复数据删除，结合节点内和节点间重复数据删除的优点，同时提高重复数据删除的性能和重复数据删除率，降低成本，有效提高集群中进行重复数据删除的灵活性。

在另一个实施方式中，进一步可以在进行节点内重复数据删除的同时，根据存储系统的性能情况决定是否启动节点间重复数据删除，请参阅图2，本申请数据处理方法另一个实施方式中，进行节点内重复数据删除的步骤包括：

步骤S201：进行节点内重复数据删除；

节点内重复数据删除是指重复数据删除只在集群系统的每个存储设备的自身内部进行。

重复数据删除可以以在线方式或离线方式进行。在线方式进行重复数据删除是指数据写入存储系统同时执行重复数据的删除，因此实际传输或写入的数据量较少，适合通过LAN或WAN进行数据处理的存储系统，如网络备份归档和异地容灾系统。离线方式进行重复数据删除是指先将数据写入存储系统，然后利用适当的时间再进行重复数据删除。这种模式与前面一种刚好相反，它对存储系统资源消耗少，但写入了包含重复的数据，需要更多的额外存储空间来预先存储没有删除的重复的数据。这种模式适合直连存储DAS和存储区域网络SAN存储架构。因此，离线方式进行重复数据删除的模式需要保证有足够的存储空间先存储所有的数据，然后进行重复数据删除操作。

本申请数据处理的方法的实施方式，可以以在线方式也可以离线方式进行节点间重复数据删除，本实施方式采用在线方式进行节点内重复数据删除。存储系统为集群域中每个节点启动一个节点内重复数据删除的线程(Local-dd1)，以每个节点内的新数据块的指纹跟该节点内的数据指纹库中的指纹进行对比，对指纹一致的数据进行删除，只保留不重复的数据。

实际应用过程中，重复数据删除过程一般是这样的：首先将数据文件分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元数据信息。这样，一个物理文件在存储系统就对应一个逻辑文件，由一组函数式程序设计(Functional Programming，FP)组成的元数据。当进行读取文件时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。

数据文件切分按照重复数据删除的粒度可以分为文件级和数据块级。文件级的重复数据删除技术(即dedupe)也称为单一实例存储(SingleInstance Store，SIS)，数据块级的重复数据删除的粒度更小，可以达到4-24KB之间。显然，数据块级的dedupe技术可以提供更高的数据重复数据删除率，因此目前主流的dedupe产品都是数据块级的。

数据分块算法主要有定长切分(fixed-size partition)算法和CDC算法(content-defined chunking)。

定长切分算法采用预先义好的块大小对文件进行切分，将数据分为若干个等长的数据块，并计算每个数据块的数据指纹。

CDC算法是一种变长分块算法，它应用数据指纹(如Rabin指纹)将文件分割成长度大小不等的分块策略。与定长分块算法不同，它是基于文件内容进行数据块切分的，因此数据块大小是可变化的。

数据指纹是数据块的本质特征，理想状态是每个唯一数据块具有唯一的数据指纹，不同的数据块具有不同的数据指纹。数据块本身往往较大，因此数据指纹的目标是期望以较小的数据表示(如16、32、64、128字节)来区别不同数据块。数据指纹通常是对数据块内容进行相关数学运算获得，从当前研究成果来看哈希（Hash）函数比较接近与理想目标，比如MD5、SHA1、SHA-256、SHA-512、RabinHash等。另外，还有许多字符串的Hash函数也可以用来计算数据块指纹。实际应用中还可以同时使用多种Hash算法来为数据块计算指纹。

本申请实施方式中，将数据文件切分以及为每个数据块计算指纹都可以通过现有技术的任何一种方式来实现。

步骤S202：判断存储系统的性能是否达到预设的性能阈值；

在启动重复数据删除的之前，可以预先设置存储系统的性能阈值并保存，该性能阈值可以根据需要自行设置，作为是否启动节点间重复数据删除的依据。

在进行节点内重复数据删除的同时，判断存储系统的性能是否达到预设的性能阈值，若存储系统的性能达到预设的性能阈值，则进行步骤S204，若存储系统的性能没有达到预设的性能阈值，则进行步骤S203。

步骤S203：进行节点间重复数据删除；

节点间重复数据删除是指重复数据删除在整个集群域中的各个存储设备之间进行，数据比较和删除在整个集群域中进行。

当存储系统的性能没有达到预设的性能阈值时，说明当前存储系统的业务压力较小。这时，存储系统启动节点间重复数据删除的线程，进行节点间重复数据删除来代替节点内重复数据删除。本申请数据处理方法的实施方式中，节点间重复数据删除可以在线方式或离线方式的任何一种方式进行，本实施方式采用在线方式进行节点间重复数据删除。归并各个节点的指纹数据库，查找重复数据时，新数据库的指纹跟集群域中所有节点上数据指纹进行比较，对指纹一致的重复数据进行删除，只保留不重复的数据，直到完成所有重复数据删除。

步骤S204：只进行节点内重复数据删除；

当存储系统的性能达到预设的性能阈值时，说明当前存储系统的业务压力较大。这时，存储系统只进行节点内重复数据删除，直到完成所有重复数据删除。

通过上述实施方式的描述，可以理解，本申请当存储系统处于业务在线时间时，进行节点内重复数据删除，当业务离线时间时，再根据存储系统的性能情况决定是否启动节点间重复数据删除。通过这种方式，能够充分利用存储系统具有业务在线和离线时间的特点，在线时进行节点内重复数据删除，离线时进行节点间全局重复数据删除。而且，在线时进行节点内重复数据删除的同时，实时根据存储系统的性能决定是否启动节点间重复数据删除。通过这种方式，能够结合节点内和节点间重复数据删除的优点，同时提高重复数据删除的性能和重复数据删除率，降低成本，有效提高集群中进行重复数据删除的灵活性。

请参阅图3，本申请数据处理方法又一个实施方式包括：

步骤S301：开始；

步骤S302：判断存储系统的存储性能是否达到预设的第一性能阈值；

通常情况下，为了适时启动节点内或节点间重复数据删除，设置不同的性能阈值以作为启动节点内或节点间重复数据删除的依据。一般情况下，存储系统处于高负荷无法再承载负载的情况下，不启动任何重复数据删除。但是存储系统处于比较低的负荷情况下可以启动节点间重复数据删除，而当存储系统处于一个中等负荷情况下，可以只启动节点内重复数据删除。

因此，可以预先设定一个较低的性能阈值以作为启动节点间重复数据删除的第一性能阈值，设定一个比第一性能阈值高的值以作为启动节点内重复数据删除的第一性能阈值。性能阈值根据存储系统的CPU、占用率、存储系统的性能值等综合考虑设置。存储系统的各个性能指标的极限值可以作为第二性能阈值设定的参考值，也就是说，这个状态下，存储系统几乎没有能力再承载任何负载。以此设定的第二性能阈值，然后设定比第二性能阈值低的值作为第一性能阈值。

当存储系统的存储性能没有达到这个第一性能阈值，说明当前存储系统的性能状态比较好，可以考虑启动节点间重复数据删除，即进入步骤S303；如果当前存储系统的存储性能达到这个第一性能阈值，则进行步骤S304。

步骤S303：进行节点间重复数据删除；

当存储系统的存储性能没有达到第一性能阈值，则启动节点间重复数据删除线程，以进行节点间重复数据删除。

步骤S304：判断存储系统的存储性能是否达到预设的第二性能阈值；

当存储系统的存储性能达到第一性能阈值，则判断存储系统的存储性能是否达到预设的第二性能阈值，当存储系统的存储性能没有达到第二性能阈值，则说明当前存储系统还有一定的能力能够承载一定量的负载，则进行步骤S305；如果存储系统的存储性能达到第二性能阈值，则说明当前存储系统的负荷很大，处于比较危险的状态，则进行步骤S306。

步骤S305：进行节点内重复数据删除；

当存储系统的性能阈值达到第一性能阈值但没有达到第二性能阈值时，启动节点内重复数据删除线程，以进行节点内重复数据删除。

步骤S306：结束重复数据删除；

当存储系统的存储性能达到第二性能阈值，说明当前存储系统的负荷比较大，处于比较危险的状态，不进行重复数据删除，结束重复数据删除流程。

请参阅图4，本申请存储设备一个实施方式包括判断模块13、第一删除模块11以及第二删除模块12，其中：

判断模块13用于判断存储系统是否处于业务在线时间；

第一删除模块11用于当存储系统处于业务在线时间时，进行节点内重复数据删除；

第一删除模块11可以以在线方式或离线方式进行节点内重复数据删除。在线方式进行重复数据删除是指数据写入存储系统同时执行重复数据删除，因此实际传输或写入的数据量较少，适合通过LAN或WAN进行数据处理的存储系统，如网络备份归档和异地容灾系统。离线方式进行重复数据删除是指先将数据写入存储系统，然后利用适当的时间再进行重复数据删除处理。这种模式与前面一种刚好相反，它对存储系统资料消耗少，但写入了包含重复的数据，需要更多的额外存储空间来预先存储没有删除的重复数据。这种模式适合直连存储DAS和存储区域网络SAN存储架构，数据传输不占用网络带宽。因此，离线方式重复数据删除模式需要保证有足够的存储空间先进行数据的存储，再进行重复数据删除操作。

本申请实施方式中，第一删除模块11采用在线方式进行节点内重复数据删除。为集群域中每个节点启动一个重复数据删除的线程，以每个节点内的新数据块的指纹跟该节点内的数据指纹库中的指纹进行对比，对指纹一致的数据进行删除，只保留不重复的数据。

判断模块13还用于当存储系统没有处于业务在线时间时，判断存储系统的存储性能是否达到预设的性能阈值；

当存储系统没有处于业务在线时间，可以通过判断模块13判断存储系统的性能后再决定是否启动节点间重复数据删除。当存储系统的性能达到预设的性能阈值，说明当前存储系统的负荷较大，判断模块13通知当前存储系统结束重复数据删除，当存储系统的性能没有达到预设的性能阈值，通知第二删除模块12进行节点间重复数据删除。

第二删除模块12用于当存储系统的性能没有达到预设的性能阈值时，进行节点间重复数据删除；

当存储系统的性能没有达到预设的性能阈值时，说明当前存储系统的业务压力较小。这时，第二删除模块12启动节点间重复数据删除的线程，进行节点间重复数据删除来代替节点内重复数据删除。

第二删除模块12可以在线方式或离线方式进行节点间重复数据删除。本实施方式中第二删除模块12采用在线方式进行节点间重复数据删除，归并各个节点的指纹数据库，查找重复数据时，新数据库的指纹跟集群域中所有节点上数据指纹进行比较，对指纹一致的重复数据进行删除，只保留不重复的数据，直到完成所有重复数据删除。

请参阅图5，本申请存储设备另一个实施方式包括第一删除模块11、第二删除模块12、判断模块13以及接收模块14，其中：

判断模块13用于判断存储系统是否处于业务在线时间；

当判断模块13的判断结果为存储系统处于业务在线时间时，通知第一删除模块11进行节点内重复数据删除；

当判断模块13的判断结果为存储系统没有处于业务在线时间时，则判断模块13进一步判断存储系统的性能是否达到预设的性能阈值。

当判断模块13的判断结果为存储系统没有处于业务在线时间且存储系统的性能也没有达到预设的性能阈值，通知第二删除模块12直接进行节点间重复数据删除。这样能有效节约资源，同时又能提高重删率。

第一删除模块11用于当存储系统处于业务在线时间时，进行节点内重复数据删除；

当存储系统处于业务在线时间，则存储系统需要以最大带宽全速运行，这时，第一删除模块11以在线方式进行节点内重复数据删除。在数据写入的同时进行重复数据删除，减少实际传输或写入的数据量。

判断模块13还用于当存储系统没有处于业务在线时间时，判断存储系统的存储性能是否达到预设的性能阈值；

第二删除模块12用于当存储系统没有处于业务在线时间且存储系统的性能也没有达到预设的性能阈值时，进行节点间重复数据删除。

接收模块14用于接收写数据请求。

在启动重复数据删除之前，可以通过接收模块14接收写数据请求，第一删除模块11具体用于在执行写数据请求时或执行完写数据请求之后，启动节点内重复数据删除线程以进行节点内重复数据删除。

第二删除模块12具体用于在执行写数据请求时或执行完写数据请求之后，启动节点间重复数据删除线程以进行节点间重复数据删除。

判断模块13还用于在第一删除模块11在存储系统处于业务在线时间时，进行节点内重复数据删除的同时，判断存储系统的存储性能是否达到预设的性能阈值。

当判断模块13的判断结果为存储系统处于业务离线时间但存储系统的性能达到预设的性能阈值，则只采用第一删除模块11进行节点内重复数据。

当存储系统没有处于业务在线时间，但存储系统的性能达到预设的性能阈值时，通知存储系统结束重复数据删除。

请参阅图6，本申请数据处理装置又一个实施方式包括判断模块23、第一删除模块21以及第二删除模块22，其中：

判断模块23用于判断存储系统的存储性能是否达到预设的第一性能阈值；

通常情况下，为了适时启动节点内或节点间重复数据删除，设置不同的性能阈值以作为启动节点内或节点间重复数据删除的依据。一般情况下，存储系统处于高负荷无法再承载负载的情况下，不启动任何重复数据删除。但是存储系统处于比较低的负荷情况下可以启动节点间重复数据删除，而当存储系统处于一个中等负荷情况下，可以只启动节点内重复数据删除。

因此，可以预先设定一个较低的性能阈值以作为启动节点间重复数据删除的第一性能阈值，设定一个比第一性能阈值高的值以作为启动节点内重复数据删除的第一性能阈值。性能阈值根据存储系统的CPU、占用率、存储系统的性能值等综合考虑设置。存储系统的各个性能指标的极限值可以作为第二性能阈值设定的参考值，也就是说，这个状态下，存储系统几乎没有能力再承载任何负载。以此设定的第二性能阈值，然后设定比第二性能阈值低的值作为第一性能阈值。

当存储系统的存储性能没有达到这个第一性能阈值，说明当前存储系统的性能状态比较好，可以考虑启动节点间重复数据删除，判断模块23通知第一删除模块21启动节点间重复数据删除；如果当前存储系统的存储性能达到这个第一性能阈值，判断模块23进一步判断存储系统的存储性能是否达到预设的第二性能阈值。

第一删除模块21用于当存储系统的存储性能没有达到预设的第一性能阈值时，进行节点间重复数据删除；

当存储系统的存储性能没有达到第一性能阈值，第一删除模块21则启动节点间重复数据删除线程，以进行节点间重复数据删除。

判断模块23还用于判断存储系统的存储性能是否达到预设的第二性能阈值；

当存储系统的存储性能达到第一性能阈值，判断模块23进一步判断存储系统的存储性能是否达到预设的第二性能阈值，当存储系统的存储性能没有达到第二性能阈值，则说明当前存储系统还有一定的能力能够承载一定量的负载，判断模块23通知第二删除模块22启动节点内重复数据删除；如果存储系统的存储性能达到第二性能阈值，则说明当前存储系统的负荷很大，处于比较危险的状态，判断模块23通知当前存储系统结束重复数据删除。

第二删除模块22用于当存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除。

当存储系统的性能阈值达到第一性能阈值但没有达到第二性能阈值时，第二删除模块22启动节点内重复数据删除线程，以进行节点内重复数据删除。

在另一个实施方式中，本申请数据处理装置还包括接收模块，用于接收写数据请求。

第一删除模块21具体用于在执行写数据请求时或执行完写数据请求之后，启动节点间重复数据删除线程以进行节点间重复数据删除；

第二删除模块22具体用于在执行写数据请求时或执行完写数据请求之后，启动节点内重复数据删除线程以进行节点内重复数据删除。

请参阅图7，本申请集群系统一个实施方式包括处理器31以及与处理器31电连接的多个存储设备32，其中：

处理器31用于根据系统的状态，控制各个存储设备32进行节点内重复数据删除或进行节点间重复数据删除；

当存储系统处于业务在线时间时，处理器31控制各个存储设备32进行本节点内的重复数据删除，同时，当存储设备32进行本节点内的重复数据删除时，存储系统的性能没有达到预设的性能阈值，处理器进一步控制各个存储设备32之间进行节点间重复数据删除；当存储系统处于业务离线时间且存储系统性能没有达到预设的性能阈值时，处理器31控制各个存储设备32之间进行节点间重复数据删除；

存储设备32可以是两个或两个以上，用于存储系统内的数据。

通过上述实施方式的阐述，本申请实施方式当存储系统处于业务在线时间时，进行节点内重复数据删除，当存储系统处于业务离线时间时，再根据存储系统的性能情况决定是否启动节点间重复数据删除。通过这种方式，能够充分利用存储系统具有业务在线和离线时间的特点，在线时进行节点内重复数据删除，离线时进行节点间重复数据删除。而且，在线时进行本地重复数据删除的同时，实时根据存储系统的性能决定是否启动节点间重复数据删除。通过这种方式，能够结合节点内和节点间重复数据删除的优点，同时提高重复数据删除的性能和重复删除率，降低成本，有效提高集群重复数据删除的灵活性。

请参考图10，本申请实施方式提供了一种存储设备800的示意图。存储设备800可能是包含存储能力的服务器，或者是个人计算机PC，或者是其他存储设备等等，本申请实施方式并不对存储设备的具体实现做限定。存储设备800包括：

处理器(processor)810，通信接口(Communications Interface)820，存储器(memory)830，总线840。

处理器810，通信接口820，存储器830通过总线840完成相互间的通信。

通信接口820，用于与网元通信，比如虚拟机管理中心280、共享存储240等。

处理器810，用于执行程序832。

具体地，程序832可以包括程序代码，所述程序代码包括计算机操作指令。

处理器810可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施方式的一个或多个集成电路。

存储器830，用于存放程序832。存储器830可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序832具体可以包括：

判断模块13用于判断存储系统是否处于业务在线时间；

第一删除模块11用于当存储系统处于业务在线时间时，进行节点内重复数据删除；

判断模块13还用于当存储系统没有处于业务在线时间时，判断存储系统的存储性能是否达到预设的性能阈值；

第二删除模块12用于当存储系统的性能没有达到预设的性能阈值时，进行节点间重复数据删除。

程序832中各模块的具体实现可以参见图4所示实施方式中的相应模块，在此不赘述。

在另一个实施方式中，程序832具体可以包括：判断模块23、第一删除模块21以及第二删除模块22；

判断模块23用于判断存储系统的存储性能是否达到预设的第一性能阈值；

第一删除模块21用于当存储系统的存储性能没有达到预设的第一性能阈值时，进行节点间重复数据删除；

判断模块23还用于判断存储系统的存储性能是否达到预设的第二性能阈值；

第二删除模块22用于当存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除。

程序832中各模块的具体实现可以参见图6所示实施方式中的相应模块，在此不赘述。

在本申请所提供的几个实施方式中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的功能模块可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能模块可以集成在一个处理单元中，也可以是各个功能模块单独物理存在，也可以两个或两个以上功能模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种数据处理方法，其特征在于，包括：

判断存储系统是否处于业务在线时间，如果是，则进行节点内重复数据删除；

在进行所述节点内重复数据删除的同时，判断所述存储系统的存储性能是否达到预设的性能阈值；

如果否，进行节点间重复数据删除，如果是，只进行节点内重复数据删除。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收写数据请求；

所述进行节点内重复数据删除的步骤包括：在执行所述写数据请求时，进行节点内重复数据删除；

所述进行节点间重复数据删除的步骤包括：在执行所述写数据请求时，进行节点间重复数据删除。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收写数据请求；

所述进行节点内重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点内重复数据删除；

所述进行节点间重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点间重复数据删除。

4.根据权利要求1所述的方法，其特征在于，所述进行节点内重复数据删除的步骤包括：

启动节点内重复数据删除线程，以进行所述节点内重复数据删除，并判断所述存储系统的存储性能是否达到预设的性能阈值；

若所述存储系统的存储性能没有达到预设的性能阈值，则启动节点间重复数据删除线程，以进行节点间重复数据删除。

5.根据权利要求1所述的方法，其特征在于，当所述存储系统的存储性能没有达到预设的性能阈值时，进行节点间重复数据删除包括：

当所述存储系统的存储性能没有达到预设的性能阈值时，启动节点间重复数据删除线程，以进行节点间重复数据删除。

6.一种数据处理方法，其特征在于，包括：

判断存储系统的存储性能是否达到预设的第一性能阈值，如果否，进行节点间重复数据删除；

如果所述存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除，在进行节点内重复数据删除的同时，判断所述存储系统的存储性能是否达到预设的第一性能阈值；

若所述存储系统的存储性能没有达到预设的第一性能阈值，进行节点间重复数据删除，否则，只进行节点内重复数据删除。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：接收写数据请求；

所述进行节点内重复数据删除的步骤包括：在执行所述写数据请求时，进行节点内重复数据删除；

所述进行节点间重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点间重复数据删除。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：接收写数据请求；

所述进行节点内重复数据删除的步骤包括：在执行完所述写数据请求，再进行节点内重复数据删除；

所述进行节点间重复数据删除的步骤包括：在执行完所述写数据请求之后，再进行节点间重复数据删除。

9.根据权利要求6所述的方法，其特征在于，所述进行节点内重复数据删除的步骤包括：

启动节点内重复数据删除线程，以进行所述节点内重复数据删除，并判断所述存储系统的存储性能是否达到预设的性能阈值；

若所述存储系统的存储性能没有达到预设的性能阈值，则启动节点间重复数据删除线程，以进行节点间重复数据删除。

10.一种数据处理装置，其特征在于，包括判断模块、第一删除模块以及第二删除模块，其中：

所述判断模块用于判断存储系统是否处于业务在线时间；

所述第一删除模块用于当存储系统处于业务在线时间时，进行节点内重复数据删除；

所述判断模块还用于在所述第一删除模块在存储系统处于业务在线时间时，进行节点内重复数据删除的同时，判断所述存储系统的存储性能是否达到预设的性能阈值；

所述第二删除模块用于当系统的性能没有达到预设的性能阈值时，进行节点间重复数据删除。

11.根据权利要求10所述的装置，所述装置还包括接收模块，用于接收写数据请求；

所述第一删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点内重复数据删除线程以进行所述节点内重复数据删除；

所述第二删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点间重复数据删除线程以进行所述节点间重复数据删除。

12.一种数据处理装置，其特征在于，所述装置包括判断模块、第一删除模块以及第二删除模块，其中：

所述判断模块用于判断存储系统的存储性能是否达到预设的第一性能阈值；

所述第一删除模块用于当所述存储系统的存储性能没有达到预设的第一性能阈值时，进行节点间重复数据删除；

所述判断模块还用于判断存储系统的存储性能是否达到预设的第二性能阈值；

所述第二删除模块用于当所述存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除，所述判断模块还用于在进行节点内重复数据删除的同时判断所述存储系统的存储性能是否达到预设的第一性能阈值，如果否，通知所述第一删除模块进行节点间重复数据删除。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括接收模块，用于接收写数据请求；

所述第一删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点间重复数据删除线程以进行节点间重复数据删除；

所述第二删除模块具体用于在执行所述写数据请求时或执行完所述写数据请求之后，启动节点内重复数据删除线程以进行节点内重复数据删除。