CN105075222B - 采用动态压缩的数据复制 - Google Patents

Abstract

一种用于在两个或更多联网数据存储设备之间复制数据的方法。该方法包括：在通过网络将数据传递之前，至少部分地基于联网数据存储设备之间的带宽吞吐量来动态确定是否压缩数据。如果确定压缩数据，则该方法包括对数据进行压缩并且通过网络传送压缩数据。如果确定不压缩数据，则该方法包括通过网络传送未压缩的数据。动态确定是否压缩数据可以包括：如果应该使用压缩处理，则将带宽量度与一个预定策略相比较。在一些实施例中，该策略可以限定应该在所估计的用于压缩数据和传送压缩数据的时间小于所估计的用于传送未经压缩的数据的时间的时候使用压缩处理。

Description

采用动态压缩的数据复制

技术领域

本公开主要涉及用于在数据存储环境中复制数据的系统和方法。特别地，本公开涉及通过使用动态或按需压缩而在数据存储子系统或信息处理系统中的两个或更多联网数据存储站点或设备之间有效复制数据的系统和方法，对存在着网络链路或连接相对较慢的时段的系统来说，此类系统和方法是非常有益的。

背景技术

随着信息价值和用途的持续提升，个人和公司试图寻找附加方式来处理和存储信息。其中一个可供用户使用的选项是信息处理系统。信息处理系统通常会处理、编译、存储和/或传递用于企业、个人或其他用途的信息或数据，由此允许用户利用该信息的价值。由于技术和信息处理需要及需求因应不同用户或应用而变化，因此，信息处理系统在处理何种信息，如何处理信息，处理、存储或传递多少信息以及如何有效快速地处理、存储或传递信息方面也存在差异。信息处理系统的变体容许该信息处理系统是通用系统还是为特定用户或特定用途配置的系统，例如用于金融交易处理、机票预订、企业数据存储或全球通信。此外，信息处理系统可以包括多种硬件或软件组件，这些硬件或软件组件可被配置成处理、存储和传递信息，并且可以包括一个或多个计算机系统、数据存储系统以及联网系统。

同样，个人和企业试图寻找附加方式来保护信息或是确保信息的安全，由此提高诸如可靠性、容错性或信息可存取性。在信息处理系统中，一种这样的信息保护方法包括通过复制或共享信息来确保诸如数据存储设备之类的冗余资源之间的一致性，作为示例，该数据存储设备可以包括但不局限于磁盘驱动器、固态驱动器、磁带驱动器等等。信息或数据的复制处理可以在通过LAN、WAN、因特网等等的计算机网络可通信地耦合的各种组件上进行，由此，数据存储设备可以并且往往有利地位于物理距离很远的位置。对于数据复制、尤其是远程数据复制来说，其目的是防止可能会在一个位置出现的故障或灾难所造成的损害，和/或在发生此类事件的情况下提升数据恢复能力。

通常，灾难恢复策略要求站点在发生紧急状况时将数据复制到现场以外。然而，很多远端站点(或远端办公室)都存在着带宽很小的问题，由此妨碍其完成其业务关键复制操作的能力。作为示例而不是限制，低带宽可以归因于低速WAN、日间的高流量或带宽使用时段，出于任何原因而对带宽进行限制的站点策略，其中限制带宽的原因可以是使用情况统计或其他多种原因，但是并不局限于此。

一种用于降低复制处理所造成的带宽压力的传统方法包括：采用一种在通过网络传送数据之前始终对数据进行压缩的策略，以便尝试从总体上减少所传送的数据量。然而，此类恒定压缩策略存在缺陷。特别地，压缩数据(以及在接收端解压缩)将会耗费CPU时间，其需要一定等级的硬件成本(例如存储器成本)，并且会产生与被复制数据的可用性相关的延迟问题。此外，在一些情况中，压缩数据不会占用较少空间，其在节约空间的差异极小或者是可忽略的。相应地，压缩此类数据会对时间和资源造成极大浪费。

相应地，需要具有用于在数据存储环境中复制数据的改进系统和方法，尤其是在低带宽妨碍了有效复制能力的情况下。特别地，所需要的是通过使用动态或按需压缩而在数据存储子系统或信息处理系统中的两个或更多联网数据存储站点或设备之间有效复制数据的系统和方法。对于网络链路或连接较慢的系统来说，此类系统和方法是非常有用的，但其并不局限于此。

发明内容

以下给出了关于本公开的一个或多个实施例的简要概述，以便提供关于此类实施例的基础理解。本发明内容部分并不是关于所设想的所有实施例的详尽综述，其目的既不是标识出所有实施例的关键或重要元素，也不是描述任一或全部实施例的范围。

在一个实施例中，本公开涉及一种用于在数据存储子系统中的两个或更多联网数据存储设备之间复制数据的方法。该方法包括：在通过网络将数据从第一联网数据存储设备传递到第二联网数据存储设备之前，至少部分基于第一与第二联网数据存储设备之间的带宽吞吐量来动态确定是否压缩该数据。如果确定压缩该数据，则该方法包括：压缩该数据，以及将压缩数据从第一联网数据存储设备传送到第二联网数据存储设备。如果确定不压缩数据，则该方法包括：将未压缩的数据从第一联网数据存储设备传送到第二联网数据存储设备。该方法还可以包括：从第一联网数据存储设备向第二联网数据存储设备传送数据，以便获取用于指示第一联网数据存储设备与第二联网数据存储设备之间的带宽吞吐量的量度。在进一步的实施例中，通过传送数据来获取用于指示带宽吞吐量的量度的处理可被周期性执行，以便在不同时间获取用于指示第一联网数据存储设备与第二联网数据存储设备之间的带宽吞吐量的量度。在一些情况中，该量度可以在预定时间间隔中获取。在其他情况中，作为示例，该量度可以在每次通过网络传送了预定数据量(例如每20个数据组块)之后获取。在一些实施例中，动态确定是否压缩数据可以包括：将带宽量度与一个限定了何时应该使用压缩处理的预定策略相比较。该策略限定了当所估计的用于压缩数据和传送压缩数据的时间小于所估计的用于传送未压缩的数据的时间的时候应该使用压缩处理。该策略可以基于与以下各项关联但不局限于以下各项的信息：数据量，数据类型，压缩数据所耗费的时间，压缩后预期的数据尺寸缩减，传送未压缩数据所耗费的时间，传送经压缩数据所耗费的时间，可用处理能力，以及可用压缩算法。该策略还可以限定不同压缩侵蚀(aggressiveness)等级，以便确定所使用的压缩侵蚀量。在某些实施例中可以使用交错压缩处理，其中该策略限定的是为该数据的第一部分而不是该数据的第二部分使用压缩处理，由此交错执行用于压缩针对第二联网数据存储设备的数据传输的处理。关于交错压缩处理的一个示例是只对数据集合中的每隔一个的数据块或是每隔两个的数据块进行压缩。无论压缩处理依照所测量的吞吐量是否合乎预期，如果数据压缩实际是可忽略的，那么可以保持数据不被压缩。

在另一个实施例中，本公开涉及一种信息处理系统。该系统包括：第一数据存储站点，其被配置成在计算机网络上向第二数据存储站点传送数据，以便在第二数据存储站点上复制该数据，所述第一数据存储站点还被配置成至少部分基于在第一与第二联网数据存储设备之间测得的带宽吞吐量来动态确定是否在通过网络传送数据之前压缩数据。如果确定压缩数据，则第一数据存储站点被配置成压缩该数据以及在网络上传送压缩数据。如果确定不压缩数据，则第一数据存储站点被配置成在网络上传送未压缩的数据。在一些实施例中，第一数据存储站点和第二数据存储站点相互远离。第一数据存储站点还可被配置成周期性地测量第一与第二联网数据存储设备之间的带宽吞吐量，以便在多个时间获取关于第一与第二联网数据存储设备之间的带宽吞吐量的量度。第一数据存储站点可以存储用于确定是否压缩数据的一个或多个预定策略。所述第一数据存储站点可以将用于指示带宽吞吐量的周期性量度与所述一个或多个预定策略相比较，以便确定何时应该使用压缩处理。在一个实施例中，所述一个或多个策略限定了当所估计的用于压缩数据和传送压缩数据的时间小于所估计的用于传送未经压缩的数据的时间的时候,应该使用压缩处理。在某些实施例中，第一数据存储站点可以使用交错压缩处理，由此为该数据的第一部分而不是该数据的第二部分使用压缩处理，从而交错执行用于压缩针对第二数据存储站点的数据传输的处理。

在另一个实施例中，本公开涉及一种用于在数据存储子系统中的两个或更多联网数据存储设备之间复制数据的方法。该方法包括：在通过网络将数据从第一联网数据存储设备传送到第二联网数据存储设备之前，动态确定是否压缩数据。动态确定是否压缩任何特定数据可以包括：在将第一数据从第一联网数据存储设备传送到第二联网数据存储设备期间，预先准备第二数据，并且开始压缩第二数据，如果第二数据压缩处理至少是在结束从第一联网数据存储设备传送到第二联网数据存储设备的第一数据传输之前完成的，则将经过压缩的第二数据从第一联网数据存储设备传送到第二联网数据存储设备，否则将未压缩的第二数据从第一联网数据存储设备传送到第二联网数据存储设备。然而，如果第二数据压缩实际是可忽略的，那么可以在未经压缩的情况下通过网络来传送第二数据。

虽然公开了多个实施例，但是对本领域技术人员来说，从显示并描述本发明的说明性实施例的以下详细描述中可以清楚了解本公开的其他实施例。应该认识到的是，本公开的不同实施例能在多个明显的方面进行修改，所有这些修改均未脱离本公开的实质和范围。相应地，附图和详细描述本质上应被视为是说明性而不是限制性的。

附图说明

虽然本说明书是以具体指出且明确地要求保护被认为是构成本公开的不同实施例的主题的权利要求书为概括的，但是相信从以下结合附图的详细描述中将可以更好地理解本发明，其中：

图1是与本公开的实施例相适合的磁盘驱动器系统的示意图。

图2是根据本公开的一个实施例的通过使用动态或按需压缩处理而在数据存储子系统或信息处理系统中的两个或更多联网数据存储站点或设备之间复制数据的系统的概念性框图。

图3是根据本公开的一个实施例的通过使用动态或按需压缩处理而在数据存储子系统或信息处理系统中的两个或更多联网数据存储站点或设备之间复制数据的方法的流程图。

图4是用于动态地确定是否在指定时段压缩数据或者是否在传输之前压缩指定数据集合、以便将其复制到目标站点或设备的方法的流程图。

具体实施方式

本公开涉及的是用于在数据存储环境中复制数据的新颖且有利的系统和方法。特别地，本公开涉及的是通过使用动态或按需压缩处理而在数据存储子系统或信息处理系统中的两个或更多联网数据存储站点或设备之间有效复制数据的系统和方法，对于存在着网络链路或连接较慢的时段的系统来说，此类系统和方法是非常有益的。

出于公开目的，信息处理系统可以包括可通过操作来计算、运算、确定、分类、处理、发射、接收、创造、切换、存储、显示、传递、表示、检测、记录、再现、应对或使用于商业、科学、控制或其他目的的任何形式的信息、智能或数据的任何工具或工具集合。例如，信息处理系统可以是个人计算机(例如台式机或膝上型计算机)、平板计算机、移动设备(例如个人数字助理(PDA)或智能电话)、服务器(例如刀片服务器或机架式服务器)、网络存储设备或其他任何适当的设备，并且其大小、形状、性能、功能和价格都是可以改变的。该信息处理系统可以包括随机存取存储器(RAM)、诸如中央处理器(CPU)或是硬件或软件控制逻辑之类的一个或多个处理资源、ROM、和/或其他类型的非易失存储器。该信息处理系统的附加组件可以包括一个或多个磁盘驱动器，用于与外部设备以及各种输入和输出(I/O)设备进行通信的一个或多个网络端口，作为示例，所述输入和输出设备可以是键盘、鼠标、触摸屏和/或视频显示器。该信息处理系统还可以包括可通过操作来传递不同硬件组件之间的通信的一条或多条总线。

虽然不同的实施例并不局限于任何特定类型的信息处理系统，但是本公开的系统和方法尤其有益于磁盘驱动系统或虚拟磁盘驱动系统，并且在2009年11月03日提交的名为“Virtual Disk Drive System and Method”的美国专利7,613,945中描述了此类系统的示例，其中该专利在这里被全部引入以作为参考。此类磁盘驱动系统基于如RAID-磁盘映射来将用户数据动态分配到存储页面池或磁盘存储块矩阵以及多个磁盘驱动器中，由此允许有效存储数据。通常，动态分配处理会向用户服务器呈现虚拟磁盘设备或是卷。对服务器来说，卷与磁盘驱动器之类的常规存储器的作用相同，但其提供了如RAID设备之类的多个存储设备的存储抽象，由此创建一个可动态调整大小的存储设备。在此类系统中可以通过使用数据分级(data progression)来将数据逐步移动到用于该数据的整体成本恰当的存储空间，作为示例而不是限制，此类移动取决于所述数据的数据类型或存取模式。通常，数据分级可以判定磁盘驱动系统的存储成本，例如通过考虑物理存储设备的货币成本、物理存储设备效率和/或逻辑存储设备的RAID等级来确定。基于这些判定，数据分级可以相应地移动数据，由此将数据保存在成本最为恰当的可用存储器上。此外，作为示例，此类磁盘驱动系统可以在预定时间间隔、诸如每隔几分钟或几小时等等的用户配置的动态时间戳或是服务器指示的时间自动生成并存储系统或磁盘存储块矩阵的快照或时间点拷贝，由此保护数据免受系统故障或病毒攻击的影响。这些带有时间戳的快照允许从发生系统故障前的先前时间点恢复数据，由此还原到当时存在的系统。在主存储器保持运行的同时，这些快照或时间点拷贝还可被系统或系统用户用于其他目的，例如用于测试，但是并不局限于此。通常，通过使用快照能力，用户可以查看存储系统在先前时间点的状态。

图1示出了适合本公开的不同实施例的如美国专利7,613,945所公开的信息处理系统环境102中的磁盘驱动器或数据存储系统100的一个实施例。如图1所示，磁盘驱动系统100可以包括数据存储子系统104以及具有至少一个磁盘存储系统控制器的磁盘管理器106，其中本领域技术人员可以了解，该数据存储子系统104可以包括但不局限于RAID子系统。作为示例，数据存储子系统104和磁盘管理器106可以基于RAID-磁盘映射或其他存储映射技术而在多个磁盘驱动器或其他适当的存储设备108的磁盘空间上动态分配数据，所述存储设备可以是光学驱动器，固态驱动器，磁带驱动器等等，但其并不局限于此。数据存储子系统104可以包括分布在位于一个或多个物理位置且通过网络连接的一个或多个数据站点上的数据存储设备。任一数据站点都可以包括原始和/或复制数据(例如从任一其他数据站点复制的数据)，并且在数据站点之间可以根据需要来交换数据。

本领域技术人员将会了解，本公开的不同实施例可作为方法(其示例包括计算机执行的进程，业务流程和/或其他任何过程)、装置(其示例包括系统，机器，设备，计算机程序产品等等)或是前述各项的组合来实施。相应地，本公开的实施例可以采用纯硬件实施例、纯软件实施例(包括固件、驻留软件、微代码等等)或软硬件方面组合的实施例的形式。此外，本公开的实施例可以采用位于计算机可读介质或计算机可读存储介质上且具有包含在该介质中并定义了这里描述的处理或方法的计算机可执行程序代码的计算机程序产品的形式。一个或多个处理器可以执行计算机可执行程序代码所限定的必要的任务。计算机可执行程序代码的代码段可以表示过程、函数、子程序、程序、例程、子例程、模块、对象、软件包、类、或是指令、数据集合或程序语句的任何组合。一个代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而与另一个代码段或硬件电路相耦合。信息、自变量、参数、数据等等可以借助包括存储器共享，消息传递，令牌传递，网络传输等等任何适当的手段来传递、转发或传输。

在本文的环境中，计算机可读介质可以是能够包含、存储、传递或传输可供这里公开的系统使用或是与该系统有关的程序。计算机可执行程序代码可以用任何恰当的介质来传送，这其中包括但不局限于因特网，有线线路，光缆，射频(RF)信号或其他介质。作为示例而不是限制，计算机可读介质可以是电子、磁性、光学、电磁、红外或半导体系统、装置或设备。适当的计算机可读介质的更多具体示例包括但不局限于：具有一条或多条线路的电连接或是有形的存储介质，例如便携式计算机磁盘，硬盘，随机存取存储器(RAM)，只读存储器(ROM)，可擦写可编程只读存储器(EPROM或闪存)，紧凑型碟片只读存储器(CD-ROM)，或是其他的光学或磁存储设备。计算机可读媒体包括旨在覆盖计算机可读媒体的所有物理、非暂时性或类似实施例的计算机可读存储介质，但是并不与之相混淆。

用于执行本公开的实施例的操作的计算机可执行程序代码可以是用面向对象、脚本或非脚本的编程语言编写的，例如Java、Perl、Smalltalk、C++等等。然而，用于执行本公开的实施例的操作的计算机程序代码也可以用常规的程序化编程语言来编写，例如C编程语言或类似的编程语言。

在这里参考了关于方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的不同实施例。应该理解的是，流程图和/或框图中的每个方框和/或流程图和/或框图中的方框组合都可以用计算机可执行程序代码部分来实施。这些计算机可执行程序代码部分可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以便产生借助计算机或其他可编程数据处理装置运行并且创建用于实施在流程图和/或框图中的一个或多个方框中指定的功能/操作的机制的特定机器，例如代码部分。作为替换，计算机程序执行的步骤或操作可以与操作者或人工执行的步骤或操作相结合，以便执行本发明的实施例。

此外，虽然流程图是将方法图示成了顺序的过程，但是这里示出的流程图中的众多操作是可以并行或同时执行的。另外，对于一些实施例来说，流程图中示出的方法步骤的顺序是可以重新布置的。同样，流程图中示出的方法既可以具有其中并未包含的附加步骤，也可以具有与所显示的步骤相比相对较少的步骤。方法步骤可以与方法、功能、过程、子例程、子程序等等相对应。

这里使用的术语“实质上”或“通常”指的是操作、特性、属性、状态、结构、项目或结果的完全或接近于完全的程度或等级。例如，一个“实际上”或“通常”被封闭的物体指的是该物体是完全封闭或接近于完全封闭的。在一些情况中，与绝对完全性相背离的确切许可偏离度是取决于具体的上下文的。然而，一般来说，与完全性的近似性通常具有如同实现了绝对和整体完全性一样的相同的总体结果。在将“实质上”或“通常”用在否定涵义中以指示完全或接近于完全没有某个操作、特性、属性、状态、结构、项目或结果时，上述用法同样是适用的。例如，对于“实际上没有”或“通常没有”某个成分或要素的部件、组合、实施例或合成物来说，只要通常没有关于所述项目的可测量的效果，那么所述部件、组合、实施例或合成物实际仍旧可以包含此类项目。

如上所述，个人和公司寻求用于保护信息或是确保信息安全的方式，以便提升诸如可靠性、容错性或是信息的可存取性。在信息处理系统中，一种这样的信息保护方法包括通过复制或共享信息来确保诸如数据存储设备之类的冗余资源之间的一致性，作为示例，所述数据存储设备可以包括但不局限于磁盘驱动器、固态驱动器、磁带驱动器等等。实际上，灾难恢复策略往往会要求执行数据复制、尤其是远程数据复制，以便阻止在一个位置发生的故障或灾难所造成的损坏，和/或在发生此类事件的情况下提升数据恢复能力。然而如上所述，很多远程站点(或远程办公室)都存在低带宽的问题，由此阻碍了其完成业务关键辅助操作的能力。作为示例而不是限制，低带宽可以归因于低速WAN、日间的高流量或带宽使用时段，出于任何原因而对带宽进行限制的站点策略，其中限制带宽的原因可以是使用统计或其他任何数量的原因，但是并不局限于此。如果众多的数据存储站点散布于不同的远端位置，并且每个数据存储站点都尝试复制数据，那么将会进一步加重带宽问题。

一种用于减小复制处理可能导致的带宽负担的传统方法包括：采用一个在通过网络传送数据之前始终对数据进行压缩的策略，以便尝试从整体上减少所传颂的数据量。然而，然而，此类恒定压缩的策略是存在缺陷的。特别地，压缩数据(以及在接收端解压缩)的处理会耗费CPU时间，其需要一定等级的硬件成本(例如存储器成本)，并且会产生与复制数据的可用性相关的延迟问题。此外，在一些情况中，压缩数据不会占用较少空间，其在节约空间方面的差异是极小或可忽略的。相应地，压缩此类数据会对时间和资源造成极大的浪费。

本公开改善了用于在数据存储系统或其他信息处理系统中复制数据的处理，其中所述系统的类型可以是美国专利7,613,945中描述的数据存储系统，但是并不局限于此。所公开的改进可以提供更有效的数据复制处理，在网络链路或连接相对较慢的系统或是应该让众多的其他通信优先使用带宽的系统中尤其如此。

概括地说，在本公开的一个实施例中，动态或按需的压缩处理可以在带宽状况有保证的时间以动态或按需的方式压缩用于在站点或设备之间传送的数据，由此允许数据存储系统或其他信息处理系统在复制处理过程中适应不断变化的带宽状况。通常，基于带宽量度、数据量度、内部或系统策略、和/或其他适当的数据或系统分析，数据存储系统或其他信息处理系统可以为指定数量的数据或指定数量的数据块等等确定是否在传送用于在别的站点或设备上复制之前对落入指定时段的数据进行压缩。相应地，举例来说，在带宽很高且随时可用的时候，和/或在所要传送的数据从压缩处理中获益很少的情况下，数据存储系统或其他信息处理系统可以在不执行压缩处理的情况下传送数据，由此消除了与所述数据的压缩相关联的附加时间、硬件和延迟成本。举例来说，如果带宽足够高，那么与经历耗时的压缩处理相比，径直发送未经压缩或未变更的数据实际将会更快。另一方面，举例来说，当带宽很低时，所述带宽将会为更重要的活动所需要，和/或如果所要传送的数据会从压缩处理中获得极大收益，那么数据存储系统或其他信息处理系统可以在传输之前压缩数据，由此以相对于带宽可用性的更有效的方式来传送数据。举例来说，如果带宽足够低，那么与径直发送未经压缩或未变更的数据相比，对数据进行压缩并且通过网络来发送减少的数据量将会更快。

如果在通过网络传送数据之前以这种方式来压缩数据，那么将可以实现若干个益处。这些益处包括但不局限于：

有更大的机会来完成原本因为带宽很低而无法在所需要的时间段中完成的复制处理；

复制处理将会使用较少的可用带宽，由此留出可用于其他用途、尤其是用于其他更重要的用途；以及

即便存在与低带宽相关的延迟问题，同步复制处理也会变得越发可能。

如图2中更具体示出的那样，在一个实施例中，使用了动态或按需压缩的数据复制系统200可以包括所传送的数据的来源，以及所述数据所要送抵或是预定接收所述数据的目的地。所述来源可以包括源复制管理器202，源策略管理器204以及源压缩管理器206。虽然被图示成了独立的系统部件，但应该认识到的是，将图2中的源复制管理器202、源策略管理器204以及源压缩管理器206相分离仅仅是出于例证和论述目的。虽然源复制管理器、源策略管理器以及源压缩管理器可以是在相同或不同计算机硬件上运行的独立的系统、进程、算法、代码段等等，但应该认识到的是，源复制管理器、源策略管理器以及源压缩管理器中的任何一个都可以是能在相同或不同计算机硬件上运行的相同系统、进程、算法、代码段等等的一部分。对于源复制管理器202、源策略管理器204以及源压缩管理器206之间的系统操作和交互、并且由此对于根据本公开的一个实施例的使用了动态或按需压缩的数据复制方法300对照图3的流程图来描述的。正如已经描述过的那样，虽然图3的例示方法以及在这里描述和图示的其他任何方法是对照一定的步骤来描述的，但应该认识到的是，并不是每一个实施例都会包含所示出的每一个步骤，一些实施例还可以包含附加的步骤，并且在其他实施例中，这些步骤是可以按照不同的顺序执行的，每一个这样的实施例都被认为处于本公开的范围以内。

依照如图3所示的使用了动态或按需压缩的数据复制方法300的步骤302，作为示例，对于任何指定的数据集合，所述源可以发起一个复制处理，以便保护或确保信息安全以及提升可靠性、容错性或是冗余资源上的信息可存取性。在一个实施例中，源复制管理器202可以在复制处理过程中或者如下文中更详细描述的那样周期性地在复制处理过程中通过将源与目的地相连的网络来向目的地发送数据304发送数据组块的样本数量，并且获取测量传输吞吐量306，或者获取或接收向目的地为所述样本数量的数据组块提供的吞吐量的一个或多个量度。样本大小可以是具有任何适当大小的数据或数据组块数量或数据组块，例如是任何适当大小的单个数据组块，或者是具有任何适当大小的任意数量的连续或不连续数据组块。此外，任一采样与其他任何采样的大小都可以是不同的，或者每一个采样都可以被配置成相同的大小。指定的量度通常可以指示源与目的地之间在测量时的带宽可用性。依照步骤308，所述一个或多个量度可被提供给源策略管理器204。

在步骤310，源策略管理器204可以概括性地确定是否压缩数据。在图4中示出了根据本公开的一个实施例并由源策略管理器204执行的用于确定是否压缩数据的方法310。一般来说，源策略管理器204可以保存和/或保持一个或多个用于确定在指定时段传送的指定数据集合或数据是否需要压缩的策略、方针或规则(为了方便起见，在这里将其统称为“策略”)。在一个实施例中，源策略管理器204可以在步骤402中将接收自源复制管理器202的一个或多个吞吐量量度与这些策略相比较，并且可以确定在步骤404中压缩这些数据是否合乎需要。

在一些实施例中，一个策略可以包括一个或多个阈值，并且通过使用这些阈值，可以确定与径直发送未经压缩或未变更的数据相比，在传送数据之前对数据进行压缩是否有可能会更快。此类策略可以基于涉及但不局限于以下各项的任何单项信息或信息组合：数据自身，压缩数据所耗费的时间(例如但不局限于所要耗费的CPU周期)，所估计的压缩后的数据尺寸缩减，传送未压缩和/或未变更数据所耗费的时间，传送压缩数据所耗费的时间，可用的CPU能力，和/或可用的压缩算法/方案等等。作为示例，在一个实施例中，其中一个策略可以以压缩并通过网络发送数据所耗费的时间与径直发送未压缩或未变更数据所耗费的时间的比较为基础。作为示例，对压缩数据所耗费的时间所做的估计会依照可用于执行压缩处理的CPU硬件以及所使用的压缩算法等等而改变。在一些实施例中，虽然未必是必需的，但是这类用以确定指定数据集合的压缩时间的估计值的信息可以基于一个假设所述指定数据集合是情况最糟的数据集合的压缩场景，由此，所获取的估计值通常是指定数据集合可能出现的最糟糕的情况(也就是用于压缩的时间长度最长)，这在一些情况中将有助于源策略管理器204更加有根据地判定是否执行压缩处理。然而，所述判定并不是必须以最糟糕的场景为基础的，取而代之的是，其可以基于情况最佳的场景或是最差与最佳情况之间的任何平均情况。

如步骤406所示，如果确定压缩处理合乎需要，则所述一个或多个阈值还可以限定用于所述压缩处理的一个或多个侵蚀层级或等级，通过使用这些侵蚀层级或等级，可以确定与压缩指定时段中的数据或指定数据集合中的数据的处理最为适合或适宜的特定侵蚀量。举例来说，如果满足第一特定阈值，那么可以使用轻度压缩，然而如果满足第二特定阈值，那么将可以使用更具有侵蚀性的压缩。层级阈值可以基于任何适当的信息，例如上文中描述的可供策略概括性地确定是否应该完成压缩处理的信息，但其并不局限于此。在其他实施例中，用于概括性地确定是否应该完成压缩处理的策略以及用于确定侵蚀等级的策略可以是同一个策略，尽管这些策略在图4中是单独图示的，但在一些实施例中，这些策略实际是可以一起执行的。作为示例，通过具有这种压缩侵蚀层级或等级，可以在网络中的流量以较慢速率移动的时段中提供更严格或更具有侵蚀性的压缩处理，以及在网络中的流量以较快速度移动的时段中提供更快或侵蚀性较低的压缩处理。任何数量的阈值和不同的压缩等级都是可以定义和/或使用的，并且以上提供的关于“轻度”和“侵蚀性”压缩处理的示例并未对其构成限制。

在另一个实施例中，所使用的可以是交错压缩形式，其中该实施例在使用中并不局限于与用于发送未变更数据或者压缩并发送压缩数据的一个或多个量度非常接近或是实际相等的情形或是所述量度以较快的速度来回反弹的情形，相反，其在这些情形中是非常有用的。在交错压缩的实施例中，通过使用该压缩算法，可以对数据集合中的一些数据组块进行压缩，但是不会对该数据集合中的其他数据组块进行压缩。举例来说，该压缩算法可以对数据集合中的每一个的数据组块、数据集合中的每三个的数据组块、或是采用了其他某种类似的跳跃模式的数据组块进行压缩，而不对该数据集合中的其他数据组块进行压缩。此外还应该认识到，对于那些数据组块被压缩以及那些数据组块不被压缩所做的选择并非必须基于一种模式；相反，在交错压缩算法中，对于所要压缩的数据组块所做的选择可以基于任何基本原理，这其中包括随机方式。交错压缩允许在传送其他未压缩数据组块的同时结束某些数据组块的压缩的时间，由此允许提供另一层面的更有效率复制。

在另一个特别有益于与交错压缩算法相结合的附加或替换实施例中，其中可以使用压缩试验，以预先准备下一个数据组块或数据集合(为了方便起见，在这里将其称为“预测数据组块”)，并且会径直开始对其进行压缩。如果预测数据组块的压缩是在结束当前数据组块或数据集合的传输之前完成的，那么可以在此之后立即发送压缩版本的预测数据组块。如果预测数据组块的压缩处理没有在结束当前数据组块或数据集合传输的时间之前完成，那么可以发送非压缩版本的预测数据组块。该处理可对每一个预测数据组块或数据集合重复执行，其可能的结果包括：

在发送所有数据组块之前都会对其进行压缩。如果预测数据组块的压缩处理始终是在结束传送当前数据组块或数据集合的时间之前完成的，那么将会发生这种情况；

所有数据组块都不会被压缩。如果预测数据组块的压缩处理从未在结束传送当前数据组块或数据集合的时间之前完成，那么将会发生这种情况；

一些数据组块将被压缩，而其他数据组块则不会被压缩，如果一些预测数据组块的压缩处理是在结束传送当前数据组块或数据集合的时间之前完成的，并且由此发送了压缩版本的预测数据组块，而其他预测数据组块的压缩处理并未在结束传送当前数据组块或数据集合的时间之前完成，并且由此发送的是初始的未压缩版本的所述预测数据组块，那么将会发生这种情况。

如果没有任何满足用于确定压缩处理合乎需要的一个或多个阈值，那么则在步骤404中可以被视为源与目的地之间的吞吐量至少在该时段或者对于特定数据集合而言是满足需要的，并且在该时段中或者对于该数据集合而言，压缩步骤是可以避免或跳过的。

在步骤408，一旦源策略管理器204确定压缩是否适当或合乎需要，以及在一些情况中确定了适当或理想的压缩侵蚀量，那么它可以将其判定传送到源复制管理器202，并且依照源策略管理器204的判定，源复制管理器可以执行或者所述源复制管理器会被致使执行恰当的步骤。如果确定压缩处理在该时间和/或对于该数据或数据集合而言并不合乎需要，那么在步骤312，源复制管理器202可以径直向目的地传送未压缩和/或未变更的数据。如果确定应该执行压缩处理或者压缩处理在该时间和/会对于该数据或数据集合而言是合乎需要的，那么在步骤314，源复制管理器202可以将指定的数据或数据集合传递到源压缩管理器206，以便在将数据传送至目的地之前对其进行压缩。

在从源复制管理器202接收到数据以及在必要或需要的情况下接收到相应的指令之后，源压缩管理器206可以尝试压缩指定的数据，并且如上所述，在一些情况中，该压缩是以所确定的压缩量和侵蚀量执行的。本领域技术人员将会了解，在源压缩管理器206上，所确定的压缩等级或侵蚀度可以转换成特定的压缩算法/方案或算法/方案组合，或者转换成算法/方案或是算法/方案组合内部的特定侵蚀等级。在压缩了数据之后，压缩管理器206可以将压缩数据封入描述了如何解压缩数据的报头中。举例来说，该报头可以包括但不局限于包含了所使用的算法或是关于所使用的算法的信息，用于描述初始数据的元数据，用于验证解压缩的校验和，或是有益于在目的地重新构造和/或核对数据的其他任何适当的信息。

在步骤316，在恰当完成了压缩处理之后，源压缩管理器206可以将经过压缩的数据组块传递到源复制管理器202，以便在步骤318中将其传递到目的地。在一些情况中，举例来说，如果数据已经处于其最小或压缩程度最高的形式，并且压缩处理不会显著减小数据的大小，那么源压缩管理器206可以确定该数据是不可压缩的。如果在步骤316中基于任何适当的理由确定将数据视为是不可压缩的，那么源压缩管理器206可以通知源复制管理器202在步骤312中传送将未压缩和/或在其他方面没有变更的初始数据。当然，正如上文中描述的那样，可以毫无疑问地认识到的是，源复制管理器、源策略管理器和源压缩管理器中的任何一个都可以是在相同或不同计算机硬件上运行的同一系统、进程、算法、代码段等等的一部分。相应地，在源复制管理器、源策略管理器和源压缩管理器之间进行的任何传递数据或信息的处理都仅仅是象征性的，其中源复制管理器、源策略管理器和源压缩管理器中的一个或多个是同一系统、进程、算法、代码段等等的一部分。应该认识到的是，即使源复制管理器、源策略管理器和源压缩管理器不都是同一系统、进程、算法、代码段等等的一部分，和/或是在不同的计算机硬件上运行的，以上详述的在源复制管理器、源策略管理器和源压缩管理器之一上执行的一些或所有操作也可补充地或替换地由其他任一源管理器来执行。

如果从源压缩管理器206接收到经过压缩的数据，那么如上所述，源复制管理器202可以在步骤318中将压缩数据发送到目的地。该目的地可以包括目的地复制管理器208和目的地压缩管理器210。同样，虽然被图示成了单独的系统部件，但应该认识到的是，图2中目的地复制管理器208与目的地压缩管理器210的分离仅仅用于例证和论述目的。尽管目的地复制管理器和目的地压缩管理器必然可以是在相同或不同计算机硬件上运行的独立的系统、进程、算法、代码段等等，但应该认识到的是，目的地复制管理器和目的地压缩管理器也可以是在相同或不同计算机硬件上运行的同一系统、进程、算法、代码段等等的一部分。

目的地复制管理器208可以接收并存储从源复制管理器202传送的数据。如果接收到的数据是经过压缩的，那么目的地复制管理器208甚至可以临时存储压缩形式的数据，或者它通常会立即解压缩该数据，以使所述数据立即可供存取。就此而论，在目的地复制管理其208上接收的压缩数据可被传递到目的地压缩管理器210。目的地压缩管理器210则可以解压缩该数据。该目的地压缩管理器210可以使用报头数据来确定如何解压缩数据。如上所述，作为示例，该报头数据可以包括但不局限于包含了所使用的算法和与所使用的算法相关的信息，用于描述初始数据的元数据，用于验证解压缩的校验和，或是有益于重新构造和/或核对数据的其他任何适当的信息。

在一些实施例中，如果没有像通常情况下那样立即解压缩目的地复制管理器208接收的压缩数据，而是将其以压缩形式保存，那么目的地复制管理器208和/或目的地压缩管理器210抑或是数据存储系统或其他信息处理系统的其他任何适当的部分可以在出现了要求存取该数据的请求(例如读取或写入请求)的时候解压缩数据。一旦出现这种请求，则可以在存取该数据的时段中临时解压缩该数据，然后可以重新压缩所述数据，或者所述数据也可以在即使经过了存取该数据的时段之后保持解压缩状态。

在其他实施例中，如果将压缩数据复制到别的系统或设备，那么该压缩数据可以保持压缩状态，直至结束了针对所述其他系统或设备的复制处理。此类其他系统或设备可以与如上所述的目的地相类似，并且可以包括相同或相似的管理器和/或执行如上所述的相同或相似的操作。

如上所述，可以毫无疑问地认识到的是，目的地复制管理器和目的地压缩管理器可以是在相同或不同计算机硬件上运行的同一系统、进程、算法、代码段等等的一部分。相应地，在目的地复制管理器和目的地压缩管理器之间进行的任何传递数据或信息的处理都仅仅是象征性的，其中目的地复制管理器和目的地压缩管理器是同一系统、进程、算法、代码段等等的一部分。应该认识到的是，即使目的地复制管理器和目的地压缩管理器不都是同一系统、进程、算法、代码段等等的一部分，和/或是在不同的计算机硬件上运行的，以上详述的在目的地复制管理器和目的地压缩管理器之一上执行的一些或所有操作也可补充地或替换地由其他任一源管理器来执行。

如上所述，在复制处理过程中，源复制管理器202可以周期性地获取或者接收一个或多个可用的吞吐量,该吞吐量提供到为传递至该目的地的数据组块的样本数量的目的地，并且可以将该信息传递到源策略管理器204，以便确定压缩处理是否合乎需要。可以认识到的是，对于任何指定的时段或者对于任何指定的数据组块或数据集合来说，源策略管理器204可以适配不断变化的环境，并且改变其关于是否应该为该时段或者为该数据组块或数据集合完成压缩处理的判定。就此而论，源策略管理器204和源压缩管理器206可以采用动态或按需的方式来改变其行为，以便更有效地传送用于复制的数据。

在量度之间的时段中供源复制管理器202获取量度的时间可以基于任何基本原理或触发器，这其中包括但不局限于：预定计划，在每隔一定数量的数据组块或数据块之后，由管理员手动触发，由数据存储子系统或控制器或位于其中一个数据站点的其他处理设备且出于任何原因触发，基于触发事件而被自动触发，或者随机确定。触发事件可以是任何类型的事件，这其中包括但不局限于：特定的日期和/或事件，特定的数据类型和/或大小，增多或减少的网络活动，在特定等级的网络带宽可用的时候，从峰值时间变换到非峰值时间或反之亦然基于与峰值时间相关的历史数据或标准化数据，或是这些事件的任何组合等等。在一些实施例中，本公开的任一数据复制方法通常都可以持续或半持续地运行，例如作为数据存储子系统的后台进程运行。在一些实施例中，这里使用的术语持续和半持续既可以依照这些术语在本领域中的典型理解方式定义，也可以依照众所周知的字典定义。举例来说，术语持续可以被定义成在空间、时间或顺序方面都没有中断的延续方式，并且术语半持续可被定义成是在空间、时间和顺序方面基本没有中断的延续方式。在其他实施例中，术语持续可以是指本公开中被配置成在诸如连续两个小时以上的延长时段中以同时、顺序或所有这两种方式来运行一个或多个数据复制进程且通常能在几乎整个时段中不中断地消耗资源的实施例。同样，在其他实施例中，术语半持续可以是指本公开中被配置成至少周期性地在诸如连续两个小时以上的延长时段中运行一个或多个数据复制进程并且通常能在至少半小时以上的时间中消耗资源的实施例。此外，本公开中的各种用于复制数据的实施例中的任一实施例都可以被配置成依照需要而在时间相对缩短的系统活动过程中以侵蚀度更高或更低的方式来运行压缩处理，由此避免对正常或常规的系统性能造成显著的影响或干扰，并且避免使用原本可以用于其他系统活动的大量网络带宽。更进一步，虽然本公开中各种用于数据复制的实施例中的任一实施例通常都是持续或半持续运行的，但应该认识到的是，数据复制进程不必在其持续或半持续运行的整个过程中以一致的水平运行，实际上，这些进程可以出于任何预期或适当的原因而在不同的时间周期性地停止和重启，例如由管理员请求或者基于系统需求，但是并不局限于此。在其他实施例中，用于复制数据的不同实施例中的任一实施例可以基于预定的周期性调度来运行，例如每天或每周的指定时间运行，但是并不局限于此。

本公开的不同实施例涉及通过使用动态或按需压缩而在数据存储子系统或信息处理系统中的两个或更多联网存储站点或设备之间复制数据的系统和方法，与不对数据进行压缩或者依赖于要求对在网络或其他连接上传送以进行复制的所有数据进行压缩的策略的常规数据复制系统和方法相比，这些实施例提供了非常显著的优点。例如，本公开的不同实施例可以从压缩处理中受益，同时消除了与要求对所传送的所有数据进行压缩的策略相关联的众多缺陷，例如是过度耗费CPU时间，存在与复制数据的即时可用性相关的一些延迟问题，以及在空间节约程度极低、可忽略或者没有节约空间的情况下执行压缩处理。

出于例证和描述目的，在以上的描述给出了本公开的不同实施例。这些实施例既不是穷举性的，也没有将本发明局限于所公开的精确形式。依照上述教导，显而易见的修改或变更将是可行的。所选择和描述的不同实施例旨在提供关于本公开的原理及其实际应用的最佳例证，并使本领域普通技术人员能够使用进行过与所设想的特定用途相适合的不同修改的不同实施例。所有这些修改和变更全都处于本公开的范围以内，并且本公开的范围是由依照以公平、合法和公正的方式授予的广度解释的附加权利要求确定的。

Claims (2)

1.一种用于在数据存储子系统中的两个或更多联网数据存储设备之间复制数据的方法，该方法包括：动态地确定是否通过网络将压缩数据从第一联网数据存储设备传送到第二联网数据存储设备，其中动态确定是否传送压缩数据包括：

在将第一数据从所述第一联网数据存储设备传送到所述第二联网数据存储设备期间，开始压缩第二数据；以及

随后，如果第二数据的所述压缩是在结束从所述第一联网数据存储设备传送到所述第二联网数据存储设备的第一数据传输之前完成的，则将经过压缩的第二数据从所述第一联网数据存储设备传送到所述第二联网数据存储设备，否则将未压缩的第二数据从所述第一联网数据存储设备传送到所述第二联网数据存储设备。

2.如权利要求1所述的方法，还包括：如果第二数据尺寸的压缩总量实际是可忽略的，则确定不在通过网络将数据从所述第一联网数据存储设备传送到所述第二联网数据存储设备之前对数据进行压缩。