CN103713853A - 用于数据管理的方法和系统 - Google Patents

Abstract

为了在计算存储环境中由处理器设备管理数据，基于独立盘冗余阵列（RAID）的类型、逻辑连续的存储空间中的时间点拷贝源数据段的数目和存储类别中的至少一个，建立针对计算存储环境中任何特定的逻辑连续的存储空间所消耗的非易失性存储（NVS）空间的量的阈值。

Description

用于数据管理的方法和系统

技术领域

本发明一般地涉及计算系统，更具体地涉及用于提高计算存储环境中的数据管理效率的系统和方法。

背景技术

在当今社会中，计算机系统是普遍的。计算机系统可以出现在工作场所、家庭或学校中。计算机系统可以包括数据存储系统，或盘存储系统，以便处理和存储数据。当代计算机存储系统已知可以将存储轨道（track）从缓存（cache）中离台(destage)并接着降级到长期存储设备中，以使得在缓存中有足够的空间用于写数据。

发明内容

以缓存的控制单元为特点的计算存储环境可以对允许各存储层（rank）在任何特定时间消耗的非易失性存储（NVS）的量设置阈值或设置限制。这防止单个层故障例如消耗所有的NVS空间，并且考虑到了在所有的NVS空间被故障层消耗之前的多个层故障。

在过去几年中，尽管在诸如动态随机存取存储器（DRAM）的NVS存储中使用的存储器的大小已经呈指数增长，但长期存储设备（例如存储驱动器）的速度却没有齐步并进。这样，如果特定的层被允许了例如NVS的某个百分比阈值分配，有可能不能在静默/恢复（quiesce/resume）存储操作期间将所有这些数据离台到长期存储设备。存在对考虑这些差异和其他特征以改善总体性能的数据管理机制的需求。

因此，根据前文所述，提供了用于计算存储环境中的数据管理的各种实施例。在一个实施例中，仅通过示例方式，提供了一种用于在计算存储环境中由处理器设备管理数据的方法。基于独立盘冗余阵列（RAID）的类型、逻辑连续的存储空间中的时间点拷贝（point-in-timecopy）源数据段的数目和存储类别中的至少一个，建立针对计算存储环境中任何特定的逻辑连续的存储空间所消耗的非易失性存储（NVS）空间的量的阈值。

提供了其他系统和计算机程序产品实施例，并给出了相关的优点。

附图说明

为了使本发明的优点容易被理解，上面简要描述的本发明的更具体的描述将通过参照在附图中示出的特定实施例来呈现。可以理解，这些附图仅描绘了本发明的典型实施例，并且因此并不能认为是对本发明的范围的限制，通过使用附图，将以附加的特征和细节对本发明进行描述和解释，其中:

图1是示出了在其中可以实现本发明的方面的用于缓存管理的硬件结构的示例性框图；

图2是示出了根据本发明的、在其中可以实现本发明的方面的计算机系统中的数据存储系统的硬件结构的示例性框图；

图3是描述了在其中同样可以实现本发明的方面的用于提高计算存储环境中的数据管理的效率的示例性方法的流程图；

图4是描述了在其中同样可以实现本发明的方面的用于执行用于数据管理增强的各种操作的示例性方法的附加流程图；以及

图5是根据本发明的实施方式的在数据被从NVS离台时执行的示例性逻辑的附加流程图。

具体实施方式

如前所述，以缓存的控制单元为特点的计算存储环境可以对允许存储层在任何特定时间消耗的非易失性存储的量设置阈值或设置限制。这防止单个层故障例如消耗所有的NVS空间，并且考虑到了在所有的NVS空间被故障层消耗之前的多个层故障。

可以实施如被应用到所谓的“近线（Nearline）”盘存储设备以使得这些设备可以在存储环境中被识别并被设置阈值的附加的阈值处理，以使得例如可以由这样的近线设备消耗的NVS空间的百分比被设置。近线设备具有这样的特征，即当被过度驱动（overdriven）时，其减慢以冷却，并且如果变得过热，其可能最终停止。

在一个计算存储环境中，当所谓的“企业”和近线层都存在时，可以允许近线层的集合消耗NVS的大约百分之五十（50%），而允许企业层消耗NVS的百分之百（100%）。

随着NVS大小的增加（在一个计算环境中，NVS大小为16GB），一个层现在能够占用NVS空间的4GB（25%）。在代码装入操作中，需要执行静默/恢复操作。为了静默/恢复一个计算存储环境中的集群，所有修改的数据需要被离台。在这样的静默/恢复操作中，4GB可能太多而无法离台，并且可能导致静默/恢复失败。

在过去几年中，尽管在诸如动态随机存取存储器（DRAM）的NVS存储中使用的存储器的大小已经呈指数增长，但长期存储设备（例如存储驱动器）的速度却没有齐步并进。这样，如果特定的层被允许了例如NVS的某个百分比阈值分配，有可能不能在静默/恢复存储操作期间将所有这些数据离台到长期存储设备。存在对考虑这些差异和其他特性以改善总体性能的数据管理机制的需求。

所描述的实施例的机制在允许消耗NVS的存储的百分比阈值之外还加入了新的阈值处理因素。这些新的阈值处理因素是基于例如层的独立盘冗余阵列（RAID）类型、特定层中的时间点拷贝源轨道的数目以及存储类别（例如层的驱动器类型）。

通过引入附加的阈值处理因素，本发明的机制确保例如考虑了长期存储设备的驱动器速度与NVS的大小之间的差异，从而允许在某个时间段内，诸如在前述的静默/恢复存储操作期间，从NVS分配的量被充分地离台到长期存储设备。

转到图1，描述了用于结合了本发明各种方面的数据管理的系统100的一个实施例的框图。至少在所描述的实施例中，系统100包括经由总线108（例如有线和/或无线的总线）耦合到缓存104和处理器110的存储器102。

存储器102可以是本领域已知的或将来开发的任何类型的存储器设备。存储器102的实例包括——但不限于——具有一条或多条导线的电连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、可擦除可编程只读存储器（EPROM或闪存）、光纤、便携式光盘只读存储器（CD-ROM）、光存储设备、磁存储设备或前述的任何合适的组合。在存储器102的各种实施例中，存储轨道能够被存储在存储器102中。此外，当向存储轨道写数据时，每个存储轨道能够从缓存104离台到存储器102或者从存储器102登台（stage）。

在一个实施例中，缓存104包括被划分为一个或多个层106的写缓存，其中每个层106包括一个或多个存储轨道。缓存104可以是本领域已知的或将来开发的任何缓存。

在操作期间，在已经向存储轨道写入之后，每个层106中的存储轨道在前台离台处理中被离台到存储器102。也就是说，当主机（未示出）在活跃地向缓存104的层106中的各种存储轨道写入的期间，前台离台处理将存储轨道从层106离台到存储器102。理想地，当一个或多个主机想要向特定存储轨道写入时，该特定存储轨道不被离台，其被称为离台冲突。

在各种实施例中，处理器110包括数据管理模块112或者能够访问数据管理模块112，该数据管理模块包括计算机可读代码，当该代码由处理器110执行时，使得处理器110执行根据所描述的实施例的方面的数据管理操作。在各种实施例中，处理器110基于独立盘冗余阵列（RAID）的类型、逻辑连续的存储空间中的时间点拷贝源数据段的数目和存储类别中的至少一个，建立针对计算存储环境中任何特定的逻辑连续的存储空间所消耗的非易失性存储（NVS）空间的量的阈值。

在各种的其他实施例中，处理器110基于分配给任何特定的逻辑连续的存储空间的预先确定的百分比，建立针对NVS空间的量的附加阈值。

在各种的其他实施例中，处理器110将针对任何特定的逻辑连续的存储空间的NVS空间限制建立为所述阈值和所述附加阈值的最小值函数。

在各种的其他实施例中，处理器110将针对用于故障恢复（failback）存储操作的任何特定的逻辑连续的存储空间的NVS空间限制建立为针对该任何特定的逻辑连续的存储空间确定的每秒输入/输出操作数（IOPS）、计算的排出时间（drain time）和最小NVS存储分配的函数。

在各种的其他实施例中，处理器110将针对用于故障恢复存储操作的任何特定的逻辑连续的存储空间的NVS空间限制建立为针对该任何特定的逻辑连续的存储空间确定的每秒输入/输出操作数（IOPS）、计算的排出时间、最小NVS存储分配和NVS中的数据段总数目的函数。

图2是描述了在其中可以实施本发明的各方面的数据存储系统的示例性硬件结构的框图200。主机计算机210、220、225被示出，每个都充当用于执行数据处理的中央处理单元，作为数据存储系统200的一部分。集群主机/节点（物理的或虚拟的设备）210、220和225可以是用来在数据存储系统200中完成本发明的目的的一个或多个新的物理设备或逻辑设备。网络（例如存储结构）连接260可以是光纤通道结构、光纤通道点到点链路、以太网结构或点到点链路上的光纤通道、FICON或ESCON I/O接口。主机210、220和225可以是本地的或分布于一个或多个位置，并且可以配备有到存储控制器240的任何类型的结构（或结构通道）（未在图2中示出）或网络适配器260，诸如光纤通道、FICON、ESCON、以太网、光纤、无线或同轴适配器。数据存储系统200相应地配备有合适的结构（未在图2中示出）或网络适配器260来进行通信。图2中描绘的数据存储系统200包括存储控制器240和集群主机210、220和225。集群主机210、220和225可以包括集群节点。

为了便于更清晰地理解这里描述的方法，图2中的存储控制器240以单个处理单元示出，其包括微处理器242、系统存储器243和非易失性存储（“NVS”）216，这些将在下面更详细地描述。应当注意，在一些实施例中，存储控制器240由多个处理单元组成，每个处理单元具有其自身的处理器复合体和系统存储器，并且通过数据存储系统200内的专用网络互连。此外，在使用了存储结构网络连接260的情况下，可以通过使用存储结构260来部署附加的架构配置，以将多个存储控制器240与连接到每个存储控制器240的一个或多个集群主机210、220和225连接在一起。

在一些实施例中，存储控制器240的系统存储器243包括操作软件250，并存储处理器242可以访问以执行与执行本发明的步骤和方法相关联的功能和方法步骤的程序指令和数据。如图2所示，系统存储器243还可以包括在此也被称作“缓冲存储器”的缓存245，或者可以与其通信，用于缓冲“写数据”和“读数据”，“写数据”和“读数据”分别是指写/读请求及其相关联的数据。在一个实施例中，缓存245被分配在系统存储器243外部的设备中，但仍保持可由微处理器242访问，并且在执行这里描述的操作之外，还可以用于提供附加的安全，以防止数据丢失。

在一些实施例中，为了增强数据存储系统200的性能，缓存245可以用易失性存储器和非易失性存储器来实施，并通过本地总线（未在图2中示出）耦合到微处理器242。包括在数据存储控制器中的NVS216可由微处理器242访问，并用于提供对在其他图中描述的操作和执行的附加的支持。NVS216，也可以称为“永久的”缓存或“缓冲存储器”，其用非易失性存储器来实施，非易失性存储器可以使用或不使用外部电源来保持存储在其中的数据。出于适用于完成本发明的目标的任何目的，NVS可以存储在缓存245中并与缓存245一起存储。在一些实施例中，诸如电池的备用电源（未在图2中示出）为NVS216提供足够的电力以保持存储在其中的数据，以防数据存储系统200失去电力。在某些实施例中，NVS216的容量小于或等于缓存245的总容量。

存储控制器240可以包括数据管理模块112。数据管理模块112可以结合有内部存储器（未示出），在内部存储器中离台算法可以存储未处理的、已处理的或“半处理”的数据。数据管理模块112可以与如下的每一个组件相结合来工作：存储控制器240，主机210、220、225，以及可以经由存储结构260而远程连接的其他存储控制器240和主机210、220、225。数据管理模块112在结构上可以是一个完整的模块，或者可以与其他的单独模块相关联且/或一起被包括。数据管理模块112也可以位于缓存245中或存储控制器240的其他组件中。数据管理模块112连同微处理器242可以实施所描述的实施例的方面，诸如将要进一步描述的建立阈值因素。

存储控制器240包括：控制交换机241，其用于控制协议以控制向或从主机计算机210、220、225的数据传输；微处理器242，其用于控制所有的存储控制器240；非易失性控制存储器243，其用于存储用于控制存储控制器240的操作的微程序（操作软件）250；缓存245，其用于临时存储（缓冲）数据；缓冲器（buffer）244，其用于辅助缓存245来读和写数据；以及数据管理模块112，在数据管理模块112中信息可以被设置。可以实施多个缓冲器244以辅助这里描述的方法和步骤。

现在转到图3，描绘了说明用于数据管理的一般化方法300的流程图。方法300开始（步骤302）。建立针对任何特定的逻辑连续的存储空间所消耗的NVS空间的量的一个或多个阈值。该阈值可以基于RAID的类型、逻辑连续的存储空间中的时间点拷贝源数据段的数目、和存储类别。接着方法300结束（步骤306）。

现在转到图4，描绘了在其中结合了所描述的实施例的方面的示例性操作的附加流程图。方法400开始（步骤402），在计算存储环境中初始化一个或多个存储设备并确定可应用的设备的数目（步骤404）。

在随后的步骤中，方法400确定各个单独层的可应用的RAID类型，各个单独层当中的一个或多个层中可应用的时间点拷贝源轨道的数目，和这一个或多个单独层的驱动器类型（步骤406）。接着将NVS阈值因素设置为：（1）基于可应用的存储设备的数目的百分比量，以及（2）其他因素，诸如前述的RAID类型、时间点拷贝源数据段和驱动器类型（步骤408）。接着使用将进一步说明的阈值基准来执行各种存储操作（步骤410）。接着方法400结束（步骤412）。

在一个实施例中，可以如下配置阈值因素。除了总空间的百分比基础（即NVS的25%）之外，单独层还可以配置有新的阈值。可以将“层NVS限制”阈值定义为百分比阈值（同样即NVS的25%）和为单独层定义的“针对NVS故障恢复的层NVS限制”基准的最小值函数。

在附加的实施例中，针对NVS故障恢复的层NVS限制可以被定义为层离台每秒输入/输出（IOPS）指标乘以排出时间并乘以最小NVS分配。

在一个实施例中，层离台IOPS指标可被定义为特定层能够完成的离台IOPS的数目。该指标取决于层类型和构成层的驱动器类型。在一个实施例中，RAID-5近线层可以完成五百（500）次IOPS。在一个实施例中，前述的排出时间可以表示为在静默/恢复操作期间故障恢复操作排空NVS所花费的时间。在一个示例性的实施例中，排出时间被设置为大约十（10）分钟或600秒。最后，前述的最小NVS分配可以表示为NVS分配的最小单位。在一个存储环境中，最小NVS分配是4K（千字节）。

鉴于上述所有方面，考虑下面的例子。特定的存储环境可以具有与RAID-5近线层伴随的针对故障恢复的层NVS限制，其为（500IOPS×600s×4096K），大约等于1.2GB。

可以用来确定前述的针对故障恢复的层NVS限制的附加的因素是NVS中的时间点拷贝源轨道的量。当时间点拷贝源轨道被离台时，在该源轨道能够被离台之前，该轨道可能需要复制源到目标（CST）操作。CST操作可能消耗大量的资源，原因在于该操作需要从源登台数据，接着将数据离台到目标。

为了容纳源时间点拷贝轨道，前述的针对故障恢复的层NVS限制可以进一步被定义如下。可以设置该指标等于前述的层离台IOPS×排出时间×最小NVS分配×NVS中的总轨道，再除以（NVS中总的源时间点拷贝轨道×3+NVS中总的非源时间点拷贝轨道）。然而，如本领域的普通技术人员所理解的，为了适应于特定的应用，可以添加附加的因素，或者前述的因素可以被加权。

现在转到图5，示例性快速写操作的流程图被描绘为方法500。方法500开始（步骤502），从主机接收发往目标存储设备的数据（步骤504）。在步骤506中，方法500询问添加更新是否会导致层NVS限制（作为前面描述的阈值的函数）被超过。如果是这种情况，则方法500将重新连接提供该更新的主机所需的重新连接参数排队在重新连接队列中（步骤508）并与发送该更新的主机断开连接。接着方法500结束（步骤518）。结果，存储控制器将不接受会导致用于对目标存储设备更新的NVS的量超过前述层NVS限制的更新。

回到步骤506，如果层NVS限制不会由于该更新而被超过，则方法500把数据快速写到缓存和NVS，并且将离台标志设置为“on”。作为更新的结果，重新计算所使用的NVS百分比和在前述的阈值处理中使用的其他变量（步骤514），并且向主机返回更新完成状态（步骤516）。接着方法500结束（同样，步骤518）。如本领域的普通技术人员所理解的，可以以与图5中所述的类似的方式来实施各种逻辑，以实施由所述实施例描述的阈值处理技术。

尽管在前面的本发明的详细说明中已经给出了至少一个示例性的实施例，但应当理解，存在大量的变型。还应当理解，该一个或多个示例性的实施例仅为示例，并不旨在以任何方式限制本发明的范围、可应用性或配置。相反，前面的详细说明将为本领域技术人员提供用于实施本发明的示例性实施例的方便的路线图，应当理解，在不脱离如权利要求及其法律等同形式所阐述的本发明的范围的情况下，可以对在示例性实施例中描述的功能和元件布置进行各种变型。

如本领域的普通技术人员所理解的，本发明的方面可以具体实施为系统、方法或计算机程序产品。因此，本发明的方面可以具体实现为以下形式：完全硬件的实施例、完全软件的实施例（包括固件、驻留软件、微代码等），或软件和硬件方面结合的实施例，在这里，这些可以一般地称为“电路”、“模块”或“系统”。此外，本发明的方面可以具体实现为在一个或多个计算机可读介质中具体实施的计算机程序产品的形式，计算机可读介质上包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任何的组合。计算机可读介质可以是计算机可读信号介质或者是物理计算机可读存储介质。物理计算机可读存储介质例如可以是——但不限于——电、磁、光、晶体、聚合物、电磁、红外线或半导体的系统、装置或设备或者任何合适的上述的组合。物理计算机可读存储介质的示例包括——但不限于——具有一个或多个导线的电连接、便携式计算机盘、硬盘、RAM、ROM、EPROM、闪存、光纤、CD-ROM、光存储设备、磁存储设备或者任何合适的上述的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序或数据的有形介质，该程序或数据可以被指令执行系统、装置或者设备使用或者与其结合使用。

计算机可读介质上包含的计算机程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、射频（RF）等，或者上述的任何合适的组合。

可以以任何静态程序设计语言来编写用于执行本发明各方面的操作的计算机程序代码，所述程序设计语言包括C编程语言或其他类似的程序设计语言。计算机程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络或者通信系统——包括但不限于局域网(LAN)或广域网(WAN)、会聚网络—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个框以及流程图和/或框图中各个框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其他可编程数据处理设备的处理器执行时，产生了实现流程图和/或框图中的一个或多个框中规定的功能/动作的部件。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其他可编程数据处理设备、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个框中规定的功能/动作的指令的制造品（article of manufacture）。计算机程序指令也可以装入计算机、其他可编程数据处理装置、或其他设备，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤来产生计算机实施的过程，从而在计算机或其他可编程装置上执行的指令提供用于实施在流程图中和/或在框图的一个或多个框中指定的功能/动作的过程。

附图中的流程图和框图描述了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个框可以表示模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的框实际上可以基本并行地执行，或者它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

尽管已经详细地描述了本发明的一个或多个实施例，本领域的普通技术人员应当清楚，可以在不脱离如权利要求中阐述的本发明的范围的情况下，对那些实施例进行各种修改和适应。

Claims (14)

1.一种用于在计算存储环境中由处理器设备管理数据的方法，包括：

基于独立盘冗余阵列（RAID）的类型、逻辑连续的存储空间中的时间点拷贝源数据段的数目和存储类别中的至少一个，建立针对计算存储环境中任何特定的逻辑连续的存储空间所消耗的非易失性存储（NVS）空间的量的阈值。

2.根据权利要求1所述的方法，进一步包括：基于分配给所述任何特定的逻辑连续的存储空间的预先确定的百分比，建立针对所述NVS空间的量的附加阈值。

3.根据权利要求2所述的方法，进一步包括：将针对所述任何特定的逻辑连续的存储空间的NVS空间限制建立为所述阈值和所述附加阈值的最小值函数。

4.根据权利要求3所述的方法，进一步包括：将针对用于故障恢复存储操作的所述任何特定的逻辑连续的存储空间的NVS空间限制建立为针对所述任何特定的逻辑连续的存储空间确定的每秒输入/输出操作数（IOPS）、计算的排出时间和最小NVS存储分配的函数。

5.根据权利要求3所述的方法，进一步包括：将针对用于故障恢复存储操作的所述任何特定的逻辑连续的存储空间的NVS空间限制建立为针对所述任何特定的逻辑连续的存储空间确定的每秒输入/输出操作数（IOPS）、计算的排出时间、最小NVS存储分配和NVS中的数据段的总数目的函数。

6.根据权利要求1所述的方法，其中所述任何特定的逻辑连续的存储空间是存储层，并且所述存储类别是该存储层中的驱动器类型。

7.一种用于计算存储环境中的数据管理的系统，包括：

可在计算存储环境中操作的处理器设备，其中所述处理器设备：

基于独立盘冗余阵列（RAID）的类型、逻辑连续的存储空间中的时间点拷贝源数据段的数目和存储类别中的至少一个，建立针对计算存储环境中任何特定的逻辑连续的存储空间所消耗的非易失性存储（NVS）空间的量的阈值。

8.根据权利要求7所述的系统，其中所述处理器设备基于分配给所述任何特定的逻辑连续的存储空间的预先确定的百分比，建立针对所述NVS空间的量的附加阈值。

9.根据权利要求8所述的系统，其中所述处理器设备将针对所述任何特定的逻辑连续的存储空间的NVS空间限制建立为所述阈值和所述附加阈值的最小值函数。

10.根据权利要求9所述的系统，其中所述处理器设备将针对用于故障恢复存储操作的所述任何特定的逻辑连续的存储空间的NVS空间限制建立为针对所述任何特定的逻辑连续的存储空间确定的每秒输入/输出操作数（IOPS）、计算的排出时间和最小NVS存储分配的函数。

11.根据权利要求9所述的系统，其中所述处理器设备将针对用于故障恢复存储操作的所述任何特定的逻辑连续的存储空间的NVS空间限制建立为针对所述任何特定的逻辑连续的存储空间确定的每秒输入/输出操作数（IOPS）、计算的排出时间、最小NVS存储分配和NVS中的数据段的总数目的函数。

12.根据权利要求7所述的系统，其中所述任何特定的逻辑连续的存储空间是存储层，并且所述存储类别是该存储层中的驱动器类型。

13.根据权利要求12所述的系统，其中所述驱动器类型包括企业驱动器类型和近线驱动器类型。

14.根据权利要求7所述的系统，其中所述时间点拷贝源数据段是时间点拷贝源轨道。

Images