CN102207830B

CN102207830B - 一种缓存动态分配管理方法及装置

Info

Publication number: CN102207830B
Application number: CN2011101396430A
Authority: CN
Inventors: 上官应兰
Original assignee: Macrosan Technologies Co Ltd
Current assignee: Hangzhou Sequoia Polytron Technologies Inc
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2013-06-12
Anticipated expiration: 2031-05-27
Also published as: CN102207830A

Abstract

本发明提供一种缓存空间动态分配管理技术，其通过监测系统内启用了缓存功能的存储资源(SU)上主机的IO请求情况，并根据预定规则将启用了缓存功能的SU区分为活跃状态和不活跃状态；在SU状态改变时，计算系统内各个SU可分配到的缓存最大值；在缓存最大值发生改变时，检查SU当前占用缓存空间是否超过新的缓存最大值，如果是则对该SU当前占用的缓存空间进行回收操作直到其小于等于所述新的缓存最大值。本发明根据SU业务变化及时回收额外占用的缓存资源，达到缓存的合理分配使用以及提升缓存利用效率的目标。

Description

一种缓存动态分配管理方法及装置

技术领域

本发明涉及网络存储技术，尤其涉及网络存储系统缓存空间分配技术。

背景技术

在涉及众多主机的数据存储的网络环境中，为了提高数据存储的可靠性和安全性，同时为了存储容量的扩展性和灵活性，网络存储技术应运而生。通常来说，网络存储系统的作用是为客户端PC机或者服务器（一般统称为主机或Host）提供可用的存储空间。

一般网络存储系统的前端可以通过IP网络或者FC网络与主机相连，为主机提供数据存储服务。在数据传输方面，以基于IP承载的网络存储系统为例，主机可以基于标准的iSCSI（互联网小型计算机系统接口）协议网络存储系统进行数据的读写操作。网络存储系统的核心是存储控制器（StorageController），存储控制器进行数据处理并把数据写入到后端物理磁盘中。

在网络存储系统中，由于磁盘的访问性能较低，为避免磁盘成为整个网络存储系统性能的瓶颈，网络存储系统通常从物理内存中划分一块空间作为高速缓存（Cache），即从存储资源中复制频繁使用的数据到Cache中，用于快速访问。处理器在接收到读数据请求时，首先访问Cache，检查Cache是否保存了要访问的地址的数据，如果是，则将数据快速返回给处理器；如果否，直接访问磁盘，并把从磁盘中读取的数据保存在Cache中，便于下一次访问该地址的数据。处理器在接收到写数据请求时，把数据写入到Cache中，命令直接返回。网络存储系统根据特定的策略在后台自动刷新Cache中的数据到磁盘中，释放Cache的空间。通过Cache技术，可有效利用物理内存高速访问的特性来优化整个网络存储系统的性能。

请参考图1，一般来说，网络存储系统对于Cache管理与分配可以基于逻辑资源（LUN），也可以基于RAID（独立磁盘冗余阵列）。顾名思义，如果是基于LUN管理分配方式，则在分配Cache空间时，以LUN为单独进行分配，比如给LUNx分配了大小为A的Cache空间，给LUNy分配了大小为B的Cache空间。如果是基于RAID，在分配Cache空间时，以RAID为单独进行分配，比如给RAIDx分配了大小为A的Cache空间，给RAIDy分配了大小为B的Cache空间。不管是哪种方式，都存在Cache空间管理的问题。把Cache划分为一个个Cache Page（缓存页面，通常是缓存管理分配的最小单位），然后进行统一的调度。下面以Cache基于LUN为例进行说明。

现有技术中有比较流行的两种Cache管理方式。一种是平均分配方式。比如Cache空间容量是5GB，有5个LUN启用了缓存功能，那么每个LUN分配到的Cache空间就是1GB。另一种方式是固定分配。比如Cache空间容量是5GB，有5个LUN启用了缓存，根据LUN上不同的应用，用户可设置LUN1的Cache空间为2GB、LUN2、LUN3的Cache空间分别为1GB，LUN4、LUN5的Cache空间分别为0.5GB。

然而一台网络存储设备可以支持的物理内存大小往往是有限的，其取决于硬件平台可提供的物理内存插槽数以及单根物理内存条的大小。另一方面，配置大容量的内存也会增加设备成本。按照目前大部分产品的规格，磁盘容量和Cache容量的比例可达到16000:1，甚至更高，因此如何有效利用Cache空间变得更重要。上述两种方案共同的问题是：不符合网络存储设备内业务流量动态变化的特点。比如LUN1上一段时间内没有业务，但是也会占用2GB的缓存空间，即使LUN4、LUN5上存在大压力的业务，也不能使用LUN1的空间来优化当前业务的性能。因此上述两种方案，缓存利用率和业务不是最佳匹配，缓存利用率不高。

发明内容

有鉴于此，本发明提供一种缓存空间动态分配管理装置，用于执行网络存储系统内的缓存管理操作，其中网络存储系统包括存储控制器以及多块磁盘，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；其中该装置包括：

状态监测单元，用于监测网络存储系统内各启用了缓存功能的存储资源（SU）上的来自主机的IO请求情况，并根据预定的规则将启用了缓存功能的SU区分为活跃状态和不活跃状态；

阈值计算单元，用于在SU状态发生改变时，计算系统内不活跃SU可以分配到的缓存最大值SUmin或者活跃SU可以分配到的缓存最大值SUmax，其中SUmin等于第一预设缓存大小除以启用了缓存功能的SU总数，其中SUmax等于第二预设缓存大小除以活跃SU总数加上SUmin，所述第一预设缓存是预留缓存，所述第二预设缓存是共享缓存；

分配管理单元，用于在SUmin或者SUmax发生改变时，检查各个SU当前占用的缓存空间是否超过当前其可以分配到的缓存最大值，如果是则对该SU当前占用的缓存空间进行回收操作直到其小于等于其可以分配到的缓存最大值。

本发明还提供一种缓存空间动态分配管理方法，用于执行网络存储系统内的缓存管理操作，其中网络存储系统包括存储控制器以及多块磁盘，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；其中该方法包括：

A、监测网络存储系统内各启用了缓存功能的存储资源（SU）上的来自主机的IO请求情况，并根据预定的规则将启用了缓存功能的SU区分为活跃状态和不活跃状态；

B、当SUmin或者SUmax发生改变时，计算系统内不活跃SU可以分配到的缓存最大值SUmin或者活跃SU可以分配到的缓存最大值SUmax，其中SUmin等于第一预设缓存大小除以启用了缓存功能的SU总数，其中SUmax等于第二预设缓存大小除以活跃SU总数加上SUmin，所述第一预设缓存是预留缓存，所述第二预设缓存是共享缓存；

C、在出现SU状态发生改变时，检查各个SU当前占用的缓存空间是否超过当前其可以分配到的缓存最大值，如果是则对该SU当前占用的缓存空间进行回收操作直到其小于等于其可以分配到的缓存最大值。

由此可见，本发明不但会根据SU的需要从共享缓存或者突发缓存中为SU分配缓存，而且可以根据SU状态变化（反应了SU业务变化）及时回收额外占用的缓存资源，达到缓存的合理分配使用以及提升缓存利用效率的目标。

附图说明

图1是现有技术中两种典型的Cache管理方式。

图2是本发明缓存分配管理装置逻辑结构图。

图3是本发明缓存分配在逻辑概念上的示意图。

具体实施方式

本发明是基于存储资源（SU，Storage Unit）对缓存进行分配管理的。在网络存储系统中存储资源可以是物理存储资源（比如RAID），也可以是逻辑存储资源（LUN），其是缓存管理工作的基本对象。RAID是物理层面的存储资源，其对于远程的主机使用来说并不方便，于是网络存储系统中通常会在RAID以上抽象出LUN供主机使用，屏蔽掉物理存储空间使用的不便利。网络存储系统中通常会为多个主机创建若干的LUN；每个主机上的应用千差万别，因此这些LUN上的业务（即IO请求）的大小以及数量可能大相径庭，这种业务的差异同样也会体现在物理存储资源上。本发明利用SU上的业务差异来实现缓存的动态分配管理，达到缓存利用效率的提升，本发明管理的对象是启用了缓存功能的SU。以下结合图2以及图3，以计算机软件实现为例进行介绍。从逻辑结构上看，本发明缓存动态分配管理装置主要包括状态监测单元12、阈值计算单元14以及分配管理单元16。以下介绍这些单元对于缓存动态分配管理的处理流程。

步骤101，监测网络存储系统内各启用了缓存功能的存储资源（SU）上的来自主机的IO请求情况，并根据预定的规则将启用了缓存功能的SU区分为活跃状态和不活跃状态；步骤101由状态监测单元执行。

本发明所说活跃SU和不活跃SU依赖于预先定义的判断标准，网络存储系统可通过管理员配置接口接受管理员对区分活跃于不活跃标准的配置。预定规则的标准可以有很多，比如SU上在一定时间内IO请求个数超过预设的个数时将该SU为状态确定为活跃，否则将该SU状态确定为不活跃。再比如，比如SU上在一定时间内IO请求流量的大小超过预设流量值时将该SU为状态确定为活跃，否则将该SU状态确定为不活跃。进一步来说，还可以引入其他的参数来制定预定规则，比如说引入时间段。比如白天时间的预定规则中预设的流量阈值可以增大，夜间可以减小。当SU状态发生改变的时候，需要将变化报告给阈值计算单元14。

步骤102，在SU状态发生改变时，计算系统内不活跃SU可以分配到的缓存最大值SUmin以及活跃SU可以分配到的缓存最大值SUmax，其中SUmin等于第一预设缓存大小除以启用了缓存功能的SU总数，其中SUmax等于第二预设缓存大小除以活跃SU总数加上SUmin。本步骤由阈值计算单元14执行。

本发明将系统缓存在逻辑上划分为三块：对应到第一预设缓存大小的预留缓存（Reserved Pages）、对应到第二预留缓存大小的共享缓存（Share Pages）以及剩余的突发缓存（Burst Pages）。这三块缓存空间是逻辑上的概念，用于缓存空间管理，实际的物理缓存可以属于任何一个区域。举一个例子来说，假设第一预设缓存大小是5GB，第二预设缓存大小是4GB，第三预设缓存大小是1GB，系统内缓存总大小是10GB，当前启用了缓存功能的SU总数是10，活跃的SU是5，不活跃的SU是5，则SUmin=5GB/10=0.5GB,SUmax=4GB/5+0.5GB=1.3GB。SUmin以及SUmax分别是系统内不活跃SU与活跃SU能够分配到的缓存的最大值，其并不表示SU当前占用的实际缓存大小。即，所有SU均分预留缓存中的空间，所有活跃SU除了占用预留缓存中的空间，还均分共享缓存中的空间。SUmin表示了系统为每个SU分配缓存时预留保证阈值，一方面，SUmin表示了业务较为空闲的SU则尽量限制其对缓存资源的利用，另一方面其可以为SU预留出一定的缓存空间利用，即便长期IO请求非常低的SU其也可以获得该预留的保证阈值，显然如果没有该保证阈值，基于SU的缓存分配也就失去了意义。而SUmax很明显大于SUmin，这样可以确保业务繁忙的SU可以有更多机会获得系统分配的缓存。

然而系统中的SU状态会时常变化。举例而言，对于一些短期热点数据，其会可能呈现出阶段性的集中性访问需求，然后访问需求又会迅速下降，比如一些热播的视频或者热门游戏或者热门软件补丁等。SU状态的变化对应着其对缓存需求的变化，在IO流量小频率低的情况下，其需要的缓存自然就小，反之则较大。很显然当SU状态发生改变时，SUmax很可能发生变化，比如活跃因此每次状态监测单元出现状态改变时，均需要通知阈值计算单元重新计算。

进一步来说，步骤102的执行计算SUmin或者SUmax触发条件除了SU状态的改变意外，还可以包括SU缓存功能的启用或禁用，即在SU启用或者禁用缓存功能时，计算新的SUmin或者SUmax。因为有一些系统会向管理员提供SU缓存功能的启用和禁用配置，本发明同样可以将启用和禁用事件纳入到SUmin和SUmax的计算触发和依据中来。比如说某个活跃的SU被禁用了缓存功能，则启用缓存功能的SU减少，SUmin变大；同样活跃SU减少，SUmax也会变大；具体计算不再一一示例。

从以上描述可以看出，步骤102每次计算SUmin或者SUmax可能会涉及三种情形：a)只需要计算SUmin，b)只需要计算SUmax，c)需要同时计算SUmin和SUmax；因此本领域普通技术人员可以依据以上描述，对触发条件进行进一步细化处理，比如SU启用或者禁用的触发条件对应到情况C。具体细节属于一般计算机程序设计逻辑与常识，不再一一详细描述。

步骤103，当SUmin或者SUmax发生改变时，或者启用或禁用SU缓存时，检查各个SU当前占用的缓存空间是否超过当前其可以分配到的缓存最大值，如果是则对该SU当前占用的缓存空间进行回收操作直到其小于等于其可以分配到的缓存最大值；本步骤由分配管理单元16执行。

系统缓存初始化时，把Cache划分为一个个Cache Page（缓存页面，通常是缓存管理分配的最小单位），然后进行统一的调度。

初始时，每个SU都是不活跃的，分配管理单元根据业务IO请求为SU在预留缓存中分配缓存空间，对于不活跃的SU，其占用的缓存空间最大为SUmin，即预留缓存除以启用了缓存功能的SU数目。

在下面的情况下，会重新计算不活跃SU的SUmin或者活跃SU的SUmax：（1）如果SU从不活跃状态变为活跃状态，（2）或者SU从活跃状态变为不活跃状态，（3）或者启用某个SU的缓存，（4）或者禁用某个SU的缓存。因此分配管理单元根据业务IO请求为SU分配缓存空间时，需要先检查SU当前实际占用的缓存大小SUcurrent是否小于上述可分配到的最大值，如果是，则可以继续分配直到SUcurrent等于上述最大值，如果否，需要刷新该SU在缓存中的数据到磁盘中，以释放出缓存空间供该SU使用。所述SU当前实际占用的缓存大小SUcurrent是否小于上述可分配到的最大值包括，不活跃SU当前实际占用的缓存大小SUcurrent是否小于SUmin或者活跃SU当前实际占用的缓存大小SUcurrent是否小于SUmax。因此在各个SU状态稳定的情况下，SUcurrent是小于等于SUmin（对应不活跃SU）或者SUmax（对应活跃SU）。

但是如前所述的那样，首先由于SU状态的改变会导致SUmax的变化，即当前活跃SU可以分配到的最大缓存可能会发生变化；其次，如果某个活跃SU变为不活跃SU，则该SU可以分配到的缓存最大值从SUmax变为SUmin。也就是每次SU状态的改变可能会导致部分SU可以分配到的缓存最大值发生变化。因此某些SU的SUcurrent可能会大于其可以分配到的缓存最大值，其分为两种情形；

1）以前面提到的例子来说，SU1从活跃状态转变为不活跃状态，此时活跃SU总数减少为4，不活跃SU总数为6个，SU1可以分配到的缓存最大值从SUmax（1.3GB）变为SUmin(0.5GB)。在状态没有改变之前SU1可能已经占用了0.8GB的空间，即SUcurrent为0.8GB，其大于状态改变后SU1的可分配到缓存的最大值SUmin（0.5GB），此时分配管理单元需要将多余的0.3GB空间进行回收操作。一般来说，进行回收之前还需要对SU1对应的缓存空间进行刷新操作，比如写缓存的数据可能还没有写入到磁盘中，因此需要先把SU1实际占用的缓存内的数据刷新到磁盘然后再执行回收操作，这样可以确保数据的完整性，然而如果是读缓存则不需要刷新，可以直接回收空间。需要说明的是，由于活跃SU总数减少，SUmax从1.3GB变大为1.5GB，因此对于活跃SU而言，自然不会存在SUcurrent大于SUmax的情形，也就不存在需要回收缓存的问题，只不过是分配缓存时依据更新后的SUmax即可。

2）同样以前面提到的例子来说，假设SU2状态从不活跃转变为活跃，此时活跃SU总数为6，不活跃SU总数为4个，此时SUmax从1.3GB变小为1.16GB，假设此时另一个活跃的SU3的SUcurrent是1.2GB，其大于更新后的SUmax。因此同样需要如前所述的回收操作。需要特殊说明的是，当SU需要从共享缓存区域或者预留缓存分区域分配缓存时，且该区域缓存已经被其他SU用完时，临时从突发缓存区域为该SU分配缓存。举例来说，假设SU2的状态从不活跃变为活跃，其可以占用的最大缓存空间从SUmin变为SUmax，但是如果此时共享缓存区域已经被其他的活跃SU用光，缓存分配单元无法从共享缓存中为SU2分配到空间，会临时从突发缓存中为SU2分配缓存空间；同样的道理，在启用SU的缓存时，如果其他SU已经将预留缓存区域用光，此时会临时从突发缓存中为该SU分配所需要使用的缓存；等其他的活跃SU回收缓存空间后，再归还给突发缓存，一方面满足SU2上突发流量对性能的要求，另一方面保证了三个逻辑空间中可用的Cache Pages数目。

进一步来说，当SU状态从不活跃变为活跃的时刻，通常对应到突发流量的出现，此时该SU可以分配到的最大缓存值从SUmin变为SUmax，分配管理单元可以进一步根据该SU需要为其分配缓存，但是共享缓存部分可能没有足够的缓存分配给该SU，此时需要从上述突发缓存中为该发生状态突变的SU分配缓存。相应地，如前所述的那样，由于一个新的活跃SU的出现导致SUmax变小，那么可能出现部分SU的SUcurrent大于SUmax，分配管理单元又会释放掉一部分缓存空间，这个释放空间相当于对突发缓存分配缓存空间的缓存归还。

由此可见，本发明不但会根据SU的需要从共享缓存或者突发缓存中为SU分配缓存，而且可以根据SU状态变化（反应了SU业务变化）及时回收额外占用的缓存资源，使之成为可分配的共享缓存或者突发缓存。1）和2）两种情况表明了，某个SU状态的变化不仅仅影响到系统为自身分配缓存的限制，还会影响到其他SU。本发明可以在确保多数SU都能够分配到合理的缓存空间，并在状态时及时在缓存分配上相应业务的变化。管理员可以根据业务需要合理设置和调整三个逻辑区域的占用缓存空间的百分比等参数，这样既可以达到本发明所说的目的，也可以防止SU状态的频繁变化导致系统管理层面有过多的资源消耗。

以上所述仅仅为本发明较佳的实现方式，任何基于本发明精神所做出的等同的修改皆应涵盖于本发明的权利要求范围中。

Claims

1.一种缓存空间动态分配管理装置，用于执行网络存储系统内的缓存管理操作，其中网络存储系统包括存储控制器以及多块磁盘，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；其中该装置包括：

2.根据权利要求1所述的装置，其特征在于，所述分配管理单元进一步用于根据业务IO请求为SU分配缓存空间时，先检查SU当前实际占用的缓存大小SUcurrent是否小于上述可分配到的最大值，如果是，则可以继续分配直到SUcurrent等于上述最大值，如果否，需要刷新该SU在缓存中的数据到磁盘中，以释放出缓存空间供该SU使用，所述SU当前实际占用的缓存大小SUcurrent是否小于上述可分配到的最大值包括，不活跃SU当前实际占用的缓存大小SUcurrent是否小于SUmin或者活跃SU当前实际占用的缓存大小SUcurrent是否小于SUmax。

3.根据权利要求1所述的装置，其特征在于，所述预定规则是监测到启用了缓存功能的SU上在一定时间内IO请求个数或者流量大小超过预设的个数或者流量值时将该SU为状态确定为活跃，否则将该SU状态确定为不活跃；其中所述SU为独立冗余磁盘阵列（RAID）或者逻辑存储资源（LUN）。

4.根据权利要求1所述的装置，其特征在于，所述分配管理单元进一步用于在执行SU缓存空间回收操作之前将SU缓存内需要刷新的数据刷新到网络存储系统的磁盘中。

5.根据权利要求1所述的装置，其特征在于，所述阈值计算单元进一步用于在SU启用或者禁用缓存功能时，计算SUmin或者SUmax。

6.根据权利要求1所述的装置，其特征在于，网络存储系统内的缓存还包括对应到第三预设缓存大小的突发缓存，所述分配管理单元进一步用于在SU需要从第二预设缓存大小对应的共享缓存区域或者第一预设缓存大小对应的预留缓存区域分配缓存时，且该区域缓存已经被其他SU用完时，从突发缓存区域为该SU分配缓存。

7.一种缓存空间动态分配管理方法，用于执行网络存储系统内的缓存管理操作，其中网络存储系统包括存储控制器以及多块磁盘，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；其中该方法包括：

8.根据权利要求7所述的方法，其特征在于，还包括：

D、根据业务IO请求为SU分配缓存空间时，先检查SU当前实际占用的缓存大小SUcurrent是否小于上述可分配到的最大值，如果是，则可以继续分配直到SUcurrent等于上述最大值，如果否，需要刷新该SU在缓存中的数据到磁盘中，以释放出缓存空间供该SU使用，所述SU当前实际占用的缓存大小SUcurrent是否小于上述可分配到的最大值包括，不活跃SU当前实际占用的缓存大小SUcurrent是否小于SUmin或者活跃SU当前实际占用的缓存大小SUcurrent是否小于SUmax。

9.根据权利要求7所述的方法，其特征在于，所述预定规则是监测到启用了缓存功能的SU上在一定时间内IO请求个数或者流量大小超过预设的个数或者流量值时将该SU为状态确定为活跃，否则将该SU状态确定为不活跃；其中所述SU为独立冗余磁盘阵列（RAID）或者逻辑存储资源（LUN）。

10.根据权利要求7所述的方法，其特征在于，步骤C还包括：在执行SU缓存空间回收操作之前将SU缓存内需要刷新的数据刷新到网络存储系统的磁盘中。

11.根据权利要求7所述的方法，其特征在于，还包括：

E、在SU启用或者禁用缓存功能时，计算SUmin或者SUmax。

12.根据权利要求7所述的方法，所述网络存储系统内的缓存还包括对应到第三预设缓存大小的突发缓存，其特征在于，还包括：

F、在SU需要从第二预设缓存大小对应的共享缓存区域或者第一预设缓存大小对应的预留缓存区域分配缓存时，且该区域缓存已经被其他SU用完时，从突发缓存区域为该SU分配缓存。