CN104182359A - 一种缓存分配方法及装置 - Google Patents

Abstract

本发明提供一种缓存分配方法及对应的装置，应用于存储系统中，该存储系统包括热点资源池、后端存储资源以及一级缓存；其中热点资源池包括多个热点资源区HA，每个HA包括多个热点块HB，该方法包括：在出现新热点数据时判断热点资源池中是否有空闲HB，如果有则根据预设的初级均衡规则确定目标HA，从目标HA的空闲HB中为新热点数据选择目标HB；如果没有则根据预设的次级均衡规则从数据热度低于新热点数据的HB中为新热点数据选择目标HB；将新热点数据从后端存储资源备份到所述目标HB中。相对于现有技术而言，本发明充分考虑了二级缓存资源分配过程中的均衡性问题，可大幅度提高二级缓存资源整体的利用效率。

Description

一种缓存分配方法及装置

技术领域

本发明涉及存储技术领域，尤其涉及一种存储系统中缓存的分配方法及装置。

背景技术

在存储领域，缓存通常是位于应用程序与物理存储介质（主要指机械磁盘）之间，用于临时存放应用程序数据的内存区域。系统设计中引入缓存的主要目的是为了降低应用程序读写命令的响应延迟，从而提升应用的整体性能。传统意义上缓存通常指一级缓存，比如DRAM Cache，其特点是容量小、价格贵，考虑到DRAM Cache和机械硬盘之间较大的性能差距，于是出现了二级缓存技术。二级缓存的性能低于DRAM Cache，但是容量更大、成本更低。随着SSD（固态硬盘）技术的发展，SSD在存储领域使用的范围越来越广。目前业界的存储系统使用SSD主要有两种方式：作为分级存储介质或二级缓存。

对于SSD作为缓存这种应用，目前常规的设计方案是将SSD作为热点资源池来使用。系统定时检测数据热度，并在后台将热点数据备份到热点资源池中。当应用程序读IO无法在一级缓存中读取到对应数据（因为缓存关闭或未命中）时，可以继续尝试在热点资源池中寻找对应数据，如果热点资源池中已存在该数据的备份，则直接利用备份数据对业务IO提供支持。否则，仍通过读取业务逻辑资源的方式从传统磁盘（HDD）中完成数据读取。

请参考图1所示，对于读数据来说，上述方案一般存在三种可能性：当读取数据A时，由于缓存（也就是一级缓存）中已有该数据的备份，可直接从缓存读取（图中路径1）；如果读取数据B，由于该数据只存在HDD中，则从HDD中读取（图中路径2）；如果读取数据C，由于该数据在HDD和SSD（也就是二级缓存）中都存在，系统优先从SSD中读取（图中读取路径3）。

随着SSD的推广，其成本也在不断下探，目前很多设计中开始使用SSD创建一个或多个SSD RAID（Redundant Arrays of Independent Disks，独立冗余磁盘整列）作为热点资源池，比如RAID1或RAID10等各种级别的RAID。当RAID中一个SSD故障时，可利用传统RAID技术进行RAID重建等数据保护操作。当使用多个SSD RAID构成热点资源池时，多个SSD RAID各自独立，并通过串联的方式构建热点资源池，比如使用3个SSD RAID创建热点资源池，每个SSD RAID的空间是400GB，即热点资源池容量则为1200GB，其中前400GB空间位于SSD RAID1上，中间400GB空间位于SSD RAID2上，最后400GB空间位于SSD RAID3上。

在创建热点资源池后，系统可将整个热点资源池划分为若干定长的热点块，并按照热点资源池中逻辑空间地址LBA（Logical Block Addressing）依次对热点块进行编号。对应上述例子，热点块编号从小到大依次分布在SSDRAID1、SSD RAID2、SSD RAID3上。当系统检测到新的热点数据出现时，按照最小编号规则均衡一个或多个热点块，或者从上一次均衡的热点块的下一个编号开始顺序均衡一个或多个热点块。完成均衡热点块后启动后台拷贝，将热点数据从HDD RAID备份到热点块中，同时在管理上建立对应的映射关系。当所有热点块都被使用后，最新的热点数据无法均衡到空闲热点块，则系统淘汰出数据热度最低的热点块提供给新热点，以此类推。

然而由于应用程序的读IO业务并没有任何规律性，因此当业务持续一段时间后，极有可能出现大量的流向热点资源池的读IO集中在某一个或少数几个SSD RAID上的情况。请参考图2所示，编号为3的SSD RAID的利用率极低。在这样的情况下，一方面，多个SSD RAID上的IO未充分实现并发，无法发挥多个SSD RAID的在IO性能上的优势；另一方面，SSD盘本身的成本通常较高，性价比不高将影响用户的投资回报率，这显然是用户无法接受的。

发明内容

有鉴于此，本发明提供一种缓存分配装置，应用于存储系统中，该存储系统包括作为二级缓存的热点资源池、后端存储资源以及一级缓存；其中所述热点资源池包括多个热点资源区HA，每个HA包括多个热点块HB，该装置包括初级均衡单元、次级均衡单元以及热点调度单元；其中：

初级均衡单元，用于在出现新热点数据时判断热点资源池中是否有空闲HB，如果有则根据预设的初级均衡规则确定目标HA，从目标HA的空闲HB中为新热点数据选择目标HB；如果没有则转次级均衡单元处理；

次级均衡单元，用于根据预设的次级均衡规则从数据热度低于新热点数据的HB中为新热点数据选择目标HB；

热点调度单元，用于将新热点数据从后端存储资源备份到所述目标HB中。

本发明还提供一种缓存分配方法，应用于存储系统中，该存储系统包括作为二级缓存的热点资源池、后端存储资源以及一级缓存；其中所述热点资源池包括多个热点资源区HA，每个HA包括多个热点块HB，其中该方法包括：

步骤A、在出现新热点数据时判断热点资源池中是否有空闲HB，如果有则根据预设的初级均衡规则确定目标HA，从目标HA的空闲HB中为新热点数据选择目标HB；如果没有则转步骤B处理；

步骤B、根据预设的次级均衡规则从数据热度低于新热点数据的HB中为新热点数据选择目标HB；

步骤C、将新热点数据从后端存储资源备份到所述目标HB中。

相对于现有技术而言，本发明充分考虑了二级缓存资源分配过程中的均衡性问题，可大幅度提高二级缓存资源整体的利用效率。

附图说明

图1是一种典型的存储系统使用二级缓存的读数据方式示意图。

图2是现有技术中一种典型二级缓存使用不均的示意图。

图3是本发明一种实施方式中缓存分配装置的逻辑结构图。

图4是本发明一种实施方式中缓存分配方法的处理流程图。

具体实施方式

本发明从均衡性的角度重新审视作为二级缓存的热点资源池的均衡使用，借以大幅度提升二级缓存的利用效率。在整个存储系统中，热点资源池的访问速度通常低于一级缓存，但大于后端存储资源（比如由HDD构成的HDDRAID），同样，其空间容量大小也介乎一级缓存与后端存储之间，通常大于前者而小于后者。在优选的方式中，热点资源池中包括的存储介质为SSD，考虑到存储介质的多样性以及未来可能出现更多新的存储介质，本发明并不限制热点资源池中存储介质的具体形态，只不过从当前的发展来看，SSD是一种性价比较高的选择而已。在本发明中热点资源池通常包括多个热点资源区（Hot-Area,HA），HA是本发明负载均衡考察的基础对象。在优选的方式中，考虑到RAID技术的成熟性，HA的具体形态是SSD RAID。然而HA事实上是开发者对二级缓存资源的划分定义而已。其存在的形态未必是RAID，也可能是其他阵列的形式（比如常见的JBOD这样的阵列），甚至可能只是单个SSD又或者一段物理空间。在本发明中，HA又通常包括多个用来存储热点数据的热点块HB，HB可以理解为一个热点资源均衡的单位，其大小可以由开发者根据实际需要来设定。甚至开发者可以提供配置能力允许用户进行自定义。

请参考图3，在一种优选的实施方式中，本发明提供一种缓存分配装置，

该装置可运行在包括CPU、内存以及非易失存储器等硬件在内的计算机平台上，该装置在逻辑层面包括初级均衡单元、次级均衡单元以及热点均衡单元。在运行过程中，该装置执行如下处理过程。

步骤10，在出现新热点数据时，初级均衡单元判断热点资源池中是否有空闲HB，如果有则根据预设的初级均衡规则确定目标HA，从目标RAID的空闲HB中为新热点数据选择目标HB；如果没有则转步骤11处理；

步骤11，次级均衡单元根据预设的次级均衡规则从数据热度低于新热点数据的HB中为新热点数据选择目标HB；

步骤12，在目标HB确定之后，热点调度单元将新热点数据从后端存储资源备份到所述目标HB中。

存储系统通常会为多个前端主机（比如各种应用服务器）均衡逻辑空间（LUN），LUN的空间实际会映射到后端存储资源（比如HDD RAID）上的物理空间。当一个LUN上出现热点数据时，系统需要将热点数据备份一份到作为二级缓存的热点资源池中。这样后续前端主机访问该热点数据时，可以从二级缓存中获得该热点数据，其访问速度通常会明显高于后端存储资源的访问速度。热点数据的确定方式和标准并不是本发明所关注的重点，本领域普通技术人员可以参考任何已有的方式来实现。

在优选的实施方式中，热点资源池包括多个作为HA的RAID。每个RAID包括多个HB，在优选的方式中，每个HB的大小相同，其大小可以与LUN上热点统计的数据块大小相同。本发明并不排除HB大小不同的情况，只不过这种情况可能需要均衡过程中引入一些计算开销，本发明也不排除HB与LUN上热点统计数据块大小不同的情况，只不过这种情况下同样可能需要在均衡过程中引入一定的计算开销而已。本发明中，在为新热点数据选择目标HB的处理同样会首先考虑是否有空闲，但是在此基础上，本发明还引入了初级均衡规则和次级均衡规则。步骤10中的初级均衡规则可以有多种，针对不同的实际情况，对均衡性考虑的侧重点会有所不同，初级均衡规则可以有各种变化，以下提供几种优选的方式作为示例。

初级均衡规则1：将一个负载最低的HA确定为目标HA；这种规则优先考虑负载的均衡性，其可以最大限度地保证各个HA上的IO负载处于均衡状态，避免负载差距太大导致HA性能利用不均衡的问题。若热点资源池中的若HA的性能差异较大，那么初级均衡规则1是一种简单且效果较好的方案。

初级均衡规则2：将一个空闲HB最多的RAID确定为目标HA;这种均衡方式优先考虑HA所提供资源的均衡性，保证每个HA上空间均衡的尽可能地均衡，这种均衡规则比较适合于热点资源池中各个HA之间差异较小的情况。此时由于HA之间差异比较小，则空间均衡均衡的情况下，在业务随机性较大的场景中，负载也有较高的机会趋向均衡。

初级均衡规则3：判断是否有多个负载最低的HA，如果没有，则将负载最低的HA确定为目标HA，如果有，则将其中空闲HB最多的HA确定为目标HA。

初级均衡规则4：判断是否有多个空闲HB最多的HA，如果没有，则将空闲HB最多的HA确定为目标HA，如果有，则将其中负载最低的HA确定为目标HA。

初级均衡规则3和4是同时考虑了负载均衡性和空间均衡性，这两种规则具有更为通用。只不过初级均衡规则3优先考虑负载的均衡性，其次考虑空间的均衡性；而初级均衡规则4则是有限考虑空间的均衡性，其次才考虑负载的均衡性。次级均衡规则同样可以有较多的变形，以下提供两种优选的示例进行说明。

若HA上数据热度最低的HB的热度高于新热点数据，则淘汰该HA；进一步判断是否存在未淘汰的HA，如果不存在则返回，如果存在则从未淘汰的HA中选择负载最低的HA作为目标HA，从目标HA中为新热点数据选择数据热度最低的HB作为目标HB；或者

判断是否有多个HA上HB的最低数据热度相同，如果有，则将其中负载最低的HA确定为目标HA，从目标HA中选择数据热度最低的HB作为目标HB，或者

选择负载最低的HA作为目标HA，判断目标HA上数据热度最低的HB的数据热度是否低于新热点数据，如果是，则将该HB确定目标HB；如果否，则淘汰该HA并返回重新选择负载最低的HA作为目标HA。

次级均衡规则1与次级均衡规则2同时考虑了数据热度的高低与负载的均衡性，只不过前者优先考虑了负载的均衡性，而后者优先考虑了数据热度的高低，即在次级均衡规则2中如果热度最低的HB如果有多个的话，也就是说来自不同HA上的多个数据热度最低的HB具有相同的数据热度，此时优先考虑负载最低的HA。而次级均衡规则3与次级均衡规则1思路接近，

只不过在算法实现安排上略有不同。当然次级均衡规则还可以仅仅考虑负载的均衡性，或者仅仅考虑数据热度的高低等。开发者可以根据实际情况的需要来选择不同的次级均衡规则加以实施。

请参考图4，以下提供一个实例来说明上述方案的实现，在本实例中HA是由SSD RAID来实现的，以下若无特别说明，SSD RAID简称为RAID。

步骤101，在出现新热点数据时，初级均衡单元判断热点资源池中是否有空闲HB，如果有转步骤102处理，否则转步骤108处理；

步骤102，初级均衡单元确定热点资源池中负载最低的RAID；

步骤103，初级均衡单元判断是否有多个负载最低的RAID，如果是转步骤104处理，否则转步骤105处理；

步骤104，初级均衡单元将空闲HB最多的RAID确定为目标RAID，转步骤106处理；

步骤105，初级均衡单元将负载最低的RAID确定为目标RAID，转步骤106处理；

步骤106，初级均衡单元从目标RAID中选择空闲HB作为目标HB，转步骤107处理；

步骤107，热点调度单元将新热点数据从后端存储资源中备份到目标HB中并返回；

步骤108，次级均衡单元从未淘汰的RAID中选择负载最低的RAID作为目标RAID，转步骤109处理；

步骤109，次级均衡单元确定目标RAID中数据热度最低的HB，转步骤110处理；

步骤110，次级均衡单元判断该数据热度最低的HB中的数据热度是否低于新热点数据的热度，如果否，则淘汰该当前选择的目标RAID，转入步骤108重新选择，如果是，则将该数据热度最低的HB确定为目标HB，转步骤107。

当LUN上一个数据块（通常是从热点统计的角度来看的数据块）上的数据变成了热点数据，此时需要准备从热点资源池为这个热点数据均衡HB。均衡的过程先考虑是否有空闲HB，显然如果有空闲的HB，应该先把这些空闲的资源利用起来，直到空闲HB没有为止。与现有技术不同的是，本发明在考虑空闲这一因素的同时，还考虑每个RAID的负载状况。假设多个RAID都有空闲HB，此时本实施方式中使用初级均衡规则3，先考虑每个HA的负载情况，系统尽量从负载低且有空闲HB的RAID中选择HB。

负载大小的确定可以有很多种方式，如果每个RAID的性能相当，则此时可以将每个RAID上单个周期内读IO数量作为负载参数，读IO数量越多的RAID则负载越高，反之则越低。然而在实际部署中，各个RAID性能可能有差异，这种差异可能来自RAID级别的差异或者SSD本身的性能差异。在其他因素相同时，通常级别越高的RAID性能越强。在这种情况下，可以引入单个周期内平均访问时延作为加权值；此时一个RAID的负载将与其单位时间的IO数量以及单位时间的平均访问时延之积成正比，这个乘积越大，则负载越大，反之则负载越小。

如前所述，本实施方式中优先考虑RAID的负载。举例来说，假设系统中有三个RAID，每个RAID均包括20个HB，假设第一RAID上有12个空闲HB，第二RAID上有10个空闲HB，第三RAID上有8个空闲HB。显然空间上最为空闲的是第一RAID，然而考虑到不同热点数据的热度会有很大的差异，此时很有可能第一RAID上的很多HB内的热点数据的热度过热导致其负载明显大于其他两个RAID，而第三RAID虽然在空间上显得不够空闲，但由于其上热点数据的热度一般，反而有可能是负载最低的。此时如果从第一RAID上选择空闲HB，虽然从存储资源均衡的层面显得更加均衡，但这会加重第一RAID上的负载，导致其响应时延变长，主机的访问速度下降，影响到主机的访问体验。而本实施方式恰好先考虑负载均衡性的设计可以较好地保证主机的访问体验。

在存储系统运行一段时间以后，特别是整个存储系统的业务量较大的时候，此时可能出现整个热点资源池中每个RAID都没有空闲HB的情况。在这种情况下，就需要通过替换的方式来为新热点数据均衡HB。替换选择的对象是某个RAID中数据热度低于热点数据的HB，优选的方式是选择某个RAID上数据热度低于热点数据，且在本RAID上热度最低的HB。

在本实施方式中，采用次级均衡规则1。由于此时每个RAID上都没有空闲HB了。一旦这种情况出现，在不少应用场景中，这意味着有很可能每个RAID的负载都已经比较高，甚至可能都接近了饱和状态。此时虽然需要考虑负载的均衡性，但从热点数据这项应用来说，更可取的方式是尽可能将资源均衡给更热的数据，即将热度比新热点数据踢出热点资源池，将对应的HB均衡给新热点数据。

事实上，很多热点数据与时间有较大的相关性，比如一段实况的视频数据（比如直播的体育节目），其往往在特定时间段会非常热，但是这个时间段过去后，其热度可能会快速下降，再比如说一段新闻，随着时间的推移，其热度通常会慢慢地下降。因此本发明优选的方式中，依然可以先从负载最低的RAID着手，但是如果负载最低的RAID上没有数据热度低于新热点数据的HB，则淘汰掉这个RAID，再从剩余的RAID中选择负载最低的RAID，直到找到一个RAID上有数据热度低于新热点数据的HB。如果遍历了所有RAID之后依然找不到数据热度低于新热点数据的HB，则可以返回，放弃为新热点数据均衡HB的操作。

在确定了目标HB之后，热点调度单元可以将LUN上的热点数据备份出一份到目标HB上。本发明在整个均衡过程中，考虑了存储空间资源均衡的均衡性的前提下以及负载的均衡性，尤其是在各种方式中这两种均衡性的综合考虑使得本发明能够应对更为复杂的应用场景。在优选的方式中，相较于现有技术实现手段而言，本发明并没有将多个HA列为一个整体来管理，而是将每个HA都作为独立的调度和管理对象，使得HA的利用效率有极大幅度的提升，避免了现有技术中存在的各种问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和规则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种缓存分配装置，应用于存储系统中，该存储系统包括作为二级缓存的热点资源池、后端存储资源以及一级缓存；其中所述热点资源池包括多个热点资源区HA，每个HA包括多个热点块HB，该装置包括初级均衡单元、次级均衡单元以及热点调度单元；其特征在于：

初级均衡单元，用于在出现新热点数据时判断热点资源池中是否有空闲HB，如果有则根据预设的初级均衡规则确定目标HA，从目标HA的空闲HB中为新热点数据选择目标HB；如果没有则转次级均衡单元处理；

次级均衡单元，用于根据预设的次级均衡规则从数据热度低于新热点数据的HB中为新热点数据选择目标HB；

热点调度单元，用于在目标HB确定之后，将新热点数据从后端存储资源备份到所述目标HB中。

2.如权利要求1所述的装置，其特征在于，所述次级均衡规则具体为：

若HA上数据热度最低的HB的热度高于新热点数据，则淘汰该HA；进一步判断是否存在未淘汰的HA，如果不存在则返回，如果存在则从未淘汰的HA中选择负载最低的HA作为目标HA，从目标HA中为新热点数据选择数据热度最低的HB作为目标HB；或者

判断是否有多个HA上HB的最低数据热度相同，如果有，则将其中负载最低的HA确定为目标HA，从目标HA中选择数据热度最低的HB作为目标HB，或者

选择负载最低的HA作为目标HA，判断目标HA上数据热度最低的HB的数据热度是否低于新热点数据，如果是，则将该HB确定目标HB；如果否，则淘汰该HA并返回重新选择负载最低的HA作为目标HA。

3.如权利要求1所述的装置，其特征在于，所述初级均衡规则为：

将一个负载最低的HA确定为目标HA；或者

将一个空闲HB最多的HA确定为目标HA;或者

判断是否有多个负载最低的HA，如果没有，则将负载最低的HA确定为目标HA，如果有，则将其中空闲HB最多的HA确定为目标HA；或者

判断是否有多个空闲HB最多的HA，如果没有，则将空闲HB最多的HA确定为目标HA，如果有，则将其中负载最低的HA确定为目标HA。

4.如权利要求1所述的装置，其特征在于，所述HA的负载是根据HA的读IO数量与HA的访问时延确定的，且每个HA的负载与该HA的读IO数量与的访问时延的乘积成正比。

5.如权利要求1所述的装置，其特征在于，所述热点资源池的访问速度大于后端存储资源的访问速度，且小于一级缓存的访问速度；热点资源池的存储容量小于后端存储资源的存储容量，且大于一级缓存的存储容量。

6.一种缓存分配方法，应用于存储系统中，该存储系统包括作为二级缓存的热点资源池、后端存储资源以及一级缓存；其中所述热点资源池包括多个热点资源区HA，每个HA包括多个热点块HB，其特征在于，该方法包括：

步骤A、在出现新热点数据时判断热点资源池中是否有空闲HB，如果有则根据预设的初级均衡规则确定目标HA，从目标HA的空闲HB中为新热点数据选择目标HB；如果没有则转步骤B处理；

步骤B、根据预设的次级均衡规则从数据热度低于新热点数据的HB中为新热点数据选择目标HB；

步骤C、在目标HB确定之后，将新热点数据从后端存储资源备份到所述目标HB中。

7.如权利要求6所述的方法，其特征在于，所述次级均衡规则具体为：

若HA上数据热度最低的HB的热度高于新热点数据，则淘汰该HA；进一步判断是否存在未淘汰的HA，如果不存在则返回，如果存在则从未淘汰的HA中选择负载最低的HA作为目标HA，从目标HA中为新热点数据选择数据热度最低的HB作为目标HB；或者

判断是否有多个HA上HB的最低数据热度相同，如果有，则将其中负载最低的HA确定为目标HA，从目标HA中选择数据热度最低的HB作为目标HB，或者

选择负载最低的HA作为目标HA，判断目标HA上数据热度最低的HB的数据热度是否低于新热点数据，如果是，则将该HB确定目标HB；如果否，则淘汰该HA并返回重新选择负载最低的HA作为目标HA。

8.如权利要求6所述的方法，其特征在于，所述初级均衡规则为：

将一个负载最低的HA确定为目标HA；或者

将一个空闲HB最多的HA确定为目标HA;或者

判断是否有多个负载最低的HA，如果没有，则将负载最低的HA确定为目标HA，如果有，则将其中空闲HB最多的HA确定为目标HA；或者

判断是否有多个空闲HB最多的HA，如果没有，则将空闲HB最多的HA确定为目标HA，如果有，则将其中负载最低的HA确定为目标HA。

9.如权利要求6所述的方法，其特征在于，所述HA的负载是根据HA的读IO数量与HA的访问时延确定的，且每个HA的负载与该HA的读IO数量与的访问时延的乘积成正比。

10.如权利要求6所述的方法，其特征在于，所述热点资源池的访问速度大于后端存储资源的访问速度，且小于一级缓存的访问速度；热点资源池的存储容量小于后端存储资源的存储容量，且大于一级缓存的存储容量。