CN105095113B - 一种缓存管理方法和系统 - Google Patents

Abstract

本发明公开了一种缓存管理方法和系统，包括：对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。通过逻辑地址未检索到缓存中存在该数据块时，获取逻辑地址所对应的物理地址，通过物理地址检索缓存中是否存在该数据块。当通过物理地址检索到缓存中存在该数据块时，在缓存中对访问请求进行处理。当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有该数据块，通过物理地址到底层硬件存储设备中获取该数据块。将获取的数据块放入缓存中，并对其添加逻辑地址索引和物理地址索引，在缓存中对访问请求进行处理。通过本发明的方案，能够避免缓存中缓存多份相同的数据块，从而提高缓存的利用率。

Description

一种缓存管理方法和系统

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种缓存管理方法和系统。

背景技术

在存储系统中，为了提供系统性能，对于数据块的IO请求，首先查询请求处理的数据块是否在缓存中，如果在缓存中，直接在缓存中处理；否则需要访问底层磁盘设备并把数据块放入缓存进行处理。具有去重功能的存储系统，数据去重后，存在上层多个逻辑块对应底层一个物理块的情况，而上层的IO请求携带的是数据块的逻辑地址信息，通过逻辑地址索引查找缓存中是否存在该数据块，就会出现缓存中存在该数据块，但是检索不到的情况。例如，假设逻辑地址LA1跟LA2同时对应物理地址PA1，如果有IO请求访问LA1中的数据，缓存中并没有LA1的信息，但是存在LA2的信息以及对应的数据块，即：逻辑地址LA1对应的物理块其实是在缓存中的。在用LA1来检索缓存时，由于缓存中无LA1信息，认为缓存中不存在要访问的数据块，此时会访问磁盘，把物理地址PA1对应的数据块读入缓存，并生成LA1对应的缓存检索信息。此时在缓存中就存在两份相同的物理地址PA1对应的数据块，由于缓存中存在数据副本，导致缓存的利用率降低。

发明内容

为了解决上述问题，本发明提出了一种缓存管理方法和系统，能够避免缓存中缓存多份相同的数据块，从而提高缓存的利用率。

为了达到上述目的，本发明提出了一种缓存管理方法，该方法适用于具有去重功能的存储系统，该方法包括：

对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。

当通过逻辑地址未检索到缓存中存在访问请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在访问请求所对应的数据块。

当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有访问请求所对应的数据块，通过物理地址到底层硬件存储设备中获取该数据块。

将获取的数据块放入缓存中，并对放入缓存的数据块添加逻辑地址索引和物理地址索引，在缓存中对访问请求进行处理。

优选地，该方法还包括：

在具有去重功能的存储系统中，通过存储池统一管理底层硬件存储设备中的数据块，并向上层应用提供逻辑卷形式的数据块。

其中，逻辑卷的地址为逻辑地址，逻辑地址通过空间分配与底层硬件存储设备的物理地址形成映射关系；在该映射关系中，一个或多个逻辑地址对应一个物理地址。

优选地，该方法还包括：

当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

优选地，访问请求包括写请求；当访问请求为写请求时：

当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息。

优选地，

当访问请求为写请求时，当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息；删除经过写操作后的数据块原有的全部逻辑地址到数据块的索引信息；添加写请求的逻辑地址到经过写操作后的数据块的索引信息。

为了达到上述目的，本发明还提出了一种缓存管理系统，该缓存管理系统适用于具有去重功能的存储系统，该缓存管理系统包括：第一检索模块、第二检索模块、第一处理模块、获取模块和第二处理模块。

第一检索模块，用于对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。

第二检索模块，用于当通过逻辑地址未检索到缓存中存在访问请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在访问请求所对应的数据块。

第一处理模块，用于当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

获取模块，用于当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有访问请求所对应的数据块，通过物理地址到底层硬件存储设备中获取数据块。

第二处理模块，用于将获取的数据块放入缓存中，并对放入所述缓存的所述数据块添加逻辑地址索引和物理地址索引，在所述缓存中对所述访问请求进行处理。

优选地，缓存管理系统还包括：管理模块。

管理模块，用于在具有去重功能的存储系统中，通过存储池统一管理底层硬件存储设备中的数据块，并向所述上层应用提供逻辑卷形式的数据块。

其中，逻辑卷的地址为逻辑地址，逻辑地址通过空间分配与底层硬件存储设备的物理地址形成映射关系；在该映射关系中，一个或多个逻辑地址对应一个物理地址。

优选地，第一处理模块还用于：

当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

优选地，访问请求包括写请求；当访问请求为写请求时：

第一处理模块当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息。

优选地，

当访问请求为写请求时，第一处理模块当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息；删除经过写操作后的数据块原有的全部逻辑地址到数据块的索引信息；添加写请求的逻辑地址到经过写操作后的数据块的索引信息。

与现有技术相比，本发明包括：对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。当通过逻辑地址未检索到缓存中存在访问请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在访问请求所对应的数据块。当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有访问请求所对应的数据块，通过物理地址到底层硬件存储设备中获取该数据块。将获取的数据块放入缓存中，并对放入缓存的数据块添加逻辑地址索引和物理地址索引，在缓存中对访问请求进行处理。通过本发明的方案，能够避免缓存中缓存多份相同的数据块，从而提高缓存的利用率。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。

图1为本发明的缓存管理方法流程图；

图2为本发明的数据结构图；

图3为本发明实施例的读操作缓存管理方法流程图；

图4为本发明实施例的写操作缓存管理方法流程图；

图5为本发明的缓存管理系统组成框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。

本发明提供了一种通过存储空间的逻辑地址(Logical Address)和物理地址(Physical Address)两种方式对缓存进行索引的缓存管理方法，在缓存管理模块同时维护逻辑地址和物理地址到缓存的检索信息。在数据访问时，首先用逻辑地址检索，缓存中是否存在对应数据块，如果检索不到，继续用物理地址进行检索，如果还是检索不到，才认为缓存中没有对应的数据块，这时才会从磁盘获取对应数据块放入缓存中。此方法能够避免缓存中缓存多份相同的数据块，从而提高缓存的利用率，同时能够保证数据的一致性。

为了达到上述目的，本发明提出了一种缓存管理方法，如图1所示，该方法适用于具有去重功能的存储系统。其中，去重功能是指：如果上层应用需要从底层硬件存储设备中获得的存储资源为具有不同的逻辑地址的数据块，并且具有不同的逻辑地址的数据块中的一部分数据块或者全部数据块相同，则相同的数据块在底层硬件存储设备上只存储一份。

具体地，该缓存管理方法包括：

S101、对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。

优选地，该方法还包括：

当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

在本发明实施例中，该访问请求包括读请求和写清求。

当该访问请求为读请求时，首先通过读请求携带的逻辑地址信息索引读取的数据块是否在缓存中，如果检索到，在缓存中处理该读请求。如图3所示。

优选地，如图4所示，当访问请求为写请求时：

当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息。

在本发明实施例中，因为缓存中不存在数据副本的情况，所以上层的逻辑数据块与缓存中的数据块就形成了多对一的映射的关系。例如，逻辑地址为LA1和逻辑地址为LA2的数据块同时对应缓存中的数据块CA1，如果用户A对逻辑地址为LA1数据块进行写操作，那么缓存中的数据块CA1就会被修改，之后如果用户B对逻辑地址为LA2的数据块进行读操作，读到的为缓存中已被修改数据块CA1，用户B读到是被用户A修改过得数据，对用户B来说为脏数据，是不正确的数据。因此对于写操作需要做特殊的处理，用户A的写操作修改了缓存中的数据块CA1时，把该数据块物理地址PA1到该缓存数据块CA1的索引数据删除，这样能够保证很好地保持数据的。

S102、当通过逻辑地址未检索到缓存中存在访问请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在访问请求所对应的数据块。

在本发明实施例中，需要在缓存管理模同时维护数据块的逻辑地址和物理地址到缓存的检索信息。如图2所示，数据结构CacheHashLogicAddr和CacheHashPhysicAddr分别为hash key为逻辑地址和物理地址的hash表，hash表的元素为数据指针,指向数据结构为CacheMap的缓存映射表。因为写流程可能需要删除逻辑地址和物理地址到缓存块的索引信息，因此数据映射表CacheMap同时维护数据指针logic_addr_ptr和physic_addr_ptr分别指向CacheHashLogicAddr和CacheHashPhysicAddr两个hash表的对应数据项。缓存映射表CacheMap的成员数组page_ptr[]指向存储该数据块的page cache，如果存储系统数据块大小为16K，page cache的大小为4K，那么需要4个page cache缓存一个数据块数据。

在本发明实施例中，由于该访问请求包括读请求和写清求。

对于读请求和写请求，当通过逻辑地址未检索到缓存中存在该读请求或写请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在该读请求或写请求所对应的数据块。如图3、图4所示。

S103、当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

在本发明实施例中，对于读请求，当通过物理地址检索到缓存中存在该读请求所对应的数据块时，直接在缓存中对该读请求进行处理。如图3所示。

优选地，

如图4所示，当访问请求为写请求时，当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息；删除经过写操作后的数据块原有的全部逻辑地址到数据块的索引信息；添加写请求的逻辑地址到经过写操作后的数据块的索引信息。

S104、当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有访问请求所对应的数据块，通过物理地址到底层硬件存储设备中获取该数据块。

S105、将获取的数据块放入缓存中，并对放入缓存的数据块添加逻辑地址索引和物理地址索引，在缓存中对访问请求进行处理。

优选地，该方法还包括：

在具有去重功能的存储系统中，通过存储池统一管理底层硬件存储设备中的数据块，并向上层应用提供逻辑卷形式的数据块。

其中，逻辑卷的地址为逻辑地址，逻辑地址通过空间分配与底层硬件存储设备的物理地址形成映射关系；在该映射关系中，一个或多个逻辑地址对应一个物理地址。

在本发明实施例中，上层应用通过数据块的逻辑地址与映射关系获得数据块的物理地址，并通过物理地址获得数据块在底层硬件存储设备中的相应位置。

为了达到上述目的，本发明还提出了一种缓存管理系统01，如图5所示，该缓存管理系统适用于具有去重功能的存储系统，其中，去重功能是指：如果上层应用需要从底层硬件存储设备中获得的存储资源为具有不同的逻辑地址的数据块，并且具有不同的逻辑地址的数据块中的一部分数据块或者全部数据块相同，则相同的数据块在底层硬件存储设备上只存储一份。

该缓存管理系统01包括：第一检索模块02、第二检索模块03、第一处理模块04、获取模块05和第二处理模块06。

第一检索模块02，用于对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。

第二检索模块03，用于当通过逻辑地址未检索到缓存中存在访问请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在访问请求所对应的数据块。

第一处理模块04，用于当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

获取模块05，用于当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有访问请求所对应的数据块，通过物理地址到底层硬件存储设备中获取数据块。

第二处理模块06，用于将获取的数据块放入缓存中，并对放入所述缓存的所述数据块添加逻辑地址索引和物理地址索引，在所述缓存中对所述访问请求进行处理。

优选地，缓存管理系统01还包括：管理模块07。

管理模块07，用于在具有去重功能的存储系统中，通过存储池统一管理底层硬件存储设备中的数据块，并向所述上层应用提供逻辑卷形式的数据块。

其中，逻辑卷的地址为逻辑地址，逻辑地址通过空间分配与底层硬件存储设备的物理地址形成映射关系；在该映射关系中，一个或多个逻辑地址对应一个物理地址；上层应用通过数据块的逻辑地址与映射关系获得数据块的物理地址，并通过物理地址获得数据块在底层硬件存储设备中的相应位置。

优选地，第一处理模块04还用于：

当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。

优选地，访问请求包括写请求；当访问请求为写请求时：

第一处理模块04当通过逻辑地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息。

优选地，

当访问请求为写请求时，第一处理模块04当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理包括：

对缓存中的写清求对应的数据块进行写操作，将经过写操作后的数据块置为脏，并删除经过写操作后的数据块的物理地址到数据块的索引信息；删除经过写操作后的数据块原有的全部逻辑地址到数据块的索引信息；添加写请求的逻辑地址到经过写操作后的数据块的索引信息。

与现有技术相比，本发明包括：对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在访问请求所对应的数据块。当通过逻辑地址未检索到缓存中存在访问请求所对应的数据块时，通过预设的逻辑地址与物理地址的映射关系获取逻辑地址所对应的物理地址，通过所获取的物理地址检索缓存中是否存在访问请求所对应的数据块。当通过物理地址检索到缓存中存在访问请求所对应的数据块时，在缓存中对访问请求进行处理。当通过物理地址未检索到缓存中存在访问请求对应的数据块时，判定缓存中没有访问请求所对应的数据块，通过物理地址到底层硬件存储设备中获取该数据块。将获取的数据块放入缓存中，并对放入缓存的数据块添加逻辑地址索引和物理地址索引，在缓存中对访问请求进行处理。通过本发明的方案，能够避免缓存中缓存多份相同的数据块，从而提高缓存的利用率。

需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (4)

1.一种缓存管理方法，其特征在于，所述方法适用于具有去重功能的存储系统，所述方法包括：

对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在所述访问请求所对应的数据块；

当通过所述逻辑地址未检索到所述缓存中存在所述访问请求所对应的数据块时，通过预设的所述逻辑地址与物理地址的映射关系获取所述逻辑地址所对应的物理地址，通过所获取的所述物理地址检索缓存中是否存在所述访问请求所对应的数据块；

当通过所述物理地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理；

当通过所述物理地址未检索到所述缓存中存在所述访问请求对应的数据块时，判定所述缓存中没有所述访问请求所对应的数据块，通过所述物理地址到底层硬件存储设备中获取所述数据块；

将获取的所述数据块放入所述缓存中，并对放入所述缓存的所述数据块添加逻辑地址索引和物理地址索引，在所述缓存中对所述访问请求进行处理；

其中，当通过所述逻辑地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理；

所述访问请求包括写请求；当所述访问请求为写请求时：

所述当通过所述逻辑地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理包括：

对所述缓存中的所述写请 求对应的数据块进行写操作，将经过写操作后的所述数据块置为脏，并删除经过写操作后的所述数据块的物理地址到所述数据块的索引信息；

当所述访问请求为写请求时，所述当通过所述物理地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理包括：

对所述缓存中的所述写请 求对应的数据块进行写操作，将经过写操作后的所述数据块置为脏，并删除经过写操作后的所述数据块的物理地址到所述数据块的索引信息；删除经过写操作后的所述数据块原有的全部逻辑地址到所述数据块的索引信息；添加所述写请求的逻辑地址到经过写操作后的所述数据块的索引信息。

2.如权利要求1所述的缓存管理方法，其特征在于，所述方法还包括：

在所述具有去重功能的存储系统中，通过存储池统一管理所述底层硬件存储设备中的所述数据块，并向所述上层应用提供逻辑卷形式的数据块；

其中，所述逻辑卷的地址为所述逻辑地址，所述逻辑地址通过空间分配与所述底层硬件存储设备的物理地址形成所述映射关系；在所述映射关系中，一个或多个所述逻辑地址对应一个所述物理地址。

3.一种缓存管理系统，其特征在于，所述缓存管理系统适用于具有去重功能的存储系统，所述缓存管理系统包括：第一检索模块、第二检索模块、第一处理模块、获取模块和第二处理模块；

所述第一检索模块，用于对于上层应用的访问请求，通过逻辑地址检索缓存中是否存在所述访问请求所对应的数据块；

所述第二检索模块，用于当通过所述逻辑地址未检索到所述缓存中存在所述访问请求所对应的数据块时，通过预设的所述逻辑地址与物理地址的映射关系获取所述逻辑地址所对应的物理地址，通过所获取的所述物理地址检索缓存中是否存在所述访问请求所对应的数据块；

所述第一处理模块，用于当通过所述物理地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理；

所述获取模块，用于当通过所述物理地址未检索到所述缓存中存在所述访问请求对应的数据块时，判定所述缓存中没有所述访问请求所对应的数据块，通过所述物理地址到底层硬件存储设备中获取所述数据块；

所述第二处理模块，用于将获取的所述数据块放入所述缓存中，并对放入所述缓存的所述数据块添加逻辑地址索引和物理地址索引，在所述缓存中对所述访问请求进行处理；

其中，所述第一处理模块还用于：

当通过所述逻辑地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理；

所述访问请求包括写请求；当所述访问请求为写请求时：

所述第一处理模块当通过所述逻辑地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理包括：

对所述缓存中的所述写请 求对应的数据块进行写操作，将经过写操作后的所述数据块置为脏，并删除经过写操作后的所述数据块的物理地址到所述数据块的索引信息；

当所述访问请求为写请求时，所述第一处理模块当通过所述物理地址检索到所述缓存中存在所述访问请求所对应的数据块时，在所述缓存中对所述访问请求进行处理包括：

对所述缓存中的所述写请 求对应的数据块进行写操作，将经过写操作后的所述数据块置为脏，并删除经过写操作后的所述数据块的物理地址到所述数据块的索引信息；删除经过写操作后的所述数据块原有的全部逻辑地址到所述数据块的索引信息；添加所述写请求的逻辑地址到经过写操作后的所述数据块的索引信息。

4.如权利要求3所述的缓存管理系统，其特征在于，所述缓存管理系统还包括：管理模块；

所述管理模块，用于在所述具有去重功能的存储系统中，通过存储池统一管理所述底层硬件存储设备中的所述数据块，并向所述上层应用提供逻辑卷形式的数据块；

其中，所述逻辑卷的地址为所述逻辑地址，所述逻辑地址通过空间分配与所述底层硬件存储设备的物理地址形成所述映射关系；在所述映射关系中，一个或多个所述逻辑地址对应一个所述物理地址。