CN106708750A - 存储系统的缓存预读方法及系统 - Google Patents

Abstract

本发明涉及计算机存储技术领域，尤其涉及存储系统的缓存预读方法。本发明通过建立多个局部地址空间，通过数据对象维护每个局部地址空间的数据访问信息，构建统计参数来进行预读的决策，包括局部地址空间的访问热度和局部地址空间中预读有效性；然后根据访问热度以及预读有效性，决定是否进行预读以及预读多大数据块。本发明通过动态统计数据访问的特点，无论是在随机访问的场景下还是顺序访问的场景下，都能很好的进行数据访问的预判，大大提升缓存的命中率，提升系统的访问性能。

Description

存储系统的缓存预读方法及系统

技术领域

本发明涉及计算机存储技术领域，尤其涉及存储系统的缓存预读方法及系统。

背景技术

在存储系统中，由于内存和磁盘的性能差异，为了提高系统访问效率，会把部分数据的副本缓存到内存中，当进行数据访问时，首先尝试访问缓存，如果缓存不命中，再从后端磁盘访问。预读的思想是把后续可能会被访问的数据，提前放到缓存中，这样后续的数据访问，可以直接访问缓存而无需访问后端磁盘，从而提升访问效率。然而后续会访问哪些数据是未知的，这就需要通过预读算法确定把哪些数据提前放到缓存中，预读算法的好坏决定了后续数据访问的缓存命中率。

当前的许多预读算法是通过判断当前I/O访问是否是顺序访问，如果是顺序访问则进行预读，这种方法对于顺序访问的场景，对数据访问的预判比较准确，但是对于随机访问的场景，数据访问的预判准确率不高。

发明内容

鉴于此，本方法提供的一种存储系统的预读算法及系统，通过动态统计数据访问的特点，无论是在随机访问的场景下还是顺序访问的场景下，都能很好的进行数据访问的预判，大大提升缓存的命中率，提升系统的访问性能。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明提供一种存储系统的缓存预读方法，包括：

多个局部地址空间中，维护每个局部地址空间的数据访问信息；

根据数据访问信息，计算局部地址空间的访问热度和预读有效性；

根据局部地址空间的访问热度和预读有效性的值进行预读的决策。

其中，维护每个局部地址空间的数据访问信息之前，还包括：

在存储系统中，配置多个局部地址空间。

进一步地，维护每个局部地址空间的数据访问信息，包括：

维护该局部地址空间的起始地址，维护该局部地址空间的访问计数，维护从该局部地址空间预读的数据量，维护从该局部地址空间预读到缓存中数据被命中的数量。

进一步地，计算局部地址空间的访问热度和预读有效性，包括：

维护全局地址空间的访问计数；

将局部地址空间的访问计数除以全局地址空间的访问计数得到该局部地址空间的访问热度，将从局部地址空间预读到缓存中数据被命中的数量除以从局部地址空间预读的数据量得到该局部地址空间的预读有效性。

优选地，维护每个局部地址空间的数据访问信息，还包括：

通过数据对象维护每个局部地址空间的数据访问信息；

通过链表组织数据对象。

进一步地，通过链表组织数据对象，包括：

将链表中的数据对象组织成哈希表。

优选地，通过链表组织数据对象，包括：

当数据对象数量达到链表上限，采用页面置换算法保存新的数据对象至链表。

其中，根据局部地址空间的访问热度和预读有效性的值进行预读的决策，包括：

根据局部地址空间的访问热度和预读有效性的值，判断是否对局部地址空间进行预读以及预读数据块的大小；

综合访问热度和预读有效性的值计算权重，预读数据块大小等于触发本次预读的访问的数据块大小乘以权重。

本发明提供一种存储系统的缓存预读系统，包括：多个局部地址空间、信息维护单元、计算单元和预读判断单元，其中：

信息维护单元包括多个局部地址空间的数据访问信息和全局地址空间的访问信息，每个局部地址空间的数据访问信息包括：该局部地址空间的起始地址、该局部地址空间的访问计数、从该局部地址空间预读的数据量和从该局部地址空间预读到缓存中数据被命中的数量，全局地址空间的数据访问信息包括全局地址空间的访问计数；

计算单元根据局部地址空间的数据访问信息和全局地址空间的数据访问信息，计算局部地址空间的访问热度和预读有效性；

预读判断单元根据局部地址空间的访问热度和预读有效性的值，进行预读的决策。

进一步地，还包括：链表和多个数据对象，其中：

每个数据对象对应一个局部地址空间，保存该局部地址空间的数据访问信息；多个数据对象通过链表进行组织。

本发明提供一种存储系统的缓存预读方法，具有如下有益效果：

1.本发明将存储系统划分为多个局部地址空间，并维护局部地址空间的数据访问信息，计算每个局部地址空间的访问热度和预读有效性，之后通过预读算法识别出后续可能被访问的数据，预先读取到缓存中，后续数据访问时，可以直接访问缓存，提升数据访问效率，判断是否进行预读，以及预读时，读取哪些数据到缓存中的方法，预读算法的优劣决定了后续数据访问缓存命中的率的高低，本发明的预读算法能提升缓存的命中率，提高系统访问性能；

2.依据数据访问的局部性原则，统计局部地址空间的数据访问特点，依据统计的局部地址空间的数据访问特点，决策是否进行预读，以及预读时，预读哪些数据，本发明的预读算法无论是在随机访问的场景下还是顺序访问的场景下，都能很好的进行数据访问的预判。

存储系统的缓存预读系统与存储系统的缓存预读方法的有益效果类似，不再赘述。

附图说明：

图1为本发明实施例所提供的存储系统的缓存预读方法的流程示意图；

图2为本发明实施例所提供的存储系统的缓存预读方法的另一种实施方式的流程示意图；

图3为本发明实施例所提供的存储系统的缓存预读系统的框架图；

图4为本发明实施例所提供的存储系统的缓存预读系统的另一种实施方式的框架图；

具体实施方式：

本发明的核心是提供一种存储系统的缓存预读方法及系统，主要解决预读中的以下三个问题：

1.是否进行预读；

2.如果进行预读，预读数据的起始地址；

3.如果进行预读，预读的数据量。

通过预读算法识别出后续可能被访问的数据，预先读取到缓存中，后续数据访问时，可以直接访问缓存，提升数据访问效率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的存储系统的缓存预读方法的流程示意图，存储系统的缓存预读方法包括：

步骤S101、多个局部地址空间中，维护每个局部地址空间的数据访问信息；

步骤S102、根据数据访问信息，计算局部地址空间的访问热度和预读有效性；

步骤S103、根据局部地址空间的访问热度和预读有效性的值进行预读的决策。

请参考图2，图2为本发明实施例所提供的存储系统的缓存预读方法的另一种实施方式的流程示意图；存储系统的缓存预读方法包括：

步骤S201、在存储系统中，配置多个局部地址空间；

作为一种实施方式，可以将局部地址空间的大小均设置为32MB。

作为另一种实施方式，可以将局部地址空间的数量设置为不超过8192个，因为数据对象的与局部地址空间是一一对应的关系，因此数据对象的数量也不吵8192个。

步骤S202、通过数据对象维护每个局部地址空间的数据访问信息；

其中，通过pretchRegion对象维护每个局部地址空间的数据访问信息，每个局部地址空间的数据访问信息包括：该局部地址空间的起始地址lba、访问该局部地址空间的计数accessCount、从该局部地址空间预读的数据量agePrefetch以及从该局部地址空间预读到缓存中数据被命中的数量pageHit。

步骤S203、通过链表组织数据对象；在本实施方式中，可以将多个prefechRegion对象的通过LUR链表组织形式，多个pretchRegion对象通过以一个LRU链表组织起来，其中，LRU即Least Recently Used，如果链表中多个pretchRegion对象已经用尽，当需要保存新的局部地址空间的访问信息，就采用LRU算法，把最久未访问的局部地址空间的数据删除，用来存放最新被访问的局部地址空间的数据。同时多个pretchRegion对象组织成hash表的形式，pretchRegion对象中的lba作为hash表的key，当需要查找局部地址空间的访问数据时，就可以通过hash算法进行查找，提升查找效率。

步骤S204、维护全局地址空间的访问计数；

其中，全局地址空间的访问计数记为：globalAccessCount；

步骤S205、根据数据访问信息，计算局部地址空间的访问热度和预读有效性；

其中，局部地址空间的访问热度记为heat；局部地址空间中预读有效性记为effectiveness；因此结合局部地址空间和全局地址空间的访问信息，得到局部地址空间的访问热度heat=accessCount/globalAccessCount*100，以及局部地址空间的预读有效性effectiveness=pageHit/pagePrefetch*100；

步骤S206、根据局部地址空间的访问热度和预读有效性的值进行预读的决策；

根据上一步骤中所得到的局部地址空间的heat以及effectiveness的值，决定是否进行预读以及预读多大数据块：对于heat和effectiveness值较高的局部地址空间，预读较大的数据块到缓存中，反之，预读较小的数据块到缓存中。

作为一种实施方式，可以综合访问热度和预读有效性的值计算权重，预读数据块大小等于触发本次预读的访问的数据块大小乘以权重，具体为：综合heat和effectiveness的值计算出权重weight，预读的数据块大小等于触发本次预读的I/O访问的数据块大小乘以权重weight。当计算得到的权重weight为0时则不进行预读操作。如果进行预读，预读起始位置为触发本次预读的I/O访问的结束位置。所述权重weight为0时则不进行预读操作，权重weight的计算方法参照下表：

例如，当heat=45%、effectiveness=40%时，权重weight的值为2；当heat=65%、effectiveness=40%时，权重weight的值为4。

本实施例所述缓存预读方法的理论依据为数据访问的局部性原理，通过I/O请求所在局部地址空间的数据访问特点来决定预读多少数据的问题。本算法通过两个统计参数来进行预读的决策，第一个参数是这个局部地址空间的访问热度，记为heat，可通过局部地址空间的访问次数除以总地址空间的访问次数得到；第二个参数是这个局部地址空间中预读的有效性，即通过预读缓存到缓存中的数据有多少数据被访问了，记为effectiveness，通过该局部地址空间中预读到缓存缓存的数据中被访问的数据量除以总数据量得到。在算法中，局部地址空间的大小设置为32MB，参考图2，图2为本发明的prefechRegion对象示意图，建立pretchRegion对象作为数据对象，来维护一个局部地址空间的数据访问信息。其中pretchRegion对象中，lba为该局部地址空间的起始地址，accessCount为访问该局部地址空间的计数，pagePrefetch为从该局部地址空间预读的数据量，pageHit为从该局部地址空间预读到缓存中数据被命中的数量。

在该算法中预读的触发是由I/O方法触发的，当I/O访问在缓存中没有命中，在I/O访问结束后，则会根据保存的该I/O所访问的局部地址空间访问数据判断是否进行预读，即根据局部地址空间的heat以及effectiveness,决定是否进行预读以及预读多大数据块。heat以及effectiveness值越高，说明预读到缓存的数据越可能被访问到，反之，被访问的可能性低。所以对于那些heat和effectiveness高的局部地址空间，在预读时，预读较大的数据块到缓存中，反之，预读较小的数据块到缓存中。

请参考图3，图3为本发明实施例所提供的存储系统的缓存预读系统的框架图；本实施例提供一种存储系统的缓存预读系统，包括：多个局部地址空间301、信息维护单元302、计算单元303和预读判断单元304，其中：

信息维护单元302包括多个局部地址空间的数据访问信息和全局地址空间的访问信息，每个局部地址空间的数据访问信息包括：该局部地址空间的起始地址lba、访问该局部地址空间的计数accessCount、从该局部地址空间预读的数据量agePrefetch以及从该局部地址空间预读到缓存中数据被命中的数量pageHit，全局地址空间的数据访问信息包括全局地址空间的访问计数globalAccessCount；

计算单元303根据局部地址空间的数据访问信息和全局地址空间的数据访问信息，计算局部地址空间的访问热度heat和预读有效性effectiveness；

预读判断单元304根据局部地址空间的访问热度heat和预读有效性effectiveness的值，进行预读的决策。预读的决策为：对于那些heat和effectiveness高的局部地址空间，在预读时，预读较大的数据块到缓存中，反之，预读较小的数据块到缓存中。

请参考图4，图4为本发明实施例所提供的存储系统的缓存预读系统的另一种实施方式的框架图；本实施例提供另一种存储系统的缓存预读系统，包括：多个局部地址空间401、信息维护单元402、计算单元403和预读判断单元404，其中：

信息维护单元402包括多个局部地址空间的数据访问信息和全局地址空间的访问信息，每个局部地址空间的数据访问信息包括：该局部地址空间的起始地址lba、访问该局部地址空间的计数accessCount、从该局部地址空间预读的数据量agePrefetch以及从该局部地址空间预读到缓存中数据被命中的数量pageHit，全局地址空间的数据访问信息包括全局地址空间的访问计数globalAccessCount；

计算单元403根据局部地址空间的数据访问信息和全局地址空间的数据访问信息，计算局部地址空间的访问热度heat和预读有效性effectiveness；

预读判断单元404根据局部地址空间的访问热度heat和预读有效性effectiveness的值，进行预读的决策。预读的决策为：对于那些heat和effectiveness高的局部地址空间，在预读时，预读较大的数据块到缓存中，反之，预读较小的数据块到缓存中。

进一步地，还包括：链表405和多个数据对象406，其中：

通过数据对象，即pretchRegion对象406维护每个局部地址空间的数据访问信息，每个数据对象对应一个局部地址空间，保存该局部地址空间的数据访问信息；多个数据对象通过链表进行组织。

以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围，任何本领域的技术人员在不脱离本发明构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (10)

1.一种存储系统的缓存预读方法，其特征在于，包括：

多个局部地址空间中，维护每个局部地址空间的数据访问信息；

根据数据访问信息，计算局部地址空间的访问热度和预读有效性；

根据局部地址空间的访问热度和预读有效性的值进行预读的决策。

2.根据权利要求1所述的存储系统的缓存预读方法，其特征在于，维护每个局部地址空间的数据访问信息之前，还包括：

在存储系统中，配置多个局部地址空间。

3.根据权利要求1所述的存储系统的缓存预读方法，其特征在于，维护每个局部地址空间的数据访问信息，包括：

维护该局部地址空间的起始地址，维护该局部地址空间的访问计数，维护从该局部地址空间预读的数据量，维护从该局部地址空间预读到缓存中数据被命中的数量。

4.根据权利要求3所述的存储系统的缓存预读方法，其特征在于，计算局部地址空间的访问热度和预读有效性，包括：

维护全局地址空间的访问计数；

将局部地址空间的访问计数除以全局地址空间的访问计数得到该局部地址空间的访问热度，将从局部地址空间预读到缓存中数据被命中的数量除以从局部地址空间预读的数据量得到该局部地址空间的预读有效性。

5.根据权利要求1所述的存储系统的缓存预读方法，其特征在于，维护每个局部地址空间的数据访问信息，还包括：

通过数据对象维护每个局部地址空间的数据访问信息；

通过链表组织数据对象。

6.根据权利要求5所述的存储系统的缓存预读方法，其特征在于，通过链表组织数据对象，包括：

将链表中的数据对象组织成哈希表。

7.根据权利要求5所述的存储系统的缓存预读方法，其特征在于，通过链表组织数据对象，包括：

当数据对象数量达到链表上限，采用页面置换算法保存新的数据对象至链表。

8.根据权利要求1所述的存储系统的缓存预读方法，其特征在于，根据局部地址空间的访问热度和预读有效性的值进行预读的决策，包括：

根据局部地址空间的访问热度和预读有效性的值，判断是否对局部地址空间进行预读以及预读数据块的大小；

综合访问热度和预读有效性的值计算权重，预读数据块大小等于触发本次预读的访问的数据块大小乘以权重。

9.一种存储系统的缓存预读系统，其特征在于，包括：多个局部地址空间、信息维护单元、计算单元和预读判断单元，其中：

信息维护单元包括多个局部地址空间的数据访问信息和全局地址空间的访问信息，每个局部地址空间的数据访问信息包括：该局部地址空间的起始地址、该局部地址空间的访问计数、从该局部地址空间预读的数据量和从该局部地址空间预读到缓存中数据被命中的数量，全局地址空间的数据访问信息包括全局地址空间的访问计数；

计算单元根据局部地址空间的数据访问信息和全局地址空间的数据访问信息，计算局部地址空间的访问热度和预读有效性；

预读判断单元根据局部地址空间的访问热度和预读有效性的值，进行预读的决策。

10.根据权利要求9所述的存储系统的缓存预读系统，其特征在于，还包括：链表和多个数据对象，其中：

每个数据对象对应一个局部地址空间，保存该局部地址空间的数据访问信息；多个数据对象通过链表进行组织。