CN107368437A - 一种末级缓存管理方法及系统 - Google Patents

Abstract

本申请公开了一种末级缓存管理方法，应用于基于组相连映射的Cache，包括：当接收到CPU发送的访问请求时，根据访问请求的地址，判断是否被命中；若未被命中，则将地址对应的缓存组中优先级位置最低的缓存行进行替换，并将缓存行的tag数据插入到预先在缓存组中添加的布隆过滤器中；判断地址的tag数据是否存在于布隆过滤器当中；若地址的tag数据存在于布隆过滤器中，则将访问请求对应的数据插入到缓存组的最高优先级的位置中。本申请通过在Cache中的缓存组中添加布隆过滤器，为数据的插入位置提供了可靠的理论依据，有效提升了缓存的空间利用率。另外，本申请还公开了一种末级缓存管理系统。

Description

一种末级缓存管理方法及系统

技术领域

本发明涉及缓存管理领域，特别涉及一种末级缓存管理方法及系统。

背景技术

随着科学技术的进步，微处理器与存储器之间的性能差距越来越大。为了减缓处理器与存储器之间的性能差距，片上缓存被广泛使用。然而怎样利用缓存中的末级缓存(Last Level Cache，LLC)对系统的性能起着至关重要的作用。然而，这些缓存在使用传统的缓存管理策略时，空间资源的利用率会很低，其主要原因是因为缓存中的缓存污染(Cache Pollution)和缓存抖动(Cache Thrashing)问题。目前已经有相关研究表明，改变数据块的插入位置可以提高末级缓存的性能，例如通过修改最近未被使用(LeastRecently Used，LRU)的插入策略来减轻缓存污染或者是缓存抖动的问题，但是在使用双向插入策略(Bimodal Insertion Policy，BIP)修改LRU的插入策略的过程中，仅仅是依据概率来选择数据块的插入位置，通常是以1/64的概率将数据块插入到缓存组最高优先级的位置，其余插入到最低优先级的位置。显然，这种方法理论性不足，极易引起访问次数较多的数据块误判的情况，从而致使Cache的空间资源利用率不高，这也是在该技术领域亟待解决的一个问题。

发明内容

有鉴于此，本发明的目的在于提供一种末级缓存管理方法及系统，以提高缓存空间的利用率。其具体方案如下：

一种末级缓存管理方法，应用于基于组相连映射的Cache，包括：

当接收到CPU发送的访问请求时，根据所述访问请求的地址，判断是否被命中；

若未被命中，则将所述地址对应的缓存组中优先级位置最低的缓存行进行替换，并将所述缓存行的tag数据插入到预先在所述缓存组中添加的布隆过滤器中；

判断所述地址的tag数据是否存在于所述布隆过滤器当中；

若所述地址的tag数据存在于所述布隆过滤器中，则将所述访问请求对应的数据插入到所述缓存组的最高优先级的位置中。

优选的，还包括：

若所述地址的tag数据不存在于所述布隆过滤器中，则将所述访问请求对应的数据插入到所述缓存组的任意位置中。

优选的，所述将所述地址对应的缓存组中优先级位置最低的缓存行进行替换的过程之后，还包括：

判断预先在所述缓存组中添加的饱和计数器的当前计数值是否等于所述布隆过滤器的数据容量大小；

若所述饱和计数器的当前计数值等于所述数据容量大小，则对所述布隆过滤器和所述饱和计数器进行复位操作；

若所述饱和计数器的当前计数值小于所述布隆过滤器的数据容量大小，则对所述饱和计数器的当前计数值进行加1。

优选的，还包括：

预先将所述布隆过滤器的数据容量大小设置为4W，并且，将所述布隆过滤器的位数组大小设置为6W；

其中，W为所述缓存组的路数。

优选的，还包括：

预先在所述Cache的每个缓存组中均添加一个所述布隆过滤器和/或所述饱和计数器。

本发明还相应公开了一种末级缓存管理系统，应用于基于组相连映射的Cache，包括：

命中判断模块，用于当接收到CPU发送的访问请求时，根据所述访问请求的地址，判断是否被命中；

数据处理模块，用于未被命中时，则将所述地址对应的缓存组中优先级位置最低的缓存行进行替换，并将所述缓存行的tag数据插入到预先在所述缓存组中添加的布隆过滤器中；

数据判断模块，用于判断所述地址的tag数据是否存在于所述布隆过滤器当中；

第一位置插入模块，用于当所述地址的tag数据存在于所述布隆过滤器中时，则将所述访问请求对应的数据插入到所述缓存组的最高优先级的位置中。

优选的，还包括：

第二位置插入模块，用于当所述地址的tag数据不存在于所述布隆过滤器中时，则将所述访问请求对应的数据插入到所述缓存组的任意位置中。

优选的，还包括：

计数值判断模块，用于将所述地址对应的缓存组中优先级位置最低的缓存行进行替换的过程之后，判断预先在所述缓存组中添加的饱和计数器的当前计数值是否等于所述布隆过滤器的数据容量大小；

计数器复位模块，用于当所述饱和计数器的当前计数值等于所述数据容量大小时，则对所述布隆过滤器和所述饱和计数器进行复位操作；

计数器计数模块，用于当所述饱和计数器的当前计数值小于所述布隆过滤器的数据容量大小时，则对所述饱和计数器的当前计数值进行加1。

优选的，还包括：

布隆过滤器设置模块，用于预先将所述布隆过滤器的数据容量大小设置为4W，并且，将所述布隆过滤器的位数组大小设置为6W；

其中，W为所述缓存组的路数。

优选的，还包括：

缓存组添加模块，用于预先在所述Cache的每个缓存组中均添加一个所述布隆过滤器和/或所述饱和计数器。

本发明中，一种末级缓存管理方法，应用于基于组相连映射的Cache，包括：当接收到CPU发送的访问请求时，根据访问请求的地址，判断是否被命中；若未被命中，则将地址对应的缓存组中优先级位置最低的缓存行进行替换，并将缓存行的tag数据插入到预先在缓存组中添加的布隆过滤器中；判断地址的tag数据是否存在于布隆过滤器当中；若地址的tag数据存在于布隆过滤器中，则将访问请求对应的数据插入到缓存组的最高优先级的位置中。

本发明是在缓存组中预先添加了一个布隆过滤器，然后将缓存组中被替换的缓存行的tag数据存储到布隆过滤器当中，再将访问请求的地址的tag数据和布隆过滤器中的数据进行比较，若访问请求的地址的tag数据存在于布隆过滤器当中，则将该访问请求对应的数据插入到对应缓存组中优先级最高的位置，由此可以得出，通过数据的不断更新替换，最终可以保证存储在缓存组中的数据为重复访问次数较多的数据。相比于现有技术中的仅仅是依靠概率来确定访问请求对应数据的插入位置的方法，本发明的方法为数据的插入位置提供了合理的理论依据，减少了将重复访问次数较多的数据被提前替换出Cache的误判率，降低了缓存中的缓存污染问题，有效地提高了缓存空间的利用率。

而且，在缓存组中添加饱和计数器，对缓存组中被替换的缓存行进行计数，如果计数值大于一定的上限，则对对布隆过滤器和饱和计数器进行定期的复位，解决了缓存抖动的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一公开的一种末级缓存管理方法流程图；

图2为本发明实施例二公开的一种末级缓存管理方法流程图；

图3为本发明实施例二的具体执行流程图；

图4为本发明实施例公开的一种末级缓存管理系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例一公开了一种末级缓存管理方法，参见图1所示，该方法包括：

步骤S11：当接收到CPU发送的访问请求时，根据访问请求的地址，判断是否被命中。

可以理解的是，当接收到CPU发送的访问请求时，首先系统会根据访问请求的地址，在系统的存储空间中去寻找所访问的数据是否存在于系统的存储空间当中，若存在，则命中，若不存在，则未命中。

步骤S12：若未被命中，则将地址对应的缓存组中优先级位置最低的缓存行进行替换，并将缓存行的tag数据插入到预先在缓存组中添加的布隆过滤器中。

本实施例中，当访问请求的数据不存在于系统的存储空间当中时，则未命中，在此条件下，系统会将访问请求的地址对应的缓存组中优先级位置最低的缓存行进行替换，也即，此时，上述缓存行会被替换出Cache，然后，上述缓存行对应的tag数据会被插入到预先在缓存中添加的布隆过滤器当中。

需要说明的是，布隆过滤器是一种空间效率很高的数据结构，它可以利用位数组很简洁地表示一个集合，而且它可以插入一个数据到集合中、测试一个数据是否在集合中和清空集合。

步骤S13：判断地址的tag数据是否存在于布隆过滤器当中。

可以理解的是，这一步骤的目的，是通过将访问请求的地址对应的tag数据和布隆过滤器中的数据进行比较，来判定插入数据的位置。

步骤S14：若地址的tag数据存在于布隆过滤器中，则将访问请求对应的数据插入到缓存组的最高优先级的位置中。

本实施例中，访问请求的地址的tag数据如果存在于布隆过滤器当中，则将访问请求对应的数据插入到缓存组的最高优先级的位置当中，通过不断的更新数据，可以保证缓存组中缓存行存储的数据均为重复访问次数较多的数据，应用本实施例中的方法，可以避免将重复访问次数较多的缓存行给替换出Cache的情况。

本发明是在缓存组中预先添加了一个布隆过滤器，然后将缓存组中被替换的缓存行的tag数据存储到布隆过滤器当中，再将访问请求的地址的tag数据和布隆过滤器中的数据进行比较，若访问请求的地址的tag数据存在于布隆过滤器当中，则将该访问请求对应的数据插入到对应缓存组中优先级最高的位置，由此可以得出，通过数据的不断更新替换，最终可以保证存储在缓存组中的数据为重复访问次数较多的数据。相比于现有技术中的仅仅是依靠概率来确定访问请求对应数据的插入位置的方法，本发明的方法为数据的插入位置提供了合理的理论依据，减少了将重复访问次数较多的数据被提前替换出Cache的误判率，降低了缓存中的缓存污染问题，有效地提高了缓存空间的利用率。

本发明实施例二公开了一种具体的末级缓存管理方法，参见图2所示，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

步骤S21：当接收到CPU发送的访问请求时，根据访问请求的地址，判断是否被命中。

本实施例中，当接收到CPU发送的访问请求时，首先系统会根据访问请求的地址，在系统的存储空间中去寻找所访问的数据是否存在于系统的存储空间当中，若存在，则命中，若不存在，则未命中。

步骤S22：若未被命中，则将地址对应的缓存组中优先级位置最低的缓存行进行替换，并将缓存行的tag数据插入到预先在缓存组中添加的布隆过滤器中。

可以理解的是，当访问请求的数据不存在于系统的存储空间当中时，则未命中，在此条件下，系统会将访问请求的地址对应的缓存组中优先级位置最低的缓存行进行替换，也即，此时，上述缓存行会被替换出cache，然后，上述缓存行的tag数据会被插入到预先在缓存中添加的布隆过滤器当中。

需要说明的是，布隆过滤器是一种空间效率很高的数据结构，它可以利用位数组很简洁地表示一个集合，而且它可以插入一个数据到集合中、测试一个数据是否在集合中和清空集合。

进一步的，预先将布隆过滤器的数据容量大小设置为4W，并且，将布隆过滤器的位数组大小设置为6W；

其中，W为缓存组的路数。

需要说明的是，通过在本实施例中添加这样的布隆过滤器，是为了降低存储空间的计算复杂度，而且通过这样的设置，可以降低布隆过滤器测试一个数据是否在集合中的错误率，因为当布隆过滤器的相关参数满足k＝1n²(m/n)，m/n≥1.44时，可以保证布隆过滤器的错误率最低。其中，k为布隆过滤器中哈希函数的个数，m为布隆过滤器的位数组的位数，n为插入布隆过滤器中数据的个数。

所以，在本实施例中将插入到布隆过滤器的数据数目设为4W，也即，布隆过滤器的数据容量大小为4W，布隆过滤器的位数组大小设置为6W，由此可以推断出此时布隆过滤器中的哈希函数的个数为1个时，此时布隆过滤器的错误率最低。

进一步的，将地址对应的缓存组中优先级位置最低的缓存行进行替换的过程之后，还可以包括下面步骤H11至H13：

步骤H11：判断预先在缓存组中添加的饱和计数器的当前计数值是否等于布隆过滤器的数据容量大小；

需要说明的是，饱和计数器的当前计数值计算的是缓存中被替换掉的缓存行的数目，可以理解的是，通过将饱和计数器的计数值和预设的阈值进行比较，以方便判断缓存组中的缓存行被替换的情况。在本实施例中，是将饱和计数器的阈值设置为布隆过滤器的数据容量大小，当然，在实际应用当中，也可以是其他的数值，此处不作限定。

步骤H12：若饱和计数器的当前计数值等于数据容量大小，则对布隆过滤器和饱和计数器进行复位操作；

步骤H13：若饱和计数器的当前计数值小于布隆过滤器的数据容量大小，则对饱和计数器的当前计数值进行加1。

可以理解的是，通过步骤H12和步骤H13的方法，通过将饱和计数器的计数值和预设的阈值进行比较，当饱和计数器的计数值达到预设的阈值时，对布隆过滤器和饱和计数器进行复位，可以将缓存组中缓存行中的数据进行定期的更新，通过这样的方法，解决了现有技术当中缓存抖动的问题，也即，通过这样的方法，避免了重复访问的缓存行相互之间竞争Cache资源，将被重复访问次数较多的缓存行很快被替换出Cache的情况的发生。

步骤S23：判断地址的tag数据是否存在于布隆过滤器当中。

可以理解的是，在系统工作的过程中，通过不断的访问请求，布隆过滤器中，会存储一部分缓存行的对应的tag数据，通过将访问请求的地址的tag数据和布隆过滤器中的tag数据进行比较，可以大致确定访问请求的数据是否为重复访问次数较多的数据。

步骤S24：若地址的tag数据存在于布隆过滤器中，则将访问请求对应的数据插入到缓存组的最高优先级的位置中。

进一步的，若地址的tag数据不存在于布隆过滤器中，则将访问请求对应的数据插入到缓存组的任意位置中。

可以理解的是，访问请求的地址的tag数据如果存在于布隆过滤器当中，则将访问请求对应的数据插入到缓存组的最高优先级的位置当中，通过系统不断的更新数据，可以保证缓存组中缓存行存储的数据均为重复访问次数较多的数据，通过本实施例中的方法，可以避免缓存污染的问题，也即，可以避免将重复访问次数较多的缓存行给替换出Cache的情况的发生。图3是本申请实施例的具体执行流程图。

进一步的，预先在Cache的每个缓存组中均添加一个布隆过滤器和/或饱和计数器。

可以理解的是，为Cache中的每一个缓存组添加一个布隆过滤器和饱和计数器，可以进一步提高Cache中的空间利用率，而且每一个缓存组中的布隆过滤器和饱和计数器都是相互独立的，不会出现因为某一个布隆过滤器或饱和计数器发生故障，而影响其他缓存组工作的问题，进而，提高了Cache的空间利用率。

相应的，本发明还公开了一种末级缓存管理系统，参见图4所示，该系统包括：

命中判断模块41，用于当接收到CPU发送的访问请求时，根据访问请求的地址，判断是否被命中。

数据处理模块42，用于未被命中时，则将地址对应的缓存组中优先级位置最低的缓存行进行替换，并将缓存行的tag数据插入到预先在缓存组中添加的布隆过滤器中。

数据判断模块43，用于判断地址的tag数据是否存在于布隆过滤器当中。

第一位置插入模块44，用于当地址的tag数据存在于布隆过滤器中时，则将访问请求对应的数据插入到缓存组的最高优先级的位置中。

进一步的，本发明实施例公开的末级缓存管理系统，还包括：

第二位置插入模块，用于当地址的tag数据不存在于布隆过滤器中时，则将访问请求对应的数据插入到缓存组的任意位置中。

进一步的，本发明实施例公开的末级缓存管理系统，还包括：

计数值判断模块，用于将地址对应的缓存组中优先级位置最低的缓存行进行替换的过程之后，判断预先在缓存组中添加的饱和计数器的当前计数值是否等于布隆过滤器的数据容量大小。

计数器复位模块，用于当饱和计数器的当前计数值等于数据容量大小时，则对布隆过滤器和饱和计数器进行复位操作。

计数器计数模块，用于当饱和计数器的当前计数值小于布隆过滤器的数据容量大小时，则对饱和计数器的当前计数值进行加1。

进一步的，本发明实施例公开的末级缓存管理系统，还包括：

布隆过滤器设置模块，用于预先将布隆过滤器的数据容量大小设置为4W，并且，将布隆过滤器的位数组大小设置为6W；

其中，W为缓存组的路数。

进一步的，本发明实施例公开的末级缓存管理系统，还包括：

缓存组添加模块，用于预先在Cache的每个缓存组中均添加一个布隆过滤器和/或饱和计数器。

关于上述各个模块更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种末级缓存管理方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种末级缓存管理方法，其特征在于，应用于基于组相连映射的Cache，包括：

当接收到CPU发送的访问请求时，根据所述访问请求的地址，判断是否被命中；

若未被命中，则将所述地址对应的缓存组中优先级位置最低的缓存行进行替换，并将所述缓存行的tag数据插入到预先在所述缓存组中添加的布隆过滤器中；

判断所述地址的tag数据是否存在于所述布隆过滤器当中；

若所述地址的tag数据存在于所述布隆过滤器中，则将所述访问请求对应的数据插入到所述缓存组的最高优先级的位置中。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述地址的tag数据不存在于所述布隆过滤器中，则将所述访问请求对应的数据插入到所述缓存组的任意位置中。

3.根据权利要求1所述的方法，其特征在于，所述将所述地址对应的缓存组中优先级位置最低的缓存行进行替换的过程之后，还包括：

判断预先在所述缓存组中添加的饱和计数器的当前计数值是否等于所述布隆过滤器的数据容量大小；

若所述饱和计数器的当前计数值等于所述数据容量大小，则对所述布隆过滤器和所述饱和计数器进行复位操作；

若所述饱和计数器的当前计数值小于所述布隆过滤器的数据容量大小，则对所述饱和计数器的当前计数值进行加1。

4.根据权利要求3所述的方法，其特征在于，还包括：

预先将所述布隆过滤器的数据容量大小设置为4W，并且，将所述布隆过滤器的位数组大小设置为6W；

其中，W为所述缓存组的路数。

5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：

预先在所述Cache的每个缓存组中均添加一个所述布隆过滤器和/或所述饱和计数器。

6.一种末级缓存管理系统，其特征在于，应用于基于组相连映射的Cache，包括：

命中判断模块，用于当接收到CPU发送的访问请求时，根据所述访问请求的地址，判断是否被命中；

数据处理模块，用于未被命中时，则将所述地址对应的缓存组中优先级位置最低的缓存行进行替换，并将所述缓存行的tag数据插入到预先在所述缓存组中添加的布隆过滤器中；

数据判断模块，用于判断所述地址的tag数据是否存在于所述布隆过滤器当中；

第一位置插入模块，用于当所述地址的tag数据存在于所述布隆过滤器中时，则将所述访问请求对应的数据插入到所述缓存组的最高优先级的位置中。

7.根据权利要求6所述的系统，其特征在于，还包括：

第二位置插入模块，用于当所述地址的tag数据不存在于所述布隆过滤器中时，则将所述访问请求对应的数据插入到所述缓存组的任意位置中。

8.根据权利要求6所述的系统，其特征在于，还包括：

计数值判断模块，用于将所述地址对应的缓存组中优先级位置最低的缓存行进行替换的过程之后，判断预先在所述缓存组中添加的饱和计数器的当前计数值是否等于所述布隆过滤器的数据容量大小；

计数器复位模块，用于当所述饱和计数器的当前计数值等于所述数据容量大小时，则对所述布隆过滤器和所述饱和计数器进行复位操作；

计数器计数模块，用于当所述饱和计数器的当前计数值小于所述布隆过滤器的数据容量大小时，则对所述饱和计数器的当前计数值进行加1。

9.根据权利要求8所述的系统，其特征在于，还包括：

布隆过滤器设置模块，用于预先将所述布隆过滤器的数据容量大小设置为4W，并且，将所述布隆过滤器的位数组大小设置为6W；

其中，W为所述缓存组的路数。

10.根据权利要求6至9任一项所述的系统，其特征在于，还包括：

缓存组添加模块，用于预先在所述Cache的每个缓存组中均添加一个所述布隆过滤器和/或所述饱和计数器。