CN106909517A

CN106909517A - 用于基于目录的缓存一致性的目录替换方法和系统

Info

Publication number: CN106909517A
Application number: CN201510970891.8A
Authority: CN
Inventors: 郭向阳; 陈国庆
Original assignee: AMD Products China Co Ltd
Current assignee: AMD Products China Co Ltd
Priority date: 2015-12-22
Filing date: 2015-12-22
Publication date: 2017-06-30

Abstract

本发明涉及用于基于目录的缓存一致性的目录替换方法和系统。所述方法包括跟踪从一或多个核心到多个缓存集的缓存未命中计数；将所述多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中；基于所述缓存未命中计数值计算与所述目录中的每个条目相关联的分值；以及选择具有最高分值的条目进行驱逐。所述系统包括跟踪模块、存储模块、计算模块和条目驱逐模块。本发明具有高驱逐效率，可有效地驱逐最少被需要的目录条目，且可避免误驱逐系统所需的目录条目。

Description

用于基于目录的缓存一致性的目录替换方法和系统

技术领域

本发明涉及单芯片多处理器(CMP)，更具体地涉及用于CMP的基于缓存未命中计数的目录替换方法和系统。

背景技术

基于侦听的缓存一致性协议和基于目录的缓存一致性协议是CMP中广泛使用的两种不同机制。在较多核心被集成在芯片上时，基于目录的缓存一致性因其较高的可扩展性和较少的信息流量而被普遍使用。每个目录条目保持跟踪相应的缓存块的信息，比如缓存地址、状态及全位向量(full bit vector)以指明哪个核心拥有该特定的缓存行。然而，该目录的存储开销是一个至关重要的问题。研究人员已经提出了诸如粗向量、指针和稀疏目录之类的技术方案来克服这个问题。由于不是所有的内存块都能同时被缓存，跟踪已缓存的块的稀疏目录被广泛使用。稀疏目录的有限容量缓解了存储压力，但也带来了另一个问题：目录条目的驱逐(eviction)。由于目录不跟踪所有的内存块，所以当一个新的查询发送到目录却没有目录条目匹配该请求时，已分配的一个条目将被驱逐以腾出空间给该新条目。目录条目的驱逐将导致CPU端上相应的缓存块失效。因此，目录替换策略对于整个系统的性能而言很关键。

LRU(最近最少使用)是一种常用的目录替换策略。在LRU中，每个目录具有LRU计数器。每当访问一个目录条目时，基于该策略，每个条目的LRU计数器会增加或减少。无论何时发生驱逐，都会选择驱逐LRU条目。但是，这种策略有一个问题：该目录的LRU不能代表缓存行的热度。以“MESI”缓存一致性协议为例。缓存块具有经修改(M)状态、独享(E)状态、共享(S)状态和无效(I)状态，而目录条目具有EM状态(缓存行处于E状态或M状态)、S状态(缓存行处于S状态)和U状态(该块未被缓存或缓存在无效状态下)。读命中缓存行不会通知目录。因此，从CPU端频繁地读取一个缓存行而相应的目录条目在长时间内未被访问使其成为LRU条目并被驱逐是可能的。由于缓存的一致性，“热门”的缓存行会被返回无效。

另一种目录替换策略是选择具有最小负面影响的条目。这种策略将避免驱逐处于共享状态的目录条目，因为会有多个CPU使相应的缓存行无效。但它也有沉默驱逐的问题，这意味着共享缓存行会在没有通知目录的情况下被驱逐。当相应的缓存行被沉默驱逐时，目录条目就浪费了。

发明内容

为了减轻上述问题，本发明的各个方面提供了用于基于目录的缓存一致性的目录替换方法和系统。

在实现本发明一个方面的示例实施方式中，一种用于基于目录的缓存一致性的目录替换方法被提供，其特征在于，所述方法包括：跟踪从一或多个核心到多个缓存集的缓存未命中计数；将所述多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中；基于所述缓存未命中计数值计算与所述目录中的每个条目相关联的分值；以及选择具有最高分值的条目进行驱逐。

在一方面，计算分值可包括作为地址、全位向量和缓存集的未命中计数值的函数来计算与目录中的每个条目相关联的分值。

在一方面，计算与目录中的每个条目相关联的分值可包括为目录中的至少一个缓存提供缓存未命中计数跟踪表，所述表具有n列、c/(a*b)行，其中n是核心的数量，c是缓存的大小，a是结合性，而b是块大小，使得该表的每个元素可提供在观察时距中在特定核心中的特定集的未命中计数。

在一方面，所述目录的每个条目通过地址的索引位映射到缓存未命中跟踪表的一行，且其中与缓存目录中的每个条目相关联的分值通过下式来计算：

分值＝向量[0]*元素[0]+向量[1]*元素[1]+……向量[n]*元素[n]

其中，向量[n]是指一个目录条目中的全位向量的第n位，其可以是1或0，而元素[n]是指缓存未命中计数跟踪表中的相应行中的第n个元素。

在实现本发明一个方面的实施方式中，一种用于基于目录的缓存一致性的目录替换系统被提供，其特征在于，所述系统包括用于跟踪从一或多个核心到多个缓存集的缓存未命中计数的跟踪模块、用于将多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中的存储模块、用于基于缓存未命中计数值计算与该目录中的每个条目相关联的分值的计算模块以及用于选择具有最高分值的条目进行驱逐的条目驱逐模块。

在一方面，目录替换系统可包括用于作为地址、全位向量和缓存集的未命中计数值的函数来计算与目录中的每个条目相关联的分值的计算模块。

在一方面，用于计算与目录中的每个条目相关联的分值的计算模块可包括为目录中的至少一个缓存提供缓存未命中计数跟踪表的计算模块，所述表具有n列、c/(a*b)行，其中n是核心的数量，c是缓存的大小，a是结合性，而b是块大小，使得该表的每个元素可提供在观察时距中在特定核心中的特定集的未命中计数。

本文下面将描述其他方面和实施方式。

附图说明

本发明在附图中通过示例的方式而非通过限制的方式进行说明，其中类同的附图标记指代类同的元素，且其中：

图1描绘了图示根据示例实施方式的目录替换方法的流程图；

图2描绘了图示根据示例实施方式的目录替换方法的流程图；

图3描绘了图示根据示例实施方式的目录替换方法的流程图；

图4描绘了图示根据示例实施方式的目录替换系统的示意图。

具体实施方式

现在将详细描述本发明。在接下来的描述中，许多具体细节被阐述以提供对本发明的透彻理解。然而，对本领域技术人员而言，显而易见的是，本发明可在没有这些具体细节中的一些或全部的情况下被实施。另一方面，公知的工艺步骤和/或结构没有被详细描述以免不必要地模糊本发明。

图1描绘了用于基于目录的缓存一致性的目录替换方法的示例实施方式的流程图。该方法包括以下步骤。

如图1所示，在步骤110中，在观察时距(observationinterval)中跟踪从一或多个核心到多个缓存集的缓存未命中计数。

在步骤120中，将该多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中。当需要一个驱逐目录条目时，相应的缓存行会因缓存一致性而无效。希望的是选择其相应缓存行在缓存中最少被需要的目录条目。换言之，如果缓存行被驱逐或无效可能性高，则相应的目录条目应当被选择来驱逐。在一个观察时距中，一个缓存集的未命中计数可以意味着该集中的缓存行被驱逐的可能性。就这点而言，传统的目录条目通常包含诸如地址、状态和全位向量等信息。在本发明中，在步骤130中，分值与每个条目相关联且该分值可被用来做出有关驱逐的决定。该分值可通过函数计算，该函数的参数是地址、全位向量和特定集的未命中计数。

分值＝f(地址，向量，一个集的未命中计数)

在优选实施方式中，目录可包括用于跟踪和存储每个缓存集的缓存未命中计数的未命中计数跟踪表。假设在系统中有n个核心，并且末级缓存的大小为c，结合性(associativity)为a且块大小为b。则每个末级缓存具有c/(a*b)个缓存集。跟踪表可具有c/(a*b)行、n列。该表中的每个元素表示在观察时距中与该缓存集对应的核心的缓存未命中计数值。当缓存未命中发生在CPU端时，会向目录发送查询。在此过程中，该表可在无需额外信息流量的情况下被更新。

未命中计数值越大，相应缓存集的驱逐可能性越大。每个目录条目可通过地址的索引位映射到该表中的一行。例如，如果地址的索引位为0，则该目录条目将映射到该表中的第0行。一旦我们使用地址找到表中的特定行，我们就可以使用方程式A计算分值，如下所示：

方程式A：

分值＝向量[0]*元素[0]+向量[1]*元素[1]+……向量[n]*元素[n]在上述方程式A中，向量[n]是指一个目录条目中的全位向量的第n位，其可以是1或0。元素[n]是指未命中计数表中的相应行中的第n个元素。

例如，表1示出了具有分值的目录的示意性说明，而表2则阐释了未命中计数跟踪表，其中CMP具有16个核心且每个核心具有一个私有的256KB末级缓存，缓存行大小会是64B且结合性会是8。

如表1和表2所示，具有地址0x00000000的地址索引位为0的目录条目会映射到未命中计数跟踪表中的第0行。具有地址0x00000040的地址索引位为1的目录条目会映射到未命中计数跟踪表中的第1行。上述方程式A可被用来计算与每个条目相关联的分值，即具有全位向量0101 0101 0101 0101和相应未命中计数跟踪行03120005 2000 1100的地址0x00000000会具有分值11。类似地，具有全位向量0000 1000 0000 0000和相应未命中计数跟踪行4602 1102 14011001的地址0x00000040会具有分值1。如果需要从上述两个条目中选择一个条目进行驱逐，则可选择地址0x00000000，因为它具有较高的分值。

Addr.0x00000000	State：S	Vector：0101 0101 0101 0101	Score：11
				Addr.0x00000040	State：EM	Vector：0000 1000 0000 0000	Score：1
…	…	…	…
				…	…	…	…
…	…	…	…

表1：具有分值的目录

表2：未命中计数跟踪表

在本发明中，选择具有最高分值的条目进行驱逐是简单的。但是，也可调整约束条件以配合不同工作负载的不同特点。

在处理器的运行过程中，可单独地或组合式地调整若干事项。

在一方面，可基于具有不同特征的不同程序调整观察时距。

在一方面，如图2所示，LRU策略可与本文所描述的替换策略结合起来以确定驱逐。例如，如果多于一个条目具有相同的最高分值，则可基于LRU策略选择要驱逐的条目。

在一方面，约束条件可被调整使得在预定情况下最高分值的条目不被选择来进行驱逐。例如，如果具有最高分值的条目处于共享状态，则该条目可与处于共享状态的其他条目进行比较并选择具有最大可能性被沉默驱逐的条目进行驱逐。

例如，如图3所示，会需要从条目A和条目B选择一个目录条目进行驱逐，其中条目A和条目B均处于共享状态，具有两个共享者。具有全位向量0000 0000 0000 0011和相应未命中计数表行10111001 0000 0069的条目A具有分值15。具有全位向量1111 1111 11111111和相应未命中计数表行3333 3333 3333 3333的条目B具有分值48。因此，条目B具有较高的分值。但是，在选择条目B进行驱逐之前，可将条目A与条目B进行比较，尽管条目A具有较低的分值，但条目A仍可被选择来进行驱逐，因为条目A只有两个共享者但9个未命中计数发生于包含一个共享者的缓存集。该缓存行具有被沉默驱逐的高度可能性。因此，相应的条目A没有必要保留。

在实施方式中，如图4所示，本发明提供了用于基于目录的缓存一致性的目录替换系统400，其特征在于，所述系统包括用于跟踪从一或多个核心到多个缓存集的缓存未命中计数的跟踪模块、用于将多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中的存储模块、用于基于所述缓存未命中计数值计算与该目录中的每个条目相关联的分值的计算模块以及用于选择具有最高分值的条目进行驱逐的条目驱逐模块。

在一方面，所述目录替换系统可包括用于作为地址、全位向量和缓存集的未命中计数值的函数来计算与目录中的每个条目相关联的分值的计算模块。

在一方面，所述目录的每个条目通过地址的索引位映射到缓存未命中跟踪表的一行，且与缓存目录中的每个条目相关联的分值通过下式来计算：

分值＝向量[0]*元素[0]+向量[1]*元素[1]+……向量[n]*元素[n]

在一方面，当缓存未命中发生时，所述缓存未命中跟踪表中的相应元素的值可通过所述跟踪模块进行更新。

在一方面，目录驱逐模块可被配置来确定是否多于一个条目具有最高分值，如果多于一个条目具有最高分值，则基于最近最少使用策略选择要驱逐的条目。

在一方面，条目驱逐模块可被配置来确定具有最高分值的条目是否处于共享状态，如果具有最高分值的条目处于共享状态，则在选择具有最高分值的条目进行驱逐之前，比较该条目与处于共享状态的其他条目，并选择具有最大可能性被沉默驱逐的条目进行驱逐。

可以理解，本发明具有高驱逐效率，可有效地驱逐最少被需要的目录条目，且可避免误驱逐系统所需的目录条目。

对本领域技术人员而言，显而易见的是，上述实施方式仅仅是说明性的且不应被视为对本发明的限制，并且在不偏离所要求保护的主题的范围的情况下可对本文所描述的实施方式做出各种修改和变化。因此，本说明书旨在涵盖本文所描述的各种实施方式的修改例和变化例，只要这种修改例和变化例在所附权利要求及其等同例的范围内。

Claims

1.一种用于基于目录的缓存一致性的目录替换方法，其特征在于，所述方法包括：

跟踪从一或多个核心到多个缓存集的缓存未命中计数；

将所述多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中；

基于所述缓存未命中计数值计算与所述目录中的每个条目相关联的分值；和

选择具有最高分值的条目进行驱逐。

2.根据权利要求1所述的目录替换方法，其中计算分值包括作为地址、全位向量和缓存集的未命中计数值的函数来计算与所述目录中的每个条目相关联的分值。

3.根据权利要求2所述的目录替换方法，其中计算与所述目录中的每个条目相关联的分值包括为目录中的至少一个缓存提供缓存未命中计数跟踪表，所述表具有n列、c/(a*b)行，其中n是核心的数量，c是所述缓存的大小，a是结合性，而b是块大小，使得所述表的每个元素提供在观察时距中在特定核心中的特定集的未命中计数。

4.根据权利要求3所述的目录替换方法，其中所述目录的每个条目通过所述地址的索引位映射到所述缓存未命中跟踪表的一行，且其中与所述目录中的每个条目相关联的所述分值通过下式来计算：

分值＝向量[0]*元素[0]+向量[1]*元素[1]+……向量[n]*元素[n]

其中，向量[n]是指一个目录条目中的全位向量的第n位，其可以是1或0，而元素[n]是指所述缓存未命中计数跟踪表中的相应行中的第n个元素。

5.根据权利要求4所述的目录替换方法，其中当缓存未命中发生时，所述表中的相应元素的值被更新。

6.根据前述权利要求中任一项所述的目录替换方法，其中如果多于一个条目具有最高分值，则进一步包括基于最近最少使用策略选择要驱逐的条目。

7.根据权利要求1至5中任一项所述的目录替换方法，其中如果具有最高分值的条目处于共享状态，则所述方法进一步包括在选择所述具有最高分值的条目进行驱逐之前，比较该条目与处于共享状态的其他条目，并选择具有最大可能性被沉默驱逐的条目进行驱逐。

8.一种用于基于目录的缓存一致性的目录替换系统，其特征在于，所述系统包括：

用于跟踪从一或多个核心到多个缓存集的缓存未命中计数的跟踪模块；

用于将所述多个缓存集中的每一个缓存集的缓存未命中计数值存储在目录中的存储模块；

用于基于所述缓存未命中计数值计算与所述目录中的每个条目相关联的分值的计算模块；和

用于选择具有最高分值的条目进行驱逐的条目驱逐模块。

9.根据权利要求8所述的目录替换系统，其中用于计算分值的所述计算模块包括用于作为地址、全位向量和缓存集的未命中计数值的函数来计算与所述目录中的每个条目相关联的分值的计算模块。

10.根据权利要求9所述的目录替换系统，其中用于计算与所述目录中的每个条目相关联的分值的所述计算模块包括为目录中的至少一个缓存提供缓存未命中计数跟踪表，所述表具有n列、c/(a*b)行，其中n是核心的数量，c是所述缓存的大小，a是结合性，而b是块大小，使得所述表的每个元素提供在观察时距中在特定核心中的特定集的未命中计数。

11.根据权利要求10所述的目录替换系统，其中所述缓存目录的每个条目通过所述地址的索引位映射到所述缓存未命中跟踪表的一行，且其中与所述目录中的每个条目相关联的所述分值通过下式来计算：

分值＝向量[0]*元素[0]+向量[1]*元素[1]+……向量[n]*元素[n]

12.根据权利要求11所述的目录替换系统，其中当缓存未命中发生时，所述缓存未命中跟踪表中的相应元素的值通过所述跟踪模块被更新。

13.根据权利要求8至12中任一项所述的目录替换系统，其中所述目录驱逐模块被配置来确定是否多于一个条目具有最高分值，且如果多于一个条目具有所述最高分值，则基于最近最少使用策略选择要驱逐的条目。

14.根据权利要求8至12中任一项所述的目录替换系统，其中所述条目驱逐模块被配置来确定具有最高分值的条目是否处于共享状态，如果所述具有最高分值的条目处于共享状态，则在选择所述具有最高分值的条目进行驱逐之前，比较该条目与处于共享状态的其他条目，并选择具有最大可能性被沉默驱逐的条目进行驱逐。