CN102063406B - 用于多核处理器的网络共享Cache及其目录控制方法 - Google Patents

Abstract

本发明公开了一种用于多核处理器的网络共享Cache及其目录管理方法，该网络共享Cache位于网络接口部件中，该网络共享Cache包括：共享数据Cache，用于保存本地L2 Cache中被L1 Cache缓存的数据块及其目录信息；牺牲目录Cache，用于保存本地L2 Cache中被L1 Cache缓存的，且未在所述共享数据Cache中保存的数据块的目录信息；目录控制器，用于控制所述网络共享Cache截获所有L1 Cache和本地L2 Cache之间的通信，并维护一致性。本发明的网络共享Cache去除了L2 Cache中的目录，提高了目录的使用效率，减少了目录的浪费；加快了共享数据和目录的访问速度，降低了L1 Cache缺失访问延迟；增加了片上Cache容量，减少了片外存储器访问次数，提高了多核处理器的性能。

Description

用于多核处理器的网络共享Cache及其目录控制方法

技术领域

本发明涉及计算机系统结构技术领域，尤其涉及一种用于多核处理器的网络共享高速缓冲存储器(Cache)及其目录控制方法。

背景技术

商业和科学计算应用对大数据量的需求使共享最后一级Cache结构(如L2 Cache)在多核处理器中得到了广泛应用，共享L2 Cache结构可以最大限度的利用片上Cache的容量并减少对片外存储器的访问，Piranha、Niagara、XLR和Power 5等商用处理器都采用共享L2Cache结构。出于物理布局以及芯片制造的考虑，未来大规模多核处理器通常采用分片的结构，每片包含一个处理器内核、一个私有的L1Cache、一个L2 Cache和一个路由器，这些片通过路由器连接到片上网络，其中物理分布的L2 Cache通过地址交叉的方式组成一个大容量的共享L2 Cache。在共享L2 Cache的多核处理器中通常采用基于目录的一致性协议来维护私有L1 Cache的一致性。

在共享L2 Cache的多核处理器中，目录分布在每个片的L2 Cache中，且通常包含在L2 Cache的标签(Tag)阵列中。通过这种方式，L2 Cache为其每一个数据块保存一个目录向量，用以跟踪缓存该数据块的L1 Cache的位置，L1 Cache的缺失会引起对宿主节点L2 Cache的访问，查找目录信息，并执行相应的一致性操作。在共享L2 Cache的多核处理器中，目录访问延迟与L2 Cache的访问延迟相同。

随着多核处理器规模的扩大，目录的存储开销会随着处理器核的数目和L2 Cache的大小线性增加，将消耗宝贵的片上资源，严重影响多核处理器的扩展性。以全目录为例，当L2 Cache中数据块的大小为64字节时，16核多核处理器的目录存储开销占L2 Cache的3％；当多核处理器的核数增加到64核时，目录存储开销增加到12.5％；进一步增加多核处理器的核数到512核时，目录存储开销增加到100％。目录会消耗大量的片上Cache资源，严重影响多核处理器的可用性。

实际上，在多核处理器运行过程时，L2 Cache中只有很小一部分数据被缓存在L1 Cache中，只有这部分数据的目录向量中记录着L1Cache的位置信息，其他数据的目录向量是空的。在最坏的情况下，L2 Cache中使用的目录向量的数目等于L1 Cache所能容纳的数据块的数目。由于L1 Cache的容量远小于L2 Cache的容量，大部分的目录向量处于空闲状态，目录的利用率很低，大量目录存储空间被浪费了。

CCNoC(支持高速缓存一致的片上网络结构)中的活跃目录结构取消了L2 Cache中的目录结构，减小了目录存储空间，提高了目录访问速度，也能满足绝大部分的目录访问请求，加快一部分L1 Cache缺失访问的速度。但是，大部分的L1 Cache缺失访问请求除了访问目录，还需要访问L2 Cache中的数据，目录访问速度虽然提高了，但由于L2 Cache的访问速度没有提高，大部分L1 Cache缺失访问的速度并没有提高。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是：如何加快L1 Cache缺失访问的速度，提高多核处理器的性能。

(二)技术方案

为解决上述问题，本发明提供了一种用于多核处理器的网络共享Cache，该网络共享Cache位于网络接口部件中，该网络共享Cache包括：共享数据Cache，用于保存本地L2 Cache中被L1 Cache缓存的数据块及其目录信息；牺牲目录Cache，用于保存本地L2 Cache中被L1Cache缓存的，且未在所述共享数据Cache中保存的数据块的目录信息；目录控制器，用于控制所述网络共享Cache截获所有L1 Cache和本地L2 Cache之间的通信，并维护一致性。

其中，所述共享数据Cache中的Cache行包括：地址标签、一致性状态、目录向量和数据块。

其中，所述牺牲目录Cache中的Cache行包括：地址标签、一致性状态和目录向量。

本发明还提供了一种上述用于多核处理器的网络共享Cache的目录控制方法，该方法包括步骤：

当所述网络共享Cache在宿主节点的网络接口截获L1 Cache的读或写缺失请求时，目录控制器根据请求地址是否保存在所述共享数据Cache或所述牺牲目录Cache中，控制由所述共享数据Cache或所述牺牲目录Cache向请求点发送回应消息；

当所述网络共享Cache中共享数据Cache或牺牲目录Cache发生替换时，所述目录控制器根据所述共享数据Cache或所述牺牲目录Cache是否发生替换及其空闲情况，处理发生替换的Cache行中的数据块以及所述发生替换的Cache行；

当所述网络共享Cache接收到L1 Cache直接发送的写回请求时，所述目录控制器根据请求地址保存在所述共享数据Cache还是所述牺牲目录Cache中，选择写回数据块的目的Cache。

其中，所述目录控制器根据请求地址是否保存在所述共享数据Cache或所述牺牲目录Cache中，控制由所述共享数据Cache或所述牺牲目录Cache向请求节点发送回应消息的步骤进一步包括为：

S1.1查找所述共享数据Cache及所述牺牲目录Cache；

S1.2若请求地址保存在所述共享数据Cache中，则由所述共享数据Cache提供被请求的数据块，将请求节点的位置记录在目录向量中，并向请求节点发送回应消息，否则执行步骤S1.3；

S1.3若请求地址保存在所述牺牲目录Cache中，则由所述牺牲目录Cache向本地L2 Cache请求被请求的数据块，收到本地L2 Cache回应的所述数据块后，提供被请求的数据块、将请求节点的位置记录在目录向量中，并向请求节点发送回应消息。

S1.4若所述请求地址未保存在所述共享数据Cache中或所述共享数据Cache中，则由所述共享数据Cache向本地L2 Cache请求被请求的数据块，收到本地L2 Cache回应的所述数据块后，保存并提供被请求的数据块、将该请求节点的位置记录在目录向量中，并向请求节点发送回应消息。

其中，所述目录控制器根据所述共享数据Cache或所述牺牲目录Cache是否发生替换及其空闲情况，处理发生替换的Cache行中的数据块以及所述发生替换的Cache行的步骤进一步包括：

S2.1若所述共享数据Cache发生替换，将发生替换的Cache行中的数据块写回本地L2 Cache中，目录向量保存在所述牺牲目录Cache中；

S2.2若所述牺牲目录Cache发生替换，且所述共享数据Cache中有空闲的行，则所述牺牲目录Cache将发生替换的Cache行的目录向量保存在所述共享数据Cache中，并从本地L2 Cache读出相应的数据块并存入所述共享数据Cache中，删除所述牺牲目录Cache中发生替换的Cache行；

S2.3若所述牺牲目录Cache发生替换，且所述共享数据Cache中没有空闲的行，则所述牺牲目录Cache向共享该数据的L1 Cache发出无效请求，并在所述牺牲目录Cache接收到无效回应消息后，删除所述牺牲目录Cache中发生替换的Cache行。

其中，所述目录控制器根据请求地址保存在所述共享数据Cache还是所述牺牲目录Cache中，选择写回数据块的目的Cache的步骤进一步包括：

S3.1若请求地址保存在所述共享数据Cache中，更新所述共享数据Cache的数据块和目录向量，向请求节点发出回应信号；

S3.2若请求地址保存在所述牺牲目录Cache中，则将数据块写回本地L2 Cache中，并将该数据块所在Cache行从所述牺牲目录Cache中删除。

其中，在步骤S1.2及步骤S1.4中，所述共享数据Cache在更新目录向量后，判断所述请求地址是否为本地地址请求，若是，则通过本地输出端口将所述回应消息发送给本地L1 Cache，否则，通过本地输入端口将所述回应消息注入网络，发送给远程L1 Cache；

在步骤S1.3中，若所述请求地址为本地地址请求，则所述牺牲目录Cache通过本地输出端口将所述回应消息发送给本地L1 Cache，否则，通过本地输入端口将所述回应消息注入网络，发送给远程L1Cache。

其中，当所述网络共享Cache的本地L2 Cache接收到本地共享数据Cache或牺牲目录Cache发来的请求时，所述L2 Cache执行：

S4.1若请求来自所述共享数据Cache，所述L2 Cache向所述共享数据Cache发送被请求的数据块，并将该数据从所述L2 Cache中删除；

S4.2若请求来自所述牺牲目录Cache，所述L2 Cache向所述牺牲目录Cache发送被请求的数据块。

(三)有益效果

本发明提出的用于多核处理器的网络共享Cache通过在路由器的网络接口部件中，用一个共享数据Cache(Shared Data Cache，SDC)和一个牺牲目录Cache(Victim Directory Cache，VDC)保存本地L2Cache中最近被L1 Cache缓存的数据和相应的目录信息，并维护一致性。通过这种方式，去除了L2 Cache中的目录，提高了目录的使用效率，减少了目录的浪费；加快了共享数据和目录的访问速度，降低了L1 Cache缺失访问延迟；增加了片上Cache容量，减少了片外存储器访问次数，提高了多核处理器的性能。

附图说明

图1为依照本发明一种实施方式的用于多核处理器的网络共享Cache结构示意图。

具体实施方式

对于本发明所提出的用于多核处理器的网络共享Cache及其目录控制方法，结合附图和实施例详细说明。

本发明的核心思想是：保存本地L2 Cache中最近频繁访问(被L1Cache缓存)的数据，且与活跃目录一起嵌入到片上网络的网络接口中，加快L1 Cache缺失访问的速度，降低片上目录存储开销，增加片上Cache容量，降低L1 Cache缺失访问的延迟，提高多核处理器的性能。

如图1所示，依照本发明一种实施方式的用于多核处理器的网络共享Cache，该网络共享Cache位于网络接口部件中，还包括：

SDC，集成于网络接口部件中，用于保存网络共享Cache的本地L2 Cache中被L1 Cache缓存的数据块及其目录信息，SDC中的Cache行包括：地址标签、一致性状态、目录向量和数据块等。SDC的目的是降低L1 Cache缺失访问的延迟，SDC应该能够容纳合适数目的数据，以满足绝大部分L1 Cache的缺失请求。

VDC，集成于网络接口部件中，只保存网络共享Cache的本地L2Cache中被L1 Cache缓存的，且未在SDC中保存的数据块的目录信息不保存数据块。如名字所示，VDC是SDC的一个牺牲目录Cache，SDC中替换的Cache行的目录信息保存在VDC中。VDC的目的就是为了减少因为SDC容量冲突所引起的L1 Cache无效操作的次数。VDC中的Cache行包括：地址标签、一致性状态和目录向量等。

目录控制器，集成于网络接口部件中，网络共享Cache结构需要对传统的目录一致性协议进行修改，以保证网络共享Cache能够截获所有L1 Cache和本地L2 Cache之间通信，并维护一致性。本发明实现了一个全目录的MSI(修改、共享、无效协议)协议，但是，网络共享Cache对目录一致性协议没有特殊的限制，任何目录一致性协议都可以实现在网络共享Cache结构中

本发明还提供了上述用于多核处理器的网络共享Cache的目录控制方法，该方法包括步骤：

A.当L1 Cache发生读或写缺失时，缺失请求通过片上网络发送给宿主节点的L2 Cache，网络共享Cache在宿主节点的网络接口中截获该请求，目录控制器根据请求地址是否保存在SDC或VDC中，控制由SDC或VDC向请求节点发送回应消息，该步骤进一步包括为：

S1.1查找SDC及VDC；

S1.2若请求地址保存在SDC中，则由SDC提供被请求的数据块，将该请求节点的位置记录在目录向量中，并向请求节点发送回应消息，否则执行步骤S1.3，SDC在将该请求节点的位置记录在目录向量中后，判断请求地址是否为本地地址请求，若是，则通过本地输出端口将回应消息发送给本地L1 Cache，否则，通过本地输入端口将回应消息注入网络，发送给远程L1 Cache，完成读写请求操作。

S1.3若请求地址保存在VDC中，则由VDC向本地L2 Cache请求被请求的数据块，收到本地L2 Cache回应的数据块后，提供被请求的数据块，将该请求节点的位置记录在目录向量中，并向请求节点发送回应消息，若请求地址为本地地址请求，则VDC通过本地输出端口将回应消息发送给本地L1 Cache，否则，通过本地输入端口将回应消息注入网络，发送给远程L1 Cache，完成读写请求操作。

S1.4若请求地址未保存在SDC中或VDC中，则由SDC向本地L2Cache请求被请求的数据块，收到本地L2 Cache回应的数据块后，保存并提供被请求的数据块，将该请求节点的位置记录在目录向量中，并向该请求节点发送回应消息，SDC在更新目录向量后，判断请求地址是否为本地地址请求，若是，则通过本地输出端口将回应消息发送给本地L1 Cache，否则，通过本地输入端口将回应消息注入网络，发送给远程L1 Cache，完成读写请求操作。

B.当网络共享Cache中SDC或VDC发生替换时，目录控制器根据SDC或VDC是否发生替换及其空闲情况，处理发生替换的Cache行中的数据块以及发生替换的Cache行，该步骤进一步包括：

S2.1若SDC发生替换，将SDC中发生替换的Cache行中的数据块写回本地L2 Cache中，如果VDC中有空闲的行，则目录向量保存在VDC中，如果VDC中没有空行，则先替换掉VDC中的一个Cache行，然后把目录向量保存在VDC中；

S2.2若VDC发生替换，且SDC中有空闲的行，VDC将发生替换的Cache行的目录向量保存在SDC中，并从本地L2 Cache读出相应的数据块存入SDC中，并删除所述牺牲目录Cache发生替换的Cache行；

S2.3若VDC发生替换，且SDC中没有空闲的行，则VDC向共享该数据的L1 Cache发出无效请求，并在VDC接收到无效回应消息后，删除VDC中发生替换的Cache行。

C.当网络共享Cache接收到L1 Cache直接发送的写回请求时，目录控制器根据请求地址保存在所述共享数据Cache还是所述牺牲目录Cache中，选择写回数据块的目的Cache，该步骤进一步包括：

S3.1若请求地址保存在SDC中，更新SDC的数据块和目录向量，向请求节点发出回应信号，完成操作；

S3.2若请求地址保存在VDC中，则将数据写回网络共享Cache的本地L2 Cache，并将该数据块所在的Cache行从VDC中删除。

D.当网络共享Cache的本地L2 Cache接收到本地SDC或VDC发来的请求时，L2 Cache执行：

S4.1若请求来自SDC，L2 Cache向SDC发送被请求的数据块，并将该数据从L2 Cache中删除；

S4.2若请求来自VDC，L2 Cache向VDC发送被请求的数据块。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (6)

1.一种用于多核处理器的网络共享Cache，该网络共享Cache位于网络接口部件中，其特征在于，该网络共享Cache包括：

共享数据Cache，用于保存本地L2 Cache中被L1 Cache缓存的数据块及其目录信息；

牺牲目录Cache，用于保存本地L2 Cache中被L1 Cache缓存的，且未在所述共享数据Cache中保存的数据块的目录信息；

目录控制器，用于控制所述网络共享Cache截获所有L1 Cache和本地L2 Cache之间的通信，并维护一致性。

2.如权利要求1所述的用于多核处理器的网络共享Cache，其特征在于，所述共享数据Cache中的Cache行包括：地址标签、一致性状态、目录向量和数据块。

3.如权利要求1所述的用于多核处理器的网络共享Cache，其特征在于，所述牺牲目录Cache中的Cache行包括：地址标签、一致性状态和目录向量。

4.一种权利要求1-3任一项所述的用于多核处理器的网络共享Cache的目录控制方法，其特征在于，该方法包括步骤：

当所述网络共享Cache在宿主节点的网络接口截获L1 Cache的读或写缺失请求时，目录控制器根据请求地址是否保存在所述共享数据Cache或所述牺牲目录Cache中，控制由所述共享数据Cache或所述牺牲目录Cache向请求点发送回应消息；

当所述网络共享Cache中共享数据Cache或牺牲目录Cache发生替换时，所述目录控制器根据所述共享数据Cache或所述牺牲目录Cache是否发生替换及其空闲情况，处理发生替换的Cache行中的数据块以及所述发生替换的Cache行；

当所述网络共享Cache接收到L1 Cache直接发送的写回请求时，所述目录控制器根据请求地址保存在所述共享数据Cache还是所述牺牲目录Cache中，选择写回数据块的目的Cache；

其中，所述目录控制器根据请求地址是否保存在所述共享数据Cache或所述牺牲目录Cache中，控制由所述共享数据Cache或所述牺牲目录Cache向请求节点发送回应消息的步骤进一步包括为：

S1.1查找所述共享数据Cache及所述牺牲目录Cache；

S1.2若请求地址保存在所述共享数据Cache中，则由所述共享数据Cache提供被请求的数据块，将请求节点的位置记录在目录向量中，并向请求节点发送回应消息，否则执行步骤S1.3；

S1.3若请求地址保存在所述牺牲目录Cache中，则由所述牺牲目录Cache向本地L2 Cache请求被请求的数据块，收到本地L2 Cache回应的所述数据块后，提供被请求的数据块、将请求节点的位置记录在目录向量中，并向请求节点发送回应消息。

S1.4若所述请求地址未保存在所述共享数据Cache中或所述共享数据Cache中，则由所述共享数据Cache向本地L2 Cache请求被请求的数据块，收到本地L2 Cache回应的所述数据块后，保存并提供被请求的数据块、将该请求节点的位置记录在目录向量中，并向请求节点发送回应消息；

所述目录控制器根据所述共享数据Cache或所述牺牲目录Cache是否发生替换及其空闲情况，处理发生替换的Cache行中的数据块以及所述发生替换的Cache行的步骤进一步包括：

S2.1若所述共享数据Cache发生替换，将发生替换的Cache行中的数据块写回本地L2 Cache中，目录向量保存在所述牺牲目录Cache中；

S2.2若所述牺牲目录Cache发生替换，且所述共享数据Cache中有空闲的行，则所述牺牲目录Cache将发生替换的Cache行的目录向量保存在所述共享数据Cache中，并从本地L2 Cache读出相应的数据块并存入所述共享数据Cache中，删除所述牺牲目录Cache中发生替换的Cache行；

S2.3若所述牺牲目录Cache发生替换，且所述共享数据Cache中没有空闲的行，则所述牺牲目录Cache向共享该数据的L1 Cache发出无效请求，并在所述牺牲目录Cache接收到无效回应消息后，删除所述牺牲目录Cache中发生替换的Cache行；

所述目录控制器根据请求地址保存在所述共享数据Cache还是所述牺牲目录Cache中，选择写回数据块的目的Cache的步骤进一步包括：

S3.1若请求地址保存在所述共享数据Cache中，更新所述共享数据Cache的数据块和目录向量，向请求节点发出回应信号；

S3.2若请求地址保存在所述牺牲目录Cache中，则将数据块写回本地L2 Cache中，并将该数据块所在Cache行从所述牺牲目录Cache中删除。

5.如权利要求4所述的用于多核处理器的网络共享Cache的目录控制方法，其特征在于，在步骤S1.2及步骤S1.4中，所述共享数据Cache在更新目录向量后，判断所述请求地址是否为本地地址请求，若是，则通过本地输出端口将所述回应消息发送给本地L1 Cache，否则，通过本地输入端口将所述回应消息注入网络，发送给远程L1 Cache；

在步骤S1.3中，若所述请求地址为本地地址请求，则所述牺牲目录Cache通过本地输出端口将所述回应消息发送给本地L1 Cache，否则，通过本地输入端口将所述回应消息注入网络，发送给远程L1Cache。

6.如权利要求4所述的用于多核处理器的网络共享Cache的目录控制方法，其特征在于，当所述网络共享Cache的本地L2 Cache接收到本地共享数据Cache或牺牲目录Cache发来的请求时，所述L2 Cache执行：

S4.1若请求来自所述共享数据Cache，所述L2 Cache向所述共享数据Cache发送被请求的数据块，并将该数据从所述L2 Cache中删除；

S4.2若请求来自所述牺牲目录Cache，所述L2 Cache向所述牺牲目录Cache发送被请求的数据块。

Images