CN102609362A

CN102609362A - 一种共享高速缓存动态划分方法与电路

Info

Publication number: CN102609362A
Application number: CN2012100206433A
Authority: CN
Inventors: 周晓方; 倪亚路
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2012-01-30
Filing date: 2012-01-30
Publication date: 2012-07-25

Abstract

本发明属于计算机技术领域，具体为一种共享高速缓存动态划分方法与电路。本发明中，为共享Cache设置监控电路和划分电路，监控电路用于监控各个核对共享Cache的利用率，划分电路根据监控得到的信息计算出共享Cache分配给每个核的最优路数，共享Cache则在划分电路计算结果的控制下工作。本发明提出了一种新的划分算法和替换策略，在共享Cache中创新性的加入了自由路，有效抑制不当的划分对系统性能的影响。本发明在兼顾正确划分共享Cache给系统性能带来提升的同时，大大减小了错误划分给系统性能带来的下降。与不划分共享Cache和基于效用最优划分共享Cache的方法相比，本发明提出的共享Cache动态划分方法将系统的性能平均提高了13.17%和8.83%。

Description

一种共享高速缓存动态划分方法与电路

技术领域

本发明属于计算机技术领域，具体为一种共享高速缓存（Cache）动态划分方法与电路。

背景技术

随着处理器技术的发展，多核处理器的优势越来越明显，已经逐步取代单核处理器，成为微处理器发展的新方向。在多核处理器架构中通常将最后一级Cache共享，如在IBM POWER6和Intel i7架构中共享三级Cache，在Sun UltraSPARC T2架构中共享二级Cache。由于最后一级Cache被各核共享，所以一个核的活跃数据很有可能被其他核引发的缺失替换出共享Cache，导致系统性能下降。

为了减小这种相互污染对系统性能的影响，可以对共享Cache进行动态的划分。动态划分通过控制每个核在共享Cache中占有资源的数量，抑制各个核之间的相互影响，提高系统性能。但是现有的划分技术往往因为过于强调提高系统某一方面的性能，所以导致在很多情况下反而会使系统整体性能降低。本发明针对这一问题，提出的新型共享Cache动态划分方法，通过引入自由路，可以在兼顾恰当划分给系统性能带来提升的同时，有效减小不当划分给系统带来的性能下降，使系统的平均性能得到提升，具有更广泛的适用性。

发明内容

本发明的目的在于提出一种能够提升系统整体性能的共享Cache动态划分方法与电路。

本发明提出的共享Cache动态划分方法，为共享Cache设置监控电路和划分电路。因此，共享Cache动态划分电路包含监控电路、划分电路和共享Cache三大部分，可应用于各种多核系统。

本发明在共享Cache动态划分中，为每个核提供一个监控电路，即每个核对应一个监控电路，用来跟踪共享Cache，当共享Cache为一个核所独占时，在共享Cache空间中为这个核分配不同路数的情况下，该核可获得的命中数。为实现这一功能，从共享Cache标签目录每32组中选取一组作为采样组进入监控电路，在监控电路中建立和采样组相同的标签目录，并为每一路提供一个计数器，以统计该路的命中次数。在监控电路中所有组的同一路共用一个计数器，即任意组某一路命中后，该路计数器值均加1。这样，将监控电路的相应计数器值相加，便获得在共享Cache中为拥有该监控电路的核分配不同路数时，该核的具体命中数。每个核的监控电路只能被该核访问，因此不会受其他核线程的影响。

监控电路将监控信息传递给划分电路，根据这些信息，划分电路按照划分算法计算出在共享Cache中分配给各个核的最优私有路路数。

本发明提出的划分算法，是将共享Cache空间每组中的各路划分为私有路和自由路两大部分。其中私有路被划分算法显性地分配给某一个核，而自由路则在系统运行过程中按照LRU的方法被隐性地分配给某一个核，不再由划分算法显性地分配。以双核共享二级Cache结构为例，本发明提出的新型划分算法将共享Cache空间每组中的各路分配为三个部分：一部分分配给核1，一部分分配给核2，另外将最后一部分作为自由路。自由路部分不由划分算法显性地分配给核1或者核2，而由两个核共享，在系统运行过程中，按照LRU的方法，动态地隐性分配给其中之一。划分算法每隔固定周期执行一次。每次划分算法执行后，将监控电路中的计数器值减半。这样在突出当前执行信息的同时，也保留了以前的信息。

因为自由路的路数是固定的，不受划分电路的控制。因此，划分算法只对私有路进行分配。即新型划分算法只需将非自由路纳入遍历的范围。以双核共享16路组相连Cache，其中有1路自由路为例，新型划分算法只遍历为两个核一共分配15路的所有情况，即遍历在共享Cache中为核1分配i路，为核2分配15-i路的所有情况，其中1≤i≤14，找出使两个核各路的命中总数最高的划分方法。剩下的1路自由路则由两个核共享，在运行过程中按照最近最少使用（LRU）的方式动态地分配给某一个核。

为了配合将新的划分算法中计算得到的最优划分实现，需要为共享Cache中每个块添加若干位标志位，以标记该块属于哪个核，即最近被哪个核命中或替换过。每个核访问共享Cache时均可访问其中的任意一路。但如果一个核引起共享Cache缺失，需要一个块被替换出共享Cache。那么，先统计共享Cache需替换块的组中，属于这个核的块数。如果该块数小于划分算法计算得到的应该分配给这个核的路数，则在属于其他核的块中找到位于LRU替换算法队列最尾端的块，替换出共享Cache。如果统计得到的块数大于最优划分中应该分配给这个核的路数，则在属于这个核自己的块中找到位于LRU替换算法队列最尾端的块替换出去。如果统计得到的各个核的块数等于划分算法分配的块数，此时再发生缺失，则采取新的替换策略，不再区分该块属于哪个核，从发生缺失的组内所有的块中找到位于LRU队列最尾端的块替换出去。

由于划分是否恰当受划分时机的影响，所以不是每次划分都会对系统性能有利。如不在共享Cache中加入自由路，错误的划分将很难被改变。这是由于，假设一次错误划分为某个核分配了过少的共享Cache路数，那么将导致在相同的时间里，该核执行的指令数少于其他核，进而使该核监控电路中各路的命中数也少于其他核，所以在下次划分时这个核依然会被分配很少的路数。而加入自由路后，被分配过少路数的核可以借助自由路，在一定程度上增加其在共享Cache中的路数，最终增加该核监控电路中各路的命中数，使该核可以在下次划分时争取到更多的路数，纠正错误的划分。实验表明，只需加入少数的自由路，即可有效抑制错误的划分，所以可在基本不影响正确划分方法带来的系统性能提升的同时，有效降低错误的划分对系统性能的危害。

综上，本发明提出了一种新的划分算法和替换策略，在共享Cache中创新性的加入了自由路，通过不受动态划分制约的自由路，有效抑制不当的划分对系统性能的影响。本发明在兼顾正确划分共享Cache给系统性能带来提升的同时，大大减小了错误划分给系统性能带来的下降。因此与不划分共享Cache和基于效用最优划分共享Cache的方法相比，本发明提出的新型共享Cache动态划分方法将系统的性能平均提高了13.17%和8.83%。

附图说明

图1 为在双核共享二级Cache的系统中，应用本发明提出的新型共享Cache动态划分方法整体框架图。

图2 为性能加速比与自由路路数关系图。

图3 为8组测试用例下不划分共享Cache，基于效用最优划分共享Cache和本发明提出的新型共享Cache动态划分方法性能对比图。

具体实施方式

本发明采用多核系统仿真器M-Sim，模拟基于Alpha指令集的双核系统，具体配置见表1。在双核共享二级Cache的系统中，应用本发明提出的新型共享Cache动态划分方法的整体框架如图1所示。我们从SPEC CPU2000测试集中选取多道测试用例，两两一组在M-Sim构建的双核系统架构下进行测试，如表2所示。

表1 仿真环境配置

CPU	2 cores，8 wide，out of order，48 LSQ，128 ROB
		一级指令Cache	private，2KB，32B line-size，2-way，LRU
一级数据Cache	private，2KB，32B line-size，2-way，LRU
		二级Cache	shared，64KB，32B line-size，16-way
Memory	300-cycle access latency

表2 测试用例

序号	程序
		1	crafty-mcf
2	vpr-crafty
		3	mesa-applu
4	twolf-applu
		5	vpr-mcf
6	twolf-mcf
		7	vpr-applu
8	crafty-apsi

本发明对不划分共享Cache方法（LRU）、基于效用最优的共享Cache划分方法（UCP）以及本发明提出的新型共享Cache动态划分方法（IUL-CP）进行仿真，以式（1）中的性能加速比作为衡量系统性能的标准。其中IPC _i为多进程共享最后一级Cache时，系统中第i个应用的IPC，Single_IPC _i则为该应用独占共享Cache时的IPC。

(1)

我们将每对测试用例平均运行3.5亿条指令。首先对引入不同的自由路路数对系统性能的影响进行了测试，测试结果如图2所示。从图2中可以看出，在引入1路自由路时系统性能最为理想，不引入自由路或引入过多自由路均会造成系统性能的下降。我们在确定引入1路自由路后，对划分算法的执行间隔时钟周期进行了测试，测试结果表明当划分算法的执行间隔为150万个时钟周期时，系统的整体性能最好。

因此，本发明确定在新型共享Cache动态划分方法中规定自由路路数为1路，每隔150万个时钟周期执行一次划分算法。我们对8组测试用例分别进行测试，测试结果如图3所示。

在8对测试用例测试下，本发明提出的新型共享Cache动态划分方法（IUL-CP）的性能比不划分共享Cache方法（LRU）的性能平均提高13.17%，比基于效用最优的共享Cache划分方法（UCP）的性能平均提高8.83%。测试结果表明本发明提出的新型划分方法在兼顾恰当划分给系统性能带来提升的基础上，有效降低了不恰当划分对系统的危害，使系统的整体性能得到了提升。此外，我们在更多的测试用例下进行了测试，本发明提出的新型划分方法均获得了系统整体平均性能的提升。

Claims

1.一种共享Cache动态划分方法，其特征在于为共享Cache设置监控电路和划分电路；

即在共享Cache动态划分中，为每个核设置一个监控电路，用来跟踪共享Cache，当共享Cache为一个核所独占时，在共享Cache空间中为这个核分配不同路数的情况下，得到该核可获得的命中数；

所述监控电路将监控信息传递给划分电路，划分电路据此按照划分算法计算出在共享Cache中分配给各个核的最优私有路路数；

所述的划分算法，是将共享Cache空间每组中的各路划分为私有路和自由路两大部分；其中私有路被划分算法显性地分配给某一个核，而自由路则在系统运行过程中按照LRU的方法被隐性地分配给某一个核，不再由划分算法显性地分配；划分算法每隔固定周期执行一次，每次划分算法执行后，将监控电路中的计数器值减半；

为了配合划分算法中计算得到的最优划分实现，为共享Cache中每个块添加若干位标志位，以标记该块属于哪个核，即最近被哪个核命中或替换过；

每个核访问共享Cache时均可访问其中的任意一路，如果一个核引起共享Cache缺失，需要一个块被替换出共享Cache，那么，先统计共享Cache需替换块的组中，属于这个核的块数；如果该块数小于划分算法计算得到的应该分配给这个核的路数，则在属于其他核的块中找到位于LRU替换算法队列最尾端的块，替换出共享Cache；如果统计得到的块数大于最优划分中应该分配给这个核的路数，则在属于这个核自己的块中找到位于LRU替换算法队列最尾端的块替换出去；如果统计得到的各个核的块数等于划分算法分配的块数，此时再发生缺失，则采取新的替换策略，不再区分该块属于哪个核，从发生缺失的组内所有的块中找到位于LRU队列最尾端的块替换出去。

2.根据权利要求1所述的共享Cache动态划分方法，其特征在于所述得到该核可获得的命中数的具体操作如下：从共享Cache标签目录每32组中选取一组作为采样组进入监控电路，在监控电路中建立和采样组相同的标签目录，并为每一路提供一个计数器，以统计该路的命中次数；在监控电路中所有组的同一路共用一个计数器，即任意组某一路命中后，该路计数器值均加1；将监控电路的相应计数器值相加，便获得在共享Cache中为拥有该监控电路的核分配不同路数时，该核的具体命中数。

3.根据权利要求1所述的共享Cache动态划分方法，其特征在于所述划分算法只对私有路进行分配；对于双核共享16路组相连Cache，其中有1路自由路，划分算法只遍历为两个核一共分配15路的所有情况，即遍历在共享Cache中为核1分配i路，为核2分配15-i路的所有情况，其中1≤i≤14，找出使两个核各路的命中总数最高的划分方法；剩下的1路自由路则由两个核共享，在运行过程中按照LRU方法动态地分配给某一个核。

4.一种共享Cache动态划分电路，其特征在于包含监控电路、划分电路和共享Cache三大部分；其中：

每个核对应一个监控电路，该监控电路用来跟踪共享Cache，当共享Cache为一个核所独占时，在共享Cache空间中为这个核分配不同路数的情况下，该核可获得的命中数；

监控电路将监控信息传递给划分电路，划分电路据此按照划分算法计算出在共享Cache中分配给各个核的最优私有路路数；

所述划分算法，是将共享Cache空间每组中的各路划分为私有路和自由路两大部分；其中私有路被划分算法显性地分配给某一个核，而自由路则在系统运行过程中按照LRU的方法被隐性地分配给某一个核，不再由划分算法显性地分配；划分算法每隔固定周期执行一次；每次划分算法执行后，将监控电路中的计数器值减半；

共享Cache中每个块添加有若干位标志位，以标记该块属于哪个核，即最近被哪个核命中或替换过；

每个核访问共享Cache时均可访问其中的任意一路；如果一个核引起共享Cache缺失，需要一个块被替换出共享Cache；那么，先统计共享Cache需替换块的组中，属于这个核的块数；如果该块数小于划分算法计算得到的应该分配给这个核的路数，则在属于其他核的块中找到位于LRU替换算法队列最尾端的块，替换出共享Cache；如果统计得到的块数大于最优划分中应该分配给这个核的路数，则在属于这个核自己的块中找到位于LRU替换算法队列最尾端的块替换出去；如果统计得到的各个核的块数等于划分算法分配的块数，此时再发生缺失，则采取新的替换策略，不再区分该块属于哪个核，从发生缺失的组内所有的块中找到位于LRU队列最尾端的块替换出去。