CN103399824A - 一种计算机处理器中高速缓存中缓存不命中的状态保持方法与装置 - Google Patents

Abstract

本发明公开了一种计算机处理器中高速缓存中缓存不命中的状态保持方法与装置，包括：在第一级高速缓存中的缓存不命中状态保持寄存器中，记录针对同一数据块产生第二次缓存不命中的次数，根据预先设定的次数阈值，决定向下层高速缓存发送优先调度该数据块的请求，直至发送至访存控制器，访存控制器接收到优先调度请求后，根据该数据块优先级别的不同重新排列待调度的访存请求队列。

Description

一种计算机处理器中高速缓存中缓存不命中的状态保持方法与装置

技术领域

本发明涉及计算机处理器芯片设计中的高速缓存与访存控制器设计，特别是涉及一种对非阻塞式高速缓存的缓存不命中状态保持方法与装置。

背景技术

高速缓冲存储器（cache）简称高速缓存，是存在于中央处理器与内存之间的存储器，由静态存储芯片(SRAM)组成，容量比较小但速度比内存高得多，接近于中央处理器的速度。

在应用程序运行的过程中，中央处理器和内存都需要频繁地与cache交换数据，因而，cache的访问速度极大地影响到系统的性能。

高速缓存在发生缓存不命中（Miss）时需要访问内存，由于访问内存时间相对较长，在内存请求返回之前高速缓存控制器的状态转换会进入阻塞状态，暂停响应处理器的访存请求，从而导致处理器停顿。这会极大的影响处理器的处理速度。目前工业界对该问题的解决方法是增加一组高速缓存不命中状态寄存器（Miss Status Hold Register,简称MSHR），将不命中的数据请求地址保存起来，从而使高速缓存控制器能够继续响应来自处理器的访存请求，该方法发表在论文[D.Kroft.Lockup-free Instruction Fetch/Prefetch Cache Organization.InISCA’81,pages81–87,Los Alamitos,CA,USA,1981.IEEE Computer Society Press.]中。

在该论文提出的基本的MSHR系统中，一个MSHR系统包括多个高速缓存不命中状态保持寄存器(Miss Status Hold Register),每个寄存器中保存一个数据块地址和若干个子条目，每个子条目中保存需要返回的目标地址。数据块地址为每个64字节的高速缓存行的开头地址，目标地址为处理器发出请求该块内数据的寄存器地址。由于处理器速度较快，有可能在数据返回之前产生多次对该数据块的访问，如果该数据没有返回，那么会造成对一个数据块请求的多次缓存不命中，因此需要在一个状态保持寄存器内保存多个返回地址。这里我们将对某个数据块的第一次高速缓存不命中称为Primary Miss，在该数据块返回之前，产生的后续的高速缓存不命中称为Secondary Miss。也就是说，MSHR系统需要为每个Primary Miss分配一个寄存器和该寄存器内的一个子条目，用来保存这次请求的目标地址，而只需要为每个Secondary Miss分配一个该寄存器内的一个子条目，因为Secondary Miss与同属一个寄存器的Primary Miss请求的数据块是相同的，但是返回的目标地址不同。在该数据块到来之后，高速缓存控制器根据该寄存器中的记录，向这些目标地址代表的寄存器分别发送数据。由于每个数据块是64字节大小，如果处理器请求的数据小于这个大小，例如8个字节，那么在目标地址中还需要附加保存所请求数据的长度以及在该数据块中的偏移地址。该方法的问题在于，MSHR系统中寄存器的数量难以确定。个数太多会浪费珍贵的芯片资源，个数太少会难以满足处理器发出的请求速度，无法为每个缓存不命中的数据访问请求保存请求地址而导致高速缓存的阻塞。

论文[K.I.Farkas and N.P.Jouppi.Complexity/Performance Tradeoffs with Non-BlockingLoads.In ISCA’94,pages211–222,Los Alamitos,CA,USA,1994.IEEE Computer SocietyPress.]提出了一种反向的MSHR系统。给处理器中的每个寄存器分配了一个高速缓存不命中状态保持寄存器，从而可以保证对每个从处理器发出的访存请求，都有唯一对应的MSHR寄存器保存缓存不命中的状态。该方法的问题在于，目前多核处理器内部寄存器众多，一般包含200-300个寄存器，为每个寄存器分配一个MSHR过于浪费芯片空间资源。

论文[J.Tuck et.al.Scalable Cache Miss Handling for High Memory-Level Parallelism.InMICRO39,pages409–422,Washington,DC,USA,2006.IEEE Computer Society.]提出了一种层次化结构的MSHR系统。处理器内的高速缓存一般分为若干个子区域，称为Bank。该方法首先给高速缓存的每个Bank分配少量的MSHR，然后设置一个全局的MSHR区域，包含多个寄存器条目。当某个Bank的寄存器数目不足时，将该缓存不命中的数据请求记录在全局MSHR中。这样可以较好的利用芯片空间。上述方法的目标在于避免寄存器个数太少而引起阻塞。但问题在于，不仅仅寄存器个数少会引起阻塞，每个寄存器中可存储的目标地址个数太少也会引起阻塞。设定合适的子条目数量仍然是个较大的困难。为了避免子条目数量不足而引起高速缓存阻塞，一般都会设置较多的子条目，从而造成芯片空间资源的浪费。

本发明专利提出一种新的MSHR系统，该系统通过优先调度已经产生了多个SecondaryMiss的数据块，降低产生Secondary Miss的可能性，从而减少MSHR内部的子条目数量，降低MSHR系统对芯片面积的占用，同时还可以保证处理器得到较好的处理性能。

发明内容

本发明主要解决的技术问题是提供一种计算机处理器芯片中高速缓存中缓存不命中的状态保持方法，能够优化高速缓存的设计。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机处理器中高速缓存中缓存不命中的状态保持方法，包括一个消息触发机制，一个消息传递机制，一个请求优先调度消息，一个用于访存控制器的优先级调度算法；

第一级高速缓存根据Secondary Miss的状况，利用消息传递机制将一个请求优先调度的消息传递到第二级高速缓存的一组MSHR寄存器；

第二级高速缓存的一组MSHR寄存器将该消息转发至下一级高速缓存，直至转发至访存控制器；

访存控制器根据请求优先调度的消息向存储器优先请求某些数据块；

其中，所述的消息触发机制包括：高速缓存中的某个数据块的Secondary Miss的个数超过了某个预先设定的阈值，这个阈值可以根据MSHR寄存器中的子条目数量确定；

所述的消息传递机制包括：

在第一级高速缓存中，产生Secondary Miss后仍然向下一级高速缓存发送消息；

第二级高速缓存及以下各级高速缓存对该消息不做处理，直接向更下一级存储器转发，直至转发至访存控制器；

所述的请求优先调度消息，

该消息包含最初发生多个Secondary Miss的数据块地址；

该消息包含数据块地址的优先级信息；

该消息包含1条或多条数据块地址及其优先级信息；

优先级信息分为多个级别，级别由已产生Secondary Miss的个数确定，已产生SecondaryMiss的个数越高，则优先级别越高；

所述的用于访存控制器的优先级调度算法，访存控制器根据接收到的优先调度消息，对内部的访存队列重新排序，将优先调度消息中涉及的数据块比原位置提前调度；

所述的用于访存控制器的优先级调度算法，访存控制器根据接收到的优先调度消息对内部的访存队列重新排序的方式以如下方法确定：

如果请求消息中的优先级别较低，则将请求消息中涉及的数据块提前至所在内存Bank的第一个请求；

如果请求消息中的优先级别中等，则将请求消息中涉及的数据块提前至所在内存Bank的第一个请求，并将该Bank作为当前调度Bank的后续Bank；

如果请求消息中的优先级别较高，则将请求消息中涉及的数据块作为当前调度数据块的后续数据块。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机处理器中高速缓存中缓存不命中的状态保持装置，包括第一级高速缓存的一组MSHR寄存器，层次低于第一级高速缓存的若干级高速缓存中的一组MSHR寄存器，以及访存控制器，还包含优先调度请求触发模块、优先调度消息传输模块和访存优先调度模块，

所述优先调度请求触发模块，包含根据MSHR中数据块Secondary Miss的监测机制、消息构建机制和消息发送机制。

所述优先调度消息传输模块，涉及计算机处理器中可能存在的每一级高速缓存，消息从第一级高速缓存发出，经过中间可能存在的各级高速缓存，到达访存控制器。

所述访存优先调度模块，建立优先级调度策略，根据接收到的请求优先调度消息的内容，设定该数据块在访存调度队列中的位置。

本发明的有益效果是：

1、区别于现有技术的情况，本发明提供的高速缓存不命中状态保持方法在第一级高速缓存和访存控制器之间的通道中建立请求有限调度的传输机制，在Secondary Miss过多时请求优先调度该数据块，从而可以避免缓存不命中状态保持寄存器（MSHR）的子条目不足而导致高速缓存阻塞，从而提高系统性能，

2、本发明还可以减少MSHR占用的芯片空间。

3、本发明可以在存在多级缓存的情况下，为底层缓存提供数据重要程度的信息，底层缓存可以结合本地的MSHR做出更有利于程序性能的缓存替换策略。

4、本发明还可以将多个处理器同时访问的数据优先调度，提升程序执行速度。

附图说明

图1是本发明高速缓存不命中的状态保持方法第一实施例的数据流程图；

图2是本发明高速缓存不命中的状态保持装置第二实施例的逻辑结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

请参阅图1，本发明高速缓存不命中的状态保持方法第一实施例，包括：

S110、第一级Cache触发优先调度请求消息。

当第一级Cache发现本地MSHR中的某些数据块出现了达到某个预先设定值的Secondary Miss，那么将产生一个优先调度请求消息，消息中包括该数据块的地址以及优先级。优先级根据已经产生的Secondary Miss的个数设定。例如，假设MSHR中每个条目可以容纳8个子条目，即可以在发生7个secondary miss的情况下保持所有的不命中状态，可以设定从低、中、高三个优先级，分别对应2、5、8个子条目被占用的情况。则2、5、8即为设定的消息触发阈值，每次达到一个阈值，则发送一个包含根据阈值确定的优先级的消息。

S120、第二级Cache接收并转发优先调度请求消息。

第二级Cache接收到优先调度请求消息后，直接向可能存在的下一级Cache转发，直至转发至访存控制器。这里第二级Cache仅是一个举例，代表在第一级Cache和访存控制器之间的各级Cache。

S130、访存控制器执行优先调度。

访存控制器接收到访存优先调度消息后，根据该消息中对每个数据块设定的优先级，决定将该数据块地址放置在访存等待队列中的位置。例如可以采取以下策略：

如果请求消息中的优先级为“低”，则将请求消息中涉及的数据块提前至所在内存Bank的第一个请求；

如果请求消息中的优先级别为“中”，则将请求消息中涉及的数据块提前至所在内存Bank的第一个请求，并将该Bank作为当前调度Bank的后续Bank；

如果请求消息中的优先级为“高“，则将请求消息中涉及的数据块作为当前调度数据块的后续数据块。

本实施例通过尽早发现出现Secondary Miss的数据块，并及时发送优先调度请求给访存控制器，可以避免因访存等待时间过长而导致Secondary Miss过多，造成MSHR中没有空余的子条目而造成Cache阻塞。被优先调度的数据块发生多次Secondary Miss表明有多个指令在等待来自该数据块的数据，优先调度这些数据可以从一定程度上加快应用程序的执行。

请参阅图2，本发明高速缓存不命中的状态保持装置第二实施例，包括：

优先调度请求触发模块110在第一级Cache建立对MSHR中Secondary Miss的监测机制，设定优先调度请求消息的格式，设定消息触发机制，并建立与下层Cache的消息传递机制。例如：优先调度请求消息的格式可以为：（数据地址，Secondary Miss个数，优先级，消息源），根据该格式形成的实际消息例如（0x1200392，3,2，L1）。该消息的触发机制可以设定为MSHR某一项的Secondary Miss超过3。该消息一旦生成，将由第一级Cache传递到第二级Cache。当这个消息发送之后，如果第一级Cache的0x1200392这个地址的Secondary Miss增加了，那么将触发一个新的优先调度请求消息，将该消息中的优先级提升一级。

优先调度消息传输模块120建立与上层Cache和下层Cache或访存控制器的传输机制，在接收到请求优先调度消息时，将该消息中涉及的地址块的Secondary Miss信息在本地更新。如果本地的MSHR中存在该地址，那么将新消息中的SecondaryMiss的数量追加至本地MSHR。并同时将该消息向下层缓存转发，直至转发至访存控制器。

访存优先调度模块130建立优先级调度策略，根据接收到的请求优先调度消息的内容，设定该数据块在访存调度队列中的位置，如果优先调度模块收到的优先调度消息中涉及的模块已经处于高于消息要求的调度位置，那么忽略该优先调度消息。

本实施例通过建立请求优先调度的触发、传输与调度机制，可以将那些被更多指令同时访问的数据块优先调度，从而可以提高应用程序的执行速度。

请参阅图2，本发明高速缓存不命中的状态保持装置第三实施例，包括：

该状态保持装置也适用于除第一级高速缓存外的各级高速缓存，例如适用于多个处理器共享的第二级高速缓存。优先调度请求触发模块110在第二级Cache建立对MSHR中Secondary Miss的监测机制，设定优先调度请求消息的格式，设定消息触发机制，并建立与下层Cache的消息传递机制。消息格式、触发机制与消息传递方式与实施例二相似。

由于第二级高速缓存是在多个处理器核之间共享的，会接收到来自多个第一级高速缓存的访存请求，这些请求有可能是对同一块内存数据块的访问。因此，第二级高速缓存通过将来自多个不同第一级高速缓存的请求优先调度消息中的Secondary Miss数据合并，并生成新的请求优先调度消息，这个消息中的优先级高于原第一级高速缓存发出的消息。

本实施例通过在低级别高速缓存上建立优先调度机制，可以将多个处理器同时访问的数据优先调度，从而可以提高程序的执行速度。

本发明未详细公开的部分属于本领域的公知技术。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分可以通过程序指令相关硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等等。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种计算机处理器中高速缓存中缓存不命中的状态保持方法，其特征在于，包括一个消息触发机制，一个消息传递机制，一个请求优先调度消息，一个用于访存控制器的优先级调度算法；

第一级高速缓存根据Secondary Miss的状况，利用消息传递机制将一个请求优先调度的消息传递到第二级高速缓存的一组MSHR寄存器；

第二级高速缓存的一组MSHR寄存器将该消息转发至下一级高速缓存，直至转发至访存控制器；

访存控制器根据请求优先调度的消息向存储器优先请求某些数据块；

其中，所述的消息触发机制包括：高速缓存中的某个数据块的Secondary Miss的个数超过了某个预先设定的阈值，这个阈值可以根据MSHR寄存器中的子条目数量确定；

所述的消息传递机制包括：

在第一级高速缓存中，产生Secondary Miss后仍然向下一级高速缓存发送消息；

第二级高速缓存及以下各级高速缓存对该消息不做处理，直接向更下一级存储器转发，直至转发至访存控制器；

所述的请求优先调度消息，

该消息包含最初发生多个Secondary Miss的数据块地址；

该消息包含数据块地址的优先级信息；

该消息包含1条或多条数据块地址及其优先级信息；

优先级信息分为多个级别，级别由已产生Secondary Miss的个数确定，已产生SecondaryMiss的个数越高，则优先级别越高；

所述的用于访存控制器的优先级调度算法，访存控制器根据接收到的优先调度消息，对内部的访存队列重新排序，将优先调度消息中涉及的数据块比原位置提前调度；

所述的用于访存控制器的优先级调度算法，访存控制器根据接收到的优先调度消息对内部的访存队列重新排序的方式以如下方法确定：

如果请求消息中的优先级别较低，则将请求消息中涉及的数据块提前至所在内存Bank的第一个请求；

如果请求消息中的优先级别中等，则将请求消息中涉及的数据块提前至所在内存Bank的第一个请求，并将该Bank作为当前调度Bank的后续Bank；

如果请求消息中的优先级别较高，则将请求消息中涉及的数据块作为当前调度数据块的后续数据块。

2.一种计算机处理器中高速缓存中缓存不命中的状态保持装置，包括第一级高速缓存的一组MSHR寄存器，层次低于第一级高速缓存的若干级高速缓存中的一组MSHR寄存器，以及访存控制器，其特征在于，还包含优先调度请求触发模块、优先调度消息传输模块和访存优先调度模块，

所述优先调度请求触发模块，包含根据MSHR中数据块Secondary Miss的监测机制、消息构建机制和消息发送机制；

所述优先调度消息传输模块，涉及计算机处理器中可能存在的每一级高速缓存，消息从第一级高速缓存发出，经过中间可能存在的各级高速缓存，到达访存控制器；

所述访存优先调度模块，建立优先级调度策略，根据接收到的请求优先调度消息的内容，设定该数据块在访存调度队列中的位置。

Images