CN104484286A - 片上Cache网络中基于位置感知的数据预取方法 - Google Patents

Abstract

本发明公开一种片上Cache网络中基于位置感知的数据预取方法，步骤包括：1）在处理器启动后，利用数据位置向量表记录被取入处理器上片上Cache网络中的数据在片上Cache网络中的Cache块信息；2）当处理器核在执行到程序中的预取指示指令时，跳转执行步骤3）；3）在数据位置向量表中查找预取指示指令的目标数据在片上Cache网络中的Cache块信息，预取出目标数据后存储至预取指示指令指定的Cache块中，并更新目标数据在片上Cache网络中的Cache块信息。本发明能够实现针对众核处理器片上Cache网络中的数据预取，具有实现原理简单、预取准确率高且灵活性强的优点。

Description

片上Cache网络中基于位置感知的数据预取方法

技术领域

本发明涉及众核处理器的存储访问技术领域，尤其涉及一种片上Cache网络中基于位置感知的数据预取方法。

背景技术

存储墙是指处理器访问存储器获取指令和数据的时间远远高于处理器内指令执行的时间，是制约处理器性能发挥的主要因素之一。目前，随着片上多核甚至众核体系结构的迅速发展，众核核处理器的存储墙问题变得更为突出。为了缓解存储墙问题，通常是在处理器芯片上设计多级Cache（高速缓存），众核处理器的每个处理器核心通常就匹配设计了本地Cache，众多处理器核的片上Cache构成了片上Cache网络。在处理器工作过程中，将主存储器取出的数据分别缓存于处理器芯片上的Cache网络中。

片上Cache网络通过二维网络方式连接的处理器体系结构模型如图1所示，在其他的处理器中，也可能为环形网络，如Intel的XEON Phi的众核协处理器，其片上Cache网络就采用了环形网络连接。片上Cache网络中无论采用何种互联方式，每个Cache块都对应了一个或两个处理器核心作为处理器核心的本地Cache，处理器核访问本地Cache的延迟要小于访问对应于其他处理器核的非本地Cache。

数据预取是指在处理器处理数据之前就将即将要处理的数据从远离处理器核的存储层次（通常是片外存储器）预先取到处理器片上的高速缓存（Cache）中，这样处理器核进行数据处理时就能从速度较快的片上Cache获取数据，减少了计算时访问数据的时间。数据预取优化是针对处理器多级存储层次进行存储访问优化的有效手段。

目前，在高性能微处理器中普遍实现了硬件数据预取机制和软件数据预取机制，其中硬件预取是通过处理器的存储控制器根据处理器一段时间内的存储访问行为，推断未来一段时间内处理器的访存行为，从而自动实施存储器的预取操作，但硬件预取的方法灵活性以及对应用的适应性较差。通常在硬件可以实现预取的情况下，多种处理器设计实现了软件预取，通过在软件中插入预取指令，实现软件预取。软件预取提升了预取操作的灵活性和适应性，因而在编译优化或应用程序编写中通常是采用软件预取机制来提高存储访问的性能。软件预取方法虽然提高了预取的灵活性和适应性，但是需要程序编写人员或编译器来插入预取操作，增加了编程的难度或者增加了编译器实现的复杂度；另外，软件预取的效果也极大地依赖于软件预取的准确性。

片上Cache网络中的众多Cache块相对于一个特定的处理器核而言，其数据读取时间有很大差异，需要将预取的数据放置在尽可能靠近处理器核的Cache块中，因而针对片上众核处理器的片上Cache网络，软件预取非常复杂，不仅要考虑预取的时机还需要考虑预取数据存储于片上Cache网络中位置。

发明内容

本发明要解决的技术问题是克服现有技术的不足，提供一种能够实现针对众核处理器片上Cache网络中数据预取的片上Cache网络中基于位置感知的数据预取方法，具有实现原理简单、预取准确率高且灵活性强的优点。

为解决上述技术问题，本发明提出的技术方案为：

一种片上Cache网络中基于位置感知的数据预取方法，步骤包括：

1）在处理器启动后，利用数据位置向量表记录被取入处理器上片上Cache网络中的数据在片上Cache网络中的Cache块信息；

2）当处理器核在执行到程序中的预取指示指令时，跳转执行步骤3）；

3）在数据位置向量表中查找所述预取指示指令的目标数据在片上Cache网络中的Cache块信息，当从存储器中预取出目标数据后存储至预取指示指令指定的目的Cache块中，并更新目标数据在片上Cache网络中的Cache块信息。

作为本发明的进一步改进，所述步骤1）的具体实施步骤为：

1.1）在处理器初始化时建立用于记录各个处理器核所访问的数据在片上Cache网络中位置的数据位置向量表且初始化为空，所述数据位置向量表的每一个表项的字段包括处理器核编号和Cache块标识；

1.2）在处理器启动后，当一个处理器核发出访问指令时，如果所访问的数据不在片上Cache网络中，则处理器的存储控制单元在将数据取入片上Cache网络的同时在所述数据位置向量表中增加一条记录，通过该记录标记该处理器核所处理的数据位于片上Cache网络中的哪些Cache块中。

作为本发明的进一步改进，所述数据位置向量表的每一个表项的Cache块位置字段的位数与Cache网络中的Cache块的数目相同且一一对应，且所述Cache块位置字段以对应位为0或1表示处理器核所访问的数据是否位于Cache网络中对应的Cache块中。

作为本发明的进一步改进，所述步骤2）中的预取指示指令的字段包括读写标识W/R、处理器核标识CoreID、目标数据起始地址Addr以及预取数据长度LTH；所述读写标识W/R为指定预取目标数据的读写操作类型，所述处理器核标识CoreID指定预取目标数据目的存储位置对应的处理器核。

作为本发明的进一步改进：如果所述预取指示指令的目标数据为标量数据或为写操作类型的向量数据，则所述处理器核标识CoreID对应为访问所述目标数据的处理器核；如果所述预取指示指令的目标数据为读操作类型的标量数据，则所述处理器核标识CoreID对应为访问所述目标数据的处理器核以外的其他处理器核。

作为本发明的进一步改进，所述预取指示指令的字段中读写标识W/R为1位、处理器核标识CoreID为8位、目标数据起始地址Addr为40位以及预取数据长度LTH为15位。

作为本发明的进一步改进，所述步骤2）程序中嵌入的预取指示指令具体是指用户编程嵌入或者使用编译器编译嵌入。

与现有技术相比，本发明的优点在于：

1）本发明结合众核处理器的片上Cache网络结构，利用数据位置向量表记录每个处理核所访问的数据在片上Cache网络中的Cache块信息，在需要执行数据预取时根据记录的Cache块信息实现预取，能够有效提高数据预取的准确率，并通过预取指示指令给与预取提示同时指示预取数据的目的存储位置，实现片上Cache网络中快速、高效的数据预取。

2）本发明通过预取指示指令区分数据的类型、数据读写访问类型，将预取数据指定存储至不同的位置，指定标量数据以及写操作的向量数据预取至处理器核的本地Cache中，而读操作的向量数据指定预取至其他处理器核对应的本地Cache中，即可以减少读操作的向量数据和写操作的向量数据在处理器核的本地Cache中的冲突，也可以保证向量数据尽可能地放置到众核处理器的片上Cache中。

附图说明

图1是二维网络连接的片上Cache网络处理器体系结构的结构示意图。

图2是本实施例片上Cache网络中基于位置感知的数据预取方法的实现流程示意图。

图3是本实施例中数据位置向量表的结构示意图。

图4是本实施例中预取指示指令的结构示意图。

图5是本实施例中预取指示指令的实现原理示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图2所述，本实施例中片上Cache网络中基于位置感知的数据预取方法，步骤包括：

1）在处理器启动后，基于数据位置向量表记录被取入处理器上片上Cache网络中的数据在片上Cache网络中的Cache块信息；

2）当处理器核在执行到程序中嵌入的预取指示指令时，跳转执行步骤3）；

3）在数据位置向量表中查找预取指示指令的目标数据在片上Cache网络中的Cache块信息，当从存储器中预取出目标数据后存储至预取指示指令指定的目的Cache块中，并更新目标数据在片上Cache网络中的Cache块信息。

本实施例中，步骤1）的具体实施步骤为：

1.1）在处理器初始化时建立用于记录各个处理器核所访问的数据在片上Cache网络中位置的数据位置向量表且初始化为空，数据位置向量表的每一个表项的字段包括处理器核编号和Cache块标识；

1.2）在处理器启动后，当一个处理器核发出访问指令时，如果所访问的数据不在片上Cache网络中，则处理器的存储控制单元在将数据取入片上Cache网络的同时在数据位置向量表中增加一条记录，通过该记录标记该处理器核所处理的数据位于片上Cache网络中的哪些Cache块中。

本实施例通过建立一个数据位置向量表记录每个处理器核执行的计算任务所访问的数据在片上Cache网络中Cache块信息，即记录所访问的数据存储在片上Cache网络的哪些Cache块中，数据位置向量表由处理器的存储控制单元（MCU）管理、填写和使用，当需要执行数据预取时由MCU根据数据位置向量表从记录的对应Cache块中将数据取出，数据取出后相应的更新数据位置向量。

如图3所示，本实施例中数据位置向量表的每个表项的字段包括处理器核编号CoreID、Cache块标识CacheBlockMask，其中处理器核编号CoreID的位数由处理核的数量确定，例如本实施例处理器核编号CoreID取8位，则对应最多可表示128个处理器核；Cache块标识CacheBlockMask表示与编号为CoreID的处理器核所访问的数据在片上Cache网络中的哪些Cache块中，CacheBlockMask为一个位向量，且位数根据片上Cache网络中Cache块的数目确定。

本实施例中，数据位置向量表的每一个表项的Cache块标识字段的位数与Cache网络中的Cache块的数目相同且一一对应，且Cache块标识字段以对应位为0或1表示处理器核所访问的数据是否位于Cache网络中对应的Cache块中。例如芯片包括16个Cache块时，CacheBlockMask的每一位对应一个Cache块，当处理器核编号为0的处理器核所访问的数据位于0,1,4 Cache块中时，则设置数据位置向量表中对应表项为000000001100100000000000。

本实施例结合众核处理器的片上Cache网络结构，通过数据位置向量表主动记录每个处理核所访问的数据在片上Cache网络中位置，在需要执行数据预取时再根据记录的Cache块位置信息实现预取，使得在数据预取过程中能够实现预取数据的位置感知，从而能够快速、高效的预取到数据，有效提高数据预取的准确性，从而提升数据预取的效果。

本实施例通过预取指示指令（Position Aware Prefetch Instruction，PAPI）提示预取的执行，如图4所示，步骤2）中的预取指示指令的字段包括读写标识W/R、处理器核标识CoreID、目标数据起始地址Addr以及预取数据长度LTH；其中，读写标识W/R指定预取数据的读、写操作类型，处理器核标识CoreID指定预取数据目的存储Cache块对应的处理器核。如果预取指示指令的目标数据为标量数据或为写操作类型的向量数据，则处理器核标识CoreID对应为访问目标数据的处理器核；如果预取指示指令的目标数据为读操作类型的标量数据，则处理器核标识CoreID对应为访问目标数据的处理器核以外的其他处理器核。通过处理器核标识CoreID来区分处理器核处理的数据所对应的为本地Cache块或为非本地Cache块，对于存储至处理器核的非本地Cache块中的数据，则可以由硬件存取部件按照硬件预取机制实施预取，使得可以不用考虑片上具体有多少Cache块，从而有利于体系结构的扩展。

参见图4，本实施例中众核处理器包括有64个处理器核且每个处理器核拥有一个本地L2 Cache，预取指示指令的字段中读写标识W/R为1位、处理器核标识CoreID为8位、目标数据起始地址Addr为40位以及预取数据长度LTH为15位，共64位。预取指示指令各字段数据位数还可根据实际需求进行设定。

本实施例中，步骤2）程序中的预取指示指令具体是指用户编程嵌入或者使用编译器编译嵌入，由编译器将预取指示函数转换成预取指示指令。

如图5所示，预取指示指令中首先区分标量数据和向量数据将预取出的数据存储至目的Cache块中，对于标量数据，无论对标量数据读还是写，均指定标量数据预取到处理该数据的处理器核对应的本地L2 Cache中；再区分向量数据的读写预取，对于写操作，指定预取到处理该数据的处理器核的本地L2 Cache，对于读操作，则指定预取到当前处理器核的非本地Cache块中，即为其他处理器核对应的本地Cache中。按上述规则得到的预取指示函数插入程序中指定预取位置中，由编译器编译得到对应的预取指示指令。

本实施例软件预取实现中通过区分数据的类型、数据读写访问类型将预取数据指定存储至不同的位置，其中标量数据以及写操作的向量数据指定预取至处理器核的本地Cache中，而将读操作的向量数据指定预取至其他处理器核对应的本地Cache中，由于标量数据读写频繁且只读数据相对于写数据而言不会造成Cache污染，这样即可以减少读操作的向量数据和写操作的向量数据在处理器核的本地Cache中的冲突，也可以保证向量数据尽可能地放置到众核处理器的片上Cache中。

以下以包含标量数据、向量数据读写预取的具体实施例说明预取指示指令实现的具体流程，其中需要执行预取的源程序如下所示：

int sp, sk;

int a[N], b[N];

……

for( i=0; i<N; i++ )

{

     a[i] = sp * a[i] + sk * b[i];

}

首先，对于其中标量数据sp和sk都指定存储至执行上述程序的处理器核的本地L2 Cache块中，同时为了保证预取到本地L2 Cache中，对变量sp和sk均指定为写操作。变量sp和sk的预取指示函数如下所示：

__prefetch( __Write, selfCoreID, &sp, 4);

__prefetch( __Write, selfCoreID, &sk, 4);

其中，__Write表示写操作，selfCoreID为执行当前程序的处理器核编号，&sp和&sk分别为变量sp和sk的首地址，4为变量sp和sk的字节长度。

由于对于向量数据a既包含读操作也包含写操作，则指定向量数据a为写操作类型，且指定存储至当前处理器核的本地L2 Cache中；对于向量数据b，由于为只读向量，则指定向量数据b为读操作类型，并指定存储至其他处理器核对应的L2 Cache。向量数据a和b的预取指示函数如下所示：

__prefetch( __Write, selfCoreID, &a, Cacheline);

__prefetch( __Read, otherCoreID, &b, Cacheline);

其中，__Write表示对变量为写操作，__Read 表示读操作，selfCoreID为当前处理器核编号，otherCoreID 为其他处理核编号，&a是向量数据a的首地址，预取的数据长度为Cacheline，Cacheline为L2 Cache行长度的整数倍；&b是向量b的首地址，预取的数据长度为Cacheline。

如下所示将各预取指示函数插入至程序中：

int sp, sk;

int a[N], b[N];

……

__prefetch( __Write, selfCoreID, &sp, 4);

__prefetch( __Write, selfCoreID, &sk, 4);

__prefetch( __Write, selfCoreID, &a, Cacheline);

__prefetch( __Read, otherCoreID, &b, Cacheline);

for( i=0; i<N; i++ )

{

     a[i] = sp * a[i] + sk * b[i];

}

本实施例通过预取指示指令指示预取的执行，并指定待预取数据的信息以及目的存储Cache块，包括指示待预取数据所需要执行的读写操作类型、预取的数据大小以及预取完成后的目的存储位置。预取指示指令是作为存储器的访问示意（hint）通过处理器发送给存储控制单元（MCU），以提示MCU执行数据预取，MCU则根据预取指示指令预先读取处理器即将访问的数据到指定的Cache块中。

本实施例中，当处理器核执行到程序中嵌入的预取指示指令时，由MCU解析指令编码后，识别出目标数据以及指定的预取操作类型、处理器核编号，预取指示指令只是发给MCU的预取提示，预取与否、如何预取的具体实现则是由MCU根据数据位置向量、Cache块的数据存储情况来进行预取，处理器核从对应Cache块中预取出目标数据后存储至预取指示指令指定的目的存储Cache块中，并更新目标数据在片上Cache网络中位置。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (7)

1.一种片上Cache网络中基于位置感知的数据预取方法，其特征在于步骤包括：

1）在处理器启动后，利用数据位置向量表记录被取入处理器上片上Cache网络中的数据在片上Cache网络中的Cache块信息；

2）当处理器核在执行到程序中的预取指示指令时，跳转执行步骤3）；

3）在数据位置向量表中查找所述预取指示指令的目标数据在片上Cache网络中的Cache块信息，当从存储器预取出目标数据后存储至预取指令指定的目的Cache块中，并更新目标数据在片上Cache网络中的Cache块信息。

2.根据权利要求1所述的片上Cache网络中基于位置感知的数据预取方法，其特征在于，所述步骤1）的具体实施步骤为：

1.1）在处理器初始化时建立用于记录各个处理器核所访问的数据在片上Cache网络中位置的数据位置向量表且初始化为空，所述数据位置向量表的每一个表项的字段包括处理器核编号和Cache块标识；

1.2）在处理器启动后，当一个处理器核发出访问指令时，如果所访问的数据不在片上Cache网络中，则处理器的存储控制单元在将数据从存储器取入片上Cache网络的同时在所述数据位置向量表中增加一条记录，通过该记录标记该处理器核所处理的数据位于片上Cache网络中的哪些Cache块中。

3.根据权利要求2所述的片上Cache网络中基于位置感知的数据预取方法，其特征在于：所述数据位置向量表的每一个表项的Cache块位置字段的位数与Cache网络中的Cache块的数目相同且一一对应，且所述Cache块位置字段以对应位为0或1表示处理器核所访问的数据是否位于Cache网络中对应的Cache块中。

4.根据权利要求1或2或3所述的片上Cache网络中基于位置感知的数据预取方法，其特征在于：所述步骤2）中的预取指示指令的字段包括读写标识W/R、处理器核标识CoreID、目标数据起始地址Addr以及预取数据长度LTH；所述读写标识W/R为指定预取目标数据的读写操作类型，所述处理器核标识CoreID指定预取目标数据目的存储位置对应的处理器核。

5.根据权利要求4所述的片上Cache网络中基于位置感知的数据预取方法，其特征在于：如果所述预取指示指令的目标数据为标量数据或为写操作类型的向量数据，则所述处理器核标识CoreID对应为访问所述目标数据的处理器核；如果所述预取指示指令的目标数据为读操作类型的标量数据，则所述处理器核标识CoreID对应为访问所述目标数据的处理器核以外的其他处理器核。

6.根据权利要求5中所述的片上Cache网络中基于位置感知的数据预取方法，其特征在于：所述预取指示指令的字段中读写标识W/R为1位、处理器核标识CoreID为8位、目标数据起始地址Addr为40位以及预取数据长度LTH为15位。

7.根据权利要求6所述的片上Cache网络中基于位置感知的数据预取方法，其特征在于：所述步骤2）程序中嵌入的预取指示指令具体是指用户编程嵌入或者使用编译器编译嵌入。