CN117971728A - 缓存器及缓存控制方法、集成电路系统、电子组件及设备 - Google Patents

Abstract

本公开提供一种缓存器及缓存控制方法、集成电路系统、电子组件及设备。其中，缓存控制方法如下：为缓存行配置第二状态，当基于特定写请求向缓存行写入数据，将该缓存行的第二状态置为有效，在第二状态有效期间，该缓存行的数据不会被移出。当基于特定的读请求从该缓存行读取数据，将该缓存行的第二状态置为无效。由此，数据提供方向数据使用方提供的数据暂存在cache中，对应的缓存行的第二状态被置为有效，数据提供方提供的数据不会被移出cache。当数据使用方需要读取该数据时，可以成功从cache中读取这笔数据，避免了延迟的增加和访存带宽的浪费，从而提升了性能。

Description

缓存器及缓存控制方法、集成电路系统、电子组件及设备

技术领域

本公开涉及缓存控制技术领域，尤其涉及一种缓存器、集成电路系统、电子组件、电子设备及缓存控制方法。

背景技术

在计算机系统中，高速缓存（cache）利用时间局部性和空间局部性的原理将少量内存数据临时存放在距离CPU（Central Processing Unit，中央处理器）或GPU（GraphicsProcessing Unit，图形处理器）等处理部件更近的位置上，降低访存延迟并增大访存带宽，对计算机系统性能提升的作用明显。

Cache包括多个缓存行（ways），每个缓存行对应有标志域、状态域和数据域等。其中，标志域用于索引、定位缓存行，状态域用于指示缓存行当前的状态，数据域用于存放数据。

Cache容量有限，当有新的数据需要存入cache，但没有可用的缓存行，需要按照预定的替换策略进行数据替换。常见的替换策略包括LRU（Least Recently Used，即最近最少使用）替换策略、NRU（Not Recent Used）替换策略、SRRIP替换策略等。现有的替换策略思路是运行时动态调整各缓存行的age，并选择age相对最老的缓存行进行数据替换。

这类策略在一般情况下运行良好，性能也有保证。

但在某些情况下，特别是异构系统中，数据提供方向数据使用方提供的数据会暂存在cache中，数据使用方并不会立即读取该数据。当数据使用方需要读取该数据时，可能这笔数据刚刚在不久前被替换，这种情况会导致延迟的增加和访存带宽的浪费，从而影响性能。

发明内容

本公开的目的是提供一种缓存器、集成电路系统、电子组件、电子设备及缓存控制方法，以提高缓存性能。

根据本公开的一个方面，提供一种缓存器，该缓存器包括缓存控制模块和缓存模块。其中，缓存控制模块被配置为：响应于特定写请求，将该特定写请求指示的数据写入缓存模块的目标缓存行，并将目标缓存行的第二状态置为有效；响应于上述数据的特定读请求，从目标缓存行读取该数据，并将目标缓存行的第二状态置为无效；在目标缓存行的第二状态有效期间，目标缓存行中的数据不被移出。

可选的，缓存控制模块根据特定写请求中携带的第二状态置位信息，将目标缓存行的第二状态置为有效。

在上述任一实施例的基础上，可选的，特定读请求包括：第N次缓存命中的读请求，N为不小于1的整数；或者，指定对象发送的读请求；或者，目标缓存行的第二状态为有效时收到的读请求。

在上述任一实施例的基础上，可选的，在目标缓存行的第二状态有效的情况下，对目标缓存行的写操作不触发目标缓存行的第二状态的改变。

在上述任一实施例的基础上，可选的，缓存控制模块还被配置为：响应于特定写请求，将目标缓存行的第三状态置为有效；在目标缓存行的第三状态有效期间，响应于目标缓存行第M次读命中，将目标缓存行的第一状态置为无效，第一状态为无效的缓存行允许被写入数据，M为不小于1的整数。

在此基础上，可选的，缓存控制模块根据特定写请求中携带的第三状态置位信息，将目标缓存行的第三状态置为有效。

在上述任一缓存器实施例的基础上，缓存器为系统级缓存器。

根据本公开的另一方面，提供一种集成电路系统，包括上述任一实施例所述的缓存器。

根据本公开的另一方面，提供一种电子组件，包括上述实施例所述的集成电路系统。

根据本公开的另一方面，提供一种电子设备，包括上述任一实施例所述的电子组件。

根据本公开的另一个方面，提供一种缓存控制方法，该方法包括：

响应于特定写请求，将特定写请求指示的数据写入缓存模块的目标缓存行，并将目标缓存行的第二状态置为有效；

响应于上述数据的特定读请求，从目标缓存行读取该数据，并将目标缓存行的第二状态置为无效；在目标缓存行的第二状态有效期间，目标缓存行中的数据不被移出。

可选的，将目标缓存行的第二状态置为有效，其实现方式可以包括：根据特定写请求中携带的第二状态置位信息，将目标缓存行的第二状态置为有效。

在上述任一方法实施例的基础上，特定读请求包括：第N次缓存命中的读请求，N为不小于1的整数；或者，指定对象发送的读请求；或者，目标缓存行的第二状态为有效时收到的读请求。

在上述任一方法实施例的基础上，可选的，在目标缓存行的第二状态有效的情况下，对目标缓存行的写操作不触发目标缓存行的第二状态的改变。

在上述任一方法实施例的基础上，可选的，响应于特定写请求，将目标缓存行的第三状态置为有效；在目标缓存行的第三状态有效期间，响应于目标缓存行第M次读命中，将目标缓存行的第一状态置为无效，第一状态为无效的缓存行允许被写入数据，M为不小于1的整数。

在此基础上，可选的，将目标缓存行的第三状态置为有效的具体实现方式可以包括：根据特定写请求中携带的第三状态置位信息，将目标缓存行的第三状态置为有效。

附图说明

图1为本公开一个实施例提供的缓存器的结构示意图；

图2为本公开一个实施例提供的缓存行的结构示意图。

具体实施方式

在介绍本公开实施例之前，应当说明的是：

本公开部分实施例被描述为处理流程，虽然流程的各个操作步骤可能被冠以顺序的步骤编号，但是其中的操作步骤可以被并行地、并发地或者同时实施。

本公开实施例中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了将一个特征与另一个特征进行区分。

本公开实施例中可能使用了术语“和/或”，“和/或”包括其中一个或更多所列出的相关联特征的任意和所有组合。

应当理解的是，当描述两个部件的连接关系或通信关系时，除非明确指明两个部件之间直接连接或直接通信，否则，两个部件的连接或通信可以理解为直接连接或通信，也可以理解为通过中间部件间接连接或通信。

为了使本公开实施例中的技术方案及优点更加清楚明白，以下结合附图对本公开的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本公开的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的目的是提供一种缓存控制方案，为缓存行配置第二状态，当基于特定写请求向缓存行写入数据，将该缓存行的第二状态置为有效，在第二状态有效期间，该缓存行的数据不会被移出。当基于特定的读请求从该缓存行读取数据，将该缓存行的第二状态置为无效。由此，数据提供方向数据使用方提供的数据暂存在cache中，对应的缓存行的第二状态被置为有效，数据提供方提供的数据不会被移出cache。当数据使用方需要读取该数据时，可以成功从cache中读取这笔数据，避免了延迟的增加和访存带宽的浪费，从而提升了性能。本公开实施例中，第二状态可以默认为无效。

本公开实施例中，数据提供方又称为master（主设备），数据使用方又称为slave（从设备）。计算机系统中的处理核在提供数据时作为主设备，在使用数据时作为从设备。

本公开实施例提供的缓存控制方案适用于有两个或更多处理核（包括master和slave）的计算机系统（例如SOC），主设备向其他从设备提供的数据在内存中转，并且在数据到达内存之前先进入SLC（system level cache，系统级缓存）。这种情况下就无法保证进入SLC的数据在从设备读取之前不被替换出去。这种问题在异构计算中尤为常见，因为作为数据提供方的主设备提供数据的操作和作为数据使用方的从设备读取数据的操作常由不同的软件主体触发，难以做到时序上紧凑衔接。采用本公开实施例提供的方案可解决该问题。

本公开的一个实施例提供一种缓存器，如图1所示，该缓存器包括缓存控制模块和缓存模块。缓存控制模块被配置为：响应于特定写请求，将该特定写请求指示的数据写入缓存模块的目标缓存行，并将目标缓存行的第二状态置为有效；响应于上述数据的特定读请求，从目标缓存行读取该数据，并将目标缓存行的第二状态置为无效；在目标缓存行的第二状态有效期间，目标缓存行中的数据不被移出。

本公开实施例中，缓存模块包括多个缓存行，缓存行（Cache Line）是缓存中的最小存储单位，它由多个连续的字节或字组成。缓存行的大小是根据具体的处理器架构和设计而定，常见的缓存行大小为64字节或者128字节。每个缓存行对应有标志域、状态域、数据域。

其中，标志域用于标识缓存行中存储的数据来自于主存中的哪个地址，从而响应访存请求来索引、定位缓存行。本公开实施例提供的缓存模块可采用组相连映射、直接映射、全相连映射等映射方式。对于不同映射方式，标志域具体包括哪些信息是本领域技术人员所公知的，此处不再赘述。另外，对于不同的映射方式，为了准确索引到缓存行，可能还会配合其他定位信息，这也是本领域技术人员所公知的。以组相连映射为例，缓存模块的缓存行（ways）被分为多个组（sets）。判断访存请求（读请求或写请求）是否在缓存模块中命中，需要先定位目标缓存行，具体可以将访存请求中携带的地址中组标识位与缓存模块中各组的组标识比较，从而选定目标组，进而再利用地址中的缓存行标志位与目标组中各个缓存行的标志域（tag）进行比较，进而选定目标缓存行。

其中，状态域用于指示缓存行当前的状态。不同的缓存架构和设计可能会有不同的状态位。但无论采用何种写策略、读策略，均会定义缓存行有效位（对应本公开实施例的第一状态），缓存行有效位用于标识缓存行是否有效。除缓存行有效位之外，常见的状态位还包括脏位（Dirty Bit）、保护位（Protection Bit）、互斥位（Exclusive Bit）、一致性位（Coherency Bit）等。这些状态位的具体含义和使用方式可能会因不同的缓存架构和设计而有所不同。缓存行上述状态位的变化通常由缓存一致性协议来管理和维护。缓存一致性协议确保多个缓存之间的数据一致性，以避免数据访问的冲突和错误。常见的缓存一致性协议包括MESI（Modified, Exclusive, Shared, Invalid）和MOESI（Modified, Owned,Exclusive, Shared, Invalid）等。本公开实施例中，状态域不仅包括上述状态位，还包括指示上述第二状态的第一等待位。相应的，如图2所示，本公开实施例中，一个缓存行的结构包括标志域、状态域和数据域。其中，状态域包括第一子状态域和第二子状态域。第一子状态域中包括有效状态位在内的若干状态位，第二子状态域包括第一等待位。

其中，数据域用于存储数据。数据可以是字节、字、双字等不同大小的数据单元，具体取决于处理器的设计。

本公开实施例中，特定写请求是指其请求写入的数据需要通过缓存行的第二状态有效来保持在缓存行中。

在应用程序明确知道某笔写回内存的数据在近期一定会被读取使用的情况下，那么，对应的写请求即为特定写请求。为解决进入缓存器的数据在等待使用的过程中被替换出缓存的问题，本公开设计实现一种等待状态（第二状态），并在缓存行中由第一等待位（Wait Bit）标识。Wait Bit有效则表示不参与替换策略的运转，直到缓存行被读取至少一次后，Wait Bit变为无效，该缓存行转入执行常规的替换策略。

应当指出的是，实际应用中，缓存器并不需要必须识别特定写请求，而是需要识别目标缓存行的第二状态是否需要置为有效。一种可行的实现方式中，特定写请求中会携带第二状态置位信息，用于指示将目标缓存行的第二状态置为有效。相应的，缓存控制模块根据特定写请求中携带的第二状态置位信息，将目标缓存行的第二状态置为有效。第二状态置位信息可以是新增的信息，也可以复用已有信息，例如，可以将源地址、目的地址、源设备标识、目标设备标识、请求类型等其中一种或几种信息作为第二状态置位信息。

本公开实施例中，特定读请求是指数据读取之后不再需要通过缓存行的第二状态有效来保持在缓存行中的读请求。根据实际应用情况，特定读请求可以是第N次缓存命中的读请求，N为不小于1的整数。例如，如果数据使用方读取一次数据后，短时间内不再读取该数据，那么，在目标缓存行的第二状态有效期间，该目标缓存行的数据被读取一次后，即可将第二状态置为无效。又例如，在目标缓存行的第二状态有效期间，如果某个特定的数据使用方读取到该目标缓存行的数据，该数据不再有被保持的价值，那么，特定读请求是指指定对象发送的读请求，可以但不仅限于通过源地址、源设备标识等方式来识别指定对象。又例如，目标缓存行的第二状态为有效时收到的读请求作为特定读请求。本公开实施例中，如果缓存行的第二状态无效，对该缓存行的读写操作均按照常规模式进行。

在上述任一实施例的基础上，可选的，在目标缓存行的第二状态有效的情况下，对目标缓存行的写操作不触发目标缓存行的第二状态的改变。这就意味着，在目标缓存行的第二状态有效期间，对该目标缓存行的写操作被视为数据更新操作，新数据可以直接覆盖旧数据，但目标缓存行的第二状态仍然保持有效。

当应用层明确知道数据只会被使用一次的情况下，设计实现如下机制：使第二状态有效的缓存行被读取一次后立即成为无效状态。这可以绕过替换策略，直接实现可以立即被替换掉的效果，从而提高其他缓存行在缓存中的生存时间，增加重新被使用的机会。相应的，在上述任一实施例的基础上，可选的，缓存控制模块还被配置为：响应于特定写请求，将目标缓存行的第三状态置为有效；在目标缓存行的第三状态有效期间，响应于目标缓存行第M次读命中，将目标缓存行的第一状态置为无效，第一状态为无效的缓存行允许被写入数据，M为不小于1的整数。

本公开实施例中，可以通过特定写请求中携带的第三状态置位信息进行第三状态的置位。应当指出的是，实际应用中，某个写请求可能仅通过第二状态置位信息指示将第二状态置为有效，但并不通过第三状态置位信息指示将第三状态置为有效。

相应的，如图2所示，可以在缓存行的状态域的第二子状态域中增加指示上述第三状态的第二等待位（Wait1 Bit），如果第二等待位被置为有效（即第三状态有效），那么本缓存行在等待一次读操作后，立即被置为无效，即可以被立即替换出缓存而不必等待替换策略选中。在应用层确定该数据只被读取一次的情况下，可以提高其他缓存行驻留的时间，以提高其它数据命中的机会从而提高性能。

基于同样的发明构思，本公开实施例还提供一种集成电路系统，该集成电路系统包括上述任一实施例所述的缓存器。该集成电路系统可以但不仅限于是SOC（System onChip，片上系统）芯片、ASIC芯片等。

基于相同的发明构思，本公开实施例还提供一种电子组件，该电子组件包括上述任一实施例中所述的集成电路系统。在一些使用场景下，该电子组件的产品形式体现为显卡；在另一些使用场景下，该电子组件的产品形式体现为CPU主板。

基于相同的发明构思，本公开实施例还提供一种电子设备，该电子设备包括上述的电子组件。在一些使用场景下，该电子设备的产品形式是便携式电子设备，例如智能手机、平板电脑、VR设备等；在一些使用场景下，该电子设备的产品形式是个人电脑、游戏主机等。

基于同样的发明构思，本公开实施例还提供一种缓存控制方法，该方法包括：

响应于特定写请求，将特定写请求指示的数据写入缓存模块的目标缓存行，并将目标缓存行的第二状态置为有效；

响应于上述数据的特定读请求，从目标缓存行读取该数据，并将目标缓存行的第二状态置为无效；在目标缓存行的第二状态有效期间，目标缓存行中的数据不被移出。

可选的，将目标缓存行的第二状态置为有效，其实现方式可以包括：根据特定写请求中携带的第二状态置位信息，将目标缓存行的第二状态置为有效。

在上述任一方法实施例的基础上，特定读请求包括：第N次缓存命中的读请求，N为不小于1的整数；或者，指定对象发送的读请求；或者，目标缓存行的第二状态为有效时收到的读请求。

在上述任一方法实施例的基础上，可选的，在目标缓存行的第二状态有效的情况下，对目标缓存行的写操作不触发目标缓存行的第二状态的改变。

在上述任一方法实施例的基础上，可选的，响应于特定写请求，将目标缓存行的第三状态置为有效；在目标缓存行的第三状态有效期间，响应于目标缓存行第M次读命中，将目标缓存行的第一状态置为无效，第一状态为无效的缓存行允许被写入数据，M为不小于1的整数。

在此基础上，可选的，将目标缓存行的第三状态置为有效的具体实现方式可以包括：根据特定写请求中携带的第三状态置位信息，将目标缓存行的第三状态置为有效。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (16)

1.一种缓存器，所述缓存器包括缓存控制模块和缓存模块；

所述缓存控制模块被配置为：响应于特定写请求，将所述特定写请求指示的数据写入所述缓存模块的目标缓存行，并将所述目标缓存行的第二状态置为有效；响应于所述数据的特定读请求，从所述目标缓存行读取所述数据，并将所述目标缓存行的第二状态置为无效；在所述目标缓存行的第二状态有效期间，所述目标缓存行中的数据不被移出。

2.根据权利要求1所述的缓存器，所述缓存控制模块被配置为：根据所述特定写请求中携带的第二状态置位信息，将所述目标缓存行的第二状态置为有效。

3.根据权利要求1或2所述的缓存器，所述特定读请求包括：第N次缓存命中的读请求，N为不小于1的整数；或者，指定对象发送的读请求；或者，所述目标缓存行的第二状态为有效时收到的读请求。

4.根据权利要求1或2所述的缓存器，在所述目标缓存行的第二状态有效的情况下，对所述目标缓存行的写操作不触发所述目标缓存行的第二状态的改变。

5.根据权利要求1或2所述的缓存器，所述缓存控制模块还被配置为：响应于所述特定写请求，将所述目标缓存行的第三状态置为有效；在所述目标缓存行的第三状态有效期间，响应于所述目标缓存行第M次读命中，将所述目标缓存行的第一状态置为无效，第一状态为无效的缓存行允许被写入数据，M为不小于1的整数。

6.根据权利要求5所述的缓存器，所述缓存控制模块被配置为：根据所述特定写请求中携带的第三状态置位信息，将所述目标缓存行的第三状态置为有效。

7.根据权利要求1所述的缓存器，所述缓存器为系统级缓存器。

8.一种集成电路系统，包括权利要求1至7任一项所述的缓存器。

9.一种电子组件，包括权利要求8所述的集成电路系统。

10.一种电子设备，包括权利要求9所述的电子组件。

11.一种缓存控制方法，包括：

响应于特定写请求，将所述特定写请求指示的数据写入缓存模块的目标缓存行，并将所述目标缓存行的第二状态置为有效；

响应于所述数据的特定读请求，从所述目标缓存行读取所述数据，并将所述目标缓存行的第二状态置为无效；在所述目标缓存行的第二状态有效期间，所述目标缓存行中的数据不被移出。

12.根据权利要求11所述的方法，所述将所述目标缓存行的第二状态置为有效，包括：

根据所述特定写请求中携带的第二状态置位信息，将所述目标缓存行的第二状态置为有效。

13.根据权利要求11或12所述的方法，所述特定读请求包括：第N次缓存命中的读请求，N为不小于1的整数；或者，指定对象发送的读请求；或者，所述目标缓存行的第二状态为有效时收到的读请求。

14.根据权利要求11或12所述的方法，在所述目标缓存行的第二状态有效的情况下，对所述目标缓存行的写操作不触发所述目标缓存行的第二状态的改变。

15.根据权利要求11或12所述的方法，所述方法还包括：

响应于所述特定写请求，将所述目标缓存行的第三状态置为有效；在所述目标缓存行的第三状态有效期间，响应于所述目标缓存行第M次读命中，将所述目标缓存行的第一状态置为无效，第一状态为无效的缓存行允许被写入数据，M为不小于1的整数。

16.根据权利要求15所述的方法，所述将所述目标缓存行的第三状态置为有效，包括：

根据所述特定写请求中携带的第三状态置位信息，将所述目标缓存行的第三状态置为有效。