CN111124297B - 一种堆叠dram缓存的性能提升方法 - Google Patents

Abstract

本发明提供一种堆叠DRAM缓存的性能提升方法，提出行缓冲管理器，帮助缩短堆叠DRAM缓存访问延时，加速数据访问，从而提升性能。本发明包括如下步骤：S1、提出行缓冲管理器，其包括行状态表，行状态表包括多个行状态条目，每个行状态条目包括激活位、标签值序列、标签值填充位和等待请求数，以此来描述一个内存行数据的状态；S2、行缓冲管理器与数据访问请求队列相连，行缓冲管理器根据数据访问请求队列中到达的数据访问请求更新行状态表的信息；S3、行缓冲管理器与缓存控制器相连，行缓冲管理器接收来自缓存控制器的命令并更新行状态表的信息；S4、行缓冲器根据行状态表的信息，通过缓存控制器向堆叠DRAM缓存发出控制命令。

Description

一种堆叠DRAM缓存的性能提升方法

技术领域

本发明涉及一种堆叠DRAM缓存的性能提升方法。

背景技术

大数据处理背景下的内存墙问题导致片上处理器与片外存储器之间的数据传输问题恶化。集成于片上的堆叠DRAM(3D DRAM)存储器是应对这一挑战的有效方法，其优势在于高带宽、低功耗。因此，片上堆叠DRAM被用于片上最后一级缓存，暂存来自片外存储器的数据，降低片内外数据传输量，显著减少数据传输延时，有效提升系统的性能。另一方面，片上堆叠DRAM的组织结构与接口设计对缓存的访问并不友好，阻碍系统性能的进一步提升，影响其作为最后一级缓存的效能发挥。

片上堆叠DRAM包含多个可独立访问的内存块(Bank)结构，每个内存块结构包含大量以内存行(row)组织的存储单元以及行缓冲器。当发生数据访问时，DRAM控制器发起激活命令，将目标地址的内存行加载到行缓冲器再读写数据。后续访问请求的目标内存行，如果恰好位于行缓冲器中，则称为行命中(row hit)；反之，目标内存行不在当前的行缓冲器中，则称为行缺失(row miss)，必须将当前行缓冲器的数据写回内存块后，激活目标数据所在的内存行并加载到行缓冲器供访问，因此行缺失会导致很长的访问延时。由于没有写回和再激活操作，相比于引发行缺失的数据访问，行命中的数据访问延时更短、耗能更低。

每个缓存块包含数据(Data)和标签(Tag)两部分。来自片外内存的数据以缓存块的方式，按地址映射并且暂存在堆叠DRAM内存块的内存行中。按64Byte的缓存数据值和8Byte的标签值，大小为2KB的内存行可以存放28个缓存块。片外内存的容量远大于片上堆叠DRAM缓存，与传统的片上缓存相同，存在多个不同地址的数据映射到同一缓存位置的情况。所以需要借助标签值的比较，来加以区别。如果目标地址的标签值，与内存行中的标签值一致，称为缓存命中(cache hit)；反之，则是缓存缺失(cache miss)。发生缓存缺失时，数据要从片外存储器加载到缓存，导致比较长的延时。

当发生数据访问时，根据访问请求中的目标地址，定位到堆叠DRAM 内存块中的目标内存行。如果目标内存行不在行缓冲器中，则引发高能耗、高延时的行缺失；另外，即使目标内存行在行缓冲器中，也可能发生缓存缺失，导致额外的延时和能耗。

发明内容

本发明的目的在于克服现有技术中存在的上述不足，而提供一种设计合理的堆叠DRAM缓存的性能提升方法，提出行缓冲管理器，帮助缩短堆叠DRAM缓存访问延时，加速数据访问，从而提升性能。

本发明解决上述问题所采用的技术方案是：

一种堆叠DRAM缓存的性能提升方法，其特征在于，包括如下步骤：

S1、提出行缓冲管理器，其包括行状态表，行状态表包括多个行状态条目，每个行状态条目包括激活位、标签值序列、标签值填充位和等待请求数，以此来描述一个内存行数据的状态；激活位标识内存行是否加载到行缓冲器；标签值序列表示内存行中所有缓存块的标签值构成的序列；标签值填充位标识当前的标签值序列是否已经填充；等待请求数表示数据访问请求队列中以当前内存行为目标的访问请求数；

S2、行缓冲管理器与数据访问请求队列相连，行缓冲管理器根据数据访问请求队列中到达的数据访问请求更新行状态表的信息，步骤为：

新数据访问请求到达时，行缓冲管理器查找行状态表中是否存在对应的行状态条目；如果对应的行状态条目存在，则行缓冲管理器对比当前数据访问请求的标签值与行状态条目中对应的标签值，如果两者一致，行缓冲管理器更新行状态条目的等待请求数，如果两者不一致，表示当前数据访问请求对目标数据的访问会导致缓存访问缺失，则由缓存控制器提前将该数据访问请求发往内存；如果对应的行状态条目不存在，则当前的数据访问请求将导致内存行缺失，暂时不作处理；

S3、行缓冲管理器与缓存控制器相连，行缓冲管理器接收来自缓存控制器的命令并更新行状态表的信息，步骤为：

当缓存控制器处理数据访问请求时，行缓冲管理器定位该访问请求对应的行状态表中的行状态条目，并更新其等待请求数；如果行缓冲器中发生缓存块替换，则行缓冲管理器更新标签值序列；当缓存控制器写回行缓冲器中的内存行时，行缓冲管理器定位该内存行的行状态条目，更新激活位；当缓存控制器激活并加载内存行到行缓冲器时，行缓冲管理器创建新的行状态条目或者更新已经存在的行状态条目的激活位；

S4、行缓冲器根据行状态表的信息，通过缓存控制器向堆叠DRAM缓存发出控制命令，步骤为：

如果当前处于激活状态的行状态条目的等待请求数为零，则行缓冲管理器读取对应内存行的标签值序列并填充到该行状态条目，然后通过缓存管理器发出写回命令，将该行状态条目对应的内存行写回到内存块，同时更新该行状态条目的激活位和标签值填充位。

本发明如果激活位值为1，表示该内存行当前被加载到行缓冲器，如果激活位值为0，表示该内存行在内存块中，没有被加载到行缓冲器。

本发明标签值填充位的值为0，表示当前的标签值序列未被填充，标签值填充位的值为1，则当前的标签值序列已填充。

本发明以当前内存行为目标的一个新的数据访问请求到达时，对应行状态条目中的等待请求数递增1，而每次缓存控制器处理一个数据访问请求后，对应行状态条目中的等待请求数递减1。

本发明所述的行状态条目还包括内存块号和内存行号，内存块号表示内存行所属的内存块，内存行号表示内存行在内存块中的序号。

本发明所述的行状态条目还包括最近访问位，最近访问位表示内存行近期是否被访问，缓存控制器以周期T清空行状态条目中的最近访问位，如果行状态条目的最近访问位值为0，则表示内存行的数据在最近的时间段T内没有被访问，如果行状态条目的最近访问位值为1，则表示内存行的数据在最近的时间段T内被访问。

本发明步骤S3中，行缓冲管理器创建新行状态条目或者更新已经存在的行状态条目的激活位的具体步骤为：当内存行被激活时，即加载到行缓冲器时，查找行状态表中是否存在对应的行状态条目，如果对应的行状态条目存在，则将该行状态条目的激活位值设置为1，表示内存行位于行缓冲器中，如果对应的行状态条目不存在，则根据内存块号与内存行号创建新的行状态条目，并将新行状态条目的激活位值设置为1，同时扫描数据访问请求队列，获得依赖于当前内存行的访问请求数，用于初始化新行状态条目的等待请求数。

本发明因为行状态表的存储空间有限，如果没有空闲空间，则选择并覆盖旧行状态条目来创建新行状态条目，步骤为：首先，查找当前等待请求数为零的行状态条目，如果只有一条，则直接覆盖创建；否则，在多个行状态条目中选择内存行的数据在最近的时间段内没有被访问的行状态条目进行覆盖创建。

本发明当内存行激活后，缓存控制器处理数据访问请求时，即对缓冲器中的内存行进行读写访问，每处理一个访问请求，将目标行状态条目中的等待请求数值递减1，并且将其最近访问位值设置为1。

本发明步骤S4最后一步中，将该行状态条目的激活位设置为0，将标签值填充位设置为1。

本发明与现有技术相比，具有以下优点和效果：本发明设计合理，没有简单套用传统缓存的管理策略，而是提出行状态管理器，根据数据访问的目标地址，结合各内存块的行缓冲器状态，实现缓存块与内存行的综合管理，从而减少数据访问的行缺失，提升缓存的数据命中率，帮助缩短堆叠DRAM缓存访问延时，加速数据访问，发挥堆叠DRAM的大容量优势，进一步提升性能。

附图说明

图1是本发明实施例的行状态表的示意图。

图2是本发明实施例行缓冲管理器与数据访问请求队列和缓存控制器相连的示意图。

图3是本发明实施例行缓冲管理器根据数据访问请求队列中到达的数据访问请求更新行状态表信息的流程图。

图4是本发明实施例行缓冲管理器创建新的行状态条目或者更新已经存在的行状态条目的激活位的流程图。

具体实施方式

下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

本实施例中的堆叠DRAM缓存的性能提升方法，包括如下步骤：

S1、提出行缓冲管理器，其包括行状态表，行状态表包括多个行状态条目，每个行状态条目包括激活位、内存块号、内存行号、标签值序列、标签值填充位、等待请求数和最近访问位，以此来描述一个内存行数据的状态。

激活位标识内存行是否加载到行缓冲器：如果激活位值为1，表示该内存行当前被加载到行缓冲器，如果激活位值为0，表示该内存行在内存块中，没有被加载到行缓冲器，不能直接从行缓冲器访问。

标签值序列表示内存行中所有缓存块的标签值构成的序列。

标签值填充位标识当前的标签值序列是否已经填充，因为标签值序列不是在创建行状态条目时填充，所以需要标签值填充位标识其是否已经被填充，标签值填充位的值为0，表示当前的标签值序列未被填充，标签值填充位的值为1，则当前的标签值序列已填充。

等待请求数表示数据访问请求队列中以当前内存行为目标的访问请求数，以当前内存行为目标的一个新的数据访问请求到达时，对应行状态条目中的等待请求数递增1，而每次缓存控制器处理一个数据访问请求后，对应行状态条目中的等待请求数递减1。

内存块号表示内存行所属的内存块，同样地，内存行号表示内存行在内存块中的序号。

最近访问位表示内存行近期是否被访问，缓存控制器以周期T清空行状态条目中的最近访问位，如果行状态条目的最近访问位值为0，则表示内存行的数据在最近的时间段T内没有被访问，如果行状态条目的最近访问位值为1，则表示内存行的数据在最近的时间段T内被访问。内存行两次访问之间的时间间隔称为访问时长，周期T取当前所运行应用程序的访问时长的中位数。

行状态条目的数量取nB，其中B表示内存块的数量，由堆叠DRAM缓存的硬件结构决定；其中的n为大于等于1的系数，由状态表的容量确定。

S2、行缓冲管理器与数据访问请求队列相连，行缓冲管理器根据数据访问请求队列中到达的数据访问请求更新行状态表的信息，步骤为：

新数据访问请求到达时，行缓冲管理器根据内存块号与内存行号查找行状态表中是否存在对应的行状态条目；如果对应的行状态条目存在，则行缓冲管理器对比当前数据访问请求的标签值与行状态条目中对应的标签值，如果两者一致，行缓冲管理器更新行状态条目的等待请求数，将该等待请求数的值递增1，如果两者不一致，表示当前数据访问请求对目标数据的访问会导致缓存访问缺失，则由缓存控制器提前将该数据访问请求发往内存，缩短数据访问的延时；如果对应的行状态条目不存在，则当前的数据访问请求将导致内存行缺失，暂时不作处理。

S3、行缓冲管理器与缓存控制器相连，行缓冲管理器接收来自缓存控制器的命令并更新行状态表的信息，步骤为：

当缓存控制器处理数据访问请求时，行缓冲管理器定位该访问请求对应的行状态表中的行状态条目，并更新其等待请求数；如果行缓冲器中发生缓存块替换，则行缓冲管理器更新标签值序列；当缓存控制器写回行缓冲器中的内存行时，行缓冲管理器定位该内存行的行状态条目，更新激活位；当缓存控制器激活并加载内存行到行缓冲器时，行缓冲管理器创建新的行状态条目或者更新已经存在的行状态条目的激活位，其具体步骤为：当内存行被激活，即内存行加载到行缓冲器时，根据内存行块号与内存行号查找行状态表中是否存在对应的行状态条目，如果对应的行状态条目存在，则将该行状态条目的激活位值设置为1，表示内存行位于行缓冲器中，如果对应的行状态条目不存在，则根据内存块号与内存行号创建新的行状态条目，并将新行状态条目的激活位值设置为1，同时扫描数据访问请求队列，获得依赖于当前内存行的访问请求数，用于初始化新行状态条目的等待请求数。因为状态表的存储空间有限，如果没有空闲空间，则选择并覆盖旧行状态条目来创建新行状态条目，步骤为：首先，查找当前等待请求数为零的行状态条目，如果只有一条，则直接覆盖创建；否则，在多个行状态条目中选择最近访问位值为0的行状态条目进行覆盖创建。

当内存行被激活后，即内存行加载到行缓冲器，缓存控制器处理数据访问请求时，即对缓冲器中的内存行进行读写访问，每处理一个访问请求，将目标行状态条目中的等待请求数值递减1，并且将其最近访问位值设置为1。发生读数据缺失时，如果内存行中发生缓存块的替换，更新内存行中标签值的同时，行状态条目的对应标签值也要随之更新。

S4、行缓冲器根据行状态表的信息，通过缓存控制器向堆叠DRAM缓存(3D DRAMCache)发出控制命令，步骤为：

如果当前处于激活状态的行状态条目的等待请求数为零，表示访问请求队列中已经没有以该内存行为目标的访问请求，则行缓冲管理器读取对应内存行的标签值序列并填充到该行状态条目，然后通过缓存管理器发出写回命令，将该行状态条目对应的内存行写回到内存块，同时更新该行状态条目的激活位和标签值填充位，将该行状态条目的激活位设置为0，将标签值填充位设置为1。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所作的举例说明。凡依据本发明专利构思所述的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (9)

1.一种堆叠DRAM缓存的性能提升方法，其特征在于，包括如下步骤：

S1、提出行缓冲管理器，其包括行状态表，行状态表包括多个行状态条目，每个行状态条目包括激活位、标签值序列、标签值填充位和等待请求数，以此来描述一个内存行数据的状态；激活位标识内存行是否加载到行缓冲器；标签值序列表示内存行中所有缓存块的标签值构成的序列；标签值填充位标识当前的标签值序列是否已经填充，标签值填充位的值为0，表示当前的标签值序列未被填充，标签值填充位的值为1，则当前的标签值序列已填充；等待请求数表示数据访问请求队列中以当前内存行为目标的访问请求数；

S2、行缓冲管理器与数据访问请求队列相连，行缓冲管理器根据数据访问请求队列中到达的数据访问请求更新行状态表的信息，步骤为：

新数据访问请求到达时，行缓冲管理器查找行状态表中是否存在对应的行状态条目；如果对应的行状态条目存在，则行缓冲管理器对比当前数据访问请求的标签值与行状态条目中对应的标签值，如果两者一致，行缓冲管理器更新行状态条目的等待请求数，如果两者不一致，表示当前数据访问请求对目标数据的访问会导致缓存访问缺失，则由缓存控制器提前将该数据访问请求发往内存；如果对应的行状态条目不存在，则当前的数据访问请求将导致内存行缺失，暂时不作处理；

S3、行缓冲管理器与缓存控制器相连，行缓冲管理器接收来自缓存控制器的命令并更新行状态表的信息，步骤为：

当缓存控制器处理数据访问请求时，行缓冲管理器定位该访问请求对应的行状态表中的行状态条目，并更新其等待请求数；如果行缓冲器中发生缓存块替换，则行缓冲管理器更新标签值序列；当缓存控制器写回行缓冲器中的内存行时，行缓冲管理器定位该内存行的行状态条目，更新激活位；当缓存控制器激活并加载内存行到行缓冲器时，行缓冲管理器创建新的行状态条目或者更新已经存在的行状态条目的激活位；

S4、行缓冲器根据行状态表的信息，通过缓存控制器向堆叠DRAM缓存发出控制命令，步骤为：

如果当前处于激活状态的行状态条目的等待请求数为零，则行缓冲管理器读取对应内存行的标签值序列并填充到该行状态条目，然后通过缓存管理器发出写回命令，将该行状态条目对应的内存行写回到内存块，同时更新该行状态条目的激活位和标签值填充位。

2.根据权利要求1所述的堆叠DRAM缓存的性能提升方法，其特征在于，如果激活位值为1，表示该内存行当前被加载到行缓冲器，如果激活位值为0，表示该内存行在内存块中，没有被加载到行缓冲器。

3.根据权利要求1所述的堆叠DRAM缓存的性能提升方法，其特征在于，以当前内存行为目标的一个新的数据访问请求到达时，对应行状态条目中的等待请求数递增1，而每次缓存控制器处理一个数据访问请求后，对应行状态条目中的等待请求数递减1。

4.根据权利要求1所述的堆叠DRAM缓存的性能提升方法，其特征在于，所述的行状态条目还包括内存块号和内存行号，内存块号表示内存行所属的内存块，内存行号表示内存行在内存块中的序号。

5.根据权利要求1所述的堆叠DRAM缓存的性能提升方法，其特征在于，所述的行状态条目还包括最近访问位，最近访问位表示内存行近期是否被访问，缓存控制器以周期T清空行状态条目中的最近访问位，如果行状态条目的最近访问位值为0，则表示内存行的数据在最近的时间段T内没有被访问，如果行状态条目的最近访问位值为1，则表示内存行的数据在最近的时间段T内被访问。

6.根据权利要求1-5任一权利要求所述的堆叠DRAM缓存的性能提升方法，其特征在于，步骤S3中，行缓冲管理器创建新行状态条目或者更新已经存在的行状态条目的激活位的具体步骤为：当内存行被激活时，即加载到行缓冲器时，查找行状态表中是否存在对应的行状态条目，如果对应的行状态条目存在，则将该行状态条目的激活位值设置为1，表示内存行位于行缓冲器中，如果对应的行状态条目不存在，则根据内存块号与内存行号创建新的行状态条目，并将新行状态条目的激活位值设置为1，同时扫描数据访问请求队列，获得依赖于当前内存行的访问请求数，用于初始化新行状态条目的等待请求数。

7.根据权利要求6所述的堆叠DRAM缓存的性能提升方法，其特征在于，因为行状态表的存储空间有限，如果没有空闲空间，则选择并覆盖旧行状态条目来创建新行状态条目，步骤为：首先，查找当前等待请求数为零的行状态条目，如果只有一条，则直接覆盖创建；否则，在多个行状态条目中选择内存行的数据在最近的时间段内没有被访问的行状态条目进行覆盖创建。

8.根据权利要求1所述的堆叠DRAM缓存的性能提升方法，其特征在于，当内存行被激活后，缓存控制器处理数据访问请求时，即对缓冲器中的内存行进行读写访问，每处理一个访问请求，将目标行状态条目中的等待请求数值递减1，并且将其最近访问位值设置为1。

9.根据权利要求1所述的堆叠DRAM缓存的性能提升方法，其特征在于，步骤S4最后一步中，将该行状态条目的激活位设置为0，将标签值填充位设置为1。

Images