CN101470678A - 基于突发乱序的存储器控制器、系统及其访存调度方法 - Google Patents

Abstract

本发明提供一种基于突发乱序访存调度的存储器控制器。该存储器控制器用于存储器访问的突发乱序访存调度，该存储器控制器包括：将从处理器而来的读写访存均以二维方式保存的读写队列模块；用于在每个存储器时钟周期从各个块中仲裁出一个突发访问的块仲裁模块；以及用于从所述各个块仲裁后的突发中选择最终的访存操作发送给存储器的事件选择模块。通过改变写队列的结构，采用本发明提出的优先级表达式进行块的突发仲裁来对访存乱序调度，以增加存储器数据带宽，减少处理器的执行时间。

Description

基于突发乱序的存储器控制器、系统及其访存调度方法

技术领域

本发明涉及一种存储器控制器，尤其涉及一种基于突发乱序访存调度的存储器控制器。

本发明还涉及一种基于突发乱序访存调度的存储器系统。

本发明还涉及一种基于突发乱序的存储器控制器的访存调度方法。

背景技术

随着处理器性能的不断提升，处理器对存储器的数据需求量越来越大，存储器的带宽已经成为了制约处理器系统性能提高的瓶颈。存储器的峰值带宽是由存储器芯片的频率和总线宽度这两个特征参数决定的。采用好的存储器访问调度控制策略可以使存储器的带宽被更好的利用。

同步动态随机存储器(SDRAM)通常采用三维(Bank-Row-Column)的硬件结构。其内部可以分成多个块(bank)，每个块又分成行(row)和列(column)。SDRAM里的数据访问也是按照块、行、列的顺序来寻址的。存储器访存操作可以划分为行命中(row hit)、行冲突(row conflict)和行空(row empty)三种类型。行命中指的是访问预先已经被行激活(activate)的访存；行冲突指的是需要预先采取行关闭(precharge)的访存；行空(rowempty)指的是不需要行关闭但是需要行激活操作的访存。因为行冲突需要行关闭、行激活以及列访问(column access)三个SDRAM操作，所以它的访存延时最长；行空需要行激活和列访问两个操作，其访存延时次之；而行命中只需要列访问一个操作，它的访存延时最小。通过对存储器的访问进行乱序调度，使得对同一块同一行的访问或者不同块的访存并发执行，可以极大的减少访存延时，提高存储器带宽利用率。

在2003年10月22日由H.G.Rotithor，R.B.Osborne，and N.Aboulenein等人递交的名称为“Method and Apparatusfor Out of Order MemoryScheduling”的美国专利申请(以下简称为文献1)中，公开了Intel公司的一种存储器乱序调度技术。其中为每一个块分别建立了一个读队列和一个写队列，读写访存都按照时间顺序进入队列，读访存的优先级要大于写操作，块仲裁器按照最老时间的方式选择一个当前访问延时最短的访存。这种调度策略没有利用突发乱序访存调度，而且控制起来比较复杂。

Jun Shao，Brian T.Davis等人在文献“A Burst Scheduling AccessReordering Mechanism，In HPCA 2007：IEEE 13th International Symposiumon High Performance Computer Architecture，pages 285-294，IEEE ComputerSociety，10-14Feb.，2007”(以下简称为文献2)中对文献1的存储器乱序调度技术进行了改进，并公开了一种突发调度技术。其中也为每一块分别建立了读和写队列，读访问按照行命中的方式保存，同一块同一行的访存形成一个突发，每个块都有一个仲裁器从当前的读队列中选择时间最老的突发出来。读比写优先，只有当写队列满或者超过某一个门限值的时候才有可能被选择出来。在文献2中，写访存在进入写队列时完全按照时间的一维方式顺序组织保存。最先进入队列的写访存放在队列的最前端，后进入的写访存即使和前面某一个是行命中的关系，也只放在队列的末尾，而不是和前面的行命中组成一个行突发。在对块进行访存的仲裁时，只有写队列满，写队列长度超过某个门限值或者读队列空而写队列非空时，写访存才会被响应。这样的结构以及组织形式使得控制器每次发给SDRAM的访问是以单个写访存为单位而不是以延时少的写突发的为单位，这对于存储器总线的带宽是一种浪费。

因此，迫切需要综合考虑各种仲裁考虑因素，并通过改变写队列的结构以增加对写队列的行突发的考虑，以便增加存储器与控制器之间的带宽容量，进一步减少处理器的执行时间。

发明内容

本发明目的在于解决存储器带宽的瓶颈问题，通过改变写队列的结构，采用优先级表达式进行块的突发仲裁来对访存乱序调度，以增加存储器数据带宽，减少处理器的执行时间。

为了实现上述发明目的，本发明提供了一种存储器控制器，包括：将从处理器而来的读写访存均以二维方式保存的读写队列模块；用于在每个存储器时钟周期从各个块中仲裁出一个突发访问的块仲裁模块；以及用于从所述各个块仲裁后的突发中选择最终的访存操作发送给存储器的事件选择模块。

根据本发明优选实施例的存储器控制器，其中所述块仲裁模块均利用公式：a×等待时间+b×突发的长度+读或写突发优先级，计算一个突发访问优先级，从所述各个读写队列模块中仲裁出一个突发访问，其中a和b是实数。

根据本发明优选实施例的存储器控制器，其中a与b的比值介于1:1至1:10之间。

根据本发明优选实施例的存储器控制器，a与读突发优先级的比值介于1:1，000至1:10，000之间。

根据本发明优选实施例的存储器控制器，a与写突发优先级的比值为1:1。

根据本发明优选实施例的存储器控制器，其中a为1，b为1，对于所述读突发优先级为5,000，对于所述写突发优先级为1。

根据本发明优选实施例的存储器控制器，其中所述二维方式保存是指所述读写队列模块均在垂直方向从上到下按照时间顺序依次保存所述突发，在水平方向按照时间顺序保存对同一行的行命中访存。

根据本发明优选实施例的存储器控制器，针对各个块分别建立一个读队列模块和一个写队列模块。

本发明还提供了一种利用本发明实施例提供的存储器控制器实现基于突发乱序的访存调度方法，包括下列步骤：把从处理器来的存储器访问保存到读写队列模块中；在块仲裁模块中根据优先级公式对保存在某个块的所述读写队列模块中的读写访问进行选择；以及事件选择模块从各个块仲裁出来的突发中选择一个最终的突发，并安排当前的访存事件。

根据本发明优选实施例的访存调度方法，其中所述把从处理器来的存储器访问保存到读写队列模块中的步骤还包括下列步骤：检测从所述处理器来的存储器访问；分析在新的读写操作加入队列前所述相应的读写队列模块中数据保存情况；以及把所述新来的读写操作加入到所述相应队列模块中。

根据本发明优选实施例的访存调度方法，其中所述在块仲裁模块中根据优先级公式对保存在某个块的所述读写队列模块中的读写访问进行选择的步骤还包括下列步骤：检测所述块的读写队列模块中数据的保存情况；根据所述读写队列模块中保存的数据情况，对所述队列中的每个突发分别计算优先级；从所述读写队列模块中选择出经计算后拥有最大优先级的突发作为当前块仲裁的结果；以及把所述仲裁的结果送到所述事件选择模块中选择一个最终的突发。

根据本发明优选实施例的访存调度方法，其中所述事件选择模块按照下列优先顺序进行选择：1.列访问优先；2.行激活以及不同块的行关闭其次；3.相同块不同行的行关闭最后；4.在上述的同一优先顺序中，读访存优先于写访存。

根据本发明优选实施例的访存调度方法，其中所述把从处理器来的存储器访问保存到所述读写队列模块中的步骤之前还包括当一个读访存进入所述读队列模块之前，考虑读后写的数据相关性，搜索所述写队列模块中是否有与所述读队列模块的物理地址相同的访存，如果有，直接从该写访存中取出需要的数据返回给所述处理器，如果没有，再进入读队列模块。。

根据本发明优选实施例的访存调度方法，其中所述事件选择模块还考虑数据相关问题。

根据本发明优选实施例的访存调度方法，其中所述事件选择模块对于写后读的数据冲突的处理如下：在选择某个写访存之后，先搜索同一块中的读队列，如果有相同物理地址的读访存，那么优先处理所述具有相同物理地址的读访存之后，再执行当前的写访存。

本发明还提供了一种存储器系统，所述存储器系统包括本发明实施例提供的存储器控制器。

通过上述本发明具体实施例，可以解决存储器带宽的瓶颈问题。通过改变写队列的结构，采用本发明提出的优先级表达式进行块的突发仲裁来对访存乱序调度，以增加存储器数据带宽，减少处理器的执行时间。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1为根据本发明实施例的存储器控制器100的结构示意图；

图2为根据本发明实施例的读队列模块或写队列模块101的结构示意图；

图3为根据本发明实施例的块仲裁模块102的功能示意图；

图4为根据本发明实施例的存储器系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面参考附图并通过具体实例来对本发明进行更进一步的说明：

请参考图1、图4，图1为根据本发明实施例的存储器控制器100的结构示意图；图4为根据本发明实施例的存储器系统的结构示意图。如图1所示，该控制器100主要由三部分组成：读或者写的访存突发队列模块(以下简称为读队列模块或写队列模块)101、块仲裁模块102、SDRAM事件选择模块(以下简称为事件选择模块)103。另一方面，如图4所示，该存储器系统包括存储器控制器100、处理器200以及存储器300，与图1所示的存储器控制器相比，如图4所示的控制器100还包括但不限于初始化模块104和时钟模块105。在此不再对上述两个模块进行赘述。

在本发明实施例中，读队列模块或写队列模块101将从处理器200而来的访存都以突发的方式保存，这与文献2不同；在本发明实施例中，是把写队列模块和读队列模块按照同样的“二维”方式来组织，请参考图3，图3为根据本发明实施例的块仲裁模块102的功能示意图，与文献2相比，从图3中可以看出本发明实施例对于写队列模块101的改进，即垂直方向从上到下按照时间顺序保存突发，水平方向按照时间顺序保存对同一个行的行命中访存；每一个块都有一个块仲裁模块102，用于在每个存储器时钟周期从该块中仲裁出一个突发访问，仲裁的原则依据后续提出的优先级表达公式，当块仲裁模块102在进行仲裁时，也针对读写队列模块101中的所有突发利用统一的优先级表达公式进行仲裁，以便在后面详细描述的优先级公式中体现读写突发的优先级区别；事件选择模块103用于从各个块仲裁后的突发中选择最终的访存操作发送给存储器300。优选地，读队列模块与写队列模块101的结构完全相同，并且存储器300为SDRAM，但是本发明并不以此为限。

以下将参考图2、图3，对控制器100中的读队列模块或写队列模块101、块仲裁模块102以及事件选择模块103的功能以及访存调度方法分别详细描述如下：

请参考图2，图2为根据本发明实施例的读队列模块或写队列模块101的结构示意图。从处理器200来的存储器读写访问根据其物理地址进入相应块的读写队列模块101。如图2所示，垂直方向从上到下按照时间顺序依次保存突发，水平方向按照时间顺序保存对同一行的行命中访存。一个新的访存进入队列时应加入已有的同一行的行命中的突发尾部，如果该突发不存在，那么它便在队列垂直方向的尾部新建一个突发。这一步要考虑读后写(Read-After-Write)的数据相关性，当一个读访存进入读队列模块之前，它首先应该搜索写队列模块中是否有和它物理地址相同的访存，如果有的话，直接从该写访存中取出需要的数据返回给处理器200即可，而不需要再进入读队列模块；如果没有的话，再进入读队列模块。

接下来参考图1、图2，详细描述当有存储器访存请求时，访存调度方法包括首先把从处理器来的存储器访问保存到读写队列模块101中的过程。在本实施例中，仅以读操作为例，如图2所示，将从处理器来的存储器访问保存到读写队列模块101中的过程具体包括以下步骤：

步骤S201：检测从处理器200来的存储器访问。在图2中，示意了有两个读操作存储器访问等待加入队列，但是本发明还包括处理更多个存储器访问，并不以此为限。如图2所示，第一个读访问的地址是第1块第2行的第3列，接下来一个的地址是同一块里第5行的第8列。

步骤S202：分析在新的读操作加入队列前读队列模块101里数据保存情况。如图2所示，(0，14)表示的是对该块第0行第14列的访问，在水平方向的一行是对该块里同一行的多个列访问组成的突发，一行里最左边的方框代表这个突发的头节点。每一个突发最后面的(n)表示这个突发已经在队列中等待了n个时钟周期，它表示的是这个突发的头节点已经等待的时间。例如图2中的(25)表示这个突发已经等待了25个时钟周期，即该突发的头节点是在25个时钟周期前进入队列的。以后每过一个时钟周期，这个数值都将加1。队列中的每个突发都有一个等待时间作为其属性。在队列中，多个突发是按照等待时间长短顺序排列的，等待最久的突发排在队列的最前面。

步骤S203：把新来的这两个读操作加入到读队列模块101中，如图2所示的是两个访问加入以后读队列模块101里的数据保存情况。可以看到，由于队列里已经存在对第2行的突发，所以(2，3)这个读访问会被加到该突发的尾部。而对(5，8)这个访问，由于目前队列里没有对第5行的突发，那么就以这个访问作为头节点建立一个新的突发加到了整个队列的尾部。这时，对(5，8)这个单独的节点组成的突发，它的等待时间记为1，同时其他的突发的等待时间都增加一个时钟周期。

当把新来的读写操作保存到对应的读写队列模块101之后，接下来详细描述块仲裁模块102的功能以及如何在块仲裁模块102进行突发优先级的仲裁：

请继续参考图3，图3为根据本发明实施例的块仲裁模块102的功能示意图。块仲裁的目的是要从当前块中选出一个最优的突发，作为最终送给SDRAM访存的候选。本发明对此提出了一个优先级表达公式，该表达式形式如下：

优先级＝a×等待时间+b×突发的长度+读或写突发优先级

                                              (公式1)

与文献1和文献2中的调度算法只考虑单个调度因素不同，上述表达式综合考虑了三个优先级因素，包括：某个突发在读队列模块或写队列模块101中等待的存储器周期数、某个突发的长度以及读或者写突发的优先级。因为读操作是影响处理器性能的关键因素并且访存操作中读操作的数量通常要大于写操作，因此，读操作的优先级应该比写操作的高很多，尽量优先读访问。在公式1中，a、b分别是等待时间和突发的长度的系数，其中，等待时间与突发的长度均为变量。读或写突发的优先级为预先设定的常量。a、b通过经验设定和反复实验修正后确定，实验结果表明，a、b之间的比例关系在以下范围时，系统性能较优：a与b的比值取1:1到1:10之间；对读突发，a：读突发优先级取1:1000到1:10000之间；对写突发，a：写突发优先级保持1:1即可，此设定是为了让读突发优先于写突发。优选地，当a、b分别取1时，写突发优先级取1，读突发优先级取5000，在保持一定的权重比例的前提下，除了实现的硬件复杂度问题，a、b和读或写突发的优先级的具体数值对系统性能影响不大，对于a、b和读或写突发的优先级的具体取值，本发明并不以上述取值为限。各个块(bank)的块仲裁模块102根据公式1中的优先级表达公式计算出当前块中的各个突发的优先级，并选择出一个优先级最高的突发作为最终发送给SDRAM操作的候选。

随后详细描述在块仲裁模块102中根据本发明提出的优先级公式对保存在某个块的读写队列模块101中的读写访问进行选择的过程。请再次参考图1和图3，图3是块仲裁模块102对读写访问进行选择过程的流程图。对每个块都要进行同样的这个操作。如图3所示，具体包括以下步骤：

步骤S301：检测块的读写队列模块101中数据的保存情况，包含本发明提出的优先级计算公式对每个突发要用到的该突发在读写队列模块101中已经等待的时间、突发的长度以及该突发是读还是写这三个信息。突发的长度指的是该突发里包含的数据访问的个数。如图3所示，对读队列中以(0，14)作为头节点的这个突发，它的突发长度是1，等待时间是26个时钟周期；而对读队列里以(10，3)为头节点的突发，它的突发长度是3，等待时间是18。从图3还可以看出，写队列里突发的等待时间要远大于读队列，这也是优先级公式里选择读操作优先于选择写操作的结果。

步骤S302：根据读写队列模块101中保存的数据情况，对队列中的每个突发分别计算优先级。例如对以(0，14)作为头节点的突发，其优先级计算如下：优先级＝a*26+b*1+读突发的优先级。

步骤S303：从读写队列模块101中选择出经计算后拥有最大优先级的突发作为该块的仲裁结果。从这里可以看出，由于队列中最老的突发不一定有最长的突发长度，所以不一定拥有最高的优先级，所以优先级公式实现了一个乱序的调度过程，它可以选出最适合的突发来访问存储器300。

步骤S304：把该块仲裁后的结果送到下一阶段进行操作。

接下来，事件选择模块103用于从各个块仲裁出来的突发中选择一个最终的突发，并安排当前的访存事件。为了减少访存的延时并增加带宽的利用率，对于送给SDRAM的访存的事件安排应该遵从如下原则：

1.列访问(Column access)优先；

2.行激活(Activate)以及不同块的行关闭(Precharge)其次；

3.相同块不同行的行关闭(Precharge)最后；

4.在上述三个优先级的同一级中，读访存优先于写访存。

此外，事件选择模块103还要考虑数据相关问题。因为对于同一块同一行的写访存都是按照时间先后顺序保存在突发中的，因此不存在写后写(Write-After-Write)的数据冲突。对于写后读(Write-After-Read)的数据冲突的处理如下：在选择一个写访存之后，先搜索同一块中的读队列，如果有相同物理地址的读访存，那么优先处理这个读访存之后，再执行当前的写访存。

根据本发明实施例的存储器控制器100通过在M5仿真平台上运行访存密集型的SPEC CPU2000以及Stream基准程序来验证其可行性。实验结果表明，本发明与传统的不经调度的顺序执行访存操作的控制器相比，数据总线利用率提高74％，执行时间减少41％。与不将写操作以突发形式保存且不使用优先级表达式的文献2中的突发调度相比，数据总线利用率提高9％，执行时间减少5％。实验数据证明了本发明的优越性。

通过上述本发明具体实施例，可以解决存储器带宽的瓶颈问题。通过改变写队列的结构，采用本发明提出的优先级表达式进行块的突发仲裁来对访存乱序调度，以增加存储器数据带宽，减少处理器的执行时间。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (16)

1.一种存储器控制器，其特征在于，所述存储器控制器包括：

读写队列模块，用于将来自处理器的读写访存以二维方式保存；

块仲裁模块，用于在每个存储器时钟周期从各个块中仲裁出一个突发访问；以及

事件选择模块，用于从所述各个块仲裁后的突发中选择要执行的访存操作。

2.根据权利要求1所述的存储器控制器，其特征在于，所述块仲裁模块均利用公式：a×等待时间+b×突发的长度+读或写突发优先级，计算一个突发访问优先级，从所述各个读写队列模块中仲裁出一个突发访问，其中a、b是实数。

3.根据权利要求2所述的存储器控制器，其特征在于，a与b的比值介于1:1至1:10之间。

4.根据权利要求2或3所述的存储器控制器，其特征在于，a与读突发优先级的比值介于1:1,000至1:10,000之间。

5.根据权利要求2或3所述的存储器控制器，其特征在于，a与写突发优先级的比值为1:1。

6.根据权利要求2所述的存储器控制器，其特征在于，a为1，b为1，所述读突发优先级为5,000，所述写突发优先级为1。

7.根据权利要求1所述的存储器控制器，其特征在于，对于所述读写队列，所述读写队列模块用于在垂直方向从上到下按照时间顺序依次保存所述突发，以及在水平方向按照时间顺序保存对同一行的行命中访存。

8.根据权利要求1所述的存储器控制器，其特征在于，针对所述块分别建立一个读队列模块和一个写队列模块。

9.一种利用根据权利要求1-8中任一项所述的存储器控制器实现基于突发乱序的访存调度方法，其特征在于，所述访存调度方法包括下列步骤：

把从处理器来的存储器访问保存到读写队列模块中；

在块仲裁模块中根据优先级公式对保存在块的所述读写队列模块中的读写访问进行选择；以及

事件选择模块从各个块仲裁出来的突发中选择一个最终的突发，并安排当前的访存事件。

10.根据权利要求9所述的访存调度方法，其特征在于，所述把从处理器来的存储器访问保存到读写队列模块中的步骤还包括下列步骤：

检测从所述处理器来的存储器访问；

分析在新的读写操作加入队列前所述相应队列模块中数据保存情况；以及

把所述新来的读写操作加入到所述相应队列模块中。

11.根据权利要求9所述的访存调度方法，其特征在于，所述在块仲裁模块中根据优先级公式对保存在某个块的所述读写队列模块中的读写访问进行选择的步骤还包括下列步骤：

检测所述块的读写队列模块中数据的保存情况；

根据所述读写队列模块中保存的数据情况，对所述队列中的每个突发分别计算优先级；

从所述读写队列模块中选择出经计算后拥有最大优先级的突发作为该块仲裁后的结果；以及

把所述块仲裁后的结果送到所述事件选择模块。

12.根据权利要求9所述的访存调度方法，其特征在于，所述事件选择模块按照下列优先顺序选择访存操作：

1)列访问优先；

2)行激活以及不同块的行关闭其次；

3)相同块不同行的行关闭最后；

4)在上述同一优先顺序中，读访存优先于写访存。

13.根据权利要求9所述的访存调度方法，其特征在于，所述把从处理器来的存储器访问保存到所述读写队列模块中的步骤之前还包括当一个读访存进入所述读队列模块之前，考虑读后写的数据相关性，搜索所述写队列模块中是否有与所述读队列模块的物理地址相同的访存，如果有，直接从该写访存中取出需要的数据返回给所述处理器，如果没有，再进入读队列模块。

14.根据权利要求12所述的访存调度方法，其特征在于，所述事件选择模块还考虑数据相关问题。

15.根据权利要求14所述的访存调度方法，其特征在于，所述事件选择模块对于写后读的数据冲突的处理如下：在选择某个写访存之后，先搜索同一块中的读队列，如果有相同物理地址的读访存，那么优先处理所述具有相同物理地址的读访存之后，再执行当前的写访存。

16.一种存储器系统，其特征在于，所述存储器系统包括：权利要求1-8中任一项所述的存储器控制器。

Images