CN103559154B - 一种可重构系统中隐藏存储访问延时的方法 - Google Patents

Abstract

本发明公开了一种可重构系统中隐藏存储访问延时的方法，先对算法源码进行编译得到算法配置信息和启动间隔II，根据启动间隔II获得停顿阈值周期数Tt和有效访存延时周期数Td并将停顿阈值周期数Tt以及有效访存延时周期数Td载入数据流控制器，同时将算法配置信息载入可重构阵列。利用对停顿阈值周期数Tt和有效访存延时周期数Td的监控，使可重构阵列在非停顿周期执行与已发出访存请求无数据依赖的操作，在停顿周期时接收应当返回的数据。本发明实现访存与运算的重叠执行，提高了可重构系统的性能和资源利用率，达到隐藏存储访问延时的目的；且无需对原可重构编译器进行任何修改，无需编程人员介入，即可实现发明目的，减轻开发难度。

Description

一种可重构系统中隐藏存储访问延时的方法

技术领域

本发明属于嵌入式可重构技术领域，具体涉及一种可重构系统中隐藏存储访问延时的方法。

背景技术

可重构系统因兼具硬件的高效率和软件的灵活性，是嵌入式媒体处理、无线通信等应用领域的理想架构选择。可重构阵列是可重构系统的主要运算部件，拥有海量的计算资源和充足的路由资源，通过对其运算单元的功能和路由进行合理配置，可以充分发掘应用的数据并行性和指令并行性来提高性能。相对于通用处理器，可重构阵列在处理计算密集型应用方面的优势明显。

新一代嵌入式应用对数据通量的需求很大，在可重构阵列具有丰富计算资源的条件下，存储访问往往是制约其性能提高的瓶颈。因此能否提供足够大的有效带宽来匹配阵列的计算能力成为决定可重构阵列性能的关键因素。

可重构系统通常拥有大容量的片上存储器用于存储全局输入输出数据以及多个计算任务间的中间数据。可重构系统在进行计算密集型应用的加速时，可重构阵列中具有访存功能的可重构单元会通过执行加载/存储操作对片上存储器进行大量的并行读写，而片上存储器的端口数限制会导致频繁的访存冲突，访存请求往往无法及时被处理，可重构阵列计算所需的数据无法及时返回，这使得可重构阵列在相当多的时间处于等待数据的状态。故访存片上存储器的延时严重制约了可重构系统的整体性能。

为了缓解访存片上存储器的延时问题，当前的主要解决方法有以下两种：

1)提高存储带宽，以减小访存延时。这种方法虽然可以一定程度缓解访存延时的问题，但是并不能完全消除访存延时，对于存储访问十分频繁的应用，等待数据的时间仍然相当可观。

2)在可重构阵列实际使用所需数据前，提前通过专门的数据搬运模块把数据从片上存储器中取出并搬运至数据输入缓冲中。这种方案采用了预取的机制来重叠数据的搬运与可重构阵列的计算，以此隐藏访存延时，避免或减少数据等待时间。这种方法的不足是，当前可重构系统的相关编译技术难以对这种预取机制进行有效的调度，往往需要依赖编程人员分析算法的数据流特点，并由编程人员在程序中显式指定数据的预取操作，加重了编程人员的负担，不利于应用的开发。

发明内容

要解决的技术问题：针对现有技术中的不足，本发明提供一种可重构系统中隐藏存储访问延时的新方法，在不增加编译器负担的基础上尽可能地以最少的数据存取等待时间获得可重构阵列最大的执行效率。该发明解决现有技术中减少可重构系统的片上存储器访存延时的效果不佳以及当前的可重构系统对片上存储器的访存优化技术中存在的缺乏编译器支持、开发困难大的问题。

技术方案：为解决上述技术问题，本发明采用以下技术方案：

一种可重构系统中隐藏存储访问延时的方法，包括可重构编译器、可重构阵列、数据流控制器和片上存储器，包括以下步骤：

(1)在算法执行前，使用可重构编译器对需要加速的算法源码进行编译，得到此算法源码的算法配置信息和启动间隔II；

(2)根据启动间隔II值，得到停顿阈值周期数Tt和有效访存延时周期数Td，并将停顿阈值周期数Tt和有效访存延时周期数Td分别载入数据流控制器中；同时，将算法配置信息载入可重构阵列中；

(3)在算法执行过程中，可重构阵列向片上存储器发出访存请求，数据流控制器接收并缓存访存请求，并将访存请求转化为对片上存储器的实际访问；根据有效访存延时周期数Td，在可重构阵列需要时将与其发出的访存请求相对应读出后的数据返回给可重构阵列，根据停顿阈值周期数Tt，在检测到任一访存请求来不及处理时向可重构阵列发出停顿信号，使可重构阵列暂停执行以等待与其发出的访存请求相对应读出后的数据返回。

进一步的，在本发明中，所述停顿阈值周期数Tt的值为1+N*II-2，所述有效访存延时周期数Td的值为1+N*II。N为正整数，N的选取应使得1+N*II的值与所预期的实际访存延时的值相近或稍大，用Td值模拟片上存储器的延时时间，用Tt值作为判断访存请求来不及处理的条件。

在2005年IMEC的BingfengMei发表博士论文《ACOARSE-GRAINEDRECONFIGURABLEARCHITECTURETEMPLATEANDITSCOMPILATIONTECHNIQUES》。该论文的第五章中有对模调度这种广泛使用的编译器软件流水算法原理的介绍。可重构的编译器使用模调度技术，通过挖掘算法的指令级并行，在不破坏迭代内和迭代间数据依赖的同时，对算法中的循环体进行调度和重组。迭代以规则的间隔反复启动，这个间隔称为启动间隔(InitiationInterval，记为II)。在本发明中，启动间隔II的含义为经过可重构编译器8调度后该算法每重新开始一个新的迭代所经历的非停顿周期数，启动间隔II是衡量模调度结果的重要指标，启动间隔II的数值大小决定了在不发生访存冲突的理想情况下可重构阵列1的执行效率，启动间隔II值越小，说明调度结果越理想。II的值也等于调度后所生成配置的个数。

根据以上基本原理，我们对启动间隔II、访存指令执行周期数以及调度结果之间的关系进行归纳得到下述结论：在启动间隔为II的情况下，编译器所看到的访存指令周期数分别为1+N*II(N＝0、1、2…)时，所生成的一系列配置是等效的。例如，当N＝0时编译器的调度结果，即编译器看到的访存指令周期数为1时的调度结果，与编译器所看到的访存指令周期数为1+10*II时的调度结果等效。因此，利用这个原理，即使不改变编译器所看到的访存指令周期数，也可以得到与访存指令周期数加长后等效的调度结果。通过增加指令的访存周期，从而获得更多的非停顿时间处理访存冲突，进而有充裕的时间实现计算与访存的重叠执行以达到了隐藏访存延时的目的。具体的，在本发明中，算法进行编译时可重构编译器看到的访存操作延时仍为1，但由于被访问数据在访存请求发出Td个非停顿周期后才返回，因此算法执行时的实际情况相当于可重构阵列在执行可重构编译器看到的访存操作延时为Td时所生成的配置信息，由于Td和1相差整数倍个启动间隔II，访存操作延时仍为1和访存操作延时为Td这两种情况下的所生成的配置信息是等效的，因此本方法不需要对原可重构编译器进行任何修改。

进一步的，在本发明中，所述数据流控制器包括访存请求缓存子模块、延时记录子模块、数据缓存子模块和控制逻辑子模块；

所述访存请求缓存子模块：用于缓存可重构阵列发出的访存请求信息；

所述延时记录子模块：记录当前可重构阵列已经发出但尚未被处理完成的所有访存请求所经过的非停顿周期数；每当一个经过的非停顿周期结束时，所有尚未完成的访存请求的非停顿周期数加1，若当前周期为停顿周期，则该周期结束后各访存请求对应的非停顿周期数不变；

所述数据缓存子模块：用于缓存被读请求从片上存储器中读出后的数据，在收到控制逻辑子模块发出的指示信号后，将与其发出的访存请求相对应读出后的数据返回给可重构阵列的相应单元；

所述控制逻辑子模块：监测访存请求缓存子模块、延时记录子模块、数据缓存子模块中的内容，决定下一周期需要处理的访存请求，判断并控制停顿信号的发出与取消，并负责通知数据缓存子模块何时将与其发出的访存请求相对应读出后的数据返回给可重构阵列。

进一步的，在本发明中，数据流控制器的工作方法如下：

(1)将可重构阵列发出的访问片上存储器的访存请求在数据缓存子模块中进行缓存；

(2)任何一个访存请求被可重构阵列发出后，延时记录子模块跟踪记录其被发出后所经过的非停顿周期数；

(3)控制逻辑子模块按照先发出先处理的顺序依次处理被缓存的访存请求，当检测到某访存请求尚未被处理，且其被发出后所经过的非停顿周期数等于停顿阈值周期数Tt时，向可重构阵列发出停顿信号，使可重构阵列停止继续计算，同时数据流控制器2对尚未完成的访存请求保持按序处理状态；当引起停顿的访存请求被处理后，停顿信号取消，可重构阵列的计算继续执行；

(4)访存请求如果是读请求，则暂存该请求从片上存储器中读出的数据至数据缓存子模块，当该读请求被发出后所经过的非停顿周期数等于有效访存延时周期数Td时，将与其发出的访存请求相对应读出后的数据被返回给可重构阵列；访存请求如果是写请求，则在数据被写入片上存储器相应地址后，结束对该请求的处理。

在本方法中，在数据流控制器处理访存请求的同时，在每个非停顿周期，可重构阵列会执行与已发出访存请求无数据依赖的操作，而依赖于已发出访存请求的操作则会在访存请求发出的Td个非停顿周期后执行，此时，与已发出的访存请求相对应读出后的数据会恰好返回给可重构阵列，从而可以实现访存行为与可重构阵列计算的重叠，达到隐藏延时的目的。

有益效果：

本发明所提出的一种可重构系统中隐藏存储访问延时的方法，利用数据流控制器对可重构阵列和片上存储器之间的访存请求及数据传输形成控制作用，利用对停顿阈值周期数Tt和有效访存延时周期数Td进行监控，控制可重构阵列的算法的执行与否，使得可重构阵列在非停顿周期都处于工作状态，执行与已发出访存请求无数据依赖的操作，并且在停顿周期时接收应当返回的与发出的访存请求相对应读出后的数据。本发明可以实现访存与运算的重叠执行，提高了可重构系统的性能以及资源利用率，达到隐藏存储访问延时的目的。

本发明中可重构编译器看到的访存操作延时为1，但算法执行时的实际执行情况相当于可重构阵列在执行可重构编译器看到的访存操作延时为Td时所生成的配置信息，而这两种情况下的所生成的配置信息是等效的，故不需要重新生成新的配置信息，因此本方法不需要对原可重构编译器进行任何修改，也不需要编程人员的介入，即可实现了对访问可重构系统片上存储器延时的隐藏，减轻了应用开发难度。

附图说明

图1是本发明中可重构系统存储子系统框图；

图2是本发明中各种数据及信号流程图；

图3是本发明中数据流控制器结构示意图；

图4是本发明中数据流控制器的工作原理图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，可重构阵列1、数据流控制器2和片上存储器3共同构成可重构系统存储子系统，其中可重构阵列1是可重构系统的运算部件，其通过发出访存请求来访问片上存储器3；数据流控制器2位于可重构阵列1与片上存储器3之间，负责处理可重构阵列1与片上存储器3的数据交互。

如图2所示，一种可重构系统中隐藏存储访问延时的方法，包括可重构编译器8、可重构阵列1、数据流控制器2和片上存储器3。

包括以下步骤：

(1)在算法执行前，使用可重构编译器8对需要加速的算法源码进行编译，得到此算法源码的算法配置信息和启动间隔II。可重构编译器8采用模调度算法对各个操作在时间和空间上进行调度，在调度结束后，可以直接得到算法配置信息和配置套数。这里的配置套数即为启动间隔II。启动间隔II的含义为经过可重构编译器8调度后该算法每重新开始一个新的迭代所经历的非停顿周期数，启动间隔II是衡量模调度结果的重要指标，启动间隔II的数值大小决定了在不发生仿存冲突的理想情况下可重构阵列1的执行效率，启动间隔II值越小，说明调度结果越理想。

(2)根据启动间隔II值，得到停顿阈值周期数Tt＝1+N*II-2和有效访存延时周期数Td＝1+N*II，并将停顿阈值周期数Tt和有效访存延时周期数Td分别载入数据流控制器2中；同时，将算法配置信息载入可重构阵列1中。这里N为正整数，N的选取应使得1+N*II的值与所预期的实际访存延时的值相近或稍大。比如，如果启动间隔II为2，而所预计的实际访存延时为6个周期的话，则可将N值确定为3，即将有效访存延时周期数Td设为7，此时停顿阈值周期数Tt为5。

(3)在算法执行过程中，可重构阵列1向片上存储器3发出访存请求，访存请求信息包括访存类型读或写、访存地址、要写入的数据以及发出访存请求的可重构单元编号等；数据流控制器2接收并缓存访存请求，并将访存请求转化为对片上存储器3的实际访问；根据有效访存延时周期数Td，在可重构阵列1需要时将与其发出的访存信号相对应的数据返回给可重构阵列1，根据停顿阈值周期数Tt，在检测到任一访存请求来不及处理时向可重构阵列1发出停顿信号，使可重构阵列1暂停执行以等待数据返回。

这里将数据返回给重构阵列1和对可重构阵列1发出停顿信号均是由数据流控制器2控制实现的，下面对数据流控制器2做详细介绍。

所述数据流控制器2包括访存请求缓存子模块4、延时记录子模块5、数据缓存子模块6和控制逻辑子模块7；

所述访存请求缓存子模块4：用于缓存可重构阵列1发出的访存请求信息；当被缓存的访存请求被处理，即该访存请求对片上存储器1进行了实际的访问后，其在缓存子模块4中所占用的空间被释放。

所述延时记录子模块5：记录当前可重构阵列1已经发出但尚未被处理完成的所有访存请求所经过的非停顿周期数；每当一个经过的非停顿周期结束时，所有尚未完成的访存请求的非停顿周期数加1，若当前周期为停顿周期，则该周期结束后各访存请求对应的非停顿周期数不变；

所述数据缓存子模块6：用于缓存被读请求从片上存储器3中读出后的数据，在收到控制逻辑子模块7发出的指示信号后，将相应数据返回给可重构阵列1的相应单元；

所述控制逻辑子模块7：监测访存请求缓存子模块4、延时记录子模块5、数据缓存子模块6中的内容，决定下一周期需要处理的访存请求，判断并控制停顿信号的发出与取消，并负责通知数据缓存子模块6何时将数据返回给可重构阵列1。

数据流控制器2的工作方法如下：

(1)将可重构阵列1发出的访问片上存储器3的访存请求在访存请求缓存子模块4中进行缓存；

(2)任何一个访存请求被可重构阵列1发出后，延时记录子模块5均跟踪记录其被发出后所经过的非停顿周期数；

(3)控制逻辑子模块7按照先发出先处理的顺序依次处理被缓存的访存请求，当检测到某访存请求尚未被处理，且其被发出后所经过的非停顿周期数等于停顿阈值周期数Tt时，向可重构阵列1发出停顿信号，使可重构阵列1停止继续计算，同时数据流控制器2对尚未完成的访存请求保持按序处理状态；当引起停顿的访存请求被处理后，停顿信号取消，可重构阵列1的计算继续执行；

(4)访存请求如果是读请求，则暂存该请求从片上存储器3中读出的数据于数据缓存子模块6中，当该读请求被发出后所经过的非停顿周期数等于有效访存延时周期数Td时，与其发出的访存请求相对应的数据被返回给可重构阵列1；访存请求如果是写请求，则在要写入的数据被写入片上存储器3中相应地址后，结束对该访存请求的处理。

下面通过一个例子具体说明本发明方法。

假设某算法经过编译后得到其启动间隔II值为2，可重构系统的实际访存延时为4，同时假设在周期0，访存请求r0被发出。可重构系统在未采用本发明提出的方法前的执行情况就是可重构编译器8所看到的访存操作延时为1时的执行情况，即r0所要取到的数据“本应”在周期1时返回并被使用。但由于实际的访存延时大于1个周期，导致在周期1时数据无法及时返回，可重构阵列1的执行陷入停顿，直到周期4，数据返回后，可重构阵列1才能继续计算。故在周期0和周期4之间，可重构阵列1没有进行任何操作，造成了对整个可重构系统性能的制约。

采用了本文所提出的方法后，有效访存延时周期数Td和停顿阈值周期数Tt分别确定为5和3，可重构阵列1的实际执行情况相当于可重构编译器8看到的访存操作延时为5时的情况，即在经过5个非停顿周期后，可重构阵列1才会使用r0所取到的返回数据。在访存请求r0在周期0被发出后，可重构阵列1在周期1不会陷入停顿，而是会执行与r0无数据依赖的其他操作。如果在周期3之前r0能得到处理，则返回数据将会在周期5返回给可重构阵列1；如果在周期3之前r0得不到处理，则数据流控制器2会在周期3向可重构阵列1发出停顿信号，直到r0被处理。不论哪种情况，在r0返回前，可重构阵列1都没有一直处于停顿之中，而是执行了一部分与r0无关的操作，这种计算与访存的重叠执行达到了隐藏访存延时的效果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种可重构系统中隐藏存储访问延时的方法，其特征在于：包括可重构编译器(8)、可重构阵列(1)、数据流控制器(2)和片上存储器(3)，包括以下步骤：

(1)在算法执行前，使用可重构编译器(8)对需要加速的算法源码进行编译，得到此算法源码的算法配置信息和启动间隔II；

(2)根据启动间隔II值，得到停顿阈值周期数Tt和有效访存延时周期数Td，并将停顿阈值周期数Tt和有效访存延时周期数Td分别载入数据流控制器中；同时，将算法配置信息载入可重构阵列中；

(3)在算法执行过程中，可重构阵列(1)向片上存储器(3)发出访存请求，数据流控制器(2)接收并缓存访存请求，并将访存请求转化为对片上存储器(3)的实际访问；根据有效访存延时周期数Td，在可重构阵列(1)需要时将与其发出的访存信号相对应的数据返回给可重构阵列(1)；根据停顿阈值周期数Tt，在检测到任一访存请求来不及处理时向可重构阵列(1)发出停顿信号，使可重构阵列(1)暂停执行以等待与其发出的访存信号相对应的数据返回。

2.根据权利要求1所述的一种可重构系统中隐藏存储访问延时的方法，其特征在于：所述停顿阈值周期数Tt的值为1+N*II-2；所述有效访存延时周期数Td的值为1+N*II；N为正整数。

3.根据权利要求1所述的一种可重构系统中隐藏存储访问延时的方法，其特征在于：所述数据流控制器(2)包括访存请求缓存子模块(4)、延时记录子模块(5)、数据缓存子模块(6)和控制逻辑子模块(7)；

所述访存请求缓存子模块(4)：用于缓存可重构阵列(1)发出的访存请求信息；

所述延时记录子模块(5)：记录当前可重构阵列(1)已经发出但尚未被处理完成的所有访存请求所经过的非停顿周期数；每当一个经过的非停顿周期结束时，所有尚未完成的访存请求的非停顿周期数加1，若当前周期为停顿周期，则该周期结束后各访存请求对应的非停顿周期数不变；

所述数据缓存子模块(6)：用于缓存被读请求从片上存储器(3)中读出后的数据，在收到控制逻辑子模块(7)发出的指示信号后，将与其发出的访存请求相对应的数据返回给可重构阵列(1)的相应单元；

所述控制逻辑子模块(7)：监测访存请求缓存子模块(4)、延时记录子模块(5)、数据缓存子模块(6)中的内容，决定下一周期需要处理的访存请求，判断并控制停顿信号的发出与取消，并负责通知数据缓存子模块(6)何时将数据返回给可重构阵列(1)。

4.根据权利要求1至3任意一个所述的一种可重构系统中隐藏存储访问延时的方法，其特征在于：数据流控制器(2)的工作方法如下：

(1)将可重构阵列(1)发出的访问片上存储器(3)的访存请求进行缓存；

(2)任何一个访存请求被可重构阵列(1)发出后，跟踪记录其被发出后所经过的非停顿周期数；

(3)按照先发出先处理的顺序依次处理被缓存的访存请求，当检测到某访存请求尚未被处理，且其被发出后所经过的非停顿周期数等于停顿阈值周期数Tt时，向可重构阵列(1)发出停顿信号，使可重构阵列(1)停止继续计算，同时数据流控制器(2)对尚未完成的访存请求保持按序处理状态；当引起停顿的访存请求被处理后，停顿信号取消，可重构阵列(1)的计算继续执行；

(4)访存请求如果是读请求，则暂存该请求从片上存储器(3)中读出的数据，当该读请求被发出后所经过的非停顿周期数等于有效访存延时周期数Td时，与其发出的访存请求相对应的数据被返回给可重构阵列(1)；访存请求如果是写请求，则在要写入的数据被写入片上存储器(3)相应地址后，结束对该请求的处理。