CN104054065B - 片上网络中的流管理 - Google Patents

Abstract

本发明涉及一种根据“信用”技术管理生产者和消费者之间的数据流的方法，包括以下步骤：在生产者每次传输数据序列时，将信用计数器减小；当信用计数器达到零时，停止数据传输；在每次消费者已经消费数据序列时，发送信用；以及在接收到信用时，将信用计数器增大。消费者能够使用的数据的大小Wc和生产者传输的数据的大小Wp满足Wc/Wp>1，并且用大小为Wc的数据的数量表示的信用通过下式表示：C＝(Na‑Q·F)/Q，其中Na是消费者的输入队列(10)中的可用空间且用大小为Wc的数据的数量表示，所述输入队列(10)配置成存储等待消费的数据，Q是满足1<Q≤Wc/Wp的因子，并且F是尚未被接收到所述队列中且与发送的信用相对应的数据的数量。

Description

片上网络中的流管理

技术领域

本发明涉及用于控制网络中的数据流的技术，特别涉及用于片上网络(NoC)的基于信用的流控制。

背景技术

流控制技术试图在位于共享异步传输信道(例如，网络)的两个不同节点处的生产者装置和消费者装置之间高效地组织数据分组的传输。

在基于信用的流控制的背景中，消费者具有用于每个生产者的缓冲存储器或输入队列，其存储等待消费的分组。每个生产者具有信用计数器，该信用计数器的用分组数量表示的大小在开始时为消费者的输入队列。

在每次分组传输时，生产者将其信用计数器减小。当其计数器达到零时，生产者停止传输。

传输的分组到达消费者的输入队列。消费者在消费其队列中的一定数量的分组之后，向生产者返回表示队列中的可用空间的信用。在接收到信用时，生产者将其计数器增加对应的数量，这允许生产者继续传输分组。

该技术的优化可以在于调节用于发送信用的阈值，使得生产者在其计数器达到零之前接收到信用，同时信用的数量不会阻塞反向传输信道。

这样的流控制被用在例如所谓的“PCI高速”总线中。

基于信用的技术通常被用在传输信道的带宽相比于生产者和消费者的处理容量而言较小的情况中，例如在宏观网络的背景中。这意味着消费者能够用比其输入队列被传输信道填满的速度更快的速度清空其输入队列，并且生产者能够用比其输出队列被传输信道清空所用的时间更少的时间填满输出队列。在这种情况下，分组结构具有很小的重要性，因为生产者和消费者在两次分组传输之间具有充足的资源来实现格式转换(如果需要的话)。

在片上网络中，网络带宽可以匹配生产者和消费者的容量。于是适当的是考虑消费者和生产者使用的字的大小，从而相同的分组可以取决于被生产者看待还是被消费者看待而由不同大小的字形成。用分组的数量计算信用于是可能是不适当的。

发明内容

因此需要一种基于信用的流控制技术，其在传输信道的带宽匹配生产者和消费者的容量的情况下能够令人满意。特别感兴趣的是，该控制技术考虑了生产者和消费者使用的字的大小不同。

这些需要可以通过消费者装置和生产者装置之间的基于信用的数据流控制方法得到解决，包括以下步骤：在生产者装置每次传输数据序列时，将信用计数器减小；当信用计数器达到零时，停止数据传输；在每次消费者装置已经消费数据序列时，发送信用；以及在接收到每个信用时，将信用计数器增大。消费者装置可使用的数据的大小Wc和生产者装置传输的数据的大小Wp满足Wc/Wp>1，并且用大小为Wc的数据的数量表示的信用通过下式表示：

C＝(Na-Q·F)/Q

其中Na是消费者装置的输入队列中的可用空间且用大小为Wc的数据的数量表示，所述输入队列配置成存储等待消费的数据，Q是满足1<Q≤Wc/Wp的因子，并且F是尚未被接收到队列中且与发送的信用相对应的数据的数量。

消费者装置可以是Wc比特字的存储器(DRAM)，并且数据可以用Wp比特字的分组通过网络传输。

当分组中的字被存储在存储器中的随机位置中时，因子Q可以选择为等于Wc/Wp。

因子Q可以趋向于(P+1)/P，其中P是要存储在连续存储器位置中的突发的一串Wp比特字的大小。

可以在每次消费者装置已经消费阈值数量的Wc比特字时发送信用，所述阈值数量至多等于S/Q，其中S是队列的容量。

阈值数量可以等于S/Q减去在信用的传输时间(transit time)期间能够传输的字的数量所得的值。

值F可以被确定为累计的发送信用和消费者装置接收到的数据数量之间的差值。

附图说明

根据在附图中表示的仅出于示例性目的而提供的本发明的特定实施例的以下说明，其他特征和优点将变得更清楚明显，在附图中：

图1示意性地示出连接到外部存储器的片上网络；

图2概略地部分示出在图1的情况下，片上网络的流管理所涉及的电路；

图3示出在网络节点中产生的字序列和由外部存储器消费的字序列的实例；并且

图4示出在网络节点中产生的字序列和由外部存储器消费的字序列的另一实例。

具体实施方式

图1示意性地示出包括布置在折叠环面拓扑片上网络中的4x4的计算节点N的处理器阵列PA，如美国专利申请2011-0058569中公开的那样。在阵列拓扑中，每个节点通过双向点对点链路连接到同一行中的两个其他节点并且连接到同一列中的两个其他节点。在环面拓扑中，阵列的节点还在每行和每列中连接成环路，使得所有节点在其互连方面都具有相同的物理结构，特别是阵列边缘上的节点。在图1中所示的折叠拓扑中，每个节点(除了阵列边缘上的节点以外)在一行中和一列中都连接到相同奇偶性(parity)的两个其他节点，从而使节点之间的连接具有基本上相同的长度。

每个节点N包括：五向路由器(five-way router)，其管理去往行和列中的下一节点的用北、南、东、西表示的四个链路；以及具有未示出的计算单元(例如，用并行总线互连的处理器簇)的链路。

可以采取独立集成电路形式的处理器阵列PA通常与外部动态存储器DRAM相关联。取决于输入/输出接口IO和存储器的带宽，该存储器通过一个或多个其输入/输出接口IO连接到阵列PA。以下说明基本上涉及被看作是“消费者”的DRAM中的数据写入，阵列的节点是“生产者”。

在所示的实例中，四个IO接口连接到仲裁电路ARBTR，其管理IO接口和单个存储器总线之间的数据传送。在实际的实例中，存储器总线具有64比特的宽度，并且每个IO接口通过32比特总线通信，所述32比特总线具有与用于网络的内部连接的总线相同的宽度。利用该配置，当每条网络总线的速率是每条存储器总线的速率的一半时，存在存储器和网络带宽之间的理论平衡。

因此，存储器消费Wc＝64比特的字，而网络生产Wp＝32比特的字的分组。

图2示意性地部分示出用于在图1的实例中实现基于信用的流控制的结构。仲裁者ARBTR包括用于每个网络节点N的输入队列10，其可以在DRAM中写入数据。在实践中，节点N的角色是可互换的，由此仲裁者包括用于每个节点的队列，因此在该实例的上下文中包括16个队列。

队列10被设计成包含等待由DRAM消费的字。这些字优选地具有与存储器总线相同的宽度，在这里为64比特。然而，从网络到达的分组是由与网络的内部链路的宽度(在这里为32比特)相应的字形成的。因此，每个队列的前面设有重对准电路RALGN，其把到来的分组的32比特字结合起来从而形成待放置到队列中的64比特字。

每个队列由控制电路CTRL管理，控制电路CTRL计算队列中的可用空间和已消费的字以便通过网络向生产者节点发送信用C。在接收到信用时，生产者将其信用计数器增大并发送新数据，只要其计数器还未达到零。

根据常规技术，信用的单位是分组。这意味着生产者和消费者使用相同的“分组”定义。然而，在本情况下，分组由32比特字形成，而消费者需要64比特字。分组在消费者侧和生产者侧并不以相同的方式看待。

为了克服该困难，首先重新定义信用的单位。提出信用表示宽度为Wc的字的数量，其中Wc是输入队列的宽度，在这种情况下是可由DRAM直接消费的64比特字的数量。

如果把该定义直接集成到常规计算中，则对于队列中的每个空闲时隙，要返回的信用是+1。在生产者侧，值为1的信用对应于64比特，因此对应于要发送的一对32比特字。

然而，这两个字可能不对应于DRAM中的连续位置，因此它们不能作为单个64比特字被写入存储器。甚至在它们具有连续目的地的情况下，第一个32比特字可能具有在存储器中的64比特字的第二个半部分开始的地址。在这种情况下，这两个字也不能作为单个64比特字被写入存储器。

这样的“未对准的”字(例如在随机的地址中写入的字)在两个连续的64比特字即两个循环中被写入存储器。出于该目的，重对准电路RALGN被设计成分析到来的32比特字在存储器中的目的地，所述目的地被包含在分组头中：

·如果两个32比特字具有连续地址、并且第一个字的目的地对应于64比特存储器字的地址，则把这两个字结合到队列的单个64比特时隙中；

·在相反的情况下，也就是说，如果32比特字未对准，则它们被放置在队列的两个连续的64比特字中，取决于存储器中的目的地地址而被放置在相应64比特字的第一个半部分或第二个半部分中。64比特字的未使用的半部分在把字写入存储器时被标记为“无效”。确实，可以在把字写入DRAM时使单独的字节无效，使得对应的位置不会受写入操作影响。这允许把单独的字节写入存储器中，尽管总线大小比一个字节宽。

结果，两个32比特字可能会占据队列中的两个64比特时隙。这对应于最坏情况。为了解决该问题，实际使用的信用可以除以2。这等于把在比特数方面小两倍的队列暴露给生产者。

因此，要使用的有效信用可以用下式表示：

C＝Na/2

其中Na是队列中可用的时隙数量，用来自消费者侧的64比特字表示或者用来自生产者侧的32比特字构成的对表示。

通常，如果生产者侧的字的大小为Wp、并且消费者侧的字的大小为Wc，则有效信用可以用下式表示：

C＝Na·Wp/Wc

鉴于片上网络具有高效操作(lean operation)模式(即，网络带宽与生产者和消费者的容量匹配)的事实，该计算模式可能太乐观，甚至如果考虑了最坏情况。确实，该计算模式并未考虑在观察时队列中的可用空间Na可能会在任何稍后的时间被与最后发送的信用相对应的处于传输中或“飞行中”的数据填满的事实。在生产者和消费者具有充足硬件资源的宏观网络中，由于输入队列的大小具有充足余量的事实，该问题是透明的。在片上网络中，期望使队列尽可能小。

因此，在下文中提出改善信用计算模式来解决“飞行中”的数据。信用于是可以用下式表示：

C＝(Na-K·F)/K (1)

其中K＝Wc/Wp并且F对应于“飞行中”的数据。F可以等于计算出的发送信用C和写入输入队列中的64比特字的数量之间的差值。该值F由例如控制电路CTRL操作的计数器产生，使得其被增加每次发送的信用C的量值，并且在每次输入队列中的64比特时隙被占用时被减小。

还没有指定何时发送信用。用于发送信用的标准也可以进行优化。确实，信用不应该发送得太频繁，这可能会导致网络的阻塞，或者信用不应该发送得太少，这可能会导致数据生产过早停止。简单的标准是每次存储器已经消费阈值数量的字时发送信用。阈值可以小于或等于输入队列的容量的1/K(＝1/2)倍。确实，利用常规的基于信用的技术，发送信用的最大等待间隔对应于清空整个队列所需的最小时间，在这种情况下信用可能等于队列的大小。在本情况下，由于值为1的信用可能会导致最坏情况，所以在占据队列中的K个时隙的情况下，信用以K倍的频繁度发送，并且至多等于队列大小的1/K倍。

实际上，优选的是把阈值设置成稍微小于S/K＝S/2的值，其中S是队列的容量，但是不设置得过低，以便避免过多的信用发送量。在所考虑的实例中，阈值可以被选择成等于S/2减去在信用的传输时间期间可以传输的32比特字构成的对的数量所得的值。

在K是大于1的任何整数的通常情况下，阈值可以用下式表示：

Tc＝S/K-N_tc(K)，

其中N_tc(K)是可以在信用的传输时间tc期间传输的生产者字构成的K元组的数量。传输时间tc可以用时钟周期表示，并且由于通常每个周期传输一个生产者字，所以N_tc(K)＝tc/K。

信用的传输时间取决于为了到达目的地而要跨越的路由器的数量，可以取平均值作为传输时间。

到此为止，对应于最坏情况的因子K已经被包含到各种计算中。存在着使用趋向于1的可调节因子Q来代替K的情况。后面的附图举例示出这一点。信用表达式变为：

C＝(Na-Q·F)/Q＝Na/Q–F，

其中Q是满足的1<Q≤K的因子。

用于发送信用的判定阈值变为Tc＝S/Q-tc/Q。

图3示出被生产出来并被DRAM消费的一连串字(位于左边)或者被推入输入队列中的一连串字(位于右边)的第一实例。生产者发送由八个32比特字构成的分组。由生产者执行的处理使得生产者向存储器写入由四个字节(白色方块)间隔开的一系列由连续字节(黑色方块)构成的对。四字节“空白”被标记为无效，使得其不被写入存储器。

用32比特字为单位计数的存储器位置在图中示出。看上去生产者没有使用位置2、5和8。确实，它们对应于32比特空字，它们没有被生产者实际发送。

在消费者侧，处于位置0和1的32比特字被结合到单个64比特存储器字中。处于位置3和4的随后的字未对准。第一个字处于第一个64比特存储器字的末尾，并且第二个字被放置在第二个存储器字的开头。这些64比特字中的剩余空间是“填料”，即不会影响存储器的状态的无效字节。处于位置6和7的字再次对准并且被结合到单个存储器字中，等等……

当由八个32比特字构成的分组已经被写入存储器时，将会使用六个64比特字。在最坏情况下，八个64比特字将会被使用。在该实例中Q可以满足Q＝3/2。

图4示出被生产出来并被DRAM消费的一系列字(位于左边)的第二实例。生产者发送由32个连续字节构成的序列，但是第一个字节未对准。这些字节在两个连续的由八个32比特字构成的分组中传输。仅第二个分组的第一个字在位置8中示出。

当在九个32比特字中传输的这些32个字节已经被写入存储器时，五个64比特字将会被使用。在该实例中，Q可以满足Q＝10/9。

通常，如果数据序列是用有规律的字符产生的，则因子Q可以根据字符的规律性来调节。对于以P个连续的Wp比特字传输的数据突发串，Q可以被选择为使得Q＝(P+1)/P。在第一实例中，P＝2，并且在第二实例中，P＝9。

突发串的大小P可以至少被数据生产者处理预先知道(例如在实现该处理的程序被编译时)，或者被编程者预先知道。该大小值P可以在分组头中传输以便在分组消费者层面设立信用计算。

在实践中，至少对于每个分组都将其Q因子改变成更有利(减小的)值可能是不明智的，因为每个因子在新的Q因子的传输时间期间保持有效，在具有不太有利的Q因子的下一个分组的开始期间保持有效。因此，优选的是对每个队列使用在系统初始化时编程的恒定Q因子。

尽管电路可以专用于涉及可变因子Q的计算，但是该电路要实现除法，需要相对复杂的硬件，并且在所考虑的实例中要为仲裁电路ARBTR的每个队列10提供一个这样的电路。优选的是，应用被选择为易于实现的Q因子的超出值(excess value)。通过使得Q可从2、4/3、8/7、…、2ⁱ/(2ⁱ-1)中选择，信用通过下式表示：

如果Na的n个最低有效比特不全是零，则C＝Na-(Na>>n)-1-F，或者

如果所述n个最低有效比特全是零，则C＝Na-(Na>>n)-F，

其中“>>n”表示右移n个比特，并且：

·对于Q＝2，n＝1

·对于Q＝4/3，n＝2

·对于Q＝8/7，n＝3…

·对于Q＝2ⁱ/(2ⁱ-1)，n＝i

计算于是缩减为一个右移位和两个或三个减法。在这种情况下，对于P＝2的突发串大小(对该情况而言理想的是Q＝3/2)，Q被设置为等于2，从而n＝1。对于P＝9的突发串大小(对该情况而言理想的是Q＝10/9)，Q被设置为等于8/7，从而n＝3。通常，Q被设置成使得Q＝2ⁱ/(2ⁱ-1)，其中整数i被选择为使得Q过剩逼近(P+1)/P。

上面用于信用的两个条件表达式等效于以下单个表达式：

C＝((Na<<n)-Na)>>n-F。

右移或左移“n”可以使用复用器(multiplexer)执行，该复用器选择字的期望部分进行移位，并把丢失的比特替换为0。

在上面已经考虑到输入队列时隙是存储器总线的大小(64比特)。也可以想到的是，使时隙适应32比特的输入的字的大小。重对准电路RALGN于是被放置在队列的输出端，并且配置成形成待写入到存储器中的64比特字。这些64比特字可以通过以两倍于存储器写入速度的速度读取队列中的字，而在途中形成。

Claims (9)

1.一种消费者装置和生产者装置之间的基于信用的数据流控制方法，包括以下步骤：

·在所述生产者装置每次传输数据序列时，将信用计数器减小；

·当所述信用计数器达到零时，停止数据传输；

·在每次所述消费者装置已经消费数据序列时，发送信用；以及

·在接收到每个信用时，将信用计数器增大；

其中所述消费者装置能够使用的数据的大小Wc和所述生产者装置传输的数据的大小Wp满足Wc/Wp>1，并且用大小为Wc的数据的数量表示的信用通过下式表示：

C＝(Na-Q·F)/Q

其中Na是所述消费者装置的输入队列(10)中的可用空间且用大小为Wc的数据的数量表示，所述输入队列(10)配置成存储等待消费的数据，因子Q是满足1<Q≤Wc/Wp的因子，并且F是尚未被接收到所述队列中且与发送的信用相对应的数据的数量。

2.如权利要求1所述的方法，其中所述消费者装置是Wc比特字的存储器(DRAM)，并且所述生产者装置传输的数据用Wp比特字的分组通过网络传输。

3.如权利要求2所述的方法，其中当所述分组中的字被存储在所述存储器中的随机位置中时，所述因子Q被选择为等于Wc/Wp。

4.如权利要求2所述的方法，其中所述因子Q趋向于(P+1)/P，其中P是要存储在连续存储器位置中的突发的一串Wp比特字的大小。

5.如权利要求1所述的方法，其中在每次所述消费者装置已经消费阈值数量的Wc比特字时发送信用，所述阈值数量至多等于S/Q，其中S是所述队列的容量。

6.如权利要求5所述的方法，其中所述阈值数量等于S/Q减去在信用的传输时间期间能够传输的字的数量所得的值。

7.如权利要求1所述的方法，其中F被确定为累计的发送信用和所述消费者装置接收到的数据的数量之间的差值。

8.如权利要求4所述的方法，其中Q＝2ⁱ/(2ⁱ-1)，整数i被选择为使得Q过剩逼近(P+1)/P，所述信用通过下式表示：

如果Na的i个最低有效比特不全是零，则C＝Na-(Na>>i)-1-F，或者

如果所述i个最低有效比特全是零，则C＝Na-(Na>>i)-F，

其中“>>i”表示右移i个比特。

9.如权利要求4所述的方法，其中Q＝2ⁱ/(2ⁱ-1)，整数i被选择为使得Q过剩逼近(P+1)/P，所述信用通过下式表示：

C＝((Na<＜i)-Na)>>i-F,

其中“>>i”表示右移i个比特，并且“<＜i”表示左移i个比特。