CN109918043B - 一种基于虚拟通道的运算单元共享方法和系统 - Google Patents

Abstract

本发明公开了一种基于虚拟通道的运算单元共享系统，包括：多路组件请求端，所述多路组件请求端中的每一路分别独立地向带凭证的仲裁器发送请求；带凭证的仲裁器，所述带凭证的仲裁器对来自所述多路组件请求端的请求进行仲裁，并将权限分配给所述多路组件请求端中的一路组件请求，将该路组件请求的操作数发送给运算单元；运算单元，所述运算单元将运算结果提供给分发器；不带握手的分发器，所述不带握手分发器将运算结果依据分发目的ID进行分发，提供给多路组件接收FIFO中的对应的一路组件接收FIFO；多路组件接收FIFO，所述多路组件接收FIFO与多路组件请求端一一对应；多路组件接收端，所述多路组件接收端与所述多路组件接收FIFO一一对应，所述多路组件接收端中的一路组件接收端从对应的组件接收FIFO获取所述运算结果；以及凭证返回通道，所述凭证返回通道分别将每一路组件接收FIFO的输出端连接到所述带凭证的仲裁器。

Description

一种基于虚拟通道的运算单元共享方法和系统

技术领域

本发明涉及计算机领域，尤其涉及一种基于虚拟通道的运算单元共享方法和系统。

背景技术

目前电路中的流水运算单元(比如乘法器，除法器)占用资源多，而且不是时时刻刻都在进行运算，所以在某些场合下希望运算单元被多个组件通过时分复用的方式共享。通过时分复用的方式将运算单元的处理时间划分成若干时间片，并将这些时隙分配给多个组件使用。目前已有的常见方案是多路输入进行仲裁，选一路进入运算单元，结果再进行分发。

图1示出现有的一个流水线运算单元时分复用的例子。如图1所示，在该运算单元时分复用系统100中，仲裁器120对来自输入端的多路组件请求端111、112、…、11N的请求进行仲裁，运算单元130每一拍能够接收操作数，并在固定拍数后将运算结果提供到分发器140，分发器140的分发目的ID由仲裁器120输出，并随操作数和运算结果一路传播下来的，分发器140将运算结果依据分发目的ID进行分发，提供给多路组件接收端151、152、…、15N，最后在进一步提供给下游组件160。其中，多路组件请求端111、112、…、11N，仲裁器120，运算单元130，分发器140，多路组件接收端151、152、…、15N以及下游组件160间的数据传输采用带握手的数据通道。带握手的数据通道表示每一拍数据伴随着发送端的valid(有效)和接收端的ready(可使用)确认。如图2示出握手通道信号波形，如图2所示，第一行波形为时钟(clock)信号，第二行为数据(data)信号，第三行波形为发送端的valid信号，第四行波形为接收端的ready信号，当valid信号和ready信号同时为1时，当拍握手成功。带握手的数据通道的信号方向和连接关系如图3所示。

现有的运算单元时分复用系统在其中一路组件(例如，第一路组件)的下游组件没有能力接收数据时，会导致该路组件的输出端与下游组件握手不成功，并形成阻塞；进而导致该路组件的接收端握手不成功，并形成阻塞，接着分发器被该路组件未接收的数据占用，导致分发器无法继续分发去往其他路组件的运算结果。如图4所示，深暗色表示第一路组件的运算结果被阻塞的位置；即使第二路组件有能力接收，由于第二路组件的运算结果(浅灰色)被分发器140阻塞，第二路组件的运算结果也无法被接收。图5示出另一种阻塞形式，如图5所示，因为下游组件无法接收第一路组件的输出，导致阻塞，这种阻塞反向一路传导至仲裁器120，导致其他组件的请求无法进入仲裁器120。即使其他组件有能力接收运算结果，此时也无法进行其他组件的计算。如图6所示，以上两种情况只有当第一组件的阻塞解除后，其他组件(如组件112)的运算结果才能到达下游组件。因此，现有运算单元时分复用系统的运算效率不高，性能较低。

针对现有运算单元时分复用系统存在的一路组件发生数据阻塞后，其他组件也无法顺利进行运算或运算结果接收，运算效率不高的问题，本领域需要一种基于虚拟通道的运算单元共享方法和系统，使用虚拟通道技术共享运算单元能够使一路组件接收端阻塞时，其他组件仍然能够完成运算，互不影响，从而实现了系统运算性能的提升。

发明内容

针对现有运算单元时分复用系统存在的一路组件发生数据阻塞后，其他组件也无法顺利进行运算或运算结果接收，运算效率不高的问题，本发明的一个实施例中提供一种基于虚拟通道的运算单元共享系统，包括：

多路组件请求端，所述多路组件请求端中的每一路分别独立地向带凭证的仲裁器发送请求；

带凭证的仲裁器，所述带凭证的仲裁器对来自所述多路组件请求端的请求进行仲裁，并将权限分配给所述多路组件请求端中的一路组件请求，将该路组件请求的操作数发送给运算单元；

运算单元，所述运算单元将运算结果提供给分发器；

不带握手的分发器，所述不带握手分发器将运算结果依据分发目的ID进行分发，提供给多路组件接收FIFO中的对应的一路组件接收FIFO；

多路组件接收FIFO，所述多路组件接收FIFO与多路组件请求端一一对应；

多路组件接收端，所述多路组件接收端与所述多路组件接收FIFO一一对应，所述多路组件接收端中的一路组件接收端从对应的组件接收FIFO获取所述运算结果；以及

凭证返回通道，所述凭证返回通道分别将每一路组件接收FIFO的输出端连接到所述带凭证的仲裁器。

在本发明的一个实施例中，所述多路组件请求端与所述带凭证的仲裁器间的数据采用带握手的数据通道传输。

在本发明的一个实施例中，所述带握手的数据通道表示每一周期数据伴随着发送端valid和接收端ready确认，当valid信号和ready信号同时为1时，该周期握手成功。

在本发明的一个实施例中，所述带凭证的仲裁器对每一路组件设置一个计数器。

在本发明的一个实施例中，所述计数器的初始值为0；

当所述带凭证的仲裁器将权限给一路组件请求时立即将这拍操作数发出，并将与所述一路组件请求对应的计数器值加1；

当所述带凭证的仲裁器收到对应的组件接收端返回的凭证时，该计数器值减1；以及

当所述带凭证的仲裁器在同拍针对该路组件发出操作数且收到对应组件接收端返回的凭证时，该计数器值不变。

在本发明的一个实施例中，所述计数器设置有最大值M，当所述计数器的值达到最大值M时，所述带凭证的仲裁器忽略该路组件的请求，且继续响应其他路组件请求。

在本发明的一个实施例中，所述计数器的最大值M不小于该路组件的credit_loop_time+1，credit_loop_time指的是第一个valid发出到第一个凭证返回的周期数。

在本发明的一个实施例中，所述组件接收FIFO的深度不小于各路计数器的最大值。

在本发明的一个实施例中，所述不带握手的分发器的分发目的ID由所述带凭证的仲裁器给出，并随操作数和运算结果一路传播下来的。

在本发明的一个实施例中，所述不带握手的分发器基于带握手的数据通道修改而成，移除ready信号，valid信号为1的每一周期数据都有效，且能被接收。

在本发明的一个实施例中，所述凭证返回通道是信号线，当该路组件接收FIFO读走一周期数据，该路组件接收端返回凭证至所述带凭证的仲裁器，该路计数器值减1。

本发明提出一种基于虚拟通道的运算单元共享方法和系统，系统包括带credit(凭证)的仲裁器、运算单元、不带握手的分发器、多路组件接收FIFO(先进先出存储器)。带credit的仲裁器对每一路组件请求设置一个计数器，计数器的初始计数值为0，在仲裁器向运算单元发出操作数时，计数值加1，带credit的仲裁器收到该路组件接收端返回的credit时，计数值减1。当该路组件的计数值达到最大值时，阻塞该路组件的请求，仲裁器忽略该路组件的请求，保留继续响应其他路组件请求。本发明的该种基于虚拟通道的运算单元共享方法和系统相比现有的运算单元时分复用方案，解决了组件接收端阻塞导致其他组件无法进行运算和输出的问题。各路组件请求侧可以互相不影响的进入运算单元进行计算，即使某路组件接收侧因为性能原因产生阻塞，也不影响其他路组件的正常功能。从而降低了各路组件的运算等待时间，提高了运算单元利用率和系统整体性能。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出现有运算单元时分复用系统100的框图。

图2示出现有运算单元时分复用系统采用的带握手的数据通道的信号和数据波形示意图。

图3示出现有运算单元时分复用系统采用的带握手的数据通道的信号方向和连接关系示意图。

图4示出现有运算单元时分复用系统100的一路组件的运算结果被阻塞导致分发器阻塞的示意图。

图5示出现有运算单元时分复用系统100的一路组件的运算结果被阻塞进一步传导导致仲裁器阻塞的示意图。

图6示出现有运算单元时分复用系统100的阻塞解除的示意图。

图7示出根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统700的框图。

图8示出根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统700所采用的不带握手的数据通道的信号方向和连接关系示意图。

图9示出根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统700在一路组件运算结果被阻塞时其他组件正常运算的示意图。

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

需要说明的是，本发明的实施例以特定顺序对步骤进行描述，然而这只是为了方便区分各步骤，而并不是限定各步骤的先后顺序，在本发明的不同实施例中，可根据具体的流程的调节来调整各步骤的先后顺序。

本发明提出一种基于虚拟通道的运算单元共享方法和系统，系统包括带credit的仲裁器、运算单元、不带握手的分发器、多路组件接收FIFO。带credit的仲裁器对每一路组件请求设置一个计数器，计数器的初始计数值为0，在仲裁器向运算单元发出操作数时，计数值加1，带credit的仲裁器收到该路组件接收端返回的credit时，计数值减1。当该路组件的计数值达到最大值时，阻塞该路组件的请求，仲裁器忽略该路组件的请求，保留继续响应其他路组件请求。本发明的该种基于虚拟通道的运算单元共享方法和系统相比现有的运算单元时分复用方案，解决了组件接收端阻塞导致其他组件无法进行运算和输出的问题。各路组件请求侧可以互相不影响的进入运算单元进行计算，即使某路组件接收侧因为性能原因产生阻塞，也不影响其他路组件的正常功能。从而降低了各路组件的运算等待时间，提高了运算单元利用率和系统整体性能。

下面结合图7来详细介绍根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统。图7示出根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统700的框图。如图7所示，该基于虚拟通道的运算单元共享系统700进一步包括多路组件请求端711、712、…、71N，带credit的仲裁器720，运算单元730，分发器740，多路组件接收FIFO751、752、…、75N，多路组件接收端761、762、…、76N以及下游组件770。分发器740是不带握手的分发器。

多路组件请求端711、712、…、71N分别独立的向带credit的仲裁器720发送请求。多路组件请求端711、712、…、71N与带credit的仲裁器720间的数据采用带握手的数据通道传输。带握手的数据通道表示每一拍数据伴随着发送端的valid和接收端的ready确认。如图2示出握手通道信号波形，如图2所示，第一行波形为时钟(clock)信号，第二行为数据(data)信号，第三行波形为发送端的valid信号，第四行波形为接收端的ready信号，当valid信号和ready信号同时为1时，当拍握手成功。

带credit的仲裁器720对每一路组件设置一个计数器。带credit的仲裁器720对第k路组件设置的计数器为cnt_k，初始值为0，每当带credit的仲裁器720将权限给第k路组件时，带credit的仲裁器720立即将这拍操作数发出，并且cnt_k增1；每当带credit的仲裁器720收到第k路组件接收端返回的credit时，cnt_k减1；同拍发出操作数且收到credit时，cnt_k不变。每路组件接收FIFO(751、752、…、75N)的深度不小于cnt_k的最大值，当cnt_k达到最大值时，阻塞第k路组件的请求，带credit的仲裁器720忽略第k路组件的请求，保留继续响应其他路组件请求的能力。

运算单元730基于不带握手的数据通道从带credit的仲裁器720接收操作数，并基于不带握手的数据通道将运算结果提供给不带握手的分发器740。不带握手的数据通道基于带握手的数据通道修改而成，移除ready信号。valid信号为1的每一拍数据都是有效的，而且能够被接收。图8示出根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统700所采用的不带握手的数据通道的信号方向和连接关系示意图。第一行为时钟周期信号，第二行为数据信号，第三行为valid信号，当valid信号为1时，每个时钟周期提供一个有效数据信号。

不带握手的分发器740基于带握手的分发器修改而成，移除ready信号。valid信号为1的每一拍数据，根据伴随的目的ID，直接从对应的目的端口发出。valid信号为1的每一拍数据都是有效的，而且能够被分发。

多路组件接收FIFO 751、752、…、75N对应多路组件，即每路组件有一个组件接收FIFO。不带握手的分发器740输出的数据直接写入各路组件接收FIFO，不考虑各路组件接收FIFO满的场景。每个组件接收FIFO的深度不小于cnt_k的最大值，这样就能保证各路组件接收FIFO在任何情况下不被溢出。在第k路组件请求持续发送操作数时，为了不产生数据断流，cnt_k的最大值应该不小于credit_loop_time+1，即第一个valid发出到第一个credit返回的拍数(周期数)。例如，当credit_loop_time为7时，cnt_k的最大值可以为8。

多路组件接收端761、762、…、76N分别接收来自多路组件接收FIFO 751、752、…、75N的数据。credit返回通道是一根信号线，它为1时表明credit返回1个。当第k路组件的接收FIFO读走一拍数据时，credit返回通道k将产生一拍的1，并提供给带credit的仲裁器720，每当带credit的仲裁器720收到第k路组件接收端返回的credit时，cnt_k减1。

下游组件770接收最后的运算结果。

下面结合图9来说明一下该基于虚拟通道的运算单元共享系统700在一路组件运算结果被阻塞时其他组件正常运算情况。图9示出根据本发明的一个实施例的一种基于虚拟通道的运算单元共享系统700在一路组件运算结果被阻塞时其他组件正常运算的示意图。如图9所示，

当第一路组件接收端761被下游组件770阻塞时，第一路组件接收端761会停止从第一路组件接收FIFO 751读取数据，带credit的仲裁器720就接收不到第一路组件接收端761返回的credit，这样当第一路组件的计数器cnt_0逐渐增加到最大值时，带credit的仲裁器720阻塞第一路组件请求端711，并且忽略第一路组件的请求。而带credit的仲裁器720已经发送出去的第一路组件请求的操作数会继续运算，并且结果存入第一路接收FIFO751。当cnt_0到达最大值并且阻塞第一路组件请求711之后，已经发出去的操作数产生的结果存储在第一路FIFO 751中，在本发明的一个具体实施例中，可以恰好将第一路FIFO751填满。此时电路的带credit的仲裁器720和不带握手的分发器740都处于空闲状态，其他路组件(例如第二路组件)的数据可以正常通过。

当第一路组件接收端761又开始读取第一路接收FIFO 751时，产生credit返回，带valid的仲裁器720接收到此返回后，认为第一路接收FIFO 751又有空位置了，就放行第一路组件请求711参与仲裁。

在上述公开的实施例中，运算单元共享系统包含多个组件请求和对应的多个组件接收端。多个组件请求通过仲裁器合并到一个物理通道，经过运算单元以后再将结果拆分到多个组件接收端。通过本发明公开的方案，每个组件请求至对应的组件接收端的通道相互无干扰，因此可以将组件请求至对应的组件接收端的通道视为多个相互独立的虚拟通道，其中任何一个阻塞了，都不影响其他通道的工作。

基于本发明的实施例提供的该种基于虚拟通道的运算单元共享方法和系统，系统包括带credit的仲裁器、运算单元、分发器、接收FIFO。带credit的仲裁器对每一路组件请求设置一个计数器，计数器的初始计数值为0，在仲裁器向运算单元发出操作数时，计数值加1，仲裁器收到该路组件接收端返回的credit时，计数值减1。当该路组件的计数值达到最大值时，阻塞该路组件的请求，仲裁器忽略该路组件的请求，保留继续响应其他路组件请求。本发明的该种基于虚拟通道的运算单元共享方法和系统相比现有的运算单元时分复用方案，解决了组件接收端阻塞导致其他组件无法进行运算和输出的问题。各路组件请求侧可以互相不影响的进入运算单元进行计算，即使某路组件接收侧因为性能原因产生阻塞，也不影响其他路组件的正常功能。从而降低了各路组件的运算等待时间，提高了运算单元利用率和系统整体性能。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对各个实施例做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (8)

1.一种基于虚拟通道的运算单元共享系统，包括：

多路组件请求端，所述多路组件请求端中的每一路分别独立地向带凭证的仲裁器发送请求；

带凭证的仲裁器，所述带凭证的仲裁器对来自所述多路组件请求端的请求进行仲裁，并将权限分配给所述多路组件请求端中的一路组件请求，将该路组件请求的操作数发送给运算单元；

运算单元，所述运算单元将运算结果提供给分发器；

不带握手的分发器，所述不带握手分发器将运算结果依据分发目的ID进行分发，提供给多路组件接收FIFO中的对应的一路组件接收FIFO；

多路组件接收FIFO，所述多路组件接收FIFO与多路组件请求端一一对应；

多路组件接收端，所述多路组件接收端与所述多路组件接收FIFO一一对应，所述多路组件接收端中的一路组件接收端从对应的组件接收FIFO获取所述运算结果；以及

凭证返回通道，所述凭证返回通道分别将每一路组件接收FIFO的输出端连接到所述带凭证的仲裁器，

其中所述带凭证的仲裁器对每一路组件设置一个计数器，所述计数器的初始值为0，

其中当所述带凭证的仲裁器将权限给一路组件请求时立即将这拍操作数发出，并将与所述一路组件请求对应的计数器值加1；当所述带凭证的仲裁器收到对应的组件接收端返回的凭证时，该计数器值减1；以及当所述带凭证的仲裁器在同拍针对该路组件发出操作数且收到对应组件接收端返回的凭证时，该计数器值不变，

所述计数器设置有最大值M，当所述计数器的值达到最大值M时，所述带凭证的仲裁器忽略该路组件的请求，且继续响应其他路组件请求。

2.如权利要求1所述的基于虚拟通道的运算单元共享系统，其特征在于，所述多路组件请求端与所述带凭证的仲裁器间的数据采用带握手的数据通道传输。

3.如权利要求2所述的基于虚拟通道的运算单元共享系统，其特征在于，所述带握手的数据通道表示每一周期数据伴随着发送端valid和接收端ready确认，当valid信号和ready信号同时为1时，该周期握手成功。

4.如权利要求1所述的基于虚拟通道的运算单元共享系统，其特征在于，所述计数器的最大值M不小于该路组件的credit_loop_time+1，credit_loop_time指的是第一个valid发出到第一个凭证返回的周期数。

5.如权利要求1所述的基于虚拟通道的运算单元共享系统，其特征在于，所述组件接收FIFO的深度不小于各路计数器的最大值。

6.如权利要求1所述的基于虚拟通道的运算单元共享系统，其特征在于，所述不带握手的分发器的分发目的ID由所述带凭证的仲裁器给出，并随操作数和运算结果一路传播下来的。

7.如权利要求6所述的基于虚拟通道的运算单元共享系统，其特征在于，所述不带握手的分发器基于带握手的数据通道修改而成，移除ready信号，valid信号为1的每一周期数据都有效，且能被接收。

8.如权利要求1所述的基于虚拟通道的运算单元共享系统，其特征在于，所述凭证返回通道是信号线，当该路组件接收FIFO读走一周期数据，该路组件接收端返回凭证至所述带凭证的仲裁器，该路计数器值减1。

Images