CN112817774A - 用于片上网络中的事务广播的系统和方法 - Google Patents

Abstract

本公开的实施例涉及用于片上网络中的事务广播的系统和方法。本文公开了用于在片上网络(NoC)内从主设备到多个从设备广播事务和接收响应的系统和方法。事务起源于主设备并且使用NoC发送到使用特殊的地址范围的广播适配器。广播适配器从主设备接收事务。广播适配器复制事务并且将复制的事务发送到多个从设备。从设备发送响应，该响应由NoC传输回相应的主设备。

Description

用于片上网络中的事务广播的系统和方法

技术领域

本技术属于系统设计的领域，并且更具体地涉及片上网络(NoC)中的广播事务。

背景技术

计算机处理器的系统设计包括多处理器系统。这些多处理器系统已经在通过片上网络(NoC)通信的片上系统(SoC)中实现。SoC包括主设备(发起方)知识产权(IP)和从设备(目标方)IP的实例。在一些实例中，一个主设备将一个事务或请求发送到多个从设备。该事务使用行业标准协议发送，诸如ARM AMBA AXI、AHB或APB；或OCP-IP。这些协议具有严格的请求/响应语义，并且通常被NoC视为单播：连接到NoC的主设备使用地址来选择从设备从而将请求发送到从设备。NoC解码该地址并将请求从主设备传输到从设备。从设备处理该事务并发送响应，该响应由NoC传输回主设备。

当主设备需要将相同的事务或请求发送到多个从设备时，目前已知的方法是主设备按顺序发送所有请求。主设备将事务发送到第一从设备，然后到第二从设备，然后到第三从设备等等。例如，如果主设备想要将相同的数据写入16个不同的从设备，那么主设备按顺序发送16个相同的写入事务，每个从设备一个。因此，发送16个事务的总操作所花费的时间是单个写入事务的时间的16倍。这限制了将相同请求可以被发送到多个从设备的速率。该速率受主设备可以向所有目的地(即从机)发送顺序请求的速率限制。因此，需要一种减少从主设备向多个从设备发送多个相同事务所花费的时间的系统和方法。

发明内容

根据本发明的各种实施例和各个方面，提供了系统和方法以实现将事务从一个主设备发送到多个从设备的新的方法。根据本发明的各种实施例和各个方面，使用了一个特殊的地址范围。片上网络(NoC)将在特殊的地址范围内的特殊地址接收到的事务同时广播到多个目的地或从设备，而不是将其发送到单个目的地。一个优点是操作的效率最大化，该操作包括将相同的事务发送到多个目的地。另一个优点包括在广播事务之前在事务上执行功能的能力。

附图说明

图1示出了根据本发明的实施例的具有主设备和多个从设备的片上网络(NoC)。

图2示出了根据本发明的实施例，当写入事务被发送到第一广播适配器(BA)时，主设备将写入事务广播到多个从设备的图1的NoC。

图3示出了根据本发明的实施例，当写入事务由第一BA复制并且被发送到其他BA时的图2的NoC。

图4示出了根据本发明的实施例，当其他BA将写入事务发送到多个从设备时的图3的NoC。

图5示出了根据本发明的实施例的使用BA广播的地址范围。

图6示出了根据本发明的实施例的用于支持事务广播的BA。

图7示出了根据本发明的实施例的包括支持多个广播网络的多个入口端口的BA。

图8示出了根据本发明的实施例的包括转换功能模块的BA。

图9示出了根据本发明的实施例的包括缓冲器的BA。

图10示出了根据本发明的各个方面和实施例的在特殊地址范围内使用BA从主设备向从设备广播请求的流程。

具体实施方式

下文描述了本技术的各种示例，说明了本发明的各个方面和实施例的。通常，示例可以在任何组合中使用所描述的方面。本文中的所有陈述叙述了原理、方面和实施例以及其具体示例，旨在包含其结构和功能等效物。此外，旨在使这种等效物包括目前已知的等效物和将来开发的等效物，即，无论结构如何，开发执行相同的功能的任何元件。

要注意的是，如本文所使用的，单数形式“一”、“一个”和“该”包括复数对象，除非上下文明确另有指示。贯穿本说明书对“一个实施例”、“一项实施例”、“某个实施例”、“各种实施例”或类似的语言的参考意味着结合实施例描述的特定的方面、特征、结构或特性包括在本发明的至少一个实施例中。

如本文所使用的，“主设备”和“发起方”是指类似的知识产权(IP)模块或单元，并且该术语在本发明的范围和实施例中可互换使用。如本文所使用的，“从设备”和“目标方”是指类似的IP模块或单元，并且该术语在本发明的范围和实施例中可互换使用。如本文所使用的，事务可以是请求事务或响应事务。请求事务的示例包括写入请求和读取请求。

因此短语“在一个实施例中”、“在至少一个实施例中”、“在一项实施例中”、“在某些实施例中”和贯穿本说明书的类似的语言的出现，可以但不一定都指同一实施例或类似的实施例。此外，本文描述的本发明的方面和实施例仅仅是示例性的，并且不应该被解释为对本领域的普通技术人员所理解的本发明的范围和精神的限制。本发明在包括本文所述的任何新方面的任何实施例中有效地制造或使用。本文中的所有陈述叙述了原理、方面和实施例以及其具体示例，旨在包含其结构和功能等效物。旨在使这种等效物包括目前已知的等效物和将来开发的等效物。此外，在详细说明书和权利要求书中使用了术语“包括”、“包含”、“有”、“具有”、“拥有”或其变体的范围内，这种术语旨在包括在与术语“包括”类似的方式。

现在参考图1，示出了根据本发明的实施例的片上网络(NoC)100。NoC包括与网络接口单元(NI)104通信的主设备102。连接到从设备的网络接口单元用于将NoC中使用的协议转换为从设备使用的协议。NI 104将进入的事务从主设备102转换在NoC 100中用于传输的协议。NI 104与交换机106通信。交换机106与交换机108和交换机110通信。交换机110与交换机112通信。NoC 100包括根据本发明的各种实施例的各种管路元件，其中一些已示出，另一些未示出。主设备102可以通过NoC 100与从设备130、132、134和136通信。从设备130通过NI 120进行通信。从设备132通过NI122进行通信。从设备134通过NI 124进行通信。从设备136通过NI 126进行通信。根据本发明的实施例，主设备102通过NoC 100中的NI 104，使用四个NI 120-126分别与四个从设备130-136通信。显然，许多其他实施例被设想为具有多个主设备和多个从设备，即使在该实施例中为了清晰只示出了一个主设备和四个从设备。

根据本发明的实施例，NoC 100还包括与交换机112通信的广播适配器(BA)142、与交换机106通信的BA 146、与交换机108通信的BA 148。根据本发明的各个方面和实施例，BA被连接到图1中所示的请求(事务)网络以及响应(事务)网络侧(根据本发明的实施例，该连接在图6示出)。

根据本发明的各个方面和实施例，BA 146在请求入口端口150(也被称为入口端口150)上接收分组(表示请求事务或请求)。入口端口150位于事务的请求侧。在事务的响应侧由对应的响应入口端口。BA 146复制分组并将副本发送到请求出口端口152和158(也成为了出口端口152和158)。根据本发明的各个方面，在设计时设置来自每个出口端口152和158的每个分组的目的地。

将BA 146视为一个示例。表示事务的数据的请求分组(或请求，也可以被称为分组)到达BA 146的入口端口150。根据本发明的一个方面，该分组被复制并且每个复制的分组被发送到每个出口端口152和158。出口端口158将复制的分组中的一个分组通过交换机106然后通过交换机108发送到BA 148。出口端口152将复制的分组中的另一个分组通过交换机106然后通过交换机110和交换机112发送到BA 142。

根据本发明的实施例，分组到达BA 148的入口端口178。到达入口端口178的分组被复制。根据本发明的实施例，BA 148包括出口端口160和出口端口162。出口端口160通过交换机108并然后使用NI 120与从设备(或目标方)130通信并将分组发送到从设备(或目标方)130。此外，出口端口162通过交换机108并然后使用NI 122与从设备(或目标方)132通信并将分组发送到从设备(或目标方)132。

根据本发明的实施例，到达BA 142的入口端口172的任何分组都被复制。根据本发明的实施例，BA 142还包括两个出口端口：出口端口164和出口端口166。出口端口164通过交换机112并使用NI 124与从设备134通信并将分组发送到从设备134。此外，出口端口166通过交换机112并使用NI 126与从设备136通信并将分组发送到从设备136。

现在参考图2、图3和图4，根据本发明的实施例，写入事务180源于主设备102。主设备102指示通过将写入事务发送到BA 146来将写入事务180广播到从设备130、132、134和136。主设备102将写入事务发送到BA 146地址范围内的地址。写入事务180到达BA 146的入口端口150。BA 146复制写入事务180。BA 146通过出口端口152和158同时发送复制的写入事务180。一个写入事务180通过交换机106然后通过交换机108到达(BA 148的)入口端口178。另一个写入事务180通过交换机106、交换机110和交换机112到达(BA 142的)入口端口172。BA 148和BA 142，每个都复制了到达它们各自的入口端口的写入事务180。复制的写入事务180通过出口端口160和162从BA 148被分别发送到从设备130和132。复制的写入事务180通过出口端口164和166从BA 142被分别发送到从设备134和136。因此，主设备102能够同时将写入事务180发送到从设备130、132、134和136。

现在参考图5，NoC 100包括特殊的地址范围500，为每个目标方或从设备标识BA和标准地址范围550。如上所述，BA复制在其入口端口接收到的事务，并使用其出口端口将复制的事务发送给网络中的其他元件，包括其他BA。当主设备需要启动广播操作并将事务发送到多个从设备时，那么主设备会从地址映射中选择一个与BA对应的地址。该BA像是目标方并且具有NoC的地址映射中的地址。因此，当主设备发送一个地址与一个BA地址匹配的请求时，那么NoC将会向BA发送分组。然后BA将复制该事务或请求并根据预先配置的方案，将复制的事务依次发送到其他部件(交换机、管路、其他BA或网络接口)。

现在参考图6，示出了根据本发明的各种实施例的BA 600，其具有一个请求入口接口和三个请求出口接口，以及三个响应入口接口和一个响应出口接口，以处理来自所有连接到请求出口接口的从设备的响应。BA 600在响应网络部分包括的入口端口和请求方向上的出口端口一样多：每个请求出口端口一个响应入口端口。BA 600执行响应聚合，并使用组合功能将对应于一个复制的请求分组的所有响应组合到一个响应分组中。该组合响应通过BA 600响应出口端口被发送回。

根据本发明的一些方面，当事务是写入请求时，那么一种这样的组合功能包括检查来自从设备的写入响应是否有错误。如果进入的写入响应不包含错误，那么写入响应被聚合为没有错误的写入响应。如果进入的写入响应的任何一个包含错误，那么写入响应被聚合为具有错误的写入响应。然后聚合写入响应被发送回请求发出的位置。重复该过程直到写入响应最终被发送到发出初始写入请求的主设备为止。

根据本发明的一些方面，当来自主设备的事务是读取请求时，那么读取响应可以使用诸如加法、最大值、最小值等数学功能来组合。所得的组合读取响应被用作读取响应发送回请求分组发出的位置。重复该过程直到读取响应最终被发送到发出初始读取请求的主设备为止。

现在参考图7，根据本发明的一个实施例，示出了BA 700，其支持在NoC中共存的多个不同的请求类型广播网络。为了支持多个广播网络，BA 700包括多个请求输入或入口，每个广播网络一个，BA 700与其连接。根据本发明的实施例，BA 700被连接到两个广播网络。NoC通过使用发送到BA 700的请求事务的分组报头中的位字段来区分不同的广播网络。通过适当地设置位字段，从多个广播网络中选择所需的广播网络。BA 700在所选择的广播网络上发送复制的分组。

根据本发明的一个实施例，BA包括为在请求入口端口上接收到的给定分组选择BA的一组特定的请求出口端口的能力。在BA的入口端口上接收的分组只复制到选择的出口端口。特定出口端口的选择通过请求事务报头(分组报头)的报头中专用选择位实现。专用选择位选择应当将给定分组复制到其中进行传输的BA的出口端口。当接收到响应事务时，未被选择的BA的出口端口被标记为对于响应聚合机制被忽略，因为没有请求被复制并通过特定的出口端口发送。

现在参考图8，根据本发明的一个实施例，BA 800包括用于事务或分组的有效负载的转换功能。在一个实施例中并且根据本发明的一个方面，转换功能包括不同数字格式之间的转换，诸如：整数到浮点数或不同浮点数表示之间的转换。在BA 800中的分组有效负载上执行转换功能提供了在广播之前执行转换功能的优势，其中写入请求在多个从设备中执行多次。同样地，消除了在每个从设备中进行数据转换的需求，因为每个从设备或目标方(目的地)不需要本地执行转换。例如，如果在第一BA(BA 800)中实现整数到浮点数的转换器，那么主设备可以将整数的写入事务发送到BA 800。BA800在转发或发送写入请求前，将整数转换为对应浮点数表示的多个写入请求。

现在参考图9，根据本发明的一个实施例，BA 900包括缓冲器902。缓冲器902是先入先出(FIFO)缓冲器，BA 900的每个出口端口一个写入指针和一个读取指针。该缓冲器将允许每个出口端口的独立进程，而不需要每个出口端口实现一个FIFO。在每个出口端口上进行独立进程的能力允许在避免死锁的同时实现复杂的广播网络的自由。缓冲器902表现如下：如果一个或多个出口端口看到给定分组FLIT的反压，那么该FLIT以FIFO顺序被存储在缓冲器902中。然后反压或阻塞的出口端口的读取指针被设置到特定位置，并且缓冲器902的写入指针前进。先前阻塞的出口端口从缓冲器902读取其FLIT，并且每个出口端口在缓冲器902中都具有其独立的读取指针。

现在参考图10，示出了根据本发明的各个方面和实施例的从一个主设备向多个从设备广播的流程。该流程开始于定义地址范围的步骤1000，其中地址范围包括若干BA的地址。在步骤1100中，主设备生成请求以发送到BA。在步骤1200中，主设备为请求选择BA并使用BA的地址。该请求在所选择的BA的入口端口处接收。在步骤1300中，BA适配器复制该请求以便通过BA的出口端口传输。在步骤1400，BA将复制的请求发送到每个连接到每个BA出口端口的从设备。通过这样，主设备能够使用BA的地址将请求同时广播到若干从设备。

并行处理可以提供巨大的速度提升。这对于诸如深度神经网络计算的应用很重要，其要求将相同的数据集同时分布到多个节点。根据本发明的一些方面，神经网络解决方案的设计者可以利用BA并行或同时实现事务完成。例如，本发明的各个方面和实施例可以在人工智能计算和深度网络加速器的领域中实现。挡在硬件和软件中实现时，这种系统可以充分利用使用包括BA的NoC的广播的并行性，并且运行速度快几个数量级。

根据本发明的各个方面的某些方法可以由存储在非暂态计算机可读介质上的指令执行。非暂态计算机可读介质存储包括指令的代码，如果指令由一个或多个计算机执行，会使计算机执行本文所述方法的步骤。非暂态计算机可读介质包括：旋转磁盘、旋转光盘、闪存随机访问存储器(RAM)芯片以及其他机械移动或固态存储介质。任何类型的计算机可读介质都适合于存储包括根据各种示例的指令的代码。

本文已经描述了某些示例，并且要注意的是来自不同示例的不同部件的不同组合是可能的。提出了突出特征以更好地解释示例；然而，很明显可以添加、修改和/或省略某些特征，而不需要修改所描述的这些示例的功能方面。

各种示例是使用机器或机器组合的行为的方法。在世界上大多数构成步骤发生的地方，方法示例都是完整的。例如并且根据本发明的各个方面和实施例，IP元件或单元包括：处理器(例如，CPU或GPU)、随机访问存储器(RAM——例如片外动态RAM或DRAM)、有线或无线连接的网络接口，诸如以太网、WiFi、3G、4G长期演进、5G以及其他无线接口标准无线电。IP还可以包括不同外围设备需要的各种I/O接口设备，诸如触摸屏传感器、地理定位接收器、麦克风、扬声器、蓝牙外设以及USB设备(诸如键盘和鼠标)等。通过执行存储在RAM设备中的指令，处理器执行本文所述的方法的步骤。

一些示例是被布置为存储本文所述的方法的这种指令的一个或多个非暂态计算机可读介质。任何具有包括任何必要的代码的非暂态计算机可读介质的机器都可以实现一个示例。一些示例可以实现为：诸如半导体芯片的物理设备；这种设备的逻辑或功能行为的硬件描述语言表示；以及被布置为存储这种硬件描述语言表示的一个或多个非暂态计算机可读介质。本文的描述叙述了原理、方面和实施例，包括其结构和功能的等效物。本文描述为耦合的元件具有通过直接连接或间接地与一个或多个其它中间元件可实现的有效关系。

本领域熟悉的技术人员将会识别许多修改和变化。这些修改和变化包括公开特征的任何相关的组合。本文的描述叙述了原理、方面和实施例，包括其结构和功能的等效物。本文描述为“耦合”或“通信耦合”的元件具有通过直接连接或间接连接的可实现的有效关系，其中间接连接使用了一个或多个其它中间元件。本文描述为“通信”或“与另一设备、模块或元件通信”的实施例包括通信或连接的任何形式并且包括有效的关系。例如，通信连接可以使用有线连接、无线协议、近场协议或RFID来建立。

因此，本发明的范围不旨在限制于本文所示和所描述的示例性实施例。相反，本发明的范围和精神由所附权利要求呈现。

Claims (15)

1.一种广播适配器，包括：

至少一个请求入口端口，用于从主设备接收分组；

多个请求出口端口，用于将分组发送到多个从设备，

其中在所述请求入口端口处接收的所述分组被复制，并且每个复制的分组都通过所述多个请求出口端口中的一个请求出口端口被发送。

2.根据权利要求1所述的适配器，进一步包括转换模块，其中所述转换模块在所述分组上执行功能以生成多个转换的复制分组，并且所述多个转换的复制分组中的每个转换的复制分组都通过所述多个请求出口端口中的一个请求出口端口被发送。

3.根据权利要求1所述的适配器，进一步包括与所述入口端口和所述多个出口端口通信的缓冲器，其中当在任意给定的出口端口上存在反压时，所述缓冲器存储数据。

4.根据权利要求3所述的适配器，进一步包括与所述多个请求出口端口通信的控制模块，其中所述控制模块分析所述分组的控制位并确定所述分组被复制到所述多个请求出口端口中的哪一个请求出口端口。

5.根据权利要求1所述的适配器，进一步包括多个响应入口端口，使得针对所述多个请求出口端口中的每个请求出口端口有一个响应入口端口。

6.根据权利要求5所述的适配器，其中在所述多个响应入口端口处接收的响应分组被组合以在响应出口端口处形成一个响应分组。

7.根据权利要求1所述的适配器，进一步包括针对所述请求入口端口的一个响应出口端口。

8.一种系统，包括

至少一个主设备，生成请求事务；

多个从设备，接收并服务请求事务；

多个广播适配器，每个广播适配器包括：

至少一个请求入口端口，与所述主设备通信；以及

多个请求出口端口，与从所述多个从设备中选择的一组从设备通信；以及

片上网络(NoC)，与所述主设备、所述多个从设备和所述多个广播适配器通信。

9.根据权利要求8所述的系统，其中请求事务通过所述NoC从所述主设备被发送到从所述多个广播适配器中选择的广播适配器。

10.根据权利要求9所述的系统，其中所述选择的广播适配器复制所述请求并且在所述多个请求出口端口中的每个请求出口端口上发送到所述多个从设备。

11.根据权利要求9所述的系统，其中所述选择的广播适配器复制所述请求，其中所述请求包括具有控制位的报头，所述控制位标识从所述多个请求出口端口中选择的用于接收所述复制请求的请求出口端口集合，从而允许所述主设备选择所述多个请求出口端口中的哪个请求出口端口接收用于广播的所述复制请求。

12.根据权利要求9所述的系统，其中从所述多个广播适配器中选择的至少一个广播适配器进一步包括缓冲器，所述缓冲器包括：

一个写入指针；

多个读取指针；以及

针对所述多个请求出口端口中的每个请求出口端口的一个读取指针。

13.根据权利要求8所述的系统，其中所述多个广播适配器中至少一个广播适配器包括：

多个响应入口端口，使得针对所述多个请求出口端口中的每个请求出口端口都有一个响应入口端口；以及

针对所述请求入口端口的一个响应出口端口。

14.根据权利要求13所述的系统，其中在所述多个响应入口端口处接收的响应分组被组合以在所述响应出口端口处形成响应分组。

15.一种用于将事务从主设备广播到多个从设备的方法，所述方法包括：

定义特殊地址范围，其中所述特殊地址范围中的每个地址对应于一个广播适配器；

在主设备处生成请求；

从所述主设备将所述请求发送到所述特殊地址范围中的一个地址，其中所述一个地址对应于具有入口端口的选择的广播适配器；

在具有多个请求出口端口的所述选择的广播适配器处复制所述请求以生成表示所述请求的多个复制的请求，其中一个复制的请求被发送到所述多个出口端口中的一个出口端口；以及

在多个从设备处接收所述复制的请求，从而允许所述主设备同时将所述请求发送到所述多个从设备中的每个从设备。

Images