CN109189720B - 层次化片上网络拓扑结构及其路由方法 - Google Patents

Abstract

本发明提供一种层次化片上网络拓扑结构及其路由方法。所述层次化片上网络拓扑结构以Mesh网络作为第一层虚拟子网，全互连拓扑作为第二层虚拟子网，第一层虚拟子网间以全互连拓扑结构连接起来，构成层次化片上网络。本发明采用Mesh拓扑和全互连拓扑相结合的方法来构建层次化网络拓扑结构，将两种拓扑有机的结合在一起，能够使网络具有更好的通信性能、降低成本并提高可扩展性，实现应用通信模式与拓扑结构的匹配，达到性能、扩展性和成本三者的均衡。

Description

层次化片上网络拓扑结构及其路由方法

技术领域

本发明涉及片上网络技术领域，尤其涉及一种层次化片上网络拓扑结构及其路由方法。

背景技术

随着半导体器件技术的迅猛发展，集成电路的特征尺寸越来越小，芯片内部集成电路的晶体管数量越来越多。但是传统处理器的设计方法无法避免存储墙、功耗墙等问题，单核处理器的发展即将到达“摩尔定律”的瓶颈，为了突破“摩尔定律”的限制，多核乃至于众核处理器应运而生，以并行计算来提升整体性能。处理器集成的核心数量也越来越多，例如，世界排名第一的高性能处理器“神威-太湖之光”所采用的高性能处理器SW26020就是采用了260核心，Adapteva Epiphany处理器更是高达1024核心。为了将这些处理器核连接起来，协同工作，研究人员提出了专门用于芯片内部互连的通信网络，也就是片上网络(Network-on-Chip，NoC)。如何保障众多的核心之间的高效通信就是片上网络必须解决的核心问题，多核处理器对资源和功耗等特殊限制条件要求片上网络具有更低延迟，更低功耗，高吞吐率等特征。

高性能计算的应用负载普遍具有局部性特征：空间局部性和/或时间局部性。基于应用的局部通信特征能够有效利用网络带宽，缩短消息延迟，提高网络吞吐率，通信局部性对计算效率有着重要影响。因此应用的通信模式是网络设计的重要依据。Agrawal认为如果不同节点间的通信概率随着物理距离而减少则并行应用具有通信局部性，应用的通信局部性有助于提高直接网络的吞吐率并降低延迟。Johnson认为并行应用通常可利用通信局部性来实现性能增益，通信局部性依赖算法和数据与处理器的映射和分配。通信局部性使得低维网络更具有竞争力，但较低的可用带宽和较高的基本延迟也削弱了其优势，特别是对于超大规模高性能网络其可扩展性难以与规模需求相匹配。Kenneth研究发现处理器间的通信模式由两种因素决定：算法天然的通信结构和应用软件进程被映射到处理器的方法。有些应用由于结构特性，天然地导致特殊的通信模式，如果并行计算应用存在大量通信局部性，自然的应该对此加以利用以提高系统效率。例如有些流体动态计算应用对应的计算被分配在二维或三维空间，这导致物理拓扑的排列符合二维或三维Mesh(或Torus)结构。但是如果网络规模较大，二维Mesh的网络直径也将随之增加。高维度网络可有效压缩网络直径，降低通信延迟，但是代价是需要相应增加交换模块的端口数量。

路由算法主要负责消息的有效传输，对于网络通信性能有着重要影响。经典的3DTorus路由算法有维序路由算法、转向控制算法和自适应路由等。网络交换机需要一定的缓冲器用来存储数据包，但是缓冲器的容量是有限的。对于那些数据包头还没有到达目的节点的报文，一方面要请求缓冲器资源，同时又要占用当前缓冲报文的缓冲器，这种通道资源的循环占用就可能产生死锁。增加虚通道构建虚拟子网，通过分离流量可有效避免死锁，但是这种方法的缺点是所需资源比较多，对于采用高维度拓扑的超大规模网络会极大增加系统成本。采用逃逸虚通道也可以避免死锁，当发生拥塞时数据包进入逃逸虚通道路由，可化解拥塞情况，其不足之处在于逃逸通道的利用率比较低。

目前，国内外没有这种基于2D Mesh和全互连拓扑的层次化片上网络拓扑结构及相应的路由算法。早期片上网络主要是总线形式，总线结构的局限性是多个处理器核心间不能并发通信。环形网络结构简单，基于令牌控制路由，缺点是通信距离很大。目前的片上网络主要是基于2D Mesh拓扑结构进行构建，通过增加一些对角连线，或长距离链路来缩短网络直径，但是，这些拓扑结构有的需要专用的链路设置方法，有的会成为网络瓶颈，对于网络性能改善效果并不明显。有些研究采用三角形，六边形等拓扑结构，但是由于路由算法等限制，导致大规模网络通信效率较低。

发明内容

本发明提供的层次化片上网络拓扑结构及其路由方法，采用Mesh拓扑和全互连拓扑相结合的方法来构建层次化网络拓扑结构，将两种拓扑有机的结合在一起，能够使网络具有更好的通信性能、降低成本并提高可扩展性，实现应用通信模式与拓扑结构的匹配，达到性能、扩展性和成本三者的均衡。

第一方面，本发明提供一种层次化片上网络拓扑结构，以Mesh网络作为第一层虚拟子网，全互连拓扑作为第二层虚拟子网，第一层虚拟子网间以全互连拓扑结构连接起来，构成层次化片上网络。

可选地，在所述层次化片上网络中，与第i号虚拟交换机的第j号端口连接的对端交换机端口为第(i+j)号虚拟交换机的第(N+1-j)号端口，其中，N为第一层虚拟子网的端口总数，i为大于等于0的整数，j为大于0的整数。

可选地，每个Mesh网络内部X、Y维度的位置信息用标号N_x、N_y表示，其中N_x∈[0，K_x-1]，N_y∈[0，K_y-1]，K_x和K_y分是Mesh网络X轴和Y轴的核心数；Mesh网络构成超级核心，超级核心间采用全互连的方式连接，标号为N_s，N_s∈[0，K_x×K_y]，(N_s,N_x,N_y)唯一表示处理器核位置信息。

第二方面，本发明提供一种层次化片上网络拓扑结构的路由方法，包括：

根据超级核心编号判断目标处理器核心所在位置是否与源处理器核心处在相同的超级核心；

若是，则采取2D Mesh维序路由算法路由至目的地；

若否，则从全局链路端口输出；

其中，源处理器核心所在位置为(N_ss,N_xs,N_ys)，目标处理器核心所在位置为(N_sd,N_xd,N_yd)，当前位置为(N_sc,N_xc,N_yc)，S_s和D_s分别是所在源和目标超级核心的编号；S_x和S_y分别是源处理器核心所在的超级核心内部X和Y维度的编号，D_x和D_y分别是目标处理器核心所在的超级核心内部X和Y维度的编号。

可选地，所述采取2D Mesh维序路由算法路由至目的地包括：按照维度长度递减的顺序遍历每个维度，每路由一步偏移量减1，在当前维度的偏移量减为0后才计算下一维度的偏移量，维序路由依次走完每个维度直至目标处理器核心。

可选地，所述从全局链路端口输出包括：

将数据发往与目标处理器核心直接连接的本地跳转核心；

判断目标超核心编号是否比源处理器核心编号高；

根据判断结果路由到本地处理器核心，然后通过全局链路路由至目标超核心，再采用最短路由算法将数据路由至目标处理器核心。

可选地，所述根据判断结果路由到本地处理器核心包括：如果目标超核心编号比源处理器核心编号高，则路由到核心编号为N_xx＝(N_sd-1)/K_x且N_yx＝(N_sd-1)％K_y的本地处理器核心。

可选地，所述根据判断结果路由到本地处理器核心包括：如果目标超核心编号不比源处理器核心编号高，则路由到核心编号为N_xx＝N_sd/K_x且N_yx＝N_sd％K_y的本地处理器核心。

本发明实施例提供的层次化片上网络拓扑结构及其路由方法，采用Mesh拓扑和全互连拓扑相结合的方法来构建层次化网络拓扑结构，可有效利用高性能计算的通信局部性特征，充分发挥全互连拓扑的结构优势，有效压缩网络直径，降低通信延迟，这种层次化结构将两种拓扑有机的结合在一起，扬长避短，使网络具有更好的通信性能、降低成本并提高可扩展性，实现应用通信模式与拓扑结构的匹配，达到性能、扩展性和成本三者的均衡。

附图说明

图1为本发明实施例提供的层次化片上网络拓扑SMF拓扑结构示意图；

图2为本发明实施例提供的层次化片上网络SMF位置信息示意图；

图3为本发明实施例提供的2D Mesh维序路由算法流程图；

图4为本发明实施例提供的层次化片上网络最短路径路由算法流程图；

图5a和图5b为本发明实施例提供的全局链路扩展通道相关图；

图6为本发明实施例提供的片上网络等分宽度对比示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种面向高性能应用通信特征的混合Mesh和全互连拓扑的层次化片上网络拓扑结构，实现应用通信模式与拓扑结构的匹配，达到性能、扩展性和成本三者的均衡，实现网络与应用的协同设计(Co-design)。

Mesh拓扑结构简单、通信度低，而且与应用的局部通信模式非常匹配，因此以Mesh拓扑作为第一层虚拟子网是一种合理的选择，而全互连拓扑网络直径只有1跳，具有最低延迟，最佳性能，因此全互连拓扑作为第二层虚拟子网，Mesh虚拟子网间以全互连拓扑结构连接起来，构成层次化片上网络SuperMeshFabric(SMF)。2D Mesh拓扑需要4个端口构建Mesh网络，最少再增加1个端口，用于全互连拓扑连接，即可构建层次化片上网络，可有效降低系统功耗和成本。据此，本发明提出了混合Mesh和全互连拓扑的片上网络结构，如图1所示。为了便于说明，以3×3的2D Mesh为例，每个维度最少需要2个端口用于该维度的正、负方向路由，2D Mesh需要4个端口，Mesh拓扑的缺点是网络直径大，因此，采用具有直径最短的全互连结构作为第二层拓扑，至少需要1个端口用于全局路由，最少5个端口即可构建层次化片上网络(这里不考虑连接处理器核心的数据注入端口)。如图1所示，3×3的Mesh拓扑构成9核心的虚拟子网，每个交换模块贡献一条全局链路，相当于构成一个9端口的虚拟交换机。9端口虚拟交换机最多可连接10个虚拟子网，可连接90个核心，网络直径不到Mesh的一半，相同规模的3D Torus拓扑至少需要6个互连端口，因而功耗更高。这种层次化结构将两种拓扑有机的结合在一起，扬长避短，使网络具有更好的通信性能、降低成本并提高可扩展性。

这里以N端口虚拟交换机为例，描述虚拟子网间的全互连拓扑连接关系。虚拟交换机端口命名：<虚拟交换机号，端口号>。例如<0,7>是0号交换机的7号端口。交换机间端口连接关系：对于交换机i的端口j：<i,j>，与之连接的端口是<i+j,N+1-j>，即对端交换机(i+j)的端口(N+1-j)。构建全互连拓扑交换机间端口连接方法如下：

for i in range(0,N+1):

for j in range(1,N+1-i):

connect<i,j><---><i+j,N+1-j>

此方法可以快速部署全互连拓扑。

每个2D Mesh子网内部X、Y维度的位置信息用标号N_x、N_y表示，其中N_x∈[0，K_x-1]，N_y∈[0，K_y-1]，K_x和K_y分是Mesh网络X轴和Y轴的核心数。Mesh子网构成超级核心(SuperCore)，超级核心间采用全互连的方式连接，其标号为N_s，N_s∈[0，K_x×K_y]，那么(N_s,N_x,N_y)即可唯一表示处理器核位置信息，具体如图2所示。每个全局链路的端口号可表示为<N_s,N_y×K_x+N_x+1]>。

本发明实施例提供的层次化片上网络拓扑结构，采用Mesh拓扑和全互连拓扑相结合的方法来构建层次化网络拓扑结构，将两种拓扑有机的结合在一起，能够使网络具有更好的通信性能、降低成本并提高可扩展性，实现应用通信模式与拓扑结构的匹配，达到性能、扩展性和成本三者的均衡。

本发明实施例还提供一种层次化片上网络拓扑结构的路由方法，下面进行详细说明。

路由算法决定了信息的传输路径和通信效率，对系统性能有重要影响，好的路由算法应该简单高效，易于工程实现的特点，除了具有很高的传输带宽，很低的通信延迟还能提供较高的网络吞吐率，还要避免死锁，同时满足无活锁，无饿死等要求。当网络存在竞争和失效部件时，自适应路由可以通过路径替换来继续完成数据的传输。对于多核处理器集成网络的情况，还应考虑尽量少的占用宝贵的片上资源，这就要求交换模块控制逻辑简单，使用的端口数量、通道数量和缓存容量都最小化。

本发明根据层次化拓扑的结构特征设计了最短路径路由算法。算法描述如图3所示，设源处理器核心所在位置为(N_ss,N_xs,N_ys)，目标处理器核心为(N_sd,N_xd,N_yd)，当前位置为(N_sc,N_xc,N_yc)，其中S_s和D_s分别是所在源和目标超级核心的编号；S_x和S_y分别是源处理器核心所在的超级核心内部X和Y维度的编号，D_x和D_y分别是目标处理器核心所在的超级核心内部X和Y维度的编号。

首先根据超级核心编号判断目标处理器核所在位置是否与源处理器核处在相同的超级核心。

如果目标处理器核所在位置与源处理器核处在相同的超级核心，则采取经典的维序路由算法路由至目的地(路由算法如图3所示)。维序路由算法是最短路径算法，平均通信距离最短，具有算法简单，便于硬件实现等优点。特别是对于本发明的所规定的交换芯片命名规则，可根据交换机命名在每个维度的坐标信息直接判断路由。对于2D Mesh可分解相互正交的X、Y维度，很容易按照各维上偏移量之和计算出当前核心与目的处理器核心之间的距离。按照维度长度递减的顺序遍历每个维度，每路由一步偏移量减1，在当前维的偏移量减为0后才计算下一维的偏移量。维序路由依次走完每个维度直至目标处理器核心。

如果目标处理器核所在位置不与源处理器核处在相同的超级核心，首先将数据路由至与目标超核心相连的本地跳转处理器核心(N_ss,N_xx,N_yx)：如果目标超处理器核心编号比源处理器核心编号高，根据全互连的连接关系，与目标超核心连接的本地核心编号N_xx＝(N_sd-1)/K_x而N_yx＝(N_sd-1)％K_y，需将数据路由至该处理器核心(N_xx,N_yx)，再由该核心交换模块通过全局链路路由至目标超核心，此后再通过最短路径即可达到目的地；如果目标超处理器核心编号不比源处理器核心编号高，路由到核心编号为N_x＝N_sd/K_x而N_y＝N_sd％K_y的本地处理器核心，该核心的交换模块将数据通过全局链路路由至目标超核心，再采用最短路由算法将数据路由至目标处理器核心。具体算法流程如图4所示。

在Mesh子网内部采用维序路由，算法是无死锁的，内部的通道依赖关系不会影响到全局链路。但是由于全互连拓扑本身存在环路，全局链路间存在循环依赖，会导致死锁，如图5a所示。因此，在全局链路间增加虚通道(VC，Virtual Channel)破除循环依赖，当目标超核心标号大于当前超核心标号，使用1号虚通道，反之，使用0号虚通道，如图5b所示，全局链路拓展通道的相关图是无环的，因此，不存在死锁。由于全局链路和Mesh内部链路都只需要2条虚通道接口避免死锁，因此，混合拓扑最低需要2条虚通道即可避免死锁。

网络拓扑的静态度量主要包括：网络的度、链路数、网络直径和等分宽度，这些特性决定拓扑的通信性能、规模、成本和可扩展性等，是评价网络性能的重要参数。表1描述了各种拓扑的静态参数。

表1

节点度反映节点成本，应尽量降低。标准Mesh网络节点度最低，但网络直径最大；全互连拓扑节点度最大，可扩展性最差；而层次化片上网络SMF拓扑仅比对应的Mesh拓扑多一条全局链路，因而节点度低，系统成本低，便于模块化设计，可扩展性强。链路数量表示了网络成本和复杂度。SMF拓扑的链路总数平缓增加且比Mesh拓扑要少，因而系统成本低。网络直径表征网络最长距离，是衡量网络性能的重要指标，层次化拓扑的网络直径相对Mesh/Torus网络具有很大优势。等分宽度是沿等分网络最大通信带宽，对于网络性能有重要影响，如图6所示，相同系统规模条件下，层次化拓扑SMF的等分宽度远远高于Mesh和Torus拓扑。

片上网络的规模越大越能体现层次化片上网络SMF的优越性。Adapteva Epiphany1024核心的处理器采用2D Mesh(32x32＝1024)片上网络拓扑结构，网络直径高达62跳，如此长的通信距离将严重影响通信性能，降低处理器的并行计算能力。如果采用本发明提出的层次化片上网络SMF拓扑结构，基于6×6的Mesh子网构建SMF拓扑，可互连36×37＝1332个处理器核心，而网络直径只有21跳，仅为Adapteva Epiphany的33.8％。网络规模为1024情况下，2D Mesh拓扑的等分宽度为32链路，而SMF拓扑的等分宽度高达264，是2D Mesh拓扑的8.25倍，可见其通信性能将远远优于2D Mesh拓扑。

本发明不局限于2D Mesh子网，也可以扩展为3D Mesh构建子网，可根据应用的通信局部性特征进行调整。另外，具体的端口对应关系是可以调整的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种层次化片上网络拓扑结构，其特征在于，以Mesh网络作为第一层虚拟子网，具有直径最短的全互连拓扑作为第二层虚拟子网，第一层虚拟子网间以全互连拓扑结构连接起来，构成混合Mesh网络和全互连拓扑的层次化片上网络。

2.根据权利要求1所述的层次化片上网络拓扑结构，其特征在于，在所述层次化片上网络中，与第i号虚拟交换机的第j号端口连接的对端交换机端口为第(i+j)号虚拟交换机的第(N+1-j)号端口，其中，N为第一层虚拟子网的端口总数，i为大于等于0的整数，j为大于0的整数。

3.根据权利要求1或2所述的层次化片上网络拓扑结构，其特征在于，每个Mesh网络内部X、Y维度的位置信息用标号N_x、N_y表示，其中N_x∈[0，K_x-1]，N_y∈[0，K_y-1]，K_x和K_y分是Mesh网络X轴和Y轴的核心数；Mesh网络构成超级核心，超级核心间采用全互连的方式连接，标号为N_s，N_s∈[0，K_x×K_y]，(N_s,N_x,N_y)唯一表示处理器核位置信息。

4.一种层次化片上网络拓扑结构的路由方法，其特征在于，所述层次化片上网络拓扑结构以Mesh网络作为第一层虚拟子网，具有直径最短的全互连拓扑作为第二层虚拟子网，第一层虚拟子网间以全互连拓扑结构连接起来，构成混合Mesh网络和全互连拓扑的层次化片上网络，所述方法包括：

根据超级核心编号判断目标处理器核心所在位置是否与源处理器核心处在相同的超级核心；

若是，则采取2D Mesh维序路由算法路由至目的地；

若否，则从全局链路端口输出；

其中，源处理器核心所在位置为(N_ss,N_xs,N_ys)，目标处理器核心所在位置为(N_sd,N_xd,N_yd)，当前位置为(N_sc,N_xc,N_yc)，S_s和D_s分别是所在源和目标超级核心的编号；S_x和S_y分别是源处理器核心所在的超级核心内部X和Y维度的编号，D_x和D_y分别是目标处理器核心所在的超级核心内部X和Y维度的编号。

5.根据权利要求4所述的层次化片上网络拓扑结构的路由方法，其特征在于，所述采取2D Mesh维序路由算法路由至目的地包括：按照维度长度递减的顺序遍历每个维度，每路由一步偏移量减1，在当前维度的偏移量减为0后才计算下一维度的偏移量，维序路由依次走完每个维度直至目标处理器核心。

6.根据权利要求4所述的层次化片上网络拓扑结构的路由方法，其特征在于，所述从全局链路端口输出包括：

将数据发往与目标处理器核心直接连接的本地跳转核心；

判断目标超核心编号是否比源处理器核心编号高；

根据判断结果路由到本地处理器核心，然后通过全局链路路由至目标超核心，再采用最短路由算法将数据路由至目标处理器核心。

7.根据权利要求6所述的层次化片上网络拓扑结构的路由方法，其特征在于，所述根据判断结果路由到本地处理器核心包括：如果目标超核心编号比源处理器核心编号高，则路由到核心编号为N_xx＝(N_sd-1)/K_x且N_yx＝(N_sd-1)％K_y的本地处理器核心。

8.根据权利要求6所述的层次化片上网络拓扑结构的路由方法，其特征在于，所述根据判断结果路由到本地处理器核心包括：如果目标超核心编号不比源处理器核心编号高，则路由到核心编号为N_xx＝N_sd/K_x且N_yx＝N_sd％K_y的本地处理器核心。

Images