CN101083599A

CN101083599A - 基于P2i互连结构的可扩展路由器

Info

Publication number: CN101083599A
Application number: CNA2007101187388A
Authority: CN
Inventors: 张小平; 刘振华; 赵有健
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2007-07-13
Filing date: 2007-07-13
Publication date: 2007-12-05
Anticipated expiration: 2027-07-13
Also published as: CN100440847C

Abstract

基于N个节点、i种以2′方式单向连接的可扩展路由器，其特征在于，每个节点都是一个独立路由器，连接方式数i由节点数N按下式决定：2ⁱ≤N＜2ⁱ⁺¹；连接方式2ⁱ由i的值决定；该可扩展路由器用光纤配线盒组实现：每组中的配线盒数等于所选i值；每个配线盒由盒体及光纤连接件组成，每个配线盒一侧的光纤数等于N，每一个光纤配线盒组内的光纤连接件数为N·i。本发明可形成堆叠排方式、联排扩展式、路由节点环绕扩展式以及它们之间的任意组合等多种结构。本发明具有：结构对称、可实现最小扩展粒度以及线性、平滑、动态扩展的优点。

Description

基于P2i互连结构的可扩展路由器

技术领域

基于P2i互连结构的可扩展路由器属于互联网核心设备路由器技术领域。

背景技术

核心路由器是计算机网络中的关键设备，其主要功能是完成数据路由功能。路由器的发展大体经历了“集中路由转发/共享总线交换”(如图1所示)，“分布路由转发/共享总线交换”(如图2所示)，“分布路由转发/交换结构交换”(如图3所示)三个阶段，路由器性能随之有大幅度的提高。然而，随计算机网络的快速发展，用户流量迅速增长，路由器性能仍然是互联网发展的瓶颈，这要求路由器的性能必须不断提高，以适应这一需求。

目前路由器始终属于单节点路由器，即“多个外部端口+单交换结构+单CPU计算路由”。这种单节点路由器一方面受交换结构发展的限制，总体性能提升非常困难；另一方面，随网络规模的急速膨胀，路由计算问题也成为路由器发展的瓶颈之一。因此，可扩展路由器成为路由器的发展方向，将成为下一代互联网核心设备。可扩展路由器(Cluster Router简称CR)可以由多个路由节点(Routing Node，后简称RN)通过内部互连结构连接形成(如图4所示)。CR对外表现是一台单节点路由器而不是一个网络。

互连结构是路由器的核心部件。当前核心路由器主要采用crossbar交换结构。当输入输出端口数目增加时，crossbar交换结构的复杂度和成本将急剧增加，因此不适合CR采用。对于CR来讲，其灵活扩展性要求其内部互连结构也具备相应的扩展能力，而且其内部互连结构的性能将很大程度影响CR的性能。因此高性能、可扩展的互连结构是CR的一个关键问题。

此外，内部互连结构应该具备良好的扩展粒度。CR作为下一代互联网核心设备，应该具备极好的可扩展性，以满足各运营商或网络用户对网络性能日益增长的需求。

目前CR已有的互连结构大体分两类，多级互连交换结构(MIN)和直连式互连结构。

目前CR所采用的MIN有如下几种：

Benes结构。采用Benes结构，要搭建一个N×N的无阻塞网络，代价为N·2logN，Benes结构属于可重排无阻塞交换网络。如果采用单路径路由，需要重新建立连接，采用多路径路由可以消除这一问题。可以通过递归的方式搭建Benes网，如图5所示。

Benes结构属于多级交换结构，该结构的构建简单、结构对称，可以很方便的支持较多的端口。而且，Benes结构中输入、输出端口间存在多条路径，可以实现负载的均衡，一定程度上缓解了路径冲突的问题。但是，该交换结构的实现代价较大，而且出现“阻塞”时需要重新设定网络的连接关系，反应速度较慢。

Clos结构。Clos结构也属于多级交换结构，图6是一个典型的3级Clos交换结构。一般情况下，3级Clos结构属于可重排无阻塞，但是可以证明当m＞＝2n-1时不需要重排，属于严格意义上的无阻塞结构。

Clos交换结构中每个组成“元素”可以是crossbar，不需要特殊的设计，而且相同规模的Clos结构的实现代价远远低于crossbar结构；在Clos结构中，输入、输出端口间存在多条交换路径。Clos结构要实现无阻塞，代价较大，所以一般意义上还是属于可重排无阻塞，这就要求在中间过程重新设定连接关系。同样在利用多平面结构实现扩展时，面临一个两难的选择：交换网络中有缓存，需要解决排序问题；无缓存，寻路的代价会很高，很难实现高吞吐率。

负载均衡交换结构是一种较为新颖的交换结构，如图7所示，两个相同的交换模块将一个缓冲区夹在中间，缓冲区按VOQ的方式组织，共有N2个VOQ。第一级交换模块负责负载均衡，第二级交换模块负责分组调度，两级交换模块不需要复杂的调度算法，只要简单的轮转即可。

负载均衡交换结构在设计之初存在一些问题，包括：由于中间缓存的存在，可能导致分组乱序；一些病态流量可能导致整个交换的吞吐率急剧下降；该结构对交换模块设置的快速更新提出了很高的要求；容错能力不强等。后来的一些研究针对这些问题逐一做了分析，并给出了相应的解决方法。

目前CR采用的直连式互连结构有如下几种：

k阶n维torus结构：该互连结构为环型结构，当n＝3时，该结构为3D环形结构如图8所示。该互连结构包含有N＝k^n个节点，其特点是每个路由节点均相互独立且每一个节点都必须既是输入输出终端也是交换节点。Tori是规则的(每个节点的度相同)同时也是边均衡的，这能够帮助改善通道的负载均衡性。torus网络的优点体现在以下几个方面。规则的物理排列适于包装约束。在低维空间，tori具有统一的短线，允许在没有转发器的情况下高速运行。tori中的逻辑最短路径基本上也是物理最短路径。Torus具有很好的路径多样性，因此即使采用置换传输也会具有很好的负载均衡性。同样地，因为torus网络中所有的通道都是双向的，他们可以使用双向通信，使得管脚和线的使用效率提高。Torus网络的一个缺点就是比对数网络具有更大的跳数。因此就会比最小跳有稍高一点的时延，而且会增加网络的管脚成本。增加跳数也对路径多样性提出了要求。

蜂巢式互连结构：该互连结构基于止六边形结构，如图9所示。每个路由节点均相互独立且每一个节点都既是输入输出终端也是交换节点。它是一种单机架单层的蜂巢式路由器，它由一个由多个正六边形组成的蜂巢式结构线卡群和与各线卡相连的多块控制卡构成；每一个正六边形的线卡群含有位于正六边形的中心点以及6个节点上且相互平行放置的7块线卡，如图10所示。

该互连结构缺点在于其拓扑为非对称拓扑，而且在扩展过程中扩展粒度相对较大。

互连结构是CR中的重要部件，它们都是和路由部件相连，共同组成路由器。上面介绍的各类互连结构是当前CR所采用，研究比较成熟的互连结构，它们都有各自的优缺点。

Benes交换结构的实现代价较大，而且出现“阻塞”时需要重新设定网络的连接关系，反应速度较慢。Clos交换结构在利用多平面结构实现扩展时，面临一个两难的选择：交换网络中有缓存，需要解决排序问题；无缓存，寻路的代价会很高，很难实现高吞吐率。负载均衡交换结构，虽然从结构设计上大大降低了调度算法的复杂度，但是仍然采用了集中式的输入(出)和中间的缓存，很大程度上限制了扩展能力。

3D-torus互连结构已经被AVICI公司的TSR路由器采用，但其扩展粒度仍不理想。该结构随阶数或维度的增加，为保持对称性，其扩展粒度越来越大，不适应大规模扩展。蜂巢式互连结构本身为非对称结构，这为研究其性质带来了一定的不便，并且也无法实现规模的线性扩展。本发明提出的基于P2i互连结构的可扩展路由器能够很好地解决这些问题。

发明内容

本发明的目的在于提出一种具有新型互连结构的可扩展路由器。它基于单向循环移数互连结构(P2i互连结构)，使得集群路由器可实现线性粒度的扩展，同时在容量方面实现了线性提升。传统路由器的扩展能力往往有限，无法根据需要不断地扩展，本发明可以有效地解决路由器的扩展问题。发明特点在于：

这是一种具有对称结构、最小扩展粒度，且可以线性、平滑动态扩展的可扩展路由器，其中：

在所述的N的节点中，每个节点的输入端口数目和输出端口数目相等。每一个节点都含有以下模块：

第一外部接口模块，设有外部端口；

数据汇聚模块，各数据输入端与外部端与模块的数据输出端相连；

路由查找模块，各数据输入端与数据汇聚模块的数据输出端相连；

数据缓冲队列，数据输入端与路由查找模块的数据输出端相连；

交换结构，与一个操作系统和一个路由计算及路由管理模块互连，同时，该交换结构的数据输入端与数据缓冲队列的数据输出端相连；

调度模块，与数据缓冲队列互连；

出口转发模块，数据输入端与交换结构的数据输出端相连，而该出口转发模块的数据输出端与外部接口模块的数据输入端相连；

第二外部接口模块，与交换结构互连，该第二外部接口模块又设有内部接口；

连接方式的总数i根据给定的节点数N按下式决定，i在数值上等于每个节点的输入或输出端口数：

2ⁱ≤i＜2ⁱ⁺¹

节点之间单向的连接方式由i值决定，

i＝0，2ⁱ＝1，各相邻节点依次连接；

i＝1，2ⁱ＝2，每隔2个节点间依次连接；

i＝2，2ⁱ＝4，每隔4个节点间依次连接；

依此类推；

所述可扩展路由器由光纤配线盒组实现，所述光纤配线盒由盒体以及装在盒体四侧的光纤连接件组成，一个光纤配线盒组内的光纤配线盒个数等于连接方式的总数i，每一个光纤配线盒对应于一种连接方式；一个光纤配线盒组中光纤连接件的总数等于N·i，一个光纤配线盒内的光纤连接件数等于N；N个节点中序号相同的各端口对应于一个光纤配线盒相同侧的各光纤连接件，用短光纤互连，而光纤配线盒内部按2i方式连接。

本发明具有以下的特点：

1.扩展性能好。每次可以只增加一个路由节点，使得整个路由器的费用按线性增加，总容量随着线卡数目的增加而线性增长；

2.升级或更新的成本低。传统的路由器，交换网络的规模一般是固定的，要增加路由器的容量，就必须整套地更换交换网络，造成了很大的损失。P2i可扩展路由器取消了独立的交换网络，升级路由器时，只需要增加路由节点即可；

3.多条路径有利于实现流量均衡。P2i可扩展路由中的某个RN和其他RN间存在多条转发路径，在出现拥塞现象时，可以借助多条路径实现负载均衡；

4.增强了路由器的容错性。由于各个RN间存在多条连接路径，使得当某个(些)RN出现故障时，没有出现故障的RN仍然可以工作。

附图说明

图1：“集中路由转发/共享总线交换”路由器结构。

图2：“分布路由转发/共享总线交换”路由器结构。

图3：“分布路由转发/交换结构交换”路由器结构。

图4：“路由节点/可扩展互连结构”路由器结构。

图5：现有N×N Benes结构。

图6：现有3级Clos交换结构。

图7：现有负载均衡结构(图中缓存平面中的0、1、…、N-1代表虚拟输出队列)。

图8：3D-Torus互连结构。

图9：蜂巢式路由器正六边形结构。

图10：蜂巢式路由器单层7线卡实现方案：

a、包含中心点的正六边形结构中各个节点的编号；

b、平行放置的七块线卡；

c、线卡1和其它线卡的连接关系；

d、线卡2和其它线卡的连接关系；

e、线卡3和其它线卡的连接关系；

f、线卡0和其它线卡的连接关系；

g、线卡4和其它线卡的连接关系；

h、线卡5和其它线卡的连接关系；

i、线卡6和其它线卡的连接关系；

j、七块线卡的连接关系。

图11：路由节点内部功能示意图。

图12：P2i互连结构拓扑结构示意图。

图13：P2i互连结构扩展过程：

a、12节点P2i互连结构；

b、13节点P2i互连结构。

图14：P2i互连结构吞吐率曲线图：

a、P2i互连结构与2D-Torus结构吞吐率曲线图，其中虚线为P2i互连结构的吞吐率曲线图，实线为2D-Torus结构吞吐率曲线图；

b、P2i互连结构与3D-Torus结构吞吐率曲线图，其中虚线为P2i互连结构的吞吐率曲线图，实线为3D-Torus结构吞吐率曲线图。

图15：路由节点模块。

图16：配线盒结构图。

图17：配线盒示意图：

a、8×8配线盒；

b、16×16配线盒。

图18：8节点路由节点堆的具体连接方式。

图19：8节点路由节点堆各配线盒内部连线：

a、配线盒_0内部连线；

b、配线盒_1内部连线；

c、配线盒_2内部连线。

图20：路由节点堆示意图。

图21：256节点联排扩展方式。

图22：路由节点墙示意图。

图23：路由节点墙顶视示意图。

图24：4096节点环绕扩展方式。

具体实施方式

本发明是一种使CR在任意规模下均为对称结构的互连结构；

是一种采用单向互连结构的CR；

是一种使CR实现最小扩展粒度的互连结构；

是一种使CR容量实现线性扩展的互连结构；

是一种使CR实现平滑动态扩展的互连结构。

本发明的特征还在于：

基于P2i互连结构的可扩展路由器是由若干RN通过互连结构相连而成。RN均为独立路由节点，其上包括外部端口和内部端口。外部端口实现可扩展路由器对外部数据的接收、发送功能；内部端口实现RN之间的内部互连。路由节点内部实现数据的路由查找、路由表维护、对数据进行路由转发等功能。其示意图如图11所示。

基于P2i互连结构的可扩展路由器是由若干RN通过互连结构相连而成。假设CR中包括N个RN，其RN编号为RN₀、RN₁、……、RN_N-1，每个RN的输入端口数和输出端口数相等，表示为δ_I＝δ_O＝δ。任何一个路由节点RN_i都和其他δ个路由节点相连，其编号分别为RN_(i+2k)modN(k＝0，1，...，δ-1)。如图12所示。

基于P2i互连结构的可扩展路由器可在不改变对称性的情况下实现粒度为1的扩展。如图13所示，P2i可扩展路由器由13个节点扩展到14个节点过程中，拓扑结构仍然保持对称性。

基于P2i互连结构的可扩展路由器在扩展过程中，其内部互连结构吞吐量随路由节点数增加而线性增长，实现了CR性能的细粒度扩展。内部互连结构的容量定义为在均匀流量模型下的最大吞吐率；内部互连结构的吞吐量为节点数与容量的乘积。从附图14可以看出，P2i互连结构在节点数目增加过程中，其吞吐率基本保持不变，为恒定值。进而，P2i互连结构的吞吐量将随节点数增加而线性增加。而其他互连结构如2D-Torus和3D-Torus结构，其节点数目增加过程中，其吞吐率波动相当大，因此这两种结构作为CR内部互连结构，在性能扩展方面无法实现平滑扩展。

在具体实现可扩展路由器时，路由节点均为独立节点，路由节点上都包括外部端口和内部端口。基于P2i互连结构的可扩展路由器路由节点可采用独立路由节点模块实现，如图15所示。

P2i互连结构可以采用光纤配线盒组实现，具体根据可扩展路由器规模确定。配线盒构成如图16所示，其构成分为盒体及光纤连接件，其规模可分为8×8或16×16等，如图17所示。

基于P2i互连结构的可扩展路由器在规模扩展时，可随规模不同通过堆叠、联排、环绕三种形式进行扩展。

基于P2i互连结构的可扩展路由器在堆叠扩展方式下，路由节点平放堆叠，配线盒垂直于路由节点并排放置。路由节点和配线盒之间采用短光纤连接。通过堆叠形式形成的路由节点和配线盒群称为路由节点堆。如图18所示为8节点路由节点堆的具体连接方式，图19显示了该级联方式下，各配线盒内的配线情况。图20为路由节点堆示意图。

基于P2i互连结构的可扩展路由器在联排扩展方式下，路由节点和配线盒首先通过堆叠方式，形成多个路由节点堆，然后多个路由节点堆并排放置，由此形成的路由节点和配线盒群成为路由节点墙。如图21所示为256节点联排扩展方式，图22为路由节点墙示意图，图23为路由节点墙顶视示意图。

基于P2i互连结构的可扩展路由器在环绕扩展方式下，路由节点和配线盒首先通过联排方式，形成多个路由节点墙，然后多个路由节点墙环绕放置，由此形成的路由节点和配线盒群成为路由节点环。如图24所示为4096节点联排扩展方式。

基于P2i互连结构的可扩展路由器任何一种扩展方式理论上都可以实现规模无限扩展，但路由器在部署过程中会受到场地限制，因此基于P2i互连结构的可扩展路由器可采用三种扩展方式的灵活配合，实现对场地的有效利用，同时实现布线的规整性。

Claims

1、基于N个节点、i种以2ⁱ方式单向连接的可扩展路由器，其特征在于，这是一种具有对称结构、最小扩展粒度，且可以线性、平滑动态扩展的可扩展路由器，其中：

在所述的N的节点中，每个节点的输入端口数目和输出端口数目相等，每一个节点都含有以下模块：

第一外部接口模块，设有外部端口；

调度模块，与数据缓冲队列互连；

2ⁱ≤ N＜2ⁱ⁺¹，

节点之间单向的连接方式由i值决定，

i＝0，2ⁱ＝1，各相邻节点依次连接；

i＝1，2ⁱ＝2，每隔2个节点间依次连接；

i＝2，2ⁱ＝4，每隔4个节点间依次连接；

……

依此类推；

所述可扩展路由器由光纤配线盒组实现，所述光纤配线盒由盒体以及装在盒体四侧的光纤连接件组成，一个光纤配线盒组内的光纤配线盒个数等于连接方式的总数i，每一个光纤配线盒对应于一种连接方式；一个光纤配线盒组中光纤连接件的总数等于N·i，一个光纤配线盒内的光纤连接件数等于N；N个节点中序号相同的各端口对应于一个光纤配线盒相同侧的各光纤连接件，用短光纤互连，而光纤配线盒内部按2ⁱ方式连接。

2、根据权利要求1所述的基于N个节点、i种以2ⁱ方式单向连接的可扩展路由器，其特征在于，这是一种堆垒扩展方式的可扩展路由器，路由节点平放堆垒，配线盒垂直于路由节点且并排放置，形成一个路由节点堆。

3、根据权利要求1所述的基于N个节点、i种以2ⁱ方式单向连接的可扩展路由器，其特征在于，这是一种并联扩展式的可扩展路由器，路由节点和光纤配线盒首先通过堆垒方式形成多个路由节点堆，然后由多个路由节点堆并排放置形成。

4、根据权利要求1所述的基于N个节点、i种以2ⁱ方式单向连接的可扩展路由器，其特征在于，这是一种环绕扩展方式的可扩展路由器，路由节点和光纤配线盒首先通过联排方式形成多个路由节点墙，然后再由多个路由节点墙环绕放置形成，由此构成一个路由节点环。