CN101242371A

CN101242371A - 基于PCIe交换架构路由器堆叠的方法、系统和装置

Info

Publication number: CN101242371A
Application number: CNA2008100850481A
Authority: CN
Inventors: 栗晋升; �田�浩
Original assignee: Hangzhou H3C Technologies Co Ltd
Current assignee: New H3C Technologies Co Ltd
Priority date: 2008-03-14
Filing date: 2008-03-14
Publication date: 2008-08-13
Anticipated expiration: 2028-03-14
Also published as: CN101242371B

Abstract

本发明公开了一种基于快速外部设备互连PCIe交换架构路由器堆叠的方法、系统和设备。该方法包括以下步骤：初始化第一路由器的PCIe交换器下的非透明桥NT端口，所述第一路由器的PCIe交换器通过所述NT端口与第二路由器的PCIe交换器连接；通过所述NT端口实现所述第一路由器与所述第二路由器间的消息交互。通过使用本发明中的基于PCIe交换架构实现路由器堆叠的方法，使得两台或多台PCIe交换架构路由器可以堆叠成为一台更高端的路由器系统，堆叠得到的路由器相比单独的每一台路由器，在端口数量和处理能力上都大大增加，可以应用于要求更高的组网环境。

Description

基于PCIe交换架构路由器堆叠的方法、系统和装置

技术领域

本发明涉及通信技术领域，尤其涉及一种基于PCIe交换架构路由器堆叠的方法、系统和装置。

背景技术

PCIe(Peripheral Component Interconnect Express，快速外部设备互连)总线为计算机和通讯平台设备互连提供了高速、高性能、全双工点到点、多通道可捆绑差分链路连接的通用I/O互连总线。系统中的每一个器件都拥有自己的总线，通过直接连接到Switch(交换器)器件来建立点到点的通讯。PCIExpress总线以Switch器件实现Traffic route(流量路径)和资源管理，同时数据传输变为离散数据包(Discrete packets of data)，增加了QoS(Quality ofService，服务质量)功能，通过优先级数据包调度满足实时业务，如视频和音频数据流应用需求；并且PCIe总线继承PCI/PCI-X总线的地址类型、空间分配及寻址方式和所有的事务类型。标准定义了完善的电源管理、服务质量、热插拔、数据完整性、错误处理机制等，使得PCIe总线作为一种完善的标准可以获得广泛的应用。

目前，基于PCIe的路由器架构在系统软件上对基于PCI总线的路由器有很大的继承性，而且基于PCIe还可以实现分布式的路由器架构。如图1所示为一个基于PCIe总线的路由器系统架构。如果Line Card(线卡)具有独立的处理能力，则可基于PCI Express总线可以实现分布式路由器。其中路由与转发分离，由主控板负责整个系统的管理和路由的收集、计算功能，并将计算出的转发表下发到各业务板。各线路板能够根据保存的路由转发表通过交换网板上的核心交换芯片，独立地进行路由转发。

其中交换器件利用类似PCI桥的基于Memory、I/O和配置的地址进行路由，在不同端口之间进行数据传输。交换器件可以支持从任意一个入端口向任意一个出端口按照地址路由、ID路由或者是隐含路由传输所有PCI Express标准要求的事务数据报文。

随着网络规模的不断发展，对路由器的处理能力的要求越来越高，现有技术中当路由器的性能不能满足要求时，只能对路由器进行软件以及硬件的升级，需要的成本很高。因此，需要提出一种低成本的提高现有路由器性能的方法。

发明内容

本发明提供一种基于PCIe交换架构路由器堆叠的方法、系统和装置，用于实现将两台或多台PCIe交换架构路由器堆叠成为一台更高端的路由器系统。

为达到上述目的，本发明提供一种基于PCIe交换架构路由器堆叠的方法，包括以下步骤：

初始化第一路由器的PCIe交换器下的非透明桥NT端口，所述第一路由器的PCIe交换器通过所述NT端口与第二路由器的PCIe交换器连接；

通过所述NT端口实现所述第一路由器与所述第二路由器间的消息交互。

其中，所述初始化第一路由器的PCIe交换器下的NT端口的步骤具体为：

所述第一路由器将所述NT端口的虚拟接口进行初始化配置；

所述第二路由器将所述NT端口的链路接口进行初始化配置；

所述第一路由器根据所述第二路由器对所述链路接口的配置，配置所述虚拟接口与所述链路接口之间的地址转换功能。

其中，所述初始化后的虚拟接口以及链路接口为端点设备，所述虚拟接口对所述第二路由器不可见，所述链路接口对所述第一路由器不可见。

其中，所述通过所述NT端口实现所述第一路由器与所述第二路由器之间的消息交互的步骤具体为：

对于所述第一路由器与第二路由器间所有操作消息进行地址转换；以及

对于所述第一路由器与第二路由器间的NP类操作消息和CPL类操作消息进行ID转换。

其中，所述第一路由器通过NT端口向第二路由器发送NP类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

所述NT端口的虚拟接口使用本地寄存器匹配所述NP类消息中的ID；

所述NP类消息中的ID在本地寄存器中存在时，使用与所述ID对应的索引号替换所述ID中的功能号，使用所述虚拟接口的设备号抓取寄存器中的内容替换所述ID号中的设备号，使用所述虚拟接口的总线号抓取寄存器中的内容替换所述ID号中的总线号，得到转换后的ID；

将携带所述转换后的ID的NP类消息通过链路接口向第二路由器发送。

其中，所述第二路由器通过NT端口向第一路由器发送CPL类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

所述NT端口的链路接口使用本地寄存器匹配CPL消息中ID的索引号；

所述CPL类消息中ID的索引号在本地寄存器中存在时，使用与所述索引号对应的功能号替换所述ID中的索引号，使用与所述索引号对应的设备号替换所述ID中所述虚拟接口的设备号抓取寄存器中的内容，使用与所述索引号对应的总线号替换所述ID中所述虚拟接口的总线号抓取寄存器中的内容，还原得到转换前的ID；

将携带所述转换前的ID的CPL类消息通过虚拟接口向第一路由器发送。

其中，所述第二路由器通过NT端口向第一路由器发送NP类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

所述NT端口的链路接口使用本地寄存器匹配所述NP类消息中的ID；

所述NP类消息中的ID在本地寄存器中存在时，使用与所述ID对应的索引号替换所述ID中的设备号，使用第一路由器的PCIe交换器的虚拟内部总线号替换所述ID中的总线号，保持所述ID中的功能号，得到转换后的ID；

将携带所述转换后的ID的NP类消息通过虚拟接口向第一路由器发送。

其中，所述第一路由器通过NT端口向第二路由器发送CPL类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

所述NT端口的虚拟接口使用本地寄存器匹配CPL消息中ID的索引号；

所述CPL类消息中ID的索引号在本地寄存器中存在时，使用与所述索引号对应的设备号替换所述ID中的索引号，使用与所述索引号对应的总线号替换所述ID中第一路由器的PCIe交换器的虚拟内部总线号，保持所述ID中的功能号，还原得到转换前的ID；

将携带所述转换前的ID的CPL类消息通过虚拟接口向第二路由器发送。

其中，所述对第一路由器与第二路由器间所有操作消息进行地址转换的步骤具体为：

通过直接地址转换、或查找表地址转换的方法，对所述第一路由器与第二路由器间所有操作消息进行地址转换。

其中，还包括：所述第一路由器与所述第二路由器进行路由表的更新；所述路由表的更新通过所述NT端口实现，或通过所述第一路由器与所述第二路由器间除所述NT端口之外相连接的第二接口实现。

其中，所述路由表中的每一表项至少包括：目的地址、端口号、下一跳地址以及路由器标识。

其中，所述第一路由器的PCIe交换器的上行端口以及除所述NT端口外的所有下行端口的带宽总和，不大于所述与第二路由器的PCIe交换器连接的NT端口的带宽。

其中，所述第一路由器的PCIe交换器通过所述NT端口与第二路由器的PCIe交换器上的下行PCI-PCI桥、或NT端口连接。

其中，还包括：所述第二路由器的PCIe交换器下还存在非透明桥NT端口，所述第二路由器的PCIe交换器通过所述NT端口与其他路由器实现堆叠，所述堆叠的各路由器之间进行路由表的更新。

本发明还提供一种基于PCIe交换架构的路由器，所述路由器的PCIe交换器中包括NT端口，所述路由器作为第一路由器，通过PCIe交换器中的所述NT端口与第二路由器的PCIe交换器连接。

其中，所述NT端口进一步包括：

虚拟接口，用于接收第一路由器发送的消息并发送到地址转换功能实体，接收地址转换功能实体发送的消息并发送到第一路由器；

地址转换功能实体，用于将从虚拟接口接收到的消息进行转换后发送到链路接口，将从链路接口接收到的消息进行转换后发送到虚拟接口；

链路接口，用于接收第二路由器发送的消息并发送到地址转换功能实体，接收地址转换功能实体发送的消息并发送到第二路由器。

其中，所述地址转换功能实体进一步包括：

ID转换子功能，用于对接收到的NP类和NPL类消息中的ID进行转换；

地址转换子功能，用于对接收到的消息中的地址进行转换。

其中，还包括：

初始化单元，用于对所述NT端口的虚拟接口以及地址转换功能实体进行初始化设置。

其中，还包括：

路由表维护单元，用于对本地的路由表进行维护，所述路由表中的每一表项至少包括：目的地址、端口号、下一跳地址以及路由器标识

本发明还提供一种基于PCIe交换架构路由器的堆叠系统，包括：

第一路由器以及第二路由器，所述第一路由器的PCIe交换器包括的非透明桥NT端口，所述第一路由器的PCIe交换器通过所述NT端口与第二路由器的PCIe交换器连接。

其中，所述第一路由器与所述第二路由器还通过所述NT端口之外的第二接口进行连接，并通过所述第二接口或所述NT端口进行路由表的更新。

其中，所述第二路由器的PCIe交换器下还存在另一NT端口，所述第二路由器的PCIe交换器通过所述另一NT端口与其他路由器实现堆叠，所述堆叠的各路由器之间进行路由表的更新。

与现有技术相比，本发明具有以下优点：

通过使用本发明中的基于PCIe交换架构实现路由器堆叠的方法，使得两台或多台PCIe交换架构路由器可以堆叠成为一台更高端的路由器系统，堆叠得到的路由器相比单独的每一台路由器，在端口数量和处理能力上都大大增加，可以应用于要求更高的组网环境。且本发明的方法对现有的PCIe交换架构路由器在系统软硬件方案上变化不大，可以方便的进行系统升级扩容。

附图说明

图1是现有技术中基于PCIe总线的路由器系统结构；

图2是本发明中两个路由器的堆叠示意图；

图3是本发明中通过NT端口实现ID转换的示意图；

图4是本发明中携带ID的报文的TLP头格式示意图；

图5是本发明中两台路由器堆叠的系统配置示意图；

图6是本发明中两个路由器间地址转换示意图；

图7是本发明中两个路由器间均使用NT端口的堆叠示意图；

图8是本发明中多台路由器堆叠示意图。

具体实施方式

以下结合附图和实施例，对本发明的实施方式作进一步描述。

现有的PCIe Switch芯片通常具有将某一端口配置成NT(NonTransparent，非透明桥)端口模式的功能。NT端口可以实现两个PCIe系统间的隔离，防止多个PCIe系统在加电或复位时不同处理器对系统中的同一设备同时进行初始化而导致的系统竞争。同时，可以通过NT端口的转换功能实现两个PCIe系统间的数据交换。因此，如果在PCIe Switch上留出一个足够带宽的PCIe端口并引出相应的物理端口，则可以利用PCIe线缆通过该物理端口在物理上将两个或多个路由器进行连接，同时将路由器上连接使用的端口设置为NT模式并进行相应的配置，可以实现这两个或多个路由器的堆叠。

以两个路由器的堆叠为例，图2为本发明中基于PCIe交换架构路由器堆叠的系统示意图。该实施例中假设PCIe Switch的上行端口为X1 PCIe端口，到线卡板的下行端口为X4 PCIe端口，那么PCIe Switch的上行和下行带宽总和应不大于用于彼此互连的PCIe端口带宽，在图1中NT端口为X16 PCIe端口，则线卡板的个数n应满足以下关系：1+4*(n-1)＜16。另外，两台Router可以通过PCIe带内、或者在两台Router的主控板之间使用GE(Gigabit Ethernet千兆以太网)或其他连接，作为专门的控制报文通道，实现两台路由器之间NT端口的初始化配置和路由表的交换。

在使用NT端口将两个路由器连接后，为实现两个路由器的堆叠，需要预先对NT端口进行初始化设置。PCIe Switch设备在软件上可以把每个端口理解为一个PCI-PCI的桥片，内部有一条虚拟的PCI总线。在初始化阶段，自上而下进行配置，逐个发现PCI/PCIe设备：如果发现该设备的头标类型为Type1，则是一个PCI/PCIe桥片，软件会继续往下游发现设备；如果发现该设备的头标类型为Type 0，则是一个端点(endpoint)设备，软件不会再向下游发现设备。当一个端口被设置成NT模式后，则它的内部结构包括虚拟接口(VirtualInterface)、链路接口(Link Interface)和地址转换(Address Translation)三个逻辑单元。其中，虚拟接口是一个端点设备，由Router1完成配置空间初始化；链路接口也是一个端点设备，由Router2完成配置空间初始化；链路接口对于Router1不可见，而虚拟接口对于Router2不可见。因此，在NT端口两侧形成两个独立的PCIe系统，避免了在初始化过程中出现软件资源冲突。

利用该初始化后的NT端口，可以实现基于PCIe总线的第一路由器与第二路由器之间的消息交互。具体的，路由器间通过PCIe总线交互的操作消息可以分为三类：

(1)P类操作Posted Requests：Message and Memory Writes；

(2)NP类操作Non-Posted Requests：All Reads、I/O、and ConfigurationWrites；

(3)CPL类操作Completions：Associated with corresponding NP Requests。

对于不需要返回数据的P类操作，目标设备并不关心数据源(请求ID)，数据包只需要在通过NT端口时实现地址转换就能完成跨系统域的数据传送。对于地址转换，两个独立的地址重叠系统，需要通过地址转换机制实现跨系统数据传输。而对于需要返回数据的NP类操作，在通过NT端口时，仅仅实现地址转换是不够的，目标设备需要根据数据包中的请求ID将原设备需要的数据通过CPL类操作返回，因此需要携带正确的请求ID。而在两个独立的系统中，设备ID也可能是重叠的，如果不进行任何处理，目标设备在返回数据包时将无法正确的根据请求ID返回数据，因为这个请求ID可能对应多个设备。因此，为保证NP类操作的正确，NT端口需要实现请求ID转换。即NT端口要实现两类转换功能：(1)为所有操作实现地址转换功能；(2)为NP、CPL类操作实现ID转换功能。

以下首先对NT端口上的ID转换功能进行说明。NT端口上的ID转换机制如下图3所示，其中图3的上半部分为虚拟接口(Virtual Interface)将请求向链路接口(Link Interface)发送、并从链路接口接收到响应的过程；图3的下半部分为链路接口(Link Interface)将请求向虚拟接口(Virtual Interface)发送、并从虚拟接口接收到响应的过程，以下分别进行描述。

对于虚拟接口(Virtual Interface)向链路接口(Link Interface)发送NP类操作消息、并接收到CPL类操作消息的过程，结合图3上半部分所示，包括以下步骤：

(1)虚拟接口接收到请求者发送的请求，该请求中包括请求者的ID(Requester ID)，该ID由总线号ReqBusNo、设备号ReqDevNo、以及功能号Fun三部分组成。

(2)虚拟接口查询表寄存器组LUT(Look-Up Table，查找表)，获取与{ReqBusNo，ReqDevNo，Fun}对应的索引号Txindex。

(3)对于原请求ID{ReqBusNo，ReqDevNo，Fun}，虚拟接口使用索引号Txindex替换掉原请求ID中的功能号Fun，使用设备号抓取(Device NumberCapture)寄存器中的Source CapBus No替换掉原请求ID中的总线号ReqBusNo，使用总线号抓取(Bus Number Capture)寄存器中的Source CapDev替换掉原请求ID中的设备号ReqDevNo，从而转换成新的ID{Source CapBusNo，Source CapDev，Txindex}。设备号抓取(Device Number Capture)寄存器和总线号抓取(Bus Number Capture)寄存器中的内容是NT端口的链路接口(Link Interface)作为设备在链路接口(Link Interface)侧系统中的ID，在链路接口(Link Interface)侧系统中是唯一的，因此目标设备在响应该事务后能够使用转换后的ID发起CPL操作消息将返回的数据准确地送往NT端口。

(4)将携带转换后的请求者的ID(Translation Requester ID)的请求通过链路接口发送。

(5)链路接口接收对请求的CPL时，获取CPL中携带的转换后的请求者的ID(Translation Requester ID)，其中包括{Source CapBus No，SourceCapDev，Txindex}。

(6)链路接口查询表寄存器组LUT(Look-Up Table，查找表)，获取与Txindex对应的请求者的ID{ReqBusNo，ReqDevNo，Fun}。

(7)使用{ReqBusNo，ReqDevNo，Fun}替换CPL中的ID，还原得到原始请求者的ID。

(8)将CPL向ID为{ReqBusNo，ReqDevNo，Fun}的请求者发送。

对于请求从链路接口(Link Interface)向虚拟接口(Virtual Interface)发送Request、并接收到CPL的过程，结合图3下半部分所示，包括以下步骤：

(1)链路接口接收到请求者发送的请求，该请求中包括请求者的ID(Requester ID)，该ID由总线号ReqBusNo、设备号ReqDevNo、以及功能号Fun三部分组成。

(2)链路接口查询表寄存器组LUT(Look-Up Table，查找表)，获取与{ReqBusNo，ReqDevNo}对应的索引号Rxindex。

(3)对于原请求ID{ReqBusNo，ReqDevNo，Fun}，虚拟接口使用索引号Rxindex替换掉原请求ID中的设备号ReqDevNo，使用Virtual Interface侧交换芯片的虚拟内部总线号(Host Switch VirtBusNo)替换原请求ID的总线号同时沿用功能号Fun，从而转换成新的ID{Host Switch VirtBusNo，Rxindex，Fun}。

(4)将携带转换后的请求者的ID(Translation Requester ID)的请求通过虚拟接口发送。由于NT端口在整个交换芯片的所有端口中是唯一能够由自身发起请求的端口，因此目标设备在响应该事务后能够使用转换后的ID发起CPL操作将返回的数据准确地送往NT端口的虚拟接口。

(5)虚拟接口接收对请求的CPL时，获取CPL中携带的转换后的请求者的ID(Translation Requester ID)，其中包括{Host Switch VirtBusNo，Rxindex，Fun}。

(6)链路接口查询表寄存器组LUT(Look-Up Table，查找表)，获取与Rxindex对应的{ReqBusNo，ReqDevNo}。

(7)链路接口使用ReqBusNo替换掉CPL中ID的Host Switch VirtBusNo，使用ReqDevNo替换掉CPL中ID的Rxindex，还原得到原始请求者的ID。

(8)链路接口将CPL向ID为{ReqBusNo，ReqDevNo，Fun}的请求者发送。

对于上述NP类消息中请求者Requester ID的携带方式、以及CPL类消息中请求者Requester ID和完成者Completer ID的携带方式，可以采用如图4所示报文的TLP(Type/Length/Property，类型/长度/属性)头格式。

对于地址转换功能，通过NT端口的Virtual Interface和Link Interface配置空间的BAR寄存器(BAR基址寄存器、BAR设置寄存器、BAR地址转换寄存器)，可以实现地址转换机制。利用地址转换机制在NT桥另一侧的存储空间开辟一个隧道或窗口，实现事务由一侧转发至另一侧。地址转换的方式目前有两种：直接地址转换、查找表地址转换。在下文对地址转换的方式进行详细描述。

两台路由器作为独立的系统启动后，分别初始化配置自己的系统域，特殊之处在于PCIe Switch的NT端口初始化。该端口在Router1系统启动时就需要配置为NT端口，Virtual Interface作为Router1系统域的一个端点被初始化，Link Interface作为Router2系统域的一个端点被初始化。对于用于地址转换和ID转换的寄存器，需要Router1在已知Router2的配置情况后，使用命令行等方式进行初始化以使Router1地址与Router2的地址相对应。只有正确配置NT端口的相关寄存器之后，两台路由器才能实现数据转发。

图5中以两台路由器的堆叠为例，描述了两台路由器堆叠的主要配置。根据图5中的配置，可以实现两个路由器通过NT端口正常的进行事务传输。此实例中，只通过BAR寄存器组实现直接地址转移(基于查找表的地址转换类似)，并通过配置LUT寄存器实现请求ID转换，完成NP类操作。

以下对Router1的配置进行介绍，Router2的配置与Router1的配置类似，在此不进行重复描述。Router1中，PCIe的物理地址区间为从0xA000_0000到0xAFFF_FFFF。PCI交换器的PCI-PCI Bridge上行Up端口的基地址为0xA000_0000，ID为{1，0，0}，PCI-PCI Bridge下行Down端口的基地址分别为0xA100_0000、0xA200_0000、...、0xA700_0000，ID为{2，1，0}、{2，2，0}...{2，n-1，0}。虚拟接口(Virtual Interface)由Router1配置，其ID为{2，n，0}，Bar基地址为0xA800_0000，size字段这里未设置(例如可以为0xA800_0000到0xAFFF_FFFF)，地址范围属于该“Bar基地址加size字段”范围的数据包由NT端口处理。Bar setup reg为0xF800_0000，可作为地址转换的掩码；Virtual translation reg为0xA000_0000，用于地址转换。链路接口(Link Interface)由Router2配置，其ID为{n+1，0，0}，Bar基地址为0xA800_0000，size字段这里未设置(例如可以为0xA800_0000到0xAFFF_FFFF)，地址范围属于该“Bar基地址加size字段”范围的数据包由NT端口处理。Bar setup reg为0xF800_0000，可作为地址转换的掩码；Virtualtranslation reg为0xA000_0000，用于地址转换。

图5中以Router1向Router2发送读取指令(Memory Read)，获取Router2的Line Card n-1中的0xA200_0080的内容为例，该指令在经过Link Interface时，请求中的ID为链路接口的ID{n+1，0，0}，返回的CPL中的ID仍为{n+1，0，0}，因此可以返回到链路接口。

使用图5中的配置实现Router1到Router2的地址转换的一例如图6所示。其中，将Router1的Virtual translation reg 0xA000_0000与作为掩码的Bar setupreg 0xF800_0000进行掩码计算，得到Bytes 31-27位为0x14。对于需要转换的Router1中的地址，如0xA900_0080，使用0x14替换其Bytes 31-27位的0x15，得到转换后的Router1中的地址0xA100_0080。可以理解的是，实现Router2到Router1的地址转换的方法相同，在此不进行重复描述。

除了上述实施例中描述的通过在一侧路由器设置NT端口实现两台路由器的堆叠的方法为，还可以在两个路由器间均使用NT端口实现路由器的堆叠。该方法的示意图如图7所示，该情况下两台路由器的设置以及消息交互的过程同上述在一侧路由器设置NT端口的方案原理相同，在此不进行重复描述。

两台路由器堆叠后，其主控板都要工作并进行路由表的计算，且通过PCIe线缆带内或带外通道进行刷新和校验。两台路由器可以通过独立的GE接口或其他接口进行路由表的刷新与校验，这时刷新路由表的控制信息使用的是堆叠通路(即PCIe线缆)的带外通道。刷新路由表的控制信息也可以通过PCIe线缆传输，这时使用的是堆叠通路(即PCIe线缆)的带内通道。

路由表的基本组成包括：目的IP、下一跳、端口号。两台配置完全相同的路由器，其端口号会重复。所以软件还需要解决路由表中端口号的重复问题。解决方法可以很多，比如可以为两台路由器手动或者自动设置路由器ID，并作为一个路由表项，如下表1所示。

表1.堆叠路由器的路由表示例

Destination/Mask目的/掩码	Port端口	Nexthop下一跳	Router ID路由器ID
Destination/Mask目的/掩码	Port端口	Nexthop下一跳	Router ID路由器ID	IP A/24	port 1	IP E	Router1
IP B/24	port 2	IP F	Router1	IP A/24	port 1	IP E	Router1
IP B/24	port 2	IP F	Router1	IP C/24	port 3	IP G	Router2
IP D/16	port 2	IP H	Router2	IP C/24	port 3	IP G	Router2

假设从Router1某端口进入的报文来说，被传送到主控板CPU进行处理，并查找路由，发现报文应该发送到端口Port2。这时，系统不知道该发送到Router1的Port2、还是Router2的Port2。因此路由表中加入Router ID，将两个Port2加以区分。

需要注意的是表1中的port项是路由器的对外接口，与本发明中所指的PCIe端口不同。通常来说，PCIe switch的端口是跟单板的槽位对应，每个单板上可以有多个对外的port。CPU调用驱动的PCIe发送函数，将报文发送到对应单板的PCIe endpoint(比如说一个PCIe PHY芯片)，然后再被发送到对应的port。如果报文是被发送到另一个路由器的某个port，则PCIe的发送函数把报文通过PCIe的NT端口发送。

在上述基于两台路由器堆叠的方法的基础上，如图7所示，还可以实现多台路由器堆叠。可以理解的是，该情况下多台路由器的设置以及消息交互的过程同上述实现两台路由器堆叠的方案原理相同，在此不进行重复描述。

本发明还提供一种基于PCIe交换架构的路由器，路由器的PCIe交换器中包括NT端口，路由器作为第一路由器，通过PCIe交换器中的NT端口与第二路由器的PCIe交换器连接。

NT端口进一步包括：

地址转换功能实体，用于将从虚拟接口接收到的消息进行转换后发送到链路接口，将从链路接口接收到的消息进行转换后发送到虚拟接口；其进一步包括：ID转换子功能，用于对接收到的NP类和NPL类消息中的ID进行转换；地址转换子功能，用于对接收到的消息中的地址进行转换。

还包括：

初始化单元，用于对NT端口的虚拟接口以及地址转换功能实体进行初始化设置。

路由表维护单元，用于对本地的路由表进行维护，路由表中的每一表项至少包括：目的地址、端口号、下一跳地址以及路由器标识。该维护通过各堆叠路由器之间的NT端口或另外连接的第二接口实现。

第一路由器以及第二路由器，第一路由器的PCIe交换器包括的非透明桥NT端口，第一路由器的PCIe交换器通过NT端口与第二路由器的PCIe交换器连接。具体的，该第一路由器的PCIe交换器通过该NT端口与第二路由器的PCIe交换器上的下行PCI-PCI桥、或NT端口连接。

另外，第一路由器与第二路由器还通过NT端口之外的第二接口进行连接，并通过该第二接口或上述NT端口进行路由表的更新。

其中，该第二路由器的PCIe交换器下还可以存在另一非透明桥NT端口，该第二路由器的PCIe交换器通过该另一NT端口与其他路由器实现堆叠，堆叠的各路由器之间进行路由表的更新。

通过使用本发明中的基于PCIe交换架构实现路由器堆叠的方法、系统和装置，使得两台或多台PCIe交换架构路由器可以堆叠成为一台更高端的路由器系统，堆叠得到的路由器相比单独的每一台路由器，在端口数量和处理能力上都大大增加，可以应用于要求更高的组网环境。且本发明的方法对现有的PCIe交换架构路由器在系统软硬件方案上变化不大，可以方便的进行系统升级扩容。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备执行本发明各个实施例所述的方法。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1、一种基于快速外部设备互连PCIe交换架构路由器堆叠的方法，其特征在于，包括以下步骤：

2、如权利要求1所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述初始化第一路由器的PCIe交换器下的NT端口的步骤具体为：

所述第一路由器将所述NT端口的虚拟接口进行初始化配置；

所述第二路由器将所述NT端口的链路接口进行初始化配置；

3、如权利要求2所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述初始化后的虚拟接口以及链路接口为端点设备，所述虚拟接口对所述第二路由器不可见，所述链路接口对所述第一路由器不可见。

4、如权利要求1所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述通过所述NT端口实现所述第一路由器与所述第二路由器之间的消息交互的步骤具体为：

5、如权利要求4所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述第一路由器通过NT端口向第二路由器发送NP类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

6、如权利要求4所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述第二路由器通过NT端口向第一路由器发送CPL类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

7、如权利要求4所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述第二路由器通过NT端口向第一路由器发送NP类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

8、如权利要求4所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述第一路由器通过NT端口向第二路由器发送CPL类消息时，所述第一路由器与所述第二路由器间的消息的ID转换的步骤具体包括：

9、如权利要求4所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述对第一路由器与第二路由器间所有操作消息进行地址转换的步骤具体为：

10、如权利要求1所述基于PCIe交换架构路由器堆叠的方法，其特征在于，还包括：所述第一路由器与所述第二路由器进行路由表的更新；所述路由表的更新通过所述NT端口实现，或通过所述第一路由器与所述第二路由器间除所述NT端口之外相连接的第二接口实现。

11、如权利要求10所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述路由表中的每一表项至少包括：目的地址、端口号、下一跳地址以及路由器标识。

12、如权利要求1所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述第一路由器的PCIe交换器的上行端口以及除所述NT端口外的所有下行端口的带宽总和，不大于所述与第二路由器的PCIe交换器连接的NT端口的带宽。

13、如权利要求1所述基于PCIe交换架构路由器堆叠的方法，其特征在于，所述第一路由器的PCIe交换器通过所述NT端口与第二路由器的PCIe交换器上的下行PCI-PCI桥、或NT端口连接。

14、如权利要求1所述基于PCIe交换架构路由器堆叠的方法，其特征在于，还包括：所述第二路由器的PCIe交换器下还存在非透明桥NT端口，所述第二路由器的PCIe交换器通过所述NT端口与其他路由器实现堆叠，所述堆叠的各路由器之间进行路由表的更新。

15、一种基于PCIe交换架构的路由器，其特征在于，所述路由器的PCIe交换器中包括NT端口，所述路由器作为第一路由器，通过PCIe交换器中的所述NT端口与第二路由器的PCIe交换器连接。

16、如权利要求15所述基于PCIe交换架构的路由器，其特征在于，所述NT端口进一步包括：

17、如权利要求16所述基于PCIe交换架构的路由器，其特征在于，所述地址转换功能实体进一步包括：

地址转换子功能，用于对接收到的消息中的地址进行转换。

18、如权利要求16所述基于PCIe交换架构的路由器，其特征在于，还包括：

19、如权利要求16所述基于PCIe交换架构的路由器，其特征在于，还包括：

20、一种基于PCIe交换架构路由器的堆叠系统，其特征在于，包括：

21、如权利要求20所述基于PCIe交换架构路由器的堆叠系统，其特征在于，所述第一路由器与所述第二路由器还通过所述NT端口之外的第二接口进行连接，并通过所述第二接口或所述NT端口进行路由表的更新。

22、如权利要求20所述基于PCIe交换架构路由器的堆叠系统，其特征在于，所述第二路由器的PCIe交换器下还存在另一NT端口，所述第二路由器的PCIe交换器通过所述另一NT端口与其他路由器实现堆叠，所述堆叠的各路由器之间进行路由表的更新。