CN103095463A

CN103095463A - Pcie交换网系统和通信方法

Info

Publication number: CN103095463A
Application number: CN2013100441349A
Authority: CN
Inventors: 罗美军; 邱磊
Original assignee: Fujian Star Net Communication Co Ltd
Current assignee: Ruijie Networks Co Ltd
Priority date: 2013-02-01
Filing date: 2013-02-01
Publication date: 2013-05-08
Anticipated expiration: 2033-02-01
Also published as: CN103095463B

Abstract

本发明提供一种PCIE交换网系统和通信方法，该PCIE交换网系统包括PCIE背板，其中，还包括：第一控制卡、第二控制卡、交换卡、载板卡和业务卡；其中，该业务卡，与该载板卡相连接，用于通过该载板卡将数据上传给该交换卡；该交换卡，分别与该第一控制卡、第二控制卡和该载板卡相连接，用于接收该数据，并通过载板卡对该数据进行转发处理。

Description

PCIE交换网系统和通信方法

技术领域

本发明涉及通信技术，尤其涉及一种PCIE交换网系统和通信方法，属于网络交换技术领域。

背景技术

目前，图1为现有外设部件互连标准(Peripheral Component Interconnect；简称：PCI)Express总线(PCIE)交换网系统的架构示意图，如图1所示，该PCIE交换网系统主要包括：控制卡11、载板卡12、业务卡13和PCIE背板(未画)；具体的，该控制卡11的数量可以为两个，其中一个为主控制卡，另一个为备用控制卡，且每个控制卡11上均集成了CPU和交换芯片(switch)；载板卡12上包括CPU和交换芯片，用于挂载更多的终端(Endpoint；简称：EP)；业务卡13主要作为EP设备存在，用于数据的处理。另外，控制卡11、载板卡12和业务卡13均插在PCIE背板上，且控制卡11和载板卡12之间、载板卡12和业务卡13之间均通过该PCIE背板进行通信。

另外，如图1中虚线所示，基于上述PCIE交换网系统的跨卡转发的主要流程为：业务卡13可以将数据汇聚上传给载板卡12，载板卡12再将该数据上传给主控制卡中的交换芯片，由该主控制卡中的交换芯片对该数据先进行缓存，再将缓存后的数据进行跨卡转发。但是，当主控制卡热插拔操作时，可能会导致缓存在主控制卡中的交换芯片中，且未转发的数据丢失的问题。

发明内容

本发明提供一种PCIE交换网系统和通信方法，用于解决现有技术中主控制卡热插拔操作时，可能会导致缓存在主控制卡中的交换芯片中，且未转发的数据丢失的问题。

本发明的第一个方面是提供一种PCIE交换网系统，包括PCIE背板，其中，还包括：第一控制卡、第二控制卡、交换卡、载板卡和业务卡；其中，

所述业务卡，与所述载板卡相连接，用于通过所述载板卡将数据上传给所述交换卡；

所述交换卡，分别与所述第一控制卡、第二控制卡和所述载板卡相连接，用于接收所述数据，并通过载板卡对所述数据进行转发处理。

本发明的另一个方面是提供一种通信方法，基于上述所述的PCIE交换网系统，其中，包括：

所述业务卡通过所述载板卡将数据上传给交换卡；

所述交换卡接收所述数据，并通过载板卡对对所述数据进行转发处理。

本发明的技术效果是：通过在PCIE交换网系统中设置交换卡，以使业务卡通过载板卡将数据上传给交换卡，再由该交换卡通过载板卡对接收到的其他数据进行转发处理，由于将交换卡和控制卡分离，即实现了数据面和控制面的剥离，因此，当控制卡异常，例如：控制卡插拔时，数据面不会再受到影响，即数据不会丢失，从而解决了现有技术中主控制卡热插拔操作时，可能会导致缓存在主控制卡中的交换芯片中，且未转发的数据丢失的问题。

附图说明

图1为现有技术中路由器设备线卡的架构示意图；

图2为本发明PCIE交换网系统的一个实施例的结构示意图；

图3为本发明PCIE交换网系统的另一个实施例的结构示意图；

图4为本发明PCIE交换网系统的电路原理示意图；

图5为本发明通信方法的一个实施例的流程示意图。

具体实施方式

图2为本发明PCIE交换网系统的一个实施例的结构示意图，如图2所示，该系统包括：PCIIE背板(未画出)，其中，还包括：第一控制卡21、第二控制卡22、交换卡23、载板卡24和业务卡25；其中，业务卡25，与该载板卡24相连接，用于通过载板卡24将数据上传给交换卡23；交换卡23，分别与第一控制卡21、第二控制卡22和载板卡24相连接，用于接收数据，并通过载板卡24对数据进行转发处理。

在本实施例中，第一控制卡21、第二控制卡22、交换卡23、载板卡24和业务卡25分别插在PCIE背板上，且第一控制卡21和交换卡23之间、第二控制卡22和交换卡23之间、交换卡23和载板卡24之间、载板卡24和业务卡25之间通过PCIE背板上的PCIE总线相连接。另外，第一控制卡21为主控制卡，第二控制卡22为备用控制卡，因此，第二控制卡22和交换卡23之间通过非透明(Non transparent；简称：NT)端口相隔离。同时，所述载板卡24和交换卡23之间通过NT端口相隔离。

在本实施例中，值得注意的是，该PCIE交换网系统可以分为控制卡中CPU扫描的PCIE域和载板卡24中的CPU扫描的PCIE域，即主控域和载板域(如图2所示)。由于一个PCIE域中仅允许一个PCIE RC存在，为实现两个PCIE域之间的通信(即主控域和载板域之间的通信)，需要在PCIE域之间通过NT端口相连，即所述载板卡24和交换卡23之间通过NT端口相隔离。另外，还需要说明的是，该NT端口的主要工作是将不同PCIE地址域之间进行转换处理。

另外，优选地，第一控制卡21和交换卡23之间的链路带宽、第二控制卡22和交换卡23之间的链路带宽、交换卡23和载板卡24之间的链路带宽、载板卡24和业务卡25之间的链路带宽可以根据需求进行配置，例如：在PCIExpress2.0规范中，链路的带宽可以配置为X1、X4、X8等模式，其带宽分别为5Gbps、20Gbps和40Gbps。

在本实施例中，通过在PCIE交换网系统中设置交换卡，以使业务卡通过载板卡将数据上传给交换卡，再由该交换卡通过载板卡对接收到的其他数据进行转发处理，由于将交换卡和控制卡分离，即实现了数据面和控制面的剥离，因此，当控制卡异常，例如：控制卡插拔时，数据面不会再受到影响，即数据不会丢失，从而解决了现有技术中主控制卡热插拔操作时，可能会导致缓存在主控制卡中的交换芯片中，且未转发的数据丢失的问题。

图3为本发明PCIE交换网系统的另一个实施例的结构示意图，在上述图2所示实施例的基础上，如图3所示，交换卡23有至少一个，每个交换卡23对应一个控制域的PCIE地址时，每个载板卡24包括：CPU241、至少一个交换芯片242和至少一个NT端口(图中NT端口均用NT表示)，每个交换芯片242对应一个载板域的PCIE地址；其中，CPU241用于扫描交换芯片242、载板卡24和业务卡25，获取内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系，并将该内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系发送给业务卡25。至少一个交换芯片242与至少一个NT端口、至少一个交换卡23分别一一对应，每个交换芯片242通过对应的NT端口与对应的交换卡23相连接，用于将接收到的业务卡25上传的数据发送给对应的交换卡23。

优选地，业务卡25还用于接收并保存该内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系；则业务卡25具体用于根据该内存地址和载板域的PCIE地址的映射关系，通过载板卡24将数据上传给与数据的目的内存地址对应的交换卡。

在本实施例中，举例来说，业务卡25在发送数据时，可以查询该内存地址和载板域的PCIE地址的映射关系，将数据中的目的内存地址转换为载板域的PCIE地址后，将转换后的数据发送给载板卡24，通过载板卡24中的与数据的载板域的PCIE地址对应的交换芯片242对该数据进行处理，具体的，该交换芯片242查询载板域的PCIE地址和控制域的PCIE地址的映射关系，将该数据中的载板域的PCIE地址转换为控制域的PCIE地址，并将转换后的数据通过与该交换芯片242对应的NT端口发送给与该NT端口对应的交换卡23上。

更为优选地，当至少一个交换卡23异常时，第一控制卡21用于获取异常交换卡的控制域的PCIE地址，并将该异常交换卡的控制域的PCIE地址携带在路径切换消息中下发给业务卡25；该业务卡25还用于接收该路径切换消息，并根据该路径切换消息，将数据通过载板卡24上传给除异常交换卡之外的其他与数据的目的内存地址对应的交换卡23。

在本实施例中，举例来说，业务卡25查询载板域的PCIE地址和控制域的PCIE地址的映射关系，获取与该异常交换卡的控制域的PCIE地址对应的该异常交换卡的载板域的PCIE地址，再查询该内存地址和载板域的PCIE地址的映射关系，将数据的目的内存地址转换成除该异常交换卡的载板域的PCIE地址之外的其他载板域的PCIE地址，再将转换后的数据发送给载板卡24。

更为优选地，载板卡有至少一个，每个交换卡23包括：上端口、NT端口和至少一个下端口，其中，上端口与第一控制卡21相连接，至少一个下端口与至少一个载板卡24一一对应，每个下端口通过对应的载板卡24上的NT端口与载板卡24上的NT端口对应的交换芯片连接；NT端口与第二控制卡22相连接。该第一控制卡21为主控制卡；第二控制卡22为备用控制卡。

需要说明的是，交换卡23的每个下端口通过对应的载板卡24上的NT端口和与该载板卡24上的NT端口对应的交换芯片242相连接，因此，当交换卡23的数量为N个时，即载板卡24上可以设计N个NT端口，从而实现整机PCIE背板带宽动态增减的目的。举例来说，交换卡23与载板卡24之间链路的带宽可以配置为X4模式，即可以提供20Gbps带宽。如果PCIE交换网系统包括四个交换卡23，则载板卡24上可以设计四个NT端口和4个交换芯片，从而实现每个下端口通过对应的载板卡24上的NT端口和与载板卡24上的NT端口对应的交换芯片连接，进而使得PCIE交换网系统可以提供80Gbps的背板带宽。因此，通过增加交换卡23的数量，可以动态调整背板带宽，解决了现有技术中由于PCIE交换网系统带宽在最初设计时已经设置，即无法灵活对带宽升级而导致业务卡处理能力超出背板多能力时造成的背板带宽不足的问题。其中，N为正整数。

另外，由于交换卡23的每个下端口通过对应的载板卡24上的NT端口和与该载板卡24上的NT端口对应的交换芯片242相连接，因此，可以实现多条PCIE链路，当一个交换卡23发生异常时，发送到该交换卡23上的数据可以动态的转移到其他交换卡23上，从而实现了PCIE交换网系统中PCIE链路的备份，进而解决了现有技术中由于PCIE交换网系统中的业务卡之间的PCIE链路只有一条而造成该链路异常时业务卡直接无法进行背板传输的问题，提高了PCIE交换网系统的可靠性。

更为优选地，第一控制卡21和第二控制卡22均包括CPU和PCIE交换芯片，其中，该第一控制卡21的PCIE交换芯片为8608交换芯片，且该第一控制卡21的PCIE交换芯片和每个交换卡23的上端口相连接。由于，第一控制卡21和交换卡23之间的链路只是用来第一控制卡21对下游链路进行配置，其不需要提供数据面传输，因此，第一控制卡21和交换卡23之间的链路的带宽要求不高，其可以配置为X1模式。另外，还需要说明的是，第一控制卡21的PCIE交换芯片的端口数与第一控制卡21和交换卡23之间的链路带宽配置有关，即链路带宽配置模式越高，对其端口数要求也越多，因此，对上述链路的带宽配置较小模式时，可以节约其端口数，即可以使得第一控制卡21连接更多的交换卡23。

在本实施例中，具体的，第一控制卡21中的CPU作为一个根节点(RootComplex；简称：RC)，可以扫描配置交换卡23和交换卡23相连的载板卡24的NT端口；载板卡24中的CPU241作为一个RC，可以扫描配置载板卡24上的交换芯片242的下端口(也可以称之为PCIE下端口)和业务卡25的PCIE端口。

更为优选地，第二控制卡22用于若在从备用控制卡切换为主控制卡时，将每个交换卡23中与该第二控制卡22相连的NT端口切换为上端口，以及将每个交换卡23中与第一控制卡21相连的上端口切换为NT端口。

在本实施例中，举例来说，在第一控制卡21为主控制卡、第二控制卡22为备用控制卡时，第一控制卡21可以每隔预定时间向第二控制卡22发送心跳报文，从而使得第二控制卡22获知第一控制卡21正常工作。当第二控制卡22在该预定时间内没有接收到第一控制卡21发送的心跳报文时，说明该第一控制卡21可能异常，则从备用控制卡切换为主控制卡，并将每个交换卡23中与该第二控制卡22相连的NT端口切换为上端口，以及将每个交换卡23中与第一控制卡21相连的上端口切换为NT端口。

本发明所提供的具备上述功能的PCIE交换网系统可以通过多种芯片结合外围电路来实现，其中一种优选的实施方案描述可以如图4所示，图4为本发明PCIE交换网系统的电路原理示意图，在上述图3所示实施例的基础上，如图4所示，该载板卡24上的交换芯片242可以包括一个8648芯片和三个8608芯片，其中，三个8608芯片分别通过8648芯片与业务卡相连接，且由于8648芯片只有一个NT端口，其余端口均为透明端口，因此，需要在透明端口上连接一个8608芯片，再通过8608芯片的NT端口与交换卡相连接，即8608芯片的一个作用为将透明端口转换为非透明端口。另外，具体的，该交换卡23可以为8648交换芯片。

图5为本发明通信方法的一个实施例的流程示意图，如图5所示，结合上述图2或图3所示的PCIE交换网系统，该方法包括：

步骤101、业务卡通过载板卡将数据上传给交换卡。

在本实施例中，业务卡是分布式路由器业务处理的节点，其包括CPU和全局路由表，对PCIE交换网络系统的数据进行处理和转发。

步骤102、交换卡接收该数据，并通过载板卡对对该数据进行转发处理。

进一步的，在本发明的另一个实施例中，在上述图4所示实施例的基础上，该方法还包括：

载板卡的CPU扫描该交换芯片、该载板卡和该业务卡，获取内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系，并将该内存地址和载板域的PCIE地地址的映射关系以及该载板域的PCIE地址和控制域的PCIE地址的映射关系发送给该业务卡；

则该业务卡还用于接收并保存该内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系；

且步骤102的一种具体实现方式为：

该业务卡根据该内存地址和载板域的PCIE地地址的映射关系，通过该载板卡将数据上传给与该数据的目的内存地址对应的交换卡。

优选地，当至少一个交换卡异常时，该方法还包括：

该第一控制卡获取异常交换卡的控制域的PCIE地址，并将该异常交换卡的控制域的PCIE地址携带在路径切换消息中，再将该路径切换消息下发给该业务卡；

该业务卡接收该路径切换消息，并根据该路径切换消息，将数据通过载板卡上传给除该异常交换卡之外的其他与该数据的目的内存地址对应的交换卡。

在本实施例中，由于交换卡的每个下端口通过对应的载板卡上的NT端口和与该载板卡上的NT端口对应的交换芯片相连接，因此，可以实现多条PCIE链路，当一个交换卡发生异常时，发送到该交换卡上的数据可以动态的转移到其他交换卡上，从而实现了PCIE交换网系统中PCIE链路的备份，进而解决了现有技术中由于PCIE交换网系统中的业务卡之间的PCIE链路只有一条而造成该链路异常时业务卡直接按无法进行背板传输的问题，提高了PCIE交换网系统的可靠性。

更为优选地，当该第一控制卡为主控制卡，第二控制卡为备用控制卡时，该第二控制卡若在从备用控制卡切换为主控制卡时，将每个交换卡中与该第二控制卡相连的NT端口切换为上端口，以及将每个交换卡中与该第一控制卡相连的上端口切换为NT端口。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种PCIE交换网系统，包括PCIE背板，其特征在于，还包括：第一控制卡、第二控制卡、交换卡、载板卡和业务卡；其中，

2.根据权利要求1所述的PCIE交换网系统，其特征在于，在所述交换卡有至少一个，每个交换卡对应一个控制域的PCIE地址时，每个载板卡包括：CPU、至少一个交换芯片和至少一个NT端口，每个交换芯片对应一个载板域的PCIE地址，其中，

所述CPU，用于扫描所述交换芯片、所述载板卡和所述业务卡，获取内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系，并将所述内存地址和载板域的PCIE地址的映射关系以及所述载板域的PCIE地址和控制域的PCIE地址的映射关系发送给所述业务卡；

所述至少一个交换芯片与至少一个NT端口、至少一个交换卡分别一一对应，每个交换芯片通过对应的NT端口与对应的交换卡相连接，用于将接收到的所述业务卡上传的数据发送给对应的交换卡。

3.根据权利要求2所述PCIE交换网系统，其特征在于，所述业务卡还用于接收并保存所述内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系；

则所述业务卡具体用于根据所述内存地址和载板域的PCIE地址的映射关系，通过所述载板卡将数据上传给与所述数据的目的内存地址对应的交换卡。

4.根据权利要求2或3所述的PCIE交换网系统，其特征在于，当至少一个所述交换卡异常时，所述第一控制卡用于获取异常交换卡的控制域的PCIE地址，并将所述异常交换卡的控制域的PCIE地址携带在路径切换消息中下发给所述业务卡；

所述业务卡，还用于接收所述路径切换消息，并根据所述路径切换消息，将数据通过载板卡上传给除所述异常交换卡之外的其他与所述数据的目的内存地址对应的交换卡。

5.根据权利要求2所述的PCIE交换网系统，其特征在于，所述载板卡有至少一个；每个交换卡包括：上端口、NT端口、和至少一个下端口，其中，

所述上端口与所述第一控制卡相连接；所述至少一个下端口与至少一个载板卡一一对应，每个下端口通过对应的载板卡上的NT端口和与所述载板卡上的NT端口对应的交换芯片连接；所述NT端口与所述第二控制卡相连接；

所述第一控制卡为主控制卡；所述第二控制卡为备用控制卡。

6.根据权利要求5所述的PCIE交换网系统，其特征在于，所述第二控制卡用于，若在从备用控制卡切换为主控制卡时，将每个交换卡中与所述第二控制卡相连的NT端口切换为上端口，以及将每个交换卡中与所述第一控制卡相连的上端口切换为NT端口。

7.一种通信方法，基于如权利要求1至6任一所述的PCIE交换网系统，其特征在于，包括：

所述业务卡通过所述载板卡将数据上传给交换卡；

8.根据权利要求7所述的通信方法，其特征在于，还包括：

所述载板卡的CPU扫描所述交换芯片、所述载板卡和所述业务卡，获取内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系，并将所述内存地址和载板域的PCIE地地址的映射关系以及所述载板域的PCIE地址和控制域的PCIE地址的映射关系发送给所述业务卡；

则所述业务卡还用于接收并保存所述内存地址和载板域的PCIE地址的映射关系以及载板域的PCIE地址和控制域的PCIE地址的映射关系；

且所述业务卡通过所述载板卡将数据上传给交换卡具体包括：

所述业务卡根据所述内存地址和载板域的PCIE地地址的映射关系，通过所述载板卡将数据上传给与所述数据的目的内存地址对应的交换卡。

9.根据权利要求8所述的通信方法，其特征在于，当至少一个交换卡异常时，所述方法还包括：

所述第一控制卡获取异常交换卡的控制域的PCIE地址，并将所述异常交换卡的控制域的PCIE地址携带在路径切换消息中，再将所述路径切换消息下发给所述业务卡；

所述业务卡接收所述路径切换消息，并根据所述路径切换消息，将数据通过载板卡上传给除所述异常交换卡之外的其他与所述数据的目的内存地址对应的交换卡。

10.根据权利要求9所述的通信方法，其特征在于，当所述第一控制卡为主控制卡，第二控制卡为备用控制卡时，所述第二控制卡若在从备用控制卡切换为主控制卡时，将每个交换卡中与所述第二控制卡相连的NT端口切换为上端口，以及将每个交换卡中与所述第一控制卡相连的上端口切换为NT端口。