CN101150527A - 一种pcie数据传输的方法、系统及设备 - Google Patents

Abstract

本发明公开了一种PCIE数据传输的方法，包括：目的线卡板CPU将空闲的内存地址通知本线卡板的地址隔离装置；源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到所述目的线卡板地址隔离装置；所述目的线卡板地址隔离装置提取所述报文，将所述报文存储到所述空闲的内存地址中。本发明公开了一种PCIE数据传输的系统及设备。本发明使每个线卡板CPU的地址空间相对独立，不受PCIE交换器地址路由方式的影响，PCIE交换器实现按照槽位转发，提高设备的包转发性能。

Description

一种PCIE数据传输的方法、系统及设备

技术领域

本发明涉及通信技术领域，尤其涉及一种PCIE(PCI Express，PCI快速总线)数据传输的方法、系统及设备。

背景技术

PCI(Peripheral Component Interconnect，外设部件互连)Express是由Intel倡导开发的处理器系统总线，是一种串行互连技术，目前已经被PCISIG(PCI专业组)接受并成为PCI、PCI-X(PCI eXtended，PCI扩展)的继承者，目标是完全取代PCI和PCI-X。随着PCI Express(简称PCIE)规范的发布，越来越多的厂家开始推出基于PCIE规范的芯片，一些厂家已经推出了基于PCIE的交换器，在一个系统中可以连接很多设备，基于PCIE交换器的通信设备(如路由器、交换机、网关等)也成为一种选择。

现有技术中，一个典型的基于PCIE交换器的分布式系统的架构，如图1所示，PCIE交换器提供多个PCIE接口连接到主控板和线卡板(如接口板、业务板等)，主控板CPU(Central Processor Unit，中央处理器)通过PCIE接口完成PCIE交换器的配置和线卡板的PCIE终端空间的配置，确保不同的线卡板可以通过PCIE交换网进行通信，线卡板中的报文处理主要通过报文处理引擎实现，报文处理引擎可以采用CPU、NP(Networks Processor Unit，网络处理器)或者ASIC(Application Specific Integrated Circuit，专用集成电路)等。

在基于PCIE交换器的分布式系统中，通过PCIE总线实现设备之间通信的串行、点对点类型的互连，利用基于PCIE数据报文的通信协议实现串行互连通信。PCIE数据报文格式如图2所示，其中PCIE报文中携带目标线卡板的内存地址，PCIE交换器根据该目标线卡板的内存地址对数据报文进行转发。具体报文转发流程如图3和图4所示，其中图4是转发示意图，图3是转发流程图，包括以下步骤：

步骤s301，主控板为每个线卡板中的内存分配地址空间范围，确保所有线卡板进行PCIE报文转发时内存地址不冲突；线卡板1接收到以太网报文后，提取以太网报文的五元组(MAC地址、IP地址、协议号)等信息，进行分类查表，如果查表的结果为报文转发的目的为线卡板4的某个端口，则线卡板1通过设备的控制平面或者数据平面向线卡板4申请内存空间。

步骤s302，线卡板4的CPU申请本地内存空间。

步骤s303，线卡板4把本地内存空间的地址传递给线卡板1的CPU。

步骤s304，线卡板1的CPU根据线卡板4提供的内存地址，组装PCIE报文，发送到PCIE交换网上，PCIE交换网依据PCIE报文中的地址信息，转发报文到线卡板4。

步骤s305，线卡板4把报文存储到预先分配的地址空间。

图3和图4的转发流程所示，要转发一个包到目的线卡板必须先到目的线卡板申请内存空间地址，然后依据申请到的目的地址，组装PCIE包，然后把该PCIE包通过PCIE交换网发送到目的线卡板。目的地址的传送可以通过设备的数据承载平面，也可以通过控制平面，为了避免数据承载平面数据报文过多、发生拥塞，优选使用控制平面传递目的内存地址。基于PCIE交换网的这种地址路由方式，在基于PCIE交换网的每个线卡板地址都必须是唯一的，不能和其他线卡板地址冲突。

综上所述，现有技术中PCIE数据传输具有以下缺陷：

1、PCIE交换网中的通信协议复杂，严重影响线卡板间传输的性能：发送方需要获取接收方的地址，接收方的地址需要更新给发送方。由此增加了通信开销，例如：接收方的地址更新给发送方时，对某些加锁的内存地址，接收方需要额外发送访问加锁的开销；及一个数据包的传送伴随着以PCIEMemory写方式的两个小包(请求地址包和获取地址包)的开销等。

2、PCIE交换网中的VC(Virtual Channel，虚通道)数量不够，容易引起HOL(Head of Line Blocking，信头阻塞)问题。如果CPU向某个槽位申请写空间，当对方忙时，将导致CPU陷入等待，无法向其他槽位发送申请。

3、为了传输的正确可靠，PCIE的许多操作的优先级很高，需要确保这些操作成功执行。如果执行这些操作时，板间传输出了故障，CPU将继续等待，会影响CPU的基本运行，且造成较大的传输延时。

发明内容

本发明实施例提供一种PCIE数据传输的方法、系统及设备，有效提高基于PCIE交换网的设备转发性能。

本发明实施例提供了一种PCIE数据传输的方法，应用于包括线卡板、主控板和PCIE交换器的系统中，所述线卡板中还包括地址隔离装置，所述方法包括以下步骤：

目的线卡板CPU将空闲的内存地址通知本线卡板的地址隔离装置；

源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到所述目的线卡板地址隔离装置；

所述目的线卡板地址隔离装置提取所述报文，将所述报文存储到所述空闲的内存地址中。

所述源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置之前还包括：

存储每个线卡板槽位号与PCIE地址的对应关系。

所述源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置具体包括：

接收到的携带有目的线卡板槽位号的报文，所述目的线卡板槽位号为源线卡板CPU从网络接口接收到报文后，依据转发表得到的所述报文的目的槽位号；

根据所述目的槽位号及所述对应关系，得到PCIE报文的地址字段；

将所述PCIE报文的地址字段封装到报文中，组成PCIE报文转发到交换网。

所述目的线卡板地址隔离装置提取所述报文，将所述报文存储到所述空闲的内存地址中具体包括：

地址隔离装置接收到交换网转发的PCIE报文后，获取空闲的内存地址；

所述地址隔离装置将所述报文存储到所述空闲的内存中。

所述将报文存储到所述空闲的内存中之后还包括：

CPU提取所述报文的目的槽位号、板号、端口号，把报文转发到网络接口；

CPU释放掉所述转发到网络接口报文所占的内存空间。

本发明还提供了一种PCIE数据传输的系统，包括线卡板、主控板和PCIE交换器，所述线卡板具体包括：

地址隔离装置，用于预先存储每个线卡板槽位号与PCIE地址的对应关系，在发送报文时，将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置；在接收报文时，获取本线卡板空闲的内存地址，并将接收的报文存储到所述空闲的内存地址中。

所述地址隔离装置具体包括：

发送方包检测单元，用于接收到报文后，提取其中的目的槽位号发送到查表单元，并将所述报文发送到发送方组帧单元；

查表单元，用于根据所述槽位号获得对应的PCIE报文的地址字段，并发送到所述发送方组帧单元；

发送方组帧单元，用于将所述PCIE报文的地址字段封装到所述报文中，组成PCIE报文转发到交换网；

接收方包检测单元，用于接收交换网转发的PCIE报文后，提取所述报文发送到接收方组帧单元；

内存地址分配单元，用于从内存地址表中获得空闲的内存地址，发送给接收方组帧单元；

接收方组帧单元，用于将所述报文存储到所述空闲的内存地址中。

还包括：

内存地址更新单元，用于定期更新所述内存地址分配单元。

本发明还提供了一种线卡板，应用于包括主控板和PCIE交换器的系统中，所述线卡板具体包括：

地址隔离装置，用于预先存储每个线卡板槽位号与PCIE地址的对应关系，在发送报文时，将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置；在接收报文时，获取本线卡板空闲的内存地址，并将接收的报文存储到所述空闲的内存地址中。

所述地址隔离装置具体包括：

发送方包检测单元，用于接收到报文后，提取其中的目的槽位号发送到查表单元，并将所述报文发送到发送方组帧单元；

查表单元，用于根据所述槽位号获得对应的PCIE报文的地址字段，并发送到所述发送方组帧单元；

发送方组帧单元，用于将所述PCIE报文的地址字段封装到所述报文中，组成PCIE报文转发到交换网。

所述地址隔离装置还包括：

接收方包检测单元，用于接收交换网转发的PCIE报文后，提取所述报文发送到接收方组帧单元；

内存地址分配单元，用于从内存地址表中获得空闲的内存地址，发送给接收方组帧单元；

接收方组帧单元，用于将所述报文存储到所述空闲的内存地址中。

与现有技术相比，本发明具有以下优点：

本发明的实施例中，在PCIE交换网和线卡板的CPU之间增加一个地址隔离装置，该地址隔离装置使每个线卡板CPU的地址空间相对独立，不受PCIE交换器地址路由方式的影响，PCIE交换器实现按照槽位转发，并不按照线卡板CPU的内存地址进行转发，并且通过此地址隔离装置实现包转发机制，提高设备的包转发性能。

附图说明

图1是现有技术中基于PCIE交换网的系统结构图；

图2是现有技术中PCIE数据报文格式示意图；

图3是现有技术中PCIE数据报文转发流程图；

图4是现有技术中PCIE数据报文转发示意图；

图5是本发明中一种PCIE数据传输的方法流程图；

图6是本发明中PCIE数据报文转发示意图；

图7是本发明中地址隔离装置中槽位号与PCIE地址的映射关系示意图；

图8是本发明中线卡板地址隔离装置示意图。

具体实施方式

本发明提供了一种PCIE数据传输的方法，应用于包括线卡板、主控板和PCIE交换器的系统中，所述线卡板中还包括地址隔离装置，所述方法具体流程如图5所示，包括以下步骤：

步骤s501，线卡板中预先存储系统中每个线卡板槽位号与PCIE地址的对应关系。

步骤s502，线卡板CPU将空闲的内存地址通知本线卡板的地址隔离装置。

步骤s503，源线卡板CPU从网络接口接收到报文后，依据五元组(MAC地址、IP地址、协议号)查找分类转发表，得到待发送报文需要转发到目的槽位号、目的板号、目的端口号；携带此信息的报文交由地址隔离装置处理。源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置，具体包括：源线卡板地址隔离装置根据所述目的槽位号及与PCIE地址的对应关系，得到PCIE报文的地址字段，将该PCIE报文的地址字段封装到所述报文中，组成PCIE报文转发到交换网。

步骤s504，目的线卡板地址隔离装置提取所述报文，将所述报文存储到所述空闲的内存地址中。具体包括：地址隔离装置接收到交换网转发的PCIE报文后，在内存地址表中查找空闲的内存地址；将所述报文存储到所述空闲的内存中。

然后，CPU提取所述报文的目的槽位号、板号、端口号，把报文转发到网络接口，同时CPU释放掉该内存空间。

本发明提供了一个PCIE系统，该系统中的线卡板增加了地址隔离装置，该系统如图6所示，包括主控板、线卡板1、线卡板2、线卡板3、线卡板4和PCIE交换器，设线卡板1为源线卡板，线卡板2为目的线卡板。报文转发过程包括以下步骤：

1、主控板为每个线卡板分配唯一的槽位号，并且为此槽位号分配唯一的PCIE地址，以便填充到PCIE报文的地址字段。比如，线卡板1(槽位号为1的线卡板)分配的PCIE地址为0x10000000，线卡板2(槽位号为2的线卡板)分配的PCIE地址为0x20000000，.......，线卡板N(槽位号为N的线卡板)分配的PCIE地址为0xN0000000。例如，槽位1发送到槽位2的所有PCIE报文的地址字段都为0x20000000，槽位3发送到槽位2的所有的PCIE报文的地址字段也都为0x20000000。这样线卡板发送到其他线卡板的PCIE报文中的地址字段(如图7所示)不再是可变的地址，而是固定分配的地址。与图5中的PCIE交换网上每个PCIE报文的对应目的板上的内存地址不同，图6中的PCIE交换网上发送到相同目的线卡板的PCIE报文的地址字段都是相同的。每个线卡板只需要把报文转发到目的线卡板就可以了，而不用关心把报文转发到目的线卡板内存的位置。

2、目的线卡板CPU分配内存空间，并定期把空闲的内存地址告知本单板的地址隔离装置(实际上所有线卡板都需要执行此操作)。目的线卡板的地址隔离装置完成对接收报文到CPU内存空间的映射或转发。

3、源线卡板地址隔离装置发送报文到目的线卡板地址隔离装置；源线卡板无需知道目的线卡板的内存地址，报文按照槽位号进行交换，而不是按照内存地址交换到目的线卡板地址隔离装置。

4、目的线卡板地址隔离装置识别报文，把交换网上过来的报文存储到空闲的内存中。

图6中的地址隔离装置具体结构如图8所示，包括：发送方包检测单元1，用于接收到待发送报文，该报文中携带CPU通过查找分类转发表获得的报文需要转发到的目的槽位号，发送方包检测单元1提取该报文中的目的槽位号发送到查表单元，并将所述报文发送到发送方组帧单元；查表单元1，用于根据所述槽位号获得对应的PCIE报文的地址字段，并发送到所述发送方组帧单元；发送方组帧单元1，用于将PCIE报文的地址字段封装到所述报文中，组成PCIE报文转发到交换网；接收方包检测单元2，用于接收交换网转发的PCIE报文后，提取所述报文发送到接收方组帧单元；内存地址分配单元，用于从内存地址表中获得空闲的内存地址，发送给接收方组帧单元；接收方组帧单元2，用于将所述报文存储到所述空闲的内存地址中；内存地址更新单元，用于定期更新所述内存地址表。

线卡板从网络接口接收到报文后，查找分类转发表等，得到报文需要转发到目的槽位号、目的板号、目的端口号；携带此信息的报文交由地址隔离装置处理；发送方包检测单元1接收到报文后，提取其中的目的槽位号，交由查表单元1处理，并把报文交由发送方组帧单元1处理；查表单元1查找表2的信息，得到PCIE报文的地址字段，交由发送方组帧单元1处理；发送方组帧单元1把报文组成标准的PCIE报文转发到交换网。

其中，发送方包检测单元1、查表单元1、发送方组帧单元1可以由软件实现，也可以由硬件实现，通过硬件实现可以集成在CPU内部，也可以通过外置的FPGA或者ASIC实现。

交换网把接收到PCIE报文转发到目的线卡板。接收方包检测单元2接收到交换网转发的PCIE报文后，提取报文交由接收方组帧单元2处理，并通知内存地址分配单元提供一个可供使用的内存空间，以便存储报文；内存地址分配单元从内存地址表中得到一个空闲的内存地址，交由接收方组帧单元2处理，接收方组帧单元2把接收到的报文和存储的目的内存地址交由CPU相应接口；CPU提取报文的目的槽位号、板号、端口号，把报文转发到网络接口后，CPU释放掉的内存空间，并且通过内存地址更新单元定期刷新内存地址表。

其中，接收方包检测单元2、内存地址分配单元、内存地址表、接收方组帧单元2可以由软件实现，也可以由硬件实现，通过硬件实现可以集成在CPU内部，也可以通过外置的FPGA或者ASIC实现。

CPU和地址隔离装置之间的接口，可以是SPI4、XGMII等接口，也可以是PCIE接口，或者软件虚拟接口。如果接口是SPI4或者XGMII接口，则地址隔离装置中可以省掉内存地址表和内存地址分配单元，因为SPI4和XGMII接口不需要对应的内存地址。如果接口是PCIE接口，则CPU发送给发送方包检测单元1的PCIE报文中的地址可以是槽位号；或者已经经过转换过的地址，即查表单元1放置到CPU的内部。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (11)

1.一种PCIE数据传输的方法，应用于包括线卡板、主控板和PCIE交换器的系统中，所述线卡板中还包括地址隔离装置，其特征在于，所述方法包括以下步骤：

目的线卡板CPU将空闲的内存地址通知所述目的线卡板的地址隔离装置；

源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到所述目的线卡板地址隔离装置；

所述目的线卡板地址隔离装置提取所述报文，将所述报文存储到所述空闲的内存地址中。

2.如权利要求1所述PCIE数据传输的方法，其特征在于，所述源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置之前还包括：

存储每个线卡板槽位号与PCIE地址的对应关系。

3.如权利要求2所述PCIE数据传输的方法，其特征在于，所述源线卡板地址隔离装置将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置具体包括：

接收到的携带有目的线卡板槽位号的报文，所述目的线卡板槽位号为源线卡板CPU从网络接口接收到报文后，依据转发表得到的所述报文的目的槽位号；

根据所述目的槽位号及所述对应关系，得到PCIE报文的地址字段；

将所述PCIE报文的地址字段封装到报文中，组成PCIE报文转发到交换网。

4.如权利要求2所述PCIE数据传输的方法，其特征在于，所述目的线卡板地址隔离装置提取所述报文，将所述报文存储到所述空闲的内存地址中具体包括：

地址隔离装置接收到交换网转发的PCIE报文后，获取空闲的内存地址；

所述地址隔离装置将所述报文存储到所述空闲的内存中。

5.如权利要求4所述PCIE数据传输的方法，其特征在于，所述将报文存储到所述空闲的内存中之后还包括：

CPU提取所述报文的目的槽位号、板号、端口号，把报文转发到网络接口；

CPU释放掉所述转发到网络接口报文所占的内存空间。

6.一种PCIE数据传输的系统，包括线卡板、主控板和PCIE交换器，其特征在于，所述线卡板具体包括：

地址隔离装置，用于预先存储每个线卡板槽位号与PCIE地址的对应关系，在发送报文时，将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置；在接收报文时，获取本线卡板空闲的内存地址，并将接收的报文存储到所述空闲的内存地址中。

7.如权利要求6所述PCIE数据传输的系统，其特征在于，所述地址隔离装置具体包括：

发送方包检测单元，用于接收到报文后，提取其中的目的槽位号发送到查表单元，并将所述报文发送到发送方组帧单元；

查表单元，用于根据所述槽位号获得对应的PCIE报文的地址字段，并发送到所述发送方组帧单元；

发送方组帧单元，用于将PCIE报文的地址字段封装到所述报文中，组成PCIE报文转发到交换网；

接收方包检测单元，用于接收交换网转发的PCIE报文后，提取所述报文发送到接收方组帧单元；

内存地址分配单元，用于从内存地址表中获得空闲的内存地址，发送给接收方组帧单元；

接收方组帧单元，用于将所述报文存储到所述空闲的内存地址中。

8.如权利要求7所述PCIE数据传输的系统，其特征在于，还包括：

内存地址更新单元，用于定期更新所述内存地址表。

9.一种线卡板，应用于包括主控板和PCIE交换器的系统中，其特征在于，所述线卡板具体包括：

地址隔离装置，用于预先存储每个线卡板槽位号与PCIE地址的对应关系，在发送报文时，将报文按照目的线卡板槽位号发送到目的线卡板地址隔离装置；在接收报文时，获取本线卡板空闲的内存地址，并将接收的报文存储到所述空闲的内存地址中。

10.如权利要求9所述线卡板，其特征在于，所述地址隔离装置具体包括：

发送方包检测单元，用于接收到报文后，提取其中的目的槽位号发送到查表单元，并将所述报文发送到发送方组帧单元；

查表单元，用于根据所述槽位号获得对应的PCIE报文的地址字段，并发送到所述发送方组帧单元；

发送方组帧单元，用于将所述PCIE报文的地址字段封装到所述报文中，组成PCIE报文转发到交换网。

11.如权利要求10所述线卡板，其特征在于，所述地址隔离装置还包括：

接收方包检测单元，用于接收交换网转发的PCIE报文后，提取所述报文发送到接收方组帧单元；

内存地址分配单元，用于从内存地址表中获得空闲的内存地址，发送给接收方组帧单元；

接收方组帧单元，用于将所述报文存储到所述空闲的内存地址中。

Images