CN101320361B

CN101320361B - 一种多cpu通讯方法及系统

Info

Publication number: CN101320361B
Application number: CN2008100654382A
Authority: CN
Inventors: 黄成云
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2008-02-27
Filing date: 2008-02-27
Publication date: 2011-12-07
Anticipated expiration: 2028-02-27
Also published as: CN101320361A

Abstract

本发明公开了一种多CPU通讯方法及系统，所述方法通过PCIExpress总线设备实现，包括：a、源CPU和目标CPU分别进行本侧PCIExpress总线设备NT桥的初始化配置，任意一侧的初始化配置完成后，进入步骤b；b、初始化配置完成侧CPU启动对源CPU和目标CPU间的PCI Express总线连接状况的周期测试；源CPU需要向目标CPU发送数据报文时，若所述连接状况为正常，则停止周期测试，并进入步骤c，若所述连接状况为中断，则继续进行周期测试；c、源CPU根据NT桥的初始化配置向目标CPU发送数据报文；d、目标CPU接收数据报文。本发明所述技术方案在多个CPU之间实现了高速通讯。

Description

一种多CPU通讯方法及系统

技术领域

本发明涉及通讯领域，尤其是一种多CPU通讯方法及系统。

背景技术

随着硬件的发展，通讯产品的硬件集成度越来越大，单个通讯单板可以集成以往几个单板甚至一个网元的功能。这样，通讯单板中就会存在多个CPU，这些CPU之间存在数据报文交互关系。例如，通讯单板上网络接口卡接收来自网络的报文，在网络接口卡CPU进行相关处理后，把报文传递给通讯单板上的业务处理CPU，业务处理CPU处理完毕后再把数据报文传递给网络接口卡，网络接口卡CPU进行适当的处理后传送给网络。

传统的实现各CPU之间高效率的通讯的方法包括：1、通过在各CPU之间规划电路交换通道来实现，但是电路交换通道的传输能力扩展有限；2、通过在各CPU之间采用以太网交换的方式来实现；这种方法在网元内部各单板处理器之间的使用很成熟，能满足大容量的交换，数据报文的交换也比较灵活，但对于控制类网元通讯单板内处理器间的通讯来说，这种情况下的通讯多为短时延的点到点通讯，且业务净荷多为短报文，采用以太网交换方式时，传输数据报文需要使用冗长的以太网头，并且在CPU之间接收和发送数据报文时，需要先进行以太网传输层的编解码处理，因此会降低CPU的使用效率，增大时延。

发明内容

本发明要解决的技术问题是提供一种多CPU通讯方法及系统，利用PCI(Peripheral Component Interconnect，外设部件互连标准)Express总线技术在多个CPU之间实现高速通讯。

本发明解决其技术问题所采用的技术方案是：

一种多CPU通讯方法，所述方法通过PCI Express总线设备实现，包括以下步骤：

a、源CPU和目标CPU分别进行本侧PCI Express总线设备NT桥(非透明桥)的初始化配置，任意一侧的初始化配置完成后，进入步骤b；

b、初始化配置完成侧CPU启动对所述源CPU和目标CPU间的PCIExpress总线连接状况的周期测试；所述源CPU需要向所述目标CPU发送数据报文时，若所述连接状况为正常，则停止所述周期测试，并进入步骤c，若所述连接状况为中断，则继续进行所述周期测试；

c、所述源CPU根据所述NT桥的初始化配置向所述目标CPU发送数据报文；

d、所述目标CPU接收所述数据报文。

上述方案中，所述步骤a中，所述本侧PCI Express总线设备NT桥的初始化配置是指建立本侧NT桥基地址寄存器地址和NT桥另一侧CPU接收缓存地址的对应关系。

上述方案中，所述源CPU向所述目标CPU发送数据报文具体包括以下步骤：

c1、判断所述源CPU的重发缓存是否为空，若不为空，则进入步骤c3，否则，进入步骤c2；

c2、将所述数据报文存入所述重发缓存，同时通过写所述源CPU侧NT桥基地址寄存器的相应地址将所述数据报文发送给所述目标CPU，之后启动所述连接状况的周期测试并进入步骤c4；

c3、将所述数据报文存入所述源CPU的发送缓存，之后启动所述连接状况的周期测试并进入步骤c4；

c4、继续所述连接状况的周期测试，并且，若所述源CPU在所述重发缓存中的数据报文对应的重发等待时刻到达时已接收到相应的接收确认消息，则清空所述重发缓存，若所述发送缓存非空，则从中取出数据报文，停止所述连接状况的周期测试并回到步骤c2；若所述源CPU在所述重发缓存中的数据报文对应的重发等待时刻到达时未接收到相应的接收确认消息，则将所述连接状况设置为中断，清空所述重发缓存，若所述发送缓存非空，则同时清空所述发送缓存。

上述方案中，所述目标CPU接收所述数据报文具体包括以下步骤：

d1、从相应的接收缓存获取数据报文，并判断获取的数据报文是否为预期的数据报文，若是，进入步骤d2，否则，进入步骤d3；

d2、将获取的数据报文传递给上层应用，并向所述源CPU发送相应的接收确认消息，之后结束本流程；

d3、将获取的数据报文舍弃后结束本流程。

上述方案中，所述步骤d1中，通过对获取的数据报文的前向序号的校验判断其是否为预期的数据报文，若获取的数据报文的前向序号与期望的前向序号一致，则其为预期的数据报文。

上述方案中，所述源CPU接收到的接收确认消息中包括所述目标CPU获取的数据报文的后向序号，所述源CPU接收到相应的接收确认消息是指所述重发缓存中的数据报文的前向序号等于或小于所述后向序号。

上述方案中，所述源CPU发送的数据报文的前向序号为自然数，其值比其上一次发送的数据报文的前向序号大1，以4096为周期循环使用前向序号值；后向序号的值为所述目标CPU最新正确接收的数据报文的前向序号。

上述方案中，所述连接状况的周期测试具体包括以下步骤：

b1、测试启动侧CPU向另一侧CPU发送测试消息，若所述测试启动侧CPU在预设的响应时间内接收到所述另一侧CPU的测试响应消息，则进入步骤b2，否则，将所述连接状况设置为中断并进入步骤b3；

b2、对所述测试响应消息进行校验，若校验成功，则将所述连接状况设置为正常并进入步骤b3，否则，将所述连接状况设置为中断并进入步骤b3；

b3、经过预设的测试周期后回到步骤b1。

上述方案中，所述步骤b2中，对所述测试响应消息进行校验是指判断所述测试响应消息中的CPU标识号及测试码与所述测试消息中的CPU标识号及测试码是否一致，若一致，则校验成功，否则，校验失败。

一种多CPU通讯系统，包括：

NT桥配置管理模块，用于实现本侧PCI Express总线设备NT桥的初始化配置；

通讯连接维护模块，用于根据所述NT桥配置管理模块的配置完成中断消息启动CPU间的PCI Express总线连接状况的周期测试；

数据收发管理模块，用于实现所述连接状况的周期测试并在连接状况正常时实现CPU间数据报文的收发。

本发明的有益效果主要表现在：本发明提供的技术方案借助PCIExpress总线技术，采用读写内存的方式实现数据报文收发，可以达到5Gbit/s，10Gbit/s，大大超过了千兆以太网的传输速率；并且，在CPU之间只需要传递业务静荷，避免了采用以太网交换的方式时CPU处理传输层协议栈的开销，提高了CPU的使用效率；另外，数据报文的传输采用了循环重发方法，从而保证了传输的可靠性。

附图说明

图1为本发明多CPU通讯方法流程图；

图2为本发明多CPU通讯系统模块示意图；

图3为本发明连接状况的周期测试流程图；

图4为本发明数据报文的发送流程图；

图5为本发明数据报文的接收流程图；

图6为本发明一实施例的CPU互联示意图；

图7为图6所示实施例NT桥和接收缓存配置映射示意图。

具体实施方式

PCI Expres总线系统是第三代高性能I/O总线。借助交换芯片，PCI Express总线系统可以实现网元单板上处理器之间以及不同单板处理器之间数据高速通讯，速度可达到5Gbit/s，甚至10Gbit/s。同时，交换芯片借助NT桥隔离了CPU，CPU之间在上电枚举系统时不会发生冲突。CPU可以设置NT桥两侧的基地址寄存器，从而使得CPU之间可以互相访问对方内存，实现了数据报文的高速传输。

下面结合附图对本发明作进一步的描述。

参照图1，一种多CPU通讯方法，所述方法通过PCI Express总线设备实现，包括以下步骤：

S101：源CPU和目标CPU分别进行本侧PCI Express总线设备NT桥的初始化配置，任意一侧的初始化配置完成后，进入S102；其中，本侧PCI Express总线设备NT桥的初始化配置是指建立本侧NT桥基地址寄存器地址和NT桥另一侧CPU接收缓存地址的对应关系，这样，通过NT桥就可以实现源CPU与目标CPU之间的内存互访。具体地说，源CPU访问本侧NT桥基地址寄存器地址，就可以访问目标CPU内存中接收缓存的地址；同样地，目标CPU通过访问本侧NT桥的基地址寄存器地址，就可以访问源CPU内存中接收缓存的地址；

S102-S103：初始化配置完成侧CPU启动对源CPU和目标CPU间的PCI Express总线连接状况的周期测试；源CPU需要向目标CPU发送数据报文时，若连接状况为正常，则进入S104，若连接状况为中断，则继续进行周期测试；

S104：停止连接状况的周期测试，并进入S105；

S105：源CPU根据NT桥的初始化配置向目标CPU发送数据报文；源CPU发送的数据报文的前向序号为自然数，其值比其上一次发送的数据报文的前向序号大1，以4096为周期循环使用前向序号值；后向序号的值为所述目标CPU最新正确接收的数据报文的前向序号；

S106：目标CPU接收所述数据报文。

图1所示流程通过多CPU通讯系统实现，参照图2，对于每个CPU，该系统包括：

NT桥配置管理模块201，用于实现本侧PCI Express总线设备NT桥的初始化配置；初始化配置成功完成时，NT桥配置管理模块201向通讯连接维护模块202发送配置完成中断消息；

通讯连接维护模块202，用于根据配置完成中断消息启动CPU间的PCI Express总线连接状况的周期测试；在每次测试过程中，通讯连接维护模块202通过数据收发管理模块203发送测试消息及接收测试响应消息；

数据收发管理模块203，用于实现所述连接状况的周期测试并在连接状况正常时实现CPU间数据报文的收发。

参照图3，连接状况的周期测试具体包括以下步骤：

S301：测试启动侧CPU向另一侧CPU发送测试消息，测试消息中包括本侧CPU标识号及测试码，若所述测试启动侧CPU在预设的响应时间内接收到所述另一侧CPU的测试响应消息，则进入S302，否则，进入S303；

S302：测试启动侧CPU对所述测试响应消息进行校验，若校验成功，进入步骤304，否则，进入S303；其中，对测试响应消息进行校验是指判断测试响应消息中的CPU标识号及测试码与测试消息中的CPU标识号及测试码是否一致，若一致，则校验成功，否则，校验失败；

S303：将所述连接状况设置为中断并进入S305；

S304：将所述连接状况设置为正常并进入S305；

S305：经过预设的测试周期后回到S301。

实际应用中，每个CPU都维护了一个与本CPU通过PCI Express总线连接的CPU的连接表，连接表记录了连接对端的CPU标识号(该标识号可以是该CPU的位置信息等组合而成)及连接状况等信息，其中，连接状况信息即是通过图3所示测试流程加以更新的。

参照图4，源CPU向目标CPU发送数据报文具体包括以下步骤：

S401：判断源CPU的重发缓存是否为空，若不为空，则进入S403，否则，进入S402；

S402：将数据报文存入所述重发缓存，同时通过写源CPU侧NT桥基地址寄存器的相应地址将数据报文发送给目标CPU，之后启动连接状况的周期测试并进入S404；

S403：将数据报文存入源CPU的发送缓存，之后启动连接状况的周期测试并进入S404；

S404-S406：继续连接状况的周期测试，并且，若所述源CPU在所述重发缓存中的数据报文对应的重发等待时刻到达时已接收到相应的接收确认消息，则清空所述重发缓存，若所述发送缓存非空，则从中取出数据报文，停止所述连接状况的周期测试并回到S402；若所述源CPU在所述重发缓存中的数据报文对应的重发等待时刻到达时未接收到相应的接收确认消息，则将所述连接状况设置为中断，清空所述重发缓存，若所述发送缓存非空，则同时清空所述发送缓存。

源CPU接收到的接收确认消息中包括目标CPU获取的数据报文的后向序号，所述重发缓存中的数据报文的前向序号等于或小于所述后向序号表明源CPU接收到相应的接收确认消息，即目标CPU已接收到重发缓存中的数据报文。

参照图5，目标CPU接收数据报文具体包括以下步骤：

S501：目标CPU从相应的接收缓存获取数据报文，并判断获取的数据报文是否为预期的数据报文，若是，进入S502，否则，进入S503；其中，通过对获取的数据报文的前向序号的校验判断其是否为预期的数据报文，若获取的数据报文的前向序号与期望的前向序号一致，则其为预期的数据报文；

S502：目标CPU将获取的数据报文传递给上层应用，并向源CPU发送相应的接收确认消息，之后结束本流程；

S503：目标CPU将获取的数据报文舍弃后结束本流程。

下面通过一实施例进一步加以说明。

参照图6，CPU1通过PCI Express总线系统设备PEX8508和PEX8518与CPU2、CPU3连接。PEX8508采用NT桥方式连接CPU1与CPU2，PEX8518采用NT桥方式连接CPU1与CPU3，CPU2与CPU3之间不存在连接关系。

图6所示的CPU1、CPU2及CPU3可以建立如图7所示的内存区域对应关系。以箭头1所示对应关系为例，说明如下：

1、设置PEX8508 NT桥CPU2一侧的基地址寄存器，确定发送窗口基址和大小。在NT桥CPU2一侧的基地址寄存器中存储了该内存区间的起始地址。

2、在CPU1存储器中分配一块与PEX8508 NT桥窗口大小相等的内存区1。

3、设置PEX8508 NT桥CPU1一侧的翻译地址寄存器值为内存区1的基地址，从而把CPU2的PEX8508 NT桥内存区间窗口映射到CPU1的内存区1。

建立完成后，当CPU2需要写CPU1的内存区1时，只需写图中PEX8508NT桥内存映射区间就可以了。如果CPU2写PEX8508 NT桥内存映射区间的一段内存，将会在CPU1的内存区1写相同偏移量的内存。

同样地，建立CPU1中PEX8508 NT桥内存映射区间和CPU2内存区2的对应关系后，当CPU1相要访问CPU2的内存区2时，只需要访问CPU1一侧的PEX8508 NT桥内存映射区间就可以了。这样就在物理上建立起了CPU1和CPU2的双工通道。

设置PEX8518 NT桥两侧的相关寄存器，可以建立CPU1和CPU3的双工通道。即CPU3可以通过写本CPU侧PEX8518 NT桥的内存映射区间来写CPU1的内存区3，CPU1通过写本CPU侧的PEX8518 NT桥的内存映射区间来写CPU3的内存区4。在物理上完成设置后，CPU间就可以利用双工通道实现通讯了。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种多CPU通讯方法，其特征在于，所述方法通过PCI Express总线设备实现，包括以下步骤：

a、源CPU和目标CPU分别进行本侧PCI Express总线设备非透明桥的初始化配置，任意一侧的初始化配置完成后，进入步骤b；

c、所述源CPU根据所述非透明桥的初始化配置向所述目标CPU发送数据报文；

d、所述目标CPU接收所述数据报文；

所述步骤a中，所述本侧PCI Express总线设备非透明桥的初始化配置是指建立本侧非透明桥基地址寄存器地址和非透明桥另一侧CPU接收缓存地址的对应关系。

2.如权利要求1所述的多CPU通讯方法，其特征在于，所述源CPU向所述目标CPU发送数据报文具体包括以下步骤：

c2、将所述数据报文存入所述重发缓存，同时通过写所述源CPU侧非透明桥基地址寄存器的相应地址将所述数据报文发送给所述目标CPU，之后启动所述连接状况的周期测试并进入步骤c4；

3.如权利要求2所述的多CPU通讯方法，其特征在于，所述目标CPU接收所述数据报文具体包括以下步骤：

d3、将获取的数据报文舍弃后结束本流程。

4.如权利要求3所述的多CPU通讯方法，其特征在于：所述步骤

d1中，通过对获取的数据报文的前向序号的校验判断其是否为预期的数据报文，若获取的数据报文的前向序号与期望的前向序号一致，则其为预期的数据报文。

5.如权利要求4所述的多CPU通讯方法，其特征在于：所述源CPU接收到的接收确认消息中包括所述目标CPU获取的数据报文的后向序号，所述源CPU接收到相应的接收确认消息是指所述重发缓存中的数据报文的前向序号等于或小于所述后向序号。

6.如权利要求5所述的多CPU通讯方法，其特征在于：所述源CPU发送的数据报文的前向序号为自然数，其值比其上一次发送的数据报文的前向序号大1，以4096为周期循环使用前向序号值；后向序号的值为所述目标CPU最新正确接收的数据报文的前向序号。

7.如权利要求1至6其中之一所述的多CPU通讯方法，其特征在于，所述连接状况的周期测试具体包括以下步骤：

b3、经过预设的测试周期后回到步骤b1。

8.如权利要求7所述的多CPU通讯方法，其特征在于：所述步骤b2中，对所述测试响应消息进行校验是指判断所述测试响应消息中的CPU标识号及测试码与所述测试消息中的CPU标识号及测试码是否一致，若一致，则校验成功，否则，校验失败。

9.一种多CPU通讯系统，其特征在于，包括：

非透明桥配置管理模块，用于实现本侧PCI Express总线设备非透明桥的初始化配置；

通讯连接维护模块，用于根据所述非透明桥配置管理模块的配置完成中断消息启动CPU间的PCI Expres s总线连接状况的周期测试；

数据收发管理模块，用于实现所述连接状况的周期测试并在连接状况正常时实现CPU间数据报文的收发；

所述非透明桥配置管理模块中，所述本侧PCI Express总线设备非透明桥的初始化配置是指建立本侧非透明桥基地址寄存器地址和非透明桥另一侧CPU接收缓存地址的对应关系。