CN115827266A - 多cpu系统异构计算机系统中消息转发框架的方法及系统 - Google Patents

Abstract

本发明涉及多CPU系统异构计算机系统中消息转发框架的方法及系统。其方法包括：消息通信接口接收当前应用程序的应用数据，并在应用数据的报文前面添加应用转发协议头后，将报文发送给消息转发模块；消息转发模块根据应用转发协议头选择传递方式后，将报文发送给可靠传输模块；可靠传输模块根据应用转发协议头选择传送通道以进行报文发送；被选中的传输通道在报文前面添加通道转发协议头，以调用集成的底层传输接口将报文发送到目标应用程序。其系统包括用于实施所述方法的计算机可读介质。本发明改进了消息转发框架的功能结构划分，采用统一的抽象接口和报文格式，以及提供统一的可靠传输，提高代码复用率，减少报文适配工作，方便维护和使用。

Description

多CPU系统异构计算机系统中消息转发框架的方法及系统

技术领域

本发明涉及多CPU系统异构计算机系统中消息转发框架的方法及系统，属于数据通信领域。

背景技术

在军工行业中很多类型的设备都是多个CPU芯片和多个FPGA芯片组成的异构计算机系统，其中多个CPU芯片的架构各不相同，比如aarch32，aarch64，mips32，mips64等，每个CPU芯片上运行独立的操作系统。一个CPU芯片加独立运行的操作系统称为CPU单元，而不同CPU单元间，有的通过FPGA芯片间接连接，有的通过总线直接相连。在实际应用中每个CPU单元上会有多个应用程序，同一个CPU单元内各个应用程序之间，以及不同CPU单元上的不同应用程序之间需要进行通信，协同实现整个异构计算机系统的功能。

对于多CPU单元间以及CPU单元内部的消息转发，传统的实现方式是：对于不同CPU单元间的消息转发，根据不同的连接方式各自编写消息转发程序；对于同一个CPU单元内不同应用程序，各自使用不同的进程/线程间通信方式。但是，传统的实现方法在实际使用中存在一些问题，主要包括：

(1)CPU单元间的消息通信没有通用的处理框架，所以不管是CPU单元内部的进程或者线程间通信，还是CPU单元间的消息通信，都是各自独立实现相互不通用，不但重复造轮子，还导致代码难以复用。

(2)CPU单元间的消息通信依赖的底层传输通道和硬件强关联，甚至需要使用第三方的驱动接口，但是底层传输通道没有统一的抽象接口和通用的消息结构，所以CPU单元在和FPGA芯片或者其他CPU单元交互消息报文时，对报文格式的适配工作将成倍增加。

(3)CPU单元间的消息通信由于底层传输通道使用的UDP通信或者字符设备都是报文式交互，需要单独实现报文重传、分片重组、乱序重排等可靠传输功能，由于目前没有通用的消息框架和统一的抽象接口，导致应用程序都是各自根据需要实现可靠传输功能的部分功能，同样存在代码重复开发和难以维护的问题。

发明内容

本发明提供一种多CPU系统异构计算机系统中消息转发框架的方法及系统，旨在至少解决现有技术中存在的技术问题之一。

本发明的技术方案涉及一种多CPU系统异构计算机中消息转发框架的方法，根据本发明的方法包括以下步骤：

S110、消息通信接口接收当前应用程序的应用数据，在所述当前应用程序的应用数据的报文前面添加应用转发协议头后，将所述报文发送给消息转发模块；

S120、所述消息转发模块根据所述应用转发协议头选择传递方式后，将所述报文发送给可靠传输模块；

S130、所述可靠传输模块根据所述应用转发协议头选择传送通道以进行报文发送；

S140、被选中的所述传输通道在所述报文前面添加通道转发协议头，以调用集成的底层传输接口将所述报文发送到目标应用程序。

进一步，所述步骤S120中：所述应用转发协议头包括用于判断报文传递方式的复合字段，其中，当所述报文需发送给所述当前应用程序对应的当前CPU单元的其他应用程序时，选择所述消息通信接口进行消息传递；当所述报文需发送给其他CPU单元的应用程序时，选择所述传输通道进行消息传递。

进一步，所述步骤S130包括：所述可靠传输模块在所述报文中添加可靠传输协议头，其中，所述可靠传输协议头包括sn字段和cmd字段。

进一步，所述方法还包括以下步骤：

S210、所述传输通道接收所述其他应用程序发送的报文，根据所述报文的通道转发协议头进行判断处理操作后，将所述通道转发协议头剥去后，将所述报文发送给所述可靠传输模块；

S220、所述可靠传输模块根据所述报文的可靠传输协议头进行判断处理操作后，将所述可靠传输协议头剥去，再将所述报文发送给消息转发模块；

S230、所述消息转发模块根据所述报文的应用转发协议头确定接收应用程序后，将所述报文的应用转发协议头剥去，再通过消息通信接口将所述报文发送到所述接收应用程序。

进一步，所述步骤S210中，所述判断处理操作包括：

判断所述报文的通道转发协议头中dstid字段是否和当前传输通道的chnlid字段相同，若否，查找chnlid字段与所述dstid字段相同的其他传输通道，将所述报文发送给查找到的其他通道。

进一步，所述步骤S220中，所述判断处理操作包括：当接收到的所述报文为ACK报文，则从未确认报文队列汇总移出对应报文以进行报文重传；当接收到的所述报文乱序，则按照sn序号对所述报文进行重排序；当接收到的所述报文为分片报文，则对所述报文进行重组。

进一步，所述消息转发框架的功能层包括应用数据层、应用转发层、可靠传输层和通道转发层。

本发明的技术方案还涉及计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。

本发明的技术方案还涉及多处理器的异构计算机系统，所述系统包含上述的计算机可读存储介质。

本发明的有益效果如下：

本发明的技术方案中，对CPU单元间/内部的消息交互处理流程进行功能层次的划分，设计的消息转发框架通用性较高，可适用CPU单元内部以及CPU单元间的应用程序中间的消息转发，并使用私有协议栈来描述各层次的功能及作为转发处理的依据，可提高了代码的复用率；对于底层传输通道定义的统一抽象接口以及对外交互的报文格式可以适用各种底层接口(如UDP报文和各种字符设备接口)和其他单元(如FPGA芯片、其他CPU单元)，使得消息转发框架可以集成不同的底层传输通道，并使用相同的报文格式进行对外的消息交互，从而大幅减少了底层传输通道的报文适配；在底层传输通道的报文式交互基础上，通过开源的KCP协议提供统一的可靠传输来进行报文的报文重传、分片重组、乱序重排等，实现类似TCP的流式通信功能，极大地方便了使用。

附图说明

图1是根据本发明的消息转发框架的逻辑结构图。

图2是根据本发明的消息转发框架的结构示意图。

图3是根据本发明的消息转发框架的私有协议栈的结构示意图。

图4是根据本发明的可靠传输协议的报文格式示意图。

图5是根据本发明的通道转发协议的报文格式示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参照图1和图2，本发明的技术方案多CPU系统异构计算机中消息转发框架的方法及系统，在一些实施例中，多CPU系统异构计算机中消息转发框架的系统包括消息通信接口、消息转发模块、可靠传输模块、传输通道模块。

其中，消息通信接口用于提供应用程序和消息转发模块之间的通信接口，当前应用程序不管是和同CPU单元的其他应用程序通信，还是其他CPU单元上的应用程序通信，都是通过消息通信接口把消息发给消息转发模块进行处理；消息转发模块用于处理消息通信接口传递的应用程序应用数据，消息转发模块根据消息转发的目标应用程序的不同，采用不同的传送通道，具体地，通过消息通信接口把消息转发给当前CPU单元内的其他应用程序，或者通过传输通道发送给其他CPU单元上的应用程序；可靠传输模块用于对底层通道的报文式通信提供报文重传、分片重组、乱序重排等可靠传输功能；传输通道用于根据CPU单元间的连接方式加载对应底层通道接口(比如UDP报文、字符设备驱动等)，提供CPU单元间的报文式通信。

相应地，消息转发框架划分为多个功能层，其功能层包括应用数据层、应用转发层、可靠传输层、通道转发层、UDP层、IP层、Ethernet层和字符设备层。每个功能层设置有相应的私有协议栈：应用数据、应用转发协议头、可靠传输协议头、通道转发协议头、UDP协议头、IP协议头、Ethernet头和字符设备头。

其中，应用数据层表示CPU单元上的应用程序app需要接受、发送的原始数据。应用转发层用来说明需要转发的消息是哪个CPU单元(sid)上哪个应用程序app(sport)发出来的，消息转发的目的地是哪个CPU单元(did)上的哪个应用程序(dport)。可靠传输层主要是基于底层报文式通信提供丢包重传、分片/重组等功能。通道转发层主要是说明从某个传输通道收发的报文需要对固定的字段进行赋值。

参照图1，在一些实施例中，根据本发明的多CPU系统异构计算机中消息转发框架的方法，至少包括以下步骤：

S110、消息通信接口接收当前应用程序的应用数据，在当前应用程序的应用数据的报文前面添加应用转发协议头后，将报文发送给消息转发模块；

S120、消息转发模块根据应用转发协议头选择传递方式后，将报文发送给可靠传输模块；

S130、可靠传输模块根据应用转发协议头选择传送通道以进行报文发送；

S140、被选中的传输通道在报文前面添加通道转发协议头，以调用集成的底层传输接口将报文发送到目标应用程序。

进一步，在一些实施例中，根据本发明的多CPU系统异构计算机中消息转发框架的方法，还包括以下步骤：

S210、传输通道接收其他应用程序发送的报文，根据报文的通道转发协议头进行判断处理操作后，将通道转发协议头剥去，再将报文发送给可靠传输模块；

S220、可靠传输模块根据报文的可靠传输协议头进行判断处理操作后，将可靠传输协议头剥去，再将报文发送给消息转发模块；

S230、消息转发模块根据报文的应用转发协议头确定接收应用程序后，将报文的应用转发协议头剥去，再通过消息通信接口将报文发送到接收应用程序。

步骤S110的具体实施方式

在本发明一些实施例中，抽象出统一的消息通信接口提供给应用程序使用，当前应用程序不管是和同CPU单元的其他应用程序通信，还是其他CPU单元上的应用程序通信，都是通过消息通信接口和消息转发模块进行交互。譬如，在一应用实施例中，CPU单元1上的应用程序app11作为当前应用程序，需要和CPU单元1上的app12，以及CPU单元2上的应用程序app21进行通信，那么CPU单元1上的appl1不管是和CPU单元1的应用程序app12通信，还是和CPU单元2上的应用程序app21通信，都调用同一套消息通信接口进行消息的收发，应用数据层的消息通信接口(应用转发协议头)参见表1。

表1应用数据层的消息通信接口

步骤S120的具体实施方式

在本发明一些实施例中，消息通信接口把当前应用程序发送的应用数据转给消息转发模块时，会在报文前面添加“应用转发协议头”，通过应用转发协议头描述数据从哪里发出来以及要发送到哪个目标应用程序。譬如，app11作为当前应用程序，app11发送给app12的“应用转发协议头”中各字段值(sid＝1，sport＝11，did＝1，dport＝12)，app11发送给app13则为(sid＝1，sport＝11，did＝2，dport＝21)。相应地，消息通信接口将接收到的消息转发模块转发给接收应用程序前，会先剥去“应用转发协议头”，再把应用数据传递给接收应用程序。

在一应用实施例中，消息转发模块收到消息通信接口传递的报文时，会根据“应用转发协议头”中的did+dport判断这个报文如何转发，其中包括：a)当报文需要转发给当前CPU单元的其他应用程序，会直接通过消息通信接口转发，譬如上述实施例中，appl1发送给appl2的(sid＝1，sport＝11，did＝1，dport＝12)消息；b)当报文需要转发给其他CPU单元上的应用程序，会选择传输通道传递报文，譬如上述例子中，appl1发送给app21的(sid＝1，sport＝11，did＝2，dport＝21)消息。

步骤S130的具体实施方式

在本发明一些实施例中，可靠传输模块收到消息转发模块传递的报文后，参见表4，可靠传输模块根据“应用转发协议头”里的did选择对应的传输通道来传递报文。进一步地，可靠传输模块会根据报文的长度是否大于网络MTU(1500字节)决定是否分片等因素，添加“可靠传输协议头”，同时维护待确认报文队列进行丢包/超时重传功能。其中，“可靠传输协议头”的报文格式参见图4。

步骤S140的具体实施方式

不同的硬件连接方式对应不同的底层通信方式，本发明实施例中，通过提供标准的外部调用接口，不同的底层通信接口可以被消息转发框架的不同传输通道所集成。单个传输通道接收收到可靠传输模块传递的报文后，会在报文前面增加“通道转发协议头”(参见表2)，调用集成的底层通信接口把报文发送出去。

表2底层传输通道的标准接口

步骤S210的具体实施方式

当传输通道接收到其他CPU单元发送的报文时，会判断报文中“通道转发协议头”(参见表2)的dstid字段是否和当前传输通道的chnlid字段相同，以及进行其他字段的校验，然后把报文剥去“通道转发协议头”再传递给可靠传输模块。具体地，参见图5，设置有多个传输通道，如果dstid字段和当前传输通道一致，则传递给可靠传输模块以分发给业务模块；如果dstid字段和当前传输通道不一致，则按照dstid查找其他的传输通道，当找到chnlid字段与dstid字段相同的其他传输通道后，把报文转给查找到的其他传输通道。

步骤S220的具体实施方式

可靠传输模块接收到传输通道传递的报文后，会根据“可靠传输协议头”(参见图4)中的sn字段和cmd字段，进行判断处理操作，其判断处理操作包括：如果接收到的报文是ACK报文，则从未确认报文队列中移出对应报文，以进行报文重传；如果接收到的报文乱序，则会按照sn序号进行重排序，如果接收到的是分片报文(frg字段)，则会先重组。完成上述判断处理操作后，剥去报文的“可靠传输协议头”，在把报文传递给消息转发模块。

具体地，sn序列号从0开始，发送端每发送一个包sn+1，接收端每接收一个包会取出接收报文中的sn并在回复ack报文中带上sn，表示第sn个包已经被接收，发送端不用重传了。其中，重排序：按照sn的序号，序号小的是前面的报文，序号大的是后接收的报文，按照从小到大的顺序排序。重传：如果发送端没有收到ack的第sn个报文需要重传，譬如：发送端sn＝8，9，10的3个报文，只收到sn＝8和sn＝10的ack，则sn＝9的报文发送端需要重新发送。重组：按照frq的值顺序组包。不需要分片frq也是0。

需要说明的是，Cmd用来标识报文类型，1是对端发送的数据包(包括重传的数据包和新的数据包)，2是对端接收到数据包后回复过来的ack响应报文。frq用来标识报文是否分片，比如第sn＝6个报文分成3片，那么这3个报文sn相同，用frq表示是第几个分片，frq值从大到小直至0，上述3个分片的frq分别为2，1，0。Frq＝0表示最后一个分片可以组包了。

步骤S230的具体实施方式

消息转发模块接收到可靠传输模块传递的报文时，会根据“应用转发协议头”(参见表1)中的did和dport字段判断转发给哪个接收应用程序，并剥去报文中的“应用转发协议头”后，通过消息通信接口发送给接收应用程序。譬如，app21回复给app11的(sid＝2，sport＝21，did＝1，dport＝11)消息回转发到应用程序app11；app21发送给app12的(sid＝2，sport＝21，did＝1，dport＝12)消息会转发到应用程序app12。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (9)

1.一种多CPU系统异构计算机系统中消息转发框架的方法，其特征在于，所述消息转发框架设置有私有协议栈，所述私有协议栈包括应用转发协议头、可靠传输协议头和通道转发协议头，所述方法包括以下步骤：

S110、消息通信接口接收当前应用程序的应用数据，在所述当前应用程序的应用数据的报文前面添加应用转发协议头后，将所述报文发送给消息转发模块；

S120、所述消息转发模块根据所述应用转发协议头选择传递方式后，将所述报文发送给可靠传输模块；

S130、所述可靠传输模块根据所述应用转发协议头选择传送通道以进行报文发送；

S140、被选中的所述传输通道在所述报文前面添加通道转发协议头，以调用集成的底层传输接口将所述报文发送到目标应用程序。

2.根据权利要求1所述的方法，其特征在于，所述步骤S120中：

所述应用转发协议头包括用于判断报文传递方式的复合字段(did+dport)，其中，

当所述报文需发送给所述当前应用程序对应的当前CPU单元的其他应用程序时，选择所述消息通信接口进行消息传递；

当所述报文需发送给其他CPU单元的应用程序时，选择所述传输通道进行消息传递。

3.根据权利要求1所述的方法，其特征在于，所述步骤S130包括：

所述可靠传输模块在所述报文中添加可靠传输协议头，其中，所述可靠传输协议头包括sn字段和cmd字段。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括以下步骤：

S210、所述传输通道接收所述其他应用程序发送的报文，根据所述报文的通道转发协议头进行判断处理操作后，将所述通道转发协议头剥去后，将所述报文发送给所述可靠传输模块；

S220、所述可靠传输模块根据所述报文的可靠传输协议头进行判断处理操作后，将所述可靠传输协议头剥去，再将所述报文发送给消息转发模块；

S230、所述消息转发模块根据所述报文的应用转发协议头确定接收应用程序后，将所述报文的应用转发协议头剥去，再通过消息通信接口将所述报文发送到所述接收应用程序。

5.根据权利要求4所述的方法，其特征在于，所述步骤S210中，所述判断处理操作包括：

判断所述报文的通道转发协议头中dstid字段是否和当前传输通道的chnlid字段相同，若否，查找chnlid字段与所述dstid字段相同的其他传输通道，将所述报文发送给查找到的其他通道。

6.根据权利要求4所述的方法，其特征在于，所述步骤S220中，所述判断处理操作包括：

当接收到的所述报文为ACK报文，则从未确认报文队列汇总移出对应报文以进行报文重传；

当接收到的所述报文乱序，则按照sn序号对所述报文进行重排序；

当接收到的所述报文为分片报文，则对所述报文进行重组。

7.根据权利要求1所述的方法，其特征在于，所述消息转发框架的功能层包括应用数据层、应用转发层、可靠传输层和通道转发层。

8.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至7中任一项所述的方法。

9.一种具有多个处理器的异构计算机系统，其特征在于，包括：

根据权利要求8所述的计算机可读存储介质。

Images