CN105007238A - 轻量级跨平台消息中间件的实现方法及系统 - Google Patents

Abstract

本发明提供一种轻量级跨平台消息中间件的实现方法，包括：S1、配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则；S2、初始化应用进程，创建该进程通信所需要的相关资源；S3、消息队列接收线程实现；S4、进程读取数据接口实现；S5、进程发送数据接口实现；S6、TCP组播线程池的实现。本发明还提供一种轻量级跨平台消息中间件的实现系统。

Description

轻量级跨平台消息中间件的实现方法及系统

技术领域

本发明涉及计算机通信技术领域，特别涉及一种轻量级跨平台消息中间件的实现方法及系统。

背景技术

消息中间件(MOM,Message-oriented middle-ware)是一种利用高效可靠的消息传递机制进行与平台无关的数据通信，并基于数据通信来进行分布式系统集成的软件。它通过将信息以消息(该消息除包含了应用程序处理所需的数据外还应该包含其它成分，例如消息的发送者、接收者，消息的一些控制信息)的形式，从一个应用程序传送到另一个或多个应用程序。消息中间件在TCP/IP网络体系结构中处于应用层，网络应用程序建立在消息中间件之上，实现各种分布式应用服务。

在使用过程中，现有的消息中间件存在以下问题：

1.嵌入了大量的第三方库，造成使用该消息中间件的应用程序变得体积臃肿，编译速度变慢；

2.通常对Windows和Unix支持较好，对Vxworks平台支持不足；

3.大文件消息传输能力较差，报文传输的长度有限制；

4.使用过程繁琐，消息中间件在通信过程中需要创建、保持和关闭连接，对于需要频繁使用消息中间件的应用，需要不断重复这一过程，增加了开发者的负担。

发明内容

有鉴于此，本发明提供一种轻量级跨平台消息中间件的实现方法及系统。

一种轻量级跨平台消息中间件的实现方法，包括如下步骤：

S1、配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则；

S2、初始化应用进程，创建该进程通信所需要的相关资源；

S3、消息队列接收线程实现：调用消息队列接收函数，将消息队列接收线程阻塞，如消息队列收到数据，将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

S4、进程读取数据接口实现：利用POSIX库的I/O复用Select函数，轮询消息队列“写”管道、UDP通信Socket和TCP通信Socket，如收到数据则将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

S5、进程发送数据接口实现：根据发送报文头中的发送进程ID以及预先配置的路由表，判断通信发生在节点间还是节点内；根据发送报文长度，判断通信方式采用UDP还是TCP；

S6、TCP组播线程池的实现：根据预先配置的路由表，解析组播地址中包括的IP地址，创建TCP发送线程池，并通过TCP发送线程池完成多地址TCP报文发送的并行处理。

一种轻量级跨平台消息中间件的实现系统，包括如下模块：

路由表配置模块，用于配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则；

进程初始化模块，用于初始化应用进程，创建该进程通信所需要的相关资源；

消息队列接收线程模块，用于调用消息队列接收函数，将消息队列接收线程阻塞，如消息队列收到数据，将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

进程读取数据接口模块，用于利用POSIX库的I/O复用Select函数，轮询消息队列“写”管道、UDP通信Socket和TCP通信Socket，如收到数据则将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

进程发送数据接口模块，用于根据发送报文头中的发送进程ID以及预先配置的路由表，判断通信发生在节点间还是节点内；根据发送报文长度，判断通信方式采用UDP还是TCP；

TCP组播线程池模块，用于根据预先配置的路由表，解析组播地址中包括的IP地址，创建TCP发送线程池，并通过TCP发送线程池完成多地址TCP报文发送的并行处理。

本发明提供的轻量级跨平台消息中间件的实现方法及系统，具有如下优点：

1)使用操作系统自带POSIX库，而非依赖外部第三方库，实现了消息中间件的轻量化；

2)通过I/O复用及管道等技术封装消息队列、UDP、TCP等进程通信方式，屏蔽了以上进程通信方式使用上的差异，实现了通信框架跨平台(Windows、Unix和Vxworks)使用以及通信接口上的统一；

3)使用预设路由表，控制消息转发规则，屏蔽了通信物理位置上的差异。用户只需关心通信的内容，消息中间件可自动处理并选择通信策略，并发送到相应的目的地。

保证了进行通信交互策略的透明性、平台的无关性。

附图说明

图1为本发明实施例的轻量级跨平台消息中间件的实现方法流程图；

图2为图1中步骤S2的子流程图；

图3为本发明实施例的轻量级跨平台消息中间件的实现系统结构框图；

图4是图3中进程初始化模块的结构框图。

具体实施方式

如图1所示，一种轻量级跨平台消息中间件的实现方法，包括如下步骤：

S1、配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则。

分布式系统中每个节点在应用本消息中间件时，预先编辑信息转发路由表，消息中间件通过解析该路由表，明确系统中的进程与节点部署关系，明确组播地址配置情况。

分布式系统中各节点的进程ID：

IP地址、组播地址路由关系信息：

S2、初始化应用进程，创建该进程通信所需要的相关资源；

可选地，如图2所示，所述步骤S2包括如下子步骤：

S21、初始化进程通信所需的缓冲区及缓冲区长度。

S22、创建消息队列的“读/写”管道以及相应的文件描述符。

通过“读/写”管理标记消息队列接收或读取数据，将管道的文件描述符作为I/O复用函数Select的参数；Select函数允许进程指示内核等待消息队列、UDP通信Socket、TCP通信Socket中任意一个接收到数据，并仅在一个或多个事件发生或经过预先指定的时间后才唤醒进程。

S23、创建节点间短报文通信所需的UDP通信Socket。

分别创建UDP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定。

S24、创建节点间短报文通信所需的TCP通信Socket。

分别创建TCP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定。

S25、创建消息队列接收线程。

创建一个并发性线程，用于消息队列接收数据。

S3、消息队列接收线程实现：调用消息队列接收函数，将消息队列接收线程阻塞，如消息队列收到数据，将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态。

S4、进程读取数据接口实现：利用POSIX库的I/O复用Select函数，轮询消息队列“写”管道、UDP通信Socket和TCP通信Socket，如收到数据则将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态。

可选地，所述步骤S4包括：

分配一个描述字集，并将描述字集初始化。

将“读”管道文件描述符、UDP通信Socket句柄、TCP通信Socket句柄加入到描述字集；使用Select函数轮询描述字集，等待接收数据；

通过查询“读/写”管道的状态，来完成消息中间件的读取数据主线程与消息队列接收线程之间的同步；一旦消息队列线程接收到数据，读取数据主线程可通过查询“读”管道文件描述符的状态变更，获悉消息队列已收到数据，从而将该数据返回给应用进程。

S5、进程发送数据接口实现：根据发送报文头中的发送进程ID以及预先配置的路由表，判断通信发生在节点间还是节点内；根据发送报文长度，判断通信方式采用UDP还是TCP。

可选地，所述步骤S5包括：

为应用进程提供数据发送接口函数，应用进程填入需要发送的数据以及发送的目的进程ID；消息中间件根据预设的路由表和目的进程ID，查找进程ID和目的节点的匹配关系，以获得消息发送的地址；

判断发送的报文长度是否小于大报文数据长度门限值，如小于大报文数据长度门限值，则判断数据发往本节点或外节点；如发往本节点，将数据发送至应用进程所述的消息队列；如发往外节点采用UPD通信Socket发送数据；

如果大于或等于大报文数据长度门限值，则根据发送目的进程ID和预设的路由表，判断数据发送是否为点播，在数据发送为点播时，直接连接目的进程通过TCP通信Socket发送数据；在数据发送为组播时，通过TCP发送线程池发送数据。

S6、TCP组播线程池的实现：根据预先配置的路由表，解析组播地址中包括的IP地址，创建TCP发送线程池，并通过TCP发送线程池完成多地址TCP报文发送的并行处理。通过TCP发送线程池完成多地址TCP报文发送的并行处理，可以保证数据发送的及时性。

可选地，所述步骤S6包括：

根据预先配置的路由表，解析组播地址中的IP地址；

创建TCP发送线程池；

将TCP通信Socket设置为非阻塞模式；

连接发送目的地址，通过TCP发送线程池完成多地址TCP报文发送的并行处理。

如图3所示，本发明实施例还提供一种轻量级跨平台消息中间件的实现系统，包括如下模块：

路由表配置模块10，用于配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则；

进程初始化模块20，用于初始化应用进程，创建该进程通信所需要的相关资源。

可选地，如图4所示，所述进程初始化模块20包括如下单元：

缓冲区初始化单元21，用于初始化进程通信所需的缓冲区及缓冲区长度；

管道及描述符创建单元22，用于创建消息队列的“读/写”管道以及相应的文件描述符；

通过“读/写”管理标记消息队列接收或读取数据，将管道的文件描述符作为I/O复用函数Select的参数；Select函数允许进程指示内核等待消息队列、UDP通信Socket、TCP通信Socket中任意一个接收到数据，并仅在一个或多个事件发生或经过预先指定的时间后才唤醒进程；

UDP通信Socket创建单元23，用于创建节点间短报文通信所需的UDP通信Socket：

分别创建UDP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定；

TCP通信Socket创建单元24，用于创建节点间短报文通信所需的TCP通信Socket：

分别创建TCP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定；

消息队列接收线程创建单元25，用于创建一个并发性线程，用于消息队列接收数据。

消息队列接收线程模块30，用于调用消息队列接收函数，将消息队列接收线程阻塞，如消息队列收到数据，将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

进程读取数据接口模块40，用于利用POSIX库的I/O复用Select函数，轮询消息队列“写”管道、UDP通信Socket和TCP通信Socket，如收到数据则将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态。

可选地，所述进程读取数据接口模块40包括：

分配一个描述字集，并将描述字集初始化；

将“读”管道文件描述符、UDP通信Socket句柄、TCP通信Socket句柄加入到描述字集；使用Select函数轮询描述字集，等待接收数据；

通过查询“读/写”管道的状态，来完成消息中间件的读取数据主线程与消息队列接收线程之间的同步；一旦消息队列线程接收到数据，读取数据主线程可通过查询“读”管道文件描述符的状态变更，获悉消息队列已收到数据，从而将该数据返回给应用进程。

进程发送数据接口模块50，用于根据发送报文头中的发送进程ID以及预先配置的路由表，判断通信发生在节点间还是节点内；根据发送报文长度，判断通信方式采用UDP还是TCP。

可选地，所述进程发送数据接口模块50包括：

为应用进程提供数据发送接口函数，应用进程填入需要发送的数据以及发送的目的进程ID；消息中间件根据预设的路由表和目的进程ID，查找进程ID和目的节点的匹配关系，以获得消息发送的地址；

判断发送的报文长度是否小于大报文数据长度门限值，如小于大报文数据长度门限值，则判断数据发往本节点或外节点；如发往本节点，将数据发送至应用进程所述的消息队列；如发往外节点采用UPD通信Socket发送数据；

如果大于或等于大报文数据长度门限值，则根据发送目的进程ID和预设的路由表，判断数据发送是否为点播，在数据发送为点播时，直接连接目的进程通过TCP通信Socket发送数据；在数据发送为组播时，通过TCP发送线程池发送数据。

TCP组播线程池模块60，用于根据预先配置的路由表，解析组播地址中包括的IP地址，创建TCP发送线程池，并通过TCP发送线程池完成多地址TCP报文发送的并行处理。

可选地，所述TCP组播线程池模块60包括：

根据预先配置的路由表，解析组播地址中的IP地址；

创建TCP发送线程池；

将TCP通信Socket设置为非阻塞模式；

连接发送目的地址，通过TCP发送线程池完成多地址TCP报文发送的并行处理。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种轻量级跨平台消息中间件的实现方法，其特征在于，包括如下步骤：

S1、配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则；

S2、初始化应用进程，创建该进程通信所需要的相关资源；

S3、消息队列接收线程实现：调用消息队列接收函数，将消息队列接收线程阻塞，如消息队列收到数据，将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

S4、进程读取数据接口实现：利用POSIX库的I/O复用Select函数，轮询消息队列“写”管道、UDP通信Socket和TCP通信Socket，如收到数据则将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

S5、进程发送数据接口实现：根据发送报文头中的发送进程ID以及预先配置的路由表，判断通信发生在节点间还是节点内；根据发送报文长度，判断通信方式采用UDP还是TCP；

S6、TCP组播线程池的实现：根据预先配置的路由表，解析组播地址中包括的IP地址，创建TCP发送线程池，并通过TCP发送线程池完成多地址TCP报文发送的并行处理。

2.如权利要求1所述的轻量级跨平台消息中间件的实现方法，其特征在于，所述步骤S2包括如下子步骤：

S21、初始化进程通信所需的缓冲区及缓冲区长度；

S22、创建消息队列的“读/写”管道以及相应的文件描述符；

通过“读/写”管理标记消息队列接收或读取数据，将管道的文件描述符作为I/O复用函数Select的参数；Select函数允许进程指示内核等待消息队列、UDP通信Socket、TCP通信Socket中任意一个接收到数据，并仅在一个或多个事件发生或经过预先指定的时间后才唤醒进程；

S23、创建节点间短报文通信所需的UDP通信Socket：

分别创建UDP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定；

S24、创建节点间短报文通信所需的TCP通信Socket：

分别创建TCP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定；

S25、创建消息队列接收线程：

创建一个并发性线程，用于消息队列接收数据。

3.如权利要求2所述的轻量级跨平台消息中间件的实现方法，其特征在于，所述步骤S4包括：

分配一个描述字集，并将描述字集初始化；

将“读”管道文件描述符、UDP通信Socket句柄、TCP通信Socket句柄加入到描述字集；使用Select函数轮询描述字集，等待接收数据；

通过查询“读/写”管道的状态，来完成消息中间件的读取数据主线程与消息队列接收线程之间的同步；一旦消息队列线程接收到数据，读取数据主线程可通过查询“读”管道文件描述符的状态变更，获悉消息队列已收到数据，从而将该数据返回给应用进程。

4.如权利要求3所述的轻量级跨平台消息中间件的实现方法，其特征在于，所述步骤S5包括：

为应用进程提供数据发送接口函数，应用进程填入需要发送的数据以及发送的目的进程ID；消息中间件根据预设的路由表和目的进程ID，查找进程ID和目的节点的匹配关系，以获得消息发送的地址；

判断发送的报文长度是否小于大报文数据长度门限值，如小于大报文数据长度门限值，则判断数据发往本节点或外节点；如发往本节点，将数据发送至应用进程所述的消息队列；如发往外节点采用UPD通信Socket发送数据；

如果大于或等于大报文数据长度门限值，则根据发送目的进程ID和预设的路由表，判断数据发送是否为点播，在数据发送为点播时，直接连接目的进程通过TCP通信Socket发送数据；在数据发送为组播时，通过TCP发送线程池发送数据。

5.如权利要求4所述的轻量级跨平台消息中间件的实现方法，其特征在于，所述步骤S6包括：

根据预先配置的路由表，解析组播地址中的IP地址；

创建TCP发送线程池；

将TCP通信Socket设置为非阻塞模式；

连接发送目的地址，通过TCP发送线程池完成多地址TCP报文发送的并行处理。

6.一种轻量级跨平台消息中间件的实现系统，其特征在于，包括如下模块：

路由表配置模块，用于配置路由表，路由表包括进程ID、IP地址、组播地址路由关系信息，消息中间件根据路由表解析出消息转发控制规则；

进程初始化模块，用于初始化应用进程，创建该进程通信所需要的相关资源；

消息队列接收线程模块，用于调用消息队列接收函数，将消息队列接收线程阻塞，如消息队列收到数据，将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

进程读取数据接口模块，用于利用POSIX库的I/O复用Select函数，轮询消息队列“写”管道、UDP通信Socket和TCP通信Socket，如收到数据则将数据拷贝至进程专属缓冲区中，并改写消息队列“读“与“写”管道状态；

进程发送数据接口模块，用于根据发送报文头中的发送进程ID以及预先配置的路由表，判断通信发生在节点间还是节点内；根据发送报文长度，判断通信方式采用UDP还是TCP；

TCP组播线程池模块，用于根据预先配置的路由表，解析组播地址中包括的IP地址，创建TCP发送线程池，并通过TCP发送线程池完成多地址TCP报文发送的并行处理。

7.如权利要求6所述的轻量级跨平台消息中间件的实现系统，其特征在于，所述进程初始化模块包括如下单元：

缓冲区初始化单元，用于初始化进程通信所需的缓冲区及缓冲区长度：

管道及描述符创建单元，用于创建消息队列的“读/写”管道以及相应的文件描述符：

通过“读/写”管理标记消息队列接收或读取数据，将管道的文件描述符作为I/O复用函数Select的参数；Select函数允许进程指示内核等待消息队列、UDP通信Socket、TCP通信Socket中任意一个接收到数据，并仅在一个或多个事件发生或经过预先指定的时间后才唤醒进程；

UDP通信Socket创建单元，用于创建节点间短报文通信所需的UDP通信Socket：

分别创建UDP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定；

TCP通信Socket创建单元，用于创建节点间短报文通信所需的TCP通信Socket：

分别创建TCP通信接收和发送Socket，并根据进程ID为每个进程分配唯一的端口号，将接收Socket与接收端口号绑定；

消息队列接收线程创建单元，用于创建一个并发性线程，用于消息队列接收数据。

8.如权利要求7所述的轻量级跨平台消息中间件的实现系统，其特征在于，所述进程读取数据接口模块包括：

分配一个描述字集，并将描述字集初始化；

将“读”管道文件描述符、UDP通信Socket句柄、TCP通信Socket句柄加入到描述字集；使用Select函数轮询描述字集，等待接收数据；

通过查询“读/写”管道的状态，来完成消息中间件的读取数据主线程与消息队列接收线程之间的同步；一旦消息队列线程接收到数据，读取数据主线程可通过查询“读”管道文件描述符的状态变更，获悉消息队列已收到数据，从而将该数据返回给应用进程。

9.如权利要求8所述的轻量级跨平台消息中间件的实现系统，其特征在于，所述进程发送数据接口模块包括：

为应用进程提供数据发送接口函数，应用进程填入需要发送的数据以及发送的目的进程ID；消息中间件根据预设的路由表和目的进程ID，查找进程ID和目的节点的匹配关系，以获得消息发送的地址；

判断发送的报文长度是否小于大报文数据长度门限值，如小于大报文数据长度门限值，则判断数据发往本节点或外节点；如发往本节点，将数据发送至应用进程所述的消息队列；如发往外节点采用UPD通信Socket发送数据；

如果大于或等于大报文数据长度门限值，则根据发送目的进程ID和预设的路由表，判断数据发送是否为点播，在数据发送为点播时，直接连接目的进程通过TCP通信Socket发送数据；在数据发送为组播时，通过TCP发送线程池发送数据。

10.如权利要求9所述的轻量级跨平台消息中间件的实现系统，其特征在于，所述TCP组播线程池模块包括：

根据预先配置的路由表，解析组播地址中的IP地址；

创建TCP发送线程池；

将TCP通信Socket设置为非阻塞模式；

连接发送目的地址，通过TCP发送线程池完成多地址TCP报文发送的并行处理。