CN110381023B - 一种基于mqtt协议的消息存储方法 - Google Patents

Abstract

本发明提供一种基于MQTT协议的消息存储方法，属于物联网数据采集和存储范畴技术领域，本发明根据MQTT协议对MQTT Broker进行改造，使MQTT Broker可存储、发送任意消息，将基于MQTT协议的设备发送的消息接收后存储，再利用GET接口从消息队列中拉取消息。能够快速、大量、持久化接收过来的消息，且提供为分析人员拉取消息的接口，使其能够根据需要获取指定队列的消息。

Description

一种基于MQTT协议的消息存储方法

技术领域

本发明涉及物联网数据采集和存储范畴领域，尤其涉及一种基于MQTT协议的消息存储方法。

背景技术

物联网即万物相连的互联网，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。MQTT 协议是物联网协议的一种，是为大量计算能力有限，且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议。

MQTT(Message Queuing Telemetry Transport，消息队列遥测传输协议)，是一种基于发布/订阅模式的轻量级通讯协议。做为一种低开销、低带宽占用的即时通讯协议，使用在物联网、小型设备、移动应用等方面。

MQTT并没有队列，MQTT Broker(代理)收到某个Topic的消息，会把消息转发给所有订阅该Topic设备。仅仅在如下情况下存储少量消息：

1、发送消息者在发送消息时带有retain标志为true是，Broker将存储这条消息，如果有设备订阅这个Topic，Broker将把这条消息发给该设备。

2、当订阅方连接Broker带着clean session为false标志时，且设备离线时，Broker 将保存订阅者未收到的消息。当设备在线后，会将保存的消息发送给客户端。

然后，在现实中，我们需要把某些设备上报的消息进行存储，交给数据分析人员进行分析、汇总。此时MQTT协议就不能完全支持了。

发明内容

为了解决以上技术问题，本发明提出了一种基于MQTT协议的消息存储方法，将基于MQTT协议的设备发送的消息接收后存储，以便分析人员对数据进行分析、再处理。

本发明的技术方案是：

一种基于MQTT协议的消息存储方法，根据MQTT协议对MQTT Broker进行改造，使MQTT Broker可存储、发送任意消息，将基于MQTT协议的设备发送的消息接收后存储，再利用GET接口从消息队列中拉取消息。

进一步的，消息队列基于内存映射文件，且消息队列内嵌于MQTT Broker中。

再进一步的，基于MQTT协议且在Broker接收到客户端PUBLISH消息时，将其存入相应的消息队列中，并不再将消息发送给在线的订阅者。

从消息队列拉取消息时，利用MQTT协议中的SUBSCRIBE帧，且订阅Topic 名字中含有@符号，符号前是Topic名字，符号后是要从队列取的消息数目。从队列拉取消息的格式是先读取消息的长度，再读取指定长度的消息内容。

进一步的，

消息存储：

消息存储主要是基于内存映射文件，队列的大小不限，每个队列用数据文件、元数据文件、页索引文件表示；其中数据文件存放真实数据；元数据文件存放队列的头指针所在页索引的位置；页索引每项存放数据页索引、信息偏移量、信息长度信息。

每个队列由若干个数据文件组成，每个数据文件大小为128MB；当数据入队、出队时更新相应的数据文件、元数据文件、页索引文件。

MQTT Broker改造：

MQTT Broker在接收PUBLISH类型的消息时，将其存入相应的队列中，队列名为其发布的Topic名字；

MQTT Broker在接收SUBSCRIBE类型的消息时，根据Topic的名字进行判断，如果Topic名字中含有@符号，其它形式认为非法。

从队列中取出消息发送给订阅者，并且不再回复订阅着应答消息，仅仅发送从相应队列取出的消息；取出的消息仍然封装成原有的PublishMessage帧的形式。

进一步的，PublishMessage帧的负载由消息长度、消息内容组成；当客户端接收到PublishMessage时，先读取消息长度，再读取固定长度的消息内容，直到负载读取完毕。

本发明的有益效果是

本发明解决了基于MQTT协议接收过来的消息无法大量存储的问题，并且为数据分析人员提供了数据基础。本发明能够快速、大量、持久化接收过来的消息，且提供为分析人员拉取消息的接口，使其能够根据需要获取指定队列的消息。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于MQTT协议将物联网信息进行收集、存储，根据MQTT协议对 MQTTBroker进行改造，使其能存储大量消息，能发送任意消息；存储量的大小根据磁盘来定。分析人员根据提供的GET接口(由MQTT协议的SUBSCRIBE改造)能够从队列中拉取到消息。

具体工作步骤如下：

(1)、基于MQTT协议且在Broker接收到客户端PUBLISH消息时，将其存入相应的队列中，并不再将消息发送给在线的订阅者。

(2)、从消息队列取消息时，是利用MQTT协议中的SUBSCRIBE帧，且订阅 Topic名字中含有@符号，符号前是Topic名字，符号后是要从队列取的消息数目。

(3)、从队列拉取消息的格式是先读取消息的长度，再读取指定长度的消息内容。

其中，

消息存储方案：

消息存储主要是基于内存映射文件，队列的大小不限，仅受磁盘容量的影响。每个队列用数据文件、元数据文件、页索引文件表示。其中数据文件存放真实数据；元数据文件存放队列的头指针所在页索引的位置；页索引每项存放数据页索引、信息偏移量、信息长度等信息。

每个队列由若干个数据文件组成，每个数据文件大小为128MB。当数据入队、出队时更新相应的数据文件、元数据文件、页索引文件。

MQTT Broker改造方案：

MQTT Broker在接收PUBLISH类型的消息时，无论服务质量是 AT_MOST_ONCE、AT_LEAST_ONCE、EXACTLY_ONCE，都将其存入相应的队列中，队列名为其发布的Topic名字，并且不在向在线的订阅者发布消息。

MQTT Broker在接收SUBSCRIBE类型的消息时，根据Topic的名字进行判断，如果Topic名字中含有@符号，名字形式如name@num，其它形式认为非法。则从队列名为name的队列中取出num条消息发送给订阅者。并且不再回复订阅着应答消息，仅仅发送从相应队列取出的消息。取出的消息仍然封装成原有的 PublishMessage帧的形式，方便客户端利用MQTT协议进行解析。PublishMessage 帧的负载有消息长度、消息内容组成。当客户端接收到PublishMessage时，先读取消息长度，再读取固定长度的消息内容，直到负载读取完毕。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (2)

1.一种基于MQTT协议的消息存储方法，其特征在于，

根据MQTT协议对MQTT Broker进行改造，使MQTT Broker可存储、发送任意消息，将基于MQTT协议的设备发送的消息接收后存储，再利用GET接口从消息队列中拉取消息；

消息队列基于内存映射文件，且消息队列内嵌于MQTT Broker中；

基于MQTT协议且在Broker 接收到客户端PUBLISH消息时，将其存入相应的消息队列中，并不再将消息发送给在线的订阅者；

从消息队列拉取消息时，利用MQTT协议中的SUBSCRIBE帧，且订阅Topic名字中含有@符号，符号前是Topic名字，符号后是要从队列取的消息数目；

从队列拉取消息的格式是先读取消息的长度，再读取指定长度的消息内容；

消息存储：

消息存储主要是基于内存映射文件，队列的大小不限，每个队列用数据文件、元数据文件、页索引文件表示；其中数据文件存放真实数据；元数据文件存放队列的头指针所在页索引的位置；页索引每项存放数据页索引、信息偏移量、信息长度信息；

每个队列由若干个数据文件组成，每个数据文件大小为128MB；当数据入队、出队时更新相应的数据文件、元数据文件、页索引文件；

MQTT Broker改造：

MQTT Broker在接收PUBLISH类型的消息时，将其存入相应的队列中，队列名为其发布的Topic名字；

MQTT Broker 在接收SUBSCRIBE类型的消息时，根据Topic的名字进行判断，如果Topic名字中含有@符号，那么其它形式认为非法；

从队列中取出消息发送给订阅者，并且不再回复订阅着应答消息，仅仅发送从相应队列取出的消息；取出的消息仍然封装成原有的PublishMessage帧的形式。

2.如权利要求1所述的方法，其特征在于，

PublishMessage帧的负载由消息长度、消息内容组成；当客户端接收到PublishMessage时，先读取消息长度，再读取固定长度的消息内容，直到负载读取完毕。