CN110336736B - 基于mqtt服务器集群实现共享订阅的方法 - Google Patents

Abstract

本发明公开了一种基于MQTT服务器集群实现共享订阅的方法，包括以下步骤：设置共享订阅主题：在标准的主题定义前设置共享订阅前缀，所述共享订阅前缀包括队列共享订阅前缀和分组共享订阅前缀；搭建基于Erlang mnesia集群技术的MQTT服务器集群，该MQTT服务器集群包括基于事件驱动架构、mnesia分布式数据库、ets路由表和map分组映射的智能路由系统；基于分层架构设计对MQTT服务器集群的结构进行优化；进入共享订阅处理流程；进入消息发布流程；本发明通过共享订阅，使得同一个消息不会发送到多个订阅者，从而实现订阅端的多个节点之间的负载均衡。

Description

基于MQTT服务器集群实现共享订阅的方法

技术领域

本发明涉及MQTT传输协议技术领域，特别是一种基于MQTT服务器集群实现共享订阅的方法。

背景技术

MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)是由IBM公司开发的轻量级的即时通信协议。与HTTP协议不同的是，MQTT采用的是发布/订阅的模式，而不是传统的请求/响应模式，这种更为轻量级的模式使得MQTT更加适用于低功耗和网络带宽有限的物联网设备。同时，MQTT还具有精简、支持连续的回话控制、提供传输的不同服务质量、可定制性强等特点，在物联网正当火热的今天，其价值得以充分体现。MQTT作为物联网的重要传输协议，支持几乎所有的平台。

发布和订阅模式中，发布者向MQTT服务器发送一条带有特定主题的消息，订阅者通过向服务器订阅这一主题，从而接收从服务器转发来的消息。

MQTT消息服务器作为发布/订阅作为消息的代理者，完成了整个消息收发流程的空间解耦，时间解耦和同步解耦。MQTT服务器通过过滤消息，使某些客户端能收到特有的消息。这种发布/订阅模式提供了广大的可扩展性，这是因为基于Erlang开发的消息服务器提供了高度并行化和分布透明化的能力，很容易在集群中动态添加节点来增加服务器的承载量。但是扩展到百万级客户端连接绝对是一个挑战。因为在如此量级情况下，MQTT集群节点间处理消息路由是十分繁琐而庞大的；特别在数据采集/集中处理应用中，数据的生产者远多于数据的消费者，且消息只需要被任意客户端处理一次，仍然会在节点间传输大量的重复、无用的数据的情况下，急需一种能够减少节点间数据传输的实现方法。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种基于MQTT服务器集群实现共享订阅的方法，本发明通过设置两种订阅主题前缀以及Erlang otp分布式集群使得同一个主题的客户端轮流的收到同一主题消息，同一个消息不会发送到多个订阅客户端，从而实现订阅端的多个节点之间的负载均衡。

为实现上述目的，本发明采用的技术方案是：一种基于MQTT服务器集群实现共享订阅的方法，包括以下步骤：

A、设置共享订阅主题：在标准的主题定义前设置共享订阅前缀，所述共享订阅前缀包括队列共享订阅前缀和分组共享订阅前缀；

B、搭建基于Erlang mnesia集群技术的MQTT服务器集群，该MQTT服务器集群包括基于事件驱动架构、mnesia分布式数据库、ets路由表和map分组映射的智能路由系统；

C、基于分层架构设计对MQTT服务器集群的结构进行优化；

D、进入共享订阅处理流程，具体包括：

D1、订阅客户端通过负载均衡LB同MQTT服务器集群节点建立连接；

D2、订阅客户端订阅MQTT的共享订阅前缀；

D3、MQTT服务器节点客户端后台收发消息进程mqtt_client收到订阅客户端的订阅报文；

D4、对报文信息进行解析，并判断MQTT服务器版本，以及各参数是否完整；

D5、调用MQTT服务器的ACL模块，进行订阅权限验证，如果权限允许才进行相应的后续MQTT订阅流程；

D6、解析MQTT的共享订阅主题，并通过map分组映射的智能路由系统使用相应的分组map和队列map进行存储；

D7、订阅模块收到相应的消息后，判断该订阅的类型，如果该订阅是共享订阅，则调用订阅模块中的处理函数，判断共享订阅是否完整和重复，并保存到mnesia分布式数据库中；如果该订阅是本地订阅，则调用路由模块，存储本地订阅路由和订阅信息到相应的ets路由表中；

E、进入消息发布流程，具体包括：

E1、发布客户端通过负载均衡LB同MQTT服务器集群节点建立连接；

E2、发布客户端发布没有共享订阅前缀的主题消息；

E3、MQTT服务器启动单独的进程进行报文的接收；

E4、解析报文，并判断报文的完整性，以及报文类型是否符合发送协议规范；

E5、调用MQTT服务器的ACL模块，并判断发送报文处理权限；

E6、如果报文是Qos0，在发布客户端会话进程中调用pub_sub模块，所述pub_sub模块判断是否需要遍历所有的集群节点查找消息路由，如果本节点有订阅，则不需要访问其他节点，调用route模块访问mqtt_route内存表，获取路由信息和mnesia分布式数据库中主题树信息，分析出最优的路由信息，否则通过在mnesia分布式数据库中遍历节点信息，获取该节点和主题树信息，判断是否该节点有订阅者，如果该节点有订阅者，则选择一订阅客户端会话进程进行通信。

作为一种优选的实施方式，所述步骤C中，将MQTT服务器集群的结构具体分成：

连接层，用于TCP连接及MQTT协议的编解码；

会话层，用于MQTT协议发布订阅消息交互流程；

路由层，用于节点内路由派发MQTT消息；

分布层，用于分布节点间路由MQTT消息。

作为另一种优选的实施方式，在所述步骤D6后还包括以下步骤：

调用该客户端会话进程判断订阅是否是重复订阅，如果是重复订阅则返回订阅响应，告知订阅完成；如果不是重复订阅，则通过进程间消息队列方式传输相应的维护信息和订阅信息到处理进程，该进程存储订阅信息到内存表中。

作为另一种优选的实施方式，所述步骤E还包括：

E7、如果报文是Qos1，则还需要添加PUBACK消息处理流程。

作为另一种优选的实施方式，所述步骤E还包括：

E8、如果报文是Qos2，则还需要在客户端会话中启动新进程,并定时判断PUBREL信息，并进行处理。

本发明的有益效果是：

本发明基于Erlang/OTP语言平台的抢占式轻量进程调度，能够轻松实现集群的扩展，并支持百万级的数据路由信息。进程的创建和切换更加灵活，所使用资源更少，减少了节点间数据传输量。对于数据采集/集中处理类应用非常有用，这种应用场景下，数据的生产者远多于数据的消费者，且同一条数据只需要被任意消费者处理一次。通过共享订阅，使得同一个消息不会发送到多个订阅者，从而实现订阅端的多个节点之间的负载均衡。

附图说明

图1为本发明实施例的流程框图；

图2为本发明实施例共享订阅主题为队列共享订阅前缀的示意图；

图3为本发明实施例中共享订阅主题为分组共享订阅前缀的示意图；

图4为本发明实施例中MQTT消息服务器处理客户端共享订阅的流程框图；

图5为本发明实施例中MQTT消息服务器处理客户端发布消息的流程框图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例1：

如图1所示，一种基于MQTT服务器集群实现共享订阅的方法，在MQTT消息服务器集群中设计了基于事件驱动架构、mnesia分布式数据库、ets路由表和map分组映射的智能路由系统，并在此基础上添加了共享订阅处理流程。

如图2和图3所示，设置了两种订阅主题前缀队列共享订阅前缀$queue和分组共享订阅前缀$share/<group>。

队列共享订阅是指以$queue/开头的topic例如$queue/topic1，如果有多个客户端同时订阅了，MQTT消息服务器集群会把发送到topic1的消息以负载均衡的方式派发给一个客户端。

分组共享订阅是一个更加灵活的方式，实现方式为所有以$share/<group>/开头的topic会以group来分组进行消息的负载均衡派发。例如有4个客户端依次订阅了$share/group1/topic1，$share/group1/topic1，$share/group2/topic1和$share/group1/topic1。所有发送到topic1的消息会被同时派发到分组group1和group2，但是两个分组中的每次都只会有一个客户端收到消息。

前缀$queue和$share/<group>/只适用于订阅时，发布消息时不需要。

基于Erlang开发MQTT服务器集群，由于Erlang语言天生的分布式开发特性，使得MQTT集群很容易搭建，也容易扩展。通过mnesia表能很容易同步集群数据，表可以建立在其中某个节点所在的数据库目录，然后拷贝到其他节点数据库目录，mnesia会同步数据库，在启动时执行mnesia:wait_for_tables实现数据库数据同步。mnesia能够存储路由表，主题树等多种需要在集群共享的数据，结合ets路由表表分析最佳路由。

在整个MQTT服务器的设计构架上，分成了连接层(负责TCP连接处理、MQTT协议编解码)；会话层(处理MQTT协议发布订阅消息交互流程)；路由层(节点内路由派发MQTT消息)和分布层(分布节点间路由MQTT消息),基于分层设计，才能更好的实现MQTT共享订阅功能。

图4为MQTT消息服务器处理客户端共享订阅的流程框图，订阅流程如下：

订阅客户端通过负载均衡LB同MQTT服务器集群节点建立连接。

2、订阅客户端订阅$queue/和$share/<group>/主题前缀。

3、MQTT服务器节点客户端后台收发消息进程mqtt_client收到客户端订阅报文。

4、对报文信息进行解析，并判断MQTT版本，以及各参数是否完整。

5、调用MQTT服务器ACL模块，进行订阅权限验证，如果权限允许才进行相应的后续MQTT订阅流程。

6、解析MQTT共享订阅主题，并使用相应的group map和queue map进行存储。

7、调用该客户端会话进程判断订阅是否是重复订阅。如果是重复订阅返回订阅响应，告知订阅完成。

8、如果不是重复订阅，通过进程间消息队列方式传输相应的维护信息和订阅信息到处理进程，该进程存储订阅信息到内存表中。

9、订阅模块收到相应的消息后，判断该订阅的类型。如果类型是共享订阅，调用订阅模块中的处理函数，该函数判断共享订阅是否完整和重复，并保存到mnesia分布式数据库中。

10、如果是本地订阅则调用路由模块，存储本地订阅路由和订阅信息到相应的ets路由表中。

图5为MQTT消息服务器处理客户端发布消息的流程框图，发布流程如下：

1、发布客户端通过负载均衡LB同MQTT服务器集群节点建立连接。

2、发布客户端发布没有$queue/和$share/<group>/前缀的主题消息。

3、MQTT服务器启动单独的进程进行报文的接收。

4、解析报文，并判断报文的完整性，以及报文类型是否符合发送协议规范。

5、调用ACL模块，并判发送报文处理权限。

6、如果报文是Qos0，在客户端会话进程中调用pub_sub模块。该模块判断是否需要遍历所有的集群节点查找消息路由。

7、如果本节点有订阅，则不需要访问其他节点，调用route模块访问mqtt_route内存表，获取路由信息和mnesia分布式数据库中主题树信息，分析出最优的路由信息。

8、否则通过在mnesia分布式数据库中遍历节点信息，获取该节点和主题树信息，判断是否该节点有订阅者，如果该节点有订阅者，则选择一订阅客户端会话进程进行通信。

9、如果是Qos1，在Qos0的处理流程基础上添加PUBACK的消息处理。

10、如果是Qos2,在Qos1的处理流程基础上，客户端会话中启动新进程,并定时判断PUBREL信息，并进行处理。

实施例2：

首先通过mnesia分布式数据库实现MQTT服务器集群的建立，同步节点间数据。

1、启动一个节点'mqtt@hostname1'，在该节点上执行mnesia:create_schema([node()]).mnesia:start().(必须启动数据，否则其他节点无法加入集群)创建数据库。

2、启动第二个节点'mqtt@hostname2'，ping通'mqtt@hostname1'，并执行mnesia:start().(必须启动mnesia否则无法执行下面步骤)。

3、在第二个节点'mqtt@hostname2'上执行mnesia:change_config(extra_db_node,['mqtt@hostname'])。

4、在第二个节点'mqtt@hostname2'上执行mnesia:change_table_copy_type(schema,node(),disc_copies).(拷贝schema到本节点数据库磁盘目录)。

5、可以执行下面代码，实现数据库表的拷贝。

6、lists:foreach(fun(Table)->

Type＝call(Node,mnesia,table_info,[Table,storage_type]),mnesia:add_table_copy(Table,node(),Type)end,mnesia:system_info(tables)--[schema])。

如图4所示，基于Erlang语言开发的MQTT消息服务器处理客户端共享订阅流程，假设客户端A和B都订阅了相同的主题$queue/topic1。

1、首先mqtt_clent服务启动mqtt_client_A进程接收inet_async异步消息。收到该消息后调用mqtt_parser模块进行解析。

2、mqtt_client_A进程中会调用received一直接受消息，知道该订阅报文完整的接收。

3、mqtt_parser模块中的parse函数负责主要的解析工作，通过模式匹配，尾递归处理二级制报文，匹配出mqtt报文头和消息体。

4、上面解析出来的头部信息保存在mqtt_packet_header的结构体中，有retain,cleanflag,qos等标志，后续会根据这些属性进行相应的处理。

5、在上面的整个过程都都会对报文的合法性进行判断，避免处理异常报文，使得报文严格准守MQTT协议标准。

6、调用mqtt_protocol的订阅处理函数process(？SUBSCRIBE_PACKET(PacketId,RawTopicTable)，State＝#proto_state{})处理具体的订阅流程。再调用parse_topic_table函数，对$queue/topic1进行解析，将该共享主题保存在Key为share的map映射中。

然后调用check_acl(subscribe,Topic,Client)函数验证client A是否能进行topic1的订阅。

8、如果是允许的，把该订阅信息，以及相关上下文传送到客户端会话mqtt_session_clientA维护的消息队列中，并等待mqtt_session_client会话进程处理该订阅。

9、handle_cast处理接收到的subscribe消息，判断该topic1是否重复，如果topic1重复且Qos也一致，不做处理，返回。如果topic1一直，但qos不一致，需要对map中的topic1数据进行修改。

10、如果不是重复的，使用嵌套调用的方式调用mqtt:subscribe-->mqtt_server:subscribe函数。该函数会在进程池中取出空闲的mqtt_server_A进程处理消息队列中的订阅消息。

11、查找ets:mqtt_subproperty内存表中是否有该主题的属性数据，如果没有，则存储类似这样的数据{{<<"topic1">>,{<<"clientid_A">>,<0.2500.0>}},[{qos,1},{share,<<"group">>}]}。

12、发送异步处理消息到mqtt_pubsub进程，该进程通过主题类别进行分别处理。如果主题是本节点主题，就把生成的消息发送到mqtt_router进程处理。如果是share主题则调用mqtt_router模块中单独的函数进行处理。

13、本节点保存订阅信息和本地路由信息：

ets:mqtt_local_route类似这样的数据:{<<"topic1">>,'mqtt@127.0.0.1'}

ets:mqtt_subscriber类似这样的数据:{{local,<<"topic1">>},{<<"clientid_A">>,<0.3477.0>}}

14、如果是共享订阅的主题在mqtt_route和mqtt_subscriber这两个ets路由表中有主题数据则跳过存储路由信息流程；否则需要调用mqtt_router:add_route添加共享订阅关系到相应的表中，并根据主题是否包含#,+通配符生成主题树，添加到表add_trie_route中，添加路由信息到mnesia:mqtt_route分布式路由表中。

15、应答suback返回订阅完成通知，提示订阅成功。

B客户端的$queue/topic1订阅流程同上述的A客户端$queue/topic1订阅流程，就不再单独叙述。

如图5所示，基于Erlang语言开发的MQTT消息服务器处理客户端发布消息流程，并对消息路由到指定的订阅客户端的流程。

假如客户端C需要发布客户端发布主题topic1的消息，C不需要在topic前加任何的共享订阅前缀。因为发布共享订阅主题的消息对于发布端而言是完全透明的。

1、首先进程池中连接监听进程mqtt_client_C接收inet_async异步消息。收到该消息后调用mqtt_parser模块进行解析。

mqtt_client_C进程中会调用received一直接受消息，直到完整接收发布报文。

3、mqtt_parser模块中的parse函数负责主要的解析工作，通过模式匹配和尾递归方式解析二级制发布报文，匹配出mqtt报文头和消息体。

4、上面解析出来的头部信息保存在mqtt_packet_header的结构体中，有retain,cleanflag,qos等标志，后续会根据这些属性进行相应的处理。

5、在上面的整个过程都会对报文的合法性进行判断，避免处理异常报文，使得报文严格准守MQTT协议标准。

6、调用mqtt_protocol的发布处理函数process(Packet＝？PUBLISH_PACKET(_Qos,Topic,_PacketId,_Payload),State＝#proto_state{})处理具体的发布流程。首先在改函数中会调用mqtt_access_control:check_acl函数判断是否该客户端具有发布消息的权限。

7、通过ACL认证的消息会根据Qos＝0,Qos＝1,Qos＝2的不同启动不同的发布流程。

8、接下的流程都是基于Qos0的发布消息处理流程，Qos1是在Qos0的基础上添加了PUBACK报文处理；Qos2是在Qos1的基础上，客户端会话进程mqtt_session_C启动定时进程监控PUBREL，并处理相应返回消息认证流程。

9、按照这样的模块调用关系mqtt_session->mqtt_server->mqtt_pubsub获取订阅该主题的路由信息ets:mqtt_route和关系树信息mnesia:mqtt_trie。

10、结合map信息和ets路由表，mnesia表判断是否需要遍历mqtt节点，如果本节点存在了该主题订阅，获取ets:mqtt_subscriber表信息，并找到该客户端会话如mqtt_session_A(A，C与同一个服务器节点建立了连接)，向该会话进程发送消息，不再遍历其他节点，也不在向其他节点发送该消息。

11、如果本节点没有该主题的订阅客户端(例如A,B客户端均没有与C处于同一服务器的连接)，就需要以轮训的方式获取其他节点的负载情况，并通过rpc(nodeid,pid,message)函数向其他节点的订阅客户端mqtt_session_A发送消息。

在整个流程中会启动不同的进程，并在进程间通过消息队列传送异步消息。由于Erlang进程的启动，销毁，消息传输的开销很小，所以不用担心性能的问题，反而是多进程方式更能最大化的利用系统资源，协同完成订阅操作。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于MQTT服务器集群实现共享订阅的方法，其特征在于，包括以下步骤：

A、设置共享订阅主题：在标准的主题定义前设置共享订阅前缀，所述共享订阅前缀包括队列共享订阅前缀和分组共享订阅前缀；

B、搭建基于Erlang mnesia集群技术的MQTT服务器集群，该MQTT服务器集群包括基于事件驱动架构、mnesia分布式数据库、ets路由表和map分组映射的智能路由系统；

C、基于分层架构设计对MQTT服务器集群的结构进行优化；

D、进入共享订阅处理流程，具体包括：

D1、订阅客户端通过负载均衡LB同MQTT服务器集群节点建立连接；

D2、订阅客户端订阅MQTT的共享订阅前缀；

D3、MQTT服务器节点客户端后台收发消息进程mqtt_client收到订阅客户端的订阅报文；

D4、对报文信息进行解析，并判断MQTT服务器版本，以及各参数是否完整；

D5、调用MQTT服务器的ACL模块，进行订阅权限验证，如果权限允许才进行相应的后续MQTT订阅流程；

D6、解析MQTT的共享订阅主题，并通过map分组映射的智能路由系统使用相应的分组map和队列map进行存储；

D7、订阅模块收到相应的消息后，判断该订阅的类型，如果该订阅是共享订阅，则调用订阅模块中的处理函数，判断共享订阅是否完整和重复，并保存到mnesia分布式数据库中；如果该订阅是本地订阅，则调用路由模块，存储本地订阅路由和订阅信息到相应的ets路由表中；

E、进入消息发布流程，具体包括：

E1、发布客户端通过负载均衡LB同MQTT服务器集群节点建立连接；

E2、发布客户端发布没有共享订阅前缀的主题消息；

E3、MQTT服务器启动单独的进程进行报文的接收；

E4、解析报文，并判断报文的完整性，以及报文类型是否符合发送协议规范；

E5、调用MQTT服务器的ACL模块，并判断发送报文处理权限；

E6、如果报文是Qos0，在发布客户端会话进程中调用pub_sub模块，所述pub_sub模块判断是否需要遍历所有的集群节点查找消息路由，通过在mnesia分布式数据库中遍历节点信息，获取该节点和主题树信息，判断该节点是否有订阅者，如果该节点有订阅者，则不需要访问其他节点，调用route模块访问mqtt_route内存表，获取路由信息和mnesia分布式数据库中主题树信息，分析出最优的路由信息，选择一订阅客户端会话进程进行通信。

2.根据权利要求1所述的基于MQTT服务器集群实现共享订阅的方法，其特征在于，所述步骤C中，将MQTT服务器集群的结构具体分成：

连接层，用于TCP连接及MQTT协议的编解码；

会话层，用于MQTT协议发布订阅消息交互流程；

路由层，用于节点内路由派发MQTT消息；

分布层，用于分布节点间路由MQTT消息。

3.根据权利要求1所述的基于MQTT服务器集群实现共享订阅的方法，其特征在于，在所述步骤D6后还包括以下步骤：

调用该客户端会话进程判断订阅是否是重复订阅，如果是重复订阅则返回订阅响应，告知订阅完成；如果不是重复订阅，则通过进程间消息队列方式传输相应的维护信息和订阅信息到处理进程，处理进程存储订阅信息到mqtt_route内存表中。

4.根据权利要求1所述的基于MQTT服务器集群实现共享订阅的方法，其特征在于，所述步骤E还包括：

E7、如果报文是Qos1，则还需要添加PUBACK消息处理流程。

5.根据权利要求4所述的基于MQTT服务器集群实现共享订阅的方法，其特征在于，所述步骤E还包括：

E8、如果报文是Qos2，则还需要在客户端会话中启动新进程,并定时判断PUBREL信息，并进行处理。

Images