CN115022392A - 面向iot的分布式发布订阅服务方法和系统 - Google Patents

Abstract

本发明公开了面向IOT的分布式发布订阅服务方法和系统，属于计算机技术领域，本发明要解决的技术问题为如何实现面向IOT的分布式发布订阅服务和消息同步，降低分布式帆布订阅的复杂性，减少信息冗余，提高稳定性，采用的技术方案为：该方法是通过将分布式数据库和发布订阅服务端相结合的方式，将发布订阅服务端中的retain消息以及客户端的订阅列表以表的形式保存在分布式数据库中，分布式数据库用于同步以及保存多副本的保存表，并提供按查询、更改表的功能；发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群。该系统包括若干节点，每个节点包括一个分布式数据库和一个发布订阅服务端。

Description

面向IOT的分布式发布订阅服务方法和系统

技术领域

本发明涉及计算机技术领域，具体地说是一种面向IOT的分布式发布订阅服务方法和系统。

背景技术

物联网(Internet of Things，简称IoT)是指通过各种信息传感器、射频识别技术、全球定位系统等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。

物联网中最重要的就是不同装置之间的互联和信息的传递，而在IoT领域，大量设备以及很可能不可靠或高延迟的网络使得同步通信成为问题。异步消息协议更适合IoT应用程序，并且如果使用HTTP等1对1协议时，客户端发出请求，服务器进行响应。将消息传送到网络上的所有设备上，不但很困难，而且成本很高，而这是IoT应用程序中的一种常见使用情况，所以通常采用异步处理消息的发布订阅模式。

发布订阅属于软件架构中的一种消息范式，用于异步的传递消息，在网络中定义了两种实体类型：一个消息代理和一些客户端。代理是一个服务器，它从客户端接收所有消息，然后将这些消息路由到相关的目标客户端。客户端是能够与服务器交互来发送和接收消息的任何事物。客户端可以是现场的IoT传感器，或者是数据中心内处理IoT数据的应用程序。消息订阅者会将感兴趣的主题通知到服务器，可以关注对一个或多个主题，而发布者会将发布的消息分为不同的主题发送到服务器，交由服务器进行转发。

在一些IoT场景中，会采用分布式发布订阅系统来增加发布订阅服务系统的可扩展性和稳定性，分布式发布订阅系统的主体是发布订阅集群，也就是由多个服务器组成的网络，要求网络中每个服务器都是平等的，当某个服务器突然宕机，其他服务器还能提供同等的服务，且retain消息不能丢失。retain消息是发布订阅服务中消息的一种，该种消息不会随着发送到订阅者后删除，而会一直保留，当新订阅者或者重连的订阅者连接到服务器中，retain消息会再次发送。

在分布式发布订阅系统中，为了防止某个服务器突然宕机引起的信息丢失，一般采用两种方式：

①服务器会将与自己相连的客户端的地址，客户端订阅的主题，retain消息广播到所有的服务器中进行保留，这形成了极大的信息冗余，且给服务器之间的网络交互造成很大的压力。

②服务器在宕机后，客户端会重新向集群发起连接请求，由集群分配一个服务器来连接客户端，且客户端在重连后会将自己订阅的主题以及retain消息重新发送，交由新服务端保存。这种方法就要求客户端自己也要保存一份订阅主题和retain消息，给客户端造成较大的麻烦。

分布式数据库是逻辑上统一，物理上分为不同的物理节点的数据库系统，一个应用程序通过网络的连接可以访问分布在不同地理位置的数据库。通常情况下，数据会保存成多个副本，保存在不同的物理节点，并且会由数据库系统同步。这一特性与分布式发布订阅的需求相契合，且数据库系统还可以持久化的保存数据，在很多IoT场景中也会出现。

故如何实现面向IOT的分布式发布订阅服务和消息同步，降低分布式帆布订阅的复杂性，减少信息冗余，提高稳定性是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种面向IOT的分布式发布订阅服务方法和系统，来解决如何实现面向IOT的分布式发布订阅服务和消息同步，降低分布式帆布订阅的复杂性，减少信息冗余，提高稳定性的问题。

本发明的技术任务是按以下方式实现的，一种面向IOT的分布式发布订阅服务方法，该方法是通过将分布式数据库和发布订阅服务端相结合的方式，将发布订阅服务端中的retain消息以及客户端的订阅列表以表的形式保存在分布式数据库中，分布式数据库用于同步以及保存多副本的保存表，并提供按查询、更改表的功能；发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群；具体如下：

客户端订阅主题消息；

客户端发布主题消息。

作为优选，所述分布式数据库内包括retain表和subscriber表，retain表用于保存retain消息，subscriber表用于保存订阅主题和节点、客户端网络地址之间的联系；retain表和subscriber表交由分布式数据库进行节点之间的同步，使得对于每个发布订阅服务端，均能够获取retain表和subscriber表的信息，并且能够进行修改；

subscriber表和retain表无需保存在每个节点当中，只要在分布式数据库中拥有足够的副本即可；若任一节点上的数据库未保存表，分布式数据库中的数据库管理系统会自动向拥有该块数据的节点上进行查询，并将查询结果返回到对应节点。

作为优选，所述发布订阅服务端还用于解析客户端传来的消息，并且根据消息类型的不同进行相应的操作；

客户端向集群中任一节点发起连接请求时，该节点中的发布订阅服务端负责建立与客户端的连接，并保存客户端的信息。

作为优选，客户端订阅主题消息具体如下：

客户端向发布订阅服务端中发送一条订阅类型的消息；

发布订阅服务端从订阅类型的消息中解析出想要订阅的主题；

发布订阅服务端向subscriber表进行查询，查看本地是否有其他客户端订阅了相同的主题，即subscriber表中是否有一行的topic等于该主题，且SubNodes等于该节点ID：

若有，则在行的Clients列中添加该客户端的网络地址；

若无，则将该主题、本地节点ID以及该客户端的网络地址添加到新的一行，该节点中的数据库会将subscriber表的变化同步到其他副本当中。

作为优选，客户端发布主题消息具体如下：

客户端向发布订阅服务端中发送一条发布类型的消息；

发布订阅服务端从发布类型的消息中解析出发布的主题；

发布订阅服务端向subscriber表中进行查询，判断subscriber表的topic列是否存在相同的主题：

若subscriber表的topic列存在相同的主题，则提取出相应的行进行解析，再判断节点ID是否为本地：

若节点ID为本地，则将消息转发到对应的节点中，交由其他节点将消息发布到订阅了该主题的客户端；

若节点ID非本地，则直接根据网络地址发送消息；

若在subscriber表中找不到该主题，则说明该主题目前没有客户端订阅，丢弃该条消息。

更优地，当客户端发送一个带有retain属性的消息时，发布订阅服务端将带有retain属性的消息保存到retain表中，再按照正常的发布消息流程处理，retain表中的变化交由分布式数据库同步到副本当中。

一种面向IOT的分布式发布订阅服务系统，该系统包括若干节点，每个节点包括一个分布式数据库和一个发布订阅服务端；

分布式数据库用于同步及保存多副本的保存表，并提供按查询、更改表的功能；

发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群；同时还用于解析客户端传来的消息，并且根据消息类型的不同进行相应的操作。

作为优选，所述分布式数据库内包括retain表和subscriber表，retain表用于保存retain消息，subscriber表用于保存订阅主题和节点、客户端网络地址之间的联系；retain表和subscriber表交由分布式数据库进行节点之间的同步，使得对于每个发布订阅服务端，均能够获取retain表和subscriber表的信息，并且能够进行修改；

subscriber表和retain表无需保存在每个节点当中，只要在分布式数据库中拥有足够的副本即可；若任一节点上的数据库未保存表，分布式数据库中的数据库管理系统会自动向拥有该块数据的节点上进行查询，并将查询结果返回到对应节点。

作为优选，当客户端想要连接到分布式发布订阅系统时，客户端向集群中任一节点发起连接请求(一般来说是网络地址最近的节点)，该节点中的发布订阅服务端负责建立与客户端之间的连接，并保存客户端的信息。

更优地，当客户端订阅主题消息具体如下：

客户端向发布订阅服务端中发送一条订阅类型的消息；

发布订阅服务端从订阅类型的消息中解析出想要订阅的主题；

发布订阅服务端向subscriber表进行查询，查看本地是否有其他客户端订阅了相同的主题，即subscriber表中是否有一行的topic等于该主题，且SubNodes等于该节点ID：

若有，则在行的Clients列中添加该客户端的网络地址；

若无，则将该主题、本地节点ID以及该客户端的网络地址添加到新的一行，该节点中的数据库将subscriber表的变化同步到其他副本当中；

当客户端发布主题消息具体如下：

客户端向发布订阅服务端中发送一条发布类型的消息；

发布订阅服务端从发布类型的消息中解析出发布的主题；

发布订阅服务端向subscriber表中进行查询，判断subscriber表的topic列是否存在相同的主题：

若subscriber表的topic列存在相同的主题，则提取出相应的行进行解析，再判断节点ID是否为本地：

若节点ID为本地，则将消息转发到对应的节点中，交由其他节点将消息发布到订阅了该主题的客户端；

若节点ID非本地，则直接根据网络地址发送消息；

若在subscriber表中找不到该主题，则说明该主题目前没有客户端订阅，丢弃该条消息；

当客户端发送一个带有retain属性的消息时，发布订阅服务端将带有retain属性的消息保存到retain表中，再按照正常的发布消息流程处理，retain表中的变化交由数据库同步到副本当中；

当任一节点宕机后，客户端连接到另一个节点，该节点只需要建立连接即可，无需再次发布订阅消息。

本发明的面向IOT的分布式发布订阅服务方法和系统具有以下优点：

(一)本发明通过将分布式数据库和发布订阅服务端结合的方法，将发布订阅服务中retain消息以及客户端的订阅列表以表的形式保存在数据库节点中，由分布式数据库负责同步以及保存，有效的满足了IoT场景的需求，极大的提高了发布订阅服务的鲁棒性，降低了发布订阅服务系统的复杂性，提高了消息发布和订阅的效率；

(二)本发明将发布订阅服务和分布式数据库的优势相结合，用于解决订阅主题和retain消息同步问题，降低分布式发布订阅系统的复杂性，减少信息冗余，提高稳定性；

(三)当集群中某个节点宕机，和该节点相连接的客户端的订阅列表不会丢失，客户端重连后无需再次发布订阅消息，降低了系统的复杂性；

(四)当集群中某个节点宕机，该节点保存的retain消息不会丢失，增加了发布订阅服务系统的鲁棒性；

(五)本发明订阅列表和retain消息不会保存在每个节点当中，降低了消息的冗余程度；

(六)本发买那个添加了分布式数据库，可以保存更多的数据，增加了可扩展性；

(七)本发明的发布订阅服务端之间无需发送同步数据，减少了发布订阅服务端的工作量。

附图说明

下面结合附图对本发明进一步说明。

附图1为面向IOT的分布式发布订阅服务系统的示意图；

附图2为客户端订阅消息的示意图；

附图3为客户端发布消息的示意图。

具体实施方式

参照说明书附图和具体实施例对本发明的面向IOT的分布式发布订阅服务方法和系统作以下详细地说明。

实施例1：

本实施例提供了一种面向IOT的分布式发布订阅服务方法，该方法是通过将分布式数据库和发布订阅服务端相结合的方式，将发布订阅服务端中的retain消息以及客户端的订阅列表以表的形式保存在分布式数据库中，分布式数据库用于同步以及保存多副本的保存表，并提供按查询、更改表的功能；发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群；具体如下：

S1、客户端订阅主题消息；

S2、客户端发布主题消息。

本实施例中的分布式数据库内包括retain表和subscriber表，retain表用于保存retain消息，subscriber表用于保存订阅主题和节点、客户端网络地址之间的联系；retain表和subscriber表交由分布式数据库进行节点之间的同步，使得对于每个发布订阅服务端，均能够获取retain表和subscriber表的信息，并且能够进行修改；

subscriber表和retain表无需保存在每个节点当中，只要在分布式数据库中拥有足够的副本即可；若任一节点上的数据库未保存表，分布式数据库中的数据库管理系统会自动向拥有该块数据的节点上进行查询，并将查询结果返回到对应节点。

retain表的结构如下表所示：

MessageID	Topic	Message
			1	"temperate"	"2020-1-1 16:25:28 15℃"

subscriber表的结构如下表所示：

本实施例中的发布订阅服务端还用于解析客户端传来的消息，并且根据消息类型的不同进行相应的操作；

客户端向集群中任一节点发起连接请求时，该节点中的发布订阅服务端负责建立与客户端的连接，并保存客户端的信息。

如附图2所示，本实施例中的客户端订阅主题消息具体如下：

S101、客户端向发布订阅服务端中发送一条订阅类型的消息；

S102、发布订阅服务端从订阅类型的消息中解析出想要订阅的主题；

S103、发布订阅服务端向subscriber表进行查询，查看本地是否有其他客户端订阅了相同的主题，即subscriber表中是否有一行的topic等于该主题，且SubNodes等于该节点ID：

①、若有，则在行的Clients列中添加该客户端的网络地址；

②、若无，则将该主题、本地节点ID以及该客户端的网络地址添加到新的一行，该节点中的数据库会将subscriber表的变化同步到其他副本当中。

如附图3所示，本实施例中的客户端发布主题消息具体如下：

S201、客户端向发布订阅服务端中发送一条发布类型的消息；

S202、发布订阅服务端从发布类型的消息中解析出发布的主题；

S203、发布订阅服务端向subscriber表中进行查询，判断subscriber表的topic列是否存在相同的主题：

①、若subscriber表的topic列存在相同的主题，则提取出相应的行进行解析，再判断节点ID是否为本地：

若节点ID为本地，则将消息转发到对应的节点中，交由其他节点将消息发布到订阅了该主题的客户端；

若节点ID非本地，则直接根据网络地址发送消息；

②、若在subscriber表中找不到该主题，则说明该主题目前没有客户端订阅，丢弃该条消息。

本实施例中，当客户端发送一个带有retain属性的消息时，发布订阅服务端将带有retain属性的消息保存到retain表中，再按照正常的发布消息流程处理，retain表中的变化交由分布式数据库同步到副本当中。

实施例2：

如附图1所示，本实施例提供了一种面向IOT的分布式发布订阅服务系统，该系统包括若干节点，每个节点包括一个分布式数据库和一个发布订阅服务端；

分布式数据库用于同步及保存多副本的保存表，并提供按查询、更改表的功能；

发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群；同时还用于解析客户端传来的消息，并且根据消息类型的不同进行相应的操作。

本实施例中的分布式数据库内包括retain表和subscriber表，retain表用于保存retain消息，subscriber表用于保存订阅主题和节点、客户端网络地址之间的联系；retain表和subscriber表交由分布式数据库进行节点之间的同步，使得对于每个发布订阅服务端，均能够获取retain表和subscriber表的信息，并且能够进行修改；

subscriber表和retain表无需保存在每个节点当中，只要在分布式数据库中拥有足够的副本即可；若任一节点上的数据库未保存表，分布式数据库中的数据库管理系统会自动向拥有该块数据的节点上进行查询，并将查询结果返回到对应节点。

retain表的结构如下表所示：

MessageID	Topic	Message
			1	"temperate"	"2020-1-1 16:25:28 15℃"

subscriber表的结构如下表所示：

本实施例中，当客户端想要连接到分布式发布订阅系统时，客户端向集群中任一节点发起连接请求(一般来说是网络地址最近的节点)，该节点中的发布订阅服务端负责建立与客户端之间的连接，并保存客户端的信息。

本实施例中，当客户端订阅主题消息具体如下：

(1)、客户端向发布订阅服务端中发送一条订阅类型的消息；

(2)、发布订阅服务端从订阅类型的消息中解析出想要订阅的主题；

(3)、发布订阅服务端向subscriber表进行查询，查看本地是否有其他客户端订阅了相同的主题，即subscriber表中是否有一行的topic等于该主题，且SubNodes等于该节点ID：

①、若有，则在行的Clients列中添加该客户端的网络地址；

②、若无，则将该主题、本地节点ID以及该客户端的网络地址添加到新的一行，该节点中的数据库将subscriber表的变化同步到其他副本当中；

本实施例中，当客户端发布主题消息具体如下：

(1)、客户端向发布订阅服务端中发送一条发布类型的消息；

(2)、发布订阅服务端从发布类型的消息中解析出发布的主题；

(3)、发布订阅服务端向subscriber表中进行查询，判断subscriber表的topic列是否存在相同的主题：

①、若subscriber表的topic列存在相同的主题，则提取出相应的行进行解析，再判断节点ID是否为本地：

若节点ID为本地，则将消息转发到对应的节点中，交由其他节点将消息发布到订阅了该主题的客户端；

若节点ID非本地，则直接根据网络地址发送消息；

②、若在subscriber表中找不到该主题，则说明该主题目前没有客户端订阅，丢弃该条消息；

本实例中，当客户端发送一个带有retain属性的消息时，发布订阅服务端将带有retain属性的消息保存到retain表中，再按照正常的发布消息流程处理，retain表中的变化交由数据库同步到副本当中；

本实施例中，当任一节点宕机后，客户端连接到另一个节点，该节点只需要建立连接即可，无需再次发布订阅消息。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种面向IOT的分布式发布订阅服务方法，其特征在于，该方法是通过将分布式数据库和发布订阅服务端相结合的方式，将发布订阅服务端中的retain消息以及客户端的订阅列表以表的形式保存在分布式数据库中，分布式数据库用于同步以及保存多副本的保存表，并提供按查询、更改表的功能；发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群；具体如下：

客户端订阅主题消息；

客户端发布主题消息。

2.根据权利要求1所述的面向IOT的分布式发布订阅服务方法，其特征在于，所述分布式数据库内包括retain表和subscriber表，retain表用于保存retain消息，subscriber表用于保存订阅主题和节点、客户端网络地址之间的联系；retain表和subscriber表交由分布式数据库进行节点之间的同步，使得对于每个发布订阅服务端，均能够获取retain表和subscriber表的信息，并且能够进行修改；

subscriber表和retain表无需保存在每个节点当中，只要在分布式数据库中拥有足够的副本即可；若任一节点上的数据库未保存表，分布式数据库中的数据库管理系统会自动向拥有该块数据的节点上进行查询，并将查询结果返回到对应节点。

3.根据权利要求1所述的面向IOT的分布式发布订阅服务方法，其特征在于，所述发布订阅服务端还用于解析客户端传来的消息，并且根据消息类型的不同进行相应的操作；

客户端向集群中任一节点发起连接请求时，该节点中的发布订阅服务端负责建立与客户端的连接，并保存客户端的信息。

4.根据权利要求1所述的面向IOT的分布式发布订阅服务方法，其特征在于，客户端订阅主题消息具体如下：

客户端向发布订阅服务端中发送一条订阅类型的消息；

发布订阅服务端从订阅类型的消息中解析出想要订阅的主题；

发布订阅服务端向subscriber表进行查询，查看本地是否有其他客户端订阅了相同的主题，即subscriber表中是否有一行的topic等于该主题，且SubNodes等于该节点ID：

若有，则在行的Clients列中添加该客户端的网络地址；

若无，则将该主题、本地节点ID以及该客户端的网络地址添加到新的一行，该节点中的数据库会将subscriber表的变化同步到其他副本当中。

5.根据权利要求1所述的面向IOT的分布式发布订阅服务方法，其特征在于，客户端发布主题消息具体如下：

客户端向发布订阅服务端中发送一条发布类型的消息；

发布订阅服务端从发布类型的消息中解析出发布的主题；

发布订阅服务端向subscriber表中进行查询，判断subscriber表的topic列是否存在相同的主题：

若subscriber表的topic列存在相同的主题，则提取出相应的行进行解析，再判断节点ID是否为本地：

若节点ID为本地，则将消息转发到对应的节点中，交由其他节点将消息发布到订阅了该主题的客户端；

若节点ID非本地，则直接根据网络地址发送消息；

若在subscriber表中找不到该主题，则说明该主题目前没有客户端订阅，丢弃该条消息。

6.根据权利要求1-5中任一所述的面向IOT的分布式发布订阅服务方法，其特征在于，当客户端发送一个带有retain属性的消息时，发布订阅服务端将带有retain属性的消息保存到retain表中，再按照正常的发布消息流程处理，retain表中的变化交由分布式数据库同步到副本当中。

7.一种面向IOT的分布式发布订阅服务系统，其特征在于，该系统包括若干节点，每个节点包括一个分布式数据库和一个发布订阅服务端；

分布式数据库用于同步及保存多副本的保存表，并提供按查询、更改表的功能；

发布订阅服务端用于和客户端之间进行消息的交互，并与其他发布订阅服务端之间进行互联以构成集群；同时还用于解析客户端传来的消息，并且根据消息类型的不同进行相应的操作。

8.根据权利要求7所述的面向IOT的分布式发布订阅服务系统，其特征在于，所述分布式数据库内包括retain表和subscriber表，retain表用于保存retain消息，subscriber表用于保存订阅主题和节点、客户端网络地址之间的联系；retain表和subscriber表交由分布式数据库进行节点之间的同步，使得对于每个发布订阅服务端，均能够获取retain表和subscriber表的信息，并且能够进行修改；

subscriber表和retain表无需保存在每个节点当中，只要在分布式数据库中拥有足够的副本即可；若任一节点上的数据库未保存表，分布式数据库中的数据库管理系统会自动向拥有该块数据的节点上进行查询，并将查询结果返回到对应节点。

9.根据权利要求7所述的面向IOT的分布式发布订阅服务系统，其特征在于，当客户端想要连接到分布式发布订阅系统时，客户端向集群中任一节点发起连接请求，该节点中的发布订阅服务端负责建立与客户端之间的连接，并保存客户端的信息。

10.根据权利要求7-9中任一所述的面向IOT的分布式发布订阅服务系统，其特征在于，当客户端订阅主题消息具体如下：

客户端向发布订阅服务端中发送一条订阅类型的消息；

发布订阅服务端从订阅类型的消息中解析出想要订阅的主题；

发布订阅服务端向subscriber表进行查询，查看本地是否有其他客户端订阅了相同的主题，即subscriber表中是否有一行的topic等于该主题，且SubNodes等于该节点ID：

若有，则在行的Clients列中添加该客户端的网络地址；

若无，则将该主题、本地节点ID以及该客户端的网络地址添加到新的一行，该节点中的数据库将subscriber表的变化同步到其他副本当中；

当客户端发布主题消息具体如下：

客户端向发布订阅服务端中发送一条发布类型的消息；

发布订阅服务端从发布类型的消息中解析出发布的主题；

发布订阅服务端向subscriber表中进行查询，判断subscriber表的topic列是否存在相同的主题：

若subscriber表的topic列存在相同的主题，则提取出相应的行进行解析，再判断节点ID是否为本地：

若节点ID为本地，则将消息转发到对应的节点中，交由其他节点将消息发布到订阅了该主题的客户端；

若节点ID非本地，则直接根据网络地址发送消息；

若在subscriber表中找不到该主题，则说明该主题目前没有客户端订阅，丢弃该条消息；

当客户端发送一个带有retain属性的消息时，发布订阅服务端将带有retain属性的消息保存到retain表中，再按照正常的发布消息流程处理，retain表中的变化交由数据库同步到副本当中；

当任一节点宕机后，客户端连接到另一个节点，该节点只需要建立连接即可，无需再次发布订阅消息。

Images