CN113422808A

CN113422808A - 物联网平台http信息推送方法、系统、装置及介质

Info

Publication number: CN113422808A
Application number: CN202110581242.4A
Authority: CN
Inventors: 贲兴龙; 王世杰; 丁霞; 张婕
Original assignee: Tianyi IoT Technology Co Ltd
Current assignee: Tianyi IoT Technology Co Ltd
Priority date: 2021-05-27
Filing date: 2021-05-27
Publication date: 2021-09-21
Anticipated expiration: 2041-05-27
Also published as: CN113422808B

Abstract

本发明公开了一种物联网平台HTTP信息推送方法、系统、装置及介质，该方法包括从消息队列中获取设备上报信息，并对设备上报信息进行解析得到解析信息；根据解析信息与推送规则进行匹配计算所述设备上报信息需要推送的URL地址，并根据URL地址当前的推送速率和推送时延将设备上报信息分配到预设的时延推送队列；时延推送队列为分布式且可根据推送量按需扩展；采用分布式流计算引擎Flink将推送队列的解析信息通过异步HTTPPost和多线程方式推送给URL地址。本发明实施可以在海量物联网设备接入状况下，高效利用资源，给用户提供差异化的消息推送服务，实现实时推送信息，可广泛应用于物联网技术领域。

Description

物联网平台HTTP信息推送方法、系统、装置及介质

技术领域

本发明涉及物联网技术领域，尤其涉及一种物联网平台HTTP信息推送方法、系统、装置及介质。

背景技术

物联网平台是为物联网应用开发者提供快速开发、部署以及应用管理的平台，开发者无需考虑下层基础设施扩展、数据管理和归集、通信协议、通信安全等问题，降低了开发成本、大大缩短了开发时间。物联网平台具备终端接入、终端管理、消息推送等通用基础能力。物联网终端接入物联网平台后，由消息推送模块根据消息订阅规则，将终端上报的消息推送给物联网应用。

HTTP消息推送由于具有标准传输协议、支持各种主要开发语言等优点，是物联网平台主流的消息推送方式。现有的HTTP消息推送方法，设备消息上报到物联网平台后，首先存储到一个统一的消息队列，推送程序从队列获取消息后，按照订阅规则直接进行推送。没有充分考虑到在海量消息推送环境下，各类用户的推送请求交织在一起，网络或接收端异常造成的消息推送缓慢，导致其它正常用户消息在队列中排队等待，无法实时推送；或者为了避免各用户接收端之间相互影响，给不同用户启用独立的推送服务，又会造成资源占用过多，资源无法有效利用等问题。

发明内容

有鉴于此，本发明实施例的目的是提供一种物联网平台HTTP信息推送方法、系统、装置及介质，该方法可以在海量物联网设备接入状况下，高效利用资源，给用户提供差异化的消息推送服务，实现实时推送信息。

第一方面，本发明实施例提供了一种物联网平台HTTP信息推送方法，包括步骤：

从消息队列中获取设备上报信息，并对所述设备上报信息进行解析得到解析信息；其中，所述解析信息包括用户ID、设备ID、消息类型、上报时间及消息payload；

根据所述解析信息与推送规则进行匹配计算所述设备上报信息需要推送的URL地址，并根据所述URL地址当前的推送速率和推送时延将所述设备上报信息分配到预设的时延推送队列；所述时延推送队列为分布式且可根据推送量按需扩展；

采用分布式流计算引擎Flink将所述推送队列的解析信息通过异步HTTP Post和多线程方式推送给所述URL地址。

可选地，所述信息推送方法还包括步骤：

当所述设备上报信息的上报时间与当前时间之间的间隔超过预设的第一时间间隔，将所述设备上报信息分配给预设的异常推送队列。

可选地，所述根据所述URL地址当前的推送速率和推送时延将所述设备上报信息分配到预设的时延推送队列，包括：

根据所述URL地址当前的推送时延选择匹配当前的推送时延的时延推送队列类型；

根据所述URL地址当前的推送速率计算所述设备上报信息可以匹配的所述时延推送队列类型的推送队列总量，并计算出所述推送队列总量中可供选择的推送队列实例列表；

从所述可供选择的推送队列实例列表中随机选择一个推送队列。

可选地，所述推送队列总量的计算公式如下：

其中，n表示推送队列类型的推送队列总量，v表示当前的推送速率，M1表示单个队列每个URL的最大推送速率，T1表示时延推送队列类型当前的实例总数。

可选地，所述计算出所述推送队列总量中可供选择的推送队列实例列表，包括步骤：

计算可选择的第一个队列实例编号q1＝(Hash(URL)mode T1)+1；

从q1开始，按照队列实例编号依次往后取n-1个队列；若实例编号>T1，从实例编号1号开始循环选择。

可选地，所述采用分布式流计算引擎Flink将所述预设的推送队列的解析信息通过异步HTTP Post和多线程方式推送给所述URL地址，包括步骤：

基于Flink ProcessFunction组件，创建HTTP推送线程池和阻塞队列；

将所述解析信息存入所述阻塞队列；若阻塞队列已满，阻塞等待；

从所述HTTP推送线程池中获取一个线程，采用异步HTTP Post的方式推送所述解析信息。

可选地，所述信息推送方法还包括：

通过异步HTTP回调函数，从所述阻塞队列中移除所述解析消息，并将推送结果记录到推送结果列表中；所述推送结果包括推送速率和推送时延；

采用Flink timerService，以预设的第二时间间隔触发的方式，将结果列表中的推送结果发送到推送指标统计模块；

按URL维度，采用Flink滚动窗口的方式统计推送速率和推送时延，并将统计结果写入分布式缓存。

第二方面，本发明实施例提供了一种物联网平台HTTP信息推送系统，包括：

消息预处理模块，用于从消息队列中获取设备上报信息，并对所述设备上报信息进行解析得到解析信息；其中，所述解析信息包括用户ID、设备ID、消息类型、上报时间及消息payload；

消息分配模块，用于根据所述解析信息与推送规则进行匹配计算所述设备上报信息需要推送的URL地址，并根据所述URL地址当前的推送速率和推送时延将所述设备上报信息分配到预设的时延推送队列；所述时延推送队列为分布式且可根据推送量按需扩展；

消息推送模块，用于采用分布式流计算引擎Flink将所述推送队列的解析信息通过异步HTTP Post和多线程方式推送给所述URL地址。

第三方面，本发明实施例提供了一种物联网平台HTTP信息推送装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现第二方面实施例所述的物联网平台HTTP信息推送方法。

第四方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行第二方面实施例所述的物联网平台HTTP信息推送方法。

实施本发明实施例包括以下有益效果：本发明实施例中时延推送队列具备分布式及可扩展特性，能够支撑海量消息的推送需求；根据推送速率和推送时延将设备上报信息分配到不同的时延推送队列，既能支持故障隔离，避免慢推送对整体推送服务造成的影响，实现实时推送，也能以有限的推送服务数来支持海量消息的推送，有效降低资源占用；基于分布式流计算引擎Flink结合异步HTTP Post和多线程推送的方式提高接收端异常情况下的推送效率。

附图说明

图1是本发明实施例提供的一种物联网平台HTTP信息推送方法的步骤流程示意图；

图2是本发明实施例提供的另一种物联网平台HTTP信息推送方法的步骤流程示意图；

图3是本发明实施例提供的一种物联网平台HTTP信息推送系统的结构框图；

图4是本发明实施例提供的一种物联网平台HTTP信息推送装置的结构框图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本发明实施例提供了一种物联网平台HTTP信息推送方法，其包括的步骤如下所示。

S100、从消息队列中获取设备上报信息，并对所述设备上报信息进行解析得到解析信息；其中，所述解析信息包括用户ID、设备ID、消息类型、上报时间及消息payload；

S200、根据所述解析信息与推送规则进行匹配计算所述设备上报信息需要推送的URL地址，并根据所述URL地址当前的推送速率和推送时延将所述设备上报信息分配到预设的时延推送队列；所述时延推送队列为分布式且可根据推送量按需扩展；

S300、采用分布式流计算引擎Flink将所述推送队列的解析信息通过异步HTTPPost和多线程方式推送给所述URL地址。

具体地，如图2所示，设备上报信息首先进入消息队列；然后对消息队列中的设备上报消息进行预处理，如对设备上报信息进行解析获得解析信息，如用户ID、设备ID、消息类型、上报时间及消息payload等；然后对设备上报信息进行消息分配，即按照分派规则，将消息分发到对应的推送队列；最后采用引擎Flink通过异步HTTP Post和多线程方式将推送队列的解析信息推送给URL地址对应的接收应用。

具体地，预设的推送队列的处理方法包括：按照推送时延划分推送队列，每种时延的消息队列可创建多个，后续可按需扩展。如按时延小于50ms、小于100ms、小于200ms等分别创建一种队列；另外创建类型为others的特殊队列，用来处理推送时延过长或推送异常的应用消息。每种队列可按需创建多个实例，依次编号为1到K(实例个数)，将推送队列配置信息保存到数据库，每个队列实例部署专门的HTTP消息推送服务。

可选地，所述信息推送方法还包括步骤：

需要说明的是，在进行消息分配时，首先查看设备上报信息的上报时间，当设备上报信息的上报时间与当前时间之间的间隔超过预设的第一时间间隔，如60s，将所述设备上报信息分配给预设的异常推送队列，如others推送队列类型；否则根据该URL的推送时延，选择匹配该时延的推送队列类型。

具体地，消息分配的处理方法包括：从数据库加载推送规则和推送队列配置信息，保存到内存，并按照数据更新时间，定期将规则和推送队列配置变更信息同步到内存；根据消息中的用户ID、设备ID、消息类型等字段，从推送规则信息中匹配该消息的推送URL地址；从分布式缓存中获取该URL对应的消息推送速率和推送时延；根据推送速率和推送时延选择推送队列类型及推送队列实例进行消息的分配。

可选地，所述推送队列总量的计算公式如下：

具体地，如果n<1，则n＝1，如果n为小数，则向上取整。

计算可选择的第一个队列实例编号q1＝(Hash(URL)mode T1)+1；

具体地，HTTP推送方法包括：创建HTTP推送线程池和阻塞队列，从推送队列中获取信息，对消息进行解析，将解析消息存入阻塞队列，异步HTTP Post推送，异步HTTP回调结果处理，推送结果定时转发及推送指标统计。

基于Flink ProcessFunction组件，创建HTTP推送线程池和阻塞队列；

需要说明的是，阻塞队列容量需要合理设置，如1000等，具体根据实际情况设置。

可选地，所述信息推送方法还包括：

需要说明的是，第二时间间隔根据实际需要具体设置，如100ms。

具体地，基于分布式流计算引擎Flink构建推送服务，从消息推送队列中获取消息，基于Flink ProcessFunction组件将推送消息存入阻塞队列，采用异步HTTP Post和多线程推送的方式取代Flink内置的AsyncFunction组件，将消息payload推送到对应URL，该方式可有效避免推送超时造成的Flink反压，提高异常情况下的推送效率；同时采用滑动窗口的方式，计算平均推送时延和速率指标，将指标记录到分布式缓存。

下面以一个具体实施例说明本申请的物联网平台HTTP信息推送方法。

步骤1、准备若干台虚拟机，如准备30台配置为16G内存、8核心CPU的虚拟机，在其中27台服务器上部署分布式实时流计算引擎Flink，每3台部署一个Flink集群(Flink集群1～9)；在另外3台服务器上部署分布式消息队列Pulsar。

步骤2、在Pulsar上创建不同时延的消息推送队列，如按时延50ms、100ms、200ms以及其它异常4种类型创建4种队列，每种队列创建两个实例，队列名分别为：http_push_50_1、http_push_50_2、http_push_100_1、http_push_100_2、http_push_200_1、http_push_200_2、http_push_default_1、http_push_default_2。单个队列每个URL最大推送速率设置为M1＝1000/s。将队列类型和每种队列当前实例数量存储到MySql数据库中。

步骤3、在Flink集群1上部署消息预处理模块和消息分派模块，在Flink集群2～9上部署消息推送任务，每个Flink集群依次处理步骤2中的一个推送队列。消息分派任务在初始化时，从数据库中获取推送队列配置和推送规则，并定时更新。

步骤4、消息预处理模块从消息队列获取设备消息后，对消息进行解析，获取其用户ID、消息类型、payload等信息，消息分派模块根据用户ID、消息类型从推送规则中匹配该消息的推送URL地址，假设URL＝http://192.168.1.101:8080/msg，从分布式缓存RedisCluster中，获取该URL当前的推送速率和推送时延，假设推送速率v＝1600/s、推送时延为80ms，则推送队列类型应该选择时延100ms的类型。按照以下步骤计算该消息发送的推送队列编号：

a)按照推送队列数量计算公式n＝Min(v/M1，T1)，取v＝1600、M1＝1000、T1＝2，计算得出n＝1.6，取整后n＝2，说明该消息可以转发到2个队列中的任意一个；

b)按照公式q1＝(Hash(url)mode T1)+1计算得出可选择的第一个推送队列实例编号q1＝1；从q1＝1开始，按照队列实例编号依次往后取n-1(2-1＝1)个队列编号，最终可发送消息的推送队列编号为1和2，从中随机选择1个推送队列(如http_push_100_1)发送消息。

步骤5、Flink集群4上的消息推送模块从推送队列http_push_100_1收到消息后，通过HTTP Post的方式，将消息payload推送到http://192.168.1.101:8080/msg。同时计算该URL当前的平均推送时延和推送速率，记录到RedisCluster。

如图3所示，本发明实施例提供了一种物联网平台HTTP信息推送系统，包括：

可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

如图4所示，本发明实施例提供了一种物联网平台HTTP信息推送装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的物联网平台HTTP信息推送方法。

可见，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

此外，本申请实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行图1所示的方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种物联网平台HTTP信息推送方法，其特征在于，包括步骤：

2.根据权利要求1所述的物联网平台HTTP信息推送方法，其特征在于，所述信息推送方法还包括步骤：

3.根据权利要求1所述的物联网平台HTTP信息推送方法，其特征在于，所述根据所述URL地址当前的推送速率和推送时延将所述设备上报信息分配到预设的时延推送队列，包括：

4.根据权利要求3所述的物联网平台HTTP信息推送方法，其特征在于，所述推送队列总量的计算公式如下：

5.根据权利要求4所述的物联网平台HTTP信息推送方法，其特征在于，所述计算出所述推送队列总量中可供选择的推送队列实例列表，包括步骤：

计算可选择的第一个队列实例编号q1＝(Hash(URL)mode T1)+1；

6.根据权利要求1所述的物联网平台HTTP信息推送方法，其特征在于，所述采用分布式流计算引擎Flink将所述预设的推送队列的解析信息通过异步HTTP Post和多线程方式推送给所述URL地址，包括步骤：

基于Flink ProcessFunction组件，创建HTTP推送线程池和阻塞队列；

7.根据权利要求6所述的物联网平台HTTP信息推送方法，其特征在于，所述信息推送方法还包括：

8.一种物联网平台HTTP信息推送系统，其特征在于，包括：

9.一种物联网平台HTTP信息推送装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的物联网平台HTTP信息推送方法。

10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的物联网平台HTTP信息推送方法。