CN109005240A - 基于http协议的实时数据订阅方法 - Google Patents

Abstract

本发明公开了一种基于HTTP协议的实时数据订阅方法，本发明通过将外部客户端需要访问的设备的ID以链接后缀的形式，通过HTTP协议的GET方法，向物联网平台的反向代理服务模块发起请求，反向代理服务模块通过预先配置的路由策略将所需设备的请求路由至正确的数据服务，数据服务返回一个Response的Transfer‑Encoding类型为chunked的流式数据，第一个数据包为设备当前最新的JSON数据，此后的数据为变化数据，每次设备的数据发生变化，则向Response流中推送变化的JSON数据。本发明具有增强了平台横向扩容能力，支持变化上送，提高了数据响应时效的特点。

Description

基于HTTP协议的实时数据订阅方法

技术领域

本发明涉及数据订阅技术领域，尤其是涉及一种基于HTTP协议的实时数据订阅方法。

背景技术

传统的工业实时数据库系统中，虽然提供了高精度及快速响应的数据订阅方式，但多基于原始TCP流式协议，无法直接操作，需要封装较为复杂的接口，并以SDK的形式分发给用户端使用，用户使用时，受SDK使用的语言(例如C语言的SDK，只能以C的形式访问)限制，学习成本和开发成本较高。

传统的工业实时数据库系统中，全部的设备数据通常都存放在单节点中，无法通过扩展主机节点进行横向扩展容量，只能不断增加单机性能以提高容量。

而最近在互联网企业里兴起的物联网解决方案，提供了完备的后端大数据存储分析，且提供了HTTP等更便捷通用的访问接口，但也只提供了HTTP的单次查询形式，如果客户端需要实时展示数据，只能使用定时轮询的方式不断查询设备的当前数据，数据延时较大，而且轮询周期内的多次变化数据无法获得。

发明内容

本发明的发明目的是为了克服现有技术中的客户端需要实时展示数据时，数据延时较大，变化数据无法获得的不足，提供了一种基于HTTP协议的实时数据订阅方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于HTTP协议的实时数据订阅方法，包括网关服务器，若干个数据服务器和若干个客户端，各个客户端均与网关服务器数据连接，各个数据服务器均与网关服务器数据连接；网关服务器包括反向代理服务模块和KV缓存服务模块，反向代理服务模块和KV缓存服务模块用于实现路由策略；每个数据服务器均包括数据服务模块，数据服务模块依附于实时数据库服务，可接受HTTP订阅、查询请求，并上送数据；包括如下步骤：

(1-1)任一客户端向网关服务器的反向代理服务模块发起HTTP 订阅请求帧；

(1-2)反向代理服务模块收到HTTP订阅请求帧后，根据HTTP 订阅请求帧中的设备ID查询KV缓存服务模块，获得设备所在的数据服务器A的地址，并将请求路由转至数据服务器A；

(1-3)数据服务器A的数据服务模块获取与设备ID对应的设备数据并将设备数据传给反向代理服务模块，反向代理服务模块将设备数据打包后，将数据包传给客户端；

数据服务模块监测实时数据库中的所述设备是否发生数据变化，如有变化，则不断上送变化数据，直至客户端关闭HTTP订阅请求。

本发明通过将外部客户端需要访问的设备的ID以链接后缀的形式，通过HTTP协议的GET方法，向物联网平台的反向代理服务模块发起请求，反向代理服务模块通过预先配置的路由策略将所需设备的请求路由至正确的数据服务，数据服务返回一个Response的Transfer-Encoding类型为chunked的流式数据，第一个数据包为设备当前最新的JSON数据，此后的数据为变化数据，每次设备的数据发生变化，则向Response流中推送变化的JSON数据。

本发明主要解决了物联网平台数据访问的标准化(使用标准 HTTP1.1版本协议)，并通过反向代理使数据分布式存放，具有方便的可扩容能力。同时解决了以往HTTP协议只能以单次查询、单次返回的短连接，使用流式长连接，媲美了传统工业系统的TCP流式订阅实时数据的方式，提供高精度和快速响应。

本发明使用了跨语言的标准化HTTP访问，数据格式使用JSON封装，把传统工业实时数据系统复杂的、不统一的数据获取方式大大简化，降低了二次开发成本和维护成本。

本发明利用了反向代理技术，将设备ID到实时库之间建立映射关系，将数据订阅、查询请求通过反向代理服务模块路由至不同节点，大大增强了平台横向扩容能力。

本发明还将HTTP轮询访问方式，优化为数据流式上送，支持变化上送，提高了数据响应时效。

本发明使用了跨语言的标准化HTTP访问，数据格式使用JSON封装，把传统工业实时数据系统复杂的、不统一的数据获取方式大大简化，降低了二次开发成本和维护成本。

本发明利用了反向代理技术，将设备ID到实时库之间建立映射关系，将数据订阅、查询请求通过反向代理服务模块路由至不同节点，大大增强了平台横向扩容能力。

本发明还将HTTP轮询访问方式，优化为数据流式上送，支持变化上送，提高了数据响应时效。

作为优选，HTTP订阅请求帧的帧头包括请求方式字段、请求设备ID字段、协议版本字段、连接方式字段和传输内容类型字段。

作为优选，传输内容类型字段中为二进制数据流。

作为优选，所述数据包包括包头和若干个数据帧，包头包括状态字段、内容字段和传输编码类型字段。

作为优选，传输编码类型字段中为二进制数据流。

作为优选，数据帧包括帧长度字段、设备时间戳字段、运行状态字段、管道压力字段、设备版本字段和设备在线字段。

作为优选，客户端收到数据包后，查找每一帧数据的占位符，将占位符前面的子串，转换为整型数字N；

判断占位符后面的子串长度是否大于N，如果子串长度＞N，则截取占位符后面的子串中N长度的数据，作为完整的数据包；

如果子串中剩余的数据长度大于N，则放入下一次执行序列，直至子串中没有剩余数据为止。

因此，本发明具有如下有益效果：设备ID到实时库之间建立映射关系，将数据订阅、查询请求通过反向代理服务模块路由至不同节点，大大增强了平台横向扩容能力；本发明还将HTTP轮询访问方式，优化为数据流式上送，支持变化上送，提高了数据响应时效。

附图说明

图1为本发明的一种结构示意图；

图2为本发明的一种流程图。

图中：网关服务器1、数据服务器2、客户端3、反向代理服务模块11、KV缓存服务模块12、数据服务模块21。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所示的实施例是一种基于HTTP协议的实时数据订阅方法，包括网关服务器1，多个数据服务器2和多个客户端3，各个客户端均与网关服务器数据连接，各个数据服务器均与网关服务器数据连接；网关服务器包括反向代理服务模块11和KV缓存服务模块12，反向代理服务模块和KV缓存服务模块用于实现路由策略；每个数据服务器均包括数据服务模块21，数据服务模块依附于实时数据库服务，可接受HTTP订阅、查询请求，并上送数据；

如图2所示，外部客户端向反向代理服务模块发起HTTP订阅请求，HTTP订阅请求帧的帧头概要描述如下：

请求方式	GET
		请求设备ID	/iotcld/hz/device01
协议版本	1.1
		连接方式	保持连接
传输内容类型	二进制数据流

其中，最关键的是/iotcld/hz/device01，为设备ID，连接方式为保持连接，表示保持长时间连接等待服务器返回。

反向代理服务模块收到请求后，根据请求协议中的设备ID，向 KV缓存服务模块询问所述设备所在数据服务器地址。如果设备存在，则KV缓存服务模块返回该设备所在数据服务器真实地址，例如返回结果为：192.168.1.101：30001，然后反向代理服务模块将客户端请求路由至该地址所在的数据服务。(注：传统方法中，没有这一层反向代理服务模块，导致客户端请求直连数据服务，数据服务无法平均分摊数据压力)

数据服务器中的数据服务接收到该请求，记录下客户端会话信息，向本地实时数据库获取当前设备数据并返回至反向代理服务模块，反向代理服务模块再返回至客户端。不同于其它策略的是，返回第一次数据格式后，连接不会被关闭，客户端会话信息会保留，期间数据服务监测实时数据库中，该设备是否发生数据变化，如有变化，则不断上送变化数据，直至系统关闭或客户端关闭HTTP订阅请求连接(下面将详细阐述这个过程)。

客户端连接后，将收到数据服务的第一个回复数据包的包头描述如下：

状态	订阅成功
		内容	文本
传输编码类型	二进制流

其中编码类型：二进制流格式是回复头的关键设置，类似视频传输，它直接决定了该请求是一个长连接的数据流。(注：其它方法，多为单次请求，单次返回，而不是长连接推送，导致客户端总是轮询数据，会有状态丢失，且延时较大)

紧跟着的第一帧数据是设备最新数据，包含了设备当前JSON数据。如果/iotcld/hz/device01设备包含有2个状态：运行状态和管道压力。则数据结构可以描述为如下格式：

帧长度	N
		设备时间戳	2018-7-29 12：01：00
运行状态	运行
		管道压力	80
设备版本	1
		设备在线	在线

其中，帧长度N，表示当前数据帧的后续总长度。设备时间戳表示设备最后一次上送数据的时间，即最新变化时间。后面两项是设备实际的状态：运行状态和管道压力，分别是运行和80。设备版本表示该设备数据变化的次数，每次变化，版本自动累加1次。最后的设备在线，表示设备是否连接到物联网平台，设备会定期向平台上送心跳，以告知平台设备是否正常连接。

此后，数据服务保持客户端连接，并检测该设备是否发生数据变化，如有变化，则向客户端推送设备变化数据。变化数据与第一帧设备最新数据类似，格式可描述如下：

可见，数据帧格式与上述第一帧数据相同。但管道压力变化为 78.3，设备时间戳也变成了最新的时间。设备版本自动累加一次。特别的，当帧长度N为0时，表示整个订阅结束，数据服务将关闭连接。

应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (7)

1.一种基于HTTP协议的实时数据订阅方法，其特征是，包括网关服务器(1)，若干个数据服务器(2)和若干个客户端(3)，各个客户端均与网关服务器数据连接，各个数据服务器均与网关服务器数据连接；网关服务器包括反向代理服务模块(11)和KV缓存服务模块(12)，反向代理服务模块和KV缓存服务模块用于实现路由策略；每个数据服务器均包括数据服务模块(21)，数据服务模块依附于实时数据库服务，可接受HTTP订阅、查询请求，并上送数据；包括如下步骤：

(1-1)任一客户端向网关服务器的反向代理服务模块发起HTTP订阅请求帧；

(1-2)反向代理服务模块收到HTTP订阅请求帧后，根据HTTP订阅请求帧中的设备ID查询KV缓存服务模块，获得设备所在的数据服务器A的地址，并将请求路由转至数据服务器A；

(1-3)数据服务器A的数据服务模块获取与设备ID对应的设备数据并将设备数据传给反向代理服务模块，反向代理服务模块将设备数据打包后，将数据包传给客户端；

数据服务模块监测实时数据库中的所述设备是否发生数据变化，如有变化，则不断上送变化数据，直至客户端关闭HTTP订阅请求。

2.根据权利要求1所述的基于HTTP协议的实时数据订阅方法，其特征是，HTTP订阅请求帧的帧头包括请求方式字段、请求设备ID字段、协议版本字段、连接方式字段和传输内容类型字段。

3.根据权利要求2所述的基于HTTP协议的实时数据订阅方法，其特征是，传输内容类型字段中为二进制数据流。

4.根据权利要求1所述的基于HTTP协议的实时数据订阅方法，其特征是，所述数据包包括包头和若干个数据帧，包头包括状态字段、内容字段和传输编码类型字段。

5.根据权利要求4所述的基于HTTP协议的实时数据订阅方法，其特征是，传输编码类型字段中为二进制数据流。

6.根据权利要求4所述的基于HTTP协议的实时数据订阅方法，其特征是，数据帧包括帧长度字段、设备时间戳字段、运行状态字段、管道压力字段、设备版本字段和设备在线字段。

7.根据权利要求4或5或6所述的基于HTTP协议的实时数据订阅方法，其特征是，客户端收到数据包后，查找每一帧数据的占位符，将占位符前面的子串，转换为整型数字N；

判断占位符后面的子串长度是否大于N，如果子串长度＞N，则截取占位符后面的子串中N长度的数据，作为完整的数据包；

如果子串中剩余的数据长度大于N，则放入下一次执行序列，直至子串中没有剩余数据为止。