CN111770143A - 基于Mqtt协议的数据断点续传方案 - Google Patents

基于Mqtt协议的数据断点续传方案 Download PDF

Info

Publication number
CN111770143A
CN111770143A CN202010549939.9A CN202010549939A CN111770143A CN 111770143 A CN111770143 A CN 111770143A CN 202010549939 A CN202010549939 A CN 202010549939A CN 111770143 A CN111770143 A CN 111770143A
Authority
CN
China
Prior art keywords
message
data
platform
remote
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010549939.9A
Other languages
English (en)
Inventor
姚丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Dongyuan Panneng Energy Technology Co ltd
Original Assignee
Nanjing Dongyuan Panneng Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Dongyuan Panneng Energy Technology Co ltd filed Critical Nanjing Dongyuan Panneng Energy Technology Co ltd
Priority to CN202010549939.9A priority Critical patent/CN111770143A/zh
Publication of CN111770143A publication Critical patent/CN111770143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/1085—Resource delivery mechanisms involving dynamic management of active down- or uploading connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供基于Mqtt协议的数据断点续传方案，包括基于Json的报文格式给定；基于业务报文数据类型的报文类型分类；即时通讯的报文发送机制给定；基于心跳实时检测的历史数据存储和数据续传。本发明通过给定一种基于Mqtt协议的报文数据断点续传方案，跟传统的Mqtt协议的即时通讯相比，能够保障在网关无故障，而代理服务器、平台端或者中间传输网络故障的情况下，当故障修复后，故障期间的报文数据能够继续上送平台。本发明为Mqtt协议在物联网中的应用提供了更加完善的机制，具有很实际的应用价值。

Description

基于Mqtt协议的数据断点续传方案
技术领域
本发明涉及物联网技术领域，特别涉及基于Mqtt协议的数据断点续传方案。
背景技术
伴随着云计算技术的迅速发展，目前越来越多的云服务器(Elastic ComputeService,简称ECS)在市场上出现，主要代表有阿里云、华为云、天翼云、金山云等。由于云服务器(ECS)具有网络部署、灵活扩展、节约成本、方便维护、公网Ip自带等特点，为了解决由于物联网节点分散而导致的网络部署困难、移动端应用必须公网部署、终端需要等问题，越来越多的物联网平台也部署到了云服务器之上。
消息队列遥测传输协议(Message Queuing Telemetry Transport，MQTT)为一种基于订阅/发布模型的轻量级即时通讯协议，符合物联网的通信要求，目前，在物联网云平台中得到了广泛的应用。如，耿锡涛对MQTT协议在电力设备在线监测系统进行了应用研究，给出了基于MQTT协议，实现温度在线实时采集的设计方案。刘佳利用MQTT协议，对城市水务物联网监控系统进行了设计。然而，由于MQTT本身的设计理念就是即时通讯，目前的研究于应用也都是集中在即时通讯上。假如传输层网关、代理服务器、平台端服务器以及中间传输网络任何一方在某个时段出现故障，采用常规的MQTT进行即时通讯，则会导致故障时段的报文数据缺失，使得业务报文数据不完整。
为了解决上述问题，本文研究给出一种基于Mqtt的报文数据断点续传方案。
发明内容
为克服上述现有技术中的不足，本发明目的在于提供基于Mqtt的报文数据断点续传方案。
为实现上述目的及其他相关目的，本发明提供的技术方案是：基于Mqtt协议的数据断点续传方案,其特征在于，包括以下内容：
a.基于Json的报文格式给定；
b.基于业务数据类型的报文类型分类；
c.即时通讯的报文发送机制给定；
d.基于心跳实时检测的历史数据存储和续传；
内容d具体包括以下步骤：
S1、平台端每隔固定时间发送一次心跳，当网关端接收到平台端发送来的心跳时，表示当前平台端、Mqtt代理服务端、网关端及网络运行良好，设置平台通讯状态为在线，即置在线状态为1；同时设置上次通讯时间等于当前时间；
S2、当前时间减去上次通讯时间大于规定有效通断时间时，设置平台通讯状态为离线，即置在线状态为0；
S3、当检测到平台通讯状态为离线时，后续所有发送的数据都存储到网关的本地文件中；
S4、当检测到平台通讯状态由离线变为在线时，发送存储的历史数据。
优选的技术方案为：内容a中，Mqtt协议在物联网传输中的报文采用Json的格式给定物联网平台的报文规约，报文规约中的具体标识定义如下：
CMD：报文功能码；
PN：网关编码；
State：状态；
Direction：传输方向；
Value：终端采集设备数据；
DataType：数据类型；
DateTime：时间标志。
优选的技术方案为：内容b中，借助电力系统的数据分类，将报文分为遥测、遥信、遥脉和遥设四类，根据四种类型数据的应用传输功能，CMD报文功能码根据传输的数据类型不同给定如下：
00：遥设；
01：全遥测；
02：变化遥测；
03：全遥信；
04：变化遥信；
05：全遥脉。
优选的技术方案为：内容c中，在报文类型已给定的基础之上，给定报文发送机制如下：
全遥测、全遥信和全遥脉报文数据设置为网关端定时上送，即每固定周期间隔之后上送一次；
变化遥测，为了避免上送频繁，可设置变化幅度进行上送，如变化幅度大于1％，则上送；
遥信，只要发生变位，则都需要立即上送；
遥设消息由平台端在业务应用的触发下，即时发送，网关端接收到消息后立马下发给控制装置，控制装置执行后，网关端可将执行结果以遥信突变的方式或者遥测突变的方式上送到平台端。
由于上述技术方案运用，本发明具有的有益效果为：
本发明在当代理服务器、平台端或者中间任意传输网络故障的情况下，当故障修复后，故障期间的报文数据能够继续上送平台，从而保证业务报文数据的完整性。本方案对Mqtt协议在物联网平台的应用进行了完善，具有很实际的应用价值。
附图说明
图1为本发明Mqtt协议在物联网中的应用网络架构。
图2为本发明基于心跳实时检测的报文数据断点续传详细流程。
图3为在未采用本发明的方案的情况下发生故障的业务应用示例。
图4为采用本发明的方案的情况下发生故障的业务应用示例。
图5为本发明报文数据发送机制示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1-图5。须知，在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接，可以是机械连接，也可以是电连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例：
基于Mqtt协议的数据断点续传方案,包括以下内容：
a.基于Json的报文格式给定；
b.基于业务数据类型的报文类型分类；
c.即时通讯的报文发送机制给定；
d.基于心跳实时检测的历史数据存储和续传；
内容d具体包括以下步骤：
S1、平台端每隔固定时间发送一次心跳，当网关端接收到平台端发送来的心跳时，表示当前平台端、Mqtt代理服务端、网关端及网络运行良好，设置平台通讯状态为在线，即置在线状态为1；同时设置上次通讯时间等于当前时间；
S2、当前时间减去上次通讯时间大于规定有效通断时间时，设置平台通讯状态为离线，即置在线状态为0；
S3、当检测到平台通讯状态为离线时，后续所有发送的数据都存储到网关的本地文件中；
S4、当检测到平台通讯状态由离线变为在线时，发送存储的历史数据。(基于心跳实时检测的报文数据断点续传详细流程，参见图2)
关于报文格式，由于Json是一种简单的数据交换格式，它具有层次结构简单、良好的自我描述、生成解析方便、读写速度快等特点。故，本发明采用Json的格式给定物联网平台的报文规约，具体标识定义如下：
CMD：报文功能码；
PN：网关编码；
State：状态；
Direction：传输方向；
Value：终端采集设备报文数据；
DataType：报文数据类型；
DateTime：时间标志。
其中Value表示的终端采集设备数据利用点号id和值进行表示，如下：
{"CMD":"01","PN":"5","Value":[{"0":"2228.00"},{"1":"0.00"},{"2":"356.00"},{"3":"406.00"},{"4":"0.00"},{"5":"171.00"},{"6":"0.00"},{"7":"0.00"},{"8":"171.00"},{"9":"3000.00"},{"10":"1000.00"},{"11":"100000000.00"},{"12":"2000.00"},{"13":"1.00"},{"14":"1.00"},{"15":"3.00"}]}
关于报文分类，本发明基于电力系统的数据分类，将物联网传输的数据种类分为四大类：遥测、遥信、遥脉和遥设。
遥测：指传输的变量之值，如电压、电流、瞬时流量等，一般来说，该类报文数据时刻都在发生着变化，且具有限值的告警存在；
遥信：指传输的状态信息，用0和1表示，如合闸状态、机器运行状态等；
遥脉：指传输的累计量，如电度、累计流量等，该类报文数据与遥测报文数据的最主要的区别是该类报文数据是累计上升的数值，无限值之说；
遥设：由平台端下方给终端设备的设置命令，可以是0和1的状态控制，也可以是数值型设置，如空调温度设置等；
根据以上数据种类的应用传输功能，CMD报文功能码根据传输的数据类型不同给定如下：
00：遥设；
01：全遥测；
02：变化遥测；
03：全遥信；
04：变化遥信；
05：全遥脉。
关于报文发送机制，本发明在报文类型给定的基础之上，报文发送机制给定如下(参见图5)：
全遥测、全遥信和全遥脉报文数据设置为网关端定时上送，即每固定周期间隔之后上送一次；
变化遥测，为了避免上送频繁，可设置变化幅度进行上送，如变化幅度大于1％，则上送；
遥信，只要发生变位，则都需要立即上送；
遥设消息由平台端在业务应用的触发下，即时发送，网关端接收到消息后立马下发给控制装置，控制装置执行后，网关端可将执行结果以遥信突变的方式或者遥测突变的方式上送到平台端。
为了进一步说明本发明给出方案的优势，本发明已经将该方案开发完毕应用到了实际平台中(应用于基于上次表底值的能耗统计，参见图3-图4)。将原来没有断点续传功能的平台和带有断点续传功能的平台同时搭建，网关和代理服务只有一个，代理服务于两个平台不在同一台服务器上，两个平台同时订阅网关的发布报文数据主题。在6：20分别将两个平台和代理服务之间的网络进行断开，8：50进行恢复。结果如图3和图4所示。图3中可以看出无断点续传功能的平台在6：20和8：50之间，报文数据则是缺失的；图4中可以看出含有断点续传功能的平台在6：20和8：50之间的报文数据则是完整的。
所以，本发明具有以下优点：
本发明给出一种基于Mqtt协议的报文数据断点续传方案能够在Mqtt的代理服务器、平台端或是中间传输网络故障的情况下，当故障恢复后，继续上传业务应用报文数据，从而保障了业务应用报文数据的完整性，具有很实际的应用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神和技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (4)

1.基于Mqtt协议的数据断点续传方案,其特征在于，包括以下内容：
a.基于Json的报文格式给定；
b.基于业务数据类型的报文类型分类；
c.即时通讯的报文发送机制给定；
d.基于心跳实时检测的历史数据存储和续传；
内容d具体包括以下步骤：
S1、平台端每隔固定时间发送一次心跳，当网关端接收到平台端发送来的心跳时，表示当前平台端、Mqtt代理服务端、网关端及网络运行良好，设置平台通讯状态为在线，即置在线状态为1；同时设置上次通讯时间等于当前时间；
S2、当前时间减去上次通讯时间大于规定有效通断时间时，设置平台通讯状态为离线，即置在线状态为0；
S3、当检测到平台通讯状态为离线时，后续所有发送的数据都存储到网关的本地文件中；
S4、当检测到平台通讯状态由离线变为在线时，发送存储的历史数据。
2.根据权利要求1所述的基于Mqtt协议的数据断点续传方案，其特征在于：内容a中，Mqtt协议在物联网传输中的报文采用Json的格式给定物联网平台的报文规约，报文规约中的具体标识定义如下：
CMD：报文功能码；
PN：网关编码；
State：状态；
Direction：传输方向；
Value：终端采集设备数据；
DataType：数据类型；
DateTime：时间标志。
3.根据权利要求1所述的基于Mqtt协议的数据断点续传方案，其特征在于：内容b中，借助电力系统的数据分类，将报文分为遥测、遥信、遥脉和遥设四类，根据四种类型数据的应用传输功能，CMD报文功能码根据传输的数据类型不同给定如下：
00：遥设；
01：全遥测；
02：变化遥测；
03：全遥信；
04：变化遥信；
05：全遥脉。
4.根据权利要求1所述的基于Mqtt协议的数据断点续传方案，其特征在于：内容c中，在报文类型已给定的基础之上，给定报文发送机制如下：
全遥测、全遥信和全遥脉报文数据设置为网关端定时上送，即每固定周期间隔之后上送一次；
变化遥测，为了避免上送频繁，可设置变化幅度进行上送，如变化幅度大于1％，则上送；
遥信，只要发生变位，则都需要立即上送；
遥设消息由平台端在业务应用的触发下，即时发送，网关端接收到消息后立马下发给控制装置，控制装置执行后，网关端可将执行结果以遥信突变的方式或者遥测突变的方式上送到平台端。
CN202010549939.9A 2020-06-16 2020-06-16 基于Mqtt协议的数据断点续传方案 Pending CN111770143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549939.9A CN111770143A (zh) 2020-06-16 2020-06-16 基于Mqtt协议的数据断点续传方案

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549939.9A CN111770143A (zh) 2020-06-16 2020-06-16 基于Mqtt协议的数据断点续传方案

Publications (1)

Publication Number Publication Date
CN111770143A true CN111770143A (zh) 2020-10-13

Family

ID=72722700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549939.9A Pending CN111770143A (zh) 2020-06-16 2020-06-16 基于Mqtt协议的数据断点续传方案

Country Status (1)

Country Link
CN (1) CN111770143A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383640A (zh) * 2020-12-09 2021-02-19 上海核工程研究设计院有限公司 一种核电运行监控数据实时上报通讯系统
CN113259418A (zh) * 2021-04-25 2021-08-13 深圳市城市交通规划设计研究中心股份有限公司 传输数据的方法、设备以及计算机可读存储介质
CN113302881A (zh) * 2020-12-01 2021-08-24 百果园技术(新加坡)有限公司 实现在线聊天的方法、装置、聊天终端、服务器及存储介质
CN113630442A (zh) * 2021-07-14 2021-11-09 远景智能国际私人投资有限公司 数据传输方法、装置及系统
CN113904953A (zh) * 2021-12-09 2022-01-07 云丁网络技术(北京)有限公司 通信设备的离线检测方法、装置和设备
CN114401167A (zh) * 2022-01-28 2022-04-26 中智城信息科技（苏州）有限公司 边缘网关与云服务器的数据传输方法及装置
CN114640667A (zh) * 2022-03-31 2022-06-17 西安热工研究院有限公司 实时数据传输方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385410A (zh) * 2016-09-08 2017-02-08 四川长虹电器股份有限公司 基于mqtt的智能家电设备控制系统
US20170257226A1 (en) * 2016-03-04 2017-09-07 Wireless Input Technology, Inc. Method for Detecting the Status of a Home Automation Device
CN109150703A (zh) * 2018-08-23 2019-01-04 北方工业大学 一种工业物联网智能云网关及其通信方法
CN111031094A (zh) * 2019-11-06 2020-04-17 远景智能国际私人投资有限公司 IoT系统中的数据传输方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170257226A1 (en) * 2016-03-04 2017-09-07 Wireless Input Technology, Inc. Method for Detecting the Status of a Home Automation Device
CN106385410A (zh) * 2016-09-08 2017-02-08 四川长虹电器股份有限公司 基于mqtt的智能家电设备控制系统
CN109150703A (zh) * 2018-08-23 2019-01-04 北方工业大学 一种工业物联网智能云网关及其通信方法
CN111031094A (zh) * 2019-11-06 2020-04-17 远景智能国际私人投资有限公司 IoT系统中的数据传输方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谌建飞;邓敏;唐俊龙;文勇军;唐立军;: "实时大规模远程实验通信方案研究", 计算机工程与应用, no. 19 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302881A (zh) * 2020-12-01 2021-08-24 百果园技术(新加坡)有限公司 实现在线聊天的方法、装置、聊天终端、服务器及存储介质
WO2022115994A1 (zh) * 2020-12-01 2022-06-09 百果园技术(新加坡)有限公司 实现在线聊天的方法、装置、聊天终端、服务器及存储介质
CN112383640A (zh) * 2020-12-09 2021-02-19 上海核工程研究设计院有限公司 一种核电运行监控数据实时上报通讯系统
CN113259418A (zh) * 2021-04-25 2021-08-13 深圳市城市交通规划设计研究中心股份有限公司 传输数据的方法、设备以及计算机可读存储介质
CN113630442A (zh) * 2021-07-14 2021-11-09 远景智能国际私人投资有限公司 数据传输方法、装置及系统
WO2023287357A3 (en) * 2021-07-14 2023-03-02 Envision Digital International Pte. Ltd. Data transmission method, node and system
CN113630442B (zh) * 2021-07-14 2023-09-12 远景智能国际私人投资有限公司 数据传输方法、装置及系统
CN113904953A (zh) * 2021-12-09 2022-01-07 云丁网络技术(北京)有限公司 通信设备的离线检测方法、装置和设备
CN114401167A (zh) * 2022-01-28 2022-04-26 中智城信息科技（苏州）有限公司 边缘网关与云服务器的数据传输方法及装置
CN114640667A (zh) * 2022-03-31 2022-06-17 西安热工研究院有限公司 实时数据传输方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN111770143A (zh) 基于Mqtt协议的数据断点续传方案
CN108803552B (zh) 一种设备故障的监测系统及监测方法
KR101813067B1 (ko) IoT 감시 기능을 갖는 게이트웨이 및 스카다 유지보수 관리 시스템
CN206948382U (zh) 一种基于lora无线与互联网技术的设备远程监控管理系统
CN210608698U (zh) 一种基于LoRa技术的智能箱变在线监测装置
WO1999000934B1 (en) Automatic power outage notification via cebus interface
CN104580245B (zh) 一种配电终端104报文解析系统及其解析方法
CN110995859A (zh) 一种基于泛在物联网的变电站智能支撑平台系统
CN111740879A (zh) 一种数据采集与数据转发网关实现方法
CN107809475A (zh) 一种能源互联网物理信息系统的多源信息交互方法
CN207319050U (zh) 一种分布式光伏电站的集中监控运维系统
CN110389555B (zh) 一种船用变压器的监控系统及监控方法
CN112947364B (zh) 一种基于大数据预警配电站设备故障的系统及方法
CN208508613U (zh) 一种智能变电站监控系统
WO2022016574A1 (zh) 一种电力节能监控控制系统
CN210155210U (zh) 一种工业电力计
Huang Architecture of audio broadcasting coverage monitoring system based on internet of things
CN102368715B (zh) 基于iec-61850协议网关的交换机集中网管实现设备
CN115514089A (zh) 一种变电站用电力设备数据监控系统
CN114679691A (zh) 面向智能融合终端的边缘计算与承载能力测试方法及系统
Zhu et al. Design and Implementation of the Substation Intelligent Auxiliary Control System Based on OPC UA
CN210466460U (zh) 一种智慧园区安全检测与预警系统
CN114827263A (zh) 干式真空泵的信息转换装置
CN207895668U (zh) 一种跨网络跨平台监控告警管理装置
CN206627812U (zh) 预置提升泵远程监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination