CN114640667A - 实时数据传输方法、系统、设备及介质 - Google Patents
实时数据传输方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN114640667A CN114640667A CN202210336228.2A CN202210336228A CN114640667A CN 114640667 A CN114640667 A CN 114640667A CN 202210336228 A CN202210336228 A CN 202210336228A CN 114640667 A CN114640667 A CN 114640667A
- Authority
- CN
- China
- Prior art keywords
- real
- data
- mqtt proxy
- time data
- proxy server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种实时数据传输方法、系统、设备及介质,方法包括:判断两个MQTT代理服务器的通讯状态;若至少一个MQTT代理服务器的通讯状态为在线时,则将待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端;本发明避免了由于网络故障或平台端单点故障,引起的数据中断和缺失,提升了实时数据的时效性、准确性和完整性,为开展电量分析提供了有力支撑,以及为生产管理提供了数据科学依据。
Description
技术领域
本发明属于数据传输技术领域,特别涉及一种实时数据传输方法、系统、设备及介质。
背景技术
长期以来,生产实时数据的准确传输一直是实时监管系统保障机制中的重中之重,集团公司通过汇集下属发电企业的发电、排放等生产实时数据进行统计分析及展现等;目前,各发电企业上传生产实时数据大多采用单路冗余网络传输技术实现;其中,当单路设备、网络发生故障时,会导致故障时段数据缺失,使得业务数据不完整;导致出现以下问题:1、集团监管大屏、实时监管系统中的数据曲线和部分统计出现缺失现象;2、生产经营中统计分析造成误差;3、集团无法正确判定各电厂下属企业生产状况。
发明内容
针对现有技术中存在的技术问题,本发明提供了一种实时数据传输方法、系统、设备及介质,以解决现有的生产实时数据传输过程,易导致故障时段数据确实,数据统计分析结果误差较大的技术问题。
为达到上述目的,本发明采用的技术方案为:
本发明提供了一种实时数据传输方法,用于发电企业实时数据平台;
所述发电企业实时数据平台,包括数据采集端、两个网关端、两个MQTT代理服务器及平台端;所述数据采集端,用于获取待传输实时数据;第一个网关端和第二个网关端均与所述数据采集端相连,第一个网关端还与第一个MQTT代理服务器相连,第二个网关端还与第二个MQTT代理服务器连接;所述两个MQTT代理服务器还均与所述平台端相连;
所述实时数据传输方法,包括:
判断两个MQTT代理服务器的通讯状态;
若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;
当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
进一步的,所述数据采集端从发电企业的SIS系统中采集预设测点的实时业务数据,作为待传输实时数据;
所述待传输实时数据包括发电企业的生产实时数据、经营类数据及开关量数据;
所述发电企业的生产实时数据按照时间序列进行实时传输或按照预设时间间隔进行分批增量传输;所述发电企业的经营类数据按照预设时间进行传输;所述发电企业的开关量数据采用间隔时间进行传输。
进一步的,判断两个MQTT代理服务器的通讯状态的过程,具体如下:
分别通过两个MQTT代理服务器分别向两个网关端发送心跳信息;
判断两个MQTT代理服务器与对应网关端之间是否存在心跳故障;若存在,则对应的MQTT代理服务器的通讯状态为离线;否则,通讯状态为在线。
进一步的,判断两个MQTT代理服务器与对应网关端之间是否存在心跳故障的过程,具体如下:
当网关端在预设时间内接收到对应MQTT代理服务器发送的心跳信息时,则所述MQTT代理服务器的通讯状态为在线;否则,MQTT代理服务器与对应网关端之间心跳故障;
其中,所述预设时间为当前网关端接收到心跳信息的时刻与上一次接收到心跳信息的时刻之差;所述预设时间小于等于预设有效通断时间。
进一步的,若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件的过程,具体如下:
当至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;
当两个MQTT代理服务器的通讯状态均为离线时,则进行断点数据暂存,生成历史数据文件;其中,所述历史数据文件存储在网关端的本地文件中。
进一步的,当两个MQTT代理服务器的通讯状态均为离线时,则进行断点数据暂存,生成历史数据文件的过程,具体如下:
判断网关端的本地文件中,是否存储有既有历史数据文件;
若有,则将待传输实时数据暂存之所述既有历史数据文件中;否则,在所述网关端的本地文件中新建空白数据文件,并将待传输实时数据暂存之所述新建空白数据文件中,得到历史数据文件。
进一步的,若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端的过程,具体如下:
所述数据采集端发送所述待传输实时数据至网关端;
判断所述网关端是否存在历史数据文件;若存在,则发送历史数据文件至通讯状态为在线的MQTT代理服务器,并将所述历史数据文件从网关端删除;若不存在,则发送所述待传输实时数据至通讯状态为在线的MQTT代理服务器;
所述通讯状态为在线的MQTT代理服务器,将接收的历史数据文件或所述待传输实时数据同步至平台端。
本发明还提供了一种实时数据传输系统,用于发电企业实时数据平台;
所述发电企业实时数据平台,包括数据采集端、两个网关端、两个MQTT代理服务器及平台端;所述数据采集端,用于获取待传输实时数据;第一个网关端和第二个网关端均与所述数据采集端相连,第一个网关端还与第一个MQTT代理服务器相连,第二个网关端还与第二个MQTT代理服务器连接;所述两个MQTT代理服务器还均与所述平台端连接;
所述实时数据传输系统,包括:
通讯状态判断模块,用于判断两个MQTT代理服务器的通讯状态;
断点数据暂存模块,用于若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;
断点数据续传模块,用于当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
本发明还提供了一种实时数据传输设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述的实时数据传输方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的实时数据传输方法的步骤。
与现有技术相比,本发明的有益效果为:
本发明提供了一种实时数据传输方法及系统,通过双路冗余的实时数据传输网络,将实时数据分别传输至两个不同区域的MQTT代理服务器;两条冗余网络链路故障时采用断点续传方式进行数据暂存和恢复,避免了由于网络故障或平台端单点故障,引起的数据中断和缺失,有效提升了实时数据的时效性、准确性和完整性,为开展电量分析提供了有力支撑,以及为生产管理提供了数据科学依据。
附图说明
图1为本发明所述的实时数据传输方法的流程图。
具体实施方式
为了使本发明所解决的技术问题,技术方案及有益效果更加清楚明白,以下具体实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明以某电力企业的实时数据传输过程为例。
本发明提供了一种实时数据传输方法,所述方法应用于发电企业实时数据平台;所述发电企业实时数据平台,包括数据采集端、两个网关端、两个MQTT代理服务器及平台端;所述数据采集端,用于获取待传输实时数据;其中,第一个网关端和第二个网关端均与所述数据采集端相连;第一个网关端还与第一个MQTT代理服务器相连,第二个网关端还与第二个MQTT代理服务器相连;所述两个MQTT代理服务器还均与所述平台端相连;基于两个网关端及两个MQTT代理服务器,在数据采集端与平台端之间形成双路冗余网络,实现实时数据的传输。
本发明中,所述数据采集端从发电企业的SIS系统中采集预设测点的实时业务数据,作为待传输实时数据;所述待传输实时数据包括发电企业的生产实时数据、经营类数据及开关量数据;所述发电企业的生产实时数据按照时间序列进行实时传输或按照预设时间间隔进行分批增量传输;所述发电企业的经营类数据按照预设时间进行传输;所述发电企业的开关量数据采用间隔时间进行传输。
如附图1所示,本发明所述的实时数据传输方法,包括以下步骤:
步骤1、判断两个MQTT代理服务器的通讯状态;其中,通讯状态的判断过程,具体如下:
分别通过两个MQTT代理服务器分别向两个网关端发送心跳信息;
判断两个MQTT代理服务器与对应网关端之间是否存在心跳故障;若存在,则对应的MQTT代理服务器的通讯状态为离线;否则,通讯状态为在线。
其中,判断是否存在心跳故障的过程,具体如下:
当网关端在预设时间内接收到对应MQTT代理服务器发送的心跳信息时,则所述MQTT代理服务器的通讯状态为在线;否则,MQTT代理服务器与对应网关端之间心跳故障;其中,所述预设时间为当前网关端接收到心跳信息的时刻与上一次接收到心跳信息的时刻之差;所述预设时间小于等于预设有效通断时间。
步骤2、若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件。
具体如下:
当至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;
当两个MQTT代理服务器的通讯状态均为离线时,则进行断点数据暂存,生成历史数据文件;其中,所述历史数据文件存储在网关端的本地文件中;其中,进行断点数据暂存,生成历史数据文件的过程,具体为:
判断网关端的本地文件中,是否存储有既有历史数据文件;
若有,则将待传输实时数据暂存之所述既有历史数据文件中;否则,在所述网关端的本地文件中新建空白数据文件,并将待传输实时数据暂存之所述新建空白数据文件中,得到历史数据文件。
步骤3、当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端;具体如下:
所述数据采集端发送所述待传输实时数据至网关端;
判断所述网关端是否存在历史数据文件;若存在,则发送历史数据文件至通讯状态为在线的MQTT代理服务器,并将所述历史数据文件从网关端删除;若不存在,则发送所述待传输实时数据至通讯状态为在线的MQTT代理服务器;
所述通讯状态为在线的MQTT代理服务器,将接收的历史数据文件或所述待传输实时数据同步至平台端。
本发明所述的实时数据传输方法,从发电企业的SIS系统中采集预设测点的实时业务数据,利用双路冗余网络及断点续传的方式,将待传输的实时数据通过双路冗余网络,分别传输至两个不同区域的MQTT代理服务器,并利用两个不同区域的MQTT代理服务器进行数据同步,实现将待传输实时数据传输至平台端,进行存储和再利用;其中,采用MQTT协议等符合电力行业标准的物联网传输规约;其中,待传输实时数据的传输过程,基于Json的报文格式,报文类型基于业务数据的类型进行分类,按照给定的即时通讯的报文发送机制。
本发明中,所述报文格式的内容包括:数据代理网关编码、状态、传输方向、采集设备数据、数据类型及时间标识:报文类型包括:经营类数据、生产实时数据及开关量数据;其中,00代表经营类数据,01代表生产实时数据,02代表开关量数据。
所述给定的即时通讯的报文发送机制,具体为:生产实时数据按照时间序列进行实时传输或按照给定时间间隔进行分批增量传输;经营类数据按照给定时间进行传输;其中,判断是否有增量数据,进行增量传输,以减少网络压力;开关量数据采用间隔时间进行判断。
本发明中,通过两个MQTT代理服务器分别向两个网关端发送心跳信息时,具体为:两个MQTT代理服务器每隔固定时间分别向两个网关端发送一次心跳,当数据接收端接收到两个MQTT代理服务器发送的心跳时,表示平台端、MQTT代理服务器、网关端及网络运行良好,设置MQTT服务器的通讯状态为在线;即,MQTT代理服务器的在线状态均记作1;同时,设置上次通讯时间等于当前通讯时间;当前通讯时间减去上次通讯时间大于规定有效通断时间时,设置MQTT服务器的通讯状态为离线;即,MQTT代理服务器的在线状态记作0。
本发明中,当两个MQTT代理服务器的在线状态同时为0时,启动断点续传功能,即将后续发送的所有实时数据都存储在网关端的本地文件中,生成历史数据文件;当至少有一个MQTT代理服务器的在线状态为1时,启动历史数据文件中暂存的实时数据传输,历史数据文件中暂存的实时数据传输完毕后,恢复及时通讯数据传输;若平台端链路故障,则启动平台端与MQTT代理服务器之间的数据同步传输功能。
本发明还提供了一种实时数据传输系统,所述实时数据传输系统,应用于发电企业实时数据平台;所述发电企业实时数据平台,包括数据采集端、两个网关端、两个MQTT代理服务器及平台端;所述数据采集端,用于获取待传输实时数据;第一个网关端和第二个网关端均与所述数据采集端相连,第一个网关端还与第一个MQTT代理服务器相连,第二个网关端还与第二个MQTT代理服务器连接;所述两个MQTT代理服务器还均与所述平台端连接。
本发明所述的实时数据传输系统,包括通讯状态判断模块、断点数据暂存模块及断点数据续传模块;通讯状态判断模块,用于判断两个MQTT代理服务器的通讯状态;断点数据暂存模块,用于若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;断点数据续传模块,用于当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
本发明还提供了一种实时数据传输设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现实时数据传输方法的步骤。
所述处理器执行所述计算机程序时实现上述实时数据传输方法的步骤,例如:判断两个MQTT代理服务器的通讯状态;若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
或者,所述处理器执行所述计算机程序时实现上述系统中各模块的功能,例如:通讯状态判断模块,用于判断两个MQTT代理服务器的通讯状态;断点数据暂存模块,用于若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;断点数据续传模块,用于当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成预设功能的一系列计算机程序指令段,所述指令段用于描述所述计算机程序在所述实时数据传输设备中的执行过程。例如,所述计算机程序可以被分割成通讯状态判断模块、断点数据暂存模块及断点数据续传模块,各模块具体功能如下:通讯状态判断模块,用于判断两个MQTT代理服务器的通讯状态;断点数据暂存模块,用于若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;断点数据续传模块,用于当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
所述实时数据传输设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述实时数据传输设备可包括,但不仅限于处理器、存储器。本领域技术人员可以理解,上述仅仅是实时数据传输设备的示例,并不构成对实时数据传输设备的限定,可以包括比上述更多的部件,或者组合某些部件,或者不同的部件,例如所述实时数据传输设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等,所述处理器是所述实时数据传输设备的控制中心,利用各种接口和线路连接整个实时数据传输设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述实时数据传输设备的各种功能。
所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMediaCard,SMC),安全数字(SecureDigital,SD)卡,闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种实时数据传输方法的步骤。
所述实时数据传输系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
基于这样的理解,本发明实现上述实时数据传输方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,所述计算机程序在被处理器执行时,可实现上述实时数据传输方法的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
本发明所述的实时数据传输方法及系统,属于电力生产经营核心指标评价领域,具体属于数据传输技术领域;所述实时数据传输方法,能够实现对火电、水电、风电及光伏等电力企业的实时数据进行采集,并实现及时准确上传;本发明通过双路冗余网络及断点续传手段,确保了实时数据传输过程的完整性和准确性。
本发明中,从各发电企业的SIS系统中采集预设测点的实时数据,利用双路冗余网络及断点续传的实时数据传输方法,具体通过双路冗余网络,分别传输至两个不同区域的MQTT代理服务器;当双路冗余网络中的其中一条网络链路发生故障时,数据可以通过另一条网络链路传输至另一个区域的MQTT代理服务器;利用两个不同区域的MQTT代理服务器对平台端进行数据同步,从而实现实时数据的稳定、实时、可靠传输;当双路冗余网络中的两条网络链路均发生故障时,数据采集端进行断点数据暂存,至网关端的本地文件中;优选的,暂存时间跨度为14-30天;当任意一条网络链路恢复后,开始暂存数据的传输,传输结束后,自动恢复实时数据传输,进而实现企业经营数据和生产实时数据的自动传输;避免由于发电集团所辖企业众多,生产实时数据传输过程中总是出现不同等级的故障,造成数据不同程度的丢失,满足集团公司准确全面的开展生产经营统计分析的工作需要。
本发明所述的实时数据传输方法及系统,为发电集团数据运维人员减轻了大量的运维工作量,也有效的提升了发电集团生产经营等数据的时效性、准确性、完整性,开展实时电量分析提供了有力的支撑,显著提高了发电集团生产经营管理决策的准确性和实时性,在对下属企业监督的时效性、手段的完整性、信息的准确性方面有了质的飞跃,避免了由于网络故障或平台端单点故障,引起的数据终端和缺失,造成经营管理的误判,为生产管理提供了数据科学依据,经济效益显著。
上述实施例仅仅是能够实现本发明技术方案的实施方式之一,本发明所要求保护的范围并不仅仅受本实施例的限制,还包括在本发明所公开的技术范围内,任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。
Claims (10)
1.一种实时数据传输方法,其特征在于,用于发电企业实时数据平台;
所述发电企业实时数据平台,包括数据采集端、两个网关端、两个MQTT代理服务器及平台端;所述数据采集端,用于获取待传输实时数据;第一个网关端和第二个网关端均与所述数据采集端相连,第一个网关端还与第一个MQTT代理服务器相连,第二个网关端还与第二个MQTT代理服务器连接;所述两个MQTT代理服务器还均与所述平台端相连;
所述实时数据传输方法,包括:
判断两个MQTT代理服务器的通讯状态;
若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;
当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
2.根据权利要求1所述的一种实时数据传输方法,其特征在于,所述数据采集端从发电企业的SIS系统中采集预设测点的实时业务数据,作为待传输实时数据;
所述待传输实时数据包括发电企业的生产实时数据、经营类数据及开关量数据;
所述发电企业的生产实时数据按照时间序列进行实时传输或按照预设时间间隔进行分批增量传输;所述发电企业的经营类数据按照预设时间进行传输;所述发电企业的开关量数据采用间隔时间进行传输。
3.根据权利要求1所述的一种实时数据传输方法,其特征在于,判断两个MQTT代理服务器的通讯状态的过程,具体如下:
分别通过两个MQTT代理服务器分别向两个网关端发送心跳信息;
判断两个MQTT代理服务器与对应网关端之间是否存在心跳故障;若存在,则对应的MQTT代理服务器的通讯状态为离线;否则,通讯状态为在线。
4.根据权利要求3所述的一种实时数据传输方法,其特征在于,判断两个MQTT代理服务器与对应网关端之间是否存在心跳故障的过程,具体如下:
当网关端在预设时间内接收到对应MQTT代理服务器发送的心跳信息时,则MQTT代理服务器与对应网关端之间心跳正常;否则,MQTT代理服务器与对应网关端之间心跳故障;
其中,所述预设时间为当前网关端接收到心跳信息的时刻与上一次接收到心跳信息的时刻之差;所述预设时间小于等于预设有效通断时间。
5.根据权利要求1所述的一种实时数据传输方法,其特征在于,若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件的过程,具体如下:
当至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;
当两个MQTT代理服务器的通讯状态均为离线时,则进行断点数据暂存,生成历史数据文件;其中,所述历史数据文件存储在网关端的本地文件中。
6.根据权利要求5所述的一种实时数据传输方法,其特征在于,当两个MQTT代理服务器的通讯状态均为离线时,则进行断点数据暂存,生成历史数据文件的过程,具体如下:
判断网关端的本地文件中,是否存储有既有历史数据文件;
若有,则将待传输实时数据暂存之所述既有历史数据文件中;否则,在所述网关端的本地文件中新建空白数据文件,并将待传输实时数据暂存之所述新建空白数据文件中,得到历史数据文件。
7.根据权利要求1所述的一种实时数据传输方法,其特征在于,若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端的过程,具体如下:
所述数据采集端发送所述待传输实时数据至网关端;
判断所述网关端是否存在历史数据文件;若存在,则发送历史数据文件至通讯状态为在线的MQTT代理服务器,并将所述历史数据文件从网关端删除;若不存在,则发送所述待传输实时数据至通讯状态为在线的MQTT代理服务器;
所述通讯状态为在线的MQTT代理服务器,将接收的历史数据文件或所述待传输实时数据同步至平台端。
8.一种实时数据传输系统,其特征在于,用于发电企业实时数据平台;
所述发电企业实时数据平台,包括数据采集端、两个网关端、两个MQTT代理服务器及平台端;所述数据采集端,用于获取待传输实时数据;第一个网关端和第二个网关端均与所述数据采集端相连,第一个网关端还与第一个MQTT代理服务器相连,第二个网关端还与第二个MQTT代理服务器连接;所述两个MQTT代理服务器还均与所述平台端连接;
所述实时数据传输系统,包括:
通讯状态判断模块,用于判断两个MQTT代理服务器的通讯状态;
断点数据暂存模块,用于若至少一个MQTT代理服务器的通讯状态为在线时,则将所述待传输实时数据通过通讯状态为在线的MQTT代理服务器同步至所述平台端;否则,进行断点数据暂存,生成历史数据文件;
断点数据续传模块,用于当至少一个MQTT代理服务器的通讯状态恢复为在线时,则将所述历史数据文件及待传输实时数据通过通讯状态恢复为在线的MQTT代理服务器同步至所述平台端的同步至所述平台端。
9.一种实时数据传输设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1-7任一项所述的实时数据传输方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的实时数据传输方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210336228.2A CN114640667A (zh) | 2022-03-31 | 2022-03-31 | 实时数据传输方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210336228.2A CN114640667A (zh) | 2022-03-31 | 2022-03-31 | 实时数据传输方法、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114640667A true CN114640667A (zh) | 2022-06-17 |
Family
ID=81950995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210336228.2A Pending CN114640667A (zh) | 2022-03-31 | 2022-03-31 | 实时数据传输方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114640667A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114495A (ja) * | 1993-10-19 | 1995-05-02 | Nec Corp | 多重化ファイル管理方式 |
KR20030048503A (ko) * | 2001-12-12 | 2003-06-25 | 주식회사 엘지이아이 | 이중화 서버 구조의 데이터 동기화를 위한 통신 시스템 및방법 |
CN110649995A (zh) * | 2019-09-02 | 2020-01-03 | 熊猫智慧水务有限公司 | 一种用于供水的智慧双路冗余通信联网系统 |
CN111770143A (zh) * | 2020-06-16 | 2020-10-13 | 南京东源磐能能源科技股份有限公司 | 基于Mqtt协议的数据断点续传方案 |
WO2021091492A1 (en) * | 2019-11-06 | 2021-05-14 | Envision Digital International Pte. Ltd. | Method and apparatus for transmitting data in iot system, and gateway device and storage medium thereof |
CN113867226A (zh) * | 2021-10-18 | 2021-12-31 | 西安热工研究院有限公司 | 一种面向工控系统的冗余数据采集系统 |
CN114205348A (zh) * | 2021-12-21 | 2022-03-18 | 安徽蓝盾光电子股份有限公司 | 一种文件断点续传的系统及方法 |
-
2022
- 2022-03-31 CN CN202210336228.2A patent/CN114640667A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114495A (ja) * | 1993-10-19 | 1995-05-02 | Nec Corp | 多重化ファイル管理方式 |
KR20030048503A (ko) * | 2001-12-12 | 2003-06-25 | 주식회사 엘지이아이 | 이중화 서버 구조의 데이터 동기화를 위한 통신 시스템 및방법 |
CN110649995A (zh) * | 2019-09-02 | 2020-01-03 | 熊猫智慧水务有限公司 | 一种用于供水的智慧双路冗余通信联网系统 |
WO2021091492A1 (en) * | 2019-11-06 | 2021-05-14 | Envision Digital International Pte. Ltd. | Method and apparatus for transmitting data in iot system, and gateway device and storage medium thereof |
CN111770143A (zh) * | 2020-06-16 | 2020-10-13 | 南京东源磐能能源科技股份有限公司 | 基于Mqtt协议的数据断点续传方案 |
CN113867226A (zh) * | 2021-10-18 | 2021-12-31 | 西安热工研究院有限公司 | 一种面向工控系统的冗余数据采集系统 |
CN114205348A (zh) * | 2021-12-21 | 2022-03-18 | 安徽蓝盾光电子股份有限公司 | 一种文件断点续传的系统及方法 |
Non-Patent Citations (3)
Title |
---|
姚丽丽;: "基于MQTT协议的数据断点续传方案研究", 物联网技术, no. 10, pages 36 - 38 * |
孙洁;王兴楠;孙晔;崔婷婷;高亮亮;: "基于PLC的工业云平台控制系统设计", 电气传动, no. 07, pages 71 - 75 * |
段苏峰;董瑜;: "无线多媒体传感器上的高效的多宿主传输系统", 计算机科学与探索, no. 03, pages 58 - 67 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110365529B (zh) | 一种边缘计算智能网关业务处理方法及边缘计算智能网关 | |
CN111338814A (zh) | 消息处理方法和装置、存储介质和电子装置 | |
CN109347688A (zh) | 一种在无线局域网中定位故障的方法和装置 | |
CN102566531A (zh) | 设备工作寿命的监测及预警系统 | |
CN112419701B (zh) | 远动设备数据异常判断方法、装置、设备及存储介质 | |
CN107276709A (zh) | 一种时间同步方法及系统 | |
CN112712606B (zh) | 一种基于运维服务的自动巡检管理的方法与系统 | |
CN108107292B (zh) | 电能质量在线监测系统的业务数据监测系统及方法 | |
CN114640667A (zh) | 实时数据传输方法、系统、设备及介质 | |
CN112541011A (zh) | 基于rpa和ai的电网终端故障处理方法及装置 | |
CN110855003A (zh) | 一种主站自适应配置召唤与比对的方法及装置 | |
CN113434604B (zh) | 一种时序数据库同步方法、系统、设备及存储介质 | |
CN116300531A (zh) | 生产系统瓶颈环节的识别方法及系统、存储介质、终端 | |
CN112583942B (zh) | 分布式环境监测系统及方法 | |
CN116095146A (zh) | 一种基于区块链的主子站继电保护信息模型源端配置方法 | |
CN104200305A (zh) | 一种配电终端的工艺自动控制生产方法 | |
CN112101799A (zh) | 一种基于风电场数据的标准状态划分方法及装置 | |
CN112666867A (zh) | 一种面向数字电网业务的数据监测系统 | |
CN114221874B (zh) | 流量分析及调度方法、装置、计算机设备及可读存储介质 | |
CN110765655B (zh) | 调度自动化仿真系统及其scada模型的构建方法、装置 | |
CN105610595B (zh) | 一种故障数据获取系统和远程设备控制系统及其对应方法 | |
CN117319431A (zh) | 一种任务管控方法、装置及任务管控系统 | |
CN114465913B (zh) | 一种基于网络仿真技术的电力通信网优化方法及系统 | |
CN116708142A (zh) | 数据传输的方法、装置、存储介质及电子设备 | |
CN109688198B (zh) | 分布式系统及故障检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |