CN115277658A - 基于水情测报系的统海量外部数据交换及解析系统 - Google Patents
基于水情测报系的统海量外部数据交换及解析系统 Download PDFInfo
- Publication number
- CN115277658A CN115277658A CN202210729846.3A CN202210729846A CN115277658A CN 115277658 A CN115277658 A CN 115277658A CN 202210729846 A CN202210729846 A CN 202210729846A CN 115277658 A CN115277658 A CN 115277658A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- analysis
- public network
- network access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于水情测报系的统海量外部数据交换及解析系统，本发明通过考虑数据量大小、数据传输方式、数据解析方式、数据传输速度、网络安全等条件，实现了基于水情测报系统海量外部数据交换方式及解析的应用模式，对快速获取外部数据、解析外部数据、展示外部数据提供有利的帮助，通过优化网络结构，采用双向同时传输同时解析的方法，解决了数据打环问题，提高解析的准确率和数据传输实时性，具有推广应用的价值。
Description
技术领域
本发明涉及水情测报数据传输技术领域，尤其涉及一种基于水情测报系的统海量外部数据交换及解析系统。
背景技术
水情测报系统普遍需要接入海量外部气象、水文数据以此来丰富系统数据内容，现有技术中，气象数据下载解析程序放置在公网接入服务器上，通过双向网闸，同步ftp下采集的格点原始文件、气象局文档数据、气象局预报图等内容。web服务器收到ftp下的格点原始文件后，通过计划任务，将格点原始文件推送给解析服务器，解析服务器解析数据后，再通过web服务器上的计划任务从解析服务器获取解析后的格点文件进行展示。
现有技术的缺点在于：气象局格点数据流较大，推送至web服务器时，延迟时间长，通过解析服务器解析后，再抓取到web服务器进行存储展示，时差较大，甚至存在丢数的情况，数据流程冗余。并且ftp程序配置了在气象局ftp备份的功能，导致由于流量的限制，数据下载速度较慢，实时性较差。获取数据方法基本存在数据在传输以及解析过程中在服务器之间打环的问题，极大的增加的服务器荷载，同时数据传输实时性、解析的准确率低，因此，存在改进空间。
发明内容
本发明的目的是要提供一种基于水情测报系的统海量外部数据交换及解析系统。
为达到上述目的，本发明是按照以下技术方案实施的：
本发明基于水情测报系的统海量外部数据交换及解析系统包括Web服务器、解析服务器、第一公网接入服务器、第二公网接入服务器、气象局系统和水文局系统，所述水文局系统的数据传输端通过公网与所述第一公网接入服务器连接，所述气象局系统的数据输出端分别与所述第一公网接入服务器和所述第二公网接入服务器的数据输入端连接，所述第一公网接入服务器的数据输出端通过双向网闸与所述Web服务器的数据输入端连接，所述第二公网接入服务器的数据输出端通过双向网闸与所述解析服务器的数据输入端连接，所述解析服务器的数据输出端与所述Web服务器的数据输入端连接。
本发明所述基于水情测报系的统海量外部数据交换及解析系统的解析方法：将气象局系统的程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作，数据下载入库为：直接通过公网接入服务器和双向网闸传输至Web服务器，格点数据下载：通过双向网闸的文件同步功能将格点数据直接放置在解析服务器上，由解析服务器完成数据解析工作后，Web服务器执行抓取工作。
本发明的有益效果是：
本发明是一种基于水情测报系的统海量外部数据交换及解析系统，与现有技术相比，本发明通过考虑数据量大小、数据传输方式、数据解析方式、数据传输速度、网络安全等条件，实现了基于水情测报系统海量外部数据交换方式及解析的应用模式，对快速获取外部数据、解析外部数据、展示外部数据提供有利的帮助，通过优化网络结构，采用双向同时传输同时解析的方法，解决了数据打环问题，提高解析的准确率和数据传输实时性，具有推广应用的价值。
附图说明
图1是本发明的数据流程图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
如图1所示：本发明基于水情测报系的统海量外部数据交换及解析系统包括Web服务器、解析服务器、第一公网接入服务器、第二公网接入服务器、气象局系统和水文局系统，所述水文局系统的数据传输端通过公网与所述第一公网接入服务器连接，所述气象局系统的数据输出端分别与所述第一公网接入服务器和所述第二公网接入服务器的数据输入端连接，所述第一公网接入服务器的数据输出端通过双向网闸与所述Web服务器的数据输入端连接，所述第二公网接入服务器的数据输出端通过双向网闸与所述解析服务器的数据输入端连接，所述解析服务器的数据输出端与所述Web服务器的数据输入端连接。
考虑到格点数据在web服务器和解析服务器之间打环，存在数据延迟的问题，优化结果是通过双向网闸文件同步功能将格点数据直接放置在解析服务器上，解析服务器完成数据解析工作后，由web服务器执行抓取工作，取消了格点数据在web服务器和解析服务器打环。
但是由于原先的气象数据解析程序是一体化的，考虑到新的需求，将程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作。从气象局的ftp下载数据时，直接删除已下载成功的，保证了数据下载的快速性。
本发明所述基于水情测报系的统海量外部数据交换及解析系统的解析方法：将气象局系统的程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作，数据下载入库为：直接通过公网接入服务器和双向网闸传输至Web服务器，格点数据下载：通过双向网闸的文件同步功能将格点数据直接放置在解析服务器上，由解析服务器完成数据解析工作后，Web服务器执行抓取工作。
运行格点解析程序一段时间后发现，由于气象局的ftp存在白名单的连接数限制，导致原有解析及下载的程序拆分后，同时发送下载请求时，可能存在数据还未写完整就被断开的问题，然后重新下载的时候又把已下载的文件叠加上去了，导致数据解析失败。
并且重新运行格点数据解析时，由于丢失的数据量较大，补传时数据解析会卡死解析服务器，导致数据下载解析失败。
本次改造后出现的断点续传问题，优化了数据重连的功能，优化了跳过错误数据解析的功能。解析数据功能能够正确的跳过错误的数据并且重新下载新的文件。运行一段时间，未再出现前期的数据卡死及数据丢失问题。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
Claims (2)
1.一种基于水情测报系的统海量外部数据交换及解析系统，其特征在于：包括Web服务器、解析服务器、第一公网接入服务器、第二公网接入服务器、气象局系统和水文局系统，所述水文局系统的数据传输端通过公网与所述第一公网接入服务器连接，所述气象局系统的数据输出端分别与所述第一公网接入服务器和所述第二公网接入服务器的数据输入端连接，所述第一公网接入服务器的数据输出端通过双向网闸与所述Web服务器的数据输入端连接，所述第二公网接入服务器的数据输出端通过双向网闸与所述解析服务器的数据输入端连接，所述解析服务器的数据输出端与所述Web服务器的数据输入端连接。
2.一种如权利要求1所述基于水情测报系的统海量外部数据交换及解析系统的解析方法，其特征在于：将气象局系统的程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作，数据下载入库为：直接通过公网接入服务器和双向网闸传输至Web服务器，格点数据下载：通过双向网闸的文件同步功能将格点数据直接放置在解析服务器上，由解析服务器完成数据解析工作后，Web服务器执行抓取工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210729846.3A CN115277658A (zh) | 2022-06-24 | 2022-06-24 | 基于水情测报系的统海量外部数据交换及解析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210729846.3A CN115277658A (zh) | 2022-06-24 | 2022-06-24 | 基于水情测报系的统海量外部数据交换及解析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115277658A true CN115277658A (zh) | 2022-11-01 |
Family
ID=83762176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210729846.3A Pending CN115277658A (zh) | 2022-06-24 | 2022-06-24 | 基于水情测报系的统海量外部数据交换及解析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115277658A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003148785A (ja) * | 2001-11-15 | 2003-05-21 | Daikin Ind Ltd | 気流解析結果提供システム、及びＷｅｂサーバ |
| CN108900387A (zh) * | 2017-09-06 | 2018-11-27 | 北京锐安科技有限公司 | 一种分流设备动态监控系统 |
| CN109905416A (zh) * | 2017-12-07 | 2019-06-18 | 杭州真气环保科技有限公司 | 一种城市空气质量智能调度系统 |
| CN110987079A (zh) * | 2019-12-19 | 2020-04-10 | 安徽天玄智能科技有限公司 | 安全环境和智能雷电在线监测预警系统、方法 |
| JP2020160819A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社東芝 | 災害情報提供システムおよび災害情報提供方法 |
-
2022
- 2022-06-24 CN CN202210729846.3A patent/CN115277658A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003148785A (ja) * | 2001-11-15 | 2003-05-21 | Daikin Ind Ltd | 気流解析結果提供システム、及びＷｅｂサーバ |
| CN108900387A (zh) * | 2017-09-06 | 2018-11-27 | 北京锐安科技有限公司 | 一种分流设备动态监控系统 |
| CN109905416A (zh) * | 2017-12-07 | 2019-06-18 | 杭州真气环保科技有限公司 | 一种城市空气质量智能调度系统 |
| JP2020160819A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社東芝 | 災害情報提供システムおよび災害情報提供方法 |
| CN110987079A (zh) * | 2019-12-19 | 2020-04-10 | 安徽天玄智能科技有限公司 | 安全环境和智能雷电在线监测预警系统、方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11500903B2 (en) | Generic multi-source heterogeneous large-scale data synchronization client-server method | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN106597947B (zh) | 变电站设备测试方法、服务器、测试仪及系统 | |
| CN107341258B (zh) | 一种日志数据采集方法及系统 | |
| CN103077108B (zh) | 一种对浏览器崩溃进行预警的方法和系统 | |
| CN103067230A (zh) | 一种通过植入监控代码实现对http服务监控的方法 | |
| CN104539053A (zh) | 基于爬虫技术的电力调度自动化巡检机器人及巡检方法 | |
| CN109462490B (zh) | 视频监控系统及故障分析方法 | |
| US20120036275A1 (en) | Message traffic interception system | |
| CN108710566B (zh) | 一种配电调度主站集成测试系统及方法 | |
| CN109491343A (zh) | 工业制造过程远程物联监控系统 | |
| CN101309178B (zh) | 一种自动交换光网络系统日志信息的解析方法及装置 | |
| CN112702430B (zh) | 一种基于云边模式和Web技术的数据传输方法 | |
| CN108965282B (zh) | 一种非入侵式跨安全区消息跟踪与监测的系统及方法 | |
| US20040268318A1 (en) | Expert system for intelligent testing | |
| CN115277658A (zh) | 基于水情测报系的统海量外部数据交换及解析系统 | |
| CN103944779B (zh) | 一种wap业务性能监测方法及系统 | |
| CN113542026A (zh) | 物联网设备故障定位方法、装置、设备及存储介质 | |
| CN108064054B (zh) | 一种lte系统中的ftp文件传输监控方法及系统 | |
| KR20130063866A (ko) | 엠투엠 단말기 진단시스템 및 방법 | |
| CN114257646B (zh) | 遥测数据处理方法、装置、设备及存储介质 | |
| CN114331092A (zh) | 设备影子、工程机械设备远程调度管理方法、装置及系统 | |
| CN111026643A (zh) | 一种基于websocket的android客户端远程调试系统 | |
| CN113010483A (zh) | 一种海量日志管理方法和系统 | |
| CN113050925B (zh) | 区块链智能合约修复方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |