CN106897159A - 一种用于采集自动气象站数据的系统及方法 - Google Patents

一种用于采集自动气象站数据的系统及方法 Download PDF

Info

Publication number
CN106897159A
CN106897159A CN201710044854.3A CN201710044854A CN106897159A CN 106897159 A CN106897159 A CN 106897159A CN 201710044854 A CN201710044854 A CN 201710044854A CN 106897159 A CN106897159 A CN 106897159A
Authority
CN
China
Prior art keywords
data
automatic weather
module
message
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710044854.3A
Other languages
English (en)
Inventor
龚杰
金琪
王希
谢道奇
王勇华
彭琦
蔡杨
房珊珊
彭姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Meteorology Information And Technical Guarantee Center
Wuhan Huaxin Lianchuang Technology Engineering Co Ltd
Original Assignee
Hubei Meteorology Information And Technical Guarantee Center
Wuhan Huaxin Lianchuang Technology Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Meteorology Information And Technical Guarantee Center, Wuhan Huaxin Lianchuang Technology Engineering Co Ltd filed Critical Hubei Meteorology Information And Technical Guarantee Center
Priority to CN201710044854.3A priority Critical patent/CN106897159A/zh
Publication of CN106897159A publication Critical patent/CN106897159A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本发明涉及一种用于采集自动气象站数据的系统及方法，其系统包括消息生产模块、消息队列模块和消息消费模块，所述消息生产模块与所述消息消费模块之间是相互独立的,且所述消息生产模块中设有与不同的自动气象站相连的兼容接口,所述消息消费模块中配置有与不同的自动气象站相匹配的数据解析类和数据仓库类。本发明一种用于采集自动气象站数据的系统针对自动站数据的采集工作构建了专有系统，支持了更多种自动站数据格式，增加对不同数据库厂商的兼容，并对采集来的数据做了持久化处理，降低了数据丢失的风险，减少了数据采集过程的人工干预，并对整点峰值压力做了缓冲，使得使用更低配置的数据库也能平稳应对整点峰值。

Description

一种用于采集自动气象站数据的系统及方法
技术领域
本发明涉及气象科学和大数据技术应用领域，具体涉及一种用于采集自动气象站数据的系统及方法。
背景技术
目前气象部门在自动气象站数据采集方面主要是通过在各个项目中编写程序直接向自动气象站数据接口请求数据并写入数据库。由于自动气象站数量庞大，所有的站点数据在整点同时更新，数据写入和读取请求均在整点达到峰值，造成整点时数据库负担增加，访问缓慢。目前的解决方案是通过在数据库硬件资源上分配更多的CPU和内存来应对高峰；另外，由于数据请求与入库由同一个程序完成，对于经常出现的程序异常停止的状况，只能通过人工分析采集程序日志采集了解中断发生的时间，在合适的时候运行数据补录程序来补入程序异常时漏掉的数据；同时国内在自动气象站数据采集方面并没有形成一个可以完成海量自动站数据采集的专有系统，自动气象站数据采集工作仅仅作为彼此独立项目开发的附属任务，在项目开发过程中由不同厂家，使用不同技术手段，反复临时开发实现。
从现有技术方案分析来看，整体存在以下缺陷：1.该方案将自动气象站数据的请求和入库放在同一个模块中完成，导致采集程序与数据库厂商高度耦合，在遇到其他厂商数据库时无法移植；2.在某些情况下，请求数据或数据入库的过程中会发生异常，该方案未对数据进行持久化处理，会造成数据丢失，对于丢失的数据只能人工干预补入数据；3.该方案直接将整点的峰值压力转嫁给数据库，逼迫数据库以峰值访问量配置资源，造成资源浪费；4.采集程序在不同项目中被反复开发，但都仅限于临时解决项目中遇到的一两种自动气象站数据格式的解析入库，并没有对自动气象站数据本身做很好的支持。
发明内容
本发明所要解决的技术问题是提供一种用于采集自动气象站数据的系统及方法，可以实现不同厂商的移植、减少人工干预、节约资源和避免程序被反复开发。
本发明解决上述技术问题的技术方案如下：一种用于采集自动气象站数据的系统，包括消息生产模块、消息队列模块和消息消费模块，所述消息生产模块与所述消息消费模块之间是相互独立的,且所述消息生产模块中设有与不同的自动气象站相连的兼容接口,所述消息消费模块中配置有与不同的自动气象站相匹配的数据解析类和数据仓库类；
所述消息生产模块，其用于采用消息队列持久化技术通过兼容接口向不同的自动气象站请求相应的自动气象站数据，并将请求到的自动气象站数据发送给所述消息列队模块；
所述消息队列模块，其用于将所述消息生产模块发送过来的自动气象站数据进行存储并以消息队列的方式进行异步传输；
所述消息消费模块，其用于接收所述消息队列模块异步传输过来的自动气象站数据，并通过数据解析类和数据仓库类对获取的自动气象站数据进行解析后写入到数据库中。
本发明的有益效果是：本发明一种用于采集自动气象站数据的系统针对自动站数据的采集工作构建了专有系统，支持了更多种自动站数据格式，增加对不同数据库厂商的兼容，并对采集来的数据做了持久化处理，降低了数据丢失的风险，减少了数据采集过程的人工干预，并对整点峰值压力做了缓冲，使得使用更低配置的数据库也能平稳应对整点峰值。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述消息队列模块具体为Kafka、ActiveMQ和RabbitMQ中的任一个。
采用上述进一步方案的有益效果是：本发明的系统默认使用Kafka作为消息队列中间件，原因是Kafka是一种分布式的消息系统，提供了消息持久化能力，对TB级以上数据也能保证常数时间复杂度的访问性能；而且它吞吐率高，即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输，可以让RCollector在海量自动气象站数据采集场景下出色工作。同时本发明的系统也能使用ActiveMQ、RabbitMQ等其他支持持久化的消息队列来完成工作，选择哪种消息队列可以视数据量级和开发团队的熟悉的技术栈而定。
进一步，所述消息生产模块采用消息队列持久化技术具体为，所述消息生产模块配置有数据采集日志，所述数据采集日志用于记录当发生网络异常时所述消息生产模块请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述数据采集日志记录的异常节点数据进行重新请求和/或发送。
采用上述进一步方案的有益效果是：通过维护消息消费模块中的数据采集日志，和采用消息队列持久化技术对消息在传输过程中进行持久化，降低了程序异常引起的数据丢失，减少了人工干预。
进一步，所述消息生产模块包括省级自动气象站Z文件数据采集器，所述省级自动气象站Z文件数据采集器通过监听省级自动气象站Z文件数据的FTP目录变化，获取实时被添加和/或修改到FTP目录中的文件，匹配获取到的实时被添加和/或修改到FTP目录中的文件的文件名，并读取实时被添加和/或修改到FTP目录中的文件的内容，且以省级自动气象站Z文件数据为消息主题将实时被添加和/或修改到FTP目录中的文件的内容转发至消息队列模块。
进一步，所述省级自动气象站Z文件数据采集器配置有Z文件数据采集日志，所述Z文件数据采集日志用于记录当发生网络异常时所述省级自动气象站Z文件数据采集器请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述Z文件数据采集日志记录的异常节点数据进行重新请求和/或发送。
进一步，所述消息生产模块包括全国综合气象信息共享平台数据采集器，所述全国综合气象信息共享平台数据采集器通过定时向全国综合气象信息共享平台发送请求来不断地读取实时的全国综合气象信息数据，并以全国综合气象信息共享平台数据为消息主题将读取到的实时的全国综合气象信息数据转发给消息队列模块。
进一步，所述全国综合气象信息共享平台数据采集器配置有全国综合气象信息数据采集日志，所述全国综合气象信息数据采集日志用于记录当发生网络异常时所述全国综合气象信息共享平台数据采集器请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述全国综合气象信息数据采集日志记录的异常节点数据进行重新请求和/或发送。
基于上述一种用于采集自动气象站数据的系统，本发明还提供一种用于采集自动气象站数据的方法。
一种用于采集自动气象站数据的方法，利用上述所述的一种用于采集自动气象站数据的系统进行采集，包括以下步骤，
S1，消息生产模块采用消息队列持久化技术通过兼容接口向不同自动气象站请求自动气象站数据，并将请求到的自动气象站数据发送给所述消息列队模块；
S2，消息队列模块将所述消息生产模块发送过来的自动气象站数据进行存储并以消息队列的方式进行异步传输；
S3，消息消费模块接收所述消息队列模块异步传输过来的自动气象站数据，并通过数据解析类和数据仓库类对获取的自动气象站数据进行解析后写入到数据库中。
本发明的有益效果是：本发明一种用于采集自动气象站数据的方法采用针对自动站数据的采集工作构建的专有系统，支持了更多种自动站数据格式，增加对不同数据库厂商的兼容，并对采集来的数据做了持久化处理，降低了数据丢失的风险，减少了数据采集过程的人工干预，并对整点峰值压力做了缓冲，使得使用更低配置的数据库也能平稳应对整点峰值。
附图说明
图1为本发明一种用于采集自动气象站数据的系统的结构框图；
图2为本发明一种用于采集自动气象站数据的方法的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种用于采集自动气象站数据的系统，包括消息生产模块、消息队列模块和消息消费模块，所述消息生产模块与所述消息消费模块之间是相互独立的,且所述消息生产模块中设有与不同的自动气象站相连的兼容接口,所述消息消费模块中配置有与不同的自动气象站相匹配的数据解析类和数据仓库类；
所述消息生产模块，其用于采用消息队列持久化技术通过兼容接口向不同的自动气象站请求相应的自动气象站数据，并将请求到的自动气象站数据发送给所述消息列队模块；
所述消息队列模块，其用于将所述消息生产模块发送过来的自动气象站数据进行存储并以消息队列的方式进行异步传输；
所述消息消费模块，其用于接收所述消息队列模块异步传输过来的自动气象站数据，并通过数据解析类和数据仓库类对获取的自动气象站数据进行解析后写入到数据库中。
本发明一种用于采集自动气象站数据的系统(也称RCollector)，具有如下特点：
(1)本发明的消息生产模块(也称RProducer)和消息消费模块(也称RConsumer)是两个相互独立的部分(可以认为是相互独立的两个应用程序)，消息生产模块负责原始自动气象站数据的采集和消息的发送，消息消费模块负责消息的获取和自动气象站数据的解析和入库，通过生产和消费的区分完成了大的模块之前的解耦，避免程序在不同的项目中被反复开发，在遇到其他厂商数据库时可以得到移植。
(2)本发明采用持久化的数据采集技术，可以对数据进行持久化的处理，避免丢失的数据只能人工干预补入的麻烦，减少人工干预。
(3)本发明采用消息机制，消息队列模块(也称Message queue)是一种进程间通信或同一进程的不同线程间的通信方式，软件的贮列用来处理一系列的输入，消息队列模块提供了异步的通信协议，每一个贮列中的纪录包含详细说明的数据，其中涉及发生的时间，输入设备的种类，以及特定的输入参数，也就是说消息的发送者(消息生产模块)和接收者(消息消费模块)不需要同时与消息队列互交，消息会保存在队列中，直到接收者取回它，即数据的传输过程以消息队列的方式异步传输，同直接发送数据到存储服务器端相比，它更加稳定，使用消息队列异步通信能够有效削峰，服务器压力只与消费者消费消息的频率有关，能够防止采集器在同一时间频繁请求对服务器造成过大压力。
(4)本发明为了能够更多地兼容不同的格式，在设计消息消费模块的类时，对自动气象站数据解析和存储进行了抽象，根据具体的站点类型来匹配具体的解析类和数据仓库类，这样做的好处是当需要兼容新的站点类型时，可以通过添加接口的实现来完成对新的站点类型的兼容，避免采集程序被反复开发。
在本具体实施例中，所述消息队列模块具体为Kafka、ActiveMQ和RabbitMQ中的任一个；Kafka、ActiveMQ和RabbitMQ均为支持持久化的消息队列。本发明的系统默认使用Kafka，原因是Kafka是一种分布式的消息系统，提供了消息持久化能力，对TB级以上数据也能保证常数时间复杂度的访问性能；而且它吞吐率高，即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输，可以让RCollector在海量自动气象站数据采集场景下出色工作。同时本发明的系统也能使用ActiveMQ、RabbitMQ等其他支持持久化的消息队列来完成工作，选择哪种消息队列可以视数据量级和开发团队的熟悉的技术栈而定。
为了适应不同格式的采集数据，消息生产模块在设计时要考虑扩展能力，模块化的处理是消息生产模块的设计理念，使得在遇到新的不同来源、不同格式数据时，公共模块相对固定。所述消息生产模块包括省级自动气象站Z文件数据采集器和全国综合气象信息共享平台数据采集器，当然还包括其他类型的数据采集器，本具体实施例并未列举穷尽，以下具体介绍省级自动气象站Z文件数据采集器和全国综合气象信息共享平台数据采集器。
原始数据采集作为消息生产模块的主要任务是：保证采集到的原始数据发送给消息队列模块。
省级自动气象站Z文件数据采集器(RProducer4Z)是针对自动气象站Z文件数据开发的自动气象站数据采集器的一个实例。在省级自动气象站的Z文件传输场景中，RProducer4Z通过监听省级自动气象站Z文件数据的FTP目录变化，获取实时被添加和/或修改到FTP目录中的文件，匹配获取到的实时被添加和/或修改到FTP目录中的文件的文件名，确保其为需要采集的自动气象站Z文件，读取文件内容，且以省级自动气象站Z文件数据为消息主题(topic_Z)将实时被添加和/或修改到FTP目录中的文件的内容转发至消息队列模块。RProducer4Z还配置有采集日志，具体为Z文件数据采集日志，所述Z文件数据采集日志用于记录当发生网络异常时所述省级自动气象站Z文件数据采集器请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述Z文件数据采集日志记录的异常节点数据进行重新请求和/或发送；也就是说当发生网络异常时，异常将被记录下来，等网络恢复后重新请求和/或发送失败的消息。
全国综合气象信息共享平台数据采集器(RProducer4Cimiss)是针对全国综合气象信息共享平台数据采集的另一个实例。通过定时向全国综合气象信息共享平台(Cimiss)发送请求来不断地读取实时的全国综合气象信息数据，并以全国综合气象信息共享平台数据为消息主题(topic_Cimiss)将读取到的实时的全国综合气象信息数据转发给消息队列模块。同样地，所述全国综合气象信息共享平台数据采集器还维护有一个全国综合气象信息数据采集日志，所述全国综合气象信息数据采集日志用于记录当发生网络异常时所述全国综合气象信息共享平台数据采集器请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述全国综合气象信息数据采集日志记录的异常节点数据进行重新请求和/或发送；也就是说当发生网络异常时，RProducer4Cimiss将异常记录到全国综合气象信息数据采集日志中，等网络恢复后重新请求和/或发送失败的消息。
数据解析入库作为消息消费模块的主要任务是：负责从消息队列模块中异步获取消息；将获取到的消息处理为自动气象站对象，将处理过的信息存储到数据库当中。
消息消费模块本质上是一个定时执行的应用程序，通过传入订阅主题，能够处理来自不同主题的消息，如果需要增加消息消费能力，可以通过同时启用多个RConsumer进程或配置其执行频率来达到目的。
目前现有技术中的自动气象站采集程序作为不同项目的附属程序被开发，对自动气象站数据格式的兼容十分有限，对自动气象站特有的整点高峰现象并没有做很好的处理，把压力全部交给数据库本身处理，并与特定厂商的数据库接口高度耦合；在实际开发过程中不得不反复造轮子，立一个项目就重新开发一个新的采集程序；由于缺乏持久化机制，在程序发生异常时会发生数据丢失，只能通过人工补录来补上缺失的数据。针对以上缺点，本发明为自动气象站数据采集构建了专有系统，并利用消息队列机制，完成了请求峰值的缓冲，降低了数据库配置要求，节约资源的同时提升了整点时的用户体验；通过消息持久化机制，和采集与入库模块的解耦，降低了发生异常时数据丢失的可能性，减少了自动气象站数据采集过程中的人工干预；并通过接口设计兼容了不同自动气象站数据格式，兼容不同数据库厂商，避免了用户在开发新项目时反复临时开发重复功能，节约了开发成本。
与现有技术相比，本发明的具体有益效果为：
1.本发明的系统对自动气象站数据的请求和解析入库进行了合理解耦，并通过接口设计对不同数据库厂商的自动气象站数据入库做了兼容，避免客户因为数据库的原因重新开发数据采集程序；
2.通过维护消费模块中的采集日志，和采用消息队列持久化技术对消息在传输过程中进行持久化，降低了程序异常引起的数据丢失，减少了人工干预；
3.通过消息队列做数据缓冲，使用使关键组件顶住突发的访问压力，让数据库不会因为突发的超负荷的写入请求而拖慢整个系统，让客户可以按日常访问量而不是峰值访问量来配置数据库资源；
4.自动气象站采集专有系统的构建，避免了采集程序在不同项目中被反复开发，对多种自动气象站数据格式的支持，让本方案可以直接被应用于不同从气象项目中。
基于上述一种用于采集自动气象站数据的系统，本发明还提供一种用于采集自动气象站数据的方法。
如图2所示，一种用于采集自动气象站数据的方法，利用上述所述的一种用于采集自动气象站数据的系统进行采集，包括以下步骤，
S1，消息生产模块采用消息队列持久化技术通过兼容接口向不同自动气象站请求自动气象站数据，并将请求到的自动气象站数据发送给所述消息列队模块；
S2，消息队列模块将所述消息生产模块发送过来的自动气象站数据进行存储并以消息队列的方式进行异步传输；
S3，消息消费模块接收所述消息队列模块异步传输过来的自动气象站数据，并通过数据解析类和数据仓库类对获取的自动气象站数据进行解析后写入到数据库中。
本发明一种用于采集自动气象站数据的方法采用了针对自动站数据的采集工作构建的专有系统，支持了更多种自动站数据格式，增加对不同数据库厂商的兼容，并对采集来的数据做了持久化处理，降低了数据丢失的风险，减少了数据采集过程的人工干预，并对整点峰值压力做了缓冲，使得使用更低配置的数据库也能平稳应对整点峰值。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于采集自动气象站数据的系统，其特征在于：包括消息生产模块、消息队列模块和消息消费模块，所述消息生产模块与所述消息消费模块之间是相互独立的,且所述消息生产模块中设有与不同的自动气象站相连的兼容接口,所述消息消费模块中配置有与不同的自动气象站相匹配的数据解析类和数据仓库类；
所述消息生产模块，其用于采用消息队列持久化技术通过兼容接口向不同的自动气象站请求相应的自动气象站数据，并将请求到的自动气象站数据发送给所述消息列队模块；
所述消息队列模块，其用于将所述消息生产模块发送过来的自动气象站数据进行存储并以消息队列的方式进行异步传输；
所述消息消费模块，其用于接收所述消息队列模块异步传输过来的自动气象站数据，并通过数据解析类和数据仓库类对获取的自动气象站数据进行解析后写入到数据库中。
2.根据权利要求1所述的一种用于采集自动气象站数据的系统，其特征在于：所述消息队列模块具体为Kafka、ActiveMQ和RabbitMQ中的任一个。
3.根据权利要求1或2所述的一种用于采集自动气象站数据的系统，其特征在于：所述消息生产模块采用消息队列持久化技术具体为，所述消息模块配置有数据采集日志，所述数据采集日志用于记录当发生网络异常时所述消息生产模块请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述数据采集日志记录的异常节点数据进行重新请求和/或发送。
4.根据权利要求3所述的一种用于采集自动气象站数据的系统，其特征在于：所述消息生产模块包括省级自动气象站Z文件数据采集器，所述省级自动气象站Z文件数据采集器通过监听省级自动气象站Z文件数据的FTP目录变化，获取实时被添加和/或修改到FTP目录中的文件，匹配获取到的实时被添加和/或修改到FTP目录中的文件的文件名，并读取实时被添加和/或修改到FTP目录中的文件的内容，且以省级自动气象站Z文件数据为消息主题将实时被添加和/或修改到FTP目录中的文件的内容转发至消息队列模块。
5.根据权利要求4所述的一种用于采集自动气象站数据的系统，其特征在于：所述省级自动气象站Z文件数据采集器配置有Z文件数据采集日志，所述Z文件数据采集日志用于记录当发生网络异常时所述省级自动气象站Z文件数据采集器请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述Z文件数据采集日志记录的异常节点数据进行重新请求和/或发送。
6.根据权利要求4或5所述的一种用于采集自动气象站数据的系统，其特征在于：所述消息生产模块包括全国综合气象信息共享平台数据采集器，所述全国综合气象信息共享平台数据采集器通过定时向全国综合气象信息共享平台发送请求来不断地读取实时的全国综合气象信息数据，并以全国综合气象信息共享平台数据为消息主题将读取到的实时的全国综合气象信息数据转发给消息队列模块。
7.根据权利要求6所述的一种用于采集自动气象站数据的系统，其特征在于：所述全国综合气象信息共享平台数据采集器配置有全国综合气象信息数据采集日志，所述全国综合气象信息数据采集日志用于记录当发生网络异常时所述全国综合气象信息共享平台数据采集器请求和/或发送失败的异常节点数据，且所述消息生产模块在网络恢复后自动的对所述全国综合气象信息数据采集日志记录的异常节点数据进行重新请求和/或发送。
8.一种用于采集自动气象站数据的方法，其特征在于：利用上述权利要求1至7任一项所述的一种用于采集自动气象站数据的系统进行采集，包括以下步骤，
S1，消息生产模块采用消息队列持久化技术通过兼容接口向不同自动气象站请求自动气象站数据，并将请求到的自动气象站数据发送给所述消息列队模块；
S2，消息队列模块将所述消息生产模块发送过来的自动气象站数据进行存储并以消息队列的方式进行异步传输；
S3，消息消费模块接收所述消息队列模块异步传输过来的自动气象站数据，并通过数据解析类和数据仓库类对获取的自动气象站数据进行解析后写入到数据库中。
CN201710044854.3A 2017-01-20 2017-01-20 一种用于采集自动气象站数据的系统及方法 Pending CN106897159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710044854.3A CN106897159A (zh) 2017-01-20 2017-01-20 一种用于采集自动气象站数据的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710044854.3A CN106897159A (zh) 2017-01-20 2017-01-20 一种用于采集自动气象站数据的系统及方法

Publications (1)

Publication Number Publication Date
CN106897159A true CN106897159A (zh) 2017-06-27

Family

ID=59198234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710044854.3A Pending CN106897159A (zh) 2017-01-20 2017-01-20 一种用于采集自动气象站数据的系统及方法

Country Status (1)

Country Link
CN (1) CN106897159A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273228A (zh) * 2017-07-13 2017-10-20 焦点科技股份有限公司 基于星型拓扑架构的消息传输方法
CN110019483A (zh) * 2018-01-02 2019-07-16 航天信息股份有限公司 粮情数据采集方法及粮情数据采集平台
CN110391943A (zh) * 2019-07-31 2019-10-29 象辑知源（武汉）科技有限公司 一种分布式的气象数据生命周期构建与监控方法
CN110401724A (zh) * 2019-08-22 2019-11-01 北京旷视科技有限公司 文件管理方法、文件传输协议服务器及存储介质
CN112286962A (zh) * 2020-10-26 2021-01-29 积成电子股份有限公司 一种用电信息采集终端抄表成功率统计方法与系统
CN112738748A (zh) * 2021-01-12 2021-04-30 华能新能源股份有限公司 一种气象可视化数据队列处理系统
CN116126552A (zh) * 2022-12-26 2023-05-16 国家气象信息中心(中国气象局气象数据中心) 基于Storm的海量气象观测数据处理方法和装置
CN116610532A (zh) * 2023-07-17 2023-08-18 山东浪潮数字商业科技有限公司 Redis客户端监测方法、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908178A (zh) * 2010-08-13 2010-12-08 广州联奕信息科技有限公司 应用于数据交换的中间件及数据交换方法
CN102916844A (zh) * 2012-11-22 2013-02-06 南京恩瑞特实业有限公司 海量数据融合及实时监视系统
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105426513A (zh) * 2015-12-01 2016-03-23 北京超图软件股份有限公司 地理空间信息的协同采集方法和系统、移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908178A (zh) * 2010-08-13 2010-12-08 广州联奕信息科技有限公司 应用于数据交换的中间件及数据交换方法
CN102916844A (zh) * 2012-11-22 2013-02-06 南京恩瑞特实业有限公司 海量数据融合及实时监视系统
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105426513A (zh) * 2015-12-01 2016-03-23 北京超图软件股份有限公司 地理空间信息的协同采集方法和系统、移动终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李孔凤: "亚运气象信息交换平台——数据接收与产品监测软件的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》 *
王力，等；: "基于MQ的气象数据采集与监控系统设计", 《气象科技》 *
钱峥，等；: "基于"消息中间件"技术的气象信息总线", 《气象科技》 *
马渝勇,等；: "省级气象信息共享系统的设计与实现", 《应用气象学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273228A (zh) * 2017-07-13 2017-10-20 焦点科技股份有限公司 基于星型拓扑架构的消息传输方法
CN107273228B (zh) * 2017-07-13 2020-09-04 焦点科技股份有限公司 基于星型拓扑架构的消息传输方法
CN110019483A (zh) * 2018-01-02 2019-07-16 航天信息股份有限公司 粮情数据采集方法及粮情数据采集平台
CN110391943A (zh) * 2019-07-31 2019-10-29 象辑知源（武汉）科技有限公司 一种分布式的气象数据生命周期构建与监控方法
CN110401724A (zh) * 2019-08-22 2019-11-01 北京旷视科技有限公司 文件管理方法、文件传输协议服务器及存储介质
CN110401724B (zh) * 2019-08-22 2022-04-12 北京旷视科技有限公司 文件管理方法、文件传输协议服务器及存储介质
CN112286962A (zh) * 2020-10-26 2021-01-29 积成电子股份有限公司 一种用电信息采集终端抄表成功率统计方法与系统
CN112286962B (zh) * 2020-10-26 2023-06-02 积成电子股份有限公司 一种用电信息采集终端抄表成功率统计方法与系统
CN112738748A (zh) * 2021-01-12 2021-04-30 华能新能源股份有限公司 一种气象可视化数据队列处理系统
CN116126552A (zh) * 2022-12-26 2023-05-16 国家气象信息中心(中国气象局气象数据中心) 基于Storm的海量气象观测数据处理方法和装置
CN116610532A (zh) * 2023-07-17 2023-08-18 山东浪潮数字商业科技有限公司 Redis客户端监测方法、系统、电子设备及存储介质
CN116610532B (zh) * 2023-07-17 2023-10-27 山东浪潮数字商业科技有限公司 Redis客户端监测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106897159A (zh) 一种用于采集自动气象站数据的系统及方法
CN110413599A (zh) 数据实时处理与存储系统及方法
EP2369494A1 (en) Web application based database system and data management method therof
CN103095819A (zh) 推送数据信息的方法及数据信息推送系统
CN104899274B (zh) 一种内存数据库高效远程访问方法
CN110661891B (zh) 一种基于单向网络的跨网文件即时传输方法及系统
CN100536472C (zh) 一种网络资源访问控制的方法、模块和服务器
CN105447146A (zh) 一种海量数据的收集与交换系统及方法
CN110099084A (zh) 一种保证存储服务可用性的方法、系统及计算机可读介质
CN112650545A (zh) 一种配置管理系统、方法及存储介质
CN113658591A (zh) 一种面向智能家居的语音交互适配系统
CN105812833A (zh) 文件处理方法和装置
CN109714222A (zh) 高可用的分布式计算机监控系统及其监控方法
CN103825922B (zh) 一种数据更新方法及web服务器
CN108512943A (zh) 基于消息队列的嵌入式设备数据保存系统及保存方法
CN112417050A (zh) 数据同步方法和装置、系统、存储介质及电子装置
CN110362548A (zh) 日志提取方法及相关设备
CN103581119B (zh) 一种生产过程数据高速显示系统及方法
CN110674221A (zh) 一种空间数据同步方法、终端及计算机可读存储介质
CN113157796A (zh) 一种基于微服务的数采展示系统
CN109257403B (zh) 数据存储方法及设备、分布式存储系统
CN113225390B (zh) 基于对象存储的代理方法及系统
CN100536459C (zh) 数据采集方法及数据采集系统
CN115525603A (zh) 存储统计方法、装置、计算机可读存储介质与ai设备
CN104717248A (zh) 文件网络共享方法、服务器及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170627