CN112738748A - 一种气象可视化数据队列处理系统 - Google Patents

一种气象可视化数据队列处理系统 Download PDF

Info

Publication number
CN112738748A
CN112738748A CN202110034327.0A CN202110034327A CN112738748A CN 112738748 A CN112738748 A CN 112738748A CN 202110034327 A CN202110034327 A CN 202110034327A CN 112738748 A CN112738748 A CN 112738748A
Authority
CN
China
Prior art keywords
data
meteorological
queue
module
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110034327.0A
Other languages
English (en)
Inventor
郭辰
田晓波
杨萍
张晓朝
梁思超
卜照军
冯笑丹
王森
蒋贲
王志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Langrun Zhitian Technology Co ltd
Huaneng Clean Energy Research Institute
Huaneng Group Technology Innovation Center Co Ltd
Huaneng Renewables Corp Ltd
Original Assignee
Beijing Langrun Zhitian Technology Co ltd
Huaneng Clean Energy Research Institute
Huaneng Group Technology Innovation Center Co Ltd
Huaneng Renewables Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Langrun Zhitian Technology Co ltd, Huaneng Clean Energy Research Institute, Huaneng Group Technology Innovation Center Co Ltd, Huaneng Renewables Corp Ltd filed Critical Beijing Langrun Zhitian Technology Co ltd
Priority to CN202110034327.0A priority Critical patent/CN112738748A/zh
Publication of CN112738748A publication Critical patent/CN112738748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种气象可视化数据队列处理系统，涉及现代互联网信息技术与气象可视化展现的交叉领域，解决现有法满足现代气象业务对图像和影像的实时性要求的问题，本系统运行在后端为气象前端可视化模块提供数据队列，对气象数据进行时序缓存，可将多种类型的数据放入多个队列进行缓存，很好的解决了可视化数据的实时帧的连贯性要求。该系统包括:消息交换模块，用于集合不同类型消息。调度理由模块，用于将消息队列的发送接受匹配。流水管线，用于将数据流式处理。使气象可视化前端与气象后端的数据提供稳定的队列，满足气象可视化系统对后端数据缓存的适配，大大提升生成可视化气象服务生成图像的稳定性。

Description

一种气象可视化数据队列处理系统
技术领域
本发明涉及现代互联网信息技术与气象可视化展现的交叉领域，具体涉及气象可视化数据处理系统，适合气象可视化异步队列方式使用后端数据生成气象服务图像和气象资源动态影像。
背景技术
随着技术的变革，现代气象图像服务对实时性要求，传统气象图像服务在获取图像数据静态的图片数据，无法满足现代气象业务对图像和影像的实时性要求，因此，需要一种气象大数据实时处理用于适配气象可视化前端对数据时序的要求。
发明内容
本发明为解决现有法满足现代气象业务对图像和影像的实时性要求的问题，提供一种气象可视化数据队列处理系统。
一种气象可视化数据队列处理系统，包括消息交换模块、调度路由模块和数据流水管线模块；数据通过数据交易集市进行数据汇合，使多种类型的队列存在于消息交换模块，并通过路由将不同类型的队列数据调度到对应的流水管线模块，各流水管线队列将对可视化前端请求的气象数据资源进行排序，等待前端进行数据拉取。
进一步地，所述消息交换模块用于后端生产的气象数据进行发布和缓存；所述消息交换包括数据交换器和队列匹配模块，接收生产者发送的数据并将所述数据通过路由发送至服务器中的队列匹配模块。
进一步地，所述调度路由模块用于对调度队列的数据进行处理后传送至数据流水管线模块；所述数据流水管线模块用于对气象资源数据传输至数据消费者。
进一步地，所述气象资源数据通过路由进行数据绑定和交换。
进一步地，数据交换器采用AMQP协议对数据进行入队列和数据归集，完成实时异步数据的可靠交换。
本发明的有益效果：本发明所述的处理系统，使气象可视化前端与气象后端的数据提供稳定的队列，满足气象可视化系统对后端数据缓存的适配，大大提升生成可视化气象服务生成图像的稳定性。
本发明所述的处理系统，运行在云端与气象展示模块进行数据的时序交互，对气象数据进行归集和分发，很好的解决了各种不同类型的前端进行解耦合，适用与B/S前端展示系统。
附图说明
图1为本发明所述的一种气象可视化数据队列处理系统的原理图。
具体实施方式
结合图1说明本实施方式，一种气象可视化数据队列处理系统，该系统包括消息交换模块、调度路由模块和流水管线模块；所述消息交换模块用于后端生产的气象数据进行发布和缓存，调度路由模块用于调度队列的处理。所述调度路通过消息队列和数据交换器之间的关联。绑定基于路由键将数据交换器和消息队列连接起来的路由规则。
数据通过数据交易集市进行数据汇合，使多种类型的队列存在于交换模块，并通过路由将不同类型的队列数据调度到特定的流水线，各流水线队列将对可视化前段请求的资源按时序等气象数据资源进行排序等待前端进行数据拉取。
本实施方式中，所述消息交换模块包括交换器和队列匹配模块，接收生产者发送的消息并将这些消息路由给服务器中的队列。
所述流水管线模块用于气象资源数据的传输。所述管道用于发布消息、订阅队列还是接收消息，这些动作都是通过该管线完成。
本实施方式中，采用AMQP协议对数据进行入队列和数据归集，完成实时异步数据的可靠交换。

Claims (5)

1.一种气象可视化数据队列处理系统，其特征是：包括消息交换模块、调度路由模块和数据流水管线模块；数据通过数据交易集市进行数据汇合，使多种类型的队列存在于消息交换模块，并通过路由将不同类型的队列数据调度到对应的流水管线模块，各流水线队列将对可视化前端请求的气象数据资源进行排序，等待前端进行数据拉取。
2.根据权利要求1所述的一种气象可视化数据队列处理系统，其特征在于：所述消息交换模块用于后端生产的气象数据进行发布和缓存；所述消息交换包括数据交换器和队列匹配模块，接收生产者发送的数据并将所述数据通过路由发送至服务器中的队列匹配模块。
3.根据权利要求1所述的一种气象可视化数据队列处理系统，其特征在于：所述调度路由模块用于对调度队列的数据进行处理后传送至数据流水管线模块；所述数据流水管线模块用于对气象资源数据传输至数据消费者。
4.根据权利要求1所述的一种气象可视化数据队列处理系统，其特征在于：所述气象资源数据通过路由进行数据绑定和交换。
5.根据权利要求1所述的一种气象可视化数据队列处理系统，其特征在于：数据交换器采用AMQP协议对数据进行入队列和数据归集，完成实时异步数据的可靠交换。
CN202110034327.0A 2021-01-12 2021-01-12 一种气象可视化数据队列处理系统 Pending CN112738748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034327.0A CN112738748A (zh) 2021-01-12 2021-01-12 一种气象可视化数据队列处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034327.0A CN112738748A (zh) 2021-01-12 2021-01-12 一种气象可视化数据队列处理系统

Publications (1)

Publication Number Publication Date
CN112738748A true CN112738748A (zh) 2021-04-30

Family

ID=75590270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034327.0A Pending CN112738748A (zh) 2021-01-12 2021-01-12 一种气象可视化数据队列处理系统

Country Status (1)

Country Link
CN (1) CN112738748A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756444A (zh) * 2023-06-14 2023-09-15 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897159A (zh) * 2017-01-20 2017-06-27 武汉华信联创技术工程有限公司 一种用于采集自动气象站数据的系统及方法
CN106990913A (zh) * 2017-02-17 2017-07-28 清华大学 一种大规模流式集合数据的分布式处理方法
CN107479984A (zh) * 2016-09-29 2017-12-15 北京超图软件股份有限公司 基于消息的分布式空间数据处理系统
US20180278551A1 (en) * 2017-03-27 2018-09-27 Dell Products, L.P. Advanced message queuing protocol (amqp) message broker and messaging client interactions via dynamic programming commands using message properties

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479984A (zh) * 2016-09-29 2017-12-15 北京超图软件股份有限公司 基于消息的分布式空间数据处理系统
CN106897159A (zh) * 2017-01-20 2017-06-27 武汉华信联创技术工程有限公司 一种用于采集自动气象站数据的系统及方法
CN106990913A (zh) * 2017-02-17 2017-07-28 清华大学 一种大规模流式集合数据的分布式处理方法
US20180278551A1 (en) * 2017-03-27 2018-09-27 Dell Products, L.P. Advanced message queuing protocol (amqp) message broker and messaging client interactions via dynamic programming commands using message properties

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张来恩等: "CTS2.0消息封装及交换控制策略设计及实践", 《气象科技进展》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756444A (zh) * 2023-06-14 2023-09-15 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
US20190073719A1 (en) Offload Processing of Data Packets Containing Financial Market Data
CN102164072B (zh) 针对音频/视频流送在设备布局中标识设备
CN106452819B (zh) 数据采集系统及数据采集方法
WO2017092582A1 (zh) 一种数据处理方法和装置
CN112579148B (zh) 基于业务代理的业务消息处理方法、装置及电子设备
CN112738748A (zh) 一种气象可视化数据队列处理系统
CN102508765A (zh) 一种通过进程间通信实现软件日志实时监控的方法
CN105183299A (zh) 一种人机界面服务处理系统和方法
CN111352903A (zh) 日志管理平台、日志管理方法、介质以及电子设备
CN101888349A (zh) 一种msn与xmpp互通网关
CN102752395A (zh) 一种用于分布式数据中心实时业务分配的在线调度方法
CN105119751A (zh) 一种基于环境实时感知的服务评估及选取方法
CN113420043A (zh) 数据实时监控方法、装置、设备及存储介质
CN113452667A (zh) 一种适用于多种协议类型的边缘物联终端接入方法
CN102497419A (zh) 一种面向大规模请求的esb任务调度方法及调度系统
Intorruk et al. A comparative study on performance and resource utilization of real-time distributed messaging systems for big data
CN111797150B (zh) 一种高并发数据对接转发的方法及系统
CN101296373B (zh) 一种基于素材交换格式的多媒体数据处理系统及方法
CN112463413A (zh) 一种车站终端数据交互的方法及系统
CN105763484A (zh) 基于流组合压缩的信令流汇聚装置及其方法
CN110674221B (zh) 一种空间数据同步方法、终端及计算机可读存储介质
CN112199592A (zh) 基于知识蒸馏进行模型压缩的银行舆情风控系统
CN109862094B (zh) 一种基于流计算的水务设备数据共享方法及装置
CN111401819B (zh) 系统间数据推送方法及系统
CN109450823B (zh) 一种基于聚合式交叉节点的网络大容量交换装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430

RJ01 Rejection of invention patent application after publication