CN112765294A - 一种气象大数据处理调度系统 - Google Patents
一种气象大数据处理调度系统 Download PDFInfo
- Publication number
- CN112765294A CN112765294A CN202110033717.6A CN202110033717A CN112765294A CN 112765294 A CN112765294 A CN 112765294A CN 202110033717 A CN202110033717 A CN 202110033717A CN 112765294 A CN112765294 A CN 112765294A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- scheduling
- meteorological
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 238000005192 partition Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000013075 data extraction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000006978 adaptation Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种气象大数据处理调度系统，涉及现代互联网信息技术与经典气象模拟的交叉领域，解决现有气象领域异构环境下，分布式处理的数据交换繁琐，无法灵活调度等问题，本系统运行于云端容器实时调度系统资源和负载，数据在交易集市上进行交换，并基于数据总线技术进行传输，数据生产者模块用于适配数据生产装置。数据消费者模块用于适配数据消费装置。数据集市，用于各系统之间的数据交换。消息总线用于各系统间的数据传输。数据调度用于各系统控制数据的协同调度。本发明适合于气象大数据的分析和模拟所需海量数据进行管理。
Description
技术领域
本发明涉及现代互联网信息技术与经典气象模拟的交叉领域，具体涉及一种气象大数据处理调度系统，适合气象大数据处理和气象异构环境下应对各应用系统对气象大数据的分析和模拟所需海量数据进行管理。
背景技术
随着技术的变革，现代探测手段的进步使得气象数据呈现爆炸式增长，传统气象信息服务系统在数据可复用、数据分析加工处理能力等方面已经无法适应现代气象业务快速发展的变化需求，因此，需要一种能够在复杂异构环境下灵活调度交换气象数据并在各分布式气象处理系统中流转处理气象数据。
发明内容
本发明为解决现有气象领域异构环境下，分布式处理的数据交换繁琐，无法灵活调度等问题，提供一种气象大数据处理调度系统。
一种气象大数据处理调度系统，包括数据生产者模块，数据消费者模块，数据集市模块，数据调度模块以及GIS检索模块；所述数据生产者模块，数据消费者模块，数据集市模块，数据调度模块以及GIS检索模块之间通过消息总线通信；
所述数据生产者模块用于将数据生产者产生的数据主题发布到数据集市模块；
所述数据消费者模块用于将数据消费者从订阅的数据主题中提取数据；
所述数据集市模块用于存储各个数据主题，并对异构系统之间的数据分区，同一数据主题的不同分区存储在不同的节点，为保证数据的安全性分区之间相互备份，同时对外提供服务；
所述数据调度模块用于各模块控制数据的协同调度，采用AMQP协议根据路由规则将接收的数据信息发送至业务系统；使业务系统消费者主动提取与自己业务相关的数据；
所述GIS检索模块用于定位和提取多维度时空气象网格数据，通过数据路由将气象网格数据送至NoSQL数据库并建立经纬度索引，业务系统输入时间经纬度坐标查询，结果从数据库缓存到GIS分区，业务系统从GIS分区异步获取结果数据。
进一步的，所述消息总线用于各模块之间的数据转发，消息总线内部有多个流式通信管线构成。
进一步的，所述AMQP协议从流式管道中根据同一主题原数据进行路由选择，路由选择方式包括数据优先级别，数据类型，过滤数据或者插值订正处理。
本发明的有益效果：本发明所述的调度系统将海量数据在数据集市上进行交换，满足各应用系统对业务数据需求，提高各业务系统对数据依赖的稳定。
1、在异构环境下各业务系统均可接入标准的数据集市，在集市上进行标准的数据发布和订阅其他系统的数据集。
2、气象数据集市中的每个分区或分区组都有副本可以同时对外提供服务，数据的稳定性得到有效的保障。
3、气象数据基于容器技术部署，系统自动感知接入负载自动调整资源，对瞬时的数据承载压力进行有效消化。
附图说明
图1为本发明所述的一种气象大数据处理调度系统的原理图；
图2为数据调度过程示意图；
图3为采用AMQP协议发送消息的示意图。
具体实施方式
结合图1至图3说明本实施方式，一种气象大数据处理调度系统，实现调度气象大数据处理、共享以及分发的系统,本系统运行于云端容器实时调度系统资源和负载，数据在数据集市上进行交换，并基于数据总线技术进行传输，适合种类繁多的气象数据进行管理和异构环境下各业务系统对数据的检索处理。系统具体包括相互之间消息总线进行通信的数据生产者模块，数据消费者模块，数据集市模块，数据调度模块以及GIS检索模块；
所述数据生产者模块：用于数据生产者产生的数据持续稳定的发布到数据集市模块中相应的数据主题。
所述数据消费者模块：用于数据消费者从订阅的数据主题中提取数据。
所述数据集市模块：是各个数据主题集合的统称，用于异构系统之间的数据分区，同一主题的不同分区可以存储在不同的节点，分区可以建立多个副本，为保证数据的安全性分区之间相互备份，同时对外提供服务。
所述消息总线：用于各系统间的数据代理和转发，总线内部有多个流式通信管线构成。
结合图2，所述数据调度模块：用于各系统控制数据的协同调度，利用AMQP协议根据既定的路由规则把接收到的消息发送给处理消息的消费者。
所述GIS检索模块：用于快速定位和提取多维度时空网格气象数据，通过数据路由将气象网格数据送至NoSQL数据库并建立经纬度索引，业务系统输入时间经纬度坐标查询，结果从数据库缓存到GIS分区，业务系统从GIS分区异步获取结果数据。
本实施方式中，数据集市模块通过流式处理与数据消息总线进行松耦合式集成，使繁多的气象数据调度在各处理管线里便于在业务模块间以流水线的方式流转处理，根据气象数据量的大小和时效性便于伸缩和扩展，对异构环境下的分布式处理模块提供有效的通信手段，对应用提供数据交换。
本实施方式所述的调度系统，通过将多种气象数据主题构成数据集市，气象数据不同阶段多种类型共同存储在数据集市模块，为其他业务系统提供统一的数据提取和检索入口。
本实施方式中的消息总线采用流式管线事件驱动，提供数据的发布与订阅(pub/sub)，包括气象数据的点对点通信，多点广播。
本实施方式所述的调度系统实现集群处理，动态负载均衡，根据业务负荷动态伸缩资源，提高系统的高可靠性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (4)
1.一种气象大数据处理调度系统，其特征是：包括数据生产者模块，数据消费者模块，数据集市模块，数据调度模块以及GIS检索模块；所述数据生产者模块，数据消费者模块，数据集市模块，数据调度模块以及GIS检索模块之间通过消息总线通信；
所述数据生产者模块用于将数据生产者产生的数据主题发布到数据集市模块；
所述数据消费者模块用于将数据消费者从订阅的数据主题中提取数据；
所述数据集市模块用于存储各个数据主题，并对异构系统之间的数据分区，同一数据主题的不同分区存储在不同的节点，分区数据相互备份，保障数据安全的同时对外提供服务；
所述数据调度模块用于各模块控制数据的协同调度，采用AMQP协议根据路由规则将接收的数据信息发送到数据消费者模块；
所述GIS检索模块用于定位和提取多维度时空网格气象数据，使用GeoJSON通过数据路由为网格气象数据建立索引，索引进入数据库，数据分区进入数据主题，业务系统输入坐标查询数据索引，获取主题原数据进行数据提取。
2.根据权利要求1所述的一种气象大数据处理调度系统，其特征在于：所述业务模块订阅与其相关的消息主动从数据消费者模块拉取与之匹配的数据。
3.根据权利要求1所述的一种气象大数据处理调度系统，其特征在于：所述消息总线用于各模块之间的数据转发，消息总线内部有多个流式通信管线构成。
4.根据权利要求1所述的一种气象大数据处理调度系统，其特征在于：所述AMQP协议从流式通信管线中根据同一主题数据进行路由选择，路由选择方式包括数据优先级别，数据类型，过滤数据或者插值订正处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110033717.6A CN112765294A (zh) | 2021-01-12 | 2021-01-12 | 一种气象大数据处理调度系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110033717.6A CN112765294A (zh) | 2021-01-12 | 2021-01-12 | 一种气象大数据处理调度系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112765294A true CN112765294A (zh) | 2021-05-07 |
Family
ID=75701470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110033717.6A Pending CN112765294A (zh) | 2021-01-12 | 2021-01-12 | 一种气象大数据处理调度系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765294A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757667A (zh) * | 2022-11-01 | 2023-03-07 | 宁波市气象服务中心 | 一种基于大数据的智能化气象服务定制系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN107479984A (zh) * | 2016-09-29 | 2017-12-15 | 北京超图软件股份有限公司 | 基于消息的分布式空间数据处理系统 |
| CN109241161A (zh) * | 2018-08-09 | 2019-01-18 | 深圳市雅码科技有限公司 | 一种气象数据管理方法 |
-
2021
- 2021-01-12 CN CN202110033717.6A patent/CN112765294A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479984A (zh) * | 2016-09-29 | 2017-12-15 | 北京超图软件股份有限公司 | 基于消息的分布式空间数据处理系统 |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询系统 |
| CN109241161A (zh) * | 2018-08-09 | 2019-01-18 | 深圳市雅码科技有限公司 | 一种气象数据管理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757667A (zh) * | 2022-11-01 | 2023-03-07 | 宁波市气象服务中心 | 一种基于大数据的智能化气象服务定制系统及方法 |
| CN115757667B (zh) * | 2022-11-01 | 2024-04-19 | 宁波市气象服务中心 | 一种基于大数据的智能化气象服务定制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9680919B2 (en) | Intelligent messaging grid for big data ingestion and/or associated methods | |
| CN101800762B (zh) | 一种对多个业务进行融合的业务云系统及业务实现方法 | |
| CN103761309A (zh) | 一种运营数据处理方法及系统 | |
| CN106033476A (zh) | 一种云计算环境中分布式计算模式下的增量式图计算方法 | |
| CN112367354B (zh) | 一种云边资源图智能调度系统及其调度方法 | |
| CN113054743A (zh) | 一种适用于配电云主站的物联终端数据接入系统及方法 | |
| CN103546572A (zh) | 一种云存储装置以及多云存储联网系统和方法 | |
| KR102345082B1 (ko) | 클라우드 기반 iec61850 정보 처리 방법 | |
| CN114710571B (zh) | 数据包处理系统 | |
| CN111125046B (zh) | 基于非结构化平台的跨系统文件共享系统及方法 | |
| CN103067486A (zh) | 基于PaaS平台的大数据处理方法 | |
| CN112181678A (zh) | 业务数据的处理方法、装置和系统、存储介质、电子装置 | |
| CN111813503A (zh) | 一种基于容器云的微服务化应用开放系统 | |
| CN112765294A (zh) | 一种气象大数据处理调度系统 | |
| US20090132582A1 (en) | Processor-server hybrid system for processing data | |
| CN103955461A (zh) | 一种基于本体集合概念相似度的语义匹配方法 | |
| CN110913018A (zh) | 一种分布式调控服务系统 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及系统 | |
| CN215298210U (zh) | 电力物联网的多级边缘计算系统 | |
| CN116366692A (zh) | 一种高性能智能边缘终端系统 | |
| CN104572859B (zh) | 一种分布式复杂事件处理系统 | |
| CN104391949A (zh) | 一种基于数据字典的广域数据资源管理方法 | |
| CN114598662A (zh) | 消息队列集群联邦管理系统以及方法 | |
| CN103023740A (zh) | 一种信息交互总线系统及电力数据传输方法 | |
| CN108900593B (zh) | 一种储物柜数据的分布式处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |
|
| RJ01 | Rejection of invention patent application after publication |