CN113254504A - 智慧气象大数据平台 - Google Patents

智慧气象大数据平台 Download PDF

Info

Publication number
CN113254504A
CN113254504A CN202110644307.5A CN202110644307A CN113254504A CN 113254504 A CN113254504 A CN 113254504A CN 202110644307 A CN202110644307 A CN 202110644307A CN 113254504 A CN113254504 A CN 113254504A
Authority
CN
China
Prior art keywords
data
layer
meteorological
acquisition
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110644307.5A
Other languages
English (en)
Inventor
王大林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaxun High Tech Co ltd
Original Assignee
Huaxun High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaxun High Tech Co ltd filed Critical Huaxun High Tech Co ltd
Priority to CN202110644307.5A priority Critical patent/CN113254504A/zh
Publication of CN113254504A publication Critical patent/CN113254504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种智慧气象大数据平台，涉及气象资料处理技术领域，包括数据层、获取层、能力层、应用层；其中，所述数据层，用于对接数据源，完成数据采集与数据清洗；所述获取层，用于为所述数据层提供透明的数据访问接口；所述能力层，用于进行数据分析；所述应用层，用于外接服务接口，实现指定功能。通过本发明的智慧气象大数据平台进行数据的采集、处理、存储和管理的科学性、及时性与统一性，提高了气象灾害风险预警识别度与精准度，降低了灾害预测成本。

Description

智慧气象大数据平台
技术领域
本发明涉及气象资料处理技术领域，更具体的说是涉及一种智慧气象大数据平台。
背景技术
随着近年来城市智慧化水平的提升，智慧城市建设对气象基础观测数据、气象预报预警信息、联合分析评估技术等提出一定需求，建设智能、高效、标准的集约化的智慧气象数据平台，实现智慧气象辅助决策、服务民生、防灾减灾等功能，促进行业间的高效协作，为政府决策、城市治理、公共服务、产业发展提供支撑。
气象行业由于其业务特殊性，其信息化建设呈现：数据采集量极大、数据来源众多、数据碎片化严重的特点。据保守估算，气象各业务系统需要每天处理约有800G的增量数据，总容量超过10PB的历史数据文件。为了能够及时、快速地对数据进行存储，并且能解决气象数据服务的需求，对本领域技术人员来说，构建一套科学、高效的数据服务系统迫在眉睫。
发明内容
有鉴于此，本发明提供了一种智慧气象大数据平台，通过平台进行数据的采集、处理、存储和管理的科学性、及时性与统一性，提高了气象灾害风险预警识别度与精准度，降低了灾害预测成本。
为了实现上述目的，本发明采用如下技术方案：一种智慧气象大数据平台，包括数据层、获取层、能力层、应用层；其中，所述数据层，用于对接数据源，完成数据采集与数据清洗；所述获取层，用于为所述数据层提供透明的数据访问接口；所述能力层，用于进行数据分析；所述应用层，用于外接服务接口，实现指定功能。
优选的，所述数据采集根据硬件和数据源类型的不同，分为实时采集模式和定时采集模式；所述实时采集模式监控数据库变更日志和引擎访问日志文件的变化，将数据采集下来；所述定时采集模式根据数据特点固定时间间隔采集更新气象数据。
通过采用上述技术方案，具有以下有益的技术效果：定时采集数据，主要用于大批量、非实时性数据，根据数据特点定时把数据采集下来，如气象数据，每日固定时间间隔采集更新当前气象和预报气象数据。
优选的，所述数据源的类型分为：空间数据、属性数据、文本和媒体数据。
优选的，所述能力层包括数据可视化模块、信息检索模块、数据共享模块；其中，所述数据可视化模块用于在Web中将气象数据标绘到空间数据上，采用OpenLayers开源GIS库，实现气象要素的实时监测与查询，检索生成数据展示；所述信息检索模块用于完成开源分布式检索，运用ElasticSearch搜索引擎完成；所述数据共享模块用于为各行业提供各类气象数据接口。
通过采用上述技术方案，具有以下有益的技术效果：能力层涉及对数据中心的访问操作和文件访问协议，以及各类数据分析工作。数据访问和分析引入模型分析引擎、决策分析引擎、数据挖掘算法、统计算法等技术分析处理基础数据。
优选的，采用nginx集群实现负载均衡，处理应用服务的请求并发压力。
优选的，采用elasticsearch/mongodb文档型NoSQL数据库以及redis/memcached缓存型NoSQL数据库，处理数据库查询速度压力。
通过采用上述技术方案，具有以下有益的技术效果：解决了数据规模大、数据实时性要求高、请求并发高的问题。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种智慧气象大数据平台，平台基于底层的数据中心硬件，整合采集基础气象数据、气象预报预警数据和部门共享数据，通过对海量数据进行清洗、分析，并通过统一服务数据接口平台、数据数据可视化分析、气象数据检索引擎等核心模块，发挥智慧气象数据在辅助决策、服务民生、防灾减灾方面的突出作用，促进行业间的高效协作，为政府决策、城市治理、公共服务、产业发展提供支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明的结构示意图；
图2附图为本发明的数据可视化过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种智慧气象大数据平台，如图1所示，包括数据层、获取层、能力层、应用层；其中，数据层，用于对接数据源，完成数据采集与数据清洗；获取层，用于为数据层提供透明的数据访问接口；能力层，用于进行数据分析；应用层，用于外接服务接口，实现指定功能。
具体的，在数据层完成对硬件数据源的对接，并对数据进行清洗和质量检查，同业务情景的数据进行融合。
数据采集根据硬件和数据源类型的不同，分为实时采集模式和定时采集模式；实时采集模式监控数据库变更日志和引擎访问日志文件的变化，将最新的数据采集下来；定时采集模式主要用于大批量、非实时性数据，根据数据特点定时采集数据，如气象数据，每日固定时间间隔采集更新当前气象和预报气象数据。
数据源的类型分为：空间数据、属性数据、文本和媒体数据。
更进一步的，ETL是构建数据库的重要一环，ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
需要说明的是，ETL过程中实现数据清洗的方法为：首先，在理解源数据的基础上实现数据表属性一致化。为解决源数据的同义异名和同名异义的问题，可通过元数据管理子系统，在理解源数据的同时，对不同表的属性名根据其含义重新定义其在数据挖掘库中的名字，并以转换规则的形式存放在元数据库中，在数据集成的时候，系统自动根据这些转换规则将源数据中的字段名转换成新定义的字段名，从而实现数据挖掘库中的同名同义。
其次，通过数据缩减，大幅度缩小数据量。由于源数据量很大，处理起来非常耗时，所以可以优先进行数据缩减，以提高后续数据处理分析效率。
最后，通过预先设定数据处理的可视化功能节点，达到可视化的进行数据清洗和数据转换的目的。针对缩减并集成后的数据，通过组合预处理子系统提供各种数据处理功能节点，能够以可视化的方式快速有效完成数据清洗和数据转换过程。
能力层包括数据可视化模块，信息检索模块、数据共享模块。
其中，数据可视化模块用于在Web中将气象数据标绘到空间数据上，采用OpenLayers开源GIS库，实现气象要素的实时监测与查询，检索生成数据展示。数据可视化过程如图2所示。开发过程中，将气温、气压、风速风向、地温、相对湿度、降水等多个要素制作为图层，并将查询所得气象要素数据与图层形成映射关系，存储到JSON对象，然后调用OpenLayers图层叠加接口，将数据通过JavaScript进行获取校验，通过回显的数据和CanVas相互配合进行渲染图形，通过所对应的CanVas图像和资料叠加到地图进行显示。
信息检索模块用于完成开源分布式检索，运用ElasticSearch搜索引擎完成；数据共享模块用于为各行业提供各类气象数据接口。
为了应对数据规模大、数据实时性要求高、请求并发高的问题，采用以下方案解决：
采用nginx集群实现负载均衡，处理应用服务的请求并发压力。
采用分库分表、冷热数据隔离、数据冗余等手段，分散数据库存储压力。
采用elasticsearch/mongodb文档型NoSQL数据库以及redis/memcached缓存型NoSQL数据库，处理数据库查询速度压力。
采用文件切割/文件分片/断点续传，处理下载服务的压力。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种智慧气象大数据平台，其特征在于，包括数据层、获取层、能力层、应用层；其中，所述数据层，用于对接数据源，完成数据采集与数据清洗；所述获取层，用于为所述数据层提供透明的数据访问接口；所述能力层，用于进行数据分析；所述应用层，用于外接服务接口，实现指定功能。
2.根据权利要求1所述的一种智慧气象大数据平台，其特征在于，所述数据采集根据硬件和数据源类型的不同，分为实时采集模式和定时采集模式；所述实时采集模式监控数据库变更日志和引擎访问日志文件的变化，将数据采集下来；所述定时采集模式根据数据特点固定时间间隔采集更新气象数据。
3.根据权利要求1所述的一种智慧气象大数据平台，其特征在于，所述数据源的类型分为：空间数据、属性数据、文本和媒体数据。
4.根据权利要求1所述的一种智慧气象大数据平台，其特征在于，所述能力层包括数据可视化模块、信息检索模块、数据共享模块；其中，所述数据可视化模块用于在Web中将气象数据标绘到空间数据上，采用OpenLayers开源GIS库，实现气象要素的实时监测与查询，检索生成数据展示；所述信息检索模块用于完成开源分布式检索，运用ElasticSearch搜索引擎完成；所述数据共享模块用于为各行业提供各类气象数据接口。
5.根据权利要求1所述的一种智慧气象大数据平台，其特征在于，负载均衡采用nginx集群实现。
6.根据权利要求1所述的一种智慧气象大数据平台，其特征在于，对所述数据层采集的数据采用分库分表、冷热数据隔离、数据冗余中至少一种手段进行处理。
7.根据权利要求1所述的一种智慧气象大数据平台，其特征在于，采用elasticsearch/mongodb文档型NoSQL数据库以及redis/memcached缓存型NoSQL数据库，进行数据库查询。
CN202110644307.5A 2021-06-09 2021-06-09 智慧气象大数据平台 Pending CN113254504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644307.5A CN113254504A (zh) 2021-06-09 2021-06-09 智慧气象大数据平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644307.5A CN113254504A (zh) 2021-06-09 2021-06-09 智慧气象大数据平台

Publications (1)

Publication Number Publication Date
CN113254504A true CN113254504A (zh) 2021-08-13

Family

ID=77187376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644307.5A Pending CN113254504A (zh) 2021-06-09 2021-06-09 智慧气象大数据平台

Country Status (1)

Country Link
CN (1) CN113254504A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189873A (zh) * 2018-08-14 2019-01-11 南京绛门信息科技股份有限公司 一种气象服务大数据监测分析系统平台
CN111552010A (zh) * 2020-04-28 2020-08-18 杨军 一种全球气象灾害卫星遥感快速响应与可视化服务平台

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189873A (zh) * 2018-08-14 2019-01-11 南京绛门信息科技股份有限公司 一种气象服务大数据监测分析系统平台
CN111552010A (zh) * 2020-04-28 2020-08-18 杨军 一种全球气象灾害卫星遥感快速响应与可视化服务平台

Similar Documents

Publication Publication Date Title
WO2022012285A1 (zh) 一种多源融合的多平台能源信息管理系统
CN109977185B (zh) 基于网格的大气污染监管方法和系统
CN108446293A (zh) 一种基于城市多源异构数据构建城市画像的方法
CN102521716B (zh) 一体化专业气象服务集成系统
CN101984421A (zh) 基于实时数据库的气象要素数据组织录入与查询方法
CN105139281A (zh) 一种电力营销大数据的处理方法及系统
CN104216989A (zh) 一种基于HBase的输电线路综合数据存储方法
CN104599032A (zh) 一种面向资源管理的分布式内存电网构建方法及系统
CN102023983A (zh) 统计时空数据库及其管理方法
CN115238015A (zh) 一种基于微服务的时空大数据平台
CN113487251A (zh) 基于一键式遥感的自然灾害预警与应急响应方法与系统
CN105303292A (zh) 配电数据存储方法和装置
CN107862459B (zh) 一种基于大数据的计量设备状态评估方法及系统
CN110704569A (zh) 一种地理省情监测数据库管理系统、方法及数据库
CN110659369B (zh) 在轨高精度轻量化全球影像控制点数据库构建方法及系统
CN109688223B (zh) 生态环境数据资源共享方法及装置
CN109189873A (zh) 一种气象服务大数据监测分析系统平台
CN112613790A (zh) 应用于多站融合环境下的协同数据处理方法、设备及介质
CN113254504A (zh) 智慧气象大数据平台
Kwoczek et al. An architecture to process massive vehicular traffic data
CN109165203A (zh) 基于Hadoop架构的大型公共建筑能耗数据存储分析方法
Tan et al. Spatiotemporal data organization and application research
CN114722276A (zh) 一种用于智慧城市服务的数据管理及分析方法
CN114493262A (zh) 一种电力大数据的处理系统、方法、装置及计算机设备
CN114511195A (zh) 一种基于gis数据和地图应用的配电网规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813