CN105468788B - Nco气象数据处理方法和系统 - Google Patents

Nco气象数据处理方法和系统 Download PDF

Info

Publication number
CN105468788B
CN105468788B CN201511020818.0A CN201511020818A CN105468788B CN 105468788 B CN105468788 B CN 105468788B CN 201511020818 A CN201511020818 A CN 201511020818A CN 105468788 B CN105468788 B CN 105468788B
Authority
CN
China
Prior art keywords
data
meteorological data
screening
typing
nco
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511020818.0A
Other languages
English (en)
Other versions
CN105468788A (zh
Inventor
张亦澄
董仕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Energy Polytron Technologies Inc
Original Assignee
New Energy Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Energy Polytron Technologies Inc filed Critical New Energy Polytron Technologies Inc
Priority to CN201511020818.0A priority Critical patent/CN105468788B/zh
Publication of CN105468788A publication Critical patent/CN105468788A/zh
Application granted granted Critical
Publication of CN105468788B publication Critical patent/CN105468788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种NCO气象数据处理方法，包括如下步骤：气象数据的录入，将全国气象数据的回算基础数据根据WRF模式运算处理，将得到的结果录入至气象数据服务器中并存储基础数据库；筛选逻辑的选择，根据用户需求针对NCO气象数据处理方法录入筛选逻辑；进入筛选模式，根据所述筛选逻辑生成筛选条件，并根据每一条筛选条件在步骤A中的基础数据库中进行筛选，将得到的筛选数据输出为nc格式的中间文件；抽取数据的存储，将得到的nc格式的中间文件合并成为最终数据信息，将该最终数据信息录入至硬盘。经过本系统处理后的气象数据的存储空间极大减小，一般可减小90％以上，同时提升了数据的保藏期限，提高了数据的读写速度。

Description

NCO气象数据处理方法和系统
技术领域
本发明属于气象数据筛选和存储技术领域，尤其是涉及一种NCO气象数据存储方法和系统。
背景技术
随着当前电厂、风电厂的快速发展，气象业务持续增多，各种气象资料以及服务产品也越来越丰富，其气象数据的存储量也成几何数量级迅猛增长，随着大量全国气象数据的回算，存储空间和对存储空间的投入已经成为企业不可回避的问题和负担，在未来高精度电厂的全面发展，当前气象数据存储系统的存储容量、读写速度与未来业务的需求的矛盾会进一步突出。
发明内容
有鉴于此，本发明旨在提出一种基于NCO气象数据处理手段的气象数据处理和存储的方法及系统，以解决当前对电厂对气象数据的处理和存储存在的负担较重的问题，并给未来气象数据的处理和存储提供一种新的解决方案。
为达到上述目的，本发明的技术方案是这样实现的：
一种NCO气象数据处理方法，包括如下步骤：
步骤A：气象数据的录入，将全国气象数据的回算基础数据根据WRF模式运算处理，将得到的结果录入至气象数据服务器中并存储为netcdf格式文件，将所述netcdf格式文件做为本次数据处理的基础数据库；
步骤B：筛选逻辑的选择，根据用户需求针对NCO气象数据处理方法录入筛选逻辑，该筛选逻辑包括至少一条；
步骤C：进入筛选模式，根据所述筛选逻辑生成筛选条件，并根据每一条筛选条件在步骤A中的基础数据库中进行筛选，将得到的筛选数据输出为nc格式的中间文件；
步骤D：抽取数据的存储，将得到的nc格式的中间文件合并成为最终数据信息，将该最终数据信息录入至硬盘。
进一步的，所述步骤A中的基础数据库包括如下变量：时间、经纬度、高度、气压、风向、风速、温度、湿度数据信息。
进一步的，所述步骤A进一步包括：对基础数据库的数据量作出统计，所述步骤D进一步包括对得到的最终数据信息的数据量作出统计，用于对比与最终数据信息的数据量之间的比例。
进一步的，所述步骤A进一步包括：对所述netcdf格式文件做过滤处理，过滤后的数据转入高质量数据库。
进一步的，所述步骤B中的筛选逻辑包括根据气象数据的高度数据作出标记。
进一步的，所述步骤B中的筛选逻辑包括根据是否包括温度数据而对数据作出标记。
进一步的，所述步骤C进一步包括对得到的nc格式的中间文件作出判断，根据判断结果再对所述nc格式的中间文件的组合作出选择。
进一步的，所述WRF模式运算处理得到的结果包括高度、经纬度、时间、风速和风向数据信息。
进一步的，还包括步骤E：存储信息的读取，将最终数据信息读取并录入其他应用处理系统。
一种NCO气象数据存储系统，包括气象数据录入子系统、筛选逻辑子系统和气象数据服务器；
所述气象数据录入子系统包括回算基础数据模块、WRF处理模块和基础数据库，所述回算基础数据模块的数据经过WRF处理模块的运算处理，得到的信息录入到气象数据服务器中，并存储为基础数据库；
所述筛选逻辑子系统包括筛选逻辑录入模块、筛选条件模块以及NCO气象数据处理模块，所述筛选逻辑录入模块根据客户需求将筛选逻辑录入至NCO气象数据处理模块中并生成筛选条件模块，所述NCO气象数据处理模块根据筛选条件模块生成的筛选条件处理数据得到nc格式的中间文件，所述nc格式的中间文件生成最终数据信息；
所述最终数据信息录入至硬盘中存储；
所述录入至硬盘中存储的最终数据信息经过读取模块读取，用于其他应用处理系统使用。
相对于现有技术，本发明所述的NCO气象数据处理方法和系统具有以下优势：经过本系统处理后的气象数据的存储空间极大减小，一般可减小90％以上，同时提升了数据的保藏期限，提高了数据的读写速度，可对全国区域的高精度上线任务提供了存储空间和性能的解决方案。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的NCO气象数据处理方法的示意图；
图2为本发明实施例所述的NCO气象数据处理方法的示意图；
图3为本发明实施例所述的NCO气象数据处理系统的示意图。
附图标记说明：
10-气象数据录入子系统；11-回算基础数据模块；12-WRF处理模块；13-基础数据库；20-筛选逻辑子系统；21-筛选逻辑录入模块；22-筛选条件模块；23-NCO气象数据处理模块；30-nc格式的中间文件；40-最终数据信息；50-硬盘；60-读取模块；70-气象数据服务器。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图1-3并结合实施例来详细说明本发明。
一种NCO气象数据处理方法，包括如下步骤：
步骤A：气象数据的录入，将全国气象数据的回算基础数据根据WRF模式运算处理，将得到的结果录入至气象数据服务器70中并存储为netcdf格式文件，将所述netcdf格式文件做为本次数据处理的基础数据库13；
步骤B：筛选逻辑的选择，根据用户需求针对NCO气象数据处理方法录入筛选逻辑，该筛选逻辑包括至少一条；
步骤C：进入筛选模式，根据所述筛选逻辑生成筛选条件，并根据每一条筛选条件在步骤A中的基础数据库13中进行筛选，将得到的筛选数据输出为nc格式的中间文件30；
步骤D：抽取数据的存储，将得到的nc格式的中间文件30合并成为最终数据信息40，将该最终数据信息40录入至硬盘50。
所述步骤A中的基础数据库13包括如下变量：时间、经纬度、高度、气压、风向、风速、温度、湿度数据信息。
所述步骤A进一步包括：对基础数据库13的数据量作出统计，所述步骤D进一步包括对得到的最终数据信息40的数据量作出统计，用于对比与最终数据信息40的数据量之间的比例。
所述步骤A进一步包括：对所述netcdf格式文件做过滤处理，过滤后的数据转入高质量数据库。
所述步骤B中的筛选逻辑包括根据气象数据的高度数据作出标记。
所述步骤B中的筛选逻辑包括根据是否包括温度数据而对数据作出标记。
所述步骤C进一步包括对得到的nc格式的中间文件30作出判断，根据判断结果再对所述nc格式的中间文件30的组合作出选择。
所述WRF模式运算处理得到的结果包括高度、经纬度、时间、风速和风向数据信息。
还包括步骤E：存储信息的读取，将最终数据信息40读取并录入其他应用处理系统。
一种NCO气象数据存储系统，包括气象数据录入子系统10、筛选逻辑子系统20和气象数据服务器70；
所述气象数据录入子系统10包括回算基础数据模块11、WRF处理模块12和基础数据库13，所述回算基础数据模块11的数据经过WRF处理模块12的运算处理，得到的信息录入到气象数据服务器70中，并存储为基础数据库13；
所述筛选逻辑子系统20包括筛选逻辑录入模块21、筛选条件模块22以及NCO气象数据处理模块23，所述筛选逻辑录入模块21根据客户需求将筛选逻辑录入至NCO气象数据处理模块23中并生成筛选条件模块22，所述NCO气象数据处理模块23根据筛选条件模块22生成的筛选条件处理数据得到nc格式的中间文件30，所述nc格式的中间文件30生成最终数据信息40；
所述最终数据信息40录入至硬盘50中存储；
所述录入至硬盘50中存储的最终数据信息40经过读取模块60读取，用于其他应用处理系统使用。
在一种NCO气象数据处理风电厂数据的方法中，包括如下步骤：
步骤A：气象数据的录入，将全国气象数据的回算基础数据根据WRF模式运算处理，将得到的结果录入至气象数据服务器70中并存储为netcdf格式文件，将所述netcdf格式文件做为本次数据处理的基础数据库13；
步骤B：筛选逻辑的选择，根据用户需求针对NCO气象数据处理方法录入筛选逻辑，该筛选逻辑包括：筛选高度为0-100米范围内的气象数据and筛选高度为100-200米范围内的气象数据and筛选高度为200-300米范围内的气象数据；
步骤C：进入筛选模式，根据所述筛选逻辑生成筛选条件，并根据每一条筛选条件在步骤A中的基础数据库13中进行筛选，将得到的筛选数据输出为nc格式的中间文件30，共生成3个nc格式的中间文件30，分别包含了0-100米范围内、100-200米范围内和200-300米范围内的气象数据；
步骤D：抽取数据的存储，将得到的3个nc格式的中间文件30合并成为最终数据信息40，将该最终数据信息40录入至硬盘50。
进一步的，所述步骤A进一步包括：对所述netcdf格式文件做过滤处理，该过滤处理包括删除湿度、气压、温度数据。
使用该NCO气象数据处理方法，预估全国范围内3*3km风资源评估数据的存储空间为200T，通过该方法处理后仅需20T，大大降低了NAS磁盘存储的费用。
现有并行计算平台的存储容量仅供100个高精度电场使用，通过该NCO气象数据处理方法改进后，至少可以供200个高精度电场使用(跟划分的区域有关)。
该NCO气象数据处理方法改进后使得大片区域的历史数据在比较经济的情况下进行长时间保存成为可能，为气象数据分析、新项目上线节约了大量计算时间，提供了很大的便捷。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.NCO气象数据处理方法，其特征在于：包括如下步骤：
步骤A：气象数据的录入，将全国气象数据的回算基础数据根据WRF模式运算处理，将得到的结果录入至气象数据服务器中并存储为netcdf格式文件，将所述netcdf格式文件做为本次数据处理的基础数据库；
步骤B：筛选逻辑的选择，根据用户需求针对NCO气象数据处理方法录入筛选逻辑，该筛选逻辑包括至少一条；
步骤C：进入筛选模式，根据所述筛选逻辑生成筛选条件，并根据每一条筛选条件在步骤A中的基础数据库中进行筛选，将得到的筛选数据输出为nc格式的中间文件；
步骤D：抽取数据的存储，将得到的nc格式的中间文件合并成为最终数据信息，将该最终数据信息录入至硬盘。
2.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述步骤A中的基础数据库包括如下变量：时间、经纬度、高度、气压、风向、风速、温度、湿度数据信息。
3.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述步骤A进一步包括：对基础数据库的数据量作出统计，所述步骤D进一步包括对得到的最终数据信息的数据量作出统计，用于对比与最终数据信息的数据量之间的比例。
4.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述步骤A进一步包括：对所述netcdf格式文件做过滤处理，过滤后的数据转入高质量数据库。
5.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述步骤B中的筛选逻辑包括根据气象数据的高度数据作出标记。
6.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述步骤B中的筛选逻辑包括根据是否包括温度数据而对数据作出标记。
7.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述步骤C进一步包括对得到的nc格式的中间文件作出判断，根据判断结果再对所述nc格式的中间文件的组合作出选择。
8.根据权利要求1所述的NCO气象数据处理方法，其特征在于：所述WRF模式运算处理得到的结果包括高度、经纬度、时间、风速和风向数据信息。
9.根据权利要求1所述的NCO气象数据处理方法，其特征在于：还包括步骤E：存储信息的读取，将最终数据信息读取并录入其他应用处理系统。
10.NCO气象数据处理系统，其特征在于：包括气象数据录入子系统、筛选逻辑子系统和气象数据服务器；
所述气象数据录入子系统包括回算基础数据模块、WRF处理模块和基础数据库，所述回算基础数据模块的数据经过WRF处理模块的运算处理，得到的信息录入到气象数据服务器中，并存储为基础数据库；
所述筛选逻辑子系统包括筛选逻辑录入模块、筛选条件模块以及NCO气象数据处理模块，所述筛选逻辑录入模块根据客户需求将筛选逻辑录入至NCO气象数据处理模块中并生成筛选条件模块，所述NCO气象数据处理模块根据筛选条件模块生成的筛选条件处理数据得到nc格式的中间文件，所述nc格式的中间文件生成最终数据信息；
所述最终数据信息录入至硬盘中存储；
所述录入至硬盘中存储的最终数据信息经过读取模块读取，用于其他应用处理系统使用。
CN201511020818.0A 2015-12-29 2015-12-29 Nco气象数据处理方法和系统 Active CN105468788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511020818.0A CN105468788B (zh) 2015-12-29 2015-12-29 Nco气象数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511020818.0A CN105468788B (zh) 2015-12-29 2015-12-29 Nco气象数据处理方法和系统

Publications (2)

Publication Number Publication Date
CN105468788A CN105468788A (zh) 2016-04-06
CN105468788B true CN105468788B (zh) 2019-02-15

Family

ID=55606488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511020818.0A Active CN105468788B (zh) 2015-12-29 2015-12-29 Nco气象数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN105468788B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090794B (zh) * 2019-11-07 2023-12-05 远景智能国际私人投资有限公司 气象数据查询方法、装置及存储介质
CN111737196B (zh) * 2020-06-22 2023-11-10 国能日新科技股份有限公司 基于电力交易系统气象资源网格文本转矢量图方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984421A (zh) * 2010-09-03 2011-03-09 中国科学院软件研究所 基于实时数据库的气象要素数据组织录入与查询方法
CN102932426A (zh) * 2012-09-29 2013-02-13 上海市电力公司 用于输电线路在线安全监测的气象数据处理方法
CN103167414A (zh) * 2013-03-18 2013-06-19 南京信息工程大学 基于智能手机参与感知的气象信息服务系统及其实现方法
CN103268245A (zh) * 2012-11-28 2013-08-28 北京建筑工程学院 一种气象数据快速处理流程化的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2837414C (en) * 2012-12-14 2022-12-13 Battelle Memorial Institute Transactive control and coordination framework and associated toolkit functions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984421A (zh) * 2010-09-03 2011-03-09 中国科学院软件研究所 基于实时数据库的气象要素数据组织录入与查询方法
CN102932426A (zh) * 2012-09-29 2013-02-13 上海市电力公司 用于输电线路在线安全监测的气象数据处理方法
CN103268245A (zh) * 2012-11-28 2013-08-28 北京建筑工程学院 一种气象数据快速处理流程化的方法
CN103167414A (zh) * 2013-03-18 2013-06-19 南京信息工程大学 基于智能手机参与感知的气象信息服务系统及其实现方法

Also Published As

Publication number Publication date
CN105468788A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
Cerniauskas et al. Future hydrogen markets for transportation and industry: The impact of CO2 taxes
Bencardino et al. Demographic changes and real estate values. A quantitative model for analyzing the urban-rural linkages
Koengkan et al. The impact of battery-electric vehicles on energy consumption: A macroeconomic evidence from 29 European countries
Schwieder et al. Landsat phenological metrics and their relation to aboveground carbon in the Brazilian Savanna
CN113011979B (zh) 交易检测方法、模型的训练方法、装置及计算机可读存储介质
CN105468788B (zh) Nco气象数据处理方法和系统
Hashemkhani Zolfani et al. The suitability-feasibility-acceptability strategy integrated with Bayesian BWM-MARCOS methods to determine the optimal lithium battery plant located in South America
US11853398B2 (en) Methods and systems for detecting detection devices located at energy metering points of natural gas preliminary class
Lopez-Martin et al. Additive ensemble neural network with constrained weighted quantile loss for probabilistic electric-load forecasting
Kim et al. Gen2 RFID-based system framework for resource circulation in closed-loop supply chains
Grzesiek et al. A Method for Structure Breaking Point Detection in Engine Oil Pressure Data
Faraji Niri et al. Performance evaluation of convolutional auto encoders for the reconstruction of li-ion battery electrode microstructure
CN116933125A (zh) 时间序列数据预测方法、装置、设备及存储介质
Lu et al. Mapping the soil texture in the Heihe River basin based on fuzzy logic and data fusion
Sawalha et al. Towards an efficient big data management schema for IoT
Liu et al. Fault prediction of on-board train control equipment using a CGAN-enhanced XGBoost method with unbalanced samples
Hu et al. A novel grey prediction model combining markov chain with functional-link net and its application to foreign tourist forecasting
Xiang et al. A two-phase approach for predicting highway passenger volume
Furlani Bastos et al. Optimization techniques for mining power quality data and processing unbalanced datasets in machine learning applications
CN112258690A (zh) 数据存取方法及装置、数据存储方法及装置
Mueller et al. Fostering Macroeconomic Research on Hydrogen-Powered Aviation: A Systematic Literature Review on General Equilibrium Models
CN104794636A (zh) 基于用户显示评分的机型推荐方法
Bekebrok et al. Underground storage of green hydrogen—boundary conditions for compressor systems
Saganeiti et al. Urban dispersion indicator to assess the Italian settlement pattern
Peng et al. Polar vortex multi-day intensity prediction relying on new deep learning model: A combined convolution neural network with long short-term memory based on Gaussian smoothing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100081 four, 407, 19 Building, 68 South Road, Haidian District, Beijing.

Applicant after: New energy Polytron Technologies Inc

Address before: 100081 four, 407, 19 Building, 68 South Road, Haidian District, Beijing.

Applicant before: Beijing Guo Nengxin system control technique company limited

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: NCO meteorological data processing method and NCO meteorological data processing system

Effective date of registration: 20190705

Granted publication date: 20190215

Pledgee: Haidian Beijing science and technology enterprise financing Company limited by guarantee

Pledgor: New energy Polytron Technologies Inc

Registration number: 2019990000663

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20200715

Granted publication date: 20190215

Pledgee: Haidian Beijing science and technology enterprise financing Company limited by guarantee

Pledgor: SPRIXIN TECHNOLOGY Co.,Ltd.

Registration number: 2019990000663

PC01 Cancellation of the registration of the contract for pledge of patent right