CN113960700B - 区域数值预报结果的客观检验、统计及分析系统 - Google Patents

区域数值预报结果的客观检验、统计及分析系统 Download PDF

Info

Publication number
CN113960700B
CN113960700B CN202111313787.3A CN202111313787A CN113960700B CN 113960700 B CN113960700 B CN 113960700B CN 202111313787 A CN202111313787 A CN 202111313787A CN 113960700 B CN113960700 B CN 113960700B
Authority
CN
China
Prior art keywords
data
module
observation
inspection
quality control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111313787.3A
Other languages
English (en)
Other versions
CN113960700A (zh
Inventor
张鑫宇
张舒婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute Of Urban Meteorology
Original Assignee
Beijing Institute Of Urban Meteorology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute Of Urban Meteorology filed Critical Beijing Institute Of Urban Meteorology
Priority to CN202111313787.3A priority Critical patent/CN113960700B/zh
Publication of CN113960700A publication Critical patent/CN113960700A/zh
Application granted granted Critical
Publication of CN113960700B publication Critical patent/CN113960700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/18Testing or calibrating meteorological apparatus

Landscapes

  • Environmental & Geological Engineering (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及天气数据监测技术领域,且公开了区域数值预报结果的客观检验、统计及分析系统,包括观测文件读入模块、观测资料检测模块、分类重组模块、数据质量控制模块、观测资料统计分析模块;所述观测文件读入模块用于对观测数据的大批量智能导入;所述观测资料检测模块用于对观测数据进行筛选,将不合格或无意义的数据剔除;所述分类重组模块用于对筛选过后的观测数据进行重组及重复性检查,同时删除重复数据,以及对缺失数据进行重构。该区域数值预报结果的客观检验、统计及分析系统,具备了改进区域自动站的质量控制以及针对客观检验的数值模式预报性能统计及分析系的优点。

Description

区域数值预报结果的客观检验、统计及分析系统
技术领域
本发明涉及天气数据监测技术领域,具体为区域数值预报结果的客观检验、统计及分析系统。
背景技术
随着区域数值模式的发展和分辨率的不断提高,对数值预报产品的客观定量检验的要求也随之提高,评估高分辨率数值预报模式需要考虑更多地因素首先,数量庞大的观测数据,应用在高分辨率模式的评估中质量控制力度不足;其次,对模式预报性能的检验实时性无法满足数值模式评估及进一步开发的需求;最后,对数值模式预报性能的统计及分析系统需要统一的、多元化、多角度的展示模式预报性能。
目前统计效率低、功能单一、描述简单的统计分析系统无法满足应用需求,为满足不断提高的区域数值模式的发展,开发了一套针对数值预报产品的客观定量检验、统计及分析系统,用以评估高分辨率数值预报模式的预报效果。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了区域数值预报结果的客观检验、统计及分析系统,具备了改进区域自动站的质量控制以及针对客观检验的数值模式预报性能统计及分析系的优点,解决了目前统计效率低、功能单一、描述简单的统计分析系统无法满足应用需求问题。
(二)技术方案
本发明解决上述技术问题的技术方案如下:区域数值预报结果的客观检验、统计及分析系统,包括观测文件读入模块、观测资料检测模块、分类重组模块、数据质量控制模块、观测资料统计分析模块;
所述观测文件读入模块用于对观测数据的大批量智能导入;
所述观测资料检测模块用于对观测数据进行筛选,将不合格或无意义的数据剔除;
所述分类重组模块用于对筛选过后的观测数据进行重组及重复性检查,同时删除重复数据,以及对缺失数据进行重构;
所述数据质量控制模块用于观测数据整合结果的质量控制以及对无效数据的指控指示码标记;
观测资料统计分析模块用于对数据情况进行检验、统计分析汇总并智能绘制图表。
本发明的有益效果是:
该区域数值预报结果的客观检验、统计及分析系统,具备了改进区域自动站的质量控制以及针对客观检验的数值模式预报性能统计及分析系的优点。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述观测资料检测模块包括时间窗检查模块、观测区域检查模块和观测数据筛选模块;
所述时间窗检查模块用于选取一定时间段作为时间窗进行检查;
所述观测区域检查模块用于确认数据对应区域是否正常;
所述观测数据筛选模块用于对上述两个模块检查后正常的数据进行进一步筛选。
采用上述进一步方案的有益效果是,观测资料检测模块可方便将统计窗口时内对应区域的数据进行检查及筛选。
进一步,所述观测数据筛选模块包括缺测数据筛选模块、WMO无效数据筛选模块、连续性检测检测模块和完整性检测模块;
所述缺测数据筛选模块用于筛选出缺测数据;
所述WMO无效数据筛选模块用于剔除WMO规范中无效标示,同时剔除特殊符号数据;
所述连续性检测检测模块用于对气压、温度和高度进行连续性检查;
完整性检测模块用于判断检测数据是否具备效用。
采用上述进一步方案的有益效果是,观测数据筛选模块可将错数据筛除,防止个别观测数据的异常值会对检验评估结果造成很大的误差,从而可对模式预报技巧的评估给出客观有效的检验结论。
进一步,所述数据质量控制模块包括地面资料质量控制模块、探空资料质量控制模块和综合质量控制模块;
所述地面资料质量控制模块用于对数据完整性和气候极值检测,以及对结合地面气象站资料进行一致性检查;
所述探空资料质量控制模块用于对数据完整性和风速极值检测,以及对数据进行垂直一致性检查;
所述综合质量控制模块用于整合地面自动站观测数据和探空观测数据和生成检验用地面要素、探空要素、累积降水数据以及面向检验的观测数据质量控制。
采用上述进一步方案的有益效果是,地面资料质量控制模块可对地面气象站温度、露点温度和相对湿度进行空间一致性检查,增加静风资料的处理,探空资料质量控制模块用于对数据进行完整性检验,每组探空观测资料均由数据头、数据块及数据尾组成,不完整数据被将被视作无效数据,对风速进行极值检查,将风速极大值设置为一定数值,进行垂直一致性检查,检查温度廓线奇异值、超绝热温度和风廓线奇异值。
进一步,所述观测资料统计分析模块包括MET检验模块、综合统计分析模块和空间分布统计分析模块;
所述MET检验模块用于针对站点观测资料进行模式预报的传统评分检验;针对格点观测资料进行模式预报的传统评分检验;针对格点观测资料进行模式预报的空间检验邻域法,基于对象,强度尺度分解,针对站点或格点资料进行模式预报的概率检验;
所述综合统计分析模块用于文件整合及各类评分绘图;
所述空间分布统计分析模块用于文件整合及各类空间分布绘图。
采用上述进一步方案的有益效果是,通过MET检验模块、综合统计分析模块和空间分布统计分析模块的配合可方便的对本次区域数值预报进行方便的整合收尾工作去,同时由综合统计分析模块和空间分布统计分析模块导出的图标可方便该系统操作者更方便的了解分析结果及数据情况。
进一步,所述MET检验模块包括格式转换模块、数据检验模块和输出模块;
所述格式转换模块用于将观测数据转换为数据检验模块可识别的文件;
所述数据检验模块用于对转换的文件进行数据检验;
所述输出模块用于将结果输出并提供于综合统计分析模块和空间分布统计分析模块。
采用上述进一步方案的有益效果是,MET检验模块检验的变量包括连续变量和类别变量,由此给定预报和观测一个阈值,可以得到分类和可预报性检验统计,在统计方法上,类别变量统计方法来用于离散的分组变量预报,连续变量统计方法可提供预报误差,同时也可以提供预报、观测以及预报观测关系的一些统计特征。
附图说明
图1为本发明框图;
图2为本发明观测资料检测模块示意图;
图3为本发明数据质量控制模块示意图;
图4为本发明观测资料统计分析模块示意图;
图5为本发明分析流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例中,由图1-5给出,区域数值预报结果的客观检验、统计及分析系统,本发明包括观测文件读入模块、观测资料检测模块、分类重组模块、数据质量控制模块、观测资料统计分析模块;
观测文件读入模块用于对观测数据的大批量智能导入;
观测资料检测模块用于对观测数据进行筛选,将不合格或无意义的数据剔除;
分类重组模块用于对筛选过后的观测数据进行重组及重复性检查,同时删除重复数据,以及对缺失数据进行重构;
数据质量控制模块用于观测数据整合结果的质量控制以及对无效数据的指控指示码标记;
观测资料统计分析模块用于对数据情况进行检验、统计分析汇总并智能绘制图表。
进一步,观测资料检测模块包括时间窗检查模块、观测区域检查模块和观测数据筛选模块;
时间窗检查模块用于选取一定时间段作为时间窗进行检查;
观测区域检查模块用于确认数据对应区域是否正常;
观测数据筛选模块用于对上述两个模块检查后正常的数据进行进一步筛选;
观测资料检测模块可方便将统计窗口时内对应区域的数据进行检查及筛选;
进一步,观测数据筛选模块包括缺测数据筛选模块、WMO无效数据筛选模块、连续性检测检测模块和完整性检测模块;
缺测数据筛选模块用于筛选出缺测数据;
WMO无效数据筛选模块用于剔除WMO规范中无效标示,同时剔除特殊符号数据;
连续性检测检测模块用于对气压、温度和高度进行连续性检查;
完整性检测模块用于判断检测数据是否具备效用;
观测数据筛选模块可将错数据筛除,防止个别观测数据的异常值会对检验评估结果造成很大的误差,从而可对模式预报技巧的评估给出客观有效的检验结论;
进一步,数据质量控制模块包括地面资料质量控制模块、探空资料质量控制模块和综合质量控制模块;
地面资料质量控制模块用于对数据完整性和气候极值检测,以及对结合地面气象站资料进行一致性检查;
探空资料质量控制模块用于对数据完整性和风速极值检测,以及对数据进行垂直一致性检查;
综合质量控制模块用于整合地面自动站观测数据和探空观测数据和生成检验用地面要素、探空要素、累积降水数据以及面向检验的观测数据质量控制;
面资料质量控制模块可对地面气象站温度、露点温度和相对湿度进行空间一致性检查,增加静风资料的处理,探空资料质量控制模块用于对数据进行完整性检验,每组探空观测资料均由数据头、数据块及数据尾组成,不完整数据被将被视作无效数据,对风速进行极值检查,将风速极大值设置为一定数值,进行垂直一致性检查,检查温度廓线奇异值、超绝热温度和风廓线奇异值;
进一步,观测资料统计分析模块包括MET检验模块、综合统计分析模块和空间分布统计分析模块;
MET检验模块用于针对站点观测资料进行模式预报的传统评分检验;针对格点观测资料进行模式预报的传统评分检验;针对格点观测资料进行模式预报的空间检验邻域法,基于对象,强度尺度分解,针对站点或格点资料进行模式预报的概率检验;
综合统计分析模块用于文件整合及各类评分绘图;
空间分布统计分析模块用于文件整合及各类空间分布绘图;
通过MET检验模块、综合统计分析模块和空间分布统计分析模块的配合可方便的对本次区域数值预报进行方便的整合收尾工作,同时由综合统计分析模块和空间分布统计分析模块导出的图标可方便该系统操作者更方便的了解分析结果及数据情况;
进一步,MET检验模块包括格式转换模块、数据检验模块和输出模块;
格式转换模块用于将观测数据转换为数据检验模块可识别的文件;
数据检验模块用于对转换的文件进行数据检验;
输出模块用于将结果输出并提供于综合统计分析模块和空间分布统计分析模块;
MET检验模块检验的变量包括连续变量和类别变量,由此给定预报和观测一个阈值,可以得到分类和可预报性检验统计,在统计方法上,类别变量统计方法来用于离散的分组变量预报,连续变量统计方法可提供预报误差,同时也可以提供预报、观测以及预报观测关系的一些统计特征。
工作原理:
第一步:通过如下方式对观测资料进行整体检查:
1)、通过时间窗检查模块进行时间窗检查;
选取分析时刻前后1.5小时作为质控时间窗。
2)、通过观测区域检查模块确认数据对应区域是否正常。
3)、通过区域数据筛选模块进行如下筛选。
通过缺测数据筛选模块将缺测的数据进行筛选记录;
通过WMO无效数据筛选模块将WMO规范中无效标识及存在特殊符号的数据剔除;
通过连续性检测模块和完整性检测模块对数据进行最后一次筛选。
第二步:对观测数据进行质量控制,通过地面资料质量控制模块、探空资料质量控制模块和综合质量控制模块对数据进行处理,保证数据质量的同时,对无效数据做好质控指示码标记,防止下一步分析出现错误无法找出原因;
第三步:通过如下方式进行模式预报站点检验统计及分析:
1)、通过观测资料统计分析模块中的MET检验模块对数据进行转换、检验、输出;
2)、通过综合统计分析模块和空间分布统计分析模块对MET检验模块输出的数据进行如图5所示的统计分析绘图,并对地面、高空和降水分别进行前述过程。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.区域数值预报结果的客观检验、统计及分析系统,包括观测文件读入模块、观测资料检测模块、分类重组模块、数据质量控制模块、观测资料统计分析模块;
所述观测文件读入模块用于对观测数据的大批量智能导入;
所述观测资料检测模块用于对观测数据进行筛选,将不合格或无意义的数据剔除;
所述分类重组模块用于对筛选过后的观测数据进行重组及重复性检查,同时删除重复数据,以及对缺失数据进行重构;
所述数据质量控制模块用于观测数据整合结果的质量控制以及对无效数据的指控指示码标记;
观测资料统计分析模块用于对数据情况进行检验、统计分析汇总并智能绘制图表;
所述观测资料检测模块包括时间窗检查模块、观测区域检查模块和观测数据筛选模块;
所述时间窗检查模块用于选取一定时间段作为时间窗进行检查;
所述观测区域检查模块用于确认数据对应区域是否正常;
所述观测数据筛选模块用于对时间窗检查模块以及观测区域检查模块检查后正常的数据进行进一步筛选;
所述观测数据筛选模块包括缺测数据筛选模块、WMO无效数据筛选模块、连续性检测检测模块和完整性检测模块;
所述缺测数据筛选模块用于筛选出缺测数据;
所述WMO无效数据筛选模块用于剔除WMO规范中无效标示,同时剔除特殊符号数据;
所述连续性检测检测模块用于对气压、温度和高度进行连续性检查;
完整性检测模块用于判断检测数据是否具备效用;
所述数据质量控制模块包括地面资料质量控制模块、探空资料质量控制模块和综合质量控制模块;
所述地面资料质量控制模块用于对数据完整性和气候极值检测,以及对结合地面气象站资料进行一致性检查;
所述探空资料质量控制模块用于对数据完整性和风速极值检测,以及对数据进行垂直一致性检查;
所述综合质量控制模块用于整合地面自动站观测数据和探空观测数据和生成检验用地面要素、探空要素、累积降水数据以及面向检验的观测数据质量控制;
所述观测资料统计分析模块包括MET检验模块、综合统计分析模块和空间分布统计分析模块;
所述MET检验模块用于针对站点观测资料进行模式预报的传统评分检验;针对格点观测资料进行模式预报的传统评分检验;针对格点观测资料进行模式预报的空间检验邻域法,基于对象,强度尺度分解,针对站点或格点资料进行模式预报的概率检验;
所述综合统计分析模块用于文件整合及各类评分绘图;
所述空间分布统计分析模块用于文件整合及各类空间分布绘图。
2.根据权利要求1所述的区域数值预报结果的客观检验、统计及分析系统,其特征在于:所述MET检验模块包括格式转换模块、数据检验模块和输出模块;
所述格式转换模块用于将观测数据转换为数据检验模块可识别的文件;
所述数据检验模块用于对转换的文件进行数据检验;
所述输出模块用于将结果输出并提供于综合统计分析模块和空间分布统计分析模块。
CN202111313787.3A 2021-11-08 2021-11-08 区域数值预报结果的客观检验、统计及分析系统 Active CN113960700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111313787.3A CN113960700B (zh) 2021-11-08 2021-11-08 区域数值预报结果的客观检验、统计及分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111313787.3A CN113960700B (zh) 2021-11-08 2021-11-08 区域数值预报结果的客观检验、统计及分析系统

Publications (2)

Publication Number Publication Date
CN113960700A CN113960700A (zh) 2022-01-21
CN113960700B true CN113960700B (zh) 2023-09-29

Family

ID=79469731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111313787.3A Active CN113960700B (zh) 2021-11-08 2021-11-08 区域数值预报结果的客观检验、统计及分析系统

Country Status (1)

Country Link
CN (1) CN113960700B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955515B (zh) * 2023-08-04 2024-04-05 福建省气象信息中心(福建省气象档案馆) 一种气象观测资料中站点位置信息检验方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010015A (ja) * 2017-10-18 2018-01-18 株式会社東芝 気象予測誤差解析システム及び気象予測誤差解析方法
CN108416031A (zh) * 2018-03-12 2018-08-17 南京恩瑞特实业有限公司 Nriet气象多源探测资料融合分析系统
CN109272230A (zh) * 2018-09-19 2019-01-25 中国气象局气象探测中心 一种地面观测站气压要素的数据质量评估方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228234B2 (en) * 2005-01-26 2007-06-05 Siemens Building Technologies, Inc. Weather data quality control and ranking method
JP6473860B1 (ja) * 2018-07-06 2019-02-20 里咲 金本 マスク
CN212077050U (zh) * 2020-02-20 2020-12-04 闫国超 呼吸道病原体安全取样检测装置
CN111537722B (zh) * 2020-05-07 2023-08-01 北京国科融智生物技术有限公司 一种呼吸道病毒样本采集与检测一体化装置
CN111529840A (zh) * 2020-05-12 2020-08-14 青岛迈德康医疗科技有限公司 新型防护口罩系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010015A (ja) * 2017-10-18 2018-01-18 株式会社東芝 気象予測誤差解析システム及び気象予測誤差解析方法
CN108416031A (zh) * 2018-03-12 2018-08-17 南京恩瑞特实业有限公司 Nriet气象多源探测资料融合分析系统
CN109272230A (zh) * 2018-09-19 2019-01-25 中国气象局气象探测中心 一种地面观测站气压要素的数据质量评估方法和系统

Also Published As

Publication number Publication date
CN113960700A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN111539550B (zh) 光伏阵列工作状态的确定方法、装置、设备及存储介质
CN111045117B (zh) 一种气候监测预测平台
CN106600447B (zh) 一种变电站巡检机器人集中监控系统大数据云分析方法
CN115187527B (zh) 一种多源混合型特高频局部放电图谱的分离识别方法
CN114168906B (zh) 一种基于云计算的测绘地理信息数据采集系统
CN108802856B (zh) 一种基于ai的源数据动态修正预报系统及其工作方法
CN108802535B (zh) 筛选方法、主干扰源识别方法及装置、服务器及存储介质
CN110990393A (zh) 一种行业企业数据异常行为的大数据识别方法
CN112525977B (zh) 一种无组织VOCs泄漏在线监测溯源方法和系统
CN111414571A (zh) 一种大气污染物监测方法
CN113960700B (zh) 区域数值预报结果的客观检验、统计及分析系统
CN115239209B (zh) 用于垃圾填埋场筛除含重金属腐殖土的方法、设备和系统
CN113282576A (zh) 一种气象数据质量控制方法
CN112348264A (zh) 一种基于随机森林算法的碳钢腐蚀速率预测方法
CN113267601B (zh) 一种基于机器视觉和数据分析的工业生产环境远程实时监测云平台
CN114705965A (zh) 基于大数据的第三代半导体可靠性数据分析系统
CN110909895A (zh) 一种基于特种设备历史定期检验报告的预警方法及系统
CN116930423A (zh) 一种空气质量模型模拟效果的自动验证评估方法及系统
CN117391443A (zh) 除尘设备状态监测预警方法及系统
CN112365186A (zh) 一种电力信息系统健康度评估方法及其评估系统
CN111737993A (zh) 一种配电网设备的故障缺陷文本提取设备健康状态方法
CN116307858A (zh) 测绘成果质量检查与评分系统
CN112711911B (zh) 基于污染源谱库的应用于边界观测的快速污染溯源方法
CN115510945A (zh) 基于主成分和Logistic分析地质灾害概率预报方法
CN113408656A (zh) 一种适用于由气象变化引起电力故障级别分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant