CN115508918A - 一种基于雷达组合反射率的地面降水协同质控方法和系统 - Google Patents

一种基于雷达组合反射率的地面降水协同质控方法和系统 Download PDF

Info

Publication number
CN115508918A
CN115508918A CN202211043671.7A CN202211043671A CN115508918A CN 115508918 A CN115508918 A CN 115508918A CN 202211043671 A CN202211043671 A CN 202211043671A CN 115508918 A CN115508918 A CN 115508918A
Authority
CN
China
Prior art keywords
data
rainfall
precipitation
quality control
station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211043671.7A
Other languages
English (en)
Inventor
侯灵
张金标
李泽杰
寇媛媛
郭捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Meteorological Observation Data Center (guangdong Meteorological Technology And Equipment Center Guangdong Meteorological Science And Technology Training Center)
Original Assignee
Guangdong Meteorological Observation Data Center (guangdong Meteorological Technology And Equipment Center Guangdong Meteorological Science And Technology Training Center)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Meteorological Observation Data Center (guangdong Meteorological Technology And Equipment Center Guangdong Meteorological Science And Technology Training Center) filed Critical Guangdong Meteorological Observation Data Center (guangdong Meteorological Technology And Equipment Center Guangdong Meteorological Science And Technology Training Center)
Priority to CN202211043671.7A priority Critical patent/CN115508918A/zh
Publication of CN115508918A publication Critical patent/CN115508918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
    • G01S13/958—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开涉及一种基于雷达组合反射率的地面降水协同质控方法和系统，所述方法包括如下步骤：对站点监测到的降水数据进行基于站点分布特征设计的空间一致性检查；如果未通过所述空间一致性检查，则获取所述站点位置的S波段雷达组合反射率数据；根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果。本公开利用雷达组合反射率对降水的反演优势，在常规降水自检测的基础上，设计雷达辅助判断方法，解决了由局地探测环境、系统性观测误差及GROSS误差引起的孤站降水、偏大雨量、雨量持续为0、雨量偏小等多发错误的质量控制；为开展暴雨预报预警、决策服务提供准确的数据支撑，为降水观测质量管理提供依据。

Description

一种基于雷达组合反射率的地面降水协同质控方法和系统
技术领域
本公开涉及气象监测领域，具体涉及一种基于雷达组合反射率的地面降水协同质控方法和系统。
背景技术
国内现有的地面降水质量控制方法大多还是采用界限值检查、时间一致性检查、空间一致性检查、内部一致性检查等依据降水数据自身分布特征制定的质控方法，基于要素时空分布常规情况下的认识开展判别，下垫面的复杂性及同一天气系统中气象要素分布不均匀性等外在因素难以融入于内，依然存在大量的漏检、误判情况。
广东濒临南海，水汽来源丰富，受大尺度天气系统及地形影响，是全国降水量最丰沛的地区之一。暴雨是造成广东省洪涝和山洪地质灾害的主要原因，据不完全统计，2022年龙舟水过程中，广东有47万余人受灾，直接经济损失17亿。在实际观测业务中，受局地探测环境、系统性观测误差及GROSS 误差影响，降水错误数据的产生难以避免，且因其在时间上具有突发性、地域上具有局地性、量值上具有非线性，使得对它的质量控制异常困难。
新一代天气雷达能够实时观测雷达扫描范围内各点的雨强，具有时间分辨率高、覆盖范围广、能进行空间立体观测等特点。国内外很早就开展了天气雷达定量估测降水方面的研究，如Mashall等根据雨滴谱的统计资料，最早提出了基于Z-I关系使用雷达资料测量降水量的方法。在随后的几十年中，不同学者陆续提出了天气雷达的各种定量降水估测方法，如统计Z-I关系法、最优Z-I关系法、概率配对法、雨量计校准法、反射率因子垂直廓线法以及人工神经网络等方法。目前，广东省已经布设新一代双偏振S波段天气雷达12部、地面自动观测雨量站3500多个、水文雨量站2108个，基本每一部天气雷达覆盖范围内均有一定数量的自动站分布，且每个自动站点均有5 分钟频次的降水观测，这为降水资料的雷达协同质控提供了便利条件。本研究在分析广东省雨量时空分布特征的基础上，结合广东省自动观测雨量站站网分布特征，设计适用于广东降水量的界限值、时间一致性、内部一致性、空间一致性质量控制方法，针对漏检、误检情况，设计S波段双偏振雷达组合反射率协同检查方法，优化了传统常规降水观测资料的质量控制效果。
发明内容
本公开提供一种基于雷达组合反射率的地面降水协同质控方法和系统，能够解决现有技术中的常规质控方法在质控后数据漏判、误判频发等缺陷。本公开提供以下技术方案来解决上述技术问题：
作为本公开实施例的一个方面，提供一种基于雷达组合反射率的地面降水协同质控方法，包括如下步骤：
对站点监测到的降水数据开展基于站点分布特征的空间一致性检查；
如果未通过所述空间一致性检查，则获取所述站点位置的S波段雷达组合反射率数据；
根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果。
可选地，根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果包括如下步骤：
对于空间一致性检查出来的雨量相对临近站点大，根据历史观测中不同等级的5分钟累计雨量与6分钟观测频率的S波段雷达组合反射率数据的对应关系，判断当雨量大时，待检时次台站雨量的S波段雷达组合反射率数据是否能够与当前雨量配合；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过；
和/或，
对于空间一致性检查出来的雨量相对临近站点小，根据历史观测中不同的小时内回波平均强度Z和降水雨强等级I数值对应关系，当判断雨量小时，小时内回波平均强度是否能够配合当前待检雨量；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过。
可选地，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前还进行区域界限值的检查步骤，所述区域界限值的检查步骤包括：
进行区域界限值的检查；
如果待检时次台站雨量数据不在区域界限值的允许值范围内，认为未通过区域界限值的检查，则获取所述站点周围2km范围内的最大S波段雷达组合反射率数据；
根据5分钟累计雨量范围设定第一阈值，并判断所述最大S波段雷达组合反射率数据是否大于设定的第一阈值；
如果大于，则认为通过了区域界限值的检查；否则认为未通过区域界限值的检查。
可选地，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前，还包括时间一致性检查步骤，具体包括如下步骤：
进行时间一致性检查；
若待检时次雨量未通过时间一致性检查，则获取未通过的待检时次的S 波段雷达组合反射率数据；
根据小时降水量设定第二阈值，并判断所述小时内平均组合反射率数据是否大于设定的第二阈值；
如果大于，则认为通过了时间一致性的检查；否则认为未通过时间一致性的检查。
可选地，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前，还包括内部一致性检查步骤，具体包括如下步骤：
进行内部一致性检查；
若待检时次观测值小于前一个时次的观测值，认为未通过内部一致性的检查，则获取整点时次的S波段雷达组合反射率数据；
根据降水雨强等级设定第三阈值，并判断所述S波段雷达组合反射率数据是否大于设定的第三阈值；
如果大于，则认为未通过内部一致性的检查，否则认为通过了内部一致性的检查。
可选地，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前，还包括如下步骤：
检查降水数据是否缺测，当检查到降水数据缺测时，判断是否有降水观测任务，如果有，则判断气象数据缺测；如果无，则判断为无此观测项；
和/或，
进行气象学界限值检查，若未通过气象学界限值检查，则判断为明显错误，直接跳出质控流程。
可选地，在根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果之后，还包括综合检查步骤：获取多个检查结果对应的过程质控码，选取最严重的质控问题所对应的过程质控码作为综合质控码。
作为本公开实施例的一个方面，提供一种基于雷达组合反射率的地面降水协同质控系统，包括：
数据采集分发模块，用于获取站点的降水数据以及与站点位置对应的S 波段雷达组合反射率数据；
数据质量控制模块，用于根据获取的降水数据进行空间一致性检查，在未通过空间一致性检查时，根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果。
可选地，所述数据质量控制模块还用于：
对于空间一致性检查出来的雨量相对临近站点大，根据历史观测中不同等级的5分钟累计雨量与6分钟观测频率的S波段雷达组合反射率数据的对应关系，判断当雨量大时，待检时次台站雨量的S波段雷达组合反射率数据是否能够与当前雨量配合；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过；
和/或，
对于空间一致性检查出来的雨量相对临近站点小，根据历史观测中不同的小时内回波平均强度Z和降水雨强等级I数值对应关系，当判断雨量小时，小时内回波平均强度是否能够配合当前待检雨量；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过。
可选地，所述数据质量控制模块还用于：
进行区域界限值的检查；如果待检时次台站雨量数据不在区域界限值的允许值范围内，认为未通过区域界限值的检查，则获取所述站点周围2km范围内的最大S波段雷达组合反射率数据；根据5分钟累计雨量范围设定第一阈值，并判断所述最大S波段雷达组合反射率数据是否大于设定的第一阈值；如果大于，则认为通过了区域界限值的检查；否则认为未通过区域界限值的检查；
和/或，
进行时间一致性检查；若待检时次雨量未通过时间一致性检查，则获取未通过的待检时次的S波段雷达组合反射率数据；根据小时降水量设定第二阈值，并判断所述小时内平均组合反射率数据是否大于设定的第二阈值；如果大于，则认为通过了时间一致性的检查；否则认为未通过时间一致性的检查；
和/或，
进行内部一致性检查；若待检时次观测值小于前一个时次的观测值，认为未通过内部一致性的检查，则获取整点时次的S波段雷达组合反射率数据；根据降水雨强等级设定第三阈值，并判断所述S波段雷达组合反射率数据是否大于设定的第三阈值；如果大于，则认为未通过内部一致性的检查，否则认为通过了内部一致性的检查。
可选地，所述系统还包括数据入库模块、数据查询模块和数据应用模块，所述数据入库模块用于将数据质量控制模块中的质控结果采用多路入库的方式保存到对应的数据库；所述数据查询模块通过列转行方式实现对数据库中数据的多维度查询；所述数据应用模块前端采用vuejs开发，后端采用spring security作为安全框架，用于与用户交互。
本公开利用雷达组合反射率对降水的反演优势，在常规降水自检测的基础上，设计雷达辅助判断方法，进行降水质量控制，具体的有益效果为：(1) 解决了孤站降水、偏大雨量、由仪器故障引起的雨量持续为0、雨量偏小等多发错误的质量控制；(2)为天气预报进行暴雨预报预警、政府开展暴雨决策服务提供更准确的数据支撑；(3)为降水观测质量管理提供依据。
附图说明
图1为本公开实施例1中的基于雷达组合反射率的地面降水协同质控方法流程图；
图2为本公开实施例2中的基于雷达组合反射率的地面降水协同质控系统。
图3为2021年广东省考核区域站数据可用率框图；
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
实施例1
本实施例公开的方案可以应用到雨量观测中，例如广东省的质控系统中，以其为例，目前广东省布设地面自动观测雨量站3500多个、水文雨量站2108 个，结合业务需要，下文中提及的1小时降水量特指整点小时雨量，小时内累计雨量指小时内逐5分钟(05、10、15、20、25、30、35、40、45、50、 55分)的累计雨量；5分钟累计雨量是指小时内每5分钟(00-05、05-10、 10-15、15-20、20-25、25-30、30-35、35-40、40-45、45-50、50-55、55-60) 累计雨量，1小时降水量和小时内累计雨量统称为小时降水量。广东省目前建成广州、韶关、阳江、梅州、汕头、河源、深圳、湛江、汕尾、肇庆、珠海、清远12部新一代多普勒天气雷达，组网雷达基数据质量控制后生成组合反射率(MCR，雷达组合反射率)产品，基本能够覆盖所有雨量站，新一代天气雷达作为探测降水系统的主要工具，能够实时估测雷达扫面范围内各点的雨强，且其观测时间分辨率、覆盖范围与自动雨量站均具有可比较性。因MCR结束观测时次与自动站5分钟频次无法完全对应，质控时调用距待检时次最近的可获取的MCR。
本实施例提供一种基于雷达组合反射率的地面降水协同质控方法，如图1 所示，包括如下步骤：
缺测检查步骤：检查气象数据是否缺测，当检查到气象数据缺测时，判断是否有降水观测任务，如果有，则判断气象数据缺测(综合质控码为8)；如果无，则判断为无此观测项(综合质控码为7)；其中，所述气象数据来自于自动观测雨量站和水文雨量站监测得到的降水资料；
气象学界限值检查步骤：通过缺测检查的数据继续开展气象学界限值检查，若未通过则判断为明显错误(综合质控码为2)，直接跳出质控流程；
陆续对气象数据进行内部一致性、时间一致性、区域界限值和空间一致性检查；并对未通过上述质控检查的气象数据进行雷达组合反射率(MCR)的协同检查得出质控结果。其中，过程质控码：0表示数据正确、1表示数据疑误、2表示数据错误、3表示数据明显错误。
其中，界限值检查包括气象学界限值和区域界限值检查，以确认降水要素是否在其测量允许值范围之内。
气象学界限值范围设置参照《地面气象观测资料质量控制QX/T 118-2010》，区域界限值设置参考广东省地面自动气象站建站以来的历史降雨资料极值(表1)。
表1.广东省5分钟累计及小时降水量界限值
Figure BSA0000282766100000091
当区域界限值检查未通过时，开展MCR协同辅助检查，以避免因极端天气引起的正确数据被误判，选取站点周围1km半径范围内的最大MCR插值到站点上，5分钟累计雨量R05≥5mm，站点MCR应大于45dBz，当小时降水量大于48mm，小时内各时次平均MCR需大于51dBz。
本实施例中，内部一致性的MCR协同检查包括如下：小时降雨量是待检小时01分至待检时次的逐分钟雨量累计值，除缺测数据外，小时降雨量应遵循待检时次观测值不小于前一个时次观测值，如表2所示，依此原则进行内部一致性检查。
表2平均组合反射率与降雨强度的平均统计关系
回波平均强度(dBz) 降水雨强等级(mm/h)
5～15 0
20～25 2
26～30 5
31～35 10
36～40 17
41～45 25
46～50 36
51～55 48
其中，实际业务流程中，国家自动观测站仅观测1分钟降水量和1小时累积降水量，逐5分钟累计雨量由1分钟雨量统计获取，由于1分钟雨量无更正机制，1小时累积降水量更正后可能导致1小时累积降水量小于逐5分钟累计雨量。因此，国家站小时雨量质控时，若小时内前N个时次的逐5分钟累计雨量大于1小时累积降水量，且整点时次有更正标识，则将逐5分钟累计雨量标记为错误，整点时次标记为疑误，利用表2中回波平均强度与降水雨强登级的对应关系对整点雨量的真伪进行协同质控，例如，当整点小时雨量为0mm/h，若组合反射率平均强度大于15dBz，则将整点雨量的质控码疑误订正为错误，反之，订正为正确。
本实施例中，时间一致性的MCR协同检查如下：大尺度天气过程降水量与时间显著相关，具有良好的时间一致性。根据要素值的连续时间序列的标准差的大小，结合不同级别降水量的样本个数来判断数据是否正确。在一段时间内，降水要素值会随着时间变化或波动，非0的小时降水量不能全相等或变化太小。若待检时次雨量和前8个时次的1小时降水量中大于0.5mm的时次数大于4，且序列的标准差小于0.1，则判断待检时次的1小时降水量为错误数据；此外，考虑到较大降水的突发和局地性，当前时次和前4个时次的1小时降水量连续大于60mm，判定数据错误；当前时次和前9个时次的小时降水量持续大于20mm，则判定数据疑误。针对疑误和错误的小时降水量利用表2进行雷达协同质控，各小时内10个时次的至少5个非0回波平均强度大于51dBz，则通过持续性检查的MCR协同质控，将持续性检查过程质控码订正为疑误；否则判断为未通过MCR协同质控，保持持续性检查的过程质控码。
本实施例中，空间一致性MCR协同检查如下：大范围过程性降水，尤其对稳定性降水过程，降水量的地域分布理应趋近于正态分布，空间一致性判别效果较为显著。广东省局地阵性降水与大范围过程性降水交叉发生，考虑到省内自动站站网密度高，本研究采用孤站有雨检查、临近站“配合”法与 Madserr-Allerupt方法相结合对偏大记录作判断，临近站配合法和模拟二次多项式对偏小记录作判断，较为合理。
本实施例中，还包括基础筛查的步骤：鉴于海洋站(海岛站、浮标站、石油平台站)站网密度稀疏，可获取临近站较少，空间配合度相对较差，故海洋站选择以待检站为中心、半径为50km范围内的所有降水观测站为临近参考站(以下简称临近站)；非海洋站选择以待检站为中心半径为30km范围内的降水站作为临近站。孤站发生0.1mm降水时无法准确通过空间一致性检查确认其真伪，故本质控方案中，小时内累计雨量小于0.2mm的雨量不在空间一致性检查范畴内。空间一致性检查严重依赖周围临近站雨量分布，若临近站中有降水数据的有效台站个数小于5个，暂不进行空间一致性检查；为了均衡临近站数据完整度与质控时效，系统设置当前时次自动站到报数达到 3000个时，启动空间一致性基础筛查，选取待检台站及其临近站当前时次降雨序列并按照从小到大排序，若待检台站当前时次雨量位于序列的25分位和 75分位之间，则判断该站雨量正常，标记数据正确，跳出空间一致性检查；若待检台站当前时次雨量大于75分位雨量值，进入雨量偏大检查；若待检台站当前时次雨量小于距离待检站最近的20个台站数据序列的25分位雨量值，且邻近站有效雨量个数≥15个，进入雨量偏小检查。
本实施例中，雨量偏小检查具体包括如下：雨量计故障及观测场环境造成的系统性偏差会导致降水量偏小。选取临近站中距离待检站最近的20个台站(临近站少于15个跳过该检查)作为参考站，分析广东省历史自动站雨量资料，给出站点雨量偏小的判别方法：
若待检台站1小时降水量R满足以下条件，则判定雨量正常，否则判定站点监测值偏小。
表3雨量偏小检查临近站配合条件
当前台站降雨(mm)配合降雨最大值
0.1＜R≤1Number(Rref≤3mm)≥3
1＜R≤3Number(Rref≤5mm)≥3
3＜R≤5Number(Rref≤10mm)≥3
5＜R≤10Number(Rref≤20mm)≥3
其中，Rref指参考站1小时降水量，Number(Rref≤3mm)指参考站中待检时次1小时降水量小于等于3mm的台站个数。
小时雨量大于10mm时：
当参考站平均降水∈[5，50]mm，经二次多项式拟合，若单站满足：
R≤0.005*2+0.3*-0.4，则站点监测值偏小，判别为异常。
当平均降水＞50mm，R＜0.3*，则站点监测值偏小，判别为异常。
除上述由于系统性误差导致的降水偏小的情况外，由仪器故障造成降水过程中站点实测值持续为0mm的情况也时有发生。针对这种情况，首先判断该站前两个1小时降水量的大小，若有一个以上时次的雨量大于0且质控码为0，则跳过该项检查；若时次待检台站降水量为0，且雨量值小于参考站雨量序列80％分位值，则判断该时次待检台站数据异常偏小。
接着进行利用MCR进行协同判断，若待检台站不包含MCR为0dBz时次的小时内MCR平均值大于等于30dBz，则该时次数据错误；若不包含MCR 为0dBz时次的小时内MCR平均值大于等于20dBz，小于30dBz，再判断小时内包含0dBz的MCR平均值，若该值大于16，则该时次数据错误；反之，则该时次数据正确；若不包含MCR为0dBz时次的小时内MCR平均值小于20dBz，再判断小时内包含0dBz的MCR平均值，若该值大于16dBz，则该时次数据疑误，反之，则该时次数据正确。
本实施例中，雨量偏大检查具体包括如下：
探测环境变化及仪器故障会造成雨量严重偏离真值的超界限值及无降水天气过程的异常降水。考虑到不同降水等级临近站配合度的差异，将小时雨量分为0.2-1、1-5、5-10、10-20、20-50、50-100、R＞100mm7个降水等级，选取所选临近站待检时次所属小时内的t、t-5min、t-10min3个时次数据。为了提高质控效率，先对偏大雨量进行基础筛查，若待检时次有一个以上临近站雨量值大于等于待检台站雨量或与待检站处于同一雨量等级区间内，则判断该时次待检站雨量值为正确，跳出雨量偏大检查。
1)孤站有雨
若待检台站所有临近站前三个时次的小时内累计雨量均为0mm，则判断待检站为孤站有雨。针对海岛站和非海岛站不同等级降水，给定不同等级的过程质控码。
表4孤站有雨质控码设置
Figure BSA0000282766100000131
2)雨量偏大检查
考虑到降水的突发性、局地性特征，本研究中雨量偏大检查利用临近站“配合”法与Madsern-Allerupt方法相结合、基于“逐步宽松、尽量放过”的原则进行质控。首先参照表5中正确条件判断临近站是否能够配合，若配合，则通过雨量偏大检查，在正确条件不满足的条件下利用Madsen-Allerupt 方法，计算待检台站及其参考站数据待检时次及前2个小时内累计雨量序列的第25分位数q25、第50百分位数q50、第75百分位数q75，得到
Figure BSA0000282766100000141
表5空间一致性偏大检查算法
Figure BSA0000282766100000142
由于雨量偏大检查是针对5分钟累积雨量R05开展的，当0＜R05＜1mm时， MCR应大于16dBz。考虑到S波段雷达的空间分辨率及雷达质控误差，R05小于0.2mm时，首先考虑延续使用上一个时次的MCR协同检查结果；若无上一时次协同检查结果，再进行该项检查；1mm≤R05＜5mm时，MCR应大于 35dBz；R05≥5mm，MCR应大于45dBz。协同质控后，空间一致性偏大检查过程质控码参考下表进行调整。
表6空间一致性协同质控码订正
Figure BSA0000282766100000151
本实施例中的方法还包括综合检查步骤，具体如下：获取各步骤质控过程质控码，选取质控码最大值作为待检要素的综合质控码。需要注意的是，当小时降水量综合质控码为错误时，需逐个将该小时内小时累计雨量质控码订正为错误，综合质量控制码设置如下表。
表7质控码设置
Figure BSA0000282766100000161
本实施例中，根据观测时间被质控数据分为实时数据和补调历史数据，实时数据在实时加载后同步进行质控任务分发，进行后续质量控制处理；但对于由于观测系统自身故障未上报，需要通过补调上报的补调历史数据，则通过定时触发、异步处理的方式加载数据进行质控任务分发；实时数据同步质控任务分发与补调历史数据异步质控任务分发相结合，保证被质控的观测数据时间序列上的完整性。
实施例2
本实施例公开了一种基于天气雷达的地面降水协同质控系统，如图2所示，包括：
数据采集分发模块，用于获取站点的降水数据以及与与站点位置对应的S 波段雷达组合反射率数据；其中，数据采集分发模块通过定时任务取获取接口最新的数据。为保证数据采集的及时性，及保障数据完整性，该模块作如下设计：
(1)每隔30秒执行一次。确保访问频率及密度，保证第一时间能获取的最新数据。
(2)动态时间参数。最新数据获取主要是靠传入的时间间隔参数，避免程序异常导致某段时间内的数据丢失；
(3)剔除已分发数据，保存台站元数据，减少无用。
(4)系统不可避免需要暂停维护，抑或者报错，可能存在实时任务的错过、中断，系统会根据最后一次采集时间，进行及时补发。
数据质量控制模块，用于根据获取的降水数据进行空间一致性检查，在未通过空间一致性检查时，根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果。
其中，所述数据质量控制模块针对降水要素进行缺测检查、气象学界限值检查、区域界限值检查、内部一致性检查、时间一致性检查、空间一致性检查、持续性检查、雷达协同质控等方法在内的多种质控运算。再将质控好的结果汇总成为质控日志和质控结果，及时发送到数据入库模块。为了满足业务需求，该模块设计利用多节点，通过kafka消息队列，实现各个节点负载均衡，保证可以批量消费；多线程设计，可以同时并行的执行多个台站的质控任务；按台站进行质控，减少同台参数获取，同步形成最终台站质控结果数据集。
本实施例中，所述数据质量控制模块还用于：
根据历史观测中不同等级的5分钟累计雨量与S波段雷达组合反射率数据的对应关系，统计不同雨量对应的S波段雷达组合反射率数据范围；
判断待检时次台站雨量的S波段雷达组合反射率数据是否满足统计范围；
若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过。
在一些实施例中，所述数据质量控制模块还用于：
进行区域界限值的检查；如果待检时次台站雨量数据不在区域界限值的允许值范围内，认为未通过区域界限值的检查，则获取所述站点周围的最大S 波段雷达组合反射率数据；根据5分钟累计雨量范围设定第一阈值，并判断所述最大S波段雷达组合反射率数据是否大于设定的第一阈值；如果大于，则认为通过了区域界限值的检查；否则认为未通过区域界限值的检查；
和/或，
进行时间一致性检查；若待检时次雨量不在时间一致性的允许值范围内，认为未通过时间一致性的检查，则获取未通过的待检时次的S波段雷达组合反射率数据；根据小时降水量设定第二阈值，并判断所述S波段雷达组合反射率数据是否大于设定的第二阈值；如果大于，则认为通过了时间一致性的检查；否则认为未通过时间一致性的检查；
和/或，
进行内部一致性检查；若待检时次观测值小于前一个时次的观测值，认为未通过内部一致性的检查，则获取整点时次的S波段雷达组合反射率数据；根据降水雨强等级设定第三阈值，并判断所述S波段雷达组合反射率数据是否大于设定的第三阈值；如果大于，则认为未通过内部一致性的检查，否则认为通过了内部一致性的检查。
本实施例中，所述系统还包括数据入库模块、数据查询模块和数据应用模块，所述数据入库模块用于将数据质量控制模块中的质控结果采用多路入库的方式保存到对应的数据库；所述数据查询模块通过列转行方式实现对数据库中数据的多维度查询；所述数据应用模块前端采用vuejs开发，后端采用spring security作为安全框架，用于与用户交互。
其中，数据入库模块是及时消费kafka中的消息，将质控后数据保存到对应的数据库；该模块实现了分库分表架构设计，降低了单一数据库的数据量压力，减小单表量，有利于查询；采用多路入库方式，以最优的方式，利用数据库连接池，实现最大化的入库效率；kafka批量消费，将需要数据批量的插入或更新，提高效率；实现数据库读写分离模式，保证数据写的安全，读的高效。
其中，数据查询模块实现数据库读写分离模式，有良好读取的效率；通过列转行，实现数据由“少”变“多”，查询时实现数据的多维度查询；自定义ID，分库分布主要在于如何确定分布，结合项目数据特点，设定ID，实现分表中数据已查询。
其中，数据应用模块该模块主要是用于用户交互。该模块前端采用vuejs 开发，开发便捷同时性能良好；后端spring security作为安全框架，有良好的安全性。
本实施例中的系统能够执行实施例1中的基于雷达组合反射率的地面降水协同质控方法。多个所述质控节点采用多线程并行模式运行，例如，部署 10个处理节点，每节点180线程，共计1800线程；补调质控处理部署2个节点，每节点200线程，共计400线程。每个质控任务具有原子性，2200线程同时对数据质控任务进行处理，以此提高全省数据的质控处理速度。同时，通过优化后质控的处理结果会大量快速生成，为及时向应用提供服务，同样采用多线程入库处理，质控更新数据借助临时表采用插入方式更新数据，减少入库积压，提高入库时效。
在本实施例中，质控处理过程中需要频繁的访问相应的参数、阈值、临近站点等信息，因此提前将相关信息存储到高性能缓存数据库系统Redis，并持续优化缓存数据结构，节约了每次从存储上读取配置的耗时，提高了系统的处理效率。其中，在应用本公开实施例中的基于天气雷达的地面降水协同质控系统，目前国家站、区域站、水文站数据入库后1分钟质控完成率达到 95％左右，基本能够满足实时业务需求。
实施列3
在应用到实际业务之前，为了测试本公开实施例1或2中的方法或系统，利用10台虚拟机作为质控节点集群进行了系统压力测试，每台测试机配置相同(linux系统、CPU为8核、内存为32G)，每台测试机分别设置线程池为 10、50、100、150、180、200个进行测试，测试20组1小时(12个5分钟时次)数据在每台测试机设置不同线程池数下的质控平均耗时及CPU和内存使用率情况。测试发现，当每台测试机线程池数大于等于150时，平均每个时次质控耗时差别不大，线程池为180时，平均耗时最短为52秒。平均每台测试机CPU使用率为20-30％，内存使用率为50％左右，机器性能较好，运行稳定。
表8系统测试结果
Figure BSA0000282766100000211
2021年9月17日，探测数据中心通过接口平台向全省用户发布质控数据和质控订正数据接口，用户根据自身需求调用相应数据集。为了确保调用原始数据的旧业务系统顺利过渡到质控后数据，将质控订正数据中错误和明显错误数据作缺测处理，如2022年2月11日07时-2月12日03时(国际时) G5605海丰县城东镇合利农业站由于降水仪器故障出现了极端错误降水，质控系统及时发现并订正后将缺测数据提供给业务系统，减少了错误数据对业务的影响。
2021年6月1日起向广东省所有自动站发送告警信息，目前每天发送短信1000余条。统计2021年广东省考核区域自动站的数据可用率结果如图3 所示。由图3可知，随着疑误告警业务运行，6-12月全省考核区域站可用率呈持续上升趋势，平均值为99.79％，相较于告警应用前的1-5月可用率平均值99.59％升高了0.2％，可见质控系统在提高数据可用性方面取得了良好的业务效益。
尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。

Claims (11)

1.一种基于雷达组合反射率的地面降水协同质控方法，其特征在于，包括如下步骤：
对站点监测到的降水数据开展基于站点分布特征的空间一致性检查；
如果未通过所述空间一致性检查，则获取所述站点位置的S波段雷达组合反射率数据；
根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果。
2.如权利要求1所述的基于雷达组合反射率的地面降水协同质控方法，其特征在于，根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果包括如下步骤：
对于空间一致性检查出来的雨量相对临近站点大，根据历史观测中不同等级的5分钟累计雨量与6分钟观测频率的S波段雷达组合反射率数据的对应关系，判断当雨量大时，待检时次台站雨量的S波段雷达组合反射率数据是否能够与当前雨量配合；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过；
和/或，
对于空间一致性检查出来的雨量相对临近站点小，根据历史观测中不同的小时内回波平均强度Z和降水雨强等级I数值对应关系，当判断雨量小时，小时内回波平均强度是否能够配合当前待检雨量；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过。
3.如权利要求1或2所述的基于雷达组合反射率的地面降水协同质控方法，其特征在于，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前还进行区域界限值的检查步骤，所述区域界限值的检查步骤包括：
进行区域界限值的检查；
如果待检时次台站雨量数据不在区域界限值的允许值范围内，认为未通过区域界限值的检查，则获取所述站点周围2km范围内的最大S波段雷达组合反射率数据；
根据5分钟累计雨量范围设定第一阈值，并判断所述最大S波段雷达组合反射率数据是否大于设定的第一阈值；
如果大于，则认为通过了区域界限值的检查；否则认为未通过区域界限值的检查。
4.如权利要求1或2所述的基于雷达组合反射率的地面降水协同质控方法，其特征在于，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前，还包括时间一致性检查步骤，具体包括如下步骤：
进行时间一致性检查；
若待检时次雨量未通过时间一致性检查，则获取未通过的待检时次的S波段雷达组合反射率数据；
根据小时降水量设定第二阈值，并判断所述小时内平均组合反射率数据是否大于设定的第二阈值；
如果大于，则认为通过了时间一致性的检查；否则认为未通过时间一致性的检查。
5.如权利要求1或2所述的基于雷达组合反射率的地面降水协同质控方法，其特征在于，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前，还包括内部一致性检查步骤，具体包括如下步骤：
进行内部一致性检查；
若待检时次观测值小于前一个时次的观测值，认为未通过内部一致性的检查，则获取整点时次的S波段雷达组合反射率数据；
根据降水雨强等级设定第三阈值，并判断所述S波段雷达组合反射率数据是否大于设定的第三阈值；
如果大于，则认为未通过内部一致性的检查，否则认为通过了内部一致性的检查。
6.如权利要求1或2所述的基于雷达组合反射率的地面降水协同质控方法，其特征在于，对站点监测到的降水数据开展基于站点分布特征的空间一致性检查之前，还包括如下步骤：
检查降水数据是否缺测，当检查到降水数据缺测时，判断是否有降水观测任务，如果有，则判断气象数据缺测；如果无，则判断为无此观测项；
和/或，
进行气象学界限值检查，若未通过气象学界限值检查，则判断为明显错误，直接跳出质控流程。
7.如权利要求1或2所述的基于雷达组合反射率的地面降水协同质控方法，其特征在于，在根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果之后，还包括综合检查步骤：获取多个检查结果对应的过程质控码，选取最严重的质控问题所对应的过程质控码作为综合质控码。
8.一种基于雷达组合反射率的地面降水协同质控系统，其特征在于，包括：
数据采集分发模块，用于获取站点的降水数据以及与站点位置对应的S波段雷达组合反射率数据；
数据质量控制模块，用于根据获取的降水数据进行空间一致性检查，在未通过空间一致性检查时，根据所述站点的降水数据和所述S波段雷达组合反射率数据的对应关系确认空间一致性质控结果。
9.如权利要求8所述的基于雷达组合反射率的地面降水协同质控系统，其特征在于，所述数据质量控制模块还用于：
对于空间一致性检查出来的雨量相对临近站点大，根据历史观测中不同等级的5分钟累计雨量与6分钟观测频率的S波段雷达组合反射率数据的对应关系，判断当雨量大时，待检时次台站雨量的S波段雷达组合反射率数据是否能够与当前雨量配合；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过；
和/或，
对于空间一致性检查出来的雨量相对临近站点小，根据历史观测中不同的小时内回波平均强度Z和降水雨强等级I数值对应关系，当判断雨量小时，小时内回波平均强度是否能够配合当前待检雨量；若满足，则空间一致性质控结果为通过；否则空间一致性质控结果为未通过。
10.如权利要求8或9所述的基于雷达组合反射率的地面降水协同质控系统，其特征在于，所述数据质量控制模块还用于：
进行区域界限值的检查；如果待检时次台站雨量数据不在区域界限值的允许值范围内，认为未通过区域界限值的检查，则获取所述站点周围2km范围内的最大S波段雷达组合反射率数据；根据5分钟累计雨量范围设定第一阈值，并判断所述最大S波段雷达组合反射率数据是否大于设定的第一阈值；如果大于，则认为通过了区域界限值的检查；否则认为未通过区域界限值的检查；
和/或，
进行时间一致性检查；若待检时次雨量未通过时间一致性检查，则获取未通过的待检时次的S波段雷达组合反射率数据；根据小时降水量设定第二阈值，并判断所述小时内平均组合反射率数据是否大于设定的第二阈值；如果大于，则认为通过了时间一致性的检查；否则认为未通过时间一致性的检查；
和/或，
进行内部一致性检查；若待检时次观测值小于前一个时次的观测值，认为未通过内部一致性的检查，则获取整点时次的S波段雷达组合反射率数据；根据降水雨强等级设定第三阈值，并判断所述S波段雷达组合反射率数据是否大于设定的第三阈值；如果大于，则认为未通过内部一致性的检查，否则认为通过了内部一致性的检查。
11.如权利要求8或9所述的基于雷达组合反射率的地面降水协同质控系统，其特征在于，所述系统还包括数据入库模块、数据查询模块和数据应用模块，所述数据入库模块用于将数据质量控制模块中的质控结果采用多路入库的方式保存到对应的数据库；所述数据查询模块通过列转行方式实现对数据库中数据的多维度查询；所述数据应用模块前端采用vuejs开发，后端采用spring security作为安全框架，用于与用户交互。
CN202211043671.7A 2022-08-18 2022-08-18 一种基于雷达组合反射率的地面降水协同质控方法和系统 Pending CN115508918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211043671.7A CN115508918A (zh) 2022-08-18 2022-08-18 一种基于雷达组合反射率的地面降水协同质控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211043671.7A CN115508918A (zh) 2022-08-18 2022-08-18 一种基于雷达组合反射率的地面降水协同质控方法和系统

Publications (1)

Publication Number Publication Date
CN115508918A true CN115508918A (zh) 2022-12-23

Family

ID=84502766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211043671.7A Pending CN115508918A (zh) 2022-08-18 2022-08-18 一种基于雷达组合反射率的地面降水协同质控方法和系统

Country Status (1)

Country Link
CN (1) CN115508918A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521657A (zh) * 2023-04-06 2023-08-01 四川省气象探测数据中心 一种基于多源数据的地面降水协同质量控制方法
CN117290675A (zh) * 2023-11-27 2023-12-26 中国电建集团西北勘测设计研究院有限公司 降水数据处理方法、装置、存储介质及电子设备
CN117907965A (zh) * 2024-03-19 2024-04-19 江苏省气象台 面向对流风暴精细结构的三维雷达回波临近预报方法
CN117949952A (zh) * 2024-01-25 2024-04-30 江苏省气象台 一种基于近地辐散特征实现下击暴流识别的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521657A (zh) * 2023-04-06 2023-08-01 四川省气象探测数据中心 一种基于多源数据的地面降水协同质量控制方法
CN116521657B (zh) * 2023-04-06 2024-05-28 四川省气象探测数据中心 一种基于多源数据的地面降水协同质量控制方法
CN117290675A (zh) * 2023-11-27 2023-12-26 中国电建集团西北勘测设计研究院有限公司 降水数据处理方法、装置、存储介质及电子设备
CN117290675B (zh) * 2023-11-27 2024-02-27 中国电建集团西北勘测设计研究院有限公司 降水数据处理方法、装置、存储介质及电子设备
CN117949952A (zh) * 2024-01-25 2024-04-30 江苏省气象台 一种基于近地辐散特征实现下击暴流识别的方法
CN117949952B (zh) * 2024-01-25 2024-08-09 江苏省气象台 一种基于近地辐散特征实现下击暴流识别的方法
CN117907965A (zh) * 2024-03-19 2024-04-19 江苏省气象台 面向对流风暴精细结构的三维雷达回波临近预报方法
CN117907965B (zh) * 2024-03-19 2024-05-24 江苏省气象台 面向对流风暴精细结构的三维雷达回波临近预报方法

Similar Documents

Publication Publication Date Title
CN115508918A (zh) 一种基于雷达组合反射率的地面降水协同质控方法和系统
CN108984873B (zh) 供水管网实时漏损检测方法、设备、系统及存储介质
CN112365100B (zh) 基于灾害风险综合评估的电网灾害预警及应对方法
CN115325928A (zh) 一种基于北斗通信的滑坡地表裂缝综合监测系统
CN112611936A (zh) 一种基于边缘计算的配网变压器故障动态检测与分类系统
CN115453662B (zh) 一种时间维度和空间维度结合的异常站点筛查方法
CN105182122A (zh) 一种随机性电源接入设备的故障预警方法
CN114936201B (zh) 基于自适应分块神经网络模型的卫星降水数据校正方法
CN115860590A (zh) 一种企业排放污染数据的智能分析预警方法及系统
CN109271319A (zh) 一种基于面板数据分析的软件故障的预测方法
CN116432123A (zh) 一种基于cart决策树算法的电能表故障预警方法
CN114691521A (zh) 一种基于人工智能的软件测试平台
CN115660536A (zh) 一种面向人工智能的商品进出口安全管理系统
CN112526641B (zh) 一种实时标识雨量观测值质量的方法、系统及设备
CN113869633A (zh) 一种配电网多源数据质量管控方法
CN103034209B (zh) 一种在线测量数据准确性甄别方法
CN112377821A (zh) 基于智能水表平台大数据的管道漏损排查方法及系统
Geng et al. Research on early warning method of overhead transmission line damage caused by typhoon disaster
CN115343086B (zh) 一种高压加氢机在线预检方法及系统
ZHANG et al. Comparison between two air quality index systems in study of urban air pollution in China and its socio-economic determinants
CN115087003A (zh) 一种基于5g网络的基站智能巡视方法和系统
CN115419837A (zh) 基于泵站出口最小流量判断二次供水管网漏损量的方法
CN114297920A (zh) 基于数据预测填充及全局动态模型的线损计算方法
Sun et al. State detection of electric energy metering device using computer neural network
CN118425995B (zh) 一种北斗导航服务定位性能智能测试方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination