CN114298162B - 融合卫星雷达多源数据的降水质量控制与评估方法及应用 - Google Patents
融合卫星雷达多源数据的降水质量控制与评估方法及应用 Download PDFInfo
- Publication number
- CN114298162B CN114298162B CN202111498023.6A CN202111498023A CN114298162B CN 114298162 B CN114298162 B CN 114298162B CN 202111498023 A CN202111498023 A CN 202111498023A CN 114298162 B CN114298162 B CN 114298162B
- Authority
- CN
- China
- Prior art keywords
- quality control
- data
- precipitation
- quality
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 301
- 238000001556 precipitation Methods 0.000 title claims abstract description 204
- 238000011156 evaluation Methods 0.000 title claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 147
- 238000013441 quality evaluation Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000001303 quality assessment method Methods 0.000 claims description 19
- 238000002310 reflectometry Methods 0.000 claims description 16
- 238000003745 diagnosis Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000003673 groundwater Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008713 feedback mechanism Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208818 Helianthus Species 0.000 description 1
- 235000003222 Helianthus annuus Nutrition 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000008276 ice cloud Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了融合卫星雷达多源数据的降水质量控制与评估方法及应用。该方法包括步骤：获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件；对地面降水数据中异常站点进行标注，计算异常站点的质量控制因子和天气背景进而识别实时异常事件，并对实时异常事件对应数据的正确性与否进行标记；获得待评估站点对应质量评估参考域的地面降水数据以及质量标记结果，计算待评估站点的质量评估因子，根据质量评估因子识别准实时异常事件。本发明在进行降水质量控制与评估时，引入卫星数据、雷达数据，提高了实时质量异常事件的自动标识水平，实现了不同质量问题事件处理间的互反馈机制，效果较好。
Description
技术领域
本发明属于应用气象技术领域，更具体地，涉及一种融合卫星雷达多源数据的降水质量控制与评估方法及应用。
背景技术
气候变化加剧了极端天气和水文事件的发生，降水是区域干旱和洪水事件最直接的驱动因素，也是研究气候变化的基础要素。地面自动站观测站点降水数据属于直接测量，观测精度高，应用十分广泛，对气象灾害预警、天气预报检验、气候预测及决策服务等至关重要。受多种因素影响，自动站观测降水数据质量问题客观存在，但只要其质量状况是已知的就可得到恰当应用。质量控制与评估作为保障地面观测资料应用质量的最后防线，一直是气象资料加工处理的关注的重点内容之一。由于降水时空分布不均匀，降水质量控制与评估一直是地面气象要素质量控制的重点和难点。
国内外针对降水质量控制作与评估已开展了很多研究，根据方法使用资料类别可分为常规质量控制方法和多源数据质量控制方法两类。常规质量控制方法围绕自动站观测资料展开，但该类方法大多只能挑错无法判错，质量问题数据的最终确认需要人工介入。多源数据质量控制方法现通过引入不同视觉观测系统的资料对地面降水进行判断，可实现质量问题数据的自动判断，目前主要以雷达资料为主，但地面雷达观测易受复杂地形等的影响，且雷达探测在空间上仍具有局限性，仅基于雷达资料的降水多源质量控制方法存在不确定性。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种融合卫星雷达多源数据的降水质量控制与评估方法及应用，在进行降水质量控制与评估时，引入了卫星数据、雷达数据，具有较好效果。
为实现上述目的，按照本发明的第一方面，提供了一种融合卫星雷达多源数据的降水质量控制与评估方法，包括步骤：
获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件；
将地面降水数据输入到训练后的异常数据标注模型中获得异常站点，根据异常站点对应的质量控制参考域的卫星数据、雷达数据和地面降水数据计算异常站点的质量控制因子和天气背景，根据异常站点的质量控制因子和天气背景识别实时异常事件，对实时异常事件对应的地面降水数据的正确性与否进行标记；
获得待评估站点对应质量评估参考域的地面降水数据以及标记结果，计算待评估站点及其质量评估参考域中站点的质量评估因子，根据质量评估因子识别准实时异常事件。
进一步地，天气背景包括晴空、无明显降水和有降水三种类型，通过判断异常站点的质量控制因子是否满足对应天气背景的预设条件来判断异常站点的天气背景。
进一步地，质量控制因子包括地面降水质控因子、卫星质控因子和雷达质控因子；
地面降水质控因子包括降雨率质控因子和气候极值质控因子，降雨率质控因子表示质量控制参考域内有降水站点的比例，气候极值质控因子表示估计的历史同期月最大小时降水量；
卫星质控因子包括亮温质控因子、晴空率质控因子、主导云状质控因子和总云量质控因子，亮温质控因子表示质量控制参考域内的最低亮温，晴空率质控因子表示质量控制参考域内非降水区域占比的最小值，主导云状质控因子表示质量控制参考域内占比最高的云类型，总云量质控因子表示质量控制参考域内格点的平均云量；
雷达质控因子包括雷达反射率质控因子和雷达估算降水质控因子，雷达反射率质控因子表示质量控制参考域内雷达组合反射率的最高值，雷达估算降水质控因子表示质量控制参考域内不同类型Z-R关系反演雷达估算降水的均值。
进一步地，所述对实时异常事件对应的地面降水数据的正确性与否进行标记包括步骤：
预先设定不同雷达质量控制指标、卫星质量控制指标对应的诊断策略；
分别将实时异常事件对应的雷达质控因子、卫星质控因子、地面降水数据转换为雷达质量控制指标、卫星质量控制指标和降水等级；
根据实时异常事件对应的雷达质量控制指标、卫星质量控制指标对应的诊断策略，结合降水等级和天气背景对实时异常事件对应的地面降水数据的正确性与否进行标记。
进一步地，质量评估因子包括累计降水量、累计降水时数、数据缺测数、数据疑误数及数据缺报数。
进一步地，所述根据质量评估因子识别准实时异常事件包括步骤：
根据待评估站点及其质量评估参考域中站点的累计降水量计算得到待评估站点的降水量评估参数；
根据待评估站点及其质量评估参考域中站点的累计降水时计算得到待评估站点的降水频数评估参数；
根据待评估站点的数据缺测数、数据疑误数及数据缺报数计算得到待评估站点的数据可用性评估参数；
根据降水量评估参数、降水频数评估参数和数据可用性评估参数识别准实时异常事件。
进一步地，所述异常数据标注模型基于孤立森林算法实现。
进一步地，融合卫星雷达多源数据的降水质量控制与评估方法还包括步骤：
根据准实时异常事件识别结果确定黑名单站点，后续进行质量控制时，不获取黑名单站点的地面降水数据。
按照本发明的第二方面，提供了一种融合卫星雷达多源数据的降水质量控制与评估系统，包括：
数据采集与定义模块，用于获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件；
质量控制模块，用于将地面降水数据输入到训练后的异常数据标注模型中获得异常站点，根据异常站点对应的质量控制参考域的卫星数据、雷达数据和地面降水数据计算异常站点的质量控制因子和天气背景，根据异常站点的质量控制因子和天气背景识别实时异常事件，对实时异常事件对应的地面降水数据的正确性与否进行标记；
质量评估模块，用于获得待评估站点对应质量评估参考域的地面降水数据以及标记结果，计算待评估站点及其质量评估参考域中站点的质量评估因子，根据质量评估因子识别准实时异常事件。
按照本发明的第三方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法。
总体而言，本发明与现有技术相比，具有有益效果：
(1)引入卫星数据、雷达数据来进行地面降水数据的质量控制和评估，充分利用了卫星具有大尺度和高时空分辨率的优势，通过多视角观测降水信息的融合应用，可提升降水数据质量标注的自动化水平，缩短质控后数据的应用时效。
(2)建立了不同质量异常事件间的互反馈机制，实现了实时质量控制与准实时质量评估的紧密结合，实现了降水质量问题的闭环处理，可为全面保障降水数据应用质量提供很好的技术支撑。
附图说明
图1是本发明实施例的降水质量控制与评估方法的流程图；
图2是本发明实施例的降水质量控制与评估方法的原理示意图；
图3是本发明实施例的降水质量控制与评估方法的实时异常事件数据诊断标记示意图；
图4是本发明实施例的降水质量控制与评估方法的准实时异常事件识别的流程图；
图5是本发明实施例的质量控制与质量评估反馈机制示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例的一种融合卫星雷达多源数据的降水质量控制与评估方法，包括步骤：
S101，获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件。
S102，将地面降水数据输入到训练后的异常数据标注模型中，获得异常站点，根据异常站点对应的质量控制参考域的卫星数据、雷达数据和地面降水数据计算异常站点的质量控制因子和天气背景，根据异常站点的质量控制因子和天气背景识别实时异常事件，对实时异常事件对应的地面降水数据的正确性与否进行标记。
S103，获得待评估站点对应质量评估参考域的地面降水数据以及标记结果，计算待评估站点及其质量评估参考域中站点的质量评估因子，根据质量评估因子识别准实时异常事件。
图2是本发明实施例的一种融合卫星雷达多源数据的降水质量控制与评估方法的原理示意图。
下面具体说明步骤S101的优选实现方式。
1、降水质量异常事件划分
本发明实施例中，将降水质量异常事件划分为实时异常事件和准实时异常事件。其中，实时事件为短时局地质量异常事件，可利用单时次资料通过实时质量控制进行检测，该类异常对天气预报预警等实时业务有较大影响。准实时事件为过程事件，通常需基于实时事件通过分析多个时次资料的变化进行检测，该类异常数据的剔除可为气候分析、灾害评估及观测保障等非实时应用提供高质量数据支撑。实时异常事件主要影响降水数据质量控制，数据质量控制是单次对地面降水数据质量进行检测。准实时异常事件主要影响降水数据质量评估，降水数据质量评估是对一段时间内的地面降水数据的质量进行整体评估。
在一个实施例中，通过对大量质量异常降水数据的追踪分析，综合考虑数据的时空分布特征、产生原因及应用敏感性，定义实时异常事件包括5种，准实时异常事件包括3种，具体见表1。
表1降水质量异常事件划分
2、质量控制与评估参考域构建
不同于现有技术，本发明实施例中，获取的数据为多源数据，包括卫星数据、雷达数据和地面降水数据，通过引入卫星数据、雷达数据对地面降水数据进行质量控制和评估。
在一个实施例中，卫星数据和雷达数据来源于FY4A卫星第12通道亮温产品(FY4AC012)及大气产品中的云顶亮温(FY4ACTT)、云类型(FY4ACLT)和云检测(FY4ACLM)产品，葵花8号卫星第13通道亮温产品(H08B13)，智能网格实况分析总云量产品(ARTNN)及雷达组合反射率组网产品(SWANMCR)。
进一步地，在利用卫星数据和雷达数据前，先对卫星数据和雷达数据进行数据预处理，具体是采用插值算法对实时收集的卫星、雷达多源资料进行解析处理，为质量控制因子等的计算提供数据源。
某地降水通常是由该地上空及其周围降水云团造成的且自动站观测小时降水量为过去1h的累计量，为此将对某时次站点资料进行质量控制时选取参考资料的时间范围和空间范围称为质量控制参考域，质量控制相关参数的计算均基于对应产品的质量控制参考域进行；将进行评估时所使用资料的时间窗口和空间范围称为质量评估参考域，评估参数和指标的计算均基于对应站点质量评估参考域内的资料完成。
在一个实施例中，质量控制参考域、质量评估参考域的定义如下。
以质量控制参考域的构建为例进行说明，基于邻域原则时间范围定义为自动站小时降水的累计时段，空间范围地面资料定义为选取待检站邻近站的圆形区域，卫星、雷达等格点产品以被检站所在格点为中心向四周各扩展特定步长的矩形区域，分别用TRange、SRange表示质量控制参考域的时间和空间范围，相关参数由式(1)～(5)定义，HH为质控时次，HH-1为质控前一时次，T为格点产品空间范围内的产品频数，TRes为格点产品时间分辨率，SRangegrd为格点产品的空间范围，N为格点产品空间范围内的总格点数，SRes为格点产品的空间分辨率，n为对应扩展步长，SRangesta为邻近站选取的空间范围，R为邻近站选取半径。
TRange＝[HH-1+01,HH+00] (1)
T＝60/TRes (2)
SRangegrd＝N*SRes (3)
N＝(2n+1)2 (4)
SRangesta＝πR2 (5)
采用逐步扩展法试验确定参数n和R，FY4A卫星产品n取3，H8卫星产品n取5，多源融合总云量产品n取3，雷达产品n取1，邻近站选取半径R取50～70km时质量控制效果最好。
下面具体说明步骤S102的优选实现方式。
1、多源数据质量控制因子
将对判定数据质量状况较为敏感的关键参数定义为质量控制因子，利用极值分布理论和空间分析对降水的极端性和空间分布进行刻画，通过分析遥感参数与地面降水间的相关关系，建立了多源数据质量控制因子。
质量控制因子包括地面降水质控因子、卫星质控因子和雷达质控因子。
地面降水质控因子包括降雨率质控因子和气候极值质控因子，降雨率质控因子表示质量控制参考域内有降水站点的比例，气候极值质控因子表示估计的历史同期月最大小时降水量，可采用极值分布理论和插值算法估计；
卫星质控因子包括亮温质控因子、晴空率质控因子、主导云状质控因子和总云量质控因子，亮温质控因子表示质量控制参考域内的最低亮温，晴空率质控因子表示质量控制参考域内由云检测和云类型产品分别计算的非降水区域占比的最小值，主导云状质控因子表示质量控制参考域内占比最高的云类型，总云量质控因子表示质量控制参考域内格点的平均云量；
雷达质控因子包括雷达反射率质控因子和雷达估算降水质控因子，雷达反射率质控因子表示质量控制参考域内雷达组合反射率的最高值，雷达估算降水质控因子表示质量控制参考域内不同类型Z-R关系反演雷达估算降水的均值。
每个质量控制因子的具体计算公式如下。
①降雨率质控因子
降雨率质控因子PRERATE由式(6)定义，Nref和NrefPre分别为邻近站数和有降水的邻近站数。为提高站点处于降水系统边缘时质控因子的鲁棒性，将自动站的SRangesta划分为R≤50.0和R∈(50.0,70.0]两个区域，并分别用50PRERATE和70PRERATE表示对应区域的降雨率质控因子。
②气候极值质控因子
气候极值质控因子CLI由式(7)定义，将有长序列观测资料的国家级气象站作为代表站，利用广义极值分布理论分别计算代表站不同月份多年最大小时降水量序列重现期T为50a的分位数，并将其作为代表站不同月份小时降水的气候极值，再将代表站小时降水气候极值制作成质控参数文件，质量控制时再利用最邻近插值算法获取待检站对应的小时降水极值，f为极值求取函数，lat、lon、alt及mm分别为待检站的纬度、经度、海拔高度及资料月份。
CLI＝f(lat,lon,alt,mm) (7)
③亮温质控因子
亮温质控因子TBB由式(8)定义，及分别为FY4AC012、FY4ACTT、H08B13产品质量控制参考域内的最低亮温，不同产品tbbmin由公式(9)定义，t为时间序列，i为格点位置，为第t时刻第i格点的亮温值。
④晴空率质控因子
晴空率质控因子CLRATE由式(10)定义，FY4ACLM产品将云覆盖情况划分为云、可能云、可能晴空及晴空等4种状态，通常认为晴空状态不会出现降水。对于特定质控时次，在FY4ACLM产品质量控制参考域内最小晴空率由公式(11)定义，t为时间序列，为第t时刻的晴空格点数。FY4ACLT产品将云类型划分为晴空、卷云、暖水云、过冷水云、混合云、厚冰云及多层云等7种，依次用cls,cir,war,cld,hyb,ice,mly表示，通常认为晴空、卷云为非降水云，对于特定质控时次，在FY4ACLT产品质量控制参考域内最小晴空率用公式(12)定义。
⑤主导云状质控因子
主导云状质控因子LDCLOUDY由式(13)定义，由FY4ACLT产品计算，对于特定质控时次，t为时间序列，为第t时刻云类型s的格点数，S为云类型集合{cls,cir,war,cld,hyb,ice,mly}。
⑥总云量质控因子
总云量质控因子NN由公式(14)定义，i为格点位置，nni为格点i的总云量。
⑦雷达反射率质控因子
雷达反射率质控因子MCR由式(15)定义，在SWANMCR产品质量控制参考域内，maxmcrt为t时刻的最大反射率，由公式(16)定义，t为时间序列，i为格点位置，为第t时刻i格点的反射率。
⑧雷达估算降水质控因子
雷达估算降水质控因子QPE由式(17)定义，在SWANMCR产品质量控制参考域内，利用maxmcrt分别计算对流型、层状型、暖水型Z-R关系对应t时刻的雷达估算降水，并进行时间积分后得到对应的雷达小时估算降水，依次用qpecon、qpestr、qpewar表示。
QPE＝avg(qpecon,qpestr,qpewar) (17)
2、面向质量控制的站点天气背景分型
在一个实施例中，天气背景包括晴空、无明显降水和有降水三种类型，无明显降水表示降水量小于预设值，预设三种类型天气背景需满足的条件，通过判断异常站点的质量控制因子是否满足对应天气背景的预设条件来判断异常站点的天气背景。
综合考虑业务现状、地面、雷达及卫星质控因子，面向质量控制对被检站所处位置周围区域的大气参量进行分析，将其所处天气背景划分为晴空clear、无明显降水rainless及有降水rain三类，用WEATHERBKG表示站点天气背景，划分条件由公式(18)定义。
3、卫星雷达多源数据质量控制指标划分
预先定义雷达质控因子、卫星质控因子、地面降水数据转换为雷达质量控制指标、卫星质量控制指标和降水等级的方法。
为实现不同降水质量异常事件的综合诊断，根据质量异常事件定义和相关研究对小时降水进行分级，经统计分析后结合降水量级采用等级匹配策略将卫星、雷达质控因子转换为质量控制指标，指标划分如表2所示，包含0～9共10个等级，例如若雷达质控因子MCR小于10dBZ，则对应的雷达质量控制指标为1，另外考虑到算法的健壮性用M表示卫星、雷达在特定条件下控制指标无法确认的状态。为便于描述，依次用RainLV、SateIDX及RadarIDX表示自动站降水等级、卫星质量控制指标及雷达质量控制指标。
表2卫星雷达多源数据质量控制指标划分
4、实时异常事件检测算法
空间分析是降水质量问题数据检测必不可少的环节，但因该类方法以邻近站数据运算为基础，当数据量较大时算法的运行效率会受限，且通常都聚焦大降水对小降水的检测不敏感。孤立森林是一种利用隔离离群点的机制来检测异常点的非监督学习算法，该算法不需要预先准备有标签的训练数据集，对数据集的概率分布不做假设，且在高维数据应用中仍保持较高的计算效率，是目前异常数据检测领域应用最为广泛的算法之一。
鉴于此，本发明实施例将孤立森林算法引入降水质量异常数据检测，异常数据标注模型基于孤立森林算法实现，可实现实时降水质量异常事件的分类检测，提高了检测效率和检测结果的指示性。为便于描述，依次用ClearPre、PseudoPre、IsolatedPre、SingleLgPre及LargerPre表示表1所列晴空降水、虚假小降水、孤站降水、单站大降水及偏大降水等事件，即实时事件的名称为集合[ClearPre,PseudoPre,IsolatedPre,SingleLgPre,LargerPre]的成员，同时将该方法称为PreRTQAECheck，主要包括两个步骤：
步骤1：利用孤立森林算法对质量异常降水数据进行快速标注。
该步骤的输入为待检站的数据集合，主要包括区站号IIiii,经度lon、纬度lat及小时降水量Pre，输出为被标注为异常的站点的数据集合。孤立森林算法的关键参数孤立树个数t和异常样本比例ψ可根据实际数据分析获取，通常t取值为100,ψ为取值为0.05。
步骤2：对步骤1返回的异常站点进行归类和释义分析，并结合业务规则确定最终的质量异常站点及其对应实时异常事件的名称。
该步骤的输入为步骤1标注的质量异常站点数据集合，输出为异常站点及其对应异常事件的名称。对标注为异常站点，检索其质量控制参考域内的邻近站的数据，获取邻近站降水的空间分布参数，并基于降雨率质控因子、气候极值质控因子及站点天气背景等，综合运用百分位法、极值分析及阈值法对异常站点作归类和释义分析，采用顺序原则依次确定质量异常事件名称，具体步骤如下：
Step1：判断是否为ClearPre。若站点天气背景为晴空clear，则直接判定其对应事件为ClearPre；否则转Step2。
Step2：判断是否为PseudoPres。若站点降水量在区间[0.1,0.3]，站点天气背景为rainless，50PRERATE低于8％，50km邻近站最大降水量也在区间[0.1,0.3]，则判定其对应事件为PseudoPre；否则转Step3。
Step3：判断是否为IsolatedPre。若站点降水量达到0.4mm且50km邻近站均无降水，则判定其对应事件为IsolatedPre；否则转Step4。
Step4：判断是否为SingleLgPre。若站点降水量达到1.0mm且50km邻近站最大降水量低于给定阈值Thred1(依站点降水量动态调整)，则判定对应事件为SingleLgPre；否则转Step5。
Step5：判断是否为LargerPre。若站点降水量达到1.0mm，且站点降水量大于a*CLI或邻近站序列的第95百分位数小于给定的阈值Thred2(依站点降水量动态调整)，则判定对应事件为LargerPre；否则转Step6。
Step6：将该站点从异常站点列表中剔除，按正常站点处理。
5、基于规则的降水异常事件多源数据诊断决策算法
进一步地，对实时异常事件对应的地面降水数据的正确性与否进行标记包括步骤：
(1)预先设定不同雷达质量控制指标、卫星质量控制指标对应的诊断策略；
(2)分将实时异常事件对应的雷达质控因子、卫星质控因子、地面降水数据转换为雷达质量控制指标、卫星质量控制指标和降水等级；
(3)根据实时异常事件对应的雷达质量控制指标、卫星质量控制指标对应的诊断策略，结合降水等级和天气背景对实时异常事件对应的地面降水数据的正确性与否进行标记。
在一个实施例中，如图3所示，利用PreRTQAECheck算法确定降水质量异常事件后，针对不同事件设计不同的诊断规则，经诊断后数据被划分为错误、可疑和正确三类，分别用F、D和T标记。在一个实施例中，数据质量由质量控制码qc统一标注，qc取自集合[0，1，2，7，8]，集合成员含义依次为数据正确、可疑、错误、无观测及缺测，此处F、D和T对应的数据质量控制码qc依次为2、1和0。
晴空降水事件ClearPre的诊断与站点天气背景密切相关，即天气背景WEATHERGKG须为晴空clear,由于晴空天气背景的识别已结合卫星、雷达数据做了综合研判，因此晴空降水事件对应降水量直接按错误处理，质量标识为F。其它降水质量异常事件的诊断在分析站点天气背景和降水量级的基础上，分类设计MQRULE1～MQRULE4共4个多源数据诊断算法进行处理，多源数据诊断规则算法的设计时的判据以自动站降水量级RainLV，雷达质量控制指标RadarIDX及卫星质量控制指标SateIDX为主，采用阈值法实现。
以MQRULE3为例对多源数据诊断算法进行说明，该算法对天气背景WEATHERGKG为rainless时降水达到1.0mm的IsolatedPre、SingleLgPre及LargerPre事件的数据质量进行诊断，算法输入为待诊断异常站点及其数据集合，主要为WEATHERGKG,RainLV,RadarIDX及SateIDX；算法输出为待诊断异常站点的诊断结果集合，主要为诊断后数据的质量标识；算法首先判断RadarIDX是否为0、1及M，若是则按表3所示决策表对数据质量进行标注，否则即RadarIDX为2～9时按PreRTQAEMultiDiagnoRules算法对数据质量进行标注。
表3 MQRULE3决策表
PreRTQAEMultiDiagnoRules算法根据多源数据质量控制指标及站点天气背景对站点的数据质量进行综合研判，算法详述如下：
算法输入：WEATHERGKG、RainLV、RadarIDX及SateIDX。
算法流程：对于所有待诊断异常站点，执行Step1～Step3后确定对应的qc。
Step1：计算参数a＝RainLV-RadarIDX，b＝RainLV-SateIDX,并设定阈值Thred。
Step2：对于a<Thred，若WEATHERGKG为rainless,RainLV∈{4，5}，RadarIDX为2，SateIDX为0则qc赋值为2，否则qc赋值为0。
Step3：对于a≥Thred，若WEATHERGKG为rainless或SateIDX∈{1，M}，QC赋值为1，否则若b<Thred，qc赋值为0，若b≥Thred，qc赋值为1。
算法输出：数据质量标识qc。
6、准实时质量异常事件检测算法
下面具体说明步骤S103的优选实现方式。
(1)降水质量评估因子遴选
通过对相关参量时空特征因子的统计分析，并结合数据质量评估业务规则遴选确定了降水质量评估因子，主要涉及降水量级、降水频率及数据可用性等维度。
在一个实施例中，质量评估因子包括累计降水量、累计降水时数、数据缺测数、数据疑误数及数据缺报数，由式(19)～(23)定义，QAr、QAh、QAm、QAe及QAc分别为累计降水量、累计降水时、数据缺测数、数据疑误数及数据缺报数，N为评估时间窗内的小时数，ri为第i小时的降水量，qci为第i小时降水量的质控码。
(2)综合时空分析和百分位法的降水质量评估指标建立
将累计降水量和降水时数作为评估对象，以质量评估参考域空间范围内对应评估因子的分布特征作为评估基准，利用时空分析法和百分位法建立降水量和降水时数评估参数；以数据缺报数、缺测数据数及疑误数据数等质量评估因子为基础建立数据可用性评估参数，将实时质量异常事件的质控和处理结果作为准实时降水质量评估的重要参考。
在一个实施例中，降水量评估参数共3个，分别用QArparas1、QArparas2、QArparas3表示，依次由式(24)～(26)定义，QArQ5、QArQ95及IQRQAr分别为待评估站点邻近站累计降水量序列的第5、95百分位数及四分位距。
在一个实施例中，降水时数评估参数共2个，分别用QAhparas1、QAhparas2表示，依次由式(27)～(28)定义，QAhQ95、IQRQAh分别为待评估站点邻近站累计降水时数序列的第95百分位数及四分位距。
在一个实施例中，数据可用性评估参数QAavaiparas由式(29)定义，反映了评估时间窗内待评估站点有效数据数占总数据量的比率。
在对质量评估参数进行统计分析的基础上，根据数据质量问题分类制定质量评估规则，建立质量评估指标，依次用INDEXQAr、INDEXQAh及INDEXQAavai表示降水量评估指标、降水时数评估指标及数据可用率评估指标，各指标的划分规则见表4。
表4降水质量评估指标
(3)准实时异常事件检测算法
综合研判分析质量评估指标和准实时降水质量异常事件的耦合关系及其对应用的影响，采用顺序判断策略设计了图3所示准实时质量异常事件检测算法，简称为PreNRTQAECheck算法。
考虑实时质量控制及数据完整性对准实时质量异常事件检测的影响，进行准实时质量异常事件检测前需对数据可用率进行评估。为便于处理，将数据可用率偏低也作为一种质量异常事件，分别用PersistLargePre、PersistSmallPre及TimeFreqAbnPre表示表1所列持续偏大降水、持续偏小降水及时频异常降水等准实时质量异常事件，用AvailLowerPre表示数据可用率偏低事件。用Normal表示数据质量评估为正确，则质量评估标识QA取自集合[Normal,PersistLargePre,PersistSmallPre,TimeFreqAbnPre,AvailLowerPre]。
PreNRTQAECheck算法如图4所示，详细描述如下：
算法输入：待评估站点及其数据集合，主要为INDEXQAr、INDEXQAh及INDEXQAavai等质量评估指标。
算法流程：对于所有评估站点，执行Step1～Step5后确定对应的QA。
Step1:若INDEXQAavai为3，则QA赋值为AvailLowerPre,否则转Step2。
Step2:若INDEXQAr为-1，则QA赋值为PersistSmallPre，否则转Step3。
Step3:若INDEXQAr为1且INDEXQAh不为-2，则QA赋值为PersistLargePre，否则转Step4。
Step4:若INDEXQAh为2且INDEXQAr不为1或者INDEXQAh为-2且INDEXQAr不为-1，则QA赋值为TimeFreqAbnPre，否则转Step5。
Step5：QA赋值为Normal
算法输出：质量评估标识QA。
进一步地，如图5所示，本发明实施例中，步骤S102和步骤103还建立有互反馈机制，分阶段实现了降水质量问题数据的综合处理。降水质量评估对降水时频变化异常、持续偏大降水、持续偏小降水等隐藏较深降水问题进行检测的同时通过数据可用性评估指标的计算获取实时质量控制的信息，经评估研判后建立站点黑名单，降水质量控制时参考站点黑名单对实时数据质控策略作出调整，例如后续进行质量控制时，不获取黑名单站点的地面降水数据，实现了降水质量问题的闭环处理。
综上所述，本发明实施例的融合卫星雷达多源数据的降水质量控制与评估方法，具有以下有益效果：通过降水质量异常事件的划分实现了质量控制的可溯管理、提高了检测结果的指示性；质量控制与评估参考域的构建有效提高了质量控制因子等的计算效率；考虑到自动站观测获取降水数据的精度最高，为此将质量控制划分为疑误检测与诊断两个阶段，疑误检测以自动站资料为主，疑误诊断融合卫星雷达多源资料对问题数据的质量进行终判，从而规避了现有方法直接利用遥感数据对自动站降水进行质量控制存在的不确定性；质量评估通过对质量评估时间窗内累积降水量和降水时数的分析，实现了隐藏较深降水质量问题的检测；通过质量控制与评估业务流程的构建实现了不同质量问题事件处理间的互反馈机制，实现了降水质量问题数据的综合处理。
本发明实施例的一种融合卫星雷达多源数据的降水质量控制与评估系统，包括：
数据采集与定义模块，用于获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件；
质量控制模块，用于将地面降水数据输入到训练后的异常数据标注模型中，获得异常站点，根据异常站点对应的质量控制参考域的卫星数据、雷达数据和地面降水数据计算异常站点的质量控制因子和天气背景，根据异常站点的质量控制因子和天气背景识别实时异常事件，对实时异常事件对应的地面降水数据的正确性与否进行标记；
质量评估模块，用于获得待评估站点对应质量评估参考域的地面降水数据以及标记结果，计算待评估站点及其质量评估参考域中站点的质量评估因子，根据质量评估因子识别准实时异常事件。
系统实现原理、技术效果与上述方法类似，此处不再赘述。
本发明实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一融合卫星雷达多源数据的降水质量控制与评估方法实施例的技术方案。其实现原理、技术效果与上述方法类似，此处不再赘述。
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种融合卫星雷达多源数据的降水质量控制与评估方法，其特征在于，包括步骤：
获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件；
将地面降水数据输入到训练后的异常数据标注模型中获得异常站点，根据异常站点对应的质量控制参考域的卫星数据、雷达数据和地面降水数据计算异常站点的质量控制因子和天气背景，根据异常站点的质量控制因子和天气背景识别实时异常事件，对实时异常事件对应的地面降水数据的正确性与否进行标记；
获得待评估站点对应质量评估参考域的地面降水数据以及标记结果，计算待评估站点及其质量评估参考域中站点的质量评估因子，根据质量评估因子识别准实时异常事件；
天气背景包括晴空、无明显降水和有降水三种类型，通过判断异常站点的质量控制因子是否满足对应天气背景的预设条件来判断异常站点的天气背景；
质量控制因子包括地面降水质控因子、卫星质控因子和雷达质控因子；
地面降水质控因子包括降雨率质控因子和气候极值质控因子，降雨率质控因子表示质量控制参考域内有降水站点的比例，气候极值质控因子表示估计的历史同期月最大小时降水量；
卫星质控因子包括亮温质控因子、晴空率质控因子、主导云状质控因子和总云量质控因子，亮温质控因子表示质量控制参考域内的最低亮温，晴空率质控因子表示质量控制参考域内非降水区域占比的最小值，主导云状质控因子表示质量控制参考域内占比最高的云类型，总云量质控因子表示质量控制参考域内格点的平均云量；
雷达质控因子包括雷达反射率质控因子和雷达估算降水质控因子，雷达反射率质控因子表示质量控制参考域内雷达组合反射率的最高值，雷达估算降水质控因子表示质量控制参考域内不同类型Z-R关系反演雷达估算降水的均值；
所述对实时异常事件对应的地面降水数据的正确性与否进行标记包括步骤：
预先设定不同雷达质量控制指标、卫星质量控制指标对应的诊断策略；
分别将实时异常事件对应的雷达质控因子、卫星质控因子、地面降水数据转换为雷达质量控制指标、卫星质量控制指标和降水等级；
根据实时异常事件对应的雷达质量控制指标、卫星质量控制指标对应的诊断策略，结合降水等级和天气背景对实时异常事件对应的地面降水数据的正确性与否进行标记；
质量评估因子包括累计降水量、累计降水时数、数据缺测数、数据疑误数及数据缺报数；
所述根据质量评估因子识别准实时异常事件包括步骤：
根据待评估站点及其质量评估参考域中站点的累计降水量计算得到待评估站点的降水量评估参数；
根据待评估站点及其质量评估参考域中站点的累计降水时数计算得到待评估站点的降水时数评估参数；
根据待评估站点的数据缺测数、数据疑误数及数据缺报数计算得到待评估站点的数据可用性评估参数；
根据降水量评估参数、降水时数评估参数和数据可用性评估参数识别准实时异常事件。
2.如权利要求1所述的融合卫星雷达多源数据的降水质量控制与评估方法，其特征在于，所述异常数据标注模型基于孤立森林算法实现。
3.如权利要求1所述的融合卫星雷达多源数据的降水质量控制与评估方法，其特征在于，还包括步骤：
根据准实时异常事件识别结果确定黑名单站点，后续进行质量控制时不获取黑名单站点的地面降水数据。
4.一种融合卫星雷达多源数据的降水质量控制与评估系统，其特征在于，包括：
数据采集与定义模块，用于获取卫星数据、雷达数据和地面降水数据，定义质量控制参考域、质量评估参考域、实时异常事件和准实时异常事件；
质量控制模块，用于将地面降水数据输入到训练后的异常数据标注模型中获得异常站点，根据异常站点对应的质量控制参考域的卫星数据、雷达数据和地面降水数据计算异常站点的质量控制因子和天气背景，根据异常站点的质量控制因子和天气背景识别实时异常事件，对实时异常事件对应的地面降水数据的正确性与否进行标记；
其中，天气背景包括晴空、无明显降水和有降水三种类型，通过判断异常站点的质量控制因子是否满足对应天气背景的预设条件来判断异常站点的天气背景；
质量控制因子包括地面降水质控因子、卫星质控因子和雷达质控因子；
地面降水质控因子包括降雨率质控因子和气候极值质控因子，降雨率质控因子表示质量控制参考域内有降水站点的比例，气候极值质控因子表示估计的历史同期月最大小时降水量；
卫星质控因子包括亮温质控因子、晴空率质控因子、主导云状质控因子和总云量质控因子，亮温质控因子表示质量控制参考域内的最低亮温，晴空率质控因子表示质量控制参考域内非降水区域占比的最小值，主导云状质控因子表示质量控制参考域内占比最高的云类型，总云量质控因子表示质量控制参考域内格点的平均云量；
雷达质控因子包括雷达反射率质控因子和雷达估算降水质控因子，雷达反射率质控因子表示质量控制参考域内雷达组合反射率的最高值，雷达估算降水质控因子表示质量控制参考域内不同类型Z-R关系反演雷达估算降水的均值；所述对实时异常事件对应的地面降水数据的正确性与否进行标记包括步骤：
预先设定不同雷达质量控制指标、卫星质量控制指标对应的诊断策略；
分别将实时异常事件对应的雷达质控因子、卫星质控因子、地面降水数据转换为雷达质量控制指标、卫星质量控制指标和降水等级；
根据实时异常事件对应的雷达质量控制指标、卫星质量控制指标对应的诊断策略，结合降水等级和天气背景对实时异常事件对应的地面降水数据的正确性与否进行标记；
质量评估模块，用于获得待评估站点对应质量评估参考域的地面降水数据以及标记结果，计算待评估站点及其质量评估参考域中站点的质量评估因子，根据质量评估因子识别准实时异常事件；
质量评估因子包括累计降水量、累计降水时数、数据缺测数、数据疑误数及数据缺报数；
所述根据质量评估因子识别准实时异常事件包括步骤：
根据待评估站点及其质量评估参考域中站点的累计降水量计算得到待评估站点的降水量评估参数；
根据待评估站点及其质量评估参考域中站点的累计降水时数计算得到待评估站点的降水时数评估参数；
根据待评估站点的数据缺测数、数据疑误数及数据缺报数计算得到待评估站点的数据可用性评估参数；
根据降水量评估参数、降水时数评估参数和数据可用性评估参数识别准实时异常事件。
5.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111498023.6A CN114298162B (zh) | 2021-12-09 | 2021-12-09 | 融合卫星雷达多源数据的降水质量控制与评估方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111498023.6A CN114298162B (zh) | 2021-12-09 | 2021-12-09 | 融合卫星雷达多源数据的降水质量控制与评估方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114298162A CN114298162A (zh) | 2022-04-08 |
| CN114298162B true CN114298162B (zh) | 2024-08-13 |
Family
ID=80968128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111498023.6A Active CN114298162B (zh) | 2021-12-09 | 2021-12-09 | 融合卫星雷达多源数据的降水质量控制与评估方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298162B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565330B (zh) * | 2022-04-30 | 2022-11-08 | 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) | 降水观测设备的健康度评估方法、系统、设备和存储介质 |
| CN115144835B (zh) * | 2022-09-02 | 2023-01-03 | 南京信大气象科学技术研究院有限公司 | 一种基于神经网络的卫星反演天气雷达反射率的方法 |
| CN116047631B (zh) * | 2023-03-31 | 2023-06-20 | 中科星图维天信(北京)科技有限公司 | 降水预报方法、装置、电子设备及存储介质 |
| CN116521657B (zh) * | 2023-04-06 | 2024-05-28 | 四川省气象探测数据中心 | 一种基于多源数据的地面降水协同质量控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170009570A (ko) * | 2015-07-17 | 2017-01-25 | 대한민국(기상청장) | 인공위성을 이용한 육상지역의 강수량추정시스템 및 이를 이용한 강수량추정방법 |
| CN112541161A (zh) * | 2020-11-05 | 2021-03-23 | 中国气象局气象探测中心 | 一种区域多源降水数据质量控制方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103780691B (zh) * | 2014-01-20 | 2017-10-10 | 魔玛智能科技（上海）有限公司 | 智慧睡眠系统及其用户端系统和云端系统 |
-
2021
- 2021-12-09 CN CN202111498023.6A patent/CN114298162B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170009570A (ko) * | 2015-07-17 | 2017-01-25 | 대한민국(기상청장) | 인공위성을 이용한 육상지역의 강수량추정시스템 및 이를 이용한 강수량추정방법 |
| CN112541161A (zh) * | 2020-11-05 | 2021-03-23 | 中国气象局气象探测中心 | 一种区域多源降水数据质量控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114298162A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114298162B (zh) | 融合卫星雷达多源数据的降水质量控制与评估方法及应用 | |
| CN111045117B (zh) | 一种气候监测预测平台 | |
| CN102956023B (zh) | 一种基于贝叶斯分类的传统气象数据与感知数据融合的方法 | |
| CN112907871B (zh) | 基于卫星遥感的雷火预警识别方法 | |
| Hassan et al. | High-resolution estimates of diffuse fraction based on dynamic definitions of sky conditions | |
| CN117538503A (zh) | 一种实时智能的土壤污染监测系统及方法 | |
| CN112907113B (zh) | 一种考虑空间相关性的植被变化成因识别方法 | |
| CN106485360A (zh) | 基于全局夜光遥感的局部社会经济指标预测方法及系统 | |
| CN113742929B (zh) | 一种针对格点气象实况的数据质量评价方法 | |
| Bognár et al. | An unsupervised method for identifying local PV shading based on AC power and regional irradiance data | |
| CN118330148B (zh) | 一种特殊地形地貌条件下的空气质量智能监测方法及系统 | |
| CN113282576A (zh) | 一种气象数据质量控制方法 | |
| CN117725448A (zh) | 气象导航信号特征的聚类分析方法 | |
| CN118364865A (zh) | 公路交通气象环境能见度分钟级预测方法及预警系统 | |
| CN113688506B (zh) | 基于微站等多维数据的潜在大气污染源识别方法 | |
| Koumpli | Impact of data quality on photovoltaic (PV) performance assessment | |
| CN116930423A (zh) | 一种空气质量模型模拟效果的自动验证评估方法及系统 | |
| CN115048986B (zh) | 一种基于多分类器动态剪枝选择的地表冻融状态分类方法 | |
| CN114565136B (zh) | 一种基于生成对抗网络的空气质量预测优化方法 | |
| Techel et al. | Forecasting avalanche danger: human-made forecasts vs. fully automated model-driven predictions | |
| CN117849907B (zh) | 基于多源数据的气象灾害靶向预警方法及系统 | |
| Nielsen et al. | The distribution in time and space of savanna fires in Burkina Faso as determined from NOAA AVHRR data | |
| CN112632407B (zh) | 一种顾及地理环境异质性的空间抽样方法 | |
| Stewart et al. | Evaluating GFS and ECMWF ensemble forecasts of integrated water vapor transport along the US West Coast | |
| Puche | Analysis of temperature variation with respect to the LCZs using in situ measures and satellite imagery: study case of the metropolitan city of Milan |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |