CN114236645B - 一种大规模降雨监测异常站点筛查方法 - Google Patents

一种大规模降雨监测异常站点筛查方法 Download PDF

Info

Publication number
CN114236645B
CN114236645B CN202111419496.2A CN202111419496A CN114236645B CN 114236645 B CN114236645 B CN 114236645B CN 202111419496 A CN202111419496 A CN 202111419496A CN 114236645 B CN114236645 B CN 114236645B
Authority
CN
China
Prior art keywords
abnormal
stations
station
rainfall
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111419496.2A
Other languages
English (en)
Other versions
CN114236645A (zh
Inventor
田济扬
刘荣华
刘含影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute of Water Resources and Hydropower Research
Original Assignee
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute of Water Resources and Hydropower Research filed Critical China Institute of Water Resources and Hydropower Research
Priority to CN202111419496.2A priority Critical patent/CN114236645B/zh
Priority to CN202210984313.XA priority patent/CN115327674B/zh
Priority to CN202210984314.4A priority patent/CN115453662B/zh
Publication of CN114236645A publication Critical patent/CN114236645A/zh
Application granted granted Critical
Publication of CN114236645B publication Critical patent/CN114236645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Hydrology & Water Resources (AREA)
  • Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种大规模降雨监测异常站点筛查方法，包括以下步骤：步骤1、采用Hampel法基于年序列降雨观测资料初步判定基准站；步骤2、采用格拉布斯准则再次判别基准站；步骤3、确定基准站后采用周边测站分析法基于逐小时降雨监测数据判别异常站点；步骤4、雷达辅助校验异常站点。本发明可以实现大规模雨量监测站数据的异常识别和快速处理，异常识别率高达95％以上，为暴雨洪水风险提示和预警提供准确、可靠的依据。

Description

一种大规模降雨监测异常站点筛查方法
技术领域
本发明涉及一种大规模降雨监测异常站点筛查方法，属于气象水文领域，主要用于为暴雨洪水风险提示和预警提供准确、可靠的降雨监测信息。
背景技术
降雨监测是水文监测的重要组成部分，是暴雨洪水灾害防御工作的耳目和参谋。21世纪以来，水利部门加大了对自动监测站建设的支持力度，特别是经过山洪灾害防治项目建设，全国山洪灾害自动监测站点达13.2万个，自动雨量站网平均密度为38km2/站，是2006年(6000站)的22倍，最小报汛时段缩短到10min，数据信息量增加100余倍，极大地缩小了降雨监测盲区，有力支撑了水旱灾害防御工作。但由于部分测站建设标准偏低，位于山丘区的测站运维困难，数据质量难以得到保障，常常出现冒大数、缺测、漏测等情况，且测站出现问题具有很强的随机性，完全抛弃某一测站不切实际。
为了站点的监测数据得到有效利用，需要从众多降雨监测站点中找出不同时段内监测数据准确的站点，剔除数据质量有问题的站点，但目前大多数识别方法具有很强的主观性，误判的可能性很大，业务当中应用时存在较大风险，一是难以识别出确有异常的站点，二是容易将正确站点错误认为是异常站点，与开展异常站点识别的初衷相悖。对于极个别异常识别准确性较高的方法，需要进行大量的距离计算与比较，对计算资源要求极高，而事实上业务应用对异常站点识别方法的稳定性、可靠性和高效性均提出很高的要求。提出一个能够业务化应用的大规模异常站点识别方法极为迫切。
发明内容
本发明提出了一种大规模降雨监测异常站点筛查方法，其解决的技术问题是基于Hampel法、格拉布斯准则、周边测站分析法和雷达辅助校验等方法，建立递进式异常站点筛查体系，并通过K-d tree(K-dimension tree)高级数据结构和并行计算方法提高计算效率，为大规模降雨监测数据异常识别、充分利用雨量监测站有效信息提供可靠的方法。
为了解决上述存在的技术问题，本发明采用了以下方案：
一种大规模降雨监测异常站点筛查方法，包括以下步骤：
步骤1、采用Hample法通过某一测站降雨时间序列查找出测站异常年份，在时间维度上初步判定基准站；
步骤2、采用改进的格拉布斯准则进行空间维度判别，通过异常年份测站的周边测站雨量确定是否为异常，再次判别基准站；
步骤3、确定基准站后采用周边测站分析法基于逐小时降雨监测数据判别异常站点；
步骤4、雷达辅助校验异常站点。
建立了“年尺度初筛—小时尺度细判—小时尺度验证”的多时空异常站点筛查体系。
进一步，步骤1、2提出了以年降雨序列为数据基础的“时空维度+先后规则”的基准站判别方法，即从大规模测站中，先通过某一测站降雨时间序列查找出测站的异常年份，再通过周边测站雨量确定其是否为异常，能够适应我国大多数测站年观测序列短的现状，提高了准确度。
进一步，步骤1中的采用Hampel法初步筛选出雨量监测较为稳定、数据质量相对较高的测站，首先是基于长序列测站的年雨量值，利用Hampel法对单一测站监测数据的异常年份进行识别。Hampel法可用于异常极端值的判别，其基本原理是对给定的数据集假设一个分布和概率模型，然后根据假设采用不一致检验对数据系列进行处理，其公式如下：
Figure GDA0003681579260000031
其中，Xi为数据序列X中的某一值，Median为X的中位数，MAD(median absolutedeviation)为数据集Y的中位数，X＝{x1,x2,…xn}，是测站年降雨量数据序列，Y＝{y1,y2,…,yn}＝{x1-median,x2-median,…,xn-median}。
进一步，步骤1采用Hampel法进行时间维度判别，对于年序列小于10的测站，阈值设定为2.24。当Zi(i＝1,2,…,n)值大于2.24时，则判定Xi为异常点，i为该测站的异常年份。
步骤1可以根据研究区面积、测站分布情况因素，在考虑待测站点与周边站点距离的基础上，通过经纬度将目标分区，计算机程序在查找20km范围内测站时，仅在其中一个区域内查找即可,目标分区的区域同时进行搜索对比,已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
考虑到大量测站建设年代较近，数据序列较短，仅通过Hampel法从时间维度上判定测站监测数据的异常年份，可靠性还不够。
进一步，步骤2采用改进的格拉布斯准则进行空间维度判别，以监测出异常年份的站点为中心，20km为半径划定影响区域，对测站的异常年份进行验证。
进一步，步骤2中格拉布斯准则适用于测量次数较少的情况(3≤n<100)，可一次性求出多个异常值。其基本原理是判断可疑值取舍的过程中，将正态分布中平均值和方差这两个最重要的参数引进来，有利于提高判断的准确性。考虑到本文单站年累积雨量的时间序列较短，为了提高异常值判定的准确性，需借助周边测站从空间维度再做判断，格拉布斯准则判别法较为适用。
改进的格拉布斯准则是将原准则公式中的平均值用中位数代替，可有效消除同侧异常值的屏蔽效应，是更为稳健的处理方法，其方法如下:
先将通过Hampel法初步判定为某年异常的测站选出，在其周围以20km为半径划定区域，区域内测站约50个左右，区域内所有站点的年雨量值构成样本，通过从小至大排序为样本序列X＝(x1,x2,xn)，设定临界系数G(a,n)的值G0，G0通过查临界值表获得，a为显著性水平，取a为0.05，并计算G1，Gn：
G1＝(X中-x1)/σ
Gn＝(xn-X中)/σ
其中，n为测站数量，X中为样本中位数，σ为标准差。
若G1≥Gn且G1＞G0，则判定x1为异常值并予以剔除；若Gn≥G1且Gn＞G0，则xn为异常值并予以剔除；若G1＜G0且Gn＜G0，则不存在异常值。若存在异常值，则剔除之后用剩余站点的年雨量值重新计算，重复上述步骤，直到无异常值为止。
为提高计算效率，缩短程序运行时对待判断测站与周边站点距离关系的判断所用时长，步骤2采用改进的格拉布斯准则进行空间维度判别时，根据研究区面积、测站分布情况因素，在考虑待测站点与周边站点距离的基础上，通过经纬度将目标分区，计算机程序在查找20km范围内测站时，仅在其中一个区域内查找,目标分区的区域同时进行搜索对比,已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
比如：通过经纬度将目标区福建省分为7个区域。程序在查找20km范围内测站时，仅在其中一个区域内查找，全省范围内7个区域同时进行搜索对比。已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
通过Hampel法和格拉布斯准则共同判断后，则完成基准站初步判定。
进一步，步骤3中采用周边测站分析法对逐小时的降雨监测数据进行异常识别。采用周边测站分析时，优先选用基准站与待评估测站进行同时段雨量比较，基准站距离较远的(超过某一阈值)经基准站评估后，确定为正常站点的非基准站与待评估测站进行同时段雨量比较。为了避免初步确定的基准站在某一时刻降雨监测出现问题，而依然被当做监测正确的测站，在采用基准站评估待评估测站时，待评估测站也包括基准站。通过比较待评估测站雨量与同时段周边基准站(或已评估合格的非基准站)的平均雨量，判断待评估测站是否异常。
步骤3逐小时降雨监测数据判别时，采用周边测站分析法，仅对1h或3h、6h雨量超过10mm、12h雨量超过15mm或24小时雨量超过25mm的测站进行评估。评估时分别比较待测站不同时间段1h、3h、6h、12h、24h雨量值与周边站点相应时段的平均雨量值，当雨量值相差超过一个等级时，则判定为异常站点。其中，雨量等级划分如下表所示：
Figure GDA0003681579260000051
为选取合适的评估范围，分别对距离待评估测站5～30km的范围进行了测试，当周边距离为5km、10km、15km、20km、25km、30km时，待测站的周边站点平均数量分别为4个、13个、30个、50个、78个、115个。对异常站点识别准确率及计算时长进行了统计。
步骤3逐小时降雨监测数据判别时，周边分析法分析范围的最佳半径R与监测站网密度p关系为p＝0.0267R2+0.4667R+12，半径取值范围为[5km,30km]，p取值范围为[15km2/站，50km2/站]。考虑到福建省雨量监测站网密度约为25km2/站，且准确率在15km时达到最大，计算时长相对适中，故采用周边测站分析时，分析范围的半径设为15km，分析范围内站点平均数量30个。
福建省雨量监测站数量多，密度大，降雨监测数据量庞大。为了能够达到实时计算并判断异常站点的目的，研究采用K-dtree(K-dimension tree)高级数据结构和并行计算方法，大幅提高了计算效率。经测试，全省站点进行一次异常识别，计算时长约5～8min。
步骤1-步骤3，以年降雨序列为数据基础的“时空维度+先后规则”的基准站判别方法，即从大规模测站中，先通过某一测站降雨时间序列查找出测站的异常年份，再通过周边测站雨量确定其是否为异常，
通过对目标区域进行分区，在单个区域内采用K-d tree(K-dimension tree)高级数据结构和并行计算方法，大幅提高了计算效率。
步骤4中通过雷达辅助校验，对筛选出的异常站点做进一步验证，确定异常站点。经过基准站初步判定和周边测站分析后，已初步完成异常站点的筛查，但人工校验时发现，处于雨区与非雨区边界、雨强差异较大的雨区边界报讯正常的测站也容易被判定为异常站点，因此仍需要进一步验证筛查结果。尽管雷达降雨反演的精度受到反演算法等因素的影响，但依据反射率仍能判定雷达探测覆盖范围是否降雨或判断降雨量级，能够充分反映某一时段降雨的空间分布特征，故采用雷达辅助校验异常站点初步筛查结果是合理的。
进一步，步骤4采用雷达辅助校验的方法，是对处于雨区与非雨区边界、雨强差异较大的雨区边界报讯正常的测站进行筛查，筛查条件有三，缺一不可，一是用雷达低层仰角反射率是否超过20dBZ阈值，验证雨区与非雨区边界处测站判定结果；二是通过雷达基数据反演降雨强度，并与测站降雨量级进行对比，验证测站是否异常；三是通过对比反射率空间变化梯度值与雨量站观测梯度值，验证雨强差异较大的雨区边界处测站判定结果，当反射率空间变化梯度值超过雨量站观测梯度值1倍判定异常，当反射率空间变化梯度值小于雨量站观测梯度值1倍判定异常。
基于Hampel法、格拉布斯准则及周边测站法异常识别等方法进行联合判断，异常站点识别准确率高。本发明通过建立递进式异常站点筛查体系，提高了大规模异常站点识别准确率，对充分利用雨量监测站有效信息、剔除无效信息具有重要意义。
本发明一种大规模降雨监测异常站点筛查方法，具有以下有益效果：
(1)本发明中Hampel法从时间维度上判定站点监测数据的异常年份，改进的格拉布斯准则借助周边测站从空间维度再做判断，以年降雨序列为数据基础的“时空维度+先后规则”，能够适应我国大多数测站年观测序列短的现状，提高了准确度。
(2)本发明中采用的改进的格拉布斯准则进行空间维度判别时，根据面积、测站分布情况，对检测区域进行分区，查找周边测站时，仅在其中一个分区内查找，已判定为异常的测站在后续判别待测站时，不再作为周边测站参与比较，提高了计算效率及准确性。
(3)本发明中基于Hampel法、格拉布斯准则、周边测站分析法和雷达辅助校验等方法，建立了递进式异常站点筛查体系，可以提高大规模雨量监测站数据异常识别的准确性和稳定性，为暴雨洪水风险提示和预警提供准确、可靠的依据。
(4)本发明中采用的雷达辅助校验方法，是对被误判为异常站的正常测站，处于雨区与非雨区边界、雨强差异较大的雨区边界报讯正常的测站进行筛查，筛查条件有三，缺一不可，提高了异常识别的准确性。
附图(表)说明
图1：本发明中一种大规模降雨监测异常站点筛查方法流程图。
图2：本发明中距离与计算时长/准确率的对应关系。
图3：本发明中2015～2020年异常站点数量及占比情况。
图4：本发明中6月27、28日4个时刻异常站点数量及占比情况。
具体实施方式
本发明所采用的技术方案是基于Hampel法、格拉布斯准则、周边测站分析法和雷达辅助校验等方法，建立递进式异常站点筛查体系，并通过K-d tree(K-dimension tree)高级数据结构和并行计算方法提高计算效率，为大规模降雨监测数据异常识别、充分利用雨量监测站有效信息提供可靠的方法。
一种大规模降雨监测异常站点筛查方法，包括以下步骤：
步骤1、采用Hample法通过某一测站降雨时间序列查找出测站异常年份，在时间维度上初步判定基准站；
步骤2、采用改进的格拉布斯准则进行空间维度判别，通过异常年份测站的周边测站雨量确定是否为异常，再次判别基准站；
步骤3、基准站确定后采用周边测站分析法基于逐小时降雨监测数据判别异常站点；
步骤4、雷达辅助校验异常站点。
建立了“年尺度初筛—小时尺度细判—小时尺度验证”的多时空异常站点筛查体系。
进一步，步骤1、2提出了以年降雨序列为数据基础的“时空维度+先后规则”的基准站判别方法，即从大规模测站中，先通过某一测站降雨时间序列查找出测站的异常年份，再通过周边测站雨量确定其是否为异常，能够适应我国大多数测站年观测序列短的现状，提高了准确度。
进一步，步骤1中的采用Hampel法初步筛选出雨量监测较为稳定、数据质量相对较高的测站，首先是基于长序列测站的年雨量值，利用Hampel法对单一测站监测数据的异常年份进行识别。Hampel法可用于异常极端值的判别，其基本原理是对给定的数据集假设一个分布和概率模型，然后根据假设采用不一致检验对数据系列进行处理，其公式如下：
Figure GDA0003681579260000091
其中，Xi为数据序列X中的某一值，Median为X的中位数，MAD(median absolutedeviation)为数据集Y的中位数，X＝{x1,x2,…xn}，是测站年降雨量数据序列，Y＝{y1,y2,…,yn}＝{x1-median,x2-median,…,xn-median}。
步骤1采用Hampel法进行时间维度判别，对于年序列小于10的测站，阈值设定为2.24。当Zi(i＝1,2,…,n)值大于2.24时，则判定Xi为异常点，i为该测站的异常年份。
步骤1可以根据研究区面积、测站分布情况因素，在考虑待测站点与周边站点距离的基础上，通过经纬度将目标分区，计算机程序在查找20km范围内测站时，仅在其中一个区域内查找即可,目标分区的区域同时进行搜索对比,已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
考虑到大量测站建设年代较近，数据序列较短，仅通过Hampel法从时间维度上判定测站监测数据的异常年份，可靠性还不够。
进一步，步骤2采用改进的格拉布斯准则进行空间维度判别，以监测出异常年份的站点为中心，20km为半径划定影响区域，对测站的异常年份进行验证。
进一步，步骤2中格拉布斯准则适用于测量次数较少的情况(3≤n<100)，可一次性求出多个异常值。其基本原理是判断可疑值取舍的过程中，将正态分布中平均值和方差这两个最重要的参数引进来，有利于提高判断的准确性。考虑到本文单站年累积雨量的时间序列较短，为了提高异常值判定的准确性，需借助周边测站从空间维度再做判断，格拉布斯准则判别法较为适用。改进的格拉布斯准则是将原准则公式中的平均值用中位数代替，可有效消除同侧异常值的屏蔽效应，是更为稳健的处理方法，其方法如下:
先将通过Hampel法初步判定为某年异常的测站选出，在其周围以20km为半径划定区域，区域内测站约50个左右，区域内所有站点的年雨量值构成样本，通过从小至大排序为样本序列X＝(x1,x2,xn)，设定临界系数G(a,n)的值G0，G0通过查临界值表获得，a为显著性水平，取a为0.05，并计算G1，Gn：
G1＝(X中-x1)/σ
Gn＝(xn-X中)/σ
其中，n为测站数量，X中为样本中位数，σ为标准差。
若G1≥Gn且G1＞G0，则判定x1为异常值并予以剔除；若Gn≥G1且Gn＞G0，则xn为异常值并予以剔除；若G1＜G0且Gn＜G0，则不存在异常值。若存在异常值，则剔除之后用剩余站点的年雨量值重新计算，重复上述步骤，直到无异常值为止。
为提高计算效率，缩短程序运行时对待判断测站与周边站点距离关系的判断所用时长，步骤2采用改进的格拉布斯准则进行空间维度判别时，根据研究区面积、测站分布情况因素，在考虑待测站点与周边站点距离的基础上，通过经纬度将目标分区，计算机程序在查找20km范围内测站时，仅在其中一个区域内查找,目标分区的区域同时进行搜索对比,已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
比如：根据经纬度将目标区域福建省分为7个区域。程序在查找20km范围内测站时，仅在其中一个区域内查找，全省范围内7个区域同时进行搜索对比。已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
通过Hampel法和格拉布斯准则共同判断后，则完成基准站初步判定。
进一步，步骤3中采用周边测站分析法对逐小时的降雨监测数据进行异常识别。采用周边测站分析时，优先选用基准站与待评估测站进行同时段雨量比较，基准站距离较远的(超过某一阈值)经基准站评估后，确定为正常站点的非基准站与待评估测站进行同时段雨量比较。为了避免初步确定的基准站在某一时刻降雨监测出现问题，而依然被当做监测正确的测站，在采用基准站评估待评估测站时，待评估测站也包括基准站。通过比较待评估测站雨量与同时段周边基准站(或已评估合格的非基准站)的平均雨量，判断待评估测站是否异常。
步骤3逐小时降雨监测数据判别时，采用周边测站分析法，仅对1h或3h、6h雨量超过10mm、12h雨量超过15mm或24小时雨量超过25mm的测站进行评估。评估时分别比较待测站不同时间段1h、3h、6h、12h、24h雨量值与周边站点相应时段的平均雨量值，当雨量值相差超过一个等级时，则判定为异常站点。其中，雨量等级划分如下表所示：
Figure GDA0003681579260000121
为选取合适的评估范围，分别对距离待评估测站5～30km的范围进行了测试，当周边距离为5km、10km、15km、20km、25km、30km时，待测站的周边站点平均数量分别为4个、13个、30个、50个、78个、115个。对异常站点识别准确率及计算时长进行了统计。
步骤3逐小时降雨监测数据判别时，周边分析法分析范围的最佳半径R与监测站网密度p关系为p＝0.0267R2+0.4667R+12，半径取值范围为[5km,30km]，p取值范围为[15km2/站，50km2/站]。考虑到福建省雨量监测站网密度约为25km2/站，且准确率在15km时达到最大，计算时长相对适中(图2)，故采用周边测站分析时，分析范围的半径设为15km，分析范围内站点平均数量30个。
福建省雨量监测站数量多，密度大，降雨监测数据量庞大。为了能够达到实时计算并判断异常站点的目的，研究采用K-dtree(K-dimension tree)高级数据结构和并行计算方法，大幅提高了计算效率。经测试，全省站点进行一次异常识别，计算时长约5～8min。
进一步，步骤4中通过雷达辅助校验，对筛选出的异常站点做进一步验证，确定异常站点。经过基准站初步判定和周边测站分析后，已初步完成异常站点的筛查，但人工校验时发现，处于雨区与非雨区边界、雨强差异较大的雨区边界报讯正常的测站也容易被判定为异常站点，因此仍需要进一步验证筛查结果。尽管雷达降雨反演的精度受到反演算法等因素的影响，但依据反射率仍能判定雷达探测覆盖范围是否降雨或判断降雨量级，能够充分反映某一时段降雨的空间分布特征，故采用雷达辅助校验异常站点初步筛查结果是合理的。
进一步，步骤4采用雷达辅助校验的方法，是对处于雨区与非雨区边界、雨强差异较大的雨区边界报讯正常的测站进行筛查，筛查条件有三，缺一不可，一是用雷达低层仰角反射率是否超过20dBZ阈值，验证雨区与非雨区边界处测站判定结果；二是通过雷达基数据反演降雨强度，并与测站降雨量级进行对比，验证测站是否异常；三是通过对比反射率空间变化梯度值与雨量站观测梯度值，验证雨强差异较大的雨区边界处测站判定结果，当反射率空间变化梯度值超过雨量站观测梯度值1倍判定异常；当反射率空间变化梯度值小于雨量站观测梯度值1倍判定异常
本研究利用福建省5234个雨量站2015-2021年实测降雨资料，基于Hampel法、格拉布斯准则、周边测站分析法和雷达辅助校验等方法构建了递进式异常站点筛查体系，对降雨监测数据进行了异常识别。经过Hampel法和格拉布斯准则判别法对2015—2020年异常站点进行判定发现，2015年的异常站点数量最多，占比11.5％，之后异常站点逐年减少，至2020年，异常站点数量占比仅5.18％(图3)。
从通过周边测站法得出的异常结果中分别选取2016—2020年每年的6月、7月和8月的1日8点、10日14点、30日20点的异常值识别结果进行人工验证，异常识别正确率均为90％(表1)。
表1基于周边测站分析的雨量异常值识别正确率(％)
Figure GDA0003681579260000141
为进一步验证方法的可用性，以2021年6月27—28日福建全省的雨量监测站进行了异常站点实时判别(图4)。考虑到福建全省在6月27日19:00-21:00和6月28日09:00-15:00降雨范围较广，报讯站较多，所以选择如下6个时刻的异常结果进行雷达回波的校验。通过雷达辅助校验法对被误判为异常站的正常测站进行筛查，雷达校验前异常识别结果的平均准确率为89％，经雷达校验后平均准确率提升至95％(表2)，这表明雷达辅助校验方法非常适用于应对处于雨区与非雨区边界、雨强差异较大的雨区边界的正常站点被错误判断为异常站点的情况。
表2 6个时刻雷达校验前后福建省雨量监测站异常识别结果准确率(％)
Figure GDA0003681579260000142
基于Hampel法、格拉布斯准则及周边测站法异常识别等方法进行联合判断，异常站点识别准确率高。本发明通过建立递进式异常站点筛查体系，提高了大规模异常站点识别准确率，对充分利用雨量监测站有效信息、剔除无效信息具有重要意义。
上面结合附图对本发明进行了的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (8)

1.一种大规模降雨监测异常站点筛查方法，包括以下步骤：
步骤1、采用Hample法通过某一测站降雨时间序列查找出测站异常年份，在时间维度上初步判定基准站；
步骤2、采用改进的格拉布斯准则进行空间维度判别，通过异常年份测站的周边测站雨量确定是否为异常，再次判别基准站；
步骤3、基准站确定后采用周边测站分析法基于逐小时降雨监测数据判别异常站点；
步骤4、雷达辅助校验异常站点。
2.根据权利要求1所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤1采用Hampel法进行时间维度判别，对于年序列小于10的测站，阈值设定为2.24。
3.根据权利要求2所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤2采用改进的格拉布斯准则进行空间维度判别，先将通过Hampel法初步判定为某年异常的测站选出，在其周围以20km为半径划定区域，区域内测站约50个左右，区域内所有站点的年雨量值构成样本，通过从小至大排序为样本序列X＝(x1,x2,…，xn)，设定临界系数G(a,n)的值G0，G0通过查临界值表获得，a为显著性水平，取a为0.05，并计算G1，Gn：
G1＝(X中-x1)/σ
Gn＝(xn-X中)/σ
其中，n为测站数量，X中为样本中位数，σ为标准差；
若G1≥Gn且G1＞G0，则判定x1为异常值并予以剔除；若Gn≥G1且Gn＞G0，则xn为异常值并予以剔除；若G1＜G0且Gn＜G0，则不存在异常值；若存在异常值，则剔除之后用剩余站点的年雨量值重新计算，重复上述步骤，直到无异常值为止。
4.根据权利要求3所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤2采用改进的格拉布斯准则进行空间维度判别时，根据研究区面积、测站分布情况，在考虑待测站点与周边站点距离的基础上，通过经纬度将目标分区，计算机程序在查找20km范围内测站时，仅在其中一个区域内查找即可,目标分区的区域同时进行搜索对比,已经判断为异常的测站在后续判别待测站时不作为周边测站参与比较，减少部分异常值对判别效果的不良影响。
5.根据权利要求4所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤3中逐小时降雨监测数据判别时，采用周边测站分析法，仅对1h或3h、6h雨量超过10mm、12h雨量超过15mm、或24小时雨量超过25mm的测站进行评估；评估时分别比较待测站不同时间段1h、3h、6h、12h、24h雨量值与周边站点相应时段的平均雨量值，当雨量值相差超过一个等级时，则判定为异常站点；其中，雨量等级划分如下表所示：
Figure FDA0003681579250000021
6.根据权利要求5所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤3逐小时降雨监测数据判别时，周边分析法分析范围的最佳半径R与监测站网密度p关系为p＝0.0267R2+0.4667R+12，半径取值范围为[5km,30km]，p取值范围为[15km2/站，50km2/站]。
7.根据权利要求1所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤4采用雷达辅助校验的方法，是对处于雨区与非雨区边界、雨强差异较大的雨区边界报讯正常的测站进行筛查。
8.根据权利要求7所述一种大规模降雨监测异常站点筛查方法，其特征在于：所述步骤4中雷达辅助检验方法筛查条件有三，缺一不可，一是用雷达低层仰角反射率是否超过20dBZ阈值，验证雨区与非雨区边界处测站判定结果；二是通过雷达基数据反演降雨强度，并与测站降雨量级进行对比，验证测站是否异常；三是通过对比反射率空间变化梯度值与雨量站观测梯度值，验证雨强差异较大的雨区边界处测站判定结果，当反射率空间变化梯度超过雨量站观测梯度值1倍时则判定为异常。
CN202111419496.2A 2021-11-26 2021-11-26 一种大规模降雨监测异常站点筛查方法 Active CN114236645B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111419496.2A CN114236645B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测异常站点筛查方法
CN202210984313.XA CN115327674B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测雷达校验方法
CN202210984314.4A CN115453662B (zh) 2021-11-26 2021-11-26 一种时间维度和空间维度结合的异常站点筛查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111419496.2A CN114236645B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测异常站点筛查方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210984314.4A Division CN115453662B (zh) 2021-11-26 2021-11-26 一种时间维度和空间维度结合的异常站点筛查方法
CN202210984313.XA Division CN115327674B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测雷达校验方法

Publications (2)

Publication Number Publication Date
CN114236645A CN114236645A (zh) 2022-03-25
CN114236645B true CN114236645B (zh) 2022-07-26

Family

ID=80751226

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210984314.4A Active CN115453662B (zh) 2021-11-26 2021-11-26 一种时间维度和空间维度结合的异常站点筛查方法
CN202210984313.XA Active CN115327674B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测雷达校验方法
CN202111419496.2A Active CN114236645B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测异常站点筛查方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210984314.4A Active CN115453662B (zh) 2021-11-26 2021-11-26 一种时间维度和空间维度结合的异常站点筛查方法
CN202210984313.XA Active CN115327674B (zh) 2021-11-26 2021-11-26 一种大规模降雨监测雷达校验方法

Country Status (1)

Country Link
CN (3) CN115453662B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115453662B (zh) * 2021-11-26 2023-03-28 中国水利水电科学研究院 一种时间维度和空间维度结合的异常站点筛查方法
CN115291304B (zh) * 2022-08-03 2023-06-16 河海大学 全向天线轴辐式微波密集降雨监测网络部署方法
CN115406403A (zh) * 2022-11-01 2022-11-29 广州地铁设计研究院股份有限公司 一种轨道交通隧道沉降监测方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4924457B2 (ja) * 2008-02-05 2012-04-25 富士通株式会社 雨量値・累計雨量値の収集・積算方法
CN104483719B (zh) * 2014-12-31 2017-07-14 贵州东方世纪科技股份有限公司 一种利用雷达回波诊断遥测雨量站数据异常的方法
US10416351B2 (en) * 2015-09-10 2019-09-17 The Climate Corporation Generating probabilistic estimates of rainfall rates from radar reflectivity measurements
CN106950614B (zh) * 2017-02-28 2019-03-22 中船重工鹏力（南京）大气海洋信息系统有限公司 一种区域自动气象站小时雨量数据质量控制方法
CN107403004B (zh) * 2017-07-24 2020-07-24 邱超 一种基于地形数据的遥测雨量站点可疑数值检验方法
CN113728220B (zh) * 2018-08-25 2023-12-22 山东诺方电子科技有限公司 一种大气污染监测传感器校准和协同工作的方法
CN109840260B (zh) * 2019-02-02 2019-12-17 中国水利水电科学研究院 一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法
CN110008439B (zh) * 2019-03-25 2020-11-03 武汉大学 基于矩阵分解的降雨数据时空一体化插值算法
CN111307123B (zh) * 2020-04-02 2021-03-02 中国水利水电科学研究院 一种水情监测数据的实时异常诊断与插补方法
CN112506990B (zh) * 2020-12-03 2022-10-04 河海大学 一种基于时空信息的水文数据异常检测方法
CN113255593B (zh) * 2021-06-25 2021-09-24 北京市水利自动化研究所 面向时空解析模型的传感器信息异常检测方法
CN115453662B (zh) * 2021-11-26 2023-03-28 中国水利水电科学研究院 一种时间维度和空间维度结合的异常站点筛查方法

Also Published As

Publication number Publication date
CN115327674B (zh) 2023-04-14
CN115453662A (zh) 2022-12-09
CN114236645A (zh) 2022-03-25
CN115327674A (zh) 2022-11-11
CN115453662B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN114236645B (zh) 一种大规模降雨监测异常站点筛查方法
Dhorde et al. Three-way approach to test data homogeneity: An analysis of temperature and precipitation series over southwestern Islamic Republic of Iran
CN109324241B (zh) 一种变电站接地网腐蚀诊断预警方法及系统
CN104992010B (zh) 一种基于拓扑分区的多断面联合参数估计方法
CN108520267B (zh) 一种基于时空特征的水文遥测数据异常检测方法
Fluixá-Sanmartín et al. Searching for the optimal drought index and timescale combination to detect drought: a case study from the lower Jinsha River basin, China
CN114114198B (zh) 一种降水数据质控方法、装置、存储介质及设备
Palmen et al. Regional flood frequency for Queensland using the quantile regression technique
CN113505471A (zh) 一种河流断面污染物浓度预测计算方法
Cetin et al. Factors affecting minimum number of probes required for reliable estimation of travel time
CN107798418A (zh) 一种基于交通分析小区的交通事故频次预测方法
CN104198998B (zh) 非均匀背景下基于聚类处理的恒虚警检测方法
CN115854999A (zh) 基于场景自适应的h-adcp断面平均流速自校正方法
CN111709646A (zh) 空气污染暴露风险评价方法及系统
CN112780953B (zh) 一种基于模式检测的独立计量区域管网漏损检测方法
CN111007541B (zh) 一种卫星导航地基增强系统仿真性能评估方法
CN117390378A (zh) 一种双碳平台数据智能管理方法及系统
CN112782096A (zh) 一种基于反射光谱数据的土壤有机碳密度估算方法
CN112985460A (zh) 智能中控定位精度测试方法、装置、电子设备和存储介质
CN109308375B (zh) 一种基于地貌参数的流域最优流速的测算方法
CN110749307A (zh) 基于北斗定位的输电线路位移沉降判定方法及系统
CN116541681A (zh) 一种基于协同克里金插值的复合灾害空间变异性识别方法
Widhalm et al. Identifying faulty traffic detectors with Floating Car Data
CN114324800A (zh) 一种排水管道来水监测方法及其系统、存储介质
CN115203643A (zh) 融合水文与生态要素的水源涵养功能定量诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant