CN105717556B

CN105717556B - 一种基于大数据的自分型雷达估测降水方法

Info

Publication number: CN105717556B
Application number: CN201610075855.XA
Authority: CN
Inventors: 周北平; 程海云; 杨文发; 訾丽; 邱辉; 程卫帅; 李春龙; 屈家安
Original assignee: Bureau of Hydrology Changjiang Water Resources Commission
Current assignee: Bureau of Hydrology Changjiang Water Resources Commission
Priority date: 2016-02-03
Filing date: 2016-02-03
Publication date: 2018-03-27
Anticipated expiration: 2036-02-03
Also published as: CN105717556A

Abstract

本发明公开了一种基于大数据的自分型雷达估测降水方法，包括雷达基数据预处理、最优法估测降水、异常点检测与过滤、提取特征值、动态订正估测降水。采用大数据的研究方法，提出估测雷达降水数据的算法，在该算法中，先采用异常点检测滤掉异常值或特征不明显的数值，然后采用DBSCAN算法进行聚类分析，计算出代表站的偏差值，用于动态修订雷达估测降水的数据，从而能够更加准确的估测降水。

Description

一种基于大数据的自分型雷达估测降水方法

技术领域

本发明涉及一种雷达估测降水方法，具体是一种基于大数据的自分型雷达估测降水方法，属于估测降水技术领域。

背景技术

我国是一个幅员辽阔、地形复杂并且深受气候灾害影响的国家。统计表明，我国每年受干旱、暴雨和热带风暴等重大灾害性天气、气候影响的人数约六亿人次，平均每年因受气象灾害造成的损失约占国民生产总产值的3％-5％。因此，准确的获取区域降雨量的信息，对防洪减灾至关重要。

现有技术中存在的常规雷达智能得到降水的强度信息，且由于受到雨区衰减的影响以及无法反映雨滴谱的变化，从而使得测雨误差较大，进而出现小雨高估和大雨低估的现象。雷达是监测局中监测暴洪的探测工具，其测量参量和相比强度信息度雨强有更好的相关性，能够更加直接的监测区域内降雨量。

所谓自分型是通过历史数据得到估测偏差库，并自动提取当次雷达数据特征值，自动去配对估测偏差库中的值，然后计算估测值与偏差值之差。简而言之，自分型可以理解为动态分型。

一般而言，传统的估测降水方法主要是指最优化估测降水方法。该方法属于传统的数学方法，没有考虑到雷达数据实际上是海量数据这个特点，从而导致传统的估测技术，难以分析数据属性间的隐含关系。

发明内容

针对上述现有技术存在问题，本发明提供一种基于大数据的自分型雷达估测降水方法，该方法通过大数据的方式分析雷达的数据，并且能够准确的分析数据属性间的隐含关系，避免了错误估算降水量，最大化使估算方法正确。

本发明通过以下技术方案来实现上述目的：一种基于大数据的自分型雷达估测降水方法，该方法包括如下步骤：

1)根据雷达地形确定选取并考虑雷达波束的阻挡订正；

2)仰角合成：通过资料处理模块将雷达数据进行质量控制，并进行复合扫描平面的生成，从而将雷达低层3个仰角的基本反射率转换成一个最佳反射率的混合扫描；

3)最优化估测：所有雨量计观测的1小时降雨量记录总数为N，雨量计观测值用Gn表示，n＝1,2,3,...N，对第n个雨量计观测值Gn来说，有M个与之时空相对应的雷达回波强度Z_dBnm，m＝1,2,3...M；

根据雷达反射率因子和降水强度之间的关系式Z＝AI^b，可将Z_dBnm转化为降水强度I_nm，即

对降水强度进行时间积分就可以得到雷达测量的1小时降水，记为R_n，n＝1,2,3,...N，

其中，W_nm是资料所代表的时间权重系数，根据雷达观测时间确定，

在最优化方法中采用最佳判别函数C_TF：

式中：I_i为雷达估计的各个样本的雨强值，Ri为自动雨量站测量的雨强值；

4)数据清洗：以20分钟以内的3组雷达数据文件为一个集合，将所述步骤3)中的每个格点的降水值，通过函数f(x_i)：

求得每个格点的相异度，将每个格点进行时间序列上的相异度划分和空间序列上的相异度划分，若相异度>10；则作为杂波过滤；

5)聚类分析：采用基于密度的聚类算法的DBSCAN算法，检测每个格点的ε-邻域：若一个点p的ε-邻域包含多于MinPts个点，则创建一个以p作为核心对象的新簇，然后，DBSCAN算法反复地寻找从这些核心对象直接密度可达的对象，这个过程涉及一些密度可达簇的合并，若没有新的点可以被添加到任何簇时，该过程结束，并提取该簇的平均值做为该簇的特征值。

6)建立估测偏差库：依据气象学原理，将降水量的日值观测数据按“层状云降水”、“混合性降水”、“积状云降水”进行区分，然后对降水量的日值观测数据进行插值，插值范围与雷达数据范围相同。然后，采用最小化函数求取各簇的偏差值。

7)动态订正：经过数据清洗后，按照最优法估测累计降水量。并计算该估测量与自动雨量站的实测值之差作为偏差值。读取估测偏差库的相应值作为偏差阈值。当偏差值超出偏差阈值时，调整最优法中的A值，否则认为雷达估测值可代表整个区域的估测值。

进一步，根据地形选取雷达仰角的基础上，将大数据的聚类技术引入到估测降水算法中并进行数据清洗过滤，引入偏差阈值的概念，动态调整最优法的估测系数。

本发明的有益效果是：(1)采用大数据的研究方法，提出估测雷达降水数据的算法，在该算法中，先采用异常点检测滤掉异常值或特征不明显的数值，然后采用DBSCAN算法进行聚类分析，计算出代表站的偏差值，用于修订雷达估测降水的数据，从而能够更加准确的估测降水。

(2)传统的估测技术，难以分析数据属性间隐含的信息。然而通过大数据的运用，深入分析收集到的数据，减少估测中的主观因素，有利于估测技术的持续改进，提高预测的准确度。通过大数据的方式分析雷达数据，将雷达数据所蕴含的决义表示给用户，提供新的视角寻找难以掌握的数据，可以帮助预报员以更加精细和动态的方式估计累积降水量。

附图说明

图1为本发明实施例中的雷达定量估测降水与自动雨量站实况对照示意图；

图2为本发明实施例中的2012－2014年中大型降水日次统计示意图。

具体实施方式

下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于大数据的自分型雷达估测降水方法，

第一：雷达基数据预处理与仰角合成

主要包括孤立点剔除、畸异回波检测、阻挡订正、构成复合平面。由于雷达周围高大山脉或者建筑物会部分阻塞或者完全遮挡住雷达的电磁波能量，在利用低仰角的雷达观测数据进行降水定量估测，必须考虑雷达波束的阻挡订正。经过资料处理模块将雷达数据进行质量控制后，需要进行复合扫描平面的生成。将雷达低层3个仰角的基本反射率转换成一个最佳反射率的混合扫描。依据地形的特点，对于20km以内使用3.4°仰角，20-50km使用2.4°仰角，50-150km使用1.5°仰角。

第二：最优法估测降水

设所有雨量计观测的1小时降雨量记录总数为N，雨量计观测值用Gn表示，n＝1,2,3,...N，对第n个雨量计观测值Gn来说，有M个与之时空相对应的雷达回波强度Z_dBnm，m＝1,2,3...M，根据雷达反射率因子和降水强度之间的关系式Z＝AI^b，可将Z_dBnm转化为降水强度I_nm，即

对降水强度进行时间积分就可以得到雷达测量的1小时降水，记为R_n，n＝1,2,3,...N。

W_nm是资料所代表的时间权重系数，根据雷达观测时间确定。

在最优化方法中采用最佳判别函数C_TF

式中I_i为雷达估计的各个样本的雨强值，R_i为自动雨量站测量的雨强值，原理就是不断的调整Z-I关系中的参数A和b的值，直到判别函数CTF达到最小值为止，得到的A和b就是这个统计样本总体的最优参数，也就是说C_TF值为最小的参数A和b，使得雷达估测值最逼近实测值。

第三：数据清洗：异常点检测与过滤

以20分钟以内的3组雷达数据文件为一个集合，将步骤2中的每个格点的降水值，通过函数f(x_i)：

求得每个格点的相异度，将每个格点进行时间序列上的相异度划分和空间序列上的相异度划分。若相异度>10,则作为杂波过滤。

第四：聚类分析

采用基于密度的聚类算法DBSCAN(Density-Based Spatial Clustering ofApplication with Noise)算法，检查每个格点的ε-邻域。如果一个点p的ε-邻域包含多于MinPts个点，则创建一个以p作为核心对象的新簇。然后，DBSCAN反复地寻找从这些核心对象直接密度可达的对象，这个过程可能涉及一些密度可达簇的合并。当没有新的点可以被添加到任何簇时，该过程结束。提取该簇的平均值做为该簇的特征值。

第五：建立估测偏差库，参考降水历史数据，建立分类模型，将数据映射到不同类别中。

依据气象学原理，将降水量的日值观测数据按“层状云降水”、“混合性降水”、“积状云降水”进行区分，然后对降水量的日值观测数据进行插值，插值范围与雷达数据范围相同。接着，采用最小化函数求取各簇的偏差值。最小化函数g(x_i)为：g(x_i)＝min{(X_i-R_i)²}

其中，X_i代表同一时次的雷达估测降水值，R_i代表同一时次同一区域的自动站的降水插值。

对雷达海量历史数据完成以上步骤，即建立了基于大数据的估测偏差库。该估测偏差库是本专利中，雷达估测自分型的基础。

第六：动态订正

1、通过当前时次的雷达数据，首先经过数据预处理后，按照最优法估测累计降水量。并计算该估测量与自动雨量站的实测值之差作为偏差值。自动雨量站数据的处理采用平均校准法，其宗旨是在整个测量区域内，用一个标准订正因子去乘各点雨量的测量值，从而得到订正后的降水分布。读取估测偏差库的相应值作为偏差阈值。当偏差值超出偏差阈值时，执行下步。否则认为雷达估测值可代表整个区域的估测值，执行完毕。

2、调整A值，使A值递减3次，每次步长0.0001，重新计算雷达估测降水值。并重复步骤1。若仍不满足，则将估测值为可疑值抛弃。

作为该技术方案的根据地形选取雷达仰角的基础上，将大数据的聚类技术引入到估测降水算法中并进行数据清洗过滤，引入偏差阈值的概念，动态调整最优法的估测系数。

实施例

如图1所示，以下三个个例分别为岳阳市2011年8月2日、2014年5月11日和2014年5月25日的反射率、估测降水值和自动雨量站实况值。将雷达定量估测降水值(图中第二行)与自动雨量站实况(第三行)进行对比，降水范围、强度均有不错的效果。

验证基于大数据的自分型雷达估测降水方法的作用与效果。选取湖南省岳阳市的原因，主要考虑以下因素：

(1)湖南省境内山地、丘陵、岗地分布广泛，占全省土地面积的80.49％，受复杂地形地貌条件和天气气候影响，降雨充沛，极易发生山洪灾害。

(2)岳阳市气象局的山洪灾害防治工作在全国范围内起步较早，收集并保存了大量有关山洪灾害资料，也积累了较丰富的经验，为本项目研究的提供有利条件。

为了验证雷达估测降水的可行性，对岳阳市近三年的降水过程进行统计，从2012－2014年共有21次中大型降水过程，如下图2所示。

使用前面所述的自分型雷达估测降水方法对岳阳2012－2014年对应降水过程的雷达资料，并结合当时的雨量站资料进行系统估测，得到1小时累积降水量产品，并将1小时累积降水量产品与雨量站统计实况进行对比。为了验证估测效果，比较时根据公式：

T＝(雨量实况值-雨量估测值)/雨量实况值×100％；

W＝雨量实况值-雨量估测值；

若得出的结果T为负，则代表估测的过程雨量被高估，数值代表高估的大小；若T为正，则代表计算雨量被低估，数值代表低估大小。而T的绝对值则代表与实测值相对的误差百分比。W代表估测的平均绝对偏差量有多少，绝对值W代表平均相对偏差量的多少。

表1自分型雷达估测降水方法与传统经验公式估测降水的对比

	经验公式估测降水	自分型估测降水
			对流降水T	-52.57％	-4.16％
对流降水\|T\|	61.61％	24.63％
			对流降水W(mm)	-11.12	0.29
对流降水\|W\|(mm)	11.53	3.85
			混合降水T	-47.78％	1.7％
混合降水\|T\|	59％	-24.03％
			混合降水W(mm)	7.22	-0.49
混合降水\|W\|(mm)	7.64	2.08
			对流降水均方根误差	17.8	5.9
混合降水均方根误差	14.32	3.19

从表1可以看出：基于大数据的自分型雷达估测降水方法对于降水估测有着很明显的改进。在对流型降水的估测中，利用传统的经验公式有着超过52％的低估，相对误差率更是达到61％。而使用基于大数据的自分型雷达估测降水方法后误差有着很好的改进，绝对平均误差率为-4％，相对误差率为24.63％。从均方根误差所表现出的估测值与真值的离散程度上来看，经验公式的均方根误差为17.8mm，而改进后的均方根降低为5.9mm，使得估测的数值更加接近实际雨量。

在对混合型降水的估测中，使用基于大数据的自分型雷达估测降水，其平均绝对误差率1.7％要远远小于经验公式的-47％，而平均相对误差率-24％也要小于经验公式的59％。均方根误差经过改进后从14.32mm降低到3.19mm。这说明基于大数据的自分型雷达估测降水技术对改进现有的雷达估测降水有直接改善作用。

以上所举实施例为本发明的较佳实施方式，仅用来方便说明本发明，并非对本发明作任何形式上的限制，任何所属技术领域中具有通常知识者，若在不脱离本发明所提技术特征的范围内，利用本发明所揭示技术内容所作出局部更动或修饰的等效实施例，并且未脱离本发明的技术特征内容，均仍属于本发明技术特征的范围内。

Claims

1.一种基于大数据的自分型雷达估测降水方法，其特征在于，该方法包括如下步骤：

1)根据雷达地形确定选取并考虑雷达波束的阻挡订正；

2)仰角合成：通过资料处理模块将雷达数据进行质量控制，并进行复合扫描平面的生成；从而将雷达低层3个仰角的基本反射率转换成一个最佳反射率的混合扫描；

<mrow> <msub> <mi>R</mi> <mi>n</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mi>m</mi> <mi>M</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>I</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

在最优化方法中采用最佳判别函数C_TF：

<mrow> <msub> <mi>C</mi> <mrow> <mi>T</mi> <mi>F</mi> </mrow> </msub> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>{</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>&lsqb;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>&rsqb;</mo> <mo>}</mo> </mrow>

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <mi>&Sigma;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>X</mi> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

5)聚类分析：采用基于密度的聚类算法的DBSCAN算法，检测每个格点的ε-邻域：若一个点p的ε-邻域包含多于MinPts个点，则创建一个以p作为核心对象的新簇，然后，DBSCAN算法反复地寻找从这些核心对象直接密度可达的对象，这个过程涉及一些密度可达簇的合并，若没有新的点可以被添加到任何簇时，该过程结束，并提取该簇的平均值做为该簇的特征值；

6)建立估测偏差库：依据气象学原理，将降水量的日值观测数据按“层状云降水”、“混合性降水”、“积状云降水”进行区分，然后对降水量的日值观测数据进行插值，插值范围与雷达数据范围相同；然后，采用最小化函数求取各簇的偏差值；

7)动态订正：经过数据清洗后，按照最优法估测累计降水量，并计算该估测量与自动雨量站的实测值之差作为偏差值，读取估测偏差库的相应值作为偏差阈值，当偏差值超出偏差阈值时，调整最优法中的A值，否则认为雷达估测值可代表整个区域的估测值。

2.根据权利要求1所述的一种基于大数据的自分型雷达估测降水方法，其特征在于：根据地形选取雷达仰角的基础上，将大数据的聚类技术引入到估测降水算法中并进行数据清洗过滤，引入偏差阈值的概念，动态调整最优法的估测系数。