CN109840260B - 一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法 - Google Patents

Abstract

本发明公开了一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，包括以下步骤：步骤1、实时接收与处理全国自动观测站点的上报数据；步骤2、判断异常值；步骤3、等时段处理；步骤4、筛选并剔除错误值；步骤5、插补计算流域面雨量。本发明提出了一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，在找出异常点后，采用“静态权重+动态插补”的方法对异常点进行插补，提升插补效率和效果，提高降雨数据的准确性。

Description

一种基于动态插补的大规模实时降雨自动观测站分级数据处 理方法

技术领域

本发明属于灾害监测及预警技术领域，尤其涉及一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，主要用于山洪模拟与预报预警等工作。

背景技术

地面观测是实现天气系统监测的重要手段，是灾害监测和预警的重要途径。近年来，无线传感器技术为地面气象观测系统带来了新的发展与应用，无线传感器与地面气象观测系统结合形成的自动观测站弥补了传统人工观测频率低、空间分辨率差等许多不足。但自动观测站仅获得站点降雨，而水文领域较关注流域面雨量，以便应用于水文模拟、洪水预报、预警决策等。因此，研究利用大规模自动观测站的观测数据进行处理并获得流域面雨量具有重要的意义。

根据水利部《水文监测数据通信规约》和《水资源监控管理系统数据传输规约》规定的水文监测系统中智能传感器与遥测终端的接口及数据通信协议、测站与中心站之间的数据通信协议，需对测站实时降雨数据报文进行解析入库。而各地雨量站采集的时段不定，造成实时降雨数据时段不固定，不同地区数据到来时间前后差异大，故而需在处理中将其认为划分为等时段数据，并记录雨量站状态是否异常。

目前根据已有区域自动站降雨信息进行面雨量处理的方法有反距离加权法(IDW)，克里金插值法(Kriging)及引入面积权重的等。截止2016年底，我国已经形成了10万多个地面自动站观测网络，并不断得到完善。然而，受局部气候扰动、自动观测站稳定性差异、观测周边环境干扰及数据通讯等诸多不确定因素，会导致系统实时接收到的降雨数据出现各种误差，包括数据缺测、数据错误、数据一致性误差、观测数据奇异值扰动、测量系统误差等问题。如果直接使用已有数据进行面雨量插值，极易出现由于自动观测站的面雨量误差，导致水文模拟、洪水预报、预警决策的错误。

全国分布的降雨自动观测站多达10万余个，每日数据条数增量达200万条。如何进行异常点识别并进行插补，以获得准确的流域面雨量，为洪水预报、山洪风险评估及预警快速提供可靠的输入条件，至今还未形成一套有效的方法。

发明内容

本发明设计了一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，其解决的技术问题是挖掘全国自动观测站中的异常值，并对异常站点位置的降雨值，提升插补效率和插补效果，在大幅减少计算量的同时，提高降雨数据的准确性。

为了解决上述存在的技术问题，本发明采用了以下方案：

一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，包括以下步骤：

步骤1、实时接收与处理全国自动观测站点的上报数据；

步骤2、通过Oracle触发器实现异常值的判断；

步骤3、将不同时刻、不同时段的降雨数据进行等时段处理；

步骤4、通过多Delaunay三角网离差控制实现错误值的筛选并剔除；

步骤5、插补计算流域面雨量。

进一步，步骤1中的全国自动观测站数据，是根据《水文监测数据通信规约》中定义的降水量编码格式，解析出测站地址、发报时间、降水量、降雨历时、降水量累计值、观测时间、电源电压等信息，并保存到数据库。

进一步，步骤2中的异常值判断是通过Oracle触发器实现的。在数据库雨量站降雨表中设定的触发器会针对每条新插入的降雨量进行有效性监测。监测分为两个方面：第一，若从某测站的降雨数据报文解析出来的降雨量大于该测站的历史降雨临界值，则认为该测站处于异常状态，并将该站点在此时段的异常状态信息标记出来；第二，判断测站平安报，若某站点平安报准时到达，且平安报正确，则该站点正常，若平安报未到达、或虽然到达但平安报不正确，则该站点异常。异常站点被标记出，同时，该站从异常时刻起的观测值均被视为异常值。

进一步，步骤3中的等时段处理是将不同时刻、不同时段的降雨数据进行等时段处理。将不定长的实时降雨数据每隔一个固定的时间段做一次等时段处理计算。如果一条降雨数据的时间跨度不超过一次处理计算的时间间隔，则将该条降雨记录视为属于整个时段的降雨量。若一条降雨数据的历时跨越连续多个时段，则按降雨时间比例均匀划分到对应的多个时段。等时段处理以10、30、60分钟为步长，对站点雨量进行等时段划分，以满足山洪模拟计算的要求。

进一步，步骤4是结合县级气象站和乡级自动站观测数据进行非连续数据筛选，对非连续降雨数据的质量筛选是通过县级+乡级二级气象站质量控制及多Delaunay三角网离差控制来实现错误降雨数据的筛选，并将错误值从降雨数据中去除。

进一步，步骤4中的Delaunay三角网生成方法可采用现有的生成算法，例如，分治算法、三角网生长法和随机增长法。其中随机增长法比较容易实现，占用计算机内存小，计算速度和显示速度快，更符合海量数据处理的高效性要求，因此采用归并构网的方法对Delaunay三角网进行并行构建，具体如下：

1)原始构网的数据集中的n个数据点按照先x后y从大到小进行排序，排序结果存入数据点集V[0...n]中。若分布式环境中有k个计算节点，则根据各节点的内存和计算能力大小及分块数据量大小，将数据点集V[0...n]中的数据点分为m个对应长度段V[s₀,s₁…s_m-1]。开辟数组T[0...m-1]记录初始生成的子三角网。

2)以每次l个段为单位，依次将s_i分配给相应的节点，调用Delaunay算法生成子三角网。由子观测点构成的点集s_i为基础数据集，额外设置三点P_iP_jP_k，使其连线行程的三角形能覆盖整个点集s_i，同时确保这三点不在s_i任意外接圆中。从s_i中抽取任意点p，分析其和当前三角形的位置关系，若p位于三角形ΔP_iP_jP_k中，则将p与ΔP_iP_jP_k连线，形成新的边和三角形，若p恰好位于ΔP_iP_jP_k的某条边，则将该边对应两个三角形顶点和p及该边两端点连接，形成新三角形。得到新的三角剖分后，对非法边不断翻转直到满足Delaunay条件，判据式如下：

重复上述过程直到完成对所有点的Delaunay剖分，并最终删除初始添加的三点P_iP_jP_k。

3)构建的子三角网一次存入T[i...i+l-1]，换出到外存，循环调用子三角网生成程序，最终形成m个初始归并段T[0...m-1]。用链表G记录生成的下一轮三角网，依次从T[0...m-1]给各个结点调入相邻的若干子三角网，并将子三角网进行临近依次归并。合并左、右两个相邻Delaunay子三角网时，首先找到连接这两个子三角网凸壳的上、下基线，然后由下基线到上基线根据空圆准则依次对这两个子三角网进行合并。按分配顺序依次将各结点合并所得的三角网插入链表尾部，换出到外存，按顺序对相邻子三角网进行归并，重复上述过程直至m个三角网归并完毕为止；

4)对链表G重复C3过程，对相邻的子三角网进行下一轮合并，直到形成最终的Delaunay三角网。

进一步，步骤4中的县级降雨自动测站一般具有较高的准确性和较强的稳定性，因此县级降雨测站数值可作为基准站，而乡级降雨测站作为Delaunay三角网基础数据组，用来进行数据筛选。Delaunay三角剖分使用观测点位置作为三角形顶点，以降水量为第三位，在空间中生成了降水量分布的立体图，构成了覆盖测量区域上的降雨曲面，本发明利用1:100抽样数据构建多个Delaunay三角网获取每个测站网格点上的数据统计分布，用测站上报点的数据离差判断数据的质量。

进一步，步骤5中的流域面雨量是通过“静态权重+动态插补”方法进行空间插值得到。按每个在小流域内所占面积比例确定静态计算权重，对于异常站点，选择异常站点周边的多个站点进行动态插补。异常站点雨量是通过其周边10-50km范围内距离最近的3-10个站点雨量插值得到。

进一步，步骤5中的流域面雨量计算是依托高性能计算机集群实现的，实际应用中将处理系统划分为时间管理、重启动管理、网格信息管理、降水数据管理、插值管理和计算流程驱动子模块，并提供使用插值模块和读写降水数据的接口。

本发明基于动态插补的大规模实时降雨自动观测站分级数据处理方法具有以下有益效果：

(1)本发明以县级观测站为基准站，乡级观测站为插值站，根据现阶段建站情况，明确了不同站点组网的作用，有助于异常站点的筛选和插值精度的提升。

(2)本发明是对10万量级的自动雨量实时观测数据进行快速处理，采用“静态权重+动态插补”策略提升了插补效率，按每个在小流域内所占面积比例预先计算静态权重，并通过识别异常站点和插补异常的方法保证权重不用重新计算，提高实时处理效率，减少了计算量。

(3)本发明将实现大范围站点的数据处理、异常站点的判断、错误值的筛选与剔除、站点插补，以此计算得到的流域面雨量更为可靠、精细化程度更高，可为山洪预报预警提供有效的数据支撑。

下面结合附图及具体实施方式对本发明作进一步详细说明。

附图说明

图1：本发明方法的流程示意图。

图2：降雨数据等时段划分示意图。

图3：异常站点插补示意图。

图4：小流域边界与计算权重示意图。

具体实施方式

实施例1

下面结合图1，对本发明做进一步说明：

本实施例所采用的技术方案是挖掘全国自动观测站中的异常值，并对异常站点位置的降雨值，采用“静态权重+动态插补”方法提升插补效率和插补效果。按照以下步骤实施：

(1)实时接收与处理全国自动观测站点的上报数据：根据《水文监测数据通信规约》中定义的降水量编码格式，解析出测站地址、发报时间、降水量、降雨历时、降水量累计值、观测时间、电源电压等信息，并保存到数据库。

(2)判断异常值：通过Oracle触发器实现异常值的判断。

首先，判断站点是否处于正常工作状态。设置站点平安报轮询定时器Timer(间隔可设置，如15分钟)判断平安报是否到达，根据到达的时刻判定站点是否异常或恢复正常。若8:00时站点平安报准时到达且正确，则该站点正常；若8:00时某站点平安报未到达、或虽然到达但平安报不正确，则该站点异常，此时将站点编码、异常开始时间写入异常站点表。若8:00后某时刻某站点平安报到达且正确，则更新异常站点表中相应站点对应的字段表示，表示该站点已从异常恢复正常，并写入异常恢复时刻。

其次，识别降雨观测数据异常值。在数据库雨量站降雨表中设定的触发器，针对每条新插入的降雨量进行有效性检测。每当有新的站点雨量值数据(P)到来时，通过站点编码从雨量站临界雨量值表中查找到该站点的有效雨量值上限(MAXP)，当发现P>MAXP时，说明该雨量值异常。从某测站的降雨数据报文解析出来的降雨量大于该测站的历史降雨临界值，则认为该测站处于异常状态，并将该站点在此时段的异常状态信息标记出来。

(3)等时段处理：由于降雨的发生时段可能会跨越山洪模拟计算的时段，且通常是不定长的，需要将其转化为定长时段降雨数据，即等时段处理。根据山洪模拟计算的要求，分别以10、30、60分钟为步长，对站点雨量进行等时段划分。

处理方法为如果一条降雨数据的时间跨度不超过一次模拟时间间隔，则将该条降雨记录视为属于整个时段的降雨量，如图2(a)所示，降雨历时在一个时段[k,k+1]内，则降雨量p属于整个时段[k,k+1]；若一条降雨数据的历时跨越连续多个时段，则按降雨时间均匀划分到对应的多个时段，如图2(b)所示，若从T_s时刻到T_e时刻的总降雨量为p,则其中p*(T_k-T_s)/(T_e-T_s)降雨量属于时段[k-1,k]，p*(T_k+1-T_k)/(T_e-T_s)降雨量属于时段[k,k+1],余下的p*(T_e-T_k+1)/(T_e-T_s)降雨量属于时段[k+1,k+2]。

(4)筛选并剔除错误值：结合县级自动站和乡级自动站观测数据进行非连续数据筛选，对非连续降雨数据的质量筛选是通过县级+乡级二级气象站的观测值，结合多Delaunay三角网建立空间连续的降雨数据，从而基于三角网离差控制来实现错误降雨数据的筛选，并将错误值从降雨数据中去除。

首先，原始构网的数据集中的n个数据点按照先x后y从大到小进行排序，排序结果存入数据点集V[0...n]中。若分布式环境中有k个计算节点，则根据各节点的内存和计算能力大小及分块数据量大小，将数据点集V[0...n]中的数据点分为m个对应长度段V[s₀,s₁…s_m-1]。开辟数组T[0...m-1]记录初始生成的子三角网。

其次，以每次l个段为单位，依次将s_i分配给相应的节点，调用Delaunay三角网生成程序子三角网。由子观测点构成的点集s_i为基础数据集，额外设置三点P_iP_jP_k，使其连线行程的三角形能覆盖整个点集s_i，同时确保这三点不在s_i任意外接圆中。从s_i中抽取任意点p，分析其和当前三角形的位置关系，若p位于三角形ΔP_iP_jP_k中，则将p与ΔP_iP_jP_k连线，形成新的边和三角形，若p恰好位于ΔP_iP_jP_k的某条边，则将该边对应两个三角形顶点和p及该边两端点连接，形成新三角形。得到新的三角剖分后，对非法边不断翻转直到满足Delaunay条件，判据式如下：

重复上述过程直到完成对所有点的Delaunay剖分，并最终删除初始添加的三点P_iP_jP_k。

再次，构建的子三角网一次存入T[i...i+l-1]，换出到外存，循环调用子三角网生成程序，最终形成m个初始归并段T[0...m-1]。用链表G记录生成的下一轮三角网，依次从T[0...m-1]给各个结点调入相邻的若干子三角网，并将子三角网进行临近依次归并。合并左、右两个相邻Delaunay子三角网时，首先找到连接这两个子三角网凸壳的上、下基线，然后由下基线到上基线根据空圆准则依次对这两个子三角网进行合并。按分配顺序依次将各结点合并所得的三角网插入链表尾部，换出到外存，按顺序对相邻子三角网进行归并，重复上述过程直至m个三角网归并完毕为止。

最后，对链表G重复C3过程，对相邻的子三角网进行下一轮合并，直到形成最终的Delaunay三角网。

(5)插补计算流域面雨量：通过“静态权重+动态插补”方法进行空间插值得到流域面雨量。按每个在小流域内所占面积比例确定静态计算权重，对于异常站点，选择异常站点周边10-50km范围内距离最近的3-10个站点，按照反权重方法动态插补异常站点降雨量。如图3所示，以异常站点S0为圆心，插补距离为半径的圆形区域内，S1-S6表示6个正常站点雨量，利用反距离权重等方法进行插补，作为异常站点S0在该时段的降雨量。

计算面雨量时，首先构建全国所有自动站点和全国53万个已划分完成的小流域间的映射关系。利用有效站点构建泰森多边形，再利用面积加权计算法得到小流域的权重WGT_i信息，如图4所示，每个黑色的圆点表示小流域内的站点S_i。为保证山洪灾害模拟分析的计算效率，每个小流域相关的雨量站数量(i)设置了一个上限，即i≤5。当雨量站多于5个时，按小流域内多边形面积由小至大，将权重较小的雨量站去除,同时调整入选的5个雨量站的权重值，保证权重之和为1。

其次，在经过数据质量筛查、异常站点插补后，直接使用高性能计算集群，依据小流域的权重信息计算流域面雨量。

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (5)

1.一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，其特征在于：包括以下步骤：

步骤1、实时接收与处理全国自动观测站点的上报数据；

步骤2、通过 Oracle触发器实现异常值的判断；

步骤3、将不同时刻、不同时段的降雨数据进行等时段处理；

步骤4、通过多Delaunay三角网离差控制实现错误值的筛选并剔除；

步骤5、插补计算流域面雨量；

步骤4中，首先结合县级气象站和乡级自动站观测数据进行非连续数据筛选，对非连续降雨数据的质量筛选是通过县级+乡级二级气象站质量控制及多Delaunay三角网离差控制来实现错误降雨数据的筛选，并将错误值从降雨数据中去除；

步骤4中，县级降雨测站数值作为基准站，乡级降雨测站作为Delaunay三角网基础数据组，用来进行数据筛选；Delaunay三角剖分使用观测点位置作为三角形顶点，以降水量为第三位，在空间中生成降水量分布的立体图，构成覆盖测量区域上的降雨曲面，利用1:100抽样数据构建多个Delaunay三角网获取每个测站网格点上的数据统计分布，用测站上报点的数据离差判断数据的质量；

步骤5中，通过“静态权重+动态插补”方法进行空间插值得到流域面雨量：按每个在小流域内所占面积比例确定静态计算权重，对于异常站点，选择异常站点周边的多个站点进行动态插补；

步骤5中，异常站点雨量是通过其周边10-50km范围内距离最近的3-10个站点雨量插值得到；

步骤5中，大规模流域面雨量计算是依托高性能计算机集群并行计算实现的，实际应用中将处理系统划分为时间管理、重启动管理、网格信息管理、降水数据管理、插值管理和计算流程驱动子模块，并提供使用插值模块和读写降水数据的接口。

2.根据权利要求1所述一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，其特征在于：步骤1中，根据《水文监测数据通信规约》中定义的降水量编码格式，解析出测站地址、发报时间、降水量、降雨历时、降水量累计值、观测时间、电源电压的信息，并保存到数据库。

3.根据权利要求1所述一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，其特征在于：步骤2中，Oracle触发器的监测分为两个方面：一是判断观测站的降雨数据是否大于观测站的历史降雨临界值，如果大于，则该站点异常；二是判断观测站的平安报，若平安报未到达、或虽然到达但平安报不正确，则该站点异常。

4.根据权利要求1所述一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，其特征在于：步骤3中，将不定长的实时降雨数据每隔一个固定的时间段做一次等时段处理计算：如果一条降雨数据的时间跨度不超过一次处理计算的时间间隔，则将该条降雨记录视为属于整个时段的降雨量；如果一条降雨数据的历时跨越连续多个时段，则按降雨时间比例均匀划分到对应的多个时段。

5.根据权利要求1所述一种基于动态插补的大规模实时降雨自动观测站分级数据处理方法，其特征在于：步骤3中，等时段处理以10、30、60分钟为步长，对站点雨量进行等时段划分，以满足山洪模拟计算的要求。