CN115980890A - 一种基于时空要素的雨量站异常数据检测方法 - Google Patents
一种基于时空要素的雨量站异常数据检测方法 Download PDFInfo
- Publication number
- CN115980890A CN115980890A CN202310256673.2A CN202310256673A CN115980890A CN 115980890 A CN115980890 A CN 115980890A CN 202310256673 A CN202310256673 A CN 202310256673A CN 115980890 A CN115980890 A CN 115980890A
- Authority
- CN
- China
- Prior art keywords
- rainfall
- data
- station
- abnormal
- rainfall station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 206010010947 Coordination abnormal Diseases 0.000 title claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 59
- 230000002159 abnormal effect Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 14
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000003908 quality control method Methods 0.000 abstract description 6
- 230000002265 prevention Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000001744 unit root test Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开一种基于时空要素的雨量站异常数据检测方法，包括以下步骤：S1、空间异常评价：S2、时序异常评价：S3、监督学习：选取历史上的正常雨量站数据和异常雨量站数据，构建训练集合，将空间异常评价得分和时序异常评价得分作为样本特征，并根据正常降雨数据和异常降雨数据的异常结果，对训练集合进行模型训练，得到最终的降雨数据监督学习模型；S4、异常数据检测：计算待测雨量站在某一时刻的空间异常评价得分和时序异常评价得分，并输入降雨数据监督学习模型，得到待测雨量站在某一时刻的异常评价结果。该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。
Description
技术领域
本发明涉及雨量站异常降雨值检测技术领域，尤其涉及一种基于时空要素的雨量站异常数据检测方法。
背景技术
降雨是诱发滑坡、崩塌和泥石流等地质灾害的重要因素，为了监测地质灾害的发育情况，对地质灾害进行预警预报，需要依靠准确有效的地面观测降水资料。雨量站是监测降雨数据的主要手段之一，由于受仪器故障、传输误差等因素影响，实际的地面观测降雨数据会出现异常值。因此，为了可以及时迅速的使用到尽可能可靠的降雨数据，就需要对地面观测降水资料进行质量控制，检测并剔除出其中的异常值。
传统的降雨数据异常检测方法包括极值检查、时变检查以及一致性检查等。极值检查是将检查值限定在一定范围内，时变检查是限制要素在观测时段内的可能变化值，一致性检查是指要素间的逻辑一致性检查。但上述方法原则上还是基于历史资料得出的界限值进行质量控制，所以准确率不是很高。此外，上述方法均是从降雨数值出发进行异常检测，没有充分结合地面雨量观测的时空特征。
发明内容
本发明的目的在于针对已有的技术现状，提供一种基于时空要素的雨量站异常数据检测方法，该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。
为达到上述目的，本发明采用如下技术方案：
一种基于时空要素的雨量站异常数据检测方法，包括以下步骤：
S1、空间异常评价：
S11、获取与目标雨量站临近的雨量站，形成参考雨量站列表，且参考雨量站列表中的每一雨量站均与目标雨量站处于同一或临近的地形地貌单元和环流背景中；
S12、将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面，以目标雨量站作为点x，从参考雨量站列表中筛选出若干雨量站，作为点集N，且点集N中的雨量站满足以下条件：
（1）点集N能够形成凸包，且点集N中的每一点均为点集N所形成凸包的顶点；
（2）参考雨量站列表中，在点集N之外的任意点均不在点集N所形成凸包的内部；
（3）点x在点集N所形成凸包的内部；
S13、根据点集N中每个雨量站在t时刻的降雨数据计算目标测雨量站在t时刻的预测降雨数据f（t），计算公式如下：
S14、空间异常评价得分计算，计算公式如下：
score-s=丨 f（t）-V丨/ f（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据；
S2、时序异常评价：
S21、采集目标雨量站从初始时刻至t时刻的降雨数据；
S22、根据步骤S21所采集的降雨数据，构建目标雨量站的ARIMA（p，d，q）模型，并训练ARIMA（p，d，q）模型；
S23、将目标雨量站从初始时刻至t时刻的前一时刻的降雨数据输入训练后的ARIMA（p，d，q）模型，进行降雨量预测，得到目标雨量站在t时刻的预测降雨数据ARIMA（t）；
S24、时序异常评价得分计算，计算公式如下：
score-t=丨ARIMA（t）-V丨/ ARIMA（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据；
S3、监督学习：
选取历史上的正常雨量站数据和异常雨量站数据，构建训练集合，将score-s和score-t作为样本特征，并根据正常降雨数据和异常降雨数据的异常结果，对训练集合进行模型训练，得到最终的降雨数据监督学习模型；
S4、异常数据检测：
将待测雨量站作为目标雨量站，根据步骤S1和步骤S2分别计算待测雨量站在某一时刻的空间异常评价得分和时序异常评价得分，将待测雨量站的空间异常评价得分和时序异常评价得分均输入步骤S3的降雨数据监督学习模型，得到待测雨量站在某一时刻的异常评价结果。
进一步的，构建目标雨量站的ARIMA（p，d，q）模型的步骤包括：使用单位根检验法，对步骤S21所采集的降雨数据进行平稳性检测，确定ARIMA（p，d，q）模型中的差分阶数d。
进一步的，构建目标雨量站的ARIMA（p，d，q）模型的步骤包括：根据最小化贝叶斯信息准则，确定ARIMA（p，d，q）模型中的自回归阶数P和移动回归阶数q。
进一步的，选取历史上的正常雨量站数据和异常雨量站数据时，正常雨量站数量与异常雨量站数量相同。
进一步的，根据聚类法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。
进一步的，根据自然断点法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。
本发明的有益效果为：
本发明从空间和时间两个维度对雨量站降雨数据进行异常评价，一方面，关注空间邻居的非空间属性值的局部差异和邻居空间距离的影响，另一方面，在时间维度上基于时序数据进行自回归检测，最后，融合多维度的异常评价结果得到待测雨量站降雨数据的异常检测结果。该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。
附图说明
图1为本发明基于时空要素的雨量站异常数据检测方法的流程图；
图2为本发明将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面的示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
首先，需要说明的是，对于雨量站而言，从初始时刻开始，某一时刻的降雨数据是前一时刻至该时刻这一时段内的降雨数据，例如，上午9点的降雨数据是指上午8点至上午9点这一时段内的降雨数据。
请参阅图1-2所示，一种基于时空要素的雨量站异常数据检测方法，包括以下步骤：S1、空间异常评价；S2、时序异常评价；S3、监督学习；S4、异常数据检测。
具体的，空间异常评价的步骤如下：
S11、获取与目标雨量站临近的雨量站，形成参考雨量站列表，且参考雨量站列表中的每一雨量站均与目标雨量站处于同一或临近的地形地貌单元和环流背景中；
S12、将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面，以目标雨量站作为点x，从参考雨量站列表中筛选出若干雨量站，作为点集N，且点集N中的雨量站满足以下条件：
（1）点集N能够形成凸包，且点集N中的每一点均为点集N所形成凸包的顶点；
（2）参考雨量站列表中，在点集N之外的任意点均不在点集N所形成凸包的内部；
（3）点x在点集N所形成凸包的内部；
如图2所示，点x为E点，点集N包含A点、B点、C点、D点；
S13、根据点集N中每个雨量站在t时刻的降雨数据计算目标测雨量站在t时刻的预测降雨数据f（t），计算公式如下：
S14、空间异常评价得分计算，计算公式如下：
score-s=丨 f（t）-V丨/ f（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据。
上述技术方案根据目标雨量站周围构成凸包的雨量站的空间属性和降雨数据来进行插值计算，进而得到目标雨量站的降雨值，既考虑了空间距离，也考虑了空间结构特征，而且所选的参考雨量站与目标雨量站处于同一或邻近的地形地貌单元和环流背景中，这样选择的雨量站数据更可靠，提高了插值计算的有效性。
具体的，时序异常评价的步骤如下：
S21、采集目标雨量站从初始时刻至t时刻的降雨数据；
S22、根据步骤S21所采集的降雨数据，构建目标雨量站的ARIMA（p，d，q）模型，并训练ARIMA（p，d，q）模型，ARIMA模型是差分整合移动平均自回归模型，又称整合移动平均自回归模型，其中：
构建目标雨量站的ARIMA（p，d，q）模型的步骤如下：使用单位根检验法，对降雨序列进行平稳性检测，确定ARIMA（p，d，q）模型中的差分阶数d；根据最小化贝叶斯信息准则，确定ARIMA（p，d，q）模型中的自回归阶数P和移动回归阶数q；
S23、将目标雨量站从初始时刻至t时刻的前一时刻的降雨数据输入训练后的ARIMA（p，d，q）模型，进行降雨量预测，得到目标雨量站在t时刻的预测降雨数据ARIMA（t）；
S24、时序异常评价得分计算，计算公式如下：
score-t=丨ARIMA（t）-V丨/ ARIMA（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据。
具体的，监督学习的步骤如下：
选取历史上的正常雨量站数据和异常雨量站数据，构建训练集合，优选的是，正常雨量站数量与异常雨量站数量相同；
将score-s和score-t作为样本特征，并根据正常降雨数据和异常降雨数据的异常结果（例如，将正常降雨数据/异常降雨数据的异常结果设定为0/1），对训练集合进行模型训练，得到最终的降雨数据监督学习模型。
具体的，异常数据检测的步骤如下：
将待测雨量站作为目标雨量站，根据步骤S1和步骤S2分别计算待测雨量站在某一时刻的空间异常评价得分和时序异常评价得分，将待测雨量站的空间异常评价得分和时序异常评价得分均输入步骤S3的降雨数据监督学习模型，得到待测雨量站在某一时刻的异常评价结果。
获得异常评价结果后，还可以对异常评价结果进行分级。
作为其中一种实施方式，根据聚类法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。
作为另一种实施方式，根据自然断点法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。
总的来说，本发明从空间和时间两个维度对雨量站降雨数据进行异常评价，一方面，关注空间邻居的非空间属性值的局部差异和邻居空间距离的影响，另一方面，在时间维度上基于时序数据进行自回归检测，最后，融合多维度的异常评价结果得到待测雨量站降雨数据的异常检测结果。
该雨量站异常数据检测方法提高了雨量站异常数据检测的准确性和可解释性，对地面观测降水资料的质量控制以及防灾减灾工作提供有效支撑。
当然，以上仅为本发明较佳实施方式，并非以此限定本发明的使用范围，故，凡是在本发明原理上做等效改变均应包含在本发明的保护范围内。
Claims (6)
1.一种基于时空要素的雨量站异常数据检测方法，其特征在于：包括以下步骤：
S1、空间异常评价：
S11、获取与目标雨量站临近的雨量站，形成参考雨量站列表，且参考雨量站列表中的每一雨量站均与目标雨量站处于同一或临近的地形地貌单元和环流背景中；
S12、将目标雨量站和参考雨量站列表中所有雨量站均投影至水平面，以目标雨量站作为点x，从参考雨量站列表中筛选出若干雨量站，作为点集N，且点集N中的雨量站满足以下条件：
（1）点集N能够形成凸包，且点集N中的每一点均为点集N所形成凸包的顶点；
（2）参考雨量站列表中，在点集N之外的任意点均不在点集N所形成凸包的内部；
（3）点x在点集N所形成凸包的内部；
S13、根据点集N中每个雨量站在t时刻的降雨数据计算目标测雨量站在t时刻的预测降雨数据f（t），计算公式如下：
S14、空间异常评价得分计算，计算公式如下：
score-s=丨 f（t）-V丨/ f（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据；
S2、时序异常评价：
S21、采集目标雨量站从初始时刻至t时刻的降雨数据；
S22、根据步骤S21所采集的降雨数据，构建目标雨量站的ARIMA（p，d，q）模型，并训练ARIMA（p，d，q）模型；
S23、将目标雨量站从初始时刻至t时刻的前一时刻的降雨数据输入训练后的ARIMA（p，d，q）模型，进行降雨量预测，得到目标雨量站在t时刻的预测降雨数据ARIMA（t）；
S24、时序异常评价得分计算，计算公式如下：
score-t=丨ARIMA（t）-V丨/ ARIMA（t）+V，其中，V为目标雨量站在t时刻的实际观测降雨数据；
S3、监督学习：
选取历史上的正常雨量站数据和异常雨量站数据，构建训练集合，将score-s和score-t作为样本特征，并根据正常降雨数据和异常降雨数据的异常结果，对训练集合进行模型训练，得到最终的降雨数据监督学习模型；
S4、异常数据检测：
将待测雨量站作为目标雨量站，根据步骤S1和步骤S2分别计算待测雨量站在某一时刻的空间异常评价得分和时序异常评价得分，将待测雨量站的空间异常评价得分和时序异常评价得分均输入步骤S3的降雨数据监督学习模型，得到待测雨量站在某一时刻的异常评价结果。
2.根据权利要求1所述的一种基于时空要素的雨量站异常数据检测方法，其特征在于：构建目标雨量站的ARIMA（p，d，q）模型的步骤包括：使用单位根检验法，对步骤S21所采集的降雨数据进行平稳性检测，确定ARIMA（p，d，q）模型中的差分阶数d。
3.根据权利要求2所述的一种基于时空要素的雨量站异常数据检测方法，其特征在于：构建目标雨量站的ARIMA（p，d，q）模型的步骤包括：根据最小化贝叶斯信息准则，确定ARIMA（p，d，q）模型中的自回归阶数P和移动回归阶数q。
4.根据权利要求1所述的一种基于时空要素的雨量站异常数据检测方法，其特征在于：选取历史上的正常雨量站数据和异常雨量站数据时，正常雨量站数量与异常雨量站数量相同。
5.根据权利要求1至4任意一项所述的一种基于时空要素的雨量站异常数据检测方法，其特征在于：根据聚类法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。
6.根据权利要求1至4任意一项所述的一种基于时空要素的雨量站异常数据检测方法，其特征在于：根据自然断点法，将待测雨量站在某一时刻的异常评价结果分为十分可信、较可信和不可信，然后根据不同的检测级别，采取不同的管理控制手段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310256673.2A CN115980890B (zh) | 2023-03-17 | 2023-03-17 | 一种基于时空要素的雨量站异常数据检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310256673.2A CN115980890B (zh) | 2023-03-17 | 2023-03-17 | 一种基于时空要素的雨量站异常数据检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115980890A true CN115980890A (zh) | 2023-04-18 |
| CN115980890B CN115980890B (zh) | 2023-06-20 |
Family
ID=85968389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310256673.2A Active CN115980890B (zh) | 2023-03-17 | 2023-03-17 | 一种基于时空要素的雨量站异常数据检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115980890B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009186251A (ja) * | 2008-02-05 | 2009-08-20 | Fujitsu Ltd | 雨量値補間、累計雨量積算方法 |
| CN112506990A (zh) * | 2020-12-03 | 2021-03-16 | 河海大学 | 一种基于时空信息的水文数据异常检测方法 |
| CN113032733A (zh) * | 2021-03-27 | 2021-06-25 | 长江水利委员会水文局 | 基于非线性分类回归分析的遥感降雨误差校正方法及系统 |
| US11333797B1 (en) * | 2021-04-14 | 2022-05-17 | China Institute Of Water Resources And Hydropower Research | Method for estimating quantitative precipitation by combining observation data of weather radar and rain gauges |
| CN115080556A (zh) * | 2022-08-19 | 2022-09-20 | 中国水利水电科学研究院 | 一种降雨监测异常数据检测及插补方法 |
-
2023
- 2023-03-17 CN CN202310256673.2A patent/CN115980890B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009186251A (ja) * | 2008-02-05 | 2009-08-20 | Fujitsu Ltd | 雨量値補間、累計雨量積算方法 |
| CN112506990A (zh) * | 2020-12-03 | 2021-03-16 | 河海大学 | 一种基于时空信息的水文数据异常检测方法 |
| CN113032733A (zh) * | 2021-03-27 | 2021-06-25 | 长江水利委员会水文局 | 基于非线性分类回归分析的遥感降雨误差校正方法及系统 |
| US11333797B1 (en) * | 2021-04-14 | 2022-05-17 | China Institute Of Water Resources And Hydropower Research | Method for estimating quantitative precipitation by combining observation data of weather radar and rain gauges |
| CN115080556A (zh) * | 2022-08-19 | 2022-09-20 | 中国水利水电科学研究院 | 一种降雨监测异常数据检测及插补方法 |
Non-Patent Citations (3)
| Title |
|---|
| XIAOFEI PANG: "Research on noise reduction combined model for short-term precipitation forecast", 《PROC. OF SPIE》 * |
| 张强 等: "自动雨量站降雨资料质量评估方法研究", 《应用气象学报》 * |
| 田济扬: "大规模降雨监测数据异常识别方法", 《中国水利水电科学研究院学报（中英文）》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115980890B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111737909B (zh) | 基于时空图卷积网络的结构健康监测数据异常识别方法 | |
| CN112819207B (zh) | 基于相似性度量的地质灾害空间预测方法、系统及存储介质 | |
| CN109063366B (zh) | 一种基于时间和空间加权的建筑性能数据在线预处理方法 | |
| CN112200237B (zh) | 一种结构健康监测系统时序监测数据异常诊断方法 | |
| KR102169452B1 (ko) | IoT 기상환경 수집 데이터의 안정성 확보 방법 | |
| CN111625988A (zh) | 基于深度学习的桥梁健康管理分析与预测系统及方法 | |
| CN111104736B (zh) | 基于时间序列的异常数据检测方法、装置、介质和设备 | |
| CN111222189A (zh) | 一种高效的桥梁结构健康预警控制系统、方法 | |
| CN117612339B (zh) | 基于铁塔大数据的地质灾害监测方法及系统 | |
| CN112766301B (zh) | 一种采油机示功图相似性判断方法 | |
| Ye et al. | A deep learning-based method for automatic abnormal data detection: Case study for bridge structural health monitoring | |
| CN114997534A (zh) | 基于视觉特征的相似降雨预报方法和设备 | |
| CN117629122B (zh) | 一种水坝位移的监测与预警方法及系统 | |
| US20230169681A1 (en) | Quantitative evaluation method and system for prediction result of remote sensing inversion | |
| CN114611372A (zh) | 一种基于物联网边缘计算的工业设备健康预测方法 | |
| CN116910677A (zh) | 一种工业仪表故障诊断方法及系统 | |
| CN115392782A (zh) | 一种核电厂工艺系统健康状态监测和诊断方法及系统 | |
| CN116451554A (zh) | 考虑多种气象因子的电网气象风险预测方法 | |
| CN114019139B (zh) | 一种农用地土壤重金属异常数据的探测方法 | |
| CN116906837B (zh) | 地下管线的状态监测系统及监测方法 | |
| CN110057588B (zh) | 基于奇异值与图论特征融合的轴承早期故障检测与诊断方法及系统 | |
| CN115063337A (zh) | 埋地管道智能维修决策方法及装置 | |
| CN115980890B (zh) | 一种基于时空要素的雨量站异常数据检测方法 | |
| CN115439287B (zh) | 一种基于机器学习的地质灾害危险性评价方法 | |
| CN114547796B (zh) | 一种基于优化bn网络的球磨机特征融合故障诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |