CN115936496A - 水质预测模型数据治理标准化方法 - Google Patents

水质预测模型数据治理标准化方法 Download PDF

Info

Publication number
CN115936496A
CN115936496A CN202211513547.2A CN202211513547A CN115936496A CN 115936496 A CN115936496 A CN 115936496A CN 202211513547 A CN202211513547 A CN 202211513547A CN 115936496 A CN115936496 A CN 115936496A
Authority
CN
China
Prior art keywords
data
water quality
meteorological
section
monitoring section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211513547.2A
Other languages
English (en)
Other versions
CN115936496B (zh
Inventor
张志苗
罗镭
邱文婷
王莹
刘柏音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Research Academy of Environmental Sciences
Original Assignee
Chinese Research Academy of Environmental Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Research Academy of Environmental Sciences filed Critical Chinese Research Academy of Environmental Sciences
Priority to CN202211513547.2A priority Critical patent/CN115936496B/zh
Publication of CN115936496A publication Critical patent/CN115936496A/zh
Application granted granted Critical
Publication of CN115936496B publication Critical patent/CN115936496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Abstract

本发明提供一种水质预测模型数据治理标准化方法,包括:步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。本发明将监测断面水质数据、监测断面对应的水文数据、天气数据进行数据拼接,为进一步智能化建模打下数据基础,可提高监测断面水质预测准确性。

Description

水质预测模型数据治理标准化方法
技术领域
本发明属于水环境数据治理技术领域,具体涉及一种水质预测模型数据治理标准化方法。
背景技术
目前,水环境模拟或预测的基础数据,只有监测断面的水质数据,数据类型单一,限制了准确模拟水环境。
发明内容
针对现有技术存在的缺陷,本发明提供一种水质预测模型数据治理标准化方法,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种水质预测模型数据治理标准化方法,包括以下步骤:
步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;
步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;
步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。
优选的,步骤1具体为:
步骤1.1,寻找监测断面所属的水文监测断面;
步骤1.2,根据经纬度距离计算方法,在步骤1.1得到的水文监测断面中,得到与监测断面距离最近的水文监测断面;
步骤1.3,将距离最近的水文监测断面的水文数据,与监测断面的水质数据建立匹配关系,进行数据连接,得到监测断面水质水文表。
优选的,步骤1.3中,由于水文监测断面的水文数据的采集频率,与监测断面的水质数据的采集频率不同,在时间尺度上,将水文数据的采样时间,转化为水质数据的采样时间。
优选的,步骤2具体为:
步骤2.1,寻找距离监测断面设定距离范围内的最近的n个气象监测断面;
步骤2.2,通过反距离加权计算监测断面对应的气象数据
Figure BDA0003969992030000021
步骤2.3,实现监测断面水质数据与气象数据
Figure BDA0003969992030000022
的匹配。
优选的,步骤2.1中,如果寻找到的气象监测断面的数量不足n个,则以实际寻找到的气象监测断面为基础,进行水质数据与气象数据的匹配。
优选的,步骤2.2具体为:
采用以下公式,计算得到监测断面对应的气象数据
Figure BDA0003969992030000023
Figure BDA0003969992030000024
Figure BDA0003969992030000025
其中:
n为寻找到的气象监测断面的数量;
hi表示第i个气象监测断面距监测断面的距离;i=1,2,...,n;
p为超参数,该值越大,气象监测断面因距离产生的权重差越大;
hj表示第j个气象监测断面距监测断面的距离;j=1,2,...,n;
Wi表示第i个气象监测断面计算的权重;
Wj表示第j个气象监测断面计算的权重;
Xj表示第j个气象监测断面的某个气象指标向量;
Figure BDA0003969992030000026
表示监测断面对应的气象数据。
本发明提供的水质预测模型数据治理标准化方法具有以下优点:
本发明将监测断面水质数据、监测断面对应的水文数据、天气数据进行数据拼接,为进一步智能化建模打下数据基础,可提高监测断面水质预测准确性。
附图说明
图1为本发明提供的水质预测模型数据治理标准化方法的流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明涉及水环境数据治理领域,用于将监测断面水质数据、监测断面对应的水文数据、天气数据进行数据拼接,为进一步智能化建模打下数据基础。
智能化大数据分析依赖于复杂多样的数据量,其数据量越大、种类越多,其所含的信息就越丰富,更有利于未来智能化模型性能的提升,更为进一步水文、水质、气象数据的联合分析打下数据基础。
本发明提供一种水质预测模型数据治理标准化方法,包括以下步骤:
步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;
步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;
步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。
水质预测模型数据治理标准化方法,核心在于确定监测断面水质数据与水文信息、气象信息的关联规则,具体如下:
(1)断面水质数据与水文数据
当前监测断面和水文数据没有明确的关联关系,为此需要建立两者的所属关系。具体方案如下:
Step1:寻找监测断面所属的水文监测断面。
Step2:根据经纬度计算水文监测断面中,与监测断面距离最近的水文监测断面。
Step3:将最近水文监测断面与监测断面的水质数据建立匹配关系,进行数据连接,得到监测断面水质水文表。
同时,由于水文监测断面的水文数据的采集频率,与监测断面的水质数据的采集频率不同,在时间尺度上,将水文数据的采样时间,转化为水质数据的采样时间。
例如,水质数据采集频率为小时,水文数据采集频率是天,为此当前默认将水文以天为频率的数据对应到水质的小时数据,即默认当天内的水文数据是相同的。
(2)断面水质数据与气象数据
当前监测断面和气象监测断面没有明确的关联关系,为此使监测断面水质数据和气象数据进行对应匹配,需要先建立两个对象的归属关系。具体的,寻找监测断面距离最近的气象监测断面,将其数据进行拼接。但考虑到地形复杂性,比如监测断面和最近气象监测断面一山相隔,即使两者距离最近,但气象信息却差异很大。
为尽可能避免上述错误,本发明提出距离加权气象数据构造模型,计算逻辑如下:
Step1:寻找距离监测断面设定距离范围内的最近的n个气象监测断面;
例如,根据经纬度寻找监测断面180公里以内前10个距离最近的气象监测断面,不满足10个时以寻找到的气象监测断面为准。
Step2:通过反距离加权计算监测断面对应的气象数据
Figure BDA0003969992030000051
反距离加权法为空间内插方法,根据样本点和未知点间的距离计算权重进行加权平均,点间距离越小样本点被所赋权重越大。
Figure BDA0003969992030000052
Figure BDA0003969992030000053
其中:
n为寻找到的气象监测断面的数量;
hi表示第i个气象监测断面距监测断面的距离;i=1,2,...,n;
p为超参数,该值越大,气象监测断面因距离产生的权重差越大;
hj表示第j个气象监测断面距监测断面的距离;j=1,2,...,n;
Wi表示第i个气象监测断面计算的权重;
Wj表示第j个气象监测断面计算的权重;
Xj表示第j个气象监测断面的某个气象指标向量;
Figure BDA0003969992030000054
表示监测断面对应的气象数据。
下面介绍一个具体实施例:、
本发明在全国流域1794个监测断面进行示范使用。
步骤一:寻找监测断面最近的水文站;水文站即为水文监测断面。
通过GIS手段寻找与监测断面同一河流最近的水文站。
步骤二:监测断面的水质数据匹配水文站的水文数据
基于水文站水文数据和监测断面的关系,采用表连接将水文数据和水质数据连接起来形成水质水文表。
步骤三:寻找监测断面最近的气象站;气象站即为气象监测断面。
基于经纬度的方法寻找与监测断面最近的10个气象站。
步骤四:水文水质表匹配对应的气象数据
基于反距离加权的方法计算监测断面对应10个气象监测断面的加权气象数据,并进行数据匹配。
本发明以监测断面为研究对象,实现监测断面未来1-7、15、30、60、90天物质浓度最大值、最小值、均值的预测预警,综合考虑水文数据、水质数据、气象数据、上下游断面位置数据等数据,基于人工智能算法对大数据高效的挖掘能力提高了数据的利用率,将得到的历史数据间变化规律用于预测未来断面水质指标的变化。综合来看,基于实时、全面的环境大数据,深度结合人工智能等方法,能实时、准确地感知环境未来的变化。进一步来看,将环境风险的人工识别转向机器智能识别,就是将固定时间的调查统计转为实时的主动发现,为风险的防范提供了更高级别的保障。同时,人工智能大数据可以实现定期的自我模型更新,针对于断面新阶段新特征可以第一时间获知并加以利用预测,避免过去规律不适应当前现状所造成预测不准确的窘境。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种水质预测模型数据治理标准化方法,其特征在于,包括以下步骤:
步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;
步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;
步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。
2.根据权利要求1所述的水质预测模型数据治理标准化方法,其特征在于,步骤1具体为:
步骤1.1,寻找监测断面所属的水文监测断面;
步骤1.2,根据经纬度距离计算方法,在步骤1.1得到的水文监测断面中,得到与监测断面距离最近的水文监测断面;
步骤1.3,将距离最近的水文监测断面的水文数据,与监测断面的水质数据建立匹配关系,进行数据连接,得到监测断面水质水文表。
3.根据权利要求2所述的水质预测模型数据治理标准化方法,其特征在于,步骤1.3中,由于水文监测断面的水文数据的采集频率,与监测断面的水质数据的采集频率不同,在时间尺度上,将水文数据的采样时间,转化为水质数据的采样时间。
4.根据权利要求1所述的水质预测模型数据治理标准化方法,其特征在于,步骤2具体为:
步骤2.1,寻找距离监测断面设定距离范围内的最近的n个气象监测断面;
步骤2.2,通过反距离加权计算监测断面对应的气象数据
Figure FDA0003969992020000011
步骤2.3,实现监测断面水质数据与气象数据
Figure FDA0003969992020000012
的匹配。
5.根据权利要求4所述的水质预测模型数据治理标准化方法,其特征在于,步骤2.1中,如果寻找到的气象监测断面的数量不足n个,则以实际寻找到的气象监测断面为基础,进行水质数据与气象数据的匹配。
6.根据权利要求4所述的水质预测模型数据治理标准化方法,其特征在于,步骤2.2具体为:
采用以下公式,计算得到监测断面对应的气象数据
Figure FDA0003969992020000021
Figure FDA0003969992020000022
Figure FDA0003969992020000023
其中:
n为寻找到的气象监测断面的数量;
hi表示第i个气象监测断面距监测断面的距离;i=1,2,...,n;
p为超参数,该值越大,气象监测断面因距离产生的权重差越大;
hj表示第j个气象监测断面距监测断面的距离;j=1,2,...,n;
Wi表示第i个气象监测断面计算的权重;
Wj表示第j个气象监测断面计算的权重;
Xj表示第j个气象监测断面的某个气象指标向量;
Figure FDA0003969992020000024
表示监测断面对应的气象数据。
CN202211513547.2A 2022-11-29 2022-11-29 水质预测模型数据治理标准化方法 Active CN115936496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211513547.2A CN115936496B (zh) 2022-11-29 2022-11-29 水质预测模型数据治理标准化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211513547.2A CN115936496B (zh) 2022-11-29 2022-11-29 水质预测模型数据治理标准化方法

Publications (2)

Publication Number Publication Date
CN115936496A true CN115936496A (zh) 2023-04-07
CN115936496B CN115936496B (zh) 2023-09-19

Family

ID=86700157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211513547.2A Active CN115936496B (zh) 2022-11-29 2022-11-29 水质预测模型数据治理标准化方法

Country Status (1)

Country Link
CN (1) CN115936496B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102809375A (zh) * 2012-08-07 2012-12-05 河海大学 水下导航与水质参数经纬度分布的感测与计算系统及方法
CN107340365A (zh) * 2017-06-19 2017-11-10 中国科学院南京地理与湖泊研究所 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法
CN107749081A (zh) * 2017-08-22 2018-03-02 福建四创软件有限公司 基于三维网格可视化动态播放的水生态预测成果展示方法
WO2018214190A1 (zh) * 2017-06-19 2018-11-29 中国科学院南京地理与湖泊研究所 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法
CN110689179A (zh) * 2019-09-18 2020-01-14 北京工商大学 基于时空序列混合模型的水华预测方法
CN112651665A (zh) * 2021-01-14 2021-04-13 浙江鸿程计算机系统有限公司 一种基于图神经网络的地表水水质指标预测方法和装置
CN113723703A (zh) * 2021-09-07 2021-11-30 东莞理工学院 基于多源数据融合和深度学习的水质预测方法及其系统
CN113868223A (zh) * 2021-09-02 2021-12-31 深圳中兴网信科技有限公司 水质监测方法、装置、系统和可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102809375A (zh) * 2012-08-07 2012-12-05 河海大学 水下导航与水质参数经纬度分布的感测与计算系统及方法
CN107340365A (zh) * 2017-06-19 2017-11-10 中国科学院南京地理与湖泊研究所 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法
WO2018214190A1 (zh) * 2017-06-19 2018-11-29 中国科学院南京地理与湖泊研究所 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法
US20210293770A1 (en) * 2017-06-19 2021-09-23 Nanjing Institute Of Geography & Limnology. Chinese Academy Of Sciences Stereoscopic monitoring and data mining system and method for harmful lake cyanobacteria bloom
CN107749081A (zh) * 2017-08-22 2018-03-02 福建四创软件有限公司 基于三维网格可视化动态播放的水生态预测成果展示方法
CN110689179A (zh) * 2019-09-18 2020-01-14 北京工商大学 基于时空序列混合模型的水华预测方法
CN112651665A (zh) * 2021-01-14 2021-04-13 浙江鸿程计算机系统有限公司 一种基于图神经网络的地表水水质指标预测方法和装置
CN113868223A (zh) * 2021-09-02 2021-12-31 深圳中兴网信科技有限公司 水质监测方法、装置、系统和可读存储介质
CN113723703A (zh) * 2021-09-07 2021-11-30 东莞理工学院 基于多源数据融合和深度学习的水质预测方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈慧文;陈锦辉;吴建辉;赵晨;范厚勇;王琳;: "基于空间插值法的长江口海水质量评价", 安徽农学通报, no. 06 *
黄华,寇晓芳,许义军,李振通: "太湖流域水质中长期预警模型构建", 《今日自动化》, no. 2, pages 92 - 93 *

Also Published As

Publication number Publication date
CN115936496B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN112070286B (zh) 复杂地形流域的降水预报预警系统
CN102332210B (zh) 基于手机定位数据的实时城市道路交通流数据提取方法
CN108171993B (zh) 一种基于手机信令大数据的高速公路车辆速度计算方法
CN111428942B (zh) 基于变网格技术提取微地形因子的线路覆冰厚度预测方法
CN110232471B (zh) 一种降水传感网节点布局优化方法及装置
CN110738855B (zh) 一种数据稀疏时间段的道路交通流状况预测方法
CN107945510B (zh) 一种考虑交通需求和道路网络运行效率的路段检测方法
CN111510500B (zh) 一种基于边缘计算的水质监测数据校准方法
CN101794507A (zh) 基于浮动车数据的宏观路网交通状态评价方法
CN110738355A (zh) 一种基于神经网络的城市内涝预测方法
CN110211325A (zh) 一种基于气象大数据的区域道路结冰高精度监测预警系统
CN113762618B (zh) 一种基于多因子相似分析的湖泊水位预报方法
CN112348290A (zh) 河流水质预测方法、装置、存储介质及设备
CN111462492B (zh) 一种基于里奇流的关键路段检出方法
CN111461192B (zh) 基于多水文站联动学习的河道水位流量关系确定方法
CN117093832B (zh) 一种用于空气质量数据缺失的数据插补方法及系统
CN114862035A (zh) 一种基于迁移学习的组合式海湾水温预测方法
CN114417724A (zh) 一种山地城市土地利用演变的模拟方法
CN109190797A (zh) 一种基于改进k最近邻的大规模路网状态短时预测方法
CN113434619A (zh) 一种4g的高速公路智能交通路况监控系统
CN115422782B (zh) 一种基于水文模型的洪水预报系统
CN117151800A (zh) 一种农村土地基准地价评估方法
CN115936496B (zh) 水质预测模型数据治理标准化方法
CN115691140B (zh) 一种汽车充电需求时空分布的分析与预测方法
CN116202575A (zh) 一种水土保持土壤流失率监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant