CN115936496A - 水质预测模型数据治理标准化方法 - Google Patents
水质预测模型数据治理标准化方法 Download PDFInfo
- Publication number
- CN115936496A CN115936496A CN202211513547.2A CN202211513547A CN115936496A CN 115936496 A CN115936496 A CN 115936496A CN 202211513547 A CN202211513547 A CN 202211513547A CN 115936496 A CN115936496 A CN 115936496A
- Authority
- CN
- China
- Prior art keywords
- data
- water quality
- meteorological
- section
- monitoring section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Abstract
本发明提供一种水质预测模型数据治理标准化方法,包括:步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。本发明将监测断面水质数据、监测断面对应的水文数据、天气数据进行数据拼接,为进一步智能化建模打下数据基础,可提高监测断面水质预测准确性。
Description
技术领域
本发明属于水环境数据治理技术领域,具体涉及一种水质预测模型数据治理标准化方法。
背景技术
目前,水环境模拟或预测的基础数据,只有监测断面的水质数据,数据类型单一,限制了准确模拟水环境。
发明内容
针对现有技术存在的缺陷,本发明提供一种水质预测模型数据治理标准化方法,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种水质预测模型数据治理标准化方法,包括以下步骤:
步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;
步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;
步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。
优选的,步骤1具体为:
步骤1.1,寻找监测断面所属的水文监测断面;
步骤1.2,根据经纬度距离计算方法,在步骤1.1得到的水文监测断面中,得到与监测断面距离最近的水文监测断面;
步骤1.3,将距离最近的水文监测断面的水文数据,与监测断面的水质数据建立匹配关系,进行数据连接,得到监测断面水质水文表。
优选的,步骤1.3中,由于水文监测断面的水文数据的采集频率,与监测断面的水质数据的采集频率不同,在时间尺度上,将水文数据的采样时间,转化为水质数据的采样时间。
优选的,步骤2具体为:
步骤2.1,寻找距离监测断面设定距离范围内的最近的n个气象监测断面;
优选的,步骤2.1中,如果寻找到的气象监测断面的数量不足n个,则以实际寻找到的气象监测断面为基础,进行水质数据与气象数据的匹配。
优选的,步骤2.2具体为:
其中:
n为寻找到的气象监测断面的数量;
hi表示第i个气象监测断面距监测断面的距离;i=1,2,...,n;
p为超参数,该值越大,气象监测断面因距离产生的权重差越大;
hj表示第j个气象监测断面距监测断面的距离;j=1,2,...,n;
Wi表示第i个气象监测断面计算的权重;
Wj表示第j个气象监测断面计算的权重;
Xj表示第j个气象监测断面的某个气象指标向量;
本发明提供的水质预测模型数据治理标准化方法具有以下优点:
本发明将监测断面水质数据、监测断面对应的水文数据、天气数据进行数据拼接,为进一步智能化建模打下数据基础,可提高监测断面水质预测准确性。
附图说明
图1为本发明提供的水质预测模型数据治理标准化方法的流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明涉及水环境数据治理领域,用于将监测断面水质数据、监测断面对应的水文数据、天气数据进行数据拼接,为进一步智能化建模打下数据基础。
智能化大数据分析依赖于复杂多样的数据量,其数据量越大、种类越多,其所含的信息就越丰富,更有利于未来智能化模型性能的提升,更为进一步水文、水质、气象数据的联合分析打下数据基础。
本发明提供一种水质预测模型数据治理标准化方法,包括以下步骤:
步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;
步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;
步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。
水质预测模型数据治理标准化方法,核心在于确定监测断面水质数据与水文信息、气象信息的关联规则,具体如下:
(1)断面水质数据与水文数据
当前监测断面和水文数据没有明确的关联关系,为此需要建立两者的所属关系。具体方案如下:
Step1:寻找监测断面所属的水文监测断面。
Step2:根据经纬度计算水文监测断面中,与监测断面距离最近的水文监测断面。
Step3:将最近水文监测断面与监测断面的水质数据建立匹配关系,进行数据连接,得到监测断面水质水文表。
同时,由于水文监测断面的水文数据的采集频率,与监测断面的水质数据的采集频率不同,在时间尺度上,将水文数据的采样时间,转化为水质数据的采样时间。
例如,水质数据采集频率为小时,水文数据采集频率是天,为此当前默认将水文以天为频率的数据对应到水质的小时数据,即默认当天内的水文数据是相同的。
(2)断面水质数据与气象数据
当前监测断面和气象监测断面没有明确的关联关系,为此使监测断面水质数据和气象数据进行对应匹配,需要先建立两个对象的归属关系。具体的,寻找监测断面距离最近的气象监测断面,将其数据进行拼接。但考虑到地形复杂性,比如监测断面和最近气象监测断面一山相隔,即使两者距离最近,但气象信息却差异很大。
为尽可能避免上述错误,本发明提出距离加权气象数据构造模型,计算逻辑如下:
Step1:寻找距离监测断面设定距离范围内的最近的n个气象监测断面;
例如,根据经纬度寻找监测断面180公里以内前10个距离最近的气象监测断面,不满足10个时以寻找到的气象监测断面为准。
反距离加权法为空间内插方法,根据样本点和未知点间的距离计算权重进行加权平均,点间距离越小样本点被所赋权重越大。
其中:
n为寻找到的气象监测断面的数量;
hi表示第i个气象监测断面距监测断面的距离;i=1,2,...,n;
p为超参数,该值越大,气象监测断面因距离产生的权重差越大;
hj表示第j个气象监测断面距监测断面的距离;j=1,2,...,n;
Wi表示第i个气象监测断面计算的权重;
Wj表示第j个气象监测断面计算的权重;
Xj表示第j个气象监测断面的某个气象指标向量;
下面介绍一个具体实施例:、
本发明在全国流域1794个监测断面进行示范使用。
步骤一:寻找监测断面最近的水文站;水文站即为水文监测断面。
通过GIS手段寻找与监测断面同一河流最近的水文站。
步骤二:监测断面的水质数据匹配水文站的水文数据
基于水文站水文数据和监测断面的关系,采用表连接将水文数据和水质数据连接起来形成水质水文表。
步骤三:寻找监测断面最近的气象站;气象站即为气象监测断面。
基于经纬度的方法寻找与监测断面最近的10个气象站。
步骤四:水文水质表匹配对应的气象数据
基于反距离加权的方法计算监测断面对应10个气象监测断面的加权气象数据,并进行数据匹配。
本发明以监测断面为研究对象,实现监测断面未来1-7、15、30、60、90天物质浓度最大值、最小值、均值的预测预警,综合考虑水文数据、水质数据、气象数据、上下游断面位置数据等数据,基于人工智能算法对大数据高效的挖掘能力提高了数据的利用率,将得到的历史数据间变化规律用于预测未来断面水质指标的变化。综合来看,基于实时、全面的环境大数据,深度结合人工智能等方法,能实时、准确地感知环境未来的变化。进一步来看,将环境风险的人工识别转向机器智能识别,就是将固定时间的调查统计转为实时的主动发现,为风险的防范提供了更高级别的保障。同时,人工智能大数据可以实现定期的自我模型更新,针对于断面新阶段新特征可以第一时间获知并加以利用预测,避免过去规律不适应当前现状所造成预测不准确的窘境。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (6)
1.一种水质预测模型数据治理标准化方法,其特征在于,包括以下步骤:
步骤1,将监测断面水质数据与水文数据进行匹配,得到监测断面水质水文表;
步骤2,将监测断面水质数据与气象数据进行匹配,并将匹配到的气象数据加入到监测断面水质水文表中,得到监测断面水质水文气象表;
步骤3,基于所述监测断面水质水文气象表,对监测断面水质进行预测。
2.根据权利要求1所述的水质预测模型数据治理标准化方法,其特征在于,步骤1具体为:
步骤1.1,寻找监测断面所属的水文监测断面;
步骤1.2,根据经纬度距离计算方法,在步骤1.1得到的水文监测断面中,得到与监测断面距离最近的水文监测断面;
步骤1.3,将距离最近的水文监测断面的水文数据,与监测断面的水质数据建立匹配关系,进行数据连接,得到监测断面水质水文表。
3.根据权利要求2所述的水质预测模型数据治理标准化方法,其特征在于,步骤1.3中,由于水文监测断面的水文数据的采集频率,与监测断面的水质数据的采集频率不同,在时间尺度上,将水文数据的采样时间,转化为水质数据的采样时间。
5.根据权利要求4所述的水质预测模型数据治理标准化方法,其特征在于,步骤2.1中,如果寻找到的气象监测断面的数量不足n个,则以实际寻找到的气象监测断面为基础,进行水质数据与气象数据的匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513547.2A CN115936496B (zh) | 2022-11-29 | 2022-11-29 | 水质预测模型数据治理标准化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513547.2A CN115936496B (zh) | 2022-11-29 | 2022-11-29 | 水质预测模型数据治理标准化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115936496A true CN115936496A (zh) | 2023-04-07 |
CN115936496B CN115936496B (zh) | 2023-09-19 |
Family
ID=86700157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211513547.2A Active CN115936496B (zh) | 2022-11-29 | 2022-11-29 | 水质预测模型数据治理标准化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115936496B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102809375A (zh) * | 2012-08-07 | 2012-12-05 | 河海大学 | 水下导航与水质参数经纬度分布的感测与计算系统及方法 |
CN107340365A (zh) * | 2017-06-19 | 2017-11-10 | 中国科学院南京地理与湖泊研究所 | 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法 |
CN107749081A (zh) * | 2017-08-22 | 2018-03-02 | 福建四创软件有限公司 | 基于三维网格可视化动态播放的水生态预测成果展示方法 |
WO2018214190A1 (zh) * | 2017-06-19 | 2018-11-29 | 中国科学院南京地理与湖泊研究所 | 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法 |
CN110689179A (zh) * | 2019-09-18 | 2020-01-14 | 北京工商大学 | 基于时空序列混合模型的水华预测方法 |
CN112651665A (zh) * | 2021-01-14 | 2021-04-13 | 浙江鸿程计算机系统有限公司 | 一种基于图神经网络的地表水水质指标预测方法和装置 |
CN113723703A (zh) * | 2021-09-07 | 2021-11-30 | 东莞理工学院 | 基于多源数据融合和深度学习的水质预测方法及其系统 |
CN113868223A (zh) * | 2021-09-02 | 2021-12-31 | 深圳中兴网信科技有限公司 | 水质监测方法、装置、系统和可读存储介质 |
-
2022
- 2022-11-29 CN CN202211513547.2A patent/CN115936496B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102809375A (zh) * | 2012-08-07 | 2012-12-05 | 河海大学 | 水下导航与水质参数经纬度分布的感测与计算系统及方法 |
CN107340365A (zh) * | 2017-06-19 | 2017-11-10 | 中国科学院南京地理与湖泊研究所 | 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法 |
WO2018214190A1 (zh) * | 2017-06-19 | 2018-11-29 | 中国科学院南京地理与湖泊研究所 | 一种面向湖泊蓝藻灾害的立体监控及数据挖掘系统和方法 |
US20210293770A1 (en) * | 2017-06-19 | 2021-09-23 | Nanjing Institute Of Geography & Limnology. Chinese Academy Of Sciences | Stereoscopic monitoring and data mining system and method for harmful lake cyanobacteria bloom |
CN107749081A (zh) * | 2017-08-22 | 2018-03-02 | 福建四创软件有限公司 | 基于三维网格可视化动态播放的水生态预测成果展示方法 |
CN110689179A (zh) * | 2019-09-18 | 2020-01-14 | 北京工商大学 | 基于时空序列混合模型的水华预测方法 |
CN112651665A (zh) * | 2021-01-14 | 2021-04-13 | 浙江鸿程计算机系统有限公司 | 一种基于图神经网络的地表水水质指标预测方法和装置 |
CN113868223A (zh) * | 2021-09-02 | 2021-12-31 | 深圳中兴网信科技有限公司 | 水质监测方法、装置、系统和可读存储介质 |
CN113723703A (zh) * | 2021-09-07 | 2021-11-30 | 东莞理工学院 | 基于多源数据融合和深度学习的水质预测方法及其系统 |
Non-Patent Citations (2)
Title |
---|
陈慧文;陈锦辉;吴建辉;赵晨;范厚勇;王琳;: "基于空间插值法的长江口海水质量评价", 安徽农学通报, no. 06 * |
黄华,寇晓芳,许义军,李振通: "太湖流域水质中长期预警模型构建", 《今日自动化》, no. 2, pages 92 - 93 * |
Also Published As
Publication number | Publication date |
---|---|
CN115936496B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112070286B (zh) | 复杂地形流域的降水预报预警系统 | |
CN102332210B (zh) | 基于手机定位数据的实时城市道路交通流数据提取方法 | |
CN108171993B (zh) | 一种基于手机信令大数据的高速公路车辆速度计算方法 | |
CN111428942B (zh) | 基于变网格技术提取微地形因子的线路覆冰厚度预测方法 | |
CN110232471B (zh) | 一种降水传感网节点布局优化方法及装置 | |
CN110738855B (zh) | 一种数据稀疏时间段的道路交通流状况预测方法 | |
CN107945510B (zh) | 一种考虑交通需求和道路网络运行效率的路段检测方法 | |
CN111510500B (zh) | 一种基于边缘计算的水质监测数据校准方法 | |
CN101794507A (zh) | 基于浮动车数据的宏观路网交通状态评价方法 | |
CN110738355A (zh) | 一种基于神经网络的城市内涝预测方法 | |
CN110211325A (zh) | 一种基于气象大数据的区域道路结冰高精度监测预警系统 | |
CN113762618B (zh) | 一种基于多因子相似分析的湖泊水位预报方法 | |
CN112348290A (zh) | 河流水质预测方法、装置、存储介质及设备 | |
CN111462492B (zh) | 一种基于里奇流的关键路段检出方法 | |
CN111461192B (zh) | 基于多水文站联动学习的河道水位流量关系确定方法 | |
CN117093832B (zh) | 一种用于空气质量数据缺失的数据插补方法及系统 | |
CN114862035A (zh) | 一种基于迁移学习的组合式海湾水温预测方法 | |
CN114417724A (zh) | 一种山地城市土地利用演变的模拟方法 | |
CN109190797A (zh) | 一种基于改进k最近邻的大规模路网状态短时预测方法 | |
CN113434619A (zh) | 一种4g的高速公路智能交通路况监控系统 | |
CN115422782B (zh) | 一种基于水文模型的洪水预报系统 | |
CN117151800A (zh) | 一种农村土地基准地价评估方法 | |
CN115936496B (zh) | 水质预测模型数据治理标准化方法 | |
CN115691140B (zh) | 一种汽车充电需求时空分布的分析与预测方法 | |
CN116202575A (zh) | 一种水土保持土壤流失率监测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |