CN114384015A - 一种基于多源遥感和机器学习的水环境监测方法 - Google Patents
一种基于多源遥感和机器学习的水环境监测方法 Download PDFInfo
- Publication number
- CN114384015A CN114384015A CN202210031899.8A CN202210031899A CN114384015A CN 114384015 A CN114384015 A CN 114384015A CN 202210031899 A CN202210031899 A CN 202210031899A CN 114384015 A CN114384015 A CN 114384015A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- water quality
- data
- monitoring
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 180
- 238000012544 monitoring process Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000010801 machine learning Methods 0.000 title claims abstract description 34
- 238000011160 research Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000002310 reflectometry Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 238000003911 water pollution Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 8
- 230000002265 prevention Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 4
- 241000195493 Cryptophyta Species 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 229930002868 chlorophyll a Natural products 0.000 description 3
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 239000000443 aerosol Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003653 coastal water Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1793—Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及水质监测技术领域，具体地说是一种基于多源遥感和机器学习的水环境监测方法，包括：对研究水体历史水质监测站点数据预处理；对研究区域多源历史遥感影像处理、解析、融合得到多源历史遥感数据；将监测水体实际水质参数及其对应的多源历史遥感数据时空融合，形成水质反演数据集并预处理；利用机器学习算法反演水质参数，经性能评估择优选取水质反演模型；基于择优选取的模型对多源实时卫星遥感数据反演，得到监测指标值并根据相关标准规范预警，本发明同现有技术相比，实现近岸海域广域范围内对赤潮等水环境污染事件的实时监测与预警，有效提高遥感数据监测的时空精度，增强模型环境适应性和实用性，支撑近岸海域水环境污染防治。
Description
技术领域
本发明涉及水质监测技术领域，具体地说是一种基于多源遥感和机器学习的水环境监测方法。
背景技术
近岸海域是指与大陆海岸、岛屿、群岛相毗连，领海外部界限向陆一侧的海域。中国管辖的海域面积约300万平方公里，海岸线1.8万多公里，沿海陆域面积不到全国的5％，但人口和GDP占全国22.2％和36.8％，工业和生活污染负荷极高，根据2017年陆源入海污染源排查结果，全国9600个陆源入海污染源中，入海河流740余条，入海排污口7500余个，受水体富营养化引发的赤潮、缺氧等多重生态灾害频发，近岸海域环境压力巨大。
环境监测是环境保护工作的基础，是环境规划、立法和决策的重要依据。传统的近岸海域监测手段大多停留在人工监测或站点监测阶段，部分建立的水质自动监测系统存在参数可扩展性差、缺少在线质控手段、对异常数据智能化识别能力不足等瓶颈问题，监测成本高、效率慢、覆盖面窄，采样和检测过程往往耗费大量人力、物力和财力，不能实时连续动态监测，不但对突发应急污染事件发现滞后，更难以反映污染动态变化过程，影响对污染的及时发现、趋势预测与处理。近年来，遥感技术因其可根据光谱信号变化，通过分析水质参数得出水污染程度，监测水环境变化，跟踪重要突发环境污染事件，成为近岸海域环境监测的手段之一。但现有技术对卫星遥感数据的处理方法误差率高，卫星遥感数据利用率低，水质监测时空精度弱、时延长，无法做到实时监测；现有技术应用机器学习算法无法有效拟合水质时间序列，很难通过某一具体算法捕捉任意位置遥感影像反射率和实测水质数据之间的潜在联系，针对不同环境的适应性差。因此迫切需要发明一种环境友好、经济高效，兼具监测实时性与广域性的近岸海域环境监测方法。
随着人工智能技术的大力发展，多源卫星遥感与机器学习方法的联合使用有望成为近岸海域环境监测的有效手段。机器学习方法具有组织和拟合参数强、特征表示准确等特点，表现出极强的学习能力，具有较好的泛化能力和非线性映射能力；多源卫星遥感影像数据融合，有效提高遥感数据监测时空精度，大幅降低监测时延。利用机器学习算法可更好地拟合多源卫星遥感数据和水质指标的关系，使模型预测更为准确。
近年来，近岸海域环境问题趋于复杂化和多样化，设计基于卫星遥感联合机器学习等新技术的近岸海域水环境监测方法，对于完善近海环境监测体系，加快空天地一体化建设具有十分重要的意义。基于此，本发明研发一种基于多源遥感和机器学习的水环境监测方法，利用多源卫星遥感进行融合，利用多种机器学习算法进行模型训练，实现在广域范围内实时水环境监测预警，支撑近岸海域水环境污染防治。
发明内容
本发明的目的是克服现有技术不足，提供了一种基于多源遥感和机器学习的水环境监测方法，利用多颗静止卫星或配合极轨卫星遥感影像，有效提高遥感数据监测时空精度；机器学习算法可显著提升模型鲁棒性和水质参数反演精准性，增强模型环境适应性、实用性及动态监测能力，可实现广域范围水环境实时监测预警，支撑近岸海域水环境污染防治。
为了达到上述目的，本发明提供一种基于多源遥感和机器学习的水环境监测方法，包括以下步骤：
S01：获取研究水体历史时间序列水质监测站点数据并进行预处理；
S02：获取研究区域历史时间序列多源卫星遥感影像，经处理、解析，融合得到多源历史卫星遥感数据；
S03：将S01预处理后研究水体历史时间序列水质监测站点数据及S02选定区域的多源历史遥感数据进行时空融合，形成水质反演数据集并进行预处理；
S04：基于S03预处理后水质反演数据集，利用机器学习算法反演水质参数，经性能评估择优选取水质反演模型；
S05：基于S04建立的水质反演模型对研究区域多源实时卫星遥感数据进行反演，得到监测指标值，并根据相关标准规范对超标指标进行预警，实现对近岸海域赤潮等水环境污染事件实时监测与预警。
S01的具体方法为：
S11：获取研究水体历史时间序列水质监测站点数据；
S12：筛选表征水体污染关键指标，得到监测水体实际水质参数；
S13：提取监测水体实际水质参数监测时间与站点经纬度，即水质数据时间和空间分布情况。
S02的具体方法为：
S21：根据S13中水质数据时空分布情况，挑选多种可覆盖该区域卫星遥感产品，获取其历史时间序列卫星遥感影像；
S22：剔除质量较差或缺失的研究区域历史时间序列多源卫星遥感影像，对频谱范围相同的研究区域历史时间序列多源卫星遥感影像波段进行去重；
S23：对研究区域历史时间序列多源卫星遥感影像进行大气校正，消除云层对反射率的影响；
S24：通过Python代码读取处理后研究区域历史时间序列多源卫星遥感影像，解析文件中所有波段数据；
S25：根据多源历史卫星遥感数据的时间属性，将多源历史卫星遥感数据各波段进行融合，得到选定区域高时间分辨率多源历史卫星遥感数据。
S03的具体方法为：
S31：利用S12中监测水体实际水质参数与S25中多源历史卫星遥感数据的时空属性，进行时空融合匹配，形成水质反演数据集；
S32：对水质反演数据集中异常值、缺失值进行处理并对各项参数进行归一化操作；
S33：将预处理后的水质反演数据集划分为训练集、验证集和测试集并进行交叉验证。
S04的具体方法为：
S41：利用S33中训练集数据，将训练集数据中多源历史卫星遥感数据作为模型输入；
S42：将训练集数据中监测水体实际水质参数作为模型输出；
S43：使用多种机器学习算法进行模型训练；
S44：利用S33中验证集数据，对水质反演模型进行优化，确定网络结构，合理设置模型结构中的超参数、激活函数、隐藏层层数；
S45：利用S33中测试集数据，使用优化后的水质反演模型输出预测值，对其总体性能进行评价；
S46：根据总体性能选取相对最优水质反演模型。
S05的具体方法为：
S51：利用S02中多源卫星遥感数据融合方法，将研究区域多源实时卫星遥感影像进行处理，得到多源实时卫星遥感数据；
S52：将多源实时卫星遥感数据作为模型输入，导入到S46中择优选取的水质反演模型中，得到对应位置的水质反演结果；
S53：根据得到的监测指标值和相关标准规范，对超标指标进行预警，实现对近岸海域赤潮等水环境污染事件实时监测与预警。
本发明同现有技术相比有如下优点：
1、利用多颗静止卫星或配合极轨卫星遥感影像，根据不同时相的遥感数据融合，有效提高遥感数据监测时空精度，大幅降低监测时延；
2、针对不同环境监测指标，比较优选多种机器学习算法进行模型反演，选取研究区域相对最优水质反演模型，显著提升模型鲁棒性和水质参数反演精准性；
3、根据模型反演监测指标和相关标准规范，实现对广域范围水环境实时监测预警，增强模型环境适应性和实用性，支撑近岸海域水环境污染防治。
附图说明
图1为本发明的基于多源遥感和机器学习的水质反演流程图。
图2为本发明的模型精度评价指标的计算公式、取值范围以及最佳取值示意图。
具体实施方式
现结合附图对本发明做进一步描述。
参见图1，本发明提供一种基于多源遥感和机器学习的水环境监测方法，包括以下步骤：
S01：获取研究水体历史时间序列水质监测站点数据并进行预处理；
S02：获取研究区域历史时间序列多源卫星遥感影像，经处理、解析，融合得到多源历史卫星遥感数据；
S03：将S01预处理后研究水体历史时间序列水质监测站点数据及S02选定区域的多源历史遥感数据进行时空融合，形成水质反演数据集并进行预处理；
S04：基于S03预处理后水质反演数据集，利用机器学习算法反演水质参数，经性能评估择优选取水质反演模型；
S05：基于S04建立的水质反演模型对研究区域多源实时卫星遥感数据进行反演，得到监测指标值，并根据相关标准规范对超标指标进行预警，实现对近岸海域赤潮等水环境污染事件实时监测与预警。
S01的具体方法为：
S11：获取研究水体历史时间序列水质监测站点数据；
S12：筛选表征水体污染关键指标，得到监测水体实际水质参数；
S13：提取监测水体实际水质参数监测时间与站点经纬度，即水质数据时间和空间分布情况。
S02的具体方法为：
S21：根据S13中水质数据时空分布情况，挑选多种可覆盖该区域卫星遥感产品，获取其历史时间序列卫星遥感影像；
S22：剔除质量较差或缺失的研究区域历史时间序列多源卫星遥感影像，对频谱范围相同的研究区域历史时间序列多源卫星遥感影像波段进行去重；
S23：对研究区域历史时间序列多源卫星遥感影像进行大气校正，消除云层对反射率的影响；
S24：通过Python代码读取处理后研究区域历史时间序列多源卫星遥感影像，解析文件中所有波段数据；
S25：根据多源历史卫星遥感数据的时间属性，将多源历史卫星遥感数据各波段进行融合，得到选定区域高时间分辨率多源历史卫星遥感数据。
S03的具体方法为：
S31：利用S12中监测水体实际水质参数与S25中多源历史卫星遥感数据的时空属性，进行时空融合匹配，形成水质反演数据集；
S32：对水质反演数据集中异常值、缺失值进行处理并对各项参数进行归一化操作；
S33：将预处理后的水质反演数据集划分为训练集、验证集和测试集并进行交叉验证。
S04的具体方法为：
S41：利用S33中训练集数据，将训练集数据中多源历史卫星遥感数据作为模型输入；
S42：将训练集数据中监测水体实际水质参数作为模型输出；
S43：使用多种机器学习算法进行模型训练；
S44：利用S33中验证集数据，对水质反演模型进行优化，确定网络结构，合理设置模型结构中的超参数、激活函数、隐藏层层数；
S45：利用S33中测试集数据，使用优化后的水质反演模型输出预测值，对其总体性能进行评价；
S46：根据总体性能选取相对最优水质反演模型。
S05的具体方法为：
S51：利用S02中多源卫星遥感数据融合方法，将研究区域多源实时卫星遥感影像进行处理，得到多源实时卫星遥感数据；
S52：将多源实时卫星遥感数据作为模型输入，导入到S46中择优选取的水质反演模型中，得到对应位置的水质反演结果；
S53：根据得到的监测指标值和相关标准规范，对超标指标进行预警，实现对近岸海域赤潮等水环境污染事件实时监测与预警。
本发明的有益效果为：
1、本发明利用多颗静止卫星配合极轨卫星遥感影像，根据不同时相的遥感数据处理融合，得到研究区域高时间分辨率多源历史卫星遥感数据，有效提高遥感数据监测时空精度，大幅降低监测时延；
2、本发明为适应不同环境监测指标，使用多种机器学习算法针对时间序列进行模型反演并择优选取，显著提升模型鲁棒性和水质参数反演精准性；
3、本发明根据模型反演监测指标和相关标准规范，可实现对近岸海域赤潮等水环境污染事件实时监测与预警，增强模型环境适应性、实用性及动态监测能力，支撑近岸海域水环境污染防治。
实施例1：
下面结合附图和实施例对本发明作进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
【第一步】获取研究水体历史时间序列水质监测站点数据并进行预处理。
以我国温州市为例，获取温州市2015年至2020年近岸海域水质监测站点历史数据，监测时间分辨率为4小时/次，监测水体指标为溶解氧(mg/L)、叶绿素a(mg/L)、藻密度(cells/L)、氨氮(mg/L)、总磷(mg/L)、总氮(mg/L)。
选择溶解氧(mg/L)、叶绿素a(mg/L)、藻密度(cells/L)作为温州市近岸海域水质监测站点的实际水质参数。提取水质监测站点具体监测时间与站点经纬度，即水质数据时间和空间分布情况。
【第二步】获取温州市近岸海域水质监测站点历史时间序列多源卫星遥感影像，经处理、解析，融合得到多源历史卫星遥感数据。
根据第一步中水质数据时间和空间分布情况，获取Himawari-8、MODIS、MERSI、高分五号卫星遥感影像。在本实施例中，以获取Himawari-8遥感影像为例，通过喜马威监测器P-free系统(https://www.eorc.jaxa.jp/ptree/)，遥感数据时间与水质数据同时间频率，利用FTP方式下载FLDK全磁盘NetCDF格式的卫星遥感数据产品。
为能够使卫星遥感影像与水质监测站点数据匹配，需要对历史卫星遥感影像进行如下操作：
(1)剔除质量较差或缺失的卫星遥感影像，对频谱范围相同卫星遥感影像波段进行去重；
(2)本实施例中，对历史卫星遥感影像进行FLAASH大气校正，消除云层、大气和光照等因素对地物反射率的影响。输入参数包括影像中心位置、成像时间、传感器类型、地面平均高程、高度、影像空间分辨率、气溶胶模型、所用大气模型、水汽特征波段、大气能见度、气溶胶参数，并进行光谱平滑和波长重新订正；
(3)创建Python批处理脚本，执行netCDF4库中嵌入的解析模块，逐一读取卫星遥感影像，输入水质监测站点经纬度，提取卫星遥感影像中对应位置0.02°×0.02°栅格各个通道波段反射率数据，校正卫星遥感影像数据时间分辨率，卫星遥感影像初始时间为协调世界时(Universal Time Coordinated,UTC)，与北京时间相差8小时，即：
UTC时间+8小时＝北京时间
(4)根据上述历史卫星遥感数据的时间属性，将各个卫星遥感历史数据各波段进行融合，得到温州市近岸海域高时间分辨率多源历史卫星遥感数据。
【第三步】将温州市近岸海域水质监测站点实际水质参数及多源历史卫星遥感数据进行时空融合，形成水质反演数据集并进行预处理。
利用第一步中温州市近岸海域水质监测站点实际水质参数与第二步中多源历史卫星遥感数据的时空属性，进行时空融合匹配，形成水质反演数据集。
本实施例中，使用孤立森林算法筛选、处理特征异常值。将反演数据集中数值为0的部分设置为数据缺失状态，为保证同等时间粒度下水质指标分布，使用改进的K近邻法对缺失值进行填充，以解决普通均值法和线性插值法的断点现象。为使数据各维度范围一致，消除各波段间尺度差异造成的影响，使用平均归一化方法，将数据映射到[0,1]区间，即：
式中：xi为原始数据；min{xj}和max{xj}为原始数据量n中所属变量的最小值和最大值，yi为归一化后的数据。
本实施例中，将数据预处理后的水质反演数据集划分为训练集、验证集和测试集，其中60％的数据被随机分配用于训练集，20％的数据用于验证集，剩余20％的数据用于测试集。其中训练样本主要用于训练模型，验证样本主要用于确定网络结构并改进模型超参数、激活函数、隐藏层层数，测试样本主要用于评估模型性能。
为提高模拟精度，使用时间序列分割函数TimeSeriesSplit()对数据集进行交叉验证划分。由于水质数据在收集过程中，存在时间先后的问题，防止出现时序特征交叉和过拟合，保证测试集数据在时间上能够在训练集数据之后。
【第四步】基于上述预处理后的水质反演数据集，利用机器学习算法反演水质参数，经性能评估择优选取水质反演模型。
本实施例中，基于PyTorch机器学习库，在Python环境下编写、构建模型。利用第三步中训练集数据，将训练集数据中多源历史卫星遥感数据作为模型输入，将训练集数据中溶解氧(mg/L)、叶绿素a(mg/L)、藻密度(cells/L)指标作为模型输出。
本实施例中应用的算法包括：差分整合移动平均自回归(AutoregressiveIntegrated Moving Average model,ARIMA)、长短期记忆网络(Long Short-Term Memory,LSTM)、循环神经网络(Recurrent Neural Network,RNN)、深度神经网络(Deep NeuralNetworks,DNN)、Prophet、Xgboost(Extreme Gradient Boost)。
利用第三步中验证集数据，对水质反演模型参数进行优化，确定网络结构，合理设置模型结构中的超参数、激活函数、隐藏层层数，提高模型训练数据精度。超参数的设置包括但不限于隐藏层层数hidden_layers、一次训练所选取的样本数batch_size、学习率learning_rate、迭代次数epochs_num等参数。本实施例中，令batch_size＝128，learning_rate＝0.001，epochs_num＝1000，激活函数采用Relu激活函数。当技术使用者需要调整参数较少时，可采用网格搜索法在参数空间内寻找存在所有可能的参数配置。
利用第三步中测试集数据，使用改进后的水质反演模型输出预测值，对其总体性能进行评价，多个试验整体平均值用于评估学习模型的总体性能。本实施例中，评价观测值与预测值之间的统计度量包括但不限于相关系数R2、百分比偏差Pbias、平均绝对误差MAE、平均绝对百分比误差MAPE、均方根误差RMSE、相对平方误差RSE、相对绝对误差RAE；以上所用精度指标的计算公式、取值范围以及最佳取值，如图2所示(n为样本数，xi为时间i的观测值，
为观测数据的平均值，
为时间i的预测数据，
为预测数据的平均值)。当满足R2系数大于0.8和MRE小于30％，则表示结果为有效，选取相对最优水质反演模型。
【第五步】基于上述建立的水质反演模型对温州市近岸海域多源实时卫星遥感数据进行反演，得到监测指标值，并根据相关标准规范对超标指标进行预警，实现对温州市近岸海域赤潮等水环境污染事件实时监测与预警。
利用第二步中多源卫星遥感数据融合方法，将温州市近岸海域多源实时卫星遥感影像进行处理，得到多源实时卫星遥感数据。
将多源实时卫星遥感数据作为模型输入，导入到第四步中择优选取的水质反演模型中，得到温州市近岸海域水质监测站点的水质反演结果。
根据得到的监测指标值和相关标准规范，对超标指标进行预警，实现对温州市近岸海域赤潮等水环境污染事件实时监测与预警。
以上仅是本发明的优选实施方式，只是用于帮助理解本申请的方法及其核心思想，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
本专利解决了以下两个问题：
1、传统卫星遥感数据的处理方法误差率高，卫星遥感数据利用率低，水质监测时空精度弱、时延长，无法做到实时监测；
2、传统机器学习算法无法有效拟合水质时间序列，很难通过某一具体算法捕捉任意位置遥感影像反射率和实测水质数据之间的潜在联系，针对不同环境的适应性差。
Claims (6)
1.一种基于多源遥感和机器学习的水环境监测方法，其特征在于，包括以下步骤：
S01：获取研究水体历史时间序列水质监测站点数据并进行预处理；
S02：获取研究区域历史时间序列多源卫星遥感影像，经处理、解析，融合得到多源历史卫星遥感数据；
S03：将所述S01预处理后研究水体历史时间序列水质监测站点数据及所述S02选定区域的多源历史遥感数据进行时空融合，形成水质反演数据集并进行预处理；
S04：基于所述S03预处理后水质反演数据集，利用机器学习算法反演水质参数，经性能评估择优选取水质反演模型；
S05：基于所述S04建立的水质反演模型对研究区域多源实时卫星遥感数据进行反演，得到监测指标值，并根据相关标准规范对超标指标进行预警，实现对近岸海域赤潮等水环境污染事件实时监测与预警。
2.根据权利要求1所述的一种基于多源遥感和机器学习的水环境监测方法，其特征在于，所述S01的具体方法为：
S11：获取研究水体历史时间序列水质监测站点数据；
S12：筛选表征水体污染关键指标，得到监测水体实际水质参数；
S13：提取监测水体实际水质参数监测时间与站点经纬度，即水质数据时间和空间分布情况。
3.根据权利要求1所述的一种基于多源遥感和机器学习的水环境监测方法，其特征在于，所述S02的具体方法为：
S21：根据所述S13中水质数据时空分布情况，挑选多种可覆盖该区域卫星遥感产品，获取其历史时间序列卫星遥感影像；
S22：剔除质量较差或缺失的研究区域历史时间序列多源卫星遥感影像，对频谱范围相同的研究区域历史时间序列多源卫星遥感影像波段进行去重；
S23：对研究区域历史时间序列多源卫星遥感影像进行大气校正，消除云层对反射率的影响；
S24：通过Python代码读取处理后研究区域历史时间序列多源卫星遥感影像，解析文件中所有波段数据；
S25：根据多源历史卫星遥感数据的时间属性，将多源历史卫星遥感数据各波段进行融合，得到选定区域高时间分辨率多源历史卫星遥感数据。
4.根据权利要求1所述的一种基于多源遥感和机器学习的水环境监测方法，其特征在于，所述S03的具体方法为：
S31：利用所述S12中监测水体实际水质参数与所述S25中多源历史卫星遥感数据的时空属性，进行时空融合匹配，形成水质反演数据集；
S32：对水质反演数据集中异常值、缺失值进行处理并对各项参数进行归一化操作；
S33：将预处理后的水质反演数据集划分为训练集、验证集和测试集并进行交叉验证。
5.根据权利要求1所述的一种基于多源遥感和机器学习的近岸海域水环境监测方法，其特征在于，所述S04的具体方法为：
S41：利用所述S33中训练集数据，将训练集数据中多源历史卫星遥感数据作为模型输入；
S42：将训练集数据中监测水体实际水质参数作为模型输出；
S43：使用多种机器学习算法进行模型训练；
S44：利用所述S33中验证集数据，对水质反演模型进行优化，确定网络结构，合理设置模型结构中的超参数、激活函数、隐藏层层数；
S45：利用所述S33中测试集数据，使用优化后的水质反演模型输出预测值，对其总体性能进行评价；
S46：根据所述总体性能选取相对最优水质反演模型。
6.根据权利要求1所述的一种基于多源遥感和机器学习的近岸海域水环境监测方法，其特征在于，所述S05的具体方法为：
S51：利用所述S02中多源卫星遥感数据融合方法，将研究区域多源实时卫星遥感影像进行处理，得到多源实时卫星遥感数据；
S52：将多源实时卫星遥感数据作为模型输入，导入到所述S46中择优选取的水质反演模型中，得到对应位置的水质反演结果；
S53：根据得到的监测指标值和相关标准规范，对超标指标进行预警，实现对近岸海域赤潮等水环境污染事件实时监测与预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210031899.8A CN114384015A (zh) | 2022-01-12 | 2022-01-12 | 一种基于多源遥感和机器学习的水环境监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210031899.8A CN114384015A (zh) | 2022-01-12 | 2022-01-12 | 一种基于多源遥感和机器学习的水环境监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114384015A true CN114384015A (zh) | 2022-04-22 |
Family
ID=81201379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210031899.8A Pending CN114384015A (zh) | 2022-01-12 | 2022-01-12 | 一种基于多源遥感和机器学习的水环境监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114384015A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663783A (zh) * | 2022-05-23 | 2022-06-24 | 自然资源部第二海洋研究所 | 一种基于机器学习的入海河流水体污染遥感识别方法 |
| CN115150433A (zh) * | 2022-07-04 | 2022-10-04 | 新疆维吾尔自治区环境保护科学研究院 | 一种环境污染遥感监测设备辅助装置及监测方法 |
| CN115424143A (zh) * | 2022-08-29 | 2022-12-02 | 南方海洋科学与工程广东省实验室(广州) | 水源污染溯源方法、装置、存储介质和计算机设备 |
| CN115830473A (zh) * | 2023-02-20 | 2023-03-21 | 江苏省生态环境监测监控有限公司 | 基于卫星遥感和自动监测的水质反演方法、系统 |
| CN116049342A (zh) * | 2023-03-24 | 2023-05-02 | 清华大学 | 一种生境质量监测方法及监测装置 |
| CN116182949A (zh) * | 2023-02-23 | 2023-05-30 | 中国人民解放军91977部队 | 一种海洋环境水质监测系统及方法 |
| CN116310543A (zh) * | 2023-03-14 | 2023-06-23 | 自然资源部第一海洋研究所 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
| CN116361737A (zh) * | 2023-03-31 | 2023-06-30 | 北控水务(中国)投资有限公司 | 一种湖泊异常动态监测方法、装置、电子设备及存储介质 |
| CN116660486A (zh) * | 2023-05-24 | 2023-08-29 | 重庆交通大学 | 一种基于大型底栖动物bi指数的水质评价标准确定方法 |
| CN116699096A (zh) * | 2023-08-08 | 2023-09-05 | 凯德技术长沙股份有限公司 | 一种基于深度学习的水质检测方法和系统 |
| CN116630826B (zh) * | 2023-07-25 | 2023-10-03 | 中国石油大学(华东) | 基于卫星遥感观测的甲烷排放重点区域识别定位方法 |
| CN117214398A (zh) * | 2023-09-04 | 2023-12-12 | 江苏省连云港环境监测中心 | 一种深层地下水体污染物检测方法及系统 |
| CN117235661A (zh) * | 2023-08-30 | 2023-12-15 | 广州怡水水务科技有限公司 | 基于ai的直饮水质量监测方法 |
| CN117555892A (zh) * | 2024-01-10 | 2024-02-13 | 江苏省生态环境大数据有限公司 | 大气污染物多模式融合核算模型后处理方法 |
| CN117949046A (zh) * | 2024-03-22 | 2024-04-30 | 山东省科学院海洋仪器仪表研究所 | 面向异常水团的集群组网式海洋环境跟踪监测方法及系统 |
| CN115424143B (zh) * | 2022-08-29 | 2024-05-28 | 南方海洋科学与工程广东省实验室(广州) | 水源污染溯源方法、装置、存储介质和计算机设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106442420A (zh) * | 2016-09-21 | 2017-02-22 | 河海大学 | 一种定性与定量结合的水质监测方法 |
| CN108961089A (zh) * | 2018-05-28 | 2018-12-07 | 浙江大学 | 基于星地多源数据的长江中下游地区水稻高温热害遥感监测方法 |
| CN109959621A (zh) * | 2017-12-22 | 2019-07-02 | 北京航天泰坦科技股份有限公司 | 一种基于中高分辨率时序遥感数据的水环境分析方法 |
| CN110456016A (zh) * | 2019-07-30 | 2019-11-15 | 苏州雷蓝遥感科技有限公司 | 一种基于物联网的水污染多源遥感监测方法 |
| CN111024618A (zh) * | 2019-11-25 | 2020-04-17 | 广州丰泽源水利科技有限公司 | 基于遥感影像的水质健康监测方法、装置及存储介质 |
| CN112345499A (zh) * | 2020-10-07 | 2021-02-09 | 大连理工大学 | 基于多源遥感卫星的国际界湖透明度反演方法 |
| CN112597870A (zh) * | 2020-12-18 | 2021-04-02 | 清华大学 | 一种土地覆盖分类模型的构建方法 |
| CN113255961A (zh) * | 2021-04-16 | 2021-08-13 | 长江水利委员会长江科学院 | 基于时序多源光谱遥感数据的湖泊水环境监测站点优化布局方法 |
-
2022
- 2022-01-12 CN CN202210031899.8A patent/CN114384015A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106442420A (zh) * | 2016-09-21 | 2017-02-22 | 河海大学 | 一种定性与定量结合的水质监测方法 |
| CN109959621A (zh) * | 2017-12-22 | 2019-07-02 | 北京航天泰坦科技股份有限公司 | 一种基于中高分辨率时序遥感数据的水环境分析方法 |
| CN108961089A (zh) * | 2018-05-28 | 2018-12-07 | 浙江大学 | 基于星地多源数据的长江中下游地区水稻高温热害遥感监测方法 |
| CN110456016A (zh) * | 2019-07-30 | 2019-11-15 | 苏州雷蓝遥感科技有限公司 | 一种基于物联网的水污染多源遥感监测方法 |
| CN111024618A (zh) * | 2019-11-25 | 2020-04-17 | 广州丰泽源水利科技有限公司 | 基于遥感影像的水质健康监测方法、装置及存储介质 |
| CN112345499A (zh) * | 2020-10-07 | 2021-02-09 | 大连理工大学 | 基于多源遥感卫星的国际界湖透明度反演方法 |
| CN112597870A (zh) * | 2020-12-18 | 2021-04-02 | 清华大学 | 一种土地覆盖分类模型的构建方法 |
| CN113255961A (zh) * | 2021-04-16 | 2021-08-13 | 长江水利委员会长江科学院 | 基于时序多源光谱遥感数据的湖泊水环境监测站点优化布局方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙驷阳: "基于多源遥感与机器学习的密云水库水质参数反演研究", 《中国优秀硕士学位论文全文数据库工程科技I辑》, no. 4, 15 April 2020 (2020-04-15), pages 1 - 88 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663783A (zh) * | 2022-05-23 | 2022-06-24 | 自然资源部第二海洋研究所 | 一种基于机器学习的入海河流水体污染遥感识别方法 |
| CN114663783B (zh) * | 2022-05-23 | 2022-09-30 | 自然资源部第二海洋研究所 | 一种基于机器学习的入海河流水体污染遥感识别方法 |
| CN115150433A (zh) * | 2022-07-04 | 2022-10-04 | 新疆维吾尔自治区环境保护科学研究院 | 一种环境污染遥感监测设备辅助装置及监测方法 |
| CN115424143A (zh) * | 2022-08-29 | 2022-12-02 | 南方海洋科学与工程广东省实验室(广州) | 水源污染溯源方法、装置、存储介质和计算机设备 |
| CN115424143B (zh) * | 2022-08-29 | 2024-05-28 | 南方海洋科学与工程广东省实验室(广州) | 水源污染溯源方法、装置、存储介质和计算机设备 |
| CN115830473A (zh) * | 2023-02-20 | 2023-03-21 | 江苏省生态环境监测监控有限公司 | 基于卫星遥感和自动监测的水质反演方法、系统 |
| CN116182949B (zh) * | 2023-02-23 | 2024-03-19 | 中国人民解放军91977部队 | 一种海洋环境水质监测系统及方法 |
| CN116182949A (zh) * | 2023-02-23 | 2023-05-30 | 中国人民解放军91977部队 | 一种海洋环境水质监测系统及方法 |
| CN116310543B (zh) * | 2023-03-14 | 2023-09-22 | 自然资源部第一海洋研究所 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
| CN116310543A (zh) * | 2023-03-14 | 2023-06-23 | 自然资源部第一海洋研究所 | Gf-1 wfv卫星赤潮深度学习探测模型、构建方法及设备 |
| CN116049342A (zh) * | 2023-03-24 | 2023-05-02 | 清华大学 | 一种生境质量监测方法及监测装置 |
| CN116361737A (zh) * | 2023-03-31 | 2023-06-30 | 北控水务(中国)投资有限公司 | 一种湖泊异常动态监测方法、装置、电子设备及存储介质 |
| CN116361737B (zh) * | 2023-03-31 | 2023-09-22 | 北控水务(中国)投资有限公司 | 一种湖泊异常动态监测方法、装置、电子设备及存储介质 |
| CN116660486A (zh) * | 2023-05-24 | 2023-08-29 | 重庆交通大学 | 一种基于大型底栖动物bi指数的水质评价标准确定方法 |
| CN116630826B (zh) * | 2023-07-25 | 2023-10-03 | 中国石油大学(华东) | 基于卫星遥感观测的甲烷排放重点区域识别定位方法 |
| CN116699096A (zh) * | 2023-08-08 | 2023-09-05 | 凯德技术长沙股份有限公司 | 一种基于深度学习的水质检测方法和系统 |
| CN116699096B (zh) * | 2023-08-08 | 2023-11-03 | 凯德技术长沙股份有限公司 | 一种基于深度学习的水质检测方法和系统 |
| CN117235661B (zh) * | 2023-08-30 | 2024-04-12 | 广州怡水水务科技有限公司 | 基于ai的直饮水质量监测方法 |
| CN117235661A (zh) * | 2023-08-30 | 2023-12-15 | 广州怡水水务科技有限公司 | 基于ai的直饮水质量监测方法 |
| CN117214398A (zh) * | 2023-09-04 | 2023-12-12 | 江苏省连云港环境监测中心 | 一种深层地下水体污染物检测方法及系统 |
| CN117214398B (zh) * | 2023-09-04 | 2024-05-14 | 江苏省连云港环境监测中心 | 一种深层地下水体污染物检测方法及系统 |
| CN117555892B (zh) * | 2024-01-10 | 2024-04-02 | 江苏省生态环境大数据有限公司 | 大气污染物多模式融合核算模型后处理方法 |
| CN117555892A (zh) * | 2024-01-10 | 2024-02-13 | 江苏省生态环境大数据有限公司 | 大气污染物多模式融合核算模型后处理方法 |
| CN117949046A (zh) * | 2024-03-22 | 2024-04-30 | 山东省科学院海洋仪器仪表研究所 | 面向异常水团的集群组网式海洋环境跟踪监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114384015A (zh) | 一种基于多源遥感和机器学习的水环境监测方法 | |
| Callens et al. | Using Random forest and Gradient boosting trees to improve wave forecast at a specific location | |
| McBratney et al. | On digital soil mapping | |
| Tariq et al. | Monitoring land use and land cover changes using geospatial techniques, a case study of Fateh Jang, Attock, Pakistan | |
| Gholami et al. | Comparison of self-organizing map, artificial neural network, and co-active neuro-fuzzy inference system methods in simulating groundwater quality: geospatial artificial intelligence | |
| Civco et al. | Impervious surface mapping for the state of Connecticut | |
| Degerli et al. | Using the remote sensing method to simulate the land change in the year 2030 | |
| CN103698750A (zh) | 海洋二号卫星散射计海面风场反演方法和装置 | |
| Jang et al. | Global sea surface salinity via the synergistic use of SMAP satellite and HYCOM data based on machine learning | |
| CN112215393B (zh) | 基于自适应时空尺度选择的降水数值预报后处理订正方法 | |
| Dang et al. | A convolutional neural network for coastal classification based on ALOS and NOAA satellite data | |
| CN114091756B (zh) | 一种基于泰森多边形的乡镇级海啸风险评估方法 | |
| Virro et al. | Random forest-based modeling of stream nutrients at national level in a data-scarce region | |
| Chen et al. | Rain-contaminated region segmentation of X-band marine radar images with an ensemble of SegNets | |
| Stampoulis et al. | Using satellite remote sensing and machine learning techniques towards precipitation prediction and vegetation classification | |
| Xu et al. | Dynamic detection of offshore wind turbines by spatial machine learning from spaceborne synthetic aperture radar imagery | |
| Fan et al. | A comparative study of four merging approaches for regional precipitation estimation | |
| Taramelli et al. | A hybrid power law approach for spatial and temporal pattern analysis of salt marsh evolution | |
| Guo et al. | Spatial modelling of soil organic carbon stocks with combined principal component analysis and geographically weighted regression | |
| CN102495943B (zh) | 地球物理模型建模方法 | |
| Yan et al. | Examining the expansion of Spartina alterniflora in coastal wetlands using an MCE-CA-Markov model | |
| CN117556197A (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
| Pimwiset et al. | Water Turbidity Determination by a Satellite Imagery-Based Mathematical Equation for the Chao Phraya River: 10.32526/ennrj/20/202100237 | |
| CN117030957A (zh) | 近海营养盐和化学需氧量的遥感反演方法及系统 | |
| Tochamnanvita et al. | Investigation of coastline changes in three provinces of Thailand using remote sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |