CN112070234A - 复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 - Google Patents
复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 Download PDFInfo
- Publication number
- CN112070234A CN112070234A CN202010923955.XA CN202010923955A CN112070234A CN 112070234 A CN112070234 A CN 112070234A CN 202010923955 A CN202010923955 A CN 202010923955A CN 112070234 A CN112070234 A CN 112070234A
- Authority
- CN
- China
- Prior art keywords
- chlorophyll
- phycocyanin
- remote sensing
- water body
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 73
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 title claims abstract description 61
- 108010053210 Phycocyanin Proteins 0.000 title claims abstract description 58
- 229930002875 chlorophyll Natural products 0.000 title claims abstract description 58
- 235000019804 chlorophyll Nutrition 0.000 title claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 23
- 238000010801 machine learning Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 230000001360 synchronised effect Effects 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000007637 random forest analysis Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 5
- 239000002352 surface water Substances 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 229920006395 saturated elastomer Polymers 0.000 claims description 2
- 239000000049 pigment Substances 0.000 abstract description 2
- 239000002344 surface layer Substances 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 30
- 238000012360 testing method Methods 0.000 description 21
- 238000012795 verification Methods 0.000 description 19
- 238000010276 construction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 241000195493 Cryptophyta Species 0.000 description 3
- 229930002868 chlorophyll a Natural products 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012851 eutrophication Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000002028 Biomass Substances 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000005422 algal bloom Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1793—Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Immunology (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法，将成像光谱仪架设于岸边水体进行不同天况和水况复杂场景下水体遥感反射比高频自动连续观测；利用多参数水质仪对同一水体表层叶绿素和藻蓝素进行同步高频自动连续观测；匹配同步观测的遥感反射比和色素浓度数据，构建覆盖不同观测场景的同步样本数据集；用机器学习模型建立反演模型并应用至成像光谱仪，实现无人值守下的水体叶绿素和藻蓝素快速实时高频自动连续监测。本发明基于岸基遥感针对不同的天况和水况复杂场景下大样本数据集能准确、自动反演水体中叶绿素和藻蓝素浓度，算法应用至成像光谱仪可实现无人值守下水体表面叶绿素和藻蓝素快速实时高频自动连续监测。
Description
技术领域
本发明涉及水体环境监测过程中利用岸基光谱仪实现水体水质快速、准确、自动高频遥感提取，尤其涉及一种基于岸基遥感手段的不同天况和水况的叶绿素和藻蓝素机器学习算法。
背景技术
随着我国经济快速发展，水环境和水污染问题日益严峻。准确快速的水体环境监测是实现水质水环境变化特征、成因机制、评价评估、治理修复和管理考核的重要基石，无论是科学研究还是环境管理以及政府决策很大程度上都非常依赖水体环境监测结果。叶绿素和藻蓝素是表征水体富营养化和蓝藻优势度的主要指标，广泛应用于环境监测、断面水质达标和富营养化评价等。
叶绿素和藻蓝素监测包括传统的定点断面人工采样监测、探头高频在线监测、航空航天和无人机遥感监测等不同技术方法。传统的断面人工采样监测费时费力且时间和空间频率均非常低，数据离散；水下探头高频在线监测能解决时间上的连续观测，但探头易于损耗和受水况环境干扰造成监测精度不稳定，并且探头后期管理和维护成本较高；航空航天和无人机遥感监测能实现不同空间尺度叶绿素和藻蓝素的遥感反演，但很难解决时间上连续观测，并且由于云雨天况和大气校正影响，其监测效果和精度存在一定不确定性。并且对于小型湖泊、水库、河道及重要断面，卫星遥感的低空间分辨率将使其失去监测能力，只能通过Landsat、Sentinel、Gaofen 等陆地中高分辨率卫星（10 ~30 m）观测，但重访周期长、波段宽大、信噪比低和非水色波段设置等缺点都会限制其在小型湖泊、水库、河道及重要断面水环境遥感应用。因此，迫切需要在研制高时间分辨率、高空间分辨率的水质遥感监测设备和算法方面取得突破。
岸基遥感由于不需要进行大气校正，精度高，能实现不同天况和水况下水体叶绿素和藻蓝素连续高频监测，并且能覆盖数平方公里范围水域，此外由于光谱仪是架设在大气而非水体中，其损耗非常小，精度能保证，后期运营维护非常方便，能够解决河流断面和近岸重点水域数平方公里范围内叶绿素和藻蓝素高空间和高时间连续协同观测。
然而到目前为此，市场上尚没有较为成熟的岸基光谱成像仪和遥感观测系统以及关键水质参数的岸基遥感反演算法，因此迫切需要发展相关仪器设备和遥感算法，满足日益增长的河流断面和近岸水域关键水质参数高时空连续动态观测需求。
发明内容
本发明的目的在于提供基于岸基成像光谱仪的复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法，实现不同天况和水况环境下叶绿素和藻蓝素的快速实时遥感监测，适用于河流、湖库、近海和远海等不同类型水体，同时操作方法简便，易于维护，便与推广和应用，具有较为明显的优势和创新性。
为实现上述目的，本发明采用如下技术方案：
一种复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法，包括如下步骤：
S1、将成像光谱仪架设于岸边水体进行不同观测场景下水体遥感反射比连续高频自动观测；所述不同观测场景指不同天况、水况的水体遥感反射比；
S2、利用多参数水质仪对同一表层水体叶绿素和藻蓝素进行同步连续高频自动观测；
S3、匹配同步观测的遥感反射比和叶绿素、藻蓝素浓度数据，构建覆盖各类不同观测场景的同步样本数据集；
S4、利用机器学习模型训练数据集，建立叶绿素、藻蓝素浓度反演模型；
S5、将建立的反演模型应用至S1所述成像光谱仪，实现无人值守下水体表面叶绿素和藻蓝素快速实时高频自动连续监测。
本发明所述水体可以是溪流、河流、池塘、沼泽、湖泊、水库等内陆水体，也可以是海湾、近海和远洋等海洋水体。
进一步的，所述天况包括不同天气状态（小雨、阴天、多云和晴天）、不同时间段（上午8:30到下午18:00）不同太阳高度角；所述水况包括不同风浪程度、不同浑浊度、不同水华程度。
进一步的，所述光谱仪架设于岸边，可通过电线杆、钢管等不同支架架设光谱仪，光谱仪离水面高度为2.5m。所述水体遥感反射比连续高频自动观测指采用光谱仪双通道同步测定向上辐照度和向下辐照度，计算向上辐照度与向下辐照度比值得到遥感反射比；观测频次根据需求可以设置为数秒到数小时不等。
进一步的，所述表层水体指水面以下50 cm范围内的水柱。
进一步的，为保证遥感反演算法精度和普适性，同步样本数据集要覆盖各类不同观测场景，涵盖较大的叶绿素和藻蓝素浓度范围，样本数据集要超过5000个同步样本。
进一步的，在520-560nm，656-670nm，700-801nm三个波段范围内以2 nm为步长，选取共75个波长对应的遥感反射比作为输入要素；叶绿素、藻蓝素浓度作为输出要素，建立机器学习模型。本发明根据叶绿素和藻蓝素的光谱反射变化以及与遥感反射比的相关系数，并考虑悬浮物和溶解性有机物对遥感反射比的影响，选取上述三个波段中75个波长对应的遥感反射比作为输入，针对复杂场景及不同的机器学习模型均有较好的效果。
进一步的，对机器学习模型输入数据进行预处理，剔除反射比为1的饱和数据，之后基于均值方差归一化方法对数据进行归一化处理。
进一步的，基于高斯过程回归、神经网络和随机森林模型训练样本数据集，建立叶绿素、藻蓝素浓度反演模型。
进一步的，基于BP神经网络训练样本数据集，输入层到隐含层激励函数为正切S型函数，隐含层到输出层激励函数为线性输出函数，训练函数为Levenberg Marquardt 算法，隐含层节点数为10。
进一步的，基于高斯过程回归训练样本数据集，选用Squared Exponential核建立模型，通过数据子集近似法获取核函数参数，即超参数，采拟牛顿方法进行求得超参数最优解。
进一步的，基于随机森林模型训练样本数据集，设置决策树个数为50，最小叶子节点样本数为5，建立回归模型。
本发明的有益效果是：
（1）与传统的航天航空和无人机遥感相比，本发明不需要进行大气校正，也适用于小雨、阴天和多云条件，拓展光谱成像时间范畴，并且光谱分辨率高，叶绿素和藻蓝素遥感反演精度非常高且有保证。
（2）与已有的地物光谱仪或者成像光谱仪相比，本发明光谱成像仪可以实时自动高频监测，做到无人值守。
（3）该发明算法能实现不同天况、水况等各种复杂场景下水体叶绿素和藻蓝素连续高频监测，并且能覆盖数平方公里范围水域，可以广泛应用于不同类型水体藻类色素的遥感反演、富营养化和地表水环境质量评价研究，深化水环境质量形成机理的基础理论和防控技术研究。
（4）该算法依托的光谱仪是架设在大气而非水体中，与水下探头监测相比，其能耗低、损耗小，受外界环境影响非常有限，因此观测和算法精度能保证，后期运营维护非常方便。
附图说明
图1为本发明一种基于岸基遥感的水体叶绿素和藻蓝素遥感机器学习算法的工作流程图。
图2为本发明实施案例中太湖岸基遥感连续高频自动观测示意图。
图3为本发明实施案例中叶绿素和藻蓝素连续变化图。
图4为本发明实施案例中叶绿素和藻蓝素与遥感反射比的相关系数图。
图5为本发明实施案例中叶绿素神经网络模型构建与验证对照图，从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图6为本发明实施案例中叶绿素高斯过程回归模型构建与验证对照图，从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图7为本发明实施案例中叶绿素随机森林模型构建与验证对照图，从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图8为本发明实施案例中藻蓝素神经网络模型构建与验证对照图，从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图9为本发明实施案例中藻蓝素高斯过程回归模型构建与验证对照图，从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
图10为本发明实施案例中藻蓝素随机森林模型构建与验证对照图，从左至右分别为基于训练集、验证集和全部数据集的模型检验结果。
具体实施方式
以下将以太湖实践案例结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
本发明的方法流程如图1所示，包括如下步骤：
S1、2020年7月31-8月17日在太湖岸边架设海康威视研发的多光谱仪成像仪；如图2所示，多光谱成像仪架设于岸边的电线杆，离水面距离约2.5 m，成像范围可达数平方公里，采用垂直观测，通过同步自动高频测定向下和向上辐照度得到遥感反射比。观测结果可以存储于多光谱成像仪自带的存储系统，也可以实时发送至后台接收系统，可以做到无人值守。由于本发明采集的数据源包含多种不同复杂场景，不同场景适宜的光谱仪监测高度也不同，本发明经测试后统一选择2.5m高度，在各种场景下都有较好适应性。
开展不同天气状态（小雨、阴天、多云和晴天）、不同时间段（上午8:30到下午18:00）不同太阳高度角、不同风浪程度（小风浪：风速小于2m/s、中风浪：风速2-5 m/s和大风浪：风速大于5 m/s）、不同浑浊度（低浑浊：悬浮物浓度小于30 mg/L、中浑浊：悬浮物30-100mg/L和高浑浊：悬浮物大于100 mg/L）、不同水华程度（无水华：叶绿素a小于10 µg/L、少量水华：叶绿素a在10-50 µg/L、大量水华：叶绿素a大于50 µg/L）各类场景下遥感反射比连续自动监测，测定时间范围：8:30-18:00，监测频率：30 秒/次。
S2、利用YSI多参数水质仪对同一表层水体（水面以下50 cm范围内的水柱）叶绿素和藻蓝素开展相同监测时段和频次的连续高频监测，获得同步的遥感反射比、叶绿素和藻蓝素浓度的大样本量数据集。
图3为本发明采集的叶绿素和藻蓝素浓度连续变化图。由图3可知，在7月31日-8月17日连续观测过程中，共记录到与遥感反射比同步观测的11989个样本数据集，涵盖了非常宽泛的叶绿素和藻蓝素浓度范围，其中叶绿素和藻蓝素浓度范围为2.84-81.6 µg/L、0.44-173.1 µg/L，代表不同藻类生物量和藻华状况，具有广泛代表性。
S3、匹配同步观测的遥感反射比和叶绿素、藻蓝素浓度数据，构建覆盖各类不同观测场景的同步样本数据集；
S4、利用机器学习模型训练数据集，建立叶绿素、藻蓝素浓度反演模型；
输入要素：图4为叶绿素和藻蓝素与遥感反射比的相关系数图，由图4可知，在700nm后，叶绿素与藻蓝素与遥感反射比的相关系数高达0.8。
根据叶绿素和藻蓝素的光谱反射变化以及与遥感反射比的相关系数，考虑悬浮物和溶解性有机物对遥感反射比的影响，选择了520-560nm，656-670nm，700-801nm波段范围内每2 nm一个波长，共75个波长遥感反射比作为输入要素。
输出要素：分别以叶绿素浓度和藻蓝素浓度作为输出要素。
高斯过程回归、神经网络和随机森林模型三种机器学习算法输入和输出参数相同。
数据预处理：首先剔除了反射比为1的所有饱和数据；然后采用了均值方差（z-score）归一化的方法对数据进行归一化处理，归一化后加快了后期梯度下降求最优解的速度。
数据预处理后，共有11989组有效数据，其中随机选择8000组数据为训练集数据，剩余3989组数据为验证数据。
在Matlab或者R语言中运行机器学习模型，实施例中使用了高斯过程回归、神经网络、随机森林模型三种机器学习模型。
BP神经网络模型是一种多层前馈网络，主要的学习过程包括前向计算过程和误差反向传播过程。主要包括输入层（input）、隐含层(hide layer)和输出层(output layer)三层结构。本模型使用上述的75个波段作为输入神经元，分别以叶绿素浓度和藻蓝素浓度作为唯一的输出神经元。
BP 算法参数设置
| 参数 | 取值 |
| 输入层到隐含层激励函数 | 正切S型函数 |
| 隐含层到输出层激励函数 | 线性输出函数 |
| 训练函数 | Levenberg Marquardt 算法 |
| 隐含层节点数 | 10 |
| 迭代次数 | 1000 |
| 学习率 | 0.1 |
| 学习目标 | 0.001 |
| 学习目标 | 0.001 |
高斯过程回归模型：是使用高斯过程先验对数据进行回归分析的非参数模型，高斯过程回归模型中核函数的实际意义为协方差函数，描述了学习样本间的相关性。是贝叶斯理论和统计学习理论发展起来的一种全新的机器学习方法，适用于处理高维数、非线性等复杂的回归问题。本模型中设置参数如下：
高斯过程回归模型参数设置
| 参数 | 取值 |
| （核函数）KernelFunction | ‘Squared Exponential Kernel’ |
| （显式基础）BasisFunction | ‘Constant’ |
| （噪声标准偏差初始值）Sigma | 0.1 |
| （系数初始值）Beta: | 默认为0 |
| （参数估计方法）FitMethod | ‘SD’ |
| （预测方法）PredictMethod | ‘Exact’ |
| （参数优化器）Optimizer | ‘quasinewton’ |
随机森林模型：随机森林模型是一种基于分类树的算法，通过若干自变量来解释因变量。如果因变量Y有n个观测值，有k个自变量与之相关；在构建分类树的时候，随机森林会随机地在原数据中重新选择n个观测值，其中有的观测值被选择多次，有的没有被选到。随机森林的优势为不容易产生过拟合，并且抗噪声能力比较强，模型降低了回归树之间的相关性，且对异常值和噪声数据的容忍度较高，因此具有较好的泛化能力与准确性。本模型中设置了50个决策树用以训练学习，具体参数如下表。
RF 算法参数设置
| 参数 | 取值 |
| 决策树个数 | 50 |
| 最小叶子节点样本数 | 5 |
| 最大叶子节点样本数 | None |
| 决策树的最大深度 | 无限制 |
| Method | Regression |
模型经训练集训练完成后，将3989组数据代入模型预测，反归一化后将预测结果与实测数据进行精度检验，基于实测值与模拟值线性相关决定系数，显著性水平、相对均方根误差等证明算法的准确性和可推广性。
利用神经网、络高斯过程回归和随机森林模型等机器学习算法构建遥感反射比与叶绿素、藻蓝素的关系模型，通过独立样本集对模型反演结果进行精度检验，基于实测值与模拟值线性相关决定系数，显著性水平、相对均方根误差等证明算法的准确性和可推广性。
决定系数（R 2）：用来反映回归模型中因变量随自变量变化可靠程度的一个统计指标，值越高表示因变量随自变量变化可靠程度越大。
显著性水平（P）：显著性水平是假设检验中的一个概念，是指当原假设为正确时人们却把它拒绝了的概率或风险。它是公认的小概率事件的概率值，必须在每一次统计检验之前确定，通常取α＝0.05或α＝0.01。这表明，当作出接受原假设的决定时，其正确的可能性（概率）为95%或99%。
相对均方根误差（RRMSE）：均方根误差是预测值与实测值偏差的平方与观测次数比值的平方根，均方根误差与实测值平均的比值表示为相对均方根误差。
平均相对误差（Mean Relative Error）：平均相对误差就是指相对误差的平均值，这个平均相对误差一般是用相对误差绝对值进行平均得到。
综合考虑线性相关决定系数，显著性水平、相对均方根误差等统计参数，无论是叶绿素还是藻蓝素，高斯过程回归模型提供最高的检验精度，因此遴选出高斯过程回归模型融于海康威视高光谱成像仪，用于叶绿素和藻蓝素的连续高频自动监测。
图5为本发明实施案例中叶绿素神经网络模型构建与验证对照图。由图4可知，无论是训练集样本还是测试集样本，实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本，实测值与模拟值线性关系决定系数高达0.85，显著性水平P<0.001，相对均方根误差34.5%、平均相对误差19.6%；
图6为本发明实施案例中叶绿素高斯过程回归模型构建与验证对照图。由图5可知，无论是训练集样本还是测试集样本，实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本，实测值与模拟值线性关系决定系数高达0.92，显著性水平P<0.001，相对均方根误差23.7%、平均相对误差11.2%；
图7为本发明实施案例中叶绿素随机森林模型构建与验证对照图。由图4可知，无论是训练集样本还是测试集样本，实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本，实测值与模拟值线性关系决定系数高达0.91，显著性水平P<0.001，相对均方根误差28.2%、平均相对误差10.4%；
图8为本发明实施案例中藻蓝素神经网络模型构建与验证对照图。由图4可知，无论是训练集样本还是测试集样本，实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本，实测值与模拟值线性关系决定系数高达0.84，显著性水平P<0.001，相对均方根误差154.9%、平均相对误差67.6%；
图9为本发明实施案例中藻蓝素高斯过程回归模型构建与验证对照图。由图4可知，无论是训练集样本还是测试集样本，实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本，实测值与模拟值线性关系决定系数高达0.91，显著性水平P<0.001，相对均方根误差82.7%、平均相对误差29.2%；
图10为本发明实施案例中藻蓝素随机森林模型构建与验证对照图。由图4可知，无论是训练集样本还是测试集样本，实测值与模拟值较为均匀分布在1:1线两侧。对于全部的训练和测试集样本，实测值与模拟值线性关系决定系数高达0.89，显著性水平P<0.001，相对均方根误差112.5%、平均相对误差29.3%。
Claims (10)
1.一种复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法，其特征在于，包括如下步骤：
S1、将成像光谱仪架设于岸边水体进行不同观测场景下水体遥感反射比连续高频自动观测；所述不同观测场景指不同天况、水况的水体遥感反射比；
S2、利用多参数水质仪对同一表层水体叶绿素和藻蓝素进行同步连续高频自动观测；
S3、匹配同步观测的遥感反射比和叶绿素、藻蓝素浓度数据，构建覆盖各类不同观测场景的同步样本数据集；
S4、利用机器学习模型训练数据集，建立叶绿素、藻蓝素浓度反演模型；
S5、将建立的反演模型应用至S1所述成像光谱仪，实现无人值守下水体表面叶绿素和藻蓝素快速实时高频自动连续监测。
2.根据权利要求1所述的方法，其特征在于，所述天况包括不同天气状态、不同时间段太阳高度角；所述水况包括不同风浪程度、不同浑浊度和不同水华程度。
3.根据权利要求1所述的方法，其特征在于，所述光谱仪距离水面高度为2.5m；所述水体遥感反射比连续高频自动观测指采用光谱仪双通道同步测定向上辐照度和向下辐照度，计算向上辐照度与向下辐照度比值得到遥感反射比；观测频次根据需求设置为数秒到数小时不等。
4.根据权利要求1所述的方法，其特征在于，所述同步样本数据集覆盖各类不同观测场景；样本数据集中的同步样本数目大于5000个。
5.根据权利要求1所述的方法，其特征在于，在520-560nm，656-670nm，700-801nm三个波段范围内以2 nm为步长，选取共75个波长对应的遥感反射比作为输入要素；叶绿素、藻蓝素浓度作为输出要素，建立机器学习模型。
6.根据权利要求1所述的方法，其特征在于，对机器学习模型输入数据进行预处理，剔除反射比为1的饱和数据，之后基于均值方差归一化方法对数据进行归一化处理。
7.根据权利要求1，5-6任一项所述的方法，其特征在于，基于高斯过程回归、神经网络和随机森林模型训练样本数据集，建立叶绿素、藻蓝素浓度反演模型。
8.根据权利要求7所述的方法，其特征在于，基于神经网络训练样本数据集，输入层到隐含层激励函数为正切S型函数，隐含层到输出层激励函数为线性输出函数，训练函数为Levenberg Marquardt 算法，隐含层节点数为10。
9.根据权利要求7所述的方法，其特征在于，基于高斯过程回归训练样本数据集，选用Squared Exponential核建立模型，通过数据子集近似法获取核函数参数，即超参数，采拟牛顿方法进行求得超参数最优解。
10.根据权利要求7所述的方法，其特征在于，基于随机森林模型训练样本数据集，设置决策树个数为50，最小叶子节点样本数为5，建立回归模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923955.XA CN112070234B (zh) | 2020-09-04 | 2020-09-04 | 复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923955.XA CN112070234B (zh) | 2020-09-04 | 2020-09-04 | 复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070234A true CN112070234A (zh) | 2020-12-11 |
| CN112070234B CN112070234B (zh) | 2024-01-30 |
Family
ID=73665601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010923955.XA Active CN112070234B (zh) | 2020-09-04 | 2020-09-04 | 复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070234B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112763426A (zh) * | 2020-12-23 | 2021-05-07 | 宁德卫星大数据科技有限公司 | 一种循环优化的高光谱大数据水质全天候动态监测方法 |
| CN112816421A (zh) * | 2021-01-25 | 2021-05-18 | 中国科学院南京地理与湖泊研究所 | 水体营养盐和化学需氧量的陆基遥感监测方法 |
| CN112989281A (zh) * | 2021-02-20 | 2021-06-18 | 中国科学院南京地理与湖泊研究所 | 一种基于遥感藻总量的藻华预测方法 |
| CN113310909A (zh) * | 2021-05-14 | 2021-08-27 | 山东深蓝智谱数字科技有限公司 | 一种基于高光谱的水质测定方法及设备 |
| CN113780177A (zh) * | 2021-09-10 | 2021-12-10 | 中国科学院南京地理与湖泊研究所 | 一种非接触式实时原位水质监测方法 |
| CN114002164A (zh) * | 2021-10-22 | 2022-02-01 | 中国科学院西安光学精密机械研究所 | 一种杆式高光谱多参数水环境监测装置及方法 |
| CN114858221A (zh) * | 2022-07-05 | 2022-08-05 | 中国长江三峡集团有限公司 | 一种基于水域营养状态预测的水华智能预警系统及方法 |
| CN115311628A (zh) * | 2022-10-12 | 2022-11-08 | 成都理工大学 | 森林冠层叶绿素含量反演及动态监测方法 |
| CN116008267A (zh) * | 2022-12-09 | 2023-04-25 | 自然资源部第二海洋研究所 | 海洋叶绿素a浓度三维分布反演方法、终端及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760112A (zh) * | 2014-01-23 | 2014-04-30 | 中国科学院南京地理与湖泊研究所 | 基于遥感的湖泊水体蓝藻丰度的估算方法 |
| CN104820224A (zh) * | 2015-05-08 | 2015-08-05 | 中国科学院南京地理与湖泊研究所 | 富营养化湖泊水体叶绿素a的MODIS卫星高精度监测方法 |
| CN105631904A (zh) * | 2015-09-21 | 2016-06-01 | 中国科学院南京地理与湖泊研究所 | 一种富营养化湖泊藻类总存量遥感估算方法 |
| CN107271372A (zh) * | 2017-06-02 | 2017-10-20 | 西北农林科技大学 | 一种苹果叶片叶绿素遥感估测方法 |
| WO2018145229A1 (zh) * | 2017-02-10 | 2018-08-16 | 广西壮族自治区气象减灾研究所 | 一种近地面气温的大面积精确反演方法 |
| CN109409441A (zh) * | 2018-11-16 | 2019-03-01 | 福州大学 | 基于改进随机森林的近岸水体叶绿素a浓度遥感反演方法 |
| CN110376138A (zh) * | 2019-08-05 | 2019-10-25 | 北京绿土科技有限公司 | 基于航空高光谱的土地质量监测方法 |
-
2020
- 2020-09-04 CN CN202010923955.XA patent/CN112070234B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760112A (zh) * | 2014-01-23 | 2014-04-30 | 中国科学院南京地理与湖泊研究所 | 基于遥感的湖泊水体蓝藻丰度的估算方法 |
| CN104820224A (zh) * | 2015-05-08 | 2015-08-05 | 中国科学院南京地理与湖泊研究所 | 富营养化湖泊水体叶绿素a的MODIS卫星高精度监测方法 |
| CN105631904A (zh) * | 2015-09-21 | 2016-06-01 | 中国科学院南京地理与湖泊研究所 | 一种富营养化湖泊藻类总存量遥感估算方法 |
| WO2018145229A1 (zh) * | 2017-02-10 | 2018-08-16 | 广西壮族自治区气象减灾研究所 | 一种近地面气温的大面积精确反演方法 |
| CN107271372A (zh) * | 2017-06-02 | 2017-10-20 | 西北农林科技大学 | 一种苹果叶片叶绿素遥感估测方法 |
| CN109409441A (zh) * | 2018-11-16 | 2019-03-01 | 福州大学 | 基于改进随机森林的近岸水体叶绿素a浓度遥感反演方法 |
| CN110376138A (zh) * | 2019-08-05 | 2019-10-25 | 北京绿土科技有限公司 | 基于航空高光谱的土地质量监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 程立刚: "遥感技术在大气环境监测中的应用综述", 《中国环境监测》, no. 05, pages 17 - 23 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112763426A (zh) * | 2020-12-23 | 2021-05-07 | 宁德卫星大数据科技有限公司 | 一种循环优化的高光谱大数据水质全天候动态监测方法 |
| CN112816421A (zh) * | 2021-01-25 | 2021-05-18 | 中国科学院南京地理与湖泊研究所 | 水体营养盐和化学需氧量的陆基遥感监测方法 |
| CN112989281A (zh) * | 2021-02-20 | 2021-06-18 | 中国科学院南京地理与湖泊研究所 | 一种基于遥感藻总量的藻华预测方法 |
| CN112989281B (zh) * | 2021-02-20 | 2023-09-12 | 中国科学院南京地理与湖泊研究所 | 一种基于遥感藻总量的藻华预测方法 |
| CN113310909A (zh) * | 2021-05-14 | 2021-08-27 | 山东深蓝智谱数字科技有限公司 | 一种基于高光谱的水质测定方法及设备 |
| CN113310909B (zh) * | 2021-05-14 | 2022-04-26 | 山东深蓝智谱数字科技有限公司 | 一种基于高光谱的水质测定方法及设备 |
| CN113780177A (zh) * | 2021-09-10 | 2021-12-10 | 中国科学院南京地理与湖泊研究所 | 一种非接触式实时原位水质监测方法 |
| CN114002164A (zh) * | 2021-10-22 | 2022-02-01 | 中国科学院西安光学精密机械研究所 | 一种杆式高光谱多参数水环境监测装置及方法 |
| CN114858221A (zh) * | 2022-07-05 | 2022-08-05 | 中国长江三峡集团有限公司 | 一种基于水域营养状态预测的水华智能预警系统及方法 |
| CN115311628A (zh) * | 2022-10-12 | 2022-11-08 | 成都理工大学 | 森林冠层叶绿素含量反演及动态监测方法 |
| CN115311628B (zh) * | 2022-10-12 | 2022-12-06 | 成都理工大学 | 森林冠层叶绿素含量反演及动态监测方法 |
| CN116008267A (zh) * | 2022-12-09 | 2023-04-25 | 自然资源部第二海洋研究所 | 海洋叶绿素a浓度三维分布反演方法、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070234B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070234B (zh) | 复杂场景下水体叶绿素和藻蓝素陆基遥感机器学习算法 | |
| Chen et al. | Estimating sea surface salinity in the northern Gulf of Mexico from satellite ocean color measurements | |
| Brewin et al. | Underway spectrophotometry along the Atlantic Meridional Transect reveals high performance in satellite chlorophyll retrievals | |
| CN112816421A (zh) | 水体营养盐和化学需氧量的陆基遥感监测方法 | |
| CN114239422B (zh) | 基于机器学习提高海洋叶绿素a浓度预报准确度的方法 | |
| CN113834787A (zh) | 一种中小河道劣ⅴ类水体水质识别与量化方法 | |
| CN109406457B (zh) | 一种基于半分析模型的沉水植被光谱水体影响校正方法 | |
| Yu et al. | Functional linear analysis of in situ hyperspectral data for assessing CDOM in rivers | |
| CN113420497B (zh) | 浑浊湖泊总磷浓度遥感估算方法 | |
| Chen et al. | Remote sensing estimation of chlorophyll-A in case-II waters of coastal areas: Three-band model versus genetic algorithm–artificial neural networks model | |
| Liu et al. | Trophic state assessment of optically diverse lakes using Sentinel-3-derived trophic level index | |
| CN116343046A (zh) | 基于自优化机器学习的多源遥感城市河流水质监测方法 | |
| CN113763272B (zh) | 一种富营养化湖泊光合有效辐射衰减系数遥感反演方法 | |
| CN117274831B (zh) | 一种基于机器学习与高光谱卫星遥感影像的近岸浑浊水体水深反演方法 | |
| CN113780177A (zh) | 一种非接触式实时原位水质监测方法 | |
| CN111597692B (zh) | 一种地表净辐射估算方法、系统、电子设备和存储介质 | |
| CN114965300B (zh) | 基于光学水体类型和bp神经网络算法构建bp-turb的湖泊浊度制图方法 | |
| Shi et al. | Automated spectral transfer learning strategy for semi-supervised regression on Chlorophyll-a retrievals with Sentinel-2 imagery | |
| CN111723522A (zh) | 一种湖泊与河流溶解有机碳交换通量的计算方法 | |
| Jo et al. | Chlorophyll concentration derived from microwave remote sensing measurements using artificial neural network algorithm | |
| Liu et al. | A neural networks based method for suspended sediment concentration retrieval from GF-5 hyperspectral images | |
| Kazemzadeh et al. | Remote sensing of temporal and spatial variations of suspended sediment concentration in Bahmanshir Estuary, Iran | |
| CN116229288A (zh) | 基于无人机多光谱影像的城市河道tsm浓度反演方法 | |
| CN112949038B (zh) | 一种计算海洋水体不同浮游植物种群比吸收系数的方法 | |
| Hieu et al. | Estimating the Chlorophyll-a in the Nha Trang Bay using Landsat-8 OLI data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |