CN117723497A - 一种智能随动水质监测系统 - Google Patents
一种智能随动水质监测系统 Download PDFInfo
- Publication number
- CN117723497A CN117723497A CN202410176538.1A CN202410176538A CN117723497A CN 117723497 A CN117723497 A CN 117723497A CN 202410176538 A CN202410176538 A CN 202410176538A CN 117723497 A CN117723497 A CN 117723497A
- Authority
- CN
- China
- Prior art keywords
- water quality
- hyperspectral data
- repaired
- value
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 275
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 80
- 230000003595 spectral effect Effects 0.000 claims abstract description 45
- 238000002310 reflectometry Methods 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000000443 aerosol Substances 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000002834 transmittance Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 12
- 229910052698 phosphorus Inorganic materials 0.000 claims description 12
- 239000011574 phosphorus Substances 0.000 claims description 12
- 229930002875 chlorophyll Natural products 0.000 claims description 11
- 235000019804 chlorophyll Nutrition 0.000 claims description 11
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 11
- 230000008485 antagonism Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 abstract description 2
- 230000005855 radiation Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000195493 Cryptophyta Species 0.000 description 1
- JLVVSXFLKOJNIY-UHFFFAOYSA-N Magnesium ion Chemical compound [Mg+2] JLVVSXFLKOJNIY-UHFFFAOYSA-N 0.000 description 1
- FKNQFGJONOIPTF-UHFFFAOYSA-N Sodium cation Chemical compound [Na+] FKNQFGJONOIPTF-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003321 atomic absorption spectrophotometry Methods 0.000 description 1
- 238000001479 atomic absorption spectroscopy Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 238000004128 high performance liquid chromatography Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000004255 ion exchange chromatography Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 229910001425 magnesium ion Inorganic materials 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 229910001415 sodium ion Inorganic materials 0.000 description 1
- 238000002798 spectrophotometry method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及水质监测技术领域，公开了一种智能随动水质监测系统，包括：待修复高光谱数据采集模块，获取待监测水域的每个采样点的待修复高光谱数据；已修复高光谱数据生成模块，将每个采样点的待修复高光谱数据输入到大气校正模型，输出已修复高光谱数据；水质反演模型构建模块，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型；水质反演模型生成模块，选择其中偏差系数的总和的最小值作为最终的水质反演模型；本发明通过循环对抗来消除大气环境对高光谱数据的影响，并通过波段划分以及归一化光谱反射率来提取与水质参数相关的敏感波段的特征，结合非线性水质反演模型能够提高水质参数预测的精度。
Description
技术领域
本发明涉及水质监测技术领域，更具体地说，它涉及一种智能随动水质监测系统。
背景技术
现有的水质监测主要有以下方式：1.通过高效液相色谱法分析污染物类型，虽然该方式检测精度较高，但是相关仪器昂贵，并且需要将水样带入实验室进行分析，存在严重的时间延滞性，无法实时进行水质监测；2.通过水质传感器采集水质参数并通过设置阈值的方式来判断水质是否正常，虽然水质传感器采集水质参数的精度较高且使用灵活，但是长时间使用存在微生物和杂质附着的影响，且传感器自身也存在老化现象，从而影响水质监测的精度；3.通过在河岸边建立水质监测站，使用水泵和管路将河水泵入到流通池中，再通过化学法获取水质参数，但是水质中化合物在流动过程中与空气接触产生氧化反应或者与管路、流通池中的微生物反应，导致流通池中的水质参数与原位的水质参数存在较大差异，从而影响水质监测的精度。
现有通过高光谱数据进行水质监测能够实时监测水质，并且非接触式监测可以避免水质二次污染。公开号为CN113109281B，专利名称为一种基于高光谱遥感的水质参数定量反演模型及其构建方法的中国专利公开了：通过光谱仪采集各个采样点的高光谱数据，并测定各个采样点的实测水质参数（例如电导率、钠离子浓度、镁离子浓度等），通过四值光谱编码方法提取各个采样点的高光谱数据的有效波段（例如325nm~950nm）内的光谱形态特征，将光谱形态特征作为输入变量并通过F检验来逐步确定显著性变量，基于显著性变量构建不同水质参数的回归模型输出水质参数来逼近实测水质参数，最后通过决定系数R2等评估回归模型的性能，选择决定系数R2最大的作为不同水质参数的回归模型。
然而上述方案中并没有考虑到大气等环境因素会对光的传输和反射产生影响（例如大气中的水汽、气溶胶等物质会对光线进行散射和吸收），进而影响获取高光谱数据的准确性，导致通过水质反演模型预测水质参数的精度降低，并且上述方案通过四值光谱编码方法提取光谱形态特征较为繁琐，此外，水质参数可能与高光谱数据呈非线性关系，上述方案中基于线性回归的水质反演模型可能存在预测精度不高的情况。
发明内容
本发明提供一种智能随动水质监测系统，解决上述背景技术中的技术问题。
本发明提供了一种智能随动水质监测系统，包括：
待修复高光谱数据采集模块，将待监测水域划分为M*N个大小的网格区域，每个网格区域的中心点作为采样点，获取每个采样点的水质参数的实测值和高光谱数据，并将高光谱数据标记为待修复高光谱数据；水质参数包括：总磷含量、悬浮物浓度、叶绿素浓度和浊度；
第i个采样点的待修复高光谱数据表示为：/>，其中1≤i≤M*N，/>分别表示第i个采样点的高光谱数据中波长为m纳米到n纳米的光谱反射率；
大气环境参数采集模块，获取待监测水域所在地理位置的大气环境参数；
大气环境参数包括：大气透过率、水汽含量和气溶胶光学厚度；
校正条件判断模块，判断大气环境参数是否满足校正条件，当大气环境参数只要满足校正条件中的一个，则进入已修复高光谱数据生成模块，否则将待修复高光谱数据标记为已修复高光谱数据进入水质反演模型构建模块；
已修复高光谱数据生成模块，将每个采样点的待修复高光谱数据输入到大气校正模型，输出已修复高光谱数据；已修复高光谱数据的表示和待修复高光谱数据的表示相同；
水质反演模型构建模块，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型；每个水质参数对应的2个水质反演模型的输入均为每个采样点的已修复高光谱数据的敏感波段按照固定波长大小为J划分的多个波段的归一化光谱反射率，输出的值表示每个采样点的每个水质参数的预测值；
水质反演模型生成模块，通过平均相对绝对误差、均方根误差和平均绝对误差分别评估每个水质参数对应的2个水质反演模型的偏差系数，选择其中偏差系数的总和的最小值作为最终的水质反演模型。
进一步地，M、N、m和n均为自定义参数。
进一步地，大气透过率小于预设大气透过率阈值；水汽含量大于等于预设水汽含量阈值；气溶胶光学厚度大于等于预设气溶胶光学厚度阈值；所述预设大气透过率阈值、预设水汽含量阈值和预设气溶胶光学厚度阈值均为自定义参数。
进一步地，大气校正模型包括第一生成器、第二生成器、第一判别器和第二判别器；
第一生成器输入待修复高光谱数据，输出已修复高光谱数据；
第一判别器输入已修复高光谱数据和真实高光谱数据，输出的值表示已修复高光谱数据属于真实高光谱数据的概率值；
第二生成器输入已修复高光谱数据，输出伪待修复高光谱数据；
第二判别器输入待修复高光谱数据和伪待修复高光谱数据，输出的值表示伪待修复高光谱数据属于待修复高光谱数据的概率值；
第一生成器和第一判别器的对抗损失函数的计算公式如下：
，其中A表示待修复高光谱数据，B表示真实高光谱数据，G表示第一生成器，/>表示第一判别器，G(A)表示输入待修复高光谱数据到第一生成器输出的已修复高光谱数据，/>表示输入第一生成器输出的已修复高光谱数据到第一判别器输出的已修复高光谱数据属于真实高光谱数据的概率值，/>表示第一判别器判别真实高光谱数据属于真实高光谱数据的概率值，/>表示最小化第一生成器的对抗损失，/>表示最大化第一判别器的对抗损失；
第二生成器和第二判别器的对抗损失函数的计算公式如下：
，其中/>表示已修复高光谱数据，/>表示待修复高光谱数据，F表示第二生成器，/>表示第二判别器，/>表示输入待修复高光谱数据到第二生成器输出的伪待修复高光谱数据，/>表示输入第二生成器输出的伪待修复高光谱数据到第二判别器输出的伪待修复高光谱数据属于待修复高光谱数据的概率值，/>表示第二判别器判别已修复高光谱数据属于已修复高光谱数据的概率值，/>表示最小化第二生成器的对抗损失，/>表示最大化第二判别器的对抗损失；
大气校正模型的循环一致性损失的损失函数的计算公式如下：
，其中A表示待修复高光谱数据，B表示真实高光谱数据，G表示第一生成器，F表示第二生成器，G(A)表示输入待修复高光谱数据到第一生成器输出的已修复高光谱数据，F(G(A))表示输入第一生成器输出的已修复高光谱数据到第二生成器输出的伪待修复高光谱数据，F(B)表示第二生成器输出的伪待修复高光谱数据，G(F(B))表示第二生成器输出的伪待修复高光谱数据输入到第一生成器输出的已修复高光谱数据，/>表示/>范数。
进一步地，真实高光谱数据表示利用大气传输模型进行大气校正后的高光谱数据。
进一步地，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型，包括以下步骤：
步骤S201，将每个采样点的已修复高光谱数据中波长为m纳米到n纳米的光谱反射率与每个水质参数进行皮尔逊相关系数计算，获得每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值；
步骤S202，选择每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值的最大值对应的波峰，并确定该波峰的波长起始值和波长终止值作为每个水质参数的敏感波段；
步骤S203，将每个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段按照固定波长大小为J划分为多个波段，并计算每个波段的归一化光谱反射率；其中J为自定义参数；
步骤S204，将每个采样点的已修复高光谱数据的敏感波段按照固定波长大小为J划分的多个波段的归一化光谱反射率作为输入变量，每个采样点的每个水质参数的预测值作为输出，输出的值与每个采样点的每个水质参数的实测值进行拟合构建每个水质参数对应的2个水质反演模型。
进一步地，每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值R的计算公式如下：，其中m≤v≤n，M*N表示采样点的总数，/>表示第u个采样点的波长为v纳米的光谱反射率，/>表示u个采样点的波长为v纳米的光谱反射率的平均值，/>表示第u个采样点的水质参数的实测值，/>表示u个采样点的水质参数的实测值的平均值。
进一步地，每个波段的归一化光谱反射率的计算公式如下：，其中1≤j≤M*N，J=q-p，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长起始值为p纳米与波长终止值为q纳米对应波段的归一化光谱反射率，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长起始值为p纳米的光谱反射率，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长终止值为q纳米的光谱反射率。
进一步地，每个水质参数对应的2个水质反演模型包括：线性水质反演模型和非线性水质反演模型；
线性水质反演模型表示为：，其中/>表示线性水质反演模型的每个水质参数的预测值，/>表示线性水质反演模型的每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段对应的权重参数；
非线性水质反演模型表示为：，其中/>表示非线性水质反演模型的每个水质参数的预测值，/>表示非线性水质反演模型的每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段对应的权重参数；
定义：T表示每个水质参数对应的敏感波段按照固定波长大小为J划分为多个波段的波段数量，表示每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段的归一化光谱反射率，/>表示每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段的归一化光谱反射率的t-1次方。
进一步地，通过正定分解矩阵进行线性拟合获得线性水质反演模型，通过非线性最小二乘法进行非线性拟合获得非线性水质反演模型。
本发明的有益效果在于：本发明通过循环对抗来消除大气环境对高光谱数据的影响，并通过波段划分以及归一化光谱反射率来提取与水质参数相关的敏感波段的特征，结合非线性水质反演模型能够提高水质参数预测的精度。
附图说明
图1是本发明的一种智能随动水质监测系统的模块示意图；
图2是本发明的构建每个水质参数对应的2个水质反演模型的流程图；
图3是本发明的非线性水质反演模型的总磷含量的预测值与总磷含量的实测值的对比结果图；
图4是本发明的非线性水质反演模型的悬浮物浓度的预测值与悬浮物浓度的实测值的对比结果图；
图5是本发明的非线性水质反演模型的叶绿素浓度的预测值与叶绿素浓度的实测值的对比结果图；
图6是本发明的非线性水质反演模型的浊度的预测值与浊度的实测值的对比结果图。
图中：待修复高光谱数据采集模块101、大气环境参数采集模块102、校正条件判断模块103、已修复高光谱数据生成模块104、水质反演模型构建模块105和水质反演模型生成模块106。
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。
需要说明的是，除非另外定义，本发明一个或多个实施例使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明的一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1-图6所示，一种智能随动水质监测系统，包括：
待修复高光谱数据采集模块101，将待监测水域划分为M*N个大小的网格区域，每个网格区域的中心点作为采样点，获取每个采样点的水质参数的实测值和高光谱数据，并将高光谱数据标记为待修复高光谱数据；
水质参数包括：总磷含量、悬浮物浓度、叶绿素浓度和浊度；
第i个采样点的待修复高光谱数据表示为：/>，其中1≤i≤M*N，/>分别表示第i个采样点的高光谱数据中波长为m纳米到n纳米的光谱反射率；
大气环境参数采集模块102，获取待监测水域所在地理位置的大气环境参数；
大气环境参数包括：大气透过率、水汽含量和气溶胶光学厚度；
校正条件判断模块103，判断大气环境参数是否满足校正条件，当大气环境参数只要满足校正条件中的一个，则进入已修复高光谱数据生成模块104，否则将待修复高光谱数据标记为已修复高光谱数据进入水质反演模型构建模块105；
已修复高光谱数据生成模块104，将每个采样点的待修复高光谱数据输入到大气校正模型，输出已修复高光谱数据；已修复高光谱数据的表示和待修复高光谱数据的表示相同；
水质反演模型构建模块105，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型；
每个水质参数对应的2个水质反演模型的输入均为每个采样点的已修复高光谱数据的敏感波段按照固定波长大小为J划分的多个波段的归一化光谱反射率，输出的值表示每个采样点的每个水质参数的预测值；
水质反演模型生成模块106，通过MRAE（平均相对绝对误差）、RMSE（均方根误差）和MAE（平均绝对误差）分别评估每个水质参数对应的2个水质反演模型的偏差系数，选择其中偏差系数的总和的最小值作为最终的水质反演模型。
在本发明的一个实施例中，总磷含量的实测值可以通过离子色谱法或者荧光光谱法等检测方法获得，悬浮物浓度的实测值可以通过滤膜法或者分光光度法等检测方法获得，叶绿素浓度的实测值可以通过原子吸收光谱法或者分光光度法等检测方法获得，浊度的实测值可以通过涡旋浊度计或者贝尔浊度计等检测方法获得。
在本发明的一个实施例中，水质参数还可以包括：TOC（总有机碳含量）、蓝藻浓度、DO（溶解氧浓度）和TN（总氮含量）等。
在本发明的一个实施例中，高光谱数据可以通过无人机搭载高光谱传感器获得，也可以通过手持式或者固定式高光谱仪器获得。
在本发明的一个实施例中，M和N均为自定义参数，具体的，M和N分别根据待监测水域的长度和宽度，结合相关水质专家进行评估设定，优选的，M和N的缺省值分别为10和5。
在本发明的一个实施例中，m和n均为自定义参数，总磷含量在可见光波段的高光谱范围通常在380纳米到780纳米之间，悬浮物浓度在可见光波段的高光谱范围通常在400纳米到700纳米之间，叶绿素浓度在可见光波段的高光谱范围通常在650纳米到750纳米之间，浊度在可见光波段的高光谱范围通常在400纳米到700纳米之间；优选的，m和n的缺省值分别为350和1000。
在本发明的一个实施例中，校正条件包括：大气透过率小于预设大气透过率阈值；水汽含量大于等于预设水汽含量阈值；气溶胶光学厚度大于等于预设气溶胶光学厚度阈值；所述预设大气透过率阈值、预设水汽含量阈值和预设气溶胶光学厚度阈值均为自定义参数，优选的，预设大气透过率阈值设置为0.7，预设水汽含量阈值设置为5g/m³，预设气溶胶光学厚度阈值设置为0.2。
需要说明的是，大气透过率表示光线通过大气层时太阳辐射的吸收和散射程度，如果大气透过率较低，说明大气对太阳辐射的吸收和散射程度较高；水汽含量是指大气中水汽的含量，较高的水汽含量会增加大气对太阳辐射的吸收和散射；气溶胶光学厚度反映了大气中颗粒物质的密度，属于无量纲的正值，取值范围在0到1之间，同样气溶胶光学厚度过高，也会增加大气对太阳辐射的吸收和散射；上述情况都会对高光谱数据的质量造成影响。
在本发明的一个实施例中，大气校正模型包括第一生成器、第二生成器、第一判别器和第二判别器；
第一生成器输入待修复高光谱数据，输出已修复高光谱数据；
第一判别器输入已修复高光谱数据和真实高光谱数据，输出的值表示已修复高光谱数据属于真实高光谱数据的概率值；
第二生成器输入已修复高光谱数据，输出伪待修复高光谱数据；
第二判别器输入待修复高光谱数据和伪待修复高光谱数据，输出的值表示伪待修复高光谱数据属于待修复高光谱数据的概率值；
第一生成器和第一判别器的对抗损失函数的计算公式如下：
，其中A表示待修复高光谱数据，B表示真实高光谱数据，G表示第一生成器，/>表示第一判别器，G(A)表示输入待修复高光谱数据到第一生成器输出的已修复高光谱数据，/>表示输入第一生成器输出的已修复高光谱数据到第一判别器输出的已修复高光谱数据属于真实高光谱数据的概率值，/>表示第一判别器判别真实高光谱数据属于真实高光谱数据的概率值，/>表示最小化第一生成器的对抗损失，/>表示最大化第一判别器的对抗损失；；
第二生成器和第二判别器的对抗损失函数的计算公式如下：
，其中/>表示已修复高光谱数据，/>表示待修复高光谱数据，F表示第二生成器，/>表示第二判别器，/>表示输入待修复高光谱数据到第二生成器输出的伪待修复高光谱数据，/>表示输入第二生成器输出的伪待修复高光谱数据到第二判别器输出的伪待修复高光谱数据属于待修复高光谱数据的概率值，/>表示第二判别器判别已修复高光谱数据属于已修复高光谱数据的概率值，/>表示最小化第二生成器的对抗损失，/>表示最大化第二判别器的对抗损失;
大气校正模型的循环一致性损失的损失函数的计算公式如下：
，其中A表示待修复高光谱数据，B表示真实高光谱数据，G表示第一生成器，F表示第二生成器，G(A)表示输入待修复高光谱数据到第一生成器输出的已修复高光谱数据，F(G(A))表示输入第一生成器输出的已修复高光谱数据到第二生成器输出的伪待修复高光谱数据，F(B)表示第二生成器输出的伪待修复高光谱数据，G(F(B))表示第二生成器输出的伪待修复高光谱数据输入到第一生成器输出的已修复高光谱数据，/>表示/>范数。
在本发明的一个实施例中，真实高光谱数据表示利用大气传输模型进行大气校正后的高光谱数据，例如MODTRAN（大气辐射传输模型）或者ATCOR（大气辐射传输校正模型）等。
在本发明的一个实施例中，如图2所示，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型，包括以下步骤：
步骤S201，将每个采样点的已修复高光谱数据中波长为m纳米到n纳米的光谱反射率与每个水质参数进行Pearson（皮尔逊）相关系数计算，获得每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值；
步骤S202，选择每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值的最大值对应的波峰，并确定该波峰的波长起始值和波长终止值作为每个水质参数的敏感波段；
步骤S203，将每个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段按照固定波长大小为J划分为多个波段，并计算每个波段的归一化光谱反射率；其中J为自定义参数，优选的，J设置为2纳米；
步骤S204，将每个采样点的已修复高光谱数据的敏感波段按照固定波长大小为J划分的多个波段的归一化光谱反射率作为输入变量，每个采样点的每个水质参数的预测值作为输出，输出的值与每个采样点的每个水质参数的实测值进行拟合构建每个水质参数对应的2个水质反演模型。
在本发明的一个实施例中，通过皮尔逊相关系数计算确定每个水质参数的敏感波段为常规技术手段，在此不作赘述。
例如：总磷含量的敏感波段在450纳米到650纳米之间，悬浮物浓度的敏感波段在500纳米到670纳米之间，叶绿素浓度的敏感波段在680纳米到725纳米之间，浊度的敏感波段在540纳米到625纳米之间。
在本发明的一个实施例中，每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值R的计算公式如下：
；
其中m≤v≤n，M*N表示采样点的总数，表示第u个采样点的波长为v纳米的光谱反射率，/>表示u个采样点的波长为v纳米的光谱反射率的平均值，/>表示第u个采样点的水质参数的实测值，/>表示u个采样点的水质参数的实测值的平均值。
在本发明的一个实施例中，每个波段的归一化光谱反射率的计算公式如下：
；
其中1≤j≤M*N，J=q-p，表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长起始值为p纳米与波长终止值为q纳米对应波段的归一化光谱反射率，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长起始值为p纳米的光谱反射率，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长终止值为q纳米的光谱反射率。
在本发明的一个实施例中，每个水质参数对应的2个水质反演模型包括：线性水质反演模型和非线性水质反演模型；
在本发明的一个实施例中，每个水质参数对应的2个水质反演模型包括：线性水质反演模型和非线性水质反演模型；
线性水质反演模型表示为：，其中/>表示线性水质反演模型的每个水质参数的预测值，/>表示线性水质反演模型的每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段对应的权重参数；
非线性水质反演模型表示为：，其中/>表示非线性水质反演模型的每个水质参数的预测值，/>表示非线性水质反演模型的每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段对应的权重参数；
定义：T表示每个水质参数对应的敏感波段按照固定波长大小为J划分为多个波段的波段数量，表示每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段的归一化光谱反射率，/>表示每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段的归一化光谱反射率的t-1次方方。
在本发明的一个实施例中，通过正定分解矩阵进行线性拟合获得线性水质反演模型，通过非线性最小二乘法进行非线性拟合获得非线性水质反演模型，正定分解矩阵进行线性拟合和非线性最小二乘法进行非线性拟合属于常规技术手段，在此不作赘述。
在本发明的一个实施例中，MRAE（平均相对绝对误差）的计算公式如下：，其中MRAE对应偏差系数的值越小，表示每个水质参数对应的2个水质反演模型的预测精度越高；
RMSE（均方根误差）的计算公式如下：
，其中RMSE对应偏差系数的值越小，表示每个水质参数对应的2个水质反演模型的预测精度越高；
MAE（平均绝对误差）的计算公式如下：
，其中MAE对应偏差系数的值越小，表示每个水质参数对应的2个水质反演模型的预测精度越高；
定义：M*N表示采样点的总数，表示第z个采样点的每个水质参数对应的2个水质反演模型的实测值，/>表示第z个采样点的每个水质参数对应的2个水质反演模型的预测值。
随机选择5个采样点，分别通过MRAE、RMSE和MAE对总磷含量的线性水质反演模型和非线性水质反演模型进行评估，获得的偏差系数如下表所示：
随机选择5个采样点，分别通过MRAE、RMSE和MAE对悬浮物浓度的线性水质反演模型和非线性水质反演模型进行评估，获得的偏差系数如下表所示：
通过观察线性水质反演模型和非线性水质反演模型的偏差系数，本发明提供的非线性水质反演模型的MRAE、RMSE和MAE对应的偏差系数明显低于传统的线性水质反演模型，因此本发明提供的非线性水质反演模型预测精度高于传统的线性水质反演模型。
如图3所示，通过本发明提供的非线性水质反演模型来预测一组包括10个采样点的总磷含量的预测值与总磷含量的实测值的对比结果图；
如图4所示，通过本发明提供的非线性水质反演模型来预测一组包括10个采样点的悬浮物浓度的预测值与悬浮物浓度的实测值的对比结果图；
如图5所示，通过本发明提供的非线性水质反演模型来预测一组包括10个采样点的叶绿素浓度的预测值与叶绿素浓度的实测值的对比结果图；
如图6所示，通过本发明提供的非线性水质反演模型来预测一组包括10个采样点的浊度的预测值与浊度的实测值的对比结果图；
进一步地，根据每个水质参数对应的非线性水质反演模型获得待监测水域的所有采样点的水质参数的预测值，并为每个水质参数设置阈值来判断该采样点的水质是否存在污染，例如总磷含量的阈值设置为0.02mg/L，悬浮物浓度的阈值设置为30mg/L，叶绿素浓度的阈值设置为10μg/L，浊度的阈值设置为5NTU（浊度单位）。
上面对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，还可做出很多形式，均属于本实施例的保护之内。
Claims (10)
1.一种智能随动水质监测系统，其特征在于，包括：待修复高光谱数据采集模块，将待监测水域划分为M*N个大小的网格区域，每个网格区域的中心点作为采样点，获取每个采样点的水质参数的实测值和高光谱数据，并将高光谱数据标记为待修复高光谱数据；水质参数包括：总磷含量、悬浮物浓度、叶绿素浓度和浊度；
第i个采样点的待修复高光谱数据表示为：/>，其中1≤i≤M*N，/>分别表示第i个采样点的高光谱数据中波长为m纳米到n纳米的光谱反射率；
大气环境参数采集模块，获取待监测水域所在地理位置的大气环境参数；
大气环境参数包括：大气透过率、水汽含量和气溶胶光学厚度；
校正条件判断模块，判断大气环境参数是否满足校正条件，当大气环境参数只要满足校正条件中的一个，则进入已修复高光谱数据生成模块，否则将待修复高光谱数据标记为已修复高光谱数据进入水质反演模型构建模块；
已修复高光谱数据生成模块，将每个采样点的待修复高光谱数据输入到大气校正模型，输出已修复高光谱数据；已修复高光谱数据的表示和待修复高光谱数据的表示相同；
水质反演模型构建模块，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型；每个水质参数对应的2个水质反演模型的输入均为每个采样点的已修复高光谱数据的敏感波段按照固定波长大小为J划分的多个波段的归一化光谱反射率，输出的值表示每个采样点的每个水质参数的预测值；
水质反演模型生成模块，通过平均相对绝对误差、均方根误差和平均绝对误差分别评估每个水质参数对应的2个水质反演模型的偏差系数，选择其中偏差系数的总和的最小值作为最终的水质反演模型。
2.根据权利要求1所述的一种智能随动水质监测系统，其特征在于，M、N、m和n均为自定义参数。
3.根据权利要求1所述的一种智能随动水质监测系统，其特征在于，校正条件包括：大气透过率小于预设大气透过率阈值；水汽含量大于等于预设水汽含量阈值；气溶胶光学厚度大于等于预设气溶胶光学厚度阈值；所述预设大气透过率阈值、预设水汽含量阈值和预设气溶胶光学厚度阈值均为自定义参数。
4.根据权利要求1所述的一种智能随动水质监测系统，其特征在于，大气校正模型包括第一生成器、第二生成器、第一判别器和第二判别器；
第一生成器输入待修复高光谱数据，输出已修复高光谱数据；
第一判别器输入已修复高光谱数据和真实高光谱数据，输出的值表示已修复高光谱数据属于真实高光谱数据的概率值；
第二生成器输入已修复高光谱数据，输出伪待修复高光谱数据；
第二判别器输入待修复高光谱数据和伪待修复高光谱数据，输出的值表示伪待修复高光谱数据属于待修复高光谱数据的概率值；
第一生成器和第一判别器的对抗损失函数的计算公式如下：
，其中A表示待修复高光谱数据，B表示真实高光谱数据，G表示第一生成器，/>表示第一判别器，G(A)表示输入待修复高光谱数据到第一生成器输出的已修复高光谱数据，/>表示输入第一生成器输出的已修复高光谱数据到第一判别器输出的已修复高光谱数据属于真实高光谱数据的概率值，/>表示第一判别器判别真实高光谱数据属于真实高光谱数据的概率值，/>表示最小化第一生成器的对抗损失，表示最大化第一判别器的对抗损失；
第二生成器和第二判别器的对抗损失函数的计算公式如下：
，其中/>表示已修复高光谱数据，/>表示待修复高光谱数据，F表示第二生成器，/>表示第二判别器，/>表示输入待修复高光谱数据到第二生成器输出的伪待修复高光谱数据，/>表示输入第二生成器输出的伪待修复高光谱数据到第二判别器输出的伪待修复高光谱数据属于待修复高光谱数据的概率值，/>表示第二判别器判别已修复高光谱数据属于已修复高光谱数据的概率值，/>表示最小化第二生成器的对抗损失，/>表示最大化第二判别器的对抗损失；
大气校正模型的循环一致性损失的损失函数的计算公式如下：
，其中A表示待修复高光谱数据，B表示真实高光谱数据，G表示第一生成器，F表示第二生成器，G(A)表示输入待修复高光谱数据到第一生成器输出的已修复高光谱数据，F(G(A))表示输入第一生成器输出的已修复高光谱数据到第二生成器输出的伪待修复高光谱数据，F(B)表示第二生成器输出的伪待修复高光谱数据，G(F(B))表示第二生成器输出的伪待修复高光谱数据输入到第一生成器输出的已修复高光谱数据，/>表示/>范数。
5.根据权利要求4所述的一种智能随动水质监测系统，其特征在于，真实高光谱数据表示利用大气传输模型进行大气校正后的高光谱数据。
6.根据权利要求1所述的一种智能随动水质监测系统，其特征在于，基于每个采样点的已修复高光谱数据构建每个水质参数对应的2个水质反演模型，包括以下步骤：
步骤S201，将每个采样点的已修复高光谱数据中波长为m纳米到n纳米的光谱反射率与每个水质参数进行皮尔逊相关系数计算，获得每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值；
步骤S202，选择每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值的最大值对应的波峰，并确定该波峰的波长起始值和波长终止值作为每个水质参数的敏感波段；
步骤S203，将每个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段按照固定波长大小为J划分为多个波段，并计算每个波段的归一化光谱反射率；其中J为自定义参数；
步骤S204，将每个采样点的已修复高光谱数据的敏感波段按照固定波长大小为J划分的多个波段的归一化光谱反射率作为输入变量，每个采样点的每个水质参数的预测值作为输出，输出的值与每个采样点的每个水质参数的实测值进行拟合构建每个水质参数对应的2个水质反演模型。
7.根据权利要求6所述的一种智能随动水质监测系统，其特征在于，每个水质参数对应的已修复高光谱数据的波长为m纳米到n纳米的相关系数值R的计算公式如下：，其中m≤v≤n，M*N表示采样点的总数，/>表示第u个采样点的波长为v纳米的光谱反射率，/>表示u个采样点的波长为v纳米的光谱反射率的平均值，/>表示第u个采样点的水质参数的实测值，/>表示u个采样点的水质参数的实测值的平均值。
8.根据权利要求6所述的一种智能随动水质监测系统，其特征在于，每个波段的归一化光谱反射率的计算公式如下：，其中1≤j≤M*N，J=q-p，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长起始值为p纳米与波长终止值为q纳米对应波段的归一化光谱反射率，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长起始值为p纳米的光谱反射率，/>表示第j个采样点的已修复高光谱数据中的每个水质参数对应的敏感波段的波长终止值为q纳米的光谱反射率。
9.根据权利要求6所述的一种智能随动水质监测系统，其特征在于，每个水质参数对应的2个水质反演模型包括：线性水质反演模型和非线性水质反演模型；
线性水质反演模型表示为：，其中/>表示线性水质反演模型的每个水质参数的预测值，/>表示线性水质反演模型的每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段对应的权重参数；
非线性水质反演模型表示为：，其中/>表示非线性水质反演模型的每个水质参数的预测值，/>表示非线性水质反演模型的每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段对应的权重参数；
定义：T表示每个水质参数对应的敏感波段按照固定波长大小为J划分为多个波段的波段数量，表示每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段的归一化光谱反射率，/>表示每个水质参数对应的敏感波段按照固定波长大小为J划分的第t个波段的归一化光谱反射率的t-1次方。
10.根据权利要求9所述的一种智能随动水质监测系统，其特征在于，通过正定分解矩阵进行线性拟合获得线性水质反演模型，通过非线性最小二乘法进行非线性拟合获得非线性水质反演模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176538.1A CN117723497B (zh) | 2024-02-08 | 2024-02-08 | 一种智能随动水质监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176538.1A CN117723497B (zh) | 2024-02-08 | 2024-02-08 | 一种智能随动水质监测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117723497A true CN117723497A (zh) | 2024-03-19 |
| CN117723497B CN117723497B (zh) | 2024-04-26 |
Family
ID=90205671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410176538.1A Active CN117723497B (zh) | 2024-02-08 | 2024-02-08 | 一种智能随动水质监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117723497B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107421895A (zh) * | 2017-06-30 | 2017-12-01 | 中国水利水电科学研究院 | 一种多波段优化组合的水质参数浓度反演方法和装置 |
| CN108593569A (zh) * | 2018-07-02 | 2018-09-28 | 中国地质环境监测院 | 基于光谱形态特征的高光谱水质参数定量反演方法 |
| CN110672805A (zh) * | 2019-10-08 | 2020-01-10 | 核工业北京地质研究院 | 一种基于航空高光谱数据的水库水质参数定量反演方法 |
| CN111007021A (zh) * | 2019-12-31 | 2020-04-14 | 北京理工大学重庆创新中心 | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 |
| CN112051226A (zh) * | 2020-09-03 | 2020-12-08 | 山东省科学院海洋仪器仪表研究所 | 基于无人机载高光谱图像估算近海总悬浮物浓度的方法 |
| CN113298058A (zh) * | 2021-07-27 | 2021-08-24 | 浙江省淡水水产研究所 | 基于无人机高光谱图像的水质预测反演方法及系统 |
| CN113834787A (zh) * | 2021-08-17 | 2021-12-24 | 中国矿业大学 | 一种中小河道劣ⅴ类水体水质识别与量化方法 |
| CN114739919A (zh) * | 2022-04-14 | 2022-07-12 | 常州市新翼空间信息科技有限公司 | 一种基于光谱反演分析的水质检测方法 |
| CN115561181A (zh) * | 2022-10-26 | 2023-01-03 | 中科合肥智慧农业协同创新研究院 | 一种基于无人机多光谱数据的水质反演方法 |
| CN117407710A (zh) * | 2023-10-16 | 2024-01-16 | 遥聚信息服务(上海)有限公司 | 高光谱遥感水质参数反演方法、装置、电子设备及存储介质 |
-
2024
- 2024-02-08 CN CN202410176538.1A patent/CN117723497B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107421895A (zh) * | 2017-06-30 | 2017-12-01 | 中国水利水电科学研究院 | 一种多波段优化组合的水质参数浓度反演方法和装置 |
| CN108593569A (zh) * | 2018-07-02 | 2018-09-28 | 中国地质环境监测院 | 基于光谱形态特征的高光谱水质参数定量反演方法 |
| CN110672805A (zh) * | 2019-10-08 | 2020-01-10 | 核工业北京地质研究院 | 一种基于航空高光谱数据的水库水质参数定量反演方法 |
| CN111007021A (zh) * | 2019-12-31 | 2020-04-14 | 北京理工大学重庆创新中心 | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 |
| CN112051226A (zh) * | 2020-09-03 | 2020-12-08 | 山东省科学院海洋仪器仪表研究所 | 基于无人机载高光谱图像估算近海总悬浮物浓度的方法 |
| CN113298058A (zh) * | 2021-07-27 | 2021-08-24 | 浙江省淡水水产研究所 | 基于无人机高光谱图像的水质预测反演方法及系统 |
| CN113834787A (zh) * | 2021-08-17 | 2021-12-24 | 中国矿业大学 | 一种中小河道劣ⅴ类水体水质识别与量化方法 |
| CN114739919A (zh) * | 2022-04-14 | 2022-07-12 | 常州市新翼空间信息科技有限公司 | 一种基于光谱反演分析的水质检测方法 |
| CN115561181A (zh) * | 2022-10-26 | 2023-01-03 | 中科合肥智慧农业协同创新研究院 | 一种基于无人机多光谱数据的水质反演方法 |
| CN117407710A (zh) * | 2023-10-16 | 2024-01-16 | 遥聚信息服务(上海)有限公司 | 高光谱遥感水质参数反演方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117723497B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11561169B2 (en) | Method for constructing water quality index prediction models and method for monitoring water quality indexes | |
| CN110672805A (zh) | 一种基于航空高光谱数据的水库水质参数定量反演方法 | |
| CN110057761A (zh) | 一种全光谱结合快速易测指标的水质在线监测系统与方法 | |
| CN103175805B (zh) | 一种近红外光谱测定污水中cod和bod5指标的方法 | |
| CN113109281B (zh) | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 | |
| CN110070220A (zh) | 一种基于神经网络算法的氨氮指标软测量方法 | |
| CN111198165A (zh) | 一种基于光谱数据标准化进行水质参数的测定方法 | |
| CN113203694A (zh) | Msi的湖泊富营养指数遥感估算方法 | |
| CN114839343B (zh) | 一种便携式水质监测巡检仪装置及使用方法 | |
| CN114894725A (zh) | 一种水质多参数的光谱数据Stacking融合模型及水质多参数测量方法 | |
| CN109557034B (zh) | 基于压缩感知的特定气体源成分光谱分析方法及装置 | |
| CN112666328B (zh) | 基于遗传神经网络模型的叶绿素a遥感反演方法和装置 | |
| CN117723497B (zh) | 一种智能随动水质监测系统 | |
| CN113240006A (zh) | 废水排放的监测方法、装置、电子设备及存储介质 | |
| CN111929262A (zh) | 水质cod预测方法 | |
| Zhou et al. | Detection of chemical oxygen demand in water based on UV absorption spectroscopy and PSO-LSSVM algorithm | |
| CN214122000U (zh) | 一种浮游藻类检测设备 | |
| CN114864015A (zh) | 水体富营养化检测方法、装置、设备及存储介质 | |
| CN114994069A (zh) | 基于高光谱的绝缘子污秽成分和含量的检测方法及系统 | |
| CN111368939A (zh) | 一种基于随机森林集成的河流浊度软测量方法 | |
| CN111812041A (zh) | 一种水体cod便携式测量系统及方法 | |
| CN107991249B (zh) | 一种内陆水体叶绿素a浓度的普适性遥感估算方法 | |
| CN116297251B (zh) | 一种多传感器组合的水质检测系统及其检测探头 | |
| CN117420090A (zh) | 一种cod和硝氮浓度全光谱检测装置及检测方法 | |
| CN113376107B (zh) | 基于云平台的水质监测系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |