CN114813651A - 一种结合差分学习率与光谱几何特征的遥感水质反演方法 - Google Patents

Abstract

本发明公开一种结合差分学习率与光谱几何特征的遥感水质反演方法，包括：收集各站点的卫星影像，并得到各站点的遥感反射率；从地表水数据库中导出地表水监测站点信息和水质指标信息数据；剔除明显异常的站点遥感反射率，并构建遥感反射率曲线集合；剔除水质指标异常值；通过各站点遥感反射率曲线计算其光谱几何特征数据，将特征数据合并为特征矩阵，将特征矩阵划分为训练集和测试集；将剔除水质指标异常值后的水质指标作为待拟合数据集合并为输出集，将输出集划分为训练输出集和测试输出集；构建机器学习模型，将训练集输入模型进行训练，得到训练好的模型；将测试集放入训练好的模型中进行测试，经过评估评价后，将最优模型进行线上部署。

Description

一种结合差分学习率与光谱几何特征的遥感水质反演方法

技术领域

本发明涉及水环境遥感监测技术领域，具体涉及一种结合差分学习率与光谱几何特征的遥感水质反演方法。

背景技术

随着工农业的迅速发展和城镇化进程不断加快，我国总用水量明显上升，废水排放量也显著增加，给地表水的自净过程带来沉重的负担，特别是城市内河，水质恶化迅猛，对社会经济发展、城市环境景观和人类身体健康均造成了严重影响。

近年来，内陆水体的监测和治理得到了越来越多的重视。湖泊和河流的监测不仅帮助我们更好地理解环境变化对淡水生态系统的影响，而且能够为环境预测提供丰富的信息。我国淡水资源严重缺乏，水污染降低了水资源质量，进一步加剧了水资源的紧缺，但只有很少一部分水域持续定期进行监测。因此，提高内陆水体监测的范围和频率成为当前的迫切需求。目前，大多数的内陆水体监测还是基于实地观测。常规的水体监测需要在水域中布置大量的监测点，通过对采取的水样进行实验室分析得到水质的时空分布信息。尽管实地测量能够提供更精细(物种尺度)的信息，但是其耗时耗力，受到天气和水文条件的限制，难以完成长时间的连续观测，而且分布不均的采样点可能引起很大的观测误差。遥感技术具有实时、范围广、周期观测等特点，具有传统监测手段无法比拟的优势，符合当前形势下内陆水体监测的需求，具有极大的应用潜力和价值。

目前，已由大量的研究验证了人工神经网络、RBF神经网络、支持向量机、随机森林等方法在水质反演中的可行性，并且表现出了一定的优势，大大提高了反演精度。但由于采样数据少，样本量小，构建的神经网络模型结构简单，且容易出现过拟合现象，导致模型结果高方差，泛化能力弱。充分利用现有数据，发掘数据特征，改进网络学习策略成为机器学习方法在水质反演应用中的跨越障碍的重要路径，也是实现遥感在水质监测中的广泛应用的关键问题。

发明内容

针对现有技术中存在的上述问题，本发明提供一种结合差分学习率与光谱几何特征的遥感水质反演方法，该方法包括以下步骤：

S1、收集各站点的卫星影像，对收集到的卫星影像进行辐射定标，计算出辐射亮度，通过辐射亮度计算出表观反射率，再通过表观反射率计算出遥感反射率；从地表水数据库中导出地表水监测站点信息和水质指标信息数据；

S2、剔除明显异常的站点遥感反射率，并构建遥感反射率曲线集合；剔除水质指标异常值；

S3、通过各站点遥感反射率曲线计算其光谱几何特征数据，将光谱几何特征数据合并为每一列为一个特征，每一行为一个样本的m*n的特征矩阵，将特征矩阵划分为训练集和测试集；将剔除水质指标异常值后的水质指标作为待拟合数据集合并为输出集，将输出集划分为训练输出集和测试输出集；

S4、构建机器学习模型，将训练集输入模型进行训练，得到训练好的模型；

S5、将测试集放入训练好的模型中进行测试，结果用平均相对误差、均方根误差和决定系数来评估评价，将最优模型进行线上部署。

作为本发明进一步地改进，步骤S1包含的子步骤包括：数据收集、数据初选、数据清洗、数据匹配和数据集成。

步骤S1中关于地表水数据预处理的子步骤包括：地表水数据导出、地表水数据初选、地表水数据数据清洗和地表水数据数据集成。

步骤S1关于卫星数据预处理的子步骤包括：辐射定标、大气校正、几何校正、地理配准、影像融合、影像镶嵌和水域提取。

步骤S1中关于空间匹配与信息提取的子步骤包括：空间矢量化、坐标匹配、波段值提取、信息整理与归档。

作为本发明进一步地改进，步骤S2中异常值剔除主要包括：使用狄克逊检验法筛选剔除水质指标异常值，使用光谱匹配法剔除明显异常的站点遥感反射率，并根据剔除异常值后的站点遥感反射率构建遥感反射率曲线集合。

步骤S2光谱匹配法计算光谱距离的公式为：

式中，D_i ²为光谱距离，Rrs_lut(λ_i)为标准光谱曲线数据，Rrs_pixel(λ_i)为样点获取的遥感反射率，λ_i取值为400～900nm，i为卫星波段数。

作为本发明进一步地改进，步骤S2光谱匹配法计算光谱最小距离的公式为：

式中，

为光谱平均距离，n为站点的数量。

作为本发明进一步地改进，步骤S3中各站点遥感反射率曲线的光谱几何特征数据包括：光谱曲线面积、光谱曲线角度、光谱曲线方向、光谱曲线斜率比和光谱曲线投影长度；

光谱曲线面积计算公式为：f_area＝∫f(λ_i)ΔλdΔλ，式中Δλ为波长间隔，f(λ_i)为波长λ_i处的遥感反射率，λ_i为i卫星波段数对应的波长；

光谱曲线角度计算公式为：

其中i，j，k＝{1,2,3,4}且i≠j≠k；i，j，k为卫星波段数；λ_i、λ_j和λ_k为不同卫星波段数对应的波长；Rrs_i、Rrs_j和Rrs_k为不同卫星波段数对应的遥感反射率；

光谱曲线方向计算公式为：

其中i，j＝{1,2,3,4}且i≠j；

光谱曲线斜率比计算公式为：

其中，i,j,k＝{1,2,3,4}且i≠j≠k，式中Δλ为波长间隔，Δλ_i,j为i和j卫星波段数对应的波长间隔，Δλ_k,i为i和k卫星波段数对应的波长间隔；

光谱曲线投影长度计算公式为：f_prj＝Rrs_i-Rrs_j，其中i，j＝{1,2,3,4}且i≠j。

作为本发明进一步地改进，步骤S4中构建的机器学习模型主要根据隐含层层数设置不同的学习率，各层差分学习率根据下式计算：

η_i＝η₀/(1-i×α)

式中，i为隐含层层数，η_i为第i层的学习率，η₀为第一层的学习率，α为学习率变化率。

作为本发明进一步地改进，步骤S5中模型评价指标计算公式分别如下：

平均相对误差：

均方根误差：

决定系数：

式中，

为预测值，

为观测值的平均值，y_i为观测值，n为测试集数。根据三个评价指标选择反演效果最好的一种模型，并将最好的模型应用于水质遥感反演与监测。

与现有技术相比，

1、传统水环境监测手段主要依靠人工采样加实验室样本分析和地面自动监站，人工采样效率低、时效性差、监测范围有限且存在一定的人身安全问题，地面自动监测站监测指标少，价格昂贵且需要长期持续维护。本发明发挥卫星数据的优势，考虑目前存在的大量的多光谱卫星遥感数据具有的监测范围广、空间分辨率高、信息量广等优势，针对内陆水体的面积小、宽度窄、分布散而广等特点，构建基于卫星数据的水质反演模型方法，可有效提升对内陆水体水环境的监测效率、提高时效性、扩大监测范围，同时降低监测成本。

2、本发明从几何学角度充分挖掘数据背后隐藏的信息，提出遥感反射率曲线的光谱几何特征，并通过改进的差分学习率优化模型，得到的结果准确性更高、鲁棒性更强，网络特征更清晰。

3、本发明基于现实基础，更好的发挥了海量多光谱卫星遥感数据的作用，深度挖掘卫星遥感影像包含的信息，总结出一套完整的水质反演模型构建流程，为水质参数反演模型构建提供了数据保障。

附图说明

图1为本发明一种合差分学习率与光谱几何特征的遥感水质反演方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1所示，本发明提供了一种结合差分学习率与光谱几何特征的遥感水质反演方法，包括以下步骤：

S1、收集各站点的卫星影像，对收集到的卫星影像进行辐射定标，计算出辐射亮度，通过辐射亮度计算出表观反射率，再通过表观反射率计算出遥感反射率；从地表水数据库中导出地表水监测站点信息和水质指标信息数据。

对卫星数据进行预处理的过程

对收集到的卫星影像进行辐射定标，辐射定标是根据预先测定的传感器响应值，建立传感器输出值与该传感器对应的实际辐射亮度之间的定量关系，具体为将传感器记录的数字量化输出值DN转换成传感器入瞳处的辐射亮度。传感器入瞳处的辐射亮度可以表示为：

L_λ＝Gain×DN+Bias

式中，L_λ表示辐射亮度值，单位为W/(cm²·μm·sr)；Gain和Bias表示增益和偏移，可通过参数表中查询得到，单位为W/(cm²·μm·sr)。

遥感影像在成像过程中，会受到瑞利散射、米氏散射、折射和吸收的影响，导致卫星载荷入瞳处接收到的辐射信息失真，因此需要通过大气校正来消除这种误差的影响，本实施例采用6S大气辐射传输模型来消除大气的影响，该模型在考虑了大气散射影响的同时也考虑了地面信息在传输过程中受太阳高度角的影响，精度更高。

大气校正中计算表观反射率：

式中，ρ_λ为表观反射率；L_λ为卫星载荷通道入瞳处辐射亮度值，单位为W/(cm²·μm·sr)；d为日地距离，天体单位；ESUN_λ为太阳辐照度；θ_s为太阳天顶角。

计算遥感反射率：

式中：ρ_s为待求的地表反射率，也称为遥感反射率；ρ_λ为表观反射率；ρ₀为大气路径辐射项的等效发射率；T(μ_s)为下行辐射总透过率，T(μ_v)为上行辐射总透过率，μ_s＝cos(θ_s)，μ_v＝cos(θ_v)，θ_s，θ_v，φ分别为太阳天顶角、观测天顶角和相对方位角；S为大气下界的半球反射率。

对地表水数据进行预处理的过程

通过归一化水体指数(NDWI)提取纯水体卫星影像数据，具体为：在band math工具中输入归一化水体指数(NDWI)公式，并指定绿波段和近红外波段以及对应的阈值，由bandmath工具根据上述归一化水体指数(NDWI)公式，指定的波段及阈值对纯水体卫星影像进行处理，得到水域边界矢量文件，通过目视解译和人机交互完善修正水域矢量边界，再通过裁剪获取纯水体卫星影像数据；

归一化水体指数通过以下公式实现：

式中，Rrs_green表示绿波段的反射率，Rrs_nir表示近红外波段的反射率。

从地表水数据库中导出地表水监测站点信息和溶解氧、化学需氧量、生化需氧量、高锰酸盐指数、氨氮、总磷、总氮、浊度、PH、透明度、悬浮物浓度、叶绿素a等水质指标信息数据；然后，根据站点信息中的站点坐标进行空间矢量化，并与遥感影像数据进行空间匹配；最后，提取对应站点位置的遥感反射率，整理归档并上传数据库。

S2、剔除明显异常的站点遥感反射率，并构建遥感反射率曲线集合；剔除水质指标异常值。

使用狄克逊检验法剔除地表水数据异常值的过程

具体操作步骤如下：

1、将n个地表水数据从小到大排列为x₁，x₂，……，x_n-1，x_n，n∈[31,100]。

2、根据相应的公式计算检验高端离群值D_n和检验低端离群值D_n′

3、确定显著性水平α，通过查找GB/T 4883-2008中表C.1单侧狄克逊(Dixon)检验的临界值表查处临界值D_1-α(n)。

4、检验高端离群值，当D_n＞D_1-α(n)时，判定x_(n)为离群值，否则判未发现离群值；检验低端离群值，当D_n′＞D_1-α(n)时，判定x₍₁₎为离群值，否则判未发现离群值。

5、对于检出的离群值x₍₁₎或x_(n)，确定剔除水平α^*，查找表找到临界值

检验高端离群值，当

时，判定x_(n)为统计离群值，否则判未发现x_(n)是统计离群值(即x_(n)为歧离值)；检验低端离群值，当

时，判定x₍₁₎为统计离群值，否则判未发现x₍₁₎是统计离群值(即x₍₁₎为歧离值)。

使用光谱匹配法剔除明显异常的站点遥感反射率的过程

具体操作步骤如下：

1、计算光谱距离D_i ²

其中Rrs_lut(λ_i)为标准光谱曲线数据，Rrs_pixel(λ_i)为站点获取的遥感反射率，λ_i取值为400～900nm，i为卫星波段数。

2、计算光谱平均距离

n为站点的数量。

3、比较光谱距离与光谱平均距离，光谱距离大于1.5倍光谱平均距离的站点为异常值x_异常值，

剔除异常值。

根据剔除异常值后的站点遥感反射率，构建站点遥感反射率曲线集合，其中以遥感反射率为Y坐标，以波长为X坐标。

S3、通过各站点遥感反射率曲线计算其光谱几何特征数据，将光谱几何特征数据合并为每一列为一个特征，每一行为一个样本的m*n的特征矩阵，将特征矩阵划分为训练集和测试集；将剔除水质指标异常值后的溶解氧、化学需氧量、生化需氧量、高锰酸盐指数、氨氮、总磷、总氮、浊度、PH、透明度、悬浮物浓度、叶绿素a等水质指标作为待拟合数据集合并为输出集，将输出集划分为训练输出集和测试输出集。

计算遥感反射率曲线几何特征的过程

对提取出的各站点遥感反射率曲线计算其光谱几何特征数据，包括：光谱曲线面积、曲线角度、曲线方向、曲线斜率比、投影长度等几何特征，各特征具体计算公式如下：

光谱曲线面积：

f_area＝∫f(λ_i)ΔλdΔλ，式中Δλ为波长间隔，f(λ_i)为波长λ_i处的遥感反射率，λ_i为i卫星波段数对应的波长。

光谱曲线角度：

其中i，j，k＝{1,2,3,4}且i≠j≠k；i，j，k为卫星波段数；λ_i、λ_j和λ_k为不同卫星波段数对应的波长；Rrs_i、Rrs_j和Rrs_k为不同卫星波段数对应的遥感反射率。

光谱曲线方向：

其中i，j＝{1,2,3,4}且i≠j。

光谱曲线斜率比：

其中，i,j,k＝{1,2,3,4}且i≠j≠k，式中Δλ为波长间隔，Δλ_i,j为i和j卫星波段数对应的波长间隔，Δλ_k,i为i和k卫星波段数对应的波长间隔。

光谱曲线投影长度：

f_prj＝Rrs_i-Rrs_j其中i，j＝{1,2,3,4}且i≠j。

构建特征集合的过程

将光谱几何特征数据合并，构成特征集合：

，将光谱几何特征数据合并为每一列为一个特征，每一行为一个样本的m*n的特征矩阵，以提高计算效率，加快模型训练，从而节省资源和时间。同样，将溶解氧、化学需氧量、生化需氧量、高锰酸盐指数、氨氮、总磷、总氮、浊度、PH、透明度、悬浮物浓度、叶绿素a等水质指标作为待拟合数据集合并为输出集合：y＝[w₁,w₂,w₃,...,w_n]^T，其中，w₁为溶解氧数据集合、w₂为化学需氧量数据集合、w₃为生化需氧量数据集合、w₄为高锰酸盐指数数据集合、w₅为氨氮数据集合、w₆为总磷数据集合、w₇为总氮数据集合、w₈为浊度数据集合、w₉为PH数据集合、w₁₀为透明度数据集合、w₁₁为悬浮物浓度数据集合、w₁₂为叶绿素a数据集合以及w_n为其他根据需要设置的数据集合。

使用奇异值分解(SVD)将每一个特征向量分解为N个子向量，选择最大的r个奇异值和对应的左右奇异向量来作为变换后的特征向量，其中最大的r个奇异值之和应占全部奇异值之和的90％以上。

按8:2比例将特征矩阵划分为训练集和测试集，按同样规则将输出集划分为训练输出集和测试输出集。

S4、构建机器学习模型，将训练集输入模型进行训练，得到训练好的模型。

使用差分学习率的前馈神经网络模型设计

使用差分学习率构建机器学习模型，将训练集输入模型进行训练，再将训练好的模型用测试集进行验证。

构建机器学习模型步骤如下：

1、构建包含多层多个神经元的神经网络；

2、设置隐含层激活函数为ReLU函数，设置输出层激活函数为线性函数；

3、根据隐含层层数设置不同的学习率，各层学习率根据下式计算：η_i＝η₀/(1-i×α)，式中，i为隐含层层数，η_i为第i层的学习率，η₀为第一层的学习率，α为学习率变化率。

前馈神经网络模型训练步骤如下：

a、初始化模型参数；

b、输入训练样本数据；

c、计算水质指标预测值；

d、计算损失函数；

e、判断误差是否达到最小，若没有，将模型参数进行更新，再重复步骤b、c、d，直至误差最小时，停止迭代并记录最小误差，保存模型。

模型损失函数计算公式如下：

式中，y_i为第i个样本点的水质指标，

为第i个样本点的水质指标预测值，L为模型的损失函数。

模型参数更新计算公式如下：

其中，

为第i层神经元梯度，η_i为第i层的学习率，ε_i为更新前的模型参数，ε_i+1为更新后的模型参数。

S5、将测试集放入训练好的模型中进行测试，结果用平均相对误差、均方根误差和决定系数来评估评价，将最优模型进行线上部署。

测试模型的过程

将测试集放入训练好的模型中进行测试，结果用平均相对误差、均方根误差和决定系数来评估评价，将最优模型进行线上部署。

模型反演的结果为一组连续的实数，且不同指标间单位量纲和绝对数值差异巨大，因此我们应关注平均相对误差，而不是绝对误差。

均方根误差用来衡量模型的反演精度，而决定系数来衡量模型的拟合优度。

平均相对误差(ARE)：

ARE值越小，说明模型质量越好，预测越准确。

均方根误差(RMSE)：

RMSE越小，说明模型反演精度越好。

决定系数(R²)：

式中，

为预测值，

为观测值的平均值，y_i为观测值，n为测试集数。R²的值越接近1，说明回归直线对观测值的拟合程度越好；反之，R²的值越小，说明回归直线对观测值的拟合程度越差。

根据三个评价指标综合选出最好的一种模型。

结论：

具体实施例提供的一种结合差分学习率与光谱几何特征的遥感水质反演方法，解决了如何在小样本下的构建高精度的水质参数反演模型方法的问题，更好的发挥高分辨率多光谱卫星影像价值，为水环境污染监测问题提供了解决方案。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合差分学习率与光谱几何特征的遥感水质反演方法，其特征在于，所述方法包括以下步骤：

S1、收集各站点的卫星影像，对收集到的卫星影像进行辐射定标，计算出辐射亮度，通过辐射亮度计算出表观反射率，再通过表观反射率计算出遥感反射率；从地表水数据库中导出地表水监测站点信息和水质指标信息数据；

S2、剔除明显异常的站点遥感反射率，并构建遥感反射率曲线集合；剔除水质指标异常值；

S3、通过各站点遥感反射率曲线计算其光谱几何特征数据，将光谱几何特征数据合并为每一列为一个特征，每一行为一个样本的m*n的特征矩阵，将特征矩阵划分为训练集和测试集；将剔除水质指标异常值后的水质指标作为待拟合数据集合并为输出集，将输出集划分为训练输出集和测试输出集；

S4、构建机器学习模型，将训练集输入模型进行训练，得到训练好的模型；

S5、将测试集放入训练好的模型中进行测试，结果用平均相对误差、均方根误差和决定系数来评估评价，将最优模型进行线上部署。

2.根据权利要求1所述的一种结合差分学习率与光谱几何特征的遥感水质反演方法，其特征在于，

在所述步骤S2中，使用狄克逊检验法剔除水质指标异常值，使用光谱匹配法剔除明显异常的站点遥感反射率；

所述步骤S2光谱匹配法计算光谱距离的公式为：

式中，D_i ²为光谱距离，Rrs_lut(λ_i)为标准光谱曲线数据，Rrs_pixel(λ_i)为样点获取的遥感反射率，λ_i取值为400～900nm，i为卫星波段数；

所述步骤S2光谱匹配法计算光谱最小距离的公式为：

式中，

为光谱平均距离，n为站点的数量。

3.根据权利要求1所述的一种结合差分学习率与光谱几何特征的遥感水质反演方法，其特征在于，

所述步骤S3中遥感反射率曲线的光谱几何特征数据包括：光谱曲线面积、光谱曲线角度、光谱曲线方向、光谱曲线斜率比和光谱曲线投影长度；

光谱曲线面积计算公式为：f_area＝∫f(λ_i)ΔλdΔλ，式中Δλ为波长间隔，f(λ_i)为波长λ_i处的遥感反射率；

光谱曲线角度计算公式为：

其中i,j,k＝{1,2,3,4}且i≠j≠k；i，j，k为卫星波段数；λ_i、λ_j和λ_k为不同卫星波段数对应的波长；Rrs_i、Rrs_j和Rrs_k为不同卫星波段数对应的遥感反射率；

光谱曲线方向计算公式为：

其中i，j＝{1,2,3,4}且i≠j；

光谱曲线斜率比计算公式为：

其中，i,j,k＝{1,2,3,4}且i≠j≠k；式中Δλ_i,j为i和j卫星波段数对应的波长间隔，Δλ_k,i为i和k卫星波段数对应的波长间隔；

光谱曲线投影长度计算公式为：f_prj＝Rrs_i-Rrs_j，其中i，j＝{1,2,3,4}且i≠j。

4.根据权利要求1所述的一种结合差分学习率与光谱几何特征的遥感水质反演方法，其特征在于，

所述步骤S4中构建的机器学习模型主要根据隐含层层数设置不同的学习率，各层差分学习率根据下式计算：

η_i＝η₀/(1-i×α)

式中，i为隐含层层数，η_i为第i层的学习率，η₀为第一层的学习率，α为学习率变化率。

5.根据权利要求1所述的一种结合差分学习率与光谱几何特征的遥感水质反演方法，其特征在于，

所述步骤S5中平均相对误差、均方根误差和决定系数的计算公式分别如下：

平均相对误差：

均方根误差：

决定系数：

式中，

为预测值，

为观测值的平均值，y_i为观测值，n为测试集数。

Images