CN116148193A - 水质监测方法、装置、设备及存储介质 - Google Patents

水质监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116148193A
CN116148193A CN202310412184.1A CN202310412184A CN116148193A CN 116148193 A CN116148193 A CN 116148193A CN 202310412184 A CN202310412184 A CN 202310412184A CN 116148193 A CN116148193 A CN 116148193A
Authority
CN
China
Prior art keywords
water quality
quality monitoring
hyperspectral
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310412184.1A
Other languages
English (en)
Other versions
CN116148193B (zh
Inventor
张立福
王宏庆
黄瑶
蓝梓月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongkeshi Optical Information Technology Co ltd
Original Assignee
Tianjin Zhongkeshi Optical Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongkeshi Optical Information Technology Co ltd filed Critical Tianjin Zhongkeshi Optical Information Technology Co ltd
Priority to CN202310412184.1A priority Critical patent/CN116148193B/zh
Publication of CN116148193A publication Critical patent/CN116148193A/zh
Application granted granted Critical
Publication of CN116148193B publication Critical patent/CN116148193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种水质监测方法、装置、设备及存储介质，该方法包括：获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。也即，通过分布式计算技术和隐私保护技术相结合，保障各参与机构数据隐私安全的前提下，实现对高光谱遥感水质监测数据的高效整合和利用，得到的全局高光谱水质监测模型满足广泛水质监测需求。

Description

水质监测方法、装置、设备及存储介质
技术领域
本发明涉及水质监测技术领域，尤其涉及一种水质监测方法、装置、设备及存储介质。
背景技术
随着工业化和城市化的快速发展，水资源污染问题日益严重。高光谱遥感技术在水质监测领域具有巨大潜力，通过捕捉水体光谱信息进行水质参数反演分析，实现准确监测。
然而，传统高光谱水质参数反演方法面临数据充分性、有效性及隐私保护等方面的挑战，制约了高光谱遥感技术的发展和应用。
实际应用中，高光谱遥感模型训练所需样本数据依赖人工采样和现场实测化验，这一过程不仅耗时耗力，而且成本较高，使得数据难以大规模获取，限制了样本数据的数量。数据量不足影响模型泛化能力，尤其在机器学习和深度学习应用时，各研究机构间数据存在壁垒、数据共享受阻，导致资源浪费，进而高精度高光谱水质监测模型研究发展受限，其模型性能偏低，难以满足水质监测需求。
发明内容
本发明提供一种水质监测方法、装置、设备及存储介质，用以解决现有技术中水质监测性能受到限制，难以满足水质监测需求的缺陷，实现通过隐私保护技术的分布式高光谱遥感水质监测系统与方法，在确保数据隐私的基础上，有效提升了计算效率、模型精度和系统可扩展性。通过将分布式计算技术和隐私保护技术相结合，本发明在保障各参与机构数据隐私安全的前提下，实现了对高光谱遥感水质监测数据的高效整合和利用，提高水质监测性能，满足水质监测需求。
本发明提供一种水质监测方法，所述方法包括：
获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
根据本发明提供的一种水质监测方法，所述利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数的步骤，包括：
基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息；
将所述训练信息按照差分隐私方式发送至所述中心服务器，以供所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数。
根据本发明提供的一种水质监测方法，所述训练信息包括损失函数值与样本数量，
所述基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息的步骤，包括：
当接收到所述中心服务器发送的训练信号时，基于预设样本数量从所述本地高光谱数据中随机抽取出训练样本；
基于所述训练样本对所述初始高光谱水质监测模型进行训练，输出所述训练样本的水质参数预测值；
根据所述训练样本的水质参数真实值与所述水质参数预测值计算出所述训练样本的损失函数值。
根据本发明提供的一种水质监测方法，所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数的步骤，包括：
所述中心服务器在接收到所述损失函数值和所述样本数量时，执行联邦平均算法；其中，在执行联邦平均算法时，基于所述样本数量计算各客户端的权重；基于所述损失函数值与所述权重，计算出各客户端的加权平均损失函数值；基于所述加权平均损失函数值，采用梯度下降算法更新模型参数，以得到目标模型参数，并将所述目标模型参数发送至各客户端。
根据本发明提供的一种水质监测方法，所述使用更新后得到的全局高光谱水质监测模型对水质进行监测的步骤之前，所述方法还包括：
对所述更新后得到的全局高光谱水质监测模型的性能进行评估，其中，采用使用均方误差、均方根误差、平均绝对误差、平均绝对百分比误差及决定系数进行结果评估。
根据本发明提供的一种水质监测方法，所述获取初始高光谱水质监测模型的步骤之前，包括：
对所述本地高光谱数据进行预处理，得到有效高光谱数据；
接收中心服务器发送的水质监测模型规范，基于所述水质监测模型规范与所述有效高光谱数据创建初始高光谱水质监测模型。
根据本发明提供的一种水质监测方法，所述对所述本地高光谱数据进行预处理，得到有效高光谱数据的步骤，包括：
对所述本地高光谱数据进行归一化处理，得到将归一化后的数据；
基于所述归一化后的数据进行无关波段与噪声的去除处理，得到有效高光谱数据。
根据本发明提供的一种水质监测方法，所述初始高光谱水质监测模型由多尺度堆栈自编码器与一维卷积神经网络构成。
本发明还提供一种水质监测装置，包括：
初始模型获取模块，用于获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
模型训练模块，用于利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
全局模型创建模块，用于接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
本发明还提供一种水质监测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述水质监测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述水质监测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述水质监测方法。
本发明提供的水质监测方法、装置、设备及存储介质，获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。也即，通过分布式计算技术和隐私保护技术相结合，保障各参与机构数据隐私安全的前提下，实现对高光谱遥感水质监测数据的高效整合和利用，增加高光谱水质监测数据量，能够有效提升模型计算效率、模型精度、可扩展性等的模型性能，满足广泛水质监测需求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的水质监测方法的流程示意图之一；
图2是本发明提供的水质监测方法的联邦平均优化算法原理示意图；
图3是本发明提供的水质监测方法的联邦迭代过程中各子节点损失函数值迭代变化曲线；
图4是本发明提供的水质监测方法的联邦迭代过程中各子节点在测试数据集中决定系数迭代变化曲线；
图5是本发明提供的水质监测设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的水质监测方法，参照图1，所述水质监测方法包括：
步骤S100，获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
步骤S200，利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
步骤S300，接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
本实施例旨在：通过分布式计算技术和隐私保护技术相结合，保障各参与机构数据隐私安全的前提下，实现对高光谱遥感水质监测数据的高效整合和利用，增加高光谱水质监测数据量，能够有效提升模型计算效率、模型精度、可扩展性等的模型性能，满足广泛水质监测需求。
在本实施例中，针对的具体应用场景是：
随着工业化和城市化的快速发展，水资源污染问题日益严重。高光谱遥感技术在水质监测领域具有巨大潜力，通过捕捉水体光谱信息进行水质参数反演分析，实现准确监测。
然而，传统高光谱水质参数反演方法面临数据充分性、有效性及隐私保护等方面的挑战，制约了高光谱遥感技术的发展和应用。
实际应用中，高光谱遥感模型训练所需样本数据依赖人工采样和现场实测化验，这一过程不仅耗时耗力，而且成本较高，使得数据难以大规模获取，限制了样本数据的数量。数据量不足影响模型泛化能力，尤其在机器学习和深度学习应用时，各研究机构间数据存在壁垒、数据共享受阻，导致资源浪费，进而高精度高光谱水质监测模型研究发展受限，其模型性能偏低，难以满足水质监测需求。
作为一种示例，水质监测方法可以应用于水质监测系统，所述水质监测系统应用于水质监测设备中。
作为一种示例，构建高精度且具有更强泛化能力的高光谱水质参数反演模型（即水质监测模型）依赖于数据的充足性和有效性。然而，在实际应用中，获取水质参数需要进行现场实测，这一过程不仅耗时耗力，而且成本高昂，使得数据难以大规模获取。由于单一机构很难获取足够的数据来支持模型训练，因此不同机构间的数据共享变得尤为重要。然而，高昂的数据成本加剧了数据壁垒的存在，使得不同机构在保护自身数据利益的同时，不愿意直接分享数据。这种局限阻碍了高光谱水质参数反演模型的发展，导致模型性能受到限制。因此，本发明结合分布式计算与先进隐私保护技术，在保障各参与机构数据隐私安全的前提下，实现对高光谱遥感水质监测数据的整合和利用，提升模型性能，使其满足水质监测需求。
可以理解，采用分布式计算，结合各机构间数据共同训练高光谱遥感模型，将数据分散至多个节点，降低单节点计算压力，提高模型计算效率、模型精度与可延展性。
作为一种示例，在分布式计算中包括由多个客户端与中心服务器组成的分布式计算架构，其中，客户端作为子节点，中心服务器作为中心主机，中心主机使用TCP/IP协议按照直连模式传输至各客户端，利用各客户端的本地高光谱数据进行模型训练以及创建，扩大了模型训练所需样本数据的数量，提升了模型计算效率。
需要说明的是，为了便于说明，以下将客户端作为子节点，中心服务器作为中心主机进行描述。
作为一种示例，在各机构进行数据整合的过程中存在数据隐私安全问题，使用隐私保护技术能够保证数据在计算过程中的安全性与隐私性。
因此，本发明确保数据隐私，结合分布式计算与隐私保护技术的高光谱水质参数反演方法具重要研究价值，有助于克服现有技术计算效率与数据隐私局限，促进跨机构合作，加速高精度高光谱水质监测模型发展。
具体步骤如下：
步骤S100，获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
作为一种示例，初始高光谱水质监测模型基于梯度下降算法创建，梯度下降算法是一种机器学习算法，其用来优化损失函数的值。模型的准确率可以通过损失函数来度量，损失函数是一个度量模型预测值与真实值之间差距的函数。例如，多层感知机、BT神经网络、自编码器等。
作为一种示例，初始高光谱水质监测模型由多尺度堆栈自编码器（multi-ScaleStacked Autoencoder，MS-SAE）和一维卷积神经网络（1 dimensional convolutionalneural network，1D-CNN）构成。多尺度堆栈自编码器的特点是在不同尺度上提取特征，以获得更丰富的特征表示，也即多尺度堆栈自编码器用于对输入高光谱进行多尺度特征提取与向量化表达。一维卷积神经网络用于连接多尺度堆栈自编码器模型的特征输出并反演计算出最终预测水质参数结果。为了便于说明，以下以多尺度堆栈自编码器与一维卷积神经网络构成的初始高光谱水质监测模型为例进行描述，其他例基本相同，在此不再赘述。
作为一种示例，所述的MS-SAE（多尺度堆栈自编码器）模型结构包括多个自编码器层，每个自编码器层都有一个编码器和一个解码器，分别负责特征提取和重构。编码器和解码器都可以包含多个全连接层。多尺度的特点是在不同尺度上提取特征，以获得更丰富的特征表示。其中MS-SAE模型构造结构如下：
输入层：接收原始高光谱数据，维度为
Figure SMS_1
；
编码器层：包含多个全连接层，用于将输入数据编码为较低维度的特征表示。假设编码器的第
Figure SMS_2
层的权重矩阵为/>
Figure SMS_3
和偏置向量为/>
Figure SMS_4
，那么第/>
Figure SMS_5
层的输出/>
Figure SMS_6
可以表示为：
Figure SMS_7
其中，f是
Figure SMS_8
激活函数；/>
Figure SMS_9
是上一层的输出，输入层为/>
Figure SMS_10
。
解码器层：与编码器层对应，包含多个全连接层，用于重构输入数据。假设解码器的第
Figure SMS_11
层的权重矩阵为/>
Figure SMS_12
和偏置向量为/>
Figure SMS_13
，那么第/>
Figure SMS_14
层的输出/>
Figure SMS_15
可以表示为：
Figure SMS_16
其中，
Figure SMS_17
是/>
Figure SMS_18
激活函数；/>
Figure SMS_19
是上一层的输出，对于与编码器相连的第一层解码器，/>
Figure SMS_20
是编码器的最后一层输出。
输出层：输出重构后的高光谱数据，维度与输入层相同。
需要说明的是，中间层如编码器层、解码器层的层数根据实际使用需求确定，在此不做具体限定。
作为一种示例，所述的1D-CNN（一维卷积神经网络）用于连接多尺度堆栈自编码器模型的特征输出并反演计算出最终预测的水质参数结果。其1D-CNN构造步骤如下：
卷积层：包含多个一维卷积核，用于提取输入数据的局部特征。假设卷积核的权重矩阵为
Figure SMS_21
和偏置向量为/>
Figure SMS_22
，那么卷积层的输出/>
Figure SMS_23
可以表示为：
Figure SMS_24
其中，
Figure SMS_25
是/>
Figure SMS_26
激活函数；/>
Figure SMS_27
是输入数据；/>
Figure SMS_28
是卷积核的大小；/>
Figure SMS_29
是输入数据的通道数。
池化层：对卷积层的输出进行降采样，减小数据的维度。一维池化层的输出
Figure SMS_30
可以表示为：
Figure SMS_31
其中，
Figure SMS_32
是最大池化函数；s是池化步长；/>
Figure SMS_33
是池化核的大小。
全连接层：接收池化层的输出，对特征进行进一步处理。全连接层的输出可以表示为：
Figure SMS_34
其中，
Figure SMS_35
和/>
Figure SMS_36
是全连接层的权重矩阵和偏置向量；/>
Figure SMS_37
是/>
Figure SMS_38
激活函数。
输出层：输出最终水质参数预测结果，如总磷、总氮的浓度。
作为一种示例，所述获取初始高光谱水质监测模型的步骤之前，包括：
步骤A1，对所述本地高光谱数据进行预处理，得到有效高光谱数据；
步骤A2，接收中心服务器发送的水质监测模型规范，基于所述水质监测模型规范与所述有效高光谱数据创建初始高光谱水质监测模型。
作为一种示例，本地高光谱数据是指通过本地高光谱遥感设备采集到的水质参数数据，在这些本地高光谱数据中存在无效波段或噪声等，直接应用可能会影响水质监测模型对水质检测的效率，因此，需要对各客户端的本地高光谱数据进行预处理，得到与水质监测相关的有效高光谱数据。其中，预处理包括对高光谱数据的归一化处理、去除无关波段处理、以及噪声处理等，根据实际需求设定，在此不做具体限定。
通过预处理后的有效高光谱数据，结合水质监测模型规范创建初始高光谱水质监测模型。其中，中心主机端确定的高光谱水质监测模型规范是指用于创建初始高光谱水质监测模型的信息，包括自变量规范、因变量规范、模型待训练参数、模型损失函数、参数初始值。
作为一种示例，自变量规范涉及使用高光谱波段中心波长（nm）、波段总数、中心波长和波段范围等相关信息。
作为一种示例，因变量规范包括具体的水质参数项目，如所需反演的水质参数类别（总磷或总氮）以及相应的单位（毫克/升，
Figure SMS_39
）。
作为一种示例，模型待训练参数包括构建初始高光谱水质监测模型所需的结构即全部网络参数。例如，初始高光谱水质监测模型由多尺度堆栈自编码器和一维卷积神经网络组成，则模型待训练参数包括MS-SAE及1D-CNN网络结构中全部可训练参数。示例性的，初始高光谱水质监测模型的结构参数如下述表1和表2所示。
表1：多尺度堆栈自编码器结构参数配置
Figure SMS_40
表2：一维卷积神经网络结构参数配置
Figure SMS_41
作为一种示例，模型损失函数表示模型的训练方式，例如，模型损失函数采用均方误差损失（Mean Squared Error，MSE）表示，其计算公式为：
Figure SMS_42
其中，
Figure SMS_43
是输入数据的维度，/>
Figure SMS_44
是原始输入数据，/>
Figure SMS_45
是重构后的输出数据。
作为一种示例，参数初始值是指当前客户端根据水质参数项目确定的初始值。在本实施例中，使用服从均值为0、标准差为0.05的正态分布的随机数进行全部待训练参数初始值赋值。
中心主机向全部子节点发送高光谱水质监测模型规范，子节点根据规范搭建初始模型。
作为一种示例，中心主机向分布式计算中的全部子节点发送高光谱水质监测模型规范，子节点根据水质监测模型规范搭建初始高光谱水质监测模型。需要说明的是，中心主机使用TCP/IP协议按照直连模式传输至各子节点，此过程为初始高光谱水质监测模型结构即参数，不涉及各子节点数据隐私，因此可以不做数据隐私处理。
示例性的，假设5个子节点与1个中心主机参与协同训练，中心主机利用TCP/IP协议向所有子节点发送水质监测模型规范。各子节点收到水质监测模型规范后，依据该水质监测规范开始构建模型。构建过程如下：
首先，各子节点创建一个多尺度堆栈自编码器，从输入的本地高光谱数据中提取多尺度特征并将其转化为向量表示。
其后，各子节点建立一个一维卷积神经网络，将多尺度堆栈自编码器的特征输出连接起来。
同时，各子节点根据接收到的水质监测模型规范将损失函数设置为均方误差损失（MSE）。
各子节点根据规定的参数初始值特征，使用均值为0，标准差为0.05的正态分布随机数为模型的全部待训练参数赋予初始值。
完成上述步骤后，每个子节点都已经成功地搭建了一个初始高光谱水质监测模型。接下来的模型训练和优化将在这些初始高光谱水质监测模型的基础上展开。
作为一种示例，所述对所述本地高光谱数据进行预处理，得到有效高光谱数据的步骤，包括：
步骤A11，对所述本地高光谱数据进行归一化处理，得到将归一化后的数据；
步骤A12，基于所述归一化后的数据进行无关波段与噪声的去除处理，得到有效高光谱数据。
作为一种示例，从本地高光谱遥感数据中获取了一定数量个波段，该一定数量个波段和高光谱遥感数据采集设备的数据采集方式有关。例如在本实施例中，从本地高光谱数据中获取了303个波段，为了进行有效的水质阿金侧，需要对这些波段进行预处理。
作为一种示例，本地高光谱数据进行预处理的步骤如下：
步骤B1，本地高光谱数据的归一化；
为了消除数据量纲的影响，使得不同波段的数据具有可比性，对原始的本地高光谱数据进行归一化处理。归一化方法采用min-max 归一化。对于每个波段的数据，应用以下公式进行归一化：
Figure SMS_46
其中，
Figure SMS_47
是原始数据，/>
Figure SMS_48
和/>
Figure SMS_49
分别是该波段数据的最小值和最大值，
Figure SMS_50
是归一化后的数据。
步骤B2、去除无关波段和噪声。
步骤B21、互信息法提取波段
在高光谱数据中，可能存在一些对水质参数预测贡献较小的无关波段。采用互信息法来识别并去除这些波段，进行高光谱特征选择。计算每个波段与待预测水质参数（总磷、总氮）之间的互信息，然后根据互信息的大小选择有用的波段。
示例性的，为了减少数据维度并保留有效信息，本实施例使用互信息法从303个波段中提取出89个与水质参数最相关的波段。互信息表示两个随机变量之间的信息量，其公式如下：
Figure SMS_51
其中，
Figure SMS_52
和/>
Figure SMS_53
分别表示高光谱波段数据和水质参数，/>
Figure SMS_54
是联合概率分布，/>
Figure SMS_55
和/>
Figure SMS_56
分别是边缘概率分布。
通过计算所有波段与水质参数的互信息值，本实施例选取互信息值最高的89个波段用于后续处理。
步骤B22、移动平均滤波器去噪
高光谱数据可能受到不同来源的噪声影响，如大气散射、仪器误差等，存在有一定数据误差，因此，需要对本地高光谱数据进行去噪处理。噪声去除方法采用一维平滑滤波器进行处理，例如，对于每个波段的数据，应用移动平均滤波器。
示例性的，为了去除高光谱数据中的噪声，我们使用移动平均滤波器对提取出的89个波段进行去噪处理。移动平均滤波器的公式如下：
Figure SMS_57
其中，
Figure SMS_59
是滤波后的数据，/>
Figure SMS_62
是原始数据中第/>
Figure SMS_64
个数据点，/>
Figure SMS_60
是滤波窗口的大小，/>
Figure SMS_61
范围为/>
Figure SMS_63
至/>
Figure SMS_65
。本实施例设置/>
Figure SMS_58
。
经过对本地高光谱数据进行预处理的过程，将原始的303个波段高光谱数据转换为去噪后的89个波段数据，即为有效高光谱数据，为后续的初始高光谱水质监测模型提供了有效输入。即子节点创建的多尺度堆栈自编码器，对预处理后输入的89个波段高光谱数据中提取多尺度特征并将其转化为向量表示。
步骤S200，利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
作为一种示例，各子节点利用其本地高光谱数据对初始高光谱水质监测模型进行训练，并江训练信息以差分隐私方式汇总到中心主机，在保护数据隐私的前提下，整合各子节点的训练信息，扩大了模型训练的训练数据，并在中心主机处对各子节点的训练信息进行参数更新，得到目标模型参数，应用该目标模型参数的全局高光谱水质监测模型能够有效提高模型精度、泛化能力及可扩展性。
作为一种示例，所述利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数的步骤，包括：
步骤S210，基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息；
步骤S210，将所述训练信息按照差分隐私方式发送至所述中心服务器，以供所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数。
作为一种示例，子节点及中心主机进行隐私差分联邦优化，该隐私差分联邦优化包括数据隐私加密模块以及多客户端集群联邦优化模块。
所述数据隐私加密模块，运用差分隐私算法保护各机构的高光谱遥感数据，通过在原始数据中添加随机噪声以保护个体数据的隐私，确保在数据分析过程中，即使某个个体的数据被移除或改变，对分析结果的影响也微乎其微。
所述联邦优化模块，采用联邦平均算法对全局模型参数进行优化更新，通过在各客户端（机构）上进行局部模型训练，并将局部模型的训练信息汇总到中心服务器进行全局模型参数更新，确保各机构的数据仅在本地使用，不会直接共享，从而在提高模型性能的同时保护数据隐私。同时联邦平均算法通过综合利用多个子节点的训练信息，使得全局高光谱水质监测模型具有更好的泛化能力。
作为一种示例，子节点利用其本地高光谱数据对创建的初始高光谱水质监测模型进行训练，得到训练信息。子节点将训练信息按照差分隐私方式发送至中心主机，以此保护协同参与分布式计算的各子节点的数据隐私安全。中心主节在接收到训练信息后采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时结束，得到目标模型参数，基于该目标模型参数得到的全局高光谱水质监测模型具有高性能、精度高、可延展性强的特点。
作为一种示例，所述训练信息包括损失函数值与样本数量，
所述基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息的步骤，包括：
步骤S211，当接收到所述中心服务器发送的训练信号时，基于预设样本数量从所述本地高光谱数据中随机抽取出训练样本；
步骤S212，基于所述训练样本对所述初始高光谱水质监测模型进行训练，输出所述训练样本的水质参数预测值；
步骤S213，根据所述训练样本的水质参数真实值与所述水质参数预测值计算出所述训练样本的损失函数值。
作为一种示例，若训练信息为损失函数值与样本数量，则基于本地高光谱数据对初始高光谱水质监测模型进行训练，得到训练信息的过程如下：
步骤a，中心主机通过简单随机抽样方式抽取至少一个子节点，并向被抽取到的子节点发送训练信号，该训练信号可以通过TCP/IP协议进行传输。可以理解，随机抽取是指通过简单随机抽样的方式从全部子节点中抽取若干个子节点。其中，抽取的子节点数量根据实际需求设定，例如，设定被抽取的子节点占比为20%，向下取整。当分布式计算系统中共有5个子节点时，则中心主机通过简单随机抽样方式抽取1个子节点并向其发送训练信号。
步骤b，接收到训练信号的子节点使用本地高光谱数据随机抽取预设样本数量的训练样本，此过程通过简单随机抽样方法实现。其中，预设样本数量根据实际需求设定。例如，使用简单随机抽样方式随机抽取，小批量容量为16个，若该客户端样本容量不足16则全部取出。
步骤c，接收到训练信号的子节点使用训练样本训练多尺度堆栈自编码器（MS-SAE）进行特征提取，MS-SAE通过自编码器结构学习输入数据的特征表示。
步骤d，接收到训练信号的子节点将提取到的特征输入到一维卷积神经网络（1D-CNN）进行训练，并输出各训练样本的水质参数预测值。其中，1D-CNN利用局部感知和权值共享的原理捕捉特征之间的空间关系，提高模型的预测能力。
步骤e，接收到训练信号的子节点根据训练样本的水质参数真实值与水质参数预测值，计算该训练样本的损失函数值。其中，损失函数值可以通过均方误差（MSE）计算得到。
步骤f，接收到训练信号的子节点将所计算出的损失函数值与样本数量（即小批量样本容量大小）按照差分隐私方式发送至中心主机。
作为一种示例，差分隐私通过在数据中添加噪声，从而保护数据的隐私。具体实现方式为在损失函数计算过程中引入噪声，使数据集中的个体数据在损失函数计算结果上的影响受到限制。差分隐私噪声添加公式表示为：
Figure SMS_66
其中，
Figure SMS_67
为添加噪声后的损失函数值，/>
Figure SMS_68
为原始损失函数值，/>
Figure SMS_69
为均值为0、方差为/>
Figure SMS_70
的高斯噪声。本实施例中设定/>
Figure SMS_71
。
作为一种示例，所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数的步骤，包括：
步骤S211，所述中心服务器在接收到所述损失函数值和所述样本数量时，执行联邦平均算法；其中，在执行联邦平均算法时，基于所述样本数量计算各客户端的权重；基于所述损失函数值与所述权重，计算出各客户端的加权平均损失函数值；基于所述加权平均损失函数值，采用梯度下降算法更新模型参数，以得到目标模型参数，并将所述目标模型参数发送至各客户端。
作为一种示例，接收到训练信号的子节点将训练信息按照差分隐私方式发送至所述中心服务器，以供中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数。中心主机使用联邦平均算法对训练参数进行更新，其原理示意图如图2所示。
具体的，参照图2，中心主机端采用联邦平均算法对训练参数进行更新的过程如下：
步骤g，中心主机收集记录各子节点发送的损失函数值
Figure SMS_72
和对应的样本数量 />
Figure SMS_73
，其中/>
Figure SMS_74
表示第/>
Figure SMS_75
个子节点。
步骤h，计算各子节点的权重，权重由该子节点的样本数量确定：
Figure SMS_76
其中，
Figure SMS_77
是子节点总数，在本实施例中/>
Figure SMS_78
；/>
步骤i，计算加权平均损失函数值：
Figure SMS_79
步骤j，计算模型参数的梯度
Figure SMS_80
。这可以通过各子节点发送的梯度进行加权平均得到：
Figure SMS_81
步骤k，使用梯度下降法更新模型参数：
Figure SMS_82
其中，
Figure SMS_83
是第/>
Figure SMS_84
轮迭代时模型的参数，/>
Figure SMS_85
是学习率，在本实施例中/>
Figure SMS_86
。
步骤l，中心主机将更新后参数发送给全部子节点，子节点更新本地模型参数。参数更新值通过TCP/IP协议进行传输。
步骤m，重复步骤a至步骤l直到达到联邦训练终止条件，得到目标模型参数，并将目标模型参数发送至各子节点。需要说明的是，终止条件是预设的迭代次数，也可以是模型参数设定的阈值。本实施例联邦训练终止条件设定为迭代次数上限为100时，联邦训练结束，训练结束时当前迭代更新的模型参数即为目标模型参数。
在本实施例中，实现了在保护数据隐私的前提下，利用隐私差分联邦优化方法对高光谱遥感水质监测系统的高光谱水质监测模型进行训练和优化。
步骤S300，接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
接收中心主机发送的目标模型参数，更新初始高光谱水质监测模型，以得到最终的全局高光谱水质监测模型。参照图3，图3为上述联邦迭代过程中各子节点损失函数值迭代变化曲线，表示整体系统的模型具有收敛趋势，最终成收敛状态，该全局高光谱水质监测模型具备有效性。参照图4，图4为上述联邦迭代过程中各子节点在测试数据集中决定系数
Figure SMS_87
迭代变化曲线。表示在这个训练过程中，每个模型的精度越来越高，每一个子节点的客户端均能准确预测出水质状况。因此，经过分布式计算和隐私保护技术得到的全局高光谱水质监测模型提高了模型精度、泛化性能及可扩展性。在用于对水质进行监测时，提高了对水质监测准确度，满足水质监测需求。
作为一种示例，所述使用更新后得到的全局高光谱水质监测模型对水质进行监测的步骤之前，所述方法还包括：
步骤S400，对所述更新后得到的全局高光谱水质监测模型的性能进行评估，其中，采用使用均方误差、均方根误差、平均绝对误差、平均绝对百分比误差及决定系数进行结果评估。
具体地，本实施例采用以下指标对全局高光谱水质参数反演模型的性能进行评估：
均方误差（Mean Squared Error，MSE）：衡量模型预测值与实际值之间的平方差的平均值。较低的MSE值表示模型具有较高的准确性，其公式为：
Figure SMS_88
均方根误差（Root Mean Squared Error，RMSE）：计算模型预测值与实际值之间的平方差的平均值后取平方根。RMSE可以反映模型预测误差的实际尺度，较低的RMSE值表示模型具有较高的准确性，其公式为：
Figure SMS_89
平均绝对误差（Mean Absolute Error，MAE）：衡量模型预测值与实际值之间的绝对差的平均值。较低的MAE值表示模型具有较高的准确性，其公式为：
Figure SMS_90
平均绝对百分比误差（Mean Absolute Percentage Error，MAPE）：衡量模型预测值与实际值之间的相对误差，以百分比表示。较低的MAPE值表示模型具有较高的准确性，其公式为：
Figure SMS_91
决定系数
Figure SMS_92
：表示模型预测值与实际值之间的相关程度。/>
Figure SMS_93
值介于0和1之间，越接近1表示模型具有更强的拟合能力，其公式为：
Figure SMS_94
在本实施例中，全局模型经过分布式隐私计算优化后，对各客户端子节点的全局高光谱水质监测模型进行精度评估。具体评估结果展示在表3中，表3展示了使用本方法在保护各客户端数据隐私条件下进行多客户端协同模型训练的结果。
表3：全局高光谱水质监测模型在各客户端水质参数反演精度表
Figure SMS_95
为了进行对比，各子节点独立地仅利用各自的本地高光谱数据，构建子节点自己的本地模型。可以理解，在这种情况下，使用随机梯度下降算法（学习率
Figure SMS_96
）对本地模型进行训练。然后，分别计算各个子节点在测试集上的精度，相关结果如表4所示。表4展示了各客户端使用传统本地训练方式所得到的精度。
表4：各客户端仅基于本地高光谱数据构建本地模型水质参数反演精度表
Figure SMS_97
通过对比全局高光谱水质监测模型与各子节点独立训练的本地模型的精度评估结果，可以进一步证明本发明的分布式的水质监测方法在保护数据隐私的前提下，成功地提高了全局高光谱水质监测模型精度、泛化性能及可扩展性，提升了模型性能。通过将分布式计算技术和隐私保护技术相结合，本发明在保障各参与机构数据隐私安全的前提下，实现了对高光谱遥感水质监测数据的高效整合和利用。
本发明提供一种水质监测方法、装置、设备及存储介质，与目前水质监测性能受到限制，难以满足水质监测需求相比，在本发明中，获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。也即，通过分布式计算技术和隐私保护技术相结合，保障各参与机构数据隐私安全的前提下，实现对高光谱遥感水质监测数据的高效整合和利用，增加高光谱水质监测数据量，能够有效提升模型计算效率、模型精度、可扩展性等的模型性能，满足广泛水质监测需求。
下面对本发明提供的水质监测装置进行描述，下文描述的水质监测装置与上文描述的水质监测方法可相互对应参照。
本发明还提供一种水质监测装置，所述装置包括：
初始模型获取模块，用于获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
模型训练模块，用于利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
全局模型创建模块，用于接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
和/或，所述模型训练模块还包括：
模型训练子模块，用于基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息；
参数更新子模块，用于将所述训练信息按照差分隐私方式发送至所述中心服务器，以供所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数。
和/或，所述模型训练子模块还包括：
样本提取单元，用于当接收到所述中心服务器发送的训练信号时，基于预设样本数量从所述本地高光谱数据中随机抽取出训练样本；所述训练信息包括损失函数值与样本数量；
模型训练单元，用于基于所述训练样本对所述初始高光谱水质监测模型进行训练，输出所述训练样本的水质参数预测值；
数据计算单元，用于根据所述训练样本的水质参数真实值与所述水质参数预测值计算出所述训练样本的损失函数值。
和/或，所述参数更新子模块还包括：
参数更新单元，用于所述中心服务器在接收到所述损失函数值和所述样本数量时，执行联邦平均算法；其中，在执行联邦平均算法时，基于所述样本数量计算各客户端的权重；基于所述损失函数值与所述权重，计算出各客户端的加权平均损失函数值；基于所述加权平均损失函数值，采用梯度下降算法更新模型参数，以得到目标模型参数，并将所述目标模型参数发送至各客户端。
和/或，所述装置还包括：
模型评估模块，用于对所述更新后得到的全局高光谱水质监测模型的性能进行评估，其中，采用使用均方误差、均方根误差、平均绝对误差、平均绝对百分比误差及决定系数进行结果评估。
和/或，所述装置还包括：
数据预处理模块，用于对所述本地高光谱数据进行预处理，得到有效高光谱数据；
模型创建模块，用于接收中心服务器发送的水质监测模型规范，基于所述水质监测模型规范与所述有效高光谱数据创建初始高光谱水质监测模型。
和/或，所述数据预处理模块还包括：
第一数据处理子模块，用于对所述本地高光谱数据进行归一化处理，得到将归一化后的数据；
第二数据处理子模块，用于基于所述归一化后的数据进行无关波段与噪声的去除处理，得到有效高光谱数据。
图5示例了一种水质监测设备的实体结构示意图，如图5所示，该水质监测设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行水质监测方法，该方法包括：获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的水质监测方法，该方法包括：获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的水质监测方法，该方法包括：获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种水质监测方法，其特征在于，应用于客户端，包括：
获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
2.根据权利要求1所述的水质监测方法，其特征在于，所述利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数的步骤，包括：
基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息；
将所述训练信息按照差分隐私方式发送至所述中心服务器，以供所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数。
3.根据权利要求2所述的水质监测方法，其特征在于，所述训练信息包括损失函数值与样本数量，
所述基于所述本地高光谱数据对所述初始高光谱水质监测模型进行训练，得到训练信息的步骤，包括：
当接收到所述中心服务器发送的训练信号时，基于预设样本数量从所述本地高光谱数据中随机抽取出训练样本；
基于所述训练样本对所述初始高光谱水质监测模型进行训练，输出所述训练样本的水质参数预测值；
根据所述训练样本的水质参数真实值与所述水质参数预测值计算出所述训练样本的损失函数值。
4.根据权利要求3所述的水质监测方法，其特征在于，所述中心服务器采用联邦平均算法对模型参数更新，直至达到联邦训练终止条件时训练结束，以得到目标模型参数的步骤，包括：
所述中心服务器在接收到所述损失函数值和所述样本数量时，执行联邦平均算法；其中，在执行联邦平均算法时，基于所述样本数量计算各客户端的权重；基于所述损失函数值与所述权重，计算出各客户端的加权平均损失函数值；基于所述加权平均损失函数值，采用梯度下降算法更新模型参数，以得到目标模型参数，并将所述目标模型参数发送至各客户端。
5.根据权利要求1所述的水质监测方法，其特征在于，所述获取初始高光谱水质监测模型的步骤之前，包括：
对所述本地高光谱数据进行预处理，得到有效高光谱数据；
接收中心服务器发送的水质监测模型规范，基于所述水质监测模型规范与所述有效高光谱数据创建初始高光谱水质监测模型。
6.根据权利要求5所述的水质监测方法，其特征在于，所述对所述本地高光谱数据进行预处理，得到有效高光谱数据的步骤，包括：
对所述本地高光谱数据进行归一化处理，得到将归一化后的数据；
基于所述归一化后的数据进行无关波段与噪声的去除处理，得到有效高光谱数据。
7.根据权利要求2-6中任一项所述的水质监测方法，其特征在于，所述初始高光谱水质监测模型由多尺度堆栈自编码器与一维卷积神经网络构成。
8.一种水质监测装置，其特征在于，所述装置包括：
初始模型获取模块，用于获取初始高光谱水质监测模型，所述初始高光谱水质监测模型基于梯度下降算法创建；
模型训练模块，用于利用本地高光谱数据对所述初始高光谱水质监测模型进行训练，并将训练信息以差分隐私方式汇总到中心服务器中以进行模型参数更新，得到目标模型参数；
全局模型创建模块，用于接收所述中心服务器的目标模型参数，并更新所述初始高光谱水质监测模型，使用更新后得到的全局高光谱水质监测模型对水质进行监测。
9.一种水质监测设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述水质监测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述水质监测方法。
CN202310412184.1A 2023-04-18 2023-04-18 水质监测方法、装置、设备及存储介质 Active CN116148193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310412184.1A CN116148193B (zh) 2023-04-18 2023-04-18 水质监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310412184.1A CN116148193B (zh) 2023-04-18 2023-04-18 水质监测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116148193A true CN116148193A (zh) 2023-05-23
CN116148193B CN116148193B (zh) 2023-07-18

Family

ID=86362098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310412184.1A Active CN116148193B (zh) 2023-04-18 2023-04-18 水质监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116148193B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111007021A (zh) * 2019-12-31 2020-04-14 北京理工大学重庆创新中心 基于一维卷积神经网络的高光谱水质参数反演系统及方法
US20200184106A1 (en) * 2018-12-10 2020-06-11 Sap Se Differential Privacy Processing of IoT Streaming Data Using Generative Adversarial Networks
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113591145A (zh) * 2021-07-28 2021-11-02 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
WO2022116424A1 (zh) * 2020-12-01 2022-06-09 平安科技（深圳）有限公司 交通流预测模型训练方法、装置、电子设备及存储介质
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
WO2022141841A1 (zh) * 2020-12-29 2022-07-07 平安科技（深圳）有限公司 联邦学习的过程中模型参数的处理方法、装置及相关设备
WO2023279975A1 (zh) * 2021-07-06 2023-01-12 华为技术有限公司 一种模型处理方法、联邦学习方法及相关设备
US20230039182A1 (en) * 2021-01-05 2023-02-09 Tencent Technology (Shenzhen) Company Ltd. Method, apparatus, computer device, storage medium, and program product for processing data
CN115935407A (zh) * 2022-09-22 2023-04-07 华东桐柏抽水蓄能发电有限责任公司 一种面向联邦学习的自适应差分隐私保护方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184106A1 (en) * 2018-12-10 2020-06-11 Sap Se Differential Privacy Processing of IoT Streaming Data Using Generative Adversarial Networks
CN111007021A (zh) * 2019-12-31 2020-04-14 北京理工大学重庆创新中心 基于一维卷积神经网络的高光谱水质参数反演系统及方法
WO2022116424A1 (zh) * 2020-12-01 2022-06-09 平安科技（深圳）有限公司 交通流预测模型训练方法、装置、电子设备及存储介质
WO2022141841A1 (zh) * 2020-12-29 2022-07-07 平安科技（深圳）有限公司 联邦学习的过程中模型参数的处理方法、装置及相关设备
US20230039182A1 (en) * 2021-01-05 2023-02-09 Tencent Technology (Shenzhen) Company Ltd. Method, apparatus, computer device, storage medium, and program product for processing data
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
WO2023279975A1 (zh) * 2021-07-06 2023-01-12 华为技术有限公司 一种模型处理方法、联邦学习方法及相关设备
CN113591145A (zh) * 2021-07-28 2021-11-02 西安电子科技大学 基于差分隐私和量化的联邦学习全局模型训练方法
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114169010A (zh) * 2021-12-13 2022-03-11 安徽理工大学 一种基于联邦学习的边缘隐私保护方法
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN115935407A (zh) * 2022-09-22 2023-04-07 华东桐柏抽水蓄能发电有限责任公司 一种面向联邦学习的自适应差分隐私保护方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AGRAWAL S: "Federated learning for intrusion detection system ： concepts ， challenges and future directions", 《COMPUTER COMMUNICATIONS》, no. 195 *
IMTEAJ A: "A survey on federated learning for resource-constrained IoT devices", 《IEEE INTERNET OF THINGS JOURNAL》, vol. 9, no. 1, XP011894897, DOI: 10.1109/JIOT.2021.3095077 *
任一支: "基于联邦学习的本地化差分隐私机制研究", 《电子与信息学报》, vol. 45, no. 3 *
原野: "一种深度神经网络的分布式训练方法", 《人工智能》, vol. 49, no. 3 *
郝劭辰: "基于高效联邦学习算法的网络入侵检测模型", 《计算机应用》, vol. 43, no. 4 *
高永强;: "连续小波变换高光谱数据降维挖掘系统设计", 激光杂志, no. 07 *

Also Published As

Publication number Publication date
CN116148193B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN108231201B (zh) 一种疾病数据分析处理模型的构建方法、系统及应用方法
CN108564606B (zh) 基于图像转换的异源图像块匹配方法
CN107609642A (zh) 计算装置和方法
Lara et al. A deep learning approach for automatic recognition of seismo-volcanic events at the Cotopaxi volcano
CN112633401B (zh) 一种高光谱遥感图像分类方法、装置、设备及存储介质
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN114581330A (zh) 一种基于多尺度混合注意力的太赫兹图像去噪方法
CN114861740B (zh) 基于多头注意力机制的自适应机械故障诊断方法及系统
CN109754357B (zh) 图像处理方法、处理装置以及处理设备
CN110176006B (zh) 图像前景物体分割方法及装置
WO2023108873A1 (zh) 一种脑网络和脑成瘾连接计算方法及装置
CN114037014A (zh) 基于图自编码器的引用网络聚类方法
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
CN113920255A (zh) 基于点云数据的高效测绘系统
Wang et al. A structurally re-parameterized convolution neural network-based method for gearbox fault diagnosis in edge computing scenarios
CN116148193B (zh) 水质监测方法、装置、设备及存储介质
CN113128612A (zh) 电力数据中异常值的处理方法及终端设备
CN116486183B (zh) 基于多种注意力权重融合特征的sar图像建筑区分类方法
Yang et al. A structure optimization algorithm of neural networks for large-scale data sets
CN116310851B (zh) 遥感图像变化检测方法
WO2021179198A1 (zh) 图像特征可视化方法、图像特征可视化装置及电子设备
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
Wang et al. [Retracted] A New Method of Denoising Crop Image Based on Improved SVD in Wavelet Domain
CN111798531A (zh) 一种应用于植株监测的图像深度卷积压缩感知重构方法
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant