CN116699096A - 一种基于深度学习的水质检测方法和系统 - Google Patents

一种基于深度学习的水质检测方法和系统 Download PDF

Info

Publication number
CN116699096A
CN116699096A CN202310991231.2A CN202310991231A CN116699096A CN 116699096 A CN116699096 A CN 116699096A CN 202310991231 A CN202310991231 A CN 202310991231A CN 116699096 A CN116699096 A CN 116699096A
Authority
CN
China
Prior art keywords
water quality
quality detection
deep learning
remote sensing
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310991231.2A
Other languages
English (en)
Other versions
CN116699096B (zh
Inventor
陈奇志
张建波
何永文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaide Technology Changsha Co ltd
Original Assignee
Kaide Technology Changsha Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaide Technology Changsha Co ltd filed Critical Kaide Technology Changsha Co ltd
Priority to CN202310991231.2A priority Critical patent/CN116699096B/zh
Publication of CN116699096A publication Critical patent/CN116699096A/zh
Application granted granted Critical
Publication of CN116699096B publication Critical patent/CN116699096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18—Water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Food Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于深度学习的水质检测方法和系统，包括：S1：收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，并去除水质检测参数中的异常值；S2：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征；S3：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合；S4：构建水质检测深度学习网络；S5：基于扩充的数据集合训练水质检测深度学习网络。本发明在样本数量有限的条件下，通过数据增强与深度网络联合训练，提升模型的特征表达能力，使其适应复杂水域环境，实现水质精确检测。

Description

一种基于深度学习的水质检测方法和系统
技术领域
本发明属于水质检测领域，尤其涉及一种基于深度学习的水质检测方法和系统。
背景技术
长期以来，监测水质主要依靠人工采样带回实验室进行检测分析，不仅检测周期长，效率低下，还无法实现水体水质变化的动态监测。近年来，应用遥感技术进行水质监测成为一个研究热点。基于经验统计模型的水质参数反演可以实现对水体水质的快速估计。但是这种方法依赖大量的样本数据进行模型训练，对数据集的数量和代表性要求极高，当水体状况复杂或样本不足时，反演精度较差。随着深度学习技术的发展，基于卷积神经网络的水质检测方法被广泛研究。这种方法可以自动学习遥感图像的高级特征，建立图像特征与水质参数之间的复杂非线性关系，克服经验模型的局限性。但是现有的方法仍面临标注数据不足，对数据量和质量敏感等问题。
发明内容
有鉴于此，本发明提供一种基于深度学习的水质检测方法和系统，目的在于在样本数量有限的条件下，通过数据增强与深度网络联合训练，提升模型的特征表达能力，使其适应复杂水域环境，实现水质精确检测。
实现上述目的，本发明提供的一种基于深度学习的水质检测方法，包括以下步骤：
S1：收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，并去除水质检测参数中的异常值；
S2：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征；
S3：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合；
S4：构建水质检测深度学习网络；
S5：基于扩充的数据集合训练水质检测深度学习网络；
可选的，所述S1步骤中收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，并去除水质检测参数中的异常值，包括：
收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，使用异常值检测算法检测水质检测参数中的异常值，并进行剔除，所述异常值检测算法的流程为：
S11：计算水质检测参数样本点的局部密度：
；
其中，i为水质检测参数样本点序号；为第i个水质检测参数样本点的局部密度；KNN(i)为第i个水质检测参数样本点附近的K个邻近点，k为邻近点序号；/>为第i和第j个水质检测参数样本点之间的欧式距离；/>为第k和第i个水质检测参数样本点之间的欧式距离；e为自然常数；
S12：计算水质检测参数样本点的相对距离：
；
其中，为第i个水质检测参数样本点的相对距离；
S13：根据所有水质检测参数样本点的局部密度和相对距离计算异常样本点：
计算水质检测参数异常样本点判断阈值：
；
；
其中，和/>分别为异常水质检测参数样本点的局部密度和相对距离判断阈值；Num为水质检测参数样本点总数目；/>和/>分别为局部密度和相对距离的调整参数；
当新的水质检测参数样本的局部密度小于且相对距离大于/>时，该样本点为异常样本；
可选的，所述S2步骤中获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征，包括：
收集待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征，首先提取待检测水质区域的遥感图像的波段特征：
根据检测水质区域的遥感图像的波段，组合不同波段获得波段特征：
；
；
；
；
其中，NDVI，NDWI，MNDVI和SIPI分别代表归一化植被指数、归一化水体指数、改进归一化水体指数和结构不敏感色素指数；、/>、/>和/>分别表示遥感图像的绿波段、红波段、近红波段和远红波段；
然后，使用自编码器提取待检测水质区域的遥感图像的深度特征，所述自编码器的计算流程为：
S21：计算编码器和解码器输出：
；
；
其中，编码器和解码器共同构成自编码器；是输入编码器的待检测水质区域的遥感图像；/>和/>是编码器的权重和偏置；/>和/>是解码器的权重和偏置；r和O分别为编码器和解码器的输出；Relu为非线性激活函数，计算方式为：
；
S22：根据编码器输出计算损失函数：
；
其中，为编码器输出/>的均值，/>为待检测水质区域的遥感图像/>的均值；/>和/>为调整损失函数大小的参数；根据计算得到的损失函数更新编码器和解码器的权重和偏置，使损失函数值不断变小；
可选的，所述S3步骤中对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合，包括：
S31：基于聚类算法计算原始数据集合的聚类中心：
在原始数据集合中随机挑选m个样本作为初始聚类中心，同时m也表示聚类中心的个数：
；
计算原始数据集合中所有样本到不同聚类中心的距离，选择距离最短的聚类中心作为该样本所属的聚类类别：
；
其中，表示原始数据集合中第/>个样本，/>，/>表示原始数据集合中样本的总数；/>表示/>所属的聚类类别；/>；表示使/>取得最小值的/>；
原始数据集合中的所有样本都分配到所属的聚类类别后，更新聚类中心：
；
其中，表示/>中样本的总数；重复计算原始数据集合中所有样本到不同聚类中心的距离以及聚类中心的更新，直到聚类中心不再发生变化；
S32：基于S31获得的聚类中心生成新的样本扩充原始数据集合：
对每一个聚类中心，按照随机采样生成新的样本，所述生成方式为：
；
其中，为生成的新的样本；/>为/>中随机挑选的样本；/>为0到1之间的随机数；
将新生成的样本加入原始数据集合获得扩充的数据集合；
可选的，所述S4步骤中构建水质检测深度学习网络，包括：
S41：设定水质检测深度学习网络的检测结果：
；
其中，表示水质检测深度学习网络预测水质等级为/>的概率，水质从低到高分为I、II、III、IV、V五个等级；/>为水质检测深度学习网络；/>为水质检测深度学习网络的参数；/>为S1中去除异常值的待检测水质区域水质检测参数；，/>表示在通道维度连接数据；/>是待检测水质区域的遥感图像；/>为自编码器提取待检测水质区域的遥感图像的深度特征；
S42：计算水质检测深度学习网络的损失函数：
；
其中，是预先定义的水质等级；/>表示如果当前检测的等级h等于预先定义的水质等级，则为1，否则为0；
可选的，所述S5步骤中基于扩充的数据集合训练水质检测深度学习网络，包括：
基于S3的扩充数据集合和S4构建的网络，基于自适应梯度下降训练水质检测深度学习网络，所述自适应梯度下降的流程为：
S51：计算梯度与梯度角：
；
；
其中，表示第t次更新水质检测深度学习网络参数时的梯度；/>表示水质检测深度学习网络的损失函数对于第t次更新时的网络参数/>的偏导；/>表示第t次更新水质检测深度学习网络参数时的梯度角；/>的计算方式为：
；
S52：计算第t+1次更新时的网络参数：
；
其中，为水质检测深度学习网络的学习率，用于控制参数学习速率；
水质检测深度学习网络参数更新完成后，输入经过S1与S2处理后得到的待检测水质区域水质检测参数和遥感图像，获得水质检测结果。
本发明还公开了一种基于深度学习的水质检测系统，包括：
异常值去除模块：收集待检测水质区域的水质检测参数，并去除水质检测参数中的异常值；
特征提取模块：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征；
样本扩充模块：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合；
网络构建模块：构建水质检测深度学习网络；
网络训练模块：基于自适应梯度下降对水质检测深度学习网络进行训练。
有益效果：
本发明同时利用水质监测参数和遥感图像两个不同来源的数据，通过数据组合形成丰富而全面的训练数据集。相比仅使用单一数据源，组合数据包含更多样本特征，增强数据集的多样性和表达能力。丰富的训练数据增强了模型对各种水质状态的敏感性，提高模型提取关联水质信息的能力。数据的组合应用，大大提升了模型训练的质量，使水质评估更加准确。
本发明利用混合采样实现了有限样本的数量扩充。数据扩充技术可以生成新样本，极大地丰富了样本的表达形式。与直接增加采样点相比，数据扩充技术降低了采集成本，提供了更经济高效的样本获取手段。该方法应用减轻了对大规模水质调查的依赖，使水质监测更加可持续。
本发明构建了深度学习网络模型，实现了端到端的特征学习。这种结构可以自主提取不同层次的图像特征，如颜色、纹理、形状等，并融合这些信息，刻画水质状况的细微变化。相比人工特征工程，深度学习网络可以自动学习影响水质的关键因素。端到端学习提升了特征的表达能力，增强了模型对复杂水体的适应性。
附图说明
图1为本发明一实施例的一种基于深度学习的水质检测方法的流程示意图；
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
实施例1：一种基于深度学习的水质检测方法，如图1所示，包括以下步骤：
S1：收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，并去除水质检测参数中的异常值：
收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，使用异常值检测算法检测水质检测参数中的异常值，并进行剔除，所述异常值检测算法的流程为：
S11：计算水质检测参数样本点的局部密度：
；
其中，i为水质检测参数样本点序号；为第i个水质检测参数样本点的局部密度；KNN(i)为第i个水质检测参数样本点附近的K个邻近点，k为邻近点序号；/>为第i和第j个水质检测参数样本点之间的欧式距离；/>为第k和第i个水质检测参数样本点之间的欧式距离；e为自然常数；
S12：计算水质检测参数样本点的相对距离：
；
其中，为第i个水质检测参数样本点的相对距离；
S13：根据所有水质检测参数样本点的局部密度和相对距离计算异常样本点：
计算水质检测参数异常样本点判断阈值：
；
；
其中，和/>分别为异常水质检测参数样本点的局部密度和相对距离判断阈值；Num为水质检测参数样本点总数目；/>和/>分别为局部密度和相对距离的调整参数；
当新的水质检测参数样本的局部密度小于且相对距离大于/>时，该样本点为异常样本；
收集待检测水质区域的各类水质检测参数，包括溶解氧、pH值和浊度，可以全面反映水质的各个方面特征，并在数据集中去除异常值，提供一个信息丰富、质量可靠的原始训练数据集，为构建水质检测模型奠定坚实的基础。不同类型参数的组合能很好描述水质的整体状态，从而让模型在训练过程中看到各种可能的水质特征，对各类环境适应性都得到增强。预处理环节过滤掉异常数据，可以防止误导后续模型训练，保证数据质量，让模型训练过程更加稳定高效。
S2：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征：
收集待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征，首先提取待检测水质区域的遥感图像的波段特征：
根据检测水质区域的遥感图像的波段，组合不同波段获得波段特征：
；
；
；
；
其中，NDVI，NDWI，MNDVI和SIPI分别代表归一化植被指数、归一化水体指数、改进归一化水体指数和结构不敏感色素指数；、/>、/>和/>分别表示遥感图像的绿波段、红波段、近红波段和远红波段；
然后，使用自编码器提取待检测水质区域的遥感图像的深度特征，所述自编码器的计算流程为：
S21：计算编码器和解码器输出：
；
；
其中，编码器和解码器共同构成自编码器；是输入编码器的待检测水质区域的遥感图像；/>和/>是编码器的权重和偏置；/>和/>是解码器的权重和偏置；r和O分别为编码器和解码器的输出；Relu为非线性激活函数，计算方式为：
；
S22：根据编码器输出计算损失函数：
；
其中，为编码器输出/>的均值，/>为待检测水质区域的遥感图像/>的均值；/>和/>为调整损失函数大小的参数，本实施例中/>，/>；根据计算得到的损失函数更新编码器和解码器的权重和偏置，使损失函数值不断变小；
获取待检测水质区域的遥感图像，并从中提取出波段特征和深度特征，能够提供包含丰富水质信息的视觉数据源，作为模型训练的额外输入。遥感图像作为第一手数据，直观反映了水域的真实情况，与水质参数数据互为补充。从图像中提取出的波段特征反映光谱信息，深度特征表示形态轮廓信息，两者的组合可全面描述水域的视觉特征。通过与水质参数联合训练，可以建立二者之间的映射关系，为基于图像的水质评估奠定基础。
S3：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合：
S31：基于聚类算法计算原始数据集合的聚类中心：
在原始数据集合中随机挑选m个样本作为初始聚类中心，同时m也表示聚类中心的个数：
；
计算原始数据集合中所有样本到不同聚类中心的距离，选择距离最短的聚类中心作为该样本所属的聚类类别：
；
其中，表示原始数据集合中第/>个样本，/>，/>表示原始数据集合中样本的总数；/>表示/>所属的聚类类别；/>；表示使/>取得最小值的/>；
原始数据集合中的所有样本都分配到所属的聚类类别后，更新聚类中心：
；
其中，表示/>中样本的总数；重复计算原始数据集合中所有样本到不同聚类中心的距离以及聚类中心的更新，直到聚类中心不再发生变化；
S32：基于S31获得的聚类中心生成新的样本扩充原始数据集合：
对每一个聚类中心，按照随机采样生成新的样本，所述生成方式为：
；
其中，为生成的新的样本；/>为/>中随机挑选的样本；/>为0到1之间的随机数；
将新生成的样本加入原始数据集合获得扩充的数据集合；
通过数据扩充技术，可以扩展数据集的规模，增强其多样性。扩充后的数据集相比原始数据，样本量更丰富，变化更加多样，可用于训练更加复杂和高效的模型。同时，扩充数据量可以减轻过拟合，使模型对不同水质状态的适应性更强。扩充样本多样性，可以提高模型处理新环境的能力。数据集扩充丰富了样本表达，提高了模型的鲁棒性与泛化能力，是提升水质检测技术性能的重要手段。相比仅依赖有限的原始数据，扩充数据集使模型在训练样本不足的情况下，也能达到很好的检测效果。
S4：构建水质检测深度学习网络：
S41：设定水质检测深度学习网络的检测结果：
；
其中，表示水质检测深度学习网络预测水质等级为/>的概率，水质从低到高分为I、II、III、IV、V五个等级；/>为水质检测深度学习网络，本实施例中/>按照VGG-16的架构构建；/>为水质检测深度学习网络的参数；/>为S1中去除异常值的待检测水质区域水质检测参数；/>，/>表示在通道维度连接数据；/>是待检测水质区域的遥感图像；/>为自编码器提取待检测水质区域的遥感图像的深度特征；
S42：计算水质检测深度学习网络的损失函数：
；
其中，是预先定义的水质等级；/>表示如果当前检测的等级h等于预先定义的水质等级，则为1，否则为0。
S5：基于扩充的数据集合训练水质检测深度学习网络：
基于S3的扩充数据集合和S4构建的网络，基于自适应梯度下降训练水质检测深度学习网络，所述自适应梯度下降的流程为：
S51：计算梯度与梯度角：
；
；
其中，表示第t次更新水质检测深度学习网络参数时的梯度；/>表示水质检测深度学习网络的损失函数对于第t次更新时的网络参数/>的偏导；/>表示第t次更新水质检测深度学习网络参数时的梯度角；/>的计算方式为：
；
S52：计算第t+1次更新时的网络参数：
；
其中，为水质检测深度学习网络的学习率，用于控制参数学习速率，本实施例中；
水质检测深度学习网络参数更新完成后，输入经过S1与S2处理后得到的待检测水质区域水质检测参数和遥感图像，获得水质检测结果。
通过自适应梯度下降算法优化网络模型的参数，实现端到端的深度网络训练。相比于传统梯度下降，它可以自适应地调整学习率,使得模型训练更稳定高效。在丰富的训练数据上应用自适应梯度下降法，可以使模型自动学习特征表达式，建立输入数据和水体质量之间的映射关系。
实施例2：本发明还公开了一种基于深度学习的水质检测系统，包括以下五个模块：
异常值去除模块：收集待检测水质区域的水质检测参数，并去除水质检测参数中的异常值；
特征提取模块：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征；
样本扩充模块：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合；
网络构建模块：构建水质检测深度学习网络；
网络训练模块：基于自适应梯度下降对水质检测深度学习网络进行训练。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于深度学习的水质检测方法，其特征在于，包括以下步骤：
S1：收集待检测水质区域的水质检测参数，包括溶解氧、pH值和浊度，并去除水质检测参数中的异常值，所述步骤S1中，包括：
所述异常值检测算法的流程为：
S11：计算水质检测参数样本点的局部密度：
；
其中，i为水质检测参数样本点序号；为第i个水质检测参数样本点的局部密度；KNN(i)为第i个水质检测参数样本点附近的K个邻近点，k为邻近点序号；/>为第i和第j个水质检测参数样本点之间的欧式距离；/>为第k和第i个水质检测参数样本点之间的欧式距离；e为自然常数；
S12：计算水质检测参数样本点的相对距离：
；
其中，为第i个水质检测参数样本点的相对距离；
S13：根据所有水质检测参数样本点的局部密度和相对距离计算异常样本点：
计算水质检测参数异常样本点判断阈值：
；
；
其中，和/>分别为异常水质检测参数样本点的局部密度和相对距离判断阈值；Num为水质检测参数样本点总数目；/>和/>分别为局部密度和相对距离的调整参数；
当新的水质检测参数样本的局部密度小于且相对距离大于/>时，该样本点为异常样本；
S2：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征；
S3：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合；
S4：构建水质检测深度学习网络；
S5：基于扩充的数据集合训练水质检测深度学习网络。
2.根据权利要求1所述的一种基于深度学习的水质检测方法，其特征在于，所述步骤S2中，包括：
收集待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征，首先提取待检测水质区域的遥感图像的波段特征：
根据检测水质区域的遥感图像的波段，组合不同波段获得波段特征：
；
；
；
；
其中，NDVI，NDWI，MNDVI和SIPI分别代表归一化植被指数、归一化水体指数、改进归一化水体指数和结构不敏感色素指数；、/>、/>和/>分别表示遥感图像的绿波段、红波段、近红波段和远红波段；
然后，使用自编码器提取待检测水质区域的遥感图像的深度特征，所述自编码器的计算流程为：
S21：计算编码器和解码器输出：
；
；
其中，编码器和解码器共同构成自编码器；是输入编码器的待检测水质区域的遥感图像；/>和/>是编码器的权重和偏置；/>和/>是解码器的权重和偏置；r和O分别为编码器和解码器的输出；Relu为非线性激活函数，计算方式为：
；
S22：根据编码器输出计算损失函数：
；
其中，为编码器输出/>的均值，/>为待检测水质区域的遥感图像/>的均值；/>和为调整损失函数大小的参数；根据计算得到的损失函数更新编码器和解码器的权重和偏置，使损失函数值不断变小。
3.根据权利要求2所述的一种基于深度学习的水质检测方法，其特征在于，所述步骤S3包括：
S31：基于聚类算法计算原始数据集合的聚类中心：
在原始数据集合中随机挑选m个样本作为初始聚类中心：
；
计算原始数据集合中所有样本到不同聚类中心的距离，选择距离最短的聚类中心作为该样本所属的聚类类别：
；
其中，表示原始数据集合中第/>个样本，/>，/>表示原始数据集合中样本的总数；/>表示/>所属的聚类类别；/>；/>表示使/>取得最小值的/>；
原始数据集合中的所有样本都分配到所属的聚类类别后，更新聚类中心：
；
其中，表示/>中样本的总数；重复计算原始数据集合中所有样本到不同聚类中心的距离以及聚类中心的更新，直到聚类中心不再发生变化；
S32：基于S31获得的聚类中心生成新的样本扩充原始数据集合：
对每一个聚类中心，按照随机采样生成新的样本，所述生成方式为：
；
其中，为生成的新的样本；/>为/>中随机挑选的样本；/>为0到1之间的随机数；
将新生成的样本加入原始数据集合获得扩充的数据集合。
4.根据权利要求3所述的一种基于深度学习的水质检测方法，其特征在于，所述步骤S4中，包括：
S41：设定水质检测深度学习网络的检测结果：
；
其中，表示水质检测深度学习网络预测水质等级为/>的概率，水质从低到高分为I、II、III、IV、V五个等级；/>为水质检测深度学习网络；/>为水质检测深度学习网络的参数；/>为S1中去除异常值的待检测水质区域水质检测参数；，/>表示在通道维度连接数据；/>是待检测水质区域的遥感图像；/>为自编码器提取待检测水质区域的遥感图像的深度特征；
S42：计算水质检测深度学习网络的损失函数：
；
其中，是预先定义的水质等级；/>表示如果当前检测的等级h等于预先定义的水质等级，则为1，否则为0。
5.根据权利要求4所述的一种基于深度学习的水质检测方法，其特征在于，所述步骤S5中，包括：
基于S3的扩充数据集合和S4构建的网络，基于自适应梯度下降训练水质检测深度学习网络，所述自适应梯度下降的流程为：
S51：计算梯度与梯度角：
；
；
其中，表示第t次更新水质检测深度学习网络参数时的梯度；/>表示水质检测深度学习网络的损失函数对于第t次更新时的网络参数/>的偏导；/>表示第t次更新水质检测深度学习网络参数时的梯度角；/>的计算方式为：
；
S52：计算第t+1次更新时的网络参数：
；
其中，为水质检测深度学习网络的学习率，用于控制参数学习速率；
水质检测深度学习网络参数更新完成后，输入经过S1与S2处理后得到的待检测水质区域水质检测参数和遥感图像，获得水质检测结果。
6.一种基于深度学习的水质检测系统，其特征在于，包括：
异常值去除模块：收集待检测水质区域的水质检测参数，并去除水质检测参数中的异常值；
特征提取模块：获取待检测水质区域的遥感图像，并提取遥感图像的波段特征和深度特征；
样本扩充模块：对收集到的待检测水质区域的水质检测参数和遥感图像原始数据集合扩充，得到扩充的数据集合；
网络构建模块：构建水质检测深度学习网络；
网络训练模块：基于自适应梯度下降对水质检测深度学习网络进行训练；
以实现如权利要求1-5任意一项所述的一种基于深度学习的水质检测方法。
CN202310991231.2A 2023-08-08 2023-08-08 一种基于深度学习的水质检测方法和系统 Active CN116699096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310991231.2A CN116699096B (zh) 2023-08-08 2023-08-08 一种基于深度学习的水质检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310991231.2A CN116699096B (zh) 2023-08-08 2023-08-08 一种基于深度学习的水质检测方法和系统

Publications (2)

Publication Number Publication Date
CN116699096A true CN116699096A (zh) 2023-09-05
CN116699096B CN116699096B (zh) 2023-11-03

Family

ID=87843732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310991231.2A Active CN116699096B (zh) 2023-08-08 2023-08-08 一种基于深度学习的水质检测方法和系统

Country Status (1)

Country Link
CN (1) CN116699096B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117110217A (zh) * 2023-10-23 2023-11-24 安徽农业大学 一种立体化水质监测方法及系统
CN117290559A (zh) * 2023-11-22 2023-12-26 山东贵玉复合材料有限公司 一种水处理剂含量监测方法及系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487526A (zh) * 2016-01-04 2016-04-13 华南理工大学 一种Fast RVM污水处理故障诊断方法
KR20170112404A (ko) * 2016-03-31 2017-10-12 광주과학기술원 원격탐사 초분광 영상이미지를 이용한 병원성 미생물의 농도 예측방법
CN109801218A (zh) * 2019-01-08 2019-05-24 南京理工大学 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
JP2019209271A (ja) * 2018-06-06 2019-12-12 株式会社明電舎 汚水処理施設の水質判定装置及び水質判定方法
CN110781944A (zh) * 2019-10-21 2020-02-11 中冶南方（武汉）自动化有限公司 一种基于深度学习的铁水自动扒渣控制方法
CN111007021A (zh) * 2019-12-31 2020-04-14 北京理工大学重庆创新中心 基于一维卷积神经网络的高光谱水质参数反演系统及方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及系统
KR102264285B1 (ko) * 2020-10-29 2021-06-14 주식회사 에스아이에이 수질 관리를 위한 조류 정량화 방법
CN114119618A (zh) * 2021-11-12 2022-03-01 武汉大学 一种基于深度学习的内陆盐湖卤虫条带遥感提取方法
CN114384015A (zh) * 2022-01-12 2022-04-22 中国环境科学研究院 一种基于多源遥感和机器学习的水环境监测方法
CN114417971A (zh) * 2021-12-17 2022-04-29 国网江西省电力有限公司南昌供电分公司 一种基于k近邻密度峰值聚类的电力数据异常值检测算法
CN114705632A (zh) * 2021-11-18 2022-07-05 中林信达（北京）科技信息有限责任公司 一种利用卫星遥感反射率估算水库营养状态指数的方法
CN115049926A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于深度学习的小麦倒伏损失评估方法和装置
CN115690385A (zh) * 2022-09-07 2023-02-03 北京海舶无人船科技有限公司 一种基于多光谱图像的水质预测方法、系统、设备及介质
CN115935259A (zh) * 2022-12-16 2023-04-07 广东电网有限责任公司广州供电局 一种换流站设备多维度数据的状态分析方法
CN116012726A (zh) * 2022-12-29 2023-04-25 中科宇图科技股份有限公司 一种基于深度学习的黑臭水体遥感监测分级方法
CN116165148A (zh) * 2022-12-20 2023-05-26 广东交通职业技术学院 基于高光谱成像的水质监测系统及方法
CN116403121A (zh) * 2023-04-10 2023-07-07 西安电子科技大学 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备
CN116543312A (zh) * 2023-05-08 2023-08-04 中国水利水电科学研究院 大范围河湖水质参数遥感反演样本库构建与更新方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487526A (zh) * 2016-01-04 2016-04-13 华南理工大学 一种Fast RVM污水处理故障诊断方法
KR20170112404A (ko) * 2016-03-31 2017-10-12 광주과학기술원 원격탐사 초분광 영상이미지를 이용한 병원성 미생물의 농도 예측방법
JP2019209271A (ja) * 2018-06-06 2019-12-12 株式会社明電舎 汚水処理施設の水質判定装置及び水質判定方法
CN109801218A (zh) * 2019-01-08 2019-05-24 南京理工大学 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN110781944A (zh) * 2019-10-21 2020-02-11 中冶南方（武汉）自动化有限公司 一种基于深度学习的铁水自动扒渣控制方法
CN111007021A (zh) * 2019-12-31 2020-04-14 北京理工大学重庆创新中心 基于一维卷积神经网络的高光谱水质参数反演系统及方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及系统
KR102264285B1 (ko) * 2020-10-29 2021-06-14 주식회사 에스아이에이 수질 관리를 위한 조류 정량화 방법
CN114119618A (zh) * 2021-11-12 2022-03-01 武汉大学 一种基于深度学习的内陆盐湖卤虫条带遥感提取方法
CN114705632A (zh) * 2021-11-18 2022-07-05 中林信达（北京）科技信息有限责任公司 一种利用卫星遥感反射率估算水库营养状态指数的方法
CN114417971A (zh) * 2021-12-17 2022-04-29 国网江西省电力有限公司南昌供电分公司 一种基于k近邻密度峰值聚类的电力数据异常值检测算法
CN114384015A (zh) * 2022-01-12 2022-04-22 中国环境科学研究院 一种基于多源遥感和机器学习的水环境监测方法
CN115049926A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于深度学习的小麦倒伏损失评估方法和装置
CN115690385A (zh) * 2022-09-07 2023-02-03 北京海舶无人船科技有限公司 一种基于多光谱图像的水质预测方法、系统、设备及介质
CN115935259A (zh) * 2022-12-16 2023-04-07 广东电网有限责任公司广州供电局 一种换流站设备多维度数据的状态分析方法
CN116165148A (zh) * 2022-12-20 2023-05-26 广东交通职业技术学院 基于高光谱成像的水质监测系统及方法
CN116012726A (zh) * 2022-12-29 2023-04-25 中科宇图科技股份有限公司 一种基于深度学习的黑臭水体遥感监测分级方法
CN116403121A (zh) * 2023-04-10 2023-07-07 西安电子科技大学 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备
CN116543312A (zh) * 2023-05-08 2023-08-04 中国水利水电科学研究院 大范围河湖水质参数遥感反演样本库构建与更新方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
洪娇;舒清态;吴娇娇;郎晓雪;: "基于Hyperion数据的滇西北高寒山区高山松典型森林生态系统健康分级研究", 西南林业大学学报, no. 06 *
谭昌伟;王纪华;朱新开;王妍;王君婵;童璐;郭文善;: "基于Landsat TM影像的冬小麦拔节期主要长势参数遥感监测", 中国农业科学, no. 07 *
陈?昊;黄周捷;蔡飞;余权;郑建明;陈洪辉;: "基于实体图神经网络的事实核实方法", 指挥信息系统与技术, no. 03 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117110217A (zh) * 2023-10-23 2023-11-24 安徽农业大学 一种立体化水质监测方法及系统
CN117110217B (zh) * 2023-10-23 2024-01-12 安徽农业大学 一种立体化水质监测方法及系统
CN117290559A (zh) * 2023-11-22 2023-12-26 山东贵玉复合材料有限公司 一种水处理剂含量监测方法及系统
CN117290559B (zh) * 2023-11-22 2024-03-01 山东贵玉复合材料有限公司 一种水处理剂含量监测方法及系统

Also Published As

Publication number Publication date
CN116699096B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN116699096B (zh) 一种基于深度学习的水质检测方法和系统
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110222701A (zh) 一种桥梁病害自动识别方法
CN101893704A (zh) 一种基于粗糙集的雷达辐射源信号识别方法
CN111540006A (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN116310882B (zh) 基于高分辨率遥感影像的林业信息识别方法
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN115376008A (zh) 病虫害识别方法、装置、电子设备和存储介质
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN111598460A (zh) 土壤重金属含量的监测方法、装置、设备及存储介质
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114926826A (zh) 场景文本检测系统
CN110569871A (zh) 一种基于深度卷积神经网络的鞍部点识别方法
CN114612787B (zh) 一种尺度变化策略支持的城市绿地深度学习提取方法
CN113537173B (zh) 一种基于面部补丁映射的人脸图像真伪识别方法
CN115471724A (zh) 一种基于自适应归一化的细粒度鱼类疫病识别融合算法
CN115439690A (zh) 一种结合CNN和Transformer的烤烟烟叶图像分级方法
CN115238738A (zh) 构建水声目标识别模型的方法和装置
CN111768101B (zh) 一种顾及物候特征的遥感耕地变化检测方法及系统
CN113132291B (zh) 一种边缘侧基于网络流量的异构终端特征生成及识别方法
CN110599460A (zh) 基于混合卷积神经网络的地下管网检测评估云系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant