CN116486305B - 一种基于图像识别的深海悬浮颗粒物浓度预测方法 - Google Patents

一种基于图像识别的深海悬浮颗粒物浓度预测方法 Download PDF

Info

Publication number
CN116486305B
CN116486305B CN202310466113.XA CN202310466113A CN116486305B CN 116486305 B CN116486305 B CN 116486305B CN 202310466113 A CN202310466113 A CN 202310466113A CN 116486305 B CN116486305 B CN 116486305B
Authority
CN
China
Prior art keywords
spm
concentration
image
signal
deep sea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310466113.XA
Other languages
English (en)
Other versions
CN116486305A (zh
Inventor
贾永刚
王慧
胡聪
冯学志
郭煦
田兆阳
蒿瑞欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310466113.XA priority Critical patent/CN116486305B/zh
Publication of CN116486305A publication Critical patent/CN116486305A/zh
Application granted granted Critical
Publication of CN116486305B publication Critical patent/CN116486305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像识别的深海悬浮颗粒物浓度预测方法，通过本发明的技术方案，将自然领域图像所发展的用于解决分类问题的网络应用到深海SPM图像，对模型进行了改进，即对最后输出层的激活函数以及损失函数进行了修改，使其适用于解决回归问题。本方法所选取的残差卷积神经网络（Resnet18），相较于其他深度学习特征提取网络，Resnet利用残差模块可使学习深度网络的难度大幅度降低，可以有效地解决深度学习训练过程中出现的梯度消失以及梯度爆炸导致模型训练失败的问题，解决本研究所关注的问题，模型在不断迭代的过程中可以有效的从图像中学习到SPM浓度信息。

Description

一种基于图像识别的深海悬浮颗粒物浓度预测方法
技术领域
本发明涉及海洋观测技术领域和海洋工程地质技术领域，具体而言，特别涉及一种基于图像识别的深海悬浮颗粒物浓度预测方法。
背景技术
深海悬浮颗粒物（Suspended Particulate Matter， SPM）是指悬浮在海洋水体中大小从粘土到砂砾不等的混合物，包括来自物理化学过程或生物过程的矿物质，生命或非生命的有机物质，在物质输运、沉积、再悬浮和底栖生物群落活动过程中起着重要作用。SPM浓度通常由光学/声学传感器间接测量，然而，将这些传感器的信号转换为SPM浓度存在很多不确定性，这将导致对测量结果的错误估计。一些研究者建议结合多种光学/声学传感器准确估计SPM浓度，但是由于缺乏相应的视频图像，对信号的解释属于主观推断。因此，准确理解SPM的长期动态变化，特别是在深海，仍然是一个挑战。
近年来基于计算机领域的发展，数字图像的生成、存储与计算处理有着很大的发展，图像识别技术不断向海洋领域应用。传统的图像识别技术旨在通过人为经验设计算法，提取出感兴趣的特征；新兴的图像识别技术基于深度学习技术（主要是卷积神经网络（CNNs）模型），通过网络的输入层、卷积层、池化层将图像转换成一个数字向量，即：图像的深度特征，利用全连接层将深度特征与图像对应的标签相关联，与传统的机器学习的不同之处在于不需要人为提取特征值，完全基于数据驱动，计算机自动学习。Ghorbani等（2020）通过实验室水槽实验建立了“图像-SPM浓度”数据集，利用广义线性模型（GeneralizedLinear Machine，GLM）和分布式随机森林模型（DistributedRandom Forest，DRF）学习训练数据集上的模式，并在验证数据集上进行验证，结果表明，这两种经典的机器学习模型能够对SPM浓度进行可靠的预测，说明利用机器学习技术连续监测SPM浓度的可行性，为现场应用提供实践指南。
然而，深度学习技术（尤其是卷积神经网络技术）在海洋观测领域主要应用于海洋图像生物分类识别，对深海图像SPM浓度的识别领域研究空白，主要的原因在于监测技术有限，难以获取大量深海SPM视频图像，制约了该研究领域的进一步发展。本团队自主研发的深海海底边界层原位观测系统于2020年在中国南海水深1450 m处开展了原位长期观测，获取了大量深海SPM浓度视频图像，并同步监测了其它可表征SPM浓度的数据。这是世界范围内第一次对水深大于500 m的深水区进行SPM浓度原位长期监测，因此在获取大量深海SPM视频图像的基础上，探索深度学习技术对深海SPM浓度的识别具有重要的实际应用价值，对深度学习技术的应用具有一定的推动价值。
发明内容
本发明为解决当前深海SPM浓度测量存在不确定性的难题。现有SPM浓度通常由光学/声学传感器间接测量，然而，将这些传感器的信号转换为SPM浓度存在很多不确定性，这将导致对测量结果的错误估计。传统的图像处理技术通常旨在从图像自身特性（颜色特性、运动特性、纹理特性等）中挖掘出用于表征SPM浓度的单一特征值，以表征SPM浓度，但该方法目前主要停留在实验室及近岸水体研究阶段，且现有研究提取的图像特征值不具有普适性。本发明解决问题的方法技术本质是为了充分利用大数据集，更深入挖掘图像信息，和现有技术相比，该发明具有广阔的实际应用价值及应用前景。为了弥补现有技术的不足，本发明提供了一种基于图像识别的深海悬浮颗粒物浓度预测方法。
本发明是通过如下技术方案实现的：一种基于图像识别的深海悬浮颗粒物浓度预测方法，对水深1450 m实际获取的观测数据进行多维度分析，实现视频图像对深海SPM浓度预测，其特征在于，具体包括以下步骤：
步骤S1：采集深海SPM的视频图像信号，采集间接表征深海SPM浓度的光学后向散射信号和声学后向散射信号；将光学后向散射信号反演计算为实际深海SPM浓度，为“图像-SPM浓度”卷积神经网络回归预测模型的建立提供原始标签；
所述反演计算的步骤包括：对不同水深处获取的水样进行抽滤烘干称重计算得到离散、真实的SPM浓度，将该SPM浓度与浊度计在同一深度获取的光学后向散射信号进行线性拟合，得到SPM浓度反演公式，将该公式应用于仪器连续坐底观测获取的光学后向散射信号中，得到1450 m水深处SPM浓度时间序列；
步骤S2：结合实际获取的深海视频图像，根据视频图像处理技术建立深海SPM图像特征提取算法，提取用于表征SPM浓度的视频图像信号；将视频图像信号、光学后向散射信号以及声学后向散射信号进行互相关分析，剔除浊虚假的光学后向信号；对光学后向信号反演的SPM浓度数据进行数据清洗；
具体包括以下步骤：
步骤S2-1：传统的SPM浓度特征值提取算法具体包括以下步骤：
步骤S2-1-1：将彩色图像转换为灰度图像；
步骤S2-1-2：去除背景，基于视频图像自身的特性，采用帧间差分法处理；
步骤S2-1-3：将灰度图像转换为二值图像，二值化处理过程采用采用恒定阈值T=2.5进行二值化；
步骤S2-1-4：根据处理后的图像定义SPM浓度的图像信号；
步骤S2-2：视频图像信号、光学后向散射信号以及声学后向散射信号进行互相关分析，对全局和局部信号进行归一化互相关系数，公式（2），（3）所示，判断虚假信号，
（2）
（3）
式中，x和y为待比较时间序列的变量，即视频图像信号、光学后向散射信号和声学后向散射信号的成对比较；t为时间；和/>分别为x和y序列的均值；/>和/>分别为x和y的标准差；k为时间滞后；n为样本量；/>为交叉协方差系数；/>为相互相关系数；
步骤S2-3：将观测期间计算得到的图像信号与光学后向散射信号进行分析比较，去除所有不吻合时段数据，即去除由光学后向散射信号反演的SPM浓度及其对应的图像数据；
步骤S3：预处理深海SPM视频图像，获取图像的特征向量，根据图像的时间序列，对深海SPM浓度时间序列数据进行插值处理，得到同一时间序列下的图像和SPM浓度；并将数据集划分为训练集和测试集，采用Resnet-18的网络结构作为特征提取网络对采集的图像进行特征提取；
步骤S4：在windows操作系统GPU1080下，基于Python语言Tensorflow框架，搭建以Resnet-18作为特征提取网络对采集的图像进行特征提取，训练卷积神经网络SPM浓度回归预测模型；
将Resnet-18网络最后输出层的激活函数设置为ReLU，见公式（4），
（4）
式中，为输入数据经ReLU处理的输出激活值，/>为输出层权重矩阵，/>为输出层的偏置矩阵，/>为输入向量；
采用均方根误差为损失函数，用于反映模型对训练集数据拟合程度，均方根误差如式（5），（5）
式中，表示深度学习网络的输出；/>监督数据， k表示数据的维度；
在模型训练过程中，采用随机梯度下降SGD算法，通过反复迭代不断更新权重以最小化损失函数，使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，SGD算法如式（6），
（6）
式中，W为更新的权重参数，为损失函数关于W的梯度，为学习率；
步骤S5：利用训练好的卷积神经网络SPM浓度回归预测模型对步骤S3经过预处理的深海图像进行SPM浓度预测。
作为优选方案，步骤S1具体包括以下步骤：步骤S1-1:获取视频图像信号、光学后向散射信号和声学后向散射信号，步骤S1-2：在回收海床基之前，通过CTD采水瓶系统收集了不同水深的原位水样5 L，同时采集同一水深处的光学后向散射信号，光学后向散射信号由安装在CTD上的RBR浊度计获取；
步骤S1-3：原位水样采集后，在事先烘干称重的滤膜上对水样抽滤，结束后对携带SPM的滤膜再次烘干称重，根据滤膜烘干前后的重量差以及水样体积计算SPM真实浓度，建立光学后向散射信号与SPM浓度（mg/L）的关系，结果如式（1）所示，
Y=4.03X+0.71（1）
式中，Y为SPM浓度，X为光学后向散射信号；
步骤S1-4: 式（1）应用于坐底观测的光学后向散射信号时间序列中，得到SPM浓度时间序列，即“图像-SPM浓度”卷积神经网络回归预测模型的标签；
进一步地，通过CTD采水瓶系统收集了不同水深的原位水样5 L，包括50、100、150、200、300、400、500、600、800、1000、1282、1332和1372 m的原位水样5 L。
作为优选方案，步骤S3中插值处理采用三次样条插值方法，得到图像时间序列下的SPM浓度值；具体包括以下步骤：
步骤S3-1：设给定的散点数据为(x0， y0)， (x1， y1)， ...， (xn，yn)，且满足x0<x1<...<xn；其中xi为SPM浓度时间序列，yi为SPM浓度值；
步骤S3-2：在每个区间[xi， xi+1]内，用一个三次多项式函数进行拟合，即：
S(x) = ai + bi(x - xi) + ci(x - xi) ^ 2 + di(x - xi) ^ 3 (xi<= x<= xi+1)，其中，ai， bi， ci， di是待求系数；
步骤S3-3：根据拟合函数的连续性和光滑性，可以得到以下方程组：
S(xi) = yi (i = 0， 1， ...， n)
S(xi+1) = yi+1 (i = 0， 1， ...， n-1)
S'(xi+1) = S'(xi) (i = 0， 1， ...， n-1)
S''(xi+1) = S''(xi) (i = 0， 1， ...， n-1)
其中，S'(x)和S''(x)分别表示S(x)的一阶和二阶导数。
步骤S3-4：对于每个区间，共有4个未知数(ai， bi， ci， di)，因此需要添加2n个方程，来求解这些未知数；
步骤S3-5：根据三次多项式的性质，可以得到以下条件：S''(x0) = S''(xn) = 0
这是为了保证拟合曲线在两端点处的二阶导数为0，从而使得拟合曲线更加平滑。
步骤S3-6：将所有方程组合起来，即可得到一个带有2n+2个未知数和2n+2个方程的线性方程组，用高斯消元法求解即可得到拟合函数的系数。
步骤S3-7：得到拟合曲线后，代入图像时间序列ti，得到图像时间序列下的SPM浓度。
本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本方法将自然领域图像所发展的用于解决分类问题的网络应用到深海SPM图像，对模型进行了改进，即对最后输出层的激活函数以及损失函数进行了修改，使其适用于解决回归问题。本方法所选取的残差卷积神经网络（Resnet18），相较于其他深度学习特征提取网络，Resnet利用残差模块可使学习深度网络的难度大幅度降低，可以有效地解决深度学习训练过程中出现的梯度消失以及梯度爆炸导致模型训练失败的问题，解决本研究所关注的问题，模型在不断迭代的过程中可以有效的从图像中学习到SPM浓度信息。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的技术路线图；
图2为本发明实际获取的原始现场观测数据；
图3为本发明基于传统数字图像处理技术建立的用以提取深海SPM浓度图像特征值的算法处理流程图；
图4为本发明在二值化处理过程中选用不同算法以及自定义阈值处理效果比较图；
图5为本发明采用互相关算法对步骤二提取的图像信号、光学后向散射信号和声学后向散射信号两两处理结果图；
图6为所有观测时间内图像信号与光学后向散射信号时间序列结果比对图；
图7为本发明所确定的深度学习模型训练方法示意图；
图8为本发明采用的Resnet18模型在训练时，损失函数值在训练集和验证集的变化图；
图9为本发明建立的模型其SPM浓度预测值与SPM真实值的结果对比图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
通过对南海水深1450 m实际获取的观测数据进行多维度分析，实现视频图像对深海SPM浓度预测，用以提出一种测量深海SPM浓度的新方法，弥补现有观测技术的不足。
本发明利用南海原位观测数据开展视频图像对深海SPM浓度的预测研究。图像本身包含高维度信息，这些信息与SPM浓度之间必然存有一个复杂的非线性映射函数关系，本发明旨在通过深度学习技术构建“图像-SPM浓度”卷积神经网络回归预测模型，通过对该模型输入图像直接预测SPM浓度。由于获取了大量连续观测的视频图像，而水深1450 m位置处的现场水样难以获取，因此在本发明中图像对应的SPM浓度标签由浊度计同步监测的用于表征SPM浓度的光学后向散射信号标定得到。现有研究表明浊度计存在测量原理的局限性，所以本发明在利用深度学习构建模型之前，首先利用传统的图像处理方法提取表征SPM浓度的单一特征值（图像信号），通过将该信号与其他表征SPM浓度的光/声学后向散射信号进行比较分析，从而得到正确的SPM浓度标签，在此基础上，基于深度学习技术构建有效的“图像-SPM浓度”卷积神经网络回归预测模型。
下面结合图1至图9对本发明的实施例的基于图像识别的深海悬浮颗粒物浓度预测方法进行具体说明。
如图1所示，本发明提出了一种基于图像识别的深海悬浮颗粒物浓度预测方法，对南海水深1450 m实际获取的观测数据进行多维度分析，实现视频图像对深海SPM浓度预测，其特征在于，具体包括以下步骤：
步骤S1：采集深海SPM的由海底摄像机的视频图像信号，采集间接表征深海SPM浓度的由浊度计测定的光学后向散射信号和ADV测定的声学后向散射信号；将浊度计测定的光学后向散射信号反演计算为实际深海SPM浓度，为“图像-SPM浓度”卷积神经网络回归预测模型的建立提供原始标签；
所述反演计算的步骤包括：对不同水深处获取的水样进行抽滤烘干称重计算得到离散、真实的SPM浓度，将该SPM浓度与浊度计在同一深度获取的光学后向散射信号进行线性拟合，得到SPM浓度反演公式，将该公式应用于仪器连续坐底观测获取的光学后向散射信号中，得到1450 m水深处SPM浓度时间序列；
具体包括以下步骤：
步骤S1-1:获取由海底摄像机的视频图像信号、由浊度计测定的光学后向散射信号和ADV测定的声学后向散射信号，获取的三种数据分别如图2所示。
由于深海1450 m难以采集现场水样对其进行抽滤、称重计算真实SPM浓度，因此，步骤S1-2：在回收海床基之前，通过CTD采水瓶系统收集了不同水深包括50、100、150、200、300、400、500、600、800、1000、1282、1332和1372 m的原位水样5 L，同时采集同一水深处的光学后向散射信号，光学后向散射信号由安装在CTD上的RBR浊度计获取；
步骤S1-3：原位水样采集后，在事先烘干称重的滤膜上对水样抽滤，结束后对携带SPM的滤膜再次烘干称重，根据滤膜烘干前后的重量差以及水样体积计算SPM真实浓度，建立光学后向散射信号与SPM浓度（mg/L）的关系，结果如式（1）所示，
Y=4.03X+0.71（1）
式中，Y为SPM浓度，X为光学后向散射信号；
步骤S1-4: 式（1）应用于坐底观测的光学后向散射信号时间序列中，得到SPM浓度时间序列，即“图像-SPM浓度”卷积神经网络回归预测模型的标签；
步骤S2：结合实际获取的深海视频图像，根据传统的视频图像处理技术建立深海SPM图像特征提取算法，提取用于表征SPM浓度的视频图像信号；将视频图像信号、浊度计测定的光学后向散射信号以及ADV测定的声学后向散射信号进行互相关分析，剔除浊度计测定的虚假的光学后向信号；对光学后向信号反演的SPM浓度数据进行数据清洗；
具体包括以下步骤：
该步骤属于模型建立前的一个重要环节，目的在于人为提取图像单一表征SPM浓度的特征，通过与其他信号比较分析，筛除曝光的视频图像以及删掉光学后向散射信号记录的虚假信号，即实现数据清洗的目的。
步骤S2-1：传统的SPM浓度特征值提取算法具体包括以下步骤：如图3所示，
步骤S2-1-1：将彩色图像转换为灰度图像；
步骤S2-1-2：去除背景，基于视频图像自身的特性，采用帧间差分法处理；
步骤S2-1-3：将灰度图像转换为二值图像，二值化处理过程采用不同算法对比，如图4所示，实际处理效果表明没有一种自适应算法完全适用本实施案例需处理的图像，为了获得可比性的结果，通过反复调试，本发明最终采用恒定阈值T=2.5进行二值化，试验结果良好；
步骤S2-1-4：根据处理后的图像定义SPM浓度的图像信号；
步骤S2-2：视频图像信号、浊度计测定的光学后向散射信号以及ADV测定的声学后向散射信号进行互相关分析，包括对“图像信号VS光学后向散射信号”、“图像信号VS声学后向散射信号”、“声学后向散射信号VS光学后向散射信号”等三组数据分别进行cross-correlation计算，根据结果分析原因，判断虚假信号；为了定量描述三种信号之间的相关性，对全局和局部信号进行归一化互相关系数，公式（2），（3）所示，判断虚假信号，
（2）
（3）
式中，x和y为待比较时间序列的变量，即视频图像信号、光学后向散射信号和声学后向散射信号的成对比较；t为时间；和/>分别为x和y序列的均值；/>和/>分别为x和y的标准差；k为时间滞后；n为样本量；/>为交叉协方差系数；/>为相互相关系数；计算结果如图5所示，当偏移量为0时，/>值最大，且接近于1，说明图像信号与光、声后向散射信号具有较高的相关性。光学后向散射信号不能准确反映不匹配时段的SPM浓度，根据此结果分析判断虚假信号；
步骤S2-3：将2020/09/03-2020/09/23观测期间计算得到的图像信号与光学后向散射信号进行分析比较，去除所有不吻合时段数据，如图6所示；即去除由光学后向散射信号反演的SPM浓度（模型建立过程需要的标签）及其对应的图像数据，实现数据清洗的目的；
步骤S3：预处理深海SPM视频图像，获取图像的特征向量，根据图像的时间序列，对深海SPM浓度时间序列数据进行插值处理，得到同一时间序列下的图像和SPM浓度，为步骤S5模型的训练提供完整统一的数据集；并将数据集划分为训练集和测试集，采用Resnet-18的网络结构作为特征提取网络对采集的图像进行特征提取；
插值处理的目的是使得图像时间序列与SPM浓度（光学后向散射信号反演）具有一致性，由于图像时间序列是不规则的3 min为间隔，而SPM浓度是稳定的20 s为间隔，本发明采用三次样条插值方法，得到图像时间序列下的SPM浓度值；具体包括以下步骤：
步骤S3-1：设给定的散点数据为(x0， y0)， (x1， y1)， ...， (xn，yn)，且满足x0<x1<...<xn；其中xi为SPM浓度时间序列，yi为SPM浓度值；
步骤S3-2：在每个区间[xi， xi+1]内，用一个三次多项式函数进行拟合，即：
S(x) = ai + bi(x - xi) + ci(x - xi) ^ 2 + di(x - xi) ^ 3 (xi<= x<= xi+1)，其中，ai， bi， ci， di是待求系数；
步骤S3-3：根据拟合函数的连续性和光滑性，可以得到以下方程组：
S(xi) = yi (i = 0， 1， ...， n)
S(xi+1) = yi+1 (i = 0， 1， ...， n-1)
S'(xi+1) = S'(xi) (i = 0， 1， ...， n-1)
S''(xi+1) = S''(xi) (i = 0， 1， ...， n-1)
其中，S'(x)和S''(x)分别表示S(x)的一阶和二阶导数。
步骤S3-4：对于每个区间，共有4个未知数(ai， bi， ci， di)，因此需要添加2n个方程，来求解这些未知数；
步骤S3-5：根据三次多项式的性质，可以得到以下条件：S''(x0) = S''(xn) = 0
这是为了保证拟合曲线在两端点处的二阶导数为0，从而使得拟合曲线更加平滑。
步骤S3-6：将所有方程组合起来，即可得到一个带有2n+2个未知数和2n+2个方程的线性方程组，用高斯消元法求解即可得到拟合函数的系数。
步骤S3-7：得到拟合曲线后，代入图像时间序列ti，得到图像时间序列下的SPM浓度。
步骤S4：在windows操作系统GPU1080下，基于Python语言Tensorflow框架，Tensorflow框架是深度学习框架之一，它是一个完全基于Python语言设计的开源的软件，搭建以Resnet-18作为特征提取网络对采集的图像进行特征提取，训练卷积神经网络SPM浓度回归预测模型，模型训练方法示意图见图7，进一步地，随着训练次数的增加，模型在训练集和验证集上的损失值变化见如图8所示；
具体地，本发明对常规的用于图像分类识别的Resnet-18网络进行了改进，以更适用于本发明所处理的回归问题。其中，本发明将Resnet-18网络最后输出层的激活函数设置为ReLU，见公式（4），
（4）
式中，为输入数据经ReLU处理的输出激活值，/>为输出层权重矩阵，/>为输出层的偏置矩阵，/>为输入向量；
采用均方根误差为损失函数，用于反映模型对训练集数据拟合程度，均方根误差如式（5），（5）
式中，表示深度学习网络的输出；/>监督数据，在本发明指SPM浓度，k表示数据的维度；
在模型训练过程中，采用随机梯度下降SGD算法，通过反复迭代不断更新权重以最小化损失函数，使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，SGD算法如式（6），
（6）
式中，W为更新的权重参数，为损失函数关于W的梯度，为学习率；
步骤S5：利用训练好的卷积神经网络SPM浓度回归预测模型对步骤S3的深海图像进行SPM浓度预测，模型预测值与SPM浓度真实值效果比对如图9所示。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像识别的深海悬浮颗粒物浓度预测方法，对水深1450 m实际获取的观测数据进行多维度分析，实现视频图像对深海SPM浓度预测，其特征在于，具体包括以下步骤：
步骤S1：采集深海SPM的视频图像信号，采集间接表征深海SPM浓度的光学后向散射信号和声学后向散射信号；将光学后向散射信号反演计算为实际深海SPM浓度，为“图像-SPM浓度”卷积神经网络回归预测模型的建立提供原始标签；
所述反演计算的步骤包括：对不同水深处获取的水样进行抽滤烘干称重计算得到离散、真实的SPM浓度，将该SPM浓度与浊度计在同一深度获取的光学后向散射信号进行线性拟合，得到SPM浓度反演公式，将该公式应用于仪器连续坐底观测获取的光学后向散射信号中，得到1450 m水深处SPM浓度时间序列；
步骤S2：结合实际获取的深海视频图像，根据视频图像处理技术建立深海SPM图像特征提取算法，提取用于表征SPM浓度的视频图像信号；将视频图像信号、光学后向散射信号以及声学后向散射信号进行互相关分析，剔除浊度计测定的虚假的光学后向散射信号；对光学后向散射信号反演的SPM浓度数据进行数据清洗；
具体包括以下步骤：
步骤S2-1：传统的SPM浓度特征值提取算法具体包括以下步骤：
步骤S2-1-1：将彩色图像转换为灰度图像；
步骤S2-1-2：去除背景，基于视频图像自身的特性，采用帧间差分法处理；
步骤S2-1-3：将灰度图像转换为二值图像，二值化处理过程采用采用恒定阈值T=2.5进行二值化；
步骤S2-1-4：根据处理后的图像定义SPM浓度的图像信号；
步骤S2-2：视频图像信号、光学后向散射信号以及声学后向散射信号进行互相关分析，对全局和局部信号进行归一化互相关系数，公式（2），（3）所示，判断虚假信号，
（2）
（3）
式中，x和y为待比较时间序列的变量，即视频图像信号、光学后向散射信号和声学后向散射信号的成对比较；t为时间；和/>分别为x和y序列的均值；/>和/>分别为x和y的标准差；k为时间滞后；n为样本量；/>为交叉协方差系数；/>为相互相关系数；
步骤S2-3：将观测期间计算得到的图像信号与光学后向散射信号进行分析比较，去除所有不吻合时段数据，即去除由光学后向散射信号反演的SPM浓度及其对应的图像数据；
步骤S3：预处理深海SPM视频图像，获取图像的特征向量，根据图像的时间序列，对深海SPM浓度时间序列数据进行插值处理，得到同一时间序列下的图像和SPM浓度；并将数据集划分为训练集和测试集，采用Resnet-18的网络结构作为特征提取网络对采集的图像进行特征提取；
步骤S4：在windows操作系统GPU1080下，基于Python语言Tensorflow框架，搭建以Resnet-18作为特征提取网络对采集的图像进行特征提取，训练卷积神经网络SPM浓度回归预测模型；
将Resnet-18网络最后输出层的激活函数设置为ReLU，见公式（4），
（4）
式中，为输入数据经ReLU处理的输出激活值，/>为输出层权重矩阵，/>为输出层的偏置矩阵，/>为输入向量；
采用均方根误差为损失函数，用于反映模型对训练集数据拟合程度，均方根误差如式（5），（5）
式中，表示深度学习网络的输出；/>监督数据，k表示数据的维度；
在模型训练过程中，采用随机梯度下降SGD算法，通过反复迭代不断更新权重以最小化损失函数，使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，SGD算法如式（6），
（6）
式中，W为更新的权重参数，为损失函数关于W的梯度，为学习率；
步骤S5：利用训练好的卷积神经网络SPM浓度回归预测模型对步骤S3的深海图像进行SPM浓度预测。
2.根据权利要求1所述的一种基于图像识别的深海悬浮颗粒物浓度预测方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S1-1:获取视频图像信号、光学后向散射信号和声学后向散射信号；
步骤S1-2：在回收海床基之前，通过CTD采水瓶系统收集了不同水深的原位水样5 L，同时采集同一水深处的光学后向散射信号，光学后向散射信号由安装在CTD上的RBR浊度计获取；
步骤S1-3：原位水样采集后，在事先烘干称重的滤膜上对水样抽滤，结束后对携带SPM的滤膜再次烘干称重，根据滤膜烘干前后的重量差以及水样体积计算SPM真实浓度，建立光学后向散射信号与SPM浓度（mg/L）的关系，结果如式（1）所示，
Y=4.03X+0.71（1）
式中，Y为SPM浓度，X为光学后向散射信号；
步骤S1-4: 式（1）应用于坐底观测的光学后向散射信号时间序列中，得到SPM浓度时间序列，即“图像-SPM浓度”卷积神经网络回归预测模型的标签。
3.根据权利要求2所述的一种基于图像识别的深海悬浮颗粒物浓度预测方法，其特征在于，所述通过CTD采水瓶系统收集了不同水深的原位水样5 L，包括50、100、150、200、300、400、500、600、800、1000、1282、1332和1372 m的原位水样5 L。
4.根据权利要求1所述的一种基于图像识别的深海悬浮颗粒物浓度预测方法，其特征在于，所述步骤S3中插值处理采用三次样条插值方法，得到图像时间序列下的SPM浓度值；具体包括以下步骤：
步骤S3-1：设给定的散点数据为(x0， y0)， (x1， y1)， ...， (xn，yn)，且满足x0 < x1< ... <xn；其中xi为SPM浓度时间序列，yi为SPM浓度值；
步骤S3-2：在每个区间[xi， xi+1]内，用一个三次多项式函数进行拟合，即：
S(x) = ai + bi(x - xi) + ci(x - xi) ^ 2 + di(x - xi) ^ 3 (xi <= x <= xi+1)，其中，ai， bi， ci， di是待求系数；
步骤S3-3：根据拟合函数的连续性和光滑性，可以得到以下方程组：
S(xi) = yi (i = 0， 1， ...， n)
S(xi+1) = yi+1 (i = 0， 1， ...， n-1)
S'(xi+1) = S'(xi) (i = 0， 1， ...， n-1)
S''(xi+1) = S''(xi) (i = 0， 1， ...， n-1)
其中，S'(x)和S''(x)分别表示S(x)的一阶和二阶导数；
步骤S3-4：对于每个区间，共有4个未知数(ai， bi， ci， di)，因此需要添加2n个方程，来求解这些未知数；
步骤S3-5：根据三次多项式的性质，可以得到以下条件：S''(x0) = S''(xn) = 0
这是为了保证拟合曲线在两端点处的二阶导数为0，从而使得拟合曲线更加平滑；
步骤S3-6：将所有方程组合起来，即可得到一个带有2n+2个未知数和2n+2个方程的线性方程组，用高斯消元法求解即可得到拟合函数的系数；
步骤S3-7：得到拟合曲线后，代入图像时间序列ti，得到图像时间序列下的SPM浓度。
CN202310466113.XA 2023-04-27 2023-04-27 一种基于图像识别的深海悬浮颗粒物浓度预测方法 Active CN116486305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310466113.XA CN116486305B (zh) 2023-04-27 2023-04-27 一种基于图像识别的深海悬浮颗粒物浓度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310466113.XA CN116486305B (zh) 2023-04-27 2023-04-27 一种基于图像识别的深海悬浮颗粒物浓度预测方法

Publications (2)

Publication Number Publication Date
CN116486305A CN116486305A (zh) 2023-07-25
CN116486305B true CN116486305B (zh) 2023-11-21

Family

ID=87211561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310466113.XA Active CN116486305B (zh) 2023-04-27 2023-04-27 一种基于图像识别的深海悬浮颗粒物浓度预测方法

Country Status (1)

Country Link
CN (1) CN116486305B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274788B (zh) * 2023-10-07 2024-04-30 南开大学 一种声呐图像目标定位方法、系统、电子设备及存储介质
CN117274748B (zh) * 2023-11-16 2024-02-06 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法
CN118067682B (zh) * 2024-04-16 2024-07-05 中国人民解放军总医院 一种检测生长分化因子15基因表达的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428419A (zh) * 2020-02-29 2020-07-17 中山大学 悬浮泥沙浓度预测方法、装置、计算机设备和存储介质
CN112098289A (zh) * 2020-09-23 2020-12-18 中国海洋大学 基于数字图像处理的海洋悬浮颗粒物浓度测定装置及方法
CN114078210A (zh) * 2021-11-08 2022-02-22 中国科学院深海科学与工程研究所 流固混合物中粗颗粒速度和浓度测量方法及系统
CN114818486A (zh) * 2022-04-19 2022-07-29 中国海洋大学 一种基于长短期记忆模型的海底边界层波动预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428419A (zh) * 2020-02-29 2020-07-17 中山大学 悬浮泥沙浓度预测方法、装置、计算机设备和存储介质
CN112098289A (zh) * 2020-09-23 2020-12-18 中国海洋大学 基于数字图像处理的海洋悬浮颗粒物浓度测定装置及方法
CN114078210A (zh) * 2021-11-08 2022-02-22 中国科学院深海科学与工程研究所 流固混合物中粗颗粒速度和浓度测量方法及系统
CN114818486A (zh) * 2022-04-19 2022-07-29 中国海洋大学 一种基于长短期记忆模型的海底边界层波动预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
渤海近岸水体悬浮颗粒物对后向散射特性的影响研究;姜玲玲等;光谱学与光谱分析;第41卷(第1期);第156-163页 *

Also Published As

Publication number Publication date
CN116486305A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN116486305B (zh) 一种基于图像识别的深海悬浮颗粒物浓度预测方法
CN113076975A (zh) 一种基于无监督学习的大坝安全监测数据异常检测方法
CN112989710B (zh) 工控传感器数值异常检测方法及装置
CN111028939A (zh) 一种基于深度学习的多组学智能诊断系统
CN111141653B (zh) 一种基于神经网络的隧道渗漏速率预测方法
EP4036561A1 (en) Data generation system, learning device, data generation device, data generation method, and data generation program
CN109060760B (zh) 分析模型建立方法、气体分析装置及方法
CN113901927B (zh) 一种基于流场压力时程的水下物体外形识别方法
CN115169733B (zh) 基于深度学习的内孤立波对深海沉积物再悬浮量预测方法
CN110335294A (zh) 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及系统
CN114218864A (zh) 基于数学孪生的网箱网衣破损检测方法、装置及存储介质
CN111402249B (zh) 基于深度学习的图像演化分析方法
CN117523177A (zh) 一种基于人工智能混合大模型的燃气管道监测系统和方法
CN115185937A (zh) 一种基于sa-gan架构的时间序列异常检测方法
CN116359285A (zh) 一种基于大数据的油气浓度智能检测系统及方法
CN116304912A (zh) 一种基于深度学习transformer神经网络的传感器气体浓度检测方法
CN116840135A (zh) 一种腐蚀和疲劳同时作用的钢闸门加速劣化试验台及劣化后运行状态评估方法
CN117876381B (zh) 用于混凝土结构裂缝识别和分析的ai视觉检测方法和系统
CN116596326B (zh) 一种基于遥感数据的城市环境检测及综合评估方法
CN112798290B (zh) 基于频谱重构误差的燃气轮机异常状态监测方法
CN114005064A (zh) 一种基于机器视觉技术的生物式水体污染预警方法及装置
CN111815561B (zh) 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN117115637A (zh) 一种基于大数据技术的水质监测预警方法及系统
CN108694375A (zh) 一种可用于多电子鼻平台的图像化白酒识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant