CN116843725B - 一种基于深度学习光流法的河流表面流速测量方法及系统 - Google Patents

一种基于深度学习光流法的河流表面流速测量方法及系统 Download PDF

Info

Publication number
CN116843725B
CN116843725B CN202311100104.5A CN202311100104A CN116843725B CN 116843725 B CN116843725 B CN 116843725B CN 202311100104 A CN202311100104 A CN 202311100104A CN 116843725 B CN116843725 B CN 116843725B
Authority
CN
China
Prior art keywords
optical flow
river
loss function
flow
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311100104.5A
Other languages
English (en)
Other versions
CN116843725A (zh
Inventor
刘炳义
刘维高
郑晓燕
张雨
吴闻杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dashuiyun Technology Co ltd
Original Assignee
Wuhan Dashuiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dashuiyun Technology Co ltd filed Critical Wuhan Dashuiyun Technology Co ltd
Priority to CN202311100104.5A priority Critical patent/CN116843725B/zh
Publication of CN116843725A publication Critical patent/CN116843725A/zh
Application granted granted Critical
Publication of CN116843725B publication Critical patent/CN116843725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/26—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the direct influence of the streaming fluid on the properties of a detecting optical wave
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习光流法的河流表面流速测量方法及系统，属于水文测量技术领域，包括：获取河流表面图像数据集，对河流表面图像数据集进行预处理，得到预处理图像数据集；利用DeepFlow算法计算预处理图像数据集获得初始流速，对初始流速进行光流后处理得到筛选后流速；采用VGGNet网络构建初始河流测速模型，通过预设损失函数和筛选后流速对初始河流测速模型进行训练迭代，得到河流测速模型；将待测量河流视频流输入河流测速模型，得到预测河流表面流速。本发明能有效提升河面流速测量准确性，并排除无效数据干扰，具有较强的特征学习能力，适应多变复杂的河流环境。

Description

一种基于深度学习光流法的河流表面流速测量方法及系统
技术领域
本发明涉及水文测量技术领域，尤其涉及一种基于深度学习光流法的河流表面流速测量方法及系统。
背景技术
在水利监测领域，对众多河流进行流速测量是管理水文数据，尤其是预防洪涝灾害工作中不可或缺的重要环节。
传统的流速测量方法需要使用流速仪器或在特定位置放置测速设备，这些需要与河流进行深入接触的方法普遍存在成本高、设备复杂以及测量范围有限等问题。近年来，光流法和深度学习作为无接触的测量方法逐渐受到关注。例如，有方法通过应用光流法检测河流表面流速，可以实现无接触、实时检测，避免了传统测量方法的限制和不便。然而，光流法在处理大流速、复杂水流条件和光照变化等方面仍面临一些挑战，尤其是当流速过快时像素点位移超出了光流法的测量范围，需要进一步研究和改进算法以提高准确性。还有方法利用深度学习算法对河流表面图像进行识别分类，能够区分不同流速下的水流图片，并根据多帧连续图片的位移得到水流流速，但该方法由于需要处理全部的样本数据，仍然存在精度不足和泛用性较差等问题。
因此，针对河流测速中存在的问题，需要提出一种改进的测量方法。
发明内容
本发明提供一种基于深度学习光流法的河流表面流速测量方法及系统，用以解决现有技术中在河流测速中采用光流法容易受干扰，以及应用的深度学习模型检测精度不高的缺陷。
第一方面，本发明提供一种基于深度学习光流法的河流表面流速测量方法，包括：
获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；
利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；
采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；
将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。
在一个实施例中，获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集，包括：
采集河面原始视频数据，采用预设帧格式截取多帧图像数据；
对所述多帧图像数据进行去噪，将去噪后的多帧图像按照预设比例划分为训练集和测试集；
获取真实流速测量数据，以所述真实流速测量数据作为标签，基于所述训练集和所述测试集形成所述预处理图像数据集。
在一个实施例中，利用DeepFlow算法计算所述预处理图像数据集获得初始流速，包括：
利用卷积神经网络从所述预处理图像数据集中提取图像特征；
获取所述图像特征中的相邻帧特征点，确定所述相邻帧特征点的位移匹配信息；
基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场；
计算所述光流场中每个向量的平均值、方向和大小，采用预设尺度因子将每个向量中的光流速度转换为所述初始流速。
在一个实施例中，基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场，包括：
确定数据项、平滑项和匹配项，基于所述数据项、所述平滑项、平滑项平衡因子、所述匹配项和匹配项平衡因子构建能量函数，其中所述数据项通过比较两帧图像之间亮度差异确定光流估计准确性，所述平滑项通过比较相邻像素之间光流差异确定光流场平滑性；
基于深度学习对所述能量函数进行迭代优化，训练所述平滑项平衡因子和所述匹配项平衡因子，得到最优能量函数；
由所述最优能量函数确定所述光流场。
在一个实施例中，对所述初始流速进行光流后处理得到筛选后流速，包括：
基于预设流速范围筛选所述初始流速中的速度值，基于预设偏差角度范围筛选所述初始流速中的方向值，得到所述筛选后流速。
在一个实施例中，采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型，包括：
采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数；
计算所述预设损失函数对所述初始河流测速模型的梯度信息，在所述初始河流测速模型的输出层向输入层的前向传播中，逐层更新参数，采用链式法计算所述梯度信息得到误差，将所述误差逐层进行反向传播；
基于所述梯度信息更新最优能量函数中的平滑项平衡因子和匹配项平衡因子，使所述预设损失函数逐渐减小；
重复执行前向传播、损失计算、更新参数和反向传播的步骤，直至满足预设迭代次数；
采用训练集进行模型训练，采用测试集进行模型性能评估，得到所述河流测速模型。
在一个实施例中，采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数，包括：
确定光流矢量总数；
采用所述均方误差L2损失函数计算河面流速真实值、河面流速预测值以及所述光流矢量总数，得到所述主损失函数；
获取任一当前时刻光流矢量速度和任一当前时刻的上一时刻光流矢量速度，采用所述均方误差L2损失函数计算所述任一当前时刻光流矢量速度、所述上一时刻光流矢量速度和所述光流矢量总数，得到光流矢量速度损失函数；
采用所述均方误差L2损失函数计算光流矢量角度真实值、光流矢量角度预测值以及所述光流矢量总数，得到光流矢量角度损失函数；
根据所述主损失函数、所述光流矢量速度损失函数、光流矢量速度平衡因子、所述光流矢量角度损失函数和光流矢量角度平衡因子，得到所述预设损失函数。
在一个实施例中，采用VGGNet网络构建初始河流测速模型，包括：
确定所述VGGNet网络包括16个卷积层和3个全连接层，所述VGGNet网络包括依次连接的第一模块、第二模块、第三模块、第四模块、第五模块和第六模块；
所述第一模块和所述第二模块分别包括两个卷积层、一个线性整流函数和一个最大池化层；
所述第三模块、所述第四模块和所述第五模块分别包括三个卷积层、三个激活层和一个最大池化层；
所述第六模块包括一个全连接层。
第二方面，本发明还提供一种基于深度学习光流法的河流表面流速测量系统，包括：
感知模块，用于获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；
数据处理模块，用于利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；
计算模块，用于采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；
输出模块，用于将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习光流法的河流表面流速测量方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习光流法的河流表面流速测量方法。
本发明提供的基于深度学习光流法的河流表面流速测量方法及系统，通过采用DeepFlow光流法获得河面预测流速，并进一步构建VGGNet深度学习网络和自定义损失函数对真实河面预测流速进行特征学习，有效提升河面流速测量准确性，并排除无效数据干扰，具有较强的特征学习能力，适应多变复杂的河流环境。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于深度学习光流法的河流表面流速测量方法的流程示意图之一；
图2是本发明提供的基于深度学习光流法的河流表面流速测量方法的流程示意图之二；
图3是本发明提供的VGGNet网络结构示意图；
图4是本发明提供的基于深度学习光流法的河流表面流速测量系统的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在现有的河流测速方法中，采用的光流法由于自身的限制没有考虑河流高流速的场景，导致测量结果精度不高，存在较大偏差，同时河流中的复杂环境，如漩涡和湍流对光流法的检测产生较大影响，另因此采用的深度学习方法处理的数据精度不高，进而模型的学习能力和泛化能力均不足。针对上述局限性，本发明将光流法进行改进，与深度学习进行结合，提出一种新的河流表面流速测量方法。
图1是本发明实施例提供的基于深度学习光流法的河流表面流速测量方法的流程示意图之一，如图1所示，包括：
步骤100：获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；
步骤200：利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；
步骤300：采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；
步骤400：将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。
具体地，本发明实施例采集大量的河流表面图像数据集，经过一系列的预处理后形成预处理图像数据集，采用DeepFlow算法对预处理图像数据集进行光流计算得到初始流速，并采用光流后处理得到筛选后流速，以确保筛选后的流速数据符合实际场景，本发明实施例还自定义损失函数优化深度学习光流法，对采用VGGNet网络构建的初始河流测速模型进行训练迭代，得到优化后的河流测速模型。最后将实际需要测量的河流视频流输入河流测速模型，得到最终的预测河流表面流速。
整体计算流程如图2所示，在采集一定数量的河流表面流速视频后，制作获取带有训练标签的河流表面数据集，对该河流表面数据集进行预处理后，通过光流计算，依次包括特征提取、特征计算和计算光流等步骤，得到初始流速；进一步地，进行光流后处理，包括过滤不合理的速度值和异常偏转角度的速度值，得到筛选后流速，然后设计自定义的损失函数，对构建的深度学习模型进行迭代优化，得到河流测速模型。在实际应用中，将待测量的河流视频流输入该模型，即可得到预测河流表面流速。
本发明通过采用DeepFlow光流法获得河面预测流速，并进一步构建VGGNet深度学习网络和自定义损失函数对真实河面预测流速进行特征学习，有效提升河面流速测量准确性，并排除无效数据干扰，具有较强的特征学习能力，适应多变复杂的河流环境。
基于上述实施例，获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集，包括：
采集河面原始视频数据，采用预设帧格式截取多帧图像数据；
对所述多帧图像数据进行去噪，将去噪后的多帧图像按照预设比例划分为训练集和测试集；
获取真实流速测量数据，以所述真实流速测量数据作为标签，基于所述训练集和所述测试集形成所述预处理图像数据集。
具体地，本发明实施例通过在河流岸边固定摄像机采集河面视频数据，设置视频格式为2k大，并按照25fps进行采集，即对视频进行抽帧每秒25张图片，将视频数据转换为图像数据，同时采用传感器获取大量相关真实流速测量数据作为标签，这里的标签即单帧图片对应的流速。此处，由于摄像机是固定的，需要计算像素到真实距离的转换尺度，用于后续速度计算。
以一定数量的多帧图像，例如10000张图片，对河流表面的图像数据进行预处理，以提取有用的特征，并减少噪声的影响，将数据集按照预设比例分为训练集和测试集，比例可设为9:1。
基于上述实施例，利用DeepFlow算法计算所述预处理图像数据集获得初始流速，包括：
利用卷积神经网络从所述预处理图像数据集中提取图像特征；
获取所述图像特征中的相邻帧特征点，确定所述相邻帧特征点的位移匹配信息；
基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场；
计算所述光流场中每个向量的平均值、方向和大小，采用预设尺度因子将每个向量中的光流速度转换为所述初始流速。
其中，基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场，包括：
确定数据项、平滑项和匹配项，基于所述数据项、所述平滑项、平滑项平衡因子、所述匹配项和匹配项平衡因子构建能量函数，其中所述数据项通过比较两帧图像之间亮度差异确定光流估计准确性，所述平滑项通过比较相邻像素之间光流差异确定光流场平滑性；
基于深度学习对所述能量函数进行迭代优化，训练所述平滑项平衡因子和所述匹配项平衡因子，得到最优能量函数；
由所述最优能量函数确定所述光流场。
具体地，本发明实施例采用DeepFlow算法对预处理后的图像和提取的特征点建立光流场，再基于光流场计算光流矢量。
首先，通过使用卷积神经网络从输入的多帧图像形成的图像序列中提取图像特征，特征包括图像中的结构和纹理信息，便于进行后续的光流计算。然后将相邻帧的特征点进行匹配，建立特征点之间相似性度量的对应关系，特征点匹配的目的是获取两个图像之间相同特征点的位移关系，为光流计算提供输入。接下来采用匹配的特征点对，通过深度学习神经网络来学习图像特征与光流之间的映射关系，向该深度学习神经网络输入两幅图像的特征图，并输出相应的光流场。
需要说明的是，本发明实施例采用基于光流估计的能量最小化方法，定义能量函数作为优化的目标，能量函数包括数据项/>、平滑项/>和匹配项/>：
数据项通过比较两帧图像之间的亮度差异来衡量光流估计的准确性，平滑项通过比较相邻像素之间的光流差异来促进光流场的平滑性，该能量函数/>衡量了光流场的平滑性和数据拟合度。通过深度学习迭代优化来能量函数得到最佳的光流估计结果，此处/>与/>分别为平滑项平衡因子和匹配项平衡因子，是可训练的参数。
进一步地，基于计算得到的光流场，通过对光流场进行分析和处理。光流场计算的结果是一组向量，每个向量代表一个像素点的运动方向和速度。通过计算光流矢量的平均值、方向和大小，并使用尺度因子将光流速度转换为实际物理速度来估计河面的初始流速。
基于上述实施例，对所述初始流速进行光流后处理得到筛选后流速，包括：
基于预设流速范围筛选所述初始流速中的速度值，基于预设偏差角度范围筛选所述初始流速中的方向值，得到所述筛选后流速。
具体地，计算得到光流场之后，本发明实施例还需要对光流场中的运动边界进行处理，以提高对运动物体的准确估计，并避免错误的估计结果。
如图2所示，一方面对计算速度大小结果进行分布分析，剔除明显过大，例如大于10m/s或为0的结果，选择合理流速范围内的速度值。
另一方面，对计算速度方向结果进行分布分析，剔除偏差河流流向过大的速度值，例如±45°，这里以图像中的河流整体流向为x轴正轴作为基础得到的结果。这里将偏特征点矢量方向与河流断面呈±45°的结果进行剔除，过大的偏差可能是错误的计算结果，可能为漩涡等影响因素。
基于上述实施例，采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型，包括：
采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数；
计算所述预设损失函数对所述初始河流测速模型的梯度信息，在所述初始河流测速模型的输出层向输入层的前向传播中，逐层更新参数，采用链式法计算所述梯度信息得到误差，将所述误差逐层进行反向传播；
基于所述梯度信息更新最优能量函数中的平滑项平衡因子和匹配项平衡因子，使所述预设损失函数逐渐减小；
重复执行前向传播、损失计算、更新参数和反向传播的步骤，直至满足预设迭代次数；
采用训练集进行模型训练，采用测试集进行模型性能评估，得到所述河流测速模型。
其中，采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数，包括：
确定光流矢量总数；
采用所述均方误差L2损失函数计算河面流速真实值、河面流速预测值以及所述光流矢量总数，得到所述主损失函数；
获取任一当前时刻光流矢量速度和任一当前时刻的上一时刻光流矢量速度，采用所述均方误差L2损失函数计算所述任一当前时刻光流矢量速度、所述上一时刻光流矢量速度和所述光流矢量总数，得到光流矢量速度损失函数；
采用所述均方误差L2损失函数计算光流矢量角度真实值、光流矢量角度预测值以及所述光流矢量总数，得到光流矢量角度损失函数；
根据所述主损失函数、所述光流矢量速度损失函数、光流矢量速度平衡因子、所述光流矢量角度损失函数和光流矢量角度平衡因子，得到所述预设损失函数。
其中，采用VGGNet网络构建初始河流测速模型，包括：
确定所述VGGNet网络包括16个卷积层和3个全连接层，所述VGGNet网络包括依次连接的第一模块、第二模块、第三模块、第四模块、第五模块和第六模块；
所述第一模块和所述第二模块分别包括两个卷积层、一个线性整流函数和一个最大池化层；
所述第三模块、所述第四模块和所述第五模块分别包括三个卷积层、三个激活层和一个最大池化层；
所述第六模块包括一个全连接层。
具体地，本发明实施例在模型训练中，首先根据估计值和真实值的对比结果，设计一个损失函数来度量估计值与真实值之间的差异。
第一部分，根据估计值和真实值，添加一个均方误差Loss损失项来优化估计值和真实值之间的差异，/>为河面流速预测值，/>为河面流速真实值，n为计算出光流矢量总数：
第二部分，为了缓解光流法在大流速情况下光流法表现不佳的问题，大流速意味着像素点之间的位移量较大，可能超过光流法的测量范围。但由于流速变化不会突变，此时刻的流速不会比上一时刻流速/>差距过大，所以添加额外的损失项来约束训练。通过添加上一时刻的流速大小/>和方向角度/>来约束训练，/>为当前光流矢量速度，/>为上一时刻光流矢量速度，/>为光流矢量角度，/>为真实河流流向（此实施例中为0，x轴正方向）：
然后将第一部分和第二部分的损失函数进行加权求和，以由Loss作为主导，自定义损失项为辅：/>
式中与/>分别为损失函数的光流矢量速度平衡因子和光流矢量角度平衡因子，初始值为0.1与0.05。
本发明通过自定义损失函数的额外网络学习，该方法在一定程度上缓解了光流法在大流速情况下的检测不准确。经实验证明，该方法在光照条件良好的情况下，预测的河面流速与真实值的误差可在5%以内。
如图3所示，本发明实施例使用VGGNet网络深度学习迭代优化，该网络包括16个卷积层、3个全连接层，以224*224的RGB图像为输入。网络分为6个小模块，模块1与模块2各进行两次卷积后连接ReLu激活函数，然后通过Max池化。模块3至5则是各进行三次卷积与激活，然后Max池化。最后再由模块6的全连接层将所有模块进行整合计算，输出最后得到的模型。
通过计算损失函数对模型参数的梯度，可以得到模型中每个参数对损失函数的影响程度。然后将梯度信息从输出层传播到输入层，逐层更新参数。整个过程使用链式法则来计算梯度，将误差逐层反向传播。根据计算得到的参数梯度，更新中能量函数的参数，使得损失函数逐渐减小。重复执行前向传播、损失计算、反向传播和参数更新的步骤，直到满足预设迭代次数，可设为10000次。对训练好的模型进行评估和验证，使用独立的测试数据集进行性能评估。
本发明使用的VGGNet网络采用了多个卷积层和池化层的组合，使其能够有效地学习和捕捉不同尺度的特征，使得VGG网络在处理图像中具有不同尺度对象时具有良好的适应性，可面对多变的河流环境。
下面对本发明提供的基于深度学习光流法的河流表面流速测量系统进行描述，下文描述的基于深度学习光流法的河流表面流速测量系统与上文描述的基于深度学习光流法的河流表面流速测量方法可相互对应参照。
图4是本发明提供的基于深度学习光流法的河流表面流速测量系统的结构示意图，如图4所示，包括：感知模块41、数据处理模块42、训练模块43和计算模块44，其中：
感知模块41用于获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；数据处理模块42用于利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；训练模块43用于采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；计算模块44用于将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于深度学习光流法的河流表面流速测量方法，该方法包括：获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习光流法的河流表面流速测量方法，该方法包括：获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于深度学习光流法的河流表面流速测量方法，其特征在于，包括：
获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；
利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；
采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；
将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速；
其中，利用DeepFlow算法计算所述预处理图像数据集获得初始流速，包括：
利用卷积神经网络从所述预处理图像数据集中提取图像特征；
获取所述图像特征中的相邻帧特征点，确定所述相邻帧特征点的位移匹配信息；
基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场；
计算所述光流场中每个向量的平均值、方向和大小，采用预设尺度因子将每个向量中的光流速度转换为所述初始流速；
采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型，包括：
采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数；
计算所述预设损失函数对所述初始河流测速模型的梯度信息，在所述初始河流测速模型的输出层向输入层的前向传播中，逐层更新参数，采用链式法计算所述梯度信息得到误差，将所述误差逐层进行反向传播；
基于所述梯度信息更新最优能量函数中的平滑项平衡因子和匹配项平衡因子，使所述预设损失函数逐渐减小；
重复执行前向传播、损失计算、更新参数和反向传播的步骤，直至满足预设迭代次数；
采用训练集进行模型训练，采用测试集进行模型性能评估，得到所述河流测速模型；
采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数，包括：
确定光流矢量总数；
采用所述均方误差L2损失函数计算河面流速真实值、河面流速预测值以及所述光流矢量总数，得到所述主损失函数；
获取任一当前时刻光流矢量速度和任一当前时刻的上一时刻光流矢量速度，采用所述均方误差L2损失函数计算所述任一当前时刻光流矢量速度、所述上一时刻光流矢量速度和所述光流矢量总数，得到光流矢量速度损失函数；
采用所述均方误差L2损失函数计算光流矢量角度真实值、光流矢量角度预测值以及所述光流矢量总数，得到光流矢量角度损失函数；
根据所述主损失函数、所述光流矢量速度损失函数、光流矢量速度平衡因子、所述光流矢量角度损失函数和光流矢量角度平衡因子，得到所述预设损失函数。
2.根据权利要求1所述的基于深度学习光流法的河流表面流速测量方法，其特征在于，获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集，包括：
采集河面原始视频数据，采用预设帧格式截取多帧图像数据；
对所述多帧图像数据进行去噪，将去噪后的多帧图像按照预设比例划分为训练集和测试集；
获取真实流速测量数据，以所述真实流速测量数据作为标签，基于所述训练集和所述测试集形成所述预处理图像数据集。
3.根据权利要求1所述的基于深度学习光流法的河流表面流速测量方法，其特征在于，基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场，包括：
确定数据项、平滑项和匹配项，基于所述数据项、所述平滑项、平滑项平衡因子、所述匹配项和匹配项平衡因子构建能量函数，其中所述数据项通过比较两帧图像之间亮度差异确定光流估计准确性，所述平滑项通过比较相邻像素之间光流差异确定光流场平滑性；
基于深度学习对所述能量函数进行迭代优化，训练所述平滑项平衡因子和所述匹配项平衡因子，得到最优能量函数；
由所述最优能量函数确定所述光流场。
4.根据权利要求1所述的基于深度学习光流法的河流表面流速测量方法，其特征在于，对所述初始流速进行光流后处理得到筛选后流速，包括：
基于预设流速范围筛选所述初始流速中的速度值，基于预设偏差角度范围筛选所述初始流速中的方向值，得到所述筛选后流速。
5.根据权利要求1所述的基于深度学习光流法的河流表面流速测量方法，其特征在于，采用VGGNet网络构建初始河流测速模型，包括：
确定所述VGGNet网络包括16个卷积层和3个全连接层，所述VGGNet网络包括依次连接的第一模块、第二模块、第三模块、第四模块、第五模块和第六模块；
所述第一模块和所述第二模块分别包括两个卷积层、一个线性整流函数和一个最大池化层；
所述第三模块、所述第四模块和所述第五模块分别包括三个卷积层、三个激活层和一个最大池化层；
所述第六模块包括一个全连接层。
6.一种基于深度学习光流法的河流表面流速测量系统，其特征在于，包括：
感知模块，用于获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；
数据处理模块，用于利用DeepFlow算法计算所述预处理图像数据集获得初始流速，对所述初始流速进行光流后处理得到筛选后流速；
计算模块，用于采用VGGNet网络构建初始河流测速模型，通过预设损失函数和所述筛选后流速对所述初始河流测速模型进行训练迭代，得到河流测速模型；
输出模块，用于将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速；
其中，所述数据处理模块中的利用DeepFlow算法计算所述预处理图像数据集获得初始流速，包括：
利用卷积神经网络从所述预处理图像数据集中提取图像特征；
获取所述图像特征中的相邻帧特征点，确定所述相邻帧特征点的位移匹配信息；
基于光流估计能量最小化算法，计算所述位移匹配信息，得到光流场；
计算所述光流场中每个向量的平均值、方向和大小，采用预设尺度因子将每个向量中的光流速度转换为所述初始流速；
所述计算模块具体包括：
采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数；
计算所述预设损失函数对所述初始河流测速模型的梯度信息，在所述初始河流测速模型的输出层向输入层的前向传播中，逐层更新参数，采用链式法计算所述梯度信息得到误差，将所述误差逐层进行反向传播；
基于所述梯度信息更新最优能量函数中的平滑项平衡因子和匹配项平衡因子，使所述预设损失函数逐渐减小；
重复执行前向传播、损失计算、更新参数和反向传播的步骤，直至满足预设迭代次数；
采用训练集进行模型训练，采用测试集进行模型性能评估，得到所述河流测速模型；
采用均方误差L2损失函数和河面流速值为主损失函数，采用均方误差L2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数，包括：
确定光流矢量总数；
采用所述均方误差L2损失函数计算河面流速真实值、河面流速预测值以及所述光流矢量总数，得到所述主损失函数；
获取任一当前时刻光流矢量速度和任一当前时刻的上一时刻光流矢量速度，采用所述均方误差L2损失函数计算所述任一当前时刻光流矢量速度、所述上一时刻光流矢量速度和所述光流矢量总数，得到光流矢量速度损失函数；
采用所述均方误差L2损失函数计算光流矢量角度真实值、光流矢量角度预测值以及所述光流矢量总数，得到光流矢量角度损失函数；
根据所述主损失函数、所述光流矢量速度损失函数、光流矢量速度平衡因子、所述光流矢量角度损失函数和光流矢量角度平衡因子，得到所述预设损失函数。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于深度学习光流法的河流表面流速测量方法。
CN202311100104.5A 2023-08-30 2023-08-30 一种基于深度学习光流法的河流表面流速测量方法及系统 Active CN116843725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311100104.5A CN116843725B (zh) 2023-08-30 2023-08-30 一种基于深度学习光流法的河流表面流速测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311100104.5A CN116843725B (zh) 2023-08-30 2023-08-30 一种基于深度学习光流法的河流表面流速测量方法及系统

Publications (2)

Publication Number Publication Date
CN116843725A CN116843725A (zh) 2023-10-03
CN116843725B true CN116843725B (zh) 2024-01-05

Family

ID=88163802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311100104.5A Active CN116843725B (zh) 2023-08-30 2023-08-30 一种基于深度学习光流法的河流表面流速测量方法及系统

Country Status (1)

Country Link
CN (1) CN116843725B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218801A (zh) * 2023-10-23 2023-12-12 华北科技学院(中国煤矿安全技术培训中心) 一种城市洪涝灾害监测预警方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261042A (zh) * 2015-10-19 2016-01-20 华为技术有限公司 光流估计的方法及装置
KR101996992B1 (ko) * 2018-11-13 2019-07-08 주식회사 하이드로셈 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
CN112149597A (zh) * 2020-09-29 2020-12-29 中国水利水电科学研究院 一种基于深度学习的河流表面流速检测方法
JP2021047156A (ja) * 2019-09-20 2021-03-25 株式会社日立国際電気 監視システム
JP6883699B1 (ja) * 2020-12-23 2021-06-09 東京瓦斯株式会社 流量推定システム、情報処理装置およびプログラム
CN113012195A (zh) * 2021-03-04 2021-06-22 西安电子科技大学 基于光流计算的河流表面流速估计的方法和可读存储介质
CN113781528A (zh) * 2021-08-26 2021-12-10 山东新一代信息产业技术研究院有限公司 一种基于光流计算的河流表面流速测算方法
CN115272422A (zh) * 2022-06-22 2022-11-01 浙江大华技术股份有限公司 一种基于视频监控的排污口水流速度检测方法及装置
CN115761563A (zh) * 2022-09-27 2023-03-07 武汉大水云科技有限公司 一种基于光流测算的河流表面流速的计算方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366500B2 (en) * 2017-06-30 2019-07-30 The United States Of America, As Represented By The Secretary Of The Navy Autonomous characterization of water flow from surface water velocity
EP4088087A1 (en) * 2020-01-10 2022-11-16 Marquette University Systems and methods for remote sensing of river velocity using video and an optical flow algorithm

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261042A (zh) * 2015-10-19 2016-01-20 华为技术有限公司 光流估计的方法及装置
KR101996992B1 (ko) * 2018-11-13 2019-07-08 주식회사 하이드로셈 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
JP2021047156A (ja) * 2019-09-20 2021-03-25 株式会社日立国際電気 監視システム
CN112149597A (zh) * 2020-09-29 2020-12-29 中国水利水电科学研究院 一种基于深度学习的河流表面流速检测方法
JP6883699B1 (ja) * 2020-12-23 2021-06-09 東京瓦斯株式会社 流量推定システム、情報処理装置およびプログラム
CN113012195A (zh) * 2021-03-04 2021-06-22 西安电子科技大学 基于光流计算的河流表面流速估计的方法和可读存储介质
CN113781528A (zh) * 2021-08-26 2021-12-10 山东新一代信息产业技术研究院有限公司 一种基于光流计算的河流表面流速测算方法
CN115272422A (zh) * 2022-06-22 2022-11-01 浙江大华技术股份有限公司 一种基于视频监控的排污口水流速度检测方法及装置
CN115761563A (zh) * 2022-09-27 2023-03-07 武汉大水云科技有限公司 一种基于光流测算的河流表面流速的计算方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Flow measurement in open channels using imaging techniques in conjunction with a convolutional neural network;Hao-Che Ho等;《Journal of Hydrology》;第1-13页 *
基于残差网络的河流表面时空图像测速法;李华宝等;《河海大学学报( 自然科学版)》;第51卷(第1期);第118-128页 *
河道流量视频测验技术应用研究及误差分析;陈梦等;《中国农村水利水电》(第5期);第106-110, 118页 *

Also Published As

Publication number Publication date
CN116843725A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111160210B (zh) 一种基于视频的水流速检测方法及系统
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
CN113361542B (zh) 一种基于深度学习的局部特征提取方法
CN108776975A (zh) 一种基于半监督特征和滤波器联合学习的视觉跟踪方法
CN116843725B (zh) 一种基于深度学习光流法的河流表面流速测量方法及系统
CN115841434B (zh) 一种用于气体浓度分析的红外图像增强方法
CN109766838B (zh) 一种基于卷积神经网络的步态周期检测方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN104240264A (zh) 一种运动物体的高度检测方法和装置
Zhang et al. Unsupervised learning of particle image velocimetry
CN112258537B (zh) 一种基于卷积神经网络的监督暗视觉图像边缘检测方法
Bai et al. An intelligent water level monitoring method based on SSD algorithm
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
Han et al. An improved corner detection algorithm based on harris
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN110223331B (zh) 一种大脑mr医学图像配准方法
CN109064511B (zh) 一种人体重心高度测量方法、装置及相关设备
CN105654042B (zh) 玻璃温度计的检定温度字符识别方法
CN113128518B (zh) 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN113139549A (zh) 一种基于多任务学习的参数自适应全景分割方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN115861384A (zh) 基于生成对抗和注意力机制的光流估计方法及系统
CN112001896B (zh) 一种甲状腺边界不规则度检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant