CN117993302B - 一种基于数据驱动的液体表面三维重建方法及系统 - Google Patents

一种基于数据驱动的液体表面三维重建方法及系统 Download PDF

Info

Publication number
CN117993302B
CN117993302B CN202410319084.9A CN202410319084A CN117993302B CN 117993302 B CN117993302 B CN 117993302B CN 202410319084 A CN202410319084 A CN 202410319084A CN 117993302 B CN117993302 B CN 117993302B
Authority
CN
China
Prior art keywords
liquid surface
simulated
simulation
liquid
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410319084.9A
Other languages
English (en)
Other versions
CN117993302A (zh
Inventor
付为杰
姜浩
张心明
宁连爽
区嘉怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202410319084.9A priority Critical patent/CN117993302B/zh
Publication of CN117993302A publication Critical patent/CN117993302A/zh
Application granted granted Critical
Publication of CN117993302B publication Critical patent/CN117993302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Fluid Mechanics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于数据驱动的液体表面三维重建方法及系统，该方法包括：对仿真液体表面进行数据预处理，构建仿真液体数据集；引入U‑Net网络与LSTM网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；获取真实环境流体图像；将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。本发明能够在采集图像严重失真的情况下，准确恢复流体在空间和时间上的三维表面形貌，以全面展示流体的运动状态。本发明作为一种基于数据驱动的液体表面三维重建方法及系统，可广泛应用于液体表面三维重建技术领域。

Description

一种基于数据驱动的液体表面三维重建方法及系统
技术领域
本发明涉及液体表面三维重建技术领域，尤其涉及一种基于数据驱动的液体表面三维重建方法及系统。
背景技术
动态流体现象可以广泛应用于科学研究与工程领域，例如海洋工程、水利工程、流体力学、计算机图形学、生物医学和工业制造与检测等领域。而准确的重建流体表面形貌有助于深入理解流体现象的存在形式和动态特性，同时也能推动相关科研领域和工程应用的发展。因此，现阶段存在众多不同的三维重建算法，并在这个领域取得了极大进展，如双目立体视觉，结构光测量法，飞行时间法，光度立体法等。
但是，上述基于视觉的三维重建方法主要适用于符合朗伯反射的物体，无法应用于动态流体表面的三维重建。首先，光线在气液交界处发生折射，导致相机捕捉到的图像产生严重扭曲，使得提取稳定可靠的图像特征变得极为困难。其次，流体本身的动态流动特性增加了特征处理流程的复杂性，进而导致采集的图像在严重失真的情况下，难以准确恢复流体在空间和时间上的三维表面形貌以及难以全面展示流体的运动状态。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于数据驱动的液体表面三维重建方法及系统，能够在采集图像严重失真的情况下，准确恢复流体在空间和时间上的三维表面形貌，以全面展示流体的运动状态。
本发明所采用的第一技术方案是：一种基于数据驱动的液体表面三维重建方法，包括以下步骤：
对仿真液体表面进行数据预处理，构建仿真液体数据集；
引入U-Net网络与LSTM网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；
获取真实环境流体图像；
将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。
进一步，所述对仿真液体表面进行数据预处理，构建仿真液体数据集这一步骤，其具体包括：
对Navier-Stokes方程进行简化推导处理，得到简化后的潜水波方程；
对简化后的潜水波方程进行仿真模拟处理，获取仿真液体表面的高度场信息；
对仿真液体表面的高度场信息进行求解计算，得到仿真液体表面的法线场信息；
基于斯涅尔定律，结合仿真液体表面的高度场信息与仿真液体表面的法线场信息进行求解计算，得到仿真液体表面的射光方向场信息；
根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像；
结合仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像与仿真液体表面的畸变图像，构建仿真液体数据集。
进一步，所述简化后的潜水波方程的表达式具体如下所示：
；
上式中，表示液体密度，/>表示水深，/>表示仿真液体表面/>方向的速度，/>表示仿真液体表面/>方向的速度，/>表示重力加速度。
进一步，所述根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像这一步骤，其具体包括：
根据仿真液体表面的射光方向场信息并结合仿真液体表面的高度场信息，确定仿真液体表面的光线像素偏移量；
根据仿真液体表面的光线像素偏移量构建仿真液体表面的伪光流图像；
获取仿真液体表面的参考图像；
对仿真液体表面的参考图像进行逐位置累加光线像素偏移量处理，得到仿真液体表面的畸变图像。
进一步，所述结合仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像与仿真液体表面的畸变图像，构建仿真液体数据集这一步骤，其具体包括：
对仿真液体表面的参考图像与仿真液体表面的畸变图像进行添加随机噪声处理，得到添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像；
将仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像进行数据打包与格式转换处理，得到npy格式的仿真液体数据集；
对npy格式的仿真液体数据集进行划分处理，得到第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集，其中，所述第一仿真液体数据集包括添加噪声后的仿真液体表面的畸变图像，所述第二仿真液体数据集包括仿真液体表面的高度场信息、仿真液体表面的法线场信息、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像，所述第三仿真液体数据集包括仿真液体表面的高度场信息和仿真液体表面的法线场信息；
将第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集进行整合再根据预设比例进行划分处理，得到仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集；
整合仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集，得到仿真液体数据集。
进一步，所述引入U-Net网络与LSTM网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型这一步骤，其具体包括：
将仿真液体数据集中的仿真液体数据训练集输入至双阶段训练模型进行训练；
基于U-Net网络对仿真液体数据训练集进行流体表面深度和流体表面法线恢复处理，输出恢复后的仿真液体数据训练集；
基于LSTM网络对恢复后的仿真液体数据训练集进行图像帧关系预测处理，输出训练后的双阶段训练模型。
进一步，所述双阶段训练模型的损失函数具体如下所示：
；
上式中，表示双阶段训练模型中的一阶段U-Net网络的总损失函数，/>表示一阶段U-Net网络的高度场损失函数，/>表示一阶段U-Net网络的法线场损失函数，/>表示一阶段U-Net网络的高度法线联合损失函数，/>表示一阶段U-Net网络的伪光流损失函数，/>表示双阶段训练模型中的二阶段LSTM网络的总损失函数，表示二阶段LSTM网络的高度场损失函数，/>表示二阶段LSTM网络的法线场损失函数，/>表示二阶段LSTM网络的高度法线联合损失函数。
进一步，所述获取真实环境流体图像这一步骤，其具体包括：
构建真实环境流体图像获取平台；
通过真实环境流体图像获取平台对待测试液体进行拍摄处理，得到初步的真实环境流体图像；
将初步的真实环境流体图像进行npy格式转换处理，得到真实环境流体图像。
本发明所采用的第二技术方案是：一种基于数据驱动的液体表面三维重建系统，包括：
构建模块，用于对仿真液体表面进行数据预处理，构建仿真液体数据集；
训练模块，用于引入U-Net网络与LSTM网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；
获取模块，用于获取真实环境流体图像；
重建模块，用于将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。
本发明方法及系统的有益效果是：本发明通过对仿真液体表面进行数据预处理，构建仿真液体数据集，仿真液体数据集包含法线信息、深度信息和伪光流信息，进一步构建双阶段训练模型并通过仿真液体数据集进行训练，基于仿真的图像进行模型训练，训练后的模型能够从单张折射导致扭曲的图像中进行流体表面的三维重建，进一步获取真实环境流体图像，捕捉的一系列图像序列来恢复流体的动态形貌，捕捉真实的液体表面畸变图像序列，使用模型对真实流体畸变图像序列进行预测，对液体表面实现三维重建，能够在采集图像严重失真的情况下，准确恢复流体在空间和时间上的三维表面形貌，以全面展示流体的运动状态。
附图说明
图1是本发明一种基于数据驱动的液体表面三维重建方法的步骤流程图；
图2是本发明一种基于数据驱动的液体表面三维重建系统的结构框图；
图3是本发明具体实施例液体表面三维重建方法的示意图；
图4是本发明具体实施例仿真环境下畸变图像序列示意图；
图5是本发明具体实施例数据集生成时的原理图；
图6是本发明具体实施例斯涅尔定律的原理图；
图7是本发明具体实施例双阶段训练模型训练所需的数据结构示意图；
图8是本发明具体实施例双阶段训练模型的数据训练示意图；
图9是本发明具体实施例构建真实环境流体图像获取平台的示意图。
附图标记：1、高速工业相机；2、第一光源；3、水箱；4、第二光源；5、水底参考图； 6、待测试液体。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1和图3，本发明提供了一种基于数据驱动的液体表面三维重建方法，该方法包括以下步骤：
S1、对仿真液体表面进行数据预处理，构建仿真液体数据集；
具体地，对Navier-Stokes方程进行简化推导处理，得到简化后的潜水波方程；对简化后的潜水波方程进行仿真模拟处理，获取仿真液体表面的高度场信息；对仿真液体表面的高度场信息进行求解计算，得到仿真液体表面的法线场信息；基于斯涅尔定律，结合仿真液体表面的高度场信息与仿真液体表面的法线场信息进行求解计算，得到仿真液体表面的射光方向场信息；根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像；结合仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像与仿真液体表面的畸变图像，构建仿真液体数据集。
在本实施例中，从Navier-Stokes方程推导出浅水波方程的简化形式，通过浅水波方程构建不同折射率、粘度系数的仿真液体高度场，对Navier-Stokes方程推导得出简化的潜水波方程，通过对浅水波方程模拟真实环境下不同种类液体表面的流动现象，其中浅水波方程公式如下：
；
上式中，表示液体密度，/>表示水深，/>表示仿真液体表面/>方向的速度，/>表示仿真液体表面/>方向的速度，/>表示重力加速度。
在仿真过程中设定网格大小为512512，因此后续数据集中的参考图、畸变图、高度图、法线图、伪光流图长宽尺寸均为512像素大小，通过公式计算得到高度场/>，/>和/>分别为网格中对应的行和列，本发明实施例为生成的每一个高度场数据开辟大小为(512,512,1)的张量以用于存储。
通过仿真液体的高度场信息求解对应的法线场信息，对通过高度场计算得到法线场，其表达式为：
；
上式中，和/>代表了高度场在/>和/>方向上的变化率，/>表示法向量的三个分量，本发明实施例为生成的每一个高度场数据开辟大小为(512,512,3)的张量以用于存储，其中/>存放于通道1，其中/>存放于通道2，其中/>存放于通道3。
如图6所示，其中为第一种介质的折射率，/>为第二种介质的折射率，/>为表面法线法线，/>为入射光线方向，/>为出射光线方向，液面底部为参考无畸变图像，相机垂直于液面摆放捕获到畸变图像序列如图4所示，其中，/>表示不同时刻下相机捕捉到的畸变图像序列。
通过高度场信息、入射光方向场、法线场信息与斯涅尔定律求解出射光方向场，仿真环境下假定相机垂直于液面摆放，入射光线场方向均为垂直向下，根据斯涅尔定律求解出射光线场：
；
其中为第一种介质的折射率，/>为第二种介质的折射率，/>为入射光线与法线的夹角，/>为出射光线与法线的夹角。
进一步，对于根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像这一步骤还包括，根据仿真液体表面的射光方向场信息并结合仿真液体表面的高度场信息，确定仿真液体表面的光线像素偏移量；根据仿真液体表面的光线像素偏移量构建仿真液体表面的伪光流图像；获取仿真液体表面的参考图像；对仿真液体表面的参考图像进行逐位置累加光线像素偏移量处理，得到仿真液体表面的畸变图像。
在本实施例中，通过计算得到的出射光线场、与计算得到的/>高度场计算出射光线在水底部/>和/>方向的像素偏移/>与/>，得到伪光流图/>，通过对参考图像/>逐位置累加像素偏移/>得到畸变图像/>，其中/>分别为图像的行与列，其中参考图像如图5所示进行获取。
更进一步的，对于结合仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像与仿真液体表面的畸变图像，构建仿真液体数据集这一步骤还包括对仿真液体表面的参考图像与仿真液体表面的畸变图像进行添加随机噪声处理，得到添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像；将仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像进行数据打包与格式转换处理，得到npy格式的仿真液体数据集；对npy格式的仿真液体数据集进行划分处理，得到第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集，其中，所述第一仿真液体数据集包括添加噪声后的仿真液体表面的畸变图像，所述第二仿真液体数据集包括仿真液体表面的高度场信息、仿真液体表面的法线场信息、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像，所述第三仿真液体数据集包括仿真液体表面的高度场信息和仿真液体表面的法线场信息；将第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集进行整合再根据预设比例进行划分处理，得到仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集；整合仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集，得到仿真液体数据集。
在本实施例中，将通过潜水波方程生成的30000组高度图(1通道)、法线图(3通道)、伪光流图(2通道)、畸变图(3通道)、参考图(3通道)进行打包，将数据处理成便于Tensorflow框架处理的npy格式；
其中本发明实施例将整体的npy数据打包为3组分别为Pack1、Pack2、Pack3，需要说明的是，其中Pack1为网络一阶段输入类UNet网络的的畸变图像序列，Pack2为用于计算一阶段类UNet网络模型训练过程中损失的真实标签数据，Pack3为用于计算二阶段LSTM网络模型训练过程中/>损失的真实标签数据，一阶段训练为恢复初步的深度场与法线场信息，二阶段训练通过引入LSTM网络以恢复更准确细致的深度场与法线场信息，通过引入Pack2中间数据并引入双阶段模型训练可以使得最终恢复的深度场与法线场信息更加精确。
其中Pack1张量尺寸为(30000,512,512,3)，30000表示总样本数量，512表示输入张量的长宽尺寸大小，3表示3通道的畸变图像，其中各个图像的通道数如图7所示；其中Pack2张量尺寸为(30000,512,512,12)，30000表示总样本数量，512表示输入张量的长宽尺寸大小，12表示3通道的畸变图像、3通道的参考图像、3通道的法线场图像、2通道的伪光流图像与1通道的深度场图像拼接所得，其中各个图像的通道数如图7所示；其中Pack3张量尺寸为(30000,512,512,4), 30000表示总样本数量，512表示输入张量的长宽尺寸大小，4表示3通道的法线图像与1通道的深度图拼接所得，其中各个图像的通道数如图7所示；
将Pack1、Pack2、Pack3进行进行比例划分，将30000个数据集样本按照7:2:1划分训练集、验证集以及测试集，分别为：Pack1_train，Pack1_val，Pack1_test,形状分别为(21000,512,512,3)，(6000,512,512,3)，(3000,512,512,3)，然后将Pack1_train，Pack1_val，Pack1_test分别打包成npy格式；Pack2_train，Pack2_val，Pack2_test,形状分别为(21000,512,512,12)，(6000,512,512,12)，(3000,512,512,12)，然后将Pack2_train，Pack2_val，Pack2_test分别打包成npy格式；Pack3_train，Pack3_val，Pack3_test，形状分别为(21000,512,512,4)，(6000,512,512,4)，(3000,512,512,4)，然后将Pack3_train，Pack3_val，Pack3_test分别打包成npy格式；
为了增强通过仿真数据集训练所得模型在真实数据集上的泛化性能，本发明实施例为训练畸变图像序列与参考图像序列/>添加随机噪声/>，从而增强模型的鲁棒性。具体通过生成一个随机数，当它大于等于 0.5 时，在相应像素点上加上一个随机噪声值。这个随机噪声值的生成可以使用高斯分布或均匀分布等方式。在此本发明实施例选择高斯噪声值/>，其表达式为：
；
上式中，为噪声的均值，/>为噪声的标准差，/>是一个标准的正态分布变量，其均值为0，标准差为1。
S2、引入U-Net网络与LSTM网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；
具体地，将仿真液体数据集中的仿真液体数据训练集输入至双阶段训练模型进行训练；基于U-Net网络对仿真液体数据训练集进行流体表面深度和流体表面法线恢复处理，输出恢复后的仿真液体数据训练集；基于LSTM网络对恢复后的仿真液体数据训练集进行图像帧关系预测处理，输出训练后的双阶段训练模型。
在本实施例中，针对对数据集的特殊性，选用UNet结构与LSTM结合进行双阶段训练，并针对性的设计了对应的损失函数，其表达式为：
；
上式中，表示双阶段训练模型中的一阶段U-Net网络的总损失函数，/>表示一阶段U-Net网络的高度场损失函数，/>表示一阶段U-Net网络的法线场损失函数，表示一阶段U-Net网络的高度法线联合损失函数，/>表示一阶段U-Net网络的伪光流损失函数，/>表示双阶段训练模型中的二阶段LSTM网络的总损失函数，/>表示二阶段LSTM网络的高度场损失函数，/>表示二阶段LSTM网络的法线场损失函数，表示二阶段LSTM网络的高度法线联合损失函数。
其中，本发明实施例针对对数据集的特殊性，设计了合理的网络模型进行训练，其中具体训练流程如图8所示。首先使用UNet网络对流体表面的深度和法线进行初步恢复，输入数据为Pack1_train(21000,512,512,3)，标签为Pack2_train(21000,512,512,12)，训练损失函数为，优化器为Adam优化器，学习率为0.00001，在一阶段训练完毕后，利用python切片操作选择其中所有的高度场通道与法线场通道图，其尺寸为(21000,512,512,4)，然后引入时序LSTM网络，用于捕捉流体临近帧的关系，以进一步细化前一步预测得到的深度图与法线图，其中LSTM网络的输入数据为切片所得尺寸为(21000,512,512,4)的通道图，标签为Pack3_train(21000,512,512,4)，训练损失函数为/>，优化器为Adam优化器，学习率为0.00001，训练模型完成后保存参数文件；
其中，选择Pack1_test、Pack2_test、Pack3_test做定性测试与定量测试作为初步性能评估，其中选用的指标为结构相似性指数SSIM，峰值信噪比PSNR作为图像恢复的参数指标。
S3、获取真实环境流体图像；
具体地，如图9所示，在真实环境进行定性验证，搭建的实验平台包括高速工业相机1、第一光源2、水箱3、第二光源4、水底参考图5和待测试液体6，实验对象为不同折射率、粘度系数的透明液体，在液体底部放置参考图像，利用垂直摆放的高速相机捕获多组畸变图像序列，打包处理为npy格式数据，使用训练所得模型进行性能预测。
S4、将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。
参照图2，一种基于数据驱动的液体表面三维重建系统，包括：
构建模块，用于对仿真液体表面进行数据预处理，构建仿真液体数据集；
训练模块，用于引入U-Net网络与LSTM网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；
获取模块，用于获取真实环境流体图像；
重建模块，用于将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于数据驱动的液体表面三维重建方法，其特征在于，包括以下步骤：
对Navier-Stokes方程进行简化推导处理，得到简化后的潜水波方程；
对简化后的潜水波方程进行仿真模拟处理，获取仿真液体表面的高度场信息；
对仿真液体表面的高度场信息进行求解计算，得到仿真液体表面的法线场信息；
基于斯涅尔定律，结合仿真液体表面的高度场信息与仿真液体表面的法线场信息进行求解计算，得到仿真液体表面的射光方向场信息；
根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像；
对仿真液体表面的参考图像与仿真液体表面的畸变图像进行添加随机噪声处理，得到添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像；
将仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像进行数据打包与格式转换处理，得到npy格式的仿真液体数据集；
对npy格式的仿真液体数据集进行划分处理，得到第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集，其中，所述第一仿真液体数据集包括添加噪声后的仿真液体表面的畸变图像，所述第二仿真液体数据集包括仿真液体表面的高度场信息、仿真液体表面的法线场信息、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像，所述第三仿真液体数据集包括仿真液体表面的高度场信息和仿真液体表面的法线场信息；
将第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集进行整合再根据预设比例进行划分处理，得到仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集；
整合仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集，得到仿真液体数据集；
将仿真液体数据集中的仿真液体数据训练集输入至双阶段训练模型进行训练；
基于U-Net网络对仿真液体数据训练集进行流体表面深度和流体表面法线恢复处理，输出恢复后的仿真液体数据训练集；
基于LSTM网络对恢复后的仿真液体数据训练集进行图像帧关系预测处理，输出训练后的双阶段训练模型；
获取真实环境流体图像；
将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。
2.根据权利要求1所述一种基于数据驱动的液体表面三维重建方法，其特征在于，所述简化后的潜水波方程的表达式具体如下所示：
；
上式中，表示液体密度，/>表示水深，/>表示仿真液体表面/>方向的速度，/>表示仿真液体表面/>方向的速度，/>表示重力加速度。
3.根据权利要求2所述一种基于数据驱动的液体表面三维重建方法，其特征在于，所述根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像这一步骤，其具体包括：
根据仿真液体表面的射光方向场信息并结合仿真液体表面的高度场信息，确定仿真液体表面的光线像素偏移量；
根据仿真液体表面的光线像素偏移量构建仿真液体表面的伪光流图像；
获取仿真液体表面的参考图像；
对仿真液体表面的参考图像进行逐位置累加光线像素偏移量处理，得到仿真液体表面的畸变图像。
4.根据权利要求3所述一种基于数据驱动的液体表面三维重建方法，其特征在于，所述双阶段训练模型的损失函数具体如下所示：
；
上式中，表示双阶段训练模型中的一阶段U-Net网络的总损失函数，/>表示一阶段U-Net网络的高度场损失函数，/>表示一阶段U-Net网络的法线场损失函数，表示一阶段U-Net网络的高度法线联合损失函数，/>表示一阶段U-Net网络的伪光流损失函数，/>表示双阶段训练模型中的二阶段LSTM网络的总损失函数，表示二阶段LSTM网络的高度场损失函数，/>表示二阶段LSTM网络的法线场损失函数，/>表示二阶段LSTM网络的高度法线联合损失函数。
5.根据权利要求4所述一种基于数据驱动的液体表面三维重建方法，其特征在于，所述获取真实环境流体图像这一步骤，其具体包括：
构建真实环境流体图像获取平台；
通过真实环境流体图像获取平台对待测试液体进行拍摄处理，得到初步的真实环境流体图像；
将初步的真实环境流体图像进行npy格式转换处理，得到真实环境流体图像。
6.一种基于数据驱动的液体表面三维重建系统，其特征在于，包括以下模块：
构建模块，用于对Navier-Stokes方程进行简化推导处理，得到简化后的潜水波方程；
对简化后的潜水波方程进行仿真模拟处理，获取仿真液体表面的高度场信息；
对仿真液体表面的高度场信息进行求解计算，得到仿真液体表面的法线场信息；
基于斯涅尔定律，结合仿真液体表面的高度场信息与仿真液体表面的法线场信息进行求解计算，得到仿真液体表面的射光方向场信息；
根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像；
对仿真液体表面的参考图像与仿真液体表面的畸变图像进行添加随机噪声处理，得到添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像；
将仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像进行数据打包与格式转换处理，得到npy格式的仿真液体数据集；
对npy格式的仿真液体数据集进行划分处理，得到第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集，其中，所述第一仿真液体数据集包括添加噪声后的仿真液体表面的畸变图像，所述第二仿真液体数据集包括仿真液体表面的高度场信息、仿真液体表面的法线场信息、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像，所述第三仿真液体数据集包括仿真液体表面的高度场信息和仿真液体表面的法线场信息；
将第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集进行整合再根据预设比例进行划分处理，得到仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集；
整合仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集，得到仿真液体数据集；
训练模块，用于将仿真液体数据集中的仿真液体数据训练集输入至双阶段训练模型进行训练；
基于U-Net网络对仿真液体数据训练集进行流体表面深度和流体表面法线恢复处理，输出恢复后的仿真液体数据训练集；
基于LSTM网络对恢复后的仿真液体数据训练集进行图像帧关系预测处理，输出训练后的双阶段训练模型；
获取模块，用于获取真实环境流体图像；
重建模块，用于将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。
CN202410319084.9A 2024-03-20 2024-03-20 一种基于数据驱动的液体表面三维重建方法及系统 Active CN117993302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410319084.9A CN117993302B (zh) 2024-03-20 2024-03-20 一种基于数据驱动的液体表面三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410319084.9A CN117993302B (zh) 2024-03-20 2024-03-20 一种基于数据驱动的液体表面三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN117993302A CN117993302A (zh) 2024-05-07
CN117993302B true CN117993302B (zh) 2024-06-07

Family

ID=90900727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410319084.9A Active CN117993302B (zh) 2024-03-20 2024-03-20 一种基于数据驱动的液体表面三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN117993302B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930622A (zh) * 2009-09-29 2010-12-29 北京航空航天大学 浅水水波的真实感建模与绘制
CN109840935A (zh) * 2017-12-12 2019-06-04 中国科学院计算技术研究所 基于深度采集设备的波浪重建方法和系统
CN113808248A (zh) * 2021-03-10 2021-12-17 北京航空航天大学 基于物理感知的三维流体逆向建模方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930622A (zh) * 2009-09-29 2010-12-29 北京航空航天大学 浅水水波的真实感建模与绘制
CN109840935A (zh) * 2017-12-12 2019-06-04 中国科学院计算技术研究所 基于深度采集设备的波浪重建方法和系统
CN113808248A (zh) * 2021-03-10 2021-12-17 北京航空航天大学 基于物理感知的三维流体逆向建模方法
WO2022188282A1 (zh) * 2021-03-10 2022-09-15 北京航空航天大学 基于物理感知的三维流体逆向建模方法

Also Published As

Publication number Publication date
CN117993302A (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN114066964B (zh) 一种基于深度学习的水产实时尺寸检测方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN110120020A (zh) 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN111582104B (zh) 基于自注意特征聚合网络的遥感图像语义分割方法及装置
CN111242127A (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN113780152A (zh) 一种基于目标感知的遥感图像船只小目标检测方法
CN111046928B (zh) 定位精准的单阶段实时通用目标检测器及方法
CN112200163B (zh) 水下底栖生物检测方法及系统
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
CN113256649A (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN114693744A (zh) 一种基于改进循环生成对抗网络的光流无监督估计方法
CN117274388A (zh) 基于视觉文本关系对齐的无监督三维视觉定位方法及系统
CN117993302B (zh) 一种基于数据驱动的液体表面三维重建方法及系统
CN110728178A (zh) 一种基于深度学习的事件相机车道线提取方法
US11830164B2 (en) Semantic learning-based down-sampling method of point cloud data of aircraft
CN117392625A (zh) 一种多模态bev环视感知方法、装置、设备及存储介质
CN115578260B (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
Wu et al. Hrlinknet: Linknet with high-resolution representation for high-resolution satellite imagery
Yang et al. Underwater bubble plume image generative model based on noise prior and multi conditional labels
CN111539922A (zh) 基于多任务网络的单目深度估计与表面法向量估计方法
CN115222790B (zh) 单光子三维重建方法、系统、设备及存储介质
CN113487551B (zh) 基于深度学习提升密集目标性能的垫片检测方法及装置
Zheng et al. Segmentation and Edge Detection for Ionogram Automatic Scaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 528200 No. 33, Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee after: Foshan University

Country or region after: China

Address before: 528200 No. 33, Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Country or region before: China