CN113808248B - 基于物理感知的三维流体逆向建模方法 - Google Patents

基于物理感知的三维流体逆向建模方法 Download PDF

Info

Publication number
CN113808248B
CN113808248B CN202110259844.8A CN202110259844A CN113808248B CN 113808248 B CN113808248 B CN 113808248B CN 202110259844 A CN202110259844 A CN 202110259844A CN 113808248 B CN113808248 B CN 113808248B
Authority
CN
China
Prior art keywords
loss function
dimensional
fluid
field
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110259844.8A
Other languages
English (en)
Other versions
CN113808248A (zh
Inventor
高阳
谢雪光
侯飞
郝爱民
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110259844.8A priority Critical patent/CN113808248B/zh
Priority to PCT/CN2021/099823 priority patent/WO2022188282A1/zh
Publication of CN113808248A publication Critical patent/CN113808248A/zh
Application granted granted Critical
Publication of CN113808248B publication Critical patent/CN113808248B/zh
Priority to US18/243,538 priority patent/US20230419001A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/28Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/10Numerical modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/24Fluid dynamics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Fluid Mechanics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开的实施例公开了基于物理感知的三维流体逆向建模方法。该方法的一具体实施方式包括:通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场;将上述表面速度场输入至预先训练的三维卷积神经网络中,得到三维流场,其中,上述三维流场包括速度场和压力场;将上述表面速度场输入至预先训练的回归网络中,得到流体参数;将上述三维流场和上述流体参数输入至基于物理的流体仿真器中,得到上述三维流场的时间序列。该实施方式满足了真实流体复现和基于物理的流体重编辑的需要。

Description

基于物理感知的三维流体逆向建模方法
技术领域
本公开的实施例涉及流体逆向建模技术领域,具体涉及基于物理感知的三维流体逆向建模方法。
背景技术
随着计算机技术的发展,流体在计算机中的复现变得迫切,如游戏/电影制作和虚拟现实等领域。因此,在近二十年来,它在计算机图形学领域得到了广泛的关注。现代基于物理的流体模拟器能够根据给定的初始状态和物理属性生成生动的流体场景。然而,初始状态往往过于简化,因此很难取得特定的结果。另一个流体复现的解决方案是仿真过程的逆问题——捕捉现实世界中的动态体流场,然后在虚拟环境中复现流体。然而,几十年来,它仍然是一个具有挑战性的问题,因为流体没有静止的形状,在现实世界中有太多的变量需要捕捉。
在工程领域,人们使用一些复杂的设备和技术来捕获三维场,如同步摄像机、染色液、彩色编码或结构化照明和激光设备等。而在图形学领域,往往是使用更为简便的采集设备获取流体视频或图像,而后基于图形学知识进行体或表面几何重建。这种方法往往不能重建内部流场,或重建的内部流场不够精确,不能应用在物理正确的重仿真上。因此,从简单和未标定的流体表面运动图像中建模三维流场是一项具有挑战性的任务。
另一方面,目前从捕获的流体中重仿真方法存在一些问题。格雷格森等人通过增加捕获流场的分辨率来进行流体重仿真。对于更加复杂的保证物理正确的场景重编辑,如增加流固耦合、多相流等,由于缺乏流体的物理属性,目前很难实现。其中,流体的物理属性确定成为瓶颈。一种可能的方法是采用书中列出的材料参数或在现实世界中测量的材料参数。然而,一般来说,大多数流体材料的参数值在手边没有,而且测量仪器也不能广泛使用。许多方法通过试错过程手动调整参数,即结合正向物理仿真和反向的参数优化进行迭代,方法十分耗时,在某些情况下超出了实际应用范围。
随着机器学习等技术的发展,数据驱动渐渐成为了计算机图形学中的热门方法。这一技术的出发点是为了从数据中学习到新的信息以帮助人们在理论模型的基础上进一步理解现实世界,并更精确地将其还原。对于流体领域来说,数据驱动的思路更是意义非凡。因为流体流场存在一定的复杂的分布规则,通过方程很难表达,因此,借助数据驱动和机器学习,学习流体中的特征,从而产生流体效果是现阶段重要且可行的手段之一。
为了解决上述问题,本发明提出了一种基于物理感知的从表面运动到时空流场的流体逆向建模技术。其通过将深度学习与传统物理仿真方法相结合,从可测量的流体表面运动中重建三维流场,从而取代传统的通过复杂设备采集流体的工作。首先通过对表面几何时间序列的时空特征进行编码和解码,用一个两步的卷积神经网络结构实现某一时刻体流场的逆向建模,分别为表面速度场提取和三维流场重建。同时,基于数据驱动方法采用回归网络精准估计流体的物理参数。然后,将重建的流场和估计参数作为初始状态输入到物理模拟器中,实现流场的显式的时间演化。从而得到在视觉上与输入的流体表面运动一致的流体场景。同时,实现基于估计参数的流体场景重编辑。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了基于物理感知的三维流体逆向建模方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种基于物理感知的三维流体逆向建模方法,该方法包括:通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场;将上述表面速度场输入至预先训练的三维卷积神经网络中,得到三维流场,其中,上述三维流场包括速度场和压力场;将上述表面速度场输入至预先训练的回归网络中,得到流体参数;将上述三维流场和上述流体参数输入至基于物理的流体仿真器中,得到上述三维流场的时间序列。
本公开的上述各个实施例具有如下有益效果:首先,通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场。接着,将上述表面速度场输入至预先训练的三维卷积神经网络中,得到三维流场。同时,将上述表面速度场输入至预先训练的回归网络中,得到流体参数。最后,将上述三维流场和上述流体参数输入至流体仿真器中,得到上述三维流场的时间序列。由此,克服了现有流体捕获方法设备过于复杂、场景受到限制的问题,提供了一种基于数据驱动的从表面运动到时空流场的流体逆向建模技术,利用设计的深度学习网络从大量数据集中学习流场的分布规律以及流体属性,弥补内部流场数据、流体属性缺乏的问题,同时基于物理仿真器进行时间推演,满足了真实流体复现和基于物理的流体重编辑的需要。
本公开的原理在于:第一,本发明利用数据驱动的方法即设计一个两阶段的卷积神经网络,来学习数据集中的流场的分布规律。从而能够对输入的表面几何时间序列进行逆向建模,推断出三维的流场数据。进而能够解决单一场景的流体表面数据提供信息不充足的问题。并且网络训练过程应用的综合损失函数中,基于像素点对流场进行约束、基于块对流场空间连续性进行约束、基于连续帧对流场时间维连续性进行约束、基于参数估计网络对物理性质进行约束,保证了生成流场的准确性。第二,参数估计步骤同样采用数据驱动的方式,利用一个回归网络从大量数据中学习规律,使网络能感知流体的隐藏物理因素,进而能够快速准确地估计出参数。第三,应用传统的物理仿真器,能够利用重建的三维流场和估计的参数,从而实现流场的显式时间维度推演。同时,由于物理属性被显式地提出,使得本发明能够在保证物理正确的前提下,对重现的场景进行重编辑。
本公开与现有技术相比的优点在于:
第一,与现有的基于光学特性等采集流场的方法相比,本公开提出的从表面运动逆向建模三维流体的方式,避免了复杂的流场采集设备,减小了实验难度。且网络一旦训练完成,应用速度快,精度高,提高了实验效率。
第二,与现有的基于数据驱动的流体重仿真方法相比,本公开因估计出了流体的属性参数,能够实现物理指导下的场景重编辑,应用更加广泛。
第三,与现有的流体参数估计方法相比,本发明省去了正向仿真和反向优化的复杂迭代过程,能够快速精准的识别出流体的物理参数。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的基于物理感知的三维流体逆向建模方法的一些实施例的流程图;
图2回归网络结构示意图;
图3表面速度场卷积神经网络及附属网络结构示意图;
图4表面速度场卷积神经网络训练过程示意图;
图5三维流场重建的网络体系结构示意图;
图6重仿真结果与真实场景对比;
图7重编辑之固液耦合结果;
图8重编辑之多相流结果;
图9重编辑之调整粘度结果。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开一些实施例的基于物理感知的三维流体逆向建模方法的一些实施例的流程。该方法可以由图1中的计算设备100来执行。该基于物理感知的三维流体逆向建模方法,包括以下步骤:
步骤101,通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场。
在一些实施例中,基于物理感知的三维流体逆向建模方法的执行主体(例如,图1所示的计算设备100)可以利用已经训练好的卷积神经网络fconv1对包含5帧表面高度场的时间序列{h^(t-2),h^(t-1),h^t,h^(t+1),h^(t+2)}进行编码,得到t时刻的表面速度场。
步骤102,将上述表面速度场输入至预先训练的三维卷积神经网络中,得到三维流场。
在一些实施例中,上述执行主体可以基于步骤101得到的表面速度场,利用三维卷积神经网络fconv2推断流体的三维流场。其中,上述三维流场包括速度场和压力场。
步骤103,将上述表面速度场输入至预先训练的回归网络中,得到流体参数。
在一些实施例中,上述执行主体可以用训练好的回归网络fconv3进行流体的参数估计,识别出影响流体性质和行为的流体参数。推断流体运动中隐藏的物理量,这是物理感知的重要环节。
步骤104,将上述三维流场和上述流体参数输入至基于物理的流体仿真器中,得到上述三维流场的时间序列。
在一些实施例中,上述执行主体可以将重建的流场(三维流场)和估计的流体参数输入到传统的基于物理的流体仿真器中,得到三维流场的时间序列。从而完成在虚拟环境中复现所观察到的流体场景图像的任务。同时,通过显式地调整参数或初始流场数据,实现物理指导下的流体场景重编辑。
可选地,上述表面速度场卷积神经网络包括卷积模块组和一个点乘掩膜运算模块,上述卷积模块组所包括的卷积模块的数量为八个,上述卷积模块组中的前7个卷积模块为2DConv-BatchNorm-ReLU结构,上述卷积模块组中的最后一个卷积模块采用2DConv-tanh结构;以及
上述通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场,包括:
将上述流体表面高度场序列输入至上述表面速度场卷积神经网络,得到t时刻的表面速度场。
可选地,上述表面速度场卷积神经网络是训练过程中通过采用综合损失函数训练得到的网络,其中,上述综合损失函数是通过以下步骤生成的:
利用基于L1范数的像素级损失函数、基于判别器的空间连续性损失函数、基于判别器的时间连续性损失函数和基于上述回归网络的约束物理性质的损失函数,生成上述综合损失函数:
L(fconv1,Ds,Dt)=δ×Lpixel+α×LDs+β×LDt+γ×Lv
其中,L(fconv1,Ds,Dt)表示上述综合损失函数。δ表示上述基于L1范数的像素级损失函数的权重值。Lpixel表示上述基于L1范数的像素级损失函数。α表示上述基于判别器的空间连续性损失函数的权重值。LDs表示上述基于判别器的空间连续性损失函数,β表示上述基于判别器的时间连续性损失函数的权重值。LDt表示上述基于判别器的时间连续性损失函数。γ表示上述基于上述回归网络的约束物理性质的损失函数的权重值。Lv表示上述基于上述回归网络的约束物理性质的均方误差损失函数。
可选地,上述三维卷积神经网络包括三维解卷积模块组,上述三维解卷积模块组包括的三维解卷积模块的数量为五个,上述三维卷积神经网络支持点乘掩膜操作,上述三维解卷积模块组中的三维解卷积模块包括Padding层、3DDeConv层、Norm层和ReLU层,上述三维卷积神经网络为训练过程中通过采用流场损失函数得到的网络;以及
上述流场损失函数是通过以下公式生成的:
Figure GDA0003654186580000071
其中,L(fconv2)表示上述流场损失函数。ε表示训练过程中的三维卷积神经网络生成的速度场的权重值。u表示训练过程中的三维卷积神经网络生成的速度场。
Figure GDA0003654186580000072
表示训练过程中的三维卷积神经网络所接收的样本真实速度场。|| ||1表示L1范数。θ表示训练过程中的三维卷积神经网络生成的压力场的权重值。p表示训练过程中的三维卷积神经网络生成的压力场。
Figure GDA0003654186580000073
表示训练过程中的三维卷积神经网络所接收的样本真实压力场。E表示均方误差计算。
可选地,上述回归网络包括:一个2DConv-LeakyReLU模块、两个2DConv-BatchNorm-LeakyReLU模块和一个2DConv模块,上述回归网络为训练过程中通过采用均方误差损失函数得到的网络;以及
上述均方误差损失函数是通过以下公式生成的:
Figure GDA0003654186580000074
其中,Lv表示上述均方误差损失函数。v表示训练过程中的回归网络生成的流体参数。
Figure GDA0003654186580000081
表示训练过程中的回归网络所接收的样本真实流体参数。E表示均方误差计算。
实践中,本发明提供一种基于物理感知的从表面运动到时空流场的流体逆向建模技术,具体地是从流体表面运动的时间序列重建出运动一致的三维流场及其时间演化模型,首先使用深度学习网络进行三维流场重建和属性参数估计,然后以此作为初始状态,应用物理仿真器得到时间序列。这里涉及的流体参数为流体的粘性。考虑到从表面高度场的时间序列直接学习到三维流场是相对困难的,而且难以解释的,本发明分步完成它,即使用一个子网络负责从表面高度序列中提取表面速度场,类似于求导数。然后使用第二个子网络是从表面速度场重建内速度场和压力场,这是具有特定分布特征的场的生成模型。
总体算法的主要步骤如下:
输入:高度场时间序列{ht-2,ht-1,ht,ht+1,ht+2}、表面流场的分类标记ls和三维流场分类标记l;
输出:连续多帧的三维流场,包括速度场u和压力场p;
1)t时刻的表面速度场
Figure GDA0003654186580000082
2)t时刻的三维速度场和压力场
Figure GDA0003654186580000083
3)流体属性粘性系数
Figure GDA0003654186580000084
4)设置重仿真初始状态(u0,p0,l,v)=(ut,pt,l,v);
5)迭代循环仿真程序t=0→n,(ut+1,pt+1)=simutator(ut,pt,l,v):
6)返回{u0,u1,...,un},{p0,p1,...,pn}。
其中,涉及三个深度学习网络和一个物理仿真器,物理仿真器为传统的基于Navier-Stokes方程的不可压缩粘性流体仿真。下面详细介绍几个网络的结构和训练过程:
1、回归网络
应用网络fconv3来估计流体的参数。首先,应用训练集中真实的表面速度场数据进行训练;然后应用时,对由网络fconv1生成的表面速度场进行参数估计。同时参数估计网络fconv3还被应用在网络fconv1的训练过程中,来约束其生成具有特定物理属性的表面速度场。因此,这里首先介绍fconv3。
该回归网络结构如图2所示,其中小长方体表示特征图,其大小标记在每块的下面。输入是表面高度场和速度场的组合,大小为64×64×4,输出是一个估计的参数。网络包括一个2DConv-LeakyReLU模块、两个2DConv-BatchNorm-LeakyReLU模块和一个2DConv模块,最后将得到的14×14数据取平均值得到估计的参数。这样的结构保证了非线性拟合,加快了网络的收敛速度。注意,在处理参数回归问题时,本发明使用斜率为0.2的LeakyReLU激活函数,而非ReLU。同时,该结构对生成的14×14的特征映射进行平均,得到最终的参数,而不是使用全连接层或卷积层,这起到了整合流场每个小方块的参数估计结果的作用,更适合于高细节的表面速度场。在网络fconv3训练阶段,使用基于均方误差损失函数Lv来强迫估计的参数v与实际参数
Figure GDA0003654186580000091
一致,具体定义为:
Figure GDA0003654186580000092
其中,Lv表示上述均方误差损失函数。v表示训练过程中的回归网络生成的流体参数。
Figure GDA0003654186580000093
表示训练过程中的回归网络所接收的样本流体参数。E表示均方误差计算。
2、表面速度场卷积神经网络
表面速度场提取的卷积神经网络fconv1结构如图3中的(a)所示,其第一个输入是一个5帧表面高度场和一个标签图的组合,大小为64×64×6,另一个输入是掩膜,大小为64×64×1,输出是64×64×3的表面速度场。该网络前面为8个卷积模块,除了最后一层使用2DConv-tanh结构,其余每个模块为2DConv-BatchNorm-ReLU结构,然后点乘掩膜,提取出感兴趣的流体区域,并过滤掉障碍物和边界区域。该操作可以提高模型的拟合能力和收敛速度。从图像的角度来看,本发明应用了基于L1范数的像素级损失函数来约束所有像素点的生成数据接近真实值。从流场的角度来看,速度场应满足以下性质:1)由粘度扩散引起的空间连续性;2)由速度对流引起的时间连续性;3)与流体属性相关的速度分布。因此,本发明额外设计了基于判别器Ds的空间连续性损失函数L(Ds)、基于判别器Dt的时间连续性损失函数L(Dt)和基于训练好的参数估计网络fconv3的约束物理性质的损失函数Lv,综合损失函数如下:
L(fconv1,Ds,Dt)=δ×Lpixel+α×LDs+β×LDt+γ×Lv
其中,L(fconv1,Ds,Dt)表示上述综合损失函数。δ表示上述基于L1范数的像素级损失函数的权重值。Lpixel表示上述基于L1范数的像素级损失函数。α表示上述基于判别器的空间连续性损失函数的权重值。LDs表示上述基于判别器的空间连续性损失函数,β表示上述基于判别器的时间连续性损失函数的权重值。LDt表示上述基于判别器的时间连续性损失函数。γ表示上述基于上述回归网络的约束物理性质的损失函数的权重值。Lv表示上述基于上述回归网络的约束物理性质的损失函数。实验时四个权重值分别被设置为120、1、1和50,这是根据几个不同权重的实验结果确定的。
训练时判别器Ds和判别器Dt与网络fconv1对抗训练,已经训练好的参数估计网络fconv3作为一个函数测量生成数据的物理属性,网络参数固定,训练fconv1时不更新。具体如图4所示。
空间连续性:损失函数Lpixel在像素级别上度量产生的表面速度场与真实值之间的差异,而L(Ds)则产生一个判别器Ds来测量图块级别上的差异,两部分的组合保证了生成器学会生成更加真实的空间细节。其中,Lpixel的公式是:
Figure GDA0003654186580000101
判别器Ds是基于小块的流场来区分真假,而非整个流场,其结构与fconv3相同,但输入和输出不同。本文采用LSGANs体系结构,采用最小二乘损失函数对结果进行判别,取代了传统的GAN中应用的交叉熵损失函数。判别器Ds和生成器fconv1交替优化,判别器希望将真实数据与fconv1生成的数据区分开来,而生成器想生成假数据欺骗判别器。因此,生成器的损失函数为:
Figure GDA0003654186580000102
而鉴别器的损失函数为:
Figure GDA0003654186580000111
时间连续性:即网络fconv1接收多帧表面高度图,但生成的表面速度场是单一时刻的。因此,Lpixel和L(Ds)也是作用在单一帧结果上。因此,结果在时间连续性方面存在挑战。本发明使用判别器Dt,使得生成的表面速度场的连续帧尽可能连续,Dt的网络结构见图3中的(b)。本发明未使用三维卷积网络,而是应用R(2+1)D的模块在Dt中,即分别使用2D卷积提取空间特征和时间特征,该结构在学习时空数据时更加有效。
具体地,Dt以三个连续的结果作为输入。连续表面速度场真值为:
Figure GDA0003654186580000112
生成的数据来自对应的三次调用生成器fconv1的结果
Figure GDA0003654186580000113
对应的损失函数为:
Figure GDA0003654186580000114
为了使产生的表面速度场在物理上是正确的,有必要确保流体具有正确的物理参数。因此,本发明设计了一个物理感知的损失函数Lv来评估其物理参数,应用训练好的参数估计网络fconv3作为损失函数。请注意,与上述判别器不同,该网在fconv1训练过程中,保持参数固定,不再进行网络优化。具体公式如下:
Figure GDA0003654186580000115
3、三维流场重建网络
网络fconv2沿重力方向从表面推断内部信息,三维解卷积层被应用来拟合该函数。图5展示了三维流场重建的网络的具体结构,它包括五个三维解卷积模块,每个解卷积模块由Padding、3DDeConv、Norm和ReLU层组成。为了精确处理场景中的障碍和边界,本发明增加了一个额外的点乘掩膜操作,将三维流场标签作为掩码,在非流体区域将速度和压力设置为0,从而降低网络的拟合难度。网络训练过程的损失函数分别对速度场和压力场进行误差计算,并通过加权求和得到最终的流场损失函数,具体公式如下:
Figure GDA0003654186580000116
其中,L(fconv2)表示上述流场损失函数。ε表示训练过程中的三维卷积神经网络生成的速度场的权重值。u表示训练过程中的三维卷积神经网络生成的速度场。
Figure GDA0003654186580000121
表示训练过程中的三维卷积神经网络所接收的样本速度场。|| ||1表示L1范数。θ表示训练过程中的三维卷积神经网络生成的压力场。p表示训练过程中的三维卷积神经网络生成的压力场。
Figure GDA0003654186580000122
表示训练过程中的三维卷积神经网络所接收的样本压力场。执行时,ε、θ分别被设置为10和1。
由于捕获流场是相当困难的,本发明使用现有的流体模拟器来生成所需的数据。数据集包含表面高度图时间序列、对应的表面速度场、三维流场、粘性参数和标记流体、空气和障碍物等数据的标签。场景包括具有方形或圆形边界的场景以及含或不含障碍物的场景。场景的一个假设是,沿重力方向的障碍物和边界的形状是恒定的。
数据的分辨率为64^3。为了确保在物理运动和动力学方面有足够的方差,本发明使用随机模拟装置。数据集包含165个具有不同初始条件的场景,首先丢弃第一个n帧,因为这些数据通常包含可见的飞溅等,表面通常不是连续的,超出了本发明的研究范围。然后保存接下来的60帧作为数据集。为了测试模型对训练集中没有出现的新场景的泛化能力,本发明随机选择6个完整的场景作为测试集。同时,为了测试模型对同一场景的不同周期的泛化能力,从每个剩余场景中随机截取11帧用于测试。为了监测模型过拟合确定训练次数,将其余片段随机分为训练集和验证集,其比例为9:1。然后将训练集、测试集以及验证集全部归一化到[-1,1]区间内。考虑到速度的三个分量之间的相关性,本发明将其作为一个整体进行归一化,而不是分别对三个通道进行处理。
本发明将训练过程分为三个阶段。参数估计网络fconv3训练1000次;网络fconv1训练1000次;fconv2训练100次。ADAM优化器和指数学习率衰减方式分别被用来更新神经网络的权重和学习率。
本发明实现了流体三维体重建和重仿真,实验结果如图6所示,它基于左边输入的表面高度图进行重仿真(第二行),选取5帧进行展示,并与真实场景(第一行)进行对比。此外,流体预测、表面预测和场景的重编辑等应用可以被拓展实现。具体来说,本发明提出的方法支持物理引导下对虚拟环境中许多流体场景的重编辑,如固液耦合(图7)、多相流(图8)和调整粘度(图9)等。其中图7和图8的从左到右依次是输入的表面高度图,重建的3D流场以及重编辑的结果,右边第一行为真实流体的4帧数据,第二行为对应的本发明重编辑的流场,每个结果右下方标记的是选取的一个2D切片的速度场数据。从图中可以看出,基于本发明的重编辑结果保持着高度的还原性。图9是将流体调整为不同粘性值的结果,选取第20帧和第40帧进行展示,每个结果的右下方标记的是对应的表面高度图。从图中可以看出,粘性越小,波动越剧烈,相反,粘性越大,波动越缓慢,符合物理认知。
本公开的上述各个实施例具有如下有益效果:首先,通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场。接着,将上述表面速度场输入至预先训练的三维卷积神经网络中,得到三维流场。同时,将上述表面速度场输入至预先训练的回归网络中,得到流体参数。最后,将上述三维流场和上述流体参数输入至流体仿真器中,得到上述三维流场的时间序列。由此,克服了现有流体捕获方法设备过于复杂、场景受到限制的问题,提供了一种基于数据驱动的从表面运动到时空流场的流体逆向建模技术,利用设计的深度学习网络从大量数据集中学习流场的分布规律以及流体属性,弥补内部流场数据、流体属性缺乏的问题,同时基于物理仿真器进行时间推演,满足了真实流体复现和基于物理的流体重编辑的需要。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (5)

1.一种基于物理感知的三维流体逆向建模方法,包括:
通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场,其中,所述表面速度场卷积神经网络包括卷积模块组和一个点乘掩膜运算模块,所述卷积模块组所包括的卷积模块的数量为八个,所述卷积模块组中的前7个卷积模块为2DConv-BatchNorm-ReLU结构,所述卷积模块组中的最后一个卷积模块采用2DConv-tanh结构;
将所述表面速度场输入至预先训练的三维卷积神经网络中,得到三维流场,其中,所述三维流场包括速度场和压力场,所述三维卷积神经网络包括三维解卷积模块组和一个点乘掩膜运算模块,所述三维解卷积模块组包括的三维解卷积模块的数量为五个,所述三维解卷积模块组中的三维解卷积模块包括Padding层、3DDeConv层、Norm层和ReLU层,所述三维卷积神经网络为训练过程中通过采用流场损失函数得到的网络;
将所述表面速度场输入至预先训练的回归网络中,得到流体参数,其中,所述回归网络包括:一个2DConv-LeakyReLU模块、两个2DConv-BatchNorm-LeakyReLU模块和一个2DConv模块,所述回归网络为训练过程中通过采用均方误差损失函数得到的网络;
将所述三维流场和所述流体参数输入至基于物理的流体仿真器中,得到所述三维流场的时间序列。
2.根据权利要求1所述的方法,其中,所述通过表面速度场卷积神经网络对流体表面高度场序列进行编码,得到t时刻的表面速度场,包括:
将所述流体表面高度场序列输入至所述表面速度场卷积神经网络,得到t时刻的表面速度场。
3.根据权利要求1所述的方法,其中,所述表面速度场卷积神经网络是训练过程中通过采用综合损失函数训练得到的网络,其中,所述综合损失函数是通过以下步骤生成的:
利用基于L1范数的像素级损失函数、基于判别器的空间连续性损失函数、基于判别器的时间连续性损失函数和基于所述回归网络的约束物理性质的损失函数,生成所述综合损失函数:
L(fconv1,Ds,Dt)=δ×Lpixel+α×LDs+β×LDt+γ×Lv
其中,L(fconv1,Ds,Dt)表示所述综合损失函数,δ表示所述基于L1范数的像素级损失函数的权重值,Lpixel表示所述基于L1范数的像素级损失函数,α表示所述基于判别器的空间连续性损失函数的权重值,LDs表示所述基于判别器的空间连续性损失函数,β表示所述基于判别器的时间连续性损失函数的权重值,LDt表示所述基于判别器的时间连续性损失函数,γ表示所述基于所述回归网络的约束物理性质的损失函数的权重值,Lv表示所述基于所述回归网络的约束物理性质的损失函数。
4.根据权利要求1所述的方法,其中,所述流场损失函数是通过以下公式生成的:
Figure FDA0003654186570000021
其中,L(fconv2)表示所述流场损失函数,ε表示训练过程中的三维卷积神经网络生成的速度场的权重值,u表示训练过程中的三维卷积神经网络生成的速度场,
Figure FDA0003654186570000022
表示训练过程中的三维卷积神经网络所接收的样本真实速度场,|| ||1表示L1范数,θ表示训练过程中的三维卷积神经网络生成的压力场的权重值,p表示训练过程中的三维卷积神经网络生成的压力场,
Figure FDA0003654186570000023
表示训练过程中的三维卷积神经网络所接收的样本真实压力场,E表示均方误差计算。
5.根据权利要求1所述的方法,其中,所述均方误差损失函数是通过以下公式生成的:
Figure FDA0003654186570000031
其中,Lv表示所述均方误差损失函数,v表示训练过程中的回归网络生成的流体参数,
Figure FDA0003654186570000032
表示训练过程中的回归网络所接收的样本真实流体参数,E表示均方误差计算。
CN202110259844.8A 2021-03-10 2021-03-10 基于物理感知的三维流体逆向建模方法 Active CN113808248B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110259844.8A CN113808248B (zh) 2021-03-10 2021-03-10 基于物理感知的三维流体逆向建模方法
PCT/CN2021/099823 WO2022188282A1 (zh) 2021-03-10 2021-06-11 基于物理感知的三维流体逆向建模方法
US18/243,538 US20230419001A1 (en) 2021-03-10 2023-09-07 Three-dimensional fluid reverse modeling method based on physical perception

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259844.8A CN113808248B (zh) 2021-03-10 2021-03-10 基于物理感知的三维流体逆向建模方法

Publications (2)

Publication Number Publication Date
CN113808248A CN113808248A (zh) 2021-12-17
CN113808248B true CN113808248B (zh) 2022-07-29

Family

ID=78892896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259844.8A Active CN113808248B (zh) 2021-03-10 2021-03-10 基于物理感知的三维流体逆向建模方法

Country Status (3)

Country Link
US (1) US20230419001A1 (zh)
CN (1) CN113808248B (zh)
WO (1) WO2022188282A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580252A (zh) * 2022-05-09 2022-06-03 山东捷瑞数字科技股份有限公司 一种用于流体仿真的图神经网络仿真方法及系统
CN116127844B (zh) * 2023-02-08 2023-10-31 大连海事大学 一种考虑流动控制方程约束的流场时程深度学习预测方法
CN116246039B (zh) * 2023-05-12 2023-07-14 中国空气动力研究与发展中心计算空气动力研究所 一种基于深度学习的三维流场网格分类分割方法
CN116562330B (zh) * 2023-05-15 2024-01-12 重庆交通大学 一种人工智能鱼模拟系统的流场识别方法
CN116563342B (zh) * 2023-05-18 2023-10-27 广东顺德西安交通大学研究院 一种基于图像识别的水泡跟踪方法及装置
CN116522803B (zh) * 2023-06-29 2023-09-05 西南科技大学 一种可解释深度学习的超声速燃烧室流场重构方法
CN116776135B (zh) * 2023-08-24 2023-12-19 之江实验室 一种基于神经网络模型的物理场数据预测方法及装置
CN117034815B (zh) * 2023-10-08 2024-01-23 中国空气动力研究与发展中心计算空气动力研究所 一种基于切片的超声速无粘流动智能初场设置方法
CN117993302B (zh) * 2024-03-20 2024-06-07 佛山科学技术学院 一种基于数据驱动的液体表面三维重建方法及系统
CN118296974B (zh) * 2024-06-06 2024-08-02 浙江大学 基于物理场残差学习的流场仿真方法、系统、介质及设备
CN118521718B (zh) * 2024-07-23 2024-09-27 中国海洋大学 一种基于神经辐射场的流体重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381914A (zh) * 2020-11-05 2021-02-19 华东师范大学 一种基于数据驱动的流体动画参数估计与细节增强方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740509B2 (en) * 2017-08-14 2020-08-11 Autodesk, Inc. Machine learning three-dimensional fluid flows for interactive aerodynamic design
CN109840935A (zh) * 2017-12-12 2019-06-04 中国科学院计算技术研究所 基于深度采集设备的波浪重建方法和系统
CN108717722A (zh) * 2018-04-10 2018-10-30 天津大学 基于深度学习和sph框架的流体动画生成方法及装置
CN110335275B (zh) * 2019-05-22 2023-03-28 北京航空航天大学青岛研究院 一种基于三变量双调和b样条的流体表面的时空向量化方法
CN110348059B (zh) * 2019-06-12 2021-03-12 西安交通大学 一种基于结构化网格的通道内流场重构方法
CN110222828B (zh) * 2019-06-12 2021-01-15 西安交通大学 一种基于混合深度神经网络的非定常流场预测方法
CN110441271B (zh) * 2019-07-15 2020-08-28 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN111460741B (zh) * 2020-03-30 2024-07-02 北京工业大学 一种基于数据驱动的流体模拟方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381914A (zh) * 2020-11-05 2021-02-19 华东师范大学 一种基于数据驱动的流体动画参数估计与细节增强方法

Also Published As

Publication number Publication date
CN113808248A (zh) 2021-12-17
US20230419001A1 (en) 2023-12-28
WO2022188282A1 (zh) 2022-09-15

Similar Documents

Publication Publication Date Title
CN113808248B (zh) 基于物理感知的三维流体逆向建模方法
Cartucho et al. VisionBlender: a tool to efficiently generate computer vision datasets for robotic surgery
CN112541445B (zh) 人脸表情的迁移方法、装置、电子设备及存储介质
Romeny Front-end vision and multi-scale image analysis: multi-scale computer vision theory and applications, written in mathematica
JP7026222B2 (ja) 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
CN111901598A (zh) 视频解码与编码的方法、装置、介质及电子设备
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN112037310A (zh) 基于神经网络的游戏人物动作识别生成方法
Kim et al. Binocular fusion net: deep learning visual comfort assessment for stereoscopic 3D
CN112818904A (zh) 一种基于注意力机制的人群密度估计方法及装置
CN115496663A (zh) 基于d3d卷积组内融合网络的视频超分辨率重建方法
Wu et al. [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology
Qiu et al. A Rapid, End‐to‐end, Generative Model for Gaseous Phenomena from Limited Views
Tang et al. Neural Underwater Scene Representation
Subias et al. In‐the‐wild Material Appearance Editing using Perceptual Attributes
Liu et al. Low-rank matrix completion to reconstruct incomplete rendering images
Quan et al. Fluid re-simulation based on physically driven model from video
CN112380764A (zh) 一种在有限视图下的气体场景端到端快速重建方法
CN111010559B (zh) 裸眼三维光场内容的生成方法及装置
CN117611731B (zh) 一种基于GANs的颅面复原方法
Zhang et al. Visual perception of fluid viscosity: Toward realistic fluid simulation
EP4344227A1 (en) Video frame interpolation method and apparatus, and device
Evans et al. Transferring Spatial Data from Unity to ArcGIS
Zhao et al. Temporally consistent depth map prediction using deep convolutional neural network and spatial-temporal conditional random field
Wang et al. OPS-Net: Over-Parameterized Sharing Networks for Video Frame Interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant