CN114118405A - 内嵌物理知识的神经网络的损失函数自适应平衡方法 - Google Patents

内嵌物理知识的神经网络的损失函数自适应平衡方法 Download PDF

Info

Publication number
CN114118405A
CN114118405A CN202111246155.XA CN202111246155A CN114118405A CN 114118405 A CN114118405 A CN 114118405A CN 202111246155 A CN202111246155 A CN 202111246155A CN 114118405 A CN114118405 A CN 114118405A
Authority
CN
China
Prior art keywords
neural network
loss
loss function
follows
physical knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111246155.XA
Other languages
English (en)
Inventor
彭伟
张小亚
周炜恩
姚雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202111246155.XA priority Critical patent/CN114118405A/zh
Publication of CN114118405A publication Critical patent/CN114118405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Fluid Mechanics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种内嵌物理知识的神经网络的损失函数自适应平衡方法，该方法用于计算流体力学，包括：步骤S1：构建神经网络；步骤S2：基于Navier‑Stokes方程建立流体力学模型，确定待求解的偏微分方程，初始化所述神经网络的参数，构造内嵌物理知识的损失函数；步骤S3：通过考虑每个损失函数的随机不确定性权衡多个损失函数，实现自动加权；步骤S4：获取最优矩阵参数和最优权重参数，得到所述流体力学模型的神经网络。由此，利用深度学习中的多任务学习似然方法，根据每个损失的随机不确定性平衡多个损失函数，实现训练过程中损失权重自适应，最后找到最优损失权重配置使得神经网络模型性能达到最优，以高效快速求解流体力学模型对应的偏微分方程。

Description

内嵌物理知识的神经网络的损失函数自适应平衡方法
技术领域
本发明涉及神经网络技术领域，尤其涉及一种内嵌物理知识的神经网络的损失函数自适应平衡方法。
背景技术
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，随着神经网络学习技术的不断发展，近年来，神经网络在各个领域取得显著成绩，例如，自然语言处理、计算视觉以及基因学等。
在最近的研究中，为了能够有效地求解偏微分方程，研究人员提出了一种内嵌物理信息神经网络(physical informed neural network，简称PINN)，其可以作为一种用于求解偏微分方程正逆问题的通用框架，该神经网络可以将已有的物理先验信息编码到损失函数中进行训练优化，建立满足物理规律的代理模型。相对于传统数值方法，例如有限元方法、有限差分，内嵌物理知识神经网络避免了网格建立的复杂繁琐过程和可能出现的维度爆炸问题，节约了求解时间和计算成本，并且能够对整个定义域进行准确预测。
该神经网络中的损失函数一般由偏微分方程损失、边值条件损失、初值条件损失和真值条件损失进行加权线性求和定义，其中，其模型性能对各项损失权重选择即为敏感，模型收敛程度及学习效果很大程度上取决于每个损失权重的选择。例如，在求解流体力学模型中流体的速度场和压力场时，各项损失函数权重的选择是一个复杂的问题，简单的神经网络可以依据经验设置或者手动寻找最佳权重，对于大型神经网络模型，手动寻找最佳权重成本昂贵且费时。
发明内容
为至少部分地解决上述现有技术中存在的技术问题，本发明提供一种内嵌物理知识的神经网络的损失函数自适应平衡方法。
本发明的技术方案如下：
一种内嵌物理知识的神经网络的损失函数自适应平衡方法，所述方法用于计算流体力学，所述方法包括：
步骤S1：构建神经网络；
步骤S2：基于Navier-Stokes方程建立流体力学模型，确定待求解的偏微分方程，初始化所述神经网络的参数，构造内嵌物理知识的损失函数；
步骤S3：通过考虑每个损失函数的随机不确定性权衡多个损失函数，实现自动加权；
步骤S4：获取最优矩阵参数和最优权重参数，得到所述流体力学模型的神经网络。
可选地，在所述步骤S1中，包括：设定所述神经网络的层数为L，定义所述神经网络为NN(x,t；θ)，则所述神经网络NN(x,t；θ)表示如下：
输入层：
Figure BDA0003320917160000021
隐藏层：
Figure BDA0003320917160000022
输出层：
Figure BDA0003320917160000023
其中，所述神经网络中第l层有Nl个神经元，并设定第l层中，权重矩阵
Figure BDA0003320917160000024
和偏差向量
Figure BDA0003320917160000025
网络参数θ＝{Wl,bl}1≤l≤L。
可选地，在所述步骤S1中，所述隐藏层中的激活函数包括Sigmoid，Tanh和Relu中的至少一种。
可选地，在所述步骤S2中，包括：所述待求解的偏微分方程定义如下：
Figure BDA0003320917160000026
其中，u(x)为所述流体力学模型的目标函数，λ为NS方程中的雷诺数Re，自变量x为流体速度场和压力场的计算域，自变量x∈Ω,t∈[0,T]，B(u,x)为边界条件。
可选地，在所述步骤S2中，包括：将所述损失函数定义为偏微分方程损失LPDE(θ；Tf)、边界条件损失LBC(θ；Tb)、初值条件损失LIC(θ；Ti)和真值条件损失LData(θ；Tdata)的加权总和，具体描述如下：所述损失函数L(θ；T)＝ωfLPDE(θ；Tf)+ωbLBC(θ；Tb)+ωiLIC(θ；Ti)+ωdLdata(θ；Tdata)，
其中，
Figure BDA0003320917160000031
在上述公式中，ωf,ωb,ωi,ωd为各损失的权重参数，T＝Tf∪Tb∪Ti∪Tdata，Tf,Tb,Ti,Tdata为来自偏微分方程，边界条件，初值条件及真值采样数据点的集合。
可选地，在所述步骤S3中，通过考虑每个损失函数的随机不确定性权衡多个损失函数，实现自动加权，包括：令fθ(x)表示网络参数为θ的神经网络输入为x对应的输出值，定义对应的高斯似然如下：p(y|fθ(x))＝N(fθ(x),ε2)；
其中，fθ(x)为均值，ε2为速度场和压力场的噪声，
对数似然描述如下：
Figure BDA0003320917160000032
优化可得：
Figure BDA0003320917160000033
其中，L1(θ)表示损失函数。
可选地，在所述步骤S3中，还包括：设定具有足够训练量得到对应于流体力学模型中速度场和压力场的多输出y1,…,yk，得到似然如下：
Figure BDA0003320917160000034
负对数似然描述如下：
Figure BDA0003320917160000041
由此，神经网络的损失函数设置如下：
Figure BDA0003320917160000042
其中，εf,εb,εi,εd分别表示为控制偏微分损失，边界损失，初值损失和真值残差的权重，参数ε＝[εf,εb,εi,εd]。
可选地，在所述步骤S3中，还包括：通过最小化损失函数L(ε；θ；T)获取最优矩阵参数θ*和最优权重参数ε*。
本发明技术方案的主要优点如下：
本发明的内嵌物理知识的神经网络的损失函数自适应平衡方法，利用深度学习中的多任务学习似然方法，在神经网络中，根据每个损失的随机不确定性平衡多个损失函数，实现训练过程中损失权重自适应，最后找到最优损失权重配置使得模型性能达到最优，实现高效快速求解偏微分方程的正、逆问题并且提升预测准确性，在实际应用时，能更高效准确地求解流体力学模型对应的非线性偏微分方程，提高计算精度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为根据本发明的一个实施方式中的内嵌物理知识的神经网络的损失函数自适应平衡方法的结构原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着可用数据和计算资源的爆炸性增长，深度学习已在包括图像识别，自然语言处理等领域取得较大发展。通过深度学习求解偏微分方程已经成为科学机器学习的潜在新领域，由于科学计算领域数据获取成本高昂，在小样本体制下大多数神经网络无法保证结果收敛。深度学习解决偏微分方程的关键步骤是通过约束神经网络使损失函数最小化。而深度学习中的多任务学习似然方法，通过任务不确定性捕获任务之间的相对置信度，对不同的任务损失进行加权，在任务之间共享信息提高了方法的通用性。若将该方法应用于内嵌物理知识神经网络中，就能提高各项损失函数之间的关联性，实现模型训练过程中各项损失权重的自适应，降低模型对初始权重配置的依赖，以更快的收敛速度得到更高的收敛精度。
在本实施方式的方法中，利用深度学习中的多任务学习似然方法，根据每个损失的随机不确定性平衡多个损失函数，实现训练过程中损失权重自适应，最后找到最优损失权重配置使得模型性能达到最优，实现高效快速求解偏微分方程的正、逆问题并且提升预测准确性。
本发明中的神经网络的损失函数自适应平衡方法可以用于计算流体力学，通过神经网络模拟以获得某种流体在特定条件下的目标信息。
为了更明确的说明本发明的方案，以下将以一般形式参数化的非线性微分方程为例在本实施方式中进行具体说明。
在本实施方式中，该非线性微分方程可以描述为：
ut+N[u]＝0,x∈Ω,t∈[0,T]。
在本实施方式中，可以利用神经网络模拟Navier Stokes(纳维叶－斯托克斯)方程相关的二维稳定Kovasznay流。
具体地，通过神经网络构建模型用以输出预定区域内流体的速度场和压力场，例如，输出长方形区域[-0.5,1]×[-0.5,1.5]内流体的速度场和压力场。
在本实施方式的损失函数自适应平衡方法中，具体实施步骤为：
步骤S1：构建神经网络；
具体地，在步骤S1中，设定神经网络的层数为L，该神经网络可以表示为NN(x,t；θ)，或者也可以设定该神经网络具有L-1个隐藏层，则所述神经网络NN(x,t；θ)表示如下：
输入层：
Figure BDA0003320917160000051
隐藏层：
Figure BDA0003320917160000052
输出层：
Figure BDA0003320917160000053
其中，神经网络中第l层有Nl个神经元(N0＝din,NL＝dout)，设定第l层中，权重矩阵
Figure BDA0003320917160000061
和偏差向量
Figure BDA0003320917160000062
网络参数θ＝{Wl,bl}1≤l≤L。
进一步地，在步骤S1中，隐藏层中的激活函数σ包括Sigmoid，Tanh和Relu中的至少一种。
步骤S2：基于Navier-Stokes方程建立流体力学模型，确定待求解的偏微分方程，初始化所述神经网络的参数，构造内嵌物理知识的损失函数；
示例性地，本实施方式中可以基于Navier-Stokes方程连接流体力学模型。具体地，该流体力学模型可以为：
Figure BDA0003320917160000063
其中，u为速度场，p为压力场，Re为雷诺数。
用于预测的神经网络模型为L＝4层网络与每层Nl＝50个神经元完全连接，并选用tanh函数作为激活函数。
在本实施方式中，待求解的非线性偏微分方程(Partial differentialequation，简称PDE)的定义可以表示为如下：
Figure BDA0003320917160000064
其中u(x)为流体力学模型的目标函数，λ为NS方程(Navier Stokes方程)中的雷诺数Re，自变量x为流体速度场和压力场的计算域，自变量x∈Ω,t∈[0,T]。存在边界条件B(u,x)可以是Dirichlet，Neumann和Robin。
在本实施方式中，正问题即求解微分方程，逆问题即恢复控制方程中的未知参数λ。
进一步地，在步骤S2中，建立神经网络
Figure BDA0003320917160000065
拟合目标函数u(x)，通过自动微分实时得到
Figure BDA0003320917160000066
的梯度。
此外，初始化神经网络中的神经网络参数，通过构造内嵌物理知识的损失函数对所述神经网络
Figure BDA0003320917160000067
进行物理限制。将损失函数定义为偏微分方程损失LPDE(θ；Tf)、边界条件损失LBC(θ；Tb)、初值条件损失LIC(θ；Ti)和真值条件损失LData(θ；Tdata)的加权总和，具体描述如下：L(θ；T)＝ωfLPDE(θ；Tf)+ωbLBC(θ；Tb)+ωiLIC(θ；Ti)+ωdLdata(θ；Tdata)，
其中，
Figure BDA0003320917160000071
在上述公式中，ωf,ωb,ωi,ωd为各损失的权重参数，T＝Tf∪Tb∪Ti∪Tdata，Tf,Tb,Ti,Tdata为来自偏微分方程，边界条件，初值条件及真值采样数据点的集合。
步骤S3：通过考虑每个损失函数的随机不确定性权衡多个损失函数，实现自动加权；
具体地，令fθ(x)表示网络参数为θ的神经网络输入为x对应的输出值，本实施方式中神经网络求解偏微分方程是回归任务，定义对应的高斯似然如下：p(y|fθ(x))＝N(fθ(x),ε2)，
其中，fθ(x)为均值，ε2为速度场和压力场的噪声。
对于回归任务，对数似然描述如下：
Figure BDA0003320917160000072
训练模型的优化目标为最小化负对数似然找到最优矩阵参数θ和标准差ε，优化可得：
Figure BDA0003320917160000073
其中，L1(θ)表示损失函数，在上式中，随着ε增加，L1(θ)权重减小。
由此，在步骤S3中，设定具有足够训练量得到对应于流体力学模型中速度场和压力场的多输出y1,…,yk，得到似然如下：
Figure BDA0003320917160000074
负对数似然描述如下：
Figure BDA0003320917160000075
神经网络的损失函数可以设置为如下：
Figure BDA0003320917160000081
其中，εf,εb,εi,εd分别为控制偏微分损失，边界损失，初值损失和真值残差的权重，参数ε＝[εf,εb,εi,εd]。
步骤S4：获取最优矩阵参数和最优权重参数，得到所述流体力学模型的神经网络。
之后，通过最小化损失函数L(ε；θ；T)获取最优矩阵参数θ*和最优权重参数ε*，其中，可以采用随机梯度下降(stochastic gradient decent，简称SGD)或自适应动量估计(Adaptive Moment Estimation，简称Adam)算法对损失函数进行优化。其具体原理图如图1所示。
在最小化损失函数L(ε；θ；T)得到最优矩阵参数θ*和最优权重参数ε*之后，将其代入神经网络中，从而得到可以求解流体力学模型中流体的速度场和压力场的神经网络，借助该神经网络可以快速求解与该流体力学模型对应的偏微分方程。
在一个具体的实施例中，神经网络自适应损失函数由参数ε＝[εf,εb]组合偏微分方程损失LPDE(θ；Tf)、边界条件损失LBC(θ；Tb)进行定义，试验选择数据量为Tb＝101,Tf＝2601。使用Adam优化器以0.001的学习率，通过最小化自适应损失函数，迭代10000次训练该神经网络，得到该计算域内流体的速度场和压力场，对比真实解误差为6.411×10-4±4.320×10-5，低于基准神经网络的最终误差4.435×10-3±2.872×10-3。
由此，在本实施方式的损失函数自适应平衡方法中，利用深度学习中的多任务学习似然方法，在神经网络中，根据每个损失的随机不确定性平衡多个损失函数，实现训练过程中损失权重自适应，最后找到最优损失权重配置使得模型性能达到最优，实现高效快速求解流体力学模型对应的偏微分方程的正、逆问题并且提升预测准确性，在实际应用时，能更高效准确地求解非线性偏微分方程，提高计算精度。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。
最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，所述方法用于计算流体力学，所述方法包括：
步骤S1：构建神经网络；
步骤S2：基于Navier-Stokes方程建立流体力学模型，确定待求解的偏微分方程，初始化所述神经网络的参数，构造内嵌物理知识的损失函数；
步骤S3：通过考虑每个损失函数的随机不确定性权衡多个损失函数，实现自动加权；
步骤S4：获取最优矩阵参数和最优权重参数，得到所述流体力学模型的神经网络。
2.根据权利要求1中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S1中，包括：设定所述神经网络的层数为L，定义所述神经网络为NN(x,t；θ)，则所述神经网络NN(x,t；θ)表示如下：
输入层：
Figure FDA0003320917150000011
隐藏层：
Figure FDA0003320917150000012
for1≤l≤L-1；
输出层：
Figure FDA0003320917150000013
其中，所述神经网络中第l层有Nl个神经元，并设定第l层中，权重矩阵
Figure FDA0003320917150000014
和偏差向量
Figure FDA0003320917150000015
网络参数θ＝{Wl,bl}1≤l≤L。
3.根据权利要求2中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S1中，所述隐藏层中的激活函数σ包括Sigmoid，Tanh和Relu中的至少一种。
4.根据权利要求3中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S2中，包括：所述待求解的偏微分方程定义如下：
Figure FDA0003320917150000016
其中，u(x)为所述流体力学模型的目标函数，λ为NS方程中的雷诺数Re，自变量x为流体速度场和压力场的计算域，自变量x∈Ω,t∈[0,T]，B(u,x)为边界条件。
5.根据权利要求4中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S2中，包括：将所述损失函数定义为偏微分方程损失LPDE(θ；Tf)、边界条件损失LBC(θ；Tb)、初值条件损失LIC(θ；Ti)和真值条件损失LData(θ；Tdata)的加权总和，具体描述如下：所述损失函数L(θ；T)＝ωfLPDE(θ；Tf)+ωbLBC(θ；Tb)+ωiLIC(θ；Ti)+ωdLdata(θ；Tdata)，
其中，
Figure FDA0003320917150000021
在上述公式中，ωf,ωb,ωi,ωd为各损失的权重参数，T＝Tf∪Tb∪Ti∪Tdata，Tf,Tb,Ti,Tdata为来自偏微分方程，边界条件，初值条件及真值采样数据点的集合。
6.根据权利要求5中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S3中，通过考虑每个损失函数的随机不确定性权衡多个损失函数，实现自动加权，包括：令fθ(x)表示网络参数为θ的神经网络输入为x对应的输出值，定义对应的高斯似然如下：p(y|fθ(x))＝N(fθ(x),ε2)；
其中，fθ(x)为均值，ε2为速度场和压力场的噪声，
对数似然描述如下：
Figure FDA0003320917150000022
优化可得：
Figure FDA0003320917150000023
其中，L1(θ)表示损失函数。
7.根据权利要求6中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S3中，还包括：设定具有足够训练量得到对应于流体力学模型中速度场和压力场的多输出y1,…,yk，得到似然如下：
Figure FDA0003320917150000031
负对数似然描述如下：
Figure FDA0003320917150000032
由此，神经网络的损失函数设置如下：
Figure FDA0003320917150000033
其中，εf,εb,εi,εd分别表示为控制偏微分损失，边界损失，初值损失和真值残差的权重，参数ε＝[εf,εb,εi,εd]。
8.根据权利要求7中所述的内嵌物理知识的神经网络的损失函数自适应平衡方法，其特征在于，在所述步骤S3中，还包括：通过最小化损失函数L(ε；θ；T)获取最优矩阵参数θ*和最优权重参数ε*。
CN202111246155.XA 2021-10-26 2021-10-26 内嵌物理知识的神经网络的损失函数自适应平衡方法 Pending CN114118405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111246155.XA CN114118405A (zh) 2021-10-26 2021-10-26 内嵌物理知识的神经网络的损失函数自适应平衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111246155.XA CN114118405A (zh) 2021-10-26 2021-10-26 内嵌物理知识的神经网络的损失函数自适应平衡方法

Publications (1)

Publication Number Publication Date
CN114118405A true CN114118405A (zh) 2022-03-01

Family

ID=80376836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111246155.XA Pending CN114118405A (zh) 2021-10-26 2021-10-26 内嵌物理知识的神经网络的损失函数自适应平衡方法

Country Status (1)

Country Link
CN (1) CN114118405A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238579A (zh) * 2022-07-21 2022-10-25 中国核动力研究设计院 基于物理指引下机器学习算法的本构模型构建方法及装置
CN115687859A (zh) * 2022-09-09 2023-02-03 郑州航空工业管理学院 一种偏微分方程数值求解系统
CN116050247A (zh) * 2022-12-06 2023-05-02 大连理工大学 用于求解未知外部驱动力作用下的有界振动杆位移分布的耦合物理信息神经网络
CN116172598A (zh) * 2023-02-22 2023-05-30 北京医准智能科技有限公司 一种血流储备分数确定方法、装置、电子设备及存储介质
WO2023202511A1 (zh) * 2022-04-20 2023-10-26 华为技术有限公司 一种数据的处理方法、神经网络的训练方法以及相关设备
WO2024031525A1 (en) * 2022-08-11 2024-02-15 Robert Bosch Gmbh Method and apparatus for bi-level physics-informed neural networks for pde constrained optimization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297534A (zh) * 2021-07-12 2021-08-24 东南大学 一种基于双神经网络框架的等离子体方程数值计算方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297534A (zh) * 2021-07-12 2021-08-24 东南大学 一种基于双神经网络框架的等离子体方程数值计算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LU LU等: "DeepXDE: A Deep LearningLibrary for Solving DifferentialEquations", 《SIAM REVIEW》, vol. 63, no. 1, pages 211 *
XU LIU等: "A novel meta-learning initialization method for physics-informed neural networks", 《ARXIV-MACHINE LEARNING》, pages 6 *
ZIXUE XIANG等: "Self-adaptive loss balanced Physics-informed neural networks for the incompressible Navier-Stokes equations", 《ARXIV-FLUID DYNAMICS》, pages 1 - 12 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202511A1 (zh) * 2022-04-20 2023-10-26 华为技术有限公司 一种数据的处理方法、神经网络的训练方法以及相关设备
CN115238579A (zh) * 2022-07-21 2022-10-25 中国核动力研究设计院 基于物理指引下机器学习算法的本构模型构建方法及装置
WO2024031525A1 (en) * 2022-08-11 2024-02-15 Robert Bosch Gmbh Method and apparatus for bi-level physics-informed neural networks for pde constrained optimization
CN115687859A (zh) * 2022-09-09 2023-02-03 郑州航空工业管理学院 一种偏微分方程数值求解系统
CN116050247A (zh) * 2022-12-06 2023-05-02 大连理工大学 用于求解未知外部驱动力作用下的有界振动杆位移分布的耦合物理信息神经网络
CN116172598A (zh) * 2023-02-22 2023-05-30 北京医准智能科技有限公司 一种血流储备分数确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114118405A (zh) 内嵌物理知识的神经网络的损失函数自适应平衡方法
Jagtap et al. Locally adaptive activation functions with slope recovery for deep and physics-informed neural networks
Han et al. An improved evolutionary extreme learning machine based on particle swarm optimization
CN112288086B (zh) 一种神经网络的训练方法、装置以及计算机设备
Yao et al. Prediction and identification of discrete-time dynamic nonlinear systems based on adaptive echo state network
JP6092477B2 (ja) ニューラルダイナミクスを修正するための自動化された方法
CN109034228B (zh) 一种基于差分隐私和层级相关性传播的图像分类方法
Leung et al. On the selection of weight decay parameter for faulty networks
Luo et al. Bayesian deep learning with hierarchical prior: Predictions from limited and noisy data
Barman et al. Transfer learning for small dataset
CN113902131B (zh) 抵抗联邦学习中歧视传播的节点模型的更新方法
US20210192111A1 (en) Neural Reparameterization for Optimization of Physical Designs
Liu et al. Further results on H∞ state estimation of static neural networks with time-varying delay
Nannan et al. Adaptive online time series prediction based on a novel dynamic fuzzy cognitive map
CN114358197A (zh) 分类模型的训练方法及装置、电子设备、存储介质
Anochi et al. Self-configuring two types of neural networks by mpca
AU2019100352A4 (en) A Flower-Image Search System Based on Deep Learning
CN113011487B (zh) 一种基于联合学习与知识迁移的开放集图像分类方法
CN113191434A (zh) 训练风险识别模型的方法和装置
Bisong et al. Training a Neural Network
CN114723989A (zh) 多任务学习方法、装置及电子设备
CN114417497A (zh) 基于元学习的内嵌物理知识的神经网络初始化设计方法
Xue et al. An improved extreme learning machine based on variable-length particle swarm optimization
WO2022077345A1 (en) Method and apparatus for neural network based on energy-based latent variable models
Jaworska Image segment classification using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination