CN116562131A - 一种物理信息神经网络模型的训练方法 - Google Patents

一种物理信息神经网络模型的训练方法 Download PDF

Info

Publication number
CN116562131A
CN116562131A CN202310445482.0A CN202310445482A CN116562131A CN 116562131 A CN116562131 A CN 116562131A CN 202310445482 A CN202310445482 A CN 202310445482A CN 116562131 A CN116562131 A CN 116562131A
Authority
CN
China
Prior art keywords
equation
sub
neural network
partial differential
physical information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310445482.0A
Other languages
English (en)
Inventor
王志成
向辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Selenium Molybdenum Technology Beijing Co ltd
Original Assignee
Selenium Molybdenum Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Selenium Molybdenum Technology Beijing Co ltd filed Critical Selenium Molybdenum Technology Beijing Co ltd
Priority to CN202310445482.0A priority Critical patent/CN116562131A/zh
Publication of CN116562131A publication Critical patent/CN116562131A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Fluid Mechanics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种物理信息神经网络模型的训练方法。该方法包括：对物理信息神经网络模型(PINNs：Physics‑informed neural networks)中基于偏微分方程进行预测求解的子网络，在所述子网络训练过程中采用的损失函数中增加人工粘性项；所述人工粘性项为：在数值计算过程中修正方程比原偏微分方程多出的偶数阶导数项额外增加的相乘系数项，且该相乘系数项基于所述物理信息神经网络模型对应于所述子网络输出的熵残差r产生。本发明将传统的数值计算过程中通过增加人工粘性项可以提高精度以及求解的稳定性，引入到PINNs中基于偏微分方程进行预测求解的子网络训练过程以提高同等样本训练下PINNs模型的求解偏微分方程的精度和稳定性。

Description

一种物理信息神经网络模型的训练方法
技术领域
本发明涉及神经网络模型的训练领域，具体涉及一种物理信息神经网络模型(PINNs)的训练方法,该训练方法旨在提高同等样本训练下PINNs模型的求解偏微分方程的稳定性。
背景技术
近年来，随着计算技术与人工智能技术的发展，数据驱动对科学技术产生了变革性的影响。然而，物理场信息的分布实际上受制于相应的物理规律(例如，流体物理场受到Navier-Stokes方程控制)，若盲目以数据驱动方法学习物理场信息，可能会得到难以解释甚至违背物理规律的结果。深度神经网络以其强大的复杂非线性系统建模能力在计算流体动力学领域引起广泛关注，其在求偏微分方程和认识物理规律方面取得了重大进展，突破了传统机器学习受限于数据驱动和黑箱建模的局面。特别是Raissi等人提出的物理信息神经网络(Physics informed neural networks，PINNs)框架，该框架将控制方程嵌入到传统神经网络中，使其成为一种“懂物理”的神经网络。PINNs将预测结果约束在物理规律之内，使得机器学习方法摆脱了对实验或模型数据的根本依赖，并提高了模型的可理解性。
PINNs通过给定控制方程和相应的初始及边界条件即可获得方程的数值结果，并且求解过程中仅需从计算区域内抽取一定数量的残差点、而无需对计算区域进行网格划分。Jin等人7基于Navier-Stokes方程和涡量方程结合PINNs，建立了可用于预测流场的速度压力和涡量速度神经网络模型。Cai等人8利用PINNs求解反演问题的能力提出了一种基于实验温度数据预测整个计算区域流场和温度场的神经网络模型，从而有望为实验流体力学提供新的发展方向。值得注意的是，在基于具体的物理控制方程训练PINNs时，不同应用场景具备的不同边界条件会对PINNs模型的训练结果产生显著影响。因此，研究人员对PINNs开展了优化研究，以期缩短训练时间提升PINNs的预测精度等。Sun等人将边界条件以一种“硬”方式编码至PINNs中，提出了“硬”边界物理信息神经网络(HPINNs)。结果表明HPINN可有效加速PINN的训练过程，并在一定程度上提升训练精度。Rao等人提出了一种用于模拟不可压缩层流流动的混合变量物理信息神经网络；通过将流函数作为神经网络的输出，该网络自动满足连续性方程，因而在一定程度上加速PINN的训练过程。LeviD.Mcclenny等人提出使用软注意机制的自适应物理信息神经网络(Self-Adaptive Physics-InformedNeural Network)来解决“僵硬”偏微分方程中的顽固点，这种情况下PINNs的预测存在不准确性与不稳定性。为此，研究人员都在致力于针对特定的方程或者应用场景提升PINNs的预测精度和稳定性。
发明内容
为了解决目前PINNs在对具体物理信息场(尤其在流体与传热问题上)的预测上仍然不够稳定，精度不足的技术问题，本发明提供一种物理信息神经网络模型的训练方法，以在一定程度上提高同等样本训练下PINNs模型的求解偏微分方程的精度和稳定性。
本发明的第一方面提供一种物理信息神经网络模型的训练方法。所述训练方法包括：对物理信息神经网络中基于偏微分方程进行预测求解的子网络，在所述子网络训练过程中所采用的损失函数中增加人工粘性项。所述人工粘性项为：在数值计算过程中修正方程比原偏微分方程多出的、扮演耗散项角色的偶数阶导数项前额外增加的系数项，且所述人工粘性项基于所述物理信息神经网络模型对应于所述子网络输出的熵残差r产生。
进一步地，PINNs中基于偏微分方程进行预测求解的子网络，至少包括：基于计算流体力学(CFD)的偏微分方程---维纳-斯托克斯方程进行预测求解的子网络，基于计算电磁学的偏微分方程---麦克斯韦方程进行预测求解的子网络，Euler方程，燃烧组分扩散方程，多相流界面运动方程等预测求解的子网络。
进一步地，对于基于维纳-斯托克斯方程进行预测求解的子网络，其训练过程中增加人工粘性项后的控制方程相关的损失函数包括e1，e2，e3，e4：
e4＝(u-um)e1+(v-vm)e2-r
其中，u,是空间x轴方向上的流速，v分别空间y轴方向上的流速，p为压力，Re为流体的雷诺系数，r为物理信息神经网络模型对应于所述子网络输出的熵残差，um为空间x轴方向上的平均流速，vm为空间y轴方向上的流速；人工粘性项α、β为可根据实际需要进行调整的两个超参数，L为方腔驱动流的方腔长度，U为上边界流动速度。
相应地，本发明的第二方面还提供一种计算机可读存储介质。该计算机可读存储介质存储有程序代码；其特征在于，所述程序代码在被计算机执行时，实现上述物理信息神经网络模型的训练方法。
本发明提供的技术方案基于计算流体力学中人工粘性项有助于提高计算稳定这一事实基础，增加人工粘性项到PINNs中基于偏微分方程求解的子网络的训练过程以提高同等样本训练下PINNs模型的求解偏微分方程的稳定性。基于PINNs对应于所述子网络输出熵残差r，构建人工粘性项使实时增加的人工粘性项的值与所述熵残差相关。
附图说明
图1为本发明提供的物理信息神经网络模型的训练方法在一个实施例中的流程图。
具体实施方式
为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的物理信息神经网络模型的训练方法包括：对物理信息神经网络模型中基于偏微分方程进行预测求解的子网络，在所述子网络训练过程中所采用的损失函数中增加人工粘性项。所述人工粘性项为：在数值计算过程中修正方程比原偏微分方程多出的、扮演耗散项角色的偶数阶导数项前额外增加的系数项，且所述人工粘性项基于所述物理信息神经网络模型对应于所述子网络输出的熵残差r产生。
在偏微分方程数值计算过程中，修正方程通常比原偏微分方程多了一些高阶导数项，这些高阶导数项有偶数阶导数或奇数阶导数。其中的偶数阶导数项与维纳-斯托克斯方程(Navier-Stokes方程)中的粘性项形式相似，同样扮演着耗散项的角色(即数值耗散)。数值耗散会影响计算结果的精度，同时对偏微分方程数值计算结果的稳定性又提升作用。为此，在对PINNs中基于偏微分方程进行预测求解的子网络进行训练时增加人工粘性，理论上可以让训练后PINNs基于偏微分方程进行求解计算的计算结果更准确，更稳定光滑。
如图1所示的一个实施例中，本发明提供的物理信息神经网络模型的训练方法，包括以下步骤：
S1,确定物理信息神经网络模型中目标子网络输出的熵残差r,所述目标子网络为基于相应偏微分方程进行预测求解的子网络；
S2,基于所述熵残差r定义/产生人工粘性项；
S3,对所述目标子网络训练过程中，在所述目标子网络依据的控制方程对应的损失函数中增加所述人工粘性项。
尽管人工粘性已经是数值计算中众所周知的概念，但是这里还是要说明：所述人工粘性项为：在数值计算过程中修正方程比原偏微分方程多出的、扮演耗散项角色的偶数阶导数项前额外增加的系数项。
进一步地，PINNs中基于偏微分方程进行预测求解的子网络，至少包括：基于计算流体力学(CFD)的偏微分方程---维纳-斯托克斯方程进行预测求解的子网络，基于计算电磁学的偏微分方程---麦克斯韦方程进行预测求解的子网络。
PINNs中相关子网络基于偏微分方程的求解过程所依据的计算方程组为：
ut+NX[u]＝0x∈Ω，t∈[0，T]
u(x，0)＝h(x)x∈Ω(1)
其中，NX表示线性或者非线性运算,x表示空间信息，t表示时间信息；Ω表示计算区域内部，表示计算区域边界，u(x，t)是偏微分方程的解，h(x)是初始条件，g(x，t)是边界条件。由于PINNs是结合了物理信息和数据信息的网络，所以对应于相应子网络预测求解的偏微分方式，损失函数的一般形式为：
Loss＝Lossr+Lossb+Loss0
上述损失函数中，Lossr是控制方程的残差损失，Lossb是边界条件上的残差损失，Loss0是初始条件下的残差损失；Nr是控制方程在全连接网络中的节点个数，Nb是边界条件在全连接网络中的节点个数，N0是初始条件在全连接网络中的节点个数。当然，除了这几个通用的损失项以外，如果在求解的区域里面还有一些已知的参数项，那可以再额外添加相应的损失项以表明预测值的这个参数的值与实际参数的值之间的差距。
由于PINNs相关子网络进行预测求解的偏微分方程具有类似的形式，且求解过程所依据的公式的形式可以统一为上述方程组(1)、对应的损失函数可以统一上述方程组(2)；因此，对物理信息神经网络中基于偏微分方程进行预测求解的子网络进行训练时增加人工粘性，对训练后子网络求解精度和稳定性方面所产生的效果是类似或者相同的。
PINNs在求解不稳定湍流中所采用的Navier-Stokes控制方程一般形式为：
X轴方向动量方程:
Y轴方向动量方程:
连续性方程:
其中，u是X轴方向上的流速，v是空间Y轴方向上的流速,p为压力，x为空间X轴坐标参数，y为空间Y轴坐标参数。对应地，其求解方腔驱动流问题以获得基准解，Navier-Stokes控制方程的残差损失Lossr增加人工粘性项后被改写为由4个损失函数e1，e2，e3，e4组成。其中，
e4＝(u-um)e1+(v-vm)e2-r；
其中，u,是空间x轴方向上的流速，v分别空间y轴方向上的流速，p为压力，Re为流体的雷诺系数，r为物理信息神经网络模型对应于所述子网络输出的熵残差，um为空间x轴方向上的平均流速，vm为空间y轴方向上的流速；人工粘性项α、β为可根据实际需要进行调整的两个超参数，L为方腔驱动流的方腔长度，U为上边界流动速度(其求解方腔驱动流问题以获得基准解)。方腔驱动流问题作为一个经典的流体力学问题，已经有了非常广泛地研究。尽管其计算区域比较简单，但是它包含了很复杂的流体流动特性，如主涡、次级涡、剪切流及边界层等。方腔驱动流问题具有公认的基准解，常被用来检验算法的有效性和程序的正确性。
选用传统的三层神经网络，其中隐藏层包含6*80个神经元，优化器选用Adam优化器进行试验。在其他条件相同的条件下，不增加人工粘性项进行训练4000轮，对应的预测损失在10-3左右。4000轮循环之后，相同训练条件下，增加人工粘性进行训练的PINNs的预测损失可以达到10-6量级，而没有增加人工粘性项进行训练的PINNs的预测损失在10-4量级。在不可压缩流的预测中，通常能够以速度散度的大小表征预测精度，散度的绝对值大说明方法的误差较大，反之则说明方法预测精度高。在该次试验中，采用速度散度的色温图对比实验中有、无增加人工粘性训练的PINNs在进行方腔驱动流问题预测求解出的速度散度的预测值，可以发现，对于没有增加人工粘性训练的PINNs的情况，方腔驱动流问题的预测求解结果是整个场都处于一个较大的散度状态，在增加人工粘性项的情况则方腔驱动流问题的预测求解结果是整个场仅有少量局部具有明显的散度。
PINNs中基于其它的偏微分方程预测求解的子网络在增加人工粘性项进行训练后的效果，与上述PINNs中基于维纳-斯托克斯方程预测求解的子网络添加人工粘性进行训练后的效果相同/相似。
相应地，本发明的第二方面还提供一种计算机可读存储介质。该计算机可读存储介质存储有程序代码；其特征在于，所述程序代码在被计算机执行时，实现上述物理信息神经网络模型的训练方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种物理信息神经网络模型的训练方法，其特征在于，所述训练方法包括：对物理信息神经网络中基于偏微分方程进行预测求解的子网络，在所述子网络训练过程中所采用的损失函数中增加人工粘性项；所述人工粘性项为：在数值计算过程中修正方程比原偏微分方程多出的、扮演耗散项角色的偶数阶导数项前额外增加的系数项，且所述人工粘性项基于所述物理信息神经网络模型对应于所述子网络输出的熵残差r产生。
2.如权利要求1所述的训练方法，其特征在于，所述偏微分方程至少包括：基于计算流体力学(CFD)的偏微分方程为维纳-斯托克斯，计算电磁学的偏微分方程为麦克斯韦方程，Euler方程，燃烧组分扩散方程，以及多相流界面运动方程。
3.如权利要求1-2中任一项所述的训练方法，其特征在于，对于基于维纳-斯托克斯方程进行预测求解的子网络，其训练过程中增加人工粘性项后的控制方程相关的损失函数包括e1，e2，e3，e4：
e4＝(u-um)e1+(v-vm)e2-r
其中，u,是空间x轴方向上的流速，v分别空间y轴方向上的流速，p为压力，Re为流体的雷诺系数，r为物理信息神经网络模型对应于所述子网络输出的熵残差，um为空间x轴方向上的平均流速，vm为空间y轴方向上的流速；人工粘性项α、β为可根据实际需要进行调整的两个超参数，L为方腔驱动流方腔的长度，U为上边界流动速度。
4.一种计算机可读存储介质，该计算机可读存储介质存储有程序代码；其特征在于，所述程序代码在被计算机执行时，实现如权利要求1-4中任一项所述的物理信息神经网络模型的训练方法。
CN202310445482.0A 2023-04-23 2023-04-23 一种物理信息神经网络模型的训练方法 Pending CN116562131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310445482.0A CN116562131A (zh) 2023-04-23 2023-04-23 一种物理信息神经网络模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310445482.0A CN116562131A (zh) 2023-04-23 2023-04-23 一种物理信息神经网络模型的训练方法

Publications (1)

Publication Number Publication Date
CN116562131A true CN116562131A (zh) 2023-08-08

Family

ID=87502894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310445482.0A Pending CN116562131A (zh) 2023-04-23 2023-04-23 一种物理信息神经网络模型的训练方法

Country Status (1)

Country Link
CN (1) CN116562131A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057238A (zh) * 2023-08-15 2023-11-14 天津大学 基于物理信息算子网络模型的燃烧器稳燃钝体设计方法
CN117807854A (zh) * 2024-02-29 2024-04-02 四川华腾公路试验检测有限责任公司 基于物理约束神经网络的桥梁监测挠度与温度分离方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057238A (zh) * 2023-08-15 2023-11-14 天津大学 基于物理信息算子网络模型的燃烧器稳燃钝体设计方法
CN117057238B (zh) * 2023-08-15 2024-04-19 天津大学 基于物理信息算子网络模型的燃烧器稳燃钝体设计方法
CN117807854A (zh) * 2024-02-29 2024-04-02 四川华腾公路试验检测有限责任公司 基于物理约束神经网络的桥梁监测挠度与温度分离方法
CN117807854B (zh) * 2024-02-29 2024-05-28 四川华腾公路试验检测有限责任公司 基于物理约束神经网络的桥梁监测挠度与温度分离方法

Similar Documents

Publication Publication Date Title
CN116562131A (zh) 一种物理信息神经网络模型的训练方法
Szollosi et al. Influence of the tensor product model representation of qLPV models on the feasibility of linear matrix inequality
St-Cyr et al. Optimized multiplicative, additive, and restricted additive Schwarz preconditioning
Wandel et al. Spline-pinn: Approaching pdes without data using fast, physics-informed hermite-spline cnns
Sharma et al. Deep learning for scalable chemical kinetics
Thomison et al. A model reification approach to fusing information from multifidelity information sources
Chedjou et al. A universal concept based on cellular neural networks for ultrafast and flexible solving of differential equations
Sinha et al. Nonlinear and linear unstable aircraft parameter estimations using neural partial differentiation
Gao et al. SMC for semi-Markov jump TS fuzzy systems with time delay
Engle et al. Deterministic symbolic regression with derivative information: General methodology and application to equations of state
Vite et al. Stabilisation of distributed time-delay systems: a smoothed spectral abscissa optimisation approach
Shan et al. Turbulence modeling via data assimilation and machine learning for separated flows over airfoils
CN107526863B (zh) 用于不可压缩瞬态和稳态navier-stokes方程的最佳压力投影方法
Yashchuk Bringing PDEs to JAX with forward and reverse modes automatic differentiation
Dall’Aqua et al. Guided Deep Learning Manifold Linearization of Porous Media Flow Equations
Nikooeinejad et al. A numerical iterative method for solving two-point BVPs in infinite-horizon nonzero-sum differential games: Economic applications
Gräbner How agent-based modeling and simulation relates to CGE and DSGE modeling
Chedjou et al. Benchmarking a recurrent neural network based efficient shortest path problem (SPP) solver concept under difficult dynamic parameter settings conditions
Goyal et al. NExG: Provable and Guided State-Space Exploration of Neural Network Control Systems Using Sensitivity Approximation
Fischels Development of methods to improve the accuracy and efficiency of unsteady incompressible flow simulation
Ueckermann High order hybrid discontinuous Galerkin regional ocean modelling
Chen et al. A sharp immersed method for electrohydrodynamic flows accompanied by charge evaporation
Cissé et al. Software sensors design for a class of non linear coupled PDE systems: The Vlasov–Poisson dynamical system
Romano et al. Spacetime evolutive equilibrium in Nonlinear Continuum Mechanics
Poudel et al. A novel technique for minimizing energy functional using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination