CN114239698A - 数据处理方法、装置及设备 - Google Patents

数据处理方法、装置及设备 Download PDF

Info

Publication number
CN114239698A
CN114239698A CN202111424054.7A CN202111424054A CN114239698A CN 114239698 A CN114239698 A CN 114239698A CN 202111424054 A CN202111424054 A CN 202111424054A CN 114239698 A CN114239698 A CN 114239698A
Authority
CN
China
Prior art keywords
neural network
order
order neural
training
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424054.7A
Other languages
English (en)
Inventor
向雪霜
常之鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Space Technology CAST
Original Assignee
China Academy of Space Technology CAST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Space Technology CAST filed Critical China Academy of Space Technology CAST
Priority to CN202111424054.7A priority Critical patent/CN114239698A/zh
Publication of CN114239698A publication Critical patent/CN114239698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种数据处理方法、装置及设备，方法包括以下步骤：a、接收需要进行偏微分方程求解的数据，构建高阶神经网络及训练数据集和测试数据集；b、将所述偏微分方程转化为最小值优化问题，并构建所述高阶神经网络的损失函数和优化算法；c、训练所述高阶神经网络并在所述测试数据集上测试；d、将所述数据输入所述高阶神经网络中，进行所述偏微分方程求解，获得求解结果并输出。本发明可以显著提高神经网络求解高频偏微分方程的收敛速度和逼近精度。

Description

数据处理方法、装置及设备
技术领域
本发明涉及一种数据处理方法、装置及设备。
背景技术
高频问题出现在各种科学和工程应用中，如电磁学中产生的高频亥姆霍兹方程。虽然这些问题通常出现在低维空间中，但由于其高度振荡的特性，使得寻找高精度的数值解极为困难。为了有效地逼近解中的高频分量，现有技术通常使用谱方法和高阶有限元方法等高阶方法。然而，这些数值方法一般依赖于网格，而在复杂的区域中，网格生成较为困难，且成本较高。
由于上述问题的存在，基于神经网络的高频偏微分方程数值解法引起了计算科学界的广泛关注。例如，许多基于Ritz公式，最小二乘公式和伽辽金公式的新方法相继被提出，并且也都产生了显著的经验结果。另外，对于定义在高维不规则区域中的偏微分方程而言，经典的数值方法存在计算速度慢、不稳定和维度灾难等问题，而离散神经网络则因其无网格特性成为了求解复杂偏微分方程的潜在工具。然而，当神经网络应用于求解高频偏微分方程时，仍然存在诸多挑战。具体而言，神经网络在训练过程中往往会赋予目标函数的低频分量以较高的优先级，从而不能很好地逼近高频分量，导致训练后期的收敛停滞，这种神经网络难以捕捉高频信息的现象被称为频率原理或者频谱偏差。
为此，一些技术在频域中将真解的高频分量相移到低频的相移神经网络，也有一些技术引入紧支撑激活函数的多尺度神经网络。这两种方法都将偏微分方程解的高频成分逼近问题转化为低频成分的逼近问题，从而使得神经网络能够较好的求解高阶偏微分方程，并且也都取得了可观的数值实验结果。但是，这种转化的过程往往会使神经网络的收敛变慢。
为了能够获得高阶方法在处理高频分量方面的优势，一些技术将高阶思想引入到常用的神经网络中，以提高其逼近高频分量的能力。具体而言，这类技术使用高阶激活函数的PowerNet，通过引入RePU激活函数代替ReLU激活函数，从而将高阶思想引入到神经网络中，以实现对高阶多项式的精确近似。然而，神经网络隐藏层的数量和每一层神经元的数量均会随着多项式阶数的提高而指数增长，从而导致梯度消失等问题。
发明内容
本发明的目的在于提供一种数据处理方法、装置及设备。
为实现上述发明目的，本发明提供一种数据处理方法、装置及设备，方法包括以下步骤：
a、接收需要进行偏微分方程求解的数据，构建高阶神经网络及训练数据集和测试数据集；
b、将所述偏微分方程转化为最小值优化问题，并构建所述高阶神经网络的损失函数和优化算法；
c、训练所述高阶神经网络并在所述测试数据集上测试；
d、将所述数据输入所述高阶神经网络中，进行所述偏微分方程求解，获得求解结果并输出。
根据本发明的一个方面，在所述步骤(a)中，所述高阶神经网络按照前向传播的顺序包括全连接的输入层、非线性层、隐藏层和输出层；
所述非线性层的高阶多项式空间的基函数为以Gauss-Lobatto积分节点为插值点的拉格朗日插值基函数：
Figure BDA0003378394910000031
其中，插值点xj,j＝1,2,…p+1由Gauss-Lobatto积分确定；i表示基函数的序号；
包含所述非线性层的所述高阶神经网络表示为：
Figure BDA0003378394910000035
其中，σ表示激活函数；Fl,1≤l≤L表示隐藏层，Fl(x)＝Wlx+bl；θ＝{Wl,bl}表示所有可训练参数的集合；Wl为权重；bl为偏置向量；L为网络深度；p为所述高阶神经网络的阶数；Tp(·)表示引入的非线性变换；
非线性变换将输入x转化为高阶多项式空间Qp(Rd)的基函数
Figure BDA0003378394910000032
其中，R表示实数集；d为空间的维度。
根据本发明的一个方面，在所述步骤(a)中，所述训练数据集为在计算区域Ω的内部按照均匀分布随机选取的Nr个坐标点及在计算区域Ω的边界上随机选取的Nbc个坐标点，并在每次迭代中重新选取；
所述测试数据集为在计算区域Ω上按照等距网格选取的坐标点及根据真解
Figure BDA0003378394910000033
求出的所述坐标点上的函数值。
根据本发明的一个方面，在所述步骤(b)中，所述损失函数包括前向传播得到的数值解在区域内部的残差和在边界上的误差，表示为：
loss＝lossres+β·lossbcs；
其中，lossres为数值解在区域内部残差
Figure BDA0003378394910000034
f为方程的右端项；lossbcs为数值解在边界处误差
Figure BDA0003378394910000041
g为真解在边界处的值；β通过区域内部残差和边界处误差对参数θ的梯度信息自适应更新，为
Figure BDA0003378394910000042
Figure BDA0003378394910000043
表示loss对于参数求导；
所述优化算法为Adam算法，并设置学习率衰减策略，学习率初始值为0.001，且每1000步衰减为原始的90％。
根据本发明的一个方面，在所述步骤(c)中，训练所述高阶神经网络包括以下步骤：
c1、通过前向传播得到所述损失函数；
c2、对所述损失函数反向传播得到所述高阶神经网络参数的梯度信息；
c3、将所述梯度信息输入所述优化算法中，更新所述高阶神经网络的参数；
c4、重复所述步骤(c1)至所述步骤(c3)，直到误差满足停机条件或训练完成。
根据本发明的一个方面，在所述步骤(c1)中，对所述高阶神经网络参数进行初始化，初始化方式为Xavier初始化；
将所述训练数据集的数据输入所述高阶神经网络，进行前向传播得到区域内部和边界处的数值解，分别记为ur和ubc，计算得到所述损失函数；
在所述步骤(c4)中，重复训练所述高阶神经网络50000次。
根据本发明的一个方面，在所述步骤(c)中，将所述测试数据集输入所述高阶神经网络中得到数值解，计算所述数值解与真解之间的相对误差，以完成所述高阶神经网络性能的测试。
数据处理装置，包括：
模型构建模块，用于接收数据并构建高阶神经网络及训练数据集和测试数据集；
算法构建模块，用于构建高阶神经网络的损失函数和优化算法；
模型训练模块，用于训练高阶神经网络并在测试数据集上测试；
方程求解模块，用于将数据输入高阶神经网络中进行偏微分方程求解，并将求解结果输出。
设备，包括存储介质和处理器，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现数据处理方法。
根据本发明的构思，将有限元方法中的高阶思想引入深度神经网络中，构造了高阶神经网络，来获得更强的逼近能力，以提高神经网络对高频问题的求解能力。
根据本发明的一个方案，在神经网络的输入层和第一个隐藏层之间加入一个固定参数的非线性变换层，从而将网络的输入转化为高阶多项式空间的基函数，以形成一个高阶多项式空间，来精确表示任意阶数不高于非线性层阶数的多项式，从而避免了隐藏层数量过多而带来的梯度消失等问题，也使得神经网络在训练过程中可以同时逼近目标函数的不同频率信息。由此也可知，本发明并没有进行高频的转移，而是由于非线性层的引入能够很好地刻画高频信息，因此不同于现有神经网络从低频到高频逐步拟合目标函数的特点，高阶神经网络在逼近具有较宽频率范围的函数时几乎可以同时学习低频分量和高频分量，即同时逼近解的高频和低频成分，从而在相同参数量的情况下，加快了高频函数拟合的收敛，使得高阶神经网络相较于现有神经网络的收敛速度更快。
根据本发明的一个方案，对于高频的偏微分方程而言，高阶神经网络能够在训练过程中同时学习目标函数的低频和高频信息，并且在相同训练参数的情况下可以获得更小的相对误差，而测试集上相对误差随着阶数的增加而减小，从而使得逼近误差比现有神经网络至少低两个量级，实现了逼近精度的提高。
附图说明
图1示意性表示本发明的一种实施方式的数据处理方法的流程图；
图2示意性表示本发明的一种实施方式的高阶深度神经网络的网络结构图；
图3示意性表示不同网络架构下现有神经网络pinn和高阶神经网络求解高频泊松方程分别能达到的最小测试集误差图；
图4示意性表示现有神经网络pinn和高阶神经网络求解高频泊松方程的损失函数和误差收敛过程图；
图5示意性表示现有神经网络pinn和高阶神经网络求解高频泊松方程的拟合效果图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
参见图1，本发明的基于高阶神经网络的快速精确进行高频偏微分方程求解的数据处理方法，先接收需要进行偏微分方程求解的数据，构建高阶神经网络及训练数据集和测试数据集，再将偏微分方程转化为最小值优化问题，并构建对应的高阶神经网络的损失函数和优化算法，随后训练高阶神经网络模型并保存，在测试数据集上测试，最后将接收的数据输入到高阶神经网络中，进行高频偏微分方程的求解，获得求解结果并输出。以下以一种实施方式来详细描述本发明的方法，在本实施方式中，高频偏微分方程为带有狄利克雷边界条件的高频泊松方程，表示为：
-Δu＝f，x∈Ω；
Figure BDA0003378394910000071
其中，
Figure BDA0003378394910000072
Ω＝[0,1]×[0,1]；△u为拉普拉斯算子；
Figure BDA0003378394910000073
表示区域边界。此处仅以构造的高频泊松方程为例描述本发明的方法，在实际问题中，本发明提供的高阶神经网络方法可以用来处理科学计算领域中的各种高频问题，如电磁波和地震波建模问题中常见的高频函数拟合，高频亥姆霍兹方程求解，高频反问题的求解等。
参见图2，高阶神经网络按照前向传播的顺序包括全连接的输入层、非线性层、隐藏层和输出层。由此，即融入了高阶有限元的思想，将输入通过非线性层变成高阶多项式空间的基函数。关于一维基函数的选择，由于在高阶有限元方法中，单项式基函数随着参数数目的增加，所得到的离散系统越来越病态(即条件数过大而无法求解)。因此，本发明的非线性层的高阶多项式空间的基函数为以Gauss-Lobatto积分节点为插值点的拉格朗日插值基函数：
Figure BDA0003378394910000074
其中，插值点xj,j＝1,2,...,p+1由Gauss-Lobatto积分确定；i为基函数的序号。
包含L个隐藏层的高阶神经网络表示为：
Figure BDA0003378394910000083
其中，σ表示激活函数(本实施方式采用双曲正切激活函数Tanh)；Fl,1≤l≤L表示隐藏层，Fl(x)＝Wlx+bl；θ＝{Wl,bl}表示所有可训练参数的集合；Wl为权重；bl为偏置向量；L为网络的深度。
由上述可知，本发明为了引入高阶的思想，在输入层和隐藏层之间加入了一个非线性层来构造高阶神经网络，则高阶神经网络表示为：
Figure BDA0003378394910000084
其中，p为高阶神经网络的阶数；Tp(·)为引入的非线性变换。非线性变换将输入x转化为高阶多项式空间Qp(Rd)的基函数
Figure BDA0003378394910000081
R表述实数集；d为空间的维度。这种通过一维基函数的张量积构造高维空间的基函数的方式即为有限元分析领域中用于构造四边形和六面体单元基函数的方式。如此，通过在全连接神经网络的基础上引入非线性层，得到了p＝2,d＝2时的高阶神经网络，通过非线性层将输入转化为高阶多项式空间的基函数，使得不含任何隐藏层的高阶神经网络几乎可以无误差的逼近任意高阶多项式。
本实施方式中，训练数据集为在给定的计算区域内部和边界分别按照均匀分布选取的一定数量的坐标点。具体的，在计算区域Ω的内部按照均匀分布随机选取Nr＝5000个坐标点，在计算区域Ω的边界上以同样的方式随机选取Nbc＝1000×4个坐标点，上述坐标点(数据点)即作为训练数据集，并在每次迭代中均重新选取，以确保网络具有足够强的泛化能力。测试数据集为在给定计算区域上选取的等距网格点。具体的，在计算区域Ω上按照等距网格选取101x100个坐标点，并根据给出的真解
Figure BDA0003378394910000082
求出这些离散坐标点上的函数值，这些坐标点和对应的函数值即作为测试数据集，从而在训练结束后测试网络。在实际应用问题中，数据集的选取方式有所不同。例如对于高频电磁波的建模问题，我们通常将机器测量得到的波的数值与其对应的位置作为训练集输入到高阶神经网络之中，如果需要测试高阶神经网络的精度，我们往往通过高精度的有限元方法计算少数位置波的数值解近似为真解来测试网络的性能。
本发明中，损失函数包括前向传播得到的数值解在区域内部的残差和在边界上的误差，表示为：
loss＝lossres+β·lossbcs；
其中，lossres为数值解在区域内部残差
Figure BDA0003378394910000091
f为方程的右端项；lossbcs为数值解在边界处误差
Figure BDA0003378394910000092
g为真解在边界处的值；β通过区域内部残差和边界处误差对参数θ的梯度信息自适应更新，具体为
Figure BDA0003378394910000093
Figure BDA0003378394910000094
表示loss对于参数求导。
本发明构建的用于训练高阶神经网络的优化算法为Adam算法，即采用随机梯度下降算法中的Adam优化器，并设置合适的学习率衰减策略。具体的，学习率初始值设置为0.001，且每1000步衰减为原始的90％。
本发明中，在训练高阶神经网络时，先对构建好的高阶神经网络参数进行初始化，本实施方式的初始化方式为Xavier初始化。然后将训练数据集的数据输入高阶神经网络，进行前向传播得到区域内部和边界处的数值解，分别记为ur和ubc，并计算得到上述损失函数。随后对损失函数进行反向传播得到网络参数的梯度信息，同时，将得到的参数梯度信息输入上述构建的优化算法(即Adam优化器)中，更新高阶神经网络的参数。最后，重复上述前向传播-反向传播-参数更新的网络训练过程，直到误差满足停机条件或训练完成。本实施方式中，重复训练高阶神经网络50000次。
本发明中，在测试数据集上的测试为，将预先构造的测试数据集输入保存的高阶神经网络中得到数值解，计算该数值解与真解之间的相对误差，以测试高阶神经网络的性能。在本实施方式中，分别探究高阶神经网络阶数与神经网络架构的关系、高阶神经网络阶数对误差收敛速度的影响及对高频偏微分方程求解效果的影响以及与现有的基于物理信息的神经网络PINN(physics-informedneuralnetwork)的结果的对比。
参见图3，通过数值实验探究高阶神经网络阶数与网络架构的关系。本实施方式考虑了Depth＝1,2,3,Width＝50,100,150,200,300时的现有神经网络和高阶神经网络(p＝3,7)等情况，其中，Depth和Width分别表示高阶神经网络中隐藏层的数量和每一层神经元的数量。结果说明，高阶神经网络在网络架构固定时表现明显优于现有神经网络，并且随着阶数的提高，误差明显下降。此外，高阶的引入会使得网络参数增加。对此，本实施方式在固定网络参数量的情况下比较了现有神经网络和高阶神经网络在求解高频泊松方程时的表现，显然，高阶神经网络的表现明显优于现有神经网络。
参见图4，探究高阶的加入对误差在时域中收敛速度的影响。本实施方式固定了网络架构和训练集数据量，并给出了损失函数，训练误差和测试误差随训练进行的变化图。可以看出，现有神经网络在训练过程中损失和误差基本保持不变，这说明现有神经网络基本无法拟合高频的真解，然而高阶神经网络在训练初始阶段就能很快的达到一个比较低的误差，并且总体收敛速度远远优于现有神经网络。并且，随着阶数的提高，误差收敛速度也有明显的提高。
参见图5，探究高阶神经网络阶数对高频偏微分方程求解效果的影响，本实施方式固定了网络架构和训练数据量，给出了现有神经网络和高阶神经网络对高频偏微分方程真解的拟合效果。可见，现有神经网络基本无法拟合真解中局部的震荡，然而高阶神经网络能够拟合的很好，说明高阶神经网络捕捉高频偏微分方程中高频信息的能力较强。
本发明的数据处理装置，包括：模型构建模块，用于接收数据并构建高阶神经网络及训练数据集和测试数据集；算法构建模块，用于构建高阶神经网络的损失函数和优化算法；模型训练模块，用于训练高阶神经网络并在测试数据集上测试；方程求解模块，用于将数据输入高阶神经网络中，进行偏微分方程求解，并将求解结果输出。在此例中，数据处理装置为开源的python机器学习库pytorch，但是本发明的数据处理装置并不局限于pytorch.
本发明的设备，包括存储介质和处理器，存储介质存储有计算机程序，计算机程序被处理器执行时实现数据处理方法。在此例中，我们所有的计算都在64-bitUbuntu20.04上实现，采用了NVIDIA3070GPU。
综上所述，本发明的基于高阶神经网络的数据处理方法中，高阶神经网络可以快速精确的求解高频偏微分方程，同时也极大地提高了网络的逼近能力，使得本方法具有远超现有神经网络的收敛速度和逼近精度，可以高精度地求解高频偏微分方程，可应用于求解各种科学和工程中产生的高频问题，例如高频地震波方程和电磁学领域中产生的高频亥姆霍兹方程等。
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种数据处理方法，包括以下步骤：
a、接收需要进行偏微分方程求解的数据，构建高阶神经网络及训练数据集和测试数据集；
b、将所述偏微分方程转化为最小值优化问题，并构建对应损失函数和优化算法；
c、训练所述高阶神经网络并在所述测试数据集上测试；
d、将所述数据输入所述高阶神经网络中，进行所述偏微分方程求解，获得求解结果并输出。
2.根据权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述高阶神经网络按照前向传播的顺序包括全连接的输入层、非线性层、隐藏层和输出层；
所述非线性层的高阶多项式空间的基函数为以Gauss-Lobatto积分节点为插值点的拉格朗日插值基函数：
Figure FDA0003378394900000011
其中，插值点xj,j＝1,2,…,p+1由Gauss-Lobatto积分确定；i为基函数的序号；
包含所述非线性层的所述高阶神经网络表示为：
Figure FDA0003378394900000012
其中，σ表示激活函数；Fl,1≤l≤L表示隐藏层，Fl(x)＝Wlx+bl；θ＝{Wl,bl}表示所有可训练参数的集合；Wl为权重；bl为偏置项量；L为隐藏层的数量；p为所述高阶神经网络的阶数；Tp(·)为引入的非线性变换；
非线性变换将输入x转化为高阶多项式空间Qp(Rd)的基函数
Figure FDA0003378394900000021
其中，R表示实数集；d为空间的维数。
3.根据权利要求2所述的方法，其特征在于，在所述步骤(a)中，所述训练数据集为在计算区域Ω的内部按照均匀分布随机选取的Nr个坐标点及在计算区域Ω的边界上随机选取的Nbc个坐标点，并在每次迭代中重新选取；
所述测试数据集为在计算区域Ω上按照等距网格选取的坐标点及根据真解
Figure FDA0003378394900000022
求出的所述坐标点上的函数值。
4.根据权利要求3所述的方法，其特征在于，在所述步骤(b)中，所述损失函数包括前向传播得到的数值解在区域内部的残差和在边界上的误差，表示为：
loss＝lossres+β·lossbcs；
其中，lossres为数值解在区域内部残差
Figure FDA0003378394900000023
f为方程的右端项；lossbcs为数值解在边界处误差
Figure FDA0003378394900000024
g为解在边界条件上的值；β通过区域内部残差和边界处误差对参数θ的梯度信息自适应更新，为
Figure FDA0003378394900000025
Figure FDA0003378394900000026
表示loss对于参数求导；
所述优化算法为Adam算法，并设置学习率衰减策略，学习率初始值为0.001，且每1000步衰减为原始的90％。
5.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，训练所述高阶神经网络包括以下步骤：
c1、通过前向传播得到所述损失函数；
c2、对所述损失函数反向传播得到所述高阶神经网络参数的梯度信息；
c3、将所述梯度信息输入所述优化算法中，更新所述高阶神经网络的参数；
c4、重复所述步骤(c1)至所述步骤(c3)，直到误差满足停机条件或训练完成。
6.根据权利要求5所述的方法，其特征在于，在所述步骤(c1)中，对所述高阶神经网络参数进行初始化，初始化方式为Xavier初始化；
将所述训练数据集的数据输入所述高阶神经网络，进行前向传播得到区域内部和边界处的数值解，分别记为ur和ubc，计算得到所述损失函数；
在所述步骤(c4)中，重复训练所述高阶神经网络50000次。
7.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，将所述测试数据集输入所述高阶神经网络中得到数值解，计算所述数值解与真解之间的相对误差，以完成所述高阶神经网络性能的测试。
8.一种用于实施权利要求1-7中任一项所述的数据处理方法的装置，其特征在于，包括：
模型构建模块，用于接收数据并构建高阶神经网络及训练数据集和测试数据集；
算法构建模块，用于构建高阶神经网络的损失函数和优化算法；
模型训练模块，用于训练高阶神经网络并在测试数据集上测试；
方程求解模块，用于将数据输入高阶神经网络中进行偏微分方程求解，并将求解结果输出。
9.一种设备，包括存储介质和处理器，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现权利要求1-8中任一项所述的数据处理方法。
CN202111424054.7A 2021-11-26 2021-11-26 数据处理方法、装置及设备 Pending CN114239698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111424054.7A CN114239698A (zh) 2021-11-26 2021-11-26 数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424054.7A CN114239698A (zh) 2021-11-26 2021-11-26 数据处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114239698A true CN114239698A (zh) 2022-03-25

Family

ID=80751459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424054.7A Pending CN114239698A (zh) 2021-11-26 2021-11-26 数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114239698A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114966840A (zh) * 2022-05-24 2022-08-30 哈尔滨工业大学 基于通解神经网络的三维地震波场的模型建立方法
CN115878968A (zh) * 2023-02-27 2023-03-31 山东交通学院 一种基于极值特征神经网络的信号降噪方法
WO2023151201A1 (zh) * 2022-02-10 2023-08-17 中山大学 一种快速灵活全纯嵌入式神经网络广域寻优训练方法
WO2024031525A1 (en) * 2022-08-11 2024-02-15 Robert Bosch Gmbh Method and apparatus for bi-level physics-informed neural networks for pde constrained optimization

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151201A1 (zh) * 2022-02-10 2023-08-17 中山大学 一种快速灵活全纯嵌入式神经网络广域寻优训练方法
CN114966840A (zh) * 2022-05-24 2022-08-30 哈尔滨工业大学 基于通解神经网络的三维地震波场的模型建立方法
CN114966840B (zh) * 2022-05-24 2023-04-07 哈尔滨工业大学 基于通解神经网络的三维地震波场的模型建立方法
WO2024031525A1 (en) * 2022-08-11 2024-02-15 Robert Bosch Gmbh Method and apparatus for bi-level physics-informed neural networks for pde constrained optimization
CN115878968A (zh) * 2023-02-27 2023-03-31 山东交通学院 一种基于极值特征神经网络的信号降噪方法

Similar Documents

Publication Publication Date Title
CN114239698A (zh) 数据处理方法、装置及设备
Nabian et al. A deep neural network surrogate for high-dimensional random partial differential equations
Shirvany et al. Multilayer perceptron neural networks with novel unsupervised training method for numerical solution of the partial differential equations
Hadžić et al. The global future stability of the FLRW solutions to the dust-Einstein system with a positive cosmological constant
Gorbachenko et al. Solving boundary value problems of mathematical physics using radial basis function networks
Katrutsa et al. Deep multigrid: learning prolongation and restriction matrices
Dehghan et al. Solution of multi-dimensional Klein–Gordon–Zakharov and Schrödinger/Gross–Pitaevskii equations via local Radial Basis Functions–Differential Quadrature (RBF–DQ) technique on non-rectangular computational domains
Usman et al. Machine learning computational fluid dynamics
CN113158492B (zh) 一种时变电磁场的全隐式双时间步计算方法
Zhang et al. Simulation and automated modeling of microwave circuits: State-of-the-art and emerging trends
Panagant et al. Solving partial differential equations using a new differential evolution algorithm
CN113950684A (zh) 用于优化物理设备的制造和设计的级联模型
Druskin et al. An extended Krylov subspace model-order reduction technique to simulate wave propagation in unbounded domains
Kuzmin et al. Algebraic flux correction II. Compressible Euler equations
Pasetto et al. A waveform relaxation Newmark method for structural dynamics problems
Cervino et al. Learning by transference: Training graph neural networks on growing graphs
Mesgarani et al. Application of SPD-RBF method of lines for solving nonlinear advection–diffusion–reaction equation with variable coefficients
CN116776695A (zh) 基于超高阶有限元技术的一维电磁计算方法、系统及设备
Cao et al. TSONN: Time-stepping-oriented neural network for solving partial differential equations
Lamecki et al. GPU-Accelerated 3D mesh deformation for optimization based on the finite element method
Shit et al. Implicit neural solver for time-dependent linear pdes with convergence guarantee
Stoddard et al. Volterra kernel identification using regularized orthonormal basis functions
Yang et al. Computer-aided multiscale model derivation for MEMS arrays
Moore et al. Graph Neural Networks and Applied Linear Algebra
Ye et al. Learning transient partial differential equations with local neural operators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination