CN114329320A

CN114329320A - 一种基于启发式训练数据采样的偏微分方程数值求解方法

Info

Publication number: CN114329320A
Application number: CN202111642884.7A
Authority: CN
Inventors: 仲林林; 王逸凡; 吴冰钰
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2021-12-29
Filing date: 2021-12-29
Publication date: 2022-04-12

Abstract

本发明公开一种基于启发式训练数据采样的偏微分方程数值求解方法，涉及人工智能和数值算法领域包括如下步骤：步骤1，设置偏微分方程和计算域，将方程信息输入神经网络，并训练网络至收敛；步骤2，利用基于启发式算法的训练数据增补采样方法，在误差较大区域循环增补训练数据点，直至满足预设条件；步骤3，完成训练，得到最终求解结果。本发明实现了基于启发式训练数据增补采样的偏微分方程数值求解方法，解决了偏微分方程神经网络求解方法局部求解精度不足的问题，提高了方程求解的精度；同时，本发明在使用时，通过。

Description

一种基于启发式训练数据采样的偏微分方程数值求解方法

技术领域

本发明涉及人工智能和数值算法领域，具体的是一种基于启发式训练数据采样的偏微分方程数值求解方法。

背景技术

偏微分方程是数学建模的常用工具之一，自然科学和应用科学中的许多实际问题都能以偏微分方程的形式建立数学模型。求解偏微分方程通常使用数值计算的方法，经典的偏微分方程数值计算方法包括有限差分法、有限元法等。在这些方法中，方程未知数的个数、网格的节点数以及计算的开销，都将随着偏微分方程的维数呈指数级增长，导致维数灾难。同时，传统数值计算方法仍存在网格剖分以及方程高阶离散的问题，对复杂方程的求解较为困难。

近年来随着人工智能技术的发展，涌现出一些基于深度神经网络的偏微分方程求解方法，此类方法无需对网格进行剖分，也无需对方程进行高阶离散，求解过程更加便捷。但此类方法在求解偏微分方程时，训练数据点通常在计算域内随机或均匀采样得到，这样的采样方式在许多问题的求解中存在较大的局部误差。因此，亟需一种能够改善采样点分布进而提升求解精度的新方法。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于启发式训练数据采样的偏微分方程数值求解方法，本发明提供一种基于启发式训练数据增补采样的偏微分方程数值求解方法，该方法实现了启发式的训练数据增补采样，改善了采样点的分布，提升了局部误差较大区域的求解精度，进而实现了整体求解精度的提升。

本发明的目的可以通过以下技术方案实现：

一种基于启发式训练数据采样的偏微分方程数值求解方法，包括如下步骤：

S1、设置偏微分方程和计算域，将方程信息输入神经网络，并训练网络至收敛；

S2、利用基于启发式算法的训练数据增补采样方法，在误差较大区域循环增补训练数据点，直至满足预设条件；

S3、完成训练，得到最终求解结果。

进一步地，所述步骤S2包括：

基于一般二维偏微分方程：

式中，u(x,y)为待求二维函数，x、y分别为横、纵坐标，F(·)表示线性或非线性组合的运算，f(x,y)为关于x、y的已知函数，Ω为计算域，

为计算域边界。式(2)为边界条件，H(·)表示线性或非线性组合的运算，h(x,y)为关于x、y的已知函数。记式(1)和式(2)中等号左边部分分别为：

依据上述PDE，将神经网络的损失函数设计为：

式中，n、m分别为计算域内和边界上的采样点数，λ₁、λ₂为平衡计算域和边界采样点的权重，第一项对应PDE，第二项对应边界条件，

为神经网络输出的解。网络的训练目标是得到Loss的最小值，随着迭代的进行，Loss逐渐收敛，当收敛完成时，认为网络的输出满足了PDE和边界条件，从而实现方程的求解。

进一步地，所述步骤S2包括：

S201、初始化候选的训练数据增补采样点；

S202、更新候选增补采样点的速度、位置以及历史信息；

S203、增补训练数据；

S204、在增补后的训练集上训练；

S205、满足预设条件时，终止采样点增补，否则重复步骤S202至S204。

进一步地，所述步骤S201初始化候选的训练数据增补采样点，具体为：

设候选训练数据增补采样点的规模为s，通过随机采样在计算域和边界上选取s个点，得到各个点的坐标x_i＝(x_i,y_i)以及各个点处对应的损失函数值Loss_i(i＝0,1,2,…,s-1)。为每个候选增补采样点设置初始速度

初始速度以随机方式设置。记录各个候选点自身到达过的位置中最大的Loss值，记为Lpbi；记录所有候选点到达过的位置中最大的Loss值，记为Lgb。

进一步地，所述步骤S202中更新候选增补采样点的速度，具体为：

候选增补采样点速度的更新公式为：

式中，pb_i为Lpb_i对应的位置；gb为Lgb对应的位置；

为第i个点在第k次更新时的速度；λ为惯性权重，表征了前一步速度在当前速度中的体现；c₁和c₂分别为个体权重与全局权重，前者表征各个点自身历史最优信息在更新中的体现，后者表征所有候选点历史最优信息在更新中的体现；γ₁和γ₂均为随机函数，目的是增强更新过程的随机性。

进一步地，所述步骤S202中更新候选增补采样点的位置，具体为：

候选增补采样点位置的更新公式为：

式中，

为第i个点在第k次更新后的位置。

进一步地，所述步骤S202中更新候选增补采样点历史信息，具体为：

更新候选采用点的位置后，按式(4)重新计算各个点处的Loss值，将各候选点处的损失Loss_i与Lpb_i比较，若Loss_i更大，则用Loss_i替换Lpb_i，并用当前位置替换pb_i；将当前所有候选点中最大的Loss值与Lgb比较，若更大，则替换Lgb，并用最大Loss对应的位置替换gb。

进一步地，所述候选增补采样点的速度，具有约束：

当经过式(5)、(6)更新后的

处在设定的计算域外时，保留

的方向信息，将

的大小缩小至

重新按式(6)更新位置。重复以上过程直至所有

均处在计算域内。

进一步地，所述步骤S203增补训练数据，具体为：

依据Loss_i将所有候选增补采样点降序排列，选取Loss最大的p个候选点，增补至训练数据集中。若考虑到训练集规模不宜过大，在增补过程中，可同时删去训练集中p个Loss值最小的点，以维持固定大小的训练集规模。

进一步地，所述步骤S305满足预设条件时，终止采样点增补，具体为：

当整体训练次数达到设置的最大迭代次数，或所有候选增补采样点的Loss值均小于设置的阈值时，终止采样点的增补，并结束训练过程，将当前的神经网络视为训练完成的神经网络。

本发明的有益效果：

1、本发明利用启发式算法，实现了训练数据的自动采样增补，改善了偏微分方程神经网络求解方法中训练数据的分布，提升了局部误差较大区域的求解精度，进而实现了整体求解精度的提升。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明基于启发式训练数据增补采样的偏微分方程数值求解方法的整体流程图；

图2是本发明基于启发式训练数据增补采样的偏微分方程数值求解方法步骤S2的流程图；

图3是本发明基于启发式训练数据增补采样的偏微分方程数值求解方法的具体实施效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

一种基于启发式训练数据采样的偏微分方程数值求解方法，如图1所示，如图1所示，一种基于启发式训练数据增补采样的偏微分方程数值求解方法，包括以下步骤：

S3、完成训练，得到最终求解结果。

在本实例中，以一个二维泊松方程为例，步骤S1具体为：

S101、根据方程设计网络损失函数。泊松方程如下式所示：

式中，

为待求项，x、y分别为横纵坐标，Ω为计算域，

为计算域边界，式(2)表示方程满足狄利克雷(Dirichlet)边界条件。

该方程存在解析解，解为：

在本实例中，设计神经网络为一个具有三层卷积层和两层全连接层的神经网络，卷积核的大小均取为3×3，激活函数选用Tanh函数。

依据上述泊松方程，设计神经网络的损失函数如下式所示：

式中，n、m分别为在计算域内、在边界上的采样点数，在本实例中，n和m分别取500和100；λ₁、λ₂为平衡计算域和边界采样点的权重，在本实例中，λ₁和λ₂均取值为1。式(4)中第一项对应泊松方程，第二项对应边界条件，

为神经网络输出的解。网络的训练目标是得到Loss的最小值，随着迭代的进行，Loss逐渐收敛，当收敛完成时，认为网络的输出满足了泊松方程和边界条件，从而实现方程的求解。

S102、设置计算域，并在计算域内和边界上分别采样坐标点。计算域的设置通过基本图形的交、并集操作实现，基本图形包括：矩形、圆形、三角形以及其他多边形。在本实例中，以正方形计算域为例，设置正方形左下角顶点为(0,0)，右上角顶点为(1,1)，在计算域内作随机采样，在边界上作均匀采样，采样点数如步骤S101中所述。

S103、训练网络至收敛。在本实例中，此过程使用Adam优化器，设定学习率为10^-4，训练网络100,000次。

在本实例中，如图2所示，所述步骤S2具体包括：

S201、初始化候选的训练数据增补采样点。

设候选训练数据增补采样点的规模为s。通过随机采样在计算域和边界上选取s个点，得到各个点的坐标x_i＝(x_i,y_i)以及各个点处对应的损失函数值Loss_i(i＝0,1,2,…,s-1)；为每个候选增补采样点设置初始速度

初始速度以随机方式设置；记录各个候选点自身到达过的位置中，最大的Loss值，记为Lpb_i；记录所有候选点到达过的位置中，最大的Loss值，记为Lgb。

在本实例中，s取为80，

在范围[0,0.1]×[0,0.1]上随机采样得到。

S202、更新候选增补采样点的速度、位置以及历史信息。

候选增补采样点速度的更新公式为：

式中，pb_i为Lpb_i对应的位置；gb为Lgb对应的位置；

在本实例中，λ取该值为0.6，c₁、c₂均取值为1，γ₁、γ₂随机函数的取值范围均为[0,1]。

候选增补采样点位置的更新公式为：

式中，

为第i个点在第k次更新后的位置。

当经过式(5)、(6)更新后的

处在设定的计算域外时，保留

的方向信息，将

的大小缩小至

重新按式(6)更新位置。重复以上过程直至所有

均处在计算域内。在本实例中，α取值为0.2。

S203、增补训练数据。依据Loss_i将所有候选增补采样点降序排列，选取Loss最大的p个候选点，增补至训练数据集中。若考虑到训练集规模不宜过大，在增补过程中，可同时删去训练集中p个Loss值最小的点，以维持训练集规模的固定。在本实例中，p取值为10。

S204、在增补后的训练集上训练。在本实例中，该阶段的训练使用Adam优化器。由于模型先前已训练至收敛，此处为局部的微调，学习率设置应较小，本实例中该阶段训练学习率设为5×10^-5。

S205、满足预设条件时，终止采样点增补，否则重复步骤S202至S204。预设条件为：

整体训练次数达到设置的最大迭代次数，或所有候选增补采样点的Loss值均小于设置的阈值。在本实例中，最大迭代次数设置为120,000次(包含最初的100,000次)，Loss阈值设置为10^-4。将结束训练过程后的神经网络作为最终的神经网络。

在本实例中，步骤S3具体为：

在计算域上(包含边界)均匀采样1,000,000个点，作为测试集，得到测试集上的求解结果并绘图，如图3所示。计算求解结果和解析解之间的L2误差，并与未使用启发式训练数据增补采样的情况相比较，结果如表1所示：

表1 L2误差对比

其中，L2误差计算方法为：

步骤S202中更新候选增补采样点历史信息，具体为：

更新候选采用点的位置后，按式(4)重新计算各个点处的Loss值，将各候选点处的损失Loss_i与Lpb_i比较，若Loss_i更大，则用Loss_i替换Lpb_i，并用当前位置替换pb_i；将当前所有候选点中最大的Loss值与Lgb比较，若更大，则替换Lgb，并用最大Loss对应的位置替换gb

步骤S203增补训练数据，具体为：

依据Loss_i将所有候选增补采样点降序排列，选取Loss最大的p个候选点，增补至训练数据集中，若考虑到训练集规模不宜过大，在增补过程中，可同时删去训练集中p个Loss值最小的点，以维持固定大小的训练集规模

步骤S305满足预设条件时，终止采样点增补，具体为：

当整体训练次数达到设置的最大迭代次数，或所有候选增补采样点的Loss值均小于设置的阈值时，终止采样点的增补，并结束训练过程，将当前的神经网络视为训练完成的神经网络

以上实例仅为说明本发明方法的具体流程，不能以此限定本发明的权利保护范围，凡是按照本发明提出的技术思想，在本发明权利要求基础上所做的任何改动，均落入本发明的保护范围之内。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。