CN114819107A - 基于深度学习的混合数据同化方法 - Google Patents
基于深度学习的混合数据同化方法 Download PDFInfo
- Publication number
- CN114819107A CN114819107A CN202210623934.5A CN202210623934A CN114819107A CN 114819107 A CN114819107 A CN 114819107A CN 202210623934 A CN202210623934 A CN 202210623934A CN 114819107 A CN114819107 A CN 114819107A
- Authority
- CN
- China
- Prior art keywords
- model
- bnn
- resnet
- deep learning
- 4dvar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000009394 selective breeding Methods 0.000 claims abstract 2
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 5
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于深度学习的混合数据同化方法，包括建立基于BNN模型的预测模型，预测模型包括BNN模型和四阶龙格‑库塔积分法；BNN模型包括第一卷积层、双线性层和第二卷积层；第一卷积层的卷积核的数量为5，第二卷积层的卷积核的数量为1；通过预测模型获得4DVar部分中的切线线性伴随模型，采用ResNet来融合4DVar和EnKF，以减少人为选择经验系数带来的不确定性。本发明降低了开发切线性伴随模型的难度，扩大了深度学习的应用范围，利用ResNet模型来耦合4DVar和EnKF，提高了同化结果的准确性，节省了寻找最优系数的时间。
Description
技术领域
本发明属于数值天气预报技术领域，尤其涉及基于深度学习的混合数据同化方法。
背景技术
数值天气预报(NWP)是一种通过整合控制大气运动的非线性偏微分方程来预测未来大气状态的方法。NWP的初始条件对于确定通过融合观测数据和模型输出获得的预报结果的质量至关重要。这种融合过程称为数据同化(DA)。
目前，广泛使用的数据同化方法有两种：基于控制理论的变分数据同化(Var DA)和基于估计理论的集合数据同化(Ensemble DA)。Var DA假设规定的高斯不确定性统计存在于背景和观察中。通过最小化两者的成本函数，可以获得最优的分析初始条件。最常用的Var DA方法是四维变分资料同化(4DVar)，几十年前已被业务NWP中心使用。但是4DVar的背景误差协方差矩阵B是固定的，不能真实反映流的先验信息。此外，4DVar需要大量的计算来推导非线性NWP模型的切线线性和伴随模型，很难得到。同时，集成DA可以通过使用集成成员通过考虑流依赖性来估计初始条件来提供背景错误信息。Ensemble Kalman filter(EnKF)是当今最流行的Ensemble DA方法。然而，在NWP模型中，集合成员的数量必须远小于系统维度，从而导致虚假相关、过滤器散度和低秩等问题。
四维变分资料同化4DVar考虑一段时间内的观察分布。其目的是获取同化时间窗的初始条件，使预测轨迹能够最好地拟合观测值。4DVar的代价函数由两部分组成：一是计算初始时刻分析场与背景场的距离(Jb)，二是计算模型观测当量与实际值的距离。在时间窗口(Jo)中观察，公式显示在方程(1)中：
其中x0代表控制变量，xb代表背景，下标i代表i的时间，yo i描述时间i的观测值，n代表同化时间窗口内的观测值个数，B是背景误差协方差矩阵，Ri表示第i时刻的观测误差协方差矩阵，Mi表示第i时刻的预测模型，Hi是第i时刻的观测算子。
4DVar的最优分析等价于使成本函数J最小的控制变量x0。这需要使用迭代最小化方案最小化J。常用的迭代最小化方案有最速下降法、共轭梯度法或拟牛顿法。这些方案需要估计J关于x0的梯度。J相对于x0的梯度如方程式所示(2):
其中Li表示时间i的切线性模型，LT i表示时间i的伴随模型，HT i是Hi的线性化雅可比行列式。
4DVar过程如图1所示。4DVar计算模型观测值与时间窗观测值之间的距离。然后它通过整合切线线性模型和伴随模型来校正初始时刻的状态场。
以图1NWP中的4DVar示例。两条实线分别代表以背景为初始场得到的预测轨迹和以分析为初始场得到的预测轨迹；虚线表示反向传播过程；星号代表观察；方框代表分析。
卡尔曼滤波器(KF)基于随机过程的状态理论，可以看作是最优插值(OI)的推广，KF适用于线性模型，KF的同化过程主要分为两个阶段，第一阶段是预报，第二阶段是分析。KF的同化公式如公式所示(3)(4):
预报的公式如下：
分析的公式如下：
其中Mi-1表示第i-1时刻的线性模型，Pf i表示第i时刻的预测误差协方差矩阵，Pa i表示第i时刻的分析误差协方差矩阵，Qi表示预测模型在第i时刻的误差协方差矩阵第i时刻，Ki代表第i时刻的卡尔曼增益矩阵，xf i代表第i时刻的预测，xa i代表第i时刻的分析。
EnKF可以看作是KF和蒙特卡罗方法的结合，它利用集成统计的方法来获得预测误差协方差矩阵Pf。其公式如方程式所示(5)。
式中，
表示第l个集合成员的预测结果，xf表示集合预测结果的平均值。与KF相比，EnKF提高了计算效率，其应用范围不再局限于线性模型。EnKF的基本思想如图2EnKF分析循环示意图，实线代表模型的预测轨迹；实心紫点代表背景；星号表示观察结果；实心圆圈代表分析。在图2中，预测模型从时间i到时间i+1进行整合，然后与观察结果融合进行分析。系统以i+1时刻的分析为输入，预测i+2时刻的状态。以上就是EnKF的整个过程。
为了克服4DVar和EnKF的缺点，出现了将4DVar和EnKF结合起来的混合DA方法。混合DA利用EnKF估计的预测误差协方差矩阵(Pf)动态更新4DVar中的背景误差协方差矩阵(B)，已被证明更准确。混合DA仍然有局限性。非线性模型的切线线性和伴随模型的推导过程仍然是必要的，并且系数反映了Var DA和Ensemble DA的贡献程度很难选择。由于寻找最佳混合系数通常需要花费大量成本，因此业务NWP中心通常利用经验系数来平衡计算成本和准确性。在美国的网格点统计插值(GSI)系统中，背景误差协方差矩阵由4DVar中的B的三分之一和Pf在EnKF中。同时，英国气象局的经验系数是的二分之一。经验系数的人为选择给融合性能带来了不确定性。
随着机器学习(ML)的进步，特别是深度学习(DL)的进步，使DL能够应用于各个领域。必须应用深度学习来优化NWP中DA的同化性能并提高计算效率。范等人将FCNN与EnKF相结合来处理不完整的噪声观测问题，发现与传统的EnKF方法相比，混合方法确实提高了DA质量。博纳维塔等人。使用人工神经网络(ANN)作为弱约束四维变分数据同化(WC-4DVar)的替代方案。实验结果表明，人工神经网络同化系统的精度与WC-4DVar相似，人工神经网络同化系统可以降低模型的误差。Frerix等人使用全卷积网络在同化中学习观察算子。结果表明，该方法提高了预测质量。黄等人建立了基于多层感知器(MLP)的混合DA系统，该系统提高了同化效果。哈特菲尔德等人利用MLP的切线性伴随模型到4Dvar，这种方法降低了导出切线性伴随模型的难度，结果与4DVar结果的准确性一致。
发明内容
尽管DA领域对DL的研究逐渐丰富，但这些研究只关注一个特定方面，并没有建立起基于DL的数据同化体系。针对混合DA存在的问题和DL模型优异的回归能力，本发明构建了一种基于DL的混合DA(DL-HDA)。
本发明建立一个基于双线性神经网络(BNN-FM)的预测模型，使用pytorch的自动微分工具得到切线线性伴随模型，然后将BNN-FM以及BNN-FM的切线线性伴随模型用于4Dvar，然后利用ResNet模型来耦合4DVar和EnKF。
具体的，本发明公开的一种基于深度学习的混合数据同化方法，包括以下步骤：
建立基于BNN模型的预测模型，所述预测模型包括BNN模型和四阶龙格-库塔积分法；所述BNN模型包括第一卷积层、双线性层和第二卷积层；所述第一卷积层的卷积核的数量为5，所述第二卷积层的卷积核的数量为1；
通过所述预测模型获得4DVar部分中的切线线性伴随模型，采用ResNet来融合4DVar和EnKF，以减少人为选择经验系数带来的不确定性，具体包括：
在时间i，背景xb和观测值yo输入到4DVAR和ENKF，之后系统输出同化结果xa var和xa ens；
xa var和xa ens用作ResNet模型的输入，ResNet处理完后，输出xa；
以xa var、xa ens和xa作为初始条件，输入BNN-FM，得到时间i+1的预测xa var、xa ens和xf；
xf var和xf ens分配给xb var和xb ens，用观测值yo开始i+1的分析周期；
输出数值预报结果。
进一步的，所述ResNet模型有6个卷积层。前三个卷积层的卷积核为5，后三个卷积核为3，激活函数为ReLU。
进一步的，采用ResNet来融合4DVar和EnKF的的数学表达式如下：
进一步的，在训练BNN-FM和ResNet模型时，使用的损失函数是MSE。
进一步的，在训练BNN-FM时，将特征设置为xi，标签设置为xi+1；在训练ResNet模型时，将特征设置为xa var和xa ens，标签设置为xt；BNN-FM模型的损失函数如下式所示：
ResNet模型的损失函数如下式所示：
其中W代表模型的参数，
代表BNN-FM，||||代表2-范数。
进一步的，所述切线线性伴随模型源自所述预测模型。
本发明的有益效果如下：
构建了BNN-FM，并将BNN-FM的切线线性和伴随模型用于4Dvar，降低了开发切线性伴随模型的难度，扩大了深度学习的应用范围。
利用ResNet模型来耦合4DVar和EnKF，提高了同化结果的准确性，节省了寻找最优系数的时间。
采用Lorenz-96模型进行实验，与传统的混合DA相比，本法可以降低计算成本，提高融合精度。
附图说明
图1NWP中的4DVar示例图；
图2EnKF分析循环示意图；
图3本发明预测模型的流程图；
图4本发明ResNet的结构图；
图5本发明的系统流程图；
图6基于深度学习的动力学模拟器，其中图(a)为真值；图(b)是BNN-FM的模拟值；图(c)是真实值与模拟值的差异；图(d)是BNN-FM输出的RMSE和真值随时间的变化；
图7TRA-HDA的结果；图(a)为N＝5时RMSE随α的变化；图(b)为N＝10时RMSE随α的变化；图(c)为N＝20时RMSE随α的变化；图(d)是N＝40时RMSE随α的变化；
图8DL+EMP-HDA的结果。图(a)为N＝5时RMSE随α的变化；图(b)为N＝10时RMSE随α的变化；图(c)为N＝20时RMSE随α的变化；图(d)是N＝40时RMSE随α的变化。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
业务NWP中心主要预测大气中的温度、压力和湿度等要素。这些变量的预测问题可以看作是一个回归问题。数值预报模型应被视为函数映射。DL模型可以应用于回归任务，DL中的神经网络可以拟合任何函数关系。本发明利用神经网络模型来模拟物理模型。在数值预测模型中，许多计算是双线性计算，其中双线性计算可以表示为向量的内积。这些双线性计算过程降低了传统神经网络模型的性能。出于上述原因，本发明利用双线性神经网络(BNN)来拟合物理模型。与传统的神经网络模型相比，BNN具有更好的物理可解释性，并且BNN对物理模型的模拟更精确。本发明建立了基于BNN模型(BNN-FM)的预测模型，其结构如图3所示。BNN模型由两个卷积层和一个双线性层组成。卷积核的数量分别为5和1。BNN-FM由两部分组成，一部分是BNN模型，另一部分是四阶龙格-库塔积分法。在图3中，i代表时刻i，j代表向量的第j个维度，k代表卷积网络输出的第k个通道。
图3中S的定义如下：
其中
使用神经网络算子，M代表BNN-FM，dt代表积分时间步长。
目前，业务数值天气预报中心通常采用经验系数。使用经验系数的目的是节省时间和成本，但这种方法降低了DA系统的精度。系数的大小表明4DVar和EnKF对同化结果的影响。系数类似于DL模型的参数。在DL模型中，将4DVar xavar的结果和EnKF xaens的结果作为输入，DL模型的输出用于分析xa。本发明使用ResNet作为混合模块。ResNet的结构如图4所示。从图4可以看出，ResNet有6个卷积层。前三个卷积层的卷积核为5，后三个卷积核为3，其激活函数为ReLU。
基于上述BNN-FM和ResNet模型，本发明设计了一种基于DL的混合DA(DLHDA)。其结构如图5所示。
DL-HDA系统主要分为四个阶段：
·在时间i，背景xb和观测值yo输入到4DVAR和ENKF。之后系统输出同化结果xa var和xa ens；
·xa var和xa ens用作ResNet模型的输入。ResNet处理完后，输出xa；
·以xa var、xa ens和xa作为初始条件，输入BNN-FM，得到时间i+1的预测xa var、xa ens和xf；
·xf var和xf ens分配给xb var和xb ens，用观测值yo开始i+1的分析周期。
本发明DL-HDA的数学表达式可以近似描述为等式(8):
在训练BNN-FM和ResNet模型时，本发明使用的损失函数是MSE。在训练BNN-FM时，我们将特征设置为xi，标签设置为xi+1。在训练ResNet模型时，将特征设置为xa var和xa ens，标签设置为xt。两个模型的损失函数如下式所示：
其中W代表模型的参数，
代表BNN-FM，||||代表2-范数。
实验结果
本发明介绍了实验中出现的TRA-HDA、DL+EMP-HDA和DL-HDA。TRAHDA代表传统的混合DA，其预测模型和切线线性及伴随模型均源自Lorenz-96模型。混合模块使用经验系数将4DVar和EnKF结合起来。DL+EMP-HDA的预测模型和切线线性及伴随模型均源自BNN-FM，混合模块与TRA-HDA相同。DL-HDA的预测和切线线性和伴随模型源自BNN-FM，混合模块利用ResNet耦合4DVar和EnKF。
评价指标
本发明需要评估DA系统的输出，为了更全面地评价DA系统的性能，本发明采用平均绝对百分比误差(MAPE)、均方根误差(RMSE)和可确定系数(R2)对DA系统进行评估。MAPE、RMSE和R2的公式如方程式所示(11-13):
式中，xk代表DA系统得到的结果，yk代表真值。MAPE和RMSE的取值范围为[0,+∞)，它们的值越小，同化结果越准确。R2的取值范围为[0,1]，R2越接近1，分析与真实的拟合越好。
数据预处理
训练BNN-FM的数据集大小为48400，训练ResNet模型的数据集大小为10000。数据集分为训练数据集、测试数据集和验证数据集，比例为7:2:1。本发明设置观测误差协方差矩阵Ri＝I，观测算子Hi＝I。方程中的背景误差协方差矩阵B。(1)采用NMC方法计算，NMC方法的计算公式如式(14)所示。在实验中，λ取矩阵Bc对角线上的最大值。同化时间窗长度为0.05模型时间单位(MTU)(0.05MTU相当于现实世界中的6小时)，同化时间窗内有四个观测值，每个观测值的时间间隔为0.0125MTU。观测值是通过将高斯扰动添加到真实值来生成的，它们的形式如式(15)所示。在同化实验中，dt＝0.0125MTU。同化系统的初始值是随机给出的。为了避免偶然性，本发明给出了50组初始值，进行了50次实验。同化实验的结果是50次实验的平均值。
其中σ代表扰动。
预报模型的表现
由于数值预测模型非常复杂，验证数值预测模型的新方法具有挑战性，因此研究人员通常选择一些简化模型。为了测试DL-HDA的性能，本发明选择Loren-z96模型作为测试平台。Lorenz-96模型是一个混沌系统。Lorenz-96模型的公式如方程式所示(6):
其中xj代表第j个网格点的状态值，F代表外力强迫，J代表状态变量x的维数。Lorenz-96模型的边界条件为x-1＝xJ-1,x0＝xJ,xJ+1＝x1。在本发明中，设置F＝8，J＝40。
本发明将BNN-FM及其切线线性和伴随模型应用于4DVar。这个想法需要BNN-FM准确地模拟物理模型。本发明需要在DA实验之前测试BNN-FM的模拟能力。因此，本发明绘制了200个时间步(dt＝0.05MTU)内真实值和模拟值的分布，结果如图6所示。从图6可以看出，BNN-FM可以在前80个时间步中很好地模拟Lorenz-96模型。从第80个时间步开始，RMSE迅速增加。
混合系数的敏感性实验
混合DA中的混合系数会影响同化结果。在本发明中尝试选择TRA-HDA和DL+EMPHDA的最佳混合系数与DL-HDA进行比较。
在EnKF中，集合成员的数量影响同化结果。本发明改变混合4DVar+EnKF DA中的集成成员数N和经验系数，观察RMSE的变化。集合成员的数量设置为0、10、20和40；经验系数α从0到1变化，区间为0.1。结果如图7所示。图7为TRA-HDA的结果，其中图(a)为N＝5时RMSE随α的变化；图(b)为N＝10时RMSE随α的变化；图(c)为N＝20时RMSE随α的变化；图(d)是N＝40时RMSE随α的变化。经验系数α代表混合4DVar+EnKF DA中4DVar的比值；由图7可知，N＝5时，α＝0.1时RMSE最小；当N＝10、20、40时，当α＝0.0时得到RMSE的最小值。因此，当N＝5时，本发明将α设为0.1；当N＝10、20和40时，本发明将α设为0.0。
在本发明中，为了测试ResNet模型的性能，建立了一个DL+EMP-HDA系统。DL+EMP-HDA系统与DL-HDA系统的区别在于混合模块，DL+EMPHDA的混合模块仍然使用经验系数。本发明设计DL+EMP-HDA系统的目的是观察ResNet模型是否提高了同化结果的准确性。本发明要求DL+EMP-HDA系统在不同集合成员数N下找到较好的经验系数。本发明绘制了经验系数在N＝0、10、20和40下的RMSE趋势图，结果如图8所示。图8为DL+EMP-HDA的结果，图(a)为N＝5时RMSE随α的变化；图(b)为N＝10时RMSE随α的变化；图(c)为N＝20时RMSE随α的变化；图(d)是N＝40时RMSE随α的变化。从图8可以看出，当N＝0、10、20和40时，RMSE的最小值在α＝0.5时得到。因此，在DL+EMP-HDA系统中，当N＝0、10、20、40时，本发明设α＝0.5。
DL-HAD的同化表现
本发明需要观察DL-HDA的同化性能，因此比较了N＝5、10、20和40下DL-HDA分析和误差的时空分布，在N＝5、10、20和40时，DL-HDA的分析与真实的时空分布相似。DL-HDA结果的误差在一定范围内波动，说明DL-HDA系统的稳定性是可靠的。
为了更好地测试DL-HDA的性能，本发明将DL-HDA的同化结果与传统的混合同化(TRA-HDA)方法以及DL+EMP-HDA的同化结果进行了比较。它们的性能指标如表1所示。从表1可以看出，当N＝5、10、20和40时，DL-HDA的RMSE和MAPE最小，DL-HDA的R2为最大的。DL-HDA的RMSE和MAPE最小值表明DL-HDA的分析最接近真实，DL-HDA的最大R2表明DL-HDA的分析最接近真实。
表1
本发明计算了DL-HDA和DL+EMP-HDA相对于TRA-HDA的性能提升比率。两种改进的比例见表2。从表2可以看出，DL+EMP-HDA和DL-HDA的同化性能都有所提高。我们比较了DL+EMP-HDA和TRA-HDA，我们可以发现BNN-FM及其切线线性和伴随模型可以有助于同化系统的性能。DL-HDA和DL+EMP-HDA的结果表明，ResNet模型有助于同化结果的准确性。上述结果证明，BNN-FM及其切线线性和伴随模型以及ResNet对同化系统产生了积极影响，并且它们降低了同化结果的误差。
表2
本发明考察了DL-HDA的计算效率，并将其与TRA-HDA和DL+EMP-HDA的计算效率进行了比较，结果如表3所示。从表3可以看出，随着ensemble成员数量的增加，系统的时间成本也在增加。但是，DL-HDA的时间成本最短。实验结果表明，DL-HDA的计算效率高于TRAHDA和DL+EMP-HAD。
表3
本发明采用BNN-FM和ResNet模型构建DL-HDA系统。将BNN-FM及其切线线性和伴随模型应用于4DVar。ResNet模型的作用是耦合4DVar和EnKF的同化结果，目的是得到更准确的初始条件。本发明比较了DL-HDA与DL+EMP-HDA和TRA-HDA在集成成员N＝5、10、20和40时的同化性能和计算效率。实验表明，DL-HDA可以生成分析更接近真实，同时提高了DL-HDA的计算效率，减少了系统运行时间，加快了计算速度。实验结果表明，DL模型可以用于混合DA。该方法可应用于NWP，简化切线模型和伴随模型代码的开发和维护，提高DA系统的精度，提高预报质量。
本发明的有益效果如下：
构建了BNN-FM，并将BNN-FM的切线线性和伴随模型用于4DVar。降低了开发切线性伴随模型的难度，扩大了深度学习的应用范围。
利用ResNet模型来耦合4DVar和EnKF，提高了同化结果的准确性，节省了寻找最优系数的时间。
采用Lorenz-96模型进行实验，与传统的混合DA相比，DL-HDA可以降低计算成本，提高融合精度。
本发明所使用的词语“优选的”意指用作实例、示例或例证。本发明描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本发明所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的混合数据同化方法，其特征在于，包括以下步骤：
建立基于BNN模型的预测模型BNN-FM，所述预测模型BNN-FM包括BNN模型和四阶龙格-库塔积分法；所述BNN模型包括第一卷积层、双线性层和第二卷积层；所述第一卷积层的卷积核的数量为5，所述第二卷积层的卷积核的数量为1；
通过所述预测模型BNN-FM获得切线性伴随模型，将所述切线性伴随模型应用于4DVar中，采用ResNet来融合4DVar和EnKF，以减少人为选择经验系数带来的不确定性，具体包括：
在时间i，背景xb和观测值yo输入到4DVAR和ENKF，之后系统输出同化结果xa var和xa ens；
xa var和xa ens用作ResNet模型的输入，ResNet处理完后，输出xa；
以xa var、xa ens和xa作为初始条件，输入BNN-FM，得到时间i+1的预测xa var、xa ens和xf；
xf var和xf ens分配给xb var和xb ens，用观测值yo开始i+1的分析周期；
输出数值预报结果。
2.根据权利要求1所述的基于深度学习的混合数据同化方法，其特征在于，所述ResNet模型有6个卷积层。前三个卷积层的卷积核为5，后三个卷积核为3，激活函数为ReLU。
3.根据权利要求1所述的基于深度学习的混合数据同化方法，其特征在于，采用ResNet来融合4DVar和EnKF的的数学表达式如下：
4.根据权利要求1所述的基于深度学习的混合数据同化方法，其特征在于，在训练BNN-FM和ResNet模型时，使用的损失函数是MSE。
5.根据权利要求4所述的基于深度学习的混合数据同化方法，其特征在于，在训练BNN-FM时，将特征设置为xi，标签设置为xi+1；在训练ResNet模型时，将特征设置为xa var和xa ens，标签设置为xt；BNN-FM模型的损失函数如下式所示：
ResNet模型的损失函数如下式所示：
其中W代表模型的参数，
代表BNN-FM，||||代表2-范数。
6.根据权利要求1所述的基于深度学习的混合数据同化方法，其特征在于，所述切线线性伴随模型源自所述预测模型。
7.根据权利要求1所述的基于深度学习的混合数据同化方法，其特征在于，所述四阶龙格-库塔积分法的定义如下：
其中
使用神经网络算子，M代表所述预测模型，dt代表积分时间步长，x为输入向量，i代表时刻i。
8.根据权利要求1所述的基于深度学习的混合数据同化方法，其特征在于，所述切线线性伴随模型使用pytorch的自动微分工具得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623934.5A CN114819107B (zh) | 2022-06-02 | 2022-06-02 | 基于深度学习的混合数据同化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623934.5A CN114819107B (zh) | 2022-06-02 | 2022-06-02 | 基于深度学习的混合数据同化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114819107A true CN114819107A (zh) | 2022-07-29 |
| CN114819107B CN114819107B (zh) | 2024-05-17 |
Family
ID=82519596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210623934.5A Active CN114819107B (zh) | 2022-06-02 | 2022-06-02 | 基于深度学习的混合数据同化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114819107B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115630566A (zh) * | 2022-09-28 | 2023-01-20 | 中国人民解放军国防科技大学 | 一种基于深度学习和动力约束的资料同化方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212402A (ja) * | 2006-02-13 | 2007-08-23 | Toshiba Corp | 気象予測システム及び気象予測方法 |
| US20090306943A1 (en) * | 2006-10-05 | 2009-12-10 | North Carolina State University | Methods, systems and computer program products for reduced order model adaptive simulation of complex systems |
| US20120215511A1 (en) * | 2011-02-17 | 2012-08-23 | Chevron U.S.A. Inc. | System and method for modeling a subterranean reservoir |
| CN109783932A (zh) * | 2019-01-14 | 2019-05-21 | 哈尔滨工程大学 | 一种结合最优观测时间窗口的强耦合数据同化方法 |
| CN110910963A (zh) * | 2019-10-29 | 2020-03-24 | 暨南大学 | 气溶胶光学厚度的三维变分同化方法、系统和存储介质 |
| CN111783361A (zh) * | 2020-07-07 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于三重多层感知机的数值天气预报混合资料同化方法 |
| US20210199842A1 (en) * | 2019-12-27 | 2021-07-01 | International Business Machines Corporation | Integration of physical sensors in a data assimilation framework |
-
2022
- 2022-06-02 CN CN202210623934.5A patent/CN114819107B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212402A (ja) * | 2006-02-13 | 2007-08-23 | Toshiba Corp | 気象予測システム及び気象予測方法 |
| US20090306943A1 (en) * | 2006-10-05 | 2009-12-10 | North Carolina State University | Methods, systems and computer program products for reduced order model adaptive simulation of complex systems |
| US20120215511A1 (en) * | 2011-02-17 | 2012-08-23 | Chevron U.S.A. Inc. | System and method for modeling a subterranean reservoir |
| CN109783932A (zh) * | 2019-01-14 | 2019-05-21 | 哈尔滨工程大学 | 一种结合最优观测时间窗口的强耦合数据同化方法 |
| CN110910963A (zh) * | 2019-10-29 | 2020-03-24 | 暨南大学 | 气溶胶光学厚度的三维变分同化方法、系统和存储介质 |
| US20210199842A1 (en) * | 2019-12-27 | 2021-07-01 | International Business Machines Corporation | Integration of physical sensors in a data assimilation framework |
| CN111783361A (zh) * | 2020-07-07 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于三重多层感知机的数值天气预报混合资料同化方法 |
Non-Patent Citations (2)
| Title |
|---|
| LILAN HUANG等: "A Hybrid 3DVar-EnKF Data Assimilation Approach Based on Multilayer Perceptron", pages 1 - 5 * |
| RENZE DONG等: "A Framework for Four-Dimensional Variational Data Assimilation Based on Machine Learning", pages 1 - 5 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115630566A (zh) * | 2022-09-28 | 2023-01-20 | 中国人民解放军国防科技大学 | 一种基于深度学习和动力约束的资料同化方法和系统 |
| CN115630566B (zh) * | 2022-09-28 | 2024-05-07 | 中国人民解放军国防科技大学 | 一种基于深度学习和动力约束的资料同化方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114819107B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN105608263B (zh) | 一种面向涡轮叶盘结构寿命概率分析的自适应处理方法 | |
| CN108520325B (zh) | 一种基于多变环境下加速退化数据的集成寿命预测方法 | |
| Vasiljevic | Classical and evolutionary algorithms in the optimization of optical systems | |
| CN111507521A (zh) | 台区电力负荷预测方法及预测装置 | |
| CN107832789B (zh) | 基于平均影响值数据变换的特征加权k近邻故障诊断方法 | |
| CN110728177B (zh) | 基于双协方差随机子空间的类噪声数据低频振荡辨识方法 | |
| CN110390561A (zh) | 基于动量加速随机梯度下降的用户-金融产品选用倾向高速预测方法和装置 | |
| CN111723914A (zh) | 一种基于卷积核预测的神经网络架构搜索方法 | |
| CN110163743A (zh) | 一种基于超参数优化的信用评分方法 | |
| US20230140696A1 (en) | Method and system for optimizing parameter intervals of manufacturing processes based on prediction intervals | |
| CN115408949B (zh) | 一种负荷模型参数辨识方法、系统、设备和介质 | |
| CN114692507A (zh) | 基于堆叠泊松自编码器网络的计数数据软测量建模方法 | |
| CN115660425A (zh) | 风偏闪络风险评价方法、系统、设备、可读存储介质 | |
| CN112766537A (zh) | 一种短期电负荷预测方法 | |
| CN114819107A (zh) | 基于深度学习的混合数据同化方法 | |
| CN112101516A (zh) | 一种目标变量预测模型的生成方法、系统及装置 | |
| CN109540089B (zh) | 一种基于贝叶斯-克里金模型的桥面高程拟合方法 | |
| CN114723784A (zh) | 一种基于域适应技术的行人运动轨迹预测方法 | |
| CN113988415A (zh) | 一种中长期电力负荷预测方法 | |
| CN116430234A (zh) | 一种燃料电池故障诊断模型构建方法 | |
| CN116047753A (zh) | 光学系统正交优化模型的构建及优化方法 | |
| CN110705132A (zh) | 一种基于多源异质数据的制导控制系统性能融合评估方法 | |
| CN115102868A (zh) | 一种基于SOM聚类与深度自编码器的web服务QoS预测方法 | |
| CN115146455A (zh) | 一种计算实验支持的复杂供应链多目标决策方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |