CN111595489B - 一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法 - Google Patents

一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法 Download PDF

Info

Publication number
CN111595489B
CN111595489B CN202010459733.7A CN202010459733A CN111595489B CN 111595489 B CN111595489 B CN 111595489B CN 202010459733 A CN202010459733 A CN 202010459733A CN 111595489 B CN111595489 B CN 111595489B
Authority
CN
China
Prior art keywords
neurons
layer
encoder
network
water temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010459733.7A
Other languages
English (en)
Other versions
CN111595489A (zh
Inventor
何丽莉
白洪涛
欧阳丹彤
阳乾隆
姜宇
金龙海
王旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010459733.7A priority Critical patent/CN111595489B/zh
Publication of CN111595489A publication Critical patent/CN111595489A/zh
Application granted granted Critical
Publication of CN111595489B publication Critical patent/CN111595489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G01K13/02—Thermometers specially adapted for specific purposes for measuring temperature of moving fluids or granular materials capable of flow
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G01K13/02—Thermometers specially adapted for specific purposes for measuring temperature of moving fluids or granular materials capable of flow
    • G01K13/026—Thermometers specially adapted for specific purposes for measuring temperature of moving fluids or granular materials capable of flow of moving liquids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明公开了一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法，包括：步骤一、采集待测试区域中海洋水温的垂直观测值；步骤二、根据变分自编码器得到所述垂直观测值在垂直观测层上的概率分布；步骤三、根据所述概率分布得到受采样影响模型所求得的解空间，并根据所述解空间得到启发式网络；步骤四、建立所述解空间和所述启发式网络的海洋水温分布模型，进而得到待测试区域中海洋水温。

Description

一种基于变分自编码器的启发式高分辨率海洋水温分布建立 方法
技术领域
本发明涉及海洋测温，具体涉及一种基于变分自编码器的启发式高分辨 率海洋水温分布建立方法。
背景技术
回归树的本质是采用平方误差最小化的启发式方法对输入空间进行划 分，但训练样本所包含的空间是有限的。也就是说训练样本所包含的输入空 间并不能有效覆盖我们所要研究的所有空间，这也就意味着过拟合和局部空 间预测数据一致性是回归树方法所面临的两大难题。随机森林有效利用 Bagging集成学习方法在用不稳定模型作为成员模型时有很好的表现性能这 一特性，引入了随机向量子空间法这一不确定因素，进一步提高了预测性能， 有效避免了回归树模型的过拟合和局部空间预测数据一致性问题。对于特征较多的数据集，随机子空间法表现良好，但高分辨率海洋水温分布的问题仅 有三维特征，再加之数据集的规则化，一定程度上弱化了随机森林方法解决 回归树的局部空间预测数据一致性问题的能力，使得我们不能得到更高分辨 率的海洋水温分布数据。
发明内容
本发明设计开发了一种基于变分自编码器的启发式高分辨率海洋水温分 布建立方法，本发明的发明目的是解决数据不平衡导致海洋水温预测准确率 低的问题。
本发明提供的技术方案为：
一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法，包括 如下步骤：
步骤一、采集待测试区域中海洋水温的垂直观测值；
步骤二、根据变分自编码器得到所述垂直观测值在垂直观测层上的概率 分布；
步骤三、根据所述概率分布得到受采样影响模型所求得的解空间，并根 据所述解空间得到启发式网络；
步骤四、建立所述解空间和所述启发式网络的海洋水温分布模型，进而 得到待测试区域中海洋水温。
优选的是，在所述步骤一中，所述待测试区域的经度范围为95°W～115°W， 纬度范围为9.5°N～9.5°S，深度范围为0～1975m。
优选的是，在所述步骤二中，所述概率分布为
p(x)＝∫pθ(x|z)p(z)dz；
式中，x代表垂直观测值，z代表隐变量，θ代表自动编码器中解码器的网 络层参数，pθ(x|z)代表由重构的似然函数，p(z)代表满足高斯分布的噪声。
优选的是，在所述步骤二中，在确定所述概率分布的过程中，所述变分 自编码器的编码网络和解码网络的优化目标函数为
Figure BDA0002510577650000021
其中，L(θ，φ；x)＝Eqθ(z|x)[-lnqθ(z|x)+lnpθ(x，z)]，qθ(z|x)代表，φ代表自动 编码器中编码器的网络层参数，θ代表自动编码器中解码器的网络层参数。
优选的是，在所述步骤二中，在变分自编码器中，采用神经网络模型建 立解码网络，包括输入层、输出层和两层隐层，相邻两层之间的神经元采用 全连接方式连接，同一层之间的神经元无连接；输入层的神经元个数为16， 两层隐层的神经元个数均为128，输出层的神经元个数为57；各神经元的激 活函数采用的ReLU激活函数。
优选的是，在所述步骤三中，所述概率分布和所述启发式网络通过MSE 损失函数进行训练调参。
优选的是，在所述步骤三，采用神经网络模型建立所述启发式网络，包 括输入层、输出层和两层隐层，相邻两层之间的神经元采用全连接方式连接， 同一层之间的神经元无连接；输入层的神经元个数为57，两层隐层的神经元 个数均为128，输出层的神经元个数1；输入层和隐层的各神经元的激活函数 采用的ReLU激活函数，输出层的激活函数为Tanh激活函数。
优选的是，在所述步骤四中，采用神经网络模型建立海洋水温分布模型， 包括输入层、输出层和三层隐层，相邻两层之间的神经元采用全连接方式连 接，同一层之间的神经元无连接；输入层的神经元个数为3，第一、二层隐 层的神经元个数均为100；第三层隐层的神经元个数为101，输出层的神经元 个数1；各神经元的激活函数采用的ReLU激活函数。
优选的是，还包括：将经度和纬度映射到所述隐变量所对应的空间所使 用的空间映射网络，包括输入层、输出层和两层隐层，相邻两层之间的神经 元采用全连接方式连接，同一层之间的神经元无连接；输入层的神经元个数 为2，第一层隐层的神经元个数均为128，第二层隐层的神经元个数均为64， 输出层的神经元个数16；输入层和隐层的各神经元的激活函数采用的ReLU 激活函数，输出层的激活函数为Sigmoid激活函数。
本发明与现有技术相比较所具有的有益效果：
该模型将监督学习和无监督学习相结合，首先以数据集中海洋水温的垂 直观测值为输入向量，利用非监督学习方法变分自编码器学得海洋水温在垂 直观测层上的概率分布；然后，利用学得的变分自编码器网络构建一个启发 式网络，用于解决数据集中的样本不平衡性问题；最后将启发式网络和深度 学习回归网络相结合，解决数据集中样本稀疏性问题；实验结果表明，本文 所提模型与简单海洋水温预测深度回归学习模型相比预测准确度提高了约 0.084，约47.8％，从一定程度上能够缓解数据集样本不平衡性问题；和随机森林方法分辨率提升程度受限不同，本模型理论上可将海洋水温的空间分辨 率提升至任意程度。
附图说明
图1为本发明所述的VAE概率图模型示意图。
图2为本发明所述的VAE网络结构示意图。
图3为全球海洋Argo网格资料数据集上海洋水温的概率密度函数示意 图。
图4为变分自编码器的“解码”网络示意图。
图5为本发明所述的解空间函数示意图。
图6为本发明所述的启发式网络示意图。
图7为本发明所构建的基于变分自编码器的启发式高分辨率海洋水温模 型示意图。
图8为本发明所述的启发式模型和普通模型的比较图。
图9(a)为20米处原始数据示意图。
图9(b)为20米处0.01°水平分辨率、1米垂直分辨率数据示意图。
图10(a)为60米处原始数据示意图。
图10(b)为60米处0.01°水平分辨率、1米垂直分辨率数据示意图。
图11(a)为110米处原始数据示意图。
图11(b)为110米处0.01°水平分辨率、1米垂直分辨率数据示意图。
图12为海平面不同温度分布情况示意图。
图13为20摄氏度海洋水温等温面示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照 说明书文字能够据以实施。
本发明公开了一种基于变分自编码器的启发式高分辨率海洋水温分布建 立方法，包括如下步骤：
步骤一、海洋水温总体分布复杂，但在一定范围内，由于温度随深度的 变化规律存在一定的相似性，利用数据集中海洋水温的垂直观测值构建海洋 水温在垂直观测层上的概率分布模型；
步骤二、根据变分自编码器学得的“解码”网络构建启发式网络；
步骤三、将概率分布模型和启发式网络相结合；概率分布模型是以经度、 纬度、深度为输入和海洋水温为输出的深度回归学习模型，用于预测空间中 某一点的海洋水温；启发式网络用于解决数据不平衡导致概率分布模型的预 测准确降低问题。
具体如下：
首先，如图1所示，变分自编码器(Variational Auto-Encoding，VAE)建 立在神经网络之上，结合了深度模型和静态推理，能够从服从某个分布p(z)中 的样本中采样z，经过概率分布pθ(x|z)自动生成与x相似的数据；在图1中，x 代表可观测数据；z代表隐变量；φ类似于自动编码器中编码器的网络层参数， θ则类似于自动编码器中解码器的网络层参数；pθ(x|z)表示由重构的似然函 数；矩形表示当模型参数θ保持不变时，能从x和z中采样N次。
在VAE中，输入数据通过编码器的映射函数z＝fφ(x)得到提取后的特征 z，特征z通过解码器的映射函数x＝fθ(z)将提取到的压缩特征映射回高维空间 还原出原始输入数据；由贝叶斯公式可知，原始数据的分布p(x)如式(1)所 示。
p(x)＝∫fθ(z)p(z)dz (1)
为了使x对z的依赖更加明确，利用pθ(x|z)替代确定性函数x＝fθ(z)：
p(x)＝∫pθ(x|z)p(z)dz (2)
通过上面的替换，寻找由隐变量z生成的概率分布pθ(x|z)最大化p(x)的过 程，可以转换为优化目标函数中的参数θ使原始数据和生成数据的分布尽可能 相似，理论上用于近似后验分布pθ(x|z)的p(z)可以是任意的概率分布；作为一 种优选，本发明采用高斯分布通过神经网络来拟合分布p(x)。
假定qφ(z|x)(见图1中虚线φ到z)是一个已知的分布形式，VAE的“编码” 网络中引入了qφ(z|x)代替无法确定的后验分布pθ(x|z)(见图1中虚线x到z表示 由原始数据x学到相应的压缩z)，用于解决隐变量z的分布未知，无法直接使 用EM算法进行求解的问题，VAE使用KL散度来衡量pθ(z|x)和qφ(z|x)的近 似程度，为了使两个分布尽可能相等，可以通过优化约束参数θ和φ使KL散 度尽可能小，即：
Figure BDA0002510577650000051
设：L(θ，φ；x)＝Eqθ(z|x)[-lnqθ(z|x)+lnpθ(x，z)] (4)
由式(3)和式(4)可得：
lnpθ(x)＝KL(pθ(z|x)||qφ(z|x))+L(θ，φ；x) (5)
由于KL散度恒大于等于零，则lnpθ(x)≥L(θ，φ；x)恒成立，因此L(θ，φ；x)被 称为x对数边际似然lnpθ(x)的变分下界函数。
在“编码”网络中，假设qφ(z|x)服从正太分布，则变量的对数边际似然 为各独立分布离散变量对数边际似然之和，即：
Figure BDA0002510577650000061
式中xi表示数据集中的第i个数据样本。而由式(5)有 lnpθ(x)-L(θ，φ；x)＝KL(pθ(z|x)||qφ(z|x))，因而编码网络的优化目标为：
Figure BDA0002510577650000062
在“编码”网络中，根据联合分布pθ(x，z)＝pθ(z)pθ(x|z)，通过对隐变量z 的后验分布pθ(x|z)进行参数变换可使其先验分布服从标准正太分布。条件分 布pθ(x|z)的概率密度函数可通过神经网络计算出来。因为：
L(θ，φ；x)＝Eqθ(z|x)[-lnqθ(z|x)+lnpθ(x，z)]＝-KL(qθ(z|x)||pθ(z))+Eqθ(z|x)lnpθ(x|z) (7)
所以解码网络的优化目标为：
Figure BDA0002510577650000063
因此，VAE的整体优化目标即为最大化变分下界函数。
如图2所示，即为变分自编码器的最终模型。
受太阳辐射、地球自转、风力、海水垂直对流及盐热环流等物理过程的 影响，海洋温度在垂直方向上的分布呈现复杂的变化规律，大致表现为从海 洋表面至1000米深，水温下降迅速，且可能存在变化剧烈程度远高于其他水 层的温跃层；1000米一下的深层海水，受太阳辐射等因素的影响很小，水温 下降不明显，经常保持低温状态，海水在垂直分布上的表现规律将导致现有 的海洋温度采样方式带来数据采样不均衡问题。
如图3所示，在经度值95°W～115°W，纬度值9.5°N～9.5°S，深度范围为 0～1975m的全球海洋Argo网格资料数据集上，图中的横坐标代表温度值；假 设特征有效，从样本的角度看，样本大面积集中在温度值为0°～15°的区域，其 它水温下降迅速的区域则非常少，即在特征空间里样本分布非常不平衡，这 种不平衡将会导致模型的学习集中在样本浓度高的特征空间区域，无法有效 拟合函数的实际分布，从而导致模型的结果变差。
数据样本不均衡问题的常用解决方案有带权损失函数、平衡采样、聚类 及异常检测等。作为回归问题来讲，使用带权损失函数代价较大，加之带权 损失函数和平衡采样人为调整了样本的比例，从本质上都已经扭曲了真实分 布，会影响学到的模型的预测准确性；聚类解决方案在随机森林模型中得到 应用，并表现出了一定的良好效果，但对于深度学习模型来讲，本身繁多的 参数调节将在引入聚类分析后引入更多的不确定性，基于此，本发明提出了 基于变分自编码器的启发式深度学习回归模型，用于解决所研究问题的数据 不平衡问题。
基于变分自编码器的启发式高分辨率海洋水温模型的第一步是利用数据 集中海洋水温的垂直观测值构建海洋水温在垂直观测层上的概率分布模型。 虽然海洋水温总体分布复杂，但在一定范围内，温度随深度的变化规律存在 一定的相似性，VAE模仿自动编码机的学习预测机制并遵从图模型，利用一 个联合高斯分布作为隐含变量学习一个从隐含变量到一个所希望生成样本的 映射。
如图4所示，本发明以所选数据集中海洋水温的垂直观测值为输入向量， 利用变分自编码器学得海洋水温在垂直观测层上的概率分布， zi(i＝1，2，…，m)代表第i维隐变量，X′j(j＝1，2，…，n)代表某一经纬度值下垂直观 测层第j层的海洋水温的温度值；作为一种优选，VAE“解码”网络中，神经 网络总共包括四层：输入层、输出层和两层隐层，相邻两层之间的神经元采 用全连接方式连接，同一层之间的神经元无连接，输入层向量的每一维数据 是取值范围为[0，1]的满足正太分布的噪声，输出层向量是某一经纬度值下不 同垂直观测层的温度值。输入层包含16个神经元，两层隐层的神经元个数均 为128，输出层的神经元个数为海洋水温的垂直采样层数57；各神经元的激 活函数采用的ReLU激活函数。
然后，启发式网络的构建基于如下的推论，如图5所示，f(x)是样本的真 实解空间，
Figure BDA0002510577650000071
是受采样影响模型所求得的解空间，(x1，x2，...，xn)是与
Figure BDA0002510577650000072
一 起采样所得的若干样本点，对于
Figure BDA0002510577650000073
而言，其真实解空间可表示为：
Figure BDA0002510577650000074
式中，
Figure BDA0002510577650000075
表示样本训练模型的解和样本真实解的偏离程度，称之为由 模型的解得到真实解的启发性信息，其可以表示为：
Figure BDA0002510577650000076
实际上并不知道
Figure BDA0002510577650000077
的真实解，也就无法直接获得最佳的启发性信息，但假 设知道和
Figure BDA0002510577650000078
一起采样所得的(x1，x2，...，xn)的真实可能解，那么
Figure BDA0002510577650000079
处的启发性 信息可以由其它点的表示为：
Figure BDA0002510577650000081
式中，αi表示xi处的真实可能解f(xi)的系数。
不失一般性，
Figure BDA00025105776500000811
处的启发性信息可以表示
Figure BDA0002510577650000082
再结合式(8)得到本申请的最终模型：
Figure BDA0002510577650000083
式中，f(xi)表示样本真实解空间中的一个解。
通过构建的VAE模型，本申请可以得到和x在同一经纬度，不同深度处 的若干真实可能解，也即f(x1)，f(x2)，…，f(xn)，复杂的
Figure RE-GDA0002540882590000085
和 h(f(x1)，f(x2)，…，f(xn)；θ)可以通过神经网络学得，根据VAE学得的“解码” 网络构建的启发式网络如图6所示，图中X′j(j＝1，2，…，n)是VAE“解码”网络 的输出，h表示启发性信息；作为一种优选，启发式网络h(X；θ)中神经网络总 共包括四层：包括输入层、输出层和三层隐层，相邻两层之间的神经元采用 全连接方式连接，同一层之间的神经元无连接。输出层向量是某一经纬度值 下不同垂直观测层的真真实可能温度值，输出向量为由模型
Figure RE-GDA0002540882590000086
的解得到真实 解的启发性信息。输入层包含57个神经元，两层隐层的神经元个数均为128， 输出层的神经元个数1；除输出层外各神经元的激活函数采用的ReLU激活函 数，输出层的激活函数为Tanh激活函数；VAE“解码”网络和启发式网络连 接方式采用单一连接方法，以保障VAE“解码”网络的输出层的输出数据为 启发式网络输入层的输入数据，即VAE“解码”网络输出层的第i个输出神 经元与启发式网络中输入层的第i个输入神经元相连，且个神经元之间的连 接权重始终为1。
最后，基于变分自编码器的启发式高分辨率海洋水温模型的构建是将回 归网络
Figure BDA0002510577650000085
和启发式网络h(X；θ)相结合。
Figure BDA0002510577650000086
以经度、纬度、深度为输入和 海洋水温为输出的深度回归学习模型，用于预测空间中某一点的海洋水温； 启发式网络h(X；θ)用于解决数据不平衡导致回归网络
Figure BDA0002510577650000087
的预测准确降低问 题。理想的模型设计方案是利用深度学习将
Figure BDA0002510577650000088
和h(X；θ)学习进行单独训练， 但实际上我们目前并没有合适的损失函数来训练启发式网络；作为一种优选， 合理的启发式网络计算出的启发性信息应该和
Figure BDA0002510577650000089
一起无限逼近于样本的真 实解空间，因此，作为一种优选，本申请将
Figure BDA0002510577650000091
和启发式网络组合在一起， 统一采用常用的MSE损失函数进行训练调参。
理论上启发式网络h(X；θ)中变量X可以是将真实解空间划分为若干不相 交子空间后，对每一个子空间进行一次均匀采样得到真实解所组成的向量， 本发明中即是X可以是海洋垂直方向上每一温度观测层中进行一次均匀采样 得到温度值所组成的温度向量。但受h(X；θ)并非最佳启发式网络影响，以及基 于空间中某一点的温度值同其近邻区域(实验数据的空间标记法中，单位经纬 度所对应的实际空间面积是相当大的，故本申请中近邻区域指某一空间点再 垂直方向上的邻域)相关联这一事实，本文中X的取值是待预测空间点所对应 经纬度下海洋垂直方向上各水温观测层观测到的海洋水温所组成的温度向 量。
如图7所示，本发明在基于变分自编码器的启发式高分辨率海洋水温模 型的输入层和“解码”网络之间加入了多个隐层神经网络层，将经度和纬度 映射到隐变量z所对应的空间，具体包括：
将经度和纬度映射到隐变量z所对应的空间所使用的空间映射网络中神 经网络总共包括四层：包括输入层、输出层和两层隐层，相邻两层之间的神 经元采用全连接方式连接，同一层之间的神经元无连接；输入层向量由数据 集中的经度值和纬度值组成，输出层为隐变量z，输入层包含2个神经元，第 一层隐层的神经元个数均为128，第二层隐层的神经元个数均为64，输出层 的神经元个数16，除输出层外各神经元的激活函数采用的ReLU激活函数； 因为z的取值范围为[0，1]，所以输出层的激活函数为Sigmoid激活函数；
空间映射网络和VAE“解码”网络连接方式采用单一连接方法，以保障 空间映射网络的输出层的输出数据为VAE“解码”网络输入层的输入数据， 即空间映射网络输出层的第i个输出神经元与VAE“解码”网络中输入层的 第i个输入神经元相连，且各神经元之间的连接权重始终为1。
综上，本申请
Figure BDA0002510577650000092
网络中神经网络总共包括五层：包括输入层、输出 层和三层隐层，相邻两层之间的神经元采用全连接方式连接，同一层之间的 神经元无连接；输入层向量由经度、纬度和深度组成，输出层为该点对应的 温度值输入层包含3个神经元；第一、二层隐层的神经元个数均为100；第 三层隐层的神经元个数为101，因为将启发式网络的输出层融合到了这一层； 输出层的神经元个数1。各神经元的激活函数采用的ReLU激活函数。
基于变分自编码器的高分辨率海洋水温模型算法如下所示：
输入：包含海洋水温和对应空间信息的数据集D＝{x1，x2，…xm′}，包含由 海洋垂直方向上海洋水温组成的温度向量的数据集X＝{X1，X，…Xn′}；
输出：F(Pφ(z)，w，b；x)，基于变分自编码器的高分辨率海洋水温模型；
步骤1、初始化变分自编码器神经网络中神经元参数：
Figure BDA0002510577650000101
步骤2、从数据集X中随机小批量选择M个数据点组成数据集XM；
步骤3、从满足p(z)分布的噪声中随机选择若干样本点z；
步骤4、计算梯度值
Figure BDA0002510577650000102
Figure BDA0002510577650000103
是变分自编码器神经网络的函数表示；
步骤5、使用梯度值g更新参数θ，φ；
步骤6、重复调用步骤2至5直到参数θ，φ收敛或满足预定停止条件；
步骤7、获取“解码”网络Pφ(z)，构建基于变分自编码器的高分辨率海 洋水温模型，固定参数φ并初始化模型中其它参数： w＝[w0，w1，…]T，b＝[b0，b1，…]T；
步骤8、从数据集D中随机小批量选择N个数据点组成数据集DN；
步骤9、计算梯度值
Figure BDA0002510577650000104
式中，
Figure BDA0002510577650000105
yi表示DN中特征xi的实际标签值；
步骤10、使用梯度值g*更新参数w，b；
步骤11、重复调用步骤8至10直到参数w，b收敛或满足预定停止条件；
其中，步骤5和步骤10中参数更新方法可以是SGD、Adagrad等梯度下 降方；作为一种优选，Adagrad进行参数更新则对应公式为
Figure BDA0002510577650000111
式中
Figure BDA0002510577650000113
表示需要更新的参数，t表示循环次数，η表示 学习率，gi表示
Figure BDA0002510577650000114
的第i次的偏微分值。
实施例
本部分描述了模型在BOA_Argo2004年一月数据集上的一些独立实验。 我们所选的数据的经度范围是95°W～115°W，纬度范围9.5°N～9.5°S，深度范围为 0～1975m。
实作中，
Figure BDA0002510577650000112
网络是由3个隐层组成的深度神经网络，每个隐层包含100 个神经元，各隐层神经元的激活函数都采用的是ReLU激活函数。“编码”网 络前面的映射网络、“编码”网络以及启发网络都采用的双隐层神经网络，除 启发网络的输出层外，其它神经元的激活函数也都使用的是ReLU激活函数。 事实上样本不平衡造成的模型解空间和真实解空间的偏离程度总是有限的， 所以采样区间内的某一特征空间点上的启发性信息相对于模型解和真实解来 说总是一个相对较小的值。为了保证网络向着我们需要的方向训练，启发网 络输出层的激活函数我们采用了Tanh激活函数，隐层依旧采用ReLU激活函 数。我们所提出的模型和相同网络结构的普通模型的误差比较如图8所示。 我们可以看出，基于变分自编码器的启发式模型相对于普通模型而言收敛时 间更长，但同时也在一定程度上提高了模型性能。
为进一步验证模型的准确性，我们比较了原始数据和生成数据的分布情 况。如图9～图11所述，展示了经度范围是95°W～115°W，纬度范围9.5°N～9.5°S 的不同深度下原始BOA_Argo温度数据分布情况和采用基于变分自编码器的 启发式高分辨率海洋水温模型提高海洋温度分辨率之后的温度分布。图中， 左侧子图为原始数据分布，水平分辨率为1°×1°；右侧子图为提高分辨率的数 据分布，水平分辨率为0.01°×0.01°。从图中可以看出，二者温度的基本分布 趋势大致一致。在纳入研究的数据区域和未纳入研究的数据区域的交界地带， 原始数据和模型提高分辨后的数据存在一定的差异。在考虑到模型整体表现 还不错的情况下，造成这种情况的原因可能是模型所学得的数据特征只是局 部温度分布特征，而并非全体海洋温度样本的特征。
如图12所示，展示了由提高分辨率后的海洋温度数据所绘制的海平面， 即深度为0米的海洋温度分布情况。不同颜色代表以标签所示温度为下限， 且以标签所示温度值加一(不包括该值)为上限的不同海洋区域。虽然部分 点的分布不满足区域一致性，但绝大部分数据点分布符合海洋温度分布规律。 如图13所示，是以水温20摄氏度为下限，且以20.01摄氏度(不包括该值) 为上限的所绘制的20摄氏度等温面。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方 式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领 域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范 围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图 例。

Claims (9)

1.一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，包括如下步骤：
步骤一、采集待测试区域中海洋水温的垂直观测值；
步骤二、根据变分自编码器得到所述垂直观测值在垂直观测层上的概率分布；
步骤三、根据所述概率分布得到受采样影响模型所求得的解空间，并根据所述解空间得到启发式网络；
步骤四、建立所述解空间和所述启发式网络的海洋水温分布模型，进而得到待测试区域中海洋水温；
Figure FDA0003070205550000011
式中，f(xi)表示样本真实解空间中的一个解，也即f(x1)，f(x2)，…，f(xn)，
Figure FDA0003070205550000012
是以经度、纬度、深度为输入和海洋水温为输出的深度回归学习模型，用于预测空间中某一点的海洋水温；启发式网络h(X；θ)用于解决数据不平衡导致回归学习模型
Figure FDA0003070205550000013
的预测准确降低问题。
2.如权利要求1所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤一中，所述待测试区域的经度范围为95°W～115°W，纬度范围为9.5°N～9.5°S，深度范围为0～1975m。
3.如权利要求2所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤二中，所述概率分布为
Figure FDA0003070205550000014
式中，x代表垂直观测值，z代表隐变量，θ代表自动编码器中解码器的网络层参数，pθ(x|z)代表由重构的似然函数，p(z)代表满足高斯分布的噪声。
4.如权利要求1所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤二中，在确定所述概率分布的过程中，所述变分自编码器的编码网络和解码网络的优化目标函数为θ，φ＝arg maxθ，φL(θ，φ；x)；
其中，
Figure FDA0003070205550000021
φ代表自动编码器中编码器的网络层参数，θ代表自动编码器中解码器的网络层参数。
5.如权利要求2所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤二中，在变分自编码器中，采用神经网络模型建立解码网络，包括输入层、输出层和两层隐层，相邻两层之间的神经元采用全连接方式连接，同一层之间的神经元无连接；输入层的神经元个数为16，两层隐层的神经元个数均为128，输出层的神经元个数为57；各神经元的激活函数采用的ReLU激活函数。
6.如权利要求5所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤三中，所述概率分布和所述启发式网络通过MSE损失函数进行训练调参。
7.如权利要求5所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤三，采用神经网络模型建立所述启发式网络，包括输入层、输出层和两层隐层，相邻两层之间的神经元采用全连接方式连接，同一层之间的神经元无连接；输入层的神经元个数为57，两层隐层的神经元个数均为128，输出层的神经元个数1；输入层和隐层的各神经元的激活函数采用的ReLU激活函数，输出层的激活函数为Tanh激活函数。
8.如权利要求3所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，在所述步骤四中，采用神经网络模型建立海洋水温分布模型，包括输入层、输出层和三层隐层，相邻两层之间的神经元采用全连接方式连接，同一层之间的神经元无连接；输入层的神经元个数为3，第一、二层隐层的神经元个数均为100；第三层隐层的神经元个数为101，输出层的神经元个数1；各神经元的激活函数采用的ReLU激活函数。
9.如权利要求8所述的基于变分自编码器的启发式高分辨率海洋水温分布建立方法，其特征在于，还包括：将经度和纬度映射到所述隐变量所对应的空间所使用的空间映射网络，包括输入层、输出层和两层隐层，相邻两层之间的神经元采用全连接方式连接，同一层之间的神经元无连接；输入层的神经元个数为2，第一层隐层的神经元个数均为128，第二层隐层的神经元个数均为64，输出层的神经元个数16；输入层和隐层的各神经元的激活函数采用的ReLU激活函数，输出层的激活函数为Sigmoid激活函数。
CN202010459733.7A 2020-05-27 2020-05-27 一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法 Active CN111595489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010459733.7A CN111595489B (zh) 2020-05-27 2020-05-27 一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010459733.7A CN111595489B (zh) 2020-05-27 2020-05-27 一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法

Publications (2)

Publication Number Publication Date
CN111595489A CN111595489A (zh) 2020-08-28
CN111595489B true CN111595489B (zh) 2021-06-25

Family

ID=72187929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010459733.7A Active CN111595489B (zh) 2020-05-27 2020-05-27 一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法

Country Status (1)

Country Link
CN (1) CN111595489B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642822B (zh) * 2020-12-04 2024-03-01 广东省建筑设计研究院有限公司 用于评估建筑群结构安全的基于vae的样本集指向性扩展法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107894710A (zh) * 2017-10-13 2018-04-10 杭州电子科技大学 一种裂解反应炉温度的主成分分析建模方法
CN108197736A (zh) * 2017-12-29 2018-06-22 北京工业大学 一种基于变分自编码器和极限学习机的空气质量预测方法
CN109886388A (zh) * 2019-01-09 2019-06-14 平安科技（深圳）有限公司 一种基于变分自编码器的训练样本数据扩充方法和装置
CN111160313A (zh) * 2020-01-02 2020-05-15 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107894710A (zh) * 2017-10-13 2018-04-10 杭州电子科技大学 一种裂解反应炉温度的主成分分析建模方法
CN108197736A (zh) * 2017-12-29 2018-06-22 北京工业大学 一种基于变分自编码器和极限学习机的空气质量预测方法
CN109886388A (zh) * 2019-01-09 2019-06-14 平安科技（深圳）有限公司 一种基于变分自编码器的训练样本数据扩充方法和装置
CN111160313A (zh) * 2020-01-02 2020-05-15 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
变分自编码器模型综述;翟正利等;《计算机工程与应用》;20190201;第55卷(第3期);第1-9页 *

Also Published As

Publication number Publication date
CN111595489A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
Davison et al. Statistical modeling of spatial extremes
Robinson et al. Overview of data assimilation
US11158048B2 (en) CT lymph node detection system based on spatial-temporal recurrent attention mechanism
CN113392961B (zh) 中尺度涡轨迹平稳序列提取与循环神经网络预测方法
CN108981957A (zh) 基于自组织神经网络及经验正交函数的水下温度场重构方法
CN109146162A (zh) 一种基于集成循环神经网络的概率风速预测方法
Plonski et al. Environment and solar map construction for solar-powered mobile systems
Meng et al. Physics-guided generative adversarial networks for sea subsurface temperature prediction
Foster et al. Probabilistic machine learning estimation of ocean mixed layer depth from dense satellite and sparse in situ observations
CN113592144A (zh) 一种中长期径流概率预报方法及系统
CN111595489B (zh) 一种基于变分自编码器的启发式高分辨率海洋水温分布建立方法
CN115640901A (zh) 一种基于混合神经网络和生成对抗的小样本负荷预测方法
CN115329930A (zh) 一种基于混合深度学习模型的洪水过程概率预报方法
CN116894384A (zh) 一种多风机风速时空预测方法及系统
CN115099416A (zh) 集成水文气象机器学习预报模型的可视化事后解释方法
CN112183721B (zh) 一种基于自适应差分进化的组合水文预测模型的构建方法
Nicolas et al. A probabilistic optimization approach to deal with uncertainties in model calibration
Xin et al. An enhanced feature extraction based long short-term memory neural network for wind power forecasting via considering the missing data reconstruction
Wong et al. Confidence bounds of petrophysical predictions from conventional neural networks
Su et al. Prediction of Chaotic Time Series Based on BEN‐AGA Model
Anilkumar et al. Modelling the Point Mass Balance for the Glaciers of Central European Alps using Machine Learning Techniques
Seranto A TGAN application for generating time series related to climate prediction
Pan et al. Probabilistic diffusion model for stochastic parameterization--a case example of numerical precipitation estimation
Siripatana Uncertainty Quantification and Assimilation for Efficient Coastal Ocean Forecasting
CN114694037A (zh) 一种基于深度学习算法的热带气旋轨迹预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant