CN111310331B - 基于条件变分自编码的地壳模型构造方法 - Google Patents

Abstract

本发明公开了一种基于条件变分自编码的地壳模型构造方法，把群速度和相速度同时作为输入，把理论地壳模型作为输出，对多个理论地壳模型进行训练和测试，从而构造出深度神经网络CVAE；再采用这些神经网络对观测群速度和相速度进行反演而得到实际地壳模型。CVAE网络的特点于在输出层重构输入数据，在隐含层学到输入数据的压缩表示，通过学习获得的可表征样本集深层特征的新的表达形式。这种表达形式一方面具有较少的冗余信息，另一方面能够有效地反映输入数据的特性，可以大大提高预测模型的准确度和鲁棒性。深度CVAE神经网络对地壳厚度、速度及密度的估计可广泛应用于沉积矿产、特别是油气资源研究与战略预测、寻找、勘探和开采中。

Description

基于条件变分自编码的地壳模型构造方法

技术领域

本发明涉及一种地壳模型构造方法，尤其涉及一种基于条件变分自编码的地壳模型构造方法。

背景技术

中国是世界上地质最复杂的大陆之一，它是由众多微陆块及其间的褶皱带或造山带组合，经长期演化而形成的复合大陆。受太平洋板块、欧亚板块、菲律宾板块及印度板块的相互作用与影响，中新生代以来东亚地区表现出复杂的构造特征。上述过程导致了复杂的壳幔结构，探测研究区的壳幔结构，将对认识和理解该区的地质演化和可能地球动力学模式提供重要的深部约束(滕吉文,2002；杨文采,2017)。地壳模型探测与模型图的编制，不仅在研究岩石圈地壳细结构及沉积盆地形成与演化动力学有重要学术价值，而且在沉积矿产、特别是油气资源研究与战略预测、寻找、勘探和开采有广泛的实际意义。前人采用人工地震探测、重力、地震波成像等手段获取了中国大陆及邻区的地壳厚度分布(Sun et al.,2008；Guo et al.,2012；Stolk et al.,2013；Chen Y,2010)，但是上述不同方法得到的地壳模型结果仍存在一定的争议(Y Li，2014)。

面波频散是研究地壳上地幔结构的有力工具，大多数研究致力于用面波频散获得地下s波速度结构，极少数研究利用面波频散获得莫霍面深度分布。计算地壳模型的方法可以归纳为两类：一是基于模型驱动的方法、二是基于数据驱动的方法。基于模型驱动的方法考虑地壳模型和地震面波频散之间的物理关系，其研究结果严重依赖于初始模型的选择以及问题的线性化处理，而基于数据驱动神经网络方法可以用面波频散反演地壳模型，例如eier et al.(2007)采用神经网络方法测定面波频散曲线从而建立地壳模型，基于浅层、只考虑反演过程的BP网络，对反演关系的约束较差以及特征提取性能不佳。

另外：由于地球物理具有多尺度、多时段、多精度、多比例尺和多解性等特点，这就造成了观测数据与研究对象的本质之间的对应关系具有非线性特征，人工神经网络方法适合地球物理信息的提取和非线性处理。基于数据驱动的人工神经网络是一种高度非线性系统，可以模拟任意函数，它是解决此类复杂非线性映射问题的有效手段，特别适用于参数变量和目标函数之间没有数学表达式的复杂反问题。

发明内容

本发明的目的就在于提供一种解决上述问题，把群速度和相速度同时作为输入，把地壳模型作为输出，对多个理论模型进行训练和测试，从而构造出深度神经网络CVAE，再采用这些神经网络对观测群速度和相速度进行反演而得到地壳模型，从而大大提高预测模型的准确度和鲁棒性的基于条件变分自编码的地壳模型构造方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于条件变分自编码的地壳模型构造方法，包括以下步骤：

(1)基于地球AK135模型进行随机采样，得到多个初始地壳模型，并利用初始地壳模型计算对应的相速度和群速度，分别构建成一数据集；

(11)将地球AK135模型的沉积层和地壳，从上到下分为S层，最上层为第一层；

(12)根据AK135模型对第一层的物性参数进行随机采样得到模型参数p_k1，p_k1表示第1层物性参数k的值，所述物性参数k包括初始层厚度h、初始P波层速度α、初始S波层速度β或初始层密度ρ，采用下式对每个物性参数k(k＝h，α，β，ρ)进行归一化处理，得到归一化模型参数y_k1，所述y_k1为分别与h、α、β、ρ对应的四个值；

(13)按照第一层中得到归一化模型参数y_k1的方法，得到其余S-1层的归一化模型参数，每层分别对应四个值，共得到N＝4S个值，将N个值组合成向量，构成一初始地壳模型y¹＝(y₁，y₂，..，y_N)；

(14)根据面波频散理论，计算该初始地壳模型y¹在T个周期的相速度和群速度，并组合成一速度向量x¹＝(x₁，x₂，..，x_T)；

(15)重复步骤(12)-(14)，得到M个初始地壳模型和M个速度向量，分别构建为一数据集，记为Y＝{y¹，y²，...，yⁱ，...，y^M}，X＝{x¹，x²，...，xⁱ，...，x^M}；

(16)将数据集X和Y分别分成训练集、验证集和测试集，并从训练集中选取数据用于训练；

(2)建立一CVAE神经网络并训练；

建立一CVAE神经网络，将速度向量xⁱ作为网络输入，其对应的初始地球初始地壳模型yⁱ和xⁱ的重构

作为网络输出，通过梯度下降法来训练CVAE神经网络，训练过程中，改变网络参数以同时满足下列条件a、b，得到训练好的CVAE神经网络；

条件a：

条件b：CVAE神经网络学习得到正态分布的均值μ和方差σ²，满足N(μ，σ²)接近N(y，1)；

(3)计算地壳模型；

预设一组周期，并观测到这些周期的瑞利面波相速度和群速度，将每组相速度和群速度组合成一实际速度向量，将所有实际速度向量构成实际速度向量集合X′，作为输入送入训练好的CVAE神经网络中，得到输出记为Y′，将Y′中的元素分别进行步骤(13)的逆归一化处理，得到每层的实际模型参数。

作为优选：所述M＝300000，s＝6，N＝24，T＝20。

作为优选：步骤(2)中，建立一CVAE神经网络具体为：

(21)所述CVAE神经网络包括编码器和解码器；编码器和解码器均包括输入层、中间层、输出层；

(22)建立一CVAE编码器；

含n层中间层的编码器的深度编码函数为h；

h＝f_n(...f₂(W⁽²⁾f₁(W⁽¹⁾x)+b⁽¹⁾)+b⁽²⁾+…)+b⁽ⁿ⁾)

其中，W⁽¹⁾表示连接输入层与中间层的权重，b⁽¹⁾表示输入层的偏置项，f₁(x)表示编码激活函数，W^(k)(k＝2，..，n)表示中间第k-1层与中间第k层的权重，b^(k)表示中间第k-1层与中间第k层的偏置项，f_k(x)表示第k个中间层编码激活函数；

输入层和隐含层的激活函数为ReLU(h)＝max(0，h)；

输出层的激活函数为

编码器的损失函数包括KL损失函数J₁和拟合损失函数J₂；

(23)建立一CVAE解码器

含n层中间层的解码器的解码函数为h′；

h′＝g_m(…g₂(W^′(2)g₁(W^′(1)x)+b^′(1))+b^′(2)+…)+b^′(m))

(3)式中，W^＇(1)表示连接解码器输入层与中间层的权重，b^′(1)表示解码器输入层的偏置项，g₁(x)表示编码激活函数，W^′(k)(k＝2，..，n)表示中间k-1层与中间k层的权重，b^′(k)表示中间k-1层与中间k层的偏置项，g_k(x)表示第k个中间层解码激活函数；

输入层和隐含层的激活函数为ReLU(h′)＝max(0，h′)；

输出层的激活函数为

解码器的重构损失函数为J₃；

(24)通过下式计算参数W、b、W′、b′；

J(W，b，W′，b′；x)＝λ₁×J₁+λ₂×J₂+λ₃×J₃

其中，λ₁、λ₂、λ₃分别为损失函数J₁、J₂、J₃的权重系数，使用梯度下降算法优化J(W，b，W′，b′；x)，使其值最小，该最小值对应的W、b、W′、b′为调整好的CVAE神经网络的网络参数。

本发明的思路为：本发明提出采用条件变分自编码(CVAE)的神经网络计算地壳模型。神经网络主要用于解决从输入到输出的映射关系不是一一对应的反演问题。而针对影响面波频散的多因素原因，采用神经网络反演地球介质的结构参数：网络的输入是包括Rayleigh波的群速度和相速度，网络的输出为在输入条件下地壳模型分布和方差。根据Rayleigh面波的群速度和相速度频散特性，建立多层次的深度神经网络模型，使得深度网络模型更能抓住面波频散特征和地球结构之间的关系，进一步优化网络，求解研究区地壳模型。

首先采用物理正演模型计算得到理论Rayleigh波频散模型作为训练神经网络的输入与输出数据集。然后构建一个条件变分自编码网络，将编码过程看作反演函数，解码过程看作正演函数，利用反演误差(包括拟合损失函数和KL损失函数)和正演误差(即重构损失函数)作为网络的目标函数，通过同时优化这两者来建模最优的反演函数。

自编码器是一种无监督学习算法，其输出能够实现对输入数据的复现。由编码器和解码器两部分构成。它使用编码器实现数据压缩,使用解码器实现解压缩。编码阶段将高维数据映射成低维数据,减少数据量；而解码阶段正好相反,从而实现对输入数据的复现。Hinton(2006)等将自编码神经网络作为一种降维方法，通过使用“互补先验”的方法推导出一个快速贪婪算法,逐层学习深度定向网络,然后对整个网络的参数进行优化,改善了传统方法易陷入局部极小的情况,由此产生了深度自编码器。深度自编码器具有自动提取特征、有效地避免过拟合以及较强的降噪能力被应用到很多领域,比如图像分类、人脸识别、自然语言处理、气体识别(liu et.al,2014),并取得了较好的成绩。

变分自编码继承了传统自动编码器的架构，并使用它来学习数据生成分布，可以从潜在空间中随机抽取样本，然后可以使用解码器对这些随机样本进行解码，以生成具有与训练网络的特征类似特征的独特图像。其思想是分别对后验概率分布p_θ(z|x)的变分近似分布

和生成模型p(x|z；θ)建模。其中，变分近似分布

可看作编码器，将可观测变量映射为隐变量；生成模型p(x|z；θ)看作为解码器，将隐变量映射为可观测变量。条件变分自编码(CVAE)是将标签信息融入到VAE中，在编码器中加入标签信息。

与现有技术相比，本发明的优点在于：

(1)把群速度和相速度同时作为输入，把理论地壳模型作为输出，对多个理论地壳模型进行训练和测试，从而构造出深度神经网络CVAE；再采用这些神经网络对观测群速度和相速度进行反演而得到地壳模型。

(2)CVAE网络的特点于在输出层重构输入数据，在隐含层学到输入数据的压缩表示，通过学习获得的可表征样本集深层特征的新的表达形式。这种表达形式一方面具有较少的冗余信息，另一方面能够有效地反映输入数据的特性。用压缩表示作为新的特征向量代替原始特征向量输入到回归模型中，在很多任务中可以大大提高预测模型的准确度和鲁棒性。深度CVAE神经网络对地壳厚度、速度及密度的估计可广泛应用于沉积矿产、特别是油气资源研究与战略预测、寻找、勘探和开采中。

本发明方法，通过正演物理模型来约束反演函数，使得反演模型更优；得到更符合实际情况的地壳模型分布的均值和刻画这种均值集中程度的方差而不是确定值；通过编码对输入数据不同周期的恢复程度，提取频散对不同深度的敏感周期这一特征。

附图说明

图1为本发明方法流程图。

具体实施方式

下面将结合附图对本发明作进一步说明。

实施例1：参见图1，一种基于条件变分自编码的地壳模型构造方法，包括以下步骤：

(1)基于地球AK135模型进行随机采样，得到多个初始地壳模型，并利用初始地壳模型计算对应的相速度和群速度，分别构建成一数据集；

(11)将地球AK135模型的沉积层和地壳，从上到下分为S层，最上层为第一层；

(12)根据AK135模型对第一层的物性参数进行随机采样得到模型参数p_k1，p_k1表示第1层物性参数k的值，所述物性参数k包括初始层厚度h、初始P波层速度α、初始S波层速度β或初始层密度ρ，采用下式对每个物性参数k(k＝h，α，β，ρ)进行归一化处理，得到归一化模型参数y_k1，所述y_k1为分别与h、α、β、ρ对应的四个值；

(13)按照第一层中得到归一化模型参数y_k1的方法，得到其余S-1层的归一化模型参数，每层分别对应四个值，共得到N＝4S个值，将N个值组合成向量，构成一初始地壳模型y¹＝(y₁，y₂，..，y_N)；

(14)根据面波频散理论，计算该初始地壳模型y¹在T个周期的相速度和群速度，并组合成一速度向量x¹＝(x₁，x₂，..，x_T)；

(15)重复步骤(12)-(14)，得到M个初始地壳模型和M个速度向量，分别构建为一数据集，记为Y＝{y¹，y²，...，yⁱ，...，y^M}，X＝{x¹，x²，...，xⁱ，...，x^M}；

(16)将数据集X和Y分别分成训练集、验证集和测试集，并从训练集中选取数据用于训练；

(2)建立一CVAE神经网络并训练；

建立一CVAE神经网络，将速度向量xⁱ作为网络输入，其对应的初始地球初始地壳模型yⁱ和xⁱ的重构

作为网络输出，通过梯度下降法来训练CVAE神经网络，训练过程中，改变网络参数以同时满足下列条件a、b，得到训练好的CVAE神经网络；

条件a：

条件b：CVAE神经网络学习得到正态分布的均值μ和方差σ²，满足N(μ，σ²)接近N(y，1)；

(3)计算地壳模型；

预设一组周期，并观测到这些周期的瑞利面波相速度和群速度，将每组相速度和群速度组合成一实际速度向量，将所有实际速度向量构成实际速度向量集合X′，作为输入送入训练好的CVAE神经网络中，得到输出记为Y′，将Y′中的元素分别进行步骤(13)的逆归一化处理，得到每层的实际模型参数。

实施例2.参见图1，本实施例2在实施例1的基础上，增加方案如下：

所述M＝300000，s＝6，N＝24，T＝20。

步骤(2)中，建立一CVAE神经网络具体为：

(21)所述CVAE神经网络包括编码器和解码器；编码器和解码器均包括输入层、中间层、输出层；

(22)建立一CVAE编码器；

含n层中间层的编码器的深度编码函数为h；

h＝f_n(...f₂(W⁽²⁾f₁(W⁽¹⁾x)+b⁽¹⁾)+b⁽²⁾+…)+b⁽ⁿ⁾)

其中，W⁽¹⁾表示连接输入层与中间层的权重，b⁽¹⁾表示输入层的偏置项，f₁(x)表示编码激活函数，W^(k)(k＝2，..，n)表示中间第k-1层与中间第k层的权重，b^(k)表示中间第k-1层与中间第k层的偏置项，f_k(x)表示第k个中间层编码激活函数；

输入层和隐含层的激活函数为ReLU(h)＝max(0，h)；

输出层的激活函数为

编码器的损失函数包括KL损失函数J₁和拟合损失函数J₂；

(23)建立一CVAE解码器

含n层中间层的解码器的解码函数为h′；

h′＝g_m(…g₂(W^′(2)g₁(W^′(1)x)+b^′(1))+b^′(2)+…)+b^′(m))

(3)式中，W^＇(1)表示连接解码器输入层与中间层的权重，b^＇(1)表示解码器输入层的偏置项，g₁(x)表示编码激活函数，W^′(k)(k＝2，..，n)表示中间k-1层与中间k层的权重，b^′(k)表示中间k-1层与中间k层的偏置项，g^k(x)表示第k个中间层解码激活函数；

输入层和隐含层的激活函数为ReLU(h′)＝max(0，h′)；

输出层的激活函数为

解码器的重构损失函数为J₃；

(24)通过下式计算参数W、b、W′、b′；

J(W，b，W′，b′；x)＝λ₁×J₁+λ₂×J₂+λ₃×J₃

其中，λ₁、λ₂、λ₃分别为损失函数J₁、J₂、J₃的权重系数，使用梯度下降算法优化J(W，b，W′，b′；x)，使其值最小，该最小值对应的W、b、W′、b′为调整好的CVAE神经网络的网络参数。

实施例3，基于实施例2，我们给出一种具体的基于条件变分自编码的地壳模型构造方法。

本实施例中，对于步骤(1)：步骤(11)中，将地球AK135模型的沉积层和地壳，从上到下分为6层，由于第一层的归一化模型参数y_k1为分别与h、α、β、ρ对应的四个值，则步骤(12)中，6层一共24个值，构成的初始地壳模型y¹＝(y₁，y₂，…，y₂₄)，也就是说N＝24；而步骤(14)中，T＝20，故步骤(14)得到的一速度向量x¹＝(x₁，x₂，…，x₂₀)；

(15)重复步骤(12)-(14)，得到300000个初始地壳模型和300000个速度向量，分别构建为一数据集，记为Y＝{y¹，y²，...，yⁱ，...，y³⁰⁰⁰⁰⁰}，X＝{x¹，x²，...，xⁱ，...，x³⁰⁰⁰⁰⁰}；

(16)将数据集X和Y分别分成训练集、验证集和测试集，并从训练集中选取数据用于训练；

在这里，我们根据一定的比例对数据集X和Y进行划分，本实施例中，我们按训练集、验证集和测试集为8∶1∶1的比例进行划分，也就是说，对应数据集X和Y的训练集各有240000个数据；

(2)建立一CVAE神经网络并训练，对神经网络而言，深度指的是网络学习得到的函数中非线性运算组合水平的数量。当前神经网络的学习算法多是针对较低水平的网络结构，将这种网络称为浅结构神经网络，如一个输入层、一个中间层和一个输出层的神经网络；与此相反，将非线性运算组合水平较高的网络称为深度结构神经网络，如一个输入层、三个中间层和一个输出层的神经网络。深度神经网络也称深度学习，其动机在于建立、模拟人脑进行分析学习的神经网络，其主要思想是很多中间层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于预测或分类。深度网络能从复杂的数据中提取关键抽象信息，进一步能有效学习数据之间的复杂关系。

另外，理论上神经网络可以通过对输入数据和输出数据充分学习而挖掘出输入物理量和输出物理量之间的非线性关系。而如何做到充分学习，涉及到神经网络搭建形式，参数的选择，超参数的调整等等一系列复杂工作。神经网络在解决面波频散反演地壳模型问题影响最大的几个参数：学习率、隐层数目、正则化因子，优选这些参数的最佳组合得到理想和健壮的神经网络结构。

本发明所建立的CVAE神经网络设置如下：

(1)按照8∶1∶1的比例将30000个输入数据分成训练集、验证集和测试集；

(2)优化函数选择Adam；

(3)编码器中间层数为6，解码器中间层数为5；

(4)中间层激活函数选择Relu，输出层激活函数选择为sigmoid。

CAVE网络超参数的设置

(1)学习率α＝0.01；

(2)迭代次数epoch＝100；

(3)批处理大小batch-size＝1000；

(4)正则化因子λ＝1×10^-6；

其余与实施例2相同。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于条件变分自编码的地壳模型构造方法，其特征在于：包括以下步骤：

(1)基于地球AK135模型进行随机采样，得到多个初始地壳模型，并利用初始地壳模型计算对应的相速度和群速度，分别构建成一数据集；

(11)将地球AK135模型的沉积层和地壳，从上到下分为S层，最上层为第一层；

(12)根据AK135模型对第一层的物性参数进行随机采样得到模型参数p_k1，p_k1表示第1层物性参数k的值，所述物性参数k包括初始层厚度h、初始P波层速度α、初始S波层速度β或初始层密度ρ，采用下式对每个物性参数k(k＝h,α,β,ρ)进行归一化处理，得到归一化模型参数y_k1，所述y_k1为分别与h、α、β、ρ对应的四个值；

(13)按照第一层中得到归一化模型参数y_k1的方法，得到其余S-1层的归一化模型参数，每层分别对应四个值，共得到N＝4S个值，将N个值组合成向量，构成一初始地壳模型y¹＝(y₁,y₂,..,y_N)；

(14)根据面波频散理论，计算该初始地壳模型y¹在T个周期的相速度和群速度，并组合成一速度向量x¹＝(x₁,x₂,..,x_T)；

(15)重复步骤(12)-(14)，得到M个初始地壳模型和M个速度向量，分别构建为一数据集，记为Y＝{y¹,y²,…,yⁱ,…,y^M}，X＝{x¹,x²,…,xⁱ,…,x^M}；

(16)将数据集X和Y分别分成训练集、验证集和测试集，并从训练集中选取数据用于训练；

(2)建立一CVAE神经网络并训练；

建立一CVAE神经网络，将速度向量xⁱ作为网络输入，其对应的初始地球初始地壳模型yⁱ和xⁱ的重构

作为网络输出，通过梯度下降法来训练CVAE神经网络，训练过程中，改变网络参数以同时满足下列条件a、b，得到训练好的CVAE神经网络；

条件a：

条件b：CVAE神经网络学习得到正态分布的均值μ和方差σ²，满足N(μ，σ²)接近N(y，1)；

(3)计算地壳模型；

预设一组周期，并观测到这些周期的瑞利面波相速度和群速度，将每组相速度和群速度组合成一实际速度向量，将所有实际速度向量构成实际速度向量集合X′，作为输入送入训练好的CVAE神经网络中，得到输出记为Y′，将Y′中的元素分别进行步骤(13)的逆归一化处理，得到每层的实际模型参数。

2.根据权利要求1所述的基于条件变分自编码的地壳模型构造方法，其特征在于：所述M＝300000，s＝6，N＝24，T＝20。

3.根据权利要求1或2所述的基于条件变分自编码的地壳模型构造方法，其特征在于：步骤(2)中，建立一CVAE神经网络具体为：

(21)所述CVAE神经网络包括编码器和解码器；编码器和解码器均包括输入层、中间层、输出层；

(22)建立一CVAE编码器；

含n层中间层的编码器的深度编码函数为h；

h＝f_n(…f₂(W⁽²⁾f₁(W⁽¹⁾x)+b⁽¹⁾)+b⁽²⁾+…)+b⁽ⁿ⁾)

其中，W⁽¹⁾表示连接输入层与中间层的权重，b⁽¹⁾表示输入层的偏置项，f₁(x)表示编码激活函数，W^(k)(k＝2,..,n)表示中间第k-1层与中间第k层的权重，b^(k)表示中间第k-1层与中间第k层的偏置项，f_k(x)表示第k个中间层编码激活函数；

输入层和隐含层的激活函数为ReLU(h)＝max(0,h)；

输出层的激活函数为

编码器的损失函数包括KL损失函数J₁和拟合损失函数J₂；

(23)建立一CVAE解码器

含n层中间层的解码器的解码函数为h＇；

h＇＝g_m(…g₂(W′⁽²⁾g₁(W′⁽¹⁾x)+b′⁽¹⁾)+b′⁽²⁾+…)+b′^(m))

(3)式中，W′⁽¹⁾表示连接解码器输入层与中间层的权重，b′⁽¹⁾表示解码器输入层的偏置项，g₁(x)表示编码激活函数，W′^(k)(k＝2,..,n)表示中间k-1层与中间k层的权重，b′^(k)表示中间k-1层与中间k层的偏置项，g_k(x)表示第k个中间层解码激活函数；

输入层和隐含层的激活函数为ReLU(h′)＝max(0,h′)；

输出层的激活函数为

解码器的重构损失函数为J₃；

(24)通过下式计算参数W、b、W′、b′；

J(W,b,W′,b′；x)＝λ₁×J₁+λ₂×J₂+λ₃×J₃

其中，λ₁、λ₂、λ₃分别为损失函数J₁、J₂、J₃的权重系数，使用梯度下降算法优化J(W,b,W′,b′；x)，使其值最小，该最小值对应的W、b、W′、b′为调整好的CVAE神经网络的网络参数。

Images