CN116011338A - 一种基于自编码器和深度神经网络的全波形反演方法 - Google Patents

Abstract

本发明公开了一种基于自编码器和深度神经网络的全波形反演方法，包括以下步骤：构建输入矩阵；利用去噪编码模块数据去噪；利用卷积自编码器模块进行特征提取；使用卷积自编码器模块的特征作为输入，利用深度神经网络正演模型进行波场值预测；利用预测的模拟值与真实地震数据记录，基于目标函数进行两者之间的偏差计算；利用优化算法进行梯度反向传播，进行神经网络的权重优化；将经过训练得到的最佳神经网络模型来提取反演效果。本发明可广泛应用于各类波形反演场景中。

Description

一种基于自编码器和深度神经网络的全波形反演方法

技术领域

本发明涉及人工智能与地球物理领域，具体涉及一种基于自编码器和深度神经网络的全波形反演算法。

背景技术

全波形反演(Full Waveform Inversion，FWI)方法和理论是地球物理领域的研究热点之一，具有很高的实用价值。全波形反演是利用地震资料中的全部的动力学和运动学信息来进行反演地层构成模型的方法。在一些实际的地质资源勘探问题中，如油气储藏勘探、金属矿脉勘探、地质构成勘察等等，由于不同尺度的非均匀地质体共生，会引起各种反射波、绕射波及其对应的多次波、转换波等的相互叠加、干涉，可形成极为复杂的地震波场。FWI首先通过正演模拟获得模拟地震预测结果，然后使用目标函数度量模拟地震结果与实际观测地震结果之间的差异，再通过特定的优化算法来更新模型参数。

传统的FWI使用模拟值与真实值之间的偏差作为目标函数，并使用伴随状态法来进行梯度的计算，沿着负梯度方向不断更新正演模型的相关参数。其中，以L2范数作为目标函数的FWI方法被广泛地使用，但是其是一个复杂的非线性优化的问题，且在反演中为了减小运算量通常使用一些局部优化算法，若初始模型的选择不恰当，那么反演过程就容易遇到周期跳变(cycle skipping)问题，从而导致无法取得精确的反演结果。另外，地震记录中蕴含全部的运动学信息和动力学信息，而不同的信息之间往往相互耦合、相互影响并且存在不同程度的噪声的，如果不能对这些信息进行合理的特征提取和利用则会导致反演结果的精度进一步降低。

目前在地球物理领域，已有相当一部分的工作尝试使用各种深度学习的手段来进行各类传统问题的反演。现有的成熟的深度学习框架例如Pytorch针对GPU等底层设备进行了专有的运算加速，可以方便地进行自动的梯度计算和反向传播，为基于神经网络的反演模型提供了便利。并且这种自动求导和反演的过程与常用的伴随状态矩阵的求解结果具有等价性。深度学习领域完善的优化方法也相较于传统模型的局部搜索方法显示出了优越性。传统的全局优化方法由于运算复杂度过高而难以应用，而局部搜索方法又由于模型的非凸性和非线性而容易陷入局部最优。而深度学习领域的Adam等优化器可以基于动量等角度来进行梯度估计，从而可以在较小的运算成本下达到全局最优。

发明内容

针对现有技术的不足，本发明旨在提供一种基于自编码器和深度神经网络的全波形反演方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于自编码器和深度神经网络的全波形反演方法，包括以下步骤：

步骤1、对原始地震数据进行处理，构建输入矩阵；

步骤2、利用去噪编码模块进行退化实现数据去噪，去除原始地震数据中的干扰信息和噪声；

步骤3、利用卷积自编码器模块进行特征提取；

步骤4、使用卷积自编码器模块提取的特征作为输入，利用深度神经网络正演模型进行波场值预测；

步骤5、利用步骤4中预测得到的模拟值与真实地震数据记录的波场值进行比较，利用目标函数进行两者之间的偏差计算；

步骤6、根据步骤5所得的偏差值，利用优化算法进行梯度反向传播，进行神经网络的权重优化；

步骤7、将测试数据输入步骤6中经过训练得到的最佳神经网络模型，以提取反演效果；通过查询测试阶段的输出值和真实值之间的偏差，即可得到全波形预测的效果。

进一步地，步骤2的具体过程如下：利用去噪编码模块对步骤1所得的输入矩阵进行初步编码嵌入，并利用退化策略进行数据去噪；所述退化策略为利用随机dropout策略对神经元进行随机失活。

进一步地，步骤3的具体过程如下：

所述卷积自编码器模块利用卷积层和池化层作为编码器，利用上采样层和卷积层作为解码器进行输入重构，以提取准确的输入特征；假设X表示输入样本，W_k与b_k分别表示第k个卷积核的权值与偏置，*表示卷积运算，g(·)表示池化函数，h_k表示第k个卷积核所提取的抽象特征，则编码过程为:

h_k＝g(W_k*X+b_k) #(1)

假设W′_k与b′_k分别表示解码器中第k个卷积核的权值与偏置，g′(·)表示上采样函数，H表示抽象特征集合，则解码过程为:

表示重构的样本；解码器将各个卷积核提取的抽象特征进行解码重构，并将其合并为最终的重构样本；重构损失函数为:

J(·)表示损失函数，CoAE表示自编码器；

为权值L2范数正则化项，W表示所有卷积核的参数；λ表示衰减系数，用于控制权值的衰减程度。

进一步地，步骤4的具体过程如下：在步骤3训练好的卷积自编码器模块的基础上，重新将输入样本X输入卷积自编码器模块以提取特征编码矩阵h，将所获得的编码矩阵输入深度神经网络正演模型中进行波场值预测，得到模拟地震记录分布f。

进一步地，步骤5的具体过程如下：

通过考虑模拟值的累积分布F(t)和真实值的累积分布G(t)之间的最小二乘差异，使用积分波场目标函数对地震数据做线性正变换与积分归一化，计算公式为：

分别表示F(t)和G(t)的密度函数，T₀表示地震数据中的积分上界，故基于积分归一化度量的全波形反演目标函数为：

其中t表示时间，θ表示模型参数，x_r表示自变量，

和

分别表示关于s的密度函数，s和r分别表示两个自变量，N_s和N_r分别表示s和r的最大值。

进一步地，步骤6的具体过程为：利用Adam算法从矩估计的角度来自适应地调整学习率；利用梯度的一阶矩和二阶矩估计动态来调整学习率，给予每个参数的不同的学习率；

最终形成的Adam算法的公式为：

t表示时间，w_t表示为t时刻神经网络的权重，

和

是常数，α为控制指数衰减系数，∈为一极小值常数，其作用为避免分母为0；m_t为t时刻梯度的一阶指数移动的值，v_t为t时刻梯度的二阶指数移动的值，g_t为为t时刻的梯度值，则有

本发明的有益效果在于：本发明通过去噪自编码器模块中的随机退化思想来对原始地震数据中的蕴含的随机噪声进行去除，并利用卷积自编码器进行高级特征的提取和编码。本发明利用深度神经网络来构建波形正演模型以进行高效准确的波场值预测。最后利用累计分布的最小二乘范数作为目标函数并使用Adam优化算法进行模型的权重更新，通过迭代训练得出最优的反演模型。

首先利用自编码器进行输入数据的去噪以及提取有效的特征，作为后续正演模型的输入。这样可以使得模型具备较高的鲁棒性和泛化性，并且能提高模型的性能。

其次采用深度神经网络构建波形正演模型，可以避免传统模型对算力的较大需求，并且具有更快的推理速度和更为精确的预测结果。

最后利用Adam优化算法在基于密度分布函数的最小二分范数的目标函数上进行神经网络的权重参数更新。这样可以根据历史梯度信息的矩估计，为不同的参数赋以不同的学习速率，可以有效地促进模型收敛到最优解。结果迭代得到的模型显著地提升了预测的精度。

附图说明

图1为本发明实施例中一种基于自编码器和深度神经网络的全波形反演方法的流程图；

图2为本发明实施例中自编码器的结构与训练流程示意图；

图3为本发明实施例中深度神经网络正演模型的结构与训练流程示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

为了充分利用地震资料中全部的运动学和动力学信息并进行准确的地质结构建模，本实施例提出了一个基于自编码器和深度神经网络的全波形反演算法。由于传统的全波形反演算法需要根据先验知识选取合适的初始正演模型，再根据正演模型的推理结果进行梯度修正，这种做法会受到初值和噪声的较大影响。因而，本实施例方法设计了一个自编码器网络进行高级语义特征的提取，并通过输入重构来实现数据去噪。在编码器训练完成后，将提取好的高级特征输入至一个深度神经网络用来预测实际观测的结果。在反演阶段，利用Adam优化器控制网络的参数优化，促进模型收敛至全局最优解。本实施例方法可以用一种端到端的方式完成训练和推理的全过程，并且具有较高的运算效率和较低的计算成本。

如图1所示，所述方法的具体实现过程如下：

1、数据去噪与特征提取

如图2所示，通过使用退化策略的线性嵌入层对原始输入样本进行去噪，之后通过卷积自编码器进行特征提取，通过重构损失不断约束编码器将原始输入映射到高级特征空间。

X表示输入样本，编码过程为:

h_k＝g(W_k*X+b_k)#(1)

W_k与b_k分别表示第k个卷积核的权值与偏置，*表示卷积运算，g(·)表示池化函数，h_k表示第k个卷积核所提取的抽象特征。W′_k与b′_k分别表示解码器中第k个卷积核的权值与偏置，g′(·)表示上采样函数，H表示抽象特征集合，解码过程为:

表示重构的样本。解码器将各个卷积核提取的抽象特征进行解码重构，并将其合并为最终的重构样本。重构损失函数为:

CoAE表示自编码器。

为权值L2范数正则化项，与传统正则化自编码器相同，W表示所有卷积核的参数。λ表示衰减系数，用于控制权值的衰减程度，以降低噪声影响，提升网络的泛化性能，并改善过拟合现象。

2、模型正演预测

在训练好的卷积自编码器模块的基础上，重新将输入样本X输入编码模块以提取特征编码矩阵h，将所获得的编码矩阵输入深度神经网络正演模型。如图3所示，深度神经网络正演模型中，通过数层卷积进行进一步的特征提取，之后利用池化层进行去噪和特征降维，再利用卷积层进行特征抽象，最后通过全连接层将高级特征映射至输出空间，从而得到模拟地震记录分布f，再根据目标函数，利用真实地震记录与模拟记录之间偏离值，进行基于Adam优化算法的深度神经网络权重更新。

3、基于目标函数进行偏差估计

考虑模拟值的累积分布F(t)和真实值的累积分布G(t)之间的最小二乘差异，使用积分波场目标函数对地震数据做线性正变换与积分归一化，则产生积分归一化方法(NIM)：

分别表示F(t)和G(t)的密度函数，计算基于NIM度量的全波形反演目标函数：

其中t表示时间，θ表示模型参数，x_r表示自变量，

和

分别表示关于s的密度函数，s和r分别表示两个自变量，N_s和N_r分别表示两者的最大值。

4、优化算法更新模型权重

利用Adam算法从矩估计的角度来自适应地调整学习率。利用梯度的一阶矩和二阶矩估计动态来调整学习率，给予每个参数的不同的学习率：

t表示时间，w_t表示参数，β₁和β₂是常数，为控制指数衰减，m_t为梯度的指数移动的值：

5、在测试样本集上进行反演效果评估

在上述迭代过程完成后，通过在测试样本集上进行模型的测试与评估，选取最佳的模型参数集作为最终的模型。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于自编码器和深度神经网络的全波形反演方法，其特征在于，包括以下步骤：

步骤1、对原始地震数据进行处理，构建输入矩阵；

步骤2、利用去噪编码模块进行退化实现数据去噪，去除原始地震数据中的干扰信息和噪声；

步骤3、利用卷积自编码器模块进行特征提取；

步骤4、使用卷积自编码器模块提取的特征作为输入，利用深度神经网络正演模型进行波场值预测；

步骤5、利用步骤4中预测得到的模拟值与真实地震数据记录的波场值进行比较，利用目标函数进行两者之间的偏差计算；

步骤6、根据步骤5所得的偏差值，利用优化算法进行梯度反向传播，进行神经网络的权重优化；

步骤7、将测试数据输入步骤6中经过训练得到的最佳神经网络模型，以提取反演效果；通过查询测试阶段的输出值和真实值之间的偏差，即可得到全波形预测的效果。

2.根据权利要求1所述的方法，其特征在于，步骤2的具体过程如下：利用去噪编码模块对步骤1所得的输入矩阵进行初步编码嵌入，并利用退化策略进行数据去噪；所述退化策略为利用随机dropout策略对神经元进行随机失活。

3.根据权利要求1所述的方法，其特征在于，步骤3的具体过程如下：

所述卷积自编码器模块利用卷积层和池化层作为编码器，利用上采样层和卷积层作为解码器进行输入重构，以提取准确的输入特征；假设X表示输入样本，W_k与b_k分别表示第k个卷积核的权值与偏置，*表示卷积运算，g(·)表示池化函数，h_k表示第k个卷积核所提取的抽象特征，则编码过程为:

h_k＝g(W_k*X+b_k) #(1)

假设W′_k与b′_k分别表示解码器中第k个卷积核的权值与偏置，g′(·)表示上采样函数，H表示抽象特征集合，则解码过程为:

表示重构的样本；解码器将各个卷积核提取的抽象特征进行解码重构，并将其合并为最终的重构样本；重构损失函数为:

J(·)表示损失函数，CoAE表示自编码器；

为权值L2范数正则化项，W表示所有卷积核的参数；λ表示衰减系数，用于控制权值的衰减程度。

4.根据权利要求1所述的方法，其特征在于，步骤4的具体过程如下：在步骤3训练好的卷积自编码器模块的基础上，重新将输入样本X输入卷积自编码器模块以提取特征编码矩阵h，将所获得的编码矩阵输入深度神经网络正演模型中进行波场值预测，得到模拟地震记录分布f。

5.根据权利要求1所述的方法，其特征在于，步骤5的具体过程如下：

通过考虑模拟值的累积分布F(t)和真实值的累积分布G(t)之间的最小二乘差异，使用积分波场目标函数对地震数据做线性正变换与积分归一化，计算公式为：

分别表示F(t)和G(t)的密度函数，T₀表示地震数据中的积分上界，故基于积分归一化度量的全波形反演目标函数为：

其中t表示时间，θ表示模型参数，x_r表示自变量，

和

分别表示关于s的密度函数，s和r分别表示两个自变量，N_s和N_r分别表示s和r的最大值。

6.根据权利要求1所述的方法，其特征在于，步骤6的具体过程为：利用Adam算法从矩估计的角度来自适应地调整学习率；利用梯度的一阶矩和二阶矩估计动态来调整学习率，给予每个参数的不同的学习率；

最终形成的Adam算法的公式为：

t表示时间，w_t表示为t时刻神经网络的权重，

和

是常数，α为控制指数衰减系数，∈为一极小值常数，其作用为避免分母为0；m_t为t时刻梯度的一阶指数移动的值，v_t为t时刻梯度的二阶指数移动的值，g_t为为t时刻的梯度值，则有

Images