CN113568055A - 一种基于lstm网络的航空瞬变电磁数据反演方法 - Google Patents

Abstract

本发明公开了一种基于LSTM网络的航空瞬变电磁反演方法，包括以下步骤：1)生成含航空瞬变电磁响应数据、收发装置高度和电阻率模型的合成数据集；2)根据合成数据维度建立LSTM网络，输入数据为航空瞬变电磁时域信号，传感器高度拼接至特征层中参与运算，输出数据为电阻率模型参数；3)根据误差下降曲线选取合适的训练集规模和训练周期，确保训练效果和训练效率，完成网络训练；4)根据网络反演结果及其正演响应的拟合情况判断网络的泛化能力；5)利用LSTM网络完成航空瞬变电磁数据反演，获得地下介质的电阻率分布结构。该反演方法稳定准确，计算速度快，能够提升航空瞬变电磁数据解释效率，进而为航空瞬变电磁数据实时成像提供技术支撑。

Description

一种基于LSTM网络的航空瞬变电磁数据反演方法

技术领域

本发明提供一种地球电磁数据的快速反演方法，具体涉及一种基于LSTM网络的航空瞬变电磁数据反演方法。

背景技术

航空瞬变电磁法是一种重要的浅地表勘探方法，其能够适应复杂地形，采集速度快，探测覆盖区域广，且对低阻异常体敏感度高，在矿产勘查、地下水监测以及油藏成像中得到了广泛应用。

航空瞬变电磁法采样效率高，观测数据量大，且其在飞行中不断发射电流激发二次场，具有多源性，在数据反演时需要针对每一个发射源进行响应拟合，为数据解释工作带来巨大的计算挑战。目前常用的航空瞬变电磁数据解释方法主要分为确定型反演和统计型反演。确定型反演假设存在全局最优解，通过设定目标函数，选取初始模型，迭代调整模型参数使得目标函数收敛至预先设定的范围，进而得到反演结果。目标函数中通常包括观测数据拟合误差和正则化项，其中，正则化项引入了参考模型和介质光滑度等先验信息。然而，由于反演问题固有的多解性，反演依赖初始模型，易陷入局部极小，且初始模型和正则化项的选取易受主观因素影响。此外，航空电磁观测系统信噪比较低，噪声种类复杂，会加剧解的非唯一性，使得反演难以收敛至真实电阻率模型。统计型反演属于全局优化算法，通过在模型空间中进行采样，记录满足收敛条件的模型样本，进而提供模型参数的统计分布特征。然而，由于模型空间大，采集数据量多，需要进行大量正演模拟，对计算资源需求很高，计算成本随着模型参数个数增加指数上升。因此，采用传统反演方法进行航空瞬变电磁数据解释仍受到多解性和计算成本的局限。

作为一种全局优化算法，深度学习方法能够挖掘数据之间的映射关系。Bai等(2020,(Quasi-)Real-time inversion of airborne time-domain electromagneticdata via artificial neural network.remote sensing.12(20),3440)和Feng等(2020,Resistivity-depth imaging with the airborne transient electromagnetic methodbased on an artificial neural network.Journal of Environmental andEngineering Geophysics,25(3),355-368)利用人工神经网络(Artificial NeuralNetwork，ANN)进行航空瞬变电磁数据反演。Li等(2020,Fast imaging of time-domainairborne EM data using deep learning technology.Geophysics,85(5),E163-E170)将卷积神经网络(Convolutional Neural Networks，CNN)与长短时记忆模块(Long Short-Term Memory，LSTM)相连接，结合飞行高度，实现了航空瞬变电磁快速数据成像。航空瞬变电磁响应数据随时间呈指数衰减，属于典型的时间序列，上述神经网络结构难以充分提取时间序列特征；且其考虑的阶梯状电阻率模型对实际介质环境适用性较弱，难以灵活拟合电阻率异常体的边界。

综上所述，现有的航空瞬变电磁响应数据解释方法仍存在局限性，需要研究一种高效、准确的数据解释方法。

发明内容

为克服现有技术的不足，本发明提供了一种基于LSTM网络的航空瞬变电磁数据反演方法，其针对航空瞬变电磁响应数据建立适当的LSTM网络结构，结合飞行高度，解决大规模航空瞬变电磁响应数据反演问题。该反演方法稳定性好、计算效率高、结果准确，能够为航空瞬变电磁实时数据解释提供技术支撑。

本发明采用的技术方案是：

一种基于LSTM网络的航空瞬变电磁数据反演方法，其针对航空瞬变电磁响应数据建立恰当的LSTM模型；将飞行高度拼接至网络特征层中参与反演运算；采用合成数据训练网络，并选取适当的训练周期和样本规模；将新采集的航空瞬变电磁响应数据集输入至完成训练的LSTM网络中，实现快速反演；具体包括以下步骤：

A.生成合成数据集，包括：

A1.根据自然界电阻率范围和反演采用的深度网格生成层状电阻率模型；

A2.根据观测环境随机生成收发装置高度；

A3.按照航空瞬变电磁观测系统参数和采样模式进行层状电阻率模型的正演模拟，得到航空瞬变电磁响应数据；

合成数据集样本包含：含N_t个采样点时刻的航空瞬变电磁响应数据d^L，收发装置高度h和层状电阻率模型N_ρ层介质对应的电阻率值m^L；所生成的合成数据集可以分为训练集与测试集。

B.建立LSTM网络；

LSTM网络由解码器和编码器构成，层与层之间采用LSTM模块进行连接(信息传递)。输入数据为航空瞬变电磁响应数据，输出数据为网络的反演结果(电阻率值的对数值)，输入层和输出层的维度分别根据时间采样点个数(N_t)和模型参数个数(电阻率模型的介质层数N_ρ)确定。将编码器编码得到的特征向量与收发装置高度进行拼接，输入至解码器中进行解码，最终输出预测的电阻率模型参数。

C.选取适当的训练集规模和训练周期，完成网络训练；

采用不同规模训练集进行网络训练：基于步骤A生成的不同规模的训练数据集，根据网络预测模型与真实电阻率模型之间的误差迭代调整LSTM网络中的参数，直至网络训练收敛，具体是：

将含N_t个时间采样点的航空瞬变电磁响应数据输入至步骤B中建立的LSTM网络中，经输出层输出N_ρ个向量v^O，v^O与层状电阻率模型的N_ρ层电阻率值反演结果m^O的关系为：v^O＝lg(m^O)。迭代调整网络参数降低目标函数，使得v^O接近lg(m^L)，进而完成训练。

根据不同规模训练集的反演误差随训练周期增长的下降趋势，选取训练集规模和训练周期，得到完成训练的LSTM网络，确保网络收敛效果和训练效率。

D.网络反演效果检验；

根据网络对测试集的反演结果与真实电阻率模型之间的误差以及其对应的航空瞬变电磁响应数据拟合误差，定量评估网络的反演效果，判断网络的泛化能力。

E.电阻率模型反演；

利用步骤C中完成训练的LSTM网络，完成新采集的航空瞬变电磁响应数据的快速反演。即将新采集的航空瞬变电磁响应数据输入至步骤C中完成训练的LSTM网络，网络输出即为网络反演的电阻率结果。

通过上述步骤，实现基于LSTM网络的航空瞬变电磁响应快速数据解释，得到地下介质的电阻率分布情况。

作为一种优选方案，所述步骤A中，电阻率值分布在1-10000Ω·m之间；采用均匀的纵向网格对层状电阻率模型进行剖分；令电阻率随深度连续变化，取其对数值作为网络输出的目标值；收发装置高度在25-100m之间随机选取。具体的，采用小间距均匀网格对深度进行细密剖分，提升纵向分辨率；并通过插值，使得电阻率模型的电阻率随深度连续变化。

作为一种优选方案，所述步骤B中，LSTM网络由一个编码器和一个解码器构成，层与层之间采用LSTM模块进行信息传递。编码器包含4个LSTM层，且第一层采用双向LSTM层充分提取时间序列特征。解码器包含4个LSTM层和1个全连接层。

作为一种优选方案，所述步骤B中，利用注意力机制连接编码器与解码器，使得网络对有效信息投入更多注意力资源，抑制无关信息的传递，提高数据传递的效率与准确性。注意力机制通过求取后一隐藏层每一时刻的隐藏状态与前一隐藏层每一时刻的隐藏状态之间的相关性，将其归一化作为权重，对前一隐藏层隐藏状态进行加权求和输入至后一隐藏层不同时刻的LSTM模块中。权重a_p(q)计算公式为：

其中，

代表编码器中最后一个隐藏层第q时刻LSTM模块状态，

表示解码器中第一个隐藏层p时刻LSTM模块状态。Q表示编码器最后一个隐藏层中总时刻数。score(·)表示计算相关性的函数。经过注意力机制运算后的特征向量v^D为：

网络利用注意力机制，根据编码器和解码器相邻隐藏层的状态，分配不同的传递权重，实现高效信息传递。将收发装置高度h与特征向量v^D进行拼接，输入至解码器中。

作为一种优选方案，所述步骤B中，在层与层之间引入残差连接，促进梯度的反向传播，避免网络退化。

作为一种优选方案，所述步骤C中，LSTM网络训练所采用的目标函数为：

其中，N_s为训练集样本数，N_ρ为电阻率模型的层数，v^O为网络输出向量，m^L为真实电阻率值，λ_W为正则化参数，取值范围为0.001-1，W和b分别代表网络中的传递矩阵和偏置向量，||·||₂表示Euclidian距离。

作为一种优选方案，所述步骤C中，采用Adam算法迭代调整网络参数W和b，完成网络训练，学习率取值范围为0.001-0.1。

作为一种优选方案，所述步骤C中，采用均方根误差(RMSE)判断网络反演效果随训练周期的变化趋势，RMSE定义如下：

采用不同规模训练集参与网络训练，根据训练过程中RMSE的下降趋势，选择恰当的训练集规模和训练周期，获得最终的LSTM网络，保证训练速度和反演准确度。

作为一种优选方案，所述步骤D中，由于模型参数与航空瞬变电磁响应数据均存在较大的数量级跨度，为均衡考虑数据在各个数量级中的误差，采用相对均方根误差(RMSPE)评估网络反演结果准确度和响应数据拟合程度。RMSPE定义如下：

其中，RMSPE_model为电阻率模型相对均方根误差，RMSPE_signal为航空瞬变电磁响应数据相对均方根误差；N_ρ为电阻率模型的层数，N_t为时间采样点个数，v^O为网络输出向量，m^L为真实电阻率值；d^O和d^L分别为反演结果和真实电阻率模型对应的航空瞬变电磁响应数据。

本发明的有益效果是：针对航空瞬变电磁响应数据建立优化的LSTM网络，利用LSTM模块充分提取时间序列特征，利用双向LSTM层、注意力机制和残差连接提升网络性能，考虑收发装置高度以及阻值随深度连续变化的电阻率模型，显著提升了航空瞬变电磁响应数据反演的效率和效果，克服了传统反演方法中对初始模型的依赖，降低主观因素影响，避免了Jacobian和Hessian矩阵的计算以及对模型空间的搜索，加快反演速度。数值模拟结果表明该反演方法结果准确，能够提高航空瞬变电磁响应数据的解释效率，进而为航空瞬变电磁实时电阻率成像提供数据支撑。

附图说明

图1是本发明方法的LSTM网络结构示意图。

图2是本发明实施例中训练集样本规模分别为8000、40000、80000、120000和160000时，训练集与测试集的RMSE随训练周期的变化情况。

图3是本发明实施例中LSTM网络和高斯牛顿法对测试集样本的反演结果及相应正演响应的RMSPE联合分布图。

图4是本发明实施例中LSTM网络和高斯牛顿法对测试集中随机挑选的一个样本的反演结果(左图)及其对应的航空瞬变电磁响应(右图)。

具体实施方式

下面将结合附图，对本发明提出的一种基于LSTM网络的航空瞬变电磁响应数据反演方法作进一步说明。本发明的思想描述如下：根据自然界中电阻率规律和航空瞬变电磁观测系统参数生成样本数据集；根据合成数据集维度构建适当的LSTM网络，选取恰当的训练周期和训练集规模，完成网络训练；将完成训练的LSTM网络应用至新采集的数据集中，目标在于实现准确、快速的航空瞬变电磁数据解释。此方法具有效率高，准确性好的优点。

A.生成合成数据集；

A1.根据自然界电阻率范围和反演采用的深度网格生成层状电阻率模型；

采用一维层状电阻率模型；电阻率取值范围设为1-10000Ω·m；模型深度为600m，每2m为一层，一共300层；根据上述条件生成阻值随深度连续变化的电阻率模型；600m以下视为均匀半空间，阻值与相邻上层(598-600m)保持一致；舍弃阻值超出预设范围的电阻率模型；取电阻率的对数值作为目标输出；

A2.在25-100m之间随机选取收发装置高度；

A3.按照航空瞬变电磁观测系统参数和采样模式正演模拟航空瞬变电磁响应dB_z/dt分量；

基于步骤A1中的层状电阻率模型和A2中的收发装置高度，根据常规航空瞬变电磁观测模式，取半径为6m的发射线圈，接收传感器与发射线圈中心距离设为4m，模拟发射电流关断后的航空瞬变电磁响应dB_z/dt分量；接收时段为10^-5-10^-1s，共100个时间采样点等对数间隔分布。

B.建立LSTM网络；

LSTM网络由解码器和编码器构成，层与层之间采用LSTM模块进行信息传递，并引入残差连接，结构如图1所示。网络输入为100个时间采样点的航空瞬变电磁响应数据，传入至编码器中；编码器由4个LSTM层构成，第一层采用双向LSTM连接；采用注意力机制连接编码器与解码器；将收发装置高度与注意力机制输出的特征向量进行拼接，输入至解码器中；解码器由4个LSTM层和1个全连接层构成，最终输出反演电阻率模型参数。

C.选取适当的训练集样本规模和训练周期，完成网络训练；

采用样本数目分别为8000、40000、80000、120000和160000的训练集训练网络；网络训练所采用的目标函数如下：

其中，N_s为训练样本个数，N_ρ＝300为电阻率模型层数，v^O为网络输出，m^L为真实模型电阻率值；λ_W取0.001；采用Adam算法迭代调整网络中的参数W和b，学习率设为0.001。

采用同一个含4000组样本的测试集对网络训练收敛情况进行评价；记录训练集和测试集的RMSE随训练周期的变化情况，如图2所示。最终选用训练样本规模为80000，训练周期为600次的训练结果作为LSTM反演网络，保证训练速度和收敛效果。

D.测试网络反演效果

与经典的反演算法——高斯牛顿法进行对比，验证网络的反演准确度。利用步骤C中完成训练的LSTM网络和高斯牛顿法对测试集中的4000个样本进行反演，计算其反演结果对应的RMSPE_model和RMSPE_signal，如图3所示。高斯牛顿法采用阻值为100Ω·m的均匀半空间介质作为初始模型，反演参数为300层电阻率对数值。与高斯牛顿法的RMSPE分布相比，LSTM网络的反演结果误差分布更集中，极端误差值较少，说明其对测试集反演效果稳定，结果准确。从测试集中随机选取一组反演结果，如图4所示。高斯牛顿法受到多解性影响，其对应的正演响应与真实响应十分接近，目标函数收敛，无法进一步逼近真实模型。LSTM的反演结果及正演响应与真实值吻合。此外，LSTM训练完成后，经过一次正向传播即可得到测试集4000组样本的全部反演结果，耗时低于1s。

以上所述仅为本发明的实施例而已，并不用以限制本发明，凡在本发明精神和原则之内，所作任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于LSTM网络的航空瞬变电磁数据反演方法，包括以下步骤：

A.生成合成数据集，包括：

A1.根据自然界电阻率范围和反演采用的深度网格生成层状电阻率模型；

A2.根据观测环境随机生成收发装置高度；

A3.按照航空瞬变电磁观测系统参数和采样模式进行层状电阻率模型的正演模拟，得到航空瞬变电磁响应数据；

合成数据集样本包含：含N_t个采样点时刻的航空瞬变电磁响应数据d^L，收发装置高度h和层状电阻率模型N_ρ层介质对应的电阻率值m^L；生成的合成数据集分为训练集与测试集；

B.建立LSTM网络：所述LSTM网络由编码器和解码器构成，层与层之间采用LSTM模块进行连接；输入数据为航空瞬变电磁响应数据，输出数据为网络反演得到的电阻率模型参数，输入层和输出层的维度分别根据时间采样点个数N_t和介质层数N_ρ确定；将编码器编码得到的特征向量与收发装置高度进行拼接，输入至解码器中进行解码，输出网络预测的电阻率模型参数；

C.选取适当的训练集规模和训练周期，完成网络训练：采用步骤A生成的不同规模的训练集参与网络训练，根据不同规模训练集的反演误差随训练周期增长的下降情况，选择训练集规模和训练周期，保证网络收敛效果和训练效率；

D.网络反演效果检验；计算网络对测试集的反演结果及其正演响应与真实值之间的误差，对网络反演准确度进行评估；

E.电阻率模型反演：利用完成训练的LSTM网络实现新采集航空瞬变电磁响应数据的快速反演。

2.如权利要求1所述的航空瞬变电磁数据反演方法，其特征在于，步骤A中，采用均匀网格对电阻率模型深度方向进行剖分，令电阻率随深度连续变化，电阻率分布于1-10000Ω·m之间，取其对数值作为网络输出的目标值；收发装置高度随机设定，取值范围为25-100m。

3.如权利要求2所述的航空瞬变电磁数据反演方法，其特征在于，步骤A中通过插值的方法使得电阻率模型的电阻率随深度连续变化。

4.如权利要求1所述的航空瞬变电磁数据反演方法，其特征在于，步骤B中所述LSTM网络由一个编码器和一个解码器构成；编码器包含4个LSTM层，且第一层采用双向LSTM连接；解码器包含4个LSTM层和1个全连接层。

5.如权利要求1所述的航空瞬变电磁数据反演方法，其特征在于，步骤B中，采用注意力机制连接编码器和解码器，注意力机制通过求取后一隐藏层每一时刻的隐藏状态与前一隐藏层每一时刻的隐藏状态之间的相关性，将其归一化作为权重，对前一隐藏层隐藏状态进行加权求和输入至后一隐藏层不同时刻的LSTM模块中；权重a_p(q)计算公式为：

其中，

代表编码器中最后一个隐藏层第q时刻LSTM模块状态，

表示解码器中第一个隐藏层p时刻LSTM模块状态；Q表示编码器最后一层中总时刻数；score(·)表示计算相关性的函数；经过注意力机制运算后的特征向量v^D为：

所述LSTM网络利用注意力机制，根据编码器和解码器相邻隐藏层的状态分配不同的传递权重，实现信息传递；将收发装置高度h与特征向量v^D进行拼接，输入至解码器中。

6.如权利要求5所述的航空瞬变电磁数据反演方法，其特征在于，步骤B中在层与层之间引入残差连接，促进梯度的反向传播。

7.如权利要求1所述的航空瞬变电磁数据反演方法，其特征在于，步骤C中网络训练的方法是：将含N_t个时间采样点的航空瞬变电磁响应数据输入至步骤B中建立的LSTM网络中，经输出层输出N_ρ个向量v^O，v^O与层状电阻率模型的N_ρ层电阻率值反演结果m^O的关系为：v^O＝lg(m^O)；迭代调整网络参数降低目标函数，使得v^O接近lg(m^L)，进而完成训练。

8.如权利要求7所述的航空瞬变电磁数据反演方法，其特征在于，步骤C网络训练的目标函数为：

其中，N_s为训练集样本数，N_ρ为电阻率模型的层数，v^O为网络输出向量，m^L为真实电阻率值，λ_W为正则化参数，取值范围为0.001-1，W和b分别代表网络中的传递矩阵和偏置向量，||·||₂表示Euclidian距离。

9.如权利要求8所述的航空瞬变电磁数据反演方法，其特征在于，步骤C中，采用Adam算法迭代调整网络参数W和b，完成网络训练，学习率取值范围为0.001-0.1。

10.如权利要求8所述的航空瞬变电磁数据反演方法，其特征在于，步骤C中，采用均方根误差RMSE判断网络反演效果随训练周期的变化趋势，RMSE定义如下：

根据训练过程中RMSE的下降趋势选择训练集规模和训练周期，获得最终的LSTM网络。

11.如权利要求7所述的航空瞬变电磁数据反演方法，其特征在于，步骤D中采用相对均方根误差RMSPE评估网络反演结果准确度和响应数据拟合程度，RMSPE定义如下：

其中，RMSPE_model为电阻率模型相对均方根误差，RMSPE_signal为航空瞬变电磁响应数据相对均方根误差；N_ρ为电阻率模型的层数，N_t为时间采样点个数，v^O为网络输出向量，m^L为真实电阻率值，d^O和d^L分别为反演结果和真实电阻率模型对应的航空瞬变电磁响应数据。

Images